近年のスポーツ映像配信やライブ映像配信では，視聴者が好きな角度から映像を楽しむことができる，自由視点映像技術が広く利用されている．こうした技術では多数のカメラにより得られた画像の解析が必要とされるが，近年では，単一視点画像からでも人物の3次元形状や姿勢を復元することで，より簡便に自由視点映像を作成する研究が行われている．しかし，単視点映像には奥行きの情報が含まれていないため，3次元復元に必要な情報を十分に得ることができない．

そこで本研究では，運動する人物を撮影し時系列画像情報を解析することで，，時刻ごとの姿勢と対象の詳細な3次元形状を同時に推定する方法を提案する．

そのために，人体の姿勢・形状の汎化モデルであるSMPLをより詳細な形状情報を表現可能な方法として拡張する．これを、微分可能レンダリングを用いて最適化することで，各時刻における姿勢と人物の概形だけでなく，髪型や服装といった詳細な形状を同時に復元する方法を示す．

近年，AI技術の発展に伴って製品の品質検査が自動化されています．しかし，細かな糸の集合である繊維製品は一般的な工業製品に比べてその複雑性が非常に大きく，実用的な自動異常検知は発展途上であるといえます．そのため，本研究では繊維製品におけるAIによる自動異常検知を目指して検討を行っています．

ここで，繊維製品の見え方が観測方向や照明方向によって変化することを考えると，様々な照明条件・撮影方向により多様な画像を撮影すれば，高精度な異常検知を実現可能と考えられます．しかし，この方法では検査に必要な撮影回数や画像枚数が非常に多くなるため，多くの時間的・金銭的コストがかかってしまいます．

そこで本研究では，画像を大量に撮影するのではなく，できる限り少ない撮影数でも異常検知が行えるような撮影方法の最適化を検討します．この方法により様々な撮影条件の中から異常検知に有効な撮影条件を自動的に決定することで，少ない画像からでも高精度な検査を実現することができます．

本研究では，敵対的学習における複数Discriminatorの学習を安定化させる手法を提案します． 近年，深層学習ではGANと呼ばれる敵対的学習に基づく画像生成手法が注目を集めています．GANでは通常1つのGenerator(生成器)に対して1つのDiscriminator(識別器)で学習を行いますが， 本研究では1つのGeneratorに対して複数のDiscriminatorを用いて学習を行います．

この様にする事で，Generatorはより精度の高い画像を生成出来る様になります．しかし，複数のDiscriminatorを扱う学習では，Discriminatorの切り替えタイミングを適切に設定する事やDiscriminator間の学習バランスを均等に保つ事が非常に難しくなります．

そこで本研究では，適切なDiscriminatorの切り替え学習回数を動的に制御し，さらにDiscriminator毎に適切な学習率を動的に制御する事で，学習を安定化させる手法を提案します． これにより，Discriminator の数を増加した場合でも適切な学習バランスを保つことが可能となり，高性能な Generator を安定に学習することが可能となります．

研究発表においては，論文を公表するだけでなくプレゼンテーション資料を用いた発表が実施されます．

そのため，自身の研究を学会において効果的に伝えるためには，プレゼンテーション資料の良し悪しが重要な要素となります．しかし、優れたプレゼンテーション資料を作成するためには，経験やセンスが必要となってきます．そのため，プレゼンテーション資料の作成経験が浅い研究者にとって，優れたプレゼンテーション資料を作成することは困難です．

そこで本研究では，入力された学術論文から，スライド構成を自動生成すると共に，スライドで用いる図や文字を学術論文から自動抽出し，これらを基にスライド画像を自動生成する手法を研究しています．この手法により，論文の内容に即した優れたプレゼンテーション資料の完全な自動生成の実現を目指しています．

本研究では，不均一な屈折媒体で満たされたシーンにおいて、屈折率の分布とシーンの形状を同時に復元する方法を提案している．これにより，従来の3次元復元手法では表現できなかった，光が曲がりながら進むようなシーンに対しても様々なビジョン技術を適用可能となる．

これまでに提案されたほぼすべての３次元計測法は，光が３次元空間中を直進することを前提に組み立てられている．しかし実際には，陽炎のように，光が屈折しながら進む状況は身近なシーンにおいてもに数多く存在している．そのため従来の３次元復元手法では，光が曲がりながら進むこのようなシーンを表現・復元することができなかった．

そこで本研究では，屈折の状況とシーンの３次元情報を同時に復元する方法を提案し，新しいビジョン技術の確立を目指す．

本研究では，NNを利用した3次元形状表現を用いて，手書き画像から3次元形状情報を復元する方法について検討を行う．

近年、3Dモデルの需要の高まりにより、様々な3次元形状の復元方法が提案されている。しかし、従来の3次元復元手法では、それぞれの視点で観測した画像がかならず一意の形状を表現している，すなわち，整合している画像の利用を前提としている．そのため，このような条件が満たされないイラストなどの手描き画像からの3次元復元に適用することができなかった。

そこで本研究では、手書き画像に含まれる曖昧さを3次元形状の変形とみなし，この変形と変形前の形状を同時に復元することで，手書き画像からの3次元復元を実現する方法について検討を行う．

本研究では，散乱媒体中にある物体の情報を取得するために，得られる観測光から物体の拡散反射光を分離する手法を提案しています．

近年IoTや画像情報処理技術の発展によって様々なシーンでカメラが使用されますが，屋外での撮影においてシーンが霧や雨滴などの散乱媒体で満たされることは往々にして発生します．このようなとき，周囲の状況は不明瞭となり，適切な画像を取得することは困難になります．そこで，散乱媒体におる光の散乱の影響を抑制する観測法が求められています．

本研究では，光の散乱や反射によって偏光状態が変化するという偏光の特性を利用します．偏光カメラによって偏光を観測するだけでなく，光源側にも偏光板を取り付けて回転させることでシーンに照射する偏光を変化させます．これによって観測する偏光状態の変化について動的な調整を行い，適切な物体拡散反射光を分離する方法について検討しています．

近年の映像コンテンツの流行により高品質な映像情報への要求が高まっており，これに伴い更なる高品質な映像が求められています．映像の高品質化には撮像技術の向上や編集技 術の向上などが必要となりますが，撮像技術の中でも特にライトフィールドを撮影する技 術が注目を浴びています.

一般的な撮影方法では，シーン中に存在する対象物体などから発せられた光線を積分することで 2 次元画像が撮影されますが，ライトフィールド撮影では，光線の状態をそのまま記録することで，多くの情報を取得できます．この情報は 4 次元情報であることから，非常に大きなデータとなります．

本研究では，ライトフィールドの情報量を考慮した，効率的なライトフィールドの取得，及び取得した情報から元の４次元ライトフィールドを復元することを目的とし，効率的なラ イトフィールド取得方法，及び表現方法を提案することで，画素数の少ないカメラでも密なライトフィールドを取得することを研究しています．

本研究では，音楽ライブで用いられるスポットライトのような強い指向性を持つ光源の分布を推定する手法について研究を行っています．

画像情報から光源の分布を推定することは拡張現実の実現などにおいて非常に重要であり，近年では，シーン全体の光源を推定する光源分布推定法が広く提案されています．しかし，これまでの光源分布推定法では，各光源が指向性を持たないことを仮定し，推定が行われていました．一方，音楽ライブなどでは，方向ごとに色や明るさが異なる強い指向性を持つ光源が多数用いられており，このようなシーンに対してこれらの方法を適用することはできません．

そこで本研究では，このような強い指向性を持つ光源分布を，単一視点画像から推定する手法を検討しています．提案法では，強い指向性を持った光源を，各光源の位置・方向・色・指向性のパラメータを用いて表現し，それらのパラメータを深層学習を用いて推定します．これにより，これまでの方法では推定が難しかったシーンについても，光源分布情報を推定することが可能となっています．

本研究では深層学習によるシーンに適合した物体の画像合成をする研究を行っています．

自然な画像加工を行う場合には，素材となる画像コンテンツの不足や高度な画像編集技術が必要となるなどの問題があります．

そこで本研究では深層学習ネットワークの一種であるGANを用いて，既に存在する画像に対して合成したい物体の簡単な外形を手で描き入れるだけで，画像のシーンに適合した自然な物体を自動合成する手法を提案しています．具体的には画像中の物体のセマンティックラベルやシーン情報，物体情報などの高次な情報を解析して用いることにより，シーンにより適合した画像の生成を行います．

本研究では，夜間の自動車対歩行者の交通事故を防ぐための画像生成手法について検討を行っています．

近年，完全自動運転に向けた技術研究が活発に行われていますが，夜間に運転を行う場合，自動・手動に関わらずその安全性が低下することが知られています．これは，夜間に撮影された映像においては，歩行者が背景と同化してしまいその認識が困難になるためです．本研究では，この問題を解決するための画像生成手法を研究しています．この方法では，夜間の低照度下で撮影された画像から，深層学習を用いて昼間に撮影したような鮮明な高輝度画像を生成し，歩行者のみを高輝度画像に置き換えます．これにより，左図のような歩行者の視認性を大幅に改善することが可能です．

本研究では，この技術を実現するために，様々なカメラで撮影されたペアの無い昼と夜の画像からなるデータセット作成しました．さらに、このようなデータセットを用いて学習を行うことで，様々な異なるカメラにおいて歩行者の視認性を向上させられることを確認しています．

本研究では，深層学習を用いて，複数の文で構成される文章からその流れを再現する動画を生成する研究を行っています．

近年，深層学習の研究の発展により，様々な入力情報を画像や動画へ変換することが可能になってきています．その研究の一つとして，テキストデータを動画へ変換する方法が提案されています．しかし，従来のテキストデータからの動画生成は，入力として用いられる文は１文のみであり，文章から動画を生成することはできませんでした．

そこで本研究では，ディープニューラルネットワークの一種であり，画像生成分野においてよく用いられているGANを利用することで，文章からその流れを再現する長尺の動画を生成する方法を検討しています．この研究によって，小説や脚本などの長文からの動画生成が可能になると考えられます．

昨今，コロナウイルス感染症の万円などの影響などにより，家族と離れて暮らす人が増えています．それに伴い，孤独を感じる高齢者などが増加していると言われています．そこで本研究では，写真の中の人物に対してその人らしい動きを与えることで，遠く離れた場所にいる大切な人が身近に存在するように感じることができる動画合成技術の実現を目指しています．

これと類似する技術として，近年，静止画の人物に対して別の人物が行った動きを与える手法が提案されています．しかし，それらの手法では，元となる動きを別の人物が与える必要があるため，静止画の人物に対してその人物らしい動きを自動生成することはできません．

そこで本研究では，GANと呼ばれるニューラルネットワークのフレームワークを用いて，その人物らしい生活行動をノイズからランダムに生成するよう学習を行います．このとき，実際の様々な生活行動と類似した動きを生成するよう学習を行うことで，入力として特定の動きを与えずに，ノイズからその人物の動きの特徴を持った様々な生活行動を自動生成することが可能となり，よりその人らしい動画像の生成が可能となります．

本研究では，非同期カメラの相互投影を利用することで，場所の制約を受けない小規模なシステムで人体の形状復元を行う方法について検討しています．

近年，人の動きを計測し数値化するモーションキャプチャの技術が様々な分野で研究されており，今後も広い分野で応用されていくことが予測されます．しかし，現在主流のモーションキャプチャ方法である光学式は計測精度が高い一方で，撮影範囲の周囲にカメラを設置する必要があるためシステムが大規模になりやすい問題があります．

そこで本研究では，撮影のためのカメラを人体上に装着した自己装着型モーションキャプチャに注目し，装着したカメラ同士が互いを撮影している相互投影の際に成り立つ幾何を利用することによって，小規模で安定な３次元復元の実現を目指しています．

本研究では，霧や煙などの散乱媒体で満たされたシーンについて，R-CNNと呼ばれるニューラルネットを利用して解析を行っています．近年，自動車にはカメラが搭載されており，それによって周辺環境の情報を取得しています．しかし，散乱媒体がある道路では，情報の取得が困難になってしまいます．

そのような状況に対応するために，本研究では，車のライトなどの光線が霧に投影される状況を想定して，散乱媒体に光線を投影し，その投影結果を撮影することで，媒体の特性を計測し，その特性から散乱媒体を表現することを目的としています．散乱は散乱媒体内に入射した光線が媒体内の粒子と繰り返し衝突し起こる現象で，従来の研究により畳み込みで表現可能です．

本研究では，散乱の畳み込み部分をCNN，繰り返し部分をリカレントとすることによって，複雑な散乱をR-CNNで表現します．この技術によって，霧がある道路での自動運転の安全性が向上すると考えています．

本研究では、車両に搭載されたカメラから，別の車両や歩行者の視点などの別視点の画像の生成する，任意視点画像の予測生成技術の開発を行っています．

近年広く研究されている自動運転を実現するためには，周囲の車両，歩行者の行動を予測することが必要不可欠です．従来研究では，外部のカメラによりこれらを観測した結果から予測が行われていましたが，より精度の高い予測の実現には，歩行者などがどのような景色を見ているかという情報が重要と考えました．

そこで本研究では、車両に搭載されたカメラの画像を深層学習により解析することで、別の車両や歩行者の視点などの別視点画像へと変換する方法を提案しています．このような画像の視点変換を用いることで，先述の行動予測だけでなく，自分からは見ることができない死角の補償など，様々な応用を期待できます.

コロナウイルスの流行に伴い，人々がカメラやマイクなどを通して遠隔でつながる機会が増え，遠隔でありながら高い臨場感を持つことができる人と人とのつながりが求められています.このような高臨場感を実現するためには，視点を変えて相手の様子を見ることができることが重要です.

任意視点画像の生成技術はこれまでに数多く研究されていますが，その多くでは多数のカメラを用いる必要があり，PC やスマホなどに搭載された単一カメラにおいて用いることはできません.

そこで深層学習による画像生成手法の一つであるGANを用いることで人物を撮影した単一視点画像からその人物の任意視点画像を生成する研究を行っています．

カメラ画像により人物行動を予測する際に、周辺環境を考慮することで，より高精度な行動予測を行う手法を提案する。

一般に、人物行動を予測する際には、過去の行動の時間的な変化をとらえることで予測を行う。しかし、人物の行動は周囲の環境の変化と独立ではなく、必ず相互に関係し合っている。そこで、周辺環境の遷移を考慮することで、行動予測の高精度化を実現する。また、一般に人物の動作の遷移は不等間隔に発生する。

そこで、不等間隔な時系列データをモデル化するConnectionist Temporal Classification（CTC）を用いることで、動作の遷移を高精度に予測する手法を提案する。

本研究では，ライトフィールドカメラによるワンショット撮影でマルチモーダル画像を取得する手法について検討しています．

近年の画像処理技術では，より高い性能を実現するために，従来より用いられてきたカラー画像だけでなく，マルチスペクトル画像や偏光画像など，通常のカメラでは取得できない画像の利用が検討されています．しかし，これまでのカメラではこのような様々な種類の画像を1度で撮影することはできませんでした．

そこで本研究では，ライトフィールドカメラと呼ばれる光線情報を記録するカメラに，専用のフィルタ(マルチモーダルフィルタ)を装着して撮影した画像をニューラルネットワークにより解析することで多くの情報を1度に取得する方法を検討しています．この方法は，目的に応じて取得モーダルを切り替えることが容易であることに加え，一般的なニューラルネットが必要とする大量の学習データも必要としないため，幅広い応用を期待できます．

本研究では，人間が3次元情報を取得する際に利用している機能を複数併用することで，強い立体感を与える映像提示についての研究を行っています．

一般的な3次元映像では，両眼視差のみを用いて立体感を表現しており，観測者は静止しているものとしてシステムが構成されています．そのため観測者が移動しながら映像の観測を行うと，どの位置にいても同じ映像が観測されます．このよう現象が発生すると，観測者が移動した際に映像から受け取る立体感が大きく阻害されることになります．

本研究ではよりリアルな3次元物体を表示するために，観測者の視点位置をリアルタイムで推定することで，視点位置に応じた映像を生成し，より強い立体感を与える映像を生成する方法について検討しています．

本研究では、死角にいて見えない歩行者の形状復元とその位置、速度の推定する方法を提案しています。

死角からの飛び出しによる事故発生件数は、歩行者の違反別交通事故発生状況において大きな割合を占めています。そのためこれまでにもこのような死角を観測するための方法は研究されてきましたが、これらの方法は自動車のライトなど、対象が発光していることを前提として構成されており、歩行者に対しての適用が難しいという問題があります。

そこで本研究では歩行者が遠赤外線を発することに注目します。本研究ではこの遠赤外線が壁等で反射された場合にどのように観測されるかを定式化することにより、歩行者の3次元形状や位置の推定をする方法を提案します。

本研究ではライトフィールドディスプレイを観測するだけで，異なる視覚特性を持つ全ての観測者に対して視力矯正することが可能な新しい方法について検討しています．

近年，我々はスマートフォンやタブレット端末などのデバイスをほぼ毎日使用して生活しています．それに伴い，人々の視力が低下し，視力矯正を行っている人も増加しています．視力矯正で最も使用されているのがメガネとコンタクトレンズです．しかし，これらの方法は視界が狭くなる，目の乾きの原因になるといったデメリットが挙げられます．

そこで，本研究ではディスプレイ側から視力矯正をする技術について研究しています。これを実現するために，ライトフィールドディスプレイと呼ばれる特殊なディスプレイを利用して視力矯正する方法を提案します．提案法を用いることで，事前の視力計測を必要とせずに視力矯正を実現することを可能とします．

本研究では、光源分布の時間変化に注目し光源分布を時空間圧縮することで、効率的に光源分布を表現する手法を提案します。

実物体や周辺環境を撮影した画像から、シーンの光源分布や物体形状、反射特性を推定するインバースレンダリングにおいて、入力画像に含まれる情報よりも多くの情報を推定しようとする場合、推定が不安定あるいは不可能になるという問題があります。

そこで本研究では、インバースレンダリングにおける光源推定問題において光源分布の時間変化に注目し、これを時空間圧縮することにより効率的に光源分布の変化を表現する方法を提案します。この時空間圧縮を用いることで、空間的な情報のみを利用した場合と比べて安定して光源分布を推定することが可能となります。

本研究では、同一のディスプレイを観測する複数の観測者に対して、それぞれ異なる画像を提示することを可能とし、ディスプレイの使用者のみに秘匿したい画像を観測させることができる新しい画像提示技術について研究を行っています。

この研究において使用するデバイスは、通常のディスプレイと液晶をレンズに埋め込んだ眼鏡の2つです。液晶眼鏡では、ディスプレイから網膜に到達する光の取捨選択を行います。この制御に合わせた最適な提示画像を生成することで、液晶眼鏡を用いた観測を制御することを可能とします。観測者ごとに異なる画像を提示する技術は画像提示技術の原点的な応用法であるが、まだ実用化には至っていません。

そこで私は本研究において、通常のディスプレイと液晶による眼鏡を用いた新しいアプローチを開拓しようとしています。

本研究では，ニューラルネットワークの学習を行う際に，学習に関するパラメタを自動的に制御することで安定な学習を実現する方法を提案しています．

近年，ニューラルネットワークを用いた機械学習手法，いわゆるディープラーニングは様々な場面で利用されていますが，そのネットワーク構造は複数のネットワークを同時に利用するなど，非常に複雑化しています．その中でも特に画像分野で注目されているネットワークに，2つのコンポーネントが敵対的に学習を行うGANが挙げられます．しかしこの敵対的な学習では2つのコンポーネントの学習のバランスを取ることが難しく，学習が不安定になりやすいという問題があります．

そこで本研究ではネットワークの学習が今後どのように進むのかを予測することで学習率と呼ばれるパラメタを適切に制御し，学習を安定化する方法について検討しています．

本研究では、人間の視覚特性を計測し、視覚を対象として多重画像提示を実現する方法を提案します。

従来の多重画像提示の手法は、カメラを対象として研究されてきました。その手法では、一定の画像パターンを高速に明滅させながら提示し、運動をするカメラにより撮影します。これにより、撮影時のカメラの運動に対応した画像が復号されます。そこで本研究では、カメラを用いることなく同様の多重画像提示を実現することを目標としました。

人間の視覚特性はカメラと比較して複雑です。多重画像提示の実現のためには、それらを正確に把握することが必要です。本研究では、明るさに対する非線形応答特性、インパルス信号に対する時間応答特性、そして時間微分に関する強調特性を考慮します。光が高速に明滅するシチュエーションにおいてこれらの特性が及ぼす影響は定かではないため、実際に観測者の特性を計測することで手法を実現しています。

本研究では, 深層学習を用いて曖昧な芸術性の有無を識別する識別器を構築し, そこから芸術性とは何かを解析する方法を検討しています.

左の図における絵画をご覧になったとき, あなたは芸術性が有ると思いますか？ほとんどの方があるのではないかとやや疑問形であると答えることでしょう.ではどこを見て芸術性が有ると感じましたか？「ここを見て判断した」といえる方はいないのではないでしょうか.このように芸術性の有無を判断する基準は分かりづらく,芸術の定義も曖昧です. また芸術性は絵画だけではなく彫刻など様々な分野に存在すると考えられており, これらの芸術性が共通しているのか分かりません.

そこで本研究では, 深層学習の方法の一つであるマルチタスク学習を用いることで芸術分野間の共通性を考慮しつつ, 芸術性の有無を識別する識別器の構築を検討します.学習した識別器を解析することで芸術性の判断基準が判明することなどを期待しています.

本研究では，画像生成ネットワークGANを用いて多様性のある画像を生成する方法について検討しています．

GANと呼ばれるニューラルネットはリアルな画像を生成のために近年広く利用されていますが，これまでに提案された方法では，学習データに極めて近い画像ばかりが生成されてしまう問題，いわゆるモード崩壊が多く発生します．この問題に対抗するために，様々な方法が研究されていますが，画像のリアリティ，多様性の面において，十分な性能を持つ方法は未だ確立されていません．

そこで本研究では，これらの方法の中でも優れた方法とされているBicycleGANとMSGANに多様性やリアリティを向上するような制約を追加することで，多様性，リアリティどちらについてもこれらを上回る性能を持つGANを開発しました．提案法を用いることで，左図のようにリアルかつ多様な特徴を持つ画像を生成することが可能となります．

本研究では、複雑な反射特性を表現可能なモデルを推定することで、視点ごとに異なる画像を提示する手法を提案しています。

近年、プロジェクションマッピング技術が利用されていますが、多くの場合，投影対象には単純な反射を発生させる物体が利用されています。これは、このような物体であれば投影画像をどの方向からでも同じように観測でき，多くの人に製作者が意図した画像を観測させられるためです．しかし、現実にはこの条件を満たさない物体が多くあるため、そのような対象に投影を行う場合，意図した画像とは異なるものが提示されてしまうことがあります．

本研究では一般的なプロジェクションマッピングでは障害となるようなこの性質をうまく利用することで，方向ごとに異なる画像を提示可能な新しいプロジェクションマッピングを提案します．そのために，物体表面上のミクロな法線に注目することで、複雑な反射も表現可能な反射モデルについて研究・提案しています．

本研究では低照度下で撮影されたビデオ映像から，深層学習を用いて鮮明な高輝度画像を復元する手法を提案します．

近年，ドライブレコーダーや監視カメラといった，用途に応じたカメラの設置が増加しています．このようなカメラでは夜間などの明かりが少ない低照度環境でも鮮明な画像の取得が求められます．しかし，低照度下で撮影された画像は非常に暗く，左図のようにほとんど情報を読み取ることができません．

そこで本研究では，このような低照度画像をビデオ映像として連続的に撮影を行い，深層学習を用いてこれを解析することで，右図のような鮮明な高輝度画像を復元する手法を提案します．

本研究では超音波センサが取得する観測信号のみから距離画像を推定する技術を研究・開発しています．

通常，距離画像の取得にはToFカメラやLiDARなどといった光を用いた方法が，用いられます．しかし，これらの光を用いる方法では雨や霧が存在するシーンでは光が乱反射してしまい，正しい距離情報の取得ができません．

そこで、本研究では雨や霧の影響を受けにくい超音波センサを用いた方法を検討しています．特に本研究では複数のセンサを組み合わせることで3次元空間中に物体が存在するかといった単純な情報だけでなく，密な3次元距離画像の取得を実現しています．この技術を用いることで従来では正しい観測ができなかった雨天時や霧発生時の悪環境下でも適切に距離画像を推定できます．

本研究では，低解像度距離画像と高解像度RGB画像を組み合わせて解析することで，高解像な距離画像を生成する手法を提案します．

近年，深層学習を用いて低解像度画像から高解像度画像を生成する手法が数多く提案されています．また，自動運転の需要の高まりから，高解像な距離画像の取得が求められています．しかし，近年広く利用されているLiDARなどの3次元計測装置では対象空間の部分的な距離情報，すなわち，低解像な距離画像しか取得することができません．

そこで本研究では，距離計測装置から得られる低解像度距離画像をRGBカメラから得られる高解像なRGB画像と組み合わせてニューラルネットワークにより解析することで，高精度かつ高解像な距離画像の生成を実現しました．この方法では距離画像とRGB画像を一旦別々に解析した後に結合することで，従来より効果的な距離画像の生成を実現しています．この技術により，特殊な距離計測装置を利用しなくても十分なシーン情報を取得することが可能となり，より低コストでの運転補助・自動運転の実現が期待できます．

本研究では，ニューラルネットワークを用いた画像識別器において入力画像中のどのような画像情報が識別に大きく寄与したのかを解析する方法について検討しています．

近年，ディープラーニングなどによる機械学習の研究が盛んに行われており，その技術は我々の身近なところにも様々に用いられています．このような技術をさらに発展させるためには，ニューラルネットワーク内部でどのような画像解析が行われているのかを解析・理解する必要があります．

そこで本研究では，このようなニューラルネットワークの解析を行うために，画像識別器における識別境界，つまりどちらとも識別されない画像に着目し，これを利用した重要特徴の抽出方法を検討しています．この方法では，入力画像と識別境界の差分から，識別において決め手となる特徴を抽出します．これにより，画像中のどのような特徴を用いて識別を行ったのかを確認することが可能となります．このような方法は重要な特徴の解析だけでなく，識別器の汎化性能の向上にも利用可能であると考えられます．

本研究では，光の散乱を用いることで単一視点画像からより高精度な奥行推定を行う手法を提案します．

近年，深層学習を用いることで単一視点画像から奥行推定を行う方法が提案されつつあります．単一視点画像ではカメラ一台で３次元復元できる利点がありますが，情報が不足しているためにこれまでは十分な精度で復元を行うことができませんでした．また，これまでの奥行推定法では，霧などの散乱のない良好な画像を前提としており、霧で霞んだ散乱画像は想定していませんでした．しかし，散乱画像を人が見たときには，その霞み具合から遠近感が得られることから，散乱画像には無散乱画像にはない距離情報があると考えられます．

そこで本研究では，通常は邪魔者として除去される光の散乱を積極的に用いて，単一視点画像のみでは不足する奥行情報を取得することで高精度な奥行推定を行う手法を提案します．

本研究では，空間内の波長（色）の異なる光線の経路を観測・追跡することで，光線の全ての波長における屈折率分布を推定する方法について検討しています．

コンピュータビジョンの分野では，これまでにもガラスなどの均一な屈折率を持つ物体を対象として形状推定や屈折率推定など，様々な研究が行われていました．しかし，現実のシーンにおいては，細胞などのように屈折率が徐々に変化するような物体も数多く存在しています．しかし，これらについてはその取り扱いの難しさから十分な研究が行われていませんでした．

そこで本研究では，これらを対象とし，媒体内での屈折率の変化を推定する方法を提案します．さらに，光の波長ごとの屈折特性を考慮することで，全波長における３次元的な屈折率分布を推定する手法を検討します．この方法を用いることで，細胞や眼球といった様々な物体の詳細な特性を計測することができるようになり，医療分野などへの貢献が期待できます．

本研究では霧が発生した場合でも距離測定を適切に行うための技術を研究・開発しています．

距離測定は自動運転などに使われる重要な技術であり，中でも被写体との距離を直接的に測ることのできるToFカメラは様々なデバイスに利用されています．このToFカメラでは，プロジェクターから発せられた特殊な光が距離測定の対象物体上で反射してカメラで観測されるまでの光の飛行時間を計測することで測定対象までの距離を算出します．しかし霧などの散乱媒体で満たされた環境で測定を行う場合，霧からの反射光も観測してしまい適切な距離計測を行えません．

そこで本研究では，光の偏光の特性に注目することで散乱媒体からの影響を受けない距離計測法を提案しています．この方法では，散乱媒体による光の散乱が鏡面反射と同様の性質を持つことを利用し，対象からの反射と散乱媒体での散乱を分離します．これにより，霧からの影響を受けない距離計測が可能となります．このような技術は屋外で使用される車載センサ等に幅広く活用可能であると期待できます．

本研究では，複数のカメラをマーカとして用いることで，屋外などのカメラ設置が難しいシーンでも利用可能なモーション・シーンキャプチャシステムについて検討しています．

近年，AR/VRデバイスのような新たな映像提示技術は著しく発展しています．これらのシステムでは，操作時の没入感を高めるためにモーションキャプチャシステムを用いてユーザの運動情報が取得されます．しかし，このような技術は屋外での利用が困難であるため，ARシステムにおいては利用が難しいという問題があります．

そのため本研究では，人体にとりつけ可能な装置のみを用いたAR/VR技術に適したモーションキャプチャシステムの開発について研究しています．この方法では，VisualSLAMと呼ばれる方法を用いて，人体に取り付けられたカメラ姿勢とシーン情報を同時に取得します．これにより，使用者のモーション情報だけでなく，周辺の3次元情報を同時に取得することが可能となります．さらに，人体構造による可動域などの制約をカメラ姿勢の推定へとフィードバックすることで，より高精度な姿勢及び周辺シーン情報を取得することを目指しています．これにより，外部環境を必要としない高精度なモーション・シーンの推定を実現することが可能となります．

本研究では，自動運転や運転支援に適用可能な画像からの異常検知の方法について検討しています．

近年，自動車には多数のセンサが搭載されており，これらのセンサから得られる情報を解析することで，運転支援や自動運転を行うための技術の研究が広く行われています．このような研究開発において，走行シーンに何らかの異常が発生した際にこれを検知する異常検知システムは，その重要性から実現が期待されており，多くの先行研究が存在しています．しかし，異常シーンは外れ値と呼ばれるデータの集合であるため，その共通性を見出しにくく，また，データ収集が困難であることから車載データに対して適用可能な異常検知方法は，未だに確立されていません．

そこで本研究では，収集が容易である正常シーンに着目し，これを用いて異常シーンの定義及び検出を行う方法を提案します．そのために，ディープニューラルネットワークの1種であるGANを用いて正常シーンのみを学習し，これに属さないシーンを異常シーンとして検出する方法について検討しています．

この研究ではディープラーニングを用いて，文章から動画を生成する研究を行っています．

近年の人工知能，特にディープラーニングの研究の進展により人間の知的活動が徐々に計算機上で再現可能になってきています．その研究の一つとして，文章を画像へと変換する方法が提案されています．この方法は，人間が小説を読んでいるときなどに，文章が表す内容を画像として想像する能力を再現したものです．しかし，人間は文章が表す内容を画像だけに止まらず，一連の情景として想像することまで可能です．

そこで本研究では人間が文章から一連の情景を想像する能力を計算機上で再現することを目指し，特に，文章から動画像を生成する方法を提案します．この方法では，画像生成によく利用されるGANと呼ばれる方法を用いて，文章とそれに対応した動画の関係を学習し，これにより未知の文章からの動画像生成を実現します．この研究により，マニュアル文章の理解を助けるための動画像生成や，脚本のみからから映画を生成することなどが可能になると考えられます．

本研究では，1つの書画像がどのような筆の運びで描かれたかをディープラーニングを用いて推定する手法を検討しています．

近年では，学校などで行われる書道の教育の場において，様々なAI技術が用いられることがあります．例えば，生徒が描いた書道を計算機がインタラクティブに認識し，修正すべき箇所を自動的に検出し画面に提示するような技術が存在します．しかし，このようにして提示される教師情報の解釈には，ある程度の書道の知識を必要とするため，全くの初学者にとっては困難な場面も存在します．

そこで本研究では，1枚の書から，その書がどのような手順で書かれたものかを表す空間運筆をまるごと推定することを目指します．また，このような運筆推定を適切に行うための，書画像の解析及び書画像の生成についての検討を行います．この研究により，その書道がどのように書かれたかを空間的に提示し，より効率的な書道教育が可能になると考えられます．また，この技術を応用させることで，書道だけでなく，例えば油絵や水彩画といった芸術の教育にも応用することができると考えています．

本研究では，光の曲がりを観測することで，空間内の3次元構造をまるごと復元する方法について検討しています．

コンピュータビジョンでは，これまで光は真っすぐ進むということを前提として研究が行われてきましたが，光は実際には空間内を曲がりながら進んでいます．光が曲がるという現象は，私達の身近において頻繁に発生しており日常のシーンでも見かけることがあります．例えば夏の暑い日に道路上を眺めると光が揺らめく陽炎を見ることがありますが，これは空気の屈折率が場所ごとに異なるために光が曲がって発生しています．

本研究では，このような光の曲がりを基に，空間全体の3次元的な屈折率分布を推定する方法を検討しています．本研究で求められる屈折率分布は，その空間内での物体の性質そのものを表していることから，これは空間内部全体の3次元構造を復元することと等価であると考えることができます．これにより，細胞内部の微細構造や無色透明な薬品の撹拌度合いなど，これまでの撮影方法では観測ができなかったものを可視化することが可能となります．

本研究では5次元ライトフィールドディスプレイを用いた暗号化画像提示を行う方法について検討しています。

近年の情報社会ではプライバシーの保護や重要情報秘匿の観点から、情報を暗号化する重要性が高まっており，通信経路における暗号化技術などが盛んに研究されています。しかし、どのような暗号化技術が利用された場合でも，最終的にユーザが情報を確認する際には，必ず復号された情報がディスプレイ上に表示されるため端末ののぞき見や盗撮などにより、情報が容易に漏洩してしまいます。

そのため本研究では、このような情報の漏洩を防止するために，特定個人のみが観測可能なディスプレイシステムの開発について研究しています。この方法では送られた情報を利用者の観測特性でしか復号できない暗号化画像として表示することで，のぞき見などによる情報の漏洩を防止します。またこのような情報提示を実現するために、ライトフィールドディスプレイと呼ばれる特殊なデバイスを開発しています．このような技術を利用することで，利用時の利便性を低下させることなくセキュアな情報提示を実現することが可能となります．

本研究では，ディープニューラルネットワークの一種であるGANを用いることで，雪道画像から夏道画像を生成する方法を検討しています．

近年，画像生成を行うための手法の一つとして，GANが注目されています．GANは画像を生成するGeneratorと生成画像の妥当性を判別するDiscriminatorと呼ばれるネットワークから成り，この2つを同時に学習・成長させることで従来のディープニューラルネットワークを用いたときと比べ，高精度な画像生成を行うことができます．

このような GAN は，学習が安定に進めばGeneratorとDiscriminatorがナッシュ均衡と呼ばれるそれ以上学習が進まない状態へと収束します．そのため，より高精度な画像生成を行うためには，ナッシュ均衡時にGeneratorとDiscriminatorがいかに高い能力を獲得できるかが重要となります．そのため本研究では，一つのGeneratorに対して複数のDiscriminatorを用意し，それぞれのDiscriminatorに異なる専門分野を選択的に学習させることでDiscriminatorの判別能力を高めます．その結果，ナッシュ均衡時の収束状態をより精度の高いものへと向上させることが可能となり，結果としてGeneratorの画像生成能力を高めることができます

本研究では異なる視点に配置された複数の性質（モーダル）の異なるカメラを組み合わせることで，入力シーンの３次元形状を計測するとともに，単一視点で撮影されたマルチモーダル画像を取得する方法を検討しています

近年，夜間の監視カメラなどに利用されるthermalカメラや車載カメラなどに利用されるIRカメラなど様々なモーダルのカメラが広く普及しています。しかし、利用シーンごとに必要とされる撮影モーダルは変化しますが、単一のカメラですべてのモーダルの情報を取得することは困難です．また，近年のシステムにおいては画像情報だけではなく，対象までの距離の情報も非常に多くのシーンで利用されており，これらを同時に取得可能なシステムが求められています．

そこで本研究では、様々な特性を併せ持つ距離計測可能なカメラシステムの開発を目的とします。そのためのアプローチとして、異なる視点・異なるモーダルのカメラで撮影されたステレオ画像に対し、特殊なステレオマッチングを適用することで，３次元形状計測とマルチモーダル画像の生成を同時に行う方法を研究しています．このような方法を用いることで，特殊で効果なカメラを利 用することなく，必要な情報を容易に取得可能な汎用的なカメラシステムを構築することが可能とかんがえられます．

本研究では，大量の雨滴により歪んだ画像から雨滴による歪みを除去した画像を生成する方法について検討しています．

雨天時における自動車運転では，フロントガラスに雨滴が付着して視界を妨げることから，事故発生の危険性が非常に高くなります．この問題に対し，車載カメラ画像の雨滴を画像処理によって取り除く手法が提案されています．しかし，従来の方法ではフロントガラスに付着した雨滴が比較的少量であり，雨滴の隙間から背景シーンが観測できることを前提としていました．このため，近年増加傾向にあるゲリラ豪雨のような大雨時において，雨滴がフロントガラス全域に膜状に広がった場合には，正しく雨滴を除去できない問題があります．

そのため本研究では，雨滴を含むフロントガラス全面を曲面として表現することで，雨滴の量が非常に多い場合でも対応可能な方法を開発しました．また，このような曲面を通して撮影された画像を解析することで，雨滴を含む曲面形状と雨滴のない画像の生成を同時に実現する手法を検討しています．

本研究では、自動車の車載カメラ画像など，ガラス面と外側のシーンが同時に撮影された画像を解析することで、ガラス面への映り込みと外部シーンを分離した画像を生成する技術を提案しています．

一般に、車載カメラで撮影された画像では、ダッシュボードに当たった光がフロントガラスで反射されてカメラに入射するため、撮影画像にはガラス面へ写り込んだ車室内の物体のと，車外のシーンが同時に撮影されます。このような映り込み画像を直接衝突検知システム等へと入力した場合、映り込む部分が走路前方の物体と誤認識されてしまい、ブレーキが誤作動するなどの重大な事故につながる恐れがあります。

本研究では、車載カメラが車室内に固定されており、車両に対して相対的に動かないという性質を利用して、車外から 入射した光による画像と車内からの映り込み画像を信号分離する手法を検討しています。これにより、車載システムなどに対して 映り込みを除去した画像を供給することが可能になり、誤認識を抑えた高精度な画像認識システムが実現可能になると考えられます。

本研究では多種の車載センサ情報を利用することで，自動車運転時において未 来の走行シーンを予測するシステムについて検討しています

近年，自動運転や運転支援など，自動車制御に関する技術の研究が盛んに行わ れています．一般的にこのような技術では複数の車載センサを用いることで多 様な情報を取得し，その情報に基づいて様々な処理を行います．しかし，車載 センサからの情報の取得・解析には一定処理時間が必要となります．したがっ て，車両の制御に用いられる情報は一定時間過去のものとなってしまうため， 飛び出しなどの急なシーンの変化には対応が難しいという問題がありました．

そこで本研究では，車載センサ情報のうち，特に中心的な役割を果たす車載カ メラから得られる情報に注目し，車載カメラ映像の予測を行う方法を提案しま す．これにより遅延を含む自動運転システムを併用した場合でも，車載センサ 情報をリアルタイムで反映することができ，より安全なシステムを構成可能と します．

本研究では，制御された特殊な光線を霧などの散乱媒体に投影することで効率 的に散乱媒体の特性の解析を行う方法を検討します。

近年,霧などの散乱媒体に対してライトフィールド投影を行うことで3次元情報を提示する新しい情報提示技術が提案されています.このような技術では,スクリーンとなる散乱媒体の特性に応じて投影パターンを変化させる必要があります．このような特性の解析には，非常に多くの投影と計算を繰り返す必要があるため，自然な霧などの状態が常時変化するような媒体に対しては投影が難し いという問題がありました．

そこで、本研究ではToFカメラを利用することで，効率的に媒体の解析を行う方法を提案しまし．この方法では時間的に変調された光を散乱媒体へと投影することで,光線の明るさだけでなく,その光線がどのような経路を経過して観測されたかを直接的に取得します．さらに，これらの情報を解析することで，一般的なカメラで観測された画像のみを用いる場合と比べて，散乱媒体の解析を 安定に行う方法を検討しています.

本研究では自動車運転時の逆光や，対向車のヘッドライトなどによる眩しさを 軽減するシステムについて検討しています．

一般に，太陽やヘッドライトなどの非常に明るい物体が視界に入ると，数秒間 視界が見えなくなる眩惑現象が発生します．運転時にこのような現象が発生す ると，運転者の視認性が悪化することで交通事故等を引き起こす可能性が高ま り非常に危険です．

そこで本研究では，透過液晶を運転者の視界に設置しこれを制御することで， 運転者が観測する光量が一定となるように調整する方法について研究していま す．このような制御を行う場合，眩惑現象の抑制だけでなく，本来の視認性を 確保することにも留意する必要があるため，本研究では観測画像の全体の明る さと，局所的な明るさの両方に着目し，それぞれを適切に 制御することで，観測シーンの細部の情報を保持したまま高輝度な部分の入射 光量を制御する方法を提案しています．これにより，運転者の視認性 を確保しつつ眩惑現象を引き起こす強い光を抑制することが可能となります．

本研究では，水滴を利用して多眼ステレオカメラを校正し，1枚の撮影画像からシーンの3次元形状を復元する方法について検討しています．

従来の多眼ステレオカメラは，レンズアレイなど特殊な装置が必要とされるため，通常のカメラと比べて高価で入手が難しいという問題がありました．しかし，本研究では一般的なカメラと水滴のみで多眼ステレオカメラを構成することで，従来より安価かつ手軽にシーン形状の3次元復元を可能にします．

そのために，本研究では水滴の一つ一つが小さなレンズの役割を果たすという点に着目します．これにより水滴が付着したレンズで撮影した画像は，レンズアレイを用いて撮影した画像と同様に，複数視点からの情報を含んでいると考えることができます． 本研究では，水滴を通して得られた撮影画像を解析し，レンズ全体の形状およびシーンの3次元形状を同時に推定する方法について検討しています．

本研究では，人間の複数の視覚特性の差異を利用することで，より高精度な多重画像投影を実現する方法を検討しています．

多重画像投影とは，単一の動画像を提示するだけで複数の観測者それぞれに対して異なる動画像を観測させる技術のことであり，この技術を応用することで，1台の画面で複数の人が同時に異なる番組を視聴できる次世代テレビなどが実現できます．

本研究では，人間の視覚特性のうち，分光感度特性と時間応答特性に着目します．分光感度特性とは，光の波長に対して人間の視細胞がどのくらいの応答強度を示すのかを表したもので，人ごとに差異が存在することが知られています．また，時間応答特性とは，人間の目に光が入射したときの視細胞の応答強度がどのように時間変化するのかを表したもので，分光感度特性と同様に人ごとに差異が存在することが知られています．この２つの特性の個人差から，同一の光を同時に観測したとしても，人ごとに異なる視細胞の応答となります．本研究では，これを利用することで，特殊な装置が不要で観測位置に依存しない高精度な多重画像投影を実現します．

本研究では、高精度に画像のぼけ復元を行うために，一般的な環境下において通常カメラのみを用いて符号化露光を実現するための方法について検討しています．

近年，ぼけ画像から鮮明な画像を復元するための手法の一つとして，画像の符号化露光が注目されています．符号化露光では，シャッタ開閉の時間的符号化や対象を照らす光源の明滅を制御し，画像ぼけの周波数特性を改善することで，安定なぼけ復元を実現することができます．しかし，特殊な符号化機能を備えたカメラや照明を必要とするため，高コストであり，また，すでに設置済みのカメラに対しては適用が難しいという問題があります．

本研究では，特殊なカメラを使用することなく，私たちの生活環境に数多く存在する蛍光灯やLEDといった明滅光源を利用することで，通常のカメラのみで受動的に露光を符号化することが可能となります．

本研究では，新たな装置であるライトフィールドプロジェクタと３次元拡散スクリーンを開発し，これらを用いて３次元物体を直接空間に描画する方法について検討しています．

ライトフィールドプロジェクタとは，対象とする空間に任意の光線空間（ライトフィールド）を投影する特殊なプロジェクタであり，立体視可能な画像の投影などに用いられます．これを用いて３次元拡散スクリーンと呼ぶ，特殊な立体スクリーンに対してライトフィールドを投影することで，任意の３次元物体を映し出すことが可能となります．

本研究では，拡散スクリーン上での光線の広がりを点広がり関数（PSF：Point Spread Function）を用いてモデル化することで，３次元画像を提示するためのライトフィールドを作成する方法などについて検討しています．

人間の視覚特性の差異を用いることで，単一の映像により複数人に同時に異なる映像を観測させる研究をしています．

人間の視細胞がある光刺激を受け取ったとき，それに対する応答はある一定時間持続します．そのため人間がある時刻に観測する刺激は，過去に受け取った刺激にも影響を受けることになります．またこの応答は人ごとに異なるため， 同一の連続光信号を観測した場合でも観測される刺激は人ごとに異なったものとなります．これを利用して人ごとに異なった映像の観測を実現します．これにより，本研究では特殊な装置を装着することなく，観測位置に依存しない情報提示が可能となります．

本研究では，ライトフィールドディスプレイでを観測するだけで，ユーザの視力特性を正確に測定可能な新しい視力計測方法について検討しています．

従来のランドルト環（一部が欠けた丸）を用いた視力測定法では，ユーザの大まかな視力は測定できますが，近視，遠視といった細かな特性については計測することができませんでした．しかし，本研究ではライトフィールドディスプレイと呼ばれる特殊なディスプレイを利用することで，これを実現しています．ライトフィールドディスプレイとはそれぞれの画素から方向ごとに異なる光を出力できるディスプレイであり，立体視等で利用されています．立体視への適用では，右目と左目にそれぞれ異なる画像を提示することで，ユーザに３次元情報を知覚させますが，本研究ではこれをさらに拡張し，ユーザの視力ごとに異なる画像を提示する方法を提案しています．これにより，ユーザが観測した画像を申告するだけで，精密な視力特性を計測することが可能となっています．

<<MIRUインタラクティブ発表賞受賞>>

本研究では，従来よりも精密に3次元形状を推定する方法について検討しています．

ステレオ法を用いて3次元復元を行う場合，複数の画像から対応する点の組を見つけることで，疎な３次元形状を復元することができます．しかし，使用する画像の解像度が低いときには，画像の特徴が劣化し，その結果画像どうしの対応点を見つけることができなくなります．これにより，画像からの3次元形状推定が困難になるという問題があります．

本研究では，画像超解像と呼ばれる，複数の低解像画像から高解像画像を生成する技術を３次元復元へと拡張し，複数の低解像画像から高解像３次元形状を推定する方法を検討しています．これにより，使用する画像の解像度が低い場合でも精密な3次元形状を推定することが可能となります．

本研究では互いに不整合な画像群から，その3次元形状と物体の運動を同時に復 元する方法について研究しています．

近年，3次元の物体を詳細に表現した3次元モデルが様々な分野で活用されています．このような3次元モデルの作成には，特殊な技術や多大なコストが必要とされてきました．そこで，本研究ではより簡単に3次元モデルを作成する方法として，イラストなどの手描き画像から3次元モデルを構築する方法を検討しています．

手描き画像を元に3次元形状を復元する場合，一般的な3次元復元に用いられるステレオ法（異なる視点で撮影された画像から3次元復元を行う方法）を適用することができません．これは，手描き画像は完全な3次元情報を元に作成されるものではないため，たとえ異なる視点の画像を描いたとしても，画像間には3次元的な不整合が生じるためです．そこで本研究ではそのような不整合は物体の運動であるとして考え，形状と運動を同時に表現できるモデルを提案します．

さらに，このモデルを用いたエネルギー最小化に基づく推定手法を研究しています．この技術によって，不整合な手描き画像からでも，その3次元形状と画像間で生じている運動を推定することが可能となります．

本研究では，非常に解像度の高い HDR（High Dynamic Range）画像を取得するための，新しいカメラシステムの開発に取り組んでいます．

近年，撮像系と画像処理系を一体化して再構築することで，従来のカメラシステムよりも効率よく画像を取得するための，Computational Photographyと呼ばれる技術が広く研究されています．本研究室でも，HDR画像を効率的に取得するための可変露光カメラを新たに開発しています．この可変露光カメラでは，従来のカメラでは実現不可能であった画素単位での露光制御を実現しており，これにより非常にコントラストの高い画像を効果的に撮影することができます．

本研究では，この可変露光カメラを利用してより解像度の高い画像を得るため の，画像超解像に関する研究を行っています．これにより，可変露光カメラにより高コントラストかつ高解像度の画像を撮影することが可能になると考えられます．

レンズの一部分ににごりや欠損が存在する場合でも，適切にレンズの特性を計測するための技術を研究しています．この技術は，白内障罹患者の眼球特性計測などに利用可能な技術です．

近年，眼球の光の屈折特性をより詳細に計測するために波面センサと呼ばれる計測機器を用いた新しい特性計測法が研究されています．この波面センサでは，光の波動的性質を利用することで，レンズの特性を詳細に計測することが可能です．しかし，この波面センサでは白内障などによりレンズ（水晶体）に濁りが発生していると，その部分の計測を適切に行うことができず，結果としてレンズ全体の正確な計測ができないという問題がありました．

本研究ではパラメトリック関数による近似表現と，推定時の正則化を導入することで，欠損を含む波面情報から欠損のない光の波面を推定する方法を提案しています．この技術により，白内障のような状態でも，レンズ本来の屈折特性を計測が可能になります．

3次元形状を復元する手法の一つとして，異なる光源環境で撮影された複数の画像から形状を復元する照度差ステレオ法があります．通常の照度差ステレオ法では，光源が十分に遠いところに配置する（無限遠光源）必要があるため形状計測に広いスペースが必要となります．一方，光源が近くに配置された場合（近接光源）に対応した照度差ステレオ法も提案されていますが，こちらでは形状推定に非線形演算が必要となるため，計算時間が多くなるという問題があります．

本研究では光源を微小にずらした際の輝度の変化（輝度微分）に注目することで，近接光源における照度差ステレオを線形計算で行う方法を提案しました．さらに，ディスプレイを光源として使用することで効率よく精度の高い画像を取得する方法を提案しました．これらの技術を用いることで，図に示すようにディスプレイとカメラ一つずつのみを用いて簡単かつ高速に物体の形状を復元することが可能になります．

単一の画像から白飛びや黒潰れのないHDR画像を取得する技術を研究しています．

従来の方法では複数の画像を合成することでHDR画像を生成していたため，動きがあるシーンでの合成が適切に行えないという問題点がありました．そこで本研究ではLCoSを用いた可変露光カメラを構築し，画素単位で露光を制御する新たな露光方法を提案しました．可変露光カメラとは輝度値を固定し，各画素の露光時間が入力エネルギーに応じて変わるような制御を想定した新たなカメラです．これにより，露光時間から入力エネルギーを計測できます．

この技術により，通常の撮影では白飛びや黒潰れが発生する箇所も見えるような画像取得が可能になります．

<<MIRUフロンティア賞受賞>>

視力の悪い人が裸眼でボケのない画像を観測できるディスプレイの画像処理技術を研究しています．

視力の悪い人の目は，水晶体で屈折される光が網膜上で像を結ばないため，ボケが発生します．一般に，このボケは，入力画像に対するぼけ関数の畳み込みによって表現できます．そこで本研究では，このボケ関数をあらかじめ逆畳み込みし，観測時のボケを打ち消す画像を生成します．この画像を提示することにより，裸眼ではボケていた画像が眼鏡やコンタクトレンズ等を使わずにはっきり見えるようになります．

この技術は，パソコンやスマートフォン等の画面で適用可能になります．

近年，画像から実空間の物体の形状を復元する手法が広く研究されています．しかし，動的に形状や姿勢が変化する物体に3次元形状に関しては，計算処理時間などの要因から復元が困難とされてきました．本研究では，異なる光源環境下で撮影された画像を用いて3次元形状を推定する照度差ステレオ法を用いて，ワンショットで撮影された画像から対象の形状復元にあたりました．

照度差ステレオ法には光源方向の異なる3以上の入力画像を必要するため，通常ワンショットで十分な入力を得ることは出来ません．そこで赤，緑，青などの波長の異なる複数の色光源を同時に投光して撮影された画像を使用しました．この画像を各波長成分ごとに分離することでワンショットで撮影された画像で照度差ステレオ法を適用させました．このとき，対象物体のもつ反射率を事前に推定し，それを用いて動的に変化する物体の法線を推定が出来ます．

車両のヘッドライトで照らされた路面を車載カメラで撮影し， その輝度情報から他車の交差点への到達時間を計算する研究をしています．

車両のヘッドライトの近似モデルとして近接光源モデルを適用することで， 距離情報を直接的に求める必要がなくなります． また，画像情報から到達時間を推定するTime to Contactの手法と組み合わせることで， 画像中の輝度情報のみから到達時間を求めることを可能としています．

この技術により，見通しの悪い交差点などにおける交通事故の抑制が可能になります．

通常，人間の視覚はRGBの3色に強く反応するため，従来のディスプレイやプロジェクタなどの表示系ではこの3バンドが多く用いられてきました．しかし自然界にはこの3バンドでは表現できない色も無数に存在しており，従来の表示系では表現可能な情報の量が制限されています．

そこで本研究では，4バンド以上の投光が可能なマルチバンドプロジェクタを構築し，より多くの情報を投影光に埋め込む方法を提案しました．特に人間やカメラなどの間に存在する分光感度特性の違いを利用することで，図に示すように，異なる観測系に対して異なる画像を提示する新たな情報提示法を実現します．

この研究では車のフロントガラスに付着した雨滴を車載カメラから得られる画像上で仮想的に除去し運転者に提示します．

雨滴は背景に比べてカメラに近い位置に存在するため，視点の位置が少し変わるだけでも画像内での位置は大きく変化します．そこでこの研究では，多数のカメラを規則的に並べることによってカメラアレイを構築し，それにより得られる様々な視点の画像を利用して雨滴部分を雨滴の無い部分に置き換えることにより雨滴除去を行います．

この技術を車載カメラに応用することで雨の日でもドライバーの視界を安定に確保することが可能になります．

霧や煙など視界を妨げるものが存在する環境で撮影された画像を用いて，視界が晴れた画像を生成する研究をしています．

霧や煙などの散乱媒体を通るときの光が変化を表現するために，散乱媒体のモデルを提案しています．提案モデルでは媒体中に存在する微粒子による光の反射を微粒子が発光していると仮定します．その仮定により簡単な式で散乱媒体を表現することができます．

このモデルを用いると散乱空間をボクセルに分解しそれぞれのボクセルの発光量を求めることにより，散乱空間やその被写体を復元することもできます．

現在，複数のプロジェクタ光を重ね合わせて対象物体に投影し，異常形状を高精度に強調提示するという方法が提案されていますが，この手法の精度はプロジェクタの解像度に依存します．そこで本研究では，超解像投影法によりプロジェクタの解像度を向上させ，より高精度に形状強調を行う手法を提案しています．

本研究では重要な技術を二つ用いています．一つは，コード化プロジェクションと言う技術であり，従来の画像処理ではカメラ，コンピュータによる計測が必要であるのに対し，複数のプロジェクタからの画像の投影のみにより，光速で三次元情報を提示できます．もう一つは超解像技術であり，複数のプロジェクタから同じ領域に向けて投影を行った場合に生じる一画素未満のずれを利用し，重畳画像の解像度を擬似的に向上させることができます．

この研究は，微小な工業製品の異常検出や路面の凹凸の検出などにおいて非常に有用です．

多数のカメラを格子状に並べたカメラアレイから得られる画像を基に，3次元復元を高フレームレートで行う研究をしています．

カメラアレイ中のカメラを複数のカメラ群に分割し，そのカメラ群ごとに撮影のタイミングをずらしながら撮影を行うことにより，露光時間を短くすることなく高フレームレートで3次元復元を行います．またこの際，カメラのグループ分けを最適化することにより，復元に用いるカメラ台数の減少による3次元復元精度の低下を抑制することができます．

この研究は，高速な運動の３次元解析などに応用することができます．

ボールや自動車などの動きを計測することを目的とした３次元復元の高精度化です．

従来法では，複数台のカメラが同期していなければならず，高速な運動は正しく復元することが出来ませんでした．本研究では，非同期マルチカメラを用いることで各カメラから独立な情報を得ることが可能であること，周波数空間では物体の運動と撮影時刻のズレが分離出来ることに注目し周波数空間から通常空間へ投影する新たな投影モデルを提案します．

これにより，カメラのフレームレートを超える高周波な運動を復元することが可能となり，より正確な３次元復元を実現します．

<<MIRUフロンティア賞受賞>>

この研究はプロジェクタを利用して目標の物体の異常を検出する研究です．

複数のプロジェクタ光の重なり合いを計算することで，基準とする物体の表面上を白く着色し，それ以外の部分では彩度の高いカラフルな色に着色されるプロジェクタ画像を生成することができます．

これにより目標とする物体表面の凹凸等といった異常が目で見て判別できるようになり，理論上ではミリメートル単位の異常を検出することが可能となります．またこの検出法は光の速さで行われるため工場での製品検査などへの応用が考えられています．

近年，撮影後に画像のピントを自由にあわせ直すことができる「ライトフィールドカメラ」について盛んに研究が行われています．このカメラでは，カメラや撮影方法に工夫を施すことで，単なる写真ではなくライトフィールド（4次元光線空間）と呼 ばれる情報を取得し，撮影後に様々な画像を提示することを可能にしています．

しかし，従来の方法では高解像度化が難しいことや高解像度化のために撮像時間が膨大になるなどの課題が残されています．

本研究では，ライトフィールドの取得にかかる時間の短縮と取得できるライトフィールドの高解像度化を両立します．

近年，カメラのぼけ関数(PSF)を用いてデコンボリューションを行うことで，奥行ぼけや動きぼけの復元を行う研究が進みつつあります．特に，コンピュテーショナルフォトグラフィの研究の進展により，被写体の奥行が一定でない3次元シーンにおいても全焦点画像の生成や被写界深度の制御が可能になりつつあります．

本研究は，カメラを露光中に移動させることにより，画像中での物体の動きの方向や大きさによらずPSFが不変となることを示し，この性質を用いることで物体の動きの方向や大きさに依らず動きぼけの復元が可能であることを示します．

この撮像方法では，任意の奥行きを持つ物体の奥行きぼけ復元が可能であることがすでに知られています．したがって，提案法では任意の奥行きに存在する任意の動きを持つ物体の奥行きぼけと動きぼけを同時に復元することが可能です．

本研究では，時系列パターンと反復的なパターンを持った対応の取れていない複数の画像から，カメラの校正および３次元復元を同時に行う手法を提案します．

そのために，アフィンカメラを使用しパターンのシフトと対象物体のフーリエ変換を考えます．通常空間では２枚の画像間には正確な対応が取れていませんが，周波数領域で成り立つ高次元多視点幾何拘束を導出することでシフト量が計算可能となります．

提案手法を用いれば，任意視点画像の時系列パターンやテクスチャーパターンを生成することができ，複合現実感などに応用することが可能です．

本研究では，路地などの死角となる交差点において，レンジセンサとカメラにより相手車両の位置を計測する方法を提案しています．

これは，レンジセンサとカメラという異なる種類のセンサ間においてセンサ協調を行うことで，互いの車両間の相対位置を計測する相対位置計測技術です． レンジセンサにより，夜間や一様で特徴がない道路面においても安定して観測を行うことを可能としています．

この手法は，死角となっている場所で発生しやすい出会い頭衝突事故の減少など，安全な運転の実現に大きく貢献することが期待できます．

本研究は，運転者の視覚的負担を軽減して交通事故を未然に防ぐために，複数のカメラによる時空間多視点幾何を用いた異常運転の検出手法を提案しています．

時空間多視点幾何は，複数のカメラから撮影した時系列画像間の関係をとります．そこで，走行する全ての車両にカメラを搭載して車両同士の対応関係を取得し，異常運転を検出することを考案しました．実験では，車線変更やふらつき運転などの異常運転を認識することができました．

今後は，ITS（高速道路交通システム）分野で，交通事故を防止する手法として利用が期待されます．

近年，現実世界と仮想世界を融合する複合現実の技術が活躍をしています．複合現実において，現実シーンへ物体の合成する際にその合成物体に陰影や影をつけて違和感のない合成をする手法を本研究室では行っています．

必要とするのは，主に合成する物体の凹凸情報と合成するシーンの光源情報です．照度差ステレオ法(PhotoMetricStereo)と呼ばれる手法を使用して，合成する物体の凹凸の情報を推定し，合成するシーンの光源情報はそのシーンに予めおかれた球などの影を利用して推定します．

この技術は映画製作や外科手術のシミュレーションなどに応用することができます．

3次元物体の認識には複数の画像間の対応点探索が必要ですが，誤対応が発生するという難点があります．そこで，本研究では，複数のプロジェクタから光を投光することで，位置ズレを生じさせることなく3次元物体の認識を行う方法を提案します．

この研究では，複数のプロジェクタから特殊なパターンを投影するコード化プロジェクションと呼ばれる技術を用いています．プロジェクタ光は物体上に位置のズレを生じさせることなく提示できるため，対応点探索を行う必要がありません．

この技術により誤対応問題を生じさせずに3次元物体の認識を行う事が出来きます．

近年，画像中のぼけを除去する研究が盛んに行われています．一般に，画像中のぼけはピントが合っていないときに発生する，奥行きぼけと，被写体が動くことにより発生する動きぼけに分けることができます．

本研究では，カメラ開口に符号化開口を施し，露光中にパターンを変更していくことにより，両方のぼけを同時に解消します．

この研究により，カメラから距離の異なる動きのある物体それぞれを鮮明に撮影することが可能になります．

本研究では複数のプロジェクタからの投影光を利用して特定の3次元空間を強調して提示することを目的とし，そのための投影パターンの導出法を提案しています．

この手法では，プロジェクタから特定のパターンを投影することにより，カメラでの画像取得や計算機上での3次元復元処理等を一切介することなく，3次元空間の強調提示を実現します．これにより，光の速さでの空間強調提示が可能となります．

本手法を利用すれば，自動車に搭載し道路の凹凸面を強調提示したり，工場の生産ラインで使用し不良品を検出したりすることができます．

コンピュータビジョンでは物体を不透明と仮定したモデルを用いることが多いです．

しかし，実際は半透明な物体が多く存在していて，半透明物体は光が当たった時，内部に光が入り，再びある表面から放射される現象が起きます．その現象を表面下散乱と呼び，本研究ではその表面下散乱を用いて，半透明な物体の内部構造を推定する方法を提案します．

半透明物体に光を当てたときに表面下散乱により放射される光の分布は，物体内部の物質によって違います．その違いを利用することで，物体の内部特性と構造を得ることができます．

非同期カメラで撮影した映像からカメラ校正および物体の軌跡を３次元復元する研究です．

一般にステレオ法を用いて３次元復元を行うためには複数のカメラで同一の３次元点を撮影する必要があります．そのため，シャッタータイミングにズレが生じた場合，従来法では３次元復元を行うことができませんでした．

本研究では，多視点幾何を周波数空間で考えることにより，撮影タイミングにズレを含む映像からカメラの校正と物体の復元が可能となります．

これにより高度なジェスチャー認識など，画像処理技術の高度化が実現されると考えられます．

従来，車のガラスにおける雨滴の除去は，撥水剤などの物理的な方法を用いて行れてきました．しかし，撥水剤には車速が遅い場合や小雨の場合には雨 滴が飛 散しないという問題があります．

そこで本研究では，物理的に雨滴を除去するのではなく，車載カメラを用いてサ イドミラーを撮影し，得られた時系列の画像データを用いて仮想的に雨 滴の除 去を行う方法を提案します．

これにより作成された画像を運転者に提示することにより，車速などの条件に影 響されることなく雨滴の除去が可能となり，運転者の視界を安定に確保 するこ とができます．

光と影の情報を用いて３次元形状の復元を行っています．

様々な光源位置において物体を撮影したときに生じる影から，物体の凹凸に関する情報を得ることができます．光源位置が異なる複数枚の画像からそれぞれ影情報を取得し，それを基に物体形状を復元する手法をShape-from- Shadowsと呼びます．

本研究では，光源環境が未知の状態で3次元形状を復元する既存の手法を応用し，撮影対象の形状と光源の位置がともに未知の条件下で物体形状と光源位置を同時に高速かつ高精度に推定する方法を提案します．

本研究は，交差点での右折待ちのときに他の車両によって見えなくなった死角部分の様子を複数の車両に搭載されたカメラを協調することで運転者に分かりやすく提示する研究です．

本研究では自車カメラの映像に映った対向車の消失点を用いることで，対向車のカメラとの相対的な視線方向の情報を計算します．そして，その情報から対向車カメラの映像を仮想回転し自車カメラの映像に合成することで整合性の取れた映像を生成します．

この技術を用いて右折時の運転者の視界の補助を行うことで，事故を未然に防ぐことが可能になります．

仮想ピアノは，プロジェクタを用いて机の上に楽器の鍵盤を仮想的に表示し，あたかも本物のピアノのように演奏することのできるシステムです．

本システムは，まず机の上に設置したスクリーンへプロジェクタを用いて楽器の鍵盤を投影します．そして，カメラを用いてユーザの演奏の様子を認識することで押した鍵盤に対応する音を出します．また，カメラとプロジェクタを用いることで手の位置を3次元的に求めることができるので，指を動かす速度を計算できます．さらに，指の速度から鍵盤を押す強さを認識できるので，鍵盤を演奏する音の強弱も再現できます．

仮想ろくろは，仮想的に作られたろくろをあたかも本物のようにけずることのできるシステムです．

本システムは，実空間中においてろくろを表示したい位置にマーカーを配置し，そのマーカーに向かってカメラを2台以上配置することで，ユーザの装着したヘッドマウントディスプレイを通して，マーカーの位置に仮想的に作られたろくろが表示されます．そのろくろに向かって手を入れることによって本物のろくろのようにけずることができます．

さらに，けずっている位置から火花が散ったり音楽が鳴ったりするなど，実際のろくろではありえないことでも，複合現実感の技術を用いれば実現できます．

本研究は，カメラの校正を必要としない未校正カメラ画像による走行レーン中での自車両位置推定法を提案します．

本研究では，自動車が道路上を走行する環境において，車線をはじめとする様々な平行線の組が存在するということに着目しました． これらの平行線を利用してカメラの視点を走行レーン上へ仮想投影することにより，走行レーンにおけるカメラの相対的な位置情報を計算しています．

この方法では絶対的な位置は分かりませんが，レーン逸脱警報や逸脱防止制御などへの応用を考えたときには，相対位置情報のみで十分有用であると考えられます．

仮想対戦システムとは複数のユーザーが仮想空間で対戦することができるシステムです．

本研究のシステムでは，各ユーザがヘッドマウントディスプレイを装着し，映画「STARWARS」に出てくるライトセーバの柄を持ちます．すると，ヘッドマウントディスプレイ上に仮想的にライトセーバーが出現します．さらに，ライトセーバーを振り回すと，効果音が聞こえます．

カメラの情報からライトセーバーの三次元位置を計算することにより，このシステムの構築が可能となっています．