本研究では，光の曲がりを観測することで，空間内の3次元構造をまるごと復元する方法について検討しています．

コンピュータビジョンでは，これまで光は真っすぐ進むということを前提として研究が行われてきましたが，光は実際には空間内を曲がりながら進んでいます．光が曲がるという現象は，私達の身近において頻繁に発生しており日常のシーンでも見かけることがあります．例えば夏の暑い日に道路上を眺めると光が揺らめく陽炎を見ることがありますが，これは空気の屈折率が場所ごとに異なるために光が曲がって発生しています．

本研究では，このような光の曲がりを基に，空間全体の3次元的な屈折率分布を推定する方法を検討しています．本研究で求められる屈折率分布は，その空間内での物体の性質そのものを表していることから，これは空間内部全体の3次元構造を復元することと等価であると考えることができます．これにより，細胞内部の微細構造や無色透明な薬品の撹拌度合いなど，これまでの撮影方法では観測ができなかったものを可視化することが可能となります．

本研究では5次元ライトフィールドディスプレイを用いた暗号化画像提示を行う方法について検討しています。

近年の情報社会ではプライバシーの保護や重要情報秘匿の観点から、情報を暗号化する重要性が高まっており，通信経路における暗号化技術などが盛んに研究されています。しかし、どのような暗号化技術が利用された場合でも，最終的にユーザが情報を確認する際には，必ず復号された情報がディスプレイ上に表示されるため端末ののぞき見や盗撮などにより、情報が容易に漏洩してしまいます。

そのため本研究では、このような情報の漏洩を防止するために，特定個人のみが観測可能なディスプレイシステムの開発について研究しています。この方法では送られた情報を利用者の観測特性でしか復号できない暗号化画像として表示することで，のぞき見などによる情報の漏洩を防止します。またこのような情報提示を実現するために、ライトフィールドディスプレイと呼ばれる特殊なデバイスを開発しています．このような技術を利用することで，利用時の利便性を低下させることなくセキュアな情報提示を実現することが可能となります．

本研究では，ディープニューラルネットワークの一種であるGANを用いることで，雪道画像から夏道画像を生成する方法を検討しています．

近年，画像生成を行うための手法の一つとして，GANが注目されています．GANは画像を生成するGeneratorと生成画像の妥当性を判別するDiscriminatorと呼ばれるネットワークから成り，この2つを同時に学習・成長させることで従来のディープニューラルネットワークを用いたときと比べ，高精度な画像生成を行うことができます．

このような GAN は，学習が安定に進めばGeneratorとDiscriminatorがナッシュ均衡と呼ばれるそれ以上学習が進まない状態へと収束します．そのため，より高精度な画像生成を行うためには，ナッシュ均衡時にGeneratorとDiscriminatorがいかに高い能力を獲得できるかが重要となります．そのため本研究では，一つのGeneratorに対して複数のDiscriminatorを用意し，それぞれのDiscriminatorに異なる専門分野を選択的に学習させることでDiscriminatorの判別能力を高めます．その結果，ナッシュ均衡時の収束状態をより精度の高いものへと向上させることが可能となり，結果としてGeneratorの画像生成能力を高めることができます

本研究では異なる視点に配置された複数の性質（モーダル）の異なるカメラを組み合わせることで，入力シーンの３次元形状を計測するとともに，単一視点で撮影されたマルチモーダル画像を取得する方法を検討しています

近年，夜間の監視カメラなどに利用されるthermalカメラや車載カメラなどに利用されるIRカメラなど様々なモーダルのカメラが広く普及しています。しかし、利用シーンごとに必要とされる撮影モーダルは変化しますが、単一のカメラですべてのモーダルの情報を取得することは困難です．また，近年のシステムにおいては画像情報だけではなく，対象までの距離の情報も非常に多くのシーンで利用されており，これらを同時に取得可能なシステムが求められています．

そこで本研究では、様々な特性を併せ持つ距離計測可能なカメラシステムの開発を目的とします。そのためのアプローチとして、異なる視点・異なるモーダルのカメラで撮影されたステレオ画像に対し、特殊なステレオマッチングを適用することで，３次元形状計測とマルチモーダル画像の生成を同時に行う方法を研究しています．このような方法を用いることで，特殊で効果なカメラを利 用することなく，必要な情報を容易に取得可能な汎用的なカメラシステムを構築することが可能とかんがえられます．

本研究では，大量の雨滴により歪んだ画像から雨滴による歪みを除去した画像を生成する方法について検討しています．

雨天時における自動車運転では，フロントガラスに雨滴が付着して視界を妨げることから，事故発生の危険性が非常に高くなります．この問題に対し，車載カメラ画像の雨滴を画像処理によって取り除く手法が提案されています．しかし，従来の方法ではフロントガラスに付着した雨滴が比較的少量であり，雨滴の隙間から背景シーンが観測できることを前提としていました．このため，近年増加傾向にあるゲリラ豪雨のような大雨時において，雨滴がフロントガラス全域に膜状に広がった場合には，正しく雨滴を除去できない問題があります．

そのため本研究では，雨滴を含むフロントガラス全面を曲面として表現することで，雨滴の量が非常に多い場合でも対応可能な方法を開発しました．また，このような曲面を通して撮影された画像を解析することで，雨滴を含む曲面形状と雨滴のない画像の生成を同時に実現する手法を検討しています．

本研究では、自動車の車載カメラ画像など，ガラス面と外側のシーンが同時に撮影された画像を解析することで、ガラス面への映り込みと外部シーンを分離した画像を生成する技術を提案しています．

一般に、車載カメラで撮影された画像では、ダッシュボードに当たった光がフロントガラスで反射されてカメラに入射するため、撮影画像にはガラス面へ写り込んだ車室内の物体のと，車外のシーンが同時に撮影されます。このような映り込み画像を直接衝突検知システム等へと入力した場合、映り込む部分が走路前方の物体と誤認識されてしまい、ブレーキが誤作動するなどの重大な事故につながる恐れがあります。

本研究では、車載カメラが車室内に固定されており、車両に対して相対的に動かないという性質を利用して、車外から 入射した光による画像と車内からの映り込み画像を信号分離する手法を検討しています。これにより、車載システムなどに対して 映り込みを除去した画像を供給することが可能になり、誤認識を抑えた高精度な画像認識システムが実現可能になると考えられます。

本研究では多種の車載センサ情報を利用することで，自動車運転時において未 来の走行シーンを予測するシステムについて検討しています

近年，自動運転や運転支援など，自動車制御に関する技術の研究が盛んに行わ れています．一般的にこのような技術では複数の車載センサを用いることで多 様な情報を取得し，その情報に基づいて様々な処理を行います．しかし，車載 センサからの情報の取得・解析には一定処理時間が必要となります．したがっ て，車両の制御に用いられる情報は一定時間過去のものとなってしまうため， 飛び出しなどの急なシーンの変化には対応が難しいという問題がありました．

そこで本研究では，車載センサ情報のうち，特に中心的な役割を果たす車載カ メラから得られる情報に注目し，車載カメラ映像の予測を行う方法を提案しま す．これにより遅延を含む自動運転システムを併用した場合でも，車載センサ 情報をリアルタイムで反映することができ，より安全なシステムを構成可能と します．

本研究では，制御された特殊な光線を霧などの散乱媒体に投影することで効率 的に散乱媒体の特性の解析を行う方法を検討します。

近年,霧などの散乱媒体に対してライトフィールド投影を行うことで3次元情報を提示する新しい情報提示技術が提案されています.このような技術では,スクリーンとなる散乱媒体の特性に応じて投影パターンを変化させる必要があります．このような特性の解析には，非常に多くの投影と計算を繰り返す必要があるため，自然な霧などの状態が常時変化するような媒体に対しては投影が難し いという問題がありました．

そこで、本研究ではToFカメラを利用することで，効率的に媒体の解析を行う方法を提案しまし．この方法では時間的に変調された光を散乱媒体へと投影することで,光線の明るさだけでなく,その光線がどのような経路を経過して観測されたかを直接的に取得します．さらに，これらの情報を解析することで，一般的なカメラで観測された画像のみを用いる場合と比べて，散乱媒体の解析を 安定に行う方法を検討しています.

本研究では自動車運転時の逆光や，対向車のヘッドライトなどによる眩しさを 軽減するシステムについて検討しています．

一般に，太陽やヘッドライトなどの非常に明るい物体が視界に入ると，数秒間 視界が見えなくなる眩惑現象が発生します．運転時にこのような現象が発生す ると，運転者の視認性が悪化することで交通事故等を引き起こす可能性が高ま り非常に危険です．

そこで本研究では，透過液晶を運転者の視界に設置しこれを制御することで， 運転者が観測する光量が一定となるように調整する方法について研究していま す．このような制御を行う場合，眩惑現象の抑制だけでなく，本来の視認性を 確保することにも留意する必要があるため，本研究では観測画像の全体の明る さと，局所的な明るさの両方に着目し，それぞれを適切に 制御することで，観測シーンの細部の情報を保持したまま高輝度な部分の入射 光量を制御する方法を提案しています．これにより，運転者の視認性 を確保しつつ眩惑現象を引き起こす強い光を抑制することが可能となります．

本研究では，水滴を利用して多眼ステレオカメラを校正し，1枚の撮影画像からシーンの3次元形状を復元する方法について検討しています．

従来の多眼ステレオカメラは，レンズアレイなど特殊な装置が必要とされるため，通常のカメラと比べて高価で入手が難しいという問題がありました．しかし，本研究では一般的なカメラと水滴のみで多眼ステレオカメラを構成することで，従来より安価かつ手軽にシーン形状の3次元復元を可能にします．

そのために，本研究では水滴の一つ一つが小さなレンズの役割を果たすという点に着目します．これにより水滴が付着したレンズで撮影した画像は，レンズアレイを用いて撮影した画像と同様に，複数視点からの情報を含んでいると考えることができます． 本研究では，水滴を通して得られた撮影画像を解析し，レンズ全体の形状およびシーンの3次元形状を同時に推定する方法について検討しています．

本研究では，人間の複数の視覚特性の差異を利用することで，より高精度な多重画像投影を実現する方法を検討しています．

多重画像投影とは，単一の動画像を提示するだけで複数の観測者それぞれに対して異なる動画像を観測させる技術のことであり，この技術を応用することで，1台の画面で複数の人が同時に異なる番組を視聴できる次世代テレビなどが実現できます．

本研究では，人間の視覚特性のうち，分光感度特性と時間応答特性に着目します．分光感度特性とは，光の波長に対して人間の視細胞がどのくらいの応答強度を示すのかを表したもので，人ごとに差異が存在することが知られています．また，時間応答特性とは，人間の目に光が入射したときの視細胞の応答強度がどのように時間変化するのかを表したもので，分光感度特性と同様に人ごとに差異が存在することが知られています．この２つの特性の個人差から，同一の光を同時に観測したとしても，人ごとに異なる視細胞の応答となります．本研究では，これを利用することで，特殊な装置が不要で観測位置に依存しない高精度な多重画像投影を実現します．

本研究では、高精度に画像のぼけ復元を行うために，一般的な環境下において通常カメラのみを用いて符号化露光を実現するための方法について検討しています．

近年，ぼけ画像から鮮明な画像を復元するための手法の一つとして，画像の符号化露光が注目されています．符号化露光では，シャッタ開閉の時間的符号化や対象を照らす光源の明滅を制御し，画像ぼけの周波数特性を改善することで，安定なぼけ復元を実現することができます．しかし，特殊な符号化機能を備えたカメラや照明を必要とするため，高コストであり，また，すでに設置済みのカメラに対しては適用が難しいという問題があります．

本研究では，特殊なカメラを使用することなく，私たちの生活環境に数多く存在する蛍光灯やLEDといった明滅光源を利用することで，通常のカメラのみで受動的に露光を符号化することが可能となります．

本研究では，新たな装置であるライトフィールドプロジェクタと３次元拡散スクリーンを開発し，これらを用いて３次元物体を直接空間に描画する方法について検討しています．

ライトフィールドプロジェクタとは，対象とする空間に任意の光線空間（ライトフィールド）を投影する特殊なプロジェクタであり，立体視可能な画像の投影などに用いられます．これを用いて３次元拡散スクリーンと呼ぶ，特殊な立体スクリーンに対してライトフィールドを投影することで，任意の３次元物体を映し出すことが可能となります．

本研究では，拡散スクリーン上での光線の広がりを点広がり関数（PSF：Point Spread Function）を用いてモデル化することで，３次元画像を提示するためのライトフィールドを作成する方法などについて検討しています．

人間の視覚特性の差異を用いることで，単一の映像により複数人に同時に異なる映像を観測させる研究をしています．

人間の視細胞がある光刺激を受け取ったとき，それに対する応答はある一定時間持続します．そのため人間がある時刻に観測する刺激は，過去に受け取った刺激にも影響を受けることになります．またこの応答は人ごとに異なるため， 同一の連続光信号を観測した場合でも観測される刺激は人ごとに異なったものとなります．これを利用して人ごとに異なった映像の観測を実現します．これにより，本研究では特殊な装置を装着することなく，観測位置に依存しない情報提示が可能となります．

本研究では，ライトフィールドディスプレイでを観測するだけで，ユーザの視力特性を正確に測定可能な新しい視力計測方法について検討しています．

従来のランドルト環（一部が欠けた丸）を用いた視力測定法では，ユーザの大まかな視力は測定できますが，近視，遠視といった細かな特性については計測することができませんでした．しかし，本研究ではライトフィールドディスプレイと呼ばれる特殊なディスプレイを利用することで，これを実現しています．ライトフィールドディスプレイとはそれぞれの画素から方向ごとに異なる光を出力できるディスプレイであり，立体視等で利用されています．立体視への適用では，右目と左目にそれぞれ異なる画像を提示することで，ユーザに３次元情報を知覚させますが，本研究ではこれをさらに拡張し，ユーザの視力ごとに異なる画像を提示する方法を提案しています．これにより，ユーザが観測した画像を申告するだけで，精密な視力特性を計測することが可能となっています．

<<MIRUインタラクティブ発表賞受賞>>

本研究では，従来よりも精密に3次元形状を推定する方法について検討しています．

ステレオ法を用いて3次元復元を行う場合，複数の画像から対応する点の組を見つけることで，疎な３次元形状を復元することができます．しかし，使用する画像の解像度が低いときには，画像の特徴が劣化し，その結果画像どうしの対応点を見つけることができなくなります．これにより，画像からの3次元形状推定が困難になるという問題があります．

本研究では，画像超解像と呼ばれる，複数の低解像画像から高解像画像を生成する技術を３次元復元へと拡張し，複数の低解像画像から高解像３次元形状を推定する方法を検討しています．これにより，使用する画像の解像度が低い場合でも精密な3次元形状を推定することが可能となります．

本研究では互いに不整合な画像群から，その3次元形状と物体の運動を同時に復 元する方法について研究しています．

近年，3次元の物体を詳細に表現した3次元モデルが様々な分野で活用されています．このような3次元モデルの作成には，特殊な技術や多大なコストが必要とされてきました．そこで，本研究ではより簡単に3次元モデルを作成する方法として，イラストなどの手描き画像から3次元モデルを構築する方法を検討しています．

手描き画像を元に3次元形状を復元する場合，一般的な3次元復元に用いられるステレオ法（異なる視点で撮影された画像から3次元復元を行う方法）を適用することができません．これは，手描き画像は完全な3次元情報を元に作成されるものではないため，たとえ異なる視点の画像を描いたとしても，画像間には3次元的な不整合が生じるためです．そこで本研究ではそのような不整合は物体の運動であるとして考え，形状と運動を同時に表現できるモデルを提案します．

さらに，このモデルを用いたエネルギー最小化に基づく推定手法を研究しています．この技術によって，不整合な手描き画像からでも，その3次元形状と画像間で生じている運動を推定することが可能となります．

本研究では，非常に解像度の高い HDR（High Dynamic Range）画像を取得するための，新しいカメラシステムの開発に取り組んでいます．

近年，撮像系と画像処理系を一体化して再構築することで，従来のカメラシステムよりも効率よく画像を取得するための，Computational Photographyと呼ばれる技術が広く研究されています．本研究室でも，HDR画像を効率的に取得するための可変露光カメラを新たに開発しています．この可変露光カメラでは，従来のカメラでは実現不可能であった画素単位での露光制御を実現しており，これにより非常にコントラストの高い画像を効果的に撮影することができます．

本研究では，この可変露光カメラを利用してより解像度の高い画像を得るため の，画像超解像に関する研究を行っています．これにより，可変露光カメラにより高コントラストかつ高解像度の画像を撮影することが可能になると考えられます．

レンズの一部分ににごりや欠損が存在する場合でも，適切にレンズの特性を計測するための技術を研究しています．この技術は，白内障罹患者の眼球特性計測などに利用可能な技術です．

近年，眼球の光の屈折特性をより詳細に計測するために波面センサと呼ばれる計測機器を用いた新しい特性計測法が研究されています．この波面センサでは，光の波動的性質を利用することで，レンズの特性を詳細に計測することが可能です．しかし，この波面センサでは白内障などによりレンズ（水晶体）に濁りが発生していると，その部分の計測を適切に行うことができず，結果としてレンズ全体の正確な計測ができないという問題がありました．

本研究ではパラメトリック関数による近似表現と，推定時の正則化を導入することで，欠損を含む波面情報から欠損のない光の波面を推定する方法を提案しています．この技術により，白内障のような状態でも，レンズ本来の屈折特性を計測が可能になります．

3次元形状を復元する手法の一つとして，異なる光源環境で撮影された複数の画像から形状を復元する照度差ステレオ法があります．通常の照度差ステレオ法では，光源が十分に遠いところに配置する（無限遠光源）必要があるため形状計測に広いスペースが必要となります．一方，光源が近くに配置された場合（近接光源）に対応した照度差ステレオ法も提案されていますが，こちらでは形状推定に非線形演算が必要となるため，計算時間が多くなるという問題があります．

本研究では光源を微小にずらした際の輝度の変化（輝度微分）に注目することで，近接光源における照度差ステレオを線形計算で行う方法を提案しました．さらに，ディスプレイを光源として使用することで効率よく精度の高い画像を取得する方法を提案しました．これらの技術を用いることで，図に示すようにディスプレイとカメラ一つずつのみを用いて簡単かつ高速に物体の形状を復元することが可能になります．

単一の画像から白飛びや黒潰れのないHDR画像を取得する技術を研究しています．

従来の方法では複数の画像を合成することでHDR画像を生成していたため，動きがあるシーンでの合成が適切に行えないという問題点がありました．そこで本研究ではLCoSを用いた可変露光カメラを構築し，画素単位で露光を制御する新たな露光方法を提案しました．可変露光カメラとは輝度値を固定し，各画素の露光時間が入力エネルギーに応じて変わるような制御を想定した新たなカメラです．これにより，露光時間から入力エネルギーを計測できます．

この技術により，通常の撮影では白飛びや黒潰れが発生する箇所も見えるような画像取得が可能になります．

<<MIRUフロンティア賞受賞>>

視力の悪い人が裸眼でボケのない画像を観測できるディスプレイの画像処理技術を研究しています．

視力の悪い人の目は，水晶体で屈折される光が網膜上で像を結ばないため，ボケが発生します．一般に，このボケは，入力画像に対するぼけ関数の畳み込みによって表現できます．そこで本研究では，このボケ関数をあらかじめ逆畳み込みし，観測時のボケを打ち消す画像を生成します．この画像を提示することにより，裸眼ではボケていた画像が眼鏡やコンタクトレンズ等を使わずにはっきり見えるようになります．

この技術は，パソコンやスマートフォン等の画面で適用可能になります．

近年，画像から実空間の物体の形状を復元する手法が広く研究されています．しかし，動的に形状や姿勢が変化する物体に3次元形状に関しては，計算処理時間などの要因から復元が困難とされてきました．本研究では，異なる光源環境下で撮影された画像を用いて3次元形状を推定する照度差ステレオ法を用いて，ワンショットで撮影された画像から対象の形状復元にあたりました．

照度差ステレオ法には光源方向の異なる3以上の入力画像を必要するため，通常ワンショットで十分な入力を得ることは出来ません．そこで赤，緑，青などの波長の異なる複数の色光源を同時に投光して撮影された画像を使用しました．この画像を各波長成分ごとに分離することでワンショットで撮影された画像で照度差ステレオ法を適用させました．このとき，対象物体のもつ反射率を事前に推定し，それを用いて動的に変化する物体の法線を推定が出来ます．

車両のヘッドライトで照らされた路面を車載カメラで撮影し， その輝度情報から他車の交差点への到達時間を計算する研究をしています．

車両のヘッドライトの近似モデルとして近接光源モデルを適用することで， 距離情報を直接的に求める必要がなくなります． また，画像情報から到達時間を推定するTime to Contactの手法と組み合わせることで， 画像中の輝度情報のみから到達時間を求めることを可能としています．

この技術により，見通しの悪い交差点などにおける交通事故の抑制が可能になります．

通常，人間の視覚はRGBの3色に強く反応するため，従来のディスプレイやプロジェクタなどの表示系ではこの3バンドが多く用いられてきました．しかし自然界にはこの3バンドでは表現できない色も無数に存在しており，従来の表示系では表現可能な情報の量が制限されています．

そこで本研究では，4バンド以上の投光が可能なマルチバンドプロジェクタを構築し，より多くの情報を投影光に埋め込む方法を提案しました．特に人間やカメラなどの間に存在する分光感度特性の違いを利用することで，図に示すように，異なる観測系に対して異なる画像を提示する新たな情報提示法を実現します．

この研究では車のフロントガラスに付着した雨滴を車載カメラから得られる画像上で仮想的に除去し運転者に提示します．

雨滴は背景に比べてカメラに近い位置に存在するため，視点の位置が少し変わるだけでも画像内での位置は大きく変化します．そこでこの研究では，多数のカメラを規則的に並べることによってカメラアレイを構築し，それにより得られる様々な視点の画像を利用して雨滴部分を雨滴の無い部分に置き換えることにより雨滴除去を行います．

この技術を車載カメラに応用することで雨の日でもドライバーの視界を安定に確保することが可能になります．

霧や煙など視界を妨げるものが存在する環境で撮影された画像を用いて，視界が晴れた画像を生成する研究をしています．

霧や煙などの散乱媒体を通るときの光が変化を表現するために，散乱媒体のモデルを提案しています．提案モデルでは媒体中に存在する微粒子による光の反射を微粒子が発光していると仮定します．その仮定により簡単な式で散乱媒体を表現することができます．

このモデルを用いると散乱空間をボクセルに分解しそれぞれのボクセルの発光量を求めることにより，散乱空間やその被写体を復元することもできます．

現在，複数のプロジェクタ光を重ね合わせて対象物体に投影し，異常形状を高精度に強調提示するという方法が提案されていますが，この手法の精度はプロジェクタの解像度に依存します．そこで本研究では，超解像投影法によりプロジェクタの解像度を向上させ，より高精度に形状強調を行う手法を提案しています．

本研究では重要な技術を二つ用いています．一つは，コード化プロジェクションと言う技術であり，従来の画像処理ではカメラ，コンピュータによる計測が必要であるのに対し，複数のプロジェクタからの画像の投影のみにより，光速で三次元情報を提示できます．もう一つは超解像技術であり，複数のプロジェクタから同じ領域に向けて投影を行った場合に生じる一画素未満のずれを利用し，重畳画像の解像度を擬似的に向上させることができます．

この研究は，微小な工業製品の異常検出や路面の凹凸の検出などにおいて非常に有用です．

多数のカメラを格子状に並べたカメラアレイから得られる画像を基に，3次元復元を高フレームレートで行う研究をしています．

カメラアレイ中のカメラを複数のカメラ群に分割し，そのカメラ群ごとに撮影のタイミングをずらしながら撮影を行うことにより，露光時間を短くすることなく高フレームレートで3次元復元を行います．またこの際，カメラのグループ分けを最適化することにより，復元に用いるカメラ台数の減少による3次元復元精度の低下を抑制することができます．

この研究は，高速な運動の３次元解析などに応用することができます．

ボールや自動車などの動きを計測することを目的とした３次元復元の高精度化です．

従来法では，複数台のカメラが同期していなければならず，高速な運動は正しく復元することが出来ませんでした．本研究では，非同期マルチカメラを用いることで各カメラから独立な情報を得ることが可能であること，周波数空間では物体の運動と撮影時刻のズレが分離出来ることに注目し周波数空間から通常空間へ投影する新たな投影モデルを提案します．

これにより，カメラのフレームレートを超える高周波な運動を復元することが可能となり，より正確な３次元復元を実現します．

<<MIRUフロンティア賞受賞>>

この研究はプロジェクタを利用して目標の物体の異常を検出する研究です．

複数のプロジェクタ光の重なり合いを計算することで，基準とする物体の表面上を白く着色し，それ以外の部分では彩度の高いカラフルな色に着色されるプロジェクタ画像を生成することができます．

これにより目標とする物体表面の凹凸等といった異常が目で見て判別できるようになり，理論上ではミリメートル単位の異常を検出することが可能となります．またこの検出法は光の速さで行われるため工場での製品検査などへの応用が考えられています．

近年，撮影後に画像のピントを自由にあわせ直すことができる「ライトフィールドカメラ」について盛んに研究が行われています．このカメラでは，カメラや撮影方法に工夫を施すことで，単なる写真ではなくライトフィールド（4次元光線空間）と呼 ばれる情報を取得し，撮影後に様々な画像を提示することを可能にしています．

しかし，従来の方法では高解像度化が難しいことや高解像度化のために撮像時間が膨大になるなどの課題が残されています．

本研究では，ライトフィールドの取得にかかる時間の短縮と取得できるライトフィールドの高解像度化を両立します．

近年，カメラのぼけ関数(PSF)を用いてデコンボリューションを行うことで，奥行ぼけや動きぼけの復元を行う研究が進みつつあります．特に，コンピュテーショナルフォトグラフィの研究の進展により，被写体の奥行が一定でない3次元シーンにおいても全焦点画像の生成や被写界深度の制御が可能になりつつあります．

本研究は，カメラを露光中に移動させることにより，画像中での物体の動きの方向や大きさによらずPSFが不変となることを示し，この性質を用いることで物体の動きの方向や大きさに依らず動きぼけの復元が可能であることを示します．

この撮像方法では，任意の奥行きを持つ物体の奥行きぼけ復元が可能であることがすでに知られています．したがって，提案法では任意の奥行きに存在する任意の動きを持つ物体の奥行きぼけと動きぼけを同時に復元することが可能です．

本研究では，時系列パターンと反復的なパターンを持った対応の取れていない複数の画像から，カメラの校正および３次元復元を同時に行う手法を提案します．

そのために，アフィンカメラを使用しパターンのシフトと対象物体のフーリエ変換を考えます．通常空間では２枚の画像間には正確な対応が取れていませんが，周波数領域で成り立つ高次元多視点幾何拘束を導出することでシフト量が計算可能となります．

提案手法を用いれば，任意視点画像の時系列パターンやテクスチャーパターンを生成することができ，複合現実感などに応用することが可能です．

本研究では，路地などの死角となる交差点において，レンジセンサとカメラにより相手車両の位置を計測する方法を提案しています．

これは，レンジセンサとカメラという異なる種類のセンサ間においてセンサ協調を行うことで，互いの車両間の相対位置を計測する相対位置計測技術です． レンジセンサにより，夜間や一様で特徴がない道路面においても安定して観測を行うことを可能としています．

この手法は，死角となっている場所で発生しやすい出会い頭衝突事故の減少など，安全な運転の実現に大きく貢献することが期待できます．

本研究は，運転者の視覚的負担を軽減して交通事故を未然に防ぐために，複数のカメラによる時空間多視点幾何を用いた異常運転の検出手法を提案しています．

時空間多視点幾何は，複数のカメラから撮影した時系列画像間の関係をとります．そこで，走行する全ての車両にカメラを搭載して車両同士の対応関係を取得し，異常運転を検出することを考案しました．実験では，車線変更やふらつき運転などの異常運転を認識することができました．

今後は，ITS（高速道路交通システム）分野で，交通事故を防止する手法として利用が期待されます．

近年，現実世界と仮想世界を融合する複合現実の技術が活躍をしています．複合現実において，現実シーンへ物体の合成する際にその合成物体に陰影や影をつけて違和感のない合成をする手法を本研究室では行っています．

必要とするのは，主に合成する物体の凹凸情報と合成するシーンの光源情報です．照度差ステレオ法(PhotoMetricStereo)と呼ばれる手法を使用して，合成する物体の凹凸の情報を推定し，合成するシーンの光源情報はそのシーンに予めおかれた球などの影を利用して推定します．

この技術は映画製作や外科手術のシミュレーションなどに応用することができます．

3次元物体の認識には複数の画像間の対応点探索が必要ですが，誤対応が発生するという難点があります．そこで，本研究では，複数のプロジェクタから光を投光することで，位置ズレを生じさせることなく3次元物体の認識を行う方法を提案します．

この研究では，複数のプロジェクタから特殊なパターンを投影するコード化プロジェクションと呼ばれる技術を用いています．プロジェクタ光は物体上に位置のズレを生じさせることなく提示できるため，対応点探索を行う必要がありません．

この技術により誤対応問題を生じさせずに3次元物体の認識を行う事が出来きます．

近年，画像中のぼけを除去する研究が盛んに行われています．一般に，画像中のぼけはピントが合っていないときに発生する，奥行きぼけと，被写体が動くことにより発生する動きぼけに分けることができます．

本研究では，カメラ開口に符号化開口を施し，露光中にパターンを変更していくことにより，両方のぼけを同時に解消します．

この研究により，カメラから距離の異なる動きのある物体それぞれを鮮明に撮影することが可能になります．

本研究では複数のプロジェクタからの投影光を利用して特定の3次元空間を強調して提示することを目的とし，そのための投影パターンの導出法を提案しています．

この手法では，プロジェクタから特定のパターンを投影することにより，カメラでの画像取得や計算機上での3次元復元処理等を一切介することなく，3次元空間の強調提示を実現します．これにより，光の速さでの空間強調提示が可能となります．

本手法を利用すれば，自動車に搭載し道路の凹凸面を強調提示したり，工場の生産ラインで使用し不良品を検出したりすることができます．

コンピュータビジョンでは物体を不透明と仮定したモデルを用いることが多いです．

しかし，実際は半透明な物体が多く存在していて，半透明物体は光が当たった時，内部に光が入り，再びある表面から放射される現象が起きます．その現象を表面下散乱と呼び，本研究ではその表面下散乱を用いて，半透明な物体の内部構造を推定する方法を提案します．

半透明物体に光を当てたときに表面下散乱により放射される光の分布は，物体内部の物質によって違います．その違いを利用することで，物体の内部特性と構造を得ることができます．

非同期カメラで撮影した映像からカメラ校正および物体の軌跡を３次元復元する研究です．

一般にステレオ法を用いて３次元復元を行うためには複数のカメラで同一の３次元点を撮影する必要があります．そのため，シャッタータイミングにズレが生じた場合，従来法では３次元復元を行うことができませんでした．

本研究では，多視点幾何を周波数空間で考えることにより，撮影タイミングにズレを含む映像からカメラの校正と物体の復元が可能となります．

これにより高度なジェスチャー認識など，画像処理技術の高度化が実現されると考えられます．

従来，車のガラスにおける雨滴の除去は，撥水剤などの物理的な方法を用いて行れてきました．しかし，撥水剤には車速が遅い場合や小雨の場合には雨 滴が飛 散しないという問題があります．

そこで本研究では，物理的に雨滴を除去するのではなく，車載カメラを用いてサ イドミラーを撮影し，得られた時系列の画像データを用いて仮想的に雨 滴の除 去を行う方法を提案します．

これにより作成された画像を運転者に提示することにより，車速などの条件に影 響されることなく雨滴の除去が可能となり，運転者の視界を安定に確保 するこ とができます．

光と影の情報を用いて３次元形状の復元を行っています．

様々な光源位置において物体を撮影したときに生じる影から，物体の凹凸に関する情報を得ることができます．光源位置が異なる複数枚の画像からそれぞれ影情報を取得し，それを基に物体形状を復元する手法をShape-from- Shadowsと呼びます．

本研究では，光源環境が未知の状態で3次元形状を復元する既存の手法を応用し，撮影対象の形状と光源の位置がともに未知の条件下で物体形状と光源位置を同時に高速かつ高精度に推定する方法を提案します．

本研究は，交差点での右折待ちのときに他の車両によって見えなくなった死角部分の様子を複数の車両に搭載されたカメラを協調することで運転者に分かりやすく提示する研究です．

本研究では自車カメラの映像に映った対向車の消失点を用いることで，対向車のカメラとの相対的な視線方向の情報を計算します．そして，その情報から対向車カメラの映像を仮想回転し自車カメラの映像に合成することで整合性の取れた映像を生成します．

この技術を用いて右折時の運転者の視界の補助を行うことで，事故を未然に防ぐことが可能になります．

仮想ピアノは，プロジェクタを用いて机の上に楽器の鍵盤を仮想的に表示し，あたかも本物のピアノのように演奏することのできるシステムです．

本システムは，まず机の上に設置したスクリーンへプロジェクタを用いて楽器の鍵盤を投影します．そして，カメラを用いてユーザの演奏の様子を認識することで押した鍵盤に対応する音を出します．また，カメラとプロジェクタを用いることで手の位置を3次元的に求めることができるので，指を動かす速度を計算できます．さらに，指の速度から鍵盤を押す強さを認識できるので，鍵盤を演奏する音の強弱も再現できます．

仮想ろくろは，仮想的に作られたろくろをあたかも本物のようにけずることのできるシステムです．

本システムは，実空間中においてろくろを表示したい位置にマーカーを配置し，そのマーカーに向かってカメラを2台以上配置することで，ユーザの装着したヘッドマウントディスプレイを通して，マーカーの位置に仮想的に作られたろくろが表示されます．そのろくろに向かって手を入れることによって本物のろくろのようにけずることができます．

さらに，けずっている位置から火花が散ったり音楽が鳴ったりするなど，実際のろくろではありえないことでも，複合現実感の技術を用いれば実現できます．

本研究は，カメラの校正を必要としない未校正カメラ画像による走行レーン中での自車両位置推定法を提案します．

本研究では，自動車が道路上を走行する環境において，車線をはじめとする様々な平行線の組が存在するということに着目しました． これらの平行線を利用してカメラの視点を走行レーン上へ仮想投影することにより，走行レーンにおけるカメラの相対的な位置情報を計算しています．

この方法では絶対的な位置は分かりませんが，レーン逸脱警報や逸脱防止制御などへの応用を考えたときには，相対位置情報のみで十分有用であると考えられます．

仮想対戦システムとは複数のユーザーが仮想空間で対戦することができるシステムです．

本研究のシステムでは，各ユーザがヘッドマウントディスプレイを装着し，映画「STARWARS」に出てくるライトセーバの柄を持ちます．すると，ヘッドマウントディスプレイ上に仮想的にライトセーバーが出現します．さらに，ライトセーバーを振り回すと，効果音が聞こえます．

カメラの情報からライトセーバーの三次元位置を計算することにより，このシステムの構築が可能となっています．