本研究では，新たな装置であるライトフィールドプロジェクタと３次元拡散スクリーンを開発し，これらを用いて３次元物体を直接空間に描画する方法について検討しています．

ライトフィールドプロジェクタとは，対象とする空間に任意の光線空間（ライトフィールド）を投影する特殊なプロジェクタであり，立体視可能な画像の投影などに用いられます．これを用いて３次元拡散スクリーンと呼ぶ，特殊な立体スクリーンに対してライトフィールドを投影することで，任意の３次元物体を映し出すことが可能となります．

本研究では，拡散スクリーン上での光線の広がりを点広がり関数（PSF：Point Spread Function）を用いてモデル化することで，３次元画像を提示するためのライトフィールドを作成する方法などについて検討しています．

人間の視覚特性の差異を用いることで，単一の映像により複数人に同時に異なる映像を観測させる研究をしています．

人間の視細胞がある光刺激を受け取ったとき，それに対する応答はある一定時間持続します．そのため人間がある時刻に観測する刺激は，過去に受け取った刺激にも影響を受けることになります．またこの応答は人ごとに異なるため， 同一の連続光信号を観測した場合でも観測される刺激は人ごとに異なったものとなります．これを利用して人ごとに異なった映像の観測を実現します．これにより，本研究では特殊な装置を装着することなく，観測位置に依存しない情報提示が可能となります．

本研究では，ライトフィールドディスプレイでを観測するだけで，ユーザの視力特性を正確に測定可能な新しい視力計測方法について検討しています．

従来のランドルト環（一部が欠けた丸）を用いた視力測定法では，ユーザの大まかな視力は測定できますが，近視，遠視といった細かな特性については計測することができませんでした．しかし，本研究ではライトフィールドディスプレイと呼ばれる特殊なディスプレイを利用することで，これを実現しています．ライトフィールドディスプレイとはそれぞれの画素から方向ごとに異なる光を出力できるディスプレイであり，立体視等で利用されています．立体視への適用では，右目と左目にそれぞれ異なる画像を提示することで，ユーザに３次元情報を知覚させますが，本研究ではこれをさらに拡張し，ユーザの視力ごとに異なる画像を提示する方法を提案しています．これにより，ユーザが観測した画像を申告するだけで，精密な視力特性を計測することが可能となっています．

<<MIRUインタラクティブ発表賞受賞>>

本研究では，従来よりも精密に3次元形状を推定する方法について検討しています．

ステレオ法を用いて3次元復元を行う場合，複数の画像から対応する点の組を見つけることで，疎な３次元形状を復元することができます．しかし，使用する画像の解像度が低いときには，画像の特徴が劣化し，その結果画像どうしの対応点を見つけることができなくなります．これにより，画像からの3次元形状推定が困難になるという問題があります．

本研究では，画像超解像と呼ばれる，複数の低解像画像から高解像画像を生成する技術を３次元復元へと拡張し，複数の低解像画像から高解像３次元形状を推定する方法を検討しています．これにより，使用する画像の解像度が低い場合でも精密な3次元形状を推定することが可能となります．

本研究では互いに不整合な画像群から，その3次元形状と物体の運動を同時に復 元する方法について研究しています．

近年，3次元の物体を詳細に表現した3次元モデルが様々な分野で活用されています．このような3次元モデルの作成には，特殊な技術や多大なコストが必要とされてきました．そこで，本研究ではより簡単に3次元モデルを作成する方法として，イラストなどの手描き画像から3次元モデルを構築する方法を検討しています．

手描き画像を元に3次元形状を復元する場合，一般的な3次元復元に用いられるステレオ法（異なる視点で撮影された画像から3次元復元を行う方法）を適用することができません．これは，手描き画像は完全な3次元情報を元に作成されるものではないため，たとえ異なる視点の画像を描いたとしても，画像間には3次元的な不整合が生じるためです．そこで本研究ではそのような不整合は物体の運動であるとして考え，形状と運動を同時に表現できるモデルを提案します．

さらに，このモデルを用いたエネルギー最小化に基づく推定手法を研究しています．この技術によって，不整合な手描き画像からでも，その3次元形状と画像間で生じている運動を推定することが可能となります．

本研究では，非常に解像度の高い HDR（High Dynamic Range）画像を取得するための，新しいカメラシステムの開発に取り組んでいます．

近年，撮像系と画像処理系を一体化して再構築することで，従来のカメラシステムよりも効率よく画像を取得するための，Computational Photographyと呼ばれる技術が広く研究されています．本研究室でも，HDR画像を効率的に取得するための可変露光カメラを新たに開発しています．この可変露光カメラでは，従来のカメラでは実現不可能であった画素単位での露光制御を実現しており，これにより非常にコントラストの高い画像を効果的に撮影することができます．

本研究では，この可変露光カメラを利用してより解像度の高い画像を得るため の，画像超解像に関する研究を行っています．これにより，可変露光カメラにより高コントラストかつ高解像度の画像を撮影することが可能になると考えられます．

レンズの一部分ににごりや欠損が存在する場合でも，適切にレンズの特性を計測するための技術を研究しています．この技術は，白内障罹患者の眼球特性計測などに利用可能な技術です．

近年，眼球の光の屈折特性をより詳細に計測するために波面センサと呼ばれる計測機器を用いた新しい特性計測法が研究されています．この波面センサでは，光の波動的性質を利用することで，レンズの特性を詳細に計測することが可能です．しかし，この波面センサでは白内障などによりレンズ（水晶体）に濁りが発生していると，その部分の計測を適切に行うことができず，結果としてレンズ全体の正確な計測ができないという問題がありました．

本研究ではパラメトリック関数による近似表現と，推定時の正則化を導入することで，欠損を含む波面情報から欠損のない光の波面を推定する方法を提案しています．この技術により，白内障のような状態でも，レンズ本来の屈折特性を計測が可能になります．

3次元形状を復元する手法の一つとして，異なる光源環境で撮影された複数の画像から形状を復元する照度差ステレオ法があります．通常の照度差ステレオ法では，光源が十分に遠いところに配置する（無限遠光源）必要があるため形状計測に広いスペースが必要となります．一方，光源が近くに配置された場合（近接光源）に対応した照度差ステレオ法も提案されていますが，こちらでは形状推定に非線形演算が必要となるため，計算時間が多くなるという問題があります．

本研究では光源を微小にずらした際の輝度の変化（輝度微分）に注目することで，近接光源における照度差ステレオを線形計算で行う方法を提案しました．さらに，ディスプレイを光源として使用することで効率よく精度の高い画像を取得する方法を提案しました．これらの技術を用いることで，図に示すようにディスプレイとカメラ一つずつのみを用いて簡単かつ高速に物体の形状を復元することが可能になります．

単一の画像から白飛びや黒潰れのないHDR画像を取得する技術を研究しています．

従来の方法では複数の画像を合成することでHDR画像を生成していたため，動きがあるシーンでの合成が適切に行えないという問題点がありました．そこで本研究ではLCoSを用いた可変露光カメラを構築し，画素単位で露光を制御する新たな露光方法を提案しました．可変露光カメラとは輝度値を固定し，各画素の露光時間が入力エネルギーに応じて変わるような制御を想定した新たなカメラです．これにより，露光時間から入力エネルギーを計測できます．

この技術により，通常の撮影では白飛びや黒潰れが発生する箇所も見えるような画像取得が可能になります．

<<MIRUフロンティア賞受賞>>

視力の悪い人が裸眼でボケのない画像を観測できるディスプレイの画像処理技術を研究しています．

視力の悪い人の目は，水晶体で屈折される光が網膜上で像を結ばないため，ボケが発生します．一般に，このボケは，入力画像に対するぼけ関数の畳み込みによって表現できます．そこで本研究では，このボケ関数をあらかじめ逆畳み込みし，観測時のボケを打ち消す画像を生成します．この画像を提示することにより，裸眼ではボケていた画像が眼鏡やコンタクトレンズ等を使わずにはっきり見えるようになります．

この技術は，パソコンやスマートフォン等の画面で適用可能になります．

近年，画像から実空間の物体の形状を復元する手法が広く研究されています．しかし，動的に形状や姿勢が変化する物体に3次元形状に関しては，計算処理時間などの要因から復元が困難とされてきました．本研究では，異なる光源環境下で撮影された画像を用いて3次元形状を推定する照度差ステレオ法を用いて，ワンショットで撮影された画像から対象の形状復元にあたりました．

照度差ステレオ法には光源方向の異なる3以上の入力画像を必要するため，通常ワンショットで十分な入力を得ることは出来ません．そこで赤，緑，青などの波長の異なる複数の色光源を同時に投光して撮影された画像を使用しました．この画像を各波長成分ごとに分離することでワンショットで撮影された画像で照度差ステレオ法を適用させました．このとき，対象物体のもつ反射率を事前に推定し，それを用いて動的に変化する物体の法線を推定が出来ます．

車両のヘッドライトで照らされた路面を車載カメラで撮影し， その輝度情報から他車の交差点への到達時間を計算する研究をしています．

車両のヘッドライトの近似モデルとして近接光源モデルを適用することで， 距離情報を直接的に求める必要がなくなります． また，画像情報から到達時間を推定するTime to Contactの手法と組み合わせることで， 画像中の輝度情報のみから到達時間を求めることを可能としています．

この技術により，見通しの悪い交差点などにおける交通事故の抑制が可能になります．

通常，人間の視覚はRGBの3色に強く反応するため，従来のディスプレイやプロジェクタなどの表示系ではこの3バンドが多く用いられてきました．しかし自然界にはこの3バンドでは表現できない色も無数に存在しており，従来の表示系では表現可能な情報の量が制限されています．

そこで本研究では，4バンド以上の投光が可能なマルチバンドプロジェクタを構築し，より多くの情報を投影光に埋め込む方法を提案しました．特に人間やカメラなどの間に存在する分光感度特性の違いを利用することで，図に示すように，異なる観測系に対して異なる画像を提示する新たな情報提示法を実現します．

この研究では車のフロントガラスに付着した雨滴を車載カメラから得られる画像上で仮想的に除去し運転者に提示します．

雨滴は背景に比べてカメラに近い位置に存在するため，視点の位置が少し変わるだけでも画像内での位置は大きく変化します．そこでこの研究では，多数のカメラを規則的に並べることによってカメラアレイを構築し，それにより得られる様々な視点の画像を利用して雨滴部分を雨滴の無い部分に置き換えることにより雨滴除去を行います．

この技術を車載カメラに応用することで雨の日でもドライバーの視界を安定に確保することが可能になります．

霧や煙など視界を妨げるものが存在する環境で撮影された画像を用いて，視界が晴れた画像を生成する研究をしています．

霧や煙などの散乱媒体を通るときの光が変化を表現するために，散乱媒体のモデルを提案しています．提案モデルでは媒体中に存在する微粒子による光の反射を微粒子が発光していると仮定します．その仮定により簡単な式で散乱媒体を表現することができます．

このモデルを用いると散乱空間をボクセルに分解しそれぞれのボクセルの発光量を求めることにより，散乱空間やその被写体を復元することもできます．

現在，複数のプロジェクタ光を重ね合わせて対象物体に投影し，異常形状を高精度に強調提示するという方法が提案されていますが，この手法の精度はプロジェクタの解像度に依存します．そこで本研究では，超解像投影法によりプロジェクタの解像度を向上させ，より高精度に形状強調を行う手法を提案しています．

本研究では重要な技術を二つ用いています．一つは，コード化プロジェクションと言う技術であり，従来の画像処理ではカメラ，コンピュータによる計測が必要であるのに対し，複数のプロジェクタからの画像の投影のみにより，光速で三次元情報を提示できます．もう一つは超解像技術であり，複数のプロジェクタから同じ領域に向けて投影を行った場合に生じる一画素未満のずれを利用し，重畳画像の解像度を擬似的に向上させることができます．

この研究は，微小な工業製品の異常検出や路面の凹凸の検出などにおいて非常に有用です．

多数のカメラを格子状に並べたカメラアレイから得られる画像を基に，3次元復元を高フレームレートで行う研究をしています．

カメラアレイ中のカメラを複数のカメラ群に分割し，そのカメラ群ごとに撮影のタイミングをずらしながら撮影を行うことにより，露光時間を短くすることなく高フレームレートで3次元復元を行います．またこの際，カメラのグループ分けを最適化することにより，復元に用いるカメラ台数の減少による3次元復元精度の低下を抑制することができます．

この研究は，高速な運動の３次元解析などに応用することができます．

ボールや自動車などの動きを計測することを目的とした３次元復元の高精度化です．

従来法では，複数台のカメラが同期していなければならず，高速な運動は正しく復元することが出来ませんでした．本研究では，非同期マルチカメラを用いることで各カメラから独立な情報を得ることが可能であること，周波数空間では物体の運動と撮影時刻のズレが分離出来ることに注目し周波数空間から通常空間へ投影する新たな投影モデルを提案します．

これにより，カメラのフレームレートを超える高周波な運動を復元することが可能となり，より正確な３次元復元を実現します．

<<MIRUフロンティア賞受賞>>

この研究はプロジェクタを利用して目標の物体の異常を検出する研究です．

複数のプロジェクタ光の重なり合いを計算することで，基準とする物体の表面上を白く着色し，それ以外の部分では彩度の高いカラフルな色に着色されるプロジェクタ画像を生成することができます．

これにより目標とする物体表面の凹凸等といった異常が目で見て判別できるようになり，理論上ではミリメートル単位の異常を検出することが可能となります．またこの検出法は光の速さで行われるため工場での製品検査などへの応用が考えられています．

近年，撮影後に画像のピントを自由にあわせ直すことができる「ライトフィールドカメラ」について盛んに研究が行われています．このカメラでは，カメラや撮影方法に工夫を施すことで，単なる写真ではなくライトフィールド（4次元光線空間）と呼 ばれる情報を取得し，撮影後に様々な画像を提示することを可能にしています．

しかし，従来の方法では高解像度化が難しいことや高解像度化のために撮像時間が膨大になるなどの課題が残されています．

本研究では，ライトフィールドの取得にかかる時間の短縮と取得できるライトフィールドの高解像度化を両立します．

近年，カメラのぼけ関数(PSF)を用いてデコンボリューションを行うことで，奥行ぼけや動きぼけの復元を行う研究が進みつつあります．特に，コンピュテーショナルフォトグラフィの研究の進展により，被写体の奥行が一定でない3次元シーンにおいても全焦点画像の生成や被写界深度の制御が可能になりつつあります．

本研究は，カメラを露光中に移動させることにより，画像中での物体の動きの方向や大きさによらずPSFが不変となることを示し，この性質を用いることで物体の動きの方向や大きさに依らず動きぼけの復元が可能であることを示します．

この撮像方法では，任意の奥行きを持つ物体の奥行きぼけ復元が可能であることがすでに知られています．したがって，提案法では任意の奥行きに存在する任意の動きを持つ物体の奥行きぼけと動きぼけを同時に復元することが可能です．

本研究では，時系列パターンと反復的なパターンを持った対応の取れていない複数の画像から，カメラの校正および３次元復元を同時に行う手法を提案します．

そのために，アフィンカメラを使用しパターンのシフトと対象物体のフーリエ変換を考えます．通常空間では２枚の画像間には正確な対応が取れていませんが，周波数領域で成り立つ高次元多視点幾何拘束を導出することでシフト量が計算可能となります．

提案手法を用いれば，任意視点画像の時系列パターンやテクスチャーパターンを生成することができ，複合現実感などに応用することが可能です．

本研究では，路地などの死角となる交差点において，レンジセンサとカメラにより相手車両の位置を計測する方法を提案しています．

これは，レンジセンサとカメラという異なる種類のセンサ間においてセンサ協調を行うことで，互いの車両間の相対位置を計測する相対位置計測技術です． レンジセンサにより，夜間や一様で特徴がない道路面においても安定して観測を行うことを可能としています．

この手法は，死角となっている場所で発生しやすい出会い頭衝突事故の減少など，安全な運転の実現に大きく貢献することが期待できます．

本研究は，運転者の視覚的負担を軽減して交通事故を未然に防ぐために，複数のカメラによる時空間多視点幾何を用いた異常運転の検出手法を提案しています．

時空間多視点幾何は，複数のカメラから撮影した時系列画像間の関係をとります．そこで，走行する全ての車両にカメラを搭載して車両同士の対応関係を取得し，異常運転を検出することを考案しました．実験では，車線変更やふらつき運転などの異常運転を認識することができました．

今後は，ITS（高速道路交通システム）分野で，交通事故を防止する手法として利用が期待されます．

近年，現実世界と仮想世界を融合する複合現実の技術が活躍をしています．複合現実において，現実シーンへ物体の合成する際にその合成物体に陰影や影をつけて違和感のない合成をする手法を本研究室では行っています．

必要とするのは，主に合成する物体の凹凸情報と合成するシーンの光源情報です．照度差ステレオ法(PhotoMetricStereo)と呼ばれる手法を使用して，合成する物体の凹凸の情報を推定し，合成するシーンの光源情報はそのシーンに予めおかれた球などの影を利用して推定します．

この技術は映画製作や外科手術のシミュレーションなどに応用することができます．

3次元物体の認識には複数の画像間の対応点探索が必要ですが，誤対応が発生するという難点があります．そこで，本研究では，複数のプロジェクタから光を投光することで，位置ズレを生じさせることなく3次元物体の認識を行う方法を提案します．

この研究では，複数のプロジェクタから特殊なパターンを投影するコード化プロジェクションと呼ばれる技術を用いています．プロジェクタ光は物体上に位置のズレを生じさせることなく提示できるため，対応点探索を行う必要がありません．

この技術により誤対応問題を生じさせずに3次元物体の認識を行う事が出来きます．

近年，画像中のぼけを除去する研究が盛んに行われています．一般に，画像中のぼけはピントが合っていないときに発生する，奥行きぼけと，被写体が動くことにより発生する動きぼけに分けることができます．

本研究では，カメラ開口に符号化開口を施し，露光中にパターンを変更していくことにより，両方のぼけを同時に解消します．

この研究により，カメラから距離の異なる動きのある物体それぞれを鮮明に撮影することが可能になります．

本研究では複数のプロジェクタからの投影光を利用して特定の3次元空間を強調して提示することを目的とし，そのための投影パターンの導出法を提案しています．

この手法では，プロジェクタから特定のパターンを投影することにより，カメラでの画像取得や計算機上での3次元復元処理等を一切介することなく，3次元空間の強調提示を実現します．これにより，光の速さでの空間強調提示が可能となります．

本手法を利用すれば，自動車に搭載し道路の凹凸面を強調提示したり，工場の生産ラインで使用し不良品を検出したりすることができます．

コンピュータビジョンでは物体を不透明と仮定したモデルを用いることが多いです．

しかし，実際は半透明な物体が多く存在していて，半透明物体は光が当たった時，内部に光が入り，再びある表面から放射される現象が起きます．その現象を表面下散乱と呼び，本研究ではその表面下散乱を用いて，半透明な物体の内部構造を推定する方法を提案します．

半透明物体に光を当てたときに表面下散乱により放射される光の分布は，物体内部の物質によって違います．その違いを利用することで，物体の内部特性と構造を得ることができます．

非同期カメラで撮影した映像からカメラ校正および物体の軌跡を３次元復元する研究です．

一般にステレオ法を用いて３次元復元を行うためには複数のカメラで同一の３次元点を撮影する必要があります．そのため，シャッタータイミングにズレが生じた場合，従来法では３次元復元を行うことができませんでした．

本研究では，多視点幾何を周波数空間で考えることにより，撮影タイミングにズレを含む映像からカメラの校正と物体の復元が可能となります．

これにより高度なジェスチャー認識など，画像処理技術の高度化が実現されると考えられます．

従来，車のガラスにおける雨滴の除去は，撥水剤などの物理的な方法を用いて行れてきました．しかし，撥水剤には車速が遅い場合や小雨の場合には雨 滴が飛 散しないという問題があります．

そこで本研究では，物理的に雨滴を除去するのではなく，車載カメラを用いてサ イドミラーを撮影し，得られた時系列の画像データを用いて仮想的に雨 滴の除 去を行う方法を提案します．

これにより作成された画像を運転者に提示することにより，車速などの条件に影 響されることなく雨滴の除去が可能となり，運転者の視界を安定に確保 するこ とができます．

光と影の情報を用いて３次元形状の復元を行っています．

様々な光源位置において物体を撮影したときに生じる影から，物体の凹凸に関する情報を得ることができます．光源位置が異なる複数枚の画像からそれぞれ影情報を取得し，それを基に物体形状を復元する手法をShape-from- Shadowsと呼びます．

本研究では，光源環境が未知の状態で3次元形状を復元する既存の手法を応用し，撮影対象の形状と光源の位置がともに未知の条件下で物体形状と光源位置を同時に高速かつ高精度に推定する方法を提案します．

本研究は，交差点での右折待ちのときに他の車両によって見えなくなった死角部分の様子を複数の車両に搭載されたカメラを協調することで運転者に分かりやすく提示する研究です．

本研究では自車カメラの映像に映った対向車の消失点を用いることで，対向車のカメラとの相対的な視線方向の情報を計算します．そして，その情報から対向車カメラの映像を仮想回転し自車カメラの映像に合成することで整合性の取れた映像を生成します．

この技術を用いて右折時の運転者の視界の補助を行うことで，事故を未然に防ぐことが可能になります．

仮想ピアノは，プロジェクタを用いて机の上に楽器の鍵盤を仮想的に表示し，あたかも本物のピアノのように演奏することのできるシステムです．

本システムは，まず机の上に設置したスクリーンへプロジェクタを用いて楽器の鍵盤を投影します．そして，カメラを用いてユーザの演奏の様子を認識することで押した鍵盤に対応する音を出します．また，カメラとプロジェクタを用いることで手の位置を3次元的に求めることができるので，指を動かす速度を計算できます．さらに，指の速度から鍵盤を押す強さを認識できるので，鍵盤を演奏する音の強弱も再現できます．

仮想ろくろは，仮想的に作られたろくろをあたかも本物のようにけずることのできるシステムです．

本システムは，実空間中においてろくろを表示したい位置にマーカーを配置し，そのマーカーに向かってカメラを2台以上配置することで，ユーザの装着したヘッドマウントディスプレイを通して，マーカーの位置に仮想的に作られたろくろが表示されます．そのろくろに向かって手を入れることによって本物のろくろのようにけずることができます．

さらに，けずっている位置から火花が散ったり音楽が鳴ったりするなど，実際のろくろではありえないことでも，複合現実感の技術を用いれば実現できます．

本研究は，カメラの校正を必要としない未校正カメラ画像による走行レーン中での自車両位置推定法を提案します．

本研究では，自動車が道路上を走行する環境において，車線をはじめとする様々な平行線の組が存在するということに着目しました． これらの平行線を利用してカメラの視点を走行レーン上へ仮想投影することにより，走行レーンにおけるカメラの相対的な位置情報を計算しています．

この方法では絶対的な位置は分かりませんが，レーン逸脱警報や逸脱防止制御などへの応用を考えたときには，相対位置情報のみで十分有用であると考えられます．

仮想対戦システムとは複数のユーザーが仮想空間で対戦することができるシステムです．

本研究のシステムでは，各ユーザがヘッドマウントディスプレイを装着し，映画「STARWARS」に出てくるライトセーバの柄を持ちます．すると，ヘッドマウントディスプレイ上に仮想的にライトセーバーが出現します．さらに，ライトセーバーを振り回すと，効果音が聞こえます．

カメラの情報からライトセーバーの三次元位置を計算することにより，このシステムの構築が可能となっています．