新しいCV技術の確立へ

2次元画像に基づく3次元形状の復元は，コンピュータビジョンにおいて重要な課題の一つであり，今もなお新たな方法が提案されています。しかし，これまでの3次元復元法では，光は直線的に真っすぐ進むという前提で研究が行われてきました。実世界を対象とする場合，細胞や眼球内部，温度が変化する大気など，屈折率が連続的に変化する不均一な屈折率分布を持つシーンも多数存在します。このように，光線は空気中であっても真っすぐ進むことはほとんどなく，3 次元空間内で曲がりながら進んでいます。そのため最初に述べたような一般的な3次元復元手法では，光の直進を前提としているため曲がりながら進んでくる光を観測したシーンを表現することは難しく，これを入力すると誤った3次元形状が復元されてしまいます。そこで本研究では，このようなシーンを撮影することで得られた画像から，シーン内の光の屈折状況と，観測されるシーンの３次元情報を同時に復元する方法を提案します。

夏の暑い日の道路上に見られる陽炎の様子

NeRFによる3次元復元

NeRF（Neural Radiance Fields）は、ニューラルネットワークを使用して、2次元画像から3次元シーンを復元するための手法です。NeRFは、物体やシーンの内部構造や外観を推定することができます。

NeRFの概要図