多機能化に向かう次世代カメラ：コンピュテーショナルフォトグラフィの活用で （4/5 ページ）

[坂東 洋介 （東芝 セミコンダクター社），EDN Japan]

■センサー面上での光線分割

　もう1つの方法は、センサー面上での光線分割により、ライトフィールドを取得するというものだ。これは、図6で示したカメラ内のライトフィールドを取得するという考え方に基づいている。繰り返しになるが、従来のカメラでは、センサー上で複数の方向からの光線を積分してしまうためライトフィールドが取得できなかった。そこで、センサーの表面にマイクロレンズアレイを、各マイクロレンズの下に複数の画素が含まれるように配置することにより、異なる方向からの光線を別の画素に取り込むのである（図15）^{＊10）、＊11）}。

図15 マイクロレンズアレイによる光線分割　複数の画素にまたがるマイクロレンズアレイをセンサー上に配置することで、異なる方向からの光線が異なる画素に入射するように屈折させる。

図16 パターンマスクによる光線分割　複数の画素にまたがるマイクロレンズアレイの代わりに、パターンマスクをセンサー付近に置くことでも、図15と同様の光線分割が可能である。ただし、複数の方向の光線が多重化されて各画素に記録されるので、復元計算が必要になる。マスクはある基本パターンの繰り返しになっており、1つの基本パターンが複数の画素を覆う。

図17 絞り機構による光線分割　通常の絞りは、レンズ中央部の開口サイズを調整するだけである。それに対し、レンズの異なる局所領域のみから光を通すような絞りを作れば、方向別の光線を時分割で記録することができる。

図18 色フィルタによる光線分割　レンズの開口部に色フィルタを挿入することで、各波長の光が異なる方向に対応づけられる。撮影した画像をR、G、Bに分解すると、視差があることがわかる。なお、白線は、視差をわかりやすくするために便宜上記入した。

図19 各種画像処理の結果　

　また、マイクロレンズの代わりに空間周波数特性の良好なパターンを配列したマスクでも、方向別の光線分割が可能である（図16）^＊12）。マイクロレンズより安価に実現できる半面、周波数領域に信号を多重化するので、その復元のための計算量が多くなり、また画像にはノイズがのりやすい。

　上記のどちらの方式でも、センサーとメインのレンズがそれぞれ1つで済む。そのため、カメラを複数台使う場合のような同期の問題がなく、システムを小型化できる。また、マイクロレンズ（またはマスクパターン）が覆う画素領域を増やすことで、比較的容易に方向解像度を上げることが可能だ。ただし、方向解像度を上げた分だけ、空間解像度（各視点での画像の解像度）は減少する。

■レンズ開口部での光線分割

　センサー面上で方向を区別するのではなく、レンズの開口部で光線を選別する手法も考えられる。実装が比較的容易で、特にレンズ交換式のカメラの場合には、レンズだけ付け替えれば従来の撮影方法との切り替えが行えるという手軽さがこの方式の利点である。

　開口部での光線の選別は、レンズの絞りの機構を改変し、開口部を部分的にふさぐことができるようにすれば実現可能である（図17）^＊13）。ただし、時系列にふさぐ位置を変える必要があるので、この方法は動的なシーンには適用できない。複雑な可動部品が必要になることを回避するために液晶シャッターを用いる方法も考えられるが、液晶を透過する過程で光量が減ってしまうという問題がある。

　動的なシーンに適用できないという問題を解決するために、筆者らは開口部に色フィルタを挿入する手法を考案し、試作を行った（図18）^＊14）。この方法の場合、時間ではなく波長によって光線を選別するので、方向解像度は低い（R、G、Bの3方向）。しかし、波長の異なるデータに適用可能な画像処理技術を併せて開発することで、奥行き推定、前景抽出、撮影後のピント変更を実現することができた（図19）。

　なお、色フィルタ方式のほかに、レンズ開口部付近でプリズムやレンズなどを用いて光線を分割する方式なども提案されている^＊15）。

脚注

※10…E. H. Adelson, J. Y. A. Wang. Single lens stereo with a plenoptic camera. IEEE Trans. PAMI 14（2）, pp.99〜106, 1992

※11…R. Ng, M. Levoy, M. Bredif, G. Duval, M. Horowitz, P. Hanrahan. Light field photography with a hand-held plenoptic camera. Tech. Rep. CSTR 2005-02, Stanford Computer Science, 2005

※12…A. Veeraraghavan, R. Raskar, A. Agrawal, A. Mohan, J. Tumblin. Dappled photography: mask enhanced cameras for heterodyned light fields and coded aperture refocusing. ACM Trans. Graphics 26（3）, 69:1-69:12, 2007

※13…C.-K. Liang, T.-H. Lin, B.-Y. Wong, C. Liu, H. H. Chen. Programmable aperture photography: multiplexed light field acquisition, ACM Trans. Graphics 27（3）, 55:1-55:10, 2008

※14…Y. Bando, B.-Y. Chen, T. Nishita. Extracting depth and matte using a color-filtered aperture. ACM Trans. Graphics 27（5）, 134:1-134:9, 2008

※15…T. Georgeiv, K. C. Zheng, B. Curless, D. Salesin, S. Nayar, C. Intwala. Spatio-angular resolution tradeoff in integral photography. Proc. Eurographics Symposium on Rendering, 263-272, 2006