多機能化に向かう次世代カメラ：コンピュテーショナルフォトグラフィの活用で （5/5 ページ）

[坂東 洋介 （東芝 セミコンダクター社），EDN Japan]

システム構成の例

　上記いずれかの方法により、光学系についてはライトフィールドの取得が可能になったとしよう。その場合、バックエンド側はどのようなシステムにすればよいのだろうか。

図20 システムの構成例　ライトフィールド処理エンジンを挿入することによって、後段に既存の画像処理エンジンを用いることができる（a）。この構成が、ライトフィールド導入のハードルを下げると考えられる。両処理エンジンはその後統合されていくであろう（b）。

図21 ライトフィールド撮影システムの構成例　FPGAを用いて構成している。筆者らは、この構成で、評価ボードの試作を進めている。

図22 ライトフィールド処理エンジンの概念図　

表2 各機能の演算規模　

表3 そのほかの諸条件　

　従来の2次元画像撮影システムからの発展形として考えると、まずは図20（a）のように、ライトフィールドを取得する光学系の後ろに、ライトフィールドのデータを処理して2次元画像を出力する専用ハードウエア（ライトフィールド処理エンジン）を配置する構成が考えられる。この構成であれば、後段に既存の画像処理エンジンを使用することができる。いずれライトフィールド処理エンジンと既存の画像処理エンジンは図20（b）のように統合されるであろうが、筆者らはライトフィールド処理エンジンを用いる図20（a）のシステム構成で評価ボードの試作を進めている（図21）。

　この例では、ライトフィールドを取得する光学系には、小型カメラを多数配置したカメラアレイ方式を用いている。また、ライトフィールド処理エンジンはFPGAによって実装する。既存の画像処理エンジンとしては、市販のイメージセンサー評価ボードを使用している。このイメージセンサー評価ボードは、単一のセンサーからの画像を取り込むように設計されている。ライトフィールド処理エンジンは、この設計に適合する形でイメージセンサー評価ボードに対して通信を行う。すなわち、イメージセンサー評価ボードにとって、ライトフィールドを取得する光学系とライトフィールド処理エンジンが、全体として1つのイメージセンサーに見えるように振る舞う。

　図22に示したのは、ライトフィールド処理エンジンの概念図である。図21のシステム仕様に従って、ライトフィールドはN視点の画像として入力され、同エンジンは結果として単一の画像を出力する。図21ではFPGAに外部メモリーを接続しているが、図22の構成では使用していない。ここでは、利用する機能として、焦点ボケ合成、奥行き推定、前景抽出を考えた（各処理の詳細については、前掲の各参考文献を参照されたい）。各機能の演算規模は、表2のような見積もりとなる。ただし、この見積もりは各アルゴリズムの演算数を数え上げて単純にゲート数に置き換えたものである。そのほかの諸条件は表3に示したとおりだ。

---

　カメラの未来を模索する大きな動きとなっているコンピュテーショナルフォトグラフィ。本稿では、この分野の技術のうち、ライトフィールドを中心として概要を説明した。画像処理技術はすでに実用レベルに達しており、撮影（ライトフィールドのデータ取得）方式がコンパクトで安価になれば、実用化は近いであろう。コンピュテーショナルフォトグラフィの技術は、ライトフィールド関連以外にも多数開発されて日進月歩している。この技術により、カメラの将来はさらに多様化することが期待される。