多機能化に向かう次世代カメラ：コンピュテーショナルフォトグラフィの活用で （5/5 ページ）

コンピュテーショナルフォトグラフィと呼ばれる技術分野に注目が集まっている。従来のカメラの撮像過程を変更し、シーンの単なるスナップショット画像以上の情報をイメージセンサーで取り込み、デジタル信号処理と組み合わせることで、従来のカメラでは不可能な「写真」を撮影しようという試みだ。本稿では、この分野の重要な一角を占め、撮影後の写真のピント変更を可能にするなど、多様な応用が期待できるライトフィールドの概念を用いた技術について説明する。

[坂東 洋介 （東芝 セミコンダクター社），EDN Japan]

システム構成の例

　上記いずれかの方法により、光学系についてはライトフィールドの取得が可能になったとしよう。その場合、バックエンド側はどのようなシステムにすればよいのだろうか。

図20 システムの構成例　ライトフィールド処理エンジンを挿入することによって、後段に既存の画像処理エンジンを用いることができる（a）。この構成が、ライトフィールド導入のハードルを下げると考えられる。両処理エンジンはその後統合されていくであろう（b）。

図21 ライトフィールド撮影システムの構成例　FPGAを用いて構成している。筆者らは、この構成で、評価ボードの試作を進めている。

図22 ライトフィールド処理エンジンの概念図　

表2 各機能の演算規模　

表3 そのほかの諸条件　

　従来の2次元画像撮影システムからの発展形として考えると、まずは図20（a）のように、ライトフィールドを取得する光学系の後ろに、ライトフィールドのデータを処理して2次元画像を出力する専用ハードウエア（ライトフィールド処理エンジン）を配置する構成が考えられる。この構成であれば、後段に既存の画像処理エンジンを使用することができる。いずれライトフィールド処理エンジンと既存の画像処理エンジンは図20（b）のように統合されるであろうが、筆者らはライトフィールド処理エンジンを用いる図20（a）のシステム構成で評価ボードの試作を進めている（図21）。

　この例では、ライトフィールドを取得する光学系には、小型カメラを多数配置したカメラアレイ方式を用いている。また、ライトフィールド処理エンジンはFPGAによって実装する。既存の画像処理エンジンとしては、市販のイメージセンサー評価ボードを使用している。このイメージセンサー評価ボードは、単一のセンサーからの画像を取り込むように設計されている。ライトフィールド処理エンジンは、この設計に適合する形でイメージセンサー評価ボードに対して通信を行う。すなわち、イメージセンサー評価ボードにとって、ライトフィールドを取得する光学系とライトフィールド処理エンジンが、全体として1つのイメージセンサーに見えるように振る舞う。

　図22に示したのは、ライトフィールド処理エンジンの概念図である。図21のシステム仕様に従って、ライトフィールドはN視点の画像として入力され、同エンジンは結果として単一の画像を出力する。図21ではFPGAに外部メモリーを接続しているが、図22の構成では使用していない。ここでは、利用する機能として、焦点ボケ合成、奥行き推定、前景抽出を考えた（各処理の詳細については、前掲の各参考文献を参照されたい）。各機能の演算規模は、表2のような見積もりとなる。ただし、この見積もりは各アルゴリズムの演算数を数え上げて単純にゲート数に置き換えたものである。そのほかの諸条件は表3に示したとおりだ。

---

　カメラの未来を模索する大きな動きとなっているコンピュテーショナルフォトグラフィ。本稿では、この分野の技術のうち、ライトフィールドを中心として概要を説明した。画像処理技術はすでに実用レベルに達しており、撮影（ライトフィールドのデータ取得）方式がコンパクトで安価になれば、実用化は近いであろう。コンピュテーショナルフォトグラフィの技術は、ライトフィールド関連以外にも多数開発されて日進月歩している。この技術により、カメラの将来はさらに多様化することが期待される。