画像処理装置および画像処理方法、並びにプログラム
【課題】多視点からの画像データを用いて、リフォーカス処理と高解像度化処理とを同時に行う場合、どの視点から見ても被写体上の同一の点は同じ輝度（色）に見えている必要がある。また、被写体が仮想的なピントを合わせる面上に存在する必要がある。そのため、上記条件から逸脱している場合、画質劣化が生じる。
【解決手段】仮想撮像系が合焦する面の情報と複数の視点の配置の情報とから、前記複数の画像データの画素が前記仮想撮像系の画像上のどの位置に配置されるかを表す画素配置パラメータを算出し、画素配置パラメータから前記複数の画像データ間の前記仮想撮像系の画像上での画素値の整合度を算出する。そして、整合度から前記仮想撮像系の画像上での画素位置の近傍にある画素の画素補間パラメータを算出し、前記配置パラメータと前記画素補間パラメータとを用いて、前記複数の画像から画像合成を行う。
【解決手段】仮想撮像系が合焦する面の情報と複数の視点の配置の情報とから、前記複数の画像データの画素が前記仮想撮像系の画像上のどの位置に配置されるかを表す画素配置パラメータを算出し、画素配置パラメータから前記複数の画像データ間の前記仮想撮像系の画像上での画素値の整合度を算出する。そして、整合度から前記仮想撮像系の画像上での画素位置の近傍にある画素の画素補間パラメータを算出し、前記配置パラメータと前記画素補間パラメータとを用いて、前記複数の画像から画像合成を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点から撮像した画像データを処理する画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
カメラのピント位置は一般的に撮影時に調整が行われるため、ピント調整を誤った場合は再撮影の必要がある。
【０００３】
近年、多視点からの画像データを取得し、画像処理によってピント位置を調節するライトフィールドフォトグラフィという技術が発展している。この技術は撮影後にピント調整を行えるようにするので、撮影時のピント調整の失敗を画像処理で補うことができる利点がある。
【０００４】
ライトフィールドフォトグラフィでは、多視点の画像データから、空間中の複数の位置について、ある位置を通過する光線の方向と強度（ライトフィールド、以降ＬＦと略記）の情報を取得する。そして、ＬＦの情報を用いて仮想のセンサに結像した場合の画像データを計算する。ＬＦに関する数学的性質や数学的基礎などはR.NGによって議論されている（非特許文献１）。
【０００５】
この仮想のセンサの位置を適宜設定する事で、前述した撮影後のピント調整を可能とする。以降では多視点の画像データから仮想のセンサが得る画像データを計算する処理をリフォーカス処理と呼ぶ。
【０００６】
ＬＦを取得するための撮像装置としては小型のカメラを並べたカメラアレイや、メインレンズの後ろにマイクロレンズアレイを置いたＰｌｅｎｏｐｔｉｃ Ｃａｍｅｒａが知られている。いずれの撮像装置においても取得したＬＦから、仮想的にセンサを置いた時の画像を撮影後に合成することができる。特許文献１では、ＬＦから仮想的なセンサ上の画像を合成する方法として、取得した複数枚の画像を仮想的なセンサ上に射影変換し加算して平均化する方法が開示されている。
【０００７】
一方、複数台のカメラで取得した画像から、高解像度画像を得る方法がある。特許文献２では、レンズと撮像素子の相対位置をカメラ毎にずらすことで、遠方を撮影した際にカメラ毎に画素が撮像する位置がずれるようにして撮影し、撮影後に画像合成により高解像度化する方法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】国際公開第２００８／０５０９０４号
【特許文献２】特開２００４−１４６６１９号公報
【非特許文献】
【０００９】
【非特許文献１】R.NG, M.Levoy, M.Bredif, G.Duval, M. Horowitz, P.Hanrahan著「Light Field Photography with a Hand-held Plenoptic Camera」(Stanford Tech Report CTSR 2005-02, 2005)
【発明の概要】
【発明が解決しようとする課題】
【００１０】
多視点からの画像データを用いて、リフォーカス処理と高解像度化処理とを同時に行う場合、どの視点から見ても被写体上の同一の点は同じ輝度（色）に見えている必要がある。また、被写体が仮想的なピントを合わせる面上に存在する必要がある。そのため、上記条件から逸脱している場合、画質劣化が生じるという課題があった。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、同一シーンを複数の視点から撮像した複数の画像データを取得する画像データ取得手段と、仮想撮像系が合焦する面の情報を取得する合焦面配置情報取得手段と、前記複数の視点の配置の情報を取得する視点配置情報取得手段と、前記合焦する面の情報と前記複数の視点の配置の情報とから、前記複数の画像データの画素が前記仮想撮像系の画像上のどの位置に配置されるかを表す画素配置パラメータを算出する画素配置パラメータ算出手段と、前記画素配置パラメータから前記複数の画像データ間の前記仮想撮像系の画像上での画素値の整合度を算出する整合度算出手段と、前記整合度から前記仮想撮像系の画像上での画素位置の近傍にある画素の画素補間パラメータを算出する画素補間パラメータ算出手段と前記配置パラメータと前記画素補間パラメータとを用いて、前記複数の画像から画像合成を行う画像合成手段とを備えることを特徴とする。
【発明の効果】
【００１２】
多視点からの画像を用いて、リフォーカス処理と高解像度化処理とを同時に行う場合に、視点による被写体上の同一の点の輝度の違いや、被写体が仮想的なピントを合わせる面上に存在しない事によって生じる画質劣化を抑制できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る多視点撮像装置の概観の一例を表す図である。
【図２】本発明の実施形態に係る多視点撮像装置の構成例を表すブロック図である。
【図３】本発明の実施形態に係る多視点撮像部の構成例を表すブロック図である。
【図４】本発明の実施形態に係る撮像部の構成例を表すブロック図である。
【図５】本発明の実施形態に係る撮像部の配置例を表す図である。
【図６】本発明の実施形態に係る各撮像部の配置の記述方法について説明する図である。
【図７】本発明の実施形態に係る画像処理部の構成例を表すブロック図である。
【図８】本発明の実施形態に係る画像処理の流れの例を表す図である。
【図９】本発明の実施形態に係る画素補間方法について説明する図である
【図１０】従来の画像合成時に生じる画質劣化の例を説明する図である。
【発明を実施するための形態】
【００１４】
＜＜実施形態１＞＞
＜撮像装置の全体構成＞
図１は、本発明の実施形態に係る多視点撮像装置の一例を示した模式図である。多視点撮像装置は、筺体１０１を有する。図１（ａ）が多視点撮像装置の前面の図であり図１（ｂ）が多視点撮像装置の背面の図である。撮像部１０５〜１１３は、多視点撮像装置の前面に複数に配置されており、これにより多視点撮像装置は複数の視点の画像データを取得する。多視点撮像装置は、撮影ボタン１０２、ディスプレイ１０３、操作ボタン１０４をさらに有する。操作ボタン１０４とディスプレイ１０３とを用いて設定を行い、撮影ボタン１０２を押下することで、撮像部１０５〜１１３による撮像が行われる。取得した画像データが示す画像および合成した画像データが示す画像はディスプレイ１０３に表示される。
【００１５】
図２は、本発明の実施形態１に係る多視点撮像装置の構成の一例を示すブロック図である。
【００１６】
多視点撮像部２１３は、詳細は後述するが、複数の撮像部によって構成され、複数の視点から同一シーンの画像データの取得を行う。多視点撮像部２１３を構成する各撮像部は、光学系によって結像した像を、イメージセンサにより画像データへと変換する。
【００１７】
画像処理部２１４は、詳細は後述するが、多視点撮像部２１３により取得した多視点画像データからリフォーカス処理を行い、合成画像を生成する。画像処理部２１４は、多視点撮像部を構成する複数の視点の配置の情報及び特性の情報を必要とする。これらの情報はあらかじめ算出されてＲＯＭ２０２ないしはＲＡＭ２０３に格納されているものとする。画像処理部２１４による画像処理が行われるので、多視点撮像装置は画像処理装置と見なすことができる。
【００１８】
ＣＰＵ２０１は、各構成の処理全般に関わり、ＲＯＭ２０２やＲＡＭ２０３に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ２０２とＲＡＭ２０３は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ２０１に提供する。
【００１９】
バス２１０は各構成間で、データや処理の指示をやり取りするための経路として機能する。
【００２０】
操作部２０４は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザー指示を受け取る。
【００２１】
キャラクタージェネレーション２０９は、文字やグラフィックなどを生成する。
【００２２】
表示部２０６は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション２０９や表示制御部２０５から受け取った撮影画像や文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザー指示を操作部２０４の入力として扱うことも可能である。
【００２３】
デジタル信号処理部２１２は多視点撮像部２１３により取得された多視点画像データのγ調整や欠陥画素の補間などを行う。これらの処理は画像処理部２１４による処理の前に行われる。
【００２４】
エンコーダ部２１１は出力される多視点画像データのエンコード処理を行う。
【００２５】
メディアインターフェース２０７は、ＰＣ・その他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）２０８につなぐためのインターフェースである。メディアインターフェース２０７を介して合成画像及び多視点画像の出力が行われる。
【００２６】
なお、装置の構成要素は上記以外にも存在するが、本実施形態の主眼ではないので、説明を省略する。
【００２７】
＜多視点撮像部の構成＞
図３のブロック図により多視点撮像部２１３の構成例を説明する。撮像部３０１〜３０９はそれぞれ単一の視点から画像データを取得する機能を有する。これらを空間的に異なる位置に配置することで、多視点画像データを取得する。撮像部３０１〜３０９は図１の撮像部１０５〜１１３に対応する。
【００２８】
図４のブロック図により撮像部３０１〜３０９の構成例を説明する。レンズ４０１及びレンズ４０２は結像光学系を構成する。被写体から発せられた光線は該結像光学系により、絞り４０３、ＩＲカットフィルタ４０４、ローパスフィルタ４０５、カラーフィルタ４０６を通過した後に、撮像素子４０７上に結像される。
【００２９】
光学系制御部４１０はレンズ４０１及びレンズ４０２を制御して、その結像光学系としての合焦距離や焦点距離を変化させる。また、絞り４０３を開閉して、Ｆ値の調整を行う。撮像部３０１〜３０９それぞれに属する光学系制御部４１０は、撮像制御部３１０により一括して制御値が設定される。設定される合焦距離や焦点距離、Ｆ値は、操作部２０４でユーザーにより入力された設定値か、別途設けられた自動露出装置、オートフォーカス装置などにより算出された値に基づいて決められる。
【００３０】
なお、ここで示した光学系の構成は、説明のために単純化した例であり、撮像素子上に被写体の像を結像させる機能を有すればどのような構成でもかまわない。また、カラー画像を取得する構成について説明したが、取得する画像は白黒や４色以上の画素を持つ画像、画素毎に露出の異なる画像でもかまわない。
【００３１】
撮像素子４０７及びＡ／Ｄ変換部４０８はＣＭＯＳイメージセンサなどのイメージセンサに相当する。撮像素子４０７は２次元の格子状に配列され、結像された像を電気信号に変換する。Ａ／Ｄ変換部４０８は電気信号に変換された像の情報をデジタル信号に変換する。デジタル信号に変換された像の情報はバッファ４０９内に格納され、画像データとなる。
【００３２】
撮像素子制御部４１１は撮像素子４０７及びＡ／Ｄ変換部４０８に対して、露光の開始と信号の読み出しの制御を行う。制御のタイミングなどの制御値は撮像制御部３１０により一括して設定される。
【００３３】
以上、撮像部３０１〜３０９を図４のみで説明したが、撮像部３０１〜３０９の詳細な設計や構成は同一でなくてもよく、それぞれが被写体の像を結像し、画像データを取得する機能を有すれば、どのような構成でもかまわない。
【００３４】
図５を用いて撮像部３０１〜３０９の配置例を説明する。各撮像部はその結像光学系の光軸方向を軸に持つ円筒形の筺体に格納され、多視点撮像装置の筺体５０１上に格子状に配置されている。筺体５０１は図１の筺体１０１に対応する。各撮像部の結像光学系の光軸は同じ向きになるよう配置されている。図５（ａ）は多視点撮像装置を正面から見た図である。図５（ｂ）は図５（ａ）における左方から多視点撮像装置を見た図である。図５（ｃ）は図５（ａ）における上方から多視点撮像装置を見た図である。各図の関係を明らかにするため、図の中に右手系の座標軸を記した。
【００３５】
なお、本実施形態では撮像部が９つの場合について説明を行ったが、複数視点からの撮像が可能であれば、撮像部の数はいくつであっても構わない。また、図５の配置は一例に過ぎず、各視点の配置が設計ないしは計測結果から知ることができるならば、どのような配置でもかまわない。
【００３６】
図６を用いて、以降の説明で用いる視点の配置情報の記述方法について説明する。ここでは各視点の画像を取得する撮像部を、単純な透視投影カメラとして考える。座標系として、撮像部座標系、多視点撮像部座標系を考え、それらの関係から視点の配置を表現する。各座標軸の関係は右手系とする。
【００３７】
多視点撮像部座標系は多視点撮像部に対応する座標系であり、各撮像部の視点の位置と向きの基準となる。撮像部座標系は各撮像部に対応する座標系であり、そのｚ軸方向は各撮像部の光軸方向を、その原点は光学中心を表している。ｎ番目の撮像部の撮像部座標系の原点は、多視点撮像部座標系を用いてｔnと表す。また、ｎ番目の撮像部の撮像部座標系のｘ軸、ｙ軸、ｚ軸は、それぞれ多視点撮像部座標系の単位ベクトルを用いてｖxn、ｖyn、ｖznと表す。
【００３８】
本実施形態では、各撮像部は多視点撮像部座標系でｚ成分が０となるような平面に近い
位置配置されており、各撮像部の光軸はほぼ多視点撮像部座標系のｚ軸方向を向いているものとする。なお、この例は説明を簡便にするためのものであり、ｚ成分が必ずしも０でなくても本実施形態を適用することは可能である。
【００３９】
以上の撮像部配置情報は設計値ないしはキャリブレーションによって算出され、あらかじめＲＯＭ２０２またはＲＡＭ２０３に格納されているものとする。
【００４０】
多視点撮像部座標系はリフォーカス処理によって再現する仮想的な撮像系の配置の基準ともなる。仮想的な撮像系は、仮想的な光学系に対して仮想的なイメージセンサと共役の関係になるような面、すなわち像側のピントが合っている面を用いて表現される。このような面を以降、仮想合焦面と呼ぶ。本実施形態では仮想合焦面は多視点撮像部座標系のｚ軸に垂直であるものとし、仮想合焦面の位置は多視点撮像部座標系の原点からの距離ｄを用いて表す。
【００４１】
仮想合焦面を表す情報は、ユーザーインターフェースを介してユーザーが入力するなどしたパラメータから算出されあらかじめＲＡＭ２０３に格納されているものとする。
【００４２】
なお、以上説明した撮像部の配置と仮想的な撮像系の表現は一例であり、各撮像部と多視点撮像装置、仮想的な撮像系の配置についての情報を与えるならば、どのような表現でも構わない。
【００４３】
＜画像処理部の構成＞
図７のブロック図により画像処理部２１４の構成例を説明する。
【００４４】
多視点画像取得部７０１は、多視点撮像部２１３によって撮像された多視点画像データを、バス２１０を介して取得する。
【００４５】
バッファ７０５は、多視点画像取得部７０１で取得した多視点画像データを保持する。
【００４６】
視点配置情報取得部７０２は、あらかじめ既知となっている多視点撮像部２１３を構成する各視点の配置や特性についての情報をバス２１０を介して取得する。
【００４７】
仮想合焦面配置情報取得部７０３はあらかじめユーザーによって設定されている、仮想合焦面の配置についての情報をバス２１０を介して取得する。
【００４８】
画素配置パラメータ算出部７０４は、詳細は後述するが、各視点の画像の画素が、画像合成部７０８で生成する画像上の、どの位置に配置されるかを表すパラメータを、視点配置情報と仮想合焦面配置情報とから算出する。
【００４９】
整合度算出部７０６は、詳細は後述するが、画像合成部７０８で生成する画像上に画素を配置した際の、各視点の画像データ間の局所的な画素値の整合性を、バッファ７０５に保持されている多視点画像データと、画素配置パラメータとから算出する。
【００５０】
画素補間パラメータ算出部７０７は、詳細は後述するが、画像合成部７０８で各視点の画像の配置された画素を補間して合成画像を生成する際のパラメータを、整合度算出部７０６で算出した整合度に基づいて算出する。
【００５１】
画像合成部７０８は、詳細は後述するが、バッファ７０５に保持されている多視点画像データと、画素補間パラメータ算出部７０７で算出された補間パラメータ、画素配置パラメータ算出部７０４で算出された画素配置パラメータから画像の合成を行う。
【００５２】
画像出力部７０９は画像合成部７０８で合成された画像をバス２１０へと出力する。
【００５３】
図８を用いて、画像処理部の処理の流れの一例を説明する。ステップＳ８０１では多視点画像取得部７０１が多視点画像データとして複数の画像データを取得する（画像データ取得処理）。ステップＳ８０２では視点配置情報取得部７０２が、多視点画像データを取得した各視点の配置についての情報を取得する。ステップＳ８０３では仮想合焦面配置情報取得部７０３が、ユーザーによって設定された仮想合焦面の配置についての情報を取得する。ステップＳ８０４では画素配置パラメータ算出部７０４が、ステップＳ７０２で取得した視点配置情報と、ステップＳ７０３で取得した仮想合焦面配置情報から、各視点の画像の画素が、合成画像上のどの位置に配置されるかを表すパラメータを算出する。ステップＳ８０５では整合度算出部７０６が、ステップＳ８０１で取得した画像をステップＳ８０４で算出した画素配置パラメータを用いて、合成画像上に配置した際の、画像間の整合度を算出する。ステップＳ８０６では画素補間パラメータ算出部７０７が、ステップＳ８０５で算出した整合度を用いて、画像合成時に行う補間処理のパラメータを算出する。ステップＳ８０７では画像合成部７０８が、ステップＳ８０１で取得した画像を、ステップＳ８０４で算出した画素配置パラメータを用いて合成画像上に配置し、ステップＳ８０６で算出した画素補間パラメータに基づいて補間を行うことで合成画像を生成する。ステップＳ８０８では画像出力部７０９が、ステップＳ８０７で生成した合成画像を出力する。ステップＳ８０４、Ｓ８０５、Ｓ８０６、Ｓ８０７における処理方法の詳細は後述する。
【００５４】
＜画素配置パラメータ算出方法＞
画像処理部２１４では多視点撮像部２１３で撮像した多視点画像データを用いて、仮想的な撮像系で撮像したかのような画像を生成するリフォーカス処理を行う。多視点画像データはシーンのＬＦの情報を持つので、これを仮想的な光学系で結像し、仮想的なイメージセンサで画像化する過程を再現すれば、仮想的な撮像系で撮像したかのような画像が得られる。結像光学系の性質から、像側のある点を通る光線は、物体側の共役点を必ず通る。従って、仮想光学系に対する仮想イメージセンサの物体側の共役面を考え、この面上の各点を通る光線を足し合わせることで、仮想的な撮像系で撮像したかのような画像が得られる。この共役面は、仮想的な撮像系の物体側のピントが合っている面であり、ここでは仮想合焦面と呼んでいる。仮想合焦面上で足し合わせられた光線をサンプリングして得られるものが合成画像である。画素配置パラメータは多視点画像の各画像上の座標を、合成画像上の座標に変換するためのパラメータを意味する。
【００５５】
画素配置パラメータ算出方法の一例を示す。まず、n番目の撮像部の横画角をθx n、縦画角をθy n、横画素数をｓx n、縦画素数をｓy n、画像上の光学中心位置を（ｃx n，ｃy n）とし、内部パラメータ行列Ａnを式（１）のように表す。
【００５６】
【数１】
【００５７】
同様にリフォーカス処理によって合成する仮想撮像系の内部パラメータ行列Ａvを定義する。横画角をθx v、縦画角をθy v、横画素数をｓx v、縦画素数をｓy v、画像上の光学中心位置を（ｃx v，ｃy v）とすると、内部パラメータ行列Ａvは式（２）のように表される。
【００５８】
【数２】
【００５９】
また、図６の記法を用いて、各撮像部座標系から多視点撮像部座標系への4行4列の座標変換行列Mnは式（３）のように表す。
【００６０】
【数３】
【００６１】
また、3行3列の回転行列Rnを式（４）のように表す。
【００６２】
【数４】
【００６３】
あるカメラにおけるある画素の座標を(x,y)としたとき、式（５）のような(x,y)の斉次座標xhを用いると、対応する光線rは式（６）のように表される。
【００６４】
【数５】
【００６５】
【数６】
【００６６】
ここで、k(x,y)は光線の軌跡を表すパラメータである。光線と仮想合焦面の交点に対応するk(x,y)と、多視点撮像部座標系の原点から仮想合焦面までの距離d、仮想合焦面の法線単位ベクトルであるz軸方向単位ベクトルをezの関係は式（７）のようになる。
【００６７】
【数７】
【００６８】
これを、1/ k(x,y) について解いたものは、式（８）に示すBnを用いて、式（９）のようになる。
【００６９】
【数８】
【００７０】
【数９】
【００７１】
式（６）、式（７）、式（９）を用いると、光線と仮想合焦面の交点を合成画像上の座標に変換して得られる斉次座標ｘ’hは式（１０）のようになる。
【００７２】
【数１０】
【００７３】
λは不定性を表す係数であり、あるスカラーである。式（１０）は画像の射影変換に相当する。本実施形態では式（１１）のような射影変換行列Hnを全撮像部について計算して得た、行列の集まりを画素配置パラメータとして扱う。
【００７４】
【数１１】
【００７５】
なお、本実施形態の画素配置パラメータとその算出方法は一例であり、多視点撮像部によって得た画像上の座標と、合成画像上の座標の対応関係を規定するものならばどのようなものでもよい。
【００７６】
＜整合度算出方法＞
整合度算出部７０６では多視点撮像部２１３で撮像した多視点画像データの画素を合成画像上に配置した際の、異なる視点間の整合度を、合成画像上の領域毎に算出する。
【００７７】
ここでは、整合度算出方法の一例を説明する。本実施形態では多視点撮像部は複数の撮像部からなり、各撮像部により異なる複数の視点の画像データを取得する。各撮像部の画像上の座標から合成画像上の座標への座標変換は式（１１）で表される射影変換行列で記述される。各視点の画像データＩnを合成画像に合わせて射影変換し、補間して得られる画像データをＩ’nとする。補間はどのような方法を用いても良いが、一例としてはバイリニアやバイキュービックなどの線形補間があげられる。このとき、Ｎ個の撮像部の画像の整合度Ｅは画素毎に式（１２）のような演算を行うことで算出される。
【００７８】
【数１２】
【００７９】
なお、ここでは整合度を算出するために、全視点の画素値の平均と個々の視点の画素値との差分二乗和を整合度として用いたが、視点間の画素値のばらつきの指標となればどのような算出方法でもよく、差分絶対値和などでもよい。
【００８０】
また、微小な撮像位置のずれによる画素値の変換に対して耐性を持たせるため、整合度Ｅの算出の前に画像Ｉ’nにローパスフィルタを作用させるなどしてもよい。
【００８１】
＜画素補間方法＞
画像合成部７０８は多視点撮像部２１３で撮像した多視点画像データの画素を、画素配置パラメータに基づいて合成画像上に配置し、画素補間パラメータに基づいて補間して画像データを生成する。画素補間パラメータは画素補間パラメータ算出部７０７で整合度に基づき算出される。画素補間パラメータは、画像合成部７０８が仮想撮像系の画像データの画素値を決定する際に参照する複数の視点の画像データの夫々の画素の寄与度を示す。
【００８２】
ここでは、画像合成時の補間の方法と画素補間パラメータの算出方法の一例を説明する。
【００８３】
図９は画素補間を説明するための図である。図９（ａ）、（ｂ）はそれぞれ合成画像に対応する２次元の空間を表しており、丸印は多視点画像の画素位置を×印は合成画像の画素位置を表している。ここでは簡単のため、視点はｎ番目の撮像部とｍ番目の撮像部の２種類とする。
【００８４】
図９（ａ）は画像合成時に高解像度化を行わない場合の画素配置を表した図である。この場合、視点毎に線形補間などによる補間を行って、合成画像の画素位置に対応する画素値を算出し、その後全視点を平均することで、合成画像を得ることができる。図９（ｂ）は高解像度化を行う場合の画素配置を表した図であり、本実施形態が適用可能なケースである。この場合は、それぞれの合成画像の画素位置の近傍にある多視点画像の画素だけを用いて補間を行うことで、高解像度の合成画像を得ることができる。
【００８５】
高解像度化を行う際に適用できる補間方法の一例を示す。ｎ番目の撮像部の画像上の座標（ｘ，ｙ）にある画素の合成画像上での座標を｛ｘ’n（ｘ，ｙ）， ｙ’n（ｘ，ｙ）｝とおき、合成画像のある画素の座標を（ｘ’，ｙ’）とおく。ｎ番目の撮像部の画像上の座標から合成画像上の座標への変換は、式（１１）に相当する画素配置パラメータによって求められる。合成画像上で補間を行う際は、合成画像の画素の近傍にある多視点画像の画素の寄与を大きくすることで、高解像度化を行う。例えば、式（１３）に示すような式に基づいて寄与の係数ｗnを決め、多視点画像の画素の画素値を合成画像の画素に分配していく。
【００８６】
【数１３】
【００８７】
ここでｇ（ｘ’，ｙ’）は近傍の画素の寄与度を制御するための係数である。係数ｇが大きければ近傍の画素の寄与は大きくなり、小さければ近傍の画素の寄与は小さくなる。ｎ番目の撮像部の画像上の座標（ｘ，ｙ）にある画素の画素値をＩn（ｘ，ｙ）とし、合成画像上の座標（ｘ’，ｙ’）にある合成画像の画素の画素値をＩv（ｘ’，ｙ’）とするならば、補間による画素値の分配は式（１４）のようになる。
【００８８】
【数１４】
【００８９】
以上、補間方法の一例を示したが、効果的に高解像度化が可能となるのは、仮想合焦面上に被写体が存在し、かつ視点による見え方の変化が無い場合に限られる。これを図１０で説明する。図１０は白黒２色からなる被写体を２つの撮像部Ａ，Ｂで撮像し、取得した画像に対応する光線を仮想合焦面上で足し合わせている様子を示している。図１０（ａ）は被写体の非拡散反射成分などにより、撮像部Ａと撮像部Ｂとで見え方が異なっている。このような場合に高解像度な画像を得るための補間を行うと、図中に示されているように、仮想合焦面上で足しあわされた光線はまだらになってしまう。また、図１０（ｂ）は被写体が仮想合焦面上にないため撮像部Ａと撮像部Ｂとで見えが異なっている。このような場合も高解像度な画像を得るための補間を行うと、図中に示されているように、仮想合焦面上で足しあわされた光線はまだらになってしまう。
【００９０】
上述の問題を解決するため、本実施形態では、まだらになりそうな場合は、補間時の近傍の画素の寄与を相対的に小さくすることで、異なる視点の画素値を平均化する。このような補間時のコントロールは、式（１３）、式（１４）で示したような補間方法においては、ｇ（ｘ’，ｙ’）を変化させることで実現できる。すなわち、このパラメータが画素補間パラメータである。
【００９１】
図１０で説明したような問題が起こるか起こらないかの指標としては、整合度Ｅを用いることができる。画素補間パラメータ算出部７０７は整合度Ｅが低ければ、ｇ（ｘ’，ｙ’）として小さい値を設定し、整合度Ｅが高ければ、ｇ（ｘ’，ｙ’）として大きい値を設定する。
【００９２】
以上が、画像合成部７０８で行う画像合成時の補間の方法と、画素補間パラメータ算出部７０７で算出する画素補間パラメータの算出方法の例である。なお、本実施形態で示した処理方法は一例にすぎず、異なる画像の視点間の整合度に基づいて、画像合成時に行う補間での画素値の分配方法を設定するならば、どのような方法でも構わない。
【００９３】
以上、本実施形態によれば、多視点からの画像を用いてリフォーカス処理と高解像度化処理を同時に行う際に、視点による被写体上の同一の点の目の違いや、被写体が仮想的なピントを合わせる面上に存在しない事によって生じる画質劣化を抑制できる。
【００９４】
＜＜実施形態２＞＞
実施形態１においては、単一の視点を持つ撮像部を複数用いて多視点撮像部を構成し、このような多視点撮像部によって撮像された画像群を使用する場合について説明した。しかしながら、撮像部が図４に示す単一の撮像素子４０７を複数の領域に分割し、その分割した領域に対応する光学系を設ける構成を採用してもよい。また、そのような撮像部を複数用いてもよい。
【００９５】
＜＜その他の実施形態＞＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、複数の視点から撮像した画像データを処理する画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
カメラのピント位置は一般的に撮影時に調整が行われるため、ピント調整を誤った場合は再撮影の必要がある。
【０００３】
近年、多視点からの画像データを取得し、画像処理によってピント位置を調節するライトフィールドフォトグラフィという技術が発展している。この技術は撮影後にピント調整を行えるようにするので、撮影時のピント調整の失敗を画像処理で補うことができる利点がある。
【０００４】
ライトフィールドフォトグラフィでは、多視点の画像データから、空間中の複数の位置について、ある位置を通過する光線の方向と強度（ライトフィールド、以降ＬＦと略記）の情報を取得する。そして、ＬＦの情報を用いて仮想のセンサに結像した場合の画像データを計算する。ＬＦに関する数学的性質や数学的基礎などはR.NGによって議論されている（非特許文献１）。
【０００５】
この仮想のセンサの位置を適宜設定する事で、前述した撮影後のピント調整を可能とする。以降では多視点の画像データから仮想のセンサが得る画像データを計算する処理をリフォーカス処理と呼ぶ。
【０００６】
ＬＦを取得するための撮像装置としては小型のカメラを並べたカメラアレイや、メインレンズの後ろにマイクロレンズアレイを置いたＰｌｅｎｏｐｔｉｃ Ｃａｍｅｒａが知られている。いずれの撮像装置においても取得したＬＦから、仮想的にセンサを置いた時の画像を撮影後に合成することができる。特許文献１では、ＬＦから仮想的なセンサ上の画像を合成する方法として、取得した複数枚の画像を仮想的なセンサ上に射影変換し加算して平均化する方法が開示されている。
【０００７】
一方、複数台のカメラで取得した画像から、高解像度画像を得る方法がある。特許文献２では、レンズと撮像素子の相対位置をカメラ毎にずらすことで、遠方を撮影した際にカメラ毎に画素が撮像する位置がずれるようにして撮影し、撮影後に画像合成により高解像度化する方法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】国際公開第２００８／０５０９０４号
【特許文献２】特開２００４−１４６６１９号公報
【非特許文献】
【０００９】
【非特許文献１】R.NG, M.Levoy, M.Bredif, G.Duval, M. Horowitz, P.Hanrahan著「Light Field Photography with a Hand-held Plenoptic Camera」(Stanford Tech Report CTSR 2005-02, 2005)
【発明の概要】
【発明が解決しようとする課題】
【００１０】
多視点からの画像データを用いて、リフォーカス処理と高解像度化処理とを同時に行う場合、どの視点から見ても被写体上の同一の点は同じ輝度（色）に見えている必要がある。また、被写体が仮想的なピントを合わせる面上に存在する必要がある。そのため、上記条件から逸脱している場合、画質劣化が生じるという課題があった。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、同一シーンを複数の視点から撮像した複数の画像データを取得する画像データ取得手段と、仮想撮像系が合焦する面の情報を取得する合焦面配置情報取得手段と、前記複数の視点の配置の情報を取得する視点配置情報取得手段と、前記合焦する面の情報と前記複数の視点の配置の情報とから、前記複数の画像データの画素が前記仮想撮像系の画像上のどの位置に配置されるかを表す画素配置パラメータを算出する画素配置パラメータ算出手段と、前記画素配置パラメータから前記複数の画像データ間の前記仮想撮像系の画像上での画素値の整合度を算出する整合度算出手段と、前記整合度から前記仮想撮像系の画像上での画素位置の近傍にある画素の画素補間パラメータを算出する画素補間パラメータ算出手段と前記配置パラメータと前記画素補間パラメータとを用いて、前記複数の画像から画像合成を行う画像合成手段とを備えることを特徴とする。
【発明の効果】
【００１２】
多視点からの画像を用いて、リフォーカス処理と高解像度化処理とを同時に行う場合に、視点による被写体上の同一の点の輝度の違いや、被写体が仮想的なピントを合わせる面上に存在しない事によって生じる画質劣化を抑制できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る多視点撮像装置の概観の一例を表す図である。
【図２】本発明の実施形態に係る多視点撮像装置の構成例を表すブロック図である。
【図３】本発明の実施形態に係る多視点撮像部の構成例を表すブロック図である。
【図４】本発明の実施形態に係る撮像部の構成例を表すブロック図である。
【図５】本発明の実施形態に係る撮像部の配置例を表す図である。
【図６】本発明の実施形態に係る各撮像部の配置の記述方法について説明する図である。
【図７】本発明の実施形態に係る画像処理部の構成例を表すブロック図である。
【図８】本発明の実施形態に係る画像処理の流れの例を表す図である。
【図９】本発明の実施形態に係る画素補間方法について説明する図である
【図１０】従来の画像合成時に生じる画質劣化の例を説明する図である。
【発明を実施するための形態】
【００１４】
＜＜実施形態１＞＞
＜撮像装置の全体構成＞
図１は、本発明の実施形態に係る多視点撮像装置の一例を示した模式図である。多視点撮像装置は、筺体１０１を有する。図１（ａ）が多視点撮像装置の前面の図であり図１（ｂ）が多視点撮像装置の背面の図である。撮像部１０５〜１１３は、多視点撮像装置の前面に複数に配置されており、これにより多視点撮像装置は複数の視点の画像データを取得する。多視点撮像装置は、撮影ボタン１０２、ディスプレイ１０３、操作ボタン１０４をさらに有する。操作ボタン１０４とディスプレイ１０３とを用いて設定を行い、撮影ボタン１０２を押下することで、撮像部１０５〜１１３による撮像が行われる。取得した画像データが示す画像および合成した画像データが示す画像はディスプレイ１０３に表示される。
【００１５】
図２は、本発明の実施形態１に係る多視点撮像装置の構成の一例を示すブロック図である。
【００１６】
多視点撮像部２１３は、詳細は後述するが、複数の撮像部によって構成され、複数の視点から同一シーンの画像データの取得を行う。多視点撮像部２１３を構成する各撮像部は、光学系によって結像した像を、イメージセンサにより画像データへと変換する。
【００１７】
画像処理部２１４は、詳細は後述するが、多視点撮像部２１３により取得した多視点画像データからリフォーカス処理を行い、合成画像を生成する。画像処理部２１４は、多視点撮像部を構成する複数の視点の配置の情報及び特性の情報を必要とする。これらの情報はあらかじめ算出されてＲＯＭ２０２ないしはＲＡＭ２０３に格納されているものとする。画像処理部２１４による画像処理が行われるので、多視点撮像装置は画像処理装置と見なすことができる。
【００１８】
ＣＰＵ２０１は、各構成の処理全般に関わり、ＲＯＭ２０２やＲＡＭ２０３に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ２０２とＲＡＭ２０３は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ２０１に提供する。
【００１９】
バス２１０は各構成間で、データや処理の指示をやり取りするための経路として機能する。
【００２０】
操作部２０４は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザー指示を受け取る。
【００２１】
キャラクタージェネレーション２０９は、文字やグラフィックなどを生成する。
【００２２】
表示部２０６は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション２０９や表示制御部２０５から受け取った撮影画像や文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザー指示を操作部２０４の入力として扱うことも可能である。
【００２３】
デジタル信号処理部２１２は多視点撮像部２１３により取得された多視点画像データのγ調整や欠陥画素の補間などを行う。これらの処理は画像処理部２１４による処理の前に行われる。
【００２４】
エンコーダ部２１１は出力される多視点画像データのエンコード処理を行う。
【００２５】
メディアインターフェース２０７は、ＰＣ・その他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）２０８につなぐためのインターフェースである。メディアインターフェース２０７を介して合成画像及び多視点画像の出力が行われる。
【００２６】
なお、装置の構成要素は上記以外にも存在するが、本実施形態の主眼ではないので、説明を省略する。
【００２７】
＜多視点撮像部の構成＞
図３のブロック図により多視点撮像部２１３の構成例を説明する。撮像部３０１〜３０９はそれぞれ単一の視点から画像データを取得する機能を有する。これらを空間的に異なる位置に配置することで、多視点画像データを取得する。撮像部３０１〜３０９は図１の撮像部１０５〜１１３に対応する。
【００２８】
図４のブロック図により撮像部３０１〜３０９の構成例を説明する。レンズ４０１及びレンズ４０２は結像光学系を構成する。被写体から発せられた光線は該結像光学系により、絞り４０３、ＩＲカットフィルタ４０４、ローパスフィルタ４０５、カラーフィルタ４０６を通過した後に、撮像素子４０７上に結像される。
【００２９】
光学系制御部４１０はレンズ４０１及びレンズ４０２を制御して、その結像光学系としての合焦距離や焦点距離を変化させる。また、絞り４０３を開閉して、Ｆ値の調整を行う。撮像部３０１〜３０９それぞれに属する光学系制御部４１０は、撮像制御部３１０により一括して制御値が設定される。設定される合焦距離や焦点距離、Ｆ値は、操作部２０４でユーザーにより入力された設定値か、別途設けられた自動露出装置、オートフォーカス装置などにより算出された値に基づいて決められる。
【００３０】
なお、ここで示した光学系の構成は、説明のために単純化した例であり、撮像素子上に被写体の像を結像させる機能を有すればどのような構成でもかまわない。また、カラー画像を取得する構成について説明したが、取得する画像は白黒や４色以上の画素を持つ画像、画素毎に露出の異なる画像でもかまわない。
【００３１】
撮像素子４０７及びＡ／Ｄ変換部４０８はＣＭＯＳイメージセンサなどのイメージセンサに相当する。撮像素子４０７は２次元の格子状に配列され、結像された像を電気信号に変換する。Ａ／Ｄ変換部４０８は電気信号に変換された像の情報をデジタル信号に変換する。デジタル信号に変換された像の情報はバッファ４０９内に格納され、画像データとなる。
【００３２】
撮像素子制御部４１１は撮像素子４０７及びＡ／Ｄ変換部４０８に対して、露光の開始と信号の読み出しの制御を行う。制御のタイミングなどの制御値は撮像制御部３１０により一括して設定される。
【００３３】
以上、撮像部３０１〜３０９を図４のみで説明したが、撮像部３０１〜３０９の詳細な設計や構成は同一でなくてもよく、それぞれが被写体の像を結像し、画像データを取得する機能を有すれば、どのような構成でもかまわない。
【００３４】
図５を用いて撮像部３０１〜３０９の配置例を説明する。各撮像部はその結像光学系の光軸方向を軸に持つ円筒形の筺体に格納され、多視点撮像装置の筺体５０１上に格子状に配置されている。筺体５０１は図１の筺体１０１に対応する。各撮像部の結像光学系の光軸は同じ向きになるよう配置されている。図５（ａ）は多視点撮像装置を正面から見た図である。図５（ｂ）は図５（ａ）における左方から多視点撮像装置を見た図である。図５（ｃ）は図５（ａ）における上方から多視点撮像装置を見た図である。各図の関係を明らかにするため、図の中に右手系の座標軸を記した。
【００３５】
なお、本実施形態では撮像部が９つの場合について説明を行ったが、複数視点からの撮像が可能であれば、撮像部の数はいくつであっても構わない。また、図５の配置は一例に過ぎず、各視点の配置が設計ないしは計測結果から知ることができるならば、どのような配置でもかまわない。
【００３６】
図６を用いて、以降の説明で用いる視点の配置情報の記述方法について説明する。ここでは各視点の画像を取得する撮像部を、単純な透視投影カメラとして考える。座標系として、撮像部座標系、多視点撮像部座標系を考え、それらの関係から視点の配置を表現する。各座標軸の関係は右手系とする。
【００３７】
多視点撮像部座標系は多視点撮像部に対応する座標系であり、各撮像部の視点の位置と向きの基準となる。撮像部座標系は各撮像部に対応する座標系であり、そのｚ軸方向は各撮像部の光軸方向を、その原点は光学中心を表している。ｎ番目の撮像部の撮像部座標系の原点は、多視点撮像部座標系を用いてｔnと表す。また、ｎ番目の撮像部の撮像部座標系のｘ軸、ｙ軸、ｚ軸は、それぞれ多視点撮像部座標系の単位ベクトルを用いてｖxn、ｖyn、ｖznと表す。
【００３８】
本実施形態では、各撮像部は多視点撮像部座標系でｚ成分が０となるような平面に近い
位置配置されており、各撮像部の光軸はほぼ多視点撮像部座標系のｚ軸方向を向いているものとする。なお、この例は説明を簡便にするためのものであり、ｚ成分が必ずしも０でなくても本実施形態を適用することは可能である。
【００３９】
以上の撮像部配置情報は設計値ないしはキャリブレーションによって算出され、あらかじめＲＯＭ２０２またはＲＡＭ２０３に格納されているものとする。
【００４０】
多視点撮像部座標系はリフォーカス処理によって再現する仮想的な撮像系の配置の基準ともなる。仮想的な撮像系は、仮想的な光学系に対して仮想的なイメージセンサと共役の関係になるような面、すなわち像側のピントが合っている面を用いて表現される。このような面を以降、仮想合焦面と呼ぶ。本実施形態では仮想合焦面は多視点撮像部座標系のｚ軸に垂直であるものとし、仮想合焦面の位置は多視点撮像部座標系の原点からの距離ｄを用いて表す。
【００４１】
仮想合焦面を表す情報は、ユーザーインターフェースを介してユーザーが入力するなどしたパラメータから算出されあらかじめＲＡＭ２０３に格納されているものとする。
【００４２】
なお、以上説明した撮像部の配置と仮想的な撮像系の表現は一例であり、各撮像部と多視点撮像装置、仮想的な撮像系の配置についての情報を与えるならば、どのような表現でも構わない。
【００４３】
＜画像処理部の構成＞
図７のブロック図により画像処理部２１４の構成例を説明する。
【００４４】
多視点画像取得部７０１は、多視点撮像部２１３によって撮像された多視点画像データを、バス２１０を介して取得する。
【００４５】
バッファ７０５は、多視点画像取得部７０１で取得した多視点画像データを保持する。
【００４６】
視点配置情報取得部７０２は、あらかじめ既知となっている多視点撮像部２１３を構成する各視点の配置や特性についての情報をバス２１０を介して取得する。
【００４７】
仮想合焦面配置情報取得部７０３はあらかじめユーザーによって設定されている、仮想合焦面の配置についての情報をバス２１０を介して取得する。
【００４８】
画素配置パラメータ算出部７０４は、詳細は後述するが、各視点の画像の画素が、画像合成部７０８で生成する画像上の、どの位置に配置されるかを表すパラメータを、視点配置情報と仮想合焦面配置情報とから算出する。
【００４９】
整合度算出部７０６は、詳細は後述するが、画像合成部７０８で生成する画像上に画素を配置した際の、各視点の画像データ間の局所的な画素値の整合性を、バッファ７０５に保持されている多視点画像データと、画素配置パラメータとから算出する。
【００５０】
画素補間パラメータ算出部７０７は、詳細は後述するが、画像合成部７０８で各視点の画像の配置された画素を補間して合成画像を生成する際のパラメータを、整合度算出部７０６で算出した整合度に基づいて算出する。
【００５１】
画像合成部７０８は、詳細は後述するが、バッファ７０５に保持されている多視点画像データと、画素補間パラメータ算出部７０７で算出された補間パラメータ、画素配置パラメータ算出部７０４で算出された画素配置パラメータから画像の合成を行う。
【００５２】
画像出力部７０９は画像合成部７０８で合成された画像をバス２１０へと出力する。
【００５３】
図８を用いて、画像処理部の処理の流れの一例を説明する。ステップＳ８０１では多視点画像取得部７０１が多視点画像データとして複数の画像データを取得する（画像データ取得処理）。ステップＳ８０２では視点配置情報取得部７０２が、多視点画像データを取得した各視点の配置についての情報を取得する。ステップＳ８０３では仮想合焦面配置情報取得部７０３が、ユーザーによって設定された仮想合焦面の配置についての情報を取得する。ステップＳ８０４では画素配置パラメータ算出部７０４が、ステップＳ７０２で取得した視点配置情報と、ステップＳ７０３で取得した仮想合焦面配置情報から、各視点の画像の画素が、合成画像上のどの位置に配置されるかを表すパラメータを算出する。ステップＳ８０５では整合度算出部７０６が、ステップＳ８０１で取得した画像をステップＳ８０４で算出した画素配置パラメータを用いて、合成画像上に配置した際の、画像間の整合度を算出する。ステップＳ８０６では画素補間パラメータ算出部７０７が、ステップＳ８０５で算出した整合度を用いて、画像合成時に行う補間処理のパラメータを算出する。ステップＳ８０７では画像合成部７０８が、ステップＳ８０１で取得した画像を、ステップＳ８０４で算出した画素配置パラメータを用いて合成画像上に配置し、ステップＳ８０６で算出した画素補間パラメータに基づいて補間を行うことで合成画像を生成する。ステップＳ８０８では画像出力部７０９が、ステップＳ８０７で生成した合成画像を出力する。ステップＳ８０４、Ｓ８０５、Ｓ８０６、Ｓ８０７における処理方法の詳細は後述する。
【００５４】
＜画素配置パラメータ算出方法＞
画像処理部２１４では多視点撮像部２１３で撮像した多視点画像データを用いて、仮想的な撮像系で撮像したかのような画像を生成するリフォーカス処理を行う。多視点画像データはシーンのＬＦの情報を持つので、これを仮想的な光学系で結像し、仮想的なイメージセンサで画像化する過程を再現すれば、仮想的な撮像系で撮像したかのような画像が得られる。結像光学系の性質から、像側のある点を通る光線は、物体側の共役点を必ず通る。従って、仮想光学系に対する仮想イメージセンサの物体側の共役面を考え、この面上の各点を通る光線を足し合わせることで、仮想的な撮像系で撮像したかのような画像が得られる。この共役面は、仮想的な撮像系の物体側のピントが合っている面であり、ここでは仮想合焦面と呼んでいる。仮想合焦面上で足し合わせられた光線をサンプリングして得られるものが合成画像である。画素配置パラメータは多視点画像の各画像上の座標を、合成画像上の座標に変換するためのパラメータを意味する。
【００５５】
画素配置パラメータ算出方法の一例を示す。まず、n番目の撮像部の横画角をθx n、縦画角をθy n、横画素数をｓx n、縦画素数をｓy n、画像上の光学中心位置を（ｃx n，ｃy n）とし、内部パラメータ行列Ａnを式（１）のように表す。
【００５６】
【数１】
【００５７】
同様にリフォーカス処理によって合成する仮想撮像系の内部パラメータ行列Ａvを定義する。横画角をθx v、縦画角をθy v、横画素数をｓx v、縦画素数をｓy v、画像上の光学中心位置を（ｃx v，ｃy v）とすると、内部パラメータ行列Ａvは式（２）のように表される。
【００５８】
【数２】
【００５９】
また、図６の記法を用いて、各撮像部座標系から多視点撮像部座標系への4行4列の座標変換行列Mnは式（３）のように表す。
【００６０】
【数３】
【００６１】
また、3行3列の回転行列Rnを式（４）のように表す。
【００６２】
【数４】
【００６３】
あるカメラにおけるある画素の座標を(x,y)としたとき、式（５）のような(x,y)の斉次座標xhを用いると、対応する光線rは式（６）のように表される。
【００６４】
【数５】
【００６５】
【数６】
【００６６】
ここで、k(x,y)は光線の軌跡を表すパラメータである。光線と仮想合焦面の交点に対応するk(x,y)と、多視点撮像部座標系の原点から仮想合焦面までの距離d、仮想合焦面の法線単位ベクトルであるz軸方向単位ベクトルをezの関係は式（７）のようになる。
【００６７】
【数７】
【００６８】
これを、1/ k(x,y) について解いたものは、式（８）に示すBnを用いて、式（９）のようになる。
【００６９】
【数８】
【００７０】
【数９】
【００７１】
式（６）、式（７）、式（９）を用いると、光線と仮想合焦面の交点を合成画像上の座標に変換して得られる斉次座標ｘ’hは式（１０）のようになる。
【００７２】
【数１０】
【００７３】
λは不定性を表す係数であり、あるスカラーである。式（１０）は画像の射影変換に相当する。本実施形態では式（１１）のような射影変換行列Hnを全撮像部について計算して得た、行列の集まりを画素配置パラメータとして扱う。
【００７４】
【数１１】
【００７５】
なお、本実施形態の画素配置パラメータとその算出方法は一例であり、多視点撮像部によって得た画像上の座標と、合成画像上の座標の対応関係を規定するものならばどのようなものでもよい。
【００７６】
＜整合度算出方法＞
整合度算出部７０６では多視点撮像部２１３で撮像した多視点画像データの画素を合成画像上に配置した際の、異なる視点間の整合度を、合成画像上の領域毎に算出する。
【００７７】
ここでは、整合度算出方法の一例を説明する。本実施形態では多視点撮像部は複数の撮像部からなり、各撮像部により異なる複数の視点の画像データを取得する。各撮像部の画像上の座標から合成画像上の座標への座標変換は式（１１）で表される射影変換行列で記述される。各視点の画像データＩnを合成画像に合わせて射影変換し、補間して得られる画像データをＩ’nとする。補間はどのような方法を用いても良いが、一例としてはバイリニアやバイキュービックなどの線形補間があげられる。このとき、Ｎ個の撮像部の画像の整合度Ｅは画素毎に式（１２）のような演算を行うことで算出される。
【００７８】
【数１２】
【００７９】
なお、ここでは整合度を算出するために、全視点の画素値の平均と個々の視点の画素値との差分二乗和を整合度として用いたが、視点間の画素値のばらつきの指標となればどのような算出方法でもよく、差分絶対値和などでもよい。
【００８０】
また、微小な撮像位置のずれによる画素値の変換に対して耐性を持たせるため、整合度Ｅの算出の前に画像Ｉ’nにローパスフィルタを作用させるなどしてもよい。
【００８１】
＜画素補間方法＞
画像合成部７０８は多視点撮像部２１３で撮像した多視点画像データの画素を、画素配置パラメータに基づいて合成画像上に配置し、画素補間パラメータに基づいて補間して画像データを生成する。画素補間パラメータは画素補間パラメータ算出部７０７で整合度に基づき算出される。画素補間パラメータは、画像合成部７０８が仮想撮像系の画像データの画素値を決定する際に参照する複数の視点の画像データの夫々の画素の寄与度を示す。
【００８２】
ここでは、画像合成時の補間の方法と画素補間パラメータの算出方法の一例を説明する。
【００８３】
図９は画素補間を説明するための図である。図９（ａ）、（ｂ）はそれぞれ合成画像に対応する２次元の空間を表しており、丸印は多視点画像の画素位置を×印は合成画像の画素位置を表している。ここでは簡単のため、視点はｎ番目の撮像部とｍ番目の撮像部の２種類とする。
【００８４】
図９（ａ）は画像合成時に高解像度化を行わない場合の画素配置を表した図である。この場合、視点毎に線形補間などによる補間を行って、合成画像の画素位置に対応する画素値を算出し、その後全視点を平均することで、合成画像を得ることができる。図９（ｂ）は高解像度化を行う場合の画素配置を表した図であり、本実施形態が適用可能なケースである。この場合は、それぞれの合成画像の画素位置の近傍にある多視点画像の画素だけを用いて補間を行うことで、高解像度の合成画像を得ることができる。
【００８５】
高解像度化を行う際に適用できる補間方法の一例を示す。ｎ番目の撮像部の画像上の座標（ｘ，ｙ）にある画素の合成画像上での座標を｛ｘ’n（ｘ，ｙ）， ｙ’n（ｘ，ｙ）｝とおき、合成画像のある画素の座標を（ｘ’，ｙ’）とおく。ｎ番目の撮像部の画像上の座標から合成画像上の座標への変換は、式（１１）に相当する画素配置パラメータによって求められる。合成画像上で補間を行う際は、合成画像の画素の近傍にある多視点画像の画素の寄与を大きくすることで、高解像度化を行う。例えば、式（１３）に示すような式に基づいて寄与の係数ｗnを決め、多視点画像の画素の画素値を合成画像の画素に分配していく。
【００８６】
【数１３】
【００８７】
ここでｇ（ｘ’，ｙ’）は近傍の画素の寄与度を制御するための係数である。係数ｇが大きければ近傍の画素の寄与は大きくなり、小さければ近傍の画素の寄与は小さくなる。ｎ番目の撮像部の画像上の座標（ｘ，ｙ）にある画素の画素値をＩn（ｘ，ｙ）とし、合成画像上の座標（ｘ’，ｙ’）にある合成画像の画素の画素値をＩv（ｘ’，ｙ’）とするならば、補間による画素値の分配は式（１４）のようになる。
【００８８】
【数１４】
【００８９】
以上、補間方法の一例を示したが、効果的に高解像度化が可能となるのは、仮想合焦面上に被写体が存在し、かつ視点による見え方の変化が無い場合に限られる。これを図１０で説明する。図１０は白黒２色からなる被写体を２つの撮像部Ａ，Ｂで撮像し、取得した画像に対応する光線を仮想合焦面上で足し合わせている様子を示している。図１０（ａ）は被写体の非拡散反射成分などにより、撮像部Ａと撮像部Ｂとで見え方が異なっている。このような場合に高解像度な画像を得るための補間を行うと、図中に示されているように、仮想合焦面上で足しあわされた光線はまだらになってしまう。また、図１０（ｂ）は被写体が仮想合焦面上にないため撮像部Ａと撮像部Ｂとで見えが異なっている。このような場合も高解像度な画像を得るための補間を行うと、図中に示されているように、仮想合焦面上で足しあわされた光線はまだらになってしまう。
【００９０】
上述の問題を解決するため、本実施形態では、まだらになりそうな場合は、補間時の近傍の画素の寄与を相対的に小さくすることで、異なる視点の画素値を平均化する。このような補間時のコントロールは、式（１３）、式（１４）で示したような補間方法においては、ｇ（ｘ’，ｙ’）を変化させることで実現できる。すなわち、このパラメータが画素補間パラメータである。
【００９１】
図１０で説明したような問題が起こるか起こらないかの指標としては、整合度Ｅを用いることができる。画素補間パラメータ算出部７０７は整合度Ｅが低ければ、ｇ（ｘ’，ｙ’）として小さい値を設定し、整合度Ｅが高ければ、ｇ（ｘ’，ｙ’）として大きい値を設定する。
【００９２】
以上が、画像合成部７０８で行う画像合成時の補間の方法と、画素補間パラメータ算出部７０７で算出する画素補間パラメータの算出方法の例である。なお、本実施形態で示した処理方法は一例にすぎず、異なる画像の視点間の整合度に基づいて、画像合成時に行う補間での画素値の分配方法を設定するならば、どのような方法でも構わない。
【００９３】
以上、本実施形態によれば、多視点からの画像を用いてリフォーカス処理と高解像度化処理を同時に行う際に、視点による被写体上の同一の点の目の違いや、被写体が仮想的なピントを合わせる面上に存在しない事によって生じる画質劣化を抑制できる。
【００９４】
＜＜実施形態２＞＞
実施形態１においては、単一の視点を持つ撮像部を複数用いて多視点撮像部を構成し、このような多視点撮像部によって撮像された画像群を使用する場合について説明した。しかしながら、撮像部が図４に示す単一の撮像素子４０７を複数の領域に分割し、その分割した領域に対応する光学系を設ける構成を採用してもよい。また、そのような撮像部を複数用いてもよい。
【００９５】
＜＜その他の実施形態＞＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
同一シーンを複数の視点から撮像した複数の画像データを取得する画像データ取得手段と、
仮想撮像系が合焦する面の情報を取得する合焦面配置情報取得手段と、
前記複数の視点の配置の情報を取得する視点配置情報取得手段と、
前記合焦する面の情報と前記複数の視点の配置の情報とから、前記複数の画像データの画素が前記仮想撮像系の画像上のどの位置に配置されるかを表す画素配置パラメータを算出する画素配置パラメータ算出手段と、
前記画素配置パラメータから前記複数の画像データ間の前記仮想撮像系の画像上での画素値の整合度を算出する整合度算出手段と、
前記整合度から前記仮想撮像系の画像上での画素位置の近傍にある画素の画素補間パラメータを算出する画素補間パラメータ算出手段と
前記配置パラメータと前記画素補間パラメータとを用いて、前記複数の画像から画像合成を行う画像合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画素補間パラメータ算出手段は、前記画素補間パラメータとして、前記画像合成手段が前記仮想撮像系の画像データの画素値を決定する際に参照する前記複数の視点の画像データの夫々の画素の寄与度を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画素補間パラメータ算出手段は、前記整合度が高い仮想撮像系の画像上の領域ほど、前記仮想撮像系の画像の画素の近くにある前記複数の視点の画像の画素の寄与度が高くなるよう前記画素補間パラメータを算出することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記整合度算出手段は、前記整合度として、前記複数の視点の画像データの画素を前記仮想撮像系の画像上に配置し補間して得られた複数の画像データ間の画素毎の画素値のばらつきを算出することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記同一シーンを複数の視点から撮像した複数の画像データは、1つの撮像装置の配置を変えながら撮像した画像群または、複数の撮像部を備える多視点撮像装置で撮像した画像群のいずれかであることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
同一シーンを複数の視点から撮像した複数の画像データを取得する画像データ取得ステップと、
仮想撮像系が合焦する面の情報を取得する合焦面配置情報取得ステップと、
前記複数の視点の配置の情報を取得する視点配置情報取得ステップと、
前記合焦する面の情報と前記複数の視点の配置の情報とから、前記複数の画像データの画素が前記仮想撮像系の画像上のどの位置に配置されるかを表す画素配置パラメータを算出する画素配置パラメータ算出ステップと、
前記画素配置パラメータから前記複数の画像データ間の前記仮想撮像系の画像上での画素値の整合度を算出する整合度算出ステップと、
前記整合度から前記仮想撮像系の画像上での画素位置の近傍にある画素の画素補間パラメータを算出する画素補間パラメータ算出ステップと
前記配置パラメータと前記画素補間パラメータとを用いて、前記複数の画像から画像合成を行う画像合成ステップと
を備えることを特徴とする画像処理方法。
【請求項７】
コンピュータを請求項１から５のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【請求項１】
同一シーンを複数の視点から撮像した複数の画像データを取得する画像データ取得手段と、
仮想撮像系が合焦する面の情報を取得する合焦面配置情報取得手段と、
前記複数の視点の配置の情報を取得する視点配置情報取得手段と、
前記合焦する面の情報と前記複数の視点の配置の情報とから、前記複数の画像データの画素が前記仮想撮像系の画像上のどの位置に配置されるかを表す画素配置パラメータを算出する画素配置パラメータ算出手段と、
前記画素配置パラメータから前記複数の画像データ間の前記仮想撮像系の画像上での画素値の整合度を算出する整合度算出手段と、
前記整合度から前記仮想撮像系の画像上での画素位置の近傍にある画素の画素補間パラメータを算出する画素補間パラメータ算出手段と
前記配置パラメータと前記画素補間パラメータとを用いて、前記複数の画像から画像合成を行う画像合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画素補間パラメータ算出手段は、前記画素補間パラメータとして、前記画像合成手段が前記仮想撮像系の画像データの画素値を決定する際に参照する前記複数の視点の画像データの夫々の画素の寄与度を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画素補間パラメータ算出手段は、前記整合度が高い仮想撮像系の画像上の領域ほど、前記仮想撮像系の画像の画素の近くにある前記複数の視点の画像の画素の寄与度が高くなるよう前記画素補間パラメータを算出することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記整合度算出手段は、前記整合度として、前記複数の視点の画像データの画素を前記仮想撮像系の画像上に配置し補間して得られた複数の画像データ間の画素毎の画素値のばらつきを算出することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記同一シーンを複数の視点から撮像した複数の画像データは、1つの撮像装置の配置を変えながら撮像した画像群または、複数の撮像部を備える多視点撮像装置で撮像した画像群のいずれかであることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
同一シーンを複数の視点から撮像した複数の画像データを取得する画像データ取得ステップと、
仮想撮像系が合焦する面の情報を取得する合焦面配置情報取得ステップと、
前記複数の視点の配置の情報を取得する視点配置情報取得ステップと、
前記合焦する面の情報と前記複数の視点の配置の情報とから、前記複数の画像データの画素が前記仮想撮像系の画像上のどの位置に配置されるかを表す画素配置パラメータを算出する画素配置パラメータ算出ステップと、
前記画素配置パラメータから前記複数の画像データ間の前記仮想撮像系の画像上での画素値の整合度を算出する整合度算出ステップと、
前記整合度から前記仮想撮像系の画像上での画素位置の近傍にある画素の画素補間パラメータを算出する画素補間パラメータ算出ステップと
前記配置パラメータと前記画素補間パラメータとを用いて、前記複数の画像から画像合成を行う画像合成ステップと
を備えることを特徴とする画像処理方法。
【請求項７】
コンピュータを請求項１から５のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１１０７１１（Ｐ２０１３−１１０７１１Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５６５２７（Ｐ２０１１−２５６５２７）
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]