多眼撮像装置
【課題】多眼カメラを用いることによりズーム量の異なる複数の画像を同時に撮影し、それらを用いた高解像度化された画像を生成する多眼撮像装置を提供する。
【解決手段】基準画像を撮影する基準カメラ２と、基準カメラよりもズーム量が高い複数台のズームカメラ３〜６と、ズームカメラ２及び基準カメラ３〜６の画像に所定の画像処理を行う画像処理部７と、画像処理部７で画像処理が行われたズームカメラ３〜６及び記基準カメラ２の画像に基づいて、基準カメラ２の画像よりも高解像度の画像を生成する高解像度化処理部８と、を備える。
【解決手段】基準画像を撮影する基準カメラ２と、基準カメラよりもズーム量が高い複数台のズームカメラ３〜６と、ズームカメラ２及び基準カメラ３〜６の画像に所定の画像処理を行う画像処理部７と、画像処理部７で画像処理が行われたズームカメラ３〜６及び記基準カメラ２の画像に基づいて、基準カメラ２の画像よりも高解像度の画像を生成する高解像度化処理部８と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低解像度画像から高周波成分を復元し、高解像度画像を生成する撮像装置に関するものであり、画角の異なる複数のカメラの画像を用いて高解像度画像を生成する多眼撮像装置に関するものである。
【背景技術】
【０００２】
近年、低解像度画像から高周波成分を復元し、高解像度画像を生成する超解像技術が盛んに研究されている。これら再構成型の超解像処理では、まず初期高解像度画像を生成し、その画像からカメラモデルに基づき観測された低解像度画像の各画素値を推定する。そして、推定された画素値と実際に観測された画素値との誤差が小さくなるよう高解像度画像の更新を繰り返す（非特許文献１、２）。このような超解像処理では、一般に、位置ずれのある複数枚の低解像度画像が用いられる。低解像度画像はカメラの画角などすべての光学条件を合わせて撮影される。
【０００３】
また、低解像度画像からの高周波成分の復元には限界があるため、ズームカメラを利用することで高精細画像を利用する手法も提案されている（非特許文献３、４）。提案された手法では、単視点のズームカメラを利用し、ズーム量を変えた複数枚の画像を取得し再構成型超解像処理を行う。再構成型超解像処理を行うためには、観測モデルを設定する必要があり、これに関してはさまざまな観測モデルが提案されている（非特許文献５）。
また、簡単な嵌め込み合成処理で、画像の前記一部の解像度が高く、残余部分の解像度は低いが広い画角の画像を得ることができる複眼撮像装置が提案されている（特許文献１）。
また、人物の動作を認識するために、視野撮影用カメラと、超解像技術による注目点の高解像度映像を利用する動作認識装置も提案されている（特許文献２）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】M. Irani and S. Peleg, “Improving Resolution by Image Registration,” CVGIP: Graphical Models and Image Processing, Vol. 53, No. 3, pp. 231-239 (1991)
【非特許文献２】竹島秀則, 加藤宣弘, 金子敏充, “サブピクセルシフト画像を用いた複数枚フレーム超解像技術”, 東芝レビュー, Vol. 64, No. 6, pp. 11-14 (2009)
【非特許文献３】Manjunath V. Joshi, Subhasis Chaudhuri and Rajkiran Panuganti, “Super-resolution Imaging: Use of Zoom as a Cue,” Image and Vision Computing, Volume 22, Issue 14, 1 pp.1185-1196 (2004)
【非特許文献４】Prakash Gajjar, and Manjunath Joshi, “Zoom Based Super-Resolution: A Fast Approach Using Particle Swarm Optimization”, IMAGE AND SIGNAL PROCESSING, Vol 6134/2010, pp. 63-70 (2010)
【非特許文献５】S. C. Park, M. K. Park, and M. G. Kang, “Super-resolution image reconstruction: A technical overview,” IEEE Signal Processing Magazine, Vol. 20, No. 3, pp. 21-36 (2003)
【特許文献】
【０００５】
【特許文献１】特開２００５−３０３６９４号広報
【特許文献２】特開２０１０−１２３０１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のシステムによるズーム画像と広角画像の簡単な嵌め込み合成処理では、合成画像の解像度はズーム画像と同等以下になり、画質の点で課題があった。また、ズーム画像と広角画像で視点位置が異なるため、両者の境界での不連続性が生じる可能性があり、画質の点で課題があった。
【０００７】
本発明は、このような事情に鑑みてなされたもので、多眼カメラを用いることによりズーム倍率の異なる複数の画像を同時に撮影し，それらを用いた高解像度化された画像を生成する多眼撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の多眼撮像装置は、基準画像を撮影する基準カメラと、該基準カメラよりもズーム倍率が高い複数台のズームカメラと、前記基準カメラ及び前記ズームカメラの画像に所定の画像処理を行う画像処理部と、該画像処理部で画像処理が行われた前記基準カメラ及び前記ズームカメラの画像に基づいて、前記基準カメラの画像よりも高解像度の画像を生成する高解像度化処理部と、を備えることを特徴とする。
【０００９】
また、前記高解像度化処理部は、前記基準カメラの画像から画素値の補間により初期高解像度画像を生成し、該初期高解像度画像から所定の観測モデルに基づいて、前記基準カメラ及び前記ズームカメラの画像に相当する画像をそれぞれ推定し、該推定した画像と実際に前記基準カメラ及び前記ズームカメラで撮影した画像との比較結果を用いて、前記初期高解像度画像を修正することにより、目的とする前記高解像度の画像を生成することを特徴とする。
【００１０】
また、前記高解像度化処理部は、前記基準カメラの前記推定した画像に相当する画像の画素値と、前記基準カメラで撮影した画像の画素値とを比較して誤差を演算し、ズームカメラの前記推定した画像に相当する画像の画素値と、前記ズームカメラで撮影した画像の画素値とを比較して誤差を演算し、演算した各前記誤差を用いて前記初期高解像度画像を修正することを特徴とする。
【００１１】
また、前記高解像度化処理部は、前記各誤差を用いて前記初期高解像度画像を修正した後、修正して得られた高解像度画像に対して各前記誤差を演算し、更に前記高解像度画像を修正する処理を、各前記誤差が所定の値以下になるまで繰り返すことを特徴とする。
【００１２】
また、前記初期高解像度画像から前記基準カメラの画像に相当する画像を推定する観測モデルは、所定の関数により決定した光学ぼけを表す値と、解像度変換のためのダウンサンプリングを表す値とを使用して前記基準カメラの画像に相当する画像を推定するモデルであることを特徴とする。
【００１３】
また、前記初期高解像度画像から前記ズームカメラの画像に相当する画像を推定する観測モデルは、前記初期高解像度画像と前記ズームカメラの画像とのステレオマッチングにより決定した画素の視点移動を表す値と、画像の切り出しを行うトリミング量を表す値とを使用して前記ズームカメラの画像に相当する画像を推定するモデルであることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、上記構成とすることにより、多眼カメラを用いることによりズーム倍率の異なる複数の画像を同時に撮影し，それらを用いた高解像度化された画像を生成する多眼撮像装置を提供することができる。
特に本発明によれば、ワイド画像とズーム画像を用いて、ズーム倍率に比例した高解像度画像の生成が可能となるという効果が得られる。また、多眼構成にすることにより、複数のワイドとズームの同時撮影（動画撮影）が可能な多眼撮像装置を実現することができる。
また、本発明によれば、高精度なズーム機構が不要、すなわち安価なズーム機構で、ワイドとズームの同時撮影（動画撮影）が可能となる。すなわち、ズーム機構の機械的な精度を必要とせず、安価な装置を実現できるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態による多眼撮像装置の構成を示すブロック図である。
【図２】本発明の多眼撮像装置で実施する高解像度化処理例を説明するフローチャートである。
【図３】本発明の多眼撮像装置で実施するズーム画像の生成処理例を説明するフローチャートである。
【図４】本発明の多眼撮像装置で実施する基準低解像度画像の生成処理例を説明するフローチャートである。
【図５】本発明の多眼撮像装置で実施する再構成型超解像処理例を説明するフローチャートである。
【図６】本発明の多眼撮像装置で実施する再構成型超解像処理の他の例を説明するフローチャートである。
【図７】ズーム倍率の異なる入力多眼画像の一例を示す図である。
【図８】本発明の多眼撮像装置で実施する再構成型超解像処理による再構成画像の一例を示す図である。
【図９】本発明の多眼撮像装置で実施する再構成型超解像処理による再構成画像と、正解画像および補間による拡大処理画像とを比較する図である。
【図１０】本発明の多眼撮像装置の基準カメラで撮影する領域と、ズーム倍率４倍のズームカメラ１６台で撮影する領域との位置関係を説明する図である。
【図１１】本発明の多眼撮像装置の基準カメラで撮影する領域と、ズーム倍率４倍のズームカメラ４台で撮影する領域との位置関係を説明する図である。
【発明を実施するための形態】
【００１６】
以下に、本発明の実施形態について、図面を参照して詳細に説明する。
図１は、本発明に係る多眼撮像装置１の構成を示す概略図である。多眼撮像装置１は、基準カメラ２、ズームカメラ３，４，５，６、画像処理部７、及び高解像度化処理部８から基本的に構成されている。
【００１７】
本実施例では、１台の基準カメラ２と、ズーム倍率を変えられる４台のズームカメラ３〜６との計５台のカメラを用いて、同一の画素数の画像を取得する。基準カメラ２が、ズーム倍率を最も低く設定しているため広範囲の撮影が可能であるが、精細な画像は取得できない。他方、ズームカメラ３〜６は、同一のズーム倍率でかつ基準カメラよりもズーム倍率を高く設定する。そのため、基準カメラ２よりも狭い範囲の撮影となるが、精細な画像を取得できる。これらの４台のズームカメラ３〜６で基準カメラ２の撮影範囲を４分割するように各カメラの撮影範囲を調整する。本実施例では、基準カメラと各ズームカメラの光軸は略平行であるものとする。これにより、基準カメラ２によるワイド画像と、ズームカメラ３〜６によるズーム画像とを得る。
【００１８】
画像処理部７は、各カメラで撮影された画像の画質調整、同期処理等の画像処理を行う。ここで行われる画質調整は、各カメラで撮影された画像の色や明るさ等を均一に合わせる補正を意味する。高解像度化処理部８は、画像処理部７で画像処理された画像に基づいて高解像度化された画像を生成し、出力する。以下、高解像度化処理部８で使用される基準低解像度画像やズーム画像は、図１の構成例の場合、各カメラで撮影され画像処理部７で必要な画像処理が行われた画像を指す。
【００１９】
（原理説明）
ここで、高解像度化処理部８における処理の原理について説明する。
再構成型超解像処理を行うために、観測モデルを設定する必要がある。これに関してはさまざまな観測モデルが提案されている。本実施例では、超解像処理を施す低解像度画像である基準低解像度画像と、低解像度画像から高解像度画像への拡大率と等しいズーム量で撮影したズーム画像を用いる。図１の例では、基準低解像度画像は、基準カメラ２で撮影した画像であり、ズーム画像はズームカメラ３〜６で撮影した画像である。ここでは、基準低解像度画像とズーム画像それぞれの観測モデルを設定する。
【００２０】
初めに基準低解像度画像のモデル化を行う。理想の高解像度画像から低解像度画像への加重平均による縮小モデルを用いる。画素数Ｎ１×Ｎ２の低解像度画像をＮ１Ｎ２次元のベクトルｕにより表し、画素数Ｍ１×Ｍ２の高解像度画像をＭ１Ｍ２次元のベクトルｈにより表す。さらに、光学ぼけを表すため、光学ぼけの演算子をＭ１Ｍ２×Ｍ１Ｍ２行列Ｂとする。また、縮小におけるダウンサンプリング演算子をＮ１Ｎ２× Ｍ１Ｍ２ 行列Ｄとする。このとき、式（１）のように定式化する
ｕ＝ＤＢｈ ・・・（１）
【００２１】
式（１）を用いて、基準カメラにより観測した基準低解像度画像から高解像度画像を推定する。そのためには、光学ぼけの演算子行列Ｂを推定する必要がある。しかし、低解像度画像の情報から推定することは非常に難しいため、一般的に精度よく求められる点拡がり関数により光学ぼけを決める。本実施例では、点拡がりモデルに分散σ2の２次元ガウス関数を用いる。２次元ガウス関数を式（２）に示す。
【００２２】
【数１】
各画素から各軸方向にｘ、ｙだけ離れた画素の重みをＧ（ｘ，ｙ）とした加重平均によりぼけ画像を生成する。ぼけ画像のｉ番目の画素を生成する際の元の画像のｊ番目の画素の重みが行列Ｂのｉ行ｊ列成分となる。定義から明らかなように行列Ｂは対称行列となる。
【００２３】
次にズーム画像のモデル化を行う。ズーム画像は、倍率が高解像度画像と等しいため、高解像度画像の視点移動を行い、適当な範囲で切り出すことでモデル化できる。画素数N1×N2のズーム画像をＮ１Ｎ２次元のベクトルｚにより表し、同様に高解像度画像をＭ１Ｍ２次元のベクトルｈにより表す。さらに、画素の任意の視点移動演算子をＭ１Ｍ２×Ｍ１Ｍ２ 行列Ｗ、画像の切り出しを行うトリミング演算子をＮ１Ｎ２×Ｍ１Ｍ２行列Ｃとする。このとき、式（３）のように定式化する。
ｚ＝ＣＷｈ ・・・（３）
【００２４】
式（３）を用いて、ズームカメラにより観測したズーム画像から高解像度画像を推定する。
視点移動を表す行列Ｗの推定は、基準画像を補間処理によりズーム倍率に合わせて拡大した画像と各ズームカメラにおいてステレオマッチングを行い、行列Ｗを推定する。
【００２５】
次に、基準カメラとズームカメラからそれぞれの観測モデルにより生成した高解像度画像に基づいて、高解像度画像を再構成する。
再構成処理にはＩＢＰ（Iterative Back-Projection）法を用いる。ＩＢＰ法では、実際に観測された低解像度画像から補間によって初期高解像度画像を生成し、この初期高解像度画像から観測モデルに応じて基準低解像度画像とズーム画像とを推定する。そしてその推定された基準低解像度画像及びズーム画像と、実際に観測された基準低解像度画像及びズーム画像との間でそれぞれの誤差を算出し、その誤差を減じるように初期高解像度画像を更新する。この誤差が小さくなるように、高解像度画像の更新処理を繰り返す。
【００２６】
それぞれ実際に観測された基準低解像度画像１枚と、ズーム画像J枚を用いる場合を考える。基準低解像度画像から補間処理により拡大を行い、初期高解像度画像を生成する。上述した２つの観測モデルを基にする。高解像度画像をＭ１Ｍ２次元のベクトルｈとし、基準低解像度画像をＮ１Ｎ２次元のベクトルｕとする。高解像度画像から観測モデルに従い求まる低解像度画像と基準低解像度画像の差分(誤差)をＮ１Ｎ２次元のベクトルｅ０、光学ぼけ演算子をＭ１Ｍ２×Ｍ１Ｍ２行列Ｂおよびダウンサンプリング演算子をＮ１Ｎ２× Ｍ１Ｍ２ 行列Ｄとする。このとき、これらの関係は式（４）により表される。
ｅ０＝ＤＢｈ−ｕ ・・・（４）
ＤＢｈは初期高解像度画像から推定された基準低解像度画像を示し、ｕは実際に観測された基準低解像度画像を示す。
【００２７】
また、ｊ枚目のズーム画像をＮ１Ｎ２次元のベクトルｚｊとし、高解像度画像をＭ１Ｍ２次元のベクトルｈにより表す。ｈを視点変更し切り出しを行った画像とｚｊとの差分より求まる誤差をＮ１Ｎ２次元のベクトルｅｊ、視点移動演算子をＭ１Ｍ２×Ｍ１Ｍ２行列Ｗｊおよびトリミング演算子をＮ１Ｎ２×Ｍ１Ｍ２行列Ｃｊとする。このとき、これらの関係は式（５）により表される。
ｅｊ＝ＣｊＷｊｈ−ｚｊ ｊ=1, 2, …, J ・・・（５）
ＣｊＷｊｈは、高解像度画像から推定されたズーム画像を示し、ｚｊは実際に観測されたズーム画像を示す。
【００２８】
次に式（４）、（５）で推定した誤差を減じるように高解像度画像の画素値を決定する。
ＩＢＰ法による高解像度画像の画素値の決定処理の一例では式（６）を用いる。ここでは、ズーム画像が重複している画素については誤差を平均し、式（６）により更新する。
【００２９】
【数２】
【００３０】
ただし、添え字Ｔは転置、ｋは更新回数、αkおよびβkは第ｋステップにおける更新の重みを表すパラメータである。行列Φは、Ｍ１Ｍ２×Ｍ１Ｍ２の対角行列であり、第ｉ対角成分には高解像度画像の画素ｉに対して求まる誤差の個数の逆数が置かれる。ただし、個数が０の場合には、逆数はとらずに０を配置することとする。
パラメータαkおよびβkを調整しながら式（６）による処理を誤差が小さくなるまで繰り返し行って、高解像度画像に対する修正を行う。
また、高解像度画像の画素値の決定処理の他の例としてＭＡＰ（Maximum A Posteriori）法を用いた処理を適用することができる。この処理例については以下のフローチャートにて後述する。
【００３１】
上記アルゴリズムのフローチャートを図２から図５に示す。図２において、処理Ｓ１１では、基準カメラにより実際に観測された基準低解像度画像から補間処理により拡大を行い、目的とする理想の解像度の初期高解像度画像を生成する。次に、処理Ｓ１２では、処理１１で生成した初期高解像度画像から観測モデルに合わせたズーム画像を生成し、処理Ｓ１３では、生成したズーム画像と実際に観測したズーム画像の差分を誤差として算出する。同様に、処理Ｓ１４では、処理Ｓ１１で生成した初期高解像度画像から観測モデルに合わせた基準低解像度画像を生成し、処理Ｓ１５で、生成した基準低解像度画像と実際に観測した基準低解像度画像の差分を誤差として算出する。
【００３２】
そして処理Ｓ１６では、処理Ｓ１３で算出した差分と処理Ｓ１５で算出した差分とから高解像度画像修正値を決定する。処理Ｓ１７で修正値が０でなければ、処理Ｓ１８で高解像度画像を修正し、処理Ｓ１２と処理Ｓ１４に戻る。処理Ｓ１７で修正値が０であれば、処理フローを終了する。こうして、差分に基づく高解像度画像修正値が０になるまで、高解像度画像の修正処理を繰り返す。ここでは、修正値＝０（所定の値）としたが、これに限定されるものではない。例えば所定の値として、０．１等を設定し、この所定の値以下で処理を終了しても良い。これにより、処理量（処理時間）を低減することが可能となる。
このような再構成型超解像処理の、繰り返し演算により最も適切な高解像度画像を生成する処理を行う事から、ズーム画像側で高解像度画像に応じた精細なズーム位置あわせが不要となる為、安価なズーム機構でズーム倍率に比例した高解像度画像の生成が可能になる。また、従来の技術では、ズーム画像を単にはめ込み処理を行っていた為、その境界部分で画質が大きく変わり、目立つと言う課題があったが、同様に本処理により境界部分が自然な高解像度画像の生成が可能となる。
【００３３】
図３は、図２に示す処理Ｓ１２の詳細を説明するフローチャートである。図３において、処理２１では、高解像度画像ｈに視点移動Ｗを演算（＝Ｗｈ）する。上記と同様に、高解像度画像は、実際に観測した低解像度画像から補間により生成した初期高解像度画像、またはＳ１８で修正された高解像度画像である。次に処理２２では、処理２１で得られたＷｈにトリミングＣを演算（＝ＣＷｈ）する。そして処理２３では、ズーム画像ｚ＝ＣＷｈを設定する。
【００３４】
図４は、図２に示す処理Ｓ１４の詳細を説明するフローチャートである。図３において、処理Ｓ３１では、高解像度画像ｈに光学ぼけＢを演算（＝Ｂｈ）する。高解像度画像は、実際に観測した基準低解像度画像から補間により生成した初期高解像度画像、またはＳ１８で修正された高解像度画像である。次に処理Ｓ３２では、処理３１で得られたＢｈにダウンサンプリングＤを演算（＝ＤＢｈ）する。そして処理３３では、基準低解像度画像ｕ＝ＤＢｈを設定する。
【００３５】
図５は、図２に示す処理Ｓ１６として、ＩＢＰ法を用いた再構成処理を説明するフローチャートである。この例では修正値の演算に数式（６）を使用した。ここではまずα、βの設定値を読み込み（処理４１）、式（６）により高解像度画像の画素値（修正値）を決定する（処理４２）。そして更新回数kをk＋１とする（処理４３）。この処理は、処理１７以降の判断に従って、修正値が０になるまで繰り返される。
【００３６】
図６は、図２に示す処理Ｓ１６の他の例として、ＭＡＰ法を用いた再構成処理を説明するフローチャートである。ＭＡＰ法では高解像度画像の修正の演算に次式（７）を用いる。
【００３７】
【数３】
【００３８】
ここで、Ｐ（ｈ） は推定する高解像度画像ｈに関する事前情報に基づく正則化関数、γは正則化の強さを調整するパラメータ、｜｜・｜｜2はL-2ノルム、Jはズーム画像の枚数を表す。
図６の処理では、まずα、β、γの設定値を読み込み（処理Ｓ４１´）、式（７）により、高解像度画像の画素値を修正する（処理４２´）。そして更新回数kをk＋１とする（処理４３´）。この処理は、処理１７以降の判断に従って、修正値が０になるまで繰り返される。
上記の式（７）において、関数Ｐとしては、２階の微分フィルタ（ラプラシアンフィルタ）を施した画像ベクトルの2乗ノルム、ハイパスフィルタを施した画像ベクトルの2乗ノルム、全変動ノルムを用いることができる。
【００３９】
次に検証実験に用いた多眼画像を図７に示す。図７において、図７（Ａ）に示す１１は基準カメラの画像、図７（Ｂ）〜図７（Ｄ）に示す，１２，１３，１４，１５はズームカメラの画像である。基準カメラと周囲のズームカメラの基線長はそれぞれ２８ｍｍである。また、すべての画像の画素数はＱＶＧＡ（Quarter Video Graphics Array)の３２０×２４０画素である。またズームカメラの倍率は基準カメラの２倍とし、超解像処理による拡大倍率と等しい倍率に設定にする。また、再構成型超解像処理はバイキュービック補間による拡大画像との画質比較を行う。
【００４０】
はじめに基準低解像度画像をバイキュービック補間により２倍に拡大し、初期高解像度画像を生成する。この初期高解像度画像と各ズームカメラの画像とのステレオマッチングにより視点移動演算子Ｗを推定する。ステレオマッチングとは、一方の画像を基準とし、その画像中の各画素における、他方の画像での対応点を探す処理である。ＳＡＤ（Sum of absolute differences）やＳＳＤ（Sum of Squared Differences）などの複数のマッチング規準が存在し、どの規準を使用しても良い。
【００４１】
再構成処理を行った結果を図８に示す。高解像度画像２１を再構成する際に、２次元ガウス関数の特性はσ＝０.８とした。また、高解像度画像が更新される度に視点移動演算子Ｗの再推定を行った。
【００４２】
図９は、高解像度画像の比較例を示す図で、図９（Ａ）は、高解像度の正解画像（理想とする画像）３１、図９（Ｂ）は本発明に係る再構成型超解像処理により得た高解像度画像３２、図９（Ｃ）は、低解像度画像からバイキュービック補間による拡大処理を行った画像３３を示す。いずれも画像の一部分を示している。
【００４３】
本実施例では、１台の基準カメラと４台のズームカメラ３〜６の計５台のカメラから構成された多眼撮像装置１でズームカメラの倍率が約２倍である例で説明したが、ズームカメラ台数及び倍率はこれに限られるものでなく、異なるカメラ台数やズーム倍率でも実現可能である。
【００４４】
例えば、１台の基準カメラと１６台のズームカメラの計１７台のカメラから構成し、ズームカメラの倍率が約４倍とした多眼撮像装置も実施可能である。図１０に基準カメラで撮影する領域と、１６台のズームカメラで撮影する領域との位置関係を示す。図中、実線で囲った領域が基準カメラの撮影領域１０１で、１６個の破線で囲った領域がそれぞれズームカメラの撮影領域１０２である。図１０に示すように、ズームカメラの撮影領域１０２が、基準カメラの撮影領域１０１を覆う位置関係となっている。この構成ではズーム倍率４倍で処理するため、５台のカメラでズームカメラのズーム倍率を２倍とする実施例と比較して、更に高解像度な画像の生成が可能な多眼撮像装置が実現可能となる。
【００４５】
他に、基準カメラ１台とズームカメラ４台の計５台のカメラを用いる構成は同じで、ズームカメラのズーム倍率を例えば４倍等の高い倍率に設定した多眼撮像装置も実施可能である。この設定では基準カメラの撮影範囲をズームカメラ４台でカバーすることができないため、図１１に示すように基準カメラの撮影領域１０１の中央部分をズームカメラ４台で撮影するようなカメラの配置とするのが望ましい。この構成にて、５台で２倍ズーム倍率の実施例と比較して撮影中央部分がより高解像度化される多眼撮像装置が実現可能となる。
【００４６】
以上、説明したように、本発明の多眼撮像装置によれば、ワイド画像とズーム画像を用いることにより、ズーム倍率に比例した高解像度画像の生成が可能となるという効果が得られる。また、多眼構成にすることにより、ワイドとズームの同時撮影（動画撮影）が可能な多眼撮像装置を実現することができる。
また、本発明によれば、高精度なズーム機構が不要、すなわち安価なズーム機構で、ワイドとズームの同時撮影（動画撮影）が可能となり、この画像を元に高解像度で自然な画像を生成する事が可能となる。すなわち、ズーム機構の機械的な精度を必要とせず、安価な装置を実現できるという効果が得られる。
【符号の説明】
【００４７】
１…多眼撮像装置、２…基準カメラ、３，４，５，６…ズームカメラ、７…画像処理部、８…高解像度化処理部、１１…基準カメラの画像、１２〜１５…ズームカメラの画像、２１…高解像度画像、３１…正解画像、３２…再構成型長解像度処理による高解像度画像（一部分）、３３…補間により拡大した画像（一部分）、１０１…基準カメラの撮影領域、１０２…ズームカメラの撮影領域。
【技術分野】
【０００１】
本発明は、低解像度画像から高周波成分を復元し、高解像度画像を生成する撮像装置に関するものであり、画角の異なる複数のカメラの画像を用いて高解像度画像を生成する多眼撮像装置に関するものである。
【背景技術】
【０００２】
近年、低解像度画像から高周波成分を復元し、高解像度画像を生成する超解像技術が盛んに研究されている。これら再構成型の超解像処理では、まず初期高解像度画像を生成し、その画像からカメラモデルに基づき観測された低解像度画像の各画素値を推定する。そして、推定された画素値と実際に観測された画素値との誤差が小さくなるよう高解像度画像の更新を繰り返す（非特許文献１、２）。このような超解像処理では、一般に、位置ずれのある複数枚の低解像度画像が用いられる。低解像度画像はカメラの画角などすべての光学条件を合わせて撮影される。
【０００３】
また、低解像度画像からの高周波成分の復元には限界があるため、ズームカメラを利用することで高精細画像を利用する手法も提案されている（非特許文献３、４）。提案された手法では、単視点のズームカメラを利用し、ズーム量を変えた複数枚の画像を取得し再構成型超解像処理を行う。再構成型超解像処理を行うためには、観測モデルを設定する必要があり、これに関してはさまざまな観測モデルが提案されている（非特許文献５）。
また、簡単な嵌め込み合成処理で、画像の前記一部の解像度が高く、残余部分の解像度は低いが広い画角の画像を得ることができる複眼撮像装置が提案されている（特許文献１）。
また、人物の動作を認識するために、視野撮影用カメラと、超解像技術による注目点の高解像度映像を利用する動作認識装置も提案されている（特許文献２）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】M. Irani and S. Peleg, “Improving Resolution by Image Registration,” CVGIP: Graphical Models and Image Processing, Vol. 53, No. 3, pp. 231-239 (1991)
【非特許文献２】竹島秀則, 加藤宣弘, 金子敏充, “サブピクセルシフト画像を用いた複数枚フレーム超解像技術”, 東芝レビュー, Vol. 64, No. 6, pp. 11-14 (2009)
【非特許文献３】Manjunath V. Joshi, Subhasis Chaudhuri and Rajkiran Panuganti, “Super-resolution Imaging: Use of Zoom as a Cue,” Image and Vision Computing, Volume 22, Issue 14, 1 pp.1185-1196 (2004)
【非特許文献４】Prakash Gajjar, and Manjunath Joshi, “Zoom Based Super-Resolution: A Fast Approach Using Particle Swarm Optimization”, IMAGE AND SIGNAL PROCESSING, Vol 6134/2010, pp. 63-70 (2010)
【非特許文献５】S. C. Park, M. K. Park, and M. G. Kang, “Super-resolution image reconstruction: A technical overview,” IEEE Signal Processing Magazine, Vol. 20, No. 3, pp. 21-36 (2003)
【特許文献】
【０００５】
【特許文献１】特開２００５−３０３６９４号広報
【特許文献２】特開２０１０−１２３０１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のシステムによるズーム画像と広角画像の簡単な嵌め込み合成処理では、合成画像の解像度はズーム画像と同等以下になり、画質の点で課題があった。また、ズーム画像と広角画像で視点位置が異なるため、両者の境界での不連続性が生じる可能性があり、画質の点で課題があった。
【０００７】
本発明は、このような事情に鑑みてなされたもので、多眼カメラを用いることによりズーム倍率の異なる複数の画像を同時に撮影し，それらを用いた高解像度化された画像を生成する多眼撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の多眼撮像装置は、基準画像を撮影する基準カメラと、該基準カメラよりもズーム倍率が高い複数台のズームカメラと、前記基準カメラ及び前記ズームカメラの画像に所定の画像処理を行う画像処理部と、該画像処理部で画像処理が行われた前記基準カメラ及び前記ズームカメラの画像に基づいて、前記基準カメラの画像よりも高解像度の画像を生成する高解像度化処理部と、を備えることを特徴とする。
【０００９】
また、前記高解像度化処理部は、前記基準カメラの画像から画素値の補間により初期高解像度画像を生成し、該初期高解像度画像から所定の観測モデルに基づいて、前記基準カメラ及び前記ズームカメラの画像に相当する画像をそれぞれ推定し、該推定した画像と実際に前記基準カメラ及び前記ズームカメラで撮影した画像との比較結果を用いて、前記初期高解像度画像を修正することにより、目的とする前記高解像度の画像を生成することを特徴とする。
【００１０】
また、前記高解像度化処理部は、前記基準カメラの前記推定した画像に相当する画像の画素値と、前記基準カメラで撮影した画像の画素値とを比較して誤差を演算し、ズームカメラの前記推定した画像に相当する画像の画素値と、前記ズームカメラで撮影した画像の画素値とを比較して誤差を演算し、演算した各前記誤差を用いて前記初期高解像度画像を修正することを特徴とする。
【００１１】
また、前記高解像度化処理部は、前記各誤差を用いて前記初期高解像度画像を修正した後、修正して得られた高解像度画像に対して各前記誤差を演算し、更に前記高解像度画像を修正する処理を、各前記誤差が所定の値以下になるまで繰り返すことを特徴とする。
【００１２】
また、前記初期高解像度画像から前記基準カメラの画像に相当する画像を推定する観測モデルは、所定の関数により決定した光学ぼけを表す値と、解像度変換のためのダウンサンプリングを表す値とを使用して前記基準カメラの画像に相当する画像を推定するモデルであることを特徴とする。
【００１３】
また、前記初期高解像度画像から前記ズームカメラの画像に相当する画像を推定する観測モデルは、前記初期高解像度画像と前記ズームカメラの画像とのステレオマッチングにより決定した画素の視点移動を表す値と、画像の切り出しを行うトリミング量を表す値とを使用して前記ズームカメラの画像に相当する画像を推定するモデルであることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、上記構成とすることにより、多眼カメラを用いることによりズーム倍率の異なる複数の画像を同時に撮影し，それらを用いた高解像度化された画像を生成する多眼撮像装置を提供することができる。
特に本発明によれば、ワイド画像とズーム画像を用いて、ズーム倍率に比例した高解像度画像の生成が可能となるという効果が得られる。また、多眼構成にすることにより、複数のワイドとズームの同時撮影（動画撮影）が可能な多眼撮像装置を実現することができる。
また、本発明によれば、高精度なズーム機構が不要、すなわち安価なズーム機構で、ワイドとズームの同時撮影（動画撮影）が可能となる。すなわち、ズーム機構の機械的な精度を必要とせず、安価な装置を実現できるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態による多眼撮像装置の構成を示すブロック図である。
【図２】本発明の多眼撮像装置で実施する高解像度化処理例を説明するフローチャートである。
【図３】本発明の多眼撮像装置で実施するズーム画像の生成処理例を説明するフローチャートである。
【図４】本発明の多眼撮像装置で実施する基準低解像度画像の生成処理例を説明するフローチャートである。
【図５】本発明の多眼撮像装置で実施する再構成型超解像処理例を説明するフローチャートである。
【図６】本発明の多眼撮像装置で実施する再構成型超解像処理の他の例を説明するフローチャートである。
【図７】ズーム倍率の異なる入力多眼画像の一例を示す図である。
【図８】本発明の多眼撮像装置で実施する再構成型超解像処理による再構成画像の一例を示す図である。
【図９】本発明の多眼撮像装置で実施する再構成型超解像処理による再構成画像と、正解画像および補間による拡大処理画像とを比較する図である。
【図１０】本発明の多眼撮像装置の基準カメラで撮影する領域と、ズーム倍率４倍のズームカメラ１６台で撮影する領域との位置関係を説明する図である。
【図１１】本発明の多眼撮像装置の基準カメラで撮影する領域と、ズーム倍率４倍のズームカメラ４台で撮影する領域との位置関係を説明する図である。
【発明を実施するための形態】
【００１６】
以下に、本発明の実施形態について、図面を参照して詳細に説明する。
図１は、本発明に係る多眼撮像装置１の構成を示す概略図である。多眼撮像装置１は、基準カメラ２、ズームカメラ３，４，５，６、画像処理部７、及び高解像度化処理部８から基本的に構成されている。
【００１７】
本実施例では、１台の基準カメラ２と、ズーム倍率を変えられる４台のズームカメラ３〜６との計５台のカメラを用いて、同一の画素数の画像を取得する。基準カメラ２が、ズーム倍率を最も低く設定しているため広範囲の撮影が可能であるが、精細な画像は取得できない。他方、ズームカメラ３〜６は、同一のズーム倍率でかつ基準カメラよりもズーム倍率を高く設定する。そのため、基準カメラ２よりも狭い範囲の撮影となるが、精細な画像を取得できる。これらの４台のズームカメラ３〜６で基準カメラ２の撮影範囲を４分割するように各カメラの撮影範囲を調整する。本実施例では、基準カメラと各ズームカメラの光軸は略平行であるものとする。これにより、基準カメラ２によるワイド画像と、ズームカメラ３〜６によるズーム画像とを得る。
【００１８】
画像処理部７は、各カメラで撮影された画像の画質調整、同期処理等の画像処理を行う。ここで行われる画質調整は、各カメラで撮影された画像の色や明るさ等を均一に合わせる補正を意味する。高解像度化処理部８は、画像処理部７で画像処理された画像に基づいて高解像度化された画像を生成し、出力する。以下、高解像度化処理部８で使用される基準低解像度画像やズーム画像は、図１の構成例の場合、各カメラで撮影され画像処理部７で必要な画像処理が行われた画像を指す。
【００１９】
（原理説明）
ここで、高解像度化処理部８における処理の原理について説明する。
再構成型超解像処理を行うために、観測モデルを設定する必要がある。これに関してはさまざまな観測モデルが提案されている。本実施例では、超解像処理を施す低解像度画像である基準低解像度画像と、低解像度画像から高解像度画像への拡大率と等しいズーム量で撮影したズーム画像を用いる。図１の例では、基準低解像度画像は、基準カメラ２で撮影した画像であり、ズーム画像はズームカメラ３〜６で撮影した画像である。ここでは、基準低解像度画像とズーム画像それぞれの観測モデルを設定する。
【００２０】
初めに基準低解像度画像のモデル化を行う。理想の高解像度画像から低解像度画像への加重平均による縮小モデルを用いる。画素数Ｎ１×Ｎ２の低解像度画像をＮ１Ｎ２次元のベクトルｕにより表し、画素数Ｍ１×Ｍ２の高解像度画像をＭ１Ｍ２次元のベクトルｈにより表す。さらに、光学ぼけを表すため、光学ぼけの演算子をＭ１Ｍ２×Ｍ１Ｍ２行列Ｂとする。また、縮小におけるダウンサンプリング演算子をＮ１Ｎ２× Ｍ１Ｍ２ 行列Ｄとする。このとき、式（１）のように定式化する
ｕ＝ＤＢｈ ・・・（１）
【００２１】
式（１）を用いて、基準カメラにより観測した基準低解像度画像から高解像度画像を推定する。そのためには、光学ぼけの演算子行列Ｂを推定する必要がある。しかし、低解像度画像の情報から推定することは非常に難しいため、一般的に精度よく求められる点拡がり関数により光学ぼけを決める。本実施例では、点拡がりモデルに分散σ2の２次元ガウス関数を用いる。２次元ガウス関数を式（２）に示す。
【００２２】
【数１】
各画素から各軸方向にｘ、ｙだけ離れた画素の重みをＧ（ｘ，ｙ）とした加重平均によりぼけ画像を生成する。ぼけ画像のｉ番目の画素を生成する際の元の画像のｊ番目の画素の重みが行列Ｂのｉ行ｊ列成分となる。定義から明らかなように行列Ｂは対称行列となる。
【００２３】
次にズーム画像のモデル化を行う。ズーム画像は、倍率が高解像度画像と等しいため、高解像度画像の視点移動を行い、適当な範囲で切り出すことでモデル化できる。画素数N1×N2のズーム画像をＮ１Ｎ２次元のベクトルｚにより表し、同様に高解像度画像をＭ１Ｍ２次元のベクトルｈにより表す。さらに、画素の任意の視点移動演算子をＭ１Ｍ２×Ｍ１Ｍ２ 行列Ｗ、画像の切り出しを行うトリミング演算子をＮ１Ｎ２×Ｍ１Ｍ２行列Ｃとする。このとき、式（３）のように定式化する。
ｚ＝ＣＷｈ ・・・（３）
【００２４】
式（３）を用いて、ズームカメラにより観測したズーム画像から高解像度画像を推定する。
視点移動を表す行列Ｗの推定は、基準画像を補間処理によりズーム倍率に合わせて拡大した画像と各ズームカメラにおいてステレオマッチングを行い、行列Ｗを推定する。
【００２５】
次に、基準カメラとズームカメラからそれぞれの観測モデルにより生成した高解像度画像に基づいて、高解像度画像を再構成する。
再構成処理にはＩＢＰ（Iterative Back-Projection）法を用いる。ＩＢＰ法では、実際に観測された低解像度画像から補間によって初期高解像度画像を生成し、この初期高解像度画像から観測モデルに応じて基準低解像度画像とズーム画像とを推定する。そしてその推定された基準低解像度画像及びズーム画像と、実際に観測された基準低解像度画像及びズーム画像との間でそれぞれの誤差を算出し、その誤差を減じるように初期高解像度画像を更新する。この誤差が小さくなるように、高解像度画像の更新処理を繰り返す。
【００２６】
それぞれ実際に観測された基準低解像度画像１枚と、ズーム画像J枚を用いる場合を考える。基準低解像度画像から補間処理により拡大を行い、初期高解像度画像を生成する。上述した２つの観測モデルを基にする。高解像度画像をＭ１Ｍ２次元のベクトルｈとし、基準低解像度画像をＮ１Ｎ２次元のベクトルｕとする。高解像度画像から観測モデルに従い求まる低解像度画像と基準低解像度画像の差分(誤差)をＮ１Ｎ２次元のベクトルｅ０、光学ぼけ演算子をＭ１Ｍ２×Ｍ１Ｍ２行列Ｂおよびダウンサンプリング演算子をＮ１Ｎ２× Ｍ１Ｍ２ 行列Ｄとする。このとき、これらの関係は式（４）により表される。
ｅ０＝ＤＢｈ−ｕ ・・・（４）
ＤＢｈは初期高解像度画像から推定された基準低解像度画像を示し、ｕは実際に観測された基準低解像度画像を示す。
【００２７】
また、ｊ枚目のズーム画像をＮ１Ｎ２次元のベクトルｚｊとし、高解像度画像をＭ１Ｍ２次元のベクトルｈにより表す。ｈを視点変更し切り出しを行った画像とｚｊとの差分より求まる誤差をＮ１Ｎ２次元のベクトルｅｊ、視点移動演算子をＭ１Ｍ２×Ｍ１Ｍ２行列Ｗｊおよびトリミング演算子をＮ１Ｎ２×Ｍ１Ｍ２行列Ｃｊとする。このとき、これらの関係は式（５）により表される。
ｅｊ＝ＣｊＷｊｈ−ｚｊ ｊ=1, 2, …, J ・・・（５）
ＣｊＷｊｈは、高解像度画像から推定されたズーム画像を示し、ｚｊは実際に観測されたズーム画像を示す。
【００２８】
次に式（４）、（５）で推定した誤差を減じるように高解像度画像の画素値を決定する。
ＩＢＰ法による高解像度画像の画素値の決定処理の一例では式（６）を用いる。ここでは、ズーム画像が重複している画素については誤差を平均し、式（６）により更新する。
【００２９】
【数２】
【００３０】
ただし、添え字Ｔは転置、ｋは更新回数、αkおよびβkは第ｋステップにおける更新の重みを表すパラメータである。行列Φは、Ｍ１Ｍ２×Ｍ１Ｍ２の対角行列であり、第ｉ対角成分には高解像度画像の画素ｉに対して求まる誤差の個数の逆数が置かれる。ただし、個数が０の場合には、逆数はとらずに０を配置することとする。
パラメータαkおよびβkを調整しながら式（６）による処理を誤差が小さくなるまで繰り返し行って、高解像度画像に対する修正を行う。
また、高解像度画像の画素値の決定処理の他の例としてＭＡＰ（Maximum A Posteriori）法を用いた処理を適用することができる。この処理例については以下のフローチャートにて後述する。
【００３１】
上記アルゴリズムのフローチャートを図２から図５に示す。図２において、処理Ｓ１１では、基準カメラにより実際に観測された基準低解像度画像から補間処理により拡大を行い、目的とする理想の解像度の初期高解像度画像を生成する。次に、処理Ｓ１２では、処理１１で生成した初期高解像度画像から観測モデルに合わせたズーム画像を生成し、処理Ｓ１３では、生成したズーム画像と実際に観測したズーム画像の差分を誤差として算出する。同様に、処理Ｓ１４では、処理Ｓ１１で生成した初期高解像度画像から観測モデルに合わせた基準低解像度画像を生成し、処理Ｓ１５で、生成した基準低解像度画像と実際に観測した基準低解像度画像の差分を誤差として算出する。
【００３２】
そして処理Ｓ１６では、処理Ｓ１３で算出した差分と処理Ｓ１５で算出した差分とから高解像度画像修正値を決定する。処理Ｓ１７で修正値が０でなければ、処理Ｓ１８で高解像度画像を修正し、処理Ｓ１２と処理Ｓ１４に戻る。処理Ｓ１７で修正値が０であれば、処理フローを終了する。こうして、差分に基づく高解像度画像修正値が０になるまで、高解像度画像の修正処理を繰り返す。ここでは、修正値＝０（所定の値）としたが、これに限定されるものではない。例えば所定の値として、０．１等を設定し、この所定の値以下で処理を終了しても良い。これにより、処理量（処理時間）を低減することが可能となる。
このような再構成型超解像処理の、繰り返し演算により最も適切な高解像度画像を生成する処理を行う事から、ズーム画像側で高解像度画像に応じた精細なズーム位置あわせが不要となる為、安価なズーム機構でズーム倍率に比例した高解像度画像の生成が可能になる。また、従来の技術では、ズーム画像を単にはめ込み処理を行っていた為、その境界部分で画質が大きく変わり、目立つと言う課題があったが、同様に本処理により境界部分が自然な高解像度画像の生成が可能となる。
【００３３】
図３は、図２に示す処理Ｓ１２の詳細を説明するフローチャートである。図３において、処理２１では、高解像度画像ｈに視点移動Ｗを演算（＝Ｗｈ）する。上記と同様に、高解像度画像は、実際に観測した低解像度画像から補間により生成した初期高解像度画像、またはＳ１８で修正された高解像度画像である。次に処理２２では、処理２１で得られたＷｈにトリミングＣを演算（＝ＣＷｈ）する。そして処理２３では、ズーム画像ｚ＝ＣＷｈを設定する。
【００３４】
図４は、図２に示す処理Ｓ１４の詳細を説明するフローチャートである。図３において、処理Ｓ３１では、高解像度画像ｈに光学ぼけＢを演算（＝Ｂｈ）する。高解像度画像は、実際に観測した基準低解像度画像から補間により生成した初期高解像度画像、またはＳ１８で修正された高解像度画像である。次に処理Ｓ３２では、処理３１で得られたＢｈにダウンサンプリングＤを演算（＝ＤＢｈ）する。そして処理３３では、基準低解像度画像ｕ＝ＤＢｈを設定する。
【００３５】
図５は、図２に示す処理Ｓ１６として、ＩＢＰ法を用いた再構成処理を説明するフローチャートである。この例では修正値の演算に数式（６）を使用した。ここではまずα、βの設定値を読み込み（処理４１）、式（６）により高解像度画像の画素値（修正値）を決定する（処理４２）。そして更新回数kをk＋１とする（処理４３）。この処理は、処理１７以降の判断に従って、修正値が０になるまで繰り返される。
【００３６】
図６は、図２に示す処理Ｓ１６の他の例として、ＭＡＰ法を用いた再構成処理を説明するフローチャートである。ＭＡＰ法では高解像度画像の修正の演算に次式（７）を用いる。
【００３７】
【数３】
【００３８】
ここで、Ｐ（ｈ） は推定する高解像度画像ｈに関する事前情報に基づく正則化関数、γは正則化の強さを調整するパラメータ、｜｜・｜｜2はL-2ノルム、Jはズーム画像の枚数を表す。
図６の処理では、まずα、β、γの設定値を読み込み（処理Ｓ４１´）、式（７）により、高解像度画像の画素値を修正する（処理４２´）。そして更新回数kをk＋１とする（処理４３´）。この処理は、処理１７以降の判断に従って、修正値が０になるまで繰り返される。
上記の式（７）において、関数Ｐとしては、２階の微分フィルタ（ラプラシアンフィルタ）を施した画像ベクトルの2乗ノルム、ハイパスフィルタを施した画像ベクトルの2乗ノルム、全変動ノルムを用いることができる。
【００３９】
次に検証実験に用いた多眼画像を図７に示す。図７において、図７（Ａ）に示す１１は基準カメラの画像、図７（Ｂ）〜図７（Ｄ）に示す，１２，１３，１４，１５はズームカメラの画像である。基準カメラと周囲のズームカメラの基線長はそれぞれ２８ｍｍである。また、すべての画像の画素数はＱＶＧＡ（Quarter Video Graphics Array)の３２０×２４０画素である。またズームカメラの倍率は基準カメラの２倍とし、超解像処理による拡大倍率と等しい倍率に設定にする。また、再構成型超解像処理はバイキュービック補間による拡大画像との画質比較を行う。
【００４０】
はじめに基準低解像度画像をバイキュービック補間により２倍に拡大し、初期高解像度画像を生成する。この初期高解像度画像と各ズームカメラの画像とのステレオマッチングにより視点移動演算子Ｗを推定する。ステレオマッチングとは、一方の画像を基準とし、その画像中の各画素における、他方の画像での対応点を探す処理である。ＳＡＤ（Sum of absolute differences）やＳＳＤ（Sum of Squared Differences）などの複数のマッチング規準が存在し、どの規準を使用しても良い。
【００４１】
再構成処理を行った結果を図８に示す。高解像度画像２１を再構成する際に、２次元ガウス関数の特性はσ＝０.８とした。また、高解像度画像が更新される度に視点移動演算子Ｗの再推定を行った。
【００４２】
図９は、高解像度画像の比較例を示す図で、図９（Ａ）は、高解像度の正解画像（理想とする画像）３１、図９（Ｂ）は本発明に係る再構成型超解像処理により得た高解像度画像３２、図９（Ｃ）は、低解像度画像からバイキュービック補間による拡大処理を行った画像３３を示す。いずれも画像の一部分を示している。
【００４３】
本実施例では、１台の基準カメラと４台のズームカメラ３〜６の計５台のカメラから構成された多眼撮像装置１でズームカメラの倍率が約２倍である例で説明したが、ズームカメラ台数及び倍率はこれに限られるものでなく、異なるカメラ台数やズーム倍率でも実現可能である。
【００４４】
例えば、１台の基準カメラと１６台のズームカメラの計１７台のカメラから構成し、ズームカメラの倍率が約４倍とした多眼撮像装置も実施可能である。図１０に基準カメラで撮影する領域と、１６台のズームカメラで撮影する領域との位置関係を示す。図中、実線で囲った領域が基準カメラの撮影領域１０１で、１６個の破線で囲った領域がそれぞれズームカメラの撮影領域１０２である。図１０に示すように、ズームカメラの撮影領域１０２が、基準カメラの撮影領域１０１を覆う位置関係となっている。この構成ではズーム倍率４倍で処理するため、５台のカメラでズームカメラのズーム倍率を２倍とする実施例と比較して、更に高解像度な画像の生成が可能な多眼撮像装置が実現可能となる。
【００４５】
他に、基準カメラ１台とズームカメラ４台の計５台のカメラを用いる構成は同じで、ズームカメラのズーム倍率を例えば４倍等の高い倍率に設定した多眼撮像装置も実施可能である。この設定では基準カメラの撮影範囲をズームカメラ４台でカバーすることができないため、図１１に示すように基準カメラの撮影領域１０１の中央部分をズームカメラ４台で撮影するようなカメラの配置とするのが望ましい。この構成にて、５台で２倍ズーム倍率の実施例と比較して撮影中央部分がより高解像度化される多眼撮像装置が実現可能となる。
【００４６】
以上、説明したように、本発明の多眼撮像装置によれば、ワイド画像とズーム画像を用いることにより、ズーム倍率に比例した高解像度画像の生成が可能となるという効果が得られる。また、多眼構成にすることにより、ワイドとズームの同時撮影（動画撮影）が可能な多眼撮像装置を実現することができる。
また、本発明によれば、高精度なズーム機構が不要、すなわち安価なズーム機構で、ワイドとズームの同時撮影（動画撮影）が可能となり、この画像を元に高解像度で自然な画像を生成する事が可能となる。すなわち、ズーム機構の機械的な精度を必要とせず、安価な装置を実現できるという効果が得られる。
【符号の説明】
【００４７】
１…多眼撮像装置、２…基準カメラ、３，４，５，６…ズームカメラ、７…画像処理部、８…高解像度化処理部、１１…基準カメラの画像、１２〜１５…ズームカメラの画像、２１…高解像度画像、３１…正解画像、３２…再構成型長解像度処理による高解像度画像（一部分）、３３…補間により拡大した画像（一部分）、１０１…基準カメラの撮影領域、１０２…ズームカメラの撮影領域。
【特許請求の範囲】
【請求項１】
基準画像を撮影する基準カメラと、
該基準カメラよりもズーム倍率が高い複数台のズームカメラと、
前記基準カメラ及び前記ズームカメラの画像に所定の画像処理を行う画像処理部と、
該画像処理部で画像処理が行われた前記基準カメラ及び前記ズームカメラの画像に基づいて、前記基準カメラの画像よりも高解像度の画像を生成する高解像度化処理部と、を備えることを特徴とする多眼撮像装置。
【請求項２】
前記高解像度化処理部は、前記基準カメラの画像から画素値の補間により初期高解像度画像を生成し、該初期高解像度画像から所定の観測モデルに基づいて、前記基準カメラ及び前記ズームカメラの画像に相当する画像をそれぞれ推定し、該推定した画像と実際に前記基準カメラ及び前記ズームカメラで撮影した画像との比較結果を用いて、前記初期高解像度画像を修正することにより、前記高解像度の画像を生成することを特徴とする請求項１に記載の多眼撮像装置。
【請求項３】
前記高解像度化処理部は、前記基準カメラの前記推定した画像に相当する画像の画素値と、前記基準カメラで撮影した画像の画素値とを比較して誤差を演算し、ズームカメラの前記推定した画像に相当する画像の画素値と、前記ズームカメラで撮影した画像の画素値とを比較して誤差を演算し、演算した各前記誤差を用いて前記初期高解像度画像を修正することを特徴とする請求項２に記載の多眼撮像装置。
【請求項４】
前記高解像度化処理部は、前記各誤差を用いて前記初期高解像度画像を修正した後、修正して得られた高解像度画像に対して各前記誤差を演算し、更に前記高解像度画像を修正する処理を、前記各誤差が所定の値以下になるまで繰り返すことを特徴とする請求項３に記載の多眼撮像装置。
【請求項５】
前記初期高解像度画像から前記基準カメラの画像に相当する画像を推定する観測モデルは、所定の関数により決定した光学ぼけを表す値と、解像度変換のためのダウンサンプリングを表す値とを使用して前記基準カメラの画像に相当する画像を推定するモデルであることを特徴とする請求項１〜４のいずれか１に記載の多眼撮像装置。
【請求項６】
前記初期高解像度画像から前記ズームカメラの画像に相当する画像を推定する観測モデルは、前記初期高解像度画像と前記ズームカメラの画像とのステレオマッチングにより決定した画素の視点移動を表す値と、画像の切り出しを行うトリミング量を表す値とを使用して前記ズームカメラの画像に相当する画像を推定するモデルであることを特徴とする請求項１〜５のいずれか１に記載の多眼撮像装置。
【請求項１】
基準画像を撮影する基準カメラと、
該基準カメラよりもズーム倍率が高い複数台のズームカメラと、
前記基準カメラ及び前記ズームカメラの画像に所定の画像処理を行う画像処理部と、
該画像処理部で画像処理が行われた前記基準カメラ及び前記ズームカメラの画像に基づいて、前記基準カメラの画像よりも高解像度の画像を生成する高解像度化処理部と、を備えることを特徴とする多眼撮像装置。
【請求項２】
前記高解像度化処理部は、前記基準カメラの画像から画素値の補間により初期高解像度画像を生成し、該初期高解像度画像から所定の観測モデルに基づいて、前記基準カメラ及び前記ズームカメラの画像に相当する画像をそれぞれ推定し、該推定した画像と実際に前記基準カメラ及び前記ズームカメラで撮影した画像との比較結果を用いて、前記初期高解像度画像を修正することにより、前記高解像度の画像を生成することを特徴とする請求項１に記載の多眼撮像装置。
【請求項３】
前記高解像度化処理部は、前記基準カメラの前記推定した画像に相当する画像の画素値と、前記基準カメラで撮影した画像の画素値とを比較して誤差を演算し、ズームカメラの前記推定した画像に相当する画像の画素値と、前記ズームカメラで撮影した画像の画素値とを比較して誤差を演算し、演算した各前記誤差を用いて前記初期高解像度画像を修正することを特徴とする請求項２に記載の多眼撮像装置。
【請求項４】
前記高解像度化処理部は、前記各誤差を用いて前記初期高解像度画像を修正した後、修正して得られた高解像度画像に対して各前記誤差を演算し、更に前記高解像度画像を修正する処理を、前記各誤差が所定の値以下になるまで繰り返すことを特徴とする請求項３に記載の多眼撮像装置。
【請求項５】
前記初期高解像度画像から前記基準カメラの画像に相当する画像を推定する観測モデルは、所定の関数により決定した光学ぼけを表す値と、解像度変換のためのダウンサンプリングを表す値とを使用して前記基準カメラの画像に相当する画像を推定するモデルであることを特徴とする請求項１〜４のいずれか１に記載の多眼撮像装置。
【請求項６】
前記初期高解像度画像から前記ズームカメラの画像に相当する画像を推定する観測モデルは、前記初期高解像度画像と前記ズームカメラの画像とのステレオマッチングにより決定した画素の視点移動を表す値と、画像の切り出しを行うトリミング量を表す値とを使用して前記ズームカメラの画像に相当する画像を推定するモデルであることを特徴とする請求項１〜５のいずれか１に記載の多眼撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図１１】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図１１】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−６９０１２（Ｐ２０１３−６９０１２Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０５５６１（Ｐ２０１１−２０５５６１）
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【出願人】（８０３０００１１５）学校法人東京理科大学 (545)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【出願人】（８０３０００１１５）学校法人東京理科大学 (545)
【Ｆターム（参考）】
[ Back to top ]