多眼撮像装置および多眼撮像方法
【課題】複数のカメラを用いた高精細合成処理において、処理量を大幅に増加させることなく対応点探索ができなかったオクルージョン領域または対応点検出エラー領域の画質劣化抑制を実現することが可能な多眼撮像装置および多眼撮像方法を提供する。
【解決手段】多眼撮像装置は、画像を撮像する複数系統の撮像部と、撮像部のうち、基準となる第１の撮像部の出力映像と、第１の撮像部と異なる複数系統の撮像部のうち少なくとも１つの撮像部の出力映像とから被写体までの距離情報を算出する距離算出部と、距離算出部において距離情報を算出できた領域について、その距離情報に基づき複数系統の撮像部の出力映像から合成映像を生成する多眼映像合成処理部と、距離算出部において距離情報が算出できなかった領域について、第１の撮像部の出力映像から合成映像を生成する単眼映像合成処理部とを備える。
【解決手段】多眼撮像装置は、画像を撮像する複数系統の撮像部と、撮像部のうち、基準となる第１の撮像部の出力映像と、第１の撮像部と異なる複数系統の撮像部のうち少なくとも１つの撮像部の出力映像とから被写体までの距離情報を算出する距離算出部と、距離算出部において距離情報を算出できた領域について、その距離情報に基づき複数系統の撮像部の出力映像から合成映像を生成する多眼映像合成処理部と、距離算出部において距離情報が算出できなかった領域について、第１の撮像部の出力映像から合成映像を生成する単眼映像合成処理部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多眼撮像装置および多眼撮像方法に関する。
本願は、２００９年１２月２４日に、日本に出願された特願２００９−２９１６２４号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
近年、高画質なデジタルスチルカメラやデジタルビデオカメラ（以下、デジタルカメラという）が急速に普及してきている。また、並行してデジタルカメラの小型化、薄型化の開発も進められており、携帯電話機等に小型で高画質なデジタルカメラが搭載され始めた。デジタルカメラに代表される撮像装置は、像を結像するレンズ光学系と、結像した光を光電変換して電気信号を出力する撮像素子とから構成されている。撮像素子としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化膜半導体）センサやＣＣＤ（Charge Coupled Device：電荷結合素子）センサ等の電子デバイスが使用される。これら撮像素子は、撮像面に結像した光量分布を光電変換し撮影画像として記録する。レンズ光学系は、収差を除去するために、数枚の非球面レンズから構成されているものが多い。さらにズーム機能を持たせる場合は、複数のレンズと撮像素子の間隔を変える駆動機構（アクチュエータ）が必要となる。
【０００３】
一方、撮像装置の高画質化、高機能化の要求に応じて、撮像素子は多画素化、高精細化し、結像光学系は低収差、高精度化が進んでいる。それに伴い、撮像装置が大きくなり、小型化、薄型化が困難になってしまうという課題が表出している。このような課題に対して、レンズ光学系に複眼構造を採用する技術や、複数の撮像素子とレンズ光学系から構成される撮像装置が提案されている。例えば、平面状に配置した固体レンズアレイと、液晶レンズアレイと、撮像素子とから構成された撮像レンズ装置が提案されている（例えば、特許文献１参照）。この撮像レンズ装置は、図１９に示すように、レンズアレイ２００１と、同数の可変焦点型の液晶レンズアレイ２００２とを有するレンズ系と、撮像素子２００３と、演算装置２００４と、液晶駆動装置２００５とから構成されている。
撮像素子２００３は、このレンズ系を通して結像する光学像を撮像する。
演算装置２００４は、撮像素子２００３により得られた複数の画像を画像処理して全体の画像を再構成する。
液晶駆動装置２００５は、演算装置２００４からフォーカス情報を検出して液晶レンズアレイ２００２を駆動する。
この構成により焦点距離を短くした小型薄型の撮像レンズ装置が実現可能としている。
【０００４】
また、撮像レンズ、カラーフィルタ、検出器アレイから構成される４つのサブカメラを組み合わせて、サブピクセル解像度を有する薄型カラーカメラも提案されている（例えば、特許文献２参照）。この薄型カラーカメラ２００は、図２０Ａおよび図２０Ｂに示すように、レンズ２２０と、カラーフィルタ２５０と、検出器アレイ２４０から構成される。レンズ２２０は、４つのレンズ２２０ａ〜２２０ｄを備えている。カラーフィルタ２５０は、４つのカラーフィルタ２５０ａ〜２５０ｄを備えている。カラーフィルタ２５０は、図２０Ｂに示すように、赤色光（Ｒ）を透過するフィルタ２５０ａ、緑色光（Ｇ）を透過するフィルタ２５０ｂと２５０ｃ、青色光（Ｂ）を透過するフィルタ２５０ｄから構成されている。検出器アレイ２４０は、赤色、緑色、青色の画像を撮影する。この構成で、人間の視覚系で高い感度をもつ緑色の２つの画像から高解像度の合成画像を形成し、赤色と青色と組み合わせてフルカラー画像を得ることができるとしている。
【０００５】
これら複数のカメラで撮影した複数の画像から高解像度画像を合成する場合は、各画像で、同じ領域を撮像した対応点を探索して合成する必要がある。しかし、一方のカメラでは撮影できるが、他方のカメラでは物体の陰に隠れて撮影できないオクルージョン（occlusion）と呼ばれる領域が発生するため、対応点が求まらない場合がある。このオクルージョン領域は、対応点の誤探索により、高精細合成画像の品質劣化を招くといった問題がある。このような問題を解決するために、基準画像と参照画像とから高精細画像を合成する処理において、対となる対応点が求まらない領域については、基準画像の対応点を合成画像生成データとして用いて、参照画像の対応点を合成画像生成データとして用いない複眼撮像装置が知られている（例えば、特許文献３参照）。この複眼撮像装置は、左撮像系と右撮像系の２つの画像から高精細画像を合成する処理において、対応点が求まらないオクルージョン領域が存在するか否かを判定するオクルージョン領域判断部を備える。特許文献３は、そのオクルージョン領域では、一方の画像を合成画像データとして用いない処理を開示している。この構成により、オクルージョンが発生する領域の処理手順を省略できるとともに、誤対応による画質劣化を抑制することができるとしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２５１６１３号公報
【特許文献２】特表２００７−５２０１６６号公報
【特許文献３】特開平６−１４１２３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献３の複眼撮像装置は、左右２つのカメラからなる複眼撮像装置を用いているが、カメラの数は２つに限られるものではなく、３つ以上の場合でも可能としている。しかしながら、３つ以上のカメラを備えた場合は、全てのカメラ対で対応点探索を行うため、カメラ対の数の倍数分だけ処理量が増大するという問題が生じる。特許文献３では、周知の対応点の探索手法として、基準画像のある一点を中心に囲むブロックと参照画像中のブロックの類似度を比較して一番類似度が高いブロックの中心画素を対応点として検出するテンプレートマッチングを説明している。
【０００８】
しかし、この検出方法は、カメラの解像度が高まるに従い処理量が膨大になっていくだけでなく、高精細画像を合成するためにはカメラ解像度を超えた精度、いわゆるサブピクセル精度で対応点を検出する必要がある。そのため、その対応点検出処理は、高精細合成処理よりも格段に処理量が大きくなる。特許文献３の構成では、高精細化のためカメラ台数を増やすと、それだけ対応点検出処理量が増加する。例えば動画撮影の場合、１ピクセルクロックの時間内で対応点を検出する必要があり、この時間内で全てのカメラ間で高精度な対応点検出を行うことが難しいという問題がある。１ピクセルクロックとは、具体的には、１０８０／６０Ｐのハイビジョン動画撮影で０．００７μｓのことである。
【０００９】
本発明は、このような事情に鑑みてなされたもので、３つ以上のカメラを用いた高精細合成処理において、処理量を大幅に増加させることなく対応点探索ができなかったオクルージョン領域または対応点検出エラー領域の画質劣化抑制を実現することが可能な多眼撮像装置および多眼撮像方法を提供することを目的とする。
加えて、対応点探索ができなかったことにより高精細化できなかった領域を、人間の左右両眼で見た視覚心理的見え方に近づけるように演出することで、高精細合成画像全体の見栄えを良くすることが可能な多眼撮像装置および多眼撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
（１） 本発明の一態様による多眼撮像装置は、画像を撮像する複数系統の撮像部と、前記撮像部のうち、基準となる第１の撮像部の出力映像と、前記第１の撮像部と異なる前記複数系統の撮像部のうち少なくとも１つの撮像部の出力映像とから被写体までの距離情報を算出する距離算出部と、前記距離算出部において距離情報を算出できた領域について、その距離情報に基づき前記複数系統の撮像部の出力映像から合成映像を生成する多眼映像合成処理部と、前記距離算出部において距離情報が算出できなかった領域について、前記第１の撮像部の出力映像から合成映像を生成する単眼映像合成処理部とを備え、前記距離算出部は、前記第１の撮像部の出力映像と、前記第１の撮像部と異なる第２の撮像部の出力映像とから被写体までの第１の距離情報を算出し、前記第１の距離情報が算出できなかった領域があった場合、その第１の距離情報が算出できなかった領域について、少なくとも１度は、前記複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、前記第１の撮像部の出力映像とから被写体までの距離情報を再度算出する。
【００１１】
（２） 本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を所定の割合で下げて前記合成画像を生成しても良い。
【００１２】
（３） 本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を、その領域と隣接して手前にある領域の輝度値よりも低くして前記合成画像を生成しても良い。
【００１３】
（４） 本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を、その領域と隣接して奥側にある領域の輝度値と一致させ前記合成画像を生成しても良い。
【００１４】
（５） 本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、所定の割合で下げて前記合成画像を生成しても良い。
【００１５】
（６） 本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、その領域と隣接して手前にある領域の彩度よりも下げて前記合成画像を生成しても良い。
【００１６】
（７） 本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、その領域と隣接して奥側にある領域の彩度と一致させて前記合成画像を生成しても良い。
【００１７】
（８） 本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度変化を抑えて前記合成画像を生成しても良い。
【００１８】
（９） 本発明の他の一態様による多眼撮像方法は、画像を撮像する複数系統の撮像部のうち、基準となる第１の撮像部の出力映像と、前記第１の撮像部と異なる前記複数系統の撮像部のうち少なくとも１つの撮像部の出力映像とから被写体までの距離情報を算出し、距離情報を算出できた領域について、その距離情報に基づき前記複数系統の撮像部の出力映像から合成映像を生成し、距離情報が算出できなかった領域について、前記第１の撮像部の出力映像から合成映像を生成し、前記距離情報を算出する際に、前記第１の撮像部の出力映像と、前記第１の撮像部と異なる第２の撮像部の出力映像とから被写体までの第１の距離情報を算出し、前記第１の距離情報が算出できなかった領域があった場合、その第１の距離情報が算出できなかった領域について、少なくとも１度は、前記複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、前記第１の撮像部の出力映像とから被写体までの距離情報を再度算出する。
【発明の効果】
【００１９】
本発明によれば、２つまたはそれより多いカメラを用いた高精細合成処理において、処理量を大幅に増加させることなく対応点探索ができなかったオクルージョン領域または対応点検出エラー領域の画質劣化抑制を実現することが可能になる。また、対応点探索ができなかったことにより高精細化できなかった領域を、人間の左右両眼で見た視覚心理的見え方に近づけるように演出することで、高精細合成画像全体の見栄えを良くすることができるという効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態における多眼撮像装置の概観図である。
【図２】第１の実施形態における多眼撮像装置の全体ブロック図である。
【図３】第１の実施形態における多眼撮像装置の距離算出部のブロック図である。
【図４】第１の実施形態における多眼撮像装置の対応点探索処理を示す模式図である。
【図５】第１の実施形態における多眼撮像装置の対応点探索処理を示す模式図である。
【図６】第１の実施形態における多眼撮像装置の対応点探索処理を示す模式図である。
【図７】第１の実施形態における多眼撮像装置の対応点探索処理を示す模式図である。
【図８】第１の実施形態における多眼撮像装置の対応点探索処理のフローチャートである。
【図９】第１の実施形態による多眼撮像装置の映像処理部のブロック図である。
【図１０】第１の実施形態による多眼撮像装置の多眼映像合成処理部の動作を説明する模式図である。
【図１１】第１の実施形態による多眼撮像装置の４眼合成処理部の動作を説明する模式図である。
【図１２】第１の実施形態による多眼撮像装置のオクルージョン領域の説明と、単眼映像合成処理部の動作を説明する模式図である。
【図１３】第１の実施形態による多眼撮像装置のオクルージョン領域の説明と、単眼映像合成処理部の動作を説明する模式図である。
【図１４】第１の実施形態による多眼撮像装置の映像処理部の動作を説明するフローチャートである。
【図１５】第２の実施形態における多眼撮像装置の全体ブロック図である。
【図１６】第２の実施形態における多眼撮像装置の距離算出部のブロック図である。
【図１７】第２の実施形態における多眼撮像装置の対応点探索方法を示す模式図である。
【図１８】第２の実施形態における多眼撮像装置の対応点探索方法を示す模式図である。
【図１９】従来の多眼撮像装置の構成を示すブロック図である。
【図２０Ａ】他の従来の多眼撮像装置の構成を示すブロック図である。
【図２０Ｂ】図２０Ａの多眼撮像装置のカラーフィルタの構成を示す概略図である。
【発明を実施するための形態】
【００２１】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による多眼撮像装置を説明する。図１は、本発明の第１の実施形態による多眼撮像装置の概観を示す図である。図２は、同実施形態の多眼撮像装置の構成を示すブロック図である。図１に示すように、本実施形態による多眼撮像装置１０は、４系統の撮像部１０１、１０２、１０３、１０４を備える。各撮像部１０１、１０２、１０３、１０４は、撮像レンズ１１と撮像素子１２とを備えている。撮像レンズ１１は、被写体からの光を撮像素子１２上に結像し、結像されたイメージは、例えばＣＭＯＳ撮像素子などの撮像素子１２で光電変換されて映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４として出力される。４つの撮像部１０１、１０２、１０３、１０４のそれぞれで撮影することにより、４系統の撮像部１０１、１０２、１０３、１０４のそれぞれから出力する映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４は、映像処理部２０に入力する。また、４系統の映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４のうち２つの撮像部１０１、１０２から出力する映像信号Ｖ１、Ｖ２は、距離算出部２１にも同時に入力する。距離算出部２１は、入力した２つの映像信号Ｖ１、Ｖ２から対応点探索を行い、その探索結果から２つの撮像部間の視差データＤ１を算出して映像処理部２０に出力する。映像処理部２０は、入力した映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４を、距離算出部２１から出力する視差データＤ１に基づき合成処理して高精細映像Ｖ５を出力する。
【００２２】
次に、図３を参照して、図２に示す距離算出部２１の構成を説明する。図３は、図２に示す撮像部１０１において撮影された画像Ｖ１（以下、基準画像という）と、撮像部１０２において撮影された画像Ｖ２（以下、参照画像という）とから、視差データＤ１を算出する距離算出部２１の構成を示すブロック図である。２つの座標変換部３１、３２は、基準画像と参照画像の画像平面を同一平面上に乗せることを目的に、両画像を幾何学変換（座標変換）してエピポーララインを平行化する。カメラパラメータ３０は、撮像部１０１固有の焦点距離やレンズ歪みパラメータなどの内部パラメータ、および４つの撮像部１０１、１０２、１０３、１０４間の位置関係を表す外部パラメータを予め保持している。カメラパラメータの詳細については後述する。同様に、座標変換部３２は、撮像部１０２固有のカメラパラメータを保持している（図示省略）。対応点探索部３３は、エピポーララインが平行となった基準画像と参照画像との対応画素を探索し、基準画像に対する参照画像の視差データＤ１を求めて出力する。
【００２３】
次に、図４〜図７を参照して、対応画素を探索する処理動作について説明する。図４および図５は、それぞれ参照画像Ｐ１および基準画像Ｐ２のエピポーラライン平行化後の画像平面を示している。基準画像Ｐ２上の画素に対応する参照画像Ｐ１上の画素（対応画素）を求めるために、基準画像Ｐ２上の注目画素の移動方法を図５に示す基準画像Ｐ２の図を用いて説明する。基準画像Ｐ２上の注目画素を中心とするブロック（以下、注目ブロックという）を画像左上（探索開始ブロックＢ１）から順に右側のライン方向に１画素毎に移動させ、移動させた注目ブロックがラインの右端に到達した場合は、１ライン下の左側から順に右側のライン方向へと注目ブロックを移動させる。これを基準画像右下のブロック（探索終了ブロックＢ２）まで繰り返す。
【００２４】
次に、図５に示す基準画像Ｐ２上のある１つの注目ブロック（基準注目ブロックＢ３）に類似する参照画像Ｐ１上のブロックを探索する処理動作を図４に示す参照画像Ｐ１の図を用いて説明する。図５に示す基準画像Ｐ２上の基準注目ブロックＢ３の座標（ｘ、ｙ）と同じ座標となる参照画像Ｐ１上のブロック（参照注目ブロックＢ４）から順に右側のライン方向へ参照注目ブロックを１画素毎に移動させていき、図４に示す参照画像上の探索終了ブロックＢ５まで繰り返す。ここで探索する範囲（探索範囲Ｒ１）は、撮影した被写体の最大視差で決まる値であり、設定した探索範囲によって、視差データＤ１を算出できる被写体までの最短の距離が決定される。以上の参照注目ブロックＢ４の探索を、図５に示す基準画像Ｐ２上の各基準注目ブロックＢ３について行う。
【００２５】
次に、基準注目ブロックＢ３と類似する参照注目ブロックＢ４の決定方法について図６および図７を参照して説明する。図７は、基準注目ブロックＢ３を示しており、基準画像Ｐ２上の注目画素を中心とする横Ｍ画素×縦Ｎ画素（Ｍ、Ｎは、所定の自然数）のサイズのブロックを表している。図６は、参照注目ブロックＢ４を示しており、参照画像Ｐ１上の注目画素を中心とする横Ｍ×縦Ｎのサイズのブロックを表している。図６に示す参照注目ブロックＢ４および図７に示す基準注目ブロックＢ３上の任意の画素を表すために、横方向をｉとし、縦方向をｊとした時の座標（ｉ、ｊ）の画素値をそれぞれＲ（ｉ、ｊ）、Ｔ（ｉ、ｊ）とする。類似度を求める方法は、一般的に多く用いられているＳＡＤ（Sum of Absolute Difference：差分絶対和）を用いる。ＳＡＤは、（１）式に示す類似度判定式のようにＲ（ｉ、ｊ）とＴ（ｉ、ｊ）の差分の絶対値をブロックの全画素について求め、それを合計した値（ＳＳＡＤ）である。基準注目ブロックＢ３に類似する参照注目ブロックＢ４の決定は、前述した図４に示す参照画像Ｐ１上の探索範囲Ｒ１内の各参照注目ブロックＢ４の中でＳＳＡＤの値が最も小さくなる参照注目ブロックＢ４を、基準注目ブロックＢ３と類似していると決定する。
【数１】
【００２６】
以上の説明は、視差データＤ１の算出方法を処理単位毎に行ったものであるが、入力画素のシーケンスに沿った処理方法を図４〜図７及び図８に示す処理フローを参照して説明する。まず、基準注目ブロックＢ３を基準画像Ｐ２（図５）の先頭（探索開始ブロックＢ１）に設定する（ステップＳ９００）。そして、基準注目ブロックＢ３の全画素値を基準画像Ｐ２（図５）から読み出す（ステップＳ９０１）。次に、参照注目ブロックＢ４を、参照画像Ｐ１（図４）の先頭（参照画像Ｐ１左上）に設定する（ステップＳ９０２）。そして、参照注目ブロックＢ４の全画素値を参照画像Ｐ１（図４）から読み出す（ステップＳ９０３）。読み出した基準注目ブロックＢ３と参照注目ブロックＢ４の画素値のＳＳＡＤ値を、（１）式に従って算出し、記憶する（ステップＳ９０４）。
【００２７】
次に、探索範囲Ｒ１が終了したか否かを判定し（ステップＳ９０５）、終了していなければ参照注目ブロックＢ４を、右側のライン方向に１画素移動し（ステップＳ９０６）、再度ステップＳ９０３およびステップＳ９０４の処理を行う。これらステップＳ９０３からステップＳ９０６の処理を、探索範囲Ｒ１内で繰り返し、探索範囲Ｒ１内の全ＳＳＡＤ値の算出が終了後、ＳＳＡＤ値が最小となる参照注目ブロックＢ３を検出する。基準注目ブロックＢ３の中心座標（基準画像Ｐ２上の注目画素）と、検出した参照注目ブロックＢ４の中心座標（参照画像Ｐ１上の中心座標）との差分が、基準画像Ｐ２上の注目画素の視差データＤ１となり、これを記憶する（ステップＳ９０７）。
【００２８】
そして、処理が終了したか否かを判定し（ステップＳ９０８）、終了していなければ基準注目ブロックＢ３を、右側のライン方向に１画素移動し（ステップＳ９０９）、再度ステップＳ９０１からステップＳ９０７の処理を行う。これらステップＳ９０１からステップＳ９０９の処理を、基準注目ブロックＢ３が基準画像Ｐ２（図５）の探索終了ブロックＢ２となるまで繰り返し、基準画像Ｐ２上の各画素の視差データＤ１を求める。
【００２９】
また、ステップＳ９０７においてＳＳＡＤ値が最小となる参照注目ブロックＢ４を検出する際、最小の値を示す参照注目ブロックＢ４が必ずしも正しい類似ブロックとなるとは限らない。基準注目ブロックＢ３に模様（テクスチャ）がない場合や、参照画像Ｐ１上の探索領域がオクルージョン領域の場合などに誤検出することがある。このような類似ブロックの誤検出を低減するため、視差算出エラーの検出法、もしくはオクルージョン検出法があり、これら手法の一例として特許文献３に記載されている手法がある。類似ブロックの誤検出を低減する方法として、様々なものが既に知られている為、詳細な説明は行わない。ステップＳ９０７にてこれら探索の誤りを検出し、視差算出エラーまたはオクルージョンと判定した基準画像上の注目画素については、視差値を０、もしくは所定のユニークな値を視差データＤ１として記憶する。
【００３０】
以上の説明において、図３の対応点探索部３３の処理方法の一例として、基準画像上の注目画素に類似する参照画像上の画素をＳＡＤの類似度評価関数で探索したが、この手法に限定されるものではなく、基準画像上と参照画像上の類似画素を探索する手法であればどのような手法を使用して、視差データを求めても良い。
【００３１】
次に、図９を参照して図２に示す映像処理部２０の詳細な構成と動作を説明する。撮像処理部２０は、４つの補正処理部４０１−１〜４０１−４、単眼映像合成処理部４０３、多眼映像合成処理部４０４、高解像度合成処理部４０５を備える。４つの位置合わせ補正処理部４０１−１〜４０１−４は、それぞれカメラパラメータ４０２を格納した記憶装置を備えるが、それを１つの位置合わせ補正処理部４０１−１内に図示した。撮像装置１０１の映像信号Ｖ１（基準画像）は、位置合わせ補正処理部４０１−１に加えられ、以下同様にして、撮像装置１０２、１０３、１０４の映像信号Ｖ２、Ｖ３、Ｖ４は、それぞれ位置合わせ補正処理部４０１−２、４０１−３、４０１−４に加えられる。位置合わせ補正処理部４０１−１の出力は、単眼映像合成処理部４０３へ加えられる。位置合わせ補正処理部４０１−１〜４０１−４の出力は、多眼映像合成処理部４０４へ加えられる。単眼映像合成処理部４０３の出力と、多眼映像合成処理部４０４の出力とは、高解像度合成処理部４０５において高精細映像Ｖ５に合成され、映像処理部２０の外部へ出力される。
【００３２】
位置合わせ補正処理部４０１−１〜４０１−４は、距離算出部２１（図３）から出力される視差データＤ１と、各撮像部の向きや姿勢やレンズ歪の状態を示すカメラパラメータ４０２とに基づき、各撮像部１０１、１０２、１０３、１０４の映像が同じ被写体位置を捕らえるように位置合わせを行う。単眼映像合成処理部４０３は、例えばオクルージョンなどで距離算出部２１において視差データＤ１が算出できなかった領域、すなわち視差値が０、もしくは所定のユニークな値である領域を、距離算出部２１で基準とした撮像部１０１で撮影された映像信号について合成を行う。多眼映像合成処理部４０４は、距離算出部２１において視差データＤ１が算出できた領域を、４つの撮像部１０１、１０２、１０３、１０４の映像信号Ｖ１〜Ｖ４を用いて高精細化合成を行う。
【００３３】
次に、位置合わせ補正処理部４０１−１〜４０１−４の動作を説明する。各撮像部１０１〜１０４の向きや姿勢やレンズ歪の状態を示すカメラパラメータ４０２は、パターン形状が既知の市松模様チェッカーパターンを、姿勢やアングルを変えながら数回撮像して、その撮影画像から算出するカメラキャリブレーションで求めることができる。カメラパラメータ４０２は、外部パラメータと内部パラメータとから構成される。外部パラメータは、カメラの姿勢を示すヨー、ピッチ、ロールの３軸ベクトルと、平行移動成分を示す３軸の並進ベクトルの計６パラメータから構成される。また内部パラメータは、画像中心位置、撮像素子上で仮定した座標の角度とアスペクト比、焦点距離の５パラメータから構成される。ここでは撮像部１０１を基準の撮像部として、他の撮像部１０２、１０３、１０４の映像を撮像部１０１の映像に合せる場合について説明する。被写体までの視差データＤ１と、基準の撮像部１０１と、他の撮像部１０２、１０３、１０４との間隔（カメラ基線長）から算出されるシフト量を、カメラパラメータの外部パラメータである並進量に加味したパラメータを用いて、幾何学補正処理する。これにより、４つの撮像部１０１、１０２、１０３、１０４の映像が被写体の同じ点を同じ位置（画素）で捕らえるように位置を合わせることができる。
【００３４】
次に、図１０を参照して、多眼映像合成処理部４０４の動作を説明する。図１０において、横軸は空間の広がり（大きさ）を示しており、縦軸は光の振幅（光強度）を示している。説明の簡略化のため、ここでは２つの撮像部１０１、１０２で撮影した２つの画像の合成処理を説明する。符号４０ａは、実際の画像の光の強度分布を示す。図１０中の符号４０ｂと符号４０ｃは、それぞれ撮像部１０１と撮像部１０２の画素であり、相対位置関係が符号４０ｄの矢印で示すオフセット分だけずれている。撮像素子は、画素単位で光強度を積分することになるため、符号４０ａで示す被写体の輪郭を、撮像素子１０１で撮影すると符号４０ｅで示す光強度分布の映像信号が得られ、撮像素子１０２で撮影すると符号４０ｆで示す光強度分布の映像信号が得られる。この２つの画像を合成することによって、符号４０ｇで示す実際の輪郭に近い高精細な画像を再現することができる。
【００３５】
図１０においては、２つの画像による高解像度合成処理を説明したが、４つの撮像部１０１、１０２、１０３、１０４のそれぞれで得られた画像を用いて高解像度化合成する一例を図１１に示す。ここでは、４つの撮像部１０１、１０２、１０３、１０４の解像度がＶＧＡ（６４０×４８０画素）で、その４倍の画素数であるＱｕａｄ−ＶＧＡの画素（１２８０×９６０画素）への高解像度合成処理を行う場合について説明する。図１１に示すように、Ｑｕａｄ−ＶＧＡの画素（１２８０×９６０画素）の隣接する４つの画素が、異なる撮像部で撮像された画素を割り当てて合成することで、高解像度の画像を得ることが可能である。
【００３６】
一例として、撮像部１０１で撮像した画像Ｐ１１の一番上のラインの画素を左から順にＧ１１、Ｇ１２、Ｇ１３、・・・とする。以下同様に、２番目のラインの画素を左から順にＧ１４、Ｇ１５、Ｇ１６、・・・とする。また、３番目のラインの画素を左から順にＧ１７、Ｇ１８、Ｇ１９、・・・とする。
撮像部１０２で撮像した画像Ｐ１２の一番上のラインの画素を、同様に、左から順にＧ２１、Ｇ２２、Ｇ２３、・・・とする。以下同様に、２番目のラインの画素を左から順にＧ２４、Ｇ２５、Ｇ２６、・・・とする。また、３番目のラインの画素を左から順にＧ２７、Ｇ２８、Ｇ２９、・・・とする。
撮像部１０３、１０４で撮像した画像Ｐ１３、Ｐ１４の画素にも、同様に図１１に示すような符号Ｇ３１〜Ｇ３９、Ｇ４１〜Ｇ４９を、それぞれ付加する。高解像度合成処理後の画像Ｐ１５としては、一番上のラインについては、左から順にＧ１１、Ｇ２１、Ｇ１２、Ｇ２２、Ｇ１３、Ｇ２３、・・・のように、撮像装置１０１、１０２で撮像した画像Ｐ１１、Ｐ１２の画素の一番上のラインの画素を入れ子にして配置する。２番目のラインについては、左から順にＧ３１、Ｇ４１、Ｇ３２、Ｇ４２、Ｇ３３、Ｇ４３、・・・のように、撮像装置１０３、１０４で撮像した画像Ｐ１３、Ｐ１４の画素の一番上のラインの画素を入れ子にして配置する。以下、図１１の高解像度合成処理後の画像Ｐ１５に示すように、同様の配置になるように処理を繰り返す。
【００３７】
次に、図１２、図１３を参照して、オクルージョン領域とその領域の映像処理を行う単眼映像合成処理部４０３の動作を説明する。図１２に示すように、奥領域６２の手前に配置された手前領域６１（立方体）を、撮像部１０１、１０２それぞれで撮影した場合について説明する。図１３の上部に高解像度合成処理後の高精細画像６５の概略を示す。撮像部１０１を基準とした場合、距離測定部２１で算出された視差データ６４に、撮像部１０１では見えているが撮像部１０２では隠れて見えないオクルージョン領域６３が発生する。図１３において、オクルージョン領域６３を、右下がりの斜線でハッチングして示す。
視差データが算出できないオクルージョン領域６３は、図９に示す単眼映像合成処理部４０３にて、基準となる撮像部１０１の映像を用いた映像処理が行われ、それ以外の領域は距離が算出できるため、図１０と図１１により説明した高解像度合成処理が実施される。図１３に示す符号６５は、映像処理部２０にて生成された高精細画像を示している。また、図１３において、符号６７、６８、６９で示す３つのグラフは、高精細画像６５の直線６６における輝度変化を示している。３つのグラフ６７、６８、６９の縦軸は、輝度を示しており、横軸は位置を示している。横軸は左から手前領域６１、オクルージョン領域６３、奥領域６２と続いている。奥領域６２と手前領域６１とは、視差データ６４が算出できるため、４つの撮像部１０１、１０２、１０３、１０４にて、図１０と図１１で説明した高解像度合成処理が実施される。
【００３８】
オクルージョン領域６３には、撮像部１０１の映像をそのまま用いたグラフ６７中の点線で示す輝度曲線Ｃ０が適用される。輝度曲線Ｃ０が手前領域６１の輝度よりも明るい場合は、グラフ６７の矢印Ａ１に示すように、輝度値を下げてＣ１の示す輝度曲線に補正する（輝度低下補正処理）。この映像処理により、オクルージョン領域６３の輝度を、手前領域６１よりも暗く合成することができる。そのため、オクルージョンのため暗く見えるといった人間の視覚心理における奥行による明るさ知覚に適合した見えを効果的に演出することができる。また、奥側の手前領域６１の輝度と一致させるため、グラフ６８の矢印Ａ２に示すように、輝度曲線Ｃ２のように補正する（繋ぎ補正処理）。この映像処理によりオクルージョン領域６３と、連続すべき奥側の領域６２との明るさ連続性を保ち、視覚心理的に違和感なく見えるように合成することができる。さらに、グラフ６９の輝度曲線Ｃ３に示すようにオクルージョン領域６３の輝度変化を平滑化フィルターで抑える（平滑化補正処理）。これにより、オクルージョンのためぼやけて見えるといった人間の視覚心理における奥行の見えを効果的に演出することができる。
【００３９】
なお、前述した説明においては、輝度を変化させる単眼映像合成処理を説明したが、輝度を彩度に置き換えた処理も可能である。すなわち、図１３に示すように、オクルージョン領域６３の彩度を、手前領域６１の彩度よりも下げることにより、オクルージョンで手前にある領域より色が薄く見えるといった人間の視覚心理における奥行きによる色彩知覚に適合した見えを効果的に演出することができる。さらに、オクルージョン領域６３の彩度を奥側の手前領域６１の彩度と一致することで、オクルージョン領域と、それと連続すべき奥側の領域とを彩度の連続性を保ち、視覚心理的に違和感なく見えるように合成することができる。
【００４０】
次に、図１４を参照して、図２に示す映像処理部２０の動作を説明する。まず、動作開始後に映像処理を行うべき画素を指定する（ステップＳ８００）。続いて、指定した画素が、オクルージョン領域６３か否かの判定を行う（ステップＳ８０１）。オクルージョン領域６３でない、すなわち視差データ６４が算出できた場合は、４つの撮像部１０１、１０２、１０３、１０４の全ての映像においてカメラパラメータと視差データ６４による位置合わせ補正処理を実行する（ステップＳ８０２）。その後、多眼映像合成処理部４０４により多眼映像合成処理を実施する（ステップＳ８０３）。一方、オクルージョン領域６３の場合は、撮像部１０１の映像について視差データ６４が０であるものとして補正処理を行う（ステップＳ８０４）。そして、単眼映像合成処理（輝度低下補正処理、繋ぎ補正処理、平滑化補正処理）を実行する（ステップＳ８０５）。以上の処理が、撮像処理が終了するまで繰り返される（ステップＳ８０６）。
【００４１】
＜第２の実施形態＞
次に、図１５および図１６を参照して、本発明の第２の実施形態について説明する。図１５は、第２の実施形態による多眼撮像装置の構成を示すブロック図である。図１６は、図１５に示す距離算出部１５１の構成を示すブロック図である。図１５に示す多眼撮像装置１０が、図２に示す多眼撮像装置１０と同一の部分には同一の符号を付し、その説明を省略する。図１５に示す多眼撮像装置が図２に示す多眼撮像装置１０と異なる点は、距離算出部２１に代えて、距離算出部１５１が設けられている点である。距離算出部１５１が出力する視差データＤ１１は、図１５に示す映像処理部２０に送られる。図１５に示す映像処理部２０は、図９に示す映像処理部２０の視差データＤ１をＤ１１と読み替えることを除いて、図９に示す映像処理部２０と同様であるため、その説明を省略する。図１５に示す距離算出部１５１は、４つの撮像部１０１、１０２、１０３、１０４のそれぞれから出力する映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４を入力して距離（視差）を算出する。
【００４２】
次に、図１６を参照して、図１５に示す距離算出部１５１の構成を説明する。距離算出部１５１には、４つの撮像部１０１、１０２、１０３、１０４で撮影された映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４のそれぞれが入力される。図１６に示す距離算出部１５１は、図１５に示す撮像部１０１で撮影された画像（以下、基準画像Ｐ２１という）と、撮像部１０２で撮影された画像（以下、第１の参照画像Ｐ１１という）と、撮像部１０３で撮影された画像（以下、第２の参照画像Ｐ１２という）と、撮像部１０４で撮影された画像（以下、第３の参照画像Ｐ１３という）から視差データＤ１１を算出する。座標変換部８１〜８４は、基準画像Ｐ２１と各参照画像Ｐ１１〜Ｐ１３の画像平面とを同一平面上に乗せることを目的に、各画像を幾何学変換（座標変換）する。座標変換処理は、図３に示す座標変換部３１、３２と同様であるため、詳細な説明は省略する。
【００４３】
対応点探索部８５〜８７は、基準画像Ｐ２１と各参照画像Ｐ１１〜Ｐ１３の画像平面とが同一平面上に乗るように幾何学変換した画像について、変換後の基準画像Ｐ２１と各参照画像Ｐ１１〜Ｐ１３との間で対応画素を探索し、基準画像Ｐ２１に対する各参照画像Ｐ１１〜Ｐ１３の視差データＤ１１を求める。対応点探索部８５は、図３に示す対応点探索部３３と同様に、基準画像Ｐ２１と第１の参照画像Ｐ１１との間の視差データＤ１２を算出する。このとき、図８のステップＳ９０７においては視差算出エラーまたはオクルージョンを検出した注目画素について、視差値を０、もしくは所定のユニークな値を視差データＤ１２として記憶する。対応点探索部８５では、さらに視差算出エラーまたはオクルージョンの注目画素であることを表す検出不可情報を対応点探索部８６に送る。この検出不可情報は、例として注目座標の座標情報と検出不可を表す値−１などが挙げられる。
【００４４】
対応点探索部８６は、対応点探索部８５と同様に、幾何学変換後の基準画像Ｐ２１と第２の参照画像Ｐ１２間の視差データＤ１３を算出する。しかし、対応点探索部８５は、幾何学変換後の基準画像Ｐ２１と第２の参照画像Ｐ１２全体に対して対応画素を探索する。これに対し、対応点探索部８６は、対応点探索８５から送られてくる検出不可情報によって、視差算出エラーまたはオクルージョンと検出された基準画像Ｐ２１の注目画素について第２の参照画像Ｐ１２から対応画素を探索し、視差データＤ１３を算出する。このとき、対応点探索部８５と同様に、視差算出エラーまたはオクルージョンを検出した場合は、検出不可情報を対応点探索部８７に送る。
【００４５】
対応点探索部８７は、対応点探索部８６と同様に、幾何学変換後の基準画像Ｐ２１と第３の参照画像Ｐ１３について、対応点探索８６から送られてくる検出不可情報によって、視差算出エラーまたはオクルージョンと検出された基準画像Ｐ２１の注目画素について第３の参照画像Ｐ１３から対応画素を探索し、視差データＤ１４を算出する。
【００４６】
次に、対応点探索部８５〜８７のそれぞれで算出された視差データＤ１２、Ｄ１３、Ｄ１４を合成する処理について説明する。対応点探索部８５で算出された視差データＤ１２と、対応点探索部８５で視差算出エラーまたはオクルージョンと検出され、算出できなかった基準画像Ｐ２１上の座標（領域）について対応点探索部８６で算出された視差データＤ１３と、対応点探索部８６で視差算出エラーまたはオクルージョンと検出され、算出できなかった基準画像Ｐ２１上の座標（領域）について対応点探索部８７で算出された視差データＤ１４を合成部８８で合成し、基準画像Ｐ２１に対応する視差データＤ１１を算出する。
【００４７】
以上までの視差データ算出方法について、オクルージョン領域を例にとって図１７を参照して模式的に説明する。図１７は、基準画像Ｐ２１と各参照画像Ｐ２１１、Ｐ１２、Ｐ１３のオクルージョン領域６３を示している。基準画像Ｐ２１と第１の参照画像Ｐ１１との間で対応点探索を行った場合は、第１の参照画像Ｐ１１を示す図（図１７の左上の図）に示すように被写体２００の右側にオクルージョン領域６３が発生する視差データＤ１２となる。また、基準画像Ｐ２１と第２の参照画像Ｐ１２との間で対応点探索を行った場合は、第２の参照画像Ｐ１２を示す図（図１７の右下の図）に示すように被写体２００の上側にオクルージョン領域６３が発生する視差データＤ１３となる。さらに、基準画像Ｐ２１と第３の参照画像Ｐ１３との間で対応点探索を行った場合は、第３の参照画像Ｐ１３（図１７の左下の図）に示すように被写体２００の右側と上側にオクルージョン領域６３が発生する視差データＤ１４となる。したがって、前述した第１の実施形態の構成（図３に示す構成）では、第１の参照画像Ｐ１１のように被写体２００の右側にオクルージョン領域６３が必ず発生する。しかし、第２の実施形態の構成（図１６に示す構成）では、第２の参照画像Ｐ１２または第３の参照画像Ｐ１３を使ってオクルージョン領域６３を削減することができる。
【００４８】
オクルージョン領域を削減する方法について、図１８に示す各オクルージョン領域の位置関係の図を参照して説明する。図１８は、図１７に示す各参照画像Ｐ１１、Ｐ１２、Ｐ１３の間の視差データＤ１２、Ｄ１３、Ｄ１４を階層的に示したものである。第１の参照画像Ｐ１１で発生した被写体２００の右側のオクルージョン領域６３を、第２の参照画像Ｐ１２の「新たに視差データを求める領域３００」から視差データＤ１３を算出し、基準画像Ｐ２１に対応する視差データＤ１１全体としてオクルージョン領域６３を削減することを示している。また、図１８の第３の参照画像Ｐ１３では、第１の参照画像Ｐ１１で発生したオクルージョン領域６３の全てが第２の参照画像Ｐ１２で補間されるため、基準画像Ｐ２１に対応する視差データＤ１１を求める上で第３の参照画像Ｐ１３が使用されていないことを示している。このように、図１６に示す対応点探索部８６または８７は、それ以前の対応点探索部の処理によりオクルージョン領域が全て消滅した場合は、それ以降の参照画像について対応点探索処理を中止してもよい。
【００４９】
以上までの第２の実施形態は、基準画像Ｐ２１と第１の参照画像Ｐ１１間で求めた視差データＤ１２に対し、視差算出エラーまたはオクルージョンと検出した領域について、これら画像とは別の参照画像から求めた。さらに視差算出エラーまたはオクルージョンと検出した場合は、使用していない新たな参照画像から算出する手法により階層的に視差データＤ１１を算出した。これは、視差データの未検出エリアについて他のカメラから視差データを検出できることから、基準画像Ｐ２１と各参照画像Ｐ１１〜Ｐ１３間で画像全体を個別に探索し、最後に合成する場合と比較し、飛躍的に処理量を削減することができる。よって、使用するカメラ数を増加させた場合や、各カメラの画素数を向上した場合でも回路規模を削減し、リアルタイム処理を可能にすることができる。
【００５０】
また、前述した説明においては４眼カメラの構成であるが、４眼構成に限定されるものではなく、それ以外のカメラ数についても適用可能である。４眼以外の構成の場合、例えば図１６に示す距離算出部１５１では、座標変換部８１〜８４はカメラの数だけ、対応点探索部８５〜８７はカメラの数より１つ少ない数だけあれば良い。さらに、カメラ数が増加しても視差データの検出不可領域について他のカメラから検出するため、処理量（ステップ数、メモリ、回路規模など）が常に最小の構成で構築することができる。
【００５１】
以上説明したように、３台以上のカメラ映像から２つの映像対についての対応点探索により距離情報（視差データ）を算出して、その距離情報をもとに複数のカメラ映像から高精細映像の合成処理を行うか、基準となる１台のカメラ映像から合成映像を生成するかを選択する。そのため、全てカメラ映像間で対応点探索する従来技術と比較して、圧倒的に処理量が削減され、距離情報が算出されなかった領域（オクルージョン領域など）の画質劣化の抑制が可能となる。
【００５２】
また、距離情報が算出されなかった領域を別のカメラの映像で距離算出するため、距離情報が算出されない領域を減少させることができる。さらに、これは複数のカメラ映像から高精細映像の合成処理を行う領域が増加することから、より高精細な映像を生成することが可能となる。
【００５３】
また、距離情報が算出されなかった領域を別のカメラの映像で距離算出するため、全てのカメラ映像間で対応点探索する従来技術と比較して大幅に処理量を削減することが可能である。また、オクルージョン領域などの距離情報が算出できず、高精細化できなかった領域の映像輝度を所定の割合で下げることにより、その領域を目立たなく合成することができる。それと共に、オクルージョンのため暗く見えるといった人間の視覚心理における奥行による明るさ知覚に適合した見えを効果的に演出することができる。
【００５４】
また、オクルージョン領域などの距離情報が算出できず高精細化できなかった領域の映像輝度を、その領域と隣接して手前にある領域の輝度値よりも暗くして生成しても良い。これにより、オクルージョンで重なった領域が手前にある領域より暗く見えるといった人間の視覚心理における奥行による明るさ知覚に適合した見えを効果的に演出することができる。
【００５５】
また、オクルージョン領域などの距離情報が算出できず高精細化できなかった領域の映像輝度を、その領域と隣接して奥側にある領域の輝度値と一致させて生成しても良い。これにより、オクルージョン領域と、それと連続すべき奥側の領域とを明るさの連続性を保ち、視覚心理的に違和感なく見えるように合成することができる。さらに、オクルージョン領域などの距離情報が算出できなかった領域の彩度を所定の割合で下げることにより、その領域を目立たなく合成することができる。それと共に、オクルージョンのため色が薄く見えるといった人間の視覚心理の奥行きによる色彩知覚に適合した見えを効果的に演出することができる。
【００５６】
また、オクルージョン領域などの距離情報が算出できなかった領域の彩度を、その領域と隣接して手前にある領域の彩度よりも下げて生成しても良い。これにより、オクルージョンである領域が手前にある領域より色が薄く見えるといった人間の視覚心理における奥行きによる色彩知覚に適合した見えを効果的に演出することができる。
また、オクルージョン領域などの距離情報が算出できなかった領域の彩度を該領域と隣接して奥側にある領域の彩度と一致させて生成しても良い。これにより、オクルージョン領域とそれと連続すべき奥側の領域とを彩度の連続例を保ち、視覚心理的に違和感なく見えるように合成することができる。
さらに、オクルージョン領域などの距離情報が算出できなかった領域をぼかすようにしても良い。これにより、その領域を目立たなく合成することができるとともに、オクルージョンのためぼやけて見えるといった人間の視覚心理の奥行によるボケの見えを効果的に演出することができる。
【００５７】
以上の説明で明らかなように、本発明の実施形態の構成により、全てのカメラ映像間で対応点探索する従来技術と比較して、圧倒的に処理量を削減し、視差データ検出不可領域（視差算出エラー領域またはオクルージョン領域）の画質劣化抑制が可能となる。さらに、視差データ検出不可領域で高精細化できなかった領域を、人間の左右両眼で見た視覚心理的見え方に近づけるように演出することで、高精細合成画像全体の見栄えを良くすることが可能な多眼撮像装置および多眼撮像方法を提供することが可能となる。
【００５８】
なお、図２に示す映像処理部２０、距離算出部２１、図１５に示す距離算出部１５１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録しても良い。そして、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより高精細画像の合成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含む。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含む。
【００５９】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００６０】
複数の画像撮像系を使用して得られた複数の画像を合成することにより高精細画像を得る撮像装置に適用することができる。
【符号の説明】
【００６１】
１０ 多眼撮像装置
１０１〜１０４ 撮像部
１１ 撮像レンズ
１２ 撮像素子
２０ 映像処理部
２１、１５１ 距離算出部
３０、８０ カメラパラメータ記憶部
３１、３２、８１〜８４ 座標変換部
３３、８５〜８７ 対応点探索部
４０１ 位置合わせ補正処理部
４０３ 単眼映像合成処理部
４０４ 多眼映像合成処理部
４０ｂ 撮像部１０１の画素
４０ｃ 撮像部１０２の画素
４０ｄ 撮像部１０１と撮像部１０２のオフセット
６１ 手前側の領域
６２ 奥側の領域
６３ オクルージョン領域
６４ 視差データ
６５ 高精細画像
６６ 高精細画像６５の輝度変化を示す領域
８８ 視差データ合成処理
【技術分野】
【０００１】
本発明は、多眼撮像装置および多眼撮像方法に関する。
本願は、２００９年１２月２４日に、日本に出願された特願２００９−２９１６２４号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
近年、高画質なデジタルスチルカメラやデジタルビデオカメラ（以下、デジタルカメラという）が急速に普及してきている。また、並行してデジタルカメラの小型化、薄型化の開発も進められており、携帯電話機等に小型で高画質なデジタルカメラが搭載され始めた。デジタルカメラに代表される撮像装置は、像を結像するレンズ光学系と、結像した光を光電変換して電気信号を出力する撮像素子とから構成されている。撮像素子としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化膜半導体）センサやＣＣＤ（Charge Coupled Device：電荷結合素子）センサ等の電子デバイスが使用される。これら撮像素子は、撮像面に結像した光量分布を光電変換し撮影画像として記録する。レンズ光学系は、収差を除去するために、数枚の非球面レンズから構成されているものが多い。さらにズーム機能を持たせる場合は、複数のレンズと撮像素子の間隔を変える駆動機構（アクチュエータ）が必要となる。
【０００３】
一方、撮像装置の高画質化、高機能化の要求に応じて、撮像素子は多画素化、高精細化し、結像光学系は低収差、高精度化が進んでいる。それに伴い、撮像装置が大きくなり、小型化、薄型化が困難になってしまうという課題が表出している。このような課題に対して、レンズ光学系に複眼構造を採用する技術や、複数の撮像素子とレンズ光学系から構成される撮像装置が提案されている。例えば、平面状に配置した固体レンズアレイと、液晶レンズアレイと、撮像素子とから構成された撮像レンズ装置が提案されている（例えば、特許文献１参照）。この撮像レンズ装置は、図１９に示すように、レンズアレイ２００１と、同数の可変焦点型の液晶レンズアレイ２００２とを有するレンズ系と、撮像素子２００３と、演算装置２００４と、液晶駆動装置２００５とから構成されている。
撮像素子２００３は、このレンズ系を通して結像する光学像を撮像する。
演算装置２００４は、撮像素子２００３により得られた複数の画像を画像処理して全体の画像を再構成する。
液晶駆動装置２００５は、演算装置２００４からフォーカス情報を検出して液晶レンズアレイ２００２を駆動する。
この構成により焦点距離を短くした小型薄型の撮像レンズ装置が実現可能としている。
【０００４】
また、撮像レンズ、カラーフィルタ、検出器アレイから構成される４つのサブカメラを組み合わせて、サブピクセル解像度を有する薄型カラーカメラも提案されている（例えば、特許文献２参照）。この薄型カラーカメラ２００は、図２０Ａおよび図２０Ｂに示すように、レンズ２２０と、カラーフィルタ２５０と、検出器アレイ２４０から構成される。レンズ２２０は、４つのレンズ２２０ａ〜２２０ｄを備えている。カラーフィルタ２５０は、４つのカラーフィルタ２５０ａ〜２５０ｄを備えている。カラーフィルタ２５０は、図２０Ｂに示すように、赤色光（Ｒ）を透過するフィルタ２５０ａ、緑色光（Ｇ）を透過するフィルタ２５０ｂと２５０ｃ、青色光（Ｂ）を透過するフィルタ２５０ｄから構成されている。検出器アレイ２４０は、赤色、緑色、青色の画像を撮影する。この構成で、人間の視覚系で高い感度をもつ緑色の２つの画像から高解像度の合成画像を形成し、赤色と青色と組み合わせてフルカラー画像を得ることができるとしている。
【０００５】
これら複数のカメラで撮影した複数の画像から高解像度画像を合成する場合は、各画像で、同じ領域を撮像した対応点を探索して合成する必要がある。しかし、一方のカメラでは撮影できるが、他方のカメラでは物体の陰に隠れて撮影できないオクルージョン（occlusion）と呼ばれる領域が発生するため、対応点が求まらない場合がある。このオクルージョン領域は、対応点の誤探索により、高精細合成画像の品質劣化を招くといった問題がある。このような問題を解決するために、基準画像と参照画像とから高精細画像を合成する処理において、対となる対応点が求まらない領域については、基準画像の対応点を合成画像生成データとして用いて、参照画像の対応点を合成画像生成データとして用いない複眼撮像装置が知られている（例えば、特許文献３参照）。この複眼撮像装置は、左撮像系と右撮像系の２つの画像から高精細画像を合成する処理において、対応点が求まらないオクルージョン領域が存在するか否かを判定するオクルージョン領域判断部を備える。特許文献３は、そのオクルージョン領域では、一方の画像を合成画像データとして用いない処理を開示している。この構成により、オクルージョンが発生する領域の処理手順を省略できるとともに、誤対応による画質劣化を抑制することができるとしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２５１６１３号公報
【特許文献２】特表２００７−５２０１６６号公報
【特許文献３】特開平６−１４１２３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献３の複眼撮像装置は、左右２つのカメラからなる複眼撮像装置を用いているが、カメラの数は２つに限られるものではなく、３つ以上の場合でも可能としている。しかしながら、３つ以上のカメラを備えた場合は、全てのカメラ対で対応点探索を行うため、カメラ対の数の倍数分だけ処理量が増大するという問題が生じる。特許文献３では、周知の対応点の探索手法として、基準画像のある一点を中心に囲むブロックと参照画像中のブロックの類似度を比較して一番類似度が高いブロックの中心画素を対応点として検出するテンプレートマッチングを説明している。
【０００８】
しかし、この検出方法は、カメラの解像度が高まるに従い処理量が膨大になっていくだけでなく、高精細画像を合成するためにはカメラ解像度を超えた精度、いわゆるサブピクセル精度で対応点を検出する必要がある。そのため、その対応点検出処理は、高精細合成処理よりも格段に処理量が大きくなる。特許文献３の構成では、高精細化のためカメラ台数を増やすと、それだけ対応点検出処理量が増加する。例えば動画撮影の場合、１ピクセルクロックの時間内で対応点を検出する必要があり、この時間内で全てのカメラ間で高精度な対応点検出を行うことが難しいという問題がある。１ピクセルクロックとは、具体的には、１０８０／６０Ｐのハイビジョン動画撮影で０．００７μｓのことである。
【０００９】
本発明は、このような事情に鑑みてなされたもので、３つ以上のカメラを用いた高精細合成処理において、処理量を大幅に増加させることなく対応点探索ができなかったオクルージョン領域または対応点検出エラー領域の画質劣化抑制を実現することが可能な多眼撮像装置および多眼撮像方法を提供することを目的とする。
加えて、対応点探索ができなかったことにより高精細化できなかった領域を、人間の左右両眼で見た視覚心理的見え方に近づけるように演出することで、高精細合成画像全体の見栄えを良くすることが可能な多眼撮像装置および多眼撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
（１） 本発明の一態様による多眼撮像装置は、画像を撮像する複数系統の撮像部と、前記撮像部のうち、基準となる第１の撮像部の出力映像と、前記第１の撮像部と異なる前記複数系統の撮像部のうち少なくとも１つの撮像部の出力映像とから被写体までの距離情報を算出する距離算出部と、前記距離算出部において距離情報を算出できた領域について、その距離情報に基づき前記複数系統の撮像部の出力映像から合成映像を生成する多眼映像合成処理部と、前記距離算出部において距離情報が算出できなかった領域について、前記第１の撮像部の出力映像から合成映像を生成する単眼映像合成処理部とを備え、前記距離算出部は、前記第１の撮像部の出力映像と、前記第１の撮像部と異なる第２の撮像部の出力映像とから被写体までの第１の距離情報を算出し、前記第１の距離情報が算出できなかった領域があった場合、その第１の距離情報が算出できなかった領域について、少なくとも１度は、前記複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、前記第１の撮像部の出力映像とから被写体までの距離情報を再度算出する。
【００１１】
（２） 本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を所定の割合で下げて前記合成画像を生成しても良い。
【００１２】
（３） 本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を、その領域と隣接して手前にある領域の輝度値よりも低くして前記合成画像を生成しても良い。
【００１３】
（４） 本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を、その領域と隣接して奥側にある領域の輝度値と一致させ前記合成画像を生成しても良い。
【００１４】
（５） 本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、所定の割合で下げて前記合成画像を生成しても良い。
【００１５】
（６） 本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、その領域と隣接して手前にある領域の彩度よりも下げて前記合成画像を生成しても良い。
【００１６】
（７） 本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、その領域と隣接して奥側にある領域の彩度と一致させて前記合成画像を生成しても良い。
【００１７】
（８） 本発明の一態様による多眼撮像装置の前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度変化を抑えて前記合成画像を生成しても良い。
【００１８】
（９） 本発明の他の一態様による多眼撮像方法は、画像を撮像する複数系統の撮像部のうち、基準となる第１の撮像部の出力映像と、前記第１の撮像部と異なる前記複数系統の撮像部のうち少なくとも１つの撮像部の出力映像とから被写体までの距離情報を算出し、距離情報を算出できた領域について、その距離情報に基づき前記複数系統の撮像部の出力映像から合成映像を生成し、距離情報が算出できなかった領域について、前記第１の撮像部の出力映像から合成映像を生成し、前記距離情報を算出する際に、前記第１の撮像部の出力映像と、前記第１の撮像部と異なる第２の撮像部の出力映像とから被写体までの第１の距離情報を算出し、前記第１の距離情報が算出できなかった領域があった場合、その第１の距離情報が算出できなかった領域について、少なくとも１度は、前記複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、前記第１の撮像部の出力映像とから被写体までの距離情報を再度算出する。
【発明の効果】
【００１９】
本発明によれば、２つまたはそれより多いカメラを用いた高精細合成処理において、処理量を大幅に増加させることなく対応点探索ができなかったオクルージョン領域または対応点検出エラー領域の画質劣化抑制を実現することが可能になる。また、対応点探索ができなかったことにより高精細化できなかった領域を、人間の左右両眼で見た視覚心理的見え方に近づけるように演出することで、高精細合成画像全体の見栄えを良くすることができるという効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態における多眼撮像装置の概観図である。
【図２】第１の実施形態における多眼撮像装置の全体ブロック図である。
【図３】第１の実施形態における多眼撮像装置の距離算出部のブロック図である。
【図４】第１の実施形態における多眼撮像装置の対応点探索処理を示す模式図である。
【図５】第１の実施形態における多眼撮像装置の対応点探索処理を示す模式図である。
【図６】第１の実施形態における多眼撮像装置の対応点探索処理を示す模式図である。
【図７】第１の実施形態における多眼撮像装置の対応点探索処理を示す模式図である。
【図８】第１の実施形態における多眼撮像装置の対応点探索処理のフローチャートである。
【図９】第１の実施形態による多眼撮像装置の映像処理部のブロック図である。
【図１０】第１の実施形態による多眼撮像装置の多眼映像合成処理部の動作を説明する模式図である。
【図１１】第１の実施形態による多眼撮像装置の４眼合成処理部の動作を説明する模式図である。
【図１２】第１の実施形態による多眼撮像装置のオクルージョン領域の説明と、単眼映像合成処理部の動作を説明する模式図である。
【図１３】第１の実施形態による多眼撮像装置のオクルージョン領域の説明と、単眼映像合成処理部の動作を説明する模式図である。
【図１４】第１の実施形態による多眼撮像装置の映像処理部の動作を説明するフローチャートである。
【図１５】第２の実施形態における多眼撮像装置の全体ブロック図である。
【図１６】第２の実施形態における多眼撮像装置の距離算出部のブロック図である。
【図１７】第２の実施形態における多眼撮像装置の対応点探索方法を示す模式図である。
【図１８】第２の実施形態における多眼撮像装置の対応点探索方法を示す模式図である。
【図１９】従来の多眼撮像装置の構成を示すブロック図である。
【図２０Ａ】他の従来の多眼撮像装置の構成を示すブロック図である。
【図２０Ｂ】図２０Ａの多眼撮像装置のカラーフィルタの構成を示す概略図である。
【発明を実施するための形態】
【００２１】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による多眼撮像装置を説明する。図１は、本発明の第１の実施形態による多眼撮像装置の概観を示す図である。図２は、同実施形態の多眼撮像装置の構成を示すブロック図である。図１に示すように、本実施形態による多眼撮像装置１０は、４系統の撮像部１０１、１０２、１０３、１０４を備える。各撮像部１０１、１０２、１０３、１０４は、撮像レンズ１１と撮像素子１２とを備えている。撮像レンズ１１は、被写体からの光を撮像素子１２上に結像し、結像されたイメージは、例えばＣＭＯＳ撮像素子などの撮像素子１２で光電変換されて映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４として出力される。４つの撮像部１０１、１０２、１０３、１０４のそれぞれで撮影することにより、４系統の撮像部１０１、１０２、１０３、１０４のそれぞれから出力する映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４は、映像処理部２０に入力する。また、４系統の映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４のうち２つの撮像部１０１、１０２から出力する映像信号Ｖ１、Ｖ２は、距離算出部２１にも同時に入力する。距離算出部２１は、入力した２つの映像信号Ｖ１、Ｖ２から対応点探索を行い、その探索結果から２つの撮像部間の視差データＤ１を算出して映像処理部２０に出力する。映像処理部２０は、入力した映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４を、距離算出部２１から出力する視差データＤ１に基づき合成処理して高精細映像Ｖ５を出力する。
【００２２】
次に、図３を参照して、図２に示す距離算出部２１の構成を説明する。図３は、図２に示す撮像部１０１において撮影された画像Ｖ１（以下、基準画像という）と、撮像部１０２において撮影された画像Ｖ２（以下、参照画像という）とから、視差データＤ１を算出する距離算出部２１の構成を示すブロック図である。２つの座標変換部３１、３２は、基準画像と参照画像の画像平面を同一平面上に乗せることを目的に、両画像を幾何学変換（座標変換）してエピポーララインを平行化する。カメラパラメータ３０は、撮像部１０１固有の焦点距離やレンズ歪みパラメータなどの内部パラメータ、および４つの撮像部１０１、１０２、１０３、１０４間の位置関係を表す外部パラメータを予め保持している。カメラパラメータの詳細については後述する。同様に、座標変換部３２は、撮像部１０２固有のカメラパラメータを保持している（図示省略）。対応点探索部３３は、エピポーララインが平行となった基準画像と参照画像との対応画素を探索し、基準画像に対する参照画像の視差データＤ１を求めて出力する。
【００２３】
次に、図４〜図７を参照して、対応画素を探索する処理動作について説明する。図４および図５は、それぞれ参照画像Ｐ１および基準画像Ｐ２のエピポーラライン平行化後の画像平面を示している。基準画像Ｐ２上の画素に対応する参照画像Ｐ１上の画素（対応画素）を求めるために、基準画像Ｐ２上の注目画素の移動方法を図５に示す基準画像Ｐ２の図を用いて説明する。基準画像Ｐ２上の注目画素を中心とするブロック（以下、注目ブロックという）を画像左上（探索開始ブロックＢ１）から順に右側のライン方向に１画素毎に移動させ、移動させた注目ブロックがラインの右端に到達した場合は、１ライン下の左側から順に右側のライン方向へと注目ブロックを移動させる。これを基準画像右下のブロック（探索終了ブロックＢ２）まで繰り返す。
【００２４】
次に、図５に示す基準画像Ｐ２上のある１つの注目ブロック（基準注目ブロックＢ３）に類似する参照画像Ｐ１上のブロックを探索する処理動作を図４に示す参照画像Ｐ１の図を用いて説明する。図５に示す基準画像Ｐ２上の基準注目ブロックＢ３の座標（ｘ、ｙ）と同じ座標となる参照画像Ｐ１上のブロック（参照注目ブロックＢ４）から順に右側のライン方向へ参照注目ブロックを１画素毎に移動させていき、図４に示す参照画像上の探索終了ブロックＢ５まで繰り返す。ここで探索する範囲（探索範囲Ｒ１）は、撮影した被写体の最大視差で決まる値であり、設定した探索範囲によって、視差データＤ１を算出できる被写体までの最短の距離が決定される。以上の参照注目ブロックＢ４の探索を、図５に示す基準画像Ｐ２上の各基準注目ブロックＢ３について行う。
【００２５】
次に、基準注目ブロックＢ３と類似する参照注目ブロックＢ４の決定方法について図６および図７を参照して説明する。図７は、基準注目ブロックＢ３を示しており、基準画像Ｐ２上の注目画素を中心とする横Ｍ画素×縦Ｎ画素（Ｍ、Ｎは、所定の自然数）のサイズのブロックを表している。図６は、参照注目ブロックＢ４を示しており、参照画像Ｐ１上の注目画素を中心とする横Ｍ×縦Ｎのサイズのブロックを表している。図６に示す参照注目ブロックＢ４および図７に示す基準注目ブロックＢ３上の任意の画素を表すために、横方向をｉとし、縦方向をｊとした時の座標（ｉ、ｊ）の画素値をそれぞれＲ（ｉ、ｊ）、Ｔ（ｉ、ｊ）とする。類似度を求める方法は、一般的に多く用いられているＳＡＤ（Sum of Absolute Difference：差分絶対和）を用いる。ＳＡＤは、（１）式に示す類似度判定式のようにＲ（ｉ、ｊ）とＴ（ｉ、ｊ）の差分の絶対値をブロックの全画素について求め、それを合計した値（ＳＳＡＤ）である。基準注目ブロックＢ３に類似する参照注目ブロックＢ４の決定は、前述した図４に示す参照画像Ｐ１上の探索範囲Ｒ１内の各参照注目ブロックＢ４の中でＳＳＡＤの値が最も小さくなる参照注目ブロックＢ４を、基準注目ブロックＢ３と類似していると決定する。
【数１】
【００２６】
以上の説明は、視差データＤ１の算出方法を処理単位毎に行ったものであるが、入力画素のシーケンスに沿った処理方法を図４〜図７及び図８に示す処理フローを参照して説明する。まず、基準注目ブロックＢ３を基準画像Ｐ２（図５）の先頭（探索開始ブロックＢ１）に設定する（ステップＳ９００）。そして、基準注目ブロックＢ３の全画素値を基準画像Ｐ２（図５）から読み出す（ステップＳ９０１）。次に、参照注目ブロックＢ４を、参照画像Ｐ１（図４）の先頭（参照画像Ｐ１左上）に設定する（ステップＳ９０２）。そして、参照注目ブロックＢ４の全画素値を参照画像Ｐ１（図４）から読み出す（ステップＳ９０３）。読み出した基準注目ブロックＢ３と参照注目ブロックＢ４の画素値のＳＳＡＤ値を、（１）式に従って算出し、記憶する（ステップＳ９０４）。
【００２７】
次に、探索範囲Ｒ１が終了したか否かを判定し（ステップＳ９０５）、終了していなければ参照注目ブロックＢ４を、右側のライン方向に１画素移動し（ステップＳ９０６）、再度ステップＳ９０３およびステップＳ９０４の処理を行う。これらステップＳ９０３からステップＳ９０６の処理を、探索範囲Ｒ１内で繰り返し、探索範囲Ｒ１内の全ＳＳＡＤ値の算出が終了後、ＳＳＡＤ値が最小となる参照注目ブロックＢ３を検出する。基準注目ブロックＢ３の中心座標（基準画像Ｐ２上の注目画素）と、検出した参照注目ブロックＢ４の中心座標（参照画像Ｐ１上の中心座標）との差分が、基準画像Ｐ２上の注目画素の視差データＤ１となり、これを記憶する（ステップＳ９０７）。
【００２８】
そして、処理が終了したか否かを判定し（ステップＳ９０８）、終了していなければ基準注目ブロックＢ３を、右側のライン方向に１画素移動し（ステップＳ９０９）、再度ステップＳ９０１からステップＳ９０７の処理を行う。これらステップＳ９０１からステップＳ９０９の処理を、基準注目ブロックＢ３が基準画像Ｐ２（図５）の探索終了ブロックＢ２となるまで繰り返し、基準画像Ｐ２上の各画素の視差データＤ１を求める。
【００２９】
また、ステップＳ９０７においてＳＳＡＤ値が最小となる参照注目ブロックＢ４を検出する際、最小の値を示す参照注目ブロックＢ４が必ずしも正しい類似ブロックとなるとは限らない。基準注目ブロックＢ３に模様（テクスチャ）がない場合や、参照画像Ｐ１上の探索領域がオクルージョン領域の場合などに誤検出することがある。このような類似ブロックの誤検出を低減するため、視差算出エラーの検出法、もしくはオクルージョン検出法があり、これら手法の一例として特許文献３に記載されている手法がある。類似ブロックの誤検出を低減する方法として、様々なものが既に知られている為、詳細な説明は行わない。ステップＳ９０７にてこれら探索の誤りを検出し、視差算出エラーまたはオクルージョンと判定した基準画像上の注目画素については、視差値を０、もしくは所定のユニークな値を視差データＤ１として記憶する。
【００３０】
以上の説明において、図３の対応点探索部３３の処理方法の一例として、基準画像上の注目画素に類似する参照画像上の画素をＳＡＤの類似度評価関数で探索したが、この手法に限定されるものではなく、基準画像上と参照画像上の類似画素を探索する手法であればどのような手法を使用して、視差データを求めても良い。
【００３１】
次に、図９を参照して図２に示す映像処理部２０の詳細な構成と動作を説明する。撮像処理部２０は、４つの補正処理部４０１−１〜４０１−４、単眼映像合成処理部４０３、多眼映像合成処理部４０４、高解像度合成処理部４０５を備える。４つの位置合わせ補正処理部４０１−１〜４０１−４は、それぞれカメラパラメータ４０２を格納した記憶装置を備えるが、それを１つの位置合わせ補正処理部４０１−１内に図示した。撮像装置１０１の映像信号Ｖ１（基準画像）は、位置合わせ補正処理部４０１−１に加えられ、以下同様にして、撮像装置１０２、１０３、１０４の映像信号Ｖ２、Ｖ３、Ｖ４は、それぞれ位置合わせ補正処理部４０１−２、４０１−３、４０１−４に加えられる。位置合わせ補正処理部４０１−１の出力は、単眼映像合成処理部４０３へ加えられる。位置合わせ補正処理部４０１−１〜４０１−４の出力は、多眼映像合成処理部４０４へ加えられる。単眼映像合成処理部４０３の出力と、多眼映像合成処理部４０４の出力とは、高解像度合成処理部４０５において高精細映像Ｖ５に合成され、映像処理部２０の外部へ出力される。
【００３２】
位置合わせ補正処理部４０１−１〜４０１−４は、距離算出部２１（図３）から出力される視差データＤ１と、各撮像部の向きや姿勢やレンズ歪の状態を示すカメラパラメータ４０２とに基づき、各撮像部１０１、１０２、１０３、１０４の映像が同じ被写体位置を捕らえるように位置合わせを行う。単眼映像合成処理部４０３は、例えばオクルージョンなどで距離算出部２１において視差データＤ１が算出できなかった領域、すなわち視差値が０、もしくは所定のユニークな値である領域を、距離算出部２１で基準とした撮像部１０１で撮影された映像信号について合成を行う。多眼映像合成処理部４０４は、距離算出部２１において視差データＤ１が算出できた領域を、４つの撮像部１０１、１０２、１０３、１０４の映像信号Ｖ１〜Ｖ４を用いて高精細化合成を行う。
【００３３】
次に、位置合わせ補正処理部４０１−１〜４０１−４の動作を説明する。各撮像部１０１〜１０４の向きや姿勢やレンズ歪の状態を示すカメラパラメータ４０２は、パターン形状が既知の市松模様チェッカーパターンを、姿勢やアングルを変えながら数回撮像して、その撮影画像から算出するカメラキャリブレーションで求めることができる。カメラパラメータ４０２は、外部パラメータと内部パラメータとから構成される。外部パラメータは、カメラの姿勢を示すヨー、ピッチ、ロールの３軸ベクトルと、平行移動成分を示す３軸の並進ベクトルの計６パラメータから構成される。また内部パラメータは、画像中心位置、撮像素子上で仮定した座標の角度とアスペクト比、焦点距離の５パラメータから構成される。ここでは撮像部１０１を基準の撮像部として、他の撮像部１０２、１０３、１０４の映像を撮像部１０１の映像に合せる場合について説明する。被写体までの視差データＤ１と、基準の撮像部１０１と、他の撮像部１０２、１０３、１０４との間隔（カメラ基線長）から算出されるシフト量を、カメラパラメータの外部パラメータである並進量に加味したパラメータを用いて、幾何学補正処理する。これにより、４つの撮像部１０１、１０２、１０３、１０４の映像が被写体の同じ点を同じ位置（画素）で捕らえるように位置を合わせることができる。
【００３４】
次に、図１０を参照して、多眼映像合成処理部４０４の動作を説明する。図１０において、横軸は空間の広がり（大きさ）を示しており、縦軸は光の振幅（光強度）を示している。説明の簡略化のため、ここでは２つの撮像部１０１、１０２で撮影した２つの画像の合成処理を説明する。符号４０ａは、実際の画像の光の強度分布を示す。図１０中の符号４０ｂと符号４０ｃは、それぞれ撮像部１０１と撮像部１０２の画素であり、相対位置関係が符号４０ｄの矢印で示すオフセット分だけずれている。撮像素子は、画素単位で光強度を積分することになるため、符号４０ａで示す被写体の輪郭を、撮像素子１０１で撮影すると符号４０ｅで示す光強度分布の映像信号が得られ、撮像素子１０２で撮影すると符号４０ｆで示す光強度分布の映像信号が得られる。この２つの画像を合成することによって、符号４０ｇで示す実際の輪郭に近い高精細な画像を再現することができる。
【００３５】
図１０においては、２つの画像による高解像度合成処理を説明したが、４つの撮像部１０１、１０２、１０３、１０４のそれぞれで得られた画像を用いて高解像度化合成する一例を図１１に示す。ここでは、４つの撮像部１０１、１０２、１０３、１０４の解像度がＶＧＡ（６４０×４８０画素）で、その４倍の画素数であるＱｕａｄ−ＶＧＡの画素（１２８０×９６０画素）への高解像度合成処理を行う場合について説明する。図１１に示すように、Ｑｕａｄ−ＶＧＡの画素（１２８０×９６０画素）の隣接する４つの画素が、異なる撮像部で撮像された画素を割り当てて合成することで、高解像度の画像を得ることが可能である。
【００３６】
一例として、撮像部１０１で撮像した画像Ｐ１１の一番上のラインの画素を左から順にＧ１１、Ｇ１２、Ｇ１３、・・・とする。以下同様に、２番目のラインの画素を左から順にＧ１４、Ｇ１５、Ｇ１６、・・・とする。また、３番目のラインの画素を左から順にＧ１７、Ｇ１８、Ｇ１９、・・・とする。
撮像部１０２で撮像した画像Ｐ１２の一番上のラインの画素を、同様に、左から順にＧ２１、Ｇ２２、Ｇ２３、・・・とする。以下同様に、２番目のラインの画素を左から順にＧ２４、Ｇ２５、Ｇ２６、・・・とする。また、３番目のラインの画素を左から順にＧ２７、Ｇ２８、Ｇ２９、・・・とする。
撮像部１０３、１０４で撮像した画像Ｐ１３、Ｐ１４の画素にも、同様に図１１に示すような符号Ｇ３１〜Ｇ３９、Ｇ４１〜Ｇ４９を、それぞれ付加する。高解像度合成処理後の画像Ｐ１５としては、一番上のラインについては、左から順にＧ１１、Ｇ２１、Ｇ１２、Ｇ２２、Ｇ１３、Ｇ２３、・・・のように、撮像装置１０１、１０２で撮像した画像Ｐ１１、Ｐ１２の画素の一番上のラインの画素を入れ子にして配置する。２番目のラインについては、左から順にＧ３１、Ｇ４１、Ｇ３２、Ｇ４２、Ｇ３３、Ｇ４３、・・・のように、撮像装置１０３、１０４で撮像した画像Ｐ１３、Ｐ１４の画素の一番上のラインの画素を入れ子にして配置する。以下、図１１の高解像度合成処理後の画像Ｐ１５に示すように、同様の配置になるように処理を繰り返す。
【００３７】
次に、図１２、図１３を参照して、オクルージョン領域とその領域の映像処理を行う単眼映像合成処理部４０３の動作を説明する。図１２に示すように、奥領域６２の手前に配置された手前領域６１（立方体）を、撮像部１０１、１０２それぞれで撮影した場合について説明する。図１３の上部に高解像度合成処理後の高精細画像６５の概略を示す。撮像部１０１を基準とした場合、距離測定部２１で算出された視差データ６４に、撮像部１０１では見えているが撮像部１０２では隠れて見えないオクルージョン領域６３が発生する。図１３において、オクルージョン領域６３を、右下がりの斜線でハッチングして示す。
視差データが算出できないオクルージョン領域６３は、図９に示す単眼映像合成処理部４０３にて、基準となる撮像部１０１の映像を用いた映像処理が行われ、それ以外の領域は距離が算出できるため、図１０と図１１により説明した高解像度合成処理が実施される。図１３に示す符号６５は、映像処理部２０にて生成された高精細画像を示している。また、図１３において、符号６７、６８、６９で示す３つのグラフは、高精細画像６５の直線６６における輝度変化を示している。３つのグラフ６７、６８、６９の縦軸は、輝度を示しており、横軸は位置を示している。横軸は左から手前領域６１、オクルージョン領域６３、奥領域６２と続いている。奥領域６２と手前領域６１とは、視差データ６４が算出できるため、４つの撮像部１０１、１０２、１０３、１０４にて、図１０と図１１で説明した高解像度合成処理が実施される。
【００３８】
オクルージョン領域６３には、撮像部１０１の映像をそのまま用いたグラフ６７中の点線で示す輝度曲線Ｃ０が適用される。輝度曲線Ｃ０が手前領域６１の輝度よりも明るい場合は、グラフ６７の矢印Ａ１に示すように、輝度値を下げてＣ１の示す輝度曲線に補正する（輝度低下補正処理）。この映像処理により、オクルージョン領域６３の輝度を、手前領域６１よりも暗く合成することができる。そのため、オクルージョンのため暗く見えるといった人間の視覚心理における奥行による明るさ知覚に適合した見えを効果的に演出することができる。また、奥側の手前領域６１の輝度と一致させるため、グラフ６８の矢印Ａ２に示すように、輝度曲線Ｃ２のように補正する（繋ぎ補正処理）。この映像処理によりオクルージョン領域６３と、連続すべき奥側の領域６２との明るさ連続性を保ち、視覚心理的に違和感なく見えるように合成することができる。さらに、グラフ６９の輝度曲線Ｃ３に示すようにオクルージョン領域６３の輝度変化を平滑化フィルターで抑える（平滑化補正処理）。これにより、オクルージョンのためぼやけて見えるといった人間の視覚心理における奥行の見えを効果的に演出することができる。
【００３９】
なお、前述した説明においては、輝度を変化させる単眼映像合成処理を説明したが、輝度を彩度に置き換えた処理も可能である。すなわち、図１３に示すように、オクルージョン領域６３の彩度を、手前領域６１の彩度よりも下げることにより、オクルージョンで手前にある領域より色が薄く見えるといった人間の視覚心理における奥行きによる色彩知覚に適合した見えを効果的に演出することができる。さらに、オクルージョン領域６３の彩度を奥側の手前領域６１の彩度と一致することで、オクルージョン領域と、それと連続すべき奥側の領域とを彩度の連続性を保ち、視覚心理的に違和感なく見えるように合成することができる。
【００４０】
次に、図１４を参照して、図２に示す映像処理部２０の動作を説明する。まず、動作開始後に映像処理を行うべき画素を指定する（ステップＳ８００）。続いて、指定した画素が、オクルージョン領域６３か否かの判定を行う（ステップＳ８０１）。オクルージョン領域６３でない、すなわち視差データ６４が算出できた場合は、４つの撮像部１０１、１０２、１０３、１０４の全ての映像においてカメラパラメータと視差データ６４による位置合わせ補正処理を実行する（ステップＳ８０２）。その後、多眼映像合成処理部４０４により多眼映像合成処理を実施する（ステップＳ８０３）。一方、オクルージョン領域６３の場合は、撮像部１０１の映像について視差データ６４が０であるものとして補正処理を行う（ステップＳ８０４）。そして、単眼映像合成処理（輝度低下補正処理、繋ぎ補正処理、平滑化補正処理）を実行する（ステップＳ８０５）。以上の処理が、撮像処理が終了するまで繰り返される（ステップＳ８０６）。
【００４１】
＜第２の実施形態＞
次に、図１５および図１６を参照して、本発明の第２の実施形態について説明する。図１５は、第２の実施形態による多眼撮像装置の構成を示すブロック図である。図１６は、図１５に示す距離算出部１５１の構成を示すブロック図である。図１５に示す多眼撮像装置１０が、図２に示す多眼撮像装置１０と同一の部分には同一の符号を付し、その説明を省略する。図１５に示す多眼撮像装置が図２に示す多眼撮像装置１０と異なる点は、距離算出部２１に代えて、距離算出部１５１が設けられている点である。距離算出部１５１が出力する視差データＤ１１は、図１５に示す映像処理部２０に送られる。図１５に示す映像処理部２０は、図９に示す映像処理部２０の視差データＤ１をＤ１１と読み替えることを除いて、図９に示す映像処理部２０と同様であるため、その説明を省略する。図１５に示す距離算出部１５１は、４つの撮像部１０１、１０２、１０３、１０４のそれぞれから出力する映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４を入力して距離（視差）を算出する。
【００４２】
次に、図１６を参照して、図１５に示す距離算出部１５１の構成を説明する。距離算出部１５１には、４つの撮像部１０１、１０２、１０３、１０４で撮影された映像信号Ｖ１、Ｖ２、Ｖ３、Ｖ４のそれぞれが入力される。図１６に示す距離算出部１５１は、図１５に示す撮像部１０１で撮影された画像（以下、基準画像Ｐ２１という）と、撮像部１０２で撮影された画像（以下、第１の参照画像Ｐ１１という）と、撮像部１０３で撮影された画像（以下、第２の参照画像Ｐ１２という）と、撮像部１０４で撮影された画像（以下、第３の参照画像Ｐ１３という）から視差データＤ１１を算出する。座標変換部８１〜８４は、基準画像Ｐ２１と各参照画像Ｐ１１〜Ｐ１３の画像平面とを同一平面上に乗せることを目的に、各画像を幾何学変換（座標変換）する。座標変換処理は、図３に示す座標変換部３１、３２と同様であるため、詳細な説明は省略する。
【００４３】
対応点探索部８５〜８７は、基準画像Ｐ２１と各参照画像Ｐ１１〜Ｐ１３の画像平面とが同一平面上に乗るように幾何学変換した画像について、変換後の基準画像Ｐ２１と各参照画像Ｐ１１〜Ｐ１３との間で対応画素を探索し、基準画像Ｐ２１に対する各参照画像Ｐ１１〜Ｐ１３の視差データＤ１１を求める。対応点探索部８５は、図３に示す対応点探索部３３と同様に、基準画像Ｐ２１と第１の参照画像Ｐ１１との間の視差データＤ１２を算出する。このとき、図８のステップＳ９０７においては視差算出エラーまたはオクルージョンを検出した注目画素について、視差値を０、もしくは所定のユニークな値を視差データＤ１２として記憶する。対応点探索部８５では、さらに視差算出エラーまたはオクルージョンの注目画素であることを表す検出不可情報を対応点探索部８６に送る。この検出不可情報は、例として注目座標の座標情報と検出不可を表す値−１などが挙げられる。
【００４４】
対応点探索部８６は、対応点探索部８５と同様に、幾何学変換後の基準画像Ｐ２１と第２の参照画像Ｐ１２間の視差データＤ１３を算出する。しかし、対応点探索部８５は、幾何学変換後の基準画像Ｐ２１と第２の参照画像Ｐ１２全体に対して対応画素を探索する。これに対し、対応点探索部８６は、対応点探索８５から送られてくる検出不可情報によって、視差算出エラーまたはオクルージョンと検出された基準画像Ｐ２１の注目画素について第２の参照画像Ｐ１２から対応画素を探索し、視差データＤ１３を算出する。このとき、対応点探索部８５と同様に、視差算出エラーまたはオクルージョンを検出した場合は、検出不可情報を対応点探索部８７に送る。
【００４５】
対応点探索部８７は、対応点探索部８６と同様に、幾何学変換後の基準画像Ｐ２１と第３の参照画像Ｐ１３について、対応点探索８６から送られてくる検出不可情報によって、視差算出エラーまたはオクルージョンと検出された基準画像Ｐ２１の注目画素について第３の参照画像Ｐ１３から対応画素を探索し、視差データＤ１４を算出する。
【００４６】
次に、対応点探索部８５〜８７のそれぞれで算出された視差データＤ１２、Ｄ１３、Ｄ１４を合成する処理について説明する。対応点探索部８５で算出された視差データＤ１２と、対応点探索部８５で視差算出エラーまたはオクルージョンと検出され、算出できなかった基準画像Ｐ２１上の座標（領域）について対応点探索部８６で算出された視差データＤ１３と、対応点探索部８６で視差算出エラーまたはオクルージョンと検出され、算出できなかった基準画像Ｐ２１上の座標（領域）について対応点探索部８７で算出された視差データＤ１４を合成部８８で合成し、基準画像Ｐ２１に対応する視差データＤ１１を算出する。
【００４７】
以上までの視差データ算出方法について、オクルージョン領域を例にとって図１７を参照して模式的に説明する。図１７は、基準画像Ｐ２１と各参照画像Ｐ２１１、Ｐ１２、Ｐ１３のオクルージョン領域６３を示している。基準画像Ｐ２１と第１の参照画像Ｐ１１との間で対応点探索を行った場合は、第１の参照画像Ｐ１１を示す図（図１７の左上の図）に示すように被写体２００の右側にオクルージョン領域６３が発生する視差データＤ１２となる。また、基準画像Ｐ２１と第２の参照画像Ｐ１２との間で対応点探索を行った場合は、第２の参照画像Ｐ１２を示す図（図１７の右下の図）に示すように被写体２００の上側にオクルージョン領域６３が発生する視差データＤ１３となる。さらに、基準画像Ｐ２１と第３の参照画像Ｐ１３との間で対応点探索を行った場合は、第３の参照画像Ｐ１３（図１７の左下の図）に示すように被写体２００の右側と上側にオクルージョン領域６３が発生する視差データＤ１４となる。したがって、前述した第１の実施形態の構成（図３に示す構成）では、第１の参照画像Ｐ１１のように被写体２００の右側にオクルージョン領域６３が必ず発生する。しかし、第２の実施形態の構成（図１６に示す構成）では、第２の参照画像Ｐ１２または第３の参照画像Ｐ１３を使ってオクルージョン領域６３を削減することができる。
【００４８】
オクルージョン領域を削減する方法について、図１８に示す各オクルージョン領域の位置関係の図を参照して説明する。図１８は、図１７に示す各参照画像Ｐ１１、Ｐ１２、Ｐ１３の間の視差データＤ１２、Ｄ１３、Ｄ１４を階層的に示したものである。第１の参照画像Ｐ１１で発生した被写体２００の右側のオクルージョン領域６３を、第２の参照画像Ｐ１２の「新たに視差データを求める領域３００」から視差データＤ１３を算出し、基準画像Ｐ２１に対応する視差データＤ１１全体としてオクルージョン領域６３を削減することを示している。また、図１８の第３の参照画像Ｐ１３では、第１の参照画像Ｐ１１で発生したオクルージョン領域６３の全てが第２の参照画像Ｐ１２で補間されるため、基準画像Ｐ２１に対応する視差データＤ１１を求める上で第３の参照画像Ｐ１３が使用されていないことを示している。このように、図１６に示す対応点探索部８６または８７は、それ以前の対応点探索部の処理によりオクルージョン領域が全て消滅した場合は、それ以降の参照画像について対応点探索処理を中止してもよい。
【００４９】
以上までの第２の実施形態は、基準画像Ｐ２１と第１の参照画像Ｐ１１間で求めた視差データＤ１２に対し、視差算出エラーまたはオクルージョンと検出した領域について、これら画像とは別の参照画像から求めた。さらに視差算出エラーまたはオクルージョンと検出した場合は、使用していない新たな参照画像から算出する手法により階層的に視差データＤ１１を算出した。これは、視差データの未検出エリアについて他のカメラから視差データを検出できることから、基準画像Ｐ２１と各参照画像Ｐ１１〜Ｐ１３間で画像全体を個別に探索し、最後に合成する場合と比較し、飛躍的に処理量を削減することができる。よって、使用するカメラ数を増加させた場合や、各カメラの画素数を向上した場合でも回路規模を削減し、リアルタイム処理を可能にすることができる。
【００５０】
また、前述した説明においては４眼カメラの構成であるが、４眼構成に限定されるものではなく、それ以外のカメラ数についても適用可能である。４眼以外の構成の場合、例えば図１６に示す距離算出部１５１では、座標変換部８１〜８４はカメラの数だけ、対応点探索部８５〜８７はカメラの数より１つ少ない数だけあれば良い。さらに、カメラ数が増加しても視差データの検出不可領域について他のカメラから検出するため、処理量（ステップ数、メモリ、回路規模など）が常に最小の構成で構築することができる。
【００５１】
以上説明したように、３台以上のカメラ映像から２つの映像対についての対応点探索により距離情報（視差データ）を算出して、その距離情報をもとに複数のカメラ映像から高精細映像の合成処理を行うか、基準となる１台のカメラ映像から合成映像を生成するかを選択する。そのため、全てカメラ映像間で対応点探索する従来技術と比較して、圧倒的に処理量が削減され、距離情報が算出されなかった領域（オクルージョン領域など）の画質劣化の抑制が可能となる。
【００５２】
また、距離情報が算出されなかった領域を別のカメラの映像で距離算出するため、距離情報が算出されない領域を減少させることができる。さらに、これは複数のカメラ映像から高精細映像の合成処理を行う領域が増加することから、より高精細な映像を生成することが可能となる。
【００５３】
また、距離情報が算出されなかった領域を別のカメラの映像で距離算出するため、全てのカメラ映像間で対応点探索する従来技術と比較して大幅に処理量を削減することが可能である。また、オクルージョン領域などの距離情報が算出できず、高精細化できなかった領域の映像輝度を所定の割合で下げることにより、その領域を目立たなく合成することができる。それと共に、オクルージョンのため暗く見えるといった人間の視覚心理における奥行による明るさ知覚に適合した見えを効果的に演出することができる。
【００５４】
また、オクルージョン領域などの距離情報が算出できず高精細化できなかった領域の映像輝度を、その領域と隣接して手前にある領域の輝度値よりも暗くして生成しても良い。これにより、オクルージョンで重なった領域が手前にある領域より暗く見えるといった人間の視覚心理における奥行による明るさ知覚に適合した見えを効果的に演出することができる。
【００５５】
また、オクルージョン領域などの距離情報が算出できず高精細化できなかった領域の映像輝度を、その領域と隣接して奥側にある領域の輝度値と一致させて生成しても良い。これにより、オクルージョン領域と、それと連続すべき奥側の領域とを明るさの連続性を保ち、視覚心理的に違和感なく見えるように合成することができる。さらに、オクルージョン領域などの距離情報が算出できなかった領域の彩度を所定の割合で下げることにより、その領域を目立たなく合成することができる。それと共に、オクルージョンのため色が薄く見えるといった人間の視覚心理の奥行きによる色彩知覚に適合した見えを効果的に演出することができる。
【００５６】
また、オクルージョン領域などの距離情報が算出できなかった領域の彩度を、その領域と隣接して手前にある領域の彩度よりも下げて生成しても良い。これにより、オクルージョンである領域が手前にある領域より色が薄く見えるといった人間の視覚心理における奥行きによる色彩知覚に適合した見えを効果的に演出することができる。
また、オクルージョン領域などの距離情報が算出できなかった領域の彩度を該領域と隣接して奥側にある領域の彩度と一致させて生成しても良い。これにより、オクルージョン領域とそれと連続すべき奥側の領域とを彩度の連続例を保ち、視覚心理的に違和感なく見えるように合成することができる。
さらに、オクルージョン領域などの距離情報が算出できなかった領域をぼかすようにしても良い。これにより、その領域を目立たなく合成することができるとともに、オクルージョンのためぼやけて見えるといった人間の視覚心理の奥行によるボケの見えを効果的に演出することができる。
【００５７】
以上の説明で明らかなように、本発明の実施形態の構成により、全てのカメラ映像間で対応点探索する従来技術と比較して、圧倒的に処理量を削減し、視差データ検出不可領域（視差算出エラー領域またはオクルージョン領域）の画質劣化抑制が可能となる。さらに、視差データ検出不可領域で高精細化できなかった領域を、人間の左右両眼で見た視覚心理的見え方に近づけるように演出することで、高精細合成画像全体の見栄えを良くすることが可能な多眼撮像装置および多眼撮像方法を提供することが可能となる。
【００５８】
なお、図２に示す映像処理部２０、距離算出部２１、図１５に示す距離算出部１５１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録しても良い。そして、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより高精細画像の合成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含む。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含む。
【００５９】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００６０】
複数の画像撮像系を使用して得られた複数の画像を合成することにより高精細画像を得る撮像装置に適用することができる。
【符号の説明】
【００６１】
１０ 多眼撮像装置
１０１〜１０４ 撮像部
１１ 撮像レンズ
１２ 撮像素子
２０ 映像処理部
２１、１５１ 距離算出部
３０、８０ カメラパラメータ記憶部
３１、３２、８１〜８４ 座標変換部
３３、８５〜８７ 対応点探索部
４０１ 位置合わせ補正処理部
４０３ 単眼映像合成処理部
４０４ 多眼映像合成処理部
４０ｂ 撮像部１０１の画素
４０ｃ 撮像部１０２の画素
４０ｄ 撮像部１０１と撮像部１０２のオフセット
６１ 手前側の領域
６２ 奥側の領域
６３ オクルージョン領域
６４ 視差データ
６５ 高精細画像
６６ 高精細画像６５の輝度変化を示す領域
８８ 視差データ合成処理
【特許請求の範囲】
【請求項１】
画像を撮像する複数系統の撮像部と、
前記撮像部のうち、基準となる第１の撮像部の出力映像と、前記第１の撮像部と異なる前記複数系統の撮像部のうち少なくとも１つの撮像部の出力映像とから被写体までの距離情報を算出する距離算出部と、
前記距離算出部において距離情報を算出できた領域について、その距離情報に基づき前記複数系統の撮像部の出力映像から合成映像を生成する多眼映像合成処理部と、
前記距離算出部において距離情報が算出できなかった領域について、前記第１の撮像部の出力映像から合成映像を生成する単眼映像合成処理部とを備え、
前記距離算出部は、前記第１の撮像部の出力映像と、前記第１の撮像部と異なる第２の撮像部の出力映像とから被写体までの第１の距離情報を算出し、前記第１の距離情報が算出できなかった領域があった場合、その第１の距離情報が算出できなかった領域について、少なくとも１度は、前記複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、前記第１の撮像部の出力映像とから被写体までの距離情報を再度算出する多眼撮像装置。
【請求項２】
前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を所定の割合で下げて前記合成画像を生成する請求項１に記載の多眼撮像装置。
【請求項３】
前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を、その領域と隣接して手前にある領域の輝度値よりも低くして前記合成画像を生成する請求項１に記載の多眼撮像装置。
【請求項４】
前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を、その領域と隣接して奥側にある領域の輝度値と一致させ前記合成画像を生成する請求項１に記載の多眼撮像装置。
【請求項５】
前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、所定の割合で下げて前記合成画像を生成する請求項１に記載の多眼撮像装置。
【請求項６】
前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、その領域と隣接して手前にある領域の彩度よりも下げて前記合成画像を生成する請求項１に記載の多眼撮像装置。
【請求項７】
前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、その領域と隣接して奥側にある領域の彩度と一致させて前記合成画像を生成する請求項１に記載の多眼撮像装置。
【請求項８】
前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度変化を抑えて前記合成画像を生成する請求項１に記載の多眼撮像装置。
【請求項９】
画像を撮像する複数系統の撮像部のうち、基準となる第１の撮像部の出力映像と、前記第１の撮像部と異なる前記複数系統の撮像部のうち少なくとも１つの撮像部の出力映像とから被写体までの距離情報を算出し、
距離情報を算出できた領域について、その距離情報に基づき前記複数系統の撮像部の出力映像から合成映像を生成し、
距離情報が算出できなかった領域について、前記第１の撮像部の出力映像から合成映像を生成し、
前記距離情報を算出する際に、前記第１の撮像部の出力映像と、前記第１の撮像部と異なる第２の撮像部の出力映像とから被写体までの第１の距離情報を算出し、前記第１の距離情報が算出できなかった領域があった場合、その第１の距離情報が算出できなかった領域について、少なくとも１度は、前記複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、前記第１の撮像部の出力映像とから被写体までの距離情報を再度算出する多眼撮像方法。
【請求項１】
画像を撮像する複数系統の撮像部と、
前記撮像部のうち、基準となる第１の撮像部の出力映像と、前記第１の撮像部と異なる前記複数系統の撮像部のうち少なくとも１つの撮像部の出力映像とから被写体までの距離情報を算出する距離算出部と、
前記距離算出部において距離情報を算出できた領域について、その距離情報に基づき前記複数系統の撮像部の出力映像から合成映像を生成する多眼映像合成処理部と、
前記距離算出部において距離情報が算出できなかった領域について、前記第１の撮像部の出力映像から合成映像を生成する単眼映像合成処理部とを備え、
前記距離算出部は、前記第１の撮像部の出力映像と、前記第１の撮像部と異なる第２の撮像部の出力映像とから被写体までの第１の距離情報を算出し、前記第１の距離情報が算出できなかった領域があった場合、その第１の距離情報が算出できなかった領域について、少なくとも１度は、前記複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、前記第１の撮像部の出力映像とから被写体までの距離情報を再度算出する多眼撮像装置。
【請求項２】
前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を所定の割合で下げて前記合成画像を生成する請求項１に記載の多眼撮像装置。
【請求項３】
前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を、その領域と隣接して手前にある領域の輝度値よりも低くして前記合成画像を生成する請求項１に記載の多眼撮像装置。
【請求項４】
前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を、その領域と隣接して奥側にある領域の輝度値と一致させ前記合成画像を生成する請求項１に記載の多眼撮像装置。
【請求項５】
前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、所定の割合で下げて前記合成画像を生成する請求項１に記載の多眼撮像装置。
【請求項６】
前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、その領域と隣接して手前にある領域の彩度よりも下げて前記合成画像を生成する請求項１に記載の多眼撮像装置。
【請求項７】
前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、その領域と隣接して奥側にある領域の彩度と一致させて前記合成画像を生成する請求項１に記載の多眼撮像装置。
【請求項８】
前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度変化を抑えて前記合成画像を生成する請求項１に記載の多眼撮像装置。
【請求項９】
画像を撮像する複数系統の撮像部のうち、基準となる第１の撮像部の出力映像と、前記第１の撮像部と異なる前記複数系統の撮像部のうち少なくとも１つの撮像部の出力映像とから被写体までの距離情報を算出し、
距離情報を算出できた領域について、その距離情報に基づき前記複数系統の撮像部の出力映像から合成映像を生成し、
距離情報が算出できなかった領域について、前記第１の撮像部の出力映像から合成映像を生成し、
前記距離情報を算出する際に、前記第１の撮像部の出力映像と、前記第１の撮像部と異なる第２の撮像部の出力映像とから被写体までの第１の距離情報を算出し、前記第１の距離情報が算出できなかった領域があった場合、その第１の距離情報が算出できなかった領域について、少なくとも１度は、前記複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、前記第１の撮像部の出力映像とから被写体までの距離情報を再度算出する多眼撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０Ａ】
【図２０Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０Ａ】
【図２０Ｂ】
【公開番号】特開２０１１−１５１７９８（Ｐ２０１１−１５１７９８Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１０−２８７６０１（Ｐ２０１０−２８７６０１）
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]