画像処理装置、画像処理方法およびプログラム
【課題】マルチフレーム合成による画質の低下の発生を未然に防止することのできる画像処理装置、画像処理方法およびプログラムを得る。
【解決手段】主制御部２０により、各々異なる２つの視点からそれぞれ連続的に撮影された複数の画像を取得し、取得した複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する一方、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、合成した前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録する。
【解決手段】主制御部２０により、各々異なる２つの視点からそれぞれ連続的に撮影された複数の画像を取得し、取得した複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する一方、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、合成した前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに係り、特に、立体撮影によって得られた画像に対して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、撮影装置の進歩は著しく、立体撮影を行うことのできるものも実用化されている。
【０００３】
従来、この種の撮影装置に関する技術として、特許文献１には、同一の対象物を撮像する複数の撮像光学系で生じる視差を算出する複眼撮像装置であって、前記対象物を撮像することによって、基準画像を含む画像を生成する基準撮像光学系と、前記基準撮像光学系の光学中心に対してそれぞれの光学中心が略点対称に配置され、前記対象物を撮像することによって、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系と、前記２以上の偶数の参照撮像光学系のそれぞれについて、前記基準画像に類似する前記参照画像の画像位置を探索するために前記参照撮像光学系により生成された画像中の前記参照画像の探索位置を、前記基準撮像光学系の光学中心と前記参照撮像光学系の光学中心とを結ぶ直線である基線と平行な方向に沿ってずらしていった場合のずらし量ごとに、前記基準画像と前記参照画像との類似度を表す相関値を算出する相関値算出手段と、前記２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算手段と、前記合成相関値に基づき、前記基準画像と前記参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出手段と、を少なくとも備えることを特徴とする複眼撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４３８２１５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、立体撮影を行うことのできる撮影装置に関する技術として、ノイズの低減、撮影感度の向上、撮影画像のダイナミックレンジの拡大等により画質を向上させることを目的として、各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像のうちの視点毎に予め定められた基準画像をそれぞれ基準として、各々の視点から撮影された複数の画像をそれぞれ視点毎に合成する技術（以下、「マルチフレーム合成」という。）がある。
【０００６】
しかしながら、従来のマルチフレーム合成では、視点毎に異なる時間に撮影された複数の画像を合成しているため、同一被写体の少なくとも一部が複数箇所に重複して写り込んだり、各被写体の輪郭にぼけが生じてしまったりする場合があり、この場合には、マルチフレーム合成を行うことによって逆に画質が低下してしまう、という問題点があった。
【０００７】
なお、上記特許文献１に開示されている技術では、マルチフレーム合成については考慮されていないため、この問題点に関しては無力である。また、この問題点は、立体撮影を行うことのできる撮影装置に限らず、当該撮影装置によって得られた画像情報を入力して当該画像情報に対してマルチフレーム合成を行うパーソナル・コンピュータ等の画像処理装置にも生じ得る問題点である。
【０００８】
本発明は上記問題点を解決するためになされたものであり、マルチフレーム合成による画質の低下の発生を未然に防止することのできる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１に記載の画像処理装置は、各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得する取得手段と、前記取得手段によって取得された複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する合成手段と、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成手段により合成された前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録する記録手段と、を備えている。
【００１０】
請求項１に記載の画像処理装置によれば、取得手段により、各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像が取得され、合成手段により、前記取得手段によって取得された複数の画像から前記視点毎に基準画像が決定され、当該基準画像を基準として前記複数の画像が当該視点毎に合成（マルチフレーム合成）される。
【００１１】
ここで、本発明では、記録手段により、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成手段により合成された前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像が前記視点毎に記録され、前記条件を満足しない場合に前記合成画像が前記視点毎に記録される。
【００１２】
このように、請求項１に記載の画像処理装置によれば、各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得し、取得した複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する一方、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成した前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録しているので、マルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００１３】
なお、本発明は、請求項２に記載の発明のように、前記第１立体画像関連情報が、前記視点毎の基準画像間の対応点の数を示す第１対応点数であり、前記第２立体画像関連情報が、前記視点毎の合成画像間の対応点の数を示す第２対応点数であり、前記記録手段が、前記第１対応点数が前記第２対応点数以上の場合に前記基準画像を前記視点毎に記録し、前記第１対応点数が前記第２対応点数より少ない場合に前記合成画像を前記視点毎に記録してもよい。これにより、対応点数の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００１４】
特に、請求項２に記載の発明は、請求項３に記載の発明のように、前記第１対応点数が、前記視点毎の基準画像における主要被写体間の対応点の数であり、前記第２対応点数が、前記視点毎の合成画像における主要被写体間の対応点の数であるものとしてもよい。これにより、より高精度でマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００１５】
また、請求項２に記載の発明は、請求項４に記載の発明のように、前記第１対応点数が、前記視点毎の基準画像における同一の動体間の対応点の数であり、前記第２対応点数が、前記視点毎の合成画像における同一の動体間の対応点の数であるものとしてもよい。これにより、より高精度でマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００１６】
また、本発明は、請求項５に記載の発明のように、前記第１立体画像関連情報が、前記視点毎の基準画像におけるオクルージョン領域の面積を示す第１面積であり、前記第２立体画像関連情報が、前記視点毎の合成画像におけるオクルージョン領域の面積を示す第２面積であり、前記記録手段が、前記第１面積が前記第２面積以上である場合に前記基準画像を前記視点毎に記録し、前記第１面積が前記第２面積より小さい場合に前記合成画像を前記視点毎に記録してもよい。これにより、オクルージョン領域の面積の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００１７】
また、本発明は、請求項６に記載の発明のように、前記第１立体画像関連情報が、前記視点毎のクロスポイント調整された後の基準画像における視差が零を含む予め定められた範囲内の画素数を示す第１画素数であり、前記第２立体画像関連情報が、前記視点毎のクロスポイント調整された後の合成画像における視差が零を含む予め定められた範囲内の画素数を示す第２画素数であり、前記記録手段が、前記第１画素数が前記第２画素数以上である場合に前記基準画像を前記視点毎に記録し、前記第１画素数が前記第２画素数より少ない場合に前記合成画像を前記視点毎に記録してもよい。これにより、上記画素数の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００１８】
また、本発明は、請求項７に記載の発明のように、前記第１立体画像関連情報が、前記視点毎の基準画像間における対応点間の垂直方向の距離を示す第１距離であり、前記第２立体画像関連情報が、前記視点毎の合成画像間における対応点間の垂直方向の距離を示す第２距離であり、前記記録手段が、前記第１距離が前記第２距離以下である場合に前記基準画像を前記視点毎に記録し、前記第１距離が前記第２距離より大きい場合に前記合成画像を前記視点毎に記録してもよい。これにより、上記対応点間の垂直方向の距離の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。なお、ここでいう「垂直方向」とは、画像平面上において、各視点間における視差が生じる方向である視差方向に対して垂直方向、という意味である。
【００１９】
さらに、本発明は、請求項８に記載の発明のように、前記第１立体画像関連情報が、前記視点毎の基準画像間の背景画像の対応点数に対する主要被写体の対応点数の割合を示す第１割合であり、前記第２立体画像関連情報が、前記視点毎の合成画像間の背景画像の対応点数に対する主要被写体の対応点数の割合を示す第２割合であり、前記記録手段が、前記第１割合が前記第２割合以上である場合に前記基準画像を前記視点毎に記録し、前記第１割合が前記第２割合より少ない場合に前記合成画像を前記視点毎に記録してもよい。これにより、上記対応点数の割合の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００２０】
一方、上記目的を達成するために、請求項９に記載の画像処理方法は、各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得する取得工程と、前記取得工程によって取得された複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する合成工程と、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成工程により合成された前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録する記録工程と、を有する。
【００２１】
従って、請求項９に記載の発明によれば、請求項１に記載の発明と同様に作用するので、請求項１に記載の発明と同様に、マルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００２２】
一方、上記目的を達成するために、請求項１０に記載のプログラムは、コンピュータを、各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得する取得手段と、前記取得手段によって取得された複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する合成手段と、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成手段により合成された前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録する記録手段と、として機能させるためのものである。
【００２３】
従って、請求項１０に記載の発明によれば、コンピュータを請求項１に記載の発明と同様に作用させることができるので、請求項１に記載の発明と同様に、マルチフレーム合成による画質の低下の発生を未然に防止することができる。
【発明の効果】
【００２４】
本発明によれば、各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得し、取得した複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する一方、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成した前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録しているので、マルチフレーム合成による画質の低下の発生を未然に防止することができる、という効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】実施の形態に係る複眼デジタルカメラを示す斜視図であり、（Ａ）は正面斜視図であり、（Ｂ）は背面斜視図である。
【図２】実施の形態に係る複眼デジタルカメラの電気系の要部構成を示す概略ブロック図である。
【図３】実施の形態に係るマルチフレーム合成機能の説明に供する概略図である。
【図４】第１の実施の形態に係る第１撮影処理プログラムの処理の流れを示すフローチャートである。
【図５】第１の実施の形態に係る第１撮影処理プログラムの処理内容の説明に供する概略図である。
【図６】第２の実施の形態に係る第２撮影処理プログラムの処理の流れを示すフローチャートである。
【図７】実施の形態に係る視差マップの説明に供する概略図である。
【図８】第２の実施の形態に係る第２撮影処理プログラムの処理内容の説明に供する概略図である。
【図９】第３の実施の形態に係る第３撮影処理プログラムの処理の流れを示すフローチャートである。
【図１０】第３の実施の形態に係る第３撮影処理プログラムの処理内容の説明に供する概略図である。
【図１１】第４の実施の形態に係る第４撮影処理プログラムの処理の流れを示すフローチャートである。
【図１２】第４の実施の形態に係る第４撮影処理プログラムの処理内容の説明に供する概略図である。
【図１３】第５の実施の形態に係る第５撮影処理プログラムの処理の流れを示すフローチャートである。
【図１４】第５の実施の形態に係る被写体に動体を含む場合の問題点の説明に供する概略図である。
【図１５】第６の実施の形態に係る第６撮影処理プログラムの処理の流れを示すフローチャートである。
【図１６】第６の実施の形態に係る第６撮影処理プログラムの処理内容の説明に供するヒストグラムである。
【図１７】第７の実施の形態に係るぼかしコントロール処理機能の説明に供する概略図である。
【図１８】第７の実施の形態に係る第７撮影処理プログラムの処理の流れを示すフローチャートである。
【図１９】第７の実施の形態の変形例の説明に供する概略図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本発明を実施するための形態について詳細に説明する。なお、ここでは、本発明を、２つの撮像系を有する複眼デジタルカメラに適用した場合の形態例について説明する。
【００２７】
［第１の実施の形態］
まず、図１を参照して、本実施の形態に係る複眼デジタルカメラ１の構成について説明する。
【００２８】
同図に示すように、本実施の形態に係る複眼デジタルカメラ１は筐体１０を備えており、筐体１０の内部にＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）などの各種電子部品が収納されている。筐体１０の上面にはレリーズボタン１１が備えられており、ユーザがこのレリーズボタン１１を押下することにより複眼デジタルカメラ１に撮影等の指示を入力することができる。また、筐体１０の上面には電源ボタン１２が備えられており、ユーザがこの電源ボタン１２を押下することにより、複眼デジタルカメラ１の電源のオン／オフ状態を切り替える指示を入力することができる。さらに、筐体１０の上面にはズームレバー１３が備えられており、ユーザがこのズームレバー１３を操作することにより、撮影時にズーム機能の画角や倍率の変更の指示を入力することができる。
【００２９】
一方、図１（Ａ）に示すように、筐体１０の正面にはフラッシュ１４が備えられており、撮影時に周囲を照明することができる。また、筐体１０の正面には複数のレンズ１５Ａ、１５Ｂが備えられており、これらのレンズ１５Ａ、１５Ｂに入射した光が当該レンズ１５Ａ、１５Ｂを通過して内部に入力される。
【００３０】
また、図１（Ｂ）に示すように、筐体１０の背面には、液晶ディスプレイ１６が備えられており、撮影画像や設定事項等が表示される。また、筐体１０の背面には、各種操作ボタン１７が備えられており、ユーザが各種操作ボタン１７を操作することにより各種設定事項の設定の指示を入力することができる。
【００３１】
図２は、複眼デジタルカメラ１の電気系の要部構成を示す概略ブロック図である。同図に示すように、複眼デジタルカメラ１は、主制御部２０、左用撮影部２１Ａ、右用撮影部２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸張処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、三次元処理部３０、および視差マップ生成部３１を備えている。
【００３２】
主制御部２０は、ＣＰＵやＲＡＭ等を備えており、電源ボタン１２や各種操作ボタン１７等の入力部を介したユーザ操作に従って、複眼デジタルカメラ１を総括的に制御する。
【００３３】
左用撮影部２１Ａは、レンズ１５Ａに入射した光を受光して電気信号に変換することにより画像を再構成する。同様に、右用撮影部２１Ｂは、レンズ１５Ｂに入射した光を受光して電気信号に変換することにより画像を再構成する。ここで、左用撮影部２１Ａおよび右用撮影部２１Ｂは、被写体を見込む輻輳角を持って予め定められた基線長となるように配置されている。なお、輻輳角、基線長の情報は内部メモリ２７に記憶されている。
【００３４】
一方、撮影制御部２２は、ＡＦ（Automatic Focusing）処理部（図示せず）およびＡＥ（Automatic Exposure）処理部（図示せず）を備えている。ＡＦ処理部は、ユーザによるレリーズボタン１１の半押し操作等により左用撮影部２１Ａ、右用撮影部２１Ｂによって取得されたプレ画像（撮影前にレンズ１５Ａ、１５Ｂに入力している画像）に基づいて合焦領域を決定すると共に、レンズの焦点位置を決定し、左用撮影部２１Ａ、右用撮影部２１Ｂに出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、左用撮影部２１Ａ、右用撮影部２１Ｂに出力する。
【００３５】
また、撮影制御部２２は、ユーザによるレリーズボタン１１の全押し操作により左用撮影部２１Ａに対して左画像、右用撮影部２１Ｂに対して右画像の各々の本画像を取得する本撮影を行うように指示を行う。なお、レリーズボタン１１が操作される前は、撮影制御部２２は、撮影範囲を確認するための本画像よりも画素数が少ない画像であるスルー画像を、所定時間間隔（例えば、１／３０秒間隔）にて順次取得させる指示を左用撮影部２１Ａ、右用撮影部２１Ｂに対して行っている。
【００３６】
画像処理部２３は、左用撮影部２１Ａ、右用撮影部２１Ｂがそれぞれ取得した各々の画像のデジタル画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の様々な画像処理を施す。
【００３７】
圧縮／伸張処理部２４は、画像処理部２３によって処理が施された画像を表す画像データに対して、例えばＪＰＥＧなどの圧縮形式で圧縮処理を行い、左用撮影部２１Ａが取得した画像のデジタル画像データを左画像とし、右用撮影部２１Ｂが取得した画像のデジタル画像データを右画像とした立体視用の立体画像ファイルを生成する。この立体視用の立体画像ファイルは、左画像および右画像の画像データを含んでいるとともに、Ｅｘｉｆフォーマット等に基づいて、基線長、輻輳角、および撮影日時などの付帯情報、並びに視点位置を表す視点情報などが格納される。
【００３８】
フレームメモリ２５は、左用撮影部２１Ａ、右用撮影部２１Ｂがそれぞれ取得した画像の画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用される作業用メモリである。
【００３９】
メディア制御部２６は、複眼デジタルカメラ１に記録メディア２６Ａ等の各種記録メディアが電気接続された際に、この記録メディア２６Ａの記憶領域に対して画像ファイル等のデータの読み書きの制御を行う。
【００４０】
内部メモリ２７は、複眼デジタルカメラ１において設定される各種設定事項、および主制御部２０が実行するプログラムやプログラムの処理に使用されるデータを記憶する。
【００４１】
表示制御部２８は、主制御部２０または撮影制御部２２による制御に基づいて、撮影時においてフレームメモリ２５に格納された画像から立体視用画像を生成して液晶ディスプレイ１６に表示させたり、記録メディア２６Ａに記憶されている立体画像ファイルから立体視用画像を生成して液晶ディスプレイ１６に表示させたりする。
【００４２】
三次元処理部３０は、主制御部２０または撮影制御部２２による制御に基づいて、表示制御部２８が画像の立体視表示を行う際に、立体画像ファイルに含まれる左画像および右画像に三次元処理を行って立体視用画像を生成する。
【００４３】
視差マップ生成部３１は、主制御部２０または撮影制御部２２による制御に基づいて、左画像と右画像との相互の視差マップを生成する。ここで、視差は、左画像および右画像の双方に含まれる被写体の左画像と右画像との水平方向における画素位置の相違として算出することができる。視差マップを適切に生成することにより、立体視用画像に含まれる被写体の立体感を適切なものとすることができる。
【００４４】
ところで、本実施の形態に係る複眼デジタルカメラ１には、ノイズの低減、撮影感度の向上、撮影画像のダイナミックレンジの拡大といった撮影画像の画質を向上させることを目的として、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々の視点からそれぞれ連続的に撮影された複数の画像のうちの視点毎に予め定められた基準画像をそれぞれ基準として、各々の視点から撮影された複数の画像をそれぞれ視点毎に合成するマルチフレーム合成機能が搭載されている。
【００４５】
以下、本実施の形態に係るマルチフレーム合成機能について説明する。
【００４６】
一例として図３に示すように、本実施の形態に係るマルチフレーム合成機能は、左用撮影部２１Ａによって連続的に撮影された５つの左画像Ｌ１〜Ｌ５により構成される左画像群４０Ｌについて、予め定められた左画像Ｌ３を基準画像として、基準画像Ｌ３に対し、当該基準画像Ｌ３を除く左画像群４０Ｌに含まれる左画像Ｌ１，Ｌ２，Ｌ４，Ｌ５を多重合成する。また、本実施の形態に係るマルチフレーム合成機能は、右用撮影部２１Ｂによって連続的に撮影された５つの右画像Ｒ１〜Ｒ５により構成される右画像群４０Ｒについて、予め定められた右画像Ｒ３を基準画像として、基準画像Ｒ３に対して当該基準画像Ｒ３を除く右画像群４０Ｒに含まれる右画像Ｒ１，Ｒ２，Ｒ４，Ｒ５を多重合成する。
【００４７】
なお、以上のように視点毎に多重合成を行う際には、基準画像に合成する画像に含まれる被写体の状態を、基準画像に含まれる、対応する被写体の状態に近づけるための画像処理を施す。この際の画像処理としては、基準画像に合成する画像全体の平行移動、回転、拡大といった画像全体に対する画像処理の他、基準画像に合成する画像を予め定められた複数の領域に分割し、各分割領域毎に、基準画像とのステレオ・マッチングを行うことによって得られる同一対応点同士の位置を一致させるように画像を変形する画像処理が含まれる。
【００４８】
ここで、本実施の形態に係る複眼デジタルカメラ１では、ユーザによって各種操作ボタン１７を介してマルチフレーム合成機能を働かせることが設定された場合のみ、以上のような左画像および右画像の多重合成が行われて、各画像が立体画像を示す画像として記録メディア２６Ａに記録される。
【００４９】
なお、本実施の形態に係る複眼デジタルカメラ１では、基準画像として、多重合成する画像との変化量が最も小さい可能性が高い画像である、上記連続的な撮影によって得られた画像群（左画像群４０Ｌおよび右画像群４０Ｒ）の時間的に中央に位置する画像を適用しているが、これに限らず、他の画像を基準画像として適用することもできる。また、以上のマルチフレーム合成機能の説明では、合成する画像の数を、基準画像を含めて５つとした場合について説明したが、合成する画像の数は複数であれば如何なる数も取り得る。以下では、マルチフレーム合成機能により連続的に撮影する左画像として左画像Ｌ１，Ｌ２，Ｌ３の３つを取得し、右画像として右画像Ｒ１，Ｒ２，Ｒ３の３つを取得して、視点毎に合成する画像の数を各々３つとすると共に、左画像群の基準画像として左画像Ｌ２を適用し、右画像群の基準画像として右画像Ｒ２を適用する場合について説明する。
【００５０】
次に、図４を参照して、本実施の形態に係る複眼デジタルカメラ１の作用を説明する。なお、図４は、レリーズボタン１１が半押し操作を経て全押し操作に移行した際に、複眼デジタルカメラ１の主制御部２０によって実行される第１撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってマルチフレーム合成機能を働かせることが設定されている場合について説明する。
【００５１】
同図のステップ１００では、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々によって予め定められた回数（本実施の形態では、３回）の撮影を連続的に行うように制御し、次のステップ１０２では、当該連続的な撮影によって得られた左画像群に対し、前述した多重合成を実行して合成画像（以下、「左合成画像」という。）を生成すると共に、上記連続的な撮影によって得られた右画像群に対し、前述した多重合成を実行して合成画像（以下、「右合成画像」という。）を生成する。
【００５２】
次のステップ１０４では、左画像群における基準画像（以下、「左基準画像」という。）と右画像群における基準画像（以下、「右基準画像」という。）との間でステレオ・マッチングを行うことにより、これらの基準画像間の対応点数Ｔ１を導出し、次のステップ１０６では、上記ステップ１０２の処理によって得られた左合成画像と右合成画像との間でステレオ・マッチングを行うことにより、これらの合成画像間の対応点数Ｔ２を導出する。
【００５３】
次のステップ１０８では、以上の処理によって得られた対応点数Ｔ１が対応点数Ｔ２より少ないか否かを判定し、肯定判定となった場合はステップ１１０に移行して、左合成画像および右合成画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第１撮影処理プログラムを終了する。
【００５４】
一方、上記ステップ１０８において否定判定となった場合にはステップ１１２に移行し、左基準画像および右基準画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第１撮影処理プログラムを終了する。
【００５５】
以上の第１撮影処理プログラムの実行により、一例として図５（Ａ）に示すように、左基準画像Ｌ２と右基準画像Ｒ２との間の対応点数Ｔ１が、左合成画像ＬＣと右合成画像ＲＣとの間の対応点数Ｔ２より少ない場合は、マルチフレーム合成が成功してクリアな画像が生成できたものと見なして、左合成画像ＬＣおよび右合成画像ＲＣの各画像データが記録メディア２６Ａに記録される一方、一例として図５（Ｂ）に示すように、対応点数Ｔ１が対応点数Ｔ２以上である場合は、マルチフレーム合成によってブレやボケが発生したものと見なして、左基準画像Ｌ２および右基準画像Ｒ２の各画像データが記録メディア２６Ａに記録される。
【００５６】
以上詳細に説明したように、本実施の形態によれば、各々異なる複数の視点（本実施の形態では、２つの視点）からそれぞれ連続的に撮影された複数の画像（本実施の形態では、３つの画像）を取得し、取得した複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する一方、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成した前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録しているので、マルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００５７】
特に、本実施の形態によれば、前記第１立体画像関連情報を、前記視点毎の基準画像間の対応点の数を示す第１対応点数（本実施の形態では、対応点数Ｔ１）とし、前記第２立体画像関連情報を、前記視点毎の合成画像間の対応点の数を示す第２対応点数（本実施の形態では、対応点数Ｔ２）として、前記第１対応点数が前記第２対応点数以上の場合に前記基準画像を前記視点毎に記録し、前記第１対応点数が前記第２対応点数より少ない場合に前記合成画像を前記視点毎に記録しているので、対応点数の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００５８】
［第２の実施の形態］
以下、本発明の第２の実施の形態について詳細に説明する。なお、本第２の実施の形態に係る複眼デジタルカメラ１の構成は、図１および図２に示される上記第１の実施の形態に係る複眼デジタルカメラ１と同様であるので、ここでの説明は省略する。
【００５９】
以下、図６を参照して、本第２の実施の形態に係る複眼デジタルカメラ１の作用を説明する。なお、図６は、レリーズボタン１１が半押し操作を経て全押し操作に移行した際に、本第２の実施の形態に係る複眼デジタルカメラ１の主制御部２０によって実行される第２撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってマルチフレーム合成機能を働かせることが設定されている場合について説明する。
【００６０】
同図のステップ２００では、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々によって予め定められた回数（本実施の形態では、３回）の撮影を連続的に行うように制御し、次のステップ２０２では、当該連続的な撮影によって得られた左画像群に対し、前述した多重合成を実行して左合成画像を生成すると共に、上記連続的な撮影によって得られた右画像群に対し、前述した多重合成を実行して右合成画像を生成する。
【００６１】
次のステップ２０４では、左画像群における基準画像（左基準画像）と右画像群における基準画像（右基準画像）との間で視差マップを作成するように視差マップ生成部３１を制御する。以下、本実施の形態に係る視差マップの作成手順について説明する。
【００６２】
一例として図７に示すように、まず、左基準画像と右基準画像との間でステレオ・マッチングを行うことにより、例えば左基準画像を基準として、左基準画像上の画素（ｘ１，ｙ１）に対応する右基準画像上の対応点の画素（ｘ２，ｙ２）を抽出する。なお、ここでは、視差が画像の横方向（水平方向）に発生しており、縦方向（垂直方向）にずれは生じていないものとして説明する。
【００６３】
次に、左基準画像上の画素（ｘ１，ｙ１）と右基準画像上の対応点の画素（ｘ２，ｙ２）との視差ｄを、ｄ＝ｘ２−ｘ１により算出し、この視差ｄを、基準とした左基準画像の画素位置（ｘ１，ｙ１）に格納する。そして、左基準画像の各画素について計算した視差ｄを左基準画像の画素位置に対応させて格納して画像化する。この画像化したものを「視差マップ」と呼ぶ。
【００６４】
なお、本実施の形態に係る複眼デジタルカメラ１では、ステレオ・マッチングにより対応点が見つからない画素については、直近に見つかった対応点の画素を代用するものとしている。また、本実施の形態に係る複眼デジタルカメラ１では、視差マップとして、左基準画像を基準としたもの（以下、「左基準画像視差マップ」という。）と、右基準画像を基準としたもの（以下、「右基準画像視差マップ」という。）の２種類を作成する。
【００６５】
次のステップ２０６では、以上の処理によって作成した左基準画像視差マップおよび右基準画像視差マップを用いて、左基準画像には含まれており、右基準画像には含まれていない領域と、右基準画像には含まれており、左基準画像には含まれていない領域であるオクルージョン領域の面積Ｓ１を導出する。なお、本実施の形態に係る視差マップは、前述したように、ステレオ・マッチングにより対応点が見つからない画素については、直近に見つかった対応点の画素を代用しているので、左基準画像視差マップおよび右基準画像視差マップにおいて、同一の視差ｄが連続的に記憶されている対応点の数を計数することにより面積Ｓ１を導出する。
【００６６】
次のステップ２０８では、左合成画像と右合成画像との間で、上記ステップ２０４の処理と同様に視差マップを作成する。これにより、左合成画像を基準としたもの（以下、「左合成画像視差マップ」という。）と、右合成画像を基準としたもの（以下、「右合成画像視差マップ」という。）の２種類の視差マップが作成される。
【００６７】
次のステップ２１０では、作成した左合成画像視差マップおよび右合成画像視差マップを用いて、上記ステップ２０６の処理と同様に左合成画像と右合成画像とのオクルージョン領域の面積Ｓ２を導出する。
【００６８】
次のステップ２１２では、以上の処理によって得られた面積Ｓ１が面積Ｓ２より小さいか否かを判定し、肯定判定となった場合はステップ２１４に移行して、左合成画像および右合成画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第２撮影処理プログラムを終了する。
【００６９】
一方、上記ステップ２１２において否定判定となった場合にはステップ２１６に移行し、左基準画像および右基準画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第２撮影処理プログラムを終了する。
【００７０】
以上の第２撮影処理プログラムの実行により、一例として図８（Ａ）に示すように、左基準画像Ｌ２と右基準画像Ｒ２との間のオクルージョン領域の面積Ｓ１が、左合成画像ＬＣと右合成画像ＲＣとの間のオクルージョン領域の面積Ｓ２より小さい場合は、マルチフレーム合成が成功して正しく対応点が検出できる立体感のある画像が生成できたものと見なして、左合成画像ＬＣおよび右合成画像ＲＣの各画像データが記録メディア２６Ａに記録される一方、一例として図８（Ｂ）に示すように、面積Ｓ１が面積Ｓ２以上である場合は、マルチフレーム合成によってブレやボケが発生して左右間の対応点が誤対応していると見なして、左基準画像Ｌ２および右基準画像Ｒ２の各画像データが記録メディア２６Ａに記録される。
【００７１】
以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、前記第１立体画像関連情報を、前記視点毎の基準画像におけるオクルージョン領域の面積を示す第１面積（本実施の形態では、面積Ｓ１）とし、前記第２立体画像関連情報を、前記視点毎の合成画像におけるオクルージョン領域の面積を示す第２面積（本実施の形態では、面積Ｓ２）として、前記第１面積が前記第２面積以上である場合に前記基準画像を前記視点毎に記録し、前記第１面積が前記第２面積より小さい場合に前記合成画像を前記視点毎に記録しているので、オクルージョン領域の面積の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００７２】
［第３の実施の形態］
以下、本発明の第３の実施の形態について詳細に説明する。なお、本第３の実施の形態に係る複眼デジタルカメラ１の構成は、図１および図２に示される上記第１の実施の形態に係る複眼デジタルカメラ１と同様であるので、ここでの説明は省略する。
【００７３】
以下、図９を参照して、本第３の実施の形態に係る複眼デジタルカメラ１の作用を説明する。なお、図９は、レリーズボタン１１が半押し操作を経て全押し操作に移行した際に、本第３の実施の形態に係る複眼デジタルカメラ１の主制御部２０によって実行される第３撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってマルチフレーム合成機能を働かせることが設定されている場合について説明する。
【００７４】
同図のステップ３００では、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々によって予め定められた回数（本実施の形態では、３回）の撮影を連続的に行うように制御し、次のステップ３０２では、当該連続的な撮影によって得られた左画像群に対し、前述した多重合成を実行して左合成画像を生成すると共に、上記連続的な撮影によって得られた右画像群に対し、前述した多重合成を実行して右合成画像を生成する。
【００７５】
次のステップ３０４では、左基準画像と右基準画像との間でクロスポイント調整（主要被写体の視差が極力０（零）となるように画像の位置を調整）を行い、次のステップ３０６にて、上記第２の実施の形態に係る第２撮影処理プログラムのステップ２０４の処理と同様に、左画像群における基準画像（左基準画像）と右画像群における基準画像（右基準画像）との間で視差マップを作成する。これにより、左基準画像視差マップと、右基準画像視差マップの２種類の視差マップが作成される。
【００７６】
次のステップ３０８では、以上の処理によって得られた左基準画像視差マップおよび右基準画像視差マップにおいて、視差が予め定められた画素数（本実施の形態では、３画素）以内である画素数Ｐ１を導出する。
【００７７】
次のステップ３１０では、左合成画像と右合成画像との間でクロスポイント調整を行い、次のステップ３１２にて、左合成画像と右合成画像との間で、上記第２の実施の形態に係る第２撮影処理プログラムのステップ２０８の処理と同様に、左合成画像と右合成画像との間で視差マップを作成する。これにより、左合成画像視差マップと、右合成画像視差マップの２種類の視差マップが作成される。
【００７８】
次のステップ３１４では、以上の処理によって得られた左合成画像視差マップおよび右合成画像視差マップにおいて、視差が上記予め定められた画素数（本実施の形態では、３画素）以内である画素数Ｐ２を導出する。
【００７９】
次のステップ３１６では、以上の処理によって得られた画素数Ｐ１が画素数Ｐ２より少ないか否かを判定し、肯定判定となった場合はステップ３１８に移行して、左合成画像および右合成画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第３撮影処理プログラムを終了する。
【００８０】
一方、上記ステップ３１６において否定判定となった場合にはステップ３２０に移行し、左基準画像および右基準画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第３撮影処理プログラムを終了する。
【００８１】
以上の第３撮影処理プログラムの実行により、一例として図１０（Ａ）に示すように、左基準画像Ｌ２と右基準画像Ｒ２との間の画素数Ｐ１が、左合成画像ＬＣと右合成画像ＲＣとの間の画素数Ｐ２より少ない場合は、マルチフレーム合成が成功して主要被写体に３次元焦点が合っていると見なして、左合成画像ＬＣおよび右合成画像ＲＣの各画像データが記録メディア２６Ａに記録される一方、一例として図１０（Ｂ）に示すように、画素数Ｐ１が画素数Ｐ２以上である場合は、マルチフレーム合成によってブレやボケが発生してクロスポイント調整が失敗していると見なして、左基準画像Ｌ２および右基準画像Ｒ２の各画像データが記録メディア２６Ａに記録される。
【００８２】
以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と同様の効果を奏することができると共に、前記第１立体画像関連情報を、前記視点毎のクロスポイント調整された後の基準画像における視差が零を含む予め定められた範囲内の画素数を示す第１画素数（本実施の形態では、画素数Ｐ１）とし、前記第２立体画像関連情報を、前記視点毎のクロスポイント調整された後の合成画像における視差が零を含む予め定められた範囲内の画素数を示す第２画素数（本実施の形態では、画素数Ｐ２）として、前記第１画素数が前記第２画素数以上である場合に前記基準画像を前記視点毎に記録し、前記第１画素数が前記第２画素数より少ない場合に前記合成画像を前記視点毎に記録しているので、上記画素数の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００８３】
［第４の実施の形態］
以下、本発明の第４の実施の形態について詳細に説明する。なお、本第４の実施の形態に係る複眼デジタルカメラ１の構成は、図１および図２に示される上記第１の実施の形態に係る複眼デジタルカメラ１と同様であるので、ここでの説明は省略する。
【００８４】
以下、図１１を参照して、本第４の実施の形態に係る複眼デジタルカメラ１の作用を説明する。なお、図１１は、レリーズボタン１１が半押し操作を経て全押し操作に移行した際に、本第４の実施の形態に係る複眼デジタルカメラ１の主制御部２０によって実行される第４撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってマルチフレーム合成機能を働かせることが設定されている場合について説明する。
【００８５】
同図のステップ４００では、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々によって予め定められた回数（本実施の形態では、３回）の撮影を連続的に行うように制御し、次のステップ４０２では、当該連続的な撮影によって得られた左画像群に対し、前述した多重合成を実行して左合成画像を生成すると共に、上記連続的な撮影によって得られた右画像群に対し、前述した多重合成を実行して右合成画像を生成する。
【００８６】
次のステップ４０４では、左基準画像、右基準画像、左合成画像、および右合成画像の各画像に対して主要被写体の検出を行う。なお、本実施の形態に係る複眼デジタルカメラ１では、当該主要被写体の検出を、対象とする画像の中央部を含む領域であると共に、輝度値が中央部の輝度値を中心とした予め定められた範囲（本実施の形態では、最大輝度値の１０％に相当する範囲）内の領域で、かつ予め定められた面積（本実施の形態では、対象とする画像の全面積の１０％に相当する面積）以上の領域を抽出することにより行っているが、これに限らず、従来既知の他の主要被写体検出法を適用することができることは言うまでもない。
【００８７】
次のステップ４０６では、左基準画像、右基準画像、左合成画像、および右合成画像の全ての画像について主要被写体が検出されたか否かを判定し、肯定判定となった場合はステップ４０８に移行する。
【００８８】
ステップ４０８では、左基準画像と右基準画像との間でステレオ・マッチングを行うことにより、これらの基準画像間の主要被写体の領域における対応点数ＴＳ１を導出し、次のステップ４１０では、左合成画像と右合成画像との間でステレオ・マッチングを行うことにより、これらの合成画像間の主要被写体の領域における対応点数ＴＳ２を導出する。
【００８９】
次のステップ４１２では、以上の処理によって得られた対応点数ＴＳ１が対応点数ＴＳ２より少ないか否かを判定し、否定判定となった場合は後述するステップ４２２に移行する一方、肯定判定となった場合はステップ４１４に移行して、左合成画像および右合成画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第４撮影処理プログラムを終了する。
【００９０】
一方、上記ステップ４０６において否定判定となった場合はステップ４１６に移行し、左基準画像と右基準画像との間でステレオ・マッチングを行うことにより、これらの基準画像間の全ての領域における対応点数ＴＡ１を導出し、次のステップ４１８では、左合成画像と右合成画像との間でステレオ・マッチングを行うことにより、これらの合成画像間の全ての領域における対応点数ＴＡ２を導出する。
【００９１】
次のステップ４２０では、以上の処理によって得られた対応点数ＴＡ１が対応点数ＴＡ２より少ないか否かを判定し、肯定判定となった場合は前述したステップ４１４に移行する一方、否定判定となった場合はステップ４２２に移行して、左基準画像および右基準画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第４撮影処理プログラムを終了する。
【００９２】
以上の第４撮影処理プログラムの実行により、一例として図１２（Ａ）に示すように、左基準画像Ｌ２と右基準画像Ｒ２との間の主要被写体の領域における対応点数ＴＳ１が、左合成画像ＬＣと右合成画像ＲＣとの間の主要被写体の領域における対応点数ＴＳ２より少ない場合は、左合成画像ＬＣおよび右合成画像ＲＣの各画像データが記録メディア２６Ａに記録される一方、一例として図１２（Ｂ）に示すように、対応点数ＴＳ１が対応点数ＴＳ２以上である場合は、左基準画像Ｌ２および右基準画像Ｒ２の各画像データが記録メディア２６Ａに記録される。
【００９３】
以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、前記第１対応点数を、前記視点毎の基準画像における主要被写体間の対応点の数（本実施の形態では、対応点数ＴＳ１）とし、前記第２対応点数を、前記視点毎の合成画像における主要被写体間の対応点の数（本実施の形態では、対応点数ＴＳ２）としているので、より高精度でマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００９４】
［第５の実施の形態］
以下、本発明の第５の実施の形態について詳細に説明する。なお、本第５の実施の形態に係る複眼デジタルカメラ１の構成は、図１および図２に示される上記第１の実施の形態に係る複眼デジタルカメラ１と同様であるので、ここでの説明は省略する。
【００９５】
以下、図１３を参照して、本第５の実施の形態に係る複眼デジタルカメラ１の作用を説明する。なお、図１３は、レリーズボタン１１が半押し操作を経て全押し操作に移行した際に、本第５の実施の形態に係る複眼デジタルカメラ１の主制御部２０によって実行される第５撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってマルチフレーム合成機能を働かせることが設定されている場合について説明する。
【００９６】
同図のステップ５００では、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々によって予め定められた回数（本実施の形態では、３回）の撮影を連続的に行うように制御し、次のステップ５０２では、当該連続的な撮影によって得られた左画像群に対し、前述した多重合成を実行して左合成画像を生成すると共に、上記連続的な撮影によって得られた右画像群に対し、前述した多重合成を実行して右合成画像を生成する。
【００９７】
次のステップ５０４では、左基準画像、右基準画像、左合成画像、および右合成画像における共通の動体（以下、「共通動体」という。）の検出を行う。なお、本実施の形態に係る複眼デジタルカメラ１では、当該共通動体の検出を、対象とする画像における空間周波数の高周波成分が予め定められたレベルより低くなっている領域で、かつ左基準画像、右基準画像、左合成画像、および右合成画像の各々で略同一の位置に存在する領域を検出することにより行っているが、これに限らず、従来既知の他の動体検出法を適用することができることは言うまでもない。
【００９８】
次のステップ５０６では、上記共通動体が検出されたか否かを判定し、肯定判定となった場合はステップ５０８に移行する。
【００９９】
ステップ５０８では、左基準画像と右基準画像との間でステレオ・マッチングを行うことにより、これらの基準画像間の上記共通動体の領域における対応点数ＴＤ１を導出し、次のステップ４１０では、左合成画像と右合成画像との間でステレオ・マッチングを行うことにより、これらの合成画像間の上記共通動体の領域における対応点数ＴＤ２を導出する。
【０１００】
次のステップ５１２では、以上の処理によって得られた対応点数ＴＤ１が対応点数ＴＤ２より少ないか否かを判定し、否定判定となった場合は後述するステップ５２２に移行する一方、肯定判定となった場合はステップ５１４に移行して、左合成画像および右合成画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第５撮影処理プログラムを終了する。
【０１０１】
一方、上記ステップ５０６において否定判定となった場合はステップ５１６に移行し、左基準画像と右基準画像との間でステレオ・マッチングを行うことにより、これらの基準画像間の全ての領域における対応点数ＴＡ１を導出し、次のステップ５１８では、左合成画像と右合成画像との間でステレオ・マッチングを行うことにより、これらの合成画像間の全ての領域における対応点数ＴＡ２を導出する。
【０１０２】
次のステップ５２０では、以上の処理によって得られた対応点数ＴＡ１が対応点数ＴＡ２より少ないか否かを判定し、肯定判定となった場合は前述したステップ５１４に移行する一方、否定判定となった場合はステップ５２２に移行して、左基準画像および右基準画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第５撮影処理プログラムを終了する。
【０１０３】
被写体に動体が含まれる画像を用いてマルチフレーム合成を行う場合、一例として図１４に示すように、連続撮影した複数の画像の中で動体部分（同図では車）の位置が変化するため、結果的に左合成画像や右合成画像に動体ぶれが生じてしまう場合がある。
【０１０４】
そこで、本実施の形態に係る複眼デジタルカメラ１では、左基準画像Ｌ２と右基準画像Ｒ２との間の動体の領域における対応点数ＴＤ１が、左合成画像ＬＣと右合成画像ＲＣとの間の動体の領域における対応点数ＴＤ２より少ない場合は、左合成画像ＬＣおよび右合成画像ＲＣの上記動体ぶれによる画質の劣化が左基準画像Ｌ２および右基準画像Ｒ２に比較して少ないものと見なして、左合成画像ＬＣおよび右合成画像ＲＣの各画像データが記録メディア２６Ａに記録される一方、対応点数ＴＤ１が対応点数ＴＤ２以上である場合は、左合成画像ＬＣおよび右合成画像ＲＣの上記動体ぶれによる画質の劣化が左基準画像Ｌ２および右基準画像Ｒ２に比較して大きいものと見なして、左基準画像Ｌ２および右基準画像Ｒ２の各画像データが記録メディア２６Ａに記録される。
【０１０５】
以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、前記第１対応点数を、前記視点毎の基準画像における同一の動体間の対応点の数（本実施の形態では、対応点数ＴＤ１）とし、前記第２対応点数を、前記視点毎の合成画像における同一の動体間の対応点の数（本実施の形態では、対応点数ＴＤ２）としているので、より高精度でマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【０１０６】
［第６の実施の形態］
以下、本発明の第６の実施の形態について詳細に説明する。なお、本第６の実施の形態に係る複眼デジタルカメラ１の構成は、図１および図２に示される上記第１の実施の形態に係る複眼デジタルカメラ１と同様であるので、ここでの説明は省略する。
【０１０７】
以下、図１５を参照して、本第６の実施の形態に係る複眼デジタルカメラ１の作用を説明する。なお、図１５は、レリーズボタン１１が半押し操作を経て全押し操作に移行した際に、本第６の実施の形態に係る複眼デジタルカメラ１の主制御部２０によって実行される第６撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってマルチフレーム合成機能を働かせることが設定されている場合について説明する。
【０１０８】
同図のステップ６００では、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々によって予め定められた回数（本実施の形態では、３回）の撮影を連続的に行うように制御し、次のステップ６０２では、当該連続的な撮影によって得られた左画像群に対し、前述した多重合成を実行して左合成画像を生成すると共に、上記連続的な撮影によって得られた右画像群に対し、前述した多重合成を実行して右合成画像を生成する。
【０１０９】
次のステップ６０４では、左画像群における左基準画像と右画像群における右基準画像との間でステレオ・マッチングを行うことにより、これらの基準画像間の対応点を導出し、次のステップ６０６では、導出した基準画像間の各対応点間の垂直方向に対するずれ量（距離）の平均値ｄＹを導出する。
【０１１０】
次のステップ６０８では、上記ステップ６０２の処理によって得られた左合成画像と右合成画像との間でステレオ・マッチングを行うことにより、これらの合成画像間の対応点を導出し、次のステップ６１０では、導出した合成画像間の各対応点間の垂直方向に対するずれ量（距離）の平均値ｄＹＣを導出する。なお、図１６（Ａ）には、基準画像間の各対応点間の垂直方向に対するずれ量のヒストグラムの一例が示されており、図１６（Ｂ）には、合成画像間の各対応点間の垂直方向に対するずれ量のヒストグラムの一例が示されている。
【０１１１】
次のステップ６１２では、以上の処理によって得られた平均値ｄＹが平均値ｄＹＣより大きいか否かを判定し、肯定判定となった場合はマルチフレーム合成によって垂直方向の位置ずれが補正されたと見なしてステップ６１４に移行し、左合成画像および右合成画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第６撮影処理プログラムを終了する。
【０１１２】
一方、上記ステップ６１２において否定判定となった場合にはマルチフレーム合成により垂直方向の位置がずれてしまったと見なしてステップ６１６に移行し、左基準画像および右基準画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第６撮影処理プログラムを終了する。
【０１１３】
以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、前記第１立体画像関連情報を、前記視点毎の基準画像間における対応点間の垂直方向の距離を示す第１距離（本実施の形態では、平均値ｄＹ）とし、前記第２立体画像関連情報を、前記視点毎の合成画像間における対応点間の垂直方向の距離を示す第２距離（本実施の形態では、平均値ｄＹＣ）として、前記第１距離が前記第２距離以下である場合に前記基準画像を前記視点毎に記録し、前記第１距離が前記第２距離より大きい場合に前記合成画像を前記視点毎に記録しているので、上記対応点間の垂直方向の距離のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【０１１４】
なお、本実施の形態では、本発明の第１距離として、基準画像間の各対応点間の垂直方向に対するずれ量の平均値ｄＹを適用し、本発明の第２距離として、合成画像間の各対応点間の垂直方向に対するずれ量の平均値ｄＹＣを適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、本発明の第１距離として、基準画像間の各対応点間の垂直方向に対するずれ量の最大値を適用すると共に、本発明の第２距離として、合成画像間の各対応点間の垂直方向に対するずれ量の最大値を適用してもよく、本発明の第１距離として、基準画像間の各対応点間の垂直方向に対するずれ量の最頻値を適用すると共に、本発明の第２距離として、合成画像間の各対応点間の垂直方向に対するずれ量の最頻値を適用してもよい。
【０１１５】
［第７の実施の形態］
以下、本発明の第７の実施の形態について詳細に説明する。なお、本第７の実施の形態に係る複眼デジタルカメラ１の構成は、図１および図２に示される上記第１の実施の形態に係る複眼デジタルカメラ１と同様であるので、ここでの説明は省略する。
【０１１６】
ところで、本実施の形態に係る複眼デジタルカメラ１には、一例として図１７に示すように、マルチフレーム合成機能における連続的な撮影によって視点毎に得られた複数の画像（本実施の形態では３つの画像であり、図１７では左画像Ｌ１〜Ｌ３）に対し、背景領域と主要被写体領域とを分離して背景領域のみを予め定められた程度だけぼかした後に各画像を多重合成することにより背景領域のぼかし量を制御する、ぼかしコントロール処理機能が搭載されている。
【０１１７】
次に、図１８を参照して、本第７の実施の形態に係る複眼デジタルカメラ１の作用を説明する。なお、図１８は、レリーズボタン１１が半押し操作を経て全押し操作に移行した際に、本第７の実施の形態に係る複眼デジタルカメラ１の主制御部２０によって実行される第７撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってぼかしコントロール処理機能を働かせることが設定されている場合について説明する。
【０１１８】
同図のステップ７００では、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々によって、各々焦点位置を予め定められた量だけずらしながら、予め定められた回数（本実施の形態では、３回）の撮影を連続的に行うように制御する。
【０１１９】
次のステップ７０２では、以上の処理によって得られた左画像群および右画像群の各々について、焦点位置の差分に基づいて背景領域を特定し、次のステップ７０４にて、上記左画像群に対し、上記ぼかしコントロール処理機能による多重合成を実行して左合成画像を生成すると共に、上記右画像群に対し、上記ぼかしコントロール処理機能による多重合成を実行して右合成画像を生成する。
【０１２０】
次のステップ７０６では、左基準画像と右基準画像との間でステレオ・マッチングを行うことにより、これらの基準画像間の背景領域を除く主要被写体の領域における対応点数ＴＳＫと、背景領域における対応点数ＴＨＫとを導出し、次のステップ７０８にて、対応点数比ＮＰを次の（１）式により算出する。
【０１２１】
【数１】
【０１２２】
次のステップ７１０では、左合成画像と右合成画像との間でステレオ・マッチングを行うことにより、これらの合成画像間の背景領域を除く主要被写体の領域における対応点数ＴＳＧと、背景領域における対応点数ＴＨＧとを導出し、次のステップ７１２にて、対応点数比ＮＰＣを次の（２）式により算出する。
【０１２３】
【数２】
【０１２４】
次のステップ７１４では、以上の処理によって得られた対応点数比ＮＰが対応点数比ＮＰＣより少ないか否かを判定し、肯定判定となった場合は、ぼかしコントロール処理機能が成功して主要被写体がくっきりとし、かつ背景領域がぼけていると見なしてステップ７１６に移行し、左合成画像および右合成画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第７撮影処理プログラムを終了する。
【０１２５】
一方、上記ステップ７１４において否定判定となった場合には、ぼかしコントロール処理機能が失敗して主要被写体がぼけているか、または背景領域がぼけていないと見なしてステップ７１８に移行し、左基準画像および右基準画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第７撮影処理プログラムを終了する。
【０１２６】
以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、前記第１立体画像関連情報を、前記視点毎の基準画像間の背景画像の対応点数に対する主要被写体の対応点数の割合を示す第１割合（本実施の形態では、対応点数比ＮＰ）とし、前記第２立体画像関連情報を、前記視点毎の合成画像間の背景画像の対応点数に対する主要被写体の対応点数の割合を示す第２割合（本実施の形態では、対応点数比ＮＰＣ）として、前記第１割合が前記第２割合以上である場合に前記基準画像を前記視点毎に記録し、前記第１割合が前記第２割合より少ない場合に前記合成画像を前記視点毎に記録しているので、上記対応点数の割合のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【０１２７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０１２８】
また、上記の実施の形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明を抽出できる。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０１２９】
例えば、上記各実施の形態では、本発明の画像処理装置を複眼デジタルカメラ１に適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、本発明の画像処理装置を複眼デジタルカメラ１の連続的な撮影によって得られた左画像群および右画像群を、記録メディア２６Ａを介して取得するパーソナル・コンピュータ等の情報処理装置に適用する形態としてもよい。この場合、当該情報処理装置によって本発明の取得手段、合成手段、および記録手段の各手段による処理を実行する。この場合も、上記各実施の形態と同様の効果を奏することができる。
【０１３０】
また、上記各実施の形態では、マルチフレーム合成機能の実行が設定されているにもかかわらず、合成画像が記録できなかった場合に何ら報知しない場合について説明したが、本発明はこれに限定されるものではなく、例えば、この場合に、音の発生や振動の発生等によって報知する形態としてもよい。
【０１３１】
なお、上記音の発生による報知を適用する場合の形態例としては、複眼デジタルカメラ１にブザーを内蔵しておき、当該ブザーを鳴動させることにより報知する形態、複眼デジタルカメラ１にスピーカを内蔵しておき、当該スピーカにより音声を発生させることにより報知する形態等を例示することができる。また、上記振動の発生による報知を適用する場合の形態例としては、複眼デジタルカメラ１にバイブレータを内蔵しておき、当該バイブレータを振動させることにより報知する形態等を例示することができる。
【０１３２】
また、上記各実施の形態では言及しなかったが、基準画像を記録したのか、合成画像を記録したのかを示す情報を記録した画像と関連付けて記録する形態としてもよい。
【０１３３】
また、上記各実施の形態では、本発明を２眼のデジタルカメラに適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、３眼以上のデジタルカメラに適用する形態としてもよい。
【０１３４】
また、上記各実施の形態では、検出対象とする領域内の全ての対応点を適用対象とした場合について説明したが、本発明はこれに限定されるものではなく、例えば、相関値が一定値以上の確度の高い対応点のみを適用対象とする形態、輝度の高周波成分が所定量より多い合焦領域の対応点のみを適用対象とする形態、画像の縮小等によって解像度を荒くすることで誤認識し難くした状態で検出された対応点を適用対象とする形態等としてもよい。
【０１３５】
また、上記各実施の形態では、本発明を、静止画像を撮影するデジタルカメラに適用した場合について説明したが、本発明はこれに限定されるものではなく、動画撮影を行うデジタルカメラに本発明を適用する形態としてもよい。この場合、例えば、５フレームで合成処理を行う場合にはフレームレートが１／５（５分の１）になるだけで、特に問題が生じることはない。
【０１３６】
また、上記第７の実施の形態では、焦点位置の差分に基づいて背景領域と、主要被写体の領域とを特定する場合について説明したが、本発明はこれに限定されるものではなく、例えば、一例として図１９に示すように、上記第２の実施の形態において導出したオクルージョン領域が背景領域と主要被写体の領域との境界領域に位置することを利用して、背景領域と主要被写体の領域とを特定する形態としてもよい。
【０１３７】
その他、上記各実施の形態で説明した複眼デジタルカメラ１の構成（図１，図２参照。）は一例であり、本発明の主旨を逸脱しない範囲内において、不要な部分を削除したり、新たな部分を追加したり、接続状態等を変更したりすることができることは言うまでもない。
【０１３８】
さらに、上記各実施の形態で説明した各種処理プログラムの処理の流れ（図４，図６，図９，図１１，図１３，図１５，図１８参照。）も一例であり、本発明の主旨を逸脱しない範囲内において、不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ換えたりすることができることは言うまでもない。
【符号の説明】
【０１３９】
１ 複眼デジタルカメラ
１０ 筐体
１１ レリーズボタン
１６ 液晶ディスプレイ
２０ 主制御部（取得手段、合成手段、記録手段）
２１Ａ 左用撮影部
２１Ｂ 右用撮影部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに係り、特に、立体撮影によって得られた画像に対して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、撮影装置の進歩は著しく、立体撮影を行うことのできるものも実用化されている。
【０００３】
従来、この種の撮影装置に関する技術として、特許文献１には、同一の対象物を撮像する複数の撮像光学系で生じる視差を算出する複眼撮像装置であって、前記対象物を撮像することによって、基準画像を含む画像を生成する基準撮像光学系と、前記基準撮像光学系の光学中心に対してそれぞれの光学中心が略点対称に配置され、前記対象物を撮像することによって、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系と、前記２以上の偶数の参照撮像光学系のそれぞれについて、前記基準画像に類似する前記参照画像の画像位置を探索するために前記参照撮像光学系により生成された画像中の前記参照画像の探索位置を、前記基準撮像光学系の光学中心と前記参照撮像光学系の光学中心とを結ぶ直線である基線と平行な方向に沿ってずらしていった場合のずらし量ごとに、前記基準画像と前記参照画像との類似度を表す相関値を算出する相関値算出手段と、前記２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算手段と、前記合成相関値に基づき、前記基準画像と前記参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出手段と、を少なくとも備えることを特徴とする複眼撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４３８２１５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、立体撮影を行うことのできる撮影装置に関する技術として、ノイズの低減、撮影感度の向上、撮影画像のダイナミックレンジの拡大等により画質を向上させることを目的として、各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像のうちの視点毎に予め定められた基準画像をそれぞれ基準として、各々の視点から撮影された複数の画像をそれぞれ視点毎に合成する技術（以下、「マルチフレーム合成」という。）がある。
【０００６】
しかしながら、従来のマルチフレーム合成では、視点毎に異なる時間に撮影された複数の画像を合成しているため、同一被写体の少なくとも一部が複数箇所に重複して写り込んだり、各被写体の輪郭にぼけが生じてしまったりする場合があり、この場合には、マルチフレーム合成を行うことによって逆に画質が低下してしまう、という問題点があった。
【０００７】
なお、上記特許文献１に開示されている技術では、マルチフレーム合成については考慮されていないため、この問題点に関しては無力である。また、この問題点は、立体撮影を行うことのできる撮影装置に限らず、当該撮影装置によって得られた画像情報を入力して当該画像情報に対してマルチフレーム合成を行うパーソナル・コンピュータ等の画像処理装置にも生じ得る問題点である。
【０００８】
本発明は上記問題点を解決するためになされたものであり、マルチフレーム合成による画質の低下の発生を未然に防止することのできる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１に記載の画像処理装置は、各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得する取得手段と、前記取得手段によって取得された複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する合成手段と、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成手段により合成された前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録する記録手段と、を備えている。
【００１０】
請求項１に記載の画像処理装置によれば、取得手段により、各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像が取得され、合成手段により、前記取得手段によって取得された複数の画像から前記視点毎に基準画像が決定され、当該基準画像を基準として前記複数の画像が当該視点毎に合成（マルチフレーム合成）される。
【００１１】
ここで、本発明では、記録手段により、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成手段により合成された前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像が前記視点毎に記録され、前記条件を満足しない場合に前記合成画像が前記視点毎に記録される。
【００１２】
このように、請求項１に記載の画像処理装置によれば、各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得し、取得した複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する一方、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成した前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録しているので、マルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００１３】
なお、本発明は、請求項２に記載の発明のように、前記第１立体画像関連情報が、前記視点毎の基準画像間の対応点の数を示す第１対応点数であり、前記第２立体画像関連情報が、前記視点毎の合成画像間の対応点の数を示す第２対応点数であり、前記記録手段が、前記第１対応点数が前記第２対応点数以上の場合に前記基準画像を前記視点毎に記録し、前記第１対応点数が前記第２対応点数より少ない場合に前記合成画像を前記視点毎に記録してもよい。これにより、対応点数の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００１４】
特に、請求項２に記載の発明は、請求項３に記載の発明のように、前記第１対応点数が、前記視点毎の基準画像における主要被写体間の対応点の数であり、前記第２対応点数が、前記視点毎の合成画像における主要被写体間の対応点の数であるものとしてもよい。これにより、より高精度でマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００１５】
また、請求項２に記載の発明は、請求項４に記載の発明のように、前記第１対応点数が、前記視点毎の基準画像における同一の動体間の対応点の数であり、前記第２対応点数が、前記視点毎の合成画像における同一の動体間の対応点の数であるものとしてもよい。これにより、より高精度でマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００１６】
また、本発明は、請求項５に記載の発明のように、前記第１立体画像関連情報が、前記視点毎の基準画像におけるオクルージョン領域の面積を示す第１面積であり、前記第２立体画像関連情報が、前記視点毎の合成画像におけるオクルージョン領域の面積を示す第２面積であり、前記記録手段が、前記第１面積が前記第２面積以上である場合に前記基準画像を前記視点毎に記録し、前記第１面積が前記第２面積より小さい場合に前記合成画像を前記視点毎に記録してもよい。これにより、オクルージョン領域の面積の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００１７】
また、本発明は、請求項６に記載の発明のように、前記第１立体画像関連情報が、前記視点毎のクロスポイント調整された後の基準画像における視差が零を含む予め定められた範囲内の画素数を示す第１画素数であり、前記第２立体画像関連情報が、前記視点毎のクロスポイント調整された後の合成画像における視差が零を含む予め定められた範囲内の画素数を示す第２画素数であり、前記記録手段が、前記第１画素数が前記第２画素数以上である場合に前記基準画像を前記視点毎に記録し、前記第１画素数が前記第２画素数より少ない場合に前記合成画像を前記視点毎に記録してもよい。これにより、上記画素数の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００１８】
また、本発明は、請求項７に記載の発明のように、前記第１立体画像関連情報が、前記視点毎の基準画像間における対応点間の垂直方向の距離を示す第１距離であり、前記第２立体画像関連情報が、前記視点毎の合成画像間における対応点間の垂直方向の距離を示す第２距離であり、前記記録手段が、前記第１距離が前記第２距離以下である場合に前記基準画像を前記視点毎に記録し、前記第１距離が前記第２距離より大きい場合に前記合成画像を前記視点毎に記録してもよい。これにより、上記対応点間の垂直方向の距離の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。なお、ここでいう「垂直方向」とは、画像平面上において、各視点間における視差が生じる方向である視差方向に対して垂直方向、という意味である。
【００１９】
さらに、本発明は、請求項８に記載の発明のように、前記第１立体画像関連情報が、前記視点毎の基準画像間の背景画像の対応点数に対する主要被写体の対応点数の割合を示す第１割合であり、前記第２立体画像関連情報が、前記視点毎の合成画像間の背景画像の対応点数に対する主要被写体の対応点数の割合を示す第２割合であり、前記記録手段が、前記第１割合が前記第２割合以上である場合に前記基準画像を前記視点毎に記録し、前記第１割合が前記第２割合より少ない場合に前記合成画像を前記視点毎に記録してもよい。これにより、上記対応点数の割合の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００２０】
一方、上記目的を達成するために、請求項９に記載の画像処理方法は、各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得する取得工程と、前記取得工程によって取得された複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する合成工程と、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成工程により合成された前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録する記録工程と、を有する。
【００２１】
従って、請求項９に記載の発明によれば、請求項１に記載の発明と同様に作用するので、請求項１に記載の発明と同様に、マルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００２２】
一方、上記目的を達成するために、請求項１０に記載のプログラムは、コンピュータを、各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得する取得手段と、前記取得手段によって取得された複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する合成手段と、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成手段により合成された前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録する記録手段と、として機能させるためのものである。
【００２３】
従って、請求項１０に記載の発明によれば、コンピュータを請求項１に記載の発明と同様に作用させることができるので、請求項１に記載の発明と同様に、マルチフレーム合成による画質の低下の発生を未然に防止することができる。
【発明の効果】
【００２４】
本発明によれば、各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得し、取得した複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する一方、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成した前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録しているので、マルチフレーム合成による画質の低下の発生を未然に防止することができる、という効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】実施の形態に係る複眼デジタルカメラを示す斜視図であり、（Ａ）は正面斜視図であり、（Ｂ）は背面斜視図である。
【図２】実施の形態に係る複眼デジタルカメラの電気系の要部構成を示す概略ブロック図である。
【図３】実施の形態に係るマルチフレーム合成機能の説明に供する概略図である。
【図４】第１の実施の形態に係る第１撮影処理プログラムの処理の流れを示すフローチャートである。
【図５】第１の実施の形態に係る第１撮影処理プログラムの処理内容の説明に供する概略図である。
【図６】第２の実施の形態に係る第２撮影処理プログラムの処理の流れを示すフローチャートである。
【図７】実施の形態に係る視差マップの説明に供する概略図である。
【図８】第２の実施の形態に係る第２撮影処理プログラムの処理内容の説明に供する概略図である。
【図９】第３の実施の形態に係る第３撮影処理プログラムの処理の流れを示すフローチャートである。
【図１０】第３の実施の形態に係る第３撮影処理プログラムの処理内容の説明に供する概略図である。
【図１１】第４の実施の形態に係る第４撮影処理プログラムの処理の流れを示すフローチャートである。
【図１２】第４の実施の形態に係る第４撮影処理プログラムの処理内容の説明に供する概略図である。
【図１３】第５の実施の形態に係る第５撮影処理プログラムの処理の流れを示すフローチャートである。
【図１４】第５の実施の形態に係る被写体に動体を含む場合の問題点の説明に供する概略図である。
【図１５】第６の実施の形態に係る第６撮影処理プログラムの処理の流れを示すフローチャートである。
【図１６】第６の実施の形態に係る第６撮影処理プログラムの処理内容の説明に供するヒストグラムである。
【図１７】第７の実施の形態に係るぼかしコントロール処理機能の説明に供する概略図である。
【図１８】第７の実施の形態に係る第７撮影処理プログラムの処理の流れを示すフローチャートである。
【図１９】第７の実施の形態の変形例の説明に供する概略図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本発明を実施するための形態について詳細に説明する。なお、ここでは、本発明を、２つの撮像系を有する複眼デジタルカメラに適用した場合の形態例について説明する。
【００２７】
［第１の実施の形態］
まず、図１を参照して、本実施の形態に係る複眼デジタルカメラ１の構成について説明する。
【００２８】
同図に示すように、本実施の形態に係る複眼デジタルカメラ１は筐体１０を備えており、筐体１０の内部にＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）などの各種電子部品が収納されている。筐体１０の上面にはレリーズボタン１１が備えられており、ユーザがこのレリーズボタン１１を押下することにより複眼デジタルカメラ１に撮影等の指示を入力することができる。また、筐体１０の上面には電源ボタン１２が備えられており、ユーザがこの電源ボタン１２を押下することにより、複眼デジタルカメラ１の電源のオン／オフ状態を切り替える指示を入力することができる。さらに、筐体１０の上面にはズームレバー１３が備えられており、ユーザがこのズームレバー１３を操作することにより、撮影時にズーム機能の画角や倍率の変更の指示を入力することができる。
【００２９】
一方、図１（Ａ）に示すように、筐体１０の正面にはフラッシュ１４が備えられており、撮影時に周囲を照明することができる。また、筐体１０の正面には複数のレンズ１５Ａ、１５Ｂが備えられており、これらのレンズ１５Ａ、１５Ｂに入射した光が当該レンズ１５Ａ、１５Ｂを通過して内部に入力される。
【００３０】
また、図１（Ｂ）に示すように、筐体１０の背面には、液晶ディスプレイ１６が備えられており、撮影画像や設定事項等が表示される。また、筐体１０の背面には、各種操作ボタン１７が備えられており、ユーザが各種操作ボタン１７を操作することにより各種設定事項の設定の指示を入力することができる。
【００３１】
図２は、複眼デジタルカメラ１の電気系の要部構成を示す概略ブロック図である。同図に示すように、複眼デジタルカメラ１は、主制御部２０、左用撮影部２１Ａ、右用撮影部２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸張処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、三次元処理部３０、および視差マップ生成部３１を備えている。
【００３２】
主制御部２０は、ＣＰＵやＲＡＭ等を備えており、電源ボタン１２や各種操作ボタン１７等の入力部を介したユーザ操作に従って、複眼デジタルカメラ１を総括的に制御する。
【００３３】
左用撮影部２１Ａは、レンズ１５Ａに入射した光を受光して電気信号に変換することにより画像を再構成する。同様に、右用撮影部２１Ｂは、レンズ１５Ｂに入射した光を受光して電気信号に変換することにより画像を再構成する。ここで、左用撮影部２１Ａおよび右用撮影部２１Ｂは、被写体を見込む輻輳角を持って予め定められた基線長となるように配置されている。なお、輻輳角、基線長の情報は内部メモリ２７に記憶されている。
【００３４】
一方、撮影制御部２２は、ＡＦ（Automatic Focusing）処理部（図示せず）およびＡＥ（Automatic Exposure）処理部（図示せず）を備えている。ＡＦ処理部は、ユーザによるレリーズボタン１１の半押し操作等により左用撮影部２１Ａ、右用撮影部２１Ｂによって取得されたプレ画像（撮影前にレンズ１５Ａ、１５Ｂに入力している画像）に基づいて合焦領域を決定すると共に、レンズの焦点位置を決定し、左用撮影部２１Ａ、右用撮影部２１Ｂに出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、左用撮影部２１Ａ、右用撮影部２１Ｂに出力する。
【００３５】
また、撮影制御部２２は、ユーザによるレリーズボタン１１の全押し操作により左用撮影部２１Ａに対して左画像、右用撮影部２１Ｂに対して右画像の各々の本画像を取得する本撮影を行うように指示を行う。なお、レリーズボタン１１が操作される前は、撮影制御部２２は、撮影範囲を確認するための本画像よりも画素数が少ない画像であるスルー画像を、所定時間間隔（例えば、１／３０秒間隔）にて順次取得させる指示を左用撮影部２１Ａ、右用撮影部２１Ｂに対して行っている。
【００３６】
画像処理部２３は、左用撮影部２１Ａ、右用撮影部２１Ｂがそれぞれ取得した各々の画像のデジタル画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の様々な画像処理を施す。
【００３７】
圧縮／伸張処理部２４は、画像処理部２３によって処理が施された画像を表す画像データに対して、例えばＪＰＥＧなどの圧縮形式で圧縮処理を行い、左用撮影部２１Ａが取得した画像のデジタル画像データを左画像とし、右用撮影部２１Ｂが取得した画像のデジタル画像データを右画像とした立体視用の立体画像ファイルを生成する。この立体視用の立体画像ファイルは、左画像および右画像の画像データを含んでいるとともに、Ｅｘｉｆフォーマット等に基づいて、基線長、輻輳角、および撮影日時などの付帯情報、並びに視点位置を表す視点情報などが格納される。
【００３８】
フレームメモリ２５は、左用撮影部２１Ａ、右用撮影部２１Ｂがそれぞれ取得した画像の画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用される作業用メモリである。
【００３９】
メディア制御部２６は、複眼デジタルカメラ１に記録メディア２６Ａ等の各種記録メディアが電気接続された際に、この記録メディア２６Ａの記憶領域に対して画像ファイル等のデータの読み書きの制御を行う。
【００４０】
内部メモリ２７は、複眼デジタルカメラ１において設定される各種設定事項、および主制御部２０が実行するプログラムやプログラムの処理に使用されるデータを記憶する。
【００４１】
表示制御部２８は、主制御部２０または撮影制御部２２による制御に基づいて、撮影時においてフレームメモリ２５に格納された画像から立体視用画像を生成して液晶ディスプレイ１６に表示させたり、記録メディア２６Ａに記憶されている立体画像ファイルから立体視用画像を生成して液晶ディスプレイ１６に表示させたりする。
【００４２】
三次元処理部３０は、主制御部２０または撮影制御部２２による制御に基づいて、表示制御部２８が画像の立体視表示を行う際に、立体画像ファイルに含まれる左画像および右画像に三次元処理を行って立体視用画像を生成する。
【００４３】
視差マップ生成部３１は、主制御部２０または撮影制御部２２による制御に基づいて、左画像と右画像との相互の視差マップを生成する。ここで、視差は、左画像および右画像の双方に含まれる被写体の左画像と右画像との水平方向における画素位置の相違として算出することができる。視差マップを適切に生成することにより、立体視用画像に含まれる被写体の立体感を適切なものとすることができる。
【００４４】
ところで、本実施の形態に係る複眼デジタルカメラ１には、ノイズの低減、撮影感度の向上、撮影画像のダイナミックレンジの拡大といった撮影画像の画質を向上させることを目的として、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々の視点からそれぞれ連続的に撮影された複数の画像のうちの視点毎に予め定められた基準画像をそれぞれ基準として、各々の視点から撮影された複数の画像をそれぞれ視点毎に合成するマルチフレーム合成機能が搭載されている。
【００４５】
以下、本実施の形態に係るマルチフレーム合成機能について説明する。
【００４６】
一例として図３に示すように、本実施の形態に係るマルチフレーム合成機能は、左用撮影部２１Ａによって連続的に撮影された５つの左画像Ｌ１〜Ｌ５により構成される左画像群４０Ｌについて、予め定められた左画像Ｌ３を基準画像として、基準画像Ｌ３に対し、当該基準画像Ｌ３を除く左画像群４０Ｌに含まれる左画像Ｌ１，Ｌ２，Ｌ４，Ｌ５を多重合成する。また、本実施の形態に係るマルチフレーム合成機能は、右用撮影部２１Ｂによって連続的に撮影された５つの右画像Ｒ１〜Ｒ５により構成される右画像群４０Ｒについて、予め定められた右画像Ｒ３を基準画像として、基準画像Ｒ３に対して当該基準画像Ｒ３を除く右画像群４０Ｒに含まれる右画像Ｒ１，Ｒ２，Ｒ４，Ｒ５を多重合成する。
【００４７】
なお、以上のように視点毎に多重合成を行う際には、基準画像に合成する画像に含まれる被写体の状態を、基準画像に含まれる、対応する被写体の状態に近づけるための画像処理を施す。この際の画像処理としては、基準画像に合成する画像全体の平行移動、回転、拡大といった画像全体に対する画像処理の他、基準画像に合成する画像を予め定められた複数の領域に分割し、各分割領域毎に、基準画像とのステレオ・マッチングを行うことによって得られる同一対応点同士の位置を一致させるように画像を変形する画像処理が含まれる。
【００４８】
ここで、本実施の形態に係る複眼デジタルカメラ１では、ユーザによって各種操作ボタン１７を介してマルチフレーム合成機能を働かせることが設定された場合のみ、以上のような左画像および右画像の多重合成が行われて、各画像が立体画像を示す画像として記録メディア２６Ａに記録される。
【００４９】
なお、本実施の形態に係る複眼デジタルカメラ１では、基準画像として、多重合成する画像との変化量が最も小さい可能性が高い画像である、上記連続的な撮影によって得られた画像群（左画像群４０Ｌおよび右画像群４０Ｒ）の時間的に中央に位置する画像を適用しているが、これに限らず、他の画像を基準画像として適用することもできる。また、以上のマルチフレーム合成機能の説明では、合成する画像の数を、基準画像を含めて５つとした場合について説明したが、合成する画像の数は複数であれば如何なる数も取り得る。以下では、マルチフレーム合成機能により連続的に撮影する左画像として左画像Ｌ１，Ｌ２，Ｌ３の３つを取得し、右画像として右画像Ｒ１，Ｒ２，Ｒ３の３つを取得して、視点毎に合成する画像の数を各々３つとすると共に、左画像群の基準画像として左画像Ｌ２を適用し、右画像群の基準画像として右画像Ｒ２を適用する場合について説明する。
【００５０】
次に、図４を参照して、本実施の形態に係る複眼デジタルカメラ１の作用を説明する。なお、図４は、レリーズボタン１１が半押し操作を経て全押し操作に移行した際に、複眼デジタルカメラ１の主制御部２０によって実行される第１撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってマルチフレーム合成機能を働かせることが設定されている場合について説明する。
【００５１】
同図のステップ１００では、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々によって予め定められた回数（本実施の形態では、３回）の撮影を連続的に行うように制御し、次のステップ１０２では、当該連続的な撮影によって得られた左画像群に対し、前述した多重合成を実行して合成画像（以下、「左合成画像」という。）を生成すると共に、上記連続的な撮影によって得られた右画像群に対し、前述した多重合成を実行して合成画像（以下、「右合成画像」という。）を生成する。
【００５２】
次のステップ１０４では、左画像群における基準画像（以下、「左基準画像」という。）と右画像群における基準画像（以下、「右基準画像」という。）との間でステレオ・マッチングを行うことにより、これらの基準画像間の対応点数Ｔ１を導出し、次のステップ１０６では、上記ステップ１０２の処理によって得られた左合成画像と右合成画像との間でステレオ・マッチングを行うことにより、これらの合成画像間の対応点数Ｔ２を導出する。
【００５３】
次のステップ１０８では、以上の処理によって得られた対応点数Ｔ１が対応点数Ｔ２より少ないか否かを判定し、肯定判定となった場合はステップ１１０に移行して、左合成画像および右合成画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第１撮影処理プログラムを終了する。
【００５４】
一方、上記ステップ１０８において否定判定となった場合にはステップ１１２に移行し、左基準画像および右基準画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第１撮影処理プログラムを終了する。
【００５５】
以上の第１撮影処理プログラムの実行により、一例として図５（Ａ）に示すように、左基準画像Ｌ２と右基準画像Ｒ２との間の対応点数Ｔ１が、左合成画像ＬＣと右合成画像ＲＣとの間の対応点数Ｔ２より少ない場合は、マルチフレーム合成が成功してクリアな画像が生成できたものと見なして、左合成画像ＬＣおよび右合成画像ＲＣの各画像データが記録メディア２６Ａに記録される一方、一例として図５（Ｂ）に示すように、対応点数Ｔ１が対応点数Ｔ２以上である場合は、マルチフレーム合成によってブレやボケが発生したものと見なして、左基準画像Ｌ２および右基準画像Ｒ２の各画像データが記録メディア２６Ａに記録される。
【００５６】
以上詳細に説明したように、本実施の形態によれば、各々異なる複数の視点（本実施の形態では、２つの視点）からそれぞれ連続的に撮影された複数の画像（本実施の形態では、３つの画像）を取得し、取得した複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する一方、前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成した前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録しているので、マルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００５７】
特に、本実施の形態によれば、前記第１立体画像関連情報を、前記視点毎の基準画像間の対応点の数を示す第１対応点数（本実施の形態では、対応点数Ｔ１）とし、前記第２立体画像関連情報を、前記視点毎の合成画像間の対応点の数を示す第２対応点数（本実施の形態では、対応点数Ｔ２）として、前記第１対応点数が前記第２対応点数以上の場合に前記基準画像を前記視点毎に記録し、前記第１対応点数が前記第２対応点数より少ない場合に前記合成画像を前記視点毎に記録しているので、対応点数の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００５８】
［第２の実施の形態］
以下、本発明の第２の実施の形態について詳細に説明する。なお、本第２の実施の形態に係る複眼デジタルカメラ１の構成は、図１および図２に示される上記第１の実施の形態に係る複眼デジタルカメラ１と同様であるので、ここでの説明は省略する。
【００５９】
以下、図６を参照して、本第２の実施の形態に係る複眼デジタルカメラ１の作用を説明する。なお、図６は、レリーズボタン１１が半押し操作を経て全押し操作に移行した際に、本第２の実施の形態に係る複眼デジタルカメラ１の主制御部２０によって実行される第２撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってマルチフレーム合成機能を働かせることが設定されている場合について説明する。
【００６０】
同図のステップ２００では、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々によって予め定められた回数（本実施の形態では、３回）の撮影を連続的に行うように制御し、次のステップ２０２では、当該連続的な撮影によって得られた左画像群に対し、前述した多重合成を実行して左合成画像を生成すると共に、上記連続的な撮影によって得られた右画像群に対し、前述した多重合成を実行して右合成画像を生成する。
【００６１】
次のステップ２０４では、左画像群における基準画像（左基準画像）と右画像群における基準画像（右基準画像）との間で視差マップを作成するように視差マップ生成部３１を制御する。以下、本実施の形態に係る視差マップの作成手順について説明する。
【００６２】
一例として図７に示すように、まず、左基準画像と右基準画像との間でステレオ・マッチングを行うことにより、例えば左基準画像を基準として、左基準画像上の画素（ｘ１，ｙ１）に対応する右基準画像上の対応点の画素（ｘ２，ｙ２）を抽出する。なお、ここでは、視差が画像の横方向（水平方向）に発生しており、縦方向（垂直方向）にずれは生じていないものとして説明する。
【００６３】
次に、左基準画像上の画素（ｘ１，ｙ１）と右基準画像上の対応点の画素（ｘ２，ｙ２）との視差ｄを、ｄ＝ｘ２−ｘ１により算出し、この視差ｄを、基準とした左基準画像の画素位置（ｘ１，ｙ１）に格納する。そして、左基準画像の各画素について計算した視差ｄを左基準画像の画素位置に対応させて格納して画像化する。この画像化したものを「視差マップ」と呼ぶ。
【００６４】
なお、本実施の形態に係る複眼デジタルカメラ１では、ステレオ・マッチングにより対応点が見つからない画素については、直近に見つかった対応点の画素を代用するものとしている。また、本実施の形態に係る複眼デジタルカメラ１では、視差マップとして、左基準画像を基準としたもの（以下、「左基準画像視差マップ」という。）と、右基準画像を基準としたもの（以下、「右基準画像視差マップ」という。）の２種類を作成する。
【００６５】
次のステップ２０６では、以上の処理によって作成した左基準画像視差マップおよび右基準画像視差マップを用いて、左基準画像には含まれており、右基準画像には含まれていない領域と、右基準画像には含まれており、左基準画像には含まれていない領域であるオクルージョン領域の面積Ｓ１を導出する。なお、本実施の形態に係る視差マップは、前述したように、ステレオ・マッチングにより対応点が見つからない画素については、直近に見つかった対応点の画素を代用しているので、左基準画像視差マップおよび右基準画像視差マップにおいて、同一の視差ｄが連続的に記憶されている対応点の数を計数することにより面積Ｓ１を導出する。
【００６６】
次のステップ２０８では、左合成画像と右合成画像との間で、上記ステップ２０４の処理と同様に視差マップを作成する。これにより、左合成画像を基準としたもの（以下、「左合成画像視差マップ」という。）と、右合成画像を基準としたもの（以下、「右合成画像視差マップ」という。）の２種類の視差マップが作成される。
【００６７】
次のステップ２１０では、作成した左合成画像視差マップおよび右合成画像視差マップを用いて、上記ステップ２０６の処理と同様に左合成画像と右合成画像とのオクルージョン領域の面積Ｓ２を導出する。
【００６８】
次のステップ２１２では、以上の処理によって得られた面積Ｓ１が面積Ｓ２より小さいか否かを判定し、肯定判定となった場合はステップ２１４に移行して、左合成画像および右合成画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第２撮影処理プログラムを終了する。
【００６９】
一方、上記ステップ２１２において否定判定となった場合にはステップ２１６に移行し、左基準画像および右基準画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第２撮影処理プログラムを終了する。
【００７０】
以上の第２撮影処理プログラムの実行により、一例として図８（Ａ）に示すように、左基準画像Ｌ２と右基準画像Ｒ２との間のオクルージョン領域の面積Ｓ１が、左合成画像ＬＣと右合成画像ＲＣとの間のオクルージョン領域の面積Ｓ２より小さい場合は、マルチフレーム合成が成功して正しく対応点が検出できる立体感のある画像が生成できたものと見なして、左合成画像ＬＣおよび右合成画像ＲＣの各画像データが記録メディア２６Ａに記録される一方、一例として図８（Ｂ）に示すように、面積Ｓ１が面積Ｓ２以上である場合は、マルチフレーム合成によってブレやボケが発生して左右間の対応点が誤対応していると見なして、左基準画像Ｌ２および右基準画像Ｒ２の各画像データが記録メディア２６Ａに記録される。
【００７１】
以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、前記第１立体画像関連情報を、前記視点毎の基準画像におけるオクルージョン領域の面積を示す第１面積（本実施の形態では、面積Ｓ１）とし、前記第２立体画像関連情報を、前記視点毎の合成画像におけるオクルージョン領域の面積を示す第２面積（本実施の形態では、面積Ｓ２）として、前記第１面積が前記第２面積以上である場合に前記基準画像を前記視点毎に記録し、前記第１面積が前記第２面積より小さい場合に前記合成画像を前記視点毎に記録しているので、オクルージョン領域の面積の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００７２】
［第３の実施の形態］
以下、本発明の第３の実施の形態について詳細に説明する。なお、本第３の実施の形態に係る複眼デジタルカメラ１の構成は、図１および図２に示される上記第１の実施の形態に係る複眼デジタルカメラ１と同様であるので、ここでの説明は省略する。
【００７３】
以下、図９を参照して、本第３の実施の形態に係る複眼デジタルカメラ１の作用を説明する。なお、図９は、レリーズボタン１１が半押し操作を経て全押し操作に移行した際に、本第３の実施の形態に係る複眼デジタルカメラ１の主制御部２０によって実行される第３撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってマルチフレーム合成機能を働かせることが設定されている場合について説明する。
【００７４】
同図のステップ３００では、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々によって予め定められた回数（本実施の形態では、３回）の撮影を連続的に行うように制御し、次のステップ３０２では、当該連続的な撮影によって得られた左画像群に対し、前述した多重合成を実行して左合成画像を生成すると共に、上記連続的な撮影によって得られた右画像群に対し、前述した多重合成を実行して右合成画像を生成する。
【００７５】
次のステップ３０４では、左基準画像と右基準画像との間でクロスポイント調整（主要被写体の視差が極力０（零）となるように画像の位置を調整）を行い、次のステップ３０６にて、上記第２の実施の形態に係る第２撮影処理プログラムのステップ２０４の処理と同様に、左画像群における基準画像（左基準画像）と右画像群における基準画像（右基準画像）との間で視差マップを作成する。これにより、左基準画像視差マップと、右基準画像視差マップの２種類の視差マップが作成される。
【００７６】
次のステップ３０８では、以上の処理によって得られた左基準画像視差マップおよび右基準画像視差マップにおいて、視差が予め定められた画素数（本実施の形態では、３画素）以内である画素数Ｐ１を導出する。
【００７７】
次のステップ３１０では、左合成画像と右合成画像との間でクロスポイント調整を行い、次のステップ３１２にて、左合成画像と右合成画像との間で、上記第２の実施の形態に係る第２撮影処理プログラムのステップ２０８の処理と同様に、左合成画像と右合成画像との間で視差マップを作成する。これにより、左合成画像視差マップと、右合成画像視差マップの２種類の視差マップが作成される。
【００７８】
次のステップ３１４では、以上の処理によって得られた左合成画像視差マップおよび右合成画像視差マップにおいて、視差が上記予め定められた画素数（本実施の形態では、３画素）以内である画素数Ｐ２を導出する。
【００７９】
次のステップ３１６では、以上の処理によって得られた画素数Ｐ１が画素数Ｐ２より少ないか否かを判定し、肯定判定となった場合はステップ３１８に移行して、左合成画像および右合成画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第３撮影処理プログラムを終了する。
【００８０】
一方、上記ステップ３１６において否定判定となった場合にはステップ３２０に移行し、左基準画像および右基準画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第３撮影処理プログラムを終了する。
【００８１】
以上の第３撮影処理プログラムの実行により、一例として図１０（Ａ）に示すように、左基準画像Ｌ２と右基準画像Ｒ２との間の画素数Ｐ１が、左合成画像ＬＣと右合成画像ＲＣとの間の画素数Ｐ２より少ない場合は、マルチフレーム合成が成功して主要被写体に３次元焦点が合っていると見なして、左合成画像ＬＣおよび右合成画像ＲＣの各画像データが記録メディア２６Ａに記録される一方、一例として図１０（Ｂ）に示すように、画素数Ｐ１が画素数Ｐ２以上である場合は、マルチフレーム合成によってブレやボケが発生してクロスポイント調整が失敗していると見なして、左基準画像Ｌ２および右基準画像Ｒ２の各画像データが記録メディア２６Ａに記録される。
【００８２】
以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と同様の効果を奏することができると共に、前記第１立体画像関連情報を、前記視点毎のクロスポイント調整された後の基準画像における視差が零を含む予め定められた範囲内の画素数を示す第１画素数（本実施の形態では、画素数Ｐ１）とし、前記第２立体画像関連情報を、前記視点毎のクロスポイント調整された後の合成画像における視差が零を含む予め定められた範囲内の画素数を示す第２画素数（本実施の形態では、画素数Ｐ２）として、前記第１画素数が前記第２画素数以上である場合に前記基準画像を前記視点毎に記録し、前記第１画素数が前記第２画素数より少ない場合に前記合成画像を前記視点毎に記録しているので、上記画素数の関係のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００８３】
［第４の実施の形態］
以下、本発明の第４の実施の形態について詳細に説明する。なお、本第４の実施の形態に係る複眼デジタルカメラ１の構成は、図１および図２に示される上記第１の実施の形態に係る複眼デジタルカメラ１と同様であるので、ここでの説明は省略する。
【００８４】
以下、図１１を参照して、本第４の実施の形態に係る複眼デジタルカメラ１の作用を説明する。なお、図１１は、レリーズボタン１１が半押し操作を経て全押し操作に移行した際に、本第４の実施の形態に係る複眼デジタルカメラ１の主制御部２０によって実行される第４撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってマルチフレーム合成機能を働かせることが設定されている場合について説明する。
【００８５】
同図のステップ４００では、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々によって予め定められた回数（本実施の形態では、３回）の撮影を連続的に行うように制御し、次のステップ４０２では、当該連続的な撮影によって得られた左画像群に対し、前述した多重合成を実行して左合成画像を生成すると共に、上記連続的な撮影によって得られた右画像群に対し、前述した多重合成を実行して右合成画像を生成する。
【００８６】
次のステップ４０４では、左基準画像、右基準画像、左合成画像、および右合成画像の各画像に対して主要被写体の検出を行う。なお、本実施の形態に係る複眼デジタルカメラ１では、当該主要被写体の検出を、対象とする画像の中央部を含む領域であると共に、輝度値が中央部の輝度値を中心とした予め定められた範囲（本実施の形態では、最大輝度値の１０％に相当する範囲）内の領域で、かつ予め定められた面積（本実施の形態では、対象とする画像の全面積の１０％に相当する面積）以上の領域を抽出することにより行っているが、これに限らず、従来既知の他の主要被写体検出法を適用することができることは言うまでもない。
【００８７】
次のステップ４０６では、左基準画像、右基準画像、左合成画像、および右合成画像の全ての画像について主要被写体が検出されたか否かを判定し、肯定判定となった場合はステップ４０８に移行する。
【００８８】
ステップ４０８では、左基準画像と右基準画像との間でステレオ・マッチングを行うことにより、これらの基準画像間の主要被写体の領域における対応点数ＴＳ１を導出し、次のステップ４１０では、左合成画像と右合成画像との間でステレオ・マッチングを行うことにより、これらの合成画像間の主要被写体の領域における対応点数ＴＳ２を導出する。
【００８９】
次のステップ４１２では、以上の処理によって得られた対応点数ＴＳ１が対応点数ＴＳ２より少ないか否かを判定し、否定判定となった場合は後述するステップ４２２に移行する一方、肯定判定となった場合はステップ４１４に移行して、左合成画像および右合成画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第４撮影処理プログラムを終了する。
【００９０】
一方、上記ステップ４０６において否定判定となった場合はステップ４１６に移行し、左基準画像と右基準画像との間でステレオ・マッチングを行うことにより、これらの基準画像間の全ての領域における対応点数ＴＡ１を導出し、次のステップ４１８では、左合成画像と右合成画像との間でステレオ・マッチングを行うことにより、これらの合成画像間の全ての領域における対応点数ＴＡ２を導出する。
【００９１】
次のステップ４２０では、以上の処理によって得られた対応点数ＴＡ１が対応点数ＴＡ２より少ないか否かを判定し、肯定判定となった場合は前述したステップ４１４に移行する一方、否定判定となった場合はステップ４２２に移行して、左基準画像および右基準画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第４撮影処理プログラムを終了する。
【００９２】
以上の第４撮影処理プログラムの実行により、一例として図１２（Ａ）に示すように、左基準画像Ｌ２と右基準画像Ｒ２との間の主要被写体の領域における対応点数ＴＳ１が、左合成画像ＬＣと右合成画像ＲＣとの間の主要被写体の領域における対応点数ＴＳ２より少ない場合は、左合成画像ＬＣおよび右合成画像ＲＣの各画像データが記録メディア２６Ａに記録される一方、一例として図１２（Ｂ）に示すように、対応点数ＴＳ１が対応点数ＴＳ２以上である場合は、左基準画像Ｌ２および右基準画像Ｒ２の各画像データが記録メディア２６Ａに記録される。
【００９３】
以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、前記第１対応点数を、前記視点毎の基準画像における主要被写体間の対応点の数（本実施の形態では、対応点数ＴＳ１）とし、前記第２対応点数を、前記視点毎の合成画像における主要被写体間の対応点の数（本実施の形態では、対応点数ＴＳ２）としているので、より高精度でマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【００９４】
［第５の実施の形態］
以下、本発明の第５の実施の形態について詳細に説明する。なお、本第５の実施の形態に係る複眼デジタルカメラ１の構成は、図１および図２に示される上記第１の実施の形態に係る複眼デジタルカメラ１と同様であるので、ここでの説明は省略する。
【００９５】
以下、図１３を参照して、本第５の実施の形態に係る複眼デジタルカメラ１の作用を説明する。なお、図１３は、レリーズボタン１１が半押し操作を経て全押し操作に移行した際に、本第５の実施の形態に係る複眼デジタルカメラ１の主制御部２０によって実行される第５撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってマルチフレーム合成機能を働かせることが設定されている場合について説明する。
【００９６】
同図のステップ５００では、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々によって予め定められた回数（本実施の形態では、３回）の撮影を連続的に行うように制御し、次のステップ５０２では、当該連続的な撮影によって得られた左画像群に対し、前述した多重合成を実行して左合成画像を生成すると共に、上記連続的な撮影によって得られた右画像群に対し、前述した多重合成を実行して右合成画像を生成する。
【００９７】
次のステップ５０４では、左基準画像、右基準画像、左合成画像、および右合成画像における共通の動体（以下、「共通動体」という。）の検出を行う。なお、本実施の形態に係る複眼デジタルカメラ１では、当該共通動体の検出を、対象とする画像における空間周波数の高周波成分が予め定められたレベルより低くなっている領域で、かつ左基準画像、右基準画像、左合成画像、および右合成画像の各々で略同一の位置に存在する領域を検出することにより行っているが、これに限らず、従来既知の他の動体検出法を適用することができることは言うまでもない。
【００９８】
次のステップ５０６では、上記共通動体が検出されたか否かを判定し、肯定判定となった場合はステップ５０８に移行する。
【００９９】
ステップ５０８では、左基準画像と右基準画像との間でステレオ・マッチングを行うことにより、これらの基準画像間の上記共通動体の領域における対応点数ＴＤ１を導出し、次のステップ４１０では、左合成画像と右合成画像との間でステレオ・マッチングを行うことにより、これらの合成画像間の上記共通動体の領域における対応点数ＴＤ２を導出する。
【０１００】
次のステップ５１２では、以上の処理によって得られた対応点数ＴＤ１が対応点数ＴＤ２より少ないか否かを判定し、否定判定となった場合は後述するステップ５２２に移行する一方、肯定判定となった場合はステップ５１４に移行して、左合成画像および右合成画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第５撮影処理プログラムを終了する。
【０１０１】
一方、上記ステップ５０６において否定判定となった場合はステップ５１６に移行し、左基準画像と右基準画像との間でステレオ・マッチングを行うことにより、これらの基準画像間の全ての領域における対応点数ＴＡ１を導出し、次のステップ５１８では、左合成画像と右合成画像との間でステレオ・マッチングを行うことにより、これらの合成画像間の全ての領域における対応点数ＴＡ２を導出する。
【０１０２】
次のステップ５２０では、以上の処理によって得られた対応点数ＴＡ１が対応点数ＴＡ２より少ないか否かを判定し、肯定判定となった場合は前述したステップ５１４に移行する一方、否定判定となった場合はステップ５２２に移行して、左基準画像および右基準画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第５撮影処理プログラムを終了する。
【０１０３】
被写体に動体が含まれる画像を用いてマルチフレーム合成を行う場合、一例として図１４に示すように、連続撮影した複数の画像の中で動体部分（同図では車）の位置が変化するため、結果的に左合成画像や右合成画像に動体ぶれが生じてしまう場合がある。
【０１０４】
そこで、本実施の形態に係る複眼デジタルカメラ１では、左基準画像Ｌ２と右基準画像Ｒ２との間の動体の領域における対応点数ＴＤ１が、左合成画像ＬＣと右合成画像ＲＣとの間の動体の領域における対応点数ＴＤ２より少ない場合は、左合成画像ＬＣおよび右合成画像ＲＣの上記動体ぶれによる画質の劣化が左基準画像Ｌ２および右基準画像Ｒ２に比較して少ないものと見なして、左合成画像ＬＣおよび右合成画像ＲＣの各画像データが記録メディア２６Ａに記録される一方、対応点数ＴＤ１が対応点数ＴＤ２以上である場合は、左合成画像ＬＣおよび右合成画像ＲＣの上記動体ぶれによる画質の劣化が左基準画像Ｌ２および右基準画像Ｒ２に比較して大きいものと見なして、左基準画像Ｌ２および右基準画像Ｒ２の各画像データが記録メディア２６Ａに記録される。
【０１０５】
以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、前記第１対応点数を、前記視点毎の基準画像における同一の動体間の対応点の数（本実施の形態では、対応点数ＴＤ１）とし、前記第２対応点数を、前記視点毎の合成画像における同一の動体間の対応点の数（本実施の形態では、対応点数ＴＤ２）としているので、より高精度でマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【０１０６】
［第６の実施の形態］
以下、本発明の第６の実施の形態について詳細に説明する。なお、本第６の実施の形態に係る複眼デジタルカメラ１の構成は、図１および図２に示される上記第１の実施の形態に係る複眼デジタルカメラ１と同様であるので、ここでの説明は省略する。
【０１０７】
以下、図１５を参照して、本第６の実施の形態に係る複眼デジタルカメラ１の作用を説明する。なお、図１５は、レリーズボタン１１が半押し操作を経て全押し操作に移行した際に、本第６の実施の形態に係る複眼デジタルカメラ１の主制御部２０によって実行される第６撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってマルチフレーム合成機能を働かせることが設定されている場合について説明する。
【０１０８】
同図のステップ６００では、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々によって予め定められた回数（本実施の形態では、３回）の撮影を連続的に行うように制御し、次のステップ６０２では、当該連続的な撮影によって得られた左画像群に対し、前述した多重合成を実行して左合成画像を生成すると共に、上記連続的な撮影によって得られた右画像群に対し、前述した多重合成を実行して右合成画像を生成する。
【０１０９】
次のステップ６０４では、左画像群における左基準画像と右画像群における右基準画像との間でステレオ・マッチングを行うことにより、これらの基準画像間の対応点を導出し、次のステップ６０６では、導出した基準画像間の各対応点間の垂直方向に対するずれ量（距離）の平均値ｄＹを導出する。
【０１１０】
次のステップ６０８では、上記ステップ６０２の処理によって得られた左合成画像と右合成画像との間でステレオ・マッチングを行うことにより、これらの合成画像間の対応点を導出し、次のステップ６１０では、導出した合成画像間の各対応点間の垂直方向に対するずれ量（距離）の平均値ｄＹＣを導出する。なお、図１６（Ａ）には、基準画像間の各対応点間の垂直方向に対するずれ量のヒストグラムの一例が示されており、図１６（Ｂ）には、合成画像間の各対応点間の垂直方向に対するずれ量のヒストグラムの一例が示されている。
【０１１１】
次のステップ６１２では、以上の処理によって得られた平均値ｄＹが平均値ｄＹＣより大きいか否かを判定し、肯定判定となった場合はマルチフレーム合成によって垂直方向の位置ずれが補正されたと見なしてステップ６１４に移行し、左合成画像および右合成画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第６撮影処理プログラムを終了する。
【０１１２】
一方、上記ステップ６１２において否定判定となった場合にはマルチフレーム合成により垂直方向の位置がずれてしまったと見なしてステップ６１６に移行し、左基準画像および右基準画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第６撮影処理プログラムを終了する。
【０１１３】
以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、前記第１立体画像関連情報を、前記視点毎の基準画像間における対応点間の垂直方向の距離を示す第１距離（本実施の形態では、平均値ｄＹ）とし、前記第２立体画像関連情報を、前記視点毎の合成画像間における対応点間の垂直方向の距離を示す第２距離（本実施の形態では、平均値ｄＹＣ）として、前記第１距離が前記第２距離以下である場合に前記基準画像を前記視点毎に記録し、前記第１距離が前記第２距離より大きい場合に前記合成画像を前記視点毎に記録しているので、上記対応点間の垂直方向の距離のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【０１１４】
なお、本実施の形態では、本発明の第１距離として、基準画像間の各対応点間の垂直方向に対するずれ量の平均値ｄＹを適用し、本発明の第２距離として、合成画像間の各対応点間の垂直方向に対するずれ量の平均値ｄＹＣを適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、本発明の第１距離として、基準画像間の各対応点間の垂直方向に対するずれ量の最大値を適用すると共に、本発明の第２距離として、合成画像間の各対応点間の垂直方向に対するずれ量の最大値を適用してもよく、本発明の第１距離として、基準画像間の各対応点間の垂直方向に対するずれ量の最頻値を適用すると共に、本発明の第２距離として、合成画像間の各対応点間の垂直方向に対するずれ量の最頻値を適用してもよい。
【０１１５】
［第７の実施の形態］
以下、本発明の第７の実施の形態について詳細に説明する。なお、本第７の実施の形態に係る複眼デジタルカメラ１の構成は、図１および図２に示される上記第１の実施の形態に係る複眼デジタルカメラ１と同様であるので、ここでの説明は省略する。
【０１１６】
ところで、本実施の形態に係る複眼デジタルカメラ１には、一例として図１７に示すように、マルチフレーム合成機能における連続的な撮影によって視点毎に得られた複数の画像（本実施の形態では３つの画像であり、図１７では左画像Ｌ１〜Ｌ３）に対し、背景領域と主要被写体領域とを分離して背景領域のみを予め定められた程度だけぼかした後に各画像を多重合成することにより背景領域のぼかし量を制御する、ぼかしコントロール処理機能が搭載されている。
【０１１７】
次に、図１８を参照して、本第７の実施の形態に係る複眼デジタルカメラ１の作用を説明する。なお、図１８は、レリーズボタン１１が半押し操作を経て全押し操作に移行した際に、本第７の実施の形態に係る複眼デジタルカメラ１の主制御部２０によって実行される第７撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってぼかしコントロール処理機能を働かせることが設定されている場合について説明する。
【０１１８】
同図のステップ７００では、左用撮影部２１Ａおよび右用撮影部２１Ｂの各々によって、各々焦点位置を予め定められた量だけずらしながら、予め定められた回数（本実施の形態では、３回）の撮影を連続的に行うように制御する。
【０１１９】
次のステップ７０２では、以上の処理によって得られた左画像群および右画像群の各々について、焦点位置の差分に基づいて背景領域を特定し、次のステップ７０４にて、上記左画像群に対し、上記ぼかしコントロール処理機能による多重合成を実行して左合成画像を生成すると共に、上記右画像群に対し、上記ぼかしコントロール処理機能による多重合成を実行して右合成画像を生成する。
【０１２０】
次のステップ７０６では、左基準画像と右基準画像との間でステレオ・マッチングを行うことにより、これらの基準画像間の背景領域を除く主要被写体の領域における対応点数ＴＳＫと、背景領域における対応点数ＴＨＫとを導出し、次のステップ７０８にて、対応点数比ＮＰを次の（１）式により算出する。
【０１２１】
【数１】
【０１２２】
次のステップ７１０では、左合成画像と右合成画像との間でステレオ・マッチングを行うことにより、これらの合成画像間の背景領域を除く主要被写体の領域における対応点数ＴＳＧと、背景領域における対応点数ＴＨＧとを導出し、次のステップ７１２にて、対応点数比ＮＰＣを次の（２）式により算出する。
【０１２３】
【数２】
【０１２４】
次のステップ７１４では、以上の処理によって得られた対応点数比ＮＰが対応点数比ＮＰＣより少ないか否かを判定し、肯定判定となった場合は、ぼかしコントロール処理機能が成功して主要被写体がくっきりとし、かつ背景領域がぼけていると見なしてステップ７１６に移行し、左合成画像および右合成画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第７撮影処理プログラムを終了する。
【０１２５】
一方、上記ステップ７１４において否定判定となった場合には、ぼかしコントロール処理機能が失敗して主要被写体がぼけているか、または背景領域がぼけていないと見なしてステップ７１８に移行し、左基準画像および右基準画像の各画像データを記録メディア２６Ａに立体画像ファイルとして記憶した後、本第７撮影処理プログラムを終了する。
【０１２６】
以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、前記第１立体画像関連情報を、前記視点毎の基準画像間の背景画像の対応点数に対する主要被写体の対応点数の割合を示す第１割合（本実施の形態では、対応点数比ＮＰ）とし、前記第２立体画像関連情報を、前記視点毎の合成画像間の背景画像の対応点数に対する主要被写体の対応点数の割合を示す第２割合（本実施の形態では、対応点数比ＮＰＣ）として、前記第１割合が前記第２割合以上である場合に前記基準画像を前記視点毎に記録し、前記第１割合が前記第２割合より少ない場合に前記合成画像を前記視点毎に記録しているので、上記対応点数の割合のみを用いて簡易にマルチフレーム合成による画質の低下の発生を未然に防止することができる。
【０１２７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０１２８】
また、上記の実施の形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明を抽出できる。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０１２９】
例えば、上記各実施の形態では、本発明の画像処理装置を複眼デジタルカメラ１に適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、本発明の画像処理装置を複眼デジタルカメラ１の連続的な撮影によって得られた左画像群および右画像群を、記録メディア２６Ａを介して取得するパーソナル・コンピュータ等の情報処理装置に適用する形態としてもよい。この場合、当該情報処理装置によって本発明の取得手段、合成手段、および記録手段の各手段による処理を実行する。この場合も、上記各実施の形態と同様の効果を奏することができる。
【０１３０】
また、上記各実施の形態では、マルチフレーム合成機能の実行が設定されているにもかかわらず、合成画像が記録できなかった場合に何ら報知しない場合について説明したが、本発明はこれに限定されるものではなく、例えば、この場合に、音の発生や振動の発生等によって報知する形態としてもよい。
【０１３１】
なお、上記音の発生による報知を適用する場合の形態例としては、複眼デジタルカメラ１にブザーを内蔵しておき、当該ブザーを鳴動させることにより報知する形態、複眼デジタルカメラ１にスピーカを内蔵しておき、当該スピーカにより音声を発生させることにより報知する形態等を例示することができる。また、上記振動の発生による報知を適用する場合の形態例としては、複眼デジタルカメラ１にバイブレータを内蔵しておき、当該バイブレータを振動させることにより報知する形態等を例示することができる。
【０１３２】
また、上記各実施の形態では言及しなかったが、基準画像を記録したのか、合成画像を記録したのかを示す情報を記録した画像と関連付けて記録する形態としてもよい。
【０１３３】
また、上記各実施の形態では、本発明を２眼のデジタルカメラに適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、３眼以上のデジタルカメラに適用する形態としてもよい。
【０１３４】
また、上記各実施の形態では、検出対象とする領域内の全ての対応点を適用対象とした場合について説明したが、本発明はこれに限定されるものではなく、例えば、相関値が一定値以上の確度の高い対応点のみを適用対象とする形態、輝度の高周波成分が所定量より多い合焦領域の対応点のみを適用対象とする形態、画像の縮小等によって解像度を荒くすることで誤認識し難くした状態で検出された対応点を適用対象とする形態等としてもよい。
【０１３５】
また、上記各実施の形態では、本発明を、静止画像を撮影するデジタルカメラに適用した場合について説明したが、本発明はこれに限定されるものではなく、動画撮影を行うデジタルカメラに本発明を適用する形態としてもよい。この場合、例えば、５フレームで合成処理を行う場合にはフレームレートが１／５（５分の１）になるだけで、特に問題が生じることはない。
【０１３６】
また、上記第７の実施の形態では、焦点位置の差分に基づいて背景領域と、主要被写体の領域とを特定する場合について説明したが、本発明はこれに限定されるものではなく、例えば、一例として図１９に示すように、上記第２の実施の形態において導出したオクルージョン領域が背景領域と主要被写体の領域との境界領域に位置することを利用して、背景領域と主要被写体の領域とを特定する形態としてもよい。
【０１３７】
その他、上記各実施の形態で説明した複眼デジタルカメラ１の構成（図１，図２参照。）は一例であり、本発明の主旨を逸脱しない範囲内において、不要な部分を削除したり、新たな部分を追加したり、接続状態等を変更したりすることができることは言うまでもない。
【０１３８】
さらに、上記各実施の形態で説明した各種処理プログラムの処理の流れ（図４，図６，図９，図１１，図１３，図１５，図１８参照。）も一例であり、本発明の主旨を逸脱しない範囲内において、不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ換えたりすることができることは言うまでもない。
【符号の説明】
【０１３９】
１ 複眼デジタルカメラ
１０ 筐体
１１ レリーズボタン
１６ 液晶ディスプレイ
２０ 主制御部（取得手段、合成手段、記録手段）
２１Ａ 左用撮影部
２１Ｂ 右用撮影部
【特許請求の範囲】
【請求項１】
各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得する取得手段と、
前記取得手段によって取得された複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する合成手段と、
前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成手段により合成された前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録する記録手段と、
を備えた画像処理装置。
【請求項２】
前記第１立体画像関連情報は、前記視点毎の基準画像間の対応点の数を示す第１対応点数であり、
前記第２立体画像関連情報は、前記視点毎の合成画像間の対応点の数を示す第２対応点数であり、
前記記録手段は、前記第１対応点数が前記第２対応点数以上の場合に前記基準画像を前記視点毎に記録し、前記第１対応点数が前記第２対応点数より少ない場合に前記合成画像を前記視点毎に記録する
請求項１記載の画像処理装置。
【請求項３】
前記第１対応点数は、前記視点毎の基準画像における主要被写体間の対応点の数であり、
前記第２対応点数は、前記視点毎の合成画像における主要被写体間の対応点の数である
請求項２記載の画像処理装置。
【請求項４】
前記第１対応点数は、前記視点毎の基準画像における同一の動体間の対応点の数であり、
前記第２対応点数は、前記視点毎の合成画像における同一の動体間の対応点の数である
請求項２記載の画像処理装置。
【請求項５】
前記第１立体画像関連情報は、前記視点毎の基準画像におけるオクルージョン領域の面積を示す第１面積であり、
前記第２立体画像関連情報は、前記視点毎の合成画像におけるオクルージョン領域の面積を示す第２面積であり、
前記記録手段は、前記第１面積が前記第２面積以上である場合に前記基準画像を前記視点毎に記録し、前記第１面積が前記第２面積より小さい場合に前記合成画像を前記視点毎に記録する
請求項１記載の画像処理装置。
【請求項６】
前記第１立体画像関連情報は、前記視点毎のクロスポイント調整された後の基準画像における視差が零を含む予め定められた範囲内の画素数を示す第１画素数であり、
前記第２立体画像関連情報は、前記視点毎のクロスポイント調整された後の合成画像における視差が零を含む予め定められた範囲内の画素数を示す第２画素数であり、
前記記録手段は、前記第１画素数が前記第２画素数以上である場合に前記基準画像を前記視点毎に記録し、前記第１画素数が前記第２画素数より少ない場合に前記合成画像を前記視点毎に記録する
請求項１記載の画像処理装置。
【請求項７】
前記第１立体画像関連情報は、前記視点毎の基準画像間における対応点間の垂直方向の距離を示す第１距離であり、
前記第２立体画像関連情報は、前記視点毎の合成画像間における対応点間の垂直方向の距離を示す第２距離であり、
前記記録手段は、前記第１距離が前記第２距離以下である場合に前記基準画像を前記視点毎に記録し、前記第１距離が前記第２距離より大きい場合に前記合成画像を前記視点毎に記録する
請求項１記載の画像処理装置。
【請求項８】
前記第１立体画像関連情報は、前記視点毎の基準画像間の背景画像の対応点数に対する主要被写体の対応点数の割合を示す第１割合であり、
前記第２立体画像関連情報は、前記視点毎の合成画像間の背景画像の対応点数に対する主要被写体の対応点数の割合を示す第２割合であり、
前記記録手段は、前記第１割合が前記第２割合以上である場合に前記基準画像を前記視点毎に記録し、前記第１割合が前記第２割合より少ない場合に前記合成画像を前記視点毎に記録する
請求項１記載の画像処理装置。
【請求項９】
各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得する取得工程と、
前記取得工程によって取得された複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する合成工程と、
前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成工程により合成された前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録する記録工程と、
を有する画像処理方法。
【請求項１０】
コンピュータを、
各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得する取得手段と、
前記取得手段によって取得された複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する合成手段と、
前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成手段により合成された前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録する記録手段と、
として機能させるためのプログラム。
【請求項１】
各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得する取得手段と、
前記取得手段によって取得された複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する合成手段と、
前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成手段により合成された前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録する記録手段と、
を備えた画像処理装置。
【請求項２】
前記第１立体画像関連情報は、前記視点毎の基準画像間の対応点の数を示す第１対応点数であり、
前記第２立体画像関連情報は、前記視点毎の合成画像間の対応点の数を示す第２対応点数であり、
前記記録手段は、前記第１対応点数が前記第２対応点数以上の場合に前記基準画像を前記視点毎に記録し、前記第１対応点数が前記第２対応点数より少ない場合に前記合成画像を前記視点毎に記録する
請求項１記載の画像処理装置。
【請求項３】
前記第１対応点数は、前記視点毎の基準画像における主要被写体間の対応点の数であり、
前記第２対応点数は、前記視点毎の合成画像における主要被写体間の対応点の数である
請求項２記載の画像処理装置。
【請求項４】
前記第１対応点数は、前記視点毎の基準画像における同一の動体間の対応点の数であり、
前記第２対応点数は、前記視点毎の合成画像における同一の動体間の対応点の数である
請求項２記載の画像処理装置。
【請求項５】
前記第１立体画像関連情報は、前記視点毎の基準画像におけるオクルージョン領域の面積を示す第１面積であり、
前記第２立体画像関連情報は、前記視点毎の合成画像におけるオクルージョン領域の面積を示す第２面積であり、
前記記録手段は、前記第１面積が前記第２面積以上である場合に前記基準画像を前記視点毎に記録し、前記第１面積が前記第２面積より小さい場合に前記合成画像を前記視点毎に記録する
請求項１記載の画像処理装置。
【請求項６】
前記第１立体画像関連情報は、前記視点毎のクロスポイント調整された後の基準画像における視差が零を含む予め定められた範囲内の画素数を示す第１画素数であり、
前記第２立体画像関連情報は、前記視点毎のクロスポイント調整された後の合成画像における視差が零を含む予め定められた範囲内の画素数を示す第２画素数であり、
前記記録手段は、前記第１画素数が前記第２画素数以上である場合に前記基準画像を前記視点毎に記録し、前記第１画素数が前記第２画素数より少ない場合に前記合成画像を前記視点毎に記録する
請求項１記載の画像処理装置。
【請求項７】
前記第１立体画像関連情報は、前記視点毎の基準画像間における対応点間の垂直方向の距離を示す第１距離であり、
前記第２立体画像関連情報は、前記視点毎の合成画像間における対応点間の垂直方向の距離を示す第２距離であり、
前記記録手段は、前記第１距離が前記第２距離以下である場合に前記基準画像を前記視点毎に記録し、前記第１距離が前記第２距離より大きい場合に前記合成画像を前記視点毎に記録する
請求項１記載の画像処理装置。
【請求項８】
前記第１立体画像関連情報は、前記視点毎の基準画像間の背景画像の対応点数に対する主要被写体の対応点数の割合を示す第１割合であり、
前記第２立体画像関連情報は、前記視点毎の合成画像間の背景画像の対応点数に対する主要被写体の対応点数の割合を示す第２割合であり、
前記記録手段は、前記第１割合が前記第２割合以上である場合に前記基準画像を前記視点毎に記録し、前記第１割合が前記第２割合より少ない場合に前記合成画像を前記視点毎に記録する
請求項１記載の画像処理装置。
【請求項９】
各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得する取得工程と、
前記取得工程によって取得された複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する合成工程と、
前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成工程により合成された前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録する記録工程と、
を有する画像処理方法。
【請求項１０】
コンピュータを、
各々異なる複数の視点からそれぞれ連続的に撮影された複数の画像を取得する取得手段と、
前記取得手段によって取得された複数の画像から前記視点毎に基準画像を決定し、当該基準画像を基準として前記複数の画像を当該視点毎に合成する合成手段と、
前記視点毎の基準画像間の対応点に関する第１立体画像関連情報と、前記合成手段により合成された前記視点毎の合成画像間の対応点に関する第２立体画像関連情報との関係が、前記基準画像のほうが前記合成画像より立体視に適していることを示すものとして予め定められた条件を満足する場合に前記基準画像を前記視点毎に記録し、前記条件を満足しない場合に前記合成画像を前記視点毎に記録する記録手段と、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図９】
【図１１】
【図１３】
【図１５】
【図１６】
【図１８】
【図５】
【図８】
【図１０】
【図１２】
【図１４】
【図１７】
【図１９】
【図２】
【図３】
【図４】
【図６】
【図７】
【図９】
【図１１】
【図１３】
【図１５】
【図１６】
【図１８】
【図５】
【図８】
【図１０】
【図１２】
【図１４】
【図１７】
【図１９】
【公開番号】特開２０１２−２１５９８０（Ｐ２０１２−２１５９８０Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−７９５８５（Ｐ２０１１−７９５８５）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]