画像処理装置、画像処理方法及びプログラム
【課題】立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段(S101)と、複数の視点から代表視点を決定する第1決定手段と、代表視点の複数の画像から基準画像を決定する第2決定手段(S103)と、代表視点以外の視点の複数の画像において、代表視点の基準画像と最も類似度の高い画像を代表視点以外の視点毎に基準画像として選択する選択手段(S107)と、視点毎に、各々選択された基準画像をベースに複数の画像の合成処理を行う合成手段(S109、S111)と、を備えた。
【解決手段】各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段(S101)と、複数の視点から代表視点を決定する第1決定手段と、代表視点の複数の画像から基準画像を決定する第2決定手段(S103)と、代表視点以外の視点の複数の画像において、代表視点の基準画像と最も類似度の高い画像を代表視点以外の視点毎に基準画像として選択する選択手段(S107)と、視点毎に、各々選択された基準画像をベースに複数の画像の合成処理を行う合成手段(S109、S111)と、を備えた。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に、立体撮影によって得られた画像に対して画像処理を行う画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【0002】
近年、小型電子機器の発展に伴って、立体画像を撮影する機能を備えた撮影装置が開発されるようになってきた。例えば特許文献1には、単眼式の小型の撮像装置で簡単に立体画像を得ることができる撮影装置が記載されている。この撮影装置は、立体撮影モードに設定されると、レリーズボタンを半押しされている間、一定時間間隔で連続して本撮影を行い、連写した画像から安定パンニング中に撮影され、かつ両眼視差に最も近い位置で撮影された2枚組みの画像を抽出し、抽出した2枚組の画像の中から、最も滑らかにパンニングがされている2枚組みの画像を、最も立体視画像に適した2枚組みの画像として抽出し、さらにパンニング方向を検出し、最も立体視画像に適した2枚組みの画像のそれぞれを左目側画像と右目側画像に振り分けて記録するものである。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−103980号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1に開示されているような撮像系を1つしかもたないカメラにおいて、複数フレームの多重合成処理、所謂マルチフレーム合成処理を行う際は、多重化によるブレやボケを最小にするため、フレーム間差分が最も少ない時系列で中央に位置するフレームを基準フレームとして前後のフレームを基準フレームに合わせて変形等させてから合成処理を行う。一方、複数の撮像系を持つ立体カメラにおいては、複数の撮像系を完全に同時に動作させることはできないため、例えば左視点、右視点から同時に撮影した場合であっても、撮像系間の時系列中央画像には露光タイミングに若干のずれが発生する。そのため、各撮像系の基準フレームの被写体に時間的なずれが発生し、立体視したときに視認し難いなどの欠点が生じる可能性がある。この欠点は、動体の撮影を行った場合に特に問題になる。
【0005】
本発明は、このような課題を解決するためになされたものであり、その目的は、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するために、請求項1に記載の画像処理装置は、各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段と、前記複数の視点から代表視点を決定する第1決定手段と、前記代表視点の前記複数の画像から基準画像を決定する第2決定手段と、前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択手段と、前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成手段と、を備えている。
【0007】
請求項1に記載の画像処理装置によれば、取得手段により、各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像が取得され、第1決定手段により、前記複数の視点から代表視点が決定され、第2決定手段により、前記代表視点の前記複数の画像から基準画像が決定される。また、選択手段により、前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像が前記代表視点以外の視点毎に基準画像として選択され、合成手段により、前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理が行われる。これにより、請求項1に記載の画像処理装置では、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0008】
なお、本発明は、請求項2に記載の発明のように、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対して露光タイミングが最も近い画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、露光タイミングが最も近い画像を選択するという簡易な処理により、良好な立体画像を得ることができる。
【0009】
また、本発明は、請求項3に記載の発明のように、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する対応点数が最大の画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、対応点数が最大の画像を選択するという簡易な処理により、良好な立体画像を得ることができる。
【0010】
また、本発明は、請求項4に記載の発明のように、前記各々異なる複数の視点から連続的に撮影された複数の画像の各々から主要被写体を抽出する抽出手段を更に備え、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する前記抽出手段により抽出された主要被写体の対応点数が最大の画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。
【0011】
また、本発明は、請求項5に記載の発明のように、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する視差のずれ量が最小の画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。
【0012】
また、本発明は、請求項6に記載の発明のように、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。
【0013】
一方、上記目的を達成するために、請求項7に記載の画像処理方法は、各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得ステップと、前記複数の視点から代表視点を決定する第1決定ステップと、前記代表視点の前記複数の画像から基準画像を決定する第2決定ステップと、前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択ステップと、前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成ステップと、を行うものである。
【0014】
従って、請求項7に記載の画像処理方法によれば、請求項1に記載の発明と同様に作用するので、請求項1に記載の発明と同様に、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0015】
一方、上記目的を達成するために、請求項8に記載のプログラムは、コンピュータを、各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段と、前記複数の視点から代表視点を決定する第1決定手段と、前記代表視点の前記複数の画像から基準画像を決定する第2決定手段と、前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択手段と、前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成手段として機能させるためのものである。
【0016】
従って、請求項8に記載のプログラムによれば、コンピュータを請求項1に記載の発明と同様に作用させることができるので、請求項1に記載の発明と同様に、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【発明の効果】
【0017】
本発明によれば、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる、という効果が得られる。
【図面の簡単な説明】
【0018】
【図1】実施形態に係る複眼デジタルカメラを示す斜視図であり、(A)は正面斜視図であり、(B)は背面斜視図である。
【図2】実施形態に係る複眼デジタルカメラの電気系の要部構成を示す概略ブロック図である。
【図3】(A)は、単眼デジタルカメラによるマルチフレーム合成処理の説明に供する図であり、(B)は、実施形態に係る複眼デジタルカメラによるマルチフレーム合成処理の説明に供する図である。
【図4】第1実施形態に係る複眼デジタルカメラによる第1撮影処理の説明に供する図である。
【図5】第1実施形態に係る第1撮影処理プログラムの処理の流れを示すフローチャートである。
【図6】第2実施形態に係る複眼デジタルカメラによる第2撮影処理の説明に供する図である。
【図7】第2実施形態に係る第2撮影処理プログラムの処理の流れを示すフローチャートである。
【図8】第3実施形態に係る複眼デジタルカメラによる第3撮影処理の説明に供する図である。
【図9】第3実施形態に係る第3撮影処理プログラムの処理の流れを示すフローチャートである。
【図10】第4実施形態に係る複眼デジタルカメラによる第4撮影処理の説明に供する図である。
【図11】第4実施形態に係る第4撮影処理プログラムの処理の流れを示すフローチャートである。
【図12】第5実施形態に係る複眼デジタルカメラによる第5撮影処理の説明に供する図である。
【図13】第5実施形態に係る第5撮影処理プログラムの処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本実施形態では、本発明を複眼デジタルカメラに適用した場合について説明する。
【0020】
図1は、本実施形態に係る複眼デジタルカメラ1の構成を示す斜視図であり、(A)は正面斜視図であり、(B)は背面斜視図である。図1に示すように、複眼デジタルカメラ1は筐体10を備えていて、筐体10の内部にCPU(Central Processing Unit)やRAM(Random Access Memory)などの各種電子部品が収納されている。筐体10の上面にはレリーズボタン11が備えられていて、ユーザがこのレリーズボタン11を押下することにより複眼デジタルカメラ1に撮影などの指示を入力することができる。
【0021】
また、筐体10の上面には電源ボタン12が備えられていて、ユーザがこの電源ボタン12を押下することにより、複眼デジタルカメラ1の電源のオン/オフ状態を切り替える指示を入力することができる。さらに、筐体10の上面にはズームレバー13が備えられていて、ユーザがこのズームレバー13を操作することにより、撮影時にズーム機能の画角や倍率の変更の指示を入力することができる。
【0022】
一方、図1(A)に示すように、筐体10の正面にはフラッシュ14が備えられていて、撮影時に周囲を照明することができる。また、筐体10の正面には複数のレンズ15A、15Bが備えられていて、これらのレンズ15A、15Bに入射した光が当該レンズ15A、15Bを通過して内部に入力される。
【0023】
また、図1(B)に示すように、筐体10の背面には、液晶ディスプレイ16が備えられていて、撮影画像や設定事項などが表示される。また、筐体10の背面には、各種操作ボタン17が備えられていて、ユーザが各種操作ボタン17を操作することにより各種設定事項の設定の指示を入力することができる。
【0024】
図2は、複眼デジタルカメラ1の電気系の要部構成を示す概略ブロック図である。図2に示すように、複眼デジタルカメラ1は、主制御部20、左用撮影部21A、右用撮影部21B、撮影制御部22、画像処理部23、圧縮/伸張処理部24、フレームメモリ25、メディア制御部26、内部メモリ27、表示制御部28、三次元処理部30、及び視差マップ生成部31を備えている。
【0025】
主制御部20は、CPUやRAMを備えていて、電源ボタン12や各種操作ボタン17などを介したユーザ操作に従って、複眼デジタルカメラ1を総括的に制御する。また、主制御部20は、後述する第1撮影処理プログラム乃至第5撮影処理プログラムを実行する。
【0026】
左用撮影部21Aは、CCDやCMOSで構成された撮像素子を有し、レンズ15Aに入射した光を受光して電気信号に変換して画像を再構成する。同様に、右用撮影部21Bは、CCD(Charge Coupled Device Image Sensor)やCMOS(Complementary Metal Oxide Semiconductor)で構成された撮像素子を有し、レンズ15Bに入射した光を受光して電気信号に変換して画像を再構成する。左用撮影部21A及び右用撮影部21Bは、被写体を見込む輻輳角を持って予め定められた基線長となる位置に配置されている。なお、輻輳角、基線長の情報は内部メモリ27に記憶されている。
【0027】
撮影制御部22は、AF(Automatic Focusing)処理部(図示せず)及びAE(Automatic Exposure)処理部(図示せず)を備えている。AF処理部は、ユーザによるレリーズボタン11の半押し操作などにより左用撮影部21A、右用撮影部21Bによって取得されたプレ画像(撮影前にレンズ15A、15Bから入射されている画像)に基づいて合焦領域を決定するとともに、レンズの焦点位置を決定し、左用撮影部21A、右用撮影部21Bに合焦領域や焦点位置を示すデータを出力する。AE処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、左用撮影部21A、右用撮影部21Bにシャッタ速度や絞り値を示すデータを出力する。
【0028】
また、撮影制御部22は、ユーザによるレリーズボタン11の全押し操作により左用撮影部21Aに対して左画像、右用撮影部21Bに対して右画像の本画像を取得する本撮影を行うように指示を出す。なお、レリーズボタン11が操作される前は、撮影制御部22は、撮影範囲を確認するための本画像よりも画素数が少ない動画像であるスルー画像を、所定時間間隔(例えば1/30秒間隔)にて順次取得させる指示を左用撮影部21A、右用撮影部21Bに対して行っている。
【0029】
画像処理部23は、左用撮影部21A、右用撮影部21Bがそれぞれ取得した各々の画像のデジタル画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正などの様々な画像処理を施す。
【0030】
圧縮/伸張処理部24は、画像処理部23によって処理が施された画像を表す画像データに対して、例えばJPEGなどの圧縮形式で圧縮処理を行い、左用撮影部21Aが取得した画像の画像データを左画像とし、右用撮影部21Bが取得した画像のデジタル画像データを右画像とした立体視用の立体画像ファイルを生成する。この立体視用の立体画像ファイルは、左画像及び右画像の画像データを含んでいるとともに、Exifフォーマットなどに基づいて、基線長、輻輳角、及び撮影日時などの付帯情報、並びに視点位置を表す視点情報などが格納される。
【0031】
フレームメモリ25は、左用撮影部21A、右用撮影部21Bがそれぞれ取得した画像の画像データに対して、前述の画像処理部23が行う処理を含む各種画像処理を行う際に使用される作業用メモリである。
【0032】
メディア制御部26は、複眼デジタルカメラ1に記録メディア26Aなどの各種記録メディアが電気接続された際に、この記録メディア26Aの記憶領域に対して画像ファイルなどのデータの読み書きの制御を行う。
【0033】
内部メモリ27は、複眼デジタルカメラ1において設定される各種設定事項、及び主制御部20が実行するプログラムやプログラムの処理に使用されるデータを記憶する。この内部メモリ27は、後述する第1撮影処理プログラム乃至第5撮影処理プログラムを記憶している。
【0034】
表示制御部28は、主制御部20または撮影制御部22による制御に基づいて、撮影時においてフレームメモリ25に格納された各々の画像から立体視用画像を生成して液晶ディスプレイ16に表示させたり、記録メディア26Aに記憶されている立体画像ファイルから立体視用画像を生成して液晶ディスプレイ16に表示させたりする。
【0035】
三次元処理部30は、主制御部20または撮影制御部22による制御に基づいて、表示制御部28が画像の立体視表示を行う際に、立体視用の画像データに含まれる左画像及び右画像の画像データにそれぞれ三次元処理を行って立体視用の画像を生成する。
【0036】
視差マップ生成部31は、主制御部20または撮影制御部22による制御に基づいて、左画像と右画像との相互の視差マップを生成する。ここで、視差は、左画像及び右画像の双方に含まれる被写体の左画像と右画像との水平方向における画素位置の相違として算出することができる。視差マップを適切に生成することにより、立体視用の画像に含まれる被写体の立体感を適切なものとすることができる。
【0037】
ところで、本実施形態に係る複眼デジタルカメラ1は、ノイズの低減、撮影感度の向上、撮影画像のダイナミックレンジの拡大といった撮影画像の画質を向上させることを目的として、左用撮影部21A及び右用撮影部21Bの各々の視点からそれぞれ連続的に撮影された複数(本実施の形態では、5枚)の画像のうちの視点(撮影系)毎に予め定められた基準画像をそれぞれ基準として、各々の視点から撮影された複数の画像をそれぞれ視点毎に合成するマルチフレーム合成機能を備えている。
【0038】
以下、本実施形態に係るマルチフレーム合成機能について説明する。従来、単眼デジタルカメラにおいてマルチフレーム合成処理が行われている。図3(A)は、単眼デジタルカメラによるマルチフレーム合成処理の説明に供する図である。図3(A)に示すように、単眼デジタルカメラは、撮影系において、複数(本実施形態では、5枚)の画像F1乃至F5を連続して取得し、それらの複数の画像F1乃至F5からなる画像群40を多重合成するマルチフレーム合成処理を行う。多重合成する際には、他の画像に対する変化量が少ない画像、例えば画像群40に含まれる画像F1乃至F5を露光時刻順に並べた際に中央に位置する画像F3を基準画像FBとして、画像F3に対して他の画像F1、F2、F4、F5を合成する。
【0039】
一方、本実施形態に係る複眼デジタルカメラ1は、左撮影部21Aにより連続して撮影された複数の画像、右撮影部21Bにより連続して撮影された複数の画像の各々に対してマルチフレーム合成処理を施した上で、これらの画像を用いて立体視用の画像データを生成する。図3(B)は、本実施形態に係る複眼デジタルカメラ1によるマルチフレーム合成処理の説明に供する図である。図3(B)に示すように、複眼デジタルカメラ1は、立体視用の画像を撮影する際に、左撮影部21Aにより左目で見た画像に相当する左画像を撮影し、右撮影部21Bにより右目で見た画像に相当する右画像を撮影し、撮影された左画像と右画像との水平方向におけるずれ(視差)を用いて、立体視用の画像データを生成する。
【0040】
そして、複眼デジタルカメラ1は、立体視用の画像データを生成する際、左撮影部21A、右撮影部21Bの各々の撮影系毎に、非同期の状態で連続的に複数回撮影することで得られる複数の画像からなる左画像群40L、右画像群40Rに対してそれぞれ別個にマルチフレーム合成処理を行って、立体視用の画像データとして内部メモリ27に記憶する。なお、上記「非同期の状態で」の語句は、「完全に同期した状態で撮影する場合を除く」ことを意味しており、同期させて撮影しようとしたが実際には同期できていない場合も含んでいる。
【0041】
ここで、立体視用の画像データを生成する場合には、左画像群40Lに含まれる画像L1乃至L5を露光時刻順に並べた際に中央に位置する画像L3と、右画像群40Rに含まれる画像R1乃至R5を露光時刻順に並べた際に中央に位置する画像R3をそれぞれ基準画像LB、RBとするより、他の条件で選択された画像をそれぞれ基準画像LB、RBとした方がより立体的な立体画像の画像データを生成できる場合も考えられる。このような場合には、後述する第1実施形態乃至第5実施形態のように、他の条件に基づいて基準画像LB、RBを選択することが望ましい。
【0042】
なお、以上のように視点毎に多重合成を行う際には、露光タイミングにおける複眼デジタルカメラ1の微小な位置ずれ等により各画像に含まれる被写体の状態の微小な差異を鑑み、基準画像LB、RBと合成する各画像に含まれる被写体の状態を、基準画像LB、RBに含まれる、対応する被写体の状態に近づけるための画像処理を施す。この際の画像処理としては、基準画像に合成する画像全体の平行移動、回転または拡大といった画像全体に対する画像処理の他、基準画像に合成する画像を予め定められた複数の領域に分割し、分割領域毎に、基準画像とのステレオ・マッチングを行うことによって得られる同一対応点同士の位置を一致させるように画像を変形等する画像処理が含まれる。
【0043】
ここで、本実施形態に係る複眼デジタルカメラ1では、ユーザによって各種操作ボタン17を介してマルチフレーム合成機能を動作させることが設定された場合のみ、以上のような左画像および右画像の多重合成が行われて、各画像が立体画像を示す画像として記録メディア26Aに記録される。
【0044】
また、本実施形態に係る複眼デジタルカメラ1は、始めに左撮影系21Aを代表視点と決定して、左撮影系21Aにより得られた左画像群40Lから左画像の基準画像LBを決定した後に、代表視点以外の視点である右撮影系21Bにより得られた右画像群40Rから、左画像の基準画像LBと最も類似度が高い画像を右画像の基準画像RBとして選択する。
【0045】
〔第1実施形態〕
以下、図面を参照して、本発明の第1実施形態について詳細に説明する。
【0046】
第1実施形態に係る複眼デジタルカメラ1は、立体視用の撮影を行った後に、相互に露光タイミングが最も近い左画像及び右画像をそれぞれ左画像の基準画像LB及び右画像の基準画像RBとして選択する。そのためには、複眼デジタルカメラ1は、左画像群40Lに含まれる複数の画像L1乃至L5のうちのいずれかを左画像の基準画像LBとして選択し、右画像群40Rに含まれる複数の画像R1乃至R5から、左画像の基準画像LBに露光タイミングが最も近い画像を左画像の基準画像LBに最も類似度が高い画像であると判断して右画像の基準画像RBとして選択すれば良い。そして、複眼デジタルカメラ1は、左画像群40L、右画像群40Rのそれぞれにおいて、選択された基準画像LB、RBに他の画像を合成させるようにしてマルチフレーム合成処理を行う。
【0047】
すなわち、複眼デジタルカメラ1の左用撮影部21A及び右用撮影部21Bを用いて、それぞれ独立させて複数の撮影画像を連続して取得する場合、各々の撮影処理を同期させるように制御して撮影処理を行ったとしても、各撮影部に設けられた撮影素子が別のものであるためフォーカスタイミングなどがずれてしまう結果、各撮影部で露光タイミングなどにずれが生じてしまい、露光順が同一の画像を基準画像LB、RBとして選択しても露光タイミングが若干ずれてしまっている可能性がある。このような場合には、交互に露光タイミングが最も近い画像を基準画像LB、RBとして選択することが望ましい。
【0048】
そこで、本実施形態に係る複眼デジタルカメラ1では、相互に露光タイミングが最も近い画像をそれぞれ左画像の基準画像LB、右画像の基準画像RBとして、左画像群40L、右画像群40Rにおいてそれぞれマルチフレーム合成処理を行うことにより、立体視用の画像データを生成する。
【0049】
図4は、第1実施形態に係る複眼デジタルカメラ1における基準画像の選択方法の説明に供する図である。図4に示すように、左画像群40Lに含まれる複数の画像L1乃至L5のうち、露光時刻順に並べた際に中央に位置する画像L3を左画像の基準画像LBとした場合に、右画像群40Rに含まれる複数の画像R1乃至R5のうち、左画像の基準画像LBに対して露光時刻が最も近い画像R2が左画像の基準画像LBに最も類似度が高い画像であると判断されて、右画像の基準画像RBとして選択される。
【0050】
次に、本実施形態に係る複眼デジタルカメラ1の作用を、図5を参照しつつ説明する。なお、図5は、レリーズボタン11が半押し操作を経て全押し操作に移行したタイミングで複眼デジタルカメラ1の主制御部20により実行される第1撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ27に予め記憶されている。
【0051】
まず、主制御部20は、左撮影部21A及び右撮影部21Bの双方で並行して撮影を行うように制御する(S101)。この際、一例として図4に示すように、左撮影部21Aにより左画像群40Lとして5枚の画像L1乃至L5を連続して撮影するように制御する。一方、右撮影部21Bによっても同様に右画像群40Rとして5枚の画像R1乃至R5を連続して撮影するように制御する。
【0052】
次に、主制御部20は、左画像群40Lから左画像の基準画像LBを選択する(S103)。前述したように、マルチフレーム合成を行う際には、撮影順の時系列に並んだ複数の画像のうち、露光時刻順に並べた際に中央に位置する画像を基準画像として合成処理を行うことが望ましい。よって、本実施形態に係る複眼デジタルカメラ1では、左画像群40Lに含まれる5つの画像L1乃至L5のうちの露光時刻が中央に位置する画像L3を基準画像LBとして選択する。
【0053】
次に、主制御部20は、右画像群40Rに含まれる画像R1乃至R5の各々について、ステップS103にて選択された左画像群40Lの基準画像LBに対する露光時刻の差を導出する(S105)。図4に示すように、例えば左画像群40Lの画像L1の露光時刻を計時開始時刻として、左画像群40Rの画像L3が0.014秒、右画像群40Rの画像R1が0.004秒、画像R2が0.011秒、画像R3が0.018秒、画像R4が0.025秒、画像R5が0.032秒である場合、露光時刻の差はそれぞれ0.01秒、0.003秒、0.004秒、0.011秒、0.018秒と導出される。
【0054】
次に、主制御部20は、右画像群40Rから右画像の基準画像RBを選択する(S107)。各画像群の露光時刻が図4に示すものである場合、右画像群40Rに含まれる画像R1乃至R5のうち、左画像の基準画像L3に対する露光時刻の差が最も小さい画像、すなわち左画像群40Lの画像L3の露光時刻に最も近い画像は画像R2であるため、本実施形態に係る複眼デジタルカメラ1では、画像R2を右画像群40Rの基準画像RBとして選択する。
【0055】
次に、主制御部20は、左画像群40Lに含まれる画像L1乃至L5の各々について、ステップS103にて選択された画像を基準画像LBとして左画像群40Lに含まれる各々の画像L1乃至L5についてマルチフレーム合成を行う(S109)。この際、主制御部20は、画像L1、L2、L4、L5について基準画像LBである画像L3に対する対応点を、画像L1、L2、L4、L5の各々と基準画像LBとの間でステレオ・マッチングを行うことにより抽出して、各々の対応点が重なるように画像L1、L2、L4、L5を変形させる等して基準画像LBである画像L3に重ね合わせる。
【0056】
次に、主制御部20は、右画像群40Rに含まれる画像R1乃至R5の各々についても同様に、ステップS107にて選択された画像を基準画像RBとして右画像群40Rに含まれる各々の画像R1乃至R5についてマルチフレーム合成を行う(S111)。この際、ステップS109と同様に、主制御部20は、画像R1、R3乃至R5について基準画像RBである画像R2に対する対応点を、画像R1、R3乃至R5の各々と基準画像RBとの間でステレオ・マッチングを行うことにより抽出して、各々の対応点が重なるように画像R1、R3乃至R5を変形させる等して基準画像RBである画像R2に重ね合わせる。
【0057】
次に、主制御部20は、ステップS109にてマルチフレーム合成された画像を示す画像データ、およびステップS111にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ27に記憶して(S113)、第1撮影処理プログラムを終了する。
【0058】
このように、第1実施形態に係る複眼デジタルカメラ1では、各々異なる複数の撮影系(視点)毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点(左撮影系21A)が決定されるととともに、代表視点の複数の画像(左画像群40L)から基準画像(左画像の基準画像LB)が決定される。また、第1実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)の複数の画像(右画像群40R)において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像(右画像の基準画像RB)として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0059】
ここで、本第1実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)より得られた複数の画像(画像群40R)から、代表視点の基準画像と最も類似度の高い画像として、露光タイミングが最も近い画像を選択する。これにより、露光タイミングが最も近い画像を選択するという簡易な処理により、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0060】
なお、本第1実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1について説明したが、撮影部の数はこれに限定されず、3つ以上の撮像部を有する3眼以上の複眼デジタルカメラであっても良い。この場合にも、本第1実施形態における処理と同様に、1つの撮影部により得られた画像における予め定められた基準画像に対して最も露光タイミングが近い画像が、残りの撮影部により得られた画像からそれぞれ基準画像として選択されて、マルチフレーム合成処理が行われる。
【0061】
また、本第1実施形態として、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第1実施形態における処理と同様に、1つのカメラにより得られた画像における予め定められた基準画像に対して最も露光タイミングが近い画像が、残りのカメラにより得られた画像から基準画像として選択されて、マルチフレーム合成処理が行われる。
【0062】
また、本第1実施形態では、左撮影系21Aを代表視点と決定した上で、代表視点により得られた左画像群40Lにおいて露光時刻が中央に位置する画像を基準画像LBとして選択する例について説明したが、これに限定されず、右撮影系21Bを代表視点とした上で、代表視点により得られた右画像群40Rにおいて露光時刻順に並べた際に中央に位置する画像を基準画像RBとして選択して、左画像群40Lから基準画像RBに露光タイミングが最も近い画像を左画像の基準画像LBとして選択しても良い。
【0063】
〔第2実施形態〕
次に、本発明の第2実施形態について説明する。
【0064】
第2実施形態に係る複眼デジタルカメラ1は、左右各々の画像間の対応点を抽出してその個数(対応点数)を導出し、導出された対応点数によってマルチフレーム合成処理の際の基準画像LB、RBを選択するものである。
【0065】
画像間の対応点は、画像中の特徴点のうち複数の画像間にて対応付けられた特徴点である。複数の画像間での対応を求める対応点探索はオプティカルフローやステレオ画像間のマッチングなどに必要な処理であり、この処理の一般的な手法に例えばテンプレートマッチングがある。テンプレートマッチングは画像中の点の類似度を各点の近傍内の画素−テンプレート-によって評価する手法である。
【0066】
図6は、第2実施形態に係る複眼デジタルカメラ1における基準画像の選択方法の説明に供する図である。図6に示すように、左画像群40Lに含まれる複数の画像L1乃至L5のうち画像L3を左画像の基準画像LBとした場合に、右画像群40Rに含まれる複数の画像R1乃至R5のうち、左画像の基準画像LBに対して対応点数が最も多い画像R2が左画像の基準画像LBに最も類似度が高い画像であると判断されて、右画像の基準画像RBとして選択される。
【0067】
次に、本第2実施形態に係る複眼デジタルカメラ1の作用を図7を参照しつつ説明する。なお、図7は、レリーズボタン11が半押し状態を経て全押し状態に移行したタイミングで複眼デジタルカメラ1の主制御部20により実行される第2撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ27に予め記憶されている。
【0068】
まず、主制御部20は、ステップS101と同様に、左撮影部21A、右撮影部21Bの双方で並行して撮影を行うように制御する(S201)。また主制御部20は、ステップS103と同様に、左画像群40Lから左画像の基準画像LBを選択する(S203)。本実施形態に係る複眼デジタルカメラ1では、左画像群40Lに含まれる5つの画像L1乃至L5のうちの露光時刻順に並べた際に中央に位置する画像L3が基準画像LBとして選択される。
【0069】
主制御部20は、右画像群40Rに含まれる画像R1乃至R5の各々について、ステップS203にて選択された左画像群40Lの基準画像LBに対する対応点数を導出する(S205)。図6に示すように、例えば左画像群40Lの画像L3に対して、右画像群40Rの画像R1の対応点数が1500ピクセル、画像R2が1600ピクセル、画像R3が1550ピクセル、画像R4が1400ピクセル、画像R5が1300ピクセルと導出される。
【0070】
次に、主制御部20は、右画像群40Rから右画像の基準画像RBを選択する(S207)。図6に示すように、右画像群40Rに含まれる画像R1乃至R5のうち、左画像の基準画像LBである画像L3に対する対応点数が最大の画像が画像R2であるため、本実施形態に係る複眼デジタルカメラ1では、画像R2が右画像の基準画像RBとして選択される。
【0071】
主制御部20は、ステップS109と同様に、左画像群40Lに含まれる画像L1乃至L5の各々について、ステップS203にて選択された画像を基準画像LBとして左画像群40Lに含まれる各々の画像L1乃至L5についてマルチフレーム合成を行う(S209)。また主制御部20は、右画像群40Rに含まれる各々の画像R1乃至R5についても同様に、ステップS207にて選択された画像を基準画像RBとして右画像群40Rに含まれる各々の画像R1乃至R5についてマルチフレーム合成を行う(S211)。
【0072】
主制御部20は、ステップS209にてマルチフレーム合成された画像を示す画像データ、及びステップS211にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ27に記憶して(S213)、第2撮影処理プログラムを終了する。
【0073】
このようにして第2実施形態に係る複眼デジタルカメラ1は、各々異なる複数の撮影系(視点)毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点(左撮影系21A)が決定されるととともに、代表視点の複数の画像(左画像群40L)から基準画像(左画像の基準画像LB)が決定される。また、第1実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)の複数の画像(右画像群40R)において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像(右画像の基準画像RB)として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0074】
ここで、本第2実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)の右画像群40Rから、代表視点(左撮影系21A)の基準画像(左画像の基準画像LB)と最も類似度の高い画像として、代表視点の基準画像に対する対応点数が最大の画像が選択される。これにより、対応点数が最大の画像を選択するという簡易な処理により、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0075】
なお、本第2実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1について説明したが、撮影部の数はこれに限定されず、3つ以上の撮像部を有する3眼以上の複眼デジタルカメラであっても良い。この場合にも、本第1実施形態における処理と同様に、1つの撮影部により得られた画像における予め定められた基準画像に対する対応点数が最大の画像が、残りの撮影部により得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0076】
また、本第2実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第1実施形態における処理と同様に、1つのカメラにより得られた画像における予め定められた基準画像に対する対応点数が最大の画像が、残りのカメラにより得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0077】
また、基準画像LB、RBを選択する際に、所定の閾値を設けて選択範囲を限定しても良い。すなわち、本実施形態ではステップS207において右画像群40Rに含まれる画像R1乃至R5から右画像の基準画像RBを選択する例について説明したが、これに限定されず、ステップS207において右画像群40Rに含まれる画像R1乃至R5のうち中央の画像R3から所定枚数の範囲から右画像の基準画像RBを選択しても良い。(例えば所定枚数を1枚とした場合には、選択範囲が画像R2乃至R4の範囲となり、画像R2乃至R4から基準画像RBが選択される。)
【0078】
〔第3実施形態〕
以下、本発明の第3実施形態について説明する。
【0079】
第3実施形態に係る複眼デジタルカメラ1は、オートクロスポイント調整を行った際に視差マップを生成して視差が所定値以下になる画素数によりマルチフレーム合成処理の際の基準画像LB、RBを選択するものである。
【0080】
オートクロスポイント調整は、主要被写体が視差0になるように行われる左右画像位置の調整である。例えば、第3実施形態に係る複眼デジタルカメラ1は、右画像群40Rに含まれる画像R1乃至R5の各々について、左画像の基準画像LBに対してオートクロスポイント調整を行った上で、図8に示すようなヒストグラムを作成する。ヒストグラムの横軸は、ピクセルで表した場合の画像L3に対する視差を示し、縦軸は、画素の個数を表している。そして、右画像群40Rに含まれる画像R1乃至R5のうち、視差0を基準として所定範囲内、例えば画像幅の±3%以内の画素の個数が最大となる画像、すなわち視差のずれ量が最小の画像が左画像の基準画像LBに最も類似度が高い画像であると判断されて、右画像の基準画像RBとして選択される。これにより、視差0を基準として所定範囲内の画素の個数が最大の画像、すなわち主要被写体のずれが最も小さい画像が基準画像として選択される。
【0081】
なお、上記所定値を画像幅の±3%以下とした場合には、例えば画像R1乃至R5の幅がそれぞれ640ピクセルであるとき、−19ピクセル乃至+19ピクセルの範囲の視差値が最も多い右画像が選択される。また、クロスポイントを設定する際には、ユーザが手動で行ってもよい。
【0082】
以下、本第3実施形態に係る複眼デジタルカメラ1の作用を図9を参照しつつ説明する。なお、図9は、レリーズボタン11が半押し状態を経て全押し状態に移行したタイミングで複眼デジタルカメラ1の主制御部20により実行される第3撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ27に予め記憶されている。
【0083】
まず、主制御部20は、ステップS101と同様に、左撮影部21A及び右撮影部21Bの双方で並行して撮影処理を行う(S301)。また主制御部20は、ステップS103と同様に、左画像群40Lから左画像の基準画像LBを選択する(S303)。本実施形態に係る複眼デジタルカメラ1では、左画像群40Lに含まれる5つの画像L1乃至L5のうちの露光時刻順に並べた際に中央に位置する画像L3が基準画像LBとして選択される。
【0084】
主制御部20は、右画像群40Rに含まれる画像R1乃至R5の各々について、ステップS303にて選択された左画像群40Lの基準画像LBに対して自動クロスポイント調整を行う(S305)。
【0085】
主制御部20は、ステップS305にて自動クロスポイント調整された右画像群40Rに含まれる各々の画像R1乃至R5について、ステップS303にて選択された左画像群40Lの基準画像LBに対する視差が画像幅の±3%以下になる画素数を導出してヒストグラム化する(S307)。
【0086】
主制御部20は、右画像群40Rから右画像の基準画像RBを選択する(S309)。図8に示すように、ステップS303にて選択された左画像群40Lの基準画像LBである画像L3に対する視差が画像幅の±3%以下になる画素数が最大の画像が画像R2であるため、本実施形態に係る複眼デジタルカメラ1では、画像R2が右画像の基準画像RBとして選択される。
【0087】
主制御部20は、ステップS109と同様に、左画像群40Lに含まれる各々の画像L1乃至L5について、ステップS303にて選択された画像を基準画像LBとして左画像群40Lに含まれる各々の画像L1乃至L5についてマルチフレーム合成を行う(S311)。また主制御部20は、右画像群40Rに含まれる各々の画像R1乃至R5についても同様に、ステップS309にて選択された画像を基準画像RBとして右画像群40Rに含まれる各々の画像R1乃至R5についてマルチフレーム合成を行う(S313)。
【0088】
主制御部20は、ステップS311にてマルチフレーム合成された画像を示す画像データ、及びステップS313にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ27に記憶して(S315)、第3撮影処理プログラムを終了する。
【0089】
このようにして第3実施形態に係る複眼デジタルカメラ1は、各々異なる複数の撮影系(視点)毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点(左撮影系21A)が決定されるととともに、代表視点の複数の画像(左画像群40L)から基準画像(左画像の基準画像LB)が決定される。また、第1実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)の複数の画像(右画像群40R)において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像(右画像の基準画像RB)として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0090】
ここで、本第3実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)より得られた複数の画像(画像群40R)から、代表視点(左撮影系21A)の基準画像(左画像の基準画像LB)と最も類似度の高い画像として、代表視点の基準画像に対する視差のずれ量が最小の画像が選択される。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。
【0091】
なお、本第3実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1について説明したが、撮影部の数はこれに限定されず、3つ以上の撮像部を有する3眼以上の複眼デジタルカメラであっても良い。この場合にも、本第1実施形態における処理と同様に、1つの撮影部により得られた画像における予め定められた基準画像に対する視差のずれ量が最小の画像が、残りの撮影部により得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0092】
また、本第3実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第1実施形態における処理と同様に、1つのカメラにより得られた画像における予め定められた基準画像に対する視差のずれ量が最小の画像が、残りのカメラにより得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0093】
また、本第3実施形態では、視差が画像幅の±3%以下の範囲に最大の画像を基準画像として選択される例を示したが、判定に使用される視差の範囲は±3%以下の範囲に限定されず、視差の大きさのばらつきによって適宜設定されれば良い。
【0094】
〔第4実施形態〕
以下、本発明の第4実施形態について説明する。
【0095】
第4実施形態の複眼デジタルカメラ1は、各画像から主要被写体を抽出したうえで各々の画像間の主要被写体の対応点を抽出することによってマルチフレーム合成処理の際の基準画像LB、RBを選択するものである。なお、主要被写体を抽出する方法は、例えば輝度の変化により抽出する方法や、周波数や画素値の変化により輪郭を抽出する方法など、任意である。
【0096】
図10は、第4実施形態に係る複眼デジタルカメラ1における基準画像の選択方法の説明に供する図である。図10に示すように、左画像群40Lに含まれる複数の画像L1乃至L5のうち画像L3を左画像の基準画像LBとした場合に、右画像群40Rに含まれる複数の画像R1乃至R5のうち、左画像の基準画像LBに対して主要被写体に含まれる対応点数が最も多い画像R2が左画像の基準画像LBに最も類似度が高い画像であると判断されて、右画像の基準画像RBとして選択される。
【0097】
以下、本第4実施形態に係る複眼デジタルカメラ1の作用を図11を参照しつつ説明する。なお、図11は、レリーズボタン11が半押し状態を経て全押し状態に移行したタイミングで複眼デジタルカメラ1の主制御部20により実行される第4撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ27に予め記憶されている。
【0098】
まず、主制御部20は、ステップS101と同様に、左撮影部21A及び右撮影部21Bの双方で並行して撮影処理を行う(S401)。また主制御部20は、ステップS103と同様に、左画像群40Lから左画像の基準画像LBを選択する(S403)。本実施形態に係る複眼デジタルカメラ1では、左画像群40Lに含まれる5つの画像L1乃至L5のうち、露光時刻順に並べた際に中央に位置する画像L3が基準画像LBとして選択される。
【0099】
主制御部20は、左撮影系40Lの基準画像LBと、右画像群40Rに含まれる画像R1乃至R5の各々において、主要被写体を抽出する(S405)。
【0100】
主制御部20は、右画像群40Rに含まれる各々の画像R1乃至R5について、ステップS403にて選択された左画像群40Lの基準画像LBに対する主要被写体の対応点数を導出する(S407)。図10に示すように、例えば左画像の基準画像LBである画像L3に対して、右画像群40Rの画像R1の対応点数が450ピクセル、画像R2が550ピクセル、画像R3が500ピクセル、画像R4が390ピクセル、画像R5が330ピクセルと導出される。
【0101】
主制御部20は、右画像群40Rから右画像の基準画像RBを選択する(S409)。図10に示すように、右画像群40Rに含まれる画像R1乃至R5のうち、左画像の基準画像LBである画像L3に対する主要被写体の対応点数が最大の画像が画像R2であるため、本実施形態に係る複眼デジタルカメラ1では、画像R2が右画像の基準画像RBとして選択される。
【0102】
主制御部20は、ステップS109と同様に、左画像群40Lに含まれる各々の画像L1乃至L5について、ステップS403にて選択された画像を基準画像LBとして左画像群40Lに含まれる各々の画像L1乃至L5についてマルチフレーム合成を行う(S411)。また主制御部20は、右画像群40Rに含まれる各々の画像R1乃至R5についても同様に、ステップS409にて選択された画像を基準画像RBとして右画像群40Rに含まれる各々の画像R1乃至R5についてマルチフレーム合成を行う(S413)。
【0103】
主制御部20は、ステップS411にてマルチフレーム合成された画像を示す画像データ、及びステップS413にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ27に記憶して(S415)、第4撮影処理プログラムを終了する。
【0104】
このようにして第4実施形態に係る複眼デジタルカメラ1は、各々異なる複数の撮影系(視点)毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点(左撮影系21A)が決定されるととともに、代表視点の複数の画像(左画像群40L)から基準画像(左画像の基準画像LB)が決定される。また、第1実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)の複数の画像(右画像群40R)において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像(右画像の基準画像RB)として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0105】
ここで、本第4実施形態に係る複眼デジタルカメラ1では、複数の視点から連続的に撮影された複数の画像の各々から主要被写体が抽出されるとともに、代表視点以外の視点(右撮影系21B)より得られた複数の画像(画像群40R)から、代表視点(左撮影系21A)の基準画像(左画像の基準画像LB)と最も類似度の高い画像として、代表視点の基準画像に対する主要被写体の対応点数が最大の画像が選択される。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。
【0106】
なお、本第4実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1について説明したが、撮影部の数はこれに限定されず、3つ以上の撮像部を有する3眼以上の複眼デジタルカメラであっても良い。この場合にも、本第1実施形態における処理と同様に、1つの撮影部により得られた画像における予め定められた基準画像に対する主要被写体の対応点数が最大の画像が、残りの撮影部により得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0107】
また、本第4実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第1実施形態における処理と同様に、1つのカメラにより得られた画像における予め定められた基準画像に対する主要被写体の対応点数が最大の画像が、残りのカメラにより得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0108】
〔第5実施形態〕
以下、本発明の第5実施形態について説明する。
【0109】
第5実施形態に係る複眼デジタルカメラ1は、各々の画像間における対応点のずれにおいて垂直方向のずれ量の平均値を導出することによってマルチフレーム合成処理の際の基準画像LB、RBを選択するものである。なお、ここで言う垂直方向は、画像平面上において、各撮影系間(各視点間)において視差が生じる方向である視差方向に対する垂直方向である。
【0110】
図12は、第5実施形態に係る複眼デジタルカメラ1における基準画像の選択方法の説明に供する図である。図12の各々のグラフにおいて、横軸がずれの垂直ベクトルの大きさを示し、縦軸が個数(画素数)を示している。図12に示すように、左画像群40Lに含まれる複数の画像L1乃至L5のうち画像L3を左画像の基準画像LBとした場合に、右画像群40Rに含まれる画像R1乃至R5のうち、左画像の基準画像LBに対する対応点のずれの垂直方向のずれ量の平均値が最小になる画像、すなわち左画像の基準画像LBに対する垂直方向のずれが最も小さい画像である画像R2が左画像の基準画像LBに最も類似度が高い画像であると判断されて、右画像の基準画像RBとして選択される。
【0111】
以下、本第5実施形態に係る複眼デジタルカメラ1の作用を図13を参照しつつ説明する。なお、図13は、レリーズボタン11が半押し状態を経て全押し状態に移行したタイミングで複眼デジタルカメラ1の主制御部20により実行される第5撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ27に予め記憶されている。
【0112】
まず、主制御部20は、ステップS101と同様に、左撮影部21A及び右撮影部21Bの双方で並行して撮影処理を行う(S501)。また主制御部20は、ステップS103と同様に、左画像群40Lから左画像の基準画像LBを選択する(S503)。本実施形態に係る複眼デジタルカメラ1では、左画像群40Lに含まれる5つの画像L1乃至L5のうち、露光時刻順に並べた際に中央に位置する画像L3が基準画像LBとして選択される。
【0113】
主制御部20は、右画像群40Rに含まれる画像R1乃至R5の各々について、ステップS503にて選択された左画像群40Lの基準画像LBに対する対応点の垂直ベクトルを導出する(S505)。
【0114】
主制御部20は、右画像群40Rから右画像の基準画像RBを選択する(S507)。ステップS505にて導出されたずれの垂直ベクトルについて、大きさの平均値を導出し、右画像群40Rに含まれる画像R1乃至R5のうち、左画像の基準画像L3に対する対応点のずれの垂直ベクトルの大きさの平均値が最小のものが画像R2であるため、本実施形態に係る複眼デジタルカメラ1では、画像R2が右画像の基準画像RBとして選択される。
【0115】
主制御部20は、ステップS109と同様に、左画像群40Lに含まれる画像L1乃至L5の各々について、ステップS503にて選択された画像を基準画像LBとして左画像群40Lに含まれる各々の画像L1乃至L5についてマルチフレーム合成を行う(S509)。また主制御部20は、右画像群40Rに含まれる画像R1乃至R5の各々についても同様に、ステップS507にて選択された画像を基準画像RBとして右画像群40Rに含まれる各々の画像R1乃至R5についてマルチフレーム合成を行う(S511)。
【0116】
主制御部20は、ステップS509にてマルチフレーム合成された画像を示す画像データ、及びステップS511にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ27に記憶して(S513)、第5撮影処理プログラムを終了する。
【0117】
このようにして第5実施形態に係る複眼デジタルカメラ1は、各々異なる複数の撮影系(視点)毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点(左撮影系21A)が決定されるととともに、代表視点の複数の画像(左画像群40L)から基準画像(左画像の基準画像LB)が決定される。また、第1実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)の複数の画像(右画像群40R)において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像(右画像の基準画像RB)として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0118】
ここで、本第5実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)の複数の画像(画像群40R)から、代表視点(左撮影系21A)の基準画像(左画像の基準画像LB)と最も類似度の高い画像として、代表視点の基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像が選択される。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。
【0119】
なお、本第5実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1について説明したが、撮影部の数はこれに限定されず、3つ以上の撮像部を有する3眼以上の複眼デジタルカメラであっても良い。この場合にも、本第1実施形態における処理と同様に、1つの撮影部により得られた画像における予め定められた基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像が、残りの撮影部により得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0120】
また、本第5実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第1実施形態における処理と同様に、1つのカメラにより得られた画像における予め定められた基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像が、残りのカメラにより得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0121】
また、本第5実施形態では、左撮影系40Lの基準画像LBに対する対応点の垂直方向のずれ量の平均値が最小となる画像を基準画像とする例について説明したが、これに限定されず、例えば、左撮影系40Lの基準画像LBに対する対応点の垂直方向のずれ量の最大値が最小となる画像を基準画像としても良く、あるいは、左撮影系40Lの基準画像LBに対する対応点の垂直方向のずれ量の最頻値が最小となる画像を基準画像としても良い。
【0122】
また、第1実施形態乃至第5実施形態において、各々の撮影系21A、21Bにおいてそれぞれ5枚の画像を連続的に撮影してマルチフレーム合成処理を行う例について説明したが、これに限定されず、状況に応じて任意の枚数の画像を連続的に撮影してマルチフレーム合成処理に用いると良い。
【0123】
また、第1実施形態乃至第5実施形態において、各々の撮影系21A、21Bにおいてそれぞれ奇数回撮影する場合について説明したが、これに限定されず、偶数回撮影するようにしても良い。偶数回撮影する場合には、露光時刻順に並べた際に中央に位置する画像が1に定まらないので、撮影回数の1/2番目に位置する画像または(撮影回数の1/2+1)番目に位置する画像のいずれか一方を中央の画像として選択すると良い。
【符号の説明】
【0124】
1…複眼デジタルカメラ,10…筐体,11…レリーズボタン,12…電源ボタン,13…ズームレバー,14…フラッシュ,15A、15B…レンズ,16…液晶ディスプレイ,17…各種操作ボタン,20…主制御部,21A…左用撮影部,21B…右用撮影部,22…撮影制御部,23…画像処理部,24…圧縮/伸張処理部,25…フレームメモリ,26…メディア制御部,26A…記録メディア,27…内部メモリ,28…表示制御部,30…三次元処理部,31…視差マップ生成部,40…画像群,40L…左画像群,40R…右画像群,F1乃至F5…画像群に含まれる画像,L1乃至R1…左画像群に含まれる画像,R1乃至R5…右画像群に含まれる画像,FB…基準画像,LB…左画像群の基準画像,RB…右画像群の基準画像。
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に、立体撮影によって得られた画像に対して画像処理を行う画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【0002】
近年、小型電子機器の発展に伴って、立体画像を撮影する機能を備えた撮影装置が開発されるようになってきた。例えば特許文献1には、単眼式の小型の撮像装置で簡単に立体画像を得ることができる撮影装置が記載されている。この撮影装置は、立体撮影モードに設定されると、レリーズボタンを半押しされている間、一定時間間隔で連続して本撮影を行い、連写した画像から安定パンニング中に撮影され、かつ両眼視差に最も近い位置で撮影された2枚組みの画像を抽出し、抽出した2枚組の画像の中から、最も滑らかにパンニングがされている2枚組みの画像を、最も立体視画像に適した2枚組みの画像として抽出し、さらにパンニング方向を検出し、最も立体視画像に適した2枚組みの画像のそれぞれを左目側画像と右目側画像に振り分けて記録するものである。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−103980号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1に開示されているような撮像系を1つしかもたないカメラにおいて、複数フレームの多重合成処理、所謂マルチフレーム合成処理を行う際は、多重化によるブレやボケを最小にするため、フレーム間差分が最も少ない時系列で中央に位置するフレームを基準フレームとして前後のフレームを基準フレームに合わせて変形等させてから合成処理を行う。一方、複数の撮像系を持つ立体カメラにおいては、複数の撮像系を完全に同時に動作させることはできないため、例えば左視点、右視点から同時に撮影した場合であっても、撮像系間の時系列中央画像には露光タイミングに若干のずれが発生する。そのため、各撮像系の基準フレームの被写体に時間的なずれが発生し、立体視したときに視認し難いなどの欠点が生じる可能性がある。この欠点は、動体の撮影を行った場合に特に問題になる。
【0005】
本発明は、このような課題を解決するためになされたものであり、その目的は、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するために、請求項1に記載の画像処理装置は、各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段と、前記複数の視点から代表視点を決定する第1決定手段と、前記代表視点の前記複数の画像から基準画像を決定する第2決定手段と、前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択手段と、前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成手段と、を備えている。
【0007】
請求項1に記載の画像処理装置によれば、取得手段により、各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像が取得され、第1決定手段により、前記複数の視点から代表視点が決定され、第2決定手段により、前記代表視点の前記複数の画像から基準画像が決定される。また、選択手段により、前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像が前記代表視点以外の視点毎に基準画像として選択され、合成手段により、前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理が行われる。これにより、請求項1に記載の画像処理装置では、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0008】
なお、本発明は、請求項2に記載の発明のように、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対して露光タイミングが最も近い画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、露光タイミングが最も近い画像を選択するという簡易な処理により、良好な立体画像を得ることができる。
【0009】
また、本発明は、請求項3に記載の発明のように、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する対応点数が最大の画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、対応点数が最大の画像を選択するという簡易な処理により、良好な立体画像を得ることができる。
【0010】
また、本発明は、請求項4に記載の発明のように、前記各々異なる複数の視点から連続的に撮影された複数の画像の各々から主要被写体を抽出する抽出手段を更に備え、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する前記抽出手段により抽出された主要被写体の対応点数が最大の画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。
【0011】
また、本発明は、請求項5に記載の発明のように、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する視差のずれ量が最小の画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。
【0012】
また、本発明は、請求項6に記載の発明のように、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。
【0013】
一方、上記目的を達成するために、請求項7に記載の画像処理方法は、各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得ステップと、前記複数の視点から代表視点を決定する第1決定ステップと、前記代表視点の前記複数の画像から基準画像を決定する第2決定ステップと、前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択ステップと、前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成ステップと、を行うものである。
【0014】
従って、請求項7に記載の画像処理方法によれば、請求項1に記載の発明と同様に作用するので、請求項1に記載の発明と同様に、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0015】
一方、上記目的を達成するために、請求項8に記載のプログラムは、コンピュータを、各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段と、前記複数の視点から代表視点を決定する第1決定手段と、前記代表視点の前記複数の画像から基準画像を決定する第2決定手段と、前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択手段と、前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成手段として機能させるためのものである。
【0016】
従って、請求項8に記載のプログラムによれば、コンピュータを請求項1に記載の発明と同様に作用させることができるので、請求項1に記載の発明と同様に、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【発明の効果】
【0017】
本発明によれば、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる、という効果が得られる。
【図面の簡単な説明】
【0018】
【図1】実施形態に係る複眼デジタルカメラを示す斜視図であり、(A)は正面斜視図であり、(B)は背面斜視図である。
【図2】実施形態に係る複眼デジタルカメラの電気系の要部構成を示す概略ブロック図である。
【図3】(A)は、単眼デジタルカメラによるマルチフレーム合成処理の説明に供する図であり、(B)は、実施形態に係る複眼デジタルカメラによるマルチフレーム合成処理の説明に供する図である。
【図4】第1実施形態に係る複眼デジタルカメラによる第1撮影処理の説明に供する図である。
【図5】第1実施形態に係る第1撮影処理プログラムの処理の流れを示すフローチャートである。
【図6】第2実施形態に係る複眼デジタルカメラによる第2撮影処理の説明に供する図である。
【図7】第2実施形態に係る第2撮影処理プログラムの処理の流れを示すフローチャートである。
【図8】第3実施形態に係る複眼デジタルカメラによる第3撮影処理の説明に供する図である。
【図9】第3実施形態に係る第3撮影処理プログラムの処理の流れを示すフローチャートである。
【図10】第4実施形態に係る複眼デジタルカメラによる第4撮影処理の説明に供する図である。
【図11】第4実施形態に係る第4撮影処理プログラムの処理の流れを示すフローチャートである。
【図12】第5実施形態に係る複眼デジタルカメラによる第5撮影処理の説明に供する図である。
【図13】第5実施形態に係る第5撮影処理プログラムの処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本実施形態では、本発明を複眼デジタルカメラに適用した場合について説明する。
【0020】
図1は、本実施形態に係る複眼デジタルカメラ1の構成を示す斜視図であり、(A)は正面斜視図であり、(B)は背面斜視図である。図1に示すように、複眼デジタルカメラ1は筐体10を備えていて、筐体10の内部にCPU(Central Processing Unit)やRAM(Random Access Memory)などの各種電子部品が収納されている。筐体10の上面にはレリーズボタン11が備えられていて、ユーザがこのレリーズボタン11を押下することにより複眼デジタルカメラ1に撮影などの指示を入力することができる。
【0021】
また、筐体10の上面には電源ボタン12が備えられていて、ユーザがこの電源ボタン12を押下することにより、複眼デジタルカメラ1の電源のオン/オフ状態を切り替える指示を入力することができる。さらに、筐体10の上面にはズームレバー13が備えられていて、ユーザがこのズームレバー13を操作することにより、撮影時にズーム機能の画角や倍率の変更の指示を入力することができる。
【0022】
一方、図1(A)に示すように、筐体10の正面にはフラッシュ14が備えられていて、撮影時に周囲を照明することができる。また、筐体10の正面には複数のレンズ15A、15Bが備えられていて、これらのレンズ15A、15Bに入射した光が当該レンズ15A、15Bを通過して内部に入力される。
【0023】
また、図1(B)に示すように、筐体10の背面には、液晶ディスプレイ16が備えられていて、撮影画像や設定事項などが表示される。また、筐体10の背面には、各種操作ボタン17が備えられていて、ユーザが各種操作ボタン17を操作することにより各種設定事項の設定の指示を入力することができる。
【0024】
図2は、複眼デジタルカメラ1の電気系の要部構成を示す概略ブロック図である。図2に示すように、複眼デジタルカメラ1は、主制御部20、左用撮影部21A、右用撮影部21B、撮影制御部22、画像処理部23、圧縮/伸張処理部24、フレームメモリ25、メディア制御部26、内部メモリ27、表示制御部28、三次元処理部30、及び視差マップ生成部31を備えている。
【0025】
主制御部20は、CPUやRAMを備えていて、電源ボタン12や各種操作ボタン17などを介したユーザ操作に従って、複眼デジタルカメラ1を総括的に制御する。また、主制御部20は、後述する第1撮影処理プログラム乃至第5撮影処理プログラムを実行する。
【0026】
左用撮影部21Aは、CCDやCMOSで構成された撮像素子を有し、レンズ15Aに入射した光を受光して電気信号に変換して画像を再構成する。同様に、右用撮影部21Bは、CCD(Charge Coupled Device Image Sensor)やCMOS(Complementary Metal Oxide Semiconductor)で構成された撮像素子を有し、レンズ15Bに入射した光を受光して電気信号に変換して画像を再構成する。左用撮影部21A及び右用撮影部21Bは、被写体を見込む輻輳角を持って予め定められた基線長となる位置に配置されている。なお、輻輳角、基線長の情報は内部メモリ27に記憶されている。
【0027】
撮影制御部22は、AF(Automatic Focusing)処理部(図示せず)及びAE(Automatic Exposure)処理部(図示せず)を備えている。AF処理部は、ユーザによるレリーズボタン11の半押し操作などにより左用撮影部21A、右用撮影部21Bによって取得されたプレ画像(撮影前にレンズ15A、15Bから入射されている画像)に基づいて合焦領域を決定するとともに、レンズの焦点位置を決定し、左用撮影部21A、右用撮影部21Bに合焦領域や焦点位置を示すデータを出力する。AE処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、左用撮影部21A、右用撮影部21Bにシャッタ速度や絞り値を示すデータを出力する。
【0028】
また、撮影制御部22は、ユーザによるレリーズボタン11の全押し操作により左用撮影部21Aに対して左画像、右用撮影部21Bに対して右画像の本画像を取得する本撮影を行うように指示を出す。なお、レリーズボタン11が操作される前は、撮影制御部22は、撮影範囲を確認するための本画像よりも画素数が少ない動画像であるスルー画像を、所定時間間隔(例えば1/30秒間隔)にて順次取得させる指示を左用撮影部21A、右用撮影部21Bに対して行っている。
【0029】
画像処理部23は、左用撮影部21A、右用撮影部21Bがそれぞれ取得した各々の画像のデジタル画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正などの様々な画像処理を施す。
【0030】
圧縮/伸張処理部24は、画像処理部23によって処理が施された画像を表す画像データに対して、例えばJPEGなどの圧縮形式で圧縮処理を行い、左用撮影部21Aが取得した画像の画像データを左画像とし、右用撮影部21Bが取得した画像のデジタル画像データを右画像とした立体視用の立体画像ファイルを生成する。この立体視用の立体画像ファイルは、左画像及び右画像の画像データを含んでいるとともに、Exifフォーマットなどに基づいて、基線長、輻輳角、及び撮影日時などの付帯情報、並びに視点位置を表す視点情報などが格納される。
【0031】
フレームメモリ25は、左用撮影部21A、右用撮影部21Bがそれぞれ取得した画像の画像データに対して、前述の画像処理部23が行う処理を含む各種画像処理を行う際に使用される作業用メモリである。
【0032】
メディア制御部26は、複眼デジタルカメラ1に記録メディア26Aなどの各種記録メディアが電気接続された際に、この記録メディア26Aの記憶領域に対して画像ファイルなどのデータの読み書きの制御を行う。
【0033】
内部メモリ27は、複眼デジタルカメラ1において設定される各種設定事項、及び主制御部20が実行するプログラムやプログラムの処理に使用されるデータを記憶する。この内部メモリ27は、後述する第1撮影処理プログラム乃至第5撮影処理プログラムを記憶している。
【0034】
表示制御部28は、主制御部20または撮影制御部22による制御に基づいて、撮影時においてフレームメモリ25に格納された各々の画像から立体視用画像を生成して液晶ディスプレイ16に表示させたり、記録メディア26Aに記憶されている立体画像ファイルから立体視用画像を生成して液晶ディスプレイ16に表示させたりする。
【0035】
三次元処理部30は、主制御部20または撮影制御部22による制御に基づいて、表示制御部28が画像の立体視表示を行う際に、立体視用の画像データに含まれる左画像及び右画像の画像データにそれぞれ三次元処理を行って立体視用の画像を生成する。
【0036】
視差マップ生成部31は、主制御部20または撮影制御部22による制御に基づいて、左画像と右画像との相互の視差マップを生成する。ここで、視差は、左画像及び右画像の双方に含まれる被写体の左画像と右画像との水平方向における画素位置の相違として算出することができる。視差マップを適切に生成することにより、立体視用の画像に含まれる被写体の立体感を適切なものとすることができる。
【0037】
ところで、本実施形態に係る複眼デジタルカメラ1は、ノイズの低減、撮影感度の向上、撮影画像のダイナミックレンジの拡大といった撮影画像の画質を向上させることを目的として、左用撮影部21A及び右用撮影部21Bの各々の視点からそれぞれ連続的に撮影された複数(本実施の形態では、5枚)の画像のうちの視点(撮影系)毎に予め定められた基準画像をそれぞれ基準として、各々の視点から撮影された複数の画像をそれぞれ視点毎に合成するマルチフレーム合成機能を備えている。
【0038】
以下、本実施形態に係るマルチフレーム合成機能について説明する。従来、単眼デジタルカメラにおいてマルチフレーム合成処理が行われている。図3(A)は、単眼デジタルカメラによるマルチフレーム合成処理の説明に供する図である。図3(A)に示すように、単眼デジタルカメラは、撮影系において、複数(本実施形態では、5枚)の画像F1乃至F5を連続して取得し、それらの複数の画像F1乃至F5からなる画像群40を多重合成するマルチフレーム合成処理を行う。多重合成する際には、他の画像に対する変化量が少ない画像、例えば画像群40に含まれる画像F1乃至F5を露光時刻順に並べた際に中央に位置する画像F3を基準画像FBとして、画像F3に対して他の画像F1、F2、F4、F5を合成する。
【0039】
一方、本実施形態に係る複眼デジタルカメラ1は、左撮影部21Aにより連続して撮影された複数の画像、右撮影部21Bにより連続して撮影された複数の画像の各々に対してマルチフレーム合成処理を施した上で、これらの画像を用いて立体視用の画像データを生成する。図3(B)は、本実施形態に係る複眼デジタルカメラ1によるマルチフレーム合成処理の説明に供する図である。図3(B)に示すように、複眼デジタルカメラ1は、立体視用の画像を撮影する際に、左撮影部21Aにより左目で見た画像に相当する左画像を撮影し、右撮影部21Bにより右目で見た画像に相当する右画像を撮影し、撮影された左画像と右画像との水平方向におけるずれ(視差)を用いて、立体視用の画像データを生成する。
【0040】
そして、複眼デジタルカメラ1は、立体視用の画像データを生成する際、左撮影部21A、右撮影部21Bの各々の撮影系毎に、非同期の状態で連続的に複数回撮影することで得られる複数の画像からなる左画像群40L、右画像群40Rに対してそれぞれ別個にマルチフレーム合成処理を行って、立体視用の画像データとして内部メモリ27に記憶する。なお、上記「非同期の状態で」の語句は、「完全に同期した状態で撮影する場合を除く」ことを意味しており、同期させて撮影しようとしたが実際には同期できていない場合も含んでいる。
【0041】
ここで、立体視用の画像データを生成する場合には、左画像群40Lに含まれる画像L1乃至L5を露光時刻順に並べた際に中央に位置する画像L3と、右画像群40Rに含まれる画像R1乃至R5を露光時刻順に並べた際に中央に位置する画像R3をそれぞれ基準画像LB、RBとするより、他の条件で選択された画像をそれぞれ基準画像LB、RBとした方がより立体的な立体画像の画像データを生成できる場合も考えられる。このような場合には、後述する第1実施形態乃至第5実施形態のように、他の条件に基づいて基準画像LB、RBを選択することが望ましい。
【0042】
なお、以上のように視点毎に多重合成を行う際には、露光タイミングにおける複眼デジタルカメラ1の微小な位置ずれ等により各画像に含まれる被写体の状態の微小な差異を鑑み、基準画像LB、RBと合成する各画像に含まれる被写体の状態を、基準画像LB、RBに含まれる、対応する被写体の状態に近づけるための画像処理を施す。この際の画像処理としては、基準画像に合成する画像全体の平行移動、回転または拡大といった画像全体に対する画像処理の他、基準画像に合成する画像を予め定められた複数の領域に分割し、分割領域毎に、基準画像とのステレオ・マッチングを行うことによって得られる同一対応点同士の位置を一致させるように画像を変形等する画像処理が含まれる。
【0043】
ここで、本実施形態に係る複眼デジタルカメラ1では、ユーザによって各種操作ボタン17を介してマルチフレーム合成機能を動作させることが設定された場合のみ、以上のような左画像および右画像の多重合成が行われて、各画像が立体画像を示す画像として記録メディア26Aに記録される。
【0044】
また、本実施形態に係る複眼デジタルカメラ1は、始めに左撮影系21Aを代表視点と決定して、左撮影系21Aにより得られた左画像群40Lから左画像の基準画像LBを決定した後に、代表視点以外の視点である右撮影系21Bにより得られた右画像群40Rから、左画像の基準画像LBと最も類似度が高い画像を右画像の基準画像RBとして選択する。
【0045】
〔第1実施形態〕
以下、図面を参照して、本発明の第1実施形態について詳細に説明する。
【0046】
第1実施形態に係る複眼デジタルカメラ1は、立体視用の撮影を行った後に、相互に露光タイミングが最も近い左画像及び右画像をそれぞれ左画像の基準画像LB及び右画像の基準画像RBとして選択する。そのためには、複眼デジタルカメラ1は、左画像群40Lに含まれる複数の画像L1乃至L5のうちのいずれかを左画像の基準画像LBとして選択し、右画像群40Rに含まれる複数の画像R1乃至R5から、左画像の基準画像LBに露光タイミングが最も近い画像を左画像の基準画像LBに最も類似度が高い画像であると判断して右画像の基準画像RBとして選択すれば良い。そして、複眼デジタルカメラ1は、左画像群40L、右画像群40Rのそれぞれにおいて、選択された基準画像LB、RBに他の画像を合成させるようにしてマルチフレーム合成処理を行う。
【0047】
すなわち、複眼デジタルカメラ1の左用撮影部21A及び右用撮影部21Bを用いて、それぞれ独立させて複数の撮影画像を連続して取得する場合、各々の撮影処理を同期させるように制御して撮影処理を行ったとしても、各撮影部に設けられた撮影素子が別のものであるためフォーカスタイミングなどがずれてしまう結果、各撮影部で露光タイミングなどにずれが生じてしまい、露光順が同一の画像を基準画像LB、RBとして選択しても露光タイミングが若干ずれてしまっている可能性がある。このような場合には、交互に露光タイミングが最も近い画像を基準画像LB、RBとして選択することが望ましい。
【0048】
そこで、本実施形態に係る複眼デジタルカメラ1では、相互に露光タイミングが最も近い画像をそれぞれ左画像の基準画像LB、右画像の基準画像RBとして、左画像群40L、右画像群40Rにおいてそれぞれマルチフレーム合成処理を行うことにより、立体視用の画像データを生成する。
【0049】
図4は、第1実施形態に係る複眼デジタルカメラ1における基準画像の選択方法の説明に供する図である。図4に示すように、左画像群40Lに含まれる複数の画像L1乃至L5のうち、露光時刻順に並べた際に中央に位置する画像L3を左画像の基準画像LBとした場合に、右画像群40Rに含まれる複数の画像R1乃至R5のうち、左画像の基準画像LBに対して露光時刻が最も近い画像R2が左画像の基準画像LBに最も類似度が高い画像であると判断されて、右画像の基準画像RBとして選択される。
【0050】
次に、本実施形態に係る複眼デジタルカメラ1の作用を、図5を参照しつつ説明する。なお、図5は、レリーズボタン11が半押し操作を経て全押し操作に移行したタイミングで複眼デジタルカメラ1の主制御部20により実行される第1撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ27に予め記憶されている。
【0051】
まず、主制御部20は、左撮影部21A及び右撮影部21Bの双方で並行して撮影を行うように制御する(S101)。この際、一例として図4に示すように、左撮影部21Aにより左画像群40Lとして5枚の画像L1乃至L5を連続して撮影するように制御する。一方、右撮影部21Bによっても同様に右画像群40Rとして5枚の画像R1乃至R5を連続して撮影するように制御する。
【0052】
次に、主制御部20は、左画像群40Lから左画像の基準画像LBを選択する(S103)。前述したように、マルチフレーム合成を行う際には、撮影順の時系列に並んだ複数の画像のうち、露光時刻順に並べた際に中央に位置する画像を基準画像として合成処理を行うことが望ましい。よって、本実施形態に係る複眼デジタルカメラ1では、左画像群40Lに含まれる5つの画像L1乃至L5のうちの露光時刻が中央に位置する画像L3を基準画像LBとして選択する。
【0053】
次に、主制御部20は、右画像群40Rに含まれる画像R1乃至R5の各々について、ステップS103にて選択された左画像群40Lの基準画像LBに対する露光時刻の差を導出する(S105)。図4に示すように、例えば左画像群40Lの画像L1の露光時刻を計時開始時刻として、左画像群40Rの画像L3が0.014秒、右画像群40Rの画像R1が0.004秒、画像R2が0.011秒、画像R3が0.018秒、画像R4が0.025秒、画像R5が0.032秒である場合、露光時刻の差はそれぞれ0.01秒、0.003秒、0.004秒、0.011秒、0.018秒と導出される。
【0054】
次に、主制御部20は、右画像群40Rから右画像の基準画像RBを選択する(S107)。各画像群の露光時刻が図4に示すものである場合、右画像群40Rに含まれる画像R1乃至R5のうち、左画像の基準画像L3に対する露光時刻の差が最も小さい画像、すなわち左画像群40Lの画像L3の露光時刻に最も近い画像は画像R2であるため、本実施形態に係る複眼デジタルカメラ1では、画像R2を右画像群40Rの基準画像RBとして選択する。
【0055】
次に、主制御部20は、左画像群40Lに含まれる画像L1乃至L5の各々について、ステップS103にて選択された画像を基準画像LBとして左画像群40Lに含まれる各々の画像L1乃至L5についてマルチフレーム合成を行う(S109)。この際、主制御部20は、画像L1、L2、L4、L5について基準画像LBである画像L3に対する対応点を、画像L1、L2、L4、L5の各々と基準画像LBとの間でステレオ・マッチングを行うことにより抽出して、各々の対応点が重なるように画像L1、L2、L4、L5を変形させる等して基準画像LBである画像L3に重ね合わせる。
【0056】
次に、主制御部20は、右画像群40Rに含まれる画像R1乃至R5の各々についても同様に、ステップS107にて選択された画像を基準画像RBとして右画像群40Rに含まれる各々の画像R1乃至R5についてマルチフレーム合成を行う(S111)。この際、ステップS109と同様に、主制御部20は、画像R1、R3乃至R5について基準画像RBである画像R2に対する対応点を、画像R1、R3乃至R5の各々と基準画像RBとの間でステレオ・マッチングを行うことにより抽出して、各々の対応点が重なるように画像R1、R3乃至R5を変形させる等して基準画像RBである画像R2に重ね合わせる。
【0057】
次に、主制御部20は、ステップS109にてマルチフレーム合成された画像を示す画像データ、およびステップS111にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ27に記憶して(S113)、第1撮影処理プログラムを終了する。
【0058】
このように、第1実施形態に係る複眼デジタルカメラ1では、各々異なる複数の撮影系(視点)毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点(左撮影系21A)が決定されるととともに、代表視点の複数の画像(左画像群40L)から基準画像(左画像の基準画像LB)が決定される。また、第1実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)の複数の画像(右画像群40R)において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像(右画像の基準画像RB)として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0059】
ここで、本第1実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)より得られた複数の画像(画像群40R)から、代表視点の基準画像と最も類似度の高い画像として、露光タイミングが最も近い画像を選択する。これにより、露光タイミングが最も近い画像を選択するという簡易な処理により、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0060】
なお、本第1実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1について説明したが、撮影部の数はこれに限定されず、3つ以上の撮像部を有する3眼以上の複眼デジタルカメラであっても良い。この場合にも、本第1実施形態における処理と同様に、1つの撮影部により得られた画像における予め定められた基準画像に対して最も露光タイミングが近い画像が、残りの撮影部により得られた画像からそれぞれ基準画像として選択されて、マルチフレーム合成処理が行われる。
【0061】
また、本第1実施形態として、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第1実施形態における処理と同様に、1つのカメラにより得られた画像における予め定められた基準画像に対して最も露光タイミングが近い画像が、残りのカメラにより得られた画像から基準画像として選択されて、マルチフレーム合成処理が行われる。
【0062】
また、本第1実施形態では、左撮影系21Aを代表視点と決定した上で、代表視点により得られた左画像群40Lにおいて露光時刻が中央に位置する画像を基準画像LBとして選択する例について説明したが、これに限定されず、右撮影系21Bを代表視点とした上で、代表視点により得られた右画像群40Rにおいて露光時刻順に並べた際に中央に位置する画像を基準画像RBとして選択して、左画像群40Lから基準画像RBに露光タイミングが最も近い画像を左画像の基準画像LBとして選択しても良い。
【0063】
〔第2実施形態〕
次に、本発明の第2実施形態について説明する。
【0064】
第2実施形態に係る複眼デジタルカメラ1は、左右各々の画像間の対応点を抽出してその個数(対応点数)を導出し、導出された対応点数によってマルチフレーム合成処理の際の基準画像LB、RBを選択するものである。
【0065】
画像間の対応点は、画像中の特徴点のうち複数の画像間にて対応付けられた特徴点である。複数の画像間での対応を求める対応点探索はオプティカルフローやステレオ画像間のマッチングなどに必要な処理であり、この処理の一般的な手法に例えばテンプレートマッチングがある。テンプレートマッチングは画像中の点の類似度を各点の近傍内の画素−テンプレート-によって評価する手法である。
【0066】
図6は、第2実施形態に係る複眼デジタルカメラ1における基準画像の選択方法の説明に供する図である。図6に示すように、左画像群40Lに含まれる複数の画像L1乃至L5のうち画像L3を左画像の基準画像LBとした場合に、右画像群40Rに含まれる複数の画像R1乃至R5のうち、左画像の基準画像LBに対して対応点数が最も多い画像R2が左画像の基準画像LBに最も類似度が高い画像であると判断されて、右画像の基準画像RBとして選択される。
【0067】
次に、本第2実施形態に係る複眼デジタルカメラ1の作用を図7を参照しつつ説明する。なお、図7は、レリーズボタン11が半押し状態を経て全押し状態に移行したタイミングで複眼デジタルカメラ1の主制御部20により実行される第2撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ27に予め記憶されている。
【0068】
まず、主制御部20は、ステップS101と同様に、左撮影部21A、右撮影部21Bの双方で並行して撮影を行うように制御する(S201)。また主制御部20は、ステップS103と同様に、左画像群40Lから左画像の基準画像LBを選択する(S203)。本実施形態に係る複眼デジタルカメラ1では、左画像群40Lに含まれる5つの画像L1乃至L5のうちの露光時刻順に並べた際に中央に位置する画像L3が基準画像LBとして選択される。
【0069】
主制御部20は、右画像群40Rに含まれる画像R1乃至R5の各々について、ステップS203にて選択された左画像群40Lの基準画像LBに対する対応点数を導出する(S205)。図6に示すように、例えば左画像群40Lの画像L3に対して、右画像群40Rの画像R1の対応点数が1500ピクセル、画像R2が1600ピクセル、画像R3が1550ピクセル、画像R4が1400ピクセル、画像R5が1300ピクセルと導出される。
【0070】
次に、主制御部20は、右画像群40Rから右画像の基準画像RBを選択する(S207)。図6に示すように、右画像群40Rに含まれる画像R1乃至R5のうち、左画像の基準画像LBである画像L3に対する対応点数が最大の画像が画像R2であるため、本実施形態に係る複眼デジタルカメラ1では、画像R2が右画像の基準画像RBとして選択される。
【0071】
主制御部20は、ステップS109と同様に、左画像群40Lに含まれる画像L1乃至L5の各々について、ステップS203にて選択された画像を基準画像LBとして左画像群40Lに含まれる各々の画像L1乃至L5についてマルチフレーム合成を行う(S209)。また主制御部20は、右画像群40Rに含まれる各々の画像R1乃至R5についても同様に、ステップS207にて選択された画像を基準画像RBとして右画像群40Rに含まれる各々の画像R1乃至R5についてマルチフレーム合成を行う(S211)。
【0072】
主制御部20は、ステップS209にてマルチフレーム合成された画像を示す画像データ、及びステップS211にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ27に記憶して(S213)、第2撮影処理プログラムを終了する。
【0073】
このようにして第2実施形態に係る複眼デジタルカメラ1は、各々異なる複数の撮影系(視点)毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点(左撮影系21A)が決定されるととともに、代表視点の複数の画像(左画像群40L)から基準画像(左画像の基準画像LB)が決定される。また、第1実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)の複数の画像(右画像群40R)において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像(右画像の基準画像RB)として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0074】
ここで、本第2実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)の右画像群40Rから、代表視点(左撮影系21A)の基準画像(左画像の基準画像LB)と最も類似度の高い画像として、代表視点の基準画像に対する対応点数が最大の画像が選択される。これにより、対応点数が最大の画像を選択するという簡易な処理により、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0075】
なお、本第2実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1について説明したが、撮影部の数はこれに限定されず、3つ以上の撮像部を有する3眼以上の複眼デジタルカメラであっても良い。この場合にも、本第1実施形態における処理と同様に、1つの撮影部により得られた画像における予め定められた基準画像に対する対応点数が最大の画像が、残りの撮影部により得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0076】
また、本第2実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第1実施形態における処理と同様に、1つのカメラにより得られた画像における予め定められた基準画像に対する対応点数が最大の画像が、残りのカメラにより得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0077】
また、基準画像LB、RBを選択する際に、所定の閾値を設けて選択範囲を限定しても良い。すなわち、本実施形態ではステップS207において右画像群40Rに含まれる画像R1乃至R5から右画像の基準画像RBを選択する例について説明したが、これに限定されず、ステップS207において右画像群40Rに含まれる画像R1乃至R5のうち中央の画像R3から所定枚数の範囲から右画像の基準画像RBを選択しても良い。(例えば所定枚数を1枚とした場合には、選択範囲が画像R2乃至R4の範囲となり、画像R2乃至R4から基準画像RBが選択される。)
【0078】
〔第3実施形態〕
以下、本発明の第3実施形態について説明する。
【0079】
第3実施形態に係る複眼デジタルカメラ1は、オートクロスポイント調整を行った際に視差マップを生成して視差が所定値以下になる画素数によりマルチフレーム合成処理の際の基準画像LB、RBを選択するものである。
【0080】
オートクロスポイント調整は、主要被写体が視差0になるように行われる左右画像位置の調整である。例えば、第3実施形態に係る複眼デジタルカメラ1は、右画像群40Rに含まれる画像R1乃至R5の各々について、左画像の基準画像LBに対してオートクロスポイント調整を行った上で、図8に示すようなヒストグラムを作成する。ヒストグラムの横軸は、ピクセルで表した場合の画像L3に対する視差を示し、縦軸は、画素の個数を表している。そして、右画像群40Rに含まれる画像R1乃至R5のうち、視差0を基準として所定範囲内、例えば画像幅の±3%以内の画素の個数が最大となる画像、すなわち視差のずれ量が最小の画像が左画像の基準画像LBに最も類似度が高い画像であると判断されて、右画像の基準画像RBとして選択される。これにより、視差0を基準として所定範囲内の画素の個数が最大の画像、すなわち主要被写体のずれが最も小さい画像が基準画像として選択される。
【0081】
なお、上記所定値を画像幅の±3%以下とした場合には、例えば画像R1乃至R5の幅がそれぞれ640ピクセルであるとき、−19ピクセル乃至+19ピクセルの範囲の視差値が最も多い右画像が選択される。また、クロスポイントを設定する際には、ユーザが手動で行ってもよい。
【0082】
以下、本第3実施形態に係る複眼デジタルカメラ1の作用を図9を参照しつつ説明する。なお、図9は、レリーズボタン11が半押し状態を経て全押し状態に移行したタイミングで複眼デジタルカメラ1の主制御部20により実行される第3撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ27に予め記憶されている。
【0083】
まず、主制御部20は、ステップS101と同様に、左撮影部21A及び右撮影部21Bの双方で並行して撮影処理を行う(S301)。また主制御部20は、ステップS103と同様に、左画像群40Lから左画像の基準画像LBを選択する(S303)。本実施形態に係る複眼デジタルカメラ1では、左画像群40Lに含まれる5つの画像L1乃至L5のうちの露光時刻順に並べた際に中央に位置する画像L3が基準画像LBとして選択される。
【0084】
主制御部20は、右画像群40Rに含まれる画像R1乃至R5の各々について、ステップS303にて選択された左画像群40Lの基準画像LBに対して自動クロスポイント調整を行う(S305)。
【0085】
主制御部20は、ステップS305にて自動クロスポイント調整された右画像群40Rに含まれる各々の画像R1乃至R5について、ステップS303にて選択された左画像群40Lの基準画像LBに対する視差が画像幅の±3%以下になる画素数を導出してヒストグラム化する(S307)。
【0086】
主制御部20は、右画像群40Rから右画像の基準画像RBを選択する(S309)。図8に示すように、ステップS303にて選択された左画像群40Lの基準画像LBである画像L3に対する視差が画像幅の±3%以下になる画素数が最大の画像が画像R2であるため、本実施形態に係る複眼デジタルカメラ1では、画像R2が右画像の基準画像RBとして選択される。
【0087】
主制御部20は、ステップS109と同様に、左画像群40Lに含まれる各々の画像L1乃至L5について、ステップS303にて選択された画像を基準画像LBとして左画像群40Lに含まれる各々の画像L1乃至L5についてマルチフレーム合成を行う(S311)。また主制御部20は、右画像群40Rに含まれる各々の画像R1乃至R5についても同様に、ステップS309にて選択された画像を基準画像RBとして右画像群40Rに含まれる各々の画像R1乃至R5についてマルチフレーム合成を行う(S313)。
【0088】
主制御部20は、ステップS311にてマルチフレーム合成された画像を示す画像データ、及びステップS313にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ27に記憶して(S315)、第3撮影処理プログラムを終了する。
【0089】
このようにして第3実施形態に係る複眼デジタルカメラ1は、各々異なる複数の撮影系(視点)毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点(左撮影系21A)が決定されるととともに、代表視点の複数の画像(左画像群40L)から基準画像(左画像の基準画像LB)が決定される。また、第1実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)の複数の画像(右画像群40R)において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像(右画像の基準画像RB)として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0090】
ここで、本第3実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)より得られた複数の画像(画像群40R)から、代表視点(左撮影系21A)の基準画像(左画像の基準画像LB)と最も類似度の高い画像として、代表視点の基準画像に対する視差のずれ量が最小の画像が選択される。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。
【0091】
なお、本第3実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1について説明したが、撮影部の数はこれに限定されず、3つ以上の撮像部を有する3眼以上の複眼デジタルカメラであっても良い。この場合にも、本第1実施形態における処理と同様に、1つの撮影部により得られた画像における予め定められた基準画像に対する視差のずれ量が最小の画像が、残りの撮影部により得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0092】
また、本第3実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第1実施形態における処理と同様に、1つのカメラにより得られた画像における予め定められた基準画像に対する視差のずれ量が最小の画像が、残りのカメラにより得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0093】
また、本第3実施形態では、視差が画像幅の±3%以下の範囲に最大の画像を基準画像として選択される例を示したが、判定に使用される視差の範囲は±3%以下の範囲に限定されず、視差の大きさのばらつきによって適宜設定されれば良い。
【0094】
〔第4実施形態〕
以下、本発明の第4実施形態について説明する。
【0095】
第4実施形態の複眼デジタルカメラ1は、各画像から主要被写体を抽出したうえで各々の画像間の主要被写体の対応点を抽出することによってマルチフレーム合成処理の際の基準画像LB、RBを選択するものである。なお、主要被写体を抽出する方法は、例えば輝度の変化により抽出する方法や、周波数や画素値の変化により輪郭を抽出する方法など、任意である。
【0096】
図10は、第4実施形態に係る複眼デジタルカメラ1における基準画像の選択方法の説明に供する図である。図10に示すように、左画像群40Lに含まれる複数の画像L1乃至L5のうち画像L3を左画像の基準画像LBとした場合に、右画像群40Rに含まれる複数の画像R1乃至R5のうち、左画像の基準画像LBに対して主要被写体に含まれる対応点数が最も多い画像R2が左画像の基準画像LBに最も類似度が高い画像であると判断されて、右画像の基準画像RBとして選択される。
【0097】
以下、本第4実施形態に係る複眼デジタルカメラ1の作用を図11を参照しつつ説明する。なお、図11は、レリーズボタン11が半押し状態を経て全押し状態に移行したタイミングで複眼デジタルカメラ1の主制御部20により実行される第4撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ27に予め記憶されている。
【0098】
まず、主制御部20は、ステップS101と同様に、左撮影部21A及び右撮影部21Bの双方で並行して撮影処理を行う(S401)。また主制御部20は、ステップS103と同様に、左画像群40Lから左画像の基準画像LBを選択する(S403)。本実施形態に係る複眼デジタルカメラ1では、左画像群40Lに含まれる5つの画像L1乃至L5のうち、露光時刻順に並べた際に中央に位置する画像L3が基準画像LBとして選択される。
【0099】
主制御部20は、左撮影系40Lの基準画像LBと、右画像群40Rに含まれる画像R1乃至R5の各々において、主要被写体を抽出する(S405)。
【0100】
主制御部20は、右画像群40Rに含まれる各々の画像R1乃至R5について、ステップS403にて選択された左画像群40Lの基準画像LBに対する主要被写体の対応点数を導出する(S407)。図10に示すように、例えば左画像の基準画像LBである画像L3に対して、右画像群40Rの画像R1の対応点数が450ピクセル、画像R2が550ピクセル、画像R3が500ピクセル、画像R4が390ピクセル、画像R5が330ピクセルと導出される。
【0101】
主制御部20は、右画像群40Rから右画像の基準画像RBを選択する(S409)。図10に示すように、右画像群40Rに含まれる画像R1乃至R5のうち、左画像の基準画像LBである画像L3に対する主要被写体の対応点数が最大の画像が画像R2であるため、本実施形態に係る複眼デジタルカメラ1では、画像R2が右画像の基準画像RBとして選択される。
【0102】
主制御部20は、ステップS109と同様に、左画像群40Lに含まれる各々の画像L1乃至L5について、ステップS403にて選択された画像を基準画像LBとして左画像群40Lに含まれる各々の画像L1乃至L5についてマルチフレーム合成を行う(S411)。また主制御部20は、右画像群40Rに含まれる各々の画像R1乃至R5についても同様に、ステップS409にて選択された画像を基準画像RBとして右画像群40Rに含まれる各々の画像R1乃至R5についてマルチフレーム合成を行う(S413)。
【0103】
主制御部20は、ステップS411にてマルチフレーム合成された画像を示す画像データ、及びステップS413にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ27に記憶して(S415)、第4撮影処理プログラムを終了する。
【0104】
このようにして第4実施形態に係る複眼デジタルカメラ1は、各々異なる複数の撮影系(視点)毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点(左撮影系21A)が決定されるととともに、代表視点の複数の画像(左画像群40L)から基準画像(左画像の基準画像LB)が決定される。また、第1実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)の複数の画像(右画像群40R)において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像(右画像の基準画像RB)として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0105】
ここで、本第4実施形態に係る複眼デジタルカメラ1では、複数の視点から連続的に撮影された複数の画像の各々から主要被写体が抽出されるとともに、代表視点以外の視点(右撮影系21B)より得られた複数の画像(画像群40R)から、代表視点(左撮影系21A)の基準画像(左画像の基準画像LB)と最も類似度の高い画像として、代表視点の基準画像に対する主要被写体の対応点数が最大の画像が選択される。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。
【0106】
なお、本第4実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1について説明したが、撮影部の数はこれに限定されず、3つ以上の撮像部を有する3眼以上の複眼デジタルカメラであっても良い。この場合にも、本第1実施形態における処理と同様に、1つの撮影部により得られた画像における予め定められた基準画像に対する主要被写体の対応点数が最大の画像が、残りの撮影部により得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0107】
また、本第4実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第1実施形態における処理と同様に、1つのカメラにより得られた画像における予め定められた基準画像に対する主要被写体の対応点数が最大の画像が、残りのカメラにより得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0108】
〔第5実施形態〕
以下、本発明の第5実施形態について説明する。
【0109】
第5実施形態に係る複眼デジタルカメラ1は、各々の画像間における対応点のずれにおいて垂直方向のずれ量の平均値を導出することによってマルチフレーム合成処理の際の基準画像LB、RBを選択するものである。なお、ここで言う垂直方向は、画像平面上において、各撮影系間(各視点間)において視差が生じる方向である視差方向に対する垂直方向である。
【0110】
図12は、第5実施形態に係る複眼デジタルカメラ1における基準画像の選択方法の説明に供する図である。図12の各々のグラフにおいて、横軸がずれの垂直ベクトルの大きさを示し、縦軸が個数(画素数)を示している。図12に示すように、左画像群40Lに含まれる複数の画像L1乃至L5のうち画像L3を左画像の基準画像LBとした場合に、右画像群40Rに含まれる画像R1乃至R5のうち、左画像の基準画像LBに対する対応点のずれの垂直方向のずれ量の平均値が最小になる画像、すなわち左画像の基準画像LBに対する垂直方向のずれが最も小さい画像である画像R2が左画像の基準画像LBに最も類似度が高い画像であると判断されて、右画像の基準画像RBとして選択される。
【0111】
以下、本第5実施形態に係る複眼デジタルカメラ1の作用を図13を参照しつつ説明する。なお、図13は、レリーズボタン11が半押し状態を経て全押し状態に移行したタイミングで複眼デジタルカメラ1の主制御部20により実行される第5撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ27に予め記憶されている。
【0112】
まず、主制御部20は、ステップS101と同様に、左撮影部21A及び右撮影部21Bの双方で並行して撮影処理を行う(S501)。また主制御部20は、ステップS103と同様に、左画像群40Lから左画像の基準画像LBを選択する(S503)。本実施形態に係る複眼デジタルカメラ1では、左画像群40Lに含まれる5つの画像L1乃至L5のうち、露光時刻順に並べた際に中央に位置する画像L3が基準画像LBとして選択される。
【0113】
主制御部20は、右画像群40Rに含まれる画像R1乃至R5の各々について、ステップS503にて選択された左画像群40Lの基準画像LBに対する対応点の垂直ベクトルを導出する(S505)。
【0114】
主制御部20は、右画像群40Rから右画像の基準画像RBを選択する(S507)。ステップS505にて導出されたずれの垂直ベクトルについて、大きさの平均値を導出し、右画像群40Rに含まれる画像R1乃至R5のうち、左画像の基準画像L3に対する対応点のずれの垂直ベクトルの大きさの平均値が最小のものが画像R2であるため、本実施形態に係る複眼デジタルカメラ1では、画像R2が右画像の基準画像RBとして選択される。
【0115】
主制御部20は、ステップS109と同様に、左画像群40Lに含まれる画像L1乃至L5の各々について、ステップS503にて選択された画像を基準画像LBとして左画像群40Lに含まれる各々の画像L1乃至L5についてマルチフレーム合成を行う(S509)。また主制御部20は、右画像群40Rに含まれる画像R1乃至R5の各々についても同様に、ステップS507にて選択された画像を基準画像RBとして右画像群40Rに含まれる各々の画像R1乃至R5についてマルチフレーム合成を行う(S511)。
【0116】
主制御部20は、ステップS509にてマルチフレーム合成された画像を示す画像データ、及びステップS511にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ27に記憶して(S513)、第5撮影処理プログラムを終了する。
【0117】
このようにして第5実施形態に係る複眼デジタルカメラ1は、各々異なる複数の撮影系(視点)毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点(左撮影系21A)が決定されるととともに、代表視点の複数の画像(左画像群40L)から基準画像(左画像の基準画像LB)が決定される。また、第1実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)の複数の画像(右画像群40R)において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像(右画像の基準画像RB)として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。
【0118】
ここで、本第5実施形態に係る複眼デジタルカメラ1では、代表視点以外の視点(右撮影系21B)の複数の画像(画像群40R)から、代表視点(左撮影系21A)の基準画像(左画像の基準画像LB)と最も類似度の高い画像として、代表視点の基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像が選択される。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。
【0119】
なお、本第5実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1について説明したが、撮影部の数はこれに限定されず、3つ以上の撮像部を有する3眼以上の複眼デジタルカメラであっても良い。この場合にも、本第1実施形態における処理と同様に、1つの撮影部により得られた画像における予め定められた基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像が、残りの撮影部により得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0120】
また、本第5実施形態では、2つの撮影部21A、21Bを備えた複眼デジタルカメラ1を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第1実施形態における処理と同様に、1つのカメラにより得られた画像における予め定められた基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像が、残りのカメラにより得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。
【0121】
また、本第5実施形態では、左撮影系40Lの基準画像LBに対する対応点の垂直方向のずれ量の平均値が最小となる画像を基準画像とする例について説明したが、これに限定されず、例えば、左撮影系40Lの基準画像LBに対する対応点の垂直方向のずれ量の最大値が最小となる画像を基準画像としても良く、あるいは、左撮影系40Lの基準画像LBに対する対応点の垂直方向のずれ量の最頻値が最小となる画像を基準画像としても良い。
【0122】
また、第1実施形態乃至第5実施形態において、各々の撮影系21A、21Bにおいてそれぞれ5枚の画像を連続的に撮影してマルチフレーム合成処理を行う例について説明したが、これに限定されず、状況に応じて任意の枚数の画像を連続的に撮影してマルチフレーム合成処理に用いると良い。
【0123】
また、第1実施形態乃至第5実施形態において、各々の撮影系21A、21Bにおいてそれぞれ奇数回撮影する場合について説明したが、これに限定されず、偶数回撮影するようにしても良い。偶数回撮影する場合には、露光時刻順に並べた際に中央に位置する画像が1に定まらないので、撮影回数の1/2番目に位置する画像または(撮影回数の1/2+1)番目に位置する画像のいずれか一方を中央の画像として選択すると良い。
【符号の説明】
【0124】
1…複眼デジタルカメラ,10…筐体,11…レリーズボタン,12…電源ボタン,13…ズームレバー,14…フラッシュ,15A、15B…レンズ,16…液晶ディスプレイ,17…各種操作ボタン,20…主制御部,21A…左用撮影部,21B…右用撮影部,22…撮影制御部,23…画像処理部,24…圧縮/伸張処理部,25…フレームメモリ,26…メディア制御部,26A…記録メディア,27…内部メモリ,28…表示制御部,30…三次元処理部,31…視差マップ生成部,40…画像群,40L…左画像群,40R…右画像群,F1乃至F5…画像群に含まれる画像,L1乃至R1…左画像群に含まれる画像,R1乃至R5…右画像群に含まれる画像,FB…基準画像,LB…左画像群の基準画像,RB…右画像群の基準画像。
【特許請求の範囲】
【請求項1】
各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段と、
前記複数の視点から代表視点を決定する第1決定手段と、
前記代表視点の前記複数の画像から基準画像を決定する第2決定手段と、
前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択手段と、
前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成手段と、
を備えた画像処理装置。
【請求項2】
前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対して露光タイミングが最も近い画像を選択する
請求項1記載の画像処理装置。
【請求項3】
前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する対応点数が最大の画像を選択する
請求項1記載の画像処理装置。
【請求項4】
前記各々異なる複数の視点から連続的に撮影された複数の画像の各々から主要被写体を抽出する抽出手段を更に備え、
前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する前記抽出手段により抽出された主要被写体の対応点数が最大の画像を選択する
請求項3記載の画像処理装置。
【請求項5】
前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する視差のずれ量が最小の画像を選択する
請求項1記載の画像処理装置。
【請求項6】
前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像を選択する
請求項5記載の画像処理装置。
【請求項7】
各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得ステップと、
前記複数の視点から代表視点を決定する第1決定ステップと、
前記代表視点の前記複数の画像から基準画像を決定する第2決定ステップと、
前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択ステップと、
前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成ステップと、
を行う画像処理方法。
【請求項8】
コンピュータを、
各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段と、
前記複数の視点から代表視点を決定する第1決定手段と、
前記代表視点の前記複数の画像から基準画像を決定する第2決定手段と、
前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択手段と、
前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成手段
として機能させるためのプログラム。
【請求項1】
各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段と、
前記複数の視点から代表視点を決定する第1決定手段と、
前記代表視点の前記複数の画像から基準画像を決定する第2決定手段と、
前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択手段と、
前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成手段と、
を備えた画像処理装置。
【請求項2】
前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対して露光タイミングが最も近い画像を選択する
請求項1記載の画像処理装置。
【請求項3】
前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する対応点数が最大の画像を選択する
請求項1記載の画像処理装置。
【請求項4】
前記各々異なる複数の視点から連続的に撮影された複数の画像の各々から主要被写体を抽出する抽出手段を更に備え、
前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する前記抽出手段により抽出された主要被写体の対応点数が最大の画像を選択する
請求項3記載の画像処理装置。
【請求項5】
前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する視差のずれ量が最小の画像を選択する
請求項1記載の画像処理装置。
【請求項6】
前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像を選択する
請求項5記載の画像処理装置。
【請求項7】
各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得ステップと、
前記複数の視点から代表視点を決定する第1決定ステップと、
前記代表視点の前記複数の画像から基準画像を決定する第2決定ステップと、
前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択ステップと、
前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成ステップと、
を行う画像処理方法。
【請求項8】
コンピュータを、
各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段と、
前記複数の視点から代表視点を決定する第1決定手段と、
前記代表視点の前記複数の画像から基準画像を決定する第2決定手段と、
前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択手段と、
前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成手段
として機能させるためのプログラム。
【図1】
【図2】
【図5】
【図7】
【図9】
【図10】
【図11】
【図13】
【図3】
【図4】
【図6】
【図8】
【図12】
【図2】
【図5】
【図7】
【図9】
【図10】
【図11】
【図13】
【図3】
【図4】
【図6】
【図8】
【図12】
【公開番号】特開2012−216939(P2012−216939A)
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願番号】特願2011−79785(P2011−79785)
【出願日】平成23年3月31日(2011.3.31)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願日】平成23年3月31日(2011.3.31)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]