撮像装置および撮像方法
【課題】瞳分割方式で得られた画像に対する所定の画像処理を経て継続的に立体画像を生成する撮像装置において、立体画像出力のタイムラグを短縮する。
【解決手段】レリーズボタン１９が全押しされるまで、ｎ（ｎ＝１、２、３・・）コマ目の画像データＡ・Ｂから距離情報を算出し、ＣＣＤ１６から取得されたｎ＋１コマ目の画像データＡにｎコマ目の画像データＡ・Ｂに対応する距離情報を適用して仮想的な画像データＢ’を生成し、ｎ＋１コマ目の画像データＡと画像データＢ’とに基づいてｎコマ目の３次元画像データを生成しＬＣＤ３０にスルー画像として表示することを繰り返す。このように、前のコマについて算出された距離情報を用いて後のコマの視点画像からスルー画を表示するため、距離情報の算出待ちにより最新のスルー画の表示の遅れが発生することを防止できる。
【解決手段】レリーズボタン１９が全押しされるまで、ｎ（ｎ＝１、２、３・・）コマ目の画像データＡ・Ｂから距離情報を算出し、ＣＣＤ１６から取得されたｎ＋１コマ目の画像データＡにｎコマ目の画像データＡ・Ｂに対応する距離情報を適用して仮想的な画像データＢ’を生成し、ｎ＋１コマ目の画像データＡと画像データＢ’とに基づいてｎコマ目の３次元画像データを生成しＬＣＤ３０にスルー画像として表示することを繰り返す。このように、前のコマについて算出された距離情報を用いて後のコマの視点画像からスルー画を表示するため、距離情報の算出待ちにより最新のスルー画の表示の遅れが発生することを防止できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影レンズの２方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する撮像装置および撮像方法に関する。特に本発明は、視差を有する画像の撮影画角を立体的にスルー画として表示する撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来、特に撮影レンズの２方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する立体撮像装置が存在する。
【０００３】
図１３に示す光学系は、メインレンズ１及びリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。
【０００４】
図１４（Ａ）〜（Ｃ）は、それぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。なお、図１４では、フォーカスによる分離の違いを比較するために、図１３に示したミラー４を省略している。
【０００５】
図１４（Ｂ）に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図１４（Ａ）及び（Ｃ）に示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。
【０００６】
従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視点の異なる左視点画像及び右視点画像（３Ｄ画像）を取得することができる。
【０００７】
特許文献１によると、電子カメラは、撮像部と、光量分布検出部と、像ズレ量検出部と、画像処理部とを有する。撮像部は撮影光学系による被写体像を光電変換して撮影画像データを生成する。光量分布検出部は、異なる光路を通った被写体からの光束による光量分布をそれぞれ検出する。像ズレ量検出部は光量分布に基づいて撮影画面内の複数箇所における像ズレ量を検出する。画像処理部は複数箇所の像ズレ量に基づいて、撮影画像データにおける被写体の位置関係を水平方向に変化させてステレオグラム画像データを生成する。また、入力部からの入力に基づいて、ステレオグラム画像データにおける被写体の位置関係を水平方向に変化させてステレオグラム画像データを補正する。ステレオグラム画像データを補正することができるので、ユーザにとって違和感がより少ない自然なステレオグラム画像を得ることが可能となる。
【０００８】
特許文献２は、左右２台のカメラの撮影した左目画像、右目画像に対して、左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める多眼視画像作成方法を開示する。
【０００９】
特許文献３において、ステレオマッチング処理部（対象物検出手段）４３は、画像処理部４Ａ、４Ｂによってそれぞれ処理され、メモリ部３１に格納された２つの画像データＡ、Ｂにおける、上述の空間設定部４２によって設定された検索空間に対して、互いに対応する１つ以上の対応点（対象物）を検出する。距離算出部（位置算出手段）４４は、上述したステレオマッチング処理部８３によって検出された対応点の３次元座標値（位置情報）を算出する。撮影部２０Ａおよび撮影部２０Ｂの撮影レンズ２１Ａ２、２１Ｂ２の構成は異なり、撮影レンズ２１Ａ２は、ズームレンズおよび該ズームレンズを駆動する図示しないズームレンズ駆動部（駆動手段）を備え、撮影レンズ２１Ｂ２は、撮影レンズ２１Ａ２のズームレンズの広角端と等しい画角の固定焦点レンズを備える。このような構成にすることによりコストを低減する。
【００１０】
特許文献４〜６は単一の光学系を用いた３次元画像生成技術の一例である。例えば特許文献４では、多数の画素を同一撮像面上に配列し、該撮像面に結像された被写体像を光電変換して画像信号を生成する固体撮像素子において、上記多数の画素を２つのグループに区分けし、各グループにおける画素の受光入射角度をそれぞれ異ならせてなることを特徴とする固体撮像素子が開示されている。
【００１１】
特許文献７〜１１は、異なる視点画像間の対応点検索の方法、ステレオマッチングで奥行き情報を取得する技術、２次元画像と距離情報（奥行き情報）を用いた３次元画像生成技術の一例である。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開2007-104248号公報
【特許文献２】特開2009-124308号公報
【特許文献３】特開2008-92007号公報、段落００４７−００４８、００７１
【特許文献４】特開2003-7994号公報
【特許文献５】特開2001-12916号公報
【特許文献６】特開2001-016611号公報
【特許文献７】特開平08-331607号公報
【特許文献８】特開2008-141666号公報
【特許文献９】特開2009-14445号公報
【特許文献１０】特開2008-116309号公報
【特許文献１１】特開2000-102040号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
図１１に例示するように、同じ画質の左右の視点画像をそのまま立体画像として表示する通常の複眼カメラにおけるスルー画（ライブビュー）の表示は、１フレーム毎に撮影された左右の視点画像に基づいて３次元画像を表示することを繰り返すだけで済む。
【００１４】
一方、特許文献３に例示されるような、左右の撮像部の撮影画素数が異なったり、一方の撮像部は色情報が取得できるが他方の撮像部は色情報を取得できないなど左右の撮像部の仕様が異なる場合や、視点画像の解像度がモニタの解像度と異なる場合など、左右の視点画像からただちに表示用の立体画像を生成できない複眼カメラでは、距離情報の算出に加え、一方の撮像部、例えば画素数の多い撮像部や色情報の取得可能な撮像部の画像の色情報などから３次元画像を生成して表示することを繰り返す必要がある。
【００１５】
これは、特許文献４〜６のような単一の光学系から３次元画像を取得するカメラであっても同様である。
【００１６】
図１２に例示するように、このようなカメラでは、３次元画像の生成に時間がかかるため、その分視点画像の撮影からスルー画の表示まで間のタイムラグが通常のカメラよりも増大する。そのため、表示されたスルー画による画角の確認などに支障をきたし使いにくい。
【００１７】
さらに、瞳分割方式の立体撮像装置では、基線長が小さいため、画像の立体感が弱めになりやすい。撮影された画像でステレオマッチングや視差情報の外挿または内挿の処理などの画像処理を施して視差量を調整することは可能であるが、画像処理時間の増大によりスルー画の表示が遅れる。近年では、ファインダーのないカメラが主流であり、スルー画表示が遅れると、シャッターチャンスを逃す可能性があり、使いにくい。
【００１８】
本発明は、瞳分割方式で得られた画像に対する所定の画像処理を経て継続的に立体画像を生成する撮像装置において、立体画像出力のタイムラグを短縮する技術を提供する。
【課題を解決するための手段】
【００１９】
本発明は、単一の撮像光学系と、撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部と、時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう撮像部を制御する撮像制御部と、第１の時点で撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出する視差情報算出部と、第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、所望の視差を有する画像の組から立体画像を生成する立体画像生成部と、を備える撮像装置を提供する。
【００２０】
ここで、視差情報とは、被写体の距離情報または視差マップを含む。
【００２１】
撮像制御部は、第１の時点よりも後の異なる複数の第２の時点の各々で視点画像の組が順次出力されるよう撮像部を制御し、立体画像生成部は、第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第２の時点で各々出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の複数の組を生成し、所望の視差を有する視点画像の複数の組から複数の立体画像を順次生成する。
【００２２】
撮像制御部は、視差情報算出部による第１の時点に対応する視差情報の算出処理が所定の割合だけ完了した第２の時点で視点画像の組が出力されるよう撮像部を制御する。
【００２３】
視差情報算出部は、異なる複数の視点画像の組にそれぞれ対応する複数の視差情報をそれぞれ独立して算出可能な異なる複数の処理系統を有しており、異なる複数の第１の時点に対応する視差情報の各々を異なる処理系統で算出する。
【００２４】
撮像装置は、所定の記録指示が入力されたことに応じ、第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第１の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、所望の視差を有する視点画像の組に基づいて立体画像の再生情報を記録する記録部を備える。
【００２５】
立体画像生成部の生成した立体画像を表示する表示部を備える。
【００２６】
第２画像の解像度は第１画像の解像度よりも低くかつ表示部の表示解像度よりも低い。
【００２７】
第１画像は輝度情報および色情報を含み、第２画像は輝度情報のみを含む。
【００２８】
視差情報をぼかすぼかし処理部を備え、立体画像生成部は、ぼかし処理部によりぼかされた第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、所望の視差を有する画像の組から立体画像を生成する。
【００２９】
所望の視差量は、所定の操作手段から入力された指定値、固定値または被写体距離の遠近に応じた値を含む。
【００３０】
本発明は、単一の撮像光学系と、撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部と、時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう撮像部を制御する撮像制御部と、第１の時点で撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出する視差情報算出部と、第２の時点で出力された第１画像に第１の時点に対応する視差情報を適用して第１画像との間で視差を有する仮想第２画像を生成し、第２の時点で出力された第１画像と仮想第２画像から立体画像を生成する立体画像生成部と、を備える撮像装置を提供する。
【００３１】
撮像制御部は、第１の時点よりも後の異なる複数の第２の時点の各々で視点画像の組が順次出力されるよう撮像部を制御し、立体画像生成部は、複数の第２の時点で各々出力された複数の視点画像の組に含まれる複数の第１画像に第１の時点に対応する視差情報を適用して第１画像との間で視差を有する複数の仮想第２画像を生成し、複数の第２の時点で各々出力された第１画像と対応する複数の仮想第２画像から複数の立体画像を順次生成する。
【００３２】
撮像制御部は、視差情報算出部による第１の時点に対応する視差情報の算出処理が所定の割合だけ完了した第２の時点で視点画像の組が出力されるよう撮像部を制御する。
【００３３】
視差情報算出部は、異なる複数の視点画像の組にそれぞれ対応する複数の視差情報をそれぞれ独立して算出可能な異なる複数の処理系統を有しており、異なる複数の第１の時点に対応する視差情報の各々を異なる処理系統で算出する。
【００３４】
撮像装置は、所定の記録指示が入力されたことに応じ、第１の時点で出力された第１画像に第１の時点に対応する視差情報を適用して第１画像との間で視差を有する仮想第２画像を生成し、第１の時点で出力された第１画像と仮想第２画像に基づいて立体画像の再生情報を記録する記録部を備える。
【００３５】
立体画像生成部の生成した立体画像を表示する表示部を備える。
【００３６】
第２画像の解像度は第１画像の解像度よりも低くかつ表示部の表示解像度よりも低い。
【００３７】
第１画像は輝度情報および色情報を含み、第２画像は輝度情報のみを含む。
【００３８】
視差情報をぼかすぼかし処理部を備え、立体画像生成部は、ぼかし処理部によりぼかされた第１の時点に対応する視差情報を第２の時点で出力された第１画像に適用して第１画像との間で視差を有する仮想第２画像を生成し、第２の時点で出力された第１画像と仮想第２画像から立体画像を生成する。
【００３９】
立体画像生成部は、第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、所望の視差を有する画像の組から立体画像を生成する。
【００４０】
こうすれば、立体画像の視差を任意に調整できる。
【００４１】
所望の視差量は、所定の操作手段から入力された指定値、固定値または被写体距離の遠近に応じた値を含む。
【００４２】
本発明は、単一の撮像光学系と、撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部とを備える撮像装置が、時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう撮像部を制御するステップと、第１の時点で撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出するステップと、第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、所望の視差を有する画像の組から立体画像を生成するステップと、を実行する撮像方法を提供する。
【００４３】
本発明は、単一の撮像光学系と、撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部とを備える撮像装置が、時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう撮像部を制御するステップと、第１の時点で撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出するステップと、第２の時点で出力された第１画像に第１の時点に対応する視差情報を適用して第１画像との間で視差を有する仮想第２画像を生成し、第２の時点で出力された第１画像と仮想第２画像から立体画像を生成するステップと、を実行する撮像方法を提供する。
【発明の効果】
【００４４】
本発明によると、第１の時点で算出された視差情報と、第１の時点よりも後の第２の時点で出力された視点画像とによって立体画像を生成する。こうすると、後の第２の時点で取得された視点画像に基づいて即座に立体画像を生成でき、第１の時点で算出された視差情報と、第１の時点で出力された視点画像とによって立体画像を生成するよりも新しい立体画像をより早く表示できる。
【図面の簡単な説明】
【００４５】
【図１】第１実施形態に係るカメラのブロック図
【図２】瞳分割視差画像取得撮像素子ＣＣＤの構成例を示す図
【図３】第１、第２画素の１画素ずつを示した図
【図４】図３の要部拡大図
【図５】第１実施形態に係るスルー画表示処理のタイミングチャート
【図６】第２実施形態に係るスルー画表示処理のタイミングチャート
【図７】第３実施形態に係るスルー画表示処理のタイミングチャート
【図８】第４実施形態に係るカメラのブロック図
【図９】第４実施形態に係るスルー画表示処理のタイミングチャート
【図１０】第５実施形態に係る動画記録処理のタイミングチャート
【図１１】通常の撮像装置におけるスルー画表示処理のタイミングチャート
【図１２】距離算出を行う撮像装置におけるスルー画表示処理のタイミングチャート
【図１３】従来の単眼立体撮像装置の一例を示す図
【図１４】撮像素子に結像する像の分離状態を示す図
【発明を実施するための形態】
【００４６】
＜第１実施形態＞
図１は第１実施形態に係るカメラ１の実施の形態を示すブロック図である。
【００４７】
このカメラ１は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
【００４８】
カメラ１には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいてカメラ１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。
【００４９】
ＲＯＭ１０には、ＣＰＵ４０が実行するプログラムおよび制御に必要な各種データ、ＣＣＤ１６の画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。
【００５０】
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、および動画を撮影する動画モードのいずれかを選択する選択手段である。
【００５１】
再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００５２】
撮影モード時において、被写体を示す画像光は、撮像レンズ１２、絞り１４を介して瞳分割視差画像を取得可能な位相差イメージセンサである固体撮像素子（以下、「ＣＣＤ」というが、ＣＭＯＳ等でも可）１６の受光面に結像される。撮像レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム（焦点距離）制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３３によって駆動され、例えば、絞り値（Ｆ値）Ｆ2.8 〜Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。
【００５３】
また、ＣＰＵ４０は、絞り駆動部３３を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。
【００５４】
＜ＣＣＤの構成例＞
図２はＣＣＤ１６の構成例を示す図である。
【００５５】
図２（Ａ）に示すように、ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素と、偶数ラインの画素とを有しており、これらの２つのラインの画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。各画素群に対応する複数の受光素子は、有効な撮像信号を得るための有効画素領域と、黒レベルの基準信号を得るためのオプティカルブラック領域（以下「ＯＢ領域」という）とを形成する。ＯＢ領域は、実際には、有効画素領域の周囲を取り囲むように形成される。
【００５６】
図２（Ｂ）に示すように、ＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられる。一方、図２（Ｃ）に示すように、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。
【００５７】
２面分の画像信号を構成する第１画素と第２画素の配置領域は同一であってもよいし同一でなくてもよい。例えば、第１画素は有効画素領域全体に渡って存在するが、第２画素の存在領域はＡＦ領域内など特定の領域のみでもよい。第２画素は、有効画素領域全体あるいは特定の領域内に渡って密に配列されてもよいし、粗に配列されてもよい。
【００５８】
具体的には、図２（Ｄ）および（Ｅ）のように、第２画素数は第１画素数よりも低くてもよい。図２（Ｄ）および（Ｅ）は、白部分で第１画素、黒部分で第２画素を示している。黒部分のカラーフィルタは、ＲＧＢでもよいし（図２（Ｄ））、輝度情報を取るＧのみ（図２（Ｅ））でもよい。図２（Ｄ）の場合は、第１画素・第２画素の間でＲＧＢカラーフィルタの配列を変えずに済む利点があり、図２（Ｅ）の場合は各第２画素の情報をデフォーカス量の検出に利用できる利点がある。
【００５９】
図３は、撮像レンズ１２、絞り１４、および図２（Ａ）のＣＣＤ１６の第１、第２画素の１画素ずつを示した図であり、図４は図３の要部拡大図である。
【００６０】
図４（Ａ）に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。
【００６１】
これに対し、図４（Ｂ）に示すようにＣＣＤ１６の第１画素および第２画素には遮光部材１６Ａが形成される。カメラ１を横置きにして撮像する場合、この遮光部材１６Ａにより第１画素、第２画素（フォトダイオードＰＤ）の受光面の右半分又は左半分が遮光される。あるいはカメラ１を縦置きにして撮像する場合、この遮光部材１６Ａにより第１画素、第２画素（フォトダイオードＰＤ）の受光面の上半分又は下半分が遮光される。マイクロレンズＬの光軸Ｚから右、左、上、あるいは下方向（例えば図４（Ｂ）では光軸より左方向）に所定量Δだけ偏位した位置には、遮光部材１６Ａの開口１６Ｂが設けられている。光束は開口１６Ｂを通過し、フォトダイオードＰＤの受光面に到達する。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。
【００６２】
なお、第１画素と第２画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分／左半分、あるいは上半分／下半分）が異なる。例えば、第１画素では光束の左半分が制限され、第２画素では光束の右半分が制限されると、第１画素からは右の視点画像、第２画素からは左の視点画像が得られる。あるいは、第１画素では光束の上半分が制限され、第２画素では光束の下半分が制限されると、第１画素からは下の視点画像、第２画素からは上の視点画像が得られる。
【００６３】
従って、図１４に示すように、後ピン、合焦、前ピンの状態に応じて第１画素と第２画素の出力は、位相がずれるかまたは位相が一致する。第１画素と第２画素の出力信号の位相差は撮像レンズ１２のデフォーカス量に対応するため、この位相差を検出することにより撮像レンズ１２のＡＦ制御を行うことができる（位相差ＡＦ）。
【００６４】
上記構成のＣＣＤ１６は、第１画素と第２画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、ＣＣＤ１６の構成はこれに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（第１画素と第２画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよいし、ミラーにより瞳分割するもの（例えば図１３）でもよい。要するに本発明の適用範囲は、瞳分割により位相差画像を取得するカメラである。
【００６５】
図１に戻って、ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
【００６６】
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正および感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。
【００６７】
ここで、図２（Ｂ）および（Ｃ）に示すように，ＣＣＤ１６の奇数ラインの第１画素から読み出される第１画像データは、左視点画像データとして処理され、偶数ラインの第２画素から読み出される第２画像データは、右視点画像データとして処理される。図２（Ｄ）および（Ｅ）の場合も同様に、第１画素から読み出される第１画像データは、左視点画像データとして処理され、偶数ラインの第２画素から読み出される第２画像データは、右視点画像データとして処理される。なお、第１画像データが左視点画像データであり、第２画像データが右視点画像データである必然性はなく、その逆でもよい。
【００６８】
デジタル信号処理部２４で処理された左視点画像データおよび右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域およびＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ（ＬＣＤ）３０に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。
【００６９】
この液晶モニタ３０は、立体視画像（左視点画像および右視点画像）をパララックスバリアによりそれぞれ所定の指向性を持った指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。
【００７０】
また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作およびＡＥ動作を開始させ、レンズ駆動部３６を介して撮像レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
【００７１】
ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて適正露出が得られる絞り１４の絞り値およびＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部３３を介して絞り１４を制御する（通常の絞り制御）とともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間を制御する。なお、被写体の明るさは外部の測光センサに基づいて算出されてもよい。
【００７２】
ここで、所定のプログラム線図とは、被写体の明るさ（撮影ＥＶ値）に対応して、絞り１４の絞り値とＣＣＤ１６のシャッタスピードの組み合わせ、又はこれらと撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件が設計されたものである。このプログラム線図にしたがって決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、所望の視差を有する第１画像、第２画像の撮影が可能となる。
【００７３】
例えば、所定のプログラム線図は、Ｆ値が1.4(ＡＶ＝１)の一定の値を取り、撮影ＥＶ値が７から１２までは撮影ＥＶ値に応じてシャッタ速度のみを1/60秒（ＴＶ＝６）から1/2000（ＴＶ＝１１）まで変化させるように設計されている。また、撮影ＥＶ値が７よりも小さくなると（暗くなると）、Ｆ値＝1.4、シャッタ速度＝1/60秒で固定した状態で、撮影ＥＶ値が１ＥＶ小さくなる毎にＩＳＯ感度を100から200,400,800,1600,3200になるように設計されている。すなわち、被写体が暗くなると、絞り１４を開放せず、シャッタ速度やＩＳＯ感度を増やして明るさを補う。
【００７４】
なお、固定するＦ値を大きくすれば、視差は弱くなり、固定するＦ値を小さくすれば、視差は強くなるので、操作部３８を介してユーザから指示された視差量に応じて固定するＦ値とプログラム線図を切り替えるとよい。例えば、弱い視差が指示された場合はＦ値＝5.6のプログラム線図Ａ，標準の視差が指示された場合はＦ値＝2.8のプログラム線図Ｂ、強い視差が指示された場合はＦ値＝1.4のプログラム線図Ｃに沿って通常の絞り制御を行う。
【００７５】
この視差優先プログラム線図は、Ｆ値を一定の値で固定しているため、所望の視差を有する第１画像、第２画像の撮影を行うことができる。ただし、撮影ＥＶ値が１２よりも大きくなると（シャッタ速度が最大値になると）、露出オーバになり撮影できなくなるが、ＮＤフィルタを自動挿入して光量を減光できる構成をカメラ１に追加すれば、撮影ＥＶ値が１２よりも大きくなっても撮影可能である。
【００７６】
ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データおよび右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内（画面中央部の矩形領域など）の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データおよび右視点画像データのうちの所定のフォーカス領域内の第１画素、第２画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
【００７７】
ＡＥ動作およびＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される第１画素および第２画素に対応する左視点画像（第１画像）および右視点画像（第２画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。
【００７８】
メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データおよび色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。
【００７９】
メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。
【００８０】
デフォーカスマップ作成部６１は、第１画素および第２画素に対応する位相差を、所定のフォーカス領域に含まれる小領域の各々について算出するだけでなく、有効画素領域の全体を実質的に被覆する複数の小領域の各々について算出する。有効画素領域の全体を実質的に被覆する複数の小領域とは、有効画素領域の全体を完全に覆っている必要はなく、有効画素領域の全体に渡って密にあるいは粗に配列されていればよい。例えば、有効画素領域をマトリクス状に所定の単位（例えば８×８画素）、あるいはそれ以下（例えば１×１画素）、あるいはそれ以上（例えば１０×１０画素）で分割した分割領域の各々について位相差が算出される。あるいは、有効画素領域の外縁を起点に所定のピッチ（例えば分割領域１つ分、あるいはそれ以上、あるいはそれ以下）を隔てた所定の単位の分割領域毎に位相差が算出される。要するに位相差は有効画素領域の全体に渡って算出されるものとするが、必ずしも有効画素領域を構成する小領域の全てについて算出されなくてもよい。
【００８１】
デフォーカスマップ作成部６１は、上記小領域の各々について算出された位相差に基づき、上記小領域の各々に対応するデフォーカス量を求める。この、有効画素領域の全体に渡って求められた小領域の各々に対応するデフォーカス量の集合を、デフォーカスマップと呼ぶ。デフォーカスマップ作成部６１は、ＲＡＭなどの揮発性記憶媒体を有しており、求まったデフォーカスマップを一時的に保存する。デフォーカスマップ作成部６１は、ステレオマッチング処理部８３にて各視点画像間で特徴点および対応点検出を行い、それらの特徴点および対応点の間の位置情報の差に基づいてデフォーカスマップを作成してもよい。
【００８２】
復元フィルタ保存部６２は、ＲＯＭなどの不揮発性記憶媒体で構成されており、各視点画像における各小領域の像高（画像中心からの距離、典型的には撮像レンズ１２の光軸中心Ｌからの距離）およびデフォーカス量（ないしは被写体距離）に対応する復元フィルタを保存している。
【００８３】
復元部６３は、各視点画像の小領域毎に選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。この信号処理により、光学系のボケ、特に光束の入射のアンバランスが生じる受光面の周辺画素に対応する画像のボケが取り除かれる。
【００８４】
ステレオマッチング処理部（対象物検出手段）８３は、同じタイミングでメモリ４８に格納された２つの画像データＡ、Ｂ間で互いに対応する１つ以上の対応点（対象物）を検出するものである。なおステレオマッチング処理部８３における処理方法は、領域ベース法、セグメントベース法、等輝度線法等を用いる公知の技術を使用することができる。また、ステレオマッチングはパッシブ式でもアクティブ式でもよい。また、画素数の異なる画像間でのステレオマッチングは、例えば特許文献３、７〜１１のような公知の技術に基づいて行うことができる。
【００８５】
距離算出部８４は、上述したステレオマッチング処理部８３によって検出された対応点の３次元座標値（距離情報または視差マップ）を算出するものである。距離算出部８４における算出方法は、三角測量の原理により計算する公知の技術を使用することができる。なお、ステレオマッチング処理部８３および距離算出部８４はプログラムにより構成されるものであっても、ＩＣ、ＬＳＩ等によって構成されるものであってもよい。後述するが、距離算出部８４は、距離算出を同時処理可能な複数の処理系統を有していてもよい。なお、距離情報と視差マップは技術的に等価であり、以下の距離情報についての処理は、視差マップについても行うことができる。
【００８６】
第１画像データの取得画素と第２画像データの取得画素は、同じ構成であってもよいし、そうでなくてもよい。第１画像データは色情報と輝度情報を有するが、第２画像データは輝度情報のみを有してもよい。あるいは、第２画素は、赤外領域を受光可能な白黒ＣＣＤとし、特許文献７のような赤外光を用いたアクティブ式のステレオマッチングが採用されてもよい。
【００８７】
以下では、ステレオマッチングを可能にするため、第１画像データ・第２画像データの双方は少なくとも輝度情報を含むものとする。さらに、３次元画像に色情報を付加するため、第１画像データ・第２画像データの少なくとも一方は色情報を含むものとする。ここでは説明の簡略のため、第１画像データ（画像データＡ）は輝度情報と色情報を含み、第２画像データ（画像データＢ）は輝度情報のみを含むものとする。このような構成にすることによりＣＣＤ１６の製造コストを低減することができる。ただし、スルー画を白黒で表示する場合、画像データＡの色情報は必須でない。
【００８８】
また、画像データＡの解像度はＬＣＤ３０の表示解像度以上であり、かつ、画像データＢの解像度はＬＣＤ３０の表示解像度よりも低いものとする。つまり、３次元画像をＬＣＤ３０に表示するには、距離情報の算出、距離情報の外挿または内挿の処理、および取得された画像データに対するサイズ調整が必要であり、そのための処理に時間を要する。
【００８９】
３次元画像処理部８５は、ＣＣＤ１６から取得された画像データＡに、距離算出部８４の算出した距離情報を適用することで、画像データＡの視点位置とは異なる仮想的な視点位置に対応する画像データＢ’を生成することができる。これは特許文献２と同様である。また、距離情報からの３次元画像生成は、特許文献７〜１１のような公知技術に基づいて行うことができる。
【００９０】
画像データＡの視点位置と画像データＢ’の視点位置のずれ（視差量）は、固定値または任意の設定値のいずれでもよい。例えば、３次元画像処理部８５は、操作部３８から設定された視差量に応じて、仮想的な画像データＢ’を生成する。これは特許文献１と同様である。あるいは、ＲＯＭ１０に記憶された固定の視差量に応じて、仮想的な画像データＢ’を生成する。
【００９１】
あるいは、３次元画像処理部８５は、ＡＦ処理で合焦したＡＦ領域内の被写体距離の遠近に応じた視差量を設定し、この設定された視差量に応じて、仮想的な画像データＢ’を生成する。具体的には、３次元画像処理部８５は、合焦被写体までの距離が遠ければ、外挿によりそれだけ視差量を多くする。すなわち、デフォーカス量が０になる合焦被写体までの距離が遠く、立体感が出にくい場合には、視差量を増やし、立体感を持たせることができる。適正な視差量でユーザに立体画像を閲覧させるため、視差量を増大する上限を設けてもよい。さらに、３次元画像処理部８５は、合焦被写体までの距離が近ければ、内挿によりそれだけ視差量を少なくすることもできる。
【００９２】
いずれにせよ、３次元画像処理部８５は、画像データＡとの間で所望の視差量を有するよう、ステレオマッチングされた画像データＡ・画像データＢ間の対応点の３次元座標値（距離情報）の内挿または外挿により、画像データＢ’（中間位置画像、右外画像、または左外画像）を求める。よって、カメラ１で、基線長が小さくなり、立体感が弱くなる時でも、視差量を所望の値に拡大した立体スルー画を遅延なく出力できる。
【００９３】
３次元画像処理部８５は、画像データＡと画像データＢ’から３次元画像データを生成する。この仮想的な画像データＢ’の生成と３次元画像データの生成を新たな画像データＡの取得の度に繰り返すことで、所望の視差量を有する立体スルー画がＬＣＤ３０に継続的に表示される。
【００９４】
図５は本発明の好ましい第１実施形態に係るスルー画表示処理のタイミングチャートを示す。この処理は撮影モードが「静止画記録」または「動画記録」に設定されたことに応じて開始される。
【００９５】
Ｓ１では、ＣＰＵ４０は、ＣＣＤ１６から１コマ目の左右の画像データＡ・Ｂが取得されるよう制御する。
【００９６】
Ｓ２では、ＣＰＵ４０は、ステレオマッチング処理部８３と距離算出部８４にステレオマッチングと距離情報の算出を行わせる。ステレオマッチング処理部８３は、取得された１コマ目の画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部８４は、ステレオマッチング処理部８３によって検出された対応点毎の距離情報を算出する。本実施形態において、このステレオマッチングと距離情報の算出に要する時間は左右の視点画像データの取得間隔に相当するものとする。
【００９７】
ＣＰＵ４０は、このステレオマッチングと距離情報の算出の間に、ＣＣＤ１６から２コマ目の画像データＡ・Ｂが取得されるよう制御する。
【００９８】
Ｓ３では、３次元画像処理部８５は、距離算出部８４の算出した１コマ目の画像データＡ・Ｂに関する距離情報を内挿または外挿し、仮想的な距離情報を生成する。そして、３次元画像処理部８５は、仮想的な距離情報とＣＣＤ１６から取得された２コマ目の画像データＡおよび／または画像データＢに基づき、所望の視差量ｄを有する１組の視差画像である画像データＡ’・画像データＢ’を生成する。
【００９９】
画像データＡ’および画像データＢ’はＣＣＤ１６から直接出力された画像ではない場合もあるが、その場合と同等の画像情報（輝度情報および色情報）を有する。そして３次元画像処理部８５は、画像データＡ’と画像データＢ’とに基づき、１コマ目の３次元画像データを生成する。表示制御部３５は、３次元画像処理部８５の生成した３次元画像データをＬＣＤ３０に表示させる。ＬＣＤ３０に表示された３次元画像データは、所望の視差量ｄを有する。
【０１００】
以下同様、レリーズボタン１９が全押しされるまで、ｎ（ｎ＝１、２、３・・）コマ目の左右の画像データＡ・Ｂから距離情報を算出し、ｎコマ目の画像データＡ・Ｂに対応する距離情報を外挿または内挿することでｎコマ目の仮想的な距離情報を生成する。そして、ｎコマ目の仮想的な距離情報とｎ＋１コマ目の画像データＡおよび／または画像データＢに基づいて所望の視差量ｄを有する１組の視差画像データである画像データＡ’・画像データＢ’を生成する。そして、画像データＡ’・Ｂ’に基づいて、所望の視差量ｄを有するｎコマ目の３次元画像データを生成しＬＣＤ３０にスルー画像として表示することを繰り返す。
【０１０１】
３次元画像処理部８５が所望の視差量ｄを有する１組の視差画像である画像データＡ’・Ｂ’を生成する方法として、次の３つのパターンのうちのいずれが採用されてもよい。
【０１０２】
（１）ｎコマ目の距離情報を外挿あるいは内挿することで、ｎコマ目の画像データＡの各画素の座標・画像データＢの各画素の座標を、それぞれｄ／２だけ外側あるいは内側に移動した仮想的距離情報を算出する。そして、当該仮想的距離情報に従い、ｎ＋１コマ目の画像データＡの各画素の座標・画像データＢの各画素の座標を、それぞれｄ／２だけ外側あるいは内側に移動し、画素の色も元の配列順どおりに移動する。この方法は、画像データＡの画素数と画像データＢの画素数が同等の場合に有効である。
【０１０３】
（２）ｎコマ目の距離情報を外挿あるいは内挿することで、ｎコマ目の画像データＢの各画素の座標を、ｄだけ外側あるいは内側に移動した仮想的距離情報を算出する。そして、当該仮想的距離情報に従い、ｎ＋１コマ目の画像データＢの各画素の座標を、ｄだけ外側あるいは内側に移動し、画素の色も元の配列順どおりに移動する。この方法は、画像データＡの画素数が画像データＢの画素数よりも多い場合に有効である。この場合、ｎ＋１コマ目の画像データＡ’は、ｎ＋１コマ目の画像データＡと同じであってもよい。また、特許文献２と同様にして、画像データＢ’の画素数を画像データＡ’と同等にすることができる。
【０１０４】
（３）ｎコマ目の距離情報を外挿あるいは内挿することで、ｎコマ目の画像データＡの各画素の座標を、ｄだけ外側あるいは内側に移動した仮想的距離情報を算出する。そして、当該仮想的距離情報に従い、ｎ＋１コマ目の画像データＡの各画素の座標を、ｄだけ外側あるいは内側に移動し、画素の色も元の配列順どおりに移動する。この方法は、画像データＢの画素数が画像データＡの画素数よりも多い場合に有効である。この場合、ｎ＋１コマ目の画像データＢ’は、ｎ＋１コマ目の画像データＢと同じであってもよい。また、特許文献２と同様にして、画像データＡ’の画素数を画像データＢ’と同等にすることができる。
【０１０５】
このように、前のコマについて算出された距離情報を用いて後のコマの視点画像からスルー画を表示するため、距離情報の算出待ちにより最新のスルー画の表示の遅れが発生することを防止できる。なお、距離情報の算出対象の画像データと３次元画像の生成元の画像データとは取得タイミングが異なるため、スルー画での被写体の３次元位置は実際とは異なるが、１コマ分の画像データの取得時間に相当するずれのため観察者から見て被写体位置の違いは小さいと考えられる。
【０１０６】
さらに、被写体の距離情報の外挿・内挿に基づいて所望の視差を有する視点画像の組を生成する代わりに、視差マップ（基準の視点画像、例えば画像データＡから、別の視点画像、例えば画像データＢへの対応点までの視差で、別の視点画像を表したもの）の外挿・内挿に基づいて所望の視差を有する視点画像の組を生成することもできる。すなわち、距離算出部８４は、ｎコマ目に対応する画像データＡと画像データＢの間の対応する画素毎の視差を示す視差マップを算出する。視差マップの算出は、ステレオマッチングなどで行われる。３次元画像処理部８５は、ｎコマ目に対応する視差マップの各画素の視差を外挿または内挿することで仮想視差マップを生成する。ｎコマ目の仮想視差マップに基づくｎ＋１コマ目の画像データＡおよび／または画像データＢの各画素の移動は、上記の３パターンと同様、ｎ＋１コマ目に対応する画像データＡおよび画像データＢの双方またはいずれか一方について行う。このように、視差マップの各画素の視差の外挿または内挿によっても、所望の視差を有する視点画像の組を生成することができる。
【０１０７】
以下、説明の簡略のため、被写体の距離情報について記述するが、視差マップについても同様の処理が成り立つ。
【０１０８】
＜第２実施形態＞
ステレオマッチングと距離情報の算出に要する時間が、１コマ分の左右の画像データＡ・Ｂの取得間隔よりも長い場合、ｎ＋１コマ目の画像データにｎコマ目の距離情報を適用して３次元画像を生成することはできない。そこで、距離情報の算出以後に取得される複数のコマの画像データに、当該算出された同一の距離情報を適用して複数コマの３次元画像データを生成する。
【０１０９】
図６は本発明の好ましい第２実施形態に係るスルー画表示処理のタイミングチャートを示す。
【０１１０】
Ｓ１１はＳ１と同様であり、ＣＣＤ１６から１コマ目の画像データＡ・Ｂが取得される。
【０１１１】
Ｓ１２はＳ２と同様であり、ステレオマッチング処理部８３は、取得された１コマ目の左右の画像データＡ・Ｂに基づいてステレオマッチングを行う。ただし２コマ目の左右の画像データＢはメモリ部３１に保存されず廃棄される。距離算出部８４は、ステレオマッチング処理部８３によって１コマ目の画像データＡ・Ｂから検出された対応点の距離情報（距離情報）を算出する。このステレオマッチングと距離情報の算出に要する時間が左右の画像データの取得間隔を超え、例えば２倍に相当するとする。すなわち、第１実施形態と異なり、距離情報の算出は、前のコマの画像の取得から次のコマの画像が取得までの間に完了しない。
【０１１２】
Ｓ１３では、ＣＰＵ４０は、このステレオマッチングと距離情報の算出の間に、ＣＣＤ１６から３コマ目の画像データＡ・Ｂが取得されるよう制御する。
【０１１３】
Ｓ１４では、３次元画像処理部８５は、距離算出部８４の算出した１コマ目の画像データＡ・Ｂに関する距離情報を外挿または内挿し、１コマ目の仮想的な距離情報を生成する。３次元画像処理部８５は、１コマ目の仮想的な距離情報と、ＣＣＤ１６から取得された３コマ目の画像データＡおよび／または画像データＢに基づき、所望の視差量ｄを有する１コマ目の画像データＡ’・Ｂ’を生成する。そして、３次元画像処理部８５は、１コマ目の画像データＡ’と画像データＢ’とに基づき、１コマ目の３次元画像データを生成する。表示制御部３５は、生成された３次元画像データをＬＣＤ３０に表示する。ＬＣＤ３０に表示された３次元画像データは、所望の視差量ｄを有する。
【０１１４】
この間、ＣＰＵ４０は、ＣＣＤ１６から４コマ目の画像データが取得されるよう制御する。またＣＰＵ４０は、３コマ目の画像データＡ・Ｂに基づくステレオマッチングおよび距離情報の算出を開始するよう制御する。
【０１１５】
Ｓ１５では、３次元画像処理部８５は、１コマ目の仮想的な距離情報とＣＣＤ１６から取得された４コマ目の画像データＡおよび／または画像データＢとに基づき、所望の視差量ｄを有する２コマ目の画像データＡ’・画像データＢ’を生成する。そして、２コマ目の画像データＡ’と画像データＢ’とに基づき、２コマ目の３次元画像データを生成し、表示制御部３５は、生成された３次元画像データをＬＣＤ３０に表示する。ＬＣＤ３０に表示された３次元画像データは、所望の視差量ｄを有する。
【０１１６】
この間、ＣＰＵ４０は、ＣＣＤ１６から５コマ目の画像データが取得されるよう制御する。
【０１１７】
以下同様、レリーズボタン１９が全押しされるまで、繰り返して、ｎ（ｎ＝１、２、３・・）コマ目の画像データＡ・Ｂから距離情報を算出し、ｎコマ目の距離情報を外挿または内挿してｎコマ目の仮想的な距離情報を生成する。そして、ｎコマ目の仮想的な距離情報とｎ＋２コマ目の画像データＡおよび／または画像データＢに基づき、所望の視差量ｄを有するｎコマ目の３次元画像データを生成しＬＣＤ３０にスルー画像として表示する。さらに、ｎコマ目の仮想的な距離情報とｎ＋３コマ目の画像データＡおよび／または画像データＢに基づき、所望の視差量ｄを有するｎ＋１コマ目の３次元画像データを生成しＬＣＤ３０にスルー画像として表示する。
【０１１８】
これにより、距離情報の算出待ちにより所望の視差量ｄを有するスルー画の表示の遅れが発生することをより効果的に防止できる。また、距離算出よりスルー画の表示のフレームレートを早くすることができる。
【０１１９】
＜第３実施形態＞
第１・２実施形態において、画像の解像度が高いなどの理由で座標値算出に時間がかかったり、画像の色情報など画像データの情報量によって座標値算出時間が変化する場合、スルー画のコマが定期的に表示されなくなる。そこで、座標値算出が所定の割合完了した時から次のコマの左右画像データの取得を開始してもよい。
【０１２０】
図７は本発明の好ましい第３実施形態に係るスルー画表示処理のタイミングチャートを示す。
【０１２１】
Ｓ２１はＳ１１と同様であり、ＣＰＵ４０は、撮影モードの設定に応じて、ＣＣＤ１６から１コマ目の画像データＡ・Ｂを取得するよう制御する。
【０１２２】
Ｓ２２はＳ１２と同様であり、ステレオマッチング処理部８３は、取得された１コマ目の画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部８４は、ステレオマッチング処理部８３によって画像データＡ・Ｂから検出された対応点の距離情報を算出する。
【０１２３】
Ｓ２３では、ＣＰＵ４０は、座標値算出が所定の割合完了した時、例えば７割完了した時点で、ＣＣＤ１６からから２コマ目の画像データＡ・Ｂの取得を開始するよう制御する。画像データＡ・Ｂの取得開始と連動する座標値算出の完了割合をどのように設定するかは任意である。例えば、１コマ目の画像データＡ・Ｂに対応する座標値算出開始後のある時点から距離情報の完全な算出完了までの時間の長さが、画像データの取得完了に必要な時間と略一致する場合、その時点が到来した時点で、ＣＣＤ１６から２コマ目の画像データの取得を開始するよう制御するとよい。こうすると画像データの取得後ただちに３次元画像を生成することができる。
【０１２４】
Ｓ２４では、ＣＰＵ４０は、距離算出部８４から算出された１コマ目の画像データＡ・Ｂに対応する距離情報を外挿または内挿し１コマ目の仮想的な距離情報を生成する。そして、１コマ目の仮想的な距離情報と２コマ目の画像データＡおよび／または画像データＢに基づき、所望の視差ｄを有する１コマ目の画像データＡ’・Ｂ’を生成するよう３次元画像処理部８５を制御する。３次元画像処理部８５は、１コマ目の画像データＡ’と画像データＢ’とに基づいて１コマ目の３次元画像データを生成する。表示制御部３５から得られた１コマ目の３次元画像データはＬＣＤ３０に出力されスルー画像として表示される。ＬＣＤ３０に表示された３次元画像データは、所望の視差量ｄを有する。
【０１２５】
この間、ＣＰＵ４０は、２コマ目の画像データＡ・Ｂに対応するステレオマッチングと距離情報の算出を開始するようステレオマッチング処理部８３および距離算出部８４を制御する。
【０１２６】
以後同様、ＣＰＵ４０は、ＣＣＤ１６から取得されたｎコマ目の画像データＡ・Ｂに基づく距離情報算出が所定の割合完了した時点で、ＣＣＤ１６からｎ＋１コマ目の画像データＡ・Ｂを取得するよう制御する。さらにＣＰＵ４０は、距離算出部８４から算出されたｎコマ目の画像データＡ・Ｂに対応する距離情報を外挿または内挿してｎコマ目の仮想的な距離情報を生成し、ｎコマ目の仮想的な距離情報とｎ＋１コマ目の画像データＡおよび／または画像データＢとに基づき、所望の視差ｄを有するｎコマ目の画像データＡ’・Ｂ’を生成し、画像データＡ’と画像データＢ’とに基づいてｎコマ目の３次元画像データを生成するよう３次元画像処理部８５を制御する。
【０１２７】
このように、距離情報の算出タイミングに応じて各コマの画像の取得間隔を可変にすることで、最新の画像データによる３次元画像の素早い生成が可能となる。
【０１２８】
＜第４実施形態＞
第３実施形態において、ステレオマッチング処理部８３および距離算出部８４のセットが複数存在し、複数のコマの画像データの各々について独立した距離情報算出の並列処理が可能な場合は、最新コマの画像データの取得時に距離情報算出を実行していない、空いているセットに対して最新コマに対応する距離情報算出を実行するよう制御するとよい。
【０１２９】
図８は本発明の好ましい第４実施形態に係るデジタルカメラ１のブロック図を示す。説明済みのブロックと同一のブロックには同一の符号を付している。このデジタルカメラ１は、複数セット、ここでは一例として２セットのステレオマッチング処理部８３ａおよび距離算出部８４ａ、ステレオマッチング処理部８３ｂおよび距離算出部８４ｂを有する。
【０１３０】
図９は本発明の好ましい第４実施形態に係るスルー画表示処理のタイミングチャートを示す。
【０１３１】
Ｓ４１では、ＣＰＵ４０は、撮影モードの設定に応じて、ＣＣＤ１６から１コマ目の画像データＡ・Ｂを取得するよう制御する。
【０１３２】
Ｓ４２では、ＣＰＵ４０は、ステレオマッチング処理部８３ａ・距離算出部８４ａに、１コマ目の画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御する。ステレオマッチング処理部８３ａは、取得された１コマ目の画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部８４ａは、ステレオマッチング処理部８３ａによって検出された対応点の距離情報を算出する。
【０１３３】
同時に、ＣＰＵ４０は、ＣＣＤ１６から２コマ目の画像データＡ・Ｂを取得するよう制御する。
【０１３４】
Ｓ４３では、ＣＰＵ４０は、ステレオマッチング処理部８３ｂ・距離算出部８４ｂに、２コマ目の画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御する。ステレオマッチング処理部８３ｂは、取得された２コマ目の画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部８４ｂは、ステレオマッチング処理部８３によって２コマ目の画像データＡ・Ｂから検出された対応点の距離情報を算出する。
【０１３５】
ステレオマッチング処理部８３ｂ・距離算出部８４ｂによる距離情報の算出の開始時に、ステレオマッチング処理部８３ａ・距離算出部８４ａによる距離情報の算出が継続していてもよく、双方の距離情報の算出は独立無関係に行われる。
【０１３６】
さらにＣＰＵ４０は、ＣＣＤ１６から３コマ目の画像データＡ・Ｂを取得するよう制御する。
【０１３７】
Ｓ４４では、ＣＰＵ４０は、Ｓ４２で算出された１コマ目の画像データＡ・Ｂに対応する距離情報を外挿または内挿することで、１コマ目の仮想的な距離情報を生成するよう３次元画像処理部８５を制御する。そして、ＣＰＵ４０は、１コマ目の仮想的な距離情報と３コマ目の画像データＡおよび／または画像データＢに基づき、所望の視差量ｄを有する１コマ目の画像データＡ’・Ｂ’を生成し、画像データＡ’と画像データＢ’とに基づいて１コマ目の３次元画像を生成するよう３次元画像処理部８５を制御する。
【０１３８】
同時に、ＣＰＵ４０は、ステレオマッチング処理部８３ａ・距離算出部８４ａに、３コマ目の画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御する。ただし、３コマ目の画像データＡ・Ｂに対応する距離情報の算出を開始するまでに、１コマ目の画像データＡ・Ｂに対応する距離情報の算出は完了しているものとする。２コマ目の画像データＡ・Ｂに対応する距離情報の算出は完了していなくてもよい。
【０１３９】
以下同様、ＣＰＵ４０は、ｎコマ目（ｎ＝１，２，．．）の３次元画像を生成するよう３次元画像処理部８５を制御する。ｎが奇数であれば、ＣＰＵ４０は、ステレオマッチング処理部８３ａ・距離算出部８４ａに、ｎコマ目に取得された画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御し、ｎが偶数であれば、ＣＰＵ４０は、ステレオマッチング処理部８３ｂ・距離算出部８４ｂに、ｎコマ目に取得された画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御する。
【０１４０】
そして、ＣＰＵ４０は、ｎコマ目の画像データＡ・Ｂに対応する距離情報を外挿または内挿することで、ｎコマ目の仮想的な距離情報を生成し、ｎコマ目の仮想的な距離情報とｎ＋２コマ目の画像データＡおよび／またはＢに基づき、所望の視差量ｄを有するｎコマ目の画像データＡ’・Ｂ’を生成した上、ｎコマ目の画像データＡ’と画像データＢ’に基づいてｎコマ目の３次元画像を生成するよう３次元画像処理部８５を制御する。３次元画像処理部８５から得られたｎコマ目の３次元画像データはＬＣＤ３０に出力されスルー画像として表示される。ＬＣＤ３０に表示された３次元画像データは、所望の視差量ｄを有する。
【０１４１】
ステレオマッチング処理部８３および距離算出部８４のセットが３つ以上である場合も同様にして、空いているステレオマッチング処理部８３・距離算出部８４のセットで処理し、いずれかのセットで算出済みの最新の距離情報を外挿または内挿することで仮想的な距離情報を生成し、この仮想的な距離情報と取得済みの最新の画像データＡおよび／または画像データＢに基づいて、所望の視差量ｄを有する画像データＡ・Ｂを生成し、３次元コマ画像を生成する。左右画像データＡ・Ｂの取得間隔に対応して必要十分なセットの数は距離情報の算出時間間隔に依存する。図９では一例として当該算出時間が左右画像データの取得間隔の１．５倍程度であるため、２コマ分の画像データを別個に処理する２セットで十分である。
【０１４２】
このように、複数のステレオマッチング処理部８３および距離算出部８４のセットで異なるコマの画像データの距離情報を別個に算出させることで、距離情報の算出に１コマ分の取得間隔以上かかる場合でもスルー画の表示遅れを防止できる。
【０１４３】
＜第５実施形態＞
第１〜４実施形態において、レリーズボタン１９の全押しに応じて３次元画像の再生情報を記録するには次のようにする。
【０１４４】
図１０は本発明の好ましい第５実施形態に係る動画記録処理のタイミングチャートを示す。この処理は撮影モードが「動画撮影」に設定されており、レリーズボタン１９の全押しなど動画記録開始指示が入力されたことに応じて開始する。
【０１４５】
Ｓ５１・５２はＳ１・２と同様である。この結果１コマ目の画像が取得されるとともに１コマ目の画像に対応する距離情報が得られる。
【０１４６】
Ｓ５３では、３次元画像処理部８５は、距離算出部８４の算出した１コマ目の画像データＡ・Ｂに関する距離情報を内挿または外挿し、１コマ目の仮想的な距離情報を生成する。３次元画像処理部８５は、１コマ目の仮想的な距離情報と、ＣＣＤ１６から取得された１コマ目の画像データＡおよび／または画像データＢに基づき、所望の視差量ｄを有する１コマ目の画像データＡ’・画像データＢ’を生成した上、１コマ目の画像Ａ’・Ｂ’から３次元画像を生成する。ＣＰＵ４０は、当該生成された３次元画像を記録するようメディア制御部３７を制御する。また、Ｓ５１で取得された１コマ目の画像Ａに画像Ａ・Ｂに対応する距離情報を適用して仮想的な画像データＢ’を生成した上、１コマ目の画像Ａと画像Ｂ’から３次元画像を生成し、当該生成された３次元画像を記録するようメディア制御部３７を制御することもできる。その他はＳ３と同様である。
【０１４７】
以下同様にして、動画記録終了指示が入力されるまで、スルー画の表示と３次元画像の記録が継続される。３次元画像の再生情報として、各コマの画像と距離情報とをそのまま対応づけて記録するだけでもよい。この再生情報に基づいて、再生時に３次元画像を生成することも可能だからである。再生情報から３次元画像を生成する回路は３次元画像処理部８５でもよいし、それとは異なる回路でもよい。また、外部記録メディア３６に記録するタイミングも任意であり、得られた画像を順次記録してもよいし、動画記録終了指示が入力されたことに応じて一括して記録してもよい。前者の場合は、各コマの視点画像が取得されるタイミングに合わせて各コマの３次元画像の生成が行われることが好ましい。
【０１４８】
再生情報の記録についてはスルー画の表示のように実時間からの遅れは問題にならないため、第１実施形態のようにスルー画を表示するのと平行して、３次元画像の再生情報を記録する。記録される再生情報については距離情報と画像情報のずれは生じない。
【０１４９】
＜第６実施形態＞
第１〜５実施形態において、距離情報と色情報が同一のコマ画像に由来して取得されないため、３次元画像の立体感が実際の被写体の奥行きと異なる場合がある。この立体感のずれを軽減するには、次のようにする。
【０１５０】
ぼかし処理部８６は、隣接する画素間の距離情報同士を比較し、隣接する画素間の距離情報の差が所定の閾値を超える場合、当該隣接する画素に対応する距離情報をぼかす。例えば、ぼかし処理部８６は、当該隣接する画素に対応する距離情報を平滑化する。
【０１５１】
３次元画像処理部８５は、距離算出部８４の算出したｎコマ目の距離情報の代わりに、ぼかし処理部８６で平滑化されたｎコマ目の距離情報を内挿または外挿し、ｎコマ目の仮想的な距離情報を生成する。そして、３次元画像処理部８５は、ｎコマ目の仮想的な距離情報と、ＣＣＤ１６から取得されたｎ＋１コマ目の画像データＡおよび／または画像データＢとに基づき、所望の視差量ｄを有するｎコマ目の画像データＡ’・画像データＢ’を生成した上、ｎコマ目の画像Ａ’・Ｂ’からｎコマ目の３次元画像を生成する。また、３次元画像処理部８５は、距離算出部８４の算出した距離情報の代わりに、ぼかし処理部８６で平滑化された距離情報を画像データＡに適用して、仮想的な画像データＢ’を生成し、３次元画像データを生成することもできる。これにより、３次元画像において被写体の輪郭部分と奥行きの変化が生じる部分とのずれが目立つのを防止できる。
【符号の説明】
【０１５２】
３０…ＬＣＤ、４０…ＣＰＵ、８３…ステレオマッチング処理部、８４…距離算出部、８５…３次元画像処理部、８６…ぼかし処理部
【技術分野】
【０００１】
本発明は、撮影レンズの２方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する撮像装置および撮像方法に関する。特に本発明は、視差を有する画像の撮影画角を立体的にスルー画として表示する撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来、特に撮影レンズの２方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する立体撮像装置が存在する。
【０００３】
図１３に示す光学系は、メインレンズ１及びリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。
【０００４】
図１４（Ａ）〜（Ｃ）は、それぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。なお、図１４では、フォーカスによる分離の違いを比較するために、図１３に示したミラー４を省略している。
【０００５】
図１４（Ｂ）に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図１４（Ａ）及び（Ｃ）に示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。
【０００６】
従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視点の異なる左視点画像及び右視点画像（３Ｄ画像）を取得することができる。
【０００７】
特許文献１によると、電子カメラは、撮像部と、光量分布検出部と、像ズレ量検出部と、画像処理部とを有する。撮像部は撮影光学系による被写体像を光電変換して撮影画像データを生成する。光量分布検出部は、異なる光路を通った被写体からの光束による光量分布をそれぞれ検出する。像ズレ量検出部は光量分布に基づいて撮影画面内の複数箇所における像ズレ量を検出する。画像処理部は複数箇所の像ズレ量に基づいて、撮影画像データにおける被写体の位置関係を水平方向に変化させてステレオグラム画像データを生成する。また、入力部からの入力に基づいて、ステレオグラム画像データにおける被写体の位置関係を水平方向に変化させてステレオグラム画像データを補正する。ステレオグラム画像データを補正することができるので、ユーザにとって違和感がより少ない自然なステレオグラム画像を得ることが可能となる。
【０００８】
特許文献２は、左右２台のカメラの撮影した左目画像、右目画像に対して、左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める多眼視画像作成方法を開示する。
【０００９】
特許文献３において、ステレオマッチング処理部（対象物検出手段）４３は、画像処理部４Ａ、４Ｂによってそれぞれ処理され、メモリ部３１に格納された２つの画像データＡ、Ｂにおける、上述の空間設定部４２によって設定された検索空間に対して、互いに対応する１つ以上の対応点（対象物）を検出する。距離算出部（位置算出手段）４４は、上述したステレオマッチング処理部８３によって検出された対応点の３次元座標値（位置情報）を算出する。撮影部２０Ａおよび撮影部２０Ｂの撮影レンズ２１Ａ２、２１Ｂ２の構成は異なり、撮影レンズ２１Ａ２は、ズームレンズおよび該ズームレンズを駆動する図示しないズームレンズ駆動部（駆動手段）を備え、撮影レンズ２１Ｂ２は、撮影レンズ２１Ａ２のズームレンズの広角端と等しい画角の固定焦点レンズを備える。このような構成にすることによりコストを低減する。
【００１０】
特許文献４〜６は単一の光学系を用いた３次元画像生成技術の一例である。例えば特許文献４では、多数の画素を同一撮像面上に配列し、該撮像面に結像された被写体像を光電変換して画像信号を生成する固体撮像素子において、上記多数の画素を２つのグループに区分けし、各グループにおける画素の受光入射角度をそれぞれ異ならせてなることを特徴とする固体撮像素子が開示されている。
【００１１】
特許文献７〜１１は、異なる視点画像間の対応点検索の方法、ステレオマッチングで奥行き情報を取得する技術、２次元画像と距離情報（奥行き情報）を用いた３次元画像生成技術の一例である。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開2007-104248号公報
【特許文献２】特開2009-124308号公報
【特許文献３】特開2008-92007号公報、段落００４７−００４８、００７１
【特許文献４】特開2003-7994号公報
【特許文献５】特開2001-12916号公報
【特許文献６】特開2001-016611号公報
【特許文献７】特開平08-331607号公報
【特許文献８】特開2008-141666号公報
【特許文献９】特開2009-14445号公報
【特許文献１０】特開2008-116309号公報
【特許文献１１】特開2000-102040号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
図１１に例示するように、同じ画質の左右の視点画像をそのまま立体画像として表示する通常の複眼カメラにおけるスルー画（ライブビュー）の表示は、１フレーム毎に撮影された左右の視点画像に基づいて３次元画像を表示することを繰り返すだけで済む。
【００１４】
一方、特許文献３に例示されるような、左右の撮像部の撮影画素数が異なったり、一方の撮像部は色情報が取得できるが他方の撮像部は色情報を取得できないなど左右の撮像部の仕様が異なる場合や、視点画像の解像度がモニタの解像度と異なる場合など、左右の視点画像からただちに表示用の立体画像を生成できない複眼カメラでは、距離情報の算出に加え、一方の撮像部、例えば画素数の多い撮像部や色情報の取得可能な撮像部の画像の色情報などから３次元画像を生成して表示することを繰り返す必要がある。
【００１５】
これは、特許文献４〜６のような単一の光学系から３次元画像を取得するカメラであっても同様である。
【００１６】
図１２に例示するように、このようなカメラでは、３次元画像の生成に時間がかかるため、その分視点画像の撮影からスルー画の表示まで間のタイムラグが通常のカメラよりも増大する。そのため、表示されたスルー画による画角の確認などに支障をきたし使いにくい。
【００１７】
さらに、瞳分割方式の立体撮像装置では、基線長が小さいため、画像の立体感が弱めになりやすい。撮影された画像でステレオマッチングや視差情報の外挿または内挿の処理などの画像処理を施して視差量を調整することは可能であるが、画像処理時間の増大によりスルー画の表示が遅れる。近年では、ファインダーのないカメラが主流であり、スルー画表示が遅れると、シャッターチャンスを逃す可能性があり、使いにくい。
【００１８】
本発明は、瞳分割方式で得られた画像に対する所定の画像処理を経て継続的に立体画像を生成する撮像装置において、立体画像出力のタイムラグを短縮する技術を提供する。
【課題を解決するための手段】
【００１９】
本発明は、単一の撮像光学系と、撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部と、時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう撮像部を制御する撮像制御部と、第１の時点で撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出する視差情報算出部と、第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、所望の視差を有する画像の組から立体画像を生成する立体画像生成部と、を備える撮像装置を提供する。
【００２０】
ここで、視差情報とは、被写体の距離情報または視差マップを含む。
【００２１】
撮像制御部は、第１の時点よりも後の異なる複数の第２の時点の各々で視点画像の組が順次出力されるよう撮像部を制御し、立体画像生成部は、第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第２の時点で各々出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の複数の組を生成し、所望の視差を有する視点画像の複数の組から複数の立体画像を順次生成する。
【００２２】
撮像制御部は、視差情報算出部による第１の時点に対応する視差情報の算出処理が所定の割合だけ完了した第２の時点で視点画像の組が出力されるよう撮像部を制御する。
【００２３】
視差情報算出部は、異なる複数の視点画像の組にそれぞれ対応する複数の視差情報をそれぞれ独立して算出可能な異なる複数の処理系統を有しており、異なる複数の第１の時点に対応する視差情報の各々を異なる処理系統で算出する。
【００２４】
撮像装置は、所定の記録指示が入力されたことに応じ、第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第１の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、所望の視差を有する視点画像の組に基づいて立体画像の再生情報を記録する記録部を備える。
【００２５】
立体画像生成部の生成した立体画像を表示する表示部を備える。
【００２６】
第２画像の解像度は第１画像の解像度よりも低くかつ表示部の表示解像度よりも低い。
【００２７】
第１画像は輝度情報および色情報を含み、第２画像は輝度情報のみを含む。
【００２８】
視差情報をぼかすぼかし処理部を備え、立体画像生成部は、ぼかし処理部によりぼかされた第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、所望の視差を有する画像の組から立体画像を生成する。
【００２９】
所望の視差量は、所定の操作手段から入力された指定値、固定値または被写体距離の遠近に応じた値を含む。
【００３０】
本発明は、単一の撮像光学系と、撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部と、時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう撮像部を制御する撮像制御部と、第１の時点で撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出する視差情報算出部と、第２の時点で出力された第１画像に第１の時点に対応する視差情報を適用して第１画像との間で視差を有する仮想第２画像を生成し、第２の時点で出力された第１画像と仮想第２画像から立体画像を生成する立体画像生成部と、を備える撮像装置を提供する。
【００３１】
撮像制御部は、第１の時点よりも後の異なる複数の第２の時点の各々で視点画像の組が順次出力されるよう撮像部を制御し、立体画像生成部は、複数の第２の時点で各々出力された複数の視点画像の組に含まれる複数の第１画像に第１の時点に対応する視差情報を適用して第１画像との間で視差を有する複数の仮想第２画像を生成し、複数の第２の時点で各々出力された第１画像と対応する複数の仮想第２画像から複数の立体画像を順次生成する。
【００３２】
撮像制御部は、視差情報算出部による第１の時点に対応する視差情報の算出処理が所定の割合だけ完了した第２の時点で視点画像の組が出力されるよう撮像部を制御する。
【００３３】
視差情報算出部は、異なる複数の視点画像の組にそれぞれ対応する複数の視差情報をそれぞれ独立して算出可能な異なる複数の処理系統を有しており、異なる複数の第１の時点に対応する視差情報の各々を異なる処理系統で算出する。
【００３４】
撮像装置は、所定の記録指示が入力されたことに応じ、第１の時点で出力された第１画像に第１の時点に対応する視差情報を適用して第１画像との間で視差を有する仮想第２画像を生成し、第１の時点で出力された第１画像と仮想第２画像に基づいて立体画像の再生情報を記録する記録部を備える。
【００３５】
立体画像生成部の生成した立体画像を表示する表示部を備える。
【００３６】
第２画像の解像度は第１画像の解像度よりも低くかつ表示部の表示解像度よりも低い。
【００３７】
第１画像は輝度情報および色情報を含み、第２画像は輝度情報のみを含む。
【００３８】
視差情報をぼかすぼかし処理部を備え、立体画像生成部は、ぼかし処理部によりぼかされた第１の時点に対応する視差情報を第２の時点で出力された第１画像に適用して第１画像との間で視差を有する仮想第２画像を生成し、第２の時点で出力された第１画像と仮想第２画像から立体画像を生成する。
【００３９】
立体画像生成部は、第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、所望の視差を有する画像の組から立体画像を生成する。
【００４０】
こうすれば、立体画像の視差を任意に調整できる。
【００４１】
所望の視差量は、所定の操作手段から入力された指定値、固定値または被写体距離の遠近に応じた値を含む。
【００４２】
本発明は、単一の撮像光学系と、撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部とを備える撮像装置が、時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう撮像部を制御するステップと、第１の時点で撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出するステップと、第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、所望の視差を有する画像の組から立体画像を生成するステップと、を実行する撮像方法を提供する。
【００４３】
本発明は、単一の撮像光学系と、撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部とを備える撮像装置が、時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう撮像部を制御するステップと、第１の時点で撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出するステップと、第２の時点で出力された第１画像に第１の時点に対応する視差情報を適用して第１画像との間で視差を有する仮想第２画像を生成し、第２の時点で出力された第１画像と仮想第２画像から立体画像を生成するステップと、を実行する撮像方法を提供する。
【発明の効果】
【００４４】
本発明によると、第１の時点で算出された視差情報と、第１の時点よりも後の第２の時点で出力された視点画像とによって立体画像を生成する。こうすると、後の第２の時点で取得された視点画像に基づいて即座に立体画像を生成でき、第１の時点で算出された視差情報と、第１の時点で出力された視点画像とによって立体画像を生成するよりも新しい立体画像をより早く表示できる。
【図面の簡単な説明】
【００４５】
【図１】第１実施形態に係るカメラのブロック図
【図２】瞳分割視差画像取得撮像素子ＣＣＤの構成例を示す図
【図３】第１、第２画素の１画素ずつを示した図
【図４】図３の要部拡大図
【図５】第１実施形態に係るスルー画表示処理のタイミングチャート
【図６】第２実施形態に係るスルー画表示処理のタイミングチャート
【図７】第３実施形態に係るスルー画表示処理のタイミングチャート
【図８】第４実施形態に係るカメラのブロック図
【図９】第４実施形態に係るスルー画表示処理のタイミングチャート
【図１０】第５実施形態に係る動画記録処理のタイミングチャート
【図１１】通常の撮像装置におけるスルー画表示処理のタイミングチャート
【図１２】距離算出を行う撮像装置におけるスルー画表示処理のタイミングチャート
【図１３】従来の単眼立体撮像装置の一例を示す図
【図１４】撮像素子に結像する像の分離状態を示す図
【発明を実施するための形態】
【００４６】
＜第１実施形態＞
図１は第１実施形態に係るカメラ１の実施の形態を示すブロック図である。
【００４７】
このカメラ１は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
【００４８】
カメラ１には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいてカメラ１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。
【００４９】
ＲＯＭ１０には、ＣＰＵ４０が実行するプログラムおよび制御に必要な各種データ、ＣＣＤ１６の画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。
【００５０】
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、および動画を撮影する動画モードのいずれかを選択する選択手段である。
【００５１】
再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００５２】
撮影モード時において、被写体を示す画像光は、撮像レンズ１２、絞り１４を介して瞳分割視差画像を取得可能な位相差イメージセンサである固体撮像素子（以下、「ＣＣＤ」というが、ＣＭＯＳ等でも可）１６の受光面に結像される。撮像レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム（焦点距離）制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３３によって駆動され、例えば、絞り値（Ｆ値）Ｆ2.8 〜Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。
【００５３】
また、ＣＰＵ４０は、絞り駆動部３３を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。
【００５４】
＜ＣＣＤの構成例＞
図２はＣＣＤ１６の構成例を示す図である。
【００５５】
図２（Ａ）に示すように、ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素と、偶数ラインの画素とを有しており、これらの２つのラインの画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。各画素群に対応する複数の受光素子は、有効な撮像信号を得るための有効画素領域と、黒レベルの基準信号を得るためのオプティカルブラック領域（以下「ＯＢ領域」という）とを形成する。ＯＢ領域は、実際には、有効画素領域の周囲を取り囲むように形成される。
【００５６】
図２（Ｂ）に示すように、ＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられる。一方、図２（Ｃ）に示すように、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。
【００５７】
２面分の画像信号を構成する第１画素と第２画素の配置領域は同一であってもよいし同一でなくてもよい。例えば、第１画素は有効画素領域全体に渡って存在するが、第２画素の存在領域はＡＦ領域内など特定の領域のみでもよい。第２画素は、有効画素領域全体あるいは特定の領域内に渡って密に配列されてもよいし、粗に配列されてもよい。
【００５８】
具体的には、図２（Ｄ）および（Ｅ）のように、第２画素数は第１画素数よりも低くてもよい。図２（Ｄ）および（Ｅ）は、白部分で第１画素、黒部分で第２画素を示している。黒部分のカラーフィルタは、ＲＧＢでもよいし（図２（Ｄ））、輝度情報を取るＧのみ（図２（Ｅ））でもよい。図２（Ｄ）の場合は、第１画素・第２画素の間でＲＧＢカラーフィルタの配列を変えずに済む利点があり、図２（Ｅ）の場合は各第２画素の情報をデフォーカス量の検出に利用できる利点がある。
【００５９】
図３は、撮像レンズ１２、絞り１４、および図２（Ａ）のＣＣＤ１６の第１、第２画素の１画素ずつを示した図であり、図４は図３の要部拡大図である。
【００６０】
図４（Ａ）に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。
【００６１】
これに対し、図４（Ｂ）に示すようにＣＣＤ１６の第１画素および第２画素には遮光部材１６Ａが形成される。カメラ１を横置きにして撮像する場合、この遮光部材１６Ａにより第１画素、第２画素（フォトダイオードＰＤ）の受光面の右半分又は左半分が遮光される。あるいはカメラ１を縦置きにして撮像する場合、この遮光部材１６Ａにより第１画素、第２画素（フォトダイオードＰＤ）の受光面の上半分又は下半分が遮光される。マイクロレンズＬの光軸Ｚから右、左、上、あるいは下方向（例えば図４（Ｂ）では光軸より左方向）に所定量Δだけ偏位した位置には、遮光部材１６Ａの開口１６Ｂが設けられている。光束は開口１６Ｂを通過し、フォトダイオードＰＤの受光面に到達する。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。
【００６２】
なお、第１画素と第２画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分／左半分、あるいは上半分／下半分）が異なる。例えば、第１画素では光束の左半分が制限され、第２画素では光束の右半分が制限されると、第１画素からは右の視点画像、第２画素からは左の視点画像が得られる。あるいは、第１画素では光束の上半分が制限され、第２画素では光束の下半分が制限されると、第１画素からは下の視点画像、第２画素からは上の視点画像が得られる。
【００６３】
従って、図１４に示すように、後ピン、合焦、前ピンの状態に応じて第１画素と第２画素の出力は、位相がずれるかまたは位相が一致する。第１画素と第２画素の出力信号の位相差は撮像レンズ１２のデフォーカス量に対応するため、この位相差を検出することにより撮像レンズ１２のＡＦ制御を行うことができる（位相差ＡＦ）。
【００６４】
上記構成のＣＣＤ１６は、第１画素と第２画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、ＣＣＤ１６の構成はこれに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（第１画素と第２画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよいし、ミラーにより瞳分割するもの（例えば図１３）でもよい。要するに本発明の適用範囲は、瞳分割により位相差画像を取得するカメラである。
【００６５】
図１に戻って、ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
【００６６】
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正および感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。
【００６７】
ここで、図２（Ｂ）および（Ｃ）に示すように，ＣＣＤ１６の奇数ラインの第１画素から読み出される第１画像データは、左視点画像データとして処理され、偶数ラインの第２画素から読み出される第２画像データは、右視点画像データとして処理される。図２（Ｄ）および（Ｅ）の場合も同様に、第１画素から読み出される第１画像データは、左視点画像データとして処理され、偶数ラインの第２画素から読み出される第２画像データは、右視点画像データとして処理される。なお、第１画像データが左視点画像データであり、第２画像データが右視点画像データである必然性はなく、その逆でもよい。
【００６８】
デジタル信号処理部２４で処理された左視点画像データおよび右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域およびＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ（ＬＣＤ）３０に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。
【００６９】
この液晶モニタ３０は、立体視画像（左視点画像および右視点画像）をパララックスバリアによりそれぞれ所定の指向性を持った指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。
【００７０】
また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作およびＡＥ動作を開始させ、レンズ駆動部３６を介して撮像レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
【００７１】
ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて適正露出が得られる絞り１４の絞り値およびＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部３３を介して絞り１４を制御する（通常の絞り制御）とともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間を制御する。なお、被写体の明るさは外部の測光センサに基づいて算出されてもよい。
【００７２】
ここで、所定のプログラム線図とは、被写体の明るさ（撮影ＥＶ値）に対応して、絞り１４の絞り値とＣＣＤ１６のシャッタスピードの組み合わせ、又はこれらと撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件が設計されたものである。このプログラム線図にしたがって決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、所望の視差を有する第１画像、第２画像の撮影が可能となる。
【００７３】
例えば、所定のプログラム線図は、Ｆ値が1.4(ＡＶ＝１)の一定の値を取り、撮影ＥＶ値が７から１２までは撮影ＥＶ値に応じてシャッタ速度のみを1/60秒（ＴＶ＝６）から1/2000（ＴＶ＝１１）まで変化させるように設計されている。また、撮影ＥＶ値が７よりも小さくなると（暗くなると）、Ｆ値＝1.4、シャッタ速度＝1/60秒で固定した状態で、撮影ＥＶ値が１ＥＶ小さくなる毎にＩＳＯ感度を100から200,400,800,1600,3200になるように設計されている。すなわち、被写体が暗くなると、絞り１４を開放せず、シャッタ速度やＩＳＯ感度を増やして明るさを補う。
【００７４】
なお、固定するＦ値を大きくすれば、視差は弱くなり、固定するＦ値を小さくすれば、視差は強くなるので、操作部３８を介してユーザから指示された視差量に応じて固定するＦ値とプログラム線図を切り替えるとよい。例えば、弱い視差が指示された場合はＦ値＝5.6のプログラム線図Ａ，標準の視差が指示された場合はＦ値＝2.8のプログラム線図Ｂ、強い視差が指示された場合はＦ値＝1.4のプログラム線図Ｃに沿って通常の絞り制御を行う。
【００７５】
この視差優先プログラム線図は、Ｆ値を一定の値で固定しているため、所望の視差を有する第１画像、第２画像の撮影を行うことができる。ただし、撮影ＥＶ値が１２よりも大きくなると（シャッタ速度が最大値になると）、露出オーバになり撮影できなくなるが、ＮＤフィルタを自動挿入して光量を減光できる構成をカメラ１に追加すれば、撮影ＥＶ値が１２よりも大きくなっても撮影可能である。
【００７６】
ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データおよび右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内（画面中央部の矩形領域など）の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データおよび右視点画像データのうちの所定のフォーカス領域内の第１画素、第２画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
【００７７】
ＡＥ動作およびＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される第１画素および第２画素に対応する左視点画像（第１画像）および右視点画像（第２画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。
【００７８】
メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データおよび色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。
【００７９】
メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。
【００８０】
デフォーカスマップ作成部６１は、第１画素および第２画素に対応する位相差を、所定のフォーカス領域に含まれる小領域の各々について算出するだけでなく、有効画素領域の全体を実質的に被覆する複数の小領域の各々について算出する。有効画素領域の全体を実質的に被覆する複数の小領域とは、有効画素領域の全体を完全に覆っている必要はなく、有効画素領域の全体に渡って密にあるいは粗に配列されていればよい。例えば、有効画素領域をマトリクス状に所定の単位（例えば８×８画素）、あるいはそれ以下（例えば１×１画素）、あるいはそれ以上（例えば１０×１０画素）で分割した分割領域の各々について位相差が算出される。あるいは、有効画素領域の外縁を起点に所定のピッチ（例えば分割領域１つ分、あるいはそれ以上、あるいはそれ以下）を隔てた所定の単位の分割領域毎に位相差が算出される。要するに位相差は有効画素領域の全体に渡って算出されるものとするが、必ずしも有効画素領域を構成する小領域の全てについて算出されなくてもよい。
【００８１】
デフォーカスマップ作成部６１は、上記小領域の各々について算出された位相差に基づき、上記小領域の各々に対応するデフォーカス量を求める。この、有効画素領域の全体に渡って求められた小領域の各々に対応するデフォーカス量の集合を、デフォーカスマップと呼ぶ。デフォーカスマップ作成部６１は、ＲＡＭなどの揮発性記憶媒体を有しており、求まったデフォーカスマップを一時的に保存する。デフォーカスマップ作成部６１は、ステレオマッチング処理部８３にて各視点画像間で特徴点および対応点検出を行い、それらの特徴点および対応点の間の位置情報の差に基づいてデフォーカスマップを作成してもよい。
【００８２】
復元フィルタ保存部６２は、ＲＯＭなどの不揮発性記憶媒体で構成されており、各視点画像における各小領域の像高（画像中心からの距離、典型的には撮像レンズ１２の光軸中心Ｌからの距離）およびデフォーカス量（ないしは被写体距離）に対応する復元フィルタを保存している。
【００８３】
復元部６３は、各視点画像の小領域毎に選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。この信号処理により、光学系のボケ、特に光束の入射のアンバランスが生じる受光面の周辺画素に対応する画像のボケが取り除かれる。
【００８４】
ステレオマッチング処理部（対象物検出手段）８３は、同じタイミングでメモリ４８に格納された２つの画像データＡ、Ｂ間で互いに対応する１つ以上の対応点（対象物）を検出するものである。なおステレオマッチング処理部８３における処理方法は、領域ベース法、セグメントベース法、等輝度線法等を用いる公知の技術を使用することができる。また、ステレオマッチングはパッシブ式でもアクティブ式でもよい。また、画素数の異なる画像間でのステレオマッチングは、例えば特許文献３、７〜１１のような公知の技術に基づいて行うことができる。
【００８５】
距離算出部８４は、上述したステレオマッチング処理部８３によって検出された対応点の３次元座標値（距離情報または視差マップ）を算出するものである。距離算出部８４における算出方法は、三角測量の原理により計算する公知の技術を使用することができる。なお、ステレオマッチング処理部８３および距離算出部８４はプログラムにより構成されるものであっても、ＩＣ、ＬＳＩ等によって構成されるものであってもよい。後述するが、距離算出部８４は、距離算出を同時処理可能な複数の処理系統を有していてもよい。なお、距離情報と視差マップは技術的に等価であり、以下の距離情報についての処理は、視差マップについても行うことができる。
【００８６】
第１画像データの取得画素と第２画像データの取得画素は、同じ構成であってもよいし、そうでなくてもよい。第１画像データは色情報と輝度情報を有するが、第２画像データは輝度情報のみを有してもよい。あるいは、第２画素は、赤外領域を受光可能な白黒ＣＣＤとし、特許文献７のような赤外光を用いたアクティブ式のステレオマッチングが採用されてもよい。
【００８７】
以下では、ステレオマッチングを可能にするため、第１画像データ・第２画像データの双方は少なくとも輝度情報を含むものとする。さらに、３次元画像に色情報を付加するため、第１画像データ・第２画像データの少なくとも一方は色情報を含むものとする。ここでは説明の簡略のため、第１画像データ（画像データＡ）は輝度情報と色情報を含み、第２画像データ（画像データＢ）は輝度情報のみを含むものとする。このような構成にすることによりＣＣＤ１６の製造コストを低減することができる。ただし、スルー画を白黒で表示する場合、画像データＡの色情報は必須でない。
【００８８】
また、画像データＡの解像度はＬＣＤ３０の表示解像度以上であり、かつ、画像データＢの解像度はＬＣＤ３０の表示解像度よりも低いものとする。つまり、３次元画像をＬＣＤ３０に表示するには、距離情報の算出、距離情報の外挿または内挿の処理、および取得された画像データに対するサイズ調整が必要であり、そのための処理に時間を要する。
【００８９】
３次元画像処理部８５は、ＣＣＤ１６から取得された画像データＡに、距離算出部８４の算出した距離情報を適用することで、画像データＡの視点位置とは異なる仮想的な視点位置に対応する画像データＢ’を生成することができる。これは特許文献２と同様である。また、距離情報からの３次元画像生成は、特許文献７〜１１のような公知技術に基づいて行うことができる。
【００９０】
画像データＡの視点位置と画像データＢ’の視点位置のずれ（視差量）は、固定値または任意の設定値のいずれでもよい。例えば、３次元画像処理部８５は、操作部３８から設定された視差量に応じて、仮想的な画像データＢ’を生成する。これは特許文献１と同様である。あるいは、ＲＯＭ１０に記憶された固定の視差量に応じて、仮想的な画像データＢ’を生成する。
【００９１】
あるいは、３次元画像処理部８５は、ＡＦ処理で合焦したＡＦ領域内の被写体距離の遠近に応じた視差量を設定し、この設定された視差量に応じて、仮想的な画像データＢ’を生成する。具体的には、３次元画像処理部８５は、合焦被写体までの距離が遠ければ、外挿によりそれだけ視差量を多くする。すなわち、デフォーカス量が０になる合焦被写体までの距離が遠く、立体感が出にくい場合には、視差量を増やし、立体感を持たせることができる。適正な視差量でユーザに立体画像を閲覧させるため、視差量を増大する上限を設けてもよい。さらに、３次元画像処理部８５は、合焦被写体までの距離が近ければ、内挿によりそれだけ視差量を少なくすることもできる。
【００９２】
いずれにせよ、３次元画像処理部８５は、画像データＡとの間で所望の視差量を有するよう、ステレオマッチングされた画像データＡ・画像データＢ間の対応点の３次元座標値（距離情報）の内挿または外挿により、画像データＢ’（中間位置画像、右外画像、または左外画像）を求める。よって、カメラ１で、基線長が小さくなり、立体感が弱くなる時でも、視差量を所望の値に拡大した立体スルー画を遅延なく出力できる。
【００９３】
３次元画像処理部８５は、画像データＡと画像データＢ’から３次元画像データを生成する。この仮想的な画像データＢ’の生成と３次元画像データの生成を新たな画像データＡの取得の度に繰り返すことで、所望の視差量を有する立体スルー画がＬＣＤ３０に継続的に表示される。
【００９４】
図５は本発明の好ましい第１実施形態に係るスルー画表示処理のタイミングチャートを示す。この処理は撮影モードが「静止画記録」または「動画記録」に設定されたことに応じて開始される。
【００９５】
Ｓ１では、ＣＰＵ４０は、ＣＣＤ１６から１コマ目の左右の画像データＡ・Ｂが取得されるよう制御する。
【００９６】
Ｓ２では、ＣＰＵ４０は、ステレオマッチング処理部８３と距離算出部８４にステレオマッチングと距離情報の算出を行わせる。ステレオマッチング処理部８３は、取得された１コマ目の画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部８４は、ステレオマッチング処理部８３によって検出された対応点毎の距離情報を算出する。本実施形態において、このステレオマッチングと距離情報の算出に要する時間は左右の視点画像データの取得間隔に相当するものとする。
【００９７】
ＣＰＵ４０は、このステレオマッチングと距離情報の算出の間に、ＣＣＤ１６から２コマ目の画像データＡ・Ｂが取得されるよう制御する。
【００９８】
Ｓ３では、３次元画像処理部８５は、距離算出部８４の算出した１コマ目の画像データＡ・Ｂに関する距離情報を内挿または外挿し、仮想的な距離情報を生成する。そして、３次元画像処理部８５は、仮想的な距離情報とＣＣＤ１６から取得された２コマ目の画像データＡおよび／または画像データＢに基づき、所望の視差量ｄを有する１組の視差画像である画像データＡ’・画像データＢ’を生成する。
【００９９】
画像データＡ’および画像データＢ’はＣＣＤ１６から直接出力された画像ではない場合もあるが、その場合と同等の画像情報（輝度情報および色情報）を有する。そして３次元画像処理部８５は、画像データＡ’と画像データＢ’とに基づき、１コマ目の３次元画像データを生成する。表示制御部３５は、３次元画像処理部８５の生成した３次元画像データをＬＣＤ３０に表示させる。ＬＣＤ３０に表示された３次元画像データは、所望の視差量ｄを有する。
【０１００】
以下同様、レリーズボタン１９が全押しされるまで、ｎ（ｎ＝１、２、３・・）コマ目の左右の画像データＡ・Ｂから距離情報を算出し、ｎコマ目の画像データＡ・Ｂに対応する距離情報を外挿または内挿することでｎコマ目の仮想的な距離情報を生成する。そして、ｎコマ目の仮想的な距離情報とｎ＋１コマ目の画像データＡおよび／または画像データＢに基づいて所望の視差量ｄを有する１組の視差画像データである画像データＡ’・画像データＢ’を生成する。そして、画像データＡ’・Ｂ’に基づいて、所望の視差量ｄを有するｎコマ目の３次元画像データを生成しＬＣＤ３０にスルー画像として表示することを繰り返す。
【０１０１】
３次元画像処理部８５が所望の視差量ｄを有する１組の視差画像である画像データＡ’・Ｂ’を生成する方法として、次の３つのパターンのうちのいずれが採用されてもよい。
【０１０２】
（１）ｎコマ目の距離情報を外挿あるいは内挿することで、ｎコマ目の画像データＡの各画素の座標・画像データＢの各画素の座標を、それぞれｄ／２だけ外側あるいは内側に移動した仮想的距離情報を算出する。そして、当該仮想的距離情報に従い、ｎ＋１コマ目の画像データＡの各画素の座標・画像データＢの各画素の座標を、それぞれｄ／２だけ外側あるいは内側に移動し、画素の色も元の配列順どおりに移動する。この方法は、画像データＡの画素数と画像データＢの画素数が同等の場合に有効である。
【０１０３】
（２）ｎコマ目の距離情報を外挿あるいは内挿することで、ｎコマ目の画像データＢの各画素の座標を、ｄだけ外側あるいは内側に移動した仮想的距離情報を算出する。そして、当該仮想的距離情報に従い、ｎ＋１コマ目の画像データＢの各画素の座標を、ｄだけ外側あるいは内側に移動し、画素の色も元の配列順どおりに移動する。この方法は、画像データＡの画素数が画像データＢの画素数よりも多い場合に有効である。この場合、ｎ＋１コマ目の画像データＡ’は、ｎ＋１コマ目の画像データＡと同じであってもよい。また、特許文献２と同様にして、画像データＢ’の画素数を画像データＡ’と同等にすることができる。
【０１０４】
（３）ｎコマ目の距離情報を外挿あるいは内挿することで、ｎコマ目の画像データＡの各画素の座標を、ｄだけ外側あるいは内側に移動した仮想的距離情報を算出する。そして、当該仮想的距離情報に従い、ｎ＋１コマ目の画像データＡの各画素の座標を、ｄだけ外側あるいは内側に移動し、画素の色も元の配列順どおりに移動する。この方法は、画像データＢの画素数が画像データＡの画素数よりも多い場合に有効である。この場合、ｎ＋１コマ目の画像データＢ’は、ｎ＋１コマ目の画像データＢと同じであってもよい。また、特許文献２と同様にして、画像データＡ’の画素数を画像データＢ’と同等にすることができる。
【０１０５】
このように、前のコマについて算出された距離情報を用いて後のコマの視点画像からスルー画を表示するため、距離情報の算出待ちにより最新のスルー画の表示の遅れが発生することを防止できる。なお、距離情報の算出対象の画像データと３次元画像の生成元の画像データとは取得タイミングが異なるため、スルー画での被写体の３次元位置は実際とは異なるが、１コマ分の画像データの取得時間に相当するずれのため観察者から見て被写体位置の違いは小さいと考えられる。
【０１０６】
さらに、被写体の距離情報の外挿・内挿に基づいて所望の視差を有する視点画像の組を生成する代わりに、視差マップ（基準の視点画像、例えば画像データＡから、別の視点画像、例えば画像データＢへの対応点までの視差で、別の視点画像を表したもの）の外挿・内挿に基づいて所望の視差を有する視点画像の組を生成することもできる。すなわち、距離算出部８４は、ｎコマ目に対応する画像データＡと画像データＢの間の対応する画素毎の視差を示す視差マップを算出する。視差マップの算出は、ステレオマッチングなどで行われる。３次元画像処理部８５は、ｎコマ目に対応する視差マップの各画素の視差を外挿または内挿することで仮想視差マップを生成する。ｎコマ目の仮想視差マップに基づくｎ＋１コマ目の画像データＡおよび／または画像データＢの各画素の移動は、上記の３パターンと同様、ｎ＋１コマ目に対応する画像データＡおよび画像データＢの双方またはいずれか一方について行う。このように、視差マップの各画素の視差の外挿または内挿によっても、所望の視差を有する視点画像の組を生成することができる。
【０１０７】
以下、説明の簡略のため、被写体の距離情報について記述するが、視差マップについても同様の処理が成り立つ。
【０１０８】
＜第２実施形態＞
ステレオマッチングと距離情報の算出に要する時間が、１コマ分の左右の画像データＡ・Ｂの取得間隔よりも長い場合、ｎ＋１コマ目の画像データにｎコマ目の距離情報を適用して３次元画像を生成することはできない。そこで、距離情報の算出以後に取得される複数のコマの画像データに、当該算出された同一の距離情報を適用して複数コマの３次元画像データを生成する。
【０１０９】
図６は本発明の好ましい第２実施形態に係るスルー画表示処理のタイミングチャートを示す。
【０１１０】
Ｓ１１はＳ１と同様であり、ＣＣＤ１６から１コマ目の画像データＡ・Ｂが取得される。
【０１１１】
Ｓ１２はＳ２と同様であり、ステレオマッチング処理部８３は、取得された１コマ目の左右の画像データＡ・Ｂに基づいてステレオマッチングを行う。ただし２コマ目の左右の画像データＢはメモリ部３１に保存されず廃棄される。距離算出部８４は、ステレオマッチング処理部８３によって１コマ目の画像データＡ・Ｂから検出された対応点の距離情報（距離情報）を算出する。このステレオマッチングと距離情報の算出に要する時間が左右の画像データの取得間隔を超え、例えば２倍に相当するとする。すなわち、第１実施形態と異なり、距離情報の算出は、前のコマの画像の取得から次のコマの画像が取得までの間に完了しない。
【０１１２】
Ｓ１３では、ＣＰＵ４０は、このステレオマッチングと距離情報の算出の間に、ＣＣＤ１６から３コマ目の画像データＡ・Ｂが取得されるよう制御する。
【０１１３】
Ｓ１４では、３次元画像処理部８５は、距離算出部８４の算出した１コマ目の画像データＡ・Ｂに関する距離情報を外挿または内挿し、１コマ目の仮想的な距離情報を生成する。３次元画像処理部８５は、１コマ目の仮想的な距離情報と、ＣＣＤ１６から取得された３コマ目の画像データＡおよび／または画像データＢに基づき、所望の視差量ｄを有する１コマ目の画像データＡ’・Ｂ’を生成する。そして、３次元画像処理部８５は、１コマ目の画像データＡ’と画像データＢ’とに基づき、１コマ目の３次元画像データを生成する。表示制御部３５は、生成された３次元画像データをＬＣＤ３０に表示する。ＬＣＤ３０に表示された３次元画像データは、所望の視差量ｄを有する。
【０１１４】
この間、ＣＰＵ４０は、ＣＣＤ１６から４コマ目の画像データが取得されるよう制御する。またＣＰＵ４０は、３コマ目の画像データＡ・Ｂに基づくステレオマッチングおよび距離情報の算出を開始するよう制御する。
【０１１５】
Ｓ１５では、３次元画像処理部８５は、１コマ目の仮想的な距離情報とＣＣＤ１６から取得された４コマ目の画像データＡおよび／または画像データＢとに基づき、所望の視差量ｄを有する２コマ目の画像データＡ’・画像データＢ’を生成する。そして、２コマ目の画像データＡ’と画像データＢ’とに基づき、２コマ目の３次元画像データを生成し、表示制御部３５は、生成された３次元画像データをＬＣＤ３０に表示する。ＬＣＤ３０に表示された３次元画像データは、所望の視差量ｄを有する。
【０１１６】
この間、ＣＰＵ４０は、ＣＣＤ１６から５コマ目の画像データが取得されるよう制御する。
【０１１７】
以下同様、レリーズボタン１９が全押しされるまで、繰り返して、ｎ（ｎ＝１、２、３・・）コマ目の画像データＡ・Ｂから距離情報を算出し、ｎコマ目の距離情報を外挿または内挿してｎコマ目の仮想的な距離情報を生成する。そして、ｎコマ目の仮想的な距離情報とｎ＋２コマ目の画像データＡおよび／または画像データＢに基づき、所望の視差量ｄを有するｎコマ目の３次元画像データを生成しＬＣＤ３０にスルー画像として表示する。さらに、ｎコマ目の仮想的な距離情報とｎ＋３コマ目の画像データＡおよび／または画像データＢに基づき、所望の視差量ｄを有するｎ＋１コマ目の３次元画像データを生成しＬＣＤ３０にスルー画像として表示する。
【０１１８】
これにより、距離情報の算出待ちにより所望の視差量ｄを有するスルー画の表示の遅れが発生することをより効果的に防止できる。また、距離算出よりスルー画の表示のフレームレートを早くすることができる。
【０１１９】
＜第３実施形態＞
第１・２実施形態において、画像の解像度が高いなどの理由で座標値算出に時間がかかったり、画像の色情報など画像データの情報量によって座標値算出時間が変化する場合、スルー画のコマが定期的に表示されなくなる。そこで、座標値算出が所定の割合完了した時から次のコマの左右画像データの取得を開始してもよい。
【０１２０】
図７は本発明の好ましい第３実施形態に係るスルー画表示処理のタイミングチャートを示す。
【０１２１】
Ｓ２１はＳ１１と同様であり、ＣＰＵ４０は、撮影モードの設定に応じて、ＣＣＤ１６から１コマ目の画像データＡ・Ｂを取得するよう制御する。
【０１２２】
Ｓ２２はＳ１２と同様であり、ステレオマッチング処理部８３は、取得された１コマ目の画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部８４は、ステレオマッチング処理部８３によって画像データＡ・Ｂから検出された対応点の距離情報を算出する。
【０１２３】
Ｓ２３では、ＣＰＵ４０は、座標値算出が所定の割合完了した時、例えば７割完了した時点で、ＣＣＤ１６からから２コマ目の画像データＡ・Ｂの取得を開始するよう制御する。画像データＡ・Ｂの取得開始と連動する座標値算出の完了割合をどのように設定するかは任意である。例えば、１コマ目の画像データＡ・Ｂに対応する座標値算出開始後のある時点から距離情報の完全な算出完了までの時間の長さが、画像データの取得完了に必要な時間と略一致する場合、その時点が到来した時点で、ＣＣＤ１６から２コマ目の画像データの取得を開始するよう制御するとよい。こうすると画像データの取得後ただちに３次元画像を生成することができる。
【０１２４】
Ｓ２４では、ＣＰＵ４０は、距離算出部８４から算出された１コマ目の画像データＡ・Ｂに対応する距離情報を外挿または内挿し１コマ目の仮想的な距離情報を生成する。そして、１コマ目の仮想的な距離情報と２コマ目の画像データＡおよび／または画像データＢに基づき、所望の視差ｄを有する１コマ目の画像データＡ’・Ｂ’を生成するよう３次元画像処理部８５を制御する。３次元画像処理部８５は、１コマ目の画像データＡ’と画像データＢ’とに基づいて１コマ目の３次元画像データを生成する。表示制御部３５から得られた１コマ目の３次元画像データはＬＣＤ３０に出力されスルー画像として表示される。ＬＣＤ３０に表示された３次元画像データは、所望の視差量ｄを有する。
【０１２５】
この間、ＣＰＵ４０は、２コマ目の画像データＡ・Ｂに対応するステレオマッチングと距離情報の算出を開始するようステレオマッチング処理部８３および距離算出部８４を制御する。
【０１２６】
以後同様、ＣＰＵ４０は、ＣＣＤ１６から取得されたｎコマ目の画像データＡ・Ｂに基づく距離情報算出が所定の割合完了した時点で、ＣＣＤ１６からｎ＋１コマ目の画像データＡ・Ｂを取得するよう制御する。さらにＣＰＵ４０は、距離算出部８４から算出されたｎコマ目の画像データＡ・Ｂに対応する距離情報を外挿または内挿してｎコマ目の仮想的な距離情報を生成し、ｎコマ目の仮想的な距離情報とｎ＋１コマ目の画像データＡおよび／または画像データＢとに基づき、所望の視差ｄを有するｎコマ目の画像データＡ’・Ｂ’を生成し、画像データＡ’と画像データＢ’とに基づいてｎコマ目の３次元画像データを生成するよう３次元画像処理部８５を制御する。
【０１２７】
このように、距離情報の算出タイミングに応じて各コマの画像の取得間隔を可変にすることで、最新の画像データによる３次元画像の素早い生成が可能となる。
【０１２８】
＜第４実施形態＞
第３実施形態において、ステレオマッチング処理部８３および距離算出部８４のセットが複数存在し、複数のコマの画像データの各々について独立した距離情報算出の並列処理が可能な場合は、最新コマの画像データの取得時に距離情報算出を実行していない、空いているセットに対して最新コマに対応する距離情報算出を実行するよう制御するとよい。
【０１２９】
図８は本発明の好ましい第４実施形態に係るデジタルカメラ１のブロック図を示す。説明済みのブロックと同一のブロックには同一の符号を付している。このデジタルカメラ１は、複数セット、ここでは一例として２セットのステレオマッチング処理部８３ａおよび距離算出部８４ａ、ステレオマッチング処理部８３ｂおよび距離算出部８４ｂを有する。
【０１３０】
図９は本発明の好ましい第４実施形態に係るスルー画表示処理のタイミングチャートを示す。
【０１３１】
Ｓ４１では、ＣＰＵ４０は、撮影モードの設定に応じて、ＣＣＤ１６から１コマ目の画像データＡ・Ｂを取得するよう制御する。
【０１３２】
Ｓ４２では、ＣＰＵ４０は、ステレオマッチング処理部８３ａ・距離算出部８４ａに、１コマ目の画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御する。ステレオマッチング処理部８３ａは、取得された１コマ目の画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部８４ａは、ステレオマッチング処理部８３ａによって検出された対応点の距離情報を算出する。
【０１３３】
同時に、ＣＰＵ４０は、ＣＣＤ１６から２コマ目の画像データＡ・Ｂを取得するよう制御する。
【０１３４】
Ｓ４３では、ＣＰＵ４０は、ステレオマッチング処理部８３ｂ・距離算出部８４ｂに、２コマ目の画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御する。ステレオマッチング処理部８３ｂは、取得された２コマ目の画像データＡ・Ｂに基づいてステレオマッチングを行う。距離算出部８４ｂは、ステレオマッチング処理部８３によって２コマ目の画像データＡ・Ｂから検出された対応点の距離情報を算出する。
【０１３５】
ステレオマッチング処理部８３ｂ・距離算出部８４ｂによる距離情報の算出の開始時に、ステレオマッチング処理部８３ａ・距離算出部８４ａによる距離情報の算出が継続していてもよく、双方の距離情報の算出は独立無関係に行われる。
【０１３６】
さらにＣＰＵ４０は、ＣＣＤ１６から３コマ目の画像データＡ・Ｂを取得するよう制御する。
【０１３７】
Ｓ４４では、ＣＰＵ４０は、Ｓ４２で算出された１コマ目の画像データＡ・Ｂに対応する距離情報を外挿または内挿することで、１コマ目の仮想的な距離情報を生成するよう３次元画像処理部８５を制御する。そして、ＣＰＵ４０は、１コマ目の仮想的な距離情報と３コマ目の画像データＡおよび／または画像データＢに基づき、所望の視差量ｄを有する１コマ目の画像データＡ’・Ｂ’を生成し、画像データＡ’と画像データＢ’とに基づいて１コマ目の３次元画像を生成するよう３次元画像処理部８５を制御する。
【０１３８】
同時に、ＣＰＵ４０は、ステレオマッチング処理部８３ａ・距離算出部８４ａに、３コマ目の画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御する。ただし、３コマ目の画像データＡ・Ｂに対応する距離情報の算出を開始するまでに、１コマ目の画像データＡ・Ｂに対応する距離情報の算出は完了しているものとする。２コマ目の画像データＡ・Ｂに対応する距離情報の算出は完了していなくてもよい。
【０１３９】
以下同様、ＣＰＵ４０は、ｎコマ目（ｎ＝１，２，．．）の３次元画像を生成するよう３次元画像処理部８５を制御する。ｎが奇数であれば、ＣＰＵ４０は、ステレオマッチング処理部８３ａ・距離算出部８４ａに、ｎコマ目に取得された画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御し、ｎが偶数であれば、ＣＰＵ４０は、ステレオマッチング処理部８３ｂ・距離算出部８４ｂに、ｎコマ目に取得された画像データＡ・Ｂに対応する距離情報の算出を開始させるよう制御する。
【０１４０】
そして、ＣＰＵ４０は、ｎコマ目の画像データＡ・Ｂに対応する距離情報を外挿または内挿することで、ｎコマ目の仮想的な距離情報を生成し、ｎコマ目の仮想的な距離情報とｎ＋２コマ目の画像データＡおよび／またはＢに基づき、所望の視差量ｄを有するｎコマ目の画像データＡ’・Ｂ’を生成した上、ｎコマ目の画像データＡ’と画像データＢ’に基づいてｎコマ目の３次元画像を生成するよう３次元画像処理部８５を制御する。３次元画像処理部８５から得られたｎコマ目の３次元画像データはＬＣＤ３０に出力されスルー画像として表示される。ＬＣＤ３０に表示された３次元画像データは、所望の視差量ｄを有する。
【０１４１】
ステレオマッチング処理部８３および距離算出部８４のセットが３つ以上である場合も同様にして、空いているステレオマッチング処理部８３・距離算出部８４のセットで処理し、いずれかのセットで算出済みの最新の距離情報を外挿または内挿することで仮想的な距離情報を生成し、この仮想的な距離情報と取得済みの最新の画像データＡおよび／または画像データＢに基づいて、所望の視差量ｄを有する画像データＡ・Ｂを生成し、３次元コマ画像を生成する。左右画像データＡ・Ｂの取得間隔に対応して必要十分なセットの数は距離情報の算出時間間隔に依存する。図９では一例として当該算出時間が左右画像データの取得間隔の１．５倍程度であるため、２コマ分の画像データを別個に処理する２セットで十分である。
【０１４２】
このように、複数のステレオマッチング処理部８３および距離算出部８４のセットで異なるコマの画像データの距離情報を別個に算出させることで、距離情報の算出に１コマ分の取得間隔以上かかる場合でもスルー画の表示遅れを防止できる。
【０１４３】
＜第５実施形態＞
第１〜４実施形態において、レリーズボタン１９の全押しに応じて３次元画像の再生情報を記録するには次のようにする。
【０１４４】
図１０は本発明の好ましい第５実施形態に係る動画記録処理のタイミングチャートを示す。この処理は撮影モードが「動画撮影」に設定されており、レリーズボタン１９の全押しなど動画記録開始指示が入力されたことに応じて開始する。
【０１４５】
Ｓ５１・５２はＳ１・２と同様である。この結果１コマ目の画像が取得されるとともに１コマ目の画像に対応する距離情報が得られる。
【０１４６】
Ｓ５３では、３次元画像処理部８５は、距離算出部８４の算出した１コマ目の画像データＡ・Ｂに関する距離情報を内挿または外挿し、１コマ目の仮想的な距離情報を生成する。３次元画像処理部８５は、１コマ目の仮想的な距離情報と、ＣＣＤ１６から取得された１コマ目の画像データＡおよび／または画像データＢに基づき、所望の視差量ｄを有する１コマ目の画像データＡ’・画像データＢ’を生成した上、１コマ目の画像Ａ’・Ｂ’から３次元画像を生成する。ＣＰＵ４０は、当該生成された３次元画像を記録するようメディア制御部３７を制御する。また、Ｓ５１で取得された１コマ目の画像Ａに画像Ａ・Ｂに対応する距離情報を適用して仮想的な画像データＢ’を生成した上、１コマ目の画像Ａと画像Ｂ’から３次元画像を生成し、当該生成された３次元画像を記録するようメディア制御部３７を制御することもできる。その他はＳ３と同様である。
【０１４７】
以下同様にして、動画記録終了指示が入力されるまで、スルー画の表示と３次元画像の記録が継続される。３次元画像の再生情報として、各コマの画像と距離情報とをそのまま対応づけて記録するだけでもよい。この再生情報に基づいて、再生時に３次元画像を生成することも可能だからである。再生情報から３次元画像を生成する回路は３次元画像処理部８５でもよいし、それとは異なる回路でもよい。また、外部記録メディア３６に記録するタイミングも任意であり、得られた画像を順次記録してもよいし、動画記録終了指示が入力されたことに応じて一括して記録してもよい。前者の場合は、各コマの視点画像が取得されるタイミングに合わせて各コマの３次元画像の生成が行われることが好ましい。
【０１４８】
再生情報の記録についてはスルー画の表示のように実時間からの遅れは問題にならないため、第１実施形態のようにスルー画を表示するのと平行して、３次元画像の再生情報を記録する。記録される再生情報については距離情報と画像情報のずれは生じない。
【０１４９】
＜第６実施形態＞
第１〜５実施形態において、距離情報と色情報が同一のコマ画像に由来して取得されないため、３次元画像の立体感が実際の被写体の奥行きと異なる場合がある。この立体感のずれを軽減するには、次のようにする。
【０１５０】
ぼかし処理部８６は、隣接する画素間の距離情報同士を比較し、隣接する画素間の距離情報の差が所定の閾値を超える場合、当該隣接する画素に対応する距離情報をぼかす。例えば、ぼかし処理部８６は、当該隣接する画素に対応する距離情報を平滑化する。
【０１５１】
３次元画像処理部８５は、距離算出部８４の算出したｎコマ目の距離情報の代わりに、ぼかし処理部８６で平滑化されたｎコマ目の距離情報を内挿または外挿し、ｎコマ目の仮想的な距離情報を生成する。そして、３次元画像処理部８５は、ｎコマ目の仮想的な距離情報と、ＣＣＤ１６から取得されたｎ＋１コマ目の画像データＡおよび／または画像データＢとに基づき、所望の視差量ｄを有するｎコマ目の画像データＡ’・画像データＢ’を生成した上、ｎコマ目の画像Ａ’・Ｂ’からｎコマ目の３次元画像を生成する。また、３次元画像処理部８５は、距離算出部８４の算出した距離情報の代わりに、ぼかし処理部８６で平滑化された距離情報を画像データＡに適用して、仮想的な画像データＢ’を生成し、３次元画像データを生成することもできる。これにより、３次元画像において被写体の輪郭部分と奥行きの変化が生じる部分とのずれが目立つのを防止できる。
【符号の説明】
【０１５２】
３０…ＬＣＤ、４０…ＣＰＵ、８３…ステレオマッチング処理部、８４…距離算出部、８５…３次元画像処理部、８６…ぼかし処理部
【特許請求の範囲】
【請求項１】
単一の撮像光学系と、
前記撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、前記第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部と、
時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう前記撮像部を制御する撮像制御部と、
前記第１の時点で前記撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出する視差情報算出部と、
前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、前記所望の視差を有する画像の組から立体画像を生成する立体画像生成部と、
を備える撮像装置。
【請求項２】
前記撮像制御部は、前記第１の時点よりも後の異なる複数の第２の時点の各々で前記視点画像の組が順次出力されるよう前記撮像部を制御し、
前記立体画像生成部は、前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第２の時点で各々出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の複数の組を生成し、前記所望の視差を有する視点画像の複数の組から複数の立体画像を順次生成する請求項１に記載の撮像装置。
【請求項３】
前記撮像制御部は、前記視差情報算出部による前記第１の時点に対応する視差情報の算出処理が所定の割合だけ完了した第２の時点で視点画像の組が出力されるよう前記撮像部を制御する請求項１に記載の撮像装置。
【請求項４】
前記視差情報算出部は、異なる複数の視点画像の組にそれぞれ対応する複数の視差情報をそれぞれ独立して算出可能な異なる複数の処理系統を有しており、異なる複数の第１の時点に対応する視差情報の各々を異なる処理系統で算出する請求項１に記載の撮像装置。
【請求項５】
前記撮像装置は、所定の記録指示が入力されたことに応じ、前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第１の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、前記所望の視差を有する視点画像の組に基づいて立体画像の再生情報を記録する記録部を備える請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記立体画像生成部の生成した立体画像を表示する表示部を備える請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記第２画像の解像度は前記第１画像の解像度よりも低くかつ前記表示部の表示解像度よりも低い請求項６に記載の撮像装置。
【請求項８】
前記第１画像は輝度情報および色情報を含み、前記第２画像は輝度情報のみを含む請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記視差情報をぼかすぼかし処理部を備え、
前記立体画像生成部は、前記ぼかし処理部によりぼかされた前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、前記所望の視差を有する画像の組から立体画像を生成する請求項８に記載の撮像装置。
【請求項１０】
前記所望の視差量は、所定の操作手段から入力された指定値、固定値または被写体距離の遠近に応じた値を含む請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１１】
単一の撮像光学系と、
前記撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、前記第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部と、
時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう前記撮像部を制御する撮像制御部と、
前記第１の時点で前記撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出する視差情報算出部と、
前記第２の時点で出力された第１画像に前記第１の時点に対応する視差情報を適用して前記第１画像との間で視差を有する仮想第２画像を生成し、前記第２の時点で出力された第１画像と前記仮想第２画像から立体画像を生成する立体画像生成部と、
を備える撮像装置。
【請求項１２】
前記撮像制御部は、前記第１の時点よりも後の異なる複数の第２の時点の各々で前記視点画像の組が順次出力されるよう前記撮像部を制御し、
前記立体画像生成部は、前記複数の第２の時点で各々出力された複数の視点画像の組に含まれる複数の第１画像に前記第１の時点に対応する視差情報を適用して前記第１画像との間で視差を有する複数の仮想第２画像を生成し、前記複数の第２の時点で各々出力された第１画像と対応する前記複数の仮想第２画像から複数の立体画像を順次生成する請求項１１に記載の撮像装置。
【請求項１３】
前記撮像制御部は、前記視差情報算出部による前記第１の時点に対応する視差情報の算出処理が所定の割合だけ完了した第２の時点で視点画像の組が出力されるよう前記撮像部を制御する請求項１１に記載の撮像装置。
【請求項１４】
前記視差情報算出部は、異なる複数の視点画像の組にそれぞれ対応する複数の視差情報をそれぞれ独立して算出可能な異なる複数の処理系統を有しており、異なる複数の第１の時点に対応する視差情報の各々を異なる処理系統で算出する請求項１１に記載の撮像装置。
【請求項１５】
前記撮像装置は、所定の記録指示が入力されたことに応じ、前記第１の時点で出力された第１画像に前記第１の時点に対応する視差情報を適用して前記第１画像との間で視差を有する仮想第２画像を生成し、前記第１の時点で出力された第１画像と前記仮想第２画像に基づいて立体画像の再生情報を記録する記録部を備える請求項１１〜１４のいずれか１項に記載の撮像装置。
【請求項１６】
前記立体画像生成部の生成した立体画像を表示する表示部を備える請求項１１〜１５のいずれか１項に記載の撮像装置。
【請求項１７】
前記第２画像の解像度は前記第１画像の解像度よりも低くかつ前記表示部の表示解像度よりも低い請求項１６に記載の撮像装置。
【請求項１８】
前記第１画像は輝度情報および色情報を含み、前記第２画像は輝度情報のみを含む請求項１１〜１７のいずれか１項に記載の撮像装置。
【請求項１９】
前記視差情報をぼかすぼかし処理部を備え、
前記立体画像生成部は、前記ぼかし処理部によりぼかされた前記第１の時点に対応する視差情報を前記第２の時点で出力された第１画像に適用して前記第１画像との間で視差を有する仮想第２画像を生成し、前記第２の時点で出力された第１画像と前記仮想第２画像から立体画像を生成する請求項１１〜１８のいずれか１項に記載の撮像装置。
【請求項２０】
前記立体画像生成部は、前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、前記所望の視差を有する画像の組から立体画像を生成する請求項１１〜１９のいずれか１項に記載の撮像装置。
【請求項２１】
前記所望の視差量は、所定の操作手段から入力された指定値、固定値または被写体距離の遠近に応じた値を含む請求項２０に記載の撮像装置。
【請求項２２】
単一の撮像光学系と、前記撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、前記第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部とを備える撮像装置が、
時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう前記撮像部を制御するステップと、
前記第１の時点で前記撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出するステップと、
前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、前記所望の視差を有する画像の組から立体画像を生成するステップと、
を実行する撮像方法。
【請求項２３】
単一の撮像光学系と、前記撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、前記第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部とを備える撮像装置が、
時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう前記撮像部を制御するステップと、
前記第１の時点で前記撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出するステップと、
前記第２の時点で出力された第１画像に前記第１の時点に対応する視差情報を適用して前記第１画像との間で視差を有する仮想第２画像を生成し、前記第２の時点で出力された第１画像と前記仮想第２画像から立体画像を生成するステップと、
を実行する撮像方法。
【請求項１】
単一の撮像光学系と、
前記撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、前記第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部と、
時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう前記撮像部を制御する撮像制御部と、
前記第１の時点で前記撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出する視差情報算出部と、
前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、前記所望の視差を有する画像の組から立体画像を生成する立体画像生成部と、
を備える撮像装置。
【請求項２】
前記撮像制御部は、前記第１の時点よりも後の異なる複数の第２の時点の各々で前記視点画像の組が順次出力されるよう前記撮像部を制御し、
前記立体画像生成部は、前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第２の時点で各々出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の複数の組を生成し、前記所望の視差を有する視点画像の複数の組から複数の立体画像を順次生成する請求項１に記載の撮像装置。
【請求項３】
前記撮像制御部は、前記視差情報算出部による前記第１の時点に対応する視差情報の算出処理が所定の割合だけ完了した第２の時点で視点画像の組が出力されるよう前記撮像部を制御する請求項１に記載の撮像装置。
【請求項４】
前記視差情報算出部は、異なる複数の視点画像の組にそれぞれ対応する複数の視差情報をそれぞれ独立して算出可能な異なる複数の処理系統を有しており、異なる複数の第１の時点に対応する視差情報の各々を異なる処理系統で算出する請求項１に記載の撮像装置。
【請求項５】
前記撮像装置は、所定の記録指示が入力されたことに応じ、前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第１の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、前記所望の視差を有する視点画像の組に基づいて立体画像の再生情報を記録する記録部を備える請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記立体画像生成部の生成した立体画像を表示する表示部を備える請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記第２画像の解像度は前記第１画像の解像度よりも低くかつ前記表示部の表示解像度よりも低い請求項６に記載の撮像装置。
【請求項８】
前記第１画像は輝度情報および色情報を含み、前記第２画像は輝度情報のみを含む請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記視差情報をぼかすぼかし処理部を備え、
前記立体画像生成部は、前記ぼかし処理部によりぼかされた前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、前記所望の視差を有する画像の組から立体画像を生成する請求項８に記載の撮像装置。
【請求項１０】
前記所望の視差量は、所定の操作手段から入力された指定値、固定値または被写体距離の遠近に応じた値を含む請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１１】
単一の撮像光学系と、
前記撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、前記第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部と、
時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう前記撮像部を制御する撮像制御部と、
前記第１の時点で前記撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出する視差情報算出部と、
前記第２の時点で出力された第１画像に前記第１の時点に対応する視差情報を適用して前記第１画像との間で視差を有する仮想第２画像を生成し、前記第２の時点で出力された第１画像と前記仮想第２画像から立体画像を生成する立体画像生成部と、
を備える撮像装置。
【請求項１２】
前記撮像制御部は、前記第１の時点よりも後の異なる複数の第２の時点の各々で前記視点画像の組が順次出力されるよう前記撮像部を制御し、
前記立体画像生成部は、前記複数の第２の時点で各々出力された複数の視点画像の組に含まれる複数の第１画像に前記第１の時点に対応する視差情報を適用して前記第１画像との間で視差を有する複数の仮想第２画像を生成し、前記複数の第２の時点で各々出力された第１画像と対応する前記複数の仮想第２画像から複数の立体画像を順次生成する請求項１１に記載の撮像装置。
【請求項１３】
前記撮像制御部は、前記視差情報算出部による前記第１の時点に対応する視差情報の算出処理が所定の割合だけ完了した第２の時点で視点画像の組が出力されるよう前記撮像部を制御する請求項１１に記載の撮像装置。
【請求項１４】
前記視差情報算出部は、異なる複数の視点画像の組にそれぞれ対応する複数の視差情報をそれぞれ独立して算出可能な異なる複数の処理系統を有しており、異なる複数の第１の時点に対応する視差情報の各々を異なる処理系統で算出する請求項１１に記載の撮像装置。
【請求項１５】
前記撮像装置は、所定の記録指示が入力されたことに応じ、前記第１の時点で出力された第１画像に前記第１の時点に対応する視差情報を適用して前記第１画像との間で視差を有する仮想第２画像を生成し、前記第１の時点で出力された第１画像と前記仮想第２画像に基づいて立体画像の再生情報を記録する記録部を備える請求項１１〜１４のいずれか１項に記載の撮像装置。
【請求項１６】
前記立体画像生成部の生成した立体画像を表示する表示部を備える請求項１１〜１５のいずれか１項に記載の撮像装置。
【請求項１７】
前記第２画像の解像度は前記第１画像の解像度よりも低くかつ前記表示部の表示解像度よりも低い請求項１６に記載の撮像装置。
【請求項１８】
前記第１画像は輝度情報および色情報を含み、前記第２画像は輝度情報のみを含む請求項１１〜１７のいずれか１項に記載の撮像装置。
【請求項１９】
前記視差情報をぼかすぼかし処理部を備え、
前記立体画像生成部は、前記ぼかし処理部によりぼかされた前記第１の時点に対応する視差情報を前記第２の時点で出力された第１画像に適用して前記第１画像との間で視差を有する仮想第２画像を生成し、前記第２の時点で出力された第１画像と前記仮想第２画像から立体画像を生成する請求項１１〜１８のいずれか１項に記載の撮像装置。
【請求項２０】
前記立体画像生成部は、前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、前記所望の視差を有する画像の組から立体画像を生成する請求項１１〜１９のいずれか１項に記載の撮像装置。
【請求項２１】
前記所望の視差量は、所定の操作手段から入力された指定値、固定値または被写体距離の遠近に応じた値を含む請求項２０に記載の撮像装置。
【請求項２２】
単一の撮像光学系と、前記撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、前記第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部とを備える撮像装置が、
時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう前記撮像部を制御するステップと、
前記第１の時点で前記撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出するステップと、
前記第１の時点に対応する視差情報を外挿または内挿して仮想視差情報を生成し、該仮想視差情報と前記第２の時点で出力された第１画像および/または第２画像に基づいて、所望の視差を有する視点画像の組を生成し、前記所望の視差を有する画像の組から立体画像を生成するステップと、
を実行する撮像方法。
【請求項２３】
単一の撮像光学系と、前記撮像光学系の予め定められた方向の異なる第１の領域および第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像部であって、前記第１の領域および第２の領域を通過した被写体像をそれぞれ光電変換して第１画像および第２画像からなる視点画像の組を継続的に出力可能な撮像部とを備える撮像装置が、
時間的に前後する任意の２つの時点である第１の時点および第２の時点で視点画像の組が出力されるよう前記撮像部を制御するステップと、
前記第１の時点で前記撮像部から出力された視点画像の組に基づいてステレオマッチングを行い視差情報を算出するステップと、
前記第２の時点で出力された第１画像に前記第１の時点に対応する視差情報を適用して前記第１画像との間で視差を有する仮想第２画像を生成し、前記第２の時点で出力された第１画像と前記仮想第２画像から立体画像を生成するステップと、
を実行する撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１２４６５０（Ｐ２０１２−１２４６５０Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７２４８１（Ｐ２０１０−２７２４８１）
【出願日】平成２２年１２月７日（２０１０．１２．７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月７日（２０１０．１２．７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]