撮像装置および撮像プログラム
【課題】撮影時における被写体が現実と異なる遠近感を有する３Ｄ画像を撮影することができる撮像装置および撮像プログラムを提供する。
【解決手段】被写体を撮像することによって互いに視差を有する２つの画像データを生成する撮像部２と、撮像部２が生成する２つの画像データそれぞれに対応する２つの画像を用いて３次元画像を表示する表示部６と、２つの画像を重畳した際に、該２つの画像内において一致する一致領域を検出する一致領域検出部９４と、一致領域検出部９４の検出結果に応じて、３次元画像を表示部６の表示画面と直交する方向へ仮想的に飛び出した状態から表示部６の表示画面を基準にして仮想的に引っ込んだ状態に逆転させて表示部６に表示させる逆転表示が可能であるか否かを判定する逆転表示判定部９５と、を備える。
【解決手段】被写体を撮像することによって互いに視差を有する２つの画像データを生成する撮像部２と、撮像部２が生成する２つの画像データそれぞれに対応する２つの画像を用いて３次元画像を表示する表示部６と、２つの画像を重畳した際に、該２つの画像内において一致する一致領域を検出する一致領域検出部９４と、一致領域検出部９４の検出結果に応じて、３次元画像を表示部６の表示画面と直交する方向へ仮想的に飛び出した状態から表示部６の表示画面を基準にして仮想的に引っ込んだ状態に逆転させて表示部６に表示させる逆転表示が可能であるか否かを判定する逆転表示判定部９５と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像することによって互いに対応する画素点が視差を有する２つの画像データを用いて３次元画像を表示する撮像装置および撮像プログラムに関する。
【背景技術】
【０００２】
近年、同一の被写体に対してデジタルステレオカメラを用いて撮影することによって複数の画像データを取得し、この取得した複数の画像データに含まれる被写体の視差を利用することにより、ユーザが立体的に見ることができる３次元画像（以下、「３Ｄ画像」という）を表示することができる撮像装置が知られている。
【０００３】
このような撮像装置において、３Ｄ画像の奥行き感や飛び出し感を調整することができる技術が知られている（特許文献１参照）。この技術では、ユーザがデジタルステレオカメラも輻輳角または基線長を手動で調整して被写体を撮影することにより、所望の奥行き感や飛び出し感を有する３Ｄ画像を撮影する。
【０００４】
また、従来からトリックアートやだまし絵では、遠近感を調整する遠近法などの絵画的テクニックを利用し、鑑賞者に対して２次元画像（以下、「２Ｄ画像」という）をあたかも３Ｄ画像に見せることで、現実と異なる画像表現を可能にしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３１２０５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の撮像装置では、３Ｄ画像全体の飛び出し感や奥行き感の調整しか想定されていないため、３Ｄ画像に含まれる被写体の遠近感を変更することができなかった。このため、トリックアートのように撮影時における被写体の遠近感を現実と異なる状態で仮想的に視認させることができる３Ｄ画像の撮影技術が求められていた。
【０００７】
本発明は、上記に鑑みてなされたものであって、撮影時における被写体が現実と異なる遠近感を有する３Ｄ画像を撮影することができる撮像装置および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被写体を撮像することによって互いに視差を有する２つの画像データを生成する撮像部と、前記撮像部が生成する前記２つの画像データそれぞれに対応する２つの画像を用いて３次元画像を表示する表示部と、前記２つの画像を重畳した際に、該２つの画像内において一致する一致領域を検出する一致領域検出部と、前記一致領域検出部の検出結果に応じて、前記３次元画像を前記表示部の表示画面と直交する方向へ仮想的に飛び出した状態から前記表示部の表示画面を基準として仮想的に引っ込んだ状態に逆転させて前記表示部に表示させる逆転表示が可能であるか否かを判定する逆転表示判定部と、を備えたことを特徴とする。
【０００９】
また、本発明にかかる撮像装置は、上記発明において、前記一致領域検出部は、当該撮像装置から距離が異なる前記一致領域を検出し、前記逆転表示判定部は、前記一致領域検出部が前記一致領域を２つ以上検出した場合、前記逆転表示が可能であると判定することを特徴とする。
【００１０】
また、本発明にかかる撮像装置は、上記発明において、前記３次元画像に含まれる人物の顔を検出する顔検出部をさらに備え、前記逆転表示判定部は、前記顔検出部が複数の顔を検出した場合、前記逆転表示が不可能であると判定する一方、前記顔検出部が一つの顔を検出した場合、前記逆転表示が可能であると判定することを特徴とする。
【００１１】
また、本発明にかかる撮像装置は、上記発明において、前記２つの画像を前記表示画面における水平方向の１画素毎に交互に並べて前記表示部に表示させることによって前記３次元画像を前記表示部に表示させる表示制御部をさらに備え、前記表示制御部は、前記逆転表示判定部によって前記逆転表示が可能と判定された場合、前記表示画面における前記２つの画像の画素の位置を逆に並び換えて前記表示部に表示させることを特徴とする。
【００１２】
また、本発明にかかる撮像装置は、上記発明において、前記逆転表示判定部によって前記逆転表示が不可能と判定された場合、前記逆転表示が不可能であることを示す情報を出力する出力部をさらに備えたことを特徴とする。
【００１３】
また、本発明にかかる撮像装置は、上記発明において、前記２つの画像の視差を調整する指示信号の入力を受け付ける視差調整部をさらに備え、前記表示制御部は、前記指示信号に応じて前記２つの画像の視差が調整された前記３次元画像を前記表示部に表示させることを特徴とする。
【００１４】
また、本発明にかかる撮像装置は、上記発明において、前記一致領域検出部が検出した一致領域を前記２つの画像それぞれから抽出する一致領域抽出部と、前記一致領域抽出部が抽出した一致領域に対応する２つの一致領域画像それぞれを、他の背景画像に合成して合成画像を生成する画像合成部と、をさらに備え、前記表示制御部は、前記合成画像を用いて前記３次元画像を前記表示部に表示させることを特徴とする。
【００１５】
また、本発明にかかる撮像プログラムは、被写体を撮像することによって互いに視差を有する２つの画像データを生成する撮像ステップと、前記撮像ステップが生成する前記２つの画像データそれぞれに対応する２つの画像を用いて３次元画像を表示する表示ステップと、前記２つの画像を重畳した際に、該２つの画像内において一致する一致領域を検出する一致領域検出ステップと、前記一致領域検出ステップの検出結果に応じて、前記３次元画像を前記表示部の表示画面と直交する方向へ仮想的に飛び出した状態から前記表示部の表示画面を基準として仮想的に引っ込んだ状態に逆転させて前記表示ステップで表示させる逆転表示が可能であるか否かを判定する逆転表示判定ステップと、を撮像装置に実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、一致領域検出部が撮像部によって生成された左目画像および右目画像を重畳した際に、左目画像および右目画像内において一致する一致領域を検出し、逆転表示判定部が一致領域検出部の検出結果に応じて、３Ｄ画像を表示部の表示画面と直交する方向へ仮想的に飛び出した飛び出し位置から表示部の表示画面を基準にして仮想的に引っ込んだ状態に逆転させて表示部に表示させる逆転表示が可能であるか否かを判定する。これにより、撮影時における被写体の遠近感を現実と異なる位置で仮想的に視認させる３Ｄ画像を撮影することができ、ユーザに対して仮想的に遠近感を変更した３Ｄ画像を視認させることができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の実施の形態１にかかる撮像装置の被写体に面する側の構成を示す図である。
【図２】図２は、本発明の実施の形態１にかかる撮像装置のユーザに面する側の構成を示す図である。
【図３】図３は、本発明の実施の形態１にかかる撮像装置の構成を示すブロック図である。
【図４】図４は、本発明の実施の形態１にかかる撮像装置が備える表示部の概略構成を示す模式図である。
【図５】図５は、本発明の実施の形態１にかかる撮像装置が備える撮像部が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。
【図６】図６は、図５に示す状況下で撮像部が生成する２つの画像データそれぞれに対応する２つの画像の一例を示す図である。
【図７】図７は、図５に示す状況下で立体画像生成部が生成した左目画像と右目画像とを仮想的に重ねた画像の一例を示す図である。
【図８】図８は、図５に示す状況下で撮像部と被写体との撮影距離との関係を示す図である。
【図９】図９は、ユーザが表示部の表示画面から仮想的に視認する３Ｄ画像の位置を説明する模式図である。
【図１０】図１０は、ユーザが表示部の表示画面から仮想的に視認する３Ｄ画像の位置を説明する模式図である。
【図１１】図１１は、ユーザが表示部の表示画面から仮想的に視認する３Ｄ画像の位置を説明する模式図である。
【図１２】図１２は、逆３Ｄ表示で遠近感の反転が難しい画像の一例を示す図である。
【図１３】図１３は、逆３Ｄ表示で遠近感の反転が難しい画像の一例を示す図である。
【図１４】図１４は、逆３Ｄ表示で遠近感の反転が難しい画像の一例を示す図である。
【図１５】図１５は、逆３Ｄ表示で遠近感の反転が容易な画像の一例を示す図である。
【図１６】図１６は、本発明の実施の形態１にかかる撮像装置が行う処理の概要を示すフローチャートである。
【図１７】図１７は、ユーザが仮想的に視認する通常の３Ｄ画像と逆３Ｄ表示の３Ｄ画像の模式図である。
【図１８】図１８は、図１６に示す逆転表示判定処理の概要を示すフローチャートである。
【図１９】図１９は、図１５に示す画像を撮影した状況で撮像部が生成する左目画像および右目画像それぞれの一例を示す図である。
【図２０】図２０は、図１９に示した左目画像と右目画像とを仮想的に重畳した重畳画像の一例を示す図である。
【図２１】図２１は、図１２に示す画像を撮影した状況で撮像部が生成する左目画像および右目画像それぞれの一例を示す図である。
【図２２】図２２は、図２１に示した左目画像および右目画像を仮想的に重畳した重畳画像の一例を示す図である。
【図２３】図２３は、本発明の実施の形態２にかかる撮像装置の構成を示すブロック図である。
【図２４】図２４は、本発明の実施の形態２にかかる撮像装置の動作の概要を示すフローチャートである。
【図２５】図２５は、本発明の実施の形態２にかかる撮像装置が備える表示部が表示する画像の一例を示す図である。
【図２６】図２６は、本発明の実施の形態２にかかる撮像装置が備える表示部が表示する画像の一例を示す図である。
【図２７】図２７は、本発明のその他の実施の形態にかかる撮像装置が備える表示部が逆３Ｄ表示で３Ｄ画像を表示する状態を説明する模式図である。
【発明を実施するための形態】
【００１８】
以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付している。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１にかかる撮像装置の被写体に面する側（前面側）の構成を示す図である。図２は、本発明の実施の形態１にかかる撮像装置のユーザに面する側（背面側）の構成を示す図である。図３は、本発明の実施の形態１にかかる撮像装置の構成を示すブロック図である。なお、本実施の形態１においては、撮像装置としてデジタルステレオカメラを例に挙げて説明する。
【００２０】
図１〜図３に示すように、撮像装置１は、撮像部２と、姿勢検出部３と、タイマー４と、操作入力部５と、表示部６と、タッチパネル７と、記憶部８と、制御部９と、を備える。
【００２１】
撮像部２は、異なる位置から撮像し、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する。撮像部２は、互いに異なる光学系を有する第１撮像部２１および第２撮像部２２を備える。第１撮像部２１および第２撮像部２２は、互いの光軸Ｌ１，Ｌ２が平行または所定の角度をなすように同一平面上で並設される。
【００２２】
第１撮像部２１は、レンズ部２１ａと、レンズ駆動部２１ｂと、絞り２１ｃと、絞り駆動部２１ｄと、シャッタ２１ｅと、シャッタ駆動部２１ｆと、撮像素子２１ｇと、信号処理部２１ｈと、を有する。
【００２３】
レンズ部２１ａは、フォーカスレンズやズームレンズ等の複数のレンズによって構成され、所定の視野領域から光を集光する。レンズ駆動部２１ｂは、ＤＣモータ等を用いて構成され、レンズ部２１ａのレンズを光軸Ｌ１上に沿って移動させることにより、レンズ部２１ａのピント位置や焦点距離等の変更を行う。
【００２４】
絞り２１ｃは、レンズ部２１ａが集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部２１ｄは、ステッピングモータ等によって構成され、絞り２１ｃを駆動する。
【００２５】
シャッタ２１ｅは、撮像素子２１ｇの状態を露光状態または遮光状態に設定する。シャッタ駆動部２１ｆは、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッタ２１ｅを駆動する。
【００２６】
撮像素子２１ｇは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等によって実現される。撮像素子２１ｇは、レンズ部２１ａが集光した光を受光して光電変換を行うことによって、光を電気信号（アナログ信号）に変換し、この変換した電気信号を信号処理部２１ｈに出力する。
【００２７】
信号処理部２１ｈは、撮像素子２１ｇから出力される電気信号に増幅等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データに変換して制御部９に出力する。
【００２８】
第２撮像部２２は、第１撮像部２１と同様の構成によって実現され、レンズ部２２ａと、レンズ駆動部２２ｂと、絞り２２ｃと、絞り駆動部２２ｄと、シャッタ２２ｅと、シャッタ駆動部２２ｆと、撮像素子２２ｇと、信号処理部２２ｈと、を有する。
【００２９】
姿勢検出部３は、加速度センサを用いて構成される。姿勢検出部３は、撮像装置１の加速度を検出することにより、撮像装置１の姿勢状態を検出する。具体的には、姿勢検出部３は、水平面を基準としたときの撮像装置１の姿勢を検出する。
【００３０】
タイマー４は、計時機能や撮影日時の判定機能を有する。タイマー４は、撮像された画像データに日時データを付加させるため、制御部９に日時データを出力する。
【００３１】
操作入力部５は、撮像装置１の電源状態をオン状態またはオフ状態に切換える電源スイッチ５１と、静止画撮影の指示を与えるレリーズ信号の入力を受け付けるレリーズスイッチ５２と、撮像装置１の各種撮影モードを切換える切換スイッチ５３と、撮像部２のズーム操作を行うズームスイッチ５４と、撮像した３Ｄ画像の遠近感を変更する逆３Ｄ画像を表示部６に表示させる逆３Ｄスイッチ５５と、３Ｄ画像の視差量を調整する視差量調整スイッチ５６と、撮像装置１の各種設定を変更する変更スイッチ５７と、を有する。
【００３２】
図４は、表示部６の概略構成を示す模式図である。図４に示すように、表示部６は、バックライト６１と、表示パネル６２と、視差バリア６３と、を有する。バックライト６１は、ＬＥＤ（Light Emitting Diode）等によって構成され、画像を表示するための光を背面から照射する。表示パネル６２は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネルによって構成される。視差バリア６３は、液晶等によって構成され、表示パネル６２の上面に積層されてなる。視差バリア６３は、表示パネル６２の各画素の間隔よりも狭い間隔でスリットが設けられ、ユーザの右目ＥＲと左目ＥＬとにそれぞれ対応した画像を分離する。このような視差バリア６３として、例えばパララックバリア方式が適用される。なお、視差バリア６３の代わりに、レンティキュラレンズを積層したレンズシートを表示パネル６２の上面に設けてもよい。
【００３３】
以上の構成を有する表示部６は、制御部９から３Ｄ画像データが入力された場合、制御部９の制御のもとで表示パネル６２が左端の画素から水平方向に左目画像と右目画像とを交互に表示し、視差バリア６３が表示パネル６２の各画素から出た光を分離する。このため、左目画像が左目ＥＬのみに、右目画像が右目ＥＲのみにそれぞれ届く。これにより、ユーザは、表示部６が表示する３Ｄ画像を立体視することができる。また、表示部６が表示態様を３Ｄ画像から２Ｄ画像に切り換える際には、視差バリア６３に印加される電圧がオン状態からオフ状態に変化することによって視差バリア６３が遮光状態から透過状態に遷移し、左目画像または右目画像のどちらか一方が表示パネル６２に出力される。
【００３４】
タッチパネル７は、表示部６の表示画面上に重ねて設けられる（図２を参照）。タッチパネル７は、ユーザが表示部６で表示される状態に基づいて接触（タッチ）した位置を検出し、この検出した位置に応じた操作信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学方式等がある。本実施の形態１では、いずれの方式のタッチパネルであっても適用可能である。
【００３５】
記憶部８は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。記憶部８は、撮像部２が撮影した画像データを記憶する画像データ記憶部８１と、撮像装置１が実行する各種プログラムや撮像プログラムを記憶するプログラム記憶部８２と、を有する。なお、記憶部８に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。
【００３６】
制御部９は、ＣＰＵ（Central Processing Unit）等によって実現される。制御部９は、操作入力部５およびタッチパネル７からの操作信号等に応じて記憶部８のプログラム記憶部８２からプログラムを読み出して実行し、撮像装置１を構成する各部に対して制御信号を送信したりデータを転送したりすることにより、撮像装置１の動作を制御する。
【００３７】
制御部９の詳細な構成を説明する。制御部９は、画像処理部９１と、立体画像生成部９２と、顔検出部９３と、一致領域検出部９４と、逆転表示判定部９５と、表示制御部９６と、ヘッダ情報生成部９７と、を有する。
【００３８】
画像処理部９１は、信号処理部２１ｈ，２２ｈからそれぞれ出力された左目画像データおよび右目画像データに対して各種の画像処理を施す。具体的には、画像処理部９１は、信号処理部２１ｈ，２２ｈからそれぞれ出力された左目画像データおよび右目画像データに対して、エッジ強調、色補正およびγ補正等の処理を施す。なお、画像処理部９１は、画像データを所定の方式（たとえばＪＰＥＧ方式やＭＰＥＧ−ＭＶＣ方式等）で圧縮する圧縮処理を行ってもよい。
【００３９】
立体画像生成部９２は、画像処理部９１によって画像処理された左目画像データおよび右目画像データを所定の縦横比（たとえば、アスペクト比３：４）でそれぞれ切り出すことによって３Ｄ画像を生成する。なお、立体画像生成部９２が左目画像データおよび右目画像データからそれぞれ切り出す縦横比を変更スイッチ５７で変更できるようにしてもよい。
【００４０】
顔検出部９３は、左目画像データまたは右目画像データに含まれる人物の顔をパターンマッチングによって検出する。なお、顔検出部９３は、人物の顔だけでなく、犬や猫等の顔を検出してもよい。さらに、顔検出部９３は、パターンマッチング以外の周知技術を用いて人物の顔を検出してもよい。
【００４１】
一致領域検出部９４は、左目画像データおよび右目画像データそれぞれに対応する左目画像および右目画像を重畳した際に、左目画像および右目画像において一致する一致領域を検出する。一致領域検出部９４は、撮像装置１から距離が異なる一致領域を検出する。具体的には、一致領域検出部９４は、撮影を行う際に撮像装置１から距離が異なる被写体を、左目画像および右目画像において一致する一致領域として少なくとも２つ以上検出する。
【００４２】
逆転表示判定部９５は、一致領域検出部９４の検出結果に応じて、３Ｄ画像を表示部６の表示画面と直交する方向へ仮想的に飛び出した位置から表示部６の表示画面を基準に引っ込んだ位置に逆転させて表示部６に表示させる逆転表示（以下、「逆３Ｄ表示」という）が可能であるか否かを判定する。逆転表示判定部９５は、一致領域検出部９４が一致領域を少なくとも２つ以上検出した場合、逆３Ｄ表示が可能であると判定する。さらに、逆転表示判定部９５は、顔検出部９３が複数の顔を検出した場合、逆３Ｄ表示が不可能であると判定する一方、顔検出部９３が一つの顔を検出した場合、逆３Ｄ表示が可能であると判定する。
【００４３】
表示制御部９６は、３Ｄ画像および／または２Ｄ画像を表示部６に表示させる制御を行う。具体的には、表示制御部９６は、表示部６に３Ｄ画像を表示させる場合、立体画像生成部９２によって生成された３Ｄ画像の左目画像と右目画像とをそれぞれ短冊状に分割し、この分割した画像を表示部６の表示画面における水平方向の１画素毎に交互に並べて３Ｄ画像を表示部６に表示させる制御を行う。これに対して、表示制御部９６は、表示部６に２Ｄ画像を表示させる場合、表示部６の視差バリア６３のスリットを遮光状態から透過状態にするため、視差バリア６３に印加する電源をオン状態からオフ状態にするとともに、左目画像または右目画像どちらか一方のみを表示パネル６２に表示させる制御を行う。
【００４４】
また、表示制御部９６は、逆転表示判定部９５によって逆３Ｄ表示が可能と判定された場合、表示部６の表示画面における左目画像および右目画像それぞれの画素の位置を逆に並び換えて表示部６に表示させる制御を行う。さらに、表示制御部９６は、視差量調整スイッチ５６から入力される指示信号に応じて、表示部６が表示する３Ｄ画像の視差量を調整する。具体的には、表示制御部９６は、視差量調整スイッチ５６から入力される指示信号に応じて、左目画像および右目画像の重なり具合を調整することにより左目画像および右目画像の視差量を調整することで、３Ｄ画像の飛び出し量を調整する。さらにまた、本実施の形態１においては、表示制御部９６が逆転表示判定部９５によって逆３Ｄ表示が不可能であると判定された場合、逆３Ｄ表示が不可能であることを示す情報を出力する出力部として機能する。
【００４５】
ヘッダ情報生成部９７は、３Ｄ画像の視差量をヘッダ情報として生成し、このヘッダ情報を撮像部２が生成する画像データに対応付けて画像データ記憶部８１に記憶させる。
【００４６】
以上の構成を有する撮像装置１において、音声入出力機能、フラッシュ機能およびインターネットを介して外部のパーソナルコンピュータ（図示せず）と双方向に通信を行う通信機能等を具備させてもよい。
【００４７】
つぎに、撮像部２が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況について説明する。図５は、撮像部２が、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。
【００４８】
図５に示すように、撮像部２は、撮像部２からの距離が異なる被写体Ａ１（距離ｄ１）および被写体Ａ２（距離ｄ２）に対して、距離Ｂ１だけ離れて並設された第１撮像部２１および第２撮像部２２で撮像することにより、左目画像データおよび右目画像データを生成する。
【００４９】
続いて、立体画像生成部９２は、第１撮像部２１および第２撮像部２２によって生成された左目画像データおよび右目画像データそれぞれを所定の縦横比率で切り出すことによって左目画像１００Ｌおよび右目画像１００Ｒを生成する。図６は、図５に示す状況下で撮像部２が生成する２つの画像データそれぞれに対応する２つの画像の一例を示す図である。図６において、左目画像１００Ｌは、立体画像生成部９２が第２撮像部２２によって生成された左目画像データに対応する画像から切り出して生成した画像である。また、図６において、右目画像１００Ｒは、立体画像生成部９２が第１撮像部２１によって生成された右目画像データに対応する画像から切り出して生成した画像である。図７は、図５に示す状況下で立体画像生成部９２が生成した左目画像１００Ｌと右目画像１００Ｒとを仮想的に重ねた画像（１００ＬＲ）の一例を示す図である。なお、図６および図７に示す破線および一点鎖線は、第１撮像部２１および第２撮像部２２がそれぞれ生成する画像データに対応する画像領域を示す。
【００５０】
図８は、図５に示す状況下で撮像部２と被写体との撮影距離との関係を示す図である。図８では、横軸が左端を原点としたときの画像１００ＬＲ内の横方向の被写体位置であり、縦軸が撮像部２と被写体との距離である。
【００５１】
図８に示すように、撮像部２と被写体Ａ２との距離は、撮像部２と被写体Ａ１との距離より大きい。このため、被写体Ａ２の領域がほぼ重なる。具体的には、図７に示すように、画像１００ＬＲ内では、被写体Ａ２の領域がほぼ重なる。一方、被写体Ａ１の領域は重ならない（対応画素の視差Ｐ１）。このように、左目画像１００Ｌと右目画像１００Ｒでは、撮像部２からの距離が近い被写体（被写体Ａ１）ほど画像内での対応画素点の視差が大きく、撮像部２からの距離が遠い被写体（被写体Ａ２）ほど対応画素点の視差が小さい。
【００５２】
ここで、図９〜図１１を参照して、ユーザが表示部６の表示画面から仮想的に視認する３Ｄ画像の位置について説明する。図９〜図１１は、ユーザが表示部６の表示画面から仮想的に視認する３Ｄ画像の位置を説明する模式図である。図９〜図１１においては、左目画像および右目画像の対応画素点の視差をΔｘ、ユーザが表示部６の表示画面から仮想的に視認する３Ｄ画像の位置をΔｚとする。また、図９〜図１１において、左目ＥＬと右目ＥＲは同一のユーザのものである。さらに、矢印ａ１が左目ＥＬに入り込む左目画像における画素の光を示し、矢印ａ２が右目ＥＲに入り込む右目画像における画素の光を示す。
【００５３】
図９に示すように、左目ＥＬおよび右目ＥＲそれぞれに入る左目画像および右目画像の対応画素点が同じ位置（視差Δｘ＝０）で表示されている場合、ユーザが仮想的に視認する３Ｄ画像の位置が表示部６の表示画面上（位置Δｚ＝０）になる。
【００５４】
また、図１０に示すように、左目ＥＬおよび右目ＥＲそれぞれに入る左目画像および右目画像の対応画素点が図９に示す位置から別の位置（視差Δｘ＝Δｘ１）で表示されている場合、ユーザが仮想的に視認する３Ｄ画像の位置が表示部６の表示画面から直交する方向に飛び出した位置（位置Δｚ＝Δｚ１）になる。
【００５５】
これに対して、図１１に示すように、左目ＥＬおよび右目ＥＲそれぞれに入る左目画像および右目画像の対応画素点を、図９の位置から逆に配置（視差Δｘ＝Δｘ２）して表示させた場合、ユーザが仮想的に視認する３Ｄ画像の位置が表示部６の表示画面から直交する方向に引っ込んだ位置（位置Δｚ＝Δｚ２）になる。
【００５６】
このように、左目ＥＬおよび右目ＥＲそれぞれに入る左目画像および右目画像の対応画素点の表示位置を変更する操作を行うことで、ユーザが視認する３Ｄ画像の位置を表示部６の表示画面から直交する方向に飛び出させたり、引っ込ませたりすることができる。これにより、ユーザに対して逆３Ｄ表示を行うことで、３Ｄ画像の遠近感を反転させることができる。
【００５７】
つぎに、図１２〜図１５を参照して、逆３Ｄ表示で遠近感を反転させることが難しい画像について詳細に説明する。図１２〜図１４は、逆３Ｄ表示で遠近感の反転が難しい画像の一例を示す図である。図１５は、逆３Ｄ表示で遠近感の反転が容易な画像の一例を示す図である。なお、図１２、図１３および図１５において、被写体Ａ３は、撮影時における撮像装置１からの距離が被写体Ａ４よりも近く、かつ大きさが被写体Ａ４と同じ大きさである。
【００５８】
図１２に示すように、透視図のように消失点Ｖ１（Vanishing Point）が存在し、現実では平行である直線Ｋ１，Ｋ２が画像２００内の消失点Ｖ１に向けて延びる場合、ユーザが直線Ｋ１，Ｋ２に基づいて、被写体Ａ３および被写体Ａ４の遠近関係を容易に把握することができる。このため、ユーザに対して逆３Ｄ表示で３Ｄ画像の遠近感を反転させることが難しい。
【００５９】
さらに、図１３に示すように、被写体Ａ３および被写体Ａ４が画像３００内において重なっている場合、ユーザが被写体Ａ３および被写体Ａ４の重なり具合から遠近関係を把握することができる。このため、図１２と同様に、ユーザに対して逆３Ｄ表示で３Ｄ画像の遠近感を反転させることが難しい。
【００６０】
また、図１４に示すように、画像４００内の被写体Ａ５および被写体Ａ６が人物の場合、ユーザが被写体Ａ５および被写体Ａ６の大きさに基づいて遠近関係を容易に把握することができる。このため、ユーザに対して逆３Ｄ表示で３Ｄ画像の遠近感を反転させることが難しい。
【００６１】
これに対して、図１５に示すように、被写体Ａ３および被写体Ａ４それぞれが画像５００内において離れた位置にあり、被写体Ａ３および被写体Ａ４の遠近感を推測できるような情報が画像５００内に含まれない場合、ユーザが被写体Ａ３および被写体Ａ４の遠近間係を把握することが難しい。このため、逆３Ｄ表示で３Ｄ画像の遠近感を反転させることができる。
【００６２】
つぎに、本発明の実施の形態１にかかる撮像装置１が行う処理について説明する。図１６は、撮像装置１が行う処理の概要を示すフローチャートである。なお、本実施の形態１にかかる撮像装置１は、複数の撮影モードや画像データを再生する再生モードを設定することができる。以下においては、複数の撮影モードのうち逆３Ｄ撮影モードに設定された場合のみを説明する。
【００６３】
図１６に示すように、まず、制御部９は、撮影部２が生成した左目画像データおよび右目画像データを取得する（ステップＳ１０１）。
【００６４】
その後、逆転表示判定部９５は、３Ｄ画像を逆３Ｄ表示で表示部６に表示させることが可能であるか否かを判定する逆転表示判定処理を実行する（ステップＳ１０２）。
【００６５】
続いて、逆転表示判定部９５によって３Ｄ画像を逆３Ｄ表示で表示部６に表示させることが可能と判定された場合（ステップＳ１０３：Ｙｅｓ）において、逆３Ｄスイッチ５５が操作されてライブビュー画像を逆３Ｄ表示で確認する確認設定があるとき（ステップＳ１０４：Ｙｅｓ）、表示制御部９６は、ライブビュー画像を逆３Ｄ表示で表示部６に表示させる（ステップＳ１０５）。具体的には、表示制御部９６は、表示パネル６２の左端の画素から横方向に沿って左目画像と右目画像の順で交互に表示させることに換えて、表示パネルの左端の画素から横方向に沿って右目画像と左目画像との順で交互に表示させる（図４を参照）。
【００６６】
図１７は、ユーザが仮想的に視認する通常の３Ｄ画像と逆３Ｄ表示の３Ｄ画像の模式図である。図１７に示すように、表示制御部９６は、左目画像および右目画像それぞれの表示位置を逆にすることで、表示部６の表示画面と直交する方向に飛び出した状態の被写体Ａ３（ｄ１）および被写体Ａ４（ｄ２）（図１７（ａ））を、表示部６の表示画面を基準として逆転して引っ込んだ状態（図１７（ｂ））に表示させることができる。これにより、ユーザは、被写体Ａ３と被写体Ａ４との仮想的な遠近感の関係が逆になった３Ｄ画像を視認することができる。
【００６７】
ステップＳ１０６において、視差量調整スイッチ５６が操作されることにより３Ｄ画像の飛び出し位置または引っ込み位置を調整する視差調整があった場合（ステップＳ１０６：Ｙｅｓ）、表示制御部９６は、視差量調整スイッチ５６から出力される指示信号に応じて３Ｄ画像の視差量を変更する（ステップＳ１０７）。これにより、ユーザは、所望の立体感を有する３Ｄ画像を仮想的に視認することができる。
【００６８】
ステップＳ１０８において、レリーズ信号が入力された場合（ステップＳ１０８：Ｙｅｓ）、制御部９は、ヘッダ情報生成部９７がその時点でヘッダ情報として生成した３Ｄ画像の視差量を、撮影部２から取得した最新の３Ｄ画像データに対応付けて画像データ記憶部８１に記録させる（ステップＳ１０９）。
【００６９】
その後、表示制御部９６は、撮影した３Ｄ画像データに対応する３Ｄ画像を通常または逆３Ｄ表示で表示部６に所定時間（たとえば２秒〜３秒程度）レックビュー表示させる（ステップＳ１１０）、撮像装置１の一連の処理を終了する。
【００７０】
ステップＳ１０８において、レリーズ信号が入力されていない場合（ステップＳ１０８：Ｎｏ）、撮像装置１はステップＳ１０１へ戻る。
【００７１】
ステップＳ１０６において、視差量調整スイッチ５６が操作されることにより３Ｄ画像の飛び出し位置または引っ込み位置を調整する視差調整がない場合（ステップＳ１０６：Ｎｏ）、撮像装置１はステップＳ１０８へ移行する。
【００７２】
ステップＳ１０４において、逆３Ｄスイッチ５５が操作されてライブビュー画像を逆３Ｄ表示で確認する確認設定がない場合（ステップＳ１０４：Ｎｏ）、表示制御部９６は、ライブビュー画像を通常の３Ｄ表示（図１７（ａ）を参照）で表示部６に表示させ（ステップＳ１１１）、撮像装置１はステップＳ１０６へ移行する。
【００７３】
ステップＳ１０３において、逆転表示判定部９５によって３Ｄ画像を逆３Ｄ表示で表示部６に表示させることが可能でないと判定された場合（ステップＳ１０３：Ｎｏ）について説明する。この場合、表示制御部９６は、ライブビュー画像を通常の３Ｄ表示で表示部６に表示させ（ステップＳ１１２）、ライブビュー画像上に逆３Ｄ表示が不可能であることを示す情報として注記、たとえば「背景を無地にして下さい。」等の文字情報を重畳して表示部６に表示させる（ステップＳ１１３）。その後、撮像装置１はステップＳ１０８へ移行する。これにより、ユーザは、逆３Ｄ撮影を行うことができないことを把握することができる。なお、表示制御部９６は、逆３Ｄ表示が不可能であることを示す情報として音や光等を表示部６またはスピーカ（図示せず）等に出力させてもよい。
【００７４】
つぎに、図１６に示したステップＳ１０２の逆転表示判定処理について説明する。図１８は、図１６に示す逆転表示判定処理の概要を示すフローチャートである。
【００７５】
図１８に示すように、まず、一致領域検出部９４は、左目画像および右目画像を重畳して一致領域を検出する（ステップＳ２０１）。
【００７６】
その後、逆転表示判定部９５は、重畳画像における左側領域の全域で左目画像および右目画像がほぼ一致し（ステップＳ２０２：Ｙｅｓ）、重畳画像における右側領域で一致しない領域がある場合（ステップＳ２０３：Ｙｅｓ）、顔検出部９３が左目画像または右目画像から複数の顔を検出したか否かを判定する（ステップＳ２０４）。顔検出部９３が複数の顔を検出していない場合（ステップＳ２０４：Ｎｏ）、逆転表示判定部９５は、表示部６に対して３Ｄ画像を逆３Ｄ表示で表示可能と判定し（ステップＳ２０５）、撮像装置１は図１６に示したメインルーチンに戻る。一方、顔検出部９３が複数の顔を検出した場合（ステップＳ２０４：Ｙｅｓ）、逆転表示判定部９５は、表示部６に対して３Ｄ画像を逆３Ｄ表示で表示不可能と判定し（ステップＳ２０６）、撮像装置１は図１６に示したメインルーチンに戻る。
【００７７】
図１９は、図１５に示す画像５００を撮影した状況で撮像部２が生成する左目画像５００Ｌと右目画像５００Ｒそれぞれの一例を示す図である。図２０は、図１９に示した左目画像５００Ｌと右目画像Ｒとを仮想的に重畳した重畳画像（５００ＬＲ）の一例を示す図である。図１９および図２０に示すように、一致領域検出部９４は、左目画像５００Ｌおよび右目画像５００Ｒを重畳しながら、重畳画像５００ＬＲの全体で左目画像５００Ｌおよび右目画像５００Ｒの対応画素点の差が最小になる位置を検出する。この場合、一致領域検出部９４は、左目画像５００Ｌおよび右目画像５００Ｒの被写体Ａ３が重なる位置を重畳画像５００ＬＲの全体で左目画像５００Ｌおよび右目画像５００Ｒの対応画素点の差が最小になる位置として検出する。
【００７８】
その後、逆転表示判定部９５は、一致領域検出部９４が検出した被写体Ａ３が重なる位置で重畳画像５００ＬＲの領域を略中央から左側領域ＢＬ１と右側領域ＢＲ１とにそれぞれ分割する。続いて、逆転表示判定部９５は、左側領域ＢＬ１の全域で左目画像５００Ｌおよび右目画像５００Ｒがほぼ一致し、右側領域ＢＲ１内の一部で左目画像５００Ｌおよび右目画像５００Ｒが一致しない領域がある場合、逆３Ｄ表示で３Ｄ画像を表示部６に表示させることにより、ユーザに対して遠近感を反転させて仮想的に視認させることが可能であると判定する。
【００７９】
ステップＳ２０３において、重畳画像における右側領域で一致しない領域がない場合（ステップＳ２０３：Ｎｏ）、撮像装置１はステップＳ２０６へ移行する。
【００８０】
ステップＳ２０２において、重畳画像における左側領域の全域で左目画像および右目画像が一致しない場合（ステップＳ２０２：Ｎｏ）について説明する。この場合、逆転表示判定部９５は、重畳画像における右側領域で一致しない領域があるか否かを判定する（ステップＳ２０７）。重畳画像における右側領域の全域で一致しない領域がある場合（ステップＳ２０７：Ｙｅｓ）、撮像装置１はステップＳ２０４へ移行する。一方、重畳画像における右側領域の全域で一致しない領域がない場合（ステップＳ２０７：Ｎｏ）、撮像装置１はステップＳ２０６へ移行する。
【００８１】
図２１は、図１２に示す画像２００を撮影した状況で撮像部２が生成する左目画像２００Ｌおよび右目画像２００Ｒそれぞれの一例を示す図である。図２２は、図２１に示した左目画像２００Ｌと右目画像２００Ｒとを仮想的に重畳した重畳画像（２００ＬＲ）の一例を示す図である。
【００８２】
図２１および図２２に示すように、逆転表示判定部９５は、左側領域ＢＬ２内の一部で左目画像２００Ｌと右目画像２００Ｒの対応画素が一致せず、右側領域ＢＲ１内の一部で左目画像５００Ｌと右目画像５００Ｒの対応画素点も一致しない場合、逆３Ｄ表示で３Ｄ画像を表示部６に表示させても、ユーザに対して遠近感を反転させて仮想的に視認させることが不可能であると判定する。なお、逆転表示判定部９５は、左目画像および右目画像を重畳した際の一致度に対して閾値を設け、この閾値を超えた場合、逆３Ｄ表示で３Ｄ画像を表示部させることにより、ユーザに対して遠近感を反転させて仮想的に視認させることができるか否かを判定してもよい。さらに、逆転表示判定部９５は、３Ｄ画像の視差量に応じて、逆３Ｄ表示で３Ｄ画像を表示させることができるか否かを判定してもよい。
【００８３】
以上説明した本実施の形態１によれば、一致領域検出部９４が撮像部２によって生成された左目画像および右目画像を重畳した際に、左目画像および右目画像内において一致する一致領域を検出し、逆転表示判定部９５が一致領域検出部９４の検出結果に応じて、３Ｄ画像を表示部６の表示画面と直交する方向へ仮想的に飛び出した飛び出し状態から表示部６の表示画面を基準にして仮想的に引き込んだ状態に逆転して表示部６に表示させることができるか否かを判定する。これにより、撮影時における被写体の遠近感を現実と異なる位置で仮想的に視認させる３Ｄ画像を撮影することができ、ユーザに対して仮想的に遠近感を変更した３Ｄ画像を視認させることができる。
【００８４】
さらに、本実施の形態１によれば、表示制御部９６が逆転表示判定部９５によって逆３Ｄ表示が可能であると判定された場合、表示部６で表示される左目画像および右目画像を逆にして表示部６に表示させる。この結果、ユーザは、３Ｄ画像に含まれる被写体の遠近感の関係が仮想的に逆になった３Ｄ画像を視認することができる。
【００８５】
（実施の形態２）
つぎに、本実施の形態２について説明する。上述した実施の形態１では、撮像部２が微小な時間間隔で連続的に生成する複数の画像（ライブビュー画像）に対して逆転表示判定処理を行っていたが、本実施の形態２では、表示部６がレックビュー表示する画像のみ逆転表示判定処理を行う。なお、本発明に実施の形態２にかかる撮像装置１０は、上述した実施の形態１にかかる撮像装置１と同様の構成を有し、制御部９０の構成および撮像装置１０の動作の処理が異なる。このため、以下においては、上述した実施の形態１と異なる構成を説明後、本実施の形態２にかかる撮像装置１０の動作の処理を説明する。また、図面の記載において、同一の部分には同一の符号を付している。
【００８６】
図２３は、本発明の実施の形態２にかかる撮像装置１０の構成を示すブロック図である。図２３に示すように、制御部９０は、画像処理部９１、立体画像生成部９２と、顔検出部９３と、一致領域検出部９４と、逆転表示判定部９５と、表示制御部９６と、ヘッダ情報生成部９７と、一致領域抽出部９８と、画像合成部９９と、を有する。
【００８７】
一致領域抽出部９８は、一致領域検出部９４が検出した一致領域を、左目画像および右目画像それぞれから抽出する。具体的には、一致領域抽出部９８は、一致領域検出部９４が検出した一致領域として左目画像および右目画像それぞれに含まれる被写体像を抽出する。
【００８８】
画像合成部９９は、一致領域抽出部９８が抽出した一致領域を示す画像を、別の背景画像に合成して合成画像を生成する。具体的には、画像合成部９９は、一致領域検出部９８が左目画像および右目画像それぞれから抽出した一致領域に対応する２つの一致領域画像それぞれを、画像データ記憶部８１が記憶する別の背景画像に合成して２つの合成画像を生成する。
【００８９】
図２４は、本実施の形態２にかかる撮像装置１０の動作の概要を示すフローチャートである。なお、本実施の形態２にかかる撮像装置１０は、複数の撮影モードや再生モードを設定することができる。以下においては、複数の撮影モードのうち逆３Ｄ撮影モードに設定された場合のみを説明する。
【００９０】
図２４に示すように、まず、表示制御部９６は、撮像部２が微小な時間間隔で連続的に生成する左目画像データおよび右目画像データそれぞれに対応する左目画像および右目画像を用いて３Ｄ画像のライブビュー画像を表示部６に表示させる（ステップＳ３０１）。
【００９１】
その後、制御部９０は、レリーズスイッチ５２が操作されることによりレリーズ信号が入力されたか否かを判断する（ステップＳ３０２）。レリーズ信号が入力されていない場合（ステップＳ３０２：Ｎｏ）、撮像装置１０はステップＳ３０１に戻る。一方、レリーズ信号が入力された場合（ステップＳ３０２：Ｙｅｓ）、撮像部２は、制御部９０の制御にもと、撮影を行う（ステップＳ３０３）。
【００９２】
続いて、制御部９０は、撮像部２が生成した左目画像データおよび右目画像データを画像データ記憶部８１に記録する（ステップＳ３０４）。
【００９３】
その後、逆転表示判定部９５は、上述した実施の形態１と同様の３Ｄ画像を逆３Ｄ表示で表示部６に表示させることができるか否かを判定する逆転表示判定処理（図１８を参照）を実行する（ステップＳ３０５）。
【００９４】
続いて、逆転表示判定部９５によって３Ｄ画像を逆３Ｄ表示で表示部６に表示させることが可能であると判定された場合（ステップＳ３０６：Ｙｅｓ）、一致領域抽出部９８は、被写体画像として一致領域検出部９４によって検出された一致領域を抽出する（ステップＳ３０７）。
【００９５】
その後、表示制御部９６は、一致領域抽出部９８によって抽出された一致領域に対応する被写体画像を選択することができる被写体選択画面を表示部６に表示させる（ステップＳ３０８）。具体的には、図２５に示すように、表示制御部９６は、被写体選択画面６００を表示部６に表示させる。さらに、表示制御部９６は、被写体選択画面６００上に選択終了アイコンＣ１、背景変更アイコンＣ２およびやり直しアイコンＣ３を重畳して表示部６に表示させる。選択終了アイコンＣ１は、被写体選択の終了を指示する指示信号の入力を受け付けるアイコンである。背景変更アイコンＣ２は、背景の変更を指示する指示信号の入力を受け付けるアイコンである。やり直しアイコンＣ３は、選択された被写体の選択の解除を指示するアイコンである。
【００９６】
続いて、ユーザが表示部６の被写体選択画面６００上で表示される被写体の領域内でタッチパネル７をタッチして被写体が選択された場合（ステップＳ３０９：Ｙｅｓ）、表示制御部９６は、選択された被写体の輪郭を強調して表示部６に表示させる（ステップＳ３１０）。具体的には、図２６に示すように、表示制御部９６は、選択された被写体Ａ７の輪郭を強調して表示部６に表示させる。これにより、ユーザは、選択した被写体を容易に把握することができる。
【００９７】
その後、選択終了アイコンＣ１が操作され（ステップＳ３１１：Ｙｅｓ）、背景変更アイコンＣ２が操作された場合（ステップＳ３１２：Ｙｅｓ）、画像合成部９９は、選択された被写体、たとえば被写体Ａ７に、画像データ記憶部８１が記憶する別の背景画像を合成して合成画像を生成する（ステップＳ３１３）。具体的には、画像合成部９９は、左目画像および右目画像の被写体Ａ７それぞれに別の背景画像を合成して２つの合成画像（左右）を生成する。
【００９８】
続いて、表示制御部９６は、逆３Ｄ表示で表示部６に３Ｄ画像をレックビュー表示させる（ステップＳ３１４）。たとえば、表示制御部９６は、画像合成部９９が生成した２つの合成画像を用いて３Ｄ画像を逆３Ｄ表示で表示部６にレックビュー表示させる。
【００９９】
その後、制御部９０は、表示部６に逆３Ｄ画像でレックビュー表示を行ってから所定時間（たとえば１０秒）経過したか否かを判断する（ステップＳ３１５）。所定時間経過していない場合（ステップＳ３１５：Ｎｏ）、この判断を続ける。一方、所定時間経過している場合（ステップＳ３１５：Ｙｅｓ）、制御部９０は、左目画像および右目画像の表示位置を入れ換えて画像データ記憶部８１に記録させ（ステップＳ３１６）、撮像装置１０は一連の処理を終了する。
【０１００】
ステップＳ３１１において、選択終了アイコンＣ１が操作されていない場合（ステップＳ３１１：Ｎｏ）について説明する。この場合において、やり直しアイコンＣ３が操作されたとき（ステップＳ３１７：Ｙｅｓ）、制御部９０は、ユーザによって選択された被写体を解除し（ステップＳ３１８）、撮像装置１０はステップＳ３０９へ戻る。一方、やり直しアイコンＣ３が操作されないとき（ステップＳ３１７：Ｎｏ）、撮像装置１０はステップＳ３０９へ戻る。
【０１０１】
ステップＳ３０９において、被写体が選択されていない場合（ステップＳ３０９：Ｎｏ）、制御部９は、被写体選択画面６００を表示部６に表示させてから所定時間（たとえば１０秒）経過したか否かを判断する（ステップＳ３１９）。所定時間経過していない場合（ステップＳ３１９：Ｎｏ）、撮像装置１０はステップＳ３０９へ戻る。一方、所定時間経過している場合（ステップＳ３１９：Ｙｅｓ）、撮像装置１０は一連の処理を終了する。
【０１０２】
ステップＳ３０６において、逆転表示判定部９５によって３Ｄ画像を逆３Ｄ表示で表示部６に表示させることが可能でないと判定された場合（ステップＳ３０６：Ｎｏ）について説明する。この場合、表示制御部９６は、表示部６に通常の３Ｄ画像でレックビュー表示させる（ステップＳ３２０）。
【０１０３】
その後、制御部９０は、表示部６が通常の３Ｄ画像でレックビュー表示を行ってから所定時間（たとえば５秒）経過したか否かを判断する（ステップＳ３２１）。所定時間経過していない場合（ステップＳ３２１：Ｎｏ）、この判断を繰り返す。一方、所定時間経過している場合（ステップＳ３２１：Ｙｅｓ）、撮像装置１０は一連の処理を終了する。
【０１０４】
以上説明した本実施の形態２によれば、逆転表示判定部９５が表示部６によってレックビュー表示される画像に対してのみ逆転表示判定処理を行うので、逆転表示判定処理にかかる処理時間を短縮することができる。この結果、撮影中に表示部６が表示するライブビュー画像の表示フレームレートや撮像部２が生成する撮像フレームレートを低下させることなく、上述した実施の形態１と同様の効果を奏する。
【０１０５】
また、本実施の形態２では、逆転表示判定部９５が３Ｄ画像を逆３Ｄ表示で表示部６に表示させることが可能であると判定した場合、表示制御部９６が表示部６における左目画像および右目画像の表示位置を瞬時に変更していたが、たとえば表示部６における左目画像および右目画像の表示位置を徐々に変更してもよい。これにより、ユーザは、遠近感を有する３Ｄ画像に対して、より錯覚して３Ｄ画像を視認することができる。
【０１０６】
（その他の実施の形態）
また、上述した実施の形態１，２では、被写体の遠近感を変更していたが、被写体の凹凸を変更することにより、よりトリックアートのようにユーザに対して仮想的に視認させることができる。具体的には、図２７に示すように、表示制御部９６は、表示部６に逆３Ｄ画像でレックビュー表示させた場合、被写体Ａ７が表示部６の表示画面と直交する方向へ引っ込んだ状態（凹んだ状態）で表示部６に表示される。しかしながら、ユーザは、ホローマスク錯視の原理により、被写体Ａ７が表示部６の表示画面と直交する方向へ飛び出した状態（凸状態）として仮想的に認識する。このように、ユーザに対してトリックアートのように、３Ｄ画像が凹んでいるにも関わらず、飛び出した状態で被写体Ａ７を仮想的に視認させることができる。さらに、表示制御部９６は、表示部６における左目画像および右目画像の表示位置を徐々に変更してもよい。これにより、ユーザは、凹凸のある３Ｄ画像に対して、より凹凸を錯覚して視認し、不思議な体験をすることができる。
【０１０７】
また、上述した実施の形態１，２では、表示制御部９６が３Ｄ画像を表示部６の表示画面と直交する方向へ仮想的に飛び出した状態から表示部６の表示画面を基準にして仮想的に引き込んだ状態に逆転して表示部６に表示させていたが、３Ｄ画像を表示部６の表示画面と直交する方向へ仮想的に引っ込んだ状態から表示部６の表示画面を基準にして仮想的に飛び出した状態に逆転して表示部６に表示させてもよい。これにより、ユーザに対して仮想的に遠近感を変更した３Ｄ画像を視認させることができる。
【０１０８】
また、上述した実施の形態１，２では、２つの撮像部がそれぞれ画像データを生成していたが、たとえば、一つの撮像部のみを有する構成とし、この撮像部が連続的に撮影することによって２つの画像データを生成するようにしてもよい。
【０１０９】
また、上述した実施の形態１，２では、逆転表示判定部９５が静止画撮影を行う場合のみ逆転表示判定処理を行っていたが、たとえば、撮像部２が微小な時間間隔で連続的に画像データを生成する動画撮影を行う場合にも逆転表示判定処理を行ってもよい。
【０１１０】
また、上述した実施の形態１，２では、撮像部２が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成していたが、たとえば、１つの撮像素子のみを有する構成とし、この１つの撮像素子の撮像領域内の別の領域に２つの光学系によって集光させることにより、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成するようにしてもよい。さらに、この場合、２つの光学系は、撮像装置１の装置本体部に対して着脱自在な構成にするようにしてもよい。
【０１１１】
また、上述した実施の形態１，２では、撮像装置としてデジタルステレオカメラを例に説明したが、たとえば、デジタルビデオカメラ、カメラ付き携帯電話、パーソナルコンピュータ、携帯型電子タブレットおよびデジタルフォトフレーム等の撮像機能を備えた各種電子機器に適用することができる。
【符号の説明】
【０１１２】
１，１０ 撮像装置
２ 撮像部
３ 姿勢検出部
４ タイマー
５ 操作入力部
６ 表示部
７ タッチパネル
８ 記憶部
９，９０ 制御部
２１ 第１撮像部
２１ａ，２２ａ レンズ部
２１ｂ，２２ｂ レンズ駆動部
２１ｃ，２２ｃ 絞り
２１ｄ，２２ｄ 絞り駆動部
２１ｅ，２２ｅ シャッタ
２１ｆ，２２ｆ シャッタ駆動部
２１ｇ，２２ｇ 撮像素子
２１ｈ，２２ｈ 信号処理部
２２ 第２撮像部
５１ 電源スイッチ
５２ レリーズスイッチ
５３ 切換スイッチ
５４ ズームスイッチ
５５ 逆３Ｄスイッチ
５６ 視差量調整スイッチ
５７ 変更スイッチ
８１ 画像データ記憶部
８２ プログラム記憶部
９１ 画像処理部
９２ 立体画像生成部
９３ 顔検出部
９４ 一致領域検出部
９５ 逆転表示判定部
９６ 表示制御部
９７ ヘッダ情報生成部
９８ 一致領域抽出部
９９ 画像合成部
【技術分野】
【０００１】
本発明は、被写体を撮像することによって互いに対応する画素点が視差を有する２つの画像データを用いて３次元画像を表示する撮像装置および撮像プログラムに関する。
【背景技術】
【０００２】
近年、同一の被写体に対してデジタルステレオカメラを用いて撮影することによって複数の画像データを取得し、この取得した複数の画像データに含まれる被写体の視差を利用することにより、ユーザが立体的に見ることができる３次元画像（以下、「３Ｄ画像」という）を表示することができる撮像装置が知られている。
【０００３】
このような撮像装置において、３Ｄ画像の奥行き感や飛び出し感を調整することができる技術が知られている（特許文献１参照）。この技術では、ユーザがデジタルステレオカメラも輻輳角または基線長を手動で調整して被写体を撮影することにより、所望の奥行き感や飛び出し感を有する３Ｄ画像を撮影する。
【０００４】
また、従来からトリックアートやだまし絵では、遠近感を調整する遠近法などの絵画的テクニックを利用し、鑑賞者に対して２次元画像（以下、「２Ｄ画像」という）をあたかも３Ｄ画像に見せることで、現実と異なる画像表現を可能にしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３１２０５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の撮像装置では、３Ｄ画像全体の飛び出し感や奥行き感の調整しか想定されていないため、３Ｄ画像に含まれる被写体の遠近感を変更することができなかった。このため、トリックアートのように撮影時における被写体の遠近感を現実と異なる状態で仮想的に視認させることができる３Ｄ画像の撮影技術が求められていた。
【０００７】
本発明は、上記に鑑みてなされたものであって、撮影時における被写体が現実と異なる遠近感を有する３Ｄ画像を撮影することができる撮像装置および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被写体を撮像することによって互いに視差を有する２つの画像データを生成する撮像部と、前記撮像部が生成する前記２つの画像データそれぞれに対応する２つの画像を用いて３次元画像を表示する表示部と、前記２つの画像を重畳した際に、該２つの画像内において一致する一致領域を検出する一致領域検出部と、前記一致領域検出部の検出結果に応じて、前記３次元画像を前記表示部の表示画面と直交する方向へ仮想的に飛び出した状態から前記表示部の表示画面を基準として仮想的に引っ込んだ状態に逆転させて前記表示部に表示させる逆転表示が可能であるか否かを判定する逆転表示判定部と、を備えたことを特徴とする。
【０００９】
また、本発明にかかる撮像装置は、上記発明において、前記一致領域検出部は、当該撮像装置から距離が異なる前記一致領域を検出し、前記逆転表示判定部は、前記一致領域検出部が前記一致領域を２つ以上検出した場合、前記逆転表示が可能であると判定することを特徴とする。
【００１０】
また、本発明にかかる撮像装置は、上記発明において、前記３次元画像に含まれる人物の顔を検出する顔検出部をさらに備え、前記逆転表示判定部は、前記顔検出部が複数の顔を検出した場合、前記逆転表示が不可能であると判定する一方、前記顔検出部が一つの顔を検出した場合、前記逆転表示が可能であると判定することを特徴とする。
【００１１】
また、本発明にかかる撮像装置は、上記発明において、前記２つの画像を前記表示画面における水平方向の１画素毎に交互に並べて前記表示部に表示させることによって前記３次元画像を前記表示部に表示させる表示制御部をさらに備え、前記表示制御部は、前記逆転表示判定部によって前記逆転表示が可能と判定された場合、前記表示画面における前記２つの画像の画素の位置を逆に並び換えて前記表示部に表示させることを特徴とする。
【００１２】
また、本発明にかかる撮像装置は、上記発明において、前記逆転表示判定部によって前記逆転表示が不可能と判定された場合、前記逆転表示が不可能であることを示す情報を出力する出力部をさらに備えたことを特徴とする。
【００１３】
また、本発明にかかる撮像装置は、上記発明において、前記２つの画像の視差を調整する指示信号の入力を受け付ける視差調整部をさらに備え、前記表示制御部は、前記指示信号に応じて前記２つの画像の視差が調整された前記３次元画像を前記表示部に表示させることを特徴とする。
【００１４】
また、本発明にかかる撮像装置は、上記発明において、前記一致領域検出部が検出した一致領域を前記２つの画像それぞれから抽出する一致領域抽出部と、前記一致領域抽出部が抽出した一致領域に対応する２つの一致領域画像それぞれを、他の背景画像に合成して合成画像を生成する画像合成部と、をさらに備え、前記表示制御部は、前記合成画像を用いて前記３次元画像を前記表示部に表示させることを特徴とする。
【００１５】
また、本発明にかかる撮像プログラムは、被写体を撮像することによって互いに視差を有する２つの画像データを生成する撮像ステップと、前記撮像ステップが生成する前記２つの画像データそれぞれに対応する２つの画像を用いて３次元画像を表示する表示ステップと、前記２つの画像を重畳した際に、該２つの画像内において一致する一致領域を検出する一致領域検出ステップと、前記一致領域検出ステップの検出結果に応じて、前記３次元画像を前記表示部の表示画面と直交する方向へ仮想的に飛び出した状態から前記表示部の表示画面を基準として仮想的に引っ込んだ状態に逆転させて前記表示ステップで表示させる逆転表示が可能であるか否かを判定する逆転表示判定ステップと、を撮像装置に実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、一致領域検出部が撮像部によって生成された左目画像および右目画像を重畳した際に、左目画像および右目画像内において一致する一致領域を検出し、逆転表示判定部が一致領域検出部の検出結果に応じて、３Ｄ画像を表示部の表示画面と直交する方向へ仮想的に飛び出した飛び出し位置から表示部の表示画面を基準にして仮想的に引っ込んだ状態に逆転させて表示部に表示させる逆転表示が可能であるか否かを判定する。これにより、撮影時における被写体の遠近感を現実と異なる位置で仮想的に視認させる３Ｄ画像を撮影することができ、ユーザに対して仮想的に遠近感を変更した３Ｄ画像を視認させることができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の実施の形態１にかかる撮像装置の被写体に面する側の構成を示す図である。
【図２】図２は、本発明の実施の形態１にかかる撮像装置のユーザに面する側の構成を示す図である。
【図３】図３は、本発明の実施の形態１にかかる撮像装置の構成を示すブロック図である。
【図４】図４は、本発明の実施の形態１にかかる撮像装置が備える表示部の概略構成を示す模式図である。
【図５】図５は、本発明の実施の形態１にかかる撮像装置が備える撮像部が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。
【図６】図６は、図５に示す状況下で撮像部が生成する２つの画像データそれぞれに対応する２つの画像の一例を示す図である。
【図７】図７は、図５に示す状況下で立体画像生成部が生成した左目画像と右目画像とを仮想的に重ねた画像の一例を示す図である。
【図８】図８は、図５に示す状況下で撮像部と被写体との撮影距離との関係を示す図である。
【図９】図９は、ユーザが表示部の表示画面から仮想的に視認する３Ｄ画像の位置を説明する模式図である。
【図１０】図１０は、ユーザが表示部の表示画面から仮想的に視認する３Ｄ画像の位置を説明する模式図である。
【図１１】図１１は、ユーザが表示部の表示画面から仮想的に視認する３Ｄ画像の位置を説明する模式図である。
【図１２】図１２は、逆３Ｄ表示で遠近感の反転が難しい画像の一例を示す図である。
【図１３】図１３は、逆３Ｄ表示で遠近感の反転が難しい画像の一例を示す図である。
【図１４】図１４は、逆３Ｄ表示で遠近感の反転が難しい画像の一例を示す図である。
【図１５】図１５は、逆３Ｄ表示で遠近感の反転が容易な画像の一例を示す図である。
【図１６】図１６は、本発明の実施の形態１にかかる撮像装置が行う処理の概要を示すフローチャートである。
【図１７】図１７は、ユーザが仮想的に視認する通常の３Ｄ画像と逆３Ｄ表示の３Ｄ画像の模式図である。
【図１８】図１８は、図１６に示す逆転表示判定処理の概要を示すフローチャートである。
【図１９】図１９は、図１５に示す画像を撮影した状況で撮像部が生成する左目画像および右目画像それぞれの一例を示す図である。
【図２０】図２０は、図１９に示した左目画像と右目画像とを仮想的に重畳した重畳画像の一例を示す図である。
【図２１】図２１は、図１２に示す画像を撮影した状況で撮像部が生成する左目画像および右目画像それぞれの一例を示す図である。
【図２２】図２２は、図２１に示した左目画像および右目画像を仮想的に重畳した重畳画像の一例を示す図である。
【図２３】図２３は、本発明の実施の形態２にかかる撮像装置の構成を示すブロック図である。
【図２４】図２４は、本発明の実施の形態２にかかる撮像装置の動作の概要を示すフローチャートである。
【図２５】図２５は、本発明の実施の形態２にかかる撮像装置が備える表示部が表示する画像の一例を示す図である。
【図２６】図２６は、本発明の実施の形態２にかかる撮像装置が備える表示部が表示する画像の一例を示す図である。
【図２７】図２７は、本発明のその他の実施の形態にかかる撮像装置が備える表示部が逆３Ｄ表示で３Ｄ画像を表示する状態を説明する模式図である。
【発明を実施するための形態】
【００１８】
以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付している。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１にかかる撮像装置の被写体に面する側（前面側）の構成を示す図である。図２は、本発明の実施の形態１にかかる撮像装置のユーザに面する側（背面側）の構成を示す図である。図３は、本発明の実施の形態１にかかる撮像装置の構成を示すブロック図である。なお、本実施の形態１においては、撮像装置としてデジタルステレオカメラを例に挙げて説明する。
【００２０】
図１〜図３に示すように、撮像装置１は、撮像部２と、姿勢検出部３と、タイマー４と、操作入力部５と、表示部６と、タッチパネル７と、記憶部８と、制御部９と、を備える。
【００２１】
撮像部２は、異なる位置から撮像し、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する。撮像部２は、互いに異なる光学系を有する第１撮像部２１および第２撮像部２２を備える。第１撮像部２１および第２撮像部２２は、互いの光軸Ｌ１，Ｌ２が平行または所定の角度をなすように同一平面上で並設される。
【００２２】
第１撮像部２１は、レンズ部２１ａと、レンズ駆動部２１ｂと、絞り２１ｃと、絞り駆動部２１ｄと、シャッタ２１ｅと、シャッタ駆動部２１ｆと、撮像素子２１ｇと、信号処理部２１ｈと、を有する。
【００２３】
レンズ部２１ａは、フォーカスレンズやズームレンズ等の複数のレンズによって構成され、所定の視野領域から光を集光する。レンズ駆動部２１ｂは、ＤＣモータ等を用いて構成され、レンズ部２１ａのレンズを光軸Ｌ１上に沿って移動させることにより、レンズ部２１ａのピント位置や焦点距離等の変更を行う。
【００２４】
絞り２１ｃは、レンズ部２１ａが集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部２１ｄは、ステッピングモータ等によって構成され、絞り２１ｃを駆動する。
【００２５】
シャッタ２１ｅは、撮像素子２１ｇの状態を露光状態または遮光状態に設定する。シャッタ駆動部２１ｆは、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッタ２１ｅを駆動する。
【００２６】
撮像素子２１ｇは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等によって実現される。撮像素子２１ｇは、レンズ部２１ａが集光した光を受光して光電変換を行うことによって、光を電気信号（アナログ信号）に変換し、この変換した電気信号を信号処理部２１ｈに出力する。
【００２７】
信号処理部２１ｈは、撮像素子２１ｇから出力される電気信号に増幅等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データに変換して制御部９に出力する。
【００２８】
第２撮像部２２は、第１撮像部２１と同様の構成によって実現され、レンズ部２２ａと、レンズ駆動部２２ｂと、絞り２２ｃと、絞り駆動部２２ｄと、シャッタ２２ｅと、シャッタ駆動部２２ｆと、撮像素子２２ｇと、信号処理部２２ｈと、を有する。
【００２９】
姿勢検出部３は、加速度センサを用いて構成される。姿勢検出部３は、撮像装置１の加速度を検出することにより、撮像装置１の姿勢状態を検出する。具体的には、姿勢検出部３は、水平面を基準としたときの撮像装置１の姿勢を検出する。
【００３０】
タイマー４は、計時機能や撮影日時の判定機能を有する。タイマー４は、撮像された画像データに日時データを付加させるため、制御部９に日時データを出力する。
【００３１】
操作入力部５は、撮像装置１の電源状態をオン状態またはオフ状態に切換える電源スイッチ５１と、静止画撮影の指示を与えるレリーズ信号の入力を受け付けるレリーズスイッチ５２と、撮像装置１の各種撮影モードを切換える切換スイッチ５３と、撮像部２のズーム操作を行うズームスイッチ５４と、撮像した３Ｄ画像の遠近感を変更する逆３Ｄ画像を表示部６に表示させる逆３Ｄスイッチ５５と、３Ｄ画像の視差量を調整する視差量調整スイッチ５６と、撮像装置１の各種設定を変更する変更スイッチ５７と、を有する。
【００３２】
図４は、表示部６の概略構成を示す模式図である。図４に示すように、表示部６は、バックライト６１と、表示パネル６２と、視差バリア６３と、を有する。バックライト６１は、ＬＥＤ（Light Emitting Diode）等によって構成され、画像を表示するための光を背面から照射する。表示パネル６２は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネルによって構成される。視差バリア６３は、液晶等によって構成され、表示パネル６２の上面に積層されてなる。視差バリア６３は、表示パネル６２の各画素の間隔よりも狭い間隔でスリットが設けられ、ユーザの右目ＥＲと左目ＥＬとにそれぞれ対応した画像を分離する。このような視差バリア６３として、例えばパララックバリア方式が適用される。なお、視差バリア６３の代わりに、レンティキュラレンズを積層したレンズシートを表示パネル６２の上面に設けてもよい。
【００３３】
以上の構成を有する表示部６は、制御部９から３Ｄ画像データが入力された場合、制御部９の制御のもとで表示パネル６２が左端の画素から水平方向に左目画像と右目画像とを交互に表示し、視差バリア６３が表示パネル６２の各画素から出た光を分離する。このため、左目画像が左目ＥＬのみに、右目画像が右目ＥＲのみにそれぞれ届く。これにより、ユーザは、表示部６が表示する３Ｄ画像を立体視することができる。また、表示部６が表示態様を３Ｄ画像から２Ｄ画像に切り換える際には、視差バリア６３に印加される電圧がオン状態からオフ状態に変化することによって視差バリア６３が遮光状態から透過状態に遷移し、左目画像または右目画像のどちらか一方が表示パネル６２に出力される。
【００３４】
タッチパネル７は、表示部６の表示画面上に重ねて設けられる（図２を参照）。タッチパネル７は、ユーザが表示部６で表示される状態に基づいて接触（タッチ）した位置を検出し、この検出した位置に応じた操作信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学方式等がある。本実施の形態１では、いずれの方式のタッチパネルであっても適用可能である。
【００３５】
記憶部８は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。記憶部８は、撮像部２が撮影した画像データを記憶する画像データ記憶部８１と、撮像装置１が実行する各種プログラムや撮像プログラムを記憶するプログラム記憶部８２と、を有する。なお、記憶部８に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。
【００３６】
制御部９は、ＣＰＵ（Central Processing Unit）等によって実現される。制御部９は、操作入力部５およびタッチパネル７からの操作信号等に応じて記憶部８のプログラム記憶部８２からプログラムを読み出して実行し、撮像装置１を構成する各部に対して制御信号を送信したりデータを転送したりすることにより、撮像装置１の動作を制御する。
【００３７】
制御部９の詳細な構成を説明する。制御部９は、画像処理部９１と、立体画像生成部９２と、顔検出部９３と、一致領域検出部９４と、逆転表示判定部９５と、表示制御部９６と、ヘッダ情報生成部９７と、を有する。
【００３８】
画像処理部９１は、信号処理部２１ｈ，２２ｈからそれぞれ出力された左目画像データおよび右目画像データに対して各種の画像処理を施す。具体的には、画像処理部９１は、信号処理部２１ｈ，２２ｈからそれぞれ出力された左目画像データおよび右目画像データに対して、エッジ強調、色補正およびγ補正等の処理を施す。なお、画像処理部９１は、画像データを所定の方式（たとえばＪＰＥＧ方式やＭＰＥＧ−ＭＶＣ方式等）で圧縮する圧縮処理を行ってもよい。
【００３９】
立体画像生成部９２は、画像処理部９１によって画像処理された左目画像データおよび右目画像データを所定の縦横比（たとえば、アスペクト比３：４）でそれぞれ切り出すことによって３Ｄ画像を生成する。なお、立体画像生成部９２が左目画像データおよび右目画像データからそれぞれ切り出す縦横比を変更スイッチ５７で変更できるようにしてもよい。
【００４０】
顔検出部９３は、左目画像データまたは右目画像データに含まれる人物の顔をパターンマッチングによって検出する。なお、顔検出部９３は、人物の顔だけでなく、犬や猫等の顔を検出してもよい。さらに、顔検出部９３は、パターンマッチング以外の周知技術を用いて人物の顔を検出してもよい。
【００４１】
一致領域検出部９４は、左目画像データおよび右目画像データそれぞれに対応する左目画像および右目画像を重畳した際に、左目画像および右目画像において一致する一致領域を検出する。一致領域検出部９４は、撮像装置１から距離が異なる一致領域を検出する。具体的には、一致領域検出部９４は、撮影を行う際に撮像装置１から距離が異なる被写体を、左目画像および右目画像において一致する一致領域として少なくとも２つ以上検出する。
【００４２】
逆転表示判定部９５は、一致領域検出部９４の検出結果に応じて、３Ｄ画像を表示部６の表示画面と直交する方向へ仮想的に飛び出した位置から表示部６の表示画面を基準に引っ込んだ位置に逆転させて表示部６に表示させる逆転表示（以下、「逆３Ｄ表示」という）が可能であるか否かを判定する。逆転表示判定部９５は、一致領域検出部９４が一致領域を少なくとも２つ以上検出した場合、逆３Ｄ表示が可能であると判定する。さらに、逆転表示判定部９５は、顔検出部９３が複数の顔を検出した場合、逆３Ｄ表示が不可能であると判定する一方、顔検出部９３が一つの顔を検出した場合、逆３Ｄ表示が可能であると判定する。
【００４３】
表示制御部９６は、３Ｄ画像および／または２Ｄ画像を表示部６に表示させる制御を行う。具体的には、表示制御部９６は、表示部６に３Ｄ画像を表示させる場合、立体画像生成部９２によって生成された３Ｄ画像の左目画像と右目画像とをそれぞれ短冊状に分割し、この分割した画像を表示部６の表示画面における水平方向の１画素毎に交互に並べて３Ｄ画像を表示部６に表示させる制御を行う。これに対して、表示制御部９６は、表示部６に２Ｄ画像を表示させる場合、表示部６の視差バリア６３のスリットを遮光状態から透過状態にするため、視差バリア６３に印加する電源をオン状態からオフ状態にするとともに、左目画像または右目画像どちらか一方のみを表示パネル６２に表示させる制御を行う。
【００４４】
また、表示制御部９６は、逆転表示判定部９５によって逆３Ｄ表示が可能と判定された場合、表示部６の表示画面における左目画像および右目画像それぞれの画素の位置を逆に並び換えて表示部６に表示させる制御を行う。さらに、表示制御部９６は、視差量調整スイッチ５６から入力される指示信号に応じて、表示部６が表示する３Ｄ画像の視差量を調整する。具体的には、表示制御部９６は、視差量調整スイッチ５６から入力される指示信号に応じて、左目画像および右目画像の重なり具合を調整することにより左目画像および右目画像の視差量を調整することで、３Ｄ画像の飛び出し量を調整する。さらにまた、本実施の形態１においては、表示制御部９６が逆転表示判定部９５によって逆３Ｄ表示が不可能であると判定された場合、逆３Ｄ表示が不可能であることを示す情報を出力する出力部として機能する。
【００４５】
ヘッダ情報生成部９７は、３Ｄ画像の視差量をヘッダ情報として生成し、このヘッダ情報を撮像部２が生成する画像データに対応付けて画像データ記憶部８１に記憶させる。
【００４６】
以上の構成を有する撮像装置１において、音声入出力機能、フラッシュ機能およびインターネットを介して外部のパーソナルコンピュータ（図示せず）と双方向に通信を行う通信機能等を具備させてもよい。
【００４７】
つぎに、撮像部２が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況について説明する。図５は、撮像部２が、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。
【００４８】
図５に示すように、撮像部２は、撮像部２からの距離が異なる被写体Ａ１（距離ｄ１）および被写体Ａ２（距離ｄ２）に対して、距離Ｂ１だけ離れて並設された第１撮像部２１および第２撮像部２２で撮像することにより、左目画像データおよび右目画像データを生成する。
【００４９】
続いて、立体画像生成部９２は、第１撮像部２１および第２撮像部２２によって生成された左目画像データおよび右目画像データそれぞれを所定の縦横比率で切り出すことによって左目画像１００Ｌおよび右目画像１００Ｒを生成する。図６は、図５に示す状況下で撮像部２が生成する２つの画像データそれぞれに対応する２つの画像の一例を示す図である。図６において、左目画像１００Ｌは、立体画像生成部９２が第２撮像部２２によって生成された左目画像データに対応する画像から切り出して生成した画像である。また、図６において、右目画像１００Ｒは、立体画像生成部９２が第１撮像部２１によって生成された右目画像データに対応する画像から切り出して生成した画像である。図７は、図５に示す状況下で立体画像生成部９２が生成した左目画像１００Ｌと右目画像１００Ｒとを仮想的に重ねた画像（１００ＬＲ）の一例を示す図である。なお、図６および図７に示す破線および一点鎖線は、第１撮像部２１および第２撮像部２２がそれぞれ生成する画像データに対応する画像領域を示す。
【００５０】
図８は、図５に示す状況下で撮像部２と被写体との撮影距離との関係を示す図である。図８では、横軸が左端を原点としたときの画像１００ＬＲ内の横方向の被写体位置であり、縦軸が撮像部２と被写体との距離である。
【００５１】
図８に示すように、撮像部２と被写体Ａ２との距離は、撮像部２と被写体Ａ１との距離より大きい。このため、被写体Ａ２の領域がほぼ重なる。具体的には、図７に示すように、画像１００ＬＲ内では、被写体Ａ２の領域がほぼ重なる。一方、被写体Ａ１の領域は重ならない（対応画素の視差Ｐ１）。このように、左目画像１００Ｌと右目画像１００Ｒでは、撮像部２からの距離が近い被写体（被写体Ａ１）ほど画像内での対応画素点の視差が大きく、撮像部２からの距離が遠い被写体（被写体Ａ２）ほど対応画素点の視差が小さい。
【００５２】
ここで、図９〜図１１を参照して、ユーザが表示部６の表示画面から仮想的に視認する３Ｄ画像の位置について説明する。図９〜図１１は、ユーザが表示部６の表示画面から仮想的に視認する３Ｄ画像の位置を説明する模式図である。図９〜図１１においては、左目画像および右目画像の対応画素点の視差をΔｘ、ユーザが表示部６の表示画面から仮想的に視認する３Ｄ画像の位置をΔｚとする。また、図９〜図１１において、左目ＥＬと右目ＥＲは同一のユーザのものである。さらに、矢印ａ１が左目ＥＬに入り込む左目画像における画素の光を示し、矢印ａ２が右目ＥＲに入り込む右目画像における画素の光を示す。
【００５３】
図９に示すように、左目ＥＬおよび右目ＥＲそれぞれに入る左目画像および右目画像の対応画素点が同じ位置（視差Δｘ＝０）で表示されている場合、ユーザが仮想的に視認する３Ｄ画像の位置が表示部６の表示画面上（位置Δｚ＝０）になる。
【００５４】
また、図１０に示すように、左目ＥＬおよび右目ＥＲそれぞれに入る左目画像および右目画像の対応画素点が図９に示す位置から別の位置（視差Δｘ＝Δｘ１）で表示されている場合、ユーザが仮想的に視認する３Ｄ画像の位置が表示部６の表示画面から直交する方向に飛び出した位置（位置Δｚ＝Δｚ１）になる。
【００５５】
これに対して、図１１に示すように、左目ＥＬおよび右目ＥＲそれぞれに入る左目画像および右目画像の対応画素点を、図９の位置から逆に配置（視差Δｘ＝Δｘ２）して表示させた場合、ユーザが仮想的に視認する３Ｄ画像の位置が表示部６の表示画面から直交する方向に引っ込んだ位置（位置Δｚ＝Δｚ２）になる。
【００５６】
このように、左目ＥＬおよび右目ＥＲそれぞれに入る左目画像および右目画像の対応画素点の表示位置を変更する操作を行うことで、ユーザが視認する３Ｄ画像の位置を表示部６の表示画面から直交する方向に飛び出させたり、引っ込ませたりすることができる。これにより、ユーザに対して逆３Ｄ表示を行うことで、３Ｄ画像の遠近感を反転させることができる。
【００５７】
つぎに、図１２〜図１５を参照して、逆３Ｄ表示で遠近感を反転させることが難しい画像について詳細に説明する。図１２〜図１４は、逆３Ｄ表示で遠近感の反転が難しい画像の一例を示す図である。図１５は、逆３Ｄ表示で遠近感の反転が容易な画像の一例を示す図である。なお、図１２、図１３および図１５において、被写体Ａ３は、撮影時における撮像装置１からの距離が被写体Ａ４よりも近く、かつ大きさが被写体Ａ４と同じ大きさである。
【００５８】
図１２に示すように、透視図のように消失点Ｖ１（Vanishing Point）が存在し、現実では平行である直線Ｋ１，Ｋ２が画像２００内の消失点Ｖ１に向けて延びる場合、ユーザが直線Ｋ１，Ｋ２に基づいて、被写体Ａ３および被写体Ａ４の遠近関係を容易に把握することができる。このため、ユーザに対して逆３Ｄ表示で３Ｄ画像の遠近感を反転させることが難しい。
【００５９】
さらに、図１３に示すように、被写体Ａ３および被写体Ａ４が画像３００内において重なっている場合、ユーザが被写体Ａ３および被写体Ａ４の重なり具合から遠近関係を把握することができる。このため、図１２と同様に、ユーザに対して逆３Ｄ表示で３Ｄ画像の遠近感を反転させることが難しい。
【００６０】
また、図１４に示すように、画像４００内の被写体Ａ５および被写体Ａ６が人物の場合、ユーザが被写体Ａ５および被写体Ａ６の大きさに基づいて遠近関係を容易に把握することができる。このため、ユーザに対して逆３Ｄ表示で３Ｄ画像の遠近感を反転させることが難しい。
【００６１】
これに対して、図１５に示すように、被写体Ａ３および被写体Ａ４それぞれが画像５００内において離れた位置にあり、被写体Ａ３および被写体Ａ４の遠近感を推測できるような情報が画像５００内に含まれない場合、ユーザが被写体Ａ３および被写体Ａ４の遠近間係を把握することが難しい。このため、逆３Ｄ表示で３Ｄ画像の遠近感を反転させることができる。
【００６２】
つぎに、本発明の実施の形態１にかかる撮像装置１が行う処理について説明する。図１６は、撮像装置１が行う処理の概要を示すフローチャートである。なお、本実施の形態１にかかる撮像装置１は、複数の撮影モードや画像データを再生する再生モードを設定することができる。以下においては、複数の撮影モードのうち逆３Ｄ撮影モードに設定された場合のみを説明する。
【００６３】
図１６に示すように、まず、制御部９は、撮影部２が生成した左目画像データおよび右目画像データを取得する（ステップＳ１０１）。
【００６４】
その後、逆転表示判定部９５は、３Ｄ画像を逆３Ｄ表示で表示部６に表示させることが可能であるか否かを判定する逆転表示判定処理を実行する（ステップＳ１０２）。
【００６５】
続いて、逆転表示判定部９５によって３Ｄ画像を逆３Ｄ表示で表示部６に表示させることが可能と判定された場合（ステップＳ１０３：Ｙｅｓ）において、逆３Ｄスイッチ５５が操作されてライブビュー画像を逆３Ｄ表示で確認する確認設定があるとき（ステップＳ１０４：Ｙｅｓ）、表示制御部９６は、ライブビュー画像を逆３Ｄ表示で表示部６に表示させる（ステップＳ１０５）。具体的には、表示制御部９６は、表示パネル６２の左端の画素から横方向に沿って左目画像と右目画像の順で交互に表示させることに換えて、表示パネルの左端の画素から横方向に沿って右目画像と左目画像との順で交互に表示させる（図４を参照）。
【００６６】
図１７は、ユーザが仮想的に視認する通常の３Ｄ画像と逆３Ｄ表示の３Ｄ画像の模式図である。図１７に示すように、表示制御部９６は、左目画像および右目画像それぞれの表示位置を逆にすることで、表示部６の表示画面と直交する方向に飛び出した状態の被写体Ａ３（ｄ１）および被写体Ａ４（ｄ２）（図１７（ａ））を、表示部６の表示画面を基準として逆転して引っ込んだ状態（図１７（ｂ））に表示させることができる。これにより、ユーザは、被写体Ａ３と被写体Ａ４との仮想的な遠近感の関係が逆になった３Ｄ画像を視認することができる。
【００６７】
ステップＳ１０６において、視差量調整スイッチ５６が操作されることにより３Ｄ画像の飛び出し位置または引っ込み位置を調整する視差調整があった場合（ステップＳ１０６：Ｙｅｓ）、表示制御部９６は、視差量調整スイッチ５６から出力される指示信号に応じて３Ｄ画像の視差量を変更する（ステップＳ１０７）。これにより、ユーザは、所望の立体感を有する３Ｄ画像を仮想的に視認することができる。
【００６８】
ステップＳ１０８において、レリーズ信号が入力された場合（ステップＳ１０８：Ｙｅｓ）、制御部９は、ヘッダ情報生成部９７がその時点でヘッダ情報として生成した３Ｄ画像の視差量を、撮影部２から取得した最新の３Ｄ画像データに対応付けて画像データ記憶部８１に記録させる（ステップＳ１０９）。
【００６９】
その後、表示制御部９６は、撮影した３Ｄ画像データに対応する３Ｄ画像を通常または逆３Ｄ表示で表示部６に所定時間（たとえば２秒〜３秒程度）レックビュー表示させる（ステップＳ１１０）、撮像装置１の一連の処理を終了する。
【００７０】
ステップＳ１０８において、レリーズ信号が入力されていない場合（ステップＳ１０８：Ｎｏ）、撮像装置１はステップＳ１０１へ戻る。
【００７１】
ステップＳ１０６において、視差量調整スイッチ５６が操作されることにより３Ｄ画像の飛び出し位置または引っ込み位置を調整する視差調整がない場合（ステップＳ１０６：Ｎｏ）、撮像装置１はステップＳ１０８へ移行する。
【００７２】
ステップＳ１０４において、逆３Ｄスイッチ５５が操作されてライブビュー画像を逆３Ｄ表示で確認する確認設定がない場合（ステップＳ１０４：Ｎｏ）、表示制御部９６は、ライブビュー画像を通常の３Ｄ表示（図１７（ａ）を参照）で表示部６に表示させ（ステップＳ１１１）、撮像装置１はステップＳ１０６へ移行する。
【００７３】
ステップＳ１０３において、逆転表示判定部９５によって３Ｄ画像を逆３Ｄ表示で表示部６に表示させることが可能でないと判定された場合（ステップＳ１０３：Ｎｏ）について説明する。この場合、表示制御部９６は、ライブビュー画像を通常の３Ｄ表示で表示部６に表示させ（ステップＳ１１２）、ライブビュー画像上に逆３Ｄ表示が不可能であることを示す情報として注記、たとえば「背景を無地にして下さい。」等の文字情報を重畳して表示部６に表示させる（ステップＳ１１３）。その後、撮像装置１はステップＳ１０８へ移行する。これにより、ユーザは、逆３Ｄ撮影を行うことができないことを把握することができる。なお、表示制御部９６は、逆３Ｄ表示が不可能であることを示す情報として音や光等を表示部６またはスピーカ（図示せず）等に出力させてもよい。
【００７４】
つぎに、図１６に示したステップＳ１０２の逆転表示判定処理について説明する。図１８は、図１６に示す逆転表示判定処理の概要を示すフローチャートである。
【００７５】
図１８に示すように、まず、一致領域検出部９４は、左目画像および右目画像を重畳して一致領域を検出する（ステップＳ２０１）。
【００７６】
その後、逆転表示判定部９５は、重畳画像における左側領域の全域で左目画像および右目画像がほぼ一致し（ステップＳ２０２：Ｙｅｓ）、重畳画像における右側領域で一致しない領域がある場合（ステップＳ２０３：Ｙｅｓ）、顔検出部９３が左目画像または右目画像から複数の顔を検出したか否かを判定する（ステップＳ２０４）。顔検出部９３が複数の顔を検出していない場合（ステップＳ２０４：Ｎｏ）、逆転表示判定部９５は、表示部６に対して３Ｄ画像を逆３Ｄ表示で表示可能と判定し（ステップＳ２０５）、撮像装置１は図１６に示したメインルーチンに戻る。一方、顔検出部９３が複数の顔を検出した場合（ステップＳ２０４：Ｙｅｓ）、逆転表示判定部９５は、表示部６に対して３Ｄ画像を逆３Ｄ表示で表示不可能と判定し（ステップＳ２０６）、撮像装置１は図１６に示したメインルーチンに戻る。
【００７７】
図１９は、図１５に示す画像５００を撮影した状況で撮像部２が生成する左目画像５００Ｌと右目画像５００Ｒそれぞれの一例を示す図である。図２０は、図１９に示した左目画像５００Ｌと右目画像Ｒとを仮想的に重畳した重畳画像（５００ＬＲ）の一例を示す図である。図１９および図２０に示すように、一致領域検出部９４は、左目画像５００Ｌおよび右目画像５００Ｒを重畳しながら、重畳画像５００ＬＲの全体で左目画像５００Ｌおよび右目画像５００Ｒの対応画素点の差が最小になる位置を検出する。この場合、一致領域検出部９４は、左目画像５００Ｌおよび右目画像５００Ｒの被写体Ａ３が重なる位置を重畳画像５００ＬＲの全体で左目画像５００Ｌおよび右目画像５００Ｒの対応画素点の差が最小になる位置として検出する。
【００７８】
その後、逆転表示判定部９５は、一致領域検出部９４が検出した被写体Ａ３が重なる位置で重畳画像５００ＬＲの領域を略中央から左側領域ＢＬ１と右側領域ＢＲ１とにそれぞれ分割する。続いて、逆転表示判定部９５は、左側領域ＢＬ１の全域で左目画像５００Ｌおよび右目画像５００Ｒがほぼ一致し、右側領域ＢＲ１内の一部で左目画像５００Ｌおよび右目画像５００Ｒが一致しない領域がある場合、逆３Ｄ表示で３Ｄ画像を表示部６に表示させることにより、ユーザに対して遠近感を反転させて仮想的に視認させることが可能であると判定する。
【００７９】
ステップＳ２０３において、重畳画像における右側領域で一致しない領域がない場合（ステップＳ２０３：Ｎｏ）、撮像装置１はステップＳ２０６へ移行する。
【００８０】
ステップＳ２０２において、重畳画像における左側領域の全域で左目画像および右目画像が一致しない場合（ステップＳ２０２：Ｎｏ）について説明する。この場合、逆転表示判定部９５は、重畳画像における右側領域で一致しない領域があるか否かを判定する（ステップＳ２０７）。重畳画像における右側領域の全域で一致しない領域がある場合（ステップＳ２０７：Ｙｅｓ）、撮像装置１はステップＳ２０４へ移行する。一方、重畳画像における右側領域の全域で一致しない領域がない場合（ステップＳ２０７：Ｎｏ）、撮像装置１はステップＳ２０６へ移行する。
【００８１】
図２１は、図１２に示す画像２００を撮影した状況で撮像部２が生成する左目画像２００Ｌおよび右目画像２００Ｒそれぞれの一例を示す図である。図２２は、図２１に示した左目画像２００Ｌと右目画像２００Ｒとを仮想的に重畳した重畳画像（２００ＬＲ）の一例を示す図である。
【００８２】
図２１および図２２に示すように、逆転表示判定部９５は、左側領域ＢＬ２内の一部で左目画像２００Ｌと右目画像２００Ｒの対応画素が一致せず、右側領域ＢＲ１内の一部で左目画像５００Ｌと右目画像５００Ｒの対応画素点も一致しない場合、逆３Ｄ表示で３Ｄ画像を表示部６に表示させても、ユーザに対して遠近感を反転させて仮想的に視認させることが不可能であると判定する。なお、逆転表示判定部９５は、左目画像および右目画像を重畳した際の一致度に対して閾値を設け、この閾値を超えた場合、逆３Ｄ表示で３Ｄ画像を表示部させることにより、ユーザに対して遠近感を反転させて仮想的に視認させることができるか否かを判定してもよい。さらに、逆転表示判定部９５は、３Ｄ画像の視差量に応じて、逆３Ｄ表示で３Ｄ画像を表示させることができるか否かを判定してもよい。
【００８３】
以上説明した本実施の形態１によれば、一致領域検出部９４が撮像部２によって生成された左目画像および右目画像を重畳した際に、左目画像および右目画像内において一致する一致領域を検出し、逆転表示判定部９５が一致領域検出部９４の検出結果に応じて、３Ｄ画像を表示部６の表示画面と直交する方向へ仮想的に飛び出した飛び出し状態から表示部６の表示画面を基準にして仮想的に引き込んだ状態に逆転して表示部６に表示させることができるか否かを判定する。これにより、撮影時における被写体の遠近感を現実と異なる位置で仮想的に視認させる３Ｄ画像を撮影することができ、ユーザに対して仮想的に遠近感を変更した３Ｄ画像を視認させることができる。
【００８４】
さらに、本実施の形態１によれば、表示制御部９６が逆転表示判定部９５によって逆３Ｄ表示が可能であると判定された場合、表示部６で表示される左目画像および右目画像を逆にして表示部６に表示させる。この結果、ユーザは、３Ｄ画像に含まれる被写体の遠近感の関係が仮想的に逆になった３Ｄ画像を視認することができる。
【００８５】
（実施の形態２）
つぎに、本実施の形態２について説明する。上述した実施の形態１では、撮像部２が微小な時間間隔で連続的に生成する複数の画像（ライブビュー画像）に対して逆転表示判定処理を行っていたが、本実施の形態２では、表示部６がレックビュー表示する画像のみ逆転表示判定処理を行う。なお、本発明に実施の形態２にかかる撮像装置１０は、上述した実施の形態１にかかる撮像装置１と同様の構成を有し、制御部９０の構成および撮像装置１０の動作の処理が異なる。このため、以下においては、上述した実施の形態１と異なる構成を説明後、本実施の形態２にかかる撮像装置１０の動作の処理を説明する。また、図面の記載において、同一の部分には同一の符号を付している。
【００８６】
図２３は、本発明の実施の形態２にかかる撮像装置１０の構成を示すブロック図である。図２３に示すように、制御部９０は、画像処理部９１、立体画像生成部９２と、顔検出部９３と、一致領域検出部９４と、逆転表示判定部９５と、表示制御部９６と、ヘッダ情報生成部９７と、一致領域抽出部９８と、画像合成部９９と、を有する。
【００８７】
一致領域抽出部９８は、一致領域検出部９４が検出した一致領域を、左目画像および右目画像それぞれから抽出する。具体的には、一致領域抽出部９８は、一致領域検出部９４が検出した一致領域として左目画像および右目画像それぞれに含まれる被写体像を抽出する。
【００８８】
画像合成部９９は、一致領域抽出部９８が抽出した一致領域を示す画像を、別の背景画像に合成して合成画像を生成する。具体的には、画像合成部９９は、一致領域検出部９８が左目画像および右目画像それぞれから抽出した一致領域に対応する２つの一致領域画像それぞれを、画像データ記憶部８１が記憶する別の背景画像に合成して２つの合成画像を生成する。
【００８９】
図２４は、本実施の形態２にかかる撮像装置１０の動作の概要を示すフローチャートである。なお、本実施の形態２にかかる撮像装置１０は、複数の撮影モードや再生モードを設定することができる。以下においては、複数の撮影モードのうち逆３Ｄ撮影モードに設定された場合のみを説明する。
【００９０】
図２４に示すように、まず、表示制御部９６は、撮像部２が微小な時間間隔で連続的に生成する左目画像データおよび右目画像データそれぞれに対応する左目画像および右目画像を用いて３Ｄ画像のライブビュー画像を表示部６に表示させる（ステップＳ３０１）。
【００９１】
その後、制御部９０は、レリーズスイッチ５２が操作されることによりレリーズ信号が入力されたか否かを判断する（ステップＳ３０２）。レリーズ信号が入力されていない場合（ステップＳ３０２：Ｎｏ）、撮像装置１０はステップＳ３０１に戻る。一方、レリーズ信号が入力された場合（ステップＳ３０２：Ｙｅｓ）、撮像部２は、制御部９０の制御にもと、撮影を行う（ステップＳ３０３）。
【００９２】
続いて、制御部９０は、撮像部２が生成した左目画像データおよび右目画像データを画像データ記憶部８１に記録する（ステップＳ３０４）。
【００９３】
その後、逆転表示判定部９５は、上述した実施の形態１と同様の３Ｄ画像を逆３Ｄ表示で表示部６に表示させることができるか否かを判定する逆転表示判定処理（図１８を参照）を実行する（ステップＳ３０５）。
【００９４】
続いて、逆転表示判定部９５によって３Ｄ画像を逆３Ｄ表示で表示部６に表示させることが可能であると判定された場合（ステップＳ３０６：Ｙｅｓ）、一致領域抽出部９８は、被写体画像として一致領域検出部９４によって検出された一致領域を抽出する（ステップＳ３０７）。
【００９５】
その後、表示制御部９６は、一致領域抽出部９８によって抽出された一致領域に対応する被写体画像を選択することができる被写体選択画面を表示部６に表示させる（ステップＳ３０８）。具体的には、図２５に示すように、表示制御部９６は、被写体選択画面６００を表示部６に表示させる。さらに、表示制御部９６は、被写体選択画面６００上に選択終了アイコンＣ１、背景変更アイコンＣ２およびやり直しアイコンＣ３を重畳して表示部６に表示させる。選択終了アイコンＣ１は、被写体選択の終了を指示する指示信号の入力を受け付けるアイコンである。背景変更アイコンＣ２は、背景の変更を指示する指示信号の入力を受け付けるアイコンである。やり直しアイコンＣ３は、選択された被写体の選択の解除を指示するアイコンである。
【００９６】
続いて、ユーザが表示部６の被写体選択画面６００上で表示される被写体の領域内でタッチパネル７をタッチして被写体が選択された場合（ステップＳ３０９：Ｙｅｓ）、表示制御部９６は、選択された被写体の輪郭を強調して表示部６に表示させる（ステップＳ３１０）。具体的には、図２６に示すように、表示制御部９６は、選択された被写体Ａ７の輪郭を強調して表示部６に表示させる。これにより、ユーザは、選択した被写体を容易に把握することができる。
【００９７】
その後、選択終了アイコンＣ１が操作され（ステップＳ３１１：Ｙｅｓ）、背景変更アイコンＣ２が操作された場合（ステップＳ３１２：Ｙｅｓ）、画像合成部９９は、選択された被写体、たとえば被写体Ａ７に、画像データ記憶部８１が記憶する別の背景画像を合成して合成画像を生成する（ステップＳ３１３）。具体的には、画像合成部９９は、左目画像および右目画像の被写体Ａ７それぞれに別の背景画像を合成して２つの合成画像（左右）を生成する。
【００９８】
続いて、表示制御部９６は、逆３Ｄ表示で表示部６に３Ｄ画像をレックビュー表示させる（ステップＳ３１４）。たとえば、表示制御部９６は、画像合成部９９が生成した２つの合成画像を用いて３Ｄ画像を逆３Ｄ表示で表示部６にレックビュー表示させる。
【００９９】
その後、制御部９０は、表示部６に逆３Ｄ画像でレックビュー表示を行ってから所定時間（たとえば１０秒）経過したか否かを判断する（ステップＳ３１５）。所定時間経過していない場合（ステップＳ３１５：Ｎｏ）、この判断を続ける。一方、所定時間経過している場合（ステップＳ３１５：Ｙｅｓ）、制御部９０は、左目画像および右目画像の表示位置を入れ換えて画像データ記憶部８１に記録させ（ステップＳ３１６）、撮像装置１０は一連の処理を終了する。
【０１００】
ステップＳ３１１において、選択終了アイコンＣ１が操作されていない場合（ステップＳ３１１：Ｎｏ）について説明する。この場合において、やり直しアイコンＣ３が操作されたとき（ステップＳ３１７：Ｙｅｓ）、制御部９０は、ユーザによって選択された被写体を解除し（ステップＳ３１８）、撮像装置１０はステップＳ３０９へ戻る。一方、やり直しアイコンＣ３が操作されないとき（ステップＳ３１７：Ｎｏ）、撮像装置１０はステップＳ３０９へ戻る。
【０１０１】
ステップＳ３０９において、被写体が選択されていない場合（ステップＳ３０９：Ｎｏ）、制御部９は、被写体選択画面６００を表示部６に表示させてから所定時間（たとえば１０秒）経過したか否かを判断する（ステップＳ３１９）。所定時間経過していない場合（ステップＳ３１９：Ｎｏ）、撮像装置１０はステップＳ３０９へ戻る。一方、所定時間経過している場合（ステップＳ３１９：Ｙｅｓ）、撮像装置１０は一連の処理を終了する。
【０１０２】
ステップＳ３０６において、逆転表示判定部９５によって３Ｄ画像を逆３Ｄ表示で表示部６に表示させることが可能でないと判定された場合（ステップＳ３０６：Ｎｏ）について説明する。この場合、表示制御部９６は、表示部６に通常の３Ｄ画像でレックビュー表示させる（ステップＳ３２０）。
【０１０３】
その後、制御部９０は、表示部６が通常の３Ｄ画像でレックビュー表示を行ってから所定時間（たとえば５秒）経過したか否かを判断する（ステップＳ３２１）。所定時間経過していない場合（ステップＳ３２１：Ｎｏ）、この判断を繰り返す。一方、所定時間経過している場合（ステップＳ３２１：Ｙｅｓ）、撮像装置１０は一連の処理を終了する。
【０１０４】
以上説明した本実施の形態２によれば、逆転表示判定部９５が表示部６によってレックビュー表示される画像に対してのみ逆転表示判定処理を行うので、逆転表示判定処理にかかる処理時間を短縮することができる。この結果、撮影中に表示部６が表示するライブビュー画像の表示フレームレートや撮像部２が生成する撮像フレームレートを低下させることなく、上述した実施の形態１と同様の効果を奏する。
【０１０５】
また、本実施の形態２では、逆転表示判定部９５が３Ｄ画像を逆３Ｄ表示で表示部６に表示させることが可能であると判定した場合、表示制御部９６が表示部６における左目画像および右目画像の表示位置を瞬時に変更していたが、たとえば表示部６における左目画像および右目画像の表示位置を徐々に変更してもよい。これにより、ユーザは、遠近感を有する３Ｄ画像に対して、より錯覚して３Ｄ画像を視認することができる。
【０１０６】
（その他の実施の形態）
また、上述した実施の形態１，２では、被写体の遠近感を変更していたが、被写体の凹凸を変更することにより、よりトリックアートのようにユーザに対して仮想的に視認させることができる。具体的には、図２７に示すように、表示制御部９６は、表示部６に逆３Ｄ画像でレックビュー表示させた場合、被写体Ａ７が表示部６の表示画面と直交する方向へ引っ込んだ状態（凹んだ状態）で表示部６に表示される。しかしながら、ユーザは、ホローマスク錯視の原理により、被写体Ａ７が表示部６の表示画面と直交する方向へ飛び出した状態（凸状態）として仮想的に認識する。このように、ユーザに対してトリックアートのように、３Ｄ画像が凹んでいるにも関わらず、飛び出した状態で被写体Ａ７を仮想的に視認させることができる。さらに、表示制御部９６は、表示部６における左目画像および右目画像の表示位置を徐々に変更してもよい。これにより、ユーザは、凹凸のある３Ｄ画像に対して、より凹凸を錯覚して視認し、不思議な体験をすることができる。
【０１０７】
また、上述した実施の形態１，２では、表示制御部９６が３Ｄ画像を表示部６の表示画面と直交する方向へ仮想的に飛び出した状態から表示部６の表示画面を基準にして仮想的に引き込んだ状態に逆転して表示部６に表示させていたが、３Ｄ画像を表示部６の表示画面と直交する方向へ仮想的に引っ込んだ状態から表示部６の表示画面を基準にして仮想的に飛び出した状態に逆転して表示部６に表示させてもよい。これにより、ユーザに対して仮想的に遠近感を変更した３Ｄ画像を視認させることができる。
【０１０８】
また、上述した実施の形態１，２では、２つの撮像部がそれぞれ画像データを生成していたが、たとえば、一つの撮像部のみを有する構成とし、この撮像部が連続的に撮影することによって２つの画像データを生成するようにしてもよい。
【０１０９】
また、上述した実施の形態１，２では、逆転表示判定部９５が静止画撮影を行う場合のみ逆転表示判定処理を行っていたが、たとえば、撮像部２が微小な時間間隔で連続的に画像データを生成する動画撮影を行う場合にも逆転表示判定処理を行ってもよい。
【０１１０】
また、上述した実施の形態１，２では、撮像部２が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成していたが、たとえば、１つの撮像素子のみを有する構成とし、この１つの撮像素子の撮像領域内の別の領域に２つの光学系によって集光させることにより、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成するようにしてもよい。さらに、この場合、２つの光学系は、撮像装置１の装置本体部に対して着脱自在な構成にするようにしてもよい。
【０１１１】
また、上述した実施の形態１，２では、撮像装置としてデジタルステレオカメラを例に説明したが、たとえば、デジタルビデオカメラ、カメラ付き携帯電話、パーソナルコンピュータ、携帯型電子タブレットおよびデジタルフォトフレーム等の撮像機能を備えた各種電子機器に適用することができる。
【符号の説明】
【０１１２】
１，１０ 撮像装置
２ 撮像部
３ 姿勢検出部
４ タイマー
５ 操作入力部
６ 表示部
７ タッチパネル
８ 記憶部
９，９０ 制御部
２１ 第１撮像部
２１ａ，２２ａ レンズ部
２１ｂ，２２ｂ レンズ駆動部
２１ｃ，２２ｃ 絞り
２１ｄ，２２ｄ 絞り駆動部
２１ｅ，２２ｅ シャッタ
２１ｆ，２２ｆ シャッタ駆動部
２１ｇ，２２ｇ 撮像素子
２１ｈ，２２ｈ 信号処理部
２２ 第２撮像部
５１ 電源スイッチ
５２ レリーズスイッチ
５３ 切換スイッチ
５４ ズームスイッチ
５５ 逆３Ｄスイッチ
５６ 視差量調整スイッチ
５７ 変更スイッチ
８１ 画像データ記憶部
８２ プログラム記憶部
９１ 画像処理部
９２ 立体画像生成部
９３ 顔検出部
９４ 一致領域検出部
９５ 逆転表示判定部
９６ 表示制御部
９７ ヘッダ情報生成部
９８ 一致領域抽出部
９９ 画像合成部
【特許請求の範囲】
【請求項１】
被写体を撮像することによって互いに視差を有する２つの画像データを生成する撮像部と、
前記撮像部が生成する前記２つの画像データそれぞれに対応する２つの画像を用いて３次元画像を表示する表示部と、
前記２つの画像を重畳した際に、該２つの画像内において一致する一致領域を検出する一致領域検出部と、
前記一致領域検出部の検出結果に応じて、前記３次元画像を前記表示部の表示画面と直交する方向へ仮想的に飛び出した状態から前記表示部の表示画面を基準として仮想的に引っ込んだ状態に逆転させて前記表示部に表示させる逆転表示が可能であるか否かを判定する逆転表示判定部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記一致領域検出部は、当該撮像装置から距離が異なる前記一致領域を検出し、
前記逆転表示判定部は、前記一致領域検出部が前記一致領域を２つ以上検出した場合、前記逆転表示が可能であると判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記３次元画像に含まれる人物の顔を検出する顔検出部をさらに備え、
前記逆転表示判定部は、前記顔検出部が複数の顔を検出した場合、前記逆転表示が不可能であると判定する一方、前記顔検出部が一つの顔を検出した場合、前記逆転表示が可能であると判定することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記２つの画像を前記表示画面における水平方向の１画素毎に交互に並べて前記表示部に表示させることによって前記３次元画像を前記表示部に表示させる表示制御部をさらに備え、
前記表示制御部は、前記逆転表示判定部によって前記逆転表示が可能と判定された場合、前記表示画面における前記２つの画像の画素の位置を逆に並び換えて前記表示部に表示させることを特徴とする請求項１〜３のいずれか一つに記載の撮像装置。
【請求項５】
前記逆転表示判定部によって前記逆転表示が不可能と判定された場合、前記逆転表示が不可能であることを示す情報を出力する出力部をさらに備えたことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記２つの画像の視差を調整する指示信号の入力を受け付ける視差調整部をさらに備え、
前記表示制御部は、前記指示信号に応じて前記２つの画像の視差が調整された前記３次元画像を前記表示部に表示させることを特徴とする請求項４または５に記載の撮像装置。
【請求項７】
前記一致領域検出部が検出した一致領域を前記２つの画像それぞれから抽出する一致領域抽出部と、
前記一致領域抽出部が抽出した一致領域に対応する２つの一致領域画像それぞれを、他の背景画像に合成して合成画像を生成する画像合成部と、
をさらに備え、
前記表示制御部は、前記合成画像を用いて前記３次元画像を前記表示部に表示させることを特徴とする請求項４〜６のいずれか一つに記載の撮像装置。
【請求項８】
被写体を撮像することによって互いに視差を有する２つの画像データを生成する撮像ステップと、
前記撮像ステップが生成する前記２つの画像データそれぞれに対応する２つの画像を用いて３次元画像を表示する表示ステップと、
前記２つの画像を重畳した際に、該２つの画像内において一致する一致領域を検出する一致領域検出ステップと、
前記一致領域検出ステップの検出結果に応じて、前記３次元画像を前記表示部の表示画面と直交する方向へ仮想的に飛び出した状態から前記表示部の表示画面を基準として仮想的に引っ込んだ状態に逆転させて前記表示ステップで表示させる逆転表示が可能であるか否かを判定する逆転表示判定ステップと、
を撮像装置に実行させることを特徴とする撮像プログラム。
【請求項１】
被写体を撮像することによって互いに視差を有する２つの画像データを生成する撮像部と、
前記撮像部が生成する前記２つの画像データそれぞれに対応する２つの画像を用いて３次元画像を表示する表示部と、
前記２つの画像を重畳した際に、該２つの画像内において一致する一致領域を検出する一致領域検出部と、
前記一致領域検出部の検出結果に応じて、前記３次元画像を前記表示部の表示画面と直交する方向へ仮想的に飛び出した状態から前記表示部の表示画面を基準として仮想的に引っ込んだ状態に逆転させて前記表示部に表示させる逆転表示が可能であるか否かを判定する逆転表示判定部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記一致領域検出部は、当該撮像装置から距離が異なる前記一致領域を検出し、
前記逆転表示判定部は、前記一致領域検出部が前記一致領域を２つ以上検出した場合、前記逆転表示が可能であると判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記３次元画像に含まれる人物の顔を検出する顔検出部をさらに備え、
前記逆転表示判定部は、前記顔検出部が複数の顔を検出した場合、前記逆転表示が不可能であると判定する一方、前記顔検出部が一つの顔を検出した場合、前記逆転表示が可能であると判定することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記２つの画像を前記表示画面における水平方向の１画素毎に交互に並べて前記表示部に表示させることによって前記３次元画像を前記表示部に表示させる表示制御部をさらに備え、
前記表示制御部は、前記逆転表示判定部によって前記逆転表示が可能と判定された場合、前記表示画面における前記２つの画像の画素の位置を逆に並び換えて前記表示部に表示させることを特徴とする請求項１〜３のいずれか一つに記載の撮像装置。
【請求項５】
前記逆転表示判定部によって前記逆転表示が不可能と判定された場合、前記逆転表示が不可能であることを示す情報を出力する出力部をさらに備えたことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記２つの画像の視差を調整する指示信号の入力を受け付ける視差調整部をさらに備え、
前記表示制御部は、前記指示信号に応じて前記２つの画像の視差が調整された前記３次元画像を前記表示部に表示させることを特徴とする請求項４または５に記載の撮像装置。
【請求項７】
前記一致領域検出部が検出した一致領域を前記２つの画像それぞれから抽出する一致領域抽出部と、
前記一致領域抽出部が抽出した一致領域に対応する２つの一致領域画像それぞれを、他の背景画像に合成して合成画像を生成する画像合成部と、
をさらに備え、
前記表示制御部は、前記合成画像を用いて前記３次元画像を前記表示部に表示させることを特徴とする請求項４〜６のいずれか一つに記載の撮像装置。
【請求項８】
被写体を撮像することによって互いに視差を有する２つの画像データを生成する撮像ステップと、
前記撮像ステップが生成する前記２つの画像データそれぞれに対応する２つの画像を用いて３次元画像を表示する表示ステップと、
前記２つの画像を重畳した際に、該２つの画像内において一致する一致領域を検出する一致領域検出ステップと、
前記一致領域検出ステップの検出結果に応じて、前記３次元画像を前記表示部の表示画面と直交する方向へ仮想的に飛び出した状態から前記表示部の表示画面を基準として仮想的に引っ込んだ状態に逆転させて前記表示ステップで表示させる逆転表示が可能であるか否かを判定する逆転表示判定ステップと、
を撮像装置に実行させることを特徴とする撮像プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１２−１９１３３９（Ｐ２０１２−１９１３３９Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５１８２５（Ｐ２０１１−５１８２５）
【出願日】平成２３年３月９日（２０１１．３．９）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月９日（２０１１．３．９）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]