３Ｄ画像処理装置
【課題】被写体の飛び出しや引き込み等の立体感について、好みの３Ｄ画像を手軽に撮影することができる３Ｄ画像処理装置を提供する
【解決手段】メモリ１３３は第一及び第二の撮影画像を記録する。顔検出部１２１は前記第一及び第二の撮影画像から被写体の顔画像を検出する。立体感決定部１２２は前記顔検出部１２１が検出した顔画像を有する被写体の立体感を決定し、算出部１２３は前記検出された顔画像から第一の撮影画像中の基準部分とその基準部分に対応する第二の撮影画像中の対応部分を算出する。視差調整部１２４は基準部分と対応部分の水平方向の視差を前記決定された立体感に基づいて調整する。出力画像領域決定部１２５は、前記視差調整部１２４によって調整された視差を有するように第一及び第二の出力画像の領域を決定し、画像出力部１４０はその決定された領域の出力画像を出力する。
【解決手段】メモリ１３３は第一及び第二の撮影画像を記録する。顔検出部１２１は前記第一及び第二の撮影画像から被写体の顔画像を検出する。立体感決定部１２２は前記顔検出部１２１が検出した顔画像を有する被写体の立体感を決定し、算出部１２３は前記検出された顔画像から第一の撮影画像中の基準部分とその基準部分に対応する第二の撮影画像中の対応部分を算出する。視差調整部１２４は基準部分と対応部分の水平方向の視差を前記決定された立体感に基づいて調整する。出力画像領域決定部１２５は、前記視差調整部１２４によって調整された視差を有するように第一及び第二の出力画像の領域を決定し、画像出力部１４０はその決定された領域の出力画像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３Ｄ画像処理装置に関し、より詳細にはユーザが被写体画像を好みの立体感とした３Ｄ画像を生成することができる３Ｄ画像処理装置に関する。
【背景技術】
【０００２】
近年、水平方向に視差を有する２つの画像が左眼用画像及び右眼用画像として同一ディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された被写体画像があたかも立体的に存在するかのように知覚できる３Ｄ画像に関する技術の開発が盛んに行われている。
【０００３】
３Ｄ画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像が同一ディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式がよく知られている。
また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式等もよく知られている。
【０００４】
これらの３Ｄ画像に関する技術では、被写体画像が観察者から見てディスプレイ面に対しどの程度前方に飛び出しているかのように知覚されるか、又は被写体画像が観察者から見てディスプレイ面に対しどの程度後方に引っ込んでいるかのように知覚されるかは、左眼用画像と右眼用画像との間の水平方向の視差によって決定される。
【０００５】
そこで、左眼用画像と右眼用画像との間の水平方向の視差を適切に調整しつつ３Ｄ画像を撮影する撮像装置に関する技術が盛んに開発されており、近年ではこの水平方向の視差の調整に被写体となる人物の顔検出を利用する技術が開示されている。
【０００６】
例えば、特許文献１には、被写体となる人物の顔を検出し、検出された顔の位置を基準として二つの撮像部における両光軸間の角度、すなわち輻輳角を調整することで、左眼用画像と右眼用画像との間の水平方向の視差を調整した３Ｄ画像を撮影することができる撮像装置が開示されている。
また、特許文献２には、メモリに一時記録された左眼用及び右眼用の撮影画像データから被写体となる人物の顔画像データを検出し、それら顔画像データ間の差分ベクトルに基づいて左眼用及び右眼用の撮影データの切り出し範囲を調整することで、左眼用画像と右眼用画像との間の水平方向の視差を調整した３Ｄ画像を撮影することができる撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２２１５０号公報
【特許文献２】特開２０１０−１４７９４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記特許文献１及び特許文献２に記載の撮像装置では、顔検出がされた被写体となる人物についての水平方向の視差がゼロとなるように左眼用画像と右眼用画像との間の視差を調整し撮影を行っている。
従って、その人物の画像が観察者から見て丁度ディスプレイ面上にあるかのように知覚され、その他の被写体画像が観察者から見てディスプレイ面に対し前方に飛び出している、又はディスプレイ面に対し後方に引っ込んでいるかのように知覚される３Ｄ画像を撮影することができる。
【０００９】
一方で、顔検出がされた人物の画像が、観察者から見てディスプレイ面に対し前方に飛び出している、又はディスプレイ面に対し後方に引っ込んでいるかのように知覚される３Ｄ画像の撮影をユーザが望む場合には、改めて左眼用画像と右眼用画像との間の水平方向の視差を調整する必要があり、ユーザは手軽にこういった３Ｄ画像の撮影を行うことができないという問題があった。
また、これらの撮像装置では、複数の人物が被写体となった場合に、左眼用画像と右眼用画像との間の視差調整の基準とされる人物が、必ずしもユーザの望む人物とはならないという問題が推察される。
【００１０】
本発明はこれらの問題に鑑みてなされたものであり、被写体画像が観察者から見てディスプレイ面に対し前方に飛び出しているかのように知覚されるのか、観察者からみて丁度ディスプレイ面上にあるかのように知覚されるのか、又は観察者から見て画面に対し後方に引っ込んでいるかのように知覚されるのかの区別と、これら前方への飛び出し又は後方への引っ込みの度合い（以下、これらの区別と度合いを総じて「立体感」という）について、ユーザの好みに合わせた３Ｄ画像を簡単に撮影することができる３Ｄ画像処理装置を提供することを目的とする。
【００１１】
また、複数の被写体の中から主として撮影されている被写体を特定し、その被写体の立体感をユーザの好みのものとすることができる３Ｄ画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記目的を達成するために、本発明は、第一の撮影画像及び第二の撮影画像を記録するメモリ（１３３）と、前記メモリに記録された前記第一の撮影画像及び前記第二の撮影画像のそれぞれから被写体の顔画像を検出する顔検出部（１２１）と、前記顔検出部によって顔画像の検出された被写体の立体感を決定する立体感決定部（１２２）と、前記顔検出部が検出した顔画像から、前記第一の撮影画像中の基準部分と、その基準部分に対応する前記第二の撮影画像中の対応部分をそれぞれ算出する算出部（１２３）と、前記算出部によって算出された前記基準部分と前記対応部分との間の視差を前記立体感決定部が決定した立体感に基づいて調整する視差調整部（１２４）と、前記視差調整部によって調整された視差を有するように第一の出力画像及び第二の出力画像の領域をそれぞれ決定する出力画像領域決定部（１２５）と、前記出力画像領域決定部によって決定された領域の前記第一の出力画像及び前記第二の出力画像を、前記メモリに記録された前記第一の撮影画像及び前記第二の撮影画像のそれぞれから切り出して出力する画像出力部（１４０）とを有することを特徴とする３Ｄ画像処理装置を提供する。
【００１３】
また、本発明は、第一の撮影画像及び第二の撮影画像を記録するメモリ（１３３）と、前記メモリに記録された前記第一の撮影画像及び前記第二の撮影画像のそれぞれから被写体の顔画像を検出する顔検出部（１２１）と、前記顔検出部によって複数の顔画像が検出された場合に、前記第一の撮影画像及び前記第二の撮影画像のそれぞれにおいて、それら複数の顔画像から一の顔画像を特定する顔画像特定部（１２６）と、前記顔画像特定部が特定した顔画像を有する被写体の立体感を決定する立体感決定部（１２２）と、前記顔画像特定部が特定した顔画像から、前記第一の撮影画像中の基準部分と、その基準部分に対応する前記第二の撮影画像中の対応部分をそれぞれ算出する算出部（１２３）と、前記算出部によって算出された前記基準部分と前記対応部分との間の視差を前記立体感決定部が決定した立体感に基づいて調整する視差調整部（１２４）と、前記視差調整部によって調整された視差を有するように第一の出力画像及び第二の出力画像の領域をそれぞれ決定する出力画像領域決定部（１２５）と、前記出力画像領域決定部によって決定された領域の前記第一の出力画像及び前記第二の出力画像を、前記メモリに記録された前記第一の撮影画像及び前記第二の撮影画像のそれぞれから切り出して出力する画像出力部（１４０）とを有することを特徴とする３Ｄ画像処理装置を提供する。
【発明の効果】
【００１４】
本発明によれば、ユーザは被写体の立体感について、自分の好みに合わせた３Ｄ画像を簡単に撮影することができる。
また、複数の被写体の中から主被写体を特定し、その主被写体について、好みの立体感を有する３Ｄ画像を簡単に撮影することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る撮像装置１の構成を示す図である。
【図２】撮像装置１の液晶モニタ１４１の構成を示す図である。
【図３】撮像装置１による、被写体をユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理を説明するフローチャートである。
【図４】撮像装置１による撮影処理において、被写体となる人物の顔画像が検出された場合の液晶モニタ１４１の表示態様を説明する図である。
【図５】撮像装置１による撮影処理において、ユーザが被写体の立体感を選択する場合の液晶モニタ１４１の表示態様を説明する図である。
【図６】算出部１２３による顔画像の領域の算出を説明する概念図である。
【図７】算出部１２３による基準点及び対応点の算出を説明する概念図である。
【図８】左右眼画像それぞれにおける被写体画像の表示位置と立体感との関係を示す概念図である。
【図９】出力画像領域決定部１２５による左眼用及び右眼用の出力画像の領域の決定を説明する概念図である。
【図１０】撮像装置１による、複数の被写体の中から主として撮影されている被写体を特定し、その被写体がユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理を説明するフローチャートである。
【図１１】撮像装置１による撮影処理において、被写体となる人物の顔画像が複数検出された場合の液晶モニタ１４１の表示態様を説明する図である。
【図１２】撮像装置１による、被写体をユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理の別の例を説明するフローチャートである。
【図１３】出力画像領域決定部１２５の決定した出力画像の領域が、撮影画像の領域内に収まらない場合の例を説明する概念図である。
【図１４】出力画像領域決定部１２５の決定した出力画像の領域が、撮影画像の領域内に収まらない場合の液晶モニタ１４１の表示態様を説明する図である。
【図１５】撮像装置１による、複数の被写体の中から主として撮影されている被写体を特定し、その被写体がユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理の別の例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下に図面を参照しながら、本発明に係る３Ｄ画像撮影装置の好適な実施形態を説明する。
なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素に関し同一の符号を付すことにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。
【００１７】
図１は、本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の内部構成の例を示すブロック図である。撮像装置１は動画及び静止画を撮影することができる。
なお、本実施形態に係る撮像装置では二つの撮像部を有し、それぞれの光軸のなす輻輳角を調整できる構成としているが、両光軸が平行となるように固定され輻輳角を調整できない撮像装置においても本発明は採用できる。また、本発明は、デジタルスチルカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、撮影が可能なその他の電子機器においても採用することができる。
【００１８】
ＣＰＵ１２０は、撮影、表示又は記録等の撮像装置１全体の動作を統括制御する。また、ＣＰＵ１２０は、操作部１４２からの入力に基づき所定の制御プログラムに従って各部を制御する。
【００１９】
撮像装置１には、左右一対の左眼用画像撮像部Ｌ１００及び右眼用画像撮像部Ｒ１００が、人の眼の間隔より少し短い所定の間隔（例えば５ｃｍ）離れて設置されている。左眼用画像撮像部Ｌ１００及び右眼用画像撮像部Ｒ１００は、それぞれズームレンズＬ１０１及びＲ１０１、フォーカスレンズＬ１０２及びＲ１０２、絞りＬ１０３及びＲ１０３、並びに固体撮像素子Ｌ１０４及びＲ１０４を備える。
【００２０】
ズームレンズＬ１０１及びＲ１０１は、図示しないズームアクチュエータによって光軸ＡＬ１００及びＡＲ１００に沿って移動する。フォーカスレンズＬ１０２及びＲ１０２は、図示しないフォーカスアクチュエータによって光軸ＡＬ１００及びＡＲ１００に沿って移動する。絞りＬ１０３及びＲ１０３は、図示しない絞りアクチュエータに駆動されて動作する。
【００２１】
左眼用画像撮像部Ｌ１００及び右眼用画像Ｒ１００は輻輳角アクチュエータＬ１０９及びＲ１０９とそれぞれ接続されており、輻輳角アクチュエータＬ１０９及びＲ１０９はＣＰＵ１２０から指令を受けて、両撮像部を駆動し、光軸ＡＬ１００とＡＲ１００とのなす輻輳角を調整する。
【００２２】
ＲＯＭ１３１はバス１３０を介してＣＰＵ１２０に接続されており、ＣＰＵ１２０が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ１３２は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。
ＳＤＲＡＭ１３３は、ＣＰＵ１２０の演算作業領域として使用されるとともに、画像データの一時記憶領域としても使用される。ＶＲＡＭ１３４は、表示用の画像データの一時記憶領域として使用される。
【００２３】
撮影装置１を用いた３Ｄ画像の撮影は以下の手順で行われる。左眼用の固体撮像素子Ｌ１０４及び右眼用の固体撮像素子Ｒ１０４がそれぞれ、左眼用画像撮像部Ｌ１００と右眼用撮像部Ｒ１００とを通過した光を光電変換して、左右それぞれの被写体のアナログ撮像信号を生成する。
アナログ信号処理部Ｌ１０５及びＲ１０５が両アナログ撮像信号を増幅した後、Ａ／Ｄ変換器Ｌ１０６及びＲ１０６がその増幅された信号をデジタルデータに変換する。画像入力コントローラＬ１０７及びＲ１０７は、Ａ／Ｄ変換機Ｌ１０６及びＲ１０６から出力されたデジタルデータを取り込んで、ＳＤＲＡＭ１３３に格納する。
【００２４】
デジタル信号処理部Ｌ１０８及びＲ１０８は、ＣＰＵ１２０からの指令に基づき、ＳＤＲＡＭ１３３に格納されたデジタルデータを取り込み、所定の信号処理を施して輝度信号と色差信号とからなる信号を生成する。
デジタル信号処理部Ｌ１０８及びＲ１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
【００２５】
圧縮・伸張処理部１３５、メディア制御部１３６、画像処理部１３７、カードＩ／Ｆ１３８及び入出力Ｉ／Ｆ１４０はデータバス１３０に接続されている。
【００２６】
圧縮・伸張処理部１３５は、ＣＰＵ１２０からの指令に従い、ＳＤＲＡＭ１３３に格納されたデジタルデータに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１２０からの指令に従い、カード型記録媒体１３９等に格納された圧縮画像データに所定形式の伸張処理を施し、非圧縮画像データを生成する。
なお、本実施の形態の撮像装置１では、動画に対してはＭＰＥＧ規格、静止画に対してはＪＰＥＧ規格に準拠した圧縮方式が採用される。
【００２７】
メディア制御部１３６は、ＣＰＵ１２０からの指令に従い、カードＩ／Ｆ１３８を介してカード型記録媒体１３９へのデータの書き込み、又はカード型記録媒体１３９からのデータの読み出しを制御する。
液晶モニタ１４１、操作部１４２及び入出力端子１４３は入出力Ｉ／Ｆ１４０に接続されている。
【００２８】
図２は、３Ｄ画像を表示可能な液晶モニタ１４１の構造の例を説明するための図である。図２においては、撮像装置１の通常の使用姿勢における液晶モニタ１４１に対して、水平方向をＸ軸、垂直方向をＹ軸、及び液晶モニタ１４１の直交
方向をＺ軸として以下を説明する。
液晶モニタ１４１と観察者の左眼ＬＥ２０及び右眼ＲＥ２０の間には、レンチキュラ・レンズＬＬ２０が設置されている。このレンチキュラ・レンズＬＬ２０は、複数の円筒状凸レンズを図２のＸ軸方向に連ねることで構成されている。
【００２９】
液晶モニタ１４１に表示される３Ｄ画像の表示領域は、左眼用短冊画像表示領域Ｌと右眼用短冊画像表示領域Ｒとから構成されている。左眼用短冊画像表示領域Ｌ及び右眼用短冊画像表示領域Ｒは、それぞれ図２のＺ軸方向に細長い短冊形状をしており、Ｘ軸方向に交互に配置されている。
レンチキュラ・レンズＬＬ２０を構成する各凸レンズは、観察者の所定の観察点を基準として、それぞれ一組の左眼用短冊画像表示領域Ｌ及び右眼用短冊画像表示領域Ｒを含む各短冊集合画像領域に対応した位置に形成される。
【００３０】
そして、レンチキュラ・レンズＬＬ２０を構成する各凸レンズは、観察者の左眼ＬＥ２０には液晶モニタ１４１の左眼用短冊画像表示領域Ｌに表示された左眼用短冊画像が入射され、観察者の右眼ＲＥ２０には液晶モニタ１４１の右眼用短冊画像表示領域Ｒに表示された右眼用短冊画像が入射されるように、その曲率等が設定される。
【００３１】
従って、観察者の左眼は左眼用短冊画像のみを、右眼は右眼用短冊画像のみを観察することになり、撮像装置１によって撮影している画像を液晶モニタ１４１を通じて３Ｄ画像として知覚することができる。
【００３２】
なお、３Ｄ画像の表示のための液晶モニタ１４１の構造として、図２に基づきレンチキュラ方式を用いた場合の例を説明したが、本発明はレンチキュラ方式には限定されず、視差バリア方式や光方向制御方式等、３Ｄ画像表示のための別方式を採用することもできる。
液晶モニタ１４１は、撮影画像を３Ｄで表示するだけでなく、左眼用画像又は右眼用画像のいずれか一方を２Ｄで表示することもできる。また、左右眼画像の両方をいわゆるサイド・バイ・サイド方式で、二つ並べて２Ｄで表示することもできる。
【００３３】
操作部１４２は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ１４１上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。
入出力端子１４３は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。
【００３４】
画像処理部１３７は、例えば、ＳＤＲＡＭ１３３から読み出したデジタル撮像信号に所定の画像処理を施す。ＣＰＵ１２０の指示を受けて、画像処理部１３７は、各種処理のための画像データを生成し、その画像データをＳＤＲＡＭ１３３から読み出されたオリジナルの撮像データに重畳させて液晶モニタ１４１に出力する。この出力によって、液晶モニタ１４１に表示される画像は各種画像データが合成されたものとなる。
【００３５】
例えば、詳細を後述する飛び出しモード、標準モード及び引っ込みモードの選択画面や、視差調整の結果として撮影画像データに不足が生じた場合にその旨をユーザに提示する画面等を生成する。そして、画像処理部１３７は左眼用画像又は右眼用画像の何れか一方等にそれらの選択画面等を重畳して液晶モニタ１４１に出力する。
【００３６】
顔検出部１２１は、ＳＤＲＡＭ１３３に一時記録された左眼用及び右眼用の撮影画像データの中から被写体となる人物の顔画像データを検出する。
立体感決定部１２２は、顔画像データが検出された被写体を画面表示する際の立体感を決定する。
【００３７】
算出部１２３は、左眼用画像及び右眼用画像のそれぞれから、視差調整に使用する基準点及び対応点を算出する。
視差調整部１２４は、立体感決定部１２２が決定した立体感に基づき、算出部１２３が算出した基準点と対応点との間の視差を調整する。
出力画像領域決定部１２５は、視差調整部１２４が調整した視差に基づき、ＳＤＲＡＭ１３３に一時記録されている撮影データの中から出力する画像データの領域を決定する。
【００３８】
出力画像判定部１２７は、ＳＤＲＡＭ１３３に一時記録された撮像画像データから、出力画像領域決定部１２５が決定した領域の画像データを過不足なく作成できるかどうかの判定を行う。
顔画像記録部１２８は、特定の人物の顔画像データの特徴量を予め記録しており、顔画像特定部１２６は、この予め記録された特徴量に基づき左眼用画像と右眼用画像との間の水平方向の視差調整の基準とする人物の特定を行う。
【００３９】
以下に上記構成を有する撮像装置１による、被写体をユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理、複数の被写体の中から主として撮影されている被写体を特定しユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理、及び立体感を調整することによって撮像データが不足する際の処理を、それぞれ第一〜第三の実施形態として順に説明する。
なお、第一〜第三の実施形態は動画の撮影における処理として説明するが、静止画の撮影においても本発明は採用することができる。
【００４０】
＜第一の実施形態＞
まず、撮像装置１による、被写体をユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理を第一の実施形態として説明する。
図３は、この第一の実施形態に係る処理を説明するためのフローチャートである。
【００４１】
本処理は、ユーザが操作部１４２の図示しない録画ボタンを押したとき、図１のＣＰＵ１２０の統括制御によりプログラムに従い実行される。また、ユーザが撮像装置１の電源を入れ、操作部１４２の図示しないボタン等を使用して撮影モードを選択したとき、或は録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【００４２】
上述の通り、左眼用撮像部Ｌ１００及び右眼用撮像部Ｒ１００を介して、左眼用及び右眼用の撮影画像データがそれぞれ取得され、ＳＤＲＡＭ１３３に一時記憶される（ステップＳ１０１）。
【００４３】
ステップＳ１０１で左眼用及び右眼用の撮影画像データがＳＤＲＡＭ１３３に一時記憶されると、顔検出部１２１がこれらの撮影画像データから顔画像データを検出する（ステップＳ１０２）。
【００４４】
ここで、顔検出部１２１は、ＳＤＲＡＭ１３３に一時記録された撮影画像データから顔らしさを示す特徴点を算出し、顔画像データとして検出する。例えば、特開２００１−１６５７３号公報等に記載された処理によって顔画像を検出する手法が採用され、特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、顔の頂点や顎の下端点等が用いられる。
なお、顔検出部１２１が顔画像データの検出に用いるアルゴリズムは上述したものに限定されず、任意のアルゴリズムを用いることができる。
【００４５】
図４に顔画像データが検出された場合の、液晶モニタ１４１の表示態様の例を示す。液晶モニタ１４１は図４に示すように左眼用画像ＬＰ４０及び右眼用画像ＲＰ４０をサイド・バイ・サイドで表示する。左眼用画像ＬＰ４０中には人物画像ＬＡ４０が、右眼用画像ＲＰ４０中には人物画像ＲＡ４０が表示されている。そして、画像処理部１３７が生成した図形画像ＬＳ４０及びＲＳ４０が人物画像ＬＡ４０及びＲＡ４０中の検出された顔画像の付近に重畳して表示される。
【００４６】
顔検出部１２１が顔画像データを検出すると（ステップＳ１０２でＹＥＳ）、ユーザは顔画像データの検出された人物について、観察者から見てディスプレイ面に対し前方に飛び出しているかのように知覚される３Ｄ画像とするか、観察者からみて丁度ディスプレイ面上にあるかのように知覚される３Ｄ画像とするか、又は観察者からみてディスプレイ面に対し後方に引っ込んでいるかのように知覚される３Ｄ画像とするかの選択を行う（ステップＳ１０３）。この選択処理は、例えば以下のようにして行われる。
【００４７】
図５に撮像装置１において、ユーザがこの選択を行う際の液晶モニタ１４１の表示態様の例を説明する。
撮像装置１には、被写体画像を観察者から見てディスプレイ面に対し前方に飛び出しているかのように知覚されるようにする「飛び出しモード」、被写体画像を丁度ディスプレイ面上にあるかのように知覚されるようにする「標準モード」、及び被写体画像を観察者からみてディスプレイ面に対し後方に引っ込んでいるかのように知覚されるようにする「引っ込みモード」の３種類のモードが予め設定されている。
【００４８】
そして、画像処理部１３７は、ユーザがこれら三種類のモードの中からいずれかのモードを選択するためのモード選択画面ＳＰ５０を生成し、このモード選択画面ＳＰ５０がステップＳ１０２で液晶モニタ１４１に表示されている画面上に重畳して表示される。
【００４９】
図５において、ユーザが「飛び出しモード」を選択すると、被写体画像が観察者から見てディスプレイ面に対し前方に飛び出しているかのように知覚される３Ｄ画像を生成する旨を、立体感決定部１２２が決定する。ユーザが「標準モード」を選択すると、被写体画像が観察者からみて丁度ディスプレイ面上にあるかのように知覚される３Ｄ画像を生成する旨を、立体感決定部１２２が決定する。そして、ユーザが「引き込みモード」を選択すると、被写体画像が観察者から見て画面に対し後方に引っ込んでいるかのように知覚される３Ｄ画像を生成する旨を立体感決定部１２２が決定する。
【００５０】
各モードの選択は、指示画像ＳＰ５１を操作部１４２の図示しない十字キー等をユーザが操作することで行われる。指示画像ＳＰ５１は、選択の際は点滅表示され、ユーザがモードを確定すると点滅表示を止めて周囲の画像と色を変える等の態様とすることが考えられる。
【００５１】
図３に戻り、ステップＳ１０３の選択がなされると、算出部１２３がステップＳ１０２で検出された左右眼画像中の顔画像データから、視差調整に利用する基準点及び対応点の算出を行う（ステップＳ１０４）。この基準点及び対応点の算出は、例えば顔画像の領域を特定し、その領域の中心座標を求める方法が採用される。
【００５２】
顔画像の領域の特定には、例えば特開２０００−３３９４７６号公報等に記載された手法が採用される。
すなわち、図６に示すように算出部１２３は先ずステップＳ１０２で検出された顔画像の中心線ｆｃを特定する。この中心線ｆｃの特定は顔画像中の左右の画素値の対象性が高いｘ座標を求めることで行われる。
【００５３】
顔画像の中心線が特定されると、顔画像の濃淡からｘ方向及びｙ方向のエッジを強調したｘ方向エッジ情報とｙ方向エッジ情報が算出される。そして、算出部１２３は先ずｘ方向エッジ情報をｘ方向に投影加算処理し、ｘ方向エッジ投影ヒストグラムＸＨＧを求める。
顔画像の場合、ｘ方向のエッジは通常顔の輪郭の部分の多くに現れる。算出部１２３は、ｘ方向エッジ投影ヒストグラムＸＨＧの値の高いところを顔中心線から左右方向に探索し、顔画像の領域の横幅Ｗhを決定する。
【００５４】
横幅Ｗhが決定されると、ｙ方法エッジ情報をｙ方向に投影加算処理し、ｙ方向エッジ投影ヒストグラムＹＨＧを求める。顔の縦幅を決定する場合、目の付近にｙ方向エッジが集中的に現れ、その下の頬の部分にはｙ方向エッジがほとんど現れないことを利用して、目のｙ座標候補位置を検出し、その目のｙ座標候補と横エッジ投影ヒストグラムＨＨＧから顔画像の領域の縦幅Ｗvを決定する。
【００５５】
以上のようにして、算出部１２３は、顔画像の領域を特定する。そして、算出部１２３は、図７に示すように顔画像の領域の４つの頂点Ｐ７１、Ｐ７２、Ｐ７３、及びＰ７４の座標を算出し、この４つの頂点座標から顔画像の領域の中央座標ＣＰ７０を算出する。そして、左眼用画像中の顔画像の中央座標が基準点とされ、右眼用画像中の顔画像の中央座標が対応点とされる。
なお、右眼用画像中の顔画像の中央座標を基準点とし、左眼用が像中の中央座標を対応点としてもよい。また、顔画像の領域の特定は、上記に述べた以外にも既知の他のアルゴリズムを使用して行ってもよい。
【００５６】
ステップＳ１０４で算出部１２３が基準点及び対応点を算出すると、視差調整部１２４がその基準点と及び対応点との間の水平方向の視差調整を行う（ステップＳ１０５）。図８は左右眼画像における基準点及び対応点間の水平方向の視差と、被写体画像のディスプレイ面に対する前方への飛び出し又は後方への引っ込み等の関係を示す概念図である。
【００５７】
図８において、液晶モニタ１４１又は入出力端子１４３を介して接続される外部モニタ等のディスプレイ面をＤＰ８０、観察者とディスプレイ面ＤＰ８０の距離をＤとする。以下にステップＳ１０３で選択された各モードにおける視差調整について説明する。
【００５８】
＜飛び出しモードにおける視差調整＞
図８（ａ）において、ディスプレイ面ＤＰ８０上の左眼用画像中の被写体画像の位置をＬf、右眼用画像中の被写体画像の位置をＲfとすると、観察者が左眼ＬＥ８０でＬf、右眼ＲＥ８０でＲfを観察した場合、被写体はＰfの位置で結像する。これにより観察者からは被写体画像がディスプレイ面ＤＰ８０に対して前方に飛び出しているかのように知覚されることになる。
【００５９】
視差調整部１２４は、ステップＳ１０４で算出された左眼用画像中の基準点及び右眼用画像中の対応点について、図８（ａ）に示したＬf及びＲfの配置と同様に、基準点を対応点の右側に配置し、被写体画像がディスプレイ面ＤＰ８０の前方で結像する関係となるよう視差調整を行う。
【００６０】
ここで、観察者の左眼ＬＥ８０と右眼ＲＥ８０の距離をＥ、像ＬfとＲfの視差をＶfとすると、ディスプレイ面ＤＰ８０から結像位置までの距離Ｚfは以下の式（１）の通りとなる。
【００６１】
（Ｅ＋Ｖf）Ｚf＝Ｄ・Ｖf ・・・（１）
【００６２】
上述の通り、飛び出しモードでは、観察者は被写体画像をディスプレイ面Ｄ８０とは異なるところで知覚することになる。一方で、ピントはディスプレイ面ＤＰ８０にあっていることになるため、この両者の乖離が大きいと、観察者に視覚疲労や不快感を生じるおそれがある。
また、視差Ｖfが大きすぎると、被写体は飛び出しているようには知覚されず、単なる二重の画像として知覚されてしまうおそれがある。
【００６３】
上記観察者の左眼ＬＥ８０と右眼ＲＥ８０の距離Ｅを一般的な人の瞳孔間隔である６．５ｃｍとし、上記観察者からディスプレイ面ＤＰ８０までの視聴距離Ｄを標準観視距離であるディスプレイの長辺の３倍距離とした場合に、観察者の眼に負担をかけず、快適に３Ｄ画像として認識できる左眼用画像と右眼用画像との間の視差量として、ディスプレイ面の幅の２．９％（視差角にして約１度）以下とすることが望ましい旨が報告されている（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」 ３Ｄコンソーシアム安全ガイドライン部会発行 ２０１０年４月２０日改訂版）。
【００６４】
そこで、視差調整部１２４は、図８（ａ）に示すディスプレイ面幅ＤＷと視差Ｖfが以下の式（２）の関係となるように視差の調整を行う。
【００６５】
Ｖf／ＤＷ ＝ ０．０２９ ・・・（２）
【００６６】
ここで、上記ディスプレイ面幅ＤＷには、撮像装置１が備える液晶モニタ１４１の幅が予め設定されている値として採用される。ユーザが所有しているＴＶディスプレイ等の外部モニタに画像を表示させる場合は、その幅を入力し、その値を採用するようにしてもよい。
上記Ｖfは予め設定又は入力されたディスプレイ面幅ＤＷから式（２）に基づいて算出された値を採用する。ここで、ユーザが操作部１４２を使用して、事前にその値を調整することで、ディスプレイ面ＤＰ８０から結像位置までの距離Ｚfをさらに好みの値として変更することができるようにしてもよい。
【００６７】
以上のように撮像装置１によれば、ユーザが、被写体画像が観察者からみてディスプレイ面に対し前方に飛び出しているかのような３Ｄ画像の撮影を望む場合に、簡単に適切な飛び出し度合いに調整された３Ｄ画像を撮影することができる。
また、動画の撮影中に被写体となる人物が移動した場合であっても、その人物の顔画像から基準点及び対応点を算出するため、移動中及び移動後もその人物を適切な飛び出し度合いに調整された３Ｄ画像として撮影することができる。
【００６８】
＜通常モードにおける視差調整＞
図８（ｂ）において、ディスプレイ面ＤＰ８０上の左眼用画像中の被写体の位置と、右眼用画像中の被写体の位置が同一となった場合、被写体は表示面Ｄ８０上のＰcで結像する。これにより観察者からは被写体画像がディスプレイ面ＤＰ８０上にあるかのように知覚されることになる。
【００６９】
視差調整部１２４は、ステップＳ１０４で算出された左眼用画像中の基準点及び右眼用画像中の対応点について、この図８（ｂ）に示すように、両者の水平座標が等しくなるように配置し、被写体画像が表示面ＤＰ８０上で結像する関係となるよう視差調整を行う。
【００７０】
以上のように撮像装置１によれば、ユーザが、被写体画像が観察者からみて丁度画面上にあるかのような３Ｄ画像の撮影を望む場合に、そのように調整された３Ｄ画像を簡単に撮影することができる。
また、動画の撮影中に被写体となる人物が移動した場合であっても、その人物の顔画像から基準点及び対応点を算出するため、移動中及び移動後もその人物がちょうど画面上にあるかのように知覚できる３Ｄ画像として撮影することができる。
【００７１】
＜引き込みモードにおける視差調整＞
図８（ｃ）において、ディスプレイ面ＤＰ８０上の左眼用画像中の被写体画像の位置をＬb、右眼用画像中の被写体画像の位置をＲbとすると、観察者が左眼ＬＥ８０でＬb、右眼ＲＥ８０でＲbを観察した場合、被写体画像はＰbの位置で結像する。これにより観察者からは被写体画像がディスプレイ面ＤＰ８０に対して後方に引き込んでいるかのように知覚されることになる。
【００７２】
視差調整部１２４は、ステップＳ１０４で算出された左眼用画像中の基準点及び右眼用画像中の対応点について、図８（ｃ）に示したＬb及びＲbの配置と同様に、基準点を対応点の左側に配置し、被写体画像がディスプレイ面ＤＰ８０の後方で結像する関係となるよう調整を行う。
【００７３】
ここで、観察者の左眼ＬＥ８０と右眼ＲＥ８０の距離をＥ、像ＬbとＲbの視差をＶfとすると、ディスプレイ面ＤＰ８０から結像位置までの距離Ｚbは以下の式（３）の通りとなる。
【００７４】
（Ｅ−Ｖb）Ｚb＝Ｄ・Ｖb ・・・（３）
【００７５】
引き込みモードにおいても、左右眼画像間の視差によっては、観察者に視覚疲労や不快感を生じるおそれがあること、被写体が引き込んでいるようには知覚されず、単なる二重の画像として知覚されるおそれがあることは、上述の飛び出しモードと同様である。
【００７６】
そこで、視差調整部１２４は、図８（ｃ）に示すディスプレイ面幅ＤＷと視差Ｖbが以下の式（４）関係となるように視差の調整を行う。
【００７７】
Ｖb／ＤＷ ＝ ０．０２９ ・・・（４）
【００７８】
ここで、上記ディスプレイ面幅ＤＷには、撮像装置１が備える液晶モニタ１４１の幅が予め設定されている値として採用される。ユーザが所有しているＴＶディスプレイ等の外部モニタに画像を表示させる場合は、その幅を入力し、その値を採用するようにしてもよい。
上記Ｖbは予め設定又は入力されたディスプレイ面幅ＤＷから式（４）に基づいて算出された値を採用する。ここで、ユーザが操作部１４２を使用して、事前にその値を調整することで、ディスプレイ面ＤＰ８０から結像位置までの距離Ｚbをさらに好みの値として変更することができるようにしてもよい。
【００７９】
さらに、表示面から引き込んでいるかのうように知覚される３Ｄ画像では、ディスプレイ上における水平方向の視差が５ｃｍを超えないようにすることが望ましい旨が方向されている（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」 ３Ｄコンソーシアム安全ガイドライン部会発行 ２０１０年４月２０日改訂版）。
人の両眼は外側には開かないことから、両眼の瞳孔間隔以上に離れた被写体を左眼及び右眼でそれぞれ独立して観察することは、眼精疲労や３Ｄ画像の破綻を誘発するおそれがあるためである。
【００８０】
そこで、視差調整部１２４は、上記式（４）で導き出されるＶｂが５ｃｍを超える場合には、Ｖｂを５ｃｍとするようにしても良い。Ｖｂが５ｃｍ以上かどうかの判定及び、５ｃｍとする調整は、予め設定又は入力されているＤＷの値から５ｃｍ相当のピクセル数を算出することで行われる。
【００８１】
以上のように撮像装置１によれば、ユーザが、被写体画像が観察者からみてディスプレイ面に対し後方に引っ込んでいるかのような３Ｄ画像の撮影を望む場合に、簡単に適切な引っ込み度合いに調整された３Ｄ画像を撮影することができる。
また、動画の撮影中に被写体となる人物が移動した場合であっても、その人物の顔画像から基準点及び対応点を算出するため、移動中及び移動後もその人物を適切な引っ込み度合いに調整された３Ｄ画像として撮影することができる。
【００８２】
図３に戻り、ステップＳ１０５で視差調整部１２４による視差の調整が完了すると、出力画像領域決定部１２５が当該視差に基づき、ステップＳ１０１でＳＤＲＡＭ１３３に一時記録された撮影画像データから出力する画像データの領域を決定する（ステップＳ１０６）。
図９に示すように、出力画像領域決定部１２５は、左眼用撮影データＬＰ９０から左眼用出力画像データＬＰ９１を、右眼用撮影データＲＰ９０から右眼用出力画像データＲＰ９１を、基準点ＬＣＰ９０及び対応点ＲＣＰ９０が視差Ｖ９０を有するように出力画像の領域として決定する。
【００８３】
ステップＳ１０６で出力画像領域決定部１２５に決定された領域の画像データは、入出力Ｉ／Ｆ１４０を解して液晶モニタ１４１に出力・表示される、或はカードＩ／Ｆ１３８を解してカード型記録媒体１３９に出力され記録される（ステップＳ１０７）
【００８４】
ユーザが操作部１４２の図示しない録画ボタンを離す等して撮影を終了すると、撮像装置１はこの処理を終了する。
また、ステップＳ１０２で顔画像を検出しなかった場合も、ユーザが撮影を終了すると、撮像装置１はこの処理を終了する。
【００８５】
以上のように、撮像装置１によれば、ユーザは被写体について適切な視差を有する好みの３Ｄ画像を撮影することができる。
また、動画撮影中に被写体が移動した場合であっても、その被写体を好みの立体感を有する３Ｄ画像としたまま撮影を続けることができる。
【００８６】
＜第二の実施形態＞
次に、撮像装置１による、複数の被写体の中から主として撮影されている被写体を特定し、その被写体がユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理を第二の実施形態として説明する。
図１０は、この第二の実施形態に係る処理を説明するためのフローチャートである。
【００８７】
本処理は、ユーザが操作部１４２の図示しない録画ボタンを押したとき、図１のＣＰＵ１２０の統括制御によりプログラムに従い実行される。また、ユーザが撮像装置１の電源を入れ、操作部１４２の図示しないボタン等を使用して撮影モードを選択したとき、或は録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【００８８】
左眼用撮像部Ｌ１００及び右眼用撮像部Ｒ１００を介して、左眼用及び右眼用の撮影画像データがそれぞれ取得され、ＳＤＲＡＭ１３３に一時記憶される（ステップＳ２０１）。
【００８９】
ステップＳ２０１で左眼用及び右眼用の撮影データがＳＤＲＡＭ１３３に一時記憶されると、顔検出部１２１がこれらの撮影画像データから顔画像データを検出する（ステップＳ２０２）。顔検出部１２１による顔画像データの検出は、上述のステップＳ１０２と同様にして行われる。
【００９０】
ここで、顔検出部１２１が複数の顔画像データを検出した場合（ステップＳ２０２でＹＥＳ）、顔画像特定部１２６が、左右眼画像間の視差調整に使用する主となる被写体の顔画像データを特定する（ステップＳ２０３）。
【００９１】
図１１に、顔検出部１２１が複数の顔画像を検出した場合の、液晶モニタ１４１の表示態様の例を示す。液晶モニタ１４１は図１１に示すように左眼用画像ＬＰ１１０及び右眼用画像ＲＰ１１０をサイド・バイ・サイドで表示する。左眼用画像ＬＰ１１０中には人物画像ＬＡ１１、ＬＢ１１及びＬＣ１１が表示されている。右眼用画像ＲＰ１１０中には人物画像ＲＡ１１、ＲＢ１１及びＲＣ１１が表示されている。
【００９２】
左眼用画像ＬＰ１１０では、画像処理部１３７が生成した図形画像ＬＳ１１１、ＬＳ１１２及びＬＳ１１３が人物画像ＬＡ１１、ＬＢ１１及びＬＣ１１中の検出された顔画像の付近に重畳して表示される。
右眼用画像ＲＰ１１０では、画像処理部１３７が生成した図形画像ＲＳ１１１、ＲＳ１１２及びＲＳ１１３が人物画像ＲＡ１１、ＲＢ１１及びＲＣ１１中の検出された顔画像の付近に重畳して表示される。
【００９３】
顔画像特定部１２６による特定には、以下に例示するような方法が考えられる。
＜顔画像の大きさによる特定＞
顔画像特定部１２６は、検出された顔画像データそれぞれの領域を特定する。この顔画像の領域の特定には、ステップＳ１０４において説明した算出部１２３による顔画像データの領域の特定と同様の手法が用いられる。
顔画像特定部１２６は、それぞれの顔画像データの領域の特定が完了すると、その縦幅及び横幅から各領域の面積を算出する。
【００９４】
そして、顔画像特定部１２６は、算出された面積が最も大きい顔画像データを主被写体の顔画像データとし、左眼用画像及び右眼用画像の視差を調整する基準として特定する。主として撮影されている被写体は、撮影画像の中でも大きく撮影されていることが多いからである。図１１の例では、人物画像ＬＡ１１及びＲＡ１１の顔画像データを視差調整の基準として使用する。
【００９５】
或は、算出された面積の値が中間となる顔画像データを、左右願画像の視差を調整する基準として特定することもできる。撮影されている各人物の顔画像データの大きさと、撮像装置１から各人物までの距離とは、概ね比例する関係にある。全被写体の中で撮影装置との距離が中間の関係にある人物が主として撮影されている被写体となることも多いからである。
【００９６】
なお、左眼用画像及び右眼用画像の視差調整の基準とする人物を、顔画像データの面積の最も大きい人物とするか、中間の人物とするか、或は最も小さい人物をするかを予めユーザが設定できるようにしてもよい。
【００９７】
＜顔画像の登録の有無による特定＞
顔画像記録部１２８には、予め登録した人物の顔画像データの情報が記録されている。顔画像特定部１２６は、検出された顔画像の中から顔画像記録部１２８に予め記録されている人物の顔画像データがあるかどうかを判定する。そして、検出された顔画像データが、顔画像記録部１２８に記録されている人物のものである場合は、その顔画像を左眼用画像及び右眼用画像の視差調整の基準とする。
予め顔画像データが登録されているような人物は、撮像装置１を使用するユーザが主として撮影している被写体である可能性が高いためである。
【００９８】
なお、検出された顔画像データと顔画像記録部１２８に登録された顔画像データとの一致の判定は、既知のアルゴリズムを用い、顔らしさを示す特徴点が類似しているかどうかの観点から行う。
【００９９】
＜ユーザの指定による特定＞
顔画像特定部１２６は、ユーザが指定した顔画像データを、左眼用画像及び右眼用画像の視差調整の基準として使用することもできる。
例えば、図１１に示した顔検出の結果表示画面において、検出された顔画像の中から、ユーザが基準となる顔画像を指定する手法が考えられる。この指定は、操作部１４２の図示しないタッチパネルや十字キーを用いて行うことが考えられる。
【０１００】
このユーザによる指定に当たっては、サイド・バイ・サイドで表示された左眼用画像及び右眼用画像の両方から同一の人物の顔画像を指定するようにしてもよい。また、左眼用画像又は右眼用画像の何れか一方から指定し、他方の画像においては顔らしさを示す特徴量が似た顔画像を抽出する等して特定してもよい。
【０１０１】
以上のように撮像装置１によれば、複数の人物を撮影している場合や、人ごみのなかで撮影を行った場合等においても、好みの立体感としたい人物を特定した上で３Ｄ画像の撮影を行える。
【０１０２】
ステップＳ２０３で、顔画像特定部１２６が、左右眼画像間の視差調整の基準とする顔画像データを特定すると、ユーザは顔画像データの検出された人物について、観察者から見てディスプレイ面に対し前方に飛び出しているかのように知覚される３Ｄ画像とするか、観察者からみて丁度ディスプレイ面上にあるかのように知覚される３Ｄ画像とするか、又は観察者からみてディスプレイ面に対し後方に引っ込んでいるかのように知覚される３Ｄ画像とするかの選択を行う（ステップＳ２０４）
この選択処理は、上述のステップＳ１０３と同様に、立体感を選択する画面を使用して、「飛び出しモード」、「標準モード」、及び「引き込みモード」の中からユーザがいずれかのモードを選択することで行われる。
【０１０３】
ステップＳ２０４の選択がなされると、算出部１２３がステップＳ２０３で特定された左右眼画像中の顔画像データから、視差調整に利用する基準点及び対応点の算出を行う（ステップＳ２０５）。
この対応点の算出は、上述のステップＳ１０４と同様に左眼用画像中の顔画像及び右眼用画像中の顔画像の中央座標をそれぞれ算出し、基準点又は対応点とする方法で行われる。
【０１０４】
ステップＳ２０５で算出部１２３が基準点及び対応点を算出すると、視差調整部１２４がその基準点と及び対応点との間の水平方向の視差調整を行う（ステップＳ２０６）。
この視差調整は、上述のステップＳ１０５と同様に、基準点及び対応点を、飛び出しモード、標準モード、又は引き込みモードのそれぞれに応じた配置とすることで行われる。
【０１０５】
ステップＳ２０６で視差調整部１２４による視差の調整が完了すると、出力画像領域決定部１２５が当該視差に基づき、ステップＳ２０１でＳＤＲＡＭ１３３に一時記録された撮影画像データから出力する画像データの範囲を決定する（ステップＳ２０７）。
この画像データの範囲の決定は、上述のステップＳ１０６と同様にして行われる。
【０１０６】
ステップＳ２０７で出力画像領域決定部１２５に決定された領域の画像データは、入出力Ｉ／Ｆ１４０を解して液晶モニタ１４１に出力・表示される、或はカードＩ／Ｆ１３８を解してカード型記録媒体１３９に出力され記録される（ステップＳ２０８）
【０１０７】
顔検出部１２１が複数の顔画像データを検出しなかった場合（ステップＳ２０２でＮＯ）で、顔検出部１２１が一人の人物の顔画像データを検出した場合（ステップＳ２０９でＹＥＳ）は、この検出された顔画像データに基づいて、ユーザの好みの立体化を有する３Ｄ画像の撮影処理が行われる。
この処理は、上述の第一の実施態様で述べた例と同様であるため詳細な説明は省略する。
【０１０８】
ユーザが操作部１４２の図示しない録画ボタンを離す等して撮影を終了すると、撮像装置１はこの処理を終了する。
また、ステップＳ２０９で顔画像を検出しなかった場合（ステップＳ２０９でＮＯ）も、ユーザが撮影を終了すると、撮像装置１はこの処理を終了する。
【０１０９】
以上のように、撮像装置１によれば、複数の被写体を撮影する、又は人ごみの中で撮影する等の場合であっても、主として撮影されている被写体が特定され、その特定された被写体について適切な視差を有する好みの３Ｄ画像を撮影することができる。
また、動画撮影中に特定された被写体が移動した場合であっても、その被写体を好みの立体感を有する３Ｄ画像としたまま撮影を続けることができる。
【０１１０】
＜第三の実施形態＞
上記第一及び第二の実施形態において説明したように、左眼用画像及び右眼用画像の視差に基づく立体感の調整を行った場合、ＳＤＲＡＭ１３３に一時記憶された撮影データが不足することがある。このときの撮像装置１の処理を第三の実施形態として以下に説明する。
図１２は、この第三の実施形態に係る処理を説明するためのフローチャートである。
【０１１１】
本処理は、ユーザが操作部１４２の図示しない録画ボタンを押したとき、図１のＣＰＵ１２０の統括制御によりプログラムに従い実行される。また、ユーザが撮像装置１の電源を入れ、操作部１４２の図示しないボタン等を使用して撮影モードを選択したとき、或は録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【０１１２】
図１２に示したステップＳ３０１からステップＳ３０６までの各処理の詳細は、上述の第一の実施態様で述べたステップＳ１０１からステップＳ１０６と同様であるため、説明を省略する。
【０１１３】
出力画像判定部１２７は、出力画像領域決定部１２５が領域を決定した左眼用及び右眼用の画像データの領域が、ステップＳ３０１でＳＤＲＡＭ１３３に一時記録された撮影データに収まるか否かの判定を行う（ステップＳ３０７）。
算出部１２３が算出した基準点及び対応点に基づき左右眼画像間の視差を調整した場合、水平方向の撮影画像データが不足する場合がある。
【０１１４】
例えば、図１３に示すように、ＳＤＲＡＭ１３３に一時記録されている左眼用撮影画像データＬＰ１３０及び右眼用撮影画像データＲＰ１３０から視差Ｖ１３を有するように画像データを切り出そうとすると、左眼用画像データＬＰ１３１の範囲では領域ＬＰ１３２の分だけ、右眼用画像データＲＰ１３１の範囲では領域ＲＰ１３２の分だけ一時記録されている撮像画像データに不足が生じる。
【０１１５】
このように、出力画像領域決定部１２５が決定した領域の画像データを出力する際に、少なくとも左眼用又は右眼用いずれか一方の一時記録された撮影画像データに不足がある場合は（ステップＳ３０７でＮＯ）、撮影画像データに不足がある旨がユーザに提示される。
【０１１６】
この提示の例としては、図１４に示す態様が考えられる。画像処理部１３７が提示画像ＳＰ１４を生成し、ステップＳ３０２で液晶モニタ１４１に表示されている画面上に重畳して表示する。
この提示により、ユーザが左右眼画像の何れか一方又は両方について、出力画像が不足した３Ｄ画像を誤って撮影するのを防止することができる。また、ユーザはズーム倍率を変更する、又は各モードにおける視差量の設定を変更する等して、改めて好みの３Ｄ画像を撮影することができる。
【０１１７】
出力画像領域決定部１２５が決定した領域の画像データを出力する際に、少なくとも左右眼用いずれか一方の一時記録された撮影画像データに不足がないと判断した場合は（ステップＳ３０７でＹＥＳ）、ステップＳ３０６で出力画像領域決定部１２５に決定された範囲の画像が、入出力Ｉ／Ｆ１４０を解して液晶モニタ１４１に出力・表示される、或はカードＩ／Ｆ１３８を解してカード型記録媒体１３９に出力され記録される（ステップＳ３０８）
【０１１８】
ユーザが操作部１４２の図示しない録画ボタンを離す等して撮影を終了すると、撮像装置１はこの処理を終了する。
また、ステップＳ３０２で顔画像データを検出しなかった場合（ステップＳ３０２でＮＯ）も、ユーザが撮影を終了すると、撮像装置１はこの処理を終了する。
【０１１９】
以上のように、撮像装置１によれば左右眼画像間の視差調整の結果、一時記録されている撮影画像データに不足が生じてしまう場合であっても、その旨をユーザに提示することができるため、３Ｄ画像撮影の失敗を防止することができる。
【０１２０】
また、上記第三の実施態様の中で説明した出力画像判定部１２７による判定処理は、図１５のフローチャートに示すように、複数の被写体の中からユーザが任意に選択した被写体に関し、好みの立体感を有する３Ｄ画像を撮影する処理においても採用できる。
【０１２１】
図１５に示した各ステップの詳細は、上記第一から第三の実施態様の中で説明したものと同様であるため、繰り返して説明することは省略する。
【０１２２】
以上に述べた通り、本発明によれば、ユーザは被写体の立体感について、自分の好みに合わせた適切な３Ｄ画像を簡単に撮影することができる。
また、複数の被写体の中から任意に選択した被写体に対し、好みの立体感を有する適切な３Ｄ画像を簡単に撮影することができる。
【０１２３】
なお、本発明は、本明細書において説明した例や図示された例、特に例のなかで述べた数値に限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってもよいのはもちろんである。
【符号の説明】
【０１２４】
１ 撮像装置
１２１ 顔検出部
１２２ 立体感決定部
１２３ 算出部
１２４ 視差調整部
１２５ 出力画像領域決定部
１２６ 顔画像特定部
１２７ 出力画像判定部
１２８ 顔画像記録部
１３３ ＳＤＲＡＭ
１３８ カードＩ／Ｆ
１３９ カード型記録媒体
１４０ 入出力Ｉ／Ｆ
１４１ 液晶モニタ
１４２ 操作部
【技術分野】
【０００１】
本発明は３Ｄ画像処理装置に関し、より詳細にはユーザが被写体画像を好みの立体感とした３Ｄ画像を生成することができる３Ｄ画像処理装置に関する。
【背景技術】
【０００２】
近年、水平方向に視差を有する２つの画像が左眼用画像及び右眼用画像として同一ディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された被写体画像があたかも立体的に存在するかのように知覚できる３Ｄ画像に関する技術の開発が盛んに行われている。
【０００３】
３Ｄ画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像が同一ディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式がよく知られている。
また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式等もよく知られている。
【０００４】
これらの３Ｄ画像に関する技術では、被写体画像が観察者から見てディスプレイ面に対しどの程度前方に飛び出しているかのように知覚されるか、又は被写体画像が観察者から見てディスプレイ面に対しどの程度後方に引っ込んでいるかのように知覚されるかは、左眼用画像と右眼用画像との間の水平方向の視差によって決定される。
【０００５】
そこで、左眼用画像と右眼用画像との間の水平方向の視差を適切に調整しつつ３Ｄ画像を撮影する撮像装置に関する技術が盛んに開発されており、近年ではこの水平方向の視差の調整に被写体となる人物の顔検出を利用する技術が開示されている。
【０００６】
例えば、特許文献１には、被写体となる人物の顔を検出し、検出された顔の位置を基準として二つの撮像部における両光軸間の角度、すなわち輻輳角を調整することで、左眼用画像と右眼用画像との間の水平方向の視差を調整した３Ｄ画像を撮影することができる撮像装置が開示されている。
また、特許文献２には、メモリに一時記録された左眼用及び右眼用の撮影画像データから被写体となる人物の顔画像データを検出し、それら顔画像データ間の差分ベクトルに基づいて左眼用及び右眼用の撮影データの切り出し範囲を調整することで、左眼用画像と右眼用画像との間の水平方向の視差を調整した３Ｄ画像を撮影することができる撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２２１５０号公報
【特許文献２】特開２０１０−１４７９４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記特許文献１及び特許文献２に記載の撮像装置では、顔検出がされた被写体となる人物についての水平方向の視差がゼロとなるように左眼用画像と右眼用画像との間の視差を調整し撮影を行っている。
従って、その人物の画像が観察者から見て丁度ディスプレイ面上にあるかのように知覚され、その他の被写体画像が観察者から見てディスプレイ面に対し前方に飛び出している、又はディスプレイ面に対し後方に引っ込んでいるかのように知覚される３Ｄ画像を撮影することができる。
【０００９】
一方で、顔検出がされた人物の画像が、観察者から見てディスプレイ面に対し前方に飛び出している、又はディスプレイ面に対し後方に引っ込んでいるかのように知覚される３Ｄ画像の撮影をユーザが望む場合には、改めて左眼用画像と右眼用画像との間の水平方向の視差を調整する必要があり、ユーザは手軽にこういった３Ｄ画像の撮影を行うことができないという問題があった。
また、これらの撮像装置では、複数の人物が被写体となった場合に、左眼用画像と右眼用画像との間の視差調整の基準とされる人物が、必ずしもユーザの望む人物とはならないという問題が推察される。
【００１０】
本発明はこれらの問題に鑑みてなされたものであり、被写体画像が観察者から見てディスプレイ面に対し前方に飛び出しているかのように知覚されるのか、観察者からみて丁度ディスプレイ面上にあるかのように知覚されるのか、又は観察者から見て画面に対し後方に引っ込んでいるかのように知覚されるのかの区別と、これら前方への飛び出し又は後方への引っ込みの度合い（以下、これらの区別と度合いを総じて「立体感」という）について、ユーザの好みに合わせた３Ｄ画像を簡単に撮影することができる３Ｄ画像処理装置を提供することを目的とする。
【００１１】
また、複数の被写体の中から主として撮影されている被写体を特定し、その被写体の立体感をユーザの好みのものとすることができる３Ｄ画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記目的を達成するために、本発明は、第一の撮影画像及び第二の撮影画像を記録するメモリ（１３３）と、前記メモリに記録された前記第一の撮影画像及び前記第二の撮影画像のそれぞれから被写体の顔画像を検出する顔検出部（１２１）と、前記顔検出部によって顔画像の検出された被写体の立体感を決定する立体感決定部（１２２）と、前記顔検出部が検出した顔画像から、前記第一の撮影画像中の基準部分と、その基準部分に対応する前記第二の撮影画像中の対応部分をそれぞれ算出する算出部（１２３）と、前記算出部によって算出された前記基準部分と前記対応部分との間の視差を前記立体感決定部が決定した立体感に基づいて調整する視差調整部（１２４）と、前記視差調整部によって調整された視差を有するように第一の出力画像及び第二の出力画像の領域をそれぞれ決定する出力画像領域決定部（１２５）と、前記出力画像領域決定部によって決定された領域の前記第一の出力画像及び前記第二の出力画像を、前記メモリに記録された前記第一の撮影画像及び前記第二の撮影画像のそれぞれから切り出して出力する画像出力部（１４０）とを有することを特徴とする３Ｄ画像処理装置を提供する。
【００１３】
また、本発明は、第一の撮影画像及び第二の撮影画像を記録するメモリ（１３３）と、前記メモリに記録された前記第一の撮影画像及び前記第二の撮影画像のそれぞれから被写体の顔画像を検出する顔検出部（１２１）と、前記顔検出部によって複数の顔画像が検出された場合に、前記第一の撮影画像及び前記第二の撮影画像のそれぞれにおいて、それら複数の顔画像から一の顔画像を特定する顔画像特定部（１２６）と、前記顔画像特定部が特定した顔画像を有する被写体の立体感を決定する立体感決定部（１２２）と、前記顔画像特定部が特定した顔画像から、前記第一の撮影画像中の基準部分と、その基準部分に対応する前記第二の撮影画像中の対応部分をそれぞれ算出する算出部（１２３）と、前記算出部によって算出された前記基準部分と前記対応部分との間の視差を前記立体感決定部が決定した立体感に基づいて調整する視差調整部（１２４）と、前記視差調整部によって調整された視差を有するように第一の出力画像及び第二の出力画像の領域をそれぞれ決定する出力画像領域決定部（１２５）と、前記出力画像領域決定部によって決定された領域の前記第一の出力画像及び前記第二の出力画像を、前記メモリに記録された前記第一の撮影画像及び前記第二の撮影画像のそれぞれから切り出して出力する画像出力部（１４０）とを有することを特徴とする３Ｄ画像処理装置を提供する。
【発明の効果】
【００１４】
本発明によれば、ユーザは被写体の立体感について、自分の好みに合わせた３Ｄ画像を簡単に撮影することができる。
また、複数の被写体の中から主被写体を特定し、その主被写体について、好みの立体感を有する３Ｄ画像を簡単に撮影することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る撮像装置１の構成を示す図である。
【図２】撮像装置１の液晶モニタ１４１の構成を示す図である。
【図３】撮像装置１による、被写体をユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理を説明するフローチャートである。
【図４】撮像装置１による撮影処理において、被写体となる人物の顔画像が検出された場合の液晶モニタ１４１の表示態様を説明する図である。
【図５】撮像装置１による撮影処理において、ユーザが被写体の立体感を選択する場合の液晶モニタ１４１の表示態様を説明する図である。
【図６】算出部１２３による顔画像の領域の算出を説明する概念図である。
【図７】算出部１２３による基準点及び対応点の算出を説明する概念図である。
【図８】左右眼画像それぞれにおける被写体画像の表示位置と立体感との関係を示す概念図である。
【図９】出力画像領域決定部１２５による左眼用及び右眼用の出力画像の領域の決定を説明する概念図である。
【図１０】撮像装置１による、複数の被写体の中から主として撮影されている被写体を特定し、その被写体がユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理を説明するフローチャートである。
【図１１】撮像装置１による撮影処理において、被写体となる人物の顔画像が複数検出された場合の液晶モニタ１４１の表示態様を説明する図である。
【図１２】撮像装置１による、被写体をユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理の別の例を説明するフローチャートである。
【図１３】出力画像領域決定部１２５の決定した出力画像の領域が、撮影画像の領域内に収まらない場合の例を説明する概念図である。
【図１４】出力画像領域決定部１２５の決定した出力画像の領域が、撮影画像の領域内に収まらない場合の液晶モニタ１４１の表示態様を説明する図である。
【図１５】撮像装置１による、複数の被写体の中から主として撮影されている被写体を特定し、その被写体がユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理の別の例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下に図面を参照しながら、本発明に係る３Ｄ画像撮影装置の好適な実施形態を説明する。
なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素に関し同一の符号を付すことにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。
【００１７】
図１は、本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の内部構成の例を示すブロック図である。撮像装置１は動画及び静止画を撮影することができる。
なお、本実施形態に係る撮像装置では二つの撮像部を有し、それぞれの光軸のなす輻輳角を調整できる構成としているが、両光軸が平行となるように固定され輻輳角を調整できない撮像装置においても本発明は採用できる。また、本発明は、デジタルスチルカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、撮影が可能なその他の電子機器においても採用することができる。
【００１８】
ＣＰＵ１２０は、撮影、表示又は記録等の撮像装置１全体の動作を統括制御する。また、ＣＰＵ１２０は、操作部１４２からの入力に基づき所定の制御プログラムに従って各部を制御する。
【００１９】
撮像装置１には、左右一対の左眼用画像撮像部Ｌ１００及び右眼用画像撮像部Ｒ１００が、人の眼の間隔より少し短い所定の間隔（例えば５ｃｍ）離れて設置されている。左眼用画像撮像部Ｌ１００及び右眼用画像撮像部Ｒ１００は、それぞれズームレンズＬ１０１及びＲ１０１、フォーカスレンズＬ１０２及びＲ１０２、絞りＬ１０３及びＲ１０３、並びに固体撮像素子Ｌ１０４及びＲ１０４を備える。
【００２０】
ズームレンズＬ１０１及びＲ１０１は、図示しないズームアクチュエータによって光軸ＡＬ１００及びＡＲ１００に沿って移動する。フォーカスレンズＬ１０２及びＲ１０２は、図示しないフォーカスアクチュエータによって光軸ＡＬ１００及びＡＲ１００に沿って移動する。絞りＬ１０３及びＲ１０３は、図示しない絞りアクチュエータに駆動されて動作する。
【００２１】
左眼用画像撮像部Ｌ１００及び右眼用画像Ｒ１００は輻輳角アクチュエータＬ１０９及びＲ１０９とそれぞれ接続されており、輻輳角アクチュエータＬ１０９及びＲ１０９はＣＰＵ１２０から指令を受けて、両撮像部を駆動し、光軸ＡＬ１００とＡＲ１００とのなす輻輳角を調整する。
【００２２】
ＲＯＭ１３１はバス１３０を介してＣＰＵ１２０に接続されており、ＣＰＵ１２０が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ１３２は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。
ＳＤＲＡＭ１３３は、ＣＰＵ１２０の演算作業領域として使用されるとともに、画像データの一時記憶領域としても使用される。ＶＲＡＭ１３４は、表示用の画像データの一時記憶領域として使用される。
【００２３】
撮影装置１を用いた３Ｄ画像の撮影は以下の手順で行われる。左眼用の固体撮像素子Ｌ１０４及び右眼用の固体撮像素子Ｒ１０４がそれぞれ、左眼用画像撮像部Ｌ１００と右眼用撮像部Ｒ１００とを通過した光を光電変換して、左右それぞれの被写体のアナログ撮像信号を生成する。
アナログ信号処理部Ｌ１０５及びＲ１０５が両アナログ撮像信号を増幅した後、Ａ／Ｄ変換器Ｌ１０６及びＲ１０６がその増幅された信号をデジタルデータに変換する。画像入力コントローラＬ１０７及びＲ１０７は、Ａ／Ｄ変換機Ｌ１０６及びＲ１０６から出力されたデジタルデータを取り込んで、ＳＤＲＡＭ１３３に格納する。
【００２４】
デジタル信号処理部Ｌ１０８及びＲ１０８は、ＣＰＵ１２０からの指令に基づき、ＳＤＲＡＭ１３３に格納されたデジタルデータを取り込み、所定の信号処理を施して輝度信号と色差信号とからなる信号を生成する。
デジタル信号処理部Ｌ１０８及びＲ１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
【００２５】
圧縮・伸張処理部１３５、メディア制御部１３６、画像処理部１３７、カードＩ／Ｆ１３８及び入出力Ｉ／Ｆ１４０はデータバス１３０に接続されている。
【００２６】
圧縮・伸張処理部１３５は、ＣＰＵ１２０からの指令に従い、ＳＤＲＡＭ１３３に格納されたデジタルデータに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１２０からの指令に従い、カード型記録媒体１３９等に格納された圧縮画像データに所定形式の伸張処理を施し、非圧縮画像データを生成する。
なお、本実施の形態の撮像装置１では、動画に対してはＭＰＥＧ規格、静止画に対してはＪＰＥＧ規格に準拠した圧縮方式が採用される。
【００２７】
メディア制御部１３６は、ＣＰＵ１２０からの指令に従い、カードＩ／Ｆ１３８を介してカード型記録媒体１３９へのデータの書き込み、又はカード型記録媒体１３９からのデータの読み出しを制御する。
液晶モニタ１４１、操作部１４２及び入出力端子１４３は入出力Ｉ／Ｆ１４０に接続されている。
【００２８】
図２は、３Ｄ画像を表示可能な液晶モニタ１４１の構造の例を説明するための図である。図２においては、撮像装置１の通常の使用姿勢における液晶モニタ１４１に対して、水平方向をＸ軸、垂直方向をＹ軸、及び液晶モニタ１４１の直交
方向をＺ軸として以下を説明する。
液晶モニタ１４１と観察者の左眼ＬＥ２０及び右眼ＲＥ２０の間には、レンチキュラ・レンズＬＬ２０が設置されている。このレンチキュラ・レンズＬＬ２０は、複数の円筒状凸レンズを図２のＸ軸方向に連ねることで構成されている。
【００２９】
液晶モニタ１４１に表示される３Ｄ画像の表示領域は、左眼用短冊画像表示領域Ｌと右眼用短冊画像表示領域Ｒとから構成されている。左眼用短冊画像表示領域Ｌ及び右眼用短冊画像表示領域Ｒは、それぞれ図２のＺ軸方向に細長い短冊形状をしており、Ｘ軸方向に交互に配置されている。
レンチキュラ・レンズＬＬ２０を構成する各凸レンズは、観察者の所定の観察点を基準として、それぞれ一組の左眼用短冊画像表示領域Ｌ及び右眼用短冊画像表示領域Ｒを含む各短冊集合画像領域に対応した位置に形成される。
【００３０】
そして、レンチキュラ・レンズＬＬ２０を構成する各凸レンズは、観察者の左眼ＬＥ２０には液晶モニタ１４１の左眼用短冊画像表示領域Ｌに表示された左眼用短冊画像が入射され、観察者の右眼ＲＥ２０には液晶モニタ１４１の右眼用短冊画像表示領域Ｒに表示された右眼用短冊画像が入射されるように、その曲率等が設定される。
【００３１】
従って、観察者の左眼は左眼用短冊画像のみを、右眼は右眼用短冊画像のみを観察することになり、撮像装置１によって撮影している画像を液晶モニタ１４１を通じて３Ｄ画像として知覚することができる。
【００３２】
なお、３Ｄ画像の表示のための液晶モニタ１４１の構造として、図２に基づきレンチキュラ方式を用いた場合の例を説明したが、本発明はレンチキュラ方式には限定されず、視差バリア方式や光方向制御方式等、３Ｄ画像表示のための別方式を採用することもできる。
液晶モニタ１４１は、撮影画像を３Ｄで表示するだけでなく、左眼用画像又は右眼用画像のいずれか一方を２Ｄで表示することもできる。また、左右眼画像の両方をいわゆるサイド・バイ・サイド方式で、二つ並べて２Ｄで表示することもできる。
【００３３】
操作部１４２は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ１４１上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。
入出力端子１４３は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。
【００３４】
画像処理部１３７は、例えば、ＳＤＲＡＭ１３３から読み出したデジタル撮像信号に所定の画像処理を施す。ＣＰＵ１２０の指示を受けて、画像処理部１３７は、各種処理のための画像データを生成し、その画像データをＳＤＲＡＭ１３３から読み出されたオリジナルの撮像データに重畳させて液晶モニタ１４１に出力する。この出力によって、液晶モニタ１４１に表示される画像は各種画像データが合成されたものとなる。
【００３５】
例えば、詳細を後述する飛び出しモード、標準モード及び引っ込みモードの選択画面や、視差調整の結果として撮影画像データに不足が生じた場合にその旨をユーザに提示する画面等を生成する。そして、画像処理部１３７は左眼用画像又は右眼用画像の何れか一方等にそれらの選択画面等を重畳して液晶モニタ１４１に出力する。
【００３６】
顔検出部１２１は、ＳＤＲＡＭ１３３に一時記録された左眼用及び右眼用の撮影画像データの中から被写体となる人物の顔画像データを検出する。
立体感決定部１２２は、顔画像データが検出された被写体を画面表示する際の立体感を決定する。
【００３７】
算出部１２３は、左眼用画像及び右眼用画像のそれぞれから、視差調整に使用する基準点及び対応点を算出する。
視差調整部１２４は、立体感決定部１２２が決定した立体感に基づき、算出部１２３が算出した基準点と対応点との間の視差を調整する。
出力画像領域決定部１２５は、視差調整部１２４が調整した視差に基づき、ＳＤＲＡＭ１３３に一時記録されている撮影データの中から出力する画像データの領域を決定する。
【００３８】
出力画像判定部１２７は、ＳＤＲＡＭ１３３に一時記録された撮像画像データから、出力画像領域決定部１２５が決定した領域の画像データを過不足なく作成できるかどうかの判定を行う。
顔画像記録部１２８は、特定の人物の顔画像データの特徴量を予め記録しており、顔画像特定部１２６は、この予め記録された特徴量に基づき左眼用画像と右眼用画像との間の水平方向の視差調整の基準とする人物の特定を行う。
【００３９】
以下に上記構成を有する撮像装置１による、被写体をユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理、複数の被写体の中から主として撮影されている被写体を特定しユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理、及び立体感を調整することによって撮像データが不足する際の処理を、それぞれ第一〜第三の実施形態として順に説明する。
なお、第一〜第三の実施形態は動画の撮影における処理として説明するが、静止画の撮影においても本発明は採用することができる。
【００４０】
＜第一の実施形態＞
まず、撮像装置１による、被写体をユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理を第一の実施形態として説明する。
図３は、この第一の実施形態に係る処理を説明するためのフローチャートである。
【００４１】
本処理は、ユーザが操作部１４２の図示しない録画ボタンを押したとき、図１のＣＰＵ１２０の統括制御によりプログラムに従い実行される。また、ユーザが撮像装置１の電源を入れ、操作部１４２の図示しないボタン等を使用して撮影モードを選択したとき、或は録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【００４２】
上述の通り、左眼用撮像部Ｌ１００及び右眼用撮像部Ｒ１００を介して、左眼用及び右眼用の撮影画像データがそれぞれ取得され、ＳＤＲＡＭ１３３に一時記憶される（ステップＳ１０１）。
【００４３】
ステップＳ１０１で左眼用及び右眼用の撮影画像データがＳＤＲＡＭ１３３に一時記憶されると、顔検出部１２１がこれらの撮影画像データから顔画像データを検出する（ステップＳ１０２）。
【００４４】
ここで、顔検出部１２１は、ＳＤＲＡＭ１３３に一時記録された撮影画像データから顔らしさを示す特徴点を算出し、顔画像データとして検出する。例えば、特開２００１−１６５７３号公報等に記載された処理によって顔画像を検出する手法が採用され、特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、顔の頂点や顎の下端点等が用いられる。
なお、顔検出部１２１が顔画像データの検出に用いるアルゴリズムは上述したものに限定されず、任意のアルゴリズムを用いることができる。
【００４５】
図４に顔画像データが検出された場合の、液晶モニタ１４１の表示態様の例を示す。液晶モニタ１４１は図４に示すように左眼用画像ＬＰ４０及び右眼用画像ＲＰ４０をサイド・バイ・サイドで表示する。左眼用画像ＬＰ４０中には人物画像ＬＡ４０が、右眼用画像ＲＰ４０中には人物画像ＲＡ４０が表示されている。そして、画像処理部１３７が生成した図形画像ＬＳ４０及びＲＳ４０が人物画像ＬＡ４０及びＲＡ４０中の検出された顔画像の付近に重畳して表示される。
【００４６】
顔検出部１２１が顔画像データを検出すると（ステップＳ１０２でＹＥＳ）、ユーザは顔画像データの検出された人物について、観察者から見てディスプレイ面に対し前方に飛び出しているかのように知覚される３Ｄ画像とするか、観察者からみて丁度ディスプレイ面上にあるかのように知覚される３Ｄ画像とするか、又は観察者からみてディスプレイ面に対し後方に引っ込んでいるかのように知覚される３Ｄ画像とするかの選択を行う（ステップＳ１０３）。この選択処理は、例えば以下のようにして行われる。
【００４７】
図５に撮像装置１において、ユーザがこの選択を行う際の液晶モニタ１４１の表示態様の例を説明する。
撮像装置１には、被写体画像を観察者から見てディスプレイ面に対し前方に飛び出しているかのように知覚されるようにする「飛び出しモード」、被写体画像を丁度ディスプレイ面上にあるかのように知覚されるようにする「標準モード」、及び被写体画像を観察者からみてディスプレイ面に対し後方に引っ込んでいるかのように知覚されるようにする「引っ込みモード」の３種類のモードが予め設定されている。
【００４８】
そして、画像処理部１３７は、ユーザがこれら三種類のモードの中からいずれかのモードを選択するためのモード選択画面ＳＰ５０を生成し、このモード選択画面ＳＰ５０がステップＳ１０２で液晶モニタ１４１に表示されている画面上に重畳して表示される。
【００４９】
図５において、ユーザが「飛び出しモード」を選択すると、被写体画像が観察者から見てディスプレイ面に対し前方に飛び出しているかのように知覚される３Ｄ画像を生成する旨を、立体感決定部１２２が決定する。ユーザが「標準モード」を選択すると、被写体画像が観察者からみて丁度ディスプレイ面上にあるかのように知覚される３Ｄ画像を生成する旨を、立体感決定部１２２が決定する。そして、ユーザが「引き込みモード」を選択すると、被写体画像が観察者から見て画面に対し後方に引っ込んでいるかのように知覚される３Ｄ画像を生成する旨を立体感決定部１２２が決定する。
【００５０】
各モードの選択は、指示画像ＳＰ５１を操作部１４２の図示しない十字キー等をユーザが操作することで行われる。指示画像ＳＰ５１は、選択の際は点滅表示され、ユーザがモードを確定すると点滅表示を止めて周囲の画像と色を変える等の態様とすることが考えられる。
【００５１】
図３に戻り、ステップＳ１０３の選択がなされると、算出部１２３がステップＳ１０２で検出された左右眼画像中の顔画像データから、視差調整に利用する基準点及び対応点の算出を行う（ステップＳ１０４）。この基準点及び対応点の算出は、例えば顔画像の領域を特定し、その領域の中心座標を求める方法が採用される。
【００５２】
顔画像の領域の特定には、例えば特開２０００−３３９４７６号公報等に記載された手法が採用される。
すなわち、図６に示すように算出部１２３は先ずステップＳ１０２で検出された顔画像の中心線ｆｃを特定する。この中心線ｆｃの特定は顔画像中の左右の画素値の対象性が高いｘ座標を求めることで行われる。
【００５３】
顔画像の中心線が特定されると、顔画像の濃淡からｘ方向及びｙ方向のエッジを強調したｘ方向エッジ情報とｙ方向エッジ情報が算出される。そして、算出部１２３は先ずｘ方向エッジ情報をｘ方向に投影加算処理し、ｘ方向エッジ投影ヒストグラムＸＨＧを求める。
顔画像の場合、ｘ方向のエッジは通常顔の輪郭の部分の多くに現れる。算出部１２３は、ｘ方向エッジ投影ヒストグラムＸＨＧの値の高いところを顔中心線から左右方向に探索し、顔画像の領域の横幅Ｗhを決定する。
【００５４】
横幅Ｗhが決定されると、ｙ方法エッジ情報をｙ方向に投影加算処理し、ｙ方向エッジ投影ヒストグラムＹＨＧを求める。顔の縦幅を決定する場合、目の付近にｙ方向エッジが集中的に現れ、その下の頬の部分にはｙ方向エッジがほとんど現れないことを利用して、目のｙ座標候補位置を検出し、その目のｙ座標候補と横エッジ投影ヒストグラムＨＨＧから顔画像の領域の縦幅Ｗvを決定する。
【００５５】
以上のようにして、算出部１２３は、顔画像の領域を特定する。そして、算出部１２３は、図７に示すように顔画像の領域の４つの頂点Ｐ７１、Ｐ７２、Ｐ７３、及びＰ７４の座標を算出し、この４つの頂点座標から顔画像の領域の中央座標ＣＰ７０を算出する。そして、左眼用画像中の顔画像の中央座標が基準点とされ、右眼用画像中の顔画像の中央座標が対応点とされる。
なお、右眼用画像中の顔画像の中央座標を基準点とし、左眼用が像中の中央座標を対応点としてもよい。また、顔画像の領域の特定は、上記に述べた以外にも既知の他のアルゴリズムを使用して行ってもよい。
【００５６】
ステップＳ１０４で算出部１２３が基準点及び対応点を算出すると、視差調整部１２４がその基準点と及び対応点との間の水平方向の視差調整を行う（ステップＳ１０５）。図８は左右眼画像における基準点及び対応点間の水平方向の視差と、被写体画像のディスプレイ面に対する前方への飛び出し又は後方への引っ込み等の関係を示す概念図である。
【００５７】
図８において、液晶モニタ１４１又は入出力端子１４３を介して接続される外部モニタ等のディスプレイ面をＤＰ８０、観察者とディスプレイ面ＤＰ８０の距離をＤとする。以下にステップＳ１０３で選択された各モードにおける視差調整について説明する。
【００５８】
＜飛び出しモードにおける視差調整＞
図８（ａ）において、ディスプレイ面ＤＰ８０上の左眼用画像中の被写体画像の位置をＬf、右眼用画像中の被写体画像の位置をＲfとすると、観察者が左眼ＬＥ８０でＬf、右眼ＲＥ８０でＲfを観察した場合、被写体はＰfの位置で結像する。これにより観察者からは被写体画像がディスプレイ面ＤＰ８０に対して前方に飛び出しているかのように知覚されることになる。
【００５９】
視差調整部１２４は、ステップＳ１０４で算出された左眼用画像中の基準点及び右眼用画像中の対応点について、図８（ａ）に示したＬf及びＲfの配置と同様に、基準点を対応点の右側に配置し、被写体画像がディスプレイ面ＤＰ８０の前方で結像する関係となるよう視差調整を行う。
【００６０】
ここで、観察者の左眼ＬＥ８０と右眼ＲＥ８０の距離をＥ、像ＬfとＲfの視差をＶfとすると、ディスプレイ面ＤＰ８０から結像位置までの距離Ｚfは以下の式（１）の通りとなる。
【００６１】
（Ｅ＋Ｖf）Ｚf＝Ｄ・Ｖf ・・・（１）
【００６２】
上述の通り、飛び出しモードでは、観察者は被写体画像をディスプレイ面Ｄ８０とは異なるところで知覚することになる。一方で、ピントはディスプレイ面ＤＰ８０にあっていることになるため、この両者の乖離が大きいと、観察者に視覚疲労や不快感を生じるおそれがある。
また、視差Ｖfが大きすぎると、被写体は飛び出しているようには知覚されず、単なる二重の画像として知覚されてしまうおそれがある。
【００６３】
上記観察者の左眼ＬＥ８０と右眼ＲＥ８０の距離Ｅを一般的な人の瞳孔間隔である６．５ｃｍとし、上記観察者からディスプレイ面ＤＰ８０までの視聴距離Ｄを標準観視距離であるディスプレイの長辺の３倍距離とした場合に、観察者の眼に負担をかけず、快適に３Ｄ画像として認識できる左眼用画像と右眼用画像との間の視差量として、ディスプレイ面の幅の２．９％（視差角にして約１度）以下とすることが望ましい旨が報告されている（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」 ３Ｄコンソーシアム安全ガイドライン部会発行 ２０１０年４月２０日改訂版）。
【００６４】
そこで、視差調整部１２４は、図８（ａ）に示すディスプレイ面幅ＤＷと視差Ｖfが以下の式（２）の関係となるように視差の調整を行う。
【００６５】
Ｖf／ＤＷ ＝ ０．０２９ ・・・（２）
【００６６】
ここで、上記ディスプレイ面幅ＤＷには、撮像装置１が備える液晶モニタ１４１の幅が予め設定されている値として採用される。ユーザが所有しているＴＶディスプレイ等の外部モニタに画像を表示させる場合は、その幅を入力し、その値を採用するようにしてもよい。
上記Ｖfは予め設定又は入力されたディスプレイ面幅ＤＷから式（２）に基づいて算出された値を採用する。ここで、ユーザが操作部１４２を使用して、事前にその値を調整することで、ディスプレイ面ＤＰ８０から結像位置までの距離Ｚfをさらに好みの値として変更することができるようにしてもよい。
【００６７】
以上のように撮像装置１によれば、ユーザが、被写体画像が観察者からみてディスプレイ面に対し前方に飛び出しているかのような３Ｄ画像の撮影を望む場合に、簡単に適切な飛び出し度合いに調整された３Ｄ画像を撮影することができる。
また、動画の撮影中に被写体となる人物が移動した場合であっても、その人物の顔画像から基準点及び対応点を算出するため、移動中及び移動後もその人物を適切な飛び出し度合いに調整された３Ｄ画像として撮影することができる。
【００６８】
＜通常モードにおける視差調整＞
図８（ｂ）において、ディスプレイ面ＤＰ８０上の左眼用画像中の被写体の位置と、右眼用画像中の被写体の位置が同一となった場合、被写体は表示面Ｄ８０上のＰcで結像する。これにより観察者からは被写体画像がディスプレイ面ＤＰ８０上にあるかのように知覚されることになる。
【００６９】
視差調整部１２４は、ステップＳ１０４で算出された左眼用画像中の基準点及び右眼用画像中の対応点について、この図８（ｂ）に示すように、両者の水平座標が等しくなるように配置し、被写体画像が表示面ＤＰ８０上で結像する関係となるよう視差調整を行う。
【００７０】
以上のように撮像装置１によれば、ユーザが、被写体画像が観察者からみて丁度画面上にあるかのような３Ｄ画像の撮影を望む場合に、そのように調整された３Ｄ画像を簡単に撮影することができる。
また、動画の撮影中に被写体となる人物が移動した場合であっても、その人物の顔画像から基準点及び対応点を算出するため、移動中及び移動後もその人物がちょうど画面上にあるかのように知覚できる３Ｄ画像として撮影することができる。
【００７１】
＜引き込みモードにおける視差調整＞
図８（ｃ）において、ディスプレイ面ＤＰ８０上の左眼用画像中の被写体画像の位置をＬb、右眼用画像中の被写体画像の位置をＲbとすると、観察者が左眼ＬＥ８０でＬb、右眼ＲＥ８０でＲbを観察した場合、被写体画像はＰbの位置で結像する。これにより観察者からは被写体画像がディスプレイ面ＤＰ８０に対して後方に引き込んでいるかのように知覚されることになる。
【００７２】
視差調整部１２４は、ステップＳ１０４で算出された左眼用画像中の基準点及び右眼用画像中の対応点について、図８（ｃ）に示したＬb及びＲbの配置と同様に、基準点を対応点の左側に配置し、被写体画像がディスプレイ面ＤＰ８０の後方で結像する関係となるよう調整を行う。
【００７３】
ここで、観察者の左眼ＬＥ８０と右眼ＲＥ８０の距離をＥ、像ＬbとＲbの視差をＶfとすると、ディスプレイ面ＤＰ８０から結像位置までの距離Ｚbは以下の式（３）の通りとなる。
【００７４】
（Ｅ−Ｖb）Ｚb＝Ｄ・Ｖb ・・・（３）
【００７５】
引き込みモードにおいても、左右眼画像間の視差によっては、観察者に視覚疲労や不快感を生じるおそれがあること、被写体が引き込んでいるようには知覚されず、単なる二重の画像として知覚されるおそれがあることは、上述の飛び出しモードと同様である。
【００７６】
そこで、視差調整部１２４は、図８（ｃ）に示すディスプレイ面幅ＤＷと視差Ｖbが以下の式（４）関係となるように視差の調整を行う。
【００７７】
Ｖb／ＤＷ ＝ ０．０２９ ・・・（４）
【００７８】
ここで、上記ディスプレイ面幅ＤＷには、撮像装置１が備える液晶モニタ１４１の幅が予め設定されている値として採用される。ユーザが所有しているＴＶディスプレイ等の外部モニタに画像を表示させる場合は、その幅を入力し、その値を採用するようにしてもよい。
上記Ｖbは予め設定又は入力されたディスプレイ面幅ＤＷから式（４）に基づいて算出された値を採用する。ここで、ユーザが操作部１４２を使用して、事前にその値を調整することで、ディスプレイ面ＤＰ８０から結像位置までの距離Ｚbをさらに好みの値として変更することができるようにしてもよい。
【００７９】
さらに、表示面から引き込んでいるかのうように知覚される３Ｄ画像では、ディスプレイ上における水平方向の視差が５ｃｍを超えないようにすることが望ましい旨が方向されている（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」 ３Ｄコンソーシアム安全ガイドライン部会発行 ２０１０年４月２０日改訂版）。
人の両眼は外側には開かないことから、両眼の瞳孔間隔以上に離れた被写体を左眼及び右眼でそれぞれ独立して観察することは、眼精疲労や３Ｄ画像の破綻を誘発するおそれがあるためである。
【００８０】
そこで、視差調整部１２４は、上記式（４）で導き出されるＶｂが５ｃｍを超える場合には、Ｖｂを５ｃｍとするようにしても良い。Ｖｂが５ｃｍ以上かどうかの判定及び、５ｃｍとする調整は、予め設定又は入力されているＤＷの値から５ｃｍ相当のピクセル数を算出することで行われる。
【００８１】
以上のように撮像装置１によれば、ユーザが、被写体画像が観察者からみてディスプレイ面に対し後方に引っ込んでいるかのような３Ｄ画像の撮影を望む場合に、簡単に適切な引っ込み度合いに調整された３Ｄ画像を撮影することができる。
また、動画の撮影中に被写体となる人物が移動した場合であっても、その人物の顔画像から基準点及び対応点を算出するため、移動中及び移動後もその人物を適切な引っ込み度合いに調整された３Ｄ画像として撮影することができる。
【００８２】
図３に戻り、ステップＳ１０５で視差調整部１２４による視差の調整が完了すると、出力画像領域決定部１２５が当該視差に基づき、ステップＳ１０１でＳＤＲＡＭ１３３に一時記録された撮影画像データから出力する画像データの領域を決定する（ステップＳ１０６）。
図９に示すように、出力画像領域決定部１２５は、左眼用撮影データＬＰ９０から左眼用出力画像データＬＰ９１を、右眼用撮影データＲＰ９０から右眼用出力画像データＲＰ９１を、基準点ＬＣＰ９０及び対応点ＲＣＰ９０が視差Ｖ９０を有するように出力画像の領域として決定する。
【００８３】
ステップＳ１０６で出力画像領域決定部１２５に決定された領域の画像データは、入出力Ｉ／Ｆ１４０を解して液晶モニタ１４１に出力・表示される、或はカードＩ／Ｆ１３８を解してカード型記録媒体１３９に出力され記録される（ステップＳ１０７）
【００８４】
ユーザが操作部１４２の図示しない録画ボタンを離す等して撮影を終了すると、撮像装置１はこの処理を終了する。
また、ステップＳ１０２で顔画像を検出しなかった場合も、ユーザが撮影を終了すると、撮像装置１はこの処理を終了する。
【００８５】
以上のように、撮像装置１によれば、ユーザは被写体について適切な視差を有する好みの３Ｄ画像を撮影することができる。
また、動画撮影中に被写体が移動した場合であっても、その被写体を好みの立体感を有する３Ｄ画像としたまま撮影を続けることができる。
【００８６】
＜第二の実施形態＞
次に、撮像装置１による、複数の被写体の中から主として撮影されている被写体を特定し、その被写体がユーザの好みの立体感を有する３Ｄ画像として動画を撮影する処理を第二の実施形態として説明する。
図１０は、この第二の実施形態に係る処理を説明するためのフローチャートである。
【００８７】
本処理は、ユーザが操作部１４２の図示しない録画ボタンを押したとき、図１のＣＰＵ１２０の統括制御によりプログラムに従い実行される。また、ユーザが撮像装置１の電源を入れ、操作部１４２の図示しないボタン等を使用して撮影モードを選択したとき、或は録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【００８８】
左眼用撮像部Ｌ１００及び右眼用撮像部Ｒ１００を介して、左眼用及び右眼用の撮影画像データがそれぞれ取得され、ＳＤＲＡＭ１３３に一時記憶される（ステップＳ２０１）。
【００８９】
ステップＳ２０１で左眼用及び右眼用の撮影データがＳＤＲＡＭ１３３に一時記憶されると、顔検出部１２１がこれらの撮影画像データから顔画像データを検出する（ステップＳ２０２）。顔検出部１２１による顔画像データの検出は、上述のステップＳ１０２と同様にして行われる。
【００９０】
ここで、顔検出部１２１が複数の顔画像データを検出した場合（ステップＳ２０２でＹＥＳ）、顔画像特定部１２６が、左右眼画像間の視差調整に使用する主となる被写体の顔画像データを特定する（ステップＳ２０３）。
【００９１】
図１１に、顔検出部１２１が複数の顔画像を検出した場合の、液晶モニタ１４１の表示態様の例を示す。液晶モニタ１４１は図１１に示すように左眼用画像ＬＰ１１０及び右眼用画像ＲＰ１１０をサイド・バイ・サイドで表示する。左眼用画像ＬＰ１１０中には人物画像ＬＡ１１、ＬＢ１１及びＬＣ１１が表示されている。右眼用画像ＲＰ１１０中には人物画像ＲＡ１１、ＲＢ１１及びＲＣ１１が表示されている。
【００９２】
左眼用画像ＬＰ１１０では、画像処理部１３７が生成した図形画像ＬＳ１１１、ＬＳ１１２及びＬＳ１１３が人物画像ＬＡ１１、ＬＢ１１及びＬＣ１１中の検出された顔画像の付近に重畳して表示される。
右眼用画像ＲＰ１１０では、画像処理部１３７が生成した図形画像ＲＳ１１１、ＲＳ１１２及びＲＳ１１３が人物画像ＲＡ１１、ＲＢ１１及びＲＣ１１中の検出された顔画像の付近に重畳して表示される。
【００９３】
顔画像特定部１２６による特定には、以下に例示するような方法が考えられる。
＜顔画像の大きさによる特定＞
顔画像特定部１２６は、検出された顔画像データそれぞれの領域を特定する。この顔画像の領域の特定には、ステップＳ１０４において説明した算出部１２３による顔画像データの領域の特定と同様の手法が用いられる。
顔画像特定部１２６は、それぞれの顔画像データの領域の特定が完了すると、その縦幅及び横幅から各領域の面積を算出する。
【００９４】
そして、顔画像特定部１２６は、算出された面積が最も大きい顔画像データを主被写体の顔画像データとし、左眼用画像及び右眼用画像の視差を調整する基準として特定する。主として撮影されている被写体は、撮影画像の中でも大きく撮影されていることが多いからである。図１１の例では、人物画像ＬＡ１１及びＲＡ１１の顔画像データを視差調整の基準として使用する。
【００９５】
或は、算出された面積の値が中間となる顔画像データを、左右願画像の視差を調整する基準として特定することもできる。撮影されている各人物の顔画像データの大きさと、撮像装置１から各人物までの距離とは、概ね比例する関係にある。全被写体の中で撮影装置との距離が中間の関係にある人物が主として撮影されている被写体となることも多いからである。
【００９６】
なお、左眼用画像及び右眼用画像の視差調整の基準とする人物を、顔画像データの面積の最も大きい人物とするか、中間の人物とするか、或は最も小さい人物をするかを予めユーザが設定できるようにしてもよい。
【００９７】
＜顔画像の登録の有無による特定＞
顔画像記録部１２８には、予め登録した人物の顔画像データの情報が記録されている。顔画像特定部１２６は、検出された顔画像の中から顔画像記録部１２８に予め記録されている人物の顔画像データがあるかどうかを判定する。そして、検出された顔画像データが、顔画像記録部１２８に記録されている人物のものである場合は、その顔画像を左眼用画像及び右眼用画像の視差調整の基準とする。
予め顔画像データが登録されているような人物は、撮像装置１を使用するユーザが主として撮影している被写体である可能性が高いためである。
【００９８】
なお、検出された顔画像データと顔画像記録部１２８に登録された顔画像データとの一致の判定は、既知のアルゴリズムを用い、顔らしさを示す特徴点が類似しているかどうかの観点から行う。
【００９９】
＜ユーザの指定による特定＞
顔画像特定部１２６は、ユーザが指定した顔画像データを、左眼用画像及び右眼用画像の視差調整の基準として使用することもできる。
例えば、図１１に示した顔検出の結果表示画面において、検出された顔画像の中から、ユーザが基準となる顔画像を指定する手法が考えられる。この指定は、操作部１４２の図示しないタッチパネルや十字キーを用いて行うことが考えられる。
【０１００】
このユーザによる指定に当たっては、サイド・バイ・サイドで表示された左眼用画像及び右眼用画像の両方から同一の人物の顔画像を指定するようにしてもよい。また、左眼用画像又は右眼用画像の何れか一方から指定し、他方の画像においては顔らしさを示す特徴量が似た顔画像を抽出する等して特定してもよい。
【０１０１】
以上のように撮像装置１によれば、複数の人物を撮影している場合や、人ごみのなかで撮影を行った場合等においても、好みの立体感としたい人物を特定した上で３Ｄ画像の撮影を行える。
【０１０２】
ステップＳ２０３で、顔画像特定部１２６が、左右眼画像間の視差調整の基準とする顔画像データを特定すると、ユーザは顔画像データの検出された人物について、観察者から見てディスプレイ面に対し前方に飛び出しているかのように知覚される３Ｄ画像とするか、観察者からみて丁度ディスプレイ面上にあるかのように知覚される３Ｄ画像とするか、又は観察者からみてディスプレイ面に対し後方に引っ込んでいるかのように知覚される３Ｄ画像とするかの選択を行う（ステップＳ２０４）
この選択処理は、上述のステップＳ１０３と同様に、立体感を選択する画面を使用して、「飛び出しモード」、「標準モード」、及び「引き込みモード」の中からユーザがいずれかのモードを選択することで行われる。
【０１０３】
ステップＳ２０４の選択がなされると、算出部１２３がステップＳ２０３で特定された左右眼画像中の顔画像データから、視差調整に利用する基準点及び対応点の算出を行う（ステップＳ２０５）。
この対応点の算出は、上述のステップＳ１０４と同様に左眼用画像中の顔画像及び右眼用画像中の顔画像の中央座標をそれぞれ算出し、基準点又は対応点とする方法で行われる。
【０１０４】
ステップＳ２０５で算出部１２３が基準点及び対応点を算出すると、視差調整部１２４がその基準点と及び対応点との間の水平方向の視差調整を行う（ステップＳ２０６）。
この視差調整は、上述のステップＳ１０５と同様に、基準点及び対応点を、飛び出しモード、標準モード、又は引き込みモードのそれぞれに応じた配置とすることで行われる。
【０１０５】
ステップＳ２０６で視差調整部１２４による視差の調整が完了すると、出力画像領域決定部１２５が当該視差に基づき、ステップＳ２０１でＳＤＲＡＭ１３３に一時記録された撮影画像データから出力する画像データの範囲を決定する（ステップＳ２０７）。
この画像データの範囲の決定は、上述のステップＳ１０６と同様にして行われる。
【０１０６】
ステップＳ２０７で出力画像領域決定部１２５に決定された領域の画像データは、入出力Ｉ／Ｆ１４０を解して液晶モニタ１４１に出力・表示される、或はカードＩ／Ｆ１３８を解してカード型記録媒体１３９に出力され記録される（ステップＳ２０８）
【０１０７】
顔検出部１２１が複数の顔画像データを検出しなかった場合（ステップＳ２０２でＮＯ）で、顔検出部１２１が一人の人物の顔画像データを検出した場合（ステップＳ２０９でＹＥＳ）は、この検出された顔画像データに基づいて、ユーザの好みの立体化を有する３Ｄ画像の撮影処理が行われる。
この処理は、上述の第一の実施態様で述べた例と同様であるため詳細な説明は省略する。
【０１０８】
ユーザが操作部１４２の図示しない録画ボタンを離す等して撮影を終了すると、撮像装置１はこの処理を終了する。
また、ステップＳ２０９で顔画像を検出しなかった場合（ステップＳ２０９でＮＯ）も、ユーザが撮影を終了すると、撮像装置１はこの処理を終了する。
【０１０９】
以上のように、撮像装置１によれば、複数の被写体を撮影する、又は人ごみの中で撮影する等の場合であっても、主として撮影されている被写体が特定され、その特定された被写体について適切な視差を有する好みの３Ｄ画像を撮影することができる。
また、動画撮影中に特定された被写体が移動した場合であっても、その被写体を好みの立体感を有する３Ｄ画像としたまま撮影を続けることができる。
【０１１０】
＜第三の実施形態＞
上記第一及び第二の実施形態において説明したように、左眼用画像及び右眼用画像の視差に基づく立体感の調整を行った場合、ＳＤＲＡＭ１３３に一時記憶された撮影データが不足することがある。このときの撮像装置１の処理を第三の実施形態として以下に説明する。
図１２は、この第三の実施形態に係る処理を説明するためのフローチャートである。
【０１１１】
本処理は、ユーザが操作部１４２の図示しない録画ボタンを押したとき、図１のＣＰＵ１２０の統括制御によりプログラムに従い実行される。また、ユーザが撮像装置１の電源を入れ、操作部１４２の図示しないボタン等を使用して撮影モードを選択したとき、或は録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【０１１２】
図１２に示したステップＳ３０１からステップＳ３０６までの各処理の詳細は、上述の第一の実施態様で述べたステップＳ１０１からステップＳ１０６と同様であるため、説明を省略する。
【０１１３】
出力画像判定部１２７は、出力画像領域決定部１２５が領域を決定した左眼用及び右眼用の画像データの領域が、ステップＳ３０１でＳＤＲＡＭ１３３に一時記録された撮影データに収まるか否かの判定を行う（ステップＳ３０７）。
算出部１２３が算出した基準点及び対応点に基づき左右眼画像間の視差を調整した場合、水平方向の撮影画像データが不足する場合がある。
【０１１４】
例えば、図１３に示すように、ＳＤＲＡＭ１３３に一時記録されている左眼用撮影画像データＬＰ１３０及び右眼用撮影画像データＲＰ１３０から視差Ｖ１３を有するように画像データを切り出そうとすると、左眼用画像データＬＰ１３１の範囲では領域ＬＰ１３２の分だけ、右眼用画像データＲＰ１３１の範囲では領域ＲＰ１３２の分だけ一時記録されている撮像画像データに不足が生じる。
【０１１５】
このように、出力画像領域決定部１２５が決定した領域の画像データを出力する際に、少なくとも左眼用又は右眼用いずれか一方の一時記録された撮影画像データに不足がある場合は（ステップＳ３０７でＮＯ）、撮影画像データに不足がある旨がユーザに提示される。
【０１１６】
この提示の例としては、図１４に示す態様が考えられる。画像処理部１３７が提示画像ＳＰ１４を生成し、ステップＳ３０２で液晶モニタ１４１に表示されている画面上に重畳して表示する。
この提示により、ユーザが左右眼画像の何れか一方又は両方について、出力画像が不足した３Ｄ画像を誤って撮影するのを防止することができる。また、ユーザはズーム倍率を変更する、又は各モードにおける視差量の設定を変更する等して、改めて好みの３Ｄ画像を撮影することができる。
【０１１７】
出力画像領域決定部１２５が決定した領域の画像データを出力する際に、少なくとも左右眼用いずれか一方の一時記録された撮影画像データに不足がないと判断した場合は（ステップＳ３０７でＹＥＳ）、ステップＳ３０６で出力画像領域決定部１２５に決定された範囲の画像が、入出力Ｉ／Ｆ１４０を解して液晶モニタ１４１に出力・表示される、或はカードＩ／Ｆ１３８を解してカード型記録媒体１３９に出力され記録される（ステップＳ３０８）
【０１１８】
ユーザが操作部１４２の図示しない録画ボタンを離す等して撮影を終了すると、撮像装置１はこの処理を終了する。
また、ステップＳ３０２で顔画像データを検出しなかった場合（ステップＳ３０２でＮＯ）も、ユーザが撮影を終了すると、撮像装置１はこの処理を終了する。
【０１１９】
以上のように、撮像装置１によれば左右眼画像間の視差調整の結果、一時記録されている撮影画像データに不足が生じてしまう場合であっても、その旨をユーザに提示することができるため、３Ｄ画像撮影の失敗を防止することができる。
【０１２０】
また、上記第三の実施態様の中で説明した出力画像判定部１２７による判定処理は、図１５のフローチャートに示すように、複数の被写体の中からユーザが任意に選択した被写体に関し、好みの立体感を有する３Ｄ画像を撮影する処理においても採用できる。
【０１２１】
図１５に示した各ステップの詳細は、上記第一から第三の実施態様の中で説明したものと同様であるため、繰り返して説明することは省略する。
【０１２２】
以上に述べた通り、本発明によれば、ユーザは被写体の立体感について、自分の好みに合わせた適切な３Ｄ画像を簡単に撮影することができる。
また、複数の被写体の中から任意に選択した被写体に対し、好みの立体感を有する適切な３Ｄ画像を簡単に撮影することができる。
【０１２３】
なお、本発明は、本明細書において説明した例や図示された例、特に例のなかで述べた数値に限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってもよいのはもちろんである。
【符号の説明】
【０１２４】
１ 撮像装置
１２１ 顔検出部
１２２ 立体感決定部
１２３ 算出部
１２４ 視差調整部
１２５ 出力画像領域決定部
１２６ 顔画像特定部
１２７ 出力画像判定部
１２８ 顔画像記録部
１３３ ＳＤＲＡＭ
１３８ カードＩ／Ｆ
１３９ カード型記録媒体
１４０ 入出力Ｉ／Ｆ
１４１ 液晶モニタ
１４２ 操作部
【特許請求の範囲】
【請求項１】
第一の撮影画像及び第二の撮影画像を記録するメモリと、
前記メモリに記録された前記第一の撮影画像及び前記第二の撮影画像のそれぞれから被写体の顔画像を検出する顔検出部と、
前記顔検出部によって顔画像の検出された被写体の立体感を決定する立体感決定部と、
前記顔検出部が検出した顔画像から、前記第一の撮影画像中の基準部分と、その基準部分に対応する前記第二の撮影画像中の対応部分をそれぞれ算出する算出部と、
前記算出部によって算出された前記基準部分と前記対応部分との間の視差を前記立体感決定部が決定した立体感に基づいて調整する視差調整部と、
前記視差調整部によって調整された視差を有するように第一の出力画像及び第二の出力画像の領域をそれぞれ決定する出力画像領域決定部と、
前記出力画像領域決定部によって決定された領域の前記第一の出力画像及び前記第二の出力画像を、前記メモリに記録された前記第一の撮影画像及び前記第二の撮影画像のそれぞれから抽出して出力する画像出力部と
を有することを特徴とする３Ｄ画像処理装置。
【請求項２】
前記顔検出部によって複数の顔画像が検出された場合に、前記第一の撮影画像及び前記第二の撮影画像のそれぞれにおいて、それら複数の顔画像から一の顔画像を特定する顔画像特定部をさらに備え、
前記立体感決定部は、前記顔画像特定部が特定した顔画像を有する被写体の立体感を決定し、
前記算出部は、前記顔画像特定部が特定した顔画像から、前記第一の撮影画像中の基準部分と、その基準点に対応する前記第二の撮影画像中の対応部分とをそれぞれ算出することを特徴とする請求項１に記載の３Ｄ画像処理装置。
【請求項３】
前記顔画像特定部は、前記顔検出部が検出した前記複数の顔画像の大きさに基づいて前記一の顔画像を特定することを特徴とする請求項２に記載の３Ｄ画像処理装置。
【請求項４】
前記顔検出部が検出した複数の顔画像の中から、ユーザが一の顔画像を選択する選択部をさらに備え、
前記顔画像特定部は、前記選択部によりユーザが選択した顔画像を前記一の顔画像として特定することを特徴とする請求項２に記載の３Ｄ画像処理装置。
【請求項５】
予め登録された人物の顔画像の情報を記録した顔画像記録部をさらに備え、
前記顔画像特定部は、前記顔画像記録部に予め登録された人物の顔画像を前記一の顔画像として特定することを特徴とする請求項２に記載の３Ｄ画像処理装置。
【請求項６】
前記出力画像領域決定部によって決定された前記第一の出力画像の領域が前記メモリに記録された前記第一の撮影画像内に収まるものであるかどうか、及び前記第二の出力画像の領域が前記メモリに記録された前記第二の撮影画像内に収まるものであるかどうかを判定する出力画像判定部と、
前記出力画像判定部が、前記第一の出力画像の領域が前記メモリに記録された前記第一の撮影画像内に収まらないと判定した場合、又は前記第二の出力画像の領域が前記メモリに記録された前記第二の撮影画像内に収まらないと判定した場合には、ユーザにその旨を提示する提示部とをさらに有することを特徴とする前記請求項１から５のいずれか１項に記載の３Ｄ画像処理装置。
【請求項７】
前記算出部は前記顔検出部が検出した前記第一の撮影画像及び前記第二の撮影画像の顔画像の中心座標を、前記第一の撮影画像中の基準部分及び前記第二の撮影画像中の対応部分として算出することを特徴とする請求項１から６のいずれか１項に記載の３Ｄ画像処理装置。
【請求項１】
第一の撮影画像及び第二の撮影画像を記録するメモリと、
前記メモリに記録された前記第一の撮影画像及び前記第二の撮影画像のそれぞれから被写体の顔画像を検出する顔検出部と、
前記顔検出部によって顔画像の検出された被写体の立体感を決定する立体感決定部と、
前記顔検出部が検出した顔画像から、前記第一の撮影画像中の基準部分と、その基準部分に対応する前記第二の撮影画像中の対応部分をそれぞれ算出する算出部と、
前記算出部によって算出された前記基準部分と前記対応部分との間の視差を前記立体感決定部が決定した立体感に基づいて調整する視差調整部と、
前記視差調整部によって調整された視差を有するように第一の出力画像及び第二の出力画像の領域をそれぞれ決定する出力画像領域決定部と、
前記出力画像領域決定部によって決定された領域の前記第一の出力画像及び前記第二の出力画像を、前記メモリに記録された前記第一の撮影画像及び前記第二の撮影画像のそれぞれから抽出して出力する画像出力部と
を有することを特徴とする３Ｄ画像処理装置。
【請求項２】
前記顔検出部によって複数の顔画像が検出された場合に、前記第一の撮影画像及び前記第二の撮影画像のそれぞれにおいて、それら複数の顔画像から一の顔画像を特定する顔画像特定部をさらに備え、
前記立体感決定部は、前記顔画像特定部が特定した顔画像を有する被写体の立体感を決定し、
前記算出部は、前記顔画像特定部が特定した顔画像から、前記第一の撮影画像中の基準部分と、その基準点に対応する前記第二の撮影画像中の対応部分とをそれぞれ算出することを特徴とする請求項１に記載の３Ｄ画像処理装置。
【請求項３】
前記顔画像特定部は、前記顔検出部が検出した前記複数の顔画像の大きさに基づいて前記一の顔画像を特定することを特徴とする請求項２に記載の３Ｄ画像処理装置。
【請求項４】
前記顔検出部が検出した複数の顔画像の中から、ユーザが一の顔画像を選択する選択部をさらに備え、
前記顔画像特定部は、前記選択部によりユーザが選択した顔画像を前記一の顔画像として特定することを特徴とする請求項２に記載の３Ｄ画像処理装置。
【請求項５】
予め登録された人物の顔画像の情報を記録した顔画像記録部をさらに備え、
前記顔画像特定部は、前記顔画像記録部に予め登録された人物の顔画像を前記一の顔画像として特定することを特徴とする請求項２に記載の３Ｄ画像処理装置。
【請求項６】
前記出力画像領域決定部によって決定された前記第一の出力画像の領域が前記メモリに記録された前記第一の撮影画像内に収まるものであるかどうか、及び前記第二の出力画像の領域が前記メモリに記録された前記第二の撮影画像内に収まるものであるかどうかを判定する出力画像判定部と、
前記出力画像判定部が、前記第一の出力画像の領域が前記メモリに記録された前記第一の撮影画像内に収まらないと判定した場合、又は前記第二の出力画像の領域が前記メモリに記録された前記第二の撮影画像内に収まらないと判定した場合には、ユーザにその旨を提示する提示部とをさらに有することを特徴とする前記請求項１から５のいずれか１項に記載の３Ｄ画像処理装置。
【請求項７】
前記算出部は前記顔検出部が検出した前記第一の撮影画像及び前記第二の撮影画像の顔画像の中心座標を、前記第一の撮影画像中の基準部分及び前記第二の撮影画像中の対応部分として算出することを特徴とする請求項１から６のいずれか１項に記載の３Ｄ画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−９９８９６（Ｐ２０１２−９９８９６Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４３４６１（Ｐ２０１０−２４３４６１）
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]