３Ｄ画像撮像装置及びプログラム
【課題】ユーザが近景撮像を行っているのか又は遠景撮像を行っているのかを判断し、各撮像において適切に手ぶれ補正及び視差調整を行うことで、眼精疲労や画像酔いを誘発しにくい、快適な３Ｄ画像の撮像が可能な３Ｄ画像撮像装置及びプログラムを提供する。
【解決手段】手ぶれ補正部４０３は、左眼用及び右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行う。視差調整部４０４は、左眼用及び右眼用撮像データから水平方向の視差調整用の領域を除くことで垂直方向の視差調整を行う。判定部４０２は、近景撮像及び遠景撮像の判断を行い、近景撮像であると判断した場合は、手ぶれ補正部４０３が前記手ぶれ補正を行い、遠景撮像であると判断した場合は、視差調整部４０４が水平方向の視差調整を行った後、手ぶれ補正部４０３が前記手ぶれ補正を行う。
【解決手段】手ぶれ補正部４０３は、左眼用及び右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行う。視差調整部４０４は、左眼用及び右眼用撮像データから水平方向の視差調整用の領域を除くことで垂直方向の視差調整を行う。判定部４０２は、近景撮像及び遠景撮像の判断を行い、近景撮像であると判断した場合は、手ぶれ補正部４０３が前記手ぶれ補正を行い、遠景撮像であると判断した場合は、視差調整部４０４が水平方向の視差調整を行った後、手ぶれ補正部４０３が前記手ぶれ補正を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３Ｄ画像撮像装置及びプログラムに関し、より詳細には、撮像が近景撮像又は遠景撮像であった場合は、その旨を判断して適切な手ぶれ補正及び視差調整を行う３Ｄ画像撮像装置及びプログラムに関する。
【背景技術】
【０００２】
近年、水平方向に視差を有する２つの画像が左眼用画像及び右眼用画像としてディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された被写体画像があたかも立体的に存在するかのように知覚できる３Ｄ画像に関する技術の開発が盛んに行われている。
【０００３】
３Ｄ画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像がディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式がよく知られている。
【０００４】
また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式等もよく知られている。
【０００５】
これらの３Ｄ画像に関する技術では、観察者から見て３Ｄ画像中の被写体画像が、ディスプレイ面に対しどの程度前方に飛び出しているように知覚されるか、又はディスプレイ面に対しどの程度後方に引っ込んでいるように知覚されるかは、左眼用画像と右眼用画像との間の水平方向の視差によって決定される。
【０００６】
一方で、左眼用画像及び右眼用画像の水平方向の視差が適切に調節されていない３Ｄ画像は、例えば被写体画像の前方への飛び出し又は後方への引っ込みが大きすぎた場合に、観察者に負担をかけ、眼精疲労や画像酔い等の原因となる可能性が指摘されている。そこで、左眼用画像及び右眼用画像の水平方向の視差を適切に調整しつつ３Ｄ画像を撮像する撮像装置に関する技術が盛んに開発されている。
【０００７】
左眼用画像及び右眼用画像の水平方向の視差調整に関しては、撮像装置に搭載された左眼用撮像部の光軸と右眼用撮像部の光軸とがなす輻輳角を調整して行う方法と、固体撮像素子やメモリに一時記憶された左眼用撮像データ及び右眼用撮像データのそれぞれから視差調整用の領域の画像データを除き、出力する画像データの範囲を調整して行う方法とがある。
【０００８】
後者の例として、特許文献１には、被写体の距離に応じて、一時記憶された左眼用撮像データ及び右眼用撮像データのそれぞれから出力する画像データのアスペクト比を変更することで、３Ｄ画像の視差を調整する撮像装置に関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−１４７７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、２Ｄ画像撮像用の単眼式撮像装置においては、ユーザの手ぶれによる画像の見づらさが引き起こす画像酔いの防止等のため、固体撮像素子やメモリに一時記憶された撮像データの一部を手ぶれ補正用の領域の画像データとして除く手法が広く採用されている。
【００１１】
３Ｄ画像における手ぶれは、通常の手ぶれによる画像の見づらさに加え、左眼用画像及び右眼用画像の上下左右方向のぶれがそのまま垂直方向及び水平方向の視差の変化につながる。そして視差が不安定になると、例えば被写体画像のディスプレイ面に対する飛び出し度合いが不安定になったり、単なる２重の画像としてのみ認識されたりと、観察者に知覚される３Ｄ感を不安定なものにする原因ともなる。
【００１２】
従って、手ぶれによる画像酔い防止の必要性は３Ｄ画像の方が２Ｄ画像よりも大きい。一方で、３Ｄ画像の撮像においても、左眼用画像及び右眼用画像の各々は２Ｄ画像として記録されることから、２Ｄ画像の撮像と同様に、固体撮像素子やメモリに一時記憶された撮像データの一部を手ぶれ補正用の領域の画像データとして除く手法が有効である。
【００１３】
以上から、３Ｄ画像の撮像においては、手ぶれ補正用の領域の画像データの除外と、左眼用画像と右眼用画像との間の視差調整用の領域の画像データの除外を、いかにして適切に両立するかが重要となる。
【００１４】
本発明はこのような問題に鑑みてなされたものであり、ユーザが近景撮像を行っているのか又は遠景撮像を行っているのかを判断し、それぞれの撮像において適切に手ぶれ補正用の領域の画像データの除外と、視差調整用の領域の画像データの除外とを適切に両立することで、眼精疲労や画像酔いを誘発しにくい、快適な３Ｄ画像の撮像を行うことができる３Ｄ画像撮像装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
前記目的を達成するために、本発明は、被写体を撮像して左眼用撮像データを取得する左眼用撮像部（Ｌ１００）及び右眼用撮像データを取得する右眼用撮像部（Ｒ１００）と、前記左眼用撮像データ及び前記右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行う手ぶれ補正部（４０３）と、前記左眼用撮像データ及び前記右眼用撮像データから水平方向の視差調整用の領域を除くことで水平方向の視差調整を行う視差調整部（４０３）と、前記左眼用撮像部及び前記右眼用撮像部の撮像が近景撮像であるか遠景撮像であるかを判断する判断部（４０２）とを備え、前記判断部（４０２）が近景撮像であると判断した場合は、前記手ぶれ補正部（４０３）が前記手ぶれ補正を行い、前記判断部（４０２）が遠景撮像であると判断した場合は、前記視差調整部（４０４）が前記水平方向の視差調整を行った後、前記手ぶれ補正部（４０３）が前記手ぶれ補正を行うことを特徴とする３Ｄ画像撮像装置（１）を提供する。
【００１６】
本発明に係る３Ｄ画像撮像装置（１）によれば、被写体への手ぶれの影響が大きい近景撮像の場合は、撮像データから手ぶれ補正用の領域を十分に確保することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差調整を優先することで、適切な視差の調整を行うことができる。これにより、ユーザは眼精疲労や画像酔いを誘発しにくい、快適な３Ｄ画像の撮像を行うことができる。
【００１７】
上記３Ｄ画像撮像装置（１）はさらに、前記判断部（４０２）が近景撮像であると判断した場合は、前記手ぶれ補正部（４０３）が前記手ぶれ補正を行った後、前記視差調整部（４０４）が前記水平方向の視差調整を行うようにしてもよい。
【００１８】
これにより、手ぶれの影響を受けやすい近距離撮像において十分な手ぶれ補正用の領域を先に優先して確保することで、その影響を十分に抑えることができる。そして、さらに視差調整用の領域を確保することで、視差の調整された３Ｄ画像を生成することができる。
【００１９】
上記３Ｄ画像撮像装置（１）はさらに、前記視差調整部（４０４）がさらに、前記左眼用撮像データ及び前記右眼用撮像データから垂直方向の視差調整用の領域を除くことで垂直方向の視差調整を行い、前記判断部（４０２）が近景撮像であると判断した場合は、前記視差調整部（４０４）が前記垂直方向の視差調整を行った後、前記手ぶれ補正部（４０３）が前記手ぶれ補正を行い、前記判断部（４０２）が遠景撮像であると判断した場合は、前記視差調整部（４０４）が前記垂直方向の視差調整を行った後、前記視差調整部（４０４）が前記水平方向の視差調整を行い、その後に前記手ぶれ補正部（４０３）が前記手ぶれ補正を行うようにしてもよい。
【００２０】
これにより、左眼用撮像部（Ｌ１００）の光軸と右眼用撮像部（Ｒ１００）の光軸の垂直方向のずれ等により、左眼用撮像データと右眼用撮像データとの間に垂直方向の視差が存在する場合に、まずその垂直方向の視差を補正することができる。そして、被写体への手ぶれの影響が大きい近景撮像の場合は、撮像データから手ぶれ補正用の領域を十分に確保することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差の調整を優先することで、３Ｄ画像として認識されない画像データを除き、適切な視差の調整を行うことができる。
【００２１】
上記３Ｄ画像撮像装置（１）はさらに、前記左眼用撮像部（Ｌ１００）及び前記右眼用撮像部（Ｒ１００）はそれぞれフォーカスレンズ及びズームレンズを備え、前記判断部（４０２）は、少なくとも前記フォーカスレンズ及び前記ズームレンズの位置に基づいて前記撮像が近景撮像又は遠景撮像である旨の判断を行うようにしてもよい。
【００２２】
上記３Ｄ画像撮像装置（１）はさらに、近景撮像又は遠景撮像に対応する撮像モードを設定する撮像モード設定部（２０２）をさらに備え、前記判断部（４０２）は、少なくとも前記撮像モード設定部（２０２）に設定された前記撮像モードに基づいて、前記撮像が近景撮像又は遠景撮像である旨の判断を行うようにしてもよい。
【００２３】
前記目的を達成するために、本発明はまた、左眼用撮像部（Ｌ１００）に被写体の左眼用撮像データを撮像させ、右眼用撮像部（Ｒ１００）に被写体の右眼用撮像データを撮像させ、前記左眼用撮像データ及び前記右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行わせ、前記左眼用撮像データ及び前記右眼用撮像データから水平方向の視差調整用の領域を除くことで水平方向の視差調整を行わせ、前記左眼用撮像部（Ｌ１００）及び前記右眼用撮像部（Ｒ１００）の撮像が近景撮像であるか遠景撮像であるかを判断させる処理をコンピュータに実行させるプログラムであって、前記撮像が近景撮像であると判断された場合は、前記手ぶれ補正を行わせ、前記撮像が近景撮像であると判断された場合は、前記水平方向の視差調整を行わせた後、前記手ぶれ補正を行わせることを特徴とするプログラムを提供する。
【発明の効果】
【００２４】
本発明に係る３Ｄ画像撮像装置及びプログラムによれば、ユーザが近景撮像を行っているのか又は遠景撮像を行っているのかを判断し、それぞれの撮像において適切に手ぶれ補正用の領域の画像データの除外と、視差調整用の領域の画像データの除外とを適切に両立することで、眼精疲労や画像酔いを誘発しにくい、快適な３Ｄ画像の撮像を行うことができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の内部構成を示すブロック図である。
【図２】撮像装置１の液晶モニタ３０４の水平方向の切断面を示す図である。
【図３】観察者による液晶モニタ３０４の観察について説明する概念図である。
【図４】撮像装置１により互いに視差を有する２つの画像を撮像している様子を模式的に示した図である。
【図５】視差算出部４０１による左眼用撮像データと右眼用撮像データの水平方向の視差の算出について説明する概念図である。
【図６】視差算出部４０１による左眼用撮像データと右眼用撮像データの垂直方向の視差の算出について説明する概念図である。
【図７】ズームレンズとフォーカスレンズとの関係を示すズームトラッキングカーブの概略図である。
【図８】第1の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。
【図９】近景撮像においてメインメモリ２０１に一時記憶されている撮像データの例を説明する概念図である。
【図１０】第1の手ぶれ補正及び視差調整処理における近景撮像の場合の手ぶれ補正用の領域の決定処理について説明する図である。
【図１１】遠景撮像においてメインメモリ２０１に一時記憶されている撮像データの例を説明する概念図である。
【図１２】第1の手ぶれ補正及び視差調整処理における遠景撮像の場合の視差調整用の領域の決定処理について説明する図である。
【図１３】第1の手ぶれ補正及び視差調整処理における遠景撮像の場合の手ぶれ補正用の領域の決定処理について説明する図である。
【図１４】第２の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。
【図１５】第２の手ぶれ補正及び視差調整処理における近景撮像の場合の手ぶれ補正用の領域の決定処理について説明する図である。
【図１６】第２の手ぶれ補正及び視差調整処理における近景撮像の場合の視差調整用の領域の決定処理について説明する図である。
【図１７】第３の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。
【図１８】左眼用撮像データと右眼用撮像データとの間の垂直方向の視差について説明するための概念図である。
【図１９】第３の手ぶれ補正及び視差調整処理における垂直方向の視差調整について説明するための概念図である。
【図２０】撮像装置１による手ぶれ補正及び視差調整処理の変形例を説明するフローチャートである。
【発明を実施するための形態】
【００２６】
以下に図面を参照しながら、本発明に係る３Ｄ画像撮像装置の好適な実施形態を説明する。かかる実施形態に示す寸法及び具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２７】
図１は、本発明の実施形態に係る３Ｄ画像撮像装置（デジタルビデオカメラ）１（以下、単に「撮像装置１」という。）の内部構成の例を示すブロック図である。撮像装置１は３Ｄ又は２Ｄの動画像データ及び静止画像データを撮像することができる。なお、本実施形態に係る撮像装置１では二つの撮像部を有し、それぞれの光軸のなす輻輳角を調整できる構成としているが、両光軸が平行となるように固定され輻輳角を調整できない撮像装置においても本発明は採用できる。また、本発明は、デジタルスチルカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、３Ｄ画像データの撮像が可能なその他の電子機器においても採用することができる。
【００２８】
中央制御部４００は、ＣＰＵ（Central Processing Unit）、各種プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成され、撮像装置１の撮像処理や画像表示等の各種処理を統括的に制御する。
【００２９】
さらに中央制御部４００は、近景撮像及び遠景撮像の判断に基づく手ぶれ補正及び視差調整処理において、左眼用撮像データと右眼用撮像データとの間の視差を算出する視差算出部４０１、撮像が近景撮像であるか遠景撮像であるかを判断する判断部４０２、一時記憶された撮像データからから手ぶれ補正用の領域を除くことで手ぶれ補正を行うことで手ぶれ補正を行う手ぶれ補正部４０３、一時記憶された撮像データから水平方向及び垂直方向の視差調整用の領域を除くことでことで水平方向及び垂直方向の視差調整を行う視差調整部４０４、及び最終的な出力画像データの領域を決定する出力画像領域決定部４０５としても機能する。
【００３０】
撮像装置１には、左右一対の左眼用撮像部Ｌ１００及び右眼用撮像部Ｒ１００が、人の眼の間隔より少し短い所定の間隔（例えば６ｃｍ）離れて設置されている。左眼用撮像部Ｌ１００及び右眼用撮像部Ｒ１００は、それぞれズームレンズＬ１０１及びＲ１０１、フォーカスレンズＬ１０２及びＲ１０２、絞りＬ１０３及びＲ１０３、並びに固体撮像素子Ｌ１０４及びＲ１０４を備える。
【００３１】
ズームレンズＬ１０１及びＲ１０１は、図示しないズームアクチュエータによって光軸ＡＬ１００及びＡＲ１００に沿って移動する。フォーカスレンズＬ１０２及びＲ１０２は、図示しないフォーカスアクチュエータによって光軸ＡＬ１００及びＡＲ１００に沿って移動する。
【００３２】
レンズ位置算出部Ｌ１０５及びＲ１０５は、中央制御部４００の指示に基づき、上記ズームアクチュエータ及びフォーカスアクチュエータによって駆動されたズームレンズＬ１０１及びＲ１０１並びにフォーカスレンズＬ１０２及びＲ１０２の位置を算出する。レンズ位置算出部Ｌ１０５及びＲ１０５が算出した各レンズの位置に関する情報は、判断部４０２に引き渡され、後述する近景撮像又は遠景撮像の判断に使用される。
【００３３】
絞りＬ１０３及びＲ１０３は、図示しない絞りアクチュエータに駆動されて動作する。
【００３４】
左眼用撮像部Ｌ１００及び右眼用撮像部Ｒ１００は輻輳角アクチュエータＬ１０６及びＲ１０６とそれぞれ接続されており、輻輳角アクチュエータＬ１０６及びＲ１０６は中央制御部４００からの指令を受けて、両撮像部を駆動し、光軸ＡＬ１００とＡＲ１００とのなす輻輳角を調整する。
【００３５】
撮像装置１を用いた３Ｄ画像データの撮像は以下のような手順で行われる。左眼用固体撮像素子Ｌ１０４及び右眼用固体撮像素子Ｒ１０４がそれぞれ、左眼用撮像部Ｌ１００と右眼用撮像部１００とを通過した光を光電変換して、左右それぞれの被写体画像のアナログ撮像信号を生成する。アナログ信号処理部Ｌ１０７及びＲ１０７が両アナログ撮像信号を増幅した後、Ａ／Ｄ変換器Ｌ１０８及びＲ１０８がその増幅された信号をデジタルの撮像データに変換する。画像入力コントローラＬ１０９及びＲ１０９は、Ａ／Ｄ変換機Ｌ１０８及びＲ１０８から出力されたデジタルの撮像データを取り込んで、それらの撮像データはバス２００に入力され、バス２００を介してメインメモリ２０１に一時記憶される。
【００３６】
デジタル信号処理部Ｌ１１０及びＲ１１０は、中央制御部４００の指示に基づき、メインメモリ２０１に格納されたデジタルの撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなる信号を生成する。デジタル信号処理部Ｌ１１０及びＲ１１０はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
【００３７】
メインメモリ２０１は、上述の３Ｄ画像データの撮像で生成された左眼用撮像データ及び右眼用撮像データを一時記憶する。メインメモリ２０１は、例えばＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable PROM）、不揮発性ＲＡＭ、フラッシュメモリ、又はＨＤＤ（Hard Disk Drive）等の記憶媒体で構成される。
【００３８】
また、バス２００を介して、フラッシュＲＯＭ２０２、ＶＲＡＭ（Video RAM）２０３、音声・画像処理部２０４、圧縮・伸張処理部２０５、及びメディア制御部２０６が中央制御部４００等と接続され、それぞれが以下に説明する機能を果たす。
【００３９】
フラッシュＲＯＭ２０２は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。撮像装置１は、撮像のシチュエーションに応じた各種の撮像モードを有しており、各撮像モードに対応した撮像条件に関する情報等も、このフラッシュＲＯＭ２０２に格納されている。ＶＲＡＭ２０３は、液晶モニタ３０４等に表示するための画像データの一時記憶領域として使用される。
【００４０】
音声・画像処理部２０４は、例えば、メインメモリ２０１から読み出したデジタルの撮像データに所定の画像処理を施す。例えば、音声・画像処理部２０４は、中央制御部４００の指示を受けて、撮像モードの選択を初めとした各種処理のための画像データを生成し、それらの画像データをメインメモリ２０１から読み出されたオリジナルの撮像データに重畳させて液晶モニタ３０４に出力する。
【００４１】
この出力によって、液晶モニタ３０４に表示される画像は撮像データやメニュー選択画像データ等の各種画像データが合成されたものとなる。例えば、音声・画像処理部２０４は後述する各種撮像モードや、近景撮像又は遠景撮像のモードをユーザが指定するためのメニュー選択画像データの生成し、撮像画像データと合成して液晶モニタに表示することができる。
【００４２】
圧縮・伸張処理部２０５は、中央制御部４００の指示を受けて、メインメモリ２０１に格納されたデータに所定形式の圧縮処理を施し、圧縮データを生成する。また、中央制御部４００の指示を受けて、カード型記録媒体３０２等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。なお、本実施の形態の撮像装置１では、静止画に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。
【００４３】
メディア制御部２０６は、中央制御部４００の指示を受けて、カードＩ／Ｆ３０１を介してカード型記録媒体３０２へのデータの書き込みやカード型記録媒体３０２からのデータの読み出しを制御する。
【００４４】
カードＩ／Ｆ３０１及び入出力Ｉ／Ｆ３０３もバス２００を介して中央制御部４００と接続され、以下の機能を果たす。
【００４５】
中央制御部４００の指示を受けて、各種データがバス２００を介してカードＩ／Ｆ３０１に入力され、カードＩ／Ｆ３０１はそれらのデータをカード型記録媒体３０２に出力する。カード型記録媒体３０２としては、撮像装置１に着脱可能なＳＤ（Secure Digital）メモリカード等が使用される。但し、これはあくまで例示であり、カード型記録媒体３０２の替りに、ＤＶＤ、ＢＤ（Blu-ray Disc）、若しくはフラッシュメモリ等の他の記録媒体を使用する、又は撮像装置１に内蔵されたＨＤＤ（Hard Disc Drive）等で構成することができることはいうまでもない。
【００４６】
また、各種データは、中央制御部４００の指示を受けて、入出力Ｉ／Ｆ３０３に入力され、入出力Ｉ／Ｆ３０３はそれらのデータを液晶モニタ３０４又は入出力端子３０７に出力する。ここで、液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。
【００４７】
ここで、液晶モニタ３０４は３Ｄ画像を表示できる態様となっている。図２は、液晶モニタ３０４の水平方向の切断面を示している。液晶モニタ３０４は、表示パネルの一例としての液晶パネルＭ１２と、液晶パネルＭ１２の表示面に対向して配置された視差分割部の一例としての液晶バリアＭ１３とを備える。液晶パネルＭ１２と液晶バリアＭ１３は、粘着シートＭ１１により接着されている。
【００４８】
液晶パネルＭ１２において、液晶層Ｍ１２２の両面は液晶ガラス基板Ｍ１２１、Ｍ１２３で挟まれ、表示面側の液晶ガラス基板Ｍ１２３にはカラーフィルタ（図示せず）が形成されている。カラーフィルタの主表面には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の異なる色の着色層がマトリックス状に配置されている。この着色層の配置が液晶パネルＭ１２の色画素の配置に対応している。液晶ガラス基板Ｍ１２３の表示面側には液晶偏光板Ｍ１２４が積層されている。液晶ガラス基板Ｍ１２１の裏面側にはバックライト（図示せず）が配置されている。
【００４９】
液晶バリアＭ１３は、視差バリア（パララックスバリア）の一例であって、パッシブ方式液晶やアクティブマトリックス方式液晶によって光を遮断するバリア部のパターンを形成することができる。液晶バリアＭ１３において、バリア液晶層Ｍ１３２の両面は液晶バリアガラス基板Ｍ１３１、Ｍ１３３で挟まれている。液晶バリアガラス基板Ｍ１３３の表示面側には液晶バリア偏光板Ｍ１３４が積層されている。バリア液晶層Ｍ１３２には、光を遮断するバリア部Ｍ１３２ａと光を透過するスリット部Ｍ１３２ｂとが交互に形成されている。
【００５０】
図３に示すように、観察者の右眼ＲＥ１２からスリット部Ｍ１３２ｂを通じて視認される液晶パネルＭ１２の右眼用色画素領域ＲＧは、観察者の左眼ＬＥ１２からはバリア部Ｍ１３２ａによって遮蔽されて視認することができない。一方、観察者の左眼ＬＥ１２からスリット部Ｍ１３２ｂを通じて視認される液晶パネルＭ１２の左眼用色画素領域ＬＧは、観察者の右眼ＲＥ１２からはバリア部Ｍ１３２ａによって遮蔽されて視認することができない。
【００５１】
このように、液晶バリアＭ１３は、液晶パネルＭ１２の色画素領域を、右眼ＲＥ１２の視線が届き、左眼ＬＥ１２の視線が届かない右眼用色画素領域ＲＧと、左眼ＬＥ１２の視線が届き、右眼ＲＥ１２の視線が届かない左眼用色画素領域ＬＧとに分ける。これにより、水平方向に並ぶ観察者の右眼ＲＥ１２及び左眼ＬＥ１２の位置から異なる画像を見ることができる。すなわち、液晶パネルＭ１２の画像を複数の視点方向に分割し、視認される画像を観察位置によって変化させることにより、観察者は液晶モニタ３０４に表示される左眼用画像及び右眼用画像を３Ｄ画像として認識することができる。
【００５２】
なお、３Ｄ画像の表示のための液晶モニタ３０４の構造として、上述の通り視差バリア方式を用いた例を説明したが、他の方式、例えばレンチキュラ方式や光方向制御方式等を採用することもできる。また、液晶モニタ３０４は、各種画像を３Ｄで表示するだけでなく、左眼用画像又は右眼用画像のいずれか一方を２Ｄで表示することもできる。また、左眼用画像及び右眼用画像の両方をいわゆるサイド・バイ・サイド方式で、二つ並べて２Ｄで表示することもできる。
【００５３】
操作部３０６は、図示しないリレーズ・スイッチや電源スイッチを含む操作ボタン、十字キー、ジョイスティック、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。
【００５４】
入出力端子３０７は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。入出力端子３０７は、例えばＨＤＭＩ（High-Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子、ＩＥＥＥ １３９４規格に準拠した各種入力端子等で構成される。
【００５５】
次に、近景撮像及び遠景撮像の判断に基づく手ぶれ補正及び視差調整処理における、中央制御部４００の視差算出部４０１、判断部４０２、手ぶれ補正部４０３、視差調整部４０４、及び出力画像領域決定部４０５としての機能を以下に説明する。
【００５６】
視差算出部４０１は、メインメモリ２０１に一時記憶された左眼用撮像データ及び右眼用撮像データから、両撮像データにおける各被写体画像データ間の垂直方向及び水平方向の視差を算出する。視差算出部４０１による視差の算出は既知の様々な方法で行うことができるが、例えばＭＰＥＧにおける同一の被写体がフレーム間でどれだけ動いたかを特定する、いわゆる動きベクトルを算出するアルゴリズムを応用した方法により、左眼用撮像データの各被写体画像データと右眼用撮像データの各被写体画像データの差分ベクトルを算出することで行われる。
【００５７】
動画圧縮技術であるＭＰＥＧにおいては、ブロックマッチングに基づいて動きベクトルを検出するアルゴリズムが用いられる。ここで、動きベクトルとは２つのフレームデータ間における同一被写体の変位をベクトルで表したものである。現在のフレームデータと過去のフレームデータとを比較し、同一の大きさで最も類似した画素ブロックをそれぞれから抽出し、両者の位置関係から動きベクトルが算出される。
【００５８】
視差算出部４０１は、上記動きベクトル算出のアルゴリズムを利用して、左眼用撮像データ及び右眼用撮像データにおける同一被写体画像データを特定し、その同一被写体画像データについて、対応する画素ブロックを左眼用撮像データ及び右眼用撮像データから抽出し、それらの差分ベクトルを左眼用撮像データ及び右眼用撮像データにおける被写体画像データの視差として算出する。
【００５９】
視差算出部４０１による左眼用撮像データと右眼用撮像データとの間の差分ベクトルの算出について、図４、図５、及び図６を参照して詳細に説明する。図４は、左眼用画像及び右眼用画像として、互いに視差を有する２つの画像を撮像している様子を模式的に示した図であり、図５は左眼用撮像データと右眼用撮像データの水平方向の視差について説明する図であり、図６は左眼用撮像データと右眼用撮像データの垂直方向の視差について説明する図である。
【００６０】
図４は、撮像装置１の左眼用撮像部Ｌ１００及び右眼用撮像部Ｒ１００が、被写体４０及び４１を撮像している様子を模式的に示した図である。図４において、被写体４０は、左眼用撮像部Ｌ１００に対しては画角ＶＬ４０で決定される撮像領域のほぼ右端に位置しており、右眼用撮像部Ｒ１００に対しては光軸ＡＲ１００のやや右に位置している。被写体画像４１は、左眼用撮像部Ｌ１００の光軸ＡＬ１００と右眼用撮像部Ｒ１００の光軸ＡＲ１００の交わる点、いわゆる輻輳点に位置している。
【００６１】
図４において、左眼用撮像部Ｌ１００が取得した左眼用撮像データＰＬ４０及び右眼用撮像部Ｒ１００が取得した右眼用撮像データＰＲ４０の水平方向の視差の算出について説明するための概念図を図５に示す。
【００６２】
左眼用撮像データＰＬ４０中の被写体画像データＯＰＬ４０の画素ブロックＰＢＬ４０と、対応する右眼用撮像データＰＲ４０中の被写体画像データＯＰＬ４０中の画素ブロックＰＢＲ４０との水平方向の差分ベクトルＶＨ４０が、水平方向の視差として算出されることになる。被写体画像ＯＰＬ４１の画素ブロックＰＢＬ４１と、対応する被写体画像ＯＰＬ４１中の画素ブロックＰＢＲ４１とは、水平方向の位置が一致していることから、差分ベクトルがゼロ、つまり視差がゼロとして算出される。
【００６３】
次に、図４において、左眼用撮像部Ｌ１００が取得した左眼用撮像データＰＬ４０及び右眼用撮像部Ｒ１００が取得した右眼用撮像データＰＲ４０の垂直方向の視差の算出について説明するための概念図を図６に示す。
【００６４】
左眼用撮像データＰＬ４０中の被写体画像ＯＰＬ４０の画素ブロックＰＢＬ４０と、対応する右眼用撮像データＰＲ４０中の被写体画像ＯＰＬ４０中の画素ブロックＰＢＲ４０との差分ベクトルＶＶ４０が、垂直方向の視差として算出されることになる。同じく、被写体画像ＯＰＬ４１の画素ブロックＰＢＬ４１と、対応する被写体画像ＯＰＬ４１中の画素ブロックＰＢＲ４１との差分ベクトルＶＶ４１が、垂直方向の視差として算出されることになる。
【００６５】
撮像装置１のような複眼式の撮像装置では、通常、工場出荷時に左眼用撮像部の光軸と右眼用撮像部の光軸に垂直方向のズレがないように調整を行う。左眼用撮像画像と右眼用撮像画像との間に垂直方向の視差（ずれ）が存在すると、観察者は両画像を３Ｄとして認識できず、単なる２重の画像としてしか認識できないことがあるからである。
【００６６】
一方で、ユーザが撮像装置１の取り扱いを誤り、左眼用撮像部と右眼用撮像部との光軸に垂直方向のずれが生じてしまう等の可能性もある。視差算出部４０１は、左眼用撮像データと右眼用撮像データとの垂直方向の差分ベクトルを算出することで、後述する視差調整部４０４による視差調整において、垂直方向の視差調整を可能としている。
【００６７】
図１に戻り、判断部４０２による近景撮像及び遠景撮像の判断について以下に説明する。判断部４０２は、ユーザの撮像が、ユーザから半径１ｍ程度の範囲内の被写体を撮像する、いわゆる近景撮像なのか、ユーザから数ｍ以上離れた範囲に存在する被写体を撮像する、いわゆる遠景撮像なのかを判断する。この近景撮像及び遠景撮像の判断は、ユーザが予め設定することができる撮像モードに基づく判断、及び左眼用撮像部Ｌ１００及び右眼用撮像部Ｒ１００の各種レンズの位置に基づく判断、又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により行われる。
【００６８】
先ず、ユーザが予め設定することができる撮像モードに基づく判断について以下に説明する。撮像装置１は、撮像のシチュエーションに併せて、予め定められたいくつかの撮像モードと、各モードに対応した撮像条件設定をフラッシュＲＯＭ２０２に格納している。予め定められたモードには、例えば、人物を撮像するためのポートレート・モード、花等を撮像するための接写モード、或は風景を撮像するための風景モード等が考えられる。
【００６９】
そして、これらの撮像モードのいくつかに対し、それが近景撮像に対応するものなのか、又は遠景撮像に対応するものなのかといった情報が対応づけられて、同じくフラッシュＲＯＭ２０２の中に格納されている。例えば、上述のポートレート・モード及び接写モードは近景撮像に対応するという情報が、そして風景モードは遠景撮像に対応するという情報がフラッシュＲＯＭ２０２に格納されている。
【００７０】
ユーザが撮像に当たり、操作部３０６の図示しない操作ボタン等により、これらの予め定められた撮像モードのいずれかに基づく撮像を選択した場合に、判断部４０２は、フラッシュＲＯＭ２０２に格納された情報から、それが遠景撮像なのか近景撮像なのかを判断する。例えば、ユーザが接写モードを選択して、撮像を開始した場合は、判断部４０２は、その撮像が近景撮像である旨の判断を行う。また、ユーザが風景モードを選択して撮像を開始した場合は、判断部４０２は、その撮像が遠景撮像である旨の判断を行う。
【００７１】
また、撮像装置１は、遠景撮像に適した各種撮像条件設定を有する遠景撮像モード、及び近景撮像に適した各種撮像条件設定を有する近景撮像モードの２つのモードを予め備え、ユーザが撮像前にそのいずれかを選択することで、判断部４０２が近景撮像及び遠景撮像の別の判断を行うようにしてもよい。
【００７２】
次に、各種レンズの位置に基づく判断について以下に説明する。ある被写体に対し、ピント合焦状態を保持したままズーミングを行う際は、ズームレンズに連動してフォーカスレンズを駆動させる。そして、撮像装置から所定の距離にある被写体に対する、任意のズームレンズの位置とそのズームレンズの位置に対するフォーカスレンズの最適位置との関係は、図７に示すような、いわゆるズームトラッキングカーブとして得ることができる。
【００７３】
判断部４０２は、レンズ位置算出部Ｌ１１０及びＲ１１０が算出したズームレンズＬ１０１及びＲ１０１の位置及びフォーカスレンズＬ１０２及びＲ１０２の位置の関係から、近景撮像及び遠景撮像の判断を行う。
【００７４】
判断部４０２は、レンズ位置算出部Ｌ１１０及びＲ１１０が算出したフォーカスレンズＬ１０２及びＲ１０２の位置がファー側に位置しているか、ニア側に位置しているかを特定し、ファー側にある時は遠距離撮像、ニア側にある時は近距離撮像と判断する。つまり、図７に示すようにズームレンズＬ１０１及びＲ１０１の位置がＸである場合、フォーカスレンズＬ１０２及びＲ１０２の位置がファー側のＦＦよりであれば、判断部１２２は近距離撮像との判断をする。一方で、フォーカスレンズＬ１０２及びＲ１０２の位置がニア側のＦＮよりであれば、判断部１２２は遠距離撮像との判断をする。
【００７５】
さらに、左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断について以下に説明する。風景等を撮像する遠景撮像を行った場合、取得された撮像画像は画像上部が明るく、画像下部が暗くなる傾向がある。画像上部には空の画像が撮像され、画像下部には山岳等の被写体が風景として撮像されることが多いからである。そこで、判断部４０２は、左眼用撮像部Ｌ１００が撮像した左眼用撮像データ及び右眼用撮像部Ｒ１００が撮像した右眼用撮像データの少なくともいずれか一方について、画像上部の所定領域の輝度情報と画像下部の所定領域の輝度情報を算出し、両者の差が予め定めた範囲内にあるときは、撮像が遠景撮像で行われている旨の判断を行う。
【００７６】
上述した３つの判断の少なくともいずれか一つにより、又はいくつかを組み合わせることで、判断部４０２は近景撮像と遠景撮像の判断を行う。いずれの判断によるかはユーザが任意に設定できるようにしてもよい。例えば、判断部４０２は、まずユーザが予め設定することができる撮像モードに基づく判断に基づく判断を行い、近景撮像又は遠景撮像のいずれにも対応していない撮像モードが選択された場合、又は撮像モードが選択されずにユーザのマニュアルで撮像が行われる場合に、上記各種レンズの位置に基づく判断又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により判断を行うようにしてもよい。
【００７７】
図１に戻り、手ぶれ補正部４０３及び視差調整部４０４は、それぞれメインメモリ２０１に一時記憶された左眼用撮像データ及び右眼用撮像データのそれぞれから、手ぶれ補正用の領域の画像データ（以下、単に「手ぶれ補正用の領域」という。）と視差調整用の領域の画像データ（以下、単に「視差調整用の領域」という）をそれぞれ除外し、手ぶれ補正及び視差調整を行う。
【００７８】
そして、出力画像領域決定部４０５は、画像データの出力先である液晶モニタ３０４等の表示に関するアスペクト比を考慮し、最終的にカードＩ／Ｆ３０１や入出力Ｉ／Ｆ３０３に出力する出力画像データの領域を決定する。
【００７９】
（近景撮像及び遠景撮像の判断に基づく手ぶれ補正及び視差調整処理）
以下に、撮像装置１による近景撮像及び遠景撮像の判断に基づく手ぶれ補正及び視差調整処理（方法）に関し、近景撮像の場合は手ぶれ補正のみを行い視差調整を行わない第1の処理、近景撮像の場合及び遠景撮像の場合ともに手ぶれ補正及び視差調整を行う第２の処理、及び垂直方向の視差調整を行う第3の処理について、順に説明する。
【００８０】
（第1の手ぶれ補正及び視差調整処理）
図８は、近景撮像の場合は手ぶれ補正のみを行い視差調整を行わない第1の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。本処理では、被写体への手ぶれの影響が大きい近景撮像の場合は手ぶれ補正のみを行い、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、視差調整を優先して行った後、手ぶれ補正を行う。
【００８１】
本処理は、ユーザが操作部３０６の図示しない録画ボタンを押したとき、中央制御部４００の統括制御によりＲＯＭに格納されたプログラムに従って実行される。また、ユーザが撮像装置１の電源を入れ、操作部３０６の図示しないボタン等を使用して撮像処理をスタンバイ状態にしたとき、又はユーザが操作部３０６の図示しない録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【００８２】
上述の通り、左眼用撮像部Ｌ１００が撮像した左眼用撮像データ及び右眼用撮像部Ｒ１００が撮像した右眼用撮像データがそれぞれメインメモリ２０１に一時記憶される（ステップＳ１０１）。
【００８３】
次に判断部４０２は、撮像が近景撮像であるか、又は遠景撮像であるかを上述の方法により判断する（ステップＳ１０２）。すなわち、判断部４０２は、まずユーザが予め設定することができる撮像モードに基づく判断に基づく判断を行い、近景撮像又は遠景撮像のいずれにも対応していない撮像モードが選択されていた場合、又は撮像モードが選択されずにユーザのマニュアルで撮像が行われている場合に、上記各種レンズの位置に基づく判断又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により、撮像が近景撮像であるか、又は遠景撮像であるかを判断する。
【００８４】
判断部４０２が撮像は近景撮像であるとの判断をした場合（ステップＳ１０２で近景撮像）、手ぶれ補正部４０３は、メインメモリ２０１に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から手ぶれ補正用の領域を除外する（ステップＳ１０３）。図９に近景撮像においてステップＳ１０１でメインメモリ２０１に一時記憶されている撮像データの例を説明する概念図を示し、図１０にステップＳ１０４における画像データの処理の概念図を示す。
【００８５】
ユーザが撮像装置１を使用して、例えば人物Ａを撮像した場合、図９に示すように固体撮像素子Ｌ１０４及びＲ１０４を介して、左眼用撮像データＬＰ９０と右眼用撮像データＲＰ９０がメインメモリ２０１に一時記憶される。上述したとおり、左眼用撮像部Ｌ１００と右眼用撮像部Ｒ１００は所定距離だけ離れて撮像装置１に搭載されていることから、左眼用撮像データＬＰ９０中の人物Ａの被写体画像データＯＰＬ９０と、右眼用撮像データＲＰ９０中の人物Ａの被写体画像データＯＰＲ９０とは、水平方向に視差を有する状態で記憶されることとなる。
【００８６】
ここで、撮像が近景撮像であった場合、撮像データ中に締める被写体画像データの大きさは、撮像が遠景撮像であった場合よりも大きくなる。従って、表示される被写体画像が受けるユーザの縦方向又は横方向の手ぶれの影響も撮像が近景撮像であった場合の方が、撮像が遠景撮像であった場合に比べて相対的に大きくなる。そこで、近距離撮像の場合は、先ず手ぶれ補正部４０３が左眼用撮像データ及び右眼用撮像データから手ぶれ補正用の領域を除く。
【００８７】
図１０に示すように、手ぶれ補正部４０３は、メインメモリ２０１に一時記憶された左眼用撮像データＬＰ９０及び右眼用撮像画像データＲＰ９０の中から、手ぶれ補正用の領域ＬＰ９１及びＲＰ９１（図１０中でハッチングで示した範囲）を決定する。これら手ぶれ手ぶれ補正用の領域は撮像時の撮像部Ｌ１００及びＲ１００のズーム倍率に基づいて決定され、例えば以下の式（１）及び（２）の関係を満たすように決定される。
【００８８】
（１−Ｖｂ／Ｖａ）×１００＝（ズーム倍率＋２）％ ・・・（１）
【００８９】
（１−Ｈｂ／Ｈａ）×１００＝（ズーム倍率＋２）％ ・・・（２）
【００９０】
ステップＳ１０３で手ぶれ補正用の領域が除かれると、出力画像領域決定部４０５は、左眼用撮像データ及び右眼用撮像データのそれぞれから手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ３０４や入出力端子３０７を介して接続された外部ディスプレイ装置の表示のアスペクト比（例えば、縦横のアスペクト比が１６：９）を考慮し、最終的な出力画像データの領域を決定する（ステップＳ１０６）。
【００９１】
画像出力領域決定部４０５が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードＩ／Ｆ３０１等から出力されカード型記録媒体３０２等に記録される、或は入出力Ｉ／Ｆ３０３から出力され液晶モニタ３０４等に表示される（ステップＳ１０７）。
【００９２】
ユーザが操作部３０６の図示しない録画ボタンを離す等すると、撮像装置１は撮像を終了し、この処理を完了する。なお、上記例では、一時記録された撮像画像データに占める手ぶれ補正用の領域の水平方向及び垂直方向の割合を同一としたが、水平方向及び垂直方向で可変としてもよい。
【００９３】
判断部４０２が撮像は遠景撮像であるとの判断をした場合（ステップＳ１０２で遠景撮像）、先ず視差調整部４０４が、メインメモリ２０１に一時記録されている左眼用撮像データ及び右眼用撮像データの中から、水平方向の視差調整用の領域を除外する（ステップＳ１０４）。図１１に遠景撮像においてステップＳ１０１でメインメモリ２０１に一時記憶されている撮像データの概念図を示し、図１２にステップＳ１０４における画像データの処理の概念図を示す。
【００９４】
ユーザが撮像装置１を使用して、例えば遠方の山岳の風景を撮像した場合、図１１に示したように固体撮像素子Ｌ１０４及びＲ１０４を通して、左眼用撮像データＬＰ１１０と右眼用撮像データＲＰ１１０がメインメモリ２０１に一時記憶される。
【００９５】
ここで、撮像装置１のような複眼式の撮像装置で遠距離の撮像を行った場合、近距離の撮像を行った場合に比べて、左眼用撮像部Ｌ１００で撮像される左眼用撮像データの左側には右眼用撮像部Ｒ１００では撮像されない画像データが、右眼用撮像部Ｒ１００で撮像される右眼用撮像データの右側には左眼用撮像部Ｌ１００では撮像されない画像データが多く含まれることになる。左眼用撮像データ及び右眼用撮像データのうち、一方の撮像データにのみ含まれる画像データに関しては、液晶モニタ３０４等に表示しても３Ｄ画像としては知覚されない。よって、遠距離撮像の場合は、先ず水平方向の視差調整用の領域が除外される。
【００９６】
図１２に示したように、視差調整部４０４は、メインメモリ２０１に一時記憶された左眼用撮像データＬＰ１１０及び右眼用撮像データＲＰ１１０の中から、水平方向の視差調整用の領域ＬＰ１１１及びＲＰ１１１（図１２中でハッチングで示した範囲）を決定する。これら水平方向の視差調整用の領域ＬＰ１１１及びＲＰ１１１の水平方向の幅ＬＤＷ及びＲＤＷは、予め定められた値としてもよいし、ユーザが好みの視差を予め設定することで可変としてもよい。
【００９７】
ステップＳ１０４で、水平方向の視差調整用の領域が除かれると、次に手ぶれ補正部４０３が、手ぶれ補正用の領域を除外する（ステップＳ１０５）。図１３に示すように、手ぶれ補正部４０３により除外される手ぶれ補正用の領域ＬＰ１１２及びＲＰ１１２は、例えばステップＳ１０３と同様に縦横それぞれが（ズーム倍率＋２）％の割合となるように決定される。なお、手ぶれ補正部４０３により除外される手ぶれ補正用の領域の縦横それぞれの割合は必ずしも同一である必要なく、縦と横で異なる割合としてもよい。
【００９８】
ステップＳ１０５で手ぶれ補正用の領域が除かれると、出力画像領域決定部４０５は、左眼用撮像データ及び右眼用撮像データのそれぞれから視差調整用の領域及び手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ３０４や入出力端子３０７を介して接続された外部ディスプレイ装置の表示のアスペクト比（例えば、縦横のアスペクト比が１６：９）を考慮し、最終的な出力画像データの領域を決定する（ステップＳ１０６）。
【００９９】
画像出力領域決定部４０５が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードＩ／Ｆ３０１等から出力されカード型記録媒体３０２等に記録される、或は入出力Ｉ／Ｆ３０３から出力され液晶モニタ３０４等に表示される（ステップＳ１０７）。そして、ユーザが操作部３０６の図示しない録画ボタンを離す等すると、撮像装置１は撮像を終了し、この処理を完了する。
【０１００】
以上のように、第1の手ぶれ補正及び視差調整処理によれば、被写体への手ぶれの影響が大きい近景撮像の場合は、一時記憶された撮像データから手ぶれ補正用の領域を十分に確保することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差調整を優先することで、３Ｄ画像として認識されない画像データを除き、適切な視差の調整を行うことができる。
【０１０１】
（第２の手ぶれ補正及び視差調整処理）
図１４は、近景撮像の場合及び遠景撮像の場合ともに手ぶれ補正及び視差調整を行う第２の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。本処理では、被写体への手ぶれの影響が大きい近景撮像の場合は手ぶれ補正を優先して行った後、視差調整を行い、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、視差調整を優先して行った後、手ぶれ補正を行う。
【０１０２】
本処理は、ユーザが操作部３０６の図示しない録画ボタンを押したとき、中央制御部４００の統括制御によりＲＯＭに格納されたプログラムに従って実行される。また、ユーザが撮像装置１の電源を入れ、操作部３０６の図示しないボタン等を使用して撮像処理をスタンバイ状態にしたとき、又はユーザが操作部３０６の図示しない録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【０１０３】
上述の通り、左眼用撮像部Ｌ１００が撮像した左眼用撮像データ及び右眼用撮像部Ｒ１００が撮像した右眼用撮像データがそれぞれメインメモリ２０１に一時記憶される（ステップＳ２０１）。
【０１０４】
次に判断部４０２は、撮像が近景撮像であるか、又は遠景撮像であるかを上述の方法により判断する（ステップＳ２０２）。すなわち、判断部４０２は、まずユーザが予め設定することができる撮像モードに基づく判断に基づく判断を行い、近景撮像又は遠景撮像のいずれにも対応していない撮像モードが選択されていた場合、又は撮像モードが選択されずにユーザのマニュアルで撮像が行われている場合に、上記各種レンズの位置に基づく判断又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により、撮像が近景撮像であるか、又は遠景撮像であるかを判断する。
【０１０５】
判断部４０２が撮像は近景撮像であるとの判断をした場合（ステップＳ２０２で近景撮像）、手ぶれ補正部４０３は、メインメモリ２０１に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から手ぶれ補正用の領域を除外する（ステップＳ２０３）。手ぶれ補正用の領域の除外は、上述のステップＳ１０３と同様にして行われる。図１５にステップＳ２０３における画像データの処理の概念図を示す。
【０１０６】
図１５に示すように、手ぶれ補正部４０３は、メインメモリ２０１に一時記憶された左眼用撮像データＬＰ１５０及び右眼用撮像画像データＲＰ１５０の中から、手ぶれ補正用の領域ＬＰ１５１及びＲＰ１５１（図１５中でハッチングで示した範囲）を決定する。なお、手ぶれ補正部４０３により除外される手ぶれ補正用の領域の縦横それぞれの割合は必ずしも同一である必要なく、縦と横で異なる割合としてもよい。
【０１０７】
次に、視差調整部４０４が、メインメモリ２０１に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から、水平方向の視差調整用の領域を除外する（ステップＳ２０４）。図１６にステップＳ２０４における画像データの処理の概念図を示す。
【０１０８】
図１６に示すように、視差調整部４０３は、左眼用撮像データＬＰ１５０及び右眼用撮像データＲＰ１５０から手ぶれ補正用の領域ＬＰ１５１及びＲＰ１５１を除いた領域から、視差調整用の領域ＬＰ１５２及びＲＰ１５２（図１６中でクロスハッチングで示した各範囲）を決定する。ＬＰ１５２及びＲＰ１５２それぞれの水平方向の幅は、予め設定された値としてもよいし、ユーザが好みに応じて設定できるようにしてもよい。
【０１０９】
ステップＳ２０４で水平方向の視差調整用の領域が除かれると、出力画像領域決定部４０５は、左眼用撮像データ及び右眼用撮像データのそれぞれから手ぶれ補正用の領域及び視差調整用の領域を除いた領域から、出力先である液晶モニタ３０４や入出力端子３０７を介して接続された外部ディスプレイ装置の表示のアスペクト比（例えば、縦横のアスペクト比が１６：９）を考慮し、最終的な出力画像データの領域を決定する（ステップＳ２０７）。
【０１１０】
画像出力領域決定部４０５が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードＩ／Ｆ３０１等から出力されカード型記録媒体３０２等に記録される、或は入出力Ｉ／Ｆ３０３から出力され液晶モニタ３０４等に表示される（ステップＳ１０７）。そして、ユーザが操作部３０６の図示しない録画ボタンを離す等すると、撮像装置１は撮像を終了し、この処理を完了する。
【０１１１】
判断部４０２が撮像は遠景撮像であるとの判断をした場合（ステップＳ２０２で遠景撮像）、先ず視差調整部４０４が、メインメモリ２０１に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から、水平方向の視差調整用の領域を除外する（ステップＳ２０５）。この水平方向の視差調整用の領域の除外は、上述のステップＳ１０４と同様にして行われる。
【０１１２】
ステップＳ２０５で、水平方向の視差調整用の領域が除外されると、次に手ぶれ補正部４０３が、手ぶれ補正用の領域を除外する（ステップＳ２０６）。この処理は、上述のステップＳ１０５と同様にして行われる。
【０１１３】
ステップＳ２０６で手ぶれ補正用の領域が除外されると、出力画像領域決定部４０５は、左眼用撮像データ及び右眼用撮像データのそれぞれから視差調整用の領域及び手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ３０４や入出力端子３０７を介して接続された外部ディスプレイ装置の表示のアスペクト比（例えば、縦横のアスペクト比が１６：９）を考慮し、最終的な出力画像データの領域を決定する（ステップＳ２０７）。
【０１１４】
画像出力領域決定部４０５が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードＩ／Ｆ３０１等から出力されカード型記録媒体３０２等に記録される、或は入出力Ｉ／Ｆ３０３から出力され液晶モニタ３０４等に表示される（ステップＳ１０７）。そして、ユーザが操作部３０６の図示しない録画ボタンを離す等すると、撮像装置１は撮像を終了し、この処理を完了する。
【０１１５】
以上のように、第２の手ぶれ補正及び視差調整処理によれば、手ぶれの影響を受けやすい近距離撮像において十分な手ぶれ補正用の領域を先に優先して確保することで、その影響を十分に抑えることができる。そして、さらに視差調整用の領域を確保することで、視差の調整された３Ｄ画像を生成することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差の調整を優先することで、３Ｄ画像として認識されない画像データを除き、適切な視差の調整を行うことができる。
【０１１６】
（第３の手ぶれ補正及び視差調整処理）
図１７は、垂直方向の視差調整を行う第3の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。左眼用撮像画像と右眼用撮像画像との間に垂直方向の視差（ずれ）が存在すると、観察者は両画像を３Ｄとして認識できず、単なる二重の画像としてしか認識できないことがある。そこで、本処理では、まず左眼用撮像データと右眼用撮像データとの間の垂直方向の視差調整を行った後、被写体への手ぶれの影響が大きい近景撮像の場合は、手ぶれ補正のみを行い、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、視差調整を優先して行った後、手ぶれ補正を行う。
【０１１７】
本処理は、ユーザが操作部３０６の図示しない録画ボタンを押したとき、中央制御部４００の統括制御によりＲＯＭに格納されたプログラムに従って実行される。また、ユーザが撮像装置１の電源を入れ、操作部３０６の図示しないボタン等を使用して撮像処理をスタンバイ状態にしたとき、又はユーザが操作部３０６の図示しない録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【０１１８】
上述の通り、左眼用撮像部Ｌ１００が撮像した左眼用撮像データ及び右眼用撮像部Ｒ１００が撮像した右眼用撮像データがそれぞれメインメモリ２０１に一時記憶される（ステップＳ３０１）。
【０１１９】
次に視差算出部４０１が、メインメモリ２０１に記憶された左眼用撮像データと右眼用撮像データとの間の垂直方向の視差を算出し、視差調整部２０４が、算出された垂直方向の視差に基づき、左眼用及び右眼用の撮像画像データから、垂直方向の視差調整用の領域を除外する（ステップＳ３０２）。この処理は具体的には以下のようにして行われる。
【０１２０】
図１８に左眼用撮像データと右眼用撮像データとの間の垂直方向の視差について説明するための概念図を示す。視差算出部４０１は、左眼用撮像データＬＰ１８０中の被写体画像ＯＰＬ１８０の画素ブロックＰＢＬ１８０と、対応する右眼用撮像データＲＰ１８０中の被写体画像ＯＰＲ１８０の画素ブロックＰＢＲ１８０との間の垂直方向の差分ベクトルＶを算出する。
【０１２１】
そして、図１９に示すように視差調整部４０１が、視差ベクトルＶの垂直成分の大きさに等しい高さを有する垂直方向の視差調整用の領域ＬＰ１８１及びＲＰ１８１（図１９中でクロスハッチングで示した各範囲）を決定する。
【０１２２】
撮像装置１のような複眼式の撮像装置では、ユーザが撮像装置１の取り扱いの誤り等によって、左眼用画像と右眼用画像との間で垂直方向の視差（ずれ）が生じる場合がある。そして、左眼用撮像画像と右眼用撮像画像との間に垂直方向の視差（ずれ）が存在すると、観察者は両画像を３Ｄとして認識できず、単なる２重の画像としてしか認識できないことがある。上述の垂直方向の視差調整を行うことで、撮像画像を適切に立体視できる画像とすることができる。
【０１２３】
ステップＳ３０２で垂直方向の視差調整用の領域が除外されると、判断部４０２は、撮像が近景撮像であるか、又は遠景撮像であるかを上述の方法により判断する（ステップＳ３０３）。すなわち、判断部４０２は、まずユーザが予め設定することができる撮像モードに基づく判断に基づく判断を行い、近景撮像又は遠景撮像のいずれにも対応していない撮像モードが選択されていた場合、又は撮像モードが選択されずにユーザのマニュアルで撮像が行われている場合に、上記各種レンズの位置に基づく判断又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により、撮像が近景撮像であるか、又は遠景撮像であるかを判断する。
【０１２４】
判断部４０２が撮像は近景撮像であるとの判断をした場合（ステップＳ３０３で近景撮像）、手ぶれ補正部４０３は、メインメモリ２０１に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から手ぶれ補正用の領域を除外する（ステップＳ３０４）。この処理は、上述のステップＳ１０３と同様にして行われる。
【０１２５】
ステップＳ３０４で手ぶれ補正用の領域が除外されると、出力画像領域決定部４０５は、左眼用撮像データ及び右眼用撮像データのそれぞれから手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ３０４や入出力端子３０７を介して接続された外部ディスプレイ装置の表示のアスペクト比（例えば、縦横のアスペクト比が１６：９）を考慮し、最終的な出力画像データの領域を決定する（ステップＳ３０７）。
【０１２６】
画像出力領域決定部４０５が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードＩ／Ｆ３０１等から出力されカード型記録媒体３０２等に記録される、或は入出力Ｉ／Ｆ３０３から出力され液晶モニタ３０４等に表示される（ステップＳ１０７）。そして、ユーザが操作部３０６の図示しない録画ボタンを離す等すると、撮像装置１は撮像を終了し、この処理を完了する。
【０１２７】
判断部４０２が撮像は遠景撮像であるとの判断をした場合（ステップＳ３０３で遠景撮像）、先ず視差調整部４０４が、メインメモリ２０１に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から、水平方向の視差調整用の領域を除外する（ステップＳ３０５）。この処理は上述のステップＳ１０４と同様にして行われる。
【０１２８】
ステップＳ３０５で、水平方向の視差調整用の領域が除外されると、次に手ぶれ補正部４０３が、手ぶれ補正用の領域を除外する（ステップＳ３０６）。この処理は上述のステップＳ１０５と同様にして行われる。
【０１２９】
ステップＳ３０６で手ぶれ補正用の領域が除外されると、出力画像領域決定部４０５は、左眼用撮像データ及び右眼用撮像データのそれぞれから視差調整用の領域及び手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ３０４や入出力端子３０７を介して接続された外部ディスプレイ装置の表示のアスペクト比（例えば、縦横のアスペクト比が１６：９）を考慮し、最終的な出力画像データの領域を決定する（ステップＳ３０７）。
【０１３０】
画像出力領域決定部４０５が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードＩ／Ｆ３０１等から出力されカード型記録媒体３０２等に記録される、或は入出力Ｉ／Ｆ３０３から出力され液晶モニタ３０４等に表示される（ステップＳ１０７）。そして、ユーザが操作部３０６の図示しない録画ボタンを離す等すると、撮像装置１は撮像を終了し、この処理を完了する。
【０１３１】
以上のように、第３の第1の手ぶれ補正及び視差調整処理によれば、左眼用撮像部Ｌ１００の光軸ＡＬ１００と右眼用撮像部Ｒ１００の光軸ＡＲ１００の垂直方向のずれ等により、左眼用撮像データと右眼用撮像データとの間に垂直方向の視差が存在する場合に、まずその垂直方向の視差を調整することができる。
【０１３２】
そして、被写体への手ぶれの影響が大きい近景撮像の場合は、一時記憶された撮像データから手ぶれ補正用の領域を十分に確保することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差の調整を優先することで、３Ｄ画像として認識されない画像データを除き、適切な視差の調整を行うことができる。
【０１３３】
なお、上述の左眼用撮像データと右眼用撮像データとの間の垂直方向の視差調整は、図２０のフローチャートに示したように、近景撮像時又は遠景撮像時における手ぶれ補正用の領域の除外が完了した後に行っても同様の効果が得られる。なお、本フローチャートにおける各ステップは上述のものと同様であるため、詳細な説明は省略する。
【０１３４】
また、上述の第３の手ぶれ補正及び視差調整処理のステップＳ３０２で説明した左眼用撮像データと右眼用撮像データとの間の垂直方向の視差調整は、上述の第２の手ぶれ補正及び視差調整処理と組み合せることもできる。
【０１３５】
以上に述べた実施形態では、出力画像領域決定部４０５が決定する画像のアスペクト比は１６：９を例示したが、その他４：３のものやユーザが設定等で別途指定するものであっても採用することができることは言うまでもない。また、以上に述べた実施態様における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的またはサブルーチンによる処理を含んでもよい。
【符号の説明】
【０１３６】
Ｌ１００ 左眼用撮像部
Ｒ１００ 右眼用撮像部
Ｌ１０５ 左眼用レンズ位置算出部
Ｒ１０５ 右眼用レンズ位置算出部
２０１ メインメモリ
２０２ フラッシュＲＯＭ
２０４ 音声・画像処理部
２０６ メディア制御部
３０１ カードＩ／Ｆ
３０２ カード型記録媒体
３０３ 入出力Ｉ／Ｆ
３０４ 液晶モニタ
３０６ 操作部
３０７ 入出力端子
４００ 中央制御部
４０１ 視差算出部
４０２ 判断部
４０３ 手ぶれ補正部
４０４ 視差調整部
４０５ 出力画像領域決定部
【技術分野】
【０００１】
本発明は３Ｄ画像撮像装置及びプログラムに関し、より詳細には、撮像が近景撮像又は遠景撮像であった場合は、その旨を判断して適切な手ぶれ補正及び視差調整を行う３Ｄ画像撮像装置及びプログラムに関する。
【背景技術】
【０００２】
近年、水平方向に視差を有する２つの画像が左眼用画像及び右眼用画像としてディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された被写体画像があたかも立体的に存在するかのように知覚できる３Ｄ画像に関する技術の開発が盛んに行われている。
【０００３】
３Ｄ画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像がディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式がよく知られている。
【０００４】
また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式等もよく知られている。
【０００５】
これらの３Ｄ画像に関する技術では、観察者から見て３Ｄ画像中の被写体画像が、ディスプレイ面に対しどの程度前方に飛び出しているように知覚されるか、又はディスプレイ面に対しどの程度後方に引っ込んでいるように知覚されるかは、左眼用画像と右眼用画像との間の水平方向の視差によって決定される。
【０００６】
一方で、左眼用画像及び右眼用画像の水平方向の視差が適切に調節されていない３Ｄ画像は、例えば被写体画像の前方への飛び出し又は後方への引っ込みが大きすぎた場合に、観察者に負担をかけ、眼精疲労や画像酔い等の原因となる可能性が指摘されている。そこで、左眼用画像及び右眼用画像の水平方向の視差を適切に調整しつつ３Ｄ画像を撮像する撮像装置に関する技術が盛んに開発されている。
【０００７】
左眼用画像及び右眼用画像の水平方向の視差調整に関しては、撮像装置に搭載された左眼用撮像部の光軸と右眼用撮像部の光軸とがなす輻輳角を調整して行う方法と、固体撮像素子やメモリに一時記憶された左眼用撮像データ及び右眼用撮像データのそれぞれから視差調整用の領域の画像データを除き、出力する画像データの範囲を調整して行う方法とがある。
【０００８】
後者の例として、特許文献１には、被写体の距離に応じて、一時記憶された左眼用撮像データ及び右眼用撮像データのそれぞれから出力する画像データのアスペクト比を変更することで、３Ｄ画像の視差を調整する撮像装置に関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−１４７７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、２Ｄ画像撮像用の単眼式撮像装置においては、ユーザの手ぶれによる画像の見づらさが引き起こす画像酔いの防止等のため、固体撮像素子やメモリに一時記憶された撮像データの一部を手ぶれ補正用の領域の画像データとして除く手法が広く採用されている。
【００１１】
３Ｄ画像における手ぶれは、通常の手ぶれによる画像の見づらさに加え、左眼用画像及び右眼用画像の上下左右方向のぶれがそのまま垂直方向及び水平方向の視差の変化につながる。そして視差が不安定になると、例えば被写体画像のディスプレイ面に対する飛び出し度合いが不安定になったり、単なる２重の画像としてのみ認識されたりと、観察者に知覚される３Ｄ感を不安定なものにする原因ともなる。
【００１２】
従って、手ぶれによる画像酔い防止の必要性は３Ｄ画像の方が２Ｄ画像よりも大きい。一方で、３Ｄ画像の撮像においても、左眼用画像及び右眼用画像の各々は２Ｄ画像として記録されることから、２Ｄ画像の撮像と同様に、固体撮像素子やメモリに一時記憶された撮像データの一部を手ぶれ補正用の領域の画像データとして除く手法が有効である。
【００１３】
以上から、３Ｄ画像の撮像においては、手ぶれ補正用の領域の画像データの除外と、左眼用画像と右眼用画像との間の視差調整用の領域の画像データの除外を、いかにして適切に両立するかが重要となる。
【００１４】
本発明はこのような問題に鑑みてなされたものであり、ユーザが近景撮像を行っているのか又は遠景撮像を行っているのかを判断し、それぞれの撮像において適切に手ぶれ補正用の領域の画像データの除外と、視差調整用の領域の画像データの除外とを適切に両立することで、眼精疲労や画像酔いを誘発しにくい、快適な３Ｄ画像の撮像を行うことができる３Ｄ画像撮像装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
前記目的を達成するために、本発明は、被写体を撮像して左眼用撮像データを取得する左眼用撮像部（Ｌ１００）及び右眼用撮像データを取得する右眼用撮像部（Ｒ１００）と、前記左眼用撮像データ及び前記右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行う手ぶれ補正部（４０３）と、前記左眼用撮像データ及び前記右眼用撮像データから水平方向の視差調整用の領域を除くことで水平方向の視差調整を行う視差調整部（４０３）と、前記左眼用撮像部及び前記右眼用撮像部の撮像が近景撮像であるか遠景撮像であるかを判断する判断部（４０２）とを備え、前記判断部（４０２）が近景撮像であると判断した場合は、前記手ぶれ補正部（４０３）が前記手ぶれ補正を行い、前記判断部（４０２）が遠景撮像であると判断した場合は、前記視差調整部（４０４）が前記水平方向の視差調整を行った後、前記手ぶれ補正部（４０３）が前記手ぶれ補正を行うことを特徴とする３Ｄ画像撮像装置（１）を提供する。
【００１６】
本発明に係る３Ｄ画像撮像装置（１）によれば、被写体への手ぶれの影響が大きい近景撮像の場合は、撮像データから手ぶれ補正用の領域を十分に確保することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差調整を優先することで、適切な視差の調整を行うことができる。これにより、ユーザは眼精疲労や画像酔いを誘発しにくい、快適な３Ｄ画像の撮像を行うことができる。
【００１７】
上記３Ｄ画像撮像装置（１）はさらに、前記判断部（４０２）が近景撮像であると判断した場合は、前記手ぶれ補正部（４０３）が前記手ぶれ補正を行った後、前記視差調整部（４０４）が前記水平方向の視差調整を行うようにしてもよい。
【００１８】
これにより、手ぶれの影響を受けやすい近距離撮像において十分な手ぶれ補正用の領域を先に優先して確保することで、その影響を十分に抑えることができる。そして、さらに視差調整用の領域を確保することで、視差の調整された３Ｄ画像を生成することができる。
【００１９】
上記３Ｄ画像撮像装置（１）はさらに、前記視差調整部（４０４）がさらに、前記左眼用撮像データ及び前記右眼用撮像データから垂直方向の視差調整用の領域を除くことで垂直方向の視差調整を行い、前記判断部（４０２）が近景撮像であると判断した場合は、前記視差調整部（４０４）が前記垂直方向の視差調整を行った後、前記手ぶれ補正部（４０３）が前記手ぶれ補正を行い、前記判断部（４０２）が遠景撮像であると判断した場合は、前記視差調整部（４０４）が前記垂直方向の視差調整を行った後、前記視差調整部（４０４）が前記水平方向の視差調整を行い、その後に前記手ぶれ補正部（４０３）が前記手ぶれ補正を行うようにしてもよい。
【００２０】
これにより、左眼用撮像部（Ｌ１００）の光軸と右眼用撮像部（Ｒ１００）の光軸の垂直方向のずれ等により、左眼用撮像データと右眼用撮像データとの間に垂直方向の視差が存在する場合に、まずその垂直方向の視差を補正することができる。そして、被写体への手ぶれの影響が大きい近景撮像の場合は、撮像データから手ぶれ補正用の領域を十分に確保することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差の調整を優先することで、３Ｄ画像として認識されない画像データを除き、適切な視差の調整を行うことができる。
【００２１】
上記３Ｄ画像撮像装置（１）はさらに、前記左眼用撮像部（Ｌ１００）及び前記右眼用撮像部（Ｒ１００）はそれぞれフォーカスレンズ及びズームレンズを備え、前記判断部（４０２）は、少なくとも前記フォーカスレンズ及び前記ズームレンズの位置に基づいて前記撮像が近景撮像又は遠景撮像である旨の判断を行うようにしてもよい。
【００２２】
上記３Ｄ画像撮像装置（１）はさらに、近景撮像又は遠景撮像に対応する撮像モードを設定する撮像モード設定部（２０２）をさらに備え、前記判断部（４０２）は、少なくとも前記撮像モード設定部（２０２）に設定された前記撮像モードに基づいて、前記撮像が近景撮像又は遠景撮像である旨の判断を行うようにしてもよい。
【００２３】
前記目的を達成するために、本発明はまた、左眼用撮像部（Ｌ１００）に被写体の左眼用撮像データを撮像させ、右眼用撮像部（Ｒ１００）に被写体の右眼用撮像データを撮像させ、前記左眼用撮像データ及び前記右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行わせ、前記左眼用撮像データ及び前記右眼用撮像データから水平方向の視差調整用の領域を除くことで水平方向の視差調整を行わせ、前記左眼用撮像部（Ｌ１００）及び前記右眼用撮像部（Ｒ１００）の撮像が近景撮像であるか遠景撮像であるかを判断させる処理をコンピュータに実行させるプログラムであって、前記撮像が近景撮像であると判断された場合は、前記手ぶれ補正を行わせ、前記撮像が近景撮像であると判断された場合は、前記水平方向の視差調整を行わせた後、前記手ぶれ補正を行わせることを特徴とするプログラムを提供する。
【発明の効果】
【００２４】
本発明に係る３Ｄ画像撮像装置及びプログラムによれば、ユーザが近景撮像を行っているのか又は遠景撮像を行っているのかを判断し、それぞれの撮像において適切に手ぶれ補正用の領域の画像データの除外と、視差調整用の領域の画像データの除外とを適切に両立することで、眼精疲労や画像酔いを誘発しにくい、快適な３Ｄ画像の撮像を行うことができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の内部構成を示すブロック図である。
【図２】撮像装置１の液晶モニタ３０４の水平方向の切断面を示す図である。
【図３】観察者による液晶モニタ３０４の観察について説明する概念図である。
【図４】撮像装置１により互いに視差を有する２つの画像を撮像している様子を模式的に示した図である。
【図５】視差算出部４０１による左眼用撮像データと右眼用撮像データの水平方向の視差の算出について説明する概念図である。
【図６】視差算出部４０１による左眼用撮像データと右眼用撮像データの垂直方向の視差の算出について説明する概念図である。
【図７】ズームレンズとフォーカスレンズとの関係を示すズームトラッキングカーブの概略図である。
【図８】第1の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。
【図９】近景撮像においてメインメモリ２０１に一時記憶されている撮像データの例を説明する概念図である。
【図１０】第1の手ぶれ補正及び視差調整処理における近景撮像の場合の手ぶれ補正用の領域の決定処理について説明する図である。
【図１１】遠景撮像においてメインメモリ２０１に一時記憶されている撮像データの例を説明する概念図である。
【図１２】第1の手ぶれ補正及び視差調整処理における遠景撮像の場合の視差調整用の領域の決定処理について説明する図である。
【図１３】第1の手ぶれ補正及び視差調整処理における遠景撮像の場合の手ぶれ補正用の領域の決定処理について説明する図である。
【図１４】第２の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。
【図１５】第２の手ぶれ補正及び視差調整処理における近景撮像の場合の手ぶれ補正用の領域の決定処理について説明する図である。
【図１６】第２の手ぶれ補正及び視差調整処理における近景撮像の場合の視差調整用の領域の決定処理について説明する図である。
【図１７】第３の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。
【図１８】左眼用撮像データと右眼用撮像データとの間の垂直方向の視差について説明するための概念図である。
【図１９】第３の手ぶれ補正及び視差調整処理における垂直方向の視差調整について説明するための概念図である。
【図２０】撮像装置１による手ぶれ補正及び視差調整処理の変形例を説明するフローチャートである。
【発明を実施するための形態】
【００２６】
以下に図面を参照しながら、本発明に係る３Ｄ画像撮像装置の好適な実施形態を説明する。かかる実施形態に示す寸法及び具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２７】
図１は、本発明の実施形態に係る３Ｄ画像撮像装置（デジタルビデオカメラ）１（以下、単に「撮像装置１」という。）の内部構成の例を示すブロック図である。撮像装置１は３Ｄ又は２Ｄの動画像データ及び静止画像データを撮像することができる。なお、本実施形態に係る撮像装置１では二つの撮像部を有し、それぞれの光軸のなす輻輳角を調整できる構成としているが、両光軸が平行となるように固定され輻輳角を調整できない撮像装置においても本発明は採用できる。また、本発明は、デジタルスチルカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、３Ｄ画像データの撮像が可能なその他の電子機器においても採用することができる。
【００２８】
中央制御部４００は、ＣＰＵ（Central Processing Unit）、各種プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成され、撮像装置１の撮像処理や画像表示等の各種処理を統括的に制御する。
【００２９】
さらに中央制御部４００は、近景撮像及び遠景撮像の判断に基づく手ぶれ補正及び視差調整処理において、左眼用撮像データと右眼用撮像データとの間の視差を算出する視差算出部４０１、撮像が近景撮像であるか遠景撮像であるかを判断する判断部４０２、一時記憶された撮像データからから手ぶれ補正用の領域を除くことで手ぶれ補正を行うことで手ぶれ補正を行う手ぶれ補正部４０３、一時記憶された撮像データから水平方向及び垂直方向の視差調整用の領域を除くことでことで水平方向及び垂直方向の視差調整を行う視差調整部４０４、及び最終的な出力画像データの領域を決定する出力画像領域決定部４０５としても機能する。
【００３０】
撮像装置１には、左右一対の左眼用撮像部Ｌ１００及び右眼用撮像部Ｒ１００が、人の眼の間隔より少し短い所定の間隔（例えば６ｃｍ）離れて設置されている。左眼用撮像部Ｌ１００及び右眼用撮像部Ｒ１００は、それぞれズームレンズＬ１０１及びＲ１０１、フォーカスレンズＬ１０２及びＲ１０２、絞りＬ１０３及びＲ１０３、並びに固体撮像素子Ｌ１０４及びＲ１０４を備える。
【００３１】
ズームレンズＬ１０１及びＲ１０１は、図示しないズームアクチュエータによって光軸ＡＬ１００及びＡＲ１００に沿って移動する。フォーカスレンズＬ１０２及びＲ１０２は、図示しないフォーカスアクチュエータによって光軸ＡＬ１００及びＡＲ１００に沿って移動する。
【００３２】
レンズ位置算出部Ｌ１０５及びＲ１０５は、中央制御部４００の指示に基づき、上記ズームアクチュエータ及びフォーカスアクチュエータによって駆動されたズームレンズＬ１０１及びＲ１０１並びにフォーカスレンズＬ１０２及びＲ１０２の位置を算出する。レンズ位置算出部Ｌ１０５及びＲ１０５が算出した各レンズの位置に関する情報は、判断部４０２に引き渡され、後述する近景撮像又は遠景撮像の判断に使用される。
【００３３】
絞りＬ１０３及びＲ１０３は、図示しない絞りアクチュエータに駆動されて動作する。
【００３４】
左眼用撮像部Ｌ１００及び右眼用撮像部Ｒ１００は輻輳角アクチュエータＬ１０６及びＲ１０６とそれぞれ接続されており、輻輳角アクチュエータＬ１０６及びＲ１０６は中央制御部４００からの指令を受けて、両撮像部を駆動し、光軸ＡＬ１００とＡＲ１００とのなす輻輳角を調整する。
【００３５】
撮像装置１を用いた３Ｄ画像データの撮像は以下のような手順で行われる。左眼用固体撮像素子Ｌ１０４及び右眼用固体撮像素子Ｒ１０４がそれぞれ、左眼用撮像部Ｌ１００と右眼用撮像部１００とを通過した光を光電変換して、左右それぞれの被写体画像のアナログ撮像信号を生成する。アナログ信号処理部Ｌ１０７及びＲ１０７が両アナログ撮像信号を増幅した後、Ａ／Ｄ変換器Ｌ１０８及びＲ１０８がその増幅された信号をデジタルの撮像データに変換する。画像入力コントローラＬ１０９及びＲ１０９は、Ａ／Ｄ変換機Ｌ１０８及びＲ１０８から出力されたデジタルの撮像データを取り込んで、それらの撮像データはバス２００に入力され、バス２００を介してメインメモリ２０１に一時記憶される。
【００３６】
デジタル信号処理部Ｌ１１０及びＲ１１０は、中央制御部４００の指示に基づき、メインメモリ２０１に格納されたデジタルの撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなる信号を生成する。デジタル信号処理部Ｌ１１０及びＲ１１０はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
【００３７】
メインメモリ２０１は、上述の３Ｄ画像データの撮像で生成された左眼用撮像データ及び右眼用撮像データを一時記憶する。メインメモリ２０１は、例えばＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable PROM）、不揮発性ＲＡＭ、フラッシュメモリ、又はＨＤＤ（Hard Disk Drive）等の記憶媒体で構成される。
【００３８】
また、バス２００を介して、フラッシュＲＯＭ２０２、ＶＲＡＭ（Video RAM）２０３、音声・画像処理部２０４、圧縮・伸張処理部２０５、及びメディア制御部２０６が中央制御部４００等と接続され、それぞれが以下に説明する機能を果たす。
【００３９】
フラッシュＲＯＭ２０２は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。撮像装置１は、撮像のシチュエーションに応じた各種の撮像モードを有しており、各撮像モードに対応した撮像条件に関する情報等も、このフラッシュＲＯＭ２０２に格納されている。ＶＲＡＭ２０３は、液晶モニタ３０４等に表示するための画像データの一時記憶領域として使用される。
【００４０】
音声・画像処理部２０４は、例えば、メインメモリ２０１から読み出したデジタルの撮像データに所定の画像処理を施す。例えば、音声・画像処理部２０４は、中央制御部４００の指示を受けて、撮像モードの選択を初めとした各種処理のための画像データを生成し、それらの画像データをメインメモリ２０１から読み出されたオリジナルの撮像データに重畳させて液晶モニタ３０４に出力する。
【００４１】
この出力によって、液晶モニタ３０４に表示される画像は撮像データやメニュー選択画像データ等の各種画像データが合成されたものとなる。例えば、音声・画像処理部２０４は後述する各種撮像モードや、近景撮像又は遠景撮像のモードをユーザが指定するためのメニュー選択画像データの生成し、撮像画像データと合成して液晶モニタに表示することができる。
【００４２】
圧縮・伸張処理部２０５は、中央制御部４００の指示を受けて、メインメモリ２０１に格納されたデータに所定形式の圧縮処理を施し、圧縮データを生成する。また、中央制御部４００の指示を受けて、カード型記録媒体３０２等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。なお、本実施の形態の撮像装置１では、静止画に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。
【００４３】
メディア制御部２０６は、中央制御部４００の指示を受けて、カードＩ／Ｆ３０１を介してカード型記録媒体３０２へのデータの書き込みやカード型記録媒体３０２からのデータの読み出しを制御する。
【００４４】
カードＩ／Ｆ３０１及び入出力Ｉ／Ｆ３０３もバス２００を介して中央制御部４００と接続され、以下の機能を果たす。
【００４５】
中央制御部４００の指示を受けて、各種データがバス２００を介してカードＩ／Ｆ３０１に入力され、カードＩ／Ｆ３０１はそれらのデータをカード型記録媒体３０２に出力する。カード型記録媒体３０２としては、撮像装置１に着脱可能なＳＤ（Secure Digital）メモリカード等が使用される。但し、これはあくまで例示であり、カード型記録媒体３０２の替りに、ＤＶＤ、ＢＤ（Blu-ray Disc）、若しくはフラッシュメモリ等の他の記録媒体を使用する、又は撮像装置１に内蔵されたＨＤＤ（Hard Disc Drive）等で構成することができることはいうまでもない。
【００４６】
また、各種データは、中央制御部４００の指示を受けて、入出力Ｉ／Ｆ３０３に入力され、入出力Ｉ／Ｆ３０３はそれらのデータを液晶モニタ３０４又は入出力端子３０７に出力する。ここで、液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。
【００４７】
ここで、液晶モニタ３０４は３Ｄ画像を表示できる態様となっている。図２は、液晶モニタ３０４の水平方向の切断面を示している。液晶モニタ３０４は、表示パネルの一例としての液晶パネルＭ１２と、液晶パネルＭ１２の表示面に対向して配置された視差分割部の一例としての液晶バリアＭ１３とを備える。液晶パネルＭ１２と液晶バリアＭ１３は、粘着シートＭ１１により接着されている。
【００４８】
液晶パネルＭ１２において、液晶層Ｍ１２２の両面は液晶ガラス基板Ｍ１２１、Ｍ１２３で挟まれ、表示面側の液晶ガラス基板Ｍ１２３にはカラーフィルタ（図示せず）が形成されている。カラーフィルタの主表面には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の異なる色の着色層がマトリックス状に配置されている。この着色層の配置が液晶パネルＭ１２の色画素の配置に対応している。液晶ガラス基板Ｍ１２３の表示面側には液晶偏光板Ｍ１２４が積層されている。液晶ガラス基板Ｍ１２１の裏面側にはバックライト（図示せず）が配置されている。
【００４９】
液晶バリアＭ１３は、視差バリア（パララックスバリア）の一例であって、パッシブ方式液晶やアクティブマトリックス方式液晶によって光を遮断するバリア部のパターンを形成することができる。液晶バリアＭ１３において、バリア液晶層Ｍ１３２の両面は液晶バリアガラス基板Ｍ１３１、Ｍ１３３で挟まれている。液晶バリアガラス基板Ｍ１３３の表示面側には液晶バリア偏光板Ｍ１３４が積層されている。バリア液晶層Ｍ１３２には、光を遮断するバリア部Ｍ１３２ａと光を透過するスリット部Ｍ１３２ｂとが交互に形成されている。
【００５０】
図３に示すように、観察者の右眼ＲＥ１２からスリット部Ｍ１３２ｂを通じて視認される液晶パネルＭ１２の右眼用色画素領域ＲＧは、観察者の左眼ＬＥ１２からはバリア部Ｍ１３２ａによって遮蔽されて視認することができない。一方、観察者の左眼ＬＥ１２からスリット部Ｍ１３２ｂを通じて視認される液晶パネルＭ１２の左眼用色画素領域ＬＧは、観察者の右眼ＲＥ１２からはバリア部Ｍ１３２ａによって遮蔽されて視認することができない。
【００５１】
このように、液晶バリアＭ１３は、液晶パネルＭ１２の色画素領域を、右眼ＲＥ１２の視線が届き、左眼ＬＥ１２の視線が届かない右眼用色画素領域ＲＧと、左眼ＬＥ１２の視線が届き、右眼ＲＥ１２の視線が届かない左眼用色画素領域ＬＧとに分ける。これにより、水平方向に並ぶ観察者の右眼ＲＥ１２及び左眼ＬＥ１２の位置から異なる画像を見ることができる。すなわち、液晶パネルＭ１２の画像を複数の視点方向に分割し、視認される画像を観察位置によって変化させることにより、観察者は液晶モニタ３０４に表示される左眼用画像及び右眼用画像を３Ｄ画像として認識することができる。
【００５２】
なお、３Ｄ画像の表示のための液晶モニタ３０４の構造として、上述の通り視差バリア方式を用いた例を説明したが、他の方式、例えばレンチキュラ方式や光方向制御方式等を採用することもできる。また、液晶モニタ３０４は、各種画像を３Ｄで表示するだけでなく、左眼用画像又は右眼用画像のいずれか一方を２Ｄで表示することもできる。また、左眼用画像及び右眼用画像の両方をいわゆるサイド・バイ・サイド方式で、二つ並べて２Ｄで表示することもできる。
【００５３】
操作部３０６は、図示しないリレーズ・スイッチや電源スイッチを含む操作ボタン、十字キー、ジョイスティック、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。
【００５４】
入出力端子３０７は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。入出力端子３０７は、例えばＨＤＭＩ（High-Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子、ＩＥＥＥ １３９４規格に準拠した各種入力端子等で構成される。
【００５５】
次に、近景撮像及び遠景撮像の判断に基づく手ぶれ補正及び視差調整処理における、中央制御部４００の視差算出部４０１、判断部４０２、手ぶれ補正部４０３、視差調整部４０４、及び出力画像領域決定部４０５としての機能を以下に説明する。
【００５６】
視差算出部４０１は、メインメモリ２０１に一時記憶された左眼用撮像データ及び右眼用撮像データから、両撮像データにおける各被写体画像データ間の垂直方向及び水平方向の視差を算出する。視差算出部４０１による視差の算出は既知の様々な方法で行うことができるが、例えばＭＰＥＧにおける同一の被写体がフレーム間でどれだけ動いたかを特定する、いわゆる動きベクトルを算出するアルゴリズムを応用した方法により、左眼用撮像データの各被写体画像データと右眼用撮像データの各被写体画像データの差分ベクトルを算出することで行われる。
【００５７】
動画圧縮技術であるＭＰＥＧにおいては、ブロックマッチングに基づいて動きベクトルを検出するアルゴリズムが用いられる。ここで、動きベクトルとは２つのフレームデータ間における同一被写体の変位をベクトルで表したものである。現在のフレームデータと過去のフレームデータとを比較し、同一の大きさで最も類似した画素ブロックをそれぞれから抽出し、両者の位置関係から動きベクトルが算出される。
【００５８】
視差算出部４０１は、上記動きベクトル算出のアルゴリズムを利用して、左眼用撮像データ及び右眼用撮像データにおける同一被写体画像データを特定し、その同一被写体画像データについて、対応する画素ブロックを左眼用撮像データ及び右眼用撮像データから抽出し、それらの差分ベクトルを左眼用撮像データ及び右眼用撮像データにおける被写体画像データの視差として算出する。
【００５９】
視差算出部４０１による左眼用撮像データと右眼用撮像データとの間の差分ベクトルの算出について、図４、図５、及び図６を参照して詳細に説明する。図４は、左眼用画像及び右眼用画像として、互いに視差を有する２つの画像を撮像している様子を模式的に示した図であり、図５は左眼用撮像データと右眼用撮像データの水平方向の視差について説明する図であり、図６は左眼用撮像データと右眼用撮像データの垂直方向の視差について説明する図である。
【００６０】
図４は、撮像装置１の左眼用撮像部Ｌ１００及び右眼用撮像部Ｒ１００が、被写体４０及び４１を撮像している様子を模式的に示した図である。図４において、被写体４０は、左眼用撮像部Ｌ１００に対しては画角ＶＬ４０で決定される撮像領域のほぼ右端に位置しており、右眼用撮像部Ｒ１００に対しては光軸ＡＲ１００のやや右に位置している。被写体画像４１は、左眼用撮像部Ｌ１００の光軸ＡＬ１００と右眼用撮像部Ｒ１００の光軸ＡＲ１００の交わる点、いわゆる輻輳点に位置している。
【００６１】
図４において、左眼用撮像部Ｌ１００が取得した左眼用撮像データＰＬ４０及び右眼用撮像部Ｒ１００が取得した右眼用撮像データＰＲ４０の水平方向の視差の算出について説明するための概念図を図５に示す。
【００６２】
左眼用撮像データＰＬ４０中の被写体画像データＯＰＬ４０の画素ブロックＰＢＬ４０と、対応する右眼用撮像データＰＲ４０中の被写体画像データＯＰＬ４０中の画素ブロックＰＢＲ４０との水平方向の差分ベクトルＶＨ４０が、水平方向の視差として算出されることになる。被写体画像ＯＰＬ４１の画素ブロックＰＢＬ４１と、対応する被写体画像ＯＰＬ４１中の画素ブロックＰＢＲ４１とは、水平方向の位置が一致していることから、差分ベクトルがゼロ、つまり視差がゼロとして算出される。
【００６３】
次に、図４において、左眼用撮像部Ｌ１００が取得した左眼用撮像データＰＬ４０及び右眼用撮像部Ｒ１００が取得した右眼用撮像データＰＲ４０の垂直方向の視差の算出について説明するための概念図を図６に示す。
【００６４】
左眼用撮像データＰＬ４０中の被写体画像ＯＰＬ４０の画素ブロックＰＢＬ４０と、対応する右眼用撮像データＰＲ４０中の被写体画像ＯＰＬ４０中の画素ブロックＰＢＲ４０との差分ベクトルＶＶ４０が、垂直方向の視差として算出されることになる。同じく、被写体画像ＯＰＬ４１の画素ブロックＰＢＬ４１と、対応する被写体画像ＯＰＬ４１中の画素ブロックＰＢＲ４１との差分ベクトルＶＶ４１が、垂直方向の視差として算出されることになる。
【００６５】
撮像装置１のような複眼式の撮像装置では、通常、工場出荷時に左眼用撮像部の光軸と右眼用撮像部の光軸に垂直方向のズレがないように調整を行う。左眼用撮像画像と右眼用撮像画像との間に垂直方向の視差（ずれ）が存在すると、観察者は両画像を３Ｄとして認識できず、単なる２重の画像としてしか認識できないことがあるからである。
【００６６】
一方で、ユーザが撮像装置１の取り扱いを誤り、左眼用撮像部と右眼用撮像部との光軸に垂直方向のずれが生じてしまう等の可能性もある。視差算出部４０１は、左眼用撮像データと右眼用撮像データとの垂直方向の差分ベクトルを算出することで、後述する視差調整部４０４による視差調整において、垂直方向の視差調整を可能としている。
【００６７】
図１に戻り、判断部４０２による近景撮像及び遠景撮像の判断について以下に説明する。判断部４０２は、ユーザの撮像が、ユーザから半径１ｍ程度の範囲内の被写体を撮像する、いわゆる近景撮像なのか、ユーザから数ｍ以上離れた範囲に存在する被写体を撮像する、いわゆる遠景撮像なのかを判断する。この近景撮像及び遠景撮像の判断は、ユーザが予め設定することができる撮像モードに基づく判断、及び左眼用撮像部Ｌ１００及び右眼用撮像部Ｒ１００の各種レンズの位置に基づく判断、又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により行われる。
【００６８】
先ず、ユーザが予め設定することができる撮像モードに基づく判断について以下に説明する。撮像装置１は、撮像のシチュエーションに併せて、予め定められたいくつかの撮像モードと、各モードに対応した撮像条件設定をフラッシュＲＯＭ２０２に格納している。予め定められたモードには、例えば、人物を撮像するためのポートレート・モード、花等を撮像するための接写モード、或は風景を撮像するための風景モード等が考えられる。
【００６９】
そして、これらの撮像モードのいくつかに対し、それが近景撮像に対応するものなのか、又は遠景撮像に対応するものなのかといった情報が対応づけられて、同じくフラッシュＲＯＭ２０２の中に格納されている。例えば、上述のポートレート・モード及び接写モードは近景撮像に対応するという情報が、そして風景モードは遠景撮像に対応するという情報がフラッシュＲＯＭ２０２に格納されている。
【００７０】
ユーザが撮像に当たり、操作部３０６の図示しない操作ボタン等により、これらの予め定められた撮像モードのいずれかに基づく撮像を選択した場合に、判断部４０２は、フラッシュＲＯＭ２０２に格納された情報から、それが遠景撮像なのか近景撮像なのかを判断する。例えば、ユーザが接写モードを選択して、撮像を開始した場合は、判断部４０２は、その撮像が近景撮像である旨の判断を行う。また、ユーザが風景モードを選択して撮像を開始した場合は、判断部４０２は、その撮像が遠景撮像である旨の判断を行う。
【００７１】
また、撮像装置１は、遠景撮像に適した各種撮像条件設定を有する遠景撮像モード、及び近景撮像に適した各種撮像条件設定を有する近景撮像モードの２つのモードを予め備え、ユーザが撮像前にそのいずれかを選択することで、判断部４０２が近景撮像及び遠景撮像の別の判断を行うようにしてもよい。
【００７２】
次に、各種レンズの位置に基づく判断について以下に説明する。ある被写体に対し、ピント合焦状態を保持したままズーミングを行う際は、ズームレンズに連動してフォーカスレンズを駆動させる。そして、撮像装置から所定の距離にある被写体に対する、任意のズームレンズの位置とそのズームレンズの位置に対するフォーカスレンズの最適位置との関係は、図７に示すような、いわゆるズームトラッキングカーブとして得ることができる。
【００７３】
判断部４０２は、レンズ位置算出部Ｌ１１０及びＲ１１０が算出したズームレンズＬ１０１及びＲ１０１の位置及びフォーカスレンズＬ１０２及びＲ１０２の位置の関係から、近景撮像及び遠景撮像の判断を行う。
【００７４】
判断部４０２は、レンズ位置算出部Ｌ１１０及びＲ１１０が算出したフォーカスレンズＬ１０２及びＲ１０２の位置がファー側に位置しているか、ニア側に位置しているかを特定し、ファー側にある時は遠距離撮像、ニア側にある時は近距離撮像と判断する。つまり、図７に示すようにズームレンズＬ１０１及びＲ１０１の位置がＸである場合、フォーカスレンズＬ１０２及びＲ１０２の位置がファー側のＦＦよりであれば、判断部１２２は近距離撮像との判断をする。一方で、フォーカスレンズＬ１０２及びＲ１０２の位置がニア側のＦＮよりであれば、判断部１２２は遠距離撮像との判断をする。
【００７５】
さらに、左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断について以下に説明する。風景等を撮像する遠景撮像を行った場合、取得された撮像画像は画像上部が明るく、画像下部が暗くなる傾向がある。画像上部には空の画像が撮像され、画像下部には山岳等の被写体が風景として撮像されることが多いからである。そこで、判断部４０２は、左眼用撮像部Ｌ１００が撮像した左眼用撮像データ及び右眼用撮像部Ｒ１００が撮像した右眼用撮像データの少なくともいずれか一方について、画像上部の所定領域の輝度情報と画像下部の所定領域の輝度情報を算出し、両者の差が予め定めた範囲内にあるときは、撮像が遠景撮像で行われている旨の判断を行う。
【００７６】
上述した３つの判断の少なくともいずれか一つにより、又はいくつかを組み合わせることで、判断部４０２は近景撮像と遠景撮像の判断を行う。いずれの判断によるかはユーザが任意に設定できるようにしてもよい。例えば、判断部４０２は、まずユーザが予め設定することができる撮像モードに基づく判断に基づく判断を行い、近景撮像又は遠景撮像のいずれにも対応していない撮像モードが選択された場合、又は撮像モードが選択されずにユーザのマニュアルで撮像が行われる場合に、上記各種レンズの位置に基づく判断又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により判断を行うようにしてもよい。
【００７７】
図１に戻り、手ぶれ補正部４０３及び視差調整部４０４は、それぞれメインメモリ２０１に一時記憶された左眼用撮像データ及び右眼用撮像データのそれぞれから、手ぶれ補正用の領域の画像データ（以下、単に「手ぶれ補正用の領域」という。）と視差調整用の領域の画像データ（以下、単に「視差調整用の領域」という）をそれぞれ除外し、手ぶれ補正及び視差調整を行う。
【００７８】
そして、出力画像領域決定部４０５は、画像データの出力先である液晶モニタ３０４等の表示に関するアスペクト比を考慮し、最終的にカードＩ／Ｆ３０１や入出力Ｉ／Ｆ３０３に出力する出力画像データの領域を決定する。
【００７９】
（近景撮像及び遠景撮像の判断に基づく手ぶれ補正及び視差調整処理）
以下に、撮像装置１による近景撮像及び遠景撮像の判断に基づく手ぶれ補正及び視差調整処理（方法）に関し、近景撮像の場合は手ぶれ補正のみを行い視差調整を行わない第1の処理、近景撮像の場合及び遠景撮像の場合ともに手ぶれ補正及び視差調整を行う第２の処理、及び垂直方向の視差調整を行う第3の処理について、順に説明する。
【００８０】
（第1の手ぶれ補正及び視差調整処理）
図８は、近景撮像の場合は手ぶれ補正のみを行い視差調整を行わない第1の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。本処理では、被写体への手ぶれの影響が大きい近景撮像の場合は手ぶれ補正のみを行い、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、視差調整を優先して行った後、手ぶれ補正を行う。
【００８１】
本処理は、ユーザが操作部３０６の図示しない録画ボタンを押したとき、中央制御部４００の統括制御によりＲＯＭに格納されたプログラムに従って実行される。また、ユーザが撮像装置１の電源を入れ、操作部３０６の図示しないボタン等を使用して撮像処理をスタンバイ状態にしたとき、又はユーザが操作部３０６の図示しない録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【００８２】
上述の通り、左眼用撮像部Ｌ１００が撮像した左眼用撮像データ及び右眼用撮像部Ｒ１００が撮像した右眼用撮像データがそれぞれメインメモリ２０１に一時記憶される（ステップＳ１０１）。
【００８３】
次に判断部４０２は、撮像が近景撮像であるか、又は遠景撮像であるかを上述の方法により判断する（ステップＳ１０２）。すなわち、判断部４０２は、まずユーザが予め設定することができる撮像モードに基づく判断に基づく判断を行い、近景撮像又は遠景撮像のいずれにも対応していない撮像モードが選択されていた場合、又は撮像モードが選択されずにユーザのマニュアルで撮像が行われている場合に、上記各種レンズの位置に基づく判断又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により、撮像が近景撮像であるか、又は遠景撮像であるかを判断する。
【００８４】
判断部４０２が撮像は近景撮像であるとの判断をした場合（ステップＳ１０２で近景撮像）、手ぶれ補正部４０３は、メインメモリ２０１に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から手ぶれ補正用の領域を除外する（ステップＳ１０３）。図９に近景撮像においてステップＳ１０１でメインメモリ２０１に一時記憶されている撮像データの例を説明する概念図を示し、図１０にステップＳ１０４における画像データの処理の概念図を示す。
【００８５】
ユーザが撮像装置１を使用して、例えば人物Ａを撮像した場合、図９に示すように固体撮像素子Ｌ１０４及びＲ１０４を介して、左眼用撮像データＬＰ９０と右眼用撮像データＲＰ９０がメインメモリ２０１に一時記憶される。上述したとおり、左眼用撮像部Ｌ１００と右眼用撮像部Ｒ１００は所定距離だけ離れて撮像装置１に搭載されていることから、左眼用撮像データＬＰ９０中の人物Ａの被写体画像データＯＰＬ９０と、右眼用撮像データＲＰ９０中の人物Ａの被写体画像データＯＰＲ９０とは、水平方向に視差を有する状態で記憶されることとなる。
【００８６】
ここで、撮像が近景撮像であった場合、撮像データ中に締める被写体画像データの大きさは、撮像が遠景撮像であった場合よりも大きくなる。従って、表示される被写体画像が受けるユーザの縦方向又は横方向の手ぶれの影響も撮像が近景撮像であった場合の方が、撮像が遠景撮像であった場合に比べて相対的に大きくなる。そこで、近距離撮像の場合は、先ず手ぶれ補正部４０３が左眼用撮像データ及び右眼用撮像データから手ぶれ補正用の領域を除く。
【００８７】
図１０に示すように、手ぶれ補正部４０３は、メインメモリ２０１に一時記憶された左眼用撮像データＬＰ９０及び右眼用撮像画像データＲＰ９０の中から、手ぶれ補正用の領域ＬＰ９１及びＲＰ９１（図１０中でハッチングで示した範囲）を決定する。これら手ぶれ手ぶれ補正用の領域は撮像時の撮像部Ｌ１００及びＲ１００のズーム倍率に基づいて決定され、例えば以下の式（１）及び（２）の関係を満たすように決定される。
【００８８】
（１−Ｖｂ／Ｖａ）×１００＝（ズーム倍率＋２）％ ・・・（１）
【００８９】
（１−Ｈｂ／Ｈａ）×１００＝（ズーム倍率＋２）％ ・・・（２）
【００９０】
ステップＳ１０３で手ぶれ補正用の領域が除かれると、出力画像領域決定部４０５は、左眼用撮像データ及び右眼用撮像データのそれぞれから手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ３０４や入出力端子３０７を介して接続された外部ディスプレイ装置の表示のアスペクト比（例えば、縦横のアスペクト比が１６：９）を考慮し、最終的な出力画像データの領域を決定する（ステップＳ１０６）。
【００９１】
画像出力領域決定部４０５が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードＩ／Ｆ３０１等から出力されカード型記録媒体３０２等に記録される、或は入出力Ｉ／Ｆ３０３から出力され液晶モニタ３０４等に表示される（ステップＳ１０７）。
【００９２】
ユーザが操作部３０６の図示しない録画ボタンを離す等すると、撮像装置１は撮像を終了し、この処理を完了する。なお、上記例では、一時記録された撮像画像データに占める手ぶれ補正用の領域の水平方向及び垂直方向の割合を同一としたが、水平方向及び垂直方向で可変としてもよい。
【００９３】
判断部４０２が撮像は遠景撮像であるとの判断をした場合（ステップＳ１０２で遠景撮像）、先ず視差調整部４０４が、メインメモリ２０１に一時記録されている左眼用撮像データ及び右眼用撮像データの中から、水平方向の視差調整用の領域を除外する（ステップＳ１０４）。図１１に遠景撮像においてステップＳ１０１でメインメモリ２０１に一時記憶されている撮像データの概念図を示し、図１２にステップＳ１０４における画像データの処理の概念図を示す。
【００９４】
ユーザが撮像装置１を使用して、例えば遠方の山岳の風景を撮像した場合、図１１に示したように固体撮像素子Ｌ１０４及びＲ１０４を通して、左眼用撮像データＬＰ１１０と右眼用撮像データＲＰ１１０がメインメモリ２０１に一時記憶される。
【００９５】
ここで、撮像装置１のような複眼式の撮像装置で遠距離の撮像を行った場合、近距離の撮像を行った場合に比べて、左眼用撮像部Ｌ１００で撮像される左眼用撮像データの左側には右眼用撮像部Ｒ１００では撮像されない画像データが、右眼用撮像部Ｒ１００で撮像される右眼用撮像データの右側には左眼用撮像部Ｌ１００では撮像されない画像データが多く含まれることになる。左眼用撮像データ及び右眼用撮像データのうち、一方の撮像データにのみ含まれる画像データに関しては、液晶モニタ３０４等に表示しても３Ｄ画像としては知覚されない。よって、遠距離撮像の場合は、先ず水平方向の視差調整用の領域が除外される。
【００９６】
図１２に示したように、視差調整部４０４は、メインメモリ２０１に一時記憶された左眼用撮像データＬＰ１１０及び右眼用撮像データＲＰ１１０の中から、水平方向の視差調整用の領域ＬＰ１１１及びＲＰ１１１（図１２中でハッチングで示した範囲）を決定する。これら水平方向の視差調整用の領域ＬＰ１１１及びＲＰ１１１の水平方向の幅ＬＤＷ及びＲＤＷは、予め定められた値としてもよいし、ユーザが好みの視差を予め設定することで可変としてもよい。
【００９７】
ステップＳ１０４で、水平方向の視差調整用の領域が除かれると、次に手ぶれ補正部４０３が、手ぶれ補正用の領域を除外する（ステップＳ１０５）。図１３に示すように、手ぶれ補正部４０３により除外される手ぶれ補正用の領域ＬＰ１１２及びＲＰ１１２は、例えばステップＳ１０３と同様に縦横それぞれが（ズーム倍率＋２）％の割合となるように決定される。なお、手ぶれ補正部４０３により除外される手ぶれ補正用の領域の縦横それぞれの割合は必ずしも同一である必要なく、縦と横で異なる割合としてもよい。
【００９８】
ステップＳ１０５で手ぶれ補正用の領域が除かれると、出力画像領域決定部４０５は、左眼用撮像データ及び右眼用撮像データのそれぞれから視差調整用の領域及び手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ３０４や入出力端子３０７を介して接続された外部ディスプレイ装置の表示のアスペクト比（例えば、縦横のアスペクト比が１６：９）を考慮し、最終的な出力画像データの領域を決定する（ステップＳ１０６）。
【００９９】
画像出力領域決定部４０５が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードＩ／Ｆ３０１等から出力されカード型記録媒体３０２等に記録される、或は入出力Ｉ／Ｆ３０３から出力され液晶モニタ３０４等に表示される（ステップＳ１０７）。そして、ユーザが操作部３０６の図示しない録画ボタンを離す等すると、撮像装置１は撮像を終了し、この処理を完了する。
【０１００】
以上のように、第1の手ぶれ補正及び視差調整処理によれば、被写体への手ぶれの影響が大きい近景撮像の場合は、一時記憶された撮像データから手ぶれ補正用の領域を十分に確保することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差調整を優先することで、３Ｄ画像として認識されない画像データを除き、適切な視差の調整を行うことができる。
【０１０１】
（第２の手ぶれ補正及び視差調整処理）
図１４は、近景撮像の場合及び遠景撮像の場合ともに手ぶれ補正及び視差調整を行う第２の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。本処理では、被写体への手ぶれの影響が大きい近景撮像の場合は手ぶれ補正を優先して行った後、視差調整を行い、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、視差調整を優先して行った後、手ぶれ補正を行う。
【０１０２】
本処理は、ユーザが操作部３０６の図示しない録画ボタンを押したとき、中央制御部４００の統括制御によりＲＯＭに格納されたプログラムに従って実行される。また、ユーザが撮像装置１の電源を入れ、操作部３０６の図示しないボタン等を使用して撮像処理をスタンバイ状態にしたとき、又はユーザが操作部３０６の図示しない録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【０１０３】
上述の通り、左眼用撮像部Ｌ１００が撮像した左眼用撮像データ及び右眼用撮像部Ｒ１００が撮像した右眼用撮像データがそれぞれメインメモリ２０１に一時記憶される（ステップＳ２０１）。
【０１０４】
次に判断部４０２は、撮像が近景撮像であるか、又は遠景撮像であるかを上述の方法により判断する（ステップＳ２０２）。すなわち、判断部４０２は、まずユーザが予め設定することができる撮像モードに基づく判断に基づく判断を行い、近景撮像又は遠景撮像のいずれにも対応していない撮像モードが選択されていた場合、又は撮像モードが選択されずにユーザのマニュアルで撮像が行われている場合に、上記各種レンズの位置に基づく判断又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により、撮像が近景撮像であるか、又は遠景撮像であるかを判断する。
【０１０５】
判断部４０２が撮像は近景撮像であるとの判断をした場合（ステップＳ２０２で近景撮像）、手ぶれ補正部４０３は、メインメモリ２０１に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から手ぶれ補正用の領域を除外する（ステップＳ２０３）。手ぶれ補正用の領域の除外は、上述のステップＳ１０３と同様にして行われる。図１５にステップＳ２０３における画像データの処理の概念図を示す。
【０１０６】
図１５に示すように、手ぶれ補正部４０３は、メインメモリ２０１に一時記憶された左眼用撮像データＬＰ１５０及び右眼用撮像画像データＲＰ１５０の中から、手ぶれ補正用の領域ＬＰ１５１及びＲＰ１５１（図１５中でハッチングで示した範囲）を決定する。なお、手ぶれ補正部４０３により除外される手ぶれ補正用の領域の縦横それぞれの割合は必ずしも同一である必要なく、縦と横で異なる割合としてもよい。
【０１０７】
次に、視差調整部４０４が、メインメモリ２０１に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から、水平方向の視差調整用の領域を除外する（ステップＳ２０４）。図１６にステップＳ２０４における画像データの処理の概念図を示す。
【０１０８】
図１６に示すように、視差調整部４０３は、左眼用撮像データＬＰ１５０及び右眼用撮像データＲＰ１５０から手ぶれ補正用の領域ＬＰ１５１及びＲＰ１５１を除いた領域から、視差調整用の領域ＬＰ１５２及びＲＰ１５２（図１６中でクロスハッチングで示した各範囲）を決定する。ＬＰ１５２及びＲＰ１５２それぞれの水平方向の幅は、予め設定された値としてもよいし、ユーザが好みに応じて設定できるようにしてもよい。
【０１０９】
ステップＳ２０４で水平方向の視差調整用の領域が除かれると、出力画像領域決定部４０５は、左眼用撮像データ及び右眼用撮像データのそれぞれから手ぶれ補正用の領域及び視差調整用の領域を除いた領域から、出力先である液晶モニタ３０４や入出力端子３０７を介して接続された外部ディスプレイ装置の表示のアスペクト比（例えば、縦横のアスペクト比が１６：９）を考慮し、最終的な出力画像データの領域を決定する（ステップＳ２０７）。
【０１１０】
画像出力領域決定部４０５が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードＩ／Ｆ３０１等から出力されカード型記録媒体３０２等に記録される、或は入出力Ｉ／Ｆ３０３から出力され液晶モニタ３０４等に表示される（ステップＳ１０７）。そして、ユーザが操作部３０６の図示しない録画ボタンを離す等すると、撮像装置１は撮像を終了し、この処理を完了する。
【０１１１】
判断部４０２が撮像は遠景撮像であるとの判断をした場合（ステップＳ２０２で遠景撮像）、先ず視差調整部４０４が、メインメモリ２０１に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から、水平方向の視差調整用の領域を除外する（ステップＳ２０５）。この水平方向の視差調整用の領域の除外は、上述のステップＳ１０４と同様にして行われる。
【０１１２】
ステップＳ２０５で、水平方向の視差調整用の領域が除外されると、次に手ぶれ補正部４０３が、手ぶれ補正用の領域を除外する（ステップＳ２０６）。この処理は、上述のステップＳ１０５と同様にして行われる。
【０１１３】
ステップＳ２０６で手ぶれ補正用の領域が除外されると、出力画像領域決定部４０５は、左眼用撮像データ及び右眼用撮像データのそれぞれから視差調整用の領域及び手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ３０４や入出力端子３０７を介して接続された外部ディスプレイ装置の表示のアスペクト比（例えば、縦横のアスペクト比が１６：９）を考慮し、最終的な出力画像データの領域を決定する（ステップＳ２０７）。
【０１１４】
画像出力領域決定部４０５が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードＩ／Ｆ３０１等から出力されカード型記録媒体３０２等に記録される、或は入出力Ｉ／Ｆ３０３から出力され液晶モニタ３０４等に表示される（ステップＳ１０７）。そして、ユーザが操作部３０６の図示しない録画ボタンを離す等すると、撮像装置１は撮像を終了し、この処理を完了する。
【０１１５】
以上のように、第２の手ぶれ補正及び視差調整処理によれば、手ぶれの影響を受けやすい近距離撮像において十分な手ぶれ補正用の領域を先に優先して確保することで、その影響を十分に抑えることができる。そして、さらに視差調整用の領域を確保することで、視差の調整された３Ｄ画像を生成することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差の調整を優先することで、３Ｄ画像として認識されない画像データを除き、適切な視差の調整を行うことができる。
【０１１６】
（第３の手ぶれ補正及び視差調整処理）
図１７は、垂直方向の視差調整を行う第3の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。左眼用撮像画像と右眼用撮像画像との間に垂直方向の視差（ずれ）が存在すると、観察者は両画像を３Ｄとして認識できず、単なる二重の画像としてしか認識できないことがある。そこで、本処理では、まず左眼用撮像データと右眼用撮像データとの間の垂直方向の視差調整を行った後、被写体への手ぶれの影響が大きい近景撮像の場合は、手ぶれ補正のみを行い、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、視差調整を優先して行った後、手ぶれ補正を行う。
【０１１７】
本処理は、ユーザが操作部３０６の図示しない録画ボタンを押したとき、中央制御部４００の統括制御によりＲＯＭに格納されたプログラムに従って実行される。また、ユーザが撮像装置１の電源を入れ、操作部３０６の図示しないボタン等を使用して撮像処理をスタンバイ状態にしたとき、又はユーザが操作部３０６の図示しない録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【０１１８】
上述の通り、左眼用撮像部Ｌ１００が撮像した左眼用撮像データ及び右眼用撮像部Ｒ１００が撮像した右眼用撮像データがそれぞれメインメモリ２０１に一時記憶される（ステップＳ３０１）。
【０１１９】
次に視差算出部４０１が、メインメモリ２０１に記憶された左眼用撮像データと右眼用撮像データとの間の垂直方向の視差を算出し、視差調整部２０４が、算出された垂直方向の視差に基づき、左眼用及び右眼用の撮像画像データから、垂直方向の視差調整用の領域を除外する（ステップＳ３０２）。この処理は具体的には以下のようにして行われる。
【０１２０】
図１８に左眼用撮像データと右眼用撮像データとの間の垂直方向の視差について説明するための概念図を示す。視差算出部４０１は、左眼用撮像データＬＰ１８０中の被写体画像ＯＰＬ１８０の画素ブロックＰＢＬ１８０と、対応する右眼用撮像データＲＰ１８０中の被写体画像ＯＰＲ１８０の画素ブロックＰＢＲ１８０との間の垂直方向の差分ベクトルＶを算出する。
【０１２１】
そして、図１９に示すように視差調整部４０１が、視差ベクトルＶの垂直成分の大きさに等しい高さを有する垂直方向の視差調整用の領域ＬＰ１８１及びＲＰ１８１（図１９中でクロスハッチングで示した各範囲）を決定する。
【０１２２】
撮像装置１のような複眼式の撮像装置では、ユーザが撮像装置１の取り扱いの誤り等によって、左眼用画像と右眼用画像との間で垂直方向の視差（ずれ）が生じる場合がある。そして、左眼用撮像画像と右眼用撮像画像との間に垂直方向の視差（ずれ）が存在すると、観察者は両画像を３Ｄとして認識できず、単なる２重の画像としてしか認識できないことがある。上述の垂直方向の視差調整を行うことで、撮像画像を適切に立体視できる画像とすることができる。
【０１２３】
ステップＳ３０２で垂直方向の視差調整用の領域が除外されると、判断部４０２は、撮像が近景撮像であるか、又は遠景撮像であるかを上述の方法により判断する（ステップＳ３０３）。すなわち、判断部４０２は、まずユーザが予め設定することができる撮像モードに基づく判断に基づく判断を行い、近景撮像又は遠景撮像のいずれにも対応していない撮像モードが選択されていた場合、又は撮像モードが選択されずにユーザのマニュアルで撮像が行われている場合に、上記各種レンズの位置に基づく判断又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により、撮像が近景撮像であるか、又は遠景撮像であるかを判断する。
【０１２４】
判断部４０２が撮像は近景撮像であるとの判断をした場合（ステップＳ３０３で近景撮像）、手ぶれ補正部４０３は、メインメモリ２０１に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から手ぶれ補正用の領域を除外する（ステップＳ３０４）。この処理は、上述のステップＳ１０３と同様にして行われる。
【０１２５】
ステップＳ３０４で手ぶれ補正用の領域が除外されると、出力画像領域決定部４０５は、左眼用撮像データ及び右眼用撮像データのそれぞれから手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ３０４や入出力端子３０７を介して接続された外部ディスプレイ装置の表示のアスペクト比（例えば、縦横のアスペクト比が１６：９）を考慮し、最終的な出力画像データの領域を決定する（ステップＳ３０７）。
【０１２６】
画像出力領域決定部４０５が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードＩ／Ｆ３０１等から出力されカード型記録媒体３０２等に記録される、或は入出力Ｉ／Ｆ３０３から出力され液晶モニタ３０４等に表示される（ステップＳ１０７）。そして、ユーザが操作部３０６の図示しない録画ボタンを離す等すると、撮像装置１は撮像を終了し、この処理を完了する。
【０１２７】
判断部４０２が撮像は遠景撮像であるとの判断をした場合（ステップＳ３０３で遠景撮像）、先ず視差調整部４０４が、メインメモリ２０１に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から、水平方向の視差調整用の領域を除外する（ステップＳ３０５）。この処理は上述のステップＳ１０４と同様にして行われる。
【０１２８】
ステップＳ３０５で、水平方向の視差調整用の領域が除外されると、次に手ぶれ補正部４０３が、手ぶれ補正用の領域を除外する（ステップＳ３０６）。この処理は上述のステップＳ１０５と同様にして行われる。
【０１２９】
ステップＳ３０６で手ぶれ補正用の領域が除外されると、出力画像領域決定部４０５は、左眼用撮像データ及び右眼用撮像データのそれぞれから視差調整用の領域及び手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ３０４や入出力端子３０７を介して接続された外部ディスプレイ装置の表示のアスペクト比（例えば、縦横のアスペクト比が１６：９）を考慮し、最終的な出力画像データの領域を決定する（ステップＳ３０７）。
【０１３０】
画像出力領域決定部４０５が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードＩ／Ｆ３０１等から出力されカード型記録媒体３０２等に記録される、或は入出力Ｉ／Ｆ３０３から出力され液晶モニタ３０４等に表示される（ステップＳ１０７）。そして、ユーザが操作部３０６の図示しない録画ボタンを離す等すると、撮像装置１は撮像を終了し、この処理を完了する。
【０１３１】
以上のように、第３の第1の手ぶれ補正及び視差調整処理によれば、左眼用撮像部Ｌ１００の光軸ＡＬ１００と右眼用撮像部Ｒ１００の光軸ＡＲ１００の垂直方向のずれ等により、左眼用撮像データと右眼用撮像データとの間に垂直方向の視差が存在する場合に、まずその垂直方向の視差を調整することができる。
【０１３２】
そして、被写体への手ぶれの影響が大きい近景撮像の場合は、一時記憶された撮像データから手ぶれ補正用の領域を十分に確保することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差の調整を優先することで、３Ｄ画像として認識されない画像データを除き、適切な視差の調整を行うことができる。
【０１３３】
なお、上述の左眼用撮像データと右眼用撮像データとの間の垂直方向の視差調整は、図２０のフローチャートに示したように、近景撮像時又は遠景撮像時における手ぶれ補正用の領域の除外が完了した後に行っても同様の効果が得られる。なお、本フローチャートにおける各ステップは上述のものと同様であるため、詳細な説明は省略する。
【０１３４】
また、上述の第３の手ぶれ補正及び視差調整処理のステップＳ３０２で説明した左眼用撮像データと右眼用撮像データとの間の垂直方向の視差調整は、上述の第２の手ぶれ補正及び視差調整処理と組み合せることもできる。
【０１３５】
以上に述べた実施形態では、出力画像領域決定部４０５が決定する画像のアスペクト比は１６：９を例示したが、その他４：３のものやユーザが設定等で別途指定するものであっても採用することができることは言うまでもない。また、以上に述べた実施態様における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的またはサブルーチンによる処理を含んでもよい。
【符号の説明】
【０１３６】
Ｌ１００ 左眼用撮像部
Ｒ１００ 右眼用撮像部
Ｌ１０５ 左眼用レンズ位置算出部
Ｒ１０５ 右眼用レンズ位置算出部
２０１ メインメモリ
２０２ フラッシュＲＯＭ
２０４ 音声・画像処理部
２０６ メディア制御部
３０１ カードＩ／Ｆ
３０２ カード型記録媒体
３０３ 入出力Ｉ／Ｆ
３０４ 液晶モニタ
３０６ 操作部
３０７ 入出力端子
４００ 中央制御部
４０１ 視差算出部
４０２ 判断部
４０３ 手ぶれ補正部
４０４ 視差調整部
４０５ 出力画像領域決定部
【特許請求の範囲】
【請求項１】
被写体を撮像して左眼用撮像データを取得する左眼用撮像部及び右眼用撮像データを取得する右眼用撮像部と、
前記左眼用撮像データ及び前記右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行う手ぶれ補正部と、
前記左眼用撮像データ及び前記右眼用撮像データから水平方向の視差調整用の領域を除くことで水平方向の視差調整を行う視差調整部と、
前記左眼用撮像部及び前記右眼用撮像部の撮像が近景撮像であるか遠景撮像であるかを判断する判断部とを備え、
前記判断部が近景撮像であると判断した場合は、前記手ぶれ補正部が前記手ぶれ補正を行い、
前記判断部が遠景撮像であると判断した場合は、前記視差調整部が前記水平方向の視差調整を行った後、前記手ぶれ補正部が前記手ぶれ補正を行う
ことを特徴とする３Ｄ画像撮像装置。
【請求項２】
前記判断部が近景撮像であると判断した場合は、前記手ぶれ補正部が前記手ぶれ補正を行った後、前記視差調整部が前記水平方向の視差調整を行うことを特徴とする請求項１に記載の３Ｄ画像撮像装置。
【請求項３】
前記視差調整部はさらに、前記左眼用撮像データ及び前記右眼用撮像データから垂直方向の視差調整用の領域を除くことで垂直方向の視差調整を行い、
前記判断部が近景撮像であると判断した場合は、前記視差調整部が前記垂直方向の視差調整を行った後、前記手ぶれ補正部が前記手ぶれ補正を行い、
前記判断部が遠景撮像であると判断した場合は、前記視差調整部が前記垂直方向の視差調整を行った後、前記視差調整部が前記水平方向の視差調整を行い、その後に前記手ぶれ補正部が前記手ぶれ補正を行う
ことを特徴とする請求項１に記載の３Ｄ画像撮像装置。
【請求項４】
前記左眼用撮像部及び前記右眼用撮像部はそれぞれフォーカスレンズ及びズームレンズを備え、
前記判断部は、少なくとも前記フォーカスレンズ及び前記ズームレンズの位置に基づいて前記撮像が近景撮像又は遠景撮像である旨の判断を行うことを特徴とする請求項１から３の何れか１項に記載の３Ｄ画像撮像装置。
【請求項５】
近景撮像又は遠景撮像に対応する撮像モードを設定する撮像モード設定部をさらに備え、
前記判断部は、少なくとも前記撮像モード設定部に設定された前記撮像モードに基づいて、前記撮像が近景撮像又は遠景撮像である旨の判断を行うことを特徴とする請求項１から３の何れか１項に記載の３Ｄ画像撮像装置。
【請求項６】
左眼用撮像部に被写体の左眼用撮像データを撮像させ、
右眼用撮像部に被写体の右眼用撮像データを撮像させ、
前記左眼用撮像データ及び前記右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行わせ、
前記左眼用撮像データ及び前記右眼用撮像データから水平方向の視差調整用の領域を除くことで水平方向及び垂直方向の視差調整を行わせ、
前記左眼用撮像部及び前記右眼用撮像部の撮像が近景撮像であるか遠景撮像であるかを判断させる処理をコンピュータに実行させるプログラムであって、
前記撮像が近景撮像であると判断された場合は、少なくとも前記手ぶれ補正を行わせ、
前記撮像が近景撮像であると判断された場合は、少なくとも前記水平方向の視差調整を行わせた後、前記手ぶれ補正を行わせることを特徴とするプログラム。
【請求項１】
被写体を撮像して左眼用撮像データを取得する左眼用撮像部及び右眼用撮像データを取得する右眼用撮像部と、
前記左眼用撮像データ及び前記右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行う手ぶれ補正部と、
前記左眼用撮像データ及び前記右眼用撮像データから水平方向の視差調整用の領域を除くことで水平方向の視差調整を行う視差調整部と、
前記左眼用撮像部及び前記右眼用撮像部の撮像が近景撮像であるか遠景撮像であるかを判断する判断部とを備え、
前記判断部が近景撮像であると判断した場合は、前記手ぶれ補正部が前記手ぶれ補正を行い、
前記判断部が遠景撮像であると判断した場合は、前記視差調整部が前記水平方向の視差調整を行った後、前記手ぶれ補正部が前記手ぶれ補正を行う
ことを特徴とする３Ｄ画像撮像装置。
【請求項２】
前記判断部が近景撮像であると判断した場合は、前記手ぶれ補正部が前記手ぶれ補正を行った後、前記視差調整部が前記水平方向の視差調整を行うことを特徴とする請求項１に記載の３Ｄ画像撮像装置。
【請求項３】
前記視差調整部はさらに、前記左眼用撮像データ及び前記右眼用撮像データから垂直方向の視差調整用の領域を除くことで垂直方向の視差調整を行い、
前記判断部が近景撮像であると判断した場合は、前記視差調整部が前記垂直方向の視差調整を行った後、前記手ぶれ補正部が前記手ぶれ補正を行い、
前記判断部が遠景撮像であると判断した場合は、前記視差調整部が前記垂直方向の視差調整を行った後、前記視差調整部が前記水平方向の視差調整を行い、その後に前記手ぶれ補正部が前記手ぶれ補正を行う
ことを特徴とする請求項１に記載の３Ｄ画像撮像装置。
【請求項４】
前記左眼用撮像部及び前記右眼用撮像部はそれぞれフォーカスレンズ及びズームレンズを備え、
前記判断部は、少なくとも前記フォーカスレンズ及び前記ズームレンズの位置に基づいて前記撮像が近景撮像又は遠景撮像である旨の判断を行うことを特徴とする請求項１から３の何れか１項に記載の３Ｄ画像撮像装置。
【請求項５】
近景撮像又は遠景撮像に対応する撮像モードを設定する撮像モード設定部をさらに備え、
前記判断部は、少なくとも前記撮像モード設定部に設定された前記撮像モードに基づいて、前記撮像が近景撮像又は遠景撮像である旨の判断を行うことを特徴とする請求項１から３の何れか１項に記載の３Ｄ画像撮像装置。
【請求項６】
左眼用撮像部に被写体の左眼用撮像データを撮像させ、
右眼用撮像部に被写体の右眼用撮像データを撮像させ、
前記左眼用撮像データ及び前記右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行わせ、
前記左眼用撮像データ及び前記右眼用撮像データから水平方向の視差調整用の領域を除くことで水平方向及び垂直方向の視差調整を行わせ、
前記左眼用撮像部及び前記右眼用撮像部の撮像が近景撮像であるか遠景撮像であるかを判断させる処理をコンピュータに実行させるプログラムであって、
前記撮像が近景撮像であると判断された場合は、少なくとも前記手ぶれ補正を行わせ、
前記撮像が近景撮像であると判断された場合は、少なくとも前記水平方向の視差調整を行わせた後、前記手ぶれ補正を行わせることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−２３５２８１（Ｐ２０１２−２３５２８１Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０１９５９（Ｐ２０１１−１０１９５９）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]