撮像装置
【課題】３Ｄ映像を撮影できる撮像装置において、撮影中にパン、チルトまたは大きな手振れが発生した場合は、鑑賞者に違和感を与える３Ｄ映像となってしまうおそれがある。
【解決手段】本発明の撮像装置１００は、撮像装置１００の動きを検出する動き検出部２１０と、被写体像を撮像して得られる２Ｄ映像データと３Ｄ映像データとを、検出された撮像装置１００の動きに応じて切り替えて出力する映像データ出力部２０９とを備える。撮像装置１００の動きに応じて、２Ｄ映像データと３Ｄ映像データとを切り替えて出力することにより、適切な映像を提供することができる。また、撮像装置１００の動きに応じて、光学系のステレオベースを変更する、あるいは、左右の画像間の視差を調整することにより、適切な映像を提供することができる。
【解決手段】本発明の撮像装置１００は、撮像装置１００の動きを検出する動き検出部２１０と、被写体像を撮像して得られる２Ｄ映像データと３Ｄ映像データとを、検出された撮像装置１００の動きに応じて切り替えて出力する映像データ出力部２０９とを備える。撮像装置１００の動きに応じて、２Ｄ映像データと３Ｄ映像データとを切り替えて出力することにより、適切な映像を提供することができる。また、撮像装置１００の動きに応じて、光学系のステレオベースを変更する、あるいは、左右の画像間の視差を調整することにより、適切な映像を提供することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に２Ｄ（Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ）動画と３Ｄ（Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ）動画を撮影する機能を有する撮像装置に関する。
【背景技術】
【０００２】
近年、テレビと映画コンテンツの３Ｄ化に伴い、３Ｄ映像を一般ユーザーが簡単に視聴できる環境が整いつつある。これに連動して、撮像装置に関しても３Ｄ撮影が可能なカメラが提案されている。
【０００３】
３Ｄ映像の撮影には、従来より同一の被写体を複数の視点から同時に撮影し、その視点間の視差量から３Ｄ映像を取得・生成する方法が一般に用いられている。しかし、３Ｄ映像は視差のある画像から人間が脳内で映像を立体像と認識するプロセスを経るため、眼で視覚される画像が人間の立体像の認識プロセスに合わせて適度に調整された画像でない場合には、鑑賞者に違和感を与える恐れがある。そのため特許文献１のように、３Ｄに対応した撮像装置で３Ｄ映像を撮影する場合には、２Ｄ撮影の場合に比べてカメラの制御方法（特許文献１の場合は、露出制御の周期）を変えて、３Ｄ映像の視聴時に鑑賞者に違和感を与えることが無いようにすることが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１８７３８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、３Ｄ映像において鑑賞者が違和感を感じる条件には、他にも様々なケースが考えられる。特にプロフェッショナルではない一般のカメラユーザーが３Ｄ映像を撮影できる民生用途のカメラにおいては、撮影された３Ｄ映像が鑑賞時に違和感を与えない適切な映像となるように、あらかじめ撮影時の状況に合わせて自動でカメラを制御したり、記録される３Ｄ映像データを加工したりしておくべきである。
【０００６】
本発明はこのような課題を鑑みてなされたものであり、鑑賞者に違和感を与える３Ｄ映像になる可能性がある撮影条件では、自動でカメラを制御する、もしくは映像データに加工を施すことで、適切な映像を提供できる撮像装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、自装置の動きを検出する動き検出部と、被写体像を撮像して得られる２Ｄ映像データと３Ｄ映像データとを、前記検出された自装置の動きに応じて切り替えて出力する映像データ出力部とを備えることを特徴とする。
【０００８】
ある実施形態によれば、前記検出された自装置の動きに基づいて、前記自装置がパンニング撮影およびチルティング撮影の少なくとも一方の状態であるか否かを判定する判定部をさらに備え、前記映像データ出力部が前記３Ｄ映像データを出力しているときに、前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態であると判定された場合、前記映像データ出力部は、前記３Ｄ映像データから前記２Ｄ映像データへ切り替えて出力する。
【０００９】
ある実施形態によれば、前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態からいずれでもない状態になったと判定された場合、前記映像データ出力部は、前記２Ｄ映像データから前記３Ｄ映像データへ切り替えて出力する。
【００１０】
ある実施形態によれば、前記検出された自装置の動きに基づいて、前記自装置の手振れによる揺動の状態を判定する判定部をさらに備え、前記映像データ出力部が前記３Ｄ映像データを出力しているときに、前記揺動が所定レベル以上と判定された場合、前記映像データ出力部は、前記３Ｄ映像データから前記２Ｄ映像データへ切り替えて出力する。
【００１１】
ある実施形態によれば、前記揺動が所定レベル以上から所定レベル未満になったと判定された場合、前記映像データ出力部は、前記２Ｄ映像データから前記３Ｄ映像データへ切り替えて出力する。
【００１２】
ある実施形態によれば、前記動き検出部は角速度センサである。
【００１３】
ある実施形態によれば、前記動き検出部は撮影画像から動きベクトルを検出する。
【００１４】
本発明の撮像装置は、自装置の動きを検出する動き検出部と、互いに並んで配置され、それぞれ被写体像を形成する第１および第２の光学系と、前記第１および第２の光学系で形成される２つの被写体像を撮像して得られた画像信号に基づき、３Ｄ映像データを生成する映像データ生成部と、前記検出された自装置の動きに応じて、前記第１および第２の光学系の少なくとも一方の光学系を光軸と垂直な方向に移動させ、前記第１および第２の光学系の光軸間の距離であるステレオベースを変更する変更部とを備えることを特徴とする。
【００１５】
ある実施形態によれば、前記検出された自装置の動きに基づいて、前記自装置がパンニング撮影およびチルティング撮影の少なくとも一方の状態であるか否かを判定する判定部をさらに備え、前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態であると判定された場合、前記変更部は、前記ステレオベースを短くする。
【００１６】
ある実施形態によれば、前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態からいずれでもない状態になったと判定された場合、前記変更部は、前記ステレオベースを長くする。
【００１７】
ある実施形態によれば、前記検出された自装置の動きに基づいて、前記自装置の手振れによる揺動の状態を判定する判定部をさらに備え、前記変更部は、前記揺動が所定レベル以上と判定された場合、前記ステレオベースを短くする。
【００１８】
ある実施形態によれば、前記揺動が所定レベル以上から所定レベル未満になったと判定された場合、前記変更部は、前記ステレオベースを長くする。
【００１９】
ある実施形態によれば、前記動き検出部は角速度センサである。
【００２０】
ある実施形態によれば、前記動き検出部は撮影画像から動きベクトルを検出する。
【００２１】
本発明の撮像装置は、自装置の動きを検出する動き検出部と、被写体像を撮像して得られる右目用の画像と左目用の画像との間の視差を、前記検出された自装置の動きに応じて調整する視差調整部と、前記調整された視差に基づき３Ｄ映像データを生成する映像データ生成部とを備えることを特徴とする。
【００２２】
ある実施形態によれば、前記検出された自装置の動きに基づいて、前記自装置がパンニング撮影およびチルティング撮影の少なくとも一方の状態であるか否かを判定する判定部をさらに備え、前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態であると判定された場合、前記視差調整部は、前記視差を小さくする。
【００２３】
ある実施形態によれば、前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態からいずれでもない状態になったと判定された場合、前記視差調整部は、前記視差を大きくする。
【００２４】
ある実施形態によれば、前記検出された自装置の動きに基づいて、前記自装置の手振れによる揺動の状態を判定する判定部をさらに備え、前記視差調整部は、前記揺動が所定レベル以上と判定された場合、前記視差を小さくする。
【００２５】
ある実施形態によれば、前記揺動が所定レベル以上から所定レベル未満になったと判定された場合、前記視差調整部は、前記視差を大きくする。
【００２６】
ある実施形態によれば、前記動き検出部は角速度センサである。
【００２７】
ある実施形態によれば、前記動き検出部は撮影画像から動きベクトルを検出する。
【００２８】
本発明のプログラムは、映像処理を撮像装置に実行させるプログラムであって、前記プログラムは、被写体像を撮像して得られる２Ｄ映像データと３Ｄ映像データとを、前記撮像装置の動きに応じて切り替えて出力するステップを前記撮像装置に実行させることを特徴とする。
【００２９】
本発明のプログラムは、映像処理を撮像装置に実行させるプログラムであって、前記プログラムは、被写体像を撮像して得られる右目用の画像と左目用の画像との間の視差を、前記撮像装置の動きに応じて調整するステップと、前記調整された視差に基づき３Ｄ映像データを生成するステップとを前記撮像装置に実行させることを特徴とする。
【発明の効果】
【００３０】
本発明によれば、鑑賞者に違和感を与える３Ｄ映像になる可能性がある撮影条件では、自動でカメラを制御する、もしくは映像データに加工を施すことで、適切な映像を提供することができる。
【００３１】
本発明のある実施形態によれば、撮像装置の動きに応じて、２Ｄ映像データと３Ｄ映像データとを切り替えて出力することにより、適切な映像を提供することができる。
【００３２】
また、本発明のある実施形態によれば、撮像装置の動きに応じて、第１および第２の光学系の光軸間の距離であるステレオベースを変更することにより、適切な映像を提供することができる。
【００３３】
また、本発明のある実施形態によれば、撮像装置の動きに応じて、右目用の画像と左目用の画像との間の視差を調整することにより、適切な映像を提供することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施形態１における撮像装置の外観を示す図である。
【図２】本発明の実施形態１における撮像装置の内部構成を示す図である。
【図３】本発明の実施形態１における撮像装置の動作を示すフローチャートである。
【図４】本発明の実施形態１におけるパンニング中の水平・垂直動きセンサの出力信号を示す図である。
【図５】本発明の実施形態２における撮像装置の動作を示すフローチャートである。
【図６】本発明の実施形態２における撮影中の水平・垂直動きセンサの出力信号を示す図である。
【図７】本発明の実施形態２における撮像装置の動作を示すフローチャートである。
【図８】本発明の実施形態３における撮像装置の内部構成を示す図である。
【図９】本発明の実施形態３における撮像装置の動作を示すフローチャートである。
【図１０】本発明の実施形態３におけるステレオベース変更方法を示す図である。
【図１１】本発明の実施形態４における撮像装置の動作を示すフローチャートである。
【図１２】本発明の実施形態４における撮像装置の動作を示すフローチャートである。
【図１３】本発明の実施形態４におけるステレオベース変更方法を示す図である。
【図１４】本発明の実施形態５における撮像装置の内部構成を示す図である。
【図１５】本発明の実施形態５における視差調整部の内部構成を示す図である。
【図１６】本発明の実施形態５における撮像装置の動作を示すフローチャートである。
【図１７】本発明の実施形態５における視差を説明する図である。
【図１８】本発明の実施形態５における視差の変更方法を示す図である。
【図１９】本発明の実施形態５における視差の変更方法を示す図である。
【発明を実施するための形態】
【００３５】
以下、本発明の実施形態の撮像装置について図面を参照しながら説明する。
【００３６】
（実施形態１）
図１は、本発明の実施形態１における撮像装置１００の外観を示す図である。図１に示した撮像装置１００は、２つの撮像レンズ１００Ｒ（被写体に向かって右側）と、１００Ｌ（被写体に向かって左側）と、録画ＯＮ／ＯＦＦスイッチ１０１と、モード切替スイッチ１０２と、ズームレバー１０３と、ストロボ１０４とを備える。
【００３７】
２つの撮影レンズ１００Ｒと１００Ｌを介して得られた左右方向に視差のある２つの映像を元に３Ｄ映像を撮影する。なお本撮像装置１００は２つの撮影レンズのいずれか一方の映像だけを用いて２Ｄ映像を撮影することも可能である。
【００３８】
モード切替スイッチ１０２は、２Ｄ撮影と３Ｄ撮影、動画撮影と静止画撮影等の撮影モードを切り替える。ズームレバー１０３は、２つの撮影レンズ１００Ｒと１００Ｌの焦点距離の変更を指示する。ストロボ１０４は暗い被写体を撮影する際に使用する。動画撮影モード時に、録画ＯＮ／ＯＦＦスイッチ１０１を一旦押下されると動画記録が開始され、再度押下されると録画が停止する。
【００３９】
図２は、図１に示した撮像装置１００の内部構成を示すブロック図である。図２において、参照符号の末尾にＲが付された構成要素は、撮影レンズ１００Ｒを介して得られる被写体像から画像データを得るための構成要素を表しており、参照符号の末尾にＬが付された構成要素は、撮影レンズ１００Ｌを介して得られる被写体像から画像データを得るための構成要素を表している。Ｒが付された構成要素とＬが付された構成要素の機能および動作は基本的には同じであるので、同じ説明の繰り返しは省略する。ここではＲが付された構成要素の機能および動作を主に説明する。
【００４０】
図２において、撮影レンズ１００Ｒは、被写体像を撮像素子２００Ｒ上に結像させるための複数のレンズ群からなる光学系であり、ズーム機能および合焦機能を有する。
【００４１】
撮像素子２００Ｒは結像した被写体像を電気信号（画像信号）に変換する光電変換デバイスであり、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサである。
【００４２】
アナログ信号処理部２０１Ｒは、撮像素子２００Ｒから得られた画像信号に対しゲイン調整、ノイズ除去等の処理を施す。これらの処理後、画像信号はＡ／Ｄ変換部２０２Ｒによりデジタル信号に変換される。
【００４３】
Ａ／Ｄ変換部２０２Ｒによりデジタル信号に変換された画像信号は、デジタル信号処理部２０３Ｒに送られる。
【００４４】
デジタル信号処理部２０３Ｒは、例えば、輝度信号と色差信号の分離、ノイズ除去、ガンマ補正、先鋭度改善処理、電子ズーム処理等の必要なデジタル処理を実行する。また撮影された画像信号のコントラストの変化を検出し、撮影レンズ１００Ｒの合焦制御（オートフォーカス）に必要となる情報を抽出し、後述するシステム制御部２０８に供給する。
【００４５】
メモリ２０４は、デジタル信号処理部２０３Ｒを経由した画像データ（画像信号）を記憶する。ここで、記憶される画像データはデジタル信号処理部２０３Ｒでの処理後の信号に限るものではない。Ａ／Ｄ変換部２０２Ｒから供給される画像データをそのまま一旦メモリ２０４に記憶し、必要な画像データのみを例えばブロック単位でメモリ２０４から読み出してデジタル信号処理部２０３Ｒにて処理し、再度、メモリ２０４に書き戻す、というようなバッファメモリ的な使い方も可能である。
【００４６】
メモリ制御部２０５は、システム制御部２０８の指示に従い、メモリ２０４への画像データの記録、およびメモリ２０４からの画像データの読み出しを制御する。
【００４７】
ズーム・ＡＦ駆動部２０６Ｒは、図示しないズームモーターおよびフォーカスモーターを駆動し、撮影レンズ１００Ｒのズーム倍率と合焦を制御し、システム制御部２０８からの指令信号に従い、撮影レンズ１００Ｒのズーム倍率と合焦位置（フォーカス）を調整する。
【００４８】
撮像素子駆動制御部２０７Ｒは、撮像素子２００Ｒの露光タイミングや信号の読み出しタイミング、電子シャッター動作を制御するためのパルス信号を供給し、システム制御部２０８からの指令信号に従い、撮像素子２００Ｒを駆動制御する。
【００４９】
撮影レンズ１００Ｌ、撮像素子２００Ｌ、アナログ信号処理部２０１Ｌ、Ａ／Ｄ変換部２０２Ｌ、デジタル信号処理部２０３Ｌ、ズーム・ＡＦ駆動２０６Ｌ、撮像素子駆動制御部２０７Ｌは、参照符号にＲを付した上述の構成要素と同様の機能および動作の構成要素であるため、説明は省略する。
【００５０】
システム制御部２０８は、撮像装置１００の動作全体を制御する。システム制御部２０８は、デジタル信号処理部２０３Ｒおよび２０３Ｌや水平・垂直動きセンサ２１０から供給される情報、モード切替スイッチ１０２およびズームレバー１０３の状態等に基づき、ズーム・ＡＦ駆動制御部２０６Ｒおよび２０６Ｌ、撮像素子駆動制御部２０７Ｒおよび２０７Ｌ、デジタル信号処理部２０３Ｒおよび２０３Ｌ、メモリ制御部２０５、３Ｄ映像生成部２０９等を統合的に制御し、映像撮影時にそれぞれが連動して適切な動作を行うよう指令を与える。システム制御部２０８は、例えばマイクロコンピュータとそれに格納される制御プログラムからなる。
【００５１】
３Ｄ映像生成部２０９は、２つの撮影レンズとそこから得られた被写体像を処理する２系統の要素から得られた２種類の画像信号を元に３Ｄ映像を生成する。
【００５２】
水平・垂直動きセンサ２１０は、撮像装置１００自体の動きを検出する動き検出部として機能する。水平・垂直動きセンサ２１０は、例えばジャイロセンサ（角速度センサ）などの物理センサであり、撮像装置１００の内部に組み込まれ、撮像装置１００自体の動きに応じた角速度データを出力し、システム制御部２０８に供給する。また、３Ｄ映像生成部２０９は、被写体像を撮像して得られる２Ｄ映像データと３Ｄ映像データとを、検出された撮像装置１００の動きに応じて切り替えて出力する映像データ出力部として機能する。
【００５３】
以上のように構成された本実施形態１の撮像装置１００の動作について、以下により詳細に説明する。
【００５４】
まずあらかじめ撮像装置１００のモード切替スイッチ１０２が３Ｄ動画の撮影モードに設定されているものとする。このとき、撮像装置の操作者が録画ＯＮ／ＯＦＦスイッチ１０１を押下し録画を開始すると、システム制御部２０８は撮影レンズ１００Ｒと１００Ｌのズーム倍率を同じに設定し、且つ２つのレンズを正しく合焦させてから、２つの撮像素子２００Ｒと２００Ｌを同一タイミングで駆動し撮影を開始する。そして所定のフレーム周期で撮影された画像信号は２つの撮像素子から出力され、アナログ信号処理部２０１Ｒと２０１Ｌ、Ａ／Ｄ変換部２０２Ｒと２０２Ｌ、デジタル信号処理部２０３Ｒと２０３Ｌを経由して３Ｄ映像生成部２０９に供給され、ここで３Ｄ映像データが生成される。３Ｄ映像データの生成方法は公知の技術である。例えば本実施形態においては、２系統のシステムから得られた視差のある２系統の動画から、左目用と右目用の映像を記録する時分割方式を用いて３Ｄ映像データが生成され、図示しない撮像装置の記録メディア（ハードディスクや半導体メモリカードなど）に記録される。なお、生成された３Ｄ映像データは、メモリ２０４に記録されてもよいし、撮像装置１００内には記録されずに外部機器へ出力されてもよい。
【００５５】
また、録画が開始されると、水平・垂直動きセンサ２１０において撮像装置１００の動きが検出され、システム制御部２０８に供給される。
【００５６】
撮像装置１００を使って動画を撮影する場合、撮影者が意図的に構図を変えることは頻繁に行われる。ここで、特に速い構図の変化は、パンニング（水平方向の構図変化。以降ではパンと略記する。）や、チルティング（垂直方向の構図変化。以降ではチルトと略記する。）と呼ばれることは周知のことである。このように撮影中にパンやチルト動作を行うと、２Ｄ撮影に於いても構図（被写体像）の変化に鑑賞者がついていけず違和感を感じることが多々あるが、これが３Ｄ映像の場合は更に顕著な違和感に繋がる。
【００５７】
そこで本実施形態１においては、水平・垂直動きセンサ２１０の出力から撮影装置１００の動き（撮影状況）を判断して、上述のパンやチルト動作が発生した場合には、録画される映像を３Ｄ映像から２Ｄ映像に切り替えることで上述した鑑賞者の違和感を軽減する。
【００５８】
システム制御部２０８は、撮像装置１００の動きに基づいて、パンニング撮影およびチルティング撮影の少なくとも一方の状態であるか否かを判定する判定部として機能する。パンニングおよびチルティングが同時に発生している場合は、何れか一方またはそれらの合成ベクトルをモニタする。３Ｄ映像生成部２０９が３Ｄ映像データを出力しているときに、パンニング撮影およびチルティング撮影の少なくとも一方の状態であると判定された場合、３Ｄ映像生成部２０９は、３Ｄ映像データから２Ｄ映像データへ切り替えて出力する。また、その後、パンニング撮影およびチルティング撮影のいずれでもない状態になったと判定された場合、３Ｄ映像生成部２０９は、２Ｄ映像データから３Ｄ映像データへ切り替えて出力する。
【００５９】
この動作について、図３のフローチャートを用いて詳しく説明する。
【００６０】
図３は、本実施形態１における３Ｄ撮影と２Ｄ撮影を切り替える動作を説明するためのフローチャートである。この動作を実現するアルゴリズムはシステム制御部２０８にハードウエアもしくはソフトウエアとして実装されている。
【００６１】
図３において、録画が開始されると水平・垂直動きセンサ２１０の出力の取り込みが開始される（ステップ３００）。本実施形態１において水平・垂直動きセンサ２１０はジャイロセンサ（角速度センサ）であり、システム制御部２０８に取り込まれるデータは撮像装置１００の動きの角速度である。ここで撮像装置１００を撮影者が手で保持しながら撮影し、その途中でパンを行ったとすると、水平・垂直動きセンサ２１０から出力される信号は、例えば図４のようになる。
【００６２】
図４において、縦軸は水平・垂直動きセンサの出力（単位はボルト）、横軸は時間（単位は秒）である。実線が水平・垂直動きセンサ２１０の出力、点線が例えば撮像装置が三脚などに固定されて完全に静止している場合の水平・垂直動きセンサ２１０の出力レベル（中心電位）である。図４に示すように手で保持して撮影している場合は、手振れによって水平・垂直動きセンサ２１０の出力は中心電位を挟んで上下にランダムに変化する。パン中には撮像装置１００が一定方向に連続的に変位させられるため、水平・垂直動きセンサ２１０の出力は中心電位からみて片側に偏在することになる。
【００６３】
図３のステップ３０１において、水平・垂直動きセンサ２１０の出力の変化を連続してモニタし、一定期間にわたって水平・垂直動きセンサ２１０の出力が中心電位の片側に偏在した場合、パンもしくはチルトが開始されたと判断する。逆に水平・垂直動きセンサ２１０の出力が上記の一定期間未満で中心電位をまたいで変化した場合は、パンもしくはチルトではないと判断し、ステップ３００に戻る。ステップ３０１でパンもしくはチルトと判断された場合、ステップ３０２へ進み、録画を３Ｄ映像から２Ｄ映像に自動で切り替える。なお、撮像装置１００の動きが遅い場合でも、一定期間以上の移動が続いている場合は、録画を３Ｄ映像から２Ｄ映像に自動で切り替えてもよい。
【００６４】
次に引き続き水平・垂直動きセンサ２１０の出力をモニタし（ステップ３０３）、上記一定期間未満で水平・垂直動きセンサ２１０の出力が中心電位をまたいで変化した場合は、パンもしくはチルトが終了したと判断して（ステップ３０４）、ステップ３０５に進み録画を２Ｄ映像から３Ｄ映像に切り替える。パンもしくはチルトが終了していないと判断した場合は、ステップ３０３に戻ってモニタを続ける。
【００６５】
なお、３Ｄ撮影から２Ｄ撮影への切り替える方法としては、撮像装置１００が有する２系統のカメラ系のうち、いずれか一方から得られた画像のみを３Ｄ映像生成部２０９に供給し、１系統のカメラ画像だけからなる映像を出力させるものとするか、もしくは２系統の画像を合成して２Ｄ映像を合成しても構わない。
【００６６】
以上のように本実施形態１によれば、３Ｄ映像撮影時に、パンもしくはチルトのようなカメラ操作によって、撮影された３Ｄ映像が鑑賞者に違和感を与える可能性がある状況では、映像を３Ｄ映像から２Ｄ映像に自動で切替えることで、鑑賞するのに適切な映像データを得ることができる。
【００６７】
（実施形態２）
本発明の実施形態２として、パンもしくはチルトのようなカメラ操作ではなく、撮像装置１００を手で保持して撮影する際に発生する手振れの大小に応じて３Ｄ撮影と２Ｄ撮影を切り替える例について以下に説明する。なお、実施形態２における撮像装置１００の基本構成は、図１、図２に示したものと同様であるためその説明は省略する。
【００６８】
撮像装置を使って動画を撮影する場合、撮影者が撮像装置を手で保持して撮影すると、手振れによる映像の揺動が不可避である。この撮影中の手振れによる映像の揺動を補正する技術としては、例えば連続する画像間の動きベクトルを検出し、この動きベクトルに基づき画像の一部を切り出す技術が知られている。また、手振れによるカメラの動き（例えば角速度）を検出し、これに応じて特殊な光学レンズを光軸に直交する面内で移動させ光軸を動かすことで手振れによる映像の動きを補正する技術も存在する。いかなる条件においても手振れによる映像の揺動を完全に除去することは困難である。そのため手振れによる映像の揺動が大きい場合、例えば歩行しながらの撮影や自動車等の乗り物に乗車しての撮影では、映像の揺動により、撮影された３Ｄ映像が鑑賞者に顕著な違和感を与えることになり得る。
【００６９】
そこで本実施形態２においては、水平・垂直動きセンサ２１０の出力から撮影装置１００の動き（手振れの大小）を判断して、所定以上の大きな手振れが発生した場合には、録画される映像を３Ｄ映像から２Ｄ映像に切り替えることで上述した鑑賞者の違和感を軽減する。
【００７０】
システム制御部２０８は、撮像装置１００の動きに基づいて、撮像装置１００が手振れによる揺動の状態を判定する判定部として機能する。３Ｄ映像生成部２０９が３Ｄ映像データを出力しているときに、撮像装置１００の揺動が所定レベル以上と判定された場合、３Ｄ映像生成部２０９は、３Ｄ映像データから２Ｄ映像データへ切り替えて出力する。また、その後、揺動が所定レベル未満になったと判定された場合、３Ｄ映像生成部２０９は、２Ｄ映像データから３Ｄ映像データへ切り替えて出力する。
【００７１】
この動作について、図５のフローチャートを用いて詳しく説明する。
【００７２】
図５は、本実施形態２における３Ｄ撮影と２Ｄ撮影を切り替える動作を説明するためのフローチャートである。この動作を実現するアルゴリズムはシステム制御部２０８にハードウエアもしくはソフトウエアとして実装されている。
【００７３】
図５において、録画が開始されると水平・垂直動きセンサ２１０の出力の取り込みが開始される（ステップ５００）。本実施形態２において水平・垂直動きセンサ２１０はジャイロセンサ（角速度センサ）であり、システム制御部２０８に取り込まれるデータは撮像装置１００の動きの角速度である。次にこの出力を積分する（ステップ５０１）。これを積分すれば撮像装置１００の移動角度を求めることができる。なお、積分の前に、水平・垂直動きセンサ２１０の出力から中心電位に相当する量を減算しておく。
【００７４】
ステップ５０２においては、ステップ５０１にて求められた撮像装置１００の移動角度が一定角度以上の場合、手振れが大きいと判断し、ステップ５０３へ進み、録画を３Ｄ映像から２Ｄ映像に自動で切り替える。逆に撮像装置１００の移動角度が一定角度未満の場合には、ステップ５００に戻り、３Ｄ撮影を継続する。
【００７５】
ステップ５０３で３Ｄ映像から２Ｄ映像に切り替えた場合は、ステップ５０４にて引き続き水平・垂直動きセンサ２１０の出力を取り込み、ステップ５０５にてこれを積分して撮像装置１００の移動角度を求める。そしてステップ５０６において、ステップ５０５にて求められた撮像装置１００の移動角度が一定角度未満に低下した場合、手振れが小さくなったと判断し、ステップ５０７へ進み、録画を２Ｄ映像から３Ｄ映像に自動で切り替える。手振れが依然大きいままの場合は、ステップ５０４に戻り、引き続き水平・垂直動きセンサ２１０の出力をモニタし続ける。
【００７６】
以上のように本実施形態２によれば、３Ｄ映像撮影時に、撮影者の手振れによって、撮影された映像が鑑賞者に違和感を与える可能性がある状況では、映像を３Ｄ映像から２Ｄ映像に自動で切替えることで、鑑賞するのに適切な映像を撮影することができる。
【００７７】
なお手振れの大小を判断する方法としては、図５を用いて説明した以外に、図６および図７で説明する方法も考えられる。
【００７８】
図６は手で撮像装置１００を保持して撮影した場合の水平・垂直動きセンサ２１０の出力例（手振れの角速度）である。図６において、縦軸は水平・垂直動きセンサの出力（単位はボルト）、横軸は時間（単位は秒）である。実線が水平・垂直動きセンサ２１０の出力、点線が例えば撮像装置１００が三脚などに固定されて完全に静止している場合の水平・垂直動きセンサ２１０の出力レベル（中心電位）である。
【００７９】
図６に示すように手振れは低い周期的な動きが支配的である。そのため図５に示した例のように角速度を積分した移動角度の大小だけで手振れの大きさを判断すると、周期的に手振れの大小が変化し、３Ｄ撮影と２Ｄ撮影が頻繁に切り替わり、却って見苦しい映像となる可能性がある。そこで図６中に矢印で示した区間での水平・垂直動きセンサ２１０の出力の二乗平均値を算出し、更にこの二乗平均値を求める区間を移動させていけば、一定期間内での手振れの大小の傾向を把握することができる（なお、二乗平均値を求める前に、水平・垂直動きセンサ２１０の出力から中心電位に相当する量を減算しておく）。例えば、ある区間での二乗平均値が大きい場合には、撮影者が連続して歩行撮影しているなど手振れが大きく発生する状況にあると予想することができる。そしてこの傾向に応じて手振れの大小を判断して３Ｄ撮影と２Ｄ撮影を切り替えれば、この切り替えが頻繁に起こることが避けられ、より好ましい映像を撮影することができる。
【００８０】
図７は、上述の二乗平均値を算出する方法を用いて３Ｄ撮影と２Ｄ撮影を切り替える動作のフローチャートである。図７において、ステップ７０１、７０２、７０５および７０６が、水平・垂直動きセンサ２１０の出力値の一定区間の二乗平均値を算出して手振れの大小を求めるステップである。
【００８１】
図７において、録画が開始されると水平・垂直動きセンサ２１０の出力の取り込みが開始される（ステップ７００）。次に、水平・垂直動きセンサ２１０の出力の一定区間での二乗平均値を算出する（ステップ７０１）。
【００８２】
ステップ７０２においては、算出した二乗平均値が所定値以上の場合、手振れが大きいと判断し、ステップ７０３へ進み、録画を３Ｄ映像から２Ｄ映像に自動で切り替える。逆に撮像装置１００の二乗平均値が所定値未満の場合には、ステップ７００に戻り、３Ｄ撮影を継続する。
【００８３】
ステップ７０３で３Ｄ映像から２Ｄ映像に切り替えた場合は、ステップ７０４にて引き続き水平・垂直動きセンサ２１０の出力を取り込み、ステップ７０５にて一定区間での二乗平均値を算出する。そしてステップ７０６において、ステップ７０５にて求められた二乗平均値が所定値未満に低下した場合、手振れが小さくなったと判断し、ステップ７０７へ進み、録画を２Ｄ映像から３Ｄ映像に自動で切り替える。手振れが依然大きいままの場合は、ステップ７０４に戻り、引き続き水平・垂直動きセンサ２１０の出力をモニタし続ける。このように、映像を３Ｄ映像から２Ｄ映像に自動で切替えることで、鑑賞するのに適切な映像を撮影することができる。
【００８４】
（実施形態３）
本発明の実施形態３における撮像装置２００について図８および図９を参照して説明する。撮像装置２００では、撮像装置１００（図２）に、撮影レンズ１００Ｒと１００Ｌの間の物理的距離（以降ではステレオベース）を可変たらしめるためのステレオベース変更部８００を設け、これをシステム制御部８０１から制御する。システム制御部８０１の基本的な動作はシステム制御部２０８（図２）と同様である。図８の撮像装置２００において、撮像装置１００と同様の構成要素については同じ参照符号を付し、同様の説明の繰り返しは省略する。
【００８５】
図８は本発明の実施形態３における撮像装置２００の内部構成を示すブロック図である。２つの撮影レンズ（光学系）１００Ｒおよび１００Ｌは、互いに並んで配置され、それぞれ被写体像を形成する。ステレオベース変更部８００は、２つの撮影レンズ１００Ｒおよび１００Ｌの光軸間の距離であるステレオベースを自由に変更するための機構および駆動モーターからなり、システム制御部８０１からの指令信号に基づいてステレオベースを変更する。ステレオベース変更部８００は、撮像装置２００の動きに応じて、撮影レンズ１００Ｒおよび１００Ｌの少なくとも一方の光学系を光軸と垂直な方向に移動させ、ステレオベースを変更する。
【００８６】
このステレオベース変更部８００によって２つの撮影レンズ１００Ｒと１００Ｌ間のステレオベースを変更することで、撮影される３Ｄ映像の立体感（飛び出し量）を変更することが可能である。なおステレオベースを変更することは、左右の２画像間の視差を変更することである。視差と３Ｄ映像の立体感（飛び出し量）を調整するために２画像間の視差を調整する方法は、例えば２系統のカメラで得られた左右の２画像間の水平方向の空間的な位置ズレ量を画像処理で調整する方法がある。他には例えば特開２０１０−４５５８４公報に開示された方法もある。
【００８７】
ここで、本発明の実施形態１において述べたとおり、撮影中にパンやチルト動作を行うと、３Ｄ映像の鑑賞者の違和感に繋がることがある。
【００８８】
そこで本実施形態３においては、水平・垂直動きセンサ２１０の出力から撮影装置２００の動き（撮影状況）を判断して、上述のパンやチルト動作が発生した場合には、２つの撮影レンズ１００Ｒと１００Ｌ間のステレオベースを自由に変更し、撮影される３Ｄ映像の立体感（飛び出し量）を調整することで鑑賞者の違和感を軽減する。
【００８９】
ステレオベース変更部８００は、撮像装置２００がパンおよびチルトの少なくとも一方の状態であると判定された場合、ステレオベースを短くして、３Ｄ映像の立体感を弱くする。その後、パンおよびチルトの状態でなくなったと判定された場合、ステレオベース変更部８００は、ステレオベースを長くして、３Ｄ映像の立体感を強くする（すなわち元の立体感に戻す）。
【００９０】
この動作について、図９のフローチャートを用いて詳しく説明する。
【００９１】
図９は、本実施形態３における撮影レンズ１００Ｒと１００Ｌの間のステレオベースを変更する動作を説明するフローチャートである。この動作を実現するアルゴリズムはシステム制御部８０１にハードウエアもしくはソフトウエアとして実装されている。
【００９２】
図９において、録画が開始されると水平・垂直動きセンサ２１０の出力の取り込みが開始される（ステップ９００）。本実施形態３において水平・垂直動きセンサ２１０はジャイロセンサ（角速度センサ）であり、システム制御部８０１に取り込まれるデータは撮像装置２００の動きの角速度である。ここで撮像装置２００を撮影者が手で保持しながら撮影し、その途中でパンを行ったとすると、水平・垂直動きセンサ２１０から出力される信号は、例えば図４のようになる。
【００９３】
図４において、縦軸は水平・垂直動きセンサの出力（単位はボルト）、横軸は時間（単位は秒）である。実線が水平・垂直動きセンサ２１０の出力、点線が例えば撮像装置２００が三脚などに固定されて完全に静止している場合の水平・垂直動きセンサ２１０の出力レベル（中心電位）である。図４に示すように手で保持して撮影している場合は手振れによって水平・垂直動きセンサ２１０の出力は中心電位を挟んで上下にランダムに変化する。パン中には撮像装置２００が一定方向に連続的に変位させられるため、水平・垂直動きセンサ２１０の出力は中心電位からみて片側に偏在することになる。
【００９４】
図９のステップ９０１において水平・垂直動きセンサ２１０の出力の変化を連続してモニタし、一定期間にわたって水平・垂直動きセンサ２１０の出力が中心電位の片側に偏在した場合、パンもしくはチルトが開始されたと判断する（ステップ９０１）。逆に水平・垂直動きセンサ２１０の出力が上記の一定期間未満で中心電位をまたいで変化した場合は、パンもしくはチルトではないと判断し、ステップ９００に戻る。ステップ９０１でパンもしくはチルトと判断された場合、ステップ９０２へ進み、撮影レンズ１００Ｒと１００Ｌの間のステレオベースを変更する。この際、ステレオベースの変更は、３Ｄ映像の立体感（飛び出し量）が小さくなる方向に変更することが好ましいため、具体的には撮影レンズ１００Ｒと１００Ｌの間のステレオベースを短くするように変更する。
【００９５】
次に引き続き水平・垂直動きセンサ２１０の出力をモニタし、上記一定期間未満で水平・垂直動きセンサ２１０の出力が中心電位をまたいで変化した場合はパンもしくはチルトが終了したと判断して（ステップ９０４）、ステップ９０５に進み、撮影レンズ１００Ｒと１００Ｌの間のステレオベースを拡大して元に戻す。
【００９６】
以上のように本実施形態３によれば、３Ｄ映像撮影時に、パンもしくはチルトのようなカメラ操作によって、撮影された３Ｄ映像が鑑賞者に違和感を与える可能性がある状況では、ステレオベースを変更することで、鑑賞するのに適切な映像を得ることができる。
【００９７】
なお、ステレオベースの変更は、例えば通常撮影時（パンもしくはチルト無し）とパンもしくはチルト時の２つの状態に合わせて、２つのステレオベース値を保持しておき、この２値間で切り替える構成が考えられる。しかし、急速にステレオベースを変更すると３Ｄ映像の立体感が急激に変わるため好ましくない。そこで、図１０に示すように、ステレオベースは徐々に変更することが好ましい。図１０は、ステレオベースの変更方法を示す図である。図１０において、縦軸はステレオベースの長さ、横軸は時間（単位は秒）である。パンもしくはチルトを検出後、徐々にステレオベースを変更し、またパンもしくはチルトが終了後も徐々にステレオベースを元に戻すことで、鑑賞者の違和感をより低減させることができる。
【００９８】
（実施形態４）
本発明の実施形態４として、パンもしくはチルトのようなカメラ操作ではなく、撮像装置２００を手で保持して撮影する際に発生する手振れの大小に応じてステレオベースを変更する例について以下に説明する。なお実施形態４における撮像装置２００の基本構成は図１、図８に示したものと同様であるためその説明は省略する。
【００９９】
撮像装置２００を使って動画を撮影する場合、実施形態２において説明した通り、手振れによる画像の揺動により撮影された３Ｄ映像が鑑賞者に違和感を与えることになる。
【０１００】
そこで本実施形態４においては、水平・垂直動きセンサ２１０の出力から撮影装置２００の動き（手振れの大小）を判断して、所定以上の大きな手振れが発生した場合には、ステレオベースを変更することで上述した鑑賞者の違和感を軽減する。
【０１０１】
ステレオベース変更部８００は、揺動が所定レベル以上と判定された場合、ステレオベースを短くして、３Ｄ映像の立体感を弱くする。その後、揺動が所定レベル以上の状態から所定レベル未満の状態になったと判定された場合、ステレオベース変更部８００は、ステレオベースを長くして、３Ｄ映像の立体感を強くする（すなわち元の立体感に戻す）。
【０１０２】
この動作について、図１１のフローチャートを用いて詳しく説明する。
【０１０３】
図１１は、本実施形態４におけるステレオベースを変更する動作を説明するためのフローチャートである。この動作を実現するアルゴリズムはシステム制御部８０１にハードウエアもしくはソフトウエアとして実装されている。
【０１０４】
図１１において、録画が開始されると水平・垂直動きセンサ２１０の出力の取り込みが開始される（ステップ１１００）。本実施形態４において水平・垂直動きセンサ２１０はジャイロセンサ（角速度センサ）であり、システム制御部８０１に取り込まれるデータは撮像装置２００の動きの角速度である。次にこの出力を積分する（ステップ１１０１）。これを積分すれば撮像装置２００の移動角度を求めることができる。なお、積分の前に、水平・垂直動きセンサ２１０の出力から中心電位に相当する量を減算しておく。ステップ１１０２においては、ステップ１１０１にて求められた撮像装置２００の移動角度が一定角度以上の場合、手振れが大きいと判断し、ステップ１１０３へ進み、撮影レンズ１００Ｒと１００Ｌの間の物理的距離（ステレオベース）を変更する。この際、ステレオベースの変更は、３Ｄ映像の立体感（飛び出し量）が小さくなる方向に変更することが好ましいため、具体的には撮影レンズ１００Ｒと１００Ｌの間のステレオベースを短くするように変更する。
【０１０５】
ステップ１１０３でステレオベースを短くし、次にステップ１１０４にて引き続き水平・垂直動きセンサ２１０の出力を取り込み、ステップ１１０５にてこれを積分して撮像装置２００の移動角度を求める。そしてステップ１１０６において、ステップ１１０５にて求められた撮像装置の移動角度が一定角度未満に低下した場合、手振れ（揺動）が小さくなったと判断し、ステップ１１０７へ進み、撮影レンズ１００Ｒと１００Ｌの間のステレオベースを拡大して元に戻す。手振れが依然大きいままの場合は、ステップ１１０４に戻り、引き続き水平・垂直動きセンサ２１０の出力をモニタし続ける。
【０１０６】
以上のように本実施形態４によれば、３Ｄ映像撮影時に、撮影者の手振れによって、撮影された映像が鑑賞者に違和感を与える可能性がある状況では、ステレオベースを変更して３Ｄ映像の立体感（飛び出し量）を調整することで、鑑賞するのに適切な映像を撮影することができる。
【０１０７】
なお手振れの大小を判断する方法としては、本実施形態２において説明した方法と同様に、図１１を用いて説明した以外に、図６および図１２で説明する方法も考えられることは言うまでもない。
【０１０８】
図１２は、上述した二乗平均値を算出する方法を用いてステレオベースを変更する動作のフローチャートである。図１２において、ステップ１２０１、１２０２、１２０５および１２０６が、水平・垂直動きセンサ２１０の出力値の一定区間の二乗平均値を算出して手振れの大小を求めるステップである。
【０１０９】
図１２において、録画が開始されると水平・垂直動きセンサ２１０の出力の取り込みが開始される（ステップ１２００）。次に、水平・垂直動きセンサ２１０の出力の一定区間での二乗平均値を算出する（ステップ１２０１）。
【０１１０】
ステップ１２０２においては、算出した二乗平均値が所定値以上の場合、手振れが大きいと判断し、ステップ１２０３へ進み、ステレオベースを小さくする。逆に撮像装置２００の二乗平均値が所定値未満の場合には、ステップ１２００に戻り、現在のステレオベースを維持する。
【０１１１】
ステップ１２０３でステレオベースを小さくした場合は、ステップ１２０４にて引き続き水平・垂直動きセンサ２１０の出力を取り込み、ステップ１２０５にて一定区間での二乗平均値を算出する。そしてステップ１２０６において、ステップ１２０５にて求められた二乗平均値が所定値未満に低下した場合、手振れが小さくなったと判断し、ステップ１２０７へ進み、ステレオベースを長くする。手振れが依然大きいままの場合は、ステップ１２０４に戻り、引き続き水平・垂直動きセンサ２１０の出力をモニタし続ける。このように、揺動の大きさに応じてステレオベースを自動で調整することで、鑑賞するのに適切な映像を撮影することができる。
【０１１２】
また実施形態３において図１０を用いて説明したとおり、ステレオベースの変更は２値の切り換えも可能だが、図１３に示すように、手振れが小さい状態と手振れが大きい状態で、切り替えを徐々に進めるほうが好ましい。図１３は、ステレオベースの変更方法を示す図である。図１３において、縦軸はステレオベースの長さ、横軸は時間（単位は秒）である。手振れが大きくなった場合は徐々にステレオベースを小さくし、手振れが小さくなった後も徐々にステレオベースを元に戻すことで、鑑賞者の違和感をより低減させることができる。
【０１１３】
（実施形態５）
本発明の実施形態５における撮像装置３００について図１４から図１７を参照して説明する。本実施形態５では、先に説明した撮影レンズ１００Ｒと１００Ｌの間のステレオベースを変更する代わりに、撮影レンズ１００Ｒと１００Ｌを介して撮影された左右の２画像間の視差を変更する。図１４の撮像装置３００において、すでに説明した撮像装置１００および２００の構成要素と同様の構成要素には同じ参照符号を付し、同様の説明の繰り返しは省略する。
【０１１４】
図１４は本発明の実施形態５における撮像装置３００の内部構成を示すブロック図である。撮像装置３００は視差調整部１４００を備えている。視差調整部１４００は、被写体像を撮像して得られる右目用の画像と左目用の画像との間の視差を、撮像装置３００の動きに応じて調整する。３Ｄ映像生成部２０９は、調整された視差に基づき３Ｄ映像データを生成する。
【０１１５】
視差調整部１４００は、２つの撮影レンズ１００Ｒと１００Ｌを介して撮影された左右の２つの画像間の視差を自由に変更する。この視差調整部１４００によって左右２つの画像間の視差を変更することで、撮影される３Ｄ映像の立体感（飛び出し量）を変更することが可能である。なお、３Ｄ映像の立体感（飛び出し量）を調整するために２画像間の視差を調整する方法は、例えば２系統のカメラで得られた左右の２画像間の水平方向の空間的な位置ズレ量を画像処理で調整する方法がある。他には例えば文献特開２０１０−４５５８４公報に開示された方法がある。
【０１１６】
図１５は、視差調整部１４００の内部構成を示すブロック図である。視差検出部１５００は、デジタル信号処理部２０３Ｒと２０３Ｌから供給される左右の２画像の視差を検出する。なお視差の検出方法、例えば左右２つの画像の水平方向の位置ズレ量を検出する方法が一般的である。具体的には左右２つの画像のうち、どちらか一方を基準とし、この基準画像中に適当な矩形エリアを設け、もう片方の画像中でこの矩形エリアと絵柄が一致する場所をパターンマッチングで探索することで位置ズレ量を検出する。
【０１１７】
バッファメモリ１５０１は、デジタル信号処理部２０３Ｒおよび２０３Ｌから供給される左右の２画像のデータを一旦記憶するメモリである。バッファメモリ１５０１は後述する視差変更部１５０２の指令に基づき、記憶された２つの画像データに対し、任意の水平方向位置から画像を切り出して出力できる。
【０１１８】
視差変更部１５０２は、システム制御部８０１からの指示と、視差検出部１５００における２画像間の視差検出結果に基づき、バッファメモリ１５０１から画像を読み出す際の水平方向の切り出し位置を指定する。
【０１１９】
図１７は、２画像間の視差Ｄを模式的に示した図である。図１７の例では、左画像１７１と右画像１７２との間で絵柄が一致する位置を特定し、それらの位置の間の水平方向距離として視差Ｄを求めている。視差Ｄを小さくする場合は、例えば、左画像１７１の絵を数画素分右へずらし、右画像１７２の絵を数画素分左へずらすことで、視差Ｄを小さくすることができる。また、左画像１７１の絵を数画素分左へずらし、右画像１７２の絵を数画素分右へずらすことで、視差Ｄを大きくすることができる。
【０１２０】
また、画像中の手前に位置する絵（図１７では人間の絵）の視差の調整量は大きくし、景色のような後方の絵（図１７では家の絵）の視差の調整量は小さくするというように、画像中の位置に応じて調整量を異ならせてもよい。
【０１２１】
以上のように構成された実施形態５における動作を以下に説明する。
【０１２２】
本発明の実施形態１および３において述べたとおり、撮影中にパンやチルト動作を行うと、３Ｄ映像の場合は違和感に繋がることがある。
【０１２３】
そこで本実施形態５においては、水平・垂直動きセンサ２１０の出力から撮影装置３００の動き（撮影状況）を判断して、上述のパンやチルト動作が発生した場合には、２つの撮影レンズ１００Ｒと１００Ｌを介して撮影された左右の２画像間の視差を変更し、撮影される３Ｄ映像の立体感（飛び出し量）を調整することで鑑賞者の違和感を軽減する。
【０１２４】
視差調整部１４００は、撮像装置３００がパンおよびチルトの少なくとも一方の状態であると判定された場合、視差を小さくして、３Ｄ映像の立体感を弱くする。その後、パンおよびチルトの状態でなくなったと判定された場合、視差調整部１４００は、視差を大きくして、３Ｄ映像の立体感を強くする（すなわち元の立体感に戻す）。
【０１２５】
この動作について、図１６のフローチャートを用いて詳しく説明する。
【０１２６】
図１６は、本実施形態５における２画像間の視差を変更する動作を説明するためのフローチャートである。この動作を実現するアルゴリズムはシステム制御部８０１にハードウエアもしくはソフトウエアとして実装されている。
【０１２７】
図１６において、録画が開始されると水平・垂直動きセンサ２１０の出力の取り込みが開始される（ステップ１６００）。本実施形態５においても、実施形態１および３と同様の方法でパンおよびチルトを検出する。そしてステップ１６０１でパンもしくはチルトと判断された場合、ステップ１６０２へ進み、２画像間の視差調整を視差変更部１５０２に指示する。この際、視差の変更は、３Ｄ映像の立体感（飛び出し量）が小さくなる方向に変更することが好ましいため、具体的には撮影された２画像間の元の視差（視差検出部１５００にて検出される視差）よりも視差を小さくするように変更する。
【０１２８】
次に、引き続き水平・垂直動きセンサ２１０の出力をモニタし、実施形態１および３と同様の方法でパンおよびチルトの終了を検出する（ステップ１６０３および１６０４）。パンもしくはチルトが続いている間はモニタを継続する。パンもしくはチルトが終了したと判断するとステップ１６０５に進み、２画像間の視差調整を視差変更部１５０２に指示する（視差を拡大して元に戻す）。
【０１２９】
以上のように本実施形態５によれば、３Ｄ映像撮影時に、パンもしくはチルトのようなカメラ操作によって、撮影された映像が鑑賞者に違和感を与える可能性がある状況では、２画像間の視差を変更することで、鑑賞するのに適切な映像を得ることができる。
【０１３０】
なお、視差の変更は、例えば通常撮影時（パンもしくはチルト無し）とパンもしくはチルト時の２つの状態に合わせて、２つの視差を保持しておき、この２値間で切り替える構成も考えられる。しかし、急速に視差を変更すると３Ｄ映像の立体感が急激に変わるため好ましくない。そこで図１８に示すようにパンもしくはチルトを検出後、徐々に視差を変更し、またパンもしくはチルトが終了後も徐々に視差を元に戻すことが望ましい。図１８は、視差の変更方法を示す図である。図１８において、縦軸は視差の大きさ、横軸は時間（単位は秒）である。パンもしくはチルトを検出後、徐々に視差を変更し、またパンもしくはチルトが終了後も徐々に視差を元に戻すことで、鑑賞者の違和感をより低減させることができる。
【０１３１】
また、バッファメモリ１５０１から画像を読み出す際に、読み出し位置を水平方向にずらして画像の切り出し位置を変える場合、切り出しに伴い画像の一部に欠落が生じる恐れがある。これを回避するためには、あらかじめバッファメモリ１５０１に記録する２画像は水平方向にマージン分の余裕画素を持たせた画像としておけばよい。
【０１３２】
また、実施形態５においてはパンもしくはチルトを検出して視差を調整する構成について説明したが、例えば実施形態２、４を同様に撮影時の手振れ量の大小に応じて視差を調整してもよい。その場合、手振れが大きいほど視差を小さくするようにすればよい。視差調整部１４００は、揺動が所定レベル以上と判定された場合、視差を小さくして、３Ｄ映像の立体感を弱くする。その後、揺動が所定レベル以上の状態から所定レベル未満の状態になったと判定された場合、視差調整部１４００は、視差を大きくして、３Ｄ映像の立体感を強くする（すなわち元の立体感に戻す）。
【０１３３】
また実施形態５においてはパンもしくはチルト時に視差を小さくする構成を説明したが、視差をゼロにすることは２Ｄ映像の取得と同様であるため、例えば図１９に示すようにパンもしくはチルトの状態では、視差をゼロまで小さくして、最終的にはパンもしくはチルト中は２Ｄで録画することも考えられる。この場合、視差がゼロの状態では左右の２画像のうち、あらかじめ決めておいた片方の画像のみを記録してもよい。
【０１３４】
また本発明の実施形態１から５において、パンやチルト、手振れによる撮像装置の揺動を検出するには、一定の時間が必要となる。その場合、パンやチルト、手振れが始まってから一定期間は３Ｄ映像のままで記録が行われるため、その部分で鑑賞者が違和感を感じる映像が撮影されることとなる。このような事態を避けるためには、例えばメモリ２０４もしくはバッファメモリ１５０１に当該一定期間分の左右画像を蓄積できるだけの容量を確保しておき、パンやチルト、手振れが検出された場合には、検出に要した当該一定期間分だけ遡り、上述した措置（例えば、３Ｄ映像を２Ｄ映像に変更する、もしくは左右の２画像間の視差を調整する）を施した後に、表示部もしくは記録部に映像を供給するようにすればよい。また、パンやチルト、手振れによる撮像装置の揺動の検出は、映像録画の開始とは無関係に、撮像装置の電源が投入された後は常時行ってもよい。録画開始のタイミングで、パンやチルト、手振れによる撮像装置の揺動が検出されている場合は、録画開始と同時に上述した措置（例えば、３Ｄ映像を２Ｄ映像に変更する、もしくは左右の２画像間の視差を調整する）を施すことで、より適切な映像データを得ることができる。
【０１３５】
また本発明の実施形態１、２、５において、２Ｄ映像を記録する際は、２系統のカメラのうちのいずれかから得られた映像を記録する処理を説明したが、どちらのカメラ映像を記録するかを撮影者に選択さてもよい。
【０１３６】
また本発明の実施形態１から５において、パン、チルト、揺動の検出にはジャイロセンサ（角速度センサ）を用いる構成を説明したが、本発明はこれに限るものではなく、例えば加速度センサや傾斜（傾き）センサのような別のセンサを用いることも可能である。また、動き検出部は、すでに述べたジャイロセンサのような物理センサではなく、撮影された画像から検出される動きベクトルを用いて、パン、チルト、揺動を検出してもよい。動きベクトルから撮像装置の移動角や、動きベクトルの一定期間内での二乗平均値を計算して手振れの大小を判定しても、上述した本発明の効果が得られる。なお、画像から動きベクトルを検出する技術としては、連続する２フィールド（もしくは２フレーム）間の画像の位置ズレをパターンマッチングによって検出するなどの方式を使えばよく（例えば、特許２５１６５８０号公報）、その方式は特定のものに限定されない。
【０１３７】
また本発明の実施形態１から５において、３Ｄ映像を得る撮像装置は２系統のカメラを有する構成を説明したがこれに限るものではなく、３系統以上のカメラを有する構成においても本発明は適用される。また、複数台の個別のカメラを用いて３Ｄ映像撮影システムを構成した場合も同様である。
【０１３８】
また、本発明の実施形態１から５の撮像装置は撮像素子を２つ備えていたが、撮像素子を１つのみ備えてそれを用いて３Ｄ映像データを生成する撮像装置にも本発明は適用される。
【０１３９】
また上述したように、撮像装置の動きに応じて、２Ｄ映像データと３Ｄ映像データとを切り替える動作、光学系のステレオベースを変更する動作、および左右の画像間の視差を調整する動作は、ハードウエアによって実現されてもよいしソフトウエアによって実現されてもよい。それら動作を実行させるプログラムは、例えばシステム制御部、３Ｄ映像生成部、視差調整部等の内蔵メモリに記憶される。また、プログラムは、そのような構成要素とは別に設けられた記録媒体に記録されていてもよい。
【０１４０】
また本発明の実施形態１から５において、３Ｄ映像を時分割方式の３Ｄ映像として説明したが、本発明はこれに限定されず、一般に知られている他の３Ｄ映像方式においても本発明は適用される。
【０１４１】
また本発明の実施形態１から５において、音声の記録については特に説明を行っていないが、動画と同期して音声を記録してもよいことは言うまでもない。
【０１４２】
また本発明実施形態１から５において、３Ｄ撮影から２Ｄ撮影に切り替える際に、３Ｄ映像の撮影ができない旨を、表示部もしくは専用のインジケータ等の手段を介して、撮影者に知らしめるよう表示（警告）を行ってもよい。その場合、撮影者は３Ｄ撮影ができないことを認識して３Ｄ撮影に適切なカメラ操作を行うよう心がけることができ、より鑑賞時に適切な映像撮影が可能となる。
【産業上の利用可能性】
【０１４３】
本発明は、３Ｄ映像撮影時に、その撮影した映像が鑑賞者に違和感を与える可能性がある状況でも、自動でカメラを制御する、もしくは撮影された映像に加工を施すことで、適切な３Ｄ映像を撮影することができるシステムであって、３Ｄ映像の技術分野において特に有用である。
【符号の説明】
【０１４４】
１００Ｒ、１００Ｌ 撮影レンズ
２００Ｒ、２００Ｌ 撮像素子
２０１Ｒ、２０１Ｌ アナログ信号処理部
２０２Ｒ、２０２Ｌ Ａ／Ｄ変換部
２０３Ｒ、２０３Ｌ デジタル信号処理部
２０４ メモリ
２０５ メモリ制御部
２０６Ｒ、２０６Ｌ ズーム・ＡＦ駆動制御部
２０７Ｒ、２０７Ｌ 撮像素子駆動制御部
２０８ システム制御部
２０９ ３Ｄ映像生成部
２１０ 水平・垂直動きセンサ
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に２Ｄ（Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ）動画と３Ｄ（Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ）動画を撮影する機能を有する撮像装置に関する。
【背景技術】
【０００２】
近年、テレビと映画コンテンツの３Ｄ化に伴い、３Ｄ映像を一般ユーザーが簡単に視聴できる環境が整いつつある。これに連動して、撮像装置に関しても３Ｄ撮影が可能なカメラが提案されている。
【０００３】
３Ｄ映像の撮影には、従来より同一の被写体を複数の視点から同時に撮影し、その視点間の視差量から３Ｄ映像を取得・生成する方法が一般に用いられている。しかし、３Ｄ映像は視差のある画像から人間が脳内で映像を立体像と認識するプロセスを経るため、眼で視覚される画像が人間の立体像の認識プロセスに合わせて適度に調整された画像でない場合には、鑑賞者に違和感を与える恐れがある。そのため特許文献１のように、３Ｄに対応した撮像装置で３Ｄ映像を撮影する場合には、２Ｄ撮影の場合に比べてカメラの制御方法（特許文献１の場合は、露出制御の周期）を変えて、３Ｄ映像の視聴時に鑑賞者に違和感を与えることが無いようにすることが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１８７３８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、３Ｄ映像において鑑賞者が違和感を感じる条件には、他にも様々なケースが考えられる。特にプロフェッショナルではない一般のカメラユーザーが３Ｄ映像を撮影できる民生用途のカメラにおいては、撮影された３Ｄ映像が鑑賞時に違和感を与えない適切な映像となるように、あらかじめ撮影時の状況に合わせて自動でカメラを制御したり、記録される３Ｄ映像データを加工したりしておくべきである。
【０００６】
本発明はこのような課題を鑑みてなされたものであり、鑑賞者に違和感を与える３Ｄ映像になる可能性がある撮影条件では、自動でカメラを制御する、もしくは映像データに加工を施すことで、適切な映像を提供できる撮像装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、自装置の動きを検出する動き検出部と、被写体像を撮像して得られる２Ｄ映像データと３Ｄ映像データとを、前記検出された自装置の動きに応じて切り替えて出力する映像データ出力部とを備えることを特徴とする。
【０００８】
ある実施形態によれば、前記検出された自装置の動きに基づいて、前記自装置がパンニング撮影およびチルティング撮影の少なくとも一方の状態であるか否かを判定する判定部をさらに備え、前記映像データ出力部が前記３Ｄ映像データを出力しているときに、前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態であると判定された場合、前記映像データ出力部は、前記３Ｄ映像データから前記２Ｄ映像データへ切り替えて出力する。
【０００９】
ある実施形態によれば、前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態からいずれでもない状態になったと判定された場合、前記映像データ出力部は、前記２Ｄ映像データから前記３Ｄ映像データへ切り替えて出力する。
【００１０】
ある実施形態によれば、前記検出された自装置の動きに基づいて、前記自装置の手振れによる揺動の状態を判定する判定部をさらに備え、前記映像データ出力部が前記３Ｄ映像データを出力しているときに、前記揺動が所定レベル以上と判定された場合、前記映像データ出力部は、前記３Ｄ映像データから前記２Ｄ映像データへ切り替えて出力する。
【００１１】
ある実施形態によれば、前記揺動が所定レベル以上から所定レベル未満になったと判定された場合、前記映像データ出力部は、前記２Ｄ映像データから前記３Ｄ映像データへ切り替えて出力する。
【００１２】
ある実施形態によれば、前記動き検出部は角速度センサである。
【００１３】
ある実施形態によれば、前記動き検出部は撮影画像から動きベクトルを検出する。
【００１４】
本発明の撮像装置は、自装置の動きを検出する動き検出部と、互いに並んで配置され、それぞれ被写体像を形成する第１および第２の光学系と、前記第１および第２の光学系で形成される２つの被写体像を撮像して得られた画像信号に基づき、３Ｄ映像データを生成する映像データ生成部と、前記検出された自装置の動きに応じて、前記第１および第２の光学系の少なくとも一方の光学系を光軸と垂直な方向に移動させ、前記第１および第２の光学系の光軸間の距離であるステレオベースを変更する変更部とを備えることを特徴とする。
【００１５】
ある実施形態によれば、前記検出された自装置の動きに基づいて、前記自装置がパンニング撮影およびチルティング撮影の少なくとも一方の状態であるか否かを判定する判定部をさらに備え、前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態であると判定された場合、前記変更部は、前記ステレオベースを短くする。
【００１６】
ある実施形態によれば、前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態からいずれでもない状態になったと判定された場合、前記変更部は、前記ステレオベースを長くする。
【００１７】
ある実施形態によれば、前記検出された自装置の動きに基づいて、前記自装置の手振れによる揺動の状態を判定する判定部をさらに備え、前記変更部は、前記揺動が所定レベル以上と判定された場合、前記ステレオベースを短くする。
【００１８】
ある実施形態によれば、前記揺動が所定レベル以上から所定レベル未満になったと判定された場合、前記変更部は、前記ステレオベースを長くする。
【００１９】
ある実施形態によれば、前記動き検出部は角速度センサである。
【００２０】
ある実施形態によれば、前記動き検出部は撮影画像から動きベクトルを検出する。
【００２１】
本発明の撮像装置は、自装置の動きを検出する動き検出部と、被写体像を撮像して得られる右目用の画像と左目用の画像との間の視差を、前記検出された自装置の動きに応じて調整する視差調整部と、前記調整された視差に基づき３Ｄ映像データを生成する映像データ生成部とを備えることを特徴とする。
【００２２】
ある実施形態によれば、前記検出された自装置の動きに基づいて、前記自装置がパンニング撮影およびチルティング撮影の少なくとも一方の状態であるか否かを判定する判定部をさらに備え、前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態であると判定された場合、前記視差調整部は、前記視差を小さくする。
【００２３】
ある実施形態によれば、前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態からいずれでもない状態になったと判定された場合、前記視差調整部は、前記視差を大きくする。
【００２４】
ある実施形態によれば、前記検出された自装置の動きに基づいて、前記自装置の手振れによる揺動の状態を判定する判定部をさらに備え、前記視差調整部は、前記揺動が所定レベル以上と判定された場合、前記視差を小さくする。
【００２５】
ある実施形態によれば、前記揺動が所定レベル以上から所定レベル未満になったと判定された場合、前記視差調整部は、前記視差を大きくする。
【００２６】
ある実施形態によれば、前記動き検出部は角速度センサである。
【００２７】
ある実施形態によれば、前記動き検出部は撮影画像から動きベクトルを検出する。
【００２８】
本発明のプログラムは、映像処理を撮像装置に実行させるプログラムであって、前記プログラムは、被写体像を撮像して得られる２Ｄ映像データと３Ｄ映像データとを、前記撮像装置の動きに応じて切り替えて出力するステップを前記撮像装置に実行させることを特徴とする。
【００２９】
本発明のプログラムは、映像処理を撮像装置に実行させるプログラムであって、前記プログラムは、被写体像を撮像して得られる右目用の画像と左目用の画像との間の視差を、前記撮像装置の動きに応じて調整するステップと、前記調整された視差に基づき３Ｄ映像データを生成するステップとを前記撮像装置に実行させることを特徴とする。
【発明の効果】
【００３０】
本発明によれば、鑑賞者に違和感を与える３Ｄ映像になる可能性がある撮影条件では、自動でカメラを制御する、もしくは映像データに加工を施すことで、適切な映像を提供することができる。
【００３１】
本発明のある実施形態によれば、撮像装置の動きに応じて、２Ｄ映像データと３Ｄ映像データとを切り替えて出力することにより、適切な映像を提供することができる。
【００３２】
また、本発明のある実施形態によれば、撮像装置の動きに応じて、第１および第２の光学系の光軸間の距離であるステレオベースを変更することにより、適切な映像を提供することができる。
【００３３】
また、本発明のある実施形態によれば、撮像装置の動きに応じて、右目用の画像と左目用の画像との間の視差を調整することにより、適切な映像を提供することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施形態１における撮像装置の外観を示す図である。
【図２】本発明の実施形態１における撮像装置の内部構成を示す図である。
【図３】本発明の実施形態１における撮像装置の動作を示すフローチャートである。
【図４】本発明の実施形態１におけるパンニング中の水平・垂直動きセンサの出力信号を示す図である。
【図５】本発明の実施形態２における撮像装置の動作を示すフローチャートである。
【図６】本発明の実施形態２における撮影中の水平・垂直動きセンサの出力信号を示す図である。
【図７】本発明の実施形態２における撮像装置の動作を示すフローチャートである。
【図８】本発明の実施形態３における撮像装置の内部構成を示す図である。
【図９】本発明の実施形態３における撮像装置の動作を示すフローチャートである。
【図１０】本発明の実施形態３におけるステレオベース変更方法を示す図である。
【図１１】本発明の実施形態４における撮像装置の動作を示すフローチャートである。
【図１２】本発明の実施形態４における撮像装置の動作を示すフローチャートである。
【図１３】本発明の実施形態４におけるステレオベース変更方法を示す図である。
【図１４】本発明の実施形態５における撮像装置の内部構成を示す図である。
【図１５】本発明の実施形態５における視差調整部の内部構成を示す図である。
【図１６】本発明の実施形態５における撮像装置の動作を示すフローチャートである。
【図１７】本発明の実施形態５における視差を説明する図である。
【図１８】本発明の実施形態５における視差の変更方法を示す図である。
【図１９】本発明の実施形態５における視差の変更方法を示す図である。
【発明を実施するための形態】
【００３５】
以下、本発明の実施形態の撮像装置について図面を参照しながら説明する。
【００３６】
（実施形態１）
図１は、本発明の実施形態１における撮像装置１００の外観を示す図である。図１に示した撮像装置１００は、２つの撮像レンズ１００Ｒ（被写体に向かって右側）と、１００Ｌ（被写体に向かって左側）と、録画ＯＮ／ＯＦＦスイッチ１０１と、モード切替スイッチ１０２と、ズームレバー１０３と、ストロボ１０４とを備える。
【００３７】
２つの撮影レンズ１００Ｒと１００Ｌを介して得られた左右方向に視差のある２つの映像を元に３Ｄ映像を撮影する。なお本撮像装置１００は２つの撮影レンズのいずれか一方の映像だけを用いて２Ｄ映像を撮影することも可能である。
【００３８】
モード切替スイッチ１０２は、２Ｄ撮影と３Ｄ撮影、動画撮影と静止画撮影等の撮影モードを切り替える。ズームレバー１０３は、２つの撮影レンズ１００Ｒと１００Ｌの焦点距離の変更を指示する。ストロボ１０４は暗い被写体を撮影する際に使用する。動画撮影モード時に、録画ＯＮ／ＯＦＦスイッチ１０１を一旦押下されると動画記録が開始され、再度押下されると録画が停止する。
【００３９】
図２は、図１に示した撮像装置１００の内部構成を示すブロック図である。図２において、参照符号の末尾にＲが付された構成要素は、撮影レンズ１００Ｒを介して得られる被写体像から画像データを得るための構成要素を表しており、参照符号の末尾にＬが付された構成要素は、撮影レンズ１００Ｌを介して得られる被写体像から画像データを得るための構成要素を表している。Ｒが付された構成要素とＬが付された構成要素の機能および動作は基本的には同じであるので、同じ説明の繰り返しは省略する。ここではＲが付された構成要素の機能および動作を主に説明する。
【００４０】
図２において、撮影レンズ１００Ｒは、被写体像を撮像素子２００Ｒ上に結像させるための複数のレンズ群からなる光学系であり、ズーム機能および合焦機能を有する。
【００４１】
撮像素子２００Ｒは結像した被写体像を電気信号（画像信号）に変換する光電変換デバイスであり、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサである。
【００４２】
アナログ信号処理部２０１Ｒは、撮像素子２００Ｒから得られた画像信号に対しゲイン調整、ノイズ除去等の処理を施す。これらの処理後、画像信号はＡ／Ｄ変換部２０２Ｒによりデジタル信号に変換される。
【００４３】
Ａ／Ｄ変換部２０２Ｒによりデジタル信号に変換された画像信号は、デジタル信号処理部２０３Ｒに送られる。
【００４４】
デジタル信号処理部２０３Ｒは、例えば、輝度信号と色差信号の分離、ノイズ除去、ガンマ補正、先鋭度改善処理、電子ズーム処理等の必要なデジタル処理を実行する。また撮影された画像信号のコントラストの変化を検出し、撮影レンズ１００Ｒの合焦制御（オートフォーカス）に必要となる情報を抽出し、後述するシステム制御部２０８に供給する。
【００４５】
メモリ２０４は、デジタル信号処理部２０３Ｒを経由した画像データ（画像信号）を記憶する。ここで、記憶される画像データはデジタル信号処理部２０３Ｒでの処理後の信号に限るものではない。Ａ／Ｄ変換部２０２Ｒから供給される画像データをそのまま一旦メモリ２０４に記憶し、必要な画像データのみを例えばブロック単位でメモリ２０４から読み出してデジタル信号処理部２０３Ｒにて処理し、再度、メモリ２０４に書き戻す、というようなバッファメモリ的な使い方も可能である。
【００４６】
メモリ制御部２０５は、システム制御部２０８の指示に従い、メモリ２０４への画像データの記録、およびメモリ２０４からの画像データの読み出しを制御する。
【００４７】
ズーム・ＡＦ駆動部２０６Ｒは、図示しないズームモーターおよびフォーカスモーターを駆動し、撮影レンズ１００Ｒのズーム倍率と合焦を制御し、システム制御部２０８からの指令信号に従い、撮影レンズ１００Ｒのズーム倍率と合焦位置（フォーカス）を調整する。
【００４８】
撮像素子駆動制御部２０７Ｒは、撮像素子２００Ｒの露光タイミングや信号の読み出しタイミング、電子シャッター動作を制御するためのパルス信号を供給し、システム制御部２０８からの指令信号に従い、撮像素子２００Ｒを駆動制御する。
【００４９】
撮影レンズ１００Ｌ、撮像素子２００Ｌ、アナログ信号処理部２０１Ｌ、Ａ／Ｄ変換部２０２Ｌ、デジタル信号処理部２０３Ｌ、ズーム・ＡＦ駆動２０６Ｌ、撮像素子駆動制御部２０７Ｌは、参照符号にＲを付した上述の構成要素と同様の機能および動作の構成要素であるため、説明は省略する。
【００５０】
システム制御部２０８は、撮像装置１００の動作全体を制御する。システム制御部２０８は、デジタル信号処理部２０３Ｒおよび２０３Ｌや水平・垂直動きセンサ２１０から供給される情報、モード切替スイッチ１０２およびズームレバー１０３の状態等に基づき、ズーム・ＡＦ駆動制御部２０６Ｒおよび２０６Ｌ、撮像素子駆動制御部２０７Ｒおよび２０７Ｌ、デジタル信号処理部２０３Ｒおよび２０３Ｌ、メモリ制御部２０５、３Ｄ映像生成部２０９等を統合的に制御し、映像撮影時にそれぞれが連動して適切な動作を行うよう指令を与える。システム制御部２０８は、例えばマイクロコンピュータとそれに格納される制御プログラムからなる。
【００５１】
３Ｄ映像生成部２０９は、２つの撮影レンズとそこから得られた被写体像を処理する２系統の要素から得られた２種類の画像信号を元に３Ｄ映像を生成する。
【００５２】
水平・垂直動きセンサ２１０は、撮像装置１００自体の動きを検出する動き検出部として機能する。水平・垂直動きセンサ２１０は、例えばジャイロセンサ（角速度センサ）などの物理センサであり、撮像装置１００の内部に組み込まれ、撮像装置１００自体の動きに応じた角速度データを出力し、システム制御部２０８に供給する。また、３Ｄ映像生成部２０９は、被写体像を撮像して得られる２Ｄ映像データと３Ｄ映像データとを、検出された撮像装置１００の動きに応じて切り替えて出力する映像データ出力部として機能する。
【００５３】
以上のように構成された本実施形態１の撮像装置１００の動作について、以下により詳細に説明する。
【００５４】
まずあらかじめ撮像装置１００のモード切替スイッチ１０２が３Ｄ動画の撮影モードに設定されているものとする。このとき、撮像装置の操作者が録画ＯＮ／ＯＦＦスイッチ１０１を押下し録画を開始すると、システム制御部２０８は撮影レンズ１００Ｒと１００Ｌのズーム倍率を同じに設定し、且つ２つのレンズを正しく合焦させてから、２つの撮像素子２００Ｒと２００Ｌを同一タイミングで駆動し撮影を開始する。そして所定のフレーム周期で撮影された画像信号は２つの撮像素子から出力され、アナログ信号処理部２０１Ｒと２０１Ｌ、Ａ／Ｄ変換部２０２Ｒと２０２Ｌ、デジタル信号処理部２０３Ｒと２０３Ｌを経由して３Ｄ映像生成部２０９に供給され、ここで３Ｄ映像データが生成される。３Ｄ映像データの生成方法は公知の技術である。例えば本実施形態においては、２系統のシステムから得られた視差のある２系統の動画から、左目用と右目用の映像を記録する時分割方式を用いて３Ｄ映像データが生成され、図示しない撮像装置の記録メディア（ハードディスクや半導体メモリカードなど）に記録される。なお、生成された３Ｄ映像データは、メモリ２０４に記録されてもよいし、撮像装置１００内には記録されずに外部機器へ出力されてもよい。
【００５５】
また、録画が開始されると、水平・垂直動きセンサ２１０において撮像装置１００の動きが検出され、システム制御部２０８に供給される。
【００５６】
撮像装置１００を使って動画を撮影する場合、撮影者が意図的に構図を変えることは頻繁に行われる。ここで、特に速い構図の変化は、パンニング（水平方向の構図変化。以降ではパンと略記する。）や、チルティング（垂直方向の構図変化。以降ではチルトと略記する。）と呼ばれることは周知のことである。このように撮影中にパンやチルト動作を行うと、２Ｄ撮影に於いても構図（被写体像）の変化に鑑賞者がついていけず違和感を感じることが多々あるが、これが３Ｄ映像の場合は更に顕著な違和感に繋がる。
【００５７】
そこで本実施形態１においては、水平・垂直動きセンサ２１０の出力から撮影装置１００の動き（撮影状況）を判断して、上述のパンやチルト動作が発生した場合には、録画される映像を３Ｄ映像から２Ｄ映像に切り替えることで上述した鑑賞者の違和感を軽減する。
【００５８】
システム制御部２０８は、撮像装置１００の動きに基づいて、パンニング撮影およびチルティング撮影の少なくとも一方の状態であるか否かを判定する判定部として機能する。パンニングおよびチルティングが同時に発生している場合は、何れか一方またはそれらの合成ベクトルをモニタする。３Ｄ映像生成部２０９が３Ｄ映像データを出力しているときに、パンニング撮影およびチルティング撮影の少なくとも一方の状態であると判定された場合、３Ｄ映像生成部２０９は、３Ｄ映像データから２Ｄ映像データへ切り替えて出力する。また、その後、パンニング撮影およびチルティング撮影のいずれでもない状態になったと判定された場合、３Ｄ映像生成部２０９は、２Ｄ映像データから３Ｄ映像データへ切り替えて出力する。
【００５９】
この動作について、図３のフローチャートを用いて詳しく説明する。
【００６０】
図３は、本実施形態１における３Ｄ撮影と２Ｄ撮影を切り替える動作を説明するためのフローチャートである。この動作を実現するアルゴリズムはシステム制御部２０８にハードウエアもしくはソフトウエアとして実装されている。
【００６１】
図３において、録画が開始されると水平・垂直動きセンサ２１０の出力の取り込みが開始される（ステップ３００）。本実施形態１において水平・垂直動きセンサ２１０はジャイロセンサ（角速度センサ）であり、システム制御部２０８に取り込まれるデータは撮像装置１００の動きの角速度である。ここで撮像装置１００を撮影者が手で保持しながら撮影し、その途中でパンを行ったとすると、水平・垂直動きセンサ２１０から出力される信号は、例えば図４のようになる。
【００６２】
図４において、縦軸は水平・垂直動きセンサの出力（単位はボルト）、横軸は時間（単位は秒）である。実線が水平・垂直動きセンサ２１０の出力、点線が例えば撮像装置が三脚などに固定されて完全に静止している場合の水平・垂直動きセンサ２１０の出力レベル（中心電位）である。図４に示すように手で保持して撮影している場合は、手振れによって水平・垂直動きセンサ２１０の出力は中心電位を挟んで上下にランダムに変化する。パン中には撮像装置１００が一定方向に連続的に変位させられるため、水平・垂直動きセンサ２１０の出力は中心電位からみて片側に偏在することになる。
【００６３】
図３のステップ３０１において、水平・垂直動きセンサ２１０の出力の変化を連続してモニタし、一定期間にわたって水平・垂直動きセンサ２１０の出力が中心電位の片側に偏在した場合、パンもしくはチルトが開始されたと判断する。逆に水平・垂直動きセンサ２１０の出力が上記の一定期間未満で中心電位をまたいで変化した場合は、パンもしくはチルトではないと判断し、ステップ３００に戻る。ステップ３０１でパンもしくはチルトと判断された場合、ステップ３０２へ進み、録画を３Ｄ映像から２Ｄ映像に自動で切り替える。なお、撮像装置１００の動きが遅い場合でも、一定期間以上の移動が続いている場合は、録画を３Ｄ映像から２Ｄ映像に自動で切り替えてもよい。
【００６４】
次に引き続き水平・垂直動きセンサ２１０の出力をモニタし（ステップ３０３）、上記一定期間未満で水平・垂直動きセンサ２１０の出力が中心電位をまたいで変化した場合は、パンもしくはチルトが終了したと判断して（ステップ３０４）、ステップ３０５に進み録画を２Ｄ映像から３Ｄ映像に切り替える。パンもしくはチルトが終了していないと判断した場合は、ステップ３０３に戻ってモニタを続ける。
【００６５】
なお、３Ｄ撮影から２Ｄ撮影への切り替える方法としては、撮像装置１００が有する２系統のカメラ系のうち、いずれか一方から得られた画像のみを３Ｄ映像生成部２０９に供給し、１系統のカメラ画像だけからなる映像を出力させるものとするか、もしくは２系統の画像を合成して２Ｄ映像を合成しても構わない。
【００６６】
以上のように本実施形態１によれば、３Ｄ映像撮影時に、パンもしくはチルトのようなカメラ操作によって、撮影された３Ｄ映像が鑑賞者に違和感を与える可能性がある状況では、映像を３Ｄ映像から２Ｄ映像に自動で切替えることで、鑑賞するのに適切な映像データを得ることができる。
【００６７】
（実施形態２）
本発明の実施形態２として、パンもしくはチルトのようなカメラ操作ではなく、撮像装置１００を手で保持して撮影する際に発生する手振れの大小に応じて３Ｄ撮影と２Ｄ撮影を切り替える例について以下に説明する。なお、実施形態２における撮像装置１００の基本構成は、図１、図２に示したものと同様であるためその説明は省略する。
【００６８】
撮像装置を使って動画を撮影する場合、撮影者が撮像装置を手で保持して撮影すると、手振れによる映像の揺動が不可避である。この撮影中の手振れによる映像の揺動を補正する技術としては、例えば連続する画像間の動きベクトルを検出し、この動きベクトルに基づき画像の一部を切り出す技術が知られている。また、手振れによるカメラの動き（例えば角速度）を検出し、これに応じて特殊な光学レンズを光軸に直交する面内で移動させ光軸を動かすことで手振れによる映像の動きを補正する技術も存在する。いかなる条件においても手振れによる映像の揺動を完全に除去することは困難である。そのため手振れによる映像の揺動が大きい場合、例えば歩行しながらの撮影や自動車等の乗り物に乗車しての撮影では、映像の揺動により、撮影された３Ｄ映像が鑑賞者に顕著な違和感を与えることになり得る。
【００６９】
そこで本実施形態２においては、水平・垂直動きセンサ２１０の出力から撮影装置１００の動き（手振れの大小）を判断して、所定以上の大きな手振れが発生した場合には、録画される映像を３Ｄ映像から２Ｄ映像に切り替えることで上述した鑑賞者の違和感を軽減する。
【００７０】
システム制御部２０８は、撮像装置１００の動きに基づいて、撮像装置１００が手振れによる揺動の状態を判定する判定部として機能する。３Ｄ映像生成部２０９が３Ｄ映像データを出力しているときに、撮像装置１００の揺動が所定レベル以上と判定された場合、３Ｄ映像生成部２０９は、３Ｄ映像データから２Ｄ映像データへ切り替えて出力する。また、その後、揺動が所定レベル未満になったと判定された場合、３Ｄ映像生成部２０９は、２Ｄ映像データから３Ｄ映像データへ切り替えて出力する。
【００７１】
この動作について、図５のフローチャートを用いて詳しく説明する。
【００７２】
図５は、本実施形態２における３Ｄ撮影と２Ｄ撮影を切り替える動作を説明するためのフローチャートである。この動作を実現するアルゴリズムはシステム制御部２０８にハードウエアもしくはソフトウエアとして実装されている。
【００７３】
図５において、録画が開始されると水平・垂直動きセンサ２１０の出力の取り込みが開始される（ステップ５００）。本実施形態２において水平・垂直動きセンサ２１０はジャイロセンサ（角速度センサ）であり、システム制御部２０８に取り込まれるデータは撮像装置１００の動きの角速度である。次にこの出力を積分する（ステップ５０１）。これを積分すれば撮像装置１００の移動角度を求めることができる。なお、積分の前に、水平・垂直動きセンサ２１０の出力から中心電位に相当する量を減算しておく。
【００７４】
ステップ５０２においては、ステップ５０１にて求められた撮像装置１００の移動角度が一定角度以上の場合、手振れが大きいと判断し、ステップ５０３へ進み、録画を３Ｄ映像から２Ｄ映像に自動で切り替える。逆に撮像装置１００の移動角度が一定角度未満の場合には、ステップ５００に戻り、３Ｄ撮影を継続する。
【００７５】
ステップ５０３で３Ｄ映像から２Ｄ映像に切り替えた場合は、ステップ５０４にて引き続き水平・垂直動きセンサ２１０の出力を取り込み、ステップ５０５にてこれを積分して撮像装置１００の移動角度を求める。そしてステップ５０６において、ステップ５０５にて求められた撮像装置１００の移動角度が一定角度未満に低下した場合、手振れが小さくなったと判断し、ステップ５０７へ進み、録画を２Ｄ映像から３Ｄ映像に自動で切り替える。手振れが依然大きいままの場合は、ステップ５０４に戻り、引き続き水平・垂直動きセンサ２１０の出力をモニタし続ける。
【００７６】
以上のように本実施形態２によれば、３Ｄ映像撮影時に、撮影者の手振れによって、撮影された映像が鑑賞者に違和感を与える可能性がある状況では、映像を３Ｄ映像から２Ｄ映像に自動で切替えることで、鑑賞するのに適切な映像を撮影することができる。
【００７７】
なお手振れの大小を判断する方法としては、図５を用いて説明した以外に、図６および図７で説明する方法も考えられる。
【００７８】
図６は手で撮像装置１００を保持して撮影した場合の水平・垂直動きセンサ２１０の出力例（手振れの角速度）である。図６において、縦軸は水平・垂直動きセンサの出力（単位はボルト）、横軸は時間（単位は秒）である。実線が水平・垂直動きセンサ２１０の出力、点線が例えば撮像装置１００が三脚などに固定されて完全に静止している場合の水平・垂直動きセンサ２１０の出力レベル（中心電位）である。
【００７９】
図６に示すように手振れは低い周期的な動きが支配的である。そのため図５に示した例のように角速度を積分した移動角度の大小だけで手振れの大きさを判断すると、周期的に手振れの大小が変化し、３Ｄ撮影と２Ｄ撮影が頻繁に切り替わり、却って見苦しい映像となる可能性がある。そこで図６中に矢印で示した区間での水平・垂直動きセンサ２１０の出力の二乗平均値を算出し、更にこの二乗平均値を求める区間を移動させていけば、一定期間内での手振れの大小の傾向を把握することができる（なお、二乗平均値を求める前に、水平・垂直動きセンサ２１０の出力から中心電位に相当する量を減算しておく）。例えば、ある区間での二乗平均値が大きい場合には、撮影者が連続して歩行撮影しているなど手振れが大きく発生する状況にあると予想することができる。そしてこの傾向に応じて手振れの大小を判断して３Ｄ撮影と２Ｄ撮影を切り替えれば、この切り替えが頻繁に起こることが避けられ、より好ましい映像を撮影することができる。
【００８０】
図７は、上述の二乗平均値を算出する方法を用いて３Ｄ撮影と２Ｄ撮影を切り替える動作のフローチャートである。図７において、ステップ７０１、７０２、７０５および７０６が、水平・垂直動きセンサ２１０の出力値の一定区間の二乗平均値を算出して手振れの大小を求めるステップである。
【００８１】
図７において、録画が開始されると水平・垂直動きセンサ２１０の出力の取り込みが開始される（ステップ７００）。次に、水平・垂直動きセンサ２１０の出力の一定区間での二乗平均値を算出する（ステップ７０１）。
【００８２】
ステップ７０２においては、算出した二乗平均値が所定値以上の場合、手振れが大きいと判断し、ステップ７０３へ進み、録画を３Ｄ映像から２Ｄ映像に自動で切り替える。逆に撮像装置１００の二乗平均値が所定値未満の場合には、ステップ７００に戻り、３Ｄ撮影を継続する。
【００８３】
ステップ７０３で３Ｄ映像から２Ｄ映像に切り替えた場合は、ステップ７０４にて引き続き水平・垂直動きセンサ２１０の出力を取り込み、ステップ７０５にて一定区間での二乗平均値を算出する。そしてステップ７０６において、ステップ７０５にて求められた二乗平均値が所定値未満に低下した場合、手振れが小さくなったと判断し、ステップ７０７へ進み、録画を２Ｄ映像から３Ｄ映像に自動で切り替える。手振れが依然大きいままの場合は、ステップ７０４に戻り、引き続き水平・垂直動きセンサ２１０の出力をモニタし続ける。このように、映像を３Ｄ映像から２Ｄ映像に自動で切替えることで、鑑賞するのに適切な映像を撮影することができる。
【００８４】
（実施形態３）
本発明の実施形態３における撮像装置２００について図８および図９を参照して説明する。撮像装置２００では、撮像装置１００（図２）に、撮影レンズ１００Ｒと１００Ｌの間の物理的距離（以降ではステレオベース）を可変たらしめるためのステレオベース変更部８００を設け、これをシステム制御部８０１から制御する。システム制御部８０１の基本的な動作はシステム制御部２０８（図２）と同様である。図８の撮像装置２００において、撮像装置１００と同様の構成要素については同じ参照符号を付し、同様の説明の繰り返しは省略する。
【００８５】
図８は本発明の実施形態３における撮像装置２００の内部構成を示すブロック図である。２つの撮影レンズ（光学系）１００Ｒおよび１００Ｌは、互いに並んで配置され、それぞれ被写体像を形成する。ステレオベース変更部８００は、２つの撮影レンズ１００Ｒおよび１００Ｌの光軸間の距離であるステレオベースを自由に変更するための機構および駆動モーターからなり、システム制御部８０１からの指令信号に基づいてステレオベースを変更する。ステレオベース変更部８００は、撮像装置２００の動きに応じて、撮影レンズ１００Ｒおよび１００Ｌの少なくとも一方の光学系を光軸と垂直な方向に移動させ、ステレオベースを変更する。
【００８６】
このステレオベース変更部８００によって２つの撮影レンズ１００Ｒと１００Ｌ間のステレオベースを変更することで、撮影される３Ｄ映像の立体感（飛び出し量）を変更することが可能である。なおステレオベースを変更することは、左右の２画像間の視差を変更することである。視差と３Ｄ映像の立体感（飛び出し量）を調整するために２画像間の視差を調整する方法は、例えば２系統のカメラで得られた左右の２画像間の水平方向の空間的な位置ズレ量を画像処理で調整する方法がある。他には例えば特開２０１０−４５５８４公報に開示された方法もある。
【００８７】
ここで、本発明の実施形態１において述べたとおり、撮影中にパンやチルト動作を行うと、３Ｄ映像の鑑賞者の違和感に繋がることがある。
【００８８】
そこで本実施形態３においては、水平・垂直動きセンサ２１０の出力から撮影装置２００の動き（撮影状況）を判断して、上述のパンやチルト動作が発生した場合には、２つの撮影レンズ１００Ｒと１００Ｌ間のステレオベースを自由に変更し、撮影される３Ｄ映像の立体感（飛び出し量）を調整することで鑑賞者の違和感を軽減する。
【００８９】
ステレオベース変更部８００は、撮像装置２００がパンおよびチルトの少なくとも一方の状態であると判定された場合、ステレオベースを短くして、３Ｄ映像の立体感を弱くする。その後、パンおよびチルトの状態でなくなったと判定された場合、ステレオベース変更部８００は、ステレオベースを長くして、３Ｄ映像の立体感を強くする（すなわち元の立体感に戻す）。
【００９０】
この動作について、図９のフローチャートを用いて詳しく説明する。
【００９１】
図９は、本実施形態３における撮影レンズ１００Ｒと１００Ｌの間のステレオベースを変更する動作を説明するフローチャートである。この動作を実現するアルゴリズムはシステム制御部８０１にハードウエアもしくはソフトウエアとして実装されている。
【００９２】
図９において、録画が開始されると水平・垂直動きセンサ２１０の出力の取り込みが開始される（ステップ９００）。本実施形態３において水平・垂直動きセンサ２１０はジャイロセンサ（角速度センサ）であり、システム制御部８０１に取り込まれるデータは撮像装置２００の動きの角速度である。ここで撮像装置２００を撮影者が手で保持しながら撮影し、その途中でパンを行ったとすると、水平・垂直動きセンサ２１０から出力される信号は、例えば図４のようになる。
【００９３】
図４において、縦軸は水平・垂直動きセンサの出力（単位はボルト）、横軸は時間（単位は秒）である。実線が水平・垂直動きセンサ２１０の出力、点線が例えば撮像装置２００が三脚などに固定されて完全に静止している場合の水平・垂直動きセンサ２１０の出力レベル（中心電位）である。図４に示すように手で保持して撮影している場合は手振れによって水平・垂直動きセンサ２１０の出力は中心電位を挟んで上下にランダムに変化する。パン中には撮像装置２００が一定方向に連続的に変位させられるため、水平・垂直動きセンサ２１０の出力は中心電位からみて片側に偏在することになる。
【００９４】
図９のステップ９０１において水平・垂直動きセンサ２１０の出力の変化を連続してモニタし、一定期間にわたって水平・垂直動きセンサ２１０の出力が中心電位の片側に偏在した場合、パンもしくはチルトが開始されたと判断する（ステップ９０１）。逆に水平・垂直動きセンサ２１０の出力が上記の一定期間未満で中心電位をまたいで変化した場合は、パンもしくはチルトではないと判断し、ステップ９００に戻る。ステップ９０１でパンもしくはチルトと判断された場合、ステップ９０２へ進み、撮影レンズ１００Ｒと１００Ｌの間のステレオベースを変更する。この際、ステレオベースの変更は、３Ｄ映像の立体感（飛び出し量）が小さくなる方向に変更することが好ましいため、具体的には撮影レンズ１００Ｒと１００Ｌの間のステレオベースを短くするように変更する。
【００９５】
次に引き続き水平・垂直動きセンサ２１０の出力をモニタし、上記一定期間未満で水平・垂直動きセンサ２１０の出力が中心電位をまたいで変化した場合はパンもしくはチルトが終了したと判断して（ステップ９０４）、ステップ９０５に進み、撮影レンズ１００Ｒと１００Ｌの間のステレオベースを拡大して元に戻す。
【００９６】
以上のように本実施形態３によれば、３Ｄ映像撮影時に、パンもしくはチルトのようなカメラ操作によって、撮影された３Ｄ映像が鑑賞者に違和感を与える可能性がある状況では、ステレオベースを変更することで、鑑賞するのに適切な映像を得ることができる。
【００９７】
なお、ステレオベースの変更は、例えば通常撮影時（パンもしくはチルト無し）とパンもしくはチルト時の２つの状態に合わせて、２つのステレオベース値を保持しておき、この２値間で切り替える構成が考えられる。しかし、急速にステレオベースを変更すると３Ｄ映像の立体感が急激に変わるため好ましくない。そこで、図１０に示すように、ステレオベースは徐々に変更することが好ましい。図１０は、ステレオベースの変更方法を示す図である。図１０において、縦軸はステレオベースの長さ、横軸は時間（単位は秒）である。パンもしくはチルトを検出後、徐々にステレオベースを変更し、またパンもしくはチルトが終了後も徐々にステレオベースを元に戻すことで、鑑賞者の違和感をより低減させることができる。
【００９８】
（実施形態４）
本発明の実施形態４として、パンもしくはチルトのようなカメラ操作ではなく、撮像装置２００を手で保持して撮影する際に発生する手振れの大小に応じてステレオベースを変更する例について以下に説明する。なお実施形態４における撮像装置２００の基本構成は図１、図８に示したものと同様であるためその説明は省略する。
【００９９】
撮像装置２００を使って動画を撮影する場合、実施形態２において説明した通り、手振れによる画像の揺動により撮影された３Ｄ映像が鑑賞者に違和感を与えることになる。
【０１００】
そこで本実施形態４においては、水平・垂直動きセンサ２１０の出力から撮影装置２００の動き（手振れの大小）を判断して、所定以上の大きな手振れが発生した場合には、ステレオベースを変更することで上述した鑑賞者の違和感を軽減する。
【０１０１】
ステレオベース変更部８００は、揺動が所定レベル以上と判定された場合、ステレオベースを短くして、３Ｄ映像の立体感を弱くする。その後、揺動が所定レベル以上の状態から所定レベル未満の状態になったと判定された場合、ステレオベース変更部８００は、ステレオベースを長くして、３Ｄ映像の立体感を強くする（すなわち元の立体感に戻す）。
【０１０２】
この動作について、図１１のフローチャートを用いて詳しく説明する。
【０１０３】
図１１は、本実施形態４におけるステレオベースを変更する動作を説明するためのフローチャートである。この動作を実現するアルゴリズムはシステム制御部８０１にハードウエアもしくはソフトウエアとして実装されている。
【０１０４】
図１１において、録画が開始されると水平・垂直動きセンサ２１０の出力の取り込みが開始される（ステップ１１００）。本実施形態４において水平・垂直動きセンサ２１０はジャイロセンサ（角速度センサ）であり、システム制御部８０１に取り込まれるデータは撮像装置２００の動きの角速度である。次にこの出力を積分する（ステップ１１０１）。これを積分すれば撮像装置２００の移動角度を求めることができる。なお、積分の前に、水平・垂直動きセンサ２１０の出力から中心電位に相当する量を減算しておく。ステップ１１０２においては、ステップ１１０１にて求められた撮像装置２００の移動角度が一定角度以上の場合、手振れが大きいと判断し、ステップ１１０３へ進み、撮影レンズ１００Ｒと１００Ｌの間の物理的距離（ステレオベース）を変更する。この際、ステレオベースの変更は、３Ｄ映像の立体感（飛び出し量）が小さくなる方向に変更することが好ましいため、具体的には撮影レンズ１００Ｒと１００Ｌの間のステレオベースを短くするように変更する。
【０１０５】
ステップ１１０３でステレオベースを短くし、次にステップ１１０４にて引き続き水平・垂直動きセンサ２１０の出力を取り込み、ステップ１１０５にてこれを積分して撮像装置２００の移動角度を求める。そしてステップ１１０６において、ステップ１１０５にて求められた撮像装置の移動角度が一定角度未満に低下した場合、手振れ（揺動）が小さくなったと判断し、ステップ１１０７へ進み、撮影レンズ１００Ｒと１００Ｌの間のステレオベースを拡大して元に戻す。手振れが依然大きいままの場合は、ステップ１１０４に戻り、引き続き水平・垂直動きセンサ２１０の出力をモニタし続ける。
【０１０６】
以上のように本実施形態４によれば、３Ｄ映像撮影時に、撮影者の手振れによって、撮影された映像が鑑賞者に違和感を与える可能性がある状況では、ステレオベースを変更して３Ｄ映像の立体感（飛び出し量）を調整することで、鑑賞するのに適切な映像を撮影することができる。
【０１０７】
なお手振れの大小を判断する方法としては、本実施形態２において説明した方法と同様に、図１１を用いて説明した以外に、図６および図１２で説明する方法も考えられることは言うまでもない。
【０１０８】
図１２は、上述した二乗平均値を算出する方法を用いてステレオベースを変更する動作のフローチャートである。図１２において、ステップ１２０１、１２０２、１２０５および１２０６が、水平・垂直動きセンサ２１０の出力値の一定区間の二乗平均値を算出して手振れの大小を求めるステップである。
【０１０９】
図１２において、録画が開始されると水平・垂直動きセンサ２１０の出力の取り込みが開始される（ステップ１２００）。次に、水平・垂直動きセンサ２１０の出力の一定区間での二乗平均値を算出する（ステップ１２０１）。
【０１１０】
ステップ１２０２においては、算出した二乗平均値が所定値以上の場合、手振れが大きいと判断し、ステップ１２０３へ進み、ステレオベースを小さくする。逆に撮像装置２００の二乗平均値が所定値未満の場合には、ステップ１２００に戻り、現在のステレオベースを維持する。
【０１１１】
ステップ１２０３でステレオベースを小さくした場合は、ステップ１２０４にて引き続き水平・垂直動きセンサ２１０の出力を取り込み、ステップ１２０５にて一定区間での二乗平均値を算出する。そしてステップ１２０６において、ステップ１２０５にて求められた二乗平均値が所定値未満に低下した場合、手振れが小さくなったと判断し、ステップ１２０７へ進み、ステレオベースを長くする。手振れが依然大きいままの場合は、ステップ１２０４に戻り、引き続き水平・垂直動きセンサ２１０の出力をモニタし続ける。このように、揺動の大きさに応じてステレオベースを自動で調整することで、鑑賞するのに適切な映像を撮影することができる。
【０１１２】
また実施形態３において図１０を用いて説明したとおり、ステレオベースの変更は２値の切り換えも可能だが、図１３に示すように、手振れが小さい状態と手振れが大きい状態で、切り替えを徐々に進めるほうが好ましい。図１３は、ステレオベースの変更方法を示す図である。図１３において、縦軸はステレオベースの長さ、横軸は時間（単位は秒）である。手振れが大きくなった場合は徐々にステレオベースを小さくし、手振れが小さくなった後も徐々にステレオベースを元に戻すことで、鑑賞者の違和感をより低減させることができる。
【０１１３】
（実施形態５）
本発明の実施形態５における撮像装置３００について図１４から図１７を参照して説明する。本実施形態５では、先に説明した撮影レンズ１００Ｒと１００Ｌの間のステレオベースを変更する代わりに、撮影レンズ１００Ｒと１００Ｌを介して撮影された左右の２画像間の視差を変更する。図１４の撮像装置３００において、すでに説明した撮像装置１００および２００の構成要素と同様の構成要素には同じ参照符号を付し、同様の説明の繰り返しは省略する。
【０１１４】
図１４は本発明の実施形態５における撮像装置３００の内部構成を示すブロック図である。撮像装置３００は視差調整部１４００を備えている。視差調整部１４００は、被写体像を撮像して得られる右目用の画像と左目用の画像との間の視差を、撮像装置３００の動きに応じて調整する。３Ｄ映像生成部２０９は、調整された視差に基づき３Ｄ映像データを生成する。
【０１１５】
視差調整部１４００は、２つの撮影レンズ１００Ｒと１００Ｌを介して撮影された左右の２つの画像間の視差を自由に変更する。この視差調整部１４００によって左右２つの画像間の視差を変更することで、撮影される３Ｄ映像の立体感（飛び出し量）を変更することが可能である。なお、３Ｄ映像の立体感（飛び出し量）を調整するために２画像間の視差を調整する方法は、例えば２系統のカメラで得られた左右の２画像間の水平方向の空間的な位置ズレ量を画像処理で調整する方法がある。他には例えば文献特開２０１０−４５５８４公報に開示された方法がある。
【０１１６】
図１５は、視差調整部１４００の内部構成を示すブロック図である。視差検出部１５００は、デジタル信号処理部２０３Ｒと２０３Ｌから供給される左右の２画像の視差を検出する。なお視差の検出方法、例えば左右２つの画像の水平方向の位置ズレ量を検出する方法が一般的である。具体的には左右２つの画像のうち、どちらか一方を基準とし、この基準画像中に適当な矩形エリアを設け、もう片方の画像中でこの矩形エリアと絵柄が一致する場所をパターンマッチングで探索することで位置ズレ量を検出する。
【０１１７】
バッファメモリ１５０１は、デジタル信号処理部２０３Ｒおよび２０３Ｌから供給される左右の２画像のデータを一旦記憶するメモリである。バッファメモリ１５０１は後述する視差変更部１５０２の指令に基づき、記憶された２つの画像データに対し、任意の水平方向位置から画像を切り出して出力できる。
【０１１８】
視差変更部１５０２は、システム制御部８０１からの指示と、視差検出部１５００における２画像間の視差検出結果に基づき、バッファメモリ１５０１から画像を読み出す際の水平方向の切り出し位置を指定する。
【０１１９】
図１７は、２画像間の視差Ｄを模式的に示した図である。図１７の例では、左画像１７１と右画像１７２との間で絵柄が一致する位置を特定し、それらの位置の間の水平方向距離として視差Ｄを求めている。視差Ｄを小さくする場合は、例えば、左画像１７１の絵を数画素分右へずらし、右画像１７２の絵を数画素分左へずらすことで、視差Ｄを小さくすることができる。また、左画像１７１の絵を数画素分左へずらし、右画像１７２の絵を数画素分右へずらすことで、視差Ｄを大きくすることができる。
【０１２０】
また、画像中の手前に位置する絵（図１７では人間の絵）の視差の調整量は大きくし、景色のような後方の絵（図１７では家の絵）の視差の調整量は小さくするというように、画像中の位置に応じて調整量を異ならせてもよい。
【０１２１】
以上のように構成された実施形態５における動作を以下に説明する。
【０１２２】
本発明の実施形態１および３において述べたとおり、撮影中にパンやチルト動作を行うと、３Ｄ映像の場合は違和感に繋がることがある。
【０１２３】
そこで本実施形態５においては、水平・垂直動きセンサ２１０の出力から撮影装置３００の動き（撮影状況）を判断して、上述のパンやチルト動作が発生した場合には、２つの撮影レンズ１００Ｒと１００Ｌを介して撮影された左右の２画像間の視差を変更し、撮影される３Ｄ映像の立体感（飛び出し量）を調整することで鑑賞者の違和感を軽減する。
【０１２４】
視差調整部１４００は、撮像装置３００がパンおよびチルトの少なくとも一方の状態であると判定された場合、視差を小さくして、３Ｄ映像の立体感を弱くする。その後、パンおよびチルトの状態でなくなったと判定された場合、視差調整部１４００は、視差を大きくして、３Ｄ映像の立体感を強くする（すなわち元の立体感に戻す）。
【０１２５】
この動作について、図１６のフローチャートを用いて詳しく説明する。
【０１２６】
図１６は、本実施形態５における２画像間の視差を変更する動作を説明するためのフローチャートである。この動作を実現するアルゴリズムはシステム制御部８０１にハードウエアもしくはソフトウエアとして実装されている。
【０１２７】
図１６において、録画が開始されると水平・垂直動きセンサ２１０の出力の取り込みが開始される（ステップ１６００）。本実施形態５においても、実施形態１および３と同様の方法でパンおよびチルトを検出する。そしてステップ１６０１でパンもしくはチルトと判断された場合、ステップ１６０２へ進み、２画像間の視差調整を視差変更部１５０２に指示する。この際、視差の変更は、３Ｄ映像の立体感（飛び出し量）が小さくなる方向に変更することが好ましいため、具体的には撮影された２画像間の元の視差（視差検出部１５００にて検出される視差）よりも視差を小さくするように変更する。
【０１２８】
次に、引き続き水平・垂直動きセンサ２１０の出力をモニタし、実施形態１および３と同様の方法でパンおよびチルトの終了を検出する（ステップ１６０３および１６０４）。パンもしくはチルトが続いている間はモニタを継続する。パンもしくはチルトが終了したと判断するとステップ１６０５に進み、２画像間の視差調整を視差変更部１５０２に指示する（視差を拡大して元に戻す）。
【０１２９】
以上のように本実施形態５によれば、３Ｄ映像撮影時に、パンもしくはチルトのようなカメラ操作によって、撮影された映像が鑑賞者に違和感を与える可能性がある状況では、２画像間の視差を変更することで、鑑賞するのに適切な映像を得ることができる。
【０１３０】
なお、視差の変更は、例えば通常撮影時（パンもしくはチルト無し）とパンもしくはチルト時の２つの状態に合わせて、２つの視差を保持しておき、この２値間で切り替える構成も考えられる。しかし、急速に視差を変更すると３Ｄ映像の立体感が急激に変わるため好ましくない。そこで図１８に示すようにパンもしくはチルトを検出後、徐々に視差を変更し、またパンもしくはチルトが終了後も徐々に視差を元に戻すことが望ましい。図１８は、視差の変更方法を示す図である。図１８において、縦軸は視差の大きさ、横軸は時間（単位は秒）である。パンもしくはチルトを検出後、徐々に視差を変更し、またパンもしくはチルトが終了後も徐々に視差を元に戻すことで、鑑賞者の違和感をより低減させることができる。
【０１３１】
また、バッファメモリ１５０１から画像を読み出す際に、読み出し位置を水平方向にずらして画像の切り出し位置を変える場合、切り出しに伴い画像の一部に欠落が生じる恐れがある。これを回避するためには、あらかじめバッファメモリ１５０１に記録する２画像は水平方向にマージン分の余裕画素を持たせた画像としておけばよい。
【０１３２】
また、実施形態５においてはパンもしくはチルトを検出して視差を調整する構成について説明したが、例えば実施形態２、４を同様に撮影時の手振れ量の大小に応じて視差を調整してもよい。その場合、手振れが大きいほど視差を小さくするようにすればよい。視差調整部１４００は、揺動が所定レベル以上と判定された場合、視差を小さくして、３Ｄ映像の立体感を弱くする。その後、揺動が所定レベル以上の状態から所定レベル未満の状態になったと判定された場合、視差調整部１４００は、視差を大きくして、３Ｄ映像の立体感を強くする（すなわち元の立体感に戻す）。
【０１３３】
また実施形態５においてはパンもしくはチルト時に視差を小さくする構成を説明したが、視差をゼロにすることは２Ｄ映像の取得と同様であるため、例えば図１９に示すようにパンもしくはチルトの状態では、視差をゼロまで小さくして、最終的にはパンもしくはチルト中は２Ｄで録画することも考えられる。この場合、視差がゼロの状態では左右の２画像のうち、あらかじめ決めておいた片方の画像のみを記録してもよい。
【０１３４】
また本発明の実施形態１から５において、パンやチルト、手振れによる撮像装置の揺動を検出するには、一定の時間が必要となる。その場合、パンやチルト、手振れが始まってから一定期間は３Ｄ映像のままで記録が行われるため、その部分で鑑賞者が違和感を感じる映像が撮影されることとなる。このような事態を避けるためには、例えばメモリ２０４もしくはバッファメモリ１５０１に当該一定期間分の左右画像を蓄積できるだけの容量を確保しておき、パンやチルト、手振れが検出された場合には、検出に要した当該一定期間分だけ遡り、上述した措置（例えば、３Ｄ映像を２Ｄ映像に変更する、もしくは左右の２画像間の視差を調整する）を施した後に、表示部もしくは記録部に映像を供給するようにすればよい。また、パンやチルト、手振れによる撮像装置の揺動の検出は、映像録画の開始とは無関係に、撮像装置の電源が投入された後は常時行ってもよい。録画開始のタイミングで、パンやチルト、手振れによる撮像装置の揺動が検出されている場合は、録画開始と同時に上述した措置（例えば、３Ｄ映像を２Ｄ映像に変更する、もしくは左右の２画像間の視差を調整する）を施すことで、より適切な映像データを得ることができる。
【０１３５】
また本発明の実施形態１、２、５において、２Ｄ映像を記録する際は、２系統のカメラのうちのいずれかから得られた映像を記録する処理を説明したが、どちらのカメラ映像を記録するかを撮影者に選択さてもよい。
【０１３６】
また本発明の実施形態１から５において、パン、チルト、揺動の検出にはジャイロセンサ（角速度センサ）を用いる構成を説明したが、本発明はこれに限るものではなく、例えば加速度センサや傾斜（傾き）センサのような別のセンサを用いることも可能である。また、動き検出部は、すでに述べたジャイロセンサのような物理センサではなく、撮影された画像から検出される動きベクトルを用いて、パン、チルト、揺動を検出してもよい。動きベクトルから撮像装置の移動角や、動きベクトルの一定期間内での二乗平均値を計算して手振れの大小を判定しても、上述した本発明の効果が得られる。なお、画像から動きベクトルを検出する技術としては、連続する２フィールド（もしくは２フレーム）間の画像の位置ズレをパターンマッチングによって検出するなどの方式を使えばよく（例えば、特許２５１６５８０号公報）、その方式は特定のものに限定されない。
【０１３７】
また本発明の実施形態１から５において、３Ｄ映像を得る撮像装置は２系統のカメラを有する構成を説明したがこれに限るものではなく、３系統以上のカメラを有する構成においても本発明は適用される。また、複数台の個別のカメラを用いて３Ｄ映像撮影システムを構成した場合も同様である。
【０１３８】
また、本発明の実施形態１から５の撮像装置は撮像素子を２つ備えていたが、撮像素子を１つのみ備えてそれを用いて３Ｄ映像データを生成する撮像装置にも本発明は適用される。
【０１３９】
また上述したように、撮像装置の動きに応じて、２Ｄ映像データと３Ｄ映像データとを切り替える動作、光学系のステレオベースを変更する動作、および左右の画像間の視差を調整する動作は、ハードウエアによって実現されてもよいしソフトウエアによって実現されてもよい。それら動作を実行させるプログラムは、例えばシステム制御部、３Ｄ映像生成部、視差調整部等の内蔵メモリに記憶される。また、プログラムは、そのような構成要素とは別に設けられた記録媒体に記録されていてもよい。
【０１４０】
また本発明の実施形態１から５において、３Ｄ映像を時分割方式の３Ｄ映像として説明したが、本発明はこれに限定されず、一般に知られている他の３Ｄ映像方式においても本発明は適用される。
【０１４１】
また本発明の実施形態１から５において、音声の記録については特に説明を行っていないが、動画と同期して音声を記録してもよいことは言うまでもない。
【０１４２】
また本発明実施形態１から５において、３Ｄ撮影から２Ｄ撮影に切り替える際に、３Ｄ映像の撮影ができない旨を、表示部もしくは専用のインジケータ等の手段を介して、撮影者に知らしめるよう表示（警告）を行ってもよい。その場合、撮影者は３Ｄ撮影ができないことを認識して３Ｄ撮影に適切なカメラ操作を行うよう心がけることができ、より鑑賞時に適切な映像撮影が可能となる。
【産業上の利用可能性】
【０１４３】
本発明は、３Ｄ映像撮影時に、その撮影した映像が鑑賞者に違和感を与える可能性がある状況でも、自動でカメラを制御する、もしくは撮影された映像に加工を施すことで、適切な３Ｄ映像を撮影することができるシステムであって、３Ｄ映像の技術分野において特に有用である。
【符号の説明】
【０１４４】
１００Ｒ、１００Ｌ 撮影レンズ
２００Ｒ、２００Ｌ 撮像素子
２０１Ｒ、２０１Ｌ アナログ信号処理部
２０２Ｒ、２０２Ｌ Ａ／Ｄ変換部
２０３Ｒ、２０３Ｌ デジタル信号処理部
２０４ メモリ
２０５ メモリ制御部
２０６Ｒ、２０６Ｌ ズーム・ＡＦ駆動制御部
２０７Ｒ、２０７Ｌ 撮像素子駆動制御部
２０８ システム制御部
２０９ ３Ｄ映像生成部
２１０ 水平・垂直動きセンサ
【特許請求の範囲】
【請求項１】
自装置の動きを検出する動き検出部と、
被写体像を撮像して得られる２Ｄ映像データと３Ｄ映像データとを、前記検出された自装置の動きに応じて切り替えて出力する映像データ出力部と、
を備える撮像装置。
【請求項２】
前記検出された自装置の動きに基づいて、前記自装置がパンニング撮影およびチルティング撮影の少なくとも一方の状態であるか否かを判定する判定部をさらに備え、
前記映像データ出力部が前記３Ｄ映像データを出力しているときに、前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態であると判定された場合、前記映像データ出力部は、前記３Ｄ映像データから前記２Ｄ映像データへ切り替えて出力する、請求項１に記載の撮像装置。
【請求項３】
前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態からいずれでもない状態になったと判定された場合、前記映像データ出力部は、前記２Ｄ映像データから前記３Ｄ映像データへ切り替えて出力する、請求項２に記載の撮像装置。
【請求項４】
前記検出された自装置の動きに基づいて、前記自装置の手振れによる揺動の状態を判定する判定部をさらに備え、
前記映像データ出力部が前記３Ｄ映像データを出力しているときに、前記揺動が所定レベル以上と判定された場合、前記映像データ出力部は、前記３Ｄ映像データから前記２Ｄ映像データへ切り替えて出力する、請求項１に記載の撮像装置。
【請求項５】
前記揺動が所定レベル以上から所定レベル未満になったと判定された場合、前記映像データ出力部は、前記２Ｄ映像データから前記３Ｄ映像データへ切り替えて出力する、請求項４に記載の撮像装置。
【請求項６】
前記動き検出部は角速度センサである、請求項１に記載の撮像装置。
【請求項７】
前記動き検出部は撮影画像から動きベクトルを検出する、請求項１に記載の撮像装置。
【請求項８】
自装置の動きを検出する動き検出部と、
互いに並んで配置され、それぞれ被写体像を形成する第１および第２の光学系と、
前記第１および第２の光学系で形成される２つの被写体像を撮像して得られた画像信号に基づき、３Ｄ映像データを生成する映像データ生成部と、
前記検出された自装置の動きに応じて、前記第１および第２の光学系の少なくとも一方の光学系を光軸と垂直な方向に移動させ、前記第１および第２の光学系の光軸間の距離であるステレオベースを変更する変更部と、
を備える撮像装置。
【請求項９】
前記検出された自装置の動きに基づいて、前記自装置がパンニング撮影およびチルティング撮影の少なくとも一方の状態であるか否かを判定する判定部をさらに備え、
前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態であると判定された場合、前記変更部は、前記ステレオベースを短くする、請求項８に記載の撮像装置。
【請求項１０】
前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態からいずれでもない状態になったと判定された場合、前記変更部は、前記ステレオベースを長くする、請求項９に記載の撮像装置。
【請求項１１】
前記検出された自装置の動きに基づいて、前記自装置の手振れによる揺動の状態を判定する判定部をさらに備え、
前記変更部は、前記揺動が所定レベル以上と判定された場合、前記ステレオベースを短くする、請求項８に記載の撮像装置。
【請求項１２】
前記揺動が所定レベル以上から所定レベル未満になったと判定された場合、前記変更部は、前記ステレオベースを長くする、請求項１１に記載の撮像装置。
【請求項１３】
前記動き検出部は角速度センサである、請求項８に記載の撮像装置。
【請求項１４】
前記動き検出部は撮影画像から動きベクトルを検出する、請求項８に記載の撮像装置。
【請求項１５】
自装置の動きを検出する動き検出部と、
被写体像を撮像して得られる右目用の画像と左目用の画像との間の視差を、前記検出された自装置の動きに応じて調整する視差調整部と、
前記調整された視差に基づき３Ｄ映像データを生成する映像データ生成部と、
を備える撮像装置。
【請求項１６】
前記検出された自装置の動きに基づいて、前記自装置がパンニング撮影およびチルティング撮影の少なくとも一方の状態であるか否かを判定する判定部をさらに備え、
前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態であると判定された場合、前記視差調整部は、前記視差を小さくする、請求項１５に記載の撮像装置。
【請求項１７】
前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態からいずれでもない状態になったと判定された場合、前記視差調整部は、前記視差を大きくする、請求項１６に記載の撮像装置。
【請求項１８】
前記検出された自装置の動きに基づいて、前記自装置の手振れによる揺動の状態を判定する判定部をさらに備え、
前記視差調整部は、前記揺動が所定レベル以上と判定された場合、前記視差を小さくする、請求項１５に記載の撮像装置。
【請求項１９】
前記揺動が所定レベル以上から所定レベル未満になったと判定された場合、前記視差調整部は、前記視差を大きくする、請求項１８に記載の撮像装置。
【請求項２０】
前記動き検出部は角速度センサである、請求項１５に記載の撮像装置。
【請求項２１】
前記動き検出部は撮影画像から動きベクトルを検出する、請求項１５に記載の撮像装置。
【請求項２２】
映像処理を撮像装置に実行させるプログラムであって、
前記プログラムは、
被写体像を撮像して得られる２Ｄ映像データと３Ｄ映像データとを、前記撮像装置の動きに応じて切り替えて出力するステップ、
を前記撮像装置に実行させるプログラム。
【請求項２３】
映像処理を撮像装置に実行させるプログラムであって、
前記プログラムは、
被写体像を撮像して得られる右目用の画像と左目用の画像との間の視差を、前記撮像装置の動きに応じて調整するステップと、
前記調整された視差に基づき３Ｄ映像データを生成するステップと、
を前記撮像装置に実行させるプログラム。
【請求項１】
自装置の動きを検出する動き検出部と、
被写体像を撮像して得られる２Ｄ映像データと３Ｄ映像データとを、前記検出された自装置の動きに応じて切り替えて出力する映像データ出力部と、
を備える撮像装置。
【請求項２】
前記検出された自装置の動きに基づいて、前記自装置がパンニング撮影およびチルティング撮影の少なくとも一方の状態であるか否かを判定する判定部をさらに備え、
前記映像データ出力部が前記３Ｄ映像データを出力しているときに、前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態であると判定された場合、前記映像データ出力部は、前記３Ｄ映像データから前記２Ｄ映像データへ切り替えて出力する、請求項１に記載の撮像装置。
【請求項３】
前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態からいずれでもない状態になったと判定された場合、前記映像データ出力部は、前記２Ｄ映像データから前記３Ｄ映像データへ切り替えて出力する、請求項２に記載の撮像装置。
【請求項４】
前記検出された自装置の動きに基づいて、前記自装置の手振れによる揺動の状態を判定する判定部をさらに備え、
前記映像データ出力部が前記３Ｄ映像データを出力しているときに、前記揺動が所定レベル以上と判定された場合、前記映像データ出力部は、前記３Ｄ映像データから前記２Ｄ映像データへ切り替えて出力する、請求項１に記載の撮像装置。
【請求項５】
前記揺動が所定レベル以上から所定レベル未満になったと判定された場合、前記映像データ出力部は、前記２Ｄ映像データから前記３Ｄ映像データへ切り替えて出力する、請求項４に記載の撮像装置。
【請求項６】
前記動き検出部は角速度センサである、請求項１に記載の撮像装置。
【請求項７】
前記動き検出部は撮影画像から動きベクトルを検出する、請求項１に記載の撮像装置。
【請求項８】
自装置の動きを検出する動き検出部と、
互いに並んで配置され、それぞれ被写体像を形成する第１および第２の光学系と、
前記第１および第２の光学系で形成される２つの被写体像を撮像して得られた画像信号に基づき、３Ｄ映像データを生成する映像データ生成部と、
前記検出された自装置の動きに応じて、前記第１および第２の光学系の少なくとも一方の光学系を光軸と垂直な方向に移動させ、前記第１および第２の光学系の光軸間の距離であるステレオベースを変更する変更部と、
を備える撮像装置。
【請求項９】
前記検出された自装置の動きに基づいて、前記自装置がパンニング撮影およびチルティング撮影の少なくとも一方の状態であるか否かを判定する判定部をさらに備え、
前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態であると判定された場合、前記変更部は、前記ステレオベースを短くする、請求項８に記載の撮像装置。
【請求項１０】
前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態からいずれでもない状態になったと判定された場合、前記変更部は、前記ステレオベースを長くする、請求項９に記載の撮像装置。
【請求項１１】
前記検出された自装置の動きに基づいて、前記自装置の手振れによる揺動の状態を判定する判定部をさらに備え、
前記変更部は、前記揺動が所定レベル以上と判定された場合、前記ステレオベースを短くする、請求項８に記載の撮像装置。
【請求項１２】
前記揺動が所定レベル以上から所定レベル未満になったと判定された場合、前記変更部は、前記ステレオベースを長くする、請求項１１に記載の撮像装置。
【請求項１３】
前記動き検出部は角速度センサである、請求項８に記載の撮像装置。
【請求項１４】
前記動き検出部は撮影画像から動きベクトルを検出する、請求項８に記載の撮像装置。
【請求項１５】
自装置の動きを検出する動き検出部と、
被写体像を撮像して得られる右目用の画像と左目用の画像との間の視差を、前記検出された自装置の動きに応じて調整する視差調整部と、
前記調整された視差に基づき３Ｄ映像データを生成する映像データ生成部と、
を備える撮像装置。
【請求項１６】
前記検出された自装置の動きに基づいて、前記自装置がパンニング撮影およびチルティング撮影の少なくとも一方の状態であるか否かを判定する判定部をさらに備え、
前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態であると判定された場合、前記視差調整部は、前記視差を小さくする、請求項１５に記載の撮像装置。
【請求項１７】
前記自装置が前記パンニング撮影および前記チルティング撮影の少なくとも一方の状態からいずれでもない状態になったと判定された場合、前記視差調整部は、前記視差を大きくする、請求項１６に記載の撮像装置。
【請求項１８】
前記検出された自装置の動きに基づいて、前記自装置の手振れによる揺動の状態を判定する判定部をさらに備え、
前記視差調整部は、前記揺動が所定レベル以上と判定された場合、前記視差を小さくする、請求項１５に記載の撮像装置。
【請求項１９】
前記揺動が所定レベル以上から所定レベル未満になったと判定された場合、前記視差調整部は、前記視差を大きくする、請求項１８に記載の撮像装置。
【請求項２０】
前記動き検出部は角速度センサである、請求項１５に記載の撮像装置。
【請求項２１】
前記動き検出部は撮影画像から動きベクトルを検出する、請求項１５に記載の撮像装置。
【請求項２２】
映像処理を撮像装置に実行させるプログラムであって、
前記プログラムは、
被写体像を撮像して得られる２Ｄ映像データと３Ｄ映像データとを、前記撮像装置の動きに応じて切り替えて出力するステップ、
を前記撮像装置に実行させるプログラム。
【請求項２３】
映像処理を撮像装置に実行させるプログラムであって、
前記プログラムは、
被写体像を撮像して得られる右目用の画像と左目用の画像との間の視差を、前記撮像装置の動きに応じて調整するステップと、
前記調整された視差に基づき３Ｄ映像データを生成するステップと、
を前記撮像装置に実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−９０２５９（Ｐ２０１２−９０２５９Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１１−１９７９１８（Ｐ２０１１−１９７９１８）
【出願日】平成２３年９月１２日（２０１１．９．１２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２３年９月１２日（２０１１．９．１２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]