画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
【課題】立体視コンテンツのシーンの切替えにおいて奥行値を滑らかに遷移させる。
【解決手段】チャプタ＃ｉの終端部分の奥行値７１１とチャプタ＃（ｉ＋１）の開始部分の奥行値７１４との間で急激な変化がある場合には、チャプタ＃ｉとチャプタ＃（ｉ＋１）の切替えの際に全体の奥行値を一旦ゼロ（無限遠）に補正する。その際、例えば０．５秒以上の期間をかけて奥行値を遷移させる。チャプタ＃ｉの終端部分における元々の奥行値７２１から終端フレームの奥行値７２２がゼロになるように順次遷移させる。同様に、チャプタ＃（ｉ＋１）の開始フレームの奥行値７２３をゼロとして、開始部分における元々の奥行値７２４まで順次遷移させる。
【解決手段】チャプタ＃ｉの終端部分の奥行値７１１とチャプタ＃（ｉ＋１）の開始部分の奥行値７１４との間で急激な変化がある場合には、チャプタ＃ｉとチャプタ＃（ｉ＋１）の切替えの際に全体の奥行値を一旦ゼロ（無限遠）に補正する。その際、例えば０．５秒以上の期間をかけて奥行値を遷移させる。チャプタ＃ｉの終端部分における元々の奥行値７２１から終端フレームの奥行値７２２がゼロになるように順次遷移させる。同様に、チャプタ＃（ｉ＋１）の開始フレームの奥行値７２３をゼロとして、開始部分における元々の奥行値７２４まで順次遷移させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報処理装置に関し、特に立体視表示のための奥行値を含む画像情報を取り扱う画像情報処理装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、コンテンツを表示するための表示装置として、平面視（２次元）コンテンツの表示のみならず、立体視（３次元）コンテンツを表示可能な表示装置が提案されている。このような表示装置では、両眼間に生じる視差（disparity）を利用しているため、両眼の輻輳角と焦点距離に矛盾が生じている場合や、視差の値が適切でない場合などには視聴者に違和感を与えるおそれがある。
【０００３】
そこで、立体視コンテンツの生体影響度を算出し、視聴者の耐性レベルに応じて、表示対象となる立体視コンテンツの表示状態を制御する表示装置が提案されている（例えば、特許文献１参照。）。この従来技術では、コンテンツメタ情報にコンテンツのデプスマップの情報を格納し、その最大奥行き量が大きければ、デプスマップの値を標準値よりも小さくなるように変更して表示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２４６７２５号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、奥行き量を調整することにより、視聴者に与える影響を抑制している。しかしながら、この従来技術では、視聴者の耐性レベルと立体視コンテンツとの一般的な関係（いわゆる３Ｄ酔いの危険度）から表示を変更しており、コンテンツの時間的遷移については考慮されていない。
【０００６】
立体視コンテンツには、一般にシーンの切替えが含まれており、その切替えの際に奥行値が急激に変化して視聴者に不快感を与えるおそれがある。これは、立体視コンテンツにおいて立体映像間の切替えだけでなく、立体映像と平面映像との切替えにおいても同様に問題となる。また、静止画のスライドショーを表示する場合においても、動画と同様の問題がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、立体視コンテンツのシーンの切替えにおいて奥行値を滑らかに遷移させることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、コンテンツにおけるシーンの切替えを検出するシーン切替検出部と、立体視表示のための奥行値の変化が上記シーンの切替えの前後において所定の表示速度により遷移するように上記奥行値を補正する奥行値補正部とを具備する画像情報処理装置、その画像情報処理方法およびプログラムである。これにより、立体視表示のための奥行値をシーンの切替えの前後において滑らかに遷移させるという作用をもたらす。
【０００９】
また、この第１の側面において、上記奥行値補正部は、上記コンテンツにおける何れかの領域に対応する奥行値の変化が上記シーンの切替の前後において所定の表示速度により遷移するように上記奥行値を補正してもよい。これにより、コンテンツにおける何れかの領域に対応する奥行値をシーンの切替えの前後において滑らかに遷移させるという作用をもたらす。
【００１０】
また、この第１の側面において、上記奥行値補正部は、上記シーンの切替えの前後において画像全体の奥行値を望遠側に補正してもよい。これにより、シーンの切替えの前後において画像全体の奥行値を望遠側に遷移させるという作用をもたらす。
【００１１】
また、この第１の側面において、上記奥行値補正部は、上記シーンの切替えの前の奥行値から上記シーンの切替の後の奥行値に所定の表示速度により遷移するように上記奥行値を補正してもよい。これにより、シーンの切替えの前の奥行値から上記シーンの切替の後の奥行値に滑らかに遷移させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記奥行値補正部は、上記シーンの切替前の所定の区間、上記シーンの切替後の所定の区間または上記シーンの切替えの前後に跨った所定の区間の何れかにおいて奥行値を遷移させてもよい。
【００１３】
また、この第１の側面において、上記シーン切替検出部は、上記シーンの切替えとして立体視画像と平面視画像の切替えを検出してもよい。これにより、立体視画像と平面視画像の切替えの前後において滑らかに遷移させるという作用をもたらす。
【００１４】
また、この第１の側面において、上記シーン切替検出部は、上記シーンの切替えとして動画と静止画の切替えを検出してもよい。これにより、動画と静止画の切替えの前後において滑らかに遷移させるという作用をもたらす。
【００１５】
また、本発明の第２の側面は、コンテンツを構成する画像データを立体視表示するための奥行値について一定の値を固定奥行値として設定する固定奥行値設定部と、上記画像データの何れかの領域を選択して当該領域に対応する奥行値を基準奥行値として特定する基準奥行値特定部と、上記画像データの各領域に対応する奥行値について上記基準奥行値が上記固定奥行値となる比率によって補正を行う奥行値補正部とを具備する画像情報処理装置、その画像情報処理方法およびプログラムである。これにより、特定の領域の奥行値を一定値に維持させるという作用をもたらす。
【００１６】
また、本発明の第３の側面は、画像を撮像して撮像画像および立体視表示のための奥行値を供給する撮像画像供給部と、上記撮像画像におけるシーンの切替えを検出するシーン切替検出部と、上記奥行値の変化が上記シーンの切替えの前後において所定の表示速度により遷移するように上記奥行値を補正する奥行値補正部とを具備する撮像装置、その撮像処理方法およびプログラムである。これにより、立体視表示のための奥行値をシーンの切替えの前後において滑らかに遷移させるという作用をもたらす。
【発明の効果】
【００１７】
本発明によれば、立体視コンテンツのシーンの切替えにおいて奥行値を滑らかに遷移させることができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態における撮像装置３００の全体構成例を示す図である。
【図２】本発明の実施の形態におけるコンテンツ記録ユニット２００の構成例を示す図である。
【図３】本発明の実施の形態における奥行マップ２２０の例を示す図である。
【図４】本発明の実施の形態における奥行値と距離との関係例を示す図である。
【図５】本発明の実施の形態における映像データ２１０と奥行マップ２２０との関係を示す図である。
【図６】本発明の実施の形態による奥行値の補正の第１の態様を示す図である。
【図７】本発明の実施の形態による奥行値の補正の第１の態様のチャプタ全体を示す図である。
【図８】本発明の実施の形態における奥行値補正機構の第１の機能構成例を示す図である。
【図９】本発明の実施の形態における奥行値補正の第１の態様による処理の流れを示す図である。
【図１０】本発明の実施の形態による奥行値の補正の第２の態様を示す図である。
【図１１】本発明の実施の形態における奥行値補正機構の第２の機能構成例を示す図である。
【図１２】本発明の実施の形態における奥行値補正の第２の態様による第１の処理の流れを示す図である。
【図１３】本発明の実施の形態における奥行値補正の第２の態様による第２の処理の流れを示す図である。
【図１４】本発明の実施の形態における奥行値補正の第２の態様による第３の処理の流れを示す図である。
【図１５】本発明の第３の実施の形態における静止画データと動画データの関係を示す図である。
【図１６】本発明の実施の形態による奥行値の補正の第３の態様を示す図である。
【図１７】本発明の実施の形態における奥行値補正機構の第３の機能構成例を示す図である。
【図１８】本発明の実施の形態における奥行値補正の第３の態様による処理の流れを示す図である。
【図１９】本発明の実施の形態による奥行値の補正の第３の態様の変形例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（シーン切替の際に奥行値を望遠側にする例）
２．第２の実施の形態（シーン切替の際に主画像領域の奥行値を遷移させる例）
３．第３の実施の形態（スライドショーの静止画切替の際に奥行値を補正する例）
４．変形例
【００２０】
＜１．第１の実施の形態＞
［撮像装置３００の全体構成例］
図１は、本発明の実施の形態における撮像装置３００の全体構成例を示す図である。この撮像装置３００は、レンズ部３１０と、このレンズ部３１０を操作するモーター３１５および３１６と、モータードライバ３１９とを備える。また、この撮像装置３００は、撮像素子３２１と、アナログ処理部３２２と、Ａ／Ｄ変換器３２３と、デジタル処理部３２４と、これらのタイミングを生成するタイミング生成器３２５と、カメラ制御部３２９とを備える。また、この撮像装置３００は、映像符号化部３３１と、奥行情報設定部３３２と、ファイル生成部３３３と、ファイル復号部３３４と、映像復号部３３５と、奥行情報出力部３３６とを備える。また、この撮像装置３００は、メモリ３３７と、そのメモリコントローラ３３８と、システム制御部３３９とを備えている。このシステム制御部３３９には、操作受付部３９０からの信号線が接続されている。さらに、撮像装置３００は、エラー訂正部３４１と、データ変復調部３４２と、磁界変調ドライバ３４３と、磁界ヘッド３４４と、サーボ回路３４５と、モーター３４６と、光ピックアップ３４７と、ドライブ制御部３４９と、表示部３５０とを備えている。また、この撮像装置３００には、映像を記録する記録媒体として、例えば光ディスク３７０が装着される。
【００２１】
レンズ部３１０は、被写体からの光を受光するものであり、ズームレンズ３１１およびフォーカスレンズ３１２を含む。ズームレンズ３１１およびフォーカスレンズ３１２にはそれぞれモーター３１５および３１６が接続されており、これらモーター３１５および３１６の駆動によってズームレンズ３１１およびフォーカスレンズ３１２が移動できるようになっている。また、モーター３１５および３１６にはモータードライバ３１９が接続されており、このモータードライバ３１９によってモーター３１５および３１６が制御される。
【００２２】
撮像素子３２１は、レンズ部３１０によって受光された光を静電気に変換して蓄える素子であり、例えば、ＣＣＤやＣＭＯＳセンサー等が利用される。アナログ処理部３２２は、撮像素子３２１からのアナログ信号におけるノイズを相関二重サンプリング（ＣＤＳ）により取り除き、自動利得制御（ＡＧＣ）によりアナログ信号の高低部分を補正する。Ａ／Ｄ変換器３２３は、アナログ処理部３２２からのアナログ信号をデジタル信号に変換する。デジタル処理部３２４は、ホワイトバランスやガンマ変換等の処理を行う。
【００２３】
デジタル処理部３２４からの出力信号は映像符号化部３３１の映像信号入力となる。また、このデジタル処理部３２４で検出された情報はカメラ制御部３２９に伝えられる。カメラ制御部３２９は、デジタル処理部３２４で検出された情報に基づいて、モータードライバ３１９およびタイミング生成器３２５に対する制御を行う。タイミング生成器３２５は、撮像素子３２１、アナログ処理部３２２、Ａ／Ｄ変換器３２３およびデジタル処理部３２４に対するタイミング信号を生成する。なお、ここまでに説明したレンズ部３１０、撮像素子３２１などは、特許請求の範囲に記載の撮像画像供給部の一例である。
【００２４】
映像符号化部３３１は、映像信号の符号化を行う。奥行情報設定部３３２は、映像信号に対応する奥行情報を設定する。ファイル生成部３３３は、符号化された映像信号および奥行情報を多重化して映像ファイル（多重化データ）を生成する。ファイル復号部３３４は、映像ファイルを復号して映像信号および奥行情報を出力する。映像復号部３３５は、映像信号を復号して表示部３５０に出力する。奥行情報出力部３３６は、奥行情報を復号して表示部３５０に出力する。
【００２５】
メモリ３３７は、映像ファイル等を保持するメモリである。メモリコントローラ３３８は、ファイル生成部３３３やエラー訂正部３４１から供給された映像ファイル（多重化データ）をメモリ３３７に書き込み、また、メモリ３３７から多重化データを読み出してエラー訂正部３４１やファイル復号部３３４に供給する。
【００２６】
システム制御部３３９は、上述のようなメモリコントローラ３３８の動作やファイル生成部３３３およびファイル復号部３３４の動作を制御する。また、システム制御部３３９は、ドライブ制御部３４９と接続してディスクドライブの動作を要求する。また、システム制御部３３９は、カメラ制御部３２９と接続して、オートフォーカスおよびズームの状態として、オートフォーカスがピントを合わせている動作途中か否かや、焦点距離などを得ることができる。
【００２７】
さらに、システム制御部３３９には操作受付部３９０が接続されており、ユーザからの操作入力を把握することができる。この操作受付部３９０としては、例えば、ズーム関係のボタンや記録関係のボタンが設けられる。システム制御部３３９は、カメラ制御部３２９と接続しており、ユーザからの操作入力に応じてズーム等の制御が行われる。
【００２８】
エラー訂正部３４１は、メモリコントローラ３３８からの多重化データにインターリーブおよびエラー訂正のための符号を付加してデータ変復調部３４２に供給する。また、エラー訂正部３４１は、データ変復調部３４２からの復調信号に対してデ・インターリーブおよびエラー訂正処理を行って多重化データをメモリコントローラ３３８に供給する。
【００２９】
データ変復調部３４２は、光ディスク３７０に記録するための所定の変調を施した後、磁界変調ドライバ３４３に出力すると同時に、光ピックアップ３４７を駆動するための信号を出力する。また、データ変復調部３４２は、光ピックアップ３４７からの信号に所定の復調処理を施して、エラー訂正部３４１に復調信号として出力する。
【００３０】
磁界変調ドライバ３４３は、記録時には入力された信号に応じて磁界ヘッド３４４を駆動して光ディスク３７０に磁界を印加する。光ピックアップ３４７は、記録時には記録用のレーザービームを光ディスク３７０に照射して、光ディスク３７０に信号を記録する。また、光ピックアップ３４７は、再生時には再生用のレーザービームを光ディスク３７０に照射して、光ディスク３７０から反射されたビーム量から電気信号に光電変換して、再生信号を取得する。これらの動作は、システム制御部３３９からの要求に応じて、ドライブ制御部３４９が、サーボ回路３４５に要求を出してディスクドライブ全体の制御を行う。サーボ回路３４５は、光ピックアップ３４７のディスク径方向の移動のサーボ、トラッキングサーボ、フォーカスサーボを制御し、また、モーター３４６のスピンドルサーボを制御する。これにより、光ディスク３７０は、映像ファイル（多重化データ）の記録または再生を行う。
【００３１】
なお、上述の構成例では、磁界変調を行う光磁気ディスクを想定しているが、相変化ディスクの場合でも基本的な構成は同様である。また、光ディスク３７０に代えて、ハードディスクなどの磁気ディスクや、ＳＳＤ（Solid State Drive）などの半導体ディスクを利用してもよい。
【００３２】
表示部３５０は、映像復号部３３５からの映像信号および奥行情報出力部３３６からの奥行情報に基づき、両眼間に生じる視差を利用して立体視画像を表示するものである。この表示部３５０が立体視表示を行う際の方式には特に限定されないが、この表示部３５０は例えばマイクロポール方式のディスプレイにより実現される。また、ここでは、映像信号と奥行情報に基づいて立体視表示を行う表示部を想定したが、これに限定されるものではない。一般に、奥行情報から左右視差のオフセット値に変換することは可能であるため、左右視差方式（サイドバイサイド方式）の表示部にも適用可能である。
【００３３】
［コンテンツ記録ユニット２００の構成例］
図２は、本発明の実施の形態におけるコンテンツ記録ユニット２００の構成例を示す図である。このコンテンツ記録ユニット２００は、上述の映像ファイルの記録単位である。コンテンツ記録ユニット２００は、映像データ＃１乃至Ｎ（２１０−１乃至２１０−Ｎ）（以下、単に「映像データ２１０」とも称する。）および奥行マップ＃１乃至Ｎ（２２０−１乃至２２０−Ｎ）（以下、単に「奥行マップ２２０」とも称する。）を保持する。
【００３４】
映像データ２１０および奥行マップ２２０は、例えばＧＯＰ（Group Of Pictures）を単位として、それぞれ対応付けられる。すなわち、第１番目のＧＯＰを記録する映像データ２１０−１には奥行マップ２２０−１が対応し、第２番目のＧＯＰを記録する映像データ２１０−２には奥行マップ２２０−２が対応する。ＧＯＰはＭＰＥＧ（Moving Pictures Experts Group）規格における動画のフレーム群である。多くの場合、１ＧＯＰには１５フレームが含まれる。フレームレートとして２９．９７フレーム／秒を想定すると、１ＧＯＰは約０．５秒に相当する。
【００３５】
図３は、本発明の実施の形態における奥行マップ２２０の例を示す図である。奥行マップ２２０は、フレーム画像の各画素に対応して奥行値を保持するものである。すなわち、奥行マップ２２０は、２次元のＸＹ平面上の各画素のそれぞれについて奥行値を保持する。奥行値は、例えば８ビット幅により「０」から「２５５」の範囲の値を有し、視聴者から見て近距離に存在するほど大きな値を有するものとする。この図の例では、手前に存在する人物領域に対応する奥行値は「２５５」を示し、背景領域に対応する奥行値は「０」を示している。なお、奥行マップ２２０は、一般に、デプスマップ（depth map）または深度マップとも呼称される。
【００３６】
図４は、本発明の実施の形態における奥行値と距離との関係例を示す図である。図４（ａ）から分かるように、レンズから被写体までの距離が０．５［ｍ］以下であれば奥行値は「２５５」を示し、距離が５．０［ｍ］を超える場合には奥行値は「０」を示す。距離が０．５［ｍ］より大きく、５．０［ｍ］以下である場合には、図４（ａ）のように「０」から「２５５」の範囲の値を有する。
【００３７】
また、図４（ｂ）から分かるように、奥行値は距離の対数値と線形関係にあるように設定している。これは、遠くよりも近くの方がより精細に知覚可能であるという人間の感覚を考慮したものである。
【００３８】
撮像装置３００において奥行値を設定する場合、まずワイド端で絞り開放の状態にしてレンズ被写界深度を最も浅く制御し、レンズ焦点を無限遠（５．０［ｍ］超え）に設定する。これにより、画面内領域の合焦する映像領域を把握し、その領域を背景領域として奥行値「０」を割り当てる。次に、ワイド端で絞り開放の状態にしてレンズ被写界深度を最も浅く制御したまま、レンズ焦点を近距離（０．５［ｍ］）に設定する。これにより、画面内領域の合焦する映像領域を把握し、その領域を最近距離点として奥行値「２５５」を割り当てる。そして、ワイド端で絞り開放の状態にしてレンズ被写界深度を最も浅く制御したまま、レンズ焦点を近距離（０．５［ｍ］）から無限遠（５．０［ｍ］超え）まで順次変化させて、レンズ位置制御により距離測定を行う。これに同期して順次画面内領域の合焦する映像領域を記憶していく。このようにして、図４（ａ）の対応関係が割り当てられる。
【００３９】
このような初期設定がされた後は、被写体の輪郭認識や動きベクトル検出解析に基づいて、各画素に対応する奥行値を生成することが可能となる。奥行値は、撮像の際にリアルタイムに生成されてもよく、また、カメラ情報から事後的に生成されてもよい。カメラ情報は、撮影時の設定条件などの情報としてデジタルカメラ内部から得られるものである。例えば、Ｆ値、露出時間、露光補正値、ＡＧＣゲイン値、フラッシュの有無、レンズ焦点距離、ホワイトバランス、被写体距離、手ぶれ補正、顔メタ情報、デジタルズーム倍率、エフェクト撮影、ベンダー名などの情報を含む。このカメラ情報は、例えばＡＶＣＨＤ規格であれば、モディファイドデジタルビデオパック（ＭＤＰ：Modified Digital Video Pack）にストリームファイルとして記録することが可能である。顔メタ情報によって顔の存在する座標が分かる場合、その座標位置における距離としてカメラ情報の被写体距離を利用することができる。得られた距離は、図４（ａ）の対応表から奥行値に変換することができる。
【００４０】
図５は、本発明の実施の形態における映像データ２１０と奥行マップ２２０との関係を示す図である。図５（ａ）は映像データ２１０の一例を示している。この例では、撮像装置の近傍に人物が映っており、その背後に背景が映っている。
【００４１】
図５（ｂ）は図５（ａ）の映像データ２１０に対応する奥行マップ２２０の一例を示している。人物の領域の奥行値２２１は、十六進数で「Ｂ４」、すなわち十進数で「１８０」を示している。これは、撮像装置から１．０［ｍ］の距離に人物が位置していることを意味する。背景領域の奥行値２２２は、「０」を示している。これは、撮像装置から無限遠（５．０［ｍ］超え）に背景が位置していることを意味する。奥行マップ２２０に含まれる各奥行値は、映像データ２１０の各画素に対応している。
【００４２】
［奥行値の補正の第１の態様］
図６は、本発明の実施の形態による奥行値の補正の第１の態様を示す図である。図６（ａ）のように、チャプタの切替えの際に、フレーム内の領域の奥行値が急激に変化する場合を想定する。ここでは、チャプタ＃ｉの終端部分における特定の領域の奥行値７１１が、チャプタ＃（ｉ＋１）の開始部分において奥行値７１４に変化している。この場合、特定の領域の奥行値が急激に変化するため、視聴者に違和感を与えるおそれがある。なお、この場合の特定の領域は、人物などに該当するフレーム内の一部の領域が想定されるが、フレーム全体であってもよい。
【００４３】
本発明の実施の形態では、奥行値の補正の第１の態様として、図６（ｂ）のようにチャプタの切替えの際に全体の奥行値を一旦ゼロ（無限遠）に補正する。これにより、チャプタの切替えの際における奥行値の急激な変化を抑制することができる。ただし、奥行値をゼロにする補正自体を急激に行うと、補正による新たな違和感を生じてしまうおそれがある。そこで、奥行値を補正する際には、例えば０．５秒以上の期間をかけて所定の表示速度により奥行値を遷移させることが望ましい。図６（ｂ）の例では、チャプタ＃ｉの終端部分における元々の奥行値７２１から終端フレームの奥行値７２２がゼロになるように、所定の表示速度により順次遷移させている。同様に、チャプタ＃（ｉ＋１）の開始フレームの奥行値７２３をゼロとして、開始部分における元々の奥行値７２４まで順次遷移させている。
【００４４】
図７は、本発明の実施の形態による奥行値の補正の第１の態様のチャプタ全体を示す図である。ここでは、ｋフレームからなるチャプタ＃ｊを想定している。このチャプタ＃ｊでは、開始部分のｎフレームと終端部分のｎフレームにおいてそれぞれ奥行値が補正されている。
【００４５】
チャプタ＃ｊの開始部分のｎフレームでは奥行値がゼロから順次増加している。この例では、奥行値がゼロから（１／ｎ）ずつ増加し、第（ｎ＋１）フレーム目において補正が施されない値に収束するものとしている。すなわち、第（ｎ＋１）フレーム目の奥行値をＡとすると、第ｉフレーム目（ｉは１からｎの範囲の整数）の奥行値はＡ×（（ｉ−１）／ｎ）となる。
【００４６】
また、チャプタ＃ｊの終端部分のｎフレームでは奥行値がゼロに向かって順次減少している。この例では、奥行値が（１／ｎ）ずつ減少し、第ｋフレーム目においてゼロに収束するものとしている。すなわち、第（ｋ−ｎ）フレーム目の奥行値をＢとすると、第ｉフレーム目（ｉは（ｋ−（ｎ−１））からｋの範囲の整数）の奥行値はＢ×（（ｋ−ｉ）／ｎ）となる。
【００４７】
［奥行値の補正の第１の態様の機能構成］
図８は、本発明の実施の形態における奥行値補正機構の第１の機能構成例を示す図である。この奥行値補正機構は、シーンの切替えの前後において奥行値をゼロ（望遠側）に滑らかに遷移させるものである。撮像装置３００においては、撮像された際の奥行値を奥行情報設定部３３２により補正した上で奥行マップ２２０を設定してもよく、また、補正されていない奥行マップ２２０の奥行値を奥行情報出力部３３６により補正して表示部３５０に出力してもよい。したがって、撮像装置３００においては、奥行情報設定部３３２または奥行情報出力部３３６に、奥行値補正機構を設けることができる。また、この奥行値補正機構は、撮像装置のみならず、映像ファイルを扱う画像情報処理装置においても実現することができる。
【００４８】
この奥行値補正機構は、コンテンツ供給部１１０と、コンテンツ読出し管理部１２０と、遷移フレーム数設定部１３０と、コンテンツ先読み管理部１４０と、奥行値補正部１５０とを備えている。
【００４９】
コンテンツ供給部１１０は、撮像されたコンテンツを供給するものである。撮像装置３００においては撮像素子３２１乃至カメラ制御部３２９などによってコンテンツが供給される。画像情報処理装置の場合には、コンテンツを記憶する記憶部からの（図示しない）読出し部によってコンテンツが供給される。
【００５０】
コンテンツ読出し管理部１２０は、コンテンツ供給部１１０から供給されるコンテンツを１フレームずつ読み出していく管理を行うものである。このコンテンツ読出し管理部１２０は、現フレーム番号保持部１２１と、現フレーム奥行値保持部１２２とを備える。現フレーム番号保持部１２１は、コンテンツ供給部１１０から読み出された現在のフレームのフレーム番号を保持するものである。現フレーム奥行値保持部１２２は、コンテンツ供給部１１０から読み出された現在のフレームに対応する奥行値を保持するものである。
【００５１】
遷移フレーム数設定部１３０は、シーンの切替えの前後において補正対象となるフレームの数を予め設定するものである。図７の例では、シーンの切替えの前後において、それぞれｎフレームずつが遷移フレーム数として設定される。
【００５２】
コンテンツ先読み管理部１４０は、コンテンツ読出し管理部１２０による読出しに先立って、コンテンツにおける現在のフレームよりも先の（未来の）フレームを先読みする管理を行うものである。このコンテンツ先読み管理部１４０は、シーン切替検出部１４１と、最終フレーム番号生成部１４２とを備える。シーン切替検出部１４１は、先読みされたコンテンツの中からシーン切替の位置を検出するものである。シーン切替としては、例えばチャプタの切替が想定される。最終フレーム番号生成部１４２は、シーン切替検出部１４１によって検出されたシーン切替位置に基づいて、現在のシーンの最終フレーム番号を生成するものである。図７の例では、第ｋフレーム目が最終フレームとなる。
【００５３】
奥行値補正部１５０は、現フレーム奥行値保持部１２２に保持される奥行値を補正するものである。図７の例では、奥行値は次式のように補正される。
補正後奥行値＝補正前奥行値×ｍ／ｎ
ただし、ｎは遷移フレーム数設定部１３０に保持された遷移フレーム数であり、ｍはシーン切替の開始部分または終端部分の何れであるかに応じて以下のように設定される。
シーン開始ｎフレームの場合； ｍ＝現フレーム番号−１
シーン終端ｎフレームの場合； ｍ＝最終フレーム番号−現フレーム番号
なお、現フレーム番号は現フレーム番号保持部１２１から供給され、最終フレーム番号は最終フレーム番号生成部１４２から供給される。
【００５４】
［奥行値の補正の第１の態様の動作例］
【００５５】
図９は、本発明の実施の形態における奥行値補正の第１の態様による処理の流れを示す図である。ここでは、シーン切替の一例として、チャプタの切替えを検出する例について説明する。
【００５６】
まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９１１）。すなわち、現フレーム番号保持部１２１に保持される現フレーム番号が更新されるとともに、現フレーム奥行値保持部１２２に保持される奥行値が更新される。
【００５７】
現フレームがチャプタの開始ｎフレームであれば（ステップＳ９１３）、変数ｍに「現フレーム番号−１」が設定される（ステップＳ９１４）。一方、現フレームがチャプタの終端ｎフレームであれば（ステップＳ９１６）、変数ｍには「最終フレーム番号−現フレーム番号」が設定される（ステップＳ９１７）。
【００５８】
そして、現フレームがチャプタの開始ｎフレームまたは終端ｎフレームであれば、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が「ｍ／ｎ」倍に補正される（ステップＳ９１８）。
【００５９】
その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９１９）。現フレームがチャプタの開始ｎフレームまたは終端ｎフレームであれば上述のように補正された奥行値が用いられ、それ以外のフレームについては補正されない奥行値が用いられる。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
【００６０】
このように、本発明の実施の形態の第１の態様によれば、シーン切替の前後において奥行値をゼロ（望遠側）に滑らかに遷移させることができ、奥行値の急激な変化による違和感を解消することができる。
【００６１】
＜２．第２の実施の形態＞
［奥行値の補正の第２の態様］
図１０は、本発明の実施の形態による奥行値の補正の第２の態様を示す図である。上述の第１の態様では奥行値を一旦ゼロに遷移させていたが、この第２の態様ではシーン切替の前後において奥行値を所定の表示速度により直接遷移させることを想定する。
【００６２】
図１０（ａ）は、チャプタの終端部分においてのみ奥行値を遷移させる例である。すなわち、この例では、チャプタの終端部分において奥行値７３１（ａ）から奥行値７３２に遷移させ、チャプタの開始部分においては奥行値７３３（ｃ）から奥行値７３４まで一定の値を維持させている。
【００６３】
図１０（ｂ）は、チャプタの開始部分においてのみ奥行値を遷移させる例である。すなわち、この例では、チャプタの終端部分において奥行値７４１から奥行値７４２までは一定の値（ａ）を維持し、チャプタの開始部分において奥行値７４３から奥行値７４４（ｃ）に遷移させている。
【００６４】
図１０（ｃ）は、チャプタの開始部分および終端部分の両者において奥行値を遷移させる例である。すなわち、この例では、チャプタの終端部分において奥行値７５１（ａ）から奥行値７５２に遷移させ、チャプタの開始部分においても奥行値７５３（ｂ）から奥行値７５４に遷移させている。
【００６５】
このように、奥行値を直接遷移させる場合には、チャプタの切替前後の何れの区間において遷移させてもよい。
【００６６】
［奥行値の補正の第２の態様の機能構成］
図１１は、本発明の実施の形態における奥行値補正機構の第２の機能構成例を示す図である。この奥行値補正機構は、奥行値が急激に変化している場合にその変化を滑らかに遷移させるものである。以下では、シーン切替の一例として、チャプタの切替えを検出する例について説明する。
【００６７】
この奥行値補正機構の第２の機能構成は、コンテンツ供給部１１０と、コンテンツ読出し管理部１２０と、遷移フレーム数設定部１３０と、コンテンツ先読み管理部１４０と、奥行値補正部１５０とを備える点は、図８により説明した第１の機能構成と同様である。この奥行値補正機構の第２の機能構成は、第１の機能構成に加えて開始奥行値保持部１６０を備える。また、コンテンツ先読み管理部１４０においてさらに目標奥行値生成部１４３を備える。
【００６８】
開始奥行値保持部１６０は、奥行値を遷移させる際の開始フレームの奥行値を保持するものである。図１０（ａ）の例では、チャプタ＃ｉの奥行値７３１が開始フレームの奥行値となる。図１０（ｂ）の例ではチャプタ＃（ｉ＋１）の奥行値７４３が開始フレームの奥行値となる。また、図１０（ｃ）の例では、チャプタ＃ｉの奥行値７５１およびチャプタ＃（ｉ＋１）の奥行値７５３が開始フレームの奥行値となる。開始フレームは、シーン切替検出部１４１によって検出されたシーン切替位置および遷移フレーム数設定部１３０によって設定された遷移フレーム数に基づいて定められる。
【００６９】
目標奥行値生成部１４３は、奥行値を補正する際の目標奥行値を生成するものである。図１０（ａ）の例では、チャプタ＃ｉの奥行値７３２が目標奥行値となる。図１０（ｂ）の例では、チャプタ＃（ｉ＋１）の奥行値７４４が目標奥行値となる。また、図１０（ｃ）の例では、チャプタ＃ｉの奥行値７５２およびチャプタ＃（ｉ＋１）の奥行値７５４が目標奥行値となる。目標奥行値に該当するフレームは、シーン切替検出部１４１によって検出されたシーン切替位置および遷移フレーム数設定部１３０によって設定された遷移フレーム数に基づいて定められる。なお、図１０（ｂ）の例における奥行値７４４および図１０（ｃ）の例における奥行値７５４は、現フレームの奥行値とほぼ同等であると考えることができるため、現フレームの奥行値により代用することが可能である。また、目標奥行値は任意に定めることが可能である。例えば、次のチャプタ全体のダイナミックレンジに応じて目標奥行値を設定してもよい。
【００７０】
この奥行値補正機構の第２の機能構成において、奥行値補正部１５０は以下のように奥行値を補正する。図１０（ａ）のように切替前のチャプタにおいて遷移を行う場合には、チャプタの終了ｎフレームについて次式１により奥行値を補正する。
補正後奥行値＝目標奥行値＋（目標奥行値−補正前奥行値）×ｍ／ｎ （式１）
ただし、
ｍ＝最終フレーム番号−現フレーム番号
である。
【００７１】
図１０（ｂ）のように切替後のチャプタにおいて遷移を行う場合には、チャプタの開始ｎフレームについて次式２により奥行値を補正する。
補正後奥行値＝開始奥行値＋（補正前奥行値−開始奥行値）×ｍ／ｎ （式２）
ただし、
ｍ＝現フレーム番号−１
である。
【００７２】
図１０（ｃ）のように切替の前後のチャプタに亘って遷移を行う場合には、チャプタの開始ｎフレームについて上述の式２により奥行値を補正する。また、チャプタの終了ｎフレームについて上述の式１により奥行値を補正する。
【００７３】
［奥行値の補正の第２の態様の動作例］
図１２は、本発明の実施の形態における奥行値補正の第２の態様による第１の処理の流れを示す図である。この第１の処理は、図１０（ａ）のように切替前のチャプタにおいて遷移を行う場合の例を示している。
【００７４】
まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９２１）。すなわち、現フレーム番号保持部１２１に保持される現フレーム番号が更新されるとともに、現フレーム奥行値保持部１２２に保持される奥行値が更新される。また、目標奥行値生成部１４３において、遷移の際の目標奥行値が生成され、設定される（ステップＳ９２２）。この場合の目標奥行値は、図１０（ａ）における奥行値７３２である。
【００７５】
現フレームがチャプタの終端ｎフレームであれば（ステップＳ９２６）、変数ｍには「最終フレーム番号−現フレーム番号」が設定される（ステップＳ９２７）。そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が上述の式１により補正される（ステップＳ９２８）。
【００７６】
その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９２９）。現フレームがチャプタの終端ｎフレームであれば上述のように補正された奥行値が用いられ、それ以外のフレームについては補正されない奥行値が用いられる。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
【００７７】
図１３は、本発明の実施の形態における奥行値補正の第２の態様による第２の処理の流れを示す図である。この第２の処理は、図１０（ｂ）のように切替後のチャプタにおいて遷移を行う場合の例を示している。
【００７８】
まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９３１）。すなわち、現フレーム番号保持部１２１に保持される現フレーム番号が更新されるとともに、現フレーム奥行値保持部１２２に保持される奥行値が更新される。
【００７９】
現フレームがチャプタの開始ｎフレームであれば（ステップＳ９３３）、変数ｍに「現フレーム番号−１」が設定される（ステップＳ９３４）。そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が上述の式２により補正される（ステップＳ９３５）。
【００８０】
その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９３９）。現フレームがチャプタの開始ｎフレームであれば上述のように補正された奥行値が用いられ、それ以外のフレームについては補正されない奥行値が用いられる。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
【００８１】
図１４は、本発明の実施の形態における奥行値補正の第２の態様による第３の処理の流れを示す図である。この第３の処理は、図１０（ｃ）のように切替前後のチャプタに亘って遷移を行う場合の例を示している。
【００８２】
まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９４１）。すなわち、現フレーム番号保持部１２１に保持される現フレーム番号が更新されるとともに、現フレーム奥行値保持部１２２に保持される奥行値が更新される。また、目標奥行値生成部１４３において、遷移の際の目標奥行値が生成され、設定される（ステップＳ９４２）。この場合の目標奥行値は、図１０（ｃ）における奥行値７５２である。奥行値７５２は、例えばチャプタ＃ｉの終端部分の奥行値とチャプタ＃（ｉ＋１）の開始部分の奥行値の平均値（ｂ）を用いることができる。
【００８３】
現フレームがチャプタの開始ｎフレームであれば（ステップＳ９４３）、変数ｍに「現フレーム番号−１」が設定される（ステップＳ９４４）。そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が上述の式２により補正される（ステップＳ９４５）。
【００８４】
一方、現フレームがチャプタの終端ｎフレームであれば（ステップＳ９４６）、変数ｍには「最終フレーム番号−現フレーム番号」が設定される（ステップＳ９４７）。そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が上述の式１により補正される（ステップＳ９４８）。
【００８５】
その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９４９）。現フレームがチャプタの開始ｎフレームまたは終端ｎフレームであれば上述のように補正された奥行値が用いられ、それ以外のフレームについては補正されない奥行値が用いられる。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
【００８６】
このように、本発明の実施の形態の第２の態様によれば、シーン切替の前後において奥行値を滑らかに遷移させることができ、奥行値の急激な変化による違和感を解消することができる。
【００８７】
＜３．第３の実施の形態＞
［静止画データと動画データの関係］
図１５は、本発明の第３の実施の形態における静止画データと動画データの関係を示す図である。この第３の実施の形態では、静止画データをスライドショー形式により立体視表示することを想定している。ここでは、静止画データの各々をｎフレームずつ分配することにより、動画データを生成している。すなわち、静止画データＡをｎフレーム配置し、その後、静止画データＢをｎフレーム配置し、さらに静止画データＣをｎフレーム配置する、という要領で動画データの各フレームが配置される。静止画データは、図３により説明したフレーム画像と同様に、画像データと奥行値とを有しており、立体視表示に対応している。
【００８８】
このような静止画データに基づく動画データにおいても、一般の動画の場合と同様に奥行値が急激に変化することによる違和感を伴うおそれがある。特に、スライドショー形式の場合、静止画データの切替の際に奥行値が急激に変化する可能性が高い。
【００８９】
［奥行値の補正の第３の態様］
図１６は、本発明の実施の形態による奥行値の補正の第３の態様を示す図である。図１６（ａ）のように、静止画の切替えの際に、静止画内の領域の奥行値が急激に変化する場合を想定する。ここでは、静止画Ａの終端部分における特定の領域の奥行値８１１（ｄ）が、静止画Ｂの開始部分において奥行値８１２（ｅ）に変化している。この場合、特定の領域の奥行値が急激に変化するため、視聴者に違和感を与えるおそれがある。なお、この場合の特定の領域は、人物などに該当するフレーム内の一部の領域が想定されるが、フレーム全体であってもよい。
本発明の実施の形態では、奥行値の補正の第３の態様として、図１６（ｂ）のように静止画の特定の領域の奥行値が一定値（Ｋ）になるように補正する。これにより、チャプタの切替えの際における奥行値の急激な変化を抑制することができる。
【００９０】
［奥行値の補正の第３の態様の機能構成］
図１７は、本発明の実施の形態における奥行値補正機構の第３の機能構成例を示す図である。この奥行値補正機構は、スライドショー形式の静止画データを含む動画データにおいて、特定の領域の奥行値を一定値に維持させるものである。以下では、シーン切替の一例として、チャプタの切替えを検出する例について説明する。
【００９１】
この奥行値補正機構の第３の機能構成は、コンテンツ供給部１１０と、コンテンツ読出し管理部１２０と、奥行値補正部１５０とを備える点は、図８により説明した第１の機能構成と同様である。この奥行値補正機構の第３の機能構成は、第１の機能構成において遷移フレーム数設定部１３０およびコンテンツ先読み管理部１４０を取り除き、固定奥行値設定部１７０をさらに備える。また、コンテンツ読出し管理部１２０において、基準奥行値特定部１２３をさらに備える。
【００９２】
基準奥行値特定部１２３は、コンテンツ供給部１１０から供給された静止画について、基準となる奥行値（基準奥行値）を特定するものである。この基準奥行値を特定するためには、静止画における何らかの特徴量を抽出して、その特徴量に基づいて基準奥行値を特定することが考えられる。例えば、静止画において顔を抽出して、その中から最も注目すべき優先顔を選択し、その優先顔の奥行値を基準奥行値として特定することが考えられる。優先顔としては、最も中央に近い顔や、最も大きい顔を選択することができる。また、例えば、最も近距離に位置する奥行値を特定するようにしてもよい。
【００９３】
固定奥行値設定部１７０は、静止画の特定の領域の奥行値として固定させようとする一定値を設定するものである。この固定奥行値設定部１７０に設定された一定値を固定奥行値と称する。図１６（ｂ）の例の場合、一定値Ｋが固定奥行値として設定されることになる。
【００９４】
これにより、奥行値補正部１５０は、現フレーム奥行値保持部１２２に保持される奥行値を次式のように補正する。
補正後奥行値＝補正前奥行値×Ｋ／ｙ
ただし、Ｋは固定奥行値設定部１７０に設定された固定奥行値であり、ｙは基準奥行値特定部１２３により特定された基準奥行値である。
【００９５】
［奥行値の補正の第３の態様の動作例］
図１８は、本発明の実施の形態における奥行値補正の第３の態様による処理の流れを示す図である。ここでは、シーン切替の一例として、チャプタの切替えを検出する例について説明する。
【００９６】
まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９５１）。すなわち、現フレーム奥行値保持部１２２に保持される奥行値が更新される。また、基準奥行値特定部１２３において、現フレームの静止画から奥行値が特定される（ステップＳ９５２）。ここでは、一例として、優先顔を検出し、その優先顔の基準奥行値ｙを特定することを想定する。
【００９７】
そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が「Ｋ／ｙ」倍に補正される（ステップＳ９５８）。ここで、Ｋは固定奥行値設定部１７０に設定された固定奥行値であり、ｙは基準奥行値特定部１２３により特定された基準奥行値である。
【００９８】
その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９５９）。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
【００９９】
このように、本発明の実施の形態の第３の態様によれば、スライドショー形式の静止画データを含む動画データにおいて、特定の領域の奥行値を一定値に維持させることができ、奥行値の急激な変化による違和感を解消することができる。
【０１００】
＜４．変形例＞
［スライドショーの変形例］
図１９は、本発明の実施の形態による奥行値の補正の第３の態様の変形例を示す図である。上述の第３の態様では奥行値を一定値に維持させていたが、この変形例では第２の態様と同様に、シーン切替の前後において奥行値を遷移させることを想定する。
【０１０１】
図１９（ａ）は、静止画の終端部分においてのみ奥行値を遷移させる例である。すなわち、この例では、静止画Ａの終端部分において奥行値８３１から奥行値８３２に遷移させ、静止画Ｂの開始部分においては奥行値８３３から奥行値８３４まで一定の値を維持させている。
【０１０２】
図１９（ｂ）は、静止画の開始部分においてのみ奥行値を遷移させる例である。すなわち、この例では、静止画Ａの終端部分において奥行値８４１から奥行値８４２までは一定の値を維持し、静止画Ｂの開始部分において奥行値８４３から奥行値８４４に遷移させている。
【０１０３】
図１９（ｃ）は、静止画の開始部分および終端部分の両者において奥行値を遷移させる例である。すなわち、この例では、静止画Ａの終端部分において奥行値８５１から奥行値８５２に遷移させ、静止画Ｂの開始部分においても奥行値８５３から奥行値８５４に遷移させている。
【０１０４】
このように、奥行値を遷移させる場合には、静止画の切替前後の何れの区間において遷移させてもよい。
【０１０５】
このような奥行値の遷移を実現するためには、図１１により説明した機能構成および図１２乃至１４により説明した処理を利用することができる。すなわち、スライドショー形式の動画データは、各フレームは静止画データから構成されているものの、全体として見れば一般の動画データと違いはない。したがって、上述の本発明の第２の実施の形態を利用することができる。同様に、本発明の第２の実施の形態を利用して、静止画の切替えの際に全体の奥行値を一旦ゼロ（無限遠）に補正するようにしてもよい。
【０１０６】
また、ここでは、立体視画像のシーン切替に着目して説明したが、立体視画像から平面視画像への切替えもしくは平面視画像から立体視画像への切替えについても同様に適用できることはいうまでもない。また、静止画に基づくスライドショー形式の動画データと通常の動画データとを混在させた動画データにおいて、静止画と動画を切り替える場合についても同様に適用できることはいうまでもない。
【０１０７】
このように、本発明の実施の形態によれば、立体視コンテンツのシーンの切替えにおいて奥行値を滑らかに遷移させることができる。
【０１０８】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１０９】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、光ディスク、ハードディスク、半導体ディスクのほかに、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。また、図２において、映像音声ストリームとして記録されるＭＰＥＧ圧縮のＧＯＰにそれぞれ対応する映像奥行きマップ値について説明した。これは、例えば光ディスクのプログラムストリーム、Ｂｌｕ−Ｒａｙ規格やＡＶＣＨＤ規格で用いられるＴＳストリーム、ＭＰＥＧ２ストリーム、Ｈ．２６４／ＡＶＣストリーム、ＭＰ４ストリーム等それぞれの映像音声圧縮ストリームとその将来の拡張規格において用いることができる。
【符号の説明】
【０１１０】
１１０ コンテンツ供給部
１２０ コンテンツ読出し管理部
１２１ 現フレーム番号保持部
１２２ 現フレーム奥行値保持部
１２３ 基準奥行値特定部
１３０ 遷移フレーム数設定部
１４０ コンテンツ先読み管理部
１４１ シーン切替検出部
１４２ 最終フレーム番号生成部
１４３ 目標奥行値生成部
１５０ 奥行値補正部
１６０ 開始奥行値保持部
１７０ 固定奥行値設定部
２００ コンテンツ記録ユニット
２１０ 映像データ
２２０ 奥行マップ
３００ 撮像装置
３１０ レンズ部
３１１ ズームレンズ
３１２ フォーカスレンズ
３１５、３１６、３４６ モーター
３１９ モータードライバ
３２１ 撮像素子
３２２ アナログ処理部
３２３ Ａ／Ｄ変換器
３２４ デジタル処理部
３２５ タイミング生成器
３２９ カメラ制御部
３３１ 映像符号化部
３３２ 奥行情報設定部
３３３ ファイル生成部
３３４ ファイル復号部
３３５ 映像復号部
３３６ 奥行情報出力部
３３７ メモリ
３３８ メモリコントローラ
３３９ システム制御部
３４１ エラー訂正部
３４２ データ変復調部
３４３ 磁界変調ドライバ
３４４ 磁界ヘッド
３４５ サーボ回路
３４７ 光ピックアップ
３４９ ドライブ制御部
３５０ 表示部
３７０ 光ディスク
３９０ 操作受付部
【技術分野】
【０００１】
本発明は、画像情報処理装置に関し、特に立体視表示のための奥行値を含む画像情報を取り扱う画像情報処理装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、コンテンツを表示するための表示装置として、平面視（２次元）コンテンツの表示のみならず、立体視（３次元）コンテンツを表示可能な表示装置が提案されている。このような表示装置では、両眼間に生じる視差（disparity）を利用しているため、両眼の輻輳角と焦点距離に矛盾が生じている場合や、視差の値が適切でない場合などには視聴者に違和感を与えるおそれがある。
【０００３】
そこで、立体視コンテンツの生体影響度を算出し、視聴者の耐性レベルに応じて、表示対象となる立体視コンテンツの表示状態を制御する表示装置が提案されている（例えば、特許文献１参照。）。この従来技術では、コンテンツメタ情報にコンテンツのデプスマップの情報を格納し、その最大奥行き量が大きければ、デプスマップの値を標準値よりも小さくなるように変更して表示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２４６７２５号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、奥行き量を調整することにより、視聴者に与える影響を抑制している。しかしながら、この従来技術では、視聴者の耐性レベルと立体視コンテンツとの一般的な関係（いわゆる３Ｄ酔いの危険度）から表示を変更しており、コンテンツの時間的遷移については考慮されていない。
【０００６】
立体視コンテンツには、一般にシーンの切替えが含まれており、その切替えの際に奥行値が急激に変化して視聴者に不快感を与えるおそれがある。これは、立体視コンテンツにおいて立体映像間の切替えだけでなく、立体映像と平面映像との切替えにおいても同様に問題となる。また、静止画のスライドショーを表示する場合においても、動画と同様の問題がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、立体視コンテンツのシーンの切替えにおいて奥行値を滑らかに遷移させることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、コンテンツにおけるシーンの切替えを検出するシーン切替検出部と、立体視表示のための奥行値の変化が上記シーンの切替えの前後において所定の表示速度により遷移するように上記奥行値を補正する奥行値補正部とを具備する画像情報処理装置、その画像情報処理方法およびプログラムである。これにより、立体視表示のための奥行値をシーンの切替えの前後において滑らかに遷移させるという作用をもたらす。
【０００９】
また、この第１の側面において、上記奥行値補正部は、上記コンテンツにおける何れかの領域に対応する奥行値の変化が上記シーンの切替の前後において所定の表示速度により遷移するように上記奥行値を補正してもよい。これにより、コンテンツにおける何れかの領域に対応する奥行値をシーンの切替えの前後において滑らかに遷移させるという作用をもたらす。
【００１０】
また、この第１の側面において、上記奥行値補正部は、上記シーンの切替えの前後において画像全体の奥行値を望遠側に補正してもよい。これにより、シーンの切替えの前後において画像全体の奥行値を望遠側に遷移させるという作用をもたらす。
【００１１】
また、この第１の側面において、上記奥行値補正部は、上記シーンの切替えの前の奥行値から上記シーンの切替の後の奥行値に所定の表示速度により遷移するように上記奥行値を補正してもよい。これにより、シーンの切替えの前の奥行値から上記シーンの切替の後の奥行値に滑らかに遷移させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記奥行値補正部は、上記シーンの切替前の所定の区間、上記シーンの切替後の所定の区間または上記シーンの切替えの前後に跨った所定の区間の何れかにおいて奥行値を遷移させてもよい。
【００１３】
また、この第１の側面において、上記シーン切替検出部は、上記シーンの切替えとして立体視画像と平面視画像の切替えを検出してもよい。これにより、立体視画像と平面視画像の切替えの前後において滑らかに遷移させるという作用をもたらす。
【００１４】
また、この第１の側面において、上記シーン切替検出部は、上記シーンの切替えとして動画と静止画の切替えを検出してもよい。これにより、動画と静止画の切替えの前後において滑らかに遷移させるという作用をもたらす。
【００１５】
また、本発明の第２の側面は、コンテンツを構成する画像データを立体視表示するための奥行値について一定の値を固定奥行値として設定する固定奥行値設定部と、上記画像データの何れかの領域を選択して当該領域に対応する奥行値を基準奥行値として特定する基準奥行値特定部と、上記画像データの各領域に対応する奥行値について上記基準奥行値が上記固定奥行値となる比率によって補正を行う奥行値補正部とを具備する画像情報処理装置、その画像情報処理方法およびプログラムである。これにより、特定の領域の奥行値を一定値に維持させるという作用をもたらす。
【００１６】
また、本発明の第３の側面は、画像を撮像して撮像画像および立体視表示のための奥行値を供給する撮像画像供給部と、上記撮像画像におけるシーンの切替えを検出するシーン切替検出部と、上記奥行値の変化が上記シーンの切替えの前後において所定の表示速度により遷移するように上記奥行値を補正する奥行値補正部とを具備する撮像装置、その撮像処理方法およびプログラムである。これにより、立体視表示のための奥行値をシーンの切替えの前後において滑らかに遷移させるという作用をもたらす。
【発明の効果】
【００１７】
本発明によれば、立体視コンテンツのシーンの切替えにおいて奥行値を滑らかに遷移させることができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態における撮像装置３００の全体構成例を示す図である。
【図２】本発明の実施の形態におけるコンテンツ記録ユニット２００の構成例を示す図である。
【図３】本発明の実施の形態における奥行マップ２２０の例を示す図である。
【図４】本発明の実施の形態における奥行値と距離との関係例を示す図である。
【図５】本発明の実施の形態における映像データ２１０と奥行マップ２２０との関係を示す図である。
【図６】本発明の実施の形態による奥行値の補正の第１の態様を示す図である。
【図７】本発明の実施の形態による奥行値の補正の第１の態様のチャプタ全体を示す図である。
【図８】本発明の実施の形態における奥行値補正機構の第１の機能構成例を示す図である。
【図９】本発明の実施の形態における奥行値補正の第１の態様による処理の流れを示す図である。
【図１０】本発明の実施の形態による奥行値の補正の第２の態様を示す図である。
【図１１】本発明の実施の形態における奥行値補正機構の第２の機能構成例を示す図である。
【図１２】本発明の実施の形態における奥行値補正の第２の態様による第１の処理の流れを示す図である。
【図１３】本発明の実施の形態における奥行値補正の第２の態様による第２の処理の流れを示す図である。
【図１４】本発明の実施の形態における奥行値補正の第２の態様による第３の処理の流れを示す図である。
【図１５】本発明の第３の実施の形態における静止画データと動画データの関係を示す図である。
【図１６】本発明の実施の形態による奥行値の補正の第３の態様を示す図である。
【図１７】本発明の実施の形態における奥行値補正機構の第３の機能構成例を示す図である。
【図１８】本発明の実施の形態における奥行値補正の第３の態様による処理の流れを示す図である。
【図１９】本発明の実施の形態による奥行値の補正の第３の態様の変形例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（シーン切替の際に奥行値を望遠側にする例）
２．第２の実施の形態（シーン切替の際に主画像領域の奥行値を遷移させる例）
３．第３の実施の形態（スライドショーの静止画切替の際に奥行値を補正する例）
４．変形例
【００２０】
＜１．第１の実施の形態＞
［撮像装置３００の全体構成例］
図１は、本発明の実施の形態における撮像装置３００の全体構成例を示す図である。この撮像装置３００は、レンズ部３１０と、このレンズ部３１０を操作するモーター３１５および３１６と、モータードライバ３１９とを備える。また、この撮像装置３００は、撮像素子３２１と、アナログ処理部３２２と、Ａ／Ｄ変換器３２３と、デジタル処理部３２４と、これらのタイミングを生成するタイミング生成器３２５と、カメラ制御部３２９とを備える。また、この撮像装置３００は、映像符号化部３３１と、奥行情報設定部３３２と、ファイル生成部３３３と、ファイル復号部３３４と、映像復号部３３５と、奥行情報出力部３３６とを備える。また、この撮像装置３００は、メモリ３３７と、そのメモリコントローラ３３８と、システム制御部３３９とを備えている。このシステム制御部３３９には、操作受付部３９０からの信号線が接続されている。さらに、撮像装置３００は、エラー訂正部３４１と、データ変復調部３４２と、磁界変調ドライバ３４３と、磁界ヘッド３４４と、サーボ回路３４５と、モーター３４６と、光ピックアップ３４７と、ドライブ制御部３４９と、表示部３５０とを備えている。また、この撮像装置３００には、映像を記録する記録媒体として、例えば光ディスク３７０が装着される。
【００２１】
レンズ部３１０は、被写体からの光を受光するものであり、ズームレンズ３１１およびフォーカスレンズ３１２を含む。ズームレンズ３１１およびフォーカスレンズ３１２にはそれぞれモーター３１５および３１６が接続されており、これらモーター３１５および３１６の駆動によってズームレンズ３１１およびフォーカスレンズ３１２が移動できるようになっている。また、モーター３１５および３１６にはモータードライバ３１９が接続されており、このモータードライバ３１９によってモーター３１５および３１６が制御される。
【００２２】
撮像素子３２１は、レンズ部３１０によって受光された光を静電気に変換して蓄える素子であり、例えば、ＣＣＤやＣＭＯＳセンサー等が利用される。アナログ処理部３２２は、撮像素子３２１からのアナログ信号におけるノイズを相関二重サンプリング（ＣＤＳ）により取り除き、自動利得制御（ＡＧＣ）によりアナログ信号の高低部分を補正する。Ａ／Ｄ変換器３２３は、アナログ処理部３２２からのアナログ信号をデジタル信号に変換する。デジタル処理部３２４は、ホワイトバランスやガンマ変換等の処理を行う。
【００２３】
デジタル処理部３２４からの出力信号は映像符号化部３３１の映像信号入力となる。また、このデジタル処理部３２４で検出された情報はカメラ制御部３２９に伝えられる。カメラ制御部３２９は、デジタル処理部３２４で検出された情報に基づいて、モータードライバ３１９およびタイミング生成器３２５に対する制御を行う。タイミング生成器３２５は、撮像素子３２１、アナログ処理部３２２、Ａ／Ｄ変換器３２３およびデジタル処理部３２４に対するタイミング信号を生成する。なお、ここまでに説明したレンズ部３１０、撮像素子３２１などは、特許請求の範囲に記載の撮像画像供給部の一例である。
【００２４】
映像符号化部３３１は、映像信号の符号化を行う。奥行情報設定部３３２は、映像信号に対応する奥行情報を設定する。ファイル生成部３３３は、符号化された映像信号および奥行情報を多重化して映像ファイル（多重化データ）を生成する。ファイル復号部３３４は、映像ファイルを復号して映像信号および奥行情報を出力する。映像復号部３３５は、映像信号を復号して表示部３５０に出力する。奥行情報出力部３３６は、奥行情報を復号して表示部３５０に出力する。
【００２５】
メモリ３３７は、映像ファイル等を保持するメモリである。メモリコントローラ３３８は、ファイル生成部３３３やエラー訂正部３４１から供給された映像ファイル（多重化データ）をメモリ３３７に書き込み、また、メモリ３３７から多重化データを読み出してエラー訂正部３４１やファイル復号部３３４に供給する。
【００２６】
システム制御部３３９は、上述のようなメモリコントローラ３３８の動作やファイル生成部３３３およびファイル復号部３３４の動作を制御する。また、システム制御部３３９は、ドライブ制御部３４９と接続してディスクドライブの動作を要求する。また、システム制御部３３９は、カメラ制御部３２９と接続して、オートフォーカスおよびズームの状態として、オートフォーカスがピントを合わせている動作途中か否かや、焦点距離などを得ることができる。
【００２７】
さらに、システム制御部３３９には操作受付部３９０が接続されており、ユーザからの操作入力を把握することができる。この操作受付部３９０としては、例えば、ズーム関係のボタンや記録関係のボタンが設けられる。システム制御部３３９は、カメラ制御部３２９と接続しており、ユーザからの操作入力に応じてズーム等の制御が行われる。
【００２８】
エラー訂正部３４１は、メモリコントローラ３３８からの多重化データにインターリーブおよびエラー訂正のための符号を付加してデータ変復調部３４２に供給する。また、エラー訂正部３４１は、データ変復調部３４２からの復調信号に対してデ・インターリーブおよびエラー訂正処理を行って多重化データをメモリコントローラ３３８に供給する。
【００２９】
データ変復調部３４２は、光ディスク３７０に記録するための所定の変調を施した後、磁界変調ドライバ３４３に出力すると同時に、光ピックアップ３４７を駆動するための信号を出力する。また、データ変復調部３４２は、光ピックアップ３４７からの信号に所定の復調処理を施して、エラー訂正部３４１に復調信号として出力する。
【００３０】
磁界変調ドライバ３４３は、記録時には入力された信号に応じて磁界ヘッド３４４を駆動して光ディスク３７０に磁界を印加する。光ピックアップ３４７は、記録時には記録用のレーザービームを光ディスク３７０に照射して、光ディスク３７０に信号を記録する。また、光ピックアップ３４７は、再生時には再生用のレーザービームを光ディスク３７０に照射して、光ディスク３７０から反射されたビーム量から電気信号に光電変換して、再生信号を取得する。これらの動作は、システム制御部３３９からの要求に応じて、ドライブ制御部３４９が、サーボ回路３４５に要求を出してディスクドライブ全体の制御を行う。サーボ回路３４５は、光ピックアップ３４７のディスク径方向の移動のサーボ、トラッキングサーボ、フォーカスサーボを制御し、また、モーター３４６のスピンドルサーボを制御する。これにより、光ディスク３７０は、映像ファイル（多重化データ）の記録または再生を行う。
【００３１】
なお、上述の構成例では、磁界変調を行う光磁気ディスクを想定しているが、相変化ディスクの場合でも基本的な構成は同様である。また、光ディスク３７０に代えて、ハードディスクなどの磁気ディスクや、ＳＳＤ（Solid State Drive）などの半導体ディスクを利用してもよい。
【００３２】
表示部３５０は、映像復号部３３５からの映像信号および奥行情報出力部３３６からの奥行情報に基づき、両眼間に生じる視差を利用して立体視画像を表示するものである。この表示部３５０が立体視表示を行う際の方式には特に限定されないが、この表示部３５０は例えばマイクロポール方式のディスプレイにより実現される。また、ここでは、映像信号と奥行情報に基づいて立体視表示を行う表示部を想定したが、これに限定されるものではない。一般に、奥行情報から左右視差のオフセット値に変換することは可能であるため、左右視差方式（サイドバイサイド方式）の表示部にも適用可能である。
【００３３】
［コンテンツ記録ユニット２００の構成例］
図２は、本発明の実施の形態におけるコンテンツ記録ユニット２００の構成例を示す図である。このコンテンツ記録ユニット２００は、上述の映像ファイルの記録単位である。コンテンツ記録ユニット２００は、映像データ＃１乃至Ｎ（２１０−１乃至２１０−Ｎ）（以下、単に「映像データ２１０」とも称する。）および奥行マップ＃１乃至Ｎ（２２０−１乃至２２０−Ｎ）（以下、単に「奥行マップ２２０」とも称する。）を保持する。
【００３４】
映像データ２１０および奥行マップ２２０は、例えばＧＯＰ（Group Of Pictures）を単位として、それぞれ対応付けられる。すなわち、第１番目のＧＯＰを記録する映像データ２１０−１には奥行マップ２２０−１が対応し、第２番目のＧＯＰを記録する映像データ２１０−２には奥行マップ２２０−２が対応する。ＧＯＰはＭＰＥＧ（Moving Pictures Experts Group）規格における動画のフレーム群である。多くの場合、１ＧＯＰには１５フレームが含まれる。フレームレートとして２９．９７フレーム／秒を想定すると、１ＧＯＰは約０．５秒に相当する。
【００３５】
図３は、本発明の実施の形態における奥行マップ２２０の例を示す図である。奥行マップ２２０は、フレーム画像の各画素に対応して奥行値を保持するものである。すなわち、奥行マップ２２０は、２次元のＸＹ平面上の各画素のそれぞれについて奥行値を保持する。奥行値は、例えば８ビット幅により「０」から「２５５」の範囲の値を有し、視聴者から見て近距離に存在するほど大きな値を有するものとする。この図の例では、手前に存在する人物領域に対応する奥行値は「２５５」を示し、背景領域に対応する奥行値は「０」を示している。なお、奥行マップ２２０は、一般に、デプスマップ（depth map）または深度マップとも呼称される。
【００３６】
図４は、本発明の実施の形態における奥行値と距離との関係例を示す図である。図４（ａ）から分かるように、レンズから被写体までの距離が０．５［ｍ］以下であれば奥行値は「２５５」を示し、距離が５．０［ｍ］を超える場合には奥行値は「０」を示す。距離が０．５［ｍ］より大きく、５．０［ｍ］以下である場合には、図４（ａ）のように「０」から「２５５」の範囲の値を有する。
【００３７】
また、図４（ｂ）から分かるように、奥行値は距離の対数値と線形関係にあるように設定している。これは、遠くよりも近くの方がより精細に知覚可能であるという人間の感覚を考慮したものである。
【００３８】
撮像装置３００において奥行値を設定する場合、まずワイド端で絞り開放の状態にしてレンズ被写界深度を最も浅く制御し、レンズ焦点を無限遠（５．０［ｍ］超え）に設定する。これにより、画面内領域の合焦する映像領域を把握し、その領域を背景領域として奥行値「０」を割り当てる。次に、ワイド端で絞り開放の状態にしてレンズ被写界深度を最も浅く制御したまま、レンズ焦点を近距離（０．５［ｍ］）に設定する。これにより、画面内領域の合焦する映像領域を把握し、その領域を最近距離点として奥行値「２５５」を割り当てる。そして、ワイド端で絞り開放の状態にしてレンズ被写界深度を最も浅く制御したまま、レンズ焦点を近距離（０．５［ｍ］）から無限遠（５．０［ｍ］超え）まで順次変化させて、レンズ位置制御により距離測定を行う。これに同期して順次画面内領域の合焦する映像領域を記憶していく。このようにして、図４（ａ）の対応関係が割り当てられる。
【００３９】
このような初期設定がされた後は、被写体の輪郭認識や動きベクトル検出解析に基づいて、各画素に対応する奥行値を生成することが可能となる。奥行値は、撮像の際にリアルタイムに生成されてもよく、また、カメラ情報から事後的に生成されてもよい。カメラ情報は、撮影時の設定条件などの情報としてデジタルカメラ内部から得られるものである。例えば、Ｆ値、露出時間、露光補正値、ＡＧＣゲイン値、フラッシュの有無、レンズ焦点距離、ホワイトバランス、被写体距離、手ぶれ補正、顔メタ情報、デジタルズーム倍率、エフェクト撮影、ベンダー名などの情報を含む。このカメラ情報は、例えばＡＶＣＨＤ規格であれば、モディファイドデジタルビデオパック（ＭＤＰ：Modified Digital Video Pack）にストリームファイルとして記録することが可能である。顔メタ情報によって顔の存在する座標が分かる場合、その座標位置における距離としてカメラ情報の被写体距離を利用することができる。得られた距離は、図４（ａ）の対応表から奥行値に変換することができる。
【００４０】
図５は、本発明の実施の形態における映像データ２１０と奥行マップ２２０との関係を示す図である。図５（ａ）は映像データ２１０の一例を示している。この例では、撮像装置の近傍に人物が映っており、その背後に背景が映っている。
【００４１】
図５（ｂ）は図５（ａ）の映像データ２１０に対応する奥行マップ２２０の一例を示している。人物の領域の奥行値２２１は、十六進数で「Ｂ４」、すなわち十進数で「１８０」を示している。これは、撮像装置から１．０［ｍ］の距離に人物が位置していることを意味する。背景領域の奥行値２２２は、「０」を示している。これは、撮像装置から無限遠（５．０［ｍ］超え）に背景が位置していることを意味する。奥行マップ２２０に含まれる各奥行値は、映像データ２１０の各画素に対応している。
【００４２】
［奥行値の補正の第１の態様］
図６は、本発明の実施の形態による奥行値の補正の第１の態様を示す図である。図６（ａ）のように、チャプタの切替えの際に、フレーム内の領域の奥行値が急激に変化する場合を想定する。ここでは、チャプタ＃ｉの終端部分における特定の領域の奥行値７１１が、チャプタ＃（ｉ＋１）の開始部分において奥行値７１４に変化している。この場合、特定の領域の奥行値が急激に変化するため、視聴者に違和感を与えるおそれがある。なお、この場合の特定の領域は、人物などに該当するフレーム内の一部の領域が想定されるが、フレーム全体であってもよい。
【００４３】
本発明の実施の形態では、奥行値の補正の第１の態様として、図６（ｂ）のようにチャプタの切替えの際に全体の奥行値を一旦ゼロ（無限遠）に補正する。これにより、チャプタの切替えの際における奥行値の急激な変化を抑制することができる。ただし、奥行値をゼロにする補正自体を急激に行うと、補正による新たな違和感を生じてしまうおそれがある。そこで、奥行値を補正する際には、例えば０．５秒以上の期間をかけて所定の表示速度により奥行値を遷移させることが望ましい。図６（ｂ）の例では、チャプタ＃ｉの終端部分における元々の奥行値７２１から終端フレームの奥行値７２２がゼロになるように、所定の表示速度により順次遷移させている。同様に、チャプタ＃（ｉ＋１）の開始フレームの奥行値７２３をゼロとして、開始部分における元々の奥行値７２４まで順次遷移させている。
【００４４】
図７は、本発明の実施の形態による奥行値の補正の第１の態様のチャプタ全体を示す図である。ここでは、ｋフレームからなるチャプタ＃ｊを想定している。このチャプタ＃ｊでは、開始部分のｎフレームと終端部分のｎフレームにおいてそれぞれ奥行値が補正されている。
【００４５】
チャプタ＃ｊの開始部分のｎフレームでは奥行値がゼロから順次増加している。この例では、奥行値がゼロから（１／ｎ）ずつ増加し、第（ｎ＋１）フレーム目において補正が施されない値に収束するものとしている。すなわち、第（ｎ＋１）フレーム目の奥行値をＡとすると、第ｉフレーム目（ｉは１からｎの範囲の整数）の奥行値はＡ×（（ｉ−１）／ｎ）となる。
【００４６】
また、チャプタ＃ｊの終端部分のｎフレームでは奥行値がゼロに向かって順次減少している。この例では、奥行値が（１／ｎ）ずつ減少し、第ｋフレーム目においてゼロに収束するものとしている。すなわち、第（ｋ−ｎ）フレーム目の奥行値をＢとすると、第ｉフレーム目（ｉは（ｋ−（ｎ−１））からｋの範囲の整数）の奥行値はＢ×（（ｋ−ｉ）／ｎ）となる。
【００４７】
［奥行値の補正の第１の態様の機能構成］
図８は、本発明の実施の形態における奥行値補正機構の第１の機能構成例を示す図である。この奥行値補正機構は、シーンの切替えの前後において奥行値をゼロ（望遠側）に滑らかに遷移させるものである。撮像装置３００においては、撮像された際の奥行値を奥行情報設定部３３２により補正した上で奥行マップ２２０を設定してもよく、また、補正されていない奥行マップ２２０の奥行値を奥行情報出力部３３６により補正して表示部３５０に出力してもよい。したがって、撮像装置３００においては、奥行情報設定部３３２または奥行情報出力部３３６に、奥行値補正機構を設けることができる。また、この奥行値補正機構は、撮像装置のみならず、映像ファイルを扱う画像情報処理装置においても実現することができる。
【００４８】
この奥行値補正機構は、コンテンツ供給部１１０と、コンテンツ読出し管理部１２０と、遷移フレーム数設定部１３０と、コンテンツ先読み管理部１４０と、奥行値補正部１５０とを備えている。
【００４９】
コンテンツ供給部１１０は、撮像されたコンテンツを供給するものである。撮像装置３００においては撮像素子３２１乃至カメラ制御部３２９などによってコンテンツが供給される。画像情報処理装置の場合には、コンテンツを記憶する記憶部からの（図示しない）読出し部によってコンテンツが供給される。
【００５０】
コンテンツ読出し管理部１２０は、コンテンツ供給部１１０から供給されるコンテンツを１フレームずつ読み出していく管理を行うものである。このコンテンツ読出し管理部１２０は、現フレーム番号保持部１２１と、現フレーム奥行値保持部１２２とを備える。現フレーム番号保持部１２１は、コンテンツ供給部１１０から読み出された現在のフレームのフレーム番号を保持するものである。現フレーム奥行値保持部１２２は、コンテンツ供給部１１０から読み出された現在のフレームに対応する奥行値を保持するものである。
【００５１】
遷移フレーム数設定部１３０は、シーンの切替えの前後において補正対象となるフレームの数を予め設定するものである。図７の例では、シーンの切替えの前後において、それぞれｎフレームずつが遷移フレーム数として設定される。
【００５２】
コンテンツ先読み管理部１４０は、コンテンツ読出し管理部１２０による読出しに先立って、コンテンツにおける現在のフレームよりも先の（未来の）フレームを先読みする管理を行うものである。このコンテンツ先読み管理部１４０は、シーン切替検出部１４１と、最終フレーム番号生成部１４２とを備える。シーン切替検出部１４１は、先読みされたコンテンツの中からシーン切替の位置を検出するものである。シーン切替としては、例えばチャプタの切替が想定される。最終フレーム番号生成部１４２は、シーン切替検出部１４１によって検出されたシーン切替位置に基づいて、現在のシーンの最終フレーム番号を生成するものである。図７の例では、第ｋフレーム目が最終フレームとなる。
【００５３】
奥行値補正部１５０は、現フレーム奥行値保持部１２２に保持される奥行値を補正するものである。図７の例では、奥行値は次式のように補正される。
補正後奥行値＝補正前奥行値×ｍ／ｎ
ただし、ｎは遷移フレーム数設定部１３０に保持された遷移フレーム数であり、ｍはシーン切替の開始部分または終端部分の何れであるかに応じて以下のように設定される。
シーン開始ｎフレームの場合； ｍ＝現フレーム番号−１
シーン終端ｎフレームの場合； ｍ＝最終フレーム番号−現フレーム番号
なお、現フレーム番号は現フレーム番号保持部１２１から供給され、最終フレーム番号は最終フレーム番号生成部１４２から供給される。
【００５４】
［奥行値の補正の第１の態様の動作例］
【００５５】
図９は、本発明の実施の形態における奥行値補正の第１の態様による処理の流れを示す図である。ここでは、シーン切替の一例として、チャプタの切替えを検出する例について説明する。
【００５６】
まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９１１）。すなわち、現フレーム番号保持部１２１に保持される現フレーム番号が更新されるとともに、現フレーム奥行値保持部１２２に保持される奥行値が更新される。
【００５７】
現フレームがチャプタの開始ｎフレームであれば（ステップＳ９１３）、変数ｍに「現フレーム番号−１」が設定される（ステップＳ９１４）。一方、現フレームがチャプタの終端ｎフレームであれば（ステップＳ９１６）、変数ｍには「最終フレーム番号−現フレーム番号」が設定される（ステップＳ９１７）。
【００５８】
そして、現フレームがチャプタの開始ｎフレームまたは終端ｎフレームであれば、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が「ｍ／ｎ」倍に補正される（ステップＳ９１８）。
【００５９】
その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９１９）。現フレームがチャプタの開始ｎフレームまたは終端ｎフレームであれば上述のように補正された奥行値が用いられ、それ以外のフレームについては補正されない奥行値が用いられる。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
【００６０】
このように、本発明の実施の形態の第１の態様によれば、シーン切替の前後において奥行値をゼロ（望遠側）に滑らかに遷移させることができ、奥行値の急激な変化による違和感を解消することができる。
【００６１】
＜２．第２の実施の形態＞
［奥行値の補正の第２の態様］
図１０は、本発明の実施の形態による奥行値の補正の第２の態様を示す図である。上述の第１の態様では奥行値を一旦ゼロに遷移させていたが、この第２の態様ではシーン切替の前後において奥行値を所定の表示速度により直接遷移させることを想定する。
【００６２】
図１０（ａ）は、チャプタの終端部分においてのみ奥行値を遷移させる例である。すなわち、この例では、チャプタの終端部分において奥行値７３１（ａ）から奥行値７３２に遷移させ、チャプタの開始部分においては奥行値７３３（ｃ）から奥行値７３４まで一定の値を維持させている。
【００６３】
図１０（ｂ）は、チャプタの開始部分においてのみ奥行値を遷移させる例である。すなわち、この例では、チャプタの終端部分において奥行値７４１から奥行値７４２までは一定の値（ａ）を維持し、チャプタの開始部分において奥行値７４３から奥行値７４４（ｃ）に遷移させている。
【００６４】
図１０（ｃ）は、チャプタの開始部分および終端部分の両者において奥行値を遷移させる例である。すなわち、この例では、チャプタの終端部分において奥行値７５１（ａ）から奥行値７５２に遷移させ、チャプタの開始部分においても奥行値７５３（ｂ）から奥行値７５４に遷移させている。
【００６５】
このように、奥行値を直接遷移させる場合には、チャプタの切替前後の何れの区間において遷移させてもよい。
【００６６】
［奥行値の補正の第２の態様の機能構成］
図１１は、本発明の実施の形態における奥行値補正機構の第２の機能構成例を示す図である。この奥行値補正機構は、奥行値が急激に変化している場合にその変化を滑らかに遷移させるものである。以下では、シーン切替の一例として、チャプタの切替えを検出する例について説明する。
【００６７】
この奥行値補正機構の第２の機能構成は、コンテンツ供給部１１０と、コンテンツ読出し管理部１２０と、遷移フレーム数設定部１３０と、コンテンツ先読み管理部１４０と、奥行値補正部１５０とを備える点は、図８により説明した第１の機能構成と同様である。この奥行値補正機構の第２の機能構成は、第１の機能構成に加えて開始奥行値保持部１６０を備える。また、コンテンツ先読み管理部１４０においてさらに目標奥行値生成部１４３を備える。
【００６８】
開始奥行値保持部１６０は、奥行値を遷移させる際の開始フレームの奥行値を保持するものである。図１０（ａ）の例では、チャプタ＃ｉの奥行値７３１が開始フレームの奥行値となる。図１０（ｂ）の例ではチャプタ＃（ｉ＋１）の奥行値７４３が開始フレームの奥行値となる。また、図１０（ｃ）の例では、チャプタ＃ｉの奥行値７５１およびチャプタ＃（ｉ＋１）の奥行値７５３が開始フレームの奥行値となる。開始フレームは、シーン切替検出部１４１によって検出されたシーン切替位置および遷移フレーム数設定部１３０によって設定された遷移フレーム数に基づいて定められる。
【００６９】
目標奥行値生成部１４３は、奥行値を補正する際の目標奥行値を生成するものである。図１０（ａ）の例では、チャプタ＃ｉの奥行値７３２が目標奥行値となる。図１０（ｂ）の例では、チャプタ＃（ｉ＋１）の奥行値７４４が目標奥行値となる。また、図１０（ｃ）の例では、チャプタ＃ｉの奥行値７５２およびチャプタ＃（ｉ＋１）の奥行値７５４が目標奥行値となる。目標奥行値に該当するフレームは、シーン切替検出部１４１によって検出されたシーン切替位置および遷移フレーム数設定部１３０によって設定された遷移フレーム数に基づいて定められる。なお、図１０（ｂ）の例における奥行値７４４および図１０（ｃ）の例における奥行値７５４は、現フレームの奥行値とほぼ同等であると考えることができるため、現フレームの奥行値により代用することが可能である。また、目標奥行値は任意に定めることが可能である。例えば、次のチャプタ全体のダイナミックレンジに応じて目標奥行値を設定してもよい。
【００７０】
この奥行値補正機構の第２の機能構成において、奥行値補正部１５０は以下のように奥行値を補正する。図１０（ａ）のように切替前のチャプタにおいて遷移を行う場合には、チャプタの終了ｎフレームについて次式１により奥行値を補正する。
補正後奥行値＝目標奥行値＋（目標奥行値−補正前奥行値）×ｍ／ｎ （式１）
ただし、
ｍ＝最終フレーム番号−現フレーム番号
である。
【００７１】
図１０（ｂ）のように切替後のチャプタにおいて遷移を行う場合には、チャプタの開始ｎフレームについて次式２により奥行値を補正する。
補正後奥行値＝開始奥行値＋（補正前奥行値−開始奥行値）×ｍ／ｎ （式２）
ただし、
ｍ＝現フレーム番号−１
である。
【００７２】
図１０（ｃ）のように切替の前後のチャプタに亘って遷移を行う場合には、チャプタの開始ｎフレームについて上述の式２により奥行値を補正する。また、チャプタの終了ｎフレームについて上述の式１により奥行値を補正する。
【００７３】
［奥行値の補正の第２の態様の動作例］
図１２は、本発明の実施の形態における奥行値補正の第２の態様による第１の処理の流れを示す図である。この第１の処理は、図１０（ａ）のように切替前のチャプタにおいて遷移を行う場合の例を示している。
【００７４】
まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９２１）。すなわち、現フレーム番号保持部１２１に保持される現フレーム番号が更新されるとともに、現フレーム奥行値保持部１２２に保持される奥行値が更新される。また、目標奥行値生成部１４３において、遷移の際の目標奥行値が生成され、設定される（ステップＳ９２２）。この場合の目標奥行値は、図１０（ａ）における奥行値７３２である。
【００７５】
現フレームがチャプタの終端ｎフレームであれば（ステップＳ９２６）、変数ｍには「最終フレーム番号−現フレーム番号」が設定される（ステップＳ９２７）。そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が上述の式１により補正される（ステップＳ９２８）。
【００７６】
その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９２９）。現フレームがチャプタの終端ｎフレームであれば上述のように補正された奥行値が用いられ、それ以外のフレームについては補正されない奥行値が用いられる。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
【００７７】
図１３は、本発明の実施の形態における奥行値補正の第２の態様による第２の処理の流れを示す図である。この第２の処理は、図１０（ｂ）のように切替後のチャプタにおいて遷移を行う場合の例を示している。
【００７８】
まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９３１）。すなわち、現フレーム番号保持部１２１に保持される現フレーム番号が更新されるとともに、現フレーム奥行値保持部１２２に保持される奥行値が更新される。
【００７９】
現フレームがチャプタの開始ｎフレームであれば（ステップＳ９３３）、変数ｍに「現フレーム番号−１」が設定される（ステップＳ９３４）。そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が上述の式２により補正される（ステップＳ９３５）。
【００８０】
その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９３９）。現フレームがチャプタの開始ｎフレームであれば上述のように補正された奥行値が用いられ、それ以外のフレームについては補正されない奥行値が用いられる。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
【００８１】
図１４は、本発明の実施の形態における奥行値補正の第２の態様による第３の処理の流れを示す図である。この第３の処理は、図１０（ｃ）のように切替前後のチャプタに亘って遷移を行う場合の例を示している。
【００８２】
まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９４１）。すなわち、現フレーム番号保持部１２１に保持される現フレーム番号が更新されるとともに、現フレーム奥行値保持部１２２に保持される奥行値が更新される。また、目標奥行値生成部１４３において、遷移の際の目標奥行値が生成され、設定される（ステップＳ９４２）。この場合の目標奥行値は、図１０（ｃ）における奥行値７５２である。奥行値７５２は、例えばチャプタ＃ｉの終端部分の奥行値とチャプタ＃（ｉ＋１）の開始部分の奥行値の平均値（ｂ）を用いることができる。
【００８３】
現フレームがチャプタの開始ｎフレームであれば（ステップＳ９４３）、変数ｍに「現フレーム番号−１」が設定される（ステップＳ９４４）。そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が上述の式２により補正される（ステップＳ９４５）。
【００８４】
一方、現フレームがチャプタの終端ｎフレームであれば（ステップＳ９４６）、変数ｍには「最終フレーム番号−現フレーム番号」が設定される（ステップＳ９４７）。そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が上述の式１により補正される（ステップＳ９４８）。
【００８５】
その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９４９）。現フレームがチャプタの開始ｎフレームまたは終端ｎフレームであれば上述のように補正された奥行値が用いられ、それ以外のフレームについては補正されない奥行値が用いられる。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
【００８６】
このように、本発明の実施の形態の第２の態様によれば、シーン切替の前後において奥行値を滑らかに遷移させることができ、奥行値の急激な変化による違和感を解消することができる。
【００８７】
＜３．第３の実施の形態＞
［静止画データと動画データの関係］
図１５は、本発明の第３の実施の形態における静止画データと動画データの関係を示す図である。この第３の実施の形態では、静止画データをスライドショー形式により立体視表示することを想定している。ここでは、静止画データの各々をｎフレームずつ分配することにより、動画データを生成している。すなわち、静止画データＡをｎフレーム配置し、その後、静止画データＢをｎフレーム配置し、さらに静止画データＣをｎフレーム配置する、という要領で動画データの各フレームが配置される。静止画データは、図３により説明したフレーム画像と同様に、画像データと奥行値とを有しており、立体視表示に対応している。
【００８８】
このような静止画データに基づく動画データにおいても、一般の動画の場合と同様に奥行値が急激に変化することによる違和感を伴うおそれがある。特に、スライドショー形式の場合、静止画データの切替の際に奥行値が急激に変化する可能性が高い。
【００８９】
［奥行値の補正の第３の態様］
図１６は、本発明の実施の形態による奥行値の補正の第３の態様を示す図である。図１６（ａ）のように、静止画の切替えの際に、静止画内の領域の奥行値が急激に変化する場合を想定する。ここでは、静止画Ａの終端部分における特定の領域の奥行値８１１（ｄ）が、静止画Ｂの開始部分において奥行値８１２（ｅ）に変化している。この場合、特定の領域の奥行値が急激に変化するため、視聴者に違和感を与えるおそれがある。なお、この場合の特定の領域は、人物などに該当するフレーム内の一部の領域が想定されるが、フレーム全体であってもよい。
本発明の実施の形態では、奥行値の補正の第３の態様として、図１６（ｂ）のように静止画の特定の領域の奥行値が一定値（Ｋ）になるように補正する。これにより、チャプタの切替えの際における奥行値の急激な変化を抑制することができる。
【００９０】
［奥行値の補正の第３の態様の機能構成］
図１７は、本発明の実施の形態における奥行値補正機構の第３の機能構成例を示す図である。この奥行値補正機構は、スライドショー形式の静止画データを含む動画データにおいて、特定の領域の奥行値を一定値に維持させるものである。以下では、シーン切替の一例として、チャプタの切替えを検出する例について説明する。
【００９１】
この奥行値補正機構の第３の機能構成は、コンテンツ供給部１１０と、コンテンツ読出し管理部１２０と、奥行値補正部１５０とを備える点は、図８により説明した第１の機能構成と同様である。この奥行値補正機構の第３の機能構成は、第１の機能構成において遷移フレーム数設定部１３０およびコンテンツ先読み管理部１４０を取り除き、固定奥行値設定部１７０をさらに備える。また、コンテンツ読出し管理部１２０において、基準奥行値特定部１２３をさらに備える。
【００９２】
基準奥行値特定部１２３は、コンテンツ供給部１１０から供給された静止画について、基準となる奥行値（基準奥行値）を特定するものである。この基準奥行値を特定するためには、静止画における何らかの特徴量を抽出して、その特徴量に基づいて基準奥行値を特定することが考えられる。例えば、静止画において顔を抽出して、その中から最も注目すべき優先顔を選択し、その優先顔の奥行値を基準奥行値として特定することが考えられる。優先顔としては、最も中央に近い顔や、最も大きい顔を選択することができる。また、例えば、最も近距離に位置する奥行値を特定するようにしてもよい。
【００９３】
固定奥行値設定部１７０は、静止画の特定の領域の奥行値として固定させようとする一定値を設定するものである。この固定奥行値設定部１７０に設定された一定値を固定奥行値と称する。図１６（ｂ）の例の場合、一定値Ｋが固定奥行値として設定されることになる。
【００９４】
これにより、奥行値補正部１５０は、現フレーム奥行値保持部１２２に保持される奥行値を次式のように補正する。
補正後奥行値＝補正前奥行値×Ｋ／ｙ
ただし、Ｋは固定奥行値設定部１７０に設定された固定奥行値であり、ｙは基準奥行値特定部１２３により特定された基準奥行値である。
【００９５】
［奥行値の補正の第３の態様の動作例］
図１８は、本発明の実施の形態における奥行値補正の第３の態様による処理の流れを示す図である。ここでは、シーン切替の一例として、チャプタの切替えを検出する例について説明する。
【００９６】
まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９５１）。すなわち、現フレーム奥行値保持部１２２に保持される奥行値が更新される。また、基準奥行値特定部１２３において、現フレームの静止画から奥行値が特定される（ステップＳ９５２）。ここでは、一例として、優先顔を検出し、その優先顔の基準奥行値ｙを特定することを想定する。
【００９７】
そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が「Ｋ／ｙ」倍に補正される（ステップＳ９５８）。ここで、Ｋは固定奥行値設定部１７０に設定された固定奥行値であり、ｙは基準奥行値特定部１２３により特定された基準奥行値である。
【００９８】
その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９５９）。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
【００９９】
このように、本発明の実施の形態の第３の態様によれば、スライドショー形式の静止画データを含む動画データにおいて、特定の領域の奥行値を一定値に維持させることができ、奥行値の急激な変化による違和感を解消することができる。
【０１００】
＜４．変形例＞
［スライドショーの変形例］
図１９は、本発明の実施の形態による奥行値の補正の第３の態様の変形例を示す図である。上述の第３の態様では奥行値を一定値に維持させていたが、この変形例では第２の態様と同様に、シーン切替の前後において奥行値を遷移させることを想定する。
【０１０１】
図１９（ａ）は、静止画の終端部分においてのみ奥行値を遷移させる例である。すなわち、この例では、静止画Ａの終端部分において奥行値８３１から奥行値８３２に遷移させ、静止画Ｂの開始部分においては奥行値８３３から奥行値８３４まで一定の値を維持させている。
【０１０２】
図１９（ｂ）は、静止画の開始部分においてのみ奥行値を遷移させる例である。すなわち、この例では、静止画Ａの終端部分において奥行値８４１から奥行値８４２までは一定の値を維持し、静止画Ｂの開始部分において奥行値８４３から奥行値８４４に遷移させている。
【０１０３】
図１９（ｃ）は、静止画の開始部分および終端部分の両者において奥行値を遷移させる例である。すなわち、この例では、静止画Ａの終端部分において奥行値８５１から奥行値８５２に遷移させ、静止画Ｂの開始部分においても奥行値８５３から奥行値８５４に遷移させている。
【０１０４】
このように、奥行値を遷移させる場合には、静止画の切替前後の何れの区間において遷移させてもよい。
【０１０５】
このような奥行値の遷移を実現するためには、図１１により説明した機能構成および図１２乃至１４により説明した処理を利用することができる。すなわち、スライドショー形式の動画データは、各フレームは静止画データから構成されているものの、全体として見れば一般の動画データと違いはない。したがって、上述の本発明の第２の実施の形態を利用することができる。同様に、本発明の第２の実施の形態を利用して、静止画の切替えの際に全体の奥行値を一旦ゼロ（無限遠）に補正するようにしてもよい。
【０１０６】
また、ここでは、立体視画像のシーン切替に着目して説明したが、立体視画像から平面視画像への切替えもしくは平面視画像から立体視画像への切替えについても同様に適用できることはいうまでもない。また、静止画に基づくスライドショー形式の動画データと通常の動画データとを混在させた動画データにおいて、静止画と動画を切り替える場合についても同様に適用できることはいうまでもない。
【０１０７】
このように、本発明の実施の形態によれば、立体視コンテンツのシーンの切替えにおいて奥行値を滑らかに遷移させることができる。
【０１０８】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１０９】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、光ディスク、ハードディスク、半導体ディスクのほかに、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。また、図２において、映像音声ストリームとして記録されるＭＰＥＧ圧縮のＧＯＰにそれぞれ対応する映像奥行きマップ値について説明した。これは、例えば光ディスクのプログラムストリーム、Ｂｌｕ−Ｒａｙ規格やＡＶＣＨＤ規格で用いられるＴＳストリーム、ＭＰＥＧ２ストリーム、Ｈ．２６４／ＡＶＣストリーム、ＭＰ４ストリーム等それぞれの映像音声圧縮ストリームとその将来の拡張規格において用いることができる。
【符号の説明】
【０１１０】
１１０ コンテンツ供給部
１２０ コンテンツ読出し管理部
１２１ 現フレーム番号保持部
１２２ 現フレーム奥行値保持部
１２３ 基準奥行値特定部
１３０ 遷移フレーム数設定部
１４０ コンテンツ先読み管理部
１４１ シーン切替検出部
１４２ 最終フレーム番号生成部
１４３ 目標奥行値生成部
１５０ 奥行値補正部
１６０ 開始奥行値保持部
１７０ 固定奥行値設定部
２００ コンテンツ記録ユニット
２１０ 映像データ
２２０ 奥行マップ
３００ 撮像装置
３１０ レンズ部
３１１ ズームレンズ
３１２ フォーカスレンズ
３１５、３１６、３４６ モーター
３１９ モータードライバ
３２１ 撮像素子
３２２ アナログ処理部
３２３ Ａ／Ｄ変換器
３２４ デジタル処理部
３２５ タイミング生成器
３２９ カメラ制御部
３３１ 映像符号化部
３３２ 奥行情報設定部
３３３ ファイル生成部
３３４ ファイル復号部
３３５ 映像復号部
３３６ 奥行情報出力部
３３７ メモリ
３３８ メモリコントローラ
３３９ システム制御部
３４１ エラー訂正部
３４２ データ変復調部
３４３ 磁界変調ドライバ
３４４ 磁界ヘッド
３４５ サーボ回路
３４７ 光ピックアップ
３４９ ドライブ制御部
３５０ 表示部
３７０ 光ディスク
３９０ 操作受付部
【特許請求の範囲】
【請求項１】
コンテンツにおけるシーンの切替えを検出するシーン切替検出部と、
立体視表示のための奥行値の変化が前記シーンの切替えの前後において所定の表示速度により遷移するように前記奥行値を補正する奥行値補正部と
を具備する画像情報処理装置。
【請求項２】
前記奥行値補正部は、前記コンテンツにおける何れかの領域に対応する奥行値の変化が前記シーンの切替の前後において所定の表示速度により遷移するように前記奥行値を補正する請求項１記載の画像情報処理装置。
【請求項３】
前記奥行値補正部は、前記シーンの切替えの前後において画像全体の奥行値を望遠側に補正する請求項１記載の画像情報処理装置。
【請求項４】
前記奥行値補正部は、前記シーンの切替えの前の奥行値から前記シーンの切替の後の奥行値に所定の表示速度により遷移するように前記奥行値を補正する請求項１記載の画像情報処理装置。
【請求項５】
前記奥行値補正部は、前記シーンの切替前の所定の区間において奥行値を遷移させるよう補正する請求項１記載の画像情報処理装置。
【請求項６】
前記奥行値補正部は、前記シーンの切替後の所定の区間において奥行値を遷移させるよう補正する請求項１記載の画像情報処理装置。
【請求項７】
前記奥行値補正部は、前記シーンの切替えの前後に跨った所定の区間において奥行値を遷移させるよう補正する請求項１記載の画像情報処理装置。
【請求項８】
前記シーン切替検出部は、前記シーンの切替えとして立体視画像と平面視画像の切替えを検出する請求項１記載の画像情報処理装置。
【請求項９】
前記シーン切替検出部は、前記シーンの切替えとして動画と静止画の切替えを検出する請求項１記載の画像情報処理装置。
【請求項１０】
コンテンツを構成する画像データを立体視表示するための奥行値について一定の値を固定奥行値として設定する固定奥行値設定部と、
前記画像データの何れかの領域を選択して当該領域に対応する奥行値を基準奥行値として特定する基準奥行値特定部と、
前記画像データの各領域に対応する奥行値について前記基準奥行値が前記固定奥行値となる比率によって補正を行う奥行値補正部と
を具備する画像情報処理装置。
【請求項１１】
画像を撮像して撮像画像および立体視表示のための奥行値を供給する撮像画像供給部と、
前記撮像画像におけるシーンの切替えを検出するシーン切替検出部と、
前記奥行値の変化が前記シーンの切替えの前後において所定の表示速度により遷移するように前記奥行値を補正する奥行値補正部と
を具備する撮像装置。
【請求項１２】
コンテンツにおけるシーンの切替えを検出するシーン切替検出手順と、
立体視表示のための奥行値の変化が前記シーンの切替えの前後において所定の表示速度により遷移するように前記奥行値を補正する奥行値補正手順と
を具備する画像情報処理方法。
【請求項１３】
コンテンツにおけるシーンの切替えを検出するシーン切替検出手順と、
立体視表示のための奥行値の変化が前記シーンの切替えの前後において所定の表示速度により遷移するように前記奥行値を補正する奥行値補正手順と
をコンピュータに実行させるプログラム。
【請求項１】
コンテンツにおけるシーンの切替えを検出するシーン切替検出部と、
立体視表示のための奥行値の変化が前記シーンの切替えの前後において所定の表示速度により遷移するように前記奥行値を補正する奥行値補正部と
を具備する画像情報処理装置。
【請求項２】
前記奥行値補正部は、前記コンテンツにおける何れかの領域に対応する奥行値の変化が前記シーンの切替の前後において所定の表示速度により遷移するように前記奥行値を補正する請求項１記載の画像情報処理装置。
【請求項３】
前記奥行値補正部は、前記シーンの切替えの前後において画像全体の奥行値を望遠側に補正する請求項１記載の画像情報処理装置。
【請求項４】
前記奥行値補正部は、前記シーンの切替えの前の奥行値から前記シーンの切替の後の奥行値に所定の表示速度により遷移するように前記奥行値を補正する請求項１記載の画像情報処理装置。
【請求項５】
前記奥行値補正部は、前記シーンの切替前の所定の区間において奥行値を遷移させるよう補正する請求項１記載の画像情報処理装置。
【請求項６】
前記奥行値補正部は、前記シーンの切替後の所定の区間において奥行値を遷移させるよう補正する請求項１記載の画像情報処理装置。
【請求項７】
前記奥行値補正部は、前記シーンの切替えの前後に跨った所定の区間において奥行値を遷移させるよう補正する請求項１記載の画像情報処理装置。
【請求項８】
前記シーン切替検出部は、前記シーンの切替えとして立体視画像と平面視画像の切替えを検出する請求項１記載の画像情報処理装置。
【請求項９】
前記シーン切替検出部は、前記シーンの切替えとして動画と静止画の切替えを検出する請求項１記載の画像情報処理装置。
【請求項１０】
コンテンツを構成する画像データを立体視表示するための奥行値について一定の値を固定奥行値として設定する固定奥行値設定部と、
前記画像データの何れかの領域を選択して当該領域に対応する奥行値を基準奥行値として特定する基準奥行値特定部と、
前記画像データの各領域に対応する奥行値について前記基準奥行値が前記固定奥行値となる比率によって補正を行う奥行値補正部と
を具備する画像情報処理装置。
【請求項１１】
画像を撮像して撮像画像および立体視表示のための奥行値を供給する撮像画像供給部と、
前記撮像画像におけるシーンの切替えを検出するシーン切替検出部と、
前記奥行値の変化が前記シーンの切替えの前後において所定の表示速度により遷移するように前記奥行値を補正する奥行値補正部と
を具備する撮像装置。
【請求項１２】
コンテンツにおけるシーンの切替えを検出するシーン切替検出手順と、
立体視表示のための奥行値の変化が前記シーンの切替えの前後において所定の表示速度により遷移するように前記奥行値を補正する奥行値補正手順と
を具備する画像情報処理方法。
【請求項１３】
コンテンツにおけるシーンの切替えを検出するシーン切替検出手順と、
立体視表示のための奥行値の変化が前記シーンの切替えの前後において所定の表示速度により遷移するように前記奥行値を補正する奥行値補正手順と
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−２５８７２３（Ｐ２０１０−２５８７２３Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０５７５５（Ｐ２００９−１０５７５５）
【出願日】平成２１年４月２４日（２００９．４．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２４日（２００９．４．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]