音響再生装置および音響再生方法
【課題】立体映像におけるオブジェクトの結像位置に応じて適切な遠近位置に音像を定位し、音響効果の向上を図る。
【解決手段】音響再生装置１３０は、左眼用映像データと右眼用映像データとを取得する映像取得部１５０と、取得された左眼用映像データと右眼用映像データとを比較し、左眼用映像データおよび右眼用映像データにおける複数のブロックそれぞれの視差を導出する視差導出部１７０と、導出された複数のブロックの視差に基づいて、表示画面に垂直な方向の表示画面と結像位置との距離である結像距離の代表値である代表結像距離を導出する距離導出部１７２と、導出された代表結像距離に基づいて、左眼用映像データと右眼用映像データとに関連付けられた音響データの再生タイミングを変更する音響変更部１７４と、変更された音響データを音響出力装置に出力する音響出力部１６０とを備える。
【解決手段】音響再生装置１３０は、左眼用映像データと右眼用映像データとを取得する映像取得部１５０と、取得された左眼用映像データと右眼用映像データとを比較し、左眼用映像データおよび右眼用映像データにおける複数のブロックそれぞれの視差を導出する視差導出部１７０と、導出された複数のブロックの視差に基づいて、表示画面に垂直な方向の表示画面と結像位置との距離である結像距離の代表値である代表結像距離を導出する距離導出部１７２と、導出された代表結像距離に基づいて、左眼用映像データと右眼用映像データとに関連付けられた音響データの再生タイミングを変更する音響変更部１７４と、変更された音響データを音響出力装置に出力する音響出力部１６０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、両眼視差によって立体映像を知覚させる立体映像データと共に音響データを再生する音響再生装置および音響再生方法に関する。
【背景技術】
【０００２】
音響データを再生するための音響再生装置では、ステレオ方式の複数のスピーカーを適切な位置に配置することで、スピーカー同士を結んだ平面上に任意の音像を定位可能であることが一般的に知られている。また、クロストークキャンセル技術を用いて仮想スピーカーから放音される音響信号を別のチャンネルに畳み込み、実際に音を発生させているスピーカーとは異なる空間に音像を定位させたり、マルチチャンネルスピーカーの配置によって立体音響を知覚させたりする再生方法も提案されている。このような立体感のある音響信号の再生手段により、同時に表示される映像信号に対して、ある程度の臨場感を与えることが可能となった。
【０００３】
近年、映像の表示技術の向上と共に、音響信号を再生する空間的配置方法にも改良が加えられ、これまでの平面的なスピーカー配置のみならず、高さ方向に階層的にスピーカーを配置し、表示された映像により近い音響空間を構築する方法も提案されている。
【０００４】
ところで、近年、ディスプレイ上に、両眼視差（水平視差）を有する２つの映像を提示し、視聴者に対してあたかもオブジェクト（被写体）が立体的に存在するように知覚させる立体映像表示装置が脚光を浴びている。かかる立体映像表示装置で用いられる２つの映像は、視点の異なる２つの撮像部で撮像された映像である。
【０００５】
このような、オブジェクトを立体的に知覚させる技術において、視聴者は、そのオブジェクトの遠近位置を正確に把握するので、より臨場感の高い音響空間の構築が望まれる。したがって、上述した仮想スピーカーを想定したバーチャル音響信号の再生や、マルチチャンネルスピーカーの配置といったスピーカーの配置に影響される音響再生装置に加え、また、代えて、ドップラー効果や音圧レベルの強弱を用いて心理学的に音源の移動を印象付ける音響の再生方法も検討されている。例えば、立体映像における遠景映像に対して音響信号を意図的に遅延させて、ユーザに遠景映像であることを認識させる技術が開示されている（例えば、特許文献１）。
【０００６】
また、予め特定されている映像内の複数のオブジェクトそれぞれに対して予め個別に音声を生成しておき、オブジェクトそれぞれの仮想的な視聴位置にオブジェクトそれぞれの音像（音声）を定位させた立体音響信号を生成する技術も公開されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平８−１４０２００号公報
【特許文献２】特開２００４−７２１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
近年、このような立体映像を３Ｄテレビジョンや３Ｄシネマを通じて容易に視聴できるようになってきた。しかし、例えば、３Ｄシネマでは、映像こそ立体的に表現されているものの、音声は２Ｄシネマの音声と共通なので、従来からあるフロント、サイド、バックに配置されたマルチチャンネル音響システムが未だに利用されている。
【０００９】
例えば、特許文献１では、オブジェクトが奥まる遠景映像に対して音響信号を遅延させ、それが遠景映像であることを視聴者により強く認識させることが可能であるが、立体映像が有する空間的パターンの認識が不十分であり、このような画一的な処理により、却って映像信号と音響信号の乖離性が生じかねない。さらに、音響信号の遅延のみでは、空間的な広がりを表すにも不十分であり、奥行き感はあるものの狭い空間に閉じ込められた感覚を与えてしまうこともあった。
【００１０】
また、３Ｄシネマと２Ｄシネマでは、同一の音響信号が用いられており、特許文献２の技術のように、音声がオブジェクト毎に予め分離されている訳ではない。特許文献２の技術のように、オブジェクト毎に個々の音声を関連付ける作業は、そもそも自動化が困難であり、煩雑かつ膨大な人手による作業を要するので、制作コストがかかりすぎるという問題があった。さらに、特許文献２の技術では、視聴する部屋やディスプレイの大きさ、スピーカーの配置等の再生時における音響再生環境を踏まえた上で一律に音響信号を出力して立体化することはできず、音響処理の複雑化を招いていた。
【００１１】
さらに、３Ｄシネマに限らず、立体映像と同時に再生される音響信号は、マルチチャンネルの構成により、ある程度の臨場感を映像信号に与えることができるが、立体映像におけるオブジェクトの遠近方向の位置に追従しておらず、音響空間として物足りなさが残っていた。
【００１２】
本発明は、このような課題に鑑み、立体映像におけるオブジェクトの結像位置に応じて適切な遠近位置に音像を定位し、音響効果の向上を図ることが可能な音響再生装置および音響再生方法を提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明の音響再生装置は、立体映像を知覚させるための両眼視差を有する左眼用映像データと右眼用映像データとを取得する映像取得部と、取得された左眼用映像データと右眼用映像データとを比較し、左眼用映像データおよび右眼用映像データにおける複数のブロックそれぞれの視差を導出する視差導出部と、導出された複数のブロックの視差に基づいて、表示画面に垂直な方向の表示画面と結像位置との距離である結像距離の代表値である代表結像距離を導出する距離導出部と、導出された代表結像距離に基づいて、左眼用映像データと右眼用映像データとに関連付けられた音響データの再生タイミングを変更する音響変更部と、変更された音響データを音響出力装置に出力する音響出力部とを備えることを特徴とする。
【００１４】
音響変更部は、さらに、導出された代表結像距離に基づいて、左眼用映像データと右眼用映像データとに関連付けられた音響データの音響空間効果を変更してもよい。
【００１５】
距離導出部は、複数のブロックをグループ化し、そのグループ毎に結像距離を、表示画面より近い領域、表示画面近辺の領域、表示画面より遠い領域のいずれかに割り当て、代表結像距離を導出してもよい。
【００１６】
上記課題を解決するために、本発明の音響再生方法は、立体映像を知覚させるための両眼視差を有する左眼用映像データと右眼用映像データとを取得し、取得した左眼用映像データと右眼用映像データとを比較し、左眼用映像データおよび右眼用映像データにおける複数のブロックそれぞれの視差を導出し、導出した複数のブロックの視差に基づいて、表示画面に垂直な方向の表示画面と結像位置との距離である結像距離の代表値である代表結像距離を導出し、導出した代表結像距離に基づいて、左眼用映像データと右眼用映像データとに関連付けられた音響データの再生タイミングを変更し、変更した音響データを音響出力装置に出力することを特徴とする。
【発明の効果】
【００１７】
以上説明したように本発明は、立体映像におけるオブジェクトの結像位置に応じて適切な遠近位置に音像を定位し、音響効果の向上を図ることが可能となる。したがって視聴者は、立体映像に相応しい、より臨場感の高い音響効果を得ることができる。
【図面の簡単な説明】
【００１８】
【図１】立体映像表示システムの概略的な接続関係を示したブロック図である。
【図２】音響再生装置の概略的な機能を示した機能ブロック図である。
【図３】動きベクトルの導出を説明するための説明図である。
【図４】距離導出部の結像距離の導出対象となる所定の領域を説明するための説明図である。
【図５】結像距離の導出処理を説明するための説明図である。
【図６】代表結像距離を求める処理を説明するための説明図である。
【図７】代表結像距離と再生タイミングとの関係を説明するための説明図である。
【図８】音響再生方法の全体的な流れを示したフローチャートである。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２０】
立体映像（立体画像）では、両眼視差（水平視差）を有する２つの映像を提示し、視聴者に対してあたかもオブジェクト（被写体）が立体的に存在するように知覚させる。したがって、視差によっては、実際に映像が表示されている表示画面よりオブジェクトが飛び出して知覚されたり、奥まって知覚されたりする。
【００２１】
これに対し、映像に同期して発せられる音響では、従来から行われていたように、ステレオまたはマルチチャンネル構成で音像を定位させている。かかる構成により、ある程度の音響空間を視聴者に提供することはできるが、立体（３Ｄ）映像と平面（２Ｄ）映像とで共通の音響信号（音響データ）が用いられている限り、スピーカーの配置や出力する音響信号の音像位置が固定されてしまうので、音響信号は、表示画面上に結像される映像、即ち両眼視差を有さない映像としか調和しなかった。したがって、立体映像におけるオブジェクトの結像位置が変化したとしても、音像の位置はそれに追従して変化しないので、視覚を通じたオブジェクトの位置と、聴覚を通じたオブジェクトの位置とが異なって感じられる現象（リップシンクの不一致）が生じていた。
【００２２】
そこで、本実施形態の音響再生装置は、立体映像におけるオブジェクトの結像位置に応じて適切な遠近位置に音像を定位し、音響効果の向上を図ることが可能な音響再生装置および音響再生方法を提供することを目的とする。以下、かかる音響再生装置を含む立体映像表示システムの構成を説明し、その後で音響再生方法の処理の流れを詳述する。
【００２３】
（第１の実施形態：立体映像表示システム１００）
図１は、立体映像表示システム１００の概略的な接続関係を示したブロック図である。図１に示すように、立体映像表示システム１００は、立体映像再生装置１１０と、立体映像表示装置１２０と、音響再生装置１３０と、音響出力装置１４０とを含んで構成される。
【００２４】
立体映像再生装置１１０は、立体映像を知覚させるための両眼視差を有する立体映像データ（左眼用映像データおよび右眼用映像データ）を取得し、立体映像表示装置１２０に表示できる形式に加工する。立体映像表示装置１２０は、シネマスクリーン、プロジェクタ（投影機）、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、例えば、ラインシーケンシャル方式を用いる場合、偏光特性が隔行で（１ライン毎に）異なるように形成される。視聴者１０２は、このようにして偏光特性が異なる映像を特別な眼鏡を通じて左右独立して視認することで立体映像を知覚することができる。
【００２５】
音響再生装置１３０は、立体映像再生装置１１０で再生される立体映像データに同期している音響データを取得し、立体映像データに応じて音響データを加工する。音響出力装置１４０は、例えば、スピーカーで構成され、音響再生装置１３０で加工された音響データ（音響信号）を出力する。ここでは、音響再生装置１３０を立体映像再生装置１１０と別体に設けたが、一体的に設けることも可能である。以下、特に、音響再生装置１３０について詳述する。
【００２６】
（音響再生装置１３０）
図２は、音響再生装置１３０の概略的な機能を示した機能ブロック図である。図２に示すように、音響再生装置１３０は、映像取得部１５０と、音響取得部１５２と、データ保持部１５４と、操作部１５６と、音響バッファ１５８と、音響出力部１６０と、中央制御部１６２とを含んで構成される。本実施形態における音響再生装置１３０は、理解を容易にするため、立体映像表示装置１２０と別体に構成しているが、立体映像表示装置１２０と一体的に構成することもできる。
【００２７】
映像取得部１５０は、立体映像を知覚させるための両眼視差を有する立体映像データ（左眼用映像データおよび右眼用映像データ）を立体映像再生装置１１０から取得する。このような立体映像を知覚させるための立体映像データは、左眼用映像データと右眼用映像データの物理的配置または時間的配置の違いによって、２つの映像データを左右並置したＬＲ独立方式、２つの映像データを水平方向に１／２圧縮して左右並置したサイドバイサイド方式、２つの映像データを垂直方向に１／２圧縮して上下並置したアバヴアンドビロウ方式、２つの映像データを時間軸方向に交互に配置したフレームシーケンシャル方式等、様々な方式によって形成される。また、ここで示した方式以外の様々な方式を用いることが可能なのは言うまでもない。ここで、取得された立体映像データは、主として音響データの加工に用いられる。
【００２８】
音響取得部１５２は、映像取得部１５０で取得された立体映像データと同期可能な形式で音響データを取得する。例えば、立体映像データと同期させて音響データを読み出したり、有線通信または無線通信による、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）といったインターフェースを通じて立体映像データと音響データを並行して受信したり、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ポータブルメモリカード等、着脱可能な記憶媒体から読み出すことができる。ここで、音響取得部１５２が、仮に立体映像データと音響データとを１系統のラインから取得したとしても、音響データに加工を施すため、立体映像データと音響データは一旦分離される。
【００２９】
データ保持部１５４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、映像取得部１５０で取得された立体映像データや音響取得部１５２で取得された音響データの他、以下に示す各機能部の処理に必要な各情報を一時的に保持する。
【００３０】
操作部１５６は、操作キー、十字キー、ジョイスティック、タッチパネル等のスイッチから構成され、視聴者の操作入力を受け付ける。
【００３１】
音響バッファ１５８は、ＲＡＭ等で構成され、音響取得部１５２で取得された音響データを一時的に保持し、音響データの入力レートの変動を吸収したり、中央制御部１６２からの制御指令に応じて、適切なタイミングで、保持した音響データを音響出力部１６０に出力したりする。
【００３２】
音響出力部１６０は、中央制御部１６２で加工された音響データを音響出力装置１４０で利用できるフォーマット形式、例えば、アナログ信号（音響信号）に変更し、音響出力装置１４０に出力する。
【００３３】
中央制御部１６２は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、音響再生装置１３０全体を管理および制御する。また、本実施形態において、中央制御部１６２は、視差導出部１７０と、距離導出部１７２と、音響変更部１７４としても機能する。
【００３４】
視差導出部１７０は、映像取得部１５０が取得した立体映像データの左眼用映像データと右眼用映像データとを比較し、両映像データ中のオブジェクト（被写体）の視差の方向と大きさとを示す視差ベクトル（視差）を導出して距離導出部１７２に出力する。本実施形態では、映像内のオブジェクトを特定せず、左眼用映像データおよび右眼用映像データそれぞれを格子状に分割した複数のブロックについて視差ベクトルを導出している。
【００３５】
また、立体映像において、視差は水平方向にしか生じないので、視差ベクトルの方向は単純に正負の符号（＋−）で示すことができ、立体映像表示装置１２０の表示位置より視聴者側（飛び出し側）に結像させる方向を正、立体映像表示装置１２０の表示位置より視聴者と逆側（奥まる側）に結像される方向を負とする。かかる視差ベクトルの導出には、様々な既存のアルゴリズムを適用することができるが、ここでは、２Ｄ映像における同一のオブジェクトがフレームデータ間でどれだけ動いたかを特定する、動きベクトル検出アルゴリズムを応用する。ここで、フレームデータは、１の映像を構成する時系列に並べられた静止画データをいう。
【００３６】
図３は、動きベクトルの導出を説明するための説明図である。動画圧縮技術であるＭＰＥＧ（Moving Picture Experts Group）においては、ブロックマッチングに基づいて動きベクトルを検出する動きベクトル検出アルゴリズムが用いられる。ここで動きベクトルは、２つのフレームデータ間における同一のオブジェクトの変位をベクトルで示したものである。ＭＰＥＧにおける動きベクトル検出アルゴリズムでは、図３（ａ）に示すように、メモリに保持されている過去のフレームデータを、所定の（例えば１６画素×１６画素）ブロック（領域）２００に分割し、過去のフレームデータから選択した任意のブロック２００ａについて、現在のフレームデータのうち、同一の大きさで最も類似しているブロック２００ｂを抽出し、両者の位置関係から動きベクトル２０２を検出する。
【００３７】
かかるブロックマッチングにおいて、ブロックのサイズを大きくとると、粗い映像に対しては比較回数が減り比較処理の負荷が軽減するが、緻密な映像に対して、動きベクトルの検出精度が低下しがちになる。しかし、本実施形態では、立体映像に関する動きベクトルが映像における水平方向の変位としてしか現れないため、検出精度が比較的高くなり、一般的な動画像で用いられる１６×１６のブロック、または、これより大きいサイズのブロックでも十分に検出精度を維持することが可能である。
【００３８】
本実施形態において、視差導出部１７０は、上述した動きベクトル検出アルゴリズムを利用して２つの映像データ（左眼用映像データと右眼用映像データ）間の動きベクトルを検出する。ここでは、時間差のある２つのフレームデータを、同時に生成された左右眼用の２つの映像データに置き換えて動きベクトルを検出している。視差導出部１７０は、データ保持部１５４に保持された立体映像データ（右眼用映像データと左眼用映像データ）を読み出し、図３（ｂ）に示すように、映像データを所定のブロック２００に分割し、分割したブロック毎に、対応するブロックとの動きベクトル２０２を導出する。
【００３９】
具体的に、視差導出部１７０は、２つの映像データのうちの一方である左眼用映像データから選択された任意のブロック２００ｃの各画素の輝度（Ｙ色差信号）と、右眼用映像データの任意の位置におけるブロック２００ｄの対応する各画素の輝度との差分を計算し、ブロック内の全ての画素の輝度の差分の総和を導出する。続いて、右眼用映像データのブロック２００ｄを所定距離移動し、輝度の差分の総和を導出する処理を繰り返し、輝度の差分の総和が最も小さくなる位置におけるブロック２００ｄを、輝度が最も近いブロックとして抽出し、そのブロックの中心または任意の位置同士の変位をブロック２００ｃの動きベクトル２０２とする。
【００４０】
また、視差導出部１７０は、図３（ｃ）に示すように、右眼用映像データから選択された任意のブロック２００ｅの各画素の輝度と、左眼用映像データの任意の位置におけるブロック２００ｆの対応する各画素の輝度との差分を計算し、ブロック内の全ての画素の輝度の差分の総和を導出する。続いて、左眼用映像データのブロック２００ｆを所定距離移動して、輝度の差分の総和を導出する処理を繰り返し、輝度の差分の総和が最も小さくなる位置におけるブロック２００ｆを、輝度が最も近いブロックとして抽出し、そのブロックの中心または任意の位置同士の変位をブロック２００ｅの動きベクトル２０２とする。こうして、左眼用映像データおよび右眼用映像データそれぞれのブロック２００に関しても動きベクトルが検出される。
【００４１】
動きベクトル検出アルゴリズムにおいて、比較元である一方の映像データでは、分割されたブロック２００の中から、比較元となるブロック２００が、例えば、映像データの左上から右方向に、右端に到達すると一段下げて再び左端から右方向に順次選択され、映像データ内の全てのブロック２００に関して動きベクトルが導出されるとその計算が終了する。また、本実施形態の動きベクトル検出アルゴリズムでは、比較先である他方の映像データのブロックを、既存のフレームデータ間の動きベクトル検出アルゴリズムのように全範囲から抽出しなくとも、上述したように、その比較先のブロックを水平方向にあるブロックのみに限定することができる。すなわち、比較先のブロック２００としては、比較元のブロック２００ｃ、２００ｅに対して、垂直方向の座標が等しい領域（図３（ｂ）、（ｃ）において破線２０４ａ、２０４ｂで囲われた領域）のみが対象となる。
【００４２】
上述したように、映像圧縮において動きベクトル検出アルゴリズムが確立しており、本実施形態では、その動きベクトル検出アルゴリズムを利用して動きベクトルを求めている。また、動画圧縮に用いられる動きベクトルの検出と異なり、立体映像に関する動きベクトルは、映像における水平方向の変位としてしか現れないため、視差導出部１７０は、水平方向にのみ動きベクトルを検出すればよい。かかる動きベクトルの検出を水平方向に限定する構成により、処理時間および処理負荷を著しく低減でき、ひいては音響再生装置１３０の回路を小型化することが可能となる。
【００４３】
視差導出部１７０は、左眼用映像データのブロック２００について、右眼用映像データ内で類似しているブロックを抽出すると、そのブロック間の動きベクトルを左眼用映像データのそのブロック２００の視差ベクトルとする。同様に、視差導出部１７０は、右眼用映像データのブロック２００について、左眼用映像データ内で類似しているブロックを抽出すると、そのブロック間の動きベクトルを右眼用映像データのそのブロック２００の視差ベクトルとする。
【００４４】
さらに、上記のように別々に算出した左眼用映像データの視差ベクトルと、それに対応する右眼用映像データの視差ベクトルは、大きさはほぼ同じであり、視差ベクトルの向きが反対になっていると考えられる。そのため、この条件に当てはまらない視差ベクトルが検出された場合には、動きベクトル検出アルゴリズムにおけるパラメータを変えて再度検出することにより、視差ベクトルの検出精度を高めることもできる。
【００４５】
また、視差導出部１７０は、上述した動きベクトルを用いた処理に限らず、他の様々な処理によって視差ベクトルを導出することができる。例えば、視差導出部１７０は、立体映像データの解像度を一旦落とし、相似する部分映像の位置を検出して、ある程度、探索範囲を絞った上で、その探索範囲内の分割されたブロック同士を比較し、画素毎の差分値の合計が最小になるブロックの組み合わせを抽出して視差ベクトルを導出する。
【００４６】
さらに、立体映像データを構成する左眼用映像データおよび右眼用映像データ同士は、相関性が高く、供給される信号に高能率符号化圧縮が施されている場合、両映像データの視差ベクトルは、動きベクトル情報として別途符号化されていることがある。この場合、上記符号化情報から視差ベクトルを導くこともできる。このときのブロックサイズは圧縮符号化で採用されているブロックサイズに準じている。
【００４７】
なお、同一のオブジェクトであっても、左眼用映像データと右眼用映像データとで、輻輳角分だけ撮像画角が異なり、また、レンズとの距離も異なるため、オブジェクトの一部が一方の映像データで陰になったり、一方の左右端部の映像が欠落したりして、左眼用映像データのブロックと右眼用映像データのブロックが完全に一致することが少ない。しかし、本実施形態においては、分割されたブロック毎に大凡の視差ベクトルが推定できれば足りる。
【００４８】
距離導出部１７２は、視差導出部１７０で導出された複数のブロック２００毎の視差に基づいて、当該立体映像データが表示される表示画面に垂直な方向の表示画面と結像位置との距離である結像距離の代表値である代表結像距離を導出する。ここでは、立体映像データに含まれる全ブロック２００をいくつかのグループ（領域）にグループ化し、その領域毎に結像距離を導出する。
【００４９】
図４は、距離導出部１７２の結像距離の導出対象となる所定の領域を説明するための説明図である。距離導出部１７２は、まず、視差導出部１７０で導出された、図４（ａ）に示したようなブロック２００を、図４（ｂ）の如く、画面中央に位置する領域Ａ（図４中、白抜きで示す。）と、画面上部から領域Ａを除いた領域Ｂ（図４中、ハッチングで示す。）と、画面下部から領域Ａを除いた領域Ｃ（図４中、クロスハッチングで示す。）とに振り分ける。そして、距離導出部１７２は、領域Ａ、Ｂ、Ｃ内のブロック２００の視差ベクトルをそれぞれ平均化して、領域Ａ、Ｂ、Ｃ毎の平均的な結像距離を導出する。
【００５０】
距離導出部１７２は、結像距離を導出するため、上述した視差ベクトルの他、視聴者の眼間距離（基線長：例えば、６ｃｍ）を示す眼間距離情報や、視聴者と立体映像表示装置１２０との予定視聴距離（例えば、１０ｍ）を示す視聴予定距離情報を、操作部１５６を通じて、または予め設定されたデフォルト値を参照して取得する。また、視聴予定距離情報を、立体映像表示装置１２０からの視聴者の距離を測定可能な距離センサを用いて自動的に認識することも可能である。さらに、映像データ中の視差ベクトルの大きさを立体映像表示装置１２０に表示される実際の視差に置き換えるため、立体映像表示装置１２０の大きさや画素数（解像度）も予め取得されている。
【００５１】
図５は、結像距離の導出処理を説明するための説明図である。図５（ａ）のように左眼用映像データ２１０にオブジェクト２２０ａが配され、右眼用映像データ２１２に被写体２２０ｂが配されている場合（左眼用映像データ２１０のオブジェクト２２０ａが右眼用映像データ２１２の被写体２２０ｂより右側に存在する場合：視差ベクトル＞０）、左眼２２２ａと左眼用映像データ２１０のオブジェクト２２０ａと結ぶ直線と、右眼２２２ｂと右眼用映像データ２１２のオブジェクト２２０ｂとを結ぶ直線とが立体映像表示装置１２０の画面前方で交差し、その交差する点でオブジェクト２２０の映像が結像され、視聴者は、そのオブジェクト２２０が飛び出して見えることとなる。
【００５２】
例えば、オブジェクト２２０の結像位置２２４の立体映像表示装置１２０（輻輳点）からの結像距離Ｋ、即ち、立体映像表示装置１２０から飛び出して見える距離は、左眼用映像データ２１０と右眼用映像データ２１２とのオブジェクト２２０の視差ベクトルをＨ、視聴者の眼間距離をＩ、視聴者と立体映像表示装置１２０との視聴予定距離をＪとすると、以下の数式１で表される。
Ｋ＝（Ｈ／（Ｈ＋Ｉ））×Ｊ …（数式1）
このとき、視差ベクトルＨは、立体映像表示装置１２０の大きさをＷ、水平方向の解像度をＲ、視差ベクトルに相当する画素数をＰとすると、以下の数式２を用いて導くことができる。
Ｈ＝Ｐ×Ｗ／Ｒ …（数式２）
したがって、視差ベクトルＨ＝＋１０ｃｍ、眼間距離Ｉ＝６ｃｍ、視聴予定距離Ｊ＝１０ｍとすると、立体映像表示装置１２０からの結像距離Ｋ＝１０／１６×１０００＝６２５ｃｍとなり、オブジェクト２２０は６．２５ｍ飛び出して見えることとなる。また、視聴予定距離Ｊを変数とし、結像距離Ｋを変数Ｊの関数として相対的に示すこともできる。かかる結像距離Ｋは、音像を立体的に定位させる上で指標の一つとなる。
【００５３】
上述した数式１および数式２は、立体映像表示装置１２０の手前側にオブジェクト２２０を結像する場合に限られず、奥側にオブジェクト２２０を結像する場合にも適用できる。図５（ｂ）のように左眼用映像データ２１０にオブジェクト２２０ａが配され、右眼用映像データ２１２に被写体２２０ｂが配されている場合（左眼用映像データ２１０のオブジェクト２２０ａが右眼用映像データ２１２の被写体２２０ｂより左側に存在する場合：視差ベクトル＜０）、左眼２２２ａと左眼用映像データ２１０のオブジェクト２２０ａと結ぶ直線と、右眼２２２ｂと右眼用映像データ２１２のオブジェクト２２０ｂとを結ぶ直線とが立体映像表示装置１２０の画面後方で交差し、その交差する点でオブジェクト２２０の映像が結像され、視聴者は、そのオブジェクト２２０が奥まって見えることとなる。
【００５４】
このとき、立体映像表示装置１２０から奥まって見える結像距離Ｋも、左眼用映像データ２１０と右眼用映像データ２１２でのオブジェクト２２０の視差をＨ（ただし、Ｈは負の値をとる）、視聴者の眼間距離をＩ、視聴予定距離をＪとすると、飛び出して見える場合同様、数式１で表すことができる。
【００５５】
また、視差ベクトルの大きさが０（ゼロ）となる場合は、上述した数式１に視差ベクトルＨ＝０を代入して理解できるように、結像距離Ｋ＝０となり、視聴者は、そのオブジェクト２２０を立体映像表示装置１２０の表示画面の遠近位置に知覚することとなる。
【００５６】
距離導出部１７２は、このような結像距離を領域Ａ、Ｂ、Ｃそれぞれについて導出する。こうして、距離導出部１７２は、立体映像データにおける領域Ａ、Ｂ、Ｃの遠近方向の相対的な凹凸関係を認識することが可能となる。そして、距離導出部１７２は、このような領域Ａ、Ｂ、Ｃの凹凸を判定基準と照らし合わせ、映像データ全体が視聴者にどのように知覚されるかを予測して、１の結像距離である代表結像距離を求め、その映像データを用いて最適な空間音響処理を施す。こうすることで、視聴者は、より一層の立体感を得ることができる。
【００５７】
また、以下では、領域Ａ、Ｂ、Ｃそれぞれの結像距離や代表結像距離として、オブジェクトが飛び出して知覚される「表示画面より近い領域」、オブジェクトが表示画面の位置に知覚される「表示画面近辺の領域」、オブジェクトが奥まって知覚される「表示画面より遠い領域」のいずれかの概念を用いることとする。このような結像距離を３つの段階に単純化する構成により、以下に示す代表結像距離の導出処理の手順を簡素化でき、負荷軽減を図ることが可能となる。
【００５８】
上述したように、距離導出部１７２は、領域Ａ、Ｂ、Ｃ毎に結像距離を導出している。結像距離は、表示画面より飛び出して結像される場合に正の値で表され、奥まって結像される場合に負の値で表される。また、立体映像表示装置１２０の表示画面の位置に結像される場合は、その符号に拘わらず、結像距離が０、または、結像距離の絶対値が所定の範囲以内となる。したがって、領域Ａ、Ｂ、Ｃのいずれか任意の領域について、距離導出部１７２は、上記の結像距離の導出結果ｒが正の値を持つ閾値Ｔ１以上（Ｔ１≦ｒ）であれば、その結像距離を「表示画面より近い領域」と判定し、導出結果ｒが負の値を持つ閾値Ｔ２以上かつ正の値を持つ閾値Ｔ１未満（Ｔ２≦ｒ＜Ｔ１）であれば「表示画面近辺の領域」と判定し、導出結果ｒが負の値の閾値Ｔ２未満（ｒ＜Ｔ２）であれば、「表示画面より遠い領域」と判定する。
【００５９】
図６は、代表結像距離を求める処理を説明するための説明図である。距離導出部１７２は、まず、領域Ａの結像距離に基づいて代表結像距離の導出を試みる。このように領域Ａに関しての処理を優先するのは、映像データにおいて、音響効果と一体化すべき映像は画面中央、即ち領域Ａに配置されるシーンが支配的であり、他の映像領域より優先的に扱われるべきだからである。したがって、距離導出部１７２は、領域Ａの判定処理から開始する。距離導出部１７２は、領域Ａの結像距離が「表示画面より近い領域」（図６中「＋」で示す。）、「表示画面近辺の領域」（図６中「０」で示す。）、「表示画面より遠い領域」（図６中「−」で示す。）のいずれであるか判定し、「表示画面より近い領域」であると判定されると、図６（ａ）を用いて、代表結像距離を「表示画面より近い領域」（＋）とする。
【００６０】
代表結像距離が「表示画面より遠い領域」と判定された場合の代表結像距離は、領域Ａの結像距離をそのまま転用することもできるが、ここでは、領域Ａにおける全ブロック２００の内で、結像距離が最大となる、即ち、一番飛び出しているブロックを抽出し、その結像距離を代表結像距離とすることとしている。このようにして、音響効果と一体化すべき画面中央（領域Ａ）の、さらに視聴者に意識され易い一番手前のオブジェクトの結像距離に音響効果を付与することが可能となる。
【００６１】
また、領域Ａの結像距離が、「表示画面近辺の領域」（０）であれば、さらに領域Ｂ、Ｃの結像距離も参照し、図６（ｂ）を用いて代表結像距離を決定する。ここで、領域Ｂと領域Ｃといった上下の映像領域の凹凸が異なると判定された場合、例えば、領域Ｂが「表示画面より近い領域」（＋）であり、領域Ｃが「表示画面より遠い領域」（−）の場合、距離導出部１７２は、距離感のある映像と判定し、代表結像距離を「表示画面より遠い領域」（−）とする。それ以外と判定された場合、距離導出部１７２は、代表結像距離を「表示画面近辺の領域」（０）とする。
【００６２】
また、領域Ａの結像距離が、「表示画面より遠い領域」（−）であれば、さらに領域Ｂ、Ｃの結像距離も参照し、図６（ｃ）を用いて代表結像距離を決定する。このように、画面の中央に位置する領域Ａが奥まって結像され、上下の映像領域が反対に手前側に結像される傾向が強い場合、即ち、領域Ｂまたは領域Ｃの少なくとも一方が「表示画面より近い領域」（＋）であり、かつ、いずれも「表示画面より遠い領域」（−）ではない場合、距離導出部１７２は、画面全体の平均値を考慮して代表結像距離を「表示画面近辺の領域」（０）とする。それ以外と判定された場合、距離導出部１７２は、領域Ａと同様に奥まって結像される傾向が強いと判定し、代表結像距離を「表示画面より遠い領域」（−）とする。ここで、代表結像距離が「表示画面近辺の領域」（０）であると判定された場合の最終的な代表結像距離は０であり、代表結像距離が「表示画面より遠い領域」と判定された場合の代表結像距離は、予め定められた所定の値または所定の比率とすることができる。
【００６３】
このように、距離導出部１７２は、画面中央に位置する領域Ａとその上下に位置する領域Ｂ、Ｃとで重み付けを異ならせることによって、画面内のオブジェクトの配置も考慮された適切な１の代表結像距離を導出することができる。また、複数のブロック２００をグループ化し、それを３つの段階（「表示画面より近い領域」、「表示画面近辺の領域」、「表示画面より遠い領域」）で判定するといった簡易な処理手順を採用することで、代表結像距離を短時間で導出することができ、以下の音響変更部１７４によって音響データをリアルタイムに加工することが可能となるので、視聴者は、立体映像におけるオブジェクトが遠近方向に移動した場合であってもその位置に適した音響効果をリアルタイムに得ることができる。
【００６４】
ここで、図６を用いて説明した代表結像距離の導出手順は一例であり、領域Ａ、Ｂ、Ｃの結像距離の組み合わせから１の代表結像距離を導出する様々なテーブルを用いることができる。また、本実施形態では、小区分であるブロック毎に視差を求め、それを大区分である領域Ａ、Ｂ、Ｃ毎に集計して画面の凹凸を判定しているが、領域は３つに限らず、例えば、中央領域と上下左右の４つの領域といったように、計算負荷の許容範囲内でさらに多くの領域に分割してもよいし、全てのブロック２００を対象とすることもできる。さらに、ここでは、計算や判定手順を簡素化すべく、結像距離を「表示画面より近い領域」、「表示画面近辺の領域」、「表示画面より遠い領域」の３つの段階に簡素化したが、かかる場合に限られず、さらに多くの段階に細分化してもよく、結像距離の数値自体を用いることも可能である。
【００６５】
さらに、他の例として、領域Ａが奥まっているが領域Ｂ、Ｃが飛び出している状況を、トンネルのような音響空間であると判定したり、全領域Ａ、Ｂ、Ｃが無限遠の奥行きを持つ状況を宇宙空間のような音響空間であると判定して、その旨、音響変更部１７４に伝達し、音響変更部１７４で、そのような空間を適切に再現するように音響データを加工してもよい。
【００６６】
音響変更部１７４は、距離導出部１７２によって導出された代表結像距離に基づいて、立体映像データに関連付けられた音響データを加工する。具体的に、音響変更部１７４は、代表結像距離が「表示画面より近い領域」であると判定されている場合、即ち、主たるオブジェクトが表示画面から飛び出して知覚される場合に、その飛び出したオブジェクトの結像位置に音像を定位させて臨場感を高める。また、代表結像距離が「表示画面近辺の領域」であると判定されている場合、音響変更部１７４は、音響取得部１５２が取得した音響データをそのまま利用する。さらに、代表結像距離が「表示画面より遠い領域」であると判定されている場合、即ち、全体的に画面が奥まって知覚されている場合、音響変更部１７４は、より大きな空間的な広がりを高めるために開放感を与える音響処理を行う。ここでは、加工後の音響データを出力する音響出力装置１４０は、立体映像表示装置１２０と遠近方向の位置が等しいとする。
【００６７】
音響変更部１７４は、その代表結像距離に応じた適切な音響効果を付加すべく、１．音響データの再生タイミング、２．音響空間効果、および、３．ゲイン量を調整する。以下、このような音響効果を個別に詳述する。
【００６８】
（１．音響データの再生タイミング）
音響変更部１７４は、代表結像距離に基づき、空間的な音の伝播速度を考慮して音響データの再生タイミング（再生時刻）を調整する。このため、音響変更部１７４は、音響バッファ１５８を用いて再生タイミング（または音響バッファ１５８の蓄積量）を制御すると共に、ピッチ変換処理を行っている。ここでは、まず、再生タイミングを変更することの効果について述べる。
【００６９】
図７は、代表結像距離と再生タイミングとの関係を説明するための説明図である。図７中、映像バッファ２２８は、立体映像再生装置１１０内に設けられた映像バッファを参考として示し、立体映像データの部分データである映像部分データ２３０および音響データの部分データである音響部分データ２３２に付された指標（「Ｖ」および「Ａ」）の添え字（１、２、…）は、映像部分データ２３０および音響部分データ２３２の再生順を示す。
【００７０】
音響変更部１７４が再生タイミングの調整を行わない場合、立体映像データの部分データ（例えば、パケットやフレーム等）である映像部分データ２３０と音響データの部分データである音響部分データ２３２とは、図７（ａ）に示されたように、それぞれのバッファ（映像バッファ２２８、音響バッファ１５８）に入出力される。映像バッファ２２８および音響バッファ１５８は、ＦＩＦＯ（First In First Out）で構成され、それぞれ取得された映像部分データ２３０および音響部分データ２３２を所定量蓄積し、その映像部分データ２３０および音響部分データ２３２に付されたタイムスタンプ等を用いて、適切なタイミングで出力される。したがって、音響変更部１７４が再生タイミングの調整を行わない場合、図７（ａ）にＶ１とＡ１とで示したように、映像部分データ２３０および音響部分データ２３２とが予め定められた時刻に同期して出力されることとなる。
【００７１】
このように、音響変更部１７４が再生タイミングの調整を行っていない状態で、代表結像距離が「表示画面より近い領域」であると判定されている場合、即ち、主たるオブジェクトが表示画面から飛び出して知覚される場合に、本来近くに感じられるはずの視聴者に近いオブジェクトの音声が表示画面位置から聞こえる、所謂リップシンクの不一致によって、視聴者は違和感を覚えてしまう。
【００７２】
特に、視聴席が４００席を超えるような大きな映画館においては、館内中心に位置する座席からスクリーン（立体映像表示装置１２０）までの視聴予定距離が２０ｍに至ることもあり、スクリーンと等しい位置に設置された音響出力装置１４０から再生された音響が視聴者に到達する時間は６０ｍｓｅｃにもなる。一般に、視聴者は、オブジェクトの結像位置から発せられたとした場合の音響と実際の音響との時間差が約２０ｍｓｅｃを超えた辺りからリップシンクの不一致を感じるので、館内中央の座席における６０ｍｓｅｃの時間差は人間の識別能力をもって十分に認識可能な時間幅であることが理解できる。
【００７３】
そこで、音響変更部１７４は、例えば、上述したような最大視聴予定距離が２０ｍである映画館において、館内中央付近である視聴予定距離１０ｍに着席している視聴者がリップシンクの不一致を感じない（リップシンク０）ように音響データの再生タイミングを調整する。上述した距離導出部１７２では、映画館での視聴環境（スクリーンの大きさおよび解像度、視聴者の眼間距離、視聴予定距離等）に応じて上述した数式１を用い代表結像距離が求められている。したがって、音響変更部１７４は、その代表結像距離に相当する時間分音響データの再生タイミングを調整、即ち、音響バッファ１５８からの出力時刻を制御すれば、オブジェクトの結像位置に音像（音響）を同時に定位させる事が可能となる。
【００７４】
音響バッファ１５８からの本来の出力時刻との差分時間に相当する音響部分データ２３２の数Ｎは、音響部分データ２３２のサンプリング周波数をＦｓ、代表結像距離をＫｓ、音速を３４０ｍ／ｓｅｃとすると、以下の数式３で表される。
Ｎ＝Ｆｓ×Ｋｓ／３４０ …（数式３）
ただし、視聴環境において、立体映像表示装置１２０と音響出力装置１４０との遠近方向の位置を異ならせて音響データにオフセットが施されていたり、立体映像データの再生にオフセットが施されている場合、そのオフセットも考慮して音響部分データ２３２の数Ｎが導出される。
【００７５】
音響変更部１７４は、このように導出された音響部分データ２３２の数Ｎを用いて、音響バッファ１５８の再生タイミングを制御する。例えば、代表結像距離が「表示画面より近い領域」と判定され、音響部分データ２３２の数Ｎが「＋２」となった場合、音響変更部１７４は、図７（ｂ）のように、音響部分データ２３２の出力を早め、映像部分データ２３０の「Ｖ１」が出力されるタイミングで、音響部分データ２３２の「Ａ３」を出力する。このように、本来の再生タイミングより出力するタイミングを早めることで飛び出して知覚されるオブジェクトの結像位置に音像を定位することが可能となる。このとき、音響部分データ２３２の再生タイミングを早める、即ち、前方にシフトしなければならないので、音響変更部１７４は、再生タイミングの変更に加え、音程を維持したまま音響の占有時間を短く変更するピッチ変換処理を行う。こうして、視聴者は、オブジェクトの遠近位置に定位された音像（音響）を違和感なく視聴することが可能となる。また、音響変更部１７４は、調整音響サンプル数の間にクロスフェード処理を実行することでも同等の効果を得ることができる。
【００７６】
また、代表結像距離が「表示画面より遠い領域」と判定され、音響部分データ２３２の数Ｎが「−２」となった場合、音響変更部１７４は、図７（ｃ）のように、音響部分データ２３２の出力を遅延させ、映像部分データ２３０の「Ｖ３」が出力されるタイミングになって、音響部分データ２３２の「Ａ１」を出力する。このように、本来の再生タイミングより出力するタイミングを遅延させることで奥まる位置にあるオブジェクトの結像位置に音像を定位することが可能となる。このとき、音響部分データ２３２を遅延させる、即ち、後方にシフトしなければならないので、音響変更部１７４は、再生タイミングの変更に加え、音程を維持したまま音響の占有時間を長く変更するピッチ変換処理を行う。こうして、視聴者は、オブジェクトの遠近位置に定位された音像を違和感なく視聴することが可能となる。また、音響変更部１７４は、調整音響サンプル数の間にフェードアウト、ミュート、フェードイン処理を実行することでも同等の効果を得ることができる。
【００７７】
また、このように、オブジェクトが立体映像表示装置１２０より奥まって結像される場合は、一律に再生タイミングを遅延させるとはせず、後述するように空間的な広がりを重視する音響処理のみを施すとしてもよい。音響の遅延は、視聴者にＡＶ（Audio Visual）同期ずれとして認識され易い。また、立体映像表示装置１２０の後方に結像されるオブジェクトから発せられる音響は自然の摂理からしても比較的音量が小さくなることが多く、あまり意識されない。さらに、音像の定位も曖昧な場合が多い。したがって、音響変更部１７４において、オブジェクトが立体映像表示装置１２０より奥まっている場合には再生タイミングの調整は行わないと設定し、再生タイミングの遅延処理を省略することもできる。
【００７８】
また、ここでは、視聴席が４００席程度の映画館において、その中央に位置する座席に着席した視聴者がリップシンクの不一致を感じないように再生タイミングを調整する処理を例に挙げたが、このように時間調整された１の音響データを館内の全ての人に一律に提供する場合に限らず、例えば、全ての視聴者が立体映像を視認するための立体眼鏡と共に音響出力装置１４０としてのヘッドホンを装着し、音響変更部１７４は、それぞれの着席位置（予定視聴距離）に応じて再生タイミングが調整された個々の音響データをそのヘッドホンから出力するとしてもよい。
【００７９】
（２．音響空間効果）
また、音響変更部１７４は、導出された代表結像距離に基づいて、音響データの音響空間効果を変更する。例えば、音響変更部１７４は、代表結像距離が「表示画面より遠い領域」と判定された場合に、既存のクロストーク信号を逆側のスピーカーから混合して再生することで空間的な広がりを持った音響効果を視聴者に与える処理を実行する。また、音響変更部１７４は、代表結像距離が「表示画面より遠い領域」と判定された場合に、バーチャルサラウンドで用いられる仮想スピーカーの伝達特性をフィルタ回路で畳み込み、恰も遠方から音が聞こえるかのような音響効果を視聴者に与えることもできる。更に、音響変更部１７４は、代表結像距離が「表示画面より遠い領域」と判定された場合に、音響データの残響成分（リバーブ）を加える事でより空間的な広がりを持った音響効果を高める事もできる。また、その立体映像データが示す空間が屋内なのか屋外なのかに基づいて、音響変更部１７４は、屋内である場合の音響効果レベルを屋外である場合の音響効果レベルより大きくしたりることも可能である。
【００８０】
空間音響を再現する音響処理は、ここで示した音響空間効果に限定されず、また、回路構成の許容される複雑度に応じ、簡易な回路構成であればクロストーク信号の混合処理を採用し、より複雑な回路構成が許容されるようであれば、フィルタ畳み込み処理を採用するなど、任意に設計することができる。
【００８１】
（３．ゲイン量）
音像の遠近感は、音量によっても調整することができる。音響変更部１７４は、距離導出部１７２が導出した代表結像距離に応じて、音響出力部１６０における音響データのゲイン量を調整する。音響変更部１７４は、例えば、代表結像距離が「表示画面より近い領域」と判定された場合、その代表結像距離の大きさに比例させてゲイン量を上げ、代表結像距離が「表示画面より遠い領域」と判定された場合、その代表結像距離の大きさに比例させてゲイン量を下げる。また、このようなゲイン量の調整は、水平面の代表結像距離に限らず、高さ方向にも適用できる。こうして、より明確に、遠近感を持った音響空間を視聴者に提供することが可能となる。
【００８２】
以上のような、複数の音響処理（１．音響データの再生タイミング、２．音響空間効果、および、３．ゲイン量）のいずれかを単独で用いるか、または組み合わせて用いるかは、代表結像距離に応じて決定してもよい。このように複数の音響処理を適切に組み合わせることで、立体的な音響空間を形成することができ、立体映像との一体感と高い臨場感とを視聴者に提供することが可能となる。また、このような音響処理の処理順や、機能部（中央制御部１６２、音響バッファ１５８、音響出力部１６０）の配置は、任意に決定することができ、回路規模によっては一部の音響処理を省略することも可能である。
【００８３】
以上説明した音響再生装置１３０により、立体映像における複数のオブジェクトの結像位置に応じて適切な遠近位置に音像を定位し、音響効果の向上を図ることが可能となる。したがって視聴者は、立体映像に相応しい、より臨場感の高い音響効果を得ることができる。また、この構成により、特に、前方に飛び出してくる映像に追従した最適な音響空間を提供でき、視聴者は、リップシンクの不一致によって違和感を抱くこともない。
【００８４】
また、本実施形態の音響再生装置１３０は、立体映像データに基づいて、その立体映像データに相応しい音響処理を再生時に施す手法であるため、立体映像データのオブジェクト毎に映像と音響とを関連付けて管理する難易度の高い（高負荷）処理を要さず、また視聴環境に合わせて柔軟に対応できる。
【００８５】
また、コンピュータを、音響再生装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００８６】
（音響再生方法）
次に、上述した音響再生装置１３０を用いて、音響データを再生する音響再生方法を具体的に説明する。
【００８７】
図８は、音響再生方法の全体的な流れを示したフローチャートである。まず、音響再生装置１３０の映像取得部１５０は、立体映像を知覚させるための両眼視差を有する左眼用映像データと右眼用映像データとを取得する（Ｓ３００）。そして、視差導出部１７０は、映像取得部１５０が取得した左眼用映像データと右眼用映像データとを比較し（Ｓ３０２）、左眼用映像データおよび右眼用映像データにおける複数のブロックそれぞれの視差ベクトルを導出する（Ｓ３０４）。
【００８８】
続いて、距離導出部１７２は、視差導出部１７０で導出された複数のブロック２００の視差ベクトルを３つの領域Ａ、Ｂ、Ｃにグループ化して複数の領域Ａ、Ｂ、Ｃ毎に結像距離を導出し（Ｓ３０６）、その領域Ａ、Ｂ、Ｃの重み付けを異ならせて画面内のオブジェクトの配置を考慮した代表結像距離を導出する（Ｓ３０８）。
【００８９】
次に、音響変更部１７４は、距離導出部１７２が導出した代表結像距離に基づいて、左眼用映像データと右眼用映像データとに関連付けられた音響データを加工する（Ｓ３１０）。具体的に、音響変更部１７４は、その代表結像距離に応じた適切な音響効果を付加すべく、１．音響データの再生タイミング、２．音響空間効果、および、３．ゲイン量を調整する。最後に、音響出力部１６０は、音響変更部１７４が変更した音響データを音響出力装置に出力する（Ｓ３１２）。
【００９０】
かかる音響再生方法を用いることで、立体映像における複数のオブジェクトの結像位置に応じて適切な遠近位置にその音像を定位し、音響効果の向上を図ることが可能となる。したがって視聴者は、立体映像に相応しい、より臨場感の高い音響効果を得ることができる。
【００９１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００９２】
なお、本明細書の音響再生方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００９３】
本発明は、両眼視差によって立体映像を知覚させる立体映像データと共に音響データを再生する音響再生装置および音響再生方法に利用することができる。
【符号の説明】
【００９４】
１３０ …音響再生装置
１５０ …映像取得部
１６０ …音響出力部
１７０ …視差導出部
１７２ …距離導出部
１７４ …音響変更部
【技術分野】
【０００１】
本発明は、両眼視差によって立体映像を知覚させる立体映像データと共に音響データを再生する音響再生装置および音響再生方法に関する。
【背景技術】
【０００２】
音響データを再生するための音響再生装置では、ステレオ方式の複数のスピーカーを適切な位置に配置することで、スピーカー同士を結んだ平面上に任意の音像を定位可能であることが一般的に知られている。また、クロストークキャンセル技術を用いて仮想スピーカーから放音される音響信号を別のチャンネルに畳み込み、実際に音を発生させているスピーカーとは異なる空間に音像を定位させたり、マルチチャンネルスピーカーの配置によって立体音響を知覚させたりする再生方法も提案されている。このような立体感のある音響信号の再生手段により、同時に表示される映像信号に対して、ある程度の臨場感を与えることが可能となった。
【０００３】
近年、映像の表示技術の向上と共に、音響信号を再生する空間的配置方法にも改良が加えられ、これまでの平面的なスピーカー配置のみならず、高さ方向に階層的にスピーカーを配置し、表示された映像により近い音響空間を構築する方法も提案されている。
【０００４】
ところで、近年、ディスプレイ上に、両眼視差（水平視差）を有する２つの映像を提示し、視聴者に対してあたかもオブジェクト（被写体）が立体的に存在するように知覚させる立体映像表示装置が脚光を浴びている。かかる立体映像表示装置で用いられる２つの映像は、視点の異なる２つの撮像部で撮像された映像である。
【０００５】
このような、オブジェクトを立体的に知覚させる技術において、視聴者は、そのオブジェクトの遠近位置を正確に把握するので、より臨場感の高い音響空間の構築が望まれる。したがって、上述した仮想スピーカーを想定したバーチャル音響信号の再生や、マルチチャンネルスピーカーの配置といったスピーカーの配置に影響される音響再生装置に加え、また、代えて、ドップラー効果や音圧レベルの強弱を用いて心理学的に音源の移動を印象付ける音響の再生方法も検討されている。例えば、立体映像における遠景映像に対して音響信号を意図的に遅延させて、ユーザに遠景映像であることを認識させる技術が開示されている（例えば、特許文献１）。
【０００６】
また、予め特定されている映像内の複数のオブジェクトそれぞれに対して予め個別に音声を生成しておき、オブジェクトそれぞれの仮想的な視聴位置にオブジェクトそれぞれの音像（音声）を定位させた立体音響信号を生成する技術も公開されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平８−１４０２００号公報
【特許文献２】特開２００４−７２１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
近年、このような立体映像を３Ｄテレビジョンや３Ｄシネマを通じて容易に視聴できるようになってきた。しかし、例えば、３Ｄシネマでは、映像こそ立体的に表現されているものの、音声は２Ｄシネマの音声と共通なので、従来からあるフロント、サイド、バックに配置されたマルチチャンネル音響システムが未だに利用されている。
【０００９】
例えば、特許文献１では、オブジェクトが奥まる遠景映像に対して音響信号を遅延させ、それが遠景映像であることを視聴者により強く認識させることが可能であるが、立体映像が有する空間的パターンの認識が不十分であり、このような画一的な処理により、却って映像信号と音響信号の乖離性が生じかねない。さらに、音響信号の遅延のみでは、空間的な広がりを表すにも不十分であり、奥行き感はあるものの狭い空間に閉じ込められた感覚を与えてしまうこともあった。
【００１０】
また、３Ｄシネマと２Ｄシネマでは、同一の音響信号が用いられており、特許文献２の技術のように、音声がオブジェクト毎に予め分離されている訳ではない。特許文献２の技術のように、オブジェクト毎に個々の音声を関連付ける作業は、そもそも自動化が困難であり、煩雑かつ膨大な人手による作業を要するので、制作コストがかかりすぎるという問題があった。さらに、特許文献２の技術では、視聴する部屋やディスプレイの大きさ、スピーカーの配置等の再生時における音響再生環境を踏まえた上で一律に音響信号を出力して立体化することはできず、音響処理の複雑化を招いていた。
【００１１】
さらに、３Ｄシネマに限らず、立体映像と同時に再生される音響信号は、マルチチャンネルの構成により、ある程度の臨場感を映像信号に与えることができるが、立体映像におけるオブジェクトの遠近方向の位置に追従しておらず、音響空間として物足りなさが残っていた。
【００１２】
本発明は、このような課題に鑑み、立体映像におけるオブジェクトの結像位置に応じて適切な遠近位置に音像を定位し、音響効果の向上を図ることが可能な音響再生装置および音響再生方法を提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明の音響再生装置は、立体映像を知覚させるための両眼視差を有する左眼用映像データと右眼用映像データとを取得する映像取得部と、取得された左眼用映像データと右眼用映像データとを比較し、左眼用映像データおよび右眼用映像データにおける複数のブロックそれぞれの視差を導出する視差導出部と、導出された複数のブロックの視差に基づいて、表示画面に垂直な方向の表示画面と結像位置との距離である結像距離の代表値である代表結像距離を導出する距離導出部と、導出された代表結像距離に基づいて、左眼用映像データと右眼用映像データとに関連付けられた音響データの再生タイミングを変更する音響変更部と、変更された音響データを音響出力装置に出力する音響出力部とを備えることを特徴とする。
【００１４】
音響変更部は、さらに、導出された代表結像距離に基づいて、左眼用映像データと右眼用映像データとに関連付けられた音響データの音響空間効果を変更してもよい。
【００１５】
距離導出部は、複数のブロックをグループ化し、そのグループ毎に結像距離を、表示画面より近い領域、表示画面近辺の領域、表示画面より遠い領域のいずれかに割り当て、代表結像距離を導出してもよい。
【００１６】
上記課題を解決するために、本発明の音響再生方法は、立体映像を知覚させるための両眼視差を有する左眼用映像データと右眼用映像データとを取得し、取得した左眼用映像データと右眼用映像データとを比較し、左眼用映像データおよび右眼用映像データにおける複数のブロックそれぞれの視差を導出し、導出した複数のブロックの視差に基づいて、表示画面に垂直な方向の表示画面と結像位置との距離である結像距離の代表値である代表結像距離を導出し、導出した代表結像距離に基づいて、左眼用映像データと右眼用映像データとに関連付けられた音響データの再生タイミングを変更し、変更した音響データを音響出力装置に出力することを特徴とする。
【発明の効果】
【００１７】
以上説明したように本発明は、立体映像におけるオブジェクトの結像位置に応じて適切な遠近位置に音像を定位し、音響効果の向上を図ることが可能となる。したがって視聴者は、立体映像に相応しい、より臨場感の高い音響効果を得ることができる。
【図面の簡単な説明】
【００１８】
【図１】立体映像表示システムの概略的な接続関係を示したブロック図である。
【図２】音響再生装置の概略的な機能を示した機能ブロック図である。
【図３】動きベクトルの導出を説明するための説明図である。
【図４】距離導出部の結像距離の導出対象となる所定の領域を説明するための説明図である。
【図５】結像距離の導出処理を説明するための説明図である。
【図６】代表結像距離を求める処理を説明するための説明図である。
【図７】代表結像距離と再生タイミングとの関係を説明するための説明図である。
【図８】音響再生方法の全体的な流れを示したフローチャートである。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２０】
立体映像（立体画像）では、両眼視差（水平視差）を有する２つの映像を提示し、視聴者に対してあたかもオブジェクト（被写体）が立体的に存在するように知覚させる。したがって、視差によっては、実際に映像が表示されている表示画面よりオブジェクトが飛び出して知覚されたり、奥まって知覚されたりする。
【００２１】
これに対し、映像に同期して発せられる音響では、従来から行われていたように、ステレオまたはマルチチャンネル構成で音像を定位させている。かかる構成により、ある程度の音響空間を視聴者に提供することはできるが、立体（３Ｄ）映像と平面（２Ｄ）映像とで共通の音響信号（音響データ）が用いられている限り、スピーカーの配置や出力する音響信号の音像位置が固定されてしまうので、音響信号は、表示画面上に結像される映像、即ち両眼視差を有さない映像としか調和しなかった。したがって、立体映像におけるオブジェクトの結像位置が変化したとしても、音像の位置はそれに追従して変化しないので、視覚を通じたオブジェクトの位置と、聴覚を通じたオブジェクトの位置とが異なって感じられる現象（リップシンクの不一致）が生じていた。
【００２２】
そこで、本実施形態の音響再生装置は、立体映像におけるオブジェクトの結像位置に応じて適切な遠近位置に音像を定位し、音響効果の向上を図ることが可能な音響再生装置および音響再生方法を提供することを目的とする。以下、かかる音響再生装置を含む立体映像表示システムの構成を説明し、その後で音響再生方法の処理の流れを詳述する。
【００２３】
（第１の実施形態：立体映像表示システム１００）
図１は、立体映像表示システム１００の概略的な接続関係を示したブロック図である。図１に示すように、立体映像表示システム１００は、立体映像再生装置１１０と、立体映像表示装置１２０と、音響再生装置１３０と、音響出力装置１４０とを含んで構成される。
【００２４】
立体映像再生装置１１０は、立体映像を知覚させるための両眼視差を有する立体映像データ（左眼用映像データおよび右眼用映像データ）を取得し、立体映像表示装置１２０に表示できる形式に加工する。立体映像表示装置１２０は、シネマスクリーン、プロジェクタ（投影機）、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、例えば、ラインシーケンシャル方式を用いる場合、偏光特性が隔行で（１ライン毎に）異なるように形成される。視聴者１０２は、このようにして偏光特性が異なる映像を特別な眼鏡を通じて左右独立して視認することで立体映像を知覚することができる。
【００２５】
音響再生装置１３０は、立体映像再生装置１１０で再生される立体映像データに同期している音響データを取得し、立体映像データに応じて音響データを加工する。音響出力装置１４０は、例えば、スピーカーで構成され、音響再生装置１３０で加工された音響データ（音響信号）を出力する。ここでは、音響再生装置１３０を立体映像再生装置１１０と別体に設けたが、一体的に設けることも可能である。以下、特に、音響再生装置１３０について詳述する。
【００２６】
（音響再生装置１３０）
図２は、音響再生装置１３０の概略的な機能を示した機能ブロック図である。図２に示すように、音響再生装置１３０は、映像取得部１５０と、音響取得部１５２と、データ保持部１５４と、操作部１５６と、音響バッファ１５８と、音響出力部１６０と、中央制御部１６２とを含んで構成される。本実施形態における音響再生装置１３０は、理解を容易にするため、立体映像表示装置１２０と別体に構成しているが、立体映像表示装置１２０と一体的に構成することもできる。
【００２７】
映像取得部１５０は、立体映像を知覚させるための両眼視差を有する立体映像データ（左眼用映像データおよび右眼用映像データ）を立体映像再生装置１１０から取得する。このような立体映像を知覚させるための立体映像データは、左眼用映像データと右眼用映像データの物理的配置または時間的配置の違いによって、２つの映像データを左右並置したＬＲ独立方式、２つの映像データを水平方向に１／２圧縮して左右並置したサイドバイサイド方式、２つの映像データを垂直方向に１／２圧縮して上下並置したアバヴアンドビロウ方式、２つの映像データを時間軸方向に交互に配置したフレームシーケンシャル方式等、様々な方式によって形成される。また、ここで示した方式以外の様々な方式を用いることが可能なのは言うまでもない。ここで、取得された立体映像データは、主として音響データの加工に用いられる。
【００２８】
音響取得部１５２は、映像取得部１５０で取得された立体映像データと同期可能な形式で音響データを取得する。例えば、立体映像データと同期させて音響データを読み出したり、有線通信または無線通信による、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）といったインターフェースを通じて立体映像データと音響データを並行して受信したり、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ポータブルメモリカード等、着脱可能な記憶媒体から読み出すことができる。ここで、音響取得部１５２が、仮に立体映像データと音響データとを１系統のラインから取得したとしても、音響データに加工を施すため、立体映像データと音響データは一旦分離される。
【００２９】
データ保持部１５４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、映像取得部１５０で取得された立体映像データや音響取得部１５２で取得された音響データの他、以下に示す各機能部の処理に必要な各情報を一時的に保持する。
【００３０】
操作部１５６は、操作キー、十字キー、ジョイスティック、タッチパネル等のスイッチから構成され、視聴者の操作入力を受け付ける。
【００３１】
音響バッファ１５８は、ＲＡＭ等で構成され、音響取得部１５２で取得された音響データを一時的に保持し、音響データの入力レートの変動を吸収したり、中央制御部１６２からの制御指令に応じて、適切なタイミングで、保持した音響データを音響出力部１６０に出力したりする。
【００３２】
音響出力部１６０は、中央制御部１６２で加工された音響データを音響出力装置１４０で利用できるフォーマット形式、例えば、アナログ信号（音響信号）に変更し、音響出力装置１４０に出力する。
【００３３】
中央制御部１６２は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、音響再生装置１３０全体を管理および制御する。また、本実施形態において、中央制御部１６２は、視差導出部１７０と、距離導出部１７２と、音響変更部１７４としても機能する。
【００３４】
視差導出部１７０は、映像取得部１５０が取得した立体映像データの左眼用映像データと右眼用映像データとを比較し、両映像データ中のオブジェクト（被写体）の視差の方向と大きさとを示す視差ベクトル（視差）を導出して距離導出部１７２に出力する。本実施形態では、映像内のオブジェクトを特定せず、左眼用映像データおよび右眼用映像データそれぞれを格子状に分割した複数のブロックについて視差ベクトルを導出している。
【００３５】
また、立体映像において、視差は水平方向にしか生じないので、視差ベクトルの方向は単純に正負の符号（＋−）で示すことができ、立体映像表示装置１２０の表示位置より視聴者側（飛び出し側）に結像させる方向を正、立体映像表示装置１２０の表示位置より視聴者と逆側（奥まる側）に結像される方向を負とする。かかる視差ベクトルの導出には、様々な既存のアルゴリズムを適用することができるが、ここでは、２Ｄ映像における同一のオブジェクトがフレームデータ間でどれだけ動いたかを特定する、動きベクトル検出アルゴリズムを応用する。ここで、フレームデータは、１の映像を構成する時系列に並べられた静止画データをいう。
【００３６】
図３は、動きベクトルの導出を説明するための説明図である。動画圧縮技術であるＭＰＥＧ（Moving Picture Experts Group）においては、ブロックマッチングに基づいて動きベクトルを検出する動きベクトル検出アルゴリズムが用いられる。ここで動きベクトルは、２つのフレームデータ間における同一のオブジェクトの変位をベクトルで示したものである。ＭＰＥＧにおける動きベクトル検出アルゴリズムでは、図３（ａ）に示すように、メモリに保持されている過去のフレームデータを、所定の（例えば１６画素×１６画素）ブロック（領域）２００に分割し、過去のフレームデータから選択した任意のブロック２００ａについて、現在のフレームデータのうち、同一の大きさで最も類似しているブロック２００ｂを抽出し、両者の位置関係から動きベクトル２０２を検出する。
【００３７】
かかるブロックマッチングにおいて、ブロックのサイズを大きくとると、粗い映像に対しては比較回数が減り比較処理の負荷が軽減するが、緻密な映像に対して、動きベクトルの検出精度が低下しがちになる。しかし、本実施形態では、立体映像に関する動きベクトルが映像における水平方向の変位としてしか現れないため、検出精度が比較的高くなり、一般的な動画像で用いられる１６×１６のブロック、または、これより大きいサイズのブロックでも十分に検出精度を維持することが可能である。
【００３８】
本実施形態において、視差導出部１７０は、上述した動きベクトル検出アルゴリズムを利用して２つの映像データ（左眼用映像データと右眼用映像データ）間の動きベクトルを検出する。ここでは、時間差のある２つのフレームデータを、同時に生成された左右眼用の２つの映像データに置き換えて動きベクトルを検出している。視差導出部１７０は、データ保持部１５４に保持された立体映像データ（右眼用映像データと左眼用映像データ）を読み出し、図３（ｂ）に示すように、映像データを所定のブロック２００に分割し、分割したブロック毎に、対応するブロックとの動きベクトル２０２を導出する。
【００３９】
具体的に、視差導出部１７０は、２つの映像データのうちの一方である左眼用映像データから選択された任意のブロック２００ｃの各画素の輝度（Ｙ色差信号）と、右眼用映像データの任意の位置におけるブロック２００ｄの対応する各画素の輝度との差分を計算し、ブロック内の全ての画素の輝度の差分の総和を導出する。続いて、右眼用映像データのブロック２００ｄを所定距離移動し、輝度の差分の総和を導出する処理を繰り返し、輝度の差分の総和が最も小さくなる位置におけるブロック２００ｄを、輝度が最も近いブロックとして抽出し、そのブロックの中心または任意の位置同士の変位をブロック２００ｃの動きベクトル２０２とする。
【００４０】
また、視差導出部１７０は、図３（ｃ）に示すように、右眼用映像データから選択された任意のブロック２００ｅの各画素の輝度と、左眼用映像データの任意の位置におけるブロック２００ｆの対応する各画素の輝度との差分を計算し、ブロック内の全ての画素の輝度の差分の総和を導出する。続いて、左眼用映像データのブロック２００ｆを所定距離移動して、輝度の差分の総和を導出する処理を繰り返し、輝度の差分の総和が最も小さくなる位置におけるブロック２００ｆを、輝度が最も近いブロックとして抽出し、そのブロックの中心または任意の位置同士の変位をブロック２００ｅの動きベクトル２０２とする。こうして、左眼用映像データおよび右眼用映像データそれぞれのブロック２００に関しても動きベクトルが検出される。
【００４１】
動きベクトル検出アルゴリズムにおいて、比較元である一方の映像データでは、分割されたブロック２００の中から、比較元となるブロック２００が、例えば、映像データの左上から右方向に、右端に到達すると一段下げて再び左端から右方向に順次選択され、映像データ内の全てのブロック２００に関して動きベクトルが導出されるとその計算が終了する。また、本実施形態の動きベクトル検出アルゴリズムでは、比較先である他方の映像データのブロックを、既存のフレームデータ間の動きベクトル検出アルゴリズムのように全範囲から抽出しなくとも、上述したように、その比較先のブロックを水平方向にあるブロックのみに限定することができる。すなわち、比較先のブロック２００としては、比較元のブロック２００ｃ、２００ｅに対して、垂直方向の座標が等しい領域（図３（ｂ）、（ｃ）において破線２０４ａ、２０４ｂで囲われた領域）のみが対象となる。
【００４２】
上述したように、映像圧縮において動きベクトル検出アルゴリズムが確立しており、本実施形態では、その動きベクトル検出アルゴリズムを利用して動きベクトルを求めている。また、動画圧縮に用いられる動きベクトルの検出と異なり、立体映像に関する動きベクトルは、映像における水平方向の変位としてしか現れないため、視差導出部１７０は、水平方向にのみ動きベクトルを検出すればよい。かかる動きベクトルの検出を水平方向に限定する構成により、処理時間および処理負荷を著しく低減でき、ひいては音響再生装置１３０の回路を小型化することが可能となる。
【００４３】
視差導出部１７０は、左眼用映像データのブロック２００について、右眼用映像データ内で類似しているブロックを抽出すると、そのブロック間の動きベクトルを左眼用映像データのそのブロック２００の視差ベクトルとする。同様に、視差導出部１７０は、右眼用映像データのブロック２００について、左眼用映像データ内で類似しているブロックを抽出すると、そのブロック間の動きベクトルを右眼用映像データのそのブロック２００の視差ベクトルとする。
【００４４】
さらに、上記のように別々に算出した左眼用映像データの視差ベクトルと、それに対応する右眼用映像データの視差ベクトルは、大きさはほぼ同じであり、視差ベクトルの向きが反対になっていると考えられる。そのため、この条件に当てはまらない視差ベクトルが検出された場合には、動きベクトル検出アルゴリズムにおけるパラメータを変えて再度検出することにより、視差ベクトルの検出精度を高めることもできる。
【００４５】
また、視差導出部１７０は、上述した動きベクトルを用いた処理に限らず、他の様々な処理によって視差ベクトルを導出することができる。例えば、視差導出部１７０は、立体映像データの解像度を一旦落とし、相似する部分映像の位置を検出して、ある程度、探索範囲を絞った上で、その探索範囲内の分割されたブロック同士を比較し、画素毎の差分値の合計が最小になるブロックの組み合わせを抽出して視差ベクトルを導出する。
【００４６】
さらに、立体映像データを構成する左眼用映像データおよび右眼用映像データ同士は、相関性が高く、供給される信号に高能率符号化圧縮が施されている場合、両映像データの視差ベクトルは、動きベクトル情報として別途符号化されていることがある。この場合、上記符号化情報から視差ベクトルを導くこともできる。このときのブロックサイズは圧縮符号化で採用されているブロックサイズに準じている。
【００４７】
なお、同一のオブジェクトであっても、左眼用映像データと右眼用映像データとで、輻輳角分だけ撮像画角が異なり、また、レンズとの距離も異なるため、オブジェクトの一部が一方の映像データで陰になったり、一方の左右端部の映像が欠落したりして、左眼用映像データのブロックと右眼用映像データのブロックが完全に一致することが少ない。しかし、本実施形態においては、分割されたブロック毎に大凡の視差ベクトルが推定できれば足りる。
【００４８】
距離導出部１７２は、視差導出部１７０で導出された複数のブロック２００毎の視差に基づいて、当該立体映像データが表示される表示画面に垂直な方向の表示画面と結像位置との距離である結像距離の代表値である代表結像距離を導出する。ここでは、立体映像データに含まれる全ブロック２００をいくつかのグループ（領域）にグループ化し、その領域毎に結像距離を導出する。
【００４９】
図４は、距離導出部１７２の結像距離の導出対象となる所定の領域を説明するための説明図である。距離導出部１７２は、まず、視差導出部１７０で導出された、図４（ａ）に示したようなブロック２００を、図４（ｂ）の如く、画面中央に位置する領域Ａ（図４中、白抜きで示す。）と、画面上部から領域Ａを除いた領域Ｂ（図４中、ハッチングで示す。）と、画面下部から領域Ａを除いた領域Ｃ（図４中、クロスハッチングで示す。）とに振り分ける。そして、距離導出部１７２は、領域Ａ、Ｂ、Ｃ内のブロック２００の視差ベクトルをそれぞれ平均化して、領域Ａ、Ｂ、Ｃ毎の平均的な結像距離を導出する。
【００５０】
距離導出部１７２は、結像距離を導出するため、上述した視差ベクトルの他、視聴者の眼間距離（基線長：例えば、６ｃｍ）を示す眼間距離情報や、視聴者と立体映像表示装置１２０との予定視聴距離（例えば、１０ｍ）を示す視聴予定距離情報を、操作部１５６を通じて、または予め設定されたデフォルト値を参照して取得する。また、視聴予定距離情報を、立体映像表示装置１２０からの視聴者の距離を測定可能な距離センサを用いて自動的に認識することも可能である。さらに、映像データ中の視差ベクトルの大きさを立体映像表示装置１２０に表示される実際の視差に置き換えるため、立体映像表示装置１２０の大きさや画素数（解像度）も予め取得されている。
【００５１】
図５は、結像距離の導出処理を説明するための説明図である。図５（ａ）のように左眼用映像データ２１０にオブジェクト２２０ａが配され、右眼用映像データ２１２に被写体２２０ｂが配されている場合（左眼用映像データ２１０のオブジェクト２２０ａが右眼用映像データ２１２の被写体２２０ｂより右側に存在する場合：視差ベクトル＞０）、左眼２２２ａと左眼用映像データ２１０のオブジェクト２２０ａと結ぶ直線と、右眼２２２ｂと右眼用映像データ２１２のオブジェクト２２０ｂとを結ぶ直線とが立体映像表示装置１２０の画面前方で交差し、その交差する点でオブジェクト２２０の映像が結像され、視聴者は、そのオブジェクト２２０が飛び出して見えることとなる。
【００５２】
例えば、オブジェクト２２０の結像位置２２４の立体映像表示装置１２０（輻輳点）からの結像距離Ｋ、即ち、立体映像表示装置１２０から飛び出して見える距離は、左眼用映像データ２１０と右眼用映像データ２１２とのオブジェクト２２０の視差ベクトルをＨ、視聴者の眼間距離をＩ、視聴者と立体映像表示装置１２０との視聴予定距離をＪとすると、以下の数式１で表される。
Ｋ＝（Ｈ／（Ｈ＋Ｉ））×Ｊ …（数式1）
このとき、視差ベクトルＨは、立体映像表示装置１２０の大きさをＷ、水平方向の解像度をＲ、視差ベクトルに相当する画素数をＰとすると、以下の数式２を用いて導くことができる。
Ｈ＝Ｐ×Ｗ／Ｒ …（数式２）
したがって、視差ベクトルＨ＝＋１０ｃｍ、眼間距離Ｉ＝６ｃｍ、視聴予定距離Ｊ＝１０ｍとすると、立体映像表示装置１２０からの結像距離Ｋ＝１０／１６×１０００＝６２５ｃｍとなり、オブジェクト２２０は６．２５ｍ飛び出して見えることとなる。また、視聴予定距離Ｊを変数とし、結像距離Ｋを変数Ｊの関数として相対的に示すこともできる。かかる結像距離Ｋは、音像を立体的に定位させる上で指標の一つとなる。
【００５３】
上述した数式１および数式２は、立体映像表示装置１２０の手前側にオブジェクト２２０を結像する場合に限られず、奥側にオブジェクト２２０を結像する場合にも適用できる。図５（ｂ）のように左眼用映像データ２１０にオブジェクト２２０ａが配され、右眼用映像データ２１２に被写体２２０ｂが配されている場合（左眼用映像データ２１０のオブジェクト２２０ａが右眼用映像データ２１２の被写体２２０ｂより左側に存在する場合：視差ベクトル＜０）、左眼２２２ａと左眼用映像データ２１０のオブジェクト２２０ａと結ぶ直線と、右眼２２２ｂと右眼用映像データ２１２のオブジェクト２２０ｂとを結ぶ直線とが立体映像表示装置１２０の画面後方で交差し、その交差する点でオブジェクト２２０の映像が結像され、視聴者は、そのオブジェクト２２０が奥まって見えることとなる。
【００５４】
このとき、立体映像表示装置１２０から奥まって見える結像距離Ｋも、左眼用映像データ２１０と右眼用映像データ２１２でのオブジェクト２２０の視差をＨ（ただし、Ｈは負の値をとる）、視聴者の眼間距離をＩ、視聴予定距離をＪとすると、飛び出して見える場合同様、数式１で表すことができる。
【００５５】
また、視差ベクトルの大きさが０（ゼロ）となる場合は、上述した数式１に視差ベクトルＨ＝０を代入して理解できるように、結像距離Ｋ＝０となり、視聴者は、そのオブジェクト２２０を立体映像表示装置１２０の表示画面の遠近位置に知覚することとなる。
【００５６】
距離導出部１７２は、このような結像距離を領域Ａ、Ｂ、Ｃそれぞれについて導出する。こうして、距離導出部１７２は、立体映像データにおける領域Ａ、Ｂ、Ｃの遠近方向の相対的な凹凸関係を認識することが可能となる。そして、距離導出部１７２は、このような領域Ａ、Ｂ、Ｃの凹凸を判定基準と照らし合わせ、映像データ全体が視聴者にどのように知覚されるかを予測して、１の結像距離である代表結像距離を求め、その映像データを用いて最適な空間音響処理を施す。こうすることで、視聴者は、より一層の立体感を得ることができる。
【００５７】
また、以下では、領域Ａ、Ｂ、Ｃそれぞれの結像距離や代表結像距離として、オブジェクトが飛び出して知覚される「表示画面より近い領域」、オブジェクトが表示画面の位置に知覚される「表示画面近辺の領域」、オブジェクトが奥まって知覚される「表示画面より遠い領域」のいずれかの概念を用いることとする。このような結像距離を３つの段階に単純化する構成により、以下に示す代表結像距離の導出処理の手順を簡素化でき、負荷軽減を図ることが可能となる。
【００５８】
上述したように、距離導出部１７２は、領域Ａ、Ｂ、Ｃ毎に結像距離を導出している。結像距離は、表示画面より飛び出して結像される場合に正の値で表され、奥まって結像される場合に負の値で表される。また、立体映像表示装置１２０の表示画面の位置に結像される場合は、その符号に拘わらず、結像距離が０、または、結像距離の絶対値が所定の範囲以内となる。したがって、領域Ａ、Ｂ、Ｃのいずれか任意の領域について、距離導出部１７２は、上記の結像距離の導出結果ｒが正の値を持つ閾値Ｔ１以上（Ｔ１≦ｒ）であれば、その結像距離を「表示画面より近い領域」と判定し、導出結果ｒが負の値を持つ閾値Ｔ２以上かつ正の値を持つ閾値Ｔ１未満（Ｔ２≦ｒ＜Ｔ１）であれば「表示画面近辺の領域」と判定し、導出結果ｒが負の値の閾値Ｔ２未満（ｒ＜Ｔ２）であれば、「表示画面より遠い領域」と判定する。
【００５９】
図６は、代表結像距離を求める処理を説明するための説明図である。距離導出部１７２は、まず、領域Ａの結像距離に基づいて代表結像距離の導出を試みる。このように領域Ａに関しての処理を優先するのは、映像データにおいて、音響効果と一体化すべき映像は画面中央、即ち領域Ａに配置されるシーンが支配的であり、他の映像領域より優先的に扱われるべきだからである。したがって、距離導出部１７２は、領域Ａの判定処理から開始する。距離導出部１７２は、領域Ａの結像距離が「表示画面より近い領域」（図６中「＋」で示す。）、「表示画面近辺の領域」（図６中「０」で示す。）、「表示画面より遠い領域」（図６中「−」で示す。）のいずれであるか判定し、「表示画面より近い領域」であると判定されると、図６（ａ）を用いて、代表結像距離を「表示画面より近い領域」（＋）とする。
【００６０】
代表結像距離が「表示画面より遠い領域」と判定された場合の代表結像距離は、領域Ａの結像距離をそのまま転用することもできるが、ここでは、領域Ａにおける全ブロック２００の内で、結像距離が最大となる、即ち、一番飛び出しているブロックを抽出し、その結像距離を代表結像距離とすることとしている。このようにして、音響効果と一体化すべき画面中央（領域Ａ）の、さらに視聴者に意識され易い一番手前のオブジェクトの結像距離に音響効果を付与することが可能となる。
【００６１】
また、領域Ａの結像距離が、「表示画面近辺の領域」（０）であれば、さらに領域Ｂ、Ｃの結像距離も参照し、図６（ｂ）を用いて代表結像距離を決定する。ここで、領域Ｂと領域Ｃといった上下の映像領域の凹凸が異なると判定された場合、例えば、領域Ｂが「表示画面より近い領域」（＋）であり、領域Ｃが「表示画面より遠い領域」（−）の場合、距離導出部１７２は、距離感のある映像と判定し、代表結像距離を「表示画面より遠い領域」（−）とする。それ以外と判定された場合、距離導出部１７２は、代表結像距離を「表示画面近辺の領域」（０）とする。
【００６２】
また、領域Ａの結像距離が、「表示画面より遠い領域」（−）であれば、さらに領域Ｂ、Ｃの結像距離も参照し、図６（ｃ）を用いて代表結像距離を決定する。このように、画面の中央に位置する領域Ａが奥まって結像され、上下の映像領域が反対に手前側に結像される傾向が強い場合、即ち、領域Ｂまたは領域Ｃの少なくとも一方が「表示画面より近い領域」（＋）であり、かつ、いずれも「表示画面より遠い領域」（−）ではない場合、距離導出部１７２は、画面全体の平均値を考慮して代表結像距離を「表示画面近辺の領域」（０）とする。それ以外と判定された場合、距離導出部１７２は、領域Ａと同様に奥まって結像される傾向が強いと判定し、代表結像距離を「表示画面より遠い領域」（−）とする。ここで、代表結像距離が「表示画面近辺の領域」（０）であると判定された場合の最終的な代表結像距離は０であり、代表結像距離が「表示画面より遠い領域」と判定された場合の代表結像距離は、予め定められた所定の値または所定の比率とすることができる。
【００６３】
このように、距離導出部１７２は、画面中央に位置する領域Ａとその上下に位置する領域Ｂ、Ｃとで重み付けを異ならせることによって、画面内のオブジェクトの配置も考慮された適切な１の代表結像距離を導出することができる。また、複数のブロック２００をグループ化し、それを３つの段階（「表示画面より近い領域」、「表示画面近辺の領域」、「表示画面より遠い領域」）で判定するといった簡易な処理手順を採用することで、代表結像距離を短時間で導出することができ、以下の音響変更部１７４によって音響データをリアルタイムに加工することが可能となるので、視聴者は、立体映像におけるオブジェクトが遠近方向に移動した場合であってもその位置に適した音響効果をリアルタイムに得ることができる。
【００６４】
ここで、図６を用いて説明した代表結像距離の導出手順は一例であり、領域Ａ、Ｂ、Ｃの結像距離の組み合わせから１の代表結像距離を導出する様々なテーブルを用いることができる。また、本実施形態では、小区分であるブロック毎に視差を求め、それを大区分である領域Ａ、Ｂ、Ｃ毎に集計して画面の凹凸を判定しているが、領域は３つに限らず、例えば、中央領域と上下左右の４つの領域といったように、計算負荷の許容範囲内でさらに多くの領域に分割してもよいし、全てのブロック２００を対象とすることもできる。さらに、ここでは、計算や判定手順を簡素化すべく、結像距離を「表示画面より近い領域」、「表示画面近辺の領域」、「表示画面より遠い領域」の３つの段階に簡素化したが、かかる場合に限られず、さらに多くの段階に細分化してもよく、結像距離の数値自体を用いることも可能である。
【００６５】
さらに、他の例として、領域Ａが奥まっているが領域Ｂ、Ｃが飛び出している状況を、トンネルのような音響空間であると判定したり、全領域Ａ、Ｂ、Ｃが無限遠の奥行きを持つ状況を宇宙空間のような音響空間であると判定して、その旨、音響変更部１７４に伝達し、音響変更部１７４で、そのような空間を適切に再現するように音響データを加工してもよい。
【００６６】
音響変更部１７４は、距離導出部１７２によって導出された代表結像距離に基づいて、立体映像データに関連付けられた音響データを加工する。具体的に、音響変更部１７４は、代表結像距離が「表示画面より近い領域」であると判定されている場合、即ち、主たるオブジェクトが表示画面から飛び出して知覚される場合に、その飛び出したオブジェクトの結像位置に音像を定位させて臨場感を高める。また、代表結像距離が「表示画面近辺の領域」であると判定されている場合、音響変更部１７４は、音響取得部１５２が取得した音響データをそのまま利用する。さらに、代表結像距離が「表示画面より遠い領域」であると判定されている場合、即ち、全体的に画面が奥まって知覚されている場合、音響変更部１７４は、より大きな空間的な広がりを高めるために開放感を与える音響処理を行う。ここでは、加工後の音響データを出力する音響出力装置１４０は、立体映像表示装置１２０と遠近方向の位置が等しいとする。
【００６７】
音響変更部１７４は、その代表結像距離に応じた適切な音響効果を付加すべく、１．音響データの再生タイミング、２．音響空間効果、および、３．ゲイン量を調整する。以下、このような音響効果を個別に詳述する。
【００６８】
（１．音響データの再生タイミング）
音響変更部１７４は、代表結像距離に基づき、空間的な音の伝播速度を考慮して音響データの再生タイミング（再生時刻）を調整する。このため、音響変更部１７４は、音響バッファ１５８を用いて再生タイミング（または音響バッファ１５８の蓄積量）を制御すると共に、ピッチ変換処理を行っている。ここでは、まず、再生タイミングを変更することの効果について述べる。
【００６９】
図７は、代表結像距離と再生タイミングとの関係を説明するための説明図である。図７中、映像バッファ２２８は、立体映像再生装置１１０内に設けられた映像バッファを参考として示し、立体映像データの部分データである映像部分データ２３０および音響データの部分データである音響部分データ２３２に付された指標（「Ｖ」および「Ａ」）の添え字（１、２、…）は、映像部分データ２３０および音響部分データ２３２の再生順を示す。
【００７０】
音響変更部１７４が再生タイミングの調整を行わない場合、立体映像データの部分データ（例えば、パケットやフレーム等）である映像部分データ２３０と音響データの部分データである音響部分データ２３２とは、図７（ａ）に示されたように、それぞれのバッファ（映像バッファ２２８、音響バッファ１５８）に入出力される。映像バッファ２２８および音響バッファ１５８は、ＦＩＦＯ（First In First Out）で構成され、それぞれ取得された映像部分データ２３０および音響部分データ２３２を所定量蓄積し、その映像部分データ２３０および音響部分データ２３２に付されたタイムスタンプ等を用いて、適切なタイミングで出力される。したがって、音響変更部１７４が再生タイミングの調整を行わない場合、図７（ａ）にＶ１とＡ１とで示したように、映像部分データ２３０および音響部分データ２３２とが予め定められた時刻に同期して出力されることとなる。
【００７１】
このように、音響変更部１７４が再生タイミングの調整を行っていない状態で、代表結像距離が「表示画面より近い領域」であると判定されている場合、即ち、主たるオブジェクトが表示画面から飛び出して知覚される場合に、本来近くに感じられるはずの視聴者に近いオブジェクトの音声が表示画面位置から聞こえる、所謂リップシンクの不一致によって、視聴者は違和感を覚えてしまう。
【００７２】
特に、視聴席が４００席を超えるような大きな映画館においては、館内中心に位置する座席からスクリーン（立体映像表示装置１２０）までの視聴予定距離が２０ｍに至ることもあり、スクリーンと等しい位置に設置された音響出力装置１４０から再生された音響が視聴者に到達する時間は６０ｍｓｅｃにもなる。一般に、視聴者は、オブジェクトの結像位置から発せられたとした場合の音響と実際の音響との時間差が約２０ｍｓｅｃを超えた辺りからリップシンクの不一致を感じるので、館内中央の座席における６０ｍｓｅｃの時間差は人間の識別能力をもって十分に認識可能な時間幅であることが理解できる。
【００７３】
そこで、音響変更部１７４は、例えば、上述したような最大視聴予定距離が２０ｍである映画館において、館内中央付近である視聴予定距離１０ｍに着席している視聴者がリップシンクの不一致を感じない（リップシンク０）ように音響データの再生タイミングを調整する。上述した距離導出部１７２では、映画館での視聴環境（スクリーンの大きさおよび解像度、視聴者の眼間距離、視聴予定距離等）に応じて上述した数式１を用い代表結像距離が求められている。したがって、音響変更部１７４は、その代表結像距離に相当する時間分音響データの再生タイミングを調整、即ち、音響バッファ１５８からの出力時刻を制御すれば、オブジェクトの結像位置に音像（音響）を同時に定位させる事が可能となる。
【００７４】
音響バッファ１５８からの本来の出力時刻との差分時間に相当する音響部分データ２３２の数Ｎは、音響部分データ２３２のサンプリング周波数をＦｓ、代表結像距離をＫｓ、音速を３４０ｍ／ｓｅｃとすると、以下の数式３で表される。
Ｎ＝Ｆｓ×Ｋｓ／３４０ …（数式３）
ただし、視聴環境において、立体映像表示装置１２０と音響出力装置１４０との遠近方向の位置を異ならせて音響データにオフセットが施されていたり、立体映像データの再生にオフセットが施されている場合、そのオフセットも考慮して音響部分データ２３２の数Ｎが導出される。
【００７５】
音響変更部１７４は、このように導出された音響部分データ２３２の数Ｎを用いて、音響バッファ１５８の再生タイミングを制御する。例えば、代表結像距離が「表示画面より近い領域」と判定され、音響部分データ２３２の数Ｎが「＋２」となった場合、音響変更部１７４は、図７（ｂ）のように、音響部分データ２３２の出力を早め、映像部分データ２３０の「Ｖ１」が出力されるタイミングで、音響部分データ２３２の「Ａ３」を出力する。このように、本来の再生タイミングより出力するタイミングを早めることで飛び出して知覚されるオブジェクトの結像位置に音像を定位することが可能となる。このとき、音響部分データ２３２の再生タイミングを早める、即ち、前方にシフトしなければならないので、音響変更部１７４は、再生タイミングの変更に加え、音程を維持したまま音響の占有時間を短く変更するピッチ変換処理を行う。こうして、視聴者は、オブジェクトの遠近位置に定位された音像（音響）を違和感なく視聴することが可能となる。また、音響変更部１７４は、調整音響サンプル数の間にクロスフェード処理を実行することでも同等の効果を得ることができる。
【００７６】
また、代表結像距離が「表示画面より遠い領域」と判定され、音響部分データ２３２の数Ｎが「−２」となった場合、音響変更部１７４は、図７（ｃ）のように、音響部分データ２３２の出力を遅延させ、映像部分データ２３０の「Ｖ３」が出力されるタイミングになって、音響部分データ２３２の「Ａ１」を出力する。このように、本来の再生タイミングより出力するタイミングを遅延させることで奥まる位置にあるオブジェクトの結像位置に音像を定位することが可能となる。このとき、音響部分データ２３２を遅延させる、即ち、後方にシフトしなければならないので、音響変更部１７４は、再生タイミングの変更に加え、音程を維持したまま音響の占有時間を長く変更するピッチ変換処理を行う。こうして、視聴者は、オブジェクトの遠近位置に定位された音像を違和感なく視聴することが可能となる。また、音響変更部１７４は、調整音響サンプル数の間にフェードアウト、ミュート、フェードイン処理を実行することでも同等の効果を得ることができる。
【００７７】
また、このように、オブジェクトが立体映像表示装置１２０より奥まって結像される場合は、一律に再生タイミングを遅延させるとはせず、後述するように空間的な広がりを重視する音響処理のみを施すとしてもよい。音響の遅延は、視聴者にＡＶ（Audio Visual）同期ずれとして認識され易い。また、立体映像表示装置１２０の後方に結像されるオブジェクトから発せられる音響は自然の摂理からしても比較的音量が小さくなることが多く、あまり意識されない。さらに、音像の定位も曖昧な場合が多い。したがって、音響変更部１７４において、オブジェクトが立体映像表示装置１２０より奥まっている場合には再生タイミングの調整は行わないと設定し、再生タイミングの遅延処理を省略することもできる。
【００７８】
また、ここでは、視聴席が４００席程度の映画館において、その中央に位置する座席に着席した視聴者がリップシンクの不一致を感じないように再生タイミングを調整する処理を例に挙げたが、このように時間調整された１の音響データを館内の全ての人に一律に提供する場合に限らず、例えば、全ての視聴者が立体映像を視認するための立体眼鏡と共に音響出力装置１４０としてのヘッドホンを装着し、音響変更部１７４は、それぞれの着席位置（予定視聴距離）に応じて再生タイミングが調整された個々の音響データをそのヘッドホンから出力するとしてもよい。
【００７９】
（２．音響空間効果）
また、音響変更部１７４は、導出された代表結像距離に基づいて、音響データの音響空間効果を変更する。例えば、音響変更部１７４は、代表結像距離が「表示画面より遠い領域」と判定された場合に、既存のクロストーク信号を逆側のスピーカーから混合して再生することで空間的な広がりを持った音響効果を視聴者に与える処理を実行する。また、音響変更部１７４は、代表結像距離が「表示画面より遠い領域」と判定された場合に、バーチャルサラウンドで用いられる仮想スピーカーの伝達特性をフィルタ回路で畳み込み、恰も遠方から音が聞こえるかのような音響効果を視聴者に与えることもできる。更に、音響変更部１７４は、代表結像距離が「表示画面より遠い領域」と判定された場合に、音響データの残響成分（リバーブ）を加える事でより空間的な広がりを持った音響効果を高める事もできる。また、その立体映像データが示す空間が屋内なのか屋外なのかに基づいて、音響変更部１７４は、屋内である場合の音響効果レベルを屋外である場合の音響効果レベルより大きくしたりることも可能である。
【００８０】
空間音響を再現する音響処理は、ここで示した音響空間効果に限定されず、また、回路構成の許容される複雑度に応じ、簡易な回路構成であればクロストーク信号の混合処理を採用し、より複雑な回路構成が許容されるようであれば、フィルタ畳み込み処理を採用するなど、任意に設計することができる。
【００８１】
（３．ゲイン量）
音像の遠近感は、音量によっても調整することができる。音響変更部１７４は、距離導出部１７２が導出した代表結像距離に応じて、音響出力部１６０における音響データのゲイン量を調整する。音響変更部１７４は、例えば、代表結像距離が「表示画面より近い領域」と判定された場合、その代表結像距離の大きさに比例させてゲイン量を上げ、代表結像距離が「表示画面より遠い領域」と判定された場合、その代表結像距離の大きさに比例させてゲイン量を下げる。また、このようなゲイン量の調整は、水平面の代表結像距離に限らず、高さ方向にも適用できる。こうして、より明確に、遠近感を持った音響空間を視聴者に提供することが可能となる。
【００８２】
以上のような、複数の音響処理（１．音響データの再生タイミング、２．音響空間効果、および、３．ゲイン量）のいずれかを単独で用いるか、または組み合わせて用いるかは、代表結像距離に応じて決定してもよい。このように複数の音響処理を適切に組み合わせることで、立体的な音響空間を形成することができ、立体映像との一体感と高い臨場感とを視聴者に提供することが可能となる。また、このような音響処理の処理順や、機能部（中央制御部１６２、音響バッファ１５８、音響出力部１６０）の配置は、任意に決定することができ、回路規模によっては一部の音響処理を省略することも可能である。
【００８３】
以上説明した音響再生装置１３０により、立体映像における複数のオブジェクトの結像位置に応じて適切な遠近位置に音像を定位し、音響効果の向上を図ることが可能となる。したがって視聴者は、立体映像に相応しい、より臨場感の高い音響効果を得ることができる。また、この構成により、特に、前方に飛び出してくる映像に追従した最適な音響空間を提供でき、視聴者は、リップシンクの不一致によって違和感を抱くこともない。
【００８４】
また、本実施形態の音響再生装置１３０は、立体映像データに基づいて、その立体映像データに相応しい音響処理を再生時に施す手法であるため、立体映像データのオブジェクト毎に映像と音響とを関連付けて管理する難易度の高い（高負荷）処理を要さず、また視聴環境に合わせて柔軟に対応できる。
【００８５】
また、コンピュータを、音響再生装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００８６】
（音響再生方法）
次に、上述した音響再生装置１３０を用いて、音響データを再生する音響再生方法を具体的に説明する。
【００８７】
図８は、音響再生方法の全体的な流れを示したフローチャートである。まず、音響再生装置１３０の映像取得部１５０は、立体映像を知覚させるための両眼視差を有する左眼用映像データと右眼用映像データとを取得する（Ｓ３００）。そして、視差導出部１７０は、映像取得部１５０が取得した左眼用映像データと右眼用映像データとを比較し（Ｓ３０２）、左眼用映像データおよび右眼用映像データにおける複数のブロックそれぞれの視差ベクトルを導出する（Ｓ３０４）。
【００８８】
続いて、距離導出部１７２は、視差導出部１７０で導出された複数のブロック２００の視差ベクトルを３つの領域Ａ、Ｂ、Ｃにグループ化して複数の領域Ａ、Ｂ、Ｃ毎に結像距離を導出し（Ｓ３０６）、その領域Ａ、Ｂ、Ｃの重み付けを異ならせて画面内のオブジェクトの配置を考慮した代表結像距離を導出する（Ｓ３０８）。
【００８９】
次に、音響変更部１７４は、距離導出部１７２が導出した代表結像距離に基づいて、左眼用映像データと右眼用映像データとに関連付けられた音響データを加工する（Ｓ３１０）。具体的に、音響変更部１７４は、その代表結像距離に応じた適切な音響効果を付加すべく、１．音響データの再生タイミング、２．音響空間効果、および、３．ゲイン量を調整する。最後に、音響出力部１６０は、音響変更部１７４が変更した音響データを音響出力装置に出力する（Ｓ３１２）。
【００９０】
かかる音響再生方法を用いることで、立体映像における複数のオブジェクトの結像位置に応じて適切な遠近位置にその音像を定位し、音響効果の向上を図ることが可能となる。したがって視聴者は、立体映像に相応しい、より臨場感の高い音響効果を得ることができる。
【００９１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００９２】
なお、本明細書の音響再生方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００９３】
本発明は、両眼視差によって立体映像を知覚させる立体映像データと共に音響データを再生する音響再生装置および音響再生方法に利用することができる。
【符号の説明】
【００９４】
１３０ …音響再生装置
１５０ …映像取得部
１６０ …音響出力部
１７０ …視差導出部
１７２ …距離導出部
１７４ …音響変更部
【特許請求の範囲】
【請求項１】
立体映像を知覚させるための両眼視差を有する左眼用映像データと右眼用映像データとを取得する映像取得部と、
取得された前記左眼用映像データと前記右眼用映像データとを比較し、前記左眼用映像データおよび前記右眼用映像データにおける複数のブロックそれぞれの視差を導出する視差導出部と、
導出された前記複数のブロックの視差に基づいて、表示画面に垂直な方向の表示画面と結像位置との距離である結像距離の代表値である代表結像距離を導出する距離導出部と、
導出された前記代表結像距離に基づいて、前記左眼用映像データと前記右眼用映像データとに関連付けられた音響データの再生タイミングを変更する音響変更部と、
変更された前記音響データを音響出力装置に出力する音響出力部と、
を備えることを特徴とする音響再生装置。
【請求項２】
前記音響変更部は、さらに、前記導出された代表結像距離に基づいて、前記左眼用映像データと前記右眼用映像データとに関連付けられた音響データの音響空間効果を変更することを特徴とする請求項１に記載の音響再生装置。
【請求項３】
前記距離導出部は、前記複数のブロックをグループ化し、そのグループ毎に結像距離を、表示画面より近い領域、表示画面近辺の領域、表示画面より遠い領域のいずれかに割り当て、前記代表結像距離を導出することを特徴とする請求項１に記載の音響再生装置。
【請求項４】
立体映像を知覚させるための両眼視差を有する左眼用映像データと右眼用映像データとを取得し、
取得した前記左眼用映像データと前記右眼用映像データとを比較し、前記左眼用映像データおよび前記右眼用映像データにおける複数のブロックそれぞれの視差を導出し、
導出した前記複数のブロックの視差に基づいて、表示画面に垂直な方向の表示画面と結像位置との距離である結像距離の代表値である代表結像距離を導出し、
導出した前記代表結像距離に基づいて、前記左眼用映像データと前記右眼用映像データとに関連付けられた音響データの再生タイミングを変更し、
変更した前記音響データを音響出力装置に出力することを特徴とする音響再生方法。
【請求項１】
立体映像を知覚させるための両眼視差を有する左眼用映像データと右眼用映像データとを取得する映像取得部と、
取得された前記左眼用映像データと前記右眼用映像データとを比較し、前記左眼用映像データおよび前記右眼用映像データにおける複数のブロックそれぞれの視差を導出する視差導出部と、
導出された前記複数のブロックの視差に基づいて、表示画面に垂直な方向の表示画面と結像位置との距離である結像距離の代表値である代表結像距離を導出する距離導出部と、
導出された前記代表結像距離に基づいて、前記左眼用映像データと前記右眼用映像データとに関連付けられた音響データの再生タイミングを変更する音響変更部と、
変更された前記音響データを音響出力装置に出力する音響出力部と、
を備えることを特徴とする音響再生装置。
【請求項２】
前記音響変更部は、さらに、前記導出された代表結像距離に基づいて、前記左眼用映像データと前記右眼用映像データとに関連付けられた音響データの音響空間効果を変更することを特徴とする請求項１に記載の音響再生装置。
【請求項３】
前記距離導出部は、前記複数のブロックをグループ化し、そのグループ毎に結像距離を、表示画面より近い領域、表示画面近辺の領域、表示画面より遠い領域のいずれかに割り当て、前記代表結像距離を導出することを特徴とする請求項１に記載の音響再生装置。
【請求項４】
立体映像を知覚させるための両眼視差を有する左眼用映像データと右眼用映像データとを取得し、
取得した前記左眼用映像データと前記右眼用映像データとを比較し、前記左眼用映像データおよび前記右眼用映像データにおける複数のブロックそれぞれの視差を導出し、
導出した前記複数のブロックの視差に基づいて、表示画面に垂直な方向の表示画面と結像位置との距離である結像距離の代表値である代表結像距離を導出し、
導出した前記代表結像距離に基づいて、前記左眼用映像データと前記右眼用映像データとに関連付けられた音響データの再生タイミングを変更し、
変更した前記音響データを音響出力装置に出力することを特徴とする音響再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−４９９４（Ｐ２０１２−４９９４Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３９９７７（Ｐ２０１０−１３９９７７）
【出願日】平成２２年６月１８日（２０１０．６．１８）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１８日（２０１０．６．１８）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]