情報処理装置、情報処理方法およびプログラム
【課題】立体視画像を表示する際に物体の奥行方向における位置を考慮した音声出力を行う。
【解決手段】音声補正部１４０は、表示部１８１に表示される立体視画像に含まれる物体（立体視物体）の奥行方向における位置に基づいて、その立体視画像に関連付けられている音声情報を補正する。すなわち、音声補正部１４０は、複数の頭部伝達関数フィルタを保持する。そして、音声補正部１４０は、複数の頭部伝達関数フィルタのうちから、立体視物体の奥行方向における位置に最も近い位置に対応する頭部伝達関数フィルタを選択し、この選択された頭部伝達関数フィルタを用いて音声情報を補正する。この場合に、その音声情報に係る音像をその立体視物体の奥行方向における位置に定位させるように補正を行う。出力制御部１７０は、その補正後の音声情報を音声出力部１８２に出力させる。
【解決手段】音声補正部１４０は、表示部１８１に表示される立体視画像に含まれる物体（立体視物体）の奥行方向における位置に基づいて、その立体視画像に関連付けられている音声情報を補正する。すなわち、音声補正部１４０は、複数の頭部伝達関数フィルタを保持する。そして、音声補正部１４０は、複数の頭部伝達関数フィルタのうちから、立体視物体の奥行方向における位置に最も近い位置に対応する頭部伝達関数フィルタを選択し、この選択された頭部伝達関数フィルタを用いて音声情報を補正する。この場合に、その音声情報に係る音像をその立体視物体の奥行方向における位置に定位させるように補正を行う。出力制御部１７０は、その補正後の音声情報を音声出力部１８２に出力させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関し、特に、立体視画像を表示するための情報を扱う情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、左右眼の視差を利用して立体的な視覚を得ることができる立体視画像（３Ｄ映像（例えば、左眼視用画像および右眼視用画像からなる２視点画像））を表示するための立体視画像表示方法が多数提案されている。また、近年では、コンピュータを利用した立体視画像コンテンツ（３Ｄコンテンツ）の質の向上により、劇場等において立体視画像が表示されることが多くなり、視聴者の関心が高まりつつある。
【０００３】
また、テレビ放送のデジタル化に伴い、従来のアナログ放送では伝送できなかった容量のデジタルデータを伝送することができるようになる。このため、今後は、デジタル放送により、立体視画像を表示するためのデジタルデータを家庭用テレビに伝送し、家庭用テレビにおいて立体視画像が表示されることが多くなると想定される。このため、立体視画像に対する関心はさらに高まるものと考えられる。
【０００４】
例えば、立体視画像を表示するものとして、ユーザがシャッター眼鏡をかけて見ると、立体効果のある映像を見ることができる立体映像表示用テレビ装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０９−３２２１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の従来技術によれば、立体視画像を適切に表示することができる。
【０００７】
ここで、立体視画像をユーザが見ている場合には、表示対象となる物体を立体的に見ることができる。また、立体視画像をユーザが見ている場合には、立体視画像に含まれる物体の変化に応じて、その物体の奥行方向における位置が異なって見えることになる。このため、立体的に見ることができる物体の奥行方向における位置を考慮した音声出力を行うことにより、立体視画像をさらに楽しむことができると考えられる。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、立体視画像を表示する際に物体の奥行方向における位置を考慮した音声出力を行うことを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、立体視画像に含まれる物体の奥行方向における位置に基づいて上記立体視画像に関連付けられている音声情報を補正する補正部と、上記立体視画像を表示する際に上記補正後の音声情報を出力する出力制御部とを具備する情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、立体視画像に含まれる物体の奥行方向における位置に基づいて音声情報を補正し、その立体視画像を表示する際にその補正後の音声情報を出力するという作用をもたらす。
【００１０】
また、この第１の側面において、上記立体視画像に含まれる特定対象物を検出する検出部をさらに具備し、上記補正部は、上記検出された特定対象物の奥行方向における位置に基づいて上記検出された特定対象物から生じる音声を補正するようにしてもよい。これにより、立体視画像に含まれる特定対象物を検出し、この検出された特定対象物の奥行方向における位置に基づいて、その特定対象物から生じる音声を補正するという作用をもたらす。
【００１１】
また、この第１の側面において、上記音声情報は、センタチャンネルと左チャンネルと右チャンネルとの音声を含み、上記補正部は、上記物体の奥行方向における位置を示すパラメータのうち、上記検出された特定対象物の奥行方向における位置を示すパラメータを用いて上記センタチャンネルの音声を上記検出された特定対象物から生じる音声として補正し、上記検出された特定対象物の奥行方向における位置を示すパラメータ以外のパラメータを用いて上記左チャンネルおよび上記右チャンネルの音声を補正するようにしてもよい。これにより、立体視物体の奥行方向における位置を示すパラメータのうち、検出された特定対象物の奥行方向における位置を示すパラメータを用いてセンタチャンネルの音声を補正し、その検出された特定対象物の奥行方向における位置を示すパラメータ以外のパラメータを用いて左チャンネルおよび右チャンネルの音声を補正するという作用をもたらす。
【００１２】
また、この第１の側面において、上記補正部は、上記検出された特定対象物の奥行方向における位置を示すパラメータ以外のパラメータの平均値を算出して上記算出された平均値に基づいて上記左チャンネルおよび上記右チャンネルの音声を補正するようにしてもよい。これにより、検出された特定対象物の奥行方向における位置を示すパラメータ以外のパラメータの平均値を算出し、この算出された平均値に基づいて左チャンネルおよび右チャンネルの音声を補正するという作用をもたらす。
【００１３】
また、この第１の側面において、上記補正部は、上記物体の奥行方向における位置を示すパラメータを用いて上記音声情報を補正するようにしてもよい。これにより、立体視物体の奥行方向における位置を示すパラメータを用いて音声情報を補正するという作用をもたらす。
【００１４】
また、この第１の側面において、上記補正部は、上記パラメータの平均値を算出して上記算出された平均値に基づいて上記音声情報を補正するようにしてもよい。これにより、パラメータの平均値を算出し、この算出された平均値に基づいて音声情報を補正するという作用をもたらす。
【００１５】
また、この第１の側面において、上記補正部は、上記立体視画像に含まれる物体の背景に係る音像を上記背景の奥行方向における位置に定位させるように上記音声情報を補正するようにしてもよい。これにより、立体視画像に含まれる物体の背景に係る音像をその背景の奥行方向における位置に定位させるように音声情報を補正するという作用をもたらす。
【００１６】
また、この第１の側面において、上記補正部は、上記音声情報に係る音像を上記物体の奥行方向における位置に定位させるように上記音声情報を補正するようにしてもよい。これにより、音声情報に係る音像を、立体視物体の奥行方向における位置に定位させるように音声情報を補正するという作用をもたらす。
【００１７】
また、この第１の側面において、上記補正部は、上記物体の奥行方向における位置に対応する頭部伝達関数フィルタを用いて上記音声情報を補正するようにしてもよい。これにより、立体視物体の奥行方向における位置に対応する頭部伝達関数フィルタを用いて音声情報を補正するという作用をもたらす。
【００１８】
また、この第１の側面において、上記奥行方向における複数の位置のそれぞれに対応する複数の頭部伝達関数フィルタを上記複数の位置毎に保持する保持部をさらに具備し、上記補正部は、上記複数の頭部伝達関数フィルタのうちから上記物体の奥行方向における位置に最も近い位置に対応する頭部伝達関数フィルタを選択して上記選択された頭部伝達関数フィルタを用いて上記音声情報を補正するようにしてもよい。これにより、複数の頭部伝達関数フィルタのうちから、立体視物体の奥行方向における位置に最も近い位置に対応する頭部伝達関数フィルタを選択し、この選択された頭部伝達関数フィルタを用いて音声情報を補正するという作用をもたらす。
【００１９】
また、この第１の側面において、上記立体視画像に含まれる物体の奥行方向における位置を変更する変更操作を受け付ける操作受付部をさらに具備し、上記補正部は、上記変更操作が受け付けられた場合には上記音声情報に係る音像を上記変更後の上記物体の奥行方向における位置に定位させるように上記音声情報を補正するようにしてもよい。これにより、立体視画像に含まれる物体の奥行方向における位置を変更する変更操作が受け付けられた場合には、音声情報に係る音像をその変更後の立体視物体の奥行方向における位置に定位させるようにその音声情報を補正するという作用をもたらす。
【発明の効果】
【００２０】
本発明によれば、立体視画像を表示する際に物体の奥行方向における位置を考慮した音声出力を行うことができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態における情報処理装置の使用例を簡略化して示す図である。
【図２】本発明の第１の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。
【図３】本発明の第１の実施の形態における音声補正部１４０の機能構成例を示すブロック図である。
【図４】本発明の第１の実施の形態における立体視画像補正部１５０の機能構成例を示すブロック図である。
【図５】本発明の第１の実施の形態における字幕生成部１６０の機能構成例を示すブロック図である。
【図６】本発明の第１の実施の形態におけるリモコン５００の外観構成例を示す図である。
【図７】本発明の第１の実施の形態における表示部１８１に表示される立体視画像を構成する各画像と、これらの各画像に含まれる物体の奥行方向における位置との関係を示す図である。
【図８】本発明の第１の実施の形態における表示部１８１に表示される立体視画像を構成する各画像に含まれる物体のズラシ量の関係を示す図である。
【図９】本発明の第１の実施の形態におけるコンテンツ付随情報記憶部１２２に記憶されている立体視画像パラメータを模式的に示す図である。
【図１０】本発明の第１の実施の形態におけるコンテンツ記憶部１２１に記憶されている立体視画像コンテンツにおけるズレ量と、表示部１８１の表示面におけるズレ量との関係を示す図である。
【図１１】本発明の第１の実施の形態における表示部１８１に表示される立体視画像を視聴する場合における視聴位置と、その立体視画像に含まれる物体（立体視物体）の飛出位置との関係を模式的に示す図である。
【図１２】本発明の第１の実施の形態における立体視画像補正部１５０による補正前後の立体視物体の位置を模式的に示す図である。
【図１３】本発明の第１の実施の形態における音声補正部１４０により出力音声を補正する場合における補正方法を模式的に示す図である。
【図１４】本発明の第１の実施の形態における音声補正部１４０による音声補正処理の処理手順の一例を示すフローチャートである。
【図１５】本発明の第１の実施の形態における立体視画像補正部１５０による立体視画像補正処理の処理手順の一例を示すフローチャートである。
【図１６】本発明の第１の実施の形態における字幕生成部１６０による字幕生成処理の処理手順の一例を示すフローチャートである。
【図１７】本発明の第１の実施の形態における表示部１８１に表示される立体視画像を時系列で模式的に示す図である。
【図１８】本発明の第１の実施の形態における音声補正部４５０の機能構成例を示すブロック図である。
【図１９】本発明の第１の実施の形態における立体視画像補正部１５０による奥行量の調整例を示す図である。
【図２０】本発明の第１の実施の形態における立体視画像補正部１５０による奥行量の調整例を示す図である。
【図２１】本発明の第１の実施の形態における立体視画像補正部１５０による奥行量の調整例を示す図である。
【図２２】本発明の第１の実施の形態における情報処理装置５６０の外観構成例と、補正処理の流れとを簡略化して示す図である。
【図２３】本発明の第２の実施の形態における情報処理装置６００の機能構成例を示すブロック図である。
【図２４】本発明の第２の実施の形態における立体視画像補正部６７０の機能構成例を示すブロック図である。
【図２５】本発明の第２の実施の形態における撮像部６１０により生成される画像を簡略化して示す図である。
【図２６】本発明の第２の実施の形態における表示部１８１に表示される立体視画像の視聴位置と、その立体視画像を見ているユーザの輻輳角との関係を模式的に示す図である。
【図２７】本発明の第２の実施の形態における基準黒目情報保持部６４０に保持される基準黒目情報を取得する際における測定方法と、基準黒目情報保持部６４０の保持内容例とを模式的に示す図である。
【図２８】本発明の第２の実施の形態における表示部１８１に表示される立体視画像に含まれる立体視物体の飛出位置の補正例を模式的に示す図である。
【図２９】本発明の第２の実施の形態における表示部１８１に表示される立体視画像に含まれる立体視物体の飛出位置の補正例を模式的に示す図である。
【図３０】本発明の第２の実施の形態における情報処理装置６００による立体視画像表示処理の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（立体視画像出力制御：立体視画像パラメータを用いて立体視画像および音声情報を補正する例）
２．第２の実施の形態（立体視画像出力制御：眼球の変化に基づいて立体視物体の位置を補正する例）
【００２３】
＜１．第１の実施の形態＞
［情報処理装置の使用例］
図１は、本発明の実施の形態における情報処理装置の使用例を簡略化して示す図である。
【００２４】
図１（ａ）には、情報処理装置１００の表示部１８１に表示される画像を、椅子１１に座っているユーザ（視聴者）１０が見ている状態を示す。図１（ｂ）には、撮像部６１０が設けられている情報処理装置６００の表示部１８１に表示される画像を、椅子１１に座っているユーザ１０が見ている状態を示す。図１（ａ）および（ｂ）に示すユーザ１０は、手に持ったリモコン（リモートコントローラ）５００を用いて、情報処理装置１００または６００の各種操作を行うことができる。なお、撮像部６１０が設けられている情報処理装置６００については、本発明の第２の実施の形態において詳細に説明する。
【００２５】
［情報処理装置の構成例］
図２は、本発明の第１の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。情報処理装置１００は、例えば、各放送局からの放送波を受信して画像（立体視画像または平面画像）を表示するテレビジョン受像機（例えば、録画機能を備えるテレビジョン受像機）により実現される。
【００２６】
情報処理装置１００は、制御部１１０と、操作受付部１１５と、コンテンツ記憶部１２１と、コンテンツ付随情報記憶部１２２と、取得部１３０と、音声補正部１４０と、立体視画像補正部１５０と、字幕生成部１６０とを備える。また、情報処理装置１００は、出力制御部１７０と、表示部１８１と、音声出力部１８２と、リモコン５００とを備える。なお、本発明の第１の実施の形態では、説明の容易のため、アンテナを介して各放送局からの放送波を受信する放送受信部、映像信号を復号処理する映像復号部、音声信号を復号処理する音声復号部等の図示およびその説明を省略する。また、本発明の第１の実施の形態では、説明の容易のため、放送受信部により受信され、映像復号部および音声復号部により復号されたコンテンツ（画像データ（映像データ）および音声データ）を記憶しておき、そのコンテンツを表示する例について説明する。
【００２７】
制御部１１０は、操作受付部１１５により受け付けられた操作入力に基づいて、情報処理装置１００の各部を制御するものである。例えば、制御部１１０は、立体視画像を表示するための表示指示操作が受け付けられた場合には、その表示指示操作に係る立体視画像コンテンツを表示部１８１および音声出力部１８２から出力させるための制御を行う。また、例えば、制御部１１０は、立体視画像を補正するための補正指示操作が受け付けられた場合には、その補正指示操作に応じた画像補正処理を行うための制御を行う。また、例えば、制御部１１０は、立体視画像の音声を補正するための補正指示操作が受け付けられた場合には、その補正指示操作に応じた音声補正処理を行うための制御を行う。
【００２８】
操作受付部１１５は、ユーザによる操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作信号を制御部１１０に供給する。操作受付部１１５は、例えば、電源のオン／オフを行う操作部材に対応する。また、操作受付部１１５は、リモコン５００からの操作信号を受け付けると、受け付けられた操作信号を制御部１１０に供給する。
【００２９】
コンテンツ記憶部１２１は、各種コンテンツを記憶する記憶部であり、記憶されているコンテンツを取得部１３０に供給する。例えば、コンテンツ記憶部１２１は、放送受信部により受信された放送波に対応するコンテンツ（画像データおよび音声データ）を記憶する。また、例えば、コンテンツ記憶部１２１は、立体視画像を表示するためのコンテンツ（立体視画像コンテンツ（立体視画像情報））を記憶する。
【００３０】
コンテンツ付随情報記憶部１２２は、コンテンツ記憶部１２１に記憶されているコンテンツに関する付随情報を記憶する記憶部であり、記憶されている付随情報を取得部１３０に供給する。例えば、コンテンツ付随情報記憶部１２２は、コンテンツ記憶部１２１に記憶されている立体視画像コンテンツに関するズラシ量保持テーブルおよび二値化データを関連付けて立体視画像パラメータ（付随情報）として記憶する。なお、ズラシ量保持テーブルおよび二値化データについては、図９を参照して詳細に説明する。また、立体視画像コンテンツと、この立体視画像コンテンツに関する付随情報とを含むコンテンツを立体視画像コンテンツ（立体視画像情報）として用いるようにしてもよい。
【００３１】
取得部１３０は、制御部１１０の制御に基づいて、コンテンツ記憶部１２１およびコンテンツ付随情報記憶部１２２に記憶されている各種情報を取得するものであり、取得された情報を各部に供給する。例えば、取得部１３０は、コンテンツ記憶部１２１から立体視画像コンテンツを取得した場合には、その立体視画像コンテンツのうち画像データを立体視画像補正部１５０に供給し、音声データを音声補正部１４０に供給する。この場合に、取得部１３０は、その立体視画像コンテンツに関連付けられている立体視画像パラメータをコンテンツ付随情報記憶部１２２から取得し、その立体視画像パラメータを立体視画像補正部１５０、音声補正部１４０および字幕生成部１６０に供給する。
【００３２】
音声補正部１４０は、制御部１１０の制御に基づいて、立体視画像コンテンツを出力する際における音声データを補正するものであり、補正後の音声データを出力制御部１７０に出力する。すなわち、音声補正部１４０は、立体視画像に含まれる物体の奥行方向における位置に基づいて、取得部１３０から供給される音声データを補正する。例えば、音声補正部１４０は、取得部１３０から供給される立体視画像パラメータ（物体の奥行方向における位置を示すパラメータ）に含まれるズラシ量保持テーブルを用いて、その音声データを補正する。例えば、音声補正部１４０は、そのズラシ量保持テーブルにおける各ズラシ量の平均値を算出し、この算出された平均値に基づいて、その音声データを補正する。この場合に、例えば、音声補正部１４０は、その音声データに係る音像を、物体の奥行方向における位置（例えば、各ズラシ量の平均値に対応する位置）に定位させるように音声データを補正する。例えば、音声補正部１４０は、その位置に対応する頭部伝達関数（ＨＲＴＦ（Head Related Transfer Function））フィルタを用いて音声データを補正する。なお、頭部伝達関数フィルタは、例えば、ＦＩＲ（Finite Inpulse Response）フィルタにより構成される。また、音声補正部１４０の機能構成については、図３を参照して詳細に説明する。なお、音声補正部１４０は、特許請求の範囲に記載の補正部の一例である。
【００３３】
立体視画像補正部１５０は、制御部１１０の制御に基づいて、立体視画像コンテンツを出力する際における画像データを補正するものであり、補正後の画像データを出力制御部１７０に出力する。すなわち、立体視画像補正部１５０は、取得部１３０から供給される画像データについて、立体視画像に含まれる物体の奥行方向における位置を補正する。例えば、立体視画像補正部１５０は、取得部１３０から供給される立体視画像パラメータに含まれるズラシ量保持テーブルを用いて、その画像データを補正する。例えば、立体視画像補正部１５０は、ユーザ操作に応じて、そのズラシ量保持テーブルにおける各ズラシ量を調整して、その画像データを補正する。なお、立体視画像補正部１５０の機能構成については、図４を参照して詳細に説明する。
【００３４】
字幕生成部１６０は、制御部１１０の制御に基づいて、立体視画像コンテンツを出力する際における字幕データを生成するものであり、生成された字幕データを出力制御部１７０に出力する。すなわち、字幕生成部１６０は、制御部１１０からの指示に基づいて、立体視画像として字幕を表示させるための字幕データを生成する。この場合に、制御部１１０からの指示に基づいて、その奥行方向における位置を補正する。例えば、立体視画像補正部１５０は、取得部１３０から供給される立体視画像パラメータに含まれるズラシ量保持テーブルを用いて、その字幕データを補正する。例えば、字幕生成部１６０は、そのズラシ量保持テーブルにおける各ズラシ量の平均値を算出し、この算出された平均値に基づいて、その字幕データを補正する。なお、字幕生成部１６０の機能構成については、図５を参照して詳細に説明する。
【００３５】
出力制御部１７０は、操作受付部１１５により受け付けられた操作入力に応じて、コンテンツ記憶部１２１に記憶されているコンテンツを出力するための出力処理を行うものである。例えば、出力制御部１７０は、立体視画像を表示するための表示指示操作が受け付けられた場合には、その表示指示操作に係る立体視画像コンテンツを表示部１８１および音声出力部１８２から出力させる。この場合に、出力制御部１７０は、表示対象となる画像データと、字幕生成部１６０により生成された字幕データとについてブレンド処理を行い、立体視画像と字幕（立体視画像）とを合成して表示させる。また、例えば、出力制御部１７０は、立体視画像を補正するための補正指示操作が受け付けられた場合には、音声補正部１４０から出力された音声データと、立体視画像補正部１５０から出力された画像データとを用いて出力処理を行う。
【００３６】
表示部１８１は、出力制御部１７０の制御に基づいて、各種画像を表示する表示部である。表示部１８１は、例えば、ＬＣＤ（Liquid Crystal Display）等の表示素子により実現することができる。
【００３７】
音声出力部１８２は、出力制御部１７０の制御に基づいて、各種の音声情報を出力するものである。音声出力部１８２は、例えば、スピーカにより実現することができる。
【００３８】
リモコン５００は、情報処理装置１００を離れた場所から遠隔操作するためのリモコンであり、ユーザによる操作入力に応じた操作信号（出力信号）を操作受付部１１５に出力する。例えば、リモコン５００の出力信号として赤外線信号を用いることができる。また、リモコン５００の外観構成については、図６を参照して詳細に説明する。
【００３９】
［音声補正部の構成例］
図３は、本発明の第１の実施の形態における音声補正部１４０の機能構成例を示すブロック図である。
【００４０】
音声補正部１４０は、調整値算出部１４１と、位置換算部１４２と、ゲイン決定部１４３と、フィルタ決定部１４４と、音声データ入力部１４５と、音量調整部１４６と、フィルタ処理部１４７と、音声データ出力部１４８と、保持部１４９を備える。
【００４１】
調整値算出部１４１は、制御部１１０の制御に基づいて、取得部１３０から供給される音声データを補正するための調整値を算出するものであり、算出された調整値を位置換算部１４２に出力する。例えば、調整値算出部１４１は、取得部１３０から供給される立体視画像パラメータに含まれるズラシ量保持テーブルにおける各ズラシ量の平均値を、調整値として算出する。
【００４２】
位置換算部１４２は、調整値算出部１４１から出力された調整値を、音声データを補正するための位置（奥行方向における位置）に換算するものであり、換算後の位置（位置情報）をゲイン決定部１４３およびフィルタ決定部１４４に出力する。
【００４３】
ゲイン決定部１４３は、位置換算部１４２から出力された位置情報に基づいて、音量調整を行うためのゲイン量を決定するものであり、決定されたゲイン量を音量調整部１４６に出力する。なお、音量調整が不要な場合には、ゲイン決定部１４３は、ゲイン量として「１」を音量調整部１４６に出力する。また、ゲイン量の決定方法については、図１３を参照して詳細に説明する。
【００４４】
フィルタ決定部１４４は、位置換算部１４２から出力された位置情報に基づいて、その位置情報に対応する位置に音像を定位させるためのフィルタ係数を決定するものであり、決定されたフィルタ係数をフィルタ処理部１４７に出力する。また、保持部１４９は、奥行方向における複数の位置のそれぞれに対応する複数の頭部伝達関数フィルタを、複数の位置毎に保持する。例えば、フィルタ決定部１４４は、保持部１４９に保持されている複数の頭部伝達関数フィルタのうちから、位置換算部１４２から出力された位置情報に対応する位置に最も近い位置に対応する頭部伝達関数フィルタを選択する。そして、フィルタ決定部１４４は、その選択された頭部伝達関数フィルタのフィルタ係数をフィルタ処理部１４７に出力する。なお、フィルタ係数の決定方法については、図１３を参照して詳細に説明する。
【００４５】
音声データ入力部１４５は、取得部１３０から供給される音声データを入力するものであり、その音声データを音量調整部１４６に供給する。
【００４６】
音量調整部１４６は、音声データ入力部１４５から供給された音声データについて、ゲイン決定部１４３から出力されたゲイン量を用いて音量調整を行うものであり、音量調整後の音声データをフィルタ処理部１４７に出力する。なお、音量調整方法については、図１３を参照して詳細に説明する。
【００４７】
フィルタ処理部１４７は、音声データ入力部１４５から供給された音声データについて、フィルタ決定部１４４から出力されたフィルタ係数を用いてフィルタ処理を行うものであり、フィルタ処理後の音声データを音声データ出力部１４８に出力する。例えば、フィルタ処理部１４７は、フィルタ決定部１４４から出力されたフィルタ係数に係る頭部伝達関数フィルタを用いて、位置換算部１４２により換算された位置に音像を定位させるためのフィルタ処理を行う。このフィルタ処理は、例えば、頭部伝達関数フィルタによるバイノーラル（binaural）化処理であり、頭部伝達関数を音声データ（音声信号）に畳み込む処理である。なお、フィルタ処理方法については、図１３を参照して詳細に説明する。
【００４８】
音声データ出力部１４８は、フィルタ処理部１４７から出力されたフィルタ処理後の音声データを、出力制御部１７０に出力するものである。
【００４９】
［画像補正部の構成例］
図４は、本発明の第１の実施の形態における立体視画像補正部１５０の機能構成例を示すブロック図である。
【００５０】
立体視画像補正部１５０は、調整部１５１と、画像データ入力部１５２と、水平移動処理部１５３と、平滑化処理部１５４と、画像データ出力部１５５とを備える。
【００５１】
調整部１５１は、制御部１１０の制御に基づいて、取得部１３０から供給される画像データを補正するためのパラメータを調整するものであり、調整後のパラメータを水平移動処理部１５３に出力する。例えば、調整部１５１は、操作受付部１１５により受け付けられた操作入力に応じて、取得部１３０から供給される立体視画像パラメータに含まれるズラシ量保持テーブルにおける各ズラシ量を調整して、調整後のズラシ量を水平移動処理部１５３に出力する。なお、パラメータを調整するための操作入力として、例えば、図６に示す立体視画像の奥行位置調整レバー５１０が用いられる。この操作入力により、ユーザが所望する位置（奥行方向における位置）に再調整された立体視画像を表示させることができる。
【００５２】
画像データ入力部１５２は、取得部１３０から供給される画像データを入力するものであり、その画像データを水平移動処理部１５３に供給する。
【００５３】
水平移動処理部１５３は、画像データ入力部１５２から供給された画像データについて、調整部１５１から出力された調整後のパラメータを用いて画像の移動処理を行うものであり、処理後の画像データを平滑化処理部１５４に出力する。例えば、水平移動処理部１５３は、画像データ入力部１５２から供給された画像データに対応する立体視画像を構成する左眼視用画像および右眼視用画像のうち、左眼視用画像について水平移動処理を行う。具体的には、水平移動処理部１５３は、その左眼視用画像を構成する各画素について、調整部１５１による調整後のズラシ量だけ水平方向に移動させる水平移動処理を行い、新たな右眼視用画像を生成する。この水平移動処理は、例えば、図９（ｂ）に示すズラシ量保持テーブル３００のブロック単位で行われる。そして、水平移動処理部１５３は、立体視画像を構成する左眼視用画像と、その生成された新たな右眼視用画像とに対応する画像データを平滑化処理部１５４に出力する。なお、この例では、調整部１５１による調整後のズラシ量を用いて新たな右眼視用画像を生成する例を示すが、調整部１５１による調整後のズラシ量を用いて元の右眼視用画像について水平移動処理を行い、立体視画像を生成するようにしてもよい。
【００５４】
平滑化処理部１５４は、水平移動処理部１５３から出力された画像データについて、立体視物体に係る領域のエッジ部分のフィルタ処理（移動平均フィルタによる平滑化処理）を行うものであり、処理後の画像データを画像データ出力部１５５に出力する。例えば、平滑化処理部１５４は、取得部１３０から供給される立体視画像パラメータに含まれる二値化データを用いて立体視物体に係る領域と、その他の領域とを判定する。そして、平滑化処理部１５４は、立体視物体に係る領域と判定された領域について、移動平均フィルタによる平滑化処理を行う。この平滑化処理により、遠方にある立体視物体（３Ｄオブジェクト）に係る領域に遠近感を持たせることができる。
【００５５】
画像データ出力部１５５は、平滑化処理部１５４から出力された各画像処理後の画像データを、出力制御部１７０に出力するものである。
【００５６】
［字幕データ補正部の構成例］
図５は、本発明の第１の実施の形態における字幕生成部１６０の機能構成例を示すブロック図である。
【００５７】
字幕生成部１６０は、調整値算出部１６１と、字幕データ生成部１６２と、字幕データ出力部１６３とを備える。
【００５８】
調整値算出部１６１は、制御部１１０の制御に基づいて、表示部１８１に表示される字幕の位置（奥行方向における位置）を決定するための調整値を算出するものであり、算出された調整値を字幕データ生成部１６２に出力する。例えば、調整値算出部１６１は、取得部１３０から供給される立体視画像パラメータに含まれるズラシ量保持テーブルにおける各ズラシ量の平均値を、調整値として算出する。
【００５９】
字幕データ生成部１６２は、制御部１１０の制御に基づいて、表示部１８１に表示される字幕データを生成するものであり、生成された字幕データを字幕データ出力部１６３に出力する。例えば、字幕データ生成部１６２は、コンテンツ記憶部１２１に記憶されているコンテンツ（字幕コンテンツ）を用いて字幕データを生成することができる。この場合に、字幕データ生成部１６２は、生成された字幕データ（字幕画像）について、調整値算出部１６１から出力された調整値を用いて画像の水平移動処理を行い、処理後の字幕データを字幕データ出力部１６３に出力する。なお、この水平移動処理については、図４に示す水平移動処理部１５３による水平移動処理と同様であるため、ここでの説明を省略する。
【００６０】
字幕データ出力部１６３は、字幕データ生成部１６２から出力された字幕データを、出力制御部１７０に出力するものである。
【００６１】
このように、本発明の第１の実施の形態によれば、表示部１８１に表示される立体視画像に応じた適切な立体字幕をユーザに提供することができる。これにより、ユーザはさらに豊かな臨場感を得ることができる。
【００６２】
［リモコンの構成例］
図６は、本発明の第１の実施の形態におけるリモコン５００の外観構成例を示す図である。
【００６３】
リモコン５００には、電源ボタン５０１、５０２と、チャネル指定ボタン群５０３と、矢印決定ボタン群５０４と、機能選択ボタン群５０５と、基準黒目情報取得ボタン５０６とが設けられている。また、リモコン５００には、立体視画像補正切替ボタン５０７と、ボリューム調整レバー５０８と、チャネル選択レバー５０９と、立体視画像の奥行位置調整レバー５１０と、立体視画像の音声位置調整レバー５１１とが設けられている。
【００６４】
電源ボタン５０１、５０２は、情報処理装置１００の電源をオン／オフする際に用いられるボタンである。
【００６５】
チャネル指定ボタン群５０３は、情報処理装置１００を用いて放送波に基づく放送番組（立体視画像、平面画像）を見る場合において放送チャネルを指定する際に用いられるボタン群である。
【００６６】
矢印決定ボタン群５０４は、表示部１８１にメニュー画面等が表示されている際に用いられる上下左右の矢印ボタンおよび決定ボタンにより構成される。上下左右の矢印ボタンは、表示部１８１に表示されている表示画面における上下左右方向の選択操作を行う際に用いられるボタンであり、例えば、メニュー画面における選択操作を行う際にその選択状態を上下左右に移動させる場合に用いられる。決定ボタンは、表示部１８１に表示されている表示画面における各種決定操作を行う際に用いられるボタンであり、例えば、メニュー画面における選択状態を決定する場合に用いられる。
【００６７】
機能選択ボタン群５０５は、各種機能を選択する際に用いられるボタンである。
【００６８】
基準黒目情報取得ボタン５０６は、ユーザに関する基準黒目情報を取得する際に押下されるボタンである。なお、基準黒目情報取得ボタン５０６については、本発明の第２の実施の形態において詳細に説明する。
【００６９】
立体視画像補正切替ボタン５０７は、立体視画像に関する各種補正を自動で行う自動モード、または、その各種補正を手動で行う手動モードの何れかに切り替える際に押下されるボタンである。
【００７０】
ボリューム調整レバー５０８は、音声出力部１８２から出力される音声の音量を調整する際に用いられるレバーである。
【００７１】
チャネル選択レバー５０９は、情報処理装置１００を用いて放送波に基づく放送番組（立体視画像、平面画像）を見る場合において放送チャネルを選択する際に用いられるレバーである。
【００７２】
立体視画像の奥行位置調整レバー５１０は、表示部１８１に立体視画像が表示されている場合において、その立体視画像に含まれる物体の奥行方向における位置を調整する際に用いられるレバーである。なお、立体視画像の奥行位置調整レバー５１０を用いた調整例については、図１２を参照して詳細に説明する。
【００７３】
立体視画像の音声位置調整レバー５１１は、表示部１８１に立体視画像が表示されている場合において、その立体視画像に係る音声の音像を定位させる位置（奥行方向における位置）を調整する際に用いられるレバーである。
【００７４】
［立体視画像とこれに含まれる物体の奥行方向における位置との関係例］
図７は、本発明の第１の実施の形態における表示部１８１に表示される立体視画像を構成する各画像と、これらの各画像に含まれる物体の奥行方向における位置との関係を示す図である。図７（ａ）には、立体視画像が表示部１８１に表示された際に、ユーザ２１０が立体的に見ることができる物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における上面図を模式的に示す。図７（ｂ）には、図７（ａ）に示す物体２０３乃至２０５を立体的に表示させるための立体視画像（左眼視用画像２０１および右眼視用画像２０２）を示す。すなわち、左眼視用画像２０１および右眼視用画像２０２には、物体２０３乃至２０５が含まれている。また、奥行方向は、例えば、ユーザ２１０と表示部１８１の表示面とを結ぶ線に平行な方向であり、表示部１８１の表示面に直行する方向である。
【００７５】
なお、図７では、同一の物体については、左眼視用画像２０１および右眼視用画像２０２において同一の符号を付して説明する。また、図７では、説明の容易のため、左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０３乃至２０５のズラシ量を比較的大きくして示す。
【００７６】
また、本発明の第１の実施の形態では、表示部１８１に立体視画像を表示するための表示方式の一例として、視差バリア方式や専用メガネ方式を用いることができる。専用メガネ方式は、立体視画像を見るための専用メガネ（例えば、アクティブシャッター方式メガネ、偏光板タイプメガネ）をユーザがかけることにより、そのユーザに立体視画像を提供する方式である。なお、視差バリア方式や専用メガネ方式以外の他の方式についても本発明の実施の形態を適用することができる。
【００７７】
ここで、左眼視用画像２０１および右眼視用画像２０２が表示部１８１に表示された際に、ユーザ２１０の左眼２１１が左眼視用画像２０１を見て、ユーザ２１０の右眼２１２が右眼視用画像２０２を見た場合を想定する。この場合には、図７（ａ）に示すように、左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０４が表示面の位置２２０（表示部１８１の表示面の位置）に見えるものとする。また、左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０３が表示面の位置２２０の奥側（表示面の奥側２２１）に見え、物体２０５が表示面の位置２２０の手前側（表示面の手前側２２２）に見えるものとする。
【００７８】
このように、表示面の位置２２０の物体２０４を基準とする場合において、立体感を構成する物体２０３および２０５は、立体視画像（左眼視用画像２０１および右眼視用画像２０２）内において水平方向にズレている。また、表示面の位置２２０を基準とする場合において、飛び出している物体２０５と、引っ込んでいる物体２０３とは、ズレの位置が反転している。
【００７９】
［左眼視用画像および右眼視用画像に含まれる物体のズラシ量の関係例］
図８は、本発明の第１の実施の形態における表示部１８１に表示される立体視画像を構成する各画像に含まれる物体のズラシ量の関係を示す図である。矩形２３０は、図７（ｂ）に示す左眼視用画像２０１および右眼視用画像２０２に対応する矩形であり、矩形２３０内には、図７（ｂ）に示す左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０３乃至２０５を示す。なお、矩形２３０内において、物体２０３乃至２０５のうち、図７（ｂ）に示す左眼視用画像２０１に含まれる物体２０３乃至２０５の輪郭を太線で示す。なお、物体２０４については、図７（ａ）に示すように、表示面の位置２２０に相当するため、ズレが発生しない。このため、矩形２３０内において、左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０４が重複する。
【００８０】
また、矩形２３０内において、左眼視用画像２０１を基準とする場合における左眼視用画像２０１および右眼視用画像２０２間における物体２０３のズラシ量を矢印２３１で示す。同様に、左眼視用画像２０１を基準とする場合における左眼視用画像２０１および右眼視用画像２０２間における物体２０５のズラシ量を矢印２３２で示す。なお、物体２０４については、上述したようにズレが発生しない。
【００８１】
このように、左右眼の視差を利用して立体的な視覚を得るため、左眼視用画像２０１および右眼視用画像２０２に含まれる物体は、その物体の表示位置（奥行方向における位置）に応じてズレている。すなわち、物体のズラシ量は、立体視物体（３Ｄオブジェクト）の飛出量または引込量に対応するものである。
【００８２】
そこで、本発明の第１の実施の形態では、立体視画像を構成する左眼視用画像および右眼視用画像に関する物体のズラシ量（立体視物体（３Ｄオブジェクト）の飛出量または引込量）を立体視画像パラメータとして用いる例を示す。また、本発明の第１の実施の形態では、左眼視用画像を基準とし、左眼視用画像に含まれる物体と、右眼視用画像に含まれるその物体との差分に基づいて算出された立体視画像パラメータ（その物体の飛出量または引込量）を用いる例を示す。
【００８３】
例えば、基準となる左眼視用画像に含まれる物体が右眼視用画像において左側（図８における左側）にズレている場合には、その物体は飛出物体であり、その物体のズラシ量は０よりも大きいものとする（すなわち、ズラシ量＞０）。
【００８４】
また、例えば、基準となる左眼視用画像に含まれる物体が右眼視用画像において右側（図８における右側）にズレている場合には、その物体は引込物体であり、その物体のズラシ量は０未満であるものとする（すなわち、ズラシ量＜０）。
【００８５】
また、例えば、基準となる左眼視用画像に含まれる物体が右眼視用画像においてズレていない場合には、その物体は表示面の位置（スクリーン面）に相当する物体であり、その物体のズラシ量は０であるものとする（すなわち、ズラシ量＝０）。
【００８６】
具体的には、基準となる左眼視用画像２０１に含まれる物体２０３は、右眼視用画像２０２において右側（矢印２３１で示す）にズレているため、物体２０３は引込物体であり、物体２０３のズラシ量は０未満である（すなわち、物体２０３のズラシ量＜０）。
【００８７】
また、基準となる左眼視用画像２０１に含まれる物体２０５は、右眼視用画像２０２において左側（矢印２３２で示す）にズレているため、物体２０５は飛出物体であり、物体２０５のズラシ量は０よりも大きい（すなわち、物体２０５のズラシ量＞０）。
【００８８】
また、基準となる左眼視用画像２０１に含まれる物体２０４は、右眼視用画像２０２においてズレていないため、物体２０４は表示面の位置（スクリーン面）に相当する物体であり、物体２０４のズラシ量は０である（すなわち、物体２０４のズラシ量＝０）。
【００８９】
［ズラシ量保持テーブル例］
図９は、本発明の第１の実施の形態におけるコンテンツ付随情報記憶部１２２に記憶されている立体視画像パラメータ（ズラシ量保持テーブル３００）を模式的に示す図である。
【００９０】
図９（ａ）には、ズラシ量保持テーブル３００を生成する際に用いられる立体視画像（左眼視用画像３０１および右眼視用画像３０２）を示す。左眼視用画像３０１および右眼視用画像３０２は、１９２０画素×１０８０画素からなる画像である。なお、図９（ａ）では、左眼視用画像３０１および右眼視用画像３０２に対応する矩形のみを示し、各画像に含まれる物体等の図示を省略する。
【００９１】
ここで、立体視画像に含まれる物体のズラシ量の算出方法について説明する。例えば、左眼視用画像が特定サイズの領域（ブロック）に分割され、右眼視用画像における対応領域（例えば、４画素×４画素のサイズ）同士の比較処理（水平方向に移動させながらの比較処理）により相関値が算出される。そして、その相関値に基づいてブロック単位でズラシ量が決定され、ズラシ量保持テーブル３００が生成される。
【００９２】
図９（ｂ）には、左眼視用画像３０１および右眼視用画像３０２について算出されたズラシ量を、ブロック単位で保持するズラシ量保持テーブル３００を示す。１９２０画素×１０８０画素からなる左眼視用画像３０１および右眼視用画像３０２について、４画素×４画素のブロック単位で比較処理を行った場合には、１２９，６００（４８０×２７０）個のズラシ量がブロック毎に算出される。このようにブロック毎に算出されたズラシ量が、算出対象となったブロックに関連付けてズラシ量保持テーブル３００に保持される。また、算出対象となった立体視画像コンテンツを構成するフレーム毎に、ズラシ量保持テーブル３００が生成される。そして、算出対象となった立体視画像コンテンツに関連付けて、ズラシ量保持テーブル３００がコンテンツ付随情報記憶部１２２に記憶される。この場合に、ズラシ量保持テーブル３００は、算出対象となった立体視画像コンテンツを構成するフレーム毎に関連付けて記憶される。
【００９３】
また、図９（ｂ）には、左眼視用画像３０１におけるブロックの位置に対応するズラシ量保持テーブル３００の位置に、ズラシ量を格納して示す。また、ズラシ量については、画素単位で保持するようにしてもよく、小数単位で保持するようにしてもよいが、図９（ｂ）では、説明の容易のため、画素単位で算出されたズラシ量を保持する例を示す。また、ズラシ量については、０以外に、正の値（いわゆる、飛出方向の値（飛出量））および負の値（いわゆる、引込方向の値（引込量））の何れも算出されるが、図９（ｂ）では、説明の容易のため、正の値のみを例示する。
【００９４】
［二値化データ例］
次に、立体視画像パラメータの一例である二値化データについて説明する。例えば、ズラシ量保持テーブル３００におけるズラシ量が「０」の領域（ズラシ量０領域）に接する、ズラシ量が「非０」の領域（ズラシ量非０領域）についてエッジ検出処理を行うことにより立体視物体を検出することができる。
【００９５】
このエッジ検出処理により二値化データ（例えば、立体視物体の領域「１」、それ以外の領域「０」）がズラシ量保持テーブル３００のブロック単位で算出される。そして、ズラシ量保持テーブル３００のブロック単位で算出された二値化データ（０または１）については、ズラシ量保持テーブル３００に関連付けて保持される。
【００９６】
例えば、算出された二値化データ（０または１）により、立体視画像における閉じた領域が特定される場合には、その閉じた領域を立体視物体の領域とすることができる。このように、立体視物体の領域が特定される場合には、その物体に対応する領域と、その物体のズラシ量とを関連付けて立体視画像パラメータとすることができる。また、立体視画像に複数の物体が含まれる場合には、その複数の物体に対応する各領域と、その複数の物体の各ズラシ量とを関連付けて立体視画像パラメータとすることができる。このように複数の物体が特定される場合には、各物体に対応する領域が閉じた領域であることが必要となる。なお、コンテンツ付随情報記憶部１２２は、その特定された物体に対応する領域と、その特定された物体のズラシ量が変換された奥行量（飛出量または引込量）とを関連付けた立体視画像パラメータを記憶するようにしてもよい。
【００９７】
［画像におけるズレ量と表示面におけるズレ量との関係例］
図１０は、本発明の第１の実施の形態におけるコンテンツ記憶部１２１に記憶されている立体視画像コンテンツにおけるズレ量と、表示部１８１の表示面におけるズレ量との関係を示す図である。図１０（ａ）には、立体視画像を構成する左眼視用画像２０１および右眼視用画像２０２を示す。図１０（ａ）に示す左眼視用画像２０１および右眼視用画像２０２は、図７（ｂ）と同様である。図１０（ａ）では、左眼視用画像２０１における物体２０３のズレ量（右眼視用画像２０２に含まれる物体２０３とのズレ量）をズレ量Ｇ１として示す。
【００９８】
図１０（ｂ）には、表示部１８１に表示される立体視画像を示す。なお、図１０（ｂ）では、図１０（ａ）に示す左眼視用画像２０１および右眼視用画像２０２を合成して示す。また、図１０（ｂ）では、表示部１８１の表示面におけるズレ量（左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０３のズレ量）をズレ量Ｇ２として示す。
【００９９】
このように、立体視画像におけるズレ量と、表示部１８１の表示面におけるズレ量との関係に基づいて、音声補正部１４０、立体視画像補正部１５０および字幕生成部１６０は、立体視画像パラメータを用いて補正処理を行う。このため、音声補正部１４０、立体視画像補正部１５０および字幕生成部１６０は、立体視画像におけるズレ量と、表示部１８１の表示面におけるズレ量との変換テーブルを保持しておき、この変換テーブルに基づいて立体視画像パラメータを用いた補正処理を行う。
【０１００】
［試聴位置と飛出位置との関係例］
図１１は、本発明の第１の実施の形態における表示部１８１に表示される立体視画像を視聴する場合における視聴位置と、その立体視画像に含まれる物体（立体視物体）の飛出位置との関係を模式的に示す図である。
【０１０１】
図１１において、立体視画像が表示される位置（表示部１８１の表示面）を表示面の位置３５０とし、表示部１８１に表示される立体視画像を視聴する場合におけるユーザの視聴位置を視聴位置３５１とする。また、この状態で立体視画像を視聴しているユーザが見ることができる物体（立体視物体３５２）の飛出位置を飛出位置３５３とする。
【０１０２】
ここで、立体視画像に含まれる立体視物体３５２のズレ量（表示面上のズレ量）をｐとし、表示面の位置３５０および視聴位置３５１間の距離をＬとし、立体視画像を視聴しているユーザの両眼間隔をｅとする。また、表示面の位置３５０および飛出位置３５３間の距離（飛出量）をｄとする。
【０１０３】
この場合に、表示面の位置３５０と、視聴位置３５１と、飛出位置３５３との関係については、相似関係から、以下の式１が成立する。
ｄ：ｐ＝（Ｌ−ｄ）：ｅ …式１
【０１０４】
また、式１を変形すると、ｄ＝ｐＬ／（ｅ＋ｐ）が求められる。
【０１０５】
具体的には、ｐ＝７１ｍｍ、ｌ＝２０００ｍｍ、ｅ＝６５ｍｍを代入すると、飛出量ｄとして、１０４４ｍｍ（ｄ＝７１×２０００／（６５＋７１））を求めることができる。
【０１０６】
このように、立体視画像における物体のズレ量を用いて、その物体の飛出量を求めることができる。このため、立体視画像補正部１５０は、立体視画像における物体のズレ量を用いて、その物体の奥行量（飛出量または引込量）の補正を行うことができる。
【０１０７】
［立体視画像の補正例］
図１２は、本発明の第１の実施の形態における立体視画像補正部１５０による補正前後の立体視物体の位置を模式的に示す図である。
【０１０８】
図１２（ａ）には、表示部１８１に立体視画像が表示される場合に、その立体視画像に含まれる物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における上面図を模式的に示す。なお、図１２（ａ）に示す例は、距離Ｂ１およびＳ１以外は、図７（ａ）と同様である。
【０１０９】
ここで、距離Ｂ１は、物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における物体２０３および２０４間の奥行方向における距離を示す。また、距離Ｓ１は、物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における物体２０４および２０５間の奥行方向における距離を示す。
【０１１０】
図１２（ｂ）には、立体視画像補正部１５０による補正後に、表示部１８１に立体視画像が表示される場合に、その立体視画像に含まれる物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における上面図を模式的に示す。
【０１１１】
ここで、距離Ｂ２は、物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における物体２０３および２０４間の奥行方向における距離を示す。また、距離Ｓ２は、物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における物体２０４および２０５間の奥行方向における距離を示す。
【０１１２】
図１２（ｂ）では、立体視画像コンテンツを長時間視聴する場合に、その長時間の視聴でもユーザの眼が疲労しないように、立体視物体の奥行量（飛出量または引込量）を控えめに調整した場合を例にして示す。
【０１１３】
例えば、図５に示す立体視画像の奥行位置調整レバー５１０を真ん中よりも「小」側に移動させることにより、立体視物体の奥行量（飛出量または引込量）を控えめに調整することができる。この場合には、図４に示す調整部１５１が、ズラシ量保持テーブルにおける各ズラシ量に係数Ｋ（０＜Ｋ＜１）を乗算することにより、各ズラシ量を調整することができる。この場合に、図１２に示す例では、Ｂ２＜Ｂ１、および、Ｓ２＜Ｓ１となる。このように、立体視物体の飛出量および引込量を少なくしてユーザの眼の負担を軽減させることができる。
【０１１４】
また、例えば、図５に示す立体視画像の奥行位置調整レバー５１０を真ん中よりも「大」側に移動させることにより、立体視物体の奥行量（飛出量または引込量）を強調するように調整することができる。この場合には、図４に示す調整部１５１が、ズラシ量保持テーブルにおける各ズラシ量に係数Ｋ（１＜Ｋ）を乗算することにより、各ズラシ量を調整することができる。このように、立体視物体の飛出量および引込量を大きくして強調することにより、立体視画像の立体感をさらに強くしてユーザが楽しむことができる。
【０１１５】
このように、ユーザ操作に応じて立体視画像の奥行量を調整することにより、ユーザの個人的嗜好に応じた適切な立体視画像を提供することができる。この場合に、例えば、視聴者の年齢層に応じた設定ボタン（例えば、子供ボタン、青年ボタン、高齢ボタン）をリモコン５００に設け、この設定ボタンをユーザの年齢層に応じて押下することにより、ユーザの年齢層に応じた適切な立体視画像を提供することができる。例えば、子供ボタンまたは高齢ボタンが押下された場合には、立体視画像およびその音声を控えめに設定することができる。また、青年ボタンが押下された場合には、立体視画像およびその音声を強調するように設定することができる。
【０１１６】
また、このように立体視物体の奥行量が変更された場合（変更操作が行われた場合）には、音声データに係る音像をその変更後の奥行量に対応する位置に定位させるように音声データを補正するようにしてもよい。
【０１１７】
［音声の補正例］
図１３は、本発明の第１の実施の形態における音声補正部１４０により出力音声を補正する場合における補正方法を模式的に示す図である。図１３では、図１１と同様に、表示部１８１に表示される立体視画像を視聴する場合における視聴位置と、その立体視画像に含まれる物体（立体視物体）の飛出位置との関係を模式的に示す。
【０１１８】
図１３において、立体視画像が表示される位置（表示部１８１の表示面）を表示面の位置４００とし、表示部１８１に表示される立体視画像を視聴する場合におけるユーザの視聴位置を視聴位置４０１とする。また、この状態で立体視画像を視聴しているユーザが見ることができる物体Ａ、Ｂ（立体視物体４０２、４０３）の飛出位置を飛出位置４０４、４０５とする。
【０１１９】
ここで、表示面の位置４００および視聴位置４０１間の距離をＬとし、表示面の位置４００および飛出位置４０４間の距離（飛出量）をＹａとし、表示面の位置４００および飛出位置４０５間の距離（飛出量）をＹｂとする。この場合に、視聴位置４０１および飛出位置４０４間の距離ＺａはＬ−Ｙａ（すなわち、Ｚａ＝Ｌ−Ｙａ）であり、視聴位置４０１および飛出位置４０５間の距離ＺｂはＬ−Ｙｂ（すなわち、Ｚｂ＝Ｌ−Ｙｂ）である。
【０１２０】
そこで、表示部１８１に立体視画像が表示される場合において、立体視物体４０２（飛出位置４０４）を含む立体視画像が表示される場合には、フィルタ処理部１４７が、距離Ｚａに応じたフィルタ処理を施す。これにより、立体視物体４０２の飛出位置４０４に音像を定位させることができる。なお、音像は、感覚上の音源を意味する。
【０１２１】
ここで、フィルタ処理に用いられるフィルタ係数は、定位させる音源の位置（距離、方向）と、試聴位置とにおいて、スピーカおよびダミーヘッドを設置し、インパルス応答を測定する公知の方法により求める（例えば、特開２０１０−１７８３７３号参照。）
【０１２２】
また、想定される複数の音源の位置（距離、方向）に対応するフィルタ係数（上述した方法により求められる）を、その複数の音源の位置毎に関連付けて保持部１４９に保持させておく。そして、位置換算部１４２から出力される立体視物体の奥行量（飛出位置および引込量）に応じて、フィルタ決定部１４４が複数のフィルタ係数のうちから１つのフィルタ係数を選択する。すなわち、フィルタ決定部１４４が、立体視物体の飛出位置に最も近い位置に対応するフィルタ係数を選択する。そして、フィルタ決定部１４４により選択されたフィルタ係数を用いてフィルタ処理部１４７がフィルタ処理を行う。
【０１２３】
また、音量調整を行うことにより音声を補正することができる。ここでは、図１３において、立体視物体（物体Ａ）４０２の飛出位置４０４を基準として、立体視物体（物体Ｂ）４０３の飛出位置４０５の音量調整を行う例を示す。
【０１２４】
音量を調整する際に用いられるゲイン量は、音圧と距離との関係から決定される。具体的には、飛出位置４０４における音圧をＩａとする場合に、飛出位置４０５における音圧Ｉｂは、次の式２により求めることができる。
Ｉｂ＝Ｉａ×（Ｚｂ／Ｚａ）２ … 式２
【０１２５】
したがって、飛出位置４０５の音量調整を行う場合におけるゲイン量ｇとしてｌｂ／ｌａ（すなわち、ｇ＝ｌｂ／ｌａ）が決定される。すなわち、ゲイン決定部１４３は、位置換算部１４２からの位置情報に基づいて、飛出位置４０５の音量調整を行う場合におけるゲイン量ｇとしてｌｂ／ｌａを決定する。
【０１２６】
このように、ゲイン決定部１４３により決定されたゲイン量を用いて、音量調整部１４６が、飛出位置４０４の前後の位置（例えば、飛出位置４０５）の音量調整を行う。このように、フィルタ処理とともに音量調整処理を行うことにより、頭部伝達関数フィルタに対応する位置以外の位置についても、音声情報を正確に補正することができる。また、このように、フィルタ処理とともに音量調整処理を行うことにより、頭部伝達関数フィルタを多数保持しなくても、各位置に対応した音声情報の補正を行うことができる。
【０１２７】
このように、立体視画像における物体のズレ量を用いて、その物体の飛出量を求めることができる。このため、音声補正部１４０は、立体視画像における物体のズレ量を用いて、その物体の音声情報の補正を行うことができる。
【０１２８】
このように、本発明の第１の実施の形態によれば、表示部１８１に表示される立体視画像に応じた適切な立体音響をユーザに提供することができる。すなわち、立体視画像を表示する際に物体の奥行方向における位置を考慮した音声出力を行うことができる。これにより、ユーザはさらに豊かな臨場感を得ることができる。
【０１２９】
［情報処理装置の動作例］
次に、本発明の第１の実施の形態における情報処理装置１００の動作について図面を参照して説明する。
【０１３０】
［音声補正部の動作例］
図１４は、本発明の第１の実施の形態における音声補正部１４０による音声補正処理の処理手順の一例を示すフローチャートである。図１４では、ズラシ量保持テーブルにおけるズラシ量の平均値に基づいて音声を補正する場合を例にして説明する。
【０１３１】
最初に、立体視画像の表示指示操作が行われたか否かが判断され（ステップＳ９１１）、立体視画像の表示指示操作が行われていない場合には、監視を継続して行う。立体視画像の表示指示操作が行われた場合には（ステップＳ９１１）、調整値算出部１４１が、ズラシ量保持テーブルを取得し（ステップＳ９１２）、このズラシ量保持テーブルにおける各ズラシ量の平均値（調整値）を算出する（ステップＳ９１３）。
【０１３２】
続いて、位置換算部１４２が、その平均値（調整値）に対応する位置（奥行方向における位置）に換算する（ステップＳ９１４）。続いて、ゲイン決定部１４３が、換算後の位置に基づいて、音量調整を行うためのゲイン量を決定する（ステップＳ９１５）。続いて、フィルタ決定部１４４が、換算後の位置に基づいて、その位置に音像を定位させるためのフィルタ係数を決定する（ステップＳ９１６）。
【０１３３】
続いて、音量調整部１４６が、その決定されたゲイン量を用いて音量調整を行う（ステップＳ９１７）。続いて、フィルタ処理部１４７が、その決定されたフィルタ係数を用いてフィルタ処理を行う（ステップＳ９１８）。なお、ステップＳ９１２乃至Ｓ９１８は、特許請求の範囲に記載の補正手順の一例である。
【０１３４】
続いて、音声データ出力部１４８が、補正処理後の音声データを出力制御部１７０に出力する（ステップＳ９１９）。これにより、補正処理後の音声データが出力制御部１７０から出力される。なお、ステップＳ９１９は、特許請求の範囲に記載の出力制御手順の一例である。
【０１３５】
続いて、立体視画像の表示終了操作が行われたか否かが判断され（ステップＳ９２０）、立体視画像の表示終了操作が行われていない場合には、ステップＳ９１２に戻る。一方、立体視画像の表示終了操作が行われた場合には（ステップＳ９２０）、音声補正処理の動作を終了する。
【０１３６】
［立体視画像補正部の動作例］
図１５は、本発明の第１の実施の形態における立体視画像補正部１５０による立体視画像補正処理の処理手順の一例を示すフローチャートである。図１５では、ユーザ操作によるパラメータ調整に基づいて立体視画像を補正する場合を例にして説明する。
【０１３７】
最初に、立体視画像の表示指示操作が行われたか否かが判断され（ステップＳ９３１）、立体視画像の表示指示操作が行われていない場合には、監視を継続して行う。立体視画像の表示指示操作が行われた場合には（ステップＳ９３１）、ユーザ操作によりパラメータ調整の指示操作が行われたか否かが判断され（ステップＳ９３２）、パラメータ調整の指示操作が行われていない場合には、ステップＳ９３８に進む。
【０１３８】
また、パラメータ調整の指示操作が行われた場合には（ステップＳ９３２）、調整部１５１が、ズラシ量保持テーブルを取得する（ステップＳ９３３）。続いて、操作受付部１１５により受け付けられた操作入力（パラメータ調整の指示操作）に応じて、そのズラシ量保持テーブルにおける各ズラシ量を調整する（ステップＳ９３４）。
【０１３９】
続いて、水平移動処理部１５３が、調整後のズラシ量に基づいて水平移動処理を行い（ステップＳ９３５）、平滑化処理部１５４が二値化データに基づいて平滑化処理を行う（ステップＳ９３６）。続いて、画像データ出力部１５５が、補正処理後の画像データを出力制御部１７０に出力する（ステップＳ９３７）。
【０１４０】
続いて、立体視画像の表示終了操作が行われたか否かが判断され（ステップＳ９３８）、立体視画像の表示終了操作が行われていない場合には、ステップＳ９３２に戻る。一方、立体視画像の表示終了操作が行われた場合には（ステップＳ９３８）、画像補正処理の動作を終了する。
【０１４１】
［字幕生成部の動作例］
図１６は、本発明の第１の実施の形態における字幕生成部１６０による字幕生成処理の処理手順の一例を示すフローチャートである。図１６では、ズラシ量保持テーブルにおけるズラシ量の平均値に基づいて字幕データを補正する場合を例にして説明する。
【０１４２】
最初に、立体視画像の表示指示操作が行われたか否かが判断され（ステップＳ９５１）、立体視画像の表示指示操作が行われていない場合には、監視を継続して行う。立体視画像の表示指示操作が行われた場合には（ステップＳ９５１）、調整値算出部１６１が、ズラシ量保持テーブルを取得し（ステップＳ９５２）、このズラシ量保持テーブルにおける各ズラシ量の平均値（調整値）を算出する（ステップＳ９５３）。
【０１４３】
続いて、字幕データ生成部１６２が字幕データを生成し（ステップＳ９５４）、この生成された字幕データ（字幕画像）について、その平均値（調整値）を用いて画像の水平移動処理を行う（ステップＳ９５５）。続いて、字幕データ出力部１６３が、生成された字幕データを出力制御部１７０に出力する（ステップＳ９５６）。
【０１４４】
続いて、立体視画像の表示終了操作が行われたか否かが判断され（ステップＳ９５７）、立体視画像の表示終了操作が行われていない場合には、ステップＳ９５２に戻る。一方、立体視画像の表示終了操作が行われた場合には（ステップＳ９５７）、字幕生成処理の動作を終了する。
【０１４５】
［特定の立体視物体の位置を基準とする音声の補正例］
以上では、ズラシ量保持テーブルにおけるズラシ量の平均値に基づいて音声を補正する例を示した。ただし、例えば、特定人物（例えば、本人や家族）を含む立体視画像を表示する場合には、その特定人物を基準として音声を補正することをユーザが所望することも想定される。そこで、以下では、立体視画像に含まれる特定対象物を基準として音声を補正する例を示す。
【０１４６】
図１７は、本発明の第１の実施の形態における表示部１８１に表示される立体視画像を時系列で模式的に示す図である。
【０１４７】
図１７（ａ）には、離陸する飛行機４１３を正面側から撮影した場合における立体視画像４１０乃至４１２を示す。図１７（ｂ）には、撮影者側に進行している人物４１８を正面側から撮影した場合における立体視画像４１５乃至４１７を示す。
【０１４８】
立体視画像４１０乃至４１２、４１５乃至４１７は、立体視画像を表示するための動画を構成するフレームのうち、一定間隔毎のフレームに対応する画像であるものとする。また、図１７では、説明の容易のため、立体視画像を構成する左眼視用画像および右眼視用画像のうちの一方のみを時系列で示す。
【０１４９】
また、立体視画像４１０乃至４１２に対応する動画が表示される場合には、飛出量が比較的多い立体視物体として飛行機４１３が表示されるものとする。また、立体視画像４１５乃至４１７に対応する動画が表示される場合には、飛出量が比較的多い立体視物体として人物４１８が表示されるものとする。
【０１５０】
図１７に示すように、特定の立体視物体（飛行機４１３、人物４１８）が時系列で撮影者側に順次近づいてくるシーンでは、オーディオチャネルの中から、その立体視物体から生じる音声を識別してその音声を補正する。このように音声補正を行うことにより、さらにユーザ好みの適切な音声出力を行うことができる。
【０１５１】
［音声補正部の構成例］
図１８は、本発明の第１の実施の形態における音声補正部４５０の機能構成例を示すブロック図である。なお、音声補正部４５０は、図３に示す音声補正部１４０の一部を変形した例である。このため、音声補正部１４０と共通する部分には同一の符号を付して、これらの説明の一部を省略する。なお、音声補正部４５０は、特許請求の範囲に記載の補正部の一例である。
【０１５２】
音声補正部４５０は、顔検出部４５１と、位置換算部４５２と、ゲイン決定部４５３と、フィルタ決定部４５４と、音量調整部４５６と、フィルタ処理部４５７と、ミキサ部４５８と、音声データ出力部４５９とを備える。
【０１５３】
音声データ入力部１４５は、取得部１３０から供給される音声データ（センタチャンネル、左チャンネル、右チャンネルを含む）を入力するものであり、その音声データを音量調整部１４６および音量調整部４５６に供給する。例えば、センタチャンネル（音声チャネル）の音声データが音量調整部４５６に供給され（信号線４６２）、左チャンネルおよび右チャンネル（メインのオーディオチャネル）の音声データが音量調整部１４６に供給される（信号線４６１）。また、フィルタ処理部１４７は、フィルタ処理後の音声データをミキサ部４５８に出力する。
【０１５４】
顔検出部４５１は、制御部１１０の制御に基づいて、取得部１３０から供給される画像データに含まれる人物の顔を検出するものであり、検出された顔に関する顔情報（検出された顔の領域に対応する各ズラシ量の平均値）を位置換算部４５２に出力する。例えば、顔検出部４５１は、取得部１３０から供給される立体視画像パラメータに含まれるズラシ量保持テーブルおよび二値化データを用いて人物の顔を検出する。例えば、顔検出部４５１は、ズラシ量保持テーブルにおける各ズラシ量のうち、二値化データにより特定される立体視物体に係る領域の各ズラシ量を抽出する。そして、顔検出部４５１は、その抽出された各ズラシ量と、予め保持されている人物の顔のパターン画像とのマッチング処理を行い、このマッチング処理の結果に基づいて人物の顔を検出する。なお、他の検出方法を用いるようにしてもよい。例えば、本発明の第２の実施の形態における顔検出部６２０（図２３に示す）と同様の顔検出方法を用いることができる。なお、顔検出部４５１は、特許請求の範囲に記載の検出部の一例である。
【０１５５】
位置換算部４５２は、顔検出部４５１から出力された顔情報（平均値）を、音声データを補正するための位置（奥行方向における位置）に換算するものであり、換算後の位置（位置情報）をゲイン決定部４５３およびフィルタ決定部４５４に出力する。
【０１５６】
ゲイン決定部４５３は、位置換算部４５２から出力された位置情報に基づいて、音量調整を行うためのゲイン量を決定するものであり、決定されたゲイン量を音量調整部４５６に出力する。
【０１５７】
フィルタ決定部４５４は、位置換算部４５２から出力された位置情報に基づいて、その位置情報に対応する位置に音像を定位させるためのフィルタ係数を決定するものであり、決定されたフィルタ係数をフィルタ処理部４５７に出力する。
【０１５８】
音量調整部４５６は、音声データ入力部１４５から供給された音声データについて、ゲイン決定部４５３から出力されたゲイン量を用いて音量調整を行うものであり、音量調整後の音声データをフィルタ処理部４５７に出力する。
【０１５９】
フィルタ処理部４５７は、音声データ入力部１４５から供給された音声データについて、フィルタ決定部４５４から出力されたフィルタ係数を用いてフィルタ処理を行うものであり、フィルタ処理後の音声データをミキサ部４５８に出力する。
【０１６０】
ミキサ部４５８は、フィルタ処理部１４７から出力されたフィルタ処理後の音声データと、フィルタ処理部４５７から出力されたフィルタ処理後の音声データとをミキシングするものであり、そのミキシングされた音声データを音声データ出力部４５９に出力する。
【０１６１】
音声データ出力部４５９は、ミキサ部４５８から出力された音声データを、出力制御部１７０に出力するものである。
【０１６２】
このように、音声補正部４５０は、顔検出部４５１により検出された人物の顔（特定対象物）の奥行方向における位置に基づいて、その人物から生じる音声を補正する。すなわち、音声補正部４５０は、立体視画像パラメータのうち、その人物の顔の奥行方向における位置を示すパラメータ（ズラシ量）を用いて、センタチャンネルの音声データ（その人物から生じる音声データ）を補正する。また、例えば、音声補正部４５０は、その人物の顔の奥行方向における位置を示すパラメータ以外のパラメータ（ズラシ量）を用いて、左チャンネルおよび右チャンネルの音声データを補正することができる。例えば、調整値算出部１４１は、その人物の顔の奥行方向における位置を示すパラメータ以外のパラメータ（ズラシ量）の平均値を算出する。そして、その算出された平均値に基づいて左チャンネルおよび右チャンネルの音声データを補正することができる。
【０１６３】
なお、この例では、特定対象物として人物の顔を検出する例を示したが、他の特定対象物検出方法を用いて特定対象物（例えば、飛行機、車、人体）を検出するようにしてもよい。例えば、勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）を用いて物体検出を行う検出方法を用いて特定対象物を検出することができる（例えば、特開２０１０−０６７１０２号参照。）。
【０１６４】
［背景の位置を基準とする音声の補正例］
以上では、立体視画像に含まれる特定対象物を基準として音声を補正する例を示した。ただし、立体視画像に含まれる他の領域を基準として音声を補正するようにしてもよい。例えば、立体視画像に含まれる背景領域（すなわち、立体視物体以外の領域）を基準として、その背景領域に係る音声（背景音）を補正するようにしてもよい。例えば、二値化データを用いて背景領域を特定することができる（すなわち、二値化データが「０」の領域が背景領域）。また、背景音は、例えば、サラウンドチャネルの中から抽出することができる。そして、背景領域に対応する位置にオーディオチャネルのうち、背景音の音像を定位させる。これにより、最適な立体音響をユーザに提供することができる。
【０１６５】
［シーン切替に基づく立体視画像の補正例］
以上では、ユーザ操作に基づいて立体視画像を補正する例を示した。ここで、例えば、放送番組からＣＭ（Commercial Message）への切替時やチャネル切替時（シーン切替）には、立体視画像から平面画像に変化したり、平面画像から立体視画像に変化したりすることが想定される。このような急激な変化（立体視画像から平面画像への変化や平面画像から立体視画像への変化）があった場合には、ユーザが違和感を生じることも考えられる。そこで、以下では、ＣＭ切替時やチャネル切替時を基準として立体視画像を補正する例を示す。なお、この例における情報処理装置の構成については、図２等に示す例と略同様である。このため、図２等に示す情報処理装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
【０１６６】
なお、シーン切替時の検出方法として、例えば、対象画像と、時間軸において１つ前の画像（隣接画像）との比較により、急激に変化する画像を検出して、対象画像がカットチェンジ点（シーン切替時）であるか否かを解析する方法を用いることができる。このカットチェンジの検出方法として、例えば、画像間におけるヒストグラム類似度および空間相関画像類似度を用いてカットチェンジであるかを判定する方法（例えば、特開２００８−８３８９４号参照。）を用いることができる。この方法は、例えば、対象画像と隣接画像とに関するヒストグラム類似度および空間相関画像類似度に基づいて、対象画像と隣接画像とおける画像の変化がカットチェンジであるかを判定する。なお、ＣＭ切替時については、放送受信部からの映像信号に基づいて検出するようにしてもよい。また、チャネル切替時については、リモコン５００または操作受付部１１５により受け付けられるユーザ操作に基づいて検出することができる。
【０１６７】
［ＣＭ切替に基づく立体視画像の補正例］
図１９は、本発明の第１の実施の形態における立体視画像補正部１５０による奥行量の調整例を示す図である。図１９では、ズラシ量保持テーブル３００に保持されているズラシ量のうちの１つのズラシ量（１ブロック）に対応する奥行量の変化を時系列で模式的に示す。また、図１９に示す例では、放送番組が立体視画像として表示され、ＣＭが平面画像として表示される場合を想定して説明する。
【０１６８】
図１９（ａ）には、調整前の立体視物体の奥行量を時系列で示す。図１９（ａ）に示す曲線５３１および５３２は、立体視画像として表示される放送番組（番組（３Ｄ））に係る奥行量の遷移に対応する曲線である。また、曲線５３１および５３２に対応する放送番組（番組（３Ｄ））の後には、ＣＭ（２Ｄ）が平面画像として表示されるものとする。
【０１６９】
図１９（ａ）に示すように、曲線５３１に対応する放送番組（番組（３Ｄ））からＣＭ（２Ｄ）への切替時には、奥行量が急激に変化する。同様に、ＣＭ（２Ｄ）から曲線５３２に対応する放送番組（番組（３Ｄ））への切替時、曲線５３２に対応する放送番組（番組（３Ｄ））からＣＭ（２Ｄ）への切替時についても、奥行量が急激に変化する。このように奥行量が急激に変化する場合には、立体視画像を見ていたユーザが違和感を生じるおそれがある。例えば、放送番組（番組（３Ｄ））からＣＭ（２Ｄ）への切替時には、立体視画像から平面画像に急激に切り替わるため、違和感を生じるおそれがある。そこで、図１９（ｂ）に示すように、放送番組（番組（３Ｄ））からＣＭ（２Ｄ）への切替時には奥行量を調整して、立体視画像から平面画像への切替時にユーザに与える違和感を軽減させることができる。
【０１７０】
図１９（ｂ）には、調整後の立体視物体の奥行量を時系列で示す。図１９（ｂ）に示す曲線５３３は、図１９（ａ）に示す曲線５３１に対応する奥行量を調整した後の奥行量の遷移に対応する曲線である。また、図１９（ｂ）に示す曲線５３４は、図１９（ａ）に示す曲線５３２に対応する奥行量を調整した後の奥行量の遷移に対応する曲線である。
【０１７１】
例えば、放送番組（番組（３Ｄ））からＣＭ（２Ｄ）への切替時には、図４に示す調整部１５１が、その境界時から所定時間（例えば、期間ｔ１１）前の奥行量（ズラシ量）から調整を行う。例えば、期間ｔ１１の開始時から終了時までの間、時間の経過に応じて減少するパラメータａを奥行量に乗算することにより調整を行うことができる。このパラメータａは、例えば、０≦ａ≦１の範囲内の値に変化するパラメータであり、期間ｔ１１の開始時にはパラメータａ＝１となり、期間ｔ１１の終了時にはパラメータａ＝０となる。また、期間ｔ１１の開始時から終了時までの間、時間の経過に応じて、１から０に減少するように変化する。
【０１７２】
また、例えば、ＣＭ（２Ｄ）から放送番組（番組（３Ｄ））への切替時には、図４に示す調整部１５１が、その境界時から所定時間（例えば、期間ｔ１２）後まで奥行量（ズラシ量）の調整を行う。例えば、期間ｔ１２の開始時から終了時までの間、時間の経過に応じて増加するパラメータｂを奥行量に乗算することにより調整を行う。このパラメータｂは、例えば、０≦ａ≦１の範囲内の値に変化するパラメータであり、期間ｔ１２の開始時にはパラメータｂ＝０となり、期間ｔ１２の終了時にはパラメータｂ＝１となる。また、期間ｔ１２の開始時から終了時までの間、時間の経過に応じて０から１に増加するように変化する。
【０１７３】
［チャネル切替に基づく立体視画像の補正例］
図２０は、本発明の第１の実施の形態における立体視画像補正部１５０による奥行量の調整例を示す図である。図２０では、ズラシ量保持テーブル３００に保持されているズラシ量のうちの１つのズラシ量（１ブロック）に対応する奥行量の変化を時系列で模式的に示す。また、図２０に示す例では、立体視画像および平面画像の何れかが表示される場合を想定して説明する。
【０１７４】
なお、図２０に示す例は、図１９の変形例であり、ＣＭ（２Ｄ）期間および番組（２Ｄ）期間が異なる以外は、略同様である。
【０１７５】
なお、図１９および図２０に示す例では、ＣＭ切替時およびチャネル切替時における立体視画像の補正例を示したが、シーンチェンジ時についても同様に立体視画像の補正を行うことができる。
【０１７６】
このように、ＣＭ切替時、シーンチェンジ時、チャネル切替時において、奥行量の調整をすることにより、視聴者の不快感を解消することができる。
【０１７７】
［特殊再生時における立体視画像の補正例］
以上では、シーン切替時における立体視画像の補正例を示した。ここで、例えば、特殊な再生方法（例えば、２倍速再生）により立体視画像をユーザが見ることも想定される。このように特殊な再生方法により立体視画像が表示される場合には、通常の立体視画像表示と比較して、再生速度が速いためユーザが見難いと感じることも考えられる。そこで、以下では、特殊な再生方法により立体視画像が表示される場合に、立体視画像を補正する例を示す。なお、この例における情報処理装置の構成については、図２等に示す例と略同様である。このため、図２等に示す情報処理装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
【０１７８】
図２１は、本発明の第１の実施の形態における立体視画像補正部１５０による奥行量の調整例を示す図である。図２１では、ズラシ量保持テーブル３００に保持されているズラシ量のうちの１つのズラシ量（１ブロック）に対応する奥行量の変化を時系列で模式的に示す。また、図２１に示す例では、所定の倍速再生（例えば、２倍速再生、３倍速再生）が行われている場合を想定して説明する。
【０１７９】
ここで、所定の倍速再生が行われる場合には、表示対象となる立体視画像コンテンツを構成する各フレームのうち一部が間引きされて表示される。例えば、２倍速再生が行われる場合には、表示対象となる立体視画像コンテンツを構成する各フレームのうち、１枚間隔で間引きされて表示される。そこで、所定の倍速再生が行われる場合には、間引き対象となるフレームに関連付けられているズラシ量保持テーブルについては使用しないようにする。これにより、立体視画像の補正処理を迅速に行うことができる。
【０１８０】
図２１（ａ）には、調整前の立体視物体の奥行量を時系列で示す。図２１（ａ）に示す曲線５５１は、立体視画像の奥行量の遷移に対応する曲線である。図２１（ｂ）には、調整後の立体視物体の奥行量を時系列で示す。図２１（ｂ）に示す曲線５５２は、図２１（ａ）に示す曲線５５１に対応する奥行量を調整した後の奥行量の遷移に対応する。
【０１８１】
例えば、所定の倍速再生（例えば、２倍速再生、３倍速再生）が行われている場合には、上述したように、シーン切替時を検出し、この検出結果に基づいて奥行量を調整することができる。すなわち、シーン切替時の前後の奥行量が急激に変化しないように調整を行う。
【０１８２】
また、例えば、間引き対象とならないフレームに関連付けられているズラシ量保持テーブルを使用して一定期間における奥行量の平均値を算出し、この平均値から一定範囲内の値となるように、一定期間における奥行量を調整するようにしてもよい。例えば、期間ｔ３１における奥行量の平均値５５３を算出し、平均値５５３から一定範囲Ｈ１内の値となるように、期間ｔ３１における奥行量を調整することができる。すなわち、立体視画像補正部１５０は、立体視画像の倍速再生を指示する指示操作が受け付けられた場合には、立体視画像に含まれる物体の奥行方向における位置の変化が一定範囲内となるように、奥行方向における位置を補正する。
【０１８３】
また、例えば、倍速再生の倍率に応じて減少するパラメータｃｎ（ｎは正の整数）を奥行量に乗算することにより調整を行うようにしてもよい。このパラメータｃｎは、例えば、０≦ｃｎ≦１の範囲内の値をとり、…ｃ４（４倍速再生時のパラメータ）＜ｃ３（３倍速再生時のパラメータ）＜ｃ２（２倍速再生時のパラメータ）＜ｃ１（１倍速再生時のパラメータ）＝１となるものとする。
【０１８４】
このようにすることにより、倍速再生時における各フレーム間において、奥行量の変動を少なくして、ユーザの眼の負担を軽減させることができる。また、特殊再生操作時において、奥行量の調整をすることにより、視聴者の不快感を解消することができる。
【０１８５】
なお、上述したＣＭ切替時における立体視画像の補正、チャネル切替時における立体視画像の補正、特殊再生時における立体視画像の補正等を行う場合には、調整後の奥行量を用いて音声の補正を行うようにしてもよい。また、このように画像の補正とともに、音声の補正を行うか否かをユーザ操作により設定するようにしてもよい。
【０１８６】
［複数の画面を同時に表示する場合における補正例］
以上では、立体視画像コンテンツに基づく立体視画像を一画面として表示部１８１に表示する例を示した。ここで、例えば、同一の表示パネル上に複数の画面（例えば、メイン画面およびサブ画面）を同時に表示することが可能な情報処理装置が、これらの複数の画面に立体視画像をそれぞれ表示する場合を想定する。この場合において、例えば、複数の画面に表示される立体視画像が異なる内容である場合には、画面毎に立体視画像の補正を行うことができる。そこで、以下では、同一の表示パネル上に複数の画面を同時に表示する場合において、複数の画面に表示される立体視画像の補正を画面毎に行う例を示す。
【０１８７】
図２２は、本発明の第１の実施の形態における情報処理装置５６０の外観構成例と、補正処理の流れとを簡略化して示す図である。なお、この例における情報処理装置の構成については、図２等に示す例と略同様である。このため、図２等に示す情報処理装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
【０１８８】
図２２（ａ）には、情報処理装置５６０の外観構成として正面側の外観構成例を示す。例えば、情報処理装置５６０の表示部１８１には、メイン画面５６１およびサブ画面５６２が表示されるものとする。また、情報処理装置５６０は、メイン画面５６１およびサブ画面５６２にそれぞれ異なる立体視画像を表示することが可能である。
【０１８９】
図２２（ｂ）には、情報処理装置５６０による補正処理の流れを簡略化して示す。なお、図２２（ｂ）に示す例は、同時に表示される２つの立体視画像のそれぞれについて、異なる補正を行う点が異なるが、それ以外の点については、上述した補正処理と同様である。すなわち、メイン画面の補正処理５７０のうち画像補正処理として、メイン画面画像データ（メイン画面５６１の表示対象となる画像データ）５７１について画像補正処理５７２が行われる。そして、補正後の画像データについてメイン画面立体視画像出力５７３が行われる。また、メイン画面の補正処理５７０のうち音声補正処理として、メイン画面音声データ５７４について音声補正処理５７５が行われる。そして、補正後の音声データについてメイン画面音声出力５７６が行われる。
【０１９０】
また、サブ画面の補正処理５８０のうち画像補正処理として、サブ画面画像データ（サブ画面５６２の表示対象となる画像データ）５８１について画像補正処理５８２が行われる。そして、補正後の画像データについてメイン画面立体視画像出力５８３が行われる。また、メイン画面の補正処理５８０のうち音声補正処理として、メイン画面音声データ５８４について音声補正処理５８５が行われる。そして、補正後の音声データについてメイン画面音声出力５８６が行われる。
【０１９１】
また、メイン画面の補正処理５７０およびサブ画面の補正処理５８０については、同一の設定内容に基づいてそれぞれ行うようにしてもよく、異なる設定内容に基づいてそれぞれ行うようにしてもよい。また、ユーザ操作により設定されるメイン画面５６１およびサブ画面５６２のサイズに応じて、各設定内容を変更するようにしてもよい。
【０１９２】
なお、図２２では、同一の表示パネル上に２つの画面を同時に表示する例を示したが、３以上の画面を同時に表示する場合についても同様に行うことができる。
【０１９３】
このように、メイン画面５６１およびサブ画面５６２が表示される場合において、各画面について奥行量の調整をすることにより、各画面において豊かな臨場感を得ることができる。
【０１９４】
＜２．第２の実施の形態＞
本発明の第１の実施の形態では、ユーザ操作または立体視画像に関する各種情報に基づいて音声補正および画像補正を行う例を示した。ここで、立体視画像は、実際の表示位置と、ユーザが見ていると錯覚する物体の位置とが異なるため、ユーザが違和感を覚えることが想定される。そこで、本発明の第２の実施の形態では、そのような違和感によるユーザの眼の疲労感を軽減する例を示す。
【０１９５】
［情報処理装置の構成例］
図２３は、本発明の第２の実施の形態における情報処理装置６００の機能構成例を示すブロック図である。
【０１９６】
情報処理装置６００は、撮像部６１０と、顔検出部６２０と、黒目検出部６３０と、基準黒目情報保持部６４０と、眼球変化検出部６５０と、取得部６６０と、立体視画像補正部６７０と、出力制御部６８０と、制御部６９０とを備える。なお、図２に示す情報処理装置１００に共通する部分の一部については、その説明の一部を省略する。また、操作受付部１１５、コンテンツ記憶部１２１、コンテンツ付随情報記憶部１２２、表示部１８１、音声出力部１８２およびリモコン５００は、図２に示すものと略同様であるため、同一の符号を付して、ここでの詳細な説明を省略する。
【０１９７】
撮像部６１０は、制御部６９０の制御に基づいて、被写体を撮像して画像データ（ビデオデータ）を生成するものであり、生成された画像データを顔検出部６２０および黒目検出部６３０に順次出力する。具体的には、撮像部６１０は、光学ユニット、撮像素子および信号処理部を備える。撮像部６１０において、光学ユニットを介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像動作を行い、信号処理部が撮像信号に対して信号処理を行うことにより画像データが生成される。そして、生成された画像データが所定のフレームレートで顔検出部６２０および黒目検出部６３０に順次出力される。撮像部６１０は、例えば、単眼カメラにより実現することができる。
【０１９８】
また、撮像部６１０は、フォーカスを自動で合わせるオートフォーカス（ＡＦ（Auto Focus））機能を備える。このオートフォーカス機能は、例えば、コントラスト検出方式のオートフォーカス機能（いわゆる、コントラストＡＦ）である。
【０１９９】
ここで、ＡＦ処理について説明する。ＡＦ処理では、例えば、コントラスト情報の取得を開始する位置への移動動作と、コントラスト情報の取得動作とを組み合わせた一連の動作（１回のＡＦ処理）が繰り返し行われる。この１回のＡＦ処理を実行する毎に、レンズから被写体までの距離（被写体距離）を捕えることが可能である。すなわち、被写体距離をａとし、レンズから撮像素子に結像される像までの距離をｂとし、レンズの焦点距離をｆとする場合には、次の式３が成り立つ。
（１／ａ）＋（１／ｂ）＝１／ｆ … 式３
【０２００】
この式３により、撮像部６１０は、被写体距離ａ＝１／（（１／ｆ）−（１／ｂ））を算出することができる。そして、撮像部６１０は、算出された被写体距離ａを眼球変化検出部６５０に出力する。
【０２０１】
なお、本発明の第２の実施の形態では、情報処理装置６００に撮像部６１０を内蔵する例を示すが、撮像部６１０の代わりに外部機器の撮像装置を利用するようにしてもよい。例えば、生成された画像データを外部装置に出力するための外部出力端子を備えるデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置と情報処理装置６００とを無線回線または有線回線により接続する。そして、その撮像装置により生成された画像データを情報処理装置６００が取得して、顔検出部６２０および黒目検出部６３０に順次供給することができる。
【０２０２】
顔検出部６２０は、撮像部６１０から出力された画像データに含まれる人物の顔を検出するものであり、検出された顔に関する顔検出情報を黒目検出部６３０に出力する。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、画像データに含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、顔検出情報には、検出された顔の画像データ（画像）上における位置およびサイズが含まれる。なお、検出された顔の画像データ上における位置は、例えば、画像データ上における顔画像の左上の位置とし、検出された顔の画像データ上におけるサイズは、例えば、画像データ上における顔画像の水平方向および垂直方向の長さとすることができる。この顔検出情報により、画像データ上における顔の少なくとも一部を含む矩形状の画像データである顔画像を特定することができる。
【０２０３】
黒目検出部６３０は、撮像部６１０から出力された画像データに含まれる顔の両眼における黒目を検出するものであり、検出された黒目に関する黒目情報を眼球変化検出部６５０に出力する。すなわち、黒目検出部６３０は、撮像部６１０から出力された画像データにおいて、顔検出部６２０から出力された顔検出情報（位置およびサイズ）を用いて、顔検出部６２０により検出された顔に対応する顔画像を抽出する。そして、この抽出された顔画像における黒目を検出する。この黒目検出方法として、例えば、顔検出方法と同様に、黒目の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる黒目検出方法等を用いることができる。また、黒目情報には、検出された黒目の顔画像における位置が含まれる。この黒目情報により、画像データ上における両目における黒目の位置を特定することができる。この黒目の位置は、例えば、黒目の中心位置とすることができる。
【０２０４】
また、他の黒目検出方法を用いるようにしてもよい。例えば、撮像部６１０から出力された画像データを２値化し、１画面における２値化データに基づいて黒目を検出するようにしてもよい。例えば、撮像部６１０から出力された画像データを２値化して、水平方向（左右方向）における各ラインの黒画素および白画素を判定する。そして、水平方向において、所定範囲内の数の白画素が連続した後に所定範囲内の数の黒画素が連続し、かつ、その連続する黒画素の後に所定範囲内の数の白画素が連続するラインを、黒目領域の候補ラインとして抽出する。そして、垂直方向（上下方向）において、その抽出された候補ラインとして、所定範囲内の数のラインが連続している領域を抽出して、その領域を黒目領域として検出することができる。
【０２０５】
また、眼球運動の計測装置を用いて、黒目を検出するようにしてよい。例えば、立体視画像を見るための専用メガネのレンズ部分に眼球運動の計測装置を備える。この計測装置の眼球側には、赤外ＬＥＤ（Light Emitting Diode）と受光器を設け、その外側には撮像装置を設ける。そして、赤外光を眼球に当て、反射してきた光を受光器で検出することにより、黒目部分の位置を特定することができる。
【０２０６】
基準黒目情報保持部６４０は、黒目検出部６３０により所定のタイミングで検出された黒目に関する黒目情報（基準黒目情報）を保持するものであり、保持されている基準黒目情報を眼球変化検出部６５０に供給する。
【０２０７】
眼球変化検出部６５０は、立体視画像が表示部１８１に表示されている際におけるユーザの眼球の変化を検出するものであり、この検出結果を立体視画像補正部６７０に出力する。例えば、眼球変化検出部６５０は、所定タイミングで黒目検出部６３０により検出された黒目の間隔を基準黒目情報（基準黒目間隔）として基準黒目情報保持部６４０に保持させる。そして、眼球変化検出部６５０は、基準黒目情報保持部６４０に保持されている基準黒目情報と、所定タイミング以降に黒目検出部６３０から出力された黒目情報とを比較することによりユーザの眼球の変化を検出する。この場合には、眼球変化検出部６５０は、比較対象となる黒目間隔の差分値（または、その黒目間隔に基づく輻輳角の差分値）を検出結果として立体視画像補正部６７０に出力する。すなわち、眼球変化検出部６５０は、黒目検出部６３０により検出された黒目の間隔に基づいてユーザの眼球の変化を検出することができる。ここで、所定タイミングは、立体視画像の表示を指示する指示操作が行われたタイミング、または、情報処理装置６００の電源がオンされたタイミングとすることができる。
【０２０８】
取得部６６０は、制御部６９０の制御に基づいて、コンテンツ記憶部１２１およびコンテンツ付随情報記憶部１２２に記憶されている各種情報を取得するものであり、取得された情報を各部に供給する。
【０２０９】
立体視画像補正部６７０は、制御部６９０の制御に基づいて、立体視画像コンテンツを出力する際における画像データを補正するものであり、補正後の画像データを出力制御部６８０に出力する。すなわち、立体視画像補正部６７０は、眼球変化検出部６５０により検出された眼球の変化に基づいて、立体視画像に含まれる物体の奥行方向における位置を補正する。この場合に、立体視画像補正部６７０は、その眼球の変化が一定量を基準として大きい場合に、立体視画像に含まれる物体の奥行方向における位置を、立体視画像の表示面側に移動させるように補正を行う。また、立体視画像補正部６７０は、立体視物体に対応するユーザの輻輳角が一定角を基準として大きいか否かを、その眼球の変化に基づいて判定することができる。そして、立体視画像補正部６７０は、その輻輳角が一定角を基準として大きい場合には、立体視画像に含まれる物体の奥行方向における位置を、立体視画像の表示面側に移動させるように補正を行う。これらの補正処理では、立体視画像に含まれる物体の奥行方向における位置を示すパラメータ（例えば、ズラシ量保持テーブルにおけるズラシ量）を調整することにより、その奥行方向における位置を補正する。
【０２１０】
出力制御部６８０は、操作受付部１１５により受け付けられた操作入力に応じて、コンテンツ記憶部１２１に記憶されているコンテンツを出力するための出力処理を行うものである。また、出力制御部６８０は、所定タイミング（立体視画像の表示を指示する指示操作時、または、情報処理装置６００の電源のオン時）で、基準黒目間隔を測定するための基準物体を含む基準立体視画像を表示部１８１に表示させる。
【０２１１】
制御部６９０は、操作受付部１１５により受け付けられた操作入力に基づいて、情報処理装置６００の各部を制御するものである。
【０２１２】
［画像補正部の構成例］
図２４は、本発明の第２の実施の形態における立体視画像補正部６７０の機能構成例を示すブロック図である。なお、図４に示す立体視画像補正部１５０に共通する部分の一部については、その説明の一部を省略する。また、画像データ入力部１５２、水平移動処理部１５３、平滑化処理部１５４および画像データ出力部１５５は、図４に示すものと略同様であるため、同一の符号を付して、ここでの詳細な説明を省略する。
【０２１３】
立体視画像補正部６７０は、判定部６７１および調整部６７２を備える。
【０２１４】
判定部６７１は、制御部６９０の制御に基づいて、立体視画像に含まれる物体の奥行方向における位置を補正するか否かを判定するものであり、判定結果（差分値等の判定情報を含む）を調整部６７２に出力する。具体的には、判定部６７１は、眼球変化検出部６５０から出力された検出結果（比較対象となる黒目間隔の差分値）を用いて、その眼球の変化（差分値）が一定量を基準として大きいか否かを判定する。そして、判定部６７１は、その眼球の変化が一定量を基準として大きい場合には、その補正を行うと判定する。また、判定部６７１は、その眼球の変化が一定量を基準として大きくない場合には、その補正を行わないと判定する。すなわち、判定部６７１は、立体視物体に対応するユーザの輻輳角が一定角を基準として大きいか否かを、その眼球の変化に基づいて判定することができる。そして、判定部６７１は、その輻輳角が一定角を基準として大きい場合には、その補正を行うと判定する。
【０２１５】
調整部６７２は、判定部６７１から出力された判定結果に基づいて、取得部６６０から供給される画像データを補正するためのパラメータを調整するものであり、調整後のパラメータを水平移動処理部１５３に出力する。具体的には、調整部６７２は、判定部６７１から補正を行う旨の判定結果が出力された場合には、立体視画像に含まれる物体の奥行方向における位置を、立体視画像の表示面側に移動させる補正を行うためのパラメータを調整する。また、調整部６７２は、判定部６７１から補正を行わない旨の判定結果が出力されたに場合には、パラメータの調整を行わない。
【０２１６】
［撮像部により生成される画像例］
図２５は、本発明の第２の実施の形態における撮像部６１０により生成される画像（画像７０５）を簡略化して示す図である。
【０２１７】
画像７０５は、撮像部６１０により生成される画像（画像データ）の一例であり、例えば、図１（ｂ）に示す情報処理装置６００の前の椅子１１に座っているユーザ１０の顔が含まれているものとする。なお、画像７０５に含まれているユーザ１０の顔は、顔検出部６２０により検出される。また、画像７０５に含まれているユーザ１０の両眼（左眼７１１および右眼７１２）における黒目は、黒目検出部６３０により検出される。また、本発明の第２の実施の形態では、左眼における黒目の中心位置を、左眼における黒目の位置とし、右眼における黒目の中心位置を、右眼における黒目の位置とする例を示す。また、本発明の第２の実施の形態では、左眼における黒目の中心位置と、右眼における黒目の中心位置との距離を黒目間隔とする例を示す。すなわち、図２５に示す例では、左眼７１１における黒目の中心位置と、右眼７１２における黒目の中心位置との距離が黒目間隔（実際の黒目間隔ｅ１に対応する値となるため、図２５では、「ｅ１」として仮想的に示す）となる。なお、黒目間隔ｅ１は、例えば、被写体距離（レンズからユーザ１０の顔までの距離）、レンズから撮像素子までの距離と、撮像素子の撮像面に結像される黒目の間隔の値とに基づいて算出することができる。また、黒目間隔ｅ１として、固定値（例えば、６５ｍｍ）を用いるようにしてもよい。
【０２１８】
［試聴位置、飛出位置および輻輳角の関係例］
図２６は、本発明の第２の実施の形態における表示部１８１に表示される立体視画像の視聴位置と、その立体視画像を見ているユーザの輻輳角との関係を模式的に示す図である。
【０２１９】
図２６（ａ）には、平面画像（２Ｄ画像）を見ている場合におけるユーザの眼球およびこれに対応する輻輳角α１を示す。図２６（ａ）において、立体視画像が表示される位置（表示部１８１の表示面）を表示面の位置７００とし、表示部１８１に表示される立体視画像を視聴する場合におけるユーザの視聴位置を視聴位置７１０とする。
【０２２０】
例えば、表示面の位置７００に表示されている平面画像をユーザが見る場合には、ユーザが注目している画像の位置に合うように、ユーザの眼球の水平方向の角度調整が行われるとともに、両眼の焦点が表示面の位置７００に調節される。具体的には、ユーザの両眼（左眼７１１および右眼７１２）の各黒目と、表示面の位置７００とを結ぶ直線が作り出す交点（注視点７０１）が、ユーザが注目している画像の位置に合うように、ユーザの眼球の水平方向の角度調整が行われる。また、その角度調整とともに、両眼の焦点が表示面の位置７００（注視点７０１）に調節される。なお、注視点７０１における角度α１は、一般に輻輳角と称されている。このように、表示面の位置７００に表示されている平面画像をユーザが見る場合には、ユーザの両眼（左眼７１１および右眼７１２）の焦点および視点ともに、表示面の位置７００に存在することになる。
【０２２１】
ここで、輻輳角α１の算出方法について説明する。例えば、表示面の位置７００および視聴位置７１０間の距離をＬ１とし、立体視画像を視聴しているユーザの両眼間隔をｅ１とする。この場合には、次の式４が成り立つ。
ｔａｎ（α１／２）＝（ｅ１／２）／Ｌ１ …式４
【０２２２】
そして、次の式５により、輻輳角α１を求めることができる。
α１＝２ｔａｎ−１（（ｅ１／２）／Ｌ１）＝ …式５
【０２２３】
なお、距離Ｌ１は、撮像部６１０から出力される被写体距離を用いることができる。また、距離Ｌ１として、視聴位置を想定した固定値（例えば、２ｍ）を用いるようにしてもよく、ユーザによる手動入力（リモコン５００を用いた手動入力）により距離Ｌ１を取得するようにしてもよい。また、調整用マイクロフォンによる距離測定やリモコン５００を用いた距離測定方法により距離Ｌ１を取得するようにしてもよい。なお、リモコン５００を用いた距離測定方法は、例えば、ユーザ１０が手に持っているリモコン５００にＵＷＢ（Ultra Wide Band）を設け、ＵＷＢの位置測定機能を使用することにより距離Ｌ１を測定する方法である。また、赤外線、超音波等に基づいて距離を測定する距離測定装置を用いて、距離Ｌ１を測定するようにしてもよい。
【０２２４】
図２６（ｂ）には、立体視画像（３Ｄ画像）を見ている場合におけるユーザの眼球およびこれに対応する輻輳角α２を示す。なお、図２６（ｂ）において、表示面の位置７００および視聴位置７１０は、図２６（ａ）と同様であるものとする。また、立体視画像に含まれる立体視物体７２０の飛出位置を飛出位置７２１とし、表示面の位置７００および飛出位置７２１間の距離（飛出量）をＬ２とする。
【０２２５】
例えば、表示面の位置７００に表示されている立体視画像をユーザが見る場合には、ユーザが注目している画像の位置（飛出位置７２１）に合うように、ユーザの眼球の水平方向の角度調整が行われる。具体的には、ユーザの両眼（左眼７１１および右眼７１２）の各黒目と、飛出位置７２１とを結ぶ直線が作り出す交点（注視点７２２）が、ユーザが注目している画像（立体視物体７２０の画像）の位置に合うように、ユーザの眼球の水平方向の角度調整が行われる。なお、注視点７２２における輻輳角をα２とする。
【０２２６】
しかしながら、両眼の焦点は、表示面の位置７００に調節される。すなわち、注視点７２２に合うように角度調整が行われるとともに、両眼の焦点が表示面の位置７００（注視点７０１）に調節される。
【０２２７】
このように、両眼の焦点は表示面の位置７００にあるのに対し、注視点７２２は飛出位置７２１にあることになるため、現実の起きうる生理現象と矛盾することになる。そこで、このような矛盾が、ユーザの疲労の原因となることを防止することが重要となる。
【０２２８】
ここで、輻輳角α２の算出方法について説明する。例えば、表示面の位置７００および飛出位置７２１間の距離をＬ２とし、立体視画像を視聴しているユーザの両眼間隔をｅ２とする。この場合には、次の式６が成り立つ。
ｔａｎ（α２／２）＝（ｅ２／２）／（Ｌ１−Ｌ２） …式６
【０２２９】
そして、次の式７により、輻輳角α２を求めることができる。
α２＝２ｔａｎ−１（（ｅ２／２）／（Ｌ１−Ｌ２））＝ …式７
【０２３０】
なお、距離Ｌ２としては、上述したように、立体視画像における物体のズレ量を用いて、その物体の飛出量を求め、この距離Ｌ２を求めることができる。
【０２３１】
なお、この例では、ユーザが注目している画像（立体視物体７２０の画像）を、ユーザの両眼（左眼７１１および右眼７１２）の各黒目の間隔に基づいて検出する例を示すが、他の検出方法を用いるようにしてもよい。例えば、アイトラッキング（視線解析）方法により検出することができる。
【０２３２】
［基準黒目情報の測定例］
図２７は、本発明の第２の実施の形態における基準黒目情報保持部６４０に保持される基準黒目情報を取得する際における測定方法と、基準黒目情報保持部６４０の保持内容例とを模式的に示す図である。
【０２３３】
図２７（ａ）には、基準黒目情報を測定する際に表示部１８１に表示される立体視画像（３Ｄ画像）と、ユーザの眼球と、輻輳角α１０との関係例を示す。なお、図２７（ａ）において、表示面の位置７００および視聴位置７１０は、図２６（ａ）と同様であるものとする。また、立体視画像に含まれる基準立体視物体７３０の飛出位置を飛出位置７３１とし、表示面の位置７００および飛出位置７３１間の距離（飛出量）をＬ３とする。
【０２３４】
ここで、基準立体視物体７３０は、ユーザに関する基準黒目情報を取得する際に表示される立体視画像（基準立体視画像）に含まれる物体である。例えば、制御部６９０は、図６に示す基準黒目情報取得ボタン５０６が押下された場合には、基準立体視物体７３０を含む立体視画像を表示部１８１に表示させる指示を出力制御部６８０に行う。これにより、表示部１８１に基準立体視物体７３０を含む立体視画像が表示され、基準立体視物体７３０をユーザが見ることができる。なお、基準立体視物体７３０を含む立体視画像については、コンテンツ記憶部１２１に記憶しておくようにしてもよく、出力制御部６８０に保持しておくようにしてもよい。なお、輻輳角α１０は、上述した式７を用いて求めることができる。
【０２３５】
図２７（ｂ）には、基準黒目情報保持部６４０の保持内容を模式的に示す。基準黒目情報保持部６４０には、左眼の黒目位置情報６４１と、右眼の黒目位置情報６４２と、両眼の黒目間隔情報６４３と、輻輳角情報６４４とが保持される。基準黒目情報保持部６４０に保持される各情報は、表示部１８１に基準立体視物体７３０を含む立体視画像が表示された際に、黒目検出部６３０により検出された黒目に関する情報（基準黒目情報）である。
【０２３６】
左眼の黒目位置情報６４１は、表示部１８１に基準立体視物体７３０を含む立体視画像が表示された際に、黒目検出部６３０により検出された左眼における黒目の位置を示す情報である。左眼の黒目位置情報６４１には、例えば、撮像部６１０により生成された画像データ（画像）における左眼７１１の黒目の中心位置（Ｘ１，Ｙ１）が格納される。
【０２３７】
右眼の黒目位置情報６４２は、表示部１８１に基準立体視物体７３０を含む立体視画像が表示された際に、黒目検出部６３０により検出された右眼における黒目の位置を示す情報である。右眼の黒目位置情報６４２には、例えば、撮像部６１０により生成された画像データ（画像）における右眼７１２の黒目の中心位置（Ｘ２，Ｙ２）が格納される。
【０２３８】
両眼の黒目間隔情報６４３は、表示部１８１に基準立体視物体７３０を含む立体視画像が表示された際に、黒目検出部６３０により検出された左眼および右眼における黒目間の距離を示す情報である。両眼の黒目間隔情報６４３には、例えば、撮像部６１０により生成された画像データ（画像）における左眼７１１および右眼７１２の間隔（距離）ｅ３が格納される。
【０２３９】
輻輳角情報６４４は、表示部１８１に基準立体視物体７３０を含む立体視画像が表示された際に、黒目検出部６３０により検出された左眼および右眼に関する輻輳角を示す情報である。輻輳角情報６４４には、例えば、撮像部６１０により生成された画像データ（画像）における左眼７１１および右眼７１２に関する輻輳角α１０が格納される。
【０２４０】
［飛出位置の補正例］
図２８および図２９は、本発明の第２の実施の形態における表示部１８１に表示される立体視画像に含まれる立体視物体の飛出位置の補正例を模式的に示す図である。
【０２４１】
図２８には、表示部１８１に表示される立体視画像（３Ｄ画像）と、ユーザの眼球と、輻輳角α１０、α１１との関係例を示す。なお、図２８において、立体視物体７４０に関する各情報以外は、図２７（ａ）と同様であるものとする。また、立体視画像に含まれる立体視物体７４０の飛出位置を飛出位置７４１とし、表示面の位置７００および飛出位置７４１間の距離（飛出量）をＬ４とする。また、輻輳角α１１は、上述した式７を用いて求めることができる。
【０２４２】
ここで、眼球変化検出部６５０は、黒目検出部６３０により検出された黒目情報（左眼７１１および右眼７１２に関する黒目情報）に基づいて輻輳角α１１を算出する。続いて、眼球変化検出部６５０は、基準黒目情報保持部６４０の輻輳角情報６４４に保持されている基準輻輳角α１０と、輻輳角α１１との差分値を算出する。続いて、立体視画像補正部６７０の判定部６７１は、その差分値（α１０−α１１）に基づいて、立体視物体７４０の奥行量を調整するか否かを判定する。具体的には、判定部６７１は、その差分値（α１０−α１１）が０または正値である場合（すなわち、α１０≧α１１）には、立体視物体７４０の奥行量の調整が不要であると判定する。一方、判定部６７１は、その差分値（α１０−α１１）が負値である場合（すなわち、α１０＜α１１）には、立体視物体７４０の奥行量の調整が必要であると判定する。
【０２４３】
図２８に示す例では、基準輻輳角α１０が輻輳角α１１よりも大きいため（すなわち、α１０≧α１１）、判定部６７１は、立体視物体７４０の奥行量の調整が不要であると判定する。すなわち、図２８に示すように、立体視物体７４０を含む立体視画像が表示部１８１に表示される場合には、その立体視画像の補正が行われない。
【０２４４】
図２９には、表示部１８１に表示される立体視画像（３Ｄ画像）と、ユーザの眼球と、輻輳角α１０、α１２との関係例を示す。なお、図２９において、立体視物体７５０に関する各情報以外は、図２６（ａ）と同様であるものとする。また、立体視画像に含まれる立体視物体７５０の飛出位置を飛出位置７５１とし、表示面の位置７００および飛出位置７５１間の距離（飛出量）をＬ５とする。また、輻輳角α１２は、上述した式７を用いて求めることができる。
【０２４５】
ここで、図２８に示す例と同様に、眼球変化検出部６５０が輻輳角α１２を算出し、眼球変化検出部６５０が基準輻輳角α１０と輻輳角α１２との差分値を算出する。続いて、立体視画像補正部６７０の判定部６７１が、その差分値（α１０−α１２）に基づいて、立体視物体７５０の奥行量を調整するか否かを判定する。
【０２４６】
図２９に示す例では、基準輻輳角α１０が輻輳角α１２よりも小さいため（すなわち、α１０＜α１２）、判定部６７１は、立体視物体７５０の奥行量の調整が必要であると判定する。この場合には、調整部６７２が、基準輻輳角α１０と輻輳角α１２との差分値に基づいて、輻輳角α１２が基準輻輳角α１０以内となるように、立体視物体７５０の奥行量を調整する。この調整により、立体視物体７５０の位置（飛出位置７５１）が、基準立体視物体７３０の位置（飛出位置７３１）と同一の位置、または、飛出位置７３１よりも表示面の位置７００側の位置となる。
【０２４７】
なお、この例では、眼球変化検出部６５０が輻輳角を算出する例を示すが、判定部６７１が輻輳角を算出して判定を行うようにしてもよい。すなわち、判定部６７１は、基準立体視物体７３０に対応するユーザ１０の基準輻輳角α１０を算出し、表示部１８１に表示される立体視画像に含まれる立体視物体７５０に対応するユーザ１０の輻輳角α１２を算出する。そして、立体視画像補正部６７０は、輻輳角α１２と基準輻輳角α１０との比較結果に基づいて、立体視物体７５０の奥行方向における位置を補正する。
【０２４８】
また、この例では、輻輳角の比較により補正の要否を判定する例を示したが、上述したように、黒目間隔の比較により補正の要否を判定するようにしてもよい。
【０２４９】
［情報処理装置の動作例］
次に、本発明の第２の実施の形態における情報処理装置６００の動作について図面を参照して説明する。
【０２５０】
図３０は、本発明の第２の実施の形態における情報処理装置６００による立体視画像表示処理の処理手順の一例を示すフローチャートである。図３０では、輻輳角の比較により補正の要否を判定する例について説明する。
【０２５１】
最初に、立体視画像の表示指示操作が行われたか否かが判断され（ステップＳ９７１）、立体視画像の表示指示操作が行われていない場合には、監視を継続して行う。立体視画像の表示指示操作が行われた場合には（ステップＳ９７１）、出力制御部６８０が、制御部６９０の制御に基づいて基準立体視画像を表示部１８１に表示させる（ステップＳ９７２）。
【０２５２】
続いて、黒目検出部６３０が、撮像部６１０により生成される画像（画像データ）に含まれるユーザの両眼における黒目を検出する（ステップＳ９７３）。続いて、眼球変化検出部６５０が、その検出された黒目の間隔（基準黒目間隔）に基づいて基準輻輳角α１０を算出する（ステップＳ９７４）。
【０２５３】
続いて、制御部６９０が、その表示指示操作に係る立体視画像コンテンツを出力させる（ステップＳ９７５）。すなわち、出力制御部６８０が、その表示指示操作に係る立体視画像を表示部１８１に表示させ、その表示指示操作に係る立体視画像の音声を表示部１８１に表示させる（ステップＳ９７５）。
【０２５４】
続いて、黒目検出部６３０が、撮像部６１０により生成される画像（画像データ）に含まれるユーザの両眼における黒目を検出する（ステップＳ９７６）。続いて、眼球変化検出部６５０が、その検出された黒目の間隔に基づいて輻輳角α２０を算出する（ステップＳ９７７）。
【０２５５】
続いて、判定部６７１が、基準輻輳角α１０と輻輳角α２０との比較（すなわち、差分値に基づく判定（α１０−α２０＜０））を行う（ステップＳ９７８）。この比較の結果、輻輳角α２０が基準輻輳角α１０以下である場合には（ステップＳ９７８）、ステップＳ９７５に戻る。一方、輻輳角α２０が基準輻輳角α１０よりも大きい場合には（ステップＳ９７８）、調整部６７２が立体視物体のパラメータ（ズラシ量）を調整する（ステップＳ９７９）。すなわち、基準輻輳角α１０と輻輳角α２０との差分値に基づいて、輻輳角α２０が基準輻輳角α１０以内となるように立体視物体のパラメータが調整される（ステップＳ９７９）。続いて、立体視画像補正部６７０が、その調整後のパラメータ（ズラシ量）を用いて立体視画像の補正を行う（ステップＳ９８０）。そして、補正後の立体視画像が順次表示される（ステップＳ９７５）。
【０２５６】
続いて、立体視画像の表示終了操作が行われたか否かが判断され（ステップＳ９８１）、立体視画像の表示終了操作が行われていない場合には、ステップＳ９７５に戻る。一方、立体視画像の表示終了操作が行われた場合には（ステップＳ９８１）、立体視画像表示処理の動作を終了する。
【０２５７】
このように、本発明の第２の実施の形態では、立体視画像をユーザが見ている場合に、臨場感を失うことなく、かつ、眼の疲労感を低減させることができる。
【０２５８】
なお、本発明の第２の実施の形態では、音声に関する補正の説明については省略したが、上述した立体視画像の補正時に、この補正時に用いるパラメータを用いて音声を補正するようにしてもよい。
【０２５９】
なお、本発明の実施の形態では、放送波に対応する立体視画像コンテンツを取得して立体視画像を表示させる情報処理装置を例にして説明した。ただし、記録媒体に記憶されている立体視画像コンテンツを取得して立体視画像を表示させる情報処理装置に本発明の実施の形態を適用することができる。また、ネットワーク（有線回線や無線回線）を介して立体視画像コンテンツを取得して立体視画像を表示させる情報処理装置に本発明の実施の形態を適用することができる。
【０２６０】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０２６１】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【符号の説明】
【０２６２】
１０ ユーザ
１１ 椅子
１００、５６０、６００ 情報処理装置
１１０、６９０ 制御部
１１５ 操作受付部
１２１ コンテンツ記憶部
１２２ コンテンツ付随情報記憶部
１３０、６６０ 取得部
１４０ 音声補正部
１４１ 調整値算出部
１４２、４５２ 位置換算部
１４３、４５３ ゲイン決定部
１４４、４５４ フィルタ決定部
１４５ 音声データ入力部
１４６、４５６ 音量調整部
１４７、４５７ フィルタ処理部
１４８、４５９ 音声データ出力部
１４９ 保持部
１５０、６７０ 立体視画像補正部
１５１、６７２ 調整部
１５２ 画像データ入力部
１５３ 水平移動処理部
１５４ 平滑化処理部
１５５ 画像データ出力部
１６０ 字幕生成部
１６１ 調整値算出部
１６２ 字幕データ生成部
１６３ 字幕データ出力部
１７０、６８０ 出力制御部
１８１ 表示部
１８２ 音声出力部
４５０ 音声補正部
４５１ 顔検出部
４５８ ミキサ部
５００ リモコン
６１０ 撮像部
６２０ 顔検出部
６３０ 黒目検出部
６４０ 基準黒目情報保持部
６５０ 眼球変化検出部
６７１ 判定部
【技術分野】
【０００１】
本発明は、情報処理装置に関し、特に、立体視画像を表示するための情報を扱う情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、左右眼の視差を利用して立体的な視覚を得ることができる立体視画像（３Ｄ映像（例えば、左眼視用画像および右眼視用画像からなる２視点画像））を表示するための立体視画像表示方法が多数提案されている。また、近年では、コンピュータを利用した立体視画像コンテンツ（３Ｄコンテンツ）の質の向上により、劇場等において立体視画像が表示されることが多くなり、視聴者の関心が高まりつつある。
【０００３】
また、テレビ放送のデジタル化に伴い、従来のアナログ放送では伝送できなかった容量のデジタルデータを伝送することができるようになる。このため、今後は、デジタル放送により、立体視画像を表示するためのデジタルデータを家庭用テレビに伝送し、家庭用テレビにおいて立体視画像が表示されることが多くなると想定される。このため、立体視画像に対する関心はさらに高まるものと考えられる。
【０００４】
例えば、立体視画像を表示するものとして、ユーザがシャッター眼鏡をかけて見ると、立体効果のある映像を見ることができる立体映像表示用テレビ装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０９−３２２１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の従来技術によれば、立体視画像を適切に表示することができる。
【０００７】
ここで、立体視画像をユーザが見ている場合には、表示対象となる物体を立体的に見ることができる。また、立体視画像をユーザが見ている場合には、立体視画像に含まれる物体の変化に応じて、その物体の奥行方向における位置が異なって見えることになる。このため、立体的に見ることができる物体の奥行方向における位置を考慮した音声出力を行うことにより、立体視画像をさらに楽しむことができると考えられる。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、立体視画像を表示する際に物体の奥行方向における位置を考慮した音声出力を行うことを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、立体視画像に含まれる物体の奥行方向における位置に基づいて上記立体視画像に関連付けられている音声情報を補正する補正部と、上記立体視画像を表示する際に上記補正後の音声情報を出力する出力制御部とを具備する情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、立体視画像に含まれる物体の奥行方向における位置に基づいて音声情報を補正し、その立体視画像を表示する際にその補正後の音声情報を出力するという作用をもたらす。
【００１０】
また、この第１の側面において、上記立体視画像に含まれる特定対象物を検出する検出部をさらに具備し、上記補正部は、上記検出された特定対象物の奥行方向における位置に基づいて上記検出された特定対象物から生じる音声を補正するようにしてもよい。これにより、立体視画像に含まれる特定対象物を検出し、この検出された特定対象物の奥行方向における位置に基づいて、その特定対象物から生じる音声を補正するという作用をもたらす。
【００１１】
また、この第１の側面において、上記音声情報は、センタチャンネルと左チャンネルと右チャンネルとの音声を含み、上記補正部は、上記物体の奥行方向における位置を示すパラメータのうち、上記検出された特定対象物の奥行方向における位置を示すパラメータを用いて上記センタチャンネルの音声を上記検出された特定対象物から生じる音声として補正し、上記検出された特定対象物の奥行方向における位置を示すパラメータ以外のパラメータを用いて上記左チャンネルおよび上記右チャンネルの音声を補正するようにしてもよい。これにより、立体視物体の奥行方向における位置を示すパラメータのうち、検出された特定対象物の奥行方向における位置を示すパラメータを用いてセンタチャンネルの音声を補正し、その検出された特定対象物の奥行方向における位置を示すパラメータ以外のパラメータを用いて左チャンネルおよび右チャンネルの音声を補正するという作用をもたらす。
【００１２】
また、この第１の側面において、上記補正部は、上記検出された特定対象物の奥行方向における位置を示すパラメータ以外のパラメータの平均値を算出して上記算出された平均値に基づいて上記左チャンネルおよび上記右チャンネルの音声を補正するようにしてもよい。これにより、検出された特定対象物の奥行方向における位置を示すパラメータ以外のパラメータの平均値を算出し、この算出された平均値に基づいて左チャンネルおよび右チャンネルの音声を補正するという作用をもたらす。
【００１３】
また、この第１の側面において、上記補正部は、上記物体の奥行方向における位置を示すパラメータを用いて上記音声情報を補正するようにしてもよい。これにより、立体視物体の奥行方向における位置を示すパラメータを用いて音声情報を補正するという作用をもたらす。
【００１４】
また、この第１の側面において、上記補正部は、上記パラメータの平均値を算出して上記算出された平均値に基づいて上記音声情報を補正するようにしてもよい。これにより、パラメータの平均値を算出し、この算出された平均値に基づいて音声情報を補正するという作用をもたらす。
【００１５】
また、この第１の側面において、上記補正部は、上記立体視画像に含まれる物体の背景に係る音像を上記背景の奥行方向における位置に定位させるように上記音声情報を補正するようにしてもよい。これにより、立体視画像に含まれる物体の背景に係る音像をその背景の奥行方向における位置に定位させるように音声情報を補正するという作用をもたらす。
【００１６】
また、この第１の側面において、上記補正部は、上記音声情報に係る音像を上記物体の奥行方向における位置に定位させるように上記音声情報を補正するようにしてもよい。これにより、音声情報に係る音像を、立体視物体の奥行方向における位置に定位させるように音声情報を補正するという作用をもたらす。
【００１７】
また、この第１の側面において、上記補正部は、上記物体の奥行方向における位置に対応する頭部伝達関数フィルタを用いて上記音声情報を補正するようにしてもよい。これにより、立体視物体の奥行方向における位置に対応する頭部伝達関数フィルタを用いて音声情報を補正するという作用をもたらす。
【００１８】
また、この第１の側面において、上記奥行方向における複数の位置のそれぞれに対応する複数の頭部伝達関数フィルタを上記複数の位置毎に保持する保持部をさらに具備し、上記補正部は、上記複数の頭部伝達関数フィルタのうちから上記物体の奥行方向における位置に最も近い位置に対応する頭部伝達関数フィルタを選択して上記選択された頭部伝達関数フィルタを用いて上記音声情報を補正するようにしてもよい。これにより、複数の頭部伝達関数フィルタのうちから、立体視物体の奥行方向における位置に最も近い位置に対応する頭部伝達関数フィルタを選択し、この選択された頭部伝達関数フィルタを用いて音声情報を補正するという作用をもたらす。
【００１９】
また、この第１の側面において、上記立体視画像に含まれる物体の奥行方向における位置を変更する変更操作を受け付ける操作受付部をさらに具備し、上記補正部は、上記変更操作が受け付けられた場合には上記音声情報に係る音像を上記変更後の上記物体の奥行方向における位置に定位させるように上記音声情報を補正するようにしてもよい。これにより、立体視画像に含まれる物体の奥行方向における位置を変更する変更操作が受け付けられた場合には、音声情報に係る音像をその変更後の立体視物体の奥行方向における位置に定位させるようにその音声情報を補正するという作用をもたらす。
【発明の効果】
【００２０】
本発明によれば、立体視画像を表示する際に物体の奥行方向における位置を考慮した音声出力を行うことができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態における情報処理装置の使用例を簡略化して示す図である。
【図２】本発明の第１の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。
【図３】本発明の第１の実施の形態における音声補正部１４０の機能構成例を示すブロック図である。
【図４】本発明の第１の実施の形態における立体視画像補正部１５０の機能構成例を示すブロック図である。
【図５】本発明の第１の実施の形態における字幕生成部１６０の機能構成例を示すブロック図である。
【図６】本発明の第１の実施の形態におけるリモコン５００の外観構成例を示す図である。
【図７】本発明の第１の実施の形態における表示部１８１に表示される立体視画像を構成する各画像と、これらの各画像に含まれる物体の奥行方向における位置との関係を示す図である。
【図８】本発明の第１の実施の形態における表示部１８１に表示される立体視画像を構成する各画像に含まれる物体のズラシ量の関係を示す図である。
【図９】本発明の第１の実施の形態におけるコンテンツ付随情報記憶部１２２に記憶されている立体視画像パラメータを模式的に示す図である。
【図１０】本発明の第１の実施の形態におけるコンテンツ記憶部１２１に記憶されている立体視画像コンテンツにおけるズレ量と、表示部１８１の表示面におけるズレ量との関係を示す図である。
【図１１】本発明の第１の実施の形態における表示部１８１に表示される立体視画像を視聴する場合における視聴位置と、その立体視画像に含まれる物体（立体視物体）の飛出位置との関係を模式的に示す図である。
【図１２】本発明の第１の実施の形態における立体視画像補正部１５０による補正前後の立体視物体の位置を模式的に示す図である。
【図１３】本発明の第１の実施の形態における音声補正部１４０により出力音声を補正する場合における補正方法を模式的に示す図である。
【図１４】本発明の第１の実施の形態における音声補正部１４０による音声補正処理の処理手順の一例を示すフローチャートである。
【図１５】本発明の第１の実施の形態における立体視画像補正部１５０による立体視画像補正処理の処理手順の一例を示すフローチャートである。
【図１６】本発明の第１の実施の形態における字幕生成部１６０による字幕生成処理の処理手順の一例を示すフローチャートである。
【図１７】本発明の第１の実施の形態における表示部１８１に表示される立体視画像を時系列で模式的に示す図である。
【図１８】本発明の第１の実施の形態における音声補正部４５０の機能構成例を示すブロック図である。
【図１９】本発明の第１の実施の形態における立体視画像補正部１５０による奥行量の調整例を示す図である。
【図２０】本発明の第１の実施の形態における立体視画像補正部１５０による奥行量の調整例を示す図である。
【図２１】本発明の第１の実施の形態における立体視画像補正部１５０による奥行量の調整例を示す図である。
【図２２】本発明の第１の実施の形態における情報処理装置５６０の外観構成例と、補正処理の流れとを簡略化して示す図である。
【図２３】本発明の第２の実施の形態における情報処理装置６００の機能構成例を示すブロック図である。
【図２４】本発明の第２の実施の形態における立体視画像補正部６７０の機能構成例を示すブロック図である。
【図２５】本発明の第２の実施の形態における撮像部６１０により生成される画像を簡略化して示す図である。
【図２６】本発明の第２の実施の形態における表示部１８１に表示される立体視画像の視聴位置と、その立体視画像を見ているユーザの輻輳角との関係を模式的に示す図である。
【図２７】本発明の第２の実施の形態における基準黒目情報保持部６４０に保持される基準黒目情報を取得する際における測定方法と、基準黒目情報保持部６４０の保持内容例とを模式的に示す図である。
【図２８】本発明の第２の実施の形態における表示部１８１に表示される立体視画像に含まれる立体視物体の飛出位置の補正例を模式的に示す図である。
【図２９】本発明の第２の実施の形態における表示部１８１に表示される立体視画像に含まれる立体視物体の飛出位置の補正例を模式的に示す図である。
【図３０】本発明の第２の実施の形態における情報処理装置６００による立体視画像表示処理の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（立体視画像出力制御：立体視画像パラメータを用いて立体視画像および音声情報を補正する例）
２．第２の実施の形態（立体視画像出力制御：眼球の変化に基づいて立体視物体の位置を補正する例）
【００２３】
＜１．第１の実施の形態＞
［情報処理装置の使用例］
図１は、本発明の実施の形態における情報処理装置の使用例を簡略化して示す図である。
【００２４】
図１（ａ）には、情報処理装置１００の表示部１８１に表示される画像を、椅子１１に座っているユーザ（視聴者）１０が見ている状態を示す。図１（ｂ）には、撮像部６１０が設けられている情報処理装置６００の表示部１８１に表示される画像を、椅子１１に座っているユーザ１０が見ている状態を示す。図１（ａ）および（ｂ）に示すユーザ１０は、手に持ったリモコン（リモートコントローラ）５００を用いて、情報処理装置１００または６００の各種操作を行うことができる。なお、撮像部６１０が設けられている情報処理装置６００については、本発明の第２の実施の形態において詳細に説明する。
【００２５】
［情報処理装置の構成例］
図２は、本発明の第１の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。情報処理装置１００は、例えば、各放送局からの放送波を受信して画像（立体視画像または平面画像）を表示するテレビジョン受像機（例えば、録画機能を備えるテレビジョン受像機）により実現される。
【００２６】
情報処理装置１００は、制御部１１０と、操作受付部１１５と、コンテンツ記憶部１２１と、コンテンツ付随情報記憶部１２２と、取得部１３０と、音声補正部１４０と、立体視画像補正部１５０と、字幕生成部１６０とを備える。また、情報処理装置１００は、出力制御部１７０と、表示部１８１と、音声出力部１８２と、リモコン５００とを備える。なお、本発明の第１の実施の形態では、説明の容易のため、アンテナを介して各放送局からの放送波を受信する放送受信部、映像信号を復号処理する映像復号部、音声信号を復号処理する音声復号部等の図示およびその説明を省略する。また、本発明の第１の実施の形態では、説明の容易のため、放送受信部により受信され、映像復号部および音声復号部により復号されたコンテンツ（画像データ（映像データ）および音声データ）を記憶しておき、そのコンテンツを表示する例について説明する。
【００２７】
制御部１１０は、操作受付部１１５により受け付けられた操作入力に基づいて、情報処理装置１００の各部を制御するものである。例えば、制御部１１０は、立体視画像を表示するための表示指示操作が受け付けられた場合には、その表示指示操作に係る立体視画像コンテンツを表示部１８１および音声出力部１８２から出力させるための制御を行う。また、例えば、制御部１１０は、立体視画像を補正するための補正指示操作が受け付けられた場合には、その補正指示操作に応じた画像補正処理を行うための制御を行う。また、例えば、制御部１１０は、立体視画像の音声を補正するための補正指示操作が受け付けられた場合には、その補正指示操作に応じた音声補正処理を行うための制御を行う。
【００２８】
操作受付部１１５は、ユーザによる操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作信号を制御部１１０に供給する。操作受付部１１５は、例えば、電源のオン／オフを行う操作部材に対応する。また、操作受付部１１５は、リモコン５００からの操作信号を受け付けると、受け付けられた操作信号を制御部１１０に供給する。
【００２９】
コンテンツ記憶部１２１は、各種コンテンツを記憶する記憶部であり、記憶されているコンテンツを取得部１３０に供給する。例えば、コンテンツ記憶部１２１は、放送受信部により受信された放送波に対応するコンテンツ（画像データおよび音声データ）を記憶する。また、例えば、コンテンツ記憶部１２１は、立体視画像を表示するためのコンテンツ（立体視画像コンテンツ（立体視画像情報））を記憶する。
【００３０】
コンテンツ付随情報記憶部１２２は、コンテンツ記憶部１２１に記憶されているコンテンツに関する付随情報を記憶する記憶部であり、記憶されている付随情報を取得部１３０に供給する。例えば、コンテンツ付随情報記憶部１２２は、コンテンツ記憶部１２１に記憶されている立体視画像コンテンツに関するズラシ量保持テーブルおよび二値化データを関連付けて立体視画像パラメータ（付随情報）として記憶する。なお、ズラシ量保持テーブルおよび二値化データについては、図９を参照して詳細に説明する。また、立体視画像コンテンツと、この立体視画像コンテンツに関する付随情報とを含むコンテンツを立体視画像コンテンツ（立体視画像情報）として用いるようにしてもよい。
【００３１】
取得部１３０は、制御部１１０の制御に基づいて、コンテンツ記憶部１２１およびコンテンツ付随情報記憶部１２２に記憶されている各種情報を取得するものであり、取得された情報を各部に供給する。例えば、取得部１３０は、コンテンツ記憶部１２１から立体視画像コンテンツを取得した場合には、その立体視画像コンテンツのうち画像データを立体視画像補正部１５０に供給し、音声データを音声補正部１４０に供給する。この場合に、取得部１３０は、その立体視画像コンテンツに関連付けられている立体視画像パラメータをコンテンツ付随情報記憶部１２２から取得し、その立体視画像パラメータを立体視画像補正部１５０、音声補正部１４０および字幕生成部１６０に供給する。
【００３２】
音声補正部１４０は、制御部１１０の制御に基づいて、立体視画像コンテンツを出力する際における音声データを補正するものであり、補正後の音声データを出力制御部１７０に出力する。すなわち、音声補正部１４０は、立体視画像に含まれる物体の奥行方向における位置に基づいて、取得部１３０から供給される音声データを補正する。例えば、音声補正部１４０は、取得部１３０から供給される立体視画像パラメータ（物体の奥行方向における位置を示すパラメータ）に含まれるズラシ量保持テーブルを用いて、その音声データを補正する。例えば、音声補正部１４０は、そのズラシ量保持テーブルにおける各ズラシ量の平均値を算出し、この算出された平均値に基づいて、その音声データを補正する。この場合に、例えば、音声補正部１４０は、その音声データに係る音像を、物体の奥行方向における位置（例えば、各ズラシ量の平均値に対応する位置）に定位させるように音声データを補正する。例えば、音声補正部１４０は、その位置に対応する頭部伝達関数（ＨＲＴＦ（Head Related Transfer Function））フィルタを用いて音声データを補正する。なお、頭部伝達関数フィルタは、例えば、ＦＩＲ（Finite Inpulse Response）フィルタにより構成される。また、音声補正部１４０の機能構成については、図３を参照して詳細に説明する。なお、音声補正部１４０は、特許請求の範囲に記載の補正部の一例である。
【００３３】
立体視画像補正部１５０は、制御部１１０の制御に基づいて、立体視画像コンテンツを出力する際における画像データを補正するものであり、補正後の画像データを出力制御部１７０に出力する。すなわち、立体視画像補正部１５０は、取得部１３０から供給される画像データについて、立体視画像に含まれる物体の奥行方向における位置を補正する。例えば、立体視画像補正部１５０は、取得部１３０から供給される立体視画像パラメータに含まれるズラシ量保持テーブルを用いて、その画像データを補正する。例えば、立体視画像補正部１５０は、ユーザ操作に応じて、そのズラシ量保持テーブルにおける各ズラシ量を調整して、その画像データを補正する。なお、立体視画像補正部１５０の機能構成については、図４を参照して詳細に説明する。
【００３４】
字幕生成部１６０は、制御部１１０の制御に基づいて、立体視画像コンテンツを出力する際における字幕データを生成するものであり、生成された字幕データを出力制御部１７０に出力する。すなわち、字幕生成部１６０は、制御部１１０からの指示に基づいて、立体視画像として字幕を表示させるための字幕データを生成する。この場合に、制御部１１０からの指示に基づいて、その奥行方向における位置を補正する。例えば、立体視画像補正部１５０は、取得部１３０から供給される立体視画像パラメータに含まれるズラシ量保持テーブルを用いて、その字幕データを補正する。例えば、字幕生成部１６０は、そのズラシ量保持テーブルにおける各ズラシ量の平均値を算出し、この算出された平均値に基づいて、その字幕データを補正する。なお、字幕生成部１６０の機能構成については、図５を参照して詳細に説明する。
【００３５】
出力制御部１７０は、操作受付部１１５により受け付けられた操作入力に応じて、コンテンツ記憶部１２１に記憶されているコンテンツを出力するための出力処理を行うものである。例えば、出力制御部１７０は、立体視画像を表示するための表示指示操作が受け付けられた場合には、その表示指示操作に係る立体視画像コンテンツを表示部１８１および音声出力部１８２から出力させる。この場合に、出力制御部１７０は、表示対象となる画像データと、字幕生成部１６０により生成された字幕データとについてブレンド処理を行い、立体視画像と字幕（立体視画像）とを合成して表示させる。また、例えば、出力制御部１７０は、立体視画像を補正するための補正指示操作が受け付けられた場合には、音声補正部１４０から出力された音声データと、立体視画像補正部１５０から出力された画像データとを用いて出力処理を行う。
【００３６】
表示部１８１は、出力制御部１７０の制御に基づいて、各種画像を表示する表示部である。表示部１８１は、例えば、ＬＣＤ（Liquid Crystal Display）等の表示素子により実現することができる。
【００３７】
音声出力部１８２は、出力制御部１７０の制御に基づいて、各種の音声情報を出力するものである。音声出力部１８２は、例えば、スピーカにより実現することができる。
【００３８】
リモコン５００は、情報処理装置１００を離れた場所から遠隔操作するためのリモコンであり、ユーザによる操作入力に応じた操作信号（出力信号）を操作受付部１１５に出力する。例えば、リモコン５００の出力信号として赤外線信号を用いることができる。また、リモコン５００の外観構成については、図６を参照して詳細に説明する。
【００３９】
［音声補正部の構成例］
図３は、本発明の第１の実施の形態における音声補正部１４０の機能構成例を示すブロック図である。
【００４０】
音声補正部１４０は、調整値算出部１４１と、位置換算部１４２と、ゲイン決定部１４３と、フィルタ決定部１４４と、音声データ入力部１４５と、音量調整部１４６と、フィルタ処理部１４７と、音声データ出力部１４８と、保持部１４９を備える。
【００４１】
調整値算出部１４１は、制御部１１０の制御に基づいて、取得部１３０から供給される音声データを補正するための調整値を算出するものであり、算出された調整値を位置換算部１４２に出力する。例えば、調整値算出部１４１は、取得部１３０から供給される立体視画像パラメータに含まれるズラシ量保持テーブルにおける各ズラシ量の平均値を、調整値として算出する。
【００４２】
位置換算部１４２は、調整値算出部１４１から出力された調整値を、音声データを補正するための位置（奥行方向における位置）に換算するものであり、換算後の位置（位置情報）をゲイン決定部１４３およびフィルタ決定部１４４に出力する。
【００４３】
ゲイン決定部１４３は、位置換算部１４２から出力された位置情報に基づいて、音量調整を行うためのゲイン量を決定するものであり、決定されたゲイン量を音量調整部１４６に出力する。なお、音量調整が不要な場合には、ゲイン決定部１４３は、ゲイン量として「１」を音量調整部１４６に出力する。また、ゲイン量の決定方法については、図１３を参照して詳細に説明する。
【００４４】
フィルタ決定部１４４は、位置換算部１４２から出力された位置情報に基づいて、その位置情報に対応する位置に音像を定位させるためのフィルタ係数を決定するものであり、決定されたフィルタ係数をフィルタ処理部１４７に出力する。また、保持部１４９は、奥行方向における複数の位置のそれぞれに対応する複数の頭部伝達関数フィルタを、複数の位置毎に保持する。例えば、フィルタ決定部１４４は、保持部１４９に保持されている複数の頭部伝達関数フィルタのうちから、位置換算部１４２から出力された位置情報に対応する位置に最も近い位置に対応する頭部伝達関数フィルタを選択する。そして、フィルタ決定部１４４は、その選択された頭部伝達関数フィルタのフィルタ係数をフィルタ処理部１４７に出力する。なお、フィルタ係数の決定方法については、図１３を参照して詳細に説明する。
【００４５】
音声データ入力部１４５は、取得部１３０から供給される音声データを入力するものであり、その音声データを音量調整部１４６に供給する。
【００４６】
音量調整部１４６は、音声データ入力部１４５から供給された音声データについて、ゲイン決定部１４３から出力されたゲイン量を用いて音量調整を行うものであり、音量調整後の音声データをフィルタ処理部１４７に出力する。なお、音量調整方法については、図１３を参照して詳細に説明する。
【００４７】
フィルタ処理部１４７は、音声データ入力部１４５から供給された音声データについて、フィルタ決定部１４４から出力されたフィルタ係数を用いてフィルタ処理を行うものであり、フィルタ処理後の音声データを音声データ出力部１４８に出力する。例えば、フィルタ処理部１４７は、フィルタ決定部１４４から出力されたフィルタ係数に係る頭部伝達関数フィルタを用いて、位置換算部１４２により換算された位置に音像を定位させるためのフィルタ処理を行う。このフィルタ処理は、例えば、頭部伝達関数フィルタによるバイノーラル（binaural）化処理であり、頭部伝達関数を音声データ（音声信号）に畳み込む処理である。なお、フィルタ処理方法については、図１３を参照して詳細に説明する。
【００４８】
音声データ出力部１４８は、フィルタ処理部１４７から出力されたフィルタ処理後の音声データを、出力制御部１７０に出力するものである。
【００４９】
［画像補正部の構成例］
図４は、本発明の第１の実施の形態における立体視画像補正部１５０の機能構成例を示すブロック図である。
【００５０】
立体視画像補正部１５０は、調整部１５１と、画像データ入力部１５２と、水平移動処理部１５３と、平滑化処理部１５４と、画像データ出力部１５５とを備える。
【００５１】
調整部１５１は、制御部１１０の制御に基づいて、取得部１３０から供給される画像データを補正するためのパラメータを調整するものであり、調整後のパラメータを水平移動処理部１５３に出力する。例えば、調整部１５１は、操作受付部１１５により受け付けられた操作入力に応じて、取得部１３０から供給される立体視画像パラメータに含まれるズラシ量保持テーブルにおける各ズラシ量を調整して、調整後のズラシ量を水平移動処理部１５３に出力する。なお、パラメータを調整するための操作入力として、例えば、図６に示す立体視画像の奥行位置調整レバー５１０が用いられる。この操作入力により、ユーザが所望する位置（奥行方向における位置）に再調整された立体視画像を表示させることができる。
【００５２】
画像データ入力部１５２は、取得部１３０から供給される画像データを入力するものであり、その画像データを水平移動処理部１５３に供給する。
【００５３】
水平移動処理部１５３は、画像データ入力部１５２から供給された画像データについて、調整部１５１から出力された調整後のパラメータを用いて画像の移動処理を行うものであり、処理後の画像データを平滑化処理部１５４に出力する。例えば、水平移動処理部１５３は、画像データ入力部１５２から供給された画像データに対応する立体視画像を構成する左眼視用画像および右眼視用画像のうち、左眼視用画像について水平移動処理を行う。具体的には、水平移動処理部１５３は、その左眼視用画像を構成する各画素について、調整部１５１による調整後のズラシ量だけ水平方向に移動させる水平移動処理を行い、新たな右眼視用画像を生成する。この水平移動処理は、例えば、図９（ｂ）に示すズラシ量保持テーブル３００のブロック単位で行われる。そして、水平移動処理部１５３は、立体視画像を構成する左眼視用画像と、その生成された新たな右眼視用画像とに対応する画像データを平滑化処理部１５４に出力する。なお、この例では、調整部１５１による調整後のズラシ量を用いて新たな右眼視用画像を生成する例を示すが、調整部１５１による調整後のズラシ量を用いて元の右眼視用画像について水平移動処理を行い、立体視画像を生成するようにしてもよい。
【００５４】
平滑化処理部１５４は、水平移動処理部１５３から出力された画像データについて、立体視物体に係る領域のエッジ部分のフィルタ処理（移動平均フィルタによる平滑化処理）を行うものであり、処理後の画像データを画像データ出力部１５５に出力する。例えば、平滑化処理部１５４は、取得部１３０から供給される立体視画像パラメータに含まれる二値化データを用いて立体視物体に係る領域と、その他の領域とを判定する。そして、平滑化処理部１５４は、立体視物体に係る領域と判定された領域について、移動平均フィルタによる平滑化処理を行う。この平滑化処理により、遠方にある立体視物体（３Ｄオブジェクト）に係る領域に遠近感を持たせることができる。
【００５５】
画像データ出力部１５５は、平滑化処理部１５４から出力された各画像処理後の画像データを、出力制御部１７０に出力するものである。
【００５６】
［字幕データ補正部の構成例］
図５は、本発明の第１の実施の形態における字幕生成部１６０の機能構成例を示すブロック図である。
【００５７】
字幕生成部１６０は、調整値算出部１６１と、字幕データ生成部１６２と、字幕データ出力部１６３とを備える。
【００５８】
調整値算出部１６１は、制御部１１０の制御に基づいて、表示部１８１に表示される字幕の位置（奥行方向における位置）を決定するための調整値を算出するものであり、算出された調整値を字幕データ生成部１６２に出力する。例えば、調整値算出部１６１は、取得部１３０から供給される立体視画像パラメータに含まれるズラシ量保持テーブルにおける各ズラシ量の平均値を、調整値として算出する。
【００５９】
字幕データ生成部１６２は、制御部１１０の制御に基づいて、表示部１８１に表示される字幕データを生成するものであり、生成された字幕データを字幕データ出力部１６３に出力する。例えば、字幕データ生成部１６２は、コンテンツ記憶部１２１に記憶されているコンテンツ（字幕コンテンツ）を用いて字幕データを生成することができる。この場合に、字幕データ生成部１６２は、生成された字幕データ（字幕画像）について、調整値算出部１６１から出力された調整値を用いて画像の水平移動処理を行い、処理後の字幕データを字幕データ出力部１６３に出力する。なお、この水平移動処理については、図４に示す水平移動処理部１５３による水平移動処理と同様であるため、ここでの説明を省略する。
【００６０】
字幕データ出力部１６３は、字幕データ生成部１６２から出力された字幕データを、出力制御部１７０に出力するものである。
【００６１】
このように、本発明の第１の実施の形態によれば、表示部１８１に表示される立体視画像に応じた適切な立体字幕をユーザに提供することができる。これにより、ユーザはさらに豊かな臨場感を得ることができる。
【００６２】
［リモコンの構成例］
図６は、本発明の第１の実施の形態におけるリモコン５００の外観構成例を示す図である。
【００６３】
リモコン５００には、電源ボタン５０１、５０２と、チャネル指定ボタン群５０３と、矢印決定ボタン群５０４と、機能選択ボタン群５０５と、基準黒目情報取得ボタン５０６とが設けられている。また、リモコン５００には、立体視画像補正切替ボタン５０７と、ボリューム調整レバー５０８と、チャネル選択レバー５０９と、立体視画像の奥行位置調整レバー５１０と、立体視画像の音声位置調整レバー５１１とが設けられている。
【００６４】
電源ボタン５０１、５０２は、情報処理装置１００の電源をオン／オフする際に用いられるボタンである。
【００６５】
チャネル指定ボタン群５０３は、情報処理装置１００を用いて放送波に基づく放送番組（立体視画像、平面画像）を見る場合において放送チャネルを指定する際に用いられるボタン群である。
【００６６】
矢印決定ボタン群５０４は、表示部１８１にメニュー画面等が表示されている際に用いられる上下左右の矢印ボタンおよび決定ボタンにより構成される。上下左右の矢印ボタンは、表示部１８１に表示されている表示画面における上下左右方向の選択操作を行う際に用いられるボタンであり、例えば、メニュー画面における選択操作を行う際にその選択状態を上下左右に移動させる場合に用いられる。決定ボタンは、表示部１８１に表示されている表示画面における各種決定操作を行う際に用いられるボタンであり、例えば、メニュー画面における選択状態を決定する場合に用いられる。
【００６７】
機能選択ボタン群５０５は、各種機能を選択する際に用いられるボタンである。
【００６８】
基準黒目情報取得ボタン５０６は、ユーザに関する基準黒目情報を取得する際に押下されるボタンである。なお、基準黒目情報取得ボタン５０６については、本発明の第２の実施の形態において詳細に説明する。
【００６９】
立体視画像補正切替ボタン５０７は、立体視画像に関する各種補正を自動で行う自動モード、または、その各種補正を手動で行う手動モードの何れかに切り替える際に押下されるボタンである。
【００７０】
ボリューム調整レバー５０８は、音声出力部１８２から出力される音声の音量を調整する際に用いられるレバーである。
【００７１】
チャネル選択レバー５０９は、情報処理装置１００を用いて放送波に基づく放送番組（立体視画像、平面画像）を見る場合において放送チャネルを選択する際に用いられるレバーである。
【００７２】
立体視画像の奥行位置調整レバー５１０は、表示部１８１に立体視画像が表示されている場合において、その立体視画像に含まれる物体の奥行方向における位置を調整する際に用いられるレバーである。なお、立体視画像の奥行位置調整レバー５１０を用いた調整例については、図１２を参照して詳細に説明する。
【００７３】
立体視画像の音声位置調整レバー５１１は、表示部１８１に立体視画像が表示されている場合において、その立体視画像に係る音声の音像を定位させる位置（奥行方向における位置）を調整する際に用いられるレバーである。
【００７４】
［立体視画像とこれに含まれる物体の奥行方向における位置との関係例］
図７は、本発明の第１の実施の形態における表示部１８１に表示される立体視画像を構成する各画像と、これらの各画像に含まれる物体の奥行方向における位置との関係を示す図である。図７（ａ）には、立体視画像が表示部１８１に表示された際に、ユーザ２１０が立体的に見ることができる物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における上面図を模式的に示す。図７（ｂ）には、図７（ａ）に示す物体２０３乃至２０５を立体的に表示させるための立体視画像（左眼視用画像２０１および右眼視用画像２０２）を示す。すなわち、左眼視用画像２０１および右眼視用画像２０２には、物体２０３乃至２０５が含まれている。また、奥行方向は、例えば、ユーザ２１０と表示部１８１の表示面とを結ぶ線に平行な方向であり、表示部１８１の表示面に直行する方向である。
【００７５】
なお、図７では、同一の物体については、左眼視用画像２０１および右眼視用画像２０２において同一の符号を付して説明する。また、図７では、説明の容易のため、左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０３乃至２０５のズラシ量を比較的大きくして示す。
【００７６】
また、本発明の第１の実施の形態では、表示部１８１に立体視画像を表示するための表示方式の一例として、視差バリア方式や専用メガネ方式を用いることができる。専用メガネ方式は、立体視画像を見るための専用メガネ（例えば、アクティブシャッター方式メガネ、偏光板タイプメガネ）をユーザがかけることにより、そのユーザに立体視画像を提供する方式である。なお、視差バリア方式や専用メガネ方式以外の他の方式についても本発明の実施の形態を適用することができる。
【００７７】
ここで、左眼視用画像２０１および右眼視用画像２０２が表示部１８１に表示された際に、ユーザ２１０の左眼２１１が左眼視用画像２０１を見て、ユーザ２１０の右眼２１２が右眼視用画像２０２を見た場合を想定する。この場合には、図７（ａ）に示すように、左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０４が表示面の位置２２０（表示部１８１の表示面の位置）に見えるものとする。また、左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０３が表示面の位置２２０の奥側（表示面の奥側２２１）に見え、物体２０５が表示面の位置２２０の手前側（表示面の手前側２２２）に見えるものとする。
【００７８】
このように、表示面の位置２２０の物体２０４を基準とする場合において、立体感を構成する物体２０３および２０５は、立体視画像（左眼視用画像２０１および右眼視用画像２０２）内において水平方向にズレている。また、表示面の位置２２０を基準とする場合において、飛び出している物体２０５と、引っ込んでいる物体２０３とは、ズレの位置が反転している。
【００７９】
［左眼視用画像および右眼視用画像に含まれる物体のズラシ量の関係例］
図８は、本発明の第１の実施の形態における表示部１８１に表示される立体視画像を構成する各画像に含まれる物体のズラシ量の関係を示す図である。矩形２３０は、図７（ｂ）に示す左眼視用画像２０１および右眼視用画像２０２に対応する矩形であり、矩形２３０内には、図７（ｂ）に示す左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０３乃至２０５を示す。なお、矩形２３０内において、物体２０３乃至２０５のうち、図７（ｂ）に示す左眼視用画像２０１に含まれる物体２０３乃至２０５の輪郭を太線で示す。なお、物体２０４については、図７（ａ）に示すように、表示面の位置２２０に相当するため、ズレが発生しない。このため、矩形２３０内において、左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０４が重複する。
【００８０】
また、矩形２３０内において、左眼視用画像２０１を基準とする場合における左眼視用画像２０１および右眼視用画像２０２間における物体２０３のズラシ量を矢印２３１で示す。同様に、左眼視用画像２０１を基準とする場合における左眼視用画像２０１および右眼視用画像２０２間における物体２０５のズラシ量を矢印２３２で示す。なお、物体２０４については、上述したようにズレが発生しない。
【００８１】
このように、左右眼の視差を利用して立体的な視覚を得るため、左眼視用画像２０１および右眼視用画像２０２に含まれる物体は、その物体の表示位置（奥行方向における位置）に応じてズレている。すなわち、物体のズラシ量は、立体視物体（３Ｄオブジェクト）の飛出量または引込量に対応するものである。
【００８２】
そこで、本発明の第１の実施の形態では、立体視画像を構成する左眼視用画像および右眼視用画像に関する物体のズラシ量（立体視物体（３Ｄオブジェクト）の飛出量または引込量）を立体視画像パラメータとして用いる例を示す。また、本発明の第１の実施の形態では、左眼視用画像を基準とし、左眼視用画像に含まれる物体と、右眼視用画像に含まれるその物体との差分に基づいて算出された立体視画像パラメータ（その物体の飛出量または引込量）を用いる例を示す。
【００８３】
例えば、基準となる左眼視用画像に含まれる物体が右眼視用画像において左側（図８における左側）にズレている場合には、その物体は飛出物体であり、その物体のズラシ量は０よりも大きいものとする（すなわち、ズラシ量＞０）。
【００８４】
また、例えば、基準となる左眼視用画像に含まれる物体が右眼視用画像において右側（図８における右側）にズレている場合には、その物体は引込物体であり、その物体のズラシ量は０未満であるものとする（すなわち、ズラシ量＜０）。
【００８５】
また、例えば、基準となる左眼視用画像に含まれる物体が右眼視用画像においてズレていない場合には、その物体は表示面の位置（スクリーン面）に相当する物体であり、その物体のズラシ量は０であるものとする（すなわち、ズラシ量＝０）。
【００８６】
具体的には、基準となる左眼視用画像２０１に含まれる物体２０３は、右眼視用画像２０２において右側（矢印２３１で示す）にズレているため、物体２０３は引込物体であり、物体２０３のズラシ量は０未満である（すなわち、物体２０３のズラシ量＜０）。
【００８７】
また、基準となる左眼視用画像２０１に含まれる物体２０５は、右眼視用画像２０２において左側（矢印２３２で示す）にズレているため、物体２０５は飛出物体であり、物体２０５のズラシ量は０よりも大きい（すなわち、物体２０５のズラシ量＞０）。
【００８８】
また、基準となる左眼視用画像２０１に含まれる物体２０４は、右眼視用画像２０２においてズレていないため、物体２０４は表示面の位置（スクリーン面）に相当する物体であり、物体２０４のズラシ量は０である（すなわち、物体２０４のズラシ量＝０）。
【００８９】
［ズラシ量保持テーブル例］
図９は、本発明の第１の実施の形態におけるコンテンツ付随情報記憶部１２２に記憶されている立体視画像パラメータ（ズラシ量保持テーブル３００）を模式的に示す図である。
【００９０】
図９（ａ）には、ズラシ量保持テーブル３００を生成する際に用いられる立体視画像（左眼視用画像３０１および右眼視用画像３０２）を示す。左眼視用画像３０１および右眼視用画像３０２は、１９２０画素×１０８０画素からなる画像である。なお、図９（ａ）では、左眼視用画像３０１および右眼視用画像３０２に対応する矩形のみを示し、各画像に含まれる物体等の図示を省略する。
【００９１】
ここで、立体視画像に含まれる物体のズラシ量の算出方法について説明する。例えば、左眼視用画像が特定サイズの領域（ブロック）に分割され、右眼視用画像における対応領域（例えば、４画素×４画素のサイズ）同士の比較処理（水平方向に移動させながらの比較処理）により相関値が算出される。そして、その相関値に基づいてブロック単位でズラシ量が決定され、ズラシ量保持テーブル３００が生成される。
【００９２】
図９（ｂ）には、左眼視用画像３０１および右眼視用画像３０２について算出されたズラシ量を、ブロック単位で保持するズラシ量保持テーブル３００を示す。１９２０画素×１０８０画素からなる左眼視用画像３０１および右眼視用画像３０２について、４画素×４画素のブロック単位で比較処理を行った場合には、１２９，６００（４８０×２７０）個のズラシ量がブロック毎に算出される。このようにブロック毎に算出されたズラシ量が、算出対象となったブロックに関連付けてズラシ量保持テーブル３００に保持される。また、算出対象となった立体視画像コンテンツを構成するフレーム毎に、ズラシ量保持テーブル３００が生成される。そして、算出対象となった立体視画像コンテンツに関連付けて、ズラシ量保持テーブル３００がコンテンツ付随情報記憶部１２２に記憶される。この場合に、ズラシ量保持テーブル３００は、算出対象となった立体視画像コンテンツを構成するフレーム毎に関連付けて記憶される。
【００９３】
また、図９（ｂ）には、左眼視用画像３０１におけるブロックの位置に対応するズラシ量保持テーブル３００の位置に、ズラシ量を格納して示す。また、ズラシ量については、画素単位で保持するようにしてもよく、小数単位で保持するようにしてもよいが、図９（ｂ）では、説明の容易のため、画素単位で算出されたズラシ量を保持する例を示す。また、ズラシ量については、０以外に、正の値（いわゆる、飛出方向の値（飛出量））および負の値（いわゆる、引込方向の値（引込量））の何れも算出されるが、図９（ｂ）では、説明の容易のため、正の値のみを例示する。
【００９４】
［二値化データ例］
次に、立体視画像パラメータの一例である二値化データについて説明する。例えば、ズラシ量保持テーブル３００におけるズラシ量が「０」の領域（ズラシ量０領域）に接する、ズラシ量が「非０」の領域（ズラシ量非０領域）についてエッジ検出処理を行うことにより立体視物体を検出することができる。
【００９５】
このエッジ検出処理により二値化データ（例えば、立体視物体の領域「１」、それ以外の領域「０」）がズラシ量保持テーブル３００のブロック単位で算出される。そして、ズラシ量保持テーブル３００のブロック単位で算出された二値化データ（０または１）については、ズラシ量保持テーブル３００に関連付けて保持される。
【００９６】
例えば、算出された二値化データ（０または１）により、立体視画像における閉じた領域が特定される場合には、その閉じた領域を立体視物体の領域とすることができる。このように、立体視物体の領域が特定される場合には、その物体に対応する領域と、その物体のズラシ量とを関連付けて立体視画像パラメータとすることができる。また、立体視画像に複数の物体が含まれる場合には、その複数の物体に対応する各領域と、その複数の物体の各ズラシ量とを関連付けて立体視画像パラメータとすることができる。このように複数の物体が特定される場合には、各物体に対応する領域が閉じた領域であることが必要となる。なお、コンテンツ付随情報記憶部１２２は、その特定された物体に対応する領域と、その特定された物体のズラシ量が変換された奥行量（飛出量または引込量）とを関連付けた立体視画像パラメータを記憶するようにしてもよい。
【００９７】
［画像におけるズレ量と表示面におけるズレ量との関係例］
図１０は、本発明の第１の実施の形態におけるコンテンツ記憶部１２１に記憶されている立体視画像コンテンツにおけるズレ量と、表示部１８１の表示面におけるズレ量との関係を示す図である。図１０（ａ）には、立体視画像を構成する左眼視用画像２０１および右眼視用画像２０２を示す。図１０（ａ）に示す左眼視用画像２０１および右眼視用画像２０２は、図７（ｂ）と同様である。図１０（ａ）では、左眼視用画像２０１における物体２０３のズレ量（右眼視用画像２０２に含まれる物体２０３とのズレ量）をズレ量Ｇ１として示す。
【００９８】
図１０（ｂ）には、表示部１８１に表示される立体視画像を示す。なお、図１０（ｂ）では、図１０（ａ）に示す左眼視用画像２０１および右眼視用画像２０２を合成して示す。また、図１０（ｂ）では、表示部１８１の表示面におけるズレ量（左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０３のズレ量）をズレ量Ｇ２として示す。
【００９９】
このように、立体視画像におけるズレ量と、表示部１８１の表示面におけるズレ量との関係に基づいて、音声補正部１４０、立体視画像補正部１５０および字幕生成部１６０は、立体視画像パラメータを用いて補正処理を行う。このため、音声補正部１４０、立体視画像補正部１５０および字幕生成部１６０は、立体視画像におけるズレ量と、表示部１８１の表示面におけるズレ量との変換テーブルを保持しておき、この変換テーブルに基づいて立体視画像パラメータを用いた補正処理を行う。
【０１００】
［試聴位置と飛出位置との関係例］
図１１は、本発明の第１の実施の形態における表示部１８１に表示される立体視画像を視聴する場合における視聴位置と、その立体視画像に含まれる物体（立体視物体）の飛出位置との関係を模式的に示す図である。
【０１０１】
図１１において、立体視画像が表示される位置（表示部１８１の表示面）を表示面の位置３５０とし、表示部１８１に表示される立体視画像を視聴する場合におけるユーザの視聴位置を視聴位置３５１とする。また、この状態で立体視画像を視聴しているユーザが見ることができる物体（立体視物体３５２）の飛出位置を飛出位置３５３とする。
【０１０２】
ここで、立体視画像に含まれる立体視物体３５２のズレ量（表示面上のズレ量）をｐとし、表示面の位置３５０および視聴位置３５１間の距離をＬとし、立体視画像を視聴しているユーザの両眼間隔をｅとする。また、表示面の位置３５０および飛出位置３５３間の距離（飛出量）をｄとする。
【０１０３】
この場合に、表示面の位置３５０と、視聴位置３５１と、飛出位置３５３との関係については、相似関係から、以下の式１が成立する。
ｄ：ｐ＝（Ｌ−ｄ）：ｅ …式１
【０１０４】
また、式１を変形すると、ｄ＝ｐＬ／（ｅ＋ｐ）が求められる。
【０１０５】
具体的には、ｐ＝７１ｍｍ、ｌ＝２０００ｍｍ、ｅ＝６５ｍｍを代入すると、飛出量ｄとして、１０４４ｍｍ（ｄ＝７１×２０００／（６５＋７１））を求めることができる。
【０１０６】
このように、立体視画像における物体のズレ量を用いて、その物体の飛出量を求めることができる。このため、立体視画像補正部１５０は、立体視画像における物体のズレ量を用いて、その物体の奥行量（飛出量または引込量）の補正を行うことができる。
【０１０７】
［立体視画像の補正例］
図１２は、本発明の第１の実施の形態における立体視画像補正部１５０による補正前後の立体視物体の位置を模式的に示す図である。
【０１０８】
図１２（ａ）には、表示部１８１に立体視画像が表示される場合に、その立体視画像に含まれる物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における上面図を模式的に示す。なお、図１２（ａ）に示す例は、距離Ｂ１およびＳ１以外は、図７（ａ）と同様である。
【０１０９】
ここで、距離Ｂ１は、物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における物体２０３および２０４間の奥行方向における距離を示す。また、距離Ｓ１は、物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における物体２０４および２０５間の奥行方向における距離を示す。
【０１１０】
図１２（ｂ）には、立体視画像補正部１５０による補正後に、表示部１８１に立体視画像が表示される場合に、その立体視画像に含まれる物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における上面図を模式的に示す。
【０１１１】
ここで、距離Ｂ２は、物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における物体２０３および２０４間の奥行方向における距離を示す。また、距離Ｓ２は、物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における物体２０４および２０５間の奥行方向における距離を示す。
【０１１２】
図１２（ｂ）では、立体視画像コンテンツを長時間視聴する場合に、その長時間の視聴でもユーザの眼が疲労しないように、立体視物体の奥行量（飛出量または引込量）を控えめに調整した場合を例にして示す。
【０１１３】
例えば、図５に示す立体視画像の奥行位置調整レバー５１０を真ん中よりも「小」側に移動させることにより、立体視物体の奥行量（飛出量または引込量）を控えめに調整することができる。この場合には、図４に示す調整部１５１が、ズラシ量保持テーブルにおける各ズラシ量に係数Ｋ（０＜Ｋ＜１）を乗算することにより、各ズラシ量を調整することができる。この場合に、図１２に示す例では、Ｂ２＜Ｂ１、および、Ｓ２＜Ｓ１となる。このように、立体視物体の飛出量および引込量を少なくしてユーザの眼の負担を軽減させることができる。
【０１１４】
また、例えば、図５に示す立体視画像の奥行位置調整レバー５１０を真ん中よりも「大」側に移動させることにより、立体視物体の奥行量（飛出量または引込量）を強調するように調整することができる。この場合には、図４に示す調整部１５１が、ズラシ量保持テーブルにおける各ズラシ量に係数Ｋ（１＜Ｋ）を乗算することにより、各ズラシ量を調整することができる。このように、立体視物体の飛出量および引込量を大きくして強調することにより、立体視画像の立体感をさらに強くしてユーザが楽しむことができる。
【０１１５】
このように、ユーザ操作に応じて立体視画像の奥行量を調整することにより、ユーザの個人的嗜好に応じた適切な立体視画像を提供することができる。この場合に、例えば、視聴者の年齢層に応じた設定ボタン（例えば、子供ボタン、青年ボタン、高齢ボタン）をリモコン５００に設け、この設定ボタンをユーザの年齢層に応じて押下することにより、ユーザの年齢層に応じた適切な立体視画像を提供することができる。例えば、子供ボタンまたは高齢ボタンが押下された場合には、立体視画像およびその音声を控えめに設定することができる。また、青年ボタンが押下された場合には、立体視画像およびその音声を強調するように設定することができる。
【０１１６】
また、このように立体視物体の奥行量が変更された場合（変更操作が行われた場合）には、音声データに係る音像をその変更後の奥行量に対応する位置に定位させるように音声データを補正するようにしてもよい。
【０１１７】
［音声の補正例］
図１３は、本発明の第１の実施の形態における音声補正部１４０により出力音声を補正する場合における補正方法を模式的に示す図である。図１３では、図１１と同様に、表示部１８１に表示される立体視画像を視聴する場合における視聴位置と、その立体視画像に含まれる物体（立体視物体）の飛出位置との関係を模式的に示す。
【０１１８】
図１３において、立体視画像が表示される位置（表示部１８１の表示面）を表示面の位置４００とし、表示部１８１に表示される立体視画像を視聴する場合におけるユーザの視聴位置を視聴位置４０１とする。また、この状態で立体視画像を視聴しているユーザが見ることができる物体Ａ、Ｂ（立体視物体４０２、４０３）の飛出位置を飛出位置４０４、４０５とする。
【０１１９】
ここで、表示面の位置４００および視聴位置４０１間の距離をＬとし、表示面の位置４００および飛出位置４０４間の距離（飛出量）をＹａとし、表示面の位置４００および飛出位置４０５間の距離（飛出量）をＹｂとする。この場合に、視聴位置４０１および飛出位置４０４間の距離ＺａはＬ−Ｙａ（すなわち、Ｚａ＝Ｌ−Ｙａ）であり、視聴位置４０１および飛出位置４０５間の距離ＺｂはＬ−Ｙｂ（すなわち、Ｚｂ＝Ｌ−Ｙｂ）である。
【０１２０】
そこで、表示部１８１に立体視画像が表示される場合において、立体視物体４０２（飛出位置４０４）を含む立体視画像が表示される場合には、フィルタ処理部１４７が、距離Ｚａに応じたフィルタ処理を施す。これにより、立体視物体４０２の飛出位置４０４に音像を定位させることができる。なお、音像は、感覚上の音源を意味する。
【０１２１】
ここで、フィルタ処理に用いられるフィルタ係数は、定位させる音源の位置（距離、方向）と、試聴位置とにおいて、スピーカおよびダミーヘッドを設置し、インパルス応答を測定する公知の方法により求める（例えば、特開２０１０−１７８３７３号参照。）
【０１２２】
また、想定される複数の音源の位置（距離、方向）に対応するフィルタ係数（上述した方法により求められる）を、その複数の音源の位置毎に関連付けて保持部１４９に保持させておく。そして、位置換算部１４２から出力される立体視物体の奥行量（飛出位置および引込量）に応じて、フィルタ決定部１４４が複数のフィルタ係数のうちから１つのフィルタ係数を選択する。すなわち、フィルタ決定部１４４が、立体視物体の飛出位置に最も近い位置に対応するフィルタ係数を選択する。そして、フィルタ決定部１４４により選択されたフィルタ係数を用いてフィルタ処理部１４７がフィルタ処理を行う。
【０１２３】
また、音量調整を行うことにより音声を補正することができる。ここでは、図１３において、立体視物体（物体Ａ）４０２の飛出位置４０４を基準として、立体視物体（物体Ｂ）４０３の飛出位置４０５の音量調整を行う例を示す。
【０１２４】
音量を調整する際に用いられるゲイン量は、音圧と距離との関係から決定される。具体的には、飛出位置４０４における音圧をＩａとする場合に、飛出位置４０５における音圧Ｉｂは、次の式２により求めることができる。
Ｉｂ＝Ｉａ×（Ｚｂ／Ｚａ）２ … 式２
【０１２５】
したがって、飛出位置４０５の音量調整を行う場合におけるゲイン量ｇとしてｌｂ／ｌａ（すなわち、ｇ＝ｌｂ／ｌａ）が決定される。すなわち、ゲイン決定部１４３は、位置換算部１４２からの位置情報に基づいて、飛出位置４０５の音量調整を行う場合におけるゲイン量ｇとしてｌｂ／ｌａを決定する。
【０１２６】
このように、ゲイン決定部１４３により決定されたゲイン量を用いて、音量調整部１４６が、飛出位置４０４の前後の位置（例えば、飛出位置４０５）の音量調整を行う。このように、フィルタ処理とともに音量調整処理を行うことにより、頭部伝達関数フィルタに対応する位置以外の位置についても、音声情報を正確に補正することができる。また、このように、フィルタ処理とともに音量調整処理を行うことにより、頭部伝達関数フィルタを多数保持しなくても、各位置に対応した音声情報の補正を行うことができる。
【０１２７】
このように、立体視画像における物体のズレ量を用いて、その物体の飛出量を求めることができる。このため、音声補正部１４０は、立体視画像における物体のズレ量を用いて、その物体の音声情報の補正を行うことができる。
【０１２８】
このように、本発明の第１の実施の形態によれば、表示部１８１に表示される立体視画像に応じた適切な立体音響をユーザに提供することができる。すなわち、立体視画像を表示する際に物体の奥行方向における位置を考慮した音声出力を行うことができる。これにより、ユーザはさらに豊かな臨場感を得ることができる。
【０１２９】
［情報処理装置の動作例］
次に、本発明の第１の実施の形態における情報処理装置１００の動作について図面を参照して説明する。
【０１３０】
［音声補正部の動作例］
図１４は、本発明の第１の実施の形態における音声補正部１４０による音声補正処理の処理手順の一例を示すフローチャートである。図１４では、ズラシ量保持テーブルにおけるズラシ量の平均値に基づいて音声を補正する場合を例にして説明する。
【０１３１】
最初に、立体視画像の表示指示操作が行われたか否かが判断され（ステップＳ９１１）、立体視画像の表示指示操作が行われていない場合には、監視を継続して行う。立体視画像の表示指示操作が行われた場合には（ステップＳ９１１）、調整値算出部１４１が、ズラシ量保持テーブルを取得し（ステップＳ９１２）、このズラシ量保持テーブルにおける各ズラシ量の平均値（調整値）を算出する（ステップＳ９１３）。
【０１３２】
続いて、位置換算部１４２が、その平均値（調整値）に対応する位置（奥行方向における位置）に換算する（ステップＳ９１４）。続いて、ゲイン決定部１４３が、換算後の位置に基づいて、音量調整を行うためのゲイン量を決定する（ステップＳ９１５）。続いて、フィルタ決定部１４４が、換算後の位置に基づいて、その位置に音像を定位させるためのフィルタ係数を決定する（ステップＳ９１６）。
【０１３３】
続いて、音量調整部１４６が、その決定されたゲイン量を用いて音量調整を行う（ステップＳ９１７）。続いて、フィルタ処理部１４７が、その決定されたフィルタ係数を用いてフィルタ処理を行う（ステップＳ９１８）。なお、ステップＳ９１２乃至Ｓ９１８は、特許請求の範囲に記載の補正手順の一例である。
【０１３４】
続いて、音声データ出力部１４８が、補正処理後の音声データを出力制御部１７０に出力する（ステップＳ９１９）。これにより、補正処理後の音声データが出力制御部１７０から出力される。なお、ステップＳ９１９は、特許請求の範囲に記載の出力制御手順の一例である。
【０１３５】
続いて、立体視画像の表示終了操作が行われたか否かが判断され（ステップＳ９２０）、立体視画像の表示終了操作が行われていない場合には、ステップＳ９１２に戻る。一方、立体視画像の表示終了操作が行われた場合には（ステップＳ９２０）、音声補正処理の動作を終了する。
【０１３６】
［立体視画像補正部の動作例］
図１５は、本発明の第１の実施の形態における立体視画像補正部１５０による立体視画像補正処理の処理手順の一例を示すフローチャートである。図１５では、ユーザ操作によるパラメータ調整に基づいて立体視画像を補正する場合を例にして説明する。
【０１３７】
最初に、立体視画像の表示指示操作が行われたか否かが判断され（ステップＳ９３１）、立体視画像の表示指示操作が行われていない場合には、監視を継続して行う。立体視画像の表示指示操作が行われた場合には（ステップＳ９３１）、ユーザ操作によりパラメータ調整の指示操作が行われたか否かが判断され（ステップＳ９３２）、パラメータ調整の指示操作が行われていない場合には、ステップＳ９３８に進む。
【０１３８】
また、パラメータ調整の指示操作が行われた場合には（ステップＳ９３２）、調整部１５１が、ズラシ量保持テーブルを取得する（ステップＳ９３３）。続いて、操作受付部１１５により受け付けられた操作入力（パラメータ調整の指示操作）に応じて、そのズラシ量保持テーブルにおける各ズラシ量を調整する（ステップＳ９３４）。
【０１３９】
続いて、水平移動処理部１５３が、調整後のズラシ量に基づいて水平移動処理を行い（ステップＳ９３５）、平滑化処理部１５４が二値化データに基づいて平滑化処理を行う（ステップＳ９３６）。続いて、画像データ出力部１５５が、補正処理後の画像データを出力制御部１７０に出力する（ステップＳ９３７）。
【０１４０】
続いて、立体視画像の表示終了操作が行われたか否かが判断され（ステップＳ９３８）、立体視画像の表示終了操作が行われていない場合には、ステップＳ９３２に戻る。一方、立体視画像の表示終了操作が行われた場合には（ステップＳ９３８）、画像補正処理の動作を終了する。
【０１４１】
［字幕生成部の動作例］
図１６は、本発明の第１の実施の形態における字幕生成部１６０による字幕生成処理の処理手順の一例を示すフローチャートである。図１６では、ズラシ量保持テーブルにおけるズラシ量の平均値に基づいて字幕データを補正する場合を例にして説明する。
【０１４２】
最初に、立体視画像の表示指示操作が行われたか否かが判断され（ステップＳ９５１）、立体視画像の表示指示操作が行われていない場合には、監視を継続して行う。立体視画像の表示指示操作が行われた場合には（ステップＳ９５１）、調整値算出部１６１が、ズラシ量保持テーブルを取得し（ステップＳ９５２）、このズラシ量保持テーブルにおける各ズラシ量の平均値（調整値）を算出する（ステップＳ９５３）。
【０１４３】
続いて、字幕データ生成部１６２が字幕データを生成し（ステップＳ９５４）、この生成された字幕データ（字幕画像）について、その平均値（調整値）を用いて画像の水平移動処理を行う（ステップＳ９５５）。続いて、字幕データ出力部１６３が、生成された字幕データを出力制御部１７０に出力する（ステップＳ９５６）。
【０１４４】
続いて、立体視画像の表示終了操作が行われたか否かが判断され（ステップＳ９５７）、立体視画像の表示終了操作が行われていない場合には、ステップＳ９５２に戻る。一方、立体視画像の表示終了操作が行われた場合には（ステップＳ９５７）、字幕生成処理の動作を終了する。
【０１４５】
［特定の立体視物体の位置を基準とする音声の補正例］
以上では、ズラシ量保持テーブルにおけるズラシ量の平均値に基づいて音声を補正する例を示した。ただし、例えば、特定人物（例えば、本人や家族）を含む立体視画像を表示する場合には、その特定人物を基準として音声を補正することをユーザが所望することも想定される。そこで、以下では、立体視画像に含まれる特定対象物を基準として音声を補正する例を示す。
【０１４６】
図１７は、本発明の第１の実施の形態における表示部１８１に表示される立体視画像を時系列で模式的に示す図である。
【０１４７】
図１７（ａ）には、離陸する飛行機４１３を正面側から撮影した場合における立体視画像４１０乃至４１２を示す。図１７（ｂ）には、撮影者側に進行している人物４１８を正面側から撮影した場合における立体視画像４１５乃至４１７を示す。
【０１４８】
立体視画像４１０乃至４１２、４１５乃至４１７は、立体視画像を表示するための動画を構成するフレームのうち、一定間隔毎のフレームに対応する画像であるものとする。また、図１７では、説明の容易のため、立体視画像を構成する左眼視用画像および右眼視用画像のうちの一方のみを時系列で示す。
【０１４９】
また、立体視画像４１０乃至４１２に対応する動画が表示される場合には、飛出量が比較的多い立体視物体として飛行機４１３が表示されるものとする。また、立体視画像４１５乃至４１７に対応する動画が表示される場合には、飛出量が比較的多い立体視物体として人物４１８が表示されるものとする。
【０１５０】
図１７に示すように、特定の立体視物体（飛行機４１３、人物４１８）が時系列で撮影者側に順次近づいてくるシーンでは、オーディオチャネルの中から、その立体視物体から生じる音声を識別してその音声を補正する。このように音声補正を行うことにより、さらにユーザ好みの適切な音声出力を行うことができる。
【０１５１】
［音声補正部の構成例］
図１８は、本発明の第１の実施の形態における音声補正部４５０の機能構成例を示すブロック図である。なお、音声補正部４５０は、図３に示す音声補正部１４０の一部を変形した例である。このため、音声補正部１４０と共通する部分には同一の符号を付して、これらの説明の一部を省略する。なお、音声補正部４５０は、特許請求の範囲に記載の補正部の一例である。
【０１５２】
音声補正部４５０は、顔検出部４５１と、位置換算部４５２と、ゲイン決定部４５３と、フィルタ決定部４５４と、音量調整部４５６と、フィルタ処理部４５７と、ミキサ部４５８と、音声データ出力部４５９とを備える。
【０１５３】
音声データ入力部１４５は、取得部１３０から供給される音声データ（センタチャンネル、左チャンネル、右チャンネルを含む）を入力するものであり、その音声データを音量調整部１４６および音量調整部４５６に供給する。例えば、センタチャンネル（音声チャネル）の音声データが音量調整部４５６に供給され（信号線４６２）、左チャンネルおよび右チャンネル（メインのオーディオチャネル）の音声データが音量調整部１４６に供給される（信号線４６１）。また、フィルタ処理部１４７は、フィルタ処理後の音声データをミキサ部４５８に出力する。
【０１５４】
顔検出部４５１は、制御部１１０の制御に基づいて、取得部１３０から供給される画像データに含まれる人物の顔を検出するものであり、検出された顔に関する顔情報（検出された顔の領域に対応する各ズラシ量の平均値）を位置換算部４５２に出力する。例えば、顔検出部４５１は、取得部１３０から供給される立体視画像パラメータに含まれるズラシ量保持テーブルおよび二値化データを用いて人物の顔を検出する。例えば、顔検出部４５１は、ズラシ量保持テーブルにおける各ズラシ量のうち、二値化データにより特定される立体視物体に係る領域の各ズラシ量を抽出する。そして、顔検出部４５１は、その抽出された各ズラシ量と、予め保持されている人物の顔のパターン画像とのマッチング処理を行い、このマッチング処理の結果に基づいて人物の顔を検出する。なお、他の検出方法を用いるようにしてもよい。例えば、本発明の第２の実施の形態における顔検出部６２０（図２３に示す）と同様の顔検出方法を用いることができる。なお、顔検出部４５１は、特許請求の範囲に記載の検出部の一例である。
【０１５５】
位置換算部４５２は、顔検出部４５１から出力された顔情報（平均値）を、音声データを補正するための位置（奥行方向における位置）に換算するものであり、換算後の位置（位置情報）をゲイン決定部４５３およびフィルタ決定部４５４に出力する。
【０１５６】
ゲイン決定部４５３は、位置換算部４５２から出力された位置情報に基づいて、音量調整を行うためのゲイン量を決定するものであり、決定されたゲイン量を音量調整部４５６に出力する。
【０１５７】
フィルタ決定部４５４は、位置換算部４５２から出力された位置情報に基づいて、その位置情報に対応する位置に音像を定位させるためのフィルタ係数を決定するものであり、決定されたフィルタ係数をフィルタ処理部４５７に出力する。
【０１５８】
音量調整部４５６は、音声データ入力部１４５から供給された音声データについて、ゲイン決定部４５３から出力されたゲイン量を用いて音量調整を行うものであり、音量調整後の音声データをフィルタ処理部４５７に出力する。
【０１５９】
フィルタ処理部４５７は、音声データ入力部１４５から供給された音声データについて、フィルタ決定部４５４から出力されたフィルタ係数を用いてフィルタ処理を行うものであり、フィルタ処理後の音声データをミキサ部４５８に出力する。
【０１６０】
ミキサ部４５８は、フィルタ処理部１４７から出力されたフィルタ処理後の音声データと、フィルタ処理部４５７から出力されたフィルタ処理後の音声データとをミキシングするものであり、そのミキシングされた音声データを音声データ出力部４５９に出力する。
【０１６１】
音声データ出力部４５９は、ミキサ部４５８から出力された音声データを、出力制御部１７０に出力するものである。
【０１６２】
このように、音声補正部４５０は、顔検出部４５１により検出された人物の顔（特定対象物）の奥行方向における位置に基づいて、その人物から生じる音声を補正する。すなわち、音声補正部４５０は、立体視画像パラメータのうち、その人物の顔の奥行方向における位置を示すパラメータ（ズラシ量）を用いて、センタチャンネルの音声データ（その人物から生じる音声データ）を補正する。また、例えば、音声補正部４５０は、その人物の顔の奥行方向における位置を示すパラメータ以外のパラメータ（ズラシ量）を用いて、左チャンネルおよび右チャンネルの音声データを補正することができる。例えば、調整値算出部１４１は、その人物の顔の奥行方向における位置を示すパラメータ以外のパラメータ（ズラシ量）の平均値を算出する。そして、その算出された平均値に基づいて左チャンネルおよび右チャンネルの音声データを補正することができる。
【０１６３】
なお、この例では、特定対象物として人物の顔を検出する例を示したが、他の特定対象物検出方法を用いて特定対象物（例えば、飛行機、車、人体）を検出するようにしてもよい。例えば、勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）を用いて物体検出を行う検出方法を用いて特定対象物を検出することができる（例えば、特開２０１０−０６７１０２号参照。）。
【０１６４】
［背景の位置を基準とする音声の補正例］
以上では、立体視画像に含まれる特定対象物を基準として音声を補正する例を示した。ただし、立体視画像に含まれる他の領域を基準として音声を補正するようにしてもよい。例えば、立体視画像に含まれる背景領域（すなわち、立体視物体以外の領域）を基準として、その背景領域に係る音声（背景音）を補正するようにしてもよい。例えば、二値化データを用いて背景領域を特定することができる（すなわち、二値化データが「０」の領域が背景領域）。また、背景音は、例えば、サラウンドチャネルの中から抽出することができる。そして、背景領域に対応する位置にオーディオチャネルのうち、背景音の音像を定位させる。これにより、最適な立体音響をユーザに提供することができる。
【０１６５】
［シーン切替に基づく立体視画像の補正例］
以上では、ユーザ操作に基づいて立体視画像を補正する例を示した。ここで、例えば、放送番組からＣＭ（Commercial Message）への切替時やチャネル切替時（シーン切替）には、立体視画像から平面画像に変化したり、平面画像から立体視画像に変化したりすることが想定される。このような急激な変化（立体視画像から平面画像への変化や平面画像から立体視画像への変化）があった場合には、ユーザが違和感を生じることも考えられる。そこで、以下では、ＣＭ切替時やチャネル切替時を基準として立体視画像を補正する例を示す。なお、この例における情報処理装置の構成については、図２等に示す例と略同様である。このため、図２等に示す情報処理装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
【０１６６】
なお、シーン切替時の検出方法として、例えば、対象画像と、時間軸において１つ前の画像（隣接画像）との比較により、急激に変化する画像を検出して、対象画像がカットチェンジ点（シーン切替時）であるか否かを解析する方法を用いることができる。このカットチェンジの検出方法として、例えば、画像間におけるヒストグラム類似度および空間相関画像類似度を用いてカットチェンジであるかを判定する方法（例えば、特開２００８−８３８９４号参照。）を用いることができる。この方法は、例えば、対象画像と隣接画像とに関するヒストグラム類似度および空間相関画像類似度に基づいて、対象画像と隣接画像とおける画像の変化がカットチェンジであるかを判定する。なお、ＣＭ切替時については、放送受信部からの映像信号に基づいて検出するようにしてもよい。また、チャネル切替時については、リモコン５００または操作受付部１１５により受け付けられるユーザ操作に基づいて検出することができる。
【０１６７】
［ＣＭ切替に基づく立体視画像の補正例］
図１９は、本発明の第１の実施の形態における立体視画像補正部１５０による奥行量の調整例を示す図である。図１９では、ズラシ量保持テーブル３００に保持されているズラシ量のうちの１つのズラシ量（１ブロック）に対応する奥行量の変化を時系列で模式的に示す。また、図１９に示す例では、放送番組が立体視画像として表示され、ＣＭが平面画像として表示される場合を想定して説明する。
【０１６８】
図１９（ａ）には、調整前の立体視物体の奥行量を時系列で示す。図１９（ａ）に示す曲線５３１および５３２は、立体視画像として表示される放送番組（番組（３Ｄ））に係る奥行量の遷移に対応する曲線である。また、曲線５３１および５３２に対応する放送番組（番組（３Ｄ））の後には、ＣＭ（２Ｄ）が平面画像として表示されるものとする。
【０１６９】
図１９（ａ）に示すように、曲線５３１に対応する放送番組（番組（３Ｄ））からＣＭ（２Ｄ）への切替時には、奥行量が急激に変化する。同様に、ＣＭ（２Ｄ）から曲線５３２に対応する放送番組（番組（３Ｄ））への切替時、曲線５３２に対応する放送番組（番組（３Ｄ））からＣＭ（２Ｄ）への切替時についても、奥行量が急激に変化する。このように奥行量が急激に変化する場合には、立体視画像を見ていたユーザが違和感を生じるおそれがある。例えば、放送番組（番組（３Ｄ））からＣＭ（２Ｄ）への切替時には、立体視画像から平面画像に急激に切り替わるため、違和感を生じるおそれがある。そこで、図１９（ｂ）に示すように、放送番組（番組（３Ｄ））からＣＭ（２Ｄ）への切替時には奥行量を調整して、立体視画像から平面画像への切替時にユーザに与える違和感を軽減させることができる。
【０１７０】
図１９（ｂ）には、調整後の立体視物体の奥行量を時系列で示す。図１９（ｂ）に示す曲線５３３は、図１９（ａ）に示す曲線５３１に対応する奥行量を調整した後の奥行量の遷移に対応する曲線である。また、図１９（ｂ）に示す曲線５３４は、図１９（ａ）に示す曲線５３２に対応する奥行量を調整した後の奥行量の遷移に対応する曲線である。
【０１７１】
例えば、放送番組（番組（３Ｄ））からＣＭ（２Ｄ）への切替時には、図４に示す調整部１５１が、その境界時から所定時間（例えば、期間ｔ１１）前の奥行量（ズラシ量）から調整を行う。例えば、期間ｔ１１の開始時から終了時までの間、時間の経過に応じて減少するパラメータａを奥行量に乗算することにより調整を行うことができる。このパラメータａは、例えば、０≦ａ≦１の範囲内の値に変化するパラメータであり、期間ｔ１１の開始時にはパラメータａ＝１となり、期間ｔ１１の終了時にはパラメータａ＝０となる。また、期間ｔ１１の開始時から終了時までの間、時間の経過に応じて、１から０に減少するように変化する。
【０１７２】
また、例えば、ＣＭ（２Ｄ）から放送番組（番組（３Ｄ））への切替時には、図４に示す調整部１５１が、その境界時から所定時間（例えば、期間ｔ１２）後まで奥行量（ズラシ量）の調整を行う。例えば、期間ｔ１２の開始時から終了時までの間、時間の経過に応じて増加するパラメータｂを奥行量に乗算することにより調整を行う。このパラメータｂは、例えば、０≦ａ≦１の範囲内の値に変化するパラメータであり、期間ｔ１２の開始時にはパラメータｂ＝０となり、期間ｔ１２の終了時にはパラメータｂ＝１となる。また、期間ｔ１２の開始時から終了時までの間、時間の経過に応じて０から１に増加するように変化する。
【０１７３】
［チャネル切替に基づく立体視画像の補正例］
図２０は、本発明の第１の実施の形態における立体視画像補正部１５０による奥行量の調整例を示す図である。図２０では、ズラシ量保持テーブル３００に保持されているズラシ量のうちの１つのズラシ量（１ブロック）に対応する奥行量の変化を時系列で模式的に示す。また、図２０に示す例では、立体視画像および平面画像の何れかが表示される場合を想定して説明する。
【０１７４】
なお、図２０に示す例は、図１９の変形例であり、ＣＭ（２Ｄ）期間および番組（２Ｄ）期間が異なる以外は、略同様である。
【０１７５】
なお、図１９および図２０に示す例では、ＣＭ切替時およびチャネル切替時における立体視画像の補正例を示したが、シーンチェンジ時についても同様に立体視画像の補正を行うことができる。
【０１７６】
このように、ＣＭ切替時、シーンチェンジ時、チャネル切替時において、奥行量の調整をすることにより、視聴者の不快感を解消することができる。
【０１７７】
［特殊再生時における立体視画像の補正例］
以上では、シーン切替時における立体視画像の補正例を示した。ここで、例えば、特殊な再生方法（例えば、２倍速再生）により立体視画像をユーザが見ることも想定される。このように特殊な再生方法により立体視画像が表示される場合には、通常の立体視画像表示と比較して、再生速度が速いためユーザが見難いと感じることも考えられる。そこで、以下では、特殊な再生方法により立体視画像が表示される場合に、立体視画像を補正する例を示す。なお、この例における情報処理装置の構成については、図２等に示す例と略同様である。このため、図２等に示す情報処理装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
【０１７８】
図２１は、本発明の第１の実施の形態における立体視画像補正部１５０による奥行量の調整例を示す図である。図２１では、ズラシ量保持テーブル３００に保持されているズラシ量のうちの１つのズラシ量（１ブロック）に対応する奥行量の変化を時系列で模式的に示す。また、図２１に示す例では、所定の倍速再生（例えば、２倍速再生、３倍速再生）が行われている場合を想定して説明する。
【０１７９】
ここで、所定の倍速再生が行われる場合には、表示対象となる立体視画像コンテンツを構成する各フレームのうち一部が間引きされて表示される。例えば、２倍速再生が行われる場合には、表示対象となる立体視画像コンテンツを構成する各フレームのうち、１枚間隔で間引きされて表示される。そこで、所定の倍速再生が行われる場合には、間引き対象となるフレームに関連付けられているズラシ量保持テーブルについては使用しないようにする。これにより、立体視画像の補正処理を迅速に行うことができる。
【０１８０】
図２１（ａ）には、調整前の立体視物体の奥行量を時系列で示す。図２１（ａ）に示す曲線５５１は、立体視画像の奥行量の遷移に対応する曲線である。図２１（ｂ）には、調整後の立体視物体の奥行量を時系列で示す。図２１（ｂ）に示す曲線５５２は、図２１（ａ）に示す曲線５５１に対応する奥行量を調整した後の奥行量の遷移に対応する。
【０１８１】
例えば、所定の倍速再生（例えば、２倍速再生、３倍速再生）が行われている場合には、上述したように、シーン切替時を検出し、この検出結果に基づいて奥行量を調整することができる。すなわち、シーン切替時の前後の奥行量が急激に変化しないように調整を行う。
【０１８２】
また、例えば、間引き対象とならないフレームに関連付けられているズラシ量保持テーブルを使用して一定期間における奥行量の平均値を算出し、この平均値から一定範囲内の値となるように、一定期間における奥行量を調整するようにしてもよい。例えば、期間ｔ３１における奥行量の平均値５５３を算出し、平均値５５３から一定範囲Ｈ１内の値となるように、期間ｔ３１における奥行量を調整することができる。すなわち、立体視画像補正部１５０は、立体視画像の倍速再生を指示する指示操作が受け付けられた場合には、立体視画像に含まれる物体の奥行方向における位置の変化が一定範囲内となるように、奥行方向における位置を補正する。
【０１８３】
また、例えば、倍速再生の倍率に応じて減少するパラメータｃｎ（ｎは正の整数）を奥行量に乗算することにより調整を行うようにしてもよい。このパラメータｃｎは、例えば、０≦ｃｎ≦１の範囲内の値をとり、…ｃ４（４倍速再生時のパラメータ）＜ｃ３（３倍速再生時のパラメータ）＜ｃ２（２倍速再生時のパラメータ）＜ｃ１（１倍速再生時のパラメータ）＝１となるものとする。
【０１８４】
このようにすることにより、倍速再生時における各フレーム間において、奥行量の変動を少なくして、ユーザの眼の負担を軽減させることができる。また、特殊再生操作時において、奥行量の調整をすることにより、視聴者の不快感を解消することができる。
【０１８５】
なお、上述したＣＭ切替時における立体視画像の補正、チャネル切替時における立体視画像の補正、特殊再生時における立体視画像の補正等を行う場合には、調整後の奥行量を用いて音声の補正を行うようにしてもよい。また、このように画像の補正とともに、音声の補正を行うか否かをユーザ操作により設定するようにしてもよい。
【０１８６】
［複数の画面を同時に表示する場合における補正例］
以上では、立体視画像コンテンツに基づく立体視画像を一画面として表示部１８１に表示する例を示した。ここで、例えば、同一の表示パネル上に複数の画面（例えば、メイン画面およびサブ画面）を同時に表示することが可能な情報処理装置が、これらの複数の画面に立体視画像をそれぞれ表示する場合を想定する。この場合において、例えば、複数の画面に表示される立体視画像が異なる内容である場合には、画面毎に立体視画像の補正を行うことができる。そこで、以下では、同一の表示パネル上に複数の画面を同時に表示する場合において、複数の画面に表示される立体視画像の補正を画面毎に行う例を示す。
【０１８７】
図２２は、本発明の第１の実施の形態における情報処理装置５６０の外観構成例と、補正処理の流れとを簡略化して示す図である。なお、この例における情報処理装置の構成については、図２等に示す例と略同様である。このため、図２等に示す情報処理装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
【０１８８】
図２２（ａ）には、情報処理装置５６０の外観構成として正面側の外観構成例を示す。例えば、情報処理装置５６０の表示部１８１には、メイン画面５６１およびサブ画面５６２が表示されるものとする。また、情報処理装置５６０は、メイン画面５６１およびサブ画面５６２にそれぞれ異なる立体視画像を表示することが可能である。
【０１８９】
図２２（ｂ）には、情報処理装置５６０による補正処理の流れを簡略化して示す。なお、図２２（ｂ）に示す例は、同時に表示される２つの立体視画像のそれぞれについて、異なる補正を行う点が異なるが、それ以外の点については、上述した補正処理と同様である。すなわち、メイン画面の補正処理５７０のうち画像補正処理として、メイン画面画像データ（メイン画面５６１の表示対象となる画像データ）５７１について画像補正処理５７２が行われる。そして、補正後の画像データについてメイン画面立体視画像出力５７３が行われる。また、メイン画面の補正処理５７０のうち音声補正処理として、メイン画面音声データ５７４について音声補正処理５７５が行われる。そして、補正後の音声データについてメイン画面音声出力５７６が行われる。
【０１９０】
また、サブ画面の補正処理５８０のうち画像補正処理として、サブ画面画像データ（サブ画面５６２の表示対象となる画像データ）５８１について画像補正処理５８２が行われる。そして、補正後の画像データについてメイン画面立体視画像出力５８３が行われる。また、メイン画面の補正処理５８０のうち音声補正処理として、メイン画面音声データ５８４について音声補正処理５８５が行われる。そして、補正後の音声データについてメイン画面音声出力５８６が行われる。
【０１９１】
また、メイン画面の補正処理５７０およびサブ画面の補正処理５８０については、同一の設定内容に基づいてそれぞれ行うようにしてもよく、異なる設定内容に基づいてそれぞれ行うようにしてもよい。また、ユーザ操作により設定されるメイン画面５６１およびサブ画面５６２のサイズに応じて、各設定内容を変更するようにしてもよい。
【０１９２】
なお、図２２では、同一の表示パネル上に２つの画面を同時に表示する例を示したが、３以上の画面を同時に表示する場合についても同様に行うことができる。
【０１９３】
このように、メイン画面５６１およびサブ画面５６２が表示される場合において、各画面について奥行量の調整をすることにより、各画面において豊かな臨場感を得ることができる。
【０１９４】
＜２．第２の実施の形態＞
本発明の第１の実施の形態では、ユーザ操作または立体視画像に関する各種情報に基づいて音声補正および画像補正を行う例を示した。ここで、立体視画像は、実際の表示位置と、ユーザが見ていると錯覚する物体の位置とが異なるため、ユーザが違和感を覚えることが想定される。そこで、本発明の第２の実施の形態では、そのような違和感によるユーザの眼の疲労感を軽減する例を示す。
【０１９５】
［情報処理装置の構成例］
図２３は、本発明の第２の実施の形態における情報処理装置６００の機能構成例を示すブロック図である。
【０１９６】
情報処理装置６００は、撮像部６１０と、顔検出部６２０と、黒目検出部６３０と、基準黒目情報保持部６４０と、眼球変化検出部６５０と、取得部６６０と、立体視画像補正部６７０と、出力制御部６８０と、制御部６９０とを備える。なお、図２に示す情報処理装置１００に共通する部分の一部については、その説明の一部を省略する。また、操作受付部１１５、コンテンツ記憶部１２１、コンテンツ付随情報記憶部１２２、表示部１８１、音声出力部１８２およびリモコン５００は、図２に示すものと略同様であるため、同一の符号を付して、ここでの詳細な説明を省略する。
【０１９７】
撮像部６１０は、制御部６９０の制御に基づいて、被写体を撮像して画像データ（ビデオデータ）を生成するものであり、生成された画像データを顔検出部６２０および黒目検出部６３０に順次出力する。具体的には、撮像部６１０は、光学ユニット、撮像素子および信号処理部を備える。撮像部６１０において、光学ユニットを介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像動作を行い、信号処理部が撮像信号に対して信号処理を行うことにより画像データが生成される。そして、生成された画像データが所定のフレームレートで顔検出部６２０および黒目検出部６３０に順次出力される。撮像部６１０は、例えば、単眼カメラにより実現することができる。
【０１９８】
また、撮像部６１０は、フォーカスを自動で合わせるオートフォーカス（ＡＦ（Auto Focus））機能を備える。このオートフォーカス機能は、例えば、コントラスト検出方式のオートフォーカス機能（いわゆる、コントラストＡＦ）である。
【０１９９】
ここで、ＡＦ処理について説明する。ＡＦ処理では、例えば、コントラスト情報の取得を開始する位置への移動動作と、コントラスト情報の取得動作とを組み合わせた一連の動作（１回のＡＦ処理）が繰り返し行われる。この１回のＡＦ処理を実行する毎に、レンズから被写体までの距離（被写体距離）を捕えることが可能である。すなわち、被写体距離をａとし、レンズから撮像素子に結像される像までの距離をｂとし、レンズの焦点距離をｆとする場合には、次の式３が成り立つ。
（１／ａ）＋（１／ｂ）＝１／ｆ … 式３
【０２００】
この式３により、撮像部６１０は、被写体距離ａ＝１／（（１／ｆ）−（１／ｂ））を算出することができる。そして、撮像部６１０は、算出された被写体距離ａを眼球変化検出部６５０に出力する。
【０２０１】
なお、本発明の第２の実施の形態では、情報処理装置６００に撮像部６１０を内蔵する例を示すが、撮像部６１０の代わりに外部機器の撮像装置を利用するようにしてもよい。例えば、生成された画像データを外部装置に出力するための外部出力端子を備えるデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置と情報処理装置６００とを無線回線または有線回線により接続する。そして、その撮像装置により生成された画像データを情報処理装置６００が取得して、顔検出部６２０および黒目検出部６３０に順次供給することができる。
【０２０２】
顔検出部６２０は、撮像部６１０から出力された画像データに含まれる人物の顔を検出するものであり、検出された顔に関する顔検出情報を黒目検出部６３０に出力する。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、画像データに含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、顔検出情報には、検出された顔の画像データ（画像）上における位置およびサイズが含まれる。なお、検出された顔の画像データ上における位置は、例えば、画像データ上における顔画像の左上の位置とし、検出された顔の画像データ上におけるサイズは、例えば、画像データ上における顔画像の水平方向および垂直方向の長さとすることができる。この顔検出情報により、画像データ上における顔の少なくとも一部を含む矩形状の画像データである顔画像を特定することができる。
【０２０３】
黒目検出部６３０は、撮像部６１０から出力された画像データに含まれる顔の両眼における黒目を検出するものであり、検出された黒目に関する黒目情報を眼球変化検出部６５０に出力する。すなわち、黒目検出部６３０は、撮像部６１０から出力された画像データにおいて、顔検出部６２０から出力された顔検出情報（位置およびサイズ）を用いて、顔検出部６２０により検出された顔に対応する顔画像を抽出する。そして、この抽出された顔画像における黒目を検出する。この黒目検出方法として、例えば、顔検出方法と同様に、黒目の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる黒目検出方法等を用いることができる。また、黒目情報には、検出された黒目の顔画像における位置が含まれる。この黒目情報により、画像データ上における両目における黒目の位置を特定することができる。この黒目の位置は、例えば、黒目の中心位置とすることができる。
【０２０４】
また、他の黒目検出方法を用いるようにしてもよい。例えば、撮像部６１０から出力された画像データを２値化し、１画面における２値化データに基づいて黒目を検出するようにしてもよい。例えば、撮像部６１０から出力された画像データを２値化して、水平方向（左右方向）における各ラインの黒画素および白画素を判定する。そして、水平方向において、所定範囲内の数の白画素が連続した後に所定範囲内の数の黒画素が連続し、かつ、その連続する黒画素の後に所定範囲内の数の白画素が連続するラインを、黒目領域の候補ラインとして抽出する。そして、垂直方向（上下方向）において、その抽出された候補ラインとして、所定範囲内の数のラインが連続している領域を抽出して、その領域を黒目領域として検出することができる。
【０２０５】
また、眼球運動の計測装置を用いて、黒目を検出するようにしてよい。例えば、立体視画像を見るための専用メガネのレンズ部分に眼球運動の計測装置を備える。この計測装置の眼球側には、赤外ＬＥＤ（Light Emitting Diode）と受光器を設け、その外側には撮像装置を設ける。そして、赤外光を眼球に当て、反射してきた光を受光器で検出することにより、黒目部分の位置を特定することができる。
【０２０６】
基準黒目情報保持部６４０は、黒目検出部６３０により所定のタイミングで検出された黒目に関する黒目情報（基準黒目情報）を保持するものであり、保持されている基準黒目情報を眼球変化検出部６５０に供給する。
【０２０７】
眼球変化検出部６５０は、立体視画像が表示部１８１に表示されている際におけるユーザの眼球の変化を検出するものであり、この検出結果を立体視画像補正部６７０に出力する。例えば、眼球変化検出部６５０は、所定タイミングで黒目検出部６３０により検出された黒目の間隔を基準黒目情報（基準黒目間隔）として基準黒目情報保持部６４０に保持させる。そして、眼球変化検出部６５０は、基準黒目情報保持部６４０に保持されている基準黒目情報と、所定タイミング以降に黒目検出部６３０から出力された黒目情報とを比較することによりユーザの眼球の変化を検出する。この場合には、眼球変化検出部６５０は、比較対象となる黒目間隔の差分値（または、その黒目間隔に基づく輻輳角の差分値）を検出結果として立体視画像補正部６７０に出力する。すなわち、眼球変化検出部６５０は、黒目検出部６３０により検出された黒目の間隔に基づいてユーザの眼球の変化を検出することができる。ここで、所定タイミングは、立体視画像の表示を指示する指示操作が行われたタイミング、または、情報処理装置６００の電源がオンされたタイミングとすることができる。
【０２０８】
取得部６６０は、制御部６９０の制御に基づいて、コンテンツ記憶部１２１およびコンテンツ付随情報記憶部１２２に記憶されている各種情報を取得するものであり、取得された情報を各部に供給する。
【０２０９】
立体視画像補正部６７０は、制御部６９０の制御に基づいて、立体視画像コンテンツを出力する際における画像データを補正するものであり、補正後の画像データを出力制御部６８０に出力する。すなわち、立体視画像補正部６７０は、眼球変化検出部６５０により検出された眼球の変化に基づいて、立体視画像に含まれる物体の奥行方向における位置を補正する。この場合に、立体視画像補正部６７０は、その眼球の変化が一定量を基準として大きい場合に、立体視画像に含まれる物体の奥行方向における位置を、立体視画像の表示面側に移動させるように補正を行う。また、立体視画像補正部６７０は、立体視物体に対応するユーザの輻輳角が一定角を基準として大きいか否かを、その眼球の変化に基づいて判定することができる。そして、立体視画像補正部６７０は、その輻輳角が一定角を基準として大きい場合には、立体視画像に含まれる物体の奥行方向における位置を、立体視画像の表示面側に移動させるように補正を行う。これらの補正処理では、立体視画像に含まれる物体の奥行方向における位置を示すパラメータ（例えば、ズラシ量保持テーブルにおけるズラシ量）を調整することにより、その奥行方向における位置を補正する。
【０２１０】
出力制御部６８０は、操作受付部１１５により受け付けられた操作入力に応じて、コンテンツ記憶部１２１に記憶されているコンテンツを出力するための出力処理を行うものである。また、出力制御部６８０は、所定タイミング（立体視画像の表示を指示する指示操作時、または、情報処理装置６００の電源のオン時）で、基準黒目間隔を測定するための基準物体を含む基準立体視画像を表示部１８１に表示させる。
【０２１１】
制御部６９０は、操作受付部１１５により受け付けられた操作入力に基づいて、情報処理装置６００の各部を制御するものである。
【０２１２】
［画像補正部の構成例］
図２４は、本発明の第２の実施の形態における立体視画像補正部６７０の機能構成例を示すブロック図である。なお、図４に示す立体視画像補正部１５０に共通する部分の一部については、その説明の一部を省略する。また、画像データ入力部１５２、水平移動処理部１５３、平滑化処理部１５４および画像データ出力部１５５は、図４に示すものと略同様であるため、同一の符号を付して、ここでの詳細な説明を省略する。
【０２１３】
立体視画像補正部６７０は、判定部６７１および調整部６７２を備える。
【０２１４】
判定部６７１は、制御部６９０の制御に基づいて、立体視画像に含まれる物体の奥行方向における位置を補正するか否かを判定するものであり、判定結果（差分値等の判定情報を含む）を調整部６７２に出力する。具体的には、判定部６７１は、眼球変化検出部６５０から出力された検出結果（比較対象となる黒目間隔の差分値）を用いて、その眼球の変化（差分値）が一定量を基準として大きいか否かを判定する。そして、判定部６７１は、その眼球の変化が一定量を基準として大きい場合には、その補正を行うと判定する。また、判定部６７１は、その眼球の変化が一定量を基準として大きくない場合には、その補正を行わないと判定する。すなわち、判定部６７１は、立体視物体に対応するユーザの輻輳角が一定角を基準として大きいか否かを、その眼球の変化に基づいて判定することができる。そして、判定部６７１は、その輻輳角が一定角を基準として大きい場合には、その補正を行うと判定する。
【０２１５】
調整部６７２は、判定部６７１から出力された判定結果に基づいて、取得部６６０から供給される画像データを補正するためのパラメータを調整するものであり、調整後のパラメータを水平移動処理部１５３に出力する。具体的には、調整部６７２は、判定部６７１から補正を行う旨の判定結果が出力された場合には、立体視画像に含まれる物体の奥行方向における位置を、立体視画像の表示面側に移動させる補正を行うためのパラメータを調整する。また、調整部６７２は、判定部６７１から補正を行わない旨の判定結果が出力されたに場合には、パラメータの調整を行わない。
【０２１６】
［撮像部により生成される画像例］
図２５は、本発明の第２の実施の形態における撮像部６１０により生成される画像（画像７０５）を簡略化して示す図である。
【０２１７】
画像７０５は、撮像部６１０により生成される画像（画像データ）の一例であり、例えば、図１（ｂ）に示す情報処理装置６００の前の椅子１１に座っているユーザ１０の顔が含まれているものとする。なお、画像７０５に含まれているユーザ１０の顔は、顔検出部６２０により検出される。また、画像７０５に含まれているユーザ１０の両眼（左眼７１１および右眼７１２）における黒目は、黒目検出部６３０により検出される。また、本発明の第２の実施の形態では、左眼における黒目の中心位置を、左眼における黒目の位置とし、右眼における黒目の中心位置を、右眼における黒目の位置とする例を示す。また、本発明の第２の実施の形態では、左眼における黒目の中心位置と、右眼における黒目の中心位置との距離を黒目間隔とする例を示す。すなわち、図２５に示す例では、左眼７１１における黒目の中心位置と、右眼７１２における黒目の中心位置との距離が黒目間隔（実際の黒目間隔ｅ１に対応する値となるため、図２５では、「ｅ１」として仮想的に示す）となる。なお、黒目間隔ｅ１は、例えば、被写体距離（レンズからユーザ１０の顔までの距離）、レンズから撮像素子までの距離と、撮像素子の撮像面に結像される黒目の間隔の値とに基づいて算出することができる。また、黒目間隔ｅ１として、固定値（例えば、６５ｍｍ）を用いるようにしてもよい。
【０２１８】
［試聴位置、飛出位置および輻輳角の関係例］
図２６は、本発明の第２の実施の形態における表示部１８１に表示される立体視画像の視聴位置と、その立体視画像を見ているユーザの輻輳角との関係を模式的に示す図である。
【０２１９】
図２６（ａ）には、平面画像（２Ｄ画像）を見ている場合におけるユーザの眼球およびこれに対応する輻輳角α１を示す。図２６（ａ）において、立体視画像が表示される位置（表示部１８１の表示面）を表示面の位置７００とし、表示部１８１に表示される立体視画像を視聴する場合におけるユーザの視聴位置を視聴位置７１０とする。
【０２２０】
例えば、表示面の位置７００に表示されている平面画像をユーザが見る場合には、ユーザが注目している画像の位置に合うように、ユーザの眼球の水平方向の角度調整が行われるとともに、両眼の焦点が表示面の位置７００に調節される。具体的には、ユーザの両眼（左眼７１１および右眼７１２）の各黒目と、表示面の位置７００とを結ぶ直線が作り出す交点（注視点７０１）が、ユーザが注目している画像の位置に合うように、ユーザの眼球の水平方向の角度調整が行われる。また、その角度調整とともに、両眼の焦点が表示面の位置７００（注視点７０１）に調節される。なお、注視点７０１における角度α１は、一般に輻輳角と称されている。このように、表示面の位置７００に表示されている平面画像をユーザが見る場合には、ユーザの両眼（左眼７１１および右眼７１２）の焦点および視点ともに、表示面の位置７００に存在することになる。
【０２２１】
ここで、輻輳角α１の算出方法について説明する。例えば、表示面の位置７００および視聴位置７１０間の距離をＬ１とし、立体視画像を視聴しているユーザの両眼間隔をｅ１とする。この場合には、次の式４が成り立つ。
ｔａｎ（α１／２）＝（ｅ１／２）／Ｌ１ …式４
【０２２２】
そして、次の式５により、輻輳角α１を求めることができる。
α１＝２ｔａｎ−１（（ｅ１／２）／Ｌ１）＝ …式５
【０２２３】
なお、距離Ｌ１は、撮像部６１０から出力される被写体距離を用いることができる。また、距離Ｌ１として、視聴位置を想定した固定値（例えば、２ｍ）を用いるようにしてもよく、ユーザによる手動入力（リモコン５００を用いた手動入力）により距離Ｌ１を取得するようにしてもよい。また、調整用マイクロフォンによる距離測定やリモコン５００を用いた距離測定方法により距離Ｌ１を取得するようにしてもよい。なお、リモコン５００を用いた距離測定方法は、例えば、ユーザ１０が手に持っているリモコン５００にＵＷＢ（Ultra Wide Band）を設け、ＵＷＢの位置測定機能を使用することにより距離Ｌ１を測定する方法である。また、赤外線、超音波等に基づいて距離を測定する距離測定装置を用いて、距離Ｌ１を測定するようにしてもよい。
【０２２４】
図２６（ｂ）には、立体視画像（３Ｄ画像）を見ている場合におけるユーザの眼球およびこれに対応する輻輳角α２を示す。なお、図２６（ｂ）において、表示面の位置７００および視聴位置７１０は、図２６（ａ）と同様であるものとする。また、立体視画像に含まれる立体視物体７２０の飛出位置を飛出位置７２１とし、表示面の位置７００および飛出位置７２１間の距離（飛出量）をＬ２とする。
【０２２５】
例えば、表示面の位置７００に表示されている立体視画像をユーザが見る場合には、ユーザが注目している画像の位置（飛出位置７２１）に合うように、ユーザの眼球の水平方向の角度調整が行われる。具体的には、ユーザの両眼（左眼７１１および右眼７１２）の各黒目と、飛出位置７２１とを結ぶ直線が作り出す交点（注視点７２２）が、ユーザが注目している画像（立体視物体７２０の画像）の位置に合うように、ユーザの眼球の水平方向の角度調整が行われる。なお、注視点７２２における輻輳角をα２とする。
【０２２６】
しかしながら、両眼の焦点は、表示面の位置７００に調節される。すなわち、注視点７２２に合うように角度調整が行われるとともに、両眼の焦点が表示面の位置７００（注視点７０１）に調節される。
【０２２７】
このように、両眼の焦点は表示面の位置７００にあるのに対し、注視点７２２は飛出位置７２１にあることになるため、現実の起きうる生理現象と矛盾することになる。そこで、このような矛盾が、ユーザの疲労の原因となることを防止することが重要となる。
【０２２８】
ここで、輻輳角α２の算出方法について説明する。例えば、表示面の位置７００および飛出位置７２１間の距離をＬ２とし、立体視画像を視聴しているユーザの両眼間隔をｅ２とする。この場合には、次の式６が成り立つ。
ｔａｎ（α２／２）＝（ｅ２／２）／（Ｌ１−Ｌ２） …式６
【０２２９】
そして、次の式７により、輻輳角α２を求めることができる。
α２＝２ｔａｎ−１（（ｅ２／２）／（Ｌ１−Ｌ２））＝ …式７
【０２３０】
なお、距離Ｌ２としては、上述したように、立体視画像における物体のズレ量を用いて、その物体の飛出量を求め、この距離Ｌ２を求めることができる。
【０２３１】
なお、この例では、ユーザが注目している画像（立体視物体７２０の画像）を、ユーザの両眼（左眼７１１および右眼７１２）の各黒目の間隔に基づいて検出する例を示すが、他の検出方法を用いるようにしてもよい。例えば、アイトラッキング（視線解析）方法により検出することができる。
【０２３２】
［基準黒目情報の測定例］
図２７は、本発明の第２の実施の形態における基準黒目情報保持部６４０に保持される基準黒目情報を取得する際における測定方法と、基準黒目情報保持部６４０の保持内容例とを模式的に示す図である。
【０２３３】
図２７（ａ）には、基準黒目情報を測定する際に表示部１８１に表示される立体視画像（３Ｄ画像）と、ユーザの眼球と、輻輳角α１０との関係例を示す。なお、図２７（ａ）において、表示面の位置７００および視聴位置７１０は、図２６（ａ）と同様であるものとする。また、立体視画像に含まれる基準立体視物体７３０の飛出位置を飛出位置７３１とし、表示面の位置７００および飛出位置７３１間の距離（飛出量）をＬ３とする。
【０２３４】
ここで、基準立体視物体７３０は、ユーザに関する基準黒目情報を取得する際に表示される立体視画像（基準立体視画像）に含まれる物体である。例えば、制御部６９０は、図６に示す基準黒目情報取得ボタン５０６が押下された場合には、基準立体視物体７３０を含む立体視画像を表示部１８１に表示させる指示を出力制御部６８０に行う。これにより、表示部１８１に基準立体視物体７３０を含む立体視画像が表示され、基準立体視物体７３０をユーザが見ることができる。なお、基準立体視物体７３０を含む立体視画像については、コンテンツ記憶部１２１に記憶しておくようにしてもよく、出力制御部６８０に保持しておくようにしてもよい。なお、輻輳角α１０は、上述した式７を用いて求めることができる。
【０２３５】
図２７（ｂ）には、基準黒目情報保持部６４０の保持内容を模式的に示す。基準黒目情報保持部６４０には、左眼の黒目位置情報６４１と、右眼の黒目位置情報６４２と、両眼の黒目間隔情報６４３と、輻輳角情報６４４とが保持される。基準黒目情報保持部６４０に保持される各情報は、表示部１８１に基準立体視物体７３０を含む立体視画像が表示された際に、黒目検出部６３０により検出された黒目に関する情報（基準黒目情報）である。
【０２３６】
左眼の黒目位置情報６４１は、表示部１８１に基準立体視物体７３０を含む立体視画像が表示された際に、黒目検出部６３０により検出された左眼における黒目の位置を示す情報である。左眼の黒目位置情報６４１には、例えば、撮像部６１０により生成された画像データ（画像）における左眼７１１の黒目の中心位置（Ｘ１，Ｙ１）が格納される。
【０２３７】
右眼の黒目位置情報６４２は、表示部１８１に基準立体視物体７３０を含む立体視画像が表示された際に、黒目検出部６３０により検出された右眼における黒目の位置を示す情報である。右眼の黒目位置情報６４２には、例えば、撮像部６１０により生成された画像データ（画像）における右眼７１２の黒目の中心位置（Ｘ２，Ｙ２）が格納される。
【０２３８】
両眼の黒目間隔情報６４３は、表示部１８１に基準立体視物体７３０を含む立体視画像が表示された際に、黒目検出部６３０により検出された左眼および右眼における黒目間の距離を示す情報である。両眼の黒目間隔情報６４３には、例えば、撮像部６１０により生成された画像データ（画像）における左眼７１１および右眼７１２の間隔（距離）ｅ３が格納される。
【０２３９】
輻輳角情報６４４は、表示部１８１に基準立体視物体７３０を含む立体視画像が表示された際に、黒目検出部６３０により検出された左眼および右眼に関する輻輳角を示す情報である。輻輳角情報６４４には、例えば、撮像部６１０により生成された画像データ（画像）における左眼７１１および右眼７１２に関する輻輳角α１０が格納される。
【０２４０】
［飛出位置の補正例］
図２８および図２９は、本発明の第２の実施の形態における表示部１８１に表示される立体視画像に含まれる立体視物体の飛出位置の補正例を模式的に示す図である。
【０２４１】
図２８には、表示部１８１に表示される立体視画像（３Ｄ画像）と、ユーザの眼球と、輻輳角α１０、α１１との関係例を示す。なお、図２８において、立体視物体７４０に関する各情報以外は、図２７（ａ）と同様であるものとする。また、立体視画像に含まれる立体視物体７４０の飛出位置を飛出位置７４１とし、表示面の位置７００および飛出位置７４１間の距離（飛出量）をＬ４とする。また、輻輳角α１１は、上述した式７を用いて求めることができる。
【０２４２】
ここで、眼球変化検出部６５０は、黒目検出部６３０により検出された黒目情報（左眼７１１および右眼７１２に関する黒目情報）に基づいて輻輳角α１１を算出する。続いて、眼球変化検出部６５０は、基準黒目情報保持部６４０の輻輳角情報６４４に保持されている基準輻輳角α１０と、輻輳角α１１との差分値を算出する。続いて、立体視画像補正部６７０の判定部６７１は、その差分値（α１０−α１１）に基づいて、立体視物体７４０の奥行量を調整するか否かを判定する。具体的には、判定部６７１は、その差分値（α１０−α１１）が０または正値である場合（すなわち、α１０≧α１１）には、立体視物体７４０の奥行量の調整が不要であると判定する。一方、判定部６７１は、その差分値（α１０−α１１）が負値である場合（すなわち、α１０＜α１１）には、立体視物体７４０の奥行量の調整が必要であると判定する。
【０２４３】
図２８に示す例では、基準輻輳角α１０が輻輳角α１１よりも大きいため（すなわち、α１０≧α１１）、判定部６７１は、立体視物体７４０の奥行量の調整が不要であると判定する。すなわち、図２８に示すように、立体視物体７４０を含む立体視画像が表示部１８１に表示される場合には、その立体視画像の補正が行われない。
【０２４４】
図２９には、表示部１８１に表示される立体視画像（３Ｄ画像）と、ユーザの眼球と、輻輳角α１０、α１２との関係例を示す。なお、図２９において、立体視物体７５０に関する各情報以外は、図２６（ａ）と同様であるものとする。また、立体視画像に含まれる立体視物体７５０の飛出位置を飛出位置７５１とし、表示面の位置７００および飛出位置７５１間の距離（飛出量）をＬ５とする。また、輻輳角α１２は、上述した式７を用いて求めることができる。
【０２４５】
ここで、図２８に示す例と同様に、眼球変化検出部６５０が輻輳角α１２を算出し、眼球変化検出部６５０が基準輻輳角α１０と輻輳角α１２との差分値を算出する。続いて、立体視画像補正部６７０の判定部６７１が、その差分値（α１０−α１２）に基づいて、立体視物体７５０の奥行量を調整するか否かを判定する。
【０２４６】
図２９に示す例では、基準輻輳角α１０が輻輳角α１２よりも小さいため（すなわち、α１０＜α１２）、判定部６７１は、立体視物体７５０の奥行量の調整が必要であると判定する。この場合には、調整部６７２が、基準輻輳角α１０と輻輳角α１２との差分値に基づいて、輻輳角α１２が基準輻輳角α１０以内となるように、立体視物体７５０の奥行量を調整する。この調整により、立体視物体７５０の位置（飛出位置７５１）が、基準立体視物体７３０の位置（飛出位置７３１）と同一の位置、または、飛出位置７３１よりも表示面の位置７００側の位置となる。
【０２４７】
なお、この例では、眼球変化検出部６５０が輻輳角を算出する例を示すが、判定部６７１が輻輳角を算出して判定を行うようにしてもよい。すなわち、判定部６７１は、基準立体視物体７３０に対応するユーザ１０の基準輻輳角α１０を算出し、表示部１８１に表示される立体視画像に含まれる立体視物体７５０に対応するユーザ１０の輻輳角α１２を算出する。そして、立体視画像補正部６７０は、輻輳角α１２と基準輻輳角α１０との比較結果に基づいて、立体視物体７５０の奥行方向における位置を補正する。
【０２４８】
また、この例では、輻輳角の比較により補正の要否を判定する例を示したが、上述したように、黒目間隔の比較により補正の要否を判定するようにしてもよい。
【０２４９】
［情報処理装置の動作例］
次に、本発明の第２の実施の形態における情報処理装置６００の動作について図面を参照して説明する。
【０２５０】
図３０は、本発明の第２の実施の形態における情報処理装置６００による立体視画像表示処理の処理手順の一例を示すフローチャートである。図３０では、輻輳角の比較により補正の要否を判定する例について説明する。
【０２５１】
最初に、立体視画像の表示指示操作が行われたか否かが判断され（ステップＳ９７１）、立体視画像の表示指示操作が行われていない場合には、監視を継続して行う。立体視画像の表示指示操作が行われた場合には（ステップＳ９７１）、出力制御部６８０が、制御部６９０の制御に基づいて基準立体視画像を表示部１８１に表示させる（ステップＳ９７２）。
【０２５２】
続いて、黒目検出部６３０が、撮像部６１０により生成される画像（画像データ）に含まれるユーザの両眼における黒目を検出する（ステップＳ９７３）。続いて、眼球変化検出部６５０が、その検出された黒目の間隔（基準黒目間隔）に基づいて基準輻輳角α１０を算出する（ステップＳ９７４）。
【０２５３】
続いて、制御部６９０が、その表示指示操作に係る立体視画像コンテンツを出力させる（ステップＳ９７５）。すなわち、出力制御部６８０が、その表示指示操作に係る立体視画像を表示部１８１に表示させ、その表示指示操作に係る立体視画像の音声を表示部１８１に表示させる（ステップＳ９７５）。
【０２５４】
続いて、黒目検出部６３０が、撮像部６１０により生成される画像（画像データ）に含まれるユーザの両眼における黒目を検出する（ステップＳ９７６）。続いて、眼球変化検出部６５０が、その検出された黒目の間隔に基づいて輻輳角α２０を算出する（ステップＳ９７７）。
【０２５５】
続いて、判定部６７１が、基準輻輳角α１０と輻輳角α２０との比較（すなわち、差分値に基づく判定（α１０−α２０＜０））を行う（ステップＳ９７８）。この比較の結果、輻輳角α２０が基準輻輳角α１０以下である場合には（ステップＳ９７８）、ステップＳ９７５に戻る。一方、輻輳角α２０が基準輻輳角α１０よりも大きい場合には（ステップＳ９７８）、調整部６７２が立体視物体のパラメータ（ズラシ量）を調整する（ステップＳ９７９）。すなわち、基準輻輳角α１０と輻輳角α２０との差分値に基づいて、輻輳角α２０が基準輻輳角α１０以内となるように立体視物体のパラメータが調整される（ステップＳ９７９）。続いて、立体視画像補正部６７０が、その調整後のパラメータ（ズラシ量）を用いて立体視画像の補正を行う（ステップＳ９８０）。そして、補正後の立体視画像が順次表示される（ステップＳ９７５）。
【０２５６】
続いて、立体視画像の表示終了操作が行われたか否かが判断され（ステップＳ９８１）、立体視画像の表示終了操作が行われていない場合には、ステップＳ９７５に戻る。一方、立体視画像の表示終了操作が行われた場合には（ステップＳ９８１）、立体視画像表示処理の動作を終了する。
【０２５７】
このように、本発明の第２の実施の形態では、立体視画像をユーザが見ている場合に、臨場感を失うことなく、かつ、眼の疲労感を低減させることができる。
【０２５８】
なお、本発明の第２の実施の形態では、音声に関する補正の説明については省略したが、上述した立体視画像の補正時に、この補正時に用いるパラメータを用いて音声を補正するようにしてもよい。
【０２５９】
なお、本発明の実施の形態では、放送波に対応する立体視画像コンテンツを取得して立体視画像を表示させる情報処理装置を例にして説明した。ただし、記録媒体に記憶されている立体視画像コンテンツを取得して立体視画像を表示させる情報処理装置に本発明の実施の形態を適用することができる。また、ネットワーク（有線回線や無線回線）を介して立体視画像コンテンツを取得して立体視画像を表示させる情報処理装置に本発明の実施の形態を適用することができる。
【０２６０】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０２６１】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【符号の説明】
【０２６２】
１０ ユーザ
１１ 椅子
１００、５６０、６００ 情報処理装置
１１０、６９０ 制御部
１１５ 操作受付部
１２１ コンテンツ記憶部
１２２ コンテンツ付随情報記憶部
１３０、６６０ 取得部
１４０ 音声補正部
１４１ 調整値算出部
１４２、４５２ 位置換算部
１４３、４５３ ゲイン決定部
１４４、４５４ フィルタ決定部
１４５ 音声データ入力部
１４６、４５６ 音量調整部
１４７、４５７ フィルタ処理部
１４８、４５９ 音声データ出力部
１４９ 保持部
１５０、６７０ 立体視画像補正部
１５１、６７２ 調整部
１５２ 画像データ入力部
１５３ 水平移動処理部
１５４ 平滑化処理部
１５５ 画像データ出力部
１６０ 字幕生成部
１６１ 調整値算出部
１６２ 字幕データ生成部
１６３ 字幕データ出力部
１７０、６８０ 出力制御部
１８１ 表示部
１８２ 音声出力部
４５０ 音声補正部
４５１ 顔検出部
４５８ ミキサ部
５００ リモコン
６１０ 撮像部
６２０ 顔検出部
６３０ 黒目検出部
６４０ 基準黒目情報保持部
６５０ 眼球変化検出部
６７１ 判定部
【特許請求の範囲】
【請求項１】
立体視画像に含まれる物体の奥行方向における位置に基づいて前記立体視画像に関連付けられている音声情報を補正する補正部と、
前記立体視画像を表示する際に前記補正後の音声情報を出力する出力制御部と
を具備する情報処理装置。
【請求項２】
前記立体視画像に含まれる特定対象物を検出する検出部をさらに具備し、
前記補正部は、前記検出された特定対象物の奥行方向における位置に基づいて前記検出された特定対象物から生じる音声を補正する
請求項１記載の情報処理装置。
【請求項３】
前記音声情報は、センタチャンネルと左チャンネルと右チャンネルとの音声を含み、
前記補正部は、前記物体の奥行方向における位置を示すパラメータのうち、前記検出された特定対象物の奥行方向における位置を示すパラメータを用いて前記センタチャンネルの音声を前記検出された特定対象物から生じる音声として補正し、前記検出された特定対象物の奥行方向における位置を示すパラメータ以外のパラメータを用いて前記左チャンネルおよび前記右チャンネルの音声を補正する
請求項２記載の情報処理装置。
【請求項４】
前記補正部は、前記検出された特定対象物の奥行方向における位置を示すパラメータ以外のパラメータの平均値を算出して前記算出された平均値に基づいて前記左チャンネルおよび前記右チャンネルの音声を補正する請求項３記載の情報処理装置。
【請求項５】
前記補正部は、前記物体の奥行方向における位置を示すパラメータを用いて前記音声情報を補正する請求項１記載の情報処理装置。
【請求項６】
前記補正部は、前記パラメータの平均値を算出して前記算出された平均値に基づいて前記音声情報を補正する請求項５記載の情報処理装置。
【請求項７】
前記補正部は、前記立体視画像に含まれる物体の背景に係る音像を前記背景の奥行方向における位置に定位させるように前記音声情報を補正する請求項１記載の情報処理装置。
【請求項８】
前記補正部は、前記音声情報に係る音像を前記物体の奥行方向における位置に定位させるように前記音声情報を補正する請求項１記載の情報処理装置。
【請求項９】
前記補正部は、前記物体の奥行方向における位置に対応する頭部伝達関数フィルタを用いて前記音声情報を補正する請求項８記載の情報処理装置。
【請求項１０】
前記奥行方向における複数の位置のそれぞれに対応する複数の頭部伝達関数フィルタを前記複数の位置毎に保持する保持部をさらに具備し、
前記補正部は、前記複数の頭部伝達関数フィルタのうちから前記物体の奥行方向における位置に最も近い位置に対応する頭部伝達関数フィルタを選択して前記選択された頭部伝達関数フィルタを用いて前記音声情報を補正する
請求項９記載の情報処理装置。
【請求項１１】
前記立体視画像に含まれる物体の奥行方向における位置を変更する変更操作を受け付ける操作受付部をさらに具備し、
前記補正部は、前記変更操作が受け付けられた場合には前記音声情報に係る音像を前記変更後の前記物体の奥行方向における位置に定位させるように前記音声情報を補正する
請求項８記載の情報処理装置。
【請求項１２】
立体視画像に含まれる物体の奥行方向における位置に基づいて前記立体視画像に関連付けられている音声情報を補正する補正手順と、
前記立体視画像を表示する際に前記補正後の音声情報を出力する出力制御手順と
を具備する情報処理方法。
【請求項１３】
立体視画像に含まれる物体の奥行方向における位置に基づいて前記立体視画像に関連付けられている音声情報を補正する補正手順と、
前記立体視画像を表示する際に前記補正後の音声情報を出力する出力制御手順と
をコンピュータに実行させるプログラム。
【請求項１】
立体視画像に含まれる物体の奥行方向における位置に基づいて前記立体視画像に関連付けられている音声情報を補正する補正部と、
前記立体視画像を表示する際に前記補正後の音声情報を出力する出力制御部と
を具備する情報処理装置。
【請求項２】
前記立体視画像に含まれる特定対象物を検出する検出部をさらに具備し、
前記補正部は、前記検出された特定対象物の奥行方向における位置に基づいて前記検出された特定対象物から生じる音声を補正する
請求項１記載の情報処理装置。
【請求項３】
前記音声情報は、センタチャンネルと左チャンネルと右チャンネルとの音声を含み、
前記補正部は、前記物体の奥行方向における位置を示すパラメータのうち、前記検出された特定対象物の奥行方向における位置を示すパラメータを用いて前記センタチャンネルの音声を前記検出された特定対象物から生じる音声として補正し、前記検出された特定対象物の奥行方向における位置を示すパラメータ以外のパラメータを用いて前記左チャンネルおよび前記右チャンネルの音声を補正する
請求項２記載の情報処理装置。
【請求項４】
前記補正部は、前記検出された特定対象物の奥行方向における位置を示すパラメータ以外のパラメータの平均値を算出して前記算出された平均値に基づいて前記左チャンネルおよび前記右チャンネルの音声を補正する請求項３記載の情報処理装置。
【請求項５】
前記補正部は、前記物体の奥行方向における位置を示すパラメータを用いて前記音声情報を補正する請求項１記載の情報処理装置。
【請求項６】
前記補正部は、前記パラメータの平均値を算出して前記算出された平均値に基づいて前記音声情報を補正する請求項５記載の情報処理装置。
【請求項７】
前記補正部は、前記立体視画像に含まれる物体の背景に係る音像を前記背景の奥行方向における位置に定位させるように前記音声情報を補正する請求項１記載の情報処理装置。
【請求項８】
前記補正部は、前記音声情報に係る音像を前記物体の奥行方向における位置に定位させるように前記音声情報を補正する請求項１記載の情報処理装置。
【請求項９】
前記補正部は、前記物体の奥行方向における位置に対応する頭部伝達関数フィルタを用いて前記音声情報を補正する請求項８記載の情報処理装置。
【請求項１０】
前記奥行方向における複数の位置のそれぞれに対応する複数の頭部伝達関数フィルタを前記複数の位置毎に保持する保持部をさらに具備し、
前記補正部は、前記複数の頭部伝達関数フィルタのうちから前記物体の奥行方向における位置に最も近い位置に対応する頭部伝達関数フィルタを選択して前記選択された頭部伝達関数フィルタを用いて前記音声情報を補正する
請求項９記載の情報処理装置。
【請求項１１】
前記立体視画像に含まれる物体の奥行方向における位置を変更する変更操作を受け付ける操作受付部をさらに具備し、
前記補正部は、前記変更操作が受け付けられた場合には前記音声情報に係る音像を前記変更後の前記物体の奥行方向における位置に定位させるように前記音声情報を補正する
請求項８記載の情報処理装置。
【請求項１２】
立体視画像に含まれる物体の奥行方向における位置に基づいて前記立体視画像に関連付けられている音声情報を補正する補正手順と、
前記立体視画像を表示する際に前記補正後の音声情報を出力する出力制御手順と
を具備する情報処理方法。
【請求項１３】
立体視画像に含まれる物体の奥行方向における位置に基づいて前記立体視画像に関連付けられている音声情報を補正する補正手順と、
前記立体視画像を表示する際に前記補正後の音声情報を出力する出力制御手順と
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１２−１１９７３８（Ｐ２０１２−１１９７３８Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６４８９１（Ｐ２０１０−２６４８９１）
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]