音声出力制御装置および音声処理方法
【課題】ユーザの位置に応じて音声の出力を制御することにより、常に良好な音声聴取環境を実現する音声出力制御装置および音声出力制御方法を提供する。
【解決手段】音声出力制御装置は、複数の音声出力部により形成される音場にいるユーザを検出するユーザ検出部と、ユーザ検出部により検出されたユーザが音場内の所定の範囲に位置しているかを判定するユーザ位置判定部と、ユーザ位置判定部の判定結果に基づいて音声出力部における音声出力を制御する音声出力制御部とを備える。
【解決手段】音声出力制御装置は、複数の音声出力部により形成される音場にいるユーザを検出するユーザ検出部と、ユーザ検出部により検出されたユーザが音場内の所定の範囲に位置しているかを判定するユーザ位置判定部と、ユーザ位置判定部の判定結果に基づいて音声出力部における音声出力を制御する音声出力制御部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、音声出力制御装置および音声処理方法に関し、詳しくは、音声を聴取するユーザの状態に応じて音声出力を制御する音声出力制御装置、音声処理方法に関する。
【背景技術】
【０００２】
従来、オーディオ機器の想定するユーザの視聴スタイルは、スピーカとユーザの位置が理想的になる特定位置のみにユーザが存在することを想定されている。一方で、現実のユーザは部屋内のどこにいても同じように音楽を楽しみたいという欲求を持っている。
【０００３】
そこで、受聴位置が異なっても良好なステレオ感を得ることができる音声調整装置が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平４−３７００００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の技術は、ユーザの受聴位置を示すデータを入力する受聴位置データ入力手段を備える。受聴位置データ入力手段における受聴位置データの入力をユーザが行う必要があるとすると、その機能を有効にするためにはユーザが意図的に機器を操作し、その機能を有効にする必要がある、これにより、ユーザの恣意的な行動を阻害してしまうということとなる。
【０００６】
したがって、本技術の目的は、ユーザの恣意的な生活を妨げることなく、ユーザの視聴スタイルに合わせた音楽視聴環境を提供する情報処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
上述した目的を達成するために、第１の技術は、複数の音声出力部により形成される音場にいるユーザを検出するユーザ検出部と、ユーザ検出部により検出されたユーザが音場内の所定の範囲に位置しているかを判定するユーザ位置判定部と、ユーザ位置判定部の判定結果に基づいて音声出力部における音声出力を制御する音声出力制御部とを備える音声出力制御装置である。
【０００８】
また、第２の技術は、複数の音声出力部により形成される音場にいるユーザを検出し、検出されたユーザが音場内の所定の範囲に位置しているかを判定し、ユーザが音場内の所定の範囲に位置しているか否かの判定結果に基づいて音声出力部における音声出力を制御する音声出力制御方法である。
【発明の効果】
【０００９】
本技術によれば、ユーザの視聴スタイルに合わせた音楽聴取環境を提供することができる。
することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本技術に係る音声出力制御装置の構成を示すブロック図である。
【図２】図２は、音声出力制御装置を備える音声出力装置の構成を示すブロック図である。
【図３】図３は、音声出力装置を構成するスピーカの配置を示す図である。
【図４】図４は、第１の音声出力モードにおいてスピーカから出力される音声の種別を示す図である。
【図５】図５は、第２の音声出力モードにおいてスピーカから出力される音声の種別を示す図である。
【図６】図６は、音声出力制御装置を備える音声出力装置において行われる音声出力制御処理の流れを示すフローチャートである。
【図７】図７は、本技術の第２の実施の形態に係る音声出力制御装置の構成を示すブロック図である。
【図８】図８は、第２の実施の形態に係る音声出力制御装置を備える音声出力装置の構成を示すブロック図である。
【図９】図９は、スピーカの外観図である。
【図１０】図１０は、第２の実施の形態における音声出力制御の概要を示す図である。
【図１１】図１１は、音声出力制御装置を備える音声出力装置において行われる音声出力制御の流れを示すフローチャートである。
【図１２】図１２は、出力レベル調整により行われる音声出力制御を説明するための図である。
【図１３】図１３は、第２の実施の形態における音声出力制御のその他の例の概要を示す図である。
【図１４】図１４は、第２の実施の形態における音声出力制御のその他の例の概要を示す図である。
【図１５】図１５は、出力レベル調整により行われる音声出力制御のその他の例を説明するための図である。
【図１６】図１６は、本技術の第３の実施の形態において行われる音声出力制御の概要を示す図である。
【図１７】図１７は、第３の実施の形態に係る音声出力制御装置を備える音声出力装置において行われる音声出力制御の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本技術の実施の形態について図面を参照しながら説明する。ただし、本技術は以下の実施例のみに限定されるものではない。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１−１.音声出力制御装置の構成］
［１−２.音声出力制御装置を備える音声出力装置の構成］
［１−３.音声出力制御処理］
＜２．第２の実施の形態＞
［２−１.音声出力制御装置の構成］
［２−２.音声出力制御処理］
＜３．第３の実施の形態＞
［３−１.音声出力制御処理］
＜４．変形例＞
【００１２】
＜１．第１の実施の形態＞
［１−１.音声出力制御装置の構成］
まず、図１を参照して音声出力制御装置１０の構成について説明する。図１は、本技術に係る音声出力制御装置１０の構成を示すブロック図である。
【００１３】
音声出力制御装置１０は、撮像部１１、顔検出部１２、ユーザ位置検出部１３、ユーザ位置判定部１４、音声出力制御部１５とから構成されている。音声出力制御装置１０は、例えば、図２に示すような５．１ｃｈサラウンドシステムにおいて用いられる。
【００１４】
撮像部１１は、ユーザを撮像して画像データを得るものである。撮像部１１は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、撮像素子により得られた光画像を光電変換して電荷量に変換して画像データとして出力する画像処理回路などからなる。撮像部１１により取得された画像データは顔検出部１２に供給される。
【００１５】
顔検出部１２は撮像部１１から供給された画像データに係る画像中から人物の顔を検出するものである。顔検出方法としては、顔の形状に基づくテンプレートマッチング、顔の輝度分布に基づくテンプレートマッチング、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いることができる。また、これらの手法を組み合わせて顔検出の精度を高めるようにしてもよい。
【００１６】
また、例えば特開２００５−１５７６７９に記載されているような機械学習に基づく手法を採用してもよい。この技術を用いることで、人の顔の検出が可能であり、さらに、ユーザの向きも検出することができる。
【００１７】
顔検出部１２により検出されたユーザの顔を示す顔画像データはユーザ位置検出部１３に供給される。このように、本実施の形態においては、撮像部１１で得た画像中かから顔を検出することによりユーザを検出する。撮像部１１と顔検出部１２は特許請求の範囲におけるユーザ検出部に相当するものである。
【００１８】
ユーザ位置検出部１３は、顔検出部１２によって検出されたユーザの位置を検出する。ユーザ位置検出部１３は、撮像部１１のカメラにより得られた画像に基づいてユーザの位置を検出する。ユーザの位置は例えば、撮像部１１のカメラの光軸に対するユーザの相対位置の算出結果と、撮像部１１のカメラの位置や角度の情報等に基づいて、基準となる位置（撮像部１１のカメラなど）対する角度、距離として求めることができる。
【００１９】
ユーザ位置検出部１３はＣＰＵがプログラムを実行すること、または、その機能を有する専用のハードウェアによって実現される。ただし、このような方法に限られず、ユーザの位置を取得することが出来る方法であればどのような方法を用いてもよい。撮像部１１による画像を用いずに、例えば、赤外線センサ、いわゆる人感センサなどと称されるセンサを用いてユーザの位置を検出するようにしてもよい。また、赤外線を出力したときの反射を利用してユーザまでの距離を測定するアクティブ方式の測距センサ、被写体の輝度情報をセンサで検出して得られた輝度から距離を測定するパッシブ方式の測距センサなどを用いてもよい。ユーザ位置検出部１３により取得されたユーザ位置情報はユーザ位置判定部１４に供給される。
【００２０】
ユーザ位置判定部１４は、ユーザ位置検出部１３により検出されたユーザの位置が音声の最適聴取範囲であるいわゆるスイートスポット内にであるか否かを判定するものである。ユーザ位置判定部１４による判定の詳細については後述する。
【００２１】
音声出力制御部１５には、ユーザ位置判定部１４による判定結果に基づいて、音声出力部としてのスピーカからの音声出力を第１のモードで行うか、または第２のモードで行うかの制御を行うものである。音声出力制御部１５による音声出力制御の詳細については後述する。
【００２２】
以上のようにして音声出力制御装置１０が構成されている。
【００２３】
［１−２.音声出力制御装置を備える音声出力装置の構成］
次に、上述した音声出力制御装置１０を備える音声出力装置１００の構成について説明する。図２は音声出力装置１００の構成を示すブロック図である。さらに、図３は、音声出力装置１００を構成するスピーカの配置例を示す図である。音声出力装置１００は、音声を出力するとともに映像の出力も可能な、いわゆる「ホームシアターシステム」と称されるＡＶ（Audio Video）システムとして構成されている。
【００２４】
音声出力装置１００は、音源／映像源１１０、フロントＬｃｈスピーカ１２１、フロントＲｃｈスピーカ１２２、リアＬｃｈスピーカ１２３、リアＲｃｈスピーカ１２４、センタースピーカ１２５、サブウーファー１２６、映像処理部１３０、表示部１４０、システムコントローラ１５０、Ｉ／Ｆ（InterFace）１６０、撮像部１１、顔検出部１２、ユーザ位置検出部１３およびユーザ位置判定部１４、音声出力制御部１５とから構成されている。撮像部１１、顔検出部１２、ユーザ位置検出部１３、ユーザ位置判定部１４および音声出力制御部１５は音声出力制御装置１０を構成するものである。
【００２５】
音源／映像源１１０は、音声出力装置１００により出力されるコンテンツを構成する映像および音声、または音声のみを供給するものである。コンテンツとしてはテレビ番組、映画、音楽、ラジオなどが挙げられる。音源／映像源１１０としては例えば、テレビチューナー、ラジオチューナー、ＤＶＤプレーヤ、Blu-ray Discプレーヤ、ゲーム機などが挙げられる。音源／映像源１１０からの音声データは音声出力制御部１５に供給される。また音源／映像源１１０からの映像データは映像処理部１３０に供給される。
【００２６】
フロントＬｃｈスピーカ１２１、フロントＲｃｈスピーカ１２２、リアＬｃｈスピーカ１２３、リアＲｃｈスピーカ１２４、センタースピーカ１２５およびサブウーファー１２６は音声を出力する、特許請求の範囲における音声出力部に相当するものである。これら各スピーカは音声出力制御部１５の制御の元、音源／映像源１１０からの音声を出力する。
【００２７】
本実施の形態においては上述した各スピーカによって５.１チャンネルサラウンドシステムが構成されている。各スピーカから音声が出力されることにより、ユーザは音源／映像源１１０からの音声を聴取することができる。なお、以下の説明においては、上記各スピーカによって形成される音を聴取することができる空間を「音場」と称する。
【００２８】
フロントＬｃｈスピーカ１２１、フロントＲｃｈスピーカ１２２、リアＬｃｈスピーカ１２３、リアＲｃｈスピーカ１２４によって音場に音声の最適聴取範囲であるスイートスポットが形成される。音声の最適聴取範囲であるいわゆるスイートスポットは、図３に示すスピーカ配置では、フロントＬｃｈスピーカ１２１とリアＲｃｈスピーカ１２４とを結ぶ対角線と、フロントＲｃｈスピーカ１２２とリアＬｃｈスピーカ１２３とを結ぶ対角線の交点を中心とした所定の範囲のものとして形成される。図３においては、各スピーカ間の距離は略同一であり、交点から各スピーカまでの距離も略同一である。
【００２９】
また、フロントＬｃｈスピーカ１２１およびフロントＲｃｈスピーカ１２２からのみ音声を出力する場合、スイートスポットは、図３に示すスイートスポットと同様の位置に形成される。その位置は、Ｌｃｈフロントスピーカ１２１とフロントＲｃｈスピーカ１２２を結ぶ線分を底辺とする二等辺三角形の頂点を略中心とした位置である。
【００３０】
ユーザ位置判定部１４は、ユーザ位置検出部１３により検出された検出されたユーザの位置とスイートスポットの位置とを比較することにより、ユーザがスイートスポットにいるか否かを判定する。したがって、ユーザ位置判定部１４は予め、スイートスポットの位置を把握しておく必要がある。スイートスポットの位置はユーザが音声出力装置１００としてのホームシアターシステムに対して入力することにより設定してもよいし、各スピーカの設置位置、角度から音声出力制御装置１０が自動的に算出するようにしてもよい。また、テレビジョン受像機、ディスプレイなどの表示部１４０に撮像部１１が設けられている場合には表示部１４０の画面サイズをユーザが音声出力制御装置１０に入力することにより、表示部１４０の画面サイズからスイートスポットの位置を把握するようにしてもよい。これは、表示部１４０に撮像部１４が設けられている場合には撮像部１４の位置が特定されるため、表示部１４０の画面のサイズからスイートスポットの位置を特定することが可能となるからである。一般的に画面のサイズから適切な視聴位置が決まると考えられる。そこで、その適切な視聴位置がスイートスポットとしての蓋然性が高いとして、スイートスポットを把握するようにしてもよい。例えば、画面サイズと適切な視聴位置の組み合わせを示すデータを予め保持しておき、入力された画面のサイズに基づきその組み合わせを参照して適切な視聴位置をスイートスポットとして把握するようにしてもよい。また、所定の式を用いた演算により画面のサイズから視聴位置を算出するようにしてもよい。ユーザ位置判定部１４による判定結果は音声出力制御部１５に供給される。
【００３１】
音声出力制御部１５は、上述したように、ユーザ位置判定部１４による判定結果に基づいて、スピーカからの音声出力を第１のモードで行うか、または第２のモードで行うかの制御を行うものである。
【００３２】
本実施の形態において第１のモードとは、図４に示すように、フロントＬｃｈスピーカ１２１からフロントＬｃｈ音声、フロントＲｃｈスピーカ１２２からフロントＲｃｈ音声、リアＬｃｈスピーカ１２３からフロントＲｃｈ音声、リアＲｃｈスピーカ１２４からフロントＬｃｈ音声を出力するモードである。
【００３３】
これにより、フロントＬｃｈスピーカ１２１およびフロントＲｃｈスピーカ１２２によってステレオ再生環境が形成される。また、フロントＬｃｈスピーカ１２１およびリアＬｃｈスピーカ１２３によりステレオ再生環境が形成される。また、リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４によりステレオ再生環境が形成される。さらに、リアＲｃｈスピーカ１２４およびフロントＲｃｈスピーカ１２２によりステレオ再生環境が形成される。すなわち、２つのスピーカの組み合わせにより、計４つのステレオ再生環境が形成される。ユーザ位置判定部１４によりユーザがスイートスポットにいないと判定された場合には、この第１のモードで音声が出力される。
【００３４】
また、本実施の形態において第２のモードとは、図５に示すように、フロントＬｃｈスピーカ１２１からフロントＬｃｈ音声を出力し、フロントＲｃｈスピーカ１２２からフロントＲｃｈ音声を出力するモードである。リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４からは音声は出力されない。よって、第２のモードでは一つのステレオ再生環境が形成される。ユーザ位置判定部１４によりユーザがスイートスポットにいると判定された場合には、この第２のモードで音声が出力される。
【００３５】
音声出力制御部１５は、例えば、リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４における音声出力レベルを調整することにより第１のモードと第２のモードの切り替えを行う。具体的には、第１のモードに切り替えるには、リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４における音声出力レベルをユーザが設定した値まで上げる。また、第２のモードに切り替える場合には、リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４における音声出力レベルを０にする。なお、リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４への音声信号の供給のオン・オフを切り替えることにより第１のモードと第２のモードの切り換えを行うようにしてもよい。モードの切り替えによって音声を出力しないスピーカの電源をオフにするようにしてもよい。これにより節電効果を得ることができる。
【００３６】
映像処理部１３０は、映像信号に対して解像度変換、輝度補正、色補正などの所定の映像処理を施して表示部１４０に供給する。表示部１４０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された映像表示手段である。映像処理部１３０から供給された映像信号は表示部１４０によって映像として表示される。表示部１４０に映像が表示されることによりユーザは音源／映像源１１０からの映像を見ることができる。なお、音声出力装置１００が音楽など音声のみを再生することを目的としたものである場合には表示部１４０、映像処理部１３０は不要である。
【００３７】
システムコントローラ１５０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成される。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに実行すること音声出力装置１００全体の制御を行う。
【００３８】
Ｉ／Ｆ１６０は、ユーザの操作により音声出力装置１００付属のリモートコントローラ１７０から送信されたコントロール信号を受信してシステムコントローラ１５０に出力する。システムコントローラ１５０はリモートコントローラ１７０からのコントローラ信号に対応して音声出力装置１００全体を制御する。
【００３９】
なお、音声出力制御装置１０を構成する、撮像部１１、顔検出部１２、ユーザ位置検出部１３、ユーザ位置判定部１４および音声出力制御部１５が全て同一筐体内に設けられている必要はない。例えば、撮像部１１を表示部１４０の筐体に一体的に構成されたいわゆるＷＥＢカメラとし、さらに表示部１４０内に顔検出部１２、ユーザ位置検出部１３を設け、外部機器に設けた音声出力制御部１５にＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）などを通じてユーザ情報を供給するようにしてもよい。また、撮像部１１を、ＵＳＢ、ＨＤＭＩなどにより接続する独立したハードウェアとして構成してもよい。ただし、撮像部１１はスイートスポットにいるユーザを確実に検出するために図３乃至図５に示すように一般的にスイートスポットの正面に位置する表示部１４０に設けるのが好ましい。
【００４０】
［１−３.音声出力制御処理］
次に、音声出力制御装置１０を備える音声出力装置１００において行われる音声出力制御処理について説明する。図６は、音声出力制御処理の流れを示すフローチャートである。
【００４１】
なお、初期設定として、ユーザが前方（表示部１４０方向）を向いているものとしてフロントＬｃｈスピーカ１２１からはフロントＬｃｈ音声を、フロントＲｃｈスピーカ１２２からはフロントＲｃｈ音声を出力するように設定しておくとよい。
【００４２】
まずステップＳ１０１でシステムコントローラ１５０は、音声出力装置１００においてコンテンツの再生が指示された否かを判定する。コンテンツの再生が指示されていない場合、処理はステップＳ１０２に進む（ステップＳ１０１のＮｏ）。そして、ステップＳ１０２で音声出力装置１００はコンテンツを再生するモード以外の動作モード、例えばスタンバイモードに設定される。
【００４３】
一方、ステップＳ１０１で、コンテンツの再生が指示されたと判定された場合、処理はステップＳ１０３に進む（ステップＳ１０１のＹｅｓ）。次にステップＳ１０３で、スピーカからの音声出力が開始される。次にステップＳ１０４で、撮像部１１はユーザの画像を取得する。取得された画像は顔検出部１２に供給される。次に、ステップＳ１０５で、撮像部１１により取得した画像に対して顔検出部１２が顔検出処理を行うことより、ユーザの顔を検出する。検出されたユーザの顔を含んだ顔画像はユーザ位置検出部１３に供給される。
【００４４】
次にステップＳ１０６で、ユーザ位置検出部１３が顔検出部１２によって検出されたユーザの位置の検出を行う。ユーザの位置の検出結果はユーザ位置判定部１４に供給される。次にステップＳ１０７で、ユーザ位置判定部１４が、ユーザがスイートスポット内にいるか否かを判定する。判定結果は音声出力制御部１５に供給される。
【００４５】
ユーザ位置判定部１４により、ユーザがスイートスポット内にいないと判定された場合、処理はステップＳ１０８に進む（ステップＳ１０７のＮｏ）。そして、ステップＳ１０８で、音声を第１のモードで出力するように、音声出力制御部１５はスピーカにおける音声出力を制御する。
【００４６】
第１のモードでは、上述したように、フロントＬｃｈスピーカ１２１およびフロントＲｃｈスピーカ１２２によりステレオ再生環境が形成される。また、フロントＬｃｈスピーカ１２１およびリアＬｃｈスピーカ１２３によりステレオ再生環境が形成される。また、リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４によりステレオ再生環境が形成される。さらに、リアＲｃｈスピーカ１２４およびフロントＲｃｈスピーカ１２２によりステレオ再生環境が形成される。
【００４７】
これにより、ユーザはフロントＬｃｈスピーカ１２１、フロントＲｃｈスピーカ１２２、リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４により構成される音場のどこにいても、さらにどの方向を向いていても適切なステレオ感で、再生される音声を聴取することができる。
【００４８】
一方、ステップＳ１０７で、ユーザ位置判定部１４によりユーザがスイートスポット内にいないと判定された場合、処理はステップＳ１０９に進む（ステップＳ１０７のＹｅｓ）。そして、ステップＳ１０９で、音声を第２のモードで出力するように、音声出力制御部１５は各スピーカにおける音声出力を制御する。
【００４９】
上述したように、第２のモードではフロントＬｃｈスピーカ１２１からフロントＬｃｈ音声を、フロントＲｃｈスピーカ１２２からはフロントＲｃｈ音声を出力することにより、ステレオ再生が行われる。よって、スイートスポットにいるユーザは良好な環境で通常のステレオ感で声を聴取することができる。
【００５０】
次にステップＳ１１０で、システムコントローラ１５０は音声出力装置１００によるコンテンツの再生が終了したか否かを判定する。コンテンツの再生が終了した場合は図６のフローチャートの処理は終了となる（ステップＳ１１０のＹｅｓ）。一方、コンテンツの再生が終了していない場合には処理はステップＳ１０４に進む（ステップＳ１１０のＮｏ）。そして、ステップＳ１０４以降の処理を繰り返し、コンテンツの再生が終了するまで音声出力制御処理が繰り返される。
【００５１】
なお、音声聴取を目的とせず音場を通過する人物を検出してしまうことを避けるために、周期的に音声出力制御処理を行う場合には、その周期をある程度大きくして不感帯を設けるようにしてもよい。
【００５２】
また、出力されている音声の途中で第１のモードと第２のモードとが切替わることによりユーザに違和感を与えることを避けるために、出力音声が無音または所定のレベル以下の場合に限りステップＳ１０４からの処理を行うようにしてもよい。
【００５３】
以上のようにして、本技術の第１の実施の形態における音声出力制御が行われる。第１の実施の形態においては、ユーザはスイートスポットにいる場合はもちろんのこと、スイートスポットにいない場合であってもステレオ再生環境で適切なステレオ感を得ることができる。これにより、どこにいても良好なステレオ感でステレオ音声を聴くことができるというユーザにとって良好な聴取環境を実現することができる。
【００５４】
＜２．第２の実施の形態＞
［２−１.音声出力制御装置の構成］
次に、本技術の第２の実施の形態について説明する。図７は第２の実施の形態に係る、音声出力制御装置２０の構成を示すブロック図である。第２の実施の形態は、ユーザ向き検出部２１を備える点で第１の実施の形態と異なる。
【００５５】
ユーザ向き検出部２１は、顔検出部１２により検出されたユーザの顔を含む画像データからユーザの顔が向いている方向（ユーザの顔の向き）を検出する。ユーザの顔の向きは、例えば、エッジ検出などの手法を用いることで、画像中から顔の両端位置と顔の中心位置（鼻先を通る線）とが検出され、その顔両端位置と顔中心位置とから顔の向きの方向が検出される。なお、顔の向きの検出方法として、例えば、目、鼻、口などの顔の構成要素の形状的な特徴を利用した方法や、検出対象となる顔の２点間の輝度値の差分値を用いた検出方法、赤外線センサを用いた手法など、顔の向きを検出できる手法であれば別の方式を用いてもよい。さらに、人の顔と髪の毛がある後頭部の温度差に基づき、赤外線センサを用いることでユーザの顔の向きを推定することも可能である。ユーザ向き検出部２１２１により検出されたユーザの顔の向きを示す向き情報は音声出力制御部１５に供給される。
【００５６】
音声出力制御部１５は、ユーザ向き検出部２１から供給されるユーザの向き情報に基づいて、スピーカからの音声の出力を制御する。音声出力制御部１５による音声出力制御の詳細は後述する。
【００５７】
図８は第２の実施の形態に係る音声出力制御装置２０を備える音声出力装置２００の構成を示すブロック図である。第２の実施の形態は４つの撮像部１１Ａ、１１Ｂ、１１Ｃ、１１Ｄを備える点で第１の実施の形態と異なっている。図９は、フロントＬｃｈスピーカの外観図である。図９に示すように、撮像部１１Ａは、フロントＬｃｈスピーカ１２１に一体的に設けられている。なお、図示はしないがフロントＲｃｈスピーカ１２２に撮像部１１Ｂが、リアＬｃｈスピーカ１２３に撮像部１１Ｃが、リアＲｃｈスピーカ１２４に撮像部１１Ｄがそれぞれ一体的に設けられている。その他の構成については第１の実施の形態と同様であるため、その説明を省略する。なお、第２の実施の形態におけるスピーカの設置位置および角度は図３に示すものと同様である。
【００５８】
このように、スイートスポットを囲うように配置されて音場を形成する各スピーカに撮像部を設けることにより、ユーザがどの方向を向いていても、撮像部により得られる画像からユーザの顔、顔の向きを検出することが可能となる。
【００５９】
ここで、この第２の実施の形態における音声出力制御の概要について図１０を参照して説明する。図１０Ａ乃至図１０Ｄは４つのスピーカからの音声によって形成されるスイートスポットにいるユーザの向きがそれぞれ異なっている状態を示すものである。なお、以下の説明において、フロントスピーカ方向を「前方（０°）」、リアスピーカ方向を「後方（１８０°」、フロントスピーカに向かって左方向を「左（９０°）」、フロントスピーカに向かって右方向を「右（２７０°）」と定義する。
【００６０】
第２の実施の形態においては、図１０Ａに示すようにユーザが前方（０°）を向いている場合にはフロントＬｃｈスピーカ１２１からＬｃｈ音声が出力され、フロントＲｃｈスピーカ１２２からはＲｃｈ音声が出力される。それ以外のリアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００６１】
また、図１０Ｂに示すように、ユーザが左（９０°）を向いている場合には、リアＬｃｈスピーカ１２３からＬｃｈ音声が出力され、フロントＬｃｈスピーカ１２１からＲｃｈ音声が出力される。それ以外のフロントＲｃｈスピーカ１２２およびリアＲｃｈスピーカ１２４からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００６２】
また、図１０Ｃに示すように、ユーザが後方（１８０°）を向いている場合には、リアＲｃｈスピーカ１２４からＬｃｈ音声が出力され、リアＬｃｈスピーカ１２３からＲｃｈ音声が出力される。それ以外のフロントＬｃｈスピーカ１２１およびフロントＲｃｈスピーカ１２２からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００６３】
また、図１０Ｄに示すように、ユーザが右（２７０°）を向いている場合には、フロントＲｃｈスピーカ１２２からＬｃｈ音声が出力され、リアＲｃｈスピーカ１２４からＲｃｈ音声が出力される。それ以外のフロントＬｃｈスピーカ１２１およびリアＬｃｈスピーカ１２３からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００６４】
音声出力制御部１５は、ユーザ向き検出部２１から供給されたユーザの向き情報に基づいて上述のように音声出力が行われるよう、スピーカにおける音声出力を制御する。音声出力制御は、第１の実施の形態と同様に、例えば、各スピーカにおける音声出力レベルを調整することにより行う。なお、音声を出力しないスピーカの電源はオフにしてもよい。これにより節電効果を得ることができる。
【００６５】
［２−２.音声出力制御処理］
図１１は第２の実施の形態における音声出力制御処理の流れを示すフローチャートである。ステップＳ１０１乃至ステップＳ１０６およびステップＳ１１０は第１の実施の形態と同様であるため説明を省略する。
【００６６】
ステップＳ２０１で、ユーザ向き検出部２１は顔検出部１２により検出されたユーザの顔の向きを検出する。検出されたユーザの向き情報は音声出力制御部１５に供給される。次にステップＳ２０２で音声出力制御部１５は、上述したようにユーザの向きに応じた音声出力制御を行う。以上のようにして第２の実施の形態における音声出力制御処理が行われる。
【００６７】
なお、音声を出力するスピーカの切り替えを出力レベル調整により行うことによりユーザに違和感を与えずに音声出力制御を行うことができる。具体的には、図１２に示すように行う。
【００６８】
図１２は縦軸をＬｃｈ音声およびＲｃｈ音声の出力レベルとし、横軸をユーザの向きとして、ユーザの向きに応じた音声の出力レベルの変化を示したものである。
【００６９】
ユーザの向きが前方（０°）の場合は上述したようにフロントＬｃｈスピーカ１２１からＬｃｈ音声が、フロントＲｃｈスピーカ１２２からＲｃｈ音声がそれぞれ出力される。したがって、フロントＬｃｈスピーカ１２１からＬｃｈ音声がユーザの指定レベルで出力され、フロントＲｃｈスピーカ１２２からＲｃｈ音声がユーザの指定レベルで出力される。ここでいう、「ユーザの指定レベル」とは、ユーザが音声出力装置２００に対して設定している音量レベルのことを指すものである。スピーカからユーザの指定レベルで音声を出力することにより、ユーザが所望する音量で音声が出力される。なお、出力レベル調整は、Ｌｃｈ音声レベルの合計値とＲｃｈ音声レベルの合計値が等しくなるようになされる。
【００７０】
ユーザの顔の向きが左（９０°）になった場合は、リアＬｃｈスピーカ１２３からＬｃｈ音声が出力され、フロントＬｃｈスピーカ１２１からＲｃｈ音声が出力される。
【００７１】
ユーザが前方（０°）から左（９０°）方向に顔の向きを変える場合、その向き（角度）の変化に伴って、フロントＬｃｈスピーカ１２１におけるＬｃｈ音声のレベルがユーザの向きの変化に伴って下がっていく。そして、顔の向きが中間の前方左（４５°）に至った時点で、フロントＬｃｈスピーカ１２１からのＬｃｈ音声のレベルは０となる。
【００７２】
続いて、ユーザの顔の向きが前方左（４５°）から左（９０°）へ変化していくと、それに伴い、フロントＬｃｈスピーカ１２１においてはＲｃｈ音声のレベルが上がっていく。そして、ユーザの向きが左（９０°）に至った時点でフロントＬｃｈスピーカ１２１におけるＲｃｈ音声のレベルはユーザ指定レベルとなる。
【００７３】
一方、ユーザの顔の向きの変化に伴ってフロントＲｃｈスピーカ１２２におけるＲｃｈ音声のレベルも徐々に下がっていく。そして、ユーザの向きが左（９０°）に至った時点でフロントＲｃｈスピーカ１２２における音声出力レベルは０となる。
【００７４】
また、フロントＲｃｈスピーカ１２２におけるＲｃｈ音声レベルの低下と平行して、ユーザの顔の向きの変化に伴ってリアＬｃｈスピーカ１２３におけるＬｃｈ音声のレベルが徐々に上がっていく。そして、ユーザの向きが左（９０°）に至った時点でリアＬｃｈスピーカ１２３におけるＬｃｈ音声のレベルはユーザ指定レベルとなる。このようにしてスピーカからの音声出力が図１０Ａの状態から図１０Ｂの状態へと切り替えられる。
【００７５】
ユーザが左（９０°）から後方（１８０°）方向に顔の向きを変える場合、その向きの変化に伴って、リアＬｃｈスピーカ１２３におけるＬｃｈ音声のレベルがユーザの向きの変化に伴って下がっていく。そして、顔の向きが中間の後方左（１３５°）に至った時点で、リアＬｃｈスピーカ１２３からのＬｃｈ音声のレベルは０となる。
【００７６】
続いて、ユーザの顔の向きが後方左（１３５°）から後方（１８０°）へ変化していくと、それに伴い、リアＬｃｈスピーカ１２３においてはＲｃｈ音声のレベルが上がっていく。そして、ユーザの向きが後方（１８０°）に至った時点でリアＬｃｈスピーカ１２３におけるＲｃｈ音声のレベルはユーザ指定レベルとなる。
【００７７】
一方、ユーザの顔の向きの変化に伴ってフロントＬｃｈスピーカ１２１におけるＲｃｈ音声のレベルも徐々に下がっていく。そして、ユーザの向きが後方（１８０°）に至った時点でフロントＬｃｈスピーカ１２１における音声出力レベルは０となる。
【００７８】
また、フロントＬｃｈスピーカ１２１におけるＲｃｈ音声レベルの低下と平行して、ユーザの顔の向きの変化に伴ってリアＲｃｈスピーカ１２４におけるＬｃｈ音声のレベルが徐々に上がっていく。そして、ユーザの向きが後方（１８０°）に至った時点でリアＲｃｈスピーカ１２４におけるＬｃｈ音声のレベルはユーザ指定レベルとなる。このようにしてスピーカからの音声出力が図１０Ｂの状態から図１０Ｃの状態へと切り替えられる。
【００７９】
ユーザが後方（１８０°）から右（２７０°）方向に顔の向きを変える場合、その向きの変化に伴って、リアＲｃｈスピーカ１２４におけるＬｃｈ音声のレベルがユーザの向きの変化に伴って下がっていく。そして、顔の向きが中間の後方右（２２５°）に至った時点で、リアＲｃｈスピーカ１２４からのＬｃｈ音声のレベルは０となる。
【００８０】
続いて、ユーザの顔の向きが後方右（２２５°）から右（２７０°）へ変化していくと、それに伴い、リアＲｃｈスピーカ１２４においてはＲｃｈ音声のレベルが上がっていく。そして、ユーザの向きが右（２７０°）に至った時点でリアＲｃｈスピーカ１２４におけるＲｃｈ音声のレベルはユーザ指定レベルとなる。
【００８１】
一方、ユーザの顔の向きの変化に伴ってリアＬｃｈスピーカ１２３におけるＲｃｈ音声のレベルも徐々に下がっていく。そして、ユーザの向きが右（２７０°）に至った時点でリアＬｃｈスピーカ１２３における音声出力レベルは０となる。
【００８２】
また、リアＬｃｈスピーカ１２３におけるＲｃｈ音声レベルの低下と平行して、ユーザの顔の向きの変化に伴ってフロントＲｃｈスピーカ１２２におけるＬｃｈ音声のレベルが徐々に上がっていく。そして、ユーザの向きが右（２７０°）に至った時点でフロントＲｃｈスピーカ１２２におけるＬｃｈ音声のレベルはユーザ指定レベルとなる。このようにしてスピーカからの音声出力が図１０Ｃの状態から図１０Ｄの状態へと切り替えられる。
【００８３】
ユーザが右（２７０°）から前方（３６０°）方向に顔の向きを変える場合、その向きの変化に伴って、フロントＲｃｈスピーカ１２２におけるＬｃｈ音声のレベルがユーザの向きの変化に伴って下がっていく。そして、顔の向きが中間の前方右（３１５°）に至った時点で、フロントＲｃｈスピーカ１２２からのＬｃｈ音声のレベルは０となる。
【００８４】
続いて、ユーザの顔の向きが前方右（３１５°）から前方（３６０°）へ変化していくと、それに伴い、フロントＲｃｈスピーカ１２２においてはＲｃｈ音声のレベルが上がっていく。そして、ユーザの向きが前方（３６０°）に至った時点でフロントＲｃｈスピーカ１２２におけるＲｃｈ音声のレベルはユーザ指定レベルとなる。
【００８５】
一方、ユーザの顔の向きの変化に伴ってリアＲｃｈスピーカ１２４におけるＲｃｈ音声のレベルも徐々に下がっていく。そして、ユーザの向きが前記（３６０°）に至った時点でリアＲｃｈスピーカ１２４における音声出力レベルは０となる。
【００８６】
また、リアＲｃｈスピーカ１２４におけるＲｃｈ音声レベルの低下と平行して、ユーザの顔の向きの変化に伴ってフロントＬｃｈスピーカ１２１におけるＬｃｈ音声のレベルが徐々に上がっていく。そして、ユーザの向きが前記ユーザ（３６０°）に至った時点でフロントＬｃｈスピーカ１２１におけるＬｃｈ音声のレベルはユーザ指定レベルとなる。このようにしてスピーカからの音声出力が図１０Ｄの状態から図１０Ａの状態へと切り替えられる。
【００８７】
このようにして、音量をユーザの向きに伴って徐々に変化させていくことにより、ユーザに違和感を与えることなく、音声出力を行うスピーカの切り替えを行うことができる。
【００８８】
なお、上述の説明では、前方（０°）、左（９０°）、後方（１８０°）、右（２７０°）の４つの方向を基準としてスピーカからの音声出力を制御したが、基準とする方向はその４つの方向に限られない。図１３および図１４を参照して、以下に説明するように、さらに斜め方向も加えた計８つの方向を基準としてスピーカからの音声出力を制御するようにしてもよい。
【００８９】
図１３Ａに示すようにユーザが前方（０°）を向いている場合にはフロントＬｃｈスピーカ１２１からＬｃｈ音声が出力され、フロントＲｃｈスピーカ１２２からＲｃｈ音声が出力される。それ以外のリアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９０】
また、図１３Ｂに示すように、ユーザが前方左（４５°）を向いている場合には、リアＬｃｈスピーカ１２３からＬｃｈ音声が出力され、フロントＲｃｈスピーカ１２２からＲｃｈ音声が出力される。それ以外のフロントＬｃｈスピーカ１２１およびリアＲｃｈスピーカ１２４からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９１】
また、図１３Ｃに示すように、ユーザが左（９０°）を向いている場合には、リアＬｃｈスピーカ１２３からＬｃｈ音声が出力され、フロントＬｃｈスピーカ１２１からＲｃｈ音声が出力される。それ以外のフロントＲｃｈスピーカ１２２およびリアＲｃｈスピーカ１２４からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９２】
また、図１３Ｄに示すように、ユーザが後方左（１３５°）を向いている場合には、リアＲｃｈスピーカ１２４からＬｃｈ音声が出力され、フロントＬｃｈスピーカ１２１からＲｃｈ音声が出力される。それ以外のフロントＲｃｈスピーカ１２２およびリアＬｃｈスピーカ１２３からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９３】
また、図１４Ａに示すように、ユーザが後方（１８０°）を向いている場合には、リアＲｃｈスピーカ１２４からＬｃｈ音声が出力され、リアＬｃｈスピーカ１２３からＲｃｈ音声が出力される。それ以外のフロントＬｃｈスピーカ１２１およびフロントＲｃｈスピーカ１２２からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９４】
また、図１４Ｂに示すように、ユーザが後方右（２２５°）を向いている場合には、フロントＲｃｈスピーカ１２２からＬｃｈ音声が出力され、リアＬｃｈスピーカ１２３からＲｃｈ音声が出力される。それ以外のフロントＬｃｈスピーカ１２１およびリアＲｃｈスピーカ１２４からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９５】
また、図１４Ｃに示すように、ユーザが右（２７０°）を向いている場合には、フロントＲｃｈスピーカ１２２からＬｃｈ音声が出力され、リアＲｃｈスピーカ１２４からＲｃｈ音声が出力される。それ以外のフロントＬｃｈスピーカ１２１およびリアＬｃｈスピーカ１２３からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９６】
さらに、図１４Ｄに示すように、ユーザが前方右（３１５°）を向いている場合には、フロントＬｃｈスピーカ１２１からＬｃｈ音声が出力され、リアＲｃｈスピーカ１２４からＲｃｈ音声が出力される。それ以外のフロントＲｃｈスピーカ１２２およびリアＬｃｈスピーカ１２３からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９７】
なお、図１２では、ユーザの向きに応じて音量を緩やかに変化させることによりスピーカからの音声出力を切り替えたが、切り替える手法はそれだけに限られない。図１５Ａに示すように、４５°、１３５°、２２５°、３１５°を境界に各スピーカの音声出力を切り替えるようにしてもよい。また、図１５Ｂに示すように、０°、９０°、１８０°、２７０°を境界に各スピーカの音声出力を切り替えるようにしてもよい。図１５Ａおよび図１５Ｂは図１２と同様に、縦軸をＬｃｈ音声およびＲｃｈ音声の出力レベルとし、横軸をユーザの向きとして、ユーザの向きに応じた音声の出力レベルの変化を示したものである。
【００９８】
第２の実施の形態によれば、ユーザの向きに応じて常にユーザの左からはＬｃｈ音声が出力され、ユーザの右からはＲｃｈ音声が出力される。これにより、ユーザはどの方向を向いていても常に適切な状態でステレオ音声を聴取することができる。
【００９９】
＜３．第３の実施の形態＞
［３−１.音声出力制御処理］
次に本技術の第３の実施の形態について説明する。第３の実施の形態における音声出力制御装置の構成は第２の実施の形態と同様であるため、その説明を省略する。
【０１００】
図１６は第３の実施の形態における音声出力制御の図である。第３の実施の形態は音場に複数のユーザがいる場合における音声出力制御である。図１６においてはユーザが二人いる場合を例にして説明を行う。
【０１０１】
図１６Ａは、二人のユーザ、ユーザＡおよびユーザＢが共にスイートスポットにいる場合を示すものである。この場合、顔検出部１２によって撮像部１１から供給された画像から二人のユーザの顔が検出される。そして、ユーザ位置検出部１３が二人のユーザのそれぞれの位置を検出し、ユーザ位置判定部１４がユーザが共にスイートスポットにいると判定した場合、ユーザ向き検出部２１はユーザそれぞれの顔の向きを検出する。
【０１０２】
さらに、ユーザ向き検出部２１は、ユーザＡおよびユーザＢの顔の向きをそれぞれ同じ大きさのベクトルａ、ｂとし、そのベクトル和ｃ方向を音声出力制御部１５へ供給する一つの向きとする。このようにして、複数のユーザがいても、その複数のユーザの顔の向きから一つの向きを決定する。また、二人のユーザのベクトルａ、ベクトルｂに対して重み付け（重み係数ｋ：０≦ｋ≦１）を行い、下記の式１に基づいてベクトル和ｃを算出してもよい。
【０１０３】
［式１］
ｃ＝ｋａ＋（１−ｋ）ｂ
【０１０４】
例えば、ホームシアターシステムのリモートコントローラを操作するユーザを検出し、そのユーザの向きを他のユーザよりも優先させるようにしてもよい。リモートコントローラを操作しているユーザはコンテンツの視聴に対して能動的であると考えられるからである。リモートコントローラを操作するユーザを検出する方法としては、例えば、撮像部１１で取得した画像から公知の物体認識技術でリモートコントローラを検出する、または、リモートコントローラから出力される赤外線からリモートコントローラの位置を検出する。そして、ユーザ位置検出部１３により検出したユーザの位置とリモートコントローラの位置とを対応させることによりリモートコントローラを操作しているユーザを特定することが可能である。
【０１０５】
図１６Ｂは、二人のユーザのうち、ユーザＡのみがスイートスポット内に位置し、ユーザＢはスイートスポット内にいない場合を示すものである。この場合、スイートスポットにいるユーザＡの顔が向いている方向を基準として音声出力制御部１５は音声出力処理を行う。
【０１０６】
図１６Ｂに示す例では、スイートスポットにいるユーザＢは略右方向を向いている。よって、この場合、第２の実施の形態で上述したように、右方向を向いているユーザＢにステレオ再生環境を提供するために、フロントＲｃｈスピーカ１２２からＬｃｈ音声が出力され、リアＲｃｈスピーカ１２４からＲｃｈ音声が出力される。このように、スイートスポットにユーザが一人いる場合には、そのユーザの顔の向きを基準として第２の実施の形態に基づく音声出力処理を行う。
【０１０７】
このように、一人のユーザがスイートスポットにいる場合にはそのユーザを優先して音声出力制御を行う。これは、スイートスポットにいるユーザは音声を良好な環境で聴くことを望んでおり、一方、スイートスポットいないユーザは、音声を聴くことに重きをおいてはいないと考えられるからである。
【０１０８】
図１６Ｃは、二人のユーザＡ、ユーザＢが共にスイートスポットにいない場合を示すものである。この場合、ユーザＡとユーザＢとで優先順位をつけることはできないため、図１６Ａに基づいて説明した場合と同様に二人の顔の向きをそれぞれ同じ大きさのベクトルｄ、ｅとして考え、そのベクトル和ｆを音声出力制御部１５に供給する一つの方向とする。
【０１０９】
図１７は第３の実施の形態における音声出力制御の流れを示すフローチャートである。図１７において、ステップＳ１０１乃至ステップＳ１０６およびステップＳ１１０は第１の実施の形態と同様であるため、その説明を省略する。また、ステップＳ２０１は第２の実施の形態と同様である。
【０１１０】
ステップＳ１０５で顔検出部１２により顔検出が行われると、次にステップＳ３０１で顔検出部１２により複数の顔が検出されたか否かが判定される。複数の顔が検出された場合とは、音場に複数のユーザがいるということを意味している。
【０１１１】
ステップＳ３０１で複数の顔が検出されていないと判定された場合、処理はステップＳ３０２に進む（ステップＳ３０１のＮｏ）。複数の顔が検出されていない場合とは、ユーザが一人の場合であるため、ステップＳ３０２で音声出力制御部１５は、第１または第２の実施の形態と同様の音声出力制御を行う。
【０１１２】
一方、ステップＳ３０１で複数の顔が検出されたと判定された場合、処理はステップＳ１０６に進む（ステップＳ３０１のＮｏ）。次にステップＳ１０６で、ユーザ位置検出部１３は、顔が検出された複数のユーザのそれぞれの位置を検出する。次にステップＳ３０３で、ユーザ位置判定部１４は、検出された複数のユーザの位置がスイートスポット内であるか否かを判定する。
【０１１３】
ステップＳ３０３で、複数のユーザ全員がスイートスポット内にいると判定された場合、処理はステップＳ２０１に進む（ステップＳ３０３のＮｏ）。そしてステップＳ２０１で、ユーザ向き検出部２１は、検出された全てのユーザの顔の向きを検出する。次にステップＳ３０４でユーザ向き検出部２１は、上述したように全ユーザの顔の向きからベクトル和の算出を行うことにより、音声出力制御の基準となる一つの向きを求める。
【０１１４】
そしてステップＳ３０５で、音声出力制御部１５は、ユーザ向き検出部２１によって求められた一つの向きに基づいて音声出力制御を行う。なお、このようにしてステップＳ３０５に至る場合とは、ユーザが複数存在し、全てのユーザがスイートスポットにいる場合である。よって、この場合は、図１６Ａに示す音声出力制御が行われる。
【０１１５】
説明はステップＳ３０３に戻る。ステップＳ３０３でスイートスポットに全ユーザがいるとは判定されなかった場合、処理はステップＳ３０６に進む（ステップＳ３０３のＮｏ）。次にステップＳ３０６で、ユーザ位置判定部１４は、スイートスポットに一人のユーザがいる否かを判定する。スイートスポットに一人のユーザがいないと判定された場合、処理はステップＳ２０１に進む（ステップＳ３０６のＮｏ）。
【０１１６】
そして、ステップＳ２０１、ステップＳ３０４およびステップＳ３０５によって音声出力制御が行われる。このようにしてステップＳ３０５に至る場合とは、音場にユーザがいるが、全てのユーザがスイートスポットにいない場合であるので、図１６Ｃに示す音声出力制御が行われる。
【０１１７】
一方、ステップＳ３０６で、スイートスポットに一人のユーザがいると判定された場合、処理はステップＳ３０７に進む（ステップＳ３０６のＹｅｓ）。そして、ステップＳ３０７で、スイートスポットにいるユーザの顔の向きを音声出力制御の基準の向きとして決定する。決定された向きは音声出力制御部１５に供給される。
【０１１８】
そしてステップＳ３０５で、ステップＳ３０７で決定された向きを基準として音声出力制御が行われる。このようにしてステップＳ３０５に至る場合とは、複数のユーザがおり、その内の一人がスイートスポットにいる場合であるので、図１６Ｂに示す音声出力制御が行われる。
【０１１９】
以上のようにして、第３の実施の形態における音声出力制御が行われる。この第３の実施の形態によれば、複数のユーザが音場にいる場合であっても、スイートスポットにいるユーザを優先して適切に音声出力制御を行うことができる。なお、第３の実施の形態では、ユーザが二人いる場合を例にして説明を行ったが、ユーザの数は二人に限られない。ユーザが三人以上である場合にも同様にして音声出力制御を行うことができる。
【０１２０】
＜４．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
【０１２１】
例えば、第２および第３の実施の形態においては、複数のスピーカのそれぞれに撮像部１１としてのカメラを設けたが、カメラを設ける位置はスピーカに限られるものではない。例えば、スピーカを設置した室内の天井のスイートスポットの上部に対応する位置に全方位カメラを設けてもよい。これにより、複数のスピーカのそれぞれにカメラを設けた場合と同様に、ユーザがどの方向を向いてその向きを検出することができる。
【０１２２】
また、実施の形態では、特許請求の範囲におけるユーザ検出部として撮像部１１を挙げているが、撮像部１１以外にも赤外線センサを用いるようにしてもよい。赤外線センサを用いた場合、赤外線センサからの感受データに基づいてユーザの位置および向きを検出する。
【０１２３】
また、センタースピーカ１２５とサブウーファー１２６を備える５．１サラウンドシステムではなく、本技術を実施するために、センタースピーカ１２５とサブウーファー１２６を除いて４つのスピーカで音場を形成してもよい。
【０１２４】
また、音場を形成するスピーカの数は４つに限られるものではない。３つ以上であればスピーカの数はいくつであってもよい。
【０１２５】
また、本技術は下記の構成をとることもできる。
【０１２６】
（１）複数の音声出力部により形成される音場にいるユーザを検出するユーザ検出部と、
該ユーザ検出部により検出されたユーザが前記音場内の所定の範囲に位置しているかを判定するユーザ位置判定部と、
該ユーザ位置判定部の判定結果に基づいて前記音声出力部における音声出力を制御する音声出力制御部と
を備える音声出力制御装置。
【０１２７】
（２）前記音声出力制御部は、前記ユーザ位置判定部により前記ユーザが前記所定の範囲に位置していないと判定された場合、少なくとも２つのステレオ再生環境が形成されるように前記音声出力部における音声出力を制御する
前記（１）に記載の音声出力制御装置。
【０１２８】
（３）前記音声出力制御部は、前記ユーザ位置判定部により前記ユーザが前記所定の範囲に位置していると判定された場合、一つのステレオ再生環境が形成されるように前記音声出力部における音声出力を制御する
前記（１）または（２）に記載の音声出力制御装置。
【０１２９】
（４）前記ユーザ検出部により、複数のユーザが検出された場合、該複数のユーザのそれぞれの顔の向きを検出するユーザ向き検出部をさらに備え、
前記音声出力制御部は、前記ユーザ向き検出部の検出結果に基づいて前記音声出力部における音声出力を制御する
前記（１）に記載の音声出力制御装置。
【０１３０】
（５）前記ユーザ向き検出部は、前記ユーザ位置判定部により前記複数のユーザが前記所定の範囲に位置していると判定された場合、前記複数のユーザの顔の向きから一つの向きを検出し、
前記音声出力制御部は、前記一つの向きに基づいて前記音声出力部における音声出力を制御する
前記（４）に記載の音声出力制御装置。
【０１３１】
（６）前記ユーザ向き検出部は、前記ユーザ位置判定部により前記複数のユーザのうち、一人のユーザが前記所定の範囲に位置していると判定された場合、前記所定の範囲にいる前記ユーザの顔の向きを検出し、
前記音声出力制御部は、前記ユーザの顔の向きに基づいて前記音声出力部における音声出力を制御する
前記（４）または（５）に記載の音声出力制御装置。
【０１３２】
（７）前記ユーザ向き検出部は、前記ユーザ位置判定部により前記複数のユーザが前記所定の範囲に位置していないと判定された場合、検出した前記複数のユーザの顔の向きから一つの方向を決定し、
前記音声出力制御部は、前記一つの方向に基づいて前記音声出力部における音声出力を制御する
前記（４）から（６）のいずれかに記載の音声出力制御装置。
【０１３３】
（８）前記音声出力制御部は、前記ユーザ向き検出部により検出された前記向きに基づいて、前記ユーザの左右からＬチャンネル音声およびＲチャンネル音声がそれぞれ出力されるように前記音声出力部における音声出力を制御する
前記（４）から（７）のいずれかに記載の音声出力制御装置。
【０１３４】
（９）前記音声出力部はスピーカであり、
前記所定の範囲は前記複数の音声出力部によって形成されるスイートスポットである
前記（１）から（８）のいずれかに記載の音声出力制御装置。
【０１３５】
（１０）前記音声出力部は、フロントＬチャンネルスピーカ、フロントＲチャンネルスピーカ、リアＬチャンネルスピーカ、リアＬチャンネルスピーカからなる
前記（１）から（９）のいずれかに記載の音声出力制御装置。
【０１３６】
（１１）複数の音声出力部により形成される音場にいるユーザを検出し、
検出されたユーザが前記音場内の所定の範囲に位置しているかを判定し、
前記ユーザが前記音場内の所定の範囲に位置しているか否かの判定結果に基づいて前記音声出力部における音声出力を制御する
音声出力制御方法。
【符号の説明】
【０１３７】
１３・・・ユーザ検出部
１４・・・ユーザ位置判定部
１５・・・音声出力制御部
１０・・・音声出力制御装置。
２１・・・ユーザ向き検出部
１２１・・フロントＬｃｈスピーカ
１２２・・フロントＲｃｈスピーカ
１２３・・リアＬｃｈスピーカ
１２４・・リアＲｃｈスピーカ
【技術分野】
【０００１】
本技術は、音声出力制御装置および音声処理方法に関し、詳しくは、音声を聴取するユーザの状態に応じて音声出力を制御する音声出力制御装置、音声処理方法に関する。
【背景技術】
【０００２】
従来、オーディオ機器の想定するユーザの視聴スタイルは、スピーカとユーザの位置が理想的になる特定位置のみにユーザが存在することを想定されている。一方で、現実のユーザは部屋内のどこにいても同じように音楽を楽しみたいという欲求を持っている。
【０００３】
そこで、受聴位置が異なっても良好なステレオ感を得ることができる音声調整装置が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平４−３７００００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の技術は、ユーザの受聴位置を示すデータを入力する受聴位置データ入力手段を備える。受聴位置データ入力手段における受聴位置データの入力をユーザが行う必要があるとすると、その機能を有効にするためにはユーザが意図的に機器を操作し、その機能を有効にする必要がある、これにより、ユーザの恣意的な行動を阻害してしまうということとなる。
【０００６】
したがって、本技術の目的は、ユーザの恣意的な生活を妨げることなく、ユーザの視聴スタイルに合わせた音楽視聴環境を提供する情報処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
上述した目的を達成するために、第１の技術は、複数の音声出力部により形成される音場にいるユーザを検出するユーザ検出部と、ユーザ検出部により検出されたユーザが音場内の所定の範囲に位置しているかを判定するユーザ位置判定部と、ユーザ位置判定部の判定結果に基づいて音声出力部における音声出力を制御する音声出力制御部とを備える音声出力制御装置である。
【０００８】
また、第２の技術は、複数の音声出力部により形成される音場にいるユーザを検出し、検出されたユーザが音場内の所定の範囲に位置しているかを判定し、ユーザが音場内の所定の範囲に位置しているか否かの判定結果に基づいて音声出力部における音声出力を制御する音声出力制御方法である。
【発明の効果】
【０００９】
本技術によれば、ユーザの視聴スタイルに合わせた音楽聴取環境を提供することができる。
することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本技術に係る音声出力制御装置の構成を示すブロック図である。
【図２】図２は、音声出力制御装置を備える音声出力装置の構成を示すブロック図である。
【図３】図３は、音声出力装置を構成するスピーカの配置を示す図である。
【図４】図４は、第１の音声出力モードにおいてスピーカから出力される音声の種別を示す図である。
【図５】図５は、第２の音声出力モードにおいてスピーカから出力される音声の種別を示す図である。
【図６】図６は、音声出力制御装置を備える音声出力装置において行われる音声出力制御処理の流れを示すフローチャートである。
【図７】図７は、本技術の第２の実施の形態に係る音声出力制御装置の構成を示すブロック図である。
【図８】図８は、第２の実施の形態に係る音声出力制御装置を備える音声出力装置の構成を示すブロック図である。
【図９】図９は、スピーカの外観図である。
【図１０】図１０は、第２の実施の形態における音声出力制御の概要を示す図である。
【図１１】図１１は、音声出力制御装置を備える音声出力装置において行われる音声出力制御の流れを示すフローチャートである。
【図１２】図１２は、出力レベル調整により行われる音声出力制御を説明するための図である。
【図１３】図１３は、第２の実施の形態における音声出力制御のその他の例の概要を示す図である。
【図１４】図１４は、第２の実施の形態における音声出力制御のその他の例の概要を示す図である。
【図１５】図１５は、出力レベル調整により行われる音声出力制御のその他の例を説明するための図である。
【図１６】図１６は、本技術の第３の実施の形態において行われる音声出力制御の概要を示す図である。
【図１７】図１７は、第３の実施の形態に係る音声出力制御装置を備える音声出力装置において行われる音声出力制御の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本技術の実施の形態について図面を参照しながら説明する。ただし、本技術は以下の実施例のみに限定されるものではない。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１−１.音声出力制御装置の構成］
［１−２.音声出力制御装置を備える音声出力装置の構成］
［１−３.音声出力制御処理］
＜２．第２の実施の形態＞
［２−１.音声出力制御装置の構成］
［２−２.音声出力制御処理］
＜３．第３の実施の形態＞
［３−１.音声出力制御処理］
＜４．変形例＞
【００１２】
＜１．第１の実施の形態＞
［１−１.音声出力制御装置の構成］
まず、図１を参照して音声出力制御装置１０の構成について説明する。図１は、本技術に係る音声出力制御装置１０の構成を示すブロック図である。
【００１３】
音声出力制御装置１０は、撮像部１１、顔検出部１２、ユーザ位置検出部１３、ユーザ位置判定部１４、音声出力制御部１５とから構成されている。音声出力制御装置１０は、例えば、図２に示すような５．１ｃｈサラウンドシステムにおいて用いられる。
【００１４】
撮像部１１は、ユーザを撮像して画像データを得るものである。撮像部１１は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、撮像素子により得られた光画像を光電変換して電荷量に変換して画像データとして出力する画像処理回路などからなる。撮像部１１により取得された画像データは顔検出部１２に供給される。
【００１５】
顔検出部１２は撮像部１１から供給された画像データに係る画像中から人物の顔を検出するものである。顔検出方法としては、顔の形状に基づくテンプレートマッチング、顔の輝度分布に基づくテンプレートマッチング、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いることができる。また、これらの手法を組み合わせて顔検出の精度を高めるようにしてもよい。
【００１６】
また、例えば特開２００５−１５７６７９に記載されているような機械学習に基づく手法を採用してもよい。この技術を用いることで、人の顔の検出が可能であり、さらに、ユーザの向きも検出することができる。
【００１７】
顔検出部１２により検出されたユーザの顔を示す顔画像データはユーザ位置検出部１３に供給される。このように、本実施の形態においては、撮像部１１で得た画像中かから顔を検出することによりユーザを検出する。撮像部１１と顔検出部１２は特許請求の範囲におけるユーザ検出部に相当するものである。
【００１８】
ユーザ位置検出部１３は、顔検出部１２によって検出されたユーザの位置を検出する。ユーザ位置検出部１３は、撮像部１１のカメラにより得られた画像に基づいてユーザの位置を検出する。ユーザの位置は例えば、撮像部１１のカメラの光軸に対するユーザの相対位置の算出結果と、撮像部１１のカメラの位置や角度の情報等に基づいて、基準となる位置（撮像部１１のカメラなど）対する角度、距離として求めることができる。
【００１９】
ユーザ位置検出部１３はＣＰＵがプログラムを実行すること、または、その機能を有する専用のハードウェアによって実現される。ただし、このような方法に限られず、ユーザの位置を取得することが出来る方法であればどのような方法を用いてもよい。撮像部１１による画像を用いずに、例えば、赤外線センサ、いわゆる人感センサなどと称されるセンサを用いてユーザの位置を検出するようにしてもよい。また、赤外線を出力したときの反射を利用してユーザまでの距離を測定するアクティブ方式の測距センサ、被写体の輝度情報をセンサで検出して得られた輝度から距離を測定するパッシブ方式の測距センサなどを用いてもよい。ユーザ位置検出部１３により取得されたユーザ位置情報はユーザ位置判定部１４に供給される。
【００２０】
ユーザ位置判定部１４は、ユーザ位置検出部１３により検出されたユーザの位置が音声の最適聴取範囲であるいわゆるスイートスポット内にであるか否かを判定するものである。ユーザ位置判定部１４による判定の詳細については後述する。
【００２１】
音声出力制御部１５には、ユーザ位置判定部１４による判定結果に基づいて、音声出力部としてのスピーカからの音声出力を第１のモードで行うか、または第２のモードで行うかの制御を行うものである。音声出力制御部１５による音声出力制御の詳細については後述する。
【００２２】
以上のようにして音声出力制御装置１０が構成されている。
【００２３】
［１−２.音声出力制御装置を備える音声出力装置の構成］
次に、上述した音声出力制御装置１０を備える音声出力装置１００の構成について説明する。図２は音声出力装置１００の構成を示すブロック図である。さらに、図３は、音声出力装置１００を構成するスピーカの配置例を示す図である。音声出力装置１００は、音声を出力するとともに映像の出力も可能な、いわゆる「ホームシアターシステム」と称されるＡＶ（Audio Video）システムとして構成されている。
【００２４】
音声出力装置１００は、音源／映像源１１０、フロントＬｃｈスピーカ１２１、フロントＲｃｈスピーカ１２２、リアＬｃｈスピーカ１２３、リアＲｃｈスピーカ１２４、センタースピーカ１２５、サブウーファー１２６、映像処理部１３０、表示部１４０、システムコントローラ１５０、Ｉ／Ｆ（InterFace）１６０、撮像部１１、顔検出部１２、ユーザ位置検出部１３およびユーザ位置判定部１４、音声出力制御部１５とから構成されている。撮像部１１、顔検出部１２、ユーザ位置検出部１３、ユーザ位置判定部１４および音声出力制御部１５は音声出力制御装置１０を構成するものである。
【００２５】
音源／映像源１１０は、音声出力装置１００により出力されるコンテンツを構成する映像および音声、または音声のみを供給するものである。コンテンツとしてはテレビ番組、映画、音楽、ラジオなどが挙げられる。音源／映像源１１０としては例えば、テレビチューナー、ラジオチューナー、ＤＶＤプレーヤ、Blu-ray Discプレーヤ、ゲーム機などが挙げられる。音源／映像源１１０からの音声データは音声出力制御部１５に供給される。また音源／映像源１１０からの映像データは映像処理部１３０に供給される。
【００２６】
フロントＬｃｈスピーカ１２１、フロントＲｃｈスピーカ１２２、リアＬｃｈスピーカ１２３、リアＲｃｈスピーカ１２４、センタースピーカ１２５およびサブウーファー１２６は音声を出力する、特許請求の範囲における音声出力部に相当するものである。これら各スピーカは音声出力制御部１５の制御の元、音源／映像源１１０からの音声を出力する。
【００２７】
本実施の形態においては上述した各スピーカによって５.１チャンネルサラウンドシステムが構成されている。各スピーカから音声が出力されることにより、ユーザは音源／映像源１１０からの音声を聴取することができる。なお、以下の説明においては、上記各スピーカによって形成される音を聴取することができる空間を「音場」と称する。
【００２８】
フロントＬｃｈスピーカ１２１、フロントＲｃｈスピーカ１２２、リアＬｃｈスピーカ１２３、リアＲｃｈスピーカ１２４によって音場に音声の最適聴取範囲であるスイートスポットが形成される。音声の最適聴取範囲であるいわゆるスイートスポットは、図３に示すスピーカ配置では、フロントＬｃｈスピーカ１２１とリアＲｃｈスピーカ１２４とを結ぶ対角線と、フロントＲｃｈスピーカ１２２とリアＬｃｈスピーカ１２３とを結ぶ対角線の交点を中心とした所定の範囲のものとして形成される。図３においては、各スピーカ間の距離は略同一であり、交点から各スピーカまでの距離も略同一である。
【００２９】
また、フロントＬｃｈスピーカ１２１およびフロントＲｃｈスピーカ１２２からのみ音声を出力する場合、スイートスポットは、図３に示すスイートスポットと同様の位置に形成される。その位置は、Ｌｃｈフロントスピーカ１２１とフロントＲｃｈスピーカ１２２を結ぶ線分を底辺とする二等辺三角形の頂点を略中心とした位置である。
【００３０】
ユーザ位置判定部１４は、ユーザ位置検出部１３により検出された検出されたユーザの位置とスイートスポットの位置とを比較することにより、ユーザがスイートスポットにいるか否かを判定する。したがって、ユーザ位置判定部１４は予め、スイートスポットの位置を把握しておく必要がある。スイートスポットの位置はユーザが音声出力装置１００としてのホームシアターシステムに対して入力することにより設定してもよいし、各スピーカの設置位置、角度から音声出力制御装置１０が自動的に算出するようにしてもよい。また、テレビジョン受像機、ディスプレイなどの表示部１４０に撮像部１１が設けられている場合には表示部１４０の画面サイズをユーザが音声出力制御装置１０に入力することにより、表示部１４０の画面サイズからスイートスポットの位置を把握するようにしてもよい。これは、表示部１４０に撮像部１４が設けられている場合には撮像部１４の位置が特定されるため、表示部１４０の画面のサイズからスイートスポットの位置を特定することが可能となるからである。一般的に画面のサイズから適切な視聴位置が決まると考えられる。そこで、その適切な視聴位置がスイートスポットとしての蓋然性が高いとして、スイートスポットを把握するようにしてもよい。例えば、画面サイズと適切な視聴位置の組み合わせを示すデータを予め保持しておき、入力された画面のサイズに基づきその組み合わせを参照して適切な視聴位置をスイートスポットとして把握するようにしてもよい。また、所定の式を用いた演算により画面のサイズから視聴位置を算出するようにしてもよい。ユーザ位置判定部１４による判定結果は音声出力制御部１５に供給される。
【００３１】
音声出力制御部１５は、上述したように、ユーザ位置判定部１４による判定結果に基づいて、スピーカからの音声出力を第１のモードで行うか、または第２のモードで行うかの制御を行うものである。
【００３２】
本実施の形態において第１のモードとは、図４に示すように、フロントＬｃｈスピーカ１２１からフロントＬｃｈ音声、フロントＲｃｈスピーカ１２２からフロントＲｃｈ音声、リアＬｃｈスピーカ１２３からフロントＲｃｈ音声、リアＲｃｈスピーカ１２４からフロントＬｃｈ音声を出力するモードである。
【００３３】
これにより、フロントＬｃｈスピーカ１２１およびフロントＲｃｈスピーカ１２２によってステレオ再生環境が形成される。また、フロントＬｃｈスピーカ１２１およびリアＬｃｈスピーカ１２３によりステレオ再生環境が形成される。また、リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４によりステレオ再生環境が形成される。さらに、リアＲｃｈスピーカ１２４およびフロントＲｃｈスピーカ１２２によりステレオ再生環境が形成される。すなわち、２つのスピーカの組み合わせにより、計４つのステレオ再生環境が形成される。ユーザ位置判定部１４によりユーザがスイートスポットにいないと判定された場合には、この第１のモードで音声が出力される。
【００３４】
また、本実施の形態において第２のモードとは、図５に示すように、フロントＬｃｈスピーカ１２１からフロントＬｃｈ音声を出力し、フロントＲｃｈスピーカ１２２からフロントＲｃｈ音声を出力するモードである。リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４からは音声は出力されない。よって、第２のモードでは一つのステレオ再生環境が形成される。ユーザ位置判定部１４によりユーザがスイートスポットにいると判定された場合には、この第２のモードで音声が出力される。
【００３５】
音声出力制御部１５は、例えば、リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４における音声出力レベルを調整することにより第１のモードと第２のモードの切り替えを行う。具体的には、第１のモードに切り替えるには、リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４における音声出力レベルをユーザが設定した値まで上げる。また、第２のモードに切り替える場合には、リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４における音声出力レベルを０にする。なお、リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４への音声信号の供給のオン・オフを切り替えることにより第１のモードと第２のモードの切り換えを行うようにしてもよい。モードの切り替えによって音声を出力しないスピーカの電源をオフにするようにしてもよい。これにより節電効果を得ることができる。
【００３６】
映像処理部１３０は、映像信号に対して解像度変換、輝度補正、色補正などの所定の映像処理を施して表示部１４０に供給する。表示部１４０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された映像表示手段である。映像処理部１３０から供給された映像信号は表示部１４０によって映像として表示される。表示部１４０に映像が表示されることによりユーザは音源／映像源１１０からの映像を見ることができる。なお、音声出力装置１００が音楽など音声のみを再生することを目的としたものである場合には表示部１４０、映像処理部１３０は不要である。
【００３７】
システムコントローラ１５０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成される。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに実行すること音声出力装置１００全体の制御を行う。
【００３８】
Ｉ／Ｆ１６０は、ユーザの操作により音声出力装置１００付属のリモートコントローラ１７０から送信されたコントロール信号を受信してシステムコントローラ１５０に出力する。システムコントローラ１５０はリモートコントローラ１７０からのコントローラ信号に対応して音声出力装置１００全体を制御する。
【００３９】
なお、音声出力制御装置１０を構成する、撮像部１１、顔検出部１２、ユーザ位置検出部１３、ユーザ位置判定部１４および音声出力制御部１５が全て同一筐体内に設けられている必要はない。例えば、撮像部１１を表示部１４０の筐体に一体的に構成されたいわゆるＷＥＢカメラとし、さらに表示部１４０内に顔検出部１２、ユーザ位置検出部１３を設け、外部機器に設けた音声出力制御部１５にＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）などを通じてユーザ情報を供給するようにしてもよい。また、撮像部１１を、ＵＳＢ、ＨＤＭＩなどにより接続する独立したハードウェアとして構成してもよい。ただし、撮像部１１はスイートスポットにいるユーザを確実に検出するために図３乃至図５に示すように一般的にスイートスポットの正面に位置する表示部１４０に設けるのが好ましい。
【００４０】
［１−３.音声出力制御処理］
次に、音声出力制御装置１０を備える音声出力装置１００において行われる音声出力制御処理について説明する。図６は、音声出力制御処理の流れを示すフローチャートである。
【００４１】
なお、初期設定として、ユーザが前方（表示部１４０方向）を向いているものとしてフロントＬｃｈスピーカ１２１からはフロントＬｃｈ音声を、フロントＲｃｈスピーカ１２２からはフロントＲｃｈ音声を出力するように設定しておくとよい。
【００４２】
まずステップＳ１０１でシステムコントローラ１５０は、音声出力装置１００においてコンテンツの再生が指示された否かを判定する。コンテンツの再生が指示されていない場合、処理はステップＳ１０２に進む（ステップＳ１０１のＮｏ）。そして、ステップＳ１０２で音声出力装置１００はコンテンツを再生するモード以外の動作モード、例えばスタンバイモードに設定される。
【００４３】
一方、ステップＳ１０１で、コンテンツの再生が指示されたと判定された場合、処理はステップＳ１０３に進む（ステップＳ１０１のＹｅｓ）。次にステップＳ１０３で、スピーカからの音声出力が開始される。次にステップＳ１０４で、撮像部１１はユーザの画像を取得する。取得された画像は顔検出部１２に供給される。次に、ステップＳ１０５で、撮像部１１により取得した画像に対して顔検出部１２が顔検出処理を行うことより、ユーザの顔を検出する。検出されたユーザの顔を含んだ顔画像はユーザ位置検出部１３に供給される。
【００４４】
次にステップＳ１０６で、ユーザ位置検出部１３が顔検出部１２によって検出されたユーザの位置の検出を行う。ユーザの位置の検出結果はユーザ位置判定部１４に供給される。次にステップＳ１０７で、ユーザ位置判定部１４が、ユーザがスイートスポット内にいるか否かを判定する。判定結果は音声出力制御部１５に供給される。
【００４５】
ユーザ位置判定部１４により、ユーザがスイートスポット内にいないと判定された場合、処理はステップＳ１０８に進む（ステップＳ１０７のＮｏ）。そして、ステップＳ１０８で、音声を第１のモードで出力するように、音声出力制御部１５はスピーカにおける音声出力を制御する。
【００４６】
第１のモードでは、上述したように、フロントＬｃｈスピーカ１２１およびフロントＲｃｈスピーカ１２２によりステレオ再生環境が形成される。また、フロントＬｃｈスピーカ１２１およびリアＬｃｈスピーカ１２３によりステレオ再生環境が形成される。また、リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４によりステレオ再生環境が形成される。さらに、リアＲｃｈスピーカ１２４およびフロントＲｃｈスピーカ１２２によりステレオ再生環境が形成される。
【００４７】
これにより、ユーザはフロントＬｃｈスピーカ１２１、フロントＲｃｈスピーカ１２２、リアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４により構成される音場のどこにいても、さらにどの方向を向いていても適切なステレオ感で、再生される音声を聴取することができる。
【００４８】
一方、ステップＳ１０７で、ユーザ位置判定部１４によりユーザがスイートスポット内にいないと判定された場合、処理はステップＳ１０９に進む（ステップＳ１０７のＹｅｓ）。そして、ステップＳ１０９で、音声を第２のモードで出力するように、音声出力制御部１５は各スピーカにおける音声出力を制御する。
【００４９】
上述したように、第２のモードではフロントＬｃｈスピーカ１２１からフロントＬｃｈ音声を、フロントＲｃｈスピーカ１２２からはフロントＲｃｈ音声を出力することにより、ステレオ再生が行われる。よって、スイートスポットにいるユーザは良好な環境で通常のステレオ感で声を聴取することができる。
【００５０】
次にステップＳ１１０で、システムコントローラ１５０は音声出力装置１００によるコンテンツの再生が終了したか否かを判定する。コンテンツの再生が終了した場合は図６のフローチャートの処理は終了となる（ステップＳ１１０のＹｅｓ）。一方、コンテンツの再生が終了していない場合には処理はステップＳ１０４に進む（ステップＳ１１０のＮｏ）。そして、ステップＳ１０４以降の処理を繰り返し、コンテンツの再生が終了するまで音声出力制御処理が繰り返される。
【００５１】
なお、音声聴取を目的とせず音場を通過する人物を検出してしまうことを避けるために、周期的に音声出力制御処理を行う場合には、その周期をある程度大きくして不感帯を設けるようにしてもよい。
【００５２】
また、出力されている音声の途中で第１のモードと第２のモードとが切替わることによりユーザに違和感を与えることを避けるために、出力音声が無音または所定のレベル以下の場合に限りステップＳ１０４からの処理を行うようにしてもよい。
【００５３】
以上のようにして、本技術の第１の実施の形態における音声出力制御が行われる。第１の実施の形態においては、ユーザはスイートスポットにいる場合はもちろんのこと、スイートスポットにいない場合であってもステレオ再生環境で適切なステレオ感を得ることができる。これにより、どこにいても良好なステレオ感でステレオ音声を聴くことができるというユーザにとって良好な聴取環境を実現することができる。
【００５４】
＜２．第２の実施の形態＞
［２−１.音声出力制御装置の構成］
次に、本技術の第２の実施の形態について説明する。図７は第２の実施の形態に係る、音声出力制御装置２０の構成を示すブロック図である。第２の実施の形態は、ユーザ向き検出部２１を備える点で第１の実施の形態と異なる。
【００５５】
ユーザ向き検出部２１は、顔検出部１２により検出されたユーザの顔を含む画像データからユーザの顔が向いている方向（ユーザの顔の向き）を検出する。ユーザの顔の向きは、例えば、エッジ検出などの手法を用いることで、画像中から顔の両端位置と顔の中心位置（鼻先を通る線）とが検出され、その顔両端位置と顔中心位置とから顔の向きの方向が検出される。なお、顔の向きの検出方法として、例えば、目、鼻、口などの顔の構成要素の形状的な特徴を利用した方法や、検出対象となる顔の２点間の輝度値の差分値を用いた検出方法、赤外線センサを用いた手法など、顔の向きを検出できる手法であれば別の方式を用いてもよい。さらに、人の顔と髪の毛がある後頭部の温度差に基づき、赤外線センサを用いることでユーザの顔の向きを推定することも可能である。ユーザ向き検出部２１２１により検出されたユーザの顔の向きを示す向き情報は音声出力制御部１５に供給される。
【００５６】
音声出力制御部１５は、ユーザ向き検出部２１から供給されるユーザの向き情報に基づいて、スピーカからの音声の出力を制御する。音声出力制御部１５による音声出力制御の詳細は後述する。
【００５７】
図８は第２の実施の形態に係る音声出力制御装置２０を備える音声出力装置２００の構成を示すブロック図である。第２の実施の形態は４つの撮像部１１Ａ、１１Ｂ、１１Ｃ、１１Ｄを備える点で第１の実施の形態と異なっている。図９は、フロントＬｃｈスピーカの外観図である。図９に示すように、撮像部１１Ａは、フロントＬｃｈスピーカ１２１に一体的に設けられている。なお、図示はしないがフロントＲｃｈスピーカ１２２に撮像部１１Ｂが、リアＬｃｈスピーカ１２３に撮像部１１Ｃが、リアＲｃｈスピーカ１２４に撮像部１１Ｄがそれぞれ一体的に設けられている。その他の構成については第１の実施の形態と同様であるため、その説明を省略する。なお、第２の実施の形態におけるスピーカの設置位置および角度は図３に示すものと同様である。
【００５８】
このように、スイートスポットを囲うように配置されて音場を形成する各スピーカに撮像部を設けることにより、ユーザがどの方向を向いていても、撮像部により得られる画像からユーザの顔、顔の向きを検出することが可能となる。
【００５９】
ここで、この第２の実施の形態における音声出力制御の概要について図１０を参照して説明する。図１０Ａ乃至図１０Ｄは４つのスピーカからの音声によって形成されるスイートスポットにいるユーザの向きがそれぞれ異なっている状態を示すものである。なお、以下の説明において、フロントスピーカ方向を「前方（０°）」、リアスピーカ方向を「後方（１８０°」、フロントスピーカに向かって左方向を「左（９０°）」、フロントスピーカに向かって右方向を「右（２７０°）」と定義する。
【００６０】
第２の実施の形態においては、図１０Ａに示すようにユーザが前方（０°）を向いている場合にはフロントＬｃｈスピーカ１２１からＬｃｈ音声が出力され、フロントＲｃｈスピーカ１２２からはＲｃｈ音声が出力される。それ以外のリアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００６１】
また、図１０Ｂに示すように、ユーザが左（９０°）を向いている場合には、リアＬｃｈスピーカ１２３からＬｃｈ音声が出力され、フロントＬｃｈスピーカ１２１からＲｃｈ音声が出力される。それ以外のフロントＲｃｈスピーカ１２２およびリアＲｃｈスピーカ１２４からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００６２】
また、図１０Ｃに示すように、ユーザが後方（１８０°）を向いている場合には、リアＲｃｈスピーカ１２４からＬｃｈ音声が出力され、リアＬｃｈスピーカ１２３からＲｃｈ音声が出力される。それ以外のフロントＬｃｈスピーカ１２１およびフロントＲｃｈスピーカ１２２からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００６３】
また、図１０Ｄに示すように、ユーザが右（２７０°）を向いている場合には、フロントＲｃｈスピーカ１２２からＬｃｈ音声が出力され、リアＲｃｈスピーカ１２４からＲｃｈ音声が出力される。それ以外のフロントＬｃｈスピーカ１２１およびリアＬｃｈスピーカ１２３からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００６４】
音声出力制御部１５は、ユーザ向き検出部２１から供給されたユーザの向き情報に基づいて上述のように音声出力が行われるよう、スピーカにおける音声出力を制御する。音声出力制御は、第１の実施の形態と同様に、例えば、各スピーカにおける音声出力レベルを調整することにより行う。なお、音声を出力しないスピーカの電源はオフにしてもよい。これにより節電効果を得ることができる。
【００６５】
［２−２.音声出力制御処理］
図１１は第２の実施の形態における音声出力制御処理の流れを示すフローチャートである。ステップＳ１０１乃至ステップＳ１０６およびステップＳ１１０は第１の実施の形態と同様であるため説明を省略する。
【００６６】
ステップＳ２０１で、ユーザ向き検出部２１は顔検出部１２により検出されたユーザの顔の向きを検出する。検出されたユーザの向き情報は音声出力制御部１５に供給される。次にステップＳ２０２で音声出力制御部１５は、上述したようにユーザの向きに応じた音声出力制御を行う。以上のようにして第２の実施の形態における音声出力制御処理が行われる。
【００６７】
なお、音声を出力するスピーカの切り替えを出力レベル調整により行うことによりユーザに違和感を与えずに音声出力制御を行うことができる。具体的には、図１２に示すように行う。
【００６８】
図１２は縦軸をＬｃｈ音声およびＲｃｈ音声の出力レベルとし、横軸をユーザの向きとして、ユーザの向きに応じた音声の出力レベルの変化を示したものである。
【００６９】
ユーザの向きが前方（０°）の場合は上述したようにフロントＬｃｈスピーカ１２１からＬｃｈ音声が、フロントＲｃｈスピーカ１２２からＲｃｈ音声がそれぞれ出力される。したがって、フロントＬｃｈスピーカ１２１からＬｃｈ音声がユーザの指定レベルで出力され、フロントＲｃｈスピーカ１２２からＲｃｈ音声がユーザの指定レベルで出力される。ここでいう、「ユーザの指定レベル」とは、ユーザが音声出力装置２００に対して設定している音量レベルのことを指すものである。スピーカからユーザの指定レベルで音声を出力することにより、ユーザが所望する音量で音声が出力される。なお、出力レベル調整は、Ｌｃｈ音声レベルの合計値とＲｃｈ音声レベルの合計値が等しくなるようになされる。
【００７０】
ユーザの顔の向きが左（９０°）になった場合は、リアＬｃｈスピーカ１２３からＬｃｈ音声が出力され、フロントＬｃｈスピーカ１２１からＲｃｈ音声が出力される。
【００７１】
ユーザが前方（０°）から左（９０°）方向に顔の向きを変える場合、その向き（角度）の変化に伴って、フロントＬｃｈスピーカ１２１におけるＬｃｈ音声のレベルがユーザの向きの変化に伴って下がっていく。そして、顔の向きが中間の前方左（４５°）に至った時点で、フロントＬｃｈスピーカ１２１からのＬｃｈ音声のレベルは０となる。
【００７２】
続いて、ユーザの顔の向きが前方左（４５°）から左（９０°）へ変化していくと、それに伴い、フロントＬｃｈスピーカ１２１においてはＲｃｈ音声のレベルが上がっていく。そして、ユーザの向きが左（９０°）に至った時点でフロントＬｃｈスピーカ１２１におけるＲｃｈ音声のレベルはユーザ指定レベルとなる。
【００７３】
一方、ユーザの顔の向きの変化に伴ってフロントＲｃｈスピーカ１２２におけるＲｃｈ音声のレベルも徐々に下がっていく。そして、ユーザの向きが左（９０°）に至った時点でフロントＲｃｈスピーカ１２２における音声出力レベルは０となる。
【００７４】
また、フロントＲｃｈスピーカ１２２におけるＲｃｈ音声レベルの低下と平行して、ユーザの顔の向きの変化に伴ってリアＬｃｈスピーカ１２３におけるＬｃｈ音声のレベルが徐々に上がっていく。そして、ユーザの向きが左（９０°）に至った時点でリアＬｃｈスピーカ１２３におけるＬｃｈ音声のレベルはユーザ指定レベルとなる。このようにしてスピーカからの音声出力が図１０Ａの状態から図１０Ｂの状態へと切り替えられる。
【００７５】
ユーザが左（９０°）から後方（１８０°）方向に顔の向きを変える場合、その向きの変化に伴って、リアＬｃｈスピーカ１２３におけるＬｃｈ音声のレベルがユーザの向きの変化に伴って下がっていく。そして、顔の向きが中間の後方左（１３５°）に至った時点で、リアＬｃｈスピーカ１２３からのＬｃｈ音声のレベルは０となる。
【００７６】
続いて、ユーザの顔の向きが後方左（１３５°）から後方（１８０°）へ変化していくと、それに伴い、リアＬｃｈスピーカ１２３においてはＲｃｈ音声のレベルが上がっていく。そして、ユーザの向きが後方（１８０°）に至った時点でリアＬｃｈスピーカ１２３におけるＲｃｈ音声のレベルはユーザ指定レベルとなる。
【００７７】
一方、ユーザの顔の向きの変化に伴ってフロントＬｃｈスピーカ１２１におけるＲｃｈ音声のレベルも徐々に下がっていく。そして、ユーザの向きが後方（１８０°）に至った時点でフロントＬｃｈスピーカ１２１における音声出力レベルは０となる。
【００７８】
また、フロントＬｃｈスピーカ１２１におけるＲｃｈ音声レベルの低下と平行して、ユーザの顔の向きの変化に伴ってリアＲｃｈスピーカ１２４におけるＬｃｈ音声のレベルが徐々に上がっていく。そして、ユーザの向きが後方（１８０°）に至った時点でリアＲｃｈスピーカ１２４におけるＬｃｈ音声のレベルはユーザ指定レベルとなる。このようにしてスピーカからの音声出力が図１０Ｂの状態から図１０Ｃの状態へと切り替えられる。
【００７９】
ユーザが後方（１８０°）から右（２７０°）方向に顔の向きを変える場合、その向きの変化に伴って、リアＲｃｈスピーカ１２４におけるＬｃｈ音声のレベルがユーザの向きの変化に伴って下がっていく。そして、顔の向きが中間の後方右（２２５°）に至った時点で、リアＲｃｈスピーカ１２４からのＬｃｈ音声のレベルは０となる。
【００８０】
続いて、ユーザの顔の向きが後方右（２２５°）から右（２７０°）へ変化していくと、それに伴い、リアＲｃｈスピーカ１２４においてはＲｃｈ音声のレベルが上がっていく。そして、ユーザの向きが右（２７０°）に至った時点でリアＲｃｈスピーカ１２４におけるＲｃｈ音声のレベルはユーザ指定レベルとなる。
【００８１】
一方、ユーザの顔の向きの変化に伴ってリアＬｃｈスピーカ１２３におけるＲｃｈ音声のレベルも徐々に下がっていく。そして、ユーザの向きが右（２７０°）に至った時点でリアＬｃｈスピーカ１２３における音声出力レベルは０となる。
【００８２】
また、リアＬｃｈスピーカ１２３におけるＲｃｈ音声レベルの低下と平行して、ユーザの顔の向きの変化に伴ってフロントＲｃｈスピーカ１２２におけるＬｃｈ音声のレベルが徐々に上がっていく。そして、ユーザの向きが右（２７０°）に至った時点でフロントＲｃｈスピーカ１２２におけるＬｃｈ音声のレベルはユーザ指定レベルとなる。このようにしてスピーカからの音声出力が図１０Ｃの状態から図１０Ｄの状態へと切り替えられる。
【００８３】
ユーザが右（２７０°）から前方（３６０°）方向に顔の向きを変える場合、その向きの変化に伴って、フロントＲｃｈスピーカ１２２におけるＬｃｈ音声のレベルがユーザの向きの変化に伴って下がっていく。そして、顔の向きが中間の前方右（３１５°）に至った時点で、フロントＲｃｈスピーカ１２２からのＬｃｈ音声のレベルは０となる。
【００８４】
続いて、ユーザの顔の向きが前方右（３１５°）から前方（３６０°）へ変化していくと、それに伴い、フロントＲｃｈスピーカ１２２においてはＲｃｈ音声のレベルが上がっていく。そして、ユーザの向きが前方（３６０°）に至った時点でフロントＲｃｈスピーカ１２２におけるＲｃｈ音声のレベルはユーザ指定レベルとなる。
【００８５】
一方、ユーザの顔の向きの変化に伴ってリアＲｃｈスピーカ１２４におけるＲｃｈ音声のレベルも徐々に下がっていく。そして、ユーザの向きが前記（３６０°）に至った時点でリアＲｃｈスピーカ１２４における音声出力レベルは０となる。
【００８６】
また、リアＲｃｈスピーカ１２４におけるＲｃｈ音声レベルの低下と平行して、ユーザの顔の向きの変化に伴ってフロントＬｃｈスピーカ１２１におけるＬｃｈ音声のレベルが徐々に上がっていく。そして、ユーザの向きが前記ユーザ（３６０°）に至った時点でフロントＬｃｈスピーカ１２１におけるＬｃｈ音声のレベルはユーザ指定レベルとなる。このようにしてスピーカからの音声出力が図１０Ｄの状態から図１０Ａの状態へと切り替えられる。
【００８７】
このようにして、音量をユーザの向きに伴って徐々に変化させていくことにより、ユーザに違和感を与えることなく、音声出力を行うスピーカの切り替えを行うことができる。
【００８８】
なお、上述の説明では、前方（０°）、左（９０°）、後方（１８０°）、右（２７０°）の４つの方向を基準としてスピーカからの音声出力を制御したが、基準とする方向はその４つの方向に限られない。図１３および図１４を参照して、以下に説明するように、さらに斜め方向も加えた計８つの方向を基準としてスピーカからの音声出力を制御するようにしてもよい。
【００８９】
図１３Ａに示すようにユーザが前方（０°）を向いている場合にはフロントＬｃｈスピーカ１２１からＬｃｈ音声が出力され、フロントＲｃｈスピーカ１２２からＲｃｈ音声が出力される。それ以外のリアＬｃｈスピーカ１２３およびリアＲｃｈスピーカ１２４からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９０】
また、図１３Ｂに示すように、ユーザが前方左（４５°）を向いている場合には、リアＬｃｈスピーカ１２３からＬｃｈ音声が出力され、フロントＲｃｈスピーカ１２２からＲｃｈ音声が出力される。それ以外のフロントＬｃｈスピーカ１２１およびリアＲｃｈスピーカ１２４からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９１】
また、図１３Ｃに示すように、ユーザが左（９０°）を向いている場合には、リアＬｃｈスピーカ１２３からＬｃｈ音声が出力され、フロントＬｃｈスピーカ１２１からＲｃｈ音声が出力される。それ以外のフロントＲｃｈスピーカ１２２およびリアＲｃｈスピーカ１２４からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９２】
また、図１３Ｄに示すように、ユーザが後方左（１３５°）を向いている場合には、リアＲｃｈスピーカ１２４からＬｃｈ音声が出力され、フロントＬｃｈスピーカ１２１からＲｃｈ音声が出力される。それ以外のフロントＲｃｈスピーカ１２２およびリアＬｃｈスピーカ１２３からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９３】
また、図１４Ａに示すように、ユーザが後方（１８０°）を向いている場合には、リアＲｃｈスピーカ１２４からＬｃｈ音声が出力され、リアＬｃｈスピーカ１２３からＲｃｈ音声が出力される。それ以外のフロントＬｃｈスピーカ１２１およびフロントＲｃｈスピーカ１２２からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９４】
また、図１４Ｂに示すように、ユーザが後方右（２２５°）を向いている場合には、フロントＲｃｈスピーカ１２２からＬｃｈ音声が出力され、リアＬｃｈスピーカ１２３からＲｃｈ音声が出力される。それ以外のフロントＬｃｈスピーカ１２１およびリアＲｃｈスピーカ１２４からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９５】
また、図１４Ｃに示すように、ユーザが右（２７０°）を向いている場合には、フロントＲｃｈスピーカ１２２からＬｃｈ音声が出力され、リアＲｃｈスピーカ１２４からＲｃｈ音声が出力される。それ以外のフロントＬｃｈスピーカ１２１およびリアＬｃｈスピーカ１２３からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９６】
さらに、図１４Ｄに示すように、ユーザが前方右（３１５°）を向いている場合には、フロントＬｃｈスピーカ１２１からＬｃｈ音声が出力され、リアＲｃｈスピーカ１２４からＲｃｈ音声が出力される。それ以外のフロントＲｃｈスピーカ１２２およびリアＬｃｈスピーカ１２３からは音声は出力されない。これによりスイートスポットにいるユーザは良好なステレオ感を得ることができる。
【００９７】
なお、図１２では、ユーザの向きに応じて音量を緩やかに変化させることによりスピーカからの音声出力を切り替えたが、切り替える手法はそれだけに限られない。図１５Ａに示すように、４５°、１３５°、２２５°、３１５°を境界に各スピーカの音声出力を切り替えるようにしてもよい。また、図１５Ｂに示すように、０°、９０°、１８０°、２７０°を境界に各スピーカの音声出力を切り替えるようにしてもよい。図１５Ａおよび図１５Ｂは図１２と同様に、縦軸をＬｃｈ音声およびＲｃｈ音声の出力レベルとし、横軸をユーザの向きとして、ユーザの向きに応じた音声の出力レベルの変化を示したものである。
【００９８】
第２の実施の形態によれば、ユーザの向きに応じて常にユーザの左からはＬｃｈ音声が出力され、ユーザの右からはＲｃｈ音声が出力される。これにより、ユーザはどの方向を向いていても常に適切な状態でステレオ音声を聴取することができる。
【００９９】
＜３．第３の実施の形態＞
［３−１.音声出力制御処理］
次に本技術の第３の実施の形態について説明する。第３の実施の形態における音声出力制御装置の構成は第２の実施の形態と同様であるため、その説明を省略する。
【０１００】
図１６は第３の実施の形態における音声出力制御の図である。第３の実施の形態は音場に複数のユーザがいる場合における音声出力制御である。図１６においてはユーザが二人いる場合を例にして説明を行う。
【０１０１】
図１６Ａは、二人のユーザ、ユーザＡおよびユーザＢが共にスイートスポットにいる場合を示すものである。この場合、顔検出部１２によって撮像部１１から供給された画像から二人のユーザの顔が検出される。そして、ユーザ位置検出部１３が二人のユーザのそれぞれの位置を検出し、ユーザ位置判定部１４がユーザが共にスイートスポットにいると判定した場合、ユーザ向き検出部２１はユーザそれぞれの顔の向きを検出する。
【０１０２】
さらに、ユーザ向き検出部２１は、ユーザＡおよびユーザＢの顔の向きをそれぞれ同じ大きさのベクトルａ、ｂとし、そのベクトル和ｃ方向を音声出力制御部１５へ供給する一つの向きとする。このようにして、複数のユーザがいても、その複数のユーザの顔の向きから一つの向きを決定する。また、二人のユーザのベクトルａ、ベクトルｂに対して重み付け（重み係数ｋ：０≦ｋ≦１）を行い、下記の式１に基づいてベクトル和ｃを算出してもよい。
【０１０３】
［式１］
ｃ＝ｋａ＋（１−ｋ）ｂ
【０１０４】
例えば、ホームシアターシステムのリモートコントローラを操作するユーザを検出し、そのユーザの向きを他のユーザよりも優先させるようにしてもよい。リモートコントローラを操作しているユーザはコンテンツの視聴に対して能動的であると考えられるからである。リモートコントローラを操作するユーザを検出する方法としては、例えば、撮像部１１で取得した画像から公知の物体認識技術でリモートコントローラを検出する、または、リモートコントローラから出力される赤外線からリモートコントローラの位置を検出する。そして、ユーザ位置検出部１３により検出したユーザの位置とリモートコントローラの位置とを対応させることによりリモートコントローラを操作しているユーザを特定することが可能である。
【０１０５】
図１６Ｂは、二人のユーザのうち、ユーザＡのみがスイートスポット内に位置し、ユーザＢはスイートスポット内にいない場合を示すものである。この場合、スイートスポットにいるユーザＡの顔が向いている方向を基準として音声出力制御部１５は音声出力処理を行う。
【０１０６】
図１６Ｂに示す例では、スイートスポットにいるユーザＢは略右方向を向いている。よって、この場合、第２の実施の形態で上述したように、右方向を向いているユーザＢにステレオ再生環境を提供するために、フロントＲｃｈスピーカ１２２からＬｃｈ音声が出力され、リアＲｃｈスピーカ１２４からＲｃｈ音声が出力される。このように、スイートスポットにユーザが一人いる場合には、そのユーザの顔の向きを基準として第２の実施の形態に基づく音声出力処理を行う。
【０１０７】
このように、一人のユーザがスイートスポットにいる場合にはそのユーザを優先して音声出力制御を行う。これは、スイートスポットにいるユーザは音声を良好な環境で聴くことを望んでおり、一方、スイートスポットいないユーザは、音声を聴くことに重きをおいてはいないと考えられるからである。
【０１０８】
図１６Ｃは、二人のユーザＡ、ユーザＢが共にスイートスポットにいない場合を示すものである。この場合、ユーザＡとユーザＢとで優先順位をつけることはできないため、図１６Ａに基づいて説明した場合と同様に二人の顔の向きをそれぞれ同じ大きさのベクトルｄ、ｅとして考え、そのベクトル和ｆを音声出力制御部１５に供給する一つの方向とする。
【０１０９】
図１７は第３の実施の形態における音声出力制御の流れを示すフローチャートである。図１７において、ステップＳ１０１乃至ステップＳ１０６およびステップＳ１１０は第１の実施の形態と同様であるため、その説明を省略する。また、ステップＳ２０１は第２の実施の形態と同様である。
【０１１０】
ステップＳ１０５で顔検出部１２により顔検出が行われると、次にステップＳ３０１で顔検出部１２により複数の顔が検出されたか否かが判定される。複数の顔が検出された場合とは、音場に複数のユーザがいるということを意味している。
【０１１１】
ステップＳ３０１で複数の顔が検出されていないと判定された場合、処理はステップＳ３０２に進む（ステップＳ３０１のＮｏ）。複数の顔が検出されていない場合とは、ユーザが一人の場合であるため、ステップＳ３０２で音声出力制御部１５は、第１または第２の実施の形態と同様の音声出力制御を行う。
【０１１２】
一方、ステップＳ３０１で複数の顔が検出されたと判定された場合、処理はステップＳ１０６に進む（ステップＳ３０１のＮｏ）。次にステップＳ１０６で、ユーザ位置検出部１３は、顔が検出された複数のユーザのそれぞれの位置を検出する。次にステップＳ３０３で、ユーザ位置判定部１４は、検出された複数のユーザの位置がスイートスポット内であるか否かを判定する。
【０１１３】
ステップＳ３０３で、複数のユーザ全員がスイートスポット内にいると判定された場合、処理はステップＳ２０１に進む（ステップＳ３０３のＮｏ）。そしてステップＳ２０１で、ユーザ向き検出部２１は、検出された全てのユーザの顔の向きを検出する。次にステップＳ３０４でユーザ向き検出部２１は、上述したように全ユーザの顔の向きからベクトル和の算出を行うことにより、音声出力制御の基準となる一つの向きを求める。
【０１１４】
そしてステップＳ３０５で、音声出力制御部１５は、ユーザ向き検出部２１によって求められた一つの向きに基づいて音声出力制御を行う。なお、このようにしてステップＳ３０５に至る場合とは、ユーザが複数存在し、全てのユーザがスイートスポットにいる場合である。よって、この場合は、図１６Ａに示す音声出力制御が行われる。
【０１１５】
説明はステップＳ３０３に戻る。ステップＳ３０３でスイートスポットに全ユーザがいるとは判定されなかった場合、処理はステップＳ３０６に進む（ステップＳ３０３のＮｏ）。次にステップＳ３０６で、ユーザ位置判定部１４は、スイートスポットに一人のユーザがいる否かを判定する。スイートスポットに一人のユーザがいないと判定された場合、処理はステップＳ２０１に進む（ステップＳ３０６のＮｏ）。
【０１１６】
そして、ステップＳ２０１、ステップＳ３０４およびステップＳ３０５によって音声出力制御が行われる。このようにしてステップＳ３０５に至る場合とは、音場にユーザがいるが、全てのユーザがスイートスポットにいない場合であるので、図１６Ｃに示す音声出力制御が行われる。
【０１１７】
一方、ステップＳ３０６で、スイートスポットに一人のユーザがいると判定された場合、処理はステップＳ３０７に進む（ステップＳ３０６のＹｅｓ）。そして、ステップＳ３０７で、スイートスポットにいるユーザの顔の向きを音声出力制御の基準の向きとして決定する。決定された向きは音声出力制御部１５に供給される。
【０１１８】
そしてステップＳ３０５で、ステップＳ３０７で決定された向きを基準として音声出力制御が行われる。このようにしてステップＳ３０５に至る場合とは、複数のユーザがおり、その内の一人がスイートスポットにいる場合であるので、図１６Ｂに示す音声出力制御が行われる。
【０１１９】
以上のようにして、第３の実施の形態における音声出力制御が行われる。この第３の実施の形態によれば、複数のユーザが音場にいる場合であっても、スイートスポットにいるユーザを優先して適切に音声出力制御を行うことができる。なお、第３の実施の形態では、ユーザが二人いる場合を例にして説明を行ったが、ユーザの数は二人に限られない。ユーザが三人以上である場合にも同様にして音声出力制御を行うことができる。
【０１２０】
＜４．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
【０１２１】
例えば、第２および第３の実施の形態においては、複数のスピーカのそれぞれに撮像部１１としてのカメラを設けたが、カメラを設ける位置はスピーカに限られるものではない。例えば、スピーカを設置した室内の天井のスイートスポットの上部に対応する位置に全方位カメラを設けてもよい。これにより、複数のスピーカのそれぞれにカメラを設けた場合と同様に、ユーザがどの方向を向いてその向きを検出することができる。
【０１２２】
また、実施の形態では、特許請求の範囲におけるユーザ検出部として撮像部１１を挙げているが、撮像部１１以外にも赤外線センサを用いるようにしてもよい。赤外線センサを用いた場合、赤外線センサからの感受データに基づいてユーザの位置および向きを検出する。
【０１２３】
また、センタースピーカ１２５とサブウーファー１２６を備える５．１サラウンドシステムではなく、本技術を実施するために、センタースピーカ１２５とサブウーファー１２６を除いて４つのスピーカで音場を形成してもよい。
【０１２４】
また、音場を形成するスピーカの数は４つに限られるものではない。３つ以上であればスピーカの数はいくつであってもよい。
【０１２５】
また、本技術は下記の構成をとることもできる。
【０１２６】
（１）複数の音声出力部により形成される音場にいるユーザを検出するユーザ検出部と、
該ユーザ検出部により検出されたユーザが前記音場内の所定の範囲に位置しているかを判定するユーザ位置判定部と、
該ユーザ位置判定部の判定結果に基づいて前記音声出力部における音声出力を制御する音声出力制御部と
を備える音声出力制御装置。
【０１２７】
（２）前記音声出力制御部は、前記ユーザ位置判定部により前記ユーザが前記所定の範囲に位置していないと判定された場合、少なくとも２つのステレオ再生環境が形成されるように前記音声出力部における音声出力を制御する
前記（１）に記載の音声出力制御装置。
【０１２８】
（３）前記音声出力制御部は、前記ユーザ位置判定部により前記ユーザが前記所定の範囲に位置していると判定された場合、一つのステレオ再生環境が形成されるように前記音声出力部における音声出力を制御する
前記（１）または（２）に記載の音声出力制御装置。
【０１２９】
（４）前記ユーザ検出部により、複数のユーザが検出された場合、該複数のユーザのそれぞれの顔の向きを検出するユーザ向き検出部をさらに備え、
前記音声出力制御部は、前記ユーザ向き検出部の検出結果に基づいて前記音声出力部における音声出力を制御する
前記（１）に記載の音声出力制御装置。
【０１３０】
（５）前記ユーザ向き検出部は、前記ユーザ位置判定部により前記複数のユーザが前記所定の範囲に位置していると判定された場合、前記複数のユーザの顔の向きから一つの向きを検出し、
前記音声出力制御部は、前記一つの向きに基づいて前記音声出力部における音声出力を制御する
前記（４）に記載の音声出力制御装置。
【０１３１】
（６）前記ユーザ向き検出部は、前記ユーザ位置判定部により前記複数のユーザのうち、一人のユーザが前記所定の範囲に位置していると判定された場合、前記所定の範囲にいる前記ユーザの顔の向きを検出し、
前記音声出力制御部は、前記ユーザの顔の向きに基づいて前記音声出力部における音声出力を制御する
前記（４）または（５）に記載の音声出力制御装置。
【０１３２】
（７）前記ユーザ向き検出部は、前記ユーザ位置判定部により前記複数のユーザが前記所定の範囲に位置していないと判定された場合、検出した前記複数のユーザの顔の向きから一つの方向を決定し、
前記音声出力制御部は、前記一つの方向に基づいて前記音声出力部における音声出力を制御する
前記（４）から（６）のいずれかに記載の音声出力制御装置。
【０１３３】
（８）前記音声出力制御部は、前記ユーザ向き検出部により検出された前記向きに基づいて、前記ユーザの左右からＬチャンネル音声およびＲチャンネル音声がそれぞれ出力されるように前記音声出力部における音声出力を制御する
前記（４）から（７）のいずれかに記載の音声出力制御装置。
【０１３４】
（９）前記音声出力部はスピーカであり、
前記所定の範囲は前記複数の音声出力部によって形成されるスイートスポットである
前記（１）から（８）のいずれかに記載の音声出力制御装置。
【０１３５】
（１０）前記音声出力部は、フロントＬチャンネルスピーカ、フロントＲチャンネルスピーカ、リアＬチャンネルスピーカ、リアＬチャンネルスピーカからなる
前記（１）から（９）のいずれかに記載の音声出力制御装置。
【０１３６】
（１１）複数の音声出力部により形成される音場にいるユーザを検出し、
検出されたユーザが前記音場内の所定の範囲に位置しているかを判定し、
前記ユーザが前記音場内の所定の範囲に位置しているか否かの判定結果に基づいて前記音声出力部における音声出力を制御する
音声出力制御方法。
【符号の説明】
【０１３７】
１３・・・ユーザ検出部
１４・・・ユーザ位置判定部
１５・・・音声出力制御部
１０・・・音声出力制御装置。
２１・・・ユーザ向き検出部
１２１・・フロントＬｃｈスピーカ
１２２・・フロントＲｃｈスピーカ
１２３・・リアＬｃｈスピーカ
１２４・・リアＲｃｈスピーカ
【特許請求の範囲】
【請求項１】
複数の音声出力部により形成される音場にいるユーザを検出するユーザ検出部と、
該ユーザ検出部により検出されたユーザが前記音場内の所定の範囲に位置しているかを判定するユーザ位置判定部と、
該ユーザ位置判定部の判定結果に基づいて前記音声出力部における音声出力を制御する音声出力制御部と
を備える音声出力制御装置。
【請求項２】
前記音声出力制御部は、前記ユーザ位置判定部により前記ユーザが前記所定の範囲に位置していないと判定された場合、少なくとも２つのステレオ再生環境が形成されるように前記音声出力部における音声出力を制御する
請求項１に記載の音声出力制御装置。
【請求項３】
前記音声出力制御部は、前記ユーザ位置判定部により前記ユーザが前記所定の範囲に位置していると判定された場合、１つのステレオ再生環境が形成されるように前記音声出力部における音声出力を制御する
請求項１に記載の音声出力制御装置。
【請求項４】
前記ユーザ検出部により、複数のユーザが検出された場合、該複数のユーザのそれぞれの顔の向きを検出するユーザ向き検出部をさらに備え、
前記音声出力制御部は、前記ユーザ向き検出部の検出結果に基づいて前記音声出力部における音声出力を制御する
請求項１に記載の音声出力制御装置。
【請求項５】
前記ユーザ向き検出部は、前記ユーザ位置判定部により前記複数のユーザが前記所定の範囲に位置していると判定された場合、前記複数のユーザの顔の向きから１つの向きを検出し、
前記音声出力制御部は、前記１つの向きに基づいて前記音声出力部における音声出力を制御する
請求項４に記載の音声出力制御装置。
【請求項６】
前記ユーザ向き検出部は、前記ユーザ位置判定部により前記複数のユーザのうち、一人のユーザが前記所定の範囲に位置していると判定された場合、前記所定の範囲にいる前記ユーザの顔の向きを検出し、
前記音声出力制御部は、前記ユーザの顔の向きに基づいて前記音声出力部における音声出力を制御する
請求項４に記載の音声出力制御装置。
【請求項７】
前記ユーザ向き検出部は、前記ユーザ位置判定部により前記複数のユーザが前記所定の範囲に位置していないと判定された場合、検出した前記複数のユーザの顔の向きから１つの方向を決定し、
前記音声出力制御部は、前記１つの方向に基づいて前記音声出力部における音声出力を制御する
請求項４に記載の音声出力制御装置。
【請求項８】
前記音声出力制御部は、前記ユーザ向き検出部により検出された前記向きに基づいて、前記ユーザの左右からＬチャンネル音声およびＲチャンネル音声がそれぞれ出力されるように前記音声出力部における音声出力を制御する
請求項４に記載の音声出力制御装置。
【請求項９】
前記音声出力部はスピーカであり、
前記所定の範囲は前記複数の音声出力部によって形成されるスイートスポットである
請求項１に記載の音声出力制御装置。
【請求項１０】
前記音声出力部は、フロントＬチャンネルスピーカ、フロントＲチャンネルスピーカ、リアＬチャンネルスピーカ、リアＬチャンネルスピーカからなる
請求項１に記載の音声出力制御装置。
【請求項１１】
複数の音声出力部により形成される音場にいるユーザを検出し、
検出されたユーザが前記音場内の所定の範囲に位置しているかを判定し、
前記ユーザが前記音場内の所定の範囲に位置しているか否かの判定結果に基づいて前記音声出力部における音声出力を制御する
音声出力制御方法。
【請求項１】
複数の音声出力部により形成される音場にいるユーザを検出するユーザ検出部と、
該ユーザ検出部により検出されたユーザが前記音場内の所定の範囲に位置しているかを判定するユーザ位置判定部と、
該ユーザ位置判定部の判定結果に基づいて前記音声出力部における音声出力を制御する音声出力制御部と
を備える音声出力制御装置。
【請求項２】
前記音声出力制御部は、前記ユーザ位置判定部により前記ユーザが前記所定の範囲に位置していないと判定された場合、少なくとも２つのステレオ再生環境が形成されるように前記音声出力部における音声出力を制御する
請求項１に記載の音声出力制御装置。
【請求項３】
前記音声出力制御部は、前記ユーザ位置判定部により前記ユーザが前記所定の範囲に位置していると判定された場合、１つのステレオ再生環境が形成されるように前記音声出力部における音声出力を制御する
請求項１に記載の音声出力制御装置。
【請求項４】
前記ユーザ検出部により、複数のユーザが検出された場合、該複数のユーザのそれぞれの顔の向きを検出するユーザ向き検出部をさらに備え、
前記音声出力制御部は、前記ユーザ向き検出部の検出結果に基づいて前記音声出力部における音声出力を制御する
請求項１に記載の音声出力制御装置。
【請求項５】
前記ユーザ向き検出部は、前記ユーザ位置判定部により前記複数のユーザが前記所定の範囲に位置していると判定された場合、前記複数のユーザの顔の向きから１つの向きを検出し、
前記音声出力制御部は、前記１つの向きに基づいて前記音声出力部における音声出力を制御する
請求項４に記載の音声出力制御装置。
【請求項６】
前記ユーザ向き検出部は、前記ユーザ位置判定部により前記複数のユーザのうち、一人のユーザが前記所定の範囲に位置していると判定された場合、前記所定の範囲にいる前記ユーザの顔の向きを検出し、
前記音声出力制御部は、前記ユーザの顔の向きに基づいて前記音声出力部における音声出力を制御する
請求項４に記載の音声出力制御装置。
【請求項７】
前記ユーザ向き検出部は、前記ユーザ位置判定部により前記複数のユーザが前記所定の範囲に位置していないと判定された場合、検出した前記複数のユーザの顔の向きから１つの方向を決定し、
前記音声出力制御部は、前記１つの方向に基づいて前記音声出力部における音声出力を制御する
請求項４に記載の音声出力制御装置。
【請求項８】
前記音声出力制御部は、前記ユーザ向き検出部により検出された前記向きに基づいて、前記ユーザの左右からＬチャンネル音声およびＲチャンネル音声がそれぞれ出力されるように前記音声出力部における音声出力を制御する
請求項４に記載の音声出力制御装置。
【請求項９】
前記音声出力部はスピーカであり、
前記所定の範囲は前記複数の音声出力部によって形成されるスイートスポットである
請求項１に記載の音声出力制御装置。
【請求項１０】
前記音声出力部は、フロントＬチャンネルスピーカ、フロントＲチャンネルスピーカ、リアＬチャンネルスピーカ、リアＬチャンネルスピーカからなる
請求項１に記載の音声出力制御装置。
【請求項１１】
複数の音声出力部により形成される音場にいるユーザを検出し、
検出されたユーザが前記音場内の所定の範囲に位置しているかを判定し、
前記ユーザが前記音場内の所定の範囲に位置しているか否かの判定結果に基づいて前記音声出力部における音声出力を制御する
音声出力制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−５８９９１（Ｐ２０１３−５８９９１Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９７４４７（Ｐ２０１１−１９７４４７）
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]