音制御装置、プログラム及び制御方法
【課題】ユーザに対して、お店等の実オブジェクト（又は仮想オブジェクト）が存在する方向から、実オブジェクト（又は仮想オブジェクト）についての簡易な情報を提示し、これに対して、ユーザが何らかのアクションを行なうことにより、さらに詳細な情報を得ることができる技術を提供する。
【解決手段】音制御装置は、センサ部と、制御部とを具備する。前記制御部は、前記センサ部からの信号に基づいて、空間内に存在する実オブジェクト１又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定し、前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御し、さらに前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する。
【解決手段】音制御装置は、センサ部と、制御部とを具備する。前記制御部は、前記センサ部からの信号に基づいて、空間内に存在する実オブジェクト１又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定し、前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御し、さらに前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、ヘッドホン又はイヤホンから聞こえる音を制御する音制御装置等の技術に関する。
【背景技術】
【０００２】
従来から、音が特定の方向から聞こえてくるように、ヘッドホンまたはイヤホンの音信号を制御する技術が知られている。
【０００３】
下記特許文献１には、楽曲についての複数の仮想音源が仮想音源空間内に配置され、複数の仮想音源の方向から楽曲が聞こえるように、ヘッドホンの音信号を制御する技術が記載されている。例えば、ヘッドホンを装着したユーザが正面を向いている状態から右を向いたとする。この場合、正面を向いていたときに前方から聞こえてきた楽曲が左方向から聞こえてきて、正面を向いていたときに右方向から聞こえてきの楽曲が前方から聞こえてくる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−９２１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザに対して、お店等の実オブジェクト（又は仮想オブジェクト）が存在する方向から、実オブジェクト（又は仮想オブジェクト）についての簡易な情報を提示し、これに対して、ユーザが何らかのアクションを行なうことにより、さらに詳細な情報を得ることができる技術が望まれている。
【課題を解決するための手段】
【０００６】
本技術の一形態に係る音制御装置は、センサ部と、制御部とを具備する。
前記制御部は、前記センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定し、前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御し、前記センサ部からの信号に基づいて前記１次情報に対するユーザのアクションを判定し、前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する。
【０００７】
この音制御装置では、例えば、お店、建築物等の実オブジェクトについての１次情報（例えば、「お店があります」）が、その実オブジェクトが存在する方向から聞こえてくるように、音出力部（例えば、ヘッドホン又はイヤホン）の音信号が制御される。あるいは、例えば、メールプログラム等の仮想オブジェクトが空間内に仮想的に配置されている場合を想定する。この場合、その方向から仮想オブジェクトの１次情報（例えば、「メールが届きました」）が、その仮想オブジェクトが配置された方向から聞こえてくるように、音出力部の音信号が制御される。
【０００８】
この１次情報に対して、ユーザがアクションを行なうと、このアクションがセンサ部により検出され、１次情報よりも詳しい内容の第２の情報（例えば、お店の詳細情報、メールの内容）が聞こえてくるように、音出力部の音信号が制御される。ユーザは、１次情報に対して、アクションを行なうことにより、１次情報よりも詳しい内容の２次情報を聞くことができる。
【０００９】
上記音制御装置であって、前記制御部は、通信部をさらに具備していてもよい。この場合、前記制御部は、音制御装置の位置を測定し、前記通信部を介して、空間に存在する前記実オブジェクトの位置情報を取得し、各位置情報に基づいて、前記音制御装置及び前記実オブジェクトの距離を判定し、前記距離が所定の閾値以下となった場合に、前記実オブジェクトについての１次情報が前記音出力部から聞こえてくるように、音信号の出力を制御してもよい。
【００１０】
これにより、ユーザが音制御装置を携帯しているときに、音制御装置と実オブジェクトとの距離が所定の閾値以下となった場合に、実オブジェクトについての１次情報が実オブジェクトが存在する方向から聞こえてくるように、音出力部の音信号が制御される。ユーザは、実オブジェクトについての２次情報（詳細情報）が知りたければ、１次情報に対してアクションを行なえばよい。
【００１１】
上記音制御装置において、前記制御部は、前記１次情報に対するユーザのアクションとして、前記１次情報が聞こえた方向に顔を向ける動きを判定し、顔の向きが前記１次情報が聞こえた方向に近づくに従って、前記２次情報の音量が大きくなるように、前記音信号の出力を制御してもよい。
【００１２】
この音制御装置では、ユーザが２次情報を知りたい場合に１次情報が聞こえた方向に顔を向けると、顔の向きが１次情報が聞こえた方向に近づくに従って、２次情報の音量が大きくなる。
【００１３】
上記音制御装置において、前記制御部は、メインタスクを実行し、顔の向きが１次情報が聞こえた方向に近づくに従って、前記２次情報の音量が大きくなりつつ、前記メインタスクの音量が小さくなるように、前記音信号の出力を制御してもよい。
【００１４】
この制御装置では、ユーザが２次情報を知りたい場合に１次情報が聞こえた方向に顔を向けると、２次情報の音量が大きくなり、例えば、メインタスクで実行されている楽曲などの音が小さくなる。
【００１５】
上記音制御装置において、前記制御部は、前記１次情報に対するユーザのアクションとして、頭の上下方向への動きを判定し、上下方向へ頭が動かされた場合に、前記２次情報が前記音出力部から聞えてくるように前記音信号の出力を制御してもよい。
【００１６】
これにより、ユーザは、頭を上下方向に動かす（うなずく）ことで、２次情報を聞くことができる。
【００１７】
上記音制御装置において、前記制御部は、前記１次情報に対するユーザのアクションとして、ユーザが１次情報が聞こえた方向に顔を向けた状態での頭の動きを判定し、１次情報が聞こえた方向に顔を向けた状態での頭の動きに応じて、前記２次情報を音信号として出力するか否かを判定してもよい。
【００１８】
これにより、ユーザは、１次情報が聞こえた方向に顔を向けた状態で、頭を動かすことで、２次情報を聞くかどうかを選択することができる。
【００１９】
上記音制御装置において、前記制御部は、ユーザが１次情報が聞こえた方向に顔を向けた状態での頭の上下方向への動きを判定し、１次情報が聞こえた方向に顔を向けた状態での頭の上下方向への動きに応じて、２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御してもよい。
【００２０】
これにより、ユーザは、１次情報が聞こえた方向に顔を向けた状態で、頭を上下方向に動かす（うなずく）ことで、２次情報を聞くことができる。
【００２１】
上記音制御装置において、前記制御部は、前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記２次情報が聞こえてくるように、前記音信号の出力を制御してもよい。
【００２２】
上記音制御装置において、前記音出力部は、ヘッドホン又はイヤホンであってもよい。
【００２３】
本技術の一形態に係るプログラムは、音制御装置に、センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定するステップを実行させる。
前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御するステップを実行させる。
前記センサ部からの信号に基づいて前記１次情報に対するユーザのアクションを判定するステップを実行させる。
前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御するステップを実行させる。
【００２４】
本技術の一形態に係る制御方法は、センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定することを含む。
前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御することを含む。
前記センサ部からの信号に基づいて、前記１次情報に対するユーザのアクションを判定することを含む。
前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御することを含む。
【発明の効果】
【００２５】
以上のように、本技術によれば、お店等の実オブジェクト（又は仮想オブジェクト）が存在する方向から、実オブジェクト（又は仮想オブジェクト）についての簡易な情報を提示し、これに対して、ユーザが何らかのアクションを行なうことにより、さらに詳細な情報を得ることができる技術を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本技術の一形態に係る音制御装置を示す図である。
【図２】本技術の一形態に係る音制御装置の電気的な構成を示すブロック図である。
【図３】本技術の一形態に係る携帯電話機の制御部の処理を示すフローチャートである。
【図４】図３に示す処理を説明するための補足図であり、ユーザがヘッドホン装着しながら地上を移動している様子を示す図である。
【図５】どのようなカテゴリに属する実オブジェクトについての情報を提示するかをユーザが設定するための設定画面の一例を示す図である。
【図６】１次情報に対するユーザのアクションに応じて、２次情報がヘッドホンから聞こえてくるときの制御部の処理についての一例を示すフローチャートである。
【図７】１次情報に対するユーザのアクションに応じて、２次情報がヘッドホンから聞こえてくるときの制御部の処理についての他の例を示すフローチャートである。
【図８】１次情報に対するユーザのアクションに応じて、２次情報がヘッドホンから聞こえてくるときの制御部の処理についてのさらに別の例を示すフローチャートである。
【図９】本技術の他の形態に係る音制御装置を示す図である。
【図１０】他の形態に係る音制御装置の電気的な構成を示すブロック図である。
【図１１】他の形態に係る表示部一体型ＰＣの制御部の処理を示すフローチャートである。
【図１２】図１１に示す処理を説明するための補足図であり、空間内に仮想的に配置された仮想オブジェクトを示す図である。
【図１３】ユーザがメールプログラムについての１次情報を聞いた後に、１次情報が聞こえた方向を向いたときの様子を示す図である。
【図１４】さらに別の形態に係る音制御装置の処理を示すフローチャートである。
【図１５】図１４に示す処理を説明するための補足図であり、ユーザが仮想オブジェクト（メールプログラム）が存在する方向を向いて、声を発したときの様子を示す図である。
【発明を実施するための形態】
【００２７】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００２８】
［音制御装置１００の全体構成及び各部の構成］
図１は、本技術の一形態に係る音制御装置１００を示す図である。図２は、音制御装置１００の電気的な構成を示すブロック図である。これらの図に示すように、音制御装置１００は、音制御装置本体１０（携帯電話機１０）と、音制御装置本体１０に接続されたヘッドホン２０（音出力部）と、ヘッドホン２０に取り付けられたセンサ部３０とを含む。第１実施形態の説明では、音制御装置本体１０の一例として、携帯電話機１０を例に挙げて説明する。
【００２９】
携帯電話機１０は、制御部１１と、表示部１２と、入力部１３と、アンテナ１４と、通信部１５と、記憶部１６とを備えている。また、携帯電話機１０は、図示しない通話用スピーカや、通話用マイクロフォン等を備えている。
【００３０】
表示部１２は、例えば、液晶ディスプレイや、ＥＬ（Electro-Luminescence）ディスプレイ等により構成される。入力部１３は、指やスタイラスペン等による表示部１２へのユーザ操作を検出するタッチセンサと、携帯電話機１０に設けられた入力ボタンとを含む。
【００３１】
記憶部１６は、揮発性のメモリ（例えば、ＲＡＭ（Random Access Memory））と、不揮発のメモリ（例えば、ＲＯＭ（Read Only Memory））とを含む。揮発性のメモリは、制御部１１の作業領域として用いられ、制御部１１の処理に用いられるプログラムや、楽曲データ、映像データ等のデータを一時的に記憶する。不揮発性のメモリは、制御部１１の処理に必要な各種のプログラムや、楽曲データ、ビデオデータ等のデータを固定的に記憶する。不揮発性のメモリに記憶されるプログラムは、光ディスク、半導体メモリ等の可搬性の記録媒体から読み取られてもよい。
【００３２】
制御部１１は、ＣＰＵ（Central Processing Unit）等により構成される。制御部１１は、記憶部１６に記憶されたプログラムに基づいて、種々の演算を実行する。
【００３３】
通信部１５は、アンテナ１４により送受信される電波の周波数変換や、変調及び復調等の処理を実行する。アンテナ１４は、通話用の電波や、電子メール、Ｗｅｂデータ等のパケット通信用の電波を送受信する。
【００３４】
通信部１５は、図示しない情報管理サーバと通信可能とされている。情報管理サーバは、空間内に実在する実オブジェクト１（お店や、建築物等）（図４参照）の位置情報と、実オブジェクト１についての１次情報及び２次情報とを記憶している。そして、情報管理サーバは、携帯電話機１０からの要求に応じて、実オブジェクト１の位置情報や、実オブジェクト１についての１次情報及び２次情報とを送信する。
【００３５】
実オブジェクト１（お店や、建築物等）についての１次情報は、実オブジェクト１についての簡易な情報である。一方、実オブジェクト１についての２次情報は、実オブジェクト１のついての詳細な情報である。１次情報は、例えば、実オブジェクト１がお店である場合、そのお店の名前、そのお店の種類などであり、実オブジェクト１が建築物である場合、その建築物の名前、建築物の種類などである。２次情報は、例えば、実オブジェクト１がお店である場合、そのお店のお勧めの商品、営業時間等であり、実オブジェクト１が建築物である場合、その建築物についての詳細な歴史等である。
【００３６】
センサ部３０は、例えば、ヘッドホン２０の頭頂部に配置される。センサ部３０は、地上でのユーザの顔の向きを検出する方位センサ（例えば、地磁気センサ）と、ユーザの頭の動きを検出するモーションセンサとを含む。モーションセンサとしては、例えば、角速度センサ（例えば、振動型ジャイロセンサ、回転コマジャイロセンサ等）や、加速度センサ（例えば、ピエゾ抵抗型、圧電型、静電容量型等）等が用いられる。モーションセンサは、角速度センサと、加速度センサの組み合わせであっても構わない。
【００３７】
センサ部３０は、Ａ／Ｄ変換部を含む。方位センサ、モーションセンサから出力された信号は、Ａ／Ｄ変換されて、携帯電話機１０の制御部１１に入力される。
【００３８】
図１及び図２では、携帯電話機１０と、ヘッドホン２０が有線で接続された場合が示されているが、携帯電話機１０とヘッドホン２０とは無線により通信可能であってもよい。
【００３９】
［動作説明］
次に、本実施形態に係る携帯電話機１０の制御部１１の処理について説明する。図３は、本実施形態に係る携帯電話機１０（制御部１１）の処理を示すフローチャートである。図４は、図３に示す処理を説明するための補足図であり、ユーザがヘッドホン２０装着しながら地上を移動している様子を示す図である。
【００４０】
まず、ユーザは、ヘッドホン２０を装着して、地上を歩く。この場合、ユーザは、携帯電話機１０に保存されている楽曲データやビデオデータの音を聴きながら歩いていてもよい。
【００４１】
図３に示すように、制御部１１は、まず、ＧＰＳ衛星からの電波をアンテナ１４及び通信部１５を介して受信し、ＧＰＳ衛星からの電波に基づいて、ユーザの位置（携帯電話機１０の位置）を測定する（ステップ１０１）。このユーザの位置（携帯電話機１０の位置）の測定は、所定の周期で実行される。
【００４２】
次に、制御部１１は、情報管理サーバに対して、ユーザの位置から所定の距離ｄ以内に存在する実オブジェクト１（お店、建築物等）の位置情報、１次情報及び２次情報の要求信号を送信する（ステップ１０２）。この距離ｄは、例えば、１０ｍ〜２ｋｍ程度とされる（図４参照）。
【００４３】
情報管理サーバは、要求信号に応じて、ユーザの位置から所定の距離ｄ以内に存在する実オブジェクト１の位置情報、１次情報及び２次情報を送信する。
【００４４】
制御部１１は、実オブジェクト１の各情報を受信すると（ステップ１０３のＹＥＳ）、携帯電話機１０の位置（ユーザの位置）から所定の距離ｄ（図５参照）以内に、情報を有する実オブジェクト１が存在したかを判定する（ステップ１０４）。
【００４５】
実オブジェクト１が携帯電話機１０の位置から所定の距離ｄ以内に存在した場合（ステップ１０４のＹＥＳ）、制御部１１は、その実オブジェクト１がユーザの嗜好に合った実オブジェクト１であるかを判定する（ステップ１０５）。
【００４６】
ここで、ユーザがどのような実オブジェクト１の情報を望んでいるかについては、あらかじめ設定されている。例えば、制御部１１は、複数のカテゴリに分類された実オブジェクト１のうち、どのカテゴリに属する実オブジェクト１の情報を提示するかを設定するため設定画面を表示部１２上に表示させる。
【００４７】
図５には、どのようなカテゴリに属する実オブジェクト１についての情報を提示するかをユーザが設定するための設定画面の一例が示されている。図５では、実オブジェクト１が「お店」のカテゴリと、「建築物」のカテゴリに分類されている。そして、図５では、さらに、「お店」のカテゴリが、「飲食店」、「ＣＤショップ」、「書店」に分類され、「建築物」のカテゴリが「近代建築物」、「歴史的建築物」に分類されている。
【００４８】
図５では、ユーザの嗜好として、ＣＤショップと、近代建築物とが選択された場合の一例が示されている。ユーザの嗜好により選択された実オブジェクト１は、記憶部に記憶される。ユーザが設定を変更したい場合、「○」、「×」と表示された部分をタッチ操作すれば、「○」と「×」とが反転する。
【００４９】
再び図３を参照して、ユーザの位置（携帯電話機１０の位置）から所定の距離ｄ以内に存在する実オブジェクト１が、ユーザの嗜好に合った実オブジェクト１である場合（ステップ１０５のＹＥＳ）、制御部１１は、次のステップ１０６へ進む。ステップ１０６では、制御部１１は、ユーザ（携帯電話機１０）と実オブジェクト１との間の距離と、実オブジェクト１に対するユーザの顔の向きの角度を算出する。
【００５０】
ユーザと実オブジェクト１との間の距離は、ユーザの位置情報と、実オブジェクト１の位置情報に基づいて計算される。一方、実オブジェクト１に対するユーザの顔の向きの角度は、携帯電話機１０の位置情報と、実オブジェクト１の位置情報と、方位センサから取得された方位の情報とに基づいて算出される。
【００５１】
なお、携帯電話機１０から所定の距離ｄ以内に、ユーザの嗜好に合った複数の実オブジェクト１が存在する場合には、複数の実オブジェクト１それぞれについて、距離と顔の向きが算出される。
【００５２】
次に、制御部１１は、実オブジェクト１の音源を配置する距離と、実オブジェクト１の音源を配置する方向とを算出する（ステップ１０７）。実オブジェクト１の音源を配置する距離は、ユーザと実オブジェクト１との間の距離に応じて決定される。すなわち、ユーザからの距離が近い実オブジェクト１の音源は、ユーザの近くに配置され、ユーザからの距離が遠い実オブジェクト１の音源は、ユーザから離れた位置に配置される。実オブジェクト１の音源を配置する角度は、実オブジェクト１に対するユーザの顔の向きの角度に応じて決定される。
【００５３】
なお、携帯電話機１０から所定の距離ｄ以内に、ユーザの嗜好に合った複数の実オブジェクト１が存在する場合には、複数の実オブジェクト１それぞれについて、音源の距離と角度が算出される。
【００５４】
音源を配置する距離及び方向を算出すると、制御部１１は、１次情報が、実オブジェクト１に対する顔の向きに応じた方向から、実オブジェクト１に対するユーザの距離に応じた音量で聞こえるように、音信号の出力を制御する（ステップ１０８）。
【００５５】
これにより、ユーザからの距離が距離ｄ以内にある、ユーザの嗜好に合った実オブジェクト１の１次情報がヘッドホン２０から聞こえてくる。このとき、１次情報は、実オブジェクト１に対する顔の向きに応じた方向から、実オブジェクト１に対するユーザの距離に応じた音量で聞こえてくる（図４参照）。
【００５６】
例えば、「ＣＤショップ店Ａがあります」（Ａは、店名）等の簡易な情報（１次情報）が、ＣＤショップ店Ａに対するユーザの顔の向きに応じた方向から、ＣＤショップ店に対するユーザの距離に応じた音量で聞こえてくる。また、例えば、「東京タワーがあります」等の簡易な情報（１次情報）が、東京タワーに対するユーザの顔の向きに応じた方向から、東京タワーに対するユーザの距離に応じた音量で聞こえてくる。これにより、ユーザは、ユーザの嗜好に合ったお店や建築物などの実オブジェクト１がユーザのいる地域に存在することを認識できる。また、ユーザは、その実オブジェクト１が存在する方向及び距離を直感的に認識することができる。
【００５７】
なお、実オブジェクト１の１次情報が再生されているときに、ユーザが首を回転させて顔の向きを変えた場合、実オブジェクト１が存在する方向から実オブジェクト１の１次情報が聞こえてくるように、実オブジェクト１の音源の位置が調整される。例えば、ユーザの左方向から実オブジェクト１の１次情報が聞こえたときに、ユーザが左方向を向くと、正面から実オブジェクト１の１次情報が聞こえてくる。
【００５８】
携帯電話機１０が楽曲再生、ビデオ再生などのメインタスク実行しているときに、１次情報が再生される場合、制御部１１は、楽曲、ビデオの音声に、１次情報の音声を合成して出力してもよい。また、この場合、制御部１１は、楽曲、ビデオの音量が小さくなるように、音信号を制御してもよい。
【００５９】
ヘッドホン２０への音信号の出力を制御すると、次に、制御部１１は、１次情報に対するユーザのアクションに応じて、実オブジェクト１の２次情報（詳細情報）がヘッドホン２０から聞こえてくるように、音信号の出力を制御する（ステップ１０９）。
【００６０】
"１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部１１の処理"
次に、１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部１１の処理について、３つの例を挙げて具体的に説明する。
【００６１】
図６は、１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部１１の処理についての一例を示すフローチャートである。
【００６２】
図６に示すように、制御部１１は、実オブジェクト１の１次情報がヘッドホン２０から聞こえるように、音信号を制御すると（ステップ２０１）（ステップ１０８参照）、次に、ユーザの顔が１次情報が聞こえた方向を向いているかを判定する（ステップ２０２）。ユーザの顔が１次情報が聞こえた方向を向いているかの否かは、方位センサからの方位の情報に基づいて判定することができる。
【００６３】
ユーザの顔が１次情報が聞こえた方向を向いている場合（ステップ２０２のＹＥＳ）、制御部１１は、ユーザが首を横に振ったか否かを判定する（ステップ２０４）。この場合、制御部１１は、ヘッドホン２０に設けられたセンサ部３０のモーションセンサからの信号に基づいて、ユーザが首を横に振ったか否かを判定する。
【００６４】
ユーザが首を横に振らなかった場合（ステップ２０４のＮＯ）、制御部１１は、ユーザがうなずいたか否かを判定する（ステップ２０５）。この場合、制御部１１は、ヘッドホン２０に設けられたセンサ部３０のモーションセンサからの信号に基づいて、ユーザがうなずいたか否かを判定する。
【００６５】
ステップ２０２において、ユーザの顔が、１次情報が聞こえた方向を向いていない場合（ステップ２０２のＮＯ）、ステップ２０３へ進む。同様に、ユーザの顔が１次情報が聞こえた方向を向いているが、ユーザが首を横に振ってもいないし、うなずいてもいない場合（ステップ２０５のＮＯ）、制御部１１は、ステップ２０３に進む。
【００６６】
ステップ２０３では、制御部１１は、１次情報の再生が終了してから所定時間が経過したかを判定する（ステップ２０３）。この時間は、例えば、５秒〜１０秒程度の時間とされる。
【００６７】
１次情報の再生が終了してから所定時間経過していない場合（ステップ２０３のＮＯ）、制御部１１は、再びステップ２０２へ戻り、再び、ユーザの顔が１次情報が聞こえた方向を向いているかを判定する。
【００６８】
所定の時間が経過する前に、ユーザが１次情報が聞こえた方向に顔を向けて、横に首を振った場合（ステップ２０４のＹＥＳ）、制御部１１は、実オブジェクト１の２次情報を再生せずに、処理を終了する。これにより、ユーザは、実オブジェクト１の１次情報が聞こえた方向に顔を向けて首を横に振ることで、２次情報の再生をキャンセルすることができる。
【００６９】
例えば、「ＣＤショップ店Ａがあります」との１次情報が聞こえたときに、１次情報が聞こえた方向（ＣＤショップが存在する方向）に顔を向けて、首を横に振ると、ＣＤショップの２次情報（詳細情報）の再生がキャンセルされる。同様に、「東京タワーがあります」との１次情報が聞こえたときに、１次情報が聞こえた方向（東京タワーが存在する方向）に顔を向けて、首を横に振ると、東京タワーの２次情報（詳細情報）の再生がキャンセルされる。
【００７０】
所定の時間が経過する前に、ユーザが１次情報が聞こえた方向に顔を向けて、うなずいた場合（ステップ２０５のＹＥＳ）、制御部１１は、実オブジェクト１の２次情報がヘッドホン２０から聞こえるように、音信号を制御する（ステップ２０６）。この場合、制御部１１は、実オブジェクト１についての２次情報が、実オブジェクト１に対する顔の向きに応じた方向から、実オブジェクト１に対するユーザの距離に応じた音量で聞こえるように、音信号の出力を制御する。
【００７１】
例えば、「ＣＤショップ店Ａがあります」との１次情報が聞こえたときに、ユーザが１次情報が聞こえた方向（ＣＤショップが存在する方向）に顔を向けて、首を横に振ると、ＣＤショップの２次情報（詳細情報）の再生が開始される。この場合、例えば、お勧めのＣＤの情報や、ＣＤショップ店Ａの営業時間などの詳細な情報が２次情報として再生される。
【００７２】
同様に、「東京タワーがあります」との１次情報が聞こえたときに、１次情報が聞こえた方向（東京タワーが存在する方向）に顔を向けて、うなずくと、東京タワーの２次情報（詳細情報）が再生される。この場合、例えば、東京タワーの高さや、東京タワーの歴史、東京タワーがライトアップされる時間等の詳細な情報が２次情報として再生される。
【００７３】
このように、ユーザは、実オブジェクト１の１次情報が聞こえた方向に顔を向けてうなずくことで、実オブジェクト１についての詳細な情報を知ることができる。
【００７４】
なお、実オブジェクト１の２次情報が再生されているときに、ユーザが首を回転させて顔の向きを変えた場合、実オブジェクト１が存在する方向から実オブジェクト１の２次情報が聞こえてくるように、音源の位置が調整される。例えば、ユーザが実オブジェクト１の方向に顔を向けてうなずいた後、首を回転させて顔の向きを９０°左に回転させた場合、右方向から実オブジェクト１の２次情報が聞こえてくる。
【００７５】
携帯電話機１０が楽曲再生、ビデオ再生などのメインタスク実行しているときに、２次情報が再生される場合、制御部１１は、楽曲、ビデオの音声に、２次情報の音声を合成して出力してもよい。また、この場合、制御部１１は、楽曲、ビデオの音量が小さくなるように、音信号を制御してもよい。
【００７６】
また、２次情報が再生されているときに、ユーザが首を横に振った場合、２次情報の再生を停止してもよい。
【００７７】
ユーザが１次情報が聞えた方向を向いて首を横に振らず、かつ、うなずかずに所定時間が経過した場合（ステップ２０３のＹＥＳ）、制御部１１は、２次情報を再生せずに処理を終了する。すなわち、ユーザが１次情報に対して、何らアクションを行なわなかった場合、制御部１１は、２次情報を再生せずに、処理を終了する。これにより、ユーザは、１次情報に対して何らアクションを行なわないことで、２次情報の再生をキャンセルすることができる。
【００７８】
次に、１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部１１の処理についての他の例について説明する。
【００７９】
図７は、１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部１１の処理についての他の例を示すフローチャートである。
【００８０】
上述の図６に示す例では、ユーザは、実オブジェクト１の１次情報が聞こえた方向に顔を向けた状態で、首を横に振ったり、うなずいたりすることで、実オブジェクト１の２次情報を再生するか否かを選択していた。一方、図７に示す例では、ユーザが首を横に振ったり、うなずいたりすることで、実オブジェクト１の２次情報を再生するか否かを選択するときに、どの方向を向いていても構わない点で、図６に示す例と異なっている。
【００８１】
図７に示すように、制御部１１は、実オブジェクト１の１次情報がヘッドホン２０から聞こえるように、音信号を制御すると（ステップ３０１）（ステップ１０８参照）、次に、ユーザが首を横に振ったか否かを判定する（ステップ３０２）。
【００８２】
ユーザが首を横に振らなかった場合（ステップ３０２のＮＯ）、制御部１１は、ユーザがうなずいたか否かを判定する（ステップ３０３）。ユーザがうなずかなかった場合（ステップ３０３のＮＯ）、制御部１１は、実オブジェクト１の１次情報の再生が終了してから所定時間が経過したかを判定する（ステップ３０４）。この所定時間は、図６に示す場合と同様に、例えば、５秒〜１０秒程度の時間とされる。
【００８３】
実オブジェクト１の１次情報の再生の終了から所定時間が経過していない場合（ステップ３０４のＮＯ）、制御部１１は、再びステップ３０２へ戻り、再び、ユーザが首を横に振ったか否かを判定する。
【００８４】
１次情報の再生の終了から所定時間が経過する前に、ユーザが首を横に振った場合（ステップ３０２のＹＥＳ）、制御部１１は、実オブジェクト１の２次情報を再生せずに、処理を終了する。これにより、ユーザは、１次情報が再生された後に首を横にふることで、２次情報の再生をキャンセルすることができる。
【００８５】
１次情報の再生の終了から所定時間が経過する前に、ユーザがうなずいた場合（ステップ３０３のＹＥＳ）、制御部１１は、実オブジェクト１の２次情報がヘッドホン２０から聞こえるように、音信号を制御する。この場合、制御部１１は、実オブジェクト１についての２次情報が、実オブジェクト１に対する顔の向きに応じた方向から、実オブジェクト１に対するユーザの距離に応じた音量で聞こえるように、音信号の出力を制御する。これにより、ユーザは、１次情報が再生された後に、うなずくことで、２次情報の再生を開始することができる。ユーザが２次情報の再生中に、首を横に振った場合、制御部１１は、２次情報の再生を停止してもよい。
【００８６】
ユーザが首を横に振らず、かつ、ユーザがうなずかずに所定時間が経過した場合（ステップ３０４のＹＥＳ）、制御部１１は、２次情報を再生せずに処理を終了する。これにより、ユーザは、１次情報に対して何らアクションを行なわないことで、２次情報の再生をキャンセルすることができる。
【００８７】
次に、１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部１１の処理についてのさらに別の例について説明する。
【００８８】
図８は、１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部１１の処理についてのさらに別の例を示すフローチャートである。
【００８９】
図８に示すように、制御部１１は、実オブジェクト１の１次情報がヘッドホン２０から聞こえるように、音信号を制御すると（ステップ４０１）（ステップ１０８参照）、次に、実オブジェクト１の２次情報の再生を開始する（ステップ４０２）。この場合、制御部１１は、実オブジェクト１についての２次情報が、実オブジェクト１に対する顔の向きに応じた方向から、実オブジェクト１に対するユーザの距離に応じた音量で聞こえるように、音信号の出力を制御する。
【００９０】
次に、制御部１１は、実オブジェクト１に対するユーザの顔の向きが変化したかを判定する（ステップ４０３）。この場合、制御部１１は、方位センサからの方位の情報に基づいて、ユーザの顔の向きが変化したかを判定する。
【００９１】
ユーザが首を回転させて顔の向きを変えた場合（ステップ４０３のＹＥＳ）、制御部１１は、実オブジェクト１に対するユーザの顔の向きに応じて、実オブジェクト１の音源の位置と、２次情報の音量を調整する。このとき、制御部１１は、ユーザの顔の向きが１次情報が聞こえた方向（２次情報が聞こえてくる方向）に近づくに従って、２次情報の音量を大きくするように、音信号の出力を制御する。
【００９２】
ユーザの顔の向きが変化していない場合（ステップ４０３のＮＯ）、及び、顔の向きに応じて、実オブジェクト１の音源の位置と２次情報の音量とを調整した場合（ステップ４０４）、制御部１１は、次のステップ４０５へ進む。ステップ４０５では、制御部１１は、２次情報を全て再生したかを判定する。
【００９３】
再生すべき２次情報が残っている場合（ステップ４０５のＮＯ）、制御部１１は、再びステップ４０３へ戻り、再び顔の向きが変化したかを判定する。一方、２次情報を全て再生した場合（ステップ４０５）、制御部１１は、処理を終了する。
【００９４】
図８に示す処理により、ユーザは、２次情報が聞こえてくる方向（実オブジェクト１が存在する方向）に、顔を向けることで、２次情報の音量を大きくすることができる。
【００９５】
第１実施形態の説明では、音制御装置本体１０の一例として、携帯電話機１０を例に挙げて説明したが音制御装置本体１０は、これに限られない。音制御装置本体１０は、携帯音楽プレイヤー、ＰＤＡ（Personal Digital Assistance）、タブレットＰＣ（Personal Computer）、ノート型ＰＣ等であっても構わない。
【００９６】
＜第２実施形態＞
次に、本技術の第２実施形態について説明する。上述の第１実施形態では、空間内に実在するお店、建築物等の実オブジェクト１についての１次情報及び２次情報が、実オブジェクト１に対するユーザの顔の向きに応じた方向から聞こえてくる場合について説明した。一方、第２実施形態では、アプリケーションプログラム等の仮想オブジェクト２が空間内に仮想的に配置され、仮想オブジェクト２についての１次情報及び２次情報が仮想オブジェクト２が配置された方向から聞こえてくる点で、上述の第１実施形態と異なっている。従ってその点を中心に説明する。
【００９７】
［音制御装置２００の全体構成及び各部の構成］
図９は、第２実施形態に係る音制御装置２００を示す図である。図１０は、第２実施形態に係る音制御装置２００の電気的な構成を示すブロック図である。
【００９８】
これらの図に示すように、第２実施形態に係る音制御装置２００は、音制御装置本体５０（表示部一体型ＰＣ５０）と、音制御装置本体５０に接続されたヘッドホン２０と、センサ部６０とを備える。センサ部６０は、音制御装置本体５０に設けられた第１のセンサ部６１と、ヘッドホン２０に設けられた第２のセンサ部６２とを含む。第２実施形態では、音制御装置本体５０の一例として、表示部一体型ＰＣ５０を例に挙げて説明する。
【００９９】
表示部一体型ＰＣ５０は、制御部５１と、表示部５２と、入力部５３と、通信部５４と、記憶部５５とを有する。
【０１００】
表示部５２は、例えば、液晶ディスプレイや、ＥＬ（Electro-Luminescence）ディスプレイ等により構成される。入力部５３は、キーボード、マウス、タッチセンサ等により構成され、ユーザからの指示を入力して、制御部５１へ出力する。
【０１０１】
記憶部５５は、揮発性のメモリ（例えば、ＲＡＭ（Random Access Memory））と、不揮発のメモリ（例えば、ＲＯＭ（Read Only Memory））を含む。また、記憶部５５は、ＨＤＤ（Hard Disk Drive）、ＳＤＤ（Solid State Drive）などの補助記憶装置を含む。ＲＯＭ、ＨＤＤ、ＳＤＤには、制御部５１の処理に必要な各種のプログラムや、各種のデータが固定的に記憶される。プログラムは、光ディスク、半導体メモリ等の可搬性の記録媒体から読み取られてもよい。
【０１０２】
制御部５１は、記憶部５５に記憶されたプログラムに基づいて、種々の演算を実行する。通信部５４は、制御部５１の制御に応じて、電子メール、Ｗｅｂデータ等の各種のデータを送受信する。
【０１０３】
センサ部６０の一部を構成する第１のセンサ部６１は、ＣＣＤセンサ（ＣＣＤ：Charge Coupled Device）、ＣＭＯＳセンサ（ＣＭＯＳ：Complementary Metal Oxide Semiconductor）等の撮像素子により構成される。第１のセンサにより出力された信号は、アナログ／デジタル変換された後、制御部５１に入力される。制御部５１は、第１のセンサ部６１により撮像された画像に基づいて、ユーザの顔の向きを判定する。
【０１０４】
センサ部６０の一部を構成する第２のセンサ部６２は、加速度センサや、角速度センサ等のモーションセンサにより構成される。第２のセンサ部６２から出力された信号は、アナログ／デジタル変換された後、制御部５１に入力される。制御部５１は、第２のセンサ部６２から出力された信号に基づいて、ユーザの頭の動きを判定する。
【０１０５】
図９及び図１０に示す例では、表示部一体型ＰＣ５０とヘッドホン２０とが有線で接続された場合が示されているが、表示部一体型ＰＣ５０とヘッドホン２０とは無線によって通信可能であってもよい。
【０１０６】
［動作説明］
次に、本実施形態に係る表示部一体型ＰＣ５０の制御部５１の処理について説明する。図１１は、本実施形態に係る表示部一体型ＰＣ５０の制御部５１の処理を示すフローチャートである。図１２は、図１１に示す処理を説明するための補足図であり、空間内に仮想的に配置された仮想オブジェクト２を示す図である。
【０１０７】
図１１に示すように、まず、制御部５１は、空間内に仮想的に仮想オブジェクト２を配置する（ステップ１０１）。図１２では、仮想オブジェクト２としてのメールプログラム２ａがユーザの右側（ヘッドホン２０の右側）に配置され、仮想オブジェクト２してのミニブログ２ｂがユーザの左側（ヘッドホン２０の左側）に配置された場合の一例が示されている。
【０１０８】
図１２に示すように、空間内に仮想オブジェクト２が配置されるとき、制御部５１は、楽曲再生、ビデオ再生などのメインタスクを実行している。このとき、制御部５１は、楽曲、ビデオの音声が、ユーザの顔の向きに応じた方向から聞こえるように、ヘッドホン２０の音信号を制御している。
【０１０９】
制御部５１は、空間内に仮想オブジェクト２を配置すると、メールプログラム２ａについてのメールや、ミニブログ２ｂについてのつぶやき、コメント等が通信部５４を介して受信されたかを判定する（ステップ５０２）。
【０１１０】
これらの情報が通信部５４を介して受信されると（ステップ５０２のＹＥＳ）、次に、制御部５１は、仮想オブジェクト２に対するユーザの顔の向きの角度を算出する（ステップ５０３）。この場合、制御部５１は、第１のセンサ部６１（撮像素子）により撮像された画像から、画面に対するユーザの顔の向きを判定する。そして、制御部５１は、画面に対するユーザの顔の向きから、仮想オブジェクト２に対するユーザの顔の向きを判定する。
【０１１１】
次に、制御部５１は、仮想オブジェクト２についての音源を配置する距離と、音源を配置する方向とを算出する（ステップ５０４）。仮想オブジェクト２の音源を配置する方向は、仮想オブジェクト２に対するユーザの顔の向きに基づいて決定される。
【０１１２】
次に、制御部５１は、仮想オブジェクト２の音源の位置から仮想オブジェクト２についての１次情報がヘッドホン２０から聞こえてくるように、音信号を制御する（ステップ５０５）。なお、この場合、制御部５１は、楽曲やビデオ等の音声（メインタスクの音声）に、１次情報の音声を合成して出力する。制御部５１は、１次情報の再生中は、メインタスクの音声が小さくなるような処理を実行してもよい。
【０１１３】
例えば、仮想オブジェクト２がメールプログラム２ａの場合について説明する。この場合、仮想オブジェクト２についての１次情報として、「〜さんからメールが届きました」等の簡易な情報が、メールプログラム２ａが配置された方向から聞こえてくるように音信号が制御される。あるいは、単に「ピピ」などのアラート音が１次情報として、メールプログラム２ａが配置された方向から聞こえてくるように音信号が制御されてもよい。
【０１１４】
仮想オブジェクト２がミニブログ２ｂである場合について説明する。この場合、仮想オブジェクト２についての１次情報として、「〜さんがつぶやきました」「〜さんからコメントがありました」等の簡易な情報が、ミニブログ２ｂが配置された方向から聞こえてくるように音信号が制御される。あるいは、単に「ピピ」などのアラート音が１次情報として、ミニブログ２ｂが配置された方向から聞こえてくるように音信号が制御されてもよい。
【０１１５】
なお、仮想オブジェクト２についての１次情報が再生されているときに、ユーザが首を回転させて顔の向きを変えた場合、仮想オブジェクト２が存在する方向から１次情報が聞こえてくるように、仮想オブジェクト２の音源の位置が調整される。例えば、ユーザの左方向から仮想オブジェクト２の１次情報が聞こえたときに、ユーザが左方向を向くと、正面から仮想オブジェクト２の１次情報が聞こえてくる。
【０１１６】
次に、制御部５１は、１次情報（簡易情報）に対するユーザのアクションに応じて、２次情報（詳細情報）がヘッドホン２０から聞こえてくるように音信号を制御する（ステップ５０６）。
【０１１７】
"１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部５１の処理"
次に、１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部５１の処理について説明する。この場合の処理は、空間内に配置されているオブジェクトが実オブジェクト１ではなく仮想オブジェクト２である点を除いて上述の第１実施形態で説明した、図６〜図８の３つの例と典型的に同じである。従って、この場合の処理は、図６〜図８を参照しつつ説明する。
【０１１８】
図６を参照して、１次情報の再生が終了してから所定時間が経過する前に（ステップ２０３のＮＯ）、ユーザが１次情報が聞こえた方向に顔を向けて（ステップ２０２のＹＥＳ）、横に首を振ったとする（ステップ２０４のＹＥＳ）。この場合、制御部５１は、２次情報を再生せずに処理を終了する。これにより、ユーザは、１次情報が聞こえた方向に顔を向けて首を横に振ることで、２次情報の再生をキャンセルすることができる。
【０１１９】
ユーザが１次情報が聞こえた方向を向いているかは、第１のセンサ部６１（撮像素子）により撮像された画像に基づいて判定されたユーザ顔の向きに基づいて判定される。また、ユーザが首を横に振ったか否かは、第１のセンサ部６１（モーションセンサ）によって検出された信号に基づいて判定される。
【０１２０】
例えば、「〜さんからメールが届きました」との１次情報が聞こえたときに、ユーザが、１次情報が聞こえた方向（メールプログラム２ａが存在する方向）に顔を向けて、首を横に振ると、２次情報（詳細情報）の再生がキャンセルされる。同様に、「〜さんがつぶやきました」、「〜さんがコメントしました」との１次情報が聞こえたときに、１次情報が聞こえた方向（ミニブログ２ｂが存在する方向）に顔を向けて、首を横に振ると、２次情報（詳細情報）の再生がキャンセルされる。
【０１２１】
１次情報の再生が終了してから所定の時間が経過する前に（ステップ２０３のＮＯ）、ユーザが１次情報が聞こえた方向に顔を向けて（ステップ２０２のＹＥＳ）、うなずいたとする（ステップ２０５のＹＥＳ）。この場合、制御部５１は、２次情報が、仮想オブジェクト２に対する顔の向きに応じた方向から聞こえるように、音信号の出力を制御する（ステップ２０６）。ユーザがうなずいたか否かは、第１のセンサ部６１（モーションセンサ）によって検出された信号に基づいて判定される。
【０１２２】
なお、この場合、制御部５１は、楽曲やビデオ等の音声（メインタスクの音声）に、２次情報の音声を合成して出力する。制御部５１は、２次情報の再生中は、メインタスクの音量が小さくなるような処理を実行してもよい。
【０１２３】
例えば、「〜さんからメールが届きました」との１次情報が聞こえたときに、ユーザが１次情報が聞こえた方向（メールプログラム２ａが存在する方向）に顔を向けて、うなずくと、２次情報（詳細情報）の再生が開始される。この場合、制御部５１は、メールの内容を２次情報として再生する。
【０１２４】
同様に、「〜さんがつぶやきました」「〜さんからコメントがありました」との１次情報が聞こえたときに、ユーザが１次情報が聞こえた方向（ミニブログ２ｂが存在する方向）に顔を向けて、うなずくと、２次情報の再生が開始される。この場合、制御部５１は、つぶやきの内容、コメントの内容を２次情報として再生する。メール、つぶやき、コメントなどの文章の内容を音声に変換する方法としては、ＴＴＳ技術（ＴＴＳ：Text To Speech）が挙げられる。
【０１２５】
このように、ユーザは、１次情報が聞こえた方向（仮想オブジェクト２が存在する方向）に顔を向けてうなずくことで、１次情報より詳しい内容の２次情報を知ることができる。
【０１２６】
なお、２次情報が再生されているときに、ユーザが首を回転させて顔の向きを変えた場合、仮想オブジェクト２が存在する方向から２次情報が聞こえてくるように、音源の位置が制御される。例えば、ユーザが仮想オブジェクト２の方向に顔を向けてうなずいた後、首を回転させて顔の向きを９０°左に回転させた場合、右方向から２次情報が聞こえてくる。
【０１２７】
２次情報が再生されているときに、ユーザが首を横に振った場合、２次情報の再生を停止してもよい。
【０１２８】
ユーザが１次情報が聞えた方向に顔を向けて首を横に振らず、かつ、うなずかずに所定時間が経過した場合（ステップ２０３のＹＥＳ）、制御部５１は、２次情報を再生せずに処理を終了する。すなわち、ユーザが１次情報に対して、何らアクションを行なわなかった場合、制御部５１は、２次情報を再生せずに、処理を終了する。これにより、ユーザは、１次情報に対して何らアクションを行なわないことで、２次情報の再生をキャンセルすることができる。
【０１２９】
図７を参照して、１次情報の再生の終了から所定時間が経過する前に（ステップ３０４のＮＯ）、ユーザが首を横に振った場合（ステップ３０２のＹＥＳ）、制御部５１は、メール、つぶやき、コメントの内容等の２次情報を再生せずに、処理を終了する。これにより、ユーザは、１次情報が再生された後に首を横にふることで（顔の向きは、関係がない）、２次情報の再生をキャンセルすることができる。
【０１３０】
所定時間が経過する前に（ステップ３０４のＮＯ）、ユーザがうなずいた場合（ステップ３０３のＹＥＳ）、制御部５１は、メール、つぶやき、コメントの内容等２次情報がヘッドホン２０から聞こえるように音信号を制御する（ステップ３０５）。この場合、制御部５１は、２次情報が、仮想オブジェクト２に対する顔の向きに応じた方向から聞こえるように音信号の出力を制御する。
【０１３１】
このような処理により、ユーザは、１次情報が再生された後に、うなずくことで（顔の向きは、関係がない）、２次情報の再生を開始することができる。ユーザが２次情報の再生中に、首を横に振った場合、制御部５１は、２次情報の再生を停止してもよい。
【０１３２】
ユーザが首を横に振らず、かつ、ユーザがうなずかずに所定時間が経過した場合（ステップ３０４のＹＥＳ）、制御部５１は、２次情報を再生せずに処理を終了する。これにより、ユーザは、１次情報に対して何らアクションを行なわないことで、２次情報の再生をキャンセルすることができる。
【０１３３】
図８を参照して、２次情報の再生の開始後に、ユーザが１次情報が聞こえた方向（２次情報が聞こえてくる方向）に、顔を向けたとする（ステップ４０３のＹＥＳ）。この場合、仮想オブジェクト２に対するユーザの顔の向きに応じた方向から２次情報が聞えてきて、かつ、顔の向きが仮想オブジェクト２の方向に近づくに従って、２次情報の音量が大きくなる（ステップ４０４）。
【０１３４】
図１３には、ユーザがメールプログラム２ａについての１次情報を聞いた後に、１次情報が聞こえた方向を向いたときの様子が示されている。図１３（Ａ）に示すように、正面側からメインタスクの音声（楽曲の音声等）を聞いているときに、ユーザの右側に配置されたメールプログラム２ａの音源の位置から「〜さんからメールが届きました」等の１次情報が聞こえたとする。そして、図１３（Ｂ）に示すように、ユーザが首を回転させて、顔を１次情報が聞えた方向に向けたとする。
【０１３５】
この場合、メールプログラム２ａに対するユーザの顔の向きに応じた方向からメールの内容等の２次情報が聞えてくるように音信号が制御される。同様に、メインタスクの音声（楽曲の音声）がユーザの顔の向きに応じた方向から聞えてくるように音信号が制御される。また、この場合、顔の向きが１次情報が聞えた方向（２次情報が聞えてくる方向）に近づくに従って、２次情報の音量が大きくなるように、かつ、メインタスクの音声が小さくなるように、音信号が制御される。
【０１３６】
図８に示す処理により、ユーザは、２次情報が聞こえてくる方向（仮想オブジェクト１が存在する方向）に、顔を向けることで、２次情報の音量を大きくすることができる。
【０１３７】
［第２実施形態変形例］
次に、第２実施形態の変形例について説明する。上述のように、第２実施形態では、空間内に、メールプログラム２ａ、ミニブログ２ｂ等のアプリケーションプログラムが仮想オブジェクト２として配置される。そして、制御部５１は、仮想オブジェクト２の方向から１次情報及び２次情報が聞えてくるように音信号を制御する。ユーザは、第１の情報及び第２の情報がある特定の方向から聞えてくるので、メールプログラム２ａ、ミニブログ２ｂ等のアプリケーションプログラム（仮想オブジェクト２）が配置されている方向を既に知っている。第２実施形態の変形例では、この関係を利用する。
【０１３８】
図１４は、第２実施形態の変形例についての処理を示すフローチャートである。図１５は、図１４に示す処理を説明するための補足図であり、ユーザが仮想オブジェクト２（メールプログラム２ａ）が存在する方向を向いて、声を発したときの様子を示す図である。
【０１３９】
図１５に示すように、制御部５１は、楽曲再生、ビデオ再生などのメインタスクを実行している。図１４を参照して、制御部５１は、第１のセンサ部６１（撮像素子）により撮像された画像に基づいて、ユーザの顔の向きが変化したかを判定する（ステップ６０１）。
【０１４０】
ユーザの顔の向きが変化した場合（ステップ６０１のＹＥＳ）、制御部５１は、顔が向いた方向にメールプログラム２ａ、ミニブログ２ｂ等のアプリケーションプログラム（仮想オブジェクト２）が配置されているかを判定する（ステップ６０２）。この場合、制御部５１は、ユーザの顔の正面方向から、例えば、±４５°の範囲に、アプリケーションプログラム（仮想オブジェクト２）がある場合に、顔が向いた方向にアプリケーションプログラム（仮想オブジェクト２）が存在すると判定する。
【０１４１】
なお、ユーザの顔の向きが変化した場合、制御部５１は、楽曲、ビデオの音声（メインタスクの音声）が、ユーザの顔の向きに応じた方向から聞こえるように、音源の位置を制御している（図１５（Ａ）、（Ｂ）参照）。
【０１４２】
ステップ６０２の判定が肯定的である場合（ステップ６０２のＹＥＳ）、制御部５１は、音声認識の処理を実行する（ステップ６０３）。ユーザが発した音声は、例えば、ヘッドホン２０に追加されたマイクロフォンによって集音される。
【０１４３】
図１５（Ｂ）では、ユーザがメールプログラム２ａ（仮想オブジェクト２）が存在する方向に顔を向けて「Dear〜さん、・・・」と発声して、〜さんに送信するメールの内容をしゃべっている場合の一例が示されている。なお、ユーザは、ユーザの右側から１次情報（「〜さんからメールが届きました」）及び２次情報（メールの内容）が聞こえてくるので、メールプログラム２ａがユーザの右側に配置されていることを既に知っている。
【０１４４】
制御部５１は、音声認識の処理を実行すると、次に、アプリケーションプログラムに音声コマンドを発行する。これにより、ユーザが発声した「Dear〜さん、・・・」の内容がメールの本文に書き込まれる。
【０１４５】
また、例えば、ユーザがミニブログ２ｂが存在する方向に顔を向けて、ユーザがミニブログ２ｂに書き込む内容（つぶやき、コメント等）を発声すると、制御部５１により音声認識される。そして、ミニブログ２ｂにユーザが発声した内容がミニブログ２ｂに書き込まれる。
【０１４６】
このような処理により、ユーザは、メインタスクを阻害することなく、メールや、ミニブログの内容を発声により書き込むことができる。
【０１４７】
第２実施形態及び第２実施形態の変形例の説明では、音制御装置本体５０の一例として、表示部一体型ＰＣ５０を例に挙げて説明した。しかし、音制御装置本体５０は、これに限られない。音制御装置本体５０は、デスクトップＰＣ、ノート型ＰＣ、タブレットＰＣ、携帯電話機１０、携帯音楽プレイヤー、ＰＤＡ（Personal Digital Assistance）などであってもかまわない。
【０１４８】
＜各種変形例＞
以上の説明では、ヘッドホン２０を例に挙げて説明したが、ヘッドホン２０の代わりにイヤホン（音出力部）が用いられてもよい。
【０１４９】
以上の説明では、１次情報に対するユーザのアクションを検出するセンサとして、ヘッドホン２０に設けられた、方位センサや、モーションセンサ等を例に挙げて説明した。しかし、ユーザによる１次情報に対するアクションを検出するセンサは、これに限られない。
例えば、ユーザによる１次情報に対するアクションを検出するセンサとして、マイクロフォンが用いられてもよい。このマイクロフォンは、例えば、音制御装置本体１０、５０、あるいは、ヘッドホン２０に設けられる。
【０１５０】
この場合、例えば、ユーザは、「お店があります」、「メールが届きました」等の１次情報が聞えたときに、１次情報に対するアクションとして「はい」「いいえ」等の音声をマイクに向かって発する。制御部１１、５１は、「はい」との声が発せられたと判定した場合に、お店の詳細情報や、メールの内容等の２次情報を音信号として出力してもよい。ユーザは、お店やメールプログラム２ａ等のオブジェクトの存在する方向に顔を向けた状態で、「はい」「いいえ」と発声してもよいし、お店やメールプログラム２ａ等のオブジェクトの方向とは無関係に、「はい」「いいえ」と発声してもよい。
【０１５１】
本技術は、以下の構成もとることができる。
（１） センサ部と、
前記センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定し、前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御し、前記センサ部からの信号に基づいて前記１次情報に対するユーザのアクションを判定し、前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する制御部と
を具備する音制御装置。
（２）上記（１）に記載の音制御装置であって、
通信部をさらに具備し、
前記制御部は、前記音制御装置の位置を測定し、前記通信部を介して、空間に存在する前記実オブジェクトの位置情報を取得し、各位置情報に基づいて、前記音制御装置及び前記実オブジェクトの距離を判定し、前記距離が所定の閾値以下となった場合に、前記実オブジェクトについての１次情報が前記音出力部から聞こえてくるように、音信号の出力を制御する
音制御装置。
（３）上記（１）又は（２）に記載の音制御装置であって、
前記制御部は、前記１次情報に対するユーザのアクションとして、前記１次情報が聞こえた方向に顔を向ける動きを判定し、顔の向きが前記１次情報が聞こえた方向に近づくに従って、前記２次情報の音量が大きくなるように、前記音信号の出力を制御する
音制御装置。
（４）上記（３）に記載の音制御装置であって、
前記制御部は、メインタスクを実行し、顔の向きが１次情報が聞こえた方向に近づくに従って、前記２次情報の音量が大きくなりつつ、前記メインタスクの音量が小さくなるように、前記音信号の出力を制御する
音制御装置。
（５）上記（１）又は（２）に記載の音制御装置であって、
前記制御部は、前記１次情報に対するユーザのアクションとして、頭の上下方向への動きを判定し、上下方向へ頭が動かされた場合に、前記２次情報が前記音出力部から聞こえてくるように前記音信号の出力を制御する
音制御装置。
（６）上記（１）又は（２）に記載の音制御装置であって、
前記制御部は、前記１次情報に対するユーザのアクションとして、ユーザが１次情報が聞こえた方向に顔を向けた状態での頭の動きを判定し、１次情報が聞こえた方向に顔を向けた状態での頭の動きに応じて、前記２次情報を音信号として出力するか否かを判定する
音制御装置。
（７）上記（６）に記載の音制御装置であって、
前記制御部は、ユーザが１次情報が聞こえた方向に顔を向けた状態での頭の上下方向への動きを判定し、１次情報が聞こえた方向に顔を向けた状態での頭の上下方向への動きに応じて、前記２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する
音制御装置。
（８）上記（１）乃至（７）のうちいずれか１つに記載の音制御装置であって、
前記制御部は、前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記２次情報が聞こえてくるように、前記音信号の出力を制御する
音制御装置。
（９）上記（１）乃至（８）のうちいずれか１つに記載の音制御装置であって、
前記音出力部は、ヘッドホン又はイヤホンである
音制御装置。
（１０） 音制御装置に、
センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定するステップと、
前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御するステップと、
前記センサ部からの信号に基づいて前記１次情報に対するユーザのアクションを判定するステップと、
前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御するステップと
を実行させるプログラム。
（１１） センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定し、
前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御し、
前記センサ部からの信号に基づいて、前記１次情報に対するユーザのアクションを判定し、
前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する
制御方法。
【符号の説明】
【０１５２】
１…実オブジェクト
２…仮想オブジェクト
２ａ…メールプログラム
２ｂ…ミニブログ
１０、５０…音制御装置本体
１１、５１…制御部
１２、５２…表示部
１５、５４…通信部
１６、５５…記憶部
２０…ヘッドホン
３０、６０…センサ部
１００、２００…音制御装置
【技術分野】
【０００１】
本技術は、ヘッドホン又はイヤホンから聞こえる音を制御する音制御装置等の技術に関する。
【背景技術】
【０００２】
従来から、音が特定の方向から聞こえてくるように、ヘッドホンまたはイヤホンの音信号を制御する技術が知られている。
【０００３】
下記特許文献１には、楽曲についての複数の仮想音源が仮想音源空間内に配置され、複数の仮想音源の方向から楽曲が聞こえるように、ヘッドホンの音信号を制御する技術が記載されている。例えば、ヘッドホンを装着したユーザが正面を向いている状態から右を向いたとする。この場合、正面を向いていたときに前方から聞こえてきた楽曲が左方向から聞こえてきて、正面を向いていたときに右方向から聞こえてきの楽曲が前方から聞こえてくる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−９２１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザに対して、お店等の実オブジェクト（又は仮想オブジェクト）が存在する方向から、実オブジェクト（又は仮想オブジェクト）についての簡易な情報を提示し、これに対して、ユーザが何らかのアクションを行なうことにより、さらに詳細な情報を得ることができる技術が望まれている。
【課題を解決するための手段】
【０００６】
本技術の一形態に係る音制御装置は、センサ部と、制御部とを具備する。
前記制御部は、前記センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定し、前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御し、前記センサ部からの信号に基づいて前記１次情報に対するユーザのアクションを判定し、前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する。
【０００７】
この音制御装置では、例えば、お店、建築物等の実オブジェクトについての１次情報（例えば、「お店があります」）が、その実オブジェクトが存在する方向から聞こえてくるように、音出力部（例えば、ヘッドホン又はイヤホン）の音信号が制御される。あるいは、例えば、メールプログラム等の仮想オブジェクトが空間内に仮想的に配置されている場合を想定する。この場合、その方向から仮想オブジェクトの１次情報（例えば、「メールが届きました」）が、その仮想オブジェクトが配置された方向から聞こえてくるように、音出力部の音信号が制御される。
【０００８】
この１次情報に対して、ユーザがアクションを行なうと、このアクションがセンサ部により検出され、１次情報よりも詳しい内容の第２の情報（例えば、お店の詳細情報、メールの内容）が聞こえてくるように、音出力部の音信号が制御される。ユーザは、１次情報に対して、アクションを行なうことにより、１次情報よりも詳しい内容の２次情報を聞くことができる。
【０００９】
上記音制御装置であって、前記制御部は、通信部をさらに具備していてもよい。この場合、前記制御部は、音制御装置の位置を測定し、前記通信部を介して、空間に存在する前記実オブジェクトの位置情報を取得し、各位置情報に基づいて、前記音制御装置及び前記実オブジェクトの距離を判定し、前記距離が所定の閾値以下となった場合に、前記実オブジェクトについての１次情報が前記音出力部から聞こえてくるように、音信号の出力を制御してもよい。
【００１０】
これにより、ユーザが音制御装置を携帯しているときに、音制御装置と実オブジェクトとの距離が所定の閾値以下となった場合に、実オブジェクトについての１次情報が実オブジェクトが存在する方向から聞こえてくるように、音出力部の音信号が制御される。ユーザは、実オブジェクトについての２次情報（詳細情報）が知りたければ、１次情報に対してアクションを行なえばよい。
【００１１】
上記音制御装置において、前記制御部は、前記１次情報に対するユーザのアクションとして、前記１次情報が聞こえた方向に顔を向ける動きを判定し、顔の向きが前記１次情報が聞こえた方向に近づくに従って、前記２次情報の音量が大きくなるように、前記音信号の出力を制御してもよい。
【００１２】
この音制御装置では、ユーザが２次情報を知りたい場合に１次情報が聞こえた方向に顔を向けると、顔の向きが１次情報が聞こえた方向に近づくに従って、２次情報の音量が大きくなる。
【００１３】
上記音制御装置において、前記制御部は、メインタスクを実行し、顔の向きが１次情報が聞こえた方向に近づくに従って、前記２次情報の音量が大きくなりつつ、前記メインタスクの音量が小さくなるように、前記音信号の出力を制御してもよい。
【００１４】
この制御装置では、ユーザが２次情報を知りたい場合に１次情報が聞こえた方向に顔を向けると、２次情報の音量が大きくなり、例えば、メインタスクで実行されている楽曲などの音が小さくなる。
【００１５】
上記音制御装置において、前記制御部は、前記１次情報に対するユーザのアクションとして、頭の上下方向への動きを判定し、上下方向へ頭が動かされた場合に、前記２次情報が前記音出力部から聞えてくるように前記音信号の出力を制御してもよい。
【００１６】
これにより、ユーザは、頭を上下方向に動かす（うなずく）ことで、２次情報を聞くことができる。
【００１７】
上記音制御装置において、前記制御部は、前記１次情報に対するユーザのアクションとして、ユーザが１次情報が聞こえた方向に顔を向けた状態での頭の動きを判定し、１次情報が聞こえた方向に顔を向けた状態での頭の動きに応じて、前記２次情報を音信号として出力するか否かを判定してもよい。
【００１８】
これにより、ユーザは、１次情報が聞こえた方向に顔を向けた状態で、頭を動かすことで、２次情報を聞くかどうかを選択することができる。
【００１９】
上記音制御装置において、前記制御部は、ユーザが１次情報が聞こえた方向に顔を向けた状態での頭の上下方向への動きを判定し、１次情報が聞こえた方向に顔を向けた状態での頭の上下方向への動きに応じて、２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御してもよい。
【００２０】
これにより、ユーザは、１次情報が聞こえた方向に顔を向けた状態で、頭を上下方向に動かす（うなずく）ことで、２次情報を聞くことができる。
【００２１】
上記音制御装置において、前記制御部は、前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記２次情報が聞こえてくるように、前記音信号の出力を制御してもよい。
【００２２】
上記音制御装置において、前記音出力部は、ヘッドホン又はイヤホンであってもよい。
【００２３】
本技術の一形態に係るプログラムは、音制御装置に、センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定するステップを実行させる。
前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御するステップを実行させる。
前記センサ部からの信号に基づいて前記１次情報に対するユーザのアクションを判定するステップを実行させる。
前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御するステップを実行させる。
【００２４】
本技術の一形態に係る制御方法は、センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定することを含む。
前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御することを含む。
前記センサ部からの信号に基づいて、前記１次情報に対するユーザのアクションを判定することを含む。
前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御することを含む。
【発明の効果】
【００２５】
以上のように、本技術によれば、お店等の実オブジェクト（又は仮想オブジェクト）が存在する方向から、実オブジェクト（又は仮想オブジェクト）についての簡易な情報を提示し、これに対して、ユーザが何らかのアクションを行なうことにより、さらに詳細な情報を得ることができる技術を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本技術の一形態に係る音制御装置を示す図である。
【図２】本技術の一形態に係る音制御装置の電気的な構成を示すブロック図である。
【図３】本技術の一形態に係る携帯電話機の制御部の処理を示すフローチャートである。
【図４】図３に示す処理を説明するための補足図であり、ユーザがヘッドホン装着しながら地上を移動している様子を示す図である。
【図５】どのようなカテゴリに属する実オブジェクトについての情報を提示するかをユーザが設定するための設定画面の一例を示す図である。
【図６】１次情報に対するユーザのアクションに応じて、２次情報がヘッドホンから聞こえてくるときの制御部の処理についての一例を示すフローチャートである。
【図７】１次情報に対するユーザのアクションに応じて、２次情報がヘッドホンから聞こえてくるときの制御部の処理についての他の例を示すフローチャートである。
【図８】１次情報に対するユーザのアクションに応じて、２次情報がヘッドホンから聞こえてくるときの制御部の処理についてのさらに別の例を示すフローチャートである。
【図９】本技術の他の形態に係る音制御装置を示す図である。
【図１０】他の形態に係る音制御装置の電気的な構成を示すブロック図である。
【図１１】他の形態に係る表示部一体型ＰＣの制御部の処理を示すフローチャートである。
【図１２】図１１に示す処理を説明するための補足図であり、空間内に仮想的に配置された仮想オブジェクトを示す図である。
【図１３】ユーザがメールプログラムについての１次情報を聞いた後に、１次情報が聞こえた方向を向いたときの様子を示す図である。
【図１４】さらに別の形態に係る音制御装置の処理を示すフローチャートである。
【図１５】図１４に示す処理を説明するための補足図であり、ユーザが仮想オブジェクト（メールプログラム）が存在する方向を向いて、声を発したときの様子を示す図である。
【発明を実施するための形態】
【００２７】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００２８】
［音制御装置１００の全体構成及び各部の構成］
図１は、本技術の一形態に係る音制御装置１００を示す図である。図２は、音制御装置１００の電気的な構成を示すブロック図である。これらの図に示すように、音制御装置１００は、音制御装置本体１０（携帯電話機１０）と、音制御装置本体１０に接続されたヘッドホン２０（音出力部）と、ヘッドホン２０に取り付けられたセンサ部３０とを含む。第１実施形態の説明では、音制御装置本体１０の一例として、携帯電話機１０を例に挙げて説明する。
【００２９】
携帯電話機１０は、制御部１１と、表示部１２と、入力部１３と、アンテナ１４と、通信部１５と、記憶部１６とを備えている。また、携帯電話機１０は、図示しない通話用スピーカや、通話用マイクロフォン等を備えている。
【００３０】
表示部１２は、例えば、液晶ディスプレイや、ＥＬ（Electro-Luminescence）ディスプレイ等により構成される。入力部１３は、指やスタイラスペン等による表示部１２へのユーザ操作を検出するタッチセンサと、携帯電話機１０に設けられた入力ボタンとを含む。
【００３１】
記憶部１６は、揮発性のメモリ（例えば、ＲＡＭ（Random Access Memory））と、不揮発のメモリ（例えば、ＲＯＭ（Read Only Memory））とを含む。揮発性のメモリは、制御部１１の作業領域として用いられ、制御部１１の処理に用いられるプログラムや、楽曲データ、映像データ等のデータを一時的に記憶する。不揮発性のメモリは、制御部１１の処理に必要な各種のプログラムや、楽曲データ、ビデオデータ等のデータを固定的に記憶する。不揮発性のメモリに記憶されるプログラムは、光ディスク、半導体メモリ等の可搬性の記録媒体から読み取られてもよい。
【００３２】
制御部１１は、ＣＰＵ（Central Processing Unit）等により構成される。制御部１１は、記憶部１６に記憶されたプログラムに基づいて、種々の演算を実行する。
【００３３】
通信部１５は、アンテナ１４により送受信される電波の周波数変換や、変調及び復調等の処理を実行する。アンテナ１４は、通話用の電波や、電子メール、Ｗｅｂデータ等のパケット通信用の電波を送受信する。
【００３４】
通信部１５は、図示しない情報管理サーバと通信可能とされている。情報管理サーバは、空間内に実在する実オブジェクト１（お店や、建築物等）（図４参照）の位置情報と、実オブジェクト１についての１次情報及び２次情報とを記憶している。そして、情報管理サーバは、携帯電話機１０からの要求に応じて、実オブジェクト１の位置情報や、実オブジェクト１についての１次情報及び２次情報とを送信する。
【００３５】
実オブジェクト１（お店や、建築物等）についての１次情報は、実オブジェクト１についての簡易な情報である。一方、実オブジェクト１についての２次情報は、実オブジェクト１のついての詳細な情報である。１次情報は、例えば、実オブジェクト１がお店である場合、そのお店の名前、そのお店の種類などであり、実オブジェクト１が建築物である場合、その建築物の名前、建築物の種類などである。２次情報は、例えば、実オブジェクト１がお店である場合、そのお店のお勧めの商品、営業時間等であり、実オブジェクト１が建築物である場合、その建築物についての詳細な歴史等である。
【００３６】
センサ部３０は、例えば、ヘッドホン２０の頭頂部に配置される。センサ部３０は、地上でのユーザの顔の向きを検出する方位センサ（例えば、地磁気センサ）と、ユーザの頭の動きを検出するモーションセンサとを含む。モーションセンサとしては、例えば、角速度センサ（例えば、振動型ジャイロセンサ、回転コマジャイロセンサ等）や、加速度センサ（例えば、ピエゾ抵抗型、圧電型、静電容量型等）等が用いられる。モーションセンサは、角速度センサと、加速度センサの組み合わせであっても構わない。
【００３７】
センサ部３０は、Ａ／Ｄ変換部を含む。方位センサ、モーションセンサから出力された信号は、Ａ／Ｄ変換されて、携帯電話機１０の制御部１１に入力される。
【００３８】
図１及び図２では、携帯電話機１０と、ヘッドホン２０が有線で接続された場合が示されているが、携帯電話機１０とヘッドホン２０とは無線により通信可能であってもよい。
【００３９】
［動作説明］
次に、本実施形態に係る携帯電話機１０の制御部１１の処理について説明する。図３は、本実施形態に係る携帯電話機１０（制御部１１）の処理を示すフローチャートである。図４は、図３に示す処理を説明するための補足図であり、ユーザがヘッドホン２０装着しながら地上を移動している様子を示す図である。
【００４０】
まず、ユーザは、ヘッドホン２０を装着して、地上を歩く。この場合、ユーザは、携帯電話機１０に保存されている楽曲データやビデオデータの音を聴きながら歩いていてもよい。
【００４１】
図３に示すように、制御部１１は、まず、ＧＰＳ衛星からの電波をアンテナ１４及び通信部１５を介して受信し、ＧＰＳ衛星からの電波に基づいて、ユーザの位置（携帯電話機１０の位置）を測定する（ステップ１０１）。このユーザの位置（携帯電話機１０の位置）の測定は、所定の周期で実行される。
【００４２】
次に、制御部１１は、情報管理サーバに対して、ユーザの位置から所定の距離ｄ以内に存在する実オブジェクト１（お店、建築物等）の位置情報、１次情報及び２次情報の要求信号を送信する（ステップ１０２）。この距離ｄは、例えば、１０ｍ〜２ｋｍ程度とされる（図４参照）。
【００４３】
情報管理サーバは、要求信号に応じて、ユーザの位置から所定の距離ｄ以内に存在する実オブジェクト１の位置情報、１次情報及び２次情報を送信する。
【００４４】
制御部１１は、実オブジェクト１の各情報を受信すると（ステップ１０３のＹＥＳ）、携帯電話機１０の位置（ユーザの位置）から所定の距離ｄ（図５参照）以内に、情報を有する実オブジェクト１が存在したかを判定する（ステップ１０４）。
【００４５】
実オブジェクト１が携帯電話機１０の位置から所定の距離ｄ以内に存在した場合（ステップ１０４のＹＥＳ）、制御部１１は、その実オブジェクト１がユーザの嗜好に合った実オブジェクト１であるかを判定する（ステップ１０５）。
【００４６】
ここで、ユーザがどのような実オブジェクト１の情報を望んでいるかについては、あらかじめ設定されている。例えば、制御部１１は、複数のカテゴリに分類された実オブジェクト１のうち、どのカテゴリに属する実オブジェクト１の情報を提示するかを設定するため設定画面を表示部１２上に表示させる。
【００４７】
図５には、どのようなカテゴリに属する実オブジェクト１についての情報を提示するかをユーザが設定するための設定画面の一例が示されている。図５では、実オブジェクト１が「お店」のカテゴリと、「建築物」のカテゴリに分類されている。そして、図５では、さらに、「お店」のカテゴリが、「飲食店」、「ＣＤショップ」、「書店」に分類され、「建築物」のカテゴリが「近代建築物」、「歴史的建築物」に分類されている。
【００４８】
図５では、ユーザの嗜好として、ＣＤショップと、近代建築物とが選択された場合の一例が示されている。ユーザの嗜好により選択された実オブジェクト１は、記憶部に記憶される。ユーザが設定を変更したい場合、「○」、「×」と表示された部分をタッチ操作すれば、「○」と「×」とが反転する。
【００４９】
再び図３を参照して、ユーザの位置（携帯電話機１０の位置）から所定の距離ｄ以内に存在する実オブジェクト１が、ユーザの嗜好に合った実オブジェクト１である場合（ステップ１０５のＹＥＳ）、制御部１１は、次のステップ１０６へ進む。ステップ１０６では、制御部１１は、ユーザ（携帯電話機１０）と実オブジェクト１との間の距離と、実オブジェクト１に対するユーザの顔の向きの角度を算出する。
【００５０】
ユーザと実オブジェクト１との間の距離は、ユーザの位置情報と、実オブジェクト１の位置情報に基づいて計算される。一方、実オブジェクト１に対するユーザの顔の向きの角度は、携帯電話機１０の位置情報と、実オブジェクト１の位置情報と、方位センサから取得された方位の情報とに基づいて算出される。
【００５１】
なお、携帯電話機１０から所定の距離ｄ以内に、ユーザの嗜好に合った複数の実オブジェクト１が存在する場合には、複数の実オブジェクト１それぞれについて、距離と顔の向きが算出される。
【００５２】
次に、制御部１１は、実オブジェクト１の音源を配置する距離と、実オブジェクト１の音源を配置する方向とを算出する（ステップ１０７）。実オブジェクト１の音源を配置する距離は、ユーザと実オブジェクト１との間の距離に応じて決定される。すなわち、ユーザからの距離が近い実オブジェクト１の音源は、ユーザの近くに配置され、ユーザからの距離が遠い実オブジェクト１の音源は、ユーザから離れた位置に配置される。実オブジェクト１の音源を配置する角度は、実オブジェクト１に対するユーザの顔の向きの角度に応じて決定される。
【００５３】
なお、携帯電話機１０から所定の距離ｄ以内に、ユーザの嗜好に合った複数の実オブジェクト１が存在する場合には、複数の実オブジェクト１それぞれについて、音源の距離と角度が算出される。
【００５４】
音源を配置する距離及び方向を算出すると、制御部１１は、１次情報が、実オブジェクト１に対する顔の向きに応じた方向から、実オブジェクト１に対するユーザの距離に応じた音量で聞こえるように、音信号の出力を制御する（ステップ１０８）。
【００５５】
これにより、ユーザからの距離が距離ｄ以内にある、ユーザの嗜好に合った実オブジェクト１の１次情報がヘッドホン２０から聞こえてくる。このとき、１次情報は、実オブジェクト１に対する顔の向きに応じた方向から、実オブジェクト１に対するユーザの距離に応じた音量で聞こえてくる（図４参照）。
【００５６】
例えば、「ＣＤショップ店Ａがあります」（Ａは、店名）等の簡易な情報（１次情報）が、ＣＤショップ店Ａに対するユーザの顔の向きに応じた方向から、ＣＤショップ店に対するユーザの距離に応じた音量で聞こえてくる。また、例えば、「東京タワーがあります」等の簡易な情報（１次情報）が、東京タワーに対するユーザの顔の向きに応じた方向から、東京タワーに対するユーザの距離に応じた音量で聞こえてくる。これにより、ユーザは、ユーザの嗜好に合ったお店や建築物などの実オブジェクト１がユーザのいる地域に存在することを認識できる。また、ユーザは、その実オブジェクト１が存在する方向及び距離を直感的に認識することができる。
【００５７】
なお、実オブジェクト１の１次情報が再生されているときに、ユーザが首を回転させて顔の向きを変えた場合、実オブジェクト１が存在する方向から実オブジェクト１の１次情報が聞こえてくるように、実オブジェクト１の音源の位置が調整される。例えば、ユーザの左方向から実オブジェクト１の１次情報が聞こえたときに、ユーザが左方向を向くと、正面から実オブジェクト１の１次情報が聞こえてくる。
【００５８】
携帯電話機１０が楽曲再生、ビデオ再生などのメインタスク実行しているときに、１次情報が再生される場合、制御部１１は、楽曲、ビデオの音声に、１次情報の音声を合成して出力してもよい。また、この場合、制御部１１は、楽曲、ビデオの音量が小さくなるように、音信号を制御してもよい。
【００５９】
ヘッドホン２０への音信号の出力を制御すると、次に、制御部１１は、１次情報に対するユーザのアクションに応じて、実オブジェクト１の２次情報（詳細情報）がヘッドホン２０から聞こえてくるように、音信号の出力を制御する（ステップ１０９）。
【００６０】
"１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部１１の処理"
次に、１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部１１の処理について、３つの例を挙げて具体的に説明する。
【００６１】
図６は、１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部１１の処理についての一例を示すフローチャートである。
【００６２】
図６に示すように、制御部１１は、実オブジェクト１の１次情報がヘッドホン２０から聞こえるように、音信号を制御すると（ステップ２０１）（ステップ１０８参照）、次に、ユーザの顔が１次情報が聞こえた方向を向いているかを判定する（ステップ２０２）。ユーザの顔が１次情報が聞こえた方向を向いているかの否かは、方位センサからの方位の情報に基づいて判定することができる。
【００６３】
ユーザの顔が１次情報が聞こえた方向を向いている場合（ステップ２０２のＹＥＳ）、制御部１１は、ユーザが首を横に振ったか否かを判定する（ステップ２０４）。この場合、制御部１１は、ヘッドホン２０に設けられたセンサ部３０のモーションセンサからの信号に基づいて、ユーザが首を横に振ったか否かを判定する。
【００６４】
ユーザが首を横に振らなかった場合（ステップ２０４のＮＯ）、制御部１１は、ユーザがうなずいたか否かを判定する（ステップ２０５）。この場合、制御部１１は、ヘッドホン２０に設けられたセンサ部３０のモーションセンサからの信号に基づいて、ユーザがうなずいたか否かを判定する。
【００６５】
ステップ２０２において、ユーザの顔が、１次情報が聞こえた方向を向いていない場合（ステップ２０２のＮＯ）、ステップ２０３へ進む。同様に、ユーザの顔が１次情報が聞こえた方向を向いているが、ユーザが首を横に振ってもいないし、うなずいてもいない場合（ステップ２０５のＮＯ）、制御部１１は、ステップ２０３に進む。
【００６６】
ステップ２０３では、制御部１１は、１次情報の再生が終了してから所定時間が経過したかを判定する（ステップ２０３）。この時間は、例えば、５秒〜１０秒程度の時間とされる。
【００６７】
１次情報の再生が終了してから所定時間経過していない場合（ステップ２０３のＮＯ）、制御部１１は、再びステップ２０２へ戻り、再び、ユーザの顔が１次情報が聞こえた方向を向いているかを判定する。
【００６８】
所定の時間が経過する前に、ユーザが１次情報が聞こえた方向に顔を向けて、横に首を振った場合（ステップ２０４のＹＥＳ）、制御部１１は、実オブジェクト１の２次情報を再生せずに、処理を終了する。これにより、ユーザは、実オブジェクト１の１次情報が聞こえた方向に顔を向けて首を横に振ることで、２次情報の再生をキャンセルすることができる。
【００６９】
例えば、「ＣＤショップ店Ａがあります」との１次情報が聞こえたときに、１次情報が聞こえた方向（ＣＤショップが存在する方向）に顔を向けて、首を横に振ると、ＣＤショップの２次情報（詳細情報）の再生がキャンセルされる。同様に、「東京タワーがあります」との１次情報が聞こえたときに、１次情報が聞こえた方向（東京タワーが存在する方向）に顔を向けて、首を横に振ると、東京タワーの２次情報（詳細情報）の再生がキャンセルされる。
【００７０】
所定の時間が経過する前に、ユーザが１次情報が聞こえた方向に顔を向けて、うなずいた場合（ステップ２０５のＹＥＳ）、制御部１１は、実オブジェクト１の２次情報がヘッドホン２０から聞こえるように、音信号を制御する（ステップ２０６）。この場合、制御部１１は、実オブジェクト１についての２次情報が、実オブジェクト１に対する顔の向きに応じた方向から、実オブジェクト１に対するユーザの距離に応じた音量で聞こえるように、音信号の出力を制御する。
【００７１】
例えば、「ＣＤショップ店Ａがあります」との１次情報が聞こえたときに、ユーザが１次情報が聞こえた方向（ＣＤショップが存在する方向）に顔を向けて、首を横に振ると、ＣＤショップの２次情報（詳細情報）の再生が開始される。この場合、例えば、お勧めのＣＤの情報や、ＣＤショップ店Ａの営業時間などの詳細な情報が２次情報として再生される。
【００７２】
同様に、「東京タワーがあります」との１次情報が聞こえたときに、１次情報が聞こえた方向（東京タワーが存在する方向）に顔を向けて、うなずくと、東京タワーの２次情報（詳細情報）が再生される。この場合、例えば、東京タワーの高さや、東京タワーの歴史、東京タワーがライトアップされる時間等の詳細な情報が２次情報として再生される。
【００７３】
このように、ユーザは、実オブジェクト１の１次情報が聞こえた方向に顔を向けてうなずくことで、実オブジェクト１についての詳細な情報を知ることができる。
【００７４】
なお、実オブジェクト１の２次情報が再生されているときに、ユーザが首を回転させて顔の向きを変えた場合、実オブジェクト１が存在する方向から実オブジェクト１の２次情報が聞こえてくるように、音源の位置が調整される。例えば、ユーザが実オブジェクト１の方向に顔を向けてうなずいた後、首を回転させて顔の向きを９０°左に回転させた場合、右方向から実オブジェクト１の２次情報が聞こえてくる。
【００７５】
携帯電話機１０が楽曲再生、ビデオ再生などのメインタスク実行しているときに、２次情報が再生される場合、制御部１１は、楽曲、ビデオの音声に、２次情報の音声を合成して出力してもよい。また、この場合、制御部１１は、楽曲、ビデオの音量が小さくなるように、音信号を制御してもよい。
【００７６】
また、２次情報が再生されているときに、ユーザが首を横に振った場合、２次情報の再生を停止してもよい。
【００７７】
ユーザが１次情報が聞えた方向を向いて首を横に振らず、かつ、うなずかずに所定時間が経過した場合（ステップ２０３のＹＥＳ）、制御部１１は、２次情報を再生せずに処理を終了する。すなわち、ユーザが１次情報に対して、何らアクションを行なわなかった場合、制御部１１は、２次情報を再生せずに、処理を終了する。これにより、ユーザは、１次情報に対して何らアクションを行なわないことで、２次情報の再生をキャンセルすることができる。
【００７８】
次に、１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部１１の処理についての他の例について説明する。
【００７９】
図７は、１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部１１の処理についての他の例を示すフローチャートである。
【００８０】
上述の図６に示す例では、ユーザは、実オブジェクト１の１次情報が聞こえた方向に顔を向けた状態で、首を横に振ったり、うなずいたりすることで、実オブジェクト１の２次情報を再生するか否かを選択していた。一方、図７に示す例では、ユーザが首を横に振ったり、うなずいたりすることで、実オブジェクト１の２次情報を再生するか否かを選択するときに、どの方向を向いていても構わない点で、図６に示す例と異なっている。
【００８１】
図７に示すように、制御部１１は、実オブジェクト１の１次情報がヘッドホン２０から聞こえるように、音信号を制御すると（ステップ３０１）（ステップ１０８参照）、次に、ユーザが首を横に振ったか否かを判定する（ステップ３０２）。
【００８２】
ユーザが首を横に振らなかった場合（ステップ３０２のＮＯ）、制御部１１は、ユーザがうなずいたか否かを判定する（ステップ３０３）。ユーザがうなずかなかった場合（ステップ３０３のＮＯ）、制御部１１は、実オブジェクト１の１次情報の再生が終了してから所定時間が経過したかを判定する（ステップ３０４）。この所定時間は、図６に示す場合と同様に、例えば、５秒〜１０秒程度の時間とされる。
【００８３】
実オブジェクト１の１次情報の再生の終了から所定時間が経過していない場合（ステップ３０４のＮＯ）、制御部１１は、再びステップ３０２へ戻り、再び、ユーザが首を横に振ったか否かを判定する。
【００８４】
１次情報の再生の終了から所定時間が経過する前に、ユーザが首を横に振った場合（ステップ３０２のＹＥＳ）、制御部１１は、実オブジェクト１の２次情報を再生せずに、処理を終了する。これにより、ユーザは、１次情報が再生された後に首を横にふることで、２次情報の再生をキャンセルすることができる。
【００８５】
１次情報の再生の終了から所定時間が経過する前に、ユーザがうなずいた場合（ステップ３０３のＹＥＳ）、制御部１１は、実オブジェクト１の２次情報がヘッドホン２０から聞こえるように、音信号を制御する。この場合、制御部１１は、実オブジェクト１についての２次情報が、実オブジェクト１に対する顔の向きに応じた方向から、実オブジェクト１に対するユーザの距離に応じた音量で聞こえるように、音信号の出力を制御する。これにより、ユーザは、１次情報が再生された後に、うなずくことで、２次情報の再生を開始することができる。ユーザが２次情報の再生中に、首を横に振った場合、制御部１１は、２次情報の再生を停止してもよい。
【００８６】
ユーザが首を横に振らず、かつ、ユーザがうなずかずに所定時間が経過した場合（ステップ３０４のＹＥＳ）、制御部１１は、２次情報を再生せずに処理を終了する。これにより、ユーザは、１次情報に対して何らアクションを行なわないことで、２次情報の再生をキャンセルすることができる。
【００８７】
次に、１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部１１の処理についてのさらに別の例について説明する。
【００８８】
図８は、１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部１１の処理についてのさらに別の例を示すフローチャートである。
【００８９】
図８に示すように、制御部１１は、実オブジェクト１の１次情報がヘッドホン２０から聞こえるように、音信号を制御すると（ステップ４０１）（ステップ１０８参照）、次に、実オブジェクト１の２次情報の再生を開始する（ステップ４０２）。この場合、制御部１１は、実オブジェクト１についての２次情報が、実オブジェクト１に対する顔の向きに応じた方向から、実オブジェクト１に対するユーザの距離に応じた音量で聞こえるように、音信号の出力を制御する。
【００９０】
次に、制御部１１は、実オブジェクト１に対するユーザの顔の向きが変化したかを判定する（ステップ４０３）。この場合、制御部１１は、方位センサからの方位の情報に基づいて、ユーザの顔の向きが変化したかを判定する。
【００９１】
ユーザが首を回転させて顔の向きを変えた場合（ステップ４０３のＹＥＳ）、制御部１１は、実オブジェクト１に対するユーザの顔の向きに応じて、実オブジェクト１の音源の位置と、２次情報の音量を調整する。このとき、制御部１１は、ユーザの顔の向きが１次情報が聞こえた方向（２次情報が聞こえてくる方向）に近づくに従って、２次情報の音量を大きくするように、音信号の出力を制御する。
【００９２】
ユーザの顔の向きが変化していない場合（ステップ４０３のＮＯ）、及び、顔の向きに応じて、実オブジェクト１の音源の位置と２次情報の音量とを調整した場合（ステップ４０４）、制御部１１は、次のステップ４０５へ進む。ステップ４０５では、制御部１１は、２次情報を全て再生したかを判定する。
【００９３】
再生すべき２次情報が残っている場合（ステップ４０５のＮＯ）、制御部１１は、再びステップ４０３へ戻り、再び顔の向きが変化したかを判定する。一方、２次情報を全て再生した場合（ステップ４０５）、制御部１１は、処理を終了する。
【００９４】
図８に示す処理により、ユーザは、２次情報が聞こえてくる方向（実オブジェクト１が存在する方向）に、顔を向けることで、２次情報の音量を大きくすることができる。
【００９５】
第１実施形態の説明では、音制御装置本体１０の一例として、携帯電話機１０を例に挙げて説明したが音制御装置本体１０は、これに限られない。音制御装置本体１０は、携帯音楽プレイヤー、ＰＤＡ（Personal Digital Assistance）、タブレットＰＣ（Personal Computer）、ノート型ＰＣ等であっても構わない。
【００９６】
＜第２実施形態＞
次に、本技術の第２実施形態について説明する。上述の第１実施形態では、空間内に実在するお店、建築物等の実オブジェクト１についての１次情報及び２次情報が、実オブジェクト１に対するユーザの顔の向きに応じた方向から聞こえてくる場合について説明した。一方、第２実施形態では、アプリケーションプログラム等の仮想オブジェクト２が空間内に仮想的に配置され、仮想オブジェクト２についての１次情報及び２次情報が仮想オブジェクト２が配置された方向から聞こえてくる点で、上述の第１実施形態と異なっている。従ってその点を中心に説明する。
【００９７】
［音制御装置２００の全体構成及び各部の構成］
図９は、第２実施形態に係る音制御装置２００を示す図である。図１０は、第２実施形態に係る音制御装置２００の電気的な構成を示すブロック図である。
【００９８】
これらの図に示すように、第２実施形態に係る音制御装置２００は、音制御装置本体５０（表示部一体型ＰＣ５０）と、音制御装置本体５０に接続されたヘッドホン２０と、センサ部６０とを備える。センサ部６０は、音制御装置本体５０に設けられた第１のセンサ部６１と、ヘッドホン２０に設けられた第２のセンサ部６２とを含む。第２実施形態では、音制御装置本体５０の一例として、表示部一体型ＰＣ５０を例に挙げて説明する。
【００９９】
表示部一体型ＰＣ５０は、制御部５１と、表示部５２と、入力部５３と、通信部５４と、記憶部５５とを有する。
【０１００】
表示部５２は、例えば、液晶ディスプレイや、ＥＬ（Electro-Luminescence）ディスプレイ等により構成される。入力部５３は、キーボード、マウス、タッチセンサ等により構成され、ユーザからの指示を入力して、制御部５１へ出力する。
【０１０１】
記憶部５５は、揮発性のメモリ（例えば、ＲＡＭ（Random Access Memory））と、不揮発のメモリ（例えば、ＲＯＭ（Read Only Memory））を含む。また、記憶部５５は、ＨＤＤ（Hard Disk Drive）、ＳＤＤ（Solid State Drive）などの補助記憶装置を含む。ＲＯＭ、ＨＤＤ、ＳＤＤには、制御部５１の処理に必要な各種のプログラムや、各種のデータが固定的に記憶される。プログラムは、光ディスク、半導体メモリ等の可搬性の記録媒体から読み取られてもよい。
【０１０２】
制御部５１は、記憶部５５に記憶されたプログラムに基づいて、種々の演算を実行する。通信部５４は、制御部５１の制御に応じて、電子メール、Ｗｅｂデータ等の各種のデータを送受信する。
【０１０３】
センサ部６０の一部を構成する第１のセンサ部６１は、ＣＣＤセンサ（ＣＣＤ：Charge Coupled Device）、ＣＭＯＳセンサ（ＣＭＯＳ：Complementary Metal Oxide Semiconductor）等の撮像素子により構成される。第１のセンサにより出力された信号は、アナログ／デジタル変換された後、制御部５１に入力される。制御部５１は、第１のセンサ部６１により撮像された画像に基づいて、ユーザの顔の向きを判定する。
【０１０４】
センサ部６０の一部を構成する第２のセンサ部６２は、加速度センサや、角速度センサ等のモーションセンサにより構成される。第２のセンサ部６２から出力された信号は、アナログ／デジタル変換された後、制御部５１に入力される。制御部５１は、第２のセンサ部６２から出力された信号に基づいて、ユーザの頭の動きを判定する。
【０１０５】
図９及び図１０に示す例では、表示部一体型ＰＣ５０とヘッドホン２０とが有線で接続された場合が示されているが、表示部一体型ＰＣ５０とヘッドホン２０とは無線によって通信可能であってもよい。
【０１０６】
［動作説明］
次に、本実施形態に係る表示部一体型ＰＣ５０の制御部５１の処理について説明する。図１１は、本実施形態に係る表示部一体型ＰＣ５０の制御部５１の処理を示すフローチャートである。図１２は、図１１に示す処理を説明するための補足図であり、空間内に仮想的に配置された仮想オブジェクト２を示す図である。
【０１０７】
図１１に示すように、まず、制御部５１は、空間内に仮想的に仮想オブジェクト２を配置する（ステップ１０１）。図１２では、仮想オブジェクト２としてのメールプログラム２ａがユーザの右側（ヘッドホン２０の右側）に配置され、仮想オブジェクト２してのミニブログ２ｂがユーザの左側（ヘッドホン２０の左側）に配置された場合の一例が示されている。
【０１０８】
図１２に示すように、空間内に仮想オブジェクト２が配置されるとき、制御部５１は、楽曲再生、ビデオ再生などのメインタスクを実行している。このとき、制御部５１は、楽曲、ビデオの音声が、ユーザの顔の向きに応じた方向から聞こえるように、ヘッドホン２０の音信号を制御している。
【０１０９】
制御部５１は、空間内に仮想オブジェクト２を配置すると、メールプログラム２ａについてのメールや、ミニブログ２ｂについてのつぶやき、コメント等が通信部５４を介して受信されたかを判定する（ステップ５０２）。
【０１１０】
これらの情報が通信部５４を介して受信されると（ステップ５０２のＹＥＳ）、次に、制御部５１は、仮想オブジェクト２に対するユーザの顔の向きの角度を算出する（ステップ５０３）。この場合、制御部５１は、第１のセンサ部６１（撮像素子）により撮像された画像から、画面に対するユーザの顔の向きを判定する。そして、制御部５１は、画面に対するユーザの顔の向きから、仮想オブジェクト２に対するユーザの顔の向きを判定する。
【０１１１】
次に、制御部５１は、仮想オブジェクト２についての音源を配置する距離と、音源を配置する方向とを算出する（ステップ５０４）。仮想オブジェクト２の音源を配置する方向は、仮想オブジェクト２に対するユーザの顔の向きに基づいて決定される。
【０１１２】
次に、制御部５１は、仮想オブジェクト２の音源の位置から仮想オブジェクト２についての１次情報がヘッドホン２０から聞こえてくるように、音信号を制御する（ステップ５０５）。なお、この場合、制御部５１は、楽曲やビデオ等の音声（メインタスクの音声）に、１次情報の音声を合成して出力する。制御部５１は、１次情報の再生中は、メインタスクの音声が小さくなるような処理を実行してもよい。
【０１１３】
例えば、仮想オブジェクト２がメールプログラム２ａの場合について説明する。この場合、仮想オブジェクト２についての１次情報として、「〜さんからメールが届きました」等の簡易な情報が、メールプログラム２ａが配置された方向から聞こえてくるように音信号が制御される。あるいは、単に「ピピ」などのアラート音が１次情報として、メールプログラム２ａが配置された方向から聞こえてくるように音信号が制御されてもよい。
【０１１４】
仮想オブジェクト２がミニブログ２ｂである場合について説明する。この場合、仮想オブジェクト２についての１次情報として、「〜さんがつぶやきました」「〜さんからコメントがありました」等の簡易な情報が、ミニブログ２ｂが配置された方向から聞こえてくるように音信号が制御される。あるいは、単に「ピピ」などのアラート音が１次情報として、ミニブログ２ｂが配置された方向から聞こえてくるように音信号が制御されてもよい。
【０１１５】
なお、仮想オブジェクト２についての１次情報が再生されているときに、ユーザが首を回転させて顔の向きを変えた場合、仮想オブジェクト２が存在する方向から１次情報が聞こえてくるように、仮想オブジェクト２の音源の位置が調整される。例えば、ユーザの左方向から仮想オブジェクト２の１次情報が聞こえたときに、ユーザが左方向を向くと、正面から仮想オブジェクト２の１次情報が聞こえてくる。
【０１１６】
次に、制御部５１は、１次情報（簡易情報）に対するユーザのアクションに応じて、２次情報（詳細情報）がヘッドホン２０から聞こえてくるように音信号を制御する（ステップ５０６）。
【０１１７】
"１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部５１の処理"
次に、１次情報に対するユーザのアクションに応じて、２次情報がヘッドホン２０から聞こえてくるときの制御部５１の処理について説明する。この場合の処理は、空間内に配置されているオブジェクトが実オブジェクト１ではなく仮想オブジェクト２である点を除いて上述の第１実施形態で説明した、図６〜図８の３つの例と典型的に同じである。従って、この場合の処理は、図６〜図８を参照しつつ説明する。
【０１１８】
図６を参照して、１次情報の再生が終了してから所定時間が経過する前に（ステップ２０３のＮＯ）、ユーザが１次情報が聞こえた方向に顔を向けて（ステップ２０２のＹＥＳ）、横に首を振ったとする（ステップ２０４のＹＥＳ）。この場合、制御部５１は、２次情報を再生せずに処理を終了する。これにより、ユーザは、１次情報が聞こえた方向に顔を向けて首を横に振ることで、２次情報の再生をキャンセルすることができる。
【０１１９】
ユーザが１次情報が聞こえた方向を向いているかは、第１のセンサ部６１（撮像素子）により撮像された画像に基づいて判定されたユーザ顔の向きに基づいて判定される。また、ユーザが首を横に振ったか否かは、第１のセンサ部６１（モーションセンサ）によって検出された信号に基づいて判定される。
【０１２０】
例えば、「〜さんからメールが届きました」との１次情報が聞こえたときに、ユーザが、１次情報が聞こえた方向（メールプログラム２ａが存在する方向）に顔を向けて、首を横に振ると、２次情報（詳細情報）の再生がキャンセルされる。同様に、「〜さんがつぶやきました」、「〜さんがコメントしました」との１次情報が聞こえたときに、１次情報が聞こえた方向（ミニブログ２ｂが存在する方向）に顔を向けて、首を横に振ると、２次情報（詳細情報）の再生がキャンセルされる。
【０１２１】
１次情報の再生が終了してから所定の時間が経過する前に（ステップ２０３のＮＯ）、ユーザが１次情報が聞こえた方向に顔を向けて（ステップ２０２のＹＥＳ）、うなずいたとする（ステップ２０５のＹＥＳ）。この場合、制御部５１は、２次情報が、仮想オブジェクト２に対する顔の向きに応じた方向から聞こえるように、音信号の出力を制御する（ステップ２０６）。ユーザがうなずいたか否かは、第１のセンサ部６１（モーションセンサ）によって検出された信号に基づいて判定される。
【０１２２】
なお、この場合、制御部５１は、楽曲やビデオ等の音声（メインタスクの音声）に、２次情報の音声を合成して出力する。制御部５１は、２次情報の再生中は、メインタスクの音量が小さくなるような処理を実行してもよい。
【０１２３】
例えば、「〜さんからメールが届きました」との１次情報が聞こえたときに、ユーザが１次情報が聞こえた方向（メールプログラム２ａが存在する方向）に顔を向けて、うなずくと、２次情報（詳細情報）の再生が開始される。この場合、制御部５１は、メールの内容を２次情報として再生する。
【０１２４】
同様に、「〜さんがつぶやきました」「〜さんからコメントがありました」との１次情報が聞こえたときに、ユーザが１次情報が聞こえた方向（ミニブログ２ｂが存在する方向）に顔を向けて、うなずくと、２次情報の再生が開始される。この場合、制御部５１は、つぶやきの内容、コメントの内容を２次情報として再生する。メール、つぶやき、コメントなどの文章の内容を音声に変換する方法としては、ＴＴＳ技術（ＴＴＳ：Text To Speech）が挙げられる。
【０１２５】
このように、ユーザは、１次情報が聞こえた方向（仮想オブジェクト２が存在する方向）に顔を向けてうなずくことで、１次情報より詳しい内容の２次情報を知ることができる。
【０１２６】
なお、２次情報が再生されているときに、ユーザが首を回転させて顔の向きを変えた場合、仮想オブジェクト２が存在する方向から２次情報が聞こえてくるように、音源の位置が制御される。例えば、ユーザが仮想オブジェクト２の方向に顔を向けてうなずいた後、首を回転させて顔の向きを９０°左に回転させた場合、右方向から２次情報が聞こえてくる。
【０１２７】
２次情報が再生されているときに、ユーザが首を横に振った場合、２次情報の再生を停止してもよい。
【０１２８】
ユーザが１次情報が聞えた方向に顔を向けて首を横に振らず、かつ、うなずかずに所定時間が経過した場合（ステップ２０３のＹＥＳ）、制御部５１は、２次情報を再生せずに処理を終了する。すなわち、ユーザが１次情報に対して、何らアクションを行なわなかった場合、制御部５１は、２次情報を再生せずに、処理を終了する。これにより、ユーザは、１次情報に対して何らアクションを行なわないことで、２次情報の再生をキャンセルすることができる。
【０１２９】
図７を参照して、１次情報の再生の終了から所定時間が経過する前に（ステップ３０４のＮＯ）、ユーザが首を横に振った場合（ステップ３０２のＹＥＳ）、制御部５１は、メール、つぶやき、コメントの内容等の２次情報を再生せずに、処理を終了する。これにより、ユーザは、１次情報が再生された後に首を横にふることで（顔の向きは、関係がない）、２次情報の再生をキャンセルすることができる。
【０１３０】
所定時間が経過する前に（ステップ３０４のＮＯ）、ユーザがうなずいた場合（ステップ３０３のＹＥＳ）、制御部５１は、メール、つぶやき、コメントの内容等２次情報がヘッドホン２０から聞こえるように音信号を制御する（ステップ３０５）。この場合、制御部５１は、２次情報が、仮想オブジェクト２に対する顔の向きに応じた方向から聞こえるように音信号の出力を制御する。
【０１３１】
このような処理により、ユーザは、１次情報が再生された後に、うなずくことで（顔の向きは、関係がない）、２次情報の再生を開始することができる。ユーザが２次情報の再生中に、首を横に振った場合、制御部５１は、２次情報の再生を停止してもよい。
【０１３２】
ユーザが首を横に振らず、かつ、ユーザがうなずかずに所定時間が経過した場合（ステップ３０４のＹＥＳ）、制御部５１は、２次情報を再生せずに処理を終了する。これにより、ユーザは、１次情報に対して何らアクションを行なわないことで、２次情報の再生をキャンセルすることができる。
【０１３３】
図８を参照して、２次情報の再生の開始後に、ユーザが１次情報が聞こえた方向（２次情報が聞こえてくる方向）に、顔を向けたとする（ステップ４０３のＹＥＳ）。この場合、仮想オブジェクト２に対するユーザの顔の向きに応じた方向から２次情報が聞えてきて、かつ、顔の向きが仮想オブジェクト２の方向に近づくに従って、２次情報の音量が大きくなる（ステップ４０４）。
【０１３４】
図１３には、ユーザがメールプログラム２ａについての１次情報を聞いた後に、１次情報が聞こえた方向を向いたときの様子が示されている。図１３（Ａ）に示すように、正面側からメインタスクの音声（楽曲の音声等）を聞いているときに、ユーザの右側に配置されたメールプログラム２ａの音源の位置から「〜さんからメールが届きました」等の１次情報が聞こえたとする。そして、図１３（Ｂ）に示すように、ユーザが首を回転させて、顔を１次情報が聞えた方向に向けたとする。
【０１３５】
この場合、メールプログラム２ａに対するユーザの顔の向きに応じた方向からメールの内容等の２次情報が聞えてくるように音信号が制御される。同様に、メインタスクの音声（楽曲の音声）がユーザの顔の向きに応じた方向から聞えてくるように音信号が制御される。また、この場合、顔の向きが１次情報が聞えた方向（２次情報が聞えてくる方向）に近づくに従って、２次情報の音量が大きくなるように、かつ、メインタスクの音声が小さくなるように、音信号が制御される。
【０１３６】
図８に示す処理により、ユーザは、２次情報が聞こえてくる方向（仮想オブジェクト１が存在する方向）に、顔を向けることで、２次情報の音量を大きくすることができる。
【０１３７】
［第２実施形態変形例］
次に、第２実施形態の変形例について説明する。上述のように、第２実施形態では、空間内に、メールプログラム２ａ、ミニブログ２ｂ等のアプリケーションプログラムが仮想オブジェクト２として配置される。そして、制御部５１は、仮想オブジェクト２の方向から１次情報及び２次情報が聞えてくるように音信号を制御する。ユーザは、第１の情報及び第２の情報がある特定の方向から聞えてくるので、メールプログラム２ａ、ミニブログ２ｂ等のアプリケーションプログラム（仮想オブジェクト２）が配置されている方向を既に知っている。第２実施形態の変形例では、この関係を利用する。
【０１３８】
図１４は、第２実施形態の変形例についての処理を示すフローチャートである。図１５は、図１４に示す処理を説明するための補足図であり、ユーザが仮想オブジェクト２（メールプログラム２ａ）が存在する方向を向いて、声を発したときの様子を示す図である。
【０１３９】
図１５に示すように、制御部５１は、楽曲再生、ビデオ再生などのメインタスクを実行している。図１４を参照して、制御部５１は、第１のセンサ部６１（撮像素子）により撮像された画像に基づいて、ユーザの顔の向きが変化したかを判定する（ステップ６０１）。
【０１４０】
ユーザの顔の向きが変化した場合（ステップ６０１のＹＥＳ）、制御部５１は、顔が向いた方向にメールプログラム２ａ、ミニブログ２ｂ等のアプリケーションプログラム（仮想オブジェクト２）が配置されているかを判定する（ステップ６０２）。この場合、制御部５１は、ユーザの顔の正面方向から、例えば、±４５°の範囲に、アプリケーションプログラム（仮想オブジェクト２）がある場合に、顔が向いた方向にアプリケーションプログラム（仮想オブジェクト２）が存在すると判定する。
【０１４１】
なお、ユーザの顔の向きが変化した場合、制御部５１は、楽曲、ビデオの音声（メインタスクの音声）が、ユーザの顔の向きに応じた方向から聞こえるように、音源の位置を制御している（図１５（Ａ）、（Ｂ）参照）。
【０１４２】
ステップ６０２の判定が肯定的である場合（ステップ６０２のＹＥＳ）、制御部５１は、音声認識の処理を実行する（ステップ６０３）。ユーザが発した音声は、例えば、ヘッドホン２０に追加されたマイクロフォンによって集音される。
【０１４３】
図１５（Ｂ）では、ユーザがメールプログラム２ａ（仮想オブジェクト２）が存在する方向に顔を向けて「Dear〜さん、・・・」と発声して、〜さんに送信するメールの内容をしゃべっている場合の一例が示されている。なお、ユーザは、ユーザの右側から１次情報（「〜さんからメールが届きました」）及び２次情報（メールの内容）が聞こえてくるので、メールプログラム２ａがユーザの右側に配置されていることを既に知っている。
【０１４４】
制御部５１は、音声認識の処理を実行すると、次に、アプリケーションプログラムに音声コマンドを発行する。これにより、ユーザが発声した「Dear〜さん、・・・」の内容がメールの本文に書き込まれる。
【０１４５】
また、例えば、ユーザがミニブログ２ｂが存在する方向に顔を向けて、ユーザがミニブログ２ｂに書き込む内容（つぶやき、コメント等）を発声すると、制御部５１により音声認識される。そして、ミニブログ２ｂにユーザが発声した内容がミニブログ２ｂに書き込まれる。
【０１４６】
このような処理により、ユーザは、メインタスクを阻害することなく、メールや、ミニブログの内容を発声により書き込むことができる。
【０１４７】
第２実施形態及び第２実施形態の変形例の説明では、音制御装置本体５０の一例として、表示部一体型ＰＣ５０を例に挙げて説明した。しかし、音制御装置本体５０は、これに限られない。音制御装置本体５０は、デスクトップＰＣ、ノート型ＰＣ、タブレットＰＣ、携帯電話機１０、携帯音楽プレイヤー、ＰＤＡ（Personal Digital Assistance）などであってもかまわない。
【０１４８】
＜各種変形例＞
以上の説明では、ヘッドホン２０を例に挙げて説明したが、ヘッドホン２０の代わりにイヤホン（音出力部）が用いられてもよい。
【０１４９】
以上の説明では、１次情報に対するユーザのアクションを検出するセンサとして、ヘッドホン２０に設けられた、方位センサや、モーションセンサ等を例に挙げて説明した。しかし、ユーザによる１次情報に対するアクションを検出するセンサは、これに限られない。
例えば、ユーザによる１次情報に対するアクションを検出するセンサとして、マイクロフォンが用いられてもよい。このマイクロフォンは、例えば、音制御装置本体１０、５０、あるいは、ヘッドホン２０に設けられる。
【０１５０】
この場合、例えば、ユーザは、「お店があります」、「メールが届きました」等の１次情報が聞えたときに、１次情報に対するアクションとして「はい」「いいえ」等の音声をマイクに向かって発する。制御部１１、５１は、「はい」との声が発せられたと判定した場合に、お店の詳細情報や、メールの内容等の２次情報を音信号として出力してもよい。ユーザは、お店やメールプログラム２ａ等のオブジェクトの存在する方向に顔を向けた状態で、「はい」「いいえ」と発声してもよいし、お店やメールプログラム２ａ等のオブジェクトの方向とは無関係に、「はい」「いいえ」と発声してもよい。
【０１５１】
本技術は、以下の構成もとることができる。
（１） センサ部と、
前記センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定し、前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御し、前記センサ部からの信号に基づいて前記１次情報に対するユーザのアクションを判定し、前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する制御部と
を具備する音制御装置。
（２）上記（１）に記載の音制御装置であって、
通信部をさらに具備し、
前記制御部は、前記音制御装置の位置を測定し、前記通信部を介して、空間に存在する前記実オブジェクトの位置情報を取得し、各位置情報に基づいて、前記音制御装置及び前記実オブジェクトの距離を判定し、前記距離が所定の閾値以下となった場合に、前記実オブジェクトについての１次情報が前記音出力部から聞こえてくるように、音信号の出力を制御する
音制御装置。
（３）上記（１）又は（２）に記載の音制御装置であって、
前記制御部は、前記１次情報に対するユーザのアクションとして、前記１次情報が聞こえた方向に顔を向ける動きを判定し、顔の向きが前記１次情報が聞こえた方向に近づくに従って、前記２次情報の音量が大きくなるように、前記音信号の出力を制御する
音制御装置。
（４）上記（３）に記載の音制御装置であって、
前記制御部は、メインタスクを実行し、顔の向きが１次情報が聞こえた方向に近づくに従って、前記２次情報の音量が大きくなりつつ、前記メインタスクの音量が小さくなるように、前記音信号の出力を制御する
音制御装置。
（５）上記（１）又は（２）に記載の音制御装置であって、
前記制御部は、前記１次情報に対するユーザのアクションとして、頭の上下方向への動きを判定し、上下方向へ頭が動かされた場合に、前記２次情報が前記音出力部から聞こえてくるように前記音信号の出力を制御する
音制御装置。
（６）上記（１）又は（２）に記載の音制御装置であって、
前記制御部は、前記１次情報に対するユーザのアクションとして、ユーザが１次情報が聞こえた方向に顔を向けた状態での頭の動きを判定し、１次情報が聞こえた方向に顔を向けた状態での頭の動きに応じて、前記２次情報を音信号として出力するか否かを判定する
音制御装置。
（７）上記（６）に記載の音制御装置であって、
前記制御部は、ユーザが１次情報が聞こえた方向に顔を向けた状態での頭の上下方向への動きを判定し、１次情報が聞こえた方向に顔を向けた状態での頭の上下方向への動きに応じて、前記２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する
音制御装置。
（８）上記（１）乃至（７）のうちいずれか１つに記載の音制御装置であって、
前記制御部は、前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記２次情報が聞こえてくるように、前記音信号の出力を制御する
音制御装置。
（９）上記（１）乃至（８）のうちいずれか１つに記載の音制御装置であって、
前記音出力部は、ヘッドホン又はイヤホンである
音制御装置。
（１０） 音制御装置に、
センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定するステップと、
前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御するステップと、
前記センサ部からの信号に基づいて前記１次情報に対するユーザのアクションを判定するステップと、
前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御するステップと
を実行させるプログラム。
（１１） センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定し、
前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御し、
前記センサ部からの信号に基づいて、前記１次情報に対するユーザのアクションを判定し、
前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する
制御方法。
【符号の説明】
【０１５２】
１…実オブジェクト
２…仮想オブジェクト
２ａ…メールプログラム
２ｂ…ミニブログ
１０、５０…音制御装置本体
１１、５１…制御部
１２、５２…表示部
１５、５４…通信部
１６、５５…記憶部
２０…ヘッドホン
３０、６０…センサ部
１００、２００…音制御装置
【特許請求の範囲】
【請求項１】
センサ部と、
前記センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定し、前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御し、前記センサ部からの信号に基づいて前記１次情報に対するユーザのアクションを判定し、前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する制御部と
を具備する音制御装置。
【請求項２】
請求項１に記載の音制御装置であって、
通信部をさらに具備し、
前記制御部は、前記音制御装置の位置を測定し、前記通信部を介して、空間に存在する前記実オブジェクトの位置情報を取得し、各位置情報に基づいて、前記音制御装置及び前記実オブジェクトの距離を判定し、前記距離が所定の閾値以下となった場合に、前記実オブジェクトについての１次情報が前記音出力部から聞こえてくるように、音信号の出力を制御する
音制御装置。
【請求項３】
請求項１に記載の音制御装置であって、
前記制御部は、前記１次情報に対するユーザのアクションとして、前記１次情報が聞こえた方向に顔を向ける動きを判定し、顔の向きが前記１次情報が聞こえた方向に近づくに従って、前記２次情報の音量が大きくなるように、前記音信号の出力を制御する
音制御装置。
【請求項４】
請求項３に記載の音制御装置であって、
前記制御部は、メインタスクを実行し、顔の向きが１次情報が聞こえた方向に近づくに従って、前記２次情報の音量が大きくなりつつ、前記メインタスクの音量が小さくなるように、前記音信号の出力を制御する
音制御装置。
【請求項５】
請求項１に記載の音制御装置であって、
前記制御部は、前記１次情報に対するユーザのアクションとして、頭の上下方向への動きを判定し、上下方向へ頭が動かされた場合に、前記２次情報が前記音出力部から聞こえてくるように前記音信号の出力を制御する
音制御装置。
【請求項６】
請求項１に記載の音制御装置であって、
前記制御部は、前記１次情報に対するユーザのアクションとして、ユーザが１次情報が聞こえた方向に顔を向けた状態での頭の動きを判定し、１次情報が聞こえた方向に顔を向けた状態での頭の動きに応じて、前記２次情報を音信号として出力するか否かを判定する
音制御装置。
【請求項７】
請求項６に記載の音制御装置であって、
前記制御部は、ユーザが１次情報が聞こえた方向に顔を向けた状態での頭の上下方向への動きを判定し、１次情報が聞こえた方向に顔を向けた状態での頭の上下方向への動きに応じて、前記２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する
音制御装置。
【請求項８】
請求項１に記載の音制御装置であって、
前記制御部は、前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記２次情報が聞こえてくるように、前記音信号の出力を制御する
音制御装置。
【請求項９】
請求項１に記載の音制御装置であって、
前記音出力部は、ヘッドホン又はイヤホンである
音制御装置。
【請求項１０】
音制御装置に、
センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定するステップと、
前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御するステップと、
前記センサ部からの信号に基づいて前記１次情報に対するユーザのアクションを判定するステップと、
前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御するステップと
を実行させるプログラム。
【請求項１１】
センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定し、
前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御し、
前記センサ部からの信号に基づいて、前記１次情報に対するユーザのアクションを判定し、
前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する
制御方法。
【請求項１】
センサ部と、
前記センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定し、前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御し、前記センサ部からの信号に基づいて前記１次情報に対するユーザのアクションを判定し、前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する制御部と
を具備する音制御装置。
【請求項２】
請求項１に記載の音制御装置であって、
通信部をさらに具備し、
前記制御部は、前記音制御装置の位置を測定し、前記通信部を介して、空間に存在する前記実オブジェクトの位置情報を取得し、各位置情報に基づいて、前記音制御装置及び前記実オブジェクトの距離を判定し、前記距離が所定の閾値以下となった場合に、前記実オブジェクトについての１次情報が前記音出力部から聞こえてくるように、音信号の出力を制御する
音制御装置。
【請求項３】
請求項１に記載の音制御装置であって、
前記制御部は、前記１次情報に対するユーザのアクションとして、前記１次情報が聞こえた方向に顔を向ける動きを判定し、顔の向きが前記１次情報が聞こえた方向に近づくに従って、前記２次情報の音量が大きくなるように、前記音信号の出力を制御する
音制御装置。
【請求項４】
請求項３に記載の音制御装置であって、
前記制御部は、メインタスクを実行し、顔の向きが１次情報が聞こえた方向に近づくに従って、前記２次情報の音量が大きくなりつつ、前記メインタスクの音量が小さくなるように、前記音信号の出力を制御する
音制御装置。
【請求項５】
請求項１に記載の音制御装置であって、
前記制御部は、前記１次情報に対するユーザのアクションとして、頭の上下方向への動きを判定し、上下方向へ頭が動かされた場合に、前記２次情報が前記音出力部から聞こえてくるように前記音信号の出力を制御する
音制御装置。
【請求項６】
請求項１に記載の音制御装置であって、
前記制御部は、前記１次情報に対するユーザのアクションとして、ユーザが１次情報が聞こえた方向に顔を向けた状態での頭の動きを判定し、１次情報が聞こえた方向に顔を向けた状態での頭の動きに応じて、前記２次情報を音信号として出力するか否かを判定する
音制御装置。
【請求項７】
請求項６に記載の音制御装置であって、
前記制御部は、ユーザが１次情報が聞こえた方向に顔を向けた状態での頭の上下方向への動きを判定し、１次情報が聞こえた方向に顔を向けた状態での頭の上下方向への動きに応じて、前記２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する
音制御装置。
【請求項８】
請求項１に記載の音制御装置であって、
前記制御部は、前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記２次情報が聞こえてくるように、前記音信号の出力を制御する
音制御装置。
【請求項９】
請求項１に記載の音制御装置であって、
前記音出力部は、ヘッドホン又はイヤホンである
音制御装置。
【請求項１０】
音制御装置に、
センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定するステップと、
前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御するステップと、
前記センサ部からの信号に基づいて前記１次情報に対するユーザのアクションを判定するステップと、
前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御するステップと
を実行させるプログラム。
【請求項１１】
センサ部からの信号に基づいて、空間内に存在する実オブジェクト又は空間内に仮想的に配置された仮想オブジェクトに対するユーザの顔の向きを判定し、
前記実オブジェクト又は前記仮想オブジェクトに対する顔の向きに応じた方向から前記実オブジェクト又は前記仮想オブジェクトについての１次情報が音出力部から聞こえてくるように音信号の出力を制御し、
前記センサ部からの信号に基づいて、前記１次情報に対するユーザのアクションを判定し、
前記アクションに応じて、前記１次情報よりも詳しい内容の２次情報が前記音出力部から聞こえてくるように、前記音信号の出力を制御する
制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２５７０７６（Ｐ２０１２−２５７０７６Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２８９８３（Ｐ２０１１−１２８９８３）
【出願日】平成２３年６月９日（２０１１．６．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月９日（２０１１．６．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]