情報処理装置、情報処理方法及びプログラム
【課題】ユーザにとって必要な情報を、音声情報として直感的に理解させること。
【解決手段】情報処理装置は、記憶部と、センサと、制御部と、音声出力部とを有する。上記記憶部は、それぞれの位置に対応付けられた複数の音声情報を記憶可能である。上記センサは、当該情報処理装置の変位を検出可能である。上記制御部は、上記記憶された複数の音声情報から、所定条件に合致する1つ以上の音声情報を抽出可能である。また制御部は、上記検出された変位に基づいて、当該抽出された音声情報を上記対応付けられた位置に定位させたマルチチャンネル音声情報を生成可能である。上記音声出力部は、上記生成されたマルチチャンネル音声情報をステレオ音声情報へ変換して出力可能である。
【解決手段】情報処理装置は、記憶部と、センサと、制御部と、音声出力部とを有する。上記記憶部は、それぞれの位置に対応付けられた複数の音声情報を記憶可能である。上記センサは、当該情報処理装置の変位を検出可能である。上記制御部は、上記記憶された複数の音声情報から、所定条件に合致する1つ以上の音声情報を抽出可能である。また制御部は、上記検出された変位に基づいて、当該抽出された音声情報を上記対応付けられた位置に定位させたマルチチャンネル音声情報を生成可能である。上記音声出力部は、上記生成されたマルチチャンネル音声情報をステレオ音声情報へ変換して出力可能である。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、音情報を空間的に配置して出力することが可能な情報処理装置、当該情報処理装置における情報処理方法及びプログラムに関する。
【背景技術】
【0002】
近年、ユーザが得られる情報の量は増大している。ユーザは、情報端末のモバイル化に伴い、自宅でも外出先でも、常時インターネットに接続し、情報を入手することができる。したがって、それらの情報の中から、ユーザが必要な情報をいかに抽出し、提示するかが重要となっている。
【0003】
インターネットに接続された情報端末からユーザが得る情報は、視覚情報と音情報の大きく2つに分けられる。前者については、高画質・高解像度化や、グラフィックス表現の進歩等、映像表示技術の発達により、直感的で分かりやすい情報の提示手法が多数存在する。一方、後者については、音を表示とセットにすることで直感的な理解を促すものが存在する。しかし、ユーザは一般的に、外出先で移動している間は情報端末をポケットや鞄にしまうことが多く、移動中に表示部を見続けるのには危険が伴う。
【0004】
音のみによる情報の提示手法については、ナビゲーション等の限られた分野での技術は存在するものの、一般的にはあまり発達していない。下記特許文献1には、装置本体の位置情報及び方角情報から、予め設定された位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力し、当該定位情報に基づいて音データに立体音響処理を施す立体音響制御装置が記載されている。当該装置は、例えばカーナビゲーションに適用することで、聴覚のみで直感的に分かる音形式で聴取者に方向の指示(誘導、識別、注意等)を与えることを可能としている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−151766号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献1に記載の技術では、ユーザに提示される音情報は単なる方向の指示であり、その他の情報を音によって提示することはできない。また、特許文献1においてユーザに提示される音情報の中には、既にユーザが把握しており、不要な情報も含まれている可能性があり、ユーザが不快に感じてしまう可能性もある。
【0007】
以上のような事情に鑑み、本技術の目的は、ユーザにとって必要な情報を、音情報として直感的に理解させることが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本技術の一形態に係る情報処理装置は、情報処理装置であって、記憶部と、センサと、制御部と、音出力部とを有する。上記記憶部は、それぞれの位置に対応付けられた複数の音情報を記憶可能である。上記センサは、当該情報処理装置または当該情報処理装置のユーザの変位を検出可能である。上記制御部は、上記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報を抽出可能である。また制御部は、上記検出された変位に基づいて、当該抽出された音情報を上記対応付けられた位置に定位させたマルチチャンネル音情報を生成可能である。上記音出力部は、上記生成されたマルチチャンネル音情報をステレオ音情報へ変換して出力可能である。
【0009】
これにより情報処理装置は、所定条件に基づいて音情報をフィルタリングした上で定位させて出力しているため、ユーザにとって必要な情報を、音情報として直感的に理解させることができる。ここでマルチチャンネル音情報とは、3チャンネル以上の音情報であり、例えば5.1チャンネルの音情報である。また当該情報処理装置は、その構成要素として、ユーザが装着するヘッドフォン(ステレオフォンまたはイヤーフォン)を含む場合もある。情報処理装置が本体とヘッドフォンとで構成されている場合、上記センサはそのどちらに設けられていてもよい。また、上記制御部がヘッドフォンに設けられていてもよい。また「変位」とは、位置、方向、速度等のさまざまな変化を含む概念である。
【0010】
上記センサは、当該情報処理装置または前記ユーザの位置または方位を検出可能であってもよい。この場合上記制御部は、上記音情報に対応付けられた位置が、当該情報処理装置または前記ユーザの位置から所定の距離範囲または所定の方位範囲にあることを上記所定条件として上記音情報を抽出可能であってもよい。
【0011】
これにより情報処理装置は、例えばユーザの前方や近距離等、ユーザが興味を持ちやすい位置に対応付けられた音情報のみを、当該方向から聞こえるようにユーザに提示することができる。ここで抽出される音情報は、例えば店舗や施設に関する情報であってもよく、またそれら店舗や施設に関する情報に対応付けられたAR(Augmented Reality)マーカーであってもよい。
【0012】
上記複数の音情報のうち少なくとも1つは、当該情報処理装置または前記ユーザの所定の移動速度と対応付けられていてもよい。この場合上記センサは、当該情報処理装置または前記ユーザの上記移動速度を検出可能であってもよい。この場合上記制御部は、上記検出された移動速度と対応付けられていることを上記所定条件として上記音情報を抽出可能であってもよい。
【0013】
これにより情報処理装置は、ユーザの移動速度に応じて音情報のフィルタリング態様を変更し、移動速度に応じた音情報をユーザに提供することができる。例えば、音情報として店舗情報が提供される場合、ユーザの移動速度が比較的高速の場合は、店舗名等のキーワードのみ提供され、移動速度が比較的低速の場合は、店舗名のほか、お勧めのメニューや店舗に対する評価等の情報も提供されてもよい。
【0014】
上記複数の音情報のうち少なくとも1つは、当該情報処理装置または前記ユーザの所定の初期位置から所定距離にある仮想的な位置と対応付けられていてもよい。この場合上記センサは、当該情報処理装置または前記ユーザの上記初期位置からの移動距離を検出可能であってもよい。この場合上記制御部は、上記検出された移動距離だけ移動した位置が上記仮想的な位置から所定距離範囲内に到達したことを上記所定条件として上記音情報を抽出可能であってもよい。
【0015】
これにより情報処理装置は、ユーザが所定距離だけ移動したときに初めて特定の音情報をユーザに提供することができる。例えば情報処理装置は、ユーザがランニング中に、所定のチェックポイントに相当する距離だけ走った場合に、特定の音情報を出力することができる。
【0016】
上記複数の音情報のうち少なくとも1つは、所定の初期位置から当該情報処理装置または前記ユーザと同一の方向へ所定速度で移動する仮想物体の位置と対応付けられていてもよい。この場合上記センサは、当該情報処理装置または前記ユーザの上記初期位置からの移動距離を検出可能であってもよい。この場合上記制御部は、上記仮想物体の位置と対応付けられていることを上記所定条件として上記音情報を抽出してもよい。さらに制御部は、上記検出された移動距離から算出される位置を基準として、上記移動中の仮想物体の位置に、上記抽出された音情報を定位させてもよい。
【0017】
これにより情報処理装置は、例えばランニング中のユーザに、仮想物体との仮想的な競争を体験させることができる。ここで仮想物体は例えばユーザが目標とするランナーであってもよく、上記抽出される音情報は、当該ランナーの足音や呼吸音であってもよい。
【0018】
上記複数の音情報のうち少なくとも1つは、所定の移動物体の第1の位置と対応付けられていてもよい。この場合上記センサは、上記移動物体の位置と、当該情報処理装置または前記ユーザの第2の位置とを検出可能であってもよい。上記制御部は、上記移動物体の位置と対応付けられていることを上記所定条件として上記音情報を抽出してもよい。さらに制御部は、上記検出された第1の位置が、上記検出された第2の位置から所定範囲内にある場合、当該第1の位置に上記抽出された音情報を定位させてもよい。
【0019】
これにより情報処理装置は、移動物体がユーザに接近していること及びその方向を音情報によってユーザに報知することができる。ここで移動物体とは例えば車両等であり、音情報は例えば車両のエンジン音や、危険を知らせる警告音等である。昨今では、電気自動車の普及によりエンジン音が出ない車両が増加し、特にユーザがヘッドフォンを装着している場合には、車両の接近に気づかないことがあるが、上記構成により、ユーザは車両の接近を感知し、危険を回避することができる。
【0020】
上記情報処理装置は、他の情報処理装置と音声通話が可能な通信部をさらに具備してもよい。この場合上記複数の音情報のうち少なくとも1つは、上記通信部が上記他の情報処理装置と音声通話を開始した位置と対応付けられていてもよい。この場合上記センサは、当該情報処理装置または前記ユーザの、上記音通話を開始した位置からの移動方向及び移動距離を検出可能であってもよい。この場合上記制御部は、上記音通話を開始した位置と対応付けられていることを上記所定条件として上記音情報を抽出してもよい。さらに制御部は、上記音通話を開始した位置から上記移動方向へ上記移動距離だけ移動した位置を基準として、上記音通話を開始した位置に上記抽出された音情報を定位させてもよい。
【0021】
これにより情報処理装置は、ユーザの音通話相手が、あたかも、音通話を開始した位置に存在するような体験をユーザに提供することができる。例えば、この構成によれば、音通話を開始した位置からユーザが遠ざかると、通話相手の音は元の位置から聞こえるようになり、かつ、音量も小さくなることになる。
【0022】
本技術の他の形態に係る情報処理装置は、通信部と、記憶部と、制御部とを有する。上記通信部は、他の情報処理装置と通信可能である。上記記憶部は、それぞれの位置に対応付けられた複数の音情報を記憶可能である。上記制御部は、上記他の情報処理装置または当該他の情報処理装置のユーザの変位を示す変位情報を上記他の情報処理装置から受信するように上記通信部を制御可能である。また制御部は、上記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報を抽出し、上記受信された変位情報に基づいて、当該抽出された音情報を上記対応付けられた位置に定位させたマルチチャンネル音情報を生成可能である。
【0023】
本技術の他の形態に係る情報処理方法は、情報処理装置における情報処理方法である。当該情報処理方法においては、それぞれの位置に対応付けられた複数の音情報が記憶される。また、当該情報処理装置または当該情報処理装置のユーザの変位が検出される。上記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報が抽出される。上記検出された変位に基づいて、上記抽出された音情報を上記対応付けられた位置に定位させたマルチチャンネル音情報が生成される。上記生成されたマルチチャンネル音情報がステレオ音情報へ変換されて出力される。
【0024】
本技術のまた別の形態に係るプログラムは、情報処理装置に、記憶ステップと、検出ステップと、抽出ステップと、生成ステップと、出力ステップとを実行させる。上記記憶ステップでは、それぞれの位置に対応付けられた複数の音情報が記憶される。上記検出ステップでは、当該情報処理装置または当該情報処理装置のユーザの変位が検出される。上記抽出ステップでは、上記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報が抽出される。上記生成ステップでは、上記検出された変位に基づいて、上記抽出された音情報を上記対応付けられた位置に定位させたマルチチャンネル音情報が生成される。上記出力ステップでは、上記生成されたマルチチャンネル音情報がステレオ音情報へ変換されて出力される。
【発明の効果】
【0025】
以上のように、本技術によれば、ユーザにとって必要な情報を、音情報として直感的に理解させることができる。
【図面の簡単な説明】
【0026】
【図1】本技術の一実施形態に係る携帯端末のハードウェア構成を示す図である。
【図2】本技術の一実施形態における、音情報の相対的な位置を基にした処理の概要を示した図である。
【図3】本技術の一実施形態における、音情報の絶対的な位置を基にした処理の概要を示した図である。
【図4】本技術の一実施形態における、相対位置に基づく音情報提示処理の第1の具体例の流れを示すフローチャートである。
【図5】本技術の一実施形態における、相対位置に基づく音情報提示処理の第1の具体例を説明する図である。
【図6】本技術の一実施形態における、相対位置に基づく音情報提示処理の第2の具体例の流れを示すフローチャートである。
【図7】本技術の一実施形態における、相対位置に基づく音情報提示処理の第3の具体例の流れを示すフローチャートである。
【図8】本技術の一実施形態における、相対位置に基づく音情報提示処理の第3の具体例を説明する図である。
【図9】本技術の一実施形態における、絶対位置に基づく音情報提示処理の第1の具体例の流れを示すフローチャートである。
【図10】本技術の一実施形態における、絶対位置に基づく音情報提示処理の第1の具体例を説明する図である。
【図11】本技術の一実施形態における、絶対位置に基づく音情報提示処理の第2の具体例の流れを示すフローチャートである。
【図12】本技術の一実施形態における、絶対位置に基づく音情報提示処理の第2の具体例を説明する図である。
【発明を実施するための形態】
【0027】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【0028】
[携帯端末の構成]
図1は、本技術の一実施形態に係る携帯端末のハードウェア構成を示す図である。携帯端末とは、具体的には、例えばスマートフォン、携帯電話機、タブレットPC(Personal Computer)、PDA(Personal Digital Assistant)、携帯型AVプレイヤー、電子ブック等の情報処理装置である。
【0029】
同図に示すように、携帯端末10は、CPU(Central Processing Unit)11、RAM(Random Access Memory)12、不揮発メモリ13、表示部14、位置センサ15、方向センサ16及び音出力部17を有する。
【0030】
CPU11は、必要に応じてRAM12等に適宜アクセスし、各種演算処理を行いながら携帯端末10の各ブロック全体を統括的に制御する。RAM12は、CPU11の作業用領域等として用いられ、OS、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【0031】
不揮発メモリ13は、例えばフラッシュメモリやROMであり、CPU11に実行させるOS、プログラム(アプリケーション)や各種パラメータなどのファームウェアを固定的に記憶する。また不揮発メモリ13は、後述する音像定位処理を経てヘッドフォン5から出力される各種音データ(音源)を記憶する。
【0032】
表示部14は、例えばLCD、OELDであり、各種メニューやアプリケーションのGUI等を表示する。また表示部14は、タッチパネルと一体とされていてもよい。
【0033】
位置センサ15は、例えばGPS(Global Positioning System)センサである。位置センサ15は、例えばGPS衛星から送信されるGPS信号を受信し、CPU11へ出力する。このGPS信号に基づいて、CPU11において、携帯端末10の現在位置が検出される。このGPS信号からは、水平方向の位置情報のみならず垂直方向の位置情報(高度)が検出されてもよい。また携帯端末10は、GPSセンサを用いずに、通信部(図示せず)による無線通信により、基地局との間で三辺測量を行うことで、携帯端末10の現在位置を検出してもよい。また、携帯端末10は常にユーザに携帯されている必要はなく、携帯端末10とユーザとが離れた位置に存在する場合もある。この場合、例えば何らかのセンサがユーザに携帯または装着されており、携帯端末10は、当該センサの出力を受信することで、ユーザの現在位置を検出することができる。
【0034】
方向センサ16は、例えば地磁気センサ、角速度(ジャイロ)センサ、加速度センサ等であり、ユーザの向いている方向を検出する。当該方向センサ16は、例えばヘッドフォン5に設けられている。この場合方向センサ16は、ユーザの顔の向きを検出するセンサといえる。しかし、方向センサ16は、携帯端末10に設けられていてもよい。その場合方向センサ16は、ユーザの体の向きを検出するセンサといえる。また、方向センサ16は、携帯端末10とは別にユーザに携帯または装着されていてもよく、その出力を携帯端末10が受信することでユーザの向きが検出されてもよい。検出された向き情報は、CPU11へ出力される。また、携帯端末10がカメラを内蔵している場合、当該カメラで撮像したユーザの顔の画像から、画像解析により顔の向きが検出されてもよい。
【0035】
音出力部17は、CPU11による音像定位処理後のマルチチャンネルの音データを、ステレオ音に変換してヘッドフォン5に出力する。音出力部17とヘッドフォン5との間の接続は、有線により行われてもよいし、無線により行われてもよい。ここで「ヘッドフォン」とは、両耳を覆うステレオフォンと、両耳に差し込むイヤーフォンとを含む概念である。
【0036】
ここで、上記音出力部17は、CPU11と協働して、本出願人が開発したVPT(Virtual Phones Technology;商標)等を用いた音像定位処理を行うことが可能である(http://www.sony.co.jp/Products/vpt/、http://www.sony.net/Products/vpt/)。VPTは、バイノーラル収音再生方式の原理を、頭の動きに同期させて音源から両耳までのHRIR(Head Related Transfer Function)をリアルタイムで補正するヘッドトラッキング技術等により改良したシステムであり、3チャンネル以上のマルチチャンネル(例えば5.1チャンネル)の音を2チャンネルのヘッドフォンで擬似的に再現するバーチャルサラウンド技術である。
【0037】
そのほか、図示しないが、携帯端末10は、他の携帯端末と通信や音通話を行うための通信部や、カメラ、タイマ(時計)等を有していてもよい。
【0038】
[携帯端末の動作の概要]
次に、以上のように構成された携帯端末10の動作を説明する。この動作は、上記CPU11の制御下において、他のハードウェア及びソフトウェア(アプリケーション)と協働して行われる。
【0039】
本実施形態における携帯端末10は、上記VPT等による音像定位処理を前提として、ユーザ(携帯端末10またはヘッドフォン5)の位置や顔(ヘッドフォン5)の向き、移動距離、移動速度、時間等の情報に基づいて、特定の情報を音としてユーザへ提示する。またその際、携帯端末10は、ユーザにとって必要な音情報のみを提示するため、音像定位処理の前に音情報を所定条件でフィルタリングする。
【0040】
上記フィルタリング処理の具体例としては、例えば、(1)音情報に付加されたジャンルや、ユーザの嗜好情報を基にしたもの、(2)音情報の存在する位置がユーザに対する所定の角度範囲や距離範囲にあるか否かを基にしたもの、(3)ユーザの移動速度を基にしたもの、等が考えられるが、これらに限られない。
【0041】
本実施形態における音情報の提示処理は、ユーザの位置に対する音情報(音源)の相対的な位置を基にした処理と、音情報の絶対的な位置を基にした処理とに大別される。
【0042】
図2は、音情報の相対的な位置を基にした処理の概要を示した図である。同図に示すように、この処理では、携帯端末10は、ユーザU(ヘッドフォン5)の位置に対して相対的な位置に(現実にまたは仮想的に)存在する音源Aの位置を、ユーザU(ヘッドフォン5)の移動方向や移動速度の変化に応じて移動させる。そして携帯端末10は、ユーザの耳に、当該移動中の音源Aの位置から音が聞こえるように、音像定位処理を行う。
【0043】
例えば、同図(A)においては、音情報AがユーザUの左前方から小さく聞こえるような処理がなされ、その後、同図(B)に示すようにユーザUの左側の直近から音情報Aが大きく聞こえるような処理がなされ、その後、同図(C)に示すように、音情報Aがユーザの左後方から小さく聞こえるような処理がなされる。これにより、音源AがユーザUの左前方からまっすぐ近づいてきて再び遠ざかっていくような感覚、または、ユーザUが、左前方の音源Aに近づいていき、それを追い越していくような感覚がユーザUに与えられる。
【0044】
この場合、ユーザUが静止した状態で音源Aが移動してもよいし、音源Aが制止した状態でユーザUが移動してもよいし、両者ともに移動してもよい。あくまで、ユーザUと音源Aとの相対的な位置関係を基に音像定位処理がなされる。
【0045】
図3は、音情報の絶対的な位置を基にした処理の概要を示した図である。同図に示すように、地図上の特定の位置に存在する音源Aが、ユーザUの位置や顔の向いている方位に応じて、上記特定の位置から聞こえるような音像定位処理がなされる。
【0046】
例えば同図(A)では、音源AはユーザUの前方から小さく聞こえ、同図(B)では、音源AはユーザUの右前方から大きく聞こえ、同図(C)では、音源AはユーザUの正面からさらに大きく聞こえることになる。
【0047】
以下、この2つの処理について、それぞれ具体例を挙げて説明する。
【0048】
[相対位置に基づく音情報の提示の詳細]
まず、ユーザUと音源Aとの相対位置に基づく音情報の提示処理について説明する。この処理では、所定条件で音情報をフィルタリングした後、ユーザに提示すべき情報があるか否かを判断する。ここでは、ユーザUの顔の向きに関する情報は用いられなくてもよく、ユーザU及び音情報の移動速度、移動距離、移動時間等の関係から、音源の位置が移動されてもよい。この処理の具体例を以下に3つ示す。
【0049】
(第1の具体例)
この例は、ユーザUが、上記ヘッドフォン5を装着し携帯端末10を携帯して例えばランニングやサイクリング等の運動を行っている最中の処理を想定している。当該運動中に、目標とする速度で移動するターゲット(仮想物体)の音の位置が、ユーザの運動速度に応じて変化し、ユーザUは当該ターゲットを追い抜いたり、当該ターゲットに追い抜かれたりする。これによりユーザは、ターゲットとの間でバーチャルな競争を行うことができる。ここで、ユーザに提示される音としては、上記ターゲットの存在を聴覚的に示す足音や呼吸音が考えられるが、これらに限られない。上記ランニングやサイクリングは、マシンを用いたものであってもよいし、実際の道を走るものであってもよい。
【0050】
図4は、上記第1の具体例の流れを示したフローチャートである。当該処理にあたり、ユーザUは、携帯端末10の表示部14や、マシンの設定画面等を介して、自身が目標とする速度のターゲットを設定した上で、携帯端末10のアプリケーションに運動開始を指示するものとする。ターゲットは、ユーザUと同時に走行を開始してもよいし、ユーザUより先に走行を開始してもよい。
【0051】
同図に示すように、携帯端末10のCPU11は、上記不揮発メモリ13から、足音の情報のみをフィルタリングする(ステップ41)。
【0052】
当該フィルタリング処理により足音の情報が見つかった場合(ステップ42のYes)、CPU11は、ユーザUと音情報(ターゲット)との間の相対的な距離を算出する(ステップ43)。
【0053】
当該相対距離の算出には、例えば、ユーザUが実際の道を走っている場合には、上記運動開始時点及び上記算出時点における、上記位置センサ15から出力される位置情報と、上記運動開始からの経過時間情報等が用いられる。すなわち、上記位置センサ15の出力から、運動開始から上記算出時点までのユーザUの走行距離が算出される一方、上記経過時間と、上記設定されたターゲット速度とから、ある時点におけるターゲットの仮想走行距離が算出され、両者の差分が相対距離として算出される。また、位置センサ15の出力以外にも、方向センサ16(例えば加速度センサ)の出力を利用してユーザUの走行距離が算出されてもよい。
【0054】
また、運動にマシンが用いられる場合は、携帯端末10が当該マシンから、例えば無線通信によりユーザの走行距離を受信してもよい。
【0055】
続いてCPU11は、上記算出された相対距離を基に、音源(足音)の音量、座標、角度を算出する(ステップ44)。ここで、音源は、ユーザUと同一方向に移動するものとする。すなわち音源は、ユーザUの進行方向(前後方向)のいずれかの位置に存在する。
【0056】
続いてCPU11は、上記算出された座標位置に足音を定位させ、マルチチャネルトラックを生成し(ステップ45)、当該マルチチャネルトラックを、音出力部17によりステレオ音に変換して、ヘッドフォン5へ出力する(ステップ46)。
【0057】
CPU11は、以上の処理を、運動の終了がユーザUから指示されるまで繰り返し実行する(ステップ47)。
【0058】
図5は、上記第1の具体例を説明する図である。
【0059】
例えばターゲット(音源)Vの設定速度が時速5kmであり、ターゲットVが先に走行を開始し、その後ユーザUが時速10kmで走行を開始した場合、同図(A)に示すように、はじめのうちは、足音はユーザの前方から小さく聞こえるように音像定位される。その後、ユーザUが走行を続けると、同図(B)に示すように、足音は徐々に大きくなり、ユーザUに近い位置(例えば左側)で最大音量で聞こえるように定位され、その後、同図(C)に示すように、ユーザの後方から徐々に小さく聞こえるように定位される。これによりユーザUは、走行中にターゲットVを追い越すような体験を聴覚的に得ることができる。
【0060】
(第2の具体例)
この例も、ユーザUが、上記ヘッドフォン5を装着し携帯端末10を携帯して例えばランニングやサイクリング等の運動を行っている最中の処理を想定している。この例では、スタート地点から一定の距離地点(チェックポイント)に音情報が設置されていると仮定し、その情報までの距離に応じて音の位置や音量が変化する。ここで音情報は、一定距離毎に発生する応援メッセージや、走行距離を示すフィードバック音等である。ユーザがチェックポイントに近づくと(ユーザの走行距離がチェックポイントまでの距離に近づくと)、音も近づいてくるように聞こえ、チェックポイントを過ぎると(ユーザの走行距離がチェックポイントまでの距離を越えると)、音も遠ざかっているように聞こえる。
【0061】
図6は、上記第2の具体例の流れを示したフローチャートである。当該処理にあたり、ユーザUは、携帯端末10の表示部14や、マシンの設定画面等を介して、携帯端末10のアプリケーションに運動開始を指示するものとする。
【0062】
同図に示すように、携帯端末10のCPU11は、上記不揮発メモリ13から、チェックポイントの情報のみをフィルタリングする(ステップ61)。
【0063】
当該フィルタリング処理によりチェックポイントの情報が見つかった場合(ステップ62のYes)、CPU11は、ユーザUとチェックポイントとの間の距離を算出する(ステップ63)。当該距離の算出には、上記第1の具体例で説明したのと同様にして算出されたユーザUの走行距離と、チェックポイントに予め設定された距離とが用いられる。
【0064】
続いてCPU11は、現在のユーザUの位置から一定距離内にチェックポイントが存在するか否かを判断する(ステップ62)。一定距離とは例えば100m、50m、30m等であるが、これらに限られない。
【0065】
一定距離内にチェックポイントが存在すると判断した場合(Yes)、CPU11は、上記算出された距離を基に、チェックポイントを示す音の音量、座標、角度を算出する(ステップ65)。ここで、当該音は、ユーザUの進行方向(前後方向)のいずれかの位置に存在するものとする。
【0066】
続いてCPU11は、上記算出された座標位置に、チェックポイントを示す音を定位させ、マルチチャネルトラックを生成し(ステップ66)、当該マルチチャネルトラックをステレオ音に変換して、ヘッドフォン5へ出力する(ステップ67)。
【0067】
CPU11は、以上の処理を、運動の終了がユーザUから指示されるまで繰り返し実行する(ステップ68)。
【0068】
(第3の具体例)
この例は、ユーザUが他の携帯端末のユーザと音通話をしている最中の処理を想定している。携帯端末10は、ユーザUが音通話を開始した地点に、通話相手のユーザの声の位置を定位させ、ユーザUが通話中にその地点から遠ざかると、相手ユーザの声もその位置から聞こえるようになり、音量も小さくなる。これによりユーザは、あたかも通話相手が、上記通話を開始した地点にいるかのような臨場感を得ることができる。
【0069】
図6は、上記第2の具体例の流れを示したフローチャートである。
【0070】
同図に示すように、CPU11はまず、他の携帯端末との間で通話が開始されたか否かを判断する(ステップ71)。通話が開始されたと判断した場合(Yes)、CPU11は、音通話相手の声情報のみをフィルタリングする(ステップ72)。
【0071】
続いてCPU11は、位置センサ15の出力を基に、上記通話が開始された地点の位置座標を記録する(ステップ73)。
【0072】
続いてCPU11は、ユーザUの現在位置と、上記記録した通話開始地点までの距離を、位置センサ15の出力を基に算出する(ステップ74)。
【0073】
続いてCPU11は、上記算出された距離を基に、通話相手の音の音量、座標、角度を算出する(ステップ75)。角度の算出には、方向センサ16の出力も用いられる。
【0074】
続いてCPU11は、上記算出された座標位置に、通話相手の音を定位させ、マルチチャネルトラックを生成し(ステップ76)、当該マルチチャネルトラックをステレオ音に変換して、ヘッドフォン5へ出力する(ステップ77)。
【0075】
CPU11は、以上の処理を、通話が終了するまで繰り返し実行する(ステップ78)。
【0076】
図8は、上記第3の具体例を説明する図である。同図に示すように、ユーザUが地点Pにおいて通話を開始した後、同図に示す位置へ移動し、同図に示す方向(同図の下方向)を向いているとする。この場合、上記位置センサ15及び方向センサ16の出力を基に、当該移動した地点の座標、当該移動地点と通話開始地点Pとの間の距離、移動地点の通話開始地点Pに対する角度θが算出される、通話相手の声が地点Pから聞こえるように音像定位される。通話相手の声の音量も、上記距離に応じて、通話開始時よりも小さくなるように設定される。
【0077】
[絶対位置に基づく音情報の提示の詳細]
次に、音源の絶対位置に基づく音情報の提示処理について説明する。この処理では、ユーザUの位置情報や顔向き情報に基づいて、上記フィルタリング処理の結果、ユーザUに提示する音情報が存在するか否かが判定される。提示すべき音情報がある場合、ユーザUと、固定的に存在する音情報との間の距離や、ユーザUから見た音情報の方角との関係から、音を定位させる位置や音量が決定される。この処理の具体例を以下に2つ示す。
【0078】
(第1の具体例)
この例は、ユーザUが屋外で移動中に、店舗や施設の情報を取得する際の処理を想定している。店舗や施設が存在する位置に、その店舗や施設の情報を示す音コンテンツが存在するものと仮定し、ユーザUから当該音コンテンツまでの距離と方位に基づいて、音コンテンツが音像定位される。上記音コンテンツとしては、店舗の広告情報や評価情報、ランドマーク情報のほか、店舗や施設の情報を示すARマーカーの位置を示す情報等が考えられるが、これらに限られない。
【0079】
図9は、上記第1の具体例の流れを示したフローチャートである。当該フローチャートでは、携帯端末10が、アプリケーションを起動して、ユーザの進行方向に存在するレストランに関する情報のみをフィルタリングし、移動速度に応じて、提示する情報の粒度を変化させる場合を想定している。
【0080】
同図に示すように、CPU11はまず、上記位置センサ15から取得されるGPS情報(携帯端末10の位置情報)を用いて、ユーザUの周辺(例えば半径1km、0.5km等)のレストラン情報のみをフィルタリングする(ステップ91)。レストラン情報は、予めレストランの実際の位置情報と対応付けられて上記不揮発メモリ13等に記憶されているものとする。
【0081】
上記周辺のレストラン情報が見つかったと判断した場合(Yes)、CPU11は、ユーザの進行方向とレストランの相対的な距離及び角度を算出する(ステップ93)。進行方向は上記方向センサ16の出力から取得される。距離及び角度は、位置センサ15から出力される携帯端末10の現在の位置情報と、上記予め記憶された各レストランの位置情報(緯度/経度情報)とを基に算出される。
【0082】
続いてCPU11は、上記抽出されたレストランが、携帯端末10の進行方向に対して、水平方向において所定範囲の角度に存在するか否かを判断する(ステップ94)。当該角度の範囲は、例えば進行方向を0度とすると、水平方向に±45度や±60度の範囲とされるが、これらに限られない。
【0083】
続いてCPU11は、上記算出された距離及び角度を基に、レストラン情報の音の音量、座標、角度を算出する(ステップ95)。
【0084】
続いてCPU11は、ユーザの移動速度を算出し、当該移動速度を基に、提示する音情報の種別を決定し、音合成により音情報を生成する(ステップ96)。ユーザの移動速度は、例えば上記位置センサ15の複数地点における出力から算出される。移動速度に応じた音情報の種別については、例えば、高速(所定速度以上、例えば時速5km以上)の場合にはレストラン情報は店舗名のみを提示し、低速(所定速度未満)の場合には店舗名に加えて評価情報やお勧めメニュー情報等も提示することが考えられる。
【0085】
続いてCPU11は、上記算出された座標位置に、上記決定した種別のレストラン情報の音を定位させ、マルチチャネルトラックを生成し(ステップ97)、当該マルチチャネルトラックをステレオ音に変換して、ヘッドフォン5へ出力する(ステップ98)。
【0086】
CPU11は、以上の処理を、アプリケーションが終了されるまで繰り返し実行する(ステップ99)。
【0087】
図10は、上記第1の具体例を説明する図である。
【0088】
同図(A)に示す例では、ユーザUの進行方向の所定角度範囲内(左前方)にレストランA(の情報)が存在するため、当該レストランAの情報がその方向から提示される。一方、レストランB(の情報)は上記所定角度範囲外であるため提示されない。
【0089】
同図(B)に示す例は、上記(A)の状態から、ユーザUが進行方向をやや右方向に変えた場合を示している。この場合、レストランAが上記所定角度範囲外となるためその情報は提示されない。一方、上記レストランBは上記所定角度範囲内となるため、その情報が提示される。また、ユーザUから上記レストランAまでの距離に比べてユーザUからレストランBまでの距離が近いことから、レストランBの情報は、同図(A)において提示されるレストランAの情報よりも大きな音量で提示される。
【0090】
以上のような処理によりユーザは、自らの進行方向に存在する店舗や施設の情報を、その方向、距離に応じた位置から取得することができる。当該情報がARマーカーである場合には、ユーザは、音が提示された方向へ、携帯端末10に搭載された図示しないカメラを向けて撮影することで、当該店舗や施設の詳細情報を取得することができる。
【0091】
(第2の具体例)
この例は、ユーザUが道路等を移動中に、例えば車両等の所定の移動物体がユーザに接近してきた場合の処理を想定している。昨今では、電気自動車の普及によりエンジン音が出ない車両が増加し、特にユーザUがヘッドフォン5を装着している場合には、特に後方からの車両の接近に気づかないことがある。この例では、そのような状況において、車両の位置情報に基づいて、ユーザUに危険を知らせるための音情報を方向付きで提示することで、車両の接近を感知させ、危険を回避させる。
【0092】
図11は、上記第2の具体例の流れを示したフローチャートである。
【0093】
同図に示すように、CPU11はまず、ユーザUの周辺(例えば半径100m以内等)に存在する車の位置情報をフィルタリングする(ステップ111)。当該フィルタリングには、例えば、携帯端末10が、周辺の車に搭載されたカーナビゲーションシステムが受信したGPSによる位置情報を受信し、その位置情報が携帯端末10の位置から所定範囲内に存在するか否かを判断することで行われる。
【0094】
所定範囲内に車が見つかった場合(ステップ112のYes)、CPU11は、ユーザU(携帯端末10)と車との相対的な距離及び角度を算出する(ステップ113)。距離及び角度は、位置センサ15から出力される携帯端末10の現在の位置情報と、上記受信した車の位置情報とを基に算出される。
【0095】
続いてCPU11は、上記算出された距離及び角度を基に、車の擬似音(クラクション音)の音量、座標、角度を算出する(ステップ114)。
【0096】
続いてCPU11は、上記算出された座標位置に擬似音を定位させ、マルチチャネルトラックを生成し(ステップ115)、当該マルチチャネルトラックをステレオ音に変換して、ヘッドフォン5へ出力する(ステップ116)。
【0097】
ここで、車がユーザに近接した状況で擬似音を提示しても危険を回避できない可能性があるため、携帯端末10は、上記所定範囲を広げて、実際の車の位置よりも近くで擬似音が聞こえるように音像定位処理をしても構わない。
【0098】
CPU11は、以上の処理を、アプリケーションが終了されるまで繰り返し実行する(ステップ117)。
【0099】
図12は、上記第2の具体例を説明する図である。
【0100】
同図(A)に示すように、ユーザUが例えば時速3kmで歩行中に、後方から車Oが時速40kmで接近してきた場合、当該後方の車の位置から擬似音が聞こえるように音像定位処理がなされる。
【0101】
続いて同図(B)に示すように、車OがユーザUに最も近づくと、直近(例えば横方向)から擬似音が大きく聞こえるように音像定位処理がなされる。
【0102】
そして同図(C)に示すように、車OがユーザUを追い越し、前方へ移動すると、当該前方から擬似音が小さく聞こえるように音像定位処理がなされる。
【0103】
[まとめ]
以上説明したように、本実施形態によれば、携帯端末10は、所定条件に基づいて音情報をフィルタリングした上で定位させて出力しているため、ユーザにとって必要な情報を、音情報として直感的に理解させることができる。
【0104】
[変形例]
本技術は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。
【0105】
音情報のフィルタリングの条件は、上述の各具体例に示したものに限られない。例えば、携帯端末10は、情報に関するユーザの嗜好情報(ジャンル等)を記憶しておき、当該嗜好情報に基づいて音情報をフィルタリングしても構わない。
【0106】
ユーザに提示される音情報は、上記各具体例に示したものに限られない。例えば、携帯端末10がメールやインスタントメッセージを受信した場合や、Twitter(商標)等のコミュニケーションツールで新たな投稿があった場合等に、それらを報知する音が、所定の方向から提示されてもよい。この場合、ユーザが上記所定の方向を送信相手毎に任意に設定してもよいし、例えば送信相手の位置情報も受信可能な場合は、その実際の位置情報に応じた方向から音が提示されてもよい。
【0107】
上述の相対位置に基づく処理で示した3つの具体例及び絶対位置に基づく処理で示した2つの具体例は排他的なものではなく、相互に組み合わせが可能である。例えば、ユーザが所定速度以上で運動中の場合は、ターゲットの足音や呼吸音、またはチェックポイントを示す情報が提示され、所定速度未満で運動中の場合には、さらに店舗情報や施設情報も提示されてもよい。
【0108】
上述の実施形態では、音像定位処理が携帯端末10により行われる例が示された。しかし、当該処理は、携帯端末10と接続可能なクラウド側の情報処理装置(サーバ等)で行われてもよい。当該サーバは、少なくとも、記憶部、通信部及びCPU(制御部)といったコンピュータとして機能するために必要な構成要素を有するものである。記憶部は、ユーザに提供すべき音情報を記憶する。通信部は、携帯端末10から、上記位置センサ15及び方向センサ16の出力、すなわち、携帯端末10またはユーザの変位情報を受信し、上記所定条件による音情報のフィルタリング処理を行った上で、上記変位情報に基づいた音像定位処理を実行する。それにより生成されたマルチチャンネル音は、サーバから携帯端末へ送信され、ステレオ音に変換されてヘッドフォン5等から出力される。
【0109】
上述の実施形態では、音像定位処理後の音がヘッドフォンから出力される例が示された。しかし、ヘッドフォンの使用は必須ではない。例えば、ユーザの左右に設置された2台のスピーカーから、上記マルチチャンネルトラックから変換されたステレオ音が出力されてもよい。例えば、ユーザが上記ランニングやサイクリングをマシンで行う場合には、ユーザはその場に静止しているため、ヘッドフォン5を装着していなくても、上記2台のスピーカーから音像定位後の音が提示されてもよい。
【0110】
[その他]
なお、本技術は以下のような構成も採ることができる。
(1)情報処理装置であって、
それぞれの位置に対応付けられた複数の音情報を記憶可能な記憶部と、
当該情報処理装置または当該情報処理装置のユーザの変位を検出可能なセンサと、
前記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報を抽出可能であり、前記検出された変位に基づいて、当該抽出された音情報を前記対応付けられた位置に定位させたマルチチャンネル音情報を生成可能な制御部と、
前記生成されたマルチチャンネル音情報をステレオ音情報へ変換して出力可能な音出力部と
を具備する情報処理装置。
(2)上記(1)に記載の情報処理装置であって、
前記センサは、当該情報処理装置または前記ユーザの位置または方位を検出可能であり、
前記制御部は、前記音情報に対応付けられた位置が、当該情報処理装置または前記ユーザの位置から所定の距離範囲または所定の方位範囲にあることを前記所定条件として前記音情報を抽出可能である
情報処理装置。
(3)上記(1)または(2)に記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、当該情報処理装置または前記ユーザの所定の移動速度と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの前記移動速度を検出可能であり、
前記制御部は、前記検出された移動速度と対応付けられていることを前記所定条件として前記音情報を抽出可能である
情報処理装置。
(4)上記(1)から(3)のうちいずれかに記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、当該情報処理装置または前記ユーザの所定の初期位置から所定距離にある仮想的な位置と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの前記初期位置からの移動距離を検出可能であり、
前記制御部は、前記検出された移動距離だけ移動した位置が前記仮想的な位置から所定距離範囲内に到達したことを前記所定条件として前記音情報を抽出可能である
情報処理装置。
(5)上記(1)から(4)のうちいずれかに記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、所定の初期位置から当該情報処理装置または前記ユーザと同一の方向へ所定速度で移動する仮想物体の位置と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの前記初期位置からの移動距離を検出可能であり、
前記制御部は、前記仮想物体の位置と対応付けられていることを前記所定条件として前記音情報を抽出し、前記検出された移動距離から算出される位置を基準として、前記移動中の仮想物体の位置に、前記抽出された音情報を定位させる
情報処理装置。
(6)上記(1)から(5)のうちいずれかに記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、所定の移動物体の第1の位置と対応付けられており、
前記センサは、前記移動物体の位置と、当該情報処理装置または前記ユーザの第2の位置とを検出可能であり、
前記制御部は、前記移動物体の位置と対応付けられていることを前記所定条件として前記音情報を抽出し、前記検出された第1の位置が、前記検出された第2の位置から所定範囲内にある場合、当該第1の位置に前記抽出された音情報を定位させる
(7)上記(1)から(6)のうちいずれかに記載の情報処理装置であって、
他の情報処理装置と音声通話が可能な通信部をさらに具備し、
前記複数の音情報のうち少なくとも1つは、前記通信部が前記他の情報処理装置と音声通話を開始した位置と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの、前記音声通話を開始した位置からの移動方向及び移動距離を検出可能であり、
前記制御部は、前記音声通話を開始した位置と対応付けられていることを前記所定条件として前記音情報を抽出し、前記音声通話を開始した位置から前記移動方向へ前記移動距離だけ移動した位置を基準として、前記音声通話を開始した位置に前記抽出された音情報を定位させる
情報処理装置。
【符号の説明】
【0111】
5…ヘッドフォン
11…CPU
12…RAM
13…不揮発メモリ
14…表示部
15…位置センサ
16…方向センサ
17…音出力部
【技術分野】
【0001】
本技術は、音情報を空間的に配置して出力することが可能な情報処理装置、当該情報処理装置における情報処理方法及びプログラムに関する。
【背景技術】
【0002】
近年、ユーザが得られる情報の量は増大している。ユーザは、情報端末のモバイル化に伴い、自宅でも外出先でも、常時インターネットに接続し、情報を入手することができる。したがって、それらの情報の中から、ユーザが必要な情報をいかに抽出し、提示するかが重要となっている。
【0003】
インターネットに接続された情報端末からユーザが得る情報は、視覚情報と音情報の大きく2つに分けられる。前者については、高画質・高解像度化や、グラフィックス表現の進歩等、映像表示技術の発達により、直感的で分かりやすい情報の提示手法が多数存在する。一方、後者については、音を表示とセットにすることで直感的な理解を促すものが存在する。しかし、ユーザは一般的に、外出先で移動している間は情報端末をポケットや鞄にしまうことが多く、移動中に表示部を見続けるのには危険が伴う。
【0004】
音のみによる情報の提示手法については、ナビゲーション等の限られた分野での技術は存在するものの、一般的にはあまり発達していない。下記特許文献1には、装置本体の位置情報及び方角情報から、予め設定された位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力し、当該定位情報に基づいて音データに立体音響処理を施す立体音響制御装置が記載されている。当該装置は、例えばカーナビゲーションに適用することで、聴覚のみで直感的に分かる音形式で聴取者に方向の指示(誘導、識別、注意等)を与えることを可能としている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−151766号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献1に記載の技術では、ユーザに提示される音情報は単なる方向の指示であり、その他の情報を音によって提示することはできない。また、特許文献1においてユーザに提示される音情報の中には、既にユーザが把握しており、不要な情報も含まれている可能性があり、ユーザが不快に感じてしまう可能性もある。
【0007】
以上のような事情に鑑み、本技術の目的は、ユーザにとって必要な情報を、音情報として直感的に理解させることが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本技術の一形態に係る情報処理装置は、情報処理装置であって、記憶部と、センサと、制御部と、音出力部とを有する。上記記憶部は、それぞれの位置に対応付けられた複数の音情報を記憶可能である。上記センサは、当該情報処理装置または当該情報処理装置のユーザの変位を検出可能である。上記制御部は、上記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報を抽出可能である。また制御部は、上記検出された変位に基づいて、当該抽出された音情報を上記対応付けられた位置に定位させたマルチチャンネル音情報を生成可能である。上記音出力部は、上記生成されたマルチチャンネル音情報をステレオ音情報へ変換して出力可能である。
【0009】
これにより情報処理装置は、所定条件に基づいて音情報をフィルタリングした上で定位させて出力しているため、ユーザにとって必要な情報を、音情報として直感的に理解させることができる。ここでマルチチャンネル音情報とは、3チャンネル以上の音情報であり、例えば5.1チャンネルの音情報である。また当該情報処理装置は、その構成要素として、ユーザが装着するヘッドフォン(ステレオフォンまたはイヤーフォン)を含む場合もある。情報処理装置が本体とヘッドフォンとで構成されている場合、上記センサはそのどちらに設けられていてもよい。また、上記制御部がヘッドフォンに設けられていてもよい。また「変位」とは、位置、方向、速度等のさまざまな変化を含む概念である。
【0010】
上記センサは、当該情報処理装置または前記ユーザの位置または方位を検出可能であってもよい。この場合上記制御部は、上記音情報に対応付けられた位置が、当該情報処理装置または前記ユーザの位置から所定の距離範囲または所定の方位範囲にあることを上記所定条件として上記音情報を抽出可能であってもよい。
【0011】
これにより情報処理装置は、例えばユーザの前方や近距離等、ユーザが興味を持ちやすい位置に対応付けられた音情報のみを、当該方向から聞こえるようにユーザに提示することができる。ここで抽出される音情報は、例えば店舗や施設に関する情報であってもよく、またそれら店舗や施設に関する情報に対応付けられたAR(Augmented Reality)マーカーであってもよい。
【0012】
上記複数の音情報のうち少なくとも1つは、当該情報処理装置または前記ユーザの所定の移動速度と対応付けられていてもよい。この場合上記センサは、当該情報処理装置または前記ユーザの上記移動速度を検出可能であってもよい。この場合上記制御部は、上記検出された移動速度と対応付けられていることを上記所定条件として上記音情報を抽出可能であってもよい。
【0013】
これにより情報処理装置は、ユーザの移動速度に応じて音情報のフィルタリング態様を変更し、移動速度に応じた音情報をユーザに提供することができる。例えば、音情報として店舗情報が提供される場合、ユーザの移動速度が比較的高速の場合は、店舗名等のキーワードのみ提供され、移動速度が比較的低速の場合は、店舗名のほか、お勧めのメニューや店舗に対する評価等の情報も提供されてもよい。
【0014】
上記複数の音情報のうち少なくとも1つは、当該情報処理装置または前記ユーザの所定の初期位置から所定距離にある仮想的な位置と対応付けられていてもよい。この場合上記センサは、当該情報処理装置または前記ユーザの上記初期位置からの移動距離を検出可能であってもよい。この場合上記制御部は、上記検出された移動距離だけ移動した位置が上記仮想的な位置から所定距離範囲内に到達したことを上記所定条件として上記音情報を抽出可能であってもよい。
【0015】
これにより情報処理装置は、ユーザが所定距離だけ移動したときに初めて特定の音情報をユーザに提供することができる。例えば情報処理装置は、ユーザがランニング中に、所定のチェックポイントに相当する距離だけ走った場合に、特定の音情報を出力することができる。
【0016】
上記複数の音情報のうち少なくとも1つは、所定の初期位置から当該情報処理装置または前記ユーザと同一の方向へ所定速度で移動する仮想物体の位置と対応付けられていてもよい。この場合上記センサは、当該情報処理装置または前記ユーザの上記初期位置からの移動距離を検出可能であってもよい。この場合上記制御部は、上記仮想物体の位置と対応付けられていることを上記所定条件として上記音情報を抽出してもよい。さらに制御部は、上記検出された移動距離から算出される位置を基準として、上記移動中の仮想物体の位置に、上記抽出された音情報を定位させてもよい。
【0017】
これにより情報処理装置は、例えばランニング中のユーザに、仮想物体との仮想的な競争を体験させることができる。ここで仮想物体は例えばユーザが目標とするランナーであってもよく、上記抽出される音情報は、当該ランナーの足音や呼吸音であってもよい。
【0018】
上記複数の音情報のうち少なくとも1つは、所定の移動物体の第1の位置と対応付けられていてもよい。この場合上記センサは、上記移動物体の位置と、当該情報処理装置または前記ユーザの第2の位置とを検出可能であってもよい。上記制御部は、上記移動物体の位置と対応付けられていることを上記所定条件として上記音情報を抽出してもよい。さらに制御部は、上記検出された第1の位置が、上記検出された第2の位置から所定範囲内にある場合、当該第1の位置に上記抽出された音情報を定位させてもよい。
【0019】
これにより情報処理装置は、移動物体がユーザに接近していること及びその方向を音情報によってユーザに報知することができる。ここで移動物体とは例えば車両等であり、音情報は例えば車両のエンジン音や、危険を知らせる警告音等である。昨今では、電気自動車の普及によりエンジン音が出ない車両が増加し、特にユーザがヘッドフォンを装着している場合には、車両の接近に気づかないことがあるが、上記構成により、ユーザは車両の接近を感知し、危険を回避することができる。
【0020】
上記情報処理装置は、他の情報処理装置と音声通話が可能な通信部をさらに具備してもよい。この場合上記複数の音情報のうち少なくとも1つは、上記通信部が上記他の情報処理装置と音声通話を開始した位置と対応付けられていてもよい。この場合上記センサは、当該情報処理装置または前記ユーザの、上記音通話を開始した位置からの移動方向及び移動距離を検出可能であってもよい。この場合上記制御部は、上記音通話を開始した位置と対応付けられていることを上記所定条件として上記音情報を抽出してもよい。さらに制御部は、上記音通話を開始した位置から上記移動方向へ上記移動距離だけ移動した位置を基準として、上記音通話を開始した位置に上記抽出された音情報を定位させてもよい。
【0021】
これにより情報処理装置は、ユーザの音通話相手が、あたかも、音通話を開始した位置に存在するような体験をユーザに提供することができる。例えば、この構成によれば、音通話を開始した位置からユーザが遠ざかると、通話相手の音は元の位置から聞こえるようになり、かつ、音量も小さくなることになる。
【0022】
本技術の他の形態に係る情報処理装置は、通信部と、記憶部と、制御部とを有する。上記通信部は、他の情報処理装置と通信可能である。上記記憶部は、それぞれの位置に対応付けられた複数の音情報を記憶可能である。上記制御部は、上記他の情報処理装置または当該他の情報処理装置のユーザの変位を示す変位情報を上記他の情報処理装置から受信するように上記通信部を制御可能である。また制御部は、上記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報を抽出し、上記受信された変位情報に基づいて、当該抽出された音情報を上記対応付けられた位置に定位させたマルチチャンネル音情報を生成可能である。
【0023】
本技術の他の形態に係る情報処理方法は、情報処理装置における情報処理方法である。当該情報処理方法においては、それぞれの位置に対応付けられた複数の音情報が記憶される。また、当該情報処理装置または当該情報処理装置のユーザの変位が検出される。上記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報が抽出される。上記検出された変位に基づいて、上記抽出された音情報を上記対応付けられた位置に定位させたマルチチャンネル音情報が生成される。上記生成されたマルチチャンネル音情報がステレオ音情報へ変換されて出力される。
【0024】
本技術のまた別の形態に係るプログラムは、情報処理装置に、記憶ステップと、検出ステップと、抽出ステップと、生成ステップと、出力ステップとを実行させる。上記記憶ステップでは、それぞれの位置に対応付けられた複数の音情報が記憶される。上記検出ステップでは、当該情報処理装置または当該情報処理装置のユーザの変位が検出される。上記抽出ステップでは、上記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報が抽出される。上記生成ステップでは、上記検出された変位に基づいて、上記抽出された音情報を上記対応付けられた位置に定位させたマルチチャンネル音情報が生成される。上記出力ステップでは、上記生成されたマルチチャンネル音情報がステレオ音情報へ変換されて出力される。
【発明の効果】
【0025】
以上のように、本技術によれば、ユーザにとって必要な情報を、音情報として直感的に理解させることができる。
【図面の簡単な説明】
【0026】
【図1】本技術の一実施形態に係る携帯端末のハードウェア構成を示す図である。
【図2】本技術の一実施形態における、音情報の相対的な位置を基にした処理の概要を示した図である。
【図3】本技術の一実施形態における、音情報の絶対的な位置を基にした処理の概要を示した図である。
【図4】本技術の一実施形態における、相対位置に基づく音情報提示処理の第1の具体例の流れを示すフローチャートである。
【図5】本技術の一実施形態における、相対位置に基づく音情報提示処理の第1の具体例を説明する図である。
【図6】本技術の一実施形態における、相対位置に基づく音情報提示処理の第2の具体例の流れを示すフローチャートである。
【図7】本技術の一実施形態における、相対位置に基づく音情報提示処理の第3の具体例の流れを示すフローチャートである。
【図8】本技術の一実施形態における、相対位置に基づく音情報提示処理の第3の具体例を説明する図である。
【図9】本技術の一実施形態における、絶対位置に基づく音情報提示処理の第1の具体例の流れを示すフローチャートである。
【図10】本技術の一実施形態における、絶対位置に基づく音情報提示処理の第1の具体例を説明する図である。
【図11】本技術の一実施形態における、絶対位置に基づく音情報提示処理の第2の具体例の流れを示すフローチャートである。
【図12】本技術の一実施形態における、絶対位置に基づく音情報提示処理の第2の具体例を説明する図である。
【発明を実施するための形態】
【0027】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【0028】
[携帯端末の構成]
図1は、本技術の一実施形態に係る携帯端末のハードウェア構成を示す図である。携帯端末とは、具体的には、例えばスマートフォン、携帯電話機、タブレットPC(Personal Computer)、PDA(Personal Digital Assistant)、携帯型AVプレイヤー、電子ブック等の情報処理装置である。
【0029】
同図に示すように、携帯端末10は、CPU(Central Processing Unit)11、RAM(Random Access Memory)12、不揮発メモリ13、表示部14、位置センサ15、方向センサ16及び音出力部17を有する。
【0030】
CPU11は、必要に応じてRAM12等に適宜アクセスし、各種演算処理を行いながら携帯端末10の各ブロック全体を統括的に制御する。RAM12は、CPU11の作業用領域等として用いられ、OS、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【0031】
不揮発メモリ13は、例えばフラッシュメモリやROMであり、CPU11に実行させるOS、プログラム(アプリケーション)や各種パラメータなどのファームウェアを固定的に記憶する。また不揮発メモリ13は、後述する音像定位処理を経てヘッドフォン5から出力される各種音データ(音源)を記憶する。
【0032】
表示部14は、例えばLCD、OELDであり、各種メニューやアプリケーションのGUI等を表示する。また表示部14は、タッチパネルと一体とされていてもよい。
【0033】
位置センサ15は、例えばGPS(Global Positioning System)センサである。位置センサ15は、例えばGPS衛星から送信されるGPS信号を受信し、CPU11へ出力する。このGPS信号に基づいて、CPU11において、携帯端末10の現在位置が検出される。このGPS信号からは、水平方向の位置情報のみならず垂直方向の位置情報(高度)が検出されてもよい。また携帯端末10は、GPSセンサを用いずに、通信部(図示せず)による無線通信により、基地局との間で三辺測量を行うことで、携帯端末10の現在位置を検出してもよい。また、携帯端末10は常にユーザに携帯されている必要はなく、携帯端末10とユーザとが離れた位置に存在する場合もある。この場合、例えば何らかのセンサがユーザに携帯または装着されており、携帯端末10は、当該センサの出力を受信することで、ユーザの現在位置を検出することができる。
【0034】
方向センサ16は、例えば地磁気センサ、角速度(ジャイロ)センサ、加速度センサ等であり、ユーザの向いている方向を検出する。当該方向センサ16は、例えばヘッドフォン5に設けられている。この場合方向センサ16は、ユーザの顔の向きを検出するセンサといえる。しかし、方向センサ16は、携帯端末10に設けられていてもよい。その場合方向センサ16は、ユーザの体の向きを検出するセンサといえる。また、方向センサ16は、携帯端末10とは別にユーザに携帯または装着されていてもよく、その出力を携帯端末10が受信することでユーザの向きが検出されてもよい。検出された向き情報は、CPU11へ出力される。また、携帯端末10がカメラを内蔵している場合、当該カメラで撮像したユーザの顔の画像から、画像解析により顔の向きが検出されてもよい。
【0035】
音出力部17は、CPU11による音像定位処理後のマルチチャンネルの音データを、ステレオ音に変換してヘッドフォン5に出力する。音出力部17とヘッドフォン5との間の接続は、有線により行われてもよいし、無線により行われてもよい。ここで「ヘッドフォン」とは、両耳を覆うステレオフォンと、両耳に差し込むイヤーフォンとを含む概念である。
【0036】
ここで、上記音出力部17は、CPU11と協働して、本出願人が開発したVPT(Virtual Phones Technology;商標)等を用いた音像定位処理を行うことが可能である(http://www.sony.co.jp/Products/vpt/、http://www.sony.net/Products/vpt/)。VPTは、バイノーラル収音再生方式の原理を、頭の動きに同期させて音源から両耳までのHRIR(Head Related Transfer Function)をリアルタイムで補正するヘッドトラッキング技術等により改良したシステムであり、3チャンネル以上のマルチチャンネル(例えば5.1チャンネル)の音を2チャンネルのヘッドフォンで擬似的に再現するバーチャルサラウンド技術である。
【0037】
そのほか、図示しないが、携帯端末10は、他の携帯端末と通信や音通話を行うための通信部や、カメラ、タイマ(時計)等を有していてもよい。
【0038】
[携帯端末の動作の概要]
次に、以上のように構成された携帯端末10の動作を説明する。この動作は、上記CPU11の制御下において、他のハードウェア及びソフトウェア(アプリケーション)と協働して行われる。
【0039】
本実施形態における携帯端末10は、上記VPT等による音像定位処理を前提として、ユーザ(携帯端末10またはヘッドフォン5)の位置や顔(ヘッドフォン5)の向き、移動距離、移動速度、時間等の情報に基づいて、特定の情報を音としてユーザへ提示する。またその際、携帯端末10は、ユーザにとって必要な音情報のみを提示するため、音像定位処理の前に音情報を所定条件でフィルタリングする。
【0040】
上記フィルタリング処理の具体例としては、例えば、(1)音情報に付加されたジャンルや、ユーザの嗜好情報を基にしたもの、(2)音情報の存在する位置がユーザに対する所定の角度範囲や距離範囲にあるか否かを基にしたもの、(3)ユーザの移動速度を基にしたもの、等が考えられるが、これらに限られない。
【0041】
本実施形態における音情報の提示処理は、ユーザの位置に対する音情報(音源)の相対的な位置を基にした処理と、音情報の絶対的な位置を基にした処理とに大別される。
【0042】
図2は、音情報の相対的な位置を基にした処理の概要を示した図である。同図に示すように、この処理では、携帯端末10は、ユーザU(ヘッドフォン5)の位置に対して相対的な位置に(現実にまたは仮想的に)存在する音源Aの位置を、ユーザU(ヘッドフォン5)の移動方向や移動速度の変化に応じて移動させる。そして携帯端末10は、ユーザの耳に、当該移動中の音源Aの位置から音が聞こえるように、音像定位処理を行う。
【0043】
例えば、同図(A)においては、音情報AがユーザUの左前方から小さく聞こえるような処理がなされ、その後、同図(B)に示すようにユーザUの左側の直近から音情報Aが大きく聞こえるような処理がなされ、その後、同図(C)に示すように、音情報Aがユーザの左後方から小さく聞こえるような処理がなされる。これにより、音源AがユーザUの左前方からまっすぐ近づいてきて再び遠ざかっていくような感覚、または、ユーザUが、左前方の音源Aに近づいていき、それを追い越していくような感覚がユーザUに与えられる。
【0044】
この場合、ユーザUが静止した状態で音源Aが移動してもよいし、音源Aが制止した状態でユーザUが移動してもよいし、両者ともに移動してもよい。あくまで、ユーザUと音源Aとの相対的な位置関係を基に音像定位処理がなされる。
【0045】
図3は、音情報の絶対的な位置を基にした処理の概要を示した図である。同図に示すように、地図上の特定の位置に存在する音源Aが、ユーザUの位置や顔の向いている方位に応じて、上記特定の位置から聞こえるような音像定位処理がなされる。
【0046】
例えば同図(A)では、音源AはユーザUの前方から小さく聞こえ、同図(B)では、音源AはユーザUの右前方から大きく聞こえ、同図(C)では、音源AはユーザUの正面からさらに大きく聞こえることになる。
【0047】
以下、この2つの処理について、それぞれ具体例を挙げて説明する。
【0048】
[相対位置に基づく音情報の提示の詳細]
まず、ユーザUと音源Aとの相対位置に基づく音情報の提示処理について説明する。この処理では、所定条件で音情報をフィルタリングした後、ユーザに提示すべき情報があるか否かを判断する。ここでは、ユーザUの顔の向きに関する情報は用いられなくてもよく、ユーザU及び音情報の移動速度、移動距離、移動時間等の関係から、音源の位置が移動されてもよい。この処理の具体例を以下に3つ示す。
【0049】
(第1の具体例)
この例は、ユーザUが、上記ヘッドフォン5を装着し携帯端末10を携帯して例えばランニングやサイクリング等の運動を行っている最中の処理を想定している。当該運動中に、目標とする速度で移動するターゲット(仮想物体)の音の位置が、ユーザの運動速度に応じて変化し、ユーザUは当該ターゲットを追い抜いたり、当該ターゲットに追い抜かれたりする。これによりユーザは、ターゲットとの間でバーチャルな競争を行うことができる。ここで、ユーザに提示される音としては、上記ターゲットの存在を聴覚的に示す足音や呼吸音が考えられるが、これらに限られない。上記ランニングやサイクリングは、マシンを用いたものであってもよいし、実際の道を走るものであってもよい。
【0050】
図4は、上記第1の具体例の流れを示したフローチャートである。当該処理にあたり、ユーザUは、携帯端末10の表示部14や、マシンの設定画面等を介して、自身が目標とする速度のターゲットを設定した上で、携帯端末10のアプリケーションに運動開始を指示するものとする。ターゲットは、ユーザUと同時に走行を開始してもよいし、ユーザUより先に走行を開始してもよい。
【0051】
同図に示すように、携帯端末10のCPU11は、上記不揮発メモリ13から、足音の情報のみをフィルタリングする(ステップ41)。
【0052】
当該フィルタリング処理により足音の情報が見つかった場合(ステップ42のYes)、CPU11は、ユーザUと音情報(ターゲット)との間の相対的な距離を算出する(ステップ43)。
【0053】
当該相対距離の算出には、例えば、ユーザUが実際の道を走っている場合には、上記運動開始時点及び上記算出時点における、上記位置センサ15から出力される位置情報と、上記運動開始からの経過時間情報等が用いられる。すなわち、上記位置センサ15の出力から、運動開始から上記算出時点までのユーザUの走行距離が算出される一方、上記経過時間と、上記設定されたターゲット速度とから、ある時点におけるターゲットの仮想走行距離が算出され、両者の差分が相対距離として算出される。また、位置センサ15の出力以外にも、方向センサ16(例えば加速度センサ)の出力を利用してユーザUの走行距離が算出されてもよい。
【0054】
また、運動にマシンが用いられる場合は、携帯端末10が当該マシンから、例えば無線通信によりユーザの走行距離を受信してもよい。
【0055】
続いてCPU11は、上記算出された相対距離を基に、音源(足音)の音量、座標、角度を算出する(ステップ44)。ここで、音源は、ユーザUと同一方向に移動するものとする。すなわち音源は、ユーザUの進行方向(前後方向)のいずれかの位置に存在する。
【0056】
続いてCPU11は、上記算出された座標位置に足音を定位させ、マルチチャネルトラックを生成し(ステップ45)、当該マルチチャネルトラックを、音出力部17によりステレオ音に変換して、ヘッドフォン5へ出力する(ステップ46)。
【0057】
CPU11は、以上の処理を、運動の終了がユーザUから指示されるまで繰り返し実行する(ステップ47)。
【0058】
図5は、上記第1の具体例を説明する図である。
【0059】
例えばターゲット(音源)Vの設定速度が時速5kmであり、ターゲットVが先に走行を開始し、その後ユーザUが時速10kmで走行を開始した場合、同図(A)に示すように、はじめのうちは、足音はユーザの前方から小さく聞こえるように音像定位される。その後、ユーザUが走行を続けると、同図(B)に示すように、足音は徐々に大きくなり、ユーザUに近い位置(例えば左側)で最大音量で聞こえるように定位され、その後、同図(C)に示すように、ユーザの後方から徐々に小さく聞こえるように定位される。これによりユーザUは、走行中にターゲットVを追い越すような体験を聴覚的に得ることができる。
【0060】
(第2の具体例)
この例も、ユーザUが、上記ヘッドフォン5を装着し携帯端末10を携帯して例えばランニングやサイクリング等の運動を行っている最中の処理を想定している。この例では、スタート地点から一定の距離地点(チェックポイント)に音情報が設置されていると仮定し、その情報までの距離に応じて音の位置や音量が変化する。ここで音情報は、一定距離毎に発生する応援メッセージや、走行距離を示すフィードバック音等である。ユーザがチェックポイントに近づくと(ユーザの走行距離がチェックポイントまでの距離に近づくと)、音も近づいてくるように聞こえ、チェックポイントを過ぎると(ユーザの走行距離がチェックポイントまでの距離を越えると)、音も遠ざかっているように聞こえる。
【0061】
図6は、上記第2の具体例の流れを示したフローチャートである。当該処理にあたり、ユーザUは、携帯端末10の表示部14や、マシンの設定画面等を介して、携帯端末10のアプリケーションに運動開始を指示するものとする。
【0062】
同図に示すように、携帯端末10のCPU11は、上記不揮発メモリ13から、チェックポイントの情報のみをフィルタリングする(ステップ61)。
【0063】
当該フィルタリング処理によりチェックポイントの情報が見つかった場合(ステップ62のYes)、CPU11は、ユーザUとチェックポイントとの間の距離を算出する(ステップ63)。当該距離の算出には、上記第1の具体例で説明したのと同様にして算出されたユーザUの走行距離と、チェックポイントに予め設定された距離とが用いられる。
【0064】
続いてCPU11は、現在のユーザUの位置から一定距離内にチェックポイントが存在するか否かを判断する(ステップ62)。一定距離とは例えば100m、50m、30m等であるが、これらに限られない。
【0065】
一定距離内にチェックポイントが存在すると判断した場合(Yes)、CPU11は、上記算出された距離を基に、チェックポイントを示す音の音量、座標、角度を算出する(ステップ65)。ここで、当該音は、ユーザUの進行方向(前後方向)のいずれかの位置に存在するものとする。
【0066】
続いてCPU11は、上記算出された座標位置に、チェックポイントを示す音を定位させ、マルチチャネルトラックを生成し(ステップ66)、当該マルチチャネルトラックをステレオ音に変換して、ヘッドフォン5へ出力する(ステップ67)。
【0067】
CPU11は、以上の処理を、運動の終了がユーザUから指示されるまで繰り返し実行する(ステップ68)。
【0068】
(第3の具体例)
この例は、ユーザUが他の携帯端末のユーザと音通話をしている最中の処理を想定している。携帯端末10は、ユーザUが音通話を開始した地点に、通話相手のユーザの声の位置を定位させ、ユーザUが通話中にその地点から遠ざかると、相手ユーザの声もその位置から聞こえるようになり、音量も小さくなる。これによりユーザは、あたかも通話相手が、上記通話を開始した地点にいるかのような臨場感を得ることができる。
【0069】
図6は、上記第2の具体例の流れを示したフローチャートである。
【0070】
同図に示すように、CPU11はまず、他の携帯端末との間で通話が開始されたか否かを判断する(ステップ71)。通話が開始されたと判断した場合(Yes)、CPU11は、音通話相手の声情報のみをフィルタリングする(ステップ72)。
【0071】
続いてCPU11は、位置センサ15の出力を基に、上記通話が開始された地点の位置座標を記録する(ステップ73)。
【0072】
続いてCPU11は、ユーザUの現在位置と、上記記録した通話開始地点までの距離を、位置センサ15の出力を基に算出する(ステップ74)。
【0073】
続いてCPU11は、上記算出された距離を基に、通話相手の音の音量、座標、角度を算出する(ステップ75)。角度の算出には、方向センサ16の出力も用いられる。
【0074】
続いてCPU11は、上記算出された座標位置に、通話相手の音を定位させ、マルチチャネルトラックを生成し(ステップ76)、当該マルチチャネルトラックをステレオ音に変換して、ヘッドフォン5へ出力する(ステップ77)。
【0075】
CPU11は、以上の処理を、通話が終了するまで繰り返し実行する(ステップ78)。
【0076】
図8は、上記第3の具体例を説明する図である。同図に示すように、ユーザUが地点Pにおいて通話を開始した後、同図に示す位置へ移動し、同図に示す方向(同図の下方向)を向いているとする。この場合、上記位置センサ15及び方向センサ16の出力を基に、当該移動した地点の座標、当該移動地点と通話開始地点Pとの間の距離、移動地点の通話開始地点Pに対する角度θが算出される、通話相手の声が地点Pから聞こえるように音像定位される。通話相手の声の音量も、上記距離に応じて、通話開始時よりも小さくなるように設定される。
【0077】
[絶対位置に基づく音情報の提示の詳細]
次に、音源の絶対位置に基づく音情報の提示処理について説明する。この処理では、ユーザUの位置情報や顔向き情報に基づいて、上記フィルタリング処理の結果、ユーザUに提示する音情報が存在するか否かが判定される。提示すべき音情報がある場合、ユーザUと、固定的に存在する音情報との間の距離や、ユーザUから見た音情報の方角との関係から、音を定位させる位置や音量が決定される。この処理の具体例を以下に2つ示す。
【0078】
(第1の具体例)
この例は、ユーザUが屋外で移動中に、店舗や施設の情報を取得する際の処理を想定している。店舗や施設が存在する位置に、その店舗や施設の情報を示す音コンテンツが存在するものと仮定し、ユーザUから当該音コンテンツまでの距離と方位に基づいて、音コンテンツが音像定位される。上記音コンテンツとしては、店舗の広告情報や評価情報、ランドマーク情報のほか、店舗や施設の情報を示すARマーカーの位置を示す情報等が考えられるが、これらに限られない。
【0079】
図9は、上記第1の具体例の流れを示したフローチャートである。当該フローチャートでは、携帯端末10が、アプリケーションを起動して、ユーザの進行方向に存在するレストランに関する情報のみをフィルタリングし、移動速度に応じて、提示する情報の粒度を変化させる場合を想定している。
【0080】
同図に示すように、CPU11はまず、上記位置センサ15から取得されるGPS情報(携帯端末10の位置情報)を用いて、ユーザUの周辺(例えば半径1km、0.5km等)のレストラン情報のみをフィルタリングする(ステップ91)。レストラン情報は、予めレストランの実際の位置情報と対応付けられて上記不揮発メモリ13等に記憶されているものとする。
【0081】
上記周辺のレストラン情報が見つかったと判断した場合(Yes)、CPU11は、ユーザの進行方向とレストランの相対的な距離及び角度を算出する(ステップ93)。進行方向は上記方向センサ16の出力から取得される。距離及び角度は、位置センサ15から出力される携帯端末10の現在の位置情報と、上記予め記憶された各レストランの位置情報(緯度/経度情報)とを基に算出される。
【0082】
続いてCPU11は、上記抽出されたレストランが、携帯端末10の進行方向に対して、水平方向において所定範囲の角度に存在するか否かを判断する(ステップ94)。当該角度の範囲は、例えば進行方向を0度とすると、水平方向に±45度や±60度の範囲とされるが、これらに限られない。
【0083】
続いてCPU11は、上記算出された距離及び角度を基に、レストラン情報の音の音量、座標、角度を算出する(ステップ95)。
【0084】
続いてCPU11は、ユーザの移動速度を算出し、当該移動速度を基に、提示する音情報の種別を決定し、音合成により音情報を生成する(ステップ96)。ユーザの移動速度は、例えば上記位置センサ15の複数地点における出力から算出される。移動速度に応じた音情報の種別については、例えば、高速(所定速度以上、例えば時速5km以上)の場合にはレストラン情報は店舗名のみを提示し、低速(所定速度未満)の場合には店舗名に加えて評価情報やお勧めメニュー情報等も提示することが考えられる。
【0085】
続いてCPU11は、上記算出された座標位置に、上記決定した種別のレストラン情報の音を定位させ、マルチチャネルトラックを生成し(ステップ97)、当該マルチチャネルトラックをステレオ音に変換して、ヘッドフォン5へ出力する(ステップ98)。
【0086】
CPU11は、以上の処理を、アプリケーションが終了されるまで繰り返し実行する(ステップ99)。
【0087】
図10は、上記第1の具体例を説明する図である。
【0088】
同図(A)に示す例では、ユーザUの進行方向の所定角度範囲内(左前方)にレストランA(の情報)が存在するため、当該レストランAの情報がその方向から提示される。一方、レストランB(の情報)は上記所定角度範囲外であるため提示されない。
【0089】
同図(B)に示す例は、上記(A)の状態から、ユーザUが進行方向をやや右方向に変えた場合を示している。この場合、レストランAが上記所定角度範囲外となるためその情報は提示されない。一方、上記レストランBは上記所定角度範囲内となるため、その情報が提示される。また、ユーザUから上記レストランAまでの距離に比べてユーザUからレストランBまでの距離が近いことから、レストランBの情報は、同図(A)において提示されるレストランAの情報よりも大きな音量で提示される。
【0090】
以上のような処理によりユーザは、自らの進行方向に存在する店舗や施設の情報を、その方向、距離に応じた位置から取得することができる。当該情報がARマーカーである場合には、ユーザは、音が提示された方向へ、携帯端末10に搭載された図示しないカメラを向けて撮影することで、当該店舗や施設の詳細情報を取得することができる。
【0091】
(第2の具体例)
この例は、ユーザUが道路等を移動中に、例えば車両等の所定の移動物体がユーザに接近してきた場合の処理を想定している。昨今では、電気自動車の普及によりエンジン音が出ない車両が増加し、特にユーザUがヘッドフォン5を装着している場合には、特に後方からの車両の接近に気づかないことがある。この例では、そのような状況において、車両の位置情報に基づいて、ユーザUに危険を知らせるための音情報を方向付きで提示することで、車両の接近を感知させ、危険を回避させる。
【0092】
図11は、上記第2の具体例の流れを示したフローチャートである。
【0093】
同図に示すように、CPU11はまず、ユーザUの周辺(例えば半径100m以内等)に存在する車の位置情報をフィルタリングする(ステップ111)。当該フィルタリングには、例えば、携帯端末10が、周辺の車に搭載されたカーナビゲーションシステムが受信したGPSによる位置情報を受信し、その位置情報が携帯端末10の位置から所定範囲内に存在するか否かを判断することで行われる。
【0094】
所定範囲内に車が見つかった場合(ステップ112のYes)、CPU11は、ユーザU(携帯端末10)と車との相対的な距離及び角度を算出する(ステップ113)。距離及び角度は、位置センサ15から出力される携帯端末10の現在の位置情報と、上記受信した車の位置情報とを基に算出される。
【0095】
続いてCPU11は、上記算出された距離及び角度を基に、車の擬似音(クラクション音)の音量、座標、角度を算出する(ステップ114)。
【0096】
続いてCPU11は、上記算出された座標位置に擬似音を定位させ、マルチチャネルトラックを生成し(ステップ115)、当該マルチチャネルトラックをステレオ音に変換して、ヘッドフォン5へ出力する(ステップ116)。
【0097】
ここで、車がユーザに近接した状況で擬似音を提示しても危険を回避できない可能性があるため、携帯端末10は、上記所定範囲を広げて、実際の車の位置よりも近くで擬似音が聞こえるように音像定位処理をしても構わない。
【0098】
CPU11は、以上の処理を、アプリケーションが終了されるまで繰り返し実行する(ステップ117)。
【0099】
図12は、上記第2の具体例を説明する図である。
【0100】
同図(A)に示すように、ユーザUが例えば時速3kmで歩行中に、後方から車Oが時速40kmで接近してきた場合、当該後方の車の位置から擬似音が聞こえるように音像定位処理がなされる。
【0101】
続いて同図(B)に示すように、車OがユーザUに最も近づくと、直近(例えば横方向)から擬似音が大きく聞こえるように音像定位処理がなされる。
【0102】
そして同図(C)に示すように、車OがユーザUを追い越し、前方へ移動すると、当該前方から擬似音が小さく聞こえるように音像定位処理がなされる。
【0103】
[まとめ]
以上説明したように、本実施形態によれば、携帯端末10は、所定条件に基づいて音情報をフィルタリングした上で定位させて出力しているため、ユーザにとって必要な情報を、音情報として直感的に理解させることができる。
【0104】
[変形例]
本技術は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。
【0105】
音情報のフィルタリングの条件は、上述の各具体例に示したものに限られない。例えば、携帯端末10は、情報に関するユーザの嗜好情報(ジャンル等)を記憶しておき、当該嗜好情報に基づいて音情報をフィルタリングしても構わない。
【0106】
ユーザに提示される音情報は、上記各具体例に示したものに限られない。例えば、携帯端末10がメールやインスタントメッセージを受信した場合や、Twitter(商標)等のコミュニケーションツールで新たな投稿があった場合等に、それらを報知する音が、所定の方向から提示されてもよい。この場合、ユーザが上記所定の方向を送信相手毎に任意に設定してもよいし、例えば送信相手の位置情報も受信可能な場合は、その実際の位置情報に応じた方向から音が提示されてもよい。
【0107】
上述の相対位置に基づく処理で示した3つの具体例及び絶対位置に基づく処理で示した2つの具体例は排他的なものではなく、相互に組み合わせが可能である。例えば、ユーザが所定速度以上で運動中の場合は、ターゲットの足音や呼吸音、またはチェックポイントを示す情報が提示され、所定速度未満で運動中の場合には、さらに店舗情報や施設情報も提示されてもよい。
【0108】
上述の実施形態では、音像定位処理が携帯端末10により行われる例が示された。しかし、当該処理は、携帯端末10と接続可能なクラウド側の情報処理装置(サーバ等)で行われてもよい。当該サーバは、少なくとも、記憶部、通信部及びCPU(制御部)といったコンピュータとして機能するために必要な構成要素を有するものである。記憶部は、ユーザに提供すべき音情報を記憶する。通信部は、携帯端末10から、上記位置センサ15及び方向センサ16の出力、すなわち、携帯端末10またはユーザの変位情報を受信し、上記所定条件による音情報のフィルタリング処理を行った上で、上記変位情報に基づいた音像定位処理を実行する。それにより生成されたマルチチャンネル音は、サーバから携帯端末へ送信され、ステレオ音に変換されてヘッドフォン5等から出力される。
【0109】
上述の実施形態では、音像定位処理後の音がヘッドフォンから出力される例が示された。しかし、ヘッドフォンの使用は必須ではない。例えば、ユーザの左右に設置された2台のスピーカーから、上記マルチチャンネルトラックから変換されたステレオ音が出力されてもよい。例えば、ユーザが上記ランニングやサイクリングをマシンで行う場合には、ユーザはその場に静止しているため、ヘッドフォン5を装着していなくても、上記2台のスピーカーから音像定位後の音が提示されてもよい。
【0110】
[その他]
なお、本技術は以下のような構成も採ることができる。
(1)情報処理装置であって、
それぞれの位置に対応付けられた複数の音情報を記憶可能な記憶部と、
当該情報処理装置または当該情報処理装置のユーザの変位を検出可能なセンサと、
前記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報を抽出可能であり、前記検出された変位に基づいて、当該抽出された音情報を前記対応付けられた位置に定位させたマルチチャンネル音情報を生成可能な制御部と、
前記生成されたマルチチャンネル音情報をステレオ音情報へ変換して出力可能な音出力部と
を具備する情報処理装置。
(2)上記(1)に記載の情報処理装置であって、
前記センサは、当該情報処理装置または前記ユーザの位置または方位を検出可能であり、
前記制御部は、前記音情報に対応付けられた位置が、当該情報処理装置または前記ユーザの位置から所定の距離範囲または所定の方位範囲にあることを前記所定条件として前記音情報を抽出可能である
情報処理装置。
(3)上記(1)または(2)に記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、当該情報処理装置または前記ユーザの所定の移動速度と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの前記移動速度を検出可能であり、
前記制御部は、前記検出された移動速度と対応付けられていることを前記所定条件として前記音情報を抽出可能である
情報処理装置。
(4)上記(1)から(3)のうちいずれかに記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、当該情報処理装置または前記ユーザの所定の初期位置から所定距離にある仮想的な位置と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの前記初期位置からの移動距離を検出可能であり、
前記制御部は、前記検出された移動距離だけ移動した位置が前記仮想的な位置から所定距離範囲内に到達したことを前記所定条件として前記音情報を抽出可能である
情報処理装置。
(5)上記(1)から(4)のうちいずれかに記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、所定の初期位置から当該情報処理装置または前記ユーザと同一の方向へ所定速度で移動する仮想物体の位置と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの前記初期位置からの移動距離を検出可能であり、
前記制御部は、前記仮想物体の位置と対応付けられていることを前記所定条件として前記音情報を抽出し、前記検出された移動距離から算出される位置を基準として、前記移動中の仮想物体の位置に、前記抽出された音情報を定位させる
情報処理装置。
(6)上記(1)から(5)のうちいずれかに記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、所定の移動物体の第1の位置と対応付けられており、
前記センサは、前記移動物体の位置と、当該情報処理装置または前記ユーザの第2の位置とを検出可能であり、
前記制御部は、前記移動物体の位置と対応付けられていることを前記所定条件として前記音情報を抽出し、前記検出された第1の位置が、前記検出された第2の位置から所定範囲内にある場合、当該第1の位置に前記抽出された音情報を定位させる
(7)上記(1)から(6)のうちいずれかに記載の情報処理装置であって、
他の情報処理装置と音声通話が可能な通信部をさらに具備し、
前記複数の音情報のうち少なくとも1つは、前記通信部が前記他の情報処理装置と音声通話を開始した位置と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの、前記音声通話を開始した位置からの移動方向及び移動距離を検出可能であり、
前記制御部は、前記音声通話を開始した位置と対応付けられていることを前記所定条件として前記音情報を抽出し、前記音声通話を開始した位置から前記移動方向へ前記移動距離だけ移動した位置を基準として、前記音声通話を開始した位置に前記抽出された音情報を定位させる
情報処理装置。
【符号の説明】
【0111】
5…ヘッドフォン
11…CPU
12…RAM
13…不揮発メモリ
14…表示部
15…位置センサ
16…方向センサ
17…音出力部
【特許請求の範囲】
【請求項1】
情報処理装置であって、
それぞれの位置に対応付けられた複数の音情報を記憶可能な記憶部と、
当該情報処理装置または当該情報処理装置のユーザの変位を検出可能なセンサと、
前記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報を抽出可能であり、前記検出された変位に基づいて、当該抽出された音情報を前記対応付けられた位置に定位させたマルチチャンネル音情報を生成可能な制御部と、
前記生成されたマルチチャンネル音情報をステレオ音情報へ変換して出力可能な音出力部と
を具備する情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記センサは、当該情報処理装置または前記ユーザの位置または方位を検出可能であり、
前記制御部は、前記音情報に対応付けられた位置が、当該情報処理装置または前記ユーザの位置から所定の距離範囲または所定の方位範囲にあることを前記所定条件として前記音情報を抽出可能である
情報処理装置。
【請求項3】
請求項1に記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、当該情報処理装置または前記ユーザの所定の移動速度と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの前記移動速度を検出可能であり、
前記制御部は、前記検出された移動速度と対応付けられていることを前記所定条件として前記音情報を抽出可能である
情報処理装置。
【請求項4】
請求項1に記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、当該情報処理装置または前記ユーザの所定の初期位置から所定距離にある仮想的な位置と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの前記初期位置からの移動距離を検出可能であり、
前記制御部は、前記検出された移動距離だけ移動した位置が前記仮想的な位置から所定距離範囲内に到達したことを前記所定条件として前記音情報を抽出可能である
情報処理装置。
【請求項5】
請求項1に記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、所定の初期位置から当該情報処理装置または前記ユーザと同一の方向へ所定速度で移動する仮想物体の位置と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの前記初期位置からの移動距離を検出可能であり、
前記制御部は、前記仮想物体の位置と対応付けられていることを前記所定条件として前記音情報を抽出し、前記検出された移動距離から算出される位置を基準として、前記移動中の仮想物体の位置に、前記抽出された音情報を定位させる
情報処理装置。
【請求項6】
請求項1に記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、所定の移動物体の第1の位置と対応付けられており、
前記センサは、前記移動物体の位置と、当該情報処理装置または前記ユーザの第2の位置とを検出可能であり、
前記制御部は、前記移動物体の位置と対応付けられていることを前記所定条件として前記音情報を抽出し、前記検出された第1の位置が、前記検出された第2の位置から所定範囲内にある場合、当該第1の位置に前記抽出された音情報を定位させる
情報処理装置。
【請求項7】
請求項1に記載の情報処理装置であって、
他の情報処理装置と音声通話が可能な通信部をさらに具備し、
前記複数の音情報のうち少なくとも1つは、前記通信部が前記他の情報処理装置と音声通話を開始した位置と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの、前記音声通話を開始した位置からの移動方向及び移動距離を検出可能であり、
前記制御部は、前記音声通話を開始した位置と対応付けられていることを前記所定条件として前記音情報を抽出し、前記音声通話を開始した位置から前記移動方向へ前記移動距離だけ移動した位置を基準として、前記音声通話を開始した位置に前記抽出された音情報を定位させる
情報処理装置。
【請求項8】
他の情報処理装置と通信可能な通信部と、
それぞれの位置に対応付けられた複数の音情報を記憶可能な記憶部と、
前記他の情報処理装置または当該他の情報処理装置のユーザの変位を示す変位情報を前記他の情報処理装置から受信するように前記通信部を制御可能であり、前記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報を抽出し、前記受信された変位情報に基づいて、当該抽出された音情報を前記対応付けられた位置に定位させたマルチチャンネル音情報を生成可能な制御部と
を具備する情報処理装置。
【請求項9】
情報処理装置における情報処理方法であって、
それぞれの位置に対応付けられた複数の音情報を記憶し、
当該情報処理装置または前記ユーザの変位を検出し、
前記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報を抽出し、
前記検出された変位に基づいて、前記抽出された音情報を前記対応付けられた位置に定位させたマルチチャンネル音情報を生成し、
前記生成されたマルチチャンネル音情報をステレオ音情報へ変換して出力する
情報処理方法。
【請求項10】
情報処理装置に、
それぞれの位置に対応付けられた複数の音情報を記憶するステップと、
当該情報処理装置または前記ユーザの変位を検出するステップと、
前記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報を抽出するステップと、
前記検出された変位に基づいて、前記抽出された音情報を前記対応付けられた位置に定位させたマルチチャンネル音情報を生成するステップと、
前記生成されたマルチチャンネル音情報をステレオ音情報へ変換して出力するステップと
を実行させるプログラム。
【請求項1】
情報処理装置であって、
それぞれの位置に対応付けられた複数の音情報を記憶可能な記憶部と、
当該情報処理装置または当該情報処理装置のユーザの変位を検出可能なセンサと、
前記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報を抽出可能であり、前記検出された変位に基づいて、当該抽出された音情報を前記対応付けられた位置に定位させたマルチチャンネル音情報を生成可能な制御部と、
前記生成されたマルチチャンネル音情報をステレオ音情報へ変換して出力可能な音出力部と
を具備する情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記センサは、当該情報処理装置または前記ユーザの位置または方位を検出可能であり、
前記制御部は、前記音情報に対応付けられた位置が、当該情報処理装置または前記ユーザの位置から所定の距離範囲または所定の方位範囲にあることを前記所定条件として前記音情報を抽出可能である
情報処理装置。
【請求項3】
請求項1に記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、当該情報処理装置または前記ユーザの所定の移動速度と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの前記移動速度を検出可能であり、
前記制御部は、前記検出された移動速度と対応付けられていることを前記所定条件として前記音情報を抽出可能である
情報処理装置。
【請求項4】
請求項1に記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、当該情報処理装置または前記ユーザの所定の初期位置から所定距離にある仮想的な位置と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの前記初期位置からの移動距離を検出可能であり、
前記制御部は、前記検出された移動距離だけ移動した位置が前記仮想的な位置から所定距離範囲内に到達したことを前記所定条件として前記音情報を抽出可能である
情報処理装置。
【請求項5】
請求項1に記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、所定の初期位置から当該情報処理装置または前記ユーザと同一の方向へ所定速度で移動する仮想物体の位置と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの前記初期位置からの移動距離を検出可能であり、
前記制御部は、前記仮想物体の位置と対応付けられていることを前記所定条件として前記音情報を抽出し、前記検出された移動距離から算出される位置を基準として、前記移動中の仮想物体の位置に、前記抽出された音情報を定位させる
情報処理装置。
【請求項6】
請求項1に記載の情報処理装置であって、
前記複数の音情報のうち少なくとも1つは、所定の移動物体の第1の位置と対応付けられており、
前記センサは、前記移動物体の位置と、当該情報処理装置または前記ユーザの第2の位置とを検出可能であり、
前記制御部は、前記移動物体の位置と対応付けられていることを前記所定条件として前記音情報を抽出し、前記検出された第1の位置が、前記検出された第2の位置から所定範囲内にある場合、当該第1の位置に前記抽出された音情報を定位させる
情報処理装置。
【請求項7】
請求項1に記載の情報処理装置であって、
他の情報処理装置と音声通話が可能な通信部をさらに具備し、
前記複数の音情報のうち少なくとも1つは、前記通信部が前記他の情報処理装置と音声通話を開始した位置と対応付けられており、
前記センサは、当該情報処理装置または前記ユーザの、前記音声通話を開始した位置からの移動方向及び移動距離を検出可能であり、
前記制御部は、前記音声通話を開始した位置と対応付けられていることを前記所定条件として前記音情報を抽出し、前記音声通話を開始した位置から前記移動方向へ前記移動距離だけ移動した位置を基準として、前記音声通話を開始した位置に前記抽出された音情報を定位させる
情報処理装置。
【請求項8】
他の情報処理装置と通信可能な通信部と、
それぞれの位置に対応付けられた複数の音情報を記憶可能な記憶部と、
前記他の情報処理装置または当該他の情報処理装置のユーザの変位を示す変位情報を前記他の情報処理装置から受信するように前記通信部を制御可能であり、前記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報を抽出し、前記受信された変位情報に基づいて、当該抽出された音情報を前記対応付けられた位置に定位させたマルチチャンネル音情報を生成可能な制御部と
を具備する情報処理装置。
【請求項9】
情報処理装置における情報処理方法であって、
それぞれの位置に対応付けられた複数の音情報を記憶し、
当該情報処理装置または前記ユーザの変位を検出し、
前記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報を抽出し、
前記検出された変位に基づいて、前記抽出された音情報を前記対応付けられた位置に定位させたマルチチャンネル音情報を生成し、
前記生成されたマルチチャンネル音情報をステレオ音情報へ変換して出力する
情報処理方法。
【請求項10】
情報処理装置に、
それぞれの位置に対応付けられた複数の音情報を記憶するステップと、
当該情報処理装置または前記ユーザの変位を検出するステップと、
前記記憶された複数の音情報から、所定条件に合致する1つ以上の音情報を抽出するステップと、
前記検出された変位に基づいて、前記抽出された音情報を前記対応付けられた位置に定位させたマルチチャンネル音情報を生成するステップと、
前記生成されたマルチチャンネル音情報をステレオ音情報へ変換して出力するステップと
を実行させるプログラム。
【図1】
【図2】
【図4】
【図5】
【図6】
【図7】
【図9】
【図11】
【図12】
【図3】
【図8】
【図10】
【図2】
【図4】
【図5】
【図6】
【図7】
【図9】
【図11】
【図12】
【図3】
【図8】
【図10】
【公開番号】特開2013−5021(P2013−5021A)
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願番号】特願2011−131142(P2011−131142)
【出願日】平成23年6月13日(2011.6.13)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願日】平成23年6月13日(2011.6.13)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]