ロボット
【課題】回動可能な頭部に備えられた音声入力部に、３６０度全方向から入力される音声から、ノイズ音が出力される方向を除外して、発話者がいる方向を推定するロボットを提供する。
【解決手段】ロボットＲは、回動可能な頭部Ｒ１にて所定の角度で離間して配設される３以上の音声入力部ＭＣと、それら音声入力部が出力する音声データ（音響信号データ）から全方向音圧成分データを生成する音声データ処理部２２と、頭部Ｒ１の回動角度を測定する回動角測定部（自律移動制御部５０）と、音源として推定しない方向の範囲（除外角度範囲）が記憶された記憶部３０と、音源方向を推定する音源方向推定部２３とを備え、音源方向推定部２３が、測定された回動角度を用いて、全方向音圧成分データから除外角度範囲内にあるデータを除去する。
【解決手段】ロボットＲは、回動可能な頭部Ｒ１にて所定の角度で離間して配設される３以上の音声入力部ＭＣと、それら音声入力部が出力する音声データ（音響信号データ）から全方向音圧成分データを生成する音声データ処理部２２と、頭部Ｒ１の回動角度を測定する回動角測定部（自律移動制御部５０）と、音源として推定しない方向の範囲（除外角度範囲）が記憶された記憶部３０と、音源方向を推定する音源方向推定部２３とを備え、音源方向推定部２３が、測定された回動角度を用いて、全方向音圧成分データから除外角度範囲内にあるデータを除去する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットに関し、特に、頭部に複数のマイクロフォンが設置され、全方向から音を取得して、音源方向を推定するロボットに関する。
【背景技術】
【０００２】
従来のロボットは、回動可能な頭部と、音を３６０度全方向から取得できるように頭部に複数のマイクロフォンとを備え、発話者がいる方向を推定することが開示されている。
しかしながら、従来のロボットは、雑音（ノイズ音）を出力してしまうノイズ発生源となる装置を自身が備えている場合や、自身が設置された場所の近傍にノイズ発生源がある場合などにおいて、発話者の音声だけでなく、そのノイズ発生源から出力されたノイズ音を取得してしまう。そのため、ノイズ音の騒音レベルが高い場合に、ロボットは、ノイズ発生源のある方向を発話者がいる方向として推定してしまい、本来の発話者がいる方向（推定すべき音源方向）を推定できないという問題点があった。
特にロボットは、自身を駆動するための動力機器やコンピュータなどを冷やすための冷却ファンを有し、この冷却ファンが回転する音の騒音レベルが高いため、推定すべき音源方向を推定できないという問題点があった。
【０００３】
そのため、特許文献１の移動ロボットは、音声認識結果に基づいて、自身が備えるノイズ発生源（冷却ファン）から出力されるノイズ音の騒音レベルが低くなるように、冷却ファンの回転数を減らすといった、ノイズ発生源となる装置自体を制御する技術や、発話者に再度の発声を依頼する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−９５６３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の回動可能な頭部に音声入力部を備えるロボットは、発話者がいる方向（推定すべき音源方向）を推定するために、ノイズ音を出力してしまうノイズ発生源となる装置を制御しなければならないという問題点があった。
【０００６】
本発明は、以上のような問題を解決するためになされたものであり、回動可能な頭部に備えられた音声入力部に、３６０度全方向から入力される音声から、ノイズ音が出力される方向を除外して、発話者がいる方向（推定すべき音源方向）を推定するロボットを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、本発明の請求項１に記載のロボットは、胴部と、前記胴部の上面で回動可能に支持軸に支持される頭部と、前記頭部が回動する回動方向に前記支持軸を中心に所定の角度で離間して前記頭部に配設され、入力された音声を音声データに変換して出力する３以上の音声入力部と、前記音声入力部それぞれから入力された前記音声データに、信号分解アルゴリズムを用いて、前記頭部の向きを基準とした３６０度全方向からの音圧値を示す全方向音圧成分データを生成する音声データ処理部と、前記胴部の向きを基準とした前記頭部の回動角度を測定する回動角測定部と、前記胴部の向きを基準とした音源として推定しない方向の範囲が予め設定された除外角度範囲が記憶された記憶部と、音源方向を推定する音源方向推定部とを備えるロボットにおいて、前記音源方向推定部は、測定された回動角度を用いて、前記全方向音圧成分データから前記除外角度範囲内にあるデータを除去して有効方向音圧成分データを生成するフィルタ部を備えることを特徴とする。
【０００８】
かかる構成によれば、ロボットは、音声入力部が設置された頭部の回動角度に係わらず、胴部の向きを基準とした除外角度範囲で示す方向からの音（例えば、ロボットの背面でファンが回転することで出力されるノイズ音）を除去することができる。
また、ロボットは、除外角度範囲外から入力される有効方向音圧成分データを取得することができる。
【０００９】
また、請求項２に記載のロボットは、請求項１に記載のロボットにおいて、前記記憶部が、前記支持軸を中心とした前記音声入力部それぞれの方向を示す音声入力角度が記憶され、前記音源方向推定部が、前記フィルタ部が生成した前記有効方向音圧成分データから、直前の角度の音圧値と直後の角度の音圧値との双方より大きい音圧値の角度を少なくとも１以上抽出する角度抽出部を有し、前記音声入力部が出力した音声データから、前記音声入力角度に基づき、前記角度抽出部が抽出した推定音源角度それぞれの方向から入力された音声データを分離抽出する推定音源分離部と、前記推定音源分離部に抽出された推定音源方向音声データに音声認識を行い、その音声認識結果の正しさを示す音声認識尤度を算出する音声認識部と、前記音声認識結果と、その音声認識結果に係る前記推定音源方向音声データが入力される方向との関係の正しさを示す音声入力方向適合度で、前記音声認識結果に係る前記音声認識尤度を重み付ける音源定位部とを備えることを特徴とする。
【００１０】
かかる構成によれば、ロボットは、音声認識部が行った音声認識結果と、推定音源分離部が分離抽出した推定音源方向音声データが入力される方向との関係の正しさを音声入力方向適合度で示すことができる。
また、ロボットは、音声認識部における音声認識結果の正しさを示す音声認識尤度を、前記音声入力方向適合度で重み付けすることで、音声認識結果の正しさと、その音声が入力された方向の正しさとの双方を評価する値を算出することができる。
【００１１】
また、請求項３に記載のロボットは、請求項２に記載のロボットにおいて、前記音源認識部が、前記推定音源分離部に抽出された推定音源方向音声データから複数の音声認識結果を取得し、それぞれの音声認識結果の音声認識尤度を算出し、前記音源定位部が、それぞれの音声認識結果に係る前記推定音源方向音声データが入力される方向との関係の正しさを示す音声入力方向適合度で、前記音声認識結果に係る前記音声認識尤度を重み付けることで得られた複数の算出値から、最大の算出値を抽出し、その算出値に係る音声認識結果の前記推定音源角度を音源方向に推定することを特徴とする。
【００１２】
かかる構成によれば、ロボットは、算出値が最大となる音声認識結果に係る推定音源角度を音源方向とすることができる。
【００１３】
また、請求項４に記載のロボットは、請求項３に記載のロボットが、さらに、予め入力され得るフレーズを集めた複数のフレーズパターンと、前記支持軸を中心とし前記頭部の向きを基準とした方向を示す方向角度値パターンと、前記フレーズパターンが前記方向角度値パターンの方向から入力される正しさを示す前記音声入力方向適合度との３つが対応付けられて記憶されたフレーズ記憶部を備え、前記音声認識部は、前記音声認識を行って、複数の仮説フレーズを生成し、各仮説フレーズの正しさを示す音声認識尤度を算出し、前記音声認識部が算出する、前記推定音源方向音声データそれぞれの前記音声認識尤度は、前記音声認識部が前記推定音源方向音声データに音声認識を行って、複数のパターンの仮説フレーズを生成し、仮説フレーズそれぞれの正しさを示す値であって、前記音源定位部は、前記音声認識部に生成された複数の仮説フレーズとその音声認識尤度とを取得すると共に、前記仮説フレーズおよび前記推定音源角度を用いて、前記フレーズ記憶部に記憶された前記フレーズパターンおよび前記方向角度値パターンに対応付けられた前記音声入力方向適合度を抽出し、その音声入力方向適合度で前記音声認識尤度を重み付けして、フレーズ確信度を算出するフレーズ確信度算出部と、前記フレーズ確信度が最大となる仮説フレーズを、音源方向からの音声を音声認識したフレーズとするフレーズ決定部とを備えることを特徴とする。
【００１４】
かかる構成によれば、ロボットは、角度抽出部が取得した推定音声角度と、音声認識部が音声認識して生成した仮説フレーズとの関係の正しさを音声入力方向適合度で示すことができる。
また、ロボットは、音声認識部が生成した仮説フレーズの正しさを示す音声認識尤度を、その仮説フレーズが入力される方向の正しさ音声入力方向適合度で重み付けすることで、仮説フレーズの音声認識結果の正しさを示す判断基準となるフレーズ確信度を算出することができる。
そして、ロボットは、フレーズ確信度が最大値となる仮説フレーズを正しいフレーズとすることができる。
さらに、ロボットは、音声認識尤度の値が大きくても、音声入力方向適合度の小さい仮説フレーズを、除去することができる。
【００１５】
また、請求項５に記載のロボットは、請求項４に記載のロボットにおいて、前記フレーズ記憶部は、前記フレーズパターン毎の、前記方向角度値パターンと前記音声入力方向適合度とからなる２次元のヒストグラムを記憶することを特徴とする。
【００１６】
かかる構成によれば、ロボットは、フレーズ確信度を、フレーズパターン毎の、方向角度値パターンと前記音声認識尤度とからなる２次元のヒストグラムから抽出することができる。
【００１７】
また、請求項６に記載のロボットは、請求項２ないし請求項５のいずれか１項に記載されたロボットにおいて、前記角度抽出部が抽出した推定音源角度に至るまで、前記頭部に回動させる行動制御部を備えることを特徴とする。
【００１８】
かかる構成によれば、ロボットは、呼びかけられた方向に頭部を回動することができる。
【発明の効果】
【００１９】
請求項１の発明によれば、音源として推定しない方向の範囲（除外角度範囲）を予め記憶部に記憶しておくことで、回動する頭部に音声入力部が備えられ、ノイズ発生源と音声入力部との相対位置が変化しても、ロボットは、有効方向音圧成分データの音圧成分値から、除外角度範囲外に位置する発話者（音源）が発声した方向を推定することができる。
【００２０】
また、請求項１の発明によれば、ノイズ発生源の位置に基づいて除外角度範囲を設定することで、そのノイズ発生源からの音を除去することができるため、ノイズ発生源となる装置を制御する必要がない。
【００２１】
請求項２に記載の発明によれば、ロボットは、音声認識結果の正しさと、その音声が入力された方向の正しさとの双方を評価する値を求めることができ、その算出値が大きいほど、音声認識結果が正しいという確率が高いことを示すため、音声認識の誤認識率を低減することができる。また、例えば、認識率の正誤に基づく基準値を設けることで、その基準値以上となる算出値の方向が、音源方向であると推定することもできる。
【００２２】
請求項３に記載の発明によれば、ロボットは、複数の算出値から最大値を抽出することで、音声認識結果が正しいという確率が最高の音声認識結果を取得することができるため、さらに音声認識の誤認識率を低減することができる。
【００２３】
請求項４および請求項５に記載の発明によれば、ロボットは、音声認識結果の正しさを示す判断基準となるフレーズ確信度が最大値となる仮説フレーズを、音源方向からの音声を音声認識したフレーズとすることで、誤認識率を低減することができる。
【００２４】
請求項６に記載の発明によれば、ロボットは、呼びかけた発話者のいる方向に顔面を向けることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明に係るロボットを含むロボットシステムの全体構成図である。
【図２】本発明に係るロボットの全体構成を示すブロック図である。
【図３】（ａ）本発明に係るロボットの頭部Ｒ１の正面図である。（ｂ）本発明に係るロボットの頭部Ｒ１のＡ−Ａ断面図である。
【図４】本発明に係るロボットの音源方向推定処理に係る構成を示すブロック図である。
【図５】本発明に係るロボットの音声入力角度ＤＢの一例を示す図である。
【図６】本発明に係るロボットのフレーズＤＢの一例を示す図である。
【図７】本発明に係るロボットのＢ軸と、Ｈ軸と、除外角度範囲との一例を示す図である。
【図８】本発明に係るロボットの音声データ処理部にて生成されたＭＵＳＩＣスペクトラムの一例を示す図である。
【図９】本発明に係るロボットの音源方向推定処理のフローチャートである。
【図１０】図９に続くロボットの音源方向推定処理のフローチャートである。
【図１１】図１０に続くロボットの音源方向推定処理のフローチャートである。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本発明の実施の形態（以下、「本実施形態」と称する）に係るロボットについて説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【００２７】
［ロボットシステムの構成］
まず、図１を参照して、本実施形態に係るロボットを含むロボットシステムの全体構成について説明する。ここでは、自律移動型の２足歩行ロボットを一例として説明する。
図１に示すように、ロボットシステムは、ロボットＲと、このロボットＲと無線通信によって接続された基地局１と、この基地局１とロボット専用ネットワーク２を介して接続された管理用コンピュータ３と、この管理用コンピュータ３にネットワーク４を介して接続された端末５から構成される。このロボットシステムでは、図示は省略しているが複数のロボットＲを想定している。
【００２８】
本実施形態に係るロボットＲは、図１に示すように、頭部Ｒ１、腕部Ｒ２、脚部Ｒ３、胴部Ｒ４、および背面格納部Ｒ５を有しており、胴部Ｒ４にそれぞれ接続された頭部Ｒ１、腕部Ｒ２、および脚部Ｒ３は、それぞれアクチュエータ（駆動手段）により駆動され、後記する自律移動制御部５０（図２参照）により２足歩行の制御がなされる。この２足歩行についての詳細は、例えば、特開２００１−６２７６０号公報に開示されている。
ここで、ロボットＲは胴部Ｒ４の背面に背面格納部Ｒ５を備えている。この背面格納部Ｒ５には、頭部Ｒ１、腕部Ｒ２、脚部Ｒ３、および胴部Ｒ４の動作を制御する制御装置（主制御部４０など）や、この制御装置が処理した熱を排熱するためのファンＦ（ノイズ発生源）、後記するバッテリ７０などが格納されている。このファンＦが回転することでノイズ音が出力される。
【００２９】
ロボット専用ネットワーク２は、基地局１と、管理用コンピュータ３と、ネットワーク４とを接続するものであり、ＬＡＮ（Local Area Network）などにより実現されるものである。
【００３０】
管理用コンピュータ３は、複数のロボットＲを管理するものであり、基地局１、ロボット専用ネットワーク２を介してロボットＲの移動・発話などの各種制御を行うと共に、ロボットＲに対して必要な情報を提供する。ここで、必要な情報とは、発話するための音声データや、検知された人物の氏名、ロボットＲの周辺の地図などがこれに相当し、これらの情報は、管理用コンピュータ３に設けられた記憶部（不図示）に記憶されている。
【００３１】
端末５は、ネットワーク４を介して管理用コンピュータ３に接続し、管理用コンピュータ３に設けられた記憶手段（不図示）に、人物に関する情報などを登録する、もしくは登録されたこれらの情報を修正するものである。また、端末５は、ロボットＲに実行させるタスクの登録や、管理用コンピュータ３において設定されるタスクスケジュールの変更や、ロボットＲの動作命令の入力などを行うものである。
【００３２】
以下、ロボットＲと、管理用コンピュータ３とについてそれぞれ詳細に説明する。
［ロボット］
図２は、ロボットの全体構成を示すブロック図である。図２に示すように、ロボットＲは、頭部Ｒ１、腕部Ｒ２、脚部Ｒ３、胴部Ｒ４、および背面格納部Ｒ５に加えて、カメラＣ、スピーカＳ、音声入力部ＭＣ、画像処理部１０、音声処理部２０、記憶部３０、主制御部４０、自律移動制御部５０、無線通信部６０、および対象検知部８０を有する。
【００３３】
頭部Ｒ１は、自律移動制御部５０（行動制御部）に制御された後記する頭回動部Ｒ１１により、胴部Ｒ４上で支持軸Ｏを中心に左右に回動する。これにより、頭部Ｒ１（顔面）が向いている方向（Ｈ軸）は、回動角θだけ、胴部Ｒ４の正面が向いている方向（Ｂ軸）とずれることとなる。ここで、自律移動制御部５０（回動角測定部）は、頭回動部Ｒ１１に回動させた角度（回動角θ）を保持する。つまり、自律移動制御部５０は、頭部Ｒ１の回動角度の測定値である回動角θを保持する。
さらに、ロボットＲは、ロボットＲの現在位置を検出するため、ジャイロセンサＳＲ１や、ＧＰＳ受信器ＳＲ２を有している。
このカメラＣ、スピーカＳ、および音声入力部ＭＣは、いずれも頭部Ｒ１の内部に配設される。
【００３４】
［カメラ］
カメラＣ（Ｃ１，Ｃ２）は、映像をデジタルデータとして取り込むことができるものであり、例えば、カラーＣＣＤ(Charge-Coupled Device)カメラが使用される。カメラＣ１とカメラＣ２とは、左右に平行に並んで配置され、撮影した画像は画像処理部１０に出力される。
【００３５】
［画像処理部］
画像処理部１０は、カメラＣが撮影した画像を処理して、撮影された画像からロボットＲの周囲の状況を把握するため、周囲の障害物や人物の認識を行う部分である。この画像処理部１０は、ステレオ処理部１１ａ、移動体抽出部１１ｂ、および顔認識部１１ｃを含んで構成される。以下に各構成部について簡単に記載する。
【００３６】
ステレオ処理部１１ａは、左右のカメラＣが撮影した２枚の画像の一方を基準としてパターンマッチングを行い、左右の画像中の対応する各画素の視差を計算して視差画像を生成し、生成した視差画像および元の画像を移動体抽出部１１ｂに出力する。なお、この視差は、ロボットＲから撮影された物体までの距離を表すものである。
【００３７】
移動体抽出部１１ｂは、ステレオ処理部１１ａから出力されたデータに基づき、撮影した画像中の移動体を抽出するものである。移動する物体（移動体）を抽出するのは、移動する物体が人物であると推定して、人物の認識をするためである。
移動体を抽出するために、移動体抽出部１１ｂは、過去の数フレーム（コマ）の画像を記憶しており、最も新しいフレーム（画像）と、過去のフレーム（画像）を比較して、パターンマッチングを行い、各画素の移動量を計算し、移動量画像を生成する。そして、視差画像と、移動量画像とから、カメラＣから所定の距離範囲内で、移動量の多い画素がある場合に、人物があると推定し、その所定距離範囲のみの視差画像として、移動体を抽出し、顔認識部１１ｃへ移動体の画像を出力する。
【００３８】
顔認識部１１ｃは、抽出した移動体から肌色の部分を抽出して、その大きさ、形状などから顔の位置を認識する。なお、同様にして、肌色の領域と、大きさ、形状などから手の位置も認識される。
認識された顔の位置は、ロボットＲが移動するときの情報として、また、その人とのコミュニケーションを取るため、主制御部４０に出力される。
【００３９】
［音声入力部］
音声入力部ＭＣは、ロボットＲの周囲の音を電気信号（音響信号）として取り出すマイクロホンと、当該音響信号をデジタル化して音響信号データ（音声データを含む）を生成するアナログ−デジタル変換器（Ａ／Ｄ変換器）を含み、音声処理部２０（後記する音声データ処理部２２および推定音源分離部２４）に出力する。
図３（ａ）は、頭部Ｒ１の正面図であり、図３（ｂ）は、頭部Ｒ１のＡ−Ａ断面図である。そして、図３（ｂ）に、頭部Ｒ１の内部に配設された音声入力部ＭＣを示す。
音声入力部ＭＣ１，ＭＣ２，・・・，ＭＣ８は、それぞれ支持軸Ｏを中心に顔面が向いている方向（Ｈ軸）から配設角度∠Ｈmc（∠Ｈmc1（＝Ｈ軸），∠Ｈmc2，∠Ｈmc3，・・・）だけ離間して、頭部Ｒ１外部からの音を集音するように配設される。
【００４０】
ここで、配設角度∠Ｈmcは、３６０度全方向からの音声を集音できるように音声入力部ＭＣを配設できる角度であればよいが、図３（ｂ）に示すように、音声入力部ＭＣが８個ある場合、等角度（４５度）であることが望ましい。
また、後記する除外角度範囲ｒの範囲外に、音声入力部ＭＣが随時２台以上存在するように、音声入力部ＭＣの数および配設角度∠Ｈmcは設定される。ここで、本実施形態では、複数の方向から入力された音響信号データに基づき、音源方向を求めるため、除外角度範囲ｒの範囲外に２台存在する必要がある。
【００４１】
［スピーカ］
スピーカＳは、音声処理部２０（後記する音声合成部２１）により生成された音声データに基づき、音声を出力する。
【００４２】
［音声処理部］
音声処理部２０は、音声合成部２１と、音声データ処理部２２と、音源方向推定部２３と、推定音源分離部２４と、音声認識部２５と、音源定位部２６とを有する。
音声合成部２１は、主制御部４０により決定された発話行動の指令に基づき、文字情報（テキストデータ）から発話音声データを生成し、スピーカＳに音声を出力する部分である。発話音声データの生成には、予め記憶部３０に記憶されている文字情報（テキストデータ）と、その文字情報が読み上げられた音声データとの対応関係を利用する。なお、この文字情報と音声データとは、管理用コンピュータ３から取得され、記憶部３０に保存される。
【００４３】
本実施形態の音源方向推定処理に係る処理は、音声処理部２０が備える音声データ処理部２２と、音源方向推定部２３と、推定音源分離部２４と、音声認識部２５と、音源定位部２６とにより行われる。これら構成部により行われる音源方向推定処理の詳細な説明は後記するため、ここでは、音声処理部２０が行う音源方向推定処理について簡単に説明する。
音声処理部２０は、音声入力部ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・）から入力された音響信号データに信号分解アルゴリズム（例えば、ＭＵＳＩＣ（MUltiple SIgnal Classification）法）を用いて、頭部の向きを基準とした３６０度全方向からの音圧値を示す全方向音圧成分データ（例えば、ＭＵＳＩＣスペクトラム）を生成する。そして、音声処理部２０は、その全方向音圧成分データから音源方向を推定する。次に、音声処理部２０は、推定した音源方向から入力される音響信号データを、音声入力部ＭＣから入力された音響信号データから分離抽出して、分離抽出した音響信号データに対して音声認識を行う。
【００４４】
［記憶部］
記憶部３０は、例えば、一般的なハードディスクなどから構成され、管理用コンピュータ３から送信された音声合成部２１が発話音声データを生成する際に用いる文字情報および音声データ、後記する対象検知部８０が用いる必要な情報（人物の氏名、ローカル地図データ、会話用データなど）、ロボットＲが識別した人物の識別番号や位置情報の他に、本実施形態の音源方向推定処理に係るデータを記憶するものである。
この音源方向推定処理に係るデータは、音声入力角度ＤＢ３１と、除外角度範囲ＤＢ３２と、フレーズＤＢ３３（フレーズ記憶部）と、伝達関数ＤＢ３４とに記憶されており、これらについての詳細な説明は後記する。
【００４５】
［主制御部］
主制御部４０は、画像処理部１０、音声処理部２０、記憶部３０、自律移動制御部５０、無線通信部６０、および対象検知部８０を統括制御するものである。
【００４６】
［自律移動制御部］
自律移動制御部（自律移動制御手段）５０は、主制御部４０の指示に従い頭部Ｒ１、腕部Ｒ２、脚部Ｒ３を駆動する。
また、ジャイロセンサＳＲ１、およびＧＰＳ受信器ＳＲ２が検出したデータは、主制御部４０に出力され、ロボットＲの行動を決定するために利用される。
【００４７】
［無線通信部］
無線通信部６０は、管理用コンピュータ３とデータの送受信を行う通信装置である。無線通信部６０は、公衆回線通信装置６１ａおよび無線通信装置６１ｂを有する。
公衆回線通信装置６１ａは、携帯電話回線やＰＨＳ（Personal Handyphone System）回線などの公衆回線を利用した無線通信手段である。一方、無線通信装置６１ｂは、IEEE802.11b規格に準拠するワイヤレスＬＡＮなどの、近距離無線通信による無線通信手段である。
無線通信部６０は、管理用コンピュータ３からの接続要求に従い、公衆回線通信装置６１ａまたは無線通信装置６１ｂを選択して管理用コンピュータ３とデータ通信を行う。
【００４８】
［バッテリ］
バッテリ７０は、ロボットＲの各部（頭部Ｒ１、腕部Ｒ２、脚部Ｒ３、および胴部Ｒ４）の動作や、ファンＦの回転駆動、背面格納部Ｒ５に格納された制御装置の処理などに必要な電力の供給源である。このバッテリ７０は、充填式の構成をもつものが使用される。
【００４９】
［対象検知部］
対象検知部８０は、ロボットＲの周囲にタグＴを備える人物が存在するか否かを検知するものである。例えば、ＬＥＤから構成され、ロボットＲの頭部Ｒ１外周に沿って前後左右などに配設される複数の発光部を備える（図示は省略する）。
対象検知部８０は、発光部から、各発光部を識別する発光部ＩＤを示す信号を含む赤外光をそれぞれ発信すると共に、この赤外光を受信したタグＴから受信報告信号を受信する。いずれかの赤外光を受信したタグＴは、その赤外光に含まれる発光部ＩＤに基づいて、受信報告信号を生成するので、ロボットＲは、この受信報告信号に含まれる発光部ＩＤを参照することにより、当該ロボットＲから見てどの方向にタグＴが存在するかを特定することができる。また、対象検知部８０は、タグＴから取得した受信報告信号の電波強度に基づいて、タグＴまでの距離を特定する機能を有する。したがって、対象検知部８０は、受信報告信号に基づいて、タグＴの位置（距離および方向）を、人物の位置として特定することができる。
さらに、対象検知部８０は、発光部から赤外光を発光するだけではなく、ロボットＩＤを示す信号を含む電波を図示しないアンテナから発信する。これにより、この電波を受信したタグＴは、赤外光を発信したロボットＲを正しく特定することができる。なお、対象検知部８０およびタグＴについての詳細は、例えば、特開２００６−１９２５６３号公報に開示されている。
【００５０】
次に、本実施形態に係るロボットＲの音源方向推定処理に係る構成について、図４を参照して説明する。
［記憶部の構成］
図４に示すように、記憶部３０は、音声入力角度ＤＢ３１と、除外角度範囲ＤＢ３２と、フレーズＤＢ３３とを含んで構成される。
【００５１】
（音声入力角度ＤＢ）
音声入力角度ＤＢ３１は、音声入力部ＭＣの識別番号と、その音声入力部ＭＣが顔面が向いている方向（Ｈ軸）からなす配設角度∠Ｈmc（∠Ｈmc1，∠Ｈmc2，∠Ｈmc3，・・・）とを対応付けて記憶するデータベースである。
図５は、図３（ｂ）に示すように、音声入力部ＭＣが頭部Ｒ１の内部に配設されたときの音声入力角度ＤＢの一例を示す図である。音声入力角度ＤＢには、音声入力部ＭＣ１に相当する識別番号“ＭＣ１”に、配設角度（∠Ｈmc1）＝０度が記録されており、音声入力部ＭＣ２に相当する識別番号“ＭＣ２”に、配設角度（∠Ｈmc2）＝４５度が記録されている。
【００５２】
（伝達関数ＤＢ）
伝達関数ＤＢ３４は、後記する音声データ処理部２２にて、ＭＵＳＩＣスペクトラムＰavg(θ)を生成するために、予めシミュレーションして取得した、頭部の向きを基準としたθ方向に音源がある場合の伝達関数ベクトルｖ(θ)が記録されている。この伝達関数ベクトルｖ(θ)は、シミュレーション時に行った方向の数だけ記録されている。伝達関数ベクトルｖ(θ)についての詳細は、後記する音声データ処理部２２の説明にて記載する。
本実施形態では、３６０度全方向を５度で等分した７２方向に音源がある場合のシミュレーションを予め行っておき、７２個の伝達関数ベクトルｖ(θ)（ｖ1，ｖ2，・・・，ｖ72）を算出しておく。
【００５３】
（除外角度範囲ＤＢ）
除外角度範囲ＤＢ３２は、ロボットＲの管理者により端末５から入力され、管理用コンピュータ３を介して、ロボットＲに設定される除外角度範囲ｒを記憶する記憶手段である。
除外角度範囲ｒは、支持軸Ｏを中心に胴部Ｒ４の正面が向いている方向（Ｂ軸，図７参照）からなす、音源として推定しない方向の範囲である。例えば、除外角度範囲ｒとして、∠Ｂ＝＋１２０〜＋１８０〜＋２４０度で記憶されている。
【００５４】
この除外角度範囲ｒは、音声入力部ＭＣとロボットＲの動作環境とに基づき予め設定される範囲である。例えば、ロボットＲの背面格納部Ｒ５に格納されたファンＦ（ノイズ発生源）から出力されるノイズ音を除去するために、予め、音声入力部ＭＣから入力される、ファンＦによるノイズ音の音響信号データに対して、音声データ処理部２２に全方向音圧成分データ（例えば、ＭＵＳＩＣスペクトラム）を生成させる。この全方向音圧成分データからノイズ音の音圧成分を抽出して、ノイズ音が与える影響の範囲を考慮する。
ここで、ノイズ音が与える影響とは、後記する音声認識部２５が、ファンＦ（ノイズ発生源）以外からの音声を、ノイズ音により音声として認識しないことである。
【００５５】
（フレーズＤＢ）
フレーズＤＢ３３は、フレーズパターン３３１と、方向角度値パターン３３２と、フレーズ入力方向適合度３３３（音声入力方向適合度）とを対応付けて記憶するデータベースである。
図６は、フレーズＤＢの一例を示す図である。
フレーズパターン３３１は、人間が発声するフレーズであり、特に、人（発話者Ｙ，図１参照）が他人（ロボットＲ，図１参照）を自分に振り向かせるために、呼びかけるときに発するフレーズが複数記憶されている。例えば、「こっち向いて」や「こっち見て」、「おーい」、「ごめんください」などである。
【００５６】
方向角度値パターン３３２は、顔面が向いている方向（Ｈ軸）（図３（ｂ）参照）からなす角度であり、３６０度全方向の方向角度値が記憶されている。
図６において、方向角度値は、２０度毎の値としているが、１度毎の値であってもよい。
【００５７】
フレーズ入力方向適合度３３３（音声入力方向適合度）は、人間が発声するフレーズが、ロボットＲに対してどの角度から発話（入力）されやすいかを示す値であり、つまり、フレーズと方向角度値との関係の正しさ（フレーズと方向角度値との関係が正しい確率）を示す値である。
例えば、「こっち向いて」というフレーズは、ロボットＲの顔面が向いている方向（Ｈ軸上、方向角度値＝０度）から言われるフレーズではなく、ロボットＲの顔面が向いていない方向（横や背面）から言われるフレーズであることに着目して、フレーズ入力方向適合度３３３は、ロボットＲの管理者により予め設定された値である。
【００５８】
図６においてフレーズが「こっち向いて」の場合は、方向角度値が「０度」におけるフレーズ入力方向適合度３３３の値は低く設定され（＝０．００）、一方、方向角度値が「１８０度」におけるフレーズ入力方向適合度３３３の値は高く設定されている（＝０．１０）。
また、フレーズが「あなたのお名前は？」の場合は、ロボットＲの顔面が向いている方向（Ｈ軸上、方向角度値＝０度）から言われるフレーズである。そのため、方向角度値が「０度」におけるフレーズ入力方向適合度３３３の値は高く設定され（＝０．３０）、一方、方向角度値が「１８０度」におけるフレーズ入力方向適合度３３３の値は低く設定されている（＝０．００）。
ここで、図６のフレーズＤＢ３３は、フレーズそれぞれで、全方向角度値のフレーズ入力方向適合度３３３の値の合計が１となるように、方向角度値ごとに、フレーズ入力方向適合度３３３の値が設定されている。
【００５９】
［音声処理部の構成］
図４に示すように、音声処理部２０は、音声データ処理部２２と、音源方向推定部２３と、推定音源分離部２４と、音声認識部２５と、音源定位部２６とを含んで構成される。
【００６０】
（音声データ処理部）
本実施形態において、音声データ処理部２２は、信号分解アルゴリズムとしてＭＵＳＩＣ法を用いる。音声データ処理部２２は、音声入力部ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・）から入力された音響信号データからＭＵＳＩＣ法を用いて、雑音信号の空間を推定して、予め準備しておいた７２方向の伝達関数ベクトルｖ(θ)それぞれを、その雑音信号の空間に射影することにより、ＭＵＳＩＣスペクトラムＰavg(θ)（全方向音圧成分データ）を生成する処理部である。
【００６１】
伝達関数ベクトルｖ(θ)は、予めシミュレーションして取得したベクトル値である。
シミュレーションは、頭部の向きを基準としたθ方向の音源からインパルスを出力する。そのインパルスが入力された各音声入力部ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・）が出力するインパルス応答を音声データ処理部２２が取得する。そして、音声データ処理部２２は、そのインパルス応答に離散フーリエ変換を施し、周波数領域に変換することで、伝達関数ベクトルｖ(θ)が得られる。
【００６２】
シミュレーションは次のように行う。頭部の向きを基準とした０度の方向（θ＝０）に位置する音源に対応する伝達関数ベクトルｖ1を算出する場合、０度の方向からインパルスを出力する。音声データ処理部２２は、各音声入力部ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・）から取得したインパルス応答に離散フーリエ変換を施し、周波数領域に変換することで、伝達関数ベクトルｖ1を算出することができる。
本実施形態では、３６０度全方向を５度で等分した７２方向に音源がある場合のシミュレーションを予め行っておき、７２個の伝達関数ベクトルｖ(θ)（ｖ1，ｖ2，・・・，ｖ72）を算出しておく。
【００６３】
（ＭＵＳＩＣスペクトラム算出処理）
そして音声データ処理部２２は、ＭＵＳＩＣスペクトラム算出処理を行う。
まず、音声データ処理部２２は、音声入力部ＭＣから音響信号データを取得し、そして、記憶部３０の伝達関数ＤＢ３４から７２個の伝達関数ベクトルｖ(θ)（ｖ1，ｖ2，ｖ3，・・・，ｖ72）を取得する。
そして、音声データ処理部２２は、式（１）を用いてＭＵＳＩＣスペクトラムＰ(θ)を計算する。ｅは固有ベクトルであり、音響信号データから算出される値である。算出手段は後記する。
ここで、Ｍは音声入力部ＭＣの数である。また、Ｎは音源として認識可能な最大数を示し、所定の値に設定することができる。本実施形態では、「Ｎ＝３」と設定しておく。Ｔは転置行列であることを示す。
【００６４】
【数１】
【００６５】
（固有ベクトルｅの算出）
ここで、固有ベクトルｅは次のようにして、音響信号データから算出する。
まず、音声データ処理部２２は、音響信号データに離散フーリエ変換を施して、周波数領域に変換し、スペクトルｘを算出する。
そして、相関行列Ｒxxは、次の期待値Ｅで示す式（２）で示すことができる。
【００６６】
【数２】
【００６７】
この相関行列Ｒxxが式（３）を満たすような固有値λと、固有ベクトルｅとを算出する。これにより、雑音信号の空間への射影行列である固有ベクトルｅを取得することができる。
【００６８】
【数３】
【００６９】
音声データ処理部２２は、式（３）を満たすすべての固有値λと固有ベクトルｅとの組を保持する。このとき保持した組の数をＫとする。
そして、音声データ処理部２２は、固有値λが一番大きい組からＮ＋１〜Ｋ番目の固有値λと固有ベクトルｅとの組を取得する。このＫ−Ｎ個の固有ベクトルｅを用いて、式（１）に示すＭＵＳＩＣスペクトラムＰ(θ)を算出する。
【００７０】
ここで、通常、式（３）を満たす組は、音声入力部ＭＣの数（Ｍ）だけ存在する。そのため、音源として認識可能な最大数として設定されるＮの値は、Ｎ＜Ｍであることが好ましい。
【００７１】
以上のようにして、音声データ処理部２２は、ＭＵＳＩＣスペクトラム算出処理を行い、時刻ｔにおける、周波数ωのＭＵＳＩＣスペクトラムＰ(θ)を取得することができる。
そして、音声データ処理部２２は、周波数毎にＭＵＳＩＣスペクトラムＰ(θ)の算出処理を行い、所定の周波数帯域のＭＵＳＩＣスペクトラムＰ(θ)を取得する。
ここで、所定の周波数帯域とは、発話者が発する音声の音圧が大きい周波数帯域であり、かつ雑音の音圧が小さい周波数帯域が望ましく、例えば、0.5〜2.8kHzであればよい。
【００７２】
そして、音声データ処理部２２は、各周波数帯域のＭＵＳＩＣスペクトラムＰ(θ)を広帯域信号に拡張する。
音声データ処理部２２は、音響信号データからＳ／Ｎ比がよい（ノイズが少ない）周波数帯域ωを抽出し、広帯域信号へと拡張したときに、周波数帯域ωのＭＵＳＩＣスペクトラムＰ(θ)が強く反映されるように、周波数帯域ωの音響信号データから式（３）で得た一番大きい固有値λmaxを用いて、式（４）に示すように、ＭＵＳＩＣスペクトラムＰ(θ)に重み付けをして、総和を計算する。これにより、広帯域のＭＵＳＩＣスペクトラムＰavg(θ)を取得する。
【００７３】
【数４】
Ω：周波数帯域の集合、|Ω|：集合Ωの要素数
【００７４】
以上により、音声データ処理部２２は、ＭＵＳＩＣスペクトラムＰavg(θ)（全方向音圧成分データ）を生成することができる。
【００７５】
（音源方向推定部）
音源方向推定部２３は、フィルタ部２３１と、角度抽出部２３２とを含んで構成される。
フィルタ部２３１は、音声データ処理部２２からＭＵＳＩＣスペクトラムＰavg(θ)（全方向音圧成分データ）を取得して、除外角度範囲ＤＢ３２から除外角度範囲ｒを取得して、自律移動制御部５０から頭回動部Ｒ１１の回動角θを取得する。
そして、フィルタ部２３１は、Ｈ軸が基準となるＭＵＳＩＣスペクトラムＰavg(θ)から、Ｂ軸を基準とした回動角θを考慮して、Ｂ軸を基準とした除外角度範囲ｒに該当する範囲内のデータを除去して、推定範囲スペクトラム（有効方向音圧成分データ）を抽出する。
【００７６】
角度抽出部２３２は、推定範囲スペクトラムからすべてのピーク音圧値（Peak1，Peak2，・・・）と、それらピーク音圧値の角度（推定音源角度）とを抽出する。この推定音源角度が成す方向が推定音源方向である。ここで、本実施形態における推定音源角度は、Ｈ軸を基準とした角度∠φH（∠φH1，∠φH2，・・・）とする。
ここで、ピーク音圧値について説明する。推定範囲スペクトラムにおいて、角度θの音圧値が、直前の角度の音圧値および直後の角度の音圧値よりも大きな値である場合に、その角度θの音圧値がピーク音圧値である。また、その角度θが推定音源角度∠φHである。
そして、角度抽出部２３２は、抽出したすべてのピーク音圧値の推定音源角度∠φH（∠φH1，∠φH2，・・・）を推定音源分離部２４に出力する。
この推定音源角度∠φHは、頭部Ｒ１の正面（顔面）を推定音源方向に向けるまでに必要な回動角度でもある。
【００７７】
ここで、音声入力部ＭＣから入力された音響信号データから音声データ処理部２２が生成したＭＵＳＩＣスペクトラムＰavg(θ)（全方向音圧成分データ）を取得して、音源方向推定部２３（フィルタ部２３１および角度抽出部２３２）が、音源方向を推定するまでの処理について、図７と図８とを用いて説明する。図７は、Ｂ軸と、Ｈ軸と、除外角度範囲ｒとの一例を示す図であり、図８は、音声データ処理部２２にて生成されたＭＵＳＩＣスペクトラムの一例を示す図である。
【００７８】
この図７は、頭部Ｒ１の顔面が向いている方向（Ｈ軸）が、胴部Ｒ４の正面が向いている方向（Ｂ軸）から右に（θ＝）３０度の方向である場合の図である。このとき、Ｈ軸（∠Ｈ＝０度）は、Ｂ軸を基準（０度）として換算すると、∠Ｂ＝＋３０度で示される。
そして、背面格納部Ｒ５に格納されたファンＦ（ノイズ発生源）から出力されるノイズ音を除去するために、除外角度範囲ｒ（ｒ＝１２０度）は、∠Ｂ＝＋１２０〜＋１８０〜＋２４０度の範囲で記憶されている。これは、Ｈ軸で換算すると、∠Ｈ＝＋８０〜＋１４０〜＋２００度の範囲である。
【００７９】
図８は、図７で示す状態であるときに、音声データ処理部２２が、頭部Ｒ１の音声入力部ＭＣ（ＭＣ１〜ＭＣ８）に入力された音響信号データにＭＵＳＩＣ法を用いて生成した３６０度全方向からの音圧値（スペクトラム強度）を示すＭＵＳＩＣスペクトラムＰavg(θ)（全方向音圧成分データ）である。そして、縦軸は、スペクトル強度を示す音圧［ｄＢ］、横軸は、Ｈ軸を基準とした方向を示す角度［度］である。
【００８０】
フィルタ部２３１は、このＭＵＳＩＣスペクトラムＰavg(θ)において除外角度範囲ｒに該当する範囲のデータを除去して、スペクトラム（推定範囲スペクトラム）を取得する。図８における推定範囲スペクトラムは、除外角度範囲ｒ（∠Ｈ＝＋８０〜＋１４０〜＋２００）以外の∠Ｈ＝−１６０〜±０〜＋８０度で示されるスペクトラムデータである（図８で太線で示す）。
【００８１】
角度抽出部２３２は、この推定範囲スペクトラムから、ピーク音圧値Peak1の推定音源角度∠φH1（∠φH）（∠Ｈ＝−７０度）と、ピーク音圧値Peak2の推定音源角度∠φH2（∠φH）（∠Ｈ＝＋１０度）とを抽出する。そして、推定音源角度∠φH1および∠φH2を、推定音源分離部２４に出力する。
【００８２】
以上のように、フィルタ部２３１と角度抽出部２３２との処理により、ＭＵＳＩＣスペクトラムにおける最大音圧値（ＭＡＸ）（図８参照）は、除外角度範囲ｒ（∠Ｈ＝＋８０〜＋１４０〜＋２００）内であるために、削除される。
【００８３】
（推定音源分離部）
推定音源分離部２４は、角度抽出部２３２から推定音源方向を示すすべての推定音源角度∠φH（∠φH1，∠φH2，・・・）を取得し、音声入力部ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・）から音響信号データを取得する。そして、推定音源分離部２４は、取得した複数の音響信号データから得られる３６０度全方向からの音響信号データのうち、各推定音源角度∠φHの方向から入力された音響信号データを分離抽出する。最後に、推定音源分離部２４は、すべての推定音源角度∠φH（∠φH1，∠φH2，・・・）とともに、それぞれの角度方向に基づき分離抽出した推定音源方向音声データを音声認識部２５に出力する。
【００８４】
ここで、推定音源分離部２４が行う複数の音声入力部ＭＣから入力された音響信号データから、特定の音響信号データを分離抽出する処理については、特開２００８−３０６７１２号公報などに開示された公知の技術を利用した処理である。
当該処理について、簡単に記載する。
【００８５】
複数の音声入力部ＭＣそれぞれには、複数の音源それぞれから個別の音源信号が重畳された音声信号が入力される。推定音源分離部２４は、それら音声入力部ＭＣから音響信号データを取得する。そして、推定音源分離部２４は、ブラインド音源分離法（ＢＳＳ：Blind Source Separation）を用いて、音響信号データそれぞれから、音源それぞれからの音源信号（音響信号データ）を分離する。そして、推定音源分離部２４は、推定音源角度∠φHの方向から入力された音響信号データ（推定音源方向音声データ）を抽出する。
ＢＳＳとして、ＤＳＳ（Decorrelation based Source Separation）や、ＩＣＡ（Independent Component Analysis）、ＨＤＳＳ（Higher-order DSS）に基づく音源分離法や、これらの手法それぞれに幾何的情報を加えたＧＳＳ（Geometric constrained Source Separation）や、ＧＩＣＡ（Geometric constrained ICA）、ＧＨＤＳＳ（Geometric constrained HDSS）といった音源分離法を用いてもよい。
【００８６】
（音声認識部）
音声認識部２５は、推定音源分離部２４から、すべての推定音源角度∠φH（∠φH1，∠φH2，・・・）と、それぞれの角度方向の推定音源方向音声データとを取得する。
音声認識部２５は、推定音源方向音声データそれぞれに対して音声認識を行い、文字情報（テキストデータ）を生成する機能を有し、１つの推定音源方向音声データから、複数の仮説フレーズを生成する。この仮説フレーズはテキストデータで生成される。
【００８７】
さらに、音声認識部２５は、仮説フレーズの正しさ（仮説フレーズが正しい確率）を示す音声認識尤度を算出する機能を有する。この音声認識尤度は、仮説フレーズの内容や前後の文章内容（前後の仮説フレーズ）などから、仮説フレーズが正しい文章内容であるかを示すものである。
＜音声認識部２５の音声認識尤度算出処理＞
音声認識部２５にて行われる音声認識尤度算出処理について説明する。
一般的な音声認識における音声認識尤度（Ｐ（Ｗ｜Ｘ））は、音声信号をＸ、フレーズ（単語の列）をＷとして、以下の式（５）で示すことができる。
【００８８】
【数５】
Ｐ（Ｗ｜Ｘ）：音声認識尤度、Ｐ（Ｘ｜Ｗ）：音響尤度、Ｐ（Ｗ）：言語確率
【００８９】
ここで、言語確率Ｐ（Ｗ）を算出するとき、文法を用いてもよいし、統計言語モデルを用いてもよい。
文法を用いて言語確率Ｐ（Ｗ）を算出する場合には、フレーズＷが文法に定義されていればＰ（Ｗ）＝１とし、定義されていなければＰ（Ｗ）＝０とする。そして、確率の定義に従い、最後にはＰ（Ｗ）の合計が１になるように正規化する。
一方、統計言語モデルを用いて言語確率Ｐ（Ｗ）を算出する場合には、単語と単語との繋がりやすさを大量の文から学習したＮ−ｇｒａｍが用いられる。一般的にＮ−ｇｒａｍとは、Ｎ個の単語の繋がりやすさを学習させたものである。
【００９０】
ここでは、統計言語モデルを用い、多くの場合に利用されているＮ＝３の場合について説明する。一般的に、３−ｇｒａｍの統計言語モデルを用いて学習する際には、同時に２−ｇｒａｍも学習している。
例えば、「はしをわたって（橋を渡って）」の場合、「橋｜を｜渡っ｜て」といった４つの単語に分解して考えます。そして、２つの単語「橋｜を」の次に、「渡っ」という単語がどれだけ現れやすいかという確率Ｐ（渡っ｜橋，を）を学習してデータベース（３−ｇｒａｍのデータベース、２−ｇｒａｍのデータベース）として持っている。
このように、「橋｜を｜渡っ｜て」というフレーズＷが現れる確率Ｐ（橋｜を｜渡っ｜て）は、以下の式（６）で示すことができる。
【００９１】
【数６】
【００９２】
右辺は３−ｇｒａｍおよび２−ｇｒａｍのデータベースから得られるもので、左辺が言語確率Ｐ（Ｗ）である。
以上により、音声認識部２５は、「橋を渡って」とする仮説フレーズの音声認識尤度（Ｐ（Ｗ｜Ｘ））は大きい値で算出され（仮説フレーズが正しい確率が高い）、一方、「箸を渡って」とする仮説フレーズの音声認識尤度（Ｐ（Ｗ｜Ｘ））は小さい値で算出される（仮説フレーズが正しい確率が低い）。
以上のように、音声認識部２５にて音声認識尤度算出処理が行われ、音声認識尤度（Ｐ（Ｗ｜Ｘ））が算出される。
【００９３】
そして、音声認識部２５は、推定音源角度∠φHで示される角度方向の推定音源方向データから生成したすべての仮説フレーズと、各仮説フレーズの音声認識尤度（Ｐ（Ｗ｜Ｘ））とを、推定音源角度∠φHと対応付けて、音源定位部２６（フレーズ確信度算出部２６１）に出力する。
なお、音声データとテキストデータとの対応関係は、記憶部３０に予め記憶されている。
【００９４】
（音源定位部）
音源定位部２６は、フレーズ確信度算出部２６１と、フレーズ決定部２６２とを含んで構成される。
（フレーズ確信度算出部）
フレーズ確信度算出部２６１は、音声認識部２５からすべての推定音源角度∠φH（∠φH1，∠φH2，・・・）と、推定音源角度∠φHそれぞれと対応付けられた仮説フレーズのすべてと、各仮説フレーズの音声認識尤度（Ｐ（Ｗ｜Ｘ））とを取得する。
そして、フレーズ確信度算出部２６１は、すべての推定音源角度∠φHから１つの推定音源角度∠φHを抽出し、さらに、その推定音源角度∠φHと対応付けられたすべての仮説フレーズから１つの仮説フレーズを抽出する（以下、抽出仮説フレーズとする）。
次に、フレーズ確信度算出部２６１は、フレーズＤＢ３３（図６）のフレーズパターン３３１から、抽出仮説フレーズと一致するフレーズを抽出する。次に、その抽出したフレーズと対応付けられた方向角度値パターン３３２から、推定音源角度∠φHと一致する方向角度値を抽出する。最後に、その抽出した方向角度値と対応付けられたフレーズ入力方向適合度３３３（フレーズと方向角度値との関係が正しい確率）を抽出する。
【００９５】
次に、フレーズ確信度算出部２６１は、フレーズの音源方向とフレーズの音声認識結果との関係を示すフレーズ確信度を算出する。このフレーズ確信度の値が大きいほど、抽出仮説フレーズ（音声認識部２５が音声認識した仮説フレーズ）の音声認識結果が正しいという確率が高いことを示す。
＜フレーズ確信度算出部２６１のフレーズ確信度算出処理＞
フレーズ確信度算出部２６１にて行われるフレーズ確信度算出処理について説明する。
前記した、仮説フレーズの正しさ（仮説フレーズが正しい確率）を示す音声認識尤度を算出するための式（５）を、フレーズ入力方向適合度３３３を用いて拡張することで、フレーズ確信度Ｐ（Ｗ｜Ｘ，ｄ）は、以下の式（７）で示すことができる。ここで、音声信号をＸ、フレーズ（単語の列）をＷ、方向をｄとする。
【００９６】
【数７】
Ｐ（Ｗ｜Ｘ）：音声認識尤度、Ｐ（Ｘ｜Ｗ）：音響尤度、Ｐ（Ｗ）：言語確率
Ｐ（Ｗ｜Ｘ，ｄ）：フレーズ確信度、Ｐ（ｄ｜Ｗ）：フレーズ入力方向適合度
【００９７】
以上のように、フレーズ確信度算出処理を行うことで、フレーズ確信度算出部２６１は、フレーズ確信度（Ｐ（Ｗ｜Ｘ，ｄ））を、フレーズＤＢ３３から取得したフレーズ入力方向適合度３３３（Ｐ（ｄ｜Ｗ））に、音声認識尤度（Ｐ（Ｗ｜Ｘ））を乗算することで算出できる。
【００９８】
ここで、音響尤度Ｐ（Ｘ｜Ｗ）は、入力した音声信号Ｘと音響モデルと呼ばれるデータベースから計算される尤度であり、入力音声信号ＸがフレーズＷであると仮定すると、入力音声信号ＸがどれだけそのフレーズＷらしいかを表す。この音響モデルには、隠れマルコフモデル（Hidden Markov Model）が用いられることが一般的で、フレーズＷに対する入力音声信号Ｘの音響尤度を計算するアルゴリズムとして、ビタビ（Viterbi）アルゴリズムなどがある。
【００９９】
そして、フレーズ確信度算出部２６１は、推定音源角度∠φHと、仮説フレーズと、算出したフレーズ確信度（Ｐ（Ｗ｜Ｘ，ｄ））との３つの値を対応付けてフレーズ決定部２６２に出力する。
この処理を、フレーズ確信度算出部２６１は、音声認識部２５から取得したすべての推定音源角度∠φHに対して行い、各推定音源角度∠φHのすべての仮説フレーズのフレーズ確信度（Ｐ（Ｗ｜Ｘ，ｄ））を算出し、フレーズ決定部２６２に出力する。
【０１００】
（フレーズ決定部）
フレーズ決定部２６２は、フレーズ確信度算出部２６１から取得したすべての推定音源角度∠φHに対して以下の処理を行う。
まず、フレーズ決定部２６２は、１つの推定音源角度∠φHに対応付けられたすべての仮説フレーズのフレーズ確信度を取得する。そして、フレーズ決定部２６２は、取得したフレーズ確信度Ｐ（Ｗ｜Ｘ，ｄ）から最大値のフレーズ確信度を抽出し、そのフレーズ確信度が最大値の仮説フレーズを、音声認識したフレーズと決定する。そして、このフレーズ確信度が最大値の仮説フレーズＷmaxが、ロボットＲの正面から推定音源角度∠φHを成す方向に位置する音源（発話者Ｙ，図１参照）から発話された発話フレーズであるとする。
そして、主制御部４０に、当該発話フレーズと、推定音源角度∠φHとを出力する。
ここで、フレーズ確信度が最大値の仮説フレーズＷmaxは、以下の式（８）で示すことができる。
【０１０１】
【数８】
Ｘ：音声認識したフレーズ、Ｗ：仮説フレーズ
【０１０２】
以上の処理を、フレーズ決定部２６２は、フレーズ確信度算出部２６１から取得したすべての推定音源角度∠φHに対して行い、各推定音源角度∠φHの発話フレーズを主制御部４０に出力する。
【０１０３】
本実施の形態に係るロボットＲによれば、以下に示す動作ができるようになる。
各推定音源角度∠φHの発話フレーズを取得した主制御部４０は、記憶部３０に記憶された文字情報を参照して、発話フレーズの内容を取得する。ここで、発話フレーズが相手を呼びかける内容の文章であったときに、主制御部４０は、自律移動制御部５０へ、頭部Ｒ１の正面（顔面）が推定音源角度∠φHに至るまで、頭回動部Ｒ１１を回動させる指示を出力させることができる。これにより、発話者が「おーい」と呼びかけることで、ロボットＲはその発話者がいる方向へ顔面を向けることができる。
また、各推定音源角度∠φHの発話フレーズを取得した主制御部４０が、角度抽出部２３２が推定範囲スペクトラムから取得した、それら推定音源角度∠φHの角度のピーク音圧値を取得する。そして、主制御部４０は、自律移動制御部５０へ、頭部Ｒ１の正面（顔面）が、ピーク音圧値が最大となる推定音源角度∠φHに至るまで、頭回動部Ｒ１１を回動させる指示を出力させてもよい。これにより、ロボットＲは、音圧が最大の発話者がいる方向へ顔面を向けることができる。そのため、近くで話している発話者よりも大きな声で呼びかけた発話者がいる方向へ顔面を向けることができる。
【０１０４】
［ロボットの音源方向推定処理］
次に、図９〜図１１のフローチャートを参照して、ロボットの音源方向推定処理について説明する（適宜、図１ないし図８を参照）。
まず、ロボットＲの音声入力部ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・）に、ユーザが発話した音声が入力され（ステップＳ１０１）、音声データ処理部２２に音響信号データが入力される（ステップＳ１０２）。
次に、音声データ処理部２２は、記憶部３０の音声入力角度ＤＢ３１から、各音声入力部ＭＣの配設角度∠Ｈmc（∠Ｈmc1，∠Ｈmc2，∠Ｈmc3，・・・）を取得し、伝達関数ＤＢ３４から、伝達関数ベクトルｖ(θ)を取得する（ステップＳ１０３）。
そして、音声データ処理部２２は、ＭＵＳＩＣ法を用いて、各音声入力部ＭＣから入力された音響信号データと、配設角度∠Ｈmcと、伝達関数ベクトルｖ(θ)とから、ＭＵＳＩＣスペクトラムを生成する（ステップＳ１０４）。
【０１０５】
フィルタ部２３１は、音声データ処理部２２からＭＵＳＩＣスペクトラム（全方向音圧成分データ）を取得して、除外角度範囲ＤＢ３２から除外角度範囲ｒを取得して、自律移動制御部５０から頭回動部Ｒ１１の回動角θを取得する（ステップＳ１０５）。
そして、フィルタ部２３１は、ＭＵＳＩＣスペクトラムから、回動角θを考慮して、除外角度範囲ｒに該当する範囲内のデータを除去して、推定範囲スペクトラム（有効方向音圧成分データ）を抽出する（ステップＳ１０６）。
【０１０６】
角度抽出部２３２は、推定範囲スペクトラムからすべてのピーク音圧値（Peak1，Peak2，・・・）と、それらピーク音圧値の角度（推定音源角度∠φH）とを抽出する（ステップＳ１０７）。そして、角度抽出部２３２は、抽出したすべての推定音源角度∠φH（∠φH1，∠φH2，・・・）を、推定音源分離部２４に出力する。
【０１０７】
推定音源分離部２４は、角度抽出部２３２からすべての推定音源角度∠φH（∠φH1，∠φH2，・・・）を取得し、音声入力部ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・）から入力された音響信号データを取得する（ステップＳ１０８）。そして、取得した音響信号データから、各推定音源角度∠φHの方向から入力された音響信号データを分離抽出する（ステップＳ１０９）。最後に、推定音源分離部２４は、推定音源角度∠φH（∠φH1，∠φH2，・・・）とともに、それぞれの角度方向に基づき分離抽出した推定音源方向音声データを音声認識部２５に出力する。
【０１０８】
音声認識部２５は、推定音源分離部２４からすべての推定音源角度∠φH（∠φH1，∠φH2，・・・）と、それぞれの角度方向の推定音源方向音声データを取得する（ステップＳ１１０）。
（音声認識処理）
音声認識部２５は、推定音源分離部２４から入力された推定音源方向音声データに音声認識を行って、複数の仮説フレーズを生成し（ステップＳ１１１）、所定の算出手段を用いて、仮説フレーズの正しさを示す音声認識尤度を算出する（ステップＳ１１２）。そして、音声認識部２５は、すべての推定音源角度∠φH方向の推定音源方向音声データに対して、当該音声認識処理を行う。
【０１０９】
以上の処理により、音声認識部２５は、推定音源方向音声データ毎に、その推定音源方向音声データから生成された複数の仮説フレーズと、各仮説フレーズの音声認識尤度を取得する。そして、音声認識部２５は、推定音源角度∠φHと対応付けて、その推定音源角度∠φH方向の推定音源方向音声データから生成したすべての仮説フレーズと、各仮説フレーズの音声認識尤度とを、フレーズ確信度算出部２６１に出力する。
【０１１０】
フレーズ確信度算出部２６１は、音声認識部２５からすべての推定音源角度∠φH（∠φH1，∠φH2，・・・）と、各推定音源角度∠φHに対応付けられたすべての仮説フレーズと、各仮説フレーズの音声認識尤度とを取得する（ステップＳ１１３，図１０）。
そして、フレーズ確信度算出部２６１は、取得した推定音源角度∠φH（∠φH1，∠φH2，・・・）から、１つの推定音源角度∠φHを抽出し（ステップＳ１１４）、その推定音源角度∠φHに対応付けられた複数の仮説フレーズから１つを抽出する（ステップＳ１１５）。
次に、フレーズ確信度算出部２６１は、抽出した推定音源角度∠φHと仮説フレーズとに基づき、フレーズＤＢ３３のフレーズパターン３３１から、仮説フレーズと一致するフレーズを抽出する。次に、フレーズ確信度算出部２６１は、抽出したフレーズと対応付けられた方向角度値パターン３３２から、推定音源角度∠φHと一致する方向角度値を抽出する。そして、フレーズ確信度算出部２６１は、抽出した方向角度値と対応付けられたフレーズ入力方向適合度３３３を取得する（ステップＳ１１６）。
【０１１１】
次に、フレーズ確信度算出部２６１は、フレーズＤＢ３３から取得したフレーズ入力方向適合度３３３に、音声認識部２５から取得した仮説フレーズの音声認識尤度を乗算して、仮説フレーズのフレーズ確信度を算出する（ステップＳ１１７）。そして、フレーズ確信度算出部２６１は、推定音源角度∠φHと、仮説フレーズと、算出したフレーズ確信度との３つの値を対応付けてフレーズ決定部２６２に出力する。
そして、フレーズ確信度算出部２６１は、ステップＳ１１５にて未抽出仮説フレーズがあるか否かを判定する（ステップＳ１１８）。未抽出仮説フレーズがあれば（ステップＳ１１８，Ｙｅｓ）、ステップＳ１１５に戻る。
【０１１２】
一方、未抽出仮説フレーズがなければ（ステップＳ１１８，Ｎｏ）、フレーズ確信度算出部２６１は、ステップＳ１１４にて未抽出推定音源角度があるか否かを判定する（ステップＳ１１９）。未抽出推定音源角度があれば（ステップＳ１１９，Ｙｅｓ）、ステップＳ１１４に戻る。
一方、未抽出推定音源角度がなければ（ステップＳ１１９，Ｎｏ）、フレーズ決定部２６２に処理を移す。
【０１１３】
フレーズ決定部２６２は、すべての推定音源角度∠φH（∠φH1，∠φH2，・・・）と、各推定音源角度∠φHに対応付けられたすべての仮説フレーズのフレーズ確信度を取得する（ステップＳ１２０，図１１）。
まず、フレーズ決定部２６２は、取得した推定音源角度∠φH（∠φH1，∠φH2，・・・）から、１つの推定音源角度∠φHを抽出する（ステップＳ１２１）。
そして、フレーズ決定部２６２は、抽出した推定音源角度∠φHに対応付けられたすべてのフレーズ確信度から、最大値のフレーズ確信度を抽出し（ステップＳ１２２）、その抽出したフレーズ確信度の仮説フレーズを、ロボットＲが音声認識した推定音源角度∠φHの方向からのフレーズに決定する（ステップＳ１２３）。これにより、１つの推定音源角度∠φHの方向に対して、１つのフレーズが決定する。
【０１１４】
そして、フレーズ決定部２６２は、ステップＳ１１４にて未抽出推定音源角度があるか否かを判定する（ステップＳ１２４）。未抽出推定音源角度があれば（ステップＳ１２４，Ｙｅｓ）、ステップＳ１２１に戻る。
一方、未抽出推定音源角度がなければ（ステップＳ１２４，Ｎｏ）、フレーズ決定部２６２は、これまでの処理により、決定した各推定音源角度∠φHのフレーズを、主制御部４０に出力する（ステップＳ１２５）。そして、ロボットＲは音源方向推定処理を終了する。
【０１１５】
以上、本発明の実施形態について説明したが、本発明は前記した実施形態に限定されず、適宜変更して実施することが可能である。
例えば、除外角度範囲ＤＢ３２には、除外角度範囲ｒを記憶するとしたが、３６０−ｒで算出される角度範囲を記憶してもよい。これにより、ＭＵＳＩＣスペクトラムから、有効方向音圧成分データを抽出することができる。
また、角度抽出部２３２は推定音源角度として、Ｈ軸を基準とした角度∠φHの代わりに、Ｂ軸を基準とした角度∠φBを用いてもよい。
【０１１６】
また、除外角度範囲ＤＢ３２において、除外角度範囲ｒを、音声入力部が３つであれば１２０°未満、４つであれば１８０°未満の値に設定することで、少なくとも２つの音声入力部ＭＣが除外角度範囲ｒの範囲外に位置するため、発話者Ｙ（図１参照）がいる方向（推定すべき音源方向）を推定することができる。
【０１１７】
フレーズＤＢ３３は、フレーズパターン３３１毎の、方向角度値パターン３３２とフレーズ入力方向適合度３３３とからなる２次元のヒストグラムを記憶してもよい。これにより、フレーズ確信度算出部２６１は、音声認識部２５から取得した推定音源角度∠φHに該当する方向角度値と、２次元のヒストグラムで対応付けられたフレーズ入力方向適合度３３３を取得することになる。
【０１１８】
ロボットＲは、発話者Ｙとコミュニケーションをするロボットであってもよいが、物音がする方向にカメラＣと高性能マイクロフォン（音声入力部ＭＣ）を向ける警備用のロボットであっても良い。
【符号の説明】
【０１１９】
２０ 音声処理部
２２ 音声データ処理部
２３ 音源方向推定部
２４ 推定音源分離部
２５ 音声認識部
２６ 音源定位部
３０ 記憶部
３１ 音声入力角度ＤＢ
３２ 除外角度範囲ＤＢ
３３ フレーズＤＢ
４０ 主制御部
５０ 自律移動制御部（行動制御部）（回動角測定部）
２３１ フィルタ部
２３２ 角度抽出部
２６１ フレーズ確信度算出部
２６２ フレーズ決定部
ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・） 音声入力部
Ｏ 支持軸
Ｒ ロボット
Ｒ１ 頭部
Ｒ１１ 頭回動部
【技術分野】
【０００１】
本発明は、ロボットに関し、特に、頭部に複数のマイクロフォンが設置され、全方向から音を取得して、音源方向を推定するロボットに関する。
【背景技術】
【０００２】
従来のロボットは、回動可能な頭部と、音を３６０度全方向から取得できるように頭部に複数のマイクロフォンとを備え、発話者がいる方向を推定することが開示されている。
しかしながら、従来のロボットは、雑音（ノイズ音）を出力してしまうノイズ発生源となる装置を自身が備えている場合や、自身が設置された場所の近傍にノイズ発生源がある場合などにおいて、発話者の音声だけでなく、そのノイズ発生源から出力されたノイズ音を取得してしまう。そのため、ノイズ音の騒音レベルが高い場合に、ロボットは、ノイズ発生源のある方向を発話者がいる方向として推定してしまい、本来の発話者がいる方向（推定すべき音源方向）を推定できないという問題点があった。
特にロボットは、自身を駆動するための動力機器やコンピュータなどを冷やすための冷却ファンを有し、この冷却ファンが回転する音の騒音レベルが高いため、推定すべき音源方向を推定できないという問題点があった。
【０００３】
そのため、特許文献１の移動ロボットは、音声認識結果に基づいて、自身が備えるノイズ発生源（冷却ファン）から出力されるノイズ音の騒音レベルが低くなるように、冷却ファンの回転数を減らすといった、ノイズ発生源となる装置自体を制御する技術や、発話者に再度の発声を依頼する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−９５６３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の回動可能な頭部に音声入力部を備えるロボットは、発話者がいる方向（推定すべき音源方向）を推定するために、ノイズ音を出力してしまうノイズ発生源となる装置を制御しなければならないという問題点があった。
【０００６】
本発明は、以上のような問題を解決するためになされたものであり、回動可能な頭部に備えられた音声入力部に、３６０度全方向から入力される音声から、ノイズ音が出力される方向を除外して、発話者がいる方向（推定すべき音源方向）を推定するロボットを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、本発明の請求項１に記載のロボットは、胴部と、前記胴部の上面で回動可能に支持軸に支持される頭部と、前記頭部が回動する回動方向に前記支持軸を中心に所定の角度で離間して前記頭部に配設され、入力された音声を音声データに変換して出力する３以上の音声入力部と、前記音声入力部それぞれから入力された前記音声データに、信号分解アルゴリズムを用いて、前記頭部の向きを基準とした３６０度全方向からの音圧値を示す全方向音圧成分データを生成する音声データ処理部と、前記胴部の向きを基準とした前記頭部の回動角度を測定する回動角測定部と、前記胴部の向きを基準とした音源として推定しない方向の範囲が予め設定された除外角度範囲が記憶された記憶部と、音源方向を推定する音源方向推定部とを備えるロボットにおいて、前記音源方向推定部は、測定された回動角度を用いて、前記全方向音圧成分データから前記除外角度範囲内にあるデータを除去して有効方向音圧成分データを生成するフィルタ部を備えることを特徴とする。
【０００８】
かかる構成によれば、ロボットは、音声入力部が設置された頭部の回動角度に係わらず、胴部の向きを基準とした除外角度範囲で示す方向からの音（例えば、ロボットの背面でファンが回転することで出力されるノイズ音）を除去することができる。
また、ロボットは、除外角度範囲外から入力される有効方向音圧成分データを取得することができる。
【０００９】
また、請求項２に記載のロボットは、請求項１に記載のロボットにおいて、前記記憶部が、前記支持軸を中心とした前記音声入力部それぞれの方向を示す音声入力角度が記憶され、前記音源方向推定部が、前記フィルタ部が生成した前記有効方向音圧成分データから、直前の角度の音圧値と直後の角度の音圧値との双方より大きい音圧値の角度を少なくとも１以上抽出する角度抽出部を有し、前記音声入力部が出力した音声データから、前記音声入力角度に基づき、前記角度抽出部が抽出した推定音源角度それぞれの方向から入力された音声データを分離抽出する推定音源分離部と、前記推定音源分離部に抽出された推定音源方向音声データに音声認識を行い、その音声認識結果の正しさを示す音声認識尤度を算出する音声認識部と、前記音声認識結果と、その音声認識結果に係る前記推定音源方向音声データが入力される方向との関係の正しさを示す音声入力方向適合度で、前記音声認識結果に係る前記音声認識尤度を重み付ける音源定位部とを備えることを特徴とする。
【００１０】
かかる構成によれば、ロボットは、音声認識部が行った音声認識結果と、推定音源分離部が分離抽出した推定音源方向音声データが入力される方向との関係の正しさを音声入力方向適合度で示すことができる。
また、ロボットは、音声認識部における音声認識結果の正しさを示す音声認識尤度を、前記音声入力方向適合度で重み付けすることで、音声認識結果の正しさと、その音声が入力された方向の正しさとの双方を評価する値を算出することができる。
【００１１】
また、請求項３に記載のロボットは、請求項２に記載のロボットにおいて、前記音源認識部が、前記推定音源分離部に抽出された推定音源方向音声データから複数の音声認識結果を取得し、それぞれの音声認識結果の音声認識尤度を算出し、前記音源定位部が、それぞれの音声認識結果に係る前記推定音源方向音声データが入力される方向との関係の正しさを示す音声入力方向適合度で、前記音声認識結果に係る前記音声認識尤度を重み付けることで得られた複数の算出値から、最大の算出値を抽出し、その算出値に係る音声認識結果の前記推定音源角度を音源方向に推定することを特徴とする。
【００１２】
かかる構成によれば、ロボットは、算出値が最大となる音声認識結果に係る推定音源角度を音源方向とすることができる。
【００１３】
また、請求項４に記載のロボットは、請求項３に記載のロボットが、さらに、予め入力され得るフレーズを集めた複数のフレーズパターンと、前記支持軸を中心とし前記頭部の向きを基準とした方向を示す方向角度値パターンと、前記フレーズパターンが前記方向角度値パターンの方向から入力される正しさを示す前記音声入力方向適合度との３つが対応付けられて記憶されたフレーズ記憶部を備え、前記音声認識部は、前記音声認識を行って、複数の仮説フレーズを生成し、各仮説フレーズの正しさを示す音声認識尤度を算出し、前記音声認識部が算出する、前記推定音源方向音声データそれぞれの前記音声認識尤度は、前記音声認識部が前記推定音源方向音声データに音声認識を行って、複数のパターンの仮説フレーズを生成し、仮説フレーズそれぞれの正しさを示す値であって、前記音源定位部は、前記音声認識部に生成された複数の仮説フレーズとその音声認識尤度とを取得すると共に、前記仮説フレーズおよび前記推定音源角度を用いて、前記フレーズ記憶部に記憶された前記フレーズパターンおよび前記方向角度値パターンに対応付けられた前記音声入力方向適合度を抽出し、その音声入力方向適合度で前記音声認識尤度を重み付けして、フレーズ確信度を算出するフレーズ確信度算出部と、前記フレーズ確信度が最大となる仮説フレーズを、音源方向からの音声を音声認識したフレーズとするフレーズ決定部とを備えることを特徴とする。
【００１４】
かかる構成によれば、ロボットは、角度抽出部が取得した推定音声角度と、音声認識部が音声認識して生成した仮説フレーズとの関係の正しさを音声入力方向適合度で示すことができる。
また、ロボットは、音声認識部が生成した仮説フレーズの正しさを示す音声認識尤度を、その仮説フレーズが入力される方向の正しさ音声入力方向適合度で重み付けすることで、仮説フレーズの音声認識結果の正しさを示す判断基準となるフレーズ確信度を算出することができる。
そして、ロボットは、フレーズ確信度が最大値となる仮説フレーズを正しいフレーズとすることができる。
さらに、ロボットは、音声認識尤度の値が大きくても、音声入力方向適合度の小さい仮説フレーズを、除去することができる。
【００１５】
また、請求項５に記載のロボットは、請求項４に記載のロボットにおいて、前記フレーズ記憶部は、前記フレーズパターン毎の、前記方向角度値パターンと前記音声入力方向適合度とからなる２次元のヒストグラムを記憶することを特徴とする。
【００１６】
かかる構成によれば、ロボットは、フレーズ確信度を、フレーズパターン毎の、方向角度値パターンと前記音声認識尤度とからなる２次元のヒストグラムから抽出することができる。
【００１７】
また、請求項６に記載のロボットは、請求項２ないし請求項５のいずれか１項に記載されたロボットにおいて、前記角度抽出部が抽出した推定音源角度に至るまで、前記頭部に回動させる行動制御部を備えることを特徴とする。
【００１８】
かかる構成によれば、ロボットは、呼びかけられた方向に頭部を回動することができる。
【発明の効果】
【００１９】
請求項１の発明によれば、音源として推定しない方向の範囲（除外角度範囲）を予め記憶部に記憶しておくことで、回動する頭部に音声入力部が備えられ、ノイズ発生源と音声入力部との相対位置が変化しても、ロボットは、有効方向音圧成分データの音圧成分値から、除外角度範囲外に位置する発話者（音源）が発声した方向を推定することができる。
【００２０】
また、請求項１の発明によれば、ノイズ発生源の位置に基づいて除外角度範囲を設定することで、そのノイズ発生源からの音を除去することができるため、ノイズ発生源となる装置を制御する必要がない。
【００２１】
請求項２に記載の発明によれば、ロボットは、音声認識結果の正しさと、その音声が入力された方向の正しさとの双方を評価する値を求めることができ、その算出値が大きいほど、音声認識結果が正しいという確率が高いことを示すため、音声認識の誤認識率を低減することができる。また、例えば、認識率の正誤に基づく基準値を設けることで、その基準値以上となる算出値の方向が、音源方向であると推定することもできる。
【００２２】
請求項３に記載の発明によれば、ロボットは、複数の算出値から最大値を抽出することで、音声認識結果が正しいという確率が最高の音声認識結果を取得することができるため、さらに音声認識の誤認識率を低減することができる。
【００２３】
請求項４および請求項５に記載の発明によれば、ロボットは、音声認識結果の正しさを示す判断基準となるフレーズ確信度が最大値となる仮説フレーズを、音源方向からの音声を音声認識したフレーズとすることで、誤認識率を低減することができる。
【００２４】
請求項６に記載の発明によれば、ロボットは、呼びかけた発話者のいる方向に顔面を向けることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明に係るロボットを含むロボットシステムの全体構成図である。
【図２】本発明に係るロボットの全体構成を示すブロック図である。
【図３】（ａ）本発明に係るロボットの頭部Ｒ１の正面図である。（ｂ）本発明に係るロボットの頭部Ｒ１のＡ−Ａ断面図である。
【図４】本発明に係るロボットの音源方向推定処理に係る構成を示すブロック図である。
【図５】本発明に係るロボットの音声入力角度ＤＢの一例を示す図である。
【図６】本発明に係るロボットのフレーズＤＢの一例を示す図である。
【図７】本発明に係るロボットのＢ軸と、Ｈ軸と、除外角度範囲との一例を示す図である。
【図８】本発明に係るロボットの音声データ処理部にて生成されたＭＵＳＩＣスペクトラムの一例を示す図である。
【図９】本発明に係るロボットの音源方向推定処理のフローチャートである。
【図１０】図９に続くロボットの音源方向推定処理のフローチャートである。
【図１１】図１０に続くロボットの音源方向推定処理のフローチャートである。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本発明の実施の形態（以下、「本実施形態」と称する）に係るロボットについて説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【００２７】
［ロボットシステムの構成］
まず、図１を参照して、本実施形態に係るロボットを含むロボットシステムの全体構成について説明する。ここでは、自律移動型の２足歩行ロボットを一例として説明する。
図１に示すように、ロボットシステムは、ロボットＲと、このロボットＲと無線通信によって接続された基地局１と、この基地局１とロボット専用ネットワーク２を介して接続された管理用コンピュータ３と、この管理用コンピュータ３にネットワーク４を介して接続された端末５から構成される。このロボットシステムでは、図示は省略しているが複数のロボットＲを想定している。
【００２８】
本実施形態に係るロボットＲは、図１に示すように、頭部Ｒ１、腕部Ｒ２、脚部Ｒ３、胴部Ｒ４、および背面格納部Ｒ５を有しており、胴部Ｒ４にそれぞれ接続された頭部Ｒ１、腕部Ｒ２、および脚部Ｒ３は、それぞれアクチュエータ（駆動手段）により駆動され、後記する自律移動制御部５０（図２参照）により２足歩行の制御がなされる。この２足歩行についての詳細は、例えば、特開２００１−６２７６０号公報に開示されている。
ここで、ロボットＲは胴部Ｒ４の背面に背面格納部Ｒ５を備えている。この背面格納部Ｒ５には、頭部Ｒ１、腕部Ｒ２、脚部Ｒ３、および胴部Ｒ４の動作を制御する制御装置（主制御部４０など）や、この制御装置が処理した熱を排熱するためのファンＦ（ノイズ発生源）、後記するバッテリ７０などが格納されている。このファンＦが回転することでノイズ音が出力される。
【００２９】
ロボット専用ネットワーク２は、基地局１と、管理用コンピュータ３と、ネットワーク４とを接続するものであり、ＬＡＮ（Local Area Network）などにより実現されるものである。
【００３０】
管理用コンピュータ３は、複数のロボットＲを管理するものであり、基地局１、ロボット専用ネットワーク２を介してロボットＲの移動・発話などの各種制御を行うと共に、ロボットＲに対して必要な情報を提供する。ここで、必要な情報とは、発話するための音声データや、検知された人物の氏名、ロボットＲの周辺の地図などがこれに相当し、これらの情報は、管理用コンピュータ３に設けられた記憶部（不図示）に記憶されている。
【００３１】
端末５は、ネットワーク４を介して管理用コンピュータ３に接続し、管理用コンピュータ３に設けられた記憶手段（不図示）に、人物に関する情報などを登録する、もしくは登録されたこれらの情報を修正するものである。また、端末５は、ロボットＲに実行させるタスクの登録や、管理用コンピュータ３において設定されるタスクスケジュールの変更や、ロボットＲの動作命令の入力などを行うものである。
【００３２】
以下、ロボットＲと、管理用コンピュータ３とについてそれぞれ詳細に説明する。
［ロボット］
図２は、ロボットの全体構成を示すブロック図である。図２に示すように、ロボットＲは、頭部Ｒ１、腕部Ｒ２、脚部Ｒ３、胴部Ｒ４、および背面格納部Ｒ５に加えて、カメラＣ、スピーカＳ、音声入力部ＭＣ、画像処理部１０、音声処理部２０、記憶部３０、主制御部４０、自律移動制御部５０、無線通信部６０、および対象検知部８０を有する。
【００３３】
頭部Ｒ１は、自律移動制御部５０（行動制御部）に制御された後記する頭回動部Ｒ１１により、胴部Ｒ４上で支持軸Ｏを中心に左右に回動する。これにより、頭部Ｒ１（顔面）が向いている方向（Ｈ軸）は、回動角θだけ、胴部Ｒ４の正面が向いている方向（Ｂ軸）とずれることとなる。ここで、自律移動制御部５０（回動角測定部）は、頭回動部Ｒ１１に回動させた角度（回動角θ）を保持する。つまり、自律移動制御部５０は、頭部Ｒ１の回動角度の測定値である回動角θを保持する。
さらに、ロボットＲは、ロボットＲの現在位置を検出するため、ジャイロセンサＳＲ１や、ＧＰＳ受信器ＳＲ２を有している。
このカメラＣ、スピーカＳ、および音声入力部ＭＣは、いずれも頭部Ｒ１の内部に配設される。
【００３４】
［カメラ］
カメラＣ（Ｃ１，Ｃ２）は、映像をデジタルデータとして取り込むことができるものであり、例えば、カラーＣＣＤ(Charge-Coupled Device)カメラが使用される。カメラＣ１とカメラＣ２とは、左右に平行に並んで配置され、撮影した画像は画像処理部１０に出力される。
【００３５】
［画像処理部］
画像処理部１０は、カメラＣが撮影した画像を処理して、撮影された画像からロボットＲの周囲の状況を把握するため、周囲の障害物や人物の認識を行う部分である。この画像処理部１０は、ステレオ処理部１１ａ、移動体抽出部１１ｂ、および顔認識部１１ｃを含んで構成される。以下に各構成部について簡単に記載する。
【００３６】
ステレオ処理部１１ａは、左右のカメラＣが撮影した２枚の画像の一方を基準としてパターンマッチングを行い、左右の画像中の対応する各画素の視差を計算して視差画像を生成し、生成した視差画像および元の画像を移動体抽出部１１ｂに出力する。なお、この視差は、ロボットＲから撮影された物体までの距離を表すものである。
【００３７】
移動体抽出部１１ｂは、ステレオ処理部１１ａから出力されたデータに基づき、撮影した画像中の移動体を抽出するものである。移動する物体（移動体）を抽出するのは、移動する物体が人物であると推定して、人物の認識をするためである。
移動体を抽出するために、移動体抽出部１１ｂは、過去の数フレーム（コマ）の画像を記憶しており、最も新しいフレーム（画像）と、過去のフレーム（画像）を比較して、パターンマッチングを行い、各画素の移動量を計算し、移動量画像を生成する。そして、視差画像と、移動量画像とから、カメラＣから所定の距離範囲内で、移動量の多い画素がある場合に、人物があると推定し、その所定距離範囲のみの視差画像として、移動体を抽出し、顔認識部１１ｃへ移動体の画像を出力する。
【００３８】
顔認識部１１ｃは、抽出した移動体から肌色の部分を抽出して、その大きさ、形状などから顔の位置を認識する。なお、同様にして、肌色の領域と、大きさ、形状などから手の位置も認識される。
認識された顔の位置は、ロボットＲが移動するときの情報として、また、その人とのコミュニケーションを取るため、主制御部４０に出力される。
【００３９】
［音声入力部］
音声入力部ＭＣは、ロボットＲの周囲の音を電気信号（音響信号）として取り出すマイクロホンと、当該音響信号をデジタル化して音響信号データ（音声データを含む）を生成するアナログ−デジタル変換器（Ａ／Ｄ変換器）を含み、音声処理部２０（後記する音声データ処理部２２および推定音源分離部２４）に出力する。
図３（ａ）は、頭部Ｒ１の正面図であり、図３（ｂ）は、頭部Ｒ１のＡ−Ａ断面図である。そして、図３（ｂ）に、頭部Ｒ１の内部に配設された音声入力部ＭＣを示す。
音声入力部ＭＣ１，ＭＣ２，・・・，ＭＣ８は、それぞれ支持軸Ｏを中心に顔面が向いている方向（Ｈ軸）から配設角度∠Ｈmc（∠Ｈmc1（＝Ｈ軸），∠Ｈmc2，∠Ｈmc3，・・・）だけ離間して、頭部Ｒ１外部からの音を集音するように配設される。
【００４０】
ここで、配設角度∠Ｈmcは、３６０度全方向からの音声を集音できるように音声入力部ＭＣを配設できる角度であればよいが、図３（ｂ）に示すように、音声入力部ＭＣが８個ある場合、等角度（４５度）であることが望ましい。
また、後記する除外角度範囲ｒの範囲外に、音声入力部ＭＣが随時２台以上存在するように、音声入力部ＭＣの数および配設角度∠Ｈmcは設定される。ここで、本実施形態では、複数の方向から入力された音響信号データに基づき、音源方向を求めるため、除外角度範囲ｒの範囲外に２台存在する必要がある。
【００４１】
［スピーカ］
スピーカＳは、音声処理部２０（後記する音声合成部２１）により生成された音声データに基づき、音声を出力する。
【００４２】
［音声処理部］
音声処理部２０は、音声合成部２１と、音声データ処理部２２と、音源方向推定部２３と、推定音源分離部２４と、音声認識部２５と、音源定位部２６とを有する。
音声合成部２１は、主制御部４０により決定された発話行動の指令に基づき、文字情報（テキストデータ）から発話音声データを生成し、スピーカＳに音声を出力する部分である。発話音声データの生成には、予め記憶部３０に記憶されている文字情報（テキストデータ）と、その文字情報が読み上げられた音声データとの対応関係を利用する。なお、この文字情報と音声データとは、管理用コンピュータ３から取得され、記憶部３０に保存される。
【００４３】
本実施形態の音源方向推定処理に係る処理は、音声処理部２０が備える音声データ処理部２２と、音源方向推定部２３と、推定音源分離部２４と、音声認識部２５と、音源定位部２６とにより行われる。これら構成部により行われる音源方向推定処理の詳細な説明は後記するため、ここでは、音声処理部２０が行う音源方向推定処理について簡単に説明する。
音声処理部２０は、音声入力部ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・）から入力された音響信号データに信号分解アルゴリズム（例えば、ＭＵＳＩＣ（MUltiple SIgnal Classification）法）を用いて、頭部の向きを基準とした３６０度全方向からの音圧値を示す全方向音圧成分データ（例えば、ＭＵＳＩＣスペクトラム）を生成する。そして、音声処理部２０は、その全方向音圧成分データから音源方向を推定する。次に、音声処理部２０は、推定した音源方向から入力される音響信号データを、音声入力部ＭＣから入力された音響信号データから分離抽出して、分離抽出した音響信号データに対して音声認識を行う。
【００４４】
［記憶部］
記憶部３０は、例えば、一般的なハードディスクなどから構成され、管理用コンピュータ３から送信された音声合成部２１が発話音声データを生成する際に用いる文字情報および音声データ、後記する対象検知部８０が用いる必要な情報（人物の氏名、ローカル地図データ、会話用データなど）、ロボットＲが識別した人物の識別番号や位置情報の他に、本実施形態の音源方向推定処理に係るデータを記憶するものである。
この音源方向推定処理に係るデータは、音声入力角度ＤＢ３１と、除外角度範囲ＤＢ３２と、フレーズＤＢ３３（フレーズ記憶部）と、伝達関数ＤＢ３４とに記憶されており、これらについての詳細な説明は後記する。
【００４５】
［主制御部］
主制御部４０は、画像処理部１０、音声処理部２０、記憶部３０、自律移動制御部５０、無線通信部６０、および対象検知部８０を統括制御するものである。
【００４６】
［自律移動制御部］
自律移動制御部（自律移動制御手段）５０は、主制御部４０の指示に従い頭部Ｒ１、腕部Ｒ２、脚部Ｒ３を駆動する。
また、ジャイロセンサＳＲ１、およびＧＰＳ受信器ＳＲ２が検出したデータは、主制御部４０に出力され、ロボットＲの行動を決定するために利用される。
【００４７】
［無線通信部］
無線通信部６０は、管理用コンピュータ３とデータの送受信を行う通信装置である。無線通信部６０は、公衆回線通信装置６１ａおよび無線通信装置６１ｂを有する。
公衆回線通信装置６１ａは、携帯電話回線やＰＨＳ（Personal Handyphone System）回線などの公衆回線を利用した無線通信手段である。一方、無線通信装置６１ｂは、IEEE802.11b規格に準拠するワイヤレスＬＡＮなどの、近距離無線通信による無線通信手段である。
無線通信部６０は、管理用コンピュータ３からの接続要求に従い、公衆回線通信装置６１ａまたは無線通信装置６１ｂを選択して管理用コンピュータ３とデータ通信を行う。
【００４８】
［バッテリ］
バッテリ７０は、ロボットＲの各部（頭部Ｒ１、腕部Ｒ２、脚部Ｒ３、および胴部Ｒ４）の動作や、ファンＦの回転駆動、背面格納部Ｒ５に格納された制御装置の処理などに必要な電力の供給源である。このバッテリ７０は、充填式の構成をもつものが使用される。
【００４９】
［対象検知部］
対象検知部８０は、ロボットＲの周囲にタグＴを備える人物が存在するか否かを検知するものである。例えば、ＬＥＤから構成され、ロボットＲの頭部Ｒ１外周に沿って前後左右などに配設される複数の発光部を備える（図示は省略する）。
対象検知部８０は、発光部から、各発光部を識別する発光部ＩＤを示す信号を含む赤外光をそれぞれ発信すると共に、この赤外光を受信したタグＴから受信報告信号を受信する。いずれかの赤外光を受信したタグＴは、その赤外光に含まれる発光部ＩＤに基づいて、受信報告信号を生成するので、ロボットＲは、この受信報告信号に含まれる発光部ＩＤを参照することにより、当該ロボットＲから見てどの方向にタグＴが存在するかを特定することができる。また、対象検知部８０は、タグＴから取得した受信報告信号の電波強度に基づいて、タグＴまでの距離を特定する機能を有する。したがって、対象検知部８０は、受信報告信号に基づいて、タグＴの位置（距離および方向）を、人物の位置として特定することができる。
さらに、対象検知部８０は、発光部から赤外光を発光するだけではなく、ロボットＩＤを示す信号を含む電波を図示しないアンテナから発信する。これにより、この電波を受信したタグＴは、赤外光を発信したロボットＲを正しく特定することができる。なお、対象検知部８０およびタグＴについての詳細は、例えば、特開２００６−１９２５６３号公報に開示されている。
【００５０】
次に、本実施形態に係るロボットＲの音源方向推定処理に係る構成について、図４を参照して説明する。
［記憶部の構成］
図４に示すように、記憶部３０は、音声入力角度ＤＢ３１と、除外角度範囲ＤＢ３２と、フレーズＤＢ３３とを含んで構成される。
【００５１】
（音声入力角度ＤＢ）
音声入力角度ＤＢ３１は、音声入力部ＭＣの識別番号と、その音声入力部ＭＣが顔面が向いている方向（Ｈ軸）からなす配設角度∠Ｈmc（∠Ｈmc1，∠Ｈmc2，∠Ｈmc3，・・・）とを対応付けて記憶するデータベースである。
図５は、図３（ｂ）に示すように、音声入力部ＭＣが頭部Ｒ１の内部に配設されたときの音声入力角度ＤＢの一例を示す図である。音声入力角度ＤＢには、音声入力部ＭＣ１に相当する識別番号“ＭＣ１”に、配設角度（∠Ｈmc1）＝０度が記録されており、音声入力部ＭＣ２に相当する識別番号“ＭＣ２”に、配設角度（∠Ｈmc2）＝４５度が記録されている。
【００５２】
（伝達関数ＤＢ）
伝達関数ＤＢ３４は、後記する音声データ処理部２２にて、ＭＵＳＩＣスペクトラムＰavg(θ)を生成するために、予めシミュレーションして取得した、頭部の向きを基準としたθ方向に音源がある場合の伝達関数ベクトルｖ(θ)が記録されている。この伝達関数ベクトルｖ(θ)は、シミュレーション時に行った方向の数だけ記録されている。伝達関数ベクトルｖ(θ)についての詳細は、後記する音声データ処理部２２の説明にて記載する。
本実施形態では、３６０度全方向を５度で等分した７２方向に音源がある場合のシミュレーションを予め行っておき、７２個の伝達関数ベクトルｖ(θ)（ｖ1，ｖ2，・・・，ｖ72）を算出しておく。
【００５３】
（除外角度範囲ＤＢ）
除外角度範囲ＤＢ３２は、ロボットＲの管理者により端末５から入力され、管理用コンピュータ３を介して、ロボットＲに設定される除外角度範囲ｒを記憶する記憶手段である。
除外角度範囲ｒは、支持軸Ｏを中心に胴部Ｒ４の正面が向いている方向（Ｂ軸，図７参照）からなす、音源として推定しない方向の範囲である。例えば、除外角度範囲ｒとして、∠Ｂ＝＋１２０〜＋１８０〜＋２４０度で記憶されている。
【００５４】
この除外角度範囲ｒは、音声入力部ＭＣとロボットＲの動作環境とに基づき予め設定される範囲である。例えば、ロボットＲの背面格納部Ｒ５に格納されたファンＦ（ノイズ発生源）から出力されるノイズ音を除去するために、予め、音声入力部ＭＣから入力される、ファンＦによるノイズ音の音響信号データに対して、音声データ処理部２２に全方向音圧成分データ（例えば、ＭＵＳＩＣスペクトラム）を生成させる。この全方向音圧成分データからノイズ音の音圧成分を抽出して、ノイズ音が与える影響の範囲を考慮する。
ここで、ノイズ音が与える影響とは、後記する音声認識部２５が、ファンＦ（ノイズ発生源）以外からの音声を、ノイズ音により音声として認識しないことである。
【００５５】
（フレーズＤＢ）
フレーズＤＢ３３は、フレーズパターン３３１と、方向角度値パターン３３２と、フレーズ入力方向適合度３３３（音声入力方向適合度）とを対応付けて記憶するデータベースである。
図６は、フレーズＤＢの一例を示す図である。
フレーズパターン３３１は、人間が発声するフレーズであり、特に、人（発話者Ｙ，図１参照）が他人（ロボットＲ，図１参照）を自分に振り向かせるために、呼びかけるときに発するフレーズが複数記憶されている。例えば、「こっち向いて」や「こっち見て」、「おーい」、「ごめんください」などである。
【００５６】
方向角度値パターン３３２は、顔面が向いている方向（Ｈ軸）（図３（ｂ）参照）からなす角度であり、３６０度全方向の方向角度値が記憶されている。
図６において、方向角度値は、２０度毎の値としているが、１度毎の値であってもよい。
【００５７】
フレーズ入力方向適合度３３３（音声入力方向適合度）は、人間が発声するフレーズが、ロボットＲに対してどの角度から発話（入力）されやすいかを示す値であり、つまり、フレーズと方向角度値との関係の正しさ（フレーズと方向角度値との関係が正しい確率）を示す値である。
例えば、「こっち向いて」というフレーズは、ロボットＲの顔面が向いている方向（Ｈ軸上、方向角度値＝０度）から言われるフレーズではなく、ロボットＲの顔面が向いていない方向（横や背面）から言われるフレーズであることに着目して、フレーズ入力方向適合度３３３は、ロボットＲの管理者により予め設定された値である。
【００５８】
図６においてフレーズが「こっち向いて」の場合は、方向角度値が「０度」におけるフレーズ入力方向適合度３３３の値は低く設定され（＝０．００）、一方、方向角度値が「１８０度」におけるフレーズ入力方向適合度３３３の値は高く設定されている（＝０．１０）。
また、フレーズが「あなたのお名前は？」の場合は、ロボットＲの顔面が向いている方向（Ｈ軸上、方向角度値＝０度）から言われるフレーズである。そのため、方向角度値が「０度」におけるフレーズ入力方向適合度３３３の値は高く設定され（＝０．３０）、一方、方向角度値が「１８０度」におけるフレーズ入力方向適合度３３３の値は低く設定されている（＝０．００）。
ここで、図６のフレーズＤＢ３３は、フレーズそれぞれで、全方向角度値のフレーズ入力方向適合度３３３の値の合計が１となるように、方向角度値ごとに、フレーズ入力方向適合度３３３の値が設定されている。
【００５９】
［音声処理部の構成］
図４に示すように、音声処理部２０は、音声データ処理部２２と、音源方向推定部２３と、推定音源分離部２４と、音声認識部２５と、音源定位部２６とを含んで構成される。
【００６０】
（音声データ処理部）
本実施形態において、音声データ処理部２２は、信号分解アルゴリズムとしてＭＵＳＩＣ法を用いる。音声データ処理部２２は、音声入力部ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・）から入力された音響信号データからＭＵＳＩＣ法を用いて、雑音信号の空間を推定して、予め準備しておいた７２方向の伝達関数ベクトルｖ(θ)それぞれを、その雑音信号の空間に射影することにより、ＭＵＳＩＣスペクトラムＰavg(θ)（全方向音圧成分データ）を生成する処理部である。
【００６１】
伝達関数ベクトルｖ(θ)は、予めシミュレーションして取得したベクトル値である。
シミュレーションは、頭部の向きを基準としたθ方向の音源からインパルスを出力する。そのインパルスが入力された各音声入力部ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・）が出力するインパルス応答を音声データ処理部２２が取得する。そして、音声データ処理部２２は、そのインパルス応答に離散フーリエ変換を施し、周波数領域に変換することで、伝達関数ベクトルｖ(θ)が得られる。
【００６２】
シミュレーションは次のように行う。頭部の向きを基準とした０度の方向（θ＝０）に位置する音源に対応する伝達関数ベクトルｖ1を算出する場合、０度の方向からインパルスを出力する。音声データ処理部２２は、各音声入力部ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・）から取得したインパルス応答に離散フーリエ変換を施し、周波数領域に変換することで、伝達関数ベクトルｖ1を算出することができる。
本実施形態では、３６０度全方向を５度で等分した７２方向に音源がある場合のシミュレーションを予め行っておき、７２個の伝達関数ベクトルｖ(θ)（ｖ1，ｖ2，・・・，ｖ72）を算出しておく。
【００６３】
（ＭＵＳＩＣスペクトラム算出処理）
そして音声データ処理部２２は、ＭＵＳＩＣスペクトラム算出処理を行う。
まず、音声データ処理部２２は、音声入力部ＭＣから音響信号データを取得し、そして、記憶部３０の伝達関数ＤＢ３４から７２個の伝達関数ベクトルｖ(θ)（ｖ1，ｖ2，ｖ3，・・・，ｖ72）を取得する。
そして、音声データ処理部２２は、式（１）を用いてＭＵＳＩＣスペクトラムＰ(θ)を計算する。ｅは固有ベクトルであり、音響信号データから算出される値である。算出手段は後記する。
ここで、Ｍは音声入力部ＭＣの数である。また、Ｎは音源として認識可能な最大数を示し、所定の値に設定することができる。本実施形態では、「Ｎ＝３」と設定しておく。Ｔは転置行列であることを示す。
【００６４】
【数１】
【００６５】
（固有ベクトルｅの算出）
ここで、固有ベクトルｅは次のようにして、音響信号データから算出する。
まず、音声データ処理部２２は、音響信号データに離散フーリエ変換を施して、周波数領域に変換し、スペクトルｘを算出する。
そして、相関行列Ｒxxは、次の期待値Ｅで示す式（２）で示すことができる。
【００６６】
【数２】
【００６７】
この相関行列Ｒxxが式（３）を満たすような固有値λと、固有ベクトルｅとを算出する。これにより、雑音信号の空間への射影行列である固有ベクトルｅを取得することができる。
【００６８】
【数３】
【００６９】
音声データ処理部２２は、式（３）を満たすすべての固有値λと固有ベクトルｅとの組を保持する。このとき保持した組の数をＫとする。
そして、音声データ処理部２２は、固有値λが一番大きい組からＮ＋１〜Ｋ番目の固有値λと固有ベクトルｅとの組を取得する。このＫ−Ｎ個の固有ベクトルｅを用いて、式（１）に示すＭＵＳＩＣスペクトラムＰ(θ)を算出する。
【００７０】
ここで、通常、式（３）を満たす組は、音声入力部ＭＣの数（Ｍ）だけ存在する。そのため、音源として認識可能な最大数として設定されるＮの値は、Ｎ＜Ｍであることが好ましい。
【００７１】
以上のようにして、音声データ処理部２２は、ＭＵＳＩＣスペクトラム算出処理を行い、時刻ｔにおける、周波数ωのＭＵＳＩＣスペクトラムＰ(θ)を取得することができる。
そして、音声データ処理部２２は、周波数毎にＭＵＳＩＣスペクトラムＰ(θ)の算出処理を行い、所定の周波数帯域のＭＵＳＩＣスペクトラムＰ(θ)を取得する。
ここで、所定の周波数帯域とは、発話者が発する音声の音圧が大きい周波数帯域であり、かつ雑音の音圧が小さい周波数帯域が望ましく、例えば、0.5〜2.8kHzであればよい。
【００７２】
そして、音声データ処理部２２は、各周波数帯域のＭＵＳＩＣスペクトラムＰ(θ)を広帯域信号に拡張する。
音声データ処理部２２は、音響信号データからＳ／Ｎ比がよい（ノイズが少ない）周波数帯域ωを抽出し、広帯域信号へと拡張したときに、周波数帯域ωのＭＵＳＩＣスペクトラムＰ(θ)が強く反映されるように、周波数帯域ωの音響信号データから式（３）で得た一番大きい固有値λmaxを用いて、式（４）に示すように、ＭＵＳＩＣスペクトラムＰ(θ)に重み付けをして、総和を計算する。これにより、広帯域のＭＵＳＩＣスペクトラムＰavg(θ)を取得する。
【００７３】
【数４】
Ω：周波数帯域の集合、|Ω|：集合Ωの要素数
【００７４】
以上により、音声データ処理部２２は、ＭＵＳＩＣスペクトラムＰavg(θ)（全方向音圧成分データ）を生成することができる。
【００７５】
（音源方向推定部）
音源方向推定部２３は、フィルタ部２３１と、角度抽出部２３２とを含んで構成される。
フィルタ部２３１は、音声データ処理部２２からＭＵＳＩＣスペクトラムＰavg(θ)（全方向音圧成分データ）を取得して、除外角度範囲ＤＢ３２から除外角度範囲ｒを取得して、自律移動制御部５０から頭回動部Ｒ１１の回動角θを取得する。
そして、フィルタ部２３１は、Ｈ軸が基準となるＭＵＳＩＣスペクトラムＰavg(θ)から、Ｂ軸を基準とした回動角θを考慮して、Ｂ軸を基準とした除外角度範囲ｒに該当する範囲内のデータを除去して、推定範囲スペクトラム（有効方向音圧成分データ）を抽出する。
【００７６】
角度抽出部２３２は、推定範囲スペクトラムからすべてのピーク音圧値（Peak1，Peak2，・・・）と、それらピーク音圧値の角度（推定音源角度）とを抽出する。この推定音源角度が成す方向が推定音源方向である。ここで、本実施形態における推定音源角度は、Ｈ軸を基準とした角度∠φH（∠φH1，∠φH2，・・・）とする。
ここで、ピーク音圧値について説明する。推定範囲スペクトラムにおいて、角度θの音圧値が、直前の角度の音圧値および直後の角度の音圧値よりも大きな値である場合に、その角度θの音圧値がピーク音圧値である。また、その角度θが推定音源角度∠φHである。
そして、角度抽出部２３２は、抽出したすべてのピーク音圧値の推定音源角度∠φH（∠φH1，∠φH2，・・・）を推定音源分離部２４に出力する。
この推定音源角度∠φHは、頭部Ｒ１の正面（顔面）を推定音源方向に向けるまでに必要な回動角度でもある。
【００７７】
ここで、音声入力部ＭＣから入力された音響信号データから音声データ処理部２２が生成したＭＵＳＩＣスペクトラムＰavg(θ)（全方向音圧成分データ）を取得して、音源方向推定部２３（フィルタ部２３１および角度抽出部２３２）が、音源方向を推定するまでの処理について、図７と図８とを用いて説明する。図７は、Ｂ軸と、Ｈ軸と、除外角度範囲ｒとの一例を示す図であり、図８は、音声データ処理部２２にて生成されたＭＵＳＩＣスペクトラムの一例を示す図である。
【００７８】
この図７は、頭部Ｒ１の顔面が向いている方向（Ｈ軸）が、胴部Ｒ４の正面が向いている方向（Ｂ軸）から右に（θ＝）３０度の方向である場合の図である。このとき、Ｈ軸（∠Ｈ＝０度）は、Ｂ軸を基準（０度）として換算すると、∠Ｂ＝＋３０度で示される。
そして、背面格納部Ｒ５に格納されたファンＦ（ノイズ発生源）から出力されるノイズ音を除去するために、除外角度範囲ｒ（ｒ＝１２０度）は、∠Ｂ＝＋１２０〜＋１８０〜＋２４０度の範囲で記憶されている。これは、Ｈ軸で換算すると、∠Ｈ＝＋８０〜＋１４０〜＋２００度の範囲である。
【００７９】
図８は、図７で示す状態であるときに、音声データ処理部２２が、頭部Ｒ１の音声入力部ＭＣ（ＭＣ１〜ＭＣ８）に入力された音響信号データにＭＵＳＩＣ法を用いて生成した３６０度全方向からの音圧値（スペクトラム強度）を示すＭＵＳＩＣスペクトラムＰavg(θ)（全方向音圧成分データ）である。そして、縦軸は、スペクトル強度を示す音圧［ｄＢ］、横軸は、Ｈ軸を基準とした方向を示す角度［度］である。
【００８０】
フィルタ部２３１は、このＭＵＳＩＣスペクトラムＰavg(θ)において除外角度範囲ｒに該当する範囲のデータを除去して、スペクトラム（推定範囲スペクトラム）を取得する。図８における推定範囲スペクトラムは、除外角度範囲ｒ（∠Ｈ＝＋８０〜＋１４０〜＋２００）以外の∠Ｈ＝−１６０〜±０〜＋８０度で示されるスペクトラムデータである（図８で太線で示す）。
【００８１】
角度抽出部２３２は、この推定範囲スペクトラムから、ピーク音圧値Peak1の推定音源角度∠φH1（∠φH）（∠Ｈ＝−７０度）と、ピーク音圧値Peak2の推定音源角度∠φH2（∠φH）（∠Ｈ＝＋１０度）とを抽出する。そして、推定音源角度∠φH1および∠φH2を、推定音源分離部２４に出力する。
【００８２】
以上のように、フィルタ部２３１と角度抽出部２３２との処理により、ＭＵＳＩＣスペクトラムにおける最大音圧値（ＭＡＸ）（図８参照）は、除外角度範囲ｒ（∠Ｈ＝＋８０〜＋１４０〜＋２００）内であるために、削除される。
【００８３】
（推定音源分離部）
推定音源分離部２４は、角度抽出部２３２から推定音源方向を示すすべての推定音源角度∠φH（∠φH1，∠φH2，・・・）を取得し、音声入力部ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・）から音響信号データを取得する。そして、推定音源分離部２４は、取得した複数の音響信号データから得られる３６０度全方向からの音響信号データのうち、各推定音源角度∠φHの方向から入力された音響信号データを分離抽出する。最後に、推定音源分離部２４は、すべての推定音源角度∠φH（∠φH1，∠φH2，・・・）とともに、それぞれの角度方向に基づき分離抽出した推定音源方向音声データを音声認識部２５に出力する。
【００８４】
ここで、推定音源分離部２４が行う複数の音声入力部ＭＣから入力された音響信号データから、特定の音響信号データを分離抽出する処理については、特開２００８−３０６７１２号公報などに開示された公知の技術を利用した処理である。
当該処理について、簡単に記載する。
【００８５】
複数の音声入力部ＭＣそれぞれには、複数の音源それぞれから個別の音源信号が重畳された音声信号が入力される。推定音源分離部２４は、それら音声入力部ＭＣから音響信号データを取得する。そして、推定音源分離部２４は、ブラインド音源分離法（ＢＳＳ：Blind Source Separation）を用いて、音響信号データそれぞれから、音源それぞれからの音源信号（音響信号データ）を分離する。そして、推定音源分離部２４は、推定音源角度∠φHの方向から入力された音響信号データ（推定音源方向音声データ）を抽出する。
ＢＳＳとして、ＤＳＳ（Decorrelation based Source Separation）や、ＩＣＡ（Independent Component Analysis）、ＨＤＳＳ（Higher-order DSS）に基づく音源分離法や、これらの手法それぞれに幾何的情報を加えたＧＳＳ（Geometric constrained Source Separation）や、ＧＩＣＡ（Geometric constrained ICA）、ＧＨＤＳＳ（Geometric constrained HDSS）といった音源分離法を用いてもよい。
【００８６】
（音声認識部）
音声認識部２５は、推定音源分離部２４から、すべての推定音源角度∠φH（∠φH1，∠φH2，・・・）と、それぞれの角度方向の推定音源方向音声データとを取得する。
音声認識部２５は、推定音源方向音声データそれぞれに対して音声認識を行い、文字情報（テキストデータ）を生成する機能を有し、１つの推定音源方向音声データから、複数の仮説フレーズを生成する。この仮説フレーズはテキストデータで生成される。
【００８７】
さらに、音声認識部２５は、仮説フレーズの正しさ（仮説フレーズが正しい確率）を示す音声認識尤度を算出する機能を有する。この音声認識尤度は、仮説フレーズの内容や前後の文章内容（前後の仮説フレーズ）などから、仮説フレーズが正しい文章内容であるかを示すものである。
＜音声認識部２５の音声認識尤度算出処理＞
音声認識部２５にて行われる音声認識尤度算出処理について説明する。
一般的な音声認識における音声認識尤度（Ｐ（Ｗ｜Ｘ））は、音声信号をＸ、フレーズ（単語の列）をＷとして、以下の式（５）で示すことができる。
【００８８】
【数５】
Ｐ（Ｗ｜Ｘ）：音声認識尤度、Ｐ（Ｘ｜Ｗ）：音響尤度、Ｐ（Ｗ）：言語確率
【００８９】
ここで、言語確率Ｐ（Ｗ）を算出するとき、文法を用いてもよいし、統計言語モデルを用いてもよい。
文法を用いて言語確率Ｐ（Ｗ）を算出する場合には、フレーズＷが文法に定義されていればＰ（Ｗ）＝１とし、定義されていなければＰ（Ｗ）＝０とする。そして、確率の定義に従い、最後にはＰ（Ｗ）の合計が１になるように正規化する。
一方、統計言語モデルを用いて言語確率Ｐ（Ｗ）を算出する場合には、単語と単語との繋がりやすさを大量の文から学習したＮ−ｇｒａｍが用いられる。一般的にＮ−ｇｒａｍとは、Ｎ個の単語の繋がりやすさを学習させたものである。
【００９０】
ここでは、統計言語モデルを用い、多くの場合に利用されているＮ＝３の場合について説明する。一般的に、３−ｇｒａｍの統計言語モデルを用いて学習する際には、同時に２−ｇｒａｍも学習している。
例えば、「はしをわたって（橋を渡って）」の場合、「橋｜を｜渡っ｜て」といった４つの単語に分解して考えます。そして、２つの単語「橋｜を」の次に、「渡っ」という単語がどれだけ現れやすいかという確率Ｐ（渡っ｜橋，を）を学習してデータベース（３−ｇｒａｍのデータベース、２−ｇｒａｍのデータベース）として持っている。
このように、「橋｜を｜渡っ｜て」というフレーズＷが現れる確率Ｐ（橋｜を｜渡っ｜て）は、以下の式（６）で示すことができる。
【００９１】
【数６】
【００９２】
右辺は３−ｇｒａｍおよび２−ｇｒａｍのデータベースから得られるもので、左辺が言語確率Ｐ（Ｗ）である。
以上により、音声認識部２５は、「橋を渡って」とする仮説フレーズの音声認識尤度（Ｐ（Ｗ｜Ｘ））は大きい値で算出され（仮説フレーズが正しい確率が高い）、一方、「箸を渡って」とする仮説フレーズの音声認識尤度（Ｐ（Ｗ｜Ｘ））は小さい値で算出される（仮説フレーズが正しい確率が低い）。
以上のように、音声認識部２５にて音声認識尤度算出処理が行われ、音声認識尤度（Ｐ（Ｗ｜Ｘ））が算出される。
【００９３】
そして、音声認識部２５は、推定音源角度∠φHで示される角度方向の推定音源方向データから生成したすべての仮説フレーズと、各仮説フレーズの音声認識尤度（Ｐ（Ｗ｜Ｘ））とを、推定音源角度∠φHと対応付けて、音源定位部２６（フレーズ確信度算出部２６１）に出力する。
なお、音声データとテキストデータとの対応関係は、記憶部３０に予め記憶されている。
【００９４】
（音源定位部）
音源定位部２６は、フレーズ確信度算出部２６１と、フレーズ決定部２６２とを含んで構成される。
（フレーズ確信度算出部）
フレーズ確信度算出部２６１は、音声認識部２５からすべての推定音源角度∠φH（∠φH1，∠φH2，・・・）と、推定音源角度∠φHそれぞれと対応付けられた仮説フレーズのすべてと、各仮説フレーズの音声認識尤度（Ｐ（Ｗ｜Ｘ））とを取得する。
そして、フレーズ確信度算出部２６１は、すべての推定音源角度∠φHから１つの推定音源角度∠φHを抽出し、さらに、その推定音源角度∠φHと対応付けられたすべての仮説フレーズから１つの仮説フレーズを抽出する（以下、抽出仮説フレーズとする）。
次に、フレーズ確信度算出部２６１は、フレーズＤＢ３３（図６）のフレーズパターン３３１から、抽出仮説フレーズと一致するフレーズを抽出する。次に、その抽出したフレーズと対応付けられた方向角度値パターン３３２から、推定音源角度∠φHと一致する方向角度値を抽出する。最後に、その抽出した方向角度値と対応付けられたフレーズ入力方向適合度３３３（フレーズと方向角度値との関係が正しい確率）を抽出する。
【００９５】
次に、フレーズ確信度算出部２６１は、フレーズの音源方向とフレーズの音声認識結果との関係を示すフレーズ確信度を算出する。このフレーズ確信度の値が大きいほど、抽出仮説フレーズ（音声認識部２５が音声認識した仮説フレーズ）の音声認識結果が正しいという確率が高いことを示す。
＜フレーズ確信度算出部２６１のフレーズ確信度算出処理＞
フレーズ確信度算出部２６１にて行われるフレーズ確信度算出処理について説明する。
前記した、仮説フレーズの正しさ（仮説フレーズが正しい確率）を示す音声認識尤度を算出するための式（５）を、フレーズ入力方向適合度３３３を用いて拡張することで、フレーズ確信度Ｐ（Ｗ｜Ｘ，ｄ）は、以下の式（７）で示すことができる。ここで、音声信号をＸ、フレーズ（単語の列）をＷ、方向をｄとする。
【００９６】
【数７】
Ｐ（Ｗ｜Ｘ）：音声認識尤度、Ｐ（Ｘ｜Ｗ）：音響尤度、Ｐ（Ｗ）：言語確率
Ｐ（Ｗ｜Ｘ，ｄ）：フレーズ確信度、Ｐ（ｄ｜Ｗ）：フレーズ入力方向適合度
【００９７】
以上のように、フレーズ確信度算出処理を行うことで、フレーズ確信度算出部２６１は、フレーズ確信度（Ｐ（Ｗ｜Ｘ，ｄ））を、フレーズＤＢ３３から取得したフレーズ入力方向適合度３３３（Ｐ（ｄ｜Ｗ））に、音声認識尤度（Ｐ（Ｗ｜Ｘ））を乗算することで算出できる。
【００９８】
ここで、音響尤度Ｐ（Ｘ｜Ｗ）は、入力した音声信号Ｘと音響モデルと呼ばれるデータベースから計算される尤度であり、入力音声信号ＸがフレーズＷであると仮定すると、入力音声信号ＸがどれだけそのフレーズＷらしいかを表す。この音響モデルには、隠れマルコフモデル（Hidden Markov Model）が用いられることが一般的で、フレーズＷに対する入力音声信号Ｘの音響尤度を計算するアルゴリズムとして、ビタビ（Viterbi）アルゴリズムなどがある。
【００９９】
そして、フレーズ確信度算出部２６１は、推定音源角度∠φHと、仮説フレーズと、算出したフレーズ確信度（Ｐ（Ｗ｜Ｘ，ｄ））との３つの値を対応付けてフレーズ決定部２６２に出力する。
この処理を、フレーズ確信度算出部２６１は、音声認識部２５から取得したすべての推定音源角度∠φHに対して行い、各推定音源角度∠φHのすべての仮説フレーズのフレーズ確信度（Ｐ（Ｗ｜Ｘ，ｄ））を算出し、フレーズ決定部２６２に出力する。
【０１００】
（フレーズ決定部）
フレーズ決定部２６２は、フレーズ確信度算出部２６１から取得したすべての推定音源角度∠φHに対して以下の処理を行う。
まず、フレーズ決定部２６２は、１つの推定音源角度∠φHに対応付けられたすべての仮説フレーズのフレーズ確信度を取得する。そして、フレーズ決定部２６２は、取得したフレーズ確信度Ｐ（Ｗ｜Ｘ，ｄ）から最大値のフレーズ確信度を抽出し、そのフレーズ確信度が最大値の仮説フレーズを、音声認識したフレーズと決定する。そして、このフレーズ確信度が最大値の仮説フレーズＷmaxが、ロボットＲの正面から推定音源角度∠φHを成す方向に位置する音源（発話者Ｙ，図１参照）から発話された発話フレーズであるとする。
そして、主制御部４０に、当該発話フレーズと、推定音源角度∠φHとを出力する。
ここで、フレーズ確信度が最大値の仮説フレーズＷmaxは、以下の式（８）で示すことができる。
【０１０１】
【数８】
Ｘ：音声認識したフレーズ、Ｗ：仮説フレーズ
【０１０２】
以上の処理を、フレーズ決定部２６２は、フレーズ確信度算出部２６１から取得したすべての推定音源角度∠φHに対して行い、各推定音源角度∠φHの発話フレーズを主制御部４０に出力する。
【０１０３】
本実施の形態に係るロボットＲによれば、以下に示す動作ができるようになる。
各推定音源角度∠φHの発話フレーズを取得した主制御部４０は、記憶部３０に記憶された文字情報を参照して、発話フレーズの内容を取得する。ここで、発話フレーズが相手を呼びかける内容の文章であったときに、主制御部４０は、自律移動制御部５０へ、頭部Ｒ１の正面（顔面）が推定音源角度∠φHに至るまで、頭回動部Ｒ１１を回動させる指示を出力させることができる。これにより、発話者が「おーい」と呼びかけることで、ロボットＲはその発話者がいる方向へ顔面を向けることができる。
また、各推定音源角度∠φHの発話フレーズを取得した主制御部４０が、角度抽出部２３２が推定範囲スペクトラムから取得した、それら推定音源角度∠φHの角度のピーク音圧値を取得する。そして、主制御部４０は、自律移動制御部５０へ、頭部Ｒ１の正面（顔面）が、ピーク音圧値が最大となる推定音源角度∠φHに至るまで、頭回動部Ｒ１１を回動させる指示を出力させてもよい。これにより、ロボットＲは、音圧が最大の発話者がいる方向へ顔面を向けることができる。そのため、近くで話している発話者よりも大きな声で呼びかけた発話者がいる方向へ顔面を向けることができる。
【０１０４】
［ロボットの音源方向推定処理］
次に、図９〜図１１のフローチャートを参照して、ロボットの音源方向推定処理について説明する（適宜、図１ないし図８を参照）。
まず、ロボットＲの音声入力部ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・）に、ユーザが発話した音声が入力され（ステップＳ１０１）、音声データ処理部２２に音響信号データが入力される（ステップＳ１０２）。
次に、音声データ処理部２２は、記憶部３０の音声入力角度ＤＢ３１から、各音声入力部ＭＣの配設角度∠Ｈmc（∠Ｈmc1，∠Ｈmc2，∠Ｈmc3，・・・）を取得し、伝達関数ＤＢ３４から、伝達関数ベクトルｖ(θ)を取得する（ステップＳ１０３）。
そして、音声データ処理部２２は、ＭＵＳＩＣ法を用いて、各音声入力部ＭＣから入力された音響信号データと、配設角度∠Ｈmcと、伝達関数ベクトルｖ(θ)とから、ＭＵＳＩＣスペクトラムを生成する（ステップＳ１０４）。
【０１０５】
フィルタ部２３１は、音声データ処理部２２からＭＵＳＩＣスペクトラム（全方向音圧成分データ）を取得して、除外角度範囲ＤＢ３２から除外角度範囲ｒを取得して、自律移動制御部５０から頭回動部Ｒ１１の回動角θを取得する（ステップＳ１０５）。
そして、フィルタ部２３１は、ＭＵＳＩＣスペクトラムから、回動角θを考慮して、除外角度範囲ｒに該当する範囲内のデータを除去して、推定範囲スペクトラム（有効方向音圧成分データ）を抽出する（ステップＳ１０６）。
【０１０６】
角度抽出部２３２は、推定範囲スペクトラムからすべてのピーク音圧値（Peak1，Peak2，・・・）と、それらピーク音圧値の角度（推定音源角度∠φH）とを抽出する（ステップＳ１０７）。そして、角度抽出部２３２は、抽出したすべての推定音源角度∠φH（∠φH1，∠φH2，・・・）を、推定音源分離部２４に出力する。
【０１０７】
推定音源分離部２４は、角度抽出部２３２からすべての推定音源角度∠φH（∠φH1，∠φH2，・・・）を取得し、音声入力部ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・）から入力された音響信号データを取得する（ステップＳ１０８）。そして、取得した音響信号データから、各推定音源角度∠φHの方向から入力された音響信号データを分離抽出する（ステップＳ１０９）。最後に、推定音源分離部２４は、推定音源角度∠φH（∠φH1，∠φH2，・・・）とともに、それぞれの角度方向に基づき分離抽出した推定音源方向音声データを音声認識部２５に出力する。
【０１０８】
音声認識部２５は、推定音源分離部２４からすべての推定音源角度∠φH（∠φH1，∠φH2，・・・）と、それぞれの角度方向の推定音源方向音声データを取得する（ステップＳ１１０）。
（音声認識処理）
音声認識部２５は、推定音源分離部２４から入力された推定音源方向音声データに音声認識を行って、複数の仮説フレーズを生成し（ステップＳ１１１）、所定の算出手段を用いて、仮説フレーズの正しさを示す音声認識尤度を算出する（ステップＳ１１２）。そして、音声認識部２５は、すべての推定音源角度∠φH方向の推定音源方向音声データに対して、当該音声認識処理を行う。
【０１０９】
以上の処理により、音声認識部２５は、推定音源方向音声データ毎に、その推定音源方向音声データから生成された複数の仮説フレーズと、各仮説フレーズの音声認識尤度を取得する。そして、音声認識部２５は、推定音源角度∠φHと対応付けて、その推定音源角度∠φH方向の推定音源方向音声データから生成したすべての仮説フレーズと、各仮説フレーズの音声認識尤度とを、フレーズ確信度算出部２６１に出力する。
【０１１０】
フレーズ確信度算出部２６１は、音声認識部２５からすべての推定音源角度∠φH（∠φH1，∠φH2，・・・）と、各推定音源角度∠φHに対応付けられたすべての仮説フレーズと、各仮説フレーズの音声認識尤度とを取得する（ステップＳ１１３，図１０）。
そして、フレーズ確信度算出部２６１は、取得した推定音源角度∠φH（∠φH1，∠φH2，・・・）から、１つの推定音源角度∠φHを抽出し（ステップＳ１１４）、その推定音源角度∠φHに対応付けられた複数の仮説フレーズから１つを抽出する（ステップＳ１１５）。
次に、フレーズ確信度算出部２６１は、抽出した推定音源角度∠φHと仮説フレーズとに基づき、フレーズＤＢ３３のフレーズパターン３３１から、仮説フレーズと一致するフレーズを抽出する。次に、フレーズ確信度算出部２６１は、抽出したフレーズと対応付けられた方向角度値パターン３３２から、推定音源角度∠φHと一致する方向角度値を抽出する。そして、フレーズ確信度算出部２６１は、抽出した方向角度値と対応付けられたフレーズ入力方向適合度３３３を取得する（ステップＳ１１６）。
【０１１１】
次に、フレーズ確信度算出部２６１は、フレーズＤＢ３３から取得したフレーズ入力方向適合度３３３に、音声認識部２５から取得した仮説フレーズの音声認識尤度を乗算して、仮説フレーズのフレーズ確信度を算出する（ステップＳ１１７）。そして、フレーズ確信度算出部２６１は、推定音源角度∠φHと、仮説フレーズと、算出したフレーズ確信度との３つの値を対応付けてフレーズ決定部２６２に出力する。
そして、フレーズ確信度算出部２６１は、ステップＳ１１５にて未抽出仮説フレーズがあるか否かを判定する（ステップＳ１１８）。未抽出仮説フレーズがあれば（ステップＳ１１８，Ｙｅｓ）、ステップＳ１１５に戻る。
【０１１２】
一方、未抽出仮説フレーズがなければ（ステップＳ１１８，Ｎｏ）、フレーズ確信度算出部２６１は、ステップＳ１１４にて未抽出推定音源角度があるか否かを判定する（ステップＳ１１９）。未抽出推定音源角度があれば（ステップＳ１１９，Ｙｅｓ）、ステップＳ１１４に戻る。
一方、未抽出推定音源角度がなければ（ステップＳ１１９，Ｎｏ）、フレーズ決定部２６２に処理を移す。
【０１１３】
フレーズ決定部２６２は、すべての推定音源角度∠φH（∠φH1，∠φH2，・・・）と、各推定音源角度∠φHに対応付けられたすべての仮説フレーズのフレーズ確信度を取得する（ステップＳ１２０，図１１）。
まず、フレーズ決定部２６２は、取得した推定音源角度∠φH（∠φH1，∠φH2，・・・）から、１つの推定音源角度∠φHを抽出する（ステップＳ１２１）。
そして、フレーズ決定部２６２は、抽出した推定音源角度∠φHに対応付けられたすべてのフレーズ確信度から、最大値のフレーズ確信度を抽出し（ステップＳ１２２）、その抽出したフレーズ確信度の仮説フレーズを、ロボットＲが音声認識した推定音源角度∠φHの方向からのフレーズに決定する（ステップＳ１２３）。これにより、１つの推定音源角度∠φHの方向に対して、１つのフレーズが決定する。
【０１１４】
そして、フレーズ決定部２６２は、ステップＳ１１４にて未抽出推定音源角度があるか否かを判定する（ステップＳ１２４）。未抽出推定音源角度があれば（ステップＳ１２４，Ｙｅｓ）、ステップＳ１２１に戻る。
一方、未抽出推定音源角度がなければ（ステップＳ１２４，Ｎｏ）、フレーズ決定部２６２は、これまでの処理により、決定した各推定音源角度∠φHのフレーズを、主制御部４０に出力する（ステップＳ１２５）。そして、ロボットＲは音源方向推定処理を終了する。
【０１１５】
以上、本発明の実施形態について説明したが、本発明は前記した実施形態に限定されず、適宜変更して実施することが可能である。
例えば、除外角度範囲ＤＢ３２には、除外角度範囲ｒを記憶するとしたが、３６０−ｒで算出される角度範囲を記憶してもよい。これにより、ＭＵＳＩＣスペクトラムから、有効方向音圧成分データを抽出することができる。
また、角度抽出部２３２は推定音源角度として、Ｈ軸を基準とした角度∠φHの代わりに、Ｂ軸を基準とした角度∠φBを用いてもよい。
【０１１６】
また、除外角度範囲ＤＢ３２において、除外角度範囲ｒを、音声入力部が３つであれば１２０°未満、４つであれば１８０°未満の値に設定することで、少なくとも２つの音声入力部ＭＣが除外角度範囲ｒの範囲外に位置するため、発話者Ｙ（図１参照）がいる方向（推定すべき音源方向）を推定することができる。
【０１１７】
フレーズＤＢ３３は、フレーズパターン３３１毎の、方向角度値パターン３３２とフレーズ入力方向適合度３３３とからなる２次元のヒストグラムを記憶してもよい。これにより、フレーズ確信度算出部２６１は、音声認識部２５から取得した推定音源角度∠φHに該当する方向角度値と、２次元のヒストグラムで対応付けられたフレーズ入力方向適合度３３３を取得することになる。
【０１１８】
ロボットＲは、発話者Ｙとコミュニケーションをするロボットであってもよいが、物音がする方向にカメラＣと高性能マイクロフォン（音声入力部ＭＣ）を向ける警備用のロボットであっても良い。
【符号の説明】
【０１１９】
２０ 音声処理部
２２ 音声データ処理部
２３ 音源方向推定部
２４ 推定音源分離部
２５ 音声認識部
２６ 音源定位部
３０ 記憶部
３１ 音声入力角度ＤＢ
３２ 除外角度範囲ＤＢ
３３ フレーズＤＢ
４０ 主制御部
５０ 自律移動制御部（行動制御部）（回動角測定部）
２３１ フィルタ部
２３２ 角度抽出部
２６１ フレーズ確信度算出部
２６２ フレーズ決定部
ＭＣ（ＭＣ１，ＭＣ２，ＭＣ３，・・・） 音声入力部
Ｏ 支持軸
Ｒ ロボット
Ｒ１ 頭部
Ｒ１１ 頭回動部
【特許請求の範囲】
【請求項１】
胴部と、
前記胴部の上面で回動可能に支持軸に支持される頭部と、
前記頭部が回動する回動方向に前記支持軸を中心に所定の角度で離間して前記頭部に配設され、入力された音声を音声データに変換して出力する３以上の音声入力部と、
前記音声入力部それぞれから入力された前記音声データに、信号分解アルゴリズムを用いて、前記頭部の向きを基準とした３６０度全方向からの音圧値を示す全方向音圧成分データを生成する音声データ処理部と、
前記胴部の向きを基準とした前記頭部の回動角度を測定する回動角測定部と、
前記胴部の向きを基準とした音源として推定しない方向の範囲が予め設定された除外角度範囲が記憶された記憶部と、
音源方向を推定する音源方向推定部と
を備えるロボットであって、
前記音源方向推定部は、
測定された回動角度を用いて、前記全方向音圧成分データから前記除外角度範囲内にあるデータを除去して有効方向音圧成分データを生成するフィルタ部を備えるロボット。
【請求項２】
前記記憶部は、前記支持軸を中心とした前記音声入力部それぞれの方向を示す音声入力角度が記憶され、
前記音源方向推定部が、前記フィルタ部が生成した前記有効方向音圧成分データから、直前の角度の音圧値と直後の角度の音圧値との双方より大きい音圧値の角度を少なくとも１以上抽出する角度抽出部を有し、
前記音声入力部が出力した音声データから、前記音声入力角度に基づき、前記角度抽出部が抽出した推定音源角度それぞれの方向から入力された音声データを分離抽出する推定音源分離部と、
前記推定音源分離部に抽出された推定音源方向音声データに音声認識を行い、その音声認識結果の正しさを示す音声認識尤度を算出する音声認識部と、
前記音声認識結果と、その音声認識結果に係る前記推定音源方向音声データが入力される方向との関係の正しさを示す音声入力方向適合度で、前記音声認識結果に係る前記音声認識尤度を重み付ける音源定位部と
を備えることを特徴とする請求項１に記載されたロボット。
【請求項３】
前記音源認識部は、
前記推定音源分離部に抽出された推定音源方向音声データから複数の音声認識結果を取得し、それぞれの音声認識結果の音声認識尤度を算出し、
前記音源定位部は、
それぞれの音声認識結果に係る前記推定音源方向音声データが入力される方向との関係の正しさを示す音声入力方向適合度で、前記音声認識結果に係る前記音声認識尤度を重み付けることで得られた複数の算出値から、最大の算出値を抽出し、その算出値に係る音声認識結果の前記推定音源角度を音源方向に推定することを特徴とする請求項２に記載されたロボット。
【請求項４】
さらに、予め入力され得るフレーズを集めた複数のフレーズパターンと、前記支持軸を中心とし前記頭部の向きを基準とした方向を示す方向角度値パターンと、前記フレーズパターンが前記方向角度値パターンの方向から入力される正しさを示す前記音声入力方向適合度との３つが対応付けられて記憶されたフレーズ記憶部を備え、
前記音声認識部は、
前記音声認識を行って、複数の仮説フレーズを生成し、各仮説フレーズの正しさを示す音声認識尤度を算出し、
前記音声認識部が算出する、前記推定音源方向音声データそれぞれの前記音声認識尤度は、前記音声認識部が前記推定音源方向音声データに音声認識を行って、複数のパターンの仮説フレーズを生成し、仮説フレーズそれぞれの正しさを示す値であって、
前記音源定位部は、
前記音声認識部に生成された複数の仮説フレーズとその音声認識尤度とを取得すると共に、前記仮説フレーズおよび前記推定音源角度を用いて、前記フレーズ記憶部に記憶された前記フレーズパターンおよび前記方向角度値パターンに対応付けられた前記音声入力方向適合度を抽出し、その音声入力方向適合度で前記音声認識尤度を重み付けして、フレーズ確信度を算出するフレーズ確信度算出部と、
前記フレーズ確信度が最大となる仮説フレーズを、音源方向からの音声を音声認識したフレーズとするフレーズ決定部と
を備えることを特徴とする請求項３に記載されたロボット。
【請求項５】
前記フレーズ記憶部は、前記フレーズパターン毎の、前記方向角度値パターンと前記音声入力方向適合度とからなる２次元のヒストグラムを記憶することを特徴とする請求項４に記載されたロボット。
【請求項６】
前記角度抽出部が抽出した推定音源角度に至るまで、前記頭部に回動させる行動制御部を備えることを特徴とする請求項２ないし請求項５のいずれか１項に記載されたロボット。
【請求項１】
胴部と、
前記胴部の上面で回動可能に支持軸に支持される頭部と、
前記頭部が回動する回動方向に前記支持軸を中心に所定の角度で離間して前記頭部に配設され、入力された音声を音声データに変換して出力する３以上の音声入力部と、
前記音声入力部それぞれから入力された前記音声データに、信号分解アルゴリズムを用いて、前記頭部の向きを基準とした３６０度全方向からの音圧値を示す全方向音圧成分データを生成する音声データ処理部と、
前記胴部の向きを基準とした前記頭部の回動角度を測定する回動角測定部と、
前記胴部の向きを基準とした音源として推定しない方向の範囲が予め設定された除外角度範囲が記憶された記憶部と、
音源方向を推定する音源方向推定部と
を備えるロボットであって、
前記音源方向推定部は、
測定された回動角度を用いて、前記全方向音圧成分データから前記除外角度範囲内にあるデータを除去して有効方向音圧成分データを生成するフィルタ部を備えるロボット。
【請求項２】
前記記憶部は、前記支持軸を中心とした前記音声入力部それぞれの方向を示す音声入力角度が記憶され、
前記音源方向推定部が、前記フィルタ部が生成した前記有効方向音圧成分データから、直前の角度の音圧値と直後の角度の音圧値との双方より大きい音圧値の角度を少なくとも１以上抽出する角度抽出部を有し、
前記音声入力部が出力した音声データから、前記音声入力角度に基づき、前記角度抽出部が抽出した推定音源角度それぞれの方向から入力された音声データを分離抽出する推定音源分離部と、
前記推定音源分離部に抽出された推定音源方向音声データに音声認識を行い、その音声認識結果の正しさを示す音声認識尤度を算出する音声認識部と、
前記音声認識結果と、その音声認識結果に係る前記推定音源方向音声データが入力される方向との関係の正しさを示す音声入力方向適合度で、前記音声認識結果に係る前記音声認識尤度を重み付ける音源定位部と
を備えることを特徴とする請求項１に記載されたロボット。
【請求項３】
前記音源認識部は、
前記推定音源分離部に抽出された推定音源方向音声データから複数の音声認識結果を取得し、それぞれの音声認識結果の音声認識尤度を算出し、
前記音源定位部は、
それぞれの音声認識結果に係る前記推定音源方向音声データが入力される方向との関係の正しさを示す音声入力方向適合度で、前記音声認識結果に係る前記音声認識尤度を重み付けることで得られた複数の算出値から、最大の算出値を抽出し、その算出値に係る音声認識結果の前記推定音源角度を音源方向に推定することを特徴とする請求項２に記載されたロボット。
【請求項４】
さらに、予め入力され得るフレーズを集めた複数のフレーズパターンと、前記支持軸を中心とし前記頭部の向きを基準とした方向を示す方向角度値パターンと、前記フレーズパターンが前記方向角度値パターンの方向から入力される正しさを示す前記音声入力方向適合度との３つが対応付けられて記憶されたフレーズ記憶部を備え、
前記音声認識部は、
前記音声認識を行って、複数の仮説フレーズを生成し、各仮説フレーズの正しさを示す音声認識尤度を算出し、
前記音声認識部が算出する、前記推定音源方向音声データそれぞれの前記音声認識尤度は、前記音声認識部が前記推定音源方向音声データに音声認識を行って、複数のパターンの仮説フレーズを生成し、仮説フレーズそれぞれの正しさを示す値であって、
前記音源定位部は、
前記音声認識部に生成された複数の仮説フレーズとその音声認識尤度とを取得すると共に、前記仮説フレーズおよび前記推定音源角度を用いて、前記フレーズ記憶部に記憶された前記フレーズパターンおよび前記方向角度値パターンに対応付けられた前記音声入力方向適合度を抽出し、その音声入力方向適合度で前記音声認識尤度を重み付けして、フレーズ確信度を算出するフレーズ確信度算出部と、
前記フレーズ確信度が最大となる仮説フレーズを、音源方向からの音声を音声認識したフレーズとするフレーズ決定部と
を備えることを特徴とする請求項３に記載されたロボット。
【請求項５】
前記フレーズ記憶部は、前記フレーズパターン毎の、前記方向角度値パターンと前記音声入力方向適合度とからなる２次元のヒストグラムを記憶することを特徴とする請求項４に記載されたロボット。
【請求項６】
前記角度抽出部が抽出した推定音源角度に至るまで、前記頭部に回動させる行動制御部を備えることを特徴とする請求項２ないし請求項５のいずれか１項に記載されたロボット。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２３７６２１（Ｐ２０１１−２３７６２１Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０９２１３（Ｐ２０１０−１０９２１３）
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]