情報処理装置、および情報処理方法、並びにプログラム
【課題】カメラやマイクを介する入力情報の解析により、発話者の特定処理を行う構成を実現する。
【解決手段】音声ベースの発話認識処理と画像ベース発話認識処理を実行する。さらに、音声ベース発話認識処理部において発話可能性が高いと判定した単語情報を入力し、画像ベース発話認識処理において解析されたユーザ単位の口の動き情報である口形素情報を入力して、単語を構成する音素単位で各音素の発話の口の動きに近い場合に高いスコアを設定してユーザ単位のスコアを設定する。さらに、ユーザ単位のスコアを適用してスコアに基づく発話者特定処理を実行する。この処理により発話内容に近い口の動きを示すユーザを発話源として特定可能となり、精度の高い発話者特定が実現される。
【解決手段】音声ベースの発話認識処理と画像ベース発話認識処理を実行する。さらに、音声ベース発話認識処理部において発話可能性が高いと判定した単語情報を入力し、画像ベース発話認識処理において解析されたユーザ単位の口の動き情報である口形素情報を入力して、単語を構成する音素単位で各音素の発話の口の動きに近い場合に高いスコアを設定してユーザ単位のスコアを設定する。さらに、ユーザ単位のスコアを適用してスコアに基づく発話者特定処理を実行する。この処理により発話内容に近い口の動きを示すユーザを発話源として特定可能となり、精度の高い発話者特定が実現される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、外界からの入力情報、例えば画像、音声などの情報を入力し、入力情報に基づく外界環境の解析、具体的には言葉を発している人物の位置や誰であるか等の解析処理を実行する情報処理装置、および情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
人とＰＣやロボットなどの情報処理装置との相互間の処理、例えばコミュニケーションやインタラクティブ処理を行うシステムはマン−マシン インタラクション システムと呼ばれる。このマン−マシン インタラクション システムにおいて、ＰＣやロボット等の情報処理装置は、人のアクション例えば人の動作や言葉を認識するために画像情報や音声情報を入力して入力情報に基づく解析を行う。
【０００３】
人が情報を伝達する場合、言葉のみならずしぐさ、視線、表情など様々なチャネルを情報伝達チャネルとして利用する。このようなすべてのチャネルの解析をマシンにおいて行うことができれば、人とマシンとのコミュニケーションも人と人とのコミュニケーションと同レベルに到達することができる。このような複数のチャネル（モダリティ、モーダルとも呼ばれる）からの入力情報の解析を行うインタフェースは、マルチモーダルインタフェースと呼ばれ、近年、開発、研究が盛んに行われている。
【０００４】
例えばカメラによって撮影された画像情報、マイクによって取得された音声情報を入力して解析を行う場合、より詳細な解析を行うためには、様々なポイントに設置した複数のカメラおよび複数のマイクから多くの情報を入力することが有効である。
【０００５】
具体的なシステムとしては、例えば以下のようなシステムが想定される。情報処理装置（テレビ）が、カメラおよびマイクを介して、テレビの前のユーザ（父、母、姉、弟）の画像および音声を入力し、それぞれのユーザの位置やどのユーザが発した言葉であるか等を解析し、テレビが解析情報に応じた処理、例えば会話を行ったユーザに対するカメラのズームアップや、会話を行ったユーザに対する的確な応答を行うなどのシステムが実現可能となる。
【０００６】
従来の一般的なマン−マシン インタラクション システムの多くは、複数チャネル（モーダル）からの情報を決定論的に統合して、複数のユーザが、それぞれどこにいて、それらは誰で、誰がシグナルを発したのかを決定するという処理を行っていた。このようなシステムを開示した従来技術として、例えば特許文献１（特開２００５−２７１１３７号公報）、特許文献２（特開２００２−２６４０５１号公報）がある。
【０００７】
しかし、従来のシステムにおいて行われるマイクやカメラから入力される不確実かつ非同期なデータを利用した決定論的な統合処理方法ではロバスト性にかけ、精度の低いデータしか得られないという問題がある。実際のシステムにおいて、実環境で取得可能なセンサ情報、すなわちカメラからの入力画像やマイクから入力される音声情報には様々な余分な情報、例えばノイズや不要な情報が含まれる不確実なデータであり、画像解析や音声解析処理を行う場合には、このようなセンサ情報から有効な情報を効率的に統合する処理が重要となる。
【０００８】
本出願人は、これらの問題を解決する構成として、特許文献３（特開２００９−１４０３６６）を出願した。この特許文献３に記載の構成は、音声および画像イベント検出情報に基づくパーティクルフィルタリング処理を行い、ユーザの位置やユーザ識別処理を行う構成である。この構成により、ノイズや不要な情報が含まれる不確実なデータから精度の高い信頼できるデータを選択しユーザの位置の特定やユーザ識別を実現している。
【０００９】
上記特許文献３の装置は、さらに画像データから得られる口の動きを検出して発話者の特定処理を行っている。例えば口の動きの大きいユーザが発話者である可能性が高いと推定する処理である。口の動きに応じたスコアを算出し、大きなスコアが設定されたユーザを発話者として特定している。しかし、この処理では、口の動きのみを評価対象とするため、例えばガムをかんでいるユーザなども発話者であると認識してしまうといった問題がある。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−２７１１３７号公報
【特許文献２】特開２００２−２６４０５１号公報
【特許文献３】特開２００９−１４０３６６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、例えば、上述の問題点に鑑みてなされたものであり、発話者の推定処理に際して音声ベースの発話認識処理と、画像ベースの発話認識処理を併用して、具体的に言葉を発しているユーザを発話者であると推定する情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の側面は、
実空間の観測情報としての音声情報を入力し、音声ベースの発話認識処理を実行して発話可能性が高いと判定した単語情報を生成する音声ベース発話認識処理部と、
前記実空間の観測情報としての画像情報を入力し、入力画像に含まれる各ユーザの口の動きを解析してユーザ単位の口の動き情報を生成する画像ベース発話認識処理部と、
前記音声ベース発話認識処理部から単語情報を入力し、前記画像ベース発話認識処理部からユーザ単位の口の動き情報を入力し、前記単語情報に近い口の動きに高いスコアを設定するスコア設定処理を実行してユーザ単位のスコア設定処理を実行する音声画像併用発話認識スコア算出部と、
前記スコアを入力して、入力スコアに基づく発話者特定処理を実行する情報統合処理部を有する情報処理装置にある。
【００１３】
さらに、本発明の情報処理装置の一実施態様において、前記音声ベース発話認識処理部は、音声ベースの発話認識処理であるＡＳＲ（Ａｕｄｉｏ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行して発話可能性が高いと判定した単語情報の音素列をＡＳＲ情報として生成し、前記画像ベース発話認識処理部は、画像ベースの発話認識処理であるＶＳＲ（Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行して、少なくとも前記単語発声期間の口の形を示す口形素情報を含むＶＳＲ情報を生成し、前記音声画像併用発話認識スコア算出部は、前記ＡＳＲ情報に含まれる単語情報を構成する音素単位で、前記ＶＳＲ情報に含まれるユーザ単位の口形素情報と登録口形素情報とを比較して、類似度の高い口形素を高いスコアとする口形素スコア設定処理を行ない、さらに単語を構成する全音素に対応する口形素スコアの相加平均値または相乗平均値算出処理によってユーザ対応のスコアであるＡＶＳＲスコアを算出する。
【００１４】
さらに、本発明の情報処理装置の一実施態様において、前記音声画像併用発話認識スコア算出部は、前記ＡＳＲ情報に含まれる単語情報の前後の無音時間に対応する口形素スコア設定処理を行ない、単語を構成する全音素に対応する口形素スコアと無音時間対応の口形素スコアを含むスコアの相加平均値または相乗平均値算出処理によってユーザ対応のスコアであるＡＶＳＲスコアを算出する。
【００１５】
さらに、本発明の情報処理装置の一実施態様において、前記音声画像併用発話認識スコア算出部は、前記単語発声期間の口の形を示す口形素情報が入力されない期間についての口形素スコアとして、予め設定された事前知識の値を用いることを特徴とする。
【００１６】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、前記実空間のユーザ情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、前記ＡＶＳＲスコアに基づく仮説の更新および取捨選択により、発話者特定処理を実行する。
【００１７】
さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、前記実空間の観測情報として音声情報を入力し、前記実空間に存在するユーザの推定位置情報および推定識別情報を含む音声イベント情報を生成する音声イベント検出部と、前記実空間の観測情報として画像情報を入力し、前記実空間に存在するユーザの推定位置情報および推定識別情報を含む画像イベント情報を生成する画像イベント検出部を有し、前記情報統合処理部は、ユーザの位置および識別情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの位置情報を含む解析情報を生成する処理を実行する構成である。
【００１８】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、仮想的なユーザに対応する複数のターゲットデータを設定した複数のパーティクルを適用したパーティクルフィルタリング処理を実行して前記実空間に存在するユーザの位置情報を含む解析情報を生成する構成であり、前記パーティクルに設定するターゲットデータの各々を前記音声および画像イベント検出部から入力するイベント各々に対応付けて設定し、入力イベント識別子に応じて各パーティクルから選択されるイベント対応ターゲットデータの更新を行う構成を有することを特徴とする。
【００１９】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、前記イベント検出部において検出された顔画像単位のイベント各々にターゲットを対応付けて処理を行なう構成を有することを特徴とする。
【００２０】
さらに、本発明の第２の側面は、
情報処理装置において実行する情報処理方法であり、
音声ベース発話認識処理部が、実空間の観測情報としての音声情報を入力し、音声ベースの発話認識処理を実行して発話可能性が高いと判定した単語情報を生成する音声ベース発話認識処理ステップと、
画像ベース発話認識処理部が、前記実空間の観測情報としての画像情報を入力し、入力画像に含まれる各ユーザの口の動きを解析してユーザ単位の口の動き情報を生成する画像ベース発話認識処理ステップと、
音声画像併用発話認識スコア算出部が、前記音声ベース発話認識処理部から単語情報を入力し、前記画像ベース発話認識処理部からユーザ単位の口の動き情報を入力し、前記単語情報に近い口の動きに高いスコアを設定するスコア設定処理を実行してユーザ単位のスコア設定処理を実行する音声画像併用発話認識スコア算出ステップと、
情報統合処理部が、前記スコアを入力して、入力スコアに基づく発話者特定処理を実行する情報統合処理ステップを実行する情報処理方法にある。
【００２１】
さらに、本発明の第３の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
音声ベース発話認識処理部に、実空間の観測情報としての音声情報を入力し、音声ベースの発話認識処理を実行して発話可能性が高いと判定した単語情報を生成させる音声ベース発話認識処理ステップと、
画像ベース発話認識処理部に、前記実空間の観測情報としての画像情報を入力し、入力画像に含まれる各ユーザの口の動きを解析してユーザ単位の口の動き情報を生成させる画像ベース発話認識処理ステップと、
音声画像併用発話認識スコア算出部に、前記音声ベース発話認識処理部から単語情報を入力し、前記画像ベース発話認識処理部からユーザ単位の口の動き情報を入力し、前記単語情報に近い口の動きに高いスコアを設定するスコア設定処理を実行してユーザ単位のスコア設定処理を実行させる音声画像併用発話認識スコア算出ステップと、
情報統合処理部に、前記スコアを入力して、入力スコアに基づく発話者特定処理を実行させる情報統合処理ステップを実行させるプログラムにある。
【００２２】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２４】
本発明の一実施例の構成によれば、カメラやマイクを介する入力情報の解析により、発話者の特定処理を行う構成が実現される。音声ベースの発話認識処理と画像ベース発話認識処理を実行する。さらに、音声ベース発話認識処理部において発話可能性が高いと判定した単語情報を入力し、画像ベース発話認識処理において解析されたユーザ単位の口の動き情報である口形素情報を入力して、単語を構成する音素単位で各音素の発話の口の動きに近い場合に高いスコアを設定してユーザ単位のスコアを設定する。さらに、ユーザ単位のスコアを適用してスコアに基づく発話者特定処理を実行する。この処理により発話内容に近い口の動きを示すユーザを発話源として特定可能となり、精度の高い発話者特定が実現される。
【図面の簡単な説明】
【００２５】
【図１】本発明に係る情報処理装置の実行する処理の概要について説明する図である。
【図２】ユーザ解析処理を行う情報処理装置の構成および処理について説明する図である。
【図３】音声イベント検出部１２２および画像イベント検出部１１２が生成し音声・画像統合処理部１３１に入力する情報の例について説明する図である。
【図４】パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）を適用した基本的な処理例について説明する図である。
【図５】本処理例で設定するパーティクルの構成について説明する図である。
【図６】各パーティクルに含まれるターゲット各々が有するターゲットデータの構成について説明する図である。
【図７】ターゲット情報の構成および生成処理について説明する図である。
【図８】ターゲット情報の構成および生成処理について説明する図である。
【図９】ターゲット情報の構成および生成処理について説明する図である。
【図１０】音声・画像統合処理部１３１の実行する処理シーケンスを説明するフローチャートを示す図である。
【図１１】パーティクル重み［ＷｐＩＤ］の算出処理の詳細について説明する図である。
【図１２】発話源の特定処理を行う情報処理装置の構成および処理について説明する図である。
【図１３】発話源の特定処理のためのＡＶＳＲスコアの算出処理例について説明する図である。
【図１４】発話源の特定処理のためのＡＶＳＲスコアの算出処理例について説明する図である。
【図１５】発話源の特定処理のためのＡＶＳＲスコアの算出処理例について説明する図である。
【図１６】発話源の特定処理のためのＡＶＳＲスコアの算出処理例について説明する図である。
【図１７】発話源の特定処理のためのＡＶＳＲスコアの算出処理のシーケンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本発明の実施形態に係る情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。以下の項目に従って説明する。
１．音声および画像イベント検出情報に基づくパーティクルフィルタリング処理によるユーザの位置およびユーザ識別処理の概要について
２．音声および画像ベースの発話認識によるスコア（ＡＶＳＲスコア）算出処理を伴う発話者の特定処理について
なお、本発明は、前述した特許文献３として紹介した本出願人の先の出願である特願２００７−３１７７１１（特開２００９−１４０３６６）の技術をベースとした発明であり、まず、上記項目１において、この特願２００７−３１７７１１（特開２００９−１４０３６６）に開示した構成の概要を説明する。その後、上記項目２において、本発明の主題である音声および画像ベースの発話認識によるスコア（ＡＶＳＲスコア）算出処理を伴う発話者の特定処理について説明する。
【００２７】
［１．音声および画像イベント検出情報に基づくパーティクルフィルタリング処理によるユーザの位置およびユーザ識別処理の概要について］
まず、音声イベントおよび画像イベントの検出情報を利用したパーティクルフィルタリング処理によるユーザの位置およびユーザ識別処理の概要について説明する。図１は、この処理の概要を説明する図である。
【００２８】
情報処理装置１００は、実空間における観測情報を入力するセンサから各種の情報を入力する。本例では、情報処理装置１００は、センサとしてカメラ２１と、複数のマイク３１〜３４から画像情報、音声情報を入力し、これらの入力情報に基づいて環境の解析を行う。情報処理装置１００は、複数のユーザ１，１１〜４，１４の位置の解析、およびその位置にいるユーザの識別を行う。
【００２９】
図に示す例において、例えばユーザ１，１１〜ユーザ４，１４が家族である父、母、姉、弟であるとき、情報処理装置１００は、カメラ２１と、複数のマイク３１〜３４から入力する画像情報、音声情報の解析を行い、４人のユーザ１〜４の存在する位置、各位置にいるユーザが父、母、姉、弟のいずれであるかを識別する。識別処理結果は様々な処理に利用される。例えば、例えば会話を行ったユーザに対するカメラのズームアップや、会話を行ったユーザに対してテレビから応答を行うなどの処理に利用される。
【００３０】
情報処理装置１００は、複数の情報入力部（カメラ２１，マイク３１〜３４）からの入力情報に基づいて、ユーザの位置識別およびユーザの特定処理としてのユーザ識別処理を行う。この識別結果の利用処理については特に限定するものではない。カメラ２１と、複数のマイク３１〜３４から入力する画像情報、音声情報には様々な不確実な情報が含まれる。情報処理装置１００では、これらの入力情報に含まれる不確実な情報に対する確率的な処理を行って、精度の高いと推定される情報に統合する処理を行う。この推定処理によりロバスト性を向上させ、精度の高い解析を行う。
【００３１】
図２に情報処理装置１００の構成例を示す。情報処理装置１００は、入力デバイスとして画像入力部（カメラ）１１１、複数の音声入力部（マイク）１２１ａ〜ｄを有する。画像入力部（カメラ）１１１から画像情報を入力し、音声入力部（マイク）１２１から音声情報を入力し、これらの入力情報に基づいて解析を行う。複数の音声入力部（マイク）１２１ａ〜ｄの各々は、図１に示すように様々な位置に配置されている。
【００３２】
複数のマイク１２１ａ〜ｄから入力された音声情報は、音声イベント検出部１２２を介して音声・画像統合処理部１３１に入力される。音声イベント検出部１２２は、複数の異なるポジションに配置された複数の音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し統合する。具体的には、音声入力部（マイク）１２１ａ〜ｄから入力する音声情報に基づいて、発生した音の位置およびどのユーザの発生させた音であるかのユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。
【００３３】
なお、情報処理装置１００の実行する具体的な処理は、例えば図１に示すように複数のユーザが存在する環境で、ユーザ１〜４がどの位置にいて、会話を行ったユーザがどのユーザであるかを識別すること、すなわち、ユーザ位置およびユーザ識別を行うことであり、さらに声を発した人物（発話者）などのイベント発生源を特定する処理である。
【００３４】
音声イベント検出部１２２は、複数の異なるポジションに配置された複数の音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し、音声の発生源の位置情報を確率分布データとして生成する。具体的には、音源方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。また、予め登録されたユーザの声の特徴情報との比較処理に基づいてユーザ識別情報を生成する。この識別情報も確率的な推定値として生成する。音声イベント検出部１２２には、予め検証すべき複数のユーザの声についての特徴情報が登録されており、入力音声と登録音声との比較処理を実行して、どのユーザの声である確率が高いかを判定する処理を行い、全登録ユーザに対する事後確率、あるいはスコアを算出する。
【００３５】
このように、音声イベント検出部１２２は、複数の異なるポジションに配置された複数の音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し、音声の発生源の位置情報を確率分布データと、確率的な推定値からなるユーザ識別情報とによって構成される［統合音声イベント情報］を生成して音声・画像統合処理部１３１に入力する。
【００３６】
一方、画像入力部（カメラ）１１１から入力された画像情報は、画像イベント検出部１１２を介して音声・画像統合処理部１３１に入力される。画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力する画像情報を解析し、画像に含まれる人物の顔を抽出し、顔の位置情報を確率分布データとして生成する。具体的には、顔の位置や方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。
【００３７】
また、画像イベント検出部１１２は、予め登録されたユーザの顔の特徴情報との比較処理に基づいて顔を識別してユーザ識別情報を生成する。この識別情報も確率的な推定値として生成する。画像イベント検出部１１２には、予め検証すべき複数のユーザの顔についての特徴情報が登録されており、入力画像から抽出した顔領域の画像の特徴情報と登録された顔画像の特徴情報との比較処理を実行して、どのユーザの顔である確率が高いかを判定する処理を行い、全登録ユーザに対する事後確率、あるいはスコアを算出する。
【００３８】
さらに、画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力された画像に含まれる顔に対応する属性スコア、例えば口領域の動きに基づいて生成される顔属性スコアを算出する。
【００３９】
顔属性スコアは、例えば、
（ａ）画像に含まれる顔の口領域の動きの大きさに応じたスコア、
（ｂ）画像に含まれる顔の口領域の動きと発話認識との対応関係に応じたスコア
このような顔属性スコアを算出する設定が可能である。その他にも、笑顔か否か、男であるか女であるか、大人であるかこどもであるかなどの属性スコアを算出する設定としてもよい。
【００４０】
以下では、まず、
（ａ）画像に含まれる顔の口領域の動きのレベルに対応するスコアを顔属性スコアとして算出して利用する例について説明する。すなわち、顔の口領域の動きの大きさに対応するスコアを顔属性スコアとして算出し、この顔属性スコアに基づいて発話者の特定を行なう処理である。
ただし、先に簡単に説明したように、口の動きの大きさからスコアを算出した処理では、ガムをかんでいるユーザやシステムに対する発話と無関係な発話や口の動きなどを区別できないため、システムに対する要求を行っているユーザの発話を特定しにくいという問題がある。
【００４１】
後段の項目２、すなわち、「２．音声および画像ベースの発話認識によるスコア（ＡＶＳＲスコア）算出処理を伴う発話者の特定処理について」では、このような欠点を解決した手法として、上記の（ｂ）画像に含まれる顔の口領域の動きと発話認識との対応関係に応じたスコアの算出処理と発話者特定処理について説明する。
【００４２】
まず、この項目１では、（ａ）画像に含まれる顔の口領域の動きの大きさに対応するスコアを顔属性スコアとして算出して利用する例について説明する。
画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力された画像に含まれる顔領域から口領域を識別して、口領域の動き検出を行い、口領域の動き検出結果に対応したスコア、例えば口の動きがあると判定された場合に高いスコアとする処理を行う。
【００４３】
なお、口領域の動き検出処理は、例えばＶＳＤ（Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｄｅｔｅｃｔｉｏｎ）を適用した処理として実行する。本発明の出願人と同一の出願に係る特開２００５−１５７６７９に開示の方法を適用することができる。具体的には、例えば、画像入力部（カメラ）１１１からの入力画像から検出された顔画像から唇の左右端点を検出し、Ｎ番目のフレームとＮ＋１番目のフレームにおいて唇の左右端点をそれぞれそろえてから輝度の差分を算出し、この差分値を閾値処理することで、口の動きを検出することができる。
【００４４】
なお、音声イベント検出部１２２や画像イベント検出部１１２において実行する音声識別や、顔検出、顔識別処理は従来から知られる技術を適用する。例えば顔検出、顔識別処理としては以下の文献に開示された技術の適用が可能である。
佐部 浩太郎，日台 健一，"ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習"，第１０回画像センシングシンポジウム講演論文集，ｐｐ．５４７−５５２，２００４
特開２００４−３０２６４４（Ｐ２００４−３０２６４４Ａ）［発明の名称：顔識別装置、顔識別方法、記録媒体、及びロボット装置］
【００４５】
音声・画像統合処理部１３１は、音声イベント検出部１２２や画像イベント検出部１１２からの入力情報に基づいて、複数のユーザが、それぞれどこにいて、それらは誰で、誰が音声等のシグナルを発したのかを確率的に推定する処理を実行する。この処理については後段で詳細に説明する。音声・画像統合処理部１３１は、音声・画像統合処理部１３１は、音声イベント検出部１２２や画像イベント検出部１１２からの入力情報に基づいて、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］
（ｂ）例えば話しをしたユーザなどのイベント発生源を［シグナル情報］として、処理決定部１３２に出力する。
【００４６】
これらの識別処理結果を受領した処理決定部１３２は、識別処理結果を利用した処理を実行する、例えば、会話を行ったユーザに対するカメラのズームアップや、会話を行ったユーザに対してテレビから応答を行うなどの処理を行う。
【００４７】
上述したように、音声イベント検出部１２２は、音声の発生源の位置情報の確率分布データ、具体的には、音源方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。また、予め登録されたユーザの声の特徴情報との比較処理に基づいてユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。
【００４８】
また、画像イベント検出部１１２は、画像に含まれる人物の顔を抽出し、顔の位置情報を確率分布データとして生成する。具体的には、顔の位置や方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。また、予め登録されたユーザの顔の特徴情報との比較処理に基づいてユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。さらに、画像入力部（カメラ）１１１から入力された画像中の顔領域から顔属性情報としての顔属性スコア、例えば口領域の動き検出を行い、口領域の動き検出結果に対応したスコア、具体的には口の動きが大きいと判定された場合に高いスコアとする顔属性スコアを算出して音声・画像統合処理部１３１に入力する。
【００４９】
図３を参照して、音声イベント検出部１２２および画像イベント検出部１１２が生成し音声・画像統合処理部１３１に入力する情報の例について説明する。
【００５０】
本発明の構成では、画像イベント検出部１１２は、
（Ｖａ）顔の位置や方向に関する期待値と分散データＮ（ｍｅ，σｅ）、
（Ｖｂ）顔画像の特徴情報に基づくユーザ識別情報、
（Ｖｃ）検出された顔の属性に対応するスコア、例えば口領域の動きに基づいて生成される顔属性スコア、
これらのデータを生成して音声・画像統合処理部１３１に入力し、
音声イベント検出部１２２が、
（Ａａ）音源方向に関する期待値と分散データＮ（ｍｅ，σｅ）、
（Ａｂ）声の特徴情報に基づくユーザ識別情報、
これらのデータを音声・画像統合処理部１３１に入力する。
【００５１】
図３（Ａ）は図１を参照して説明したと同様のカメラやマイクが備えられた実環境の例を示し、複数のユーザ１〜ｋ，２０１〜２０ｋが存在する。この環境で、あるユーザが話しをしたとすると、マイクで音声が入力される。また、カメラは連続的に画像を撮影している。
【００５２】
音声イベント検出部１２２および画像イベント検出部１１２が生成して、音声・画像統合処理部１３１に入力する情報は、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これら３種類に大別できる。
【００５３】
すなわち、
（ａ）ユーザ位置情報は、
画像イベント検出部１１２の生成する
（Ｖａ）顔の位置や方向に関する期待値と分散データＮ（ｍｅ，σｅ）と、
音声イベント検出部１２２の生成する
（Ａａ）音源方向に関する期待値と分散データＮ（ｍｅ，σｅ）、
これらの統合データである。
【００５４】
また、
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）は、
画像イベント検出部１１２の生成する
（Ｖｂ）顔画像の特徴情報に基づくユーザ識別情報と、
音声イベント検出部１２２の生成する
（Ａｂ）声の特徴情報に基づくユーザ識別情報、
これらの統合データである。
【００５５】
（ｃ）顔属性情報（顔属性スコア）は、
画像イベント検出部１１２の生成する
（Ｖｃ）検出された顔の属性に対応するスコア、例えば口領域の動きに基づいて生成される顔属性スコア、
に対応する。
【００５６】
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）、
これらの３つの情報は、イベントの発生毎に生成される。音声イベント検出部１２２は、音声入力部（マイク）１２１ａ〜ｄから音声情報が入力された場合に、その音声情報に基づいて上記の（ａ）ユーザ位置情報、（ｂ）ユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。画像イベント検出部１１２は、例えば予め定めた一定のフレーム間隔で、画像入力部（カメラ）１１１から入力された画像情報に基づいて（ａ）ユーザ位置情報、（ｂ）ユーザ識別情報、（ｃ）顔属性情報（顔属性スコア）を生成して音声・画像統合処理部１３１に入力する。なお、本例では、画像入力部（カメラ）１１１は１台のカメラを設定した例を示しており、１つのカメラに複数のユーザの画像が撮影される設定であり、この場合、１つの画像に含まれる複数の顔の各々について（ａ）ユーザ位置情報、（ｂ）ユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。
【００５７】
音声イベント検出部１２２が音声入力部（マイク）１２１ａ〜ｄから入力する音声情報に基づいて、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（話者識別情報）
これらの情報を生成する処理について説明する。
【００５８】
［音声イベント検出部１２２による（ａ）ユーザ位置情報の生成処理］
音声イベント検出部１２２は、音声入力部（マイク）１２１ａ〜ｄから入力された音声情報に基づいて解析された声を発したユーザ、すなわち［話者］の位置の推定情報を生成する。すなわち、話者が存在すると推定される位置を、期待値（平均）［ｍｅ］と分散情報［σｅ］からなるガウス分布（正規分布）データＮ（ｍｅ，σｅ）として生成する。
【００５９】
［音声イベント検出部１２２による（ｂ）ユーザ識別情報（話者識別情報）の生成処理］
音声イベント検出部１２２は、音声入力部（マイク）１２１ａ〜ｄから入力された音声情報に基づいて話者が誰であるかを、入力音声と予め登録されたユーザ１〜ｋの声の特徴情報との比較処理により推定する。具体的には話者が各ユーザ１〜ｋである確率を算出する。この算出値を（ｂ）ユーザ識別情報（話者識別情報）とする。例えば入力音声の特徴と最も近い登録された音声特徴を有するユーザに最も高いスコアを配分し、最も異なる特徴を持つユーザに最低のスコア（例えば０）を配分する処理によって各ユーザである確率を設定したデータを生成して、これを（ｂ）ユーザ識別情報（話者識別情報）とする。
【００６０】
次に、画像イベント検出部１１２が画像入力部（カメラ）１１１から入力する画像情報に基づいて、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらの情報を生成する処理について説明する。
【００６１】
［画像イベント検出部１１２による（ａ）ユーザ位置情報の生成処理］
画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力された画像情報に含まれる顔の各々について顔の位置の推定情報を生成する。すなわち、画像から検出された顔が存在すると推定される位置を、期待値（平均）［ｍｅ］と分散情報［σｅ］からなるガウス分布（正規分布）データＮ（ｍｅ，σｅ）として生成する。
【００６２】
［画像イベント検出部１１２による（ｂ）ユーザ識別情報（顔識別情報）の生成処理］
画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力された画像情報に基づいて、画像情報に含まれる顔を検出し、各顔が誰であるかを、入力画像情報と予め登録されたユーザ１〜ｋの顔の特徴情報との比較処理により推定する。具体的には抽出された各顔が各ユーザ１〜ｋである確率を算出する。この算出値を（ｂ）ユーザ識別情報（顔識別情報）とする。例えば入力画像に含まれる顔の特徴と最も近い登録された顔の特徴を有するユーザに最も高いスコアを配分し、最も異なる特徴を持つユーザに最低のスコア（例えば０）を配分する処理によって各ユーザである確率を設定したデータを生成して、これを（ｂ）ユーザ識別情報（顔識別情報）とする。
【００６３】
［画像イベント検出部１１２による（ｃ）顔属性情報（顔属性スコア）の生成処理］
画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力された画像情報に基づいて、画像情報に含まれる顔領域を検出し、検出された各顔の属性、具体的には先に説明したように顔の口領域の動き、笑顔か否か、男であるか女であるか、大人であるかこどもであるかなどの属性スコアを算出することが可能であるが、本処理例では、画像に含まれる顔の口領域の動きに対応するスコアを顔属性スコアとして算出して利用する例について説明する。
【００６４】
顔の口領域の動きに対応するスコアを算出する処理として、前述したように画像イベント検出部１１２は、例えば、画像入力部（カメラ）１１１からの入力画像から検出された顔画像から唇の左右端点を検出し、Ｎ番目のフレームとＮ＋１番目のフレームにおいて唇の左右端点をそれぞれそろえてから輝度の差分を算出し、この差分値を閾値処理する。この処理により、口の動きを検出し、口の動きが大きいほど高いスコアとする顔属性スコアを設定する。
【００６５】
なお、カメラの撮影画像から複数の顔が検出された場合、画像イベント検出部１１２は、各検出顔に応じてそれぞれ個別のイベントとして、各顔対応のイベント情報を生成する。すなわち、以下の情報を含むイベント情報を生成して音声・画像統合処理部１３１に入力する。
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらの情報を生成して、音声・画像統合処理部１３１に入力する。
【００６６】
本例では、画像入力部１１１として１台のカメラを利用した例を説明するが、複数のカメラの撮影画像を利用してもよく、その場合は、画像イベント検出部１１２は、各カメラの撮影画像の各々に含まれる各顔について、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらの情報を生成して、音声・画像統合処理部１３１に入力する。
【００６７】
次に、音声・画像統合処理部１３１の実行する処理について説明する。音声・画像統合処理部１３１は、上述したように、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示す３つの情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらの情報を逐次入力する。なお、これらの各情報の入力タイミングは様々な設定が可能であるが、例えば、音声イベント検出部１２２は新たな音声が入力された場合に上記（ａ），（ｂ）の各情報を音声イベント情報として生成して入力し、画像イベント検出部１１２は、一定のフレーム周期単位で、上記（ａ），（ｂ），（ｃ）の各情報を画像イベント情報として生成して入力するといった設定が可能である。
【００６８】
音声・画像統合処理部１３１の実行する処理について、図４以下を参照して説明する。音声・画像統合処理部１３１は、ユーザの位置および識別情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、その仮説を入力情報に基づいて更新することで、より確からしい仮説のみを残す処理を行う。この処理手法として、パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）を適用した処理を実行する。
【００６９】
パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）を適用した処理は、様々な仮説に対応するパーティクルを多数設定して行なわれる。本例では、ユーザの位置と誰であるかの仮説に対応するパーティクルを多数設定し、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示す３つの情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらの入力情報に基づいて、より確からしいパーティクルの重み（ウェイト）を高めていくという処理を行う。
【００７０】
パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）を適用した基本的な処理例について図４を参照して説明する。例えば、図４に示す例は、あるユーザに対応する存在位置をパーティクル・フィルタにより推定する処理例を示している。図４に示す例は、ある直線上の１次元領域におけるユーザ３０１の存在する位置を推定する処理である。
【００７１】
初期的な仮説（Ｈ）は、図４（ａ）に示すように均一なパーティクル分布データとなる。次に、画像データ３０２が取得され、取得画像に基づくユーザ３０１の存在確率分布データが図４（ｂ）のデータとして取得される。この取得画像に基づく確率分布データに基づいて、図４（ａ）のパーティクル分布データが更新され、図４（ｃ）の更新された仮説確率分布データが得られる。このような処理を、入力情報に基づいて繰り返し実行して、ユーザのより確からしい位置情報を得る。
【００７２】
なお、パーティクル・フィルタを用いた処理の詳細については、例えば［Ｄ． Ｓｃｈｕｌｚ， Ｄ． Ｆｏｘ， ａｎｄ Ｊ． Ｈｉｇｈｔｏｗｅｒ． Ｐｅｏｐｌｅ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ａｎｏｎｙｍｏｕｓ ａｎｄ ＩＤ−ｓｅｎｓｏｒｓ Ｕｓｉｎｇ Ｒａｏ−Ｂｌａｃｋｗｅｌｌｉｓｅｄ Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒｓ．Ｐｒｏｃ． ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ （ＩＪＣＡＩ−０３）］に記載されている。
【００７３】
図４に示す処理例は、ユーザの存在位置のみについて、入力情報を画像データのみとした処理例として説明しており、パーティクルの各々は、ユーザ３０１の存在位置のみの情報を有している。
【００７４】
一方、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示す２つの情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらの入力情報に基づいて、複数のユーザの位置と複数のユーザがそれぞれ誰であるかを判別する処理を行うことになる。従って、パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）を適用した処理では、音声・画像統合処理部１３１が、ユーザの位置と誰であるかの仮説に対応するパーティクルを多数設定して、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示す２つの情報に基づいて、パーティクル更新を行うことになる。
【００７５】
音声・画像統合処理部１３１が、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示す３つの情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらを入力して実行するパーティクル更新処理例について図５を参照して説明する。
【００７６】
パーティクルの構成について説明する。音声・画像統合処理部１３１は、予め設定した数＝ｍのパーティクルを有する。図５に示すパーティクル１〜ｍである。各パーティクルには識別子としてのパーティクルＩＤ（ＰＩＤ＝１〜ｍ）が設定されている。
【００７７】
各パーティクルに、仮想的なオブジェクトに対応する複数のターゲットｔＩＤ＝１，２，・・・ｎを設定する。本例では、例えば実空間に存在すると推定される人数以上の仮想のユーザに対応する複数（ｎ個）のターゲットを各パーティクルに設定する。ｍ個のパーティクルの各々はターゲット単位でデータをターゲット数分保持する。図５に示す例では、１つのパーティクルにｎ個のターゲットが含まれる。図にはｎ個中の２個（ｔＩＤ＝１，２）のみの具体的データ例を示している。
【００７８】
音声・画像統合処理部１３１は、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア［ＳｅＩＤ］）
これらのイベント情報を入力してｍ個のパーティクル（ｐＩＤ＝１〜ｍ）の更新処理を行う。
【００７９】
図５に示す音声・画像統合処理部１３１に設定される各パーティクル１〜ｍに含まれるターゲット１〜ｎの各々は、入力するイベント情報の各々（ｅＩＤ＝１〜ｋ）に予め対応付けられており、その対応に従って、入力イベントに対応する選択されたターゲットの更新が実行される。具体的には、例えば画像イベント検出部１１２において検出された顔画像を個別のイベントとして、この顔画像イベント各々にターゲットを対応付けて処理を行なう。
【００８０】
具体的な更新処理について説明する。例えば、画像イベント検出部１１２は、予め定めた一定のフレーム間隔で、画像入力部（カメラ）１１１から入力された画像情報に基づいて（ａ）ユーザ位置情報、（ｂ）ユーザ識別情報、（ｃ）顔属性情報（顔属性スコア）を生成して音声・画像統合処理部１３１に入力する。
【００８１】
このとき、図５に示す画像フレーム３５０がイベントの検出対象フレームである場合、画像フレームに含まれる顔画像の数に応じたイベントが検出される。すなわち、図５に示す第１顔画像３５１に対応するイベント１（ｅＩＤ＝１）と、第２顔画像３５２に対応するイベント２（ｅＩＤ＝２）である。
【００８２】
画像イベント検出部１１２は、これらの各イベントの各々（ｅＩＤ＝１，２，・・・）について、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらを生成して音声・画像統合処理部１３１に入力する。すなわち、図５に示すイベント対応情報３６１，３６２である。
【００８３】
音声・画像統合処理部１３１に設定されたパーティクル１〜ｍの各々に含まれるターゲット１〜ｎの各々は、イベント（ｅＩＤ＝１〜ｋ）の各々に予め対応付けられており、それぞれのパーティクルに含まれるどのターゲットを更新するかを予め設定した構成としている。なお、イベント（ｅＩＤ＝１〜ｋ）各々に対するターゲット（ｔＩＤ）の対応付けは、重複しない設定とする。すなわち、各パーティクルで重複がないように取得イベント分のイベント発生源仮説を生成する。
図５に示す例では、
（１）パーティクル１（ｐＩＤ＝１）は、
［イベントＩＤ＝１（ｅＩＤ＝１）］の対応ターゲット＝［ターゲットＩＤ＝１（ｔＩＤ＝１）］、
［イベントＩＤ＝２（ｅＩＤ＝２）］の対応ターゲット＝［ターゲットＩＤ＝２（ｔＩＤ＝２）］、
（２）パーティクル２（ｐＩＤ＝２）は、
［イベントＩＤ＝１（ｅＩＤ＝１）］の対応ターゲット＝［ターゲットＩＤ＝１（ｔＩＤ＝１）］、
［イベントＩＤ＝２（ｅＩＤ＝２）］の対応ターゲット＝［ターゲットＩＤ＝２（ｔＩＤ＝２）］、
：
（ｍ）パーティクルｍ（ｐＩＤ＝ｍ）は、
［イベントＩＤ＝１（ｅＩＤ＝１）］の対応ターゲット＝［ターゲットＩＤ＝２（ｔＩＤ＝２）］、
［イベントＩＤ＝２（ｅＩＤ＝２）］の対応ターゲット＝［ターゲットＩＤ＝１（ｔＩＤ＝１）］、
【００８４】
このように、音声・画像統合処理部１３１に設定されたパーティクル１〜ｍの各々に含まれるターゲット１〜ｎの各々は、イベント（ｅＩＤ＝１〜ｋ）の各々に予め対応付けられており、各イベントＩＤに応じて各パーティクルに含まれるどのターゲットを更新するかが決定された構成を持つ。例えば、図５に示す［イベントＩＤ＝１（ｅＩＤ＝１）］のイベント対応情報３６１によって、パーティクル１（ｐＩＤ＝１）では、ターゲットＩＤ＝１（ｔＩＤ＝１）のデータのみが選択的に更新される。
【００８５】
同様に、図５に示す［イベントＩＤ＝１（ｅＩＤ＝１）］のイベント対応情報３６１によって、パーティクル２（ｐＩＤ＝２）も、ターゲットＩＤ＝１（ｔＩＤ＝１）のデータのみが選択的に更新される。また、図５に示す［イベントＩＤ＝１（ｅＩＤ＝１）］のイベント対応情報３６１によって、パーティクルｍ（ｐＩＤ＝ｍ）では、ターゲットＩＤ＝２（ｔＩＤ＝２）のデータのみが選択的に更新される。
【００８６】
図５に示すイベント発生源仮説データ３７１，３７２が、各パーティクルに設定されたイベント発生源仮説データであり、これらが各パーティクルに設定されており、この情報に従ってイベントＩＤに対応する更新ターゲットが決定される。
【００８７】
各パーティクルに含まれる各ターゲットデータについて図６を参照して説明する。図６は、図５に示すパーティクル１（ｐＩＤ＝１）に含まれる１つのターゲット（ターゲットＩＤ：ｔＩＤ＝ｎ）３７５のターゲットデータの構成である。ターゲット３７５のターゲットデータは、図６に示すように、以下のデータ、すなわち、
（ａ）各ターゲット各々に対応する存在位置の確率分布［ガウス分布：Ｎ（ｍ１ｎ，σ１ｎ）］、
（ｂ）各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）
ｕＩＤ１ｎ１＝０．０
ｕＩＤ１ｎ２＝０．１
：
ｕＩＤ１ｎｋ＝０．５
これらのデータによって構成される。
【００８８】
なお、（ａ）に示すガウス分布：Ｎ（ｍ１ｎ，σ１ｎ）における［ｍ１ｎ，σ１ｎ］の（１ｎ）は、パーティクルＩＤ：ｐＩＤ＝１におけるターゲットＩＤ：ｔＩＤ＝ｎに対応する存在確率分布としてのガウス分布であることを意味する。
また、（ｂ）に示すユーザ確信度情報（ｕＩＤ）における、［ｕＩＤ１ｎ１］に含まれる（１ｎ１）は、パーティクルＩＤ：ｐＩＤ＝１におけるターゲットＩＤ：ｔＩＤ＝ｎの、ユーザ＝ユーザ１である確率を意味する。すなわちターゲットＩＤ＝ｎのデータは、
ユーザ１である確率が０．０、
ユーザ２である確率が０．１、
：
ユーザｋである確率が０．５、
であることを意味している。
【００８９】
図５に戻り、音声・画像統合処理部１３１の設定するパーティクルについての説明を続ける。図５に示すように、音声・画像統合処理部１３１は、予め決定した数＝ｍのパーティクル（ＰＩＤ＝１〜ｍ）を設定し、各パーティクルは、実空間に存在すると推定されるターゲット（ｔＩＤ＝１〜ｎ）各々について、
（ａ）各ターゲット各々に対応する存在位置の確率分布［ガウス分布：Ｎ（ｍ，σ）］、
（ｂ）各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）
これらのターゲットデータを有する。
【００９０】
音声・画像統合処理部１３１は、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア［ＳｅＩＤ］）
これらのイベント情報（ｅＩＤ＝１，２・・・）を入力し、各パーティクルにおいて予め設定されたイベント対応のターゲットの更新を実行する。
【００９１】
なお、更新対象は各ターゲットデータに含まれる以下のデータ、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
これらのデータである。
【００９２】
（ｃ）顔属性情報（顔属性スコア［ＳｅＩＤ］）は、イベント発生源を示す［シグナル情報］として最終的に利用される。ある程度の数のイベントが入力されると、各パーティクルの重み（ウェイト）も更新され、実空間の情報に最も近いデータを持つパーティクルの重みが大きくなり、実空間の情報に適合しないデータを持つパーティクルの重みが小さくなっていく。このようにパーティクルの重みに偏りが発生し収束した段階で、顔属性情報（顔属性スコア）に基づくシグナル情報、すなわち、イベント発生源を示す［シグナル情報］が算出される。
【００９３】
ある特定のターゲットｙ（ｔＩＤ＝ｙ）が、あるイベント（ｅＩＤ＝ｘ）の発生源である確率を、
ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）
として示す。例えば、図５に示すようにｍ個のパーティクル（ｐＩＤ＝１〜ｍ）が設定され、各パーティクルに２つのターゲット（ｔＩＤ＝１，２）が設定されている場合、
第１ターゲット（ｔＩＤ＝１）が第１イベント（ｅＩＤ＝１）の発生源である確率は、
ＰｅＩＤ＝１（ｔＩＤ＝１）
第２ターゲット（ｔＩＤ＝２）が第１イベント（ｅＩＤ＝１）の発生源である確率は、
ＰｅＩＤ＝１（ｔＩＤ＝２）
である。
また、
第１ターゲット（ｔＩＤ＝１）が第２イベント（ｅＩＤ＝２）の発生源である確率は、
ＰｅＩＤ＝２（ｔＩＤ＝１）
第２ターゲット（ｔＩＤ＝２）が第２イベント（ｅＩＤ＝２）の発生源である確率は、
ＰｅＩＤ＝２（ｔＩＤ＝２）
である。
【００９４】
イベント発生源を示す［シグナル情報］は、あるイベント（ｅＩＤ＝ｘ）の発生源が特定のターゲットｙ（ｔＩＤ＝ｙ）である確率、
ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）
であり、これは、音声・画像統合処理部１３１に設定されたパーティクル数：ｍと、各イベントに対するターゲットの割り当て数との比に相当し、図５に示す例では、
ＰｅＩＤ＝１（ｔＩＤ＝１）＝［第１イベント（ｅＩＤ＝１）にｔＩＤ＝１を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝１（ｔＩＤ＝２）＝［第１イベント（ｅＩＤ＝１）にｔＩＤ＝２を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝２（ｔＩＤ＝１）＝［第２イベント（ｅＩＤ＝２）にｔＩＤ＝１を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝２（ｔＩＤ＝２）＝［第２イベント（ｅＩＤ＝２）にｔＩＤ＝２を割り当てたパーティクル数）／（ｍ）］
このような対応関係となる。
このデータがイベント発生源を示す［シグナル情報］として最終的に利用される。
【００９５】
さらに、あるイベント（ｅＩＤ＝ｘ）の発生源が特定のターゲットｙ（ｔＩＤ＝ｙ）である確率、
ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）
このデータは、ターゲット情報に含まれる顔属性情報の算出にも適用される。すなわち、
顔属性情報ＳｔＩＤ＝１〜ｎの算出の際に利用される。顔属性情報ＳｔＩＤ＝ｙは、ターゲットＩＤ＝ｙのターゲットの最終的な顔属性の期待値、すなわち、発話者である可能性を示す値に相当する。
【００９６】
音声・画像統合処理部１３１は、音声イベント検出部１２２および画像イベント検出部１１２から、イベント情報（ｅＩＤ＝１，２・・・）を入力し、各パーティクルにおいて予め設定されたイベント対応のターゲットの更新を実行して、
（ａ）複数のユーザが、それぞれどこにいるかを示す位置推定情報と、誰であるかの推定情報（ｕＩＤ推定情報）、さらに、顔属性情報（ＳｔＩＤ）の期待値、例えば口を動かして話しをしていることを示す顔属性期待値を含む［ターゲット情報］、
（ｂ）例えば話をしたユーザなどのイベント発生源を示す［シグナル情報］、
これらを生成して処理決定部１３２に出力する。
【００９７】
［ターゲット情報］は、図７の右端のターゲット情報３８０に示すように、各パーティクル（ＰＩＤ＝１〜ｍ）に含まれる各ターゲット（ｔＩＤ＝１〜ｎ）対応データの重み付き総和データとして生成される。図７には、音声・画像統合処理部１３１の有するｍ個のパーティクル（ｐＩＤ＝１〜ｍ）と、これらのｍ個のパーティクル（ｐＩＤ＝１〜ｍ）から生成されるターゲット情報３８０を示している。各パーティクルの重みについては後述する。
【００９８】
ターゲット情報３８０は、音声・画像統合処理部１３１が予め設定した仮想的なユーザに対応するターゲット（ｔＩＤ＝１〜ｎ）の
（ａ）存在位置
（ｂ）誰であるか（ｕＩＤ１〜ｕＩＤｋのいずれであるか）
（ｃ）顔属性の期待値（本処理例では発話者である期待値（確率））
これらを示す情報である。
【００９９】
各ターゲットの（ｃ）顔属性の期待値（本処理例では発話者である期待値（確率））は、前述したようにイベント発生源を示す［シグナル情報］に相当する確率、
ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）
と、各イベントに対応する顔属性スコアＳｅＩＤ＝ｉに基づいて算出される。ｉはイベントＩＤである。
例えばターゲットＩＤ＝１の顔属性の期待値：ＳｔＩＤ＝１は、以下の式で算出される。
ＳｔＩＤ＝１＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝１）×ＳｅＩＤ＝ｉ
一般化して示すと、
ターゲットの顔属性の期待値：ＳｔＩＤは、以下の式で算出される。
ＳｔＩＤ＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ）×ＳｅＩＤ
・・・（式１）
として示される。
【０１００】
例えば、図５に示すように、システム内部にターゲットが２つ存在する場合、画像１フレーム内の画像イベント検出部１１２から、顔画像イベント２つ（ｅＩＤ＝１，２）が音声・画像統合処理部１３１に入力された際の各ターゲット（ｔＩＤ＝１，２）顔属性の期待値計算例を図８に示す。
【０１０１】
図８に示す右端のデータは、図７に示すターゲット情報３８０に相当するターゲット情報３９０であり、各パーティクル（ＰＩＤ＝１〜ｍ）に含まれる各ターゲット（ｔＩＤ＝１〜ｎ）対応データの重み付き総和データとして生成される情報に相当する。
【０１０２】
このターゲット情報３９０における各ターゲットの顔属性は、前述したようにイベント発生源を示す［シグナル情報］に相当する確率［ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）］と、各イベントに対応する顔属性スコア［ＳｅＩＤ＝ｉ］に基づいて算出される。ｉはイベントＩＤである。
ターゲットＩＤ＝１の顔属性の期待値：ＳｔＩＤ＝１は、
ＳｔＩＤ＝１＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝１）×ＳｅＩＤ＝ｉ
ターゲットＩＤ＝２の顔属性の期待値：ＳｔＩＤ＝２は、
ＳｔＩＤ＝２＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝２）×ＳｅＩＤ＝ｉ
このように示される。
これら各ターゲットの顔属性の期待値：ＳｔＩＤの全ターゲットの総和は［１］になる。本処理例では、各ターゲットについて１〜０の顔属性の期待値：ＳｔＩＤが設定され、期待値が高いターゲットは発話者である確率が高いと判定される。
【０１０３】
なお、顔画像イベントｅＩＤに（顔属性スコア［ＳｅＩＤ］）が存在しない場合（例えば、顔検出できても口が手で覆われていて口の動き検出ができない場合）は顔属性スコア［ＳｅＩＤ］に事前知識の値［Ｓｐｒｉｏｒ］等を用いる。事前知識の値としては、各ターゲット毎に直前に取得した値が存在する場合はその値を用いたり、事前にオフラインで所得した顔画像イベントから顔属性の平均値を計算しておきその値を用いたりする構成が可能である。
【０１０４】
ターゲット数と画像１フレーム内の顔画像イベントは常に同数とは限らない。ターゲット数が顔画像イベント数よりも多いときには、前述したイベント発生源を示す［シグナル情報］に相当する確率［ＰｅＩＤ（ｔＩＤ）］の総和が［１］にならないため、前述した各ターゲットの顔属性の期待値算出式、すなわち、
ＳｔＩＤ＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ）×ＳｅＩＤ
・・・（式１）
上記式の各ターゲットについての期待値総和も［１］にならず、精度の高い期待値が計算できない。
【０１０５】
図９に示すように、画像フレーム３５０に前の処理フレームには存在していた第３イベント対応の第３顔画像３９５が検出されなくなった場合には、上記式（式１）の各ターゲットについての期待値総和も［１］にならず、精度の高い期待値が計算できない。このような場合、各ターゲットの顔属性の期待値算出式を変更する。すなわち、各ターゲットの顔属性の期待値［ＳｔＩＤ］の総和を［１］にするために、補数［１−ΣｅＩＤＰｅＩＤ（ｔＩＤ）］と事前知識の値［Ｓｐｒｉｏｒ］を用いて顔イベント属性の期待値ＳｔＩＤを次式（式２）で計算する。
ＳｔＩＤ＝ΣｅＩＤＰｅＩＤ（ｔＩＤ）×ＳｅＩＤ＋（１−ΣｅＩＤＰｅＩＤ（ｔＩＤ））×Ｓｐｒｉｏｒ
・・・（式２）
【０１０６】
図９は、システム内部にイベント対応のターゲットが３つ設定されているが、画像１フレーム内の顔画像イベントとして２つのみが画像イベント検出部１１２から、音声・画像統合処理部１３１に入力された際の顔属性の期待値計算例を示している。
【０１０７】
ターゲットＩＤ＝１の顔属性の期待値：ＳｔＩＤ＝１は、
ＳｔＩＤ＝１＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝１）×ＳｅＩＤ＝ｉ＋（１−ΣｅＩＤＰｅＩＤ（ｔＩＤ＝１）×Ｓｐｒｉｏｒ
ターゲットＩＤ＝２の顔属性の期待値：ＳｔＩＤ＝２は、
ＳｔＩＤ＝２＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝２）×ＳｅＩＤ＝ｉ＋（１−ΣｅＩＤＰｅＩＤ（ｔＩＤ＝２）×Ｓｐｒｉｏｒ
ターゲットＩＤ＝３の顔属性の期待値：ＳｔＩＤ＝３は、
ＳｔＩＤ＝３＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝３）×ＳｅＩＤ＝ｉ＋（１−ΣｅＩＤＰｅＩＤ（ｔＩＤ＝３）×Ｓｐｒｉｏｒ
このように計算される。
【０１０８】
なお、逆に、ターゲット数が顔画像イベント数よりも少ないときは、イベント数と同数になるようにターゲットを生成して前述の（式１）を適用して各ターゲットの顔属性の期待値［ＳｔＩＤ＝１］を算出する。
【０１０９】
なお、顔属性は、本処理例では、口の動きに対応するスコアに基づく顔属性期待値、すなわち各ターゲットが発話者である期待値を示すデータとして説明しているが、前述したように、顔属性スコアは、笑顔や年齢などのスコアとして算出することが可能であり、この場合の顔属性期待値は、そのスコアに対応する属性に対応するデータとして算出されることになる。
【０１１０】
また、後段の項目［２．音声および画像ベースの発話認識によるスコア（ＡＶＳＲスコア）算出処理を伴う発話者の特定処理について］において説明するが、発話認識によるスコア（ＡＶＳＲスコア）の算出も可能であり、この場合の顔属性期待値は、この発話認識によるスコアに対応する属性に対応するデータとして算出されることになる。
【０１１１】
ターゲット情報は、パーティクルの更新に伴い、順次更新されることになり、例えばユーザ１〜ｋが実環境内で移動しない場合、ユーザ１〜ｋの各々が、ｎ個のターゲット（ｔＩＤ＝１〜ｎ）から選択されたｋ個にそれぞれ対応するデータとして収束することになる。
【０１１２】
例えば、図７に示すターゲット情報３８０中の最上段のターゲット１（ｔＩＤ＝１）のデータ中に含まれるユーザ確信度情報（ｕＩＤ）は、ユーザ２（ｕＩＤ１２＝０．７）について最も高い確率を有している。従って、このターゲット１（ｔＩＤ＝１）のデータは、ユーザ２に対応するものであると推定されることになる。なお、ユーザ確信度情報（ｕＩＤ）を示すデータ［ｕＩＤ１２＝０．７］中の（ｕＩＤ１２）内の（１２）は、ターゲットＩＤ＝１のユーザ＝２のユーザ確信度情報（ｕＩＤ）に対応する確率であることを示している。
【０１１３】
このターゲット情報３８０中の最上段のターゲット１（ｔＩＤ＝１）のデータは、ユーザ２である確率が最も高く、このユーザ２は、その存在位置が、ターゲット情報３８０中の最上段のターゲット１（ｔＩＤ＝１）のデータに含まれる存在確率分布データに示す範囲にいると推定されることなる。
【０１１４】
このように、ターゲット情報３８０は、初期的に仮想的なオブジェクト（仮想ユーザ）として設定した各ターゲット（ｔＩＤ＝１〜ｎ）の各々について、
（ａ）存在位置
（ｂ）誰であるか（ｕＩＤ１〜ｕＩＤｋのいずれであるか）
（ｃ）顔属性期待値（本処理例では発話者である期待値（確率））
の各情報を示す。従って、各ターゲット（ｔＩＤ＝１〜ｎ）のｋ個のターゲット情報の各々は、ユーザが移動しない場合は、ユーザ１〜ｋに対応するように収束する。
【０１１５】
先に説明したように、音声・画像統合処理部１３１は、入力情報に基づくパーティクルの更新処理を実行して、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］、
（ｂ）例えば話をしたユーザなどのイベント発生源を示す［シグナル情報］、
これらを生成して処理決定部１３２に出力する。
【０１１６】
このように、音声・画像統合処理部１３１は、仮想的なユーザに対応する複数のターゲットデータを設定した複数のパーティクルを適用したパーティクルフィルタリング処理を実行して実空間に存在するユーザの位置情報を含む解析情報を生成する。すなわち、パーティクルに設定するターゲットデータの各々をイベント検出部から入力するイベント各々に対応付けて設定し、入力イベント識別子に応じて各パーティクルから選択されるイベント対応ターゲットデータの更新を行う。
【０１１７】
また、音声・画像統合処理部１３１は、各パーティクルに設定したイベント発生源仮説ターゲットと、イベント検出部から入力するイベント情報との尤度を算出し、該尤度の大小に応じた値をパーティクル重みとして各パーティクルに設定し、パーティクル重みの大きいパーティクルを優先的に再選択するリサンプリング処理を実行して、パーティクルの更新処理を行う。この処理については後述する。さらに、各パーティクルに設定したターゲットについて、経過時間を考慮した更新処理を実行する。また、パーティクルの各々に設定したイベント発生源仮説ターゲットの数に応じて、イベント発生源の確率値としてのシグナル情報の生成を行う。
【０１１８】
音声・画像統合処理部１３１が、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報、すなわち、ユーザ位置情報と、ユーザ識別情報（顔識別情報または話者識別情報）、これらのイベント情報を入力して、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］、
（ｂ）例えば話をしたユーザなどのイベント発生源を示す［シグナル情報］、
これらの情報を生成して処理決定部１３２に出力する処理シーケンスについて、図１０に示すフローチャートを参照して説明する。
【０１１９】
まず、ステップＳ１０１において、音声・画像統合処理部１３１は、音声イベント検出部１２２および画像イベント検出部１１２から、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらのイベント情報を入力する。
【０１２０】
イベント情報の取得に成功した場合は、ステップＳ１０２に進み、イベント情報の取得に失敗した場合は、ステップＳ１２１に進む。ステップＳ１２１の処理については後段で説明する。
【０１２１】
イベント情報の取得に成功した場合は、音声・画像統合処理部１３１は、ステップＳ１０２以下において、入力情報に基づくパーティクル更新処理を行うことになるが、パーティクル更新処理の前に、まずステップＳ１０２において、各パーティクルに対する新たなターゲットの設定が必要であるか否かを判定する。本発明の構成では、先に、図５を参照して説明したように、音声・画像統合処理部１３１に設定される各パーティクル１〜ｍに含まれるターゲット１〜ｎの各々は、入力するイベント情報の各々（ｅＩＤ＝１〜ｋ）に予め対応付けられており、その対応に従って、入力イベントに対応する選択されたターゲットの更新が実行する構成としている。
【０１２２】
従って、例えば画像イベント検出部１１２から入力するイベント数が、ターゲット数より多い場合には、新たなターゲットの設定を行なうことが必要となる。具体的には、例えば図５に示す画像フレーム３５０にこれまで存在しなかった顔が出現した場合などである。このような場合は、ステップＳ１０３に進み、各パーティクルに新たなターゲットを設定する。このターゲットはこの新たなイベントに対応して更新されるターゲットとして設定される。
【０１２３】
次に、ステップＳ１０４において、音声・画像統合処理部１３１に設定されたパーティクル１〜ｍのｍ個のパーティクル（ｐＩＤ＝１〜ｍ）の各々にイベントの発生源の仮説を設定する。イベント発生源とは、例えば、音声イベントであれば、話をしたユーザがイベント発生源であり、画像イベントであれば、抽出した顔を持つユーザがイベント発生源である。
【０１２４】
本発明の仮説設定処理は、先に図５等を参照して説明したように、各パーティクル１〜ｍに含まれるターゲット１〜ｎの各々に、入力するイベント情報の各々（ｅＩＤ＝１〜ｋ）を対応付けて設定する。
【０１２５】
すなわち、先に図５を参照して説明したように、パーティクル１〜ｍの各々に含まれるターゲット１〜ｎの各々は、イベント（ｅＩＤ＝１〜ｋ）の各々に対応付けて、それぞれのパーティクルに含まれるどのターゲットを更新するかが予め設定される。このように各パーティクルで、重複がないように取得イベント分のイベント発生源仮説を生成する。なお、初期的には例えば各イベントが均等に配分されるような設定としてよい。パーティクルの数：ｍは、ターゲットの数：ｎより大きく設定されるので、複数のパーティクルが同一のイベントＩＤ−ターゲットＩＤの対応をもつパーティクルとして設定される。例えば、ターゲットの数：ｎが１０とした場合、パーティクル数：ｍ＝１００〜１０００程度に設定した処理などが行われる。
【０１２６】
ステップＳ１０４における仮説設定の後、ステップＳ１０５に進む。ステップＳ１０５では、各パーティクル対応の重み、すなわちパーティクル重み［ＷｐＩＤ］の算出を行う。このパーティクル重み［ＷｐＩＤ］は初期的には各パーティクルに均一な値が設定されるが、イベント入力に応じて更新される。
【０１２７】
図１１を参照して、パーティクル重み［ＷｐＩＤ］の算出処理の詳細について説明する。パーティクル重み［ＷｐＩＤ］は、イベント発生源の仮説ターゲットを生成した各パーティクルの仮説の正しさの指標に相当する。パーティクル重み［ＷｐＩＤ］は、ｍ個のパーティクル（ｐＩＤ＝１〜ｍ）の各々において設定された複数のターゲット各々に対応付けられたイベント発生源の入力イベントとの類似度であるイベント−ターゲット間尤度として算出される。
【０１２８】
図１１には、音声・画像統合処理部１３１が、音声イベント検出部１２２および画像イベント検出部１１２から入力する１つのイベント（ｅＩＤ＝１）に対応するイベント情報４０１と、音声・画像統合処理部１３１が保持する１つのパーティクル４２１を示している。パーティクル４２１のターゲット（ｔＩＤ＝２）は、イベント（ｅＩＤ＝１）に対応付けられているターゲットである。
【０１２９】
図１１下段には、イベント−ターゲット間尤度の算出処理例を示している。パーティクル重み［ＷｐＩＤ］は、各パーティクルにおいて算出されるイベント−ターゲットとの類似度指標としてのイベント−ターゲット間尤度の総和に対応する値として算出される。
【０１３０】
図１１の下段に示す尤度算出処理は、
（ａ）ユーザ位置情報についてのイベントと、ターゲットデータとの類似度データとしてのガウス分布間尤度［ＤＬ］、
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）についてのイベントと、ターゲットデータとの類似度データとしてのユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］
これらを個別に算出する例を示している。
【０１３１】
（ａ）ユーザ位置情報についてのイベントと、仮説ターゲットとの類似度データとしてのガウス分布間尤度［ＤＬ］の算出処理は以下の処理となる。
入力イベント情報中の、ユーザ位置情報に対応するガウス分布をＮ（ｍｅ，σｅ）、
パーティクルから選択された仮説ターゲットのユーザ位置情報に対応するガウス分布をＮ（ｍｔ，σｔ）、
として、ガウス分布間尤度［ＤＬ］を、以下の式によって算出する。
ＤＬ＝Ｎ（ｍｔ，σｔ＋σｅ）ｘ｜ｍｅ
上記式は、中心ｍｔで分散σｔ＋σｅのガウス分布においてｘ＝ｍｅの位置の値を算出する式である。
【０１３２】
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）についてのイベントと、仮説ターゲットとの類似度データとしてのユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］の算出処理は以下の処理となる。
入力イベント情報中の、ユーザ確信度情報（ｕＩＤ）の各ユーザ１〜ｋの確信度の値（スコア）をＰｅ［ｉ］とする。なお、ｉはユーザ識別子１〜ｋに対応する変数である。
パーティクルから選択された仮説ターゲットのユーザ確信度情報（ｕＩＤ）の各ユーザ１〜ｋの確信度の値（スコア）をＰｔ［ｉ］として、ユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］は、以下の式によって算出する。
ＵＬ＝ΣＰｅ［ｉ］×Ｐｔ［ｉ］
上記式は、２つのデータのユーザ確信度情報（ｕＩＤ）に含まれる各対応ユーザの確信度の値（スコア）の積の総和を求める式であり、この値をユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］とする。
【０１３３】
パーティクル重み［ＷｐＩＤ］は、上記の２つの尤度、すなわち、
ガウス分布間尤度［ＤＬ］と、
ユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］
これら２つの尤度を利用し、重みα（α＝０〜１）を用いて下式によって算出する。
パーティクル重み［ＷｐＩＤ］＝ΣｎＵＬα×ＤＬ１−α
ｎは、パーティクルに含まれるイベント対応ターゲットの数である。
上記式により、パーティクル重み［ＷｐＩＤ］を算出する。
ただし、α＝０〜１とする。
このパーティクル重み［ＷｐＩＤ］は、各パーティクルについて各々算出する。
【０１３４】
なお、パーティクル重み［ＷｐＩＤ］の算出に適用する重み［α］は、予め固定された値としてもよいし、入力イベントに応じて値を変更する設定としてもよい。例えば入力イベントが画像である場合において、顔検出に成功し位置情報は取得できたが顔識別に失敗した場合などは、α＝０の設定として、ユーザ確信度情報（ｕＩＤ）間尤度：ＵＬ＝１としてガウス分布間尤度［ＤＬ］のみに依存してパーティクル重み［ＷｐＩＤ］を算出する構成としてもよい。また、入力イベントが音声である場合において、話者識別に成功し話者情報破取得できたが、位置情報の取得に失敗した場合などは、α＝０の設定として、ガウス分布間尤度［ＤＬ］＝１として、ユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］のみに依存してパーティクル重み［ＷｐＩＤ］を算出する構成としてもよい。
【０１３５】
図１０のフローにおけるステップＳ１０５の各パーティクル対応の重み［ＷｐＩＤ］の算出は、このように図１１を参照して説明した処理として実行される。次に、ステップＳ１０６において、ステップＳ１０５で設定した各パーティクルのパーティクル重み［ＷｐＩＤ］に基づくパーティクルのリサンプリング処理を実行する。
【０１３６】
このパーティクルリサンプリング処理は、ｍ個のパーティクルから、パーティクル重み［ＷｐＩＤ］に応じてパーティクルを取捨選択する処理として実行される。具体的には、例えば、パーティクル数：ｍ＝５のとき、
パーティクル１：パーティクル重み［ＷｐＩＤ］＝０．４０
パーティクル２：パーティクル重み［ＷｐＩＤ］＝０．１０
パーティクル３：パーティクル重み［ＷｐＩＤ］＝０．２５
パーティクル４：パーティクル重み［ＷｐＩＤ］＝０．０５
パーティクル５：パーティクル重み［ＷｐＩＤ］＝０．２０
これらのパーティクル重みが各々設定されていた場合、
パーティクル１は、４０％の確率でリサンプリングされ、パーティクル２は１０％の確率でリサンプリングされる。なお、実際にはｍ＝１００〜１０００といった多数であり、リサンプリングされた結果は、パーティクルの重みに応じた配分比率のパーティクルによって構成されることになる。
【０１３７】
この処理によって、パーティクル重み［ＷｐＩＤ］の大きなパーティクルがより多く残存することになる。なお、リサンプリング後もパーティクルの総数［ｍ］は変更されない。また、リサンプリング後は、各パーティクルの重み［ＷｐＩＤ］はリセットされ、新たなイベントの入力に応じてステップＳ１０１から処理が繰り返される。
【０１３８】
ステップＳ１０７では、各パーティクルに含まれるターゲットデータ（ユーザ位置およびユーザ確信度）の更新処理を実行する。各ターゲットは、先に図７等を参照して説明したように、
（ａ）ユーザ位置：各ターゲット各々に対応する存在位置の確率分布［ガウス分布：Ｎ（ｍｔ，σｔ）］、
（ｂ）ユーザ確信度：各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）として各ユーザ１〜ｋである確率値（スコア）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）、すなわち、
ｕＩＤｔ１＝Ｐｔ［１］
ｕＩＤｔ２＝Ｐｔ［２］
：
ｕＩＤｔｋ＝Ｐｔ［ｋ］
さらに、
（ｃ）顔属性の期待値（本処理例では発話者である期待値（確率））
これらのデータによって構成される。
【０１３９】
（ｃ）顔属性の期待値（本処理例では発話者である期待値（確率））は、前述したようにイベント発生源を示す［シグナル情報］に相当する確率、
ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）
と、各イベントに対応する顔属性スコアＳｅＩＤ＝ｉに基づいて算出される。ｉはイベントＩＤである。
例えばターゲットＩＤ＝１の顔属性の期待値：ＳｔＩＤ＝１は、以下の式で算出される。
ＳｔＩＤ＝１＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝１）×ＳｅＩＤ＝ｉ
一般化して示すと、
ターゲットの顔属性の期待値：ＳｔＩＤは、以下の式で算出される。
ＳｔＩＤ＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ）×ＳｅＩＤ
・・・（式１）
として示される。
【０１４０】
なお、ターゲット数が顔画像イベント数よりも多いときには、各ターゲットの顔属性の期待値［ＳｔＩＤ］の総和を［１］にするために、補数［１−ΣｅＩＤＰｅＩＤ（ｔＩＤ）］と事前知識の値［Ｓｐｒｉｏｒ］を用いて顔イベント属性の期待値［ＳｔＩＤ］は、を次式（式２）で計算される。
ＳｔＩＤ＝ΣｅＩＤＰｅＩＤ（ｔＩＤ）×ＳｅＩＤ＋（１−ΣｅＩＤＰｅＩＤ（ｔＩＤ））×Ｓｐｒｉｏｒ
・・・（式２）
【０１４１】
ステップＳ１０７におけるターゲットデータの更新は、（ａ）ユーザ位置、（ｂ）ユーザ確信度、（ｃ）顔属性の期待値（本処理例では発話者である期待値（確率））の各々について実行する。まず、（ａ）ユーザ位置の更新処理について説明する。
【０１４２】
ユーザ位置の更新は、
（ａ１）全パーティクルの全ターゲットを対象とする更新処理、
（ａ２）各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理、
これらの２段階の更新処理として実行する。
【０１４３】
（ａ１）全パーティクルの全ターゲットを対象とする更新処理は、イベント発生源仮説ターゲットとして選択されたターゲットおよびその他のターゲットのすべてを対象として実行する。この処理は、時間経過に伴うユーザ位置の分散が拡大するという仮定に基づいて実行され、前回の更新処理からの経過時間とイベントの位置情報によってカルマン・フィルタ（Ｋａｌｍａｎ Ｆｉｌｔｅｒ）を用い更新される。
【０１４４】
以下、位置情報が１次元の場合の更新処理例について説明する。まず、前回の更新処理時間からの経過時間［ｄｔ］とし、全ターゲットについての、ｄｔ後のユーザ位置の予測分布を計算する。すなわち、ユーザ位置の分布情報としてのガウス分布：Ｎ（ｍｔ，σｔ）の期待値（平均）：［ｍｔ］、分散［σｔ］について、以下の更新を行う。
ｍｔ＝ｍｔ＋ｘｃ×ｄｔ
σｔ２＝σｔ２＋σｃ２×ｄｔ
なお、
ｍｔ：予測期待値（ｐｒｅｄｉｃｔｅｄ ｓｔａｔｅ）
σｔ２：予測共分散（ｐｒｅｄｉｃｔｅｄ ｅｓｔｉｍａｔｅ ｃｏｖａｒｉａｎｃｅ）
ｘｃ：移動情報（ｃｏｎｔｒｏｌ ｍｏｄｅｌ）
σｃ２：ノイズ（ｐｒｏｃｅｓｓ ｎｏｉｓｅ）
である。
なお、ユーザが移動しない条件の下で処理する場合は、ｘｃ＝０として更新処理を行うことができる。
上記の算出処理により、全ターゲットに含まれるユーザ位置情報としてのガウス分布：Ｎ（ｍｔ，σｔ）を更新する。
【０１４５】
（ａ２）各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理、
次に、各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理について説明する。
ステップＳ１０３において設定したイベントの発生源の仮説に従って選択されたターゲットを更新する。先に図５を参照して説明したように、パーティクル１〜ｍの各々に含まれるターゲット１〜ｎの各々は、イベント（ｅＩＤ＝１〜ｋ）の各々に対応付けられたターゲットとして設定されている。
【０１４６】
すなわち、イベントＩＤ（ｅＩＤ）に応じてそれぞれのパーティクルに含まれるどのターゲットを更新するかが予め設定されており、その設定に従って各入力イベントに対応付けられたターゲットのみを更新する。例えば、図５に示す［イベントＩＤ＝１（ｅＩＤ＝１）］のイベント対応情報３６１によって、パーティクル１（ｐＩＤ＝１）では、ターゲットＩＤ＝１（ｔＩＤ＝１）のデータのみが選択的に更新される。
【０１４７】
このイベントの発生源の仮説に従った更新処理では、このようにイベントに対応付けられたターゲットの更新を行なう。音声イベント検出部１２２や画像イベント検出部１１２から入力するイベント情報に含まれるユーザ位置を示すガウス分布：Ｎ（ｍｅ，σｅ）などを用いた更新処理を実行する。
例えば、
Ｋ：カルマンゲイン（Ｋａｌｍａｎ Ｇａｉｎ）
ｍｅ：入力イベント情報：Ｎ（ｍｅ，σｅ）に含まれる観測値（Ｏｂｓｅｒｖｅｄ ｓｔａｔｅ）
σｅ２：入力イベント情報：Ｎ（ｍｅ，σｅ）に含まれる観測値（Ｏｂｓｅｒｖｅｄ ｃｏｖａｒｉａｎｃｅ）
として、以下の更新処理を行う。
Ｋ＝σｔ２／（σｔ２＋σｅ２）
ｍｔ＝ｍｔ＋Ｋ（ｘｃ−ｍｔ）
σｔ２＝（１−Ｋ）σｔ２
【０１４８】
次に、ターゲットデータの更新処理として実行する（ｂ）ユーザ確信度の更新処理について説明する。ターゲットデータには上記のユーザ位置情報の他に、各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）として各ユーザ１〜ｋである確率値（スコア）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）が含まれている。ステップＳ１０７では、このユーザ確信度情報（ｕＩＤ）についても更新処理を行う。
【０１４９】
各パーティクルに含まれるターゲットのユーザ確信度情報（ｕＩＤ）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）についての更新は、登録ユーザ全員分の事後確率と、音声イベント検出部１２２や画像イベント検出部１１２から入力するイベント情報に含まれるユーザ確信度情報（ｕＩＤ）：Ｐｅ［ｉ］（ｉ＝１〜ｋ）によって、予め設定した０〜１の範囲の値を持つ更新率［β］を適用して更新する。
【０１５０】
ターゲットのユーザ確信度情報（ｕＩＤ）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）についての更新は、以下の式によって実行する。
Ｐｔ［ｉ］＝（１−β）×Ｐｔ［ｉ］＋β＊Ｐｅ［ｉ］
ただし、
ｉ＝１〜ｋ
β：０〜１
である。なお、更新率［β］は、０〜１の範囲の値であり予め設定する。
【０１５１】
ステップＳ１０７では、この更新されたターゲットデータに含まれる以下のデータ、すなわち、
（ａ）ユーザ位置：各ターゲット各々に対応する存在位置の確率分布［ガウス分布：Ｎ（ｍｔ，σｔ）］、
（ｂ）ユーザ確信度：各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）として各ユーザ１〜ｋである確率値（スコア）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）、すなわち、
ｕＩＤｔ１＝Ｐｔ［１］
ｕＩＤｔ２＝Ｐｔ［２］
：
ｕＩＤｔｋ＝Ｐｔ［ｋ］
（ｃ）顔属性の期待値（本処理例では発話者である期待値（確率））
これらのデータによって構成される。
これらのデータと、各パーティクル重み［ＷｐＩＤ］とに基づいて、ターゲット情報を生成して、処理決定部１３２に出力する。
【０１５２】
なお、ターゲット情報は、各パーティクル（ＰＩＤ＝１〜ｍ）に含まれる各ターゲット（ｔＩＤ＝１〜ｎ）対応データの重み付き総和データとして生成される。図７の右端のターゲット情報３８０に示すデータである。ターゲット情報は、各ターゲット（ｔＩＤ＝１〜ｎ）各々の
（ａ）ユーザ位置情報、
（ｂ）ユーザ確信度情報、
（ｃ）顔属性の期待値（本処理例では発話者である期待値（確率））
これらの情報を含む情報として生成される。
【０１５３】
例えば、ターゲット（ｔＩＤ＝１）に対応するターゲット情報中の、ユーザ位置情報は、
【数１】
【０１５４】
上記式で表される。上記式において、Ｗｉは、パーティクル重み［ＷｐＩＤ］を示している。
【０１５５】
また、ターゲット（ｔＩＤ＝１）に対応するターゲット情報中の、ユーザ確信度情報は、
【数２】
【０１５６】
上記式で表される。上記式において、Ｗｉは、パーティクル重み［ＷｐＩＤ］を示している。
【０１５７】
また、ターゲット（ｔＩＤ＝１）に対応するターゲット情報中の、顔属性の期待値（本処理例では発話者である期待値（確率））は、
ＳｔＩＤ＝１＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝１）×ＳｅＩＤ＝ｉ
上記式、または、
ＳｔＩＤ＝１＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝１）×ＳｅＩＤ＝ｉ＋（１−ΣｅＩＤＰｅＩＤ（ｔＩＤ＝１）×Ｓｐｒｉｏｒ
で表される。
【０１５８】
音声・画像統合処理部１３１は、これらのターゲット情報をｎ個の各ターゲット（ｔＩＤ＝１〜ｎ）各々について算出し、算出したターゲット情報を処理決定部１３２に出力する。
【０１５９】
次に、図８に示すフローのステップＳ１０８の処理について説明する。音声・画像統合処理部１３１は、ステップＳ１０８において、ｎ個のターゲット（ｔＩＤ＝１〜ｎ）の各々がイベントの発生源である確率を算出し、これをシグナル情報として処理決定部１３２に出力する。
【０１６０】
先に説明したように、イベント発生源を示す［シグナル情報］は、音声イベントについては、誰が話をしたか、すなわち［発話者］を示すデータであり、画像イベントについては、画像に含まれる顔が誰であるかおよび［発話者］を示すデータである。
【０１６１】
音声・画像統合処理部１３１は、各パーティクルに設定されたイベント発生源の仮説ターゲットの数に基づいて、各ターゲットがイベント発生源である確率を算出する。すなわち、ターゲット（ｔＩＤ＝１〜ｎ）の各々がイベント発生源である確率を［Ｐ（ｔＩＤ＝ｉ）とする。ただしｉ＝１〜ｎである。例えば、あるイベント（ｅＩＤ＝ｘ）の発生源が特定のターゲットｙ（ｔＩＤ＝ｙ）である確率は、先に説明したように、
ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）
として示され、これは、音声・画像統合処理部１３１に設定されたパーティクル数：ｍと、各イベントに対するターゲットの割り当て数との比に相当する。例えば、図５に示す例では、
ＰｅＩＤ＝１（ｔＩＤ＝１）＝［第１イベント（ｅＩＤ＝１）にｔＩＤ＝１を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝１（ｔＩＤ＝２）＝［第１イベント（ｅＩＤ＝１）にｔＩＤ＝２を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝２（ｔＩＤ＝１）＝［第２イベント（ｅＩＤ＝２）にｔＩＤ＝１を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝２（ｔＩＤ＝２）＝［第２イベント（ｅＩＤ＝２）にｔＩＤ＝２を割り当てたパーティクル数）／（ｍ）］
このような対応関係となる。
このデータがイベント発生源を示す［シグナル情報］として、処理決定部１３２に出力される。
【０１６２】
ステップＳ１０８の処理が終了したら、ステップＳ１０１に戻り、音声イベント検出部１２２および画像イベント検出部１１２からのイベント情報の入力の待機状態に移行する。
【０１６３】
以上が、図１０に示すフローのステップＳ１０１〜Ｓ１０８の説明である。ステップＳ１０１において、音声・画像統合処理部１３１が、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報を取得できなかった場合も、ステップＳ１２１において、各パーティクルに含まれるターゲットの構成データの更新が実行される。この更新は、時間経過に伴うユーザ位置の変化を考慮した処理である。
【０１６４】
このターゲット更新処理は、先のステップＳ１０７の説明における（ａ１）全パーティクルの全ターゲットを対象とする更新処理と同様の処理であり、時間経過に伴うユーザ位置の分散が拡大するという仮定に基づいて実行され、前回の更新処理からの経過時間とイベントの位置情報によってカルマン・フィルタ（Ｋａｌｍａｎ Ｆｉｌｔｅｒ）を用い更新される。
【０１６５】
位置情報が１次元の場合の更新処理例について説明する。まず、前回の更新処理時間からの経過時間［ｄｔ］とし、全ターゲットについての、ｄｔ後のユーザ位置の予測分布を計算する。すなわち、ユーザ位置の分布情報としてのガウス分布：Ｎ（ｍｔ，σｔ）の期待値（平均）：［ｍｔ］、分散［σｔ］について、以下の更新を行う。
ｍｔ＝ｍｔ＋ｘｃ×ｄｔ
σｔ２＝σｔ２＋σｃ２×ｄｔ
なお、
ｍｔ：予測期待値（ｐｒｅｄｉｃｔｅｄ ｓｔａｔｅ）
σｔ２：予測共分散（ｐｒｅｄｉｃｔｅｄ ｅｓｔｉｍａｔｅ ｃｏｖａｒｉａｎｃｅ）
ｘｃ：移動情報（ｃｏｎｔｒｏｌ ｍｏｄｅｌ）
σｃ２：ノイズ（ｐｒｏｃｅｓｓ ｎｏｉｓｅ）
である。
なお、ユーザが移動しない条件の下で処理する場合は、ｘｃ＝０として更新処理を行うことができる。
上記の算出処理により、全ターゲットに含まれるユーザ位置情報としてのガウス分布：Ｎ（ｍｔ，σｔ）を更新する。
【０１６６】
なお、各パーティクルのターゲットに含まれるユーザ確信度情報（ｕＩＤ）については、イベントの登録ユーザ全員分の事後確率、もしくはイベント情報からスコア［Ｐｅ］が取得できない限りは更新しない。
【０１６７】
ステップＳ１２１の処理が終了したら、ステップＳ１２２において、ターゲットの削除要否を判定し必要であればステップＳ１２３においてターゲットを削除する。ターゲット削除は、例えば、ターゲットに含まれるユーザ位置情報にピークが検出されない場合など、特定のユーザ位置が得られていないようなデータを削除する処理として実行される。このようなターゲットがない場合は削除処理は不要であるステップＳ１２２〜Ｓ１２３の処理後にステップＳ１０１に戻り、音声イベント検出部１２２および画像イベント検出部１１２からのイベント情報の入力の待機状態に移行する。
【０１６８】
以上、図１０を参照して音声・画像統合処理部１３１の実行する処理について説明した。音声・画像統合処理部１３１は、図１０に示すフローに従った処理を音声イベント検出部１２２および画像イベント検出部１１２からのイベント情報の入力ごとに繰り返し実行する。この繰り返し処理により、より信頼度の高いターゲットを仮説ターゲットとして設定したパーティクルの重みが大きくなり、パーティクル重みに基づくリサンプリング処理により、より重みの大きいパーティクルが残存することになる。結果として音声イベント検出部１２２および画像イベント検出部１１２から入力するイベント情報に類似する信頼度の高いデータが残存することになり、最終的に信頼度の高い以下の各情報、すなわち、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］、
（ｂ）例えば話をしたユーザなどのイベント発生源を示す［シグナル情報］、
これらが生成されて処理決定部１３２に出力される。
【０１６９】
［２．音声および画像ベースの発話認識によるスコア（ＡＶＳＲスコア）算出処理を伴う発話者の特定処理について］
上述した項目［１．音声および画像イベント検出情報に基づくパーティクルフィルタリング処理によるユーザの位置およびユーザ識別処理の概要について］の処理では、発話者の特定のために顔属性情報（顔属性スコア）を生成していた。
すなわち、図２に示す情報処理装置における画像イベント検出部１１２が入力画像に含まれる顔の口領域の動きの大きさに応じたスコアを算出し、このスコアを利用して発話者の特定を行なう処理である。ただし、先に簡単に説明したように、口の動きの大きさからスコアを算出した処理では、ガムをかんでいるユーザやシステムに対する発話と無関係な発話や口の動きなどを区別できないため、システムに対する要求を行っているユーザの発話を特定しにくいという問題がある。
【０１７０】
以下では、このような欠点を解決した手法として、画像に含まれる顔の口領域の動きと発話認識との対応関係に応じたスコアを算出して発話者を特定する処理を行う構成について説明する。
図１２は、この処理を行う情報処理装置５００の構成例を示す図である。図１２に示す情報処理装置５００は、入力デバイスとして画像入力部（カメラ）１１１、複数の音声入力部（マイク）１２１ａ〜ｄを有する。画像入力部（カメラ）１１１から画像情報を入力し、音声入力部（マイク）１２１から音声情報を入力し、これらの入力情報に基づいて解析を行う。複数の音声入力部（マイク）１２１ａ〜ｄの各々は、先に説明した図１に示すように様々な位置に配置されている。
【０１７１】
図１２に示す情報処理装置５００の画像イベント検出部１１２、音声イベント検出部１２２、音声・画像統合処理部１３１、処理決定部１３２は、基本的には図２に示す情報処理装置１００の対応構成と同様の処理を実行する。
【０１７２】
すなわち、音声イベント検出部１２２は、複数の異なるポジションに配置された複数の音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し、音声の発生源の位置情報を確率分布データとして生成する。具体的には、音源方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。また、予め登録されたユーザの声の特徴情報との比較処理に基づいてユーザ識別情報を生成する。
画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力する画像情報を解析し、画像に含まれる人物の顔を抽出し、顔の位置情報を確率分布データとして生成する。具体的には、顔の位置や方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。
【０１７３】
さらに、本実施例の情報処理装置５００は、図１２に示すように、
音声イベント検出部１２２は、音声ベース発話認識処理部５２２を有する。
画像イベント検出部１１２は、画像ベース発話認識処理部５１２を有する。
【０１７４】
音声イベント検出部１２２の音声ベース発話認識処理部５２２は、音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し、データベース５１０に格納された単語認識辞書に登録された単語に対応する音声情報との比較処理を行い、音声ベースの発話認識処理としてのＡＳＲ（Ａｕｄｉｏ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行する。すなわち、どのような言葉を話したかを識別する音声認識処理を実行し、発話したと推定される可能性の高い単語の情報（ＡＳＲ情報）を生成する。なお、この処理には、例えば、従来から知られる隠れマルコフモデル（ＨＭＭ）を適用した音声認識処理が適用可能である。
【０１７５】
また、画像イベント検出部１１２の画像ベース発話認識処理部５１２は、画像入力部（カメラ）１１１から入力する画像情報を解析し、ユーザの口の動きを解析する。画像ベース発話認識処理部５１２は、画像入力部（カメラ）１１１から入力する画像情報を解析して画像に含まれるターゲット（ｔＩＯＤ＝１〜ｎ）対応の口の動き情報を生成する。すなわちＶＳＲ（Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）によりＶＳＲ情報を生成する。
【０１７６】
音声イベント検出部１２２の音声ベース発話認識処理部５２２は、音声ベースの発話認識処理としてのＡＳＲ（Ａｕｄｉｏ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行して、発話したと推定される可能性の高い単語の情報（ＡＳＲ情報）を音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０に入力する。
同様に、画像イベント検出部１１２の画像ベース発話認識処理部５１２は、画像ベースの発話認識処理としてのＶＳＲ（Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行して、ＶＳＲの結果としての口の動きに関する情報（ＶＳＲ情報）を生成して音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０に入力する。画像ベース発話認識処理部５１２は、少なくとも音声ベース発話認識処理部５２２の検出した単語の発声期間に対応する期間の口の形を示す口形素情報を含むＶＳＲ情報を生成する。
【０１７７】
音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０では、音声ベース発話認識処理部５２２から入力するＡＳＲ情報と、画像ベース発話認識処理部５１２の生成したＶＳＲ情報を適用して、音声情報と画像情報の両者を適用したスコアであるＡＶＳＲ（Ａｕｄｉｏ Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）スコアを算出し、このスコアを音声・画像統合処理部１３１に入力する。
【０１７８】
すなわち、音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０は、音声ベース発話認識処理部５２２から単語情報を入力し、画像ベース発話認識処理部５１２からユーザ単位の口の動き情報を入力し、単語情報に近い口の動きに高いスコアを設定するスコア設定処理を実行してユーザ単位のスコア（ＡＶＳＲスコア）設定処理を実行する。
【０１７９】
具体的には、ＡＳＲ情報に含まれる単語情報を構成する音素単位で、ＶＳＲ情報に含まれるユーザ単位の口形素情報と登録口形素情報とを比較して、類似度の高い口形素を高いスコアとする口形素スコア設定処理を行ない、さらに単語を構成する全音素に対応する口形素スコアの相加平均値または相乗平均値算出処理によってユーザ対応のスコアであるＡＶＳＲスコアを算出する。なお、具体的な処理例については後段で図面を参照して説明する。
【０１８０】
なお、このＡＶＳＲスコアの算出処理には、ＡＳＲ処理と同様の隠れマルコフモデル（ＨＭＭ）を適用した音声認識処理が適用可能である。また、例えば［ｈｔｔｐ：／／ｗｗｗ．ｃｌｓｐ．ｊｈｕ．ｅｄｕ／ｗｓ２０００／ｆｉｎａｌ＿ｒｅｐｏｒｔｓ／ａｖｓｒ／ｗｓ００ａｖｓｒ．ｐｄｆ］に記載の処理を適用することができる。
【０１８１】
音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０の算出したＡＶＳＲスコアが、先の項目［１．音声および画像イベント検出情報に基づくパーティクルフィルタリング処理によるユーザの位置およびユーザ識別処理の概要について］において説明した顔属性スコアに対応するスコアとして利用される。すなわち、発話者の特定処理に用いられる。
【０１８２】
図１３を参照して、ＡＳＲ情報、ＶＳＲ情報、およびＡＶＳＲスコアの算出処理例について説明する。
図１３に示す実環境６０１は、図１に示すようなマイクとカメラの設定された環境である。複数のユーザ（本例では３人）がカメラによって撮影され、さらに「こんにちわ」という言葉がマイクを介して取得される。
【０１８３】
マイクを介して取得された音声信号は、音声イベント検出部１２２内の音声ベース発話認識処理部５２２に入力される。音声ベース発話認識処理部５２２は、音声ベースの発話認識処理［ＡＳＲ］を実行して、発話したと推定される可能性の高い単語の情報（ＡＳＲ情報）を生成して、音声・画像統合処理部１３１に入力する。
この例では、特にノイズ等が多く含まれない限り「こんにちわ」という単語情報が、ＡＳＲ情報として音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０に入力される。
【０１８４】
一方、カメラを介して取得された画像信号は、画像イベント検出部１１２内の画像ベース発話認識処理部５１２に入力される。画像ベース発話認識処理部５１２は、画像ベースの発話認識処理［ＶＳＲ］を実行する。具体的には、図１３に示すように、取得画像に複数のユーザ［ターゲット（ｔＩＤ＝１〜３）］が含まれる場合、各ユーザ［ターゲット（ｔＩＤ＝１〜３）］個別の口の動きを解析する。このユーザ単位の口の動きの解析情報がＶＳＲ情報として音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０に入力される。
【０１８５】
音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０は、音声ベース発話認識処理部５２２から入力するＡＳＲ情報と、画像ベース発話認識処理部５１２の生成したＶＳＲ情報を適用して、音声情報と画像情報の両者を適用したスコアであるＡＶＳＲ（Ａｕｄｉｏ Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）スコアを算出し、このスコアを音声・画像統合処理部１３１に入力する。
ＡＶＳＲスコアは各ユーザ［ターゲット（ｔＩＤ＝１〜３）］に対応するスコアとして算出され、音声・画像統合処理部１３１に入力される。
【０１８６】
図１４を参照して、音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０の実行するＡＶＳＲスコア算出処理例について説明する。
図１４に示す例は、
音声ベース発話認識処理部５２２から入力するＡＳＲ情報、すなわち音声解析の結果認識された単語が「こんにちわ」であり、
画像ベース発話認識処理部５１２から入力するＶＳＲ情報として２ユーザ［ターゲット（ｔＩＤ＝１〜２）］に対応する個別の口の動きの情報（口形素）が得られている場合の処理例である。
【０１８７】
音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０は、以下の処理手順に従って、各ターゲット（ｔＩＤ＝１，２）のＡＶＳＲスコアを算出する。
（手順１）各音素に対応する時刻(ti〜ti-1)での、各音素に対する口形素のスコアを計算する。
（手順２）全スコアの相加・相乗平均値などにより、ＡＶＳＲスコアを算出する。
なお、上述の処理によって、複数のターゲットに対応するＡＶＳＲスコアを算出した後、正規化処理を行ってその正規化後のＡＶＳＲスコアデータを音声・画像統合処理部１３１に入力する。
【０１８８】
図１４に示すように、画像ベース発話認識処理部５１２から入力するＶＳＲ情報は、ユーザ［ターゲット（ｔＩＤ＝１〜２）］に対応する個別の口の動きの情報（口形素）である。
このＶＳＲ情報は、音声ベース発話認識処理部５２２から入力するＡＳＲ情報の「こんにちわ」の発話がなされた時間（ｔ１〜ｔ６）内の各文字単位（各音素）に対応する時刻(ti〜ti-1)での口の形の情報である。
【０１８９】
音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０は、上記（手順１）において、これらの各音素に対応する口の形が、音声ベース発話認識処理部５２２から入力するＡＳＲ情報の「こんにちわ」の各音素［こ］［ん］［に］［ち］［わ］を発声する口の形に近いか否かによって各音素対応の口形素のスコア（Ｓ(ti〜ti-1)）を算出する。
さらに、上記（手順２）において、全スコアの相加・相乗平均値などにより、ＡＶＳＲスコアを算出する。
図１４に示す例では、
ターゲットＩＤ＝１（ｔＩＤ＝１）のユーザのＡＶＳＲスコアＳ（ｔＩＤ＝１）は、
Ｓ（ｔＩＤ＝１）＝ｍｅａｎＳ(ti〜ti-1)
ターゲットＩＤ＝２（ｔＩＤ＝２）のユーザのＡＶＳＲスコアＳ（ｔＩＤ＝２）は、
Ｓ（ｔＩＤ＝２）＝ｍｅａｎＳ(ti〜ti-1)
である。
【０１９０】
なお、図１４に示す例において、画像ベース発話認識処理部５１２から入力するＶＳＲ情報には、音声ベース発話認識処理部５２２から入力するＡＳＲ情報の「こんにちわ」の発話がなされた時間（ｔ１〜ｔ６）内の各文字単位（各音素）に対応する時刻(ti〜ti-1)での口の形の情報のみならず、その前後の無音（ｓｉｌ）状態にある時間（ｔ０〜ｔ１、およびｔ６〜ｔ７）の口形素情報も含まれている例を示している。
【０１９１】
このように、各ターゲットのＡＶＳＲスコアは、「こんにちわ」の単語の発話時間の前後の無音状態の口形素スコアも含めた計算値としてもよい。
なお、実際の発話期間、すなわち、各音素［こ］［ん］［に］［ち］［わ］の発声期間のスコアは、各音素［こ］［ん］［に］［ち］［わ］を発声する口の形に近いか否かによって各音素対応の口形素のスコア（Ｓ（ｔｉ〜ｔｉ−１））を算出する。一方、この無音状態の口形素スコアとしては、例えば、時間ｔ０〜ｔ１の口形素スコアは、［こ］の発声直前の口の形を登録情報としてデータベース５０１に格納しておき、この登録情報に近い形であるほど高いスコアとするといった設定が可能である。
データベース５０１には、各単語の口の形の登録情報として、例えば、
おはよう：ｏ ｈａ ｙｏ ｕ
こんにちわ：ｋｏ ｎ ｎｉ ｃｈｉ ｗａ
・・・・
このような音素単位の口の形の登録情報（口形素情報）が記録されている。音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０は、この登録情報に近い形であるほど高いスコアを設定する。
【０１９２】
なお、口の形に基づくスコア算出のためのデータ生成処理としては、一般的な音声認識のアプローチとして知られる単語認識のための隠れマルコフモデル（ＨＭＭ）の学習処理における音素ＨＭＭの学習処理が有効である。例えば、（ＩＴ テキスト 音声認識システム ２章、３章 ＩＳＢＮ４−２７４−１３２２８−５）に記載された構成と同様のアプローチで、単語ＨＭＭを学習する際に口形素ＨＭＭを学習することが可能である。その際、ＡＳＲとＶＳＲで下記のような共通の音素・口形素を定義しておけば、無音のＶＳＲスコアを算出することが可能となる。
ａ： あ
ｋａ： か
…
ｓｐ： 無音（文中）
ｑ： 無音（促音）
ｓｉｌＢ：無音（文頭）
ｓｉｌＥ：無音（文末）
なお、隠れマルコフモデル（ＨＭＭ）を学習させる際、音素に「音素１つ（モノフォン）」と「音素連続３つ（トライフォン）」があるように、口形素にも「口形素１つ」と「口形素連続３つ」などの対応関係も学習データとしてデータベースに記録して利用することが好ましい。
【０１９３】
図１５を参照して、画像入力部（カメラ）１１１から入力する画像に３人のユーザ［ターゲット（ｔＩＤ＝１〜３）］が含まれ、その中の１人（ｔＩＤ＝１）が実際に「こんにちわ」と発声している場合のＡＶＳＲスコアの算出処理例について説明する。
【０１９４】
図１５に示す例は、３人のターゲット（ｔＩＤ＝１〜３）の各々が以下のような設定である。
ｔＩＤ＝１が、「こんにちわ」と発声している。
ｔＩＤ＝２が無言を継続している。
ｔＩＤ＝３がガムを噛んでいる。
このような設定の場合、先に説明した項目［１．音声および画像イベント検出情報に基づくパーティクルフィルタリング処理によるユーザの位置およびユーザ識別処理の概要について］の処理では、口の動きの大きさによって顔属性情報（顔属性スコア）を決定しているため、ガムを噛んでいるｔＩＤ＝３のターゲットのスコアが高く設定される可能性がある。
【０１９５】
しかし、本処理例で算出するＡＶＳＲスコアは、音声ベース発話認識処理部５２２の検出した発話単語である「こんにちわ」により近い口の動きを持つターゲットのスコア（ＡＶＳＲスコア）が高くなる。
【０１９６】
図１５に示す例では、図１４に示す例と同様、各音素［こ］［ん］［に］［ち］［わ］の発声期間のスコアは、各音素［こ］［ん］［に］［ち］［わ］を発声する口の形に近いか否かによって各音素対応の口形素のスコア（Ｓ(ti〜ti-1)）を算出する。無音状態についても、前述した処理と同様、例えば、時間ｔ０〜ｔ１の口形素スコアは、［こ］の発声直前の口の形を登録情報としてデータベース５０１に格納しておき、この登録情報に近い形であるほど高いスコアとしている。
この結果、図１５に示すように
実際に「こんにちわ」と発声しているｔＩＤ＝１のユーザの口形素スコア（Ｓ(ti〜ti-1)）はすべての時間において、他のターゲット（ｔＩＤ＝２，３）の口形素スコアを上回る結果となっている。
従って、最終的に算出されるＡＶＳＲスコアについても、ターゲーット（ｔＩＤ＝１）のＡＶＳＲスコア：［Ｓ（ｔＩＤ＝１）＝ｍｅａｎＳ(ti〜ti-1)］が他のターゲットを上回る値となる。
【０１９７】
このターゲット対応のＡＶＳＲスコアが音声・画像統合処理部１３１に入力される。音声・画像統合処理部１３１においては、このＡＶＳＲスコアを前述の項目１において説明した顔属性スコアに代わるスコア値として利用して発話者の特定処理を実行する。この処理によって、実際に発話を行っているユーザを高精度に特定することが可能となる。
【０１９８】
なお、先の項目１においても説明したが、例えば、顔検出できても口が手で覆われていて口の動き検出ができない場合などがある。この場合、そのターゲットのＶＳＲ情報は取得することができない。このような場合は、その期間についてのみ口形素スコア（Ｓ(ti〜ti-1)）の代わりに事前知識の値［Ｓｐｒｉｏｒ］を適用する。
【０１９９】
この処理例について、図１６を参照して説明する。
図１６に示す例は、先に説明した図１４の処理例と同様、
音声ベース発話認識処理部５２２から入力するＡＳＲ情報、すなわち音声解析の結果認識された単語が「こんにちわ」であり、
画像ベース発話認識処理部５１２から入力するＶＳＲ情報として２ユーザ［ターゲット（ｔＩＤ＝１〜２）］に対応する個別の口の動きの情報（口形素）が得られている場合の処理例である。
【０２００】
ただし、ｔＩＤ＝１のターゲットについては、時間ｔ２〜ｔ４の期間が口の動きを観測できなかった期間である。同様に、ｔＩＤ＝２のターゲットについては、時間ｔ５の前からｔ６の後の期間が口の動きを観測できなかった期間である。
すなわち、
ターゲット：ｔＩＤ＝１は「んに」において、
ターゲット：ｔＩＤ＝２は「ちわ」において、
口形素スコアが算出不可能である。
このような口形素スコアの算出不可能期間は、音素に対応する口形素の事前知識の値［Ｓｐｒｉｏｒ(ti〜ti-1)］を代用する。
なお、この口形素の事前知識の値［Ｓｐｒｉｏｒ(ti〜ti-1)］は、例えば、
ａ）任意の固定値（０．１，０．２等）、
ｂ）全口形素（Ｎ）に対する一様の値（１／Ｎ）、
ｃ）事前に測定した全口形素の出現頻度に応じて設定した出現確率値、
例えばこれらの値を適用することができる。なお、これらの値は予めデータベース５０１に登録しておく、
【０２０１】
次に、図１７に示すフローチャートを参照してＡＶＳＲスコア算出処理の処理シーケンスについて説明する。なお、この図１７に示すフローの実行主体は、音声ベース発話認識処理部５２２、画像ベース発話認識処理部５１２、および音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０である。
【０２０２】
まず、ステップＳ２０１において、図１５に示す音声入力部（マイク）１２１ａ〜ｄと、画像入力部（カメラ）１１１を介して、音声情報、画像情報が入力される。
音声情報は音声イベント検出部１２２に入力され、画像情報は画像イベント検出部１１２に入力される。
【０２０３】
ステップＳ２０２は音声イベント検出部１２２の音声ベース発話認識処理部５２２の処理である。音声ベース発話認識処理部５２２は、音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し、データベース５１０に格納された単語認識辞書に登録された単語に対応する音声情報との比較処理を行い、音声ベースの発話認識処理としてのＡＳＲ（Ａｕｄｉｏ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行する。すなわち、どのような言葉を話したかを識別する音声認識処理を実行し、発話したと推定される可能性の高い単語の情報（ＡＳＲ情報）を生成する。
【０２０４】
ステップＳ２０３は画像イベント検出部１１２の画像ベース発話認識処理部５ぬ２の処理である。画像ベース発話認識処理部５１２は、画像入力部（カメラ）１１１から入力する画像情報を解析し、ユーザの口の動きを解析する。画像ベース発話認識処理部５１２は、画像入力部（カメラ）１１１から入力する画像情報を解析して画像に含まれるターゲット（ｔＩＯＤ＝１〜ｎ）対応の口の動き情報を生成する。すなわちＶＳＲ（Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）によりＶＳＲ情報を生成する。
【０２０５】
ステップＳ２０４は、音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０の処理である。音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０は、音声ベース発話認識処理部５２２から入力するＡＳＲ情報と、画像ベース発話認識処理部５１２の生成したＶＳＲ情報を適用して、音声情報と画像情報の両者を適用したスコアであるＡＶＳＲ（Ａｕｄｉｏ Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）スコアを算出する。
【０２０６】
このスコア算出処理は、例えば先に図１４〜図１６を参照して説明した処理である。例えば、音声ベース発話認識処理部５２２から入力するＡＳＲ情報の「こんにちわ」の各音素［こ］［ん］［に］［ち］［わ］を発声する口の形に近いか否かによって各音素対応の口形素のスコア（Ｓ(ti〜ti-1)）を算出し、この口形素スコア（Ｓ(ti〜ti-1)）の相加・相乗平均値などにより、ＡＶＳＲスコアを算出する。さらに正規化処理を行った各ターゲット対応のＡＶＳＲスコアを算出する。
【０２０７】
なお、音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０の算出したＡＶＳＲスコアは、図１２に示す音声・画像統合処理部１３１に入力され、発話者特定処理に適用される。
具体的には、先の項目１において説明した顔属性情報（顔属性スコア）の代わりに、このＡＶＳＲスコアが適用され、ＡＶＳＲスコアに基づくパーティクル更新処理が実行される。
【０２０８】
ＡＶＳＲスコアは、顔属性情報（顔属性スコア［ＳｅＩＤ］）と同様、イベント発生源を示す［シグナル情報］として最終的に利用される。ある程度の数のイベントが入力されると、各パーティクルの重み（ウェイト）も更新され、実空間の情報に最も近いデータを持つパーティクルの重みが大きくなり、実空間の情報に適合しないデータを持つパーティクルの重みが小さくなっていく。このようにパーティクルの重みに偏りが発生し収束した段階で、顔属性情報（顔属性スコア）に基づくシグナル情報、すなわち、イベント発生源を示す［シグナル情報］が算出される。
すなわち、パーティクル更新処理の後、図１０に示すフローチャートのステップＳ１０８の処理におけるシグナル情報の生成処理に適用されることになる。
【０２０９】
図８に示すフローのステップＳ１０８の処理について説明する。音声・画像統合処理部１３１は、ステップＳ１０８において、ｎ個のターゲット（ｔＩＤ＝１〜ｎ）の各々がイベントの発生源である確率を算出し、これをシグナル情報として処理決定部１３２に出力する。
【０２１０】
先に説明したように、イベント発生源を示す［シグナル情報］は、音声イベントについては、誰が話をしたか、すなわち［発話者］を示すデータであり、画像イベントについては、画像に含まれる顔が誰であるかおよび［発話者］を示すデータである。
【０２１１】
音声・画像統合処理部１３１は、各パーティクルに設定されたイベント発生源の仮説ターゲットの数に基づいて、各ターゲットがイベント発生源である確率を算出する。すなわち、ターゲット（ｔＩＤ＝１〜ｎ）の各々がイベント発生源である確率を［Ｐ（ｔＩＤ＝ｉ）とする。ただしｉ＝１〜ｎである。例えば、あるイベント（ｅＩＤ＝ｘ）の発生源が特定のターゲットｙ（ｔＩＤ＝ｙ）である確率は、先に説明したように、
ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）
として示され、これは、音声・画像統合処理部１３１に設定されたパーティクル数：ｍと、各イベントに対するターゲットの割り当て数との比に相当する。例えば、図５に示す例では、
ＰｅＩＤ＝１（ｔＩＤ＝１）＝［第１イベント（ｅＩＤ＝１）にｔＩＤ＝１を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝１（ｔＩＤ＝２）＝［第１イベント（ｅＩＤ＝１）にｔＩＤ＝２を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝２（ｔＩＤ＝１）＝［第２イベント（ｅＩＤ＝２）にｔＩＤ＝１を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝２（ｔＩＤ＝２）＝［第２イベント（ｅＩＤ＝２）にｔＩＤ＝２を割り当てたパーティクル数）／（ｍ）］
このような対応関係となる。
このデータがイベント発生源を示す［シグナル情報］として、処理決定部１３２に出力される。
【０２１２】
このように本処理例では、音声ベースの発話認識処理と画像ベースの発話認識処理を併用した処理によって各ターゲットのＡＶＳＲスコアを算出し、ＡＶＳＲスコアを適用して発話源の特定を実行しているので、実際の発話内容に応じた口の動きを示しているユーザ（ターゲット）を高精度に発話源であると判定することが可能となる。このような発話源の推定を行なうことで、発話者の特定処理としてのダイアリゼーションの性能を向上させることが可能となる。
【０２１３】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２１４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２１５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２１６】
以上、説明したように、本発明の一実施例の構成によれば、カメラやマイクを介する入力情報の解析により、発話者の特定処理を行う構成が実現される。音声ベースの発話認識処理と画像ベース発話認識処理を実行する。さらに、音声ベース発話認識処理部において発話可能性が高いと判定した単語情報を入力し、画像ベース発話認識処理において解析されたユーザ単位の口の動き情報である口形素情報を入力して、単語を構成する音素単位で各音素の発話の口の動きに近い場合に高いスコアを設定してユーザ単位のスコアを設定する。さらに、ユーザ単位のスコアを適用してスコアに基づく発話者特定処理を実行する。この処理により発話内容に近い口の動きを示すユーザを発話源として特定可能となり、精度の高い発話者特定が実現される。
【符号の説明】
【０２１７】
１１〜１４ ユーザ
２１ カメラ
３１〜３４ マイク
１００ 情報処理装置
１１１ 画像入力部
１１２ 画像イベント検出部
１２１ 音声入力部
１２２ 音声イベント検出部
１３１ 音声・画像統合処理部
１３２ 処理決定部
２０１〜２０ｋ ユーザ
３０１ ユーザ
３０２ 画像データ
３５０ 画像フレーム
３５１ 第１顔画像
３５２ 第２顔画像
３６１，３６２ イベント情報
３７１，３７２ イベント発生源仮説データ
３７５ ターゲットデータ
３８０ ターゲット情報
３９０ ターゲット情報
３９５ 第３顔画像
４０１ イベント情報
４２１ パーティクル
５００ 情報処理装置
５０１ データベース
５１２ 画像ベース発話認識処理部
５２２ 音声ベース発話認識処理部
５３０ 音声画像併用発話認識スコア算出部
【技術分野】
【０００１】
本発明は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、外界からの入力情報、例えば画像、音声などの情報を入力し、入力情報に基づく外界環境の解析、具体的には言葉を発している人物の位置や誰であるか等の解析処理を実行する情報処理装置、および情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
人とＰＣやロボットなどの情報処理装置との相互間の処理、例えばコミュニケーションやインタラクティブ処理を行うシステムはマン−マシン インタラクション システムと呼ばれる。このマン−マシン インタラクション システムにおいて、ＰＣやロボット等の情報処理装置は、人のアクション例えば人の動作や言葉を認識するために画像情報や音声情報を入力して入力情報に基づく解析を行う。
【０００３】
人が情報を伝達する場合、言葉のみならずしぐさ、視線、表情など様々なチャネルを情報伝達チャネルとして利用する。このようなすべてのチャネルの解析をマシンにおいて行うことができれば、人とマシンとのコミュニケーションも人と人とのコミュニケーションと同レベルに到達することができる。このような複数のチャネル（モダリティ、モーダルとも呼ばれる）からの入力情報の解析を行うインタフェースは、マルチモーダルインタフェースと呼ばれ、近年、開発、研究が盛んに行われている。
【０００４】
例えばカメラによって撮影された画像情報、マイクによって取得された音声情報を入力して解析を行う場合、より詳細な解析を行うためには、様々なポイントに設置した複数のカメラおよび複数のマイクから多くの情報を入力することが有効である。
【０００５】
具体的なシステムとしては、例えば以下のようなシステムが想定される。情報処理装置（テレビ）が、カメラおよびマイクを介して、テレビの前のユーザ（父、母、姉、弟）の画像および音声を入力し、それぞれのユーザの位置やどのユーザが発した言葉であるか等を解析し、テレビが解析情報に応じた処理、例えば会話を行ったユーザに対するカメラのズームアップや、会話を行ったユーザに対する的確な応答を行うなどのシステムが実現可能となる。
【０００６】
従来の一般的なマン−マシン インタラクション システムの多くは、複数チャネル（モーダル）からの情報を決定論的に統合して、複数のユーザが、それぞれどこにいて、それらは誰で、誰がシグナルを発したのかを決定するという処理を行っていた。このようなシステムを開示した従来技術として、例えば特許文献１（特開２００５−２７１１３７号公報）、特許文献２（特開２００２−２６４０５１号公報）がある。
【０００７】
しかし、従来のシステムにおいて行われるマイクやカメラから入力される不確実かつ非同期なデータを利用した決定論的な統合処理方法ではロバスト性にかけ、精度の低いデータしか得られないという問題がある。実際のシステムにおいて、実環境で取得可能なセンサ情報、すなわちカメラからの入力画像やマイクから入力される音声情報には様々な余分な情報、例えばノイズや不要な情報が含まれる不確実なデータであり、画像解析や音声解析処理を行う場合には、このようなセンサ情報から有効な情報を効率的に統合する処理が重要となる。
【０００８】
本出願人は、これらの問題を解決する構成として、特許文献３（特開２００９−１４０３６６）を出願した。この特許文献３に記載の構成は、音声および画像イベント検出情報に基づくパーティクルフィルタリング処理を行い、ユーザの位置やユーザ識別処理を行う構成である。この構成により、ノイズや不要な情報が含まれる不確実なデータから精度の高い信頼できるデータを選択しユーザの位置の特定やユーザ識別を実現している。
【０００９】
上記特許文献３の装置は、さらに画像データから得られる口の動きを検出して発話者の特定処理を行っている。例えば口の動きの大きいユーザが発話者である可能性が高いと推定する処理である。口の動きに応じたスコアを算出し、大きなスコアが設定されたユーザを発話者として特定している。しかし、この処理では、口の動きのみを評価対象とするため、例えばガムをかんでいるユーザなども発話者であると認識してしまうといった問題がある。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−２７１１３７号公報
【特許文献２】特開２００２−２６４０５１号公報
【特許文献３】特開２００９−１４０３６６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、例えば、上述の問題点に鑑みてなされたものであり、発話者の推定処理に際して音声ベースの発話認識処理と、画像ベースの発話認識処理を併用して、具体的に言葉を発しているユーザを発話者であると推定する情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の側面は、
実空間の観測情報としての音声情報を入力し、音声ベースの発話認識処理を実行して発話可能性が高いと判定した単語情報を生成する音声ベース発話認識処理部と、
前記実空間の観測情報としての画像情報を入力し、入力画像に含まれる各ユーザの口の動きを解析してユーザ単位の口の動き情報を生成する画像ベース発話認識処理部と、
前記音声ベース発話認識処理部から単語情報を入力し、前記画像ベース発話認識処理部からユーザ単位の口の動き情報を入力し、前記単語情報に近い口の動きに高いスコアを設定するスコア設定処理を実行してユーザ単位のスコア設定処理を実行する音声画像併用発話認識スコア算出部と、
前記スコアを入力して、入力スコアに基づく発話者特定処理を実行する情報統合処理部を有する情報処理装置にある。
【００１３】
さらに、本発明の情報処理装置の一実施態様において、前記音声ベース発話認識処理部は、音声ベースの発話認識処理であるＡＳＲ（Ａｕｄｉｏ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行して発話可能性が高いと判定した単語情報の音素列をＡＳＲ情報として生成し、前記画像ベース発話認識処理部は、画像ベースの発話認識処理であるＶＳＲ（Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行して、少なくとも前記単語発声期間の口の形を示す口形素情報を含むＶＳＲ情報を生成し、前記音声画像併用発話認識スコア算出部は、前記ＡＳＲ情報に含まれる単語情報を構成する音素単位で、前記ＶＳＲ情報に含まれるユーザ単位の口形素情報と登録口形素情報とを比較して、類似度の高い口形素を高いスコアとする口形素スコア設定処理を行ない、さらに単語を構成する全音素に対応する口形素スコアの相加平均値または相乗平均値算出処理によってユーザ対応のスコアであるＡＶＳＲスコアを算出する。
【００１４】
さらに、本発明の情報処理装置の一実施態様において、前記音声画像併用発話認識スコア算出部は、前記ＡＳＲ情報に含まれる単語情報の前後の無音時間に対応する口形素スコア設定処理を行ない、単語を構成する全音素に対応する口形素スコアと無音時間対応の口形素スコアを含むスコアの相加平均値または相乗平均値算出処理によってユーザ対応のスコアであるＡＶＳＲスコアを算出する。
【００１５】
さらに、本発明の情報処理装置の一実施態様において、前記音声画像併用発話認識スコア算出部は、前記単語発声期間の口の形を示す口形素情報が入力されない期間についての口形素スコアとして、予め設定された事前知識の値を用いることを特徴とする。
【００１６】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、前記実空間のユーザ情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、前記ＡＶＳＲスコアに基づく仮説の更新および取捨選択により、発話者特定処理を実行する。
【００１７】
さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、前記実空間の観測情報として音声情報を入力し、前記実空間に存在するユーザの推定位置情報および推定識別情報を含む音声イベント情報を生成する音声イベント検出部と、前記実空間の観測情報として画像情報を入力し、前記実空間に存在するユーザの推定位置情報および推定識別情報を含む画像イベント情報を生成する画像イベント検出部を有し、前記情報統合処理部は、ユーザの位置および識別情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの位置情報を含む解析情報を生成する処理を実行する構成である。
【００１８】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、仮想的なユーザに対応する複数のターゲットデータを設定した複数のパーティクルを適用したパーティクルフィルタリング処理を実行して前記実空間に存在するユーザの位置情報を含む解析情報を生成する構成であり、前記パーティクルに設定するターゲットデータの各々を前記音声および画像イベント検出部から入力するイベント各々に対応付けて設定し、入力イベント識別子に応じて各パーティクルから選択されるイベント対応ターゲットデータの更新を行う構成を有することを特徴とする。
【００１９】
さらに、本発明の情報処理装置の一実施態様において、前記情報統合処理部は、前記イベント検出部において検出された顔画像単位のイベント各々にターゲットを対応付けて処理を行なう構成を有することを特徴とする。
【００２０】
さらに、本発明の第２の側面は、
情報処理装置において実行する情報処理方法であり、
音声ベース発話認識処理部が、実空間の観測情報としての音声情報を入力し、音声ベースの発話認識処理を実行して発話可能性が高いと判定した単語情報を生成する音声ベース発話認識処理ステップと、
画像ベース発話認識処理部が、前記実空間の観測情報としての画像情報を入力し、入力画像に含まれる各ユーザの口の動きを解析してユーザ単位の口の動き情報を生成する画像ベース発話認識処理ステップと、
音声画像併用発話認識スコア算出部が、前記音声ベース発話認識処理部から単語情報を入力し、前記画像ベース発話認識処理部からユーザ単位の口の動き情報を入力し、前記単語情報に近い口の動きに高いスコアを設定するスコア設定処理を実行してユーザ単位のスコア設定処理を実行する音声画像併用発話認識スコア算出ステップと、
情報統合処理部が、前記スコアを入力して、入力スコアに基づく発話者特定処理を実行する情報統合処理ステップを実行する情報処理方法にある。
【００２１】
さらに、本発明の第３の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
音声ベース発話認識処理部に、実空間の観測情報としての音声情報を入力し、音声ベースの発話認識処理を実行して発話可能性が高いと判定した単語情報を生成させる音声ベース発話認識処理ステップと、
画像ベース発話認識処理部に、前記実空間の観測情報としての画像情報を入力し、入力画像に含まれる各ユーザの口の動きを解析してユーザ単位の口の動き情報を生成させる画像ベース発話認識処理ステップと、
音声画像併用発話認識スコア算出部に、前記音声ベース発話認識処理部から単語情報を入力し、前記画像ベース発話認識処理部からユーザ単位の口の動き情報を入力し、前記単語情報に近い口の動きに高いスコアを設定するスコア設定処理を実行してユーザ単位のスコア設定処理を実行させる音声画像併用発話認識スコア算出ステップと、
情報統合処理部に、前記スコアを入力して、入力スコアに基づく発話者特定処理を実行させる情報統合処理ステップを実行させるプログラムにある。
【００２２】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２４】
本発明の一実施例の構成によれば、カメラやマイクを介する入力情報の解析により、発話者の特定処理を行う構成が実現される。音声ベースの発話認識処理と画像ベース発話認識処理を実行する。さらに、音声ベース発話認識処理部において発話可能性が高いと判定した単語情報を入力し、画像ベース発話認識処理において解析されたユーザ単位の口の動き情報である口形素情報を入力して、単語を構成する音素単位で各音素の発話の口の動きに近い場合に高いスコアを設定してユーザ単位のスコアを設定する。さらに、ユーザ単位のスコアを適用してスコアに基づく発話者特定処理を実行する。この処理により発話内容に近い口の動きを示すユーザを発話源として特定可能となり、精度の高い発話者特定が実現される。
【図面の簡単な説明】
【００２５】
【図１】本発明に係る情報処理装置の実行する処理の概要について説明する図である。
【図２】ユーザ解析処理を行う情報処理装置の構成および処理について説明する図である。
【図３】音声イベント検出部１２２および画像イベント検出部１１２が生成し音声・画像統合処理部１３１に入力する情報の例について説明する図である。
【図４】パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）を適用した基本的な処理例について説明する図である。
【図５】本処理例で設定するパーティクルの構成について説明する図である。
【図６】各パーティクルに含まれるターゲット各々が有するターゲットデータの構成について説明する図である。
【図７】ターゲット情報の構成および生成処理について説明する図である。
【図８】ターゲット情報の構成および生成処理について説明する図である。
【図９】ターゲット情報の構成および生成処理について説明する図である。
【図１０】音声・画像統合処理部１３１の実行する処理シーケンスを説明するフローチャートを示す図である。
【図１１】パーティクル重み［ＷｐＩＤ］の算出処理の詳細について説明する図である。
【図１２】発話源の特定処理を行う情報処理装置の構成および処理について説明する図である。
【図１３】発話源の特定処理のためのＡＶＳＲスコアの算出処理例について説明する図である。
【図１４】発話源の特定処理のためのＡＶＳＲスコアの算出処理例について説明する図である。
【図１５】発話源の特定処理のためのＡＶＳＲスコアの算出処理例について説明する図である。
【図１６】発話源の特定処理のためのＡＶＳＲスコアの算出処理例について説明する図である。
【図１７】発話源の特定処理のためのＡＶＳＲスコアの算出処理のシーケンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本発明の実施形態に係る情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。以下の項目に従って説明する。
１．音声および画像イベント検出情報に基づくパーティクルフィルタリング処理によるユーザの位置およびユーザ識別処理の概要について
２．音声および画像ベースの発話認識によるスコア（ＡＶＳＲスコア）算出処理を伴う発話者の特定処理について
なお、本発明は、前述した特許文献３として紹介した本出願人の先の出願である特願２００７−３１７７１１（特開２００９−１４０３６６）の技術をベースとした発明であり、まず、上記項目１において、この特願２００７−３１７７１１（特開２００９−１４０３６６）に開示した構成の概要を説明する。その後、上記項目２において、本発明の主題である音声および画像ベースの発話認識によるスコア（ＡＶＳＲスコア）算出処理を伴う発話者の特定処理について説明する。
【００２７】
［１．音声および画像イベント検出情報に基づくパーティクルフィルタリング処理によるユーザの位置およびユーザ識別処理の概要について］
まず、音声イベントおよび画像イベントの検出情報を利用したパーティクルフィルタリング処理によるユーザの位置およびユーザ識別処理の概要について説明する。図１は、この処理の概要を説明する図である。
【００２８】
情報処理装置１００は、実空間における観測情報を入力するセンサから各種の情報を入力する。本例では、情報処理装置１００は、センサとしてカメラ２１と、複数のマイク３１〜３４から画像情報、音声情報を入力し、これらの入力情報に基づいて環境の解析を行う。情報処理装置１００は、複数のユーザ１，１１〜４，１４の位置の解析、およびその位置にいるユーザの識別を行う。
【００２９】
図に示す例において、例えばユーザ１，１１〜ユーザ４，１４が家族である父、母、姉、弟であるとき、情報処理装置１００は、カメラ２１と、複数のマイク３１〜３４から入力する画像情報、音声情報の解析を行い、４人のユーザ１〜４の存在する位置、各位置にいるユーザが父、母、姉、弟のいずれであるかを識別する。識別処理結果は様々な処理に利用される。例えば、例えば会話を行ったユーザに対するカメラのズームアップや、会話を行ったユーザに対してテレビから応答を行うなどの処理に利用される。
【００３０】
情報処理装置１００は、複数の情報入力部（カメラ２１，マイク３１〜３４）からの入力情報に基づいて、ユーザの位置識別およびユーザの特定処理としてのユーザ識別処理を行う。この識別結果の利用処理については特に限定するものではない。カメラ２１と、複数のマイク３１〜３４から入力する画像情報、音声情報には様々な不確実な情報が含まれる。情報処理装置１００では、これらの入力情報に含まれる不確実な情報に対する確率的な処理を行って、精度の高いと推定される情報に統合する処理を行う。この推定処理によりロバスト性を向上させ、精度の高い解析を行う。
【００３１】
図２に情報処理装置１００の構成例を示す。情報処理装置１００は、入力デバイスとして画像入力部（カメラ）１１１、複数の音声入力部（マイク）１２１ａ〜ｄを有する。画像入力部（カメラ）１１１から画像情報を入力し、音声入力部（マイク）１２１から音声情報を入力し、これらの入力情報に基づいて解析を行う。複数の音声入力部（マイク）１２１ａ〜ｄの各々は、図１に示すように様々な位置に配置されている。
【００３２】
複数のマイク１２１ａ〜ｄから入力された音声情報は、音声イベント検出部１２２を介して音声・画像統合処理部１３１に入力される。音声イベント検出部１２２は、複数の異なるポジションに配置された複数の音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し統合する。具体的には、音声入力部（マイク）１２１ａ〜ｄから入力する音声情報に基づいて、発生した音の位置およびどのユーザの発生させた音であるかのユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。
【００３３】
なお、情報処理装置１００の実行する具体的な処理は、例えば図１に示すように複数のユーザが存在する環境で、ユーザ１〜４がどの位置にいて、会話を行ったユーザがどのユーザであるかを識別すること、すなわち、ユーザ位置およびユーザ識別を行うことであり、さらに声を発した人物（発話者）などのイベント発生源を特定する処理である。
【００３４】
音声イベント検出部１２２は、複数の異なるポジションに配置された複数の音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し、音声の発生源の位置情報を確率分布データとして生成する。具体的には、音源方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。また、予め登録されたユーザの声の特徴情報との比較処理に基づいてユーザ識別情報を生成する。この識別情報も確率的な推定値として生成する。音声イベント検出部１２２には、予め検証すべき複数のユーザの声についての特徴情報が登録されており、入力音声と登録音声との比較処理を実行して、どのユーザの声である確率が高いかを判定する処理を行い、全登録ユーザに対する事後確率、あるいはスコアを算出する。
【００３５】
このように、音声イベント検出部１２２は、複数の異なるポジションに配置された複数の音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し、音声の発生源の位置情報を確率分布データと、確率的な推定値からなるユーザ識別情報とによって構成される［統合音声イベント情報］を生成して音声・画像統合処理部１３１に入力する。
【００３６】
一方、画像入力部（カメラ）１１１から入力された画像情報は、画像イベント検出部１１２を介して音声・画像統合処理部１３１に入力される。画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力する画像情報を解析し、画像に含まれる人物の顔を抽出し、顔の位置情報を確率分布データとして生成する。具体的には、顔の位置や方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。
【００３７】
また、画像イベント検出部１１２は、予め登録されたユーザの顔の特徴情報との比較処理に基づいて顔を識別してユーザ識別情報を生成する。この識別情報も確率的な推定値として生成する。画像イベント検出部１１２には、予め検証すべき複数のユーザの顔についての特徴情報が登録されており、入力画像から抽出した顔領域の画像の特徴情報と登録された顔画像の特徴情報との比較処理を実行して、どのユーザの顔である確率が高いかを判定する処理を行い、全登録ユーザに対する事後確率、あるいはスコアを算出する。
【００３８】
さらに、画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力された画像に含まれる顔に対応する属性スコア、例えば口領域の動きに基づいて生成される顔属性スコアを算出する。
【００３９】
顔属性スコアは、例えば、
（ａ）画像に含まれる顔の口領域の動きの大きさに応じたスコア、
（ｂ）画像に含まれる顔の口領域の動きと発話認識との対応関係に応じたスコア
このような顔属性スコアを算出する設定が可能である。その他にも、笑顔か否か、男であるか女であるか、大人であるかこどもであるかなどの属性スコアを算出する設定としてもよい。
【００４０】
以下では、まず、
（ａ）画像に含まれる顔の口領域の動きのレベルに対応するスコアを顔属性スコアとして算出して利用する例について説明する。すなわち、顔の口領域の動きの大きさに対応するスコアを顔属性スコアとして算出し、この顔属性スコアに基づいて発話者の特定を行なう処理である。
ただし、先に簡単に説明したように、口の動きの大きさからスコアを算出した処理では、ガムをかんでいるユーザやシステムに対する発話と無関係な発話や口の動きなどを区別できないため、システムに対する要求を行っているユーザの発話を特定しにくいという問題がある。
【００４１】
後段の項目２、すなわち、「２．音声および画像ベースの発話認識によるスコア（ＡＶＳＲスコア）算出処理を伴う発話者の特定処理について」では、このような欠点を解決した手法として、上記の（ｂ）画像に含まれる顔の口領域の動きと発話認識との対応関係に応じたスコアの算出処理と発話者特定処理について説明する。
【００４２】
まず、この項目１では、（ａ）画像に含まれる顔の口領域の動きの大きさに対応するスコアを顔属性スコアとして算出して利用する例について説明する。
画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力された画像に含まれる顔領域から口領域を識別して、口領域の動き検出を行い、口領域の動き検出結果に対応したスコア、例えば口の動きがあると判定された場合に高いスコアとする処理を行う。
【００４３】
なお、口領域の動き検出処理は、例えばＶＳＤ（Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｄｅｔｅｃｔｉｏｎ）を適用した処理として実行する。本発明の出願人と同一の出願に係る特開２００５−１５７６７９に開示の方法を適用することができる。具体的には、例えば、画像入力部（カメラ）１１１からの入力画像から検出された顔画像から唇の左右端点を検出し、Ｎ番目のフレームとＮ＋１番目のフレームにおいて唇の左右端点をそれぞれそろえてから輝度の差分を算出し、この差分値を閾値処理することで、口の動きを検出することができる。
【００４４】
なお、音声イベント検出部１２２や画像イベント検出部１１２において実行する音声識別や、顔検出、顔識別処理は従来から知られる技術を適用する。例えば顔検出、顔識別処理としては以下の文献に開示された技術の適用が可能である。
佐部 浩太郎，日台 健一，"ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習"，第１０回画像センシングシンポジウム講演論文集，ｐｐ．５４７−５５２，２００４
特開２００４−３０２６４４（Ｐ２００４−３０２６４４Ａ）［発明の名称：顔識別装置、顔識別方法、記録媒体、及びロボット装置］
【００４５】
音声・画像統合処理部１３１は、音声イベント検出部１２２や画像イベント検出部１１２からの入力情報に基づいて、複数のユーザが、それぞれどこにいて、それらは誰で、誰が音声等のシグナルを発したのかを確率的に推定する処理を実行する。この処理については後段で詳細に説明する。音声・画像統合処理部１３１は、音声・画像統合処理部１３１は、音声イベント検出部１２２や画像イベント検出部１１２からの入力情報に基づいて、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］
（ｂ）例えば話しをしたユーザなどのイベント発生源を［シグナル情報］として、処理決定部１３２に出力する。
【００４６】
これらの識別処理結果を受領した処理決定部１３２は、識別処理結果を利用した処理を実行する、例えば、会話を行ったユーザに対するカメラのズームアップや、会話を行ったユーザに対してテレビから応答を行うなどの処理を行う。
【００４７】
上述したように、音声イベント検出部１２２は、音声の発生源の位置情報の確率分布データ、具体的には、音源方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。また、予め登録されたユーザの声の特徴情報との比較処理に基づいてユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。
【００４８】
また、画像イベント検出部１１２は、画像に含まれる人物の顔を抽出し、顔の位置情報を確率分布データとして生成する。具体的には、顔の位置や方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。また、予め登録されたユーザの顔の特徴情報との比較処理に基づいてユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。さらに、画像入力部（カメラ）１１１から入力された画像中の顔領域から顔属性情報としての顔属性スコア、例えば口領域の動き検出を行い、口領域の動き検出結果に対応したスコア、具体的には口の動きが大きいと判定された場合に高いスコアとする顔属性スコアを算出して音声・画像統合処理部１３１に入力する。
【００４９】
図３を参照して、音声イベント検出部１２２および画像イベント検出部１１２が生成し音声・画像統合処理部１３１に入力する情報の例について説明する。
【００５０】
本発明の構成では、画像イベント検出部１１２は、
（Ｖａ）顔の位置や方向に関する期待値と分散データＮ（ｍｅ，σｅ）、
（Ｖｂ）顔画像の特徴情報に基づくユーザ識別情報、
（Ｖｃ）検出された顔の属性に対応するスコア、例えば口領域の動きに基づいて生成される顔属性スコア、
これらのデータを生成して音声・画像統合処理部１３１に入力し、
音声イベント検出部１２２が、
（Ａａ）音源方向に関する期待値と分散データＮ（ｍｅ，σｅ）、
（Ａｂ）声の特徴情報に基づくユーザ識別情報、
これらのデータを音声・画像統合処理部１３１に入力する。
【００５１】
図３（Ａ）は図１を参照して説明したと同様のカメラやマイクが備えられた実環境の例を示し、複数のユーザ１〜ｋ，２０１〜２０ｋが存在する。この環境で、あるユーザが話しをしたとすると、マイクで音声が入力される。また、カメラは連続的に画像を撮影している。
【００５２】
音声イベント検出部１２２および画像イベント検出部１１２が生成して、音声・画像統合処理部１３１に入力する情報は、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これら３種類に大別できる。
【００５３】
すなわち、
（ａ）ユーザ位置情報は、
画像イベント検出部１１２の生成する
（Ｖａ）顔の位置や方向に関する期待値と分散データＮ（ｍｅ，σｅ）と、
音声イベント検出部１２２の生成する
（Ａａ）音源方向に関する期待値と分散データＮ（ｍｅ，σｅ）、
これらの統合データである。
【００５４】
また、
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）は、
画像イベント検出部１１２の生成する
（Ｖｂ）顔画像の特徴情報に基づくユーザ識別情報と、
音声イベント検出部１２２の生成する
（Ａｂ）声の特徴情報に基づくユーザ識別情報、
これらの統合データである。
【００５５】
（ｃ）顔属性情報（顔属性スコア）は、
画像イベント検出部１１２の生成する
（Ｖｃ）検出された顔の属性に対応するスコア、例えば口領域の動きに基づいて生成される顔属性スコア、
に対応する。
【００５６】
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）、
これらの３つの情報は、イベントの発生毎に生成される。音声イベント検出部１２２は、音声入力部（マイク）１２１ａ〜ｄから音声情報が入力された場合に、その音声情報に基づいて上記の（ａ）ユーザ位置情報、（ｂ）ユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。画像イベント検出部１１２は、例えば予め定めた一定のフレーム間隔で、画像入力部（カメラ）１１１から入力された画像情報に基づいて（ａ）ユーザ位置情報、（ｂ）ユーザ識別情報、（ｃ）顔属性情報（顔属性スコア）を生成して音声・画像統合処理部１３１に入力する。なお、本例では、画像入力部（カメラ）１１１は１台のカメラを設定した例を示しており、１つのカメラに複数のユーザの画像が撮影される設定であり、この場合、１つの画像に含まれる複数の顔の各々について（ａ）ユーザ位置情報、（ｂ）ユーザ識別情報を生成して音声・画像統合処理部１３１に入力する。
【００５７】
音声イベント検出部１２２が音声入力部（マイク）１２１ａ〜ｄから入力する音声情報に基づいて、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（話者識別情報）
これらの情報を生成する処理について説明する。
【００５８】
［音声イベント検出部１２２による（ａ）ユーザ位置情報の生成処理］
音声イベント検出部１２２は、音声入力部（マイク）１２１ａ〜ｄから入力された音声情報に基づいて解析された声を発したユーザ、すなわち［話者］の位置の推定情報を生成する。すなわち、話者が存在すると推定される位置を、期待値（平均）［ｍｅ］と分散情報［σｅ］からなるガウス分布（正規分布）データＮ（ｍｅ，σｅ）として生成する。
【００５９】
［音声イベント検出部１２２による（ｂ）ユーザ識別情報（話者識別情報）の生成処理］
音声イベント検出部１２２は、音声入力部（マイク）１２１ａ〜ｄから入力された音声情報に基づいて話者が誰であるかを、入力音声と予め登録されたユーザ１〜ｋの声の特徴情報との比較処理により推定する。具体的には話者が各ユーザ１〜ｋである確率を算出する。この算出値を（ｂ）ユーザ識別情報（話者識別情報）とする。例えば入力音声の特徴と最も近い登録された音声特徴を有するユーザに最も高いスコアを配分し、最も異なる特徴を持つユーザに最低のスコア（例えば０）を配分する処理によって各ユーザである確率を設定したデータを生成して、これを（ｂ）ユーザ識別情報（話者識別情報）とする。
【００６０】
次に、画像イベント検出部１１２が画像入力部（カメラ）１１１から入力する画像情報に基づいて、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらの情報を生成する処理について説明する。
【００６１】
［画像イベント検出部１１２による（ａ）ユーザ位置情報の生成処理］
画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力された画像情報に含まれる顔の各々について顔の位置の推定情報を生成する。すなわち、画像から検出された顔が存在すると推定される位置を、期待値（平均）［ｍｅ］と分散情報［σｅ］からなるガウス分布（正規分布）データＮ（ｍｅ，σｅ）として生成する。
【００６２】
［画像イベント検出部１１２による（ｂ）ユーザ識別情報（顔識別情報）の生成処理］
画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力された画像情報に基づいて、画像情報に含まれる顔を検出し、各顔が誰であるかを、入力画像情報と予め登録されたユーザ１〜ｋの顔の特徴情報との比較処理により推定する。具体的には抽出された各顔が各ユーザ１〜ｋである確率を算出する。この算出値を（ｂ）ユーザ識別情報（顔識別情報）とする。例えば入力画像に含まれる顔の特徴と最も近い登録された顔の特徴を有するユーザに最も高いスコアを配分し、最も異なる特徴を持つユーザに最低のスコア（例えば０）を配分する処理によって各ユーザである確率を設定したデータを生成して、これを（ｂ）ユーザ識別情報（顔識別情報）とする。
【００６３】
［画像イベント検出部１１２による（ｃ）顔属性情報（顔属性スコア）の生成処理］
画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力された画像情報に基づいて、画像情報に含まれる顔領域を検出し、検出された各顔の属性、具体的には先に説明したように顔の口領域の動き、笑顔か否か、男であるか女であるか、大人であるかこどもであるかなどの属性スコアを算出することが可能であるが、本処理例では、画像に含まれる顔の口領域の動きに対応するスコアを顔属性スコアとして算出して利用する例について説明する。
【００６４】
顔の口領域の動きに対応するスコアを算出する処理として、前述したように画像イベント検出部１１２は、例えば、画像入力部（カメラ）１１１からの入力画像から検出された顔画像から唇の左右端点を検出し、Ｎ番目のフレームとＮ＋１番目のフレームにおいて唇の左右端点をそれぞれそろえてから輝度の差分を算出し、この差分値を閾値処理する。この処理により、口の動きを検出し、口の動きが大きいほど高いスコアとする顔属性スコアを設定する。
【００６５】
なお、カメラの撮影画像から複数の顔が検出された場合、画像イベント検出部１１２は、各検出顔に応じてそれぞれ個別のイベントとして、各顔対応のイベント情報を生成する。すなわち、以下の情報を含むイベント情報を生成して音声・画像統合処理部１３１に入力する。
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらの情報を生成して、音声・画像統合処理部１３１に入力する。
【００６６】
本例では、画像入力部１１１として１台のカメラを利用した例を説明するが、複数のカメラの撮影画像を利用してもよく、その場合は、画像イベント検出部１１２は、各カメラの撮影画像の各々に含まれる各顔について、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらの情報を生成して、音声・画像統合処理部１３１に入力する。
【００６７】
次に、音声・画像統合処理部１３１の実行する処理について説明する。音声・画像統合処理部１３１は、上述したように、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示す３つの情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらの情報を逐次入力する。なお、これらの各情報の入力タイミングは様々な設定が可能であるが、例えば、音声イベント検出部１２２は新たな音声が入力された場合に上記（ａ），（ｂ）の各情報を音声イベント情報として生成して入力し、画像イベント検出部１１２は、一定のフレーム周期単位で、上記（ａ），（ｂ），（ｃ）の各情報を画像イベント情報として生成して入力するといった設定が可能である。
【００６８】
音声・画像統合処理部１３１の実行する処理について、図４以下を参照して説明する。音声・画像統合処理部１３１は、ユーザの位置および識別情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、その仮説を入力情報に基づいて更新することで、より確からしい仮説のみを残す処理を行う。この処理手法として、パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）を適用した処理を実行する。
【００６９】
パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）を適用した処理は、様々な仮説に対応するパーティクルを多数設定して行なわれる。本例では、ユーザの位置と誰であるかの仮説に対応するパーティクルを多数設定し、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示す３つの情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらの入力情報に基づいて、より確からしいパーティクルの重み（ウェイト）を高めていくという処理を行う。
【００７０】
パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）を適用した基本的な処理例について図４を参照して説明する。例えば、図４に示す例は、あるユーザに対応する存在位置をパーティクル・フィルタにより推定する処理例を示している。図４に示す例は、ある直線上の１次元領域におけるユーザ３０１の存在する位置を推定する処理である。
【００７１】
初期的な仮説（Ｈ）は、図４（ａ）に示すように均一なパーティクル分布データとなる。次に、画像データ３０２が取得され、取得画像に基づくユーザ３０１の存在確率分布データが図４（ｂ）のデータとして取得される。この取得画像に基づく確率分布データに基づいて、図４（ａ）のパーティクル分布データが更新され、図４（ｃ）の更新された仮説確率分布データが得られる。このような処理を、入力情報に基づいて繰り返し実行して、ユーザのより確からしい位置情報を得る。
【００７２】
なお、パーティクル・フィルタを用いた処理の詳細については、例えば［Ｄ． Ｓｃｈｕｌｚ， Ｄ． Ｆｏｘ， ａｎｄ Ｊ． Ｈｉｇｈｔｏｗｅｒ． Ｐｅｏｐｌｅ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ａｎｏｎｙｍｏｕｓ ａｎｄ ＩＤ−ｓｅｎｓｏｒｓ Ｕｓｉｎｇ Ｒａｏ−Ｂｌａｃｋｗｅｌｌｉｓｅｄ Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒｓ．Ｐｒｏｃ． ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ （ＩＪＣＡＩ−０３）］に記載されている。
【００７３】
図４に示す処理例は、ユーザの存在位置のみについて、入力情報を画像データのみとした処理例として説明しており、パーティクルの各々は、ユーザ３０１の存在位置のみの情報を有している。
【００７４】
一方、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示す２つの情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらの入力情報に基づいて、複数のユーザの位置と複数のユーザがそれぞれ誰であるかを判別する処理を行うことになる。従って、パーティクル・フィルタ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）を適用した処理では、音声・画像統合処理部１３１が、ユーザの位置と誰であるかの仮説に対応するパーティクルを多数設定して、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示す２つの情報に基づいて、パーティクル更新を行うことになる。
【００７５】
音声・画像統合処理部１３１が、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示す３つの情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらを入力して実行するパーティクル更新処理例について図５を参照して説明する。
【００７６】
パーティクルの構成について説明する。音声・画像統合処理部１３１は、予め設定した数＝ｍのパーティクルを有する。図５に示すパーティクル１〜ｍである。各パーティクルには識別子としてのパーティクルＩＤ（ＰＩＤ＝１〜ｍ）が設定されている。
【００７７】
各パーティクルに、仮想的なオブジェクトに対応する複数のターゲットｔＩＤ＝１，２，・・・ｎを設定する。本例では、例えば実空間に存在すると推定される人数以上の仮想のユーザに対応する複数（ｎ個）のターゲットを各パーティクルに設定する。ｍ個のパーティクルの各々はターゲット単位でデータをターゲット数分保持する。図５に示す例では、１つのパーティクルにｎ個のターゲットが含まれる。図にはｎ個中の２個（ｔＩＤ＝１，２）のみの具体的データ例を示している。
【００７８】
音声・画像統合処理部１３１は、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア［ＳｅＩＤ］）
これらのイベント情報を入力してｍ個のパーティクル（ｐＩＤ＝１〜ｍ）の更新処理を行う。
【００７９】
図５に示す音声・画像統合処理部１３１に設定される各パーティクル１〜ｍに含まれるターゲット１〜ｎの各々は、入力するイベント情報の各々（ｅＩＤ＝１〜ｋ）に予め対応付けられており、その対応に従って、入力イベントに対応する選択されたターゲットの更新が実行される。具体的には、例えば画像イベント検出部１１２において検出された顔画像を個別のイベントとして、この顔画像イベント各々にターゲットを対応付けて処理を行なう。
【００８０】
具体的な更新処理について説明する。例えば、画像イベント検出部１１２は、予め定めた一定のフレーム間隔で、画像入力部（カメラ）１１１から入力された画像情報に基づいて（ａ）ユーザ位置情報、（ｂ）ユーザ識別情報、（ｃ）顔属性情報（顔属性スコア）を生成して音声・画像統合処理部１３１に入力する。
【００８１】
このとき、図５に示す画像フレーム３５０がイベントの検出対象フレームである場合、画像フレームに含まれる顔画像の数に応じたイベントが検出される。すなわち、図５に示す第１顔画像３５１に対応するイベント１（ｅＩＤ＝１）と、第２顔画像３５２に対応するイベント２（ｅＩＤ＝２）である。
【００８２】
画像イベント検出部１１２は、これらの各イベントの各々（ｅＩＤ＝１，２，・・・）について、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらを生成して音声・画像統合処理部１３１に入力する。すなわち、図５に示すイベント対応情報３６１，３６２である。
【００８３】
音声・画像統合処理部１３１に設定されたパーティクル１〜ｍの各々に含まれるターゲット１〜ｎの各々は、イベント（ｅＩＤ＝１〜ｋ）の各々に予め対応付けられており、それぞれのパーティクルに含まれるどのターゲットを更新するかを予め設定した構成としている。なお、イベント（ｅＩＤ＝１〜ｋ）各々に対するターゲット（ｔＩＤ）の対応付けは、重複しない設定とする。すなわち、各パーティクルで重複がないように取得イベント分のイベント発生源仮説を生成する。
図５に示す例では、
（１）パーティクル１（ｐＩＤ＝１）は、
［イベントＩＤ＝１（ｅＩＤ＝１）］の対応ターゲット＝［ターゲットＩＤ＝１（ｔＩＤ＝１）］、
［イベントＩＤ＝２（ｅＩＤ＝２）］の対応ターゲット＝［ターゲットＩＤ＝２（ｔＩＤ＝２）］、
（２）パーティクル２（ｐＩＤ＝２）は、
［イベントＩＤ＝１（ｅＩＤ＝１）］の対応ターゲット＝［ターゲットＩＤ＝１（ｔＩＤ＝１）］、
［イベントＩＤ＝２（ｅＩＤ＝２）］の対応ターゲット＝［ターゲットＩＤ＝２（ｔＩＤ＝２）］、
：
（ｍ）パーティクルｍ（ｐＩＤ＝ｍ）は、
［イベントＩＤ＝１（ｅＩＤ＝１）］の対応ターゲット＝［ターゲットＩＤ＝２（ｔＩＤ＝２）］、
［イベントＩＤ＝２（ｅＩＤ＝２）］の対応ターゲット＝［ターゲットＩＤ＝１（ｔＩＤ＝１）］、
【００８４】
このように、音声・画像統合処理部１３１に設定されたパーティクル１〜ｍの各々に含まれるターゲット１〜ｎの各々は、イベント（ｅＩＤ＝１〜ｋ）の各々に予め対応付けられており、各イベントＩＤに応じて各パーティクルに含まれるどのターゲットを更新するかが決定された構成を持つ。例えば、図５に示す［イベントＩＤ＝１（ｅＩＤ＝１）］のイベント対応情報３６１によって、パーティクル１（ｐＩＤ＝１）では、ターゲットＩＤ＝１（ｔＩＤ＝１）のデータのみが選択的に更新される。
【００８５】
同様に、図５に示す［イベントＩＤ＝１（ｅＩＤ＝１）］のイベント対応情報３６１によって、パーティクル２（ｐＩＤ＝２）も、ターゲットＩＤ＝１（ｔＩＤ＝１）のデータのみが選択的に更新される。また、図５に示す［イベントＩＤ＝１（ｅＩＤ＝１）］のイベント対応情報３６１によって、パーティクルｍ（ｐＩＤ＝ｍ）では、ターゲットＩＤ＝２（ｔＩＤ＝２）のデータのみが選択的に更新される。
【００８６】
図５に示すイベント発生源仮説データ３７１，３７２が、各パーティクルに設定されたイベント発生源仮説データであり、これらが各パーティクルに設定されており、この情報に従ってイベントＩＤに対応する更新ターゲットが決定される。
【００８７】
各パーティクルに含まれる各ターゲットデータについて図６を参照して説明する。図６は、図５に示すパーティクル１（ｐＩＤ＝１）に含まれる１つのターゲット（ターゲットＩＤ：ｔＩＤ＝ｎ）３７５のターゲットデータの構成である。ターゲット３７５のターゲットデータは、図６に示すように、以下のデータ、すなわち、
（ａ）各ターゲット各々に対応する存在位置の確率分布［ガウス分布：Ｎ（ｍ１ｎ，σ１ｎ）］、
（ｂ）各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）
ｕＩＤ１ｎ１＝０．０
ｕＩＤ１ｎ２＝０．１
：
ｕＩＤ１ｎｋ＝０．５
これらのデータによって構成される。
【００８８】
なお、（ａ）に示すガウス分布：Ｎ（ｍ１ｎ，σ１ｎ）における［ｍ１ｎ，σ１ｎ］の（１ｎ）は、パーティクルＩＤ：ｐＩＤ＝１におけるターゲットＩＤ：ｔＩＤ＝ｎに対応する存在確率分布としてのガウス分布であることを意味する。
また、（ｂ）に示すユーザ確信度情報（ｕＩＤ）における、［ｕＩＤ１ｎ１］に含まれる（１ｎ１）は、パーティクルＩＤ：ｐＩＤ＝１におけるターゲットＩＤ：ｔＩＤ＝ｎの、ユーザ＝ユーザ１である確率を意味する。すなわちターゲットＩＤ＝ｎのデータは、
ユーザ１である確率が０．０、
ユーザ２である確率が０．１、
：
ユーザｋである確率が０．５、
であることを意味している。
【００８９】
図５に戻り、音声・画像統合処理部１３１の設定するパーティクルについての説明を続ける。図５に示すように、音声・画像統合処理部１３１は、予め決定した数＝ｍのパーティクル（ＰＩＤ＝１〜ｍ）を設定し、各パーティクルは、実空間に存在すると推定されるターゲット（ｔＩＤ＝１〜ｎ）各々について、
（ａ）各ターゲット各々に対応する存在位置の確率分布［ガウス分布：Ｎ（ｍ，σ）］、
（ｂ）各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）
これらのターゲットデータを有する。
【００９０】
音声・画像統合処理部１３１は、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア［ＳｅＩＤ］）
これらのイベント情報（ｅＩＤ＝１，２・・・）を入力し、各パーティクルにおいて予め設定されたイベント対応のターゲットの更新を実行する。
【００９１】
なお、更新対象は各ターゲットデータに含まれる以下のデータ、すなわち、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
これらのデータである。
【００９２】
（ｃ）顔属性情報（顔属性スコア［ＳｅＩＤ］）は、イベント発生源を示す［シグナル情報］として最終的に利用される。ある程度の数のイベントが入力されると、各パーティクルの重み（ウェイト）も更新され、実空間の情報に最も近いデータを持つパーティクルの重みが大きくなり、実空間の情報に適合しないデータを持つパーティクルの重みが小さくなっていく。このようにパーティクルの重みに偏りが発生し収束した段階で、顔属性情報（顔属性スコア）に基づくシグナル情報、すなわち、イベント発生源を示す［シグナル情報］が算出される。
【００９３】
ある特定のターゲットｙ（ｔＩＤ＝ｙ）が、あるイベント（ｅＩＤ＝ｘ）の発生源である確率を、
ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）
として示す。例えば、図５に示すようにｍ個のパーティクル（ｐＩＤ＝１〜ｍ）が設定され、各パーティクルに２つのターゲット（ｔＩＤ＝１，２）が設定されている場合、
第１ターゲット（ｔＩＤ＝１）が第１イベント（ｅＩＤ＝１）の発生源である確率は、
ＰｅＩＤ＝１（ｔＩＤ＝１）
第２ターゲット（ｔＩＤ＝２）が第１イベント（ｅＩＤ＝１）の発生源である確率は、
ＰｅＩＤ＝１（ｔＩＤ＝２）
である。
また、
第１ターゲット（ｔＩＤ＝１）が第２イベント（ｅＩＤ＝２）の発生源である確率は、
ＰｅＩＤ＝２（ｔＩＤ＝１）
第２ターゲット（ｔＩＤ＝２）が第２イベント（ｅＩＤ＝２）の発生源である確率は、
ＰｅＩＤ＝２（ｔＩＤ＝２）
である。
【００９４】
イベント発生源を示す［シグナル情報］は、あるイベント（ｅＩＤ＝ｘ）の発生源が特定のターゲットｙ（ｔＩＤ＝ｙ）である確率、
ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）
であり、これは、音声・画像統合処理部１３１に設定されたパーティクル数：ｍと、各イベントに対するターゲットの割り当て数との比に相当し、図５に示す例では、
ＰｅＩＤ＝１（ｔＩＤ＝１）＝［第１イベント（ｅＩＤ＝１）にｔＩＤ＝１を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝１（ｔＩＤ＝２）＝［第１イベント（ｅＩＤ＝１）にｔＩＤ＝２を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝２（ｔＩＤ＝１）＝［第２イベント（ｅＩＤ＝２）にｔＩＤ＝１を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝２（ｔＩＤ＝２）＝［第２イベント（ｅＩＤ＝２）にｔＩＤ＝２を割り当てたパーティクル数）／（ｍ）］
このような対応関係となる。
このデータがイベント発生源を示す［シグナル情報］として最終的に利用される。
【００９５】
さらに、あるイベント（ｅＩＤ＝ｘ）の発生源が特定のターゲットｙ（ｔＩＤ＝ｙ）である確率、
ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）
このデータは、ターゲット情報に含まれる顔属性情報の算出にも適用される。すなわち、
顔属性情報ＳｔＩＤ＝１〜ｎの算出の際に利用される。顔属性情報ＳｔＩＤ＝ｙは、ターゲットＩＤ＝ｙのターゲットの最終的な顔属性の期待値、すなわち、発話者である可能性を示す値に相当する。
【００９６】
音声・画像統合処理部１３１は、音声イベント検出部１２２および画像イベント検出部１１２から、イベント情報（ｅＩＤ＝１，２・・・）を入力し、各パーティクルにおいて予め設定されたイベント対応のターゲットの更新を実行して、
（ａ）複数のユーザが、それぞれどこにいるかを示す位置推定情報と、誰であるかの推定情報（ｕＩＤ推定情報）、さらに、顔属性情報（ＳｔＩＤ）の期待値、例えば口を動かして話しをしていることを示す顔属性期待値を含む［ターゲット情報］、
（ｂ）例えば話をしたユーザなどのイベント発生源を示す［シグナル情報］、
これらを生成して処理決定部１３２に出力する。
【００９７】
［ターゲット情報］は、図７の右端のターゲット情報３８０に示すように、各パーティクル（ＰＩＤ＝１〜ｍ）に含まれる各ターゲット（ｔＩＤ＝１〜ｎ）対応データの重み付き総和データとして生成される。図７には、音声・画像統合処理部１３１の有するｍ個のパーティクル（ｐＩＤ＝１〜ｍ）と、これらのｍ個のパーティクル（ｐＩＤ＝１〜ｍ）から生成されるターゲット情報３８０を示している。各パーティクルの重みについては後述する。
【００９８】
ターゲット情報３８０は、音声・画像統合処理部１３１が予め設定した仮想的なユーザに対応するターゲット（ｔＩＤ＝１〜ｎ）の
（ａ）存在位置
（ｂ）誰であるか（ｕＩＤ１〜ｕＩＤｋのいずれであるか）
（ｃ）顔属性の期待値（本処理例では発話者である期待値（確率））
これらを示す情報である。
【００９９】
各ターゲットの（ｃ）顔属性の期待値（本処理例では発話者である期待値（確率））は、前述したようにイベント発生源を示す［シグナル情報］に相当する確率、
ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）
と、各イベントに対応する顔属性スコアＳｅＩＤ＝ｉに基づいて算出される。ｉはイベントＩＤである。
例えばターゲットＩＤ＝１の顔属性の期待値：ＳｔＩＤ＝１は、以下の式で算出される。
ＳｔＩＤ＝１＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝１）×ＳｅＩＤ＝ｉ
一般化して示すと、
ターゲットの顔属性の期待値：ＳｔＩＤは、以下の式で算出される。
ＳｔＩＤ＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ）×ＳｅＩＤ
・・・（式１）
として示される。
【０１００】
例えば、図５に示すように、システム内部にターゲットが２つ存在する場合、画像１フレーム内の画像イベント検出部１１２から、顔画像イベント２つ（ｅＩＤ＝１，２）が音声・画像統合処理部１３１に入力された際の各ターゲット（ｔＩＤ＝１，２）顔属性の期待値計算例を図８に示す。
【０１０１】
図８に示す右端のデータは、図７に示すターゲット情報３８０に相当するターゲット情報３９０であり、各パーティクル（ＰＩＤ＝１〜ｍ）に含まれる各ターゲット（ｔＩＤ＝１〜ｎ）対応データの重み付き総和データとして生成される情報に相当する。
【０１０２】
このターゲット情報３９０における各ターゲットの顔属性は、前述したようにイベント発生源を示す［シグナル情報］に相当する確率［ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）］と、各イベントに対応する顔属性スコア［ＳｅＩＤ＝ｉ］に基づいて算出される。ｉはイベントＩＤである。
ターゲットＩＤ＝１の顔属性の期待値：ＳｔＩＤ＝１は、
ＳｔＩＤ＝１＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝１）×ＳｅＩＤ＝ｉ
ターゲットＩＤ＝２の顔属性の期待値：ＳｔＩＤ＝２は、
ＳｔＩＤ＝２＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝２）×ＳｅＩＤ＝ｉ
このように示される。
これら各ターゲットの顔属性の期待値：ＳｔＩＤの全ターゲットの総和は［１］になる。本処理例では、各ターゲットについて１〜０の顔属性の期待値：ＳｔＩＤが設定され、期待値が高いターゲットは発話者である確率が高いと判定される。
【０１０３】
なお、顔画像イベントｅＩＤに（顔属性スコア［ＳｅＩＤ］）が存在しない場合（例えば、顔検出できても口が手で覆われていて口の動き検出ができない場合）は顔属性スコア［ＳｅＩＤ］に事前知識の値［Ｓｐｒｉｏｒ］等を用いる。事前知識の値としては、各ターゲット毎に直前に取得した値が存在する場合はその値を用いたり、事前にオフラインで所得した顔画像イベントから顔属性の平均値を計算しておきその値を用いたりする構成が可能である。
【０１０４】
ターゲット数と画像１フレーム内の顔画像イベントは常に同数とは限らない。ターゲット数が顔画像イベント数よりも多いときには、前述したイベント発生源を示す［シグナル情報］に相当する確率［ＰｅＩＤ（ｔＩＤ）］の総和が［１］にならないため、前述した各ターゲットの顔属性の期待値算出式、すなわち、
ＳｔＩＤ＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ）×ＳｅＩＤ
・・・（式１）
上記式の各ターゲットについての期待値総和も［１］にならず、精度の高い期待値が計算できない。
【０１０５】
図９に示すように、画像フレーム３５０に前の処理フレームには存在していた第３イベント対応の第３顔画像３９５が検出されなくなった場合には、上記式（式１）の各ターゲットについての期待値総和も［１］にならず、精度の高い期待値が計算できない。このような場合、各ターゲットの顔属性の期待値算出式を変更する。すなわち、各ターゲットの顔属性の期待値［ＳｔＩＤ］の総和を［１］にするために、補数［１−ΣｅＩＤＰｅＩＤ（ｔＩＤ）］と事前知識の値［Ｓｐｒｉｏｒ］を用いて顔イベント属性の期待値ＳｔＩＤを次式（式２）で計算する。
ＳｔＩＤ＝ΣｅＩＤＰｅＩＤ（ｔＩＤ）×ＳｅＩＤ＋（１−ΣｅＩＤＰｅＩＤ（ｔＩＤ））×Ｓｐｒｉｏｒ
・・・（式２）
【０１０６】
図９は、システム内部にイベント対応のターゲットが３つ設定されているが、画像１フレーム内の顔画像イベントとして２つのみが画像イベント検出部１１２から、音声・画像統合処理部１３１に入力された際の顔属性の期待値計算例を示している。
【０１０７】
ターゲットＩＤ＝１の顔属性の期待値：ＳｔＩＤ＝１は、
ＳｔＩＤ＝１＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝１）×ＳｅＩＤ＝ｉ＋（１−ΣｅＩＤＰｅＩＤ（ｔＩＤ＝１）×Ｓｐｒｉｏｒ
ターゲットＩＤ＝２の顔属性の期待値：ＳｔＩＤ＝２は、
ＳｔＩＤ＝２＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝２）×ＳｅＩＤ＝ｉ＋（１−ΣｅＩＤＰｅＩＤ（ｔＩＤ＝２）×Ｓｐｒｉｏｒ
ターゲットＩＤ＝３の顔属性の期待値：ＳｔＩＤ＝３は、
ＳｔＩＤ＝３＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝３）×ＳｅＩＤ＝ｉ＋（１−ΣｅＩＤＰｅＩＤ（ｔＩＤ＝３）×Ｓｐｒｉｏｒ
このように計算される。
【０１０８】
なお、逆に、ターゲット数が顔画像イベント数よりも少ないときは、イベント数と同数になるようにターゲットを生成して前述の（式１）を適用して各ターゲットの顔属性の期待値［ＳｔＩＤ＝１］を算出する。
【０１０９】
なお、顔属性は、本処理例では、口の動きに対応するスコアに基づく顔属性期待値、すなわち各ターゲットが発話者である期待値を示すデータとして説明しているが、前述したように、顔属性スコアは、笑顔や年齢などのスコアとして算出することが可能であり、この場合の顔属性期待値は、そのスコアに対応する属性に対応するデータとして算出されることになる。
【０１１０】
また、後段の項目［２．音声および画像ベースの発話認識によるスコア（ＡＶＳＲスコア）算出処理を伴う発話者の特定処理について］において説明するが、発話認識によるスコア（ＡＶＳＲスコア）の算出も可能であり、この場合の顔属性期待値は、この発話認識によるスコアに対応する属性に対応するデータとして算出されることになる。
【０１１１】
ターゲット情報は、パーティクルの更新に伴い、順次更新されることになり、例えばユーザ１〜ｋが実環境内で移動しない場合、ユーザ１〜ｋの各々が、ｎ個のターゲット（ｔＩＤ＝１〜ｎ）から選択されたｋ個にそれぞれ対応するデータとして収束することになる。
【０１１２】
例えば、図７に示すターゲット情報３８０中の最上段のターゲット１（ｔＩＤ＝１）のデータ中に含まれるユーザ確信度情報（ｕＩＤ）は、ユーザ２（ｕＩＤ１２＝０．７）について最も高い確率を有している。従って、このターゲット１（ｔＩＤ＝１）のデータは、ユーザ２に対応するものであると推定されることになる。なお、ユーザ確信度情報（ｕＩＤ）を示すデータ［ｕＩＤ１２＝０．７］中の（ｕＩＤ１２）内の（１２）は、ターゲットＩＤ＝１のユーザ＝２のユーザ確信度情報（ｕＩＤ）に対応する確率であることを示している。
【０１１３】
このターゲット情報３８０中の最上段のターゲット１（ｔＩＤ＝１）のデータは、ユーザ２である確率が最も高く、このユーザ２は、その存在位置が、ターゲット情報３８０中の最上段のターゲット１（ｔＩＤ＝１）のデータに含まれる存在確率分布データに示す範囲にいると推定されることなる。
【０１１４】
このように、ターゲット情報３８０は、初期的に仮想的なオブジェクト（仮想ユーザ）として設定した各ターゲット（ｔＩＤ＝１〜ｎ）の各々について、
（ａ）存在位置
（ｂ）誰であるか（ｕＩＤ１〜ｕＩＤｋのいずれであるか）
（ｃ）顔属性期待値（本処理例では発話者である期待値（確率））
の各情報を示す。従って、各ターゲット（ｔＩＤ＝１〜ｎ）のｋ個のターゲット情報の各々は、ユーザが移動しない場合は、ユーザ１〜ｋに対応するように収束する。
【０１１５】
先に説明したように、音声・画像統合処理部１３１は、入力情報に基づくパーティクルの更新処理を実行して、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］、
（ｂ）例えば話をしたユーザなどのイベント発生源を示す［シグナル情報］、
これらを生成して処理決定部１３２に出力する。
【０１１６】
このように、音声・画像統合処理部１３１は、仮想的なユーザに対応する複数のターゲットデータを設定した複数のパーティクルを適用したパーティクルフィルタリング処理を実行して実空間に存在するユーザの位置情報を含む解析情報を生成する。すなわち、パーティクルに設定するターゲットデータの各々をイベント検出部から入力するイベント各々に対応付けて設定し、入力イベント識別子に応じて各パーティクルから選択されるイベント対応ターゲットデータの更新を行う。
【０１１７】
また、音声・画像統合処理部１３１は、各パーティクルに設定したイベント発生源仮説ターゲットと、イベント検出部から入力するイベント情報との尤度を算出し、該尤度の大小に応じた値をパーティクル重みとして各パーティクルに設定し、パーティクル重みの大きいパーティクルを優先的に再選択するリサンプリング処理を実行して、パーティクルの更新処理を行う。この処理については後述する。さらに、各パーティクルに設定したターゲットについて、経過時間を考慮した更新処理を実行する。また、パーティクルの各々に設定したイベント発生源仮説ターゲットの数に応じて、イベント発生源の確率値としてのシグナル情報の生成を行う。
【０１１８】
音声・画像統合処理部１３１が、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報、すなわち、ユーザ位置情報と、ユーザ識別情報（顔識別情報または話者識別情報）、これらのイベント情報を入力して、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］、
（ｂ）例えば話をしたユーザなどのイベント発生源を示す［シグナル情報］、
これらの情報を生成して処理決定部１３２に出力する処理シーケンスについて、図１０に示すフローチャートを参照して説明する。
【０１１９】
まず、ステップＳ１０１において、音声・画像統合処理部１３１は、音声イベント検出部１２２および画像イベント検出部１１２から、
（ａ）ユーザ位置情報
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）
（ｃ）顔属性情報（顔属性スコア）
これらのイベント情報を入力する。
【０１２０】
イベント情報の取得に成功した場合は、ステップＳ１０２に進み、イベント情報の取得に失敗した場合は、ステップＳ１２１に進む。ステップＳ１２１の処理については後段で説明する。
【０１２１】
イベント情報の取得に成功した場合は、音声・画像統合処理部１３１は、ステップＳ１０２以下において、入力情報に基づくパーティクル更新処理を行うことになるが、パーティクル更新処理の前に、まずステップＳ１０２において、各パーティクルに対する新たなターゲットの設定が必要であるか否かを判定する。本発明の構成では、先に、図５を参照して説明したように、音声・画像統合処理部１３１に設定される各パーティクル１〜ｍに含まれるターゲット１〜ｎの各々は、入力するイベント情報の各々（ｅＩＤ＝１〜ｋ）に予め対応付けられており、その対応に従って、入力イベントに対応する選択されたターゲットの更新が実行する構成としている。
【０１２２】
従って、例えば画像イベント検出部１１２から入力するイベント数が、ターゲット数より多い場合には、新たなターゲットの設定を行なうことが必要となる。具体的には、例えば図５に示す画像フレーム３５０にこれまで存在しなかった顔が出現した場合などである。このような場合は、ステップＳ１０３に進み、各パーティクルに新たなターゲットを設定する。このターゲットはこの新たなイベントに対応して更新されるターゲットとして設定される。
【０１２３】
次に、ステップＳ１０４において、音声・画像統合処理部１３１に設定されたパーティクル１〜ｍのｍ個のパーティクル（ｐＩＤ＝１〜ｍ）の各々にイベントの発生源の仮説を設定する。イベント発生源とは、例えば、音声イベントであれば、話をしたユーザがイベント発生源であり、画像イベントであれば、抽出した顔を持つユーザがイベント発生源である。
【０１２４】
本発明の仮説設定処理は、先に図５等を参照して説明したように、各パーティクル１〜ｍに含まれるターゲット１〜ｎの各々に、入力するイベント情報の各々（ｅＩＤ＝１〜ｋ）を対応付けて設定する。
【０１２５】
すなわち、先に図５を参照して説明したように、パーティクル１〜ｍの各々に含まれるターゲット１〜ｎの各々は、イベント（ｅＩＤ＝１〜ｋ）の各々に対応付けて、それぞれのパーティクルに含まれるどのターゲットを更新するかが予め設定される。このように各パーティクルで、重複がないように取得イベント分のイベント発生源仮説を生成する。なお、初期的には例えば各イベントが均等に配分されるような設定としてよい。パーティクルの数：ｍは、ターゲットの数：ｎより大きく設定されるので、複数のパーティクルが同一のイベントＩＤ−ターゲットＩＤの対応をもつパーティクルとして設定される。例えば、ターゲットの数：ｎが１０とした場合、パーティクル数：ｍ＝１００〜１０００程度に設定した処理などが行われる。
【０１２６】
ステップＳ１０４における仮説設定の後、ステップＳ１０５に進む。ステップＳ１０５では、各パーティクル対応の重み、すなわちパーティクル重み［ＷｐＩＤ］の算出を行う。このパーティクル重み［ＷｐＩＤ］は初期的には各パーティクルに均一な値が設定されるが、イベント入力に応じて更新される。
【０１２７】
図１１を参照して、パーティクル重み［ＷｐＩＤ］の算出処理の詳細について説明する。パーティクル重み［ＷｐＩＤ］は、イベント発生源の仮説ターゲットを生成した各パーティクルの仮説の正しさの指標に相当する。パーティクル重み［ＷｐＩＤ］は、ｍ個のパーティクル（ｐＩＤ＝１〜ｍ）の各々において設定された複数のターゲット各々に対応付けられたイベント発生源の入力イベントとの類似度であるイベント−ターゲット間尤度として算出される。
【０１２８】
図１１には、音声・画像統合処理部１３１が、音声イベント検出部１２２および画像イベント検出部１１２から入力する１つのイベント（ｅＩＤ＝１）に対応するイベント情報４０１と、音声・画像統合処理部１３１が保持する１つのパーティクル４２１を示している。パーティクル４２１のターゲット（ｔＩＤ＝２）は、イベント（ｅＩＤ＝１）に対応付けられているターゲットである。
【０１２９】
図１１下段には、イベント−ターゲット間尤度の算出処理例を示している。パーティクル重み［ＷｐＩＤ］は、各パーティクルにおいて算出されるイベント−ターゲットとの類似度指標としてのイベント−ターゲット間尤度の総和に対応する値として算出される。
【０１３０】
図１１の下段に示す尤度算出処理は、
（ａ）ユーザ位置情報についてのイベントと、ターゲットデータとの類似度データとしてのガウス分布間尤度［ＤＬ］、
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）についてのイベントと、ターゲットデータとの類似度データとしてのユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］
これらを個別に算出する例を示している。
【０１３１】
（ａ）ユーザ位置情報についてのイベントと、仮説ターゲットとの類似度データとしてのガウス分布間尤度［ＤＬ］の算出処理は以下の処理となる。
入力イベント情報中の、ユーザ位置情報に対応するガウス分布をＮ（ｍｅ，σｅ）、
パーティクルから選択された仮説ターゲットのユーザ位置情報に対応するガウス分布をＮ（ｍｔ，σｔ）、
として、ガウス分布間尤度［ＤＬ］を、以下の式によって算出する。
ＤＬ＝Ｎ（ｍｔ，σｔ＋σｅ）ｘ｜ｍｅ
上記式は、中心ｍｔで分散σｔ＋σｅのガウス分布においてｘ＝ｍｅの位置の値を算出する式である。
【０１３２】
（ｂ）ユーザ識別情報（顔識別情報または話者識別情報）についてのイベントと、仮説ターゲットとの類似度データとしてのユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］の算出処理は以下の処理となる。
入力イベント情報中の、ユーザ確信度情報（ｕＩＤ）の各ユーザ１〜ｋの確信度の値（スコア）をＰｅ［ｉ］とする。なお、ｉはユーザ識別子１〜ｋに対応する変数である。
パーティクルから選択された仮説ターゲットのユーザ確信度情報（ｕＩＤ）の各ユーザ１〜ｋの確信度の値（スコア）をＰｔ［ｉ］として、ユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］は、以下の式によって算出する。
ＵＬ＝ΣＰｅ［ｉ］×Ｐｔ［ｉ］
上記式は、２つのデータのユーザ確信度情報（ｕＩＤ）に含まれる各対応ユーザの確信度の値（スコア）の積の総和を求める式であり、この値をユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］とする。
【０１３３】
パーティクル重み［ＷｐＩＤ］は、上記の２つの尤度、すなわち、
ガウス分布間尤度［ＤＬ］と、
ユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］
これら２つの尤度を利用し、重みα（α＝０〜１）を用いて下式によって算出する。
パーティクル重み［ＷｐＩＤ］＝ΣｎＵＬα×ＤＬ１−α
ｎは、パーティクルに含まれるイベント対応ターゲットの数である。
上記式により、パーティクル重み［ＷｐＩＤ］を算出する。
ただし、α＝０〜１とする。
このパーティクル重み［ＷｐＩＤ］は、各パーティクルについて各々算出する。
【０１３４】
なお、パーティクル重み［ＷｐＩＤ］の算出に適用する重み［α］は、予め固定された値としてもよいし、入力イベントに応じて値を変更する設定としてもよい。例えば入力イベントが画像である場合において、顔検出に成功し位置情報は取得できたが顔識別に失敗した場合などは、α＝０の設定として、ユーザ確信度情報（ｕＩＤ）間尤度：ＵＬ＝１としてガウス分布間尤度［ＤＬ］のみに依存してパーティクル重み［ＷｐＩＤ］を算出する構成としてもよい。また、入力イベントが音声である場合において、話者識別に成功し話者情報破取得できたが、位置情報の取得に失敗した場合などは、α＝０の設定として、ガウス分布間尤度［ＤＬ］＝１として、ユーザ確信度情報（ｕＩＤ）間尤度［ＵＬ］のみに依存してパーティクル重み［ＷｐＩＤ］を算出する構成としてもよい。
【０１３５】
図１０のフローにおけるステップＳ１０５の各パーティクル対応の重み［ＷｐＩＤ］の算出は、このように図１１を参照して説明した処理として実行される。次に、ステップＳ１０６において、ステップＳ１０５で設定した各パーティクルのパーティクル重み［ＷｐＩＤ］に基づくパーティクルのリサンプリング処理を実行する。
【０１３６】
このパーティクルリサンプリング処理は、ｍ個のパーティクルから、パーティクル重み［ＷｐＩＤ］に応じてパーティクルを取捨選択する処理として実行される。具体的には、例えば、パーティクル数：ｍ＝５のとき、
パーティクル１：パーティクル重み［ＷｐＩＤ］＝０．４０
パーティクル２：パーティクル重み［ＷｐＩＤ］＝０．１０
パーティクル３：パーティクル重み［ＷｐＩＤ］＝０．２５
パーティクル４：パーティクル重み［ＷｐＩＤ］＝０．０５
パーティクル５：パーティクル重み［ＷｐＩＤ］＝０．２０
これらのパーティクル重みが各々設定されていた場合、
パーティクル１は、４０％の確率でリサンプリングされ、パーティクル２は１０％の確率でリサンプリングされる。なお、実際にはｍ＝１００〜１０００といった多数であり、リサンプリングされた結果は、パーティクルの重みに応じた配分比率のパーティクルによって構成されることになる。
【０１３７】
この処理によって、パーティクル重み［ＷｐＩＤ］の大きなパーティクルがより多く残存することになる。なお、リサンプリング後もパーティクルの総数［ｍ］は変更されない。また、リサンプリング後は、各パーティクルの重み［ＷｐＩＤ］はリセットされ、新たなイベントの入力に応じてステップＳ１０１から処理が繰り返される。
【０１３８】
ステップＳ１０７では、各パーティクルに含まれるターゲットデータ（ユーザ位置およびユーザ確信度）の更新処理を実行する。各ターゲットは、先に図７等を参照して説明したように、
（ａ）ユーザ位置：各ターゲット各々に対応する存在位置の確率分布［ガウス分布：Ｎ（ｍｔ，σｔ）］、
（ｂ）ユーザ確信度：各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）として各ユーザ１〜ｋである確率値（スコア）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）、すなわち、
ｕＩＤｔ１＝Ｐｔ［１］
ｕＩＤｔ２＝Ｐｔ［２］
：
ｕＩＤｔｋ＝Ｐｔ［ｋ］
さらに、
（ｃ）顔属性の期待値（本処理例では発話者である期待値（確率））
これらのデータによって構成される。
【０１３９】
（ｃ）顔属性の期待値（本処理例では発話者である期待値（確率））は、前述したようにイベント発生源を示す［シグナル情報］に相当する確率、
ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）
と、各イベントに対応する顔属性スコアＳｅＩＤ＝ｉに基づいて算出される。ｉはイベントＩＤである。
例えばターゲットＩＤ＝１の顔属性の期待値：ＳｔＩＤ＝１は、以下の式で算出される。
ＳｔＩＤ＝１＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝１）×ＳｅＩＤ＝ｉ
一般化して示すと、
ターゲットの顔属性の期待値：ＳｔＩＤは、以下の式で算出される。
ＳｔＩＤ＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ）×ＳｅＩＤ
・・・（式１）
として示される。
【０１４０】
なお、ターゲット数が顔画像イベント数よりも多いときには、各ターゲットの顔属性の期待値［ＳｔＩＤ］の総和を［１］にするために、補数［１−ΣｅＩＤＰｅＩＤ（ｔＩＤ）］と事前知識の値［Ｓｐｒｉｏｒ］を用いて顔イベント属性の期待値［ＳｔＩＤ］は、を次式（式２）で計算される。
ＳｔＩＤ＝ΣｅＩＤＰｅＩＤ（ｔＩＤ）×ＳｅＩＤ＋（１−ΣｅＩＤＰｅＩＤ（ｔＩＤ））×Ｓｐｒｉｏｒ
・・・（式２）
【０１４１】
ステップＳ１０７におけるターゲットデータの更新は、（ａ）ユーザ位置、（ｂ）ユーザ確信度、（ｃ）顔属性の期待値（本処理例では発話者である期待値（確率））の各々について実行する。まず、（ａ）ユーザ位置の更新処理について説明する。
【０１４２】
ユーザ位置の更新は、
（ａ１）全パーティクルの全ターゲットを対象とする更新処理、
（ａ２）各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理、
これらの２段階の更新処理として実行する。
【０１４３】
（ａ１）全パーティクルの全ターゲットを対象とする更新処理は、イベント発生源仮説ターゲットとして選択されたターゲットおよびその他のターゲットのすべてを対象として実行する。この処理は、時間経過に伴うユーザ位置の分散が拡大するという仮定に基づいて実行され、前回の更新処理からの経過時間とイベントの位置情報によってカルマン・フィルタ（Ｋａｌｍａｎ Ｆｉｌｔｅｒ）を用い更新される。
【０１４４】
以下、位置情報が１次元の場合の更新処理例について説明する。まず、前回の更新処理時間からの経過時間［ｄｔ］とし、全ターゲットについての、ｄｔ後のユーザ位置の予測分布を計算する。すなわち、ユーザ位置の分布情報としてのガウス分布：Ｎ（ｍｔ，σｔ）の期待値（平均）：［ｍｔ］、分散［σｔ］について、以下の更新を行う。
ｍｔ＝ｍｔ＋ｘｃ×ｄｔ
σｔ２＝σｔ２＋σｃ２×ｄｔ
なお、
ｍｔ：予測期待値（ｐｒｅｄｉｃｔｅｄ ｓｔａｔｅ）
σｔ２：予測共分散（ｐｒｅｄｉｃｔｅｄ ｅｓｔｉｍａｔｅ ｃｏｖａｒｉａｎｃｅ）
ｘｃ：移動情報（ｃｏｎｔｒｏｌ ｍｏｄｅｌ）
σｃ２：ノイズ（ｐｒｏｃｅｓｓ ｎｏｉｓｅ）
である。
なお、ユーザが移動しない条件の下で処理する場合は、ｘｃ＝０として更新処理を行うことができる。
上記の算出処理により、全ターゲットに含まれるユーザ位置情報としてのガウス分布：Ｎ（ｍｔ，σｔ）を更新する。
【０１４５】
（ａ２）各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理、
次に、各パーティクルに設定されたイベント発生源仮説ターゲットを対象とした更新処理について説明する。
ステップＳ１０３において設定したイベントの発生源の仮説に従って選択されたターゲットを更新する。先に図５を参照して説明したように、パーティクル１〜ｍの各々に含まれるターゲット１〜ｎの各々は、イベント（ｅＩＤ＝１〜ｋ）の各々に対応付けられたターゲットとして設定されている。
【０１４６】
すなわち、イベントＩＤ（ｅＩＤ）に応じてそれぞれのパーティクルに含まれるどのターゲットを更新するかが予め設定されており、その設定に従って各入力イベントに対応付けられたターゲットのみを更新する。例えば、図５に示す［イベントＩＤ＝１（ｅＩＤ＝１）］のイベント対応情報３６１によって、パーティクル１（ｐＩＤ＝１）では、ターゲットＩＤ＝１（ｔＩＤ＝１）のデータのみが選択的に更新される。
【０１４７】
このイベントの発生源の仮説に従った更新処理では、このようにイベントに対応付けられたターゲットの更新を行なう。音声イベント検出部１２２や画像イベント検出部１１２から入力するイベント情報に含まれるユーザ位置を示すガウス分布：Ｎ（ｍｅ，σｅ）などを用いた更新処理を実行する。
例えば、
Ｋ：カルマンゲイン（Ｋａｌｍａｎ Ｇａｉｎ）
ｍｅ：入力イベント情報：Ｎ（ｍｅ，σｅ）に含まれる観測値（Ｏｂｓｅｒｖｅｄ ｓｔａｔｅ）
σｅ２：入力イベント情報：Ｎ（ｍｅ，σｅ）に含まれる観測値（Ｏｂｓｅｒｖｅｄ ｃｏｖａｒｉａｎｃｅ）
として、以下の更新処理を行う。
Ｋ＝σｔ２／（σｔ２＋σｅ２）
ｍｔ＝ｍｔ＋Ｋ（ｘｃ−ｍｔ）
σｔ２＝（１−Ｋ）σｔ２
【０１４８】
次に、ターゲットデータの更新処理として実行する（ｂ）ユーザ確信度の更新処理について説明する。ターゲットデータには上記のユーザ位置情報の他に、各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）として各ユーザ１〜ｋである確率値（スコア）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）が含まれている。ステップＳ１０７では、このユーザ確信度情報（ｕＩＤ）についても更新処理を行う。
【０１４９】
各パーティクルに含まれるターゲットのユーザ確信度情報（ｕＩＤ）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）についての更新は、登録ユーザ全員分の事後確率と、音声イベント検出部１２２や画像イベント検出部１１２から入力するイベント情報に含まれるユーザ確信度情報（ｕＩＤ）：Ｐｅ［ｉ］（ｉ＝１〜ｋ）によって、予め設定した０〜１の範囲の値を持つ更新率［β］を適用して更新する。
【０１５０】
ターゲットのユーザ確信度情報（ｕＩＤ）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）についての更新は、以下の式によって実行する。
Ｐｔ［ｉ］＝（１−β）×Ｐｔ［ｉ］＋β＊Ｐｅ［ｉ］
ただし、
ｉ＝１〜ｋ
β：０〜１
である。なお、更新率［β］は、０〜１の範囲の値であり予め設定する。
【０１５１】
ステップＳ１０７では、この更新されたターゲットデータに含まれる以下のデータ、すなわち、
（ａ）ユーザ位置：各ターゲット各々に対応する存在位置の確率分布［ガウス分布：Ｎ（ｍｔ，σｔ）］、
（ｂ）ユーザ確信度：各ターゲットが誰であるかを示すユーザ確信度情報（ｕＩＤ）として各ユーザ１〜ｋである確率値（スコア）：Ｐｔ［ｉ］（ｉ＝１〜ｋ）、すなわち、
ｕＩＤｔ１＝Ｐｔ［１］
ｕＩＤｔ２＝Ｐｔ［２］
：
ｕＩＤｔｋ＝Ｐｔ［ｋ］
（ｃ）顔属性の期待値（本処理例では発話者である期待値（確率））
これらのデータによって構成される。
これらのデータと、各パーティクル重み［ＷｐＩＤ］とに基づいて、ターゲット情報を生成して、処理決定部１３２に出力する。
【０１５２】
なお、ターゲット情報は、各パーティクル（ＰＩＤ＝１〜ｍ）に含まれる各ターゲット（ｔＩＤ＝１〜ｎ）対応データの重み付き総和データとして生成される。図７の右端のターゲット情報３８０に示すデータである。ターゲット情報は、各ターゲット（ｔＩＤ＝１〜ｎ）各々の
（ａ）ユーザ位置情報、
（ｂ）ユーザ確信度情報、
（ｃ）顔属性の期待値（本処理例では発話者である期待値（確率））
これらの情報を含む情報として生成される。
【０１５３】
例えば、ターゲット（ｔＩＤ＝１）に対応するターゲット情報中の、ユーザ位置情報は、
【数１】
【０１５４】
上記式で表される。上記式において、Ｗｉは、パーティクル重み［ＷｐＩＤ］を示している。
【０１５５】
また、ターゲット（ｔＩＤ＝１）に対応するターゲット情報中の、ユーザ確信度情報は、
【数２】
【０１５６】
上記式で表される。上記式において、Ｗｉは、パーティクル重み［ＷｐＩＤ］を示している。
【０１５７】
また、ターゲット（ｔＩＤ＝１）に対応するターゲット情報中の、顔属性の期待値（本処理例では発話者である期待値（確率））は、
ＳｔＩＤ＝１＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝１）×ＳｅＩＤ＝ｉ
上記式、または、
ＳｔＩＤ＝１＝ΣｅＩＤＰｅＩＤ＝ｉ（ｔＩＤ＝１）×ＳｅＩＤ＝ｉ＋（１−ΣｅＩＤＰｅＩＤ（ｔＩＤ＝１）×Ｓｐｒｉｏｒ
で表される。
【０１５８】
音声・画像統合処理部１３１は、これらのターゲット情報をｎ個の各ターゲット（ｔＩＤ＝１〜ｎ）各々について算出し、算出したターゲット情報を処理決定部１３２に出力する。
【０１５９】
次に、図８に示すフローのステップＳ１０８の処理について説明する。音声・画像統合処理部１３１は、ステップＳ１０８において、ｎ個のターゲット（ｔＩＤ＝１〜ｎ）の各々がイベントの発生源である確率を算出し、これをシグナル情報として処理決定部１３２に出力する。
【０１６０】
先に説明したように、イベント発生源を示す［シグナル情報］は、音声イベントについては、誰が話をしたか、すなわち［発話者］を示すデータであり、画像イベントについては、画像に含まれる顔が誰であるかおよび［発話者］を示すデータである。
【０１６１】
音声・画像統合処理部１３１は、各パーティクルに設定されたイベント発生源の仮説ターゲットの数に基づいて、各ターゲットがイベント発生源である確率を算出する。すなわち、ターゲット（ｔＩＤ＝１〜ｎ）の各々がイベント発生源である確率を［Ｐ（ｔＩＤ＝ｉ）とする。ただしｉ＝１〜ｎである。例えば、あるイベント（ｅＩＤ＝ｘ）の発生源が特定のターゲットｙ（ｔＩＤ＝ｙ）である確率は、先に説明したように、
ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）
として示され、これは、音声・画像統合処理部１３１に設定されたパーティクル数：ｍと、各イベントに対するターゲットの割り当て数との比に相当する。例えば、図５に示す例では、
ＰｅＩＤ＝１（ｔＩＤ＝１）＝［第１イベント（ｅＩＤ＝１）にｔＩＤ＝１を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝１（ｔＩＤ＝２）＝［第１イベント（ｅＩＤ＝１）にｔＩＤ＝２を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝２（ｔＩＤ＝１）＝［第２イベント（ｅＩＤ＝２）にｔＩＤ＝１を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝２（ｔＩＤ＝２）＝［第２イベント（ｅＩＤ＝２）にｔＩＤ＝２を割り当てたパーティクル数）／（ｍ）］
このような対応関係となる。
このデータがイベント発生源を示す［シグナル情報］として、処理決定部１３２に出力される。
【０１６２】
ステップＳ１０８の処理が終了したら、ステップＳ１０１に戻り、音声イベント検出部１２２および画像イベント検出部１１２からのイベント情報の入力の待機状態に移行する。
【０１６３】
以上が、図１０に示すフローのステップＳ１０１〜Ｓ１０８の説明である。ステップＳ１０１において、音声・画像統合処理部１３１が、音声イベント検出部１２２および画像イベント検出部１１２から、図３（Ｂ）に示すイベント情報を取得できなかった場合も、ステップＳ１２１において、各パーティクルに含まれるターゲットの構成データの更新が実行される。この更新は、時間経過に伴うユーザ位置の変化を考慮した処理である。
【０１６４】
このターゲット更新処理は、先のステップＳ１０７の説明における（ａ１）全パーティクルの全ターゲットを対象とする更新処理と同様の処理であり、時間経過に伴うユーザ位置の分散が拡大するという仮定に基づいて実行され、前回の更新処理からの経過時間とイベントの位置情報によってカルマン・フィルタ（Ｋａｌｍａｎ Ｆｉｌｔｅｒ）を用い更新される。
【０１６５】
位置情報が１次元の場合の更新処理例について説明する。まず、前回の更新処理時間からの経過時間［ｄｔ］とし、全ターゲットについての、ｄｔ後のユーザ位置の予測分布を計算する。すなわち、ユーザ位置の分布情報としてのガウス分布：Ｎ（ｍｔ，σｔ）の期待値（平均）：［ｍｔ］、分散［σｔ］について、以下の更新を行う。
ｍｔ＝ｍｔ＋ｘｃ×ｄｔ
σｔ２＝σｔ２＋σｃ２×ｄｔ
なお、
ｍｔ：予測期待値（ｐｒｅｄｉｃｔｅｄ ｓｔａｔｅ）
σｔ２：予測共分散（ｐｒｅｄｉｃｔｅｄ ｅｓｔｉｍａｔｅ ｃｏｖａｒｉａｎｃｅ）
ｘｃ：移動情報（ｃｏｎｔｒｏｌ ｍｏｄｅｌ）
σｃ２：ノイズ（ｐｒｏｃｅｓｓ ｎｏｉｓｅ）
である。
なお、ユーザが移動しない条件の下で処理する場合は、ｘｃ＝０として更新処理を行うことができる。
上記の算出処理により、全ターゲットに含まれるユーザ位置情報としてのガウス分布：Ｎ（ｍｔ，σｔ）を更新する。
【０１６６】
なお、各パーティクルのターゲットに含まれるユーザ確信度情報（ｕＩＤ）については、イベントの登録ユーザ全員分の事後確率、もしくはイベント情報からスコア［Ｐｅ］が取得できない限りは更新しない。
【０１６７】
ステップＳ１２１の処理が終了したら、ステップＳ１２２において、ターゲットの削除要否を判定し必要であればステップＳ１２３においてターゲットを削除する。ターゲット削除は、例えば、ターゲットに含まれるユーザ位置情報にピークが検出されない場合など、特定のユーザ位置が得られていないようなデータを削除する処理として実行される。このようなターゲットがない場合は削除処理は不要であるステップＳ１２２〜Ｓ１２３の処理後にステップＳ１０１に戻り、音声イベント検出部１２２および画像イベント検出部１１２からのイベント情報の入力の待機状態に移行する。
【０１６８】
以上、図１０を参照して音声・画像統合処理部１３１の実行する処理について説明した。音声・画像統合処理部１３１は、図１０に示すフローに従った処理を音声イベント検出部１２２および画像イベント検出部１１２からのイベント情報の入力ごとに繰り返し実行する。この繰り返し処理により、より信頼度の高いターゲットを仮説ターゲットとして設定したパーティクルの重みが大きくなり、パーティクル重みに基づくリサンプリング処理により、より重みの大きいパーティクルが残存することになる。結果として音声イベント検出部１２２および画像イベント検出部１１２から入力するイベント情報に類似する信頼度の高いデータが残存することになり、最終的に信頼度の高い以下の各情報、すなわち、
（ａ）複数のユーザが、それぞれどこにいて、それらは誰であるかの推定情報としての［ターゲット情報］、
（ｂ）例えば話をしたユーザなどのイベント発生源を示す［シグナル情報］、
これらが生成されて処理決定部１３２に出力される。
【０１６９】
［２．音声および画像ベースの発話認識によるスコア（ＡＶＳＲスコア）算出処理を伴う発話者の特定処理について］
上述した項目［１．音声および画像イベント検出情報に基づくパーティクルフィルタリング処理によるユーザの位置およびユーザ識別処理の概要について］の処理では、発話者の特定のために顔属性情報（顔属性スコア）を生成していた。
すなわち、図２に示す情報処理装置における画像イベント検出部１１２が入力画像に含まれる顔の口領域の動きの大きさに応じたスコアを算出し、このスコアを利用して発話者の特定を行なう処理である。ただし、先に簡単に説明したように、口の動きの大きさからスコアを算出した処理では、ガムをかんでいるユーザやシステムに対する発話と無関係な発話や口の動きなどを区別できないため、システムに対する要求を行っているユーザの発話を特定しにくいという問題がある。
【０１７０】
以下では、このような欠点を解決した手法として、画像に含まれる顔の口領域の動きと発話認識との対応関係に応じたスコアを算出して発話者を特定する処理を行う構成について説明する。
図１２は、この処理を行う情報処理装置５００の構成例を示す図である。図１２に示す情報処理装置５００は、入力デバイスとして画像入力部（カメラ）１１１、複数の音声入力部（マイク）１２１ａ〜ｄを有する。画像入力部（カメラ）１１１から画像情報を入力し、音声入力部（マイク）１２１から音声情報を入力し、これらの入力情報に基づいて解析を行う。複数の音声入力部（マイク）１２１ａ〜ｄの各々は、先に説明した図１に示すように様々な位置に配置されている。
【０１７１】
図１２に示す情報処理装置５００の画像イベント検出部１１２、音声イベント検出部１２２、音声・画像統合処理部１３１、処理決定部１３２は、基本的には図２に示す情報処理装置１００の対応構成と同様の処理を実行する。
【０１７２】
すなわち、音声イベント検出部１２２は、複数の異なるポジションに配置された複数の音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し、音声の発生源の位置情報を確率分布データとして生成する。具体的には、音源方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。また、予め登録されたユーザの声の特徴情報との比較処理に基づいてユーザ識別情報を生成する。
画像イベント検出部１１２は、画像入力部（カメラ）１１１から入力する画像情報を解析し、画像に含まれる人物の顔を抽出し、顔の位置情報を確率分布データとして生成する。具体的には、顔の位置や方向に関する期待値と分散データＮ（ｍｅ，σｅ）を生成する。
【０１７３】
さらに、本実施例の情報処理装置５００は、図１２に示すように、
音声イベント検出部１２２は、音声ベース発話認識処理部５２２を有する。
画像イベント検出部１１２は、画像ベース発話認識処理部５１２を有する。
【０１７４】
音声イベント検出部１２２の音声ベース発話認識処理部５２２は、音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し、データベース５１０に格納された単語認識辞書に登録された単語に対応する音声情報との比較処理を行い、音声ベースの発話認識処理としてのＡＳＲ（Ａｕｄｉｏ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行する。すなわち、どのような言葉を話したかを識別する音声認識処理を実行し、発話したと推定される可能性の高い単語の情報（ＡＳＲ情報）を生成する。なお、この処理には、例えば、従来から知られる隠れマルコフモデル（ＨＭＭ）を適用した音声認識処理が適用可能である。
【０１７５】
また、画像イベント検出部１１２の画像ベース発話認識処理部５１２は、画像入力部（カメラ）１１１から入力する画像情報を解析し、ユーザの口の動きを解析する。画像ベース発話認識処理部５１２は、画像入力部（カメラ）１１１から入力する画像情報を解析して画像に含まれるターゲット（ｔＩＯＤ＝１〜ｎ）対応の口の動き情報を生成する。すなわちＶＳＲ（Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）によりＶＳＲ情報を生成する。
【０１７６】
音声イベント検出部１２２の音声ベース発話認識処理部５２２は、音声ベースの発話認識処理としてのＡＳＲ（Ａｕｄｉｏ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行して、発話したと推定される可能性の高い単語の情報（ＡＳＲ情報）を音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０に入力する。
同様に、画像イベント検出部１１２の画像ベース発話認識処理部５１２は、画像ベースの発話認識処理としてのＶＳＲ（Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行して、ＶＳＲの結果としての口の動きに関する情報（ＶＳＲ情報）を生成して音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０に入力する。画像ベース発話認識処理部５１２は、少なくとも音声ベース発話認識処理部５２２の検出した単語の発声期間に対応する期間の口の形を示す口形素情報を含むＶＳＲ情報を生成する。
【０１７７】
音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０では、音声ベース発話認識処理部５２２から入力するＡＳＲ情報と、画像ベース発話認識処理部５１２の生成したＶＳＲ情報を適用して、音声情報と画像情報の両者を適用したスコアであるＡＶＳＲ（Ａｕｄｉｏ Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）スコアを算出し、このスコアを音声・画像統合処理部１３１に入力する。
【０１７８】
すなわち、音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０は、音声ベース発話認識処理部５２２から単語情報を入力し、画像ベース発話認識処理部５１２からユーザ単位の口の動き情報を入力し、単語情報に近い口の動きに高いスコアを設定するスコア設定処理を実行してユーザ単位のスコア（ＡＶＳＲスコア）設定処理を実行する。
【０１７９】
具体的には、ＡＳＲ情報に含まれる単語情報を構成する音素単位で、ＶＳＲ情報に含まれるユーザ単位の口形素情報と登録口形素情報とを比較して、類似度の高い口形素を高いスコアとする口形素スコア設定処理を行ない、さらに単語を構成する全音素に対応する口形素スコアの相加平均値または相乗平均値算出処理によってユーザ対応のスコアであるＡＶＳＲスコアを算出する。なお、具体的な処理例については後段で図面を参照して説明する。
【０１８０】
なお、このＡＶＳＲスコアの算出処理には、ＡＳＲ処理と同様の隠れマルコフモデル（ＨＭＭ）を適用した音声認識処理が適用可能である。また、例えば［ｈｔｔｐ：／／ｗｗｗ．ｃｌｓｐ．ｊｈｕ．ｅｄｕ／ｗｓ２０００／ｆｉｎａｌ＿ｒｅｐｏｒｔｓ／ａｖｓｒ／ｗｓ００ａｖｓｒ．ｐｄｆ］に記載の処理を適用することができる。
【０１８１】
音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０の算出したＡＶＳＲスコアが、先の項目［１．音声および画像イベント検出情報に基づくパーティクルフィルタリング処理によるユーザの位置およびユーザ識別処理の概要について］において説明した顔属性スコアに対応するスコアとして利用される。すなわち、発話者の特定処理に用いられる。
【０１８２】
図１３を参照して、ＡＳＲ情報、ＶＳＲ情報、およびＡＶＳＲスコアの算出処理例について説明する。
図１３に示す実環境６０１は、図１に示すようなマイクとカメラの設定された環境である。複数のユーザ（本例では３人）がカメラによって撮影され、さらに「こんにちわ」という言葉がマイクを介して取得される。
【０１８３】
マイクを介して取得された音声信号は、音声イベント検出部１２２内の音声ベース発話認識処理部５２２に入力される。音声ベース発話認識処理部５２２は、音声ベースの発話認識処理［ＡＳＲ］を実行して、発話したと推定される可能性の高い単語の情報（ＡＳＲ情報）を生成して、音声・画像統合処理部１３１に入力する。
この例では、特にノイズ等が多く含まれない限り「こんにちわ」という単語情報が、ＡＳＲ情報として音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０に入力される。
【０１８４】
一方、カメラを介して取得された画像信号は、画像イベント検出部１１２内の画像ベース発話認識処理部５１２に入力される。画像ベース発話認識処理部５１２は、画像ベースの発話認識処理［ＶＳＲ］を実行する。具体的には、図１３に示すように、取得画像に複数のユーザ［ターゲット（ｔＩＤ＝１〜３）］が含まれる場合、各ユーザ［ターゲット（ｔＩＤ＝１〜３）］個別の口の動きを解析する。このユーザ単位の口の動きの解析情報がＶＳＲ情報として音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０に入力される。
【０１８５】
音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０は、音声ベース発話認識処理部５２２から入力するＡＳＲ情報と、画像ベース発話認識処理部５１２の生成したＶＳＲ情報を適用して、音声情報と画像情報の両者を適用したスコアであるＡＶＳＲ（Ａｕｄｉｏ Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）スコアを算出し、このスコアを音声・画像統合処理部１３１に入力する。
ＡＶＳＲスコアは各ユーザ［ターゲット（ｔＩＤ＝１〜３）］に対応するスコアとして算出され、音声・画像統合処理部１３１に入力される。
【０１８６】
図１４を参照して、音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０の実行するＡＶＳＲスコア算出処理例について説明する。
図１４に示す例は、
音声ベース発話認識処理部５２２から入力するＡＳＲ情報、すなわち音声解析の結果認識された単語が「こんにちわ」であり、
画像ベース発話認識処理部５１２から入力するＶＳＲ情報として２ユーザ［ターゲット（ｔＩＤ＝１〜２）］に対応する個別の口の動きの情報（口形素）が得られている場合の処理例である。
【０１８７】
音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０は、以下の処理手順に従って、各ターゲット（ｔＩＤ＝１，２）のＡＶＳＲスコアを算出する。
（手順１）各音素に対応する時刻(ti〜ti-1)での、各音素に対する口形素のスコアを計算する。
（手順２）全スコアの相加・相乗平均値などにより、ＡＶＳＲスコアを算出する。
なお、上述の処理によって、複数のターゲットに対応するＡＶＳＲスコアを算出した後、正規化処理を行ってその正規化後のＡＶＳＲスコアデータを音声・画像統合処理部１３１に入力する。
【０１８８】
図１４に示すように、画像ベース発話認識処理部５１２から入力するＶＳＲ情報は、ユーザ［ターゲット（ｔＩＤ＝１〜２）］に対応する個別の口の動きの情報（口形素）である。
このＶＳＲ情報は、音声ベース発話認識処理部５２２から入力するＡＳＲ情報の「こんにちわ」の発話がなされた時間（ｔ１〜ｔ６）内の各文字単位（各音素）に対応する時刻(ti〜ti-1)での口の形の情報である。
【０１８９】
音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０は、上記（手順１）において、これらの各音素に対応する口の形が、音声ベース発話認識処理部５２２から入力するＡＳＲ情報の「こんにちわ」の各音素［こ］［ん］［に］［ち］［わ］を発声する口の形に近いか否かによって各音素対応の口形素のスコア（Ｓ(ti〜ti-1)）を算出する。
さらに、上記（手順２）において、全スコアの相加・相乗平均値などにより、ＡＶＳＲスコアを算出する。
図１４に示す例では、
ターゲットＩＤ＝１（ｔＩＤ＝１）のユーザのＡＶＳＲスコアＳ（ｔＩＤ＝１）は、
Ｓ（ｔＩＤ＝１）＝ｍｅａｎＳ(ti〜ti-1)
ターゲットＩＤ＝２（ｔＩＤ＝２）のユーザのＡＶＳＲスコアＳ（ｔＩＤ＝２）は、
Ｓ（ｔＩＤ＝２）＝ｍｅａｎＳ(ti〜ti-1)
である。
【０１９０】
なお、図１４に示す例において、画像ベース発話認識処理部５１２から入力するＶＳＲ情報には、音声ベース発話認識処理部５２２から入力するＡＳＲ情報の「こんにちわ」の発話がなされた時間（ｔ１〜ｔ６）内の各文字単位（各音素）に対応する時刻(ti〜ti-1)での口の形の情報のみならず、その前後の無音（ｓｉｌ）状態にある時間（ｔ０〜ｔ１、およびｔ６〜ｔ７）の口形素情報も含まれている例を示している。
【０１９１】
このように、各ターゲットのＡＶＳＲスコアは、「こんにちわ」の単語の発話時間の前後の無音状態の口形素スコアも含めた計算値としてもよい。
なお、実際の発話期間、すなわち、各音素［こ］［ん］［に］［ち］［わ］の発声期間のスコアは、各音素［こ］［ん］［に］［ち］［わ］を発声する口の形に近いか否かによって各音素対応の口形素のスコア（Ｓ（ｔｉ〜ｔｉ−１））を算出する。一方、この無音状態の口形素スコアとしては、例えば、時間ｔ０〜ｔ１の口形素スコアは、［こ］の発声直前の口の形を登録情報としてデータベース５０１に格納しておき、この登録情報に近い形であるほど高いスコアとするといった設定が可能である。
データベース５０１には、各単語の口の形の登録情報として、例えば、
おはよう：ｏ ｈａ ｙｏ ｕ
こんにちわ：ｋｏ ｎ ｎｉ ｃｈｉ ｗａ
・・・・
このような音素単位の口の形の登録情報（口形素情報）が記録されている。音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０は、この登録情報に近い形であるほど高いスコアを設定する。
【０１９２】
なお、口の形に基づくスコア算出のためのデータ生成処理としては、一般的な音声認識のアプローチとして知られる単語認識のための隠れマルコフモデル（ＨＭＭ）の学習処理における音素ＨＭＭの学習処理が有効である。例えば、（ＩＴ テキスト 音声認識システム ２章、３章 ＩＳＢＮ４−２７４−１３２２８−５）に記載された構成と同様のアプローチで、単語ＨＭＭを学習する際に口形素ＨＭＭを学習することが可能である。その際、ＡＳＲとＶＳＲで下記のような共通の音素・口形素を定義しておけば、無音のＶＳＲスコアを算出することが可能となる。
ａ： あ
ｋａ： か
…
ｓｐ： 無音（文中）
ｑ： 無音（促音）
ｓｉｌＢ：無音（文頭）
ｓｉｌＥ：無音（文末）
なお、隠れマルコフモデル（ＨＭＭ）を学習させる際、音素に「音素１つ（モノフォン）」と「音素連続３つ（トライフォン）」があるように、口形素にも「口形素１つ」と「口形素連続３つ」などの対応関係も学習データとしてデータベースに記録して利用することが好ましい。
【０１９３】
図１５を参照して、画像入力部（カメラ）１１１から入力する画像に３人のユーザ［ターゲット（ｔＩＤ＝１〜３）］が含まれ、その中の１人（ｔＩＤ＝１）が実際に「こんにちわ」と発声している場合のＡＶＳＲスコアの算出処理例について説明する。
【０１９４】
図１５に示す例は、３人のターゲット（ｔＩＤ＝１〜３）の各々が以下のような設定である。
ｔＩＤ＝１が、「こんにちわ」と発声している。
ｔＩＤ＝２が無言を継続している。
ｔＩＤ＝３がガムを噛んでいる。
このような設定の場合、先に説明した項目［１．音声および画像イベント検出情報に基づくパーティクルフィルタリング処理によるユーザの位置およびユーザ識別処理の概要について］の処理では、口の動きの大きさによって顔属性情報（顔属性スコア）を決定しているため、ガムを噛んでいるｔＩＤ＝３のターゲットのスコアが高く設定される可能性がある。
【０１９５】
しかし、本処理例で算出するＡＶＳＲスコアは、音声ベース発話認識処理部５２２の検出した発話単語である「こんにちわ」により近い口の動きを持つターゲットのスコア（ＡＶＳＲスコア）が高くなる。
【０１９６】
図１５に示す例では、図１４に示す例と同様、各音素［こ］［ん］［に］［ち］［わ］の発声期間のスコアは、各音素［こ］［ん］［に］［ち］［わ］を発声する口の形に近いか否かによって各音素対応の口形素のスコア（Ｓ(ti〜ti-1)）を算出する。無音状態についても、前述した処理と同様、例えば、時間ｔ０〜ｔ１の口形素スコアは、［こ］の発声直前の口の形を登録情報としてデータベース５０１に格納しておき、この登録情報に近い形であるほど高いスコアとしている。
この結果、図１５に示すように
実際に「こんにちわ」と発声しているｔＩＤ＝１のユーザの口形素スコア（Ｓ(ti〜ti-1)）はすべての時間において、他のターゲット（ｔＩＤ＝２，３）の口形素スコアを上回る結果となっている。
従って、最終的に算出されるＡＶＳＲスコアについても、ターゲーット（ｔＩＤ＝１）のＡＶＳＲスコア：［Ｓ（ｔＩＤ＝１）＝ｍｅａｎＳ(ti〜ti-1)］が他のターゲットを上回る値となる。
【０１９７】
このターゲット対応のＡＶＳＲスコアが音声・画像統合処理部１３１に入力される。音声・画像統合処理部１３１においては、このＡＶＳＲスコアを前述の項目１において説明した顔属性スコアに代わるスコア値として利用して発話者の特定処理を実行する。この処理によって、実際に発話を行っているユーザを高精度に特定することが可能となる。
【０１９８】
なお、先の項目１においても説明したが、例えば、顔検出できても口が手で覆われていて口の動き検出ができない場合などがある。この場合、そのターゲットのＶＳＲ情報は取得することができない。このような場合は、その期間についてのみ口形素スコア（Ｓ(ti〜ti-1)）の代わりに事前知識の値［Ｓｐｒｉｏｒ］を適用する。
【０１９９】
この処理例について、図１６を参照して説明する。
図１６に示す例は、先に説明した図１４の処理例と同様、
音声ベース発話認識処理部５２２から入力するＡＳＲ情報、すなわち音声解析の結果認識された単語が「こんにちわ」であり、
画像ベース発話認識処理部５１２から入力するＶＳＲ情報として２ユーザ［ターゲット（ｔＩＤ＝１〜２）］に対応する個別の口の動きの情報（口形素）が得られている場合の処理例である。
【０２００】
ただし、ｔＩＤ＝１のターゲットについては、時間ｔ２〜ｔ４の期間が口の動きを観測できなかった期間である。同様に、ｔＩＤ＝２のターゲットについては、時間ｔ５の前からｔ６の後の期間が口の動きを観測できなかった期間である。
すなわち、
ターゲット：ｔＩＤ＝１は「んに」において、
ターゲット：ｔＩＤ＝２は「ちわ」において、
口形素スコアが算出不可能である。
このような口形素スコアの算出不可能期間は、音素に対応する口形素の事前知識の値［Ｓｐｒｉｏｒ(ti〜ti-1)］を代用する。
なお、この口形素の事前知識の値［Ｓｐｒｉｏｒ(ti〜ti-1)］は、例えば、
ａ）任意の固定値（０．１，０．２等）、
ｂ）全口形素（Ｎ）に対する一様の値（１／Ｎ）、
ｃ）事前に測定した全口形素の出現頻度に応じて設定した出現確率値、
例えばこれらの値を適用することができる。なお、これらの値は予めデータベース５０１に登録しておく、
【０２０１】
次に、図１７に示すフローチャートを参照してＡＶＳＲスコア算出処理の処理シーケンスについて説明する。なお、この図１７に示すフローの実行主体は、音声ベース発話認識処理部５２２、画像ベース発話認識処理部５１２、および音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０である。
【０２０２】
まず、ステップＳ２０１において、図１５に示す音声入力部（マイク）１２１ａ〜ｄと、画像入力部（カメラ）１１１を介して、音声情報、画像情報が入力される。
音声情報は音声イベント検出部１２２に入力され、画像情報は画像イベント検出部１１２に入力される。
【０２０３】
ステップＳ２０２は音声イベント検出部１２２の音声ベース発話認識処理部５２２の処理である。音声ベース発話認識処理部５２２は、音声入力部（マイク）１２１ａ〜ｄから入力する音声情報を解析し、データベース５１０に格納された単語認識辞書に登録された単語に対応する音声情報との比較処理を行い、音声ベースの発話認識処理としてのＡＳＲ（Ａｕｄｉｏ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行する。すなわち、どのような言葉を話したかを識別する音声認識処理を実行し、発話したと推定される可能性の高い単語の情報（ＡＳＲ情報）を生成する。
【０２０４】
ステップＳ２０３は画像イベント検出部１１２の画像ベース発話認識処理部５ぬ２の処理である。画像ベース発話認識処理部５１２は、画像入力部（カメラ）１１１から入力する画像情報を解析し、ユーザの口の動きを解析する。画像ベース発話認識処理部５１２は、画像入力部（カメラ）１１１から入力する画像情報を解析して画像に含まれるターゲット（ｔＩＯＤ＝１〜ｎ）対応の口の動き情報を生成する。すなわちＶＳＲ（Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）によりＶＳＲ情報を生成する。
【０２０５】
ステップＳ２０４は、音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０の処理である。音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０は、音声ベース発話認識処理部５２２から入力するＡＳＲ情報と、画像ベース発話認識処理部５１２の生成したＶＳＲ情報を適用して、音声情報と画像情報の両者を適用したスコアであるＡＶＳＲ（Ａｕｄｉｏ Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）スコアを算出する。
【０２０６】
このスコア算出処理は、例えば先に図１４〜図１６を参照して説明した処理である。例えば、音声ベース発話認識処理部５２２から入力するＡＳＲ情報の「こんにちわ」の各音素［こ］［ん］［に］［ち］［わ］を発声する口の形に近いか否かによって各音素対応の口形素のスコア（Ｓ(ti〜ti-1)）を算出し、この口形素スコア（Ｓ(ti〜ti-1)）の相加・相乗平均値などにより、ＡＶＳＲスコアを算出する。さらに正規化処理を行った各ターゲット対応のＡＶＳＲスコアを算出する。
【０２０７】
なお、音声画像併用発話認識スコア算出部（ＡＶＳＲスコア算出部）５３０の算出したＡＶＳＲスコアは、図１２に示す音声・画像統合処理部１３１に入力され、発話者特定処理に適用される。
具体的には、先の項目１において説明した顔属性情報（顔属性スコア）の代わりに、このＡＶＳＲスコアが適用され、ＡＶＳＲスコアに基づくパーティクル更新処理が実行される。
【０２０８】
ＡＶＳＲスコアは、顔属性情報（顔属性スコア［ＳｅＩＤ］）と同様、イベント発生源を示す［シグナル情報］として最終的に利用される。ある程度の数のイベントが入力されると、各パーティクルの重み（ウェイト）も更新され、実空間の情報に最も近いデータを持つパーティクルの重みが大きくなり、実空間の情報に適合しないデータを持つパーティクルの重みが小さくなっていく。このようにパーティクルの重みに偏りが発生し収束した段階で、顔属性情報（顔属性スコア）に基づくシグナル情報、すなわち、イベント発生源を示す［シグナル情報］が算出される。
すなわち、パーティクル更新処理の後、図１０に示すフローチャートのステップＳ１０８の処理におけるシグナル情報の生成処理に適用されることになる。
【０２０９】
図８に示すフローのステップＳ１０８の処理について説明する。音声・画像統合処理部１３１は、ステップＳ１０８において、ｎ個のターゲット（ｔＩＤ＝１〜ｎ）の各々がイベントの発生源である確率を算出し、これをシグナル情報として処理決定部１３２に出力する。
【０２１０】
先に説明したように、イベント発生源を示す［シグナル情報］は、音声イベントについては、誰が話をしたか、すなわち［発話者］を示すデータであり、画像イベントについては、画像に含まれる顔が誰であるかおよび［発話者］を示すデータである。
【０２１１】
音声・画像統合処理部１３１は、各パーティクルに設定されたイベント発生源の仮説ターゲットの数に基づいて、各ターゲットがイベント発生源である確率を算出する。すなわち、ターゲット（ｔＩＤ＝１〜ｎ）の各々がイベント発生源である確率を［Ｐ（ｔＩＤ＝ｉ）とする。ただしｉ＝１〜ｎである。例えば、あるイベント（ｅＩＤ＝ｘ）の発生源が特定のターゲットｙ（ｔＩＤ＝ｙ）である確率は、先に説明したように、
ＰｅＩＤ＝ｘ（ｔＩＤ＝ｙ）
として示され、これは、音声・画像統合処理部１３１に設定されたパーティクル数：ｍと、各イベントに対するターゲットの割り当て数との比に相当する。例えば、図５に示す例では、
ＰｅＩＤ＝１（ｔＩＤ＝１）＝［第１イベント（ｅＩＤ＝１）にｔＩＤ＝１を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝１（ｔＩＤ＝２）＝［第１イベント（ｅＩＤ＝１）にｔＩＤ＝２を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝２（ｔＩＤ＝１）＝［第２イベント（ｅＩＤ＝２）にｔＩＤ＝１を割り当てたパーティクル数）／（ｍ）］
ＰｅＩＤ＝２（ｔＩＤ＝２）＝［第２イベント（ｅＩＤ＝２）にｔＩＤ＝２を割り当てたパーティクル数）／（ｍ）］
このような対応関係となる。
このデータがイベント発生源を示す［シグナル情報］として、処理決定部１３２に出力される。
【０２１２】
このように本処理例では、音声ベースの発話認識処理と画像ベースの発話認識処理を併用した処理によって各ターゲットのＡＶＳＲスコアを算出し、ＡＶＳＲスコアを適用して発話源の特定を実行しているので、実際の発話内容に応じた口の動きを示しているユーザ（ターゲット）を高精度に発話源であると判定することが可能となる。このような発話源の推定を行なうことで、発話者の特定処理としてのダイアリゼーションの性能を向上させることが可能となる。
【０２１３】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２１４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２１５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２１６】
以上、説明したように、本発明の一実施例の構成によれば、カメラやマイクを介する入力情報の解析により、発話者の特定処理を行う構成が実現される。音声ベースの発話認識処理と画像ベース発話認識処理を実行する。さらに、音声ベース発話認識処理部において発話可能性が高いと判定した単語情報を入力し、画像ベース発話認識処理において解析されたユーザ単位の口の動き情報である口形素情報を入力して、単語を構成する音素単位で各音素の発話の口の動きに近い場合に高いスコアを設定してユーザ単位のスコアを設定する。さらに、ユーザ単位のスコアを適用してスコアに基づく発話者特定処理を実行する。この処理により発話内容に近い口の動きを示すユーザを発話源として特定可能となり、精度の高い発話者特定が実現される。
【符号の説明】
【０２１７】
１１〜１４ ユーザ
２１ カメラ
３１〜３４ マイク
１００ 情報処理装置
１１１ 画像入力部
１１２ 画像イベント検出部
１２１ 音声入力部
１２２ 音声イベント検出部
１３１ 音声・画像統合処理部
１３２ 処理決定部
２０１〜２０ｋ ユーザ
３０１ ユーザ
３０２ 画像データ
３５０ 画像フレーム
３５１ 第１顔画像
３５２ 第２顔画像
３６１，３６２ イベント情報
３７１，３７２ イベント発生源仮説データ
３７５ ターゲットデータ
３８０ ターゲット情報
３９０ ターゲット情報
３９５ 第３顔画像
４０１ イベント情報
４２１ パーティクル
５００ 情報処理装置
５０１ データベース
５１２ 画像ベース発話認識処理部
５２２ 音声ベース発話認識処理部
５３０ 音声画像併用発話認識スコア算出部
【特許請求の範囲】
【請求項１】
実空間の観測情報としての音声情報を入力し、音声ベースの発話認識処理を実行して発話可能性が高いと判定した単語情報を生成する音声ベース発話認識処理部と、
前記実空間の観測情報としての画像情報を入力し、入力画像に含まれる各ユーザの口の動きを解析してユーザ単位の口の動き情報を生成する画像ベース発話認識処理部と、
前記音声ベース発話認識処理部から単語情報を入力し、前記画像ベース発話認識処理部からユーザ単位の口の動き情報を入力し、前記単語情報に近い口の動きに高いスコアを設定するスコア設定処理を実行してユーザ単位のスコア設定処理を実行する音声画像併用発話認識スコア算出部と、
前記スコアを入力して、入力スコアに基づく発話者特定処理を実行する情報統合処理部を有する情報処理装置。
【請求項２】
前記音声ベース発話認識処理部は、音声ベースの発話認識処理であるＡＳＲ（Ａｕｄｉｏ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行して発話可能性が高いと判定した単語情報の音素列をＡＳＲ情報として生成し、
前記画像ベース発話認識処理部は、画像ベースの発話認識処理であるＶＳＲ（Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行して、少なくとも前記単語発声期間の口の形を示す口形素情報を含むＶＳＲ情報を生成し、
前記音声画像併用発話認識スコア算出部は、前記ＡＳＲ情報に含まれる単語情報を構成する音素単位で、前記ＶＳＲ情報に含まれるユーザ単位の口形素情報と登録口形素情報とを比較して、類似度の高い口形素を高いスコアとする口形素スコア設定処理を行ない、さらに単語を構成する全音素に対応する口形素スコアの相加平均値または相乗平均値算出処理によってユーザ対応のスコアであるＡＶＳＲスコアを算出する請求項１に記載の情報処理装置。
【請求項３】
前記音声画像併用発話認識スコア算出部は、前記ＡＳＲ情報に含まれる単語情報の前後の無音時間に対応する口形素スコア設定処理を行ない、単語を構成する全音素に対応する口形素スコアと無音時間対応の口形素スコアを含むスコアの相加平均値または相乗平均値算出処理によってユーザ対応のスコアであるＡＶＳＲスコアを算出する請求項２に記載の情報処理装置。
【請求項４】
前記音声画像併用発話認識スコア算出部は、前記単語発声期間の口の形を示す口形素情報が入力されない期間についての口形素スコアとして、予め設定された事前知識の値を用いることを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記情報統合処理部は、前記実空間のユーザ情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、前記ＡＶＳＲスコアに基づく仮説の更新および取捨選択により、発話者特定処理を実行する請求項１〜４いずれかに記載の情報処理装置。
【請求項６】
前記情報処理装置は、さらに、
前記実空間の観測情報として音声情報を入力し、前記実空間に存在するユーザの推定位置情報および推定識別情報を含む音声イベント情報を生成する音声イベント検出部と、
前記実空間の観測情報として画像情報を入力し、前記実空間に存在するユーザの推定位置情報および推定識別情報を含む画像イベント情報を生成する画像イベント検出部を有し、
前記情報統合処理部は、ユーザの位置および識別情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの位置情報を含む解析情報を生成する処理を実行する構成である請求項１〜５いずれかに記載の情報処理装置。
【請求項７】
前記情報統合処理部は、
仮想的なユーザに対応する複数のターゲットデータを設定した複数のパーティクルを適用したパーティクルフィルタリング処理を実行して前記実空間に存在するユーザの位置情報を含む解析情報を生成する構成であり、
前記パーティクルに設定するターゲットデータの各々を前記音声および画像イベント検出部から入力するイベント各々に対応付けて設定し、入力イベント識別子に応じて各パーティクルから選択されるイベント対応ターゲットデータの更新を行う構成を有することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記情報統合処理部は、
前記イベント検出部において検出された顔画像単位のイベント各々にターゲットを対応付けて処理を行なう構成を有することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
情報処理装置において実行する情報処理方法であり、
音声ベース発話認識処理部が、実空間の観測情報としての音声情報を入力し、音声ベースの発話認識処理を実行して発話可能性が高いと判定した単語情報を生成する音声ベース発話認識処理ステップと、
画像ベース発話認識処理部が、前記実空間の観測情報としての画像情報を入力し、入力画像に含まれる各ユーザの口の動きを解析してユーザ単位の口の動き情報を生成する画像ベース発話認識処理ステップと、
音声画像併用発話認識スコア算出部が、前記音声ベース発話認識処理部から単語情報を入力し、前記画像ベース発話認識処理部からユーザ単位の口の動き情報を入力し、前記単語情報に近い口の動きに高いスコアを設定するスコア設定処理を実行してユーザ単位のスコア設定処理を実行する音声画像併用発話認識スコア算出ステップと、
情報統合処理部が、前記スコアを入力して、入力スコアに基づく発話者特定処理を実行する情報統合処理ステップを実行する情報処理方法。
【請求項１０】
情報処理装置において情報処理を実行させるプログラムであり、
音声ベース発話認識処理部に、実空間の観測情報としての音声情報を入力し、音声ベースの発話認識処理を実行して発話可能性が高いと判定した単語情報を生成させる音声ベース発話認識処理ステップと、
画像ベース発話認識処理部に、前記実空間の観測情報としての画像情報を入力し、入力画像に含まれる各ユーザの口の動きを解析してユーザ単位の口の動き情報を生成させる画像ベース発話認識処理ステップと、
音声画像併用発話認識スコア算出部に、前記音声ベース発話認識処理部から単語情報を入力し、前記画像ベース発話認識処理部からユーザ単位の口の動き情報を入力し、前記単語情報に近い口の動きに高いスコアを設定するスコア設定処理を実行してユーザ単位のスコア設定処理を実行させる音声画像併用発話認識スコア算出ステップと、
情報統合処理部に、前記スコアを入力して、入力スコアに基づく発話者特定処理を実行させる情報統合処理ステップを実行させるプログラム。
【請求項１】
実空間の観測情報としての音声情報を入力し、音声ベースの発話認識処理を実行して発話可能性が高いと判定した単語情報を生成する音声ベース発話認識処理部と、
前記実空間の観測情報としての画像情報を入力し、入力画像に含まれる各ユーザの口の動きを解析してユーザ単位の口の動き情報を生成する画像ベース発話認識処理部と、
前記音声ベース発話認識処理部から単語情報を入力し、前記画像ベース発話認識処理部からユーザ単位の口の動き情報を入力し、前記単語情報に近い口の動きに高いスコアを設定するスコア設定処理を実行してユーザ単位のスコア設定処理を実行する音声画像併用発話認識スコア算出部と、
前記スコアを入力して、入力スコアに基づく発話者特定処理を実行する情報統合処理部を有する情報処理装置。
【請求項２】
前記音声ベース発話認識処理部は、音声ベースの発話認識処理であるＡＳＲ（Ａｕｄｉｏ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行して発話可能性が高いと判定した単語情報の音素列をＡＳＲ情報として生成し、
前記画像ベース発話認識処理部は、画像ベースの発話認識処理であるＶＳＲ（Ｖｉｓｕａｌ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を実行して、少なくとも前記単語発声期間の口の形を示す口形素情報を含むＶＳＲ情報を生成し、
前記音声画像併用発話認識スコア算出部は、前記ＡＳＲ情報に含まれる単語情報を構成する音素単位で、前記ＶＳＲ情報に含まれるユーザ単位の口形素情報と登録口形素情報とを比較して、類似度の高い口形素を高いスコアとする口形素スコア設定処理を行ない、さらに単語を構成する全音素に対応する口形素スコアの相加平均値または相乗平均値算出処理によってユーザ対応のスコアであるＡＶＳＲスコアを算出する請求項１に記載の情報処理装置。
【請求項３】
前記音声画像併用発話認識スコア算出部は、前記ＡＳＲ情報に含まれる単語情報の前後の無音時間に対応する口形素スコア設定処理を行ない、単語を構成する全音素に対応する口形素スコアと無音時間対応の口形素スコアを含むスコアの相加平均値または相乗平均値算出処理によってユーザ対応のスコアであるＡＶＳＲスコアを算出する請求項２に記載の情報処理装置。
【請求項４】
前記音声画像併用発話認識スコア算出部は、前記単語発声期間の口の形を示す口形素情報が入力されない期間についての口形素スコアとして、予め設定された事前知識の値を用いることを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記情報統合処理部は、前記実空間のユーザ情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、前記ＡＶＳＲスコアに基づく仮説の更新および取捨選択により、発話者特定処理を実行する請求項１〜４いずれかに記載の情報処理装置。
【請求項６】
前記情報処理装置は、さらに、
前記実空間の観測情報として音声情報を入力し、前記実空間に存在するユーザの推定位置情報および推定識別情報を含む音声イベント情報を生成する音声イベント検出部と、
前記実空間の観測情報として画像情報を入力し、前記実空間に存在するユーザの推定位置情報および推定識別情報を含む画像イベント情報を生成する画像イベント検出部を有し、
前記情報統合処理部は、ユーザの位置および識別情報についての仮説（Ｈｙｐｏｔｈｅｓｉｓ）の確率分布データを設定し、前記イベント情報に基づく仮説の更新および取捨選択により、前記実空間に存在するユーザの位置情報を含む解析情報を生成する処理を実行する構成である請求項１〜５いずれかに記載の情報処理装置。
【請求項７】
前記情報統合処理部は、
仮想的なユーザに対応する複数のターゲットデータを設定した複数のパーティクルを適用したパーティクルフィルタリング処理を実行して前記実空間に存在するユーザの位置情報を含む解析情報を生成する構成であり、
前記パーティクルに設定するターゲットデータの各々を前記音声および画像イベント検出部から入力するイベント各々に対応付けて設定し、入力イベント識別子に応じて各パーティクルから選択されるイベント対応ターゲットデータの更新を行う構成を有することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記情報統合処理部は、
前記イベント検出部において検出された顔画像単位のイベント各々にターゲットを対応付けて処理を行なう構成を有することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
情報処理装置において実行する情報処理方法であり、
音声ベース発話認識処理部が、実空間の観測情報としての音声情報を入力し、音声ベースの発話認識処理を実行して発話可能性が高いと判定した単語情報を生成する音声ベース発話認識処理ステップと、
画像ベース発話認識処理部が、前記実空間の観測情報としての画像情報を入力し、入力画像に含まれる各ユーザの口の動きを解析してユーザ単位の口の動き情報を生成する画像ベース発話認識処理ステップと、
音声画像併用発話認識スコア算出部が、前記音声ベース発話認識処理部から単語情報を入力し、前記画像ベース発話認識処理部からユーザ単位の口の動き情報を入力し、前記単語情報に近い口の動きに高いスコアを設定するスコア設定処理を実行してユーザ単位のスコア設定処理を実行する音声画像併用発話認識スコア算出ステップと、
情報統合処理部が、前記スコアを入力して、入力スコアに基づく発話者特定処理を実行する情報統合処理ステップを実行する情報処理方法。
【請求項１０】
情報処理装置において情報処理を実行させるプログラムであり、
音声ベース発話認識処理部に、実空間の観測情報としての音声情報を入力し、音声ベースの発話認識処理を実行して発話可能性が高いと判定した単語情報を生成させる音声ベース発話認識処理ステップと、
画像ベース発話認識処理部に、前記実空間の観測情報としての画像情報を入力し、入力画像に含まれる各ユーザの口の動きを解析してユーザ単位の口の動き情報を生成させる画像ベース発話認識処理ステップと、
音声画像併用発話認識スコア算出部に、前記音声ベース発話認識処理部から単語情報を入力し、前記画像ベース発話認識処理部からユーザ単位の口の動き情報を入力し、前記単語情報に近い口の動きに高いスコアを設定するスコア設定処理を実行してユーザ単位のスコア設定処理を実行させる音声画像併用発話認識スコア算出ステップと、
情報統合処理部に、前記スコアを入力して、入力スコアに基づく発話者特定処理を実行させる情報統合処理ステップを実行させるプログラム。
【図１０】
【図１４】
【図１５】
【図１６】
【図１７】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−１８６３５１（Ｐ２０１１−１８６３５１Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−５４０１６（Ｐ２０１０−５４０１６）
【出願日】平成２２年３月１１日（２０１０．３．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月１１日（２０１０．３．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]