情報処理装置、および情報処理方法、並びにプログラム
【課題】ユーザ状態やシステム状態に応じてユーザに対する情報の提供レベルや態様を変更して情報を提供する装置および方法を実現する。
【解決手段】カメラの撮影画像の解析処理を実行する画像解析部の解析結果と、マイクから入力する音声の解析処理を実行する音声解析部の解析結果を入力して、ユーザに対する情報の出力制御を実行するデータ処理部を有する。データ処理部は、画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する。
【解決手段】カメラの撮影画像の解析処理を実行する画像解析部の解析結果と、マイクから入力する音声の解析処理を実行する音声解析部の解析結果を入力して、ユーザに対する情報の出力制御を実行するデータ処理部を有する。データ処理部は、画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、および情報処理方法、並びにプログラムに関する。特に、ユーザの発話等に基づいて様々な処理を実行する情報処理装置、および情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ＰＣや、テレビ、録画再生機、その他、様々な家電製品を操作する場合、ユーザは、各装置に備えられた入力部やあるいはリモコンなどを操作して、所望の処理を装置に実行させる。例えばＰＣを利用する場合にはキーボードやマウスを入力デバイスとして用いることが多い。また、テレビや録画再生機などに対してはリモコンを用いて、様々な処理、例えばチャンネルの切り替えや再生コンテンツの選択などを行うことが多い。
【０００３】
このような様々な装置に対する指示を、ユーザの発話や動作によって実行するシステムについて、様々な研究がなされている。具体的には音声認識処理を用いてユーザの発話を認識するシステムや、画像処理を用いてユーザの行動やジェスチャーを認識するシステムなどである。
【０００４】
リモコン、キーボート、マウス等の一般的な入力デバイスに加えて、音声認識や画像認識など、様々な複数のコミュニケーションモードを利用して、ユーザとのコミュニケーションを実行するインタフェースは、マルチモーダル・インタフェースと呼ばれる。マルチモーダル・インタフェースについて開示した従来技術として、例えば、特許文献１（ＵＳ特許６９８８０７２号公報）がある。
【０００５】
しかしながら、このようなマルチモーダル・インタフェース等において利用される音声認識装置や画像認識装置は処理能力に限界があり、理解できるユーザの発話や動作が限られてしまう。従って、ユーザの意思が正確にシステム側に伝わらない場合も多いというのが現状である。
【０００６】
情報処理装置がユーザに対して情報を提供したり、ユーザ要求に対する応答を行う方法としては、表示部にメッセージを表示する処理や、スピーカを介して音声や効果音を出力するなど様々な方法がある。
【０００７】
しかし、音声に基づく説明は、ユーザが冗長に感ずる場合もあり、聞き逃すといった場合もある。また、表示部に対して説明やヘルプ情報を提示する場合は、ユーザが表示部を見ていない場合には、役に立たないといった問題がある。
【０００８】
システムの応答を制御する構成を開示した従来技術しては、例えば以下のような文献がある。
特許文献２（特開２００４−３３３５４３号公報）は、音声対話システム及び音声対話方法を開示しており、ユーザの音声対話システム使用の習熟度に応じてシステム側音声の出力を変更可能にした音声対話システム及び音声対話方法を提供する構成について説明している。
また、特許文献３（特開２００５−２０２０７６号公報）は、利用者とシステムとの間の距離に応じて、対話をより円滑にする技術を開示している。具体的には、ロボットと利用者との距離が離れている場合は、ロボットが発話する音声が利用者に聞こえない可能性が高いため、ロボットの音声の音量を上げることにより対話を円滑化する技術が提案されている。
しかし、これらの文献に記載の構成は、ユーザの習熟度、あるいは距離といつた特定のポイントのみに対する処理であり、様々な観点からの観察情報を利用する構成となっていない。
【０００９】
さらに、特許文献４（特開２００８−２１７４４４号公報）は、利用者と対話する装置、方法およびプログラムを開示している。具体的には、利用者の注視状況で応答を変更することにより、自然な対話を実現するものであり、ユーザの位置が遠い時，視線方向がテレビの方向を向いていない時に，ユーザからの要求に対する応答を音声をつかって行う赤外線や音波を利用することでユーザとの距離や視線の方向を検出する構成を開示している。しかし、この構成では、ユーザがデバイスを装着しなければならないという問題がある。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】ＵＳ特許第６，９８８，０７２号公報
【特許文献２】特開２００４−３３３５４３号公報
【特許文献３】特開２００５−２０２０７６号公報
【特許文献４】特開２００８−２１７４４４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、例えば上記問題点に鑑みてなされたものであり、ユーザの状態を監視して、ユーザ状態に応じた最適な方法でユーザに対する装置からのメッセージやヘルプ情報を提供することを可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の側面は、
カメラの撮影画像の解析処理を実行する画像解析部と、
マイクから入力する音声の解析処理を実行する音声解析部と、
前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対して出力する情報の制御を実行するデータ処理部を有し、
前記データ処理部は、
画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する処理を行う情報処理装置にある。
【００１３】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記画像解析部の解析結果に基づいて、ユーザが情報処理装置に注目しているか否かを判定し、ユーザが情報処理装置に注目していないと判定した場合は、音声または効果音を伴う情報出力を実行する。
【００１４】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記画像解析部の解析結果に基づいて、ユーザが情報処理装置の前にいるか否かを判定し、ユーザが情報処理装置の前にいないと判定した場合は、音声または効果音を伴う情報出力を実行する。
【００１５】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記システム状態情報に基づいて、情報処理装置が表示部へのコンテンツ再生を行っていると判定した場合は、表示部への情報出力を実行する。
【００１６】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記システム状態情報に基づいて、情報処理装置がユーザに対する警告を出力する必要があるか否かを判定し、警告を出力する必要があると判定した場合は、音声または効果音を伴う情報出力を実行する。
【００１７】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、ユーザが過去に発生したエラー情報に基づいて、ユーザに対して出力する情報のレベルを変更して出力する制御を行う。
【００１８】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、同一ユーザが規定の期間内に、同じ種類のエラーを発生させた回数が規定閾値を超えている場合は詳細説明を出力する制御を行う。
【００１９】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、同一ユーザが規定の期間内に、複数の異なる種類のエラーを連続的に発生させた回数が規定閾値を超えている場合は詳細説明を出力する制御を行う。
【００２０】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、ユーザの過去の情報処理装置に対する操作履歴情報に基づいて、ユーザの情報処理装置に対する熟練度を判定し、ユーザが初心者でないと判定した場合は簡潔な説明を出力し、ユーザが初心者であると判定した場合は詳細または通常のレベルの説明を出力する制御を行う。
【００２１】
さらに、本発明の第２の側面は、
情報処理装置において実行する情報処理方法であり、
画像解析部が、カメラの撮影画像の解析処理を実行する画像解析ステップと、
音声解析部が、マイクから入力する音声の解析処理を実行する音声解析ステップと、
データ処理部が、前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対して出力する情報の制御を実行するデータ処理ステップを実行し、
前記データ処理ステップは、
画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する処理を行うステップである情報処理方法にある。
【００２２】
さらに、本発明の第３の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
画像解析部に、カメラの撮影画像の解析処理を実行させる画像解析ステップと、
音声解析部に、マイクから入力する音声の解析処理を実行させる音声解析ステップと、
データ処理部に、前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対して出力する情報の制御を実行させるデータ処理ステップとを有し、
前記データ処理ステップは、
画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する処理を行わせるステップであるプログラムにある。
【００２３】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２４】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２５】
本発明の一実施例の構成によれば、ユーザ状態やシステム状態に応じてユーザに対する情報の提供レベルや態様を変更して情報を提供する装置および方法が実現される。具体的には、カメラの撮影画像の解析処理を実行する画像解析部の解析結果と、マイクから入力する音声の解析処理を実行する音声解析部の解析結果を入力して、ユーザに対する情報の出力制御を実行するデータ処理部が、画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する。この処理により、ユーザの状況に応じて確実に情報を伝えることが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の情報処理装置の利用例について説明する図である。
【図２】本発明の情報処理装置の構成例を示すブロック図である。
【図３】本発明の情報処理装置の詳細な構成例を示すブロック図である。
【図４】本発明の情報処理装置の実行する処理例について説明するフローチャートを示す図である。
【図５】本発明の情報処理装置の実行する処理例について説明する図である。
【図６】本発明の情報処理装置の実行する処理例について説明するフローチャートを示す図である。
【図７】本発明の情報処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら本発明の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本発明の情報処理装置の実行する処理の概要について
２．本発明の情報処理装置の構成例について
３．ユーザに対する情報出力処理の具体例について
４．情報処理装置のハードウェア構成例について
【００２８】
［１．本発明の情報処理装置の実行する処理の概要について］
まず、図１を参照して本発明の情報処理装置の実行する処理の概要について説明する。図１には、本発明に係る情報処理装置の例としてテレビを示している。情報処理装置１００は、例えば、放送コンテンツの表示処理の他、内蔵する録画再生機器、例えばハードディスク、ＤＶＤやＢｌｕ−ｒａｙディスク等に記録されたコンテンツの再生処理や、録画再生機器に対する番組の録画処理などを実行する。
【００２９】
情報処理装置１００の前には、複数のユーザがいる。図に示す例では、ユーザａ，１１、ユーザｂ，１２、ユーザｃ，１３がいる。これらのユーザは、情報処理装置１００に対して、様々な要求を行う。例えばチャンネルの切り替え、ボリュームの調整、録画処理の開始、あるいは記録コンテンツの一覧リストの表示、リストからのコンテンツの選択再生要求、再生の停止、早送りなどの要求である。
【００３０】
ユーザは、これらの要求を音声、すなわち発話によって行う。情報処理装置１００は、カメラ１０１、マイクとスピーカを備えた音声入出力部１０２を有する。ユーザａ〜ｃ，１１〜１３の発する言葉は、マイクとスピーカを備えた音声入出力部１０２を介して情報処理装置１００内に入力される。また、ユーザａ〜ｃ，１１〜１３の画像は、カメラ１０１を介して情報処理装置１００内に入力される。
【００３１】
情報処理装置１０１は、これらの入力情報を解析して、装置が実行すべきアクションを決定し、実行する。ユーザの要求が理解できた場合は、その要求に応じた処理を実行する。例えばチャンネルの切り替えやコンテンツの選択再生処理などである。
【００３２】
また、本発明の情報処理装置１０１は、ユーザの顔の向き、注視方向、エラー発生状況、システムの現在の状態等を解析し、この解析結果に応じてユーザに対する情報の提供レベルや提供態様を変更してユーザに対する情報の提供処理を行う。これらの具体的な処理については後段で説明する。
【００３３】
［２．本発明の情報処理装置の構成例について］
次に、図２を参照して本発明の情報処理装置の構成例について説明する。図２に示す情報処理装置１００は、例えば図１に示す情報処理装置１００に対応する。なお、本発明の情報処理装置はテレビに限らず、ＰＣや、録画再生機、その他、様々な家電製品として実現可能である。すなわち、ユーザ要求に応じて様々な処理を行う情報処理装置である。
【００３４】
図２に示すように情報処理装置１００は、画像入力部（カメラ）２０１、画像解析部２０２、音声入力部（マイク）２０３、音声解析部２０４、データ処理部２０５、音声出力部（スピーカ）２０６、画像出力部（表示部）２０７を有する。
【００３５】
画像入力部（カメラ）２０１は、情報処理装置２００の周囲の画像、例えばユーザの画像を入力する。画像入力部（カメラ）２０１の撮影した画像は画像解析部２０２に入力される。画像解析部２０２は、例えば、予め記憶部に格納済みのユーザの顔情報などの登録情報を用いて、撮影画像に含まれるユーザの識別処理を実行する。具体的には、ユーザの位置、ユーザが誰であるかなどの情報を解析する。この解析情報がデータ処理部２０５に入力される。
【００３６】
音声入力部（マイク）２０３は、情報処理装置２００の周囲の音声情報、例えばユーザの発話を入力する。音声入力部（マイク）２０３の入力した音声情報は音声解析部２０４に入力される。音声解析部２０４は、音声解析用の辞書を記憶部内に有しており、ユーザの発話した単語を、辞書を用いて解析し、解析情報をデータ処理部２０５に入力する。
【００３７】
データ処理部２０５では、音声解析部２０４から音声解析情報を入力し、画像解析部２０２から画像解析情報を入力し、入力情報に従って、情報処理装置が実行する処理（アクション）を決定する。すなわち、前述したように、ユーザの要求が理解できた場合は、その要求に応じた処理を実行する。例えばチャンネルの切り替えやコンテンツの選択再生処理などである。
【００３８】
さらに、データ処理部２０５は、例えばユーザの顔の向き、注視方向、エラー発生状況、システムの現在の状態等を解析し、この解析結果に応じてユーザに対する情報の提供レベルや提供態様を変更してユーザに対する情報の提供処理を行う。
【００３９】
情報の出力処理は、音声出力部（スピーカ）２０６を介した音声出力、あるいは画像出力部（表示部）２０７を介した画像出力のいずれか、あるいはその組み合わせによって行われる。この具体的な内容については後段で説明する。
【００４０】
図３は、図２に示した情報処理装置１００の詳細構成を示す図である。
画像解析部２０２は、顔・顔方向認識部３１１と、人認識部３１２を有する。
音声解析部２０４は、音声検出部３２１と、意味検出部３２２を有する。
データ処理部２０５は、ユーザ情報管理部３３１と、ユーザインタラクション状態推定部３２２、システム状態制御部３３３、システム応答生成部３３４、およびシステム応答出力部３３５を有する。
【００４１】
画像解析部２０２の、顔・顔方向認識部３１１と、人認識部３１２では、画像入力部（カメラ）２０１から入力する撮像画像から、予め規定したあるフレーム間隔毎のサンプルタイム毎に顔や人がフレーム画像中に存在するか、さらに存在している場合には、顔の属性（顔の角度，推定年齢，性別等）の推定、顔の方向の解析、顔認識などを行う。なお、これらの処理に必要な辞書データや顔画像情報は画像解析部２０２内のメモリに登録されている。例えば、顔認識処理等の処理は、画像入力部２０１を介して入力した画像から識別した人の顔に基づいて、予め登録した顔画像データとのマッチング処理を実行して行われる。
【００４２】
音声解析部２０４の音声検出部３２１と、意味検出部３２２では、音声入力部（マイク）２０３から入力する音声データに基づいて音声源の方向推定、音声区間の検出、意味理解、信頼度付加などを行う。音声解析部２０４は、音声解析用の辞書を記憶部内に有しており、ユーザの発話した単語を、辞書を用いて解析し、解析情報をデータ処理部２０５に入力する。
【００４３】
この音声解析処理に際しては、音声以外の音を棄却し、人の声のみを取得する処理が行われる。さらに取得した音声情報に基づく意味抽出処理が実行される。この処理は、例えば音声解析部２０４の保持する辞書データとのマッチング処理をベースとして行われる。この処理において、マッチする登録単語がない場合などには、無意味な発話としてデータが棄却される。さらに音声認識の信頼度が算出される。信頼度は、例えば音声解析部２０４の保持する辞書データとのマッチング率等に基づいて行われ、予め設定した閾値等との比較により信頼度が低いと判断された発話は棄却されることになる。
【００４４】
データ処理部２０５は、図３に示すようにユーザ情報管理部３３１と、システム状態制御部３３３、システム応答生成部３３４、およびシステム応答出力部３３５を有する。
【００４５】
ユーザ情報管理部３３１は、顔・顔方向認識部３１１と、人認識部３１２からの出力情報、例えば画像中に顔が含まれるか否か、さらに含まれる場合は顔の属性（顔の角度，推定年齢，性別等）の推定、顔の方向の解析、顔認識結果等の情報を入力する。さらに、音声解析部２０４の意味検出部３２２から、発話内容についての情報を入力する。ユーザ情報管理部３３１は、これらの入力情報をユーザ管理情報として保持、管理する。なお、これ等の情報は、時間経過に伴って、順次更新される情報であり、ユーザ情報管理部３３１は、各サンプリングタイム（ｔ，ｔ＋１，ｔ＋２・・・）対応のユーザ情報として、これらの情報をメモリに記録して管理する。
【００４６】
ユーザ情報管理部３３１の保持したユーザ情報は、システム状態制御部３３３に提供される。システム状態制御部３３３は、システム（情報処理装置）内部の状態遷移を取得して保持するとともに、ユーザ情報とシステム状態の双方を利用して、システム（情報処理装置１００）からユーザに対する情報提供のレベル（詳細／通常／簡潔）および態様を決定する。
【００４７】
具体的には、
（１）出力する情報のレベルとして、
（１ａ）簡潔な説明を出力
（１ｂ）通常の説明を出力
（１ｃ）詳細な説明を出力
上記（１ａ）、（１ｂ）、（１ｃ）のいずれのレベルの説明を出力するかを決定する。
さらに、（２）出力する態様として、
（２ａ）音声出力
（２ｂ）テキスト表示出力
（２ｃ）効果音とテキスト表示による出力
これらのいずれの態様、またはこれらを組み合わせた態様のいずれかでシステム応答をユーザに提供するかを決定する。
【００４８】
システム応答生成部３３４は、システム状態制御部３３３の決定した応答レベルと、態様に従って、システムの応答を生成する。
システム応答出力部３３５は、システム応答生成部３３４の生成したシステム応答、例えばユーザ対するヘルプ情報等を出力する。出力は、音声出力部（スピーカ）２０６や、画像出力部（表示部）２０７を介して行われる。
【００４９】
［３．ユーザに対する情報出力処理の具体例について］
次に、本発明の情報処理装置の実行する処理例として、ユーザに対する情報出力処理の具体例について説明する。
【００５０】
先に説明したように、音声認識や画像認識を適用したマルチモーダル・インタフェースでは、利用される音声認識装置や画像認識装置の処理能力に限界があり、理解できるユーザの発話や動作が限られてしまう。従って、システム（情報処理装置１００）からユーザに対してより効果的なレベルおよび態様でユーザに対して情報を提供することが重要となる。
【００５１】
例えば、本発明の情報処理装置の実行する処理は、以下のような処理である。
以下のような状態であると判定された場合に、表示部にテキストなどの情報を表示するとともに、効果音や音声を併せて出力する。
＊ユーザの応答を必要とする場合、
（例：信頼度の低い発話であると判定した場合など、ユーザに対する聞き返し「ｘｘｘですか？」を行う場合等）
＊システムからの警告出力時、
（例：状態遷移として不可能な遷移を求める発話がなされた場合等）
＊ユーザがシステムに注目していない時（システムのほうを向いていない時）
＊システム前に発話を行った人がいないと推定した場合、
＊一度出したシステムメッセージに対して応答が数秒〜数十秒の間にユーザからの応答が帰ってこなかった場合、
＊ユーザがシステムの前にいた時に，システムからの応答（ユーザから応答が必要）をテキストで出しており、しばらく応答がなかった場合、
例えば、このような場合には、表示部にテキストなどの情報を表示するとともに、効果音や音声を併せて出力する。
【００５２】
また、以前と同じ誤りのフィードバックを音声で返す時には、簡潔な言葉を利用とた情報提供を実行する。
また、コンテンツ再生中でユーザがシステム前にいると判断した場合には、音声を出さないでテキスト表示のみにする。
【００５３】
このように、本発明の情報処理装置は、ユーザ状態とシステム状態に応じて最適な情報のレベル（詳細／通常／簡潔）と情報出力態様を決定し、決定したレベルと態様で情報出力を実行する。
【００５４】
本発明の情報処理装置のデータ処理部２０５において実行するシステム応答の、
（ａ）レベル決定処理、
（ｂ）態様決定処理、
これらの各処理について、それぞれ図４、図６に示すフローチャートを参照して説明する。
【００５５】
まず、図４に示すフローチャートを参照して、データ処理部２０５において実行するシステム応答のレベル決定処理シーケンスについて説明する。
【００５６】
まず、ステップＳ１０１において、同じユーザが同じ種類のエラーを過去（例えば同日）に起こしているか否かを判定する。
データ処理部２０５のシステム状態制御部３３３は、ユーザ情報管理部からのユーザ情報と、システムの実行した処理、発生したエラー等の情報をログ情報として記録している。具体的には識別されたユーザ単位で、システムの発生させた処理エラーについての内容を記録している。
【００５７】
ステップＳ１０１では、新たなエラーの発生時に、ログ情報を参照し、過去に同じユーザが同じエラーを発生させているか否かを判定する。
ステップＳ１０１の判定がＹｅｓの場合、ステップＳ１０２に進み、Ｎｏの判定の場合はステップＳ１０３に進む。
【００５８】
ステップＳ１０１の判定がＹｅｓ、すなわち、過去（例えば同日）に同じユーザが同じエラーを発生させていると判定した場合は、ステップＳ１０２に進み、前回、システムがユーザに対して詳細説明を行ってからエラー頻度に関する特徴量が閾値を超えたか否かを判定する。
【００５９】
例えば、閾値＝３回とした設定である場合、今回の新たなエラーが４回目であれば、ステップＳ１０２の判定はＹｅｓとなる。また、今回の新たなエラーが２回目であれば、ステップＳ１０２の判定はＮｏとなる。
【００６０】
ステップＳ１０２の判定がＹｅｓの場合は、ステップＳ１１１に進み、システムの出力する説明を詳細説明として出力を行う。
一方、ステップＳ１０２の判定がＮｏの場合は、ステップＳ１１２に進み、システムの出力する説明を簡潔な説明として出力を行う。
【００６１】
また、ステップＳ１０１の判定がＮｏ、すなわち、過去（例えば同日）に同じユーザが同じエラーを発生させていないと判定した場合は、ステップＳ１０３に進み、連続エラー発生に関する特徴量が規定の閾値を超えたか否かを判定する。
【００６２】
この処理は、ユーザが同じエラーではないが、異なるエラーを連続的に発生させているか否かを判定するものである。すなわち、複数の異なる種類のエラーを連続的に発生させた回数が規定閾値を超えているか否かを判定する。例えばエラーＡ、エラーＢ、エラーＣといった異なる複数のエラーを連続的に発生させているか否かの判定処理である。例えば閾値を３種類として設定した場合、４種類以上のエラーを連続的に発生させていると判定した場合は、ステップＳ１０３の判定はＹｅｓとなる。一方、３種類以下のエラーを連続的に発生させていると判定した場合は、ステップＳ１０３の判定はＮｏとなる。
【００６３】
ステップＳ１０３において、Ｙｅｓの判定がなされた場合、すなわち、連続エラー発生に関する特徴量が規定の閾値を超えたと判定した場合は、ステップＳ１１１に進み、システムの出力する説明を詳細説明として出力を行う。
一方、ステップＳ１０３の判定がＮｏの場合は、ステップＳ１０４に進む。
【００６４】
ステップＳ１０４では、ユーザがシステム（情報処理装置１００）の操作に不慣れな初心者であるか否かを判定する。この判定処理は、前述のログ情報に基づいて行われる。すなわち、ユーザの装置利用回数や、これまでのエラー発生回数、エラー発生内容等から判定する。
【００６５】
ステップＳ１０４の判定がＹｅｓ、すなわち、ユーザがシステム（情報処理装置１００）の操作に不慣れな初心者であると判定した場合は、ステップＳ１１３に進み、通常の説明、または詳細説明を出力する。なお、通常の説明とは詳細説明よりは簡略化され、簡潔説明よりは詳しい説明である。
一方、ステップＳ１０４の判定がＮｏ、すなわち、ユーザがシステム（情報処理装置１００）の操作に不慣れな初心者でないと判定した場合は、ステップＳ１１２に進み、簡潔な説明を出力する。
【００６６】
図５に、説明のレベルの例を示す。図５には、以下の（ａ）〜（ｃ）の説明のレベルの例を示している。
（ａ）通常説明
（ｂ）簡潔説明
（ｃ）詳細説明
【００６７】
（ａ）通常説明とは、例えば以下のような説明である。
「（（原因がわかる時には）〜なので），ｘｘｘが使えます」
具体的には、
「サッカーは検索キーワードとして登録していないので，スポーツで検索してみてください」
「言葉が認識できなかったのでもう一回いってね」
「声が認識できなかったので少し大きな声でもう一回いってね」
このような説明である。
【００６８】
（ｂ）簡潔説明とは、例えば以下のような説明である。
「スポーツで検索してみてね」
「スポーツが使えるよ」
「少し大きな声でもう一回言ってね」
「もう一回いってね」
このような短い簡略化された説明である。
【００６９】
（ｃ）詳細説明とは、例えば以下のような説明である。
「利用可能なコマンドをガイドウィンドウに表示します」
「この画面では，映画，スポーツなどのジャンルや，NHH，東京テレビなどのチャンネル・・・・を指定できます」
「ジャンルは映画，スポーツ，アニメ，音楽，バラエティ，ドラマから選べるよ」
「「ｘｘｘにして」のように言ってみましょう」
【００７０】
このように、本発明の情報処理装置は、ユーザによるエラー履歴や、ユーザレベルに基づいて、ユーザに提供する説明のレベルを変更して出力する。
【００７１】
次に、図６に示すフローチャートを参照して、データ処理部２０５において実行するシステム応答の態様決定処理シーケンスについて説明する。
【００７２】
まず、ステップＳ２０１においてシステム（情報処理装置１００）がコンテンツを再生中であるか否かを判定する。
これはシステム状態制御部３３３のシステム監視情報を利用して行われる。コンテンツ再生中である場合は、ステップＳ２０１の判定はＹｅｓとなり、ステップＳ２１１に進み、説明を表示部にテキスト表示する。
これはユーサがコンテンツ再生の行われている表示部を見ている確率が高いとの判定に基づく処理である。
【００７３】
一方、ステップＳ２０１の判定がＮｏ、すなわちコンテンツの再生中でないと判定した場合は、ステップＳ２０２に進む。
【００７４】
ステップＳ２０２では、システム（情報処理装置１００）はユーザからの応答待ちか否かを判定する。具体的には、ユーザへのメッセージを出してからの時間が閾値以上か,あるいは聞き返しを行っている状態であるかを判定する。システム状態制御部３３３は、システムの実行した処理、さらに、処理時間や経過時間をログ情報として記録しており、このログ情報に基づいて判断する。
【００７５】
ステップＳ２０２の判定がＹｅｓ、すなわち、システム（情報処理装置１００）がユーザからの応答待ちの状態であると判定した場合は、ステップＳ２０３に進む。
ステップＳ２０３では、ユーザがシステム（情報処理装置１００）の前にいるか否かを判定する。この判定処理は、ユーザ情報管理部３３１が画像解析部２０２から取得した画像情報に基づいて行われる。
【００７６】
ユーザがシステムの前にいると判定した場合は、ステップＳ２０３の判定はＹｅｓとなり、ステップＳ２１２に進む。
ステップＳ２１２では、システムからの説明を、音声、またはテキスト＋効果音によって出力する。
この処理はユーザがシステム（情報処理装置１００）の前にはいるが、必ずしも表示部を見ていると判断できないめ、音声や効果音によってユーザの注意を促すものである。
【００７７】
一方、ユーザがシステムの前にいないと判定した場合は、ステップＳ２０３の判定はＮｏとなり、ステップＳ２１４に進む。この場合は、音声のみによる応答や説明を出力する。
この処理は、ユーザが表示部を見ている状態にないと判断し、音声のみでユーザに呼びかける処理を行うものである。
【００７８】
次に、ステップＳ２０２の判定がＮｏの場合の処理について説明する。ステップＳ２０２の判定がＮｏの場合とは、システム（情報処理装置１００）がユーザからの応答待ちの状態でないと判定した場合である。この場合は、ステップＳ２０４に進む。
【００７９】
ステップＳ２０４では、ユーザがシステム（情報処理装置１００）の前にいるか否かを判定する。この判定処理は、ユーザ情報管理部３３１が画像解析部２０２から取得した画像情報に基づいて行われる。
【００８０】
ユーザがシステムの前にいると判定した場合は、ステップＳ２０４の判定はＹｅｓとなり、ステップＳ２０５に進む。
一方、ユーザがシステムの前にいないと判定した場合は、ステップＳ２０４の判定はＮｏとなり、ステップＳ２１４に進む。この場合は、音声のみによる応答や説明を出力する。
この処理は、ユーザが表示部を見ている状態にないと判断し、音声のみでユーザに呼びかける処理を行うものである。
【００８１】
ステップＳ２０４の判定がＹｅｓ、すなわち、ユーザがシステムの前にいると判定した場合は、ステップＳ２０５に進む。
ステップＳ２０５では、ユーザがシステム（情報処理装置１００）に注目しているか否かを判定する。この判定処理も、ユーザ情報管理部３３１が画像解析部２０２から取得した画像情報に基づいて行われる。すなわち、画像会席部２０２の生成する顔の向き情報等を利用して判定処理が行われる。
【００８２】
ステップＳ２０５において、ユーザがシステム（情報処理装置１００）に注目していると判定した場合は、ステップＳ２０６に進む。
一方、ステップＳ２０５において、ユーザがシステム（情報処理装置１００）に注目していないと判定した場合は、ステップＳ２１２に進む。
【００８３】
ステップＳ２１２では、システムからの説明を、音声、またはテキスト＋効果音によって出力する。
この処理はユーザがシステム（情報処理装置１００）の前にはいるが、必ずしも表示部を見ていると判断できないめ、音声や効果音によってユーザの注意を促すものである。
【００８４】
ステップＳ２０５において、ユーザがシステム（情報処理装置１００）に注目していると判定した場合は、ステップＳ２０６において、システムからの警告を伝える処理が必要な状態であるか否かを判定する。これはシステム状態制御部３３３のシステム監視情報を利用して行われる。
【００８５】
警告出力を行う必要がある場合は、ステップＳ２０６の判定はＹｅｓとなる。この場合は、ステップＳ２１２に進む。
ステップＳ２１２では、システムからの説明を、音声、またはテキスト＋効果音によって出力する。
この処理はユーザがシステム（情報処理装置１００）の前にはいるが、必ずしも表示部を見ていると判断できないめ、音声や効果音によってユーザの注意を促すものである。
【００８６】
一方、ステップＳ２０６の判定がＮｏ、すなわち、警告出力を行う必要がない場合は、ステップＳ２１３に進む。
ステップＳ２１３では、テキスト、または、音声、またはテキスト＋効果音のいずれかの態様でのシステム応答や説明情報の出力がなされる。
この処理は、ユーザがシステムに注目していることは確認済みであるので、いずれの方法でシステム応答を出力してもユーザに伝えることがてきるとの判断に基づく処理である。
【００８７】
このように、本発明の情報処理装置は、ユーザの状態やシステム状態に応じて、ユーザに対する眼応答や説明の出力態様を変更する制御を行う。
この処理により、ユーザがシステムからのメッセージを確実に受け取る可能性を高めることが可能となる。
【００８８】
［４．情報処理装置のハードウェア構成例について］
最後に、図７を参照して、上述した処理を実行する情報処理装置のハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。
【００８９】
例えば、図２の情報処理装置の構成における音声解析部２０４、画像解析部２０２、データ処理部２０５の処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０３には、ＣＰＵ７０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。
【００９０】
ＣＰＵ７０１はバス７０４を介して入出力インタフェース７０５に接続され、入出力インタフェース７０５には、カメラ、マイク、リモコン、キーボード、マウスなどの入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。ＣＰＵ７０１は、入力部７０６から入力される情報に対応して各種の処理を実行し、処理結果を例えば出力部７０７に出力する。
【００９１】
入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスクからなり、ＣＰＵ７０１が実行するプログラムや各種のデータを記憶する。
さらに、音声認識処理に必用となる各種の音声情報や辞書データ、さらには、ユーザ認識処理に必用となるユーザ画像データ等が記録されている。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【００９２】
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７０８に転送され記憶される。
【００９３】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００９４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００９５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００９６】
以上、説明したように、本発明の一実施例の構成によれば、ユーザ状態やシステム状態に応じてユーザに対する情報の提供レベルや態様を変更して情報を提供する装置および方法が実現される。具体的には、カメラの撮影画像の解析処理を実行する画像解析部の解析結果と、マイクから入力する音声の解析処理を実行する音声解析部の解析結果を入力して、ユーザに対する情報の出力制御を実行するデータ処理部が、画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する。この処理により、ユーザの状況に応じて確実に情報を伝えることが可能となる。
【符号の説明】
【００９７】
１１〜１３ ユーザ
１００ 情報処理装置
１０１ カメラ
１０２ 音声入出力部
２０１ 画像入力部
２０２ 画像解析部
２０３ 音声入力部
２０４ 音声解析部
２０５ データ処理部
２０６ 音声出力部
２０７ 画像出力部
３１１ 顔・顔方向認識部
３１２ 人認識部
３２１ 音声検出部
３２２ 意味検出部
３３１ ユーザ情報管理部
３３３ システム状態制御部
３３４ システム応答生成部
３３５ システム応答出力部
７０１ ＣＰＵ
７０２ ＲＯＭ
７０３ ＲＡＭ
７０４ バス
７０５ 入出力インタフェース
７０６ 入力部
７０７ 出力部
７０８ 記憶部
７０９ 通信部
７１０ ドライブ
７１１ リムーバブルメディア
【技術分野】
【０００１】
本発明は、情報処理装置、および情報処理方法、並びにプログラムに関する。特に、ユーザの発話等に基づいて様々な処理を実行する情報処理装置、および情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ＰＣや、テレビ、録画再生機、その他、様々な家電製品を操作する場合、ユーザは、各装置に備えられた入力部やあるいはリモコンなどを操作して、所望の処理を装置に実行させる。例えばＰＣを利用する場合にはキーボードやマウスを入力デバイスとして用いることが多い。また、テレビや録画再生機などに対してはリモコンを用いて、様々な処理、例えばチャンネルの切り替えや再生コンテンツの選択などを行うことが多い。
【０００３】
このような様々な装置に対する指示を、ユーザの発話や動作によって実行するシステムについて、様々な研究がなされている。具体的には音声認識処理を用いてユーザの発話を認識するシステムや、画像処理を用いてユーザの行動やジェスチャーを認識するシステムなどである。
【０００４】
リモコン、キーボート、マウス等の一般的な入力デバイスに加えて、音声認識や画像認識など、様々な複数のコミュニケーションモードを利用して、ユーザとのコミュニケーションを実行するインタフェースは、マルチモーダル・インタフェースと呼ばれる。マルチモーダル・インタフェースについて開示した従来技術として、例えば、特許文献１（ＵＳ特許６９８８０７２号公報）がある。
【０００５】
しかしながら、このようなマルチモーダル・インタフェース等において利用される音声認識装置や画像認識装置は処理能力に限界があり、理解できるユーザの発話や動作が限られてしまう。従って、ユーザの意思が正確にシステム側に伝わらない場合も多いというのが現状である。
【０００６】
情報処理装置がユーザに対して情報を提供したり、ユーザ要求に対する応答を行う方法としては、表示部にメッセージを表示する処理や、スピーカを介して音声や効果音を出力するなど様々な方法がある。
【０００７】
しかし、音声に基づく説明は、ユーザが冗長に感ずる場合もあり、聞き逃すといった場合もある。また、表示部に対して説明やヘルプ情報を提示する場合は、ユーザが表示部を見ていない場合には、役に立たないといった問題がある。
【０００８】
システムの応答を制御する構成を開示した従来技術しては、例えば以下のような文献がある。
特許文献２（特開２００４−３３３５４３号公報）は、音声対話システム及び音声対話方法を開示しており、ユーザの音声対話システム使用の習熟度に応じてシステム側音声の出力を変更可能にした音声対話システム及び音声対話方法を提供する構成について説明している。
また、特許文献３（特開２００５−２０２０７６号公報）は、利用者とシステムとの間の距離に応じて、対話をより円滑にする技術を開示している。具体的には、ロボットと利用者との距離が離れている場合は、ロボットが発話する音声が利用者に聞こえない可能性が高いため、ロボットの音声の音量を上げることにより対話を円滑化する技術が提案されている。
しかし、これらの文献に記載の構成は、ユーザの習熟度、あるいは距離といつた特定のポイントのみに対する処理であり、様々な観点からの観察情報を利用する構成となっていない。
【０００９】
さらに、特許文献４（特開２００８−２１７４４４号公報）は、利用者と対話する装置、方法およびプログラムを開示している。具体的には、利用者の注視状況で応答を変更することにより、自然な対話を実現するものであり、ユーザの位置が遠い時，視線方向がテレビの方向を向いていない時に，ユーザからの要求に対する応答を音声をつかって行う赤外線や音波を利用することでユーザとの距離や視線の方向を検出する構成を開示している。しかし、この構成では、ユーザがデバイスを装着しなければならないという問題がある。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】ＵＳ特許第６，９８８，０７２号公報
【特許文献２】特開２００４−３３３５４３号公報
【特許文献３】特開２００５−２０２０７６号公報
【特許文献４】特開２００８−２１７４４４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、例えば上記問題点に鑑みてなされたものであり、ユーザの状態を監視して、ユーザ状態に応じた最適な方法でユーザに対する装置からのメッセージやヘルプ情報を提供することを可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の側面は、
カメラの撮影画像の解析処理を実行する画像解析部と、
マイクから入力する音声の解析処理を実行する音声解析部と、
前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対して出力する情報の制御を実行するデータ処理部を有し、
前記データ処理部は、
画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する処理を行う情報処理装置にある。
【００１３】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記画像解析部の解析結果に基づいて、ユーザが情報処理装置に注目しているか否かを判定し、ユーザが情報処理装置に注目していないと判定した場合は、音声または効果音を伴う情報出力を実行する。
【００１４】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記画像解析部の解析結果に基づいて、ユーザが情報処理装置の前にいるか否かを判定し、ユーザが情報処理装置の前にいないと判定した場合は、音声または効果音を伴う情報出力を実行する。
【００１５】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記システム状態情報に基づいて、情報処理装置が表示部へのコンテンツ再生を行っていると判定した場合は、表示部への情報出力を実行する。
【００１６】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記システム状態情報に基づいて、情報処理装置がユーザに対する警告を出力する必要があるか否かを判定し、警告を出力する必要があると判定した場合は、音声または効果音を伴う情報出力を実行する。
【００１７】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、ユーザが過去に発生したエラー情報に基づいて、ユーザに対して出力する情報のレベルを変更して出力する制御を行う。
【００１８】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、同一ユーザが規定の期間内に、同じ種類のエラーを発生させた回数が規定閾値を超えている場合は詳細説明を出力する制御を行う。
【００１９】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、同一ユーザが規定の期間内に、複数の異なる種類のエラーを連続的に発生させた回数が規定閾値を超えている場合は詳細説明を出力する制御を行う。
【００２０】
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、ユーザの過去の情報処理装置に対する操作履歴情報に基づいて、ユーザの情報処理装置に対する熟練度を判定し、ユーザが初心者でないと判定した場合は簡潔な説明を出力し、ユーザが初心者であると判定した場合は詳細または通常のレベルの説明を出力する制御を行う。
【００２１】
さらに、本発明の第２の側面は、
情報処理装置において実行する情報処理方法であり、
画像解析部が、カメラの撮影画像の解析処理を実行する画像解析ステップと、
音声解析部が、マイクから入力する音声の解析処理を実行する音声解析ステップと、
データ処理部が、前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対して出力する情報の制御を実行するデータ処理ステップを実行し、
前記データ処理ステップは、
画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する処理を行うステップである情報処理方法にある。
【００２２】
さらに、本発明の第３の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
画像解析部に、カメラの撮影画像の解析処理を実行させる画像解析ステップと、
音声解析部に、マイクから入力する音声の解析処理を実行させる音声解析ステップと、
データ処理部に、前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対して出力する情報の制御を実行させるデータ処理ステップとを有し、
前記データ処理ステップは、
画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する処理を行わせるステップであるプログラムにある。
【００２３】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２４】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２５】
本発明の一実施例の構成によれば、ユーザ状態やシステム状態に応じてユーザに対する情報の提供レベルや態様を変更して情報を提供する装置および方法が実現される。具体的には、カメラの撮影画像の解析処理を実行する画像解析部の解析結果と、マイクから入力する音声の解析処理を実行する音声解析部の解析結果を入力して、ユーザに対する情報の出力制御を実行するデータ処理部が、画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する。この処理により、ユーザの状況に応じて確実に情報を伝えることが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の情報処理装置の利用例について説明する図である。
【図２】本発明の情報処理装置の構成例を示すブロック図である。
【図３】本発明の情報処理装置の詳細な構成例を示すブロック図である。
【図４】本発明の情報処理装置の実行する処理例について説明するフローチャートを示す図である。
【図５】本発明の情報処理装置の実行する処理例について説明する図である。
【図６】本発明の情報処理装置の実行する処理例について説明するフローチャートを示す図である。
【図７】本発明の情報処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら本発明の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本発明の情報処理装置の実行する処理の概要について
２．本発明の情報処理装置の構成例について
３．ユーザに対する情報出力処理の具体例について
４．情報処理装置のハードウェア構成例について
【００２８】
［１．本発明の情報処理装置の実行する処理の概要について］
まず、図１を参照して本発明の情報処理装置の実行する処理の概要について説明する。図１には、本発明に係る情報処理装置の例としてテレビを示している。情報処理装置１００は、例えば、放送コンテンツの表示処理の他、内蔵する録画再生機器、例えばハードディスク、ＤＶＤやＢｌｕ−ｒａｙディスク等に記録されたコンテンツの再生処理や、録画再生機器に対する番組の録画処理などを実行する。
【００２９】
情報処理装置１００の前には、複数のユーザがいる。図に示す例では、ユーザａ，１１、ユーザｂ，１２、ユーザｃ，１３がいる。これらのユーザは、情報処理装置１００に対して、様々な要求を行う。例えばチャンネルの切り替え、ボリュームの調整、録画処理の開始、あるいは記録コンテンツの一覧リストの表示、リストからのコンテンツの選択再生要求、再生の停止、早送りなどの要求である。
【００３０】
ユーザは、これらの要求を音声、すなわち発話によって行う。情報処理装置１００は、カメラ１０１、マイクとスピーカを備えた音声入出力部１０２を有する。ユーザａ〜ｃ，１１〜１３の発する言葉は、マイクとスピーカを備えた音声入出力部１０２を介して情報処理装置１００内に入力される。また、ユーザａ〜ｃ，１１〜１３の画像は、カメラ１０１を介して情報処理装置１００内に入力される。
【００３１】
情報処理装置１０１は、これらの入力情報を解析して、装置が実行すべきアクションを決定し、実行する。ユーザの要求が理解できた場合は、その要求に応じた処理を実行する。例えばチャンネルの切り替えやコンテンツの選択再生処理などである。
【００３２】
また、本発明の情報処理装置１０１は、ユーザの顔の向き、注視方向、エラー発生状況、システムの現在の状態等を解析し、この解析結果に応じてユーザに対する情報の提供レベルや提供態様を変更してユーザに対する情報の提供処理を行う。これらの具体的な処理については後段で説明する。
【００３３】
［２．本発明の情報処理装置の構成例について］
次に、図２を参照して本発明の情報処理装置の構成例について説明する。図２に示す情報処理装置１００は、例えば図１に示す情報処理装置１００に対応する。なお、本発明の情報処理装置はテレビに限らず、ＰＣや、録画再生機、その他、様々な家電製品として実現可能である。すなわち、ユーザ要求に応じて様々な処理を行う情報処理装置である。
【００３４】
図２に示すように情報処理装置１００は、画像入力部（カメラ）２０１、画像解析部２０２、音声入力部（マイク）２０３、音声解析部２０４、データ処理部２０５、音声出力部（スピーカ）２０６、画像出力部（表示部）２０７を有する。
【００３５】
画像入力部（カメラ）２０１は、情報処理装置２００の周囲の画像、例えばユーザの画像を入力する。画像入力部（カメラ）２０１の撮影した画像は画像解析部２０２に入力される。画像解析部２０２は、例えば、予め記憶部に格納済みのユーザの顔情報などの登録情報を用いて、撮影画像に含まれるユーザの識別処理を実行する。具体的には、ユーザの位置、ユーザが誰であるかなどの情報を解析する。この解析情報がデータ処理部２０５に入力される。
【００３６】
音声入力部（マイク）２０３は、情報処理装置２００の周囲の音声情報、例えばユーザの発話を入力する。音声入力部（マイク）２０３の入力した音声情報は音声解析部２０４に入力される。音声解析部２０４は、音声解析用の辞書を記憶部内に有しており、ユーザの発話した単語を、辞書を用いて解析し、解析情報をデータ処理部２０５に入力する。
【００３７】
データ処理部２０５では、音声解析部２０４から音声解析情報を入力し、画像解析部２０２から画像解析情報を入力し、入力情報に従って、情報処理装置が実行する処理（アクション）を決定する。すなわち、前述したように、ユーザの要求が理解できた場合は、その要求に応じた処理を実行する。例えばチャンネルの切り替えやコンテンツの選択再生処理などである。
【００３８】
さらに、データ処理部２０５は、例えばユーザの顔の向き、注視方向、エラー発生状況、システムの現在の状態等を解析し、この解析結果に応じてユーザに対する情報の提供レベルや提供態様を変更してユーザに対する情報の提供処理を行う。
【００３９】
情報の出力処理は、音声出力部（スピーカ）２０６を介した音声出力、あるいは画像出力部（表示部）２０７を介した画像出力のいずれか、あるいはその組み合わせによって行われる。この具体的な内容については後段で説明する。
【００４０】
図３は、図２に示した情報処理装置１００の詳細構成を示す図である。
画像解析部２０２は、顔・顔方向認識部３１１と、人認識部３１２を有する。
音声解析部２０４は、音声検出部３２１と、意味検出部３２２を有する。
データ処理部２０５は、ユーザ情報管理部３３１と、ユーザインタラクション状態推定部３２２、システム状態制御部３３３、システム応答生成部３３４、およびシステム応答出力部３３５を有する。
【００４１】
画像解析部２０２の、顔・顔方向認識部３１１と、人認識部３１２では、画像入力部（カメラ）２０１から入力する撮像画像から、予め規定したあるフレーム間隔毎のサンプルタイム毎に顔や人がフレーム画像中に存在するか、さらに存在している場合には、顔の属性（顔の角度，推定年齢，性別等）の推定、顔の方向の解析、顔認識などを行う。なお、これらの処理に必要な辞書データや顔画像情報は画像解析部２０２内のメモリに登録されている。例えば、顔認識処理等の処理は、画像入力部２０１を介して入力した画像から識別した人の顔に基づいて、予め登録した顔画像データとのマッチング処理を実行して行われる。
【００４２】
音声解析部２０４の音声検出部３２１と、意味検出部３２２では、音声入力部（マイク）２０３から入力する音声データに基づいて音声源の方向推定、音声区間の検出、意味理解、信頼度付加などを行う。音声解析部２０４は、音声解析用の辞書を記憶部内に有しており、ユーザの発話した単語を、辞書を用いて解析し、解析情報をデータ処理部２０５に入力する。
【００４３】
この音声解析処理に際しては、音声以外の音を棄却し、人の声のみを取得する処理が行われる。さらに取得した音声情報に基づく意味抽出処理が実行される。この処理は、例えば音声解析部２０４の保持する辞書データとのマッチング処理をベースとして行われる。この処理において、マッチする登録単語がない場合などには、無意味な発話としてデータが棄却される。さらに音声認識の信頼度が算出される。信頼度は、例えば音声解析部２０４の保持する辞書データとのマッチング率等に基づいて行われ、予め設定した閾値等との比較により信頼度が低いと判断された発話は棄却されることになる。
【００４４】
データ処理部２０５は、図３に示すようにユーザ情報管理部３３１と、システム状態制御部３３３、システム応答生成部３３４、およびシステム応答出力部３３５を有する。
【００４５】
ユーザ情報管理部３３１は、顔・顔方向認識部３１１と、人認識部３１２からの出力情報、例えば画像中に顔が含まれるか否か、さらに含まれる場合は顔の属性（顔の角度，推定年齢，性別等）の推定、顔の方向の解析、顔認識結果等の情報を入力する。さらに、音声解析部２０４の意味検出部３２２から、発話内容についての情報を入力する。ユーザ情報管理部３３１は、これらの入力情報をユーザ管理情報として保持、管理する。なお、これ等の情報は、時間経過に伴って、順次更新される情報であり、ユーザ情報管理部３３１は、各サンプリングタイム（ｔ，ｔ＋１，ｔ＋２・・・）対応のユーザ情報として、これらの情報をメモリに記録して管理する。
【００４６】
ユーザ情報管理部３３１の保持したユーザ情報は、システム状態制御部３３３に提供される。システム状態制御部３３３は、システム（情報処理装置）内部の状態遷移を取得して保持するとともに、ユーザ情報とシステム状態の双方を利用して、システム（情報処理装置１００）からユーザに対する情報提供のレベル（詳細／通常／簡潔）および態様を決定する。
【００４７】
具体的には、
（１）出力する情報のレベルとして、
（１ａ）簡潔な説明を出力
（１ｂ）通常の説明を出力
（１ｃ）詳細な説明を出力
上記（１ａ）、（１ｂ）、（１ｃ）のいずれのレベルの説明を出力するかを決定する。
さらに、（２）出力する態様として、
（２ａ）音声出力
（２ｂ）テキスト表示出力
（２ｃ）効果音とテキスト表示による出力
これらのいずれの態様、またはこれらを組み合わせた態様のいずれかでシステム応答をユーザに提供するかを決定する。
【００４８】
システム応答生成部３３４は、システム状態制御部３３３の決定した応答レベルと、態様に従って、システムの応答を生成する。
システム応答出力部３３５は、システム応答生成部３３４の生成したシステム応答、例えばユーザ対するヘルプ情報等を出力する。出力は、音声出力部（スピーカ）２０６や、画像出力部（表示部）２０７を介して行われる。
【００４９】
［３．ユーザに対する情報出力処理の具体例について］
次に、本発明の情報処理装置の実行する処理例として、ユーザに対する情報出力処理の具体例について説明する。
【００５０】
先に説明したように、音声認識や画像認識を適用したマルチモーダル・インタフェースでは、利用される音声認識装置や画像認識装置の処理能力に限界があり、理解できるユーザの発話や動作が限られてしまう。従って、システム（情報処理装置１００）からユーザに対してより効果的なレベルおよび態様でユーザに対して情報を提供することが重要となる。
【００５１】
例えば、本発明の情報処理装置の実行する処理は、以下のような処理である。
以下のような状態であると判定された場合に、表示部にテキストなどの情報を表示するとともに、効果音や音声を併せて出力する。
＊ユーザの応答を必要とする場合、
（例：信頼度の低い発話であると判定した場合など、ユーザに対する聞き返し「ｘｘｘですか？」を行う場合等）
＊システムからの警告出力時、
（例：状態遷移として不可能な遷移を求める発話がなされた場合等）
＊ユーザがシステムに注目していない時（システムのほうを向いていない時）
＊システム前に発話を行った人がいないと推定した場合、
＊一度出したシステムメッセージに対して応答が数秒〜数十秒の間にユーザからの応答が帰ってこなかった場合、
＊ユーザがシステムの前にいた時に，システムからの応答（ユーザから応答が必要）をテキストで出しており、しばらく応答がなかった場合、
例えば、このような場合には、表示部にテキストなどの情報を表示するとともに、効果音や音声を併せて出力する。
【００５２】
また、以前と同じ誤りのフィードバックを音声で返す時には、簡潔な言葉を利用とた情報提供を実行する。
また、コンテンツ再生中でユーザがシステム前にいると判断した場合には、音声を出さないでテキスト表示のみにする。
【００５３】
このように、本発明の情報処理装置は、ユーザ状態とシステム状態に応じて最適な情報のレベル（詳細／通常／簡潔）と情報出力態様を決定し、決定したレベルと態様で情報出力を実行する。
【００５４】
本発明の情報処理装置のデータ処理部２０５において実行するシステム応答の、
（ａ）レベル決定処理、
（ｂ）態様決定処理、
これらの各処理について、それぞれ図４、図６に示すフローチャートを参照して説明する。
【００５５】
まず、図４に示すフローチャートを参照して、データ処理部２０５において実行するシステム応答のレベル決定処理シーケンスについて説明する。
【００５６】
まず、ステップＳ１０１において、同じユーザが同じ種類のエラーを過去（例えば同日）に起こしているか否かを判定する。
データ処理部２０５のシステム状態制御部３３３は、ユーザ情報管理部からのユーザ情報と、システムの実行した処理、発生したエラー等の情報をログ情報として記録している。具体的には識別されたユーザ単位で、システムの発生させた処理エラーについての内容を記録している。
【００５７】
ステップＳ１０１では、新たなエラーの発生時に、ログ情報を参照し、過去に同じユーザが同じエラーを発生させているか否かを判定する。
ステップＳ１０１の判定がＹｅｓの場合、ステップＳ１０２に進み、Ｎｏの判定の場合はステップＳ１０３に進む。
【００５８】
ステップＳ１０１の判定がＹｅｓ、すなわち、過去（例えば同日）に同じユーザが同じエラーを発生させていると判定した場合は、ステップＳ１０２に進み、前回、システムがユーザに対して詳細説明を行ってからエラー頻度に関する特徴量が閾値を超えたか否かを判定する。
【００５９】
例えば、閾値＝３回とした設定である場合、今回の新たなエラーが４回目であれば、ステップＳ１０２の判定はＹｅｓとなる。また、今回の新たなエラーが２回目であれば、ステップＳ１０２の判定はＮｏとなる。
【００６０】
ステップＳ１０２の判定がＹｅｓの場合は、ステップＳ１１１に進み、システムの出力する説明を詳細説明として出力を行う。
一方、ステップＳ１０２の判定がＮｏの場合は、ステップＳ１１２に進み、システムの出力する説明を簡潔な説明として出力を行う。
【００６１】
また、ステップＳ１０１の判定がＮｏ、すなわち、過去（例えば同日）に同じユーザが同じエラーを発生させていないと判定した場合は、ステップＳ１０３に進み、連続エラー発生に関する特徴量が規定の閾値を超えたか否かを判定する。
【００６２】
この処理は、ユーザが同じエラーではないが、異なるエラーを連続的に発生させているか否かを判定するものである。すなわち、複数の異なる種類のエラーを連続的に発生させた回数が規定閾値を超えているか否かを判定する。例えばエラーＡ、エラーＢ、エラーＣといった異なる複数のエラーを連続的に発生させているか否かの判定処理である。例えば閾値を３種類として設定した場合、４種類以上のエラーを連続的に発生させていると判定した場合は、ステップＳ１０３の判定はＹｅｓとなる。一方、３種類以下のエラーを連続的に発生させていると判定した場合は、ステップＳ１０３の判定はＮｏとなる。
【００６３】
ステップＳ１０３において、Ｙｅｓの判定がなされた場合、すなわち、連続エラー発生に関する特徴量が規定の閾値を超えたと判定した場合は、ステップＳ１１１に進み、システムの出力する説明を詳細説明として出力を行う。
一方、ステップＳ１０３の判定がＮｏの場合は、ステップＳ１０４に進む。
【００６４】
ステップＳ１０４では、ユーザがシステム（情報処理装置１００）の操作に不慣れな初心者であるか否かを判定する。この判定処理は、前述のログ情報に基づいて行われる。すなわち、ユーザの装置利用回数や、これまでのエラー発生回数、エラー発生内容等から判定する。
【００６５】
ステップＳ１０４の判定がＹｅｓ、すなわち、ユーザがシステム（情報処理装置１００）の操作に不慣れな初心者であると判定した場合は、ステップＳ１１３に進み、通常の説明、または詳細説明を出力する。なお、通常の説明とは詳細説明よりは簡略化され、簡潔説明よりは詳しい説明である。
一方、ステップＳ１０４の判定がＮｏ、すなわち、ユーザがシステム（情報処理装置１００）の操作に不慣れな初心者でないと判定した場合は、ステップＳ１１２に進み、簡潔な説明を出力する。
【００６６】
図５に、説明のレベルの例を示す。図５には、以下の（ａ）〜（ｃ）の説明のレベルの例を示している。
（ａ）通常説明
（ｂ）簡潔説明
（ｃ）詳細説明
【００６７】
（ａ）通常説明とは、例えば以下のような説明である。
「（（原因がわかる時には）〜なので），ｘｘｘが使えます」
具体的には、
「サッカーは検索キーワードとして登録していないので，スポーツで検索してみてください」
「言葉が認識できなかったのでもう一回いってね」
「声が認識できなかったので少し大きな声でもう一回いってね」
このような説明である。
【００６８】
（ｂ）簡潔説明とは、例えば以下のような説明である。
「スポーツで検索してみてね」
「スポーツが使えるよ」
「少し大きな声でもう一回言ってね」
「もう一回いってね」
このような短い簡略化された説明である。
【００６９】
（ｃ）詳細説明とは、例えば以下のような説明である。
「利用可能なコマンドをガイドウィンドウに表示します」
「この画面では，映画，スポーツなどのジャンルや，NHH，東京テレビなどのチャンネル・・・・を指定できます」
「ジャンルは映画，スポーツ，アニメ，音楽，バラエティ，ドラマから選べるよ」
「「ｘｘｘにして」のように言ってみましょう」
【００７０】
このように、本発明の情報処理装置は、ユーザによるエラー履歴や、ユーザレベルに基づいて、ユーザに提供する説明のレベルを変更して出力する。
【００７１】
次に、図６に示すフローチャートを参照して、データ処理部２０５において実行するシステム応答の態様決定処理シーケンスについて説明する。
【００７２】
まず、ステップＳ２０１においてシステム（情報処理装置１００）がコンテンツを再生中であるか否かを判定する。
これはシステム状態制御部３３３のシステム監視情報を利用して行われる。コンテンツ再生中である場合は、ステップＳ２０１の判定はＹｅｓとなり、ステップＳ２１１に進み、説明を表示部にテキスト表示する。
これはユーサがコンテンツ再生の行われている表示部を見ている確率が高いとの判定に基づく処理である。
【００７３】
一方、ステップＳ２０１の判定がＮｏ、すなわちコンテンツの再生中でないと判定した場合は、ステップＳ２０２に進む。
【００７４】
ステップＳ２０２では、システム（情報処理装置１００）はユーザからの応答待ちか否かを判定する。具体的には、ユーザへのメッセージを出してからの時間が閾値以上か,あるいは聞き返しを行っている状態であるかを判定する。システム状態制御部３３３は、システムの実行した処理、さらに、処理時間や経過時間をログ情報として記録しており、このログ情報に基づいて判断する。
【００７５】
ステップＳ２０２の判定がＹｅｓ、すなわち、システム（情報処理装置１００）がユーザからの応答待ちの状態であると判定した場合は、ステップＳ２０３に進む。
ステップＳ２０３では、ユーザがシステム（情報処理装置１００）の前にいるか否かを判定する。この判定処理は、ユーザ情報管理部３３１が画像解析部２０２から取得した画像情報に基づいて行われる。
【００７６】
ユーザがシステムの前にいると判定した場合は、ステップＳ２０３の判定はＹｅｓとなり、ステップＳ２１２に進む。
ステップＳ２１２では、システムからの説明を、音声、またはテキスト＋効果音によって出力する。
この処理はユーザがシステム（情報処理装置１００）の前にはいるが、必ずしも表示部を見ていると判断できないめ、音声や効果音によってユーザの注意を促すものである。
【００７７】
一方、ユーザがシステムの前にいないと判定した場合は、ステップＳ２０３の判定はＮｏとなり、ステップＳ２１４に進む。この場合は、音声のみによる応答や説明を出力する。
この処理は、ユーザが表示部を見ている状態にないと判断し、音声のみでユーザに呼びかける処理を行うものである。
【００７８】
次に、ステップＳ２０２の判定がＮｏの場合の処理について説明する。ステップＳ２０２の判定がＮｏの場合とは、システム（情報処理装置１００）がユーザからの応答待ちの状態でないと判定した場合である。この場合は、ステップＳ２０４に進む。
【００７９】
ステップＳ２０４では、ユーザがシステム（情報処理装置１００）の前にいるか否かを判定する。この判定処理は、ユーザ情報管理部３３１が画像解析部２０２から取得した画像情報に基づいて行われる。
【００８０】
ユーザがシステムの前にいると判定した場合は、ステップＳ２０４の判定はＹｅｓとなり、ステップＳ２０５に進む。
一方、ユーザがシステムの前にいないと判定した場合は、ステップＳ２０４の判定はＮｏとなり、ステップＳ２１４に進む。この場合は、音声のみによる応答や説明を出力する。
この処理は、ユーザが表示部を見ている状態にないと判断し、音声のみでユーザに呼びかける処理を行うものである。
【００８１】
ステップＳ２０４の判定がＹｅｓ、すなわち、ユーザがシステムの前にいると判定した場合は、ステップＳ２０５に進む。
ステップＳ２０５では、ユーザがシステム（情報処理装置１００）に注目しているか否かを判定する。この判定処理も、ユーザ情報管理部３３１が画像解析部２０２から取得した画像情報に基づいて行われる。すなわち、画像会席部２０２の生成する顔の向き情報等を利用して判定処理が行われる。
【００８２】
ステップＳ２０５において、ユーザがシステム（情報処理装置１００）に注目していると判定した場合は、ステップＳ２０６に進む。
一方、ステップＳ２０５において、ユーザがシステム（情報処理装置１００）に注目していないと判定した場合は、ステップＳ２１２に進む。
【００８３】
ステップＳ２１２では、システムからの説明を、音声、またはテキスト＋効果音によって出力する。
この処理はユーザがシステム（情報処理装置１００）の前にはいるが、必ずしも表示部を見ていると判断できないめ、音声や効果音によってユーザの注意を促すものである。
【００８４】
ステップＳ２０５において、ユーザがシステム（情報処理装置１００）に注目していると判定した場合は、ステップＳ２０６において、システムからの警告を伝える処理が必要な状態であるか否かを判定する。これはシステム状態制御部３３３のシステム監視情報を利用して行われる。
【００８５】
警告出力を行う必要がある場合は、ステップＳ２０６の判定はＹｅｓとなる。この場合は、ステップＳ２１２に進む。
ステップＳ２１２では、システムからの説明を、音声、またはテキスト＋効果音によって出力する。
この処理はユーザがシステム（情報処理装置１００）の前にはいるが、必ずしも表示部を見ていると判断できないめ、音声や効果音によってユーザの注意を促すものである。
【００８６】
一方、ステップＳ２０６の判定がＮｏ、すなわち、警告出力を行う必要がない場合は、ステップＳ２１３に進む。
ステップＳ２１３では、テキスト、または、音声、またはテキスト＋効果音のいずれかの態様でのシステム応答や説明情報の出力がなされる。
この処理は、ユーザがシステムに注目していることは確認済みであるので、いずれの方法でシステム応答を出力してもユーザに伝えることがてきるとの判断に基づく処理である。
【００８７】
このように、本発明の情報処理装置は、ユーザの状態やシステム状態に応じて、ユーザに対する眼応答や説明の出力態様を変更する制御を行う。
この処理により、ユーザがシステムからのメッセージを確実に受け取る可能性を高めることが可能となる。
【００８８】
［４．情報処理装置のハードウェア構成例について］
最後に、図７を参照して、上述した処理を実行する情報処理装置のハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。
【００８９】
例えば、図２の情報処理装置の構成における音声解析部２０４、画像解析部２０２、データ処理部２０５の処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０３には、ＣＰＵ７０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。
【００９０】
ＣＰＵ７０１はバス７０４を介して入出力インタフェース７０５に接続され、入出力インタフェース７０５には、カメラ、マイク、リモコン、キーボード、マウスなどの入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。ＣＰＵ７０１は、入力部７０６から入力される情報に対応して各種の処理を実行し、処理結果を例えば出力部７０７に出力する。
【００９１】
入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスクからなり、ＣＰＵ７０１が実行するプログラムや各種のデータを記憶する。
さらに、音声認識処理に必用となる各種の音声情報や辞書データ、さらには、ユーザ認識処理に必用となるユーザ画像データ等が記録されている。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【００９２】
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７０８に転送され記憶される。
【００９３】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００９４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００９５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００９６】
以上、説明したように、本発明の一実施例の構成によれば、ユーザ状態やシステム状態に応じてユーザに対する情報の提供レベルや態様を変更して情報を提供する装置および方法が実現される。具体的には、カメラの撮影画像の解析処理を実行する画像解析部の解析結果と、マイクから入力する音声の解析処理を実行する音声解析部の解析結果を入力して、ユーザに対する情報の出力制御を実行するデータ処理部が、画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する。この処理により、ユーザの状況に応じて確実に情報を伝えることが可能となる。
【符号の説明】
【００９７】
１１〜１３ ユーザ
１００ 情報処理装置
１０１ カメラ
１０２ 音声入出力部
２０１ 画像入力部
２０２ 画像解析部
２０３ 音声入力部
２０４ 音声解析部
２０５ データ処理部
２０６ 音声出力部
２０７ 画像出力部
３１１ 顔・顔方向認識部
３１２ 人認識部
３２１ 音声検出部
３２２ 意味検出部
３３１ ユーザ情報管理部
３３３ システム状態制御部
３３４ システム応答生成部
３３５ システム応答出力部
７０１ ＣＰＵ
７０２ ＲＯＭ
７０３ ＲＡＭ
７０４ バス
７０５ 入出力インタフェース
７０６ 入力部
７０７ 出力部
７０８ 記憶部
７０９ 通信部
７１０ ドライブ
７１１ リムーバブルメディア
【特許請求の範囲】
【請求項１】
カメラの撮影画像の解析処理を実行する画像解析部と、
マイクから入力する音声の解析処理を実行する音声解析部と、
前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対して出力する情報の制御を実行するデータ処理部を有し、
前記データ処理部は、
画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する処理を行う情報処理装置。
【請求項２】
前記データ処理部は、
前記画像解析部の解析結果に基づいて、ユーザが情報処理装置に注目しているか否かを判定し、ユーザが情報処理装置に注目していないと判定した場合は、音声または効果音を伴う情報出力を実行する請求項１に記載の情報処理装置。
【請求項３】
前記データ処理部は、
前記画像解析部の解析結果に基づいて、ユーザが情報処理装置の前にいるか否かを判定し、ユーザが情報処理装置の前にいないと判定した場合は、音声または効果音を伴う情報出力を実行する請求項１に記載の情報処理装置。
【請求項４】
前記データ処理部は、
前記システム状態情報に基づいて、情報処理装置が表示部へのコンテンツ再生を行っていると判定した場合は、表示部への情報出力を実行する請求項１に記載の情報処理装置。
【請求項５】
前記データ処理部は、
前記システム状態情報に基づいて、情報処理装置がユーザに対する警告を出力する必要があるか否かを判定し、警告を出力する必要があると判定した場合は、音声または効果音を伴う情報出力を実行する請求項１に記載の情報処理装置。
【請求項６】
前記データ処理部は、
ユーザが過去に発生したエラー情報に基づいて、ユーザに対して出力する情報のレベルを変更して出力する制御を行う請求項１〜５いずれかに記載の情報処理装置。
【請求項７】
前記データ処理部は、
同一ユーザが規定の期間内に、同じ種類のエラーを発生させた回数が規定閾値を超えている場合は詳細説明を出力する制御を行う請求項６に記載の情報処理装置。
【請求項８】
前記データ処理部は、
同一ユーザが規定の期間内に、複数の異なる種類のエラーを連続的に発生させた回数が規定閾値を超えている場合は詳細説明を出力する制御を行う請求項６または７に記載の情報処理装置。
【請求項９】
前記データ処理部は、
ユーザの過去の情報処理装置に対する操作履歴情報に基づいて、ユーザの情報処理装置に対する熟練度を判定し、ユーザが初心者でないと判定した場合は簡潔な説明を出力し、ユーザが初心者であると判定した場合は詳細または通常のレベルの説明を出力する制御を行う請求項６〜８いずれかに記載の情報処理装置。
【請求項１０】
情報処理装置において実行する情報処理方法であり、
画像解析部が、カメラの撮影画像の解析処理を実行する画像解析ステップと、
音声解析部が、マイクから入力する音声の解析処理を実行する音声解析ステップと、
データ処理部が、前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対して出力する情報の制御を実行するデータ処理ステップを実行し、
前記データ処理ステップは、
画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する処理を行うステップである情報処理方法。
【請求項１１】
情報処理装置において情報処理を実行させるプログラムであり、
画像解析部に、カメラの撮影画像の解析処理を実行させる画像解析ステップと、
音声解析部に、マイクから入力する音声の解析処理を実行させる音声解析ステップと、
データ処理部に、前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対して出力する情報の制御を実行させるデータ処理ステップとを有し、
前記データ処理ステップは、
画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する処理を行わせるステップであるプログラム。
【請求項１】
カメラの撮影画像の解析処理を実行する画像解析部と、
マイクから入力する音声の解析処理を実行する音声解析部と、
前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対して出力する情報の制御を実行するデータ処理部を有し、
前記データ処理部は、
画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する処理を行う情報処理装置。
【請求項２】
前記データ処理部は、
前記画像解析部の解析結果に基づいて、ユーザが情報処理装置に注目しているか否かを判定し、ユーザが情報処理装置に注目していないと判定した場合は、音声または効果音を伴う情報出力を実行する請求項１に記載の情報処理装置。
【請求項３】
前記データ処理部は、
前記画像解析部の解析結果に基づいて、ユーザが情報処理装置の前にいるか否かを判定し、ユーザが情報処理装置の前にいないと判定した場合は、音声または効果音を伴う情報出力を実行する請求項１に記載の情報処理装置。
【請求項４】
前記データ処理部は、
前記システム状態情報に基づいて、情報処理装置が表示部へのコンテンツ再生を行っていると判定した場合は、表示部への情報出力を実行する請求項１に記載の情報処理装置。
【請求項５】
前記データ処理部は、
前記システム状態情報に基づいて、情報処理装置がユーザに対する警告を出力する必要があるか否かを判定し、警告を出力する必要があると判定した場合は、音声または効果音を伴う情報出力を実行する請求項１に記載の情報処理装置。
【請求項６】
前記データ処理部は、
ユーザが過去に発生したエラー情報に基づいて、ユーザに対して出力する情報のレベルを変更して出力する制御を行う請求項１〜５いずれかに記載の情報処理装置。
【請求項７】
前記データ処理部は、
同一ユーザが規定の期間内に、同じ種類のエラーを発生させた回数が規定閾値を超えている場合は詳細説明を出力する制御を行う請求項６に記載の情報処理装置。
【請求項８】
前記データ処理部は、
同一ユーザが規定の期間内に、複数の異なる種類のエラーを連続的に発生させた回数が規定閾値を超えている場合は詳細説明を出力する制御を行う請求項６または７に記載の情報処理装置。
【請求項９】
前記データ処理部は、
ユーザの過去の情報処理装置に対する操作履歴情報に基づいて、ユーザの情報処理装置に対する熟練度を判定し、ユーザが初心者でないと判定した場合は簡潔な説明を出力し、ユーザが初心者であると判定した場合は詳細または通常のレベルの説明を出力する制御を行う請求項６〜８いずれかに記載の情報処理装置。
【請求項１０】
情報処理装置において実行する情報処理方法であり、
画像解析部が、カメラの撮影画像の解析処理を実行する画像解析ステップと、
音声解析部が、マイクから入力する音声の解析処理を実行する音声解析ステップと、
データ処理部が、前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対して出力する情報の制御を実行するデータ処理ステップを実行し、
前記データ処理ステップは、
画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する処理を行うステップである情報処理方法。
【請求項１１】
情報処理装置において情報処理を実行させるプログラムであり、
画像解析部に、カメラの撮影画像の解析処理を実行させる画像解析ステップと、
音声解析部に、マイクから入力する音声の解析処理を実行させる音声解析ステップと、
データ処理部に、前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対して出力する情報の制御を実行させるデータ処理ステップとを有し、
前記データ処理ステップは、
画像解析結果または音声解析結果の少なくともいずれかの解析結果から得られるユーザ情報と、システム状態情報に基づいて、ユーザに提供する情報の出力態様を決定し、決定した出力態様でユーザに対して情報を出力する処理を行わせるステップであるプログラム。
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１】
【公開番号】特開２０１１−２５３３７５（Ｐ２０１１−２５３３７５Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２７１１１（Ｐ２０１０−１２７１１１）
【出願日】平成２２年６月２日（２０１０．６．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年６月２日（２０１０．６．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]