ロボットシステム、コミュニケーション活性化方法及びプログラム
【課題】引込現象の発現確率を高め、コミュニケーションをさらに活性化させる。
【解決手段】コミュニケーション場認識部１は、ユーザのバーバル情報及びノンバーバル情報に基づいて、ユーザのコミュニケーションリズムを認識する。コミュニケーション同調度合算出部２は、コミュニケーションリズムに基づいてコミュニケーション同調度合を算出する。ＳＩＲＤＢ４は、コミュニケーションリズム及びコミュニケーション同調度合に応じて出力部５がユーザに対して行うべきインタラクション動作に関するルールを記憶する。インタラクション制御部３は、ＳＩＲＤＢ４を参照し、そのルールに従ってコミュニケーションリズムとコミュニケーション同調度合を用いてユーザに対して行うべきロボットアクションコマンドを探索し、探索されたロボットアクションコマンドに基づいて出力部５を制御する。
【解決手段】コミュニケーション場認識部１は、ユーザのバーバル情報及びノンバーバル情報に基づいて、ユーザのコミュニケーションリズムを認識する。コミュニケーション同調度合算出部２は、コミュニケーションリズムに基づいてコミュニケーション同調度合を算出する。ＳＩＲＤＢ４は、コミュニケーションリズム及びコミュニケーション同調度合に応じて出力部５がユーザに対して行うべきインタラクション動作に関するルールを記憶する。インタラクション制御部３は、ＳＩＲＤＢ４を参照し、そのルールに従ってコミュニケーションリズムとコミュニケーション同調度合を用いてユーザに対して行うべきロボットアクションコマンドを探索し、探索されたロボットアクションコマンドに基づいて出力部５を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間とコミュニケーションを図るロボットシステム、そのロボットシステムを用いたコミュニケーション活性化方法、及びそのロボットシステムを制御するコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
一般に、会話によるコミュニケーションを自然なものとするためには、音声情報（バーバル情報）に加え、相手の視線、ジェスチャ、頷き動作をはじめとする音声以外の情報（ノンバーバル情報）が必要となる。発話に関するリズム、タイミング、配分、強弱などのバーバル情報と、相手の視線、呼吸、心拍、ジェスチャ、動作、頷き、相槌、瞬きなどのノンバーバル情報とを、両者が五感で感じとり、それに反応して自らの動作のリズム、タイミング、配分、強弱を調整することにより、お互いの身体リズム（コミュニケーションリズム）を共有してはじめて、コミュニケーションを自然なものとすることができる。
【０００３】
このような相手のバーバル情報及びノンバーバル情報を五感で感じとり、それらの反応に応答する行動をとることをインタラクション行動という。このインタラクション行動により、コミュニケーションリズムを共有することを、コミュニケーション同調という。また、コミュニケーション同調により会話に引き込まれていく現象を、引込現象という。
【０００４】
近年、人間との間で、会話などのコミュニケーションを図ることができるロボットシステムが登場している。人間とロボットシステムとの間のコミュニケーションにおいても、この引込現象を発現させることが、そのコミュニケーションを活性化させるための重要なポイントとなる。このような背景から、ロボットとユーザとのコミュニケーションや、ロボットを介在させたユーザ間のコミュニケーションにおいて、引込現象の発現につながる種々の技術が、開示されている（例えば、特許文献１〜６参照）。
【０００５】
特許文献１に記載の身体性メディア通信システムは、時間的または空間的に隔てられた通信相手との親密なコミュニケーションを実現するために、それぞれの通信端末の画面上に両者の疑似人格ロボットを表示させる。疑似人格ロボットは、両者の音声情報や特定動作情報に基づいて動作する。これにより、空間を共有する感覚を両者に与えることができるようになる。
【０００６】
特許文献２に記載の身体的引き込み方法及びシステムは、話し手と聞き手の間において、話し手または聞き手に視線の切り替えを要求することなく、それぞれの触覚を介してノンバーバル情報を同時に与える。これにより、お互いのコミュニケーションリズムを共有することができるようになる。また、特許文献３では、上記特許文献２に開示された身体的引き込み方法及びシステムを、プレゼンテーションなどの聞き手が不特定多数である場合に適用したものが開示されている。
【０００７】
特許文献４に記載の自動応答玩具は、ユーザの音声の大きさや、ユーザの顔の動きの大きさ、ユーザの頷きのタイミング等の外部からの刺激に基づいて玩具の感情を決定する。例えば、この玩具は、ユーザの頷きのタイミングが検出された回数が多ければ、話が弾んでいると解釈し、そのときの感情を「幸福」とする。この玩具は、決定された感情に応じた応答動作（インタラクション行動）を行う。
【０００８】
特許文献５に記載の意思伝達装置は、音声送受信部と、共用ロボットと、聞き手制御部及び話し手制御部とから構成されている。音声送受信部は、会話等の音声信号を送受信し、共用ロボットは、この音声信号に応答して頭の頷き動作、口の開閉動作、目の瞬き動作、又は身体の身振り動作の挙動をする。聞き手制御部は、送信部を通じて送信される音声信号から聞き手としての共用ロボットの挙動を決定してこの共用ロボットを作動させる。そして、話し手制御部は、受信部で受信した音声信号から話し手としての共用ロボットの挙動を決定してこの共用ロボットを作動させる。
【０００９】
特許文献６に記載のリズム制御対話装置は、データ入力手段からの音声信号・身振りの時刻情報を含む複数の入力データを認識する複数チャネルの認識手段と、時刻情報を出力する時刻付与手段と、認識手段から出力される認識結果を処理してユーザの対話のリズムを検出するリズム検出手段と、リズムの覆歴を格納する覆歴格納手段と、リズム検出手段により認識されたリズムに基づいて対話を進める対話管理手段と、出力データを出力する出力手段から構成されている。応答内容は、出力手段によりユーザに伝えられる。
【００１０】
【特許文献１】特開２００３−１０８５０２号公報
【特許文献２】特開２００５−２５１１３３号公報
【特許文献３】特開２００５−２５０４２１号公報
【特許文献４】特開２００２−２３９２５６号公報
【特許文献５】特開２０００−３４９９２０号公報
【特許文献６】特開平１０−１１１７８６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上記６つの技術はいずれも、コミュニケーションをする相手のバーバル情報及びノンバーバル情報を検出し（例えば、ユーザもロボットも音声を発しない無音区間などを検出し）、検出された情報に基づいてロボットにインタラクション行動（インタラクション動作）を行わせることにより、ユーザとロボットとの間でコミュニケーションリズムを共有させて、引込現象を発現させることを期待するものである。
【００１２】
コミュニケーションの取り方は、個人個人によって様々であるが、どのような人でも、相手との同調度合に応じてコミュニケーションの取り方を微妙に変えていくのが一般的である。したがって、引込現象の発現確率を高めるには、コミュニケーションの発展段階に応じて、インタラクション動作を変更する動的な誘発戦略が必要となる。しかしながら、上記６つの技術では、そのような動的な誘発戦略の下でコミュニケーションを行うのは困難である。
【００１３】
本発明は、上記事情に鑑みてなされたもので、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができるロボットシステム、コミュニケーション活性化方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の第１の観点に係るロボットシステムは、
複数人のユーザに対するインタラクション動作を行う出力部と、
前記複数人のユーザ各々のバーバル情報及びノンバーバル情報に基づいて、そのユーザのコミュニケーションリズムを認識する認識部と、
前記コミュニケーションリズムに基づいて、前記ユーザ間の同調度合を算出する同調度合算出部と、
前記コミュニケーションリズム及び前記同調度合に応じて前記出力部が前記ユーザに対して行うべきインタラクション動作に関して、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下で構築されたルールを記憶するルールデータベースと、
前記ルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御するインタラクション制御部と、を備える。
【００１５】
本発明の第２の観点に係るコミュニケーション活性化方法は、
複数人のユーザに対するインタラクション動作を行う出力部を備えるロボットシステムを用いたコミュニケーション活性化方法であって、
前記複数人のユーザ各々のバーバル情報及びノンバーバル情報に基づいて、そのユーザのコミュニケーションリズムを認識する第１の工程と、
前記コミュニケーションリズムに基づいて前記ユーザ間の同調度合を算出する第２の工程と、
前記コミュニケーションリズム及び前記同調度合に応じて前記出力部が前記ユーザに対して行うべきインタラクション動作に関して、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下で構築されたルールを記憶するルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御する第３の工程と、を含む。
【００１６】
本発明の第３の観点に係るプログラムは、
複数人のユーザに対するインタラクション動作を行う出力部を備えるロボットシステムを制御するコンピュータに、
前記複数人のユーザ各々のバーバル情報及びノンバーバル情報に基づいて、そのユーザのコミュニケーションリズムを認識する第１の手順と、
前記コミュニケーションリズムに基づいて前記ユーザ間の同調度合を算出する第２の手順と、
前記コミュニケーションリズム及び前記同調度合に応じて前記出力部が前記ユーザに対して行うべきインタラクション動作に関して、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下で構築されたルールを記憶するルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御する第３の手順と、を実行させる。
【発明の効果】
【００１７】
本発明によれば、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【発明を実施するための最良の形態】
【００１８】
本発明を実施するための最良の形態について図面を参照して詳細に説明する。以下に示す本発明の各実施形態に係るロボットシステムは、複数人のユーザのコミュニケーションリズムを認識し、複数人のユーザに対するインタラクション動作を行うことにより、ロボットとユーザとのコミュニケーション同調を実現し、引込現象を誘発させるものである。
【００１９】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。図１には、本実施形態に係るロボットシステム１００の概略的な構成が示されている。図１に示されるように、ロボットシステム１００は、コミュニケーション場認識部１と、コミュニケーション同調度合算出部２と、インタラクション制御部３と、ソーシャルインタラクションルールデータベース（以下、「ＳＩＲＤＢ」と略述する）４と、出力部５と、を備えている。
【００２０】
コミュニケーション場認識部１は、不図示のマイク、カメラ、生体センサなどの各種センサを有している。マイクは、ロボットシステム１００のコミュニケーション相手となるユーザの音声を入力する。カメラは、そのユーザを撮像する。生体センサは、そのユーザの脈拍などの生体情報を検出する。
【００２１】
コミュニケーション場認識部１は、これらのセンサから得られた音声情報、画像情報、生体情報、すなわちバーバル情報及びノンバーバル情報に基づいて、ユーザの発話パワーやその周期などの発話データ、ユーザのジェスチャ・動作・頷き・相槌といった身体動作データや、ユーザの視線・呼吸・心拍・瞬きといった生体センシングデータなどを認識する。これら発話データ、身体動作データ、生体センシングデータなどを、コミュニケーションリズム（モーダル情報）という。認識されたコミュニケーションリズムは、コミュニケーション同調度合算出部２に出力される。
【００２２】
コミュニケーション同調度合算出部２は、コミュニケーション場認識部１から出力されたコミュニケーションリズム（複数のモーダル情報）に基づいて、コミュニケーション同調度合を算出する。コミュニケーション同調度合は、ユーザとのコミュニケーションリズムの共有状態の高さを示す指標値であり、この値が大きければ大きいほど、ユーザに引込現象が発現しやすくなる。コミュニケーション同調度合は、例えば、ユーザの発話パワーの平均値と、ユーザの視線のやりとりの回数、頷き回数等の線形加重和、すなわち各種コミュニケーションリズムの線形加重和とすることができる。算出されたコミュニケーション同調度合は、インタラクション制御部３に出力される。
【００２３】
インタラクション制御部３には、コミュニケーション同調度合算出部２から算出されたコミュニケーションリズムの他に、コミュニケーション場認識部１から出力されたコミュニケーションリズムも入力されている。インタラクション制御部３は、入力されたコミュニケーションリズムとコミュニケーション同調度合とに基づいて、ＳＩＲＤＢ４を参照する。
【００２４】
ＳＩＲＤＢ４には、コミュニケーションリズムとコミュニケーション同調度合とに応じて、後述する出力部５がユーザに対して行うべきインタラクション行動に関するルール（インタラクションルール）が蓄積されている。インタラクションルールは、通常、人間同士のコミュニケーションにおいて、人間が感じ取るバーバル情報及びノンバーバル情報に対して人間がとる行動と同じ行動を、可能な限りとるように構築されている。より具体的には、このインタラクションルールは、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下に構築されている。このインタラクションルールによれば、コミュニケーション同調度合が低い状態と高い状態とでは、コミュニケーションリズムが同じであっても、インタラクション動作が異なるようになる。
【００２５】
インタラクション制御部３は、このインタラクションルールにしたがって、入力されたコミュニケーションリズムとコミュニケーション同調度合とに基づいて、ユーザに対して行うべき動作に対応する動作指令であるロボットアクションコマンドを決定する。決定されたロボットアクションコマンドは、出力部５に出力される。
【００２６】
出力部５は、ディスプレイ又は人型のロボット本体である。ディスプレイである場合には、その画像にＣＧ（コンピュータグラフィックス）により作成された人物像（エージェント）が表示されたものを採用することができる。エージェント又は人型のロボットは、実際の人間を模して、顔、手、胴体などを有しており、それらを動かせるようになっている。また、その顔では、目、鼻、口などを動かせるようになっている。出力部５は、顔、手、胴体、さらには、目、鼻、口などを動かすことにより、ロボットアクション（インタラクション動作）を実現する。このようなインタラクション動作には、例えば、視線の変更・呼吸・心拍・瞬き・ジェスチャ・動作・頷き・相槌がある。
【００２７】
また、出力部５は、ロボットの音声を出力するためのスピーカ（不図示）も有しており、表示された口を動かしつつ、スピーカから音声を出力することにより、発話が可能となっている。このように、出力部５は、人間の動作に近い各種動作を行うことができるようになっているのが望ましい。
【００２８】
出力部５は、インタラクション制御部３の制御の下、入力されたロボットアクションコマンドに従ってインタラクション動作を実際に行う。
【００２９】
ロボットシステム１００は、図２のコミュニケーション処理に示されるように、コミュニケーション場認識部１によるコミュニケーションリズムの認識処理（ステップＳ１０）→コミュニケーション同調度合算出部２によるコミュニケーション同調度合の算出（ステップＳ１２）→インタラクション制御部３によるロボットアクションコマンドの決定（ステップＳ１４）→出力部５によるインタラクション動作（ステップＳ１６）を、この順に行う。
【００３０】
ユーザは、このロボットアクションを見ながら、さらに、ロボットシステム１００に対して発話やジェスチャなどのコミュニケーションを継続する。これに対し、ロボットシステム１００は、コミュニケーション場認識部１におけるコミュニケーションリズムの認識（ステップＳ１０）、コミュニケーション同調度合算出部２におけるコミュニケーション同調度合の算出（ステップＳ１２）、インタラクション制御部３におけるロボットアクションコマンドの決定（ステップＳ１４）、出力部５におけるインタラクション動作（ステップＳ１６）を繰り返す。ユーザは、このインタラクション動作を見ながら、さらに、ロボットシステム１００に対して発話やジェスチャなどのコミュニケーションを継続する。
【００３１】
ユーザと、ロボットシステム１００とは、このような動作を繰り返しつつ、会話などのコミュニケーションを継続する。
【００３２】
コミュニケーションの継続の結果、ユーザとロボットシステム１００との間で、コミュニケーションリズムが共有されるようになり、コミュニケーション同調度合が高まる。この結果、ユーザに引込現象が誘発される。
【００３３】
このように、本実施形態に係るロボットシステム１００は、バーバル情報及びノンバーバル情報（複数のモーダル情報）に基づいて、コミュニケーションリズムを認識し、そのコミュニケーションリズムに基づいてコミュニケーション同調度合を直接的に求めている。また、このロボットシステム１００では、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略に基づいて構築されたインタラクションルールに従って、コミュニケーション同調度合に基づいてインタラクション動作を行う。このように、ロボットシステム１００は、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下でユーザとコミュニケーションを図ることができるので、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【００３４】
（第２の実施形態）
本発明の第２の実施形態について説明する。図３には、本実施形態に係るロボットシステム１０１の概略的な構成が示されている。図３に示されるように、本実施形態に係るロボットシステム１０１は、コミュニケーションモード決定部６をさらに備えている点と、ＳＩＲＤＢ４の代わりに、複数のＳＩＲＤＢ４１、４２、４３、…を備えている点と、インタラクション制御部３の動作とが、上記第１の実施形態に係るロボットシステム１００と異なっており、その他の点は同じである。そこで、本実施形態では、上記第１の実施形態と重複する構成要素については、図１と同一の符号を付し、詳細な説明を省略する。
【００３５】
コミュニケーションモード決定部６は、コミュニケーション同調度合に基づいて、コミュニケーションモードを決定する。コミュニケーションモードとは、コミュニケーション場の状態を示すものである。コミュニケーションモードは、例えば、初対面状態、話題提供状態、話題盛り上げ状態など、コミュニケーション同調度合が異なる種々のモードを設定することができる。このようなコミュニケーションモードを設定することによって、ロボットシステム１０１は、コミュニケーション同調度合を効率よく高め、引込現象を誘発しやすくするために、インタラクションルールをコミュニケーションモードに応じて変更し、コミュニケーションモードに応じて出力部５の制御状態を計画的に変更するタスクを構築することができる。これにより、引込現象に対する動的な誘発戦略を立てやすくなる。
【００３６】
ＳＩＲＤＢ４１、４２、４３…は、コミュニケーションモードの数だけ用意されており、それぞれが、いずれかのコミュニケーションモードに対応している。
【００３７】
コミュニケーションモード決定部６は、コミュニケーション同調度合算出部２から出力されたコミュニケーション同調度合に基づいて、現在のコミュニケーションモードを決定し、インタラクション制御部３に出力する。インタラクション制御部３は、複数のＳＩＲＤＢ４１、４２、４３…の中から、決定されたコミュニケーションモードに対応するＳＩＲＤＢを選択する。そして、インタラクション制御部３は、選択されたＳＩＲＤＢを参照して、そのＳＩＲＤＢに記憶されたインタラクションルールに従って、コミュニケーション場認識部１から出力されるコミュニケーションリズムと、コミュニケーション同調度合算出部２から出力されるコミュニケーション同調度合とに基づいて、ロボットアクションコマンドを決定する。出力部５は、そのロボットアクションコマンドに従って、そのときのコミュニケーションモードに応じたインタラクション動作を行う。
【００３８】
このように、本実施形態によれば、コミュニケーション場の状態に応じて引込現象の誘発戦略を動的に変更することができるので、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【００３９】
（第３の実施形態）
本発明の第３の実施形態について説明する。図４には、本実施形態に係るロボットシステム１０２の概略的な構成が示されている。ロボットシステム１０２は、ユーザ内部状態推定部７をさらに備える点と、ＳＩＲＤＢ４の代わりに複数のＳＩＲＤＢ４１、４２、４３…を備えている点と、インタラクション制御部３の動作とが、上記第１の実施形態に係るロボットシステム１００と異なっており、その他の点は同じである。したがって、本実施形態では、上記第１の実施形態と重複する構成要素については、図１と同一の符号を付し、詳細な説明を省略する。
【００４０】
図４に示されるように、ユーザ内部状態推定部７は、コミュニケーション場認識部１から出力されたコミュニケーションリズムを入力する。ユーザ内部状態推定部７は、コミュニケーションリズムに基づいて、ユーザの内部状態を推定する。ユーザ内部状態とは、ユーザの緊張状態や快状態といった、ユーザの精神状態のことである。ユーザの内部状態は、例えば、（緊張、快）、（緊張、不快）、（リラックス、快）、（リラックス、不快）などの状態に分けることができる。
【００４１】
ＳＩＲＤＢ４１、４２、４３…は、ユーザの内部状態の数だけ用意されており、それぞれが、いずれかのユーザの内部状態に対応している。例えば、（緊張、快）、（緊張、不快）、（リラックス、快）などのそれぞれの状態についてＳＩＢＤＢを１つずつ用意することができる。
【００４２】
ユーザ内部状態推定部７は、ユーザ内部状態の推定結果をインタラクション制御部３へ出力する。インタラクション制御部３は、複数のＳＩＲＤＢ４１、４２、４３…の中から、ユーザの内部状態に応じたＳＩＲＤＢを選択する。そして、インタラクション制御部３は、選択されたＳＩＲＤＢを参照し、そのインタラクションルールに従って、コミュニケーション場認識部１から出力されるコミュニケーションリズムと、コミュニケーション同調度合算出部２から出力されるコミュニケーション同調度合とに基づいて、ロボットアクションコマンドを決定する。出力部５は、そのロボットアクションコマンドに従って、そのときのユーザの内部状態に応じたインタラクション動作を行う。
【００４３】
このように、本実施形態によれば、ユーザの内部状態に応じて引込現象の誘発戦略を動的に変更することができるので、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【００４４】
（第４の実施形態）
本発明の第４の実施形態について説明する。図５には、本実施形態に係るロボットシステム１０３の概略的な構成が示されている。ロボットシステム１０３は、発話マインド推定部８をさらに備える点と、インタラクション制御部３の動作とが、上記第３の実施形態に係るロボットシステム１０２と異なっており、その他の点は同じである。したがって、本実施形態では、上記第３の実施形態と重複する構成要素については、図４と同一の符号を付し、詳細な説明を省略する。
【００４５】
図５に示されるように、発話マインド推定部８は、ユーザ内部状態推定部７から出力されるユーザの内部状態を入力する。発話マインド推定部８は、このユーザの内部状態に基づいて、ユーザが発話しようとする意思があるかないかを示す指標値（以下、「発話マインド」と呼ぶ）を、推定する。
【００４６】
ＳＩＲＤＢ４１、４２、４３…は、発話マインドが示す値の数だけ用意されており、それぞれが、いずれかの発話マインドの値に対応している。
【００４７】
発話マインド推定部８は、ユーザ内部状態推定部７から出力されたユーザの内部状態に基づいて、発話マインドを推定する。発話マインドは、一般的に、ユーザがロボットシステム１０３（出力部５）に視線を向けて集中しているときや、緊張状態が高いときに、その値が高くなるように設定されている。例えば、発話しようとしていないとみられるときにはその値を０とし、発話しようとしているとみられるときには、その値を１とすることができる。
【００４８】
発話マインドの推定結果は、インタラクション制御部３に出力される。インタラクション制御部３は、複数のＳＩＲＤＢ４１、４２、４３…の中から、ユーザの発話マインドに応じたＳＩＲＤＢを選択する。そして、インタラクション制御部３は、選択されたＳＩＲＤＢを参照し、そのインタラクションルールに従って、コミュニケーション場認識部１から出力されるコミュニケーションリズムと、コミュニケーション同調度合算出部２から出力されるコミュニケーション同調度合とに基づいて、ロボットアクションコマンドを決定する。出力部５は、そのロボットアクションコマンドに従って、そのときの発話マインドに応じたインタラクション動作を行う。
【００４９】
このように、本実施形態によれば、ユーザの発話マインドに応じて引込現象の誘発戦略を動的に変更することができるので、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【００５０】
（第５の実施形態）
本発明の第５の実施形態について説明する。このシステムは、複数のユーザを対象とし、ユーザ間のコミュニケーションの仲立ちをするために特に用いられる。図６には、本実施形態に係るロボットシステム１０４の概略的な構成が示されている。ロボットシステム１０４は、ユーザ間情報推定部９をさらに備える点と、インタラクション制御部３の動作とが、上記第３の実施形態に係るロボットシステム１０２と異なっており、その他の点は同じである。したがって、本実施形態では、上記第３の実施形態と重複する構成要素については、図３と同一の符号を付し、詳細な説明を省略する。
【００５１】
図６に示されるように、ユーザ間情報推定部９は、ユーザ内部状態推定部７から出力されるユーザの内部状態を入力する。ユーザ間情報推定部９は、ユーザの内部状態に基づいて、ユーザ間の社会的関係性を示すユーザ間情報を推定する。このようなユーザ間情報としては、例えば、ユーザ同士が親しい間柄であるか否かを示す指標値がある。例えば、ユーザが非常にリラックスしている場合には、相手が親しい間柄であると判断することができる。
【００５２】
ＳＩＲＤＢ４１、４２、４３…は、ユーザ間情報に応じた数だけ用意されており、それぞれが、いずれかのユーザ間情報の状態に対応している。
【００５３】
ユーザ間情報の推定結果は、インタラクション制御部３に出力される。インタラクション制御部３は、複数のＳＩＲＤＢ４１、４２、４３…の中から、ユーザ間情報に応じたＳＩＲＤＢを選択する。そして、インタラクション制御部３は、選択されたＳＩＲＤＢを参照し、そのインタラクションルールに従って、コミュニケーション場認識部１から出力されるコミュニケーションリズムと、コミュニケーション同調度合算出部２から出力されるコミュニケーション同調度合とに基づいて、インタラクション動作を決定する。出力部５は、そのロボットアクションコマンドに従って、そのときの発話マインドに応じたインタラクション動作を行う。
【００５４】
このように、本実施形態によれば、ユーザ同士の関係に応じて引込現象の誘発戦略を動的に変更することができるので、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【００５５】
（第６の実施形態）
本発明の第６の実施形態について説明する。図７には、本実施形態に係るロボットシステム１０５の概略的な構成が示されている。ロボットシステム１０５は、エピソード蓄積部１０と、エピソード記憶データベース（以下、「ＥＳＤＢ」と略述する）１１と、エピソード学習部１２と、をさらに備える点と、インタラクション制御部３の動作とが、上記第１の実施形態に係るロボットシステム１００と異なっており、その他の点は同じである。したがって、本実施形態では、上記第１の実施形態と重複する構成要素については、図１と同一の符号を付し、詳細な説明を省略する。
【００５６】
図７に示されるように、エピソード蓄積部１０は、コミュニケーション場認識部１から出力されるコミュニケーションリズムと、コミュニケーション同調度合算出部２から出力されるコミュニケーション同調度合と、インタラクション制御部３から出力されるロボットアクションコマンドとを入力する。エピソード蓄積部１０は、コミュニケーションリズムと、コミュニケーション同調度合と、ロボットアクションコマンドとを、ＥＳＤＢ１１に蓄積する。
【００５７】
ＥＳＤＢ１１は、コミュニケーションリズム及びコミュニケーション同調度合と、ロボットアクションコマンドとの関係を記憶するデータベースである。より具体的には、ＥＳＤＢ１１は、コミュニケーションリズム及びコミュニケーション同調度合と、それらに基づいて探索されたロボットアクションコマンドと、を関連付けて記憶する。さらに、ＥＳＤＢ１１は、その動作命令に基づくインタラクション制御部３の下で行われた出力部５のインタラクション動作に対するユーザの反応としてのコミュニケーションリズム及びコミュニケーション同調度合と、を関連付けて記憶する。
【００５８】
例えば、ある時刻ｔ（ｔは、任意の正の実数）におけるインタラクション動作について考える。前提として、ロボットシステム１０５では、時刻ｔにおけるインタラクション動作は、時刻ｔ−ｂ（ｂは、正の実数）におけるコミュニケーションリズム及びコミュニケーション同調度合に基づいて決定されたロボットアクションコマンドによるものであるとする。また、時刻ｔにおけるインタラクション動作に対するユーザの反応は、時刻ｔ＋ａ（ａは、正の実数）におけるコミュニケーション場にて認識されるものであるとする。この場合、ＥＳＤＢ１１には、時刻ｔにおけるロボットアクションコマンドと、時刻ｔ＋ａにおけるコミュニケーションリズム及びコミュニケーション同調度合と、時刻ｔ−ｂにおけるコミュニケーションリズム及びコミュニケーション同調度合とが、関連づけて記憶される。
【００５９】
エピソード学習部１２は、ＥＳＤＢ１１を参照し、ＳＩＲＤＢ４に記憶されたインタラクションルールを調整する。例えば、エピソード学習部１２は、時刻ｔのロボットアクションコマンドに関連づけられた時刻ｔ−ｂにおけるコミュニケーション同調度合に対して、時刻ｔ＋ａにおけるコミュニケーション同調度合が低下している場合には、他のインタラクション動作が決定されるように、ＳＩＲＤＢ４のインタラクションルールを変更する。
【００６０】
エピソード学習部１２は、このように、ＳＩＲＤＢ４のインタラクションルールを繰り返し変更する。この繰り返しの結果、コミュニケーションリズム及びコミュニケーション同調度合と、インタラクション動作との関係が学習され、コミュニケーション同調度合が効率良く高くなるように、ＳＩＲＤＢ４におけるインタラクションルールが最適化される。
【００６１】
なお、ユーザの緊張状態が推定可能であれば、エピソード学習部１２による学習が、ユーザの緊張状態が低下しているか否かを基準として行われるようにしてもよい。
【００６２】
このように、本実施形態によれば、実際のコミュニケーションの実績に基づいてインタラクションルールが最適化され、最適化されたインタラクションルールの下でコミュニケーションが行われる。これにより、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【００６３】
（第７の実施形態）
本発明の第７の実施形態について説明する。図８には、本実施形態に係るロボットシステム１０６の概略的な構成が示されている。ロボットシステム１０６は、ユーザパーソナリティ情報データベース（以下、「ＵＰＩＤＢ」と略述する）１３をさらに備える点と、インタラクション制御部３の動作とが、上記第１の実施形態に係るロボットシステム１００と異なっており、その他の点は同じである。したがって、本実施形態では、上記第１の実施形態と重複する構成要素については、図１と同一の符号を付し、詳細な説明を省略する。
【００６４】
ＵＰＩＤＢ１３には、ユーザの個人情報が蓄えられている。このような情報には、ユーザ個人の氏名、出身地、職歴、趣味といった個人情報や、ユーザの社会的スキルや心理分析結果といったユーザの能力や性格に関する情報などが含まれる。ＵＰＩＤＢ１３に蓄えられた情報は、インタラクション制御部３によって参照され、インタラクション制御部３がインタラクション動作を決定するために用いられる。
【００６５】
ＳＩＲＤＢ４におけるインタラクションルールは、ユーザの個人情報に応じてインタラクション動作が異なるようなルールとなっており、コミュニケーションリズム及びコミュニケーション同調度合が同じであっても、ユーザが異なっていれば、その結果行われるインタラクション動作は異なったものとなる可能性がある。
【００６６】
このように、本実施形態によれば、ユーザの個人情報に応じて引込現象の誘発戦略を動的に変更することができるので、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【００６７】
次に、本発明のさらなる詳細な実施例について図面を参照して説明する。
（第１の実施例）
まず、本発明の第１の実施例について説明する。本実施例は、上記第２の実施形態に係るロボットシステム１０１（図３参照）に対応するものである。
【００６８】
前提として、本実施例に係るロボットシステム１０１が適用されるコミュニケーション場について説明する。図９（Ａ）に示されるように、このコミュニケーション場では、２人のユーザＨ１、Ｈ２が、テーブル３０を挟んで向かい合っており、会話できる状態となっている。本実施例に係るロボットシステム１０１は、このユーザＨ１、Ｈ２のコミュニケーションを円滑に進めるための支援を行う。
【００６９】
このユーザＨ１、Ｈ２は初対面である。したがって、本実施例で、ロボットシステム１０１により実行されるのは、初対面紹介タスクともいうべきものである。
【００７０】
ロボットシステム１０１の出力部５は、ディスプレイである。この出力部５の画面上には、図９（Ｂ）に示されるような、人物像であるエージェントＲが表示されている。このエージェントＲは、ＣＧ（コンピュータグラフィックス）によって、様々なインタラクション動作を行うことができるようになっている。ユーザＨ１、Ｈ２は、出力部５の画面上に表示されたエージェントＲのインタラクション動作を見ることができる。
【００７１】
図９（Ａ）に示されるように、ユーザＨ１、Ｈ２の胸元には、それぞれマイク３１が付けられ、その頭頂部には、加速度センサ３２が取り付けられている。また、テーブル上には、ユーザＨ１、Ｈ２を撮像するためのカメラ３３、３４がそれぞれ２台ずつ設置されている。マイク３１、加速度センサ３２、カメラ３３、３４によって、コミュニケーション場認識部１の一部が構成されている。
【００７２】
本実施例では、コミュニケーション場認識部１は、マイク３１の出力に基づいて、ユーザＨ１、Ｈ２の音声データを検出し、加速度センサ３２の出力に基づいて、ユーザＨ１、Ｈ２の頷きを検出し、カメラ３３、３４の出力画像に基づいて、ユーザＨ１、Ｈ２の顔や視線の向きなど、ユーザＨ１、Ｈ２の身体動作を検出する。コミュニケーション場認識部１は、これらのセンシング結果に基づいて、コミュニケーションリズムを認識する。
【００７３】
なお、本実施例では、２人のユーザＨ１、Ｈ２の頷き、視線、顔の向き、指示といった基本動作及び発話動作を、以下の関数に基づいて定義する。これらの関数の値は、その関数の右側に記載された動作（上記センシング結果より検出された動作）が行われれば１となり、動作が行われなければ０となる。本実施例では、これらの関数に基づいてコミュニケーションリズムが認識される。
【００７４】
・Nod(H1,t)：H1が時刻tに頷く。
・Utterance(H1,t)：H1が時刻tに発話する。
・Utterance(H1→H2,t)：H1がH2に対して時刻tに発話する。
・TerminateUtterance(H1, t)：H1が時刻tに発話を終了する。
・Gaze(H1→H2,t)：H1がH2に時刻tに視線を向けている。
・Face(H1→H2,t)：H1がH2に時刻tに顔を向けている。
・Gaze(H1⇔H2,t)：H1とH2が時刻tに同時に視線を向けている（視線一致状態）。
・Face(H1⇔H2,t)：H1とH2が時刻tに同時に顔を向けている（対面状態）。
・TurnGaze(R,H1→H2,t)：RがH1をH2の方に時刻tに視線を向かせる。
・TurnUtterance(R,H1→H2,t)：RがH1をH2の方に時刻tに発話させる。
・Direct(H1→H2,t)：H1がH2の方向を時刻tに指示する。
・SilentTime(H1,t)：H1の時刻tにおける無音区間
・UtterancePower(H1,t)：H1の時刻ｔにおける発生音の音量。
【００７５】
上記各関数の引数は、その動作の主体とその動作が行われた時刻を示す。なお、エージェントＲのインタラクション動作についてもこの関数で表現することができる。
【００７６】
コミュニケーション場認識部１は、センシング結果に基づいて、上記各関数の値を求め、これらの関数に基づいて、コミュニケーションリズムを認識する。認識されたコミュニケーションリズムは、コミュニケーション同調度合算出部２及びインタラクション制御部３に出力される。
【００７７】
コミュニケーション同調度合算出部２は、これらコミュニケーションリズムに基づいて、時刻ｔにおけるコミュニケーション同調度合としての評価関数Eval(t)を、算出する。コミュニケーション同調度合Eval(t)は、ユーザＨ１、Ｈ２の発話パワーの平均値、視線のやりとりの回数、頷き回数など、コミュニケーションリズムの線形加重和により表されるが、本実施例では、後述する４つのコミュニケーションモードに対応する４つの評価関数Eval(t)[１]〜Eval(t)[４]を算出する。
【００７８】
【数１】
ここで、γ、δは、正規化パラメータであり、式（１）と式（３）とで、γ、δの値は異なる。上記式（１）は、エージェントＲとユーザＨ１との間、エージェントＲとユーザＨ２との間で、それぞれの引込現象が発現されたか否かを評価するための評価関数である。上記式（２）は、ユーザＨ１、Ｈ２が向き合って対話を始めたか否かを評価するための評価関数である。上記式（３）、式（４）は、エージェントＲと２人のユーザＨ１、Ｈ２のスムーズな会話が確立されたか否かを評価するための評価関数である。
【００７９】
なお、後述するように、コミュニケーションモードが話題提供状態（話題を提供する会話の初期段階）となっているときには、ユーザＨ１、Ｈ２のお互いの反応を、詳細にチェックする必要があるため、コミュニケーション同調度合算出部２は、コミュニケーション同調度合Eval(t)[２]のほか、次式で示されるエージェントＲがユーザＨ２の話題情報をユーザＨ１に知らせたときの反応度React(H2→H1,t)と、ユーザＨ１の話題情報をユーザＨ２に知らせたときのユーザＨ２の反応度React(H1→H2,t)とを、同じくコミュニケーション同調度合として算出する。
【００８０】
【数２】
ここで、α、βは、正規化パラメータである。
React(H2→H1,t)、React(H1→H2,t)は、エージェントＲによる話題提供が、ユーザＨ１、Ｈ２のコミュニケーションのきっかけとして成り得たか否かを評価するための評価関数である。
【００８１】
算出されたコミュニケーション同調度合Eval(t)は、コミュニケーションモード決定部６に出力される。
【００８２】
本実施例では、５つのコミュニケーションモードが用意されている。図１０には、５つのコミュニケーションモードの遷移図が示されている。この遷移図によって初対面紹介タスクが表現される。図１０に示されるように、本実施例では、初期状態に加え、挨拶／初対面状態、話題提供状態、話題掘り下げ状態、話題盛り上げ状態の４つのコミュニケーションモードが用意されている。
【００８３】
初期状態は、エージェントＲと、初対面である２人のユーザＨ１、Ｈ２が、同じコミュニケーション場に集まる前のコミュニケーションモードである。
【００８４】
挨拶／初対面状態は、初対面である２人のユーザＨ１、Ｈ２が互いに挨拶をかわし、会話を開始する際のコミュニケーションモードである。この状態では、コミュニケーション同調度合は低く、ほぼ０に近い状態である。
【００８５】
話題提供状態は、２人のユーザＨ１、Ｈ２が向き合って対話させることを目的として話題を提供し、会話の端緒を作り出すときの状態である。この状態では、挨拶／初対面状態よりも、コミュニケーション同調度合が少し高まっている。
【００８６】
話題掘り下げ状態は、エージェントＲと２人のユーザＨ１、Ｈ２のスムーズな会話の発生を目指すために、提供された話題を掘り下げていくときの状態である。この状態では、話題提供状態よりも、コミュニケーション同調度合が高まっている。
【００８７】
話題盛り上げ状態は、掘り下げられた話題を掘り下げていった結果、コミュニケーション同調度合が極めて高くなり、コミュニケーションリズムが共有化された状態である。
【００８８】
図１０に示されるように、コミュニケーションモードは、コミュニケーション同調度合が高まるにつれて、初期状態から挨拶／初対面状態に遷移し、さらに話題提供状態へと遷移する。その後、コミュニケーションモードは、コミュニケーション同調度合に応じて、話題提供状態と、話題掘り下げ状態と、話題盛り上げ状態との間を、遷移する。
【００８９】
初対面紹介タスクにおいて、最も望ましい流れは、コミュニケーションモードが、挨拶／初対面状態→話題提供状態→話題掘り下げ状態→話題盛り上げ状態と遷移する流れである。話題盛り上げ状態となり、その状態でタスク終了条件が満たされると、ロボットシステム１０１は、その役割が完了したものとして、初対面紹介タスクを終了させる。
【００９０】
コミュニケーションモード決定部６の動作について説明する。２人のユーザＨ１、Ｈ２が集まり、カメラ３３、３４により、両者の存在が検出されると、コミュニケーションモード決定部６は、コミュニケーションモードを、挨拶／初対面状態へと遷移させる。
【００９１】
その後、コミュニケーションモード決定部６は、コミュニケーション同調度合Eval(t)[１]〜Eval(t)[４]を、所定の閾値Th_Eval[１]、Th_Eval[２]、Th_Eval[３]、Th_Eval[４]と比較して、その比較結果に基づいて、コミュニケーションモードを決定する。これにより、コミュニケーションモードが図１０に示されるように遷移する。なお、それぞれの閾値の関係は、Th_Eval[４]＞Th_Eval[３]＞Th_Eval[２]＞Th_Eval[１]となっている。
【００９２】
挨拶／初対面状態から、話題提供状態への遷移条件は、以下の式で示される。
Eval(t)[１]＝1（＝Th_Eval[１]） …（７）
この遷移条件が満たされたということは、上記式（１）に示されるように、エージェントＲとユーザＨ１との間、エージェントＲとユーザＨ２との間で、それぞれの引込現象が発現したことを示している。
【００９３】
コミュニケーションモード決定部６は、React(H2→H1)及びReact(H1→H2)を、一定閾値Th_Reactと比較する。話題提供状態から話題掘り下げ状態への遷移条件は、以下の式のようになる。
React(H2→H1)∧React(H1→H2)≧Th_ReactかつEval(t)[２]≧Th_Eval[２] …（８）
【００９４】
この遷移条件が満たされたということは、上記式（２）、式（５）、式（６）に示されるように、エージェントＲによる話題提供が成功し、２人のユーザＨ１、Ｈ２が向き合って対話を始めたことを示している。
【００９５】
話題掘り下げ状態から話題盛り上げ状態への遷移条件は、以下の式のようになる。
Eval(t)[３]≧Th_Eval[３] …（９）
【００９６】
この遷移条件が満たされたということは、上記式（３）に示されるように、エージェントＲと２人のユーザＨ１、Ｈ２のスムーズな会話が確立されたことを示している。
【００９７】
初対面紹介タスク終了条件は、以下の式のようになる。
Eval(t)[４]≧Th_Eval[４] …（１０）
コミュニケーションモード決定部６は、このように、遷移条件が満たされたか否かを判定することにより、コミュニケーションモードを遷移させる。
【００９８】
続いて、インタラクション制御部３の動作について説明する。インタラクション制御部３は、決定されたコミュニケーションモードに対応するＳＩＲＤＢを選択する。そして、インタラクション制御部３は、選択されたＳＩＲＤＢのインタラクションルールに従って、出力部５のインタラクション動作を制御する。
【００９９】
挨拶／初対面状態に対応するＳＩＲＤＢでは、エージェントＲとユーザＨ１、エージェントＲとユーザＨ２のスムーズな会話の発生を目指してエージェントＲが各種インタラクション動作を行うようなインタラクションルールが定められている。より具体的には、このインタラクションルールは、エージェントＲが、自発的にユーザＨ１、Ｈ２に話しかけるなどの発話誘導などを行い、会話リズムを生成させるように定められている。エージェントＲがこのような行動をとることより、エージェントＲとユーザＨ１、エージェントＲとユーザＨ２における１対１の引込現象が発現しやすくなり、コミュニケーションモードを話題提供状態に遷移させやすくなる。
【０１００】
話題提供状態に対応するＳＩＲＤＢでは、エージェントＲが、ユーザＨ１の情報をユーザＨ２に与えるとともに、ユーザＨ２の情報をユーザＨ１に伝えるように、インタラクションルールが定められている。さらに、このＳＩＲＤＢでは、同じ話題について両者に意見を述べさせたり、エージェントＲに視線誘導を行わせたりして、向かい合って対話させるように誘導するようなインタラクションルールが定められている。この誘導により、初対面のユーザ間で起こる「会話のきっかけが無くコミュニケーションが滞る問題」を解決することができるようになり、コミュニケーションモードを話題掘り下げ状態に遷移させやすくなる。
【０１０１】
話題掘り下げ状態に対応するＳＩＲＤＢでは、エージェントＲが質問を投げかけてユーザＨ１、Ｈ２が対話している話題内容に参入するようなインタラクションルールが定められている。エージェントＲがこのような行動をとることより、コミュニケーションモードを、話題盛り上げ状態に遷移させやすくなる。
【０１０２】
話題盛り上げ状態では、エージェントＲが、適当に頷いたり、相槌を打ったりするように、聞き役としてその場に同調するようなインタラクションルールが定められている。これにより、すでに話題が盛り上がっている状態の両者に対し、エージェントＲが過度に干渉しないような配慮がなされている。
【０１０３】
図１１には、インタラクションルールの基本例が示されている。図１１に示されるインタラクションルールは、以下の３つのルールで構成されている。
・［Ｒｕｌｅ１］頷き同調ルール：相手が頷けば即応的に頷く。
・［Ｒｕｌｅ２］発話タイミングルール：無音区間が一定時間（０．４５秒）以上続き、最後の音声データが、文末として判断されるならば発話する。
・［Ｒｕｌｅ３］相手の発話に応じた頷き・発話タイミングルール：
「無音区間が一定時間（０．４５秒）以上続き，文末ではない場合に２０％の確率で頷く」または「無音区間が一定時間（０．４５秒）以上続き，文末ではない場合でも８０％の確率で発話する」。
ここで、文末であるか否かの判断は、最後の音声データに対して形態素解析を実行し、助詞、終助詞など、文末によく現れる品詞であるか否かを検出することより行うことが可能である。
【０１０４】
出力部５のエージェントＲは、ロボットアクションコマンドが入力されなかった場合には、図１２（Ａ）に示されるニュートラルポジションとなっている。インタラクション制御部３からロボットアクションコマンドが出力されると、エージェントＲは、図１２（Ｂ）〜図１２（Ｄ）に示されるような発話、頷き、ジェスチャのいずれかのインタラクション動作を行う。
【０１０５】
図１３（Ａ）〜図１３（Ｅ）には、頷きの有無と、発話量と、視線一致度と、コミュニケーション同調度合と、コミュニケーションモードの時間変化の様子が示されている。図１３（Ｅ）の（１）〜（４）は、それぞれ、挨拶／初対面状態、話題提供状態、話題掘り下げ状態、話題盛り上げ状態を示している。図１３（Ａ）〜図１３（Ｅ）に総合的に示されるように、時間が経過するにつれて、頷きの回数が増えていき、発話パワーが大きくなり、視線が一致する頻度が増えている。また、それらが増加するにつれてコミュニケーション同調度合が次第に大きくなっている。これにより、コミュニケーションモードが、挨拶／初対面状態→話題提供状態→話題掘り下げ状態→話題盛り上げ状態と遷移している。
【０１０６】
以上述べたように、本実施例に係るロボットシステム１０１では、コミュニケーションリズムに基づいてコミュニケーション同調度合が算出され、コミュニケーション同調度合に応じてコミュニケーションモードを遷移させるので、初対面である２人のユーザＨ１、Ｈ２のコミュニケーションをより活性化することができる。
【０１０７】
（第２の実施例）
次に、本発明の第２の実施例について説明する。本実施例は、上記第３の実施形態に係るロボットシステム１０２に対応するものである。
【０１０８】
本実施例でも、上記第１の実施例と同様に、図９（Ａ）、図９（Ｂ）について示されるコミュニケーション場に適用される。
【０１０９】
上記第３の実施形態で説明したように、ロボットシステム１０２を構成するユーザ内部状態推定部７は、コミュニケーションリズムに基づいて、ユーザＨ１、Ｈ２の内部状態を推定する。本実施例では、ユーザ内部状態推定部７は、ユーザＨ１、Ｈ２の内部状態として、すなわち緊張状態（緊張しているか、リラックスしているかの状態）や快状態（快であるか不快であるかの状態）を推定する。コミュニケーションリズム、すなわちユーザＨ１、Ｈ２の視線、瞬き、表情に関するセンシングデータには、センシングエラーが確率的に含まれるのが一般的である。このことから、ユーザＨ１、Ｈ２の内部状態の推定には、図１４（Ａ）に示されるようなダイナミックベイジアンネットワークによるユーザの内面状態の確率的状態遷移モデルが用いられる。
【０１１０】
まず、緊張状態の推定方法について説明する。一般的に、視線一致の頻度が少なく、かつ、瞬きの頻度が増えれば、ユーザＨ１、Ｈ２の緊張状態は、時間の経過とともに上昇していくものと推定される。そこで、本実施例では、ユーザ内部状態推定部７は、視線一致が検出される検出確率ｐ１（視線一致ありの検出確率ｐ１、視線一致なしの検出確率１−ｐ１）と、瞬きの回数がある閾値以上であるか否かの検出確率ｐ２（瞬きありの検出確率ｐ２、瞬きなしの検出確率１−ｐ２）とに基づいて、ユーザの緊張状態（緊張度ｑ１、リラックス度ｑ２）の時間変化を、所定の時間間隔（…、ｔ−１、ｔ、…）で算出する。
【０１１１】
次に、快状態の推定方法について説明する。ユーザ内部状態推定部７は、快状態を、瞬きの回数がある閾値以上であるか否かの検出確率ｐ２（瞬きありの検出確率ｐ２、瞬きなしの検出確率１−ｐ２）と、表情変化を示す特徴量とに基づいて推定する。ここで、表情変化を示す特徴量としては、図１４（Ｂ）に示されるようなＦＡＣＳ（顔表情符号化システム）モデルに基づく眉、目、口の位置関係から算出される特徴量Ｆ１〜Ｆ６が用いられる。本実施例では、カメラ３３、３４の撮像結果から距離Ｆ１〜Ｆ６が得られている。例えば、人間が笑う場合には、目・口間の距離Ｆ１が短くなると考えられる。ここでは、例えば、この目・口間の距離Ｆ１が閾値Ｔｈ以下である検出確率ｐ３と、距離Ｆ１が閾値Ｔｈより大きくなる検出確率１−ｐ３とが求められるものとする。
【０１１２】
ユーザ内部状態推定部７は、瞬きありであるとする検出確率（ｐ２、１−ｐ２）と、表情の特徴量の検出確率（ｐ３、１−ｐ３）との結合確率に基づいて、情動認識の学習を行い、快状態（快状態度ｑ３、不快状態度ｑ４）の時間変化を、所定の時間間隔（…、ｔ−１、ｔ、…）で算出する。
【０１１３】
なお、視線一致の検出確率ｐ１は、次の第４の実施例における発話マインドの推定において、ユーザの内部状態を示す指標として用いられる。
【０１１４】
また、本実施例では、インタラクション制御部３によって参照されるルールとして、図１１に示されるようなインタラクションルールに加え、エージェントＲが２人のユーザＨ１、Ｈ２のいずれかに発話する際に、ユーザ内部状態推定部７から出力される快度合の低いユーザに対して発話するというルールが加えられる。なお、このルールでは、ユーザＨ１、Ｈ２の快度合が同値であった場合は、インタラクション制御部３は、エージェントＲが緊張度合の低いユーザに対して発話するように、出力部５を制御する。ユーザＨ１、Ｈ２の快度合が同値であり、かつ、ユーザＨ１、Ｈ２の緊張度合も同値であれば、エージェントＲがどちらのユーザに発話するかは、ランダムに決定されるようにすればよい。
【０１１５】
このように、本実施例では、緊張状態および快状態といったユーザＨ１、Ｈ２の内面状態を考慮してインタラクション動作が行われるので、その動作は、ユーザＨ１、Ｈ２の内部状態に応じて動的に調整されるようになる。初対面であるユーザＨ１、Ｈ２のコミュニケーションをより活性化させることができる。
【０１１６】
（第３の実施例）
次に、本発明の第３の実施例について説明する。本実施例は、上記第４の実施形態に係るロボットシステム１０３に対応するものである。
【０１１７】
本実施例でも、上記第１の実施例と同様に、図９（Ａ）、図９（Ｂ）について示されるコミュニケーション場に適用される。
【０１１８】
発話マインド推定部８は、ユーザ内部状態推定部７によって推定されたユーザＨ１、Ｈ２の緊張状態及び快状態（図１４（Ａ）に示されるモデルで推定された内部状態）に基づいて、発話マインドを推定する。
【０１１９】
例えば、ユーザＨ１、Ｈ２がエージェントＲに対して視線を向けている場合には、ｐ１の確率で発話マインドありとする。また、ユーザの緊張度合がある閾値以上の場合には、ｑ１の確率で発話マインドありとする。さらに、ユーザの快度合がある閾値以上の場合に、はｑ３の確率で発話マインドありとする。最終的な発話マインドは、これらの確率の結合確率となる。発話マインド推定部８は、インタラクション制御部３に推定された発話マインドを出力する。
【０１２０】
また、本実施例では、インタラクション制御部３によって参照されるルールとして、図１１に示されるようなインタラクションルールに加え、エージェントＲが２人のユーザＨ１、Ｈ２のどちらかに発話する際、発話マインド推定部８から出力される発話マインドのあるユーザに対して発話するというルールが加えられる。なお、このルールでは、ユーザＨ１、Ｈ２とも発話マインドがあるか、両者とも発話マインドがない場合であれば、エージェントＲがどちらのユーザＨ１、Ｈ２に発話するかはランダムに決定するようにすればよい。
【０１２１】
このように、本実施例では、ユーザが発話しようとする意思を考慮してエージェントＲがユーザＨ１、Ｈ２に発話を行う。このため、ユーザＨ１、Ｈ２の感じる負荷をより少なくし、初対面であるユーザＨ１、Ｈ２のコミュニケーションをより活性化させることができる。
【０１２２】
（第４の実施例）
次に、本発明の第４の実施例について説明する。本実施例に係るロボットシステムは、上記第５の実施形態に係るロボットシステム１０４に対応するものである。
【０１２３】
本実施例でも、上記第１の実施例と同様に、図９（Ａ）、図９（Ｂ）について示されるコミュニケーション場に適用される。
【０１２４】
ユーザ間情報推定部９は、推定されたユーザＨ１、Ｈ２の緊張度合および快度合に基づいてユーザ間情報を推定する。本実施例では、ユーザＨ１、Ｈ２の緊張度合がともにある閾値以下であり、かつ、ユーザＨ１、Ｈ２の快度合がともにある閾値以上である場合、ユーザの関係は親和的関係であるとし、この場合以外では非親和的関係であるとする。ユーザ間情報推定部９は、このユーザ間情報を、インタラクション制御部３に出力する。この他、ユーザ間情報推定部９は、複数のユーザ間の総コミュニケーション時間などを用いて、ユーザ間情報を定義するようにしてもよい。
【０１２５】
インタラクション制御部３は、このユーザ情報を考慮して、出力部５を制御する。例えば、本実施例に係るロボットシステムが、上記第２の実施形態に係るロボットシステム１０１と同様に、コミュニケーションモードを有している場合において、コミュニケーションモードが話題提供状態から話題掘り下げ状態に遷移する際に、ユーザ間情報推定部９から出力されたユーザ間情報が親和的関係であれば、コミュニケーションモード決定部６に、話題掘り下げ状態ではなく話題盛り上げ状態へある一定の確率で遷移させ、話題盛り上げ状態に遷移した場合には、話題盛り上げ状態に対応するインタラクションルールに従って、出力部５を制御するようにしてもよい。
【０１２６】
このように、本実施例では、ユーザ間の関係が”親和的”であれば、エージェントＲがユーザＨ１、Ｈ２のコミュニケーションに水を差すような介入をするのを避けることができるため、より効率的にコミュニケーションを活性化させることができる。
【０１２７】
（第５の実施例）
次に、本発明の第５の実施例について説明する。本実施例は、上記第６の実施形態に係るロボットシステム１０５を基本とし、それらの構成に加え、上記第５の実施形態に係るロボットシステム１０４の構成要素であるユーザ内部状態推定部７とユーザ間情報推定部９とをさらに備えている。すなわち、本実施例のロボットシステムは、ロボットシステム１０４、１０５を組み合わせた構成となっている。
【０１２８】
本実施例でも、上記第１の実施例と同様に、図９（Ａ）、図９（Ｂ）について示されるコミュニケーション場に適用される。
【０１２９】
ＥＳＤＢ１１には、エピソード蓄積部１０により、例えば、図１５に示されるような情報が時系列（０、１、２、…）で蓄えられている。「ユーザ状態」は、時刻ｔ−ｂにおけるユーザ内部状態（緊張度合（高、中、低））を示している。「ユーザ間情報」は、時刻ｔ−ｂにおけるユーザ間の関係性（非親和的関係、親和的関係）を示している。「Ｒのアクション」は、時刻ｔにおけるエージェントＲのアクションの種別（Ｈ１に視線を向ける、Ｈ１に氏名を質問する、Ｈ１、Ｈ２に相槌を打つ、ｅｔｃ）である。「評価」は、時刻ｔ−ｂのユーザＨ１、Ｈ２の緊張度合に対する、時刻ｔ＋ａにおけるユーザＨ１、Ｈ２の緊張度合の減少値（緊張度合減少値）のユーザＨ１、Ｈ２の合計値である。
【０１３０】
エピソード学習部１２は、ＥＳＤＢ１１を参照して、ＳＩＲＤＢ４に記憶されたインタラクションルール、すなわち、コミュニケーションリズム及びコミュニケーション同調度合と、それらに基づく制御の下で出力部５によって行われたインタラクション動作との関係を、ユーザＨ１、Ｈ２の緊張度合が減少するように繰り返し変更する。このようにして、エピソード学習部１２は、コミュニケーションリズム及びコミュニケーション同調度合と、インタラクション動作との最適な関係を学習する。これにより、ＥＳＤＢ１１に記憶されたインタラクションルールが、コミュニケーション同調度合を効率良く高める方向に調整される。
【０１３１】
なお、この学習の際、エピソード学習部１２は、コミュニケーション同調度合算出部２から出力されたコミュニケーション同調度合に基づいて学習ルールを変更するようにしてもよい。例えば、コミュニケーション同調度合が一定期間以上ある閾値よりも低ければ、最適化の収束の高速化（学習の高速化）を目指し、学習の際に用いられるユーザの緊張度合およびユーザ間情報といったパラメータを一定個数減らすようにすることができる。
【０１３２】
（第６の実施例）
次に、本発明の第６の実施例について説明する。本実施例は、上記第７の実施形態に係るロボットシステム１０６に対応するものである。
【０１３３】
本実施例でも、上記第１の実施例と同様に、図９（Ａ）、図９（Ｂ）について示されるコミュニケーション場に適用される。
【０１３４】
ＵＰＩＤＢ１３には、ユーザの氏名、出身地、職歴、趣味といった個人情報およびユーザの社会的スキルや心理分析結果といったユーザの能力や性格に関する情報が予め蓄えられている。ＵＰＩＤＢ１３に蓄えられた情報は、インタラクション制御部３によって参照され、インタラクション制御部３がインタラクション動作を決定するために利用される。
【０１３５】
例えば、ユーザＨ１、Ｈ２の趣味に関してエージェントＲが質問するといった場合に、ユーザＨ１、Ｈ２のユーザパーソナリティ情報に彼らの趣味の情報が含まれていれば、それらの内容が、発話に反映される。
【０１３６】
また、ユーザの個人情報は、エージェントＲのユーザＨ１、Ｈ２への言葉遣いを決定する際にも参酌される。言葉遣いの社会的スキルの評価指標の１つにＪＩＣＳがある。例えばＪＩＣＳの中で、関係調整（上下関係管理）に関するユーザの社会的スキルを用いることでロボットの言葉遣いを調整することができる。
【０１３７】
例えば、アンケート調査などの結果により、コミュニケーションに参加するユーザの関係調整の度合が既知であるものとし、その度合が、予め、ＵＰＩＤＢ１３へ蓄えられているものとする。関係調整の度合がある閾値よりも高いユーザは、人間の上下関係に関して意識していると推定することができる。このため、このようなユーザに対しては、インタラクション制御部３は、エージェントＲに、発話する場合に敬語を使用させる。一方、関係調整の度合がある閾値よりも低いユーザは、人間の上下関係に関してあまり意識していないと推定することができるため、このようなユーザに対しては、インタラクション制御部３は、エージェントＲに、発話する場合に敬語を使用しないようにさせる。
【０１３８】
このようにすれば、エージェントＲとユーザＨ１、Ｈ２との親和性をより高めることができる。
【０１３９】
また、このような社会的スキルの評価指標の他にも、交流分析における人格に関する理論などを用いて推定されたユーザの性格に関する情報をＵＰＩＤＢ１３に格納して、エージェントＲのユーザＨ１、Ｈ２に対する発話内容の調整に用いることができる。
【０１４０】
このような理論では、例えば、人間の性格（人格）が、批判的な親心と、養育的親心と、合理的な大人の心と、無邪気な子供の心と、順応した子供の心との５つに大別されている。この理論では、人格に関するアンケート調査を行えば、５つの人格の中で、どれがその人の中で優位であるかというような傾向を解析することができ、この解析結果に基づいて、その人の人格をある程度推定することができる。
【０１４１】
例えば、あるユーザに対するアンケート調査の結果、批判的な親心と、順応した子供の心が、他の３つの心の構造に比べ優位であれば、そのユーザの性格は、理屈好きなタイプであると推定される。この場合、このタイプに属するユーザに対する発話内容は、理屈を重視すべきであると考えられる。したがって、このタイプに属するユーザに対しては、エージェントＲは、理由をつけてユーザに動作を促すような対話戦略をとるようにする。このようにすれば会話がスムーズに進むようになる。
【０１４２】
なお、上記第５の実施例にもあるように、ロボットシステムとして、上記各実施形態に係るロボットシステムを組み合わせたものを採用することができる。例えば、コミュニケーションモード、ユーザの内部状態、発話マインド、ユーザ間情報のうちの少なくとも一部の組み合わせについてＳＩＲＤＢを用意し、その組み合わせ毎にインタラクションルールを用意するようにしてもよい。また、それらの組み合わせに応じてＳＩＲＤＢを複数備えるシステムにおいて、エピソード学習を行うようにしてもよいし、ユーザの個人情報に基づいて、インタラクション動作を変更するようにしてもよい。
【０１４３】
また、上記各実施例では、ＣＧモデルのエージェントＲにインタラクション動作を行わせたが、出力部５として、各種アクチュエータを備え、ロボットの表情、腕、手、足、体を動かすことができる人型のロボットを用いるようにしてもよい。この場合でも、出力部５では、ロボットの表情を変化させたり、腕、手、足、体が動かしたりして、ロボットの喜怒哀楽といった感情や注意対象をユーザに対して効果的に伝達することができる。
【０１４４】
この場合、出力部５は、目が点滅する、瞬きする、腕を振る、首を振る、ボディを伸縮する、ボディを振動する、鼓動音を出すといったインタラクション動作を行うようにしてもよい。また、出力部５は、涙を流す、ユーザの足元に擦り寄る、ユーザに近づく、ジャンプするといったインタラクション動作を実行するようにしてもよい。さらに、注意対象の伝達方法として、出力部５は、注意対象を注視する、注意対象を指差しする、注意対象に近づくといったインタラクション動作を行うようにしてもよい。
【０１４５】
このように、ロボットシステムは、物理的に実体を持っていても良いし、上記各実施例のように、プロジェクタの投影画面やディスプレイに表示される、実体を持たないエージェント型であってもよいし、画面に文字を表示したり、音声を発したりするだけのものであってもよい。要は、ロボットシステムは、発話、身体動作、文字表示の少なくとも一つを含む動作を行えるものであればよい。
【０１４６】
また、コミュニケーション場認識部１、コミュニケーション同調度合２、インタラクション制御部３など、各ロボットシステムの構成要素を、ハードウエアのみ実現するようにしてもよいが、これらは、ソフトウエアプログラムとハードウエアとの協調動作で実現されるのが一般的である。ソフトウエアプログラムとハードウエアとの協調動作の場合には、ロボットシステム内に設けられたＣＰＵが、同システム内のＲＯＭ等の記憶装置に格納されたソフトウエアプログラムを実行することにより、各部の機能を実現する。
【０１４７】
この場合、ロボットシステムとしては、汎用のコンピュータを用いることが可能である。この場合、コンピュータの記憶装置に格納されるソフトウエアプログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical disc）、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に格納して配布され、ロボットシステムにインストールされるようになっていてもよい。また、インターネット等の通信ネットワーク上のサーバ装置に格納された当該プログラムを、当該コンピュータにダウンロードして、ロボットシステムにインストールされるようになっていてもよい。
【図面の簡単な説明】
【０１４８】
【図１】本発明の第１の実施形態に係るロボットシステムの基本的な構成を示すブロック図である。
【図２】図１のロボットシステムの動作を示すフローチャートである。
【図３】本発明の第２の実施形態に係るロボットシステムの基本的な構成を示すブロック図である。
【図４】本発明の第３の実施形態に係るロボットシステムの基本的な構成を示すブロック図である。
【図５】本発明の第４の実施形態に係るロボットシステムの基本的な構成を示すブロック図である。
【図６】本発明の第５の実施形態に係るロボットシステムの基本的な構成を示すブロック図である。
【図７】本発明の第６の実施形態に係るロボットシステムの基本的な構成を示すブロック図である。
【図８】本発明の第７の実施形態に係るロボットシステムの基本的な構成を示すブロック図である。
【図９】図９（Ａ）は、コミュニケーション場の一例を示す図であり、図９（Ｂ）は、エージェントの一例を示す図である。
【図１０】コミュニケーションモードの遷移図である。
【図１１】インタラクションルールの一例を示す図である。
【図１２】図１２（Ａ）は、エージェントのニュートラルポジションを示す図であり、図１２（Ｂ）は、発話動作を示す図であり、図１２（Ｃ）は、頷き動作を示す図であり、図１２（Ｄ）は、ジェスチャ動作を示す図である。
【図１３】図１３（Ａ）は、頷きの有無の時間変化を示すグラフであり、図１３（Ｂ）は、発話量の時間変化を示すグラフであり、図１３（Ｃ）は、視線の一致の時間変化を示すグラフであり、図１３（Ｄ）は、コミュニケーション同調度合の時間変化を示すグラフであり、図１３（Ｅ）は、コミュニケーションモードの時間変化を示す図である。
【図１４】図１４（Ａ）は、ユーザの内面状態を示す確率的状態遷移モデルの一例を示す図であり、図１４（Ｂ）は、ＦＡＣＳモデルに基づく眉、目、口の位置関係から算出される特徴量を説明するための図である。
【図１５】エピソード記憶データベースに記憶される情報の一例を示す図である。
【符号の説明】
【０１４９】
１ コミュニケーション場認識部
２ コミュニケーション同調度合算出部
３ インタラクション制御部
４、４１、４２、４３ ソーシャルインタラクションルールデータベース（ＳＩＲＤＢ）
５ 出力部
６ コミュニケーションモード決定部
７ ユーザ内部状態推定部
８ 発話マインド推定部
９ ユーザ間情報推定部
１０ エピソード蓄積部
１１ エピソード記憶データベース（ＥＳＤＢ）
１２ エピソード学習部
１３ ユーザパーソナリティ情報データベース（ＵＰＩＤＢ）
３０ テーブル
３１ マイク
３２ 加速度センサ
３３、３４ カメラ
１００、１０１、１０２、１０３、１０４、１０５、１０６ ロボットシステム
Ｈ１、Ｈ２ ユーザ
Ｒ エージェント
【技術分野】
【０００１】
本発明は、人間とコミュニケーションを図るロボットシステム、そのロボットシステムを用いたコミュニケーション活性化方法、及びそのロボットシステムを制御するコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
一般に、会話によるコミュニケーションを自然なものとするためには、音声情報（バーバル情報）に加え、相手の視線、ジェスチャ、頷き動作をはじめとする音声以外の情報（ノンバーバル情報）が必要となる。発話に関するリズム、タイミング、配分、強弱などのバーバル情報と、相手の視線、呼吸、心拍、ジェスチャ、動作、頷き、相槌、瞬きなどのノンバーバル情報とを、両者が五感で感じとり、それに反応して自らの動作のリズム、タイミング、配分、強弱を調整することにより、お互いの身体リズム（コミュニケーションリズム）を共有してはじめて、コミュニケーションを自然なものとすることができる。
【０００３】
このような相手のバーバル情報及びノンバーバル情報を五感で感じとり、それらの反応に応答する行動をとることをインタラクション行動という。このインタラクション行動により、コミュニケーションリズムを共有することを、コミュニケーション同調という。また、コミュニケーション同調により会話に引き込まれていく現象を、引込現象という。
【０００４】
近年、人間との間で、会話などのコミュニケーションを図ることができるロボットシステムが登場している。人間とロボットシステムとの間のコミュニケーションにおいても、この引込現象を発現させることが、そのコミュニケーションを活性化させるための重要なポイントとなる。このような背景から、ロボットとユーザとのコミュニケーションや、ロボットを介在させたユーザ間のコミュニケーションにおいて、引込現象の発現につながる種々の技術が、開示されている（例えば、特許文献１〜６参照）。
【０００５】
特許文献１に記載の身体性メディア通信システムは、時間的または空間的に隔てられた通信相手との親密なコミュニケーションを実現するために、それぞれの通信端末の画面上に両者の疑似人格ロボットを表示させる。疑似人格ロボットは、両者の音声情報や特定動作情報に基づいて動作する。これにより、空間を共有する感覚を両者に与えることができるようになる。
【０００６】
特許文献２に記載の身体的引き込み方法及びシステムは、話し手と聞き手の間において、話し手または聞き手に視線の切り替えを要求することなく、それぞれの触覚を介してノンバーバル情報を同時に与える。これにより、お互いのコミュニケーションリズムを共有することができるようになる。また、特許文献３では、上記特許文献２に開示された身体的引き込み方法及びシステムを、プレゼンテーションなどの聞き手が不特定多数である場合に適用したものが開示されている。
【０００７】
特許文献４に記載の自動応答玩具は、ユーザの音声の大きさや、ユーザの顔の動きの大きさ、ユーザの頷きのタイミング等の外部からの刺激に基づいて玩具の感情を決定する。例えば、この玩具は、ユーザの頷きのタイミングが検出された回数が多ければ、話が弾んでいると解釈し、そのときの感情を「幸福」とする。この玩具は、決定された感情に応じた応答動作（インタラクション行動）を行う。
【０００８】
特許文献５に記載の意思伝達装置は、音声送受信部と、共用ロボットと、聞き手制御部及び話し手制御部とから構成されている。音声送受信部は、会話等の音声信号を送受信し、共用ロボットは、この音声信号に応答して頭の頷き動作、口の開閉動作、目の瞬き動作、又は身体の身振り動作の挙動をする。聞き手制御部は、送信部を通じて送信される音声信号から聞き手としての共用ロボットの挙動を決定してこの共用ロボットを作動させる。そして、話し手制御部は、受信部で受信した音声信号から話し手としての共用ロボットの挙動を決定してこの共用ロボットを作動させる。
【０００９】
特許文献６に記載のリズム制御対話装置は、データ入力手段からの音声信号・身振りの時刻情報を含む複数の入力データを認識する複数チャネルの認識手段と、時刻情報を出力する時刻付与手段と、認識手段から出力される認識結果を処理してユーザの対話のリズムを検出するリズム検出手段と、リズムの覆歴を格納する覆歴格納手段と、リズム検出手段により認識されたリズムに基づいて対話を進める対話管理手段と、出力データを出力する出力手段から構成されている。応答内容は、出力手段によりユーザに伝えられる。
【００１０】
【特許文献１】特開２００３−１０８５０２号公報
【特許文献２】特開２００５−２５１１３３号公報
【特許文献３】特開２００５−２５０４２１号公報
【特許文献４】特開２００２−２３９２５６号公報
【特許文献５】特開２０００−３４９９２０号公報
【特許文献６】特開平１０−１１１７８６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上記６つの技術はいずれも、コミュニケーションをする相手のバーバル情報及びノンバーバル情報を検出し（例えば、ユーザもロボットも音声を発しない無音区間などを検出し）、検出された情報に基づいてロボットにインタラクション行動（インタラクション動作）を行わせることにより、ユーザとロボットとの間でコミュニケーションリズムを共有させて、引込現象を発現させることを期待するものである。
【００１２】
コミュニケーションの取り方は、個人個人によって様々であるが、どのような人でも、相手との同調度合に応じてコミュニケーションの取り方を微妙に変えていくのが一般的である。したがって、引込現象の発現確率を高めるには、コミュニケーションの発展段階に応じて、インタラクション動作を変更する動的な誘発戦略が必要となる。しかしながら、上記６つの技術では、そのような動的な誘発戦略の下でコミュニケーションを行うのは困難である。
【００１３】
本発明は、上記事情に鑑みてなされたもので、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができるロボットシステム、コミュニケーション活性化方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の第１の観点に係るロボットシステムは、
複数人のユーザに対するインタラクション動作を行う出力部と、
前記複数人のユーザ各々のバーバル情報及びノンバーバル情報に基づいて、そのユーザのコミュニケーションリズムを認識する認識部と、
前記コミュニケーションリズムに基づいて、前記ユーザ間の同調度合を算出する同調度合算出部と、
前記コミュニケーションリズム及び前記同調度合に応じて前記出力部が前記ユーザに対して行うべきインタラクション動作に関して、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下で構築されたルールを記憶するルールデータベースと、
前記ルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御するインタラクション制御部と、を備える。
【００１５】
本発明の第２の観点に係るコミュニケーション活性化方法は、
複数人のユーザに対するインタラクション動作を行う出力部を備えるロボットシステムを用いたコミュニケーション活性化方法であって、
前記複数人のユーザ各々のバーバル情報及びノンバーバル情報に基づいて、そのユーザのコミュニケーションリズムを認識する第１の工程と、
前記コミュニケーションリズムに基づいて前記ユーザ間の同調度合を算出する第２の工程と、
前記コミュニケーションリズム及び前記同調度合に応じて前記出力部が前記ユーザに対して行うべきインタラクション動作に関して、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下で構築されたルールを記憶するルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御する第３の工程と、を含む。
【００１６】
本発明の第３の観点に係るプログラムは、
複数人のユーザに対するインタラクション動作を行う出力部を備えるロボットシステムを制御するコンピュータに、
前記複数人のユーザ各々のバーバル情報及びノンバーバル情報に基づいて、そのユーザのコミュニケーションリズムを認識する第１の手順と、
前記コミュニケーションリズムに基づいて前記ユーザ間の同調度合を算出する第２の手順と、
前記コミュニケーションリズム及び前記同調度合に応じて前記出力部が前記ユーザに対して行うべきインタラクション動作に関して、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下で構築されたルールを記憶するルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御する第３の手順と、を実行させる。
【発明の効果】
【００１７】
本発明によれば、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【発明を実施するための最良の形態】
【００１８】
本発明を実施するための最良の形態について図面を参照して詳細に説明する。以下に示す本発明の各実施形態に係るロボットシステムは、複数人のユーザのコミュニケーションリズムを認識し、複数人のユーザに対するインタラクション動作を行うことにより、ロボットとユーザとのコミュニケーション同調を実現し、引込現象を誘発させるものである。
【００１９】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。図１には、本実施形態に係るロボットシステム１００の概略的な構成が示されている。図１に示されるように、ロボットシステム１００は、コミュニケーション場認識部１と、コミュニケーション同調度合算出部２と、インタラクション制御部３と、ソーシャルインタラクションルールデータベース（以下、「ＳＩＲＤＢ」と略述する）４と、出力部５と、を備えている。
【００２０】
コミュニケーション場認識部１は、不図示のマイク、カメラ、生体センサなどの各種センサを有している。マイクは、ロボットシステム１００のコミュニケーション相手となるユーザの音声を入力する。カメラは、そのユーザを撮像する。生体センサは、そのユーザの脈拍などの生体情報を検出する。
【００２１】
コミュニケーション場認識部１は、これらのセンサから得られた音声情報、画像情報、生体情報、すなわちバーバル情報及びノンバーバル情報に基づいて、ユーザの発話パワーやその周期などの発話データ、ユーザのジェスチャ・動作・頷き・相槌といった身体動作データや、ユーザの視線・呼吸・心拍・瞬きといった生体センシングデータなどを認識する。これら発話データ、身体動作データ、生体センシングデータなどを、コミュニケーションリズム（モーダル情報）という。認識されたコミュニケーションリズムは、コミュニケーション同調度合算出部２に出力される。
【００２２】
コミュニケーション同調度合算出部２は、コミュニケーション場認識部１から出力されたコミュニケーションリズム（複数のモーダル情報）に基づいて、コミュニケーション同調度合を算出する。コミュニケーション同調度合は、ユーザとのコミュニケーションリズムの共有状態の高さを示す指標値であり、この値が大きければ大きいほど、ユーザに引込現象が発現しやすくなる。コミュニケーション同調度合は、例えば、ユーザの発話パワーの平均値と、ユーザの視線のやりとりの回数、頷き回数等の線形加重和、すなわち各種コミュニケーションリズムの線形加重和とすることができる。算出されたコミュニケーション同調度合は、インタラクション制御部３に出力される。
【００２３】
インタラクション制御部３には、コミュニケーション同調度合算出部２から算出されたコミュニケーションリズムの他に、コミュニケーション場認識部１から出力されたコミュニケーションリズムも入力されている。インタラクション制御部３は、入力されたコミュニケーションリズムとコミュニケーション同調度合とに基づいて、ＳＩＲＤＢ４を参照する。
【００２４】
ＳＩＲＤＢ４には、コミュニケーションリズムとコミュニケーション同調度合とに応じて、後述する出力部５がユーザに対して行うべきインタラクション行動に関するルール（インタラクションルール）が蓄積されている。インタラクションルールは、通常、人間同士のコミュニケーションにおいて、人間が感じ取るバーバル情報及びノンバーバル情報に対して人間がとる行動と同じ行動を、可能な限りとるように構築されている。より具体的には、このインタラクションルールは、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下に構築されている。このインタラクションルールによれば、コミュニケーション同調度合が低い状態と高い状態とでは、コミュニケーションリズムが同じであっても、インタラクション動作が異なるようになる。
【００２５】
インタラクション制御部３は、このインタラクションルールにしたがって、入力されたコミュニケーションリズムとコミュニケーション同調度合とに基づいて、ユーザに対して行うべき動作に対応する動作指令であるロボットアクションコマンドを決定する。決定されたロボットアクションコマンドは、出力部５に出力される。
【００２６】
出力部５は、ディスプレイ又は人型のロボット本体である。ディスプレイである場合には、その画像にＣＧ（コンピュータグラフィックス）により作成された人物像（エージェント）が表示されたものを採用することができる。エージェント又は人型のロボットは、実際の人間を模して、顔、手、胴体などを有しており、それらを動かせるようになっている。また、その顔では、目、鼻、口などを動かせるようになっている。出力部５は、顔、手、胴体、さらには、目、鼻、口などを動かすことにより、ロボットアクション（インタラクション動作）を実現する。このようなインタラクション動作には、例えば、視線の変更・呼吸・心拍・瞬き・ジェスチャ・動作・頷き・相槌がある。
【００２７】
また、出力部５は、ロボットの音声を出力するためのスピーカ（不図示）も有しており、表示された口を動かしつつ、スピーカから音声を出力することにより、発話が可能となっている。このように、出力部５は、人間の動作に近い各種動作を行うことができるようになっているのが望ましい。
【００２８】
出力部５は、インタラクション制御部３の制御の下、入力されたロボットアクションコマンドに従ってインタラクション動作を実際に行う。
【００２９】
ロボットシステム１００は、図２のコミュニケーション処理に示されるように、コミュニケーション場認識部１によるコミュニケーションリズムの認識処理（ステップＳ１０）→コミュニケーション同調度合算出部２によるコミュニケーション同調度合の算出（ステップＳ１２）→インタラクション制御部３によるロボットアクションコマンドの決定（ステップＳ１４）→出力部５によるインタラクション動作（ステップＳ１６）を、この順に行う。
【００３０】
ユーザは、このロボットアクションを見ながら、さらに、ロボットシステム１００に対して発話やジェスチャなどのコミュニケーションを継続する。これに対し、ロボットシステム１００は、コミュニケーション場認識部１におけるコミュニケーションリズムの認識（ステップＳ１０）、コミュニケーション同調度合算出部２におけるコミュニケーション同調度合の算出（ステップＳ１２）、インタラクション制御部３におけるロボットアクションコマンドの決定（ステップＳ１４）、出力部５におけるインタラクション動作（ステップＳ１６）を繰り返す。ユーザは、このインタラクション動作を見ながら、さらに、ロボットシステム１００に対して発話やジェスチャなどのコミュニケーションを継続する。
【００３１】
ユーザと、ロボットシステム１００とは、このような動作を繰り返しつつ、会話などのコミュニケーションを継続する。
【００３２】
コミュニケーションの継続の結果、ユーザとロボットシステム１００との間で、コミュニケーションリズムが共有されるようになり、コミュニケーション同調度合が高まる。この結果、ユーザに引込現象が誘発される。
【００３３】
このように、本実施形態に係るロボットシステム１００は、バーバル情報及びノンバーバル情報（複数のモーダル情報）に基づいて、コミュニケーションリズムを認識し、そのコミュニケーションリズムに基づいてコミュニケーション同調度合を直接的に求めている。また、このロボットシステム１００では、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略に基づいて構築されたインタラクションルールに従って、コミュニケーション同調度合に基づいてインタラクション動作を行う。このように、ロボットシステム１００は、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下でユーザとコミュニケーションを図ることができるので、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【００３４】
（第２の実施形態）
本発明の第２の実施形態について説明する。図３には、本実施形態に係るロボットシステム１０１の概略的な構成が示されている。図３に示されるように、本実施形態に係るロボットシステム１０１は、コミュニケーションモード決定部６をさらに備えている点と、ＳＩＲＤＢ４の代わりに、複数のＳＩＲＤＢ４１、４２、４３、…を備えている点と、インタラクション制御部３の動作とが、上記第１の実施形態に係るロボットシステム１００と異なっており、その他の点は同じである。そこで、本実施形態では、上記第１の実施形態と重複する構成要素については、図１と同一の符号を付し、詳細な説明を省略する。
【００３５】
コミュニケーションモード決定部６は、コミュニケーション同調度合に基づいて、コミュニケーションモードを決定する。コミュニケーションモードとは、コミュニケーション場の状態を示すものである。コミュニケーションモードは、例えば、初対面状態、話題提供状態、話題盛り上げ状態など、コミュニケーション同調度合が異なる種々のモードを設定することができる。このようなコミュニケーションモードを設定することによって、ロボットシステム１０１は、コミュニケーション同調度合を効率よく高め、引込現象を誘発しやすくするために、インタラクションルールをコミュニケーションモードに応じて変更し、コミュニケーションモードに応じて出力部５の制御状態を計画的に変更するタスクを構築することができる。これにより、引込現象に対する動的な誘発戦略を立てやすくなる。
【００３６】
ＳＩＲＤＢ４１、４２、４３…は、コミュニケーションモードの数だけ用意されており、それぞれが、いずれかのコミュニケーションモードに対応している。
【００３７】
コミュニケーションモード決定部６は、コミュニケーション同調度合算出部２から出力されたコミュニケーション同調度合に基づいて、現在のコミュニケーションモードを決定し、インタラクション制御部３に出力する。インタラクション制御部３は、複数のＳＩＲＤＢ４１、４２、４３…の中から、決定されたコミュニケーションモードに対応するＳＩＲＤＢを選択する。そして、インタラクション制御部３は、選択されたＳＩＲＤＢを参照して、そのＳＩＲＤＢに記憶されたインタラクションルールに従って、コミュニケーション場認識部１から出力されるコミュニケーションリズムと、コミュニケーション同調度合算出部２から出力されるコミュニケーション同調度合とに基づいて、ロボットアクションコマンドを決定する。出力部５は、そのロボットアクションコマンドに従って、そのときのコミュニケーションモードに応じたインタラクション動作を行う。
【００３８】
このように、本実施形態によれば、コミュニケーション場の状態に応じて引込現象の誘発戦略を動的に変更することができるので、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【００３９】
（第３の実施形態）
本発明の第３の実施形態について説明する。図４には、本実施形態に係るロボットシステム１０２の概略的な構成が示されている。ロボットシステム１０２は、ユーザ内部状態推定部７をさらに備える点と、ＳＩＲＤＢ４の代わりに複数のＳＩＲＤＢ４１、４２、４３…を備えている点と、インタラクション制御部３の動作とが、上記第１の実施形態に係るロボットシステム１００と異なっており、その他の点は同じである。したがって、本実施形態では、上記第１の実施形態と重複する構成要素については、図１と同一の符号を付し、詳細な説明を省略する。
【００４０】
図４に示されるように、ユーザ内部状態推定部７は、コミュニケーション場認識部１から出力されたコミュニケーションリズムを入力する。ユーザ内部状態推定部７は、コミュニケーションリズムに基づいて、ユーザの内部状態を推定する。ユーザ内部状態とは、ユーザの緊張状態や快状態といった、ユーザの精神状態のことである。ユーザの内部状態は、例えば、（緊張、快）、（緊張、不快）、（リラックス、快）、（リラックス、不快）などの状態に分けることができる。
【００４１】
ＳＩＲＤＢ４１、４２、４３…は、ユーザの内部状態の数だけ用意されており、それぞれが、いずれかのユーザの内部状態に対応している。例えば、（緊張、快）、（緊張、不快）、（リラックス、快）などのそれぞれの状態についてＳＩＢＤＢを１つずつ用意することができる。
【００４２】
ユーザ内部状態推定部７は、ユーザ内部状態の推定結果をインタラクション制御部３へ出力する。インタラクション制御部３は、複数のＳＩＲＤＢ４１、４２、４３…の中から、ユーザの内部状態に応じたＳＩＲＤＢを選択する。そして、インタラクション制御部３は、選択されたＳＩＲＤＢを参照し、そのインタラクションルールに従って、コミュニケーション場認識部１から出力されるコミュニケーションリズムと、コミュニケーション同調度合算出部２から出力されるコミュニケーション同調度合とに基づいて、ロボットアクションコマンドを決定する。出力部５は、そのロボットアクションコマンドに従って、そのときのユーザの内部状態に応じたインタラクション動作を行う。
【００４３】
このように、本実施形態によれば、ユーザの内部状態に応じて引込現象の誘発戦略を動的に変更することができるので、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【００４４】
（第４の実施形態）
本発明の第４の実施形態について説明する。図５には、本実施形態に係るロボットシステム１０３の概略的な構成が示されている。ロボットシステム１０３は、発話マインド推定部８をさらに備える点と、インタラクション制御部３の動作とが、上記第３の実施形態に係るロボットシステム１０２と異なっており、その他の点は同じである。したがって、本実施形態では、上記第３の実施形態と重複する構成要素については、図４と同一の符号を付し、詳細な説明を省略する。
【００４５】
図５に示されるように、発話マインド推定部８は、ユーザ内部状態推定部７から出力されるユーザの内部状態を入力する。発話マインド推定部８は、このユーザの内部状態に基づいて、ユーザが発話しようとする意思があるかないかを示す指標値（以下、「発話マインド」と呼ぶ）を、推定する。
【００４６】
ＳＩＲＤＢ４１、４２、４３…は、発話マインドが示す値の数だけ用意されており、それぞれが、いずれかの発話マインドの値に対応している。
【００４７】
発話マインド推定部８は、ユーザ内部状態推定部７から出力されたユーザの内部状態に基づいて、発話マインドを推定する。発話マインドは、一般的に、ユーザがロボットシステム１０３（出力部５）に視線を向けて集中しているときや、緊張状態が高いときに、その値が高くなるように設定されている。例えば、発話しようとしていないとみられるときにはその値を０とし、発話しようとしているとみられるときには、その値を１とすることができる。
【００４８】
発話マインドの推定結果は、インタラクション制御部３に出力される。インタラクション制御部３は、複数のＳＩＲＤＢ４１、４２、４３…の中から、ユーザの発話マインドに応じたＳＩＲＤＢを選択する。そして、インタラクション制御部３は、選択されたＳＩＲＤＢを参照し、そのインタラクションルールに従って、コミュニケーション場認識部１から出力されるコミュニケーションリズムと、コミュニケーション同調度合算出部２から出力されるコミュニケーション同調度合とに基づいて、ロボットアクションコマンドを決定する。出力部５は、そのロボットアクションコマンドに従って、そのときの発話マインドに応じたインタラクション動作を行う。
【００４９】
このように、本実施形態によれば、ユーザの発話マインドに応じて引込現象の誘発戦略を動的に変更することができるので、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【００５０】
（第５の実施形態）
本発明の第５の実施形態について説明する。このシステムは、複数のユーザを対象とし、ユーザ間のコミュニケーションの仲立ちをするために特に用いられる。図６には、本実施形態に係るロボットシステム１０４の概略的な構成が示されている。ロボットシステム１０４は、ユーザ間情報推定部９をさらに備える点と、インタラクション制御部３の動作とが、上記第３の実施形態に係るロボットシステム１０２と異なっており、その他の点は同じである。したがって、本実施形態では、上記第３の実施形態と重複する構成要素については、図３と同一の符号を付し、詳細な説明を省略する。
【００５１】
図６に示されるように、ユーザ間情報推定部９は、ユーザ内部状態推定部７から出力されるユーザの内部状態を入力する。ユーザ間情報推定部９は、ユーザの内部状態に基づいて、ユーザ間の社会的関係性を示すユーザ間情報を推定する。このようなユーザ間情報としては、例えば、ユーザ同士が親しい間柄であるか否かを示す指標値がある。例えば、ユーザが非常にリラックスしている場合には、相手が親しい間柄であると判断することができる。
【００５２】
ＳＩＲＤＢ４１、４２、４３…は、ユーザ間情報に応じた数だけ用意されており、それぞれが、いずれかのユーザ間情報の状態に対応している。
【００５３】
ユーザ間情報の推定結果は、インタラクション制御部３に出力される。インタラクション制御部３は、複数のＳＩＲＤＢ４１、４２、４３…の中から、ユーザ間情報に応じたＳＩＲＤＢを選択する。そして、インタラクション制御部３は、選択されたＳＩＲＤＢを参照し、そのインタラクションルールに従って、コミュニケーション場認識部１から出力されるコミュニケーションリズムと、コミュニケーション同調度合算出部２から出力されるコミュニケーション同調度合とに基づいて、インタラクション動作を決定する。出力部５は、そのロボットアクションコマンドに従って、そのときの発話マインドに応じたインタラクション動作を行う。
【００５４】
このように、本実施形態によれば、ユーザ同士の関係に応じて引込現象の誘発戦略を動的に変更することができるので、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【００５５】
（第６の実施形態）
本発明の第６の実施形態について説明する。図７には、本実施形態に係るロボットシステム１０５の概略的な構成が示されている。ロボットシステム１０５は、エピソード蓄積部１０と、エピソード記憶データベース（以下、「ＥＳＤＢ」と略述する）１１と、エピソード学習部１２と、をさらに備える点と、インタラクション制御部３の動作とが、上記第１の実施形態に係るロボットシステム１００と異なっており、その他の点は同じである。したがって、本実施形態では、上記第１の実施形態と重複する構成要素については、図１と同一の符号を付し、詳細な説明を省略する。
【００５６】
図７に示されるように、エピソード蓄積部１０は、コミュニケーション場認識部１から出力されるコミュニケーションリズムと、コミュニケーション同調度合算出部２から出力されるコミュニケーション同調度合と、インタラクション制御部３から出力されるロボットアクションコマンドとを入力する。エピソード蓄積部１０は、コミュニケーションリズムと、コミュニケーション同調度合と、ロボットアクションコマンドとを、ＥＳＤＢ１１に蓄積する。
【００５７】
ＥＳＤＢ１１は、コミュニケーションリズム及びコミュニケーション同調度合と、ロボットアクションコマンドとの関係を記憶するデータベースである。より具体的には、ＥＳＤＢ１１は、コミュニケーションリズム及びコミュニケーション同調度合と、それらに基づいて探索されたロボットアクションコマンドと、を関連付けて記憶する。さらに、ＥＳＤＢ１１は、その動作命令に基づくインタラクション制御部３の下で行われた出力部５のインタラクション動作に対するユーザの反応としてのコミュニケーションリズム及びコミュニケーション同調度合と、を関連付けて記憶する。
【００５８】
例えば、ある時刻ｔ（ｔは、任意の正の実数）におけるインタラクション動作について考える。前提として、ロボットシステム１０５では、時刻ｔにおけるインタラクション動作は、時刻ｔ−ｂ（ｂは、正の実数）におけるコミュニケーションリズム及びコミュニケーション同調度合に基づいて決定されたロボットアクションコマンドによるものであるとする。また、時刻ｔにおけるインタラクション動作に対するユーザの反応は、時刻ｔ＋ａ（ａは、正の実数）におけるコミュニケーション場にて認識されるものであるとする。この場合、ＥＳＤＢ１１には、時刻ｔにおけるロボットアクションコマンドと、時刻ｔ＋ａにおけるコミュニケーションリズム及びコミュニケーション同調度合と、時刻ｔ−ｂにおけるコミュニケーションリズム及びコミュニケーション同調度合とが、関連づけて記憶される。
【００５９】
エピソード学習部１２は、ＥＳＤＢ１１を参照し、ＳＩＲＤＢ４に記憶されたインタラクションルールを調整する。例えば、エピソード学習部１２は、時刻ｔのロボットアクションコマンドに関連づけられた時刻ｔ−ｂにおけるコミュニケーション同調度合に対して、時刻ｔ＋ａにおけるコミュニケーション同調度合が低下している場合には、他のインタラクション動作が決定されるように、ＳＩＲＤＢ４のインタラクションルールを変更する。
【００６０】
エピソード学習部１２は、このように、ＳＩＲＤＢ４のインタラクションルールを繰り返し変更する。この繰り返しの結果、コミュニケーションリズム及びコミュニケーション同調度合と、インタラクション動作との関係が学習され、コミュニケーション同調度合が効率良く高くなるように、ＳＩＲＤＢ４におけるインタラクションルールが最適化される。
【００６１】
なお、ユーザの緊張状態が推定可能であれば、エピソード学習部１２による学習が、ユーザの緊張状態が低下しているか否かを基準として行われるようにしてもよい。
【００６２】
このように、本実施形態によれば、実際のコミュニケーションの実績に基づいてインタラクションルールが最適化され、最適化されたインタラクションルールの下でコミュニケーションが行われる。これにより、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【００６３】
（第７の実施形態）
本発明の第７の実施形態について説明する。図８には、本実施形態に係るロボットシステム１０６の概略的な構成が示されている。ロボットシステム１０６は、ユーザパーソナリティ情報データベース（以下、「ＵＰＩＤＢ」と略述する）１３をさらに備える点と、インタラクション制御部３の動作とが、上記第１の実施形態に係るロボットシステム１００と異なっており、その他の点は同じである。したがって、本実施形態では、上記第１の実施形態と重複する構成要素については、図１と同一の符号を付し、詳細な説明を省略する。
【００６４】
ＵＰＩＤＢ１３には、ユーザの個人情報が蓄えられている。このような情報には、ユーザ個人の氏名、出身地、職歴、趣味といった個人情報や、ユーザの社会的スキルや心理分析結果といったユーザの能力や性格に関する情報などが含まれる。ＵＰＩＤＢ１３に蓄えられた情報は、インタラクション制御部３によって参照され、インタラクション制御部３がインタラクション動作を決定するために用いられる。
【００６５】
ＳＩＲＤＢ４におけるインタラクションルールは、ユーザの個人情報に応じてインタラクション動作が異なるようなルールとなっており、コミュニケーションリズム及びコミュニケーション同調度合が同じであっても、ユーザが異なっていれば、その結果行われるインタラクション動作は異なったものとなる可能性がある。
【００６６】
このように、本実施形態によれば、ユーザの個人情報に応じて引込現象の誘発戦略を動的に変更することができるので、引込現象の発現確率を高め、コミュニケーションをさらに活性化させることができる。
【００６７】
次に、本発明のさらなる詳細な実施例について図面を参照して説明する。
（第１の実施例）
まず、本発明の第１の実施例について説明する。本実施例は、上記第２の実施形態に係るロボットシステム１０１（図３参照）に対応するものである。
【００６８】
前提として、本実施例に係るロボットシステム１０１が適用されるコミュニケーション場について説明する。図９（Ａ）に示されるように、このコミュニケーション場では、２人のユーザＨ１、Ｈ２が、テーブル３０を挟んで向かい合っており、会話できる状態となっている。本実施例に係るロボットシステム１０１は、このユーザＨ１、Ｈ２のコミュニケーションを円滑に進めるための支援を行う。
【００６９】
このユーザＨ１、Ｈ２は初対面である。したがって、本実施例で、ロボットシステム１０１により実行されるのは、初対面紹介タスクともいうべきものである。
【００７０】
ロボットシステム１０１の出力部５は、ディスプレイである。この出力部５の画面上には、図９（Ｂ）に示されるような、人物像であるエージェントＲが表示されている。このエージェントＲは、ＣＧ（コンピュータグラフィックス）によって、様々なインタラクション動作を行うことができるようになっている。ユーザＨ１、Ｈ２は、出力部５の画面上に表示されたエージェントＲのインタラクション動作を見ることができる。
【００７１】
図９（Ａ）に示されるように、ユーザＨ１、Ｈ２の胸元には、それぞれマイク３１が付けられ、その頭頂部には、加速度センサ３２が取り付けられている。また、テーブル上には、ユーザＨ１、Ｈ２を撮像するためのカメラ３３、３４がそれぞれ２台ずつ設置されている。マイク３１、加速度センサ３２、カメラ３３、３４によって、コミュニケーション場認識部１の一部が構成されている。
【００７２】
本実施例では、コミュニケーション場認識部１は、マイク３１の出力に基づいて、ユーザＨ１、Ｈ２の音声データを検出し、加速度センサ３２の出力に基づいて、ユーザＨ１、Ｈ２の頷きを検出し、カメラ３３、３４の出力画像に基づいて、ユーザＨ１、Ｈ２の顔や視線の向きなど、ユーザＨ１、Ｈ２の身体動作を検出する。コミュニケーション場認識部１は、これらのセンシング結果に基づいて、コミュニケーションリズムを認識する。
【００７３】
なお、本実施例では、２人のユーザＨ１、Ｈ２の頷き、視線、顔の向き、指示といった基本動作及び発話動作を、以下の関数に基づいて定義する。これらの関数の値は、その関数の右側に記載された動作（上記センシング結果より検出された動作）が行われれば１となり、動作が行われなければ０となる。本実施例では、これらの関数に基づいてコミュニケーションリズムが認識される。
【００７４】
・Nod(H1,t)：H1が時刻tに頷く。
・Utterance(H1,t)：H1が時刻tに発話する。
・Utterance(H1→H2,t)：H1がH2に対して時刻tに発話する。
・TerminateUtterance(H1, t)：H1が時刻tに発話を終了する。
・Gaze(H1→H2,t)：H1がH2に時刻tに視線を向けている。
・Face(H1→H2,t)：H1がH2に時刻tに顔を向けている。
・Gaze(H1⇔H2,t)：H1とH2が時刻tに同時に視線を向けている（視線一致状態）。
・Face(H1⇔H2,t)：H1とH2が時刻tに同時に顔を向けている（対面状態）。
・TurnGaze(R,H1→H2,t)：RがH1をH2の方に時刻tに視線を向かせる。
・TurnUtterance(R,H1→H2,t)：RがH1をH2の方に時刻tに発話させる。
・Direct(H1→H2,t)：H1がH2の方向を時刻tに指示する。
・SilentTime(H1,t)：H1の時刻tにおける無音区間
・UtterancePower(H1,t)：H1の時刻ｔにおける発生音の音量。
【００７５】
上記各関数の引数は、その動作の主体とその動作が行われた時刻を示す。なお、エージェントＲのインタラクション動作についてもこの関数で表現することができる。
【００７６】
コミュニケーション場認識部１は、センシング結果に基づいて、上記各関数の値を求め、これらの関数に基づいて、コミュニケーションリズムを認識する。認識されたコミュニケーションリズムは、コミュニケーション同調度合算出部２及びインタラクション制御部３に出力される。
【００７７】
コミュニケーション同調度合算出部２は、これらコミュニケーションリズムに基づいて、時刻ｔにおけるコミュニケーション同調度合としての評価関数Eval(t)を、算出する。コミュニケーション同調度合Eval(t)は、ユーザＨ１、Ｈ２の発話パワーの平均値、視線のやりとりの回数、頷き回数など、コミュニケーションリズムの線形加重和により表されるが、本実施例では、後述する４つのコミュニケーションモードに対応する４つの評価関数Eval(t)[１]〜Eval(t)[４]を算出する。
【００７８】
【数１】
ここで、γ、δは、正規化パラメータであり、式（１）と式（３）とで、γ、δの値は異なる。上記式（１）は、エージェントＲとユーザＨ１との間、エージェントＲとユーザＨ２との間で、それぞれの引込現象が発現されたか否かを評価するための評価関数である。上記式（２）は、ユーザＨ１、Ｈ２が向き合って対話を始めたか否かを評価するための評価関数である。上記式（３）、式（４）は、エージェントＲと２人のユーザＨ１、Ｈ２のスムーズな会話が確立されたか否かを評価するための評価関数である。
【００７９】
なお、後述するように、コミュニケーションモードが話題提供状態（話題を提供する会話の初期段階）となっているときには、ユーザＨ１、Ｈ２のお互いの反応を、詳細にチェックする必要があるため、コミュニケーション同調度合算出部２は、コミュニケーション同調度合Eval(t)[２]のほか、次式で示されるエージェントＲがユーザＨ２の話題情報をユーザＨ１に知らせたときの反応度React(H2→H1,t)と、ユーザＨ１の話題情報をユーザＨ２に知らせたときのユーザＨ２の反応度React(H1→H2,t)とを、同じくコミュニケーション同調度合として算出する。
【００８０】
【数２】
ここで、α、βは、正規化パラメータである。
React(H2→H1,t)、React(H1→H2,t)は、エージェントＲによる話題提供が、ユーザＨ１、Ｈ２のコミュニケーションのきっかけとして成り得たか否かを評価するための評価関数である。
【００８１】
算出されたコミュニケーション同調度合Eval(t)は、コミュニケーションモード決定部６に出力される。
【００８２】
本実施例では、５つのコミュニケーションモードが用意されている。図１０には、５つのコミュニケーションモードの遷移図が示されている。この遷移図によって初対面紹介タスクが表現される。図１０に示されるように、本実施例では、初期状態に加え、挨拶／初対面状態、話題提供状態、話題掘り下げ状態、話題盛り上げ状態の４つのコミュニケーションモードが用意されている。
【００８３】
初期状態は、エージェントＲと、初対面である２人のユーザＨ１、Ｈ２が、同じコミュニケーション場に集まる前のコミュニケーションモードである。
【００８４】
挨拶／初対面状態は、初対面である２人のユーザＨ１、Ｈ２が互いに挨拶をかわし、会話を開始する際のコミュニケーションモードである。この状態では、コミュニケーション同調度合は低く、ほぼ０に近い状態である。
【００８５】
話題提供状態は、２人のユーザＨ１、Ｈ２が向き合って対話させることを目的として話題を提供し、会話の端緒を作り出すときの状態である。この状態では、挨拶／初対面状態よりも、コミュニケーション同調度合が少し高まっている。
【００８６】
話題掘り下げ状態は、エージェントＲと２人のユーザＨ１、Ｈ２のスムーズな会話の発生を目指すために、提供された話題を掘り下げていくときの状態である。この状態では、話題提供状態よりも、コミュニケーション同調度合が高まっている。
【００８７】
話題盛り上げ状態は、掘り下げられた話題を掘り下げていった結果、コミュニケーション同調度合が極めて高くなり、コミュニケーションリズムが共有化された状態である。
【００８８】
図１０に示されるように、コミュニケーションモードは、コミュニケーション同調度合が高まるにつれて、初期状態から挨拶／初対面状態に遷移し、さらに話題提供状態へと遷移する。その後、コミュニケーションモードは、コミュニケーション同調度合に応じて、話題提供状態と、話題掘り下げ状態と、話題盛り上げ状態との間を、遷移する。
【００８９】
初対面紹介タスクにおいて、最も望ましい流れは、コミュニケーションモードが、挨拶／初対面状態→話題提供状態→話題掘り下げ状態→話題盛り上げ状態と遷移する流れである。話題盛り上げ状態となり、その状態でタスク終了条件が満たされると、ロボットシステム１０１は、その役割が完了したものとして、初対面紹介タスクを終了させる。
【００９０】
コミュニケーションモード決定部６の動作について説明する。２人のユーザＨ１、Ｈ２が集まり、カメラ３３、３４により、両者の存在が検出されると、コミュニケーションモード決定部６は、コミュニケーションモードを、挨拶／初対面状態へと遷移させる。
【００９１】
その後、コミュニケーションモード決定部６は、コミュニケーション同調度合Eval(t)[１]〜Eval(t)[４]を、所定の閾値Th_Eval[１]、Th_Eval[２]、Th_Eval[３]、Th_Eval[４]と比較して、その比較結果に基づいて、コミュニケーションモードを決定する。これにより、コミュニケーションモードが図１０に示されるように遷移する。なお、それぞれの閾値の関係は、Th_Eval[４]＞Th_Eval[３]＞Th_Eval[２]＞Th_Eval[１]となっている。
【００９２】
挨拶／初対面状態から、話題提供状態への遷移条件は、以下の式で示される。
Eval(t)[１]＝1（＝Th_Eval[１]） …（７）
この遷移条件が満たされたということは、上記式（１）に示されるように、エージェントＲとユーザＨ１との間、エージェントＲとユーザＨ２との間で、それぞれの引込現象が発現したことを示している。
【００９３】
コミュニケーションモード決定部６は、React(H2→H1)及びReact(H1→H2)を、一定閾値Th_Reactと比較する。話題提供状態から話題掘り下げ状態への遷移条件は、以下の式のようになる。
React(H2→H1)∧React(H1→H2)≧Th_ReactかつEval(t)[２]≧Th_Eval[２] …（８）
【００９４】
この遷移条件が満たされたということは、上記式（２）、式（５）、式（６）に示されるように、エージェントＲによる話題提供が成功し、２人のユーザＨ１、Ｈ２が向き合って対話を始めたことを示している。
【００９５】
話題掘り下げ状態から話題盛り上げ状態への遷移条件は、以下の式のようになる。
Eval(t)[３]≧Th_Eval[３] …（９）
【００９６】
この遷移条件が満たされたということは、上記式（３）に示されるように、エージェントＲと２人のユーザＨ１、Ｈ２のスムーズな会話が確立されたことを示している。
【００９７】
初対面紹介タスク終了条件は、以下の式のようになる。
Eval(t)[４]≧Th_Eval[４] …（１０）
コミュニケーションモード決定部６は、このように、遷移条件が満たされたか否かを判定することにより、コミュニケーションモードを遷移させる。
【００９８】
続いて、インタラクション制御部３の動作について説明する。インタラクション制御部３は、決定されたコミュニケーションモードに対応するＳＩＲＤＢを選択する。そして、インタラクション制御部３は、選択されたＳＩＲＤＢのインタラクションルールに従って、出力部５のインタラクション動作を制御する。
【００９９】
挨拶／初対面状態に対応するＳＩＲＤＢでは、エージェントＲとユーザＨ１、エージェントＲとユーザＨ２のスムーズな会話の発生を目指してエージェントＲが各種インタラクション動作を行うようなインタラクションルールが定められている。より具体的には、このインタラクションルールは、エージェントＲが、自発的にユーザＨ１、Ｈ２に話しかけるなどの発話誘導などを行い、会話リズムを生成させるように定められている。エージェントＲがこのような行動をとることより、エージェントＲとユーザＨ１、エージェントＲとユーザＨ２における１対１の引込現象が発現しやすくなり、コミュニケーションモードを話題提供状態に遷移させやすくなる。
【０１００】
話題提供状態に対応するＳＩＲＤＢでは、エージェントＲが、ユーザＨ１の情報をユーザＨ２に与えるとともに、ユーザＨ２の情報をユーザＨ１に伝えるように、インタラクションルールが定められている。さらに、このＳＩＲＤＢでは、同じ話題について両者に意見を述べさせたり、エージェントＲに視線誘導を行わせたりして、向かい合って対話させるように誘導するようなインタラクションルールが定められている。この誘導により、初対面のユーザ間で起こる「会話のきっかけが無くコミュニケーションが滞る問題」を解決することができるようになり、コミュニケーションモードを話題掘り下げ状態に遷移させやすくなる。
【０１０１】
話題掘り下げ状態に対応するＳＩＲＤＢでは、エージェントＲが質問を投げかけてユーザＨ１、Ｈ２が対話している話題内容に参入するようなインタラクションルールが定められている。エージェントＲがこのような行動をとることより、コミュニケーションモードを、話題盛り上げ状態に遷移させやすくなる。
【０１０２】
話題盛り上げ状態では、エージェントＲが、適当に頷いたり、相槌を打ったりするように、聞き役としてその場に同調するようなインタラクションルールが定められている。これにより、すでに話題が盛り上がっている状態の両者に対し、エージェントＲが過度に干渉しないような配慮がなされている。
【０１０３】
図１１には、インタラクションルールの基本例が示されている。図１１に示されるインタラクションルールは、以下の３つのルールで構成されている。
・［Ｒｕｌｅ１］頷き同調ルール：相手が頷けば即応的に頷く。
・［Ｒｕｌｅ２］発話タイミングルール：無音区間が一定時間（０．４５秒）以上続き、最後の音声データが、文末として判断されるならば発話する。
・［Ｒｕｌｅ３］相手の発話に応じた頷き・発話タイミングルール：
「無音区間が一定時間（０．４５秒）以上続き，文末ではない場合に２０％の確率で頷く」または「無音区間が一定時間（０．４５秒）以上続き，文末ではない場合でも８０％の確率で発話する」。
ここで、文末であるか否かの判断は、最後の音声データに対して形態素解析を実行し、助詞、終助詞など、文末によく現れる品詞であるか否かを検出することより行うことが可能である。
【０１０４】
出力部５のエージェントＲは、ロボットアクションコマンドが入力されなかった場合には、図１２（Ａ）に示されるニュートラルポジションとなっている。インタラクション制御部３からロボットアクションコマンドが出力されると、エージェントＲは、図１２（Ｂ）〜図１２（Ｄ）に示されるような発話、頷き、ジェスチャのいずれかのインタラクション動作を行う。
【０１０５】
図１３（Ａ）〜図１３（Ｅ）には、頷きの有無と、発話量と、視線一致度と、コミュニケーション同調度合と、コミュニケーションモードの時間変化の様子が示されている。図１３（Ｅ）の（１）〜（４）は、それぞれ、挨拶／初対面状態、話題提供状態、話題掘り下げ状態、話題盛り上げ状態を示している。図１３（Ａ）〜図１３（Ｅ）に総合的に示されるように、時間が経過するにつれて、頷きの回数が増えていき、発話パワーが大きくなり、視線が一致する頻度が増えている。また、それらが増加するにつれてコミュニケーション同調度合が次第に大きくなっている。これにより、コミュニケーションモードが、挨拶／初対面状態→話題提供状態→話題掘り下げ状態→話題盛り上げ状態と遷移している。
【０１０６】
以上述べたように、本実施例に係るロボットシステム１０１では、コミュニケーションリズムに基づいてコミュニケーション同調度合が算出され、コミュニケーション同調度合に応じてコミュニケーションモードを遷移させるので、初対面である２人のユーザＨ１、Ｈ２のコミュニケーションをより活性化することができる。
【０１０７】
（第２の実施例）
次に、本発明の第２の実施例について説明する。本実施例は、上記第３の実施形態に係るロボットシステム１０２に対応するものである。
【０１０８】
本実施例でも、上記第１の実施例と同様に、図９（Ａ）、図９（Ｂ）について示されるコミュニケーション場に適用される。
【０１０９】
上記第３の実施形態で説明したように、ロボットシステム１０２を構成するユーザ内部状態推定部７は、コミュニケーションリズムに基づいて、ユーザＨ１、Ｈ２の内部状態を推定する。本実施例では、ユーザ内部状態推定部７は、ユーザＨ１、Ｈ２の内部状態として、すなわち緊張状態（緊張しているか、リラックスしているかの状態）や快状態（快であるか不快であるかの状態）を推定する。コミュニケーションリズム、すなわちユーザＨ１、Ｈ２の視線、瞬き、表情に関するセンシングデータには、センシングエラーが確率的に含まれるのが一般的である。このことから、ユーザＨ１、Ｈ２の内部状態の推定には、図１４（Ａ）に示されるようなダイナミックベイジアンネットワークによるユーザの内面状態の確率的状態遷移モデルが用いられる。
【０１１０】
まず、緊張状態の推定方法について説明する。一般的に、視線一致の頻度が少なく、かつ、瞬きの頻度が増えれば、ユーザＨ１、Ｈ２の緊張状態は、時間の経過とともに上昇していくものと推定される。そこで、本実施例では、ユーザ内部状態推定部７は、視線一致が検出される検出確率ｐ１（視線一致ありの検出確率ｐ１、視線一致なしの検出確率１−ｐ１）と、瞬きの回数がある閾値以上であるか否かの検出確率ｐ２（瞬きありの検出確率ｐ２、瞬きなしの検出確率１−ｐ２）とに基づいて、ユーザの緊張状態（緊張度ｑ１、リラックス度ｑ２）の時間変化を、所定の時間間隔（…、ｔ−１、ｔ、…）で算出する。
【０１１１】
次に、快状態の推定方法について説明する。ユーザ内部状態推定部７は、快状態を、瞬きの回数がある閾値以上であるか否かの検出確率ｐ２（瞬きありの検出確率ｐ２、瞬きなしの検出確率１−ｐ２）と、表情変化を示す特徴量とに基づいて推定する。ここで、表情変化を示す特徴量としては、図１４（Ｂ）に示されるようなＦＡＣＳ（顔表情符号化システム）モデルに基づく眉、目、口の位置関係から算出される特徴量Ｆ１〜Ｆ６が用いられる。本実施例では、カメラ３３、３４の撮像結果から距離Ｆ１〜Ｆ６が得られている。例えば、人間が笑う場合には、目・口間の距離Ｆ１が短くなると考えられる。ここでは、例えば、この目・口間の距離Ｆ１が閾値Ｔｈ以下である検出確率ｐ３と、距離Ｆ１が閾値Ｔｈより大きくなる検出確率１−ｐ３とが求められるものとする。
【０１１２】
ユーザ内部状態推定部７は、瞬きありであるとする検出確率（ｐ２、１−ｐ２）と、表情の特徴量の検出確率（ｐ３、１−ｐ３）との結合確率に基づいて、情動認識の学習を行い、快状態（快状態度ｑ３、不快状態度ｑ４）の時間変化を、所定の時間間隔（…、ｔ−１、ｔ、…）で算出する。
【０１１３】
なお、視線一致の検出確率ｐ１は、次の第４の実施例における発話マインドの推定において、ユーザの内部状態を示す指標として用いられる。
【０１１４】
また、本実施例では、インタラクション制御部３によって参照されるルールとして、図１１に示されるようなインタラクションルールに加え、エージェントＲが２人のユーザＨ１、Ｈ２のいずれかに発話する際に、ユーザ内部状態推定部７から出力される快度合の低いユーザに対して発話するというルールが加えられる。なお、このルールでは、ユーザＨ１、Ｈ２の快度合が同値であった場合は、インタラクション制御部３は、エージェントＲが緊張度合の低いユーザに対して発話するように、出力部５を制御する。ユーザＨ１、Ｈ２の快度合が同値であり、かつ、ユーザＨ１、Ｈ２の緊張度合も同値であれば、エージェントＲがどちらのユーザに発話するかは、ランダムに決定されるようにすればよい。
【０１１５】
このように、本実施例では、緊張状態および快状態といったユーザＨ１、Ｈ２の内面状態を考慮してインタラクション動作が行われるので、その動作は、ユーザＨ１、Ｈ２の内部状態に応じて動的に調整されるようになる。初対面であるユーザＨ１、Ｈ２のコミュニケーションをより活性化させることができる。
【０１１６】
（第３の実施例）
次に、本発明の第３の実施例について説明する。本実施例は、上記第４の実施形態に係るロボットシステム１０３に対応するものである。
【０１１７】
本実施例でも、上記第１の実施例と同様に、図９（Ａ）、図９（Ｂ）について示されるコミュニケーション場に適用される。
【０１１８】
発話マインド推定部８は、ユーザ内部状態推定部７によって推定されたユーザＨ１、Ｈ２の緊張状態及び快状態（図１４（Ａ）に示されるモデルで推定された内部状態）に基づいて、発話マインドを推定する。
【０１１９】
例えば、ユーザＨ１、Ｈ２がエージェントＲに対して視線を向けている場合には、ｐ１の確率で発話マインドありとする。また、ユーザの緊張度合がある閾値以上の場合には、ｑ１の確率で発話マインドありとする。さらに、ユーザの快度合がある閾値以上の場合に、はｑ３の確率で発話マインドありとする。最終的な発話マインドは、これらの確率の結合確率となる。発話マインド推定部８は、インタラクション制御部３に推定された発話マインドを出力する。
【０１２０】
また、本実施例では、インタラクション制御部３によって参照されるルールとして、図１１に示されるようなインタラクションルールに加え、エージェントＲが２人のユーザＨ１、Ｈ２のどちらかに発話する際、発話マインド推定部８から出力される発話マインドのあるユーザに対して発話するというルールが加えられる。なお、このルールでは、ユーザＨ１、Ｈ２とも発話マインドがあるか、両者とも発話マインドがない場合であれば、エージェントＲがどちらのユーザＨ１、Ｈ２に発話するかはランダムに決定するようにすればよい。
【０１２１】
このように、本実施例では、ユーザが発話しようとする意思を考慮してエージェントＲがユーザＨ１、Ｈ２に発話を行う。このため、ユーザＨ１、Ｈ２の感じる負荷をより少なくし、初対面であるユーザＨ１、Ｈ２のコミュニケーションをより活性化させることができる。
【０１２２】
（第４の実施例）
次に、本発明の第４の実施例について説明する。本実施例に係るロボットシステムは、上記第５の実施形態に係るロボットシステム１０４に対応するものである。
【０１２３】
本実施例でも、上記第１の実施例と同様に、図９（Ａ）、図９（Ｂ）について示されるコミュニケーション場に適用される。
【０１２４】
ユーザ間情報推定部９は、推定されたユーザＨ１、Ｈ２の緊張度合および快度合に基づいてユーザ間情報を推定する。本実施例では、ユーザＨ１、Ｈ２の緊張度合がともにある閾値以下であり、かつ、ユーザＨ１、Ｈ２の快度合がともにある閾値以上である場合、ユーザの関係は親和的関係であるとし、この場合以外では非親和的関係であるとする。ユーザ間情報推定部９は、このユーザ間情報を、インタラクション制御部３に出力する。この他、ユーザ間情報推定部９は、複数のユーザ間の総コミュニケーション時間などを用いて、ユーザ間情報を定義するようにしてもよい。
【０１２５】
インタラクション制御部３は、このユーザ情報を考慮して、出力部５を制御する。例えば、本実施例に係るロボットシステムが、上記第２の実施形態に係るロボットシステム１０１と同様に、コミュニケーションモードを有している場合において、コミュニケーションモードが話題提供状態から話題掘り下げ状態に遷移する際に、ユーザ間情報推定部９から出力されたユーザ間情報が親和的関係であれば、コミュニケーションモード決定部６に、話題掘り下げ状態ではなく話題盛り上げ状態へある一定の確率で遷移させ、話題盛り上げ状態に遷移した場合には、話題盛り上げ状態に対応するインタラクションルールに従って、出力部５を制御するようにしてもよい。
【０１２６】
このように、本実施例では、ユーザ間の関係が”親和的”であれば、エージェントＲがユーザＨ１、Ｈ２のコミュニケーションに水を差すような介入をするのを避けることができるため、より効率的にコミュニケーションを活性化させることができる。
【０１２７】
（第５の実施例）
次に、本発明の第５の実施例について説明する。本実施例は、上記第６の実施形態に係るロボットシステム１０５を基本とし、それらの構成に加え、上記第５の実施形態に係るロボットシステム１０４の構成要素であるユーザ内部状態推定部７とユーザ間情報推定部９とをさらに備えている。すなわち、本実施例のロボットシステムは、ロボットシステム１０４、１０５を組み合わせた構成となっている。
【０１２８】
本実施例でも、上記第１の実施例と同様に、図９（Ａ）、図９（Ｂ）について示されるコミュニケーション場に適用される。
【０１２９】
ＥＳＤＢ１１には、エピソード蓄積部１０により、例えば、図１５に示されるような情報が時系列（０、１、２、…）で蓄えられている。「ユーザ状態」は、時刻ｔ−ｂにおけるユーザ内部状態（緊張度合（高、中、低））を示している。「ユーザ間情報」は、時刻ｔ−ｂにおけるユーザ間の関係性（非親和的関係、親和的関係）を示している。「Ｒのアクション」は、時刻ｔにおけるエージェントＲのアクションの種別（Ｈ１に視線を向ける、Ｈ１に氏名を質問する、Ｈ１、Ｈ２に相槌を打つ、ｅｔｃ）である。「評価」は、時刻ｔ−ｂのユーザＨ１、Ｈ２の緊張度合に対する、時刻ｔ＋ａにおけるユーザＨ１、Ｈ２の緊張度合の減少値（緊張度合減少値）のユーザＨ１、Ｈ２の合計値である。
【０１３０】
エピソード学習部１２は、ＥＳＤＢ１１を参照して、ＳＩＲＤＢ４に記憶されたインタラクションルール、すなわち、コミュニケーションリズム及びコミュニケーション同調度合と、それらに基づく制御の下で出力部５によって行われたインタラクション動作との関係を、ユーザＨ１、Ｈ２の緊張度合が減少するように繰り返し変更する。このようにして、エピソード学習部１２は、コミュニケーションリズム及びコミュニケーション同調度合と、インタラクション動作との最適な関係を学習する。これにより、ＥＳＤＢ１１に記憶されたインタラクションルールが、コミュニケーション同調度合を効率良く高める方向に調整される。
【０１３１】
なお、この学習の際、エピソード学習部１２は、コミュニケーション同調度合算出部２から出力されたコミュニケーション同調度合に基づいて学習ルールを変更するようにしてもよい。例えば、コミュニケーション同調度合が一定期間以上ある閾値よりも低ければ、最適化の収束の高速化（学習の高速化）を目指し、学習の際に用いられるユーザの緊張度合およびユーザ間情報といったパラメータを一定個数減らすようにすることができる。
【０１３２】
（第６の実施例）
次に、本発明の第６の実施例について説明する。本実施例は、上記第７の実施形態に係るロボットシステム１０６に対応するものである。
【０１３３】
本実施例でも、上記第１の実施例と同様に、図９（Ａ）、図９（Ｂ）について示されるコミュニケーション場に適用される。
【０１３４】
ＵＰＩＤＢ１３には、ユーザの氏名、出身地、職歴、趣味といった個人情報およびユーザの社会的スキルや心理分析結果といったユーザの能力や性格に関する情報が予め蓄えられている。ＵＰＩＤＢ１３に蓄えられた情報は、インタラクション制御部３によって参照され、インタラクション制御部３がインタラクション動作を決定するために利用される。
【０１３５】
例えば、ユーザＨ１、Ｈ２の趣味に関してエージェントＲが質問するといった場合に、ユーザＨ１、Ｈ２のユーザパーソナリティ情報に彼らの趣味の情報が含まれていれば、それらの内容が、発話に反映される。
【０１３６】
また、ユーザの個人情報は、エージェントＲのユーザＨ１、Ｈ２への言葉遣いを決定する際にも参酌される。言葉遣いの社会的スキルの評価指標の１つにＪＩＣＳがある。例えばＪＩＣＳの中で、関係調整（上下関係管理）に関するユーザの社会的スキルを用いることでロボットの言葉遣いを調整することができる。
【０１３７】
例えば、アンケート調査などの結果により、コミュニケーションに参加するユーザの関係調整の度合が既知であるものとし、その度合が、予め、ＵＰＩＤＢ１３へ蓄えられているものとする。関係調整の度合がある閾値よりも高いユーザは、人間の上下関係に関して意識していると推定することができる。このため、このようなユーザに対しては、インタラクション制御部３は、エージェントＲに、発話する場合に敬語を使用させる。一方、関係調整の度合がある閾値よりも低いユーザは、人間の上下関係に関してあまり意識していないと推定することができるため、このようなユーザに対しては、インタラクション制御部３は、エージェントＲに、発話する場合に敬語を使用しないようにさせる。
【０１３８】
このようにすれば、エージェントＲとユーザＨ１、Ｈ２との親和性をより高めることができる。
【０１３９】
また、このような社会的スキルの評価指標の他にも、交流分析における人格に関する理論などを用いて推定されたユーザの性格に関する情報をＵＰＩＤＢ１３に格納して、エージェントＲのユーザＨ１、Ｈ２に対する発話内容の調整に用いることができる。
【０１４０】
このような理論では、例えば、人間の性格（人格）が、批判的な親心と、養育的親心と、合理的な大人の心と、無邪気な子供の心と、順応した子供の心との５つに大別されている。この理論では、人格に関するアンケート調査を行えば、５つの人格の中で、どれがその人の中で優位であるかというような傾向を解析することができ、この解析結果に基づいて、その人の人格をある程度推定することができる。
【０１４１】
例えば、あるユーザに対するアンケート調査の結果、批判的な親心と、順応した子供の心が、他の３つの心の構造に比べ優位であれば、そのユーザの性格は、理屈好きなタイプであると推定される。この場合、このタイプに属するユーザに対する発話内容は、理屈を重視すべきであると考えられる。したがって、このタイプに属するユーザに対しては、エージェントＲは、理由をつけてユーザに動作を促すような対話戦略をとるようにする。このようにすれば会話がスムーズに進むようになる。
【０１４２】
なお、上記第５の実施例にもあるように、ロボットシステムとして、上記各実施形態に係るロボットシステムを組み合わせたものを採用することができる。例えば、コミュニケーションモード、ユーザの内部状態、発話マインド、ユーザ間情報のうちの少なくとも一部の組み合わせについてＳＩＲＤＢを用意し、その組み合わせ毎にインタラクションルールを用意するようにしてもよい。また、それらの組み合わせに応じてＳＩＲＤＢを複数備えるシステムにおいて、エピソード学習を行うようにしてもよいし、ユーザの個人情報に基づいて、インタラクション動作を変更するようにしてもよい。
【０１４３】
また、上記各実施例では、ＣＧモデルのエージェントＲにインタラクション動作を行わせたが、出力部５として、各種アクチュエータを備え、ロボットの表情、腕、手、足、体を動かすことができる人型のロボットを用いるようにしてもよい。この場合でも、出力部５では、ロボットの表情を変化させたり、腕、手、足、体が動かしたりして、ロボットの喜怒哀楽といった感情や注意対象をユーザに対して効果的に伝達することができる。
【０１４４】
この場合、出力部５は、目が点滅する、瞬きする、腕を振る、首を振る、ボディを伸縮する、ボディを振動する、鼓動音を出すといったインタラクション動作を行うようにしてもよい。また、出力部５は、涙を流す、ユーザの足元に擦り寄る、ユーザに近づく、ジャンプするといったインタラクション動作を実行するようにしてもよい。さらに、注意対象の伝達方法として、出力部５は、注意対象を注視する、注意対象を指差しする、注意対象に近づくといったインタラクション動作を行うようにしてもよい。
【０１４５】
このように、ロボットシステムは、物理的に実体を持っていても良いし、上記各実施例のように、プロジェクタの投影画面やディスプレイに表示される、実体を持たないエージェント型であってもよいし、画面に文字を表示したり、音声を発したりするだけのものであってもよい。要は、ロボットシステムは、発話、身体動作、文字表示の少なくとも一つを含む動作を行えるものであればよい。
【０１４６】
また、コミュニケーション場認識部１、コミュニケーション同調度合２、インタラクション制御部３など、各ロボットシステムの構成要素を、ハードウエアのみ実現するようにしてもよいが、これらは、ソフトウエアプログラムとハードウエアとの協調動作で実現されるのが一般的である。ソフトウエアプログラムとハードウエアとの協調動作の場合には、ロボットシステム内に設けられたＣＰＵが、同システム内のＲＯＭ等の記憶装置に格納されたソフトウエアプログラムを実行することにより、各部の機能を実現する。
【０１４７】
この場合、ロボットシステムとしては、汎用のコンピュータを用いることが可能である。この場合、コンピュータの記憶装置に格納されるソフトウエアプログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical disc）、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に格納して配布され、ロボットシステムにインストールされるようになっていてもよい。また、インターネット等の通信ネットワーク上のサーバ装置に格納された当該プログラムを、当該コンピュータにダウンロードして、ロボットシステムにインストールされるようになっていてもよい。
【図面の簡単な説明】
【０１４８】
【図１】本発明の第１の実施形態に係るロボットシステムの基本的な構成を示すブロック図である。
【図２】図１のロボットシステムの動作を示すフローチャートである。
【図３】本発明の第２の実施形態に係るロボットシステムの基本的な構成を示すブロック図である。
【図４】本発明の第３の実施形態に係るロボットシステムの基本的な構成を示すブロック図である。
【図５】本発明の第４の実施形態に係るロボットシステムの基本的な構成を示すブロック図である。
【図６】本発明の第５の実施形態に係るロボットシステムの基本的な構成を示すブロック図である。
【図７】本発明の第６の実施形態に係るロボットシステムの基本的な構成を示すブロック図である。
【図８】本発明の第７の実施形態に係るロボットシステムの基本的な構成を示すブロック図である。
【図９】図９（Ａ）は、コミュニケーション場の一例を示す図であり、図９（Ｂ）は、エージェントの一例を示す図である。
【図１０】コミュニケーションモードの遷移図である。
【図１１】インタラクションルールの一例を示す図である。
【図１２】図１２（Ａ）は、エージェントのニュートラルポジションを示す図であり、図１２（Ｂ）は、発話動作を示す図であり、図１２（Ｃ）は、頷き動作を示す図であり、図１２（Ｄ）は、ジェスチャ動作を示す図である。
【図１３】図１３（Ａ）は、頷きの有無の時間変化を示すグラフであり、図１３（Ｂ）は、発話量の時間変化を示すグラフであり、図１３（Ｃ）は、視線の一致の時間変化を示すグラフであり、図１３（Ｄ）は、コミュニケーション同調度合の時間変化を示すグラフであり、図１３（Ｅ）は、コミュニケーションモードの時間変化を示す図である。
【図１４】図１４（Ａ）は、ユーザの内面状態を示す確率的状態遷移モデルの一例を示す図であり、図１４（Ｂ）は、ＦＡＣＳモデルに基づく眉、目、口の位置関係から算出される特徴量を説明するための図である。
【図１５】エピソード記憶データベースに記憶される情報の一例を示す図である。
【符号の説明】
【０１４９】
１ コミュニケーション場認識部
２ コミュニケーション同調度合算出部
３ インタラクション制御部
４、４１、４２、４３ ソーシャルインタラクションルールデータベース（ＳＩＲＤＢ）
５ 出力部
６ コミュニケーションモード決定部
７ ユーザ内部状態推定部
８ 発話マインド推定部
９ ユーザ間情報推定部
１０ エピソード蓄積部
１１ エピソード記憶データベース（ＥＳＤＢ）
１２ エピソード学習部
１３ ユーザパーソナリティ情報データベース（ＵＰＩＤＢ）
３０ テーブル
３１ マイク
３２ 加速度センサ
３３、３４ カメラ
１００、１０１、１０２、１０３、１０４、１０５、１０６ ロボットシステム
Ｈ１、Ｈ２ ユーザ
Ｒ エージェント
【特許請求の範囲】
【請求項１】
複数人のユーザに対するインタラクション動作を行う出力部と、
前記複数人のユーザ各々のバーバル情報及びノンバーバル情報に基づいて、そのユーザのコミュニケーションリズムを認識する認識部と、
前記コミュニケーションリズムに基づいて、前記ユーザ間の同調度合を算出する同調度合算出部と、
前記コミュニケーションリズム及び前記同調度合に応じて前記出力部が前記ユーザに対して行うべきインタラクション動作に関して、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下で構築されたルールを記憶するルールデータベースと、
前記ルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御するインタラクション制御部と、を備えるロボットシステム。
【請求項２】
前記同調度合に基づいて、コミュニケーション場の状態であるコミュニケーションモードを決定するモード決定部をさらに備え、
前記ルールデータベースを、前記コミュニケーションモードに応じて複数備え、
前記インタラクション制御部は、
複数の前記ルールデータベースの中から、前記コミュニケーションモード決定部により決定されたコミュニケーションモードに対応するルールデータベースを選択し、
選択されたルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合とを用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御することを特徴とする請求項１に記載のロボットシステム。
【請求項３】
前記複数人のユーザ各々のコミュニケーションリズムに基づいて、そのユーザの内部状態を推定するユーザ内部状態推定部をさらに備え、
前記ルールデータベースを、前記内部状態に応じて複数備え、
前記インタラクション制御部は、
複数の前記ルールデータベースの中から、前記ユーザ内部状態推定部により推定された内部状態に対応するルールデータベースを選択し、
選択されたルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御することを特徴とする請求項１又は２に記載のロボットシステム。
【請求項４】
前記複数人のユーザ各々の内部状態に基づいて、そのユーザが発話しようとする意思があるかないかを示す指標値を推定する発話マインド推定部をさらに備え、
前記ルールデータベースを、前記指標値に応じて複数備え、
前記インタラクション制御部は、
複数の前記ルールデータベースの中から、前記発話マインド推定部により推定された指標値に対応するルールデータベースを選択し、
選択されたルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御することを特徴とする請求項３に記載のロボットシステム。
【請求項５】
前記複数人のユーザ各々の内部状態に基づいて、前記ユーザ間の社会的関係性を示すユーザ間情報を推定するユーザ間情報推定部をさらに備え、
前記ルールデータベースを、前記ユーザ間情報に応じて複数備え、
前記インタラクション制御部は、
複数の前記ルールデータベースの中から、前記ユーザ間情報推定部により推定されたユーザ間情報に対応するルールデータベースを選択し、
選択されたルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御することを特徴とする請求項３に記載のロボットシステム。
【請求項６】
前記コミュニケーションリズム及び前記同調度合と、それらに基づいて探索された前記動作命令と、を関連付けて記憶するととともに、
前記動作命令と、その動作命令に基づく前記インタラクション制御部の下で行われた前記出力部のインタラクション動作に対する前記ユーザ各々の反応としての前記コミュニケーションリズム及び前記同調度合と、を関連付けて記憶するエピソード記憶データベースと、
前記コミュニケーションリズムと、前記同調度合と、前記動作命令とを、前記エピソード記憶データベースに蓄積するエピソード蓄積部と、
前記エピソード記憶データベースを参照して、前記コミュニケーションリズム及び前記同調度合と、前記インタラクション動作との最適な関係を学習することにより、前記ルールデータベースに記憶されたルールを調整するエピソード学習部と、をさらに備えることを特徴とする請求項１乃至５のいずれか一項に記載のロボットシステム。
【請求項７】
前記ユーザの個人情報が蓄えられたユーザパーソナリティ情報データベースをさらに備え、
前記インタラクション制御部は、
前記ユーザパーソナリティ情報データベースに蓄えられた情報に基づいて、前記出力部を制御することを特徴とする請求項１乃至６のいずれか一項に記載のロボットシステム。
【請求項８】
複数人のユーザに対するインタラクション動作を行う出力部を備えるロボットシステムを用いたコミュニケーション活性化方法であって、
前記複数人のユーザ各々のバーバル情報及びノンバーバル情報に基づいて、そのユーザのコミュニケーションリズムを認識する第１の工程と、
前記コミュニケーションリズムに基づいて前記ユーザ間の同調度合を算出する第２の工程と、
前記コミュニケーションリズム及び前記同調度合に応じて前記出力部が前記ユーザに対して行うべきインタラクション動作に関して、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下で構築されたルールを記憶するルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御する第３の工程と、を含むコミュニケーション活性化方法。
【請求項９】
複数人のユーザに対するインタラクション動作を行う出力部を備えるロボットシステムを制御するコンピュータに、
前記複数人のユーザ各々のバーバル情報及びノンバーバル情報に基づいて、そのユーザのコミュニケーションリズムを認識する第１の手順と、
前記コミュニケーションリズムに基づいて前記ユーザ間の同調度合を算出する第２の手順と、
前記コミュニケーションリズム及び前記同調度合に応じて前記出力部が前記ユーザに対して行うべきインタラクション動作に関して、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下で構築されたルールを記憶するルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御する第３の手順と、を実行させるプログラム。
【請求項１】
複数人のユーザに対するインタラクション動作を行う出力部と、
前記複数人のユーザ各々のバーバル情報及びノンバーバル情報に基づいて、そのユーザのコミュニケーションリズムを認識する認識部と、
前記コミュニケーションリズムに基づいて、前記ユーザ間の同調度合を算出する同調度合算出部と、
前記コミュニケーションリズム及び前記同調度合に応じて前記出力部が前記ユーザに対して行うべきインタラクション動作に関して、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下で構築されたルールを記憶するルールデータベースと、
前記ルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御するインタラクション制御部と、を備えるロボットシステム。
【請求項２】
前記同調度合に基づいて、コミュニケーション場の状態であるコミュニケーションモードを決定するモード決定部をさらに備え、
前記ルールデータベースを、前記コミュニケーションモードに応じて複数備え、
前記インタラクション制御部は、
複数の前記ルールデータベースの中から、前記コミュニケーションモード決定部により決定されたコミュニケーションモードに対応するルールデータベースを選択し、
選択されたルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合とを用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御することを特徴とする請求項１に記載のロボットシステム。
【請求項３】
前記複数人のユーザ各々のコミュニケーションリズムに基づいて、そのユーザの内部状態を推定するユーザ内部状態推定部をさらに備え、
前記ルールデータベースを、前記内部状態に応じて複数備え、
前記インタラクション制御部は、
複数の前記ルールデータベースの中から、前記ユーザ内部状態推定部により推定された内部状態に対応するルールデータベースを選択し、
選択されたルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御することを特徴とする請求項１又は２に記載のロボットシステム。
【請求項４】
前記複数人のユーザ各々の内部状態に基づいて、そのユーザが発話しようとする意思があるかないかを示す指標値を推定する発話マインド推定部をさらに備え、
前記ルールデータベースを、前記指標値に応じて複数備え、
前記インタラクション制御部は、
複数の前記ルールデータベースの中から、前記発話マインド推定部により推定された指標値に対応するルールデータベースを選択し、
選択されたルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御することを特徴とする請求項３に記載のロボットシステム。
【請求項５】
前記複数人のユーザ各々の内部状態に基づいて、前記ユーザ間の社会的関係性を示すユーザ間情報を推定するユーザ間情報推定部をさらに備え、
前記ルールデータベースを、前記ユーザ間情報に応じて複数備え、
前記インタラクション制御部は、
複数の前記ルールデータベースの中から、前記ユーザ間情報推定部により推定されたユーザ間情報に対応するルールデータベースを選択し、
選択されたルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御することを特徴とする請求項３に記載のロボットシステム。
【請求項６】
前記コミュニケーションリズム及び前記同調度合と、それらに基づいて探索された前記動作命令と、を関連付けて記憶するととともに、
前記動作命令と、その動作命令に基づく前記インタラクション制御部の下で行われた前記出力部のインタラクション動作に対する前記ユーザ各々の反応としての前記コミュニケーションリズム及び前記同調度合と、を関連付けて記憶するエピソード記憶データベースと、
前記コミュニケーションリズムと、前記同調度合と、前記動作命令とを、前記エピソード記憶データベースに蓄積するエピソード蓄積部と、
前記エピソード記憶データベースを参照して、前記コミュニケーションリズム及び前記同調度合と、前記インタラクション動作との最適な関係を学習することにより、前記ルールデータベースに記憶されたルールを調整するエピソード学習部と、をさらに備えることを特徴とする請求項１乃至５のいずれか一項に記載のロボットシステム。
【請求項７】
前記ユーザの個人情報が蓄えられたユーザパーソナリティ情報データベースをさらに備え、
前記インタラクション制御部は、
前記ユーザパーソナリティ情報データベースに蓄えられた情報に基づいて、前記出力部を制御することを特徴とする請求項１乃至６のいずれか一項に記載のロボットシステム。
【請求項８】
複数人のユーザに対するインタラクション動作を行う出力部を備えるロボットシステムを用いたコミュニケーション活性化方法であって、
前記複数人のユーザ各々のバーバル情報及びノンバーバル情報に基づいて、そのユーザのコミュニケーションリズムを認識する第１の工程と、
前記コミュニケーションリズムに基づいて前記ユーザ間の同調度合を算出する第２の工程と、
前記コミュニケーションリズム及び前記同調度合に応じて前記出力部が前記ユーザに対して行うべきインタラクション動作に関して、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下で構築されたルールを記憶するルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御する第３の工程と、を含むコミュニケーション活性化方法。
【請求項９】
複数人のユーザに対するインタラクション動作を行う出力部を備えるロボットシステムを制御するコンピュータに、
前記複数人のユーザ各々のバーバル情報及びノンバーバル情報に基づいて、そのユーザのコミュニケーションリズムを認識する第１の手順と、
前記コミュニケーションリズムに基づいて前記ユーザ間の同調度合を算出する第２の手順と、
前記コミュニケーションリズム及び前記同調度合に応じて前記出力部が前記ユーザに対して行うべきインタラクション動作に関して、コミュニケーションの発展段階に応じた引込現象の動的な誘発戦略の下で構築されたルールを記憶するルールデータベースを参照して、そのルールに従って前記コミュニケーションリズムと前記同調度合を用いて前記ユーザに対して行うべき動作命令を探索し、探索された動作命令に基づいて前記出力部を制御する第３の手順と、を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−１１０８６４（Ｐ２０１０−１１０８６４Ａ）
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願番号】特願２００８−２８５９９３（Ｐ２００８−２８５９９３）
【出願日】平成２０年１１月６日（２００８．１１．６）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【出願人】（５０３４２０８３３）学校法人常翔学園 (62)
【Ｆターム（参考）】
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願日】平成２０年１１月６日（２００８．１１．６）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【出願人】（５０３４２０８３３）学校法人常翔学園 (62)
【Ｆターム（参考）】
[ Back to top ]