応答戦略獲得装置、リアクション選択装置、コンピュータプログラム、及びロボット
【課題】アクションからリアクションが生成される関係を確率モデルとして捉えて、この確率モデルを同定することで、ロボットが自律的に応答戦略を獲得できるようにする。
【解決手段】イニシエーター１が行ったイニシアティブアクションａiに対するリアクションｂjを観測することで、イニシアティブアクションａiに対するリアクター２のリアクションｂjの出力の仕方を示す応答戦略Ｚ（ｂj，ａi）を獲得する応答戦略獲得装置１３であって、複数の種類のイニシアティブアクションａiそれぞれをリアクションｂjの発生原因とした場合の当該リアクションの発生時刻ｓにおけるリアクション発生確率Ｗai,sを取得し、これらのリアクション発生確率Ｗai,sに基づいて、当該リアクションｂjの選択確率Ｚ（ｂj，ａi）を算出する選択確率推定部２２を備えている。
【解決手段】イニシエーター１が行ったイニシアティブアクションａiに対するリアクションｂjを観測することで、イニシアティブアクションａiに対するリアクター２のリアクションｂjの出力の仕方を示す応答戦略Ｚ（ｂj，ａi）を獲得する応答戦略獲得装置１３であって、複数の種類のイニシアティブアクションａiそれぞれをリアクションｂjの発生原因とした場合の当該リアクションの発生時刻ｓにおけるリアクション発生確率Ｗai,sを取得し、これらのリアクション発生確率Ｗai,sに基づいて、当該リアクションｂjの選択確率Ｚ（ｂj，ａi）を算出する選択確率推定部２２を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、応答戦略獲得装置、リアクション選択装置、コンピュータプログラム、及びロボットに関するものである。
【背景技術】
【０００２】
Tmaselloは、子供がことば（記号）を覚える社会的能力の一部を説明するために役割反転模倣（Role Reversal imitation）という言葉を用いている(非特許文献１参照)。
役割反転模倣とは，共同行為を達成するにあたり対象への役割を反転し模倣することである。例えば、二者間のインタラクションであっても、バイバイに対してバイバイを返す事は、この二つで初めて一つの共同行為が達成されたと捉える事できる。
【０００３】
このような共同行為を学習する際にお互いの役割を反転する事で、学習者はその行為の社会的な利用方法を学んでいく事が出来ると考えられる。
【０００４】
栗山らは、乳児の親子間のやりとりに注目して、やりとり規則を適応的に獲得する手法を研究した（非特許文献２，３参照）。ロボットのメッセージ性のある行動に対しては、随伴性のある行動が現れるはずなので直後の行動が予想しやすくなるという仮定を置き、移動エントロピーを用いてやりとり規則を予想した。栗山らは、明示的なやりとり規則の教示なしに養育者とのインタラクションからメッセージ性のある行動を発見し、やりとり規則を一定程度獲得できることを示した。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】マイケル・トマセロ，心とことばの起源を探る，勁草書房，2006
【非特許文献２】T. Kuriyama and Y. Kuniyoshi. Acquisition of Human-Robot Interaction Rules via Imitation and Response Observation. In Proceedings of the 10th international conference on Simulation of Adaptive Behavior: From Animals to Animats, pp.467-476.Springer, 2008.
【非特許文献３】栗山貴国，國吉康夫，模倣からの伝達行動の抽出に基づくやりとり規則の適応的獲得，ｐｐ．1252−1253，2007．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、栗山らのモデルでは自分の文脈と直後の養育者の文脈を観察する事によってロボットの行動を決定しているため、養育者の直近の行動に対するやりとり規則しか獲得する事ができない。現実のインタラクションは実時間的であり、他者のどの行動が自らの何秒前の行動に対するリアクションであるかは不明確である。
【０００７】
また，与えられた単位行動の内のどの行動がインタラクション上有意義であるかを明示的に知る事は出来ない。
そこで、本発明は、これらの問題に対応するために役割反転模倣の考え方に基づきながら、アクションからリアクションが生成される関係を確率モデルとして捉えて、この確率モデルを同定することで、ロボットが自律的に応答戦略を獲得できるようにすることを目的とする。
また、本発明の他の目的は、インタラクションにおいて、どのアクションがどのアクションに対するリアクションであったか、また、アクションがイニシアティブアクションであるか否かといった役割推定を行うことを可能とすることにある。役割推定を行うことで、リアクションに対してさらにリアクションするということを防止し、イニシアティブアクションに対してのみリアクションする、ということが可能となる。
【課題を解決するための手段】
【０００８】
本発明は、イニシエーターが行ったイニシアティブアクションに対するリアクターのリアクションを観測することで、イニシアティブアクションに対するリアクションの出力の仕方を示す応答戦略を獲得する応答戦略獲得装置であって、あるイニシアティブアクションを原因とする何らかのリアクションが、ある時刻において発生する確率を示すリアクション発生確率を、時間とリアクション発生確率との関係を規定したリアクション発生確率密度関数に基づいて算出する発生確率算出部と、あるイニシアティブアクションに対して何らかのリアクションが発生することが決定した場合における、当該イニシアティブアクションに依存して特定の種類のリアクションがリアクターによって選択される選択確率を推定することで、イニシアティブアクションに対するリアクションの出力の仕方を示す応答戦略を獲得する選択確率推定部と、を備え、前記選択確率推定部は、複数の種類のイニシアティブアクションそれぞれをリアクションの発生原因とした場合の当該リアクションの発生時刻におけるリアクション発生確率を、当該複数の種類のイニシアティブアクションそれぞれの発生時刻及び当該リアクションの発生時刻に基づき、前記発生確率算出部を介して取得し、これらのリアクション発生確率に基づいて、当該リアクションの前記選択確率を、当該複数の種類のイニシアティブアクションそれぞれについて算出するよう構成されていることを特徴とする応答戦略獲得装置である。
また，リアクション発生確率密度関数とリアクション選択確率を用いる事で役割推定、すなわち、アクションがイニシアティブアクションであるか、リアクションであるかを判定でき、これにより、事前にどちらがイニシエーターであり、どちらがリアクターであるかが分からなくてもロボットが学習することが可能となる。
【０００９】
前記リアクション発生確率密度関数は、イニシアティブアクション発生後から時間経過に伴ってリアクション発生確率が減衰するよう規定されたものを用いることができる。ここで、上記「イニシアティブアクション発生後から時間経過に伴ってリアクション発生確率が減衰する」とは、イニシアティブアクション発生直後から直ちにリアクション発生確率が減衰する場合に限らず、イニシアティブアクション発生から所定の時間（例えば、コンマ数秒後；自然なインタラクションにおいてアクション間に生じる時間差に相当する時間）経過後にピークがきて、その後、減衰するものであってもよい。
【００１０】
前記リアクション発生確率密度関数を変化させて、発生したイニシアティブアクションとリアクションとの間の相互情報量が最大となるリアクション発生確率密度関数を探索する探索部を更に備え、前記発生確率算出部は、前記相互情報量が最大となるリアクション発生確率密度関数に基づいて、リアクション発生確率を算出することができる。
【００１１】
複数の種類のイニシアティブアクション及び／又はリアクションの重要度を推定する重要度推定部を更に備え、前記重要度推定部は、発生したイニシアティブアクションとリアクションとの間の第１相互情報量と、発生した複数の種類のイニシアティブアクション及び／又はリアクションのうち一部のアクションが存在しないものと仮定した場合のイニシアティブアクションとリアクションとの間の第２相互情報量と、の差に基づいて、存在しないものと仮定した前記一部のアクションの重要度を算出することができる。
【００１２】
発生したイニシアティブアクション及び／又はリアクションのうち、応答戦略獲得の対象となる重要アクションを抽出する重要アクション抽出部を更に備え、前記重要アクション抽出部は、発生したイニシアティブアクション及び／又はリアクションそれぞれについて算出された前記重要度に基づいて、重要アクションを抽出することができる。
【００１３】
前記選択確率算出部は、ＥＭ（Expectation-Maximization）アルゴリズムに基づいて、前記選択確率を算出することができる。
【００１４】
発生したアクションがイニシアティブアクションであるかリアクションであるかを推定する役割推定部を更に備え、前記役割推定部は、発生したアクションをリアクションと仮定して、リアクションであると仮定した当該アクションの前記選択確率を推定し、推定した前記選択確率に基づいて、当該アクションの原因となったイニシアティブアクションを推定し、推定したイニシアティブアクションが「何もしないアクション」である場合には、当該アクションはイニシアティブアクションであると推定し、その他の場合には、当該アクションはリアクションであると推定することができる。この場合、インタラクションにおける一方側と他方側の役割を推定でき、応答戦略獲得装置をインタラクション解析装置として機能させることができる。
【００１５】
他の観点からみた本発明は、観測されたイニシアティブアクションに対するリアクションの選択を行うリアクション選択装置であって、前記応答戦略獲得装置によって応答戦略として獲得した前記選択確率を用いて、観測されたイニシアティブアクションに対するリアクションの選択を行うことを特徴とするリアクション選択装置である。
【００１６】
他の観点からみた本発明は、コンピュータを、前記応答戦略獲得装置として機能させるためのコンピュータプログラムである。
【００１７】
他の観点からみた本発明は、コンピュータを、前記リアクション選択装置として機能させるためのコンピュータプログラムである。
【００１８】
他の観点からみた本発明は、前記応答戦略獲得装置及び前記リアクション選択装置（２２）を備え、前記リアクション選択装置によって選択されたリアクションを生成するリアクション生成部を備えていることを特徴とするロボットである。
【発明の効果】
【００１９】
本発明によれば、ロボットが自律的に応答戦略を獲得することができる。
【図面の簡単な説明】
【００２０】
【図１】役割反転模倣の概念図である。
【図２】第１実施形態に係るロボットの内部構成を示すブロック図である。
【図３】図３（ａ）はイニシアティブアクションからリアクションが確率的に発生する発生確率モデルの概要図であり、図３（ｂ）はリアクション発生確率密度関数の他の例である。
【図４】学習後のリアクション選択確率の棒グラフである。
【図５】τによる相互情報量の推移を示すグラフである。
【図６】最適τに基づいて推定されたリアクション選択確率の棒グラフである。
【図７】相互情報量によって推定された重要度を示す棒グラフである。
【図８】第２実施形態に係るロボットのブロック図である。
【図９】学習後のリアクション選択確率の棒グラフである。
【図１０】λ、τによる相互情報量の変化を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の好ましい実施形態について添付図面を参照しながら説明する。
【００２２】
［１．役割反転模倣の概念と定義］
本実施形態に係る自律型ロボット１は、人間２との自然なインタラクションを通じて、人間の応答戦略を獲得する。
前記ロボット１は、人間の動作自体を模倣するのではなく、人間２が行っている動作（アクション）に対して自身がどのような動作を返せば良いか、つまり応答戦略を模倣により獲得する。ただし、ロボット１は、時間については連続的な時間で行動するが、動作については既に幾つかの動作単位（例えば、「お手」、「お手受け」、「バイバイ」、「プルプル」など）を持っており、状況に合わせてそれらを選択し表出しているものとする。
【００２３】
図１に示すように、一つの共同行為として見たインタラクションは、自発的な動作とそれに対する応答としての動作により成り立っている。ここでは、前者を「イニシアティブアクション」と呼び、後者を「リアクション」と呼ぶ。イニシアティブアクションとリアクションを包含していう場合、単に「アクション」という。
また、イニシアティブアクション側を「イニシエーター」、リアクションを行う側を「リアクター」と呼ぶ。
一つの共同行為を実現するためには、二者がこれらの役割を担い適切な動作を出力する必要がある。ここででは、イニシエーターとリアクターの役割を反転する事を「役割反転」とし、ロボット自らのイニシアティブアクションに対する人間のリアクションの仕方を人間の「応答戦略」と呼ぶ。
そして、この二つの役割を模倣し、それらを反転する事により適切な行動生成（リアクション選択）を行えるようになる過程を「役割反転模倣」と呼ぶ。
【００２４】
このような学習は．明示的にどのアクションがどのアクションに対するリアクションなのか、といったような関係づけが明示的になされている系では比較的簡単に達成しうる。しかし、人間とロボットのインタラクションが連続時間で行われ．かつ役割が明示的に与えられないような場合の学習は決して自明ではない。以下の実施形態では、イニシアティブアクションに対するリアクションの発生を確率的な生成モデルに基づいてモデル化する事で、ロボットの学習フェーズと行動フェーズを分離することなく、人間との実時間相互作用から応答戦略獲得を行う学習則を構築する。
【００２５】
［２．第１実施形態］
［２．１ ロボットの構成］
ロボット１は、動作（アクション）を生成可能なロボット本体に、カメラなどの撮像部４及び制御部５などを搭載して構成されている（図２参照）。
ロボット本体は、例えば、人間型、動物型などの形状に構成され、モータなどのアクチュエータ（アクション生成部３）によって実際の人間・動物の動作に類似した動作を行うことができる。
【００２６】
撮像部４は、インタラクションにおける相手方（人間２）を撮像した画像を取得するためのものである。撮像部４によって取得した画像は、制御部５に与えられ、画像処理が行われる。人間の動作を獲得するための装置は、撮像部４に限られるものではなく、人間の動作を取得できるものであれば、機械式モーションキャプチャやジャイロセンサーなど他の入力装置であっても構わない。
【００２７】
制御部５は、ＣＰＵ及び記憶装置などを有するコンピュータによって構成されており、撮像部４によって取得した画像の画像処理及びロボット本体の制御などのロボットに必要とされる情報処理を行う。制御部（コンピュータ）５は、以下に説明する応答戦略獲得及び行動戦略などの機能を、当該コンピュータに実行させるためのコンピュータプログラムを有している。なお、画像処理は、制御部５とは別の画像処理プロセッサで行い、処理結果を制御部５が取得するようにしてもよいが、本実施形態では制御部５が行うものとする。
【００２８】
図２に示すように、制御部５は、アクション解析部１１、ロボット＆人間のアクションログ記憶部１２、応答戦略獲得部（応答戦略獲得装置）１３、イニシアティブアクション選択部１４、リアクション選択部（リアクション選択装置）１５としての機能を有している。これらの機能は、コンピュータプログラムによって実現される。
【００２９】
アクション解析部１１は、撮像部４によって取得した画像から、人間２が行っているアクションの種類を、画像処理によって解析し、特定する。なお、本実施形態において、対象となるアクションの種類は、予め定められたもの（例えば、「お手」、「お手受け」、「バイバイ」、「プルプル」の４種類）であるが、ロボット１が自律的に新たなアクションを抽出し獲得してもよい。また、ロボットの設計者やユーザが新たに加えても構わない。
【００３０】
アクション解析部１１は、人間２が行っているアクションの種類を特定すると、特定したアクションの種類及びそのアクションの発生時刻を示すアクション情報を出力する。アクション解析部１１が出力したアクション情報は、アクションログ記憶部１２に、ログ情報として逐次蓄積される。
【００３１】
制御部５は、ロボット１自身の自発的な行動であるイニシアティブアクションを発生させるためのイニシアティブアクション選択部１４を備えている。イニシアティブアクション選択部１４は、予め設定された複数種類のアクションの中からイニシアティブアクションとして出力するアクションを適宜選択する。イニシアティブアクション選択部１４によって選択された種類のアクションは、アクション生成部３によってロボット１の実際のアクションとして生成され、人間２に提示される。
【００３２】
また、イニシアティブアクション選択部１４は、選択したイニシアティブアクションの種類及びそのイニシアティブアクションの発生時刻を示すアクション情報を出力する。イニシアティブアクション選択部１４が出力したアクション情報は、アクションログ記憶部１２に、ログ情報として逐次蓄積される。
【００３３】
この結果、アクションログ記憶部１２には、ロボット１及び人間２が過去に行ったアクションの種類及びその発生時刻が記憶されることになる。
第１実施形態では、応答戦略獲得の学習時は、ロボット１をイニシエーターとし、人間２をリアクターとするため、前記アクションログ記憶部１２には、イニシエーターとしてのロボット１が行ったイニシアルアクションのログ情報と、リアクターとしての人間２が行ったリアクションのログ情報とが、ロボット１と人間２とのインタラクションの結果を示すログ情報として蓄積されることになる。
【００３４】
前記応答戦略獲得部１３は、アクションログ記憶部１２に記憶されたインタラクションのログ情報に基づいて、人間２の応答戦略を獲得するための処理を行う。応答戦略獲得部１３によって獲得した応答戦略は、リアクション選択部１５において用いられる。リアクション選択部１５は、人間２が行ったイニシアティブアクションに対するロボット１の適切なリアクションを、人間２の応答戦略の役割反転を行うことで選択する。
【００３５】
応答戦略獲得部１３は、リアクション発生確率を算出するリアクション発生確率算出部２１、リアクション発生確率からリアクション選択確率を推定するリアクション選択確率推定部２２、イニシアティブアクションとリアクションの相互情報量を算出する相互情報量算出部２３、最適なリアクション発生確率密度関数を探索する探索部２４、アクションログ記憶部１２に記憶されているアクションの重要度を算出する重要度算出部２５、アクション記憶部１２に記憶されているアクションのうち、重要なアクションを抽出する重要アクション抽出部２６を備えている。
以下、これらの機能について説明する。
【００３６】
［２．２ リアクション発生確率］
まず、ロボット１の取り得る単位動作（単位アクション）の集合をＡ＝｛ａ1，ａ2，・・・，ａm｝とし、人間２の取り得る単位動作の集合をＢ＝｛ｂ1，ｂ2，・・・，ｂm｝とする。本実施形態においては、４つの単位動作（ｍ＝４）を想定し、具体的には、例えば、Ａ＝｛ａ1：「お手」，ａ2：「お手受け」，ａ3：「バイバイ」，ａ4：「プルプル」｝、Ｂ＝｛ｂ1：「お手」，ｂ2：「お手受け」，ｂ3：「バイバイ」，ｂ4：「プルプル」｝である。
【００３７】
ここで、人間２の単位動作とロボット１の単位動作は身体的な対応関係を表す関数ｃが存在し、ｃ（ａi）＝ｂiを通して、一対一対応の関係が存在するものとする。また、ここでは、リアクションはイニシアティブアクションを原因として、時間遅れを伴い確率的に発生すると仮定する。
【００３８】
時刻ｔ0においてアクションａiが生じた際に、その後の時刻ｔにおいてそのアクションａｉをイニシアティブアクションとした何らかのリアクション（種類は問わない）が発生する確率密度Ｗaiを次のように定義する。
【数１】
これをリアクション発生確率密度と呼ぶこととする。このリアクション発生確率密度は、イニシアティブアクションの発生時刻から時間経過に従って発生確率が指数的に減衰する関数となっている。なお、τは時定数であり、この時定数の最適化については後述する。
【００３９】
リアクション発生確率算出部２１では、リアクション発生確率を、１ｓｔｅｐをΔｔ［ｓ］として、以下のように逐次的に更新することで計算する。ここで、ｓは連続時間をサンプリングしたときの離散時間ステップを指す。
【数２】
【００４０】
図３（ａ）は、上記式に基づいて算出される各イニシアティブアクションａi（ｉ：１〜ｍ及びφ）を原因とする何らかのリアクションの発生確率Ｗai,sの例を示している。例えば、イニシアティブａ1についてのリアクション発生確率Ｗa1,sは、イニシアティブａ1が発生した時点では、（Δｔ／τ）の値をとり、その後、時間経過とともに減衰する。
【００４１】
通常のイニシアティブアクションａi（ｉ：１〜ｍ）を原因とする何らかのリアクションの発生確率Ｗai,sは、上記のように、イニシアティブアクション発生から時間経過とともに減衰する特性を有するが、「何もしないアクション」ａφについてのリアクション発生確率Ｗa1,sは、時間経過にかかわらず一定値（＝λ）をとる。
ここで、「何もしないアクション」ａφｂφは、ヌルアクションとよび、イニシアティブアクションは、ヌルアクションを原因として発生するものとする。つまり、イニシアティブアクションは毎ステップにおいて、λの確率で発生するものとする。
【００４２】
なお、リアクション発生確率密度関数は、図３（ａ）のものに限られるわけではない。例えば、図３（ｂ）に示すようにイニシアティブアクション発生から所定時間Δｔ経過してから、リアクション発生確率がピークをとり、その後、減衰するものであってもよい。Δｔは、インタラクションにおいてイニシアティブアクションとリアクションとの間に通常生じる時間差に相当する程度の時間に設定するのが好ましく、具体的には、コンマ数秒程度とすることができる。
【００４３】
リアクション発生確率算出部２１は、アクションログ記憶部１２から、ロボット１が発生させたイニシアティブアクションａi（ｉ：１〜ｍ）の種類とその発生時刻の情報を取得し、図３のように、各イニシアティブアクションａi（ｉ：１〜ｍ及びφ）を原因とする何らかのリアクションの発生確率Ｗai,sを、複数種類のイニシアティブアクションａi（ｉ：１〜ｍ及びφ）それぞれについて求めて、出力する。
【００４４】
［２．３ リアクション選択確率の推定（応答戦略の獲得）］
本実施形態においては、リアクションの発生が決定した後に、その原因となったイニシアティブアクションの種類に依存して実際に出力されるリアクションの種類が選択されると仮定する。
イニシアティブアクションａiに対してリアクションｂjが出力される確率Ｚ（ｂj，ａi）をリアクション選択確率と呼ぶ。ロボット１のリアクション選択確率推定部２２は、このリアクション選択確率を、図１に示すように、ロボット１のイニシアティブアクションに対する人間２のリアクションを観測することによって、応答戦略として学習する。
【００４５】
一定時間のロボット１と人間２のインタラクションを通して、ロボット１のアクションログ情報ＡO＝（ａ（ｓ）｜ａ（ｓ）∈Ａ，ｓ∈Ｓa）および人間２のアクションログ情報ＢO＝（ｂ（ｓ）｜ｂ（ｓ）∈Ｂ，ｓ∈Ｓb）が得られ、これらのログ情報が、アクションログ記憶部１２に記憶されているものとする。ここで、Ｓa，Ｓbは、それぞれ、ロボット１と人間２がアクションを起こした時刻の集合である。
【００４６】
本実施形態においては、ロボット１のアクションをイニシアティブアクション、人間２のアクションをリアクションと仮定する。すると、人間（リアクター）２の各時刻のアクションｂjが、ロボット（イニシエーター）１のどのイニシアティブアクションａiを原因としているかを潜在変数として、人間２のリアクション出力についての不完全データの対数尤度Ｌは以下のようになる。なお、ｂ（ｓ）は、時刻ｓにおいて人間２が選択したアクションである。
【数３】
【００４７】
上記式を増加させるために、Ｚ（ｂ，ａ）の、更新則を下記のように定める。
【数４】
となる。
【００４８】
上式より、最尤のリアクション選択確率Ｚ（ｂj，ａi）の推定値（応答戦略）は、人間２のリアクションが発生する毎に、
【数５】
を求めて、その値を、それまでのリアクション選択確率Ｚ（ｂj，ａi）に足して、逐次的に更新することで求めることができる。
【００４９】
なお、上記式の値は、リアクション選択確率推定部２２が、そのリアクション発生時刻における、ロボット１の全ての種類のアクションａi（ｉ：１〜ｍ及びφ）についてのリアクション発生確率Ｗai,sを、リアクション発生確率算出部２１の出力から取得し、取得した出力に基づいて、上記式に従い演算することで得られる。
また、そのリアクション発生時刻における各アクションａi（ｉ：１〜ｍ及びφ）についてのリアクション発生確率Ｗai,sは、アクションログ記憶部１２から取得したリアクション発生時刻におけるリアクション発生確率密度関数の値を調べることで求めることができる。
【００５０】
リアクション選択確率推定部２２は、あるリアクションが発生すると、リアクション選択確率Ｚ（ｂj，ａi）の推定値（応答戦略）として、ロボット１の全ての種類のアクションａi（ｉ：１〜ｍ及びφ）それぞれについて更新する。
すなわち、例えば、人間２のリアクションｂ1が発生すると、Ｚ（ｂ1，ａ1），Ｚ（ｂ1，ａ2），Ｚ（ｂ1，ａ2），Ｚ（ｂ1，ａ4），Ｚ（ｂ1，ａφ）の全ての値が更新される。
【００５１】
本実施形態では、制御部５にカウント行列Ｍの記憶部（図示省略）を用意し、人間からのリアクションｂjが時刻ｓにおいて発生する毎に、全てのａi∈Ａ＋｛φ｝に対して、
【数６】
と足していく。このカウント行列Ｍは、時間遅れを伴うイニシアティブアクションａとリアクションｂの同時生起頻度であり、リアクション選択確率推定部２２では、これに基づいて応答戦略（リアクション選択確率）Ｚ（ｂ，ａ）の推定値Ｚ＾、及び、アクションａiとリアクションｂjの同時確率Ｐ（ｂj，ａi）を求める。
【数７】
【００５２】
［２．４ 役割反転による行動（リアクション）選択］
リアクション選択確率推定部２２によって獲得された応答戦略（最尤のリアクション選択確率の推定値）は、リアクション選択部１５に出力される。
【００５３】
役割反転により、人間２がイニシエーター、ロボット１がリアクターとなった場合、ロボット１のリアクション選択部１５は、獲得された応答戦略（リアクション選択確率の推定値）Ｚ＾（ｂi，ａi）と、身体動作の対応関係を表す関数ｃを用いて、人間２のイニシアティブアクションｂjに対する、ロボット１のリアクションａiの種類を、以下の確率Ｐ（ａi｜ｂj）で選択する。
【数８】
【００５４】
つまり、リアクション選択部１５は、上記式によって求めた確率が最も大きくなるリアクションを生成すべきアクションとして決定したり、上記式によって求めた確率でリアクションを確率的に決定したりすることができる。
【００５５】
リアクション選択部１５が、最終的に時間ステップｓにおいて、アクションａiを選択する確率は、
【数９】
となる。ここで、Ｗbj,sは、Ｗai,sと同様に、変化する人間の動作を原因としたリアクション発生確率密度である。
［２．５ 時定数τの探索］
応答戦略には、Ｗ内部の時定数τが関わるが、τについては、以下で定義するインタラクションの相互情報量（イニシアティブアクションとリアクションの相互情報量）を最大化するτを探索し決定する。
【数１０】
具体的には、探索部２４がτを所定の範囲で変化させて、変化させたτでの確率Ｐ（ｂ，ａ）（式８参照）や確率Ｐ（ａ）Ｐ（ｂ）（式１０参照）を求め、これらの確率から相互情報量算出部２３が、上記式に従い相互情報量Ｉ（Ｂ，Ａ）を算出し、相互情報量が最大となるτを決定する。
【００５６】
このような時定数τの探索は、与えられたインタラクション履歴（アクションログ）ＡO，ＢOが高い随伴性で生じていると解釈するためには、リアクションが、イニシアティブアクションに対して、どのくらいの遅れで生じるとするべきかを同定することと等価である。
なお、Ｗに関わるパラメータとしては、λもあり、これもτと同様に、相互情報量を最大化するように探索することができる。
【００５７】
［２．６ インタラクション実験］
上記第１実施形態に係るロボットおける制御部５の部分を実現する学習プログラムを、計算機上に実装し、シミュレーション実験を行った。その内容は、以下の通りである。
【００５８】
［２．６．１ 実験条件］
実験では、計算機上の画面に２つの犬の手を表し、これをユーザ（人間）とロボット（計算機の学習プログラム）が動かすことで相互作用を行う空間を設計した（図３の画面Ｄ参照）。図３の画面Ｄにおいて、左側手前がユーザの操作する手であり、右側奥がロボットの操作する手である。
【００５９】
ユーザはキーボードを押すことで予め設定された単位動作を出力することが出来る。アクションには、ａ1＝「お手」，ａ2＝「お手受け」，ａ3＝「バイバイ」，ａ4＝「プルプル」と名付けた四つの単位動作を設定した。本実験では、ユーザが操作する側の手も、ロボットが操作する側の手も同じであるので、ｂｉはａｉと同様に、ｂ1＝「お手」，ｂ2＝「お手受け」，ｂ3＝「バイバイ」，ｂ4＝「プルプル」と与えた。つまり、関数ｃは、ｂi＝c(ａi)である。
【００６０】
計算機のキーボードの１キーから４キーまでがそれぞれａ1〜ａ4に対応付けられており、ユーザがキーを押すと、遅滞なく選択された行動が開始され、ロボットは時間遅れも認識誤り無く瞬時にその行動（種類と発生時刻）を認識できるものとする。フレームレートは１０［Ｈｚ］とし、また、ロボットのカウント行列Ｍは、全要素の値を１×１０-5で初期化した。
【００６１】
実験者は、ロボットに対し、
１．「お手受け」に対して、「お手」をさせる行動
２．「バイバイ」に対して、「バイバイ」を返す行動
を学習することを求めた。被験者は、ロボットが「お手受け」をだしたときに、「お手」をし、ロボットが「バイバイ」をしたときに、「バイバイ」を返し、また、他の時には無規則に行動を表出した。
【００６２】
そのようなインタラクション系列に基づき．ロボットはカウント行列Ｍを更新することで時定数τリアクション選択確率（応答戦略）Ｚ（ｂj，ａi）を獲得する。また、Ｗに関わるパラメータはオフラインで同定するので、初期値としては、τ＝０．３、λ＝０．０１に設定した。
【００６３】
また、本実験では、応答戦略のパラメータ推定に焦点を当てる為、ロボットの行動出力については、式１０の生成モデルを直接用いることはせず、簡単の為、ロボットには、τ［ｓ］に一回リアクション出力を行わせ、そのリアクション選択は、獲得したリアクション選択確率に基づくという手法をとった。
【００６４】
［２．６．２ 実験結果］
インタラクションは約２６０秒行われ、その間ユーザは基本的に実験条件に示したような応答を示すよう心がけた。リアクション選択確率Ｚ（ｂj，ａi）の推定自体は、カウント行列Ｍに、徐々に値を足して行くことで単調的に同定される（式（６）参照）ため、過程は省略するが、最終的に得られたカウント行列Ｍをイニシアティブアクション毎に正規化することで得られるリアクション選択確率Ｚ＾を図４に示した。
【００６５】
図４において「ＮＵＬＬ」とあるのは、ヌルアクションを指す。図４より、イニシアティブアクションとしてのａ2＝「お手受け」の後にｂ1＝「お手」が出る確率、ａ3＝「バイバイ」の後にｂ3＝「バイバイ」が出る確率が高くなっていることがわかる。
【００６６】
このインタラクションで獲得したカウント行列Ｍの値を表１に示す。
【表１】
【００６７】
カウント行列Ｍの値は同時確率分布に比例するが、アクション「プルプル」は、発生頻度自体が小さく、被験者に指定した二つの組み合わせの発生頻度が特に大きいことがわかる。
【００６８】
また、このインタラクションの履歴を用いて、リアクション発生確率密度関数の時定数τの推定を行った。τを０．１［ｓ］から１０．０［ｓ］までの間で、０．０５［ｓ］刻みで変動させ、その結果として計算される時間遅れを考慮したリアクションとイニシアティブアクションの同時確率分布から、リアクション・イニシアティブアクション間の相互情報量を求めた。その結果を図５に示す。
【００６９】
図５では、横軸にτを対数軸でとり、縦軸に相互情報量をとっている。探索の結果、τ＝０．７５のとき、相互情報量が０．５１２となり最大となった。この相互情報量はリアクションがアクションに対して担っている情報量である。つまり、相互情報量を最大にするτを探索することは、ロボットがユーザのリアクションを最大限自らの行動に対する因果的な応答であると捉えようとすることを意味する。この最適τに基づいて、同様のインタラクション履歴から学習したリアクション選択確率Ｚ＾を図６に示す。
【００７０】
図６では、時定数を初期値のτとしていた図４よりも、イニシアティブアクションとリアクションの関係の曖昧性が薄れ、関係性がより顕著になっていることがわかる。
【００７１】
［２．６．３ アクションの重要度推定と重要アクションの抽出］
上記の説明においては、予め単位動作が与えられていることを前提としたが、自然な相互作用から様々な動作を獲得するロボットを生み出そうとすると、単位動作自体をロボット自身に獲得させる必要がある。この場合、インタラクション上、価値のない動作系列も単位動作として抽出される可能性がある。
【００７２】
先のインタラクション実験では、ａ4＝ｂ4＝「プルプル」が、そのようなインタラクション上無意味な動作（重要度が低いアクション）といえる。
一方、先のインタラクション実験での、ａ2＝「お手受け」、ｂ1＝「お手」、ａ3＝ｂ3＝「バイバイ」などは、インタラクション上重要なアクションである。なお、同じ「お手」、「お手受け」であっても、リアクションとしての「お手受け」やイニシアティブアクションとしての「お手」は重要でない点に留意すべきである。
【００７３】
インタラクション上動作とは、他社の行動を適切に制約づける動作（アクション）である。他者に無視され他者の行動に影響を与えない動作はインタラクション上重要でないと考えられる。よって、重要な動作（アクション）のみで形成されたインタラクションには高い情報的結合の存在が期待される。
そこで、重要度算出部２５は、アクションログ記憶部１２に記憶されているイニシアティブアクション及び／又はリアクションのうち、あるイニシアティブアクション・リアクションが最初から無かった（アクションログ記憶部１２に記憶されていない）と考えた場合の同時確率分布を計算し、その前後での相互情報量の変化によって、各アクションの重要度を算出する。
【００７４】
アクションログ記憶部１２に記憶されているイニシアティブアクション・リアクションのうちあるアクションを記憶部１２から削除した場合、もし削除したイニシアティブアクション・リアクションが二者間のインタラクションに重要であるなら、相互情報量は大きく減少し、重要でないならほぼ減少しない、もしくは増加するはずである。
【００７５】
あるイニシアティブアクションａiが最初から無かったと仮定するため、重要度算出部２５は、一旦生成したカウント行列Ｍから、列ａiを除いた新たな部分行列Ｍ’を生成する。この部分行列Ｍ’から生成される同時確率によって、相互情報量を計算する。リアクションｂjについても同様に行う。
【００７６】
元々（削除前）の相互情報量（第１相互情報量）をＩ（Ｂ；Ａ）、アクションａiを削ったインタラクションに基づく相互情報量（第２相互情報量）をＩ’（Ｂ；Ａ−｛ａi｝）で表す。リアクションについても同様である。
各イニシアティブアクションの重要度をΔａｃｔｉｏｎ（ａi）、各リアクションの重要度をΔｒｅａｃｔｉｏｎ（ｂi）、同時確率分布をＰ（ｂ，ａ）とすると、重要度算出部２５は、それぞれの重要度を下記式により算出する。
【数１１】
これらの重要度の値が大きいほど、イニシアティブアクションもしくはリアクションとしてインタラクション上重要であることを示す。
【００７７】
前記インタラクション実験の条件の下で、相互情報量を用いてイニシアティブアクション・リアクションの重要度推定を行った結果を図７に示す。
図７より、イニシアティブアクションとして重要なものは、ａ2＝「お手受け」，ａ3＝「バイバイ」であり、逆に重要でないものはａ1＝「お手」であることがわかる。
また、リアクションとして重要なものは、ｂ1＝「お手」，ｂ3＝「バイバイ」であり、学習重要でないのは、ｂ2＝「お手受け」であることがわかる。相互情報量を求める事９によって、重要度の推定が正しく行われていることがわかる。
【００７８】
重要アクション抽出部２６は、例えば、所定の閾値よりも重要度の値が大きいアクションを重要アクションとして抽出する。そして、リアクション選択確率推定部では、非重要アクションを除外し、重要アクションだけが発生したものとしてリアクション選択確率（応答戦略）を獲得し直すことで、より適切な推定が行える。
【００７９】
［３．第２実施形態］
第１実施形態における応答戦略の学習則は、発見的手法に基づいているが、第２実施形態では、ＥＭアルゴリズムにより、役割反転模倣を達成する。また、第２実施形態では、潜在変数としての「役割」（イニシエーターであるかリアクターであるかということ）を明示的に推定することで、ロボット１の学習フェーズと行動フェーズを分離することなく、人間２との実時間相互作用から応答戦略獲得を行う学習則を構築する。
【００８０】
なお、第２実施形態では、イニシアティブアクションを「ＩＡ」、リアクションを「ＲＡ」と略記することがある。
【００８１】
［３．１ ロボットの構成］
図８は、第２実施形態に係るロボット１の構成を示している。この第２実施形態では、リアクション選択確率推定部２２の機能が第１実施形態と異なっているほか、役割推定部２７が追加されている。第２実施形態において特に説明しない点は、第１実施形態のものと同様である。
【００８２】
［３．２ リアクション発生確率］
第２実施形態では、リアクション発生確率（時刻ｓにおいてイニシアティブアクションａiを原因とした何らかのリアクションが発生する確率）の関数を次のように定義する。
【数１２】
上記確率Ｗaに基づいて、イニシアルアクションから何らかのリアクションが発生するものとする。上記Ｗaを求める為には、各時刻のアクションａiが、イニシアティブアクションであるか否かを知る必要がある。
なお、第２実施形態では、集合Ａ，Ｂにヌルアクションａφ，ｂφを追加した集合を、Ａ’，Ｂ’とする。
【００８３】
第２実施形態では、ロボット２がイニシエーターであるという仮定をとらないため、ロボット２のアクションａiが、イニシアティブアクションであるか否かは、一般に、観測することができない潜在変数となる。あるアクションがイニシアティブアクションであるかリアクションであるかは、役割推定部２７によって推定される。この役割推定部２７については後述する。
【００８４】
［３．３ ＥＭアルゴリズムに基づくリアクション選択確率の推定（応答戦略の獲得）］
リアクション出力確率Ｗaに従い、リアクションの発生が決定した後に、原因となったイニシアティブアクションに依存し出力される具体的なリアクションの種類が確率的に選択される。
第２実施形態では、イニシアティブアクションａｉに対してリアクションｂｊが出力される確率であるリアクション選択確率Ｚ（ｂｊ，ａｉ）を、人間２のリアクションの観測に基づき、ＥＭ（Expectation-Maximization）アルゴリズムに従って学習する。
【００８５】
第２実施形態においても、一定時間のロボット１と人間２のインタラクションを通して、ロボット１のアクションログ情報ＡO＝（ａ（ｓ）｜ａ（ｓ）∈Ａ，ｓ∈Ｓa）および人間２のアクションログ情報ＢO＝（ｂ（ｓ）｜ｂ（ｓ）∈Ｂ，ｓ∈Ｓb）が得られ、これらのログ情報が、アクションログ記憶部１２に記憶される。
【００８６】
ロボット１が人間２の応答戦略を学習すると対数尤度Ｌは、以下の様になる。
【数１３】
これを最大化する事でロボット１は、未知パラメータである人間２のリアクション選択確率を推定し、それを反転することで人間２の応答戦略を学習することができる。
【００８７】
このとき、ＢOのうちのどのアクションが、ＡOのどのアクションを原因として起きたかが分からないという部分観測性が問題となる。このような潜在変数を持つ尤度最大化問題は、ＥＭアルゴリズムを用いる事で解くことが出来る。これは第１実施形態において用いた学習則よりもより理論的であり、正確なものである。ただし一定期間のインタラクションデータを記録してからのバッチ更新となる。
【００８８】
ＥＭアルゴリズムとは、Ｅ（Ｅｘｐｅｃｔａｔｉｏｎ）ステップと、Ｍ（Ｍａｘｉｍｉｚａｔｉｏｎ）ステップとを反復することで、解を更新する手法である。Ｅステップでは、完全データの対数尤度関数Ｌの事後確率による期待値（Ｑ関数）を計算し、Ｍステップでは、Ｑ関数の未知パラメータＺに関する最大化を行う。
【００８９】
ここでは、Ｑ関数を以下のように定義する。
【数１４】
【００９０】
ここで、Ｚ(t)は、ｔ反復での未知パラメータ推定値、Ｐb（ａi｜ｂ（ｓ），ｓ）を時刻ｓでｂ（ｓ）が生じた際にその原因がａiである確率とする（Ｅステップに相当）。これより、更新式は下記の通りとなる。
【００９１】
【数１５】
【００９２】
ここで、Ｓbjは、Ｓｂのうち、出力アクションがｂjであるものの集合である。Ｍ(t+1)は、ＩＡ−ＲＡ関係の頻度の数え上げに相当し、Ｊ(t+1)は同時確率分布の推定値に相当する。
第２実施形態のリアクション選択確率推定部２２では、上記のＥＭアルゴリズムに基づいて、リアクション選択確率の算出を行う。
【００９３】
［３．４ 役割推定とリアクション出力確率（発生確率）の推定］
リアクション選択確率の推定は、リアクション発生確率Ｗaが決定すれば、上記のようにＥＭアルゴリズムで漸近的に推定出来るが、どのアクションがイニシアティブアクションであるかはターンテイクが動的に生じるインタラクション中では明確ではなく、結果的にリアクション出力確率（発生確率）Ｗaも確定的には決定できない。
【００９４】
よって、ＥＭアルゴリズムのＥステップにおいて、同時に、どのアクションがイニシアティブアクションであるかを推定する必要がある。前記Ｐｂの逆に、ロボット１のｓステップ目のアクションａ（ｓ）が人間２の動作ｂiへのリアクションである確率をＰa（ｂi｜ａ（ｓ），ｓ）とする。
このとき、Ｐa（ｂi｜ａ（ｓ），ｓ）は以下のようになる。
【数１６】
【００９５】
これらを用い、第２実施形態のリアクション発生確率算出部２１では、
【数１７】
として、各時刻ｓのリアクション出力確率（発生確率）を逐次的に推定する。この推定値は、リアクション選択確率推定部２２で行われるＥＭアルゴリズムの更新に利用される。
【００９６】
［３．５ 役割反転による行動（リアクション）選択］
前述の役割推定部２７では、ロボット１又は人間２が発生させる各アクションについて、リアクション発生確率算出部２１にて算出される前述のＰa（ｂi｜ａ（ｓ），ｓ）、Ｐb（ａi｜ｂ（ｓ），ｓ）を参照することとで、それぞれのアクションが、イニシアティブアクションなのかリアクションなのかを推定する。
【００９７】
つまり、役割推定部２７では、人間２があるアクションｂ（ｓ）を行った場合、ａｒｇｍａｘiＰb（ａi｜ｂ（ｓ），ｓ）［Ｐb（ａi｜ｂ（ｓ），ｓ）が最大となるアクションの種類ｉ］がφであれば、当該アクションｂ（ｓ）はイニシアティブアクションと推定する。また、φ以外であれば、当該アクションｂ（ｓ）はリアクションであると推定する。
同様に、ロボット１があるアクションａ（ｓ）を行った場合、ａｒｇｍａｘiＰa（ｂi｜ａ（ｓ），ｓ）がφであれば、当該アクションａ（ｓ）はイニシアティブアクションと推定し、それ以外であればリアクションと推定する。
【００９８】
この役割推定部２７によって、ロボット１と人間２の役割（イニシエータかリアクターか）が仮定されていなくても、発生したアクションがイニシアティブアクションかリアクションかを推定することができる。したがって、ロボット２のアクションに対する人間２のリアクション発生確率Ｗaを算出することが可能であり、この結果、リアクション選択確率も推定することができる。
【００９９】
［３．６ 役割反転による行動（リアクション）選択］
第２実施形態においても、リアクション選択確率推定部２２によって獲得された応答戦略は、リアクション選択部１５に出力される。
【０１００】
ロボット１のリアクション選択部１５は、獲得された応答戦略Ｚ＾（ｂi，ａi）と、身体動作の対応関係を表す関数ｃを用いて、人間２のアクションｂjがイニシアティブアクションであった場合、そのアクションｂjに対する、ロボット１のリアクションａiの種類を、以下の確率Ｐ（ａi｜ｂj）で選択する。
【数１８】
【０１０１】
リアクション選択部１５が、最終的に時間ステップｓにおいて、アクションａiを選択する確率は、
【数１９】
となる。
【０１０２】
［３．７ インタラクション実験］
上記第２実施形態に係るロボットおける制御部１１の部分を実現する学習プログラムを、計算機上に実装し、シミュレーション実験を行った。その内容は、以下の通りである。
【０１０３】
［３．７．１ 実験条件］
実験条件は、［２．６．１ 実験条件］に示す条件とほぼ同じである。ただし、ロボット１がリアクションを出力する頻度は、約２［ｓ］とした。また、τ＝０．２，λ＝０．００１とした。
【０１０４】
［３．７．２ 実験結果］
インタラクションは、約３００秒行われ、その間、ユーザは基本的に実験条件に応じた応答を示すよう心がけた。この実験で、ＥＭアルゴリズムは５回繰り返した。得られたリアクション選択確率Ｚ（ｂj，ａi）を図９に示す。図９より、特に、「お手受け」、「バイバイ」に対し、それぞれ「お手」と「バイバイ」を返す応答戦略が適切に獲得されていることがわかる。
【０１０５】
また、λ、τの値を相互情報量を最大化させるように探索した。相互情報量は、下記のように同時確率分布Ｊ（ｂ，ａ）から計算される。
【数２０】
【０１０６】
図１０に示すように、相互情報量は、λ＝０．０１、τ＝０．５周辺で最大化された。
【０１０７】
また、役割推定も十分な精度で行われていた。役割推定の典型的な結果の一部を表２に示す。
【表２】
【０１０８】
上記表２には、全ステップのうち、（１）６１３〜６３０ステップと、（２）１３２６〜１３３１ステップの推定結果を示している。何も動作が生じなかった時間帯については表示を省略している。
（１）６１３〜６３０ステップでは、はじめ、ユーザが「お手受け」を出した後に、ロボットが「お手」をした際に、ユーザの「お手受け」がイニシアティブアクション、ロボットの「お手」がリアクションと推定されている。
【０１０９】
その後、０．６秒後に、ロボットが「バイバイ」を出しているが、これはユーザの「お手受け」に対するリアクションとは解釈されずに、イニシアティブアクションと推定されている。その後のユーザの「バイバイ」は、ロボットの「バイバイ」に対するリアクションと推定されている。
これにより、実時間的にターンテイクが行われ、かつそれの役割の交代がロボットに正しく認識されていることがわかる。
【０１１０】
（２）ではロボットが「お手受け」をした後に続けて「お手」を出しているが、その直後０．２秒後にユーザから出された「お手」は、その時点でロボットが出している「お手」ではなく、その直前に出した「お手受け」に対するものであると、ロボットが解釈できていることを示している。
【０１１１】
［４．付記］
なお、上記において開示した事項は、例示であって、本発明を限定するものではなく、様々な変形が可能である。
【符号の説明】
【０１１２】
１ ロボット
２ 人間
３ アクション生成部
４ 撮像部
５ 制御部
１１ アクション懐石部
１２ アクションログ記憶部
１３ 応答戦略獲得部（応答戦略獲得装置）
１４ リアクション選択部（リアクション選択装置）
２１ リアクション発生確率算出部
２２ 役割推定部
２３ 相互情報量算出部
２４ 探索部
２５ 重要度算出部
２６ 重要アクション抽出部
２７ 役割推定部
【技術分野】
【０００１】
本発明は、応答戦略獲得装置、リアクション選択装置、コンピュータプログラム、及びロボットに関するものである。
【背景技術】
【０００２】
Tmaselloは、子供がことば（記号）を覚える社会的能力の一部を説明するために役割反転模倣（Role Reversal imitation）という言葉を用いている(非特許文献１参照)。
役割反転模倣とは，共同行為を達成するにあたり対象への役割を反転し模倣することである。例えば、二者間のインタラクションであっても、バイバイに対してバイバイを返す事は、この二つで初めて一つの共同行為が達成されたと捉える事できる。
【０００３】
このような共同行為を学習する際にお互いの役割を反転する事で、学習者はその行為の社会的な利用方法を学んでいく事が出来ると考えられる。
【０００４】
栗山らは、乳児の親子間のやりとりに注目して、やりとり規則を適応的に獲得する手法を研究した（非特許文献２，３参照）。ロボットのメッセージ性のある行動に対しては、随伴性のある行動が現れるはずなので直後の行動が予想しやすくなるという仮定を置き、移動エントロピーを用いてやりとり規則を予想した。栗山らは、明示的なやりとり規則の教示なしに養育者とのインタラクションからメッセージ性のある行動を発見し、やりとり規則を一定程度獲得できることを示した。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】マイケル・トマセロ，心とことばの起源を探る，勁草書房，2006
【非特許文献２】T. Kuriyama and Y. Kuniyoshi. Acquisition of Human-Robot Interaction Rules via Imitation and Response Observation. In Proceedings of the 10th international conference on Simulation of Adaptive Behavior: From Animals to Animats, pp.467-476.Springer, 2008.
【非特許文献３】栗山貴国，國吉康夫，模倣からの伝達行動の抽出に基づくやりとり規則の適応的獲得，ｐｐ．1252−1253，2007．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、栗山らのモデルでは自分の文脈と直後の養育者の文脈を観察する事によってロボットの行動を決定しているため、養育者の直近の行動に対するやりとり規則しか獲得する事ができない。現実のインタラクションは実時間的であり、他者のどの行動が自らの何秒前の行動に対するリアクションであるかは不明確である。
【０００７】
また，与えられた単位行動の内のどの行動がインタラクション上有意義であるかを明示的に知る事は出来ない。
そこで、本発明は、これらの問題に対応するために役割反転模倣の考え方に基づきながら、アクションからリアクションが生成される関係を確率モデルとして捉えて、この確率モデルを同定することで、ロボットが自律的に応答戦略を獲得できるようにすることを目的とする。
また、本発明の他の目的は、インタラクションにおいて、どのアクションがどのアクションに対するリアクションであったか、また、アクションがイニシアティブアクションであるか否かといった役割推定を行うことを可能とすることにある。役割推定を行うことで、リアクションに対してさらにリアクションするということを防止し、イニシアティブアクションに対してのみリアクションする、ということが可能となる。
【課題を解決するための手段】
【０００８】
本発明は、イニシエーターが行ったイニシアティブアクションに対するリアクターのリアクションを観測することで、イニシアティブアクションに対するリアクションの出力の仕方を示す応答戦略を獲得する応答戦略獲得装置であって、あるイニシアティブアクションを原因とする何らかのリアクションが、ある時刻において発生する確率を示すリアクション発生確率を、時間とリアクション発生確率との関係を規定したリアクション発生確率密度関数に基づいて算出する発生確率算出部と、あるイニシアティブアクションに対して何らかのリアクションが発生することが決定した場合における、当該イニシアティブアクションに依存して特定の種類のリアクションがリアクターによって選択される選択確率を推定することで、イニシアティブアクションに対するリアクションの出力の仕方を示す応答戦略を獲得する選択確率推定部と、を備え、前記選択確率推定部は、複数の種類のイニシアティブアクションそれぞれをリアクションの発生原因とした場合の当該リアクションの発生時刻におけるリアクション発生確率を、当該複数の種類のイニシアティブアクションそれぞれの発生時刻及び当該リアクションの発生時刻に基づき、前記発生確率算出部を介して取得し、これらのリアクション発生確率に基づいて、当該リアクションの前記選択確率を、当該複数の種類のイニシアティブアクションそれぞれについて算出するよう構成されていることを特徴とする応答戦略獲得装置である。
また，リアクション発生確率密度関数とリアクション選択確率を用いる事で役割推定、すなわち、アクションがイニシアティブアクションであるか、リアクションであるかを判定でき、これにより、事前にどちらがイニシエーターであり、どちらがリアクターであるかが分からなくてもロボットが学習することが可能となる。
【０００９】
前記リアクション発生確率密度関数は、イニシアティブアクション発生後から時間経過に伴ってリアクション発生確率が減衰するよう規定されたものを用いることができる。ここで、上記「イニシアティブアクション発生後から時間経過に伴ってリアクション発生確率が減衰する」とは、イニシアティブアクション発生直後から直ちにリアクション発生確率が減衰する場合に限らず、イニシアティブアクション発生から所定の時間（例えば、コンマ数秒後；自然なインタラクションにおいてアクション間に生じる時間差に相当する時間）経過後にピークがきて、その後、減衰するものであってもよい。
【００１０】
前記リアクション発生確率密度関数を変化させて、発生したイニシアティブアクションとリアクションとの間の相互情報量が最大となるリアクション発生確率密度関数を探索する探索部を更に備え、前記発生確率算出部は、前記相互情報量が最大となるリアクション発生確率密度関数に基づいて、リアクション発生確率を算出することができる。
【００１１】
複数の種類のイニシアティブアクション及び／又はリアクションの重要度を推定する重要度推定部を更に備え、前記重要度推定部は、発生したイニシアティブアクションとリアクションとの間の第１相互情報量と、発生した複数の種類のイニシアティブアクション及び／又はリアクションのうち一部のアクションが存在しないものと仮定した場合のイニシアティブアクションとリアクションとの間の第２相互情報量と、の差に基づいて、存在しないものと仮定した前記一部のアクションの重要度を算出することができる。
【００１２】
発生したイニシアティブアクション及び／又はリアクションのうち、応答戦略獲得の対象となる重要アクションを抽出する重要アクション抽出部を更に備え、前記重要アクション抽出部は、発生したイニシアティブアクション及び／又はリアクションそれぞれについて算出された前記重要度に基づいて、重要アクションを抽出することができる。
【００１３】
前記選択確率算出部は、ＥＭ（Expectation-Maximization）アルゴリズムに基づいて、前記選択確率を算出することができる。
【００１４】
発生したアクションがイニシアティブアクションであるかリアクションであるかを推定する役割推定部を更に備え、前記役割推定部は、発生したアクションをリアクションと仮定して、リアクションであると仮定した当該アクションの前記選択確率を推定し、推定した前記選択確率に基づいて、当該アクションの原因となったイニシアティブアクションを推定し、推定したイニシアティブアクションが「何もしないアクション」である場合には、当該アクションはイニシアティブアクションであると推定し、その他の場合には、当該アクションはリアクションであると推定することができる。この場合、インタラクションにおける一方側と他方側の役割を推定でき、応答戦略獲得装置をインタラクション解析装置として機能させることができる。
【００１５】
他の観点からみた本発明は、観測されたイニシアティブアクションに対するリアクションの選択を行うリアクション選択装置であって、前記応答戦略獲得装置によって応答戦略として獲得した前記選択確率を用いて、観測されたイニシアティブアクションに対するリアクションの選択を行うことを特徴とするリアクション選択装置である。
【００１６】
他の観点からみた本発明は、コンピュータを、前記応答戦略獲得装置として機能させるためのコンピュータプログラムである。
【００１７】
他の観点からみた本発明は、コンピュータを、前記リアクション選択装置として機能させるためのコンピュータプログラムである。
【００１８】
他の観点からみた本発明は、前記応答戦略獲得装置及び前記リアクション選択装置（２２）を備え、前記リアクション選択装置によって選択されたリアクションを生成するリアクション生成部を備えていることを特徴とするロボットである。
【発明の効果】
【００１９】
本発明によれば、ロボットが自律的に応答戦略を獲得することができる。
【図面の簡単な説明】
【００２０】
【図１】役割反転模倣の概念図である。
【図２】第１実施形態に係るロボットの内部構成を示すブロック図である。
【図３】図３（ａ）はイニシアティブアクションからリアクションが確率的に発生する発生確率モデルの概要図であり、図３（ｂ）はリアクション発生確率密度関数の他の例である。
【図４】学習後のリアクション選択確率の棒グラフである。
【図５】τによる相互情報量の推移を示すグラフである。
【図６】最適τに基づいて推定されたリアクション選択確率の棒グラフである。
【図７】相互情報量によって推定された重要度を示す棒グラフである。
【図８】第２実施形態に係るロボットのブロック図である。
【図９】学習後のリアクション選択確率の棒グラフである。
【図１０】λ、τによる相互情報量の変化を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の好ましい実施形態について添付図面を参照しながら説明する。
【００２２】
［１．役割反転模倣の概念と定義］
本実施形態に係る自律型ロボット１は、人間２との自然なインタラクションを通じて、人間の応答戦略を獲得する。
前記ロボット１は、人間の動作自体を模倣するのではなく、人間２が行っている動作（アクション）に対して自身がどのような動作を返せば良いか、つまり応答戦略を模倣により獲得する。ただし、ロボット１は、時間については連続的な時間で行動するが、動作については既に幾つかの動作単位（例えば、「お手」、「お手受け」、「バイバイ」、「プルプル」など）を持っており、状況に合わせてそれらを選択し表出しているものとする。
【００２３】
図１に示すように、一つの共同行為として見たインタラクションは、自発的な動作とそれに対する応答としての動作により成り立っている。ここでは、前者を「イニシアティブアクション」と呼び、後者を「リアクション」と呼ぶ。イニシアティブアクションとリアクションを包含していう場合、単に「アクション」という。
また、イニシアティブアクション側を「イニシエーター」、リアクションを行う側を「リアクター」と呼ぶ。
一つの共同行為を実現するためには、二者がこれらの役割を担い適切な動作を出力する必要がある。ここででは、イニシエーターとリアクターの役割を反転する事を「役割反転」とし、ロボット自らのイニシアティブアクションに対する人間のリアクションの仕方を人間の「応答戦略」と呼ぶ。
そして、この二つの役割を模倣し、それらを反転する事により適切な行動生成（リアクション選択）を行えるようになる過程を「役割反転模倣」と呼ぶ。
【００２４】
このような学習は．明示的にどのアクションがどのアクションに対するリアクションなのか、といったような関係づけが明示的になされている系では比較的簡単に達成しうる。しかし、人間とロボットのインタラクションが連続時間で行われ．かつ役割が明示的に与えられないような場合の学習は決して自明ではない。以下の実施形態では、イニシアティブアクションに対するリアクションの発生を確率的な生成モデルに基づいてモデル化する事で、ロボットの学習フェーズと行動フェーズを分離することなく、人間との実時間相互作用から応答戦略獲得を行う学習則を構築する。
【００２５】
［２．第１実施形態］
［２．１ ロボットの構成］
ロボット１は、動作（アクション）を生成可能なロボット本体に、カメラなどの撮像部４及び制御部５などを搭載して構成されている（図２参照）。
ロボット本体は、例えば、人間型、動物型などの形状に構成され、モータなどのアクチュエータ（アクション生成部３）によって実際の人間・動物の動作に類似した動作を行うことができる。
【００２６】
撮像部４は、インタラクションにおける相手方（人間２）を撮像した画像を取得するためのものである。撮像部４によって取得した画像は、制御部５に与えられ、画像処理が行われる。人間の動作を獲得するための装置は、撮像部４に限られるものではなく、人間の動作を取得できるものであれば、機械式モーションキャプチャやジャイロセンサーなど他の入力装置であっても構わない。
【００２７】
制御部５は、ＣＰＵ及び記憶装置などを有するコンピュータによって構成されており、撮像部４によって取得した画像の画像処理及びロボット本体の制御などのロボットに必要とされる情報処理を行う。制御部（コンピュータ）５は、以下に説明する応答戦略獲得及び行動戦略などの機能を、当該コンピュータに実行させるためのコンピュータプログラムを有している。なお、画像処理は、制御部５とは別の画像処理プロセッサで行い、処理結果を制御部５が取得するようにしてもよいが、本実施形態では制御部５が行うものとする。
【００２８】
図２に示すように、制御部５は、アクション解析部１１、ロボット＆人間のアクションログ記憶部１２、応答戦略獲得部（応答戦略獲得装置）１３、イニシアティブアクション選択部１４、リアクション選択部（リアクション選択装置）１５としての機能を有している。これらの機能は、コンピュータプログラムによって実現される。
【００２９】
アクション解析部１１は、撮像部４によって取得した画像から、人間２が行っているアクションの種類を、画像処理によって解析し、特定する。なお、本実施形態において、対象となるアクションの種類は、予め定められたもの（例えば、「お手」、「お手受け」、「バイバイ」、「プルプル」の４種類）であるが、ロボット１が自律的に新たなアクションを抽出し獲得してもよい。また、ロボットの設計者やユーザが新たに加えても構わない。
【００３０】
アクション解析部１１は、人間２が行っているアクションの種類を特定すると、特定したアクションの種類及びそのアクションの発生時刻を示すアクション情報を出力する。アクション解析部１１が出力したアクション情報は、アクションログ記憶部１２に、ログ情報として逐次蓄積される。
【００３１】
制御部５は、ロボット１自身の自発的な行動であるイニシアティブアクションを発生させるためのイニシアティブアクション選択部１４を備えている。イニシアティブアクション選択部１４は、予め設定された複数種類のアクションの中からイニシアティブアクションとして出力するアクションを適宜選択する。イニシアティブアクション選択部１４によって選択された種類のアクションは、アクション生成部３によってロボット１の実際のアクションとして生成され、人間２に提示される。
【００３２】
また、イニシアティブアクション選択部１４は、選択したイニシアティブアクションの種類及びそのイニシアティブアクションの発生時刻を示すアクション情報を出力する。イニシアティブアクション選択部１４が出力したアクション情報は、アクションログ記憶部１２に、ログ情報として逐次蓄積される。
【００３３】
この結果、アクションログ記憶部１２には、ロボット１及び人間２が過去に行ったアクションの種類及びその発生時刻が記憶されることになる。
第１実施形態では、応答戦略獲得の学習時は、ロボット１をイニシエーターとし、人間２をリアクターとするため、前記アクションログ記憶部１２には、イニシエーターとしてのロボット１が行ったイニシアルアクションのログ情報と、リアクターとしての人間２が行ったリアクションのログ情報とが、ロボット１と人間２とのインタラクションの結果を示すログ情報として蓄積されることになる。
【００３４】
前記応答戦略獲得部１３は、アクションログ記憶部１２に記憶されたインタラクションのログ情報に基づいて、人間２の応答戦略を獲得するための処理を行う。応答戦略獲得部１３によって獲得した応答戦略は、リアクション選択部１５において用いられる。リアクション選択部１５は、人間２が行ったイニシアティブアクションに対するロボット１の適切なリアクションを、人間２の応答戦略の役割反転を行うことで選択する。
【００３５】
応答戦略獲得部１３は、リアクション発生確率を算出するリアクション発生確率算出部２１、リアクション発生確率からリアクション選択確率を推定するリアクション選択確率推定部２２、イニシアティブアクションとリアクションの相互情報量を算出する相互情報量算出部２３、最適なリアクション発生確率密度関数を探索する探索部２４、アクションログ記憶部１２に記憶されているアクションの重要度を算出する重要度算出部２５、アクション記憶部１２に記憶されているアクションのうち、重要なアクションを抽出する重要アクション抽出部２６を備えている。
以下、これらの機能について説明する。
【００３６】
［２．２ リアクション発生確率］
まず、ロボット１の取り得る単位動作（単位アクション）の集合をＡ＝｛ａ1，ａ2，・・・，ａm｝とし、人間２の取り得る単位動作の集合をＢ＝｛ｂ1，ｂ2，・・・，ｂm｝とする。本実施形態においては、４つの単位動作（ｍ＝４）を想定し、具体的には、例えば、Ａ＝｛ａ1：「お手」，ａ2：「お手受け」，ａ3：「バイバイ」，ａ4：「プルプル」｝、Ｂ＝｛ｂ1：「お手」，ｂ2：「お手受け」，ｂ3：「バイバイ」，ｂ4：「プルプル」｝である。
【００３７】
ここで、人間２の単位動作とロボット１の単位動作は身体的な対応関係を表す関数ｃが存在し、ｃ（ａi）＝ｂiを通して、一対一対応の関係が存在するものとする。また、ここでは、リアクションはイニシアティブアクションを原因として、時間遅れを伴い確率的に発生すると仮定する。
【００３８】
時刻ｔ0においてアクションａiが生じた際に、その後の時刻ｔにおいてそのアクションａｉをイニシアティブアクションとした何らかのリアクション（種類は問わない）が発生する確率密度Ｗaiを次のように定義する。
【数１】
これをリアクション発生確率密度と呼ぶこととする。このリアクション発生確率密度は、イニシアティブアクションの発生時刻から時間経過に従って発生確率が指数的に減衰する関数となっている。なお、τは時定数であり、この時定数の最適化については後述する。
【００３９】
リアクション発生確率算出部２１では、リアクション発生確率を、１ｓｔｅｐをΔｔ［ｓ］として、以下のように逐次的に更新することで計算する。ここで、ｓは連続時間をサンプリングしたときの離散時間ステップを指す。
【数２】
【００４０】
図３（ａ）は、上記式に基づいて算出される各イニシアティブアクションａi（ｉ：１〜ｍ及びφ）を原因とする何らかのリアクションの発生確率Ｗai,sの例を示している。例えば、イニシアティブａ1についてのリアクション発生確率Ｗa1,sは、イニシアティブａ1が発生した時点では、（Δｔ／τ）の値をとり、その後、時間経過とともに減衰する。
【００４１】
通常のイニシアティブアクションａi（ｉ：１〜ｍ）を原因とする何らかのリアクションの発生確率Ｗai,sは、上記のように、イニシアティブアクション発生から時間経過とともに減衰する特性を有するが、「何もしないアクション」ａφについてのリアクション発生確率Ｗa1,sは、時間経過にかかわらず一定値（＝λ）をとる。
ここで、「何もしないアクション」ａφｂφは、ヌルアクションとよび、イニシアティブアクションは、ヌルアクションを原因として発生するものとする。つまり、イニシアティブアクションは毎ステップにおいて、λの確率で発生するものとする。
【００４２】
なお、リアクション発生確率密度関数は、図３（ａ）のものに限られるわけではない。例えば、図３（ｂ）に示すようにイニシアティブアクション発生から所定時間Δｔ経過してから、リアクション発生確率がピークをとり、その後、減衰するものであってもよい。Δｔは、インタラクションにおいてイニシアティブアクションとリアクションとの間に通常生じる時間差に相当する程度の時間に設定するのが好ましく、具体的には、コンマ数秒程度とすることができる。
【００４３】
リアクション発生確率算出部２１は、アクションログ記憶部１２から、ロボット１が発生させたイニシアティブアクションａi（ｉ：１〜ｍ）の種類とその発生時刻の情報を取得し、図３のように、各イニシアティブアクションａi（ｉ：１〜ｍ及びφ）を原因とする何らかのリアクションの発生確率Ｗai,sを、複数種類のイニシアティブアクションａi（ｉ：１〜ｍ及びφ）それぞれについて求めて、出力する。
【００４４】
［２．３ リアクション選択確率の推定（応答戦略の獲得）］
本実施形態においては、リアクションの発生が決定した後に、その原因となったイニシアティブアクションの種類に依存して実際に出力されるリアクションの種類が選択されると仮定する。
イニシアティブアクションａiに対してリアクションｂjが出力される確率Ｚ（ｂj，ａi）をリアクション選択確率と呼ぶ。ロボット１のリアクション選択確率推定部２２は、このリアクション選択確率を、図１に示すように、ロボット１のイニシアティブアクションに対する人間２のリアクションを観測することによって、応答戦略として学習する。
【００４５】
一定時間のロボット１と人間２のインタラクションを通して、ロボット１のアクションログ情報ＡO＝（ａ（ｓ）｜ａ（ｓ）∈Ａ，ｓ∈Ｓa）および人間２のアクションログ情報ＢO＝（ｂ（ｓ）｜ｂ（ｓ）∈Ｂ，ｓ∈Ｓb）が得られ、これらのログ情報が、アクションログ記憶部１２に記憶されているものとする。ここで、Ｓa，Ｓbは、それぞれ、ロボット１と人間２がアクションを起こした時刻の集合である。
【００４６】
本実施形態においては、ロボット１のアクションをイニシアティブアクション、人間２のアクションをリアクションと仮定する。すると、人間（リアクター）２の各時刻のアクションｂjが、ロボット（イニシエーター）１のどのイニシアティブアクションａiを原因としているかを潜在変数として、人間２のリアクション出力についての不完全データの対数尤度Ｌは以下のようになる。なお、ｂ（ｓ）は、時刻ｓにおいて人間２が選択したアクションである。
【数３】
【００４７】
上記式を増加させるために、Ｚ（ｂ，ａ）の、更新則を下記のように定める。
【数４】
となる。
【００４８】
上式より、最尤のリアクション選択確率Ｚ（ｂj，ａi）の推定値（応答戦略）は、人間２のリアクションが発生する毎に、
【数５】
を求めて、その値を、それまでのリアクション選択確率Ｚ（ｂj，ａi）に足して、逐次的に更新することで求めることができる。
【００４９】
なお、上記式の値は、リアクション選択確率推定部２２が、そのリアクション発生時刻における、ロボット１の全ての種類のアクションａi（ｉ：１〜ｍ及びφ）についてのリアクション発生確率Ｗai,sを、リアクション発生確率算出部２１の出力から取得し、取得した出力に基づいて、上記式に従い演算することで得られる。
また、そのリアクション発生時刻における各アクションａi（ｉ：１〜ｍ及びφ）についてのリアクション発生確率Ｗai,sは、アクションログ記憶部１２から取得したリアクション発生時刻におけるリアクション発生確率密度関数の値を調べることで求めることができる。
【００５０】
リアクション選択確率推定部２２は、あるリアクションが発生すると、リアクション選択確率Ｚ（ｂj，ａi）の推定値（応答戦略）として、ロボット１の全ての種類のアクションａi（ｉ：１〜ｍ及びφ）それぞれについて更新する。
すなわち、例えば、人間２のリアクションｂ1が発生すると、Ｚ（ｂ1，ａ1），Ｚ（ｂ1，ａ2），Ｚ（ｂ1，ａ2），Ｚ（ｂ1，ａ4），Ｚ（ｂ1，ａφ）の全ての値が更新される。
【００５１】
本実施形態では、制御部５にカウント行列Ｍの記憶部（図示省略）を用意し、人間からのリアクションｂjが時刻ｓにおいて発生する毎に、全てのａi∈Ａ＋｛φ｝に対して、
【数６】
と足していく。このカウント行列Ｍは、時間遅れを伴うイニシアティブアクションａとリアクションｂの同時生起頻度であり、リアクション選択確率推定部２２では、これに基づいて応答戦略（リアクション選択確率）Ｚ（ｂ，ａ）の推定値Ｚ＾、及び、アクションａiとリアクションｂjの同時確率Ｐ（ｂj，ａi）を求める。
【数７】
【００５２】
［２．４ 役割反転による行動（リアクション）選択］
リアクション選択確率推定部２２によって獲得された応答戦略（最尤のリアクション選択確率の推定値）は、リアクション選択部１５に出力される。
【００５３】
役割反転により、人間２がイニシエーター、ロボット１がリアクターとなった場合、ロボット１のリアクション選択部１５は、獲得された応答戦略（リアクション選択確率の推定値）Ｚ＾（ｂi，ａi）と、身体動作の対応関係を表す関数ｃを用いて、人間２のイニシアティブアクションｂjに対する、ロボット１のリアクションａiの種類を、以下の確率Ｐ（ａi｜ｂj）で選択する。
【数８】
【００５４】
つまり、リアクション選択部１５は、上記式によって求めた確率が最も大きくなるリアクションを生成すべきアクションとして決定したり、上記式によって求めた確率でリアクションを確率的に決定したりすることができる。
【００５５】
リアクション選択部１５が、最終的に時間ステップｓにおいて、アクションａiを選択する確率は、
【数９】
となる。ここで、Ｗbj,sは、Ｗai,sと同様に、変化する人間の動作を原因としたリアクション発生確率密度である。
［２．５ 時定数τの探索］
応答戦略には、Ｗ内部の時定数τが関わるが、τについては、以下で定義するインタラクションの相互情報量（イニシアティブアクションとリアクションの相互情報量）を最大化するτを探索し決定する。
【数１０】
具体的には、探索部２４がτを所定の範囲で変化させて、変化させたτでの確率Ｐ（ｂ，ａ）（式８参照）や確率Ｐ（ａ）Ｐ（ｂ）（式１０参照）を求め、これらの確率から相互情報量算出部２３が、上記式に従い相互情報量Ｉ（Ｂ，Ａ）を算出し、相互情報量が最大となるτを決定する。
【００５６】
このような時定数τの探索は、与えられたインタラクション履歴（アクションログ）ＡO，ＢOが高い随伴性で生じていると解釈するためには、リアクションが、イニシアティブアクションに対して、どのくらいの遅れで生じるとするべきかを同定することと等価である。
なお、Ｗに関わるパラメータとしては、λもあり、これもτと同様に、相互情報量を最大化するように探索することができる。
【００５７】
［２．６ インタラクション実験］
上記第１実施形態に係るロボットおける制御部５の部分を実現する学習プログラムを、計算機上に実装し、シミュレーション実験を行った。その内容は、以下の通りである。
【００５８】
［２．６．１ 実験条件］
実験では、計算機上の画面に２つの犬の手を表し、これをユーザ（人間）とロボット（計算機の学習プログラム）が動かすことで相互作用を行う空間を設計した（図３の画面Ｄ参照）。図３の画面Ｄにおいて、左側手前がユーザの操作する手であり、右側奥がロボットの操作する手である。
【００５９】
ユーザはキーボードを押すことで予め設定された単位動作を出力することが出来る。アクションには、ａ1＝「お手」，ａ2＝「お手受け」，ａ3＝「バイバイ」，ａ4＝「プルプル」と名付けた四つの単位動作を設定した。本実験では、ユーザが操作する側の手も、ロボットが操作する側の手も同じであるので、ｂｉはａｉと同様に、ｂ1＝「お手」，ｂ2＝「お手受け」，ｂ3＝「バイバイ」，ｂ4＝「プルプル」と与えた。つまり、関数ｃは、ｂi＝c(ａi)である。
【００６０】
計算機のキーボードの１キーから４キーまでがそれぞれａ1〜ａ4に対応付けられており、ユーザがキーを押すと、遅滞なく選択された行動が開始され、ロボットは時間遅れも認識誤り無く瞬時にその行動（種類と発生時刻）を認識できるものとする。フレームレートは１０［Ｈｚ］とし、また、ロボットのカウント行列Ｍは、全要素の値を１×１０-5で初期化した。
【００６１】
実験者は、ロボットに対し、
１．「お手受け」に対して、「お手」をさせる行動
２．「バイバイ」に対して、「バイバイ」を返す行動
を学習することを求めた。被験者は、ロボットが「お手受け」をだしたときに、「お手」をし、ロボットが「バイバイ」をしたときに、「バイバイ」を返し、また、他の時には無規則に行動を表出した。
【００６２】
そのようなインタラクション系列に基づき．ロボットはカウント行列Ｍを更新することで時定数τリアクション選択確率（応答戦略）Ｚ（ｂj，ａi）を獲得する。また、Ｗに関わるパラメータはオフラインで同定するので、初期値としては、τ＝０．３、λ＝０．０１に設定した。
【００６３】
また、本実験では、応答戦略のパラメータ推定に焦点を当てる為、ロボットの行動出力については、式１０の生成モデルを直接用いることはせず、簡単の為、ロボットには、τ［ｓ］に一回リアクション出力を行わせ、そのリアクション選択は、獲得したリアクション選択確率に基づくという手法をとった。
【００６４】
［２．６．２ 実験結果］
インタラクションは約２６０秒行われ、その間ユーザは基本的に実験条件に示したような応答を示すよう心がけた。リアクション選択確率Ｚ（ｂj，ａi）の推定自体は、カウント行列Ｍに、徐々に値を足して行くことで単調的に同定される（式（６）参照）ため、過程は省略するが、最終的に得られたカウント行列Ｍをイニシアティブアクション毎に正規化することで得られるリアクション選択確率Ｚ＾を図４に示した。
【００６５】
図４において「ＮＵＬＬ」とあるのは、ヌルアクションを指す。図４より、イニシアティブアクションとしてのａ2＝「お手受け」の後にｂ1＝「お手」が出る確率、ａ3＝「バイバイ」の後にｂ3＝「バイバイ」が出る確率が高くなっていることがわかる。
【００６６】
このインタラクションで獲得したカウント行列Ｍの値を表１に示す。
【表１】
【００６７】
カウント行列Ｍの値は同時確率分布に比例するが、アクション「プルプル」は、発生頻度自体が小さく、被験者に指定した二つの組み合わせの発生頻度が特に大きいことがわかる。
【００６８】
また、このインタラクションの履歴を用いて、リアクション発生確率密度関数の時定数τの推定を行った。τを０．１［ｓ］から１０．０［ｓ］までの間で、０．０５［ｓ］刻みで変動させ、その結果として計算される時間遅れを考慮したリアクションとイニシアティブアクションの同時確率分布から、リアクション・イニシアティブアクション間の相互情報量を求めた。その結果を図５に示す。
【００６９】
図５では、横軸にτを対数軸でとり、縦軸に相互情報量をとっている。探索の結果、τ＝０．７５のとき、相互情報量が０．５１２となり最大となった。この相互情報量はリアクションがアクションに対して担っている情報量である。つまり、相互情報量を最大にするτを探索することは、ロボットがユーザのリアクションを最大限自らの行動に対する因果的な応答であると捉えようとすることを意味する。この最適τに基づいて、同様のインタラクション履歴から学習したリアクション選択確率Ｚ＾を図６に示す。
【００７０】
図６では、時定数を初期値のτとしていた図４よりも、イニシアティブアクションとリアクションの関係の曖昧性が薄れ、関係性がより顕著になっていることがわかる。
【００７１】
［２．６．３ アクションの重要度推定と重要アクションの抽出］
上記の説明においては、予め単位動作が与えられていることを前提としたが、自然な相互作用から様々な動作を獲得するロボットを生み出そうとすると、単位動作自体をロボット自身に獲得させる必要がある。この場合、インタラクション上、価値のない動作系列も単位動作として抽出される可能性がある。
【００７２】
先のインタラクション実験では、ａ4＝ｂ4＝「プルプル」が、そのようなインタラクション上無意味な動作（重要度が低いアクション）といえる。
一方、先のインタラクション実験での、ａ2＝「お手受け」、ｂ1＝「お手」、ａ3＝ｂ3＝「バイバイ」などは、インタラクション上重要なアクションである。なお、同じ「お手」、「お手受け」であっても、リアクションとしての「お手受け」やイニシアティブアクションとしての「お手」は重要でない点に留意すべきである。
【００７３】
インタラクション上動作とは、他社の行動を適切に制約づける動作（アクション）である。他者に無視され他者の行動に影響を与えない動作はインタラクション上重要でないと考えられる。よって、重要な動作（アクション）のみで形成されたインタラクションには高い情報的結合の存在が期待される。
そこで、重要度算出部２５は、アクションログ記憶部１２に記憶されているイニシアティブアクション及び／又はリアクションのうち、あるイニシアティブアクション・リアクションが最初から無かった（アクションログ記憶部１２に記憶されていない）と考えた場合の同時確率分布を計算し、その前後での相互情報量の変化によって、各アクションの重要度を算出する。
【００７４】
アクションログ記憶部１２に記憶されているイニシアティブアクション・リアクションのうちあるアクションを記憶部１２から削除した場合、もし削除したイニシアティブアクション・リアクションが二者間のインタラクションに重要であるなら、相互情報量は大きく減少し、重要でないならほぼ減少しない、もしくは増加するはずである。
【００７５】
あるイニシアティブアクションａiが最初から無かったと仮定するため、重要度算出部２５は、一旦生成したカウント行列Ｍから、列ａiを除いた新たな部分行列Ｍ’を生成する。この部分行列Ｍ’から生成される同時確率によって、相互情報量を計算する。リアクションｂjについても同様に行う。
【００７６】
元々（削除前）の相互情報量（第１相互情報量）をＩ（Ｂ；Ａ）、アクションａiを削ったインタラクションに基づく相互情報量（第２相互情報量）をＩ’（Ｂ；Ａ−｛ａi｝）で表す。リアクションについても同様である。
各イニシアティブアクションの重要度をΔａｃｔｉｏｎ（ａi）、各リアクションの重要度をΔｒｅａｃｔｉｏｎ（ｂi）、同時確率分布をＰ（ｂ，ａ）とすると、重要度算出部２５は、それぞれの重要度を下記式により算出する。
【数１１】
これらの重要度の値が大きいほど、イニシアティブアクションもしくはリアクションとしてインタラクション上重要であることを示す。
【００７７】
前記インタラクション実験の条件の下で、相互情報量を用いてイニシアティブアクション・リアクションの重要度推定を行った結果を図７に示す。
図７より、イニシアティブアクションとして重要なものは、ａ2＝「お手受け」，ａ3＝「バイバイ」であり、逆に重要でないものはａ1＝「お手」であることがわかる。
また、リアクションとして重要なものは、ｂ1＝「お手」，ｂ3＝「バイバイ」であり、学習重要でないのは、ｂ2＝「お手受け」であることがわかる。相互情報量を求める事９によって、重要度の推定が正しく行われていることがわかる。
【００７８】
重要アクション抽出部２６は、例えば、所定の閾値よりも重要度の値が大きいアクションを重要アクションとして抽出する。そして、リアクション選択確率推定部では、非重要アクションを除外し、重要アクションだけが発生したものとしてリアクション選択確率（応答戦略）を獲得し直すことで、より適切な推定が行える。
【００７９】
［３．第２実施形態］
第１実施形態における応答戦略の学習則は、発見的手法に基づいているが、第２実施形態では、ＥＭアルゴリズムにより、役割反転模倣を達成する。また、第２実施形態では、潜在変数としての「役割」（イニシエーターであるかリアクターであるかということ）を明示的に推定することで、ロボット１の学習フェーズと行動フェーズを分離することなく、人間２との実時間相互作用から応答戦略獲得を行う学習則を構築する。
【００８０】
なお、第２実施形態では、イニシアティブアクションを「ＩＡ」、リアクションを「ＲＡ」と略記することがある。
【００８１】
［３．１ ロボットの構成］
図８は、第２実施形態に係るロボット１の構成を示している。この第２実施形態では、リアクション選択確率推定部２２の機能が第１実施形態と異なっているほか、役割推定部２７が追加されている。第２実施形態において特に説明しない点は、第１実施形態のものと同様である。
【００８２】
［３．２ リアクション発生確率］
第２実施形態では、リアクション発生確率（時刻ｓにおいてイニシアティブアクションａiを原因とした何らかのリアクションが発生する確率）の関数を次のように定義する。
【数１２】
上記確率Ｗaに基づいて、イニシアルアクションから何らかのリアクションが発生するものとする。上記Ｗaを求める為には、各時刻のアクションａiが、イニシアティブアクションであるか否かを知る必要がある。
なお、第２実施形態では、集合Ａ，Ｂにヌルアクションａφ，ｂφを追加した集合を、Ａ’，Ｂ’とする。
【００８３】
第２実施形態では、ロボット２がイニシエーターであるという仮定をとらないため、ロボット２のアクションａiが、イニシアティブアクションであるか否かは、一般に、観測することができない潜在変数となる。あるアクションがイニシアティブアクションであるかリアクションであるかは、役割推定部２７によって推定される。この役割推定部２７については後述する。
【００８４】
［３．３ ＥＭアルゴリズムに基づくリアクション選択確率の推定（応答戦略の獲得）］
リアクション出力確率Ｗaに従い、リアクションの発生が決定した後に、原因となったイニシアティブアクションに依存し出力される具体的なリアクションの種類が確率的に選択される。
第２実施形態では、イニシアティブアクションａｉに対してリアクションｂｊが出力される確率であるリアクション選択確率Ｚ（ｂｊ，ａｉ）を、人間２のリアクションの観測に基づき、ＥＭ（Expectation-Maximization）アルゴリズムに従って学習する。
【００８５】
第２実施形態においても、一定時間のロボット１と人間２のインタラクションを通して、ロボット１のアクションログ情報ＡO＝（ａ（ｓ）｜ａ（ｓ）∈Ａ，ｓ∈Ｓa）および人間２のアクションログ情報ＢO＝（ｂ（ｓ）｜ｂ（ｓ）∈Ｂ，ｓ∈Ｓb）が得られ、これらのログ情報が、アクションログ記憶部１２に記憶される。
【００８６】
ロボット１が人間２の応答戦略を学習すると対数尤度Ｌは、以下の様になる。
【数１３】
これを最大化する事でロボット１は、未知パラメータである人間２のリアクション選択確率を推定し、それを反転することで人間２の応答戦略を学習することができる。
【００８７】
このとき、ＢOのうちのどのアクションが、ＡOのどのアクションを原因として起きたかが分からないという部分観測性が問題となる。このような潜在変数を持つ尤度最大化問題は、ＥＭアルゴリズムを用いる事で解くことが出来る。これは第１実施形態において用いた学習則よりもより理論的であり、正確なものである。ただし一定期間のインタラクションデータを記録してからのバッチ更新となる。
【００８８】
ＥＭアルゴリズムとは、Ｅ（Ｅｘｐｅｃｔａｔｉｏｎ）ステップと、Ｍ（Ｍａｘｉｍｉｚａｔｉｏｎ）ステップとを反復することで、解を更新する手法である。Ｅステップでは、完全データの対数尤度関数Ｌの事後確率による期待値（Ｑ関数）を計算し、Ｍステップでは、Ｑ関数の未知パラメータＺに関する最大化を行う。
【００８９】
ここでは、Ｑ関数を以下のように定義する。
【数１４】
【００９０】
ここで、Ｚ(t)は、ｔ反復での未知パラメータ推定値、Ｐb（ａi｜ｂ（ｓ），ｓ）を時刻ｓでｂ（ｓ）が生じた際にその原因がａiである確率とする（Ｅステップに相当）。これより、更新式は下記の通りとなる。
【００９１】
【数１５】
【００９２】
ここで、Ｓbjは、Ｓｂのうち、出力アクションがｂjであるものの集合である。Ｍ(t+1)は、ＩＡ−ＲＡ関係の頻度の数え上げに相当し、Ｊ(t+1)は同時確率分布の推定値に相当する。
第２実施形態のリアクション選択確率推定部２２では、上記のＥＭアルゴリズムに基づいて、リアクション選択確率の算出を行う。
【００９３】
［３．４ 役割推定とリアクション出力確率（発生確率）の推定］
リアクション選択確率の推定は、リアクション発生確率Ｗaが決定すれば、上記のようにＥＭアルゴリズムで漸近的に推定出来るが、どのアクションがイニシアティブアクションであるかはターンテイクが動的に生じるインタラクション中では明確ではなく、結果的にリアクション出力確率（発生確率）Ｗaも確定的には決定できない。
【００９４】
よって、ＥＭアルゴリズムのＥステップにおいて、同時に、どのアクションがイニシアティブアクションであるかを推定する必要がある。前記Ｐｂの逆に、ロボット１のｓステップ目のアクションａ（ｓ）が人間２の動作ｂiへのリアクションである確率をＰa（ｂi｜ａ（ｓ），ｓ）とする。
このとき、Ｐa（ｂi｜ａ（ｓ），ｓ）は以下のようになる。
【数１６】
【００９５】
これらを用い、第２実施形態のリアクション発生確率算出部２１では、
【数１７】
として、各時刻ｓのリアクション出力確率（発生確率）を逐次的に推定する。この推定値は、リアクション選択確率推定部２２で行われるＥＭアルゴリズムの更新に利用される。
【００９６】
［３．５ 役割反転による行動（リアクション）選択］
前述の役割推定部２７では、ロボット１又は人間２が発生させる各アクションについて、リアクション発生確率算出部２１にて算出される前述のＰa（ｂi｜ａ（ｓ），ｓ）、Ｐb（ａi｜ｂ（ｓ），ｓ）を参照することとで、それぞれのアクションが、イニシアティブアクションなのかリアクションなのかを推定する。
【００９７】
つまり、役割推定部２７では、人間２があるアクションｂ（ｓ）を行った場合、ａｒｇｍａｘiＰb（ａi｜ｂ（ｓ），ｓ）［Ｐb（ａi｜ｂ（ｓ），ｓ）が最大となるアクションの種類ｉ］がφであれば、当該アクションｂ（ｓ）はイニシアティブアクションと推定する。また、φ以外であれば、当該アクションｂ（ｓ）はリアクションであると推定する。
同様に、ロボット１があるアクションａ（ｓ）を行った場合、ａｒｇｍａｘiＰa（ｂi｜ａ（ｓ），ｓ）がφであれば、当該アクションａ（ｓ）はイニシアティブアクションと推定し、それ以外であればリアクションと推定する。
【００９８】
この役割推定部２７によって、ロボット１と人間２の役割（イニシエータかリアクターか）が仮定されていなくても、発生したアクションがイニシアティブアクションかリアクションかを推定することができる。したがって、ロボット２のアクションに対する人間２のリアクション発生確率Ｗaを算出することが可能であり、この結果、リアクション選択確率も推定することができる。
【００９９】
［３．６ 役割反転による行動（リアクション）選択］
第２実施形態においても、リアクション選択確率推定部２２によって獲得された応答戦略は、リアクション選択部１５に出力される。
【０１００】
ロボット１のリアクション選択部１５は、獲得された応答戦略Ｚ＾（ｂi，ａi）と、身体動作の対応関係を表す関数ｃを用いて、人間２のアクションｂjがイニシアティブアクションであった場合、そのアクションｂjに対する、ロボット１のリアクションａiの種類を、以下の確率Ｐ（ａi｜ｂj）で選択する。
【数１８】
【０１０１】
リアクション選択部１５が、最終的に時間ステップｓにおいて、アクションａiを選択する確率は、
【数１９】
となる。
【０１０２】
［３．７ インタラクション実験］
上記第２実施形態に係るロボットおける制御部１１の部分を実現する学習プログラムを、計算機上に実装し、シミュレーション実験を行った。その内容は、以下の通りである。
【０１０３】
［３．７．１ 実験条件］
実験条件は、［２．６．１ 実験条件］に示す条件とほぼ同じである。ただし、ロボット１がリアクションを出力する頻度は、約２［ｓ］とした。また、τ＝０．２，λ＝０．００１とした。
【０１０４】
［３．７．２ 実験結果］
インタラクションは、約３００秒行われ、その間、ユーザは基本的に実験条件に応じた応答を示すよう心がけた。この実験で、ＥＭアルゴリズムは５回繰り返した。得られたリアクション選択確率Ｚ（ｂj，ａi）を図９に示す。図９より、特に、「お手受け」、「バイバイ」に対し、それぞれ「お手」と「バイバイ」を返す応答戦略が適切に獲得されていることがわかる。
【０１０５】
また、λ、τの値を相互情報量を最大化させるように探索した。相互情報量は、下記のように同時確率分布Ｊ（ｂ，ａ）から計算される。
【数２０】
【０１０６】
図１０に示すように、相互情報量は、λ＝０．０１、τ＝０．５周辺で最大化された。
【０１０７】
また、役割推定も十分な精度で行われていた。役割推定の典型的な結果の一部を表２に示す。
【表２】
【０１０８】
上記表２には、全ステップのうち、（１）６１３〜６３０ステップと、（２）１３２６〜１３３１ステップの推定結果を示している。何も動作が生じなかった時間帯については表示を省略している。
（１）６１３〜６３０ステップでは、はじめ、ユーザが「お手受け」を出した後に、ロボットが「お手」をした際に、ユーザの「お手受け」がイニシアティブアクション、ロボットの「お手」がリアクションと推定されている。
【０１０９】
その後、０．６秒後に、ロボットが「バイバイ」を出しているが、これはユーザの「お手受け」に対するリアクションとは解釈されずに、イニシアティブアクションと推定されている。その後のユーザの「バイバイ」は、ロボットの「バイバイ」に対するリアクションと推定されている。
これにより、実時間的にターンテイクが行われ、かつそれの役割の交代がロボットに正しく認識されていることがわかる。
【０１１０】
（２）ではロボットが「お手受け」をした後に続けて「お手」を出しているが、その直後０．２秒後にユーザから出された「お手」は、その時点でロボットが出している「お手」ではなく、その直前に出した「お手受け」に対するものであると、ロボットが解釈できていることを示している。
【０１１１】
［４．付記］
なお、上記において開示した事項は、例示であって、本発明を限定するものではなく、様々な変形が可能である。
【符号の説明】
【０１１２】
１ ロボット
２ 人間
３ アクション生成部
４ 撮像部
５ 制御部
１１ アクション懐石部
１２ アクションログ記憶部
１３ 応答戦略獲得部（応答戦略獲得装置）
１４ リアクション選択部（リアクション選択装置）
２１ リアクション発生確率算出部
２２ 役割推定部
２３ 相互情報量算出部
２４ 探索部
２５ 重要度算出部
２６ 重要アクション抽出部
２７ 役割推定部
【特許請求の範囲】
【請求項１】
イニシエーター（１）が行ったイニシアティブアクション（ａi）に対するリアクター（２）のリアクション（ｂj）を観測することで、イニシアティブアクション（ａi）に対するリアクション（ｂj）の出力の仕方を示す応答戦略（Ｚ（ｂj，ａi））を獲得する応答戦略獲得装置（１３）であって、
あるイニシアティブアクション（ａi）を原因とする何らかのリアクションが、ある時刻（ｓ）において発生する確率を示すリアクション発生確率（Ｗai,s）を、時間とリアクション発生確率との関係を規定したリアクション発生確率密度関数に基づいて算出する発生確率算出部（２１）と、
あるイニシアティブアクション（ａi）に対して何らかのリアクションが発生することが決定した場合における、当該イニシアティブアクション（ａi）に依存して特定の種類のリアクション（ｂj）がリアクター（２）によって選択される選択確率（Ｚ（ｂj，ａi））を推定することで、イニシアティブアクション（ａi）に対するリアクション（ｂj）の出力の仕方を示す応答戦略を獲得する選択確率推定部（２２）と、
を備え、
前記選択確率推定部（２２）は、複数の種類のイニシアティブアクション（ａi）それぞれをリアクション（ｂj）の発生原因とした場合の当該リアクションの発生時刻（ｓ）におけるリアクション発生確率（Ｗai,s）を、当該複数の種類のイニシアティブアクション（ａi）それぞれの発生時刻（ｓ）及び当該リアクション（ｂj）の発生時刻（ｓ）に基づき、前記発生確率算出部（２１）を介して取得し、これらのリアクション発生確率（Ｗai,s）に基づいて、当該リアクション（ｂj）の前記選択確率（Ｚ（ｂj，ａi））を、当該複数の種類のイニシアティブアクション（ａi）それぞれについて算出するよう構成されている
ことを特徴とする応答戦略獲得装置。
【請求項２】
前記リアクション発生確率密度関数は、イニシアティブアクション発生後から時間経過に伴ってリアクション発生確率が減衰するよう規定されたものである
請求項１記載の応答戦略獲得装置。
【請求項３】
前記リアクション発生確率密度関数を変化させて、発生したイニシアティブアクション（Ａ）とリアクション（Ｂ）との間の相互情報量（Ｉ（Ｂ；Ａ））が最大となるリアクション発生確率密度関数を探索する探索部（２４）を更に備え、
前記発生確率算出部（２１）は、前記相互情報量が最大となるリアクション発生確率密度関数に基づいて、リアクション発生確率を算出する
請求項１又は２記載の応答戦略獲得装置。
【請求項４】
複数の種類のイニシアティブアクション（ａi）及び／又はリアクション（ｂj）の重要度を推定する重要度推定部（２５）を更に備え、
前記重要度推定部（２５）は、
発生したイニシアティブアクション（ａi）とリアクション（ｂj）との間の第１相互情報量（Ｉ（Ｂ；Ａ））と、発生した複数の種類のイニシアティブアクション及び／又はリアクションのうち一部のアクション（ａi，ｂj）が存在しないものと仮定した場合のイニシアティブアクションとリアクションとの間の第２相互情報量（Ｉ’（Ｂ；Ａ−｛ａi｝），Ｉ’（Ｂ−｛ｂj｝；Ａ））と、の差に基づいて、存在しないものと仮定した前記一部のアクション（ａi，ｂj）の重要度（Δａｃｔｉｏｎ，Δｒｅａｃｔｉｏｎ）を算出する
請求項１〜３のいずれか１項に記載の応答戦略獲得装置。
【請求項５】
発生したイニシアティブアクション及び／又はリアクションのうち、応答戦略獲得の対象となる重要アクションを抽出する重要アクション抽出部（２６）を更に備え、
前記重要アクション抽出部（２６）は、発生したイニシアティブアクション及び／又はリアクションそれぞれについて算出された前記重要度（Δａｃｔｉｏｎ，Δｒｅａｃｔｉｏｎ）に基づいて、重要アクションを抽出する
請求項４記載の応答戦略獲得装置。
【請求項６】
前記選択確率算出部（２２）は、ＥＭ（Expectation-Maximization）アルゴリズムに基づいて、前記選択確率を算出する
請求項１〜５のいずれか１項に記載の応答戦略獲得装置。
【請求項７】
発生したアクションがイニシアティブアクションであるかリアクションであるかを推定する役割推定部（２７）を更に備え、
前記役割推定部（２７）は、
発生したアクションをリアクションと仮定して、リアクションであると仮定した当該アクションの前記選択確率を推定し、
推定した前記選択確率に基づいて、当該アクションの原因となったイニシアティブアクションを推定し、
推定したイニシアティブアクションが「何もしないアクション」である場合には、当該アクションはイニシアティブアクションであると推定し、その他の場合には、当該アクションはリアクションであると推定する
請求項１〜６のいずれか１項に記載の応答戦略獲得装置。
【請求項８】
観測されたイニシアティブアクションに対するリアクションの選択を行うリアクション選択装置（１５）であって、
請求項１〜７のいずれか１項に記載の応答戦略獲得装置（２２）によって応答戦略として獲得した前記選択確率（Ｚ（ｂj，ａi））を用いて、観測されたイニシアティブアクションに対するリアクションの選択を行うことを特徴とするリアクション選択装置。
【請求項９】
コンピュータを、請求項１〜７のいずれか１項に記載の応答戦略獲得装置として機能させるためのコンピュータプログラム。
【請求項１０】
コンピュータを、請求項８記載のリアクション選択装置として機能させるためのコンピュータプログラム。
【請求項１１】
請求項１〜７のいずれか１項に記載の応答戦略獲得装置（１３）及び請求項８記載のリアクション選択装置（２２）を備え、前記リアクション選択装置によって選択されたリアクションを生成するリアクション生成部（３）を備えていることを特徴とするロボット。
【請求項１】
イニシエーター（１）が行ったイニシアティブアクション（ａi）に対するリアクター（２）のリアクション（ｂj）を観測することで、イニシアティブアクション（ａi）に対するリアクション（ｂj）の出力の仕方を示す応答戦略（Ｚ（ｂj，ａi））を獲得する応答戦略獲得装置（１３）であって、
あるイニシアティブアクション（ａi）を原因とする何らかのリアクションが、ある時刻（ｓ）において発生する確率を示すリアクション発生確率（Ｗai,s）を、時間とリアクション発生確率との関係を規定したリアクション発生確率密度関数に基づいて算出する発生確率算出部（２１）と、
あるイニシアティブアクション（ａi）に対して何らかのリアクションが発生することが決定した場合における、当該イニシアティブアクション（ａi）に依存して特定の種類のリアクション（ｂj）がリアクター（２）によって選択される選択確率（Ｚ（ｂj，ａi））を推定することで、イニシアティブアクション（ａi）に対するリアクション（ｂj）の出力の仕方を示す応答戦略を獲得する選択確率推定部（２２）と、
を備え、
前記選択確率推定部（２２）は、複数の種類のイニシアティブアクション（ａi）それぞれをリアクション（ｂj）の発生原因とした場合の当該リアクションの発生時刻（ｓ）におけるリアクション発生確率（Ｗai,s）を、当該複数の種類のイニシアティブアクション（ａi）それぞれの発生時刻（ｓ）及び当該リアクション（ｂj）の発生時刻（ｓ）に基づき、前記発生確率算出部（２１）を介して取得し、これらのリアクション発生確率（Ｗai,s）に基づいて、当該リアクション（ｂj）の前記選択確率（Ｚ（ｂj，ａi））を、当該複数の種類のイニシアティブアクション（ａi）それぞれについて算出するよう構成されている
ことを特徴とする応答戦略獲得装置。
【請求項２】
前記リアクション発生確率密度関数は、イニシアティブアクション発生後から時間経過に伴ってリアクション発生確率が減衰するよう規定されたものである
請求項１記載の応答戦略獲得装置。
【請求項３】
前記リアクション発生確率密度関数を変化させて、発生したイニシアティブアクション（Ａ）とリアクション（Ｂ）との間の相互情報量（Ｉ（Ｂ；Ａ））が最大となるリアクション発生確率密度関数を探索する探索部（２４）を更に備え、
前記発生確率算出部（２１）は、前記相互情報量が最大となるリアクション発生確率密度関数に基づいて、リアクション発生確率を算出する
請求項１又は２記載の応答戦略獲得装置。
【請求項４】
複数の種類のイニシアティブアクション（ａi）及び／又はリアクション（ｂj）の重要度を推定する重要度推定部（２５）を更に備え、
前記重要度推定部（２５）は、
発生したイニシアティブアクション（ａi）とリアクション（ｂj）との間の第１相互情報量（Ｉ（Ｂ；Ａ））と、発生した複数の種類のイニシアティブアクション及び／又はリアクションのうち一部のアクション（ａi，ｂj）が存在しないものと仮定した場合のイニシアティブアクションとリアクションとの間の第２相互情報量（Ｉ’（Ｂ；Ａ−｛ａi｝），Ｉ’（Ｂ−｛ｂj｝；Ａ））と、の差に基づいて、存在しないものと仮定した前記一部のアクション（ａi，ｂj）の重要度（Δａｃｔｉｏｎ，Δｒｅａｃｔｉｏｎ）を算出する
請求項１〜３のいずれか１項に記載の応答戦略獲得装置。
【請求項５】
発生したイニシアティブアクション及び／又はリアクションのうち、応答戦略獲得の対象となる重要アクションを抽出する重要アクション抽出部（２６）を更に備え、
前記重要アクション抽出部（２６）は、発生したイニシアティブアクション及び／又はリアクションそれぞれについて算出された前記重要度（Δａｃｔｉｏｎ，Δｒｅａｃｔｉｏｎ）に基づいて、重要アクションを抽出する
請求項４記載の応答戦略獲得装置。
【請求項６】
前記選択確率算出部（２２）は、ＥＭ（Expectation-Maximization）アルゴリズムに基づいて、前記選択確率を算出する
請求項１〜５のいずれか１項に記載の応答戦略獲得装置。
【請求項７】
発生したアクションがイニシアティブアクションであるかリアクションであるかを推定する役割推定部（２７）を更に備え、
前記役割推定部（２７）は、
発生したアクションをリアクションと仮定して、リアクションであると仮定した当該アクションの前記選択確率を推定し、
推定した前記選択確率に基づいて、当該アクションの原因となったイニシアティブアクションを推定し、
推定したイニシアティブアクションが「何もしないアクション」である場合には、当該アクションはイニシアティブアクションであると推定し、その他の場合には、当該アクションはリアクションであると推定する
請求項１〜６のいずれか１項に記載の応答戦略獲得装置。
【請求項８】
観測されたイニシアティブアクションに対するリアクションの選択を行うリアクション選択装置（１５）であって、
請求項１〜７のいずれか１項に記載の応答戦略獲得装置（２２）によって応答戦略として獲得した前記選択確率（Ｚ（ｂj，ａi））を用いて、観測されたイニシアティブアクションに対するリアクションの選択を行うことを特徴とするリアクション選択装置。
【請求項９】
コンピュータを、請求項１〜７のいずれか１項に記載の応答戦略獲得装置として機能させるためのコンピュータプログラム。
【請求項１０】
コンピュータを、請求項８記載のリアクション選択装置として機能させるためのコンピュータプログラム。
【請求項１１】
請求項１〜７のいずれか１項に記載の応答戦略獲得装置（１３）及び請求項８記載のリアクション選択装置（２２）を備え、前記リアクション選択装置によって選択されたリアクションを生成するリアクション生成部（３）を備えていることを特徴とするロボット。
【図１】
【図２】
【図３】
【図８】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図２】
【図３】
【図８】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【公開番号】特開２０１１−３４４４７（Ｐ２０１１−３４４４７Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１８１８２８（Ｐ２００９−１８１８２８）
【出願日】平成２１年８月４日（２００９．８．４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２１年２月２３日 立命館大学主催の「２００８年度卒業研究論文発表会」において文書をもって発表
【出願人】（５９３００６６３０）学校法人立命館 (359)
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年８月４日（２００９．８．４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２１年２月２３日 立命館大学主催の「２００８年度卒業研究論文発表会」において文書をもって発表
【出願人】（５９３００６６３０）学校法人立命館 (359)
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
[ Back to top ]