コミュニケーションエージェントの動作制御装置、コミュニケーションエージェントの動作制御方法、及びそのプログラム
【課題】エージェントが人に対し視線動作により情報を伝達する際に、対話時の周辺事情による視線動作への影響が考慮された自然な視線動作を実現する。
【解決手段】人と相手との対話時における、当該人の注視点の時系列集合である複数の視線動作軌道と、当該相手の所定の行動の変化とその行動の変化が生じたときの当該人の注視点の座標との組である複数の注視点情報と、を用い、人間行動認識部が、エージェントと対話しているユーザの行動を監視し、所定の行動の変化の検出時に当該行動の変化に対応する注視点情報に含まれる座標（仮想注視点）を軌道選択決定部に与え、軌道選択決定部は、１つの視線動作軌道を選択し、仮想注視点が与えられた時には行動の変化の検出時における当該視線動作軌道上の注視点を仮想注視点の方向に移動した軌道を新たな視線動作軌道とし、仮想注視点が与えられていない間は選択した視線動作軌道をそのまま用いる。
【解決手段】人と相手との対話時における、当該人の注視点の時系列集合である複数の視線動作軌道と、当該相手の所定の行動の変化とその行動の変化が生じたときの当該人の注視点の座標との組である複数の注視点情報と、を用い、人間行動認識部が、エージェントと対話しているユーザの行動を監視し、所定の行動の変化の検出時に当該行動の変化に対応する注視点情報に含まれる座標（仮想注視点）を軌道選択決定部に与え、軌道選択決定部は、１つの視線動作軌道を選択し、仮想注視点が与えられた時には行動の変化の検出時における当該視線動作軌道上の注視点を仮想注視点の方向に移動した軌道を新たな視線動作軌道とし、仮想注視点が与えられていない間は選択した視線動作軌道をそのまま用いる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の行動、仕草に反応して、自らの視線の方向を変える行動によりそれを観察している人間に対して働きかけを実行する、コミュニケーションエージェントの動作制御装置、コミュニケーションエージェントの動作制御方法、及びそのプログラムに関する。
【背景技術】
【０００２】
ロボットは、人間に代わり単純な作業を効率的に行うための主体（エージェント）として、１９８０年代、製造業を中心とする工場に導入されてきた。その一方、近年、エンターテインメント、あるいは介護支援、清掃等の生活支援やＱｏＬ(Quality-of-Life)の向上を目的とする機能を有する多様なサービスロボットが、一般の日常生活において普及し始めている。このようなサービスロボットに関しては、人間の社会生活、あるいは個人生活の環境に接近するに伴い、ユーザとしての人間の個性やその時の状況に合わせた、きめ細かい動作を求められたり、その仕草が人間に近い、あるいは人間の仕草を想起させることで当該ユーザ、およびそれを周囲で見守る人間のロボットに対する親近感を醸成したりすることも必要な状況になりつつある。そのため、人間とロボットとが明示的あるいは非明示的な手段で相互にコミュニケーションする環境下における研究開発やサービスの方向性として、大まかに次の２つに分けられる。１つは、新たな手法、およびインタフェースによるコミュニケーションの可能性を追求する方向であり、もう１つは、日常において人間−人間で行われるコミュニケーションを観察、解析することで、ロボットが備えるべき機能を追及する方向である。本発明は、後者の方向に向けたものである。
【０００３】
後者の方向に係る従来技術として、例えば、特許文献１の技術が挙げられる。特許文献１には、ディスプレイ上の擬人化エージェントが非言語的なコミュニケーション手段により人間に伝えるべき目的情報に従い、複数の注視点座標の中から１つを選択して、その時の人間、およびエージェントの状態に応じて注視点座標に補正を施して、補正後の注視点座標に基づき、画面上のキャラクタを動かして人間に働きかける、エージェントの制御方法、制御インタフェース、およびプログラムが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２２２４３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の方法では、人と相手とが対話する中で収集した、目的情報である相手の行動の変化（例えば、発話、視線方向の変化、顔向きの変化、表情の変化など）に対する人の注視点の座標を記録し、その座標分布をその状況における視線動作の確率分布に置き換えて、その確率分布図でコミュニケーションエージェントの視線移動動作を予め規定しておく。このような、目的情報に応じた注視点座標分布図をシステム側で複数用意しておき、コミュニケーションエージェントが、その中から相対する人間から生じる目的情報に相応しい注視点動作を選択して実行することにより、相対する人間への非言語的な動作による働きかけを実現している。
【０００６】
しかし、実際の対話環境においては、人が相手の行動の変化を検知する際、検知と同時又はその直前に周囲で生じた事情により、注視点動作が影響を受ける場合が多い。この場
合、特許文献１の方法のように単に相手の行動の変化の検知時の視線動作を確率分布として捉えるだけでは、そのような影響が加味された自然な視線動作をコミュニケーションエージェントに十分に反映できない。
【０００７】
本発明は、コミュニケーションエージェントが人間に対して視線動作により情報を伝達する場合に、対話時の周辺事情により生じる人間の視線動作への影響が考慮された自然な視線動作をコミュニケーションエージェントに反映することが可能な、コミュニケーションエージェントの動作制御装置、コミュニケーションエージェントの動作制御方法、及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明のコミュニケーションエージェントの動作制御装置は、軌道集合記憶部と注視点情報記憶部と人間行動認識部と軌道選択決定部と行動実行部とを備える。
【０００９】
軌道集合記憶部は、人と相手との対話時に収集された、当該人の視線方向に延長した直線と仮想視野平面との交点である注視点の時系列集合である視線動作軌道が複数記憶される。
【００１０】
注視点情報記憶部は、人と相手との対話時に収集された、当該相手の所定の行動の変化と、その行動の変化が生じたときの前記注視点の座標と、の組である注視点情報が、当該所定の行動の変化ごとに記憶される。
【００１１】
人間行動認識部は、コミュニケーションエージェントと対話しているユーザの行動を監視し、前記所定の行動の変化を検出した場合に、検出した行動の変化に対応する前記注視点情報を注視点情報記憶部から検索し、得られた注視点情報に含まれる座標（以下、「仮想注視点」という。）と当該行動の変化が検出された時刻との組である仮想注視点データを軌道選択決定部に与える。
【００１２】
軌道選択決定部は、軌道集合記憶部から、所定のルールにより１つの視線動作軌道を選択し、人間行動認識部で前記所定の行動の変化が検出されたときには、前記行動の変化が検出された時刻における当該視線動作軌道上の注視点を前記仮想注視点の方向に移動補正して、補正された軌道を新たな視線動作軌道として行動実行部に与え、前記所定の行動の変化が検出されていない間は、選択した視線動作軌道を補正することなく行動実行部に与える。
【００１３】
行動実行部は、軌道選択決定部から与えられた視線動作軌道に基づいて、前記コミュニケーションエージェントの視線方向を制御する。
【発明の効果】
【００１４】
本発明のコミュニケーションエージェントの動作制御装置、コミュニケーションエージェントの動作制御方法、及びそのプログラムによれば、コミュニケーションエージェントが人間に対して視線動作により情報を伝達する際に、目的情報の入力が無い間は、通常の対話時における人の視線動作から予め生成された視線動作軌道を参照して視線動作を制御し、目的情報の入力があった時は、視線動作軌道をその目的情報に応じて補正することにより、対話時の周辺事情により生じる人の視線動作への影響が考慮された自然な視線動作をコミュニケーションエージェントに反映することができる。
【図面の簡単な説明】
【００１５】
【図１】コミュニケーションエージェントの動作制御装置１００の構成例を示す図。
【図２】コミュニケーションエージェントの動作制御装置１００の処理フロー例を示す図。
【図３】動作軌道収集部１６０の構成例を示す図。
【図４】動作軌道収集部１６０の処理フロー例を示す図。
【図５】視線動作軌道上の注視点の仮想注視点方向への移動補正のイメージを示す図。
【図６】検知された注視点の分布イメージを示す図。
【図７】検知された注視点の位置と注視継続時間の計測結果の分布イメージを示す図。
【図８】注視点情報収集部１７０の構成例を示す図。
【図９】注視点情報収集部１７０の処理フロー例を示す図。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、詳細に説明する。
【実施例１】
【００１７】
本発明のコミュニケーションエージェントの動作制御装置１００の構成例を図１に、その構成例における処理フローを図２に示す。コミュニケーションエージェントの動作制御装置１００は、軌道集合記憶部１１０、注視点情報記憶部１２０、人間行動認識部１３０、軌道選択決定部１４０、及び行動実行部１５０を備え、ユーザと対話するコンピュータで制御されるロボットやぬいぐるみ等のコミュニケーションエージェント１０の視線動作を制御する。
【００１８】
軌道集合記憶部１１０は、人と相手との対話時に収集された、当該人の視線方向に延長した直線と仮想視野平面（当該相手を含む所定の大きさの平面）との交点である注視点の時系列集合である視線動作軌道が複数記憶される。視線動作軌道は、予め収集しておいたものでもよいし、実施例２で説明する動作軌道収集部１６０により収集したものでもよい。
【００１９】
注視点情報記憶部１２０は、人と相手との対話時に収集された、当該相手の所定の行動の変化（例えば、発話、視線方向の変化、顔向きの変化、表情の変化など）とその行動の変化が生じたときの当該人の注視点の座標（仮想視野平面上で正規化された直交座標系におけるＸ軸とＹ軸の座標値）との組である注視点情報が、当該所定の行動の変化ごとに記憶される。注視点情報は、予め収集しておいたものでもよいし、実施例３で説明する注視点情報収集部１７０により収集したものでもよい。
【００２０】
人間行動認識部１３０は、コミュニケーションエージェント１０と対話しているユーザの行動を監視し、所定の行動の変化を検出した場合に、検出した行動の変化に対応する注視点情報を注視点情報記憶部１２０から検索し、得られた注視点情報に含まれる座標（Ｘvi,Ｙvi）（以下、「仮想注視点」という。）と当該行動の変化が検出された時刻ｔiとの組である仮想注視点データ（ｔi,Ｘvi,Ｙvi）を軌道選択決定部１４０に与える（Ｓ１）。
【００２１】
軌道選択決定部１４０は、軌道集合記憶部１１０から所定のルールにより１つの視線動作軌道を選択し、人間行動認識部１３０で所定の行動の変化が検出されたときには、検出時刻ｔiにおける、選択した視線動作軌道上の注視点（Ｘi,Ｙi）を仮想注視点（Ｘvi,Ｙvi）の方向に移動補正して、補正された軌道を新たな視線動作軌道として行動実行部１５０に与える。一方、所定の行動の変化が検出されていない間は、選択した視線動作軌道を補正することなく行動実行部１５０に与える（Ｓ２）。
【００２２】
視線動作軌道の選択は、そのときのユーザの行動を考慮して予め定めたルール等により決定論的に選択してもよいし、非決定論的に任意に選択してもよい。
【００２３】
行動実行部１５０は、軌道選択決定部１４０から与えられた視線動作軌道に基づいて、コミュニケーションエージェント１０の視線方向を制御する（Ｓ３）。具体的には、当該視線動作軌道が示す検出時刻ｔi以降の視線移動に必要なコミュニケーションエージェント１０の可動部分と必要な可動量の大きさと変化の方向を指示する命令を生成し、コミュニケーションエージェント１０の可動部分に対応する１個以上の駆動部へ命令を送る（図１では駆動部が３個の場合（駆動部１１〜１３）を示す）。
【００２４】
以上説明した本発明のコミュニケーションエージェントの動作制御装置によれば、コミュニケーションエージェントがユーザに対して視線動作により情報を伝達する際に、目的情報の入力が無い間は、通常の対話時における人の視線動作から予め生成された視線動作軌道を参照して視線動作を制御し、目的情報の入力があった時は、視線動作軌道をその目的情報に応じて補正することにより、対話時の周辺事情により生じる人の視線動作への影響が考慮された自然な視線動作をコミュニケーションエージェントに反映することができる。
【実施例２】
【００２５】
本発明のコミュニケーションエージェントの動作制御装置１００において、軌道集合記憶部１１０に記憶する視線動作軌道を収集する動作軌道収集部１６０を、更に設けてもよい。
【００２６】
図３に動作軌道収集部１６０の構成例を、図４にその構成例における処理フローを示す。動作軌道収集部１６０は、視線検出手段１６１、視線データ記憶手段１６２、視線特徴抽出手段１６３、視線特徴記憶手段１６４、及び軌道生成手段１６５を備える。
【００２７】
視線検出手段１６１は、人と相手（人間又はコミュニケーションエージェント）の対話時に、当該人の注視点の座標（Ｘi,Ｙi）を所定の時間間隔の計測時刻ｔi（i＝1,2,・・・）ごとに検出する（Ｓ４−１）。当該相手はビデオ画面やプロジェクタスクリーン等の表示機器上に表示されていてもよいし、実空間上で当該人からある距離だけ離れた地点に相対していてもよい。
【００２８】
視線データ記憶手段１６２は、視線検出手段１６１で検出された時系列の注視点データ（ｔi,Ｘi,Ｙi）を記憶する（Ｓ４−２）。
【００２９】
視線特徴抽出手段１６３は、視線検出手段１６１で検出された現時刻の注視点の座標と視線データ記憶手段１６２に記憶された過去の注視点の座標とを用いて、現時刻の注視点の座標における速度と加速度を求め、現時刻の注視点の座標と速度と加速度とからなる視線特徴量を生成する（Ｓ４−３）。
【００３０】
具体的には、例えば現時刻をｔ3としたとき、視線検出手段１６１で検出された現時刻ｔ3における注視点データ（ｔ3,Ｘ3,Ｙ3）と、視線データ記憶手段１６２に記憶された現時刻ｔ3の直前の２時刻ｔ1、ｔ2（ｔ1＜ｔ2＜ｔ3）の注視点データ（ｔ2,Ｘ2,Ｙ2）及び（ｔ1,Ｘ1,Ｙ1）とから、時刻ｔ3とｔ2、及びｔ2とｔ1における注視点の変化量、すなわち仮想視野平面５０上のＸ軸方向とＹ軸方向の速度
ΔＸ3＝Ｘ3−Ｘ2
ΔＹ3＝Ｙ3−Ｙ2
ΔＸ2＝Ｘ2−Ｘ1
ΔＹ2＝Ｙ2−Ｙ1
及び加速度
Δ2Ｘ3＝ΔＸ3−ΔＸ2
Δ2Ｙ3＝ΔＹ3−ΔＹ2
を計算し、現時刻ｔ3における視線特徴量(ｔ3,Ｘ3,Ｙ3,ΔＸ3,ΔＹ3,Δ2Ｘ3,Δ2Ｙ3)を求める。なお、直前２時刻分の注視点データが、まだ視線データ記憶手段１６２に記憶されていない場合は、視線特徴量の算出処理は行わない。また、人の目の瞬きや顔の動き等の諸条件により、注視点データの値が取得できず、欠落した注視点データが存在する場合には、欠落した注視点データを補完するために、例えば、欠落が発生した時間の１つ前と２つ前の時間に計測された注視点データの平均値を採用する、あるいは線形予測から導かれる予測値を設定することにより、欠落した注視点データの補完を行うように構成してもよい。
【００３１】
このようにして得られた視線特徴量を用いることで、軌道選択決定部１４０における、選択した視線動作軌道上の注視点（Ｘi,Ｙi）の仮想注視点（Ｘvi,Ｙvi）の方向への移動補正を、例えば次のように行うことができる（図５参照）。注視点（Ｘi,Ｙi）における速度（ΔＸi,ΔＹi）は、大きさ√(ΔＸi2＋ΔＹi2)を持ち、当該視線動作軌道の接線方向を向くベクトルとして表現される。そして、仮想注視点（Ｘvi,Ｙvi）に対する補正量を、この速度ベクトルと当該注視点（Ｘi,Ｙi）から仮想注視点（Ｘvi,Ｙvi）に向かうベクトルとのベクトル内積と定義すれば、当該注視点（Ｘi,Ｙi）をベクトル内積値の大きさの分だけ仮想注視点（Ｘvi,Ｙvi）の方向への移動補正すればよい。
【００３２】
視線特徴量記憶手段１６４は、視線特徴抽出手段１６３で検出された視線特徴量を時系列で記憶する（Ｓ４−４）。
【００３３】
軌道生成手段１６５は、視線特徴記憶手段１６４に時系列で記憶された視線特徴量を用いて、視線動作軌道を複数生成し、軌道集合記憶部１１０に記憶させる（Ｓ４−５）。
【００３４】
軌道生成手段１６５における、視線動作軌道の生成方法の例を図５を用いて説明する。図６(a)〜(h)は人と相手がビデオ画面を介して相対して会話している最中に、人が相手を含む画面上のどこを注視しているかを点で示した注視点の分布図である。図６(a)は計測された全注視点を示したものであり、図６(b)〜(h)は、図６(a)の全注視点を、任意の計測時間区間あるいは全計測時間に含まれる注視点の座標と、各注視点における速度成分及び加速度成分と、を合わせて統計手法により、ある特徴を持つ５０個のグループに分類して、グループに含まれる注視点の出現頻度が上位７番目までのグループを示したものである。分類する統計手法としては、周知の技術（隠れマルコフ過程(Hidden Markov Model)など）を用いることができる。軌道生成手段１６５では、注視点の出現頻度が上位所定数のグループ（図６の例では上位７個のグループ）から、各々複数個の注視点を選択し、仮想視野平面５０上に展開して、これらの注視点を組み合わせることにより複数の視線動作軌道を生成する。
【００３５】
また、視線動作軌道の生成方法の別の例を図７を用いて説明する。図６は、視聴対象として、ビデオ画面上の中空の円６０を表示させ、当該対象を見るよう指示を受けた人が注視した注視点の位置と注視の継続時間を計測して、その結果を表示した分布図である。図７(a)は円の中に記載された番号順にある注視点から他の注視点に移動している状態を、また、図７(b)は同一対象について、画面上で注視点が留まっている時間（注視時間、又は停留時間）の長さに応じて黒白の濃淡で示したものである。このような座標と時間に関する分布図をもとに、複数の注視点を選択して視線動作軌道を生成することも可能である。
【実施例３】
【００３６】
本発明のコミュニケーションエージェントの動作制御装置１００において、注視点情報記憶部１２０に記憶する注視点情報を収集する注視点情報収集部１７０を、更に設けてもよい。
【００３７】
図８に注視点情報収集部１７０の構成例を、図９にその構成例における処理フローを示す。注視点情報収集部１７０は、行動検出手段１７１と視線検出手段１７２とを備える。
【００３８】
行動検出手段１７１は、人と相手とが実空間上ある距離だけ離れて相対して対話する環境において、当該相手の行動を監視し、所定の行動の変化の発生及びその種別を検出する（Ｓ５−１）。検出する所定の行動としては、例えば(1)発話、(2)顔向き、(3)視線方向、(4)表情、のうち少なくとも１つ以上を使用することとする。(1)については、マイクロフォンと周知の音声認識技術により発話しているか否かを検出することができる。(2)〜(4)については、ビデオカメラで当該相手の様子を撮影し、周知の画像解析技術により撮影した画像から顔向きや視線や表情を認識することができる。
【００３９】
視線検出手段１７２は、行動検出手段１７１で所定の行動の変化が検出されたときの当該人の注視点の座標を検出し、検出された所定の行動の変化とその行動の変化が生じたときの当該人の注視点の座標との組である注視点情報を、所定の行動の変化ごとに注視点情報記憶部１２０に記憶させる（Ｓ５−２）。
【００４０】
以上説明した各実施例のコミュニケーションエージェントの制御装置及び制御方法における各処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本発明のコミュニケーションエージェントの制御装置の各機能は必要に応じ、併合・分割しても構わない。その他、本発明において表現されている技術的思想の範囲内で適宜変更が可能である。
【００４１】
本発明のコミュニケーションエージェントの制御装置を構成する各部、各手段をコンピュータによって実現する場合、各部が担う機能の処理内容はプログラムによって記述される。そのプログラムは、例えば、ハードディスク装置に格納されており、実行時には、必要なプログラムやデータがＲＡＭ(Random Access Memory)に読み込まれて、そのプログラムがＣＰＵにより実行されることにより、コンピュータ上で各処理内容が実現される。
【技術分野】
【０００１】
本発明は、人間の行動、仕草に反応して、自らの視線の方向を変える行動によりそれを観察している人間に対して働きかけを実行する、コミュニケーションエージェントの動作制御装置、コミュニケーションエージェントの動作制御方法、及びそのプログラムに関する。
【背景技術】
【０００２】
ロボットは、人間に代わり単純な作業を効率的に行うための主体（エージェント）として、１９８０年代、製造業を中心とする工場に導入されてきた。その一方、近年、エンターテインメント、あるいは介護支援、清掃等の生活支援やＱｏＬ(Quality-of-Life)の向上を目的とする機能を有する多様なサービスロボットが、一般の日常生活において普及し始めている。このようなサービスロボットに関しては、人間の社会生活、あるいは個人生活の環境に接近するに伴い、ユーザとしての人間の個性やその時の状況に合わせた、きめ細かい動作を求められたり、その仕草が人間に近い、あるいは人間の仕草を想起させることで当該ユーザ、およびそれを周囲で見守る人間のロボットに対する親近感を醸成したりすることも必要な状況になりつつある。そのため、人間とロボットとが明示的あるいは非明示的な手段で相互にコミュニケーションする環境下における研究開発やサービスの方向性として、大まかに次の２つに分けられる。１つは、新たな手法、およびインタフェースによるコミュニケーションの可能性を追求する方向であり、もう１つは、日常において人間−人間で行われるコミュニケーションを観察、解析することで、ロボットが備えるべき機能を追及する方向である。本発明は、後者の方向に向けたものである。
【０００３】
後者の方向に係る従来技術として、例えば、特許文献１の技術が挙げられる。特許文献１には、ディスプレイ上の擬人化エージェントが非言語的なコミュニケーション手段により人間に伝えるべき目的情報に従い、複数の注視点座標の中から１つを選択して、その時の人間、およびエージェントの状態に応じて注視点座標に補正を施して、補正後の注視点座標に基づき、画面上のキャラクタを動かして人間に働きかける、エージェントの制御方法、制御インタフェース、およびプログラムが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２２２４３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の方法では、人と相手とが対話する中で収集した、目的情報である相手の行動の変化（例えば、発話、視線方向の変化、顔向きの変化、表情の変化など）に対する人の注視点の座標を記録し、その座標分布をその状況における視線動作の確率分布に置き換えて、その確率分布図でコミュニケーションエージェントの視線移動動作を予め規定しておく。このような、目的情報に応じた注視点座標分布図をシステム側で複数用意しておき、コミュニケーションエージェントが、その中から相対する人間から生じる目的情報に相応しい注視点動作を選択して実行することにより、相対する人間への非言語的な動作による働きかけを実現している。
【０００６】
しかし、実際の対話環境においては、人が相手の行動の変化を検知する際、検知と同時又はその直前に周囲で生じた事情により、注視点動作が影響を受ける場合が多い。この場
合、特許文献１の方法のように単に相手の行動の変化の検知時の視線動作を確率分布として捉えるだけでは、そのような影響が加味された自然な視線動作をコミュニケーションエージェントに十分に反映できない。
【０００７】
本発明は、コミュニケーションエージェントが人間に対して視線動作により情報を伝達する場合に、対話時の周辺事情により生じる人間の視線動作への影響が考慮された自然な視線動作をコミュニケーションエージェントに反映することが可能な、コミュニケーションエージェントの動作制御装置、コミュニケーションエージェントの動作制御方法、及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明のコミュニケーションエージェントの動作制御装置は、軌道集合記憶部と注視点情報記憶部と人間行動認識部と軌道選択決定部と行動実行部とを備える。
【０００９】
軌道集合記憶部は、人と相手との対話時に収集された、当該人の視線方向に延長した直線と仮想視野平面との交点である注視点の時系列集合である視線動作軌道が複数記憶される。
【００１０】
注視点情報記憶部は、人と相手との対話時に収集された、当該相手の所定の行動の変化と、その行動の変化が生じたときの前記注視点の座標と、の組である注視点情報が、当該所定の行動の変化ごとに記憶される。
【００１１】
人間行動認識部は、コミュニケーションエージェントと対話しているユーザの行動を監視し、前記所定の行動の変化を検出した場合に、検出した行動の変化に対応する前記注視点情報を注視点情報記憶部から検索し、得られた注視点情報に含まれる座標（以下、「仮想注視点」という。）と当該行動の変化が検出された時刻との組である仮想注視点データを軌道選択決定部に与える。
【００１２】
軌道選択決定部は、軌道集合記憶部から、所定のルールにより１つの視線動作軌道を選択し、人間行動認識部で前記所定の行動の変化が検出されたときには、前記行動の変化が検出された時刻における当該視線動作軌道上の注視点を前記仮想注視点の方向に移動補正して、補正された軌道を新たな視線動作軌道として行動実行部に与え、前記所定の行動の変化が検出されていない間は、選択した視線動作軌道を補正することなく行動実行部に与える。
【００１３】
行動実行部は、軌道選択決定部から与えられた視線動作軌道に基づいて、前記コミュニケーションエージェントの視線方向を制御する。
【発明の効果】
【００１４】
本発明のコミュニケーションエージェントの動作制御装置、コミュニケーションエージェントの動作制御方法、及びそのプログラムによれば、コミュニケーションエージェントが人間に対して視線動作により情報を伝達する際に、目的情報の入力が無い間は、通常の対話時における人の視線動作から予め生成された視線動作軌道を参照して視線動作を制御し、目的情報の入力があった時は、視線動作軌道をその目的情報に応じて補正することにより、対話時の周辺事情により生じる人の視線動作への影響が考慮された自然な視線動作をコミュニケーションエージェントに反映することができる。
【図面の簡単な説明】
【００１５】
【図１】コミュニケーションエージェントの動作制御装置１００の構成例を示す図。
【図２】コミュニケーションエージェントの動作制御装置１００の処理フロー例を示す図。
【図３】動作軌道収集部１６０の構成例を示す図。
【図４】動作軌道収集部１６０の処理フロー例を示す図。
【図５】視線動作軌道上の注視点の仮想注視点方向への移動補正のイメージを示す図。
【図６】検知された注視点の分布イメージを示す図。
【図７】検知された注視点の位置と注視継続時間の計測結果の分布イメージを示す図。
【図８】注視点情報収集部１７０の構成例を示す図。
【図９】注視点情報収集部１７０の処理フロー例を示す図。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、詳細に説明する。
【実施例１】
【００１７】
本発明のコミュニケーションエージェントの動作制御装置１００の構成例を図１に、その構成例における処理フローを図２に示す。コミュニケーションエージェントの動作制御装置１００は、軌道集合記憶部１１０、注視点情報記憶部１２０、人間行動認識部１３０、軌道選択決定部１４０、及び行動実行部１５０を備え、ユーザと対話するコンピュータで制御されるロボットやぬいぐるみ等のコミュニケーションエージェント１０の視線動作を制御する。
【００１８】
軌道集合記憶部１１０は、人と相手との対話時に収集された、当該人の視線方向に延長した直線と仮想視野平面（当該相手を含む所定の大きさの平面）との交点である注視点の時系列集合である視線動作軌道が複数記憶される。視線動作軌道は、予め収集しておいたものでもよいし、実施例２で説明する動作軌道収集部１６０により収集したものでもよい。
【００１９】
注視点情報記憶部１２０は、人と相手との対話時に収集された、当該相手の所定の行動の変化（例えば、発話、視線方向の変化、顔向きの変化、表情の変化など）とその行動の変化が生じたときの当該人の注視点の座標（仮想視野平面上で正規化された直交座標系におけるＸ軸とＹ軸の座標値）との組である注視点情報が、当該所定の行動の変化ごとに記憶される。注視点情報は、予め収集しておいたものでもよいし、実施例３で説明する注視点情報収集部１７０により収集したものでもよい。
【００２０】
人間行動認識部１３０は、コミュニケーションエージェント１０と対話しているユーザの行動を監視し、所定の行動の変化を検出した場合に、検出した行動の変化に対応する注視点情報を注視点情報記憶部１２０から検索し、得られた注視点情報に含まれる座標（Ｘvi,Ｙvi）（以下、「仮想注視点」という。）と当該行動の変化が検出された時刻ｔiとの組である仮想注視点データ（ｔi,Ｘvi,Ｙvi）を軌道選択決定部１４０に与える（Ｓ１）。
【００２１】
軌道選択決定部１４０は、軌道集合記憶部１１０から所定のルールにより１つの視線動作軌道を選択し、人間行動認識部１３０で所定の行動の変化が検出されたときには、検出時刻ｔiにおける、選択した視線動作軌道上の注視点（Ｘi,Ｙi）を仮想注視点（Ｘvi,Ｙvi）の方向に移動補正して、補正された軌道を新たな視線動作軌道として行動実行部１５０に与える。一方、所定の行動の変化が検出されていない間は、選択した視線動作軌道を補正することなく行動実行部１５０に与える（Ｓ２）。
【００２２】
視線動作軌道の選択は、そのときのユーザの行動を考慮して予め定めたルール等により決定論的に選択してもよいし、非決定論的に任意に選択してもよい。
【００２３】
行動実行部１５０は、軌道選択決定部１４０から与えられた視線動作軌道に基づいて、コミュニケーションエージェント１０の視線方向を制御する（Ｓ３）。具体的には、当該視線動作軌道が示す検出時刻ｔi以降の視線移動に必要なコミュニケーションエージェント１０の可動部分と必要な可動量の大きさと変化の方向を指示する命令を生成し、コミュニケーションエージェント１０の可動部分に対応する１個以上の駆動部へ命令を送る（図１では駆動部が３個の場合（駆動部１１〜１３）を示す）。
【００２４】
以上説明した本発明のコミュニケーションエージェントの動作制御装置によれば、コミュニケーションエージェントがユーザに対して視線動作により情報を伝達する際に、目的情報の入力が無い間は、通常の対話時における人の視線動作から予め生成された視線動作軌道を参照して視線動作を制御し、目的情報の入力があった時は、視線動作軌道をその目的情報に応じて補正することにより、対話時の周辺事情により生じる人の視線動作への影響が考慮された自然な視線動作をコミュニケーションエージェントに反映することができる。
【実施例２】
【００２５】
本発明のコミュニケーションエージェントの動作制御装置１００において、軌道集合記憶部１１０に記憶する視線動作軌道を収集する動作軌道収集部１６０を、更に設けてもよい。
【００２６】
図３に動作軌道収集部１６０の構成例を、図４にその構成例における処理フローを示す。動作軌道収集部１６０は、視線検出手段１６１、視線データ記憶手段１６２、視線特徴抽出手段１６３、視線特徴記憶手段１６４、及び軌道生成手段１６５を備える。
【００２７】
視線検出手段１６１は、人と相手（人間又はコミュニケーションエージェント）の対話時に、当該人の注視点の座標（Ｘi,Ｙi）を所定の時間間隔の計測時刻ｔi（i＝1,2,・・・）ごとに検出する（Ｓ４−１）。当該相手はビデオ画面やプロジェクタスクリーン等の表示機器上に表示されていてもよいし、実空間上で当該人からある距離だけ離れた地点に相対していてもよい。
【００２８】
視線データ記憶手段１６２は、視線検出手段１６１で検出された時系列の注視点データ（ｔi,Ｘi,Ｙi）を記憶する（Ｓ４−２）。
【００２９】
視線特徴抽出手段１６３は、視線検出手段１６１で検出された現時刻の注視点の座標と視線データ記憶手段１６２に記憶された過去の注視点の座標とを用いて、現時刻の注視点の座標における速度と加速度を求め、現時刻の注視点の座標と速度と加速度とからなる視線特徴量を生成する（Ｓ４−３）。
【００３０】
具体的には、例えば現時刻をｔ3としたとき、視線検出手段１６１で検出された現時刻ｔ3における注視点データ（ｔ3,Ｘ3,Ｙ3）と、視線データ記憶手段１６２に記憶された現時刻ｔ3の直前の２時刻ｔ1、ｔ2（ｔ1＜ｔ2＜ｔ3）の注視点データ（ｔ2,Ｘ2,Ｙ2）及び（ｔ1,Ｘ1,Ｙ1）とから、時刻ｔ3とｔ2、及びｔ2とｔ1における注視点の変化量、すなわち仮想視野平面５０上のＸ軸方向とＹ軸方向の速度
ΔＸ3＝Ｘ3−Ｘ2
ΔＹ3＝Ｙ3−Ｙ2
ΔＸ2＝Ｘ2−Ｘ1
ΔＹ2＝Ｙ2−Ｙ1
及び加速度
Δ2Ｘ3＝ΔＸ3−ΔＸ2
Δ2Ｙ3＝ΔＹ3−ΔＹ2
を計算し、現時刻ｔ3における視線特徴量(ｔ3,Ｘ3,Ｙ3,ΔＸ3,ΔＹ3,Δ2Ｘ3,Δ2Ｙ3)を求める。なお、直前２時刻分の注視点データが、まだ視線データ記憶手段１６２に記憶されていない場合は、視線特徴量の算出処理は行わない。また、人の目の瞬きや顔の動き等の諸条件により、注視点データの値が取得できず、欠落した注視点データが存在する場合には、欠落した注視点データを補完するために、例えば、欠落が発生した時間の１つ前と２つ前の時間に計測された注視点データの平均値を採用する、あるいは線形予測から導かれる予測値を設定することにより、欠落した注視点データの補完を行うように構成してもよい。
【００３１】
このようにして得られた視線特徴量を用いることで、軌道選択決定部１４０における、選択した視線動作軌道上の注視点（Ｘi,Ｙi）の仮想注視点（Ｘvi,Ｙvi）の方向への移動補正を、例えば次のように行うことができる（図５参照）。注視点（Ｘi,Ｙi）における速度（ΔＸi,ΔＹi）は、大きさ√(ΔＸi2＋ΔＹi2)を持ち、当該視線動作軌道の接線方向を向くベクトルとして表現される。そして、仮想注視点（Ｘvi,Ｙvi）に対する補正量を、この速度ベクトルと当該注視点（Ｘi,Ｙi）から仮想注視点（Ｘvi,Ｙvi）に向かうベクトルとのベクトル内積と定義すれば、当該注視点（Ｘi,Ｙi）をベクトル内積値の大きさの分だけ仮想注視点（Ｘvi,Ｙvi）の方向への移動補正すればよい。
【００３２】
視線特徴量記憶手段１６４は、視線特徴抽出手段１６３で検出された視線特徴量を時系列で記憶する（Ｓ４−４）。
【００３３】
軌道生成手段１６５は、視線特徴記憶手段１６４に時系列で記憶された視線特徴量を用いて、視線動作軌道を複数生成し、軌道集合記憶部１１０に記憶させる（Ｓ４−５）。
【００３４】
軌道生成手段１６５における、視線動作軌道の生成方法の例を図５を用いて説明する。図６(a)〜(h)は人と相手がビデオ画面を介して相対して会話している最中に、人が相手を含む画面上のどこを注視しているかを点で示した注視点の分布図である。図６(a)は計測された全注視点を示したものであり、図６(b)〜(h)は、図６(a)の全注視点を、任意の計測時間区間あるいは全計測時間に含まれる注視点の座標と、各注視点における速度成分及び加速度成分と、を合わせて統計手法により、ある特徴を持つ５０個のグループに分類して、グループに含まれる注視点の出現頻度が上位７番目までのグループを示したものである。分類する統計手法としては、周知の技術（隠れマルコフ過程(Hidden Markov Model)など）を用いることができる。軌道生成手段１６５では、注視点の出現頻度が上位所定数のグループ（図６の例では上位７個のグループ）から、各々複数個の注視点を選択し、仮想視野平面５０上に展開して、これらの注視点を組み合わせることにより複数の視線動作軌道を生成する。
【００３５】
また、視線動作軌道の生成方法の別の例を図７を用いて説明する。図６は、視聴対象として、ビデオ画面上の中空の円６０を表示させ、当該対象を見るよう指示を受けた人が注視した注視点の位置と注視の継続時間を計測して、その結果を表示した分布図である。図７(a)は円の中に記載された番号順にある注視点から他の注視点に移動している状態を、また、図７(b)は同一対象について、画面上で注視点が留まっている時間（注視時間、又は停留時間）の長さに応じて黒白の濃淡で示したものである。このような座標と時間に関する分布図をもとに、複数の注視点を選択して視線動作軌道を生成することも可能である。
【実施例３】
【００３６】
本発明のコミュニケーションエージェントの動作制御装置１００において、注視点情報記憶部１２０に記憶する注視点情報を収集する注視点情報収集部１７０を、更に設けてもよい。
【００３７】
図８に注視点情報収集部１７０の構成例を、図９にその構成例における処理フローを示す。注視点情報収集部１７０は、行動検出手段１７１と視線検出手段１７２とを備える。
【００３８】
行動検出手段１７１は、人と相手とが実空間上ある距離だけ離れて相対して対話する環境において、当該相手の行動を監視し、所定の行動の変化の発生及びその種別を検出する（Ｓ５−１）。検出する所定の行動としては、例えば(1)発話、(2)顔向き、(3)視線方向、(4)表情、のうち少なくとも１つ以上を使用することとする。(1)については、マイクロフォンと周知の音声認識技術により発話しているか否かを検出することができる。(2)〜(4)については、ビデオカメラで当該相手の様子を撮影し、周知の画像解析技術により撮影した画像から顔向きや視線や表情を認識することができる。
【００３９】
視線検出手段１７２は、行動検出手段１７１で所定の行動の変化が検出されたときの当該人の注視点の座標を検出し、検出された所定の行動の変化とその行動の変化が生じたときの当該人の注視点の座標との組である注視点情報を、所定の行動の変化ごとに注視点情報記憶部１２０に記憶させる（Ｓ５−２）。
【００４０】
以上説明した各実施例のコミュニケーションエージェントの制御装置及び制御方法における各処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本発明のコミュニケーションエージェントの制御装置の各機能は必要に応じ、併合・分割しても構わない。その他、本発明において表現されている技術的思想の範囲内で適宜変更が可能である。
【００４１】
本発明のコミュニケーションエージェントの制御装置を構成する各部、各手段をコンピュータによって実現する場合、各部が担う機能の処理内容はプログラムによって記述される。そのプログラムは、例えば、ハードディスク装置に格納されており、実行時には、必要なプログラムやデータがＲＡＭ(Random Access Memory)に読み込まれて、そのプログラムがＣＰＵにより実行されることにより、コンピュータ上で各処理内容が実現される。
【特許請求の範囲】
【請求項１】
人と相手との対話時に収集された、当該人の視線方向に延長した直線と仮想視野平面との交点である注視点の時系列集合である視線動作軌道が、複数記憶された軌道集合記憶部と、
人と相手との対話時に収集された、当該相手の所定の行動の変化と、その行動の変化が生じたときの前記注視点の座標と、の組である注視点情報が、当該所定の行動の変化ごとに記憶された注視点情報記憶部と、
コミュニケーションエージェントと対話しているユーザの行動を監視し、前記所定の行動の変化を検出した場合に、検出した行動の変化に対応する前記注視点情報を注視点情報記憶部から検索し、得られた注視点情報に含まれる座標（以下、「仮想注視点」という。）と当該行動の変化が検出された時刻との組である仮想注視点データを軌道選択決定部に与える人間行動認識部と、
軌道集合記憶部から所定のルールにより１つの視線動作軌道を選択し、人間行動認識部で前記所定の行動の変化が検出されたときには、前記行動の変化が検出された時刻における当該視線動作軌道上の注視点を前記仮想注視点の方向に移動補正して、補正された軌道を新たな視線動作軌道として行動実行部に与え、前記所定の行動の変化が検出されていない間は、選択した視線動作軌道を補正することなく行動実行部に与える軌道選択決定部と、
軌道選択決定部から与えられた視線動作軌道に基づいて、前記コミュニケーションエージェントの視線方向を制御する行動実行部と、
を備えるコミュニケーションエージェントの動作制御装置。
【請求項２】
請求項１に記載のコミュニケーションエージェントの動作制御装置において、
更に動作軌道収集部を備え、
前記動作軌道収集部は、
人と相手の対話時に、当該人の前記注視点の座標を所定の時間間隔ごとに検出する視線検出手段と、
視線検出手段で検出された前記注視点の座標を時系列で記憶する視線データ記憶手段と、
視線検出手段で検出された現時刻の注視点の座標と視線データ記憶手段に記憶された過去の注視点の座標とを用いて、現時刻の注視点の座標における速度と加速度を求め、現時刻の注視点の座標と速度と加速度とからなる視線特徴量を生成する視線特徴抽出手段と、
視線特徴抽出手段で検出された前記視線特徴量を時系列で記憶する視線特徴記憶手段と、
視線特徴記憶手段に時系列で記憶された前記視線特徴量を用いて、前記視線動作軌道を複数生成し、前記軌道集合記憶部に記憶させる軌道生成手段と、
を備える
ことを特徴とするコミュニケーションエージェントの動作制御装置。
【請求項３】
請求項１又は２に記載のコミュニケーションエージェントの動作制御装置において、
更に注視点情報収集部を備え、
前記注視点情報収集部は、
人と相手の対話時に、当該相手の行動を監視し、前記所定の行動の変化の発生及びその種別を検出する行動検出手段と、
行動検出手段で前記所定の行動の変化が検出されたときの前記人の前記注視点の座標を検出し得られた前記注視点情報を、前記所定の行動の変化ごとに前記注視点情報記憶部に記憶させる視線検出手段と、
を備える
ことを特徴とするコミュニケーションエージェントの動作制御装置。
【請求項４】
人と相手との対話時に収集された、当該人の視線方向に延長した直線と仮想視野平面との交点である注視点の時系列集合である視線動作軌道が、複数記憶された軌道集合記憶部と、
人と相手との対話時に収集された、当該相手の所定の行動の変化と、その行動の変化が生じたときの前記注視点の座標と、の組である注視点情報が、当該所定の行動の変化ごとに記憶された注視点情報記憶部と、
を用い、
コミュニケーションエージェントと対話しているユーザの行動を監視し、前記所定の行動の変化を検出した場合に、検出した行動の変化に対応する前記注視点情報を注視点情報記憶部から検索し、得られた注視点情報に含まれる座標（以下、「仮想注視点」という。）と当該行動の変化が検出された時刻との組である仮想注視点データを軌道選択決定ステップに与える人間行動認識ステップと、
軌道集合記憶部から所定のルールにより１つの視線動作軌道を選択し、人間行動認識ステップで前記所定の行動の変化が検出されたときには、前記行動の変化が検出された時刻における当該視線動作軌道上の注視点を前記仮想注視点の方向に移動補正して、補正された軌道を新たな視線動作軌道として出力し、前記所定の行動の変化が検出されていない間は、選択した視線動作軌道を補正することなく出力する軌道選択決定ステップと、
軌道選択決定ステップで得られた視線動作軌道に基づいて、前記コミュニケーションエージェントの視線方向を制御する行動実行ステップと、
を実行するコミュニケーションエージェントの動作制御方法。
【請求項５】
請求項４に記載のコミュニケーションエージェントの動作制御方法において、
更に動作軌道収集ステップを実行し、
前記動作軌道収集ステップは、
人と相手の対話時に、当該人の前記注視点の座標を所定の時間間隔ごとに検出する視線検出サブステップと、
視線検出サブステップで検出された前記注視点の座標を視線データ記憶手段に時系列で記憶する視線データ記憶サブステップと、
視線検出サブステップで検出された現時刻の注視点の座標と視線データ記憶手段に記憶された過去の注視点の座標とを用いて、現時刻の注視点の座標における速度と加速度を求め、現時刻の注視点の座標と速度と加速度とからなる視線特徴量を生成する視線特徴抽出サブステップと、
視線特徴抽出サブステップで検出された前記視線特徴量を視線特徴記憶手段に時系列で記憶する視線特徴記憶サブステップと、
視線特徴記憶手段に時系列で記憶された前記視線特徴量を用いて、前記視線動作軌道を複数生成し、前記軌道集合記憶部に記憶させる軌道生成サブステップと、
を実行する
ことを特徴とするコミュニケーションエージェントの動作制御方法。
【請求項６】
請求項４又は５に記載のコミュニケーションエージェントの動作制御方法において、
更に注視点情報収集ステップを実行し、
前記注視点情報収集ステップは、
人と相手の対話時に、当該相手の行動を監視し、前記所定の行動の変化の発生及びその種別を検出する行動検出サブステップと、
行動検出サブステップで前記所定の行動の変化が検出されたときの前記人の前記注視点の座標を検出し、得られた前記注視点情報を、前記所定の行動の変化ごとに前記注視点情報記憶部に記憶させる視線検出サブステップと、
を実行する
ことを特徴とするコミュニケーションエージェントの動作制御方法。
【請求項７】
請求項１乃至３のいずれかに記載のコミュニケーションエージェントの動作制御装置としてコンピュータを機能させるためのプログラム。
【請求項１】
人と相手との対話時に収集された、当該人の視線方向に延長した直線と仮想視野平面との交点である注視点の時系列集合である視線動作軌道が、複数記憶された軌道集合記憶部と、
人と相手との対話時に収集された、当該相手の所定の行動の変化と、その行動の変化が生じたときの前記注視点の座標と、の組である注視点情報が、当該所定の行動の変化ごとに記憶された注視点情報記憶部と、
コミュニケーションエージェントと対話しているユーザの行動を監視し、前記所定の行動の変化を検出した場合に、検出した行動の変化に対応する前記注視点情報を注視点情報記憶部から検索し、得られた注視点情報に含まれる座標（以下、「仮想注視点」という。）と当該行動の変化が検出された時刻との組である仮想注視点データを軌道選択決定部に与える人間行動認識部と、
軌道集合記憶部から所定のルールにより１つの視線動作軌道を選択し、人間行動認識部で前記所定の行動の変化が検出されたときには、前記行動の変化が検出された時刻における当該視線動作軌道上の注視点を前記仮想注視点の方向に移動補正して、補正された軌道を新たな視線動作軌道として行動実行部に与え、前記所定の行動の変化が検出されていない間は、選択した視線動作軌道を補正することなく行動実行部に与える軌道選択決定部と、
軌道選択決定部から与えられた視線動作軌道に基づいて、前記コミュニケーションエージェントの視線方向を制御する行動実行部と、
を備えるコミュニケーションエージェントの動作制御装置。
【請求項２】
請求項１に記載のコミュニケーションエージェントの動作制御装置において、
更に動作軌道収集部を備え、
前記動作軌道収集部は、
人と相手の対話時に、当該人の前記注視点の座標を所定の時間間隔ごとに検出する視線検出手段と、
視線検出手段で検出された前記注視点の座標を時系列で記憶する視線データ記憶手段と、
視線検出手段で検出された現時刻の注視点の座標と視線データ記憶手段に記憶された過去の注視点の座標とを用いて、現時刻の注視点の座標における速度と加速度を求め、現時刻の注視点の座標と速度と加速度とからなる視線特徴量を生成する視線特徴抽出手段と、
視線特徴抽出手段で検出された前記視線特徴量を時系列で記憶する視線特徴記憶手段と、
視線特徴記憶手段に時系列で記憶された前記視線特徴量を用いて、前記視線動作軌道を複数生成し、前記軌道集合記憶部に記憶させる軌道生成手段と、
を備える
ことを特徴とするコミュニケーションエージェントの動作制御装置。
【請求項３】
請求項１又は２に記載のコミュニケーションエージェントの動作制御装置において、
更に注視点情報収集部を備え、
前記注視点情報収集部は、
人と相手の対話時に、当該相手の行動を監視し、前記所定の行動の変化の発生及びその種別を検出する行動検出手段と、
行動検出手段で前記所定の行動の変化が検出されたときの前記人の前記注視点の座標を検出し得られた前記注視点情報を、前記所定の行動の変化ごとに前記注視点情報記憶部に記憶させる視線検出手段と、
を備える
ことを特徴とするコミュニケーションエージェントの動作制御装置。
【請求項４】
人と相手との対話時に収集された、当該人の視線方向に延長した直線と仮想視野平面との交点である注視点の時系列集合である視線動作軌道が、複数記憶された軌道集合記憶部と、
人と相手との対話時に収集された、当該相手の所定の行動の変化と、その行動の変化が生じたときの前記注視点の座標と、の組である注視点情報が、当該所定の行動の変化ごとに記憶された注視点情報記憶部と、
を用い、
コミュニケーションエージェントと対話しているユーザの行動を監視し、前記所定の行動の変化を検出した場合に、検出した行動の変化に対応する前記注視点情報を注視点情報記憶部から検索し、得られた注視点情報に含まれる座標（以下、「仮想注視点」という。）と当該行動の変化が検出された時刻との組である仮想注視点データを軌道選択決定ステップに与える人間行動認識ステップと、
軌道集合記憶部から所定のルールにより１つの視線動作軌道を選択し、人間行動認識ステップで前記所定の行動の変化が検出されたときには、前記行動の変化が検出された時刻における当該視線動作軌道上の注視点を前記仮想注視点の方向に移動補正して、補正された軌道を新たな視線動作軌道として出力し、前記所定の行動の変化が検出されていない間は、選択した視線動作軌道を補正することなく出力する軌道選択決定ステップと、
軌道選択決定ステップで得られた視線動作軌道に基づいて、前記コミュニケーションエージェントの視線方向を制御する行動実行ステップと、
を実行するコミュニケーションエージェントの動作制御方法。
【請求項５】
請求項４に記載のコミュニケーションエージェントの動作制御方法において、
更に動作軌道収集ステップを実行し、
前記動作軌道収集ステップは、
人と相手の対話時に、当該人の前記注視点の座標を所定の時間間隔ごとに検出する視線検出サブステップと、
視線検出サブステップで検出された前記注視点の座標を視線データ記憶手段に時系列で記憶する視線データ記憶サブステップと、
視線検出サブステップで検出された現時刻の注視点の座標と視線データ記憶手段に記憶された過去の注視点の座標とを用いて、現時刻の注視点の座標における速度と加速度を求め、現時刻の注視点の座標と速度と加速度とからなる視線特徴量を生成する視線特徴抽出サブステップと、
視線特徴抽出サブステップで検出された前記視線特徴量を視線特徴記憶手段に時系列で記憶する視線特徴記憶サブステップと、
視線特徴記憶手段に時系列で記憶された前記視線特徴量を用いて、前記視線動作軌道を複数生成し、前記軌道集合記憶部に記憶させる軌道生成サブステップと、
を実行する
ことを特徴とするコミュニケーションエージェントの動作制御方法。
【請求項６】
請求項４又は５に記載のコミュニケーションエージェントの動作制御方法において、
更に注視点情報収集ステップを実行し、
前記注視点情報収集ステップは、
人と相手の対話時に、当該相手の行動を監視し、前記所定の行動の変化の発生及びその種別を検出する行動検出サブステップと、
行動検出サブステップで前記所定の行動の変化が検出されたときの前記人の前記注視点の座標を検出し、得られた前記注視点情報を、前記所定の行動の変化ごとに前記注視点情報記憶部に記憶させる視線検出サブステップと、
を実行する
ことを特徴とするコミュニケーションエージェントの動作制御方法。
【請求項７】
請求項１乃至３のいずれかに記載のコミュニケーションエージェントの動作制御装置としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図７】
【公開番号】特開２０１３−６２３２（Ｐ２０１３−６２３２Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１３９７７７（Ｐ２０１１−１３９７７７）
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]