ロボットシステムおよびそれに用いる空間陣形認識装置
【構成】 ロボットシステム１００は、ロボット１０およびモーションキャプチャシステム１２を含む。ロボットシステム１００では、ロボット１０および人の位置、体の向きおよび視線方向を用いてロボット１０と人との空間陣形を分析し、ロボット１０および人の対話参加状態を認識する。そして、認識した対話参加状態に応じて、ロボット１０が適宜の行動を取ることによって、ロボット１０および人の双方が対話参加状態になるようにした後、ロボット１０が人に対して挨拶発話を行う。
【効果】 双方が対話参加状態となる空間陣形を生成した後に挨拶発話を実行するので、ロボットは人との対話を自然に開始でき、円滑にコミュニケーションを図ることができる。
【効果】 双方が対話参加状態となる空間陣形を生成した後に挨拶発話を実行するので、ロボットは人との対話を自然に開始でき、円滑にコミュニケーションを図ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はロボットシステムおよびそれに用いる空間陣形認識装置に関し、特にたとえば、少なくとも発話を用いて人との間でコミュニケーションを実行するロボットを含む、ロボットシステムおよびそれに用いる空間陣形認識装置に関する。
【背景技術】
【０００２】
近年、発話や身体動作などを用いて、展示案内や客引きなどの多様なサービスを提供するロボット（コミュニケーションロボット）が開発されている。ここで、ロボットが展示案内や客引きなどのサービスを提供する場合には、人とのインタラクション（コミュニケーション）をどのように引き起こすかが重要となる。ロボットが目新しい存在である場合には、人の方からインタラクションを開始してくれるかもしれないが、近い将来、ロボットの目新しさが薄れるであろうことを考慮すると、ロボット側から働きかけてインタラクションを開始する必要があると考えられるからである。
【０００３】
すなわち、人とのコミュニケーションをより円滑に遂行し、サービスをより効率良く提供するためには、ロボットが、適切なタイミングおよび位置で人に話しかける機能、つまり人と対話（会話）を自然に始める機能を身に付けることが重要であると考えられる。
【０００４】
たとえば、特許文献１には、従来の会話ロボットの一例が開示されている。特許文献１の会話ロボットは、人の顔または体の正面方向を検出し、検出した人の顔または体の正面方向に移動した後、人の目を見て人に話しかけるようにしている。
【０００５】
一方、非特許文献１には、人同士がインタラクションを行う際に、Ｆ陣形と呼ばれる特定の空間陣形を維持することが開示されている。また、非特許文献２には、非特許文献１の空間陣形に関する考えを、人とロボットとのインタラクションに利用することが開示されている。
【特許文献１】特開２００４−３４２７４号公報 [Ｇ０５Ｄ １／０２]
【非特許文献１】Kendon,A., 1990, Spatial Organization in Social Encounters: the F-formation System, in Conducting Interaction: Patterns of Behavior in Focused Encounters, A. Kendon ed., Cambridge University Press, pp. 209-238.
【非特許文献２】Kuzuoka, H., Suzuki, Y., Yamashita, J. and Yamazaki, K., 2010, Reconfiguring Spatial Formation Arrangement by Robot Body Orientation, ACM/IEEE Int. Conf. on Human-Robot Interaction (HRI2010), pp. 285-292.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術では、人の真正面に移動してから対話を開始している。人の真正面で人の目を見ながら話すことによって親近感は増すかもしれないが、人に声をかけるタイミングおよび位置としては、人の真正面に移動したときが常に適切であるとは限らない。たとえば、人間同士が対話をするときにいつでも、わざわざ相手の真正面に移動してから対話を始めるかというと、そうではないので、特許文献１の技術のようなロボットの行動は、不自然なものとなってしまう。すなわち、ロボットが人に話しかける状況というのは、様々であり、たとえば、人の正面方向から近づいて話しかける状況があれば、横方向や背後方向から近づいて話しかける状況もある。また、単に人との対話を目的とするだけの状況があれば、人に商品の説明をしたり、人を商品の近くまで誘導したりしなければならない状況もある。特許文献1の技術では、このような様々な状況に対して適切に対応することができない。
【０００７】
また、非特許文献１および２の技術では、人同士、或いは人とロボットとが、既にインタラクションを開始していることを前提としている。つまり、様々な状況が起こり得る中で、ロボットが、人に対してどのようなタイミングおよび位置で話しかけて対話を開始すればよいかについては、明らかにされていない。
【０００８】
それゆえに、この発明の主たる目的は、新規な、ロボットシステムおよびそれに用いる空間陣形認識装置を提供することである。
【０００９】
この発明の他の目的は、人との対話を自然に開始できる、ロボットシステムおよびそれに用いる空間陣形認識装置を提供することである。
【課題を解決するための手段】
【００１０】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明などは、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【００１１】
第１の発明は、少なくとも発話を用いて人との間でコミュニケーションを実行するロボットを含むロボットシステムであって、位置、体の向きおよび視線方向を含む人およびロボットの配置情報を検出する検出手段、検出手段によって検出された配置情報に基づいて人とロボットとの空間陣形を分析し、人およびロボットの対話参加状態を判定する判定手段、判定手段によって人およびロボットの少なくとも一方が対話参加状態でないと判断されたとき、人およびロボットの双方が対話参加状態となるようにロボットの動作を制御する空間陣形調整手段、および判定手段によって人およびロボットの双方が対話参加状態であると判断されたとき、人に対する挨拶発話をロボットに実行させる挨拶実行手段を備える、ロボットシステムである。
【００１２】
第１の発明では、ロボットシステム（１００）は、少なくとも発話を用いて人との間でコミュニケーションを実行するロボット（１０）を含む。このロボットは、配置された環境内において、人に対して自ら話しかけて人とのインタラクションを引き起こす。検出手段（１２，６２，６６，８４，８６，Ｓ１）は、人およびロボットの配置情報、たとえば位置、体の向きおよび視線方向を検出する。判定手段（６２，６６，Ｓ３）は、人およびロボットの配置情報に基づいて空間陣形（空間的な配置関係）を分析することによって、人およびロボットの対話参加状態を判定する。ここで、対話参加状態とは、対話への参加に対して暗黙的に同意した状態（心的同意状態）をいい、たとえば、人および自身に対して予め定義される視線領域（ｇｚ）、正面領域（ｂｚ）、視野領域（ｓｚ）および視野（ｆｖ）を用いて表される空間陣形に基づいて推定（認識）される。空間陣形調整手段（２６，５４，６２，６６，８２，Ｓ５−１７）は、人およびロボットの対話参加状態に応じてロボットの動作を制御し、人およびロボットの双方が対話参加状態となる空間陣形を形成する。挨拶実行手段（５４，６２，６６，Ｓ１９）は、人およびロボットの双方が対話参加状態（双方参加状態）になったとき、「こんにちは」や「いらっしゃいませ」等の挨拶発話をロボットに実行させる。
【００１３】
第１の発明によれば、双方が対話参加状態となる空間陣形を生成した後に挨拶発話を実行するので、人との対話を自然に開始でき、円滑にコミュニケーションを図ることができる。
【００１４】
第２の発明は、第１の発明に従属し、判定手段は、人の頭部およびロボットの頭部が共に相手の視線領域に入る状態の空間陣形になったとき、人およびロボットの双方が対話参加状態であると判断する。
【００１５】
第２の発明では、判定手段（６２，６６，Ｓ３）は、人の頭部がロボット（１０）の視線領域（ｇｚ）に入り、かつロボットの頭部（５２）が人の視線領域に入る状態の空間陣形になったとき、つまり所定距離内で人およびロボットの視線が合ったとき、双方参加状態であると判断する。これによって、双方参加状態を適切に認識できる。
【００１６】
第３の発明は、第１または第２の発明に従属し、判定手段は、人およびロボットが共に相手の正面領域に入る状態の空間陣形になったとき、人およびロボットの双方が対話参加状態であると判断する。
【００１７】
第３の発明では、判定手段（６２，６６，Ｓ３）は、ロボット（１０）の正面領域（ｂｚ）に人が入り、かつ人の正面領域にロボットが入る状態の空間陣形になったとき、双方参加状態であると判断する。これによって、双方参加状態を適切に認識できる。
【００１８】
第４の発明は、第１ないし第３のいずれかの発明に従属し、判定手段は、人の頭部およびロボットの頭部が共に相手の視線領域に入る状態ではなく、人の正面領域にロボットが入り、ロボットの正面領域に人が入らず、かつロボットの視野に人が入る状態の空間陣形になったとき、人のみが対話参加状態であると判断する。
【００１９】
第４の発明では、判定手段（６２，６６，Ｓ３）は、所定距離内で人およびロボット（１０）の視線が合う状態ではなく、人の正面領域（ｂｚ）にロボットが入り、ロボットの正面領域に人が入らず、かつロボットの視野（ｆｖ）に人が入る状態の空間陣形になったとき、人のみが対話参加状態であると判断する。これによって、人のみが対話参加状態であることを適切に認識できる。
【００２０】
第５の発明は、第１ないし第４のいずれかの発明に従属し、判定手段は、人の頭部およびロボットの頭部が共に相手の視線領域に入る状態ではなく、ロボットの正面領域に人が入り、人の正面領域にロボットが入らず、かつ人の視野領域にロボットが入る状態の空間陣形になったとき、ロボットのみが対話参加状態であると判断する。
【００２１】
第５の発明では、判定手段（６２，６６，Ｓ３）は、所定距離内で人およびロボット（１０）の視線が合う状態ではなく、ロボットの正面領域（ｂｚ）に人が入り、人の正面領域にロボットが入らず、かつ人の視野領域（ｓｚ）にロボットが入る状態の空間陣形になったとき、ロボットのみが対話参加状態であると判断する。これによって、ロボットのみが対話参加状態であることを適切に認識できる。
【００２２】
第６の発明は、第１ないし第５のいずれかの発明に従属し、空間陣形調整手段は、判定手段によって人およびロボットの双方が対話参加状態でないと判断されたとき、空間陣形の主動調整移動をロボットに実行させる主動調整手段を含む。
【００２３】
第６の発明では、空間陣形調整手段（２６，５４，６２，６６，８２，Ｓ５−１７）は、主動調整手段（２６，６２，６６，８２，Ｓ５，Ｓ７）を含む。主動調整手段は、判定手段（６２，６６，Ｓ３）によって、人およびロボット（１０）の双方が対話参加状態でない、すなわち双方非参加状態である判断されたとき、ロボットに空間陣形の主動調整移動を実行させる。たとえば、空間陣形の主動調整移動では、ロボットの正面領域（ｆｚ）に人が入り、かつ人の視野領域（ｆｖ）にロボットが入るような地点（或いは配置状態）を移動目標位置として設定してロボットを移動させる。
【００２４】
第６の発明によれば、少なくともロボットが対話参加状態になる空間陣形が確保される。
【００２５】
第７の発明は、第６の発明に従属し、主動調整手段は、説明すべき対象物があるとき、対象物の説明を行い易い地点をロボットの移動目標位置として選択する。
【００２６】
第７の発明では、主動調整手段（２６，６２，６６，８２，Ｓ５，Ｓ７）は、説明すべき対象物があるとき、対象物の説明を行い易い地点をロボット（１０）の移動目標位置として設定する。たとえば、ロボットの正面領域（ｆｚ）に人が入り、かつ人の視野領域（ｆｖ）にロボットが入るような地点を移動目標位置として設定するという条件を満たす上で、さらに、対象物がロボットおよび人の双方の視野（ｆｖ）に入る空間陣形となるように、移動目標位置が設定される。
【００２７】
第７の発明によれば、対象物の説明を行い易い地点をロボットの移動目標位置として選択するので、ロボットは、対話を始めた後の位置や体の向き等の調整を極力避けることができ、より自然で円滑なインタラクションを人との間で実行できる。
【００２８】
第８の発明は、第１ないし第７のいずれかの発明に従属し、空間陣形調整手段は、判定手段によって人のみが対話参加状態であると判断されたとき、空間陣形の受動調整移動をロボットに実行させる受動調整手段を含む。
【００２９】
第８の発明では、空間陣形調整手段（２６，５４，６２，６６，８２，Ｓ５−１７）は、受動調整手段（２６，６２，６６，８２，Ｓ９，Ｓ１１）を含む。受動調整手段は、判定手段（６２，６６，Ｓ３）によって、人のみが対話参加状態であると判断されたとき、ロボット（１０）に空間陣形の受動調整移動を実行させる。たとえば、空間陣形の受動調整移動では、ロボットの正面領域（ｆｚ）に人が入るように体の向きを調整することによって、ロボットも対話参加状態になるようにされる。
【００３０】
第８の発明によれば、人の方からロボットに働きかけようとした場合に、ロボットが人に興味を持っていることを人に示すことができるので、人が途中で諦めてロボットから離れてしまうことを防止できる。
【００３１】
第９の発明は、第１ないし第８のいずれかの発明に従属し、空間陣形調整手段は、判定手段によってロボットのみが対話参加状態であると判断されたとき、注意喚起発話をロボットに実行させる注意喚起実行手段を含む。
【００３２】
第９の発明では、空間陣形調整手段（２６，５４，６２，６６，８２，Ｓ５−１７）は、注意喚起実行手段（５４，６２，６６，Ｓ１３，Ｓ１５）を含む。注意喚起実行手段は、判定手段（６２，６６，Ｓ３）によって、ロボット（１０）のみが対話参加状態であると判断されたとき、ロボットに「すみません」等の注意喚起発話を実行させる。この注意喚起発話によって、人に位置や体の向き等を調整してもらうことができるので、双方参加状態を実現できる。
【００３３】
第９の発明によれば、人の前方の空間が狭い等して、ロボットが人の正面領域に回り込めない状況にも柔軟に対応でき、より自然で円滑なインタラクションを人との間で実行できる。
【００３４】
第１０の発明は、第１ないし第９のいずれかの発明に従属し、判定手段によって人およびロボットの双方が対話参加状態であると判断されたとき、対話に適した空間陣形となるようにロボットの動作を制御する対話陣形調整手段をさらに備える。
【００３５】
第１０の発明では、対話陣形調整手段（２６，６２，６６，８２，Ｓ２１）をさらに備える。対話陣形調整手段は、対話のためにより適切な場所への調整移動をロボット（１０）に実行させる。たとえば、双方参加状態となる空間陣形を維持しながら、人との距離が１．１−１.５ｍとなる領域にロボットを移動させる。
【００３６】
第１０の発明によれば、その後の人との対話をより快適に実行することができ、より自然で円滑なインタラクションを人との間で実行できる。
【００３７】
第１１の発明は、少なくとも発話を用いて人との間でコミュニケーションを実行するロボットの動作制御に用いられる空間陣形認識装置であって、位置、体の向きおよび視線方向を含む人およびロボットの配置情報を検出する検出手段、および検出手段によって検出された配置情報に基づいて人とロボットとの空間陣形を分析し、人およびロボットの対話参加状態を判定する判定手段を備える、空間陣形認識装置である。
【００３８】
第１１の発明では、空間陣形認識装置（１０，６２，６６）は、少なくとも発話を用いて人との間でコミュニケーションを実行するロボット（１０）の動作制御に用いられ、検出手段（１２，６２，６６，８４，８６，Ｓ１）および判定手段（６２，６６，Ｓ３）を含む。検出手段（１２，６２，６６，８４，８６，Ｓ１）は、人およびロボットの配置情報、たとえば位置、体の向きおよび視線方向を検出する。判定手段（６２，６６，Ｓ３）は、人およびロボットの配置情報に基づいて空間陣形（空間的な配置関係）を分析することによって、人およびロボットの対話参加状態を判定する。ここで、対話参加状態とは、対話への参加に対して暗黙的に同意した状態（心的同意状態）をいい、たとえば、人および自身に対して予め定義される視線領域（ｇｚ）、正面領域（ｂｚ）、視野領域（ｓｚ）および視野（ｆｖ）を用いて表される空間陣形に基づいて推定（認識）される。
【００３９】
第１１の発明によれば、人およびロボットの対話参加状態を判定できるので、この判定結果に合わせてロボットの動作を制御することによって、人との対話を自然に開始できるロボットを実現できる。
【発明の効果】
【００４０】
この発明によれば、双方が対話参加状態となる空間陣形を生成した後に挨拶発話を実行するので、人との対話を自然に開始でき、円滑にコミュニケーションを図ることができる。
【００４１】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う後述の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００４２】
【図１】この発明の一実施例のロボットシステムの構成を示す図解図である。
【図２】図１のロボットの外観を正面から見た様子を示す図解図である。
【図３】図１のロボットの電気的構成を示すブロック図である。
【図４】視線領域の定義の一例を示す図解図である。
【図５】正面領域の定義の一例を示す図解図である。
【図６】視線領域および視線の定義の一例を示す図解図である。
【図７】双方参加状態となる空間陣形の一例を示す図解図である。
【図８】双方参加状態となる空間陣形の他の一例を示す図解図である。
【図９】人のみ参加状態となる空間陣形の一例を示す図解図である。
【図１０】ロボットのみ参加状態となる空間陣形の一例を示す図解図である。
【図１１】対象物が無い場合の主動調整移動の目標位置の一例を示す図解図である。
【図１２】対象物がある場合の主動調整移動の目標位置の一例を示す図解図である。
【図１３】受動調整移動の目標位置の一例を示す図解図である。
【図１４】対話陣形の調整移動の目標位置の一例を示す図解図である。
【図１５】図３のＣＰＵが実行する全体処理の一例を示すフロー図である。
【発明を実施するための形態】
【００４３】
図１を参照して、この発明の一実施例であるロボットシステム１００は、通信可能に接続されるロボット１０とモーションキャプチャシステム１２とを含む。ロボット１０は、発話やジェスチャ等を用いて人との間でコミュニケーション行動を実行する相互作用指向のロボット（コミュニケーションロボット）であり、店舗やイベント会場などの様々な環境に配置される。そして、配置された環境内において、人に対して自ら話しかけて人とのインタラクションを引き起こし、展示案内、客引きおよびエンタテインメントなどの様々なサービスを提供する。ロボットシステム１００では、詳細は後述するように、ロボット１０と人との空間陣形を適切に調整することによって、ロボット１０が人（対話者）との対話を自然に開始できるようにしている。
【００４４】
図２は、ロボット１０の外観を示す正面図である。この図２を参照して、ロボット１０のハードウェアの構成について説明する。
【００４５】
ロボット１０は、台車２０を含み、この台車２０の下面には、ロボット１０を自律移動させる２つの車輪２２および１つの従輪２４が設けられる。２つの車輪２２は車輪モータ２６（図３参照）によってそれぞれ独立に駆動され、ロボット１０を前後左右任意の方向に動かすことができる。また、従輪２４は車輪２２を補助する補助輪である。このように、ロボット１０は、配置された環境内を自由に移動可能なものである。ただし、ロボット１０の移動機構は、車輪タイプに限定されず、公知の移動機構を適宜採用でき、たとえば２足歩行タイプの移動機構を採用することもできる。
【００４６】
なお、ロボット１０は、このロボットシステム１００が適用される環境の地図データを内部メモリ（メモリ６６：図３参照）に記憶している。そして、ロボット１０は、任意に設定された原点位置を基準として、地図データを参照して環境内を移動する。この際、ロボット１０が参照する地図データの座標系と、モーションキャプチャシステム１２のコンピュータ１４で算出される座標の座標系とは同じに設定される。
【００４７】
台車２０の上には、円柱形のセンサ取付パネル２８が設けられ、このセンサ取付パネル２８には、赤外線距離センサ３０が取り付けられる。この赤外線距離センサ３０は、ロボット１０と周囲の物体（人や障害物など）との距離を計測するものである。
【００４８】
また、センサ取付パネル２８の上には、胴体３２が直立するように設けられる。胴体３２の前方中央上部（胸に相当する位置）には、上述した赤外線距離センサ３０がさらに設けられる。これは、ロボット１０の前方の主として人との距離を計測する。また、胴体３２には、１つの全方位カメラ３４が設けられる。全方位カメラ３４は、たとえば背面側上端部のほぼ中央から延びる支柱３６上に設けられる。全方位カメラ３４は、ロボット１０の周囲を撮影するものであり、後述する眼カメラ６０とは区別される。この全方位カメラ３４としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。なお、これら赤外線距離センサ３０および全方位カメラ３４の設置位置は当該部位に限られず適宜変更され得る。
【００４９】
胴体３２の両側面上端部（肩に相当する位置）のそれぞれには、肩関節３８Ｒおよび３８Ｌによって、上腕４０Ｒおよび４０Ｌが設けられる。図示は省略するが、肩関節３８Ｒおよび３８Ｌのそれぞれは、直交する３軸の自由度を有する。すなわち、肩関節３８Ｒは、直交する３軸のそれぞれの軸廻りにおいて上腕４０Ｒの角度を制御できる。肩関節３８Ｒの或る軸（ヨー軸）は、上腕４０Ｒの長手方向に平行な軸であり、他の２軸（ピッチ軸、ロール軸）は、それにそれぞれ異なる方向から直交する軸である。同様に、肩関節３８Ｌは、直交する３軸のそれぞれの軸廻りにおいて上腕４０Ｌの角度を制御できる。肩関節３８Ｌの或る軸（ヨー軸）は、上腕４０Ｌの長手方向に平行な軸であり、他の２軸（ピッチ軸、ロール軸）は、それにそれぞれ異なる方向から直交する軸である。
【００５０】
また、上腕４０Ｒおよび４０Ｌのそれぞれの先端には、肘関節４２Ｒおよび４２Ｌを介して、前腕４４Ｒおよび４４Ｌが設けられる。図示は省略するが、肘関節４２Ｒおよび４２Ｌは、それぞれ１軸の自由度を有し、この軸（ピッチ軸）の軸廻りにおいて前腕４４Ｒおよび４４Ｌの角度を制御できる。
【００５１】
前腕４４Ｒおよび４４Ｌのそれぞれの先端には、手に相当する球体４６Ｒおよび４６Ｌがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、人の手の形をした「手」を用いることも可能である。
【００５２】
また、図示は省略するが、台車２０の前面、肩関節３８Ｒ，３８Ｌを含む肩に相当する部位、上腕４０Ｒ，４０Ｌ、前腕４４Ｒ，４４Ｌおよび球体４６Ｒ，４６Ｌには、それぞれ、接触センサ（図３で接触センサ４８として包括的に示す。）が設けられている。台車２０の前面の接触センサ４８は、台車２０への人や他の障害物の接触を検知する。したがって、ロボット１０の移動中に障害物との接触があると、それを検知し、直ちに車輪２２の駆動を停止してロボット１０の移動を急停止させることができる。また、その他の接触センサ４８は、主に、人がロボット１０の当該各部位に触れたかどうかを検知する。なお、接触センサ４８の設置位置はこれらに限定されず、適宜な位置（胸、腹、脇、背中、腰など）に設けられてよい。
【００５３】
胴体３２の中央上部（首に相当する位置）には首関節５０が設けられ、さらにその上には頭部５２が設けられる。図示は省略するが、首関節５０は、３軸の自由度を有し、３軸の各軸廻りに角度制御可能である。或る軸（ヨー軸）はロボット１０の真上（鉛直上向き）に向かう軸であり、他の２軸（ピッチ軸、ロール軸）は、それぞれ、それと異なる方向で直交する軸である。
【００５４】
頭部５２には、口に相当する位置に、スピーカ５４が設けられる。スピーカ５４は、ロボット１０が、それの周辺の人に対して音声ないし音によってコミュニケーションを取るために用いられる。また、耳に相当する位置には、マイク５６Ｒおよび５６Ｌが設けられる。以下、右耳に相当するマイク５６Ｒと左耳に相当するマイク５６Ｌとをまとめて「マイク５６」ということがある。マイク５６は、周囲の音、とりわけコミュニケーションを実行する対象である人の声を取り込む。さらに、目に相当する位置には、眼球部５８Ｒおよび５８Ｌが設けられる。眼球部５８Ｒおよび５８Ｌは、それぞれ眼カメラ６０Ｒおよび６０Ｌを含む。以下、右の眼球部５８Ｒと左の眼球部５８Ｌとをまとめて「眼球部５８」ということがあり、また、右の眼カメラ６０Ｒと左の眼カメラ６０Ｌとをまとめて「眼カメラ６０」ということがある。
【００５５】
眼カメラ６０は、ロボット１０に接近した人の顔や他の部分ないし物体などを撮影して、それに対応する映像信号を取り込む。眼カメラ６０としては、上述した全方位カメラ３４と同様のカメラを用いることができる。たとえば、眼カメラ６０は眼球部５８内に固定され、眼球部５８は眼球支持部（図示せず）を介して頭部５２内の所定位置に取り付けられる。図示は省略するが、眼球支持部は、２軸の自由度を有し、それらの各軸廻りに角度制御可能である。たとえば、この２軸の一方は、頭部５２の上へ向かう方向の軸（ヨー軸）であり、他方は、一方の軸に直交しかつ頭部５２の正面側（顔）が向く方向に直交する方向の軸（ピッチ軸）である。眼球支持部がこの２軸の各軸廻りに回転されることによって、眼球部５８ないし眼カメラ６０の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。なお、上述のスピーカ５４、マイク５６および眼カメラ６０の設置位置は、これらに限定されず、適宜な位置に設けてられてよい。
【００５６】
なお、ロボット１０は、人（特に子供）に威圧感を与えることのないように、大人よりも一回り小さい大きさになるように設計されており、その身長は１２０ｃｍであり、半径は５０ｃｍである。
【００５７】
図３は、ロボット１０の電気的な構成を示すブロック図である。図３に示すように、ロボット１０は、全体を制御するＣＰＵ６２を含む。ＣＰＵ６２は、マイクロコンピュータ或いはプロセサとも呼ばれ、バス６４を介して、メモリ６６、モータ制御ボード６８、センサ入力／出力ボード７０および音声入力／出力ボード７２等に接続される。
【００５８】
メモリ６６は、図示は省略するが、ＲＯＭやＨＤＤおよびＲＡＭを含む。ＲＯＭやＨＤＤには、ロボット１０の制御プログラムが予め記憶される。たとえば、人との間でコミュニケーション行動を実行するための行動制御プログラム、外部コンピュータ（モーションキャプチャシステム１２）との間で必要な情報を送受信するための通信プログラム、モーションキャプチャシステム１２等からのデータに基づいて人と自身との空間陣形を分析して人および自身の対話参加状態を判定する判定プログラム、および所定の空間陣形を形成するための空間陣形調整プログラム等である。また、ＲＯＭやＨＤＤには、各行動を実行する際に発生すべき音声または声の音声データ（音声合成データ）、所定の身振りを提示するための角度データ、環境の地図データ、および説明すべき商品（対象物）に関するデータなどのデータも適宜記憶される。また、ＲＡＭは、ワークメモリやバッファメモリとして用いられる。
【００５９】
モータ制御ボード６８は、たとえばＤＳＰで構成され、各腕や首関節５０および眼球部５８などの各軸モータの駆動を制御する。すなわち、モータ制御ボード６８は、ＣＰＵ６２からの制御データを受け、右眼球部５８Ｒの２軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「右眼球モータ」と示す。）７４の回転角度を制御する。同様に、モータ制御ボード６８は、ＣＰＵ６２からの制御データを受け、左眼球部５８Ｌの２軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「左眼球モータ」と示す。）７６の回転角度を制御する。
【００６０】
また、モータ制御ボード６８は、ＣＰＵ６２からの制御データを受け、右肩関節３８Ｒの直交する３軸のそれぞれの角度を制御する３つのモータと右肘関節４２Ｒの角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「右腕モータ」と示す。）７８の回転角度を調節する。同様に、モータ制御ボード６８は、ＣＰＵ６２からの制御データを受け、左肩関節３８Ｌの直交する３軸のそれぞれの角度を制御する３つのモータと左肘関節４２Ｌの角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「左腕モータ」と示す。）８０の回転角度を調節する。
【００６１】
さらに、モータ制御ボード６８は、ＣＰＵ６２からの制御データを受け、首関節５０の直交する３軸のそれぞれの角度を制御する３つのモータ（図３では、まとめて「頭部モータ」と示す。）８２の回転角度を制御する。さらにまた、モータ制御ボード６８は、ＣＰＵ６２からの制御データを受け、車輪２２を駆動する２つのモータ（図３では、まとめて「車輪モータ」と示す。）２６の回転角度を制御する。
【００６２】
なお、この実施例では、車輪モータ２６を除くモータは、制御を簡素化するために、ステッピングモータ或いはパルスモータを用いるようにしてある。ただし、車輪モータ２６と同様に、直流モータを用いるようにしてもよい。
【００６３】
センサ入力／出力ボード７０もまた、同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ６２に与える。すなわち、赤外線距離センサ３０のそれぞれからの反射時間に関するデータが、センサ入力／出力ボード７０を通してＣＰＵ６２に入力される。また、全方位カメラ３４からの映像信号が、必要に応じてセンサ入力／出力ボード７０で所定の処理を施された後、ＣＰＵ６２に入力される。眼カメラ６０からの映像信号も、同様にして、ＣＰＵ６２に入力される。また、上述した複数の接触センサ４８からの信号がセンサ入力／出力ボード７０を介してＣＰＵ６２に与えられる。
【００６４】
音声入力／出力ボード７２もまた、同様に、ＤＳＰで構成され、ＣＰＵ６２から与えられる音声合成データに従った音声または声がスピーカ５４から出力される。また、マイク５６からの音声入力が、音声入力／出力ボード５６を介してＣＰＵ６２に取り込まれる。
【００６５】
また、ＣＰＵ６２は、バス６４を介して通信ＬＡＮボード８４に接続される。通信ＬＡＮボード８４は、ＤＳＰで構成され、ＣＰＵ６２から送られる送信データを無線通信装置８６に与え、無線通信装置８６から送信データを、たとえば、無線ＬＡＮのようなネットワークを介して外部コンピュータに送信する。また、通信ＬＡＮボード８４は、無線通信装置８６を介してデータを受信し、受信したデータをＣＰＵ６２に与える。つまり、この通信ＬＡＮボード８４および無線通信装置８６によって、ロボット１０は外部コンピュータなどと無線通信を行うことができる。
【００６６】
図１に戻って、モーションキャプチャシステム１２は、ロボット１０および人の位置、体の方向および視線方向などを検出するために用いられ、ＰＣ等の汎用のコンピュータ１４と環境に設置される複数のカメラ（赤外線カメラ）１６とを備える。また、図示は省略するが、ロボット１０および人には、複数の赤外線反射マーカが装着される。この実施例では、ロボット１０および人のそれぞれ対して、頭部、胴体部および腕部などの適宜な位置に、合計２３個の赤外線反射マーカが取り付けられる。また、ロボット１０が人に対して説明（紹介）すべき対象物（商品など）にも、赤外線反射マーカが装着される。モーションキャプチャシステム１２としては、公知のモーションキャプチャシステムが適用でき、たとえば、ＶＩＣＯＮ社の光学式のモーションキャプチャシステムを用いることができる。
【００６７】
モーションキャプチャシステム１２のコンピュータ１４は、カメラ１６から画像データをたとえば６０Hz（１秒間に６０フレーム）で取得し、画像データを画像処理することによって、その計測時の全ての画像データにおける各赤外線反射マーカの２次元位置を抽出する。そして、コンピュータ１４は、画像データにおける各赤外線反射マーカの２次元位置に基づいて、実空間における各赤外線反射マーカの３次元位置を算出することによって、ロボット１０および人の位置（座標）、体の方向、および顔（視線）の方向を算出する。そして、コンピュータ１４は、算出したロボット１０および人の位置データ（座標データ）、体方向データおよび視線方向データ等の配置情報を、ロボット１０（ＣＰＵ６２）からの要求に応じてロボット１０に送信する。
【００６８】
なお、ロボット１０の位置、体の向きおよび視線方向は、必ずしもモーションキャプチャシステム１２を用いなくても把握できる。たとえば、上述の車輪モータ２６および頭部モータ６６の回転角度などから、ロボット１０の位置、体の向きおよび視線方向を計算によって求めることもできる。しかしながら、実施例では、ＣＰＵ６２のリアルタイムの計算量を軽減するために、モーションキャプチャ１２を用いるようにした。
【００６９】
このようなロボットシステム１００では、ロボット１０は、配置された環境内において、人に対して自ら働きかけて人とのインタラクションを引き起こし、展示案内、客引きおよびエンタテインメントなどの様々なサービスを提供する。ここで、ロボット１０がサービスをより効率良く提供するためには、ロボット１０が、適切なタイミングおよび位置で人に話しかける機能、つまり人と対話を自然に始める機能を身に付けることが重要である。
【００７０】
本発明者らは、人同士が対話を始めるときの様子を注意深く観察したところ、人同士は、特定の空間陣形（つまり空間的な配置関係）を形成してから対話を始めることを見出した。そこで、この実施例では、それをモデル化してロボット１０に実行させることによって、人と対話を自然に始めることができるロボットシステム１００（ロボット１０）を実現した。
【００７１】
具体的には、本発明者らが、ロボット１０がサービスを提供する際に幅広く利用できると考えられる、店員が客に対して話しかける状況を観察したところ、以下の４つの点が確認された。（１）客が店員の存在に気付いたとき（２人の視線が合ったとき）は、店員は、客との距離が所定距離（たとえば２．５ｍ）に近づいたときに挨拶をし、その後対話をするときにはもう少し近づく（たとえば１.５ｍ以内まで）。ただし、この際の所定距離は状況や環境などに依存する。（２）客の前方（正面方向を中心とする１２０°の範囲）から近づいてくる店員は、約２ｍの距離まで近づいたときに挨拶をし、その後対話をするときには１.５ｍ以内まで近づく。（３）客の前方以外から近づいてくる店員は、客の視野（正面方向を中心とする２７０°の範囲）内に入るように移動し、約１．５ｍの距離まで近づく。そして、客が店員の接近に気付かない場合には、「すいません」等の注意喚起の言葉を発し、客に自身の存在を気付かせてから挨拶をする。（４）店員に次の計画、たとえば商品の説明をしたり、商品の場所まで客を誘導したりする必要があるときであって、客が店員の存在に気づいていないときには、店員は、商品の説明などの次の行動を起こし易い場所で挨拶を行う。
【００７２】
以上の観察結果から、人同士が挨拶をして対話を始めるときには必ず、特定の空間陣形を形成することによって、双方が相手の存在を認識している状態、すなわち対話への参加に対して暗黙的に同意した状態（心的同意状態）が双方に対して形成されていることが分かる。この実施例では、この心的同意状態を「対話参加状態」と名付ける。また、観察結果からは、対話を始めるための空間陣形と対話をするための空間陣形とは、必ずしも同じではないことも分かる。つまり、ロボット１０が人との対話を自然に開始するためには、先ず、ロボット１０および人の双方を対話参加状態にする、つまり双方が対話参加状態となる空間陣形を形成することが重要であり、状況に応じて、対話をするのに適した空間陣形に調整することが必要であると言える。
【００７３】
そこで、この実施例では、ロボット１０が自ら働きかけて人との対話（インタラクション）を開始する際には、先ず、ロボット１０と人との空間陣形を分析して、ロボット１０および人の対話参加状態を認識（推定）する。そして、認識した対話参加状態に応じて、ロボット１０が適宜の行動を取ることによって、ロボット１０および人の双方が対話参加状態になるようにした後、ロボット１０が人に対して挨拶発話を行うようにしている。以下、具体的に説明する。
【００７４】
空間陣形に基づいて対話参加状態を認識するために、視線領域ｇｚ、正面領域ｆｚ、視野領域ｓｚおよび視野ｆｖを次のように定義する。
【００７５】
図４に示すように、視線領域ｇｚは、視線方向ｇｄを中心軸として、頭部（顔）の中心から顔正面方向に向かって延びる円錐形の領域であって、その頂角θが３０°であり、頂点から底面までの距離が２．５ｍである領域とする。また、図５に示すように、正面領域ｆｚは、体の正面方向ｂｄを中心とする１２０°の範囲であって、体の中心からの距離が２ｍ以内である扇形の領域とする。さらに、図６に示すように、視野領域ｓｚは、体の正面方向ｂｄを中心とする２７０°の範囲であって、体の中心からの距離が１．５ｍ以内である領域とする。また、視野ｆｖは、体の正面方向ｂｄを中心とする２７０°の範囲であって、体の中心からの距離制限がない領域とする。
【００７６】
そして、次の所定の空間条件を満たすと、対話参加状態にあると判断する。
【００７７】
（１）図７に示すように、ロボット１０の視線領域ｇｚに人の頭部（顔）が入り、かつ人の視線領域ｇｚにロボット１０の頭部５２が入る状態の空間陣形になったとき、すなわち、ロボット１０と人とが所定距離内で視線を合わせた状態になったときには、ロボット１０および人の双方が対話参加状態である（双方参加状態）と判断する。（２）図８に示すように、ロボット１０と人との視線が合わない状態で、ロボット１０の正面領域ｆｚに人が入り、かつ人の正面領域ｆｚにロボット１０が入る状態の空間陣形になったときには、ロボット１０および人の双方が対話参加状態であると判断する。（３）図９に示すように、ロボット１０と人との視線が合わない状態で、人の正面領域ｆｚにロボット１０が入り、ロボット１０の正面領域ｆｚに人が入らず、かつロボット１０の視野ｆｖに人が入る状態の空間陣形になったときには、人のみが対話参加状態（人のみ参加状態）であると判断する。（４）図１０に示すように、ロボット１０と人との視線が合わない状態で、ロボット１０の正面領域ｆｚに人が入り、人の正面領域ｆｚにロボット１０が入らず、かつ人の視野領域ｓｚにロボット１０が入る状態の空間陣形になったときには、ロボット１０のみが対話参加状態（ロボットのみ参加状態）であると判断する。（５）以上の空間条件１−４を満たさない空間陣形のときには、ロボット１０および人の双方が対話参加状態でない（双方非参加状態）と判断する。
【００７８】
なお、各領域を定義する具体的数値（閾値）は、人同士のコミュニケーションを観察した結果に基づいて決定した数値ではあるが、これらの最適値はロボット１０を配置する環境や対話相手などによって変動する数値でもあるので、必要に応じて適宜変更するようにしてもよい。たとえば、見晴らしのよい広い場所では、視線領域ｇｚを定義する距離の大きさは、２．５ｍよりも大きく設定してもよいし、ロボット１０や対話相手の人の身長が高い場合には、各領域の距離設定を大きくとるようにしてもよい。また、或る領域内に入ったか否かの判断は、体（または頭部）の中心がその領域内に入ったか否かで判断してもよいし、体（または頭部）の全体がその領域内に入ったか否かで判断してもよい。
【００７９】
ロボット１０および人の対話参加状態を認識すると、その認識結果に応じてロボット１０の行動（動作）が決定される。すなわち、ロボット１０は、双方参加状態となる所定の空間陣形（つまり対話を始めるための空間陣形）を形成するための行動を行う。
【００８０】
具体的には、双方非参加状態であると判断されたときには、ロボット１０は、空間陣形の主動調整移動（Proactive adjustment of spatial formation）を行う。空間陣形の主動調整移動では、ロボット１０は、ロボット１０の正面領域ｆｚに人が入り、かつ人の視野領域ｆｖにロボット１０が入るような地点（或いは配置状態）を移動目標位置として設定して移動する。
【００８１】
この際、ロボット１０に次の計画が無い場合、つまり単に人と対話をすることだけが目的の場合には、図１１に示すように、自身の位置から最短距離となる地点が移動目標位置として選択される。ただし、図１１から分かるように、ロボット１０が人の正面領域ｆｚの方向から近づく場合には、人の正面領域ｆｚに入った時点で双方参加状態となるので、ロボット１０は人の正面領域ｆｚに入るだけでよい。また、人の視線領域ｇｚの方向から近づく場合には、人の視線領域ｇｚに入った時点で双方参加状態となるので、ロボット１０は人の視線領域ｇｚに入るだけでよい。
【００８２】
一方、ロボット１０に次の計画がある場合、たとえば商品の説明をしたり、商品の場所まで人を誘導したりする必要があるときには、空間陣形の主動調整移動は、次の行動を考慮した態様とされる。たとえば、説明すべき対象物がある場合には、ロボット１０の正面領域ｆｚに人が入り、かつ人の視野領域ｆｖにロボット１０が入るような地点を移動目標位置として設定するという条件を満たす上で、さらに、対象物の説明を行い易い地点が移動目標位置として選択される。具体的には、図１２に示すように、対象物がロボット１０および人の双方の視野ｆｖに入る空間陣形となるように、移動目標位置が設定される。
【００８３】
ただし、空間陣形の主動調整移動の実行途中に、人が移動したり、体の向きや視線方向を変えたりすることによって、双方参加状態になったり、人のみ参加状態になったりすると、ロボット１０は、空間陣形の主動調整移動をそこで終了し、ロボット１０および人の対話参加状態に応じた次の行動に移る。上述のような空間陣形の主動調整移動によって、少なくともロボット１０が対話参加状態になる空間陣形が確保される。
【００８４】
人のみ参加状態であると判断されたときには、ロボット１０は、空間陣形の受動調整移動（Reactive adjustment of spatial formation）を行う。空間陣形の受動調整移動では、図１３に示すように、ロボット１０の正面領域ｆｚに人が入るように体の向きを調整することによって、ロボット１０も対話参加状態になるようにする。この際には、ロボット１０の視線領域ｇｚに人の頭部（顔）が入るように視線方向も調整するとよい。なお、人のみが対話参加状態になる空間陣形は、空間陣形の主動調整移動の途中に、人が移動したり、体の向きや視線方向を変えたりしたときに生じる状況、つまり人の方からロボット１０に働きかけようとしている状況が想定されるので、対話のためにより適切な場所への調整移動（詳細は後述）も、空間陣形の受動調整移動において同時に行うようにしてもよい。この空間陣形の受動調整移動によって、ロボット１０が人に興味を持っていることを人に示すことができるので、人の方からロボット１０に働きかけようとした場合に、人が途中で諦めてロボット１０から離れてしまうことを防止できる。
【００８５】
ロボットのみ参加状態であると判断されたときには、ロボット１０は、注意喚起発話を行う。ロボット１０のみが対話参加状態になる空間陣形は、ロボット１０が近づいたことを人が気づいていない状況が想定される。そこで、ロボット１０は、「すみません」等の注意喚起発話を行うことによって、人に体の向きや視線方向を調整してもらい、双方参加状態の空間陣形を形成する。ここで重要なことは、ロボット１０がすでに人の視野領域ｓｚに入っていることであり、これによって、人にとって不意打ちとなる話しかけが極力防止される。この注意喚起発話によって、人に体の向きや視線方向を調整してもらうことができるので、人の正面側の空間が狭い等して、ロボット１０が人の正面領域ｆｚに回り込めないような状況にも柔軟に対応できる。
【００８６】
そして、双方参加状態であると判断されたときには、ロボット１０は、人に対して「こんにちは」や「いらっしゃいませ」等の挨拶発話を実行する。双方参加状態は、ロボット１０および人の双方が対話への参加に対して暗黙的に同意した状態である。すなわち、人側からすると、自身と対話したい（或いは自身との対話を受け入れる）という意思をロボット１０から示された状態であり、かつロボット１０との対話を受け入れる（或いはロボット１０と対話したい）という意思をロボット１０に示した状態となる。したがって、双方参加状態となったときのロボット１０の挨拶発話は、極めて自然に人に受け入れられ、ロボット１０は人との対話を自然に始めることができる。
【００８７】
また、上述の人同士の対話の観察結果から、対話をするのに適した空間陣形（対話陣形）があることも分かったので、この実施例ではさらに、ロボット１０が人と対話をする際には、対話のためにより適切な場所への調整移動（対話陣形の調整移動）も実行する。具体的には、図１４に示すように、双方参加状態となる空間陣形を維持しながら、人との距離が、１．１−１.５ｍとなる領域に移動する。この対話陣形の調整移動によって、その後の人との対話をより快適に実行することができる。なお、対話陣形の調整移動は、ロボット１０の挨拶発話が終わった後の次の発話を行う前に実行してもよいし、人との対話を行いながら実行してもよい。
【００８８】
続いて、フロー図を用いて、人とのインタラクション（対話）を開始する際のロボット１０（ロボットシステム１００）の動作を説明する。具体的には、図３に示したロボット１０のＣＰＵ６２が、図１５に示すフロー図に従って全体処理を実行する。図１５を参照して、ＣＰＵ６２は、ステップＳ１において、ロボット１０および人の位置、体の向きおよび視線方向を検出する。すなわち、ロボット１０および人の位置データ、体方向データおよび視線方向データ等の配置情報を、無線通信装置８６および通信ＬＡＮボード８４を介してモーションキャプチャシステム１２から取得する。
【００８９】
次のステップＳ３では、空間陣形からロボット１０および人の対話参加状態を認識する。すなわち、ステップＳ１で取得した配置情報に基づいて、ロボット１０と人との空間陣形を分析することによって、ロボット１０および人の対話参加状態が、双方非参加状態、人のみ参加状態、ロボットのみ参加状態、および双方参加状態のいずれであるかを認識（判断）する。たとえば、双方の頭部が互いに相手の視線領域ｇｚに入る状態の空間陣形になったとき（互いの視線が合ったとき）や、双方が互いの正面領域ｆｚに入る状態の空間陣形になったときには、双方参加状態であると認識する。また、たとえば、互いの視線が合わない状態で、人の正面領域ｆｚにロボット１０が入り、ロボット１０の正面領域ｆｚに人が入らず、かつロボット１０の視野ｆｖに人が入る状態の空間陣形になったときには、人のみ参加状態であると判断する。さらに、たとえば、互いの視線が合わない状態で、ロボット１０の正面領域ｆｚに人が入り、人の正面領域ｆｚにロボット１０が入らず、かつ人の視野領域ｓｚにロボット１０が入る状態の空間陣形になったときには、ロボットのみ参加状態であると判断する。また、人のみ参加状態、ロボットのみ参加状態、および双方参加状態となるいずれの空間条件（空間陣形）にも当てはまらない場合には、双方非参加状態であると判断する。なお、ステップＳ１およびＳ３の処理は、所定時間毎に繰り返し実行される。
【００９０】
次のステップＳ５では、ステップＳ３で認識されたロボット１０および人の対話参加状態が、双方共に非参加状態であるか否かを判定する。ステップＳ５で“ＹＥＳ”の場合、すなわち双方共に非参加状態である場合には、ステップＳ７に進み、ステップＳ５で“ＮＯ”の場合、すなわち双方共に非参加状態でない場合には、ステップＳ９に進む。
【００９１】
ステップＳ７では、空間陣形の主動調整移動を実行する。すなわち、ロボット１０の正面領域ｆｚに人が入り、かつ人の視野領域ｆｖにロボット１０が入るような地点（或いは配置状態）を移動目標位置として設定し、その移動目標位置までロボット１０が移動するように、車輪モータ２６の回転角度を制御する制御データをモータ制御ボード６８に対して送信する。この際、ロボット１０に次の計画が無い場合、つまり単に人と対話をすることだけが目的の場合には、自身の位置から最短距離となる地点（或いは配置状態）が移動目標位置として選択される。一方、ロボット１０に次の計画がある場合、たとえば商品の説明をしたり、商品の場所まで人を誘導したりする必要があるときには、その商品（対象物）がロボット１０および人の双方の視野ｆｖに入る空間陣形となるような地点が移動目標位置として設定される。ステップＳ７が終了すると、処理はステップＳ１に戻る。
【００９２】
ステップＳ９では、ステップＳ３で認識されたロボット１０および人の対話参加状態が、人のみ参加状態であるか否かを判定する。ステップＳ９で“ＹＥＳ”の場合、すなわち人のみ参加状態である場合には、ステップＳ１１に進み、ステップＳ９で“ＮＯ”の場合、すなわち人のみ参加状態でない場合には、ステップＳ１３に進む。
【００９３】
ステップＳ１１では、空間陣形の受動調整移動を実行する。すなわち、ロボット１０の正面領域ｆｚに人が入るように、車輪モータ２６の回転角度を制御する制御データをモータ制御ボード６８に対して送信して、ロボット１０の体の向きを調整したり、ロボット１０の視線領域ｇｚに人の頭部が入るように、頭部モータ８２の回転角度を制御する制御データをモータ制御ボード６８に対して送信して、ロボット１０の視線方向を調整したりして、ロボット１０も対話参加状態になるようにする。この際には、対話のためにより適切な場所への調整移動も同時に行うようにしてもよい。ステップＳ１１が終了すると、処理はステップＳ１に戻る。
【００９４】
ステップＳ１３では、ステップＳ３で認識されたロボット１０および人の対話参加状態が、ロボットのみ参加状態であるか否かを判定する。ステップＳ１３で“ＹＥＳ”の場合、すなわちロボットのみ参加状態である場合には、ステップＳ１５に進み、ステップＳ１３で“ＮＯ”の場合、すなわちロボットのみ参加状態でない場合には、ステップＳ１７に進む。
【００９５】
ステップＳ１５では、注意喚起発話を実行する。すなわち、「すみません」等の注意喚起発話を行うための音声データを音声入力／出力ボード７２に送信して、スピーカ５４から注意喚起発話を出力する。ステップＳ１５が終了すると、処理はステップＳ１に戻る。
【００９６】
ステップＳ１７では、ステップＳ３で認識されたロボット１０および人の対話参加状態が、双方参加状態であるか否かを判定する。ステップＳ１７で“ＹＥＳ”の場合、すなわち双方参加状態である場合には、ステップＳ１９に進み、ステップＳ１７で“ＮＯ”の場合、すなわち双方参加状態でない場合には、ステップＳ１に戻る。
【００９７】
ステップＳ１９では、挨拶発話を実行する。すなわち、「こんにちは」や「いらっしゃいませ」等のその状況に応じた挨拶発話を実行するための音声データを音声入力／出力ボード７２に送信して、スピーカ５４から注意喚起発話を出力する。この際には、挨拶発話と連動させて、お辞儀などの身体動作を実行するための制御データをモータ制御ボード６８に対して送信するようにしてもよい。
【００９８】
続くステップＳ２１では、対話陣形の調整移動を実行する。すなわち、双方参加状態となる空間陣形を維持しながら、人との距離が１．１−１.５ｍとなる領域に移動するように、車輪モータ２６の回転角度を制御する制御データをモータ制御ボード６８に対して送信する。そして、ステップＳ２１の処理によって、対話をするための空間陣形が確立されると、この全体処理を終了する。
【００９９】
この実施例によれば、ロボット１０および人の双方が対話参加状態となる空間陣形を生成した後に、ロボット１０が挨拶発話を実行する。つまり、人間同士の対話により近い挨拶発話を実行するので、ロボット１０の挨拶発話は、極めて自然に人に受け入れられる。したがって、ロボット１０は、人との対話を自然に始めることができ、円滑に人とのコミュニケーションを図ることができる。
【０１００】
また、この実施例によれば、ロボット１０に次の計画がある場合には、ロボット１０の空間陣形の主動調整移動は、次の行動を考慮した態様とされる。すなわち、説明すべき対象物がある場合には、対象物の説明を行い易い地点がロボット１０の移動目標位置として選択される。これによって、ロボット１０は、対話を始めた後の位置や体の向き等の調整を極力避けることができるので、より自然で円滑なインタラクションを人との間で実行できる。特に、ロボット１０、人および対象物の空間関係が直線状に並んでしまうと、ロボット１０が指差しジェスチャを用いて対象物を指し示すことが困難になってしまうが、この問題を回避できる。
【０１０１】
さらに、この実施例では、人のみが対話参加状態である判断されたときには、ロボット１０は空間陣形の受動調整移動を行う。これによって、人の方からロボット１０に働きかけようとした場合に、ロボット１０が人に興味を持っていることを人に示すことができるので、人が途中で諦めてロボット１０から離れてしまうことを防止できる。
【０１０２】
また、この実施例では、ロボット１０のみが対話参加状態であると判断されたときには、ロボット１０は注意喚起発話を行い、人に体の向きや視線方向を調整してもらう。これによって、人の前方の空間が狭い等して、ロボット１０が人の正面領域ｆｚに回り込めない状況にも柔軟に対応でき、より自然で円滑なインタラクションを人との間で実行できる。
【０１０３】
さらに、この実施例では、対話のためにより適切な場所への調整移動（対話陣形の調整移動）も実行する。これは、対話を始めるための空間陣形と対話をするための空間陣形とは、必ずしも同じになるとは限らないからであり、対話陣形の調整移動を行うことによって、より自然で円滑なインタラクションを人との間で実行できる。
【０１０４】
なお、上述の実施例では、モーションキャプチャシステム１２を利用して、ロボット１０および人の配置情報、つまり位置、体の向きおよび視線方向を検出するようにしたが、これに限定されず、公知の方法を適宜利用することができる。たとえば、人およびロボット１０の位置検出および体の向きの検出については、この発明者らが先に出願した特開２００９−１６８５７８号公報に開示したＬＲＦを用いる方法を利用することができる。また、視線方向を計測する装置の一例として、株式会社ナックイメージテクノロジーの視線計測システム「アイマークレコーダ」の技術を利用することができる。
【０１０５】
また、上述の実施例では、ロボット１０のＣＰＵ６２が、ロボット１０と人との空間陣形を分析して対話参加状態を認識する処理（ステップＳ３に相当）、および対話参加状態に応じて次の動作を制御する処理（ステップＳ５−Ｓ１７に相当）を行うようにしたが、これに限定されない。たとえば、ロボット制御装置（或いは空間陣形認識装置）としての外部コンピュータを別に設け、空間陣形を分析してロボット１０の動作を決定するこれらの処理の一部または全部を外部コンピュータに実行させて、外部コンピュータからロボット１０に対して動作制御データを送信するようにしてもよい。
【０１０６】
なお、上で挙げた所定距離などの具体的数値は、いずれも単なる一例であり、必要に応じて適宜変更可能である。
【符号の説明】
【０１０７】
１０ …コミュニケーションロボット
１２ …モーションキャプチャシステム
２２ …車輪
２６ …車輪モータ
５４ …スピーカ
６２ …ＣＰＵ
６６ …メモリ
１００ …ロボットシステム
【技術分野】
【０００１】
この発明はロボットシステムおよびそれに用いる空間陣形認識装置に関し、特にたとえば、少なくとも発話を用いて人との間でコミュニケーションを実行するロボットを含む、ロボットシステムおよびそれに用いる空間陣形認識装置に関する。
【背景技術】
【０００２】
近年、発話や身体動作などを用いて、展示案内や客引きなどの多様なサービスを提供するロボット（コミュニケーションロボット）が開発されている。ここで、ロボットが展示案内や客引きなどのサービスを提供する場合には、人とのインタラクション（コミュニケーション）をどのように引き起こすかが重要となる。ロボットが目新しい存在である場合には、人の方からインタラクションを開始してくれるかもしれないが、近い将来、ロボットの目新しさが薄れるであろうことを考慮すると、ロボット側から働きかけてインタラクションを開始する必要があると考えられるからである。
【０００３】
すなわち、人とのコミュニケーションをより円滑に遂行し、サービスをより効率良く提供するためには、ロボットが、適切なタイミングおよび位置で人に話しかける機能、つまり人と対話（会話）を自然に始める機能を身に付けることが重要であると考えられる。
【０００４】
たとえば、特許文献１には、従来の会話ロボットの一例が開示されている。特許文献１の会話ロボットは、人の顔または体の正面方向を検出し、検出した人の顔または体の正面方向に移動した後、人の目を見て人に話しかけるようにしている。
【０００５】
一方、非特許文献１には、人同士がインタラクションを行う際に、Ｆ陣形と呼ばれる特定の空間陣形を維持することが開示されている。また、非特許文献２には、非特許文献１の空間陣形に関する考えを、人とロボットとのインタラクションに利用することが開示されている。
【特許文献１】特開２００４−３４２７４号公報 [Ｇ０５Ｄ １／０２]
【非特許文献１】Kendon,A., 1990, Spatial Organization in Social Encounters: the F-formation System, in Conducting Interaction: Patterns of Behavior in Focused Encounters, A. Kendon ed., Cambridge University Press, pp. 209-238.
【非特許文献２】Kuzuoka, H., Suzuki, Y., Yamashita, J. and Yamazaki, K., 2010, Reconfiguring Spatial Formation Arrangement by Robot Body Orientation, ACM/IEEE Int. Conf. on Human-Robot Interaction (HRI2010), pp. 285-292.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術では、人の真正面に移動してから対話を開始している。人の真正面で人の目を見ながら話すことによって親近感は増すかもしれないが、人に声をかけるタイミングおよび位置としては、人の真正面に移動したときが常に適切であるとは限らない。たとえば、人間同士が対話をするときにいつでも、わざわざ相手の真正面に移動してから対話を始めるかというと、そうではないので、特許文献１の技術のようなロボットの行動は、不自然なものとなってしまう。すなわち、ロボットが人に話しかける状況というのは、様々であり、たとえば、人の正面方向から近づいて話しかける状況があれば、横方向や背後方向から近づいて話しかける状況もある。また、単に人との対話を目的とするだけの状況があれば、人に商品の説明をしたり、人を商品の近くまで誘導したりしなければならない状況もある。特許文献1の技術では、このような様々な状況に対して適切に対応することができない。
【０００７】
また、非特許文献１および２の技術では、人同士、或いは人とロボットとが、既にインタラクションを開始していることを前提としている。つまり、様々な状況が起こり得る中で、ロボットが、人に対してどのようなタイミングおよび位置で話しかけて対話を開始すればよいかについては、明らかにされていない。
【０００８】
それゆえに、この発明の主たる目的は、新規な、ロボットシステムおよびそれに用いる空間陣形認識装置を提供することである。
【０００９】
この発明の他の目的は、人との対話を自然に開始できる、ロボットシステムおよびそれに用いる空間陣形認識装置を提供することである。
【課題を解決するための手段】
【００１０】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明などは、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【００１１】
第１の発明は、少なくとも発話を用いて人との間でコミュニケーションを実行するロボットを含むロボットシステムであって、位置、体の向きおよび視線方向を含む人およびロボットの配置情報を検出する検出手段、検出手段によって検出された配置情報に基づいて人とロボットとの空間陣形を分析し、人およびロボットの対話参加状態を判定する判定手段、判定手段によって人およびロボットの少なくとも一方が対話参加状態でないと判断されたとき、人およびロボットの双方が対話参加状態となるようにロボットの動作を制御する空間陣形調整手段、および判定手段によって人およびロボットの双方が対話参加状態であると判断されたとき、人に対する挨拶発話をロボットに実行させる挨拶実行手段を備える、ロボットシステムである。
【００１２】
第１の発明では、ロボットシステム（１００）は、少なくとも発話を用いて人との間でコミュニケーションを実行するロボット（１０）を含む。このロボットは、配置された環境内において、人に対して自ら話しかけて人とのインタラクションを引き起こす。検出手段（１２，６２，６６，８４，８６，Ｓ１）は、人およびロボットの配置情報、たとえば位置、体の向きおよび視線方向を検出する。判定手段（６２，６６，Ｓ３）は、人およびロボットの配置情報に基づいて空間陣形（空間的な配置関係）を分析することによって、人およびロボットの対話参加状態を判定する。ここで、対話参加状態とは、対話への参加に対して暗黙的に同意した状態（心的同意状態）をいい、たとえば、人および自身に対して予め定義される視線領域（ｇｚ）、正面領域（ｂｚ）、視野領域（ｓｚ）および視野（ｆｖ）を用いて表される空間陣形に基づいて推定（認識）される。空間陣形調整手段（２６，５４，６２，６６，８２，Ｓ５−１７）は、人およびロボットの対話参加状態に応じてロボットの動作を制御し、人およびロボットの双方が対話参加状態となる空間陣形を形成する。挨拶実行手段（５４，６２，６６，Ｓ１９）は、人およびロボットの双方が対話参加状態（双方参加状態）になったとき、「こんにちは」や「いらっしゃいませ」等の挨拶発話をロボットに実行させる。
【００１３】
第１の発明によれば、双方が対話参加状態となる空間陣形を生成した後に挨拶発話を実行するので、人との対話を自然に開始でき、円滑にコミュニケーションを図ることができる。
【００１４】
第２の発明は、第１の発明に従属し、判定手段は、人の頭部およびロボットの頭部が共に相手の視線領域に入る状態の空間陣形になったとき、人およびロボットの双方が対話参加状態であると判断する。
【００１５】
第２の発明では、判定手段（６２，６６，Ｓ３）は、人の頭部がロボット（１０）の視線領域（ｇｚ）に入り、かつロボットの頭部（５２）が人の視線領域に入る状態の空間陣形になったとき、つまり所定距離内で人およびロボットの視線が合ったとき、双方参加状態であると判断する。これによって、双方参加状態を適切に認識できる。
【００１６】
第３の発明は、第１または第２の発明に従属し、判定手段は、人およびロボットが共に相手の正面領域に入る状態の空間陣形になったとき、人およびロボットの双方が対話参加状態であると判断する。
【００１７】
第３の発明では、判定手段（６２，６６，Ｓ３）は、ロボット（１０）の正面領域（ｂｚ）に人が入り、かつ人の正面領域にロボットが入る状態の空間陣形になったとき、双方参加状態であると判断する。これによって、双方参加状態を適切に認識できる。
【００１８】
第４の発明は、第１ないし第３のいずれかの発明に従属し、判定手段は、人の頭部およびロボットの頭部が共に相手の視線領域に入る状態ではなく、人の正面領域にロボットが入り、ロボットの正面領域に人が入らず、かつロボットの視野に人が入る状態の空間陣形になったとき、人のみが対話参加状態であると判断する。
【００１９】
第４の発明では、判定手段（６２，６６，Ｓ３）は、所定距離内で人およびロボット（１０）の視線が合う状態ではなく、人の正面領域（ｂｚ）にロボットが入り、ロボットの正面領域に人が入らず、かつロボットの視野（ｆｖ）に人が入る状態の空間陣形になったとき、人のみが対話参加状態であると判断する。これによって、人のみが対話参加状態であることを適切に認識できる。
【００２０】
第５の発明は、第１ないし第４のいずれかの発明に従属し、判定手段は、人の頭部およびロボットの頭部が共に相手の視線領域に入る状態ではなく、ロボットの正面領域に人が入り、人の正面領域にロボットが入らず、かつ人の視野領域にロボットが入る状態の空間陣形になったとき、ロボットのみが対話参加状態であると判断する。
【００２１】
第５の発明では、判定手段（６２，６６，Ｓ３）は、所定距離内で人およびロボット（１０）の視線が合う状態ではなく、ロボットの正面領域（ｂｚ）に人が入り、人の正面領域にロボットが入らず、かつ人の視野領域（ｓｚ）にロボットが入る状態の空間陣形になったとき、ロボットのみが対話参加状態であると判断する。これによって、ロボットのみが対話参加状態であることを適切に認識できる。
【００２２】
第６の発明は、第１ないし第５のいずれかの発明に従属し、空間陣形調整手段は、判定手段によって人およびロボットの双方が対話参加状態でないと判断されたとき、空間陣形の主動調整移動をロボットに実行させる主動調整手段を含む。
【００２３】
第６の発明では、空間陣形調整手段（２６，５４，６２，６６，８２，Ｓ５−１７）は、主動調整手段（２６，６２，６６，８２，Ｓ５，Ｓ７）を含む。主動調整手段は、判定手段（６２，６６，Ｓ３）によって、人およびロボット（１０）の双方が対話参加状態でない、すなわち双方非参加状態である判断されたとき、ロボットに空間陣形の主動調整移動を実行させる。たとえば、空間陣形の主動調整移動では、ロボットの正面領域（ｆｚ）に人が入り、かつ人の視野領域（ｆｖ）にロボットが入るような地点（或いは配置状態）を移動目標位置として設定してロボットを移動させる。
【００２４】
第６の発明によれば、少なくともロボットが対話参加状態になる空間陣形が確保される。
【００２５】
第７の発明は、第６の発明に従属し、主動調整手段は、説明すべき対象物があるとき、対象物の説明を行い易い地点をロボットの移動目標位置として選択する。
【００２６】
第７の発明では、主動調整手段（２６，６２，６６，８２，Ｓ５，Ｓ７）は、説明すべき対象物があるとき、対象物の説明を行い易い地点をロボット（１０）の移動目標位置として設定する。たとえば、ロボットの正面領域（ｆｚ）に人が入り、かつ人の視野領域（ｆｖ）にロボットが入るような地点を移動目標位置として設定するという条件を満たす上で、さらに、対象物がロボットおよび人の双方の視野（ｆｖ）に入る空間陣形となるように、移動目標位置が設定される。
【００２７】
第７の発明によれば、対象物の説明を行い易い地点をロボットの移動目標位置として選択するので、ロボットは、対話を始めた後の位置や体の向き等の調整を極力避けることができ、より自然で円滑なインタラクションを人との間で実行できる。
【００２８】
第８の発明は、第１ないし第７のいずれかの発明に従属し、空間陣形調整手段は、判定手段によって人のみが対話参加状態であると判断されたとき、空間陣形の受動調整移動をロボットに実行させる受動調整手段を含む。
【００２９】
第８の発明では、空間陣形調整手段（２６，５４，６２，６６，８２，Ｓ５−１７）は、受動調整手段（２６，６２，６６，８２，Ｓ９，Ｓ１１）を含む。受動調整手段は、判定手段（６２，６６，Ｓ３）によって、人のみが対話参加状態であると判断されたとき、ロボット（１０）に空間陣形の受動調整移動を実行させる。たとえば、空間陣形の受動調整移動では、ロボットの正面領域（ｆｚ）に人が入るように体の向きを調整することによって、ロボットも対話参加状態になるようにされる。
【００３０】
第８の発明によれば、人の方からロボットに働きかけようとした場合に、ロボットが人に興味を持っていることを人に示すことができるので、人が途中で諦めてロボットから離れてしまうことを防止できる。
【００３１】
第９の発明は、第１ないし第８のいずれかの発明に従属し、空間陣形調整手段は、判定手段によってロボットのみが対話参加状態であると判断されたとき、注意喚起発話をロボットに実行させる注意喚起実行手段を含む。
【００３２】
第９の発明では、空間陣形調整手段（２６，５４，６２，６６，８２，Ｓ５−１７）は、注意喚起実行手段（５４，６２，６６，Ｓ１３，Ｓ１５）を含む。注意喚起実行手段は、判定手段（６２，６６，Ｓ３）によって、ロボット（１０）のみが対話参加状態であると判断されたとき、ロボットに「すみません」等の注意喚起発話を実行させる。この注意喚起発話によって、人に位置や体の向き等を調整してもらうことができるので、双方参加状態を実現できる。
【００３３】
第９の発明によれば、人の前方の空間が狭い等して、ロボットが人の正面領域に回り込めない状況にも柔軟に対応でき、より自然で円滑なインタラクションを人との間で実行できる。
【００３４】
第１０の発明は、第１ないし第９のいずれかの発明に従属し、判定手段によって人およびロボットの双方が対話参加状態であると判断されたとき、対話に適した空間陣形となるようにロボットの動作を制御する対話陣形調整手段をさらに備える。
【００３５】
第１０の発明では、対話陣形調整手段（２６，６２，６６，８２，Ｓ２１）をさらに備える。対話陣形調整手段は、対話のためにより適切な場所への調整移動をロボット（１０）に実行させる。たとえば、双方参加状態となる空間陣形を維持しながら、人との距離が１．１−１.５ｍとなる領域にロボットを移動させる。
【００３６】
第１０の発明によれば、その後の人との対話をより快適に実行することができ、より自然で円滑なインタラクションを人との間で実行できる。
【００３７】
第１１の発明は、少なくとも発話を用いて人との間でコミュニケーションを実行するロボットの動作制御に用いられる空間陣形認識装置であって、位置、体の向きおよび視線方向を含む人およびロボットの配置情報を検出する検出手段、および検出手段によって検出された配置情報に基づいて人とロボットとの空間陣形を分析し、人およびロボットの対話参加状態を判定する判定手段を備える、空間陣形認識装置である。
【００３８】
第１１の発明では、空間陣形認識装置（１０，６２，６６）は、少なくとも発話を用いて人との間でコミュニケーションを実行するロボット（１０）の動作制御に用いられ、検出手段（１２，６２，６６，８４，８６，Ｓ１）および判定手段（６２，６６，Ｓ３）を含む。検出手段（１２，６２，６６，８４，８６，Ｓ１）は、人およびロボットの配置情報、たとえば位置、体の向きおよび視線方向を検出する。判定手段（６２，６６，Ｓ３）は、人およびロボットの配置情報に基づいて空間陣形（空間的な配置関係）を分析することによって、人およびロボットの対話参加状態を判定する。ここで、対話参加状態とは、対話への参加に対して暗黙的に同意した状態（心的同意状態）をいい、たとえば、人および自身に対して予め定義される視線領域（ｇｚ）、正面領域（ｂｚ）、視野領域（ｓｚ）および視野（ｆｖ）を用いて表される空間陣形に基づいて推定（認識）される。
【００３９】
第１１の発明によれば、人およびロボットの対話参加状態を判定できるので、この判定結果に合わせてロボットの動作を制御することによって、人との対話を自然に開始できるロボットを実現できる。
【発明の効果】
【００４０】
この発明によれば、双方が対話参加状態となる空間陣形を生成した後に挨拶発話を実行するので、人との対話を自然に開始でき、円滑にコミュニケーションを図ることができる。
【００４１】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う後述の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００４２】
【図１】この発明の一実施例のロボットシステムの構成を示す図解図である。
【図２】図１のロボットの外観を正面から見た様子を示す図解図である。
【図３】図１のロボットの電気的構成を示すブロック図である。
【図４】視線領域の定義の一例を示す図解図である。
【図５】正面領域の定義の一例を示す図解図である。
【図６】視線領域および視線の定義の一例を示す図解図である。
【図７】双方参加状態となる空間陣形の一例を示す図解図である。
【図８】双方参加状態となる空間陣形の他の一例を示す図解図である。
【図９】人のみ参加状態となる空間陣形の一例を示す図解図である。
【図１０】ロボットのみ参加状態となる空間陣形の一例を示す図解図である。
【図１１】対象物が無い場合の主動調整移動の目標位置の一例を示す図解図である。
【図１２】対象物がある場合の主動調整移動の目標位置の一例を示す図解図である。
【図１３】受動調整移動の目標位置の一例を示す図解図である。
【図１４】対話陣形の調整移動の目標位置の一例を示す図解図である。
【図１５】図３のＣＰＵが実行する全体処理の一例を示すフロー図である。
【発明を実施するための形態】
【００４３】
図１を参照して、この発明の一実施例であるロボットシステム１００は、通信可能に接続されるロボット１０とモーションキャプチャシステム１２とを含む。ロボット１０は、発話やジェスチャ等を用いて人との間でコミュニケーション行動を実行する相互作用指向のロボット（コミュニケーションロボット）であり、店舗やイベント会場などの様々な環境に配置される。そして、配置された環境内において、人に対して自ら話しかけて人とのインタラクションを引き起こし、展示案内、客引きおよびエンタテインメントなどの様々なサービスを提供する。ロボットシステム１００では、詳細は後述するように、ロボット１０と人との空間陣形を適切に調整することによって、ロボット１０が人（対話者）との対話を自然に開始できるようにしている。
【００４４】
図２は、ロボット１０の外観を示す正面図である。この図２を参照して、ロボット１０のハードウェアの構成について説明する。
【００４５】
ロボット１０は、台車２０を含み、この台車２０の下面には、ロボット１０を自律移動させる２つの車輪２２および１つの従輪２４が設けられる。２つの車輪２２は車輪モータ２６（図３参照）によってそれぞれ独立に駆動され、ロボット１０を前後左右任意の方向に動かすことができる。また、従輪２４は車輪２２を補助する補助輪である。このように、ロボット１０は、配置された環境内を自由に移動可能なものである。ただし、ロボット１０の移動機構は、車輪タイプに限定されず、公知の移動機構を適宜採用でき、たとえば２足歩行タイプの移動機構を採用することもできる。
【００４６】
なお、ロボット１０は、このロボットシステム１００が適用される環境の地図データを内部メモリ（メモリ６６：図３参照）に記憶している。そして、ロボット１０は、任意に設定された原点位置を基準として、地図データを参照して環境内を移動する。この際、ロボット１０が参照する地図データの座標系と、モーションキャプチャシステム１２のコンピュータ１４で算出される座標の座標系とは同じに設定される。
【００４７】
台車２０の上には、円柱形のセンサ取付パネル２８が設けられ、このセンサ取付パネル２８には、赤外線距離センサ３０が取り付けられる。この赤外線距離センサ３０は、ロボット１０と周囲の物体（人や障害物など）との距離を計測するものである。
【００４８】
また、センサ取付パネル２８の上には、胴体３２が直立するように設けられる。胴体３２の前方中央上部（胸に相当する位置）には、上述した赤外線距離センサ３０がさらに設けられる。これは、ロボット１０の前方の主として人との距離を計測する。また、胴体３２には、１つの全方位カメラ３４が設けられる。全方位カメラ３４は、たとえば背面側上端部のほぼ中央から延びる支柱３６上に設けられる。全方位カメラ３４は、ロボット１０の周囲を撮影するものであり、後述する眼カメラ６０とは区別される。この全方位カメラ３４としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。なお、これら赤外線距離センサ３０および全方位カメラ３４の設置位置は当該部位に限られず適宜変更され得る。
【００４９】
胴体３２の両側面上端部（肩に相当する位置）のそれぞれには、肩関節３８Ｒおよび３８Ｌによって、上腕４０Ｒおよび４０Ｌが設けられる。図示は省略するが、肩関節３８Ｒおよび３８Ｌのそれぞれは、直交する３軸の自由度を有する。すなわち、肩関節３８Ｒは、直交する３軸のそれぞれの軸廻りにおいて上腕４０Ｒの角度を制御できる。肩関節３８Ｒの或る軸（ヨー軸）は、上腕４０Ｒの長手方向に平行な軸であり、他の２軸（ピッチ軸、ロール軸）は、それにそれぞれ異なる方向から直交する軸である。同様に、肩関節３８Ｌは、直交する３軸のそれぞれの軸廻りにおいて上腕４０Ｌの角度を制御できる。肩関節３８Ｌの或る軸（ヨー軸）は、上腕４０Ｌの長手方向に平行な軸であり、他の２軸（ピッチ軸、ロール軸）は、それにそれぞれ異なる方向から直交する軸である。
【００５０】
また、上腕４０Ｒおよび４０Ｌのそれぞれの先端には、肘関節４２Ｒおよび４２Ｌを介して、前腕４４Ｒおよび４４Ｌが設けられる。図示は省略するが、肘関節４２Ｒおよび４２Ｌは、それぞれ１軸の自由度を有し、この軸（ピッチ軸）の軸廻りにおいて前腕４４Ｒおよび４４Ｌの角度を制御できる。
【００５１】
前腕４４Ｒおよび４４Ｌのそれぞれの先端には、手に相当する球体４６Ｒおよび４６Ｌがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、人の手の形をした「手」を用いることも可能である。
【００５２】
また、図示は省略するが、台車２０の前面、肩関節３８Ｒ，３８Ｌを含む肩に相当する部位、上腕４０Ｒ，４０Ｌ、前腕４４Ｒ，４４Ｌおよび球体４６Ｒ，４６Ｌには、それぞれ、接触センサ（図３で接触センサ４８として包括的に示す。）が設けられている。台車２０の前面の接触センサ４８は、台車２０への人や他の障害物の接触を検知する。したがって、ロボット１０の移動中に障害物との接触があると、それを検知し、直ちに車輪２２の駆動を停止してロボット１０の移動を急停止させることができる。また、その他の接触センサ４８は、主に、人がロボット１０の当該各部位に触れたかどうかを検知する。なお、接触センサ４８の設置位置はこれらに限定されず、適宜な位置（胸、腹、脇、背中、腰など）に設けられてよい。
【００５３】
胴体３２の中央上部（首に相当する位置）には首関節５０が設けられ、さらにその上には頭部５２が設けられる。図示は省略するが、首関節５０は、３軸の自由度を有し、３軸の各軸廻りに角度制御可能である。或る軸（ヨー軸）はロボット１０の真上（鉛直上向き）に向かう軸であり、他の２軸（ピッチ軸、ロール軸）は、それぞれ、それと異なる方向で直交する軸である。
【００５４】
頭部５２には、口に相当する位置に、スピーカ５４が設けられる。スピーカ５４は、ロボット１０が、それの周辺の人に対して音声ないし音によってコミュニケーションを取るために用いられる。また、耳に相当する位置には、マイク５６Ｒおよび５６Ｌが設けられる。以下、右耳に相当するマイク５６Ｒと左耳に相当するマイク５６Ｌとをまとめて「マイク５６」ということがある。マイク５６は、周囲の音、とりわけコミュニケーションを実行する対象である人の声を取り込む。さらに、目に相当する位置には、眼球部５８Ｒおよび５８Ｌが設けられる。眼球部５８Ｒおよび５８Ｌは、それぞれ眼カメラ６０Ｒおよび６０Ｌを含む。以下、右の眼球部５８Ｒと左の眼球部５８Ｌとをまとめて「眼球部５８」ということがあり、また、右の眼カメラ６０Ｒと左の眼カメラ６０Ｌとをまとめて「眼カメラ６０」ということがある。
【００５５】
眼カメラ６０は、ロボット１０に接近した人の顔や他の部分ないし物体などを撮影して、それに対応する映像信号を取り込む。眼カメラ６０としては、上述した全方位カメラ３４と同様のカメラを用いることができる。たとえば、眼カメラ６０は眼球部５８内に固定され、眼球部５８は眼球支持部（図示せず）を介して頭部５２内の所定位置に取り付けられる。図示は省略するが、眼球支持部は、２軸の自由度を有し、それらの各軸廻りに角度制御可能である。たとえば、この２軸の一方は、頭部５２の上へ向かう方向の軸（ヨー軸）であり、他方は、一方の軸に直交しかつ頭部５２の正面側（顔）が向く方向に直交する方向の軸（ピッチ軸）である。眼球支持部がこの２軸の各軸廻りに回転されることによって、眼球部５８ないし眼カメラ６０の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。なお、上述のスピーカ５４、マイク５６および眼カメラ６０の設置位置は、これらに限定されず、適宜な位置に設けてられてよい。
【００５６】
なお、ロボット１０は、人（特に子供）に威圧感を与えることのないように、大人よりも一回り小さい大きさになるように設計されており、その身長は１２０ｃｍであり、半径は５０ｃｍである。
【００５７】
図３は、ロボット１０の電気的な構成を示すブロック図である。図３に示すように、ロボット１０は、全体を制御するＣＰＵ６２を含む。ＣＰＵ６２は、マイクロコンピュータ或いはプロセサとも呼ばれ、バス６４を介して、メモリ６６、モータ制御ボード６８、センサ入力／出力ボード７０および音声入力／出力ボード７２等に接続される。
【００５８】
メモリ６６は、図示は省略するが、ＲＯＭやＨＤＤおよびＲＡＭを含む。ＲＯＭやＨＤＤには、ロボット１０の制御プログラムが予め記憶される。たとえば、人との間でコミュニケーション行動を実行するための行動制御プログラム、外部コンピュータ（モーションキャプチャシステム１２）との間で必要な情報を送受信するための通信プログラム、モーションキャプチャシステム１２等からのデータに基づいて人と自身との空間陣形を分析して人および自身の対話参加状態を判定する判定プログラム、および所定の空間陣形を形成するための空間陣形調整プログラム等である。また、ＲＯＭやＨＤＤには、各行動を実行する際に発生すべき音声または声の音声データ（音声合成データ）、所定の身振りを提示するための角度データ、環境の地図データ、および説明すべき商品（対象物）に関するデータなどのデータも適宜記憶される。また、ＲＡＭは、ワークメモリやバッファメモリとして用いられる。
【００５９】
モータ制御ボード６８は、たとえばＤＳＰで構成され、各腕や首関節５０および眼球部５８などの各軸モータの駆動を制御する。すなわち、モータ制御ボード６８は、ＣＰＵ６２からの制御データを受け、右眼球部５８Ｒの２軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「右眼球モータ」と示す。）７４の回転角度を制御する。同様に、モータ制御ボード６８は、ＣＰＵ６２からの制御データを受け、左眼球部５８Ｌの２軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「左眼球モータ」と示す。）７６の回転角度を制御する。
【００６０】
また、モータ制御ボード６８は、ＣＰＵ６２からの制御データを受け、右肩関節３８Ｒの直交する３軸のそれぞれの角度を制御する３つのモータと右肘関節４２Ｒの角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「右腕モータ」と示す。）７８の回転角度を調節する。同様に、モータ制御ボード６８は、ＣＰＵ６２からの制御データを受け、左肩関節３８Ｌの直交する３軸のそれぞれの角度を制御する３つのモータと左肘関節４２Ｌの角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「左腕モータ」と示す。）８０の回転角度を調節する。
【００６１】
さらに、モータ制御ボード６８は、ＣＰＵ６２からの制御データを受け、首関節５０の直交する３軸のそれぞれの角度を制御する３つのモータ（図３では、まとめて「頭部モータ」と示す。）８２の回転角度を制御する。さらにまた、モータ制御ボード６８は、ＣＰＵ６２からの制御データを受け、車輪２２を駆動する２つのモータ（図３では、まとめて「車輪モータ」と示す。）２６の回転角度を制御する。
【００６２】
なお、この実施例では、車輪モータ２６を除くモータは、制御を簡素化するために、ステッピングモータ或いはパルスモータを用いるようにしてある。ただし、車輪モータ２６と同様に、直流モータを用いるようにしてもよい。
【００６３】
センサ入力／出力ボード７０もまた、同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ６２に与える。すなわち、赤外線距離センサ３０のそれぞれからの反射時間に関するデータが、センサ入力／出力ボード７０を通してＣＰＵ６２に入力される。また、全方位カメラ３４からの映像信号が、必要に応じてセンサ入力／出力ボード７０で所定の処理を施された後、ＣＰＵ６２に入力される。眼カメラ６０からの映像信号も、同様にして、ＣＰＵ６２に入力される。また、上述した複数の接触センサ４８からの信号がセンサ入力／出力ボード７０を介してＣＰＵ６２に与えられる。
【００６４】
音声入力／出力ボード７２もまた、同様に、ＤＳＰで構成され、ＣＰＵ６２から与えられる音声合成データに従った音声または声がスピーカ５４から出力される。また、マイク５６からの音声入力が、音声入力／出力ボード５６を介してＣＰＵ６２に取り込まれる。
【００６５】
また、ＣＰＵ６２は、バス６４を介して通信ＬＡＮボード８４に接続される。通信ＬＡＮボード８４は、ＤＳＰで構成され、ＣＰＵ６２から送られる送信データを無線通信装置８６に与え、無線通信装置８６から送信データを、たとえば、無線ＬＡＮのようなネットワークを介して外部コンピュータに送信する。また、通信ＬＡＮボード８４は、無線通信装置８６を介してデータを受信し、受信したデータをＣＰＵ６２に与える。つまり、この通信ＬＡＮボード８４および無線通信装置８６によって、ロボット１０は外部コンピュータなどと無線通信を行うことができる。
【００６６】
図１に戻って、モーションキャプチャシステム１２は、ロボット１０および人の位置、体の方向および視線方向などを検出するために用いられ、ＰＣ等の汎用のコンピュータ１４と環境に設置される複数のカメラ（赤外線カメラ）１６とを備える。また、図示は省略するが、ロボット１０および人には、複数の赤外線反射マーカが装着される。この実施例では、ロボット１０および人のそれぞれ対して、頭部、胴体部および腕部などの適宜な位置に、合計２３個の赤外線反射マーカが取り付けられる。また、ロボット１０が人に対して説明（紹介）すべき対象物（商品など）にも、赤外線反射マーカが装着される。モーションキャプチャシステム１２としては、公知のモーションキャプチャシステムが適用でき、たとえば、ＶＩＣＯＮ社の光学式のモーションキャプチャシステムを用いることができる。
【００６７】
モーションキャプチャシステム１２のコンピュータ１４は、カメラ１６から画像データをたとえば６０Hz（１秒間に６０フレーム）で取得し、画像データを画像処理することによって、その計測時の全ての画像データにおける各赤外線反射マーカの２次元位置を抽出する。そして、コンピュータ１４は、画像データにおける各赤外線反射マーカの２次元位置に基づいて、実空間における各赤外線反射マーカの３次元位置を算出することによって、ロボット１０および人の位置（座標）、体の方向、および顔（視線）の方向を算出する。そして、コンピュータ１４は、算出したロボット１０および人の位置データ（座標データ）、体方向データおよび視線方向データ等の配置情報を、ロボット１０（ＣＰＵ６２）からの要求に応じてロボット１０に送信する。
【００６８】
なお、ロボット１０の位置、体の向きおよび視線方向は、必ずしもモーションキャプチャシステム１２を用いなくても把握できる。たとえば、上述の車輪モータ２６および頭部モータ６６の回転角度などから、ロボット１０の位置、体の向きおよび視線方向を計算によって求めることもできる。しかしながら、実施例では、ＣＰＵ６２のリアルタイムの計算量を軽減するために、モーションキャプチャ１２を用いるようにした。
【００６９】
このようなロボットシステム１００では、ロボット１０は、配置された環境内において、人に対して自ら働きかけて人とのインタラクションを引き起こし、展示案内、客引きおよびエンタテインメントなどの様々なサービスを提供する。ここで、ロボット１０がサービスをより効率良く提供するためには、ロボット１０が、適切なタイミングおよび位置で人に話しかける機能、つまり人と対話を自然に始める機能を身に付けることが重要である。
【００７０】
本発明者らは、人同士が対話を始めるときの様子を注意深く観察したところ、人同士は、特定の空間陣形（つまり空間的な配置関係）を形成してから対話を始めることを見出した。そこで、この実施例では、それをモデル化してロボット１０に実行させることによって、人と対話を自然に始めることができるロボットシステム１００（ロボット１０）を実現した。
【００７１】
具体的には、本発明者らが、ロボット１０がサービスを提供する際に幅広く利用できると考えられる、店員が客に対して話しかける状況を観察したところ、以下の４つの点が確認された。（１）客が店員の存在に気付いたとき（２人の視線が合ったとき）は、店員は、客との距離が所定距離（たとえば２．５ｍ）に近づいたときに挨拶をし、その後対話をするときにはもう少し近づく（たとえば１.５ｍ以内まで）。ただし、この際の所定距離は状況や環境などに依存する。（２）客の前方（正面方向を中心とする１２０°の範囲）から近づいてくる店員は、約２ｍの距離まで近づいたときに挨拶をし、その後対話をするときには１.５ｍ以内まで近づく。（３）客の前方以外から近づいてくる店員は、客の視野（正面方向を中心とする２７０°の範囲）内に入るように移動し、約１．５ｍの距離まで近づく。そして、客が店員の接近に気付かない場合には、「すいません」等の注意喚起の言葉を発し、客に自身の存在を気付かせてから挨拶をする。（４）店員に次の計画、たとえば商品の説明をしたり、商品の場所まで客を誘導したりする必要があるときであって、客が店員の存在に気づいていないときには、店員は、商品の説明などの次の行動を起こし易い場所で挨拶を行う。
【００７２】
以上の観察結果から、人同士が挨拶をして対話を始めるときには必ず、特定の空間陣形を形成することによって、双方が相手の存在を認識している状態、すなわち対話への参加に対して暗黙的に同意した状態（心的同意状態）が双方に対して形成されていることが分かる。この実施例では、この心的同意状態を「対話参加状態」と名付ける。また、観察結果からは、対話を始めるための空間陣形と対話をするための空間陣形とは、必ずしも同じではないことも分かる。つまり、ロボット１０が人との対話を自然に開始するためには、先ず、ロボット１０および人の双方を対話参加状態にする、つまり双方が対話参加状態となる空間陣形を形成することが重要であり、状況に応じて、対話をするのに適した空間陣形に調整することが必要であると言える。
【００７３】
そこで、この実施例では、ロボット１０が自ら働きかけて人との対話（インタラクション）を開始する際には、先ず、ロボット１０と人との空間陣形を分析して、ロボット１０および人の対話参加状態を認識（推定）する。そして、認識した対話参加状態に応じて、ロボット１０が適宜の行動を取ることによって、ロボット１０および人の双方が対話参加状態になるようにした後、ロボット１０が人に対して挨拶発話を行うようにしている。以下、具体的に説明する。
【００７４】
空間陣形に基づいて対話参加状態を認識するために、視線領域ｇｚ、正面領域ｆｚ、視野領域ｓｚおよび視野ｆｖを次のように定義する。
【００７５】
図４に示すように、視線領域ｇｚは、視線方向ｇｄを中心軸として、頭部（顔）の中心から顔正面方向に向かって延びる円錐形の領域であって、その頂角θが３０°であり、頂点から底面までの距離が２．５ｍである領域とする。また、図５に示すように、正面領域ｆｚは、体の正面方向ｂｄを中心とする１２０°の範囲であって、体の中心からの距離が２ｍ以内である扇形の領域とする。さらに、図６に示すように、視野領域ｓｚは、体の正面方向ｂｄを中心とする２７０°の範囲であって、体の中心からの距離が１．５ｍ以内である領域とする。また、視野ｆｖは、体の正面方向ｂｄを中心とする２７０°の範囲であって、体の中心からの距離制限がない領域とする。
【００７６】
そして、次の所定の空間条件を満たすと、対話参加状態にあると判断する。
【００７７】
（１）図７に示すように、ロボット１０の視線領域ｇｚに人の頭部（顔）が入り、かつ人の視線領域ｇｚにロボット１０の頭部５２が入る状態の空間陣形になったとき、すなわち、ロボット１０と人とが所定距離内で視線を合わせた状態になったときには、ロボット１０および人の双方が対話参加状態である（双方参加状態）と判断する。（２）図８に示すように、ロボット１０と人との視線が合わない状態で、ロボット１０の正面領域ｆｚに人が入り、かつ人の正面領域ｆｚにロボット１０が入る状態の空間陣形になったときには、ロボット１０および人の双方が対話参加状態であると判断する。（３）図９に示すように、ロボット１０と人との視線が合わない状態で、人の正面領域ｆｚにロボット１０が入り、ロボット１０の正面領域ｆｚに人が入らず、かつロボット１０の視野ｆｖに人が入る状態の空間陣形になったときには、人のみが対話参加状態（人のみ参加状態）であると判断する。（４）図１０に示すように、ロボット１０と人との視線が合わない状態で、ロボット１０の正面領域ｆｚに人が入り、人の正面領域ｆｚにロボット１０が入らず、かつ人の視野領域ｓｚにロボット１０が入る状態の空間陣形になったときには、ロボット１０のみが対話参加状態（ロボットのみ参加状態）であると判断する。（５）以上の空間条件１−４を満たさない空間陣形のときには、ロボット１０および人の双方が対話参加状態でない（双方非参加状態）と判断する。
【００７８】
なお、各領域を定義する具体的数値（閾値）は、人同士のコミュニケーションを観察した結果に基づいて決定した数値ではあるが、これらの最適値はロボット１０を配置する環境や対話相手などによって変動する数値でもあるので、必要に応じて適宜変更するようにしてもよい。たとえば、見晴らしのよい広い場所では、視線領域ｇｚを定義する距離の大きさは、２．５ｍよりも大きく設定してもよいし、ロボット１０や対話相手の人の身長が高い場合には、各領域の距離設定を大きくとるようにしてもよい。また、或る領域内に入ったか否かの判断は、体（または頭部）の中心がその領域内に入ったか否かで判断してもよいし、体（または頭部）の全体がその領域内に入ったか否かで判断してもよい。
【００７９】
ロボット１０および人の対話参加状態を認識すると、その認識結果に応じてロボット１０の行動（動作）が決定される。すなわち、ロボット１０は、双方参加状態となる所定の空間陣形（つまり対話を始めるための空間陣形）を形成するための行動を行う。
【００８０】
具体的には、双方非参加状態であると判断されたときには、ロボット１０は、空間陣形の主動調整移動（Proactive adjustment of spatial formation）を行う。空間陣形の主動調整移動では、ロボット１０は、ロボット１０の正面領域ｆｚに人が入り、かつ人の視野領域ｆｖにロボット１０が入るような地点（或いは配置状態）を移動目標位置として設定して移動する。
【００８１】
この際、ロボット１０に次の計画が無い場合、つまり単に人と対話をすることだけが目的の場合には、図１１に示すように、自身の位置から最短距離となる地点が移動目標位置として選択される。ただし、図１１から分かるように、ロボット１０が人の正面領域ｆｚの方向から近づく場合には、人の正面領域ｆｚに入った時点で双方参加状態となるので、ロボット１０は人の正面領域ｆｚに入るだけでよい。また、人の視線領域ｇｚの方向から近づく場合には、人の視線領域ｇｚに入った時点で双方参加状態となるので、ロボット１０は人の視線領域ｇｚに入るだけでよい。
【００８２】
一方、ロボット１０に次の計画がある場合、たとえば商品の説明をしたり、商品の場所まで人を誘導したりする必要があるときには、空間陣形の主動調整移動は、次の行動を考慮した態様とされる。たとえば、説明すべき対象物がある場合には、ロボット１０の正面領域ｆｚに人が入り、かつ人の視野領域ｆｖにロボット１０が入るような地点を移動目標位置として設定するという条件を満たす上で、さらに、対象物の説明を行い易い地点が移動目標位置として選択される。具体的には、図１２に示すように、対象物がロボット１０および人の双方の視野ｆｖに入る空間陣形となるように、移動目標位置が設定される。
【００８３】
ただし、空間陣形の主動調整移動の実行途中に、人が移動したり、体の向きや視線方向を変えたりすることによって、双方参加状態になったり、人のみ参加状態になったりすると、ロボット１０は、空間陣形の主動調整移動をそこで終了し、ロボット１０および人の対話参加状態に応じた次の行動に移る。上述のような空間陣形の主動調整移動によって、少なくともロボット１０が対話参加状態になる空間陣形が確保される。
【００８４】
人のみ参加状態であると判断されたときには、ロボット１０は、空間陣形の受動調整移動（Reactive adjustment of spatial formation）を行う。空間陣形の受動調整移動では、図１３に示すように、ロボット１０の正面領域ｆｚに人が入るように体の向きを調整することによって、ロボット１０も対話参加状態になるようにする。この際には、ロボット１０の視線領域ｇｚに人の頭部（顔）が入るように視線方向も調整するとよい。なお、人のみが対話参加状態になる空間陣形は、空間陣形の主動調整移動の途中に、人が移動したり、体の向きや視線方向を変えたりしたときに生じる状況、つまり人の方からロボット１０に働きかけようとしている状況が想定されるので、対話のためにより適切な場所への調整移動（詳細は後述）も、空間陣形の受動調整移動において同時に行うようにしてもよい。この空間陣形の受動調整移動によって、ロボット１０が人に興味を持っていることを人に示すことができるので、人の方からロボット１０に働きかけようとした場合に、人が途中で諦めてロボット１０から離れてしまうことを防止できる。
【００８５】
ロボットのみ参加状態であると判断されたときには、ロボット１０は、注意喚起発話を行う。ロボット１０のみが対話参加状態になる空間陣形は、ロボット１０が近づいたことを人が気づいていない状況が想定される。そこで、ロボット１０は、「すみません」等の注意喚起発話を行うことによって、人に体の向きや視線方向を調整してもらい、双方参加状態の空間陣形を形成する。ここで重要なことは、ロボット１０がすでに人の視野領域ｓｚに入っていることであり、これによって、人にとって不意打ちとなる話しかけが極力防止される。この注意喚起発話によって、人に体の向きや視線方向を調整してもらうことができるので、人の正面側の空間が狭い等して、ロボット１０が人の正面領域ｆｚに回り込めないような状況にも柔軟に対応できる。
【００８６】
そして、双方参加状態であると判断されたときには、ロボット１０は、人に対して「こんにちは」や「いらっしゃいませ」等の挨拶発話を実行する。双方参加状態は、ロボット１０および人の双方が対話への参加に対して暗黙的に同意した状態である。すなわち、人側からすると、自身と対話したい（或いは自身との対話を受け入れる）という意思をロボット１０から示された状態であり、かつロボット１０との対話を受け入れる（或いはロボット１０と対話したい）という意思をロボット１０に示した状態となる。したがって、双方参加状態となったときのロボット１０の挨拶発話は、極めて自然に人に受け入れられ、ロボット１０は人との対話を自然に始めることができる。
【００８７】
また、上述の人同士の対話の観察結果から、対話をするのに適した空間陣形（対話陣形）があることも分かったので、この実施例ではさらに、ロボット１０が人と対話をする際には、対話のためにより適切な場所への調整移動（対話陣形の調整移動）も実行する。具体的には、図１４に示すように、双方参加状態となる空間陣形を維持しながら、人との距離が、１．１−１.５ｍとなる領域に移動する。この対話陣形の調整移動によって、その後の人との対話をより快適に実行することができる。なお、対話陣形の調整移動は、ロボット１０の挨拶発話が終わった後の次の発話を行う前に実行してもよいし、人との対話を行いながら実行してもよい。
【００８８】
続いて、フロー図を用いて、人とのインタラクション（対話）を開始する際のロボット１０（ロボットシステム１００）の動作を説明する。具体的には、図３に示したロボット１０のＣＰＵ６２が、図１５に示すフロー図に従って全体処理を実行する。図１５を参照して、ＣＰＵ６２は、ステップＳ１において、ロボット１０および人の位置、体の向きおよび視線方向を検出する。すなわち、ロボット１０および人の位置データ、体方向データおよび視線方向データ等の配置情報を、無線通信装置８６および通信ＬＡＮボード８４を介してモーションキャプチャシステム１２から取得する。
【００８９】
次のステップＳ３では、空間陣形からロボット１０および人の対話参加状態を認識する。すなわち、ステップＳ１で取得した配置情報に基づいて、ロボット１０と人との空間陣形を分析することによって、ロボット１０および人の対話参加状態が、双方非参加状態、人のみ参加状態、ロボットのみ参加状態、および双方参加状態のいずれであるかを認識（判断）する。たとえば、双方の頭部が互いに相手の視線領域ｇｚに入る状態の空間陣形になったとき（互いの視線が合ったとき）や、双方が互いの正面領域ｆｚに入る状態の空間陣形になったときには、双方参加状態であると認識する。また、たとえば、互いの視線が合わない状態で、人の正面領域ｆｚにロボット１０が入り、ロボット１０の正面領域ｆｚに人が入らず、かつロボット１０の視野ｆｖに人が入る状態の空間陣形になったときには、人のみ参加状態であると判断する。さらに、たとえば、互いの視線が合わない状態で、ロボット１０の正面領域ｆｚに人が入り、人の正面領域ｆｚにロボット１０が入らず、かつ人の視野領域ｓｚにロボット１０が入る状態の空間陣形になったときには、ロボットのみ参加状態であると判断する。また、人のみ参加状態、ロボットのみ参加状態、および双方参加状態となるいずれの空間条件（空間陣形）にも当てはまらない場合には、双方非参加状態であると判断する。なお、ステップＳ１およびＳ３の処理は、所定時間毎に繰り返し実行される。
【００９０】
次のステップＳ５では、ステップＳ３で認識されたロボット１０および人の対話参加状態が、双方共に非参加状態であるか否かを判定する。ステップＳ５で“ＹＥＳ”の場合、すなわち双方共に非参加状態である場合には、ステップＳ７に進み、ステップＳ５で“ＮＯ”の場合、すなわち双方共に非参加状態でない場合には、ステップＳ９に進む。
【００９１】
ステップＳ７では、空間陣形の主動調整移動を実行する。すなわち、ロボット１０の正面領域ｆｚに人が入り、かつ人の視野領域ｆｖにロボット１０が入るような地点（或いは配置状態）を移動目標位置として設定し、その移動目標位置までロボット１０が移動するように、車輪モータ２６の回転角度を制御する制御データをモータ制御ボード６８に対して送信する。この際、ロボット１０に次の計画が無い場合、つまり単に人と対話をすることだけが目的の場合には、自身の位置から最短距離となる地点（或いは配置状態）が移動目標位置として選択される。一方、ロボット１０に次の計画がある場合、たとえば商品の説明をしたり、商品の場所まで人を誘導したりする必要があるときには、その商品（対象物）がロボット１０および人の双方の視野ｆｖに入る空間陣形となるような地点が移動目標位置として設定される。ステップＳ７が終了すると、処理はステップＳ１に戻る。
【００９２】
ステップＳ９では、ステップＳ３で認識されたロボット１０および人の対話参加状態が、人のみ参加状態であるか否かを判定する。ステップＳ９で“ＹＥＳ”の場合、すなわち人のみ参加状態である場合には、ステップＳ１１に進み、ステップＳ９で“ＮＯ”の場合、すなわち人のみ参加状態でない場合には、ステップＳ１３に進む。
【００９３】
ステップＳ１１では、空間陣形の受動調整移動を実行する。すなわち、ロボット１０の正面領域ｆｚに人が入るように、車輪モータ２６の回転角度を制御する制御データをモータ制御ボード６８に対して送信して、ロボット１０の体の向きを調整したり、ロボット１０の視線領域ｇｚに人の頭部が入るように、頭部モータ８２の回転角度を制御する制御データをモータ制御ボード６８に対して送信して、ロボット１０の視線方向を調整したりして、ロボット１０も対話参加状態になるようにする。この際には、対話のためにより適切な場所への調整移動も同時に行うようにしてもよい。ステップＳ１１が終了すると、処理はステップＳ１に戻る。
【００９４】
ステップＳ１３では、ステップＳ３で認識されたロボット１０および人の対話参加状態が、ロボットのみ参加状態であるか否かを判定する。ステップＳ１３で“ＹＥＳ”の場合、すなわちロボットのみ参加状態である場合には、ステップＳ１５に進み、ステップＳ１３で“ＮＯ”の場合、すなわちロボットのみ参加状態でない場合には、ステップＳ１７に進む。
【００９５】
ステップＳ１５では、注意喚起発話を実行する。すなわち、「すみません」等の注意喚起発話を行うための音声データを音声入力／出力ボード７２に送信して、スピーカ５４から注意喚起発話を出力する。ステップＳ１５が終了すると、処理はステップＳ１に戻る。
【００９６】
ステップＳ１７では、ステップＳ３で認識されたロボット１０および人の対話参加状態が、双方参加状態であるか否かを判定する。ステップＳ１７で“ＹＥＳ”の場合、すなわち双方参加状態である場合には、ステップＳ１９に進み、ステップＳ１７で“ＮＯ”の場合、すなわち双方参加状態でない場合には、ステップＳ１に戻る。
【００９７】
ステップＳ１９では、挨拶発話を実行する。すなわち、「こんにちは」や「いらっしゃいませ」等のその状況に応じた挨拶発話を実行するための音声データを音声入力／出力ボード７２に送信して、スピーカ５４から注意喚起発話を出力する。この際には、挨拶発話と連動させて、お辞儀などの身体動作を実行するための制御データをモータ制御ボード６８に対して送信するようにしてもよい。
【００９８】
続くステップＳ２１では、対話陣形の調整移動を実行する。すなわち、双方参加状態となる空間陣形を維持しながら、人との距離が１．１−１.５ｍとなる領域に移動するように、車輪モータ２６の回転角度を制御する制御データをモータ制御ボード６８に対して送信する。そして、ステップＳ２１の処理によって、対話をするための空間陣形が確立されると、この全体処理を終了する。
【００９９】
この実施例によれば、ロボット１０および人の双方が対話参加状態となる空間陣形を生成した後に、ロボット１０が挨拶発話を実行する。つまり、人間同士の対話により近い挨拶発話を実行するので、ロボット１０の挨拶発話は、極めて自然に人に受け入れられる。したがって、ロボット１０は、人との対話を自然に始めることができ、円滑に人とのコミュニケーションを図ることができる。
【０１００】
また、この実施例によれば、ロボット１０に次の計画がある場合には、ロボット１０の空間陣形の主動調整移動は、次の行動を考慮した態様とされる。すなわち、説明すべき対象物がある場合には、対象物の説明を行い易い地点がロボット１０の移動目標位置として選択される。これによって、ロボット１０は、対話を始めた後の位置や体の向き等の調整を極力避けることができるので、より自然で円滑なインタラクションを人との間で実行できる。特に、ロボット１０、人および対象物の空間関係が直線状に並んでしまうと、ロボット１０が指差しジェスチャを用いて対象物を指し示すことが困難になってしまうが、この問題を回避できる。
【０１０１】
さらに、この実施例では、人のみが対話参加状態である判断されたときには、ロボット１０は空間陣形の受動調整移動を行う。これによって、人の方からロボット１０に働きかけようとした場合に、ロボット１０が人に興味を持っていることを人に示すことができるので、人が途中で諦めてロボット１０から離れてしまうことを防止できる。
【０１０２】
また、この実施例では、ロボット１０のみが対話参加状態であると判断されたときには、ロボット１０は注意喚起発話を行い、人に体の向きや視線方向を調整してもらう。これによって、人の前方の空間が狭い等して、ロボット１０が人の正面領域ｆｚに回り込めない状況にも柔軟に対応でき、より自然で円滑なインタラクションを人との間で実行できる。
【０１０３】
さらに、この実施例では、対話のためにより適切な場所への調整移動（対話陣形の調整移動）も実行する。これは、対話を始めるための空間陣形と対話をするための空間陣形とは、必ずしも同じになるとは限らないからであり、対話陣形の調整移動を行うことによって、より自然で円滑なインタラクションを人との間で実行できる。
【０１０４】
なお、上述の実施例では、モーションキャプチャシステム１２を利用して、ロボット１０および人の配置情報、つまり位置、体の向きおよび視線方向を検出するようにしたが、これに限定されず、公知の方法を適宜利用することができる。たとえば、人およびロボット１０の位置検出および体の向きの検出については、この発明者らが先に出願した特開２００９−１６８５７８号公報に開示したＬＲＦを用いる方法を利用することができる。また、視線方向を計測する装置の一例として、株式会社ナックイメージテクノロジーの視線計測システム「アイマークレコーダ」の技術を利用することができる。
【０１０５】
また、上述の実施例では、ロボット１０のＣＰＵ６２が、ロボット１０と人との空間陣形を分析して対話参加状態を認識する処理（ステップＳ３に相当）、および対話参加状態に応じて次の動作を制御する処理（ステップＳ５−Ｓ１７に相当）を行うようにしたが、これに限定されない。たとえば、ロボット制御装置（或いは空間陣形認識装置）としての外部コンピュータを別に設け、空間陣形を分析してロボット１０の動作を決定するこれらの処理の一部または全部を外部コンピュータに実行させて、外部コンピュータからロボット１０に対して動作制御データを送信するようにしてもよい。
【０１０６】
なお、上で挙げた所定距離などの具体的数値は、いずれも単なる一例であり、必要に応じて適宜変更可能である。
【符号の説明】
【０１０７】
１０ …コミュニケーションロボット
１２ …モーションキャプチャシステム
２２ …車輪
２６ …車輪モータ
５４ …スピーカ
６２ …ＣＰＵ
６６ …メモリ
１００ …ロボットシステム
【特許請求の範囲】
【請求項１】
少なくとも発話を用いて人との間でコミュニケーションを実行するロボットを含むロボットシステムであって、
位置、体の向きおよび視線方向を含む前記人および前記ロボットの配置情報を検出する検出手段、
前記検出手段によって検出された前記配置情報に基づいて前記人と前記ロボットとの空間陣形を分析し、前記人および前記ロボットの対話参加状態を判定する判定手段、
前記判定手段によって前記人および前記ロボットの少なくとも一方が対話参加状態でないと判断されたとき、前記人および前記ロボットの双方が対話参加状態となるように前記ロボットの動作を制御する空間陣形調整手段、および
前記判定手段によって前記人および前記ロボットの双方が対話参加状態であると判断されたとき、前記人に対する挨拶発話を前記ロボットに実行させる挨拶実行手段を備える、ロボットシステム。
【請求項２】
前記判定手段は、前記人の頭部および前記ロボットの頭部が共に相手の視線領域に入る状態の空間陣形になったとき、前記人および前記ロボットの双方が対話参加状態であると判断する、請求項１記載のロボットシステム。
【請求項３】
前記判定手段は、前記人および前記ロボットが共に相手の正面領域に入る状態の空間陣形になったとき、前記人および前記ロボットの双方が対話参加状態であると判断する、請求項１または２記載のロボットシステム。
【請求項４】
前記判定手段は、前記人の頭部および前記ロボットの頭部が共に相手の視線領域に入る状態ではなく、前記人の正面領域に前記ロボットが入り、前記ロボットの正面領域に前記人が入らず、かつ前記ロボットの視野に前記人が入る状態の空間陣形になったとき、前記人のみが対話参加状態であると判断する、請求項１ないし３のいずれかに記載のロボットシステム。
【請求項５】
前記判定手段は、前記人の頭部および前記ロボットの頭部が共に相手の視線領域に入る状態ではなく、前記ロボットの正面領域に前記人が入り、前記人の正面領域に前記ロボットが入らず、かつ前記人の視野領域に前記ロボットが入る状態の空間陣形になったとき、前記ロボットのみが対話参加状態であると判断する、請求項１ないし４のいずれかに記載のロボットシステム。
【請求項６】
前記空間陣形調整手段は、前記判定手段によって前記人および前記ロボットの双方が対話参加状態でないと判断されたとき、空間陣形の主動調整移動を前記ロボットに実行させる主動調整手段を含む、請求項１ないし５のいずれかに記載のロボットシステム。
【請求項７】
前記主動調整手段は、説明すべき対象物があるとき、前記対象物の説明を行い易い地点を前記ロボットの移動目標位置として選択する、請求項６記載のロボットシステム。
【請求項８】
前記空間陣形調整手段は、前記判定手段によって前記人のみが対話参加状態であると判断されたとき、空間陣形の受動調整移動を前記ロボットに実行させる受動調整手段を含む、請求項１ないし７のいずれかに記載のロボットシステム。
【請求項９】
前記空間陣形調整手段は、前記判定手段によって前記ロボットのみが対話参加状態であると判断されたとき、注意喚起発話を前記ロボットに実行させる注意喚起実行手段を含む、請求項１ないし８のいずれかに記載のロボットシステム。
【請求項１０】
前記判定手段によって前記人および前記ロボットの双方が対話参加状態であると判断されたとき、対話に適した空間陣形となるように前記ロボットの動作を制御する対話陣形調整手段をさらに備える、請求項１ないし９のいずれかに記載のロボットシステム。
【請求項１１】
少なくとも発話を用いて人との間でコミュニケーションを実行するロボットの動作制御に用いられる空間陣形認識装置であって、
位置、体の向きおよび視線方向を含む前記人および前記ロボットの配置情報を検出する検出手段、および
前記検出手段によって検出された前記配置情報に基づいて前記人と前記ロボットとの空間陣形を分析し、前記人および前記ロボットの対話参加状態を判定する判定手段を備える、空間陣形認識装置。
【請求項１】
少なくとも発話を用いて人との間でコミュニケーションを実行するロボットを含むロボットシステムであって、
位置、体の向きおよび視線方向を含む前記人および前記ロボットの配置情報を検出する検出手段、
前記検出手段によって検出された前記配置情報に基づいて前記人と前記ロボットとの空間陣形を分析し、前記人および前記ロボットの対話参加状態を判定する判定手段、
前記判定手段によって前記人および前記ロボットの少なくとも一方が対話参加状態でないと判断されたとき、前記人および前記ロボットの双方が対話参加状態となるように前記ロボットの動作を制御する空間陣形調整手段、および
前記判定手段によって前記人および前記ロボットの双方が対話参加状態であると判断されたとき、前記人に対する挨拶発話を前記ロボットに実行させる挨拶実行手段を備える、ロボットシステム。
【請求項２】
前記判定手段は、前記人の頭部および前記ロボットの頭部が共に相手の視線領域に入る状態の空間陣形になったとき、前記人および前記ロボットの双方が対話参加状態であると判断する、請求項１記載のロボットシステム。
【請求項３】
前記判定手段は、前記人および前記ロボットが共に相手の正面領域に入る状態の空間陣形になったとき、前記人および前記ロボットの双方が対話参加状態であると判断する、請求項１または２記載のロボットシステム。
【請求項４】
前記判定手段は、前記人の頭部および前記ロボットの頭部が共に相手の視線領域に入る状態ではなく、前記人の正面領域に前記ロボットが入り、前記ロボットの正面領域に前記人が入らず、かつ前記ロボットの視野に前記人が入る状態の空間陣形になったとき、前記人のみが対話参加状態であると判断する、請求項１ないし３のいずれかに記載のロボットシステム。
【請求項５】
前記判定手段は、前記人の頭部および前記ロボットの頭部が共に相手の視線領域に入る状態ではなく、前記ロボットの正面領域に前記人が入り、前記人の正面領域に前記ロボットが入らず、かつ前記人の視野領域に前記ロボットが入る状態の空間陣形になったとき、前記ロボットのみが対話参加状態であると判断する、請求項１ないし４のいずれかに記載のロボットシステム。
【請求項６】
前記空間陣形調整手段は、前記判定手段によって前記人および前記ロボットの双方が対話参加状態でないと判断されたとき、空間陣形の主動調整移動を前記ロボットに実行させる主動調整手段を含む、請求項１ないし５のいずれかに記載のロボットシステム。
【請求項７】
前記主動調整手段は、説明すべき対象物があるとき、前記対象物の説明を行い易い地点を前記ロボットの移動目標位置として選択する、請求項６記載のロボットシステム。
【請求項８】
前記空間陣形調整手段は、前記判定手段によって前記人のみが対話参加状態であると判断されたとき、空間陣形の受動調整移動を前記ロボットに実行させる受動調整手段を含む、請求項１ないし７のいずれかに記載のロボットシステム。
【請求項９】
前記空間陣形調整手段は、前記判定手段によって前記ロボットのみが対話参加状態であると判断されたとき、注意喚起発話を前記ロボットに実行させる注意喚起実行手段を含む、請求項１ないし８のいずれかに記載のロボットシステム。
【請求項１０】
前記判定手段によって前記人および前記ロボットの双方が対話参加状態であると判断されたとき、対話に適した空間陣形となるように前記ロボットの動作を制御する対話陣形調整手段をさらに備える、請求項１ないし９のいずれかに記載のロボットシステム。
【請求項１１】
少なくとも発話を用いて人との間でコミュニケーションを実行するロボットの動作制御に用いられる空間陣形認識装置であって、
位置、体の向きおよび視線方向を含む前記人および前記ロボットの配置情報を検出する検出手段、および
前記検出手段によって検出された前記配置情報に基づいて前記人と前記ロボットとの空間陣形を分析し、前記人および前記ロボットの対話参加状態を判定する判定手段を備える、空間陣形認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１６１８５１（Ｐ２０１２−１６１８５１Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２１９４０（Ｐ２０１１−２１９４０）
【出願日】平成２３年２月３日（２０１１．２．３）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年６月１９日付け、支出負担行為担当官 総務省大臣官房会計課企画官、研究テーマ「高齢者・障がい者（チャレンジド）のためのユビキタスネットワークロボット技術の研究開発」に関する委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月３日（２０１１．２．３）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年６月１９日付け、支出負担行為担当官 総務省大臣官房会計課企画官、研究テーマ「高齢者・障がい者（チャレンジド）のためのユビキタスネットワークロボット技術の研究開発」に関する委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]