ロボット装置
【課題】 人の表情から人の情動を認識し、情動同調の手法を利用して制御するロボット装置を提供する。
【解決手段】 ユーザに視認させる表情を表出する表出部１２ａと、ユーザの表情に基づいてユーザの情動状態を解析する情動認識部２０と、ロボットの情動状態を、情動認識部２０によって認識されたユーザの情動状態に誘導するようにロボットの情動状態を生成する情動生成部２２と、情動生成部２２により生成されたロボットの情動状態に基づいて、ロボットから表出させる表情を生成する情動表出部２４とを備える。
【解決手段】 ユーザに視認させる表情を表出する表出部１２ａと、ユーザの表情に基づいてユーザの情動状態を解析する情動認識部２０と、ロボットの情動状態を、情動認識部２０によって認識されたユーザの情動状態に誘導するようにロボットの情動状態を生成する情動生成部２２と、情動生成部２２により生成されたロボットの情動状態に基づいて、ロボットから表出させる表情を生成する情動表出部２４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願はロボット装置に関し、より詳細には情動同調によるコミュニケーション手法を利用したロボット装置に関する。
【背景技術】
【０００２】
エンターテインメントロボットをはじめとする、人間とインタラクションを行うロボットへのニーズは、超高齢化社会の進行の中で高まりつつある。このためロボットの研究開発がさかんに行われており、人間とコミュニケーションができるロボットの制御方法が検討されている。人間との親和性を高め、快適にコミュニケーションできるようにロボットを制御する方法として種々の方法が考えられている。しかしながら、人間同士のような自然なインタラクションを可能にする段階にまでは至っていない。
【０００３】
人間同士のインタラクションにおいては、「同調」がコミュニケーションスキルの一つとされている。ロボットと人間とのインタラクションにおいても、人間の動作や音声と同調させるようにロボットを制御することにより、人間とロボットとの親和性を高め、ユーザを飽きさせないようにする制御方法が考えられている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４２８７３号公報
【非特許文献】
【０００５】
【非特許文献１】H.Yamada,"Models of perceptual judgment of emotion from facial expressions",Japanese Psychological Review, Vol.43, No.2, pp.245-255,2000.
【非特許文献２】H.Yamada,T.matsuda,C.Watari and T.Suenaga,"Dimensions ofvisual information for categorizing facial expressions of emotion",Japanese Psychological Research, Vol.35,No.4, pp.172-181, 1993.
【非特許文献３】J.A.Russell,"A circumplex model of affect", Journalof Personality and Society Psychology, Vol.39, pp.1161-1178, 1980.
【非特許文献４】HAIシンポジウム2008 情動同調に基づく人間とロボットのインタラクション手法の提案
【非特許文献５】Masafumi Okada,Koji Tatani and Yoshihiko Nakamura, "PolynomialDesign of the Nonlinear Dynamics for the Brain-Like Information Processing ofwhole Body Motion", Proceedings of the 2002 IEEE International Conferenceon Robotics and Automation,Washington,DC,May,pp.1410-1415,2002.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
人間同士あるいは人間とロボットとのインタラクションにおける「同調」には、相手の「行為」に同調する場合と、相手の「情動」に対して同調する場合とがある。行為の同調とは、話し手と聞き手との間で、うなずきや身振りといった身体のリズムを同調させるといった作用であり、相手との間で親しみやすさやポジティブな印象を持つと考えられる。一方、情動の同調とは、相手の情動に合わせた表情の表出を行うと相手の幸福表情が促進されるといったように、相手の心理状態に合った反応を返す作用であり、相手の心理状態をより快適な状態に変化させると考えられる。
【０００７】
本願発明者は、人の音声から情動を認識し、情動同調の手法に基づいてロボットを制御する方法について検討してきた。本願は、人の表情から人の情動を認識して情動同調の手法を利用して制御するロボット装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本出願に係るロボット装置は、ユーザに視認させる表情を表出する表出部と、ユーザの表情に基づいてユーザの情動状態を解析する情動認識部と、ロボットの情動状態を、前記情動認識部によって認識されたユーザの情動状態に誘導するようにロボットの情動状態を生成する情動生成部と、情動生成部により生成されたロボットの情動状態に基づいて、ロボットから表出させる表情を生成する情動表出部とを備えることを特徴とする。
【０００９】
また、前記情動認識部においては、ユーザの表情から抽出された目、眉、口のそれぞれについて傾斜度と湾曲度とを検知し、前記傾斜度と湾曲度とを指標とする情動認識空間を用いてユーザの情動状態を規定することにより、ユーザの情動状態を的確に判断することができ、ユーザの情動状態に基づいてロボットを的確に制御することが可能となる。
なお、前記傾斜度は、目、眉、口の両端点を結ぶ線と水平線とのなす角によって規定され、前記湾曲度は、目、眉、口の長さと高さとの比によって規定することができる。
【００１０】
また、前記情動生成部においては、横軸を快−不快、縦軸を覚醒−眠気とする情動生成空間内に、前記情動認識部により認識されたユーザの情動状態を入力し、ユーザの情動状態に同調するようにロボットの情動状態を生成することにより、ユーザの情動状態に同調した情動状態を的確に生成することができる。
また、前記情動生成空間を、ユーザの情動状態をアトラクタとするベクトル場として規定することにより、ユーザの情動状態に同調するロボットの情動状態を容易に生成することができる。
【００１１】
また、前記情動表出部においては、目、眉、口の傾斜度と、目、眉、口の湾曲度とを指標とする情動表出空間を用いてロボットから表出させる表情を規定することにより、ロボットの情動状態に対応する表情を的確に表出することができる。
また、前記情動表出空間は、前記情動生成空間と連続的な記号空間を介して非線形写像する方法を利用して前記情動生成空間と動的に関連づけることにより、ユーザの表情に動的に同調する表情をロボットから表出させることができる。
また、前記表出部は、目、眉、口に類似する形象を、それぞれの傾斜度および湾曲度を任意に可変として表出するものとして構成されていることにより、ロボットの情動に応じて的確に表情を表出することができる。
【発明の効果】
【００１２】
本発明に係るロボット装置は、ユーザの表情に基づいてユーザの情動状態を認識し、この認識結果に同調するようにロボットの情動状態を生成することにより、ユーザの情動の変化に同調するようにロボットから表出される表情が制御され、自然で親和性の高いコミュニケーションが可能なロボット装置として提供される。
【図面の簡単な説明】
【００１３】
【図１】ロボット装置の頭部ロボットの正面図である。
【図２】頭部ロボットの側面図である。
【図３】スクリーンに表出させる像の例である。
【図４】ユーザとロボットとのインタラクションシステムのブロック図である。
【図５】顔の表情のデータから抽出した眉と目と口の形である。
【図６】顔の表情のデータから抽出した眉と目を拡大して示す図である。
【図７】傾斜度を横軸、湾曲度を縦軸として示した顔の表情の例を示す図である。
【図８】目、眉、口の傾斜度と湾曲度を示す図である。
【図９】目、眉、口の傾斜度と湾曲度の標準順状態、”＋”状態、”−”状態を示す図である。
【図１０】顔の表情を認識した結果に基づいて、傾斜度を横軸、湾曲度を縦軸とする２次元空間内に、happy、surprise、fear、angry、disgust、sadの顔の表情の位置を示した図である。
【図１１】被検者がhappy、surprise、fear、angry、disgust、sadの表情をした場合の傾斜度と湾曲度をプロットした図である。
【図１２】情動状態を二次元空間で表現するRussellの円環モデルの図である。
【図１３】ユーザの情動状態をアトラクタとしたベクトル場の例を示す図である。
【図１４】情動認識空間と情動生成空間との関係を示す図である。
【図１５】傾斜度を横軸、湾曲度を縦軸として、ロボットから表出させる表情の例を示す図である。
【図１６】記号空間と情動表出空間との関係を示す図である。
【図１７】情動生成空間と記号空間との関係を示す図である。
【図１８】情動生成空間における人の情動とロボットの情動とを示す図である。
【図１９】記号空間内において各情動状態における状態を示す図である。
【図２０】情動表出空間における各情動状態を示す図である。
【図２１】図２０のａ〜ｋの各情動状態に対応してロボットから表出させる表情を示す図である。
【図２２】情動認識空間、情動生成空間、記号空間、情動表出空間の各空間の関係を示す図である。
【図２３】ロボットの情動をユーザの情動に同調させる制御を行う場合の情動生成空間と情動表出空間を示す図である。
【図２４】図２３の情動表出空間におけるロボットの表情の例を示す図である。
【図２５】ロボットの情動をユーザの情動と正反対となるように制御する場合の情動生成空間と情動表出空間を示す図である。
【図２６】図２５の情動表出空間におけるロボットの表情の例を示す図である。
【図２７】ロボットとコミュニケーションする実験の前後における快適さについて調べた結果を示すグラフである。
【図２８】ロボットとコミュニケーションする実験の前後における覚醒度について調べた結果を示すグラフである。
【図２９】被検者とロボットとの平均コミュニケーション時間を示すグラフである。
【図３０】SD法によるロボットとコミュニケーションした印象を調査した結果を示すグラフである。
【発明を実施するための形態】
【００１４】
（ロボット装置）
本発明に係るロボット装置は、人（ユーザ）の表情からユーザの情動を認識し、その情動に基づいてロボットに表出させる表情を制御するように構成されている。
図１は、ロボット装置の頭部ロボットを正面方向から見た状態、図２は頭部ロボットを側面方向から見た状態を示す。この頭部ロボットは、ネック部１０と頭部１２とから構成される。ネック部１０は、頭部１２を高さ調節可能に支持する支持部を備える。頭部１２は、前方が凸となるドーム形のスクリーン１２ａと、プロジェクタ１２ｂと、プロジェクタ１２ｂの前側に設置された魚眼レンズ１２ｃとを備える。スクリーン１２ａがロボットの表情の表出部である。
【００１５】
スクリーン１２ａには、魚眼レンズ１２ｃを介してプロジェクタ１２ｂにより、人の表情が投影される。スクリーン１２ａに投影される像は、人の目、眉、口、鼻に類似する像であり、これらの像はコンピュータによりアニメ的にデザインされて投影される。
図３は、スクリーン１２ａに表出する像を示す。スクリーン１２ａに表出する顔の像は、目、眉、口のそれぞれ傾斜度と湾曲度とを独立にかつ連続的に変えて表出できるように制御される（鼻の画像は無変化）。図３に、目、眉、口について、傾斜度を制御する位置（円形の点）と湾曲度を制御する位置（ひし形の点）を示す。
【００１６】
たとえば、眉の左右の円形の点の位置を上下に動かすことにより、眉の傾斜度が変えられる。また、ひし形の点の位置を上下に動かすことにより湾曲度の小さな眉としたり、湾曲度の大きな眉としたりすることができる。同様に、目についても、円形の点の位置を動かすことにより傾斜度を変化させ、目じりが下がった状態としたり、目じりが上がった状態にしたりすることができる。また、ひし形の位置を上下させることにより、目の大きさを変えることができる。また、口の円形の点とひし形の点の位置を動かすことにより、口の大きさを変えたり口の表情を変えたりすることができる。
【００１７】
本実施形態のロボット装置では、上述した頭部ロボットをテーブル上に配置し、頭部ロボットの手前に人（ユーザ）の顔を視認するカメラを配置し、カメラ越しに頭部ロボットのスクリーンをユーザが視認できる配置とした。カメラ等のユーザの表情を検知する視認装置は頭部ロボットと別体に設けることもできるし、頭部ロボットに一体に組み込むこともできる。
カメラによって視認したユーザの表情に基づいてコンピュータ解析によりユーザの情動状態が認識され、認識されたユーザの情動状態に基づいて頭部ロボットのスクリーンに表出する表情が制御される。
スクリーン１２ａはユーザにロボットの表情を視認させるためのものであり、本実施形態ではスクリーン１２ａをドーム形としたことにより、表情が立体的に表出できるようになっている。スクリーン１２ａはロボットの表情を表出させる表出部の一つの例であり、スクリーン以外に液晶による表示方法や、各種のディスプレイ方法を利用することができる。
【００１８】
（インタラクションシステム）
図４は、ユーザとロボットとのインタラクションシステムをブロック図として示したものである。
ロボット装置は、カメラ等の視認装置により視認して得られた人（ユーザ）の表情からユーザの情動状態を解析する情動認識部２０と、ロボットに表出させる表情を生成させるために、情動認識部２０によって解析されたユーザの情動状態に同調させる情動を生成させる情動生成部２２と、情動生成部２２によって生成した情動に基づいてロボットから表出させる表情を生成するための情動表出部２４とを備える。以下、これら各部の構成について説明する。
【００１９】
（情動認識部）
情動認識部では人（ユーザ）の表情に基づいて人の情動状態を認識する。人の表情から情動を認識する方法には、心理学的方法等のさまざまなアプローチがある。
本実施形態では、AdaBoostアルゴリズムを利用し、目、眉、口について表情を検知した。実施形態のロボット装置は、１秒間に25フレームの速度で顔の表情を検知することが可能である。顔の表情を認識するには、目の領域と口の領域を別々に検知し、目の領域では、眉と目とを分離し、左右の眉、目についてそれぞれ分離して解析した。人の表情は必ずしも左右対称ではないからである。口については、皮膚の色と唇の色が類似していることから、RGBによる分析方法にかえてHSVによる分析方法を利用して解析した。
図５は、カメラによって検知した顔の表情のデータを加工して、眉と目と口の形を抽出した例である。図６は、眉と目について抽出した例を示す。
【００２０】
人の顔の表情から情動状態を認識する方法として、本実施形態においては、顔の表情に表れる湾曲度(bending)と傾斜度(inclination)を指標として認識する方法を利用した。この顔の表情に表れる湾曲度と傾斜度が人の情動に関連するという考え方は、Yamadaの理論に基づく（非特許文献１、２）。顔の表情に表れる湾曲度は、眉と目の曲がり具合、口の開き具合に関係し、傾斜度は、目と眉の傾き具合、口のV形あるいは逆V形の形状に関係する。図７に、傾斜度を横軸、湾曲度を縦軸とした場合の顔の表情の例を示す。
【００２１】
図８は表情のデータから傾斜度(inclination)と湾曲度(bending)を決める方法を示す。
目、眉、口の両端点を結ぶ線と水平線とのなす角、θe、θb、θmが、目、眉、口の傾斜度（傾斜角）を示し、目の長さLeと高さHeとの比、眉の長さLbと高さHbとの比、口の長さLmと高さHmの比によって湾曲度が定義される。
顔の表情は刻々変化するが、各表情における顔全体の傾斜度を目、眉、口の傾斜度をすべて加え合わせたものとして定義し、湾曲度を目、眉、口の湾曲度をすべて加え合わせたものと定義する。なお、傾斜度と湾曲度については、図９に示すように、目、眉、口について標準の傾斜度と湾曲度を設定し、この標準状態を基準状態として、”＋”状態と、”−”状態を定義した。
【００２２】
図１０は、４３人の被検者について顔の表情を認識した結果に基づき、傾斜度(inclination)を横軸、湾曲度(bending)を縦軸とする２次元空間内に、典型的な６つの顔の表情happy、surprise、fear、angry、disgust、sadの位置を示したものである。
図１０では、happyとangryの状態で顔の表情の傾斜度が最大と最小になることから、happyとangryの状態の傾斜度を１、−１とし、surpriseとsadの状態で顔の表情の湾曲度が最大と最小になることから、surpriseとsadの状態の湾曲度を１、−１となるように規格化している。
図１０はユーザの顔の表情に基づいてユーザの情動状態を認識した結果を、２次元空間で表した情動認識空間である。
【００２３】
図１１は、１２人の被検者に、happy、surprise、fear、angry、disgust、sadの表情をするように依頼し、そのときの表情をカメラで視認して、上述した傾斜度と湾曲度を指標とする２次元空間内にプロットしたものである。実験によるプロット位置と、図１０に示した６つの顔の表情に対応する位置とのずれを計測したところ、77%の確率で顔の表情からhappy、surprise、fear、angry、disgust、sadの情動状態が認識されるという結果が得られた。すなわち、前述した顔の表情を解析して得られた傾斜度及び湾曲度に基づいて人の情動状態を認識することが可能であり、この手法が人（ユーザ）の情動状態を認識する方法として有効であることを示す。
【００２４】
（情動生成部）
本発明に係るロボット装置では情動認識部により認識された人（ユーザ）の情動に基づいてスクリーン１２ａに表出させる表情を制御する。このスクリーンに表出させる表情を制御する手法として、本発明においては、ユーザの情動状態に基づいてロボットの情動状態を制御し、この情動状態に基づいてロボットから表出させる表情を制御するという手法をとる。
この人とロボットの情動に基づいて制御する方法は、単に、人とロボットとの行為を同調させるといった制御方法と比較して、人とロボットとの自然なコミュニケーションを可能とし、人とロボットとの親和性を高めることができ、人とロボットとのコミュニケーションを制御する方法として汎用的な利用を可能にするという利点がある。
【００２５】
人の情動状態に基づいてロボットから発現させる情動状態を生成する方法として、本実施形態においては、情動状態を二次元空間で表現するRussellの円環モデル（非特許文献３）を利用する（図１２）。この円環モデルは、横軸に快−不快、縦軸に覚醒−眠気をとることによって、種々の情動状態を表現するように考えられたものである。
情動生成部は、この円環モデルに基づく情動空間に、前述した情動認識部により得られた人（ユーザ）の情動状態の値を入力し、この値にしたがってロボットの情動状態を決める。
【００２６】
本発明においては、ロボットの情動をユーザの情動に同調させるように制御する。このような制御を行うため、ユーザとロボットの情動状態を表現する情動空間を、ユーザの情動状態（入力値）をアトラクタとする力学系のベクトル場として規定し、ユーザの情動状態にロボットの情動状態が徐々に引き込まれる（誘導される）ように制御する手法を用いた。
図１３は、情動空間内に入力されたユーザの情動状態（入力値）に、ロボットの情動状態が同調される作用を矢印によって示している。ユーザの情動状態は刻々と変化するが、図１３に示すようなベクトル場を考慮することにより、ロボットの情動状態は徐々にユーザの情動状態に引き込まれてユーザの情動状態に同調していく。
図１３に示すベクトル場として構築した情動空間は、人の情動状態に基づいてロボットの情動状態を生成するという意味で情動生成空間ということができる。
【００２７】
図１２に示すRussellの円環モデルによる情動空間と、図１０に示した、ユーザの情動状態を示す空間（情動認識空間）とは類似しているが、一致はしていない。図１４に、先に取り上げた６つの情動、happy、surprise、fear、angry、disgust、sadについて、情動認識空間と情動生成空間とがどのような関係にあるかを示した。
【００２８】
（情動表出部）
情動表出部では、ユーザの情動状態に同調させて生成したロボットの情動状態に基いてロボットから表出させる表情を生成する。図１５にロボットから表出させる表情の例を示す。ロボットから表出させる表情は、図１５に示すような傾斜度を横軸、湾曲度を縦軸とする２次元空間内の各点に対応して決められる。この２次元空間の傾斜度は、目と眉の傾斜角、口のV形あるいは逆V形の角度に関係し、湾曲度は、眉の曲がり具合、目と口の大きさに関係する。図１５は、例として、normal、happy、angry、sad、surpriseの各情動状態に対応する５つの表情を示したものである。したがって、ロボットの情動状態をロボットの表情を規定する目、眉、口についての傾斜度と湾曲度に結びつけることにより、ロボットから表出させる表情を決めることができる。
【００２９】
人とコミュニケーションするロボットは人と類似したさまざまな情動状態を取り得る。この情動状態は刻々と変化する動的なものであり、同じ情動状態であっても表出される表情は動的に変化する。このように、ロボットから表出させる表情を動的に変化させるようにするため、本実施形態においては、ロボットの情動状態を表す情動生成空間とロボットにより表出させる表情を生成するための情動表出空間とを関連づける、連続空間としての記号空間を想定し、記号空間を介して情動生成空間と情動表出空間とを関連づけるようにしている（非特許文献５）。
【００３０】
図１６は記号空間と情動表出空間との関係を示している。記号空間内の各点は情動表出空間における動的な動き（サイクリックな動き）に対応する。情動生成部によって生成されたロボットの情動状態は、記号空間を介して動的な表情を表出させる情動表出空間に結び付けられている。このように、情動生成空間と情動表出空間とを動的に関連づけすることにより、ユーザの情動状態に同調してロボットによる動的で自然な表情の表出が可能になる。
図１７は情動生成空間（図１３）と記号空間との関係を概念的に示した図である。情動生成空間と記号空間は異次元空間であり、記号空間と情動表出空間も異次元空間である。本実施形態では非線形写像による手法を利用して異次元空間を結びつけるようにした。
【００３１】
（情動同調のシミュレーション）
上述した情動同調の方法を利用して、情動状態がどのように連関するかをシミュレーションした例を以下に示す。この計算は、人の情動が、normal→happy→surprise→angry→sad→normalの順に変化したと想定して行ったものである。図１８は情動生成空間における人の情動とロボットの情動とを示したものである。人の情動状態に同調してロボットの情動状態が移動していく様子がわかる。図１９は記号空間内における動きである。記号空間においては、情動状態がλ１、λ２、λ３の３個の指標によって規定されている。図２０は情動表出空間における情動状態を示す。情動表出空間では各情動状態に応じて、動的に情動状態が変化している。図２１は実際にロボットから表出される表情を示す。ａ〜ｋは、図２０のａ〜ｋの各情動状態に対応する。
【００３２】
図１８、１９、２０、２１に示すシミュレーション結果は、上述した情動生成空間、記号空間、情動表出空間を利用する情報処理方法が、人とロボットとを情動同調に基づく手法によって動的に制御する方法として有効に利用することができ、情報処理方法としても効率的で、人とロボットとの自然なコミュニケーションを可能にすることを示している。 図２２は、上述した情動認識空間、情動生成空間、記号空間、情動表出空間の各空間の関係を示したものである。ユーザの表情に基づいて認識された情動状態が情動表出空間にまで連関して、ロボットから表出される表情が規定されていることを示す。
【００３３】
（コミュニケーション実験）
本発明に係る人とロボットとのコミュニケーションを制御する手法として情動同調の考え方を利用することによる効果を確かめるため、情動同調の制御を行った場合と情動同調させないように制御した場合とで、人とロボットとのコミュニケーションがどのようになるかを実験した結果について説明する。
図２３、２４はロボットの情動をユーザの情動に同調させるコミュニケーションを行う場合の例である。このコミュニケーションによる場合は、ロボットのスタート時の情動がユーザの情動状態に徐々に引き込まれて同調されていく。図２５、２６は、ロボットの情動をユーザの情動状態から正反対の方向へ引き込む（非同調）ように制御する場合の例である。
【００３４】
４０人の被検者を２０人ずつの２グループに分け、一方のグループの被検者にはロボットと同調するようにコミュニケーションすることを求め、他方のグループの被検者にはロボットと同調しないようにコミュニケーションすることを求めて実験を行った。被検者は前述したロボット装置のドーム形のスクリーン１２ａに表出される表情を見ながら、先の条件下において自由にロボットとコミュニケートした。
コミュニケーションによる作用を調べるため、実験の前後において、被検者の情動状態を、快−不快と覚醒−眠気の二つのパラメータに基づいて調査した。そして、実験終了後に心理学のSD法（Semantic Differential）により実験の印象を調査した。
【００３５】
実際に、ユーザの表情の変化にともなってロボットから表出される表情がどのように変化するかを観察したところ、情動同調によるコミュニケーションでは、ユーザが快−不快と感じると、ロボットも同じように快−不快と感じる表情を表出し、覚醒度についてもユーザとロボットが同調する表情となることを確かめた。一方、情動非同調によるコミュニケーションでは、ロボットの表情はユーザの表情とまったく逆の情動状態を表出することが確かめられた。
この実験結果は、本実施形態において使用したロボット装置が、ユーザの表情に基づいてユーザの情動状態を正確に認識できること、ロボット装置がユーザの情動状態に基づいて的確に対応できることを示している。
【００３６】
図２７、２８は、実験後に、４０人の被験者について情動状態を、快適さと覚醒度のパラメータとして示した平均値である。この結果は、情動同調によるコミュニケーションによる場合は、有意差１％以内において、実験の前後で被検者の快適度と覚醒度が顕著に向上すること、すなわち、情動同調によるコミュニケーションを行った場合は、被検者がロボットに関心を寄せ、興味を持つようになることを示している。
一方、情動非同調によるコミュニケーションによる場合は、有意差１％以内において、被検者の覚醒度は実験後に向上したものの、快適さの感情については実験前よりも実験後は低下する結果となっている。この結果は、情動非同調によるコミュニケーションは被検者を不快にするように作用することを示している。
【００３７】
以上の実験結果は、情動同調による人とロボットとのコミュニケーションは、人の情動状態にポジティブな影響を及ぼすということができる。事実、情動同調によるコミュニケーションを行った被検者のコミュニケーション時間は、情動非同調によるコミュニケーションを行った被検者のコミュニケーション時間のおよそ２倍であった。図２９は、被検者の平均コミュニケーション時間を示す。
【００３８】
図３０は、SD法によるロボットの印象を調査した結果を示す。図のように、情動同調によるコミュニケーションを行った被検者は、情動非同調によるコミュニケーションを行った被検者と比較して、ロボットに対してはるかに強い好印象を持つことがわかる。このことは、人の情動と同調できるロボットは人に受け入れられやすく、人に好ましい印象を与えることを示している。
【００３９】
以上説明したように、本発明に係るロボット装置は、人とロボットとの情動に基づいて相互にコミュニケーションするように制御したことにより、人とロボットとの親和性を高めることができ、ロボットとコミュニケーションについて快適な感情を人に与え、ロボットを受け入れやすくすることができるという作用効果を有する。
本実施形態においては、人の表情に基づいて人の情動を認識した。人の情動は顔の表情に限らず、音声や、ことば、身振りにも表れる。本発明に係る情動同調に基づいて人とロボットとのコミュニケーションを考える方法は、顔の表情に限らず、人の心理状態に基づいてロボットを制御する方法として汎用的にかつ効果的に利用することができる。
【符号の説明】
【００４０】
１０ ネック部
１０ａ 支持板
１０ｂ 支持脚部
１２ 頭部
１２ａ スクリーン
１２ｂ プロジェクタ
１２ｃ 魚眼レンズ
２０ 情動認識部
２２ 情動生成部
２４ 情動表出部
【技術分野】
【０００１】
本出願はロボット装置に関し、より詳細には情動同調によるコミュニケーション手法を利用したロボット装置に関する。
【背景技術】
【０００２】
エンターテインメントロボットをはじめとする、人間とインタラクションを行うロボットへのニーズは、超高齢化社会の進行の中で高まりつつある。このためロボットの研究開発がさかんに行われており、人間とコミュニケーションができるロボットの制御方法が検討されている。人間との親和性を高め、快適にコミュニケーションできるようにロボットを制御する方法として種々の方法が考えられている。しかしながら、人間同士のような自然なインタラクションを可能にする段階にまでは至っていない。
【０００３】
人間同士のインタラクションにおいては、「同調」がコミュニケーションスキルの一つとされている。ロボットと人間とのインタラクションにおいても、人間の動作や音声と同調させるようにロボットを制御することにより、人間とロボットとの親和性を高め、ユーザを飽きさせないようにする制御方法が考えられている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４２８７３号公報
【非特許文献】
【０００５】
【非特許文献１】H.Yamada,"Models of perceptual judgment of emotion from facial expressions",Japanese Psychological Review, Vol.43, No.2, pp.245-255,2000.
【非特許文献２】H.Yamada,T.matsuda,C.Watari and T.Suenaga,"Dimensions ofvisual information for categorizing facial expressions of emotion",Japanese Psychological Research, Vol.35,No.4, pp.172-181, 1993.
【非特許文献３】J.A.Russell,"A circumplex model of affect", Journalof Personality and Society Psychology, Vol.39, pp.1161-1178, 1980.
【非特許文献４】HAIシンポジウム2008 情動同調に基づく人間とロボットのインタラクション手法の提案
【非特許文献５】Masafumi Okada,Koji Tatani and Yoshihiko Nakamura, "PolynomialDesign of the Nonlinear Dynamics for the Brain-Like Information Processing ofwhole Body Motion", Proceedings of the 2002 IEEE International Conferenceon Robotics and Automation,Washington,DC,May,pp.1410-1415,2002.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
人間同士あるいは人間とロボットとのインタラクションにおける「同調」には、相手の「行為」に同調する場合と、相手の「情動」に対して同調する場合とがある。行為の同調とは、話し手と聞き手との間で、うなずきや身振りといった身体のリズムを同調させるといった作用であり、相手との間で親しみやすさやポジティブな印象を持つと考えられる。一方、情動の同調とは、相手の情動に合わせた表情の表出を行うと相手の幸福表情が促進されるといったように、相手の心理状態に合った反応を返す作用であり、相手の心理状態をより快適な状態に変化させると考えられる。
【０００７】
本願発明者は、人の音声から情動を認識し、情動同調の手法に基づいてロボットを制御する方法について検討してきた。本願は、人の表情から人の情動を認識して情動同調の手法を利用して制御するロボット装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本出願に係るロボット装置は、ユーザに視認させる表情を表出する表出部と、ユーザの表情に基づいてユーザの情動状態を解析する情動認識部と、ロボットの情動状態を、前記情動認識部によって認識されたユーザの情動状態に誘導するようにロボットの情動状態を生成する情動生成部と、情動生成部により生成されたロボットの情動状態に基づいて、ロボットから表出させる表情を生成する情動表出部とを備えることを特徴とする。
【０００９】
また、前記情動認識部においては、ユーザの表情から抽出された目、眉、口のそれぞれについて傾斜度と湾曲度とを検知し、前記傾斜度と湾曲度とを指標とする情動認識空間を用いてユーザの情動状態を規定することにより、ユーザの情動状態を的確に判断することができ、ユーザの情動状態に基づいてロボットを的確に制御することが可能となる。
なお、前記傾斜度は、目、眉、口の両端点を結ぶ線と水平線とのなす角によって規定され、前記湾曲度は、目、眉、口の長さと高さとの比によって規定することができる。
【００１０】
また、前記情動生成部においては、横軸を快−不快、縦軸を覚醒−眠気とする情動生成空間内に、前記情動認識部により認識されたユーザの情動状態を入力し、ユーザの情動状態に同調するようにロボットの情動状態を生成することにより、ユーザの情動状態に同調した情動状態を的確に生成することができる。
また、前記情動生成空間を、ユーザの情動状態をアトラクタとするベクトル場として規定することにより、ユーザの情動状態に同調するロボットの情動状態を容易に生成することができる。
【００１１】
また、前記情動表出部においては、目、眉、口の傾斜度と、目、眉、口の湾曲度とを指標とする情動表出空間を用いてロボットから表出させる表情を規定することにより、ロボットの情動状態に対応する表情を的確に表出することができる。
また、前記情動表出空間は、前記情動生成空間と連続的な記号空間を介して非線形写像する方法を利用して前記情動生成空間と動的に関連づけることにより、ユーザの表情に動的に同調する表情をロボットから表出させることができる。
また、前記表出部は、目、眉、口に類似する形象を、それぞれの傾斜度および湾曲度を任意に可変として表出するものとして構成されていることにより、ロボットの情動に応じて的確に表情を表出することができる。
【発明の効果】
【００１２】
本発明に係るロボット装置は、ユーザの表情に基づいてユーザの情動状態を認識し、この認識結果に同調するようにロボットの情動状態を生成することにより、ユーザの情動の変化に同調するようにロボットから表出される表情が制御され、自然で親和性の高いコミュニケーションが可能なロボット装置として提供される。
【図面の簡単な説明】
【００１３】
【図１】ロボット装置の頭部ロボットの正面図である。
【図２】頭部ロボットの側面図である。
【図３】スクリーンに表出させる像の例である。
【図４】ユーザとロボットとのインタラクションシステムのブロック図である。
【図５】顔の表情のデータから抽出した眉と目と口の形である。
【図６】顔の表情のデータから抽出した眉と目を拡大して示す図である。
【図７】傾斜度を横軸、湾曲度を縦軸として示した顔の表情の例を示す図である。
【図８】目、眉、口の傾斜度と湾曲度を示す図である。
【図９】目、眉、口の傾斜度と湾曲度の標準順状態、”＋”状態、”−”状態を示す図である。
【図１０】顔の表情を認識した結果に基づいて、傾斜度を横軸、湾曲度を縦軸とする２次元空間内に、happy、surprise、fear、angry、disgust、sadの顔の表情の位置を示した図である。
【図１１】被検者がhappy、surprise、fear、angry、disgust、sadの表情をした場合の傾斜度と湾曲度をプロットした図である。
【図１２】情動状態を二次元空間で表現するRussellの円環モデルの図である。
【図１３】ユーザの情動状態をアトラクタとしたベクトル場の例を示す図である。
【図１４】情動認識空間と情動生成空間との関係を示す図である。
【図１５】傾斜度を横軸、湾曲度を縦軸として、ロボットから表出させる表情の例を示す図である。
【図１６】記号空間と情動表出空間との関係を示す図である。
【図１７】情動生成空間と記号空間との関係を示す図である。
【図１８】情動生成空間における人の情動とロボットの情動とを示す図である。
【図１９】記号空間内において各情動状態における状態を示す図である。
【図２０】情動表出空間における各情動状態を示す図である。
【図２１】図２０のａ〜ｋの各情動状態に対応してロボットから表出させる表情を示す図である。
【図２２】情動認識空間、情動生成空間、記号空間、情動表出空間の各空間の関係を示す図である。
【図２３】ロボットの情動をユーザの情動に同調させる制御を行う場合の情動生成空間と情動表出空間を示す図である。
【図２４】図２３の情動表出空間におけるロボットの表情の例を示す図である。
【図２５】ロボットの情動をユーザの情動と正反対となるように制御する場合の情動生成空間と情動表出空間を示す図である。
【図２６】図２５の情動表出空間におけるロボットの表情の例を示す図である。
【図２７】ロボットとコミュニケーションする実験の前後における快適さについて調べた結果を示すグラフである。
【図２８】ロボットとコミュニケーションする実験の前後における覚醒度について調べた結果を示すグラフである。
【図２９】被検者とロボットとの平均コミュニケーション時間を示すグラフである。
【図３０】SD法によるロボットとコミュニケーションした印象を調査した結果を示すグラフである。
【発明を実施するための形態】
【００１４】
（ロボット装置）
本発明に係るロボット装置は、人（ユーザ）の表情からユーザの情動を認識し、その情動に基づいてロボットに表出させる表情を制御するように構成されている。
図１は、ロボット装置の頭部ロボットを正面方向から見た状態、図２は頭部ロボットを側面方向から見た状態を示す。この頭部ロボットは、ネック部１０と頭部１２とから構成される。ネック部１０は、頭部１２を高さ調節可能に支持する支持部を備える。頭部１２は、前方が凸となるドーム形のスクリーン１２ａと、プロジェクタ１２ｂと、プロジェクタ１２ｂの前側に設置された魚眼レンズ１２ｃとを備える。スクリーン１２ａがロボットの表情の表出部である。
【００１５】
スクリーン１２ａには、魚眼レンズ１２ｃを介してプロジェクタ１２ｂにより、人の表情が投影される。スクリーン１２ａに投影される像は、人の目、眉、口、鼻に類似する像であり、これらの像はコンピュータによりアニメ的にデザインされて投影される。
図３は、スクリーン１２ａに表出する像を示す。スクリーン１２ａに表出する顔の像は、目、眉、口のそれぞれ傾斜度と湾曲度とを独立にかつ連続的に変えて表出できるように制御される（鼻の画像は無変化）。図３に、目、眉、口について、傾斜度を制御する位置（円形の点）と湾曲度を制御する位置（ひし形の点）を示す。
【００１６】
たとえば、眉の左右の円形の点の位置を上下に動かすことにより、眉の傾斜度が変えられる。また、ひし形の点の位置を上下に動かすことにより湾曲度の小さな眉としたり、湾曲度の大きな眉としたりすることができる。同様に、目についても、円形の点の位置を動かすことにより傾斜度を変化させ、目じりが下がった状態としたり、目じりが上がった状態にしたりすることができる。また、ひし形の位置を上下させることにより、目の大きさを変えることができる。また、口の円形の点とひし形の点の位置を動かすことにより、口の大きさを変えたり口の表情を変えたりすることができる。
【００１７】
本実施形態のロボット装置では、上述した頭部ロボットをテーブル上に配置し、頭部ロボットの手前に人（ユーザ）の顔を視認するカメラを配置し、カメラ越しに頭部ロボットのスクリーンをユーザが視認できる配置とした。カメラ等のユーザの表情を検知する視認装置は頭部ロボットと別体に設けることもできるし、頭部ロボットに一体に組み込むこともできる。
カメラによって視認したユーザの表情に基づいてコンピュータ解析によりユーザの情動状態が認識され、認識されたユーザの情動状態に基づいて頭部ロボットのスクリーンに表出する表情が制御される。
スクリーン１２ａはユーザにロボットの表情を視認させるためのものであり、本実施形態ではスクリーン１２ａをドーム形としたことにより、表情が立体的に表出できるようになっている。スクリーン１２ａはロボットの表情を表出させる表出部の一つの例であり、スクリーン以外に液晶による表示方法や、各種のディスプレイ方法を利用することができる。
【００１８】
（インタラクションシステム）
図４は、ユーザとロボットとのインタラクションシステムをブロック図として示したものである。
ロボット装置は、カメラ等の視認装置により視認して得られた人（ユーザ）の表情からユーザの情動状態を解析する情動認識部２０と、ロボットに表出させる表情を生成させるために、情動認識部２０によって解析されたユーザの情動状態に同調させる情動を生成させる情動生成部２２と、情動生成部２２によって生成した情動に基づいてロボットから表出させる表情を生成するための情動表出部２４とを備える。以下、これら各部の構成について説明する。
【００１９】
（情動認識部）
情動認識部では人（ユーザ）の表情に基づいて人の情動状態を認識する。人の表情から情動を認識する方法には、心理学的方法等のさまざまなアプローチがある。
本実施形態では、AdaBoostアルゴリズムを利用し、目、眉、口について表情を検知した。実施形態のロボット装置は、１秒間に25フレームの速度で顔の表情を検知することが可能である。顔の表情を認識するには、目の領域と口の領域を別々に検知し、目の領域では、眉と目とを分離し、左右の眉、目についてそれぞれ分離して解析した。人の表情は必ずしも左右対称ではないからである。口については、皮膚の色と唇の色が類似していることから、RGBによる分析方法にかえてHSVによる分析方法を利用して解析した。
図５は、カメラによって検知した顔の表情のデータを加工して、眉と目と口の形を抽出した例である。図６は、眉と目について抽出した例を示す。
【００２０】
人の顔の表情から情動状態を認識する方法として、本実施形態においては、顔の表情に表れる湾曲度(bending)と傾斜度(inclination)を指標として認識する方法を利用した。この顔の表情に表れる湾曲度と傾斜度が人の情動に関連するという考え方は、Yamadaの理論に基づく（非特許文献１、２）。顔の表情に表れる湾曲度は、眉と目の曲がり具合、口の開き具合に関係し、傾斜度は、目と眉の傾き具合、口のV形あるいは逆V形の形状に関係する。図７に、傾斜度を横軸、湾曲度を縦軸とした場合の顔の表情の例を示す。
【００２１】
図８は表情のデータから傾斜度(inclination)と湾曲度(bending)を決める方法を示す。
目、眉、口の両端点を結ぶ線と水平線とのなす角、θe、θb、θmが、目、眉、口の傾斜度（傾斜角）を示し、目の長さLeと高さHeとの比、眉の長さLbと高さHbとの比、口の長さLmと高さHmの比によって湾曲度が定義される。
顔の表情は刻々変化するが、各表情における顔全体の傾斜度を目、眉、口の傾斜度をすべて加え合わせたものとして定義し、湾曲度を目、眉、口の湾曲度をすべて加え合わせたものと定義する。なお、傾斜度と湾曲度については、図９に示すように、目、眉、口について標準の傾斜度と湾曲度を設定し、この標準状態を基準状態として、”＋”状態と、”−”状態を定義した。
【００２２】
図１０は、４３人の被検者について顔の表情を認識した結果に基づき、傾斜度(inclination)を横軸、湾曲度(bending)を縦軸とする２次元空間内に、典型的な６つの顔の表情happy、surprise、fear、angry、disgust、sadの位置を示したものである。
図１０では、happyとangryの状態で顔の表情の傾斜度が最大と最小になることから、happyとangryの状態の傾斜度を１、−１とし、surpriseとsadの状態で顔の表情の湾曲度が最大と最小になることから、surpriseとsadの状態の湾曲度を１、−１となるように規格化している。
図１０はユーザの顔の表情に基づいてユーザの情動状態を認識した結果を、２次元空間で表した情動認識空間である。
【００２３】
図１１は、１２人の被検者に、happy、surprise、fear、angry、disgust、sadの表情をするように依頼し、そのときの表情をカメラで視認して、上述した傾斜度と湾曲度を指標とする２次元空間内にプロットしたものである。実験によるプロット位置と、図１０に示した６つの顔の表情に対応する位置とのずれを計測したところ、77%の確率で顔の表情からhappy、surprise、fear、angry、disgust、sadの情動状態が認識されるという結果が得られた。すなわち、前述した顔の表情を解析して得られた傾斜度及び湾曲度に基づいて人の情動状態を認識することが可能であり、この手法が人（ユーザ）の情動状態を認識する方法として有効であることを示す。
【００２４】
（情動生成部）
本発明に係るロボット装置では情動認識部により認識された人（ユーザ）の情動に基づいてスクリーン１２ａに表出させる表情を制御する。このスクリーンに表出させる表情を制御する手法として、本発明においては、ユーザの情動状態に基づいてロボットの情動状態を制御し、この情動状態に基づいてロボットから表出させる表情を制御するという手法をとる。
この人とロボットの情動に基づいて制御する方法は、単に、人とロボットとの行為を同調させるといった制御方法と比較して、人とロボットとの自然なコミュニケーションを可能とし、人とロボットとの親和性を高めることができ、人とロボットとのコミュニケーションを制御する方法として汎用的な利用を可能にするという利点がある。
【００２５】
人の情動状態に基づいてロボットから発現させる情動状態を生成する方法として、本実施形態においては、情動状態を二次元空間で表現するRussellの円環モデル（非特許文献３）を利用する（図１２）。この円環モデルは、横軸に快−不快、縦軸に覚醒−眠気をとることによって、種々の情動状態を表現するように考えられたものである。
情動生成部は、この円環モデルに基づく情動空間に、前述した情動認識部により得られた人（ユーザ）の情動状態の値を入力し、この値にしたがってロボットの情動状態を決める。
【００２６】
本発明においては、ロボットの情動をユーザの情動に同調させるように制御する。このような制御を行うため、ユーザとロボットの情動状態を表現する情動空間を、ユーザの情動状態（入力値）をアトラクタとする力学系のベクトル場として規定し、ユーザの情動状態にロボットの情動状態が徐々に引き込まれる（誘導される）ように制御する手法を用いた。
図１３は、情動空間内に入力されたユーザの情動状態（入力値）に、ロボットの情動状態が同調される作用を矢印によって示している。ユーザの情動状態は刻々と変化するが、図１３に示すようなベクトル場を考慮することにより、ロボットの情動状態は徐々にユーザの情動状態に引き込まれてユーザの情動状態に同調していく。
図１３に示すベクトル場として構築した情動空間は、人の情動状態に基づいてロボットの情動状態を生成するという意味で情動生成空間ということができる。
【００２７】
図１２に示すRussellの円環モデルによる情動空間と、図１０に示した、ユーザの情動状態を示す空間（情動認識空間）とは類似しているが、一致はしていない。図１４に、先に取り上げた６つの情動、happy、surprise、fear、angry、disgust、sadについて、情動認識空間と情動生成空間とがどのような関係にあるかを示した。
【００２８】
（情動表出部）
情動表出部では、ユーザの情動状態に同調させて生成したロボットの情動状態に基いてロボットから表出させる表情を生成する。図１５にロボットから表出させる表情の例を示す。ロボットから表出させる表情は、図１５に示すような傾斜度を横軸、湾曲度を縦軸とする２次元空間内の各点に対応して決められる。この２次元空間の傾斜度は、目と眉の傾斜角、口のV形あるいは逆V形の角度に関係し、湾曲度は、眉の曲がり具合、目と口の大きさに関係する。図１５は、例として、normal、happy、angry、sad、surpriseの各情動状態に対応する５つの表情を示したものである。したがって、ロボットの情動状態をロボットの表情を規定する目、眉、口についての傾斜度と湾曲度に結びつけることにより、ロボットから表出させる表情を決めることができる。
【００２９】
人とコミュニケーションするロボットは人と類似したさまざまな情動状態を取り得る。この情動状態は刻々と変化する動的なものであり、同じ情動状態であっても表出される表情は動的に変化する。このように、ロボットから表出させる表情を動的に変化させるようにするため、本実施形態においては、ロボットの情動状態を表す情動生成空間とロボットにより表出させる表情を生成するための情動表出空間とを関連づける、連続空間としての記号空間を想定し、記号空間を介して情動生成空間と情動表出空間とを関連づけるようにしている（非特許文献５）。
【００３０】
図１６は記号空間と情動表出空間との関係を示している。記号空間内の各点は情動表出空間における動的な動き（サイクリックな動き）に対応する。情動生成部によって生成されたロボットの情動状態は、記号空間を介して動的な表情を表出させる情動表出空間に結び付けられている。このように、情動生成空間と情動表出空間とを動的に関連づけすることにより、ユーザの情動状態に同調してロボットによる動的で自然な表情の表出が可能になる。
図１７は情動生成空間（図１３）と記号空間との関係を概念的に示した図である。情動生成空間と記号空間は異次元空間であり、記号空間と情動表出空間も異次元空間である。本実施形態では非線形写像による手法を利用して異次元空間を結びつけるようにした。
【００３１】
（情動同調のシミュレーション）
上述した情動同調の方法を利用して、情動状態がどのように連関するかをシミュレーションした例を以下に示す。この計算は、人の情動が、normal→happy→surprise→angry→sad→normalの順に変化したと想定して行ったものである。図１８は情動生成空間における人の情動とロボットの情動とを示したものである。人の情動状態に同調してロボットの情動状態が移動していく様子がわかる。図１９は記号空間内における動きである。記号空間においては、情動状態がλ１、λ２、λ３の３個の指標によって規定されている。図２０は情動表出空間における情動状態を示す。情動表出空間では各情動状態に応じて、動的に情動状態が変化している。図２１は実際にロボットから表出される表情を示す。ａ〜ｋは、図２０のａ〜ｋの各情動状態に対応する。
【００３２】
図１８、１９、２０、２１に示すシミュレーション結果は、上述した情動生成空間、記号空間、情動表出空間を利用する情報処理方法が、人とロボットとを情動同調に基づく手法によって動的に制御する方法として有効に利用することができ、情報処理方法としても効率的で、人とロボットとの自然なコミュニケーションを可能にすることを示している。 図２２は、上述した情動認識空間、情動生成空間、記号空間、情動表出空間の各空間の関係を示したものである。ユーザの表情に基づいて認識された情動状態が情動表出空間にまで連関して、ロボットから表出される表情が規定されていることを示す。
【００３３】
（コミュニケーション実験）
本発明に係る人とロボットとのコミュニケーションを制御する手法として情動同調の考え方を利用することによる効果を確かめるため、情動同調の制御を行った場合と情動同調させないように制御した場合とで、人とロボットとのコミュニケーションがどのようになるかを実験した結果について説明する。
図２３、２４はロボットの情動をユーザの情動に同調させるコミュニケーションを行う場合の例である。このコミュニケーションによる場合は、ロボットのスタート時の情動がユーザの情動状態に徐々に引き込まれて同調されていく。図２５、２６は、ロボットの情動をユーザの情動状態から正反対の方向へ引き込む（非同調）ように制御する場合の例である。
【００３４】
４０人の被検者を２０人ずつの２グループに分け、一方のグループの被検者にはロボットと同調するようにコミュニケーションすることを求め、他方のグループの被検者にはロボットと同調しないようにコミュニケーションすることを求めて実験を行った。被検者は前述したロボット装置のドーム形のスクリーン１２ａに表出される表情を見ながら、先の条件下において自由にロボットとコミュニケートした。
コミュニケーションによる作用を調べるため、実験の前後において、被検者の情動状態を、快−不快と覚醒−眠気の二つのパラメータに基づいて調査した。そして、実験終了後に心理学のSD法（Semantic Differential）により実験の印象を調査した。
【００３５】
実際に、ユーザの表情の変化にともなってロボットから表出される表情がどのように変化するかを観察したところ、情動同調によるコミュニケーションでは、ユーザが快−不快と感じると、ロボットも同じように快−不快と感じる表情を表出し、覚醒度についてもユーザとロボットが同調する表情となることを確かめた。一方、情動非同調によるコミュニケーションでは、ロボットの表情はユーザの表情とまったく逆の情動状態を表出することが確かめられた。
この実験結果は、本実施形態において使用したロボット装置が、ユーザの表情に基づいてユーザの情動状態を正確に認識できること、ロボット装置がユーザの情動状態に基づいて的確に対応できることを示している。
【００３６】
図２７、２８は、実験後に、４０人の被験者について情動状態を、快適さと覚醒度のパラメータとして示した平均値である。この結果は、情動同調によるコミュニケーションによる場合は、有意差１％以内において、実験の前後で被検者の快適度と覚醒度が顕著に向上すること、すなわち、情動同調によるコミュニケーションを行った場合は、被検者がロボットに関心を寄せ、興味を持つようになることを示している。
一方、情動非同調によるコミュニケーションによる場合は、有意差１％以内において、被検者の覚醒度は実験後に向上したものの、快適さの感情については実験前よりも実験後は低下する結果となっている。この結果は、情動非同調によるコミュニケーションは被検者を不快にするように作用することを示している。
【００３７】
以上の実験結果は、情動同調による人とロボットとのコミュニケーションは、人の情動状態にポジティブな影響を及ぼすということができる。事実、情動同調によるコミュニケーションを行った被検者のコミュニケーション時間は、情動非同調によるコミュニケーションを行った被検者のコミュニケーション時間のおよそ２倍であった。図２９は、被検者の平均コミュニケーション時間を示す。
【００３８】
図３０は、SD法によるロボットの印象を調査した結果を示す。図のように、情動同調によるコミュニケーションを行った被検者は、情動非同調によるコミュニケーションを行った被検者と比較して、ロボットに対してはるかに強い好印象を持つことがわかる。このことは、人の情動と同調できるロボットは人に受け入れられやすく、人に好ましい印象を与えることを示している。
【００３９】
以上説明したように、本発明に係るロボット装置は、人とロボットとの情動に基づいて相互にコミュニケーションするように制御したことにより、人とロボットとの親和性を高めることができ、ロボットとコミュニケーションについて快適な感情を人に与え、ロボットを受け入れやすくすることができるという作用効果を有する。
本実施形態においては、人の表情に基づいて人の情動を認識した。人の情動は顔の表情に限らず、音声や、ことば、身振りにも表れる。本発明に係る情動同調に基づいて人とロボットとのコミュニケーションを考える方法は、顔の表情に限らず、人の心理状態に基づいてロボットを制御する方法として汎用的にかつ効果的に利用することができる。
【符号の説明】
【００４０】
１０ ネック部
１０ａ 支持板
１０ｂ 支持脚部
１２ 頭部
１２ａ スクリーン
１２ｂ プロジェクタ
１２ｃ 魚眼レンズ
２０ 情動認識部
２２ 情動生成部
２４ 情動表出部
【特許請求の範囲】
【請求項１】
ユーザに視認させる表情を表出する表出部と、
ユーザの表情に基づいてユーザの情動状態を解析する情動認識部と、
ロボットの情動状態を、前記情動認識部によって認識されたユーザの情動状態に誘導するようにロボットの情動状態を生成する情動生成部と、
情動生成部により生成されたロボットの情動状態に基づいて、ロボットから表出させる表情を生成する情動表出部とを備えることを特徴とするロボット装置。
【請求項２】
前記情動認識部においては、
ユーザの表情から抽出された目、眉、口のそれぞれについて傾斜度と湾曲度とを検知し、前記傾斜度と湾曲度とを指標とする情動認識空間を用いてユーザの情動状態を規定することを特徴とする請求項１記載のロボット装置。
【請求項３】
前記傾斜度は、目、眉、口の両端点を結ぶ線と水平線とのなす角によって規定され、
前記湾曲度は、目、眉、口の長さと高さとの比によって規定されることを特徴とする請求項２記載のロボット装置。
【請求項４】
前記情動生成部においては、
横軸を快−不快、縦軸を覚醒−眠気とする情動生成空間内に、前記情動認識部により認識されたユーザの情動状態を入力し、
ユーザの情動状態に同調するようにロボットの情動状態を生成することを特徴とする請求項１〜３のいずれか一項記載のロボット装置。
【請求項５】
前記情動生成空間を、ユーザの情動状態をアトラクタとするベクトル場として規定することにより、ユーザの情動状態に同調するロボットの情動状態を生成することを特徴とする請求項４記載のロボット装置。
【請求項６】
前記情動表出部においては、
目、眉、口の傾斜度と、目、眉、口の湾曲度とを指標とする情動表出空間を用いてロボットから表出させる表情を規定することを特徴とする請求項１〜５のいずれか一項記載のロボット装置。
【請求項７】
前記情動表出空間は、前記情動生成空間と連続的な記号空間を介して非線形写像する方法を利用して前記情動生成空間と動的に関連づけることにより、ロボットから表出する表情を規定することを特徴とする請求項６記載のロボット装置。
【請求項８】
前記表出部は、目、眉、口に類似する形象を、それぞれの傾斜度および湾曲度を任意に可変として表出するものであることを特徴とする請求項１〜７のいずれか一項記載のロボット装置。
【請求項１】
ユーザに視認させる表情を表出する表出部と、
ユーザの表情に基づいてユーザの情動状態を解析する情動認識部と、
ロボットの情動状態を、前記情動認識部によって認識されたユーザの情動状態に誘導するようにロボットの情動状態を生成する情動生成部と、
情動生成部により生成されたロボットの情動状態に基づいて、ロボットから表出させる表情を生成する情動表出部とを備えることを特徴とするロボット装置。
【請求項２】
前記情動認識部においては、
ユーザの表情から抽出された目、眉、口のそれぞれについて傾斜度と湾曲度とを検知し、前記傾斜度と湾曲度とを指標とする情動認識空間を用いてユーザの情動状態を規定することを特徴とする請求項１記載のロボット装置。
【請求項３】
前記傾斜度は、目、眉、口の両端点を結ぶ線と水平線とのなす角によって規定され、
前記湾曲度は、目、眉、口の長さと高さとの比によって規定されることを特徴とする請求項２記載のロボット装置。
【請求項４】
前記情動生成部においては、
横軸を快−不快、縦軸を覚醒−眠気とする情動生成空間内に、前記情動認識部により認識されたユーザの情動状態を入力し、
ユーザの情動状態に同調するようにロボットの情動状態を生成することを特徴とする請求項１〜３のいずれか一項記載のロボット装置。
【請求項５】
前記情動生成空間を、ユーザの情動状態をアトラクタとするベクトル場として規定することにより、ユーザの情動状態に同調するロボットの情動状態を生成することを特徴とする請求項４記載のロボット装置。
【請求項６】
前記情動表出部においては、
目、眉、口の傾斜度と、目、眉、口の湾曲度とを指標とする情動表出空間を用いてロボットから表出させる表情を規定することを特徴とする請求項１〜５のいずれか一項記載のロボット装置。
【請求項７】
前記情動表出空間は、前記情動生成空間と連続的な記号空間を介して非線形写像する方法を利用して前記情動生成空間と動的に関連づけることにより、ロボットから表出する表情を規定することを特徴とする請求項６記載のロボット装置。
【請求項８】
前記表出部は、目、眉、口に類似する形象を、それぞれの傾斜度および湾曲度を任意に可変として表出するものであることを特徴とする請求項１〜７のいずれか一項記載のロボット装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１２−１７８０９２（Ｐ２０１２−１７８０９２Ａ）
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願番号】特願２０１１−４１２３４（Ｐ２０１１−４１２３４）
【出願日】平成２３年２月２８日（２０１１．２．２８）
【出願人】（５０４１８０２３９）国立大学法人信州大学 (759)
【Ｆターム（参考）】
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願日】平成２３年２月２８日（２０１１．２．２８）
【出願人】（５０４１８０２３９）国立大学法人信州大学 (759)
【Ｆターム（参考）】
[ Back to top ]