コミュニケーションロボットとその動作方法
【課題】サービスを依頼し易いコミュニケーションロボットを提供する。
【解決手段】眼カメラ２０が設けられた頭部５２と、広視野カメラ５３が設けられた胴部５４と、頭部を回転させる頭部制御手段６１と、コミュニケーションの成立を合図する合図動作制御手段６３とを有するコミュニケーションロボットであって、眼カメラ２０及び広視野カメラ５３の画像を処理する画像処理手段６２を有する。頭部５２を所定速度で回転する見回り動作を行いながら、広視野カメラ５３の画像から予め検出した人の位置で回転速度を落とし、眼カメラ２０の画像からロボットに顔を向ける正面顔の人を検出し、検出した場合に合図を送る。サービスを求める人は、ロボットが見回り動作を行っていれば、サービス可能であると知ることができ、ロボットが自分の方を向いたときにロボットを見ていれば、ロボットにサービスを依頼できる。
【解決手段】眼カメラ２０が設けられた頭部５２と、広視野カメラ５３が設けられた胴部５４と、頭部を回転させる頭部制御手段６１と、コミュニケーションの成立を合図する合図動作制御手段６３とを有するコミュニケーションロボットであって、眼カメラ２０及び広視野カメラ５３の画像を処理する画像処理手段６２を有する。頭部５２を所定速度で回転する見回り動作を行いながら、広視野カメラ５３の画像から予め検出した人の位置で回転速度を落とし、眼カメラ２０の画像からロボットに顔を向ける正面顔の人を検出し、検出した場合に合図を送る。サービスを求める人は、ロボットが見回り動作を行っていれば、サービス可能であると知ることができ、ロボットが自分の方を向いたときにロボットを見ていれば、ロボットにサービスを依頼できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人とのコミュニケーションを図るコミュニケーションロボットと、その動作方法に関し、特に、人がサービスを依頼し易いロボットの実現を図るものである。
【背景技術】
【０００２】
コミュニケーションロボットは、身振り手振りや音声等を用いて人とのコミュニケーションを図る機能を備えている。
例えば、下記特許文献１に記載されたコミュニケーションロボットは、首（頭部）や眼球を回転させてロボットの視線を移動し、視線の演出によりロボットの意図を伝達するように構成されている。
【０００３】
図１３は、このコミュニケーションロボットの構成をブロック図で示している。このロボットは、外形的に胴体と頭部とを有しており、腕が回動可能に胴体で支持され、頭部に眼や口（スピーカ２３）が配置されている。眼は眼球モータ１１、１２で回転し、腕は腕モータ１３，１４で回転する。頭部は、頭部モータ１５の駆動により胴体に対して首を振るように回転する。胴体は、腰モータ１６で向きを変え、また、車輪モータ１７により前後左右に移動する。また、近隣物との距離を測定する超音波距離センサ１８や衝突を感知する衝突センサ２２、全方位カメラ１９、マイク２４等が胴体に配置され、眼カメラ２０が頭部に配置されている。
【０００４】
また、制御系として、ＣＰＵ２５と、制御プログラムや各種データが記憶されるメモリ２６と、ＣＰＵ２５の指示に基づいて各モータを制御するモータ制御ボード２９と、各センサの情報をＣＰＵ２５に送るセンサ入力／出力ボード３０と、ＣＰＵ２５から与えられた合成音声をスピーカ２３から出力し、マイク２４から拾った音をＣＰＵ２５に送る音声入力／出力ボード３１と、外部のコンピュータと通信を行う無線通信装置２８と、ＣＰＵ２５から送られた情報を無線通信装置２８を通じて外部コンピュータに送り、外部コンピュータからの受信情報をＣＰＵ２５に送る通信ＬＡＮボード２７とを備えている。
このコミュニケーションロボットは、さらに、人物に付された無線タグの識別情報を取得する無線タグ読取装置３２を備えており、無線タグの情報から対象人物が近くに来たことを認識すると、眼カメラの画像から対象人物の位置を検出し、頭部の回転や視線の移動によりロボットの意図を対象人物に伝達する。
【０００５】
しかし、不特定の人を対象にサービスを提供するサービスロボットの場合は、サービスを求めている人とロボットとを結びつけることが先ず必要になる。人間同士では、サービスの必要な人がサービス提供者を特に声で呼ばなくても、コミュニケーションが巧く始まる場合が多い。
このようなコミュニケーション開始能力をロボットにも持たせるため、本発明者等は、先に、人とロボットとのアイコンタクトでコミュニケーションを開始する方法を下記非特許文献１で提案している。
この方法では、ロボットに取り付けられたカメラ画像から、ロボットの方を向いている人間を検出したとき、ロボットが、その人物の方を向き、それでもさらにロボットの方を見続けていた場合に、人間とのアイコンタクトが成立したと判断し、そこで人間が手を挙げると、ロボットが人間の方に近付き、コミュニケーションが開始される。
【特許文献１】特開２００７−１３０６９１号公報
【非特許文献１】D. Miyauchi, A. Sakurai, A. Nakamura, and Y. Kuno, Bidirectional eye contact for human-robot communication, IEICE Transactions on Information and Systems, Vol.E88-D, No.11, pp.2509-2516, 2005
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、先に提案した方法では、ロボットを呼びたいと思っても、ロボットが自分に対してサービスできる状態なのかどうかが人間には分からない、と言う問題点がある。この場合、ロボットの状態は分からないが、サービスできる状態だと仮定して、ロボットを呼ぼうとすると、人は、アイコンタクトを果たすために、ずっとロボットの方を見続けていなければならない。また、少し、見続けてロボットが反応しないときは、サービスできる状態ではないと思って、ロボットの方を見るのを止めてしまうかもしれない。実際は、もう少し見続ければ、ロボットの人間検出処理が完了したかもしれないが、それは人間には分からない。
【０００７】
図１４は、高齢者介護施設において、食事中の高齢者の中に手助け（サービス）を求めている人がいないかを見守っている介護者Ｆの様子を示している。
コミュニケーションロボットが、こうした介護の現場で介護ロボットとして活躍するためには、先ず、手助けを希望する高齢者が簡単にコミュニケーションを取れる存在でなければならない。
【０００８】
本発明は、こうした事情を考慮して創案したものであり、依頼者が依頼し易いコミュニケーションロボットを提供し、また、その動作方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明のコミュニケーションロボットは、顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットであって、前記頭部に設けられた眼に相当する眼カメラと、前記胴部に設けられた広域を撮影する広視野カメラと、前記眼カメラ及び広視野カメラの画像を処理する画像処理手段と、を備え、前記画像処理手段は、前記広視野カメラの画像から人物を検出するとともに、前記頭部の回転速度が所定値以下のときに前記眼カメラの画像からロボットに顔を向ける正面顔の人物を検出し、前記頭部制御手段は、前記胴部に対して前記頭部を所定速度で回転させる見回り動作を行いながら、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を前記所定値以下に低減させ、前記合図動作制御手段は、前記画像処理手段により前記眼カメラの画像から前記正面顔の人物が予め設定された時間を超えて検出されたとき、当該人物に合図を送ることを特徴とする。
このコミュニケーションロボットは、頭部を回転し（首を振り）、周囲を観察しているような所作（見回り動作）を行う。そして、人が居る方向で頭部の回転速度を落とし、或いは、一時停止する。この見回り動作は、依頼の受入れが可能である状態を表すもので、観察自体は見せ掛けであり、人物の検出は、見回り動作の開始前に、胴部に設けられた広視野カメラの画像から行われ、人物の検出位置で頭部の回転速度を緩めるように制御される。このとき、その検出位置の人物がロボットを見続けていると、ロボットは、アイコンタクトが成立したと判断して合図を送る。そのため、サービスを求める人は、ロボットが見回り動作を行っていれば、サービス可能であると知ることができ、ロボットが自分の方を向いたときにロボットを見ていれば、ロボットにサービスを依頼できる。
【００１０】
また、本発明のコミュニケーションロボットは、顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットであって、前記胴部に設けられた広域を撮影する広視野カメラと、前記広視野カメラの画像を処理する画像処理手段と、を備え、前記画像処理手段は、前記広視野カメラの画像から人物を検出するとともに、前記広視野カメラの画像からロボットに顔を向ける正面顔の人物を検出し、前記頭部制御手段は、前記胴部に対して前記頭部を所定速度で回転させる見回り動作を行いながら、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させ、前記合図動作制御手段は、前記画像処理手段により、前記広視野カメラの画像に含まれる、回転速度が前記所定値以下に低減した前記頭部の顔前方の画像領域から、前記正面顔の人物が予め設定された時間を超えて検出されたとき、当該人物に合図を送ることを特徴とする。
このコミュニケーションロボットは、見回り動作中にチェックすべき方向の検出や、正面顔の検出を広視野カメラの画像だけで行うことができる。この場合、正面顔の検出が、人の方向への頭部の回転を待たずに開始できると言う利点がある。
【００１１】
また、本発明のコミュニケーションロボットでは、前記合図動作制御手段が、前記正面顔の人物に対する前記合図として、当該人物に前記胴部の正面を向ける動作、当該人物に声を掛ける動作、当該人物に手を挙げる動作の中の一または二以上の動作を行うことが可能である。
この合図により、サービスを求める人は、依頼要求の受入れを確認することができる。
【００１２】
また、本発明のコミュニケーションロボットでは、前記画像処理手段は、前記広視野カメラの画像から肌色領域を検出し、前記肌色領域のフレーム間差分の絶対値の総和が閾値を超えるとき、前記肌色領域を人物として検出するようにしている。
見回り動作の途中でチェックする人物の検出は、厳密さが要求されないため、肌色領域の位置を人物と推定している。ただ、肌色の壁等、全く動かないものは除外している。
【００１３】
また、本発明のコミュニケーションロボットでは、眼カメラの画像から正面顔を検出する場合に、前記画像処理手段が、前記眼カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記肌色領域における前記顔矩形の中心線の位置に基づいて前記正面顔を検出するようにしている。
顔矩形の中心線の位置は鼻の位置に相当し、この鼻が肌色領域の中央にあるか否かで正面顔かどうかを簡単に識別することができる。
【００１４】
また、本発明のコミュニケーションロボットでは、広視野カメラの画像から正面顔を検出する場合に、前記画像処理手段が、前記広視野カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記広視野カメラの画像の中心線の方向との角度差αを算出し、さらに、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記顔矩形の中心線の方向との角度差βを算出し、前記角度差αによって決まる閾値と前記角度差βとを比較して前記正面顔を検出するようにしている。
広視野カメラの画像から正面顔を検出する場合は、その顔が広視野カメラの画像の境界付近に位置していると、ロボットの方を見ていても斜めを向いた顔に写る。そのため、顔が写る位置に応じて、正面顔の判定に用いる閾値を変える必要がある。
【００１５】
また、本発明のコミュニケーションロボットでは、前記画像処理手段は、前記広視野カメラの画像から、さらに、フレーム間差分が閾値を超える変動領域を検出し、前記頭部制御手段は、前記画像処理手段が前記変動領域を検出したとき、前記見回り動作を中断して、所定時間の間、前記変動領域が検出された方向に前記頭部の顔を向けるようにしている。
このロボットは、ドアが開いたり、人が立ったりすると、見回り動作を中断して、そちらの方向に頭部を向ける。そのため、ドアから入室した人や立ち上がった人は、自分の方に顔を向けたロボットを見ることで、ロボットにサービスを依頼できる。また、このような動作により、周囲の人には、ロボットが周りに気を配って見回っているということが伝えられる。
【００１６】
また、本発明のコミュニケーションロボットでは、前記合図動作制御手段から合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記頭部制御手段は、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開するようにしている。
このロボットの動作で、コンタクトを求めた他の人物は、ロボットが要求を認識したこと、現在実施中のコミュニケーションが終了すれば、要求に応じてくれることを知ることができる。
【００１７】
また、本発明のコミュニケーションロボットでは、前記コンタクトを要求する他の人物が前記画像処理手段により検出され、前記画像処理手段は、前記広視野カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記広視野カメラの画像の中心線の方向との角度差αを算出し、さらに、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記顔矩形の中心線の方向との角度差βを算出し、前記角度差αによって決まる閾値と前記角度差βとを比較して前記コンタクトを要求する他の人物の正面画を検出するようにしている。
コミュニケーションを実施中であっても、広視野カメラの画像から正面顔を検出することで、コンタクトを要求する他の人物を検出することができる。
【００１８】
また、本発明のコミュニケーションロボットでは、前記コンタクトを要求する他の人物がロボットに触れたとき、ロボットに装着されたタッチセンサにより検出されるようにしても良い。
ロボットが、現在、他の人とコミュニケーションを実施中であっても、ロボットに触れることで、要求を認識させることができる。
【００１９】
また、本発明の動作方法は、顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットの動作方法であって、前記胴部に設けられた広視野カメラの画像から人物を検出するステップと、前記胴部に対して前記頭部を所定速度で回転する見回り動作を行いながら、前記人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させるステップと、前記頭部の回転速度が前記所定値以下に低減したとき、前記頭部に設けられた眼カメラの画像、または、前記広視野カメラの画像に含まれる前記頭部の顔前方の画像領域からロボットに顔を向ける正面顔の人物を検出するステップと、前記正面顔の人物が予め設定された時間を超えてロボットに顔を向けているとき、当該人物に合図を送るステップと、を備えることを特徴とする。
このコミュニケーションロボットの動作により、サービスを求める人は、ロボットが見回り動作を行っていれば、サービス可能であると知ることができ、ロボットが自分の方を向いたときにロボットを見ていれば、ロボットにサービスを依頼できる。
【００２０】
また、本発明のコミュニケーションロボットの動作方法では、さらに、前記広視野カメラの画像からフレーム間差分が閾値を超える変動領域を検出するステップを備え、前記変動領域が検出されたとき、前記見回り動作を中断して、所定時間の間、前記変動領域が検出された方向に前記頭部の顔を向けるようにしている。
このコミュニケーションロボットの動作により、ドアから入室した人や立ち上がった人は、自分の方に顔を向けたロボットを見ることで、ロボットにサービスを依頼できる。また、このような動作により、周囲の人には、ロボットが周りに気を配って見回っているということが伝えられる。
【００２１】
また、本発明のコミュニケーションロボットの動作方法では、前記合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開するようにしている。
このロボットの動作により、コンタクトを求めた他の人物は、ロボットが要求を認識したこと、そして、現在実施中のコミュニケーションが終了すれば、要求に応じてくれることを知ることができる。
【発明の効果】
【００２２】
本発明により、コミュニケーションロボットにサービスを依頼する依頼者は、ロボットの動作から、そのロボットが依頼を受け入れ可能な状態にあるか否かを簡単に知ることができる。また、依頼者は、ロボットの動作から、ロボットの頭部が自分の方に向く時期を予測し、その時期に合わせてロボットを見ることでサービスを依頼できるため、ロボットへの依頼の伝達が容易である。
従って、依頼者は、適切なタイミングで、且つ、極めて容易にロボットに依頼を伝えることができる。
【発明を実施するための最良の形態】
【００２３】
本発明のコミュニケーションロボットの実施形態について、図面を基に説明する。このロボットは、高齢者介護施設において、手助け（サービス）を必要とする高齢者との間でコミュニケーションを取る動作を行う。
図１は、本発明のロボットの機能ブロックを示す図、図２は、このロボットのハードウエア構成を示すブロック図、図３は、このロボットの外観を示す図、図４は、ロボットの動作を示すフロー図、図５は、図４のステップ１の動作手順を示すフロー図、図６は、図４のステップ３の動作手順を示すフロー図、図７は、図４のステップ７の動作手順を示すフロー図、図８は、図４のステップ８の動作手順を示すフロー図、また、図９は、図４のステップ１２の動作手順を示すフロー図である。
【００２４】
このロボットは、介護ロボットであり、図３に示すように、眼に相当する眼カメラ２０が設けられた頭部５２と、広域を撮影する広視野カメラ５３が設けられた胴部５４と、胴部５４に回動可能に支持された腕５５とを有している。眼カメラ２０は、ビデオカメラで構成され、また、広視野カメラ５３は、向きを変えた３台のビデオカメラで１８０°の範囲が撮影できるように構成されている。
このロボットは、図２に示すように、その内部に、ＣＰＵ２５と、制御プログラムや各種データが記憶されるメモリ２６と、ＣＰＵ２５の指示に基づいて各モータを制御するモータ制御ボード２９と、各センサの情報をＣＰＵ２５に送るセンサ入力／出力ボード３０と、ＣＰＵ２５から与えられた合成音声をスピーカ２３から出力し、マイク２４から拾った音をＣＰＵ２５に送る音声入力／出力ボード３１と、外部のコンピュータと通信を行う無線通信装置２８と、ＣＰＵ２５から送られた情報を無線通信装置２８を通じて外部コンピュータに送り、外部コンピュータからの受信情報をＣＰＵ２５に送る通信ＬＡＮボード２７とを備えている。
【００２５】
また、モータ制御ボード２９は、腕５５を回転する腕モータ１３、１４、頭部５２を回転する頭部モータ１５、胴体５４を回転する腰モータ１６、及び、胴体５４を前後左右に移動する車輪モータ１７の駆動を制御する。
また、センサ入力／出力ボード３０は、超音波距離センサ１８、広視野カメラ５３、眼カメラ２０、タッチセンサ２１及び衝突センサ２２の情報を取得して配信する。
また、このロボットは、広視野カメラ５３及び眼カメラ２０の画像を処理する画像処理部４０を有している。この画像処理部４０は、画像から肌色領域を検出する肌色検出部４１と、ビデオカメラのフレーム間の差分を算出するフレーム差分算出部４２と、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出する顔検出部４３とを有している。
なお、この画像処理部４０は、ＤＳＰ（digital signal processor）で構成することができ、或いは、制御プログラムに従って演算処理を行うＣＰＵ２５の機能として実現することができる。また、外部コンピュータの側で画像処理部４０を保持し、無線通信装置２８を通じて送られた画像データを処理して、その処理結果をロボットに渡すようにすることもできる。
【００２６】
このロボットは、図１に示すように、本発明に関わる機能ブロックとして、胴部５４の上の頭部５２を、首を振るように回転させる頭部制御手段６１と、眼カメラ２０及び広視野カメラ５３の画像処理を行う画像処理手段６２と、手５５を挙げたり、スピーカ２３から音声を発したり、胴部５４を依頼者の方向に向けたりして依頼者に合図を送る合図動作制御手段６３と、画像処理手段６２の処理結果やタッチセンサ２１の検知情報に基づいて各部を制御する制御部６４とを備えている。
【００２７】
図４のフロー図は、このロボットの動作手順を示している。
先ず、画像処理手段６２が、広視野カメラ５３の広視野画像から、人物の肌色領域を検出する（ステップ１）。
この処理は、具体的には、図５のフロー図に示す手順で行われる。即ち、広視野画像から、ＲＧＢカラースペース（Ｒ、Ｇ、Ｂ各８ビット）での値が、
Ｒ＞９５、Ｇ＞４０、Ｂ＞２０
Ｍａｘ｛Ｒ．Ｇ．Ｂ｝−Ｍｉｎ｛Ｒ．Ｇ．Ｂ｝＞１５
｜Ｒ−Ｇ｜＞１５
Ｒ＞Ｇ、Ｒ＞Ｂ
の条件を満たす肌色の画素の範囲を抽出し（ステップ１１）、この肌色部分のフレーム間差分を算出して、フレーム間差分の絶対値の総和が閾値を超えるか否かを識別する（ステップ１２）。フレーム間差分が閾値以下の肌色部分は、肌色の壁や机等が抽出されたものとして排除し(ステップ１４)、フレーム間差分の絶対値の総和が閾値を超える肌色部分を人物の顔の肌色領域として検出する(ステップ１３)。
なお、画像処理手段６２は、広視野画像からの肌色領域の検出を絶えず繰り返す。
【００２８】
次に、図４に戻り、頭部制御手段６１が、頭部５２を一定の回転速度で回転する見回り動作を開始する(ステップ２)。
この見回り動作の間も、画像処理手段６２は、広視野カメラ５３の広視野画像から、フレーム間差分が大きい領域を検出する（ステップ３）。
これは、立ち上がった人物やドアから入室した人物の検出を目的とするものであり、具体的には、図６のフロー図に示す手順で行われる。即ち、広視野画像のフレーム間差分を算出し（ステップ３１）、差分値が予め定めた閾値を超える領域を算出する（ステップ３２）。次いで、その領域の面積が設定値を超えているか否かを判定し(ステップ３３)、設定値を超えている場合に差分大の領域として検出する(ステップ３４)。その領域の面積が設定値を超えていない場合は、無視する（ステップ３５）。
差分大の領域を検出した場合は、図４に示すように、頭部制御手段６１が、見回り動作を中断して、頭部５２を差分大の領域の方向に向け(ステップ６)、後述するステップ７の処理が行われる。
【００２９】
また、見回り動作を続ける頭部制御手段６１は、頭部５２がステップ１で検出された肌色領域の方向を向いたときに（ステップ４）、頭部５２の回転速度を落とし、或いは、一時停止する（ステップ５）。
頭部５２の回転が停止または緩やかになると、画像処理手段６２は、頭部５２に搭載された眼カメラ２０の画像から、ロボットを直視している顔（正面顔）を検出する（ステップ７）。
この処理は、具体的には、図７のフロー図に示す手順で行われる。即ち、先ず、眼カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出する（ステップ７１）。顔領域の検出に用いる識別器として多くのものが開発されているが、ここでは、“ＯｐｅｎＣＶ Ｈａａｒ Ｃｌａｓｓｉｆｉｅｒ”（G. Bradsky, A. kaehler, V. Pisarevskky, “Learning Based Computer Vision with Intel’s Open Source Computer Vision Library,” Intel Technology Journal, Vol.09, 2005）を正面顔を検出するように学習させたものを用いている。
【００３０】
図１０（ａ）に示す矩形７０は、この識別器を用いて検出した顔矩形を示している。この顔矩形７０の水平方向の中心線は、鼻の位置に一致している。しかし、顔矩形７０の範囲内には、顔以外の領域も含まれ、また、顔矩形７０の範囲からはみ出る顔の部分も存在する。
次に、この眼カメラの画像を水平方向にスキャンして肌色領域を検出する（ステップ７２）。肌色領域の検出条件は、ステップ１１の場合と同じである。
図１０（ｂ）（ｃ）（ｄ）は、それぞれ、カメラから見て多少右側を向いた顔、正面を向いた顔、カメラから見て多少左側を向いた顔の画像を示しており、各画像には、顔矩形７０と、顔矩形７０の水平方向の中心線７２と、肌色領域の境界線７１とを書き加えている。顔矩形７０の水平方向の中心線７２は、鼻の位置に一致しており、顔が右側を向いているとき（図１０（ｂ））、この中心線７２は、肌色領域の水平方向の中心より右側にずれている。逆に、顔が左側を向いているとき（図１０（ｄ））には、この中心線７２は、肌色領域の水平方向の中心より左側にずれている。顔が正面を向いているとき（図１０（ｃ））は、この中心線７２が、肌色領域の水平方向の中心に位置している。
【００３１】
そこで、眼カメラの画像から、顔矩形７０の水平方向の中心位置（中心線７２の位置）と肌色領域(境界線７１の間の領域)の水平方向の中心位置との差分を算出し(ステップ７３)、この差分値と予め設定した閾値とを比較する(ステップ７４)。差分値が閾値未満であれば、正面顔と決定し（ステップ７５）、差分値が閾値を超えていれば、正面顔ではないと決定する（ステップ７６）。
正面顔が検出されなければ、頭部制御手段６１は、見回り動作を続ける（ステップ７でＮＯの場合）。
【００３２】
正面顔が検出されると、制御部６４は、その人物とのアイコンタクトが成立したか否かを判定する(ステップ８)。
この処理は、具体的には、図８のフロー図に示す手順で行われる。即ち、正面顔が継続して検出されている時間を計測し(ステップ８１)、計測時間が予め設定された閾値を超えた場合に（ステップ８２でＹＥＳの場合）、アイコンタクトが成立したと判定される(ステップ８３)。また、計測時間が閾値を超えなければ、アイコンタクト不成立と判定され（ステップ８４）、頭部制御手段６１は、見回り動作を再開する（ステップ２）。
アイコンタクトが成立すると、合図動作制御手段６３は、胴部５４をアイコンタクトの相手方に向け、手５５を挙げたり、スピーカ２３から「何か御用ですか」と発声して合図を送る（ステップ９）。
次いで、ロボットは、車輪５６を使って相手に近付き、サービスを開始する（ステップ１０）。
なお、画像処理手段６２は、広視野画像からの肌色領域の検出を繰り返しており、人の位置が変わった場合は、頭部の回転速度を緩める方向もそれに応じて変化する。
【００３３】
ロボットがこうした動作を行うため、サービスを希望する人は、ロボットの見回り動作を見て、ロボットがサービスの依頼に応じる状態であることを認識できる。
また、サービスの希望者は、ロボットの見回り動作から、ロボットが自分の方に頭を向ける時期を予測することができ、その時期に合わせてロボットを見詰めれば、サービスを受けることができる。そのため、ロボットに対して効率的に依頼を伝えることが可能である。
また、椅子から立ち上がった高齢者や、ドアから入室した高齢者等に対して、手助けが必要になる場合がある。こうした動きを伴う被介護者への手助けは、椅子に静かに座っている高齢者への手助けに比べて、迅速性が要求される。このロボットは、被介護者等の大きな動きを検出すると、直ぐにその方向に頭部を回転するので、手助けの希望者は、このときにロボットを見詰めれば、迅速な手助けが受けられる。
【００３４】
次に、ロボットがサービスを開始した後に、他のサービス希望者が現れた場合のロボットの動作について説明する。
図４に示すように、ロボットがサービスを開始(ステップ１０)した後、他のサービス希望者がロボットに触れると、制御部６４は、それをタッチセンサ２１によって検出し(ステップ１１)、後述するステップ１４の動作を行う。
【００３５】
また、画像処理手段６２は、サービス実行中でも、広視野カメラ５３の広視野画像に対する解析を続け、広視野画像から正面顔を検出する(ステップ１２)。
この処理は、具体的には、図９のフロー図に示す手順で行われる。即ち、広視野画像から、ステップ７１と同様の手順で顔矩形を検出し（ステップ１２１）、ステップ７２と同様の手順で肌色領域を検出する(ステップ１２２)。
このとき、人物の顔は、広視野画像の中央付近に位置している場合もあれば、図１１に示すように、広視野画像の境界付近に位置している場合もある。人物の顔が広視野画像の中央付近に位置している場合は、その人物がロボットを見詰めていると、ステップ７３、ステップ７４で説明したように、顔矩形の水平方向の中心位置と肌色領域の水平方向の中心位置との差分は小さくなる。
【００３６】
しかし、人物の顔が広視野画像の境界付近に位置していると、その人物がロボットを見詰めていても、顔矩形の水平方向の中心位置と肌色領域の水平方向の中心位置との差分値は大きい。そして、この差分値の大きさは、人物の顔が広視野画像の境界に近付く程、増大する。
そこで、図１１（ａ）（ｂ）に示すように、広視野カメラ５３の中心を“ｏ”、肌色領域の中心位置とｏとを結ぶ線（点線）を肌色領域の代表線として、ｏを通る広視野画像の中心線から測った代表線（点線）までの角度をαと規定し、また、顔矩形の中心位置（鼻の位置）とｏとを結ぶ線（実線）と、代表線（点線）との間の角度（絶対角度）をβと規定し、実験に基づいて、正面顔と看做せるβの閾値をαに応じて設定した。
図１２（ａ）は、その結果を示している。ここで、βは、代表線の左方向にずれる角度をβleft、代表線の右方向にずれる角度をβrightと表示している。また、図１２（ｂ）は、図１２（ａ）の結果をグラフに表している。
【００３７】
図９のフロー図に戻り、広視野画像から、ｏを通る広視野画像の中心線から測った代表線（点線）までの角度αを算出し（ステップ１２３）、また、顔矩形の中心位置とｏとを結ぶ線（実線）と、代表線（点線）との間の角度βを算出し（ステップ１２４）、βが、図１２に規定する、αに依存した閾値（βleft，βright）未満であるか否かを判定する（ステップ１３５）。閾値未満であれば、正面顔と識別し(ステップ１２６)、閾値以上であれば、正面顔では無いと識別する（ステップ１２７）。
【００３８】
図４のフロー図に戻り、制御部６４は、広視野画像から正面顔が継続して検出されている時間を計測し、その時間が予め設定された所定時間を超えたか否かを判定する（ステップ１３）。
ロボットを見詰める時間が所定時間を超えた場合(ステップ１３でＹＥＳの場合)、或いは、ロボットに触れた人が居た場合（ステップ１１でＹＥＳの場合）に、頭部制御手段６１は、頭部５２をその人の方向に回転し、その位置で少し停止した後、元の位置に戻し(ステップ１４)、実行中のサービスを再開する(ステップ１０)。
このロボットの動作は、サービス要求に気付いたこと、しかし、現在は他の人へのサービスを実施中であるため、直ぐには要求に応じられないこと、を相手に伝えることができる。この場合、ロボットは、このサービス要求を記憶し、実施中のサービスが終了したときに、記憶したサービス要求に応える。
【００３９】
このように、このコミュニケーションロボットに対して、依頼者は、極めて簡単な動作で、且つ、効率的に、コミュニケーションを図ることができる。
なお、ここでは、広視野カメラ５３として３台のビデオカメラで構成されたカメラを使用したが、広い視野の撮影が可能なカメラであれば、どのようなものでも使用できる。
また、ここでは、見回り動作の過程における正面顔の検出を眼カメラで行う場合について説明したが、眼カメラを使用せずに、広視野カメラ５３の画像から行うようにしても良い。この場合の正面顔の検出方法は、ステップ１２で説明した方法と同じであり、回転速度が低減した頭部の顔前方の画像領域から正面顔を検出する。この場合は、正面顔の検出が、人の方向への頭部の回転を待たずに開始できると言う利点がある。
また、ここでは、介護ロボットについて説明したが、本発明は、それだけに限るものでは無く、ミュージアムでのガイドロボットや、食事の注文を受付けるウェーターロボット等、不特定多数を対象にコミュニケーションを図るロボットに対して適用することができる。
【産業上の利用可能性】
【００４０】
本発明は、介護ロボット、ガイドロボット、店員ロボット、ウェーターロボット等のサービスロボットに広く適用することができ、依頼者が依頼し易いロボットを実現することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施形態に係るコミュニケーションロボットの機能ブロックを示す図
【図２】本発明の実施形態に係るコミュニケーションロボットのハードウエア構成を示す図
【図３】本発明の実施形態に係るコミュニケーションロボットの外形を示す図
【図４】本発明の実施形態に係るコミュニケーションロボットの動作を示すフロー図
【図５】図４のステップ１の動作手順を示すフロー図
【図６】図４のステップ３の動作手順を示すフロー図
【図７】図４のステップ７の動作手順を示すフロー図
【図８】図４のステップ８の動作手順を示すフロー図
【図９】図４のステップ１２の動作手順を示すフロー図
【図１０】顔矩形と肌色領域との関係を説明する図
【図１１】広視野画像での肌色領域代表線と顔矩形中心線との関係を示す図
【図１２】広視野画像での正面顔の閾値を示す図
【図１３】従来のロボットのハードウエア構成を示す図
【図１４】介護現場での介護者の振る舞いを示す図
【符号の説明】
【００４２】
１１ 眼球モータ
１２ 眼球モータ
１３ 腕モータ
１４ 腕モータ
１５ 頭部モータ
１６ 腰モータ
１７ 車輪モータ
１８ 超音波距離センサ
１９ 全方位カメラ
２０ 眼カメラ
２１ タッチセンサ
２２ 衝突センサ
２３ スピーカ
２４ マイク
２５ ＣＰＵ
２６ メモリ
２７ 通信ＬＡＮボード
２８ 無線通信装置
２９ モータ制御ボード
３０ センサ入力／出力ボード
３１ 音声入力／出力ボード
３３ 無線タグ読取装置
４０ 画像処理部
４１ 肌色検出部
４２ フレーム差分算出部
４３ 顔検出部
５２ 頭部
５３ 広視野カメラ
５４ 胴部
５５ 腕
７０ 顔矩形
７１ 肌色領域境界線
７２ 顔矩形中心線
【技術分野】
【０００１】
本発明は、人とのコミュニケーションを図るコミュニケーションロボットと、その動作方法に関し、特に、人がサービスを依頼し易いロボットの実現を図るものである。
【背景技術】
【０００２】
コミュニケーションロボットは、身振り手振りや音声等を用いて人とのコミュニケーションを図る機能を備えている。
例えば、下記特許文献１に記載されたコミュニケーションロボットは、首（頭部）や眼球を回転させてロボットの視線を移動し、視線の演出によりロボットの意図を伝達するように構成されている。
【０００３】
図１３は、このコミュニケーションロボットの構成をブロック図で示している。このロボットは、外形的に胴体と頭部とを有しており、腕が回動可能に胴体で支持され、頭部に眼や口（スピーカ２３）が配置されている。眼は眼球モータ１１、１２で回転し、腕は腕モータ１３，１４で回転する。頭部は、頭部モータ１５の駆動により胴体に対して首を振るように回転する。胴体は、腰モータ１６で向きを変え、また、車輪モータ１７により前後左右に移動する。また、近隣物との距離を測定する超音波距離センサ１８や衝突を感知する衝突センサ２２、全方位カメラ１９、マイク２４等が胴体に配置され、眼カメラ２０が頭部に配置されている。
【０００４】
また、制御系として、ＣＰＵ２５と、制御プログラムや各種データが記憶されるメモリ２６と、ＣＰＵ２５の指示に基づいて各モータを制御するモータ制御ボード２９と、各センサの情報をＣＰＵ２５に送るセンサ入力／出力ボード３０と、ＣＰＵ２５から与えられた合成音声をスピーカ２３から出力し、マイク２４から拾った音をＣＰＵ２５に送る音声入力／出力ボード３１と、外部のコンピュータと通信を行う無線通信装置２８と、ＣＰＵ２５から送られた情報を無線通信装置２８を通じて外部コンピュータに送り、外部コンピュータからの受信情報をＣＰＵ２５に送る通信ＬＡＮボード２７とを備えている。
このコミュニケーションロボットは、さらに、人物に付された無線タグの識別情報を取得する無線タグ読取装置３２を備えており、無線タグの情報から対象人物が近くに来たことを認識すると、眼カメラの画像から対象人物の位置を検出し、頭部の回転や視線の移動によりロボットの意図を対象人物に伝達する。
【０００５】
しかし、不特定の人を対象にサービスを提供するサービスロボットの場合は、サービスを求めている人とロボットとを結びつけることが先ず必要になる。人間同士では、サービスの必要な人がサービス提供者を特に声で呼ばなくても、コミュニケーションが巧く始まる場合が多い。
このようなコミュニケーション開始能力をロボットにも持たせるため、本発明者等は、先に、人とロボットとのアイコンタクトでコミュニケーションを開始する方法を下記非特許文献１で提案している。
この方法では、ロボットに取り付けられたカメラ画像から、ロボットの方を向いている人間を検出したとき、ロボットが、その人物の方を向き、それでもさらにロボットの方を見続けていた場合に、人間とのアイコンタクトが成立したと判断し、そこで人間が手を挙げると、ロボットが人間の方に近付き、コミュニケーションが開始される。
【特許文献１】特開２００７−１３０６９１号公報
【非特許文献１】D. Miyauchi, A. Sakurai, A. Nakamura, and Y. Kuno, Bidirectional eye contact for human-robot communication, IEICE Transactions on Information and Systems, Vol.E88-D, No.11, pp.2509-2516, 2005
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、先に提案した方法では、ロボットを呼びたいと思っても、ロボットが自分に対してサービスできる状態なのかどうかが人間には分からない、と言う問題点がある。この場合、ロボットの状態は分からないが、サービスできる状態だと仮定して、ロボットを呼ぼうとすると、人は、アイコンタクトを果たすために、ずっとロボットの方を見続けていなければならない。また、少し、見続けてロボットが反応しないときは、サービスできる状態ではないと思って、ロボットの方を見るのを止めてしまうかもしれない。実際は、もう少し見続ければ、ロボットの人間検出処理が完了したかもしれないが、それは人間には分からない。
【０００７】
図１４は、高齢者介護施設において、食事中の高齢者の中に手助け（サービス）を求めている人がいないかを見守っている介護者Ｆの様子を示している。
コミュニケーションロボットが、こうした介護の現場で介護ロボットとして活躍するためには、先ず、手助けを希望する高齢者が簡単にコミュニケーションを取れる存在でなければならない。
【０００８】
本発明は、こうした事情を考慮して創案したものであり、依頼者が依頼し易いコミュニケーションロボットを提供し、また、その動作方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明のコミュニケーションロボットは、顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットであって、前記頭部に設けられた眼に相当する眼カメラと、前記胴部に設けられた広域を撮影する広視野カメラと、前記眼カメラ及び広視野カメラの画像を処理する画像処理手段と、を備え、前記画像処理手段は、前記広視野カメラの画像から人物を検出するとともに、前記頭部の回転速度が所定値以下のときに前記眼カメラの画像からロボットに顔を向ける正面顔の人物を検出し、前記頭部制御手段は、前記胴部に対して前記頭部を所定速度で回転させる見回り動作を行いながら、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を前記所定値以下に低減させ、前記合図動作制御手段は、前記画像処理手段により前記眼カメラの画像から前記正面顔の人物が予め設定された時間を超えて検出されたとき、当該人物に合図を送ることを特徴とする。
このコミュニケーションロボットは、頭部を回転し（首を振り）、周囲を観察しているような所作（見回り動作）を行う。そして、人が居る方向で頭部の回転速度を落とし、或いは、一時停止する。この見回り動作は、依頼の受入れが可能である状態を表すもので、観察自体は見せ掛けであり、人物の検出は、見回り動作の開始前に、胴部に設けられた広視野カメラの画像から行われ、人物の検出位置で頭部の回転速度を緩めるように制御される。このとき、その検出位置の人物がロボットを見続けていると、ロボットは、アイコンタクトが成立したと判断して合図を送る。そのため、サービスを求める人は、ロボットが見回り動作を行っていれば、サービス可能であると知ることができ、ロボットが自分の方を向いたときにロボットを見ていれば、ロボットにサービスを依頼できる。
【００１０】
また、本発明のコミュニケーションロボットは、顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットであって、前記胴部に設けられた広域を撮影する広視野カメラと、前記広視野カメラの画像を処理する画像処理手段と、を備え、前記画像処理手段は、前記広視野カメラの画像から人物を検出するとともに、前記広視野カメラの画像からロボットに顔を向ける正面顔の人物を検出し、前記頭部制御手段は、前記胴部に対して前記頭部を所定速度で回転させる見回り動作を行いながら、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させ、前記合図動作制御手段は、前記画像処理手段により、前記広視野カメラの画像に含まれる、回転速度が前記所定値以下に低減した前記頭部の顔前方の画像領域から、前記正面顔の人物が予め設定された時間を超えて検出されたとき、当該人物に合図を送ることを特徴とする。
このコミュニケーションロボットは、見回り動作中にチェックすべき方向の検出や、正面顔の検出を広視野カメラの画像だけで行うことができる。この場合、正面顔の検出が、人の方向への頭部の回転を待たずに開始できると言う利点がある。
【００１１】
また、本発明のコミュニケーションロボットでは、前記合図動作制御手段が、前記正面顔の人物に対する前記合図として、当該人物に前記胴部の正面を向ける動作、当該人物に声を掛ける動作、当該人物に手を挙げる動作の中の一または二以上の動作を行うことが可能である。
この合図により、サービスを求める人は、依頼要求の受入れを確認することができる。
【００１２】
また、本発明のコミュニケーションロボットでは、前記画像処理手段は、前記広視野カメラの画像から肌色領域を検出し、前記肌色領域のフレーム間差分の絶対値の総和が閾値を超えるとき、前記肌色領域を人物として検出するようにしている。
見回り動作の途中でチェックする人物の検出は、厳密さが要求されないため、肌色領域の位置を人物と推定している。ただ、肌色の壁等、全く動かないものは除外している。
【００１３】
また、本発明のコミュニケーションロボットでは、眼カメラの画像から正面顔を検出する場合に、前記画像処理手段が、前記眼カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記肌色領域における前記顔矩形の中心線の位置に基づいて前記正面顔を検出するようにしている。
顔矩形の中心線の位置は鼻の位置に相当し、この鼻が肌色領域の中央にあるか否かで正面顔かどうかを簡単に識別することができる。
【００１４】
また、本発明のコミュニケーションロボットでは、広視野カメラの画像から正面顔を検出する場合に、前記画像処理手段が、前記広視野カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記広視野カメラの画像の中心線の方向との角度差αを算出し、さらに、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記顔矩形の中心線の方向との角度差βを算出し、前記角度差αによって決まる閾値と前記角度差βとを比較して前記正面顔を検出するようにしている。
広視野カメラの画像から正面顔を検出する場合は、その顔が広視野カメラの画像の境界付近に位置していると、ロボットの方を見ていても斜めを向いた顔に写る。そのため、顔が写る位置に応じて、正面顔の判定に用いる閾値を変える必要がある。
【００１５】
また、本発明のコミュニケーションロボットでは、前記画像処理手段は、前記広視野カメラの画像から、さらに、フレーム間差分が閾値を超える変動領域を検出し、前記頭部制御手段は、前記画像処理手段が前記変動領域を検出したとき、前記見回り動作を中断して、所定時間の間、前記変動領域が検出された方向に前記頭部の顔を向けるようにしている。
このロボットは、ドアが開いたり、人が立ったりすると、見回り動作を中断して、そちらの方向に頭部を向ける。そのため、ドアから入室した人や立ち上がった人は、自分の方に顔を向けたロボットを見ることで、ロボットにサービスを依頼できる。また、このような動作により、周囲の人には、ロボットが周りに気を配って見回っているということが伝えられる。
【００１６】
また、本発明のコミュニケーションロボットでは、前記合図動作制御手段から合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記頭部制御手段は、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開するようにしている。
このロボットの動作で、コンタクトを求めた他の人物は、ロボットが要求を認識したこと、現在実施中のコミュニケーションが終了すれば、要求に応じてくれることを知ることができる。
【００１７】
また、本発明のコミュニケーションロボットでは、前記コンタクトを要求する他の人物が前記画像処理手段により検出され、前記画像処理手段は、前記広視野カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記広視野カメラの画像の中心線の方向との角度差αを算出し、さらに、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記顔矩形の中心線の方向との角度差βを算出し、前記角度差αによって決まる閾値と前記角度差βとを比較して前記コンタクトを要求する他の人物の正面画を検出するようにしている。
コミュニケーションを実施中であっても、広視野カメラの画像から正面顔を検出することで、コンタクトを要求する他の人物を検出することができる。
【００１８】
また、本発明のコミュニケーションロボットでは、前記コンタクトを要求する他の人物がロボットに触れたとき、ロボットに装着されたタッチセンサにより検出されるようにしても良い。
ロボットが、現在、他の人とコミュニケーションを実施中であっても、ロボットに触れることで、要求を認識させることができる。
【００１９】
また、本発明の動作方法は、顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットの動作方法であって、前記胴部に設けられた広視野カメラの画像から人物を検出するステップと、前記胴部に対して前記頭部を所定速度で回転する見回り動作を行いながら、前記人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させるステップと、前記頭部の回転速度が前記所定値以下に低減したとき、前記頭部に設けられた眼カメラの画像、または、前記広視野カメラの画像に含まれる前記頭部の顔前方の画像領域からロボットに顔を向ける正面顔の人物を検出するステップと、前記正面顔の人物が予め設定された時間を超えてロボットに顔を向けているとき、当該人物に合図を送るステップと、を備えることを特徴とする。
このコミュニケーションロボットの動作により、サービスを求める人は、ロボットが見回り動作を行っていれば、サービス可能であると知ることができ、ロボットが自分の方を向いたときにロボットを見ていれば、ロボットにサービスを依頼できる。
【００２０】
また、本発明のコミュニケーションロボットの動作方法では、さらに、前記広視野カメラの画像からフレーム間差分が閾値を超える変動領域を検出するステップを備え、前記変動領域が検出されたとき、前記見回り動作を中断して、所定時間の間、前記変動領域が検出された方向に前記頭部の顔を向けるようにしている。
このコミュニケーションロボットの動作により、ドアから入室した人や立ち上がった人は、自分の方に顔を向けたロボットを見ることで、ロボットにサービスを依頼できる。また、このような動作により、周囲の人には、ロボットが周りに気を配って見回っているということが伝えられる。
【００２１】
また、本発明のコミュニケーションロボットの動作方法では、前記合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開するようにしている。
このロボットの動作により、コンタクトを求めた他の人物は、ロボットが要求を認識したこと、そして、現在実施中のコミュニケーションが終了すれば、要求に応じてくれることを知ることができる。
【発明の効果】
【００２２】
本発明により、コミュニケーションロボットにサービスを依頼する依頼者は、ロボットの動作から、そのロボットが依頼を受け入れ可能な状態にあるか否かを簡単に知ることができる。また、依頼者は、ロボットの動作から、ロボットの頭部が自分の方に向く時期を予測し、その時期に合わせてロボットを見ることでサービスを依頼できるため、ロボットへの依頼の伝達が容易である。
従って、依頼者は、適切なタイミングで、且つ、極めて容易にロボットに依頼を伝えることができる。
【発明を実施するための最良の形態】
【００２３】
本発明のコミュニケーションロボットの実施形態について、図面を基に説明する。このロボットは、高齢者介護施設において、手助け（サービス）を必要とする高齢者との間でコミュニケーションを取る動作を行う。
図１は、本発明のロボットの機能ブロックを示す図、図２は、このロボットのハードウエア構成を示すブロック図、図３は、このロボットの外観を示す図、図４は、ロボットの動作を示すフロー図、図５は、図４のステップ１の動作手順を示すフロー図、図６は、図４のステップ３の動作手順を示すフロー図、図７は、図４のステップ７の動作手順を示すフロー図、図８は、図４のステップ８の動作手順を示すフロー図、また、図９は、図４のステップ１２の動作手順を示すフロー図である。
【００２４】
このロボットは、介護ロボットであり、図３に示すように、眼に相当する眼カメラ２０が設けられた頭部５２と、広域を撮影する広視野カメラ５３が設けられた胴部５４と、胴部５４に回動可能に支持された腕５５とを有している。眼カメラ２０は、ビデオカメラで構成され、また、広視野カメラ５３は、向きを変えた３台のビデオカメラで１８０°の範囲が撮影できるように構成されている。
このロボットは、図２に示すように、その内部に、ＣＰＵ２５と、制御プログラムや各種データが記憶されるメモリ２６と、ＣＰＵ２５の指示に基づいて各モータを制御するモータ制御ボード２９と、各センサの情報をＣＰＵ２５に送るセンサ入力／出力ボード３０と、ＣＰＵ２５から与えられた合成音声をスピーカ２３から出力し、マイク２４から拾った音をＣＰＵ２５に送る音声入力／出力ボード３１と、外部のコンピュータと通信を行う無線通信装置２８と、ＣＰＵ２５から送られた情報を無線通信装置２８を通じて外部コンピュータに送り、外部コンピュータからの受信情報をＣＰＵ２５に送る通信ＬＡＮボード２７とを備えている。
【００２５】
また、モータ制御ボード２９は、腕５５を回転する腕モータ１３、１４、頭部５２を回転する頭部モータ１５、胴体５４を回転する腰モータ１６、及び、胴体５４を前後左右に移動する車輪モータ１７の駆動を制御する。
また、センサ入力／出力ボード３０は、超音波距離センサ１８、広視野カメラ５３、眼カメラ２０、タッチセンサ２１及び衝突センサ２２の情報を取得して配信する。
また、このロボットは、広視野カメラ５３及び眼カメラ２０の画像を処理する画像処理部４０を有している。この画像処理部４０は、画像から肌色領域を検出する肌色検出部４１と、ビデオカメラのフレーム間の差分を算出するフレーム差分算出部４２と、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出する顔検出部４３とを有している。
なお、この画像処理部４０は、ＤＳＰ（digital signal processor）で構成することができ、或いは、制御プログラムに従って演算処理を行うＣＰＵ２５の機能として実現することができる。また、外部コンピュータの側で画像処理部４０を保持し、無線通信装置２８を通じて送られた画像データを処理して、その処理結果をロボットに渡すようにすることもできる。
【００２６】
このロボットは、図１に示すように、本発明に関わる機能ブロックとして、胴部５４の上の頭部５２を、首を振るように回転させる頭部制御手段６１と、眼カメラ２０及び広視野カメラ５３の画像処理を行う画像処理手段６２と、手５５を挙げたり、スピーカ２３から音声を発したり、胴部５４を依頼者の方向に向けたりして依頼者に合図を送る合図動作制御手段６３と、画像処理手段６２の処理結果やタッチセンサ２１の検知情報に基づいて各部を制御する制御部６４とを備えている。
【００２７】
図４のフロー図は、このロボットの動作手順を示している。
先ず、画像処理手段６２が、広視野カメラ５３の広視野画像から、人物の肌色領域を検出する（ステップ１）。
この処理は、具体的には、図５のフロー図に示す手順で行われる。即ち、広視野画像から、ＲＧＢカラースペース（Ｒ、Ｇ、Ｂ各８ビット）での値が、
Ｒ＞９５、Ｇ＞４０、Ｂ＞２０
Ｍａｘ｛Ｒ．Ｇ．Ｂ｝−Ｍｉｎ｛Ｒ．Ｇ．Ｂ｝＞１５
｜Ｒ−Ｇ｜＞１５
Ｒ＞Ｇ、Ｒ＞Ｂ
の条件を満たす肌色の画素の範囲を抽出し（ステップ１１）、この肌色部分のフレーム間差分を算出して、フレーム間差分の絶対値の総和が閾値を超えるか否かを識別する（ステップ１２）。フレーム間差分が閾値以下の肌色部分は、肌色の壁や机等が抽出されたものとして排除し(ステップ１４)、フレーム間差分の絶対値の総和が閾値を超える肌色部分を人物の顔の肌色領域として検出する(ステップ１３)。
なお、画像処理手段６２は、広視野画像からの肌色領域の検出を絶えず繰り返す。
【００２８】
次に、図４に戻り、頭部制御手段６１が、頭部５２を一定の回転速度で回転する見回り動作を開始する(ステップ２)。
この見回り動作の間も、画像処理手段６２は、広視野カメラ５３の広視野画像から、フレーム間差分が大きい領域を検出する（ステップ３）。
これは、立ち上がった人物やドアから入室した人物の検出を目的とするものであり、具体的には、図６のフロー図に示す手順で行われる。即ち、広視野画像のフレーム間差分を算出し（ステップ３１）、差分値が予め定めた閾値を超える領域を算出する（ステップ３２）。次いで、その領域の面積が設定値を超えているか否かを判定し(ステップ３３)、設定値を超えている場合に差分大の領域として検出する(ステップ３４)。その領域の面積が設定値を超えていない場合は、無視する（ステップ３５）。
差分大の領域を検出した場合は、図４に示すように、頭部制御手段６１が、見回り動作を中断して、頭部５２を差分大の領域の方向に向け(ステップ６)、後述するステップ７の処理が行われる。
【００２９】
また、見回り動作を続ける頭部制御手段６１は、頭部５２がステップ１で検出された肌色領域の方向を向いたときに（ステップ４）、頭部５２の回転速度を落とし、或いは、一時停止する（ステップ５）。
頭部５２の回転が停止または緩やかになると、画像処理手段６２は、頭部５２に搭載された眼カメラ２０の画像から、ロボットを直視している顔（正面顔）を検出する（ステップ７）。
この処理は、具体的には、図７のフロー図に示す手順で行われる。即ち、先ず、眼カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出する（ステップ７１）。顔領域の検出に用いる識別器として多くのものが開発されているが、ここでは、“ＯｐｅｎＣＶ Ｈａａｒ Ｃｌａｓｓｉｆｉｅｒ”（G. Bradsky, A. kaehler, V. Pisarevskky, “Learning Based Computer Vision with Intel’s Open Source Computer Vision Library,” Intel Technology Journal, Vol.09, 2005）を正面顔を検出するように学習させたものを用いている。
【００３０】
図１０（ａ）に示す矩形７０は、この識別器を用いて検出した顔矩形を示している。この顔矩形７０の水平方向の中心線は、鼻の位置に一致している。しかし、顔矩形７０の範囲内には、顔以外の領域も含まれ、また、顔矩形７０の範囲からはみ出る顔の部分も存在する。
次に、この眼カメラの画像を水平方向にスキャンして肌色領域を検出する（ステップ７２）。肌色領域の検出条件は、ステップ１１の場合と同じである。
図１０（ｂ）（ｃ）（ｄ）は、それぞれ、カメラから見て多少右側を向いた顔、正面を向いた顔、カメラから見て多少左側を向いた顔の画像を示しており、各画像には、顔矩形７０と、顔矩形７０の水平方向の中心線７２と、肌色領域の境界線７１とを書き加えている。顔矩形７０の水平方向の中心線７２は、鼻の位置に一致しており、顔が右側を向いているとき（図１０（ｂ））、この中心線７２は、肌色領域の水平方向の中心より右側にずれている。逆に、顔が左側を向いているとき（図１０（ｄ））には、この中心線７２は、肌色領域の水平方向の中心より左側にずれている。顔が正面を向いているとき（図１０（ｃ））は、この中心線７２が、肌色領域の水平方向の中心に位置している。
【００３１】
そこで、眼カメラの画像から、顔矩形７０の水平方向の中心位置（中心線７２の位置）と肌色領域(境界線７１の間の領域)の水平方向の中心位置との差分を算出し(ステップ７３)、この差分値と予め設定した閾値とを比較する(ステップ７４)。差分値が閾値未満であれば、正面顔と決定し（ステップ７５）、差分値が閾値を超えていれば、正面顔ではないと決定する（ステップ７６）。
正面顔が検出されなければ、頭部制御手段６１は、見回り動作を続ける（ステップ７でＮＯの場合）。
【００３２】
正面顔が検出されると、制御部６４は、その人物とのアイコンタクトが成立したか否かを判定する(ステップ８)。
この処理は、具体的には、図８のフロー図に示す手順で行われる。即ち、正面顔が継続して検出されている時間を計測し(ステップ８１)、計測時間が予め設定された閾値を超えた場合に（ステップ８２でＹＥＳの場合）、アイコンタクトが成立したと判定される(ステップ８３)。また、計測時間が閾値を超えなければ、アイコンタクト不成立と判定され（ステップ８４）、頭部制御手段６１は、見回り動作を再開する（ステップ２）。
アイコンタクトが成立すると、合図動作制御手段６３は、胴部５４をアイコンタクトの相手方に向け、手５５を挙げたり、スピーカ２３から「何か御用ですか」と発声して合図を送る（ステップ９）。
次いで、ロボットは、車輪５６を使って相手に近付き、サービスを開始する（ステップ１０）。
なお、画像処理手段６２は、広視野画像からの肌色領域の検出を繰り返しており、人の位置が変わった場合は、頭部の回転速度を緩める方向もそれに応じて変化する。
【００３３】
ロボットがこうした動作を行うため、サービスを希望する人は、ロボットの見回り動作を見て、ロボットがサービスの依頼に応じる状態であることを認識できる。
また、サービスの希望者は、ロボットの見回り動作から、ロボットが自分の方に頭を向ける時期を予測することができ、その時期に合わせてロボットを見詰めれば、サービスを受けることができる。そのため、ロボットに対して効率的に依頼を伝えることが可能である。
また、椅子から立ち上がった高齢者や、ドアから入室した高齢者等に対して、手助けが必要になる場合がある。こうした動きを伴う被介護者への手助けは、椅子に静かに座っている高齢者への手助けに比べて、迅速性が要求される。このロボットは、被介護者等の大きな動きを検出すると、直ぐにその方向に頭部を回転するので、手助けの希望者は、このときにロボットを見詰めれば、迅速な手助けが受けられる。
【００３４】
次に、ロボットがサービスを開始した後に、他のサービス希望者が現れた場合のロボットの動作について説明する。
図４に示すように、ロボットがサービスを開始(ステップ１０)した後、他のサービス希望者がロボットに触れると、制御部６４は、それをタッチセンサ２１によって検出し(ステップ１１)、後述するステップ１４の動作を行う。
【００３５】
また、画像処理手段６２は、サービス実行中でも、広視野カメラ５３の広視野画像に対する解析を続け、広視野画像から正面顔を検出する(ステップ１２)。
この処理は、具体的には、図９のフロー図に示す手順で行われる。即ち、広視野画像から、ステップ７１と同様の手順で顔矩形を検出し（ステップ１２１）、ステップ７２と同様の手順で肌色領域を検出する(ステップ１２２)。
このとき、人物の顔は、広視野画像の中央付近に位置している場合もあれば、図１１に示すように、広視野画像の境界付近に位置している場合もある。人物の顔が広視野画像の中央付近に位置している場合は、その人物がロボットを見詰めていると、ステップ７３、ステップ７４で説明したように、顔矩形の水平方向の中心位置と肌色領域の水平方向の中心位置との差分は小さくなる。
【００３６】
しかし、人物の顔が広視野画像の境界付近に位置していると、その人物がロボットを見詰めていても、顔矩形の水平方向の中心位置と肌色領域の水平方向の中心位置との差分値は大きい。そして、この差分値の大きさは、人物の顔が広視野画像の境界に近付く程、増大する。
そこで、図１１（ａ）（ｂ）に示すように、広視野カメラ５３の中心を“ｏ”、肌色領域の中心位置とｏとを結ぶ線（点線）を肌色領域の代表線として、ｏを通る広視野画像の中心線から測った代表線（点線）までの角度をαと規定し、また、顔矩形の中心位置（鼻の位置）とｏとを結ぶ線（実線）と、代表線（点線）との間の角度（絶対角度）をβと規定し、実験に基づいて、正面顔と看做せるβの閾値をαに応じて設定した。
図１２（ａ）は、その結果を示している。ここで、βは、代表線の左方向にずれる角度をβleft、代表線の右方向にずれる角度をβrightと表示している。また、図１２（ｂ）は、図１２（ａ）の結果をグラフに表している。
【００３７】
図９のフロー図に戻り、広視野画像から、ｏを通る広視野画像の中心線から測った代表線（点線）までの角度αを算出し（ステップ１２３）、また、顔矩形の中心位置とｏとを結ぶ線（実線）と、代表線（点線）との間の角度βを算出し（ステップ１２４）、βが、図１２に規定する、αに依存した閾値（βleft，βright）未満であるか否かを判定する（ステップ１３５）。閾値未満であれば、正面顔と識別し(ステップ１２６)、閾値以上であれば、正面顔では無いと識別する（ステップ１２７）。
【００３８】
図４のフロー図に戻り、制御部６４は、広視野画像から正面顔が継続して検出されている時間を計測し、その時間が予め設定された所定時間を超えたか否かを判定する（ステップ１３）。
ロボットを見詰める時間が所定時間を超えた場合(ステップ１３でＹＥＳの場合)、或いは、ロボットに触れた人が居た場合（ステップ１１でＹＥＳの場合）に、頭部制御手段６１は、頭部５２をその人の方向に回転し、その位置で少し停止した後、元の位置に戻し(ステップ１４)、実行中のサービスを再開する(ステップ１０)。
このロボットの動作は、サービス要求に気付いたこと、しかし、現在は他の人へのサービスを実施中であるため、直ぐには要求に応じられないこと、を相手に伝えることができる。この場合、ロボットは、このサービス要求を記憶し、実施中のサービスが終了したときに、記憶したサービス要求に応える。
【００３９】
このように、このコミュニケーションロボットに対して、依頼者は、極めて簡単な動作で、且つ、効率的に、コミュニケーションを図ることができる。
なお、ここでは、広視野カメラ５３として３台のビデオカメラで構成されたカメラを使用したが、広い視野の撮影が可能なカメラであれば、どのようなものでも使用できる。
また、ここでは、見回り動作の過程における正面顔の検出を眼カメラで行う場合について説明したが、眼カメラを使用せずに、広視野カメラ５３の画像から行うようにしても良い。この場合の正面顔の検出方法は、ステップ１２で説明した方法と同じであり、回転速度が低減した頭部の顔前方の画像領域から正面顔を検出する。この場合は、正面顔の検出が、人の方向への頭部の回転を待たずに開始できると言う利点がある。
また、ここでは、介護ロボットについて説明したが、本発明は、それだけに限るものでは無く、ミュージアムでのガイドロボットや、食事の注文を受付けるウェーターロボット等、不特定多数を対象にコミュニケーションを図るロボットに対して適用することができる。
【産業上の利用可能性】
【００４０】
本発明は、介護ロボット、ガイドロボット、店員ロボット、ウェーターロボット等のサービスロボットに広く適用することができ、依頼者が依頼し易いロボットを実現することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施形態に係るコミュニケーションロボットの機能ブロックを示す図
【図２】本発明の実施形態に係るコミュニケーションロボットのハードウエア構成を示す図
【図３】本発明の実施形態に係るコミュニケーションロボットの外形を示す図
【図４】本発明の実施形態に係るコミュニケーションロボットの動作を示すフロー図
【図５】図４のステップ１の動作手順を示すフロー図
【図６】図４のステップ３の動作手順を示すフロー図
【図７】図４のステップ７の動作手順を示すフロー図
【図８】図４のステップ８の動作手順を示すフロー図
【図９】図４のステップ１２の動作手順を示すフロー図
【図１０】顔矩形と肌色領域との関係を説明する図
【図１１】広視野画像での肌色領域代表線と顔矩形中心線との関係を示す図
【図１２】広視野画像での正面顔の閾値を示す図
【図１３】従来のロボットのハードウエア構成を示す図
【図１４】介護現場での介護者の振る舞いを示す図
【符号の説明】
【００４２】
１１ 眼球モータ
１２ 眼球モータ
１３ 腕モータ
１４ 腕モータ
１５ 頭部モータ
１６ 腰モータ
１７ 車輪モータ
１８ 超音波距離センサ
１９ 全方位カメラ
２０ 眼カメラ
２１ タッチセンサ
２２ 衝突センサ
２３ スピーカ
２４ マイク
２５ ＣＰＵ
２６ メモリ
２７ 通信ＬＡＮボード
２８ 無線通信装置
２９ モータ制御ボード
３０ センサ入力／出力ボード
３１ 音声入力／出力ボード
３３ 無線タグ読取装置
４０ 画像処理部
４１ 肌色検出部
４２ フレーム差分算出部
４３ 顔検出部
５２ 頭部
５３ 広視野カメラ
５４ 胴部
５５ 腕
７０ 顔矩形
７１ 肌色領域境界線
７２ 顔矩形中心線
【特許請求の範囲】
【請求項１】
顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットであって、
前記頭部に設けられた眼に相当する眼カメラと、
前記胴部に設けられた広域を撮影する広視野カメラと、
前記眼カメラ及び広視野カメラの画像を処理する画像処理手段と、
を備え、
前記画像処理手段は、前記広視野カメラの画像から人物を検出するとともに、前記頭部の回転速度が所定値以下のときに前記眼カメラの画像からロボットに顔を向ける正面顔の人物を検出し、
前記頭部制御手段は、前記胴部に対して前記頭部を所定速度で回転させる見回り動作を行いながら、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を前記所定値以下に低減させ、
前記合図動作制御手段は、前記画像処理手段により前記眼カメラの画像から前記正面顔の人物が予め設定された時間を超えて検出されたとき、当該人物に合図を送ることを特徴とするコミュニケーションロボット。
【請求項２】
顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットであって、
前記胴部に設けられた広域を撮影する広視野カメラと、
前記広視野カメラの画像を処理する画像処理手段と、
を備え、
前記画像処理手段は、前記広視野カメラの画像から人物を検出するとともに、前記広視野カメラの画像からロボットに顔を向ける正面顔の人物を検出し、
前記頭部制御手段は、前記胴部に対して前記頭部を所定速度で回転させる見回り動作を行いながら、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させ、
前記合図動作制御手段は、前記画像処理手段により、前記広視野カメラの画像に含まれる、回転速度が前記所定値以下に低減した前記頭部の顔前方の画像領域から、前記正面顔の人物が予め設定された時間を超えて検出されたとき、当該人物に合図を送ることを特徴とするコミュニケーションロボット。
【請求項３】
請求項１または２に記載のコミュニケーションロボットであって、前記合図動作制御手段は、前記正面顔の人物に対する前記合図として、当該人物に前記胴部の正面を向ける動作、当該人物に声を掛ける動作、当該人物に手を挙げる動作の中の一または二以上の動作を行うことを特徴とするコミュニケーションロボット。
【請求項４】
請求項１または２に記載のコミュニケーションロボットであって、前記画像処理手段は、前記広視野カメラの画像から肌色領域を検出し、前記肌色領域のフレーム間差分の絶対値の総和が閾値を超えるとき、前記肌色領域を人物として検出することを特徴とするコミュニケーションロボット。
【請求項５】
請求項１に記載のコミュニケーションロボットであって、前記画像処理手段は、前記眼カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記肌色領域における前記顔矩形の中心線の位置に基づいて前記正面顔を検出することを特徴とするコミュニケーションロボット。
【請求項６】
請求項２に記載のコミュニケーションロボットであって、前記画像処理手段は、前記広視野カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記広視野カメラの画像の中心線の方向との角度差αを算出し、さらに、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記顔矩形の中心線の方向との角度差βを算出し、前記角度差αによって決まる閾値と前記角度差βとを比較して前記正面顔を検出することを特徴とするコミュニケーションロボット。
【請求項７】
請求項１または２に記載のコミュニケーションロボットであって、前記画像処理手段は、前記広視野カメラの画像から、さらに、フレーム間差分が閾値を超える変動領域を検出し、前記頭部制御手段は、前記画像処理手段が前記変動領域を検出したとき、前記見回り動作を中断して、所定時間の間、前記変動領域が検出された方向に前記頭部の顔を向けることを特徴とするコミュニケーションロボット。
【請求項８】
請求項１または２に記載のコミュニケーションロボットであって、前記合図動作制御手段から合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記頭部制御手段は、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開することを特徴とするコミュニケーションロボット。
【請求項９】
請求項８に記載のコミュニケーションロボットであって、前記コンタクトを要求する他の人物が前記画像処理手段により検出され、前記画像処理手段は、前記広視野カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記広視野カメラの画像の中心線の方向との角度差αを算出し、さらに、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記顔矩形の中心線の方向との角度差βを算出し、前記角度差αによって決まる閾値と前記角度差βとを比較して前記コンタクトを要求する他の人物の正面画を検出することを特徴とするコミュニケーションロボット。
【請求項１０】
請求項８に記載のコミュニケーションロボットであって、前記コンタクトを要求する他の人物がロボットに触れたとき、ロボットに装着されたタッチセンサにより検出されることを特徴とするコミュニケーションロボット。
【請求項１１】
顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットの動作方法であって、
前記胴部に設けられた広視野カメラの画像から人物を検出するステップと、
前記胴部に対して前記頭部を所定速度で回転する見回り動作を行いながら、前記人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させるステップと、
前記頭部の回転速度が前記所定値以下に低減したとき、前記頭部に設けられた眼カメラの画像、または、前記広視野カメラの画像に含まれる前記頭部の顔前方の画像領域からロボットに顔を向ける正面顔の人物を検出するステップと、
前記正面顔の人物が予め設定された時間を超えてロボットに顔を向けているとき、当該人物に合図を送るステップと、
を備えることを特徴とするコミュニケーションロボットの動作方法。
【請求項１２】
請求項１１に記載のコミュニケーションロボットの動作方法であって、さらに、前記広視野カメラの画像からフレーム間差分が閾値を超える変動領域を検出するステップを備え、前記変動領域が検出されたとき、前記見回り動作を中断して、所定時間の間、前記変動領域が検出された方向に前記頭部の顔を向けることを特徴とするコミュニケーションロボットの動作方法。
【請求項１３】
請求項１１に記載のコミュニケーションロボットの動作方法であって、前記合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開することを特徴とするコミュニケーションロボットの動作方法。
【請求項１】
顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットであって、
前記頭部に設けられた眼に相当する眼カメラと、
前記胴部に設けられた広域を撮影する広視野カメラと、
前記眼カメラ及び広視野カメラの画像を処理する画像処理手段と、
を備え、
前記画像処理手段は、前記広視野カメラの画像から人物を検出するとともに、前記頭部の回転速度が所定値以下のときに前記眼カメラの画像からロボットに顔を向ける正面顔の人物を検出し、
前記頭部制御手段は、前記胴部に対して前記頭部を所定速度で回転させる見回り動作を行いながら、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を前記所定値以下に低減させ、
前記合図動作制御手段は、前記画像処理手段により前記眼カメラの画像から前記正面顔の人物が予め設定された時間を超えて検出されたとき、当該人物に合図を送ることを特徴とするコミュニケーションロボット。
【請求項２】
顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットであって、
前記胴部に設けられた広域を撮影する広視野カメラと、
前記広視野カメラの画像を処理する画像処理手段と、
を備え、
前記画像処理手段は、前記広視野カメラの画像から人物を検出するとともに、前記広視野カメラの画像からロボットに顔を向ける正面顔の人物を検出し、
前記頭部制御手段は、前記胴部に対して前記頭部を所定速度で回転させる見回り動作を行いながら、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させ、
前記合図動作制御手段は、前記画像処理手段により、前記広視野カメラの画像に含まれる、回転速度が前記所定値以下に低減した前記頭部の顔前方の画像領域から、前記正面顔の人物が予め設定された時間を超えて検出されたとき、当該人物に合図を送ることを特徴とするコミュニケーションロボット。
【請求項３】
請求項１または２に記載のコミュニケーションロボットであって、前記合図動作制御手段は、前記正面顔の人物に対する前記合図として、当該人物に前記胴部の正面を向ける動作、当該人物に声を掛ける動作、当該人物に手を挙げる動作の中の一または二以上の動作を行うことを特徴とするコミュニケーションロボット。
【請求項４】
請求項１または２に記載のコミュニケーションロボットであって、前記画像処理手段は、前記広視野カメラの画像から肌色領域を検出し、前記肌色領域のフレーム間差分の絶対値の総和が閾値を超えるとき、前記肌色領域を人物として検出することを特徴とするコミュニケーションロボット。
【請求項５】
請求項１に記載のコミュニケーションロボットであって、前記画像処理手段は、前記眼カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記肌色領域における前記顔矩形の中心線の位置に基づいて前記正面顔を検出することを特徴とするコミュニケーションロボット。
【請求項６】
請求項２に記載のコミュニケーションロボットであって、前記画像処理手段は、前記広視野カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記広視野カメラの画像の中心線の方向との角度差αを算出し、さらに、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記顔矩形の中心線の方向との角度差βを算出し、前記角度差αによって決まる閾値と前記角度差βとを比較して前記正面顔を検出することを特徴とするコミュニケーションロボット。
【請求項７】
請求項１または２に記載のコミュニケーションロボットであって、前記画像処理手段は、前記広視野カメラの画像から、さらに、フレーム間差分が閾値を超える変動領域を検出し、前記頭部制御手段は、前記画像処理手段が前記変動領域を検出したとき、前記見回り動作を中断して、所定時間の間、前記変動領域が検出された方向に前記頭部の顔を向けることを特徴とするコミュニケーションロボット。
【請求項８】
請求項１または２に記載のコミュニケーションロボットであって、前記合図動作制御手段から合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記頭部制御手段は、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開することを特徴とするコミュニケーションロボット。
【請求項９】
請求項８に記載のコミュニケーションロボットであって、前記コンタクトを要求する他の人物が前記画像処理手段により検出され、前記画像処理手段は、前記広視野カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記広視野カメラの画像の中心線の方向との角度差αを算出し、さらに、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記顔矩形の中心線の方向との角度差βを算出し、前記角度差αによって決まる閾値と前記角度差βとを比較して前記コンタクトを要求する他の人物の正面画を検出することを特徴とするコミュニケーションロボット。
【請求項１０】
請求項８に記載のコミュニケーションロボットであって、前記コンタクトを要求する他の人物がロボットに触れたとき、ロボットに装着されたタッチセンサにより検出されることを特徴とするコミュニケーションロボット。
【請求項１１】
顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットの動作方法であって、
前記胴部に設けられた広視野カメラの画像から人物を検出するステップと、
前記胴部に対して前記頭部を所定速度で回転する見回り動作を行いながら、前記人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させるステップと、
前記頭部の回転速度が前記所定値以下に低減したとき、前記頭部に設けられた眼カメラの画像、または、前記広視野カメラの画像に含まれる前記頭部の顔前方の画像領域からロボットに顔を向ける正面顔の人物を検出するステップと、
前記正面顔の人物が予め設定された時間を超えてロボットに顔を向けているとき、当該人物に合図を送るステップと、
を備えることを特徴とするコミュニケーションロボットの動作方法。
【請求項１２】
請求項１１に記載のコミュニケーションロボットの動作方法であって、さらに、前記広視野カメラの画像からフレーム間差分が閾値を超える変動領域を検出するステップを備え、前記変動領域が検出されたとき、前記見回り動作を中断して、所定時間の間、前記変動領域が検出された方向に前記頭部の顔を向けることを特徴とするコミュニケーションロボットの動作方法。
【請求項１３】
請求項１１に記載のコミュニケーションロボットの動作方法であって、前記合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開することを特徴とするコミュニケーションロボットの動作方法。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１３】
【図３】
【図１０】
【図１１】
【図１２】
【図１４】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１３】
【図３】
【図１０】
【図１１】
【図１２】
【図１４】
【公開番号】特開２００９−４５６９２（Ｐ２００９−４５６９２Ａ）
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願番号】特願２００７−２１３７７５（Ｐ２００７−２１３７７５）
【出願日】平成１９年８月２０日（２００７．８．２０）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成１８年度、総務省、戦略的情報通信研究開発推進制度委託研究、産業再生法第３０条の適用を受けるもの）
【出願人】（５０４１９０５４８）国立大学法人埼玉大学 (292)
【Ｆターム（参考）】
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願日】平成１９年８月２０日（２００７．８．２０）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成１８年度、総務省、戦略的情報通信研究開発推進制度委託研究、産業再生法第３０条の適用を受けるもの）
【出願人】（５０４１９０５４８）国立大学法人埼玉大学 (292)
【Ｆターム（参考）】
[ Back to top ]