人物誘導ロボット
【課題】人物を的確に認識すると共に、その人物を確実に目的地に誘導することのできる人物誘導ロボットを提供する。
【解決手段】ロボットＲ１の周囲における静止中または移動中の人物を認識する人物認識手段１００と、ロボット自体を移動させる移動手段２００と、誘導すべき人物に対して、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示する表示手段３００と、該表示手段で表示された表示内容に対する誘導すべき人物による入力指示を検出する検出手段４００と、検出手段によって検出された入力指示に基づいて、移動手段および表示手段を制御する制御手段５００とを備える。
【解決手段】ロボットＲ１の周囲における静止中または移動中の人物を認識する人物認識手段１００と、ロボット自体を移動させる移動手段２００と、誘導すべき人物に対して、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示する表示手段３００と、該表示手段で表示された表示内容に対する誘導すべき人物による入力指示を検出する検出手段４００と、検出手段によって検出された入力指示に基づいて、移動手段および表示手段を制御する制御手段５００とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識した人物を特定の場所等へ誘導する人物誘導ロボットに関するものである。
【背景技術】
【０００２】
近年、車輪等の走行装置や二足歩行あるいは四足歩行等の歩行装置などの移動手段により自律的に移動して各種の作業を行うロボットの研究開発が盛んになり、各種の自律型ロボット（自律移動体）が提案されている。
【０００３】
このような自律型ロボットの一種として、例えば、オフィス、博物館、各種展示会等の施設において来客者（被案内者）が訪問先、行き先等を指定するとその訪問先等に向かってロボットが移動し、そのロボットの後ろを来客者が追従して歩くことにより誘導案内を行う人物誘導ロボット（案内ロボット、ガイドロボットなどとも呼称される）が開発されつつある。
【０００４】
具体的には、例えば、特許文献１（特開２００３−３４０７６４号公報）に示すような案内ロボットが提案されている。
【０００５】
この人物誘導ロボットは、案内先までの経路を生成すると共に、案内対象となる被案内者の歩行状態を検出して、被案内者の歩行状態に応じて走行速度を変化させながら、被案内者を案内するというものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−３４０７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上述のような人物誘導ロボットに求められる主な機能として、「周辺環境の認識機能」、「人物の検出機能」、「インタラクション（相互作用、相互交流）機能」の３点が挙げられる。
【０００８】
ここで、これらの３機能の内、重要度としては、「人物の検出機能」が一番高いものと考えられる。
【０００９】
なぜならば、自律型の人物誘導ロボットが施設案内や人物誘導を行う際には、誘導対象となる人物を発見できなければならないからである。
【００１０】
従来においては、人物の検出手段としては、広範囲を観測する際に周辺の照明条件の変化に対して高い耐性を有するレーザ式測域センサ（Ｌａｓｅｒ Ｍｅａｓｕｒｅｍｅｎｔ Ｓｅｎｓｏｒ：以降ＬＭＳと略称する）を応用したスキャナ式レンジセンサを利用することが多い．
レーザ式測域センサとは、一般的に距離測定法の１つであるＴｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ法（ＴＯＦ法：光線を物体へ照射し、反射光線を受信するまでの時間を計測することで物体までの距離を計測する手法）を利用して距離を測定するセンサで、これを回転体と併用し、センサを回転しながら各角度での距離情報を取得することで２次元平面の距離情報を得ることを可能としたのがスキャナ式レンジセンサである．
例えば、事前にスキャナ式レンジセンサにより人物の足や胴体部など、人体に共通する特徴的な形状を画像化し、画像化した距離データの中から探索することで人物を検出する方法がある。
【００１１】
しかしながら、人物誘導ロボットの動作環境中には人物に類似した形状を有する物体が複数存在する場合が有り、距離情報を用いた探索方法のみでは人物の正確な判別が困難であるという問題があった。
【００１２】
多くの場合この問題の解決策として、壁や調度品など自発的な移動を行わない物体を事前に「背景」と定義し、除外する処理を行なっている。この「背景」を除外し移動体のみの情報を得るための手法には様々なものがあるが、その殆どにおいて共通する点として、レンジセンサが搭載されたロボットが静止状態でなければならないという制約が存在する。
【００１３】
これは、「背景」を推定する際にセンサからの測定画像内で物体の移動が行われているか否かを一定時間内で観測しているため、センサ自体が移動してしまうと必然的に計測された画像は移動するため、背景を推定することが困難であるからである。
【００１４】
また、事前にロボットに活動する環境の背景地図を与えておくことにより、壁などの環境固有の情報を除外することが可能ではあるが、椅子や机など、移動可能な物体には対応が困難で、根本的な解決とはならない。
【００１５】
また、センサが搭載されたロボットが移動状態で背景情報を得るための手法としては、主にロボットの移動量をハードウェア的・ソフトウェア的に計測しセンサデータに補正を行うといったものが存在する。
【００１６】
ハードウェア的な方法としては、車輪型移動ロボットの場合は車軸にロータリエンコーダを搭載し、車輪の回転数を計測することで移動量を得る方法などが挙げられるが、この場合車輪のスリップなどの外乱を強く受け、長距離を移動する際などに誤差が蓄積されていくといった問題が生じる。
【００１７】
また、ソフトウェア的な方法としてはロボットに搭載した固定カメラから得られた画像中の複数の特徴点（画像中に存在する、あるパターンなど固有の情報を持つ位置）を移動前・移動後で比較することでロボットの移動量を測定する方法などがある。
【００１８】
しかし、多くの場合、この特徴点の検出や移動前・移動後での特徴点の対応状況の比較に時間がかかるためリアルタイム性が必要となる移動ロボットには不適合である。
【００１９】
一方、先に挙げた「インタラクション（相互作用、相互交流）機能」に関連して、従来において、ロボットに指示を与える指示インターフェイスの一種として、ステップ・オン・インタフェース（ｓｔｅｐ−ｏｎ ｉｎｔｅｒｆａｃｅ （ＳＯＩ））がある。
【００２０】
ＳＯＩは、プロジェクタ装置で路面等に操作画面を投影、表示し、所望の動作等を示すボタン表示を操作者が踏むことで作業内容を指示するインタフェースをいう。
【００２１】
ＳＯＩは、ロボットに固定されたプロジェクタからの投影光を、固定ミラーによって反射させ床面に投影している。また、操作者の足の検出は、ロボット下部に固定されたスキャナ型のレンジセンサによって行なっている。
【００２２】
ところが、ＳＯＩは、レンジセンサの設置高さ以外で足を検出する事ができないという不都合があった。
【００２３】
また、ＳＯＩは、投影位置は固定位置に限られ、レンジセンサの設置位置と投影地点との間に障害物が存在すると足の検出に支障を来すという問題もあった。
【００２４】
さらに、レーザセンサの測距範囲は一般的に、プロジェクタやカメラのズーム機能よりも制約が厳しく、デバイスの性能に依存するという課題もあった。
【００２５】
本発明は、上述のような課題を解決すべくなされたものであり、人物を的確に認識すると共に、その人物を確実に目的地に誘導することのできる人物誘導ロボットを提供することを目的とする。
【課題を解決するための手段】
【００２６】
前記課題を解決するため、請求項１の発明に係る人物誘導ロボットは、ロボットの周囲における静止中または移動中の人物を認識する人物認識手段と、ロボット自体を移動させる移動手段と、誘導すべき人物に対して、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示する表示手段と、該表示手段で表示された表示内容に対する前記誘導すべき人物による入力指示を検出する検出手段と、該検出手段によって検出された前記入力指示に基づいて、前記移動手段および前記表示手段を制御する制御手段とを備えることを特徴とする。
【００２７】
請求項２の発明に係る人物誘導ロボットは、請求項１に記載の発明について、前記表示手段は、パン・チルト機構を有するプロジェクタ装置で構成され、前記検出手段は、前記プロジェクタ装置によって表示された表示内容に対する入力指示を前記誘導すべき人物の手や足の画像情報に基づいて検出するプロジェクティブ・インタラクション・インタフェースを備えた検出装置で構成されることを特徴とする。
【００２８】
請求項３の発明に係る人物誘導ロボットは、請求項１または請求項２の何れかに記載の発明について、ロボット自体の後方から追従すべき人物が所定距離以上離れたか否かを監視する監視手段をさらに備え、前記制御手段は、前記監視手段によって、追従すべき人物が所定距離以上離れたと判定された場合に、前記表示手段において、当該人物に対して注意を促す表示を行うように制御することを特徴とする。
【００２９】
請求項４の発明に係る人物誘導ロボットは、請求項１から請求項３の何れかに記載の発明について、前記人物認識手段は、ロボットの周囲における静止中または移動中の被測定物を含む領域の画像情報を取得する画像情報取得手段と、該画像情報取得手段で取得された前記画像情報に基づいて、前記被測定物が人物であると仮定した場合の頭部に相当する領域について、肌色領域を抽出する肌色領域抽出手段と、前記頭部に相当する領域について、毛髪が存在する髪領域を抽出する髪領域抽出手段と、前記肌色領域抽出手段で抽出された肌色領域と、前記髪領域抽出手段で抽出された髪領域との比較結果に基づいて、前記被測定物が人物であるか否かを判定する人物判定手段とから構成されることを特徴とする。
【００３０】
請求項５の発明に係る人物誘導ロボットは、請求項４に記載の発明について、前記髪領域抽出手段は、前記肌色領域抽出手段で抽出された肌色領域の縦横比ＦＡＲ（但し、Ｆｈを縦幅、Ｆｗを横幅とした場合に、ＦＡＲ＝Ｆｈ／Ｆｗで定義される。）と、予め設定される閾値との比較結果に基づいて、前記髪領域を推定して抽出することを特徴とする。
【００３１】
請求項６の発明に係る人物誘導ロボットは、請求項１から請求項５の何れかに記載の発明について、前記表示手段は、前記誘導すべき人物による入力指示を行う操作画面を表示し、前記検出装置は、該操作画面を介した入力指示を検出することを特徴とする。
【００３２】
請求項７の発明に係る人物誘導ロボットは、請求項６に記載の発明について、前記表示手段は、前記人物認識手段による認識結果に基づいて、前記誘導に必要な情報および前記操作画面の投影位置を決定する決定手段を有することを特徴とする。
【発明の効果】
【００３３】
本発明によれば以下の効果を奏することができる。
【００３４】
すなわち、請求項１に記載の発明によれば、表示手段によって、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示すると共に、検出手段によって、表示内容に対する誘導すべき人物による入力指示を検出し、検出された入力指示に基づいて移動手段および表示手段を制御するので、認識した人物を確実に目的地に誘導することができるという優れた効果を奏することができる。
【００３５】
請求項２に記載の発明によれば、表示手段は、パン・チルト機構を有するプロジェクタ装置で構成され、検出手段は、前記プロジェクタ装置によって表示された表示内容に対する入力指示を前記誘導すべき人物の手や足の画像情報に基づいて検出するプロジェクティブ・インタラクション・インタフェースを備えた検出装置で構成されるので、認識した人物に対して的確な位置で情報を提示できると共に、目的地の指定などの指示を足や手によって容易に行うことができ、良好な視認性・操作性を確保することができる。
【００３６】
請求項３に記載の発明によれば、追従すべき人物が所定距離以上離れたと判定された場合に当該人物に対して注意を促す表示を行うので、認識した人物をより確実に目的地に誘導することができる。
【００３７】
請求項４に記載の発明によれば、髪領域に基づいて的確に人物を判別することができる。
【００３８】
請求項５に記載の発明によれば、より的確に人物を判別することができる。
【００３９】
請求項６に記載の発明によれば、誘導すべき人物による入力指示を行う操作画面を表示し、該操作画面を介した入力指示を検出することにより、目的地の指定などの指示を足や手によって一層容易に行うことができる。
【００４０】
請求項７に記載の発明によれば、人物認識手段による認識結果に基づいて、誘導に必要な情報および操作画面の投影位置を決定するので、認識した人物に対して見易く、操作し易い位置に、表示を行うことができ利便性が向上される。
【図面の簡単な説明】
【００４１】
【図１】実施の形態に係る人物誘導ロボットの機能構成を示す機能ブロック図である。
【図２】実施の形態に係る人物誘導ロボットの構成例を示す外観図である。
【図３】投影画面操作処理の処理手順を示すフローチャートである。
【図４】投影パターンの例を示す平面図である。
【図５】マーカ画像の例を示す平面図である。
【図６】変換行列の算出例を示す説明図である。
【図７】実施の形態に係る人物誘導ロボットの動作例を示す説明図である。
【図８】足先検出処理の処理手順を示すフローチャートである。
【図９】人物誘導処理の処理手順の続きを示すフローチャートである。
【図１０】投影画像の例を示す平面図である。
【発明を実施するための形態】
【００４２】
以下、本発明の一例としての実施の形態を図面に基づいて詳細に説明する。ここで、添付図面において同一の部材には同一の符号を付しており、また、重複した説明は省略されている。なお、ここでの説明は本発明が実施される最良の形態であることから、本発明は当該形態に限定されるものではない。
【００４３】
図１から図１０を参照して、本発明についての実施の形態に係る人物誘導ロボットＲ１について説明する。
【００４４】
まず、図１を参照して人物誘導ロボットＲ１の機能構成について説明する。
【００４５】
人物誘導ロボットＲ１は、ロボットＲ１の周囲における静止中または移動中の人物を認識する人物認識装置１００（人物認識手段の一例）と、ロボットＲ１自体を移動させる移動機構２００（移動手段の一例）と、誘導すべき人物に対して、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示するプロジェクタ装置３００（表示手段の一例）と、プロジェクタ装置３００で表示された表示内容に対する前記誘導すべき人物による入力指示を検出する入力指示検出装置４００（検出手段の一例）と、入力指示検出装置４００によって検出された入力指示に基づいて、移動機構２００およびプロジェクタ装置３００を制御するコンピュータ装置等で構成される制御装置５００（制御手段の一例）と、ロボットＲ１自体の後方から追従すべき人物が所定距離以上離れたか否かを監視する距離監視装置６００（監視手段の一例）とから構成される。
【００４６】
人物認識装置１００は、ロボットＲ１の周囲における静止中または移動中の被測定物を含む領域の画像情報を取得する全方位カメラ１０１（画像情報取得手段の一例）と、全方位カメラ１０１で取得された画像情報に基づいて、被測定物が人物であると仮定した場合の頭部に相当する領域について、肌色領域を抽出する肌色領域抽出部１０２（肌色領域抽出手段の一例）と、頭部に相当する領域について、毛髪が存在する髪領域を抽出する髪領域抽出部１０３（髪領域抽出手段の一例）と、肌色領域抽出部１０２で抽出された肌色領域と、髪領域抽出部１０３で抽出された髪領域との比較結果に基づいて、被測定物が人物であるか否かを判定する人物判定部１０４（人物判定手段の一例）とから構成される。
【００４７】
移動機構２００は、ステッピングモータ等で構成される駆動源としてのモータ２０１と、モータ２０１と連結される歯車機構等を介して回転される駆動ホイール（タイヤ）２０２等で構成される。
【００４８】
プロジェクタ装置３００は、水平方向および垂直方向に角度調整可能なパン・チルト機構３０１と、人物認識装置１００による認識結果に基づいて、誘導に必要な情報および操作画面の投影位置を決定する投影位置決定部３０２（投影位置決定手段の一例）とを備えている。
【００４９】
また、入力指示検出装置４００は、プロジェクティブ・インタラクション・インタフェース４０１を備えている。
【００５０】
ここで、プロジェクティブ・インタラクション・インタフェース（Ｐｒｏｊｅｃｔｉｖｅ Ｉｎｔｅｒａｃｔｉｏｎ ｉｎｔｅｒｆａｃｅ ）とは、パン・チルト機構３０１を有するプロジェクタ装置３００によって路面等に表示された表示内容に対する入力指示を操作者の手や足の画像情報をカメラ３０３（図２参照）で検出して指示するインタフェースをいう。
【００５１】
ここで、従来のステップ・オン・インタフェースと、本発明で適用するプロジェクティブ・インタラクション・インタフェースとの構成上の相違点等について説明する。
【００５２】
ステップ・オン・インタフェースは、前述したように固定されたプロジェクタと、固定ミラーの組み合わせによって固定地点での投影を前提としている。 また、改良されたステップ・オン・インタフェースでは、足の検出にレンジセンサのみを使用しており、レンジセンサが設置してある高さに障害物が存在する場合には、その障害物を超えて測域することは不可能であった。
【００５３】
これに対してプロジェクティブ・インタラクション・インタフェースでは、足の検出に画像情報を使用している点で異なる。
【００５４】
また、カメラによる検出手法であっても、レンジセンサと同様に投影位置との間に障害物が存在する場合は検出に悪影響を及ぼすが、２次元の１平面のみしか測距できないレンジセンサとは違って、画像として情報を得ているため障害物に対しての耐性がステップ・オン・インタフェースに比して高いという特徴がある。
【００５５】
また、ステップ・オン・インタフェースと比較したプロジェクティブ・インタラクション・インタフェースの効果としては、次のようなものが挙げられる。 即ち、プロジェクティブ・インタラクション・インタフェースでは、プロジェクタをパンチルト駆動させることにより、投影位置を任意とすることができるので、投影画面を用いた操作を行う位置を自由に選択・変更することができる。これにより、人や障害物によって混雑している環境等であっても、インタフェースの投影位置を変えることにより、操作者にとって良好な視認性・操作性を確保することができるという優れた効果を奏することができる。
【００５６】
本実施の形態に係る人物誘導ロボットＲ１に適用されるプロジェクティブ・インタラクション・インタフェース４０１の例については後述する。
【００５７】
制御装置５００は、距離監視装置６００によって、追従すべき人物が所定距離以上離れたと判定された場合に、プロジェクタ装置３００において、当該人物に対して注意を促す表示（例えば、「ロボットから離れないようにしてください」などの表示）を行うように制御する。
【００５８】
なお、髪領域抽出部１０３は、肌色領域抽出部１０２で抽出された肌色領域の縦横比ＦＡＲ（但し、Ｆｈを縦幅、Ｆｗを横幅とした場合に、ＦＡＲ＝Ｆｈ／Ｆｗで定義される。）と、予め設定される閾値との比較結果に基づいて、髪領域を推定して抽出するようにできる。
【００５９】
ここで、本実施の形態に係る人物誘導ロボットＲ１に適用されるセンサについて述べる。
【００６０】
人物誘導ロボットＲ１に要求される条件より、人物の検出に用いるセンサは全方向を観測可能である必要がある。
【００６１】
レーザ式測域センサ（Ｌａｓｅｒ Ｍｅａｓｕｒｅｍｅｎｔ Ｓｅｎｓｏｒ：ＬＭＳ）を応用したスキャナ式レンジセンサを利用することが多い。事前にスキャナ式レンジセンサにより人物の足や胴体部など、人体に共通する特徴的な形状を画像化し、環境中でスキャンし、画像化した距離データの中から探索することで人物を検出する方法がある。
【００６２】
しかしながら、人間が活動を行なっているような一般環境中においては人物に固有な特徴的な形状を特定するのは困難であり、レンジセンサ単体で人物を検出するのは困難である。
【００６３】
そこで、本実施の形態に係る人物誘導ロボットＲ１では、人物以外の領域の除外に関して画像情報を併用している。
一般的な画像センサで、広範囲を観測可能なスキャナ式レンジセンサと同等の観測範囲を得るためには、単眼カメラを複数台使用するか、単眼カメラに首振り機構（パン・チルト機構）を搭載したパンチルトカメラを使用する必要がある。
【００６４】
しかし、単眼カメラを複数台使用する場合にはカメラの台数に比例して、それぞれのカメラから得られた画像を統合するために必要な処理がシステムに大きな負荷となる。また、パンチルトカメラにおいては特定方向を観測している際には死角が発生し、常に全方向の情報を得ることが不可能である。
【００６５】
そこで、単一の画像センサで広範囲の情報を取得することにより負荷問題と死角問題を解決する必要がある。
【００６６】
広範囲の情報取得が可能なレンズとして代表的なものとしては、全周魚眼レンズと全方位レンズがある。全周魚眼レンズは、画像中心からの距離と角度が比例するようなレンズで、１８０度の水平画角を得られる。全方位レンズは全方位ミラーにより水平方向に全ての方位の視野を得ることが可能なレンズである。
【００６７】
魚眼レンズは特性上、レンズ端では収差・歪曲が大きく、レンズを上方に向けて水平視野を得ようとした際には中央部に対して画像の劣化が問題となる。そこで、本実施の形態に係る人物誘導ロボットＲ１では、水平視野を得るのに最適な形状のミラーを用いた全方位レンズ１０１を使用している（図２参照）。
【００６８】
ここで、図２を参照して、本実施の形態に係る人物誘導ロボットＲ１のプロトタイプの概略構成について説明する。人物誘導ロボットＲ１のプロトタイプでは、移動台車７００に各種装置を搭載している。
【００６９】
具体的には、スキャナ式レンジセンサのユニット６０１として北陽電機社製の「ＵＲＧ−０４ＬＸ−ＵＧ０１」を、全方位カメラ１０１としてヴイストン社製の「ＶＳ−Ｃ４２Ｕ−２００−ＴＫ」を使用した。なお、スキャナ式レンジセンサのユニット６０１および全方位カメラ１０１は、移動台車７００に固定した全高１５００ｍｍの三脚に取り付けている。
【００７０】
また、制御装置５００としてノート型のパーソナルコンピュータを用いている。
【００７１】
また、移動台車７００の後側には、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示するプロジェクタ装置３００が搭載されている。
【００７２】
なお、プロジェクタ装置３００は、パン・チルト機構３０１を備え、上方には、入力指示検出装置４００の一部を構成するカメラ３０３が設けられている。
【００７３】
次に、人物検出の仕方について説明する。
【００７４】
画像情報を用いた人物検出手法については、種々提案されているが、通常の動物体抽出手法はスキャナ式レンジセンサの場合と同様にロボットが移動するため使用できない。
【００７５】
また、フレーム間で画像内に存在する特徴点の位置をマッチングすることでロボットの動きを得る手法も考えられるが、複数の特徴点抽出処理は計算に時間が掛かり、平坦な画像中からは特徴点を取ることが困難であるといった問題が存在する。
【００７６】
そこで、画像中に人物が存在した場合に、頭部に肌が露出している顔領域が存在することを利用し、肌の色で抽出処理を行うことで簡便に人物の検出を行う手法が提案されている。
【００７７】
しかし、一般環境中には人物の肌の色と類似色の物体が多数存在することが考えられるため、単純に肌色の領域を抽出するだけでは誤検出が予想される。
【００７８】
そこで、本実施の形態に係る人物誘導ロボットＲ１では、類似色の物体は「人物の頭部には髪領域が存在する」と仮定し、肌色領域と髪領域が存在するかを判別することで除去する手法を採用している。
【００７９】
これらの処理によって得られた人物位置の候補領域のみをスキャナ式レンジセンサで走査することにより、スキャナ式レンジセンサの走査範囲を制限しなかった場合と比較してマッチング処理に要する時間や、誤検出のリスクを抑えることが可能となる。
【００８０】
処理手順の概要は以下のようになる。
【００８１】
手順１：全方位画像に対して肌色抽出を行う。
【００８２】
手順２：髪領域を推定し髪が存在するか判定を行う。
【００８３】
手順３：人物と判定された領域のみをスキャナ式レンジセンサでスキャンを行う。
【００８４】
手順４：スキャナ式レンジセンサからのセンサデータに対してマッチングを行う。
【００８５】
なお、本実施の形態に係る人物誘導ロボットＲ１では、図２に示すようなプロトタイプにおいて、本体の中段辺りにスキャナ式レンジセンサのユニット６０１が設けられている。
【００８６】
次に、上記手順１〜４の処理を実現するためのアルゴリズムの例について述べる。
【００８７】
まず、画像センサによる人物検出について説明する。
【００８８】
肌色領域抽出について、コンピュータなどに使用されているＲＧＢ表色系は各パラメータが色に関するもので、輝度に関するパラメータが分離されていない。
【００８９】
そのため、照明変化により周辺の輝度の変化するような環境で特定の色を抽出するには不向きであった。
【００９０】
輝度成分が分離されている表色系としてはＨＳＶ表色系、ＹＣｒＣｂ表色系などがある。
【００９１】
ＨＳＶ表色系は、色相・彩度・輝度、ＹＣｒＣｂ表色系は、輝度・赤の色差・青の色差により色表現を行っている。特定の色を抽出する際には、色を表現するパラメータが多い表色系の方が有利であるため、本実施の形態に係る人物誘導ロボットＲ１では、ＹＣｒＣｂ表色系の固定閾値処理により肌色抽出を行っている。なお、閾値は実験的に求めた値を使用する。
【００９２】
色抽出後は適切にノイズ・微小領域の除去を行うことが望ましい。
【００９３】
顔及び髪領域の推定について、人物の顔の肌露出領域に対する髪の領域のサイズは、カメラに対する顔の方向などにより変化するが、肌領域の縦横幅にから推定することが可能である。
【００９４】
そこで、本実施の形態に係る人物誘導ロボットＲ１では、髪領域抽出部１０３において、肌色領域抽出部１０２で抽出された肌色領域の縦横比ＦＡＲ（但し、Ｆｈを縦幅、Ｆｗを横幅とした場合に、ＦＡＲ＝Ｆｈ／Ｆｗで定義される。）と、予め設定される閾値との比較結果に基づいて、髪領域を推定して抽出するようにしている。
【００９５】
次に、髪領域による人物の判定について述べる。
【００９６】
髪領域抽出部１０３で取得した髪領域に対して髪色での色抽出を行い、髪領域に対する抽出領域の割合で人物か否かを判定する。
【００９７】
なお、人物の髪色が常に黒色であると仮定して色抽出を行う。
【００９８】
ＨＳＶ表色系で黒色を表現しようとした場合、色相成分は使用せずに彩度成分・輝度成分の２つのパラメータで行うことになる。このとき十分に彩度・輝度が低い領域ならば、基の色に依らず反応するため、黒色のみの抽出については不適当である。また、ＹＣｒＣｂ表色系は色の表現を赤の色差・青の色差で行っているため黒色を表現することが難しく、ＨＳＶ表色系と同様に不適切である。
【００９９】
そこで、本実施の形態に係る人物誘導ロボットＲ１では、全パラメータが色に関係しており、また多くのシステムで色を表す際に標準で使用されている表色系のため変換の必要が無いＲＧＢ表色系を使用している。
【０１００】
次に、全方位カメラ１０１への実装について述べる。
【０１０１】
前述の処理を、全方位レンズを使用した全方位カメラ１０１からの画像に対して適用する。
【０１０２】
全方位カメラ１０１から取得した画像は、水平方向の視野が同心円状に画素が配置されたような画像となっている。 通常、画像処理アルゴリズムの多くは画素が矩形状に配置されている画像ついて行うことを想定しているため、視覚的な扱い易さの面でもパノラマ画像へ展開する処理が必要となる。展開処理は、極座標で表現されている全方位画像の画素を極座標から直交座標に変換することで行うことが可能である。
【０１０３】
パノラマ展開を行った画像に対し、上述の髪領域を用いて人物を推定する手法を適用し、実験を行った結果、それぞれがロボットから異なる距離・方位に存在する３名の人物を適切に検出することができた。
【０１０４】
次に、距離センサによる人物検出について述べる。
【０１０５】
スキャナ式レンジセンサからのセンサデータの制限について、パノラマ画像中の座標とロボットＲ１に対する角度は常に対応していることを利用して、パノラマ中の座標から角度に変換することが可能である。
【０１０６】
この角度情報に基づいてスキャナ式レンジセンサの走査範囲を限定することで、人物が存在するとされた領域のみをスキャンすることが可能となる。
【０１０７】
次に、スキャナ式レンジセンサセンサデータからの人物検出について述べる。
【０１０８】
足の位置を検出する場合に、地面に設置されたオブジェクトに対する誤検出の影響が大きい。
【０１０９】
また、人物の頭部位置には個人差が大きく、高さ位置の決定が困難な場合がある。
【０１１０】
そこで、本実施の形態に係る人物誘導ロボットＲ１では、人部の胴体部の形状を利用し、人物の位置を検出する。
【０１１１】
即ち、人物の胴体部をスキャンした場合に、センサデータは半楕円形状となる。なお、環境中に存在する類似した形状の誤検出は走査範囲の制限により、最小限に収めることが可能である。
【０１１２】
そして、この半楕円形状をテンプレートとし、センサデータに対し相関係数を利用したテンプレートマッチングを行う。
【０１１３】
相関係数は、同形状同士であってもアフィン変換がなされている場合は一致しないため、人物角度に応じてテンプレートを回転することで１枚のテンプレートにより複数方向に対応することが可能である。
【０１１４】
これにより、スキャナ式レンジセンサでのテンプレートマッチングにより画像処理の段階では検出されてしまうが、ポスターなどの形状が人物と相当にかけ離れている物体に対しては相関係数が一定以下となり、除外することが可能である。
【０１１５】
次に、本実施の形態に係る人物誘導ロボットＲ１の入力指示検出装置４００に適用されるプロジェクティブ・インタラクション・インタフェース４０１の例について説明する。
【０１１６】
プロジェクティブ・インタラクション・インタフェースについて、従来のロボットでは、特定位置で入力を行っているのに対し、本実施の形態に係る人物誘導ロボットＲ１では、自由な位置での入力を実現している。
【０１１７】
即ち、従来においてはカメラ座標系と投影画面の座標系の関係は固定であったが、任意の位置に入力画面を投影した場合は、これらの座標系の関係は常に変化してしまう。
【０１１８】
そこで、入力画面を投影する際には事前に座標系の関係を既知にする必要がある。また、操作の判定用のカメラには固定単眼カメラが用いられていたが、遠距離では解像度の面で問題が生じることや、プロジェクタの光軸とカメラの光軸のずれから生じる誤差を修正することが不可能であるために、人物誘導ロボットＲ１では、制御装置５００により首振り（パン・チルト）動作とズーム動作を制御することが可能なＰＴＺ（パン・チルト ズーム）カメラ３０３を用いている。
【０１１９】
ここで、図３のフローチャートを参照して、投影画面操作処理の処理手順について説明する。
【０１２０】
ステップＳ１０では、投影位置を決定してステップＳ１１に移行する。
【０１２１】
投影位置の決定に際しては、最も近くに居る操作者に対して見易い位置に投影するようにしても良い。また、人物検出を併用して、操作者の挙手やアイコンタクトなどの動作に基づいて投影位置を決定するようにしても良い。
【０１２２】
ステップＳ１１では、投影画像に関するキャリブレーションを行ってからステップＳ１２に移行する。
【０１２３】
なお、このキャリブレーションは、投影画像の床面に対しての歪みを修正するために行われる。
【０１２４】
即ち、プロジェクタ装置３００からの画像は、床面に台形状に投影されるため、キャリブレーションして歪みを補正する必要がある。
【０１２５】
ステップＳ１２では、操作者の足先検出を行ってからステップＳ１３に移行する。
【０１２６】
ステップＳ１３では、操作者が何の操作を行ったかを判定する操作判定を行って処理を終了する。
【０１２７】
投影位置の決定に関して、本実施の形態に係る人物誘導ロボットＲ１では、全方位カメラ１０１とスキャナ式レンジセンサを併用することでロボットＲ１周囲の複数人物の位置の検出を行っている。
【０１２８】
ここで、投影画像に関するキャリブレーションについて説明する。
【０１２９】
任意の位置へ操作画面を提示する場合は、カメラ３０３による操作画面のキャプチャ画像と、投影している操作画面の本来の座標間では差異が生じる。
【０１３０】
また、図４に示すように、距離・角度に応じた歪曲も発生する。ここで、図４の（ａ）は本来の投射したい画像、（ｂ）は歪曲を含んで投射された画像の例である。
【０１３１】
このような状態では、足先による入力を行っても、正しく座標が得られない可能性が高い。
【０１３２】
そこで、本実施の形態に係る人物誘導ロボットＲ１では、射影変換行列を利用した射影変換を行うことで、キャプチャ画像中より抽出した足先座標が、投影画像中のどの位置にあるかを正確に得ることができるようにしている。
【０１３３】
また、この射影変換行列を用いて投影画像を事前に逆方向に歪曲させることで、投影画像の歪みを補正することも可能である。
【０１３４】
また、射影変換行列の計算は、マーカ投影を利用して行うことができる。
【０１３５】
即ち、図５に示すように、マーカ画像を、操作者の足元へ投影し、画像中からコーナの特徴点を抽出する。この抽出したコーナ特徴点と、投影画像のマーカ位置の関係から、図６に示すように射影変換行列を算出する。
【０１３６】
なお、マーカ画像を点滅させて背景差分を併用するようにしても良い。これにより、環境からの影響を最小限とすることができる。
【０１３７】
次に、足先検出による操作判定について説明する。
【０１３８】
操作者が投影画面を足先で操作する際に、最も自然に操作を行える部位は足先（爪先）である。そこで、カメラ画像中に存在する足領域から、以下の手順で足先の座標を推定する。
【０１３９】
手順１：カメラ画像中から足領域を抽出する。
【０１４０】
手順２：エントリーポイントを取得する。
【０１４１】
手順３：足先の推定を行う。
【０１４２】
そして、足先座標の検出の為には、まず足領域を抽出する必要がある。しかし、投影光や投影先の床面の模様などの背景情報が抽出の際に問題となるため、フレーム間差分を用いてカメラ画像中から背景情報を除去し、足領域の抽出を行うようにしている。
【０１４３】
次に、エントリーポイントの取得について述べる。
【０１４４】
エントリーポイントとは、投影画面内に足領域が存在する場合に、その足領域がどこから入ってきたかを示す座標であり、足領域が領域内に入った際に重心位置との距離が最も近い候補点をエントリーポイントと設定する。
【０１４５】
候補点は、例えば、全て画面のエッジ上に設定することができる。
【０１４６】
そして、足先座標をエントリーポイント座標と、重心座標から推定する。
【０１４７】
例えば、操作画面中の選択領域を操作者が足で踏む際に、操作者は画面端から目的の選択領域まである程度直線的に足を運ぶことが想定される。
【０１４８】
このことから、足先座標は、エントリーポイントと重心座標を結ぶ延長線上で、足領域と背景画像との交点に存在すると考えられる。
【０１４９】
図７には、上述のようなプロジェクティブ・インタラクション・インタフェース４０１を搭載した人物誘導ロボットＲ１’の構成例を示す。
【０１５０】
図７では、プロジェクタ装置３００から操作画面Ｇを床面に投影している。そして、操作者Ｈが所望の操作パターンＰ１〜Ｐ３の何れかを選択し、足先Ｆでその選択した操作パターン（図７では操作パターンＰ３）の一部を踏んで操作する。
【０１５１】
次いで、カメラ３０３によって、その操作状況を撮影し、上述のように足先の推定等の処理を行って、何れの操作パターンが操作されたかを判定するようになっている。
【０１５２】
ここで、図８のフローチャートを参照して、足先検出処理の処理手順について説明する。
【０１５３】
この処理が開始されると、まず、ステップＳ２０で、カメラ３０３によって取得した画像データからノイズを除去する処理、即ち、操作する足は常に動いているものとして動的背景差分処理をすることにより足を抽出する処理を実行してステップＳ２１に移行する。
【０１５４】
ステップＳ２１では、ラベリングを行う。ラベリングは画像内の領域をそれぞれ抽出する手法で、ラベリング後に領域の形状から重心（図心）を求めている。
【０１５５】
ステップＳ２２では、足をラベリングして領域のピクセル数を数え、領域数から重心（Ｇｘ、Ｇｙ）を算出する。
【０１５６】
次いで、ステップＳ２３では、足先の挿入位置が設定されているか否かの判定が行われる。即ち、画像の前フレームまでに足先の挿入位置が設定されているか判定される。
【０１５７】
そして、判定結果が「Ｎｏ」の場合には、ステップＳ２４に移行して、最初に領域が検出されたフレームの重心位置を、最近傍の辺に投影した位置をエントリーポイントとしてステップＳ２０に戻る。
【０１５８】
一方、判定結果が「Ｙｅｓ」の場合には、既に存在しているエントリーポイントを用いて足先位置の決定を行う。即ち、重心位置、挿入位置から足先を検出する。より具体的には、エントリーポイントと重心位置を繋ぐ直線の端点を足先として処理を終了する。
【０１５９】
次に、図９を参照して、本実施の形態に係る人物誘導ロボットＲ１による人物誘導処理の処理手順について説明する。
【０１６０】
ステップＳ３０では、移動機構２００によりロボットＲ１自体の移動を行う。
【０１６１】
ステップＳ３１では、人物認識装置１００で認識した人物がロボットＲ１自体の真後ろに居るか否かが判定され、「Ｎｏ」の場合には、「ロボットの真後ろから着いてきてください」などのメッセージをプロジェクタ装置３００によって床面や壁面等に投射して、人物をロボットＲ１自体の真後ろに誘導してステップＳ３０に戻る。
【０１６２】
一方、「Ｙｅｓ」の場合にはステップＳ３２に移行して、目的地に到着したか否かが判定される。
【０１６３】
そして、判定結果が「Ｎｏ」の場合にはステップＳ３０に戻り、「Ｙｅｓ」の場合にはステップＳ３３に移行する。
【０１６４】
なお、目的地に到着した場合には、例えば「目的地に到着しました」等のメッセージをプロジェクタ装置３００によって床面や壁面等に投射するようにしてもよい。
【０１６５】
ステップＳ３３では、目的地に関する情報提示をするか否かが判定される。具体的な判定方法としては、例えば図１０に示すように、「決」、「次」、「説」の文字をプロジェクタ装置３００によって床面に表示させ、上述の足先検出の手法により、何れの文字が足先によって踏まれたかを検出する。
【０１６６】
そして、「説」の文字が操作された後に「決」の文字が操作された場合には、目的地に関する情報提示が選択されたと判定して、所定のメッセージをプロジェクタ装置３００によって床面や壁面等に投射する（ステップＳ３４）。また、「次」の文字が操作された後に「決」の文字が操作された場合には、予め設定された次の目的地への誘導を行う。
【０１６７】
次いで、ステップＳ３５では、最終目的地に到着したか否かが判定され、「Ｎｏ」の場合にはステップＳ３０に戻り、「Ｙｅｓ」の場合には処理を終了する。
【０１６８】
以上述べたように、本実施の形態に係る人物誘導ロボットＲ１によれば、人物を的確に認識することができ、また、その人物を確実に目的地に誘導することができる。
【０１６９】
以上本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本明細書で開示された実施の形態はすべての点で例示であって開示された技術に限定されるものではないと考えるべきである。すなわち、本発明の技術的な範囲は、前記の実施の形態における説明に基づいて制限的に解釈されるものでなく、あくまでも特許請求の範囲の記載に従って解釈すべきであり、特許請求の範囲の記載技術と均等な技術および特許請求の範囲内でのすべての変更が含まれる。
【産業上の利用可能性】
【０１７０】
本発明による人物誘導ロボットは、オフィス、博物館、各種展示会等の施設において来客者を認識したり、誘導したりする手段に適用することができる。
【符号の説明】
【０１７１】
Ｒ１…人物誘導ロボット
Ｐ１〜Ｐ３…操作パターン
１００…人物認識装置
１０１…全方位カメラ
１０１…全方位レンズ
１０２…肌色領域抽出部
１０３…髪領域抽出部
１０４…人物判定部
２００…移動機構
２０１…モータ
２０２…駆動ホイール
３００…プロジェクタ装置
３０１…パン・チルト機構
３０２…投影位置決定部
３０３…カメラ
４００…入力指示検出装置
４０１…プロジェクティブ・インタラクション・インタフェース
４０１…入力指示検出装置
５００…制御装置
６００…距離監視装置
７００…移動台車
Ｈ…操作者
Ｆ…足先
Ｇ…操作画面
【技術分野】
【０００１】
本発明は、認識した人物を特定の場所等へ誘導する人物誘導ロボットに関するものである。
【背景技術】
【０００２】
近年、車輪等の走行装置や二足歩行あるいは四足歩行等の歩行装置などの移動手段により自律的に移動して各種の作業を行うロボットの研究開発が盛んになり、各種の自律型ロボット（自律移動体）が提案されている。
【０００３】
このような自律型ロボットの一種として、例えば、オフィス、博物館、各種展示会等の施設において来客者（被案内者）が訪問先、行き先等を指定するとその訪問先等に向かってロボットが移動し、そのロボットの後ろを来客者が追従して歩くことにより誘導案内を行う人物誘導ロボット（案内ロボット、ガイドロボットなどとも呼称される）が開発されつつある。
【０００４】
具体的には、例えば、特許文献１（特開２００３−３４０７６４号公報）に示すような案内ロボットが提案されている。
【０００５】
この人物誘導ロボットは、案内先までの経路を生成すると共に、案内対象となる被案内者の歩行状態を検出して、被案内者の歩行状態に応じて走行速度を変化させながら、被案内者を案内するというものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−３４０７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上述のような人物誘導ロボットに求められる主な機能として、「周辺環境の認識機能」、「人物の検出機能」、「インタラクション（相互作用、相互交流）機能」の３点が挙げられる。
【０００８】
ここで、これらの３機能の内、重要度としては、「人物の検出機能」が一番高いものと考えられる。
【０００９】
なぜならば、自律型の人物誘導ロボットが施設案内や人物誘導を行う際には、誘導対象となる人物を発見できなければならないからである。
【００１０】
従来においては、人物の検出手段としては、広範囲を観測する際に周辺の照明条件の変化に対して高い耐性を有するレーザ式測域センサ（Ｌａｓｅｒ Ｍｅａｓｕｒｅｍｅｎｔ Ｓｅｎｓｏｒ：以降ＬＭＳと略称する）を応用したスキャナ式レンジセンサを利用することが多い．
レーザ式測域センサとは、一般的に距離測定法の１つであるＴｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ法（ＴＯＦ法：光線を物体へ照射し、反射光線を受信するまでの時間を計測することで物体までの距離を計測する手法）を利用して距離を測定するセンサで、これを回転体と併用し、センサを回転しながら各角度での距離情報を取得することで２次元平面の距離情報を得ることを可能としたのがスキャナ式レンジセンサである．
例えば、事前にスキャナ式レンジセンサにより人物の足や胴体部など、人体に共通する特徴的な形状を画像化し、画像化した距離データの中から探索することで人物を検出する方法がある。
【００１１】
しかしながら、人物誘導ロボットの動作環境中には人物に類似した形状を有する物体が複数存在する場合が有り、距離情報を用いた探索方法のみでは人物の正確な判別が困難であるという問題があった。
【００１２】
多くの場合この問題の解決策として、壁や調度品など自発的な移動を行わない物体を事前に「背景」と定義し、除外する処理を行なっている。この「背景」を除外し移動体のみの情報を得るための手法には様々なものがあるが、その殆どにおいて共通する点として、レンジセンサが搭載されたロボットが静止状態でなければならないという制約が存在する。
【００１３】
これは、「背景」を推定する際にセンサからの測定画像内で物体の移動が行われているか否かを一定時間内で観測しているため、センサ自体が移動してしまうと必然的に計測された画像は移動するため、背景を推定することが困難であるからである。
【００１４】
また、事前にロボットに活動する環境の背景地図を与えておくことにより、壁などの環境固有の情報を除外することが可能ではあるが、椅子や机など、移動可能な物体には対応が困難で、根本的な解決とはならない。
【００１５】
また、センサが搭載されたロボットが移動状態で背景情報を得るための手法としては、主にロボットの移動量をハードウェア的・ソフトウェア的に計測しセンサデータに補正を行うといったものが存在する。
【００１６】
ハードウェア的な方法としては、車輪型移動ロボットの場合は車軸にロータリエンコーダを搭載し、車輪の回転数を計測することで移動量を得る方法などが挙げられるが、この場合車輪のスリップなどの外乱を強く受け、長距離を移動する際などに誤差が蓄積されていくといった問題が生じる。
【００１７】
また、ソフトウェア的な方法としてはロボットに搭載した固定カメラから得られた画像中の複数の特徴点（画像中に存在する、あるパターンなど固有の情報を持つ位置）を移動前・移動後で比較することでロボットの移動量を測定する方法などがある。
【００１８】
しかし、多くの場合、この特徴点の検出や移動前・移動後での特徴点の対応状況の比較に時間がかかるためリアルタイム性が必要となる移動ロボットには不適合である。
【００１９】
一方、先に挙げた「インタラクション（相互作用、相互交流）機能」に関連して、従来において、ロボットに指示を与える指示インターフェイスの一種として、ステップ・オン・インタフェース（ｓｔｅｐ−ｏｎ ｉｎｔｅｒｆａｃｅ （ＳＯＩ））がある。
【００２０】
ＳＯＩは、プロジェクタ装置で路面等に操作画面を投影、表示し、所望の動作等を示すボタン表示を操作者が踏むことで作業内容を指示するインタフェースをいう。
【００２１】
ＳＯＩは、ロボットに固定されたプロジェクタからの投影光を、固定ミラーによって反射させ床面に投影している。また、操作者の足の検出は、ロボット下部に固定されたスキャナ型のレンジセンサによって行なっている。
【００２２】
ところが、ＳＯＩは、レンジセンサの設置高さ以外で足を検出する事ができないという不都合があった。
【００２３】
また、ＳＯＩは、投影位置は固定位置に限られ、レンジセンサの設置位置と投影地点との間に障害物が存在すると足の検出に支障を来すという問題もあった。
【００２４】
さらに、レーザセンサの測距範囲は一般的に、プロジェクタやカメラのズーム機能よりも制約が厳しく、デバイスの性能に依存するという課題もあった。
【００２５】
本発明は、上述のような課題を解決すべくなされたものであり、人物を的確に認識すると共に、その人物を確実に目的地に誘導することのできる人物誘導ロボットを提供することを目的とする。
【課題を解決するための手段】
【００２６】
前記課題を解決するため、請求項１の発明に係る人物誘導ロボットは、ロボットの周囲における静止中または移動中の人物を認識する人物認識手段と、ロボット自体を移動させる移動手段と、誘導すべき人物に対して、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示する表示手段と、該表示手段で表示された表示内容に対する前記誘導すべき人物による入力指示を検出する検出手段と、該検出手段によって検出された前記入力指示に基づいて、前記移動手段および前記表示手段を制御する制御手段とを備えることを特徴とする。
【００２７】
請求項２の発明に係る人物誘導ロボットは、請求項１に記載の発明について、前記表示手段は、パン・チルト機構を有するプロジェクタ装置で構成され、前記検出手段は、前記プロジェクタ装置によって表示された表示内容に対する入力指示を前記誘導すべき人物の手や足の画像情報に基づいて検出するプロジェクティブ・インタラクション・インタフェースを備えた検出装置で構成されることを特徴とする。
【００２８】
請求項３の発明に係る人物誘導ロボットは、請求項１または請求項２の何れかに記載の発明について、ロボット自体の後方から追従すべき人物が所定距離以上離れたか否かを監視する監視手段をさらに備え、前記制御手段は、前記監視手段によって、追従すべき人物が所定距離以上離れたと判定された場合に、前記表示手段において、当該人物に対して注意を促す表示を行うように制御することを特徴とする。
【００２９】
請求項４の発明に係る人物誘導ロボットは、請求項１から請求項３の何れかに記載の発明について、前記人物認識手段は、ロボットの周囲における静止中または移動中の被測定物を含む領域の画像情報を取得する画像情報取得手段と、該画像情報取得手段で取得された前記画像情報に基づいて、前記被測定物が人物であると仮定した場合の頭部に相当する領域について、肌色領域を抽出する肌色領域抽出手段と、前記頭部に相当する領域について、毛髪が存在する髪領域を抽出する髪領域抽出手段と、前記肌色領域抽出手段で抽出された肌色領域と、前記髪領域抽出手段で抽出された髪領域との比較結果に基づいて、前記被測定物が人物であるか否かを判定する人物判定手段とから構成されることを特徴とする。
【００３０】
請求項５の発明に係る人物誘導ロボットは、請求項４に記載の発明について、前記髪領域抽出手段は、前記肌色領域抽出手段で抽出された肌色領域の縦横比ＦＡＲ（但し、Ｆｈを縦幅、Ｆｗを横幅とした場合に、ＦＡＲ＝Ｆｈ／Ｆｗで定義される。）と、予め設定される閾値との比較結果に基づいて、前記髪領域を推定して抽出することを特徴とする。
【００３１】
請求項６の発明に係る人物誘導ロボットは、請求項１から請求項５の何れかに記載の発明について、前記表示手段は、前記誘導すべき人物による入力指示を行う操作画面を表示し、前記検出装置は、該操作画面を介した入力指示を検出することを特徴とする。
【００３２】
請求項７の発明に係る人物誘導ロボットは、請求項６に記載の発明について、前記表示手段は、前記人物認識手段による認識結果に基づいて、前記誘導に必要な情報および前記操作画面の投影位置を決定する決定手段を有することを特徴とする。
【発明の効果】
【００３３】
本発明によれば以下の効果を奏することができる。
【００３４】
すなわち、請求項１に記載の発明によれば、表示手段によって、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示すると共に、検出手段によって、表示内容に対する誘導すべき人物による入力指示を検出し、検出された入力指示に基づいて移動手段および表示手段を制御するので、認識した人物を確実に目的地に誘導することができるという優れた効果を奏することができる。
【００３５】
請求項２に記載の発明によれば、表示手段は、パン・チルト機構を有するプロジェクタ装置で構成され、検出手段は、前記プロジェクタ装置によって表示された表示内容に対する入力指示を前記誘導すべき人物の手や足の画像情報に基づいて検出するプロジェクティブ・インタラクション・インタフェースを備えた検出装置で構成されるので、認識した人物に対して的確な位置で情報を提示できると共に、目的地の指定などの指示を足や手によって容易に行うことができ、良好な視認性・操作性を確保することができる。
【００３６】
請求項３に記載の発明によれば、追従すべき人物が所定距離以上離れたと判定された場合に当該人物に対して注意を促す表示を行うので、認識した人物をより確実に目的地に誘導することができる。
【００３７】
請求項４に記載の発明によれば、髪領域に基づいて的確に人物を判別することができる。
【００３８】
請求項５に記載の発明によれば、より的確に人物を判別することができる。
【００３９】
請求項６に記載の発明によれば、誘導すべき人物による入力指示を行う操作画面を表示し、該操作画面を介した入力指示を検出することにより、目的地の指定などの指示を足や手によって一層容易に行うことができる。
【００４０】
請求項７に記載の発明によれば、人物認識手段による認識結果に基づいて、誘導に必要な情報および操作画面の投影位置を決定するので、認識した人物に対して見易く、操作し易い位置に、表示を行うことができ利便性が向上される。
【図面の簡単な説明】
【００４１】
【図１】実施の形態に係る人物誘導ロボットの機能構成を示す機能ブロック図である。
【図２】実施の形態に係る人物誘導ロボットの構成例を示す外観図である。
【図３】投影画面操作処理の処理手順を示すフローチャートである。
【図４】投影パターンの例を示す平面図である。
【図５】マーカ画像の例を示す平面図である。
【図６】変換行列の算出例を示す説明図である。
【図７】実施の形態に係る人物誘導ロボットの動作例を示す説明図である。
【図８】足先検出処理の処理手順を示すフローチャートである。
【図９】人物誘導処理の処理手順の続きを示すフローチャートである。
【図１０】投影画像の例を示す平面図である。
【発明を実施するための形態】
【００４２】
以下、本発明の一例としての実施の形態を図面に基づいて詳細に説明する。ここで、添付図面において同一の部材には同一の符号を付しており、また、重複した説明は省略されている。なお、ここでの説明は本発明が実施される最良の形態であることから、本発明は当該形態に限定されるものではない。
【００４３】
図１から図１０を参照して、本発明についての実施の形態に係る人物誘導ロボットＲ１について説明する。
【００４４】
まず、図１を参照して人物誘導ロボットＲ１の機能構成について説明する。
【００４５】
人物誘導ロボットＲ１は、ロボットＲ１の周囲における静止中または移動中の人物を認識する人物認識装置１００（人物認識手段の一例）と、ロボットＲ１自体を移動させる移動機構２００（移動手段の一例）と、誘導すべき人物に対して、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示するプロジェクタ装置３００（表示手段の一例）と、プロジェクタ装置３００で表示された表示内容に対する前記誘導すべき人物による入力指示を検出する入力指示検出装置４００（検出手段の一例）と、入力指示検出装置４００によって検出された入力指示に基づいて、移動機構２００およびプロジェクタ装置３００を制御するコンピュータ装置等で構成される制御装置５００（制御手段の一例）と、ロボットＲ１自体の後方から追従すべき人物が所定距離以上離れたか否かを監視する距離監視装置６００（監視手段の一例）とから構成される。
【００４６】
人物認識装置１００は、ロボットＲ１の周囲における静止中または移動中の被測定物を含む領域の画像情報を取得する全方位カメラ１０１（画像情報取得手段の一例）と、全方位カメラ１０１で取得された画像情報に基づいて、被測定物が人物であると仮定した場合の頭部に相当する領域について、肌色領域を抽出する肌色領域抽出部１０２（肌色領域抽出手段の一例）と、頭部に相当する領域について、毛髪が存在する髪領域を抽出する髪領域抽出部１０３（髪領域抽出手段の一例）と、肌色領域抽出部１０２で抽出された肌色領域と、髪領域抽出部１０３で抽出された髪領域との比較結果に基づいて、被測定物が人物であるか否かを判定する人物判定部１０４（人物判定手段の一例）とから構成される。
【００４７】
移動機構２００は、ステッピングモータ等で構成される駆動源としてのモータ２０１と、モータ２０１と連結される歯車機構等を介して回転される駆動ホイール（タイヤ）２０２等で構成される。
【００４８】
プロジェクタ装置３００は、水平方向および垂直方向に角度調整可能なパン・チルト機構３０１と、人物認識装置１００による認識結果に基づいて、誘導に必要な情報および操作画面の投影位置を決定する投影位置決定部３０２（投影位置決定手段の一例）とを備えている。
【００４９】
また、入力指示検出装置４００は、プロジェクティブ・インタラクション・インタフェース４０１を備えている。
【００５０】
ここで、プロジェクティブ・インタラクション・インタフェース（Ｐｒｏｊｅｃｔｉｖｅ Ｉｎｔｅｒａｃｔｉｏｎ ｉｎｔｅｒｆａｃｅ ）とは、パン・チルト機構３０１を有するプロジェクタ装置３００によって路面等に表示された表示内容に対する入力指示を操作者の手や足の画像情報をカメラ３０３（図２参照）で検出して指示するインタフェースをいう。
【００５１】
ここで、従来のステップ・オン・インタフェースと、本発明で適用するプロジェクティブ・インタラクション・インタフェースとの構成上の相違点等について説明する。
【００５２】
ステップ・オン・インタフェースは、前述したように固定されたプロジェクタと、固定ミラーの組み合わせによって固定地点での投影を前提としている。 また、改良されたステップ・オン・インタフェースでは、足の検出にレンジセンサのみを使用しており、レンジセンサが設置してある高さに障害物が存在する場合には、その障害物を超えて測域することは不可能であった。
【００５３】
これに対してプロジェクティブ・インタラクション・インタフェースでは、足の検出に画像情報を使用している点で異なる。
【００５４】
また、カメラによる検出手法であっても、レンジセンサと同様に投影位置との間に障害物が存在する場合は検出に悪影響を及ぼすが、２次元の１平面のみしか測距できないレンジセンサとは違って、画像として情報を得ているため障害物に対しての耐性がステップ・オン・インタフェースに比して高いという特徴がある。
【００５５】
また、ステップ・オン・インタフェースと比較したプロジェクティブ・インタラクション・インタフェースの効果としては、次のようなものが挙げられる。 即ち、プロジェクティブ・インタラクション・インタフェースでは、プロジェクタをパンチルト駆動させることにより、投影位置を任意とすることができるので、投影画面を用いた操作を行う位置を自由に選択・変更することができる。これにより、人や障害物によって混雑している環境等であっても、インタフェースの投影位置を変えることにより、操作者にとって良好な視認性・操作性を確保することができるという優れた効果を奏することができる。
【００５６】
本実施の形態に係る人物誘導ロボットＲ１に適用されるプロジェクティブ・インタラクション・インタフェース４０１の例については後述する。
【００５７】
制御装置５００は、距離監視装置６００によって、追従すべき人物が所定距離以上離れたと判定された場合に、プロジェクタ装置３００において、当該人物に対して注意を促す表示（例えば、「ロボットから離れないようにしてください」などの表示）を行うように制御する。
【００５８】
なお、髪領域抽出部１０３は、肌色領域抽出部１０２で抽出された肌色領域の縦横比ＦＡＲ（但し、Ｆｈを縦幅、Ｆｗを横幅とした場合に、ＦＡＲ＝Ｆｈ／Ｆｗで定義される。）と、予め設定される閾値との比較結果に基づいて、髪領域を推定して抽出するようにできる。
【００５９】
ここで、本実施の形態に係る人物誘導ロボットＲ１に適用されるセンサについて述べる。
【００６０】
人物誘導ロボットＲ１に要求される条件より、人物の検出に用いるセンサは全方向を観測可能である必要がある。
【００６１】
レーザ式測域センサ（Ｌａｓｅｒ Ｍｅａｓｕｒｅｍｅｎｔ Ｓｅｎｓｏｒ：ＬＭＳ）を応用したスキャナ式レンジセンサを利用することが多い。事前にスキャナ式レンジセンサにより人物の足や胴体部など、人体に共通する特徴的な形状を画像化し、環境中でスキャンし、画像化した距離データの中から探索することで人物を検出する方法がある。
【００６２】
しかしながら、人間が活動を行なっているような一般環境中においては人物に固有な特徴的な形状を特定するのは困難であり、レンジセンサ単体で人物を検出するのは困難である。
【００６３】
そこで、本実施の形態に係る人物誘導ロボットＲ１では、人物以外の領域の除外に関して画像情報を併用している。
一般的な画像センサで、広範囲を観測可能なスキャナ式レンジセンサと同等の観測範囲を得るためには、単眼カメラを複数台使用するか、単眼カメラに首振り機構（パン・チルト機構）を搭載したパンチルトカメラを使用する必要がある。
【００６４】
しかし、単眼カメラを複数台使用する場合にはカメラの台数に比例して、それぞれのカメラから得られた画像を統合するために必要な処理がシステムに大きな負荷となる。また、パンチルトカメラにおいては特定方向を観測している際には死角が発生し、常に全方向の情報を得ることが不可能である。
【００６５】
そこで、単一の画像センサで広範囲の情報を取得することにより負荷問題と死角問題を解決する必要がある。
【００６６】
広範囲の情報取得が可能なレンズとして代表的なものとしては、全周魚眼レンズと全方位レンズがある。全周魚眼レンズは、画像中心からの距離と角度が比例するようなレンズで、１８０度の水平画角を得られる。全方位レンズは全方位ミラーにより水平方向に全ての方位の視野を得ることが可能なレンズである。
【００６７】
魚眼レンズは特性上、レンズ端では収差・歪曲が大きく、レンズを上方に向けて水平視野を得ようとした際には中央部に対して画像の劣化が問題となる。そこで、本実施の形態に係る人物誘導ロボットＲ１では、水平視野を得るのに最適な形状のミラーを用いた全方位レンズ１０１を使用している（図２参照）。
【００６８】
ここで、図２を参照して、本実施の形態に係る人物誘導ロボットＲ１のプロトタイプの概略構成について説明する。人物誘導ロボットＲ１のプロトタイプでは、移動台車７００に各種装置を搭載している。
【００６９】
具体的には、スキャナ式レンジセンサのユニット６０１として北陽電機社製の「ＵＲＧ−０４ＬＸ−ＵＧ０１」を、全方位カメラ１０１としてヴイストン社製の「ＶＳ−Ｃ４２Ｕ−２００−ＴＫ」を使用した。なお、スキャナ式レンジセンサのユニット６０１および全方位カメラ１０１は、移動台車７００に固定した全高１５００ｍｍの三脚に取り付けている。
【００７０】
また、制御装置５００としてノート型のパーソナルコンピュータを用いている。
【００７１】
また、移動台車７００の後側には、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示するプロジェクタ装置３００が搭載されている。
【００７２】
なお、プロジェクタ装置３００は、パン・チルト機構３０１を備え、上方には、入力指示検出装置４００の一部を構成するカメラ３０３が設けられている。
【００７３】
次に、人物検出の仕方について説明する。
【００７４】
画像情報を用いた人物検出手法については、種々提案されているが、通常の動物体抽出手法はスキャナ式レンジセンサの場合と同様にロボットが移動するため使用できない。
【００７５】
また、フレーム間で画像内に存在する特徴点の位置をマッチングすることでロボットの動きを得る手法も考えられるが、複数の特徴点抽出処理は計算に時間が掛かり、平坦な画像中からは特徴点を取ることが困難であるといった問題が存在する。
【００７６】
そこで、画像中に人物が存在した場合に、頭部に肌が露出している顔領域が存在することを利用し、肌の色で抽出処理を行うことで簡便に人物の検出を行う手法が提案されている。
【００７７】
しかし、一般環境中には人物の肌の色と類似色の物体が多数存在することが考えられるため、単純に肌色の領域を抽出するだけでは誤検出が予想される。
【００７８】
そこで、本実施の形態に係る人物誘導ロボットＲ１では、類似色の物体は「人物の頭部には髪領域が存在する」と仮定し、肌色領域と髪領域が存在するかを判別することで除去する手法を採用している。
【００７９】
これらの処理によって得られた人物位置の候補領域のみをスキャナ式レンジセンサで走査することにより、スキャナ式レンジセンサの走査範囲を制限しなかった場合と比較してマッチング処理に要する時間や、誤検出のリスクを抑えることが可能となる。
【００８０】
処理手順の概要は以下のようになる。
【００８１】
手順１：全方位画像に対して肌色抽出を行う。
【００８２】
手順２：髪領域を推定し髪が存在するか判定を行う。
【００８３】
手順３：人物と判定された領域のみをスキャナ式レンジセンサでスキャンを行う。
【００８４】
手順４：スキャナ式レンジセンサからのセンサデータに対してマッチングを行う。
【００８５】
なお、本実施の形態に係る人物誘導ロボットＲ１では、図２に示すようなプロトタイプにおいて、本体の中段辺りにスキャナ式レンジセンサのユニット６０１が設けられている。
【００８６】
次に、上記手順１〜４の処理を実現するためのアルゴリズムの例について述べる。
【００８７】
まず、画像センサによる人物検出について説明する。
【００８８】
肌色領域抽出について、コンピュータなどに使用されているＲＧＢ表色系は各パラメータが色に関するもので、輝度に関するパラメータが分離されていない。
【００８９】
そのため、照明変化により周辺の輝度の変化するような環境で特定の色を抽出するには不向きであった。
【００９０】
輝度成分が分離されている表色系としてはＨＳＶ表色系、ＹＣｒＣｂ表色系などがある。
【００９１】
ＨＳＶ表色系は、色相・彩度・輝度、ＹＣｒＣｂ表色系は、輝度・赤の色差・青の色差により色表現を行っている。特定の色を抽出する際には、色を表現するパラメータが多い表色系の方が有利であるため、本実施の形態に係る人物誘導ロボットＲ１では、ＹＣｒＣｂ表色系の固定閾値処理により肌色抽出を行っている。なお、閾値は実験的に求めた値を使用する。
【００９２】
色抽出後は適切にノイズ・微小領域の除去を行うことが望ましい。
【００９３】
顔及び髪領域の推定について、人物の顔の肌露出領域に対する髪の領域のサイズは、カメラに対する顔の方向などにより変化するが、肌領域の縦横幅にから推定することが可能である。
【００９４】
そこで、本実施の形態に係る人物誘導ロボットＲ１では、髪領域抽出部１０３において、肌色領域抽出部１０２で抽出された肌色領域の縦横比ＦＡＲ（但し、Ｆｈを縦幅、Ｆｗを横幅とした場合に、ＦＡＲ＝Ｆｈ／Ｆｗで定義される。）と、予め設定される閾値との比較結果に基づいて、髪領域を推定して抽出するようにしている。
【００９５】
次に、髪領域による人物の判定について述べる。
【００９６】
髪領域抽出部１０３で取得した髪領域に対して髪色での色抽出を行い、髪領域に対する抽出領域の割合で人物か否かを判定する。
【００９７】
なお、人物の髪色が常に黒色であると仮定して色抽出を行う。
【００９８】
ＨＳＶ表色系で黒色を表現しようとした場合、色相成分は使用せずに彩度成分・輝度成分の２つのパラメータで行うことになる。このとき十分に彩度・輝度が低い領域ならば、基の色に依らず反応するため、黒色のみの抽出については不適当である。また、ＹＣｒＣｂ表色系は色の表現を赤の色差・青の色差で行っているため黒色を表現することが難しく、ＨＳＶ表色系と同様に不適切である。
【００９９】
そこで、本実施の形態に係る人物誘導ロボットＲ１では、全パラメータが色に関係しており、また多くのシステムで色を表す際に標準で使用されている表色系のため変換の必要が無いＲＧＢ表色系を使用している。
【０１００】
次に、全方位カメラ１０１への実装について述べる。
【０１０１】
前述の処理を、全方位レンズを使用した全方位カメラ１０１からの画像に対して適用する。
【０１０２】
全方位カメラ１０１から取得した画像は、水平方向の視野が同心円状に画素が配置されたような画像となっている。 通常、画像処理アルゴリズムの多くは画素が矩形状に配置されている画像ついて行うことを想定しているため、視覚的な扱い易さの面でもパノラマ画像へ展開する処理が必要となる。展開処理は、極座標で表現されている全方位画像の画素を極座標から直交座標に変換することで行うことが可能である。
【０１０３】
パノラマ展開を行った画像に対し、上述の髪領域を用いて人物を推定する手法を適用し、実験を行った結果、それぞれがロボットから異なる距離・方位に存在する３名の人物を適切に検出することができた。
【０１０４】
次に、距離センサによる人物検出について述べる。
【０１０５】
スキャナ式レンジセンサからのセンサデータの制限について、パノラマ画像中の座標とロボットＲ１に対する角度は常に対応していることを利用して、パノラマ中の座標から角度に変換することが可能である。
【０１０６】
この角度情報に基づいてスキャナ式レンジセンサの走査範囲を限定することで、人物が存在するとされた領域のみをスキャンすることが可能となる。
【０１０７】
次に、スキャナ式レンジセンサセンサデータからの人物検出について述べる。
【０１０８】
足の位置を検出する場合に、地面に設置されたオブジェクトに対する誤検出の影響が大きい。
【０１０９】
また、人物の頭部位置には個人差が大きく、高さ位置の決定が困難な場合がある。
【０１１０】
そこで、本実施の形態に係る人物誘導ロボットＲ１では、人部の胴体部の形状を利用し、人物の位置を検出する。
【０１１１】
即ち、人物の胴体部をスキャンした場合に、センサデータは半楕円形状となる。なお、環境中に存在する類似した形状の誤検出は走査範囲の制限により、最小限に収めることが可能である。
【０１１２】
そして、この半楕円形状をテンプレートとし、センサデータに対し相関係数を利用したテンプレートマッチングを行う。
【０１１３】
相関係数は、同形状同士であってもアフィン変換がなされている場合は一致しないため、人物角度に応じてテンプレートを回転することで１枚のテンプレートにより複数方向に対応することが可能である。
【０１１４】
これにより、スキャナ式レンジセンサでのテンプレートマッチングにより画像処理の段階では検出されてしまうが、ポスターなどの形状が人物と相当にかけ離れている物体に対しては相関係数が一定以下となり、除外することが可能である。
【０１１５】
次に、本実施の形態に係る人物誘導ロボットＲ１の入力指示検出装置４００に適用されるプロジェクティブ・インタラクション・インタフェース４０１の例について説明する。
【０１１６】
プロジェクティブ・インタラクション・インタフェースについて、従来のロボットでは、特定位置で入力を行っているのに対し、本実施の形態に係る人物誘導ロボットＲ１では、自由な位置での入力を実現している。
【０１１７】
即ち、従来においてはカメラ座標系と投影画面の座標系の関係は固定であったが、任意の位置に入力画面を投影した場合は、これらの座標系の関係は常に変化してしまう。
【０１１８】
そこで、入力画面を投影する際には事前に座標系の関係を既知にする必要がある。また、操作の判定用のカメラには固定単眼カメラが用いられていたが、遠距離では解像度の面で問題が生じることや、プロジェクタの光軸とカメラの光軸のずれから生じる誤差を修正することが不可能であるために、人物誘導ロボットＲ１では、制御装置５００により首振り（パン・チルト）動作とズーム動作を制御することが可能なＰＴＺ（パン・チルト ズーム）カメラ３０３を用いている。
【０１１９】
ここで、図３のフローチャートを参照して、投影画面操作処理の処理手順について説明する。
【０１２０】
ステップＳ１０では、投影位置を決定してステップＳ１１に移行する。
【０１２１】
投影位置の決定に際しては、最も近くに居る操作者に対して見易い位置に投影するようにしても良い。また、人物検出を併用して、操作者の挙手やアイコンタクトなどの動作に基づいて投影位置を決定するようにしても良い。
【０１２２】
ステップＳ１１では、投影画像に関するキャリブレーションを行ってからステップＳ１２に移行する。
【０１２３】
なお、このキャリブレーションは、投影画像の床面に対しての歪みを修正するために行われる。
【０１２４】
即ち、プロジェクタ装置３００からの画像は、床面に台形状に投影されるため、キャリブレーションして歪みを補正する必要がある。
【０１２５】
ステップＳ１２では、操作者の足先検出を行ってからステップＳ１３に移行する。
【０１２６】
ステップＳ１３では、操作者が何の操作を行ったかを判定する操作判定を行って処理を終了する。
【０１２７】
投影位置の決定に関して、本実施の形態に係る人物誘導ロボットＲ１では、全方位カメラ１０１とスキャナ式レンジセンサを併用することでロボットＲ１周囲の複数人物の位置の検出を行っている。
【０１２８】
ここで、投影画像に関するキャリブレーションについて説明する。
【０１２９】
任意の位置へ操作画面を提示する場合は、カメラ３０３による操作画面のキャプチャ画像と、投影している操作画面の本来の座標間では差異が生じる。
【０１３０】
また、図４に示すように、距離・角度に応じた歪曲も発生する。ここで、図４の（ａ）は本来の投射したい画像、（ｂ）は歪曲を含んで投射された画像の例である。
【０１３１】
このような状態では、足先による入力を行っても、正しく座標が得られない可能性が高い。
【０１３２】
そこで、本実施の形態に係る人物誘導ロボットＲ１では、射影変換行列を利用した射影変換を行うことで、キャプチャ画像中より抽出した足先座標が、投影画像中のどの位置にあるかを正確に得ることができるようにしている。
【０１３３】
また、この射影変換行列を用いて投影画像を事前に逆方向に歪曲させることで、投影画像の歪みを補正することも可能である。
【０１３４】
また、射影変換行列の計算は、マーカ投影を利用して行うことができる。
【０１３５】
即ち、図５に示すように、マーカ画像を、操作者の足元へ投影し、画像中からコーナの特徴点を抽出する。この抽出したコーナ特徴点と、投影画像のマーカ位置の関係から、図６に示すように射影変換行列を算出する。
【０１３６】
なお、マーカ画像を点滅させて背景差分を併用するようにしても良い。これにより、環境からの影響を最小限とすることができる。
【０１３７】
次に、足先検出による操作判定について説明する。
【０１３８】
操作者が投影画面を足先で操作する際に、最も自然に操作を行える部位は足先（爪先）である。そこで、カメラ画像中に存在する足領域から、以下の手順で足先の座標を推定する。
【０１３９】
手順１：カメラ画像中から足領域を抽出する。
【０１４０】
手順２：エントリーポイントを取得する。
【０１４１】
手順３：足先の推定を行う。
【０１４２】
そして、足先座標の検出の為には、まず足領域を抽出する必要がある。しかし、投影光や投影先の床面の模様などの背景情報が抽出の際に問題となるため、フレーム間差分を用いてカメラ画像中から背景情報を除去し、足領域の抽出を行うようにしている。
【０１４３】
次に、エントリーポイントの取得について述べる。
【０１４４】
エントリーポイントとは、投影画面内に足領域が存在する場合に、その足領域がどこから入ってきたかを示す座標であり、足領域が領域内に入った際に重心位置との距離が最も近い候補点をエントリーポイントと設定する。
【０１４５】
候補点は、例えば、全て画面のエッジ上に設定することができる。
【０１４６】
そして、足先座標をエントリーポイント座標と、重心座標から推定する。
【０１４７】
例えば、操作画面中の選択領域を操作者が足で踏む際に、操作者は画面端から目的の選択領域まである程度直線的に足を運ぶことが想定される。
【０１４８】
このことから、足先座標は、エントリーポイントと重心座標を結ぶ延長線上で、足領域と背景画像との交点に存在すると考えられる。
【０１４９】
図７には、上述のようなプロジェクティブ・インタラクション・インタフェース４０１を搭載した人物誘導ロボットＲ１’の構成例を示す。
【０１５０】
図７では、プロジェクタ装置３００から操作画面Ｇを床面に投影している。そして、操作者Ｈが所望の操作パターンＰ１〜Ｐ３の何れかを選択し、足先Ｆでその選択した操作パターン（図７では操作パターンＰ３）の一部を踏んで操作する。
【０１５１】
次いで、カメラ３０３によって、その操作状況を撮影し、上述のように足先の推定等の処理を行って、何れの操作パターンが操作されたかを判定するようになっている。
【０１５２】
ここで、図８のフローチャートを参照して、足先検出処理の処理手順について説明する。
【０１５３】
この処理が開始されると、まず、ステップＳ２０で、カメラ３０３によって取得した画像データからノイズを除去する処理、即ち、操作する足は常に動いているものとして動的背景差分処理をすることにより足を抽出する処理を実行してステップＳ２１に移行する。
【０１５４】
ステップＳ２１では、ラベリングを行う。ラベリングは画像内の領域をそれぞれ抽出する手法で、ラベリング後に領域の形状から重心（図心）を求めている。
【０１５５】
ステップＳ２２では、足をラベリングして領域のピクセル数を数え、領域数から重心（Ｇｘ、Ｇｙ）を算出する。
【０１５６】
次いで、ステップＳ２３では、足先の挿入位置が設定されているか否かの判定が行われる。即ち、画像の前フレームまでに足先の挿入位置が設定されているか判定される。
【０１５７】
そして、判定結果が「Ｎｏ」の場合には、ステップＳ２４に移行して、最初に領域が検出されたフレームの重心位置を、最近傍の辺に投影した位置をエントリーポイントとしてステップＳ２０に戻る。
【０１５８】
一方、判定結果が「Ｙｅｓ」の場合には、既に存在しているエントリーポイントを用いて足先位置の決定を行う。即ち、重心位置、挿入位置から足先を検出する。より具体的には、エントリーポイントと重心位置を繋ぐ直線の端点を足先として処理を終了する。
【０１５９】
次に、図９を参照して、本実施の形態に係る人物誘導ロボットＲ１による人物誘導処理の処理手順について説明する。
【０１６０】
ステップＳ３０では、移動機構２００によりロボットＲ１自体の移動を行う。
【０１６１】
ステップＳ３１では、人物認識装置１００で認識した人物がロボットＲ１自体の真後ろに居るか否かが判定され、「Ｎｏ」の場合には、「ロボットの真後ろから着いてきてください」などのメッセージをプロジェクタ装置３００によって床面や壁面等に投射して、人物をロボットＲ１自体の真後ろに誘導してステップＳ３０に戻る。
【０１６２】
一方、「Ｙｅｓ」の場合にはステップＳ３２に移行して、目的地に到着したか否かが判定される。
【０１６３】
そして、判定結果が「Ｎｏ」の場合にはステップＳ３０に戻り、「Ｙｅｓ」の場合にはステップＳ３３に移行する。
【０１６４】
なお、目的地に到着した場合には、例えば「目的地に到着しました」等のメッセージをプロジェクタ装置３００によって床面や壁面等に投射するようにしてもよい。
【０１６５】
ステップＳ３３では、目的地に関する情報提示をするか否かが判定される。具体的な判定方法としては、例えば図１０に示すように、「決」、「次」、「説」の文字をプロジェクタ装置３００によって床面に表示させ、上述の足先検出の手法により、何れの文字が足先によって踏まれたかを検出する。
【０１６６】
そして、「説」の文字が操作された後に「決」の文字が操作された場合には、目的地に関する情報提示が選択されたと判定して、所定のメッセージをプロジェクタ装置３００によって床面や壁面等に投射する（ステップＳ３４）。また、「次」の文字が操作された後に「決」の文字が操作された場合には、予め設定された次の目的地への誘導を行う。
【０１６７】
次いで、ステップＳ３５では、最終目的地に到着したか否かが判定され、「Ｎｏ」の場合にはステップＳ３０に戻り、「Ｙｅｓ」の場合には処理を終了する。
【０１６８】
以上述べたように、本実施の形態に係る人物誘導ロボットＲ１によれば、人物を的確に認識することができ、また、その人物を確実に目的地に誘導することができる。
【０１６９】
以上本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本明細書で開示された実施の形態はすべての点で例示であって開示された技術に限定されるものではないと考えるべきである。すなわち、本発明の技術的な範囲は、前記の実施の形態における説明に基づいて制限的に解釈されるものでなく、あくまでも特許請求の範囲の記載に従って解釈すべきであり、特許請求の範囲の記載技術と均等な技術および特許請求の範囲内でのすべての変更が含まれる。
【産業上の利用可能性】
【０１７０】
本発明による人物誘導ロボットは、オフィス、博物館、各種展示会等の施設において来客者を認識したり、誘導したりする手段に適用することができる。
【符号の説明】
【０１７１】
Ｒ１…人物誘導ロボット
Ｐ１〜Ｐ３…操作パターン
１００…人物認識装置
１０１…全方位カメラ
１０１…全方位レンズ
１０２…肌色領域抽出部
１０３…髪領域抽出部
１０４…人物判定部
２００…移動機構
２０１…モータ
２０２…駆動ホイール
３００…プロジェクタ装置
３０１…パン・チルト機構
３０２…投影位置決定部
３０３…カメラ
４００…入力指示検出装置
４０１…プロジェクティブ・インタラクション・インタフェース
４０１…入力指示検出装置
５００…制御装置
６００…距離監視装置
７００…移動台車
Ｈ…操作者
Ｆ…足先
Ｇ…操作画面
【特許請求の範囲】
【請求項１】
ロボットの周囲における静止中または移動中の人物を認識する人物認識手段と、
ロボット自体を移動させる移動手段と、
誘導すべき人物に対して、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示する表示手段と、
該表示手段で表示された表示内容に対する前記誘導すべき人物による入力指示を検出する検出手段と、
該検出手段によって検出された前記入力指示に基づいて、前記移動手段および前記表示手段を制御する制御手段と、
を備えることを特徴とする人物誘導ロボット。
【請求項２】
前記表示手段は、パン・チルト機構を有するプロジェクタ装置で構成され、
前記検出手段は、前記プロジェクタ装置によって表示された表示内容に対する入力指示を前記誘導すべき人物の手や足の画像情報に基づいて検出するプロジェクティブ・インタラクション・インタフェースを備えた検出装置で構成されることを特徴とする請求項１に記載の人物誘導ロボット。
【請求項３】
ロボット自体の後方から追従すべき人物が所定距離以上離れたか否かを監視する監視手段をさらに備え、
前記制御手段は、
前記監視手段によって、追従すべき人物が所定距離以上離れたと判定された場合に、前記表示手段において、当該人物に対して注意を促す表示を行うように制御することを特徴とする請求項１または請求項２の何れかに記載の人物誘導ロボット。
【請求項４】
前記人物認識手段は、
ロボットの周囲における静止中または移動中の被測定物を含む領域の画像情報を取得する画像情報取得手段と、
該画像情報取得手段で取得された前記画像情報に基づいて、前記被測定物が人物であると仮定した場合の頭部に相当する領域について、肌色領域を抽出する肌色領域抽出手段と、
前記頭部に相当する領域について、毛髪が存在する髪領域を抽出する髪領域抽出手段と、
前記肌色領域抽出手段で抽出された肌色領域と、前記髪領域抽出手段で抽出された髪領域との比較結果に基づいて、前記被測定物が人物であるか否かを判定する人物判定手段と、
から構成されることを特徴とする請求項１から請求項３の何れかに記載の人物誘導ロボット。
【請求項５】
前記髪領域抽出手段は、前記肌色領域抽出手段で抽出された肌色領域の縦横比ＦＡＲ（但し、Ｆｈを縦幅、Ｆｗを横幅とした場合に、ＦＡＲ＝Ｆｈ／Ｆｗで定義される。）と、予め設定される閾値との比較結果に基づいて、前記髪領域を推定して抽出することを特徴とする請求項４に記載の人物誘導ロボット。
【請求項６】
前記表示手段は、前記誘導すべき人物による入力指示を行う操作画面を表示し、
前記検出装置は、該操作画面を介した入力指示を検出することを特徴とする請求項１から請求項５の何れかに記載の人物誘導ロボット。
【請求項７】
前記表示手段は、前記人物認識手段による認識結果に基づいて、前記誘導に必要な情報および前記操作画面の投影位置を決定する投影位置決定手段を有することを特徴とする請求項６に記載の人物誘導ロボット。
【請求項１】
ロボットの周囲における静止中または移動中の人物を認識する人物認識手段と、
ロボット自体を移動させる移動手段と、
誘導すべき人物に対して、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示する表示手段と、
該表示手段で表示された表示内容に対する前記誘導すべき人物による入力指示を検出する検出手段と、
該検出手段によって検出された前記入力指示に基づいて、前記移動手段および前記表示手段を制御する制御手段と、
を備えることを特徴とする人物誘導ロボット。
【請求項２】
前記表示手段は、パン・チルト機構を有するプロジェクタ装置で構成され、
前記検出手段は、前記プロジェクタ装置によって表示された表示内容に対する入力指示を前記誘導すべき人物の手や足の画像情報に基づいて検出するプロジェクティブ・インタラクション・インタフェースを備えた検出装置で構成されることを特徴とする請求項１に記載の人物誘導ロボット。
【請求項３】
ロボット自体の後方から追従すべき人物が所定距離以上離れたか否かを監視する監視手段をさらに備え、
前記制御手段は、
前記監視手段によって、追従すべき人物が所定距離以上離れたと判定された場合に、前記表示手段において、当該人物に対して注意を促す表示を行うように制御することを特徴とする請求項１または請求項２の何れかに記載の人物誘導ロボット。
【請求項４】
前記人物認識手段は、
ロボットの周囲における静止中または移動中の被測定物を含む領域の画像情報を取得する画像情報取得手段と、
該画像情報取得手段で取得された前記画像情報に基づいて、前記被測定物が人物であると仮定した場合の頭部に相当する領域について、肌色領域を抽出する肌色領域抽出手段と、
前記頭部に相当する領域について、毛髪が存在する髪領域を抽出する髪領域抽出手段と、
前記肌色領域抽出手段で抽出された肌色領域と、前記髪領域抽出手段で抽出された髪領域との比較結果に基づいて、前記被測定物が人物であるか否かを判定する人物判定手段と、
から構成されることを特徴とする請求項１から請求項３の何れかに記載の人物誘導ロボット。
【請求項５】
前記髪領域抽出手段は、前記肌色領域抽出手段で抽出された肌色領域の縦横比ＦＡＲ（但し、Ｆｈを縦幅、Ｆｗを横幅とした場合に、ＦＡＲ＝Ｆｈ／Ｆｗで定義される。）と、予め設定される閾値との比較結果に基づいて、前記髪領域を推定して抽出することを特徴とする請求項４に記載の人物誘導ロボット。
【請求項６】
前記表示手段は、前記誘導すべき人物による入力指示を行う操作画面を表示し、
前記検出装置は、該操作画面を介した入力指示を検出することを特徴とする請求項１から請求項５の何れかに記載の人物誘導ロボット。
【請求項７】
前記表示手段は、前記人物認識手段による認識結果に基づいて、前記誘導に必要な情報および前記操作画面の投影位置を決定する投影位置決定手段を有することを特徴とする請求項６に記載の人物誘導ロボット。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１０７１８４（Ｐ２０１３−１０７１８４Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５６１１５（Ｐ２０１１−２５６１１５）
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２０１１年５月２６日、一般社団法人日本機械学会発行の「ロボティクス・メカトロニクス 講演会２０１１ 講演論文集」に発表、２０１１年８月７日〜１０日、ＩＥＥＥ主催の「２０１１ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｃｈａｔｒｏｎｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ（メカトロニクス及びオートメーション国際会議）」において文書をもって発表、および一般社団法人日本ロボット学会発行の「第２９回日本ロボット学会学術講演会予稿集」に発表
【出願人】（８００００００６８）学校法人東京電機大学 (112)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２０１１年５月２６日、一般社団法人日本機械学会発行の「ロボティクス・メカトロニクス 講演会２０１１ 講演論文集」に発表、２０１１年８月７日〜１０日、ＩＥＥＥ主催の「２０１１ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｃｈａｔｒｏｎｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ（メカトロニクス及びオートメーション国際会議）」において文書をもって発表、および一般社団法人日本ロボット学会発行の「第２９回日本ロボット学会学術講演会予稿集」に発表
【出願人】（８００００００６８）学校法人東京電機大学 (112)
【Ｆターム（参考）】
[ Back to top ]