位置特定装置および動作指示装置並びに自走式ロボット
【課題】被搬送物等の指示対象物または搬送先等の指示対象位置の位置を特定する際の精度を向上させることができる位置特定装置および動作指示装置並びに自走式ロボットを提供することを目的とする。
【解決手段】ユーザの操作によって、作業空間における指示対象物に投影されたパターンを取得する画像取得部５１と、該画像取得部５１により取得された前記パターンから前記指示対象物の位置情報である座標を抽出する位置情報抽出部１２４とを備え、特定された前記指示対象物の位置情報に基づいた前記指示対象物に対する動作指示に基づいて、前記指示対象物に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置１０１を採用する。
【解決手段】ユーザの操作によって、作業空間における指示対象物に投影されたパターンを取得する画像取得部５１と、該画像取得部５１により取得された前記パターンから前記指示対象物の位置情報である座標を抽出する位置情報抽出部１２４とを備え、特定された前記指示対象物の位置情報に基づいた前記指示対象物に対する動作指示に基づいて、前記指示対象物に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置１０１を採用する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指示対象物または指示対象位置の位置特定装置および動作指示装置並びに自走式ロボットに関するものである。
【背景技術】
【０００２】
日常生活で利用される自走式ロボットに対し、ユーザからの指示によって物体の搬送作業等を行わせる場合、搬送する対象物や、対象物の位置・姿勢や、搬送先を人が指示する必要がある。
【０００３】
これらの指示を、レーザポインタを用いて行う技術が特許文献１に開示されている。この技術は、ユーザが被搬送物や搬送位置にレーザポインタを照射し、自走式ロボットがその位置を検出することにより指示された動作を実行するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２３１４４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記技術では、レーザポインタの輝点の認識が困難な場合があり、特に、直射日光の環境下では輝点の認識精度が著しく低下するため、指示された位置を特定することができず、自走式ロボットに対して動作を正確に指示することができないという問題があった。
【０００６】
本発明は、上記問題を解決するためになされたもので、被搬送物等の指示対象物または搬送先等の指示対象位置の位置を特定する際の精度を向上させることができる位置特定装置および動作指示装置並びに自走式ロボットを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は以下の手段を採用する。
【０００８】
本発明は、位置に応じて異なるパターンを有する映像パターンを、作業空間における指示対象物を含む所定の領域に投影し、該映像パターンに基づいて該指示対象物の位置を特定する位置特定装置であって、ユーザの操作によって、前記作業空間における前記指示対象物に投影された前記パターンを取得する画像取得部と、該画像取得部により取得された前記パターンから前記指示対象物の位置情報である座標を抽出する位置情報抽出部とを備え、特定された前記指示対象物の位置情報に基づいた前記指示対象物に対する動作指示に基づいて、前記指示対象物に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置を採用する。
【０００９】
本発明によれば、指示対象物に投影されたパターンに基づいて、指示対象物の位置情報を位置情報抽出部により抽出することができる。これにより、指示対象物の位置情報を予め登録しておく必要がなく、任意の位置に置かれた指示対象物の位置情報を抽出できるので、指示対象物の位置を容易に特定することが可能となる。
【００１０】
また、上記発明において、前記映像パターンは、複数のドットを有しており、該ドットの配置が位置に応じて異なることとしてもよい。
映像パターンとして、例えば、アノトパターン（登録商標）を用いることにより、指示対象物の位置情報を抽出することが可能となる。
【００１１】
また、上記発明において、前記映像パターンは、複数の色分けされた領域を有しており、位置に応じて色が異なることとしてもよい。
映像パターンとして、例えば、位置に応じて色分けされたパターンを用いることにより、指示対象物の位置情報を抽出することが可能となる。
【００１２】
本発明は、所定の位置に配置された複数の撮像装置により撮影された作業空間の複数の画像に基づいて、前記作業空間における指示対象物の位置を特定する位置特定装置であって、ユーザの操作によって、作業空間における前記指示対象物の画像を取得する画像取得部と、該画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記作業空間の複数の画像から算出した特徴量との比較を行う比較部と、該比較部による比較結果に基づいて前記指示対象物を特定する指示対象物特定部と、複数の前記撮像装置の位置関係と各前記撮像装置により撮影された前記作業空間の画像内における前記指示対象物の位置とに基づいて、前記指示対象物の位置情報である座標を抽出する位置情報抽出部とを備え、特定された前記指示対象物の位置情報に基づいた前記指示対象物に対する動作指示に基づいて、前記指示対象物に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置を採用する。
【００１３】
本発明によれば、撮像装置の位置関係と撮像装置により撮影された作業空間の複数の画像とに基づいて、画像取得部により取得された作業空間における指示対象物の位置情報が位置情報抽出部により抽出される。これにより、指示対象物の名称が明確でない場合や、指示対象物を言語で表現することが困難な場合においても、ユーザの操作によって画像取得部により取得された、作業空間における指示対象物の画像を用いてその位置情報を得ることができるので、指示対象物の位置を容易に特定することが可能となる。また、複数の撮像装置により指示対象物の位置情報を抽出することで、指示対象物の位置情報を予め登録しておく必要がなく、任意の位置に置かれた指示対象物の位置を特定することが可能となる。なお、３次元空間において２つの視点から、同一の点を見ているときの位置関係は、公知のエピポーラ幾何を用いた算出方法により推定することが可能である。
【００１４】
また、上記発明において、前記比較部が、前記画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記空間の画像から算出した特徴量との直接比較を行い、前記指示対象物特定部が、前記比較部による直接比較結果に基づいて前記指示対象物を特定することとしてもよい。
このようにすることで、指示対象物を特定する際の制御を容易に行うことができる。
【００１５】
また、上記発明において、前記比較部が、前記画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記空間の画像から算出した特徴量とを、予め登録された前記指示対象物の登録画像から算出した特徴量を介して間接比較を行い、前記指示対象物特定部が、前記比較部による間接比較結果に基づいて前記指示対象物を特定することとしてもよい。
各撮像装置と画像取得部とでは指示対象物を撮影する角度や位置が異なるため、各画像における指示対象物の歪み等が異なり、各画像から指示対象物を特定することが困難な場合がある。これに対し、予め登録された指示対象物の登録画像を介して間接比較を行うことで、指示対象物を特定する際の精度を向上させることができる。
【００１６】
また、上記発明において、前記指示対象物の登録画像が、複数の角度から撮影した前記指示対象物の画像であることとしてもよい。
指示対象物が立体形状を有する場合には、撮影する角度や位置によって指示対象物の見え方が異なる。これに対し、指示対象物の登録画像として、複数の角度から撮影した指示対象物の画像を予め登録しておくことで、指示対象物を特定する際の精度を向上させることができる。
【００１７】
また、上記発明において、前記画像取得部の撮影方向にレーザを照射するレーザ照射部を備えることとしてもよい。
このようにすることで、画像取得部の撮影方向に照射されたレーザの輝点をユーザが目視することができ、ユーザが意図する指示対象物または指示対象位置を確実に撮影することができる。
【００１８】
また、上記発明において、前記画像取得部が取得した画像を表示する表示部を備えることとしてもよい。
このようにすることで、画像取得部が取得した画像を、表示部にてユーザが目視することができ、ユーザが意図する指示対象物または指示対象位置を確実に撮影することができる。
【００１９】
また、上記発明において、前記表示部が、前記指示対象物の候補が複数ある場合に、各前記候補を表示し、表示された各前記候補の中から前記指示対象物の選択をユーザに促すこととしてもよい。
このようにすることで、ユーザが意図する指示対象物を確実に選択することが可能となる。
【００２０】
また、上記発明において、前記指示対象物までの距離を測定する距離測定部を備え、前記指示対象物特定部が、前記距離測定部により測定された距離をも用いて前記指示対象物を特定することとしてもよい。
画像取得部により取得した画像だけでなく、距離測定部により測定した距離をも用いて指示対象物の特定を行うことにより、大きさの異なる指示対象物または指示対象位置を識別することが可能となる。
【００２１】
本発明は、上記の位置特定装置により特定された前記指示対象物の位置情報に基づいて、前記指示対象物に対する動作指示を行う動作指示部を備える動作指示装置を採用する。
【００２２】
本発明によれば、指示対象物の名称が明確でない場合や、指示対象物を言語で表現することが困難な場合においても、指示対象物に対する動作指示を容易に行うことが可能となる。
【００２３】
本発明は、上記の動作指示装置による指示に基づいて前記指示対象物に対する動作を実行する自走式ロボットを採用する。
【００２４】
本発明によれば、指示対象物の名称が明確でない場合や、指示対象物を言語で表現することが困難な場合においても、指示対象物に対する動作を実行することが可能となる。
【発明の効果】
【００２５】
本発明によれば、被搬送物等の指示対象物または搬送先等の指示対象位置の位置を特定する際の精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００２６】
【図１】本発明の参考例１に係るロボットシステムのハードウェア構成図である。
【図２】図１に示すロボット本体の正面図である。
【図３】図１に示すロボット本体の左側面図である。
【図４】図１に示すロボットシステムの機能ブロック図である。
【図５】図１に示すロボットシステムの作用を説明する図である。
【図６】図１に示すロボットシステムの第１の変形例の機能ブロック図である。
【図７】図１に示すロボットシステムの第２の変形例の作用を説明する図である。
【図８】図１に示すロボットシステムの第３の変形例の作用を説明する図である。
【図９】図１に示すロボットシステムの第４の変形例の作用を説明する図である。
【図１０】図１に示すロボットシステムの第５の変形例の作用を説明する図である。
【図１１】本発明の第１の実施形態に係るロボットシステムのハードウェア構成図である。
【図１２】アノトパターン（登録商標）を説明する図である。
【図１３】図１１に示すロボットシステムの機能ブロック図である。
【図１４】図１１に示すロボットシステムの作用を説明する図である。
【図１５】図１１に示すロボットシステムの変形例の作用を説明する図である。
【図１６】本発明の参考例２に係るロボットシステムの機能ブロック図である。
【図１７】図１６に示すロボットシステムの作用を説明する図である。
【図１８】本発明の第２の実施形態に係るロボットシステムのハードウェア構成図である。
【図１９】図１８に示すロボットシステムの機能ブロック図である。
【図２０】図１８に示すロボットシステムの作用を説明する図である。
【図２１】図１８に示すロボットシステムの第１の変形例の作用を説明する図である。
【図２２】図１８に示すロボットシステムの第２の変形例の作用を説明する図である。
【発明を実施するための形態】
【００２７】
［参考例１］
以下に、本発明に係る位置特定装置、動作指示装置、および自走式ロボット（以下「ロボット」という。）を具備するロボットシステムの参考例１について、図面を参照して説明する。
図１に示すように、本参考例１に係るロボットシステム１００は、ロボット１と、ロボット１に対して動作を指示する動作指示装置５０とを備えている。
【００２８】
動作指示装置５０は、指示対象物の画像を取得する画像取得部５１と、ロボット１に対して動作指示を行う動作指示部５２とを備えている。画像取得部５１は、例えば、レンズおよびＣＣＤを備えるカメラである。
ロボット１は、動作指示装置５０からの指示に基づいてロボット１を制御する制御装置４０を備えている。制御装置４０は、動作指示装置５０に備えられた画像取得部５１により取得された指示対象物の画像に基づいて、指示対象物の位置を特定するようになっている。
【００２９】
以下に、ロボット１の構成について図２および図３を用いて説明する。
図２は、本参考例１に係るロボットの正面図、図３は、図２に示したロボットの左側面図である。
図２および図３に示すように、ロボット本体１には、頭部２と、この頭部２を下方から支持する胸部３と、この胸部３の右側に設けられた右腕部４ａ、胸部３の左側に設けられた左腕部４ｂと、胸部３の下方に接続された腰部５と、この腰部５の下方に接続されたスカート部６と、このスカート部６の下方に接続された脚部７とが設けられている。
【００３０】
頭部２には、頭頂部近傍に全方位カメラ１１が一つ設けられている。この全方位カメラ１１の外周に沿って複数の赤外線ＬＥＤ１２が所定の間隔で円環上に配置されている。
頭部２の前面の中央近傍には、図１に示すように、前方を撮像するための前方カメラ１３が正面視して右側に一つ、マイクロフォン１４が正面視して左側に一つ、それぞれ設けられている。
【００３１】
胸部３の前面の中央近傍には、モニタ１５が一つ設けられている。このモニタ１５の上方には、人を検知するための超音波距離センサ１６が一つ設けられている。モニタ１５の下方には、電源スイッチ１７が一つ設けられている。超音波距離センサ１６の上方には、２つのスピーカ１８が左右に一つずつ設けられている。また、図３に示すように、胸部３の背面には、荷物を収納することができるランドセル部３３が設けられている。ランドセル部３３には、上部に設けたヒンジ周りに回動可能な開閉扉３３ａが設けられている。図１に示すように、胸部３の左右の肩部には、マンマシンインターフェースとして機能する肩スイッチ１９がそれぞれ一つずつ設けられている。肩スイッチ１９には、例えば、タッチセンサが採用されている。
【００３２】
右腕部４ａおよび左腕部４ｂには、多関節構造が採用されている。右腕部４ａ、左腕部４ｂにおいて、胸部３との接続部近傍には、体や物の挟み込みを検知して腕の動作を止めるための脇スイッチ２０がそれぞれ設けられている。図２に示すように、右腕部４ａの手のひら部分には、マンマシンインターフェースとして機能する握手スイッチ２１が内蔵されている。これら脇スイッチ２０や握手スイッチ２１には、例えば、押圧センサが採用される。
【００３３】
腰部５の前面の中央近傍には、人を検知するための超音波距離センサ２２が左右に一つずつ設けられている。これら超音波距離センサ２２の下方には、複数の赤外センサ２３が配列されたセンサ領域２４が設けられている。これら赤外線センサ２２は、ロボット本体１の下方前方にある障害物等を検出するためのものである。図２および図３に示すように、腰部５の下方には、前面および背面において、音源方向を検出するためのマイクロフォン２５が左右に一つずつ、計４つ設けられている。図３に示すように、腰部５の側面の左右には、本体を持ち上げるときに使用する取手部２６がそれぞれ一つずつ設けられている。取手部２６は、凹所とされており、操作者の手が挿入できるようになっている。
【００３４】
スカート部６の前面下方には、段差を検出するための赤外線センサ２７が、中央および左右に計３つ設けられている。図３に示すように、スカート部６の背面には、充電コネクタ２８が設けられている。
【００３５】
図２に示すように、脚部７の前面には、側方の距離を検出するための赤外線センサ２９が左右に一つずつ設けられている。これら赤外線センサ２９は、主に段差検出に用いられるものである。
図３に示すように、脚部７の背面には、充電ステーションにロボット本体１を位置固定するためのフック３０が設けられている。脚部７は、走行用車輪３１および４つのボールキャスタ３２を備えた台車とされている。
上述したロボットにおいて、胸部３の超音波距離センサ１６、腰部５の超音波距離センサ２２およびマイクロフォン２５は、ロボット周辺にいる人物を検知する人検知センサ３４として機能する。
【００３６】
このようなロボットは、ロボット本体１に内蔵されたバッテリからの電源供給により、作業空間を自立的に移動することが可能な構成を備えており、一般家庭等の屋内を作業空間として人間と共存し、例えば、一般家庭内でロボットの所有者や操作者などのユーザの生活を補助・支援・介護するための各種サービスを提供するために用いられる。そのため、ロボットは、ユーザとの会話を実現させる会話機能のほか、ユーザの行動を見守ったり、ユーザの行動を補助したり、ユーザと一緒に行動したりする機能を備えている。
【００３７】
このような機能は、例えば、ロボット本体１の内部に内蔵されたマイクロコンピュータ等からなる制御装置４０により実現されるものである。制御装置４０には、図２および図３に示した各種カメラや各種センサ等が接続されており、カメラからの画像情報やセンサからのセンサ検出情報を取得し、これらの情報に基づいて各種プログラムを実行することにより、上述した各種機能を実現させる。また、制御装置４０は、動作指示装置５０からの信号を取得し、該信号に基づいて指示対象物の位置特定を行う。以下では、この指示対象物の位置特定が、位置特定装置１０１により行われるとして説明する。
【００３８】
図４に、位置特定装置１０１が備える機能を展開して表した機能ブロック図を示す。
図４に示すように、位置特定装置１０１は、画像および位置情報を記憶する記憶部１２１と、指示対象物の画像を取得する画像取得部５１と、複数の画像の比較を行う比較部１２２と、指示対象物を特定する指示対象物特定部１２３と、指示対象物の位置情報を抽出する位置情報抽出部１２４とを備えている。
【００３９】
記憶部１２１は、予め撮影した複数の対象物の画像から算出した特徴量と、該対象物の位置情報とを関連付けて記憶するようになっている。ここで、画像から算出した特徴量とは、比較処理をより正確・ロバスト・高速・小メモリでおこなうために、画像から抽出した画像の特徴を示す情報のことであり、例えば、輪郭形状や色等をいう。
画像取得部５１は、ユーザの操作によって指示対象物の画像を取得し、取得した指示対象物の画像から算出した特徴量を比較部１２２に出力するようになっている。
【００４０】
比較部１２２は、記憶部１２１に記憶された複数の対象物の画像から算出した特徴量を読み出し、読み出した複数の対象物の画像から算出した特徴量と画像取得部５１により取得された指示対象物の画像から算出した特徴量との比較を行い、比較結果を指示対象物特定部１２３に出力するようになっている。なお、比較に際しては、比較対象の画像の大きさや角度や歪みが異なっていても、例えば、US Patent 6,711,293, David G. Lowe,“Object recognition from local scale-invariant features,” International Conference on Computer Vision, Corfu, Greece (September 1999), pp.1150-1157.に示される公知の方法により、画像同士の類似度を算出することが可能である。
【００４１】
指示対象物特定部１２３は、比較部１２２による比較結果に基づいて指示対象物に最も一致する対象物を指示対象物として特定し、特定した結果を位置情報抽出部に出力するようになっている。
【００４２】
位置情報抽出部１２４は、指示対象物特定部１２３により特定された指示対象物に対応する対象物の位置情報を記憶部１２１より読み出し、読み出した対象物の位置情報を指示対象物の位置情報として動作指示部５２に出力するようになっている。
動作指示部５２は、位置情報抽出部１２４により抽出された指示対象物の位置情報および該位置情報に対する動作をロボット本体１に出力するようになっている。
【００４３】
このように構成された位置特定装置１０１の作用について、主に図５を用いて以下に説明する。
記憶部１２１には予め対象物Ａの画像ＰＡから算出した特徴量および対象物Ｂの画像ＰＢから算出した特徴量が、それぞれの位置情報と関連付けられて記憶されている。
【００４４】
ここで、ユーザが指示対象物として対象物Ｂを選択した場合、ユーザの操作によって画像取得部５１により指示対象物の画像ＱＢが取得される。
次に、比較部１２２により、画像取得部５１により取得された指示対象物の画像ＱＢから算出した特徴量と記憶部１２１から読み出した対象物Ａの画像ＰＡから算出した特徴量および対象物Ｂの画像ＰＢから算出した特徴量との比較が行われる。
【００４５】
次に、比較部１２２による比較結果に基づいて、指示対象物特定部１２３により画像ＱＢに最も一致する画像として画像ＰＢが選択され、画像ＰＢに対応する対象物Ｂが指示対象物として特定される。
【００４６】
次に、位置情報抽出部により、指示対象物として特定された対象物Ｂの画像ＰＢから算出した特徴量に関連付けられた位置情報、すなわち、図５においてテーブルの中央部の座標が、記憶部１２１より読み出される。
【００４７】
このように記憶部１２１より読み出された対象物Ｂの位置情報が、指示対象物の位置情報として抽出され、動作指示部５２によりロボット本体１に対して搬送指示等の動作指示が行われる。
【００４８】
以上説明したように、本参考例１に係る位置特定装置１０１によれば、記憶部１２１に記憶された複数の対象物の画像から算出した特徴量および位置情報に基づいて、画像取得部５１により取得された指示対象物が指示対象物特定部１２３により特定され、特定された指示対象物の位置情報が位置情報抽出部１２４により抽出される。これにより、指示対象物の名称が明確でない場合や、指示対象物を言語で表現することが困難な場合においても、画像取得部５１により取得された指示対象物の画像を用いて、その位置情報を得ることができ、指示対象物の位置を容易に特定することが可能となる。
【００４９】
なお、本参考例１の第１の変形例として、図６に示すように、画像取得部５１に代えてバーコードやＱＲコード等の画像コードの情報を取得する画像コード取得部５４を設け、記憶部１２１には対象物の画像に代えて画像コードの情報を記憶させることとしてもよい。
【００５０】
このようにすることで、例えば、外観が類似している複数の対象物を識別することができ、指示対象物を特定する際の精度を向上させることが可能となる。また、例えば、バーコードは既に多くの製品に付されており、バーコードと指示対象物を関連付けたデータベースを用いることで、指示対象物の名称等の情報を取得することも可能となる。
また、画像取得部５１と画像コード取得部５４とを併用することで、指示対象物の特定を容易に、かつ、高い精度で行うことが可能となる。
【００５１】
また、本参考例１の第２の変形例として、図７に示すように、画像取得部５１の撮影方向にレーザを照射するレーザ照射部５５を備えてもよい。ここで、レーザ照射部５５は、例えば、レーザポインタである。
このようにすることで、画像取得部５１の撮影方向に照射されたレーザの輝点をユーザが目視することができ、ユーザが意図する指示対象物を確実に撮影することができる。
【００５２】
また、本参考例１の第３の変形例として、図８に示すように、指示対象物までの距離を測定する距離測定部５６を備え、指示対象位置特定部１２３が、距離測定部５６により測定された距離をも用いて指示対象物を特定することとしてもよい。ここで、距離測定部５６は、例えば、レーザ測距機である。
画像取得部５１により取得した画像だけでなく、距離測定部５６により測定した距離をも用いて指示対象物の特定を行うことにより、大きさの異なる指示対象物を識別することが可能となる。
【００５３】
また、本参考例１の第４の変形例として、図９に示すように、画像取得部５１が取得した画像を表示する表示部５７を備えてもよい。ここで、表示部５７は、例えば、ＣＲＴ（cathode-ray tube）やＬＣＤ（liquid Crystal Display）等のモニタである。
このようにすることで、画像取得部５１が取得した画像を、表示部５７にてユーザが目視することができ、ユーザが意図する指示対象物を確実に撮影することができる。
【００５４】
また、本参考例１の第５の変形例として、図１０に示すように、指示対象物の候補が複数ある場合に、各候補を表示部５７に表示し、表示された各候補の中から指示対象物の選択をユーザに促すこととしてもよい。
このようにすることで、ユーザが意図する指示対象物を確実に選択することが可能となる。なお、各候補の表示を表示部５７ではなく、動作指示装置６０とは別に設けられたタッチパネル５８に行うこととしてもよい。
【００５５】
〔第１の実施形態〕
次に、本発明の第１の実施形態について、図１１から図１５を用いて説明する。
本実施形態のロボットシステムが参考例１と異なる点は、映写装置により位置に応じて異なるパターンを有する映像パターンを投影し、該映像パターンに基づいて指示対象物の位置情報を抽出する点である。以下、本実施形態のロボットシステムについて、参考例１と共通する点については説明を省略し、異なる点について主に説明する。
【００５６】
図１１に示すように、本実施形態に係るロボットシステム２００は、ロボット１と、ロボット１に対して動作を指示する動作指示装置６０と、位置に応じて異なるパターンを有する映像パターンを投影する映写装置６３とを備えている。
ここでは、位置に応じて異なるパターンを有する映像パターンとして、例えば、図１２に示すアノトパターン（登録商標）を用いることとして説明する。アノトパターン（登録商標）は、格子状の線分上に複数のドットが配置され、該ドットの配置が位置に応じて異なるパターンである。
【００５７】
映写装置６３は、例えば、人には不可視な近赤外線を映写する映写装置であり、画像取得部６１は、例えば、近赤外線の光を取得可能な近赤外線カメラである。これにより、映写装置６３により投影される画像パターンを人に認識させることなく、画像取得部６１により取得させることが可能となる。
【００５８】
上記構成を有するロボットシステム２００において、映写装置６３により指示対象物に投影された映像パターンを画像取得部６１により取得し、取得した映像パターンに基づいて制御装置４０により指示対象物の位置特定が行われる。以下では、この指示対象物の位置特定が、位置特定装置１０３により行われるとして説明する。
【００５９】
図１３に、位置特定装置１０３が備える機能を展開して表した機能ブロック図を示す。
図１３に示すように、位置特定装置１０３は、指示対象物に投影されたパターンを取得する画像取得部６１と、指示対象物の位置情報を抽出する位置情報抽出部１３４とを備えている。
【００６０】
画像取得部６１は、ユーザの操作によって、映写部６３により指示対象物に投影された映像パターンを取得し、取得した映像パターンを位置情報抽出部１３４に出力するようになっている。
【００６１】
位置情報抽出部１３４は、画像取得部６１により取得された映像パターンから指示対象物の位置情報を抽出し、抽出した指示対象物の位置情報を動作指示部６２に出力するようになっている。
動作指示部６２は、位置情報抽出部１３４により抽出された指示対象物の位置情報および該位置情報に対する動作をロボット本体１に出力するようになっている。
【００６２】
このように構成された位置特定装置１０２の作用について、主に図１４を用いて以下に説明する。
映写装置６３より、例えば、アノトパターン（登録商標）の映像パターンが、指示対象物を含む所定の領域に投影されている。
ここで、ユーザが指示対象物として対象物Ｂを選択した場合、ユーザの操作によって画像取得部６１により対象物Ｂに投影された映像パターンの画像ＲＢが取得される。
【００６３】
次に、位置情報抽出部１３４により、対象物Ｂに投影された映像パターンの画像ＲＢの位置情報、すなわち、図１４においてテーブルの中央部の座標が抽出される。
【００６４】
このように指示対象物の位置情報が抽出され、動作指示部６２によりロボット本体１に対して搬送指示等の動作指示が行われる。
なお、参考例１と同様に、複数の対象物の画像から算出した特徴量を画像ＤＢに記憶させ、画像取得部６１が映像パターンだけでなく対象物の画像をも取得することにより、指示対象物自体を特定することも可能となる。
【００６５】
以上説明したように、本実施形態に係る位置特定装置１０３によれば、画像取得部６１により指示対象物に投影されたパターンを取得し、該パターンに基づいて指示対象物の位置情報を位置情報抽出部１３４により抽出することができる。これにより、指示対象物の位置情報を予め登録しておく必要がなく、任意の位置に置かれた指示対象物の位置情報を抽出することが可能となる。
【００６６】
なお、本実施形態の変形例として、図１５に示すように、映写装置６３が位置に応じて色が異なる映像パターンを投影し、画像取得部６１が該パターンを取得することとしてもよい。
このようにすることで、指示対象物に投影された色パターンに基づいて、指示対象物の位置情報を抽出することができる。
【００６７】
〔参考例２〕
次に、本発明の参考例２について、図１６および図１７を用いて説明する。
本参考例２のロボットシステムが前述の実施形態又は参考例と異なる点は、作業が行われる空間の画像に基づいて指示対象位置の位置情報を抽出する点である。以下、本参考例２のロボットシステムについて、前述の実施形態又は参考例と共通する点については説明を省略し、異なる点について主に説明する。
【００６８】
図１６に、指示対象位置の位置特定装置１０４が備える機能を展開して表した機能ブロック図を示す。
図１６に示すように、位置特定装置１０４は、画像から算出した特徴量および位置情報を記憶する記憶部１２１と、指示対象位置の画像を取得する画像取得部５１と、複数の画像から算出した特徴量の比較を行う比較部１２２と、指示対象位置を特定する指示対象位置特定部１３３と、指示対象位置の位置情報を抽出する位置情報抽出部１２４とを備えている。
【００６９】
記憶部１２１は、壁、天井、床面等の作業が行われる空間の画像から算出した特徴量と、該空間の位置情報とを関連付けて記憶するようになっている。
画像取得部５１は、ユーザの操作によって指示対象位置の画像を取得し、取得した指示対象位置の画像から算出した特徴量を比較部１２２に出力するようになっている。
【００７０】
比較部１２２は、記憶部１２１に記憶された作業が行われる空間の画像から算出した特徴量を読み出し、読み出した空間の画像から算出した特徴量と画像取得部５１により取得された指示対象位置の画像から算出した特徴量との比較を行い、比較結果を指示対象位置特定部１３３に出力するようになっている。
指示対象位置特定部１３３は、比較部１２２による比較結果に基づいて指示対象位置に最も一致する空間を指示対象位置として特定し、特定した結果を位置情報抽出部に出力するようになっている。
【００７１】
位置情報抽出部１２４は、指示対象位置特定部１３３により特定された指示対象位置に対応する空間の位置情報を記憶部１２１より読み出し、読み出した空間の位置情報を指示対象位置の位置情報として動作指示部５２に出力するようになっている。
動作指示部５２は、位置情報抽出部１２４により抽出された指示対象位置の位置情報および該位置情報に対する動作をロボット本体１に出力するようになっている。
【００７２】
このように構成された位置特定装置１０４の作用について、主に図１７を用いて以下に説明する。
図１７（ａ）に示すように、記憶部１２１には作業が行われる空間の壁面Ａの画像ＳＡから算出した特徴量、壁面Ｂの画像ＳＢから算出した特徴量、および壁面Ｃの画像ＳＣから算出した特徴量が、それぞれの位置情報と関連付けられて記憶されている。
【００７３】
ここで、図１７（ｂ）に示すように、ユーザが指示対象位置として、壁面Ｃの領域Ｘを選択した場合、ユーザの操作によって画像取得部５１により指示対象位置の画像ＴＸが取得される。
次に、比較部１２２により、画像取得部５１により取得された指示対象位置の画像ＴＸから算出した特徴量と記憶部１２１から読み出した壁面Ａの画像ＳＡから算出した特徴量、壁面Ｂの画像ＳＢから算出した特徴量、および壁面Ｃの画像ＳＣから算出した特徴量との比較が行われる。
【００７４】
次に、比較部１２２による比較結果に基づいて、指示対象位置特定部１３３により画像ＴＸに最も一致する画像として画像ＳＣの中の領域Ｘが選択され、領域Ｘの位置が指示対象位置として特定される。
次に、位置情報抽出部１２４により、指示対象位置として特定された領域Ｘに関連付けられた位置情報、すなわち、図１７（ｂ）において壁面Ｃに配置された棚の最上段左側部の座標が、記憶部１２１より読み出される。
【００７５】
このように記憶部１２１より読み出された領域Ｘの位置情報が、指示対象位置の位置情報として抽出され、動作指示部５２によりロボット本体１に対して搬送指示等の動作指示が行われる。
【００７６】
以上説明したように、本参考例２に係る位置特定装置１０４によれば、壁面、または床面、あるいは天井面等の作業が行われる空間の画像から算出した特徴量および位置情報に基づいて、画像取得部５１により取得された指示対象位置の位置情報を抽出することができる。
また、図１７（ｃ）に示すように、作業が行われる空間の画像内における窓等の大きさや歪みから、デバイスである動作指示装置７０の位置や向いている方向を推定することが可能となる。
【００７７】
〔第２の実施形態〕
次に、本発明の第２の実施形態について、図１８から図２２を用いて説明する。
本実施形態のロボットシステムが前述の実施形態又は参考例と異なる点は、所定の位置に配置された複数の撮像装置により撮影された作業が行われる空間の画像に基づいて、指示対象物の位置を特定する点である。以下、本実施形態のロボットシステムについて、前述の実施形態又は参考例と共通する点については説明を省略し、異なる点について主に説明する。
【００７８】
図１８に示すように、本実施形態に係るロボットシステム３００は、ロボット１と、ロボット１に対して動作を指示する動作指示装置７０と、作業が行われる空間を撮影する複数の撮像装置７３とを備えている。
撮像装置７３は、例えば、作業が行われる空間の隅部の天井面に配置され、レンズおよびＣＣＤを備えるカメラである。
【００７９】
上記構成を有するロボットシステム３００において、指示対象物の画像を画像取得部７１により取得し、画像取得部７１により取得された指示対象物の画像および撮像装置７３により撮影された作業が行われる空間の画像に基づいて制御装置４０により指示対象物の位置特定が行われる。以下では、この指示対象物の位置特定が、位置特定装置１０５により行われるとして説明する。
【００８０】
図１９に、指示対象物の位置特定装置１０５が備える機能を展開して表した機能ブロック図を示す。
図１９に示すように、位置特定装置１０５は、指示対象物の画像を取得する画像取得部７１と、複数の画像から算出した特徴量の比較を行う比較部１２２と、指示対象物を特定する指示対象物特定部１２３と、指示対象物の位置情報を抽出する位置情報抽出部１４４とを備えている。
【００８１】
画像取得部７１は、ユーザの操作によって指示対象物の画像を取得し、取得した指示対象物の画像から算出した特徴量を比較部１２２に出力するようになっている。
比較部１２２は、撮像装置７３により撮影された作業が行われる空間の画像から算出した特徴量と画像取得部７１により取得された指示対象物の画像から算出した特徴量との比較を行い、比較結果を指示対象物特定部１２３に出力するようになっている。
【００８２】
指示対象物特定部１２３は、比較部１２２による比較結果に基づいて指示対象物に最も一致する対象物を指示対象物として特定し、特定した結果を位置情報抽出部１４４に出力するようになっている。
【００８３】
位置情報抽出部１４４は、撮像装置７３の位置関係と撮像装置７３により撮影された作業が行われる空間の画像内における指示対象物の位置とに基づいて、指示対象物の位置情報を抽出し、抽出した指示対象物の位置情報を動作指示部７２に出力するようになっている。
動作指示部７２は、位置情報抽出部１４４により抽出された指示対象物の位置情報および該位置情報に対する動作をロボット本体１に出力するようになっている。
【００８４】
このように構成された位置特定装置１０５の作用について、主に図２０を用いて以下に説明する。
撮像装置７３（ａ）および撮像装置７３（ｂ）により、作業が行われる空間が撮影されている。撮像装置７３（ａ）により撮影された画像が画像ＵＡ、撮像装置７３（ｂ）により撮影された画像が画像ＵＢである。
【００８５】
ここで、ユーザが指示対象物として対象物Ｄを選択した場合、ユーザの操作によって画像取得部７１により指示対象物の画像Ｖが取得される。
次に、比較部１２２により、画像取得部７１により取得された指示対象物の画像Ｖから算出した特徴量と、撮像装置７３（ａ）により撮影された画像ＵＡから算出した特徴量および撮像装置７３（ｂ）により撮影された画像ＵＢから算出した特徴量との比較が行われる。
【００８６】
次に、比較部１２２による比較結果に基づいて、指示対象物特定部１２３により画像Ｖに一致する画像として、画像ＵＡの中の領域Ｙおよび画像ＵＢの中の領域Ｚが選択され、領域Ｙおよび領域Ｚに対応する対象物が指示対象物として特定される。
【００８７】
次に、位置情報抽出部１４４により、撮像装置７３（ａ）と撮像装置７３（ｂ）との位置関係と、画像ＵＡおよび画像ＵＢにおける指示対象物の位置とに基づいて、指示対象物の位置情報が抽出される。この際、指示対象物の位置情報は、例えば、Richard Hartley and Andrew Zisserman(2003)．Multiple View Geometry in computer vision．Cambridge University Press．ISBN 0-521-54051-8．に示される公知のエピポーラ幾何を用いた算出方法により推定することができる。
【００８８】
以上説明したように、本実施形態に係る位置特定装置１０５によれば、撮像装置７３（ａ）と７３（ｂ）との位置関係と、撮像装置７３（ａ）および撮像装置７３（ｂ）により撮影された作業が行われる空間の画像とに基づいて、画像取得部７１により取得された指示対象物の位置情報が位置情報抽出部１４４により抽出される。このように、複数の撮像装置により指示対象物の位置情報を抽出することで、指示対象物の位置情報を予め登録しておく必要がなく、任意の位置に置かれた指示対象物の位置を特定することが可能となる。
【００８９】
なお、本実施形態の第１の変形例として、図２１に示すように、画像ＤＢに指示対象物の画像から算出した特徴量を予め登録しておき、比較部１２２が、画像取得部７１により取得された指示対象物の画像から算出した特徴量と撮像装置７３（ａ）および撮像装置７３（ｂ）により撮影された作業が行われる空間の画像から算出した特徴量とを、画像ＤＢの登録画像から算出した特徴量を介して間接比較を行い、指示対象物特定部１２３が、比較部１２２による間接比較結果に基づいて指示対象物を特定することとしてもよい。
【００９０】
撮像装置７３（ａ）と撮像装置７３（ｂ）と画像取得部７１とでは指示対象物を撮影する角度や位置が異なるため、各画像における指示対象物の歪み等が異なり、各画像から指示対象物を特定することが困難な場合がある。これに対し、予め画像ＤＢに登録された指示対象物の画像を介して間接比較を行うことで、指示対象物を特定する際の精度を向上させることができる。
【００９１】
また、本実施形態の第２の変形例として、図２２に示すように、画像ＤＢに予め登録する指示対象物の画像から算出した特徴量を、複数の角度から撮影した指示対象物の画像から算出した特徴量としてもよい。
指示対象物が立体形状を有する場合には、撮影する角度や位置によって指示対象物の見え方が異なる。これに対し、指示対象物の登録画像として、複数の角度から撮影した指示対象物の画像とすることで、指示対象物を特定する際の精度を向上させることができる。
【００９２】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００９３】
１ ロボット本体
４０ 制御装置
５０，６０，７０ 動作指示装置
５１，６１，７１ 画像取得部
５２，６２，７２ 動作指示部
５４ 画像コード取得部
５５ レーザ照射部
５６ 距離測定部
５７ 表示部
５８ タッチパネル
６３ 映写装置
７３，７３（ａ），７２（ｂ） 撮像装置
１００，２００，３００ ロボットシステム
１０１，１０３，１０４，１０５ 位置特定装置
１２１ 記憶部
１２２ 比較部
１２３ 指示対象物特定部
１２４，１３４，１４４ 位置情報抽出部
１３３ 指示対象位置特定部
【技術分野】
【０００１】
本発明は、指示対象物または指示対象位置の位置特定装置および動作指示装置並びに自走式ロボットに関するものである。
【背景技術】
【０００２】
日常生活で利用される自走式ロボットに対し、ユーザからの指示によって物体の搬送作業等を行わせる場合、搬送する対象物や、対象物の位置・姿勢や、搬送先を人が指示する必要がある。
【０００３】
これらの指示を、レーザポインタを用いて行う技術が特許文献１に開示されている。この技術は、ユーザが被搬送物や搬送位置にレーザポインタを照射し、自走式ロボットがその位置を検出することにより指示された動作を実行するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２３１４４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記技術では、レーザポインタの輝点の認識が困難な場合があり、特に、直射日光の環境下では輝点の認識精度が著しく低下するため、指示された位置を特定することができず、自走式ロボットに対して動作を正確に指示することができないという問題があった。
【０００６】
本発明は、上記問題を解決するためになされたもので、被搬送物等の指示対象物または搬送先等の指示対象位置の位置を特定する際の精度を向上させることができる位置特定装置および動作指示装置並びに自走式ロボットを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は以下の手段を採用する。
【０００８】
本発明は、位置に応じて異なるパターンを有する映像パターンを、作業空間における指示対象物を含む所定の領域に投影し、該映像パターンに基づいて該指示対象物の位置を特定する位置特定装置であって、ユーザの操作によって、前記作業空間における前記指示対象物に投影された前記パターンを取得する画像取得部と、該画像取得部により取得された前記パターンから前記指示対象物の位置情報である座標を抽出する位置情報抽出部とを備え、特定された前記指示対象物の位置情報に基づいた前記指示対象物に対する動作指示に基づいて、前記指示対象物に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置を採用する。
【０００９】
本発明によれば、指示対象物に投影されたパターンに基づいて、指示対象物の位置情報を位置情報抽出部により抽出することができる。これにより、指示対象物の位置情報を予め登録しておく必要がなく、任意の位置に置かれた指示対象物の位置情報を抽出できるので、指示対象物の位置を容易に特定することが可能となる。
【００１０】
また、上記発明において、前記映像パターンは、複数のドットを有しており、該ドットの配置が位置に応じて異なることとしてもよい。
映像パターンとして、例えば、アノトパターン（登録商標）を用いることにより、指示対象物の位置情報を抽出することが可能となる。
【００１１】
また、上記発明において、前記映像パターンは、複数の色分けされた領域を有しており、位置に応じて色が異なることとしてもよい。
映像パターンとして、例えば、位置に応じて色分けされたパターンを用いることにより、指示対象物の位置情報を抽出することが可能となる。
【００１２】
本発明は、所定の位置に配置された複数の撮像装置により撮影された作業空間の複数の画像に基づいて、前記作業空間における指示対象物の位置を特定する位置特定装置であって、ユーザの操作によって、作業空間における前記指示対象物の画像を取得する画像取得部と、該画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記作業空間の複数の画像から算出した特徴量との比較を行う比較部と、該比較部による比較結果に基づいて前記指示対象物を特定する指示対象物特定部と、複数の前記撮像装置の位置関係と各前記撮像装置により撮影された前記作業空間の画像内における前記指示対象物の位置とに基づいて、前記指示対象物の位置情報である座標を抽出する位置情報抽出部とを備え、特定された前記指示対象物の位置情報に基づいた前記指示対象物に対する動作指示に基づいて、前記指示対象物に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置を採用する。
【００１３】
本発明によれば、撮像装置の位置関係と撮像装置により撮影された作業空間の複数の画像とに基づいて、画像取得部により取得された作業空間における指示対象物の位置情報が位置情報抽出部により抽出される。これにより、指示対象物の名称が明確でない場合や、指示対象物を言語で表現することが困難な場合においても、ユーザの操作によって画像取得部により取得された、作業空間における指示対象物の画像を用いてその位置情報を得ることができるので、指示対象物の位置を容易に特定することが可能となる。また、複数の撮像装置により指示対象物の位置情報を抽出することで、指示対象物の位置情報を予め登録しておく必要がなく、任意の位置に置かれた指示対象物の位置を特定することが可能となる。なお、３次元空間において２つの視点から、同一の点を見ているときの位置関係は、公知のエピポーラ幾何を用いた算出方法により推定することが可能である。
【００１４】
また、上記発明において、前記比較部が、前記画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記空間の画像から算出した特徴量との直接比較を行い、前記指示対象物特定部が、前記比較部による直接比較結果に基づいて前記指示対象物を特定することとしてもよい。
このようにすることで、指示対象物を特定する際の制御を容易に行うことができる。
【００１５】
また、上記発明において、前記比較部が、前記画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記空間の画像から算出した特徴量とを、予め登録された前記指示対象物の登録画像から算出した特徴量を介して間接比較を行い、前記指示対象物特定部が、前記比較部による間接比較結果に基づいて前記指示対象物を特定することとしてもよい。
各撮像装置と画像取得部とでは指示対象物を撮影する角度や位置が異なるため、各画像における指示対象物の歪み等が異なり、各画像から指示対象物を特定することが困難な場合がある。これに対し、予め登録された指示対象物の登録画像を介して間接比較を行うことで、指示対象物を特定する際の精度を向上させることができる。
【００１６】
また、上記発明において、前記指示対象物の登録画像が、複数の角度から撮影した前記指示対象物の画像であることとしてもよい。
指示対象物が立体形状を有する場合には、撮影する角度や位置によって指示対象物の見え方が異なる。これに対し、指示対象物の登録画像として、複数の角度から撮影した指示対象物の画像を予め登録しておくことで、指示対象物を特定する際の精度を向上させることができる。
【００１７】
また、上記発明において、前記画像取得部の撮影方向にレーザを照射するレーザ照射部を備えることとしてもよい。
このようにすることで、画像取得部の撮影方向に照射されたレーザの輝点をユーザが目視することができ、ユーザが意図する指示対象物または指示対象位置を確実に撮影することができる。
【００１８】
また、上記発明において、前記画像取得部が取得した画像を表示する表示部を備えることとしてもよい。
このようにすることで、画像取得部が取得した画像を、表示部にてユーザが目視することができ、ユーザが意図する指示対象物または指示対象位置を確実に撮影することができる。
【００１９】
また、上記発明において、前記表示部が、前記指示対象物の候補が複数ある場合に、各前記候補を表示し、表示された各前記候補の中から前記指示対象物の選択をユーザに促すこととしてもよい。
このようにすることで、ユーザが意図する指示対象物を確実に選択することが可能となる。
【００２０】
また、上記発明において、前記指示対象物までの距離を測定する距離測定部を備え、前記指示対象物特定部が、前記距離測定部により測定された距離をも用いて前記指示対象物を特定することとしてもよい。
画像取得部により取得した画像だけでなく、距離測定部により測定した距離をも用いて指示対象物の特定を行うことにより、大きさの異なる指示対象物または指示対象位置を識別することが可能となる。
【００２１】
本発明は、上記の位置特定装置により特定された前記指示対象物の位置情報に基づいて、前記指示対象物に対する動作指示を行う動作指示部を備える動作指示装置を採用する。
【００２２】
本発明によれば、指示対象物の名称が明確でない場合や、指示対象物を言語で表現することが困難な場合においても、指示対象物に対する動作指示を容易に行うことが可能となる。
【００２３】
本発明は、上記の動作指示装置による指示に基づいて前記指示対象物に対する動作を実行する自走式ロボットを採用する。
【００２４】
本発明によれば、指示対象物の名称が明確でない場合や、指示対象物を言語で表現することが困難な場合においても、指示対象物に対する動作を実行することが可能となる。
【発明の効果】
【００２５】
本発明によれば、被搬送物等の指示対象物または搬送先等の指示対象位置の位置を特定する際の精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００２６】
【図１】本発明の参考例１に係るロボットシステムのハードウェア構成図である。
【図２】図１に示すロボット本体の正面図である。
【図３】図１に示すロボット本体の左側面図である。
【図４】図１に示すロボットシステムの機能ブロック図である。
【図５】図１に示すロボットシステムの作用を説明する図である。
【図６】図１に示すロボットシステムの第１の変形例の機能ブロック図である。
【図７】図１に示すロボットシステムの第２の変形例の作用を説明する図である。
【図８】図１に示すロボットシステムの第３の変形例の作用を説明する図である。
【図９】図１に示すロボットシステムの第４の変形例の作用を説明する図である。
【図１０】図１に示すロボットシステムの第５の変形例の作用を説明する図である。
【図１１】本発明の第１の実施形態に係るロボットシステムのハードウェア構成図である。
【図１２】アノトパターン（登録商標）を説明する図である。
【図１３】図１１に示すロボットシステムの機能ブロック図である。
【図１４】図１１に示すロボットシステムの作用を説明する図である。
【図１５】図１１に示すロボットシステムの変形例の作用を説明する図である。
【図１６】本発明の参考例２に係るロボットシステムの機能ブロック図である。
【図１７】図１６に示すロボットシステムの作用を説明する図である。
【図１８】本発明の第２の実施形態に係るロボットシステムのハードウェア構成図である。
【図１９】図１８に示すロボットシステムの機能ブロック図である。
【図２０】図１８に示すロボットシステムの作用を説明する図である。
【図２１】図１８に示すロボットシステムの第１の変形例の作用を説明する図である。
【図２２】図１８に示すロボットシステムの第２の変形例の作用を説明する図である。
【発明を実施するための形態】
【００２７】
［参考例１］
以下に、本発明に係る位置特定装置、動作指示装置、および自走式ロボット（以下「ロボット」という。）を具備するロボットシステムの参考例１について、図面を参照して説明する。
図１に示すように、本参考例１に係るロボットシステム１００は、ロボット１と、ロボット１に対して動作を指示する動作指示装置５０とを備えている。
【００２８】
動作指示装置５０は、指示対象物の画像を取得する画像取得部５１と、ロボット１に対して動作指示を行う動作指示部５２とを備えている。画像取得部５１は、例えば、レンズおよびＣＣＤを備えるカメラである。
ロボット１は、動作指示装置５０からの指示に基づいてロボット１を制御する制御装置４０を備えている。制御装置４０は、動作指示装置５０に備えられた画像取得部５１により取得された指示対象物の画像に基づいて、指示対象物の位置を特定するようになっている。
【００２９】
以下に、ロボット１の構成について図２および図３を用いて説明する。
図２は、本参考例１に係るロボットの正面図、図３は、図２に示したロボットの左側面図である。
図２および図３に示すように、ロボット本体１には、頭部２と、この頭部２を下方から支持する胸部３と、この胸部３の右側に設けられた右腕部４ａ、胸部３の左側に設けられた左腕部４ｂと、胸部３の下方に接続された腰部５と、この腰部５の下方に接続されたスカート部６と、このスカート部６の下方に接続された脚部７とが設けられている。
【００３０】
頭部２には、頭頂部近傍に全方位カメラ１１が一つ設けられている。この全方位カメラ１１の外周に沿って複数の赤外線ＬＥＤ１２が所定の間隔で円環上に配置されている。
頭部２の前面の中央近傍には、図１に示すように、前方を撮像するための前方カメラ１３が正面視して右側に一つ、マイクロフォン１４が正面視して左側に一つ、それぞれ設けられている。
【００３１】
胸部３の前面の中央近傍には、モニタ１５が一つ設けられている。このモニタ１５の上方には、人を検知するための超音波距離センサ１６が一つ設けられている。モニタ１５の下方には、電源スイッチ１７が一つ設けられている。超音波距離センサ１６の上方には、２つのスピーカ１８が左右に一つずつ設けられている。また、図３に示すように、胸部３の背面には、荷物を収納することができるランドセル部３３が設けられている。ランドセル部３３には、上部に設けたヒンジ周りに回動可能な開閉扉３３ａが設けられている。図１に示すように、胸部３の左右の肩部には、マンマシンインターフェースとして機能する肩スイッチ１９がそれぞれ一つずつ設けられている。肩スイッチ１９には、例えば、タッチセンサが採用されている。
【００３２】
右腕部４ａおよび左腕部４ｂには、多関節構造が採用されている。右腕部４ａ、左腕部４ｂにおいて、胸部３との接続部近傍には、体や物の挟み込みを検知して腕の動作を止めるための脇スイッチ２０がそれぞれ設けられている。図２に示すように、右腕部４ａの手のひら部分には、マンマシンインターフェースとして機能する握手スイッチ２１が内蔵されている。これら脇スイッチ２０や握手スイッチ２１には、例えば、押圧センサが採用される。
【００３３】
腰部５の前面の中央近傍には、人を検知するための超音波距離センサ２２が左右に一つずつ設けられている。これら超音波距離センサ２２の下方には、複数の赤外センサ２３が配列されたセンサ領域２４が設けられている。これら赤外線センサ２２は、ロボット本体１の下方前方にある障害物等を検出するためのものである。図２および図３に示すように、腰部５の下方には、前面および背面において、音源方向を検出するためのマイクロフォン２５が左右に一つずつ、計４つ設けられている。図３に示すように、腰部５の側面の左右には、本体を持ち上げるときに使用する取手部２６がそれぞれ一つずつ設けられている。取手部２６は、凹所とされており、操作者の手が挿入できるようになっている。
【００３４】
スカート部６の前面下方には、段差を検出するための赤外線センサ２７が、中央および左右に計３つ設けられている。図３に示すように、スカート部６の背面には、充電コネクタ２８が設けられている。
【００３５】
図２に示すように、脚部７の前面には、側方の距離を検出するための赤外線センサ２９が左右に一つずつ設けられている。これら赤外線センサ２９は、主に段差検出に用いられるものである。
図３に示すように、脚部７の背面には、充電ステーションにロボット本体１を位置固定するためのフック３０が設けられている。脚部７は、走行用車輪３１および４つのボールキャスタ３２を備えた台車とされている。
上述したロボットにおいて、胸部３の超音波距離センサ１６、腰部５の超音波距離センサ２２およびマイクロフォン２５は、ロボット周辺にいる人物を検知する人検知センサ３４として機能する。
【００３６】
このようなロボットは、ロボット本体１に内蔵されたバッテリからの電源供給により、作業空間を自立的に移動することが可能な構成を備えており、一般家庭等の屋内を作業空間として人間と共存し、例えば、一般家庭内でロボットの所有者や操作者などのユーザの生活を補助・支援・介護するための各種サービスを提供するために用いられる。そのため、ロボットは、ユーザとの会話を実現させる会話機能のほか、ユーザの行動を見守ったり、ユーザの行動を補助したり、ユーザと一緒に行動したりする機能を備えている。
【００３７】
このような機能は、例えば、ロボット本体１の内部に内蔵されたマイクロコンピュータ等からなる制御装置４０により実現されるものである。制御装置４０には、図２および図３に示した各種カメラや各種センサ等が接続されており、カメラからの画像情報やセンサからのセンサ検出情報を取得し、これらの情報に基づいて各種プログラムを実行することにより、上述した各種機能を実現させる。また、制御装置４０は、動作指示装置５０からの信号を取得し、該信号に基づいて指示対象物の位置特定を行う。以下では、この指示対象物の位置特定が、位置特定装置１０１により行われるとして説明する。
【００３８】
図４に、位置特定装置１０１が備える機能を展開して表した機能ブロック図を示す。
図４に示すように、位置特定装置１０１は、画像および位置情報を記憶する記憶部１２１と、指示対象物の画像を取得する画像取得部５１と、複数の画像の比較を行う比較部１２２と、指示対象物を特定する指示対象物特定部１２３と、指示対象物の位置情報を抽出する位置情報抽出部１２４とを備えている。
【００３９】
記憶部１２１は、予め撮影した複数の対象物の画像から算出した特徴量と、該対象物の位置情報とを関連付けて記憶するようになっている。ここで、画像から算出した特徴量とは、比較処理をより正確・ロバスト・高速・小メモリでおこなうために、画像から抽出した画像の特徴を示す情報のことであり、例えば、輪郭形状や色等をいう。
画像取得部５１は、ユーザの操作によって指示対象物の画像を取得し、取得した指示対象物の画像から算出した特徴量を比較部１２２に出力するようになっている。
【００４０】
比較部１２２は、記憶部１２１に記憶された複数の対象物の画像から算出した特徴量を読み出し、読み出した複数の対象物の画像から算出した特徴量と画像取得部５１により取得された指示対象物の画像から算出した特徴量との比較を行い、比較結果を指示対象物特定部１２３に出力するようになっている。なお、比較に際しては、比較対象の画像の大きさや角度や歪みが異なっていても、例えば、US Patent 6,711,293, David G. Lowe,“Object recognition from local scale-invariant features,” International Conference on Computer Vision, Corfu, Greece (September 1999), pp.1150-1157.に示される公知の方法により、画像同士の類似度を算出することが可能である。
【００４１】
指示対象物特定部１２３は、比較部１２２による比較結果に基づいて指示対象物に最も一致する対象物を指示対象物として特定し、特定した結果を位置情報抽出部に出力するようになっている。
【００４２】
位置情報抽出部１２４は、指示対象物特定部１２３により特定された指示対象物に対応する対象物の位置情報を記憶部１２１より読み出し、読み出した対象物の位置情報を指示対象物の位置情報として動作指示部５２に出力するようになっている。
動作指示部５２は、位置情報抽出部１２４により抽出された指示対象物の位置情報および該位置情報に対する動作をロボット本体１に出力するようになっている。
【００４３】
このように構成された位置特定装置１０１の作用について、主に図５を用いて以下に説明する。
記憶部１２１には予め対象物Ａの画像ＰＡから算出した特徴量および対象物Ｂの画像ＰＢから算出した特徴量が、それぞれの位置情報と関連付けられて記憶されている。
【００４４】
ここで、ユーザが指示対象物として対象物Ｂを選択した場合、ユーザの操作によって画像取得部５１により指示対象物の画像ＱＢが取得される。
次に、比較部１２２により、画像取得部５１により取得された指示対象物の画像ＱＢから算出した特徴量と記憶部１２１から読み出した対象物Ａの画像ＰＡから算出した特徴量および対象物Ｂの画像ＰＢから算出した特徴量との比較が行われる。
【００４５】
次に、比較部１２２による比較結果に基づいて、指示対象物特定部１２３により画像ＱＢに最も一致する画像として画像ＰＢが選択され、画像ＰＢに対応する対象物Ｂが指示対象物として特定される。
【００４６】
次に、位置情報抽出部により、指示対象物として特定された対象物Ｂの画像ＰＢから算出した特徴量に関連付けられた位置情報、すなわち、図５においてテーブルの中央部の座標が、記憶部１２１より読み出される。
【００４７】
このように記憶部１２１より読み出された対象物Ｂの位置情報が、指示対象物の位置情報として抽出され、動作指示部５２によりロボット本体１に対して搬送指示等の動作指示が行われる。
【００４８】
以上説明したように、本参考例１に係る位置特定装置１０１によれば、記憶部１２１に記憶された複数の対象物の画像から算出した特徴量および位置情報に基づいて、画像取得部５１により取得された指示対象物が指示対象物特定部１２３により特定され、特定された指示対象物の位置情報が位置情報抽出部１２４により抽出される。これにより、指示対象物の名称が明確でない場合や、指示対象物を言語で表現することが困難な場合においても、画像取得部５１により取得された指示対象物の画像を用いて、その位置情報を得ることができ、指示対象物の位置を容易に特定することが可能となる。
【００４９】
なお、本参考例１の第１の変形例として、図６に示すように、画像取得部５１に代えてバーコードやＱＲコード等の画像コードの情報を取得する画像コード取得部５４を設け、記憶部１２１には対象物の画像に代えて画像コードの情報を記憶させることとしてもよい。
【００５０】
このようにすることで、例えば、外観が類似している複数の対象物を識別することができ、指示対象物を特定する際の精度を向上させることが可能となる。また、例えば、バーコードは既に多くの製品に付されており、バーコードと指示対象物を関連付けたデータベースを用いることで、指示対象物の名称等の情報を取得することも可能となる。
また、画像取得部５１と画像コード取得部５４とを併用することで、指示対象物の特定を容易に、かつ、高い精度で行うことが可能となる。
【００５１】
また、本参考例１の第２の変形例として、図７に示すように、画像取得部５１の撮影方向にレーザを照射するレーザ照射部５５を備えてもよい。ここで、レーザ照射部５５は、例えば、レーザポインタである。
このようにすることで、画像取得部５１の撮影方向に照射されたレーザの輝点をユーザが目視することができ、ユーザが意図する指示対象物を確実に撮影することができる。
【００５２】
また、本参考例１の第３の変形例として、図８に示すように、指示対象物までの距離を測定する距離測定部５６を備え、指示対象位置特定部１２３が、距離測定部５６により測定された距離をも用いて指示対象物を特定することとしてもよい。ここで、距離測定部５６は、例えば、レーザ測距機である。
画像取得部５１により取得した画像だけでなく、距離測定部５６により測定した距離をも用いて指示対象物の特定を行うことにより、大きさの異なる指示対象物を識別することが可能となる。
【００５３】
また、本参考例１の第４の変形例として、図９に示すように、画像取得部５１が取得した画像を表示する表示部５７を備えてもよい。ここで、表示部５７は、例えば、ＣＲＴ（cathode-ray tube）やＬＣＤ（liquid Crystal Display）等のモニタである。
このようにすることで、画像取得部５１が取得した画像を、表示部５７にてユーザが目視することができ、ユーザが意図する指示対象物を確実に撮影することができる。
【００５４】
また、本参考例１の第５の変形例として、図１０に示すように、指示対象物の候補が複数ある場合に、各候補を表示部５７に表示し、表示された各候補の中から指示対象物の選択をユーザに促すこととしてもよい。
このようにすることで、ユーザが意図する指示対象物を確実に選択することが可能となる。なお、各候補の表示を表示部５７ではなく、動作指示装置６０とは別に設けられたタッチパネル５８に行うこととしてもよい。
【００５５】
〔第１の実施形態〕
次に、本発明の第１の実施形態について、図１１から図１５を用いて説明する。
本実施形態のロボットシステムが参考例１と異なる点は、映写装置により位置に応じて異なるパターンを有する映像パターンを投影し、該映像パターンに基づいて指示対象物の位置情報を抽出する点である。以下、本実施形態のロボットシステムについて、参考例１と共通する点については説明を省略し、異なる点について主に説明する。
【００５６】
図１１に示すように、本実施形態に係るロボットシステム２００は、ロボット１と、ロボット１に対して動作を指示する動作指示装置６０と、位置に応じて異なるパターンを有する映像パターンを投影する映写装置６３とを備えている。
ここでは、位置に応じて異なるパターンを有する映像パターンとして、例えば、図１２に示すアノトパターン（登録商標）を用いることとして説明する。アノトパターン（登録商標）は、格子状の線分上に複数のドットが配置され、該ドットの配置が位置に応じて異なるパターンである。
【００５７】
映写装置６３は、例えば、人には不可視な近赤外線を映写する映写装置であり、画像取得部６１は、例えば、近赤外線の光を取得可能な近赤外線カメラである。これにより、映写装置６３により投影される画像パターンを人に認識させることなく、画像取得部６１により取得させることが可能となる。
【００５８】
上記構成を有するロボットシステム２００において、映写装置６３により指示対象物に投影された映像パターンを画像取得部６１により取得し、取得した映像パターンに基づいて制御装置４０により指示対象物の位置特定が行われる。以下では、この指示対象物の位置特定が、位置特定装置１０３により行われるとして説明する。
【００５９】
図１３に、位置特定装置１０３が備える機能を展開して表した機能ブロック図を示す。
図１３に示すように、位置特定装置１０３は、指示対象物に投影されたパターンを取得する画像取得部６１と、指示対象物の位置情報を抽出する位置情報抽出部１３４とを備えている。
【００６０】
画像取得部６１は、ユーザの操作によって、映写部６３により指示対象物に投影された映像パターンを取得し、取得した映像パターンを位置情報抽出部１３４に出力するようになっている。
【００６１】
位置情報抽出部１３４は、画像取得部６１により取得された映像パターンから指示対象物の位置情報を抽出し、抽出した指示対象物の位置情報を動作指示部６２に出力するようになっている。
動作指示部６２は、位置情報抽出部１３４により抽出された指示対象物の位置情報および該位置情報に対する動作をロボット本体１に出力するようになっている。
【００６２】
このように構成された位置特定装置１０２の作用について、主に図１４を用いて以下に説明する。
映写装置６３より、例えば、アノトパターン（登録商標）の映像パターンが、指示対象物を含む所定の領域に投影されている。
ここで、ユーザが指示対象物として対象物Ｂを選択した場合、ユーザの操作によって画像取得部６１により対象物Ｂに投影された映像パターンの画像ＲＢが取得される。
【００６３】
次に、位置情報抽出部１３４により、対象物Ｂに投影された映像パターンの画像ＲＢの位置情報、すなわち、図１４においてテーブルの中央部の座標が抽出される。
【００６４】
このように指示対象物の位置情報が抽出され、動作指示部６２によりロボット本体１に対して搬送指示等の動作指示が行われる。
なお、参考例１と同様に、複数の対象物の画像から算出した特徴量を画像ＤＢに記憶させ、画像取得部６１が映像パターンだけでなく対象物の画像をも取得することにより、指示対象物自体を特定することも可能となる。
【００６５】
以上説明したように、本実施形態に係る位置特定装置１０３によれば、画像取得部６１により指示対象物に投影されたパターンを取得し、該パターンに基づいて指示対象物の位置情報を位置情報抽出部１３４により抽出することができる。これにより、指示対象物の位置情報を予め登録しておく必要がなく、任意の位置に置かれた指示対象物の位置情報を抽出することが可能となる。
【００６６】
なお、本実施形態の変形例として、図１５に示すように、映写装置６３が位置に応じて色が異なる映像パターンを投影し、画像取得部６１が該パターンを取得することとしてもよい。
このようにすることで、指示対象物に投影された色パターンに基づいて、指示対象物の位置情報を抽出することができる。
【００６７】
〔参考例２〕
次に、本発明の参考例２について、図１６および図１７を用いて説明する。
本参考例２のロボットシステムが前述の実施形態又は参考例と異なる点は、作業が行われる空間の画像に基づいて指示対象位置の位置情報を抽出する点である。以下、本参考例２のロボットシステムについて、前述の実施形態又は参考例と共通する点については説明を省略し、異なる点について主に説明する。
【００６８】
図１６に、指示対象位置の位置特定装置１０４が備える機能を展開して表した機能ブロック図を示す。
図１６に示すように、位置特定装置１０４は、画像から算出した特徴量および位置情報を記憶する記憶部１２１と、指示対象位置の画像を取得する画像取得部５１と、複数の画像から算出した特徴量の比較を行う比較部１２２と、指示対象位置を特定する指示対象位置特定部１３３と、指示対象位置の位置情報を抽出する位置情報抽出部１２４とを備えている。
【００６９】
記憶部１２１は、壁、天井、床面等の作業が行われる空間の画像から算出した特徴量と、該空間の位置情報とを関連付けて記憶するようになっている。
画像取得部５１は、ユーザの操作によって指示対象位置の画像を取得し、取得した指示対象位置の画像から算出した特徴量を比較部１２２に出力するようになっている。
【００７０】
比較部１２２は、記憶部１２１に記憶された作業が行われる空間の画像から算出した特徴量を読み出し、読み出した空間の画像から算出した特徴量と画像取得部５１により取得された指示対象位置の画像から算出した特徴量との比較を行い、比較結果を指示対象位置特定部１３３に出力するようになっている。
指示対象位置特定部１３３は、比較部１２２による比較結果に基づいて指示対象位置に最も一致する空間を指示対象位置として特定し、特定した結果を位置情報抽出部に出力するようになっている。
【００７１】
位置情報抽出部１２４は、指示対象位置特定部１３３により特定された指示対象位置に対応する空間の位置情報を記憶部１２１より読み出し、読み出した空間の位置情報を指示対象位置の位置情報として動作指示部５２に出力するようになっている。
動作指示部５２は、位置情報抽出部１２４により抽出された指示対象位置の位置情報および該位置情報に対する動作をロボット本体１に出力するようになっている。
【００７２】
このように構成された位置特定装置１０４の作用について、主に図１７を用いて以下に説明する。
図１７（ａ）に示すように、記憶部１２１には作業が行われる空間の壁面Ａの画像ＳＡから算出した特徴量、壁面Ｂの画像ＳＢから算出した特徴量、および壁面Ｃの画像ＳＣから算出した特徴量が、それぞれの位置情報と関連付けられて記憶されている。
【００７３】
ここで、図１７（ｂ）に示すように、ユーザが指示対象位置として、壁面Ｃの領域Ｘを選択した場合、ユーザの操作によって画像取得部５１により指示対象位置の画像ＴＸが取得される。
次に、比較部１２２により、画像取得部５１により取得された指示対象位置の画像ＴＸから算出した特徴量と記憶部１２１から読み出した壁面Ａの画像ＳＡから算出した特徴量、壁面Ｂの画像ＳＢから算出した特徴量、および壁面Ｃの画像ＳＣから算出した特徴量との比較が行われる。
【００７４】
次に、比較部１２２による比較結果に基づいて、指示対象位置特定部１３３により画像ＴＸに最も一致する画像として画像ＳＣの中の領域Ｘが選択され、領域Ｘの位置が指示対象位置として特定される。
次に、位置情報抽出部１２４により、指示対象位置として特定された領域Ｘに関連付けられた位置情報、すなわち、図１７（ｂ）において壁面Ｃに配置された棚の最上段左側部の座標が、記憶部１２１より読み出される。
【００７５】
このように記憶部１２１より読み出された領域Ｘの位置情報が、指示対象位置の位置情報として抽出され、動作指示部５２によりロボット本体１に対して搬送指示等の動作指示が行われる。
【００７６】
以上説明したように、本参考例２に係る位置特定装置１０４によれば、壁面、または床面、あるいは天井面等の作業が行われる空間の画像から算出した特徴量および位置情報に基づいて、画像取得部５１により取得された指示対象位置の位置情報を抽出することができる。
また、図１７（ｃ）に示すように、作業が行われる空間の画像内における窓等の大きさや歪みから、デバイスである動作指示装置７０の位置や向いている方向を推定することが可能となる。
【００７７】
〔第２の実施形態〕
次に、本発明の第２の実施形態について、図１８から図２２を用いて説明する。
本実施形態のロボットシステムが前述の実施形態又は参考例と異なる点は、所定の位置に配置された複数の撮像装置により撮影された作業が行われる空間の画像に基づいて、指示対象物の位置を特定する点である。以下、本実施形態のロボットシステムについて、前述の実施形態又は参考例と共通する点については説明を省略し、異なる点について主に説明する。
【００７８】
図１８に示すように、本実施形態に係るロボットシステム３００は、ロボット１と、ロボット１に対して動作を指示する動作指示装置７０と、作業が行われる空間を撮影する複数の撮像装置７３とを備えている。
撮像装置７３は、例えば、作業が行われる空間の隅部の天井面に配置され、レンズおよびＣＣＤを備えるカメラである。
【００７９】
上記構成を有するロボットシステム３００において、指示対象物の画像を画像取得部７１により取得し、画像取得部７１により取得された指示対象物の画像および撮像装置７３により撮影された作業が行われる空間の画像に基づいて制御装置４０により指示対象物の位置特定が行われる。以下では、この指示対象物の位置特定が、位置特定装置１０５により行われるとして説明する。
【００８０】
図１９に、指示対象物の位置特定装置１０５が備える機能を展開して表した機能ブロック図を示す。
図１９に示すように、位置特定装置１０５は、指示対象物の画像を取得する画像取得部７１と、複数の画像から算出した特徴量の比較を行う比較部１２２と、指示対象物を特定する指示対象物特定部１２３と、指示対象物の位置情報を抽出する位置情報抽出部１４４とを備えている。
【００８１】
画像取得部７１は、ユーザの操作によって指示対象物の画像を取得し、取得した指示対象物の画像から算出した特徴量を比較部１２２に出力するようになっている。
比較部１２２は、撮像装置７３により撮影された作業が行われる空間の画像から算出した特徴量と画像取得部７１により取得された指示対象物の画像から算出した特徴量との比較を行い、比較結果を指示対象物特定部１２３に出力するようになっている。
【００８２】
指示対象物特定部１２３は、比較部１２２による比較結果に基づいて指示対象物に最も一致する対象物を指示対象物として特定し、特定した結果を位置情報抽出部１４４に出力するようになっている。
【００８３】
位置情報抽出部１４４は、撮像装置７３の位置関係と撮像装置７３により撮影された作業が行われる空間の画像内における指示対象物の位置とに基づいて、指示対象物の位置情報を抽出し、抽出した指示対象物の位置情報を動作指示部７２に出力するようになっている。
動作指示部７２は、位置情報抽出部１４４により抽出された指示対象物の位置情報および該位置情報に対する動作をロボット本体１に出力するようになっている。
【００８４】
このように構成された位置特定装置１０５の作用について、主に図２０を用いて以下に説明する。
撮像装置７３（ａ）および撮像装置７３（ｂ）により、作業が行われる空間が撮影されている。撮像装置７３（ａ）により撮影された画像が画像ＵＡ、撮像装置７３（ｂ）により撮影された画像が画像ＵＢである。
【００８５】
ここで、ユーザが指示対象物として対象物Ｄを選択した場合、ユーザの操作によって画像取得部７１により指示対象物の画像Ｖが取得される。
次に、比較部１２２により、画像取得部７１により取得された指示対象物の画像Ｖから算出した特徴量と、撮像装置７３（ａ）により撮影された画像ＵＡから算出した特徴量および撮像装置７３（ｂ）により撮影された画像ＵＢから算出した特徴量との比較が行われる。
【００８６】
次に、比較部１２２による比較結果に基づいて、指示対象物特定部１２３により画像Ｖに一致する画像として、画像ＵＡの中の領域Ｙおよび画像ＵＢの中の領域Ｚが選択され、領域Ｙおよび領域Ｚに対応する対象物が指示対象物として特定される。
【００８７】
次に、位置情報抽出部１４４により、撮像装置７３（ａ）と撮像装置７３（ｂ）との位置関係と、画像ＵＡおよび画像ＵＢにおける指示対象物の位置とに基づいて、指示対象物の位置情報が抽出される。この際、指示対象物の位置情報は、例えば、Richard Hartley and Andrew Zisserman(2003)．Multiple View Geometry in computer vision．Cambridge University Press．ISBN 0-521-54051-8．に示される公知のエピポーラ幾何を用いた算出方法により推定することができる。
【００８８】
以上説明したように、本実施形態に係る位置特定装置１０５によれば、撮像装置７３（ａ）と７３（ｂ）との位置関係と、撮像装置７３（ａ）および撮像装置７３（ｂ）により撮影された作業が行われる空間の画像とに基づいて、画像取得部７１により取得された指示対象物の位置情報が位置情報抽出部１４４により抽出される。このように、複数の撮像装置により指示対象物の位置情報を抽出することで、指示対象物の位置情報を予め登録しておく必要がなく、任意の位置に置かれた指示対象物の位置を特定することが可能となる。
【００８９】
なお、本実施形態の第１の変形例として、図２１に示すように、画像ＤＢに指示対象物の画像から算出した特徴量を予め登録しておき、比較部１２２が、画像取得部７１により取得された指示対象物の画像から算出した特徴量と撮像装置７３（ａ）および撮像装置７３（ｂ）により撮影された作業が行われる空間の画像から算出した特徴量とを、画像ＤＢの登録画像から算出した特徴量を介して間接比較を行い、指示対象物特定部１２３が、比較部１２２による間接比較結果に基づいて指示対象物を特定することとしてもよい。
【００９０】
撮像装置７３（ａ）と撮像装置７３（ｂ）と画像取得部７１とでは指示対象物を撮影する角度や位置が異なるため、各画像における指示対象物の歪み等が異なり、各画像から指示対象物を特定することが困難な場合がある。これに対し、予め画像ＤＢに登録された指示対象物の画像を介して間接比較を行うことで、指示対象物を特定する際の精度を向上させることができる。
【００９１】
また、本実施形態の第２の変形例として、図２２に示すように、画像ＤＢに予め登録する指示対象物の画像から算出した特徴量を、複数の角度から撮影した指示対象物の画像から算出した特徴量としてもよい。
指示対象物が立体形状を有する場合には、撮影する角度や位置によって指示対象物の見え方が異なる。これに対し、指示対象物の登録画像として、複数の角度から撮影した指示対象物の画像とすることで、指示対象物を特定する際の精度を向上させることができる。
【００９２】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００９３】
１ ロボット本体
４０ 制御装置
５０，６０，７０ 動作指示装置
５１，６１，７１ 画像取得部
５２，６２，７２ 動作指示部
５４ 画像コード取得部
５５ レーザ照射部
５６ 距離測定部
５７ 表示部
５８ タッチパネル
６３ 映写装置
７３，７３（ａ），７２（ｂ） 撮像装置
１００，２００，３００ ロボットシステム
１０１，１０３，１０４，１０５ 位置特定装置
１２１ 記憶部
１２２ 比較部
１２３ 指示対象物特定部
１２４，１３４，１４４ 位置情報抽出部
１３３ 指示対象位置特定部
【特許請求の範囲】
【請求項１】
位置に応じて異なるパターンを有する映像パターンを、作業空間における指示対象物を含む所定の領域に投影し、該映像パターンに基づいて該指示対象物の位置を特定する位置特定装置であって、
ユーザの操作によって、前記作業空間における前記指示対象物に投影された前記パターンを取得する画像取得部と、
該画像取得部により取得された前記パターンから前記指示対象物の位置情報である座標を抽出する位置情報抽出部と
を備え、
特定された前記指示対象物の位置情報に基づいた前記指示対象物に対する動作指示に基づいて、前記指示対象物に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置。
【請求項２】
前記映像パターンは、複数のドットを有しており、該ドットの配置が位置に応じて異なる請求項１に記載の位置特定装置。
【請求項３】
前記映像パターンは、複数の色分けされた領域を有しており、位置に応じて色が異なる請求項１に記載の位置特定装置。
【請求項４】
所定の位置に配置された複数の撮像装置により撮影された作業空間の複数の画像に基づいて、前記作業空間における指示対象物の位置を特定する位置特定装置であって、
ユーザの操作によって、作業空間における前記指示対象物の画像を取得する画像取得部と、
該画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記作業空間の複数の画像から算出した特徴量との比較を行う比較部と、
該比較部による比較結果に基づいて前記指示対象物を特定する指示対象物特定部と、
複数の前記撮像装置の位置関係と各前記撮像装置により撮影された前記作業空間の画像内における前記指示対象物の位置とに基づいて、前記指示対象物の位置情報である座標を抽出する位置情報抽出部と
を備え、
特定された前記指示対象物の位置情報に基づいた前記指示対象物に対する動作指示に基づいて、前記指示対象物に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置。
【請求項５】
前記比較部が、前記画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記空間の画像から算出した特徴量との直接比較を行い、
前記指示対象物特定部が、前記比較部による直接比較結果に基づいて前記指示対象物を特定する請求項４に記載の位置特定装置。
【請求項６】
前記比較部が、前記画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記空間の画像から算出した特徴量とを、予め登録された前記指示対象物の登録画像から算出した特徴量を介して間接比較を行い、
前記指示対象物特定部が、前記比較部による間接比較結果に基づいて前記指示対象物を特定する請求項５に記載の位置特定装置。
【請求項７】
前記指示対象物の登録画像が、複数の角度から撮影した前記指示対象物の画像である請求項６に記載の位置特定装置。
【請求項８】
前記画像取得部の撮影方向にレーザを照射するレーザ照射部を備える請求項１から請求項７のいずれかに記載の位置特定装置。
【請求項９】
前記画像取得部が取得した画像を表示する表示部を備える請求項１から請求項８のいずれかに記載の位置特定装置。
【請求項１０】
前記表示部が、前記指示対象物の候補が複数ある場合に、各前記候補を表示し、表示された各前記候補の中から前記指示対象物の選択をユーザに促す請求項９に記載の位置特定装置。
【請求項１１】
前記指示対象物までの距離を測定する距離測定部を備え、
前記指示対象物特定部が、前記距離測定部により測定された距離をも用いて前記指示対象物を特定する請求項１から請求項１０のいずれかに記載の位置特定装置。
【請求項１２】
請求項１から請求項１１のいずれかに記載の位置特定装置により特定された前記指示対象物の位置情報に基づいて、前記指示対象物に対する動作指示を行う動作指示部を備える動作指示装置。
【請求項１３】
請求項１２に記載の動作指示装置による指示に基づいて前記指示対象物に対する動作を実行する自走式ロボット。
【請求項１】
位置に応じて異なるパターンを有する映像パターンを、作業空間における指示対象物を含む所定の領域に投影し、該映像パターンに基づいて該指示対象物の位置を特定する位置特定装置であって、
ユーザの操作によって、前記作業空間における前記指示対象物に投影された前記パターンを取得する画像取得部と、
該画像取得部により取得された前記パターンから前記指示対象物の位置情報である座標を抽出する位置情報抽出部と
を備え、
特定された前記指示対象物の位置情報に基づいた前記指示対象物に対する動作指示に基づいて、前記指示対象物に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置。
【請求項２】
前記映像パターンは、複数のドットを有しており、該ドットの配置が位置に応じて異なる請求項１に記載の位置特定装置。
【請求項３】
前記映像パターンは、複数の色分けされた領域を有しており、位置に応じて色が異なる請求項１に記載の位置特定装置。
【請求項４】
所定の位置に配置された複数の撮像装置により撮影された作業空間の複数の画像に基づいて、前記作業空間における指示対象物の位置を特定する位置特定装置であって、
ユーザの操作によって、作業空間における前記指示対象物の画像を取得する画像取得部と、
該画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記作業空間の複数の画像から算出した特徴量との比較を行う比較部と、
該比較部による比較結果に基づいて前記指示対象物を特定する指示対象物特定部と、
複数の前記撮像装置の位置関係と各前記撮像装置により撮影された前記作業空間の画像内における前記指示対象物の位置とに基づいて、前記指示対象物の位置情報である座標を抽出する位置情報抽出部と
を備え、
特定された前記指示対象物の位置情報に基づいた前記指示対象物に対する動作指示に基づいて、前記指示対象物に対する動作を実行する、前記作業空間を自律的に移動する自走式ロボットに用いられる位置特定装置。
【請求項５】
前記比較部が、前記画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記空間の画像から算出した特徴量との直接比較を行い、
前記指示対象物特定部が、前記比較部による直接比較結果に基づいて前記指示対象物を特定する請求項４に記載の位置特定装置。
【請求項６】
前記比較部が、前記画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記空間の画像から算出した特徴量とを、予め登録された前記指示対象物の登録画像から算出した特徴量を介して間接比較を行い、
前記指示対象物特定部が、前記比較部による間接比較結果に基づいて前記指示対象物を特定する請求項５に記載の位置特定装置。
【請求項７】
前記指示対象物の登録画像が、複数の角度から撮影した前記指示対象物の画像である請求項６に記載の位置特定装置。
【請求項８】
前記画像取得部の撮影方向にレーザを照射するレーザ照射部を備える請求項１から請求項７のいずれかに記載の位置特定装置。
【請求項９】
前記画像取得部が取得した画像を表示する表示部を備える請求項１から請求項８のいずれかに記載の位置特定装置。
【請求項１０】
前記表示部が、前記指示対象物の候補が複数ある場合に、各前記候補を表示し、表示された各前記候補の中から前記指示対象物の選択をユーザに促す請求項９に記載の位置特定装置。
【請求項１１】
前記指示対象物までの距離を測定する距離測定部を備え、
前記指示対象物特定部が、前記距離測定部により測定された距離をも用いて前記指示対象物を特定する請求項１から請求項１０のいずれかに記載の位置特定装置。
【請求項１２】
請求項１から請求項１１のいずれかに記載の位置特定装置により特定された前記指示対象物の位置情報に基づいて、前記指示対象物に対する動作指示を行う動作指示部を備える動作指示装置。
【請求項１３】
請求項１２に記載の動作指示装置による指示に基づいて前記指示対象物に対する動作を実行する自走式ロボット。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１２−１９８８９８（Ｐ２０１２−１９８８９８Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１２−８３９８７（Ｐ２０１２−８３９８７）
【出願日】平成２４年４月２日（２０１２．４．２）
【分割の表示】特願２００７−３０１４２４（Ｐ２００７−３０１４２４）の分割
【原出願日】平成１９年１１月２１日（２００７．１１．２１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成１９年度独立行政法人新エネルギー・産業技術総合開発機構 戦略的先端ロボット要素技術開発プロジェクト、高齢者対応コミュニケーションＲＴシステム（サービスロボット分野）、行動会話統合コミュニケーションの実現委託研究、産業技術力強化法第１９条の適用を受ける特許出願）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２４年４月２日（２０１２．４．２）
【分割の表示】特願２００７−３０１４２４（Ｐ２００７−３０１４２４）の分割
【原出願日】平成１９年１１月２１日（２００７．１１．２１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成１９年度独立行政法人新エネルギー・産業技術総合開発機構 戦略的先端ロボット要素技術開発プロジェクト、高齢者対応コミュニケーションＲＴシステム（サービスロボット分野）、行動会話統合コミュニケーションの実現委託研究、産業技術力強化法第１９条の適用を受ける特許出願）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
[ Back to top ]