ロボットの遠隔操作システム
【課題】連続的に作業指示を行うことができるロボットの遠隔操作システムを提供する。
【解決手段】本発明のロボットの遠隔操作システム１（１０００）は、第１の撮像手段１１０（４１０）と、作業指示手段１２０（４２０）と、ロボット２００と、を備える。作業指示手段は、第１の撮像手段の位置情報、作業対象物が含まれるように撮像された画像情報、作業対象物に対して実行させる作業指示情報をロボットに送信する。ロボットは、作業指示手段から受信した第１の撮像手段の位置情報に基づいて移動し、周辺情報取得手段２５０、２６０でロボットの周辺の情報を取得し、取得した周辺情報と作業指示手段から受信した画像情報との照合結果から作業対象物の位置情報を取得し、取得した位置情報に基づいて作業対象物に近づき、作業指示手段から受信した作業指示情報に基づく作業を作業対象物に対して実行する。
【解決手段】本発明のロボットの遠隔操作システム１（１０００）は、第１の撮像手段１１０（４１０）と、作業指示手段１２０（４２０）と、ロボット２００と、を備える。作業指示手段は、第１の撮像手段の位置情報、作業対象物が含まれるように撮像された画像情報、作業対象物に対して実行させる作業指示情報をロボットに送信する。ロボットは、作業指示手段から受信した第１の撮像手段の位置情報に基づいて移動し、周辺情報取得手段２５０、２６０でロボットの周辺の情報を取得し、取得した周辺情報と作業指示手段から受信した画像情報との照合結果から作業対象物の位置情報を取得し、取得した位置情報に基づいて作業対象物に近づき、作業指示手段から受信した作業指示情報に基づく作業を作業対象物に対して実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットの遠隔操作システムに関する。
【背景技術】
【０００２】
従来からロボットを遠隔操作する技術が知られている。一般的には、ロボットが撮像部を備えており、当該撮像部で撮像したロボットの周辺の画像に基づいて、操作者がロボットを遠隔操作するものである（特許文献１〜３）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１９６３００号公報
【特許文献２】特開２００７−２２９８３７号公報
【特許文献３】特表２００３−５３２２１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１、２のロボットの遠隔操縦システムに作業を実行させる場合には、ロボットの撮像部で撮像した画像に基づいて、当該ロボットを遠隔操作するので、必ず作業する現場にロボットを移動させてから、作業指示することになる。そのため、一つの作業が終了するまでは、次の作業指示を行うことができない。
【０００５】
本発明は、このような問題を解決するためになされたものであり、連続的に作業指示を行うことができるロボットの遠隔操作システムを提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明に係るロボットの遠隔操作システムは、第１の撮像手段と、作業指示手段と、ロボットと、を備え、前記作業指示手段は、前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の位置情報、前記作業対象物が含まれるように撮像された画像情報、前記作業対象物に対して実行させる作業指示情報を前記ロボットに送信し、前記ロボットは、前記作業指示手段から受信した前記第１の撮像手段の位置情報に基づいて、前記第１の撮像手段が前記画像を撮像した際の前記第１の撮像手段の位置に移動し、周辺情報取得手段で前記ロボットの周辺の情報を取得し、取得した周辺情報と前記作業指示手段から受信した前記画像情報との照合結果から前記作業対象物の位置情報を取得し、前記取得した位置情報に基づいて前記作業対象物に近づき、前記作業指示手段から受信した前記作業指示情報に基づく作業を前記作業対象物に対して実行することを特徴とする。これにより、作業指示手段を用いてロボットに作業指示するので、ロボットに対して連続的に作業指示を行うことができる。すなわち、従来の遠隔操作システムは、ロボットを作業対象物近傍に移動させてから、ロボットに対して作業指示するため、一つの作業が終了するまでは、次の作業指示を行うことができなかった。一方、当該遠隔操作システムは、作業指示手段を用いて、ロボットに予め作業対象物に関する情報及び作業対象物に実行させる作業指示情報を送信するので、ロボットに対して連続的に作業指示を行うことができる。しかも、ロボットの位置や姿勢に関係なく、ロボットに作業指示を行うことができる。そのため、作業時間を短縮することができる。
【０００７】
前記作業指示手段は、表示手段と、前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の位置を推定する第１の位置推定手段と、前記作業対象物への作業指示情報の一覧を前記表示手段に表示させ、前記ロボットに前記作業対象物に対して実行させる作業の選択を促す選択手段と、操作者に操作され、前記表示手段に表示された前記作業指示情報の一覧から前記ロボットに前記作業対象物に対して実行させる作業を選択する操作部と、前記作業対象物が含まれるように撮像された画像情報、前記第１の撮像手段の位置情報、前記ロボットに前記作業対象物に対して実行させる作業指示情報を、前記ロボットに送信する第１の通信手段と、を備え前記ロボットは、前記作業指示手段から前記作業対象物が含まれるように撮像された画像情報、前記第１の撮像手段の位置情報、前記ロボットに前記作業対象物に対して実行させる作業指示情報を受信する第２の通信手段と、移動手段と、ロボットアームと、第１の位置検出手段と、前記第１の位置検出手段の検出情報に基づいて、前記ロボットの位置を推定する第２の位置推定手段と、前記周辺情報取得手段である前記第２の撮像手段と、前記第２の撮像手段によって撮像された画像に、前記第２の撮像手段によって画像を撮像した際の前記第２の撮像手段の姿勢情報が付加された前記ロボットの周辺画像情報と前記作業指示手段から受信した前記画像情報とを照合して、前記ロボットに対して前記作業対象物が配置されている方向を特定する対象物方向推定手段と、同じく前記周辺情報取得手段である距離検出手段と、前記距離検出手段の検出信号に基づいて、前記作業対象物までの距離を推定する対象物距離推定手段と、前記ロボットの位置情報、前記作業対象物の配置されている方向情報及び前記作業対象物までの距離情報、前記作業指示手段から受信した前記第１の撮像手段の位置情報、前記作業指示情報に基づいて、前記移動手段及び前記ロボットアームを制御する制御手段と、を備えること、が好ましい。
【０００８】
前記作業指示手段は、さらに前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の姿勢を推定する姿勢検出手段を備えること、が好ましい。これにより、ロボットの第２の撮像手段で当該ロボットの周辺の画像を撮像する際に、撮像領域が狭い範囲で済み、作業時間をより短縮することができる。
【０００９】
前記作業指示手段は、さらに前記第１の撮像手段が撮像した画像から前記作業対象物を含む領域の抽出を促す抽出手段を備え、前記第１の通信手段は、操作者の前記操作部の操作に基づいて、前記画像から作業対象物を含む領域を抽出後の画像情報を、前記作業対象物が含まれるように撮像された画像情報として前記ロボットに送信すること、が好ましい。
【００１０】
前記第１の撮像手段と前記作業指示手段とは一体的に構成された端末装置であり、前記端末装置は、第２の位置検出手段を備え、前記第１の位置推定手段は、前記第２の位置検出手段の検出情報に基づいて、前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の位置を推定すること、が好ましい。これにより、常に操作者視点で直感的にロボットに対して作業指示を行うことができる。
【００１１】
前記作業指示手段は、予め位置情報が与えられた前記第１の撮像手段を遠隔操作して前記作業対象物が含まれるように画像を撮像すること、が好ましい。これにより、作業対象物の近傍に操作者が移動しなくても、第１の撮像手段を遠隔操作することで、簡単にロボットに作業指示することができる。
【発明の効果】
【００１２】
以上、説明したように、本発明によると、連続的に作業指示を行うことができるロボットの遠隔操作システムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係るロボットの遠隔操作システムを模式的に示す図である。
【図２】本発明に係る実施の形態１のロボットの遠隔操作システムにおける、端末装置の構成を示すブロック図である。
【図３】本発明に係る実施の形態１のロボットの遠隔操作システムにおける、ロボットの構成を示すブロック図である。
【図４】操作者が作業対象物である絵を端末装置の撮像部で撮像する様子を示す図である。
【図５】撮像部で撮像された画像を示す図である。
【図６】撮像部で撮像された画像から作業対象物である絵を含む領域を抽出する様子を示す図である。
【図７】撮像部に表示された作業指示情報の一覧を示す図である。
【図８】端末装置から情報がロボットに送信される様子を示す図である。
【図９】ロボットが作業対象物である絵に近づく様子を示す図である。
【図１０】本発明に係る実施の形態２のロボットの遠隔操作システムにおける、撮像部及び作業指示部の構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための最良の形態について、添付図面を参照しながら説明する。但し、本発明が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。
【００１５】
実施の形態１．
本実施の形態のロボットの遠隔操作システム（以下、単に遠隔操作システムと云う場合がある。）１は、図１に示すように、端末装置１００からの遠隔操作に基づいて、ロボット２００が作業対象物３００に対して所定の作業を実行する。
【００１６】
遠隔操作システム１は、端末装置１００、ロボット２００を備える。端末装置１００は、図２に示すように、撮像部１１０、作業指示部１２０を備える。撮像部１１０は、通例の光電変換する撮像素子を有するカメラである。すなわち、撮像部１１０は、デジタル処理が可能な静止画又は動画を取得することができる撮像装置であれば良い。ここで、撮像部１１０は、取得した画像から特徴点を抽出し易いように、カラー画像を取得できる撮像素子を備えることが好ましい。但し、撮像部１１０は、モノクロ画像を取得できる撮像素子でも良い。
【００１７】
作業指示部１２０は、記憶部１２００、位置検出部１３００、姿勢検出部１４００、演算処理部１５００、表示部１６００、操作部１７００、通信部１８００を備える。すなわち、端末装置１００は、一般的な携帯端末装置と略同様の構成とされている。
【００１８】
記憶部１２００には、指示プログラム１２０１、画像取得プログラム１２０２、画像情報１２０３、画像抽出プログラム１２０４、抽出画像情報１２０５、対象物サンプル情報１２０６、対象物判定プログラム１２０７、対象物情報１２０８、作業指示情報１２０９、作業指示情報選択プログラム１２１０、選択指示情報１２１１、自己位置推定プログラム１２１２、自己位置情報１２１３、自己姿勢推定プログラム１２１４、自己姿勢情報１２１５、通信制御プログラム１２１６等が格納される。
【００１９】
指示プログラム１２０１は、ロボット２００を遠隔操作するために、作業指示部１２０に実行させるプログラムである。指示プログラム１２０１が演算処理部１５００上に読み出されて動作することによって、作業指示部１２０として動作する。
【００２０】
画像取得プログラム１２０２は、演算処理部１５００に撮像部１１０を制御させ、撮像部１１０に画像を撮像させるためのプログラムである。画像情報１２０３は、撮像部１１０が撮像した画像情報である。
【００２１】
画像抽出プログラム１２０４は、演算処理部１５００に撮像部１１０が撮像した画像を表示部１６００に表示させ、表示された画像から操作者が操作部１７００を操作することによって作業対象物３００を特定するべく、当該作業対象物３００を含む領域の抽出を促すためのプログラムである。抽出画像情報１２０５は、当該作業対象物３００を含む領域を抽出後の画像情報である。
【００２２】
対象物サンプル情報１２０６は、作業対象物のサンプル画像情報である。対象物サンプル情報１２０６は、例えば抽象的な円錐形、多角錐、円柱、多角柱などの画像情報であったり、具体的な物品の画像情報であったりする。対象物判定プログラム１２０７は、演算処理部１５００に当該作業対象物３００を含む領域を抽出後の画像情報と対象物サンプル情報１２０６とを照合させ、作業対象物３００の形状又は物品や作業対象物３００の姿勢を判定させるためのプログラムである。対象物情報１２０８は、判定された作業対象物３００の形状又は物品や姿勢を示す情報である。
【００２３】
作業指示情報１２０９は、ロボット２００に作業対象物３００に対して実行させる作業指示情報である。作業指示情報１２０９は、例えば作業対象物３００を取る（把持する）作業指示情報、作業対象物３００を移動させる作業指示情報、作業対象物３００を捨てる作業指示情報、作業対象物３００を収納する作業指示情報などである。作業指示情報選択プログラム１２１０は、演算処理部１５００に作業指示情報１２０９の一覧を表示部１６００に表示させ、表示された作業指示情報１２０９の一覧から操作者が操作部１７００を操作することによって、実際にロボット２００に実行させる作業指示情報の選択を促すためのプログラムである。選択指示情報１２１１は、作業指示情報１２０９の一覧から選択された一つの作業指示情報である。
【００２４】
自己位置推定プログラム１２１２は、演算処理部１５００に位置検出部１３００を制御させ、当該位置検出部１３００の検出情報に基づいて、撮像部１１０が画像を撮像した際の端末装置１００の位置を推定させるためのプログラムである。自己位置情報１２１３は、推定した撮像部１１０が画像を撮像した際の端末装置１００の位置情報である。
【００２５】
自己姿勢推定プログラム１２１４は、演算処理部１５００に姿勢検出部１４００を制御させ、当該姿勢検出部１４００の検出情報に基づいて、撮像部１１０が画像を撮像した際の端末装置１００の姿勢や方向を推定させるためのプログラムである。自己姿勢情報１２１５は、推定した撮像部１１０が画像を撮像した際の端末装置１００の姿勢や方向を示す情報である。
【００２６】
通信制御プログラム１２１６は、演算処理部１５００に通信部１８００を制御させ、読み出した抽出画像情報１２０５、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等をロボット２００に送信する。
【００２７】
位置検出部１３００は、例えばＧＰＳ（Global Positioning System）などを備える。位置検出部１３００は、読み出した自己位置推定プログラム１２１２に基づいて演算処理部１５００に制御される。
【００２８】
姿勢検出部１４００は、例えば地磁気センサや加速度センサなどを備える。姿勢検出部１４００は、読み出した自己姿勢推定プログラム１２１４に基づいて演算処理部１５００に制御される。
【００２９】
演算処理部１５００は、画像取得部１５０１、抽出部１５０２、判定部１５０３、選択部１５０４、位置推定部１５０５、姿勢推定部１５０６、通信制御部１５０７等を備える。画像取得部１５０１は、読み出した画像取得プログラム１２０２に基づいて、撮像部１１０を制御し、当該撮像部１１０に画像を撮像させる。画像取得部１５０１は、撮像した画像を画像情報１２０３として記憶部１２００に格納する。
【００３０】
抽出部１５０２は、読み出した画像抽出プログラム１２０４に基づいて、撮像部１１０が撮像した画像から操作者に作業対象物３００が含まれた領域の抽出を促すために、当該画像を表示部１６００に表示する。そして、抽出部１５０２は、操作者が操作部１７００を操作することによって、作業対象物３００が含まれた領域を抽出すると、抽出画像情報１２０５として記憶部１２００に格納する。
【００３１】
判定部１５０３は、読み出した対象物判定プログラム１２０７に基づいて、抽出画像情報１２０５と対象物サンプル情報１２０６とを照合し、作業対象物３００の形状又は物品や姿勢を判定する。すなわち、判定部１５０３は、抽出画像情報１２０５を二値化処理したり、エッジ検出したりして特徴点を抽出し、作業対象物３００の輪郭を抽出する。そして、判定部１５０３は、対象物サンプル情報１２０６を変形させる前の特徴点又は対象物サンプル情報１２０６を変形（拡大、縮小、回転など）させた後の特徴点（以後、相互を含めて対象物サンプル情報の特徴点と云う）を抽出し、作業対象物３００の輪郭と対象物サンプル情報の特徴点との一致度を検出する。この工程を対象物サンプル情報分だけ繰り返し、最も一致度が高かった対象物サンプル情報の形状又は物品や姿勢が作業対象物３００の形状又は物品や姿勢であると判定する。判定部１５０３は、判定した作業対象物３００の形状又は物品や姿勢を示す情報を対象物情報１２０８として記憶部１２００に格納する。
【００３２】
選択部１５０４は、読み出した作業指示情報選択プログラム１２１０に基づいて、作業指示情報１２０９の一覧から操作者に特定の作業指示情報の選択を促すために、当該作業指示情報１２０９の一覧を表示部１６００に表示する。そして、選択部１５０４は、操作者が操作部１７００を操作することによって、ロボット２００に実行させる作業指示情報を選択すると、選択指示情報１２１１として記憶部１２００に格納する。
【００３３】
位置推定部１５０５は、読み出した自己位置推定プログラム１２１２に基づいて、位置検出部１３００を制御し、当該位置検出部１３００の検出情報に基づいて撮像部１１０が画像を撮像した際の端末装置１００の位置を推定する。位置推定部１５０５は、例えば撮像部１１０が画像を撮像した際の端末装置１００の緯度や経度を推定する。位置推定部１５０５は、推定した端末装置１００の位置情報を自己位置情報１２１３として記憶部１２００に格納する。
【００３４】
姿勢推定部１５０６は、読み出した自己姿勢推定プログラム１２１４に基づいて、姿勢検出部１４００を制御し、当該姿勢検出部１４００の検出情報に基づいて撮像部１１０が画像を撮像した際の端末装置１００の姿勢や方向を推定する。姿勢推定部１５０６は、例えば撮像部１１０が画像を撮像した際の端末装置１００の傾斜角度や方位を推定する。姿勢推定部１５０６は、推定した端末装置１００の姿勢や方向を示す情報（以下、単に姿勢情報と云う）を自己姿勢情報１２１５として記憶部１２００に格納する。
【００３５】
通信制御部１５０７は、読み出した通信制御プログラム１２１６に基づいて、通信部１８００を制御し、当該通信部１８００によって読み出した抽出画像情報１２０５、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等をロボット２００に送信させる。
【００３６】
表示部１６００は、画像情報１２０３や作業指示情報１２０９の一覧などを表示する画像表示装置である。表示部１６００としては、一般的な画像表示装置を用いることができ、例えば液晶表示装置などを用いることができる。
【００３７】
操作部１７００は、一般的なキーボードやマウスなどでも良く、表示部１６００と一体的となったタッチパネルでも良い。要するに、操作部１７００は、表示部１６００に表示された画像情報１２０３から作業対象物を含む領域を抽出したり、作業指示情報１２０９の一覧からロボット２００に実行させる作業指示情報を選択したりすることができる構成であれば良い。
【００３８】
通信部１８００は、ロボット２００に抽出画像情報１２０５、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等をロボット２００に送信する無線通信装置又は有線通信装置である。但し、端末装置１００やロボット２００の機動性を考慮して、通信部１８００は無線通信装置であることが好ましい。
【００３９】
ロボット２００は、図３に示すように、記憶部２１０、移動部２２０、ロボットアーム２３０、位置検出部２４０、撮像部２５０、距離検出部２６０、演算処理部２７０、通信部２８０を備える。
【００４０】
記憶部２１０は、自己位置推定プログラム２１０１、自己位置情報２１０２、周辺画像取得プログラム２１０３、周辺画像情報２１０４、対象物方向推定プログラム２１０５、対象物方向情報２１０６、対象物距離推定プログラム２１０７、対象物距離情報２１０８、動作制御プログラム２１０９、通信制御プログラム２１１０等が格納される。
【００４１】
自己位置推定プログラム２１０１は、位置検出部２４０の検出情報に基づいて、演算処理部２７０にロボット２００の現在の位置を推定させるためのプログラムである。自己位置情報２１０２は、推定したロボット２００の位置情報である。
【００４２】
周辺画像取得プログラム２１０３は、演算処理部２７０に撮像部２５０がロボット２００の周辺の画像を撮像するように当該撮像部２５０を制御させるためのプログラムである。周辺画像情報２１０４は、撮像部２５０によってロボット２００の周辺が撮像された画像情報である。周辺画像情報２１０４には、撮像部２５０が当該画像を撮像した際の方向及び高さを示す情報が付加されている。
【００４３】
対象物方向推定プログラム２１０５は、演算処理部２７０に周辺画像情報２１０４と、端末装置１００から送信された抽出画像情報１２０５と、を照合させ、ロボット２００に対する作業対象物が配置されている方向や高さを推定させるためのプログラムである。対象物方向情報２１０６は、推定したロボット２００に対する作業対象物が配置されている方向や高さを示す情報である。
【００４４】
対象物距離推定プログラム２１０７は、距離検出部２６０の検出情報に基づいて、演算処理部２７０に作業対象物までの距離を推定させるためのプログラムである。対象物距離情報２１０８は、推定した作業対象物までの距離情報である。
【００４５】
動作制御プログラム２１０９は、端末装置１００から送信された対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等に基づいて、演算処理部２７０に移動部２２０やロボットアーム２３０を制御させるためのプログラムである。ここで、動作制御プログラム２１０９は、作業指示情報に対応するように作業対象物に対してロボットアーム２３０をどのようにアプローチさせるかを導出させるプログラムが含まれている。すなわち、例えばロボット２００が作業対象物を取る作業指示の場合、動作制御プログラム２１０９は、作業対象物の形状、姿勢等に基づいて、ロボットアーム２３０で作業対象物をどのように把持させるかを演算処理部２７０に導出させる。また、例えばロボット２００が作業対象物を捨てる作業指示の場合、動作制御プログラム２１０９は、上述のようにロボットアーム２３０で作業対象物を把持させた状態から、当該作業対象物をゴミ箱内にどのように捨てさせるのかを演算処理部２７０に導出させる。さらに、例えばロボット２００が作業対象物を収納させる作業指示の場合、動作制御プログラム２１０９は、上述のようにロボットアーム２３０で作業対象物を把持させた状態から、どのようにロボットアーム２３０で収納棚の扉を開けさせ又は引き出しを引き出させ、収納棚の内部に作業対象物を収納させ、さらに収納棚の扉を閉めさせ又は引き出しを押込ませるかを演算処理部２７０に導出させる。加えて動作制御プログラム２１０９は、距離検出部２６０等の検出信号に基づいて、演算処理部２７０に導出させたロボット２００の移動ルート上に人や障害物が存在する場合、人や障害物を避けるように当該移動ルートを再度導出させる。
【００４６】
移動部２２０は、ロボット２００の移動機構である。移動部２２０は、ロボット２００が歩行ロボットの場合は脚部、当該脚部の関節を駆動させる電動モータ、当該電動モータの回転トルクを増幅させる減速ギア等を備える。一方、移動部２２０は、ロボット２００が駆動輪によって移動するロボットの場合は車輪、当該車輪を回転駆動させる電動モータ、当該電動モータの回転トルクを増幅させる減速ギア等を備える。
【００４７】
ロボットアーム２３０は、多関節ロボットアームである。すなわち、ロボットアーム２３０は、端末装置１００の記憶部１２００に格納されている各種の作業指示を実行可能な可動範囲を有する。ロボットアーム２３０は、ロボットハンドを有する腕部、当該腕部等の関節を駆動させる電動モータ、当該電動モータの回転トルクを増幅させる減速ギア等を備える。
【００４８】
位置検出部２４０は、例えばＧＰＳなどを備える。位置検出部２４０は、読み出した自己位置推定プログラム２１０１に基づいて演算処理部２７０に制御される。
【００４９】
撮像部２５０は、通例の光電変換する撮像素子を有するカメラである。すなわち、撮像部２５０は、デジタル処理が可能な静止画又は動画を取得することができる撮像装置であれば良い。ここで、撮像部２５０は、取得した画像から特徴点を抽出し易いように、カラー画像を取得できる撮像素子を備えることが好ましい。但し、撮像部２５０は、モノクロ画像を取得できる撮像素子でも良く、詳細は後述するが、抽出画像情報１２０５と照合できる程度の画像を撮像できれば良い。この撮像部２５０は、ロボット２００の周辺の画像を撮像することができるように、上下左右に回動可能な構成とされている。撮像部２５０は、読み出した周辺画像取得プログラム２１０３に基づいて演算処理部２７０に制御される。
【００５０】
距離検出部２６０は、例えば作業対象物までの距離等を検出することができる測距センサを備える。この距離検出部２６０は、上下左右に回動可能な構成とされている。距離検出部２６０は、読み出した対象物距離推定プログラム２１０７に基づいて演算処理部２７０に制御される。但し、本実施の形態では、作業対象物までの距離を検出するために距離検出部２６０を備えているが、上述の撮像部２５０が例えばステレオカメラ等の場合、画像情報から距離を検出することができるので、省略しても良い。
【００５１】
演算処理部２７０は、自己位置推定部２７０１、周辺画像取得部２７０２、対象物方向推定部２７０３、対象物距離推定部２７０４、動作制御部２７０５、通信制御部２７０６を備える。自己位置推定部２７０１は、読み出した自己位置推定プログラム２１０１に基づいて、位置検出部２４０を制御し、当該位置検出部２４０の検出情報に基づいてロボット２００の位置を推定する。自己位置推定部２７０１は、例えばロボット２００の現在の緯度や経度を推定する。自己位置推定部２７０１は、推定したロボット２００の位置情報を自己位置情報２１０２として記憶部２１０に格納する。
【００５２】
周辺画像取得部２７０２は、読み出した周辺画像取得プログラム２１０３に基づいて、撮像部２５０を制御し、当該撮像部２５０によってロボット２００の周辺の画像を撮像させる。すなわち、周辺画像取得部２７０２は、撮像部２５０を上下左右に振りながら当該撮像部２５０がロボット２００の周辺の画像を複数撮像するように制御し、各々の画像情報に当該画像を撮像した際の撮像部２５０の姿勢情報、即ち撮像部２５０が向いた方向情報を付加して、周辺画像情報２１０４として記憶部２１０に格納する。
【００５３】
対象物方向推定部２７０３は、読み出した対象物方向推定プログラム２１０５に基づいて、周辺画像情報２１０４と、端末装置１００から送信された抽出画像情報１２０５と、を照合させ、ロボット２００に対する作業対象物が配置されている方向や高さを推定する。すなわち、対象物方向推定部２７０３は、周辺画像情報２１０４を二値化処理したり、エッジ検出したりして特徴点を抽出する。そして、対象物方向推定部２７０３は、端末装置１００から送信された抽出画像情報１２０５も二値化処理したり、エッジ検出したりして特徴点を抽出する。さらに対象物方向推定部２７０３は、特徴点が抽出された画像情報相互を照合して、端末装置１００から送信された抽出画像情報１２０５が、周辺画像情報２１０４の何れの画像情報に含まれているかを特定する。対象物方向推定部２７０３は、端末装置１００から送信された抽出画像情報１２０５が、周辺画像情報２１０４の何れの画像情報に含まれているかを特定すると、当該画像情報に付加されている方向情報を作業対象物が配置されている方向や高さであると推定し、当該方向や高さを示す情報を対象物方向情報２１０６として記憶部２１０に格納する。
【００５４】
対象物距離推定部２７０４は、読み出した対象物距離推定プログラム２１０７に基づいて、距離検出部２６０を制御し、当該距離検出部２６０の検出情報に基づいて、作業対象物までの距離を推定する。対象物距離推定部２７０４は、推定した作業対象物までの距離を対象物距離情報２１０８として記憶部２１０に格納する。
【００５５】
動作制御部２７０５は、読み出した動作制御プログラム２１０９に基づいて、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５、対象物方向情報２１０６、対象物距離情報２１０８等に基づいて、移動部２２０やロボットアーム２３０を制御する。また、動作制御部２７０５は、読み出した動作制御プログラム２１０９及び距離検出部２６０の検出信号に基づいて、移動部２２０やロボットアーム２３０を制御する。
【００５６】
通信制御部２７０６は、読み出した通信制御プログラム２１１０に基づいて、通信部２８０を制御し、端末装置１００の通信部１８００から送信される抽出画像情報１２０５、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等を当該通信部２８０によって受信させる。
【００５７】
通信部２８０は、端末装置１００の通信部１８００との情報の伝達を実現するように通信制御部２７０６に制御される。通信部２８０は、端末装置１００の通信部１８００から抽出画像情報１２０５、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等を受信する。
【００５８】
このような構成の遠隔操作システム１は、具体的に以下のように動作する。以下の例では、ロボット２００に絵を取る動作を実行させる。
先ず、操作者が端末装置１００の操作部１７００を操作して指示プログラム１２０１を起動させる。その状態で、操作者は、図４及び５に示すように、作業対象物である絵３００の近傍に立ち、端末装置１００の操作部１７００を操作して撮像部１１０によって、絵３００が含まれるように画像を撮像する。すなわち、操作者の操作部１７００の操作により、操作部１７００から画像を撮像する指示情報が演算処理部１５００に入力される。演算処理部１５００の画像取得部１５０１は、読み出した画像取得プログラム１２０２に基づいて、撮像部１１０を制御し、絵３００が含まれるように撮像された画像情報を画像情報１２０３として記憶部１２００に格納する。同時に、演算処理部１５００の位置推定部１５０５は、読み出した自己位置推定プログラム１２１２に基づいて、位置検出部１３００を制御し、位置検出部１３００が検出した端末装置１００の緯度、経度、即ち端末装置１００の位置情報を自己位置情報１２１３として記憶部１２００に格納する。また、演算処理部１５００の姿勢推定部１５０６は、読み出した自己姿勢推定プログラム１２１４に基づいて、姿勢検出部１４００を制御し、姿勢検出部１４００が検出した端末装置１００の傾斜角度や方位、即ち端末装置１００の姿勢情報を自己姿勢情報１２１５として記憶部１２００に格納する。これにより、操作者が絵３００を撮像した際の端末装置１００、しいては撮像部１１０の位置、姿勢等が判明する。
【００５９】
次に、演算処理部１５００の抽出部１５０２は、読み出した画像抽出プログラム１２０４に基づいて、読み出した画像情報１２０３を表示部１６００に表示する。そして、操作者は、操作部１７００を操作することで、表示された画像情報から作業対象物である絵３００を特定する。例えば、操作部１７００がタッチパネルで構成され、表示部１６００と一体的に構成されている場合、操作者は、図６に示すように、操作部１７００の一部を成すタッチペン１７０１を、絵３００を囲むように表示部１６００と接触させる。これにより、当該抽出部１５０２は、抽出した範囲情報を画像情報１２０３に付加して、抽出画像情報１２０５として記憶部１２００に格納する。但し、抽出部１５０２は、抽出した絵３００を含む領域のみの画像情報を、抽出画像情報１２０５として記憶部１２００に格納しても良い。
【００６０】
次に、演算処理部１５００の判定部１５０３は、読み出した対象物判定プログラム１２０７に基づいて、抽出画像情報１２０５と対象物サンプル情報１２０６とを照合し、作業対象物の形状又は物品や姿勢を判定する。すなわち、判定部１５０３は、抽出画像情報１２０５を二値化処理したり、エッジ検出したりして特徴点を抽出する。これにより、絵３００の額縁の形状や内部の絵画の色が変化する場所等が現れる。そして、判定部１５０３は、対象物サンプル情報１２０６の特徴点を抽出し、相互の一致度を検出する。この工程を対象物サンプル情報分だけ繰り返し、最も一致度が高かった対象物サンプル情報の形状又は物品や姿勢が作業対象物の形状又は物品や姿勢であると判定する。本実施の形態では、具体的な物品である絵の対象物サンプル情報又は抽象的な形状である四角柱を変形させた後の対象物サンプル情報が最も一致度が高くなる。これにより、判定部１５０３は、作業対象物が絵又は輪郭が薄い四角柱形状であって、且つ直立な状態であると判定し、対象物情報１２０８として記憶部１２００に格納する。
【００６１】
次に、演算処理部１５００の選択部１５０４は、読み出した作業指示情報選択プログラム１２１０に基づいて、作業指示情報１２０９の一覧から操作者に、ロボット２００に実行させる作業指示情報の選択を促すために、図７に示すように、当該作業指示情報１２０９の一覧を表示部１６００に表示する。例えば、選択部１５０４は、作業指示情報１２０９の一覧をボタンオブジェクトとして表示部１６００に表示する。選択部１５０４は、操作者がタッチペン１７０１によって、ロボット２００に実行させる作業指示情報が示されたボタンオブジェクトを選択すると、選択した作業指示情報を選択指示情報１２１１として記憶部１２００に格納する。
【００６２】
次に、演算処理部１５００の通信制御部１５０７は、図８に示すように、読み出した通信制御プログラム１２１６に基づいて通信部１８００を制御し、読み出した抽出画像情報１２０５、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等をロボット２００に送信する。
【００６３】
次に、ロボット２００における演算処理部２７０の通信制御部２７０６は、読み出した通信制御プログラム２１１０に基づいて通信部２８０を制御し、端末装置１００の通信部１８００から抽出画像情報１２０５、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等を受信する。
【００６４】
次に、演算処理部２７０の動作制御部２７０５は、読み出した動作制御プログラム２１０９、及び受信した自己位置情報１２１３、自己姿勢情報１２１５に基づいて、撮像部１１０が画像を撮像した位置に移動するように、移動部２２０を制御する。このとき、演算処理部２７０の自己位置推定部２７０１は、読み出した自己位置推定プログラム２１０１に基づいて、ロボット２００自身の緯度、経度、即ちロボット２００の位置情報を自己位置情報２１０２として記憶部２１０に格納する。そして、動作制御部２７０５は、当該自己位置情報２１０２を参照しつつ、ロボット２００が端末装置１００の撮像部１１０で画像を撮像した際の当該撮像部１１０の位置に移動するように、移動部２２０を制御する。つまり、動作制御部２７０５は、ロボット２００が端末装置１００の撮像部１１０で画像を撮像した際の当該撮像部１１０の位置に移動するように移動ルートを導出し、当該移動ルートに沿ってロボット２００を移動させる。このとき、動作制御部２７０５は、距離検出部２６０等の検出信号に基づいて、移動ルート上に人や障害物が存在するか否かを判定し、移動ルート上に人や障害物が存在すると、移動ルートを再度導出し、導出し直した移動ルートに沿ってロボット２００を移動させる。そして、ロボット２００が端末装置１００の撮像部１１０で画像を撮像した際の当該撮像部１１０の位置に移動を完了すると、動作制御部２７０５は、ロボット２００が端末装置１００の撮像部１１０で画像を撮像した際の当該撮像部１１０の方位に向くように移動部２２０を制御する。
【００６５】
次に、演算処理部１５００の周辺画像取得部２７０２は、読み出した周辺画像取得プログラム２１０３及び受信した自己姿勢情報１２１５に基づいて、ロボット２００の周辺画像を撮像するように、撮像部２５０を制御する。すなわち、周辺画像取得部２７０２は、ロボット２００が端末装置１００の撮像部１１０で画像を撮像した際の当該撮像部１１０の方位に向いた状態で、やはり端末装置１００の撮像部１１０で画像を撮像した際の当該撮像部１１０の傾斜角度方向に撮像部２５０が向くように当該撮像部２５０を制御する。その状態から周辺画像取得部２７０２は、撮像部２５０を上下左右に振りながらロボット２００の周辺の画像を複数撮像するように当該撮像部２５０を制御し、各々の画像情報に当該画像を撮像した際の撮像部２５０が向いた方向や高さを示す情報を付加して、周辺画像情報２１０４として記憶部２１０に格納する。
【００６６】
次に、演算処理部１５００の対象物方向推定部２７０３は、読み出した対象物方向推定プログラム２１０５に基づいて、抽出画像情報１２０５と周辺画像情報２１０４とを照合させ、ロボット２００に対する絵３００が配置されている方向や高さを推定する。すなわち、対象物方向推定部２７０３は、抽出画像情報１２０５を二値化処理したり、エッジ検出したりして特徴点を抽出する。そして、対象物方向推定部２７０３は、周辺画像情報２１０４も二値化処理したり、エッジ検出したりして特徴点を抽出する。さらに対象物方向推定部２７０３は、特徴点が抽出された画像情報相互を照合して、抽出画像情報１２０５が、何れの周辺画像情報２１０４に含まれているかを特定する。対象物方向推定部２７０３は、抽出画像情報１２０５が、何れの周辺画像情報２１０４に含まれているかを特定すると、当該周辺画像情報２１０４に付加されている方向や高さを示す情報を絵３００が配置されている方向や高さであると推定し、当該方向や高さを示す情報を対象物方向情報２１０６として記憶部２１０に格納する。
【００６７】
次に、演算処理部１５００の対象物距離推定部２７０４は、読み出した対象物距離推定プログラム２１０７及び対象物方向情報２１０６に基づいて、距離検出部２６０を制御し、当該距離検出部２６０の検出情報に基づいて、絵３００までの距離を推定する。すなわち、対象物距離推定部２７０４は、対象物方向情報２１０６に基づいて、絵３００が配置されていると推定した方向や高さに距離検出部２６０が向くように当該距離検出部２６０を制御し、距離検出部２６０の検出情報に基づいて、絵３００までの距離を推定する。距離推定部２６０は、推定した絵３００までの距離を対象物距離情報２１０８として記憶部２１０に格納する。
【００６８】
次に、演算処理部１５００の動作制御部２７０５は、読み出した動作制御プログラム２１０９、及び対象物方向情報２１０６、対象物距離情報２１０８に基づいて、移動部２２０を制御する。これにより、ロボット２００は、図９に示すように絵３００の近傍に移動することになる。
【００６９】
続いて演算処理部１５００の動作制御部２７０５は、読み出した動作制御プログラム２１０９、及び受信した対象物情報１２０８、選択指示情報１２１１に基づいて、移動部２２０及びロボットアーム２３０を制御する。例えば絵３００を取る作業指示情報を選択している場合、動作制御部２７０５は、対象物情報１２０８に基づいて、作業対象物である絵３００の形状や姿勢を判断し、当該絵３００に対してロボットアーム２３０をどのようにアプローチして把持するかを導出する。そして、動作制御部２７０５は、当該導出結果や距離検出部２６０の検出情報等に基づいて、ロボットアーム２３０を制御する。
【００７０】
このような遠隔操作システム１は、端末装置１００を用いてロボット２００に作業指示するので、ロボット２００に対して連続的に作業指示を行うことができる。すなわち、従来の遠隔操作システムは、ロボットを作業対象物近傍に移動させてから、ロボットに対して作業指示するため、一つの作業が終了するまでは、次の作業指示を行うことができなかった。一方、当該遠隔操作システム１は、端末装置１００を用いて、ロボット２００に予め作業対象物に関する情報及び作業対象物に実行させる作業指示情報を送信するので、端末装置１００のみを操作者が持ち歩くことで、ロボット２００に対して連続的に作業指示を行うことができる。しかも、ロボット２００の位置や姿勢に関係なく、ロボット２００に作業指示を行うことができる。そのため、作業時間を短縮することができる。
【００７１】
また、当該遠隔操作システム１は、作業対象物を操作者が端末装置１００が備える撮像部１１０で撮像するので、常に操作者視点で直感的にロボット２００に対して作業指示を行うことができる。
【００７２】
さらに本実施の形態では、端末装置１００の撮像部１１０で画像を撮像した際の当該撮像部１１０の姿勢情報を取得しているので、ロボット２００の撮像部２５０で当該ロボット２００の周辺の画像を撮像する際に、撮像領域が狭い範囲で済み、作業時間をより短縮することができる。但し、遠隔操作システムは、撮像部１１０の姿勢情報を取得しない構成でも実施でき、その場合はロボット２００の撮像部２５０で当該ロボット２００の周辺の画像を撮像する際に、広い範囲で画像を撮像すれば良い。
【００７３】
ちなみに、ロボット２００が作業対象物３００を移動させたり、捨てたり、収納したり、即ちロボット２００が作業対象物３００を把持した状態で移動先に移動する場合は、端末装置１００の撮像部１１０で先ず作業対象物３００を撮像し、その後、例えば作業対象物３００を単に移動させる場合は移動先であるテーブル、又は作業対象物３００を捨てる場合は移動先であるゴミ箱、又は作業対象物３００を収納する場合は移動先である収納棚を撮像する。この場合、撮像した画像は共に、上述したように演算処理部１５００に処理され、ロボット２００に送信される。そのため、端末装置１００を用いてロボット２００に連続して作業指示した場合、ロボット２００が連続して受信する抽出画像情報１２０５が、それぞれ個別の作業対象物を示す画像情報なのか、それとも先行する抽出画像情報１２０５が作業対象物を示す画像情報であって、後続する抽出画像情報１２０５が当該作業対象物の移動先の物品を示す画像情報であるのかが演算処理部２７０は判断できない。そのため、ロボット２００は、作業対象物を移動させたり、捨てたり、収納したりする選択指示情報１２１１、すなわち必ず作業対象物の移動先がある選択指示情報１２１１を端末装置１００から受信すると、連続して受信した抽出画像情報１２０５のうち、先行する抽出画像情報１２０５が作業対象物を示す画像情報であって、後続する抽出画像情報１２０５が当該作業対象物の移動先の物品を示す画像情報であると演算処理部２７０は判断する。
【００７４】
このように判断することで、先ずロボット２００が作業対象物をロボットアーム２３０で把持するまでは、上述した工程と同様に実施することができる。そして、上述した工程において、ロボット２００がロボットアーム２３０で作業対象物を把持した状態であること、及び作業対象物が当該作業対象物の移動先の物品に変わること、選択された作業指示情報が作業対象物を取るから作業対象物を移動させたり、捨てたり、収納したりする作業指示に変わることを除いては、上述した工程と同様の工程でロボット２００にロボットアーム２３０で把持した作業対象物を移動させたり、捨てさせたり、収納させたりすることができる。これにより、遠隔操作システム１は、単にロボット２００に作業対象物を把持させるだけでなく、当該作業対象物を移動させたり、捨てさせたり、収納させたりすることができる。
【００７５】
実施の形態２．
本実施の形態の遠隔操作システム１０００は、図１０に示すように、撮像部４１０と作業指示部４２０とが別の構成とされている。ちなみに、図１０に示す遠隔操作システム１０００は、ロボット２００の構成は同様であるため、図示を省略している。
【００７６】
この場合、操作者は、撮像部４１０から離れた場所から作業指示部４２０で当該撮像部４１０を遠隔操作する。すなわち、本実施の形態の撮像部４１０は、室内や屋外に複数設置されている。各々の撮像部４１０には、識別情報が付与されており、遠隔操作する作業指示部４２０は各々の識別情報から位置情報を取得する。撮像部４１０は、当該撮像部４１０が画像を撮像した際の方向を検出する方向検出部４１１０を備える。方向検出部４１１０は、例えば撮像部４１０がパンチルト機構であって、該機構に回転角センサ等を備える。さらに撮像部４１０は、撮像した画像を作業指示部４２０に送信したり、作業指示部４２０からの制御信号を受信したりする通信部４１２０を備える。
【００７７】
作業指示部４２０としては、一般的なコンピュータを用いることができる。本実施の形態の作業指示部４２０は、撮像部４１０が別の構成とされているため、作業指示部４２０の自己位置を推定したり、作業指示部４２０の自己姿勢を推定したりする必要がないので、これらに関連する要素は省略されている。それに変わり、作業指示部４２０は、撮像部４１０を遠隔操作したり、作業対象物を含む画像を撮像した撮像部４１０の位置情報や方向情報を取得したりする要素を備える。
【００７８】
すなわち、作業指示部４２０は、作業対象物を撮像する際には、作業対象物に最も近い撮像部４１０を選択して制御し、当該撮像部４１０で作業対象物を撮像する。具体的に云うと、記憶部１２００には、複数の撮像部４１０の識別情報や当該識別情報に対応する位置情報等を示す撮像部情報１２１７が格納されている。演算処理部１５００の画像取得部１５０１は、読み出した画像取得プログラム１２０２及び撮像部情報１２１７に基づいて、先ず撮像部４１０の一覧を表示部１６００に表示させ、操作者に操作部１７００を介して一つの撮像部４１０の選択を促す。そして、操作者が操作部１７００を操作して撮像部４１０を選択すると、画像取得部１５０１は当該撮像部４１０に現在写っている画像を表示部１６００に表示させ、操作者に操作部１７００を介して撮像部４１０の上下左右への駆動を促す。操作者が操作部１７００を操作して作業対象物を含む画像を撮像することができるように撮像部４１０を駆動させ、当該撮像部４１０で作業対象物を含む画像を撮像させると、画像取得部１５０１は、撮像した作業対象物を含む画像を画像情報１２０３として記憶部１２００に格納する。それと共に、画像取得部１５０１は、選択した撮像部３１０の識別情報から位置情報を取得し、当該位置情報を撮像部位置情報１２１８として記憶部１２００に格納する。さらに画像取得部１５０１は、撮像部４１０の方向検出部４１１０の検出信号に基づいて、撮像部４１０が作業対象物を含む画像を撮像した際の当該撮像部４１０が向いた方向を推定し、当該方向情報を撮像部方向情報１２１９として記憶部１２００に格納する。これらの撮像部位置情報１２１８を自己位置情報１２１３として用い、さらに撮像部方向情報１２１９を自己姿勢情報１２１５として用いることで、遠隔操作システム１０００は実施の形態１の工程と同様に動作する。
【００７９】
このような遠隔操作システム１０００は、作業対象物の近傍に操作者が移動しなくても、撮像部４１０を遠隔操作することで、簡単にロボット２００に作業指示することができる。そのため、遠隔操作システム１０００は、例えば工場などで好適に用いることができる。
【００８０】
以上、本発明に係る遠隔操作システムの実施の形態を説明したが、上記の構成に限らず、本発明の技術的思想を逸脱しない範囲で、変更することが可能である。
【００８１】
例えば、上記実施の形態では、作業指示部１５００（４２０）が判定部１５０３を備える構成とされているが、この限りでない。すなわち、判定部１５０３は、ロボット２００が備えても良く、さらに別途、用意されたサーバ等が備えても良い。この場合、作業指示部１５００（４２０）の演算負担を低減し、メモリ使用量も低減することができる。
【００８２】
例えば、上記実施の形態では、画像情報１２０３から作業対象物を含む領域を抽出しているが、画像情報１２０３が作業対象物のみが撮像されている画像の場合は、当該画像情報１２０３をロボット２００に送信しても良い。つまり、本発明で云う作業対象物が含まれるように撮像された画像情報とは、画像情報１２０３及び抽出画像情報１２０５の両方を示す。
【００８３】
例えば、上記実施の形態では、作業対象物を取る作業指示と、作業対象物を移動させる作業指示と、作業対象物を捨てる作業指示と、作業対象物を収納する作業指示とが作業指示情報として記憶部１２００に格納されているが、作業指示はこれらに限定されない。
【００８４】
例えば、上記実施の形態では、特に言及していないがロボット２００はグローバル座標系の地図情報を備えていることが好ましく、この場合、作業対象物を隣の部屋へ移動させる場合に簡単にロボット２００を制御することができる。
【符号の説明】
【００８５】
１ ロボットの遠隔操作システム
１００ 端末装置
１１０ 撮像部
１２０ 作業指示部
２００ ロボット
２１０ 記憶部、２１０１ 自己位置推定プログラム、２１０２ 自己位置情報、２１０３ 周辺画像取得プログラム、２１０４ 周辺画像情報、２１０５ 対象物方向推定プログラム、２１０６ 対象物方向情報、２１０７ 対象物距離推定プログラム、２１０８ 対象物距離情報、２１０９ 動作制御プログラム、２１１０ 通信制御プログラム
２２０ 移動部
２３０ ロボットアーム
２４０ 位置検出部
２５０ 撮像部
２６０ 距離検出部
２７０ 演算処理部、２７０１ 自己位置推定部、２７０２ 周辺画像取得部、２７０３ 対象物方向推定部、２７０４ 対象物距離推定部、２７０５ 動作制御部、２７０６ 通信制御部
２８０ 通信部
３００ 作業対象物（絵）
４１０ 撮像部
４２０ 作業指示部
１０００ 遠隔操作システム
１２００ 記憶部、１２０１ 指示プログラム、１２０２ 画像取得プログラム、１２０３ 画像情報、１２０４ 画像抽出プログラム、１２０５ 抽出画像情報、１２０６ 対象物サンプル情報、１２０７ 対象物判定プログラム、１２０８ 対象物情報、１２０９ 作業指示情報、１２１０ 作業指示情報選択プログラム、１２１１ 選択指示情報、１２１２ 自己位置推定プログラム、１２１３ 自己位置情報、１２１４ 自己姿勢推定プログラム、１２１５ 自己姿勢情報、１２１６ 通信制御プログラム、１２１７ 撮像部情報、１２１８ 撮像部位置情報、１２１９ 撮像部方向情報
１３００ 位置検出部
１４００ 姿勢検出部
１５００ 演算処理部、１５０１ 画像取得部、１５０２ 抽出部、１５０３ 判定部、１５０４ 選択部、１５０５ 位置推定部、１５０６ 姿勢推定部、１５０７ 通信制御部
１６００ 表示部
１７００ 操作部、１７０１ タッチペン
１８００ 通信部
４１１０ 方向検出部
４１２０ 通信部
【技術分野】
【０００１】
本発明は、ロボットの遠隔操作システムに関する。
【背景技術】
【０００２】
従来からロボットを遠隔操作する技術が知られている。一般的には、ロボットが撮像部を備えており、当該撮像部で撮像したロボットの周辺の画像に基づいて、操作者がロボットを遠隔操作するものである（特許文献１〜３）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１９６３００号公報
【特許文献２】特開２００７−２２９８３７号公報
【特許文献３】特表２００３−５３２２１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１、２のロボットの遠隔操縦システムに作業を実行させる場合には、ロボットの撮像部で撮像した画像に基づいて、当該ロボットを遠隔操作するので、必ず作業する現場にロボットを移動させてから、作業指示することになる。そのため、一つの作業が終了するまでは、次の作業指示を行うことができない。
【０００５】
本発明は、このような問題を解決するためになされたものであり、連続的に作業指示を行うことができるロボットの遠隔操作システムを提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明に係るロボットの遠隔操作システムは、第１の撮像手段と、作業指示手段と、ロボットと、を備え、前記作業指示手段は、前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の位置情報、前記作業対象物が含まれるように撮像された画像情報、前記作業対象物に対して実行させる作業指示情報を前記ロボットに送信し、前記ロボットは、前記作業指示手段から受信した前記第１の撮像手段の位置情報に基づいて、前記第１の撮像手段が前記画像を撮像した際の前記第１の撮像手段の位置に移動し、周辺情報取得手段で前記ロボットの周辺の情報を取得し、取得した周辺情報と前記作業指示手段から受信した前記画像情報との照合結果から前記作業対象物の位置情報を取得し、前記取得した位置情報に基づいて前記作業対象物に近づき、前記作業指示手段から受信した前記作業指示情報に基づく作業を前記作業対象物に対して実行することを特徴とする。これにより、作業指示手段を用いてロボットに作業指示するので、ロボットに対して連続的に作業指示を行うことができる。すなわち、従来の遠隔操作システムは、ロボットを作業対象物近傍に移動させてから、ロボットに対して作業指示するため、一つの作業が終了するまでは、次の作業指示を行うことができなかった。一方、当該遠隔操作システムは、作業指示手段を用いて、ロボットに予め作業対象物に関する情報及び作業対象物に実行させる作業指示情報を送信するので、ロボットに対して連続的に作業指示を行うことができる。しかも、ロボットの位置や姿勢に関係なく、ロボットに作業指示を行うことができる。そのため、作業時間を短縮することができる。
【０００７】
前記作業指示手段は、表示手段と、前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の位置を推定する第１の位置推定手段と、前記作業対象物への作業指示情報の一覧を前記表示手段に表示させ、前記ロボットに前記作業対象物に対して実行させる作業の選択を促す選択手段と、操作者に操作され、前記表示手段に表示された前記作業指示情報の一覧から前記ロボットに前記作業対象物に対して実行させる作業を選択する操作部と、前記作業対象物が含まれるように撮像された画像情報、前記第１の撮像手段の位置情報、前記ロボットに前記作業対象物に対して実行させる作業指示情報を、前記ロボットに送信する第１の通信手段と、を備え前記ロボットは、前記作業指示手段から前記作業対象物が含まれるように撮像された画像情報、前記第１の撮像手段の位置情報、前記ロボットに前記作業対象物に対して実行させる作業指示情報を受信する第２の通信手段と、移動手段と、ロボットアームと、第１の位置検出手段と、前記第１の位置検出手段の検出情報に基づいて、前記ロボットの位置を推定する第２の位置推定手段と、前記周辺情報取得手段である前記第２の撮像手段と、前記第２の撮像手段によって撮像された画像に、前記第２の撮像手段によって画像を撮像した際の前記第２の撮像手段の姿勢情報が付加された前記ロボットの周辺画像情報と前記作業指示手段から受信した前記画像情報とを照合して、前記ロボットに対して前記作業対象物が配置されている方向を特定する対象物方向推定手段と、同じく前記周辺情報取得手段である距離検出手段と、前記距離検出手段の検出信号に基づいて、前記作業対象物までの距離を推定する対象物距離推定手段と、前記ロボットの位置情報、前記作業対象物の配置されている方向情報及び前記作業対象物までの距離情報、前記作業指示手段から受信した前記第１の撮像手段の位置情報、前記作業指示情報に基づいて、前記移動手段及び前記ロボットアームを制御する制御手段と、を備えること、が好ましい。
【０００８】
前記作業指示手段は、さらに前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の姿勢を推定する姿勢検出手段を備えること、が好ましい。これにより、ロボットの第２の撮像手段で当該ロボットの周辺の画像を撮像する際に、撮像領域が狭い範囲で済み、作業時間をより短縮することができる。
【０００９】
前記作業指示手段は、さらに前記第１の撮像手段が撮像した画像から前記作業対象物を含む領域の抽出を促す抽出手段を備え、前記第１の通信手段は、操作者の前記操作部の操作に基づいて、前記画像から作業対象物を含む領域を抽出後の画像情報を、前記作業対象物が含まれるように撮像された画像情報として前記ロボットに送信すること、が好ましい。
【００１０】
前記第１の撮像手段と前記作業指示手段とは一体的に構成された端末装置であり、前記端末装置は、第２の位置検出手段を備え、前記第１の位置推定手段は、前記第２の位置検出手段の検出情報に基づいて、前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の位置を推定すること、が好ましい。これにより、常に操作者視点で直感的にロボットに対して作業指示を行うことができる。
【００１１】
前記作業指示手段は、予め位置情報が与えられた前記第１の撮像手段を遠隔操作して前記作業対象物が含まれるように画像を撮像すること、が好ましい。これにより、作業対象物の近傍に操作者が移動しなくても、第１の撮像手段を遠隔操作することで、簡単にロボットに作業指示することができる。
【発明の効果】
【００１２】
以上、説明したように、本発明によると、連続的に作業指示を行うことができるロボットの遠隔操作システムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係るロボットの遠隔操作システムを模式的に示す図である。
【図２】本発明に係る実施の形態１のロボットの遠隔操作システムにおける、端末装置の構成を示すブロック図である。
【図３】本発明に係る実施の形態１のロボットの遠隔操作システムにおける、ロボットの構成を示すブロック図である。
【図４】操作者が作業対象物である絵を端末装置の撮像部で撮像する様子を示す図である。
【図５】撮像部で撮像された画像を示す図である。
【図６】撮像部で撮像された画像から作業対象物である絵を含む領域を抽出する様子を示す図である。
【図７】撮像部に表示された作業指示情報の一覧を示す図である。
【図８】端末装置から情報がロボットに送信される様子を示す図である。
【図９】ロボットが作業対象物である絵に近づく様子を示す図である。
【図１０】本発明に係る実施の形態２のロボットの遠隔操作システムにおける、撮像部及び作業指示部の構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための最良の形態について、添付図面を参照しながら説明する。但し、本発明が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。
【００１５】
実施の形態１．
本実施の形態のロボットの遠隔操作システム（以下、単に遠隔操作システムと云う場合がある。）１は、図１に示すように、端末装置１００からの遠隔操作に基づいて、ロボット２００が作業対象物３００に対して所定の作業を実行する。
【００１６】
遠隔操作システム１は、端末装置１００、ロボット２００を備える。端末装置１００は、図２に示すように、撮像部１１０、作業指示部１２０を備える。撮像部１１０は、通例の光電変換する撮像素子を有するカメラである。すなわち、撮像部１１０は、デジタル処理が可能な静止画又は動画を取得することができる撮像装置であれば良い。ここで、撮像部１１０は、取得した画像から特徴点を抽出し易いように、カラー画像を取得できる撮像素子を備えることが好ましい。但し、撮像部１１０は、モノクロ画像を取得できる撮像素子でも良い。
【００１７】
作業指示部１２０は、記憶部１２００、位置検出部１３００、姿勢検出部１４００、演算処理部１５００、表示部１６００、操作部１７００、通信部１８００を備える。すなわち、端末装置１００は、一般的な携帯端末装置と略同様の構成とされている。
【００１８】
記憶部１２００には、指示プログラム１２０１、画像取得プログラム１２０２、画像情報１２０３、画像抽出プログラム１２０４、抽出画像情報１２０５、対象物サンプル情報１２０６、対象物判定プログラム１２０７、対象物情報１２０８、作業指示情報１２０９、作業指示情報選択プログラム１２１０、選択指示情報１２１１、自己位置推定プログラム１２１２、自己位置情報１２１３、自己姿勢推定プログラム１２１４、自己姿勢情報１２１５、通信制御プログラム１２１６等が格納される。
【００１９】
指示プログラム１２０１は、ロボット２００を遠隔操作するために、作業指示部１２０に実行させるプログラムである。指示プログラム１２０１が演算処理部１５００上に読み出されて動作することによって、作業指示部１２０として動作する。
【００２０】
画像取得プログラム１２０２は、演算処理部１５００に撮像部１１０を制御させ、撮像部１１０に画像を撮像させるためのプログラムである。画像情報１２０３は、撮像部１１０が撮像した画像情報である。
【００２１】
画像抽出プログラム１２０４は、演算処理部１５００に撮像部１１０が撮像した画像を表示部１６００に表示させ、表示された画像から操作者が操作部１７００を操作することによって作業対象物３００を特定するべく、当該作業対象物３００を含む領域の抽出を促すためのプログラムである。抽出画像情報１２０５は、当該作業対象物３００を含む領域を抽出後の画像情報である。
【００２２】
対象物サンプル情報１２０６は、作業対象物のサンプル画像情報である。対象物サンプル情報１２０６は、例えば抽象的な円錐形、多角錐、円柱、多角柱などの画像情報であったり、具体的な物品の画像情報であったりする。対象物判定プログラム１２０７は、演算処理部１５００に当該作業対象物３００を含む領域を抽出後の画像情報と対象物サンプル情報１２０６とを照合させ、作業対象物３００の形状又は物品や作業対象物３００の姿勢を判定させるためのプログラムである。対象物情報１２０８は、判定された作業対象物３００の形状又は物品や姿勢を示す情報である。
【００２３】
作業指示情報１２０９は、ロボット２００に作業対象物３００に対して実行させる作業指示情報である。作業指示情報１２０９は、例えば作業対象物３００を取る（把持する）作業指示情報、作業対象物３００を移動させる作業指示情報、作業対象物３００を捨てる作業指示情報、作業対象物３００を収納する作業指示情報などである。作業指示情報選択プログラム１２１０は、演算処理部１５００に作業指示情報１２０９の一覧を表示部１６００に表示させ、表示された作業指示情報１２０９の一覧から操作者が操作部１７００を操作することによって、実際にロボット２００に実行させる作業指示情報の選択を促すためのプログラムである。選択指示情報１２１１は、作業指示情報１２０９の一覧から選択された一つの作業指示情報である。
【００２４】
自己位置推定プログラム１２１２は、演算処理部１５００に位置検出部１３００を制御させ、当該位置検出部１３００の検出情報に基づいて、撮像部１１０が画像を撮像した際の端末装置１００の位置を推定させるためのプログラムである。自己位置情報１２１３は、推定した撮像部１１０が画像を撮像した際の端末装置１００の位置情報である。
【００２５】
自己姿勢推定プログラム１２１４は、演算処理部１５００に姿勢検出部１４００を制御させ、当該姿勢検出部１４００の検出情報に基づいて、撮像部１１０が画像を撮像した際の端末装置１００の姿勢や方向を推定させるためのプログラムである。自己姿勢情報１２１５は、推定した撮像部１１０が画像を撮像した際の端末装置１００の姿勢や方向を示す情報である。
【００２６】
通信制御プログラム１２１６は、演算処理部１５００に通信部１８００を制御させ、読み出した抽出画像情報１２０５、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等をロボット２００に送信する。
【００２７】
位置検出部１３００は、例えばＧＰＳ（Global Positioning System）などを備える。位置検出部１３００は、読み出した自己位置推定プログラム１２１２に基づいて演算処理部１５００に制御される。
【００２８】
姿勢検出部１４００は、例えば地磁気センサや加速度センサなどを備える。姿勢検出部１４００は、読み出した自己姿勢推定プログラム１２１４に基づいて演算処理部１５００に制御される。
【００２９】
演算処理部１５００は、画像取得部１５０１、抽出部１５０２、判定部１５０３、選択部１５０４、位置推定部１５０５、姿勢推定部１５０６、通信制御部１５０７等を備える。画像取得部１５０１は、読み出した画像取得プログラム１２０２に基づいて、撮像部１１０を制御し、当該撮像部１１０に画像を撮像させる。画像取得部１５０１は、撮像した画像を画像情報１２０３として記憶部１２００に格納する。
【００３０】
抽出部１５０２は、読み出した画像抽出プログラム１２０４に基づいて、撮像部１１０が撮像した画像から操作者に作業対象物３００が含まれた領域の抽出を促すために、当該画像を表示部１６００に表示する。そして、抽出部１５０２は、操作者が操作部１７００を操作することによって、作業対象物３００が含まれた領域を抽出すると、抽出画像情報１２０５として記憶部１２００に格納する。
【００３１】
判定部１５０３は、読み出した対象物判定プログラム１２０７に基づいて、抽出画像情報１２０５と対象物サンプル情報１２０６とを照合し、作業対象物３００の形状又は物品や姿勢を判定する。すなわち、判定部１５０３は、抽出画像情報１２０５を二値化処理したり、エッジ検出したりして特徴点を抽出し、作業対象物３００の輪郭を抽出する。そして、判定部１５０３は、対象物サンプル情報１２０６を変形させる前の特徴点又は対象物サンプル情報１２０６を変形（拡大、縮小、回転など）させた後の特徴点（以後、相互を含めて対象物サンプル情報の特徴点と云う）を抽出し、作業対象物３００の輪郭と対象物サンプル情報の特徴点との一致度を検出する。この工程を対象物サンプル情報分だけ繰り返し、最も一致度が高かった対象物サンプル情報の形状又は物品や姿勢が作業対象物３００の形状又は物品や姿勢であると判定する。判定部１５０３は、判定した作業対象物３００の形状又は物品や姿勢を示す情報を対象物情報１２０８として記憶部１２００に格納する。
【００３２】
選択部１５０４は、読み出した作業指示情報選択プログラム１２１０に基づいて、作業指示情報１２０９の一覧から操作者に特定の作業指示情報の選択を促すために、当該作業指示情報１２０９の一覧を表示部１６００に表示する。そして、選択部１５０４は、操作者が操作部１７００を操作することによって、ロボット２００に実行させる作業指示情報を選択すると、選択指示情報１２１１として記憶部１２００に格納する。
【００３３】
位置推定部１５０５は、読み出した自己位置推定プログラム１２１２に基づいて、位置検出部１３００を制御し、当該位置検出部１３００の検出情報に基づいて撮像部１１０が画像を撮像した際の端末装置１００の位置を推定する。位置推定部１５０５は、例えば撮像部１１０が画像を撮像した際の端末装置１００の緯度や経度を推定する。位置推定部１５０５は、推定した端末装置１００の位置情報を自己位置情報１２１３として記憶部１２００に格納する。
【００３４】
姿勢推定部１５０６は、読み出した自己姿勢推定プログラム１２１４に基づいて、姿勢検出部１４００を制御し、当該姿勢検出部１４００の検出情報に基づいて撮像部１１０が画像を撮像した際の端末装置１００の姿勢や方向を推定する。姿勢推定部１５０６は、例えば撮像部１１０が画像を撮像した際の端末装置１００の傾斜角度や方位を推定する。姿勢推定部１５０６は、推定した端末装置１００の姿勢や方向を示す情報（以下、単に姿勢情報と云う）を自己姿勢情報１２１５として記憶部１２００に格納する。
【００３５】
通信制御部１５０７は、読み出した通信制御プログラム１２１６に基づいて、通信部１８００を制御し、当該通信部１８００によって読み出した抽出画像情報１２０５、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等をロボット２００に送信させる。
【００３６】
表示部１６００は、画像情報１２０３や作業指示情報１２０９の一覧などを表示する画像表示装置である。表示部１６００としては、一般的な画像表示装置を用いることができ、例えば液晶表示装置などを用いることができる。
【００３７】
操作部１７００は、一般的なキーボードやマウスなどでも良く、表示部１６００と一体的となったタッチパネルでも良い。要するに、操作部１７００は、表示部１６００に表示された画像情報１２０３から作業対象物を含む領域を抽出したり、作業指示情報１２０９の一覧からロボット２００に実行させる作業指示情報を選択したりすることができる構成であれば良い。
【００３８】
通信部１８００は、ロボット２００に抽出画像情報１２０５、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等をロボット２００に送信する無線通信装置又は有線通信装置である。但し、端末装置１００やロボット２００の機動性を考慮して、通信部１８００は無線通信装置であることが好ましい。
【００３９】
ロボット２００は、図３に示すように、記憶部２１０、移動部２２０、ロボットアーム２３０、位置検出部２４０、撮像部２５０、距離検出部２６０、演算処理部２７０、通信部２８０を備える。
【００４０】
記憶部２１０は、自己位置推定プログラム２１０１、自己位置情報２１０２、周辺画像取得プログラム２１０３、周辺画像情報２１０４、対象物方向推定プログラム２１０５、対象物方向情報２１０６、対象物距離推定プログラム２１０７、対象物距離情報２１０８、動作制御プログラム２１０９、通信制御プログラム２１１０等が格納される。
【００４１】
自己位置推定プログラム２１０１は、位置検出部２４０の検出情報に基づいて、演算処理部２７０にロボット２００の現在の位置を推定させるためのプログラムである。自己位置情報２１０２は、推定したロボット２００の位置情報である。
【００４２】
周辺画像取得プログラム２１０３は、演算処理部２７０に撮像部２５０がロボット２００の周辺の画像を撮像するように当該撮像部２５０を制御させるためのプログラムである。周辺画像情報２１０４は、撮像部２５０によってロボット２００の周辺が撮像された画像情報である。周辺画像情報２１０４には、撮像部２５０が当該画像を撮像した際の方向及び高さを示す情報が付加されている。
【００４３】
対象物方向推定プログラム２１０５は、演算処理部２７０に周辺画像情報２１０４と、端末装置１００から送信された抽出画像情報１２０５と、を照合させ、ロボット２００に対する作業対象物が配置されている方向や高さを推定させるためのプログラムである。対象物方向情報２１０６は、推定したロボット２００に対する作業対象物が配置されている方向や高さを示す情報である。
【００４４】
対象物距離推定プログラム２１０７は、距離検出部２６０の検出情報に基づいて、演算処理部２７０に作業対象物までの距離を推定させるためのプログラムである。対象物距離情報２１０８は、推定した作業対象物までの距離情報である。
【００４５】
動作制御プログラム２１０９は、端末装置１００から送信された対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等に基づいて、演算処理部２７０に移動部２２０やロボットアーム２３０を制御させるためのプログラムである。ここで、動作制御プログラム２１０９は、作業指示情報に対応するように作業対象物に対してロボットアーム２３０をどのようにアプローチさせるかを導出させるプログラムが含まれている。すなわち、例えばロボット２００が作業対象物を取る作業指示の場合、動作制御プログラム２１０９は、作業対象物の形状、姿勢等に基づいて、ロボットアーム２３０で作業対象物をどのように把持させるかを演算処理部２７０に導出させる。また、例えばロボット２００が作業対象物を捨てる作業指示の場合、動作制御プログラム２１０９は、上述のようにロボットアーム２３０で作業対象物を把持させた状態から、当該作業対象物をゴミ箱内にどのように捨てさせるのかを演算処理部２７０に導出させる。さらに、例えばロボット２００が作業対象物を収納させる作業指示の場合、動作制御プログラム２１０９は、上述のようにロボットアーム２３０で作業対象物を把持させた状態から、どのようにロボットアーム２３０で収納棚の扉を開けさせ又は引き出しを引き出させ、収納棚の内部に作業対象物を収納させ、さらに収納棚の扉を閉めさせ又は引き出しを押込ませるかを演算処理部２７０に導出させる。加えて動作制御プログラム２１０９は、距離検出部２６０等の検出信号に基づいて、演算処理部２７０に導出させたロボット２００の移動ルート上に人や障害物が存在する場合、人や障害物を避けるように当該移動ルートを再度導出させる。
【００４６】
移動部２２０は、ロボット２００の移動機構である。移動部２２０は、ロボット２００が歩行ロボットの場合は脚部、当該脚部の関節を駆動させる電動モータ、当該電動モータの回転トルクを増幅させる減速ギア等を備える。一方、移動部２２０は、ロボット２００が駆動輪によって移動するロボットの場合は車輪、当該車輪を回転駆動させる電動モータ、当該電動モータの回転トルクを増幅させる減速ギア等を備える。
【００４７】
ロボットアーム２３０は、多関節ロボットアームである。すなわち、ロボットアーム２３０は、端末装置１００の記憶部１２００に格納されている各種の作業指示を実行可能な可動範囲を有する。ロボットアーム２３０は、ロボットハンドを有する腕部、当該腕部等の関節を駆動させる電動モータ、当該電動モータの回転トルクを増幅させる減速ギア等を備える。
【００４８】
位置検出部２４０は、例えばＧＰＳなどを備える。位置検出部２４０は、読み出した自己位置推定プログラム２１０１に基づいて演算処理部２７０に制御される。
【００４９】
撮像部２５０は、通例の光電変換する撮像素子を有するカメラである。すなわち、撮像部２５０は、デジタル処理が可能な静止画又は動画を取得することができる撮像装置であれば良い。ここで、撮像部２５０は、取得した画像から特徴点を抽出し易いように、カラー画像を取得できる撮像素子を備えることが好ましい。但し、撮像部２５０は、モノクロ画像を取得できる撮像素子でも良く、詳細は後述するが、抽出画像情報１２０５と照合できる程度の画像を撮像できれば良い。この撮像部２５０は、ロボット２００の周辺の画像を撮像することができるように、上下左右に回動可能な構成とされている。撮像部２５０は、読み出した周辺画像取得プログラム２１０３に基づいて演算処理部２７０に制御される。
【００５０】
距離検出部２６０は、例えば作業対象物までの距離等を検出することができる測距センサを備える。この距離検出部２６０は、上下左右に回動可能な構成とされている。距離検出部２６０は、読み出した対象物距離推定プログラム２１０７に基づいて演算処理部２７０に制御される。但し、本実施の形態では、作業対象物までの距離を検出するために距離検出部２６０を備えているが、上述の撮像部２５０が例えばステレオカメラ等の場合、画像情報から距離を検出することができるので、省略しても良い。
【００５１】
演算処理部２７０は、自己位置推定部２７０１、周辺画像取得部２７０２、対象物方向推定部２７０３、対象物距離推定部２７０４、動作制御部２７０５、通信制御部２７０６を備える。自己位置推定部２７０１は、読み出した自己位置推定プログラム２１０１に基づいて、位置検出部２４０を制御し、当該位置検出部２４０の検出情報に基づいてロボット２００の位置を推定する。自己位置推定部２７０１は、例えばロボット２００の現在の緯度や経度を推定する。自己位置推定部２７０１は、推定したロボット２００の位置情報を自己位置情報２１０２として記憶部２１０に格納する。
【００５２】
周辺画像取得部２７０２は、読み出した周辺画像取得プログラム２１０３に基づいて、撮像部２５０を制御し、当該撮像部２５０によってロボット２００の周辺の画像を撮像させる。すなわち、周辺画像取得部２７０２は、撮像部２５０を上下左右に振りながら当該撮像部２５０がロボット２００の周辺の画像を複数撮像するように制御し、各々の画像情報に当該画像を撮像した際の撮像部２５０の姿勢情報、即ち撮像部２５０が向いた方向情報を付加して、周辺画像情報２１０４として記憶部２１０に格納する。
【００５３】
対象物方向推定部２７０３は、読み出した対象物方向推定プログラム２１０５に基づいて、周辺画像情報２１０４と、端末装置１００から送信された抽出画像情報１２０５と、を照合させ、ロボット２００に対する作業対象物が配置されている方向や高さを推定する。すなわち、対象物方向推定部２７０３は、周辺画像情報２１０４を二値化処理したり、エッジ検出したりして特徴点を抽出する。そして、対象物方向推定部２７０３は、端末装置１００から送信された抽出画像情報１２０５も二値化処理したり、エッジ検出したりして特徴点を抽出する。さらに対象物方向推定部２７０３は、特徴点が抽出された画像情報相互を照合して、端末装置１００から送信された抽出画像情報１２０５が、周辺画像情報２１０４の何れの画像情報に含まれているかを特定する。対象物方向推定部２７０３は、端末装置１００から送信された抽出画像情報１２０５が、周辺画像情報２１０４の何れの画像情報に含まれているかを特定すると、当該画像情報に付加されている方向情報を作業対象物が配置されている方向や高さであると推定し、当該方向や高さを示す情報を対象物方向情報２１０６として記憶部２１０に格納する。
【００５４】
対象物距離推定部２７０４は、読み出した対象物距離推定プログラム２１０７に基づいて、距離検出部２６０を制御し、当該距離検出部２６０の検出情報に基づいて、作業対象物までの距離を推定する。対象物距離推定部２７０４は、推定した作業対象物までの距離を対象物距離情報２１０８として記憶部２１０に格納する。
【００５５】
動作制御部２７０５は、読み出した動作制御プログラム２１０９に基づいて、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５、対象物方向情報２１０６、対象物距離情報２１０８等に基づいて、移動部２２０やロボットアーム２３０を制御する。また、動作制御部２７０５は、読み出した動作制御プログラム２１０９及び距離検出部２６０の検出信号に基づいて、移動部２２０やロボットアーム２３０を制御する。
【００５６】
通信制御部２７０６は、読み出した通信制御プログラム２１１０に基づいて、通信部２８０を制御し、端末装置１００の通信部１８００から送信される抽出画像情報１２０５、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等を当該通信部２８０によって受信させる。
【００５７】
通信部２８０は、端末装置１００の通信部１８００との情報の伝達を実現するように通信制御部２７０６に制御される。通信部２８０は、端末装置１００の通信部１８００から抽出画像情報１２０５、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等を受信する。
【００５８】
このような構成の遠隔操作システム１は、具体的に以下のように動作する。以下の例では、ロボット２００に絵を取る動作を実行させる。
先ず、操作者が端末装置１００の操作部１７００を操作して指示プログラム１２０１を起動させる。その状態で、操作者は、図４及び５に示すように、作業対象物である絵３００の近傍に立ち、端末装置１００の操作部１７００を操作して撮像部１１０によって、絵３００が含まれるように画像を撮像する。すなわち、操作者の操作部１７００の操作により、操作部１７００から画像を撮像する指示情報が演算処理部１５００に入力される。演算処理部１５００の画像取得部１５０１は、読み出した画像取得プログラム１２０２に基づいて、撮像部１１０を制御し、絵３００が含まれるように撮像された画像情報を画像情報１２０３として記憶部１２００に格納する。同時に、演算処理部１５００の位置推定部１５０５は、読み出した自己位置推定プログラム１２１２に基づいて、位置検出部１３００を制御し、位置検出部１３００が検出した端末装置１００の緯度、経度、即ち端末装置１００の位置情報を自己位置情報１２１３として記憶部１２００に格納する。また、演算処理部１５００の姿勢推定部１５０６は、読み出した自己姿勢推定プログラム１２１４に基づいて、姿勢検出部１４００を制御し、姿勢検出部１４００が検出した端末装置１００の傾斜角度や方位、即ち端末装置１００の姿勢情報を自己姿勢情報１２１５として記憶部１２００に格納する。これにより、操作者が絵３００を撮像した際の端末装置１００、しいては撮像部１１０の位置、姿勢等が判明する。
【００５９】
次に、演算処理部１５００の抽出部１５０２は、読み出した画像抽出プログラム１２０４に基づいて、読み出した画像情報１２０３を表示部１６００に表示する。そして、操作者は、操作部１７００を操作することで、表示された画像情報から作業対象物である絵３００を特定する。例えば、操作部１７００がタッチパネルで構成され、表示部１６００と一体的に構成されている場合、操作者は、図６に示すように、操作部１７００の一部を成すタッチペン１７０１を、絵３００を囲むように表示部１６００と接触させる。これにより、当該抽出部１５０２は、抽出した範囲情報を画像情報１２０３に付加して、抽出画像情報１２０５として記憶部１２００に格納する。但し、抽出部１５０２は、抽出した絵３００を含む領域のみの画像情報を、抽出画像情報１２０５として記憶部１２００に格納しても良い。
【００６０】
次に、演算処理部１５００の判定部１５０３は、読み出した対象物判定プログラム１２０７に基づいて、抽出画像情報１２０５と対象物サンプル情報１２０６とを照合し、作業対象物の形状又は物品や姿勢を判定する。すなわち、判定部１５０３は、抽出画像情報１２０５を二値化処理したり、エッジ検出したりして特徴点を抽出する。これにより、絵３００の額縁の形状や内部の絵画の色が変化する場所等が現れる。そして、判定部１５０３は、対象物サンプル情報１２０６の特徴点を抽出し、相互の一致度を検出する。この工程を対象物サンプル情報分だけ繰り返し、最も一致度が高かった対象物サンプル情報の形状又は物品や姿勢が作業対象物の形状又は物品や姿勢であると判定する。本実施の形態では、具体的な物品である絵の対象物サンプル情報又は抽象的な形状である四角柱を変形させた後の対象物サンプル情報が最も一致度が高くなる。これにより、判定部１５０３は、作業対象物が絵又は輪郭が薄い四角柱形状であって、且つ直立な状態であると判定し、対象物情報１２０８として記憶部１２００に格納する。
【００６１】
次に、演算処理部１５００の選択部１５０４は、読み出した作業指示情報選択プログラム１２１０に基づいて、作業指示情報１２０９の一覧から操作者に、ロボット２００に実行させる作業指示情報の選択を促すために、図７に示すように、当該作業指示情報１２０９の一覧を表示部１６００に表示する。例えば、選択部１５０４は、作業指示情報１２０９の一覧をボタンオブジェクトとして表示部１６００に表示する。選択部１５０４は、操作者がタッチペン１７０１によって、ロボット２００に実行させる作業指示情報が示されたボタンオブジェクトを選択すると、選択した作業指示情報を選択指示情報１２１１として記憶部１２００に格納する。
【００６２】
次に、演算処理部１５００の通信制御部１５０７は、図８に示すように、読み出した通信制御プログラム１２１６に基づいて通信部１８００を制御し、読み出した抽出画像情報１２０５、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等をロボット２００に送信する。
【００６３】
次に、ロボット２００における演算処理部２７０の通信制御部２７０６は、読み出した通信制御プログラム２１１０に基づいて通信部２８０を制御し、端末装置１００の通信部１８００から抽出画像情報１２０５、対象物情報１２０８、選択指示情報１２１１、自己位置情報１２１３、自己姿勢情報１２１５等を受信する。
【００６４】
次に、演算処理部２７０の動作制御部２７０５は、読み出した動作制御プログラム２１０９、及び受信した自己位置情報１２１３、自己姿勢情報１２１５に基づいて、撮像部１１０が画像を撮像した位置に移動するように、移動部２２０を制御する。このとき、演算処理部２７０の自己位置推定部２７０１は、読み出した自己位置推定プログラム２１０１に基づいて、ロボット２００自身の緯度、経度、即ちロボット２００の位置情報を自己位置情報２１０２として記憶部２１０に格納する。そして、動作制御部２７０５は、当該自己位置情報２１０２を参照しつつ、ロボット２００が端末装置１００の撮像部１１０で画像を撮像した際の当該撮像部１１０の位置に移動するように、移動部２２０を制御する。つまり、動作制御部２７０５は、ロボット２００が端末装置１００の撮像部１１０で画像を撮像した際の当該撮像部１１０の位置に移動するように移動ルートを導出し、当該移動ルートに沿ってロボット２００を移動させる。このとき、動作制御部２７０５は、距離検出部２６０等の検出信号に基づいて、移動ルート上に人や障害物が存在するか否かを判定し、移動ルート上に人や障害物が存在すると、移動ルートを再度導出し、導出し直した移動ルートに沿ってロボット２００を移動させる。そして、ロボット２００が端末装置１００の撮像部１１０で画像を撮像した際の当該撮像部１１０の位置に移動を完了すると、動作制御部２７０５は、ロボット２００が端末装置１００の撮像部１１０で画像を撮像した際の当該撮像部１１０の方位に向くように移動部２２０を制御する。
【００６５】
次に、演算処理部１５００の周辺画像取得部２７０２は、読み出した周辺画像取得プログラム２１０３及び受信した自己姿勢情報１２１５に基づいて、ロボット２００の周辺画像を撮像するように、撮像部２５０を制御する。すなわち、周辺画像取得部２７０２は、ロボット２００が端末装置１００の撮像部１１０で画像を撮像した際の当該撮像部１１０の方位に向いた状態で、やはり端末装置１００の撮像部１１０で画像を撮像した際の当該撮像部１１０の傾斜角度方向に撮像部２５０が向くように当該撮像部２５０を制御する。その状態から周辺画像取得部２７０２は、撮像部２５０を上下左右に振りながらロボット２００の周辺の画像を複数撮像するように当該撮像部２５０を制御し、各々の画像情報に当該画像を撮像した際の撮像部２５０が向いた方向や高さを示す情報を付加して、周辺画像情報２１０４として記憶部２１０に格納する。
【００６６】
次に、演算処理部１５００の対象物方向推定部２７０３は、読み出した対象物方向推定プログラム２１０５に基づいて、抽出画像情報１２０５と周辺画像情報２１０４とを照合させ、ロボット２００に対する絵３００が配置されている方向や高さを推定する。すなわち、対象物方向推定部２７０３は、抽出画像情報１２０５を二値化処理したり、エッジ検出したりして特徴点を抽出する。そして、対象物方向推定部２７０３は、周辺画像情報２１０４も二値化処理したり、エッジ検出したりして特徴点を抽出する。さらに対象物方向推定部２７０３は、特徴点が抽出された画像情報相互を照合して、抽出画像情報１２０５が、何れの周辺画像情報２１０４に含まれているかを特定する。対象物方向推定部２７０３は、抽出画像情報１２０５が、何れの周辺画像情報２１０４に含まれているかを特定すると、当該周辺画像情報２１０４に付加されている方向や高さを示す情報を絵３００が配置されている方向や高さであると推定し、当該方向や高さを示す情報を対象物方向情報２１０６として記憶部２１０に格納する。
【００６７】
次に、演算処理部１５００の対象物距離推定部２７０４は、読み出した対象物距離推定プログラム２１０７及び対象物方向情報２１０６に基づいて、距離検出部２６０を制御し、当該距離検出部２６０の検出情報に基づいて、絵３００までの距離を推定する。すなわち、対象物距離推定部２７０４は、対象物方向情報２１０６に基づいて、絵３００が配置されていると推定した方向や高さに距離検出部２６０が向くように当該距離検出部２６０を制御し、距離検出部２６０の検出情報に基づいて、絵３００までの距離を推定する。距離推定部２６０は、推定した絵３００までの距離を対象物距離情報２１０８として記憶部２１０に格納する。
【００６８】
次に、演算処理部１５００の動作制御部２７０５は、読み出した動作制御プログラム２１０９、及び対象物方向情報２１０６、対象物距離情報２１０８に基づいて、移動部２２０を制御する。これにより、ロボット２００は、図９に示すように絵３００の近傍に移動することになる。
【００６９】
続いて演算処理部１５００の動作制御部２７０５は、読み出した動作制御プログラム２１０９、及び受信した対象物情報１２０８、選択指示情報１２１１に基づいて、移動部２２０及びロボットアーム２３０を制御する。例えば絵３００を取る作業指示情報を選択している場合、動作制御部２７０５は、対象物情報１２０８に基づいて、作業対象物である絵３００の形状や姿勢を判断し、当該絵３００に対してロボットアーム２３０をどのようにアプローチして把持するかを導出する。そして、動作制御部２７０５は、当該導出結果や距離検出部２６０の検出情報等に基づいて、ロボットアーム２３０を制御する。
【００７０】
このような遠隔操作システム１は、端末装置１００を用いてロボット２００に作業指示するので、ロボット２００に対して連続的に作業指示を行うことができる。すなわち、従来の遠隔操作システムは、ロボットを作業対象物近傍に移動させてから、ロボットに対して作業指示するため、一つの作業が終了するまでは、次の作業指示を行うことができなかった。一方、当該遠隔操作システム１は、端末装置１００を用いて、ロボット２００に予め作業対象物に関する情報及び作業対象物に実行させる作業指示情報を送信するので、端末装置１００のみを操作者が持ち歩くことで、ロボット２００に対して連続的に作業指示を行うことができる。しかも、ロボット２００の位置や姿勢に関係なく、ロボット２００に作業指示を行うことができる。そのため、作業時間を短縮することができる。
【００７１】
また、当該遠隔操作システム１は、作業対象物を操作者が端末装置１００が備える撮像部１１０で撮像するので、常に操作者視点で直感的にロボット２００に対して作業指示を行うことができる。
【００７２】
さらに本実施の形態では、端末装置１００の撮像部１１０で画像を撮像した際の当該撮像部１１０の姿勢情報を取得しているので、ロボット２００の撮像部２５０で当該ロボット２００の周辺の画像を撮像する際に、撮像領域が狭い範囲で済み、作業時間をより短縮することができる。但し、遠隔操作システムは、撮像部１１０の姿勢情報を取得しない構成でも実施でき、その場合はロボット２００の撮像部２５０で当該ロボット２００の周辺の画像を撮像する際に、広い範囲で画像を撮像すれば良い。
【００７３】
ちなみに、ロボット２００が作業対象物３００を移動させたり、捨てたり、収納したり、即ちロボット２００が作業対象物３００を把持した状態で移動先に移動する場合は、端末装置１００の撮像部１１０で先ず作業対象物３００を撮像し、その後、例えば作業対象物３００を単に移動させる場合は移動先であるテーブル、又は作業対象物３００を捨てる場合は移動先であるゴミ箱、又は作業対象物３００を収納する場合は移動先である収納棚を撮像する。この場合、撮像した画像は共に、上述したように演算処理部１５００に処理され、ロボット２００に送信される。そのため、端末装置１００を用いてロボット２００に連続して作業指示した場合、ロボット２００が連続して受信する抽出画像情報１２０５が、それぞれ個別の作業対象物を示す画像情報なのか、それとも先行する抽出画像情報１２０５が作業対象物を示す画像情報であって、後続する抽出画像情報１２０５が当該作業対象物の移動先の物品を示す画像情報であるのかが演算処理部２７０は判断できない。そのため、ロボット２００は、作業対象物を移動させたり、捨てたり、収納したりする選択指示情報１２１１、すなわち必ず作業対象物の移動先がある選択指示情報１２１１を端末装置１００から受信すると、連続して受信した抽出画像情報１２０５のうち、先行する抽出画像情報１２０５が作業対象物を示す画像情報であって、後続する抽出画像情報１２０５が当該作業対象物の移動先の物品を示す画像情報であると演算処理部２７０は判断する。
【００７４】
このように判断することで、先ずロボット２００が作業対象物をロボットアーム２３０で把持するまでは、上述した工程と同様に実施することができる。そして、上述した工程において、ロボット２００がロボットアーム２３０で作業対象物を把持した状態であること、及び作業対象物が当該作業対象物の移動先の物品に変わること、選択された作業指示情報が作業対象物を取るから作業対象物を移動させたり、捨てたり、収納したりする作業指示に変わることを除いては、上述した工程と同様の工程でロボット２００にロボットアーム２３０で把持した作業対象物を移動させたり、捨てさせたり、収納させたりすることができる。これにより、遠隔操作システム１は、単にロボット２００に作業対象物を把持させるだけでなく、当該作業対象物を移動させたり、捨てさせたり、収納させたりすることができる。
【００７５】
実施の形態２．
本実施の形態の遠隔操作システム１０００は、図１０に示すように、撮像部４１０と作業指示部４２０とが別の構成とされている。ちなみに、図１０に示す遠隔操作システム１０００は、ロボット２００の構成は同様であるため、図示を省略している。
【００７６】
この場合、操作者は、撮像部４１０から離れた場所から作業指示部４２０で当該撮像部４１０を遠隔操作する。すなわち、本実施の形態の撮像部４１０は、室内や屋外に複数設置されている。各々の撮像部４１０には、識別情報が付与されており、遠隔操作する作業指示部４２０は各々の識別情報から位置情報を取得する。撮像部４１０は、当該撮像部４１０が画像を撮像した際の方向を検出する方向検出部４１１０を備える。方向検出部４１１０は、例えば撮像部４１０がパンチルト機構であって、該機構に回転角センサ等を備える。さらに撮像部４１０は、撮像した画像を作業指示部４２０に送信したり、作業指示部４２０からの制御信号を受信したりする通信部４１２０を備える。
【００７７】
作業指示部４２０としては、一般的なコンピュータを用いることができる。本実施の形態の作業指示部４２０は、撮像部４１０が別の構成とされているため、作業指示部４２０の自己位置を推定したり、作業指示部４２０の自己姿勢を推定したりする必要がないので、これらに関連する要素は省略されている。それに変わり、作業指示部４２０は、撮像部４１０を遠隔操作したり、作業対象物を含む画像を撮像した撮像部４１０の位置情報や方向情報を取得したりする要素を備える。
【００７８】
すなわち、作業指示部４２０は、作業対象物を撮像する際には、作業対象物に最も近い撮像部４１０を選択して制御し、当該撮像部４１０で作業対象物を撮像する。具体的に云うと、記憶部１２００には、複数の撮像部４１０の識別情報や当該識別情報に対応する位置情報等を示す撮像部情報１２１７が格納されている。演算処理部１５００の画像取得部１５０１は、読み出した画像取得プログラム１２０２及び撮像部情報１２１７に基づいて、先ず撮像部４１０の一覧を表示部１６００に表示させ、操作者に操作部１７００を介して一つの撮像部４１０の選択を促す。そして、操作者が操作部１７００を操作して撮像部４１０を選択すると、画像取得部１５０１は当該撮像部４１０に現在写っている画像を表示部１６００に表示させ、操作者に操作部１７００を介して撮像部４１０の上下左右への駆動を促す。操作者が操作部１７００を操作して作業対象物を含む画像を撮像することができるように撮像部４１０を駆動させ、当該撮像部４１０で作業対象物を含む画像を撮像させると、画像取得部１５０１は、撮像した作業対象物を含む画像を画像情報１２０３として記憶部１２００に格納する。それと共に、画像取得部１５０１は、選択した撮像部３１０の識別情報から位置情報を取得し、当該位置情報を撮像部位置情報１２１８として記憶部１２００に格納する。さらに画像取得部１５０１は、撮像部４１０の方向検出部４１１０の検出信号に基づいて、撮像部４１０が作業対象物を含む画像を撮像した際の当該撮像部４１０が向いた方向を推定し、当該方向情報を撮像部方向情報１２１９として記憶部１２００に格納する。これらの撮像部位置情報１２１８を自己位置情報１２１３として用い、さらに撮像部方向情報１２１９を自己姿勢情報１２１５として用いることで、遠隔操作システム１０００は実施の形態１の工程と同様に動作する。
【００７９】
このような遠隔操作システム１０００は、作業対象物の近傍に操作者が移動しなくても、撮像部４１０を遠隔操作することで、簡単にロボット２００に作業指示することができる。そのため、遠隔操作システム１０００は、例えば工場などで好適に用いることができる。
【００８０】
以上、本発明に係る遠隔操作システムの実施の形態を説明したが、上記の構成に限らず、本発明の技術的思想を逸脱しない範囲で、変更することが可能である。
【００８１】
例えば、上記実施の形態では、作業指示部１５００（４２０）が判定部１５０３を備える構成とされているが、この限りでない。すなわち、判定部１５０３は、ロボット２００が備えても良く、さらに別途、用意されたサーバ等が備えても良い。この場合、作業指示部１５００（４２０）の演算負担を低減し、メモリ使用量も低減することができる。
【００８２】
例えば、上記実施の形態では、画像情報１２０３から作業対象物を含む領域を抽出しているが、画像情報１２０３が作業対象物のみが撮像されている画像の場合は、当該画像情報１２０３をロボット２００に送信しても良い。つまり、本発明で云う作業対象物が含まれるように撮像された画像情報とは、画像情報１２０３及び抽出画像情報１２０５の両方を示す。
【００８３】
例えば、上記実施の形態では、作業対象物を取る作業指示と、作業対象物を移動させる作業指示と、作業対象物を捨てる作業指示と、作業対象物を収納する作業指示とが作業指示情報として記憶部１２００に格納されているが、作業指示はこれらに限定されない。
【００８４】
例えば、上記実施の形態では、特に言及していないがロボット２００はグローバル座標系の地図情報を備えていることが好ましく、この場合、作業対象物を隣の部屋へ移動させる場合に簡単にロボット２００を制御することができる。
【符号の説明】
【００８５】
１ ロボットの遠隔操作システム
１００ 端末装置
１１０ 撮像部
１２０ 作業指示部
２００ ロボット
２１０ 記憶部、２１０１ 自己位置推定プログラム、２１０２ 自己位置情報、２１０３ 周辺画像取得プログラム、２１０４ 周辺画像情報、２１０５ 対象物方向推定プログラム、２１０６ 対象物方向情報、２１０７ 対象物距離推定プログラム、２１０８ 対象物距離情報、２１０９ 動作制御プログラム、２１１０ 通信制御プログラム
２２０ 移動部
２３０ ロボットアーム
２４０ 位置検出部
２５０ 撮像部
２６０ 距離検出部
２７０ 演算処理部、２７０１ 自己位置推定部、２７０２ 周辺画像取得部、２７０３ 対象物方向推定部、２７０４ 対象物距離推定部、２７０５ 動作制御部、２７０６ 通信制御部
２８０ 通信部
３００ 作業対象物（絵）
４１０ 撮像部
４２０ 作業指示部
１０００ 遠隔操作システム
１２００ 記憶部、１２０１ 指示プログラム、１２０２ 画像取得プログラム、１２０３ 画像情報、１２０４ 画像抽出プログラム、１２０５ 抽出画像情報、１２０６ 対象物サンプル情報、１２０７ 対象物判定プログラム、１２０８ 対象物情報、１２０９ 作業指示情報、１２１０ 作業指示情報選択プログラム、１２１１ 選択指示情報、１２１２ 自己位置推定プログラム、１２１３ 自己位置情報、１２１４ 自己姿勢推定プログラム、１２１５ 自己姿勢情報、１２１６ 通信制御プログラム、１２１７ 撮像部情報、１２１８ 撮像部位置情報、１２１９ 撮像部方向情報
１３００ 位置検出部
１４００ 姿勢検出部
１５００ 演算処理部、１５０１ 画像取得部、１５０２ 抽出部、１５０３ 判定部、１５０４ 選択部、１５０５ 位置推定部、１５０６ 姿勢推定部、１５０７ 通信制御部
１６００ 表示部
１７００ 操作部、１７０１ タッチペン
１８００ 通信部
４１１０ 方向検出部
４１２０ 通信部
【特許請求の範囲】
【請求項１】
第１の撮像手段と、作業指示手段と、ロボットと、を備え、
前記作業指示手段は、前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の位置情報、前記作業対象物が含まれるように撮像された画像情報、前記作業対象物に対して実行させる作業指示情報を前記ロボットに送信し、
前記ロボットは、前記作業指示手段から受信した前記第１の撮像手段の位置情報に基づいて、前記第１の撮像手段が前記画像を撮像した際の前記第１の撮像手段の位置に移動し、周辺情報取得手段で前記ロボットの周辺の情報を取得し、取得した周辺情報と前記作業指示手段から受信した前記画像情報との照合結果から前記作業対象物の位置情報を取得し、前記取得した位置情報に基づいて前記作業対象物に近づき、前記作業指示手段から受信した前記作業指示情報に基づく作業を前記作業対象物に対して実行することを特徴とするロボットの遠隔操作システム。
【請求項２】
前記作業指示手段は、
表示手段と、
前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の位置を推定する第１の位置推定手段と、
前記作業対象物への作業指示情報の一覧を前記表示手段に表示させ、前記ロボットに前記作業対象物に対して実行させる作業の選択を促す選択手段と、
操作者に操作され、前記表示手段に表示された前記作業指示情報の一覧から前記ロボットに前記作業対象物に対して実行させる作業を選択する操作部と、
前記作業対象物が含まれるように撮像された画像情報、前記第１の撮像手段の位置情報、前記ロボットに前記作業対象物に対して実行させる作業指示情報を、前記ロボットに送信する第１の通信手段と、を備え
前記ロボットは、
前記作業指示手段から前記作業対象物が含まれるように撮像された画像情報、前記第１の撮像手段の位置情報、前記ロボットに前記作業対象物に対して実行させる作業指示情報を受信する第２の通信手段と、
移動手段と、
ロボットアームと、
第１の位置検出手段と、
前記第１の位置検出手段の検出情報に基づいて、前記ロボットの位置を推定する第２の位置推定手段と、
前記周辺情報取得手段である前記第２の撮像手段と、
前記第２の撮像手段によって撮像された画像に、前記第２の撮像手段によって画像を撮像した際の前記第２の撮像手段の姿勢情報が付加された前記ロボットの周辺画像情報と前記作業指示手段から受信した前記画像情報とを照合して、前記ロボットに対して前記作業対象物が配置されている方向を特定する対象物方向推定手段と、
同じく前記周辺情報取得手段である距離検出手段と、
前記距離検出手段の検出信号に基づいて、前記作業対象物までの距離を推定する対象物距離推定手段と、
前記ロボットの位置情報、前記作業対象物の配置されている方向情報及び前記作業対象物までの距離情報、前記作業指示手段から受信した前記第１の撮像手段の位置情報、前記作業指示情報に基づいて、前記移動手段及び前記ロボットアームを制御する制御手段と、
を備えることを特徴とする請求項１に記載のロボットの遠隔操作システム。
【請求項３】
前記作業指示手段は、さらに前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の姿勢を推定する姿勢検出手段を備えることを特徴とする請求項２に記載のロボットの遠隔操作システム。
【請求項４】
前記作業指示手段は、さらに前記第１の撮像手段が撮像した画像から前記作業対象物を含む領域の抽出を促す抽出手段を備え、
前記第１の通信手段は、操作者の前記操作部の操作に基づいて、前記画像から作業対象物を含む領域を抽出後の画像情報を、前記作業対象物が含まれるように撮像された画像情報として前記ロボットに送信することを特徴とする請求項２又は３に記載のロボットの遠隔操作システム。
【請求項５】
前記第１の撮像手段と前記作業指示手段とは一体的に構成された端末装置であり、
前記端末装置は、第２の位置検出手段を備え、前記第１の位置推定手段は、前記第２の位置検出手段の検出情報に基づいて、前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の位置を推定することを特徴とする請求項２乃至４のいずれか１項に記載のロボットの遠隔操作システム。
【請求項６】
前記作業指示手段は、予め位置情報が与えられた前記第１の撮像手段を遠隔操作して前記作業対象物が含まれるように画像を撮像することを特徴とする請求項１乃至４のいずれか１項に記載のロボットの遠隔操作システム。
【請求項１】
第１の撮像手段と、作業指示手段と、ロボットと、を備え、
前記作業指示手段は、前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の位置情報、前記作業対象物が含まれるように撮像された画像情報、前記作業対象物に対して実行させる作業指示情報を前記ロボットに送信し、
前記ロボットは、前記作業指示手段から受信した前記第１の撮像手段の位置情報に基づいて、前記第１の撮像手段が前記画像を撮像した際の前記第１の撮像手段の位置に移動し、周辺情報取得手段で前記ロボットの周辺の情報を取得し、取得した周辺情報と前記作業指示手段から受信した前記画像情報との照合結果から前記作業対象物の位置情報を取得し、前記取得した位置情報に基づいて前記作業対象物に近づき、前記作業指示手段から受信した前記作業指示情報に基づく作業を前記作業対象物に対して実行することを特徴とするロボットの遠隔操作システム。
【請求項２】
前記作業指示手段は、
表示手段と、
前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の位置を推定する第１の位置推定手段と、
前記作業対象物への作業指示情報の一覧を前記表示手段に表示させ、前記ロボットに前記作業対象物に対して実行させる作業の選択を促す選択手段と、
操作者に操作され、前記表示手段に表示された前記作業指示情報の一覧から前記ロボットに前記作業対象物に対して実行させる作業を選択する操作部と、
前記作業対象物が含まれるように撮像された画像情報、前記第１の撮像手段の位置情報、前記ロボットに前記作業対象物に対して実行させる作業指示情報を、前記ロボットに送信する第１の通信手段と、を備え
前記ロボットは、
前記作業指示手段から前記作業対象物が含まれるように撮像された画像情報、前記第１の撮像手段の位置情報、前記ロボットに前記作業対象物に対して実行させる作業指示情報を受信する第２の通信手段と、
移動手段と、
ロボットアームと、
第１の位置検出手段と、
前記第１の位置検出手段の検出情報に基づいて、前記ロボットの位置を推定する第２の位置推定手段と、
前記周辺情報取得手段である前記第２の撮像手段と、
前記第２の撮像手段によって撮像された画像に、前記第２の撮像手段によって画像を撮像した際の前記第２の撮像手段の姿勢情報が付加された前記ロボットの周辺画像情報と前記作業指示手段から受信した前記画像情報とを照合して、前記ロボットに対して前記作業対象物が配置されている方向を特定する対象物方向推定手段と、
同じく前記周辺情報取得手段である距離検出手段と、
前記距離検出手段の検出信号に基づいて、前記作業対象物までの距離を推定する対象物距離推定手段と、
前記ロボットの位置情報、前記作業対象物の配置されている方向情報及び前記作業対象物までの距離情報、前記作業指示手段から受信した前記第１の撮像手段の位置情報、前記作業指示情報に基づいて、前記移動手段及び前記ロボットアームを制御する制御手段と、
を備えることを特徴とする請求項１に記載のロボットの遠隔操作システム。
【請求項３】
前記作業指示手段は、さらに前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の姿勢を推定する姿勢検出手段を備えることを特徴とする請求項２に記載のロボットの遠隔操作システム。
【請求項４】
前記作業指示手段は、さらに前記第１の撮像手段が撮像した画像から前記作業対象物を含む領域の抽出を促す抽出手段を備え、
前記第１の通信手段は、操作者の前記操作部の操作に基づいて、前記画像から作業対象物を含む領域を抽出後の画像情報を、前記作業対象物が含まれるように撮像された画像情報として前記ロボットに送信することを特徴とする請求項２又は３に記載のロボットの遠隔操作システム。
【請求項５】
前記第１の撮像手段と前記作業指示手段とは一体的に構成された端末装置であり、
前記端末装置は、第２の位置検出手段を備え、前記第１の位置推定手段は、前記第２の位置検出手段の検出情報に基づいて、前記第１の撮像手段によって前記作業対象物が含まれるように画像を撮像した際の前記第１の撮像手段の位置を推定することを特徴とする請求項２乃至４のいずれか１項に記載のロボットの遠隔操作システム。
【請求項６】
前記作業指示手段は、予め位置情報が与えられた前記第１の撮像手段を遠隔操作して前記作業対象物が含まれるように画像を撮像することを特徴とする請求項１乃至４のいずれか１項に記載のロボットの遠隔操作システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２１２７６４（Ｐ２０１１−２１２７６４Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８０９６０（Ｐ２０１０−８０９６０）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]