ロボットの動作を制御する方法およびロボットシステム
【課題】ロボットの動作を制御する方法およびロボットシステムにおいて、人間の手とは異なる構造を有するロボットに対し、人間の手のようなリアルタイムの動作の制御を行うことができるものを提供する。
【解決手段】単眼カメラ３０およびステレオカメラ４０が、教示者１０の手首２２および手２１を含む教示画像を取得する（教示情報取得ステップ、ステップＳ１）。制御装置２００は、教示画像に基づいて、手指の関節および指先の位置を表す手指座標を決定し（手指座標決定ステップ、ステップＳ３）、この手指座標に基づいて、ロボットハンドの各関節の角度を算出する（ロボットハンド関節角度算出ステップ、ステップＳ４）。
【解決手段】単眼カメラ３０およびステレオカメラ４０が、教示者１０の手首２２および手２１を含む教示画像を取得する（教示情報取得ステップ、ステップＳ１）。制御装置２００は、教示画像に基づいて、手指の関節および指先の位置を表す手指座標を決定し（手指座標決定ステップ、ステップＳ３）、この手指座標に基づいて、ロボットハンドの各関節の角度を算出する（ロボットハンド関節角度算出ステップ、ステップＳ４）。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ロボットの動作を制御する方法およびロボットシステムに関する。
【背景技術】
【０００２】
ロボットを用いて作業を行う際には、ロボットに動作のパターンを教示する必要がある。この教示の方法としては、動作のパターンを表す教示データを数値としてキーボードから直接入力する方法、教示者がロボットの制御装置を操作して動作を実行させ、これに伴って教示データを作成させる方法、および、人間の手の画像を入力して、これにロボットハンドの姿勢を一致させる教示データを自動的に作成させる方法、等がある。引用文献１には、人間の手の画像にロボットハンドの姿勢を一致させる方法の例が記載されている。
【０００３】
引用文献１のロボットは、その構造が人間の手の構造と完全に一致している。このような場合には、指の関節の位置や角度もすべて一致するので、人間の指の関節等の座標を測定し、これをそのまま実現するようにロボットを駆動することにより、人間と同様の動作をロボットに行わせることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平４−３６５５７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、人間の手とは異なる構造を有するロボットについて、人間の手のようなリアルタイムの動作の制御を行うことは困難であった。
ロボットの構造が人間の手とは異なる場合には、引用文献１のように人間の指の姿勢データをそのままロボットの制御に用いることができない。また、制御データを数値としてキーボードから入力する場合や、教示者がロボットの制御装置を操作して予め動作の教示を行うような場合には、リアルタイムの制御を行うことができない。
【０００６】
この発明はこのような問題点を解消するためになされたものであり、ロボットの動作を制御する方法およびロボットシステムにおいて、人間の手とは異なる構造を有するロボットに対し、人間の手のようなリアルタイムの動作の制御を行うことができるものを提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る、ロボットの動作を制御する方法は、ロボットハンドを備える、少なくとも１台のロボットの動作を制御する方法であって、人間の手を含む教示情報を取得する、教示情報取得ステップと、教示情報に基づいて、手指に関連する位置を表す手指座標を決定する、手指座標決定ステップと、手指座標に基づいて、ロボットハンドの各関節の角度を表すロボットハンド関節角度を算出する、ロボットハンド関節角度算出ステップと、ロボットハンド関節角度算出ステップにおいて算出されたロボットハンド関節角度に基づいて、ロボットハンドに駆動指令を送信する、駆動指令送信ステップとを含む。
教示情報は教示画像であってもよく、教示情報取得ステップは教示画像取得ステップであってもよい。
【０００８】
この方法によれば、教示画像に基づいて手指座標を決定し、手指座標をロボットハンド関節角度に変換し、このロボットハンド関節角度に基づいてロボットを駆動する。
【０００９】
ロボットハンドの関節の運動パターンを表す所定の運動パターンデータに基づいてロボットハンドを駆動する、パターン駆動指令送信ステップをさらに含み、所定の条件が満たされた場合には、駆動指令送信ステップの代わりにパターン駆動指令送信ステップが実行されてもよい。
所定の条件が満たされたかどうかを判定する、パターン判定ステップをさらに含み、パターン判定ステップにおいて、一時点におけるロボットハンド関節角度に基づいて、または、所定時間にわたるロボットハンド関節角度の変動の状態に基づいて、ロボットハンド関節角度と所定の運動パターンデータとの関連性が判定されてもよい。
ロボットは、さらにロボットアームを備え、教示画像は、さらに人間の手首を含み、方法は、教示画像に基づいて、手首の位置および向きを表す手首座標を決定する、手首座標決定ステップと、手首座標に基づいてロボットアームに駆動指令を送信する、ロボットアーム駆動指令送信ステップとをさらに含んでもよい。
ロボットは少なくとも２台であり、教示画像は、人間の両腕について、それぞれの手首および手を含み、ロボットハンド関節角度および手首座標は、それぞれ両腕について算出または決定されてもよい。
【００１０】
また、この発明に係るロボットシステムは、少なくとも１台のロボットと、上述の方法を実行してロボットを制御する機能を有する制御装置とを備える。
【発明の効果】
【００１１】
この発明に係る、ロボットの動作を制御する方法およびロボットシステムは、教示者の手指座標に基づいて、ロボットハンドの各関節の角度を算出するので、人間の手とは異なる構造を有するロボットに対し、人間の手のようなリアルタイムの動作の制御を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１に係るロボット制御システムに関連する構成を示す図である。
【図２】図１のロボット制御システムの動作を説明するフローチャートである。
【図３】手首の位置を決定する方法の一例を説明する図である。
【図４】（ａ）は図１のロボット制御システムが決定する手指座標の例を示す図である。（ｂ）は図１のロボット制御システムが決定するロボットハンド関節角度の例を示す図である。
【図５】この発明の実施の形態２に係るロボット制御システムに関連する構成を示す図である。
【図６】この発明の実施の形態３に係るロボット制御システムに係る単眼カメラの構成を示す図である。
【図７】この発明の実施の形態３の変形例に係るロボット制御システムに係る単眼カメラの構成を示す図である。
【図８】この発明の実施の形態４に係るロボット制御システムに係る構成を示す図である。
【図９】この発明の実施の形態５に係るロボット制御システムの動作を説明するフローチャートである。
【図１０】この発明の実施の形態６に係るロボット制御システムの動作を説明するフローチャートである。
【図１１】手首の位置を決定する方法について、図３とは異なる例を示す図である。
【発明を実施するための形態】
【００１３】
以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態１．
図１は、この発明の実施の形態１に係るロボット制御システムに関連する構成を示す。ロボット制御システムは、教示の対象となるロボット１００と、ロボット１００に接続された制御装置２００とを含む。ロボット１００は、マニピュレータと呼ばれるものであってもよい。
【００１４】
ロボット１００は、ロボットアーム１１０およびロボットハンド１２０を含む。ロボットハンド１２０は、全体として人間の手指とは異なる構造を有する。すなわち、指の数、関節の数、各節の長さ、関節の自由度の数、等のうち、少なくとも１つが人間の手指とは異なる。図１ではロボットハンド１２０の指は３本であるが、これは少なくとも２本であればよい。ロボットハンド１２０の根元はロボットアーム１１０の先端に連結されており、ロボットアーム１１０の位置および向きが決まればこれに応じてすべてのロボットハンド１２０の根元の位置が一意に決まる構成となっている。
このロボット１００は、対象物１３０に対して作業を行うものである。作業としては、把持、運搬、組み付け等が可能である。
【００１５】
制御装置２００は、その内部の構成については図示しないが、演算手段（ＣＰＵ等）と記憶手段（半導体メモリ装置、磁気ディスク装置等）とを備えるコンピュータである。この制御装置２００は、その記憶手段に格納された教示データ作成プログラムを実行することにより、ロボット１００の教示データを作成する教示データ作成装置として機能し、また、その記憶手段に格納された駆動制御プログラムを実行することにより、ロボット１００の動作を制御する駆動制御装置として機能する。これらの教示データ作成プログラムおよび駆動制御プログラムは、情報記憶媒体に記憶することができる。
【００１６】
制御装置２００は、人間の手を含む画像に基づいて、手指の各関節の空間的位置および指先の空間的位置を表す座標を決定する機能を有する。このような機能は、たとえば、谷本らの研究（谷本貴頌他により２００６年３月に作成され公知となった「ロボットハンド制御のための自己増殖型ＳＯＭを用いた画像データベースからの手指形状の実時間推定」と題する筑波大学大学院博士課程システム情報工学研究科修士論文）に記載される方法を使用することによって実現することができる。この方法によれば、手を撮像した一つの二次元画像から手の姿勢の推定を行うことができる。谷本らの研究では、予め、手の関節の角度情報と手画像とを同期させて取得し、画像における輪郭抽出と特徴量化を行い、この特徴量と角度とをデータとしてデータベースを構築している。そして、手の実画像について、データベースの構築時と同様の特徴量化を行い、得られた特徴量とデータベースの特徴量との比較を行うことで手の関節の角度を推定し、手の姿勢を推定している。
【００１７】
この方法によれば、手の姿勢を表すデータである特徴量について複数のパターンをデータベースに格納しておき、この複数のパターン（姿勢候補データ）のうちから実画像に基づいて１つのパターン（姿勢候補データ）を選択することが可能となる。この際、手首の位置を基準として原点を設定し、手首の向きを基準として座標軸を設定した座標系において、指の空間的位置を決定することができる。
【００１８】
また、制御装置２００は、手または指の一部が画像に表れない場合（たとえばカメラの視野外にある場合、対象物によってカメラの視野が遮られる場合、教示者１０の体の一部、手、指等によってカメラの視野が遮られる場合、等）には、オクルージョンの部分（すなわち画像に表れない部分）を推定して補完する機能を有する。このような機能は、周知の画像処理技術を用いて実現可能である。
【００１９】
ロボット制御システムは、制御装置２００に接続された単眼カメラ３０を含む。単眼カメラ３０は、手２１の教示画像取得手段として機能する。すなわち、人間である教示者１０の指を含む手２１を撮影し、手２１を含む画像を取得して制御装置２００に送信する。（なお、本明細書において「単眼カメラ」という名称は、後述のステレオカメラ４０との区別のために用いるものであり、同様の機能を有するカメラであれば単眼カメラでなくともよい。）
なお、手２１は手首２２よりも先の部分であり、すなわち掌および指を含む部分である。腕２３は手首２２よりも根元側の部分である。この実施の形態では右腕であるが、左腕であってもよい。
【００２０】
また、ロボット制御システムは、制御装置２００に接続されたステレオカメラ４０を含む。ステレオカメラ４０は、手首２２の教示画像取得手段として機能する。すなわち、教示者１０の手首２２を撮影し、手首２２を含む画像を取得して制御装置２００に送信する。ステレオカメラ４０は周知の構成によって立体映像を撮影することができる。すなわち、ステレオカメラ４０は少なくとも２つのカメラを含み、これらのカメラが互いに異なる位置から手首２２を含む画像を撮影する。それぞれの画像における手首２２の位置に基づいて、ステレオカメラ４０と手首２２との距離を含む空間的位置関係を決定することができる。
【００２１】
さらに、ロボット制御システムは、ロボット１００を撮影するモニタ用カメラ５０と、モニタ用カメラ５０によって撮影された画像を表示するモニタ６０とを含む。モニタ用カメラ５０はロボット状態撮影手段として機能し、モニタ６０はロボット状態表示手段として機能する。
【００２２】
単眼カメラ３０、ステレオカメラ４０およびモニタ６０は、教示者１０の近傍に配置される。単眼カメラ３０は、教示者１０が教示を行う際に手２１が移動する範囲をすべて視野に収める位置に配置される。ステレオカメラ４０は、たとえば、教示者１０が教示を行う際に手首２２が移動する範囲をすべて視野に収める位置に配置される。モニタ６０は、教示者１０が教示作業を行う際に、その表示内容を見ることができる位置に配置される。このような配置により、教示者１０はロボット１００の状態を視認しながら教示作業を行い、これによってロボット１００をリアルタイムで遠隔操作することができる。
【００２３】
以上のように構成されるロボット制御システムの動作を、図２のフローチャートを用いて説明する。
まず、ロボット制御システムは、教示画像取得ステップ（ステップＳ１）を実行する。このステップＳ１において、ロボット制御システムは、教示者１０の手２１および手首２２を含む教示画像を取得する。この教示画像はロボット１００の教示に用いられるものである。
【００２４】
実施の形態１では、ステップＳ１において、単眼カメラ３０が手２１を含む教示画像を１つ取得し（ステップＳ１ａ）、ステレオカメラ４０が手首２２を含む２つの画像からなるステレオ手首画像を取得する（ステップＳ１ｂ）。すなわち、ステップＳ１ｂでは、ステレオカメラ４０を構成するそれぞれのカメラが、手首２２を含む教示画像を１つずつ取得する。
また、ステップＳ１において、単眼カメラ３０およびステレオカメラ４０は、それぞれ取得した教示画像を制御装置２００に送信し、制御装置２００はこれらを受信して記憶手段に格納する。
【００２５】
次に、制御装置２００は、手首座標決定ステップ（ステップＳ２）を実行する。このステップＳ２において、制御装置２００は、教示画像に基づいて、手首２２の位置および向きを表す手首座標を決定する。ステップＳ２は、姿勢候補データ選択ステップ（ステップＳ２ａ）、手首位置決定ステップ（ステップＳ２ｂ）、および、手首方向決定ステップ（ステップＳ２ｃ）を含む。
【００２６】
姿勢候補データ選択ステップ（ステップＳ２ａ）において、制御装置２００は、データベースに格納されている手の姿勢を表す複数の姿勢候補データのうちから、手２１を含む教示画像に基づいて、１つの姿勢候補データを選択する。この選択は公知の方法によって行うことができる。たとえば、制御装置２００は、教示画像から抽出した特徴量と、姿勢候補データを表す特徴量との一致度が最も高いものを選択することができる。
【００２７】
また、手首位置決定ステップ（ステップＳ２ｂ）において、制御装置２００は、ステレオカメラ４０によって撮影されたステレオ手首画像に基づいて、手首２２の位置を決定する。
図３を用いて、画像における手首２２の位置を決定する方法の一例を説明する。図３はステレオ手首画像の一方である。制御装置２００は、まず画像中の２点によって表されるくびれ部分２２ａを検出し、このくびれ部分２２ａの中点２２ｂの位置を算出する。そして、その画像における中点２２ｂの位置を、その画像における手首２２の位置として決定する。
さらに、制御装置２００は、ステレオ手首画像の残る一方でも同様にして手首２２の位置を決定する。その後、ステレオ手首画像のそれぞれにおける手首２２の位置に基づいて、ステレオカメラ４０を基準とする手首２２の空間的な位置を算出することができる。
【００２８】
ステップＳ２ａおよびステップＳ２ｂの後、制御装置２００は手首方向決定ステップ（ステップＳ２ｃ）を実行する。ステップＳ２ｃにおいて、制御装置２００は、手２１の教示画像と、ステップＳ２ａにおいて選択された姿勢候補データとの対応関係に基づいて、手２１の教示画像における手首２２の向きを決定する。姿勢候補データは、手首の位置および向きを基準として手指の各関節の位置および指先の空間的位置を表す座標を表すものであるので、たとえば、教示画像中の手２１と、選択された姿勢候補データとがある特定の向きにおいて最もよく一致する場合、その向きを手首２２の向きと決定することができる。
【００２９】
ステップＳ２の後、ステップＳ３〜Ｓ８を含む処理と、ステップＳ９〜Ｓ１２を含む処理とが並列に実行される。ただし、これらは直列に実行されるものであってもよい。
【００３０】
ステップＳ２の後、制御装置２００は、手指座標決定ステップ（ステップＳ３）を実行する。このステップＳ３において、制御装置２００は、手２１の教示画像に基づいて、手指の各関節および指先の位置を表す手指座標を決定する。これは上述の谷本らの方法に従って行うことができる。
図４（ａ）は、このようにして決定される手指座標の例を示す。図４（ａ）では、教示者１０の手２１の右手の親指、人差し指および中指に関連する手指座標が示されている。たとえば、点（ｘ１１，ｙ１１，ｚ１１）、点（ｘ１２，ｙ１２，ｚ１２）、および点（ｘ１３，ｙ１３，ｚ１３）は、それぞれ親指の第２関節、第１関節および指先の位置を表す。なお、点（ｘ４，ｙ４，ｚ４）はステップＳ２ｂにおいて決定される手首位置を表す。
【００３１】
ステップＳ３の後、制御装置２００は、ロボットハンド関節角度算出ステップ（ステップＳ４）を実行する。このステップＳ４において、制御装置２００は、上記ステップＳ３で決定された手指座標に基づいて、ロボット１００のロボットハンド１２０の各関節の角度を表すロボットハンド関節角度を算出する。この算出方法の具体例はとくに示さないが、ロボット１００の構造、ロボットハンド１２０の指の数およびロボットハンド１２０の関節の数等の条件に応じて、当業者が適宜設計することができる。このステップＳ４を実行することによって、制御装置２００は、測定された教示者１０の手指に関する座標を、ロボットハンド１２０を駆動するためのデータであるロボットハンド関節角度に変換する。
【００３２】
図４（ｂ）は、このようにして決定されるロボットハンド関節角度の例を示す。なおこの図ではロボット１００自体の図示は省略し、各関節の角度のみを模式的に示す。ロボット１００において、ロボットハンド１２０の各指が２つの関節を持つ。第１関節（指先側の関節）は１つの自由度（角度ω）を持ち、第２関節（根元側の関節）は２つの自由度（角度θおよびφ）を持つ。また、ロボット１００は、手首すなわちロボットアーム１１０の先端の位置を表す点（ｘ０，ｙ０，ｚ０）および向きを表す角度（θ０，φ０，ψ０）についてそれぞれ３自由度を持つ。このように、ロボット１００は合計１５の自由度をもって制御可能である。なお、図４（ｂ）では、親指、人差し指および中指にそれぞれ対応するロボット指１２０ａ、ロボット指１２０ｂおよびロボット指１２０ｃとして表している。
【００３３】
図４（ａ）および図４（ｂ）において、たとえば親指については、図４（ａ）の点（ｘ１１，ｙ１１，ｚ１１）、点（ｘ１２，ｙ１２，ｚ１２）、および点（ｘ１３，ｙ１３，ｚ１３）の座標に基づいて、ロボット指１２０ａの第１関節１２２の角度（ω１）および第２関節１２３の角度（θ１，φ１）が決定される。
なお、手指とロボットハンドとではサイズや可動範囲等が異なるため、関節の数が等しい場合であっても関節の位置が一致するとは限らない。また、人差し指および中指については、手指とロボットハンドとで関節の数が異なるが、このような場合にロボットハンド関節角度を算出する方法も、当業者には周知である。
【００３４】
ステップＳ４の後、制御装置２００は、ロボットハンド関節角度差分算出ステップ（ステップＳ５）を実行する。このステップＳ５において、制御装置２００は、ステップＳ４で算出されたロボットハンド関節角度と、過去のロボットハンド関節角度との差分Δθを算出する。ここで、過去のロボットハンド関節角度とは、たとえばＮフレーム前（ただしＮは所定の整数）の教示画像に基づいて算出されたロボットハンド関節角度である。または、過去のロボットハンド関節角度とは、最後にロボットハンド１２０が駆動され停止した状態のロボットハンド関節角度、すなわち実際にロボットハンド１２０が実現しているそのロボットハンド関節角度であってもよい。
この差分Δθは、たとえばロボットハンド１２０の関節のすべてについて算出される。ただし、この差分Δθは少なくとも１つの関節について算出されるものであればよい。
【００３５】
次に、制御装置２００は、ステップＳ５で算出された差分Δθが、所定の閾値より大きいかどうかを判定する（ステップＳ６）。この判定は、教示者１０の手指がある程度大きな動きを示したかどうかの判定に相当する。この判定は、ロボットハンド１２０の関節のすべてについての差分Δθに基づいて１つの値を算出し、この１つの値が所定の閾値より大きいかどうかに基づいて行われてもよく、または、ロボットハンド１２０の各関節についての差分Δθのそれぞれに基づいて行われてもよい。
【００３６】
ステップＳ６において、差分Δθが閾値より大きいと判定された場合、制御装置２００は、ロボットハンド教示データ作成ステップ（ステップＳ７）を実行する。このステップＳ７において、制御装置２００は、ステップＳ４で算出されたロボットハンド関節角度に基づいて、ロボットハンド１２０の動作を教示するロボットハンド教示データを作成する。たとえば、ロボットハンド１２０の関節角度を図４（ｂ）に示すものに制御することを指令するロボットハンド教示データを作成することができる。なお、上述のようにロボットハンド関節角度（図４（ｂ））は手指座標（図４（ａ））に基づいて算出されるので、ロボットハンド教示データは手指座標に基づいて作成されるものであるということもできる。
【００３７】
ステップＳ７の後、制御装置２００は、ロボットハンド駆動指令送信ステップ（ステップＳ８）を実行する。このステップＳ８において、制御装置２００は、ステップＳ７で作成されたロボットハンド教示データに基づいてロボットハンド１２０の各関節にロボットハンド駆動指令を送信し、これによってロボットハンド１２０を駆動する。なお、上述のようにロボットハンド教示データはロボットハンド関節角度に基づいて算出されるので、ロボットハンド１２０はロボットハンド関節角度に基づいて駆動されるものであるということもできる。
なお、上記ステップＳ６において、差分Δθが閾値以下であると判定された場合には、ステップＳ７およびＳ８は実行されず、ロボットハンド１２０は停止したままとなる。
【００３８】
また、ステップＳ２の後、制御装置２００は、手首位置差分算出ステップ（ステップＳ９）を実行する。このステップＳ９において、制御装置２００は、ステップＳ２ｂで算出された手首位置と、過去の手首位置との差分ΔＬを算出する。ここで、過去の手首位置とは、たとえばＮフレーム前（ただしＮは所定の整数）の教示画像に基づいて算出された手首位置である。または、過去の手首位置とは、最後にロボットアーム１１０が駆動され停止した時点の手首位置、すなわち実際にロボットアーム１１０が実現している姿勢に対応する手首位置であってもよい。
【００３９】
次に、制御装置２００は、ステップＳ９で算出された差分ΔＬが、所定の閾値より大きいかどうかを判定する（ステップＳ１０）。この判定は、教示者１０の手首がある程度大きな動きを示したかどうかの判定に相当する。
なお、この例では判定は手首位置の差分ΔＬのみに基づいて行われるが、手首位置の差分および手首方向の差分に基づいて行われてもよい。
【００４０】
ステップＳ１０において、差分ΔＬが閾値より大きいと判定された場合、制御装置２００は、ロボットアーム教示データ作成ステップ（ステップＳ１１）を実行する。このステップＳ１１において、制御装置２００は、ステップＳ２ａで決定された手首位置およびステップＳ２ｂで決定された手首方向に基づいて、ロボットアーム１１０の動作を教示するロボットアーム教示データを作成する。ここで、手首位置および手首方向は、ロボットアーム１１０の先端の位置および向きを表すロボットアーム座標に変換される。たとえば、制御装置２００は、ロボットアーム１１０の先端の位置を図４（ｂ）の点（ｘ０，ｙ０，ｚ０）に制御し、かつ、ロボットアーム１１０の向きを図４（ｂ）の角度（θ０，φ０，ψ０）に制御することを指令するロボットアーム教示データを作成することができる。
【００４１】
ステップＳ１１の後、制御装置２００は、ロボットアーム駆動指令送信ステップ（ステップＳ１２）を実行する。このステップＳ１２において、制御装置２００は、ステップＳ１１で作成されたロボットアーム教示データに基づいてロボットアーム１１０にロボットアーム駆動指令を送信し、これによってロボットアーム１１０を駆動する。なお、上述のようにロボットアーム教示データは手首座標に基づいて算出されるので、ロボットアーム１１０は手首座標に基づいて駆動されるものであるということもできる。
なお、上記ステップＳ１０において、差分ΔＬが閾値以下であると判定された場合には、ステップＳ１１およびＳ１２は実行されず、ロボットアーム１１０は停止したままとなる。
【００４２】
ステップＳ３〜Ｓ８およびステップＳ９〜Ｓ１２の実行が完了すると、図２の処理が終了し、制御装置２００は再び図２の処理を最初から繰り返す。
【００４３】
また、図１に示すように、ロボット１００の状態は、モニタ用カメラ５０によって常時撮影され、モニタ６０に表示される。これが教示者１０に対するフィードバックとなる。教示者１０は、この表示を見ながら腕２３および手２１を動かし、ロボット１００を適切に制御することができる。
【００４４】
以上のように、実施の形態１に係るロボットの教示データを作成する方法およびロボット制御システムによれば、教示者１０の手首２２を教示画像により認識し、その座標を利用して自動的に教示データを作成し、これによってロボット１００を駆動するので、ロボットアーム１１０を含むロボット１００の制御を簡単に行うことができる。
【００４５】
特に、ロボットの操作方法を知らない教示者であっても教示を行うことができる。また、教示者１０のジェスチャがそのまま教示動作となるので、複雑な教示動作も簡単に行うことができ、また、人間特有の器用さを要する動作も簡単に教示することができる。
また、単眼カメラ３０およびステレオカメラ４０が教示画像を取得し、また、モニタ用カメラ５０がロボット１００の状態を表す画像を取得するので、システム全体が安価に構築できる。また、これらのカメラによって遠隔操作が可能となるので、人間が作業困難場所での作業の制御も行うことができる。
【００４６】
また、図２に示す処理はリアルタイムで行うことができるので、いわゆる運動計画のようなデータ作成処理を事前に行う必要がない。この際、ロボットアームの特異点（実現することができない姿勢等）については、マッピングなどにより回避することができる。
【００４７】
実施の形態２．
実施の形態２は、実施の形態１において、同一の教示データによって複数のロボットの制御を行うものである。
図５に、実施の形態２に係るロボット制御システムに関連する構成を示す。図５のロボット１０１〜１０３は、いずれも図１のロボット１００と同様の構成を有する。また、図５の制御装置２０１は、図１の制御装置２００と同様の構成を有するが、３台のロボット１０１〜１０３に接続されており、これら３台に関する処理を同時に行うことが可能である。
【００４８】
このような構成は、同一の構成を有する複数の対象物１３１〜１３３に対して、それぞれ対応するロボット１０１〜１０３が同一の動作を行う場合において、特に効率的である。教示者１０は、一度の教示によって同時にすべてのロボット１０１〜１０３の制御を行うことができる。
なお、図５には示さないが、図１と同様にモニタ用カメラ５０およびモニタ６０によるフィードバックが行われてもよい。
【００４９】
実施の形態３．
実施の形態３は、実施の形態１および２において、カメラの視野をより広くするものである。
図６に、実施の形態３に係るロボット制御システムに係る単眼カメラ３１の構成を示す。単眼カメラ３１は、教示者１０の手２１または手首２２の動きに応じ、その向きを変更することが可能である。たとえば、図６において、手２１が（ａ）の位置にある場合には単眼カメラ３１は（Ａ）の向きに制御され、手２１が（ｂ）の位置にある場合には単眼カメラ３１は（Ｂ）の向きに制御される。
【００５０】
このような単眼カメラ３１の方向制御は、制御装置によって、周知の技術を用いて行うことができる。たとえば、教示画像をリアルタイムで処理し、特徴点を抽出してこれを追尾するように単眼カメラ３１の方向を制御することができる。なお、この場合、手２１の移動を完全に追尾する必要はなく、手２１が単眼カメラ３１の視野に収まる範囲とすればよい。
なお、図６には単眼カメラ３１のみを示すが、ステレオカメラについても同様の制御がなされる。
【００５１】
このような構成によれば、より広い範囲にわたる動作の教示が可能となる。
なお、図６では単眼カメラ３１は向きのみを変更可能であるが、向きではなく位置を変更可能としてもよく、向きおよび位置の双方を変更可能としてもよい。
【００５２】
図７に、実施の形態３の変形例に係るロボット制御システムに係る単眼カメラ３２および３３の構成を示す。単眼カメラ３２および３３は異なる位置に配置され、異なる視野を有する。たとえば、図７において、手２１が（ａ）の位置にある場合には単眼カメラ３２が教示画像を撮影し、手２１が（ｂ）の位置にある場合には単眼カメラ３３が教示画像を撮影する。単眼カメラ３２および３３のいずれが教示画像を撮影するかは、たとえば制御装置によって、周知の技術を用いて決定することができる。
なお、図７には単眼カメラ３２および３３のみを示すが、ステレオカメラについても同様の配置がなされる。
【００５３】
実施の形態４．
実施の形態４は、実施の形態１〜３において、教示動作を１本の腕でなく２本の腕で行うものである。
図８に、実施の形態４に係るロボット制御システムに係る構成を示す。図８のロボット１０４は、図１のロボット１００と同様の構成を有する。また、図８のロボット１０５は、図１のロボット１００と左右対称となる構成を有する。また、図８の制御装置２０２は、図１の制御装置２００と同様の構成を有するが、２台のロボット１０４および１０５に接続されており、これら２台に関する処理を同時に行うことが可能である。
【００５４】
単眼カメラ３０は、教示者１０の両手を含む画像を撮影し、ステレオカメラ４０は、教示者１０の両手首を含む画像を撮影する。すなわち、教示画像は、教示者１０の両腕について、それぞれの手首および手を含むことになる。また、手首座標、手指座標、ロボットアーム教示データ、およびロボットハンド教示データは、それぞれ両腕について決定されまたは作成される。
なお、単眼カメラおよびステレオカメラはそれぞれ２台設けられてもよく、右腕２０ａおよび左腕２０ｂを個別に撮影してもよい。
【００５５】
なお、制御装置２０２は、教示画像において、教示者１０の手および手首について、右腕２０ａのものと左腕２０ｂのものとを区別して認識する機能を有するものとする。制御装置２０２は、教示者１０の右腕２０ａの手首および手の教示画像に基づいてロボット１０４を制御し、教示者１０の左腕２０ｂの手首および手の教示画像に基づいてロボット１０５を制御する。
【００５６】
このような構成によれば、両腕を用いる作業についても、実施の形態１と同様に簡単に制御を行うことができる。
また、一方の手首（たとえば右手首）を基準として座標系を設定すれば、作業空間全体を相対座標によって表すことができ、座標の誤差が小さくなるとともに制御性が向上する。
【００５７】
上述の実施の形態４では、一人の教示者１０が２本の腕（両腕）を用いて教示を行うが、２本の腕は異なる教示者のものであってもよい。すなわち、二人の教示者が、それぞれの腕を用いて教示を行ってもよい。このような構成は、対象物１３０の受け渡しのような作業に特に有効である。
また、二人の教示者の一方または双方が両腕を用いて教示を行ってもよく、三人以上の教示者が同様にそれぞれ片腕または両腕を用いて教示を行ってもよい。
【００５８】
実施の形態５．
実施の形態５は、実施の形態１〜４において、所定の条件に応じてロボットを定義済みの駆動パターンに従って駆動するものである。
実施の形態５において、制御装置は、その記憶手段に、ロボット１００の動作に関する予め定義された所定の駆動パターンを少なくとも１つ格納している。この所定の駆動パターンは、ロボットハンド１２０における関節の運動パターンを表す。駆動パターンは特定の動作についての標準的なモデルデータであり、周知のものであってもよい。駆動パターンの例としては、円筒形の対象物を周方向から丸みに添って握る動作、円筒形の対象物を軸方向から（端部から中央に向かって）掴む動作、球形の対象物を上方向からわしづかみにして持ち上げる動作、等の動作を実現するためのものが考えられる。
これらの駆動パターンは、たとえばロボットハンド関節角度の時間的変化を表すデータとすることができる。このデータは、制御装置の記憶手段内に設けられる駆動パターンデータベースに格納される。
【００５９】
図９は、実施の形態５に係るロボット制御システムの動作を説明するフローチャートである。実施の形態１に係る動作（図２）におけるロボットハンド駆動指令送信ステップ（ステップＳ８）は、実施の形態５に係る動作（図９）では、パターン判定ステップ（ステップＳ８ａ）、遠隔駆動指令送信ステップ（ステップＳ８ｂ）およびパターン駆動指令送信ステップ（ステップＳ８ｃ）に置き換えられている。
なお、遠隔駆動指令送信ステップにおける「遠隔」という用語は、本実施形態では教示者１０とロボット１００との通信が電気通信回線等を介して行われることを意味するものであるが、必ずしも地理的に距離が大きいということを意味しない。
【００６０】
ステップＳ１〜Ｓ７およびＳ９〜Ｓ１２の動作は実施の形態１と同様である。
ステップＳ７の後、制御装置は、パターン判定ステップ（ステップＳ８ａ）を実行する。このステップＳ８ａにおいて、制御装置は、ステップＳ４で算出されたロボットハンド関節角度と、駆動パターンデータベース内の各駆動パターンとを比較し、その関連性を判定する。
【００６１】
関連性の判定は、様々な方法によって行うことができる。
たとえば、一時点におけるロボットハンド関節角度（すなわち、最後に決定されたロボットハンド関節角度）に基づいて行うことができる。ステップＳ４で算出されたロボットハンド関節角度と、駆動パターンデータのロボットハンド関節角度とを用いて、それぞれ対応する関節の角度を比較する。すべての関節について角度が近似している場合には、ステップＳ４で算出されたロボットハンド関節角度と、その駆動パターンとは関連していると判定する。
ここで「角度が近似している」とは、たとえば、それぞれ対応する関節の角度の差分が所定角度（たとえば５度）以下である状態を意味する。または、それぞれ対応する関節の位置の差分が所定距離（たとえば５ｍｍ）以下である場合を意味してもよい。
【００６２】
あるいは、関連性の判定は、所定時間にわたるロボットハンド関節角度の変動の状態に基づいて行うことができる。ステップＳ４で算出されたロボットハンド関節角度を所定時間にわたって記憶しておき、その変動の状態と、これと対応する時間にわたる駆動パターンデータのロボットハンド関節角度の状態とを比較する。すべての関節について角度の変動の状態が近似している場合には、ステップＳ４で算出されたロボットハンド関節角度と、その駆動パターンとは関連していると判定する。
【００６３】
ここで「ロボットハンド関節角度の変動の状態が近似している」とは、たとえば、それぞれ対応する関節の角度の差分が、所定時間にわたって常に所定角度（たとえば５度）以下である状態を意味する。または、それぞれ対応する関節の位置の差分が、所定時間にわたって常に所定距離（たとえば５ｍｍ）以下である場合を意味してもよい。なお、ここでいう「所定時間」とは、教示画像を動画としてみた場合には連続する所定数のフレームに対応する。
【００６４】
このようにして、ステップＳ８ａにおける判定の結果、ステップＳ４で算出されたロボットハンド関節角度と、いずれかの駆動パターンとが関連しているか否かが判定される。いずれの駆動パターンも関連していないと判定された場合には、制御装置は遠隔駆動指令送信ステップ（ステップＳ８ｂ）を実行する。ステップＳ８ｂの処理は図２のロボットハンド駆動指令送信ステップ（ステップＳ８）と同一である。
なお、ステップＳ４で算出されたロボットハンド関節角度が複数の駆動パターンと関連していると判定された場合には、制御装置はそのうち１つの駆動パターンを適宜選択する。この選択方法は当業者であれば適宜設計することができる。
【００６５】
ステップＳ８ａにおいて、ステップＳ４で算出されたロボットハンド関節角度と、いずれかの駆動パターンとが関連していると判定された場合には、制御装置は、パターン駆動指令送信ステップ（ステップＳ８ｃ）を実行する。このステップＳ８ｃにおいて、制御装置は、その関連している駆動パターンに基づいてロボットハンド１２０を駆動する。
【００６６】
この場合には、教示者１０の手２１のその後の動作とは関係なく、ロボット１００は予め定義された動作を行うことになる。
たとえば、円筒形の対象物を周方向から握る動作に対応する駆動パターンが格納されており、教示者１０が円筒形の対象物１３０を周方向から握ろうとする動作を行う場合を考える。この場合、教示者１０の手２１の動きに対応して、実際にロボットハンド１２０が対象物１３０に接触する前の段階で、手２１の動きとその駆動パターンとが関連していると判定され、その後は自動的に対象物１３０を握る動作が実行される。
【００６７】
このような制御によれば、教示者１０の教示の巧拙に関わらず、予め定義されたパターンを用いて迅速かつ精密にロボット１００を制御することができる。とくに、対象物１３０が既知の物体である場合には、これに対応する駆動パターンを定義しておくことにより、より的確な動作が可能となる。
【００６８】
また、複数の駆動パターンを準備しておけば、同一の対象物を把持するための異なる姿勢に対応することができる。
たとえば、対象物１３０が円筒形であり、一方の端面を下にして配置されている場合、水平方向（周方向）から丸みに添って握るように把持する場合と、上方向（軸方向）から掴むように把持する場合とでは適切なロボットハンド１２０の駆動パターンが異なる。このような場合であっても、教示者１０の手２１がいずれの駆動パターンと関連するか判定することにより、常に適切な把持動作を行うことができる。
【００６９】
実施の形態６．
実施の形態６は、実施の形態５において、パターン判定ステップに関連する処理を変更するものである。実施の形態５では、手２１の動きと駆動パターンとが近似しているかどうかに基づいて、いわば自動的に駆動方式の切り替えを行ったが、実施の形態６では、教示者１０からの指示に基づいて、いわば手動で切り替えを行う。
図１０は、実施の形態６に係るロボット制御システムの動作を説明するフローチャートである。実施の形態５（図９）におけるパターン判定ステップ（ステップＳ８ａ）は、パターン指示判定ステップ（ステップＳ０）に置き換えられ、当該ステップの実行タイミングも変更されている。
【００７０】
パターン指示判定ステップ（ステップＳ０）は、ステップＳ１の前に実行される。このステップＳ０において、制御装置は、教示者１０からパターン駆動を行う旨の指示があったかどうかを判定する。この指示は、たとえばボタン入力によって行うことができ、特定のボタンが押下された場合にはパターン駆動を行う旨の指示があったと判定し、押下されていない場合にはパターン駆動を行う旨の指示がなかったと判定する。
なお、複数の駆動パターンについて、各駆動パターンに個別に対応するボタンが設けられてもよい。
【００７１】
パターン駆動を行う旨の指示がなかった場合、制御装置はステップＳ７の後にステップＳ８ｂを実行する。すなわち、この場合、ステップＳ１〜Ｓ７、Ｓ８ｂおよびＳ９〜Ｓ１２の処理は実施の形態１と同様のものとなる。
パターン駆動を行う旨の指示があった場合、制御装置はパターン駆動指令送信ステップ（ステップＳ８ｃ）を実行し、駆動パターンに基づいてロボットハンド１２０を駆動する。
【００７２】
このような構成によれば、教示者１０は教示に従う遠隔駆動から自動的なパターン駆動への移行を任意のタイミングでボタンを押下することによって行うことができ、より的確にロボット１００を制御することができる。たとえば、ロボットハンド１２０を対象物１３０に対して最適な位置関係をもって配置する動作は教示によって行い、その後の把持動作はパターン駆動によって実行することができる。
【００７３】
上述の実施の形態１〜６において、以下に示すような変形を施すことができる。
実施の形態１、２および４〜６では、単眼カメラが手２１を含む教示画像を１つ取得し、ステレオカメラが手首２２を含む教示画像を２つ取得するので、一時点で３つの教示画像が取得されることになるが、教示画像の数は３つでなくともよい。
たとえば、単眼カメラおよびステレオカメラの代わりにただ１つのカメラを用い、このカメラが手２１および手首２２の双方を含む教示画像を１つ取得してもよい。この場合、この１つの教示画像に基づいて手２１の姿勢候補データの選択および手首座標の決定を行うことができる。
また、２つの単眼カメラを用いてもよく、その一方が単眼カメラと同様に手２１を含む教示画像を取得し、他方は手首２２を含む１つの教示画像を取得してもよい。あるいは、１つのステレオカメラのみを用いてもよく、ステレオカメラによって取得されるステレオ手首画像の一方または双方を手２１の教示画像として用いてもよい。
教示画像取得手段として、ＴＯＦ（Time Of Flight）カメラを用いてもよい。ＴＯＦカメラは、被写体までの距離情報を得ることができる。この距離情報をもとに手２１の姿勢候補データの選択および手首座標の決定を行うことができる。
また教示画像以外に教示情報取得手段で教示情報を得てもよい。たとえば、各種センサから構成される入力手段より得られる教示情報、記憶装置に記録されている教示画像を用いてもよい。
【００７４】
実施の形態１〜６では、図３に示すように、教示画像中のくびれ部分２２ａに基づいて手首２２の位置を決定しているが、手首２２の位置はこれとは異なる方法で決定されてもよい。
図１１は、手首２２の位置を決定する他の方法を示す。図１１では、教示者１０は手首にリストバンド２５を付して教示動作を行う。この場合、制御装置は、教示画像中でリストバンド２５に対応する部分を特定し、これに関連して手首２２の位置を決定することができる。リストバンド２５の色を教示者１０の肌の色とは異なる特定の色としておけば、制御装置はその特定の色を検出することによって手首２２の位置を決定することができ、位置決定の処理が簡素になるとともに精度が向上する。
【００７５】
また、実施の形態４（図８）のように複数の腕が関わる教示作業の場合には、右手首のリストバンドと左手首のリストバンドとを互いに異なる色としておけば、制御装置は第１の色を検出することによって一方の手首の位置を決定することができ、第１の色とは異なる第２の色を検出することによって他方の手首の位置を決定することができる。このように、教示画像中で右手と左手とを区別して認識する処理が簡素になるとともに精度が向上する。
なお、実施の形態４の変形例のように複数人の腕が関わる動作についても、すべての腕について異なる色のリストバンドを用いれば、教示画像中でそれぞれの手首を区別して認識することができる。
【００７６】
さらに、教示画像における背景（すなわち教示者１０の手２１、手首２２、腕２３および体以外の部分）に対する手２１、手首２２または腕２３の微小な動き、いわゆる「手ぶれ」に基づいて、手２１、手首２２または腕２３を認識し、その位置を決定してもよい。この場合、手２１または腕２３が認識できれば、これに基づいて手首２２の位置を決定することができる。
また、図１１のようなリストバンドを用いない場合であっても、色の違い（たとえば教示者１０の肌の色、服装、等）に基づいて手首２２の位置を決定することができる。
【００７７】
実施の形態１〜６では、姿勢候補データ選択ステップ（図２のステップＳ２ａ）において、手首の位置に関する情報を用いずに姿勢候補データの選択を行うが、これは手首の位置に関する情報を用いて行ってもよい。この場合、姿勢候補データ選択ステップ（ステップＳ２ａ）は、手首位置決定ステップ（ステップＳ２ｂ）の後に実行されてもよい。また、教示画像において手首２２よりも先の部分を手２１として認識し、これを姿勢候補データの選択に用いてもよい。
【００７８】
実施の形態１〜６では、教示データを作成した直後にその教示データに基づいて実際の駆動を行っているが、駆動は行わなくともよい。たとえば、作成された教示データを単に記録するものであってもよい。この場合、後に記録された教示データを読み出し、これに基づいてロボットを駆動することができる。
【００７９】
実施の形態１〜６では、ロボットは３本のロボットハンドの指を備え合計１５の制御可能な自由度を持つが、ロボットハンドの指の数および自由度の数はこれに限られない。ロボットハンドの指の数は少なくとも１本あればよく、把持動作等がある場合は２本以上あればよい。また、自由度の数は、少なくとも、ロボットアームの先端の位置を３次元で表す３変数、ロボットアームの先端の向きを３次元で表す３変数、第１指の第１関節の角度を表す１変数、第１指の第２関節の角度を表す２変数、第２指の第１関節の角度を表す１変数、および、第２指の第２関節の角度を表す２変数の、合計１２あればよい。さらに、ロボットの自由度がこれより少ない場合には、さらに少ない変数によって教示を行ってもよい。
【００８０】
実施の形態１〜６では、手指座標は、手指の各関節の位置を表す座標と、指先の位置を表す座標とを含むが、手指座標の構成はこれに限られない。たとえば、手指座標は手指の各関節の位置を表す座標のみからなってもよく、また、指先の位置を表す座標のみからなってもよい。あるいは、手指に関連するなんらかの位置を表す座標であってもよく、これに対応してロボットハンド関節角度を決定することができるものであればよい。
【００８１】
実施の形態１〜６では、ロボット１００は３本のロボットハンド１２０の指を有しており、教示者１０の手指のうち親指・人差し指・中指がロボットハンド１２０の各指に対応したが、教示に用いる３本の指はこれとは異なる組合せであってもよい。また、ロボットハンドの指が２本であるロボットの場合には、たとえば親指および人差し指のみを用いて教示を行うことができ、また、４本または５本のロボットハンドの指を持つロボットの場合には、４本または５本の手指を用いて教示を行うことができる。
【００８２】
実施の形態５および６では、駆動パターンはロボットハンド１２０における関節の運動パターンを表すものであるが、これはロボットアーム１１０における関節の運動パターンを表すものであってもよく、また、ロボットハンド１２０およびロボット１００の双方の関節の運動パターンを表すものであってもよい。このような構成によれば、腕と指とが連動する動作についてもパターン制御を行うことができる。
なお、駆動パターンがロボットアーム１１０に関する運動パターンを含む場合には、実施の形態５（図９）のパターン判定ステップ（ステップＳ８ａ）において、ステップＳ４で算出されたロボットハンド関節角度だけでなく、ステップＳ２で決定された手首座標にも基づいて判定が行われてもよい。
【符号の説明】
【００８３】
１０ 教示者（人間）、２１ 手、２２ 手首、２３ 腕、１００〜１０５ ロボット、１１０ ロボットアーム、１２０ ロボットハンド、１２０ａ〜１２０ｃ ロボットハンドの指、２００〜２０２ 制御装置、Ｓ１ 教示画像取得ステップ（教示情報取得ステップ）、Ｓ２ 手首座標決定ステップ（Ｓ２ａ 姿勢候補データ選択ステップ、Ｓ２ｂ 手首位置決定ステップ、Ｓ２ｃ 手首方向決定ステップ）、Ｓ３ 手指座標決定ステップ、Ｓ７ ロボットハンド教示データ作成ステップ、Ｓ８ ロボットハンド駆動指令送信ステップ（駆動指令送信ステップ）、Ｓ８ａ パターン判定ステップ、Ｓ８ｂ 遠隔駆動指令送信ステップ（駆動指令送信ステップ）、Ｓ８ｃ パターン駆動指令送信ステップ、Ｓ１１ ロボットアーム教示データ作成ステップ。
【技術分野】
【０００１】
この発明は、ロボットの動作を制御する方法およびロボットシステムに関する。
【背景技術】
【０００２】
ロボットを用いて作業を行う際には、ロボットに動作のパターンを教示する必要がある。この教示の方法としては、動作のパターンを表す教示データを数値としてキーボードから直接入力する方法、教示者がロボットの制御装置を操作して動作を実行させ、これに伴って教示データを作成させる方法、および、人間の手の画像を入力して、これにロボットハンドの姿勢を一致させる教示データを自動的に作成させる方法、等がある。引用文献１には、人間の手の画像にロボットハンドの姿勢を一致させる方法の例が記載されている。
【０００３】
引用文献１のロボットは、その構造が人間の手の構造と完全に一致している。このような場合には、指の関節の位置や角度もすべて一致するので、人間の指の関節等の座標を測定し、これをそのまま実現するようにロボットを駆動することにより、人間と同様の動作をロボットに行わせることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平４−３６５５７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、人間の手とは異なる構造を有するロボットについて、人間の手のようなリアルタイムの動作の制御を行うことは困難であった。
ロボットの構造が人間の手とは異なる場合には、引用文献１のように人間の指の姿勢データをそのままロボットの制御に用いることができない。また、制御データを数値としてキーボードから入力する場合や、教示者がロボットの制御装置を操作して予め動作の教示を行うような場合には、リアルタイムの制御を行うことができない。
【０００６】
この発明はこのような問題点を解消するためになされたものであり、ロボットの動作を制御する方法およびロボットシステムにおいて、人間の手とは異なる構造を有するロボットに対し、人間の手のようなリアルタイムの動作の制御を行うことができるものを提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る、ロボットの動作を制御する方法は、ロボットハンドを備える、少なくとも１台のロボットの動作を制御する方法であって、人間の手を含む教示情報を取得する、教示情報取得ステップと、教示情報に基づいて、手指に関連する位置を表す手指座標を決定する、手指座標決定ステップと、手指座標に基づいて、ロボットハンドの各関節の角度を表すロボットハンド関節角度を算出する、ロボットハンド関節角度算出ステップと、ロボットハンド関節角度算出ステップにおいて算出されたロボットハンド関節角度に基づいて、ロボットハンドに駆動指令を送信する、駆動指令送信ステップとを含む。
教示情報は教示画像であってもよく、教示情報取得ステップは教示画像取得ステップであってもよい。
【０００８】
この方法によれば、教示画像に基づいて手指座標を決定し、手指座標をロボットハンド関節角度に変換し、このロボットハンド関節角度に基づいてロボットを駆動する。
【０００９】
ロボットハンドの関節の運動パターンを表す所定の運動パターンデータに基づいてロボットハンドを駆動する、パターン駆動指令送信ステップをさらに含み、所定の条件が満たされた場合には、駆動指令送信ステップの代わりにパターン駆動指令送信ステップが実行されてもよい。
所定の条件が満たされたかどうかを判定する、パターン判定ステップをさらに含み、パターン判定ステップにおいて、一時点におけるロボットハンド関節角度に基づいて、または、所定時間にわたるロボットハンド関節角度の変動の状態に基づいて、ロボットハンド関節角度と所定の運動パターンデータとの関連性が判定されてもよい。
ロボットは、さらにロボットアームを備え、教示画像は、さらに人間の手首を含み、方法は、教示画像に基づいて、手首の位置および向きを表す手首座標を決定する、手首座標決定ステップと、手首座標に基づいてロボットアームに駆動指令を送信する、ロボットアーム駆動指令送信ステップとをさらに含んでもよい。
ロボットは少なくとも２台であり、教示画像は、人間の両腕について、それぞれの手首および手を含み、ロボットハンド関節角度および手首座標は、それぞれ両腕について算出または決定されてもよい。
【００１０】
また、この発明に係るロボットシステムは、少なくとも１台のロボットと、上述の方法を実行してロボットを制御する機能を有する制御装置とを備える。
【発明の効果】
【００１１】
この発明に係る、ロボットの動作を制御する方法およびロボットシステムは、教示者の手指座標に基づいて、ロボットハンドの各関節の角度を算出するので、人間の手とは異なる構造を有するロボットに対し、人間の手のようなリアルタイムの動作の制御を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１に係るロボット制御システムに関連する構成を示す図である。
【図２】図１のロボット制御システムの動作を説明するフローチャートである。
【図３】手首の位置を決定する方法の一例を説明する図である。
【図４】（ａ）は図１のロボット制御システムが決定する手指座標の例を示す図である。（ｂ）は図１のロボット制御システムが決定するロボットハンド関節角度の例を示す図である。
【図５】この発明の実施の形態２に係るロボット制御システムに関連する構成を示す図である。
【図６】この発明の実施の形態３に係るロボット制御システムに係る単眼カメラの構成を示す図である。
【図７】この発明の実施の形態３の変形例に係るロボット制御システムに係る単眼カメラの構成を示す図である。
【図８】この発明の実施の形態４に係るロボット制御システムに係る構成を示す図である。
【図９】この発明の実施の形態５に係るロボット制御システムの動作を説明するフローチャートである。
【図１０】この発明の実施の形態６に係るロボット制御システムの動作を説明するフローチャートである。
【図１１】手首の位置を決定する方法について、図３とは異なる例を示す図である。
【発明を実施するための形態】
【００１３】
以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態１．
図１は、この発明の実施の形態１に係るロボット制御システムに関連する構成を示す。ロボット制御システムは、教示の対象となるロボット１００と、ロボット１００に接続された制御装置２００とを含む。ロボット１００は、マニピュレータと呼ばれるものであってもよい。
【００１４】
ロボット１００は、ロボットアーム１１０およびロボットハンド１２０を含む。ロボットハンド１２０は、全体として人間の手指とは異なる構造を有する。すなわち、指の数、関節の数、各節の長さ、関節の自由度の数、等のうち、少なくとも１つが人間の手指とは異なる。図１ではロボットハンド１２０の指は３本であるが、これは少なくとも２本であればよい。ロボットハンド１２０の根元はロボットアーム１１０の先端に連結されており、ロボットアーム１１０の位置および向きが決まればこれに応じてすべてのロボットハンド１２０の根元の位置が一意に決まる構成となっている。
このロボット１００は、対象物１３０に対して作業を行うものである。作業としては、把持、運搬、組み付け等が可能である。
【００１５】
制御装置２００は、その内部の構成については図示しないが、演算手段（ＣＰＵ等）と記憶手段（半導体メモリ装置、磁気ディスク装置等）とを備えるコンピュータである。この制御装置２００は、その記憶手段に格納された教示データ作成プログラムを実行することにより、ロボット１００の教示データを作成する教示データ作成装置として機能し、また、その記憶手段に格納された駆動制御プログラムを実行することにより、ロボット１００の動作を制御する駆動制御装置として機能する。これらの教示データ作成プログラムおよび駆動制御プログラムは、情報記憶媒体に記憶することができる。
【００１６】
制御装置２００は、人間の手を含む画像に基づいて、手指の各関節の空間的位置および指先の空間的位置を表す座標を決定する機能を有する。このような機能は、たとえば、谷本らの研究（谷本貴頌他により２００６年３月に作成され公知となった「ロボットハンド制御のための自己増殖型ＳＯＭを用いた画像データベースからの手指形状の実時間推定」と題する筑波大学大学院博士課程システム情報工学研究科修士論文）に記載される方法を使用することによって実現することができる。この方法によれば、手を撮像した一つの二次元画像から手の姿勢の推定を行うことができる。谷本らの研究では、予め、手の関節の角度情報と手画像とを同期させて取得し、画像における輪郭抽出と特徴量化を行い、この特徴量と角度とをデータとしてデータベースを構築している。そして、手の実画像について、データベースの構築時と同様の特徴量化を行い、得られた特徴量とデータベースの特徴量との比較を行うことで手の関節の角度を推定し、手の姿勢を推定している。
【００１７】
この方法によれば、手の姿勢を表すデータである特徴量について複数のパターンをデータベースに格納しておき、この複数のパターン（姿勢候補データ）のうちから実画像に基づいて１つのパターン（姿勢候補データ）を選択することが可能となる。この際、手首の位置を基準として原点を設定し、手首の向きを基準として座標軸を設定した座標系において、指の空間的位置を決定することができる。
【００１８】
また、制御装置２００は、手または指の一部が画像に表れない場合（たとえばカメラの視野外にある場合、対象物によってカメラの視野が遮られる場合、教示者１０の体の一部、手、指等によってカメラの視野が遮られる場合、等）には、オクルージョンの部分（すなわち画像に表れない部分）を推定して補完する機能を有する。このような機能は、周知の画像処理技術を用いて実現可能である。
【００１９】
ロボット制御システムは、制御装置２００に接続された単眼カメラ３０を含む。単眼カメラ３０は、手２１の教示画像取得手段として機能する。すなわち、人間である教示者１０の指を含む手２１を撮影し、手２１を含む画像を取得して制御装置２００に送信する。（なお、本明細書において「単眼カメラ」という名称は、後述のステレオカメラ４０との区別のために用いるものであり、同様の機能を有するカメラであれば単眼カメラでなくともよい。）
なお、手２１は手首２２よりも先の部分であり、すなわち掌および指を含む部分である。腕２３は手首２２よりも根元側の部分である。この実施の形態では右腕であるが、左腕であってもよい。
【００２０】
また、ロボット制御システムは、制御装置２００に接続されたステレオカメラ４０を含む。ステレオカメラ４０は、手首２２の教示画像取得手段として機能する。すなわち、教示者１０の手首２２を撮影し、手首２２を含む画像を取得して制御装置２００に送信する。ステレオカメラ４０は周知の構成によって立体映像を撮影することができる。すなわち、ステレオカメラ４０は少なくとも２つのカメラを含み、これらのカメラが互いに異なる位置から手首２２を含む画像を撮影する。それぞれの画像における手首２２の位置に基づいて、ステレオカメラ４０と手首２２との距離を含む空間的位置関係を決定することができる。
【００２１】
さらに、ロボット制御システムは、ロボット１００を撮影するモニタ用カメラ５０と、モニタ用カメラ５０によって撮影された画像を表示するモニタ６０とを含む。モニタ用カメラ５０はロボット状態撮影手段として機能し、モニタ６０はロボット状態表示手段として機能する。
【００２２】
単眼カメラ３０、ステレオカメラ４０およびモニタ６０は、教示者１０の近傍に配置される。単眼カメラ３０は、教示者１０が教示を行う際に手２１が移動する範囲をすべて視野に収める位置に配置される。ステレオカメラ４０は、たとえば、教示者１０が教示を行う際に手首２２が移動する範囲をすべて視野に収める位置に配置される。モニタ６０は、教示者１０が教示作業を行う際に、その表示内容を見ることができる位置に配置される。このような配置により、教示者１０はロボット１００の状態を視認しながら教示作業を行い、これによってロボット１００をリアルタイムで遠隔操作することができる。
【００２３】
以上のように構成されるロボット制御システムの動作を、図２のフローチャートを用いて説明する。
まず、ロボット制御システムは、教示画像取得ステップ（ステップＳ１）を実行する。このステップＳ１において、ロボット制御システムは、教示者１０の手２１および手首２２を含む教示画像を取得する。この教示画像はロボット１００の教示に用いられるものである。
【００２４】
実施の形態１では、ステップＳ１において、単眼カメラ３０が手２１を含む教示画像を１つ取得し（ステップＳ１ａ）、ステレオカメラ４０が手首２２を含む２つの画像からなるステレオ手首画像を取得する（ステップＳ１ｂ）。すなわち、ステップＳ１ｂでは、ステレオカメラ４０を構成するそれぞれのカメラが、手首２２を含む教示画像を１つずつ取得する。
また、ステップＳ１において、単眼カメラ３０およびステレオカメラ４０は、それぞれ取得した教示画像を制御装置２００に送信し、制御装置２００はこれらを受信して記憶手段に格納する。
【００２５】
次に、制御装置２００は、手首座標決定ステップ（ステップＳ２）を実行する。このステップＳ２において、制御装置２００は、教示画像に基づいて、手首２２の位置および向きを表す手首座標を決定する。ステップＳ２は、姿勢候補データ選択ステップ（ステップＳ２ａ）、手首位置決定ステップ（ステップＳ２ｂ）、および、手首方向決定ステップ（ステップＳ２ｃ）を含む。
【００２６】
姿勢候補データ選択ステップ（ステップＳ２ａ）において、制御装置２００は、データベースに格納されている手の姿勢を表す複数の姿勢候補データのうちから、手２１を含む教示画像に基づいて、１つの姿勢候補データを選択する。この選択は公知の方法によって行うことができる。たとえば、制御装置２００は、教示画像から抽出した特徴量と、姿勢候補データを表す特徴量との一致度が最も高いものを選択することができる。
【００２７】
また、手首位置決定ステップ（ステップＳ２ｂ）において、制御装置２００は、ステレオカメラ４０によって撮影されたステレオ手首画像に基づいて、手首２２の位置を決定する。
図３を用いて、画像における手首２２の位置を決定する方法の一例を説明する。図３はステレオ手首画像の一方である。制御装置２００は、まず画像中の２点によって表されるくびれ部分２２ａを検出し、このくびれ部分２２ａの中点２２ｂの位置を算出する。そして、その画像における中点２２ｂの位置を、その画像における手首２２の位置として決定する。
さらに、制御装置２００は、ステレオ手首画像の残る一方でも同様にして手首２２の位置を決定する。その後、ステレオ手首画像のそれぞれにおける手首２２の位置に基づいて、ステレオカメラ４０を基準とする手首２２の空間的な位置を算出することができる。
【００２８】
ステップＳ２ａおよびステップＳ２ｂの後、制御装置２００は手首方向決定ステップ（ステップＳ２ｃ）を実行する。ステップＳ２ｃにおいて、制御装置２００は、手２１の教示画像と、ステップＳ２ａにおいて選択された姿勢候補データとの対応関係に基づいて、手２１の教示画像における手首２２の向きを決定する。姿勢候補データは、手首の位置および向きを基準として手指の各関節の位置および指先の空間的位置を表す座標を表すものであるので、たとえば、教示画像中の手２１と、選択された姿勢候補データとがある特定の向きにおいて最もよく一致する場合、その向きを手首２２の向きと決定することができる。
【００２９】
ステップＳ２の後、ステップＳ３〜Ｓ８を含む処理と、ステップＳ９〜Ｓ１２を含む処理とが並列に実行される。ただし、これらは直列に実行されるものであってもよい。
【００３０】
ステップＳ２の後、制御装置２００は、手指座標決定ステップ（ステップＳ３）を実行する。このステップＳ３において、制御装置２００は、手２１の教示画像に基づいて、手指の各関節および指先の位置を表す手指座標を決定する。これは上述の谷本らの方法に従って行うことができる。
図４（ａ）は、このようにして決定される手指座標の例を示す。図４（ａ）では、教示者１０の手２１の右手の親指、人差し指および中指に関連する手指座標が示されている。たとえば、点（ｘ１１，ｙ１１，ｚ１１）、点（ｘ１２，ｙ１２，ｚ１２）、および点（ｘ１３，ｙ１３，ｚ１３）は、それぞれ親指の第２関節、第１関節および指先の位置を表す。なお、点（ｘ４，ｙ４，ｚ４）はステップＳ２ｂにおいて決定される手首位置を表す。
【００３１】
ステップＳ３の後、制御装置２００は、ロボットハンド関節角度算出ステップ（ステップＳ４）を実行する。このステップＳ４において、制御装置２００は、上記ステップＳ３で決定された手指座標に基づいて、ロボット１００のロボットハンド１２０の各関節の角度を表すロボットハンド関節角度を算出する。この算出方法の具体例はとくに示さないが、ロボット１００の構造、ロボットハンド１２０の指の数およびロボットハンド１２０の関節の数等の条件に応じて、当業者が適宜設計することができる。このステップＳ４を実行することによって、制御装置２００は、測定された教示者１０の手指に関する座標を、ロボットハンド１２０を駆動するためのデータであるロボットハンド関節角度に変換する。
【００３２】
図４（ｂ）は、このようにして決定されるロボットハンド関節角度の例を示す。なおこの図ではロボット１００自体の図示は省略し、各関節の角度のみを模式的に示す。ロボット１００において、ロボットハンド１２０の各指が２つの関節を持つ。第１関節（指先側の関節）は１つの自由度（角度ω）を持ち、第２関節（根元側の関節）は２つの自由度（角度θおよびφ）を持つ。また、ロボット１００は、手首すなわちロボットアーム１１０の先端の位置を表す点（ｘ０，ｙ０，ｚ０）および向きを表す角度（θ０，φ０，ψ０）についてそれぞれ３自由度を持つ。このように、ロボット１００は合計１５の自由度をもって制御可能である。なお、図４（ｂ）では、親指、人差し指および中指にそれぞれ対応するロボット指１２０ａ、ロボット指１２０ｂおよびロボット指１２０ｃとして表している。
【００３３】
図４（ａ）および図４（ｂ）において、たとえば親指については、図４（ａ）の点（ｘ１１，ｙ１１，ｚ１１）、点（ｘ１２，ｙ１２，ｚ１２）、および点（ｘ１３，ｙ１３，ｚ１３）の座標に基づいて、ロボット指１２０ａの第１関節１２２の角度（ω１）および第２関節１２３の角度（θ１，φ１）が決定される。
なお、手指とロボットハンドとではサイズや可動範囲等が異なるため、関節の数が等しい場合であっても関節の位置が一致するとは限らない。また、人差し指および中指については、手指とロボットハンドとで関節の数が異なるが、このような場合にロボットハンド関節角度を算出する方法も、当業者には周知である。
【００３４】
ステップＳ４の後、制御装置２００は、ロボットハンド関節角度差分算出ステップ（ステップＳ５）を実行する。このステップＳ５において、制御装置２００は、ステップＳ４で算出されたロボットハンド関節角度と、過去のロボットハンド関節角度との差分Δθを算出する。ここで、過去のロボットハンド関節角度とは、たとえばＮフレーム前（ただしＮは所定の整数）の教示画像に基づいて算出されたロボットハンド関節角度である。または、過去のロボットハンド関節角度とは、最後にロボットハンド１２０が駆動され停止した状態のロボットハンド関節角度、すなわち実際にロボットハンド１２０が実現しているそのロボットハンド関節角度であってもよい。
この差分Δθは、たとえばロボットハンド１２０の関節のすべてについて算出される。ただし、この差分Δθは少なくとも１つの関節について算出されるものであればよい。
【００３５】
次に、制御装置２００は、ステップＳ５で算出された差分Δθが、所定の閾値より大きいかどうかを判定する（ステップＳ６）。この判定は、教示者１０の手指がある程度大きな動きを示したかどうかの判定に相当する。この判定は、ロボットハンド１２０の関節のすべてについての差分Δθに基づいて１つの値を算出し、この１つの値が所定の閾値より大きいかどうかに基づいて行われてもよく、または、ロボットハンド１２０の各関節についての差分Δθのそれぞれに基づいて行われてもよい。
【００３６】
ステップＳ６において、差分Δθが閾値より大きいと判定された場合、制御装置２００は、ロボットハンド教示データ作成ステップ（ステップＳ７）を実行する。このステップＳ７において、制御装置２００は、ステップＳ４で算出されたロボットハンド関節角度に基づいて、ロボットハンド１２０の動作を教示するロボットハンド教示データを作成する。たとえば、ロボットハンド１２０の関節角度を図４（ｂ）に示すものに制御することを指令するロボットハンド教示データを作成することができる。なお、上述のようにロボットハンド関節角度（図４（ｂ））は手指座標（図４（ａ））に基づいて算出されるので、ロボットハンド教示データは手指座標に基づいて作成されるものであるということもできる。
【００３７】
ステップＳ７の後、制御装置２００は、ロボットハンド駆動指令送信ステップ（ステップＳ８）を実行する。このステップＳ８において、制御装置２００は、ステップＳ７で作成されたロボットハンド教示データに基づいてロボットハンド１２０の各関節にロボットハンド駆動指令を送信し、これによってロボットハンド１２０を駆動する。なお、上述のようにロボットハンド教示データはロボットハンド関節角度に基づいて算出されるので、ロボットハンド１２０はロボットハンド関節角度に基づいて駆動されるものであるということもできる。
なお、上記ステップＳ６において、差分Δθが閾値以下であると判定された場合には、ステップＳ７およびＳ８は実行されず、ロボットハンド１２０は停止したままとなる。
【００３８】
また、ステップＳ２の後、制御装置２００は、手首位置差分算出ステップ（ステップＳ９）を実行する。このステップＳ９において、制御装置２００は、ステップＳ２ｂで算出された手首位置と、過去の手首位置との差分ΔＬを算出する。ここで、過去の手首位置とは、たとえばＮフレーム前（ただしＮは所定の整数）の教示画像に基づいて算出された手首位置である。または、過去の手首位置とは、最後にロボットアーム１１０が駆動され停止した時点の手首位置、すなわち実際にロボットアーム１１０が実現している姿勢に対応する手首位置であってもよい。
【００３９】
次に、制御装置２００は、ステップＳ９で算出された差分ΔＬが、所定の閾値より大きいかどうかを判定する（ステップＳ１０）。この判定は、教示者１０の手首がある程度大きな動きを示したかどうかの判定に相当する。
なお、この例では判定は手首位置の差分ΔＬのみに基づいて行われるが、手首位置の差分および手首方向の差分に基づいて行われてもよい。
【００４０】
ステップＳ１０において、差分ΔＬが閾値より大きいと判定された場合、制御装置２００は、ロボットアーム教示データ作成ステップ（ステップＳ１１）を実行する。このステップＳ１１において、制御装置２００は、ステップＳ２ａで決定された手首位置およびステップＳ２ｂで決定された手首方向に基づいて、ロボットアーム１１０の動作を教示するロボットアーム教示データを作成する。ここで、手首位置および手首方向は、ロボットアーム１１０の先端の位置および向きを表すロボットアーム座標に変換される。たとえば、制御装置２００は、ロボットアーム１１０の先端の位置を図４（ｂ）の点（ｘ０，ｙ０，ｚ０）に制御し、かつ、ロボットアーム１１０の向きを図４（ｂ）の角度（θ０，φ０，ψ０）に制御することを指令するロボットアーム教示データを作成することができる。
【００４１】
ステップＳ１１の後、制御装置２００は、ロボットアーム駆動指令送信ステップ（ステップＳ１２）を実行する。このステップＳ１２において、制御装置２００は、ステップＳ１１で作成されたロボットアーム教示データに基づいてロボットアーム１１０にロボットアーム駆動指令を送信し、これによってロボットアーム１１０を駆動する。なお、上述のようにロボットアーム教示データは手首座標に基づいて算出されるので、ロボットアーム１１０は手首座標に基づいて駆動されるものであるということもできる。
なお、上記ステップＳ１０において、差分ΔＬが閾値以下であると判定された場合には、ステップＳ１１およびＳ１２は実行されず、ロボットアーム１１０は停止したままとなる。
【００４２】
ステップＳ３〜Ｓ８およびステップＳ９〜Ｓ１２の実行が完了すると、図２の処理が終了し、制御装置２００は再び図２の処理を最初から繰り返す。
【００４３】
また、図１に示すように、ロボット１００の状態は、モニタ用カメラ５０によって常時撮影され、モニタ６０に表示される。これが教示者１０に対するフィードバックとなる。教示者１０は、この表示を見ながら腕２３および手２１を動かし、ロボット１００を適切に制御することができる。
【００４４】
以上のように、実施の形態１に係るロボットの教示データを作成する方法およびロボット制御システムによれば、教示者１０の手首２２を教示画像により認識し、その座標を利用して自動的に教示データを作成し、これによってロボット１００を駆動するので、ロボットアーム１１０を含むロボット１００の制御を簡単に行うことができる。
【００４５】
特に、ロボットの操作方法を知らない教示者であっても教示を行うことができる。また、教示者１０のジェスチャがそのまま教示動作となるので、複雑な教示動作も簡単に行うことができ、また、人間特有の器用さを要する動作も簡単に教示することができる。
また、単眼カメラ３０およびステレオカメラ４０が教示画像を取得し、また、モニタ用カメラ５０がロボット１００の状態を表す画像を取得するので、システム全体が安価に構築できる。また、これらのカメラによって遠隔操作が可能となるので、人間が作業困難場所での作業の制御も行うことができる。
【００４６】
また、図２に示す処理はリアルタイムで行うことができるので、いわゆる運動計画のようなデータ作成処理を事前に行う必要がない。この際、ロボットアームの特異点（実現することができない姿勢等）については、マッピングなどにより回避することができる。
【００４７】
実施の形態２．
実施の形態２は、実施の形態１において、同一の教示データによって複数のロボットの制御を行うものである。
図５に、実施の形態２に係るロボット制御システムに関連する構成を示す。図５のロボット１０１〜１０３は、いずれも図１のロボット１００と同様の構成を有する。また、図５の制御装置２０１は、図１の制御装置２００と同様の構成を有するが、３台のロボット１０１〜１０３に接続されており、これら３台に関する処理を同時に行うことが可能である。
【００４８】
このような構成は、同一の構成を有する複数の対象物１３１〜１３３に対して、それぞれ対応するロボット１０１〜１０３が同一の動作を行う場合において、特に効率的である。教示者１０は、一度の教示によって同時にすべてのロボット１０１〜１０３の制御を行うことができる。
なお、図５には示さないが、図１と同様にモニタ用カメラ５０およびモニタ６０によるフィードバックが行われてもよい。
【００４９】
実施の形態３．
実施の形態３は、実施の形態１および２において、カメラの視野をより広くするものである。
図６に、実施の形態３に係るロボット制御システムに係る単眼カメラ３１の構成を示す。単眼カメラ３１は、教示者１０の手２１または手首２２の動きに応じ、その向きを変更することが可能である。たとえば、図６において、手２１が（ａ）の位置にある場合には単眼カメラ３１は（Ａ）の向きに制御され、手２１が（ｂ）の位置にある場合には単眼カメラ３１は（Ｂ）の向きに制御される。
【００５０】
このような単眼カメラ３１の方向制御は、制御装置によって、周知の技術を用いて行うことができる。たとえば、教示画像をリアルタイムで処理し、特徴点を抽出してこれを追尾するように単眼カメラ３１の方向を制御することができる。なお、この場合、手２１の移動を完全に追尾する必要はなく、手２１が単眼カメラ３１の視野に収まる範囲とすればよい。
なお、図６には単眼カメラ３１のみを示すが、ステレオカメラについても同様の制御がなされる。
【００５１】
このような構成によれば、より広い範囲にわたる動作の教示が可能となる。
なお、図６では単眼カメラ３１は向きのみを変更可能であるが、向きではなく位置を変更可能としてもよく、向きおよび位置の双方を変更可能としてもよい。
【００５２】
図７に、実施の形態３の変形例に係るロボット制御システムに係る単眼カメラ３２および３３の構成を示す。単眼カメラ３２および３３は異なる位置に配置され、異なる視野を有する。たとえば、図７において、手２１が（ａ）の位置にある場合には単眼カメラ３２が教示画像を撮影し、手２１が（ｂ）の位置にある場合には単眼カメラ３３が教示画像を撮影する。単眼カメラ３２および３３のいずれが教示画像を撮影するかは、たとえば制御装置によって、周知の技術を用いて決定することができる。
なお、図７には単眼カメラ３２および３３のみを示すが、ステレオカメラについても同様の配置がなされる。
【００５３】
実施の形態４．
実施の形態４は、実施の形態１〜３において、教示動作を１本の腕でなく２本の腕で行うものである。
図８に、実施の形態４に係るロボット制御システムに係る構成を示す。図８のロボット１０４は、図１のロボット１００と同様の構成を有する。また、図８のロボット１０５は、図１のロボット１００と左右対称となる構成を有する。また、図８の制御装置２０２は、図１の制御装置２００と同様の構成を有するが、２台のロボット１０４および１０５に接続されており、これら２台に関する処理を同時に行うことが可能である。
【００５４】
単眼カメラ３０は、教示者１０の両手を含む画像を撮影し、ステレオカメラ４０は、教示者１０の両手首を含む画像を撮影する。すなわち、教示画像は、教示者１０の両腕について、それぞれの手首および手を含むことになる。また、手首座標、手指座標、ロボットアーム教示データ、およびロボットハンド教示データは、それぞれ両腕について決定されまたは作成される。
なお、単眼カメラおよびステレオカメラはそれぞれ２台設けられてもよく、右腕２０ａおよび左腕２０ｂを個別に撮影してもよい。
【００５５】
なお、制御装置２０２は、教示画像において、教示者１０の手および手首について、右腕２０ａのものと左腕２０ｂのものとを区別して認識する機能を有するものとする。制御装置２０２は、教示者１０の右腕２０ａの手首および手の教示画像に基づいてロボット１０４を制御し、教示者１０の左腕２０ｂの手首および手の教示画像に基づいてロボット１０５を制御する。
【００５６】
このような構成によれば、両腕を用いる作業についても、実施の形態１と同様に簡単に制御を行うことができる。
また、一方の手首（たとえば右手首）を基準として座標系を設定すれば、作業空間全体を相対座標によって表すことができ、座標の誤差が小さくなるとともに制御性が向上する。
【００５７】
上述の実施の形態４では、一人の教示者１０が２本の腕（両腕）を用いて教示を行うが、２本の腕は異なる教示者のものであってもよい。すなわち、二人の教示者が、それぞれの腕を用いて教示を行ってもよい。このような構成は、対象物１３０の受け渡しのような作業に特に有効である。
また、二人の教示者の一方または双方が両腕を用いて教示を行ってもよく、三人以上の教示者が同様にそれぞれ片腕または両腕を用いて教示を行ってもよい。
【００５８】
実施の形態５．
実施の形態５は、実施の形態１〜４において、所定の条件に応じてロボットを定義済みの駆動パターンに従って駆動するものである。
実施の形態５において、制御装置は、その記憶手段に、ロボット１００の動作に関する予め定義された所定の駆動パターンを少なくとも１つ格納している。この所定の駆動パターンは、ロボットハンド１２０における関節の運動パターンを表す。駆動パターンは特定の動作についての標準的なモデルデータであり、周知のものであってもよい。駆動パターンの例としては、円筒形の対象物を周方向から丸みに添って握る動作、円筒形の対象物を軸方向から（端部から中央に向かって）掴む動作、球形の対象物を上方向からわしづかみにして持ち上げる動作、等の動作を実現するためのものが考えられる。
これらの駆動パターンは、たとえばロボットハンド関節角度の時間的変化を表すデータとすることができる。このデータは、制御装置の記憶手段内に設けられる駆動パターンデータベースに格納される。
【００５９】
図９は、実施の形態５に係るロボット制御システムの動作を説明するフローチャートである。実施の形態１に係る動作（図２）におけるロボットハンド駆動指令送信ステップ（ステップＳ８）は、実施の形態５に係る動作（図９）では、パターン判定ステップ（ステップＳ８ａ）、遠隔駆動指令送信ステップ（ステップＳ８ｂ）およびパターン駆動指令送信ステップ（ステップＳ８ｃ）に置き換えられている。
なお、遠隔駆動指令送信ステップにおける「遠隔」という用語は、本実施形態では教示者１０とロボット１００との通信が電気通信回線等を介して行われることを意味するものであるが、必ずしも地理的に距離が大きいということを意味しない。
【００６０】
ステップＳ１〜Ｓ７およびＳ９〜Ｓ１２の動作は実施の形態１と同様である。
ステップＳ７の後、制御装置は、パターン判定ステップ（ステップＳ８ａ）を実行する。このステップＳ８ａにおいて、制御装置は、ステップＳ４で算出されたロボットハンド関節角度と、駆動パターンデータベース内の各駆動パターンとを比較し、その関連性を判定する。
【００６１】
関連性の判定は、様々な方法によって行うことができる。
たとえば、一時点におけるロボットハンド関節角度（すなわち、最後に決定されたロボットハンド関節角度）に基づいて行うことができる。ステップＳ４で算出されたロボットハンド関節角度と、駆動パターンデータのロボットハンド関節角度とを用いて、それぞれ対応する関節の角度を比較する。すべての関節について角度が近似している場合には、ステップＳ４で算出されたロボットハンド関節角度と、その駆動パターンとは関連していると判定する。
ここで「角度が近似している」とは、たとえば、それぞれ対応する関節の角度の差分が所定角度（たとえば５度）以下である状態を意味する。または、それぞれ対応する関節の位置の差分が所定距離（たとえば５ｍｍ）以下である場合を意味してもよい。
【００６２】
あるいは、関連性の判定は、所定時間にわたるロボットハンド関節角度の変動の状態に基づいて行うことができる。ステップＳ４で算出されたロボットハンド関節角度を所定時間にわたって記憶しておき、その変動の状態と、これと対応する時間にわたる駆動パターンデータのロボットハンド関節角度の状態とを比較する。すべての関節について角度の変動の状態が近似している場合には、ステップＳ４で算出されたロボットハンド関節角度と、その駆動パターンとは関連していると判定する。
【００６３】
ここで「ロボットハンド関節角度の変動の状態が近似している」とは、たとえば、それぞれ対応する関節の角度の差分が、所定時間にわたって常に所定角度（たとえば５度）以下である状態を意味する。または、それぞれ対応する関節の位置の差分が、所定時間にわたって常に所定距離（たとえば５ｍｍ）以下である場合を意味してもよい。なお、ここでいう「所定時間」とは、教示画像を動画としてみた場合には連続する所定数のフレームに対応する。
【００６４】
このようにして、ステップＳ８ａにおける判定の結果、ステップＳ４で算出されたロボットハンド関節角度と、いずれかの駆動パターンとが関連しているか否かが判定される。いずれの駆動パターンも関連していないと判定された場合には、制御装置は遠隔駆動指令送信ステップ（ステップＳ８ｂ）を実行する。ステップＳ８ｂの処理は図２のロボットハンド駆動指令送信ステップ（ステップＳ８）と同一である。
なお、ステップＳ４で算出されたロボットハンド関節角度が複数の駆動パターンと関連していると判定された場合には、制御装置はそのうち１つの駆動パターンを適宜選択する。この選択方法は当業者であれば適宜設計することができる。
【００６５】
ステップＳ８ａにおいて、ステップＳ４で算出されたロボットハンド関節角度と、いずれかの駆動パターンとが関連していると判定された場合には、制御装置は、パターン駆動指令送信ステップ（ステップＳ８ｃ）を実行する。このステップＳ８ｃにおいて、制御装置は、その関連している駆動パターンに基づいてロボットハンド１２０を駆動する。
【００６６】
この場合には、教示者１０の手２１のその後の動作とは関係なく、ロボット１００は予め定義された動作を行うことになる。
たとえば、円筒形の対象物を周方向から握る動作に対応する駆動パターンが格納されており、教示者１０が円筒形の対象物１３０を周方向から握ろうとする動作を行う場合を考える。この場合、教示者１０の手２１の動きに対応して、実際にロボットハンド１２０が対象物１３０に接触する前の段階で、手２１の動きとその駆動パターンとが関連していると判定され、その後は自動的に対象物１３０を握る動作が実行される。
【００６７】
このような制御によれば、教示者１０の教示の巧拙に関わらず、予め定義されたパターンを用いて迅速かつ精密にロボット１００を制御することができる。とくに、対象物１３０が既知の物体である場合には、これに対応する駆動パターンを定義しておくことにより、より的確な動作が可能となる。
【００６８】
また、複数の駆動パターンを準備しておけば、同一の対象物を把持するための異なる姿勢に対応することができる。
たとえば、対象物１３０が円筒形であり、一方の端面を下にして配置されている場合、水平方向（周方向）から丸みに添って握るように把持する場合と、上方向（軸方向）から掴むように把持する場合とでは適切なロボットハンド１２０の駆動パターンが異なる。このような場合であっても、教示者１０の手２１がいずれの駆動パターンと関連するか判定することにより、常に適切な把持動作を行うことができる。
【００６９】
実施の形態６．
実施の形態６は、実施の形態５において、パターン判定ステップに関連する処理を変更するものである。実施の形態５では、手２１の動きと駆動パターンとが近似しているかどうかに基づいて、いわば自動的に駆動方式の切り替えを行ったが、実施の形態６では、教示者１０からの指示に基づいて、いわば手動で切り替えを行う。
図１０は、実施の形態６に係るロボット制御システムの動作を説明するフローチャートである。実施の形態５（図９）におけるパターン判定ステップ（ステップＳ８ａ）は、パターン指示判定ステップ（ステップＳ０）に置き換えられ、当該ステップの実行タイミングも変更されている。
【００７０】
パターン指示判定ステップ（ステップＳ０）は、ステップＳ１の前に実行される。このステップＳ０において、制御装置は、教示者１０からパターン駆動を行う旨の指示があったかどうかを判定する。この指示は、たとえばボタン入力によって行うことができ、特定のボタンが押下された場合にはパターン駆動を行う旨の指示があったと判定し、押下されていない場合にはパターン駆動を行う旨の指示がなかったと判定する。
なお、複数の駆動パターンについて、各駆動パターンに個別に対応するボタンが設けられてもよい。
【００７１】
パターン駆動を行う旨の指示がなかった場合、制御装置はステップＳ７の後にステップＳ８ｂを実行する。すなわち、この場合、ステップＳ１〜Ｓ７、Ｓ８ｂおよびＳ９〜Ｓ１２の処理は実施の形態１と同様のものとなる。
パターン駆動を行う旨の指示があった場合、制御装置はパターン駆動指令送信ステップ（ステップＳ８ｃ）を実行し、駆動パターンに基づいてロボットハンド１２０を駆動する。
【００７２】
このような構成によれば、教示者１０は教示に従う遠隔駆動から自動的なパターン駆動への移行を任意のタイミングでボタンを押下することによって行うことができ、より的確にロボット１００を制御することができる。たとえば、ロボットハンド１２０を対象物１３０に対して最適な位置関係をもって配置する動作は教示によって行い、その後の把持動作はパターン駆動によって実行することができる。
【００７３】
上述の実施の形態１〜６において、以下に示すような変形を施すことができる。
実施の形態１、２および４〜６では、単眼カメラが手２１を含む教示画像を１つ取得し、ステレオカメラが手首２２を含む教示画像を２つ取得するので、一時点で３つの教示画像が取得されることになるが、教示画像の数は３つでなくともよい。
たとえば、単眼カメラおよびステレオカメラの代わりにただ１つのカメラを用い、このカメラが手２１および手首２２の双方を含む教示画像を１つ取得してもよい。この場合、この１つの教示画像に基づいて手２１の姿勢候補データの選択および手首座標の決定を行うことができる。
また、２つの単眼カメラを用いてもよく、その一方が単眼カメラと同様に手２１を含む教示画像を取得し、他方は手首２２を含む１つの教示画像を取得してもよい。あるいは、１つのステレオカメラのみを用いてもよく、ステレオカメラによって取得されるステレオ手首画像の一方または双方を手２１の教示画像として用いてもよい。
教示画像取得手段として、ＴＯＦ（Time Of Flight）カメラを用いてもよい。ＴＯＦカメラは、被写体までの距離情報を得ることができる。この距離情報をもとに手２１の姿勢候補データの選択および手首座標の決定を行うことができる。
また教示画像以外に教示情報取得手段で教示情報を得てもよい。たとえば、各種センサから構成される入力手段より得られる教示情報、記憶装置に記録されている教示画像を用いてもよい。
【００７４】
実施の形態１〜６では、図３に示すように、教示画像中のくびれ部分２２ａに基づいて手首２２の位置を決定しているが、手首２２の位置はこれとは異なる方法で決定されてもよい。
図１１は、手首２２の位置を決定する他の方法を示す。図１１では、教示者１０は手首にリストバンド２５を付して教示動作を行う。この場合、制御装置は、教示画像中でリストバンド２５に対応する部分を特定し、これに関連して手首２２の位置を決定することができる。リストバンド２５の色を教示者１０の肌の色とは異なる特定の色としておけば、制御装置はその特定の色を検出することによって手首２２の位置を決定することができ、位置決定の処理が簡素になるとともに精度が向上する。
【００７５】
また、実施の形態４（図８）のように複数の腕が関わる教示作業の場合には、右手首のリストバンドと左手首のリストバンドとを互いに異なる色としておけば、制御装置は第１の色を検出することによって一方の手首の位置を決定することができ、第１の色とは異なる第２の色を検出することによって他方の手首の位置を決定することができる。このように、教示画像中で右手と左手とを区別して認識する処理が簡素になるとともに精度が向上する。
なお、実施の形態４の変形例のように複数人の腕が関わる動作についても、すべての腕について異なる色のリストバンドを用いれば、教示画像中でそれぞれの手首を区別して認識することができる。
【００７６】
さらに、教示画像における背景（すなわち教示者１０の手２１、手首２２、腕２３および体以外の部分）に対する手２１、手首２２または腕２３の微小な動き、いわゆる「手ぶれ」に基づいて、手２１、手首２２または腕２３を認識し、その位置を決定してもよい。この場合、手２１または腕２３が認識できれば、これに基づいて手首２２の位置を決定することができる。
また、図１１のようなリストバンドを用いない場合であっても、色の違い（たとえば教示者１０の肌の色、服装、等）に基づいて手首２２の位置を決定することができる。
【００７７】
実施の形態１〜６では、姿勢候補データ選択ステップ（図２のステップＳ２ａ）において、手首の位置に関する情報を用いずに姿勢候補データの選択を行うが、これは手首の位置に関する情報を用いて行ってもよい。この場合、姿勢候補データ選択ステップ（ステップＳ２ａ）は、手首位置決定ステップ（ステップＳ２ｂ）の後に実行されてもよい。また、教示画像において手首２２よりも先の部分を手２１として認識し、これを姿勢候補データの選択に用いてもよい。
【００７８】
実施の形態１〜６では、教示データを作成した直後にその教示データに基づいて実際の駆動を行っているが、駆動は行わなくともよい。たとえば、作成された教示データを単に記録するものであってもよい。この場合、後に記録された教示データを読み出し、これに基づいてロボットを駆動することができる。
【００７９】
実施の形態１〜６では、ロボットは３本のロボットハンドの指を備え合計１５の制御可能な自由度を持つが、ロボットハンドの指の数および自由度の数はこれに限られない。ロボットハンドの指の数は少なくとも１本あればよく、把持動作等がある場合は２本以上あればよい。また、自由度の数は、少なくとも、ロボットアームの先端の位置を３次元で表す３変数、ロボットアームの先端の向きを３次元で表す３変数、第１指の第１関節の角度を表す１変数、第１指の第２関節の角度を表す２変数、第２指の第１関節の角度を表す１変数、および、第２指の第２関節の角度を表す２変数の、合計１２あればよい。さらに、ロボットの自由度がこれより少ない場合には、さらに少ない変数によって教示を行ってもよい。
【００８０】
実施の形態１〜６では、手指座標は、手指の各関節の位置を表す座標と、指先の位置を表す座標とを含むが、手指座標の構成はこれに限られない。たとえば、手指座標は手指の各関節の位置を表す座標のみからなってもよく、また、指先の位置を表す座標のみからなってもよい。あるいは、手指に関連するなんらかの位置を表す座標であってもよく、これに対応してロボットハンド関節角度を決定することができるものであればよい。
【００８１】
実施の形態１〜６では、ロボット１００は３本のロボットハンド１２０の指を有しており、教示者１０の手指のうち親指・人差し指・中指がロボットハンド１２０の各指に対応したが、教示に用いる３本の指はこれとは異なる組合せであってもよい。また、ロボットハンドの指が２本であるロボットの場合には、たとえば親指および人差し指のみを用いて教示を行うことができ、また、４本または５本のロボットハンドの指を持つロボットの場合には、４本または５本の手指を用いて教示を行うことができる。
【００８２】
実施の形態５および６では、駆動パターンはロボットハンド１２０における関節の運動パターンを表すものであるが、これはロボットアーム１１０における関節の運動パターンを表すものであってもよく、また、ロボットハンド１２０およびロボット１００の双方の関節の運動パターンを表すものであってもよい。このような構成によれば、腕と指とが連動する動作についてもパターン制御を行うことができる。
なお、駆動パターンがロボットアーム１１０に関する運動パターンを含む場合には、実施の形態５（図９）のパターン判定ステップ（ステップＳ８ａ）において、ステップＳ４で算出されたロボットハンド関節角度だけでなく、ステップＳ２で決定された手首座標にも基づいて判定が行われてもよい。
【符号の説明】
【００８３】
１０ 教示者（人間）、２１ 手、２２ 手首、２３ 腕、１００〜１０５ ロボット、１１０ ロボットアーム、１２０ ロボットハンド、１２０ａ〜１２０ｃ ロボットハンドの指、２００〜２０２ 制御装置、Ｓ１ 教示画像取得ステップ（教示情報取得ステップ）、Ｓ２ 手首座標決定ステップ（Ｓ２ａ 姿勢候補データ選択ステップ、Ｓ２ｂ 手首位置決定ステップ、Ｓ２ｃ 手首方向決定ステップ）、Ｓ３ 手指座標決定ステップ、Ｓ７ ロボットハンド教示データ作成ステップ、Ｓ８ ロボットハンド駆動指令送信ステップ（駆動指令送信ステップ）、Ｓ８ａ パターン判定ステップ、Ｓ８ｂ 遠隔駆動指令送信ステップ（駆動指令送信ステップ）、Ｓ８ｃ パターン駆動指令送信ステップ、Ｓ１１ ロボットアーム教示データ作成ステップ。
【特許請求の範囲】
【請求項１】
ロボットハンドを備える、少なくとも１台のロボットの動作を制御する方法であって、
人間の手を含む教示情報を取得する、教示情報取得ステップと、
前記教示情報に基づいて、手指に関連する位置を表す手指座標を決定する、手指座標決定ステップと、
前記手指座標に基づいて、前記ロボットハンドの各関節の角度を表すロボットハンド関節角度を算出する、ロボットハンド関節角度算出ステップと、
前記ロボットハンド関節角度算出ステップにおいて算出された前記ロボットハンド関節角度に基づいて、前記ロボットハンドに駆動指令を送信する、駆動指令送信ステップと
を含む、ロボットの動作を制御する方法。
【請求項２】
前記教示情報は教示画像であって、前記教示情報取得ステップは教示画像取得ステップである請求項１に記載のロボットの動作を制御する方法。
【請求項３】
前記ロボットハンドの関節の運動パターンを表す所定の運動パターンデータに基づいて前記ロボットハンドを駆動する、パターン駆動指令送信ステップをさらに含み、
所定の条件が満たされた場合には、前記駆動指令送信ステップの代わりに前記パターン駆動指令送信ステップが実行される
請求項１又は２に記載のロボットの動作を制御する方法。
【請求項４】
前記所定の条件が満たされたかどうかを判定する、パターン判定ステップをさらに含み、
前記パターン判定ステップにおいて、一時点における前記ロボットハンド関節角度に基づいて、または、所定時間にわたる前記ロボットハンド関節角度の変動の状態に基づいて、前記ロボットハンド関節角度と前記所定の運動パターンデータとの関連性が判定される
請求項３に記載のロボットの動作を制御する方法。
【請求項５】
前記ロボットは、さらにロボットアームを備え、
前記教示画像は、さらに人間の手首を含み、
前記方法は、
前記教示画像に基づいて、手首の位置および向きを表す手首座標を決定する、手首座標決定ステップと、
前記手首座標に基づいて前記ロボットアームに駆動指令を送信する、ロボットアーム駆動指令送信ステップと
をさらに含む
請求項２〜４のいずれか一項に記載のロボットの動作を制御する方法。
【請求項６】
前記ロボットは少なくとも２台であり、
前記教示画像は、人間の両腕について、それぞれの手首および手を含み、
前記ロボットハンド関節角度および前記手首座標は、それぞれ両腕について算出または決定される
請求項５に記載のロボットの動作を制御する方法。
【請求項７】
少なくとも１台のロボットと、
請求項１〜６のいずれか一項に記載の方法を実行して前記ロボットを制御する機能を有する制御装置と
を備えるロボットシステム。
【請求項１】
ロボットハンドを備える、少なくとも１台のロボットの動作を制御する方法であって、
人間の手を含む教示情報を取得する、教示情報取得ステップと、
前記教示情報に基づいて、手指に関連する位置を表す手指座標を決定する、手指座標決定ステップと、
前記手指座標に基づいて、前記ロボットハンドの各関節の角度を表すロボットハンド関節角度を算出する、ロボットハンド関節角度算出ステップと、
前記ロボットハンド関節角度算出ステップにおいて算出された前記ロボットハンド関節角度に基づいて、前記ロボットハンドに駆動指令を送信する、駆動指令送信ステップと
を含む、ロボットの動作を制御する方法。
【請求項２】
前記教示情報は教示画像であって、前記教示情報取得ステップは教示画像取得ステップである請求項１に記載のロボットの動作を制御する方法。
【請求項３】
前記ロボットハンドの関節の運動パターンを表す所定の運動パターンデータに基づいて前記ロボットハンドを駆動する、パターン駆動指令送信ステップをさらに含み、
所定の条件が満たされた場合には、前記駆動指令送信ステップの代わりに前記パターン駆動指令送信ステップが実行される
請求項１又は２に記載のロボットの動作を制御する方法。
【請求項４】
前記所定の条件が満たされたかどうかを判定する、パターン判定ステップをさらに含み、
前記パターン判定ステップにおいて、一時点における前記ロボットハンド関節角度に基づいて、または、所定時間にわたる前記ロボットハンド関節角度の変動の状態に基づいて、前記ロボットハンド関節角度と前記所定の運動パターンデータとの関連性が判定される
請求項３に記載のロボットの動作を制御する方法。
【請求項５】
前記ロボットは、さらにロボットアームを備え、
前記教示画像は、さらに人間の手首を含み、
前記方法は、
前記教示画像に基づいて、手首の位置および向きを表す手首座標を決定する、手首座標決定ステップと、
前記手首座標に基づいて前記ロボットアームに駆動指令を送信する、ロボットアーム駆動指令送信ステップと
をさらに含む
請求項２〜４のいずれか一項に記載のロボットの動作を制御する方法。
【請求項６】
前記ロボットは少なくとも２台であり、
前記教示画像は、人間の両腕について、それぞれの手首および手を含み、
前記ロボットハンド関節角度および前記手首座標は、それぞれ両腕について算出または決定される
請求項５に記載のロボットの動作を制御する方法。
【請求項７】
少なくとも１台のロボットと、
請求項１〜６のいずれか一項に記載の方法を実行して前記ロボットを制御する機能を有する制御装置と
を備えるロボットシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１１０６２０（Ｐ２０１１−１１０６２０Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６６３１９（Ｐ２００９−２６６３１９）
【出願日】平成２１年１１月２４日（２００９．１１．２４）
【出願人】（０００００３２１８）株式会社豊田自動織機 (4,162)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２４日（２００９．１１．２４）
【出願人】（０００００３２１８）株式会社豊田自動織機 (4,162)
【Ｆターム（参考）】
[ Back to top ]