ロボットの制御装置及びロボットのティーチング方法
【課題】ロボットをティーチングする際に並行して撮像対象物までの距離計測を行うロボットの制御装置を提供する。
【解決手段】初期位置で撮像される画像フレームの中心周りで注視領域を設定し、初期位置の座標を移動元座標とする。入力された移動方向に対し、注視領域が撮像フレームに収まるようカメラを上記移動方向にＴＢ（ベクトル）だけ微小移動させ、移動元座標，移動先座標（移動後の座標）からカメラの移動距離ＴＣ（ベクトル）を計算し、移動先座標，移動元座標で夫々捉えた画像から注視領域の移動距離を求めてカメラ間視差とし、カメラの焦点距離，移動距離，視差から三角測量法で移動元座標から注視点Ｐｃまでの撮像距離を求め、入力された移動方向と撮像距離とから移動先座標を始点，撮像距離を半径としてカメラが注視点方向を常に向いた状態での目標円弧軌道を計算し、カメラを前記軌道に沿って移動させるようロボットに指令を出力する。
【解決手段】初期位置で撮像される画像フレームの中心周りで注視領域を設定し、初期位置の座標を移動元座標とする。入力された移動方向に対し、注視領域が撮像フレームに収まるようカメラを上記移動方向にＴＢ（ベクトル）だけ微小移動させ、移動元座標，移動先座標（移動後の座標）からカメラの移動距離ＴＣ（ベクトル）を計算し、移動先座標，移動元座標で夫々捉えた画像から注視領域の移動距離を求めてカメラ間視差とし、カメラの焦点距離，移動距離，視差から三角測量法で移動元座標から注視点Ｐｃまでの撮像距離を求め、入力された移動方向と撮像距離とから移動先座標を始点，撮像距離を半径としてカメラが注視点方向を常に向いた状態での目標円弧軌道を計算し、カメラを前記軌道に沿って移動させるようロボットに指令を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アームの手先にカメラが配置されているロボットを制御する制御装置，及び前記ロボットについてティーチングを行う方法に関する。
【背景技術】
【０００２】
例えば視覚検査を行うロボットでは、検査対象物に対する最適な撮像位置を設定するため、ティーチング時において、三角測量法を用いて検査対象物までの距離を計測する作業を行う。特許文献１にはその一例が示されており、以下のような手順となっている。ロボットアームの手先に配置されたカメラによって注視点を含む画像を撮像すると、ユーザがカメラの視点位置を変更した後、同一注視点を含む画像を撮像する。そして、得られたステレオ画像から、三角測量法により注視点までの距離を計測すると、その距離データに従ってカメラの視点位置を変更させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−７５６１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている方式では、ロボットの移動先をティーチングする動作とは別個に、カメラの視点から注視点までの距離を求めるためカメラの位置を変更する必要があり、ユーザの操作負担が大きいという問題があった。
本発明は上記事情に鑑みてなされたものであり、その目的は、ロボットをティーチングする際に並行して、撮像対象物までの距離計測を行うことができるロボットの制御装置及びロボットのティーチング方法を提供することにある。
【課題を解決するための手段】
【０００５】
請求項１記載のロボットの制御装置によれば、カメラの初期位置で撮像されている画像のフレーム中心周りの所定領域を注視領域として設定し、初期位置の座標を移動元座標として設定する。そして、ユーザにより入力された移動方向に対し、注視領域が撮像フレームに収まる範囲内となるように、カメラを、初期位置における姿勢は維持しつつ入力された移動方向に微小移動させて、移動後の位置座標を移動先座標として設定する。移動元座標と移動先座標とからカメラの移動距離を計算すると、移動先座標における画像内で、移動元座標における画像上の注視領域からなる部分画像との画像特徴量の類似度が一定以上で且つ最大となる画像領域を特定し、その特定された画像領域が示す座標と移動元座標における注視領域が示す座標から、注視領域の移動距離をカメラ間視差として計算する。そして、予め保持しているカメラの像面距離，カメラ移動距離，カメラ間視差から、三角測量法でカメラの移動先座標から撮像対象物までの撮像距離を求め、入力された移動方向と撮像距離とから移動先座標を始点，撮像距離を半径としてカメラが注視点方向を常に向いた状態での目標円弧軌道を計算し、カメラを目標円弧軌道に沿ってユーザにより入力された移動量分だけ移動させるよう、ロボットに指令を出力する。
【０００６】
すなわち、ユーザは、カメラの視点変更をティーチングするために移動方向並びに移動量を入力指定すれば、その指定に応じて制御装置及びロボットがカメラを移動させる間に、カメラの視点位置から注視点までの撮像距離が自動的に求められる。撮像距離が求められた時点で、移動指令出力手段に視点変更を行うための目標円弧軌道が生成可能となり、直ちに撮像距離を一定に維持した状態での移動に移行することが可能となる。撮像距離を計算するためカメラを微小移動させると、当初の理想とする軌道と目標円弧軌道との間にずれを生じるが、前記微小移動の距離は、注視領域が撮像フレーム内に収まる範囲内での移動量であるから、カメラの視点変更を行う上では無視できる。また、最終的な教示点については微調整せざるを得ないので、この程度の誤差は、ティーチングの過程では無きに等しいと評価できる。したがって、ユーザは、撮像距離を求めるためだけにカメラの視点変更を別個に行う必要がなく、操作負担を軽減できる。
【０００７】
請求項２記載のロボットの制御装置によれば、所定領域のサイズを設定変更可能とする。すなわち、カメラが撮像する対象の状況によっては、所定領域の当初のサイズが注視点を含む画像の特徴量を適切に抽出するには不適切である場合がある。したがって、撮像対象に応じて所定領域のサイズを適切に設定できる。
【図面の簡単な説明】
【０００８】
【図１】一実施例であり、（ａ）はカメラの視点変更処理、（ｂ）は（ａ）のＳ５における「軌道生成処理」の詳細を示すフローチャート
【図２】ロボットを含む制御システムの構成を示す図
【図３】各処理の内容を概念的に説明する図（その１）
【図４】各処理の内容を概念的に説明する図（その２）
【図５】各処理の内容を概念的に説明する図（その３）
【図６】各処理の内容を概念的に説明する図（その４）
【図７】各処理の内容を概念的に説明する図（その５）
【図８】各処理の内容を概念的に説明する図（その６）
【発明を実施するための形態】
【０００９】
以下、本発明の一実施例について図面を参照して説明する。図２は、垂直多関節型（６軸）ロボットを含む制御システムの構成を示す。このロボット１は、ベース（回転軸）２上に、この場合６軸のアームを有し、そのアームの先端には、図示しないハンド等のツールや、後述するカメラなどが取り付けられる。前記ベース２上には、第１関節Ｊ１を介して第１のアーム３が回転可能に連結されている。この第１のアーム３には、第２関節Ｊ２を介して上方に延びる第２のアーム４の下端部が回転可能に連結され、さらに、この第２のアーム４の先端部には、第３関節Ｊ３を介して第３のアーム５が回転可能に連結されている。
【００１０】
この第３のアーム５の先端には第４関節Ｊ４を介して第４のアーム６が回転可能に連結され、この第４のアーム６の先端には第５関節Ｊ５を介して第５のアーム７が回転可能に連結され、この第５のアーム７には第６関節Ｊ６を介して第６のアーム８が回転可能に連結されている。なお、各関節Ｊ１〜Ｊ６においては、図示しないサーボモータにより各アーム３〜８を回転駆動するようになっている。
【００１１】
ロボット１と制御装置（コントローラ）１１との間は、接続ケーブル１２によって接続されている。これにより、ロボット１の各軸を駆動するサーボモータは、制御装置１１により制御される。パッドコントローラ（入力手段）１３は、例えば横長の本体１４の両端側に、ユーザが左右両手でそれぞれ把持するための把持部１５Ｌ，１５Ｒが設けられており、ユーザが把持部１５Ｌ，１５Ｒを両手で把持した状態で、親指により押圧操作可能なジョイパッド１６Ｌ，１６Ｒが配置されている。また、把持部１５Ｌ，１５Ｒの図中上方には、人差し指により押圧操作可能なボタン１７Ｌ，１７Ｒが配置されている。
【００１２】
ロボット１のアーム８には、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳイメージセンサを用いたカメラ（撮像手段）２１が取り付けられており、そのカメラ２１により撮像対象物２２を含む画像を捉える。制御装置１１には、パーソナルコンピュータ（パソコン）２３がケーブル２４を介して接続されている。
【００１３】
パソコン２３には、メモリやハードディスクなどの記憶装置（記憶手段）が内蔵されている。パッドコントローラ１３は、接続ケーブル１８を経由してパソコン２３に接続され、通信インターフェイスを介してパソコン２３との間で高速のデータ転送を実行するようになっている。ジョイパッド１６Ｌ，１６Ｒ等が操作されて入力された操作信号等の情報は、パッドコントローラ１３からパソコン２３を介して制御装置１１へ送信される。カメラ２１は、ケーブル２５を介してパソコン２３に接続されており、カメラ２１が捉えた画像のデータはパソコン２３に送信されて、ディスプレイ２３Ｄに表示される。
【００１４】
次に、本実施例の作用について図１，図３ないし図８を参照して説明する。図１（ａ）は、ユーザがパッドコントローラ１３を用いて、カメラ２１の撮像距離を維持しつつ、撮像位置（視点位置）を変更するためのティーチングを行う際に、自動的に実行される視点変更処理を示すフローチャートである。図１（ｂ）は、図１（ａ）のステップＳ５における「軌道生成処理」の詳細を示すフローチャートである。そして、図３〜図８は、各処理の内容を概念的に説明するものである。これらの処理は、パソコン２３を中心として実行される。
【００１５】
図１（ａ）において、ユーザが、ボタン１７Ｒをオン操作し続けている間にジョイパッド１６Ｌを何れかの方向の何れかにオン操作すると（ステップＳ０）、ステップＳ１〜Ｓ１０間の視点変更処理ループが実行される。ステップＳ２において、ユーザがパッドコントローラ１３により、ロボット１のアーム８先端に取り付けられたカメラ２１を、どちらの方向にどれだけの速度（角速度）で移動させるかを入力指示する（ステップＳ２）。この時、ユーザは、ジョイパッド１６Ｌをある方向にオン操作した際の傾き量で移動速度を指示し、オン操作している間が前記速度で移動する時間となる。
【００１６】
図３は、カメラ２１が初期位置にある場合に、カメラ２１のレンズを中心とするカメラ座標系ΣＣと、カメラ２１により撮像された画像（参照元画像Ｎ×Ｍを含む）の座標系ΣＩとを示している。尚、以下で符号の後に“（ベクトル）”を付したものは、本来はベクトル表記とすべき符号であることを示している（但し、「ベクトル」と明示しているものは除く）。ユーザは、パソコン２３のディスプレイ２３Ｄを見ながら、画像中のどちらの方向に（画像座標系ΣＩにおける単位方向ベクトルｄＩ）どれくらいの速度（角速度ω）で、どれくらいの間移動させたいかを指示する。尚、カメラ２１が初期位置にある場合の座標は、移動元座標として記憶される（移動元座標設定手段）。
【００１７】
次に、ステップＳ２において指示された速度がゼロでないか否かを判断し（ステップＳ３）、速度がゼロでなければ（ＹＥＳ）、視点を変更するための軌道が生成されているか否かを判断する（ステップＳ４）。軌道が生成されていなければ（ＮＯ）ステップＳ５に移行して、図１（ｂ）に示す軌道生成処理を実行する。軌道生成処理が終了すると「正常終了」か否かを判断し（ステップＳ６）、「正常終了」であれば（ＹＥＳ）生成された軌道に沿ってカメラ２１を、ステップＳ２で指示された移動量に応じて移動させる（ステップＳ７）。この処理は後述するように、カメラ２１の移動軌跡を、仮軌道から目標軌道に乗せるための軌道修正となる。
【００１８】
そして、ユーザにより視点変更処理の終了が指示されると（ステップＳ８，Ｓ９：ＹＥＳ）視点変更処理を終了し、視点変更処理の終了が指示されなければ（ステップＳ９：ＮＯ）ステップＳ１に戻りループを繰り返す。また、ステップＳ３で「ＮＯ」と判断した場合はステップＳ８に移行し、ステップＳ４で「ＹＥＳ」と判断した場合はステップＳ７に移行する。また、ステップＳ５における軌道生成処理が異常終了であった場合は（ステップＳ６：ＮＯ）は、その時点で視点変更処理を終了する。
【００１９】
次に、図１（ｂ）に示す軌道生成処理について説明する。先ず、カメラ２１が初期位置にある状態で画像（１）を撮像する。図３において、カメラ２１の回転中心となる注視点ＰＣ（ベクトル，レンズ中心にあるカメラ座標系ΣＣから見た点，初期状態では未知）は、ΣＩにおける画像中央画素ＯＩ（ベクトル）に投影される点であるとする。初期位置で撮像した画像において、注視点ＰＣが投影された画素の周辺（Ｎ×Ｍ）画素分を注視領域として、その注視領域に属する画素群を参照元画像として登録する（ステップＳ１２）。すなわち、例えばパソコン２３に内蔵されているメモリやハードディスクなどに記憶させる。初期値はＮ＝（画像幅）／４，Ｍ＝（画像高さ）／４として、パッドコントローラ１３のジョイパッド１６Ｒにより注視領域サイズ（倍率）を調整できる。尚、注視点領域は、ボタン１７Ｒがオンされた時点で確定される。
【００２０】
次に、カメラ２１の初期位置における姿勢を維持したまま、ロボット１のアーム３〜８を必要に応じて移動させ、カメラ２１を微小平行移動させる（ステップＳ１３）。ここで、画像座標系ΣＩをカメラ座標系ΣＣに変換する行列をＣＨＩとする。また、カメラ座標系ΣＣを、図２に示すロボット１のベース座標系ΣＢに変換する変換行列をＢＨＣとする。変換行列ＣＨＩはカメラ２１の仕様から既知（あるいは校正済み）であり、変換行列ＢＨＣはロボット１の仕様から既知（あるいは校正済み）であるとする。
【００２１】
カメラ座標系ΣＣの原点をＯｃ（ベクトル）とする。この時、ベース座標系ΣＢから見た画像中央画素
【００２２】
【数１】
と、指示された回転方向によって決まる微小変位点
【００２３】
【数２】
と、レンズ中心
【００２４】
【数３】
の３点から構成される３次元平面△Ｐ０ＢＰ１ＢＰ２Ｂ（動作拘束面）を考え（図４参照）、上記３点（つまりはカメラ２１）を、拘束面△Ｐ０ＢＰ１ＢＰ２Ｂ上に拘束するように、ロボット１を
【００２５】
【数４】
だけ平行移動させる。ここで、Ｓｔは、ベクトルＴＢのノルムが（５）式となるようなものを選択する。
【００２６】
【数５】
図５に示すように、ＤＩＭＧは、校正済みで既知であるカメラ２１の像面距離（レンズ中心から仮想撮像面までの距離）［ｍｍ］，ＤＤＳＰは、カメラ２１の移動後に、注視領域が画像から見切れない許容視差［ｍｍ］（画像中央から−ｄＩ（ベクトル）に引かれる直線上における注視領域端から画像端までの距離），ＤＮＥＡＲは、レンズの仕様から決まる最至近距離［ｍｍ］である。そして（５）式は、注視点が最至近距離ＤＮＥＡＲにあると仮定した際に、画像から注視領域が見切れない移動条件を表す。移動後の位置でカメラ２１により再度画像（２）を撮影させると、その画像データは撮像位置（移動先座標）と共に、登録させる（ステップＳ１４，移動先座標設定手段）。
【００２７】
上記の処理において、カメラ２１を動作拘束面上で平行移動させたので、移動後に撮影された画像中での注視点は、画像座標系ΣＩにおいて
【００２８】
【数６】
で表される線分（エピポーラ線）上に存在する（エピポーラ拘束：図６参照）。この線分上を走査して、各画素位置毎に類似度を計算することで、参照元画像（１）と画像濃淡値が最も類似している画像位置（画像領域）を、例えば正規化相互相関法などを用いて探索する（すなわち、画像特徴量の類似度が一定以上で且つ最大となる画像領域を特定することに対応する）と、移動後の画像座標ΣＩ’から見たその画像位置：対応点ＰＩ（ベクトル）を用いて三角測量法によりＰＣ（ベクトル）を算出する（ステップＳ１５〜Ｓ１８）。尚、画像の類似度について、上記「一定以上」の「一定」を設定する場合は、例えば０．７（類似度７０％）程度とする。
【００２９】
ここで、ベース座標系ΣＢの原点をＯＢ（ベクトル）とし、移動前のカメラ座標系ΣＣから見た画像中心（カメラ２１の像面距離）を
【００３０】
【数７】
移動後のカメラ座標系ΣＣ’から見た対応点を
【００３１】
【数８】
とする。尚、（８）式の右辺第２項ｐＩ（ベクトル）は、前述の通り、エピポーラ線上で走査した対応点を移動後の画像座標ΣＩ’で示す位置ベクトルである。
【００３２】
移動前のカメラ座標系ΣＣから見たロボット１の移動量（カメラ移動距離）を
【００３３】
【数９】
として求めると（カメラ間移動距離計算手段）、注視点ＰＣ（ベクトル）は、三角測量法により（１０）式で算出される（図７参照）。
【００３４】
【数１０】
（１０）式の分母は、「カメラ間視差（注視領域の移動距離）」に対応する（カメラ間視差計算手段，撮像距離計算手段）。
【００３５】
また、移動先のカメラ座標系ΣＣ’から見た注視点ＰＣ’（ベクトル）は、
【００３６】
【数１１】
で算出される。
【００３７】
尚、ステップＳ１６において、参照元画像と画像濃淡値が類似している対応点が見つからない場合は、ディスプレイ２３Ｄにその旨をエラーメッセージとして表示させ（ステップＳ１９）軌道生成処理を終了する（この場合は「異常終了」となる）。また、ステップＳ１８では、ステップＳ１７で算出した注視点ＰＣ’（ベクトル）の距離データを半径とする目標軌道（注視点ＰＣを中心として、カメラ２１が常に注視点方向を向いた状態の円弧軌道）を生成して軌道生成処理を終了する（この場合は「正常終了」となる）。
【００３８】
軌道生成処理を終了すると、前述した図１（ａ）のステップＳ６，Ｓ７が実行される。すなわち、移動元座標を始点とする現在の仮軌道から目標軌道へ、カメラ２１の移動軌道を修正する（移動指令出力手段）。仮軌道上での移動距離は，注視点位置までの距離と比較して微小な量であるから、理想軌道と目標軌道との誤差は無視できるものとする。
【００３９】
以上のように本実施例によれば、ロボット１のティーチングを行う際に、カメラ２１の初期位置で撮像されている画像フレームの中心周りにおいて、画素数Ｎ×Ｍの領域を注視領域として設定し、初期位置の座標を移動元座標として設定する。そして、ユーザにより入力指定された移動方向に対し、注視領域が撮像フレームに収まる範囲内となるように、カメラ２１を、初期位置での姿勢を維持させて入力された移動方向にＴＢ（ベクトル）だけ微小移動させ、移動後の位置座標を移動先座標として設定する。
【００４０】
移動元座標と移動先座標とからカメラ２１の移動距離ＴＣを計算すると、移動先座標で捉えた画像内で、移動元座標で捉えた画像上の注視領域の画像濃淡値が最も類似している画像位置を特定し、その特定された画像領域が示す座標と移動元座標での注視領域が示す座標から、注視領域の移動距離をカメラ間視差｜Ｐ２Ｃ（ベクトル）−Ｐ１Ｃ（ベクトル）｜として計算する。そして、予め保持しているカメラ２１の像面距離，カメラ移動距離，カメラ間視差から、三角測量法でカメラ２１の移動先座標から注視点Ｐｃまでの撮像距離を求め、入力された移動方向と撮像距離とから移動先座標を始点，撮像距離を半径としてカメラ２１が注視点方向を常に向いた状態での目標円弧軌道を計算し、カメラ２１を目標円弧軌道に沿ってユーザにより入力された移動量分だけ移動させるよう、ロボット１に指令を出力する。
【００４１】
すなわち、ユーザは、カメラ２１の視点変更をティーチングするために移動方向並びに移動量を入力指定すれば、その指定に応じて制御装置及びロボットがカメラ２１を移動させる間に、カメラ２１の視点位置から注視点までの撮像距離が自動的に求められる。撮像距離が求められた時点で、視点変更を行うための目標円弧軌道が生成可能となり、直ちに撮像距離を一定に維持した状態での移動に移行することが可能となる。
【００４２】
この場合、撮像距離を計算するためカメラ２１を微小移動させると、当初の理想とする軌道と目標円弧軌道との間にずれを生じるが、前記微小移動の距離は、注視領域が撮像フレーム内に収まる範囲内での移動量であるから、カメラ２１の視点変更を行う上では無視できる。また、最終的な教示点については微調整せざるを得ないので、この程度の誤差はティーチングの過程では無きに等しいと評価できる。したがって、ユーザは、撮像距離を求めるためだけにカメラ２１の視点変更を別個に行う必要がなく、操作負担を軽減することができる。
【００４３】
そして、移動元座標と移動先座標との間における移動開始位置としての差は、ティーチング操作上では無視できる程度に微小であるから、移動先座標を基準にした注視点までの撮像距離を用いて円弧軌道を生成し、カメラ２１を、そのまま軌道上を滑らかに移動させることで、ティーチング操作をシームレスに進行させることができる。
また、注視領域のサイズを、ユーザが設定変更可能とする。すなわち、カメラ２１が撮像する対象の状況によっては、所定領域の当初のサイズが注視点を含む画像の特徴量を適切に抽出するには不適切である場合がある。したがって、撮像対象に応じて所定領域のサイズを適切に設定することができる。
尚、特許請求の範囲における「制御装置」は、上記実施例では制御装置１１及びパソコン２３に対応する。
【００４４】
本発明は上記し、又は図面に記載した実施例にのみ限定されるものではなく、以下のような変形又は拡張が可能である。
注視領域の初期サイズは、Ｎ＝（画像幅）／４，Ｍ＝（画像高さ）／４に限ることなく、適宜変更して良い。また、注視領域のサイズは、予め固定的に設定されていても良い。
移動先座標における画像内について、移動元座標における注視領域の部分画像との画像特徴量の類似度を計算する場合は、正規化相互相関法に限ることなく、その他の手法を用いても良い。
パッドコントローラ１３を制御装置１１に接続して、操作信号を制御装置１１に直接送信すると共に、ケーブル２４を通じてパソコン２３にも操作信号を送信する形を取っても良い。
また、制御装置１１にパソコン２３の機能を統合し、制御装置１１にパッドコントローラ１３，カメラ２１の画像データが接続及び送信され、制御装置１１を中心にして当該システムが構成されていても良い。
また、カメラ２１の画像データを制御装置１１に送信し、制御装置１１を経由し、ケーブル２４を通じてパソコン２３に送信しても良い。
入力手段は、パッドコントローラ１３に限ることなく、例えばジョイスティックコントローラや、ティーチングペンダントなどを用いても良い。
【符号の説明】
【００４５】
図面中、１はロボット、１１は制御装置、１３はパッドコントローラ（入力手段）、２１はカメラ、２２は撮像対象物、２３はパーソナルコンピュータを示す。
【技術分野】
【０００１】
本発明は、アームの手先にカメラが配置されているロボットを制御する制御装置，及び前記ロボットについてティーチングを行う方法に関する。
【背景技術】
【０００２】
例えば視覚検査を行うロボットでは、検査対象物に対する最適な撮像位置を設定するため、ティーチング時において、三角測量法を用いて検査対象物までの距離を計測する作業を行う。特許文献１にはその一例が示されており、以下のような手順となっている。ロボットアームの手先に配置されたカメラによって注視点を含む画像を撮像すると、ユーザがカメラの視点位置を変更した後、同一注視点を含む画像を撮像する。そして、得られたステレオ画像から、三角測量法により注視点までの距離を計測すると、その距離データに従ってカメラの視点位置を変更させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−７５６１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている方式では、ロボットの移動先をティーチングする動作とは別個に、カメラの視点から注視点までの距離を求めるためカメラの位置を変更する必要があり、ユーザの操作負担が大きいという問題があった。
本発明は上記事情に鑑みてなされたものであり、その目的は、ロボットをティーチングする際に並行して、撮像対象物までの距離計測を行うことができるロボットの制御装置及びロボットのティーチング方法を提供することにある。
【課題を解決するための手段】
【０００５】
請求項１記載のロボットの制御装置によれば、カメラの初期位置で撮像されている画像のフレーム中心周りの所定領域を注視領域として設定し、初期位置の座標を移動元座標として設定する。そして、ユーザにより入力された移動方向に対し、注視領域が撮像フレームに収まる範囲内となるように、カメラを、初期位置における姿勢は維持しつつ入力された移動方向に微小移動させて、移動後の位置座標を移動先座標として設定する。移動元座標と移動先座標とからカメラの移動距離を計算すると、移動先座標における画像内で、移動元座標における画像上の注視領域からなる部分画像との画像特徴量の類似度が一定以上で且つ最大となる画像領域を特定し、その特定された画像領域が示す座標と移動元座標における注視領域が示す座標から、注視領域の移動距離をカメラ間視差として計算する。そして、予め保持しているカメラの像面距離，カメラ移動距離，カメラ間視差から、三角測量法でカメラの移動先座標から撮像対象物までの撮像距離を求め、入力された移動方向と撮像距離とから移動先座標を始点，撮像距離を半径としてカメラが注視点方向を常に向いた状態での目標円弧軌道を計算し、カメラを目標円弧軌道に沿ってユーザにより入力された移動量分だけ移動させるよう、ロボットに指令を出力する。
【０００６】
すなわち、ユーザは、カメラの視点変更をティーチングするために移動方向並びに移動量を入力指定すれば、その指定に応じて制御装置及びロボットがカメラを移動させる間に、カメラの視点位置から注視点までの撮像距離が自動的に求められる。撮像距離が求められた時点で、移動指令出力手段に視点変更を行うための目標円弧軌道が生成可能となり、直ちに撮像距離を一定に維持した状態での移動に移行することが可能となる。撮像距離を計算するためカメラを微小移動させると、当初の理想とする軌道と目標円弧軌道との間にずれを生じるが、前記微小移動の距離は、注視領域が撮像フレーム内に収まる範囲内での移動量であるから、カメラの視点変更を行う上では無視できる。また、最終的な教示点については微調整せざるを得ないので、この程度の誤差は、ティーチングの過程では無きに等しいと評価できる。したがって、ユーザは、撮像距離を求めるためだけにカメラの視点変更を別個に行う必要がなく、操作負担を軽減できる。
【０００７】
請求項２記載のロボットの制御装置によれば、所定領域のサイズを設定変更可能とする。すなわち、カメラが撮像する対象の状況によっては、所定領域の当初のサイズが注視点を含む画像の特徴量を適切に抽出するには不適切である場合がある。したがって、撮像対象に応じて所定領域のサイズを適切に設定できる。
【図面の簡単な説明】
【０００８】
【図１】一実施例であり、（ａ）はカメラの視点変更処理、（ｂ）は（ａ）のＳ５における「軌道生成処理」の詳細を示すフローチャート
【図２】ロボットを含む制御システムの構成を示す図
【図３】各処理の内容を概念的に説明する図（その１）
【図４】各処理の内容を概念的に説明する図（その２）
【図５】各処理の内容を概念的に説明する図（その３）
【図６】各処理の内容を概念的に説明する図（その４）
【図７】各処理の内容を概念的に説明する図（その５）
【図８】各処理の内容を概念的に説明する図（その６）
【発明を実施するための形態】
【０００９】
以下、本発明の一実施例について図面を参照して説明する。図２は、垂直多関節型（６軸）ロボットを含む制御システムの構成を示す。このロボット１は、ベース（回転軸）２上に、この場合６軸のアームを有し、そのアームの先端には、図示しないハンド等のツールや、後述するカメラなどが取り付けられる。前記ベース２上には、第１関節Ｊ１を介して第１のアーム３が回転可能に連結されている。この第１のアーム３には、第２関節Ｊ２を介して上方に延びる第２のアーム４の下端部が回転可能に連結され、さらに、この第２のアーム４の先端部には、第３関節Ｊ３を介して第３のアーム５が回転可能に連結されている。
【００１０】
この第３のアーム５の先端には第４関節Ｊ４を介して第４のアーム６が回転可能に連結され、この第４のアーム６の先端には第５関節Ｊ５を介して第５のアーム７が回転可能に連結され、この第５のアーム７には第６関節Ｊ６を介して第６のアーム８が回転可能に連結されている。なお、各関節Ｊ１〜Ｊ６においては、図示しないサーボモータにより各アーム３〜８を回転駆動するようになっている。
【００１１】
ロボット１と制御装置（コントローラ）１１との間は、接続ケーブル１２によって接続されている。これにより、ロボット１の各軸を駆動するサーボモータは、制御装置１１により制御される。パッドコントローラ（入力手段）１３は、例えば横長の本体１４の両端側に、ユーザが左右両手でそれぞれ把持するための把持部１５Ｌ，１５Ｒが設けられており、ユーザが把持部１５Ｌ，１５Ｒを両手で把持した状態で、親指により押圧操作可能なジョイパッド１６Ｌ，１６Ｒが配置されている。また、把持部１５Ｌ，１５Ｒの図中上方には、人差し指により押圧操作可能なボタン１７Ｌ，１７Ｒが配置されている。
【００１２】
ロボット１のアーム８には、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳイメージセンサを用いたカメラ（撮像手段）２１が取り付けられており、そのカメラ２１により撮像対象物２２を含む画像を捉える。制御装置１１には、パーソナルコンピュータ（パソコン）２３がケーブル２４を介して接続されている。
【００１３】
パソコン２３には、メモリやハードディスクなどの記憶装置（記憶手段）が内蔵されている。パッドコントローラ１３は、接続ケーブル１８を経由してパソコン２３に接続され、通信インターフェイスを介してパソコン２３との間で高速のデータ転送を実行するようになっている。ジョイパッド１６Ｌ，１６Ｒ等が操作されて入力された操作信号等の情報は、パッドコントローラ１３からパソコン２３を介して制御装置１１へ送信される。カメラ２１は、ケーブル２５を介してパソコン２３に接続されており、カメラ２１が捉えた画像のデータはパソコン２３に送信されて、ディスプレイ２３Ｄに表示される。
【００１４】
次に、本実施例の作用について図１，図３ないし図８を参照して説明する。図１（ａ）は、ユーザがパッドコントローラ１３を用いて、カメラ２１の撮像距離を維持しつつ、撮像位置（視点位置）を変更するためのティーチングを行う際に、自動的に実行される視点変更処理を示すフローチャートである。図１（ｂ）は、図１（ａ）のステップＳ５における「軌道生成処理」の詳細を示すフローチャートである。そして、図３〜図８は、各処理の内容を概念的に説明するものである。これらの処理は、パソコン２３を中心として実行される。
【００１５】
図１（ａ）において、ユーザが、ボタン１７Ｒをオン操作し続けている間にジョイパッド１６Ｌを何れかの方向の何れかにオン操作すると（ステップＳ０）、ステップＳ１〜Ｓ１０間の視点変更処理ループが実行される。ステップＳ２において、ユーザがパッドコントローラ１３により、ロボット１のアーム８先端に取り付けられたカメラ２１を、どちらの方向にどれだけの速度（角速度）で移動させるかを入力指示する（ステップＳ２）。この時、ユーザは、ジョイパッド１６Ｌをある方向にオン操作した際の傾き量で移動速度を指示し、オン操作している間が前記速度で移動する時間となる。
【００１６】
図３は、カメラ２１が初期位置にある場合に、カメラ２１のレンズを中心とするカメラ座標系ΣＣと、カメラ２１により撮像された画像（参照元画像Ｎ×Ｍを含む）の座標系ΣＩとを示している。尚、以下で符号の後に“（ベクトル）”を付したものは、本来はベクトル表記とすべき符号であることを示している（但し、「ベクトル」と明示しているものは除く）。ユーザは、パソコン２３のディスプレイ２３Ｄを見ながら、画像中のどちらの方向に（画像座標系ΣＩにおける単位方向ベクトルｄＩ）どれくらいの速度（角速度ω）で、どれくらいの間移動させたいかを指示する。尚、カメラ２１が初期位置にある場合の座標は、移動元座標として記憶される（移動元座標設定手段）。
【００１７】
次に、ステップＳ２において指示された速度がゼロでないか否かを判断し（ステップＳ３）、速度がゼロでなければ（ＹＥＳ）、視点を変更するための軌道が生成されているか否かを判断する（ステップＳ４）。軌道が生成されていなければ（ＮＯ）ステップＳ５に移行して、図１（ｂ）に示す軌道生成処理を実行する。軌道生成処理が終了すると「正常終了」か否かを判断し（ステップＳ６）、「正常終了」であれば（ＹＥＳ）生成された軌道に沿ってカメラ２１を、ステップＳ２で指示された移動量に応じて移動させる（ステップＳ７）。この処理は後述するように、カメラ２１の移動軌跡を、仮軌道から目標軌道に乗せるための軌道修正となる。
【００１８】
そして、ユーザにより視点変更処理の終了が指示されると（ステップＳ８，Ｓ９：ＹＥＳ）視点変更処理を終了し、視点変更処理の終了が指示されなければ（ステップＳ９：ＮＯ）ステップＳ１に戻りループを繰り返す。また、ステップＳ３で「ＮＯ」と判断した場合はステップＳ８に移行し、ステップＳ４で「ＹＥＳ」と判断した場合はステップＳ７に移行する。また、ステップＳ５における軌道生成処理が異常終了であった場合は（ステップＳ６：ＮＯ）は、その時点で視点変更処理を終了する。
【００１９】
次に、図１（ｂ）に示す軌道生成処理について説明する。先ず、カメラ２１が初期位置にある状態で画像（１）を撮像する。図３において、カメラ２１の回転中心となる注視点ＰＣ（ベクトル，レンズ中心にあるカメラ座標系ΣＣから見た点，初期状態では未知）は、ΣＩにおける画像中央画素ＯＩ（ベクトル）に投影される点であるとする。初期位置で撮像した画像において、注視点ＰＣが投影された画素の周辺（Ｎ×Ｍ）画素分を注視領域として、その注視領域に属する画素群を参照元画像として登録する（ステップＳ１２）。すなわち、例えばパソコン２３に内蔵されているメモリやハードディスクなどに記憶させる。初期値はＮ＝（画像幅）／４，Ｍ＝（画像高さ）／４として、パッドコントローラ１３のジョイパッド１６Ｒにより注視領域サイズ（倍率）を調整できる。尚、注視点領域は、ボタン１７Ｒがオンされた時点で確定される。
【００２０】
次に、カメラ２１の初期位置における姿勢を維持したまま、ロボット１のアーム３〜８を必要に応じて移動させ、カメラ２１を微小平行移動させる（ステップＳ１３）。ここで、画像座標系ΣＩをカメラ座標系ΣＣに変換する行列をＣＨＩとする。また、カメラ座標系ΣＣを、図２に示すロボット１のベース座標系ΣＢに変換する変換行列をＢＨＣとする。変換行列ＣＨＩはカメラ２１の仕様から既知（あるいは校正済み）であり、変換行列ＢＨＣはロボット１の仕様から既知（あるいは校正済み）であるとする。
【００２１】
カメラ座標系ΣＣの原点をＯｃ（ベクトル）とする。この時、ベース座標系ΣＢから見た画像中央画素
【００２２】
【数１】
と、指示された回転方向によって決まる微小変位点
【００２３】
【数２】
と、レンズ中心
【００２４】
【数３】
の３点から構成される３次元平面△Ｐ０ＢＰ１ＢＰ２Ｂ（動作拘束面）を考え（図４参照）、上記３点（つまりはカメラ２１）を、拘束面△Ｐ０ＢＰ１ＢＰ２Ｂ上に拘束するように、ロボット１を
【００２５】
【数４】
だけ平行移動させる。ここで、Ｓｔは、ベクトルＴＢのノルムが（５）式となるようなものを選択する。
【００２６】
【数５】
図５に示すように、ＤＩＭＧは、校正済みで既知であるカメラ２１の像面距離（レンズ中心から仮想撮像面までの距離）［ｍｍ］，ＤＤＳＰは、カメラ２１の移動後に、注視領域が画像から見切れない許容視差［ｍｍ］（画像中央から−ｄＩ（ベクトル）に引かれる直線上における注視領域端から画像端までの距離），ＤＮＥＡＲは、レンズの仕様から決まる最至近距離［ｍｍ］である。そして（５）式は、注視点が最至近距離ＤＮＥＡＲにあると仮定した際に、画像から注視領域が見切れない移動条件を表す。移動後の位置でカメラ２１により再度画像（２）を撮影させると、その画像データは撮像位置（移動先座標）と共に、登録させる（ステップＳ１４，移動先座標設定手段）。
【００２７】
上記の処理において、カメラ２１を動作拘束面上で平行移動させたので、移動後に撮影された画像中での注視点は、画像座標系ΣＩにおいて
【００２８】
【数６】
で表される線分（エピポーラ線）上に存在する（エピポーラ拘束：図６参照）。この線分上を走査して、各画素位置毎に類似度を計算することで、参照元画像（１）と画像濃淡値が最も類似している画像位置（画像領域）を、例えば正規化相互相関法などを用いて探索する（すなわち、画像特徴量の類似度が一定以上で且つ最大となる画像領域を特定することに対応する）と、移動後の画像座標ΣＩ’から見たその画像位置：対応点ＰＩ（ベクトル）を用いて三角測量法によりＰＣ（ベクトル）を算出する（ステップＳ１５〜Ｓ１８）。尚、画像の類似度について、上記「一定以上」の「一定」を設定する場合は、例えば０．７（類似度７０％）程度とする。
【００２９】
ここで、ベース座標系ΣＢの原点をＯＢ（ベクトル）とし、移動前のカメラ座標系ΣＣから見た画像中心（カメラ２１の像面距離）を
【００３０】
【数７】
移動後のカメラ座標系ΣＣ’から見た対応点を
【００３１】
【数８】
とする。尚、（８）式の右辺第２項ｐＩ（ベクトル）は、前述の通り、エピポーラ線上で走査した対応点を移動後の画像座標ΣＩ’で示す位置ベクトルである。
【００３２】
移動前のカメラ座標系ΣＣから見たロボット１の移動量（カメラ移動距離）を
【００３３】
【数９】
として求めると（カメラ間移動距離計算手段）、注視点ＰＣ（ベクトル）は、三角測量法により（１０）式で算出される（図７参照）。
【００３４】
【数１０】
（１０）式の分母は、「カメラ間視差（注視領域の移動距離）」に対応する（カメラ間視差計算手段，撮像距離計算手段）。
【００３５】
また、移動先のカメラ座標系ΣＣ’から見た注視点ＰＣ’（ベクトル）は、
【００３６】
【数１１】
で算出される。
【００３７】
尚、ステップＳ１６において、参照元画像と画像濃淡値が類似している対応点が見つからない場合は、ディスプレイ２３Ｄにその旨をエラーメッセージとして表示させ（ステップＳ１９）軌道生成処理を終了する（この場合は「異常終了」となる）。また、ステップＳ１８では、ステップＳ１７で算出した注視点ＰＣ’（ベクトル）の距離データを半径とする目標軌道（注視点ＰＣを中心として、カメラ２１が常に注視点方向を向いた状態の円弧軌道）を生成して軌道生成処理を終了する（この場合は「正常終了」となる）。
【００３８】
軌道生成処理を終了すると、前述した図１（ａ）のステップＳ６，Ｓ７が実行される。すなわち、移動元座標を始点とする現在の仮軌道から目標軌道へ、カメラ２１の移動軌道を修正する（移動指令出力手段）。仮軌道上での移動距離は，注視点位置までの距離と比較して微小な量であるから、理想軌道と目標軌道との誤差は無視できるものとする。
【００３９】
以上のように本実施例によれば、ロボット１のティーチングを行う際に、カメラ２１の初期位置で撮像されている画像フレームの中心周りにおいて、画素数Ｎ×Ｍの領域を注視領域として設定し、初期位置の座標を移動元座標として設定する。そして、ユーザにより入力指定された移動方向に対し、注視領域が撮像フレームに収まる範囲内となるように、カメラ２１を、初期位置での姿勢を維持させて入力された移動方向にＴＢ（ベクトル）だけ微小移動させ、移動後の位置座標を移動先座標として設定する。
【００４０】
移動元座標と移動先座標とからカメラ２１の移動距離ＴＣを計算すると、移動先座標で捉えた画像内で、移動元座標で捉えた画像上の注視領域の画像濃淡値が最も類似している画像位置を特定し、その特定された画像領域が示す座標と移動元座標での注視領域が示す座標から、注視領域の移動距離をカメラ間視差｜Ｐ２Ｃ（ベクトル）−Ｐ１Ｃ（ベクトル）｜として計算する。そして、予め保持しているカメラ２１の像面距離，カメラ移動距離，カメラ間視差から、三角測量法でカメラ２１の移動先座標から注視点Ｐｃまでの撮像距離を求め、入力された移動方向と撮像距離とから移動先座標を始点，撮像距離を半径としてカメラ２１が注視点方向を常に向いた状態での目標円弧軌道を計算し、カメラ２１を目標円弧軌道に沿ってユーザにより入力された移動量分だけ移動させるよう、ロボット１に指令を出力する。
【００４１】
すなわち、ユーザは、カメラ２１の視点変更をティーチングするために移動方向並びに移動量を入力指定すれば、その指定に応じて制御装置及びロボットがカメラ２１を移動させる間に、カメラ２１の視点位置から注視点までの撮像距離が自動的に求められる。撮像距離が求められた時点で、視点変更を行うための目標円弧軌道が生成可能となり、直ちに撮像距離を一定に維持した状態での移動に移行することが可能となる。
【００４２】
この場合、撮像距離を計算するためカメラ２１を微小移動させると、当初の理想とする軌道と目標円弧軌道との間にずれを生じるが、前記微小移動の距離は、注視領域が撮像フレーム内に収まる範囲内での移動量であるから、カメラ２１の視点変更を行う上では無視できる。また、最終的な教示点については微調整せざるを得ないので、この程度の誤差はティーチングの過程では無きに等しいと評価できる。したがって、ユーザは、撮像距離を求めるためだけにカメラ２１の視点変更を別個に行う必要がなく、操作負担を軽減することができる。
【００４３】
そして、移動元座標と移動先座標との間における移動開始位置としての差は、ティーチング操作上では無視できる程度に微小であるから、移動先座標を基準にした注視点までの撮像距離を用いて円弧軌道を生成し、カメラ２１を、そのまま軌道上を滑らかに移動させることで、ティーチング操作をシームレスに進行させることができる。
また、注視領域のサイズを、ユーザが設定変更可能とする。すなわち、カメラ２１が撮像する対象の状況によっては、所定領域の当初のサイズが注視点を含む画像の特徴量を適切に抽出するには不適切である場合がある。したがって、撮像対象に応じて所定領域のサイズを適切に設定することができる。
尚、特許請求の範囲における「制御装置」は、上記実施例では制御装置１１及びパソコン２３に対応する。
【００４４】
本発明は上記し、又は図面に記載した実施例にのみ限定されるものではなく、以下のような変形又は拡張が可能である。
注視領域の初期サイズは、Ｎ＝（画像幅）／４，Ｍ＝（画像高さ）／４に限ることなく、適宜変更して良い。また、注視領域のサイズは、予め固定的に設定されていても良い。
移動先座標における画像内について、移動元座標における注視領域の部分画像との画像特徴量の類似度を計算する場合は、正規化相互相関法に限ることなく、その他の手法を用いても良い。
パッドコントローラ１３を制御装置１１に接続して、操作信号を制御装置１１に直接送信すると共に、ケーブル２４を通じてパソコン２３にも操作信号を送信する形を取っても良い。
また、制御装置１１にパソコン２３の機能を統合し、制御装置１１にパッドコントローラ１３，カメラ２１の画像データが接続及び送信され、制御装置１１を中心にして当該システムが構成されていても良い。
また、カメラ２１の画像データを制御装置１１に送信し、制御装置１１を経由し、ケーブル２４を通じてパソコン２３に送信しても良い。
入力手段は、パッドコントローラ１３に限ることなく、例えばジョイスティックコントローラや、ティーチングペンダントなどを用いても良い。
【符号の説明】
【００４５】
図面中、１はロボット、１１は制御装置、１３はパッドコントローラ（入力手段）、２１はカメラ、２２は撮像対象物、２３はパーソナルコンピュータを示す。
【特許請求の範囲】
【請求項１】
アームの手先に配置されるカメラにより撮像対象物を撮像するロボットについて、前記カメラから前記撮像対象物までの距離である撮像距離を維持した状態で、前記カメラによる撮像位置を変化させる撮像距離維持・撮像位置変更ティーチングを実行する制御装置において、
前記カメラをカメラ光軸と直交する方向に移動させるため、ユーザが移動方向の入力及び移動量の入力を行うための入力手段と、
前記カメラの初期位置で撮像されている画像のフレーム中心周りの所定領域を注視領域として設定すると共に、前記初期位置の座標を移動元座標として設定する移動元座標設定手段と、
前記ティーチングを行うことが決定されている場合に、前記入力された移動方向に対し、前記注視領域が撮像フレームに収まる範囲内となるように、前記カメラを、前記初期位置における姿勢は維持したまま、前記入力された移動方向に微小移動させ、移動後の位置座標を移動先座標として設定する移動先座標設定手段と、
前記移動元座標と前記移動先座標とから前記カメラの移動距離を計算するカメラ移動距離計算手段と、
前記移動先座標における画像内において、前記移動元座標における画像上の注視領域からなる部分画像との画像特徴量の類似度を計算し、前記類似度が一定以上で且つ最大となる画像領域を特定し、当該特定された画像領域が示す座標と前記移動元座標における注視領域が示す座標から、注視領域の移動距離をカメラ間視差として計算するカメラ間視差計算手段と、
予め保持している前記カメラの像面距離と、前記カメラ移動距離と、前記カメラ間視差とから、三角測量法により前記カメラの移動元座標から前記撮像対象物までの撮像距離を求める撮像距離計算手段と、
前記入力された移動方向と、前記撮像距離とから、前記移動先座標を始点とし、前記撮像距離を半径としてカメラが注視点方向を常に向いた状態での目標円弧軌道を計算し、前記カメラを前記目標円弧軌道に沿って前記入力された移動量分だけ移動させるよう、前記ロボットに指令を出力する移動指令出力手段とを備えることを特徴とするロボットの制御装置。
【請求項２】
前記注視領域のサイズを設定変更するための領域サイズ設定手段を備えたことを特徴とする請求項１記載のロボットの制御装置。
【請求項３】
アームの手先に配置されるカメラにより撮像対象物を撮像するロボットについて、前記カメラから前記撮像対象物までの距離である撮像距離を維持した状態で、前記カメラによる撮像位置を変化させる撮像距離維持・撮像位置変更をティーチングする方法において、
前記カメラをカメラ光軸と直交する方向に移動させるため、ユーザによって移動方向及び移動量が入力されると、
前記カメラの初期位置で撮像されている画像のフレーム中心周りの所定領域を注視領域として設定すると共に、前記初期位置の座標を移動元座標として設定し、
前記ティーチングを行うことが決定されている場合に、前記入力された移動方向に対し、前記注視領域が撮像フレームに収まる範囲内となるように、前記カメラを、前記初期位置における姿勢は維持したまま、前記入力された移動方向に微小移動させ、移動後の位置座標を移動先座標として設定し、
前記移動元座標と前記移動先座標とから前記カメラの移動距離を計算し、
前記移動先座標における画像内において、前記移動元座標における画像上の注視領域からなる部分画像との画像特徴量の類似度を計算し、前記類似度が一定以上で且つ最大となる画像領域を特定し、当該特定された画像領域が示す座標と前記移動元座標における注視領域が示す座標から、注視領域の移動距離をカメラ間視差として計算し、
予め保持している前記カメラの像面距離と、前記カメラ移動距離と、前記カメラ間視差とから、三角測量法により前記カメラの移動元座標から前記撮像対象物までの撮像距離を求め、
前記入力された移動方向と、前記撮像距離とから、前記移動先座標を始点とし、前記撮像距離を半径としてカメラが注視点方向を常に向いた状態での目標円弧軌道を計算し、前記カメラを前記目標円弧軌道に沿って前記入力された移動量分だけ移動させるよう、前記ロボットに指令を出力することを特徴とするロボットのティーチング方法。
【請求項４】
前記注視領域のサイズが変更可能であることを特徴とする請求項３記載のロボットのティーチング方法。
【請求項１】
アームの手先に配置されるカメラにより撮像対象物を撮像するロボットについて、前記カメラから前記撮像対象物までの距離である撮像距離を維持した状態で、前記カメラによる撮像位置を変化させる撮像距離維持・撮像位置変更ティーチングを実行する制御装置において、
前記カメラをカメラ光軸と直交する方向に移動させるため、ユーザが移動方向の入力及び移動量の入力を行うための入力手段と、
前記カメラの初期位置で撮像されている画像のフレーム中心周りの所定領域を注視領域として設定すると共に、前記初期位置の座標を移動元座標として設定する移動元座標設定手段と、
前記ティーチングを行うことが決定されている場合に、前記入力された移動方向に対し、前記注視領域が撮像フレームに収まる範囲内となるように、前記カメラを、前記初期位置における姿勢は維持したまま、前記入力された移動方向に微小移動させ、移動後の位置座標を移動先座標として設定する移動先座標設定手段と、
前記移動元座標と前記移動先座標とから前記カメラの移動距離を計算するカメラ移動距離計算手段と、
前記移動先座標における画像内において、前記移動元座標における画像上の注視領域からなる部分画像との画像特徴量の類似度を計算し、前記類似度が一定以上で且つ最大となる画像領域を特定し、当該特定された画像領域が示す座標と前記移動元座標における注視領域が示す座標から、注視領域の移動距離をカメラ間視差として計算するカメラ間視差計算手段と、
予め保持している前記カメラの像面距離と、前記カメラ移動距離と、前記カメラ間視差とから、三角測量法により前記カメラの移動元座標から前記撮像対象物までの撮像距離を求める撮像距離計算手段と、
前記入力された移動方向と、前記撮像距離とから、前記移動先座標を始点とし、前記撮像距離を半径としてカメラが注視点方向を常に向いた状態での目標円弧軌道を計算し、前記カメラを前記目標円弧軌道に沿って前記入力された移動量分だけ移動させるよう、前記ロボットに指令を出力する移動指令出力手段とを備えることを特徴とするロボットの制御装置。
【請求項２】
前記注視領域のサイズを設定変更するための領域サイズ設定手段を備えたことを特徴とする請求項１記載のロボットの制御装置。
【請求項３】
アームの手先に配置されるカメラにより撮像対象物を撮像するロボットについて、前記カメラから前記撮像対象物までの距離である撮像距離を維持した状態で、前記カメラによる撮像位置を変化させる撮像距離維持・撮像位置変更をティーチングする方法において、
前記カメラをカメラ光軸と直交する方向に移動させるため、ユーザによって移動方向及び移動量が入力されると、
前記カメラの初期位置で撮像されている画像のフレーム中心周りの所定領域を注視領域として設定すると共に、前記初期位置の座標を移動元座標として設定し、
前記ティーチングを行うことが決定されている場合に、前記入力された移動方向に対し、前記注視領域が撮像フレームに収まる範囲内となるように、前記カメラを、前記初期位置における姿勢は維持したまま、前記入力された移動方向に微小移動させ、移動後の位置座標を移動先座標として設定し、
前記移動元座標と前記移動先座標とから前記カメラの移動距離を計算し、
前記移動先座標における画像内において、前記移動元座標における画像上の注視領域からなる部分画像との画像特徴量の類似度を計算し、前記類似度が一定以上で且つ最大となる画像領域を特定し、当該特定された画像領域が示す座標と前記移動元座標における注視領域が示す座標から、注視領域の移動距離をカメラ間視差として計算し、
予め保持している前記カメラの像面距離と、前記カメラ移動距離と、前記カメラ間視差とから、三角測量法により前記カメラの移動元座標から前記撮像対象物までの撮像距離を求め、
前記入力された移動方向と、前記撮像距離とから、前記移動先座標を始点とし、前記撮像距離を半径としてカメラが注視点方向を常に向いた状態での目標円弧軌道を計算し、前記カメラを前記目標円弧軌道に沿って前記入力された移動量分だけ移動させるよう、前記ロボットに指令を出力することを特徴とするロボットのティーチング方法。
【請求項４】
前記注視領域のサイズが変更可能であることを特徴とする請求項３記載のロボットのティーチング方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−４１９９０（Ｐ２０１１−４１９９０Ａ）
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願番号】特願２００９−１９００２８（Ｐ２００９−１９００２８）
【出願日】平成２１年８月１９日（２００９．８．１９）
【出願人】（５０１４２８５４５）株式会社デンソーウェーブ (1,155)
【Ｆターム（参考）】
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願日】平成２１年８月１９日（２００９．８．１９）
【出願人】（５０１４２８５４５）株式会社デンソーウェーブ (1,155)
【Ｆターム（参考）】
[ Back to top ]