把持ロボットおよび把持方法
【課題】少ない計算コストで、確実かつ完全に、対象物を把持する技術を提供する。
【解決手段】把持ロボットは、アーム部と前記アーム部に設けられた１対のハンド部と前記１対のハンド部のそれぞれに設けられた指部とを有し、台上の対象物を把持する把持部と、前記把持部に設けられ、前記対象物を撮像するカメラ部と、前記把持部および前記カメラ部を制御する制御部とを備え、前記制御部は、前記カメラ部によって撮像された撮像画像内における重力方向を特定し、前記撮像画像内における重力方向に基づいて前記撮像画像内において前記対象物と前記台との境界部を検出し、前記境界部の位置に基づいて前記台と前記対象物との間に前記１対のハンド部のそれぞれの指部を挿入するように前記把持部を制御する。
【解決手段】把持ロボットは、アーム部と前記アーム部に設けられた１対のハンド部と前記１対のハンド部のそれぞれに設けられた指部とを有し、台上の対象物を把持する把持部と、前記把持部に設けられ、前記対象物を撮像するカメラ部と、前記把持部および前記カメラ部を制御する制御部とを備え、前記制御部は、前記カメラ部によって撮像された撮像画像内における重力方向を特定し、前記撮像画像内における重力方向に基づいて前記撮像画像内において前記対象物と前記台との境界部を検出し、前記境界部の位置に基づいて前記台と前記対象物との間に前記１対のハンド部のそれぞれの指部を挿入するように前記把持部を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、把持ロボットおよび把持方法に関するものである。
【背景技術】
【０００２】
従来、ロボットによる対象物（ワーク）の把持方法は、ロボットの指先または手首などに力覚センサ、触覚センサなどのセンサ部を配置し、センサ部からの出力情報に基づいて、対象物を把持するという方法である（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−５７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の把持方法は、特許文献１にもあるように、種々のセンサ部からの出力情報に加え、対象物と指先との間の摩擦力、対象物の重量、ハンドの移動速度などを考慮した複雑な運動方程式を解く必要がある。つまり、一般に、従来の把持方法は、例えば、インピーダンス制御、位置制御、力制御などの複雑な制御を必要とするため、計算コスト（計算リソース、計算時間）が膨大であるという問題がある。
また、計算時間が長いために、把持制御に遅れが生じて対象物の把持が不確実になるなどした場合、対象物（特に重たい対象物）が落下してしまうというリスクもある。
【０００５】
また、従来の把持態様は、対象物の側面を把持する方法であるが、対象物が滑り落ちない程度の強い力で側面を把持する必要があるため、安全に対象物を把持できないという心配もある。例えば、アルミニウム製の筒状の対象物などのような滑り易く柔らかい対象物は、側面の把持によって、変形してしまう恐れやキズなどがついてしまう恐れがある。
【０００６】
本発明はこのような事情に鑑みてなされたものであって、少ない計算コストで、確実かつ完全に、対象物を把持する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明の一態様である把持ロボットは、アーム部と前記アーム部に設けられた１対のハンド部と前記１対のハンド部のそれぞれに設けられた指部とを有し、台上の対象物を把持する把持部と、前記把持部に設けられ、前記対象物を撮像するカメラ部と、前記把持部および前記カメラ部を制御する制御部とを備え、前記制御部は、前記カメラ部によって撮像された撮像画像内における重力方向を特定し、前記撮像画像内における重力方向に基づいて前記撮像画像内において前記対象物と前記台との境界部を検出し、前記境界部の位置に基づいて前記台と前記対象物との間に前記１対のハンド部のそれぞれの指部を挿入するように前記把持部を制御することを特徴とする。
上記構成によれば、複雑な運動方程式（対象物と指部との間の摩擦力、対象物の重量、ハンド部の移動速度などを考慮した運動方程式）を解く必要がないため、計算コストを削減できる。従って、少ない計算コストで対象物を把持することができる。更に、計算コストが少ないため、把持制御に遅れが生じる可能性も低く、対象物を確実に把持することができる。また、台と前記対象物との間に指部を挿入し、対象物を下から支えて把持する把持態様であるため、対象物を確実に把持することができる。従って、例えば、対象物が落下するリスクなどが低減する。更に、対象物を下から支えて把持する把持態様であって、対象物の側面を強い力で把持する把持態様でないため、安全に対象物を把持することができる。
つまり、上記構成によれば、力覚センサからの出力情報などを利用した複雑な計算を極力減らすとともに、対象物を下から支えて把持する把持態様としているため、少ない計算コストで、確実かつ完全に、対象物を把持することができる。
【０００８】
上記把持ロボットにおいて、前記制御部は、前記撮像画像の撮像時における前記把持部の制御情報に基づいて前記撮像画像内における重力方向を特定するようにしてもよい。
上記構成によれば、元々備える情報に基づいて、簡便に、重力方向を特定することができる。
【０００９】
上記把持ロボットは、前記把持部または前記カメラ部に重力の方向を測定または算出できるセンサ部を更に備え、前記制御部は、前記撮像画像の撮像時における前記センサ部からの出力情報に基づいて前記撮像画像内における重力方向を特定するようにしてもよい。
上記構成によれば、把持部またはカメラ部に重力の方向を測定または算出できるセンサ部として、例えば、ジャイロセンサ、磁気センサを用いても、重力方向を特定することができる。
【００１０】
上記把持ロボットにおいて、前記制御部は、前記境界部の位置に基づいて、前記台と前記対象物との間に前記１対のハンド部のそれぞれの指部を挿入するとともに、前記対象物の側面に前記１対のハンド部のそれぞれを押し当てるように前記把持部を制御するようにしてもよい。
上記構成によれば、より確実かつより完全に対象物を把持することができる。
【００１１】
上記問題を解決するために、本発明の他の態様である把持方法は、アーム部と前記アーム部に設けられた１対のハンド部と前記１対のハンド部のそれぞれに設けられた指部とを用いて、台上の対象物を把持する把持方法であって、前記対象物を撮像する手段と、前記撮像手段によって撮像された撮像画像内における重力方向を特定する手段と、前記撮像画像内における重力方向に基づいて前記撮像画像内において前記対象物と前記台との境界部を検出する手段と、前記境界部の位置に基づいて前記台と前記対象物との間に前記１対のハンド部のそれぞれの指部を挿入するように前記把持手段を制御する手段とを有することを特徴とする。
上記構成によれば、上記把持ロボットと同様、力覚センサからの出力情報などを利用した複雑な計算を極力減らすとともに、対象物を下から支えて把持する把持態様としているため、少ない計算コストで、確実かつ完全に、対象物を把持することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る把持ロボットの概略斜視図である。
【図２】制御部の機能を示す機能ブロック図の一例である。
【図３】把持ロボットの把持動作を説明するための説明図である。
【図４】把持ロボットの把持動作を説明するための説明図である。
【図５】把持ロボットの動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について図面を参照して詳細に説明する。図１は、本発明の実施形態に係る把持ロボット１の概略斜視図である。把持ロボット１は、図１に示すように、固定部１０、アーム部２０、ハンド部３０、指部４０およびカメラ部５０を備える。アーム部２０、ハンド部３０および指部４０は把持部を構成する。
【００１４】
固定部１０は、例えば床、壁、天井、移動可能な台車の上などに固定される。固定部１０は、内部に、制御部１１（破線にて図示）を備える。制御部１１は、把持部（アーム部２０、ハンド部３０、指部４０）およびカメラ部５０を制御する。制御部１１の詳細は後述する。
【００１５】
アーム部２０は、第１フレーム２１、第２フレーム２２、第３フレーム２３、第４フレーム２４および第５フレーム２５から構成される。
第１フレーム２１は、回転軸を介して、固定部１０に接続する。第２フレーム２２は、回転軸を介して、第１フレーム２１および第３フレーム２３に接続する。第３フレーム２３は、回転軸を介して、第２フレーム２２および第４フレーム２４に接続する。第４フレーム２４は、回転軸を介して、第３フレーム２３および第５フレーム２５に接続する。第５フレーム２５は、回転軸を介して、第４フレーム２４に接続する。アーム部２０は、制御部１１の制御によって、各フレーム２１〜２５が各回転軸を中心に複合的に回転し、動く。
【００１６】
アーム部２０の第５フレーム２５には、１対のハンド部３０が設けられている。ハンド部３０は、第１フレーム３１、第２フレーム３２、第３フレーム３３および押し当て部３４から構成される。第１フレーム３１は、回転軸を介して、アーム部２０の第５フレーム２５に接続する。第２フレーム３２は、回転軸を介して、第１フレーム３１および第３フレーム３３に接続する。第３フレーム３３は、回転軸を介して、第２フレーム３２に接続する。押し当て部３４は、第３フレーム３３の先端に接続する。ハンド部３０は、制御部１１の制御によって、各フレーム３１〜３３が各回転軸を中心に複合的に回転し、動く。
【００１７】
それぞれのハンド部３０の押し当て部３４には、指部４０が設けられている。指部４０は、第１フレーム４１、第２フレーム４２および第３フレーム４３から構成される。第１フレーム４１は、回転軸を介して、ハンド部３０の押し当て部３４に接続する。第２フレーム４２は、回転軸を介して、第１フレーム４１および第３フレーム４３に接続する。第３フレーム４３は、回転軸を介して、第２フレーム４２に接続する。指部４０は、制御部１１の制御によって、各フレーム４１〜４３が各回転軸を中心に複合的に回転し、動く。なお、指部４０は、直接的に、対象物を把持する部材である。
【００１８】
また、アーム部２０の第５フレーム２５には、カメラ部５０が設けられている。カメラ部５０は、制御部１１の制御によって、対象物を撮像する。
【００１９】
続いて、制御部１１について説明する。図２（ａ）は、制御部１１の機能を示す機能ブロック図の一例である。図３および図４は、把持ロボット１の把持動作を説明するための説明図である。なお、図２（ｂ）については後述する。
【００２０】
制御部１１は、図２（ａ）に示すように、カメラ部制御部１００、撮像画像取得部１１０、重力方向特定部１２０、境界部検出部１３０および把持部制御部１４０を有する。
【００２１】
カメラ部制御部１００は、カメラ部５０による撮像を制御する。撮像画像取得部１１０は、カメラ部５０によって撮像された撮像画像を取得する。例えば、撮像画像取得部１１０は、図３（ａ）に示すように、台Ｄ上の対象物Ｗが撮像された撮像画像Ｐを取得する。
【００２２】
重力方向特定部１２０は、撮像画像取得部１１０によって取得された撮像画像内における重力方向を特定する。具体的には、重力方向特定部１２０は、撮像画像の撮像時における把持部制御部１４０の制御情報（把持部の位置および姿勢を規定している情報）に基づいて、撮像画像内における重力方向を特定する。より詳細には、重力方向特定部１２０は、第１フレーム２１、第２フレーム２２、第３フレーム２３、第４フレーム２４および第５フレーム２５の制御情報を元に、同次変換行列を用いて、カメラ部５０を設けている第５フレーム２５の位置および姿勢、即ち、カメラ部５０自身の位置および姿勢を求め、カメラ部５０の位置および姿勢から、撮像画像内における重力方向を特定する。例えば、撮像画像取得部１１０は、図３（ｂ）に示すように、撮像画像Ｐ内における重力方向Ｇを特定する。なお、説明の便宜上、図３（ｂ）および図３（ｃ）では、重力方向Ｐが真下になるように、撮像画像Ｐを回転させている。
【００２３】
境界部検出部１３０は、撮像画像取得部１１０によって特定された撮像画像内における重力方向に基づいて当該撮像画像内において対象物と台との境界部を検出する。例えば、境界部検出部１３０は、重力方向Ｇに基づいて、図３（ｃ）に示すように、対象物Ｗと台Ｄとの境界部である破線部分Ｃを検出する。なお、図３（ｃ）に示す各点線部分は、対象物Ｗと背景との境界部であるが、境界部検出部１３０は、重力方向Ｇから、対象物Ｗと台Ｄとの境界部としては検出しない。
【００２４】
把持部制御部１４０は、把持部（アーム部２０、ハンド部３０、指部４０）を制御する。例えば、把持部制御部１４０は、対象物の撮像位置にカメラ部５０を移動させるべく、把持部を移動させる。
【００２５】
また、把持部制御部１４０は、対象物を把持すべく、把持部を移動させる。具体的には、把持部制御部１４０は、境界部検出部１３０によって検出された境界部の位置に基づいて、台と対象物との間に１対のハンド部３０のそれぞれの指部４０を挿入するように把持部を制御する。より詳細には、把持部制御部１４０は、まず、図３（ｃ）に示すように、対象物Ｗと台Ｄとの境界部である破線Ｃ上の点であって点Ａ（図中で４角形にて示す点）の真下にある点Ｂ（図中で三角形にて示す点）を把持点として抽出する。点Ａは、把持点Ｂを抽出するための基準点であって、予め登録したマークまたはパターン、または、画像処理により得られる特徴量から求められる点である。把持点Ｂを抽出した把持部制御部１４０は、把持点Ｂに指部４０を挿入するように把持部を制御する。
【００２６】
これにより、把持ロボット１は、例えば、図４（ａ）に示すように、対象物Ｗを下から支える。図４（ａ）に示す例では、把持ロボット１は、対象物Ｗの底面を指部４０の第２フレーム４２および第３フレーム４３で支える。なお、図４では、説明の便宜上、対象物の断面図を用いている。例えば、図４（ａ）（ｂ）における面Ｓは、図３（ｃ）の基準点Ａおよび把持点Ｂを通る切断面（一点鎖線にて示す面）にて対象物Ｗを切断した断面である。また、図４（ｃ）は、比較の為に図示した従来の把持態様である。従来の把持態様では、図４（ｃ）に示すように、対象物Ｗが滑り落ちない程度の強い力で対象物Ｗの側面を把持する方法であるため、対象物Ｗが変形などする恐れがあったが、図４（ａ）に示す把持態様では、重量の負荷のほとんどが、底面を支える第２フレーム４２および第３フレーム４３にかかるため、側面からの力は対象物Ｗに接触する程度でよく、対象物Ｗが変形などする恐れがない。
【００２７】
また、把持部制御部１４０は、境界部検出部１３０によって検出された境界部の位置に基づいて、台と対象物との間に１対のハンド部３０のそれぞれの指部４０を挿入するとともに、対象物の側面に１対のハンド部３０のそれぞれを押し当てるように把持部を制御してもよい。
【００２８】
これにより、把持ロボット１は、例えば、図４（ｂ）に示すように、対象物Ｗを下から支えつつ、側面を軽く押さえつけて把持する。図４（ｂ）に示す例では、把持ロボット１は、対象物Ｗの底面を指部４０の第２フレーム４２および第３フレーム４３で支えつつ、対象物Ｗの側面をハンド部３０の押し当て部３４で支持している。なお、押し当て部３４が支持する点は、例えば、図４（ｂ）に示すように、側面上の基準点Ａであってもよい。
【００２９】
続いて、フローチャートを用いて把持ロボット１の動作を説明する。図５は、把持ロボット１の動作の一例を示すフローチャートである。なお、把持ロボット１は、対象物の把持点を抽出するための、当該対象物の基準点に係る情報（例えば、登録マーク、テンプレート画像など）を保持しているものとする。
【００３０】
把持部制御部１４０は、対象物を撮像する撮像位置にカメラ部５０を移動させる（ステップＳ１０）。カメラ部制御部１００は、カメラ部５０に対象物を撮像させる。撮像画像取得部１１０は、カメラ部５０によって撮像された撮像画像を取得する（ステップＳ１２）。
【００３１】
把持部制御部１４０は、当該対象物の基準点に係る情報（例えば、登録マーク、テンプレート画像など）を読み出して、画像処理（例えば、パターンマッチング）によって、対象物の基準点の検出を試みる、即ち、基準点をサーチする（ステップＳ１４）。
【００３２】
把持部制御部１４０によって基準点が検出されなかった場合（ステップＳ１６：Ｎｏ）、対象物を他の撮像位置から撮像し、再度、基準点を検出する（ステップＳ１０〜ステップＳ１６）。
【００３３】
把持部制御部１４０によって基準点が検出された場合（ステップＳ１６：Ｙｅｓ）、重力方向特定部１２０は、同次変換行列を用いて、カメラ部５０の位置および姿勢を算出する（ステップＳ１８）。カメラ部５０の位置および姿勢を算出した重力方向特定部１２０は、撮像画像内における重力方向を特定する（ステップＳ２０）。
【００３４】
境界部検出部１３０は、特定された撮像画像内における重力方向に基づいて当該撮像画像内において対象物と台との境界部を検出する（ステップＳ２２）。把持部制御部１４０は、境界部上の点であって基準点の真下の点である把持点の抽出を試みる、即ち、把持点をサーチする（ステップＳ２４）。
【００３５】
把持部制御部１４０によって把持点が抽出されなかった場合（ステップＳ２６：Ｎｏ）、対象物を他の撮像位置から撮像し、再度、把持点を抽出する（ステップＳ１０〜ステップＳ２６）。
【００３６】
把持部制御部１４０によって把持点が抽出された場合（ステップＳ１６：Ｙｅｓ）、把持部制御部１４０は、対象物の底面に指部を挿入し、側面にアーム部を添えるように把持部を移動し（ステップＳ２８）、対象物を持ち上げるように把持部を制御する（ステップＳ３０）。そして、本フローチャートは終了する。
【００３７】
以上、本発明の実施形態に係る把持ロボットによれば、複雑な運動方程式（対象物と指部との間の摩擦力、対象物の重量、ハンド部の移動速度などを考慮した運動方程式）を解く必要がないため、計算コストを削減できる。従って、少ない計算コストで対象物を把持することができる。更に、計算コストが少ないため、把持制御に遅れが生じる可能性も低く、対象物を確実に把持することができる。また、台と前記対象物との間に指部を挿入し、対象物を下から支えて把持する把持態様であるため、対象物を確実に把持することができる。従って、例えば、対象物が落下するリスクなどが低減する。更に、対象物を下から支えて把持する把持態様であって、対象物の側面を強い力で把持する把持態様でないため、安全に対象物を把持することができる。つまり、上記構成によれば、力覚センサからの出力情報などを利用した複雑な計算を極力減らすとともに、対象物を下から支えて把持する把持態様としているため、少ない計算コストで、確実かつ完全に、対象物を把持することができる
【００３８】
上記実施形態においては、図４（ａ）に示すように対象物の底面を指部４０で支える把持態様と、図４（ｂ）に示すように対象物の底面を指部４０で支えつつ、対象物の側面をハンド部３０で押さえる把持態様について説明したが、把持態様はこれに限定されず他の把持態様であってもよい。例えば、対象物の底面をある指部で支えつつ、対象物の側面を他の指部で押さえる把持態様としてもよい。
【００３９】
また、上記実施形態においては、撮像画像内における重力方向を特定する手法として、撮像画像の撮像時における把持部の制御情報に基づいて重力方向を特定する手法を説明したが、重力方向を特定する手法はこれに限定されず他の手法であってもよい。例えば、重力の方向を測定または算出できるセンサ部からの出力情報に基づいて撮像画像内における重力方向を特定してもよい。
【００４０】
センサ部からの出力情報に基づいて撮像画像内における重力方向を特定する場合、把持ロボット１は、把持部またはカメラ部５０に重力の方向を測定または算出できるセンサ部（例えば、ジャイロセンサ、磁気センサ）を更に備える。また、把持ロボット１の固定部１０は、内部に、制御部１１と異なる制御部１２を備える。図２（ｂ）は、制御部１２の機能を示す機能ブロック図の一例である。
【００４１】
図２（ｂ）において、重力方法特定部１２２は、撮像画像の撮像時におけるセンサ部（例えば、ジャイロセンサ、磁気センサ）からの出力情報に基づいて撮像画像内における重力方向を特定する。つまり、図５に示すフローチャートのステップＳ１８およびステップＳ２０に代えて、重力方向特定部１２２は、センサ部（例えば、ジャイロセンサ、磁気センサ）からの出力情報に基づいて撮像画像内における重力方向を特定する。なお、図２（ｂ）において、図２（ａ）内の部材と同一符号を付した部材は、図２（ａ）内の各同一符号の部材と同一であるため、説明を省略する。
【００４２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００４３】
例えば、アーム部２０、ハンド部３０、指部４０のフレームの数は、図１に示す数に限られるものではない。また、カメラ部５０は、アーム部２０ではなく、ハンド部３０、指部４０に設けてもよい。
【符号の説明】
【００４４】
１…把持ロボット １０…固定部 １１、１２…制御部 ２０…アーム部 ３０…ハンド部 ４０…指部 ５０…カメラ部 １００…カメラ部制御部 １１０…撮像画像取得部 １２０、１２２…重力方向特定部 １３０…境界部検出部 １４０…把持部制御部
【技術分野】
【０００１】
本発明は、把持ロボットおよび把持方法に関するものである。
【背景技術】
【０００２】
従来、ロボットによる対象物（ワーク）の把持方法は、ロボットの指先または手首などに力覚センサ、触覚センサなどのセンサ部を配置し、センサ部からの出力情報に基づいて、対象物を把持するという方法である（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−５７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の把持方法は、特許文献１にもあるように、種々のセンサ部からの出力情報に加え、対象物と指先との間の摩擦力、対象物の重量、ハンドの移動速度などを考慮した複雑な運動方程式を解く必要がある。つまり、一般に、従来の把持方法は、例えば、インピーダンス制御、位置制御、力制御などの複雑な制御を必要とするため、計算コスト（計算リソース、計算時間）が膨大であるという問題がある。
また、計算時間が長いために、把持制御に遅れが生じて対象物の把持が不確実になるなどした場合、対象物（特に重たい対象物）が落下してしまうというリスクもある。
【０００５】
また、従来の把持態様は、対象物の側面を把持する方法であるが、対象物が滑り落ちない程度の強い力で側面を把持する必要があるため、安全に対象物を把持できないという心配もある。例えば、アルミニウム製の筒状の対象物などのような滑り易く柔らかい対象物は、側面の把持によって、変形してしまう恐れやキズなどがついてしまう恐れがある。
【０００６】
本発明はこのような事情に鑑みてなされたものであって、少ない計算コストで、確実かつ完全に、対象物を把持する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明の一態様である把持ロボットは、アーム部と前記アーム部に設けられた１対のハンド部と前記１対のハンド部のそれぞれに設けられた指部とを有し、台上の対象物を把持する把持部と、前記把持部に設けられ、前記対象物を撮像するカメラ部と、前記把持部および前記カメラ部を制御する制御部とを備え、前記制御部は、前記カメラ部によって撮像された撮像画像内における重力方向を特定し、前記撮像画像内における重力方向に基づいて前記撮像画像内において前記対象物と前記台との境界部を検出し、前記境界部の位置に基づいて前記台と前記対象物との間に前記１対のハンド部のそれぞれの指部を挿入するように前記把持部を制御することを特徴とする。
上記構成によれば、複雑な運動方程式（対象物と指部との間の摩擦力、対象物の重量、ハンド部の移動速度などを考慮した運動方程式）を解く必要がないため、計算コストを削減できる。従って、少ない計算コストで対象物を把持することができる。更に、計算コストが少ないため、把持制御に遅れが生じる可能性も低く、対象物を確実に把持することができる。また、台と前記対象物との間に指部を挿入し、対象物を下から支えて把持する把持態様であるため、対象物を確実に把持することができる。従って、例えば、対象物が落下するリスクなどが低減する。更に、対象物を下から支えて把持する把持態様であって、対象物の側面を強い力で把持する把持態様でないため、安全に対象物を把持することができる。
つまり、上記構成によれば、力覚センサからの出力情報などを利用した複雑な計算を極力減らすとともに、対象物を下から支えて把持する把持態様としているため、少ない計算コストで、確実かつ完全に、対象物を把持することができる。
【０００８】
上記把持ロボットにおいて、前記制御部は、前記撮像画像の撮像時における前記把持部の制御情報に基づいて前記撮像画像内における重力方向を特定するようにしてもよい。
上記構成によれば、元々備える情報に基づいて、簡便に、重力方向を特定することができる。
【０００９】
上記把持ロボットは、前記把持部または前記カメラ部に重力の方向を測定または算出できるセンサ部を更に備え、前記制御部は、前記撮像画像の撮像時における前記センサ部からの出力情報に基づいて前記撮像画像内における重力方向を特定するようにしてもよい。
上記構成によれば、把持部またはカメラ部に重力の方向を測定または算出できるセンサ部として、例えば、ジャイロセンサ、磁気センサを用いても、重力方向を特定することができる。
【００１０】
上記把持ロボットにおいて、前記制御部は、前記境界部の位置に基づいて、前記台と前記対象物との間に前記１対のハンド部のそれぞれの指部を挿入するとともに、前記対象物の側面に前記１対のハンド部のそれぞれを押し当てるように前記把持部を制御するようにしてもよい。
上記構成によれば、より確実かつより完全に対象物を把持することができる。
【００１１】
上記問題を解決するために、本発明の他の態様である把持方法は、アーム部と前記アーム部に設けられた１対のハンド部と前記１対のハンド部のそれぞれに設けられた指部とを用いて、台上の対象物を把持する把持方法であって、前記対象物を撮像する手段と、前記撮像手段によって撮像された撮像画像内における重力方向を特定する手段と、前記撮像画像内における重力方向に基づいて前記撮像画像内において前記対象物と前記台との境界部を検出する手段と、前記境界部の位置に基づいて前記台と前記対象物との間に前記１対のハンド部のそれぞれの指部を挿入するように前記把持手段を制御する手段とを有することを特徴とする。
上記構成によれば、上記把持ロボットと同様、力覚センサからの出力情報などを利用した複雑な計算を極力減らすとともに、対象物を下から支えて把持する把持態様としているため、少ない計算コストで、確実かつ完全に、対象物を把持することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る把持ロボットの概略斜視図である。
【図２】制御部の機能を示す機能ブロック図の一例である。
【図３】把持ロボットの把持動作を説明するための説明図である。
【図４】把持ロボットの把持動作を説明するための説明図である。
【図５】把持ロボットの動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について図面を参照して詳細に説明する。図１は、本発明の実施形態に係る把持ロボット１の概略斜視図である。把持ロボット１は、図１に示すように、固定部１０、アーム部２０、ハンド部３０、指部４０およびカメラ部５０を備える。アーム部２０、ハンド部３０および指部４０は把持部を構成する。
【００１４】
固定部１０は、例えば床、壁、天井、移動可能な台車の上などに固定される。固定部１０は、内部に、制御部１１（破線にて図示）を備える。制御部１１は、把持部（アーム部２０、ハンド部３０、指部４０）およびカメラ部５０を制御する。制御部１１の詳細は後述する。
【００１５】
アーム部２０は、第１フレーム２１、第２フレーム２２、第３フレーム２３、第４フレーム２４および第５フレーム２５から構成される。
第１フレーム２１は、回転軸を介して、固定部１０に接続する。第２フレーム２２は、回転軸を介して、第１フレーム２１および第３フレーム２３に接続する。第３フレーム２３は、回転軸を介して、第２フレーム２２および第４フレーム２４に接続する。第４フレーム２４は、回転軸を介して、第３フレーム２３および第５フレーム２５に接続する。第５フレーム２５は、回転軸を介して、第４フレーム２４に接続する。アーム部２０は、制御部１１の制御によって、各フレーム２１〜２５が各回転軸を中心に複合的に回転し、動く。
【００１６】
アーム部２０の第５フレーム２５には、１対のハンド部３０が設けられている。ハンド部３０は、第１フレーム３１、第２フレーム３２、第３フレーム３３および押し当て部３４から構成される。第１フレーム３１は、回転軸を介して、アーム部２０の第５フレーム２５に接続する。第２フレーム３２は、回転軸を介して、第１フレーム３１および第３フレーム３３に接続する。第３フレーム３３は、回転軸を介して、第２フレーム３２に接続する。押し当て部３４は、第３フレーム３３の先端に接続する。ハンド部３０は、制御部１１の制御によって、各フレーム３１〜３３が各回転軸を中心に複合的に回転し、動く。
【００１７】
それぞれのハンド部３０の押し当て部３４には、指部４０が設けられている。指部４０は、第１フレーム４１、第２フレーム４２および第３フレーム４３から構成される。第１フレーム４１は、回転軸を介して、ハンド部３０の押し当て部３４に接続する。第２フレーム４２は、回転軸を介して、第１フレーム４１および第３フレーム４３に接続する。第３フレーム４３は、回転軸を介して、第２フレーム４２に接続する。指部４０は、制御部１１の制御によって、各フレーム４１〜４３が各回転軸を中心に複合的に回転し、動く。なお、指部４０は、直接的に、対象物を把持する部材である。
【００１８】
また、アーム部２０の第５フレーム２５には、カメラ部５０が設けられている。カメラ部５０は、制御部１１の制御によって、対象物を撮像する。
【００１９】
続いて、制御部１１について説明する。図２（ａ）は、制御部１１の機能を示す機能ブロック図の一例である。図３および図４は、把持ロボット１の把持動作を説明するための説明図である。なお、図２（ｂ）については後述する。
【００２０】
制御部１１は、図２（ａ）に示すように、カメラ部制御部１００、撮像画像取得部１１０、重力方向特定部１２０、境界部検出部１３０および把持部制御部１４０を有する。
【００２１】
カメラ部制御部１００は、カメラ部５０による撮像を制御する。撮像画像取得部１１０は、カメラ部５０によって撮像された撮像画像を取得する。例えば、撮像画像取得部１１０は、図３（ａ）に示すように、台Ｄ上の対象物Ｗが撮像された撮像画像Ｐを取得する。
【００２２】
重力方向特定部１２０は、撮像画像取得部１１０によって取得された撮像画像内における重力方向を特定する。具体的には、重力方向特定部１２０は、撮像画像の撮像時における把持部制御部１４０の制御情報（把持部の位置および姿勢を規定している情報）に基づいて、撮像画像内における重力方向を特定する。より詳細には、重力方向特定部１２０は、第１フレーム２１、第２フレーム２２、第３フレーム２３、第４フレーム２４および第５フレーム２５の制御情報を元に、同次変換行列を用いて、カメラ部５０を設けている第５フレーム２５の位置および姿勢、即ち、カメラ部５０自身の位置および姿勢を求め、カメラ部５０の位置および姿勢から、撮像画像内における重力方向を特定する。例えば、撮像画像取得部１１０は、図３（ｂ）に示すように、撮像画像Ｐ内における重力方向Ｇを特定する。なお、説明の便宜上、図３（ｂ）および図３（ｃ）では、重力方向Ｐが真下になるように、撮像画像Ｐを回転させている。
【００２３】
境界部検出部１３０は、撮像画像取得部１１０によって特定された撮像画像内における重力方向に基づいて当該撮像画像内において対象物と台との境界部を検出する。例えば、境界部検出部１３０は、重力方向Ｇに基づいて、図３（ｃ）に示すように、対象物Ｗと台Ｄとの境界部である破線部分Ｃを検出する。なお、図３（ｃ）に示す各点線部分は、対象物Ｗと背景との境界部であるが、境界部検出部１３０は、重力方向Ｇから、対象物Ｗと台Ｄとの境界部としては検出しない。
【００２４】
把持部制御部１４０は、把持部（アーム部２０、ハンド部３０、指部４０）を制御する。例えば、把持部制御部１４０は、対象物の撮像位置にカメラ部５０を移動させるべく、把持部を移動させる。
【００２５】
また、把持部制御部１４０は、対象物を把持すべく、把持部を移動させる。具体的には、把持部制御部１４０は、境界部検出部１３０によって検出された境界部の位置に基づいて、台と対象物との間に１対のハンド部３０のそれぞれの指部４０を挿入するように把持部を制御する。より詳細には、把持部制御部１４０は、まず、図３（ｃ）に示すように、対象物Ｗと台Ｄとの境界部である破線Ｃ上の点であって点Ａ（図中で４角形にて示す点）の真下にある点Ｂ（図中で三角形にて示す点）を把持点として抽出する。点Ａは、把持点Ｂを抽出するための基準点であって、予め登録したマークまたはパターン、または、画像処理により得られる特徴量から求められる点である。把持点Ｂを抽出した把持部制御部１４０は、把持点Ｂに指部４０を挿入するように把持部を制御する。
【００２６】
これにより、把持ロボット１は、例えば、図４（ａ）に示すように、対象物Ｗを下から支える。図４（ａ）に示す例では、把持ロボット１は、対象物Ｗの底面を指部４０の第２フレーム４２および第３フレーム４３で支える。なお、図４では、説明の便宜上、対象物の断面図を用いている。例えば、図４（ａ）（ｂ）における面Ｓは、図３（ｃ）の基準点Ａおよび把持点Ｂを通る切断面（一点鎖線にて示す面）にて対象物Ｗを切断した断面である。また、図４（ｃ）は、比較の為に図示した従来の把持態様である。従来の把持態様では、図４（ｃ）に示すように、対象物Ｗが滑り落ちない程度の強い力で対象物Ｗの側面を把持する方法であるため、対象物Ｗが変形などする恐れがあったが、図４（ａ）に示す把持態様では、重量の負荷のほとんどが、底面を支える第２フレーム４２および第３フレーム４３にかかるため、側面からの力は対象物Ｗに接触する程度でよく、対象物Ｗが変形などする恐れがない。
【００２７】
また、把持部制御部１４０は、境界部検出部１３０によって検出された境界部の位置に基づいて、台と対象物との間に１対のハンド部３０のそれぞれの指部４０を挿入するとともに、対象物の側面に１対のハンド部３０のそれぞれを押し当てるように把持部を制御してもよい。
【００２８】
これにより、把持ロボット１は、例えば、図４（ｂ）に示すように、対象物Ｗを下から支えつつ、側面を軽く押さえつけて把持する。図４（ｂ）に示す例では、把持ロボット１は、対象物Ｗの底面を指部４０の第２フレーム４２および第３フレーム４３で支えつつ、対象物Ｗの側面をハンド部３０の押し当て部３４で支持している。なお、押し当て部３４が支持する点は、例えば、図４（ｂ）に示すように、側面上の基準点Ａであってもよい。
【００２９】
続いて、フローチャートを用いて把持ロボット１の動作を説明する。図５は、把持ロボット１の動作の一例を示すフローチャートである。なお、把持ロボット１は、対象物の把持点を抽出するための、当該対象物の基準点に係る情報（例えば、登録マーク、テンプレート画像など）を保持しているものとする。
【００３０】
把持部制御部１４０は、対象物を撮像する撮像位置にカメラ部５０を移動させる（ステップＳ１０）。カメラ部制御部１００は、カメラ部５０に対象物を撮像させる。撮像画像取得部１１０は、カメラ部５０によって撮像された撮像画像を取得する（ステップＳ１２）。
【００３１】
把持部制御部１４０は、当該対象物の基準点に係る情報（例えば、登録マーク、テンプレート画像など）を読み出して、画像処理（例えば、パターンマッチング）によって、対象物の基準点の検出を試みる、即ち、基準点をサーチする（ステップＳ１４）。
【００３２】
把持部制御部１４０によって基準点が検出されなかった場合（ステップＳ１６：Ｎｏ）、対象物を他の撮像位置から撮像し、再度、基準点を検出する（ステップＳ１０〜ステップＳ１６）。
【００３３】
把持部制御部１４０によって基準点が検出された場合（ステップＳ１６：Ｙｅｓ）、重力方向特定部１２０は、同次変換行列を用いて、カメラ部５０の位置および姿勢を算出する（ステップＳ１８）。カメラ部５０の位置および姿勢を算出した重力方向特定部１２０は、撮像画像内における重力方向を特定する（ステップＳ２０）。
【００３４】
境界部検出部１３０は、特定された撮像画像内における重力方向に基づいて当該撮像画像内において対象物と台との境界部を検出する（ステップＳ２２）。把持部制御部１４０は、境界部上の点であって基準点の真下の点である把持点の抽出を試みる、即ち、把持点をサーチする（ステップＳ２４）。
【００３５】
把持部制御部１４０によって把持点が抽出されなかった場合（ステップＳ２６：Ｎｏ）、対象物を他の撮像位置から撮像し、再度、把持点を抽出する（ステップＳ１０〜ステップＳ２６）。
【００３６】
把持部制御部１４０によって把持点が抽出された場合（ステップＳ１６：Ｙｅｓ）、把持部制御部１４０は、対象物の底面に指部を挿入し、側面にアーム部を添えるように把持部を移動し（ステップＳ２８）、対象物を持ち上げるように把持部を制御する（ステップＳ３０）。そして、本フローチャートは終了する。
【００３７】
以上、本発明の実施形態に係る把持ロボットによれば、複雑な運動方程式（対象物と指部との間の摩擦力、対象物の重量、ハンド部の移動速度などを考慮した運動方程式）を解く必要がないため、計算コストを削減できる。従って、少ない計算コストで対象物を把持することができる。更に、計算コストが少ないため、把持制御に遅れが生じる可能性も低く、対象物を確実に把持することができる。また、台と前記対象物との間に指部を挿入し、対象物を下から支えて把持する把持態様であるため、対象物を確実に把持することができる。従って、例えば、対象物が落下するリスクなどが低減する。更に、対象物を下から支えて把持する把持態様であって、対象物の側面を強い力で把持する把持態様でないため、安全に対象物を把持することができる。つまり、上記構成によれば、力覚センサからの出力情報などを利用した複雑な計算を極力減らすとともに、対象物を下から支えて把持する把持態様としているため、少ない計算コストで、確実かつ完全に、対象物を把持することができる
【００３８】
上記実施形態においては、図４（ａ）に示すように対象物の底面を指部４０で支える把持態様と、図４（ｂ）に示すように対象物の底面を指部４０で支えつつ、対象物の側面をハンド部３０で押さえる把持態様について説明したが、把持態様はこれに限定されず他の把持態様であってもよい。例えば、対象物の底面をある指部で支えつつ、対象物の側面を他の指部で押さえる把持態様としてもよい。
【００３９】
また、上記実施形態においては、撮像画像内における重力方向を特定する手法として、撮像画像の撮像時における把持部の制御情報に基づいて重力方向を特定する手法を説明したが、重力方向を特定する手法はこれに限定されず他の手法であってもよい。例えば、重力の方向を測定または算出できるセンサ部からの出力情報に基づいて撮像画像内における重力方向を特定してもよい。
【００４０】
センサ部からの出力情報に基づいて撮像画像内における重力方向を特定する場合、把持ロボット１は、把持部またはカメラ部５０に重力の方向を測定または算出できるセンサ部（例えば、ジャイロセンサ、磁気センサ）を更に備える。また、把持ロボット１の固定部１０は、内部に、制御部１１と異なる制御部１２を備える。図２（ｂ）は、制御部１２の機能を示す機能ブロック図の一例である。
【００４１】
図２（ｂ）において、重力方法特定部１２２は、撮像画像の撮像時におけるセンサ部（例えば、ジャイロセンサ、磁気センサ）からの出力情報に基づいて撮像画像内における重力方向を特定する。つまり、図５に示すフローチャートのステップＳ１８およびステップＳ２０に代えて、重力方向特定部１２２は、センサ部（例えば、ジャイロセンサ、磁気センサ）からの出力情報に基づいて撮像画像内における重力方向を特定する。なお、図２（ｂ）において、図２（ａ）内の部材と同一符号を付した部材は、図２（ａ）内の各同一符号の部材と同一であるため、説明を省略する。
【００４２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００４３】
例えば、アーム部２０、ハンド部３０、指部４０のフレームの数は、図１に示す数に限られるものではない。また、カメラ部５０は、アーム部２０ではなく、ハンド部３０、指部４０に設けてもよい。
【符号の説明】
【００４４】
１…把持ロボット １０…固定部 １１、１２…制御部 ２０…アーム部 ３０…ハンド部 ４０…指部 ５０…カメラ部 １００…カメラ部制御部 １１０…撮像画像取得部 １２０、１２２…重力方向特定部 １３０…境界部検出部 １４０…把持部制御部
【特許請求の範囲】
【請求項１】
アーム部と前記アーム部に設けられた１対のハンド部と前記１対のハンド部のそれぞれに設けられた指部とを有し、台上の対象物を把持する把持部と、
前記把持部に設けられ、前記対象物を撮像するカメラ部と、
前記把持部および前記カメラ部を制御する制御部と
を備え、
前記制御部は、
前記カメラ部によって撮像された撮像画像内における重力方向を特定し、
前記撮像画像内における重力方向に基づいて前記撮像画像内において前記対象物と前記台との境界部を検出し、
前記境界部の位置に基づいて前記台と前記対象物との間に前記１対のハンド部のそれぞれの指部を挿入するように前記把持部を制御する
ことを特徴とする把持ロボット。
【請求項２】
前記制御部は、
前記撮像画像の撮像時における前記把持部の制御情報に基づいて前記撮像画像内における重力方向を特定する
ことを特徴とする請求項１に記載の把持ロボット。
【請求項３】
前記把持ロボットは、
前記把持部または前記カメラ部に重力の方向を測定または算出できるセンサ部を更に備え、
前記制御部は、
前記撮像画像の撮像時における前記センサ部からの出力情報に基づいて前記撮像画像内における重力方向を特定する
ことを特徴とする請求項１に記載の把持ロボット。
【請求項４】
前記制御部は、
前記境界部の位置に基づいて、前記台と前記対象物との間に前記１対のハンド部のそれぞれの指部を挿入するとともに、前記対象物の側面に前記１対のハンド部のそれぞれを押し当てるように前記把持部を制御する
ことを特徴とする請求項１から請求項３の何れかに記載の把持ロボット。
【請求項５】
アーム部と前記アーム部に設けられた１対のハンド部と前記１対のハンド部のそれぞれに設けられた指部とを用いて、台上の対象物を把持する把持方法であって、
前記対象物を撮像する手段と、
前記撮像手段によって撮像された撮像画像内における重力方向を特定する手段と、
前記撮像画像内における重力方向に基づいて前記撮像画像内において前記対象物と前記台との境界部を検出する手段と、
前記境界部の位置に基づいて前記台と前記対象物との間に前記１対のハンド部のそれぞれの指部を挿入するように前記把持手段を制御する手段と
を有することを特徴とする把持方法。
【請求項１】
アーム部と前記アーム部に設けられた１対のハンド部と前記１対のハンド部のそれぞれに設けられた指部とを有し、台上の対象物を把持する把持部と、
前記把持部に設けられ、前記対象物を撮像するカメラ部と、
前記把持部および前記カメラ部を制御する制御部と
を備え、
前記制御部は、
前記カメラ部によって撮像された撮像画像内における重力方向を特定し、
前記撮像画像内における重力方向に基づいて前記撮像画像内において前記対象物と前記台との境界部を検出し、
前記境界部の位置に基づいて前記台と前記対象物との間に前記１対のハンド部のそれぞれの指部を挿入するように前記把持部を制御する
ことを特徴とする把持ロボット。
【請求項２】
前記制御部は、
前記撮像画像の撮像時における前記把持部の制御情報に基づいて前記撮像画像内における重力方向を特定する
ことを特徴とする請求項１に記載の把持ロボット。
【請求項３】
前記把持ロボットは、
前記把持部または前記カメラ部に重力の方向を測定または算出できるセンサ部を更に備え、
前記制御部は、
前記撮像画像の撮像時における前記センサ部からの出力情報に基づいて前記撮像画像内における重力方向を特定する
ことを特徴とする請求項１に記載の把持ロボット。
【請求項４】
前記制御部は、
前記境界部の位置に基づいて、前記台と前記対象物との間に前記１対のハンド部のそれぞれの指部を挿入するとともに、前記対象物の側面に前記１対のハンド部のそれぞれを押し当てるように前記把持部を制御する
ことを特徴とする請求項１から請求項３の何れかに記載の把持ロボット。
【請求項５】
アーム部と前記アーム部に設けられた１対のハンド部と前記１対のハンド部のそれぞれに設けられた指部とを用いて、台上の対象物を把持する把持方法であって、
前記対象物を撮像する手段と、
前記撮像手段によって撮像された撮像画像内における重力方向を特定する手段と、
前記撮像画像内における重力方向に基づいて前記撮像画像内において前記対象物と前記台との境界部を検出する手段と、
前記境界部の位置に基づいて前記台と前記対象物との間に前記１対のハンド部のそれぞれの指部を挿入するように前記把持手段を制御する手段と
を有することを特徴とする把持方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−２３０２６３（Ｐ２０１１−２３０２６３Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０４９１１（Ｐ２０１０−１０４９１１）
【出願日】平成２２年４月３０日（２０１０．４．３０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月３０日（２０１０．４．３０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]