対象物把持領域抽出装置および対象物把持領域抽出装置を用いたロボットシステム
【課題】
位置姿勢が未知な対象物が置かれた供給部の三次元情報から、ロボットの把持機構で把持可能な対象物を含む把持領域を抽出する。
【解決手段】
ロボットで把持する対象物の供給部の三次元計測データから供給部の三次元情報を生成し、予め記憶された把持機構領域と把持部分領域とからなる把持領域を用い、把持部分領域の全体に物体が存在し、把持機構領域に物体が存在していない領域を、三次元情報から把持可能領域として抽出する。
位置姿勢が未知な対象物が置かれた供給部の三次元情報から、ロボットの把持機構で把持可能な対象物を含む把持領域を抽出する。
【解決手段】
ロボットで把持する対象物の供給部の三次元計測データから供給部の三次元情報を生成し、予め記憶された把持機構領域と把持部分領域とからなる把持領域を用い、把持部分領域の全体に物体が存在し、把持機構領域に物体が存在していない領域を、三次元情報から把持可能領域として抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置姿勢が未知な対象物が置かれた対象物集積部の三次元情報から、ロボットの把持機構で把持可能な対象物を含む把持可能領域を抽出する対象物把持領域抽出装置、およびその対象物把持領域抽出装置を用いたロボットシステムに関する。
【背景技術】
【０００２】
生産ラインや検査ラインなどにおいて、山積みになったワークをロボットによりピッキングするシステムにおいて、ワークがどのような姿勢で置かれているかを認識し、ピッキングを行うシステムが知られている。
【０００３】
例えば特許文献１には、同一形状で複数の部品が三次元的に異なる任意の位置及び姿勢にて乱雑に山積みされた部品群から個々の部品の位置姿勢を求める位置姿勢認識装置が開示されている。また、位置姿勢認識装置と、位置姿勢認識装置から供給される部品の三次元的な位置姿勢情報に応じて部品群から目的の部品を１つずつ取り出す（ピッキングする）ロボットとを備えるピッキングシステムが開示されている。
【０００４】
特許文献１に記載の位置姿勢認識装置によれば、奥行き計測部、直線状明領域抽出部、及び三次元位置姿勢演算部を備えたことで、部品群の撮像画像から、他と交差することなく単独で延在する直線状の明領域を抽出でき、さらに、抽出した単独の直線状明領域に奥行き情報を付加することで部品の三次元位置姿勢情報を得ることができる。さらに、特許文献１に記載のピッキングシステムによれば、同一形状の部品が三次元的に異なる任意の位置及び姿勢で配置された部品群に対してもピッキングが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１２８２０１号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来は、特許文献１に記載のように、山積みされた部品群からロボットにて部品を一つずつ取り出す（ピッキングする）には、まず個々のワークの位置および姿勢を認識していた。しかし、個々のワークの位置・姿勢を認識するためには、多くの処理時間を必要とするという問題がある。
【０００７】
また、山積みされたワークから１つのワークをピッキングするに際し、把持機構を把持対象ワークに接近させる動作の途中で山積みされたワークが崩れるとピッキングするワークの位置・姿勢が変わってしまう。そのため、位置・姿勢が認識された複数のワークからピッキングするワークを選択する際には、ピッキングする際にロボットの把持機構が他のワークに接触しない事を確認することも必要となるため、さらに処理時間が長くなるという問題もある。
【０００８】
本発明は、上記のような問題点を解決するためになされたもので、位置姿勢が未知な対象物が置かれた対象物集積部の三次元情報から、ロボットの把持機構で把持可能な対象物を含む把持可能領域を抽出する対象物把持領域抽出装置、およびその対象物把持領域抽出装置を用いたロボットシステムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係る対象物把持領域抽出装置は、複数の対象物が任意の位置および姿勢で置かれた対象物集積部から、把持機構を備えたロボットを用いて、対象物を取り出すロボットシステムにおける対象物把持領域抽出装置であって、前記対象物集積部の三次元の計測データを取得する計測装置、前記計測データから前記対象物集積部の三次元情報を生成する三次元情報生成部、前記対象物を把持する際に必要となる領域であって、前記把持機構により定まる把持機構領域と、前記把持機構に把持される前記対象物の把持部分により定まる把持部分領域と、からなる把持領域を予め記憶する把持領域記憶部、前記三次元情報から選択された前記把持領域と大きさが等しい領域であって、前記把持部分領域と大きさが等しい領域全体に物体が存在するが前記把持機構領域と大きさが等しい領域には物体が存在しない領域を、把持可能領域として抽出する把持可能領域抽出部、により構成されていることを特徴とする。
【００１０】
また、本発明に係るロボットシステムは、対象物を把持する把持機構、前記把持機構を備えるロボット、前記ロボットを制御するロボット制御装置、前記対象物把持領域抽出装置、からなるロボットシステムであって、前記ロボット制御装置は、前記対象物把持領域抽出装置から抽出された１以上の前記把持可能領域に関する情報を受け取る把持可能領域受信部と、予め定められた条件を具備する把持可能領域を１つ選択する把持領域選択部と、該選択した把持可能領域にある対象物を前記ロボットの前記把持機構によって把持し、所定の動作をするようにロボットを制御するロボット動作制御部と、から構成されていることを特徴とする。
【発明の効果】
【００１１】
位置姿勢が未知な対象物が置かれた対象物集積部の三次元情報から、個々の対象物の位置・姿勢を特定することなく、ピッキングする際に把持機構が他の対象物に干渉しない把持可能な対象物を含む把持可能領域を抽出することができるため、把持する対象物を短時間で決定する事ができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係るロボットシステムの実施形態の概略構成図である。
【図２】本発明に係る対象物把持領域抽出装置の概略ブロック図である。
【図３】本発明に係るロボットシステムのフローチャートである。
【図４】対象物把持領域抽出装置の第１の実施形態のブロック図である。
【図５】対象物把持領域抽出装置の第１の実施形態における三次元情報である。
【図６】対象物把持領域抽出装置の第１の実施形態における把持領域である。
【図７】対象物把持領域抽出装置の第１の実施形態における把持可能領域の抽出結果である。
【図８】「ワーク供給部の三次元情報生成」の詳細フローチャートである。
【図９】対象物把持領域抽出装置の第１の実施形態における「把持可能領域の抽出」の詳細フローチャートである。
【図１０】対象物把持領域抽出装置の第１の実施形態における他の把持領域である。
【図１１】対象物把持領域抽出装置の第１の実施形態における他の把持可能領域の抽出結果である。
【図１２】対象物把持領域抽出装置の第２の実施形態のブロック図である。
【図１３】対象物把持領域抽出装置の第２の実施形態における把持領域である。
【図１４】対象物把持領域抽出装置の第２の実施形態における「把持可能領域の抽出」の詳細フローチャートである。
【図１５】本発明に係るロボットシステムの実施形態の変形例を示した概略構成図である。
【発明を実施するための形態】
【００１３】
本発明に係るロボットシステムの実施形態について、図を参照しつつ説明する。
図１は、本発明に係るロボットシステムの実施形態の概略構成図である。
図１において、１０１はワーク（対象物）、１１０はワーク１０１が集積される集積トレーである。ワーク１０１は、集積トレー１１０上の任意の位置に任意の姿勢で集積されている。なお、集積トレー１１０上にワーク１０１が山積み状態であっても、積み重ならないように置かれていても良い。
【００１４】
２０１はロボット、２１０はロボット２０１のアーム先端に取り付けられたワーク１０１を把持する把持機構、２２０はロボット２０１および把持機構２１０を制御するロボット制御装置である。ここで、ロボット２０１は各種ロボット（垂直多関節ロボット、水平多関節ロボット、直交ロボット等）を用いることができる。
【００１５】
３０１は集積トレー１１０上の三次元計測を行う三次元計測装置、３１０は三次元計測装置３０１で取得した計測データから、把持機構２１０にてワーク１０１を把持可能な領域を抽出する対象物把持領域抽出装置である。ここで、三次元計測装置３０１は、非接触にて三次元の計測データを取得できる三次元計測装置であり、ステレオカメラや三次元スキャナ等を用いることができる。また、対象物把持領域抽出装置３１０は、三次元計測装置３０１から計測データを取得し、取得したデータを処理し、処理した結果等のデータをロボット制御装置２２０と伝達可能な通信手段を備えたコンピュータ等である。
【００１６】
４０１はロボット２０１にピッキングされたワーク１０１を載置して外部へ搬出する搬出コンベアである。
さらに、ロボット制御装置２２０と対象物把持領域抽出装置３１０とは、互いに情報伝達可能な通信手段を備え、その通信手段によって接続されている。
【００１７】
図２は、対象物把持領域抽出装置の概略ブロック図である。
図２において、３２０は三次元計測装置３０１にて集積トレー１１０上の三次元の計測データを取得し、取得した計測データから後述する把持可能領域抽出部３３０の処理に適した三次元情報を生成する三次元情報生成部である。
【００１８】
ここで、三次元情報とは、三次元座標系の座標軸の１つの方向が予め定められたアプローチ方向と等しい三次元座標系による座標情報である。さらに、アプローチ方向とは、ロボット２０１の集積トレー１１０上のワーク１０１を把持する動作において、把持機構２１０を把持する対象ワーク１０１まで移動させる際の把持機構２１０の移動方向である。
【００１９】
３３０は、三次元情報からワーク１０１を把持可能な把持可能領域を抽出する把持可能領域抽出部である。
３４０は、各種処理に必要な情報を予め記憶、または、一時的に記憶しておく記憶部である。
【００２０】
なお、記憶部３４０には、予め把持領域が記憶されている。ここで、把持領域とは、ワーク１０１を把持する際に必要となる領域であって、把持機構２１０により定まる把持機構領域と、把持機構２１０に把持される前記ワーク１０１の把持部分により定まる把持部分領域と、から構成されている。把持領域は、把持可能領域抽出部３４０にて把持可能な把持可能領域を抽出するのに用いられる。
【００２１】
把持部分領域は、アプローチ方向から三次元計測装置３０１にて認識されるワーク１０１の把持部分の表面形状により定まる。これは、三次元計測装置３０１が、計測領域の表面形状を計測することはできるが、内部形状は計測できないからである。例えば、三次元計測装置３０１がステレオカメラである場合について検討すれば、上記内容は容易に理解できる。ここで、ワーク１０１が底を有する円筒形状であり、アプローチ方向が円筒軸方向である場合について説明する。ワーク１０１の把持部分が円筒底側である場合、表面形状から把持部分の立体形状は円柱形状として把持領域を定める。ワーク１０１の把持部分が円筒開口側である場合、表面形状から把持部分の立体形状は円筒形状として把持部分領域を定める。
【００２２】
把持機構領域は、ワーク１０１を把持機構２１０にて把持する際に把持機構２１０が干渉しないために必要な領域から定まる。ここで干渉する可能性がある物は、把持するワーク１０１を除く他のワーク１０１、集積トレー１１０等である。また、把持機構領域には、ワーク１０１を把持する前後の把持機構の形状により定まる可動領域も含まれる。これは、ワーク１０１を把持機構２１０で把持する前後で、把持機構２１０の形状が変形するため、可動領域に干渉する物がない事確認しないと把持動作ができないからである。さらに、把持機構領域には、ワーク１０１を把持機構２１０で把持した際にできるワーク１０１と把持機構２１０との隙間も含まれる。これは、ワーク１０１が円柱形状で把持機構２１０がコの字形状である場合、ワーク１０１と把持機構２１０との間に隙間ができるが、この隙間に何らかの物があるとワーク１０１を把持できない可能性があるからである。
【００２３】
把持可能領域抽出部３３０では、前記三次元情報から選択された前記把持領域と大きさが等しい領域であって、把持部分領域と大きさが等しい領域全体に物体が存在するが把持機構領域と大きさが等しい領域には物体が存在しない領域を、把持可能領域として抽出する。
【００２４】
次に、図３を用いて、本発明に係るロボットシステムの実施形態におけるピッキング動作について説明する。
ステップＳ１００にて、集積トレー１１０にワーク１０１を供給する。
【００２５】
なお、ワーク１０１の供給方法は所定の位置にワーク１０１が供給可能であれば、適宜自由に選択する事ができる。例えば、集積トレー１１０内のワーク１０１が少なくなったことを検知してパーツフィーダ等でワーク１０１を自動供給するようにして良い。また、集積トレー１１０内にワーク１０１が無くなった場合には、ワーク１０１が山積みされた集積トレー１１０と空の集積トレー１１０とをトレーチェンジャーによって交換することでワーク１０１をロボットシステムに供給しても良い。
【００２６】
ステップＳ２００では、三次元計測装置３０１にて、集積トレー１１０上の三次元の計測データを取得し、取得した計測データからアプローチ方向が座標系の座標軸の方向と等しい三次元情報を生成する。
【００２７】
ステップＳ３００では、三次元情報のうち選択された把持領域と大きさの等しい領域が、抽出条件を具備する場合に把持可能領域として抽出する。ここで、抽出条件は、「三次元情報のうち選択された把持領域と大きさの等しい領域において、把持部分領域と大きさが等しい領域全体に物体が存在するが把持機構領域と大きさが等しい領域には物体が存在しないこと」である。把持可能領域の抽出については、後述する把持可能領域抽出装置の説明にて、詳細に説明する。
【００２８】
ステップ４００では、三次元情報から把持可能領域が抽出できたかを確認する。
把持可能領域が存在した場合には、ステップ５００に進み、把持可能領域の情報をロボット制御装置２２０に伝達する。ロボット制御装置２２０は複数の把持可能領域がある場合には、複数の把持可能領域から１つの把持可能領域を選択する。さらにロボット制御装置２２０はロボット２０１および把持機構２１０を制御し、選択された把持可能領域にあるワーク１０１を把持し、搬出コンベア４０１に移動させる。ワーク１０１の搬出コンベア４０１への移動が完了すると、再びステップＳ２００から処理を開始する。なお、把持可能領域を１つ選択する際には、予め定められた条件を具備する把持可能領域を選択することとなる。例えば、「アプローチ方向の座標値が最も大きい把持可能領域を選択する」ことを選択の条件とすることができる。
【００２９】
ステップ４００にて把持可能領域が存在しない場合には、ステップＳ６００に進み、集積トレー１１０にワーク１０１があるかを確認する。
集積トレー１１０にワーク１０１がない場合には、再びステップＳ１００に戻り、集積トレー１１０にワーク１０１を供給して処理を開始する。
【００３０】
集積トレー１１０にワーク１０１が存在する場合には、ステップＳ７００に進み、集積トレー上のワークの状態を変更する。次に、ステップＳ２００に戻り、再び三次元情報を生成して処理を開始する。
【００３１】
ここで、ワークの状態を変更する方法として、集積トレー１１０の下部に振動装置を設けておき、振動により山積みにされたワーク１０１を崩す方法を採用することができる。また、ロボット２０１にて山積みにされたワーク１０１を崩す方法を採用することもできる。
【００３２】
なお、図１では集積トレー１１０を用いているが、ワーク１０１が三次元計測装置３０１の計測可能範囲に供給されれば、他の供給方法を用いる事ができる。例えば、コンベアによる供給や、専用箱による供給でも良い。
【００３３】
また、ロボット制御装置２２０は、一般に販売されているロボットコントローラでも、汎用コンピュータにモータ制御ボードを搭載した形態でも良い。
さらに、図１では搬出コンベア４０１を用いているが、ワーク１０１が所定の状態で置く事ができれば良く、コンベアに限定されない。例えば、ワーク１個ごとに区切られた専用箱を用い、その区切られた空間にワーク１０１を入れるようにしても良い。また、別の部品が供給され、その部品にワーク１０１を組み付けて次の工程に移動させるようにしても良い。
【００３４】
次に、図を参照しつつ対象物把持領域抽出装置の第１の実施形態について詳細に説明する。
まず、図４は本発明に係る対象物把持領域抽出装置の第１の実施形態のブロック図である。
【００３５】
図４において、３０１は三次元計測装置、３２０ａは三次元情報生成部、３３０ａは把持可能領域抽出部、３４０は記憶部である。
三次元計測装置３０１は、非接触にて三次元の計測データを取得できる三次元計測装置であり、ステレオカメラや三次元スキャナ等である。
【００３６】
記憶部３４０には、三次元計測装置３０１で計測した三次元の計測データにおける各座標軸の方向と、アプローチ方向とが記憶されている。ここで、アプローチ方向とは、ロボット２０１の集積トレー１１０上のワーク１０１を把持する動作において、把持機構２１０を把持する対象ワーク１０１まで移動させる際の把持機構２１０の移動方向である。
【００３７】
三次元情報生成部３２０ａは、三次元計測装置３０１にて取得した計測データから、アプローチ方向を座標軸の１つの方向とする三次元情報を生成する。なお、生成された三次元情報は、記憶部３４０に記憶される。
【００３８】
三次元計測装置３０１で計測した三次元の計測データの座標系を計測座標系とし、アプローチ方向をＺ軸方向とした座標系をアプローチ座標系とする。三次元情報生成部３２０ａは、周知の幾何変換式を用い、計測座標系の計測データをアプローチ座標系の座標値に変換する。計測座標系からアプローチ座標系への変換は、周知の各種幾何変換（アフィン変換、クォータニオン変換等）によって可能であり、任意にその幾何変換の方法は選択できる。
【００３９】
ここで第１の実施形態における生成された三次元情報について、より具体的に説明する。第１の実施形態における三次元情報では、アプローチ座標系の座標値から、ＸＹ平面の各点ごとのＺ軸の最大値からなる情報を三次元情報として生成する。図５は、第１の実施形態における三次元情報を表した図である。図５の三次元情報では、分解能がＸＹ平面全体で３２×３２、図１に示す棒のような直方体のワーク１０１は、ＸＹ平面で２×１０、Ｚ軸座標値で５の大きさとなる。なお、三次元計測装置３０１の計測によっても、計測方向における物体の背後に物体が存在するか否かは判断できないため、計測方向における物体の背後については物体が存在するものとして三次元情報を生成する。なお、図５において横軸がＸ軸の座標値、縦軸がＹ軸の座標値、四角に囲まれた値がＺ軸の座標値である。各点の座標値を（Ｘ，Ｙ，Ｚ）にて表すと、（４，６，５）、（５，１４，１０）、（１８，１６，８）等となる。つまり、（９，３，５），（９，４，５），（９，５，５），（９，６，５），（９，７，５），（１０，３，５），（１０，４，５），（１０，５，５），（１０，６，５），（１０，７，５）の領域や、（６，１７，５），（７，１７，５），（８，１７，５），（９，１７，５），（１０，１７，５），（６，１８，５），（７，１８，５），（８，１８，５），（９，１８，５），（１０，１８，５）の領域は、ワーク１０１が存在する領域となる。
【００４０】
記憶部３４０は、把持領域記憶部３４１をさらに備える。把持領域記憶部３４１には、予め把持領域が記憶されている。ここで、把持領域とは、ワーク１０１を把持する際に必要となる領域であって、把持機構２１０により定まる把持機構領域と、把持機構２１０に把持される前記ワーク１０１の把持部分により定まる把持部分領域と、から構成されている。把持領域は、把持可能領域抽出部３３０ａにて把持可能な把持可能領域を抽出するのに用いられる。
【００４１】
把持領域について具体例を用いて説明する。例えば、図５の三次元情報において、ワーク１０１はＸＹ平面上で２×１０のサイズとなり、Ｚ軸の座標値が５と計測される。ここでワーク１０１の両端の何れか一方を挟むように把持するとき、ワーク１０１の把持部分領域は、図５に示す三次元情報ではＸ軸方向に２、Ｙ軸方向に２となり、把持機構２１０の形状や可動領域等により必要となる把持機構領域は、ワーク１０１の端部の周辺にＸ軸方向に２、Ｙ軸方向に２のスペースにＺ軸座標値でワーク１０１のＺ軸方向の大きさである５以上のスペースが必要となる。
【００４２】
この場合の三次元情報におけるワーク１０１の上側を把持する把持領域記憶部３４１に記憶された把持領域は図６のように表される。図６において、把持領域は、Ｘ座標がｉ−２〜ｉ＋３、Ｙ座標がｊ−２〜ｊ＋１の領域である。把持部分領域は、Ｘ座標がｉ〜ｉ＋１、Ｙ座標がｊ〜ｊ＋１の領域である。把持機構領域は、把持領域から把持部分領域を除いた領域となる。
【００４３】
なお、把持領域は、ワーク１０１および把持機構２１０の形状、大きさ、可動範囲、把ワークを把持したときのワーク１０１と把持機構２１０との位置関係が予め定まっており、把持機構で把持されるワーク１０１の把持部分も予め定まっている。そのため、把持領域は、三次元情報生成部３２０で生成される三次元情報に対応して予め定め、ユーザーが記憶部に記憶させておくことが可能である。
【００４４】
図６のように把持領域を設定した場合、把持領域の２４ブロックのＺ軸方向の値を用いて、ワーク端部の周辺部（２画素相当）がワークサイズ（高さ）以上の高低差（周辺が低い）がある部分を把持可能領域として抽出できる。
【００４５】
把持可能領域抽出部３３０ａは、記憶部３４０に記憶された三次元情報から把持領域記憶部３４１に記憶された把持領域と大きさが等しい領域を選択する。選択された領域について、相対関係演算部３３１にて把持部分領域と把持機構領域のアプローチ方向における座標値の差分値を求め、その差分値から把持部分領域と把持機構領域の相対関係を求める。そして、その相対関係が所定の要件を具備する場合には、選択された領域を把持可能領域として抽出する。
【００４６】
ここで、把持可能領域抽出部３３０ａは、把持部分領域と把持機構領域の相対関係が所定の要件を具備するか否かを判断するため、ワーク１０１の位置・姿勢を別途認識することなく、ワーク１０１を把持するための把持機構２１０の移動領域を特定することができるため、処理時間が短くなる。
【００４７】
把持可能領域抽出部３３０ａの処理内容について、具体例を用いて説明する。相対関係演算部３３１の演算内容は、次のようになる。
まず、図６に例示した把持領域において、把持部分領域と把持機構領域の相対関係は、把持部分領域におけるＸ座標，Ｙ座標で定まる基準位置と、把持機構領域におけるＸ座標，Ｙ座標で定まる所定の比較位置との、Ｚ軸座標値の差分値として求める。次に、求めた差分値がワークのＺ軸方向の大きさである５以上であるか否かを確認する。
【００４８】
例えば、三次元情報から選択された把持領域に等しい領域において、把持部分領域の基準位置（ｉ，ｊ）は、隣接する８箇所の比較位置(i-2,j-2)，(i-2,j-1)，(i-2,j)，(i-1,j-2)，(i-1,j-1)，(i-1,j)，(i,j-2)，(i,j-1)との差分値を求める。また、基準位置（i,j+1）は、隣接する２箇所の比較位置(i-1,j+1)，(i-1,j+1)との差分値を求める。
【００４９】
ここで、p（ｎ）は求める相対関係、z（ｘ，ｙ）は座標（ｘ，ｙ）のときのＺ軸の座標値、if（不等式，True else False）は不等式を具備すればTrueとなりそれ以外はFalseとなるものと定義すると、相対関係演算部３３１の演算内容の具体例は、次の２０の式からなる式（１）を演算することとなる。
【００５０】
p(1)=if(z(i,j) - z(i-2,j-2) >= 5 , 0 else 1)
p(2)=if(z(i,j) - z(i-2,j-1) >= 5 , 0 else 1)
p(3)=if(z(i,j) - z(i-2,j) >= 5 , 0 else 1)
p(4)=if(z(i,j+1) - z(i-1,j+1) >= 5 , 0 else 1)
p(5)=if(z(i,j) - z(i-1,j-2) >= 5 , 0 else 1)
p(6)=if(z(i,j) - z(i-1,j-1) >= 5 , 0 else 1)
p(7)=if(z(i,j) - z(i-1,j) >= 5 , 0 else 1)
p(8)=if(z(i,j+1) - z(i-1,j+1) >= 5 , 0 else 1)
p(9)=if(z(i,j) - z(i,j-2) >= 5 , 0 else 1)
p(10)=if(z(i,j) - z(i,j-1) >= 5 , 0 else 1)
p(11)=if(z(i+1,j) - z(i+1,j-2) >= 5 , 0 else 1)
p(12)=if(z(i+1,j) - z(i+1,j-1) >= 5 , 0 else 1)
p(13)=if(z(i+1,j) - z(i+2,j-2) >= 5 , 0 else 1)
p(14)=if(z(i+1,j) - z(i+2,j-1) >= 5 , 0 else 1)
p(15)=if(z(i+1,j) - z(i+2,j) >= 5 , 0 else 1)
p(16)=if(z(i+1,j+1) - z(i+2,j+1) >= 5 , 0 else 1)
p(17)=if(z(i+1,j) - z(i+3,j-2) >= 5 , 0 else 1)
p(18)=if(z(i+1,j) - z(i+3,j-1) >= 5 , 0 else 1)
p(19)=if(z(i+1,j) - z(i+3,j) >= 5 , 0 else 1)
p(20)=if(z(i+1,j+1) - z(i+3,j+1) >= 5 , 0 else 1) ・・・（１）
なお、式（１）は具体例の一つであり、これに限定されるものではない。予めワーク１０１を把持機構２１０で把持する際に定まる条件を、ユーザが任意に設定することができる。
【００５１】
さらに、把持可能領域抽出部３３０ａは、相対関係演算部３３１で演算した相対関係ｐ（ｎ）から、選択された領域が把持可能領域の条件を具備するか判断し、具備する場合には把持可能領域として抽出する。
【００５２】
具体例として、前記の式（１）にて相対関係が求められている場合には、評価関数Ｐ（ｘ，ｙ）を次の式（２）とし、式（２）を演算してその結果が０である場合に把持可能領域であると判断し、それ以外（１〜２０）の値である場合には、把持可能領域ではないと判断する。ここで、Ｐ（ｘ，ｙ）のｘ，ｙは、三次元情報における座標値であって、前記の選択された領域の把持部分領域の予め定めた位置である。
【００５３】
【数１】
ここで、図５に示した三次元情報から、図６に示した把持領域を用いて、把持可能領域を抽出した例を図７に示す。なお、図７において、グレーで塗りつぶした部分が把持可能領域として抽出した領域であり、各座標の数字は評価関数Ｐ（ｘ，ｙ）の値である。このようにして、本例においては４つの把持可能領域を抽出している。なお、抽出した把持可能領域は記憶部３４０に記憶される。
【００５４】
次に、対象物把持領域抽出装置の第１の実施形態における動作について説明する。なお、対象物把持領域抽出装置における動作は図３に示したロボットシステムのフローチャートのステップＳ２００の「ワーク供給部の三次元情報生成」とステップＳ３００の「把持可能領域の抽出」に該当する。
【００５５】
まず、図８は、ステップＳ２００の「ワーク供給部の三次元情報生成」の詳細フローチャートである。
ステップＳ２１１にて、三次元計測装置３０１にて集積トレー１１０上の三次元の計測データを取得する。次に、ステップＳ２１２にて、周知の幾何変換式を用いて計測座標系の計測データをアプローチ座標系の座標値に変換し、三次元情報を生成する。図５の三次元情報は、第１の実施形態における三次元情報の一例である。
【００５６】
図９は、ステップＳ３００の「把持可能領域の抽出」の詳細フローチャートである。
ステップＳ３２１にて、三次元情報から三次元情報から把持領域記憶部３４１に記憶された把持領域と大きさの等しい領域を選択する。例えば、図６に示した把持領域を用いる場合には、図５に示す三次元情報において、Ｘ座標が７〜１２、Ｙ座標が１〜４の領域を選択する。
【００５７】
ステップＳ３２２において、ステップＳ３２１にて選択された領域について、把持部分領域と把持機構領域のアプローチ方向における座標値の差分値を求め、その差分値から把持部分領域と把持機構領域の相対関係を求める。例えば、図６に示した把持領域を用いる場合には、図５に示す三次元情報において、前記式（１）を計算することとなる。選択された領域のＸ座標が７〜１２、Ｙ座標が１〜４の領域である場合、式（１）のｉ＝9，ｊ＝３となり、式（３）のように計算される。
【００５８】
p(1)=if(5 - 0 >= 5 , 0 else 1) = 0
p(2)=if(5 - 0 >= 5 , 0 else 1) = 0
p(3)=if(5 - 0 >= 5 , 0 else 1) = 0
p(4)=if(5 - 0 >= 5 , 0 else 1) = 0
p(5)=if(5 - 0 >= 5 , 0 else 1) = 0
p(6)=if(5 - 0 >= 5 , 0 else 1) = 0
p(7)=if(5 - 0 >= 5 , 0 else 1) = 0
p(8)=if(5 - 0 >= 5 , 0 else 1) = 0
p(9)=if(5 - 0 >= 5 , 0 else 1) = 0
p(10)=if(5 - 0 >= 5 , 0 else 1) = 0
p(11)=if(5 - 0 >= 5 , 0 else 1) = 0
p(12)=if(5 - 0 >= 5 , 0 else 1) = 0
p(13)=if(5 - 0 >= 5 , 0 else 1) = 0
p(14)=if(5 - 0 >= 5 , 0 else 1) = 0
p(15)=if(5 - 0 >= 5 , 0 else 1) = 0
p(16)=if(5 - 0 >= 5 , 0 else 1) = 0
p(17)=if(5 - 0 >= 5 , 0 else 1) = 0
p(18)=if(5 - 0 >= 5 , 0 else 1) = 0
p(19)=if(5 - 0 >= 5 , 0 else 1) = 0
p(20)=if(5 - 0 >= 5 , 0 else 1) = 0 ・・・（３）
ステップＳ３２３にて、選択された領域が把持可能領域の条件を具備するか判断する。そして、条件を具備する場合にはステップＳ３２４にて把持可能領域として抽出する。条件を具備しない場合には、ステップＳ３２５に進む。
【００５９】
例えば、式（２）の評価関数Ｐ（ｘ，ｙ）を求め、Ｐ（ｘ，ｙ）が０であるか否かを確認し、０である場合には把持可能領域として抽出する。式（３）の計算結果を得た場合には、式（２）の評価関数はＰ（９，３）＝０となり、Ｘ座標が７〜１２、Ｙ座標が１〜４の領域は把持可能領域として抽出される事となる。
【００６０】
ステップＳ３２５では、三次元情報の全領域が選択されたか否かを確認する。全領域が選択されていない場合には、ステップＳ３２１に戻り新たな領域を選択し、以降の処理を繰り返す。全領域が選択された場合には、ステップＳ３２６に進み把持可能領域の抽出を終了する。
【００６１】
なお、対象物把持領域抽出装置の第１の実施形態において、把持領域は図６に示した上側を把持する場合に限定されることはなく、図１０に示す右側を把持する場合の領域としても良い。この場合には、相対関係演算部３３１の演算内容の具体例は、次の式（４）を演算することとなる。
【００６２】
p(1)=if(z(i-1,j) - z(i-1,j-2) >= 5 , 0 else 1)
p(2)=if(z(i-1,j) - z(i-1,j-1) >= 5 , 0 else 1)
p(3)=if(z(i,j) - z(i,j-2) >= 5 , 0 else 1)
p(4)=if(z(i,j) - z(i,j-1) >= 5 , 0 else 1)
p(5)=if(z(i,j) - z(i+1,j-2) >= 5 , 0 else 1)
p(6)=if(z(i,j) - z(i+1,j-1) >= 5 , 0 else 1)
p(7)=if(z(i,j) - z(i+1,j) >= 5 , 0 else 1)
p(8)=if(z(i,j) - z(i+2,j-2) >= 5 , 0 else 1)
p(9)=if(z(i,j) - z(i+2,j-1) >= 5 , 0 else 1)
p(10)=if(z(i,j) - z(i+2,j) >= 5 , 0 else 1)
p(11)=if(z(i-1,j+1) - z(i-1,j+2) >= 5 , 0 else 1)
p(12)=if(z(i-1,j+1) - z(i-1,j+3) >= 5 , 0 else 1)
p(13)=if(z(i,j+1) - z(i,j+2) >= 5 , 0 else 1)
p(14)=if(z(i,j+1) - z(i,j+3) >= 5 , 0 else 1)
p(15)=if(z(i,j+1) - z(i+1,j+1) >= 5 , 0 else 1)
p(16)=if(z(i,j+1) - z(i+1,j+2) >= 5 , 0 else 1)
p(17)=if(z(i,j+1) - z(i+1,j+3) >= 5 , 0 else 1)
p(18)=if(z(i,j+1) - z(i+2,j+1) >= 5 , 0 else 1)
p(19)=if(z(i,j+1) - z(i+2,j+2) >= 5 , 0 else 1)
p(20)=if(z(i,j+1) - z(i+2,j+3) >= 5 , 0 else 1) ・・・（４）
ここで、図５に示した三次元情報から、図１０に示した把持領域を用いて、把持可能領域を抽出した例を図１１に示す。なお、図１１において、グレーで塗りつぶした部分が把持可能領域として抽出した領域であり、各座標の数字は評価関数P(x,y)の値である。このようにして、本例においては２つの把持可能領域を抽出している。
【００６３】
上記のように必要に応じて、下部を掴む場合や左側を掴む場合も、把持領域を把持領域記憶部３４１に記憶し、把持領域に合わせた相対関係の演算式を相対関係演算部３３１に設定することで、任意の把持領域を用いて把持可能領域を抽出することが可能である。勿論、複数の把持領域を把持領域記憶部３４１に記憶し、各把持領域に対応した複数の相対関係の演算式を相対関係演算部３３１に設定しておくこともできる。さらに、把持領域記憶部３４１に記憶する把持領域は１つとして、三次元情報を幾何変換により任意の角度に回転変換し、回転変換後の三次元情報を用いることで、任意の角度での把持可能領域の抽出も可能である。
【００６４】
次に、図を参照しつつ対象物把持領域抽出装置の第２の実施形態について詳細に説明する。なお、対象物把持領域抽出装置の第１の実施形態と共通する部分については、説明を省略する。さらに、説明を簡単にするため、集積トレー１１０上のワーク１０１の状態が、第１の実施形態と第２の実施形態で同じであるものとして説明する。
【００６５】
まず、図１２は本発明に係る対象物把持領域抽出装置の第２の実施形態のブロック図である。
図１２において、３０１は三次元計測装置、３２０ｂは三次元情報生成部、３３０ｂは把持可能領域抽出部、３４０は記憶部である。
【００６６】
三次元計測装置３０１は、非接触にて三次元の計測データを取得できる三次元計測装置であり、ステレオカメラや三次元スキャナ等である。
記憶部３４０には、三次元計測装置３０１で計測した三次元の計測データにおける各座標軸の方向と、アプローチ方向とが記憶されている。
【００６７】
三次元情報生成部３２０ｂは、三次元計測装置３０１にて取得した計測データから、アプローチ方向を座標軸の１つ方向とする三次元情報を生成する。なお、生成された三次元情報は、記憶部３４０に記憶される。
【００６８】
ここで第２の実施形態における生成された三次元情報について、より具体的に説明する。第２の実施形態における三次元情報では、アプローチ座標系のＸ，Ｙ，Ｚで定まる座標値ごとに物体が存在するか否かの情報を三次元情報として生成する。三次元情報の具体例としては、分解能がＸＹＺ空間全体で３２×３２×３２である場合、図１に示す棒のような直方体のワーク１０１が２×１０×５の領域となるものとし、１ブロックごとに物体の存否フラグを有する。物体の存否フラグは、物体が存在する場合に１、物体が存在しない場合に０となる。係る場合、ＸをＸ座標値、ＹをＹ座標値、ＺをＺ座標値、Ｆを物体の存否フラグとすると、三次元情報は（Ｘ，Ｙ，Ｚ，Ｆ）のように表現できる。図５に示した第１の実施形態における三次元情報を、第２の実施形態における三次元情報として表現すると、（１，１，１，０），（１，１，２，０），（１，１，３，０）・・・（１，１，３２，０）・・・（４，６，１，１），（４，６，２，１）・・・（４，６，５，１），（４，６，６，０）・・・（４，６，３２，０）・・・（４，１４，１，１），（４，１４，２，１）・・・（４，１４，１１，１），（４，１４，１２，０）・・・（４，１４，３２，０）・・・となる。なお、三次元計測装置３０１の計測によっても、計測方向における物体の背後に物体が存在するか否かは判断できないため、計測方向における物体の背後については物体が存在するものとして三次元情報を生成する。例えば、Ｘ座標が４〜１３、Ｙ座標が１４〜１５の領域にあるワーク１０１の一端が、Ｘ座標が４〜５、Ｙ座標が６〜１５の領域にあるワーク１０１に積み重なっているものとする。この場合には、Ｘ座標が６〜１２、Ｙ座標が１４〜１５の領域においてワーク１０１の下部（Ｚ軸方向）の領域には物体が存在しない。しかし、第２の実施形態における三次元情報では、物体が存在するものとし、（７，１４，１，１）・・・（７，１４，９，１），（７，１４，１０，０）・・・（７，１４，３２，０）として三次元情報を生成する。
【００６９】
記憶部３４０は、把持領域記憶部３４１をさらに備える。把持領域記憶部３４１には、予め把持領域が記憶されている。
第２の実施形態において把持領域について具体例を用いて説明する。例えば、前記の三次元情報において、ワーク１０１は２×１０×５のスペース、ワーク１０１の両端の何れか一方を挟むように把持するとき、ワーク１０１の把持部分は２×２×５のスペース、把持機構２１０の動作スペースや端を掴むためのワーク１０１の端部の周辺にワーク把持部分を含めて６×４×５のスペース、が必要であるとする。
【００７０】
この場合の三次元情報におけるワーク１０１の上側を把持する把持領域記憶部３４１に記憶された把持領域は図１３のように表される。図１３の把持領域において、実線で描かれているブロックが把持部分領域、点線で描かれているブロックが把持機構領域である。
【００７１】
把持可能領域抽出部３３０ｂは、記憶部３４０に記憶された三次元情報から把持領域記憶部３４１に記憶された把持領域と大きさの等しい領域を選択する。選択された領域について、物体位置特定部３３２にて物体の位置を特定する。そして、その特定された物体の位置に基づいて、把持部分領域と大きさが等しい領域全体に物体が存在するが前記把持機構領域と大きさが等しい領域には物体が存在しない場合には、選択された領域を把持可能領域として抽出する。
【００７２】
ここで、把持可能領域抽出部３３０ｂは、把持領域の物体の位置が所定の要件を具備するか否かを判断するため、ワーク１０１の位置・姿勢を別途認識することなく、ワーク１０１を把持するための把持機構２１０の移動領域を特定することができるため、処理時間が短くなる。
【００７３】
把持可能領域抽出部３３０ｂの処理内容について、具体例を用いて説明する。物体位置特定部３３２の演算内容は、次のようになる。
まず、図１３に例示した把持領域において、把持部分領域における物体の存否と、把持機構領域の物体の存否を求める。物体の存否は、把持領域のブロックごとに物体が存在するか否かを三次元情報の存否フラグＦによって確認する。次に、把持部分領域のブロック全部に物体が存在すること、および、把持機構領域のブロックに物体が存在しないこと、を確認する。つまり、把持部分領域においては三次元情報における物体の存否フラグＦが１であること、把持機構領域においては三次元情報における物体の存否フラグＦが０であること、をブロックごとに確認する。
さらに、把持可能領域抽出部３３０ｂは、物体位置特定部３３２での特定結果から、選択された領域であって前記把持部分領域と大きさが等しい領域全体に物体が存在するが前記把持機構領域と大きさが等しい領域には物体が存在しない場合に、把持可能領域として抽出する。なお、抽出した把持可能領域は記憶部３４０に記憶される。
【００７４】
次に、対象物把持領域抽出装置の第２の実施形態における動作について説明する。なお、対象物把持領域抽出装置における動作は図３に示したロボットシステムのフローチャートのステップＳ２００の「ワーク供給部の三次元情報生成」とステップＳ３００の「把持可能領域の抽出」に該当する。
【００７５】
ステップＳ２００の「ワーク供給部の三次元情報生成」において、詳細フローチャートは、対象物把持領域抽出装置の第１の実施形態の説明に用いた図１０と同じである。
ステップＳ２１１にて、三次元計測器３０１にて集積トレー１１０上の三次元の計測データを取得する。次に、ステップＳ２１２にて、周知の幾何変換式を用い、計測座標系の計測データをアプローチ座標系の座標値に変換し、三次元情報を生成する。
【００７６】
図１４は、ステップＳ３００の「把持可能領域の抽出」の詳細フローチャートである。
ステップＳ３１１にて、三次元情報から三次元情報から把持領域記憶部３４１に記憶された把持領域と大きさの等しい領域を選択する。例えば、図１３に示した把持領域を用いる場合には、三次元情報のＸ座標が７〜１２、Ｙ座標が１〜４、Ｚ座標が１〜５の領域を選択する。
【００７７】
ステップＳ３１２において、ステップＳ３１１にて選択された領域について、把持部分領域と把持機構領域のブロックごとに物体の存否を確認し、把持部分領域と把持機構領域における物体の分布状態を求める。例えば、三次元情報のＸ座標が７〜１２、Ｙ座標が１〜４、Ｚ座標が１〜５の領域が選択されている場合には、把持部分領域の全体に物体が存在し、把持機構領域には物体が存在しないこととなる。
【００７８】
ステップＳ３１３にて、選択された領域が把持可能領域の抽出条件を具備するか判断する。そして、条件を具備する場合にはステップＳ３１４にて把持可能領域として抽出する。条件を具備しない場合には、ステップＳ３１５に進む。
【００７９】
例えば、三次元情報のＸ座標が７〜１２、Ｙ座標が１〜４、Ｚ座標が１〜５の領域が選択されている場合には、把持部分領域の全体に物体が存在し、把持機構領域には物体が存在しないため、当該領域は把持可能領域として抽出される事となる。
【００８０】
ステップＳ３１５では、三次元情報の全領域が選択されたか否かを確認する。全領域が選択されていない場合には、ステップＳ３１１に戻り新たな領域を選択し、以降の処理を繰り返す。全領域が選択された場合には、ステップＳ３１６に進み把持可能領域の抽出を終了する。
【００８１】
なお、対象物把持領域抽出装置の第２の実施形態において、三次元情報から把持領域を用いた把持可能領域の抽出には、周知のパターンマッチング技術を用いることもできる。また、把持領域の形状は図１３に示した例に限定されることはなく、把持部分領域および把持機構領域は任意に各領域の形状を設定する事が可能である。勿論、複数の把持領域を把持領域記憶部３４１に記憶し、把持領域ごとに物体位置特定部３３２にて処理することもできる。さらに、把持領域記憶部３４１に記憶する把持領域は１つとして、三次元情報を幾何変換により任意の角度に回転変換し、回転変換後の三次元情報を用いることで、任意の角度での把持可能領域の抽出も可能である。
【００８２】
対象物把持領域抽出装置の第１および第２の実施形態において、図１５に示すように、三次元計測装置３０１による三次元の計測データは、複数の方向から計測した複数の計測データとすることができる。例えばステレオビジョンを用いて１方向から計測した場合、ステレオビジョンに撮像された物についての三次元の計測データは取得できるが、他の物の影となって撮像されていない物については三次元の計測データは取得できない。よって、計測データを取得できない空間については、把持機構との干渉によるワーク１０１等の破損を避けるため、その空間には物体があるものとして取り扱うのが通常である。しかし、本来は把持可能領域であるが、上記のように計測できない領域には物体があるものとして取り扱うことで、把持可能領域ではないと判断され、正確に把持可能領域を抽出することができない場合もある。つまり、集積トレー１１０上の空間の三次元の計測データは、可能な限り正確に取得することで、より正確に把持可能領域を抽出できる。
【００８３】
複数の方向から計測した計測データは、共通する部分を基準として同一空間にマッピングし、マッピングされた計測データを用いてアプローチ座標系の三次元情報を生成する。このように複数の計測データを用いることで、物体があるものとして取り扱う領域が減り、複数のアプローチ座標系の三次元情報を正確に生成することができる。
【００８４】
なお、複数の計測データを取得するに際し、複数の三次元計測装置３０１を用いても良いし、１つの三次元計測装置３０１を移動させてもよい。勿論、複数の三次元計測装置３０１を用い、さらにその複数の三次元計測装置３０１を移動させても良い。
【００８５】
さらに、アプローチ方向は１方向に限らず、任意の方向を複数設定する事も可能である。係る場合には、アプローチ方向ごとに把持可能領域を抽出することが可能となる。
また、上記いずれの実施形態においても、把持部分が凸部であることを前提に記載されているが、把持部分が凹部であっても良い。把持部分がワークの凹部である場合には、把持機構領域が把持部分領域に囲まれるように設定された把持領域とすることもできる。
【００８６】
さらに、集積トレーに置かれるワークは１種類でなくても良い。複数種類のワークについてワークごとに把持領域を記憶しておけば、集積トレーにおかれた複数種類のワークから、１種類のワークの把持可能領域を抽出することもできる。
【００８７】
上記の対象物把持領域抽出装置では、三次元情報からワーク１０１ごとの位置・姿勢を把握することなく、ワーク１０１が含まれる把持可能領域を抽出するため、把持可能領域を決定する処理時間を短くすることできる。また比較的単純な処理で把持部の検出が可能となるため、演算コストの軽減も可能である。さらに、ワークが部分的にしか見えていなくてもワークの把持部分が見えていれば、把持可能領域として抽出可能である。また、対象となるワークが複雑な形状をしており、位置姿勢の計測や認識が困難な場合でも、ワークの把持部分が比較的単純形状であれば、把持可能領域を抽出することが可能となり、自動化の適用範囲の拡大、効率向上に効果がある。さらに、ロボットシステムでは、上記の対象物把持領域抽出装置を用いているため、短時間でピッキング動作に移ることができ、ピッキング対象のワークを決定するまでのロボット停止時間が短くなり、ロボットの作業効率を上げることができる。また、アプローチ方向を座標軸の一方向とする三次元情報に基づいて把持可能領域を抽出するため、ロボットにて集積トレー上のワークを把持する移動途中で把持機構と他のワークが干渉することがない。
【符号の説明】
【００８８】
１０１ ワーク
１１０ 集積トレー
２０１ ロボット
２１０ 把持機構
２２０ ロボット制御装置
３０１ 三次元計測装置
３１０ 対象物把持領域抽出装置
４０１ 搬出コンベア
【技術分野】
【０００１】
本発明は、位置姿勢が未知な対象物が置かれた対象物集積部の三次元情報から、ロボットの把持機構で把持可能な対象物を含む把持可能領域を抽出する対象物把持領域抽出装置、およびその対象物把持領域抽出装置を用いたロボットシステムに関する。
【背景技術】
【０００２】
生産ラインや検査ラインなどにおいて、山積みになったワークをロボットによりピッキングするシステムにおいて、ワークがどのような姿勢で置かれているかを認識し、ピッキングを行うシステムが知られている。
【０００３】
例えば特許文献１には、同一形状で複数の部品が三次元的に異なる任意の位置及び姿勢にて乱雑に山積みされた部品群から個々の部品の位置姿勢を求める位置姿勢認識装置が開示されている。また、位置姿勢認識装置と、位置姿勢認識装置から供給される部品の三次元的な位置姿勢情報に応じて部品群から目的の部品を１つずつ取り出す（ピッキングする）ロボットとを備えるピッキングシステムが開示されている。
【０００４】
特許文献１に記載の位置姿勢認識装置によれば、奥行き計測部、直線状明領域抽出部、及び三次元位置姿勢演算部を備えたことで、部品群の撮像画像から、他と交差することなく単独で延在する直線状の明領域を抽出でき、さらに、抽出した単独の直線状明領域に奥行き情報を付加することで部品の三次元位置姿勢情報を得ることができる。さらに、特許文献１に記載のピッキングシステムによれば、同一形状の部品が三次元的に異なる任意の位置及び姿勢で配置された部品群に対してもピッキングが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１２８２０１号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来は、特許文献１に記載のように、山積みされた部品群からロボットにて部品を一つずつ取り出す（ピッキングする）には、まず個々のワークの位置および姿勢を認識していた。しかし、個々のワークの位置・姿勢を認識するためには、多くの処理時間を必要とするという問題がある。
【０００７】
また、山積みされたワークから１つのワークをピッキングするに際し、把持機構を把持対象ワークに接近させる動作の途中で山積みされたワークが崩れるとピッキングするワークの位置・姿勢が変わってしまう。そのため、位置・姿勢が認識された複数のワークからピッキングするワークを選択する際には、ピッキングする際にロボットの把持機構が他のワークに接触しない事を確認することも必要となるため、さらに処理時間が長くなるという問題もある。
【０００８】
本発明は、上記のような問題点を解決するためになされたもので、位置姿勢が未知な対象物が置かれた対象物集積部の三次元情報から、ロボットの把持機構で把持可能な対象物を含む把持可能領域を抽出する対象物把持領域抽出装置、およびその対象物把持領域抽出装置を用いたロボットシステムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係る対象物把持領域抽出装置は、複数の対象物が任意の位置および姿勢で置かれた対象物集積部から、把持機構を備えたロボットを用いて、対象物を取り出すロボットシステムにおける対象物把持領域抽出装置であって、前記対象物集積部の三次元の計測データを取得する計測装置、前記計測データから前記対象物集積部の三次元情報を生成する三次元情報生成部、前記対象物を把持する際に必要となる領域であって、前記把持機構により定まる把持機構領域と、前記把持機構に把持される前記対象物の把持部分により定まる把持部分領域と、からなる把持領域を予め記憶する把持領域記憶部、前記三次元情報から選択された前記把持領域と大きさが等しい領域であって、前記把持部分領域と大きさが等しい領域全体に物体が存在するが前記把持機構領域と大きさが等しい領域には物体が存在しない領域を、把持可能領域として抽出する把持可能領域抽出部、により構成されていることを特徴とする。
【００１０】
また、本発明に係るロボットシステムは、対象物を把持する把持機構、前記把持機構を備えるロボット、前記ロボットを制御するロボット制御装置、前記対象物把持領域抽出装置、からなるロボットシステムであって、前記ロボット制御装置は、前記対象物把持領域抽出装置から抽出された１以上の前記把持可能領域に関する情報を受け取る把持可能領域受信部と、予め定められた条件を具備する把持可能領域を１つ選択する把持領域選択部と、該選択した把持可能領域にある対象物を前記ロボットの前記把持機構によって把持し、所定の動作をするようにロボットを制御するロボット動作制御部と、から構成されていることを特徴とする。
【発明の効果】
【００１１】
位置姿勢が未知な対象物が置かれた対象物集積部の三次元情報から、個々の対象物の位置・姿勢を特定することなく、ピッキングする際に把持機構が他の対象物に干渉しない把持可能な対象物を含む把持可能領域を抽出することができるため、把持する対象物を短時間で決定する事ができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係るロボットシステムの実施形態の概略構成図である。
【図２】本発明に係る対象物把持領域抽出装置の概略ブロック図である。
【図３】本発明に係るロボットシステムのフローチャートである。
【図４】対象物把持領域抽出装置の第１の実施形態のブロック図である。
【図５】対象物把持領域抽出装置の第１の実施形態における三次元情報である。
【図６】対象物把持領域抽出装置の第１の実施形態における把持領域である。
【図７】対象物把持領域抽出装置の第１の実施形態における把持可能領域の抽出結果である。
【図８】「ワーク供給部の三次元情報生成」の詳細フローチャートである。
【図９】対象物把持領域抽出装置の第１の実施形態における「把持可能領域の抽出」の詳細フローチャートである。
【図１０】対象物把持領域抽出装置の第１の実施形態における他の把持領域である。
【図１１】対象物把持領域抽出装置の第１の実施形態における他の把持可能領域の抽出結果である。
【図１２】対象物把持領域抽出装置の第２の実施形態のブロック図である。
【図１３】対象物把持領域抽出装置の第２の実施形態における把持領域である。
【図１４】対象物把持領域抽出装置の第２の実施形態における「把持可能領域の抽出」の詳細フローチャートである。
【図１５】本発明に係るロボットシステムの実施形態の変形例を示した概略構成図である。
【発明を実施するための形態】
【００１３】
本発明に係るロボットシステムの実施形態について、図を参照しつつ説明する。
図１は、本発明に係るロボットシステムの実施形態の概略構成図である。
図１において、１０１はワーク（対象物）、１１０はワーク１０１が集積される集積トレーである。ワーク１０１は、集積トレー１１０上の任意の位置に任意の姿勢で集積されている。なお、集積トレー１１０上にワーク１０１が山積み状態であっても、積み重ならないように置かれていても良い。
【００１４】
２０１はロボット、２１０はロボット２０１のアーム先端に取り付けられたワーク１０１を把持する把持機構、２２０はロボット２０１および把持機構２１０を制御するロボット制御装置である。ここで、ロボット２０１は各種ロボット（垂直多関節ロボット、水平多関節ロボット、直交ロボット等）を用いることができる。
【００１５】
３０１は集積トレー１１０上の三次元計測を行う三次元計測装置、３１０は三次元計測装置３０１で取得した計測データから、把持機構２１０にてワーク１０１を把持可能な領域を抽出する対象物把持領域抽出装置である。ここで、三次元計測装置３０１は、非接触にて三次元の計測データを取得できる三次元計測装置であり、ステレオカメラや三次元スキャナ等を用いることができる。また、対象物把持領域抽出装置３１０は、三次元計測装置３０１から計測データを取得し、取得したデータを処理し、処理した結果等のデータをロボット制御装置２２０と伝達可能な通信手段を備えたコンピュータ等である。
【００１６】
４０１はロボット２０１にピッキングされたワーク１０１を載置して外部へ搬出する搬出コンベアである。
さらに、ロボット制御装置２２０と対象物把持領域抽出装置３１０とは、互いに情報伝達可能な通信手段を備え、その通信手段によって接続されている。
【００１７】
図２は、対象物把持領域抽出装置の概略ブロック図である。
図２において、３２０は三次元計測装置３０１にて集積トレー１１０上の三次元の計測データを取得し、取得した計測データから後述する把持可能領域抽出部３３０の処理に適した三次元情報を生成する三次元情報生成部である。
【００１８】
ここで、三次元情報とは、三次元座標系の座標軸の１つの方向が予め定められたアプローチ方向と等しい三次元座標系による座標情報である。さらに、アプローチ方向とは、ロボット２０１の集積トレー１１０上のワーク１０１を把持する動作において、把持機構２１０を把持する対象ワーク１０１まで移動させる際の把持機構２１０の移動方向である。
【００１９】
３３０は、三次元情報からワーク１０１を把持可能な把持可能領域を抽出する把持可能領域抽出部である。
３４０は、各種処理に必要な情報を予め記憶、または、一時的に記憶しておく記憶部である。
【００２０】
なお、記憶部３４０には、予め把持領域が記憶されている。ここで、把持領域とは、ワーク１０１を把持する際に必要となる領域であって、把持機構２１０により定まる把持機構領域と、把持機構２１０に把持される前記ワーク１０１の把持部分により定まる把持部分領域と、から構成されている。把持領域は、把持可能領域抽出部３４０にて把持可能な把持可能領域を抽出するのに用いられる。
【００２１】
把持部分領域は、アプローチ方向から三次元計測装置３０１にて認識されるワーク１０１の把持部分の表面形状により定まる。これは、三次元計測装置３０１が、計測領域の表面形状を計測することはできるが、内部形状は計測できないからである。例えば、三次元計測装置３０１がステレオカメラである場合について検討すれば、上記内容は容易に理解できる。ここで、ワーク１０１が底を有する円筒形状であり、アプローチ方向が円筒軸方向である場合について説明する。ワーク１０１の把持部分が円筒底側である場合、表面形状から把持部分の立体形状は円柱形状として把持領域を定める。ワーク１０１の把持部分が円筒開口側である場合、表面形状から把持部分の立体形状は円筒形状として把持部分領域を定める。
【００２２】
把持機構領域は、ワーク１０１を把持機構２１０にて把持する際に把持機構２１０が干渉しないために必要な領域から定まる。ここで干渉する可能性がある物は、把持するワーク１０１を除く他のワーク１０１、集積トレー１１０等である。また、把持機構領域には、ワーク１０１を把持する前後の把持機構の形状により定まる可動領域も含まれる。これは、ワーク１０１を把持機構２１０で把持する前後で、把持機構２１０の形状が変形するため、可動領域に干渉する物がない事確認しないと把持動作ができないからである。さらに、把持機構領域には、ワーク１０１を把持機構２１０で把持した際にできるワーク１０１と把持機構２１０との隙間も含まれる。これは、ワーク１０１が円柱形状で把持機構２１０がコの字形状である場合、ワーク１０１と把持機構２１０との間に隙間ができるが、この隙間に何らかの物があるとワーク１０１を把持できない可能性があるからである。
【００２３】
把持可能領域抽出部３３０では、前記三次元情報から選択された前記把持領域と大きさが等しい領域であって、把持部分領域と大きさが等しい領域全体に物体が存在するが把持機構領域と大きさが等しい領域には物体が存在しない領域を、把持可能領域として抽出する。
【００２４】
次に、図３を用いて、本発明に係るロボットシステムの実施形態におけるピッキング動作について説明する。
ステップＳ１００にて、集積トレー１１０にワーク１０１を供給する。
【００２５】
なお、ワーク１０１の供給方法は所定の位置にワーク１０１が供給可能であれば、適宜自由に選択する事ができる。例えば、集積トレー１１０内のワーク１０１が少なくなったことを検知してパーツフィーダ等でワーク１０１を自動供給するようにして良い。また、集積トレー１１０内にワーク１０１が無くなった場合には、ワーク１０１が山積みされた集積トレー１１０と空の集積トレー１１０とをトレーチェンジャーによって交換することでワーク１０１をロボットシステムに供給しても良い。
【００２６】
ステップＳ２００では、三次元計測装置３０１にて、集積トレー１１０上の三次元の計測データを取得し、取得した計測データからアプローチ方向が座標系の座標軸の方向と等しい三次元情報を生成する。
【００２７】
ステップＳ３００では、三次元情報のうち選択された把持領域と大きさの等しい領域が、抽出条件を具備する場合に把持可能領域として抽出する。ここで、抽出条件は、「三次元情報のうち選択された把持領域と大きさの等しい領域において、把持部分領域と大きさが等しい領域全体に物体が存在するが把持機構領域と大きさが等しい領域には物体が存在しないこと」である。把持可能領域の抽出については、後述する把持可能領域抽出装置の説明にて、詳細に説明する。
【００２８】
ステップ４００では、三次元情報から把持可能領域が抽出できたかを確認する。
把持可能領域が存在した場合には、ステップ５００に進み、把持可能領域の情報をロボット制御装置２２０に伝達する。ロボット制御装置２２０は複数の把持可能領域がある場合には、複数の把持可能領域から１つの把持可能領域を選択する。さらにロボット制御装置２２０はロボット２０１および把持機構２１０を制御し、選択された把持可能領域にあるワーク１０１を把持し、搬出コンベア４０１に移動させる。ワーク１０１の搬出コンベア４０１への移動が完了すると、再びステップＳ２００から処理を開始する。なお、把持可能領域を１つ選択する際には、予め定められた条件を具備する把持可能領域を選択することとなる。例えば、「アプローチ方向の座標値が最も大きい把持可能領域を選択する」ことを選択の条件とすることができる。
【００２９】
ステップ４００にて把持可能領域が存在しない場合には、ステップＳ６００に進み、集積トレー１１０にワーク１０１があるかを確認する。
集積トレー１１０にワーク１０１がない場合には、再びステップＳ１００に戻り、集積トレー１１０にワーク１０１を供給して処理を開始する。
【００３０】
集積トレー１１０にワーク１０１が存在する場合には、ステップＳ７００に進み、集積トレー上のワークの状態を変更する。次に、ステップＳ２００に戻り、再び三次元情報を生成して処理を開始する。
【００３１】
ここで、ワークの状態を変更する方法として、集積トレー１１０の下部に振動装置を設けておき、振動により山積みにされたワーク１０１を崩す方法を採用することができる。また、ロボット２０１にて山積みにされたワーク１０１を崩す方法を採用することもできる。
【００３２】
なお、図１では集積トレー１１０を用いているが、ワーク１０１が三次元計測装置３０１の計測可能範囲に供給されれば、他の供給方法を用いる事ができる。例えば、コンベアによる供給や、専用箱による供給でも良い。
【００３３】
また、ロボット制御装置２２０は、一般に販売されているロボットコントローラでも、汎用コンピュータにモータ制御ボードを搭載した形態でも良い。
さらに、図１では搬出コンベア４０１を用いているが、ワーク１０１が所定の状態で置く事ができれば良く、コンベアに限定されない。例えば、ワーク１個ごとに区切られた専用箱を用い、その区切られた空間にワーク１０１を入れるようにしても良い。また、別の部品が供給され、その部品にワーク１０１を組み付けて次の工程に移動させるようにしても良い。
【００３４】
次に、図を参照しつつ対象物把持領域抽出装置の第１の実施形態について詳細に説明する。
まず、図４は本発明に係る対象物把持領域抽出装置の第１の実施形態のブロック図である。
【００３５】
図４において、３０１は三次元計測装置、３２０ａは三次元情報生成部、３３０ａは把持可能領域抽出部、３４０は記憶部である。
三次元計測装置３０１は、非接触にて三次元の計測データを取得できる三次元計測装置であり、ステレオカメラや三次元スキャナ等である。
【００３６】
記憶部３４０には、三次元計測装置３０１で計測した三次元の計測データにおける各座標軸の方向と、アプローチ方向とが記憶されている。ここで、アプローチ方向とは、ロボット２０１の集積トレー１１０上のワーク１０１を把持する動作において、把持機構２１０を把持する対象ワーク１０１まで移動させる際の把持機構２１０の移動方向である。
【００３７】
三次元情報生成部３２０ａは、三次元計測装置３０１にて取得した計測データから、アプローチ方向を座標軸の１つの方向とする三次元情報を生成する。なお、生成された三次元情報は、記憶部３４０に記憶される。
【００３８】
三次元計測装置３０１で計測した三次元の計測データの座標系を計測座標系とし、アプローチ方向をＺ軸方向とした座標系をアプローチ座標系とする。三次元情報生成部３２０ａは、周知の幾何変換式を用い、計測座標系の計測データをアプローチ座標系の座標値に変換する。計測座標系からアプローチ座標系への変換は、周知の各種幾何変換（アフィン変換、クォータニオン変換等）によって可能であり、任意にその幾何変換の方法は選択できる。
【００３９】
ここで第１の実施形態における生成された三次元情報について、より具体的に説明する。第１の実施形態における三次元情報では、アプローチ座標系の座標値から、ＸＹ平面の各点ごとのＺ軸の最大値からなる情報を三次元情報として生成する。図５は、第１の実施形態における三次元情報を表した図である。図５の三次元情報では、分解能がＸＹ平面全体で３２×３２、図１に示す棒のような直方体のワーク１０１は、ＸＹ平面で２×１０、Ｚ軸座標値で５の大きさとなる。なお、三次元計測装置３０１の計測によっても、計測方向における物体の背後に物体が存在するか否かは判断できないため、計測方向における物体の背後については物体が存在するものとして三次元情報を生成する。なお、図５において横軸がＸ軸の座標値、縦軸がＹ軸の座標値、四角に囲まれた値がＺ軸の座標値である。各点の座標値を（Ｘ，Ｙ，Ｚ）にて表すと、（４，６，５）、（５，１４，１０）、（１８，１６，８）等となる。つまり、（９，３，５），（９，４，５），（９，５，５），（９，６，５），（９，７，５），（１０，３，５），（１０，４，５），（１０，５，５），（１０，６，５），（１０，７，５）の領域や、（６，１７，５），（７，１７，５），（８，１７，５），（９，１７，５），（１０，１７，５），（６，１８，５），（７，１８，５），（８，１８，５），（９，１８，５），（１０，１８，５）の領域は、ワーク１０１が存在する領域となる。
【００４０】
記憶部３４０は、把持領域記憶部３４１をさらに備える。把持領域記憶部３４１には、予め把持領域が記憶されている。ここで、把持領域とは、ワーク１０１を把持する際に必要となる領域であって、把持機構２１０により定まる把持機構領域と、把持機構２１０に把持される前記ワーク１０１の把持部分により定まる把持部分領域と、から構成されている。把持領域は、把持可能領域抽出部３３０ａにて把持可能な把持可能領域を抽出するのに用いられる。
【００４１】
把持領域について具体例を用いて説明する。例えば、図５の三次元情報において、ワーク１０１はＸＹ平面上で２×１０のサイズとなり、Ｚ軸の座標値が５と計測される。ここでワーク１０１の両端の何れか一方を挟むように把持するとき、ワーク１０１の把持部分領域は、図５に示す三次元情報ではＸ軸方向に２、Ｙ軸方向に２となり、把持機構２１０の形状や可動領域等により必要となる把持機構領域は、ワーク１０１の端部の周辺にＸ軸方向に２、Ｙ軸方向に２のスペースにＺ軸座標値でワーク１０１のＺ軸方向の大きさである５以上のスペースが必要となる。
【００４２】
この場合の三次元情報におけるワーク１０１の上側を把持する把持領域記憶部３４１に記憶された把持領域は図６のように表される。図６において、把持領域は、Ｘ座標がｉ−２〜ｉ＋３、Ｙ座標がｊ−２〜ｊ＋１の領域である。把持部分領域は、Ｘ座標がｉ〜ｉ＋１、Ｙ座標がｊ〜ｊ＋１の領域である。把持機構領域は、把持領域から把持部分領域を除いた領域となる。
【００４３】
なお、把持領域は、ワーク１０１および把持機構２１０の形状、大きさ、可動範囲、把ワークを把持したときのワーク１０１と把持機構２１０との位置関係が予め定まっており、把持機構で把持されるワーク１０１の把持部分も予め定まっている。そのため、把持領域は、三次元情報生成部３２０で生成される三次元情報に対応して予め定め、ユーザーが記憶部に記憶させておくことが可能である。
【００４４】
図６のように把持領域を設定した場合、把持領域の２４ブロックのＺ軸方向の値を用いて、ワーク端部の周辺部（２画素相当）がワークサイズ（高さ）以上の高低差（周辺が低い）がある部分を把持可能領域として抽出できる。
【００４５】
把持可能領域抽出部３３０ａは、記憶部３４０に記憶された三次元情報から把持領域記憶部３４１に記憶された把持領域と大きさが等しい領域を選択する。選択された領域について、相対関係演算部３３１にて把持部分領域と把持機構領域のアプローチ方向における座標値の差分値を求め、その差分値から把持部分領域と把持機構領域の相対関係を求める。そして、その相対関係が所定の要件を具備する場合には、選択された領域を把持可能領域として抽出する。
【００４６】
ここで、把持可能領域抽出部３３０ａは、把持部分領域と把持機構領域の相対関係が所定の要件を具備するか否かを判断するため、ワーク１０１の位置・姿勢を別途認識することなく、ワーク１０１を把持するための把持機構２１０の移動領域を特定することができるため、処理時間が短くなる。
【００４７】
把持可能領域抽出部３３０ａの処理内容について、具体例を用いて説明する。相対関係演算部３３１の演算内容は、次のようになる。
まず、図６に例示した把持領域において、把持部分領域と把持機構領域の相対関係は、把持部分領域におけるＸ座標，Ｙ座標で定まる基準位置と、把持機構領域におけるＸ座標，Ｙ座標で定まる所定の比較位置との、Ｚ軸座標値の差分値として求める。次に、求めた差分値がワークのＺ軸方向の大きさである５以上であるか否かを確認する。
【００４８】
例えば、三次元情報から選択された把持領域に等しい領域において、把持部分領域の基準位置（ｉ，ｊ）は、隣接する８箇所の比較位置(i-2,j-2)，(i-2,j-1)，(i-2,j)，(i-1,j-2)，(i-1,j-1)，(i-1,j)，(i,j-2)，(i,j-1)との差分値を求める。また、基準位置（i,j+1）は、隣接する２箇所の比較位置(i-1,j+1)，(i-1,j+1)との差分値を求める。
【００４９】
ここで、p（ｎ）は求める相対関係、z（ｘ，ｙ）は座標（ｘ，ｙ）のときのＺ軸の座標値、if（不等式，True else False）は不等式を具備すればTrueとなりそれ以外はFalseとなるものと定義すると、相対関係演算部３３１の演算内容の具体例は、次の２０の式からなる式（１）を演算することとなる。
【００５０】
p(1)=if(z(i,j) - z(i-2,j-2) >= 5 , 0 else 1)
p(2)=if(z(i,j) - z(i-2,j-1) >= 5 , 0 else 1)
p(3)=if(z(i,j) - z(i-2,j) >= 5 , 0 else 1)
p(4)=if(z(i,j+1) - z(i-1,j+1) >= 5 , 0 else 1)
p(5)=if(z(i,j) - z(i-1,j-2) >= 5 , 0 else 1)
p(6)=if(z(i,j) - z(i-1,j-1) >= 5 , 0 else 1)
p(7)=if(z(i,j) - z(i-1,j) >= 5 , 0 else 1)
p(8)=if(z(i,j+1) - z(i-1,j+1) >= 5 , 0 else 1)
p(9)=if(z(i,j) - z(i,j-2) >= 5 , 0 else 1)
p(10)=if(z(i,j) - z(i,j-1) >= 5 , 0 else 1)
p(11)=if(z(i+1,j) - z(i+1,j-2) >= 5 , 0 else 1)
p(12)=if(z(i+1,j) - z(i+1,j-1) >= 5 , 0 else 1)
p(13)=if(z(i+1,j) - z(i+2,j-2) >= 5 , 0 else 1)
p(14)=if(z(i+1,j) - z(i+2,j-1) >= 5 , 0 else 1)
p(15)=if(z(i+1,j) - z(i+2,j) >= 5 , 0 else 1)
p(16)=if(z(i+1,j+1) - z(i+2,j+1) >= 5 , 0 else 1)
p(17)=if(z(i+1,j) - z(i+3,j-2) >= 5 , 0 else 1)
p(18)=if(z(i+1,j) - z(i+3,j-1) >= 5 , 0 else 1)
p(19)=if(z(i+1,j) - z(i+3,j) >= 5 , 0 else 1)
p(20)=if(z(i+1,j+1) - z(i+3,j+1) >= 5 , 0 else 1) ・・・（１）
なお、式（１）は具体例の一つであり、これに限定されるものではない。予めワーク１０１を把持機構２１０で把持する際に定まる条件を、ユーザが任意に設定することができる。
【００５１】
さらに、把持可能領域抽出部３３０ａは、相対関係演算部３３１で演算した相対関係ｐ（ｎ）から、選択された領域が把持可能領域の条件を具備するか判断し、具備する場合には把持可能領域として抽出する。
【００５２】
具体例として、前記の式（１）にて相対関係が求められている場合には、評価関数Ｐ（ｘ，ｙ）を次の式（２）とし、式（２）を演算してその結果が０である場合に把持可能領域であると判断し、それ以外（１〜２０）の値である場合には、把持可能領域ではないと判断する。ここで、Ｐ（ｘ，ｙ）のｘ，ｙは、三次元情報における座標値であって、前記の選択された領域の把持部分領域の予め定めた位置である。
【００５３】
【数１】
ここで、図５に示した三次元情報から、図６に示した把持領域を用いて、把持可能領域を抽出した例を図７に示す。なお、図７において、グレーで塗りつぶした部分が把持可能領域として抽出した領域であり、各座標の数字は評価関数Ｐ（ｘ，ｙ）の値である。このようにして、本例においては４つの把持可能領域を抽出している。なお、抽出した把持可能領域は記憶部３４０に記憶される。
【００５４】
次に、対象物把持領域抽出装置の第１の実施形態における動作について説明する。なお、対象物把持領域抽出装置における動作は図３に示したロボットシステムのフローチャートのステップＳ２００の「ワーク供給部の三次元情報生成」とステップＳ３００の「把持可能領域の抽出」に該当する。
【００５５】
まず、図８は、ステップＳ２００の「ワーク供給部の三次元情報生成」の詳細フローチャートである。
ステップＳ２１１にて、三次元計測装置３０１にて集積トレー１１０上の三次元の計測データを取得する。次に、ステップＳ２１２にて、周知の幾何変換式を用いて計測座標系の計測データをアプローチ座標系の座標値に変換し、三次元情報を生成する。図５の三次元情報は、第１の実施形態における三次元情報の一例である。
【００５６】
図９は、ステップＳ３００の「把持可能領域の抽出」の詳細フローチャートである。
ステップＳ３２１にて、三次元情報から三次元情報から把持領域記憶部３４１に記憶された把持領域と大きさの等しい領域を選択する。例えば、図６に示した把持領域を用いる場合には、図５に示す三次元情報において、Ｘ座標が７〜１２、Ｙ座標が１〜４の領域を選択する。
【００５７】
ステップＳ３２２において、ステップＳ３２１にて選択された領域について、把持部分領域と把持機構領域のアプローチ方向における座標値の差分値を求め、その差分値から把持部分領域と把持機構領域の相対関係を求める。例えば、図６に示した把持領域を用いる場合には、図５に示す三次元情報において、前記式（１）を計算することとなる。選択された領域のＸ座標が７〜１２、Ｙ座標が１〜４の領域である場合、式（１）のｉ＝9，ｊ＝３となり、式（３）のように計算される。
【００５８】
p(1)=if(5 - 0 >= 5 , 0 else 1) = 0
p(2)=if(5 - 0 >= 5 , 0 else 1) = 0
p(3)=if(5 - 0 >= 5 , 0 else 1) = 0
p(4)=if(5 - 0 >= 5 , 0 else 1) = 0
p(5)=if(5 - 0 >= 5 , 0 else 1) = 0
p(6)=if(5 - 0 >= 5 , 0 else 1) = 0
p(7)=if(5 - 0 >= 5 , 0 else 1) = 0
p(8)=if(5 - 0 >= 5 , 0 else 1) = 0
p(9)=if(5 - 0 >= 5 , 0 else 1) = 0
p(10)=if(5 - 0 >= 5 , 0 else 1) = 0
p(11)=if(5 - 0 >= 5 , 0 else 1) = 0
p(12)=if(5 - 0 >= 5 , 0 else 1) = 0
p(13)=if(5 - 0 >= 5 , 0 else 1) = 0
p(14)=if(5 - 0 >= 5 , 0 else 1) = 0
p(15)=if(5 - 0 >= 5 , 0 else 1) = 0
p(16)=if(5 - 0 >= 5 , 0 else 1) = 0
p(17)=if(5 - 0 >= 5 , 0 else 1) = 0
p(18)=if(5 - 0 >= 5 , 0 else 1) = 0
p(19)=if(5 - 0 >= 5 , 0 else 1) = 0
p(20)=if(5 - 0 >= 5 , 0 else 1) = 0 ・・・（３）
ステップＳ３２３にて、選択された領域が把持可能領域の条件を具備するか判断する。そして、条件を具備する場合にはステップＳ３２４にて把持可能領域として抽出する。条件を具備しない場合には、ステップＳ３２５に進む。
【００５９】
例えば、式（２）の評価関数Ｐ（ｘ，ｙ）を求め、Ｐ（ｘ，ｙ）が０であるか否かを確認し、０である場合には把持可能領域として抽出する。式（３）の計算結果を得た場合には、式（２）の評価関数はＰ（９，３）＝０となり、Ｘ座標が７〜１２、Ｙ座標が１〜４の領域は把持可能領域として抽出される事となる。
【００６０】
ステップＳ３２５では、三次元情報の全領域が選択されたか否かを確認する。全領域が選択されていない場合には、ステップＳ３２１に戻り新たな領域を選択し、以降の処理を繰り返す。全領域が選択された場合には、ステップＳ３２６に進み把持可能領域の抽出を終了する。
【００６１】
なお、対象物把持領域抽出装置の第１の実施形態において、把持領域は図６に示した上側を把持する場合に限定されることはなく、図１０に示す右側を把持する場合の領域としても良い。この場合には、相対関係演算部３３１の演算内容の具体例は、次の式（４）を演算することとなる。
【００６２】
p(1)=if(z(i-1,j) - z(i-1,j-2) >= 5 , 0 else 1)
p(2)=if(z(i-1,j) - z(i-1,j-1) >= 5 , 0 else 1)
p(3)=if(z(i,j) - z(i,j-2) >= 5 , 0 else 1)
p(4)=if(z(i,j) - z(i,j-1) >= 5 , 0 else 1)
p(5)=if(z(i,j) - z(i+1,j-2) >= 5 , 0 else 1)
p(6)=if(z(i,j) - z(i+1,j-1) >= 5 , 0 else 1)
p(7)=if(z(i,j) - z(i+1,j) >= 5 , 0 else 1)
p(8)=if(z(i,j) - z(i+2,j-2) >= 5 , 0 else 1)
p(9)=if(z(i,j) - z(i+2,j-1) >= 5 , 0 else 1)
p(10)=if(z(i,j) - z(i+2,j) >= 5 , 0 else 1)
p(11)=if(z(i-1,j+1) - z(i-1,j+2) >= 5 , 0 else 1)
p(12)=if(z(i-1,j+1) - z(i-1,j+3) >= 5 , 0 else 1)
p(13)=if(z(i,j+1) - z(i,j+2) >= 5 , 0 else 1)
p(14)=if(z(i,j+1) - z(i,j+3) >= 5 , 0 else 1)
p(15)=if(z(i,j+1) - z(i+1,j+1) >= 5 , 0 else 1)
p(16)=if(z(i,j+1) - z(i+1,j+2) >= 5 , 0 else 1)
p(17)=if(z(i,j+1) - z(i+1,j+3) >= 5 , 0 else 1)
p(18)=if(z(i,j+1) - z(i+2,j+1) >= 5 , 0 else 1)
p(19)=if(z(i,j+1) - z(i+2,j+2) >= 5 , 0 else 1)
p(20)=if(z(i,j+1) - z(i+2,j+3) >= 5 , 0 else 1) ・・・（４）
ここで、図５に示した三次元情報から、図１０に示した把持領域を用いて、把持可能領域を抽出した例を図１１に示す。なお、図１１において、グレーで塗りつぶした部分が把持可能領域として抽出した領域であり、各座標の数字は評価関数P(x,y)の値である。このようにして、本例においては２つの把持可能領域を抽出している。
【００６３】
上記のように必要に応じて、下部を掴む場合や左側を掴む場合も、把持領域を把持領域記憶部３４１に記憶し、把持領域に合わせた相対関係の演算式を相対関係演算部３３１に設定することで、任意の把持領域を用いて把持可能領域を抽出することが可能である。勿論、複数の把持領域を把持領域記憶部３４１に記憶し、各把持領域に対応した複数の相対関係の演算式を相対関係演算部３３１に設定しておくこともできる。さらに、把持領域記憶部３４１に記憶する把持領域は１つとして、三次元情報を幾何変換により任意の角度に回転変換し、回転変換後の三次元情報を用いることで、任意の角度での把持可能領域の抽出も可能である。
【００６４】
次に、図を参照しつつ対象物把持領域抽出装置の第２の実施形態について詳細に説明する。なお、対象物把持領域抽出装置の第１の実施形態と共通する部分については、説明を省略する。さらに、説明を簡単にするため、集積トレー１１０上のワーク１０１の状態が、第１の実施形態と第２の実施形態で同じであるものとして説明する。
【００６５】
まず、図１２は本発明に係る対象物把持領域抽出装置の第２の実施形態のブロック図である。
図１２において、３０１は三次元計測装置、３２０ｂは三次元情報生成部、３３０ｂは把持可能領域抽出部、３４０は記憶部である。
【００６６】
三次元計測装置３０１は、非接触にて三次元の計測データを取得できる三次元計測装置であり、ステレオカメラや三次元スキャナ等である。
記憶部３４０には、三次元計測装置３０１で計測した三次元の計測データにおける各座標軸の方向と、アプローチ方向とが記憶されている。
【００６７】
三次元情報生成部３２０ｂは、三次元計測装置３０１にて取得した計測データから、アプローチ方向を座標軸の１つ方向とする三次元情報を生成する。なお、生成された三次元情報は、記憶部３４０に記憶される。
【００６８】
ここで第２の実施形態における生成された三次元情報について、より具体的に説明する。第２の実施形態における三次元情報では、アプローチ座標系のＸ，Ｙ，Ｚで定まる座標値ごとに物体が存在するか否かの情報を三次元情報として生成する。三次元情報の具体例としては、分解能がＸＹＺ空間全体で３２×３２×３２である場合、図１に示す棒のような直方体のワーク１０１が２×１０×５の領域となるものとし、１ブロックごとに物体の存否フラグを有する。物体の存否フラグは、物体が存在する場合に１、物体が存在しない場合に０となる。係る場合、ＸをＸ座標値、ＹをＹ座標値、ＺをＺ座標値、Ｆを物体の存否フラグとすると、三次元情報は（Ｘ，Ｙ，Ｚ，Ｆ）のように表現できる。図５に示した第１の実施形態における三次元情報を、第２の実施形態における三次元情報として表現すると、（１，１，１，０），（１，１，２，０），（１，１，３，０）・・・（１，１，３２，０）・・・（４，６，１，１），（４，６，２，１）・・・（４，６，５，１），（４，６，６，０）・・・（４，６，３２，０）・・・（４，１４，１，１），（４，１４，２，１）・・・（４，１４，１１，１），（４，１４，１２，０）・・・（４，１４，３２，０）・・・となる。なお、三次元計測装置３０１の計測によっても、計測方向における物体の背後に物体が存在するか否かは判断できないため、計測方向における物体の背後については物体が存在するものとして三次元情報を生成する。例えば、Ｘ座標が４〜１３、Ｙ座標が１４〜１５の領域にあるワーク１０１の一端が、Ｘ座標が４〜５、Ｙ座標が６〜１５の領域にあるワーク１０１に積み重なっているものとする。この場合には、Ｘ座標が６〜１２、Ｙ座標が１４〜１５の領域においてワーク１０１の下部（Ｚ軸方向）の領域には物体が存在しない。しかし、第２の実施形態における三次元情報では、物体が存在するものとし、（７，１４，１，１）・・・（７，１４，９，１），（７，１４，１０，０）・・・（７，１４，３２，０）として三次元情報を生成する。
【００６９】
記憶部３４０は、把持領域記憶部３４１をさらに備える。把持領域記憶部３４１には、予め把持領域が記憶されている。
第２の実施形態において把持領域について具体例を用いて説明する。例えば、前記の三次元情報において、ワーク１０１は２×１０×５のスペース、ワーク１０１の両端の何れか一方を挟むように把持するとき、ワーク１０１の把持部分は２×２×５のスペース、把持機構２１０の動作スペースや端を掴むためのワーク１０１の端部の周辺にワーク把持部分を含めて６×４×５のスペース、が必要であるとする。
【００７０】
この場合の三次元情報におけるワーク１０１の上側を把持する把持領域記憶部３４１に記憶された把持領域は図１３のように表される。図１３の把持領域において、実線で描かれているブロックが把持部分領域、点線で描かれているブロックが把持機構領域である。
【００７１】
把持可能領域抽出部３３０ｂは、記憶部３４０に記憶された三次元情報から把持領域記憶部３４１に記憶された把持領域と大きさの等しい領域を選択する。選択された領域について、物体位置特定部３３２にて物体の位置を特定する。そして、その特定された物体の位置に基づいて、把持部分領域と大きさが等しい領域全体に物体が存在するが前記把持機構領域と大きさが等しい領域には物体が存在しない場合には、選択された領域を把持可能領域として抽出する。
【００７２】
ここで、把持可能領域抽出部３３０ｂは、把持領域の物体の位置が所定の要件を具備するか否かを判断するため、ワーク１０１の位置・姿勢を別途認識することなく、ワーク１０１を把持するための把持機構２１０の移動領域を特定することができるため、処理時間が短くなる。
【００７３】
把持可能領域抽出部３３０ｂの処理内容について、具体例を用いて説明する。物体位置特定部３３２の演算内容は、次のようになる。
まず、図１３に例示した把持領域において、把持部分領域における物体の存否と、把持機構領域の物体の存否を求める。物体の存否は、把持領域のブロックごとに物体が存在するか否かを三次元情報の存否フラグＦによって確認する。次に、把持部分領域のブロック全部に物体が存在すること、および、把持機構領域のブロックに物体が存在しないこと、を確認する。つまり、把持部分領域においては三次元情報における物体の存否フラグＦが１であること、把持機構領域においては三次元情報における物体の存否フラグＦが０であること、をブロックごとに確認する。
さらに、把持可能領域抽出部３３０ｂは、物体位置特定部３３２での特定結果から、選択された領域であって前記把持部分領域と大きさが等しい領域全体に物体が存在するが前記把持機構領域と大きさが等しい領域には物体が存在しない場合に、把持可能領域として抽出する。なお、抽出した把持可能領域は記憶部３４０に記憶される。
【００７４】
次に、対象物把持領域抽出装置の第２の実施形態における動作について説明する。なお、対象物把持領域抽出装置における動作は図３に示したロボットシステムのフローチャートのステップＳ２００の「ワーク供給部の三次元情報生成」とステップＳ３００の「把持可能領域の抽出」に該当する。
【００７５】
ステップＳ２００の「ワーク供給部の三次元情報生成」において、詳細フローチャートは、対象物把持領域抽出装置の第１の実施形態の説明に用いた図１０と同じである。
ステップＳ２１１にて、三次元計測器３０１にて集積トレー１１０上の三次元の計測データを取得する。次に、ステップＳ２１２にて、周知の幾何変換式を用い、計測座標系の計測データをアプローチ座標系の座標値に変換し、三次元情報を生成する。
【００７６】
図１４は、ステップＳ３００の「把持可能領域の抽出」の詳細フローチャートである。
ステップＳ３１１にて、三次元情報から三次元情報から把持領域記憶部３４１に記憶された把持領域と大きさの等しい領域を選択する。例えば、図１３に示した把持領域を用いる場合には、三次元情報のＸ座標が７〜１２、Ｙ座標が１〜４、Ｚ座標が１〜５の領域を選択する。
【００７７】
ステップＳ３１２において、ステップＳ３１１にて選択された領域について、把持部分領域と把持機構領域のブロックごとに物体の存否を確認し、把持部分領域と把持機構領域における物体の分布状態を求める。例えば、三次元情報のＸ座標が７〜１２、Ｙ座標が１〜４、Ｚ座標が１〜５の領域が選択されている場合には、把持部分領域の全体に物体が存在し、把持機構領域には物体が存在しないこととなる。
【００７８】
ステップＳ３１３にて、選択された領域が把持可能領域の抽出条件を具備するか判断する。そして、条件を具備する場合にはステップＳ３１４にて把持可能領域として抽出する。条件を具備しない場合には、ステップＳ３１５に進む。
【００７９】
例えば、三次元情報のＸ座標が７〜１２、Ｙ座標が１〜４、Ｚ座標が１〜５の領域が選択されている場合には、把持部分領域の全体に物体が存在し、把持機構領域には物体が存在しないため、当該領域は把持可能領域として抽出される事となる。
【００８０】
ステップＳ３１５では、三次元情報の全領域が選択されたか否かを確認する。全領域が選択されていない場合には、ステップＳ３１１に戻り新たな領域を選択し、以降の処理を繰り返す。全領域が選択された場合には、ステップＳ３１６に進み把持可能領域の抽出を終了する。
【００８１】
なお、対象物把持領域抽出装置の第２の実施形態において、三次元情報から把持領域を用いた把持可能領域の抽出には、周知のパターンマッチング技術を用いることもできる。また、把持領域の形状は図１３に示した例に限定されることはなく、把持部分領域および把持機構領域は任意に各領域の形状を設定する事が可能である。勿論、複数の把持領域を把持領域記憶部３４１に記憶し、把持領域ごとに物体位置特定部３３２にて処理することもできる。さらに、把持領域記憶部３４１に記憶する把持領域は１つとして、三次元情報を幾何変換により任意の角度に回転変換し、回転変換後の三次元情報を用いることで、任意の角度での把持可能領域の抽出も可能である。
【００８２】
対象物把持領域抽出装置の第１および第２の実施形態において、図１５に示すように、三次元計測装置３０１による三次元の計測データは、複数の方向から計測した複数の計測データとすることができる。例えばステレオビジョンを用いて１方向から計測した場合、ステレオビジョンに撮像された物についての三次元の計測データは取得できるが、他の物の影となって撮像されていない物については三次元の計測データは取得できない。よって、計測データを取得できない空間については、把持機構との干渉によるワーク１０１等の破損を避けるため、その空間には物体があるものとして取り扱うのが通常である。しかし、本来は把持可能領域であるが、上記のように計測できない領域には物体があるものとして取り扱うことで、把持可能領域ではないと判断され、正確に把持可能領域を抽出することができない場合もある。つまり、集積トレー１１０上の空間の三次元の計測データは、可能な限り正確に取得することで、より正確に把持可能領域を抽出できる。
【００８３】
複数の方向から計測した計測データは、共通する部分を基準として同一空間にマッピングし、マッピングされた計測データを用いてアプローチ座標系の三次元情報を生成する。このように複数の計測データを用いることで、物体があるものとして取り扱う領域が減り、複数のアプローチ座標系の三次元情報を正確に生成することができる。
【００８４】
なお、複数の計測データを取得するに際し、複数の三次元計測装置３０１を用いても良いし、１つの三次元計測装置３０１を移動させてもよい。勿論、複数の三次元計測装置３０１を用い、さらにその複数の三次元計測装置３０１を移動させても良い。
【００８５】
さらに、アプローチ方向は１方向に限らず、任意の方向を複数設定する事も可能である。係る場合には、アプローチ方向ごとに把持可能領域を抽出することが可能となる。
また、上記いずれの実施形態においても、把持部分が凸部であることを前提に記載されているが、把持部分が凹部であっても良い。把持部分がワークの凹部である場合には、把持機構領域が把持部分領域に囲まれるように設定された把持領域とすることもできる。
【００８６】
さらに、集積トレーに置かれるワークは１種類でなくても良い。複数種類のワークについてワークごとに把持領域を記憶しておけば、集積トレーにおかれた複数種類のワークから、１種類のワークの把持可能領域を抽出することもできる。
【００８７】
上記の対象物把持領域抽出装置では、三次元情報からワーク１０１ごとの位置・姿勢を把握することなく、ワーク１０１が含まれる把持可能領域を抽出するため、把持可能領域を決定する処理時間を短くすることできる。また比較的単純な処理で把持部の検出が可能となるため、演算コストの軽減も可能である。さらに、ワークが部分的にしか見えていなくてもワークの把持部分が見えていれば、把持可能領域として抽出可能である。また、対象となるワークが複雑な形状をしており、位置姿勢の計測や認識が困難な場合でも、ワークの把持部分が比較的単純形状であれば、把持可能領域を抽出することが可能となり、自動化の適用範囲の拡大、効率向上に効果がある。さらに、ロボットシステムでは、上記の対象物把持領域抽出装置を用いているため、短時間でピッキング動作に移ることができ、ピッキング対象のワークを決定するまでのロボット停止時間が短くなり、ロボットの作業効率を上げることができる。また、アプローチ方向を座標軸の一方向とする三次元情報に基づいて把持可能領域を抽出するため、ロボットにて集積トレー上のワークを把持する移動途中で把持機構と他のワークが干渉することがない。
【符号の説明】
【００８８】
１０１ ワーク
１１０ 集積トレー
２０１ ロボット
２１０ 把持機構
２２０ ロボット制御装置
３０１ 三次元計測装置
３１０ 対象物把持領域抽出装置
４０１ 搬出コンベア
【特許請求の範囲】
【請求項１】
複数の対象物が任意の位置および姿勢で置かれた対象物集積部から、把持機構を備えたロボットを用いて、対象物を取り出すロボットシステムにおける対象物把持領域抽出装置であって、
前記対象物集積部の三次元の計測データを取得する計測装置、
前記計測データから前記対象物集積部の三次元情報を生成する三次元情報生成部、
前記対象物を把持する際に必要となる領域であって、前記把持機構により定まる把持機構領域と、前記把持機構に把持される前記対象物の把持部分により定まる把持部分領域と、からなる把持領域を予め記憶する把持領域記憶部、
前記三次元情報から選択された前記把持領域と大きさが等しい領域であって、前記把持部分領域と大きさが等しい領域全体に物体が存在するが前記把持機構領域と大きさが等しい領域には物体が存在しない領域を、把持可能領域として抽出する把持可能領域抽出部、
により構成された対象物把持領域抽出装置。
【請求項２】
前記把持可能領域抽出部は、前記三次元情報から選択された前記把持領域と大きさが等しい領域における前記把持部分領域と前記把持機構領域との相対関係を演算する相対関係演算部を備え、前記相対関係に基づいて前記把持可能領域を抽出することを特徴とする請求項１に記載の対象物把持領域抽出装置。
【請求項３】
前記相対関係演算部は、前記三次元情報から選択された前記把持領域と大きさが等しい領域において、所定の座標軸方向の座標値に関する前記把持部分領域と前記把持機構領域との差分値を演算すること、を特徴とする請求項２に記載の対象物把持領域抽出装置。
【請求項４】
前記把持可能領域抽出部は、前記差分値の全てが所定の条件を具備する場合に、前記抽出条件を具備すると判断することを特徴とする請求項３に記載の対象物把持領域抽出装置。
【請求項５】
前記把持可能領域抽出部は、前記三次元情報に基づいて、前記三次元情報から選択された前記把持領域と大きさが等しい領域に存在する物体の位置を特定する物体位置特定部を備え、前記物体の位置に基づいて前記把持可能領域を抽出することを特徴とする請求項１に記載の対象物把持領域抽出装置。
【請求項６】
前記三次元情報生成部は、ロボット動作において予め定められた前記把持機構の前記対象物へのアプローチ方向を三次元座標系の座標軸の１つとした前記三次元情報を生成することを特徴とする請求項１乃至５の何れか１項に記載の対象物把持領域抽出装置。
【請求項７】
前記三次元情報生成部は、座標系が異なる複数の前記三次元情報を生成すること、を特徴とする請求項１乃至６の何れか１項に記載の対象物把持領域抽出装置。
【請求項８】
前記把持可能領域抽出部は、前記複数の三次元情報ごとに前記把持可能領域を抽出することを特徴とする請求項７に記載の対象物把持領域抽出装置。
【請求項９】
前記把持領域記憶部は、複数の前記把持領域を記憶し、
前記把持可能領域抽出部は、前記複数の把持領域ごとに把持可能領域を抽出することを特徴とする請求項１乃至８の何れか１項に記載の対象物把持領域抽出装置。
【請求項１０】
前記計測装置は、座標系が異なる複数の前記三次元の計測データを取得すること、を特徴とする請求項１乃至９の何れか１項に記載の対象物把持領域抽出装置。
【請求項１１】
前記三次元情報生成部は、前記座標系が異なる複数の三次元の計測データを同一空間にマッピングし、該マッピングした複数の計測データに基づいて前記三次元情報を生成すること、を特徴とする請求項１０に記載の対象物把把持域抽出装置。
【請求項１２】
対象物を把持する把持機構、前記把持機構を備えるロボット、前記ロボットを制御するロボット制御装置、請求項１乃至１１の何れか１項に記載の対象物把持領域抽出装置、からなるロボットシステムにおいて、
前記ロボット制御装置は、
前記対象物把持領域抽出装置から抽出された１以上の前記把持可能領域に関する情報を受け取る把持可能領域受信部と、
予め定められた条件を具備する把持可能領域を１つ選択する把持領域選択部と、
該選択した把持可能領域にある対象物を前記ロボットの前記把持機構によって把持し、所定の動作をするようにロボットを制御するロボット動作制御部と、
から構成されていることを特徴とするロボットシステム。
【請求項１３】
前記対象物把持領域抽出装置の三次元情報生成部は、前記対象物を把持したロボットが前記所定の動作を完了した後に、前記供給部の三次元の計測データを取得し、改めて前記三次元情報を生成すること、を特徴とする請求項１２に記載のロボットシステム。
【請求項１】
複数の対象物が任意の位置および姿勢で置かれた対象物集積部から、把持機構を備えたロボットを用いて、対象物を取り出すロボットシステムにおける対象物把持領域抽出装置であって、
前記対象物集積部の三次元の計測データを取得する計測装置、
前記計測データから前記対象物集積部の三次元情報を生成する三次元情報生成部、
前記対象物を把持する際に必要となる領域であって、前記把持機構により定まる把持機構領域と、前記把持機構に把持される前記対象物の把持部分により定まる把持部分領域と、からなる把持領域を予め記憶する把持領域記憶部、
前記三次元情報から選択された前記把持領域と大きさが等しい領域であって、前記把持部分領域と大きさが等しい領域全体に物体が存在するが前記把持機構領域と大きさが等しい領域には物体が存在しない領域を、把持可能領域として抽出する把持可能領域抽出部、
により構成された対象物把持領域抽出装置。
【請求項２】
前記把持可能領域抽出部は、前記三次元情報から選択された前記把持領域と大きさが等しい領域における前記把持部分領域と前記把持機構領域との相対関係を演算する相対関係演算部を備え、前記相対関係に基づいて前記把持可能領域を抽出することを特徴とする請求項１に記載の対象物把持領域抽出装置。
【請求項３】
前記相対関係演算部は、前記三次元情報から選択された前記把持領域と大きさが等しい領域において、所定の座標軸方向の座標値に関する前記把持部分領域と前記把持機構領域との差分値を演算すること、を特徴とする請求項２に記載の対象物把持領域抽出装置。
【請求項４】
前記把持可能領域抽出部は、前記差分値の全てが所定の条件を具備する場合に、前記抽出条件を具備すると判断することを特徴とする請求項３に記載の対象物把持領域抽出装置。
【請求項５】
前記把持可能領域抽出部は、前記三次元情報に基づいて、前記三次元情報から選択された前記把持領域と大きさが等しい領域に存在する物体の位置を特定する物体位置特定部を備え、前記物体の位置に基づいて前記把持可能領域を抽出することを特徴とする請求項１に記載の対象物把持領域抽出装置。
【請求項６】
前記三次元情報生成部は、ロボット動作において予め定められた前記把持機構の前記対象物へのアプローチ方向を三次元座標系の座標軸の１つとした前記三次元情報を生成することを特徴とする請求項１乃至５の何れか１項に記載の対象物把持領域抽出装置。
【請求項７】
前記三次元情報生成部は、座標系が異なる複数の前記三次元情報を生成すること、を特徴とする請求項１乃至６の何れか１項に記載の対象物把持領域抽出装置。
【請求項８】
前記把持可能領域抽出部は、前記複数の三次元情報ごとに前記把持可能領域を抽出することを特徴とする請求項７に記載の対象物把持領域抽出装置。
【請求項９】
前記把持領域記憶部は、複数の前記把持領域を記憶し、
前記把持可能領域抽出部は、前記複数の把持領域ごとに把持可能領域を抽出することを特徴とする請求項１乃至８の何れか１項に記載の対象物把持領域抽出装置。
【請求項１０】
前記計測装置は、座標系が異なる複数の前記三次元の計測データを取得すること、を特徴とする請求項１乃至９の何れか１項に記載の対象物把持領域抽出装置。
【請求項１１】
前記三次元情報生成部は、前記座標系が異なる複数の三次元の計測データを同一空間にマッピングし、該マッピングした複数の計測データに基づいて前記三次元情報を生成すること、を特徴とする請求項１０に記載の対象物把把持域抽出装置。
【請求項１２】
対象物を把持する把持機構、前記把持機構を備えるロボット、前記ロボットを制御するロボット制御装置、請求項１乃至１１の何れか１項に記載の対象物把持領域抽出装置、からなるロボットシステムにおいて、
前記ロボット制御装置は、
前記対象物把持領域抽出装置から抽出された１以上の前記把持可能領域に関する情報を受け取る把持可能領域受信部と、
予め定められた条件を具備する把持可能領域を１つ選択する把持領域選択部と、
該選択した把持可能領域にある対象物を前記ロボットの前記把持機構によって把持し、所定の動作をするようにロボットを制御するロボット動作制御部と、
から構成されていることを特徴とするロボットシステム。
【請求項１３】
前記対象物把持領域抽出装置の三次元情報生成部は、前記対象物を把持したロボットが前記所定の動作を完了した後に、前記供給部の三次元の計測データを取得し、改めて前記三次元情報を生成すること、を特徴とする請求項１２に記載のロボットシステム。
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１２】
【図１４】
【図１】
【図６】
【図７】
【図１０】
【図１１】
【図１３】
【図１５】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１２】
【図１４】
【図１】
【図６】
【図７】
【図１０】
【図１１】
【図１３】
【図１５】
【公開番号】特開２０１１−９３０５８（Ｐ２０１１−９３０５８Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２５０９１６（Ｐ２００９−２５０９１６）
【出願日】平成２１年１０月３０日（２００９．１０．３０）
【出願人】（０００００５２３４）富士電機ホールディングス株式会社 (3,146)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１０月３０日（２００９．１０．３０）
【出願人】（０００００５２３４）富士電機ホールディングス株式会社 (3,146)
【Ｆターム（参考）】
[ Back to top ]