説明

立体視ロボットピッキング装置

【課題】カメラとワークの間隔が長くなるのを抑制し、ステレオ方式でワークの3次元位置を算出しロボットの吸引部の配置位置を決める立体視ロボットピッキング装置を提供する。
【解決手段】コンテナ11内のワーク12を順次ロボット13によって別位置に移動する立体視ロボットピッキング装置10において、ワーク取出し位置18までコンテナ11を送る移動手段14と、ワーク取出し位置18にあるコンテナ11全体を撮像するカメラ15と、ワーク取出し位置18にあるコンテナ11を部分的に撮像するカメラ16と、カメラ15、16が撮像した各画像中のワーク12をパターンマッチングによって検出して、各画像中でのワーク12の2次元位置を算出する画像処理手段23とを有し、カメラ15、16は、コンテナ11の移動方向に沿って配置され、画像処理手段23は、カメラ15、16の各画像中のワーク12の2次元位置からワーク12の3次元位置を算出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ステレオ画像でワーク(物品)の3次元位置を検出しロボットを用いてワークを仕分けする立体視ロボットピッキング装置に関する。
【背景技術】
【0002】
ワーク(物品)の仕分け現場では、コンテナ内に配列されたワークをロボットにより上方から吸着保持して別のコンテナに移すロボットピッキング装置が用いられている。
ロボットピッキング装置はワークの高さ位置に基づいてロボットの吸引部をワークの吸着が可能な高さに配置する。ワークの高さ位置が一定である場合、ワークを吸着するためのロボットの吸引部の高さは固定することができる。
しかしながら、ワークが食品を封入した袋物の場合、袋の膨らみや食品の出来上がりの大きさ等にバラつきがあり、ロボットの吸引部を常に一定の高さにすると、吸引部とワークの袋部分の間に大きな隙間が生じてワークを吸着できなかったり、ロボットのハンド部がワークを押しすぎて食品の変形や袋の割れ等が生じたりする。また、ワークが配列されたコンテナの底面の歪みによっても配列位置でワークの高さ位置にバラつきが生じる。
【0003】
この問題を回避するため、ワークを吸着保持する前にワークの高さ位置を検出してロボットの吸引部を配置すべき高さを決定するのが有効である。
ワークの高さ位置を検出する方法として、対となるカメラでワークを撮像した画像を基にワークの3次元位置を算出するステレオ方式が知られており、その具体例が特許文献1に記載されている。
特許文献1では、対となるカメラの撮像範囲の重なる領域でワークを撮像し、その撮像された各画像中で予め定義しておいたワークの参照点を検出し、参照点の画像中での2次元位置からワークの3次元位置を算出している。
また、撮像方向が平行な対となるカメラを用いれば、3次元位置の算出を行うためのプログラム等の設計を簡略化することができる。この場合、ワークの大きさ等に応じて、ワークとカメラの間隔を長くして、カメラの撮像範囲の重なる領域を広げ、各カメラが撮像範囲の重なる領域でワークを撮像可能にすることが考えられる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−90183号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、カメラとワークの間隔が長くなると撮像画像中のワークの大きさが小さくなり、ワークの画像分解能が低くなるという問題が生じる。
本発明は、かかる事情に鑑みてなされるもので、カメラとワークの間隔が長くなるのを抑制し、高い分解能を保有した画像を基にパターンマッチングによりワークの検出を行って、ステレオ方式でワークの3次元位置を算出しロボットの吸引部の配置位置を決める立体視ロボットピッキング装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的に沿う本発明に係る立体視ロボットピッキング装置は、コンテナ内に収容されたワークを順次ロボットによって別位置に移動する立体視ロボットピッキング装置において、前記ワークを吸着保持する吸引部が設けられた前記ロボットと、前記コンテナを所定ピッチ移動させて、前記吸引部が該コンテナ内に収容された前記ワークを吸着保持可能なワーク取出し位置まで該コンテナを送る移動手段と、前記ワーク取出し位置にある前記コンテナ全体を撮像する1台のカメラAと、前記ワーク取出し位置にある前記コンテナを部分的に撮像する1台又は2台のカメラBと、前記カメラA、Bで撮像した各画像中の前記ワークの2次元位置から該ワークの3次元位置を算出する画像処理手段と、前記画像処理手段で算出した前記ワークの3次元位置を基に前記吸引部の配置目標位置を決定し、前記ロボットを動かして前記ワークを吸着保持させる制御手段とを有し、前記カメラA、Bは、前記コンテナの移動方向に沿って配置され、前記画像処理手段は、前記カメラA、Bが撮像した各画像中での前記ワークをパターンマッチングによって検出して、前記カメラA、Bにより撮像された該ワークの各画像中の2次元位置を算出する。
【0007】
本発明に係る立体視ロボットピッキング装置において、前記カメラBは、1台であって、前記コンテナの移動方向に沿って前記ワーク取出し位置より前記コンテナの移動ピッチ上流側にある前記コンテナの、少なくとも下流側半分を撮像可能で、かつ、前記ワーク取出し位置にある前記コンテナの、少なくとも上流側半分を撮像可能な位置に配置され、前記画像処理手段は、前記コンテナの移動方向に沿って前記ワーク取出し位置より前記コンテナの移動ピッチ分上流側にあった前記コンテナを前記カメラBによって撮像した画像と前記ワーク取出し位置にある該コンテナを前記カメラAによって撮像した画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の、下流側半分にある前記ワークの3次元位置を算出し、前記ワーク取出し位置にある該コンテナを前記カメラA、Bで撮像した各画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の、上流側半分にある前記ワークの3次元位置を算出するのが好ましい。
【0008】
本発明に係る立体視ロボットピッキング装置において、前記カメラBは2台あって、一方の該カメラBは、前記ワーク取出し位置にある前記コンテナの、少なくとも前記コンテナの移動方向の上流側半分を撮像可能な位置に配置され、他方の前記カメラBは前記ワーク取出し位置にある前記コンテナの、少なくとも下流側半分を撮像可能な位置に配置され、前記画像処理手段は、前記ワーク取出し位置にある前記コンテナを前記カメラA及び前記一方のカメラBで撮像した各画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の上流側半分にある前記ワークの3次元位置を算出し、前記ワーク取出し位置にある前記コンテナを前記カメラA及び前記他方のカメラBで撮像した各画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の下流側半分にある前記ワークの3次元位置を算出することができる。
【0009】
本発明に係る立体視ロボットピッキング装置において、前記制御手段は、前記画像処理手段によって算出された前記ワークの3次元位置まで予め定められた間隔を有する位置を前記吸引部の配置目標位置として決定するのが好ましい。
【0010】
本発明に係る立体視ロボットピッキング装置において、前記カメラA、Bの各撮像方向は平行であるのが好ましい。
【発明の効果】
【0011】
本発明に係る立体視ロボットピッキング装置は、ワーク取出し位置にあるコンテナ全体を撮像する1台のカメラAと、ワーク取出し位置にあるコンテナを部分的に撮像する1台又は2台のカメラBとを有し、カメラA、Bが撮像した各画像中のワークをパターンマッチングによって検出して、カメラA、Bにより撮像された各画像中でのワークの2次元位置を算出するので、カメラBは、ワーク取出し位置にあるコンテナ全体を撮像する場合に比べ、ワーク取出し位置にあるコンテナとの距離を近づけて配置でき、画像中にワークを大きくとらえて、画像処理手段によるワークの検出精度の向上を図ることができる。
【0012】
本発明に係る立体視ロボットピッキング装置において、カメラBが1台である場合には、合計2台のカメラによってコンテナ内のワークの3次元位置を算出するための画像を得ることができ、カメラの数を最小限に抑えることが可能である。
また、ワーク取出し位置よりコンテナの移動ピッチ分上流側にあったコンテナをカメラBによって撮像した画像とワーク取出し位置にあるコンテナをカメラAによって撮像した画像を基に、ワーク取出し位置に配置されたコンテナ内の、下流側半分にあるワークの3次元位置を算出し、ワーク取出し位置にあるコンテナをカメラA、Bで撮像した各画像を基に、ワーク取出し位置に配置されたコンテナ内の、上流側半分にあるワークの3次元位置を算出する場合には、コンテナの上流側半分及び下流側半分に分けて確実にコンテナ内のワークの3次元位置を算出することができる。
【0013】
本発明に係る立体視ロボットピッキング装置において、カメラBが2台あって、画像処理手段が、ワーク取出し位置にあるコンテナをカメラA及び一方のカメラBで撮像した各画像を基に、ワーク取出し位置に配置されたコンテナ内の上流側半分にあるワークの3次元位置を算出し、ワーク取出し位置にあるコンテナをカメラA及び他方のカメラBで撮像した各画像を基に、ワーク取出し位置に配置されたコンテナ内の下流側半分にあるワークの3次元位置を算出する場合、カメラA及び一方のカメラBで形成したステレオカメラと、カメラA及び他方のカメラBで形成したステレオカメラとによって、コンテナ内の全てのワークの3次元位置を確実に算出することができる。
【0014】
本発明に係る立体視ロボットピッキング装置において、制御手段が、画像処理手段によって算出されたワークの3次元位置まで予め定められた間隔を有する位置を吸引部の配置目標位置として決定する場合には、ロボットの吸引部が、配置目標位置に配置された際に、ワークを吸引できない位置に配置されたり、ワークを押して破損させたりするのを防止することができる。
【0015】
本発明に係る立体視ロボットピッキング装置において、カメラA、Bの各撮像方向が平行である場合には、カメラA、Bによって平行ステレオカメラを形成でき、ワークの3次元位置を算出する際の演算式の簡略化を図ることができる。
【図面の簡単な説明】
【0016】
【図1】本発明の一実施の形態に係る立体視ロボットピッキング装置の側面図である。
【図2】同立体視ロボットピッキング装置に適用されるコンテナの配置を示す説明図である。
【図3】同立体視ロボットピッキング装置のブロック図である。
【図4】(A)、(B)は、同立体視ロボットピッキング装置のカメラによるコンテナの撮像を示す説明図である。
【図5】(A)、(B)は、同立体視ロボットピッキング装置のカメラによるコンテナの撮像を示す説明図である。
【図6】ワークのZ座標の算出方法を示す説明図である。
【図7】同立体視ロボットピッキング装置の変形例の側面図である。
【発明を実施するための形態】
【0017】
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図1、図2に示すように、本発明の一実施の形態に係る立体視ロボットピッキング装置10は、ワーク(物品)12の仕分け現場等に設置され、コンテナ11内に収容された複数のワーク12を順次ロボット13によって別位置に移動する装置である。以下、詳細に説明する。
【0018】
コンテナ11は、図2に示すように、ワーク12を収容するためのプラスチック製の容器であり上部が開口している。コンテナ11内には、縦横に配列された複数のワーク12が収容されている。
ワーク12は、本実施の形態において、食品(例えばパン)を袋詰めしたものであり、各ワーク12は食品の大きさや袋内の空気量のバラつき等によって、水平配置されたコンテナ11内に収容された状態で高さが不揃いである。
【0019】
立体視ロボットピッキング装置10は、図1に示すように、コンテナ11を送るベルトコンベア(移動手段の一例)14と、ベルトコンベア14上のコンテナ11を撮像する1台のカメラ15(カメラA)及び1台のカメラ16(カメラB)と、ワーク12を保持するロボット13を有している。
ロボット13には、ワーク12を吸着保持する吸引部17(本実施の形態では、真空パッド)が設けられており、ロボット13は、コンテナ11内に収容されているワーク12を吸引部17で吸着保持して別位置にあるコンテナに収容する。
【0020】
ワーク12の収容先であるコンテナには、収容すべきワーク12の個数が予め定められている。ロボット13はその定められた個数のワーク12をコンテナに収容する。
ロボット13はベルトコンベア14の上方で支持フレーム21に固定されたパラレルリンクロボットであり、予め定められた範囲内で吸引部17を所望の位置に配置することができる。
【0021】
ベルトコンベア14は1回の作動によりベルトコンベア14上に載せられた複数のコンテナ11を所定ピッチ移動させることができ、その移動ピッチP(図2参照)は設定によって変更可能である。
ベルトコンベア14はコンテナ11を間欠的に移動ピッチP(所定ピッチ)移動させて、ロボット13の吸引部17がコンテナ11内に収容されたワーク12を吸着保持可能なワーク取出し位置18まで各コンテナ11を順次送る。
【0022】
ベルトコンベア14は、サーボモータ19(図3参照)を備えており、サーボモータ19を所定数回転することによってベルトコンベア14上のコンテナ11を移動ピッチPだけ正確に移動させることができる。
ベルトコンベア14上の複数のコンテナ11は、図2に示すように、移動ピッチPと同ピッチで配置されており、隣り合うコンテナ11にはそれぞれ長さDの間隔が設けられている。各コンテナ11は、サーボモータ19の駆動と停止の繰り返しによって、順次ワーク取出し位置18で停止し、ロボット13によって必要数のワーク12が取出された後に、ワーク取出し位置18から移動する。
【0023】
カメラ15、16は、支持フレーム21に固定部材22を介して取り付けられ、ベルトコンベア14の上方でコンテナ11の移動方向に沿って配置されている。カメラ15、16の各撮像方向は実質的に平行に保たれており、カメラ15、16は上方からコンテナ11とコンテナ11内にあるワーク12を撮像する。
カメラ15、16は実質的に同一高さに設けられ、カメラ15はワーク取出し位置18にあるコンテナ11全体を撮像可能な位置に配置され、カメラ16はワーク取出し位置18にあるコンテナ11を部分的に撮像可能な位置に配置されている。また、カメラ15、16は同仕様のカメラであり、画素数、視野角、焦点距離等が同一である。
【0024】
カメラ15、16には、図3に示すように、カメラ15、16で撮像した各画像中のワーク12の2次元位置からワーク12の3次元位置を算出する画像処理手段23が信号接続されている。
画像処理手段23は、カメラ15、16からカメラ15、16が撮像した各画像をそれぞれ取得して、パターンマッチングによって各画像中に存在しているワーク12を検出し、各画像中でのワーク12の2次元位置を算出(検知)する。画像処理手段23は、各種ワークごとに各ワークに印字されている文字や図柄等をマッチング用のサンプルとして記憶しており、カメラ15、16によって撮像された各画像に対しマッチング用のサンプルを基にしたワークの検出処理を行う。
画像処理手段23は、マイクロコンピュータ、メモリー及びROM等によって構成され、ROMにはワーク12の3次元位置を算出するためのプログラム等が格納されている。
【0025】
また、画像処理手段23には、サーボモータ19及びロボット13に指令信号を送信して動作制御を行う制御手段24が信号接続されている。
制御手段24は、サーボモータ19に停止用の指令信号を送信してベルトコンベア14を停止させ、画像処理手段23に指令信号を送信してカメラ15、16に停止中のコンテナ11を撮像させる。
制御手段24は、画像処理手段23にカメラ15、16によって撮像された画像に基づいてコンテナ11内のワーク12の3次元位置を算出させ、ロボット13にワーク取出し位置18にあるコンテナ11に収容されているワーク12を順次、収容先のコンテナ内に移動させる。そして、ワーク取出し位置18にあるコンテナ11から必要数のワーク12を取出した後、制御手段24は、作動用の指令信号をサーボモータ19に送信して、ベルトコンベア14上のコンテナ11を移動ピッチPだけ移動させる。
【0026】
カメラ16は、図1に示すように、コンテナ11の移動方向に沿ってカメラ15の上流側に設けられ、ワーク取出し位置18よりコンテナ11の移動ピッチP分上流側にあるコンテナ11の少なくとも下流側半分を撮像可能な位置に配置されている。
以下、ワーク取出し位置18よりコンテナの移動ピッチP分上流側にあるコンテナ11の位置を取出し手前位置25ともいう。
【0027】
また、カメラ16の配置位置は、カメラ16がワーク取出し位置18にあるコンテナ11の少なくとも上流側半分を撮像可能な位置でもある。
従って、カメラ16は、1つの画面中に取出し手前位置25にあるコンテナ11の少なくとも下流側半分とワーク取出し位置18にあるコンテナ11の少なくとも上流側半分を撮像することができる。
【0028】
画像処理手段23は、取出し手前位置25にあったコンテナ11をカメラ16によって撮像した画像と、その後に移動ピッチP移動しワーク取出し位置18に配置された同じコンテナ11(即ち取出し手前位置25でカメラ16によって撮像されたコンテナ11)をカメラ15によって撮像した画像を基にして、ワーク取出し位置18に配置されたコンテナ11内の、下流側半分にあるワーク12の3次元位置を算出する。
そして、画像処理手段23は、ワーク取出し位置18にあるコンテナ11をカメラ15、16で撮像した各画像を基にしてワーク取出し位置18に配置されたコンテナ11内の上流側半分にあるワーク12の3次元位置を算出する。
【0029】
以下、ベルトコンベア14によるコンテナ11の移動方向にY軸をとり、垂直(鉛直)方向にZ軸をとり、Y軸及びZ軸に対して直交する方向にX軸をとって、ワーク12の3次元位置の算出方法を説明する。
カメラ15、16は、撮像中心方向がZ軸に沿い、かつ、カメラ15、16によって撮像される各画像の左右方向及び上下方向が、それぞれX軸及びY軸に沿う(図4、図5参照)ように向きが調整されている。
なお、ベルトコンベア14上のコンテナ11は、Y軸のマイナス向きに移動する(図1、図2参照)。
【0030】
画像処理手段23は、カメラ15によって撮像した画像中のワーク12の平面位置(即ち2次元位置)から、ワーク取出し位置18にあるコンテナ11内の各ワーク12のXY座標を算出し、カメラ15、16によって撮像された2つの画像からワーク取出し位置18にあるコンテナ11内の各ワーク12のZ座標を算出する。
従来、ワークのZ座標は、対となるカメラでワークを撮像した画像を基に算出可能であることが知られており、その算出式は式1に示す通りである。
Z=(S×R)/△Y (式1)
【0031】
Sは対となるカメラの各光学中心間の距離、Rは対となるカメラの焦点距離、△Yは視差である。
本実施の形態では、図6に示すように、対となるカメラ15、16の光学中心間の距離はs1である。
焦点距離は、カメラモデルにおいて光学中心とカメラが撮像する画像間の距離であり、カメラ15、16は焦点距離が等しく共にr1である。
視差は、対となるカメラで同一のワークを撮像した際に、一方のカメラの画像中におけるそのワークの位置と他方のカメラの画像中におけるそのワークの位置の差である。本実施の形態では、カメラ15、16によって平行ステレオカメラが構成されており、カメラ15、16によって撮像された同一のワーク12は、各画像中でのX座標が等しい。従って、カメラ15、16の各画像中でのY座標の差が視差になる。
【0032】
カメラ15、16はベルトコンベア14が停止中に撮像を行い、カメラ15は、図4(A)に示すようにコンテナ11全体を撮像し、カメラ16は、図4(B)に示すようにワーク取出し位置18にあるコンテナ11の上流側半分と取出し手前位置25にあるコンテナ11の下流側半分を撮像する。
画像処理手段23は、カメラ15の画像中における各ワーク12の平面位置から、ワーク取出し位置18にあるコンテナ11内の全てのワーク12についてXY座標を算出する。
【0033】
また、画像処理手段23は、ワーク取出し位置18にあるコンテナ11の上流側半分に収容されているワーク12とワーク取出し位置18にあるコンテナ11の下流側半分に収容されているワーク12に分けて、ワーク12のZ座標を算出する。
同じタイミング(即ちベルトコンベア14が停止してから作動するまでの間のタイミング)で撮像されたカメラ15、16の各画像には共に、図4(A)、(B)に示すようにワーク取出し位置18にあるコンテナ11の上流側半分に収容されたワーク12が全て映っている。画像処理手段23は、コンテナ11の上流側半分に収容された全てのワーク12について、カメラ15の画像中の平面位置とカメラ16の画像中の平面位置とを基に視差を求める。そして、画像処理手段23は、この求めた視差とS=s1、R=r1を式1に代入してワーク取出し位置18にあるコンテナ11の上流側半分に収容されたワーク12全てについてZ座標を算出する。
【0034】
ワーク取出し位置18にあるコンテナ11の下流側半分に収容されたワーク12は、図5(A)に示すカメラ15で撮像した最新の画像とワーク取出し位置18にあるコンテナ11が取出し手前位置25に停止していた際(以下、「1つ前のタイミング」ともいう)にカメラ16で撮像した図5(B)に示す画像に映っている。
このため画像処理手段23は、カメラ15の最新の画像とカメラ16が1つ前のタイミングで撮像した画像を用いて、各画像中におけるワーク12の平面位置から、コンテナ11の下流側半分にあるワーク12それぞれについて視差を求める。そして、画像処理手段23は、この求めた視差を基に式1によってワーク取出し位置18にあるコンテナ11の下流側半分に収容されたワーク12のZ座標を算出する。
【0035】
このとき、式1のRにはr1が代入され、SにはP−s1が代入される(Pはコンテナ11の移動ピッチ)。Sにs1ではなく、P−s1を代入するのは、取出し手前位置25でカメラ16によって撮像されたコンテナ11がワーク取出し位置18に移動してカメラ15で撮像されるためである。本実施の形態では、カメラ15、16の光学中心間の距離s1がコンテナ11の移動ピッチPの半分(即ちP=2×s1)になる位置に、カメラ15、16を配置しており、結局のところSにはs1が代入される。
【0036】
また、ワーク12の視差を求める際、画像処理手段23は、カメラ15によって撮像された複数のワーク12とカメラ16によって撮像された複数のワーク12について、ワーク12ごとに対応付け、即ち同一のワーク12の特定が必要となる。
このワーク12の対応付けは、カメラ15、16の各画像中におけるワーク12の平面位置を基にして行われる。例えば、図4(B)に示すカメラ16の画像中で”W1”を付したワーク12は、その画像中での位置から、図4(A)に示すカメラ15の画面中で”W1”を付したワーク12であるという対応付けが可能である。また、1つ前のタイミングでカメラ16によって撮像された図5(B)に示す”W2”を付したワーク12は、その画像中での平面位置から、カメラ15の最新の画面中で図5(A)に示す”W2”を付したワーク12であるという対応付けができる。
【0037】
ここで、カメラ15、16からベルトコンベア14上のコンテナ11までの距離に着目すると、その距離を短くすれば、カメラ15、16の各画像中に映るワーク12の大きさは大きくなって、パターンマッチングによるワーク12の検出精度が上昇することになる。
そこで、ワーク12の3次元位置を算出するアルゴリズムを変えず、カメラ15、16を同一高さに配置するという前提で、カメラ15、16とベルトコンベア14上のコンテナ11の距離を最も近くする条件について考えると、以下に示す条件となる。
(1)カメラ15の撮像中心をワーク取出し位置18にあるコンテナ11の中心に配置する。
(2)カメラ16の撮像中心をワーク取出し位置18にあるコンテナ11と取出し手前位置25にあるコンテナ11の中間点に配置する。
(3)上記(1)、(2)の条件を満たした上で、カメラ15がワーク取出し位置18にあるコンテナ11全体を撮像可能で、しかもカメラ16がワーク取出し位置18にあるコンテナ11の上流側半分及び取出し手前位置25にあるコンテナ11の下流側半分を撮像可能な高さに、カメラ15、16をそれぞれ配置する。
【0038】
また、画像処理手段23は、ワーク取出し位置18にあるコンテナ11内に収容された各ワーク12の3次元位置をそれぞれ算出した後、その算出結果を制御手段24に送信する。
制御手段24は、画像処理手段23が算出した各ワーク12の3次元位置を基にして、ワーク12ごとにロボット13が吸引部17によってワーク12を吸着保持可能な吸引部17の配置目標位置(以下、「吸引部配置目標位置」ともいう)を決定する。
そして、制御手段24は、ロボット13を動かしてロボット13の吸引部17を一のワーク12に対応する吸引部配置目標位置に配置し、吸引部17に吸引を行わせてそのワーク12を吸着保持させ、収容先のコンテナに移動する。このようにして、コンテナ11内のワーク12は順次収容先のコンテナに移動される。
【0039】
本実施の形態では、画像処理手段23によって算出されたワーク12の3次元位置に対して上方(真上)に予め定められた間隔を有する位置を吸引部配置目標位置としている。ロボット13の吸引部17は、吸引部配置目標位置に配置され、吸引を行ってワーク12を吸着保持する。このようにワーク12まで間隔を有する位置を吸引部配置目標位置にすることによって、ロボット13の吸引部17が吸引を行う際にワーク12を押さえ付けて破損等するのを回避できる。
吸引部配置目標位置はワークの上方位置に限定されず、吸引を行う際のワークに対するロボットの吸着部の位置に応じて決定することができる。例えば、ロボットの吸引部がワークを斜め上から吸引する場合、画像処理手段が算出したワークの3次元位置に対し、斜め上の方向に予め定められた間隔を有する位置が吸引部配置目標位置となる。
なお、制御手段24は、マイクロコンピュータ、メモリー及びROM等によって構成され、ROMには吸引部配置目標位置を決定するためのプログラム等が格納されている。
【0040】
以上、2台のカメラを有する立体視ロボットピッキング装置10について説明したが、カメラを3台用いてコンテナ11内のワーク12の3次元位置を検出し、吸引部配置目標位置を決定することもできる。
立体視ロボットピッキング装置10の変形例である立体視ロボットピッキング装置10aは、図7に示すように、3台のカメラ15、16a、16b(即ち、1台のカメラAと2台のカメラB)を備えている。立体視ロボットピッキング装置10aは、主としてカメラ数が多い点及びワーク12のZ座標の算出に用いる画像が異なる点で立体視ロボットピッキング装置10と相違するが、その他の多くの点において立体視ロボットピッキング装置10と同じである。
なお、立体視ロボットピッキング装置10と同一の構成要素については同一の符号を付して詳しい説明を省略する。
【0041】
カメラ16a(一方のカメラB)及びカメラ16b(他方のカメラB)は、撮像中心方向がカメラ15の撮像中心方向と実質的に平行であり、ワーク取出し位置18にあるコンテナ11を部分的に撮像する。
カメラ16a、15、16bは、固定部材22aを介して支持フレーム21に実質的に同じ高さ位置で取り付けられ、コンテナ11の移動方向に沿って順に配置されている。カメラ16a、15、16bは同一仕様のカメラである。
カメラ16aは、ワーク取出し位置18にあるコンテナ11の少なくとも上流側半分を撮像可能な位置に配置され、カメラ16bはワーク取出し位置18にあるコンテナ11の少なくとも下流側半分を撮像可能な位置に配置されている。
【0042】
カメラ15、16a、16bは画像処理手段に信号接続されており、その画像処理手段は、ワーク取出し位置18にあるコンテナ11をカメラ15及びカメラ16aで撮像した各画像を基に、ワーク取出し位置18に配置されたコンテナ11内の上流側半分にあるワーク12の3次元位置を算出する。
また、画像処理手段は、ワーク取出し位置18にあるコンテナ11をカメラ15及びカメラ16bで撮像した各画像を基に、ワーク取出し位置18に配置されたコンテナ11内の下流側半分にあるワーク12の3次元位置を算出する。
【0043】
カメラ15、16aの光学中心間の距離をs1’、カメラ15、16bの光学中心間の距離をs2’とすると、コンテナ11内の上流側半分にあるワーク12のZ座標は、カメラ15、16aの各画像中のワーク12の視差とS=s1’、R=r1を式1に代入することによって算出される。なお、カメラ16a、16bの焦点距離はカメラ15と同じr1である。
また、コンテナ11内の下流側半分にあるワーク12のZ座標は、カメラ15、16bの各画像中のワーク12の視差とS=s2’、R=r1を式1に代入することによって算出できる。
カメラ15、16aの光学中心間の距離s1’及びカメラ15、16bの光学中心間の距離s2’を同値(s1’=s2’)にすることによって、式1のSが1つの値になり演算処理の設計等の簡略化を図ることができる。
【0044】
以上、本発明の実施の形態を説明したが、本発明は、上記した形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
例えば、ロボットは、パラレルリンクロボットに限定されず、パラレルリンクロボット以外のロボット、例えば多関節ロボット等を用いることが可能である。
また、ワークの3次元位置を検出するために用いられる複数のカメラ(カメラAとカメラB)の配置関係は、ワークの3次元位置を検出できれば、平行ステレオカメラを形成する配置でなくてもよい。
【符号の説明】
【0045】
10、10a:立体視ロボットピッキング装置、11:コンテナ、12:ワーク、13:ロボット、14:ベルトコンベア、15、16、16a、16b:カメラ、17:吸引部、18:ワーク取出し位置、19:サーボモータ、21:支持フレーム、22、22a:固定部材、23:画像処理手段、24:制御手段、25:取出し手前位置

【特許請求の範囲】
【請求項1】
コンテナ内に収容されたワークを順次ロボットによって別位置に移動する立体視ロボットピッキング装置において、
前記ワークを吸着保持する吸引部が設けられた前記ロボットと、
前記コンテナを所定ピッチ移動させて、前記吸引部が該コンテナ内に収容された前記ワークを吸着保持可能なワーク取出し位置まで該コンテナを送る移動手段と、
前記ワーク取出し位置にある前記コンテナ全体を撮像する1台のカメラAと、
前記ワーク取出し位置にある前記コンテナを部分的に撮像する1台又は2台のカメラBと、
前記カメラA、Bで撮像した各画像中の前記ワークの2次元位置から該ワークの3次元位置を算出する画像処理手段と、
前記画像処理手段で算出した前記ワークの3次元位置を基に前記吸引部の配置目標位置を決定し、前記ロボットを動かして前記ワークを吸着保持させる制御手段とを有し、
前記カメラA、Bは、前記コンテナの移動方向に沿って配置され、前記画像処理手段は、前記カメラA、Bが撮像した各画像中での前記ワークをパターンマッチングによって検出して、前記カメラA、Bにより撮像された該ワークの各画像中の2次元位置を算出することを特徴とする立体視ロボットピッキング装置。
【請求項2】
請求項1記載の立体視ロボットピッキング装置において、前記カメラBは、1台であって、前記コンテナの移動方向に沿って前記ワーク取出し位置より前記コンテナの移動ピッチ分上流側にある前記コンテナの、少なくとも下流側半分を撮像可能で、かつ、前記ワーク取出し位置にある前記コンテナの、少なくとも上流側半分を撮像可能な位置に配置され、
前記画像処理手段は、前記コンテナの移動方向に沿って前記ワーク取出し位置より前記コンテナの移動ピッチ上流側にあった前記コンテナを前記カメラBによって撮像した画像と前記ワーク取出し位置にある該コンテナを前記カメラAによって撮像した画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の、下流側半分にある前記ワークの3次元位置を算出し、前記ワーク取出し位置にある該コンテナを前記カメラA、Bで撮像した各画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の、上流側半分にある前記ワークの3次元位置を算出することを特徴とする立体視ロボットピッキング装置。
【請求項3】
請求項1記載の立体視ロボットピッキング装置において、前記カメラBは2台あって、一方の該カメラBは、前記ワーク取出し位置にある前記コンテナの、少なくとも前記コンテナの移動方向の上流側半分を撮像可能な位置に配置され、他方の前記カメラBは前記ワーク取出し位置にある前記コンテナの、少なくとも下流側半分を撮像可能な位置に配置され、
前記画像処理手段は、前記ワーク取出し位置にある前記コンテナを前記カメラA及び前記一方のカメラBで撮像した各画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の上流側半分にある前記ワークの3次元位置を算出し、前記ワーク取出し位置にある前記コンテナを前記カメラA及び前記他方のカメラBで撮像した各画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の下流側半分にある前記ワークの3次元位置を算出することを特徴とする立体視ロボットピッキング装置。
【請求項4】
請求項1〜3のいずれか1項に記載の立体視ロボットピッキング装置において、前記制御手段は、前記画像処理手段によって算出された前記ワークの3次元位置まで予め定められた間隔を有する位置を前記吸引部の配置目標位置として決定することを特徴とする立体視ロボットピッキング装置。
【請求項5】
請求項1〜4のいずれか1項に記載の立体視ロボットピッキング装置において、前記カメラA、Bの各撮像方向は平行であることを特徴とする立体視ロボットピッキング装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate