撮像方法、ピッキング方法及びピッキング装置
【課題】補正してブレを小さくできる画像を撮像する方法を提供する。
【解決手段】撮像装置28を用いてネジ回し5を撮像する撮像方法にかかわる。ロボット3を用いて撮像装置28を移動する移動工程と、移動工程と並行して行われネジ回し5を撮像する撮像工程と、撮像装置28とネジ回し5とが相対移動する移動軌跡を演算する軌跡算出工程と、移動軌跡の情報を用いて撮像した画像を補正する補正工程と、を有し、移動工程では移動軌跡が滑らかな線となるように撮像装置28を移動する。
【解決手段】撮像装置28を用いてネジ回し5を撮像する撮像方法にかかわる。ロボット3を用いて撮像装置28を移動する移動工程と、移動工程と並行して行われネジ回し5を撮像する撮像工程と、撮像装置28とネジ回し5とが相対移動する移動軌跡を演算する軌跡算出工程と、移動軌跡の情報を用いて撮像した画像を補正する補正工程と、を有し、移動工程では移動軌跡が滑らかな線となるように撮像装置28を移動する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像方法、ピッキング方法及びピッキング装置にかかわり、特に、撮像した画像を補正する方法に関するものである。
【背景技術】
【0002】
ワークを把持するときや加工するときに、視覚センサー等を用いてワークの位置を認識することがある。その後、ワークを把持または加工する。ワークの位置を認識するとき、ワークと視覚センサーとを停止して撮像して静止画像を生成する。次に、静止画像を分析することによりワークの位置や姿勢を精度良く検出する方法が一般的に行われている。この方法を生産性良く撮像する方法が特許文献1に開示されている。それによると、ワークに対して視覚センサー(以後、撮像装置と称す)を移動して接近させる。そして、撮像装置を停止せずにワークを撮影して、画像を生成する。次に、撮像するときにおける撮像装置の場所と撮像した画像とを分析することによりワークの位置を検出していた。
【0003】
撮像装置がワークを撮像するとき、撮像している間にワークが移動するとワークの画像の輪郭が曖昧になるブレが形成される。そして、ブレを補正して輪郭を明確にする方法が特許文献2に開示されている。それによると、撮影した画像からブレの方向や大きさを示す点広がり関数(PointSpreadFunctionともいわれ、以後、点像分布関数と称す)を算出した後、点像分布関数を用いて画像復元フィルタを生成する。そして、画像復元フィルタを撮像した画像に適用することにより画像のブレを補正していた。
【0004】
撮影した画像からブレを小さくするには、点像分布関数を精度良く検出することが有効であることが知られている。そして、点像分布関数を精度良く検出する方法が特許文献3に開示されている。それによると、撮像装置に角速度センサーを配置して、撮像装置が移動するときの角速度を検出している。そして、撮像装置における角速度の推移を用いて点像分布関数を検出していた。
【0005】
【特許文献1】特開平6−99381号公報
【特許文献2】特開2007−183842号公報
【特許文献3】特開2008−11424号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
ワークと撮像装置との相対位置を変化させながら撮像するとき、撮像した画像にブレが生ずる。ワークと撮像装置との相対位置の軌跡が複雑のときには、ブレの形状が複雑になる。そして、ブレを補正してブレ量を小さくすることが難しかった。そこで、ワークと撮像装置との相対位置を変化させながら撮像するときにも、補正してブレ量を小さくできる画像を撮像する方法が望まれていた。
【課題を解決するための手段】
【0007】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【0008】
[適用例1]
本適用例にかかる撮像方法は、撮像装置を用いてワークを撮像する撮像方法であって、変形する可動部を用いて前記撮像装置と前記ワークとのうち少なくとも一方を前記撮像装置の光軸と直交する方向に移動する移動工程と、前記移動工程と並行して行われ前記撮像装置を用いて前記ワークを撮像して画像を形成する撮像工程と、前記撮像装置と前記ワークとが相対移動する移動軌跡を演算する軌跡算出工程と、前記移動軌跡の情報を用いて前記画像を補正する補正工程と、を有し、前記移動工程では前記移動軌跡が滑らかな線となるように前記撮像装置と前記ワークとのうち少なくとも一方を移動することを特徴とする。
【0009】
この撮像方法によれば、移動工程と撮像工程とが並行して行われる。従って、ワークと撮像装置とが相対的に移動しながら撮像装置がワークを撮像する。このとき、撮像した画像にはブレが形成され易い。軌跡算出工程では可動部の姿勢が変化する情報を用いてワークに対する撮像装置の移動軌跡を算出する。そして、補正工程では移動軌跡の情報を用いて撮像した画像の補正を行う。
【0010】
移動工程では移動軌跡が滑らかな線となるように撮像装置とワークとのうち少なくとも一方を移動している。移動軌跡に折線が入るときに撮像した画像には複雑なブレが形成される。移動軌跡が滑らかな線になるようにするときに撮像した画像には単純なブレが形成される。従って、移動軌跡が滑らかな線になるようにして撮像する方が、画像のブレが小さくなるように補正し易くすることができる。
【0011】
[適用例2]
上記適用例にかかる撮像方法において、前記移動工程では前記移動軌跡が直線状となるように前記撮像装置と前記ワークとのうち少なくとも一方を移動することを特徴とする。
【0012】
この撮像方法によれば、移動軌跡が直線状になるように撮像装置とワークとのうち少なくとも一方を移動している。従って、撮像した画像は直線状にずれた単純なブレが形成され易くなる。従って、画像のブレが小さくなるように補正し易くすることができる。
【0013】
[適用例3]
上記適用例にかかる撮像方法において、前記可動部が変形する変形動作の推移を計画する移動計画工程を有することを特徴とする。
【0014】
この撮像方法によれば、移動計画工程にて可動部が変形する変形動作の推移を計画する。このとき、移動軌跡が所定の軌跡となるように計画する。そして、移動工程では計画した変形動作の推移に従って、可動部を制御することにより移動軌跡を所定の軌跡にすることができる。
【0015】
[適用例4]
上記適用例にかかる撮像方法において、前記補正工程では前記ワークに対する前記撮像装置の前記移動軌跡の情報を用いて点像分布関数を演算し、前記点像分布関数を用いて復元フィルタを演算し、前記復元フィルタを用いて前記画像を補正することを特徴とする。
【0016】
この撮像方法によれば、ワークに対する撮像装置の移動軌跡を用いて点像分布関数を演算している。移動軌跡が滑らかな線である為、点像分布関数を精度良く算出することができる。その結果、精度良く画像を補正することができる。
【0017】
[適用例5]
上記適用例にかかる撮像方法を用いたピッキング方法において、前記補正工程にて補正した補正画像を用いて前記ワークの場所を検出する位置認識工程と、前記ワークを把持して移動するワーク移動工程と、を有することを特徴とする。
【0018】
このピッキング方法によれば、精度良く補正された画像を用いてワークの場所を検出している。従って、ワークが位置する場所を精度良く認識することができる為、安定してワークを把持することができる。
【0019】
[適用例6]
本適用例にかかるピッキング装置は、ワークを把持して移動するピッキング装置であって、前記ワークを把持する把持部と、前記ワークを撮像して画像を形成する撮像装置と、前記ワーク及び前記撮像装置のうち少なくとも一方を移動する可動部と、前記可動部の姿勢を検出して前記可動部の姿勢を示す姿勢情報を出力する可動部姿勢検出部と、前記姿勢情報を用いて前記撮像装置と前記ワークとが相対移動する移動軌跡を演算する軌跡演算部と、前記移動軌跡の情報を用いて前記画像を補正した補正画像を形成する補正部と、前記補正画像を用いて前記ワークの場所を検出するワーク位置検出部と、を有し、前記撮像装置が前記ワークを撮像するときに前記可動部が直線状に移動するように前記可動部は前記撮像装置と前記ワークとのうち少なくとも一方を移動することを特徴とする。
【0020】
このピッキング装置によれば、可動部がワーク及び撮像装置のうち少なくとも一方を直線状に移動しながら、撮像装置がワークを撮像する。そして、可動部姿勢検出部が可動部の姿勢を検出した後、軌跡演算部がワークに対する撮像装置の移動軌跡の情報を算出する。そして、補正部は直線状となっている移動軌跡の情報を用いて撮像した画像のブレを補正する。このとき、移動軌跡が直線状である為、ブレは補正し易くなっている。ワーク位置検出部は補正した画像を用いて精度良くワークの場所を検出する。把持部はワークを安定して把持した後、ワークを移動することができる。
【発明を実施するための最良の形態】
【0021】
以下、実施形態について図面に従って説明する。尚、各図面における各部材は、各図面上で認識可能な程度の大きさとするため、各部材毎に縮尺を異ならせて図示している。
(第1の実施形態)
本実施形態におけるピッキング装置と特徴的な撮像方法と撮像したワークをピッキングする方法とついて図1〜図9に従って説明する。ピッキングはワークを把持して移動して離すことにより、ワークを移動させる動作を示す。
【0022】
図1は、ピッキング装置の構成を示す概略斜視図である。図1に示すように、ピッキング装置1は主にワーク供給装置2、可動部としてのロボット3及びワーク収納装置4から構成されている。ワーク供給装置2はワークを供給する装置である。ワークは特に限定されない、例えば、実施形態においてワークにネジ回し5、小型ネジ回し6、ペンチ7、ニッパー8、定規9を採用している。
【0023】
ワーク供給装置2には複数の容器10が配置されている。容器10は外形が直方体であり、深さが浅く形成されている。そして、容器10内にネジ回し5、小型ネジ回し6、ペンチ7、ニッパー8、定規9が配置されている。容器10内においてネジ回し5、小型ネジ回し6、ペンチ7、ニッパー8、定規9の配置は不定であり、容器10毎に異なった配置となっている。
【0024】
ワーク供給装置2は内部に供給用昇降装置11、除材用昇降装置12とが並んで配置されている。供給用昇降装置11と除材用昇降装置12とが並んでいる方向をY方向とする。そして水平方向においてY方向と直交する方向をX方向とし、鉛直方向をZ方向とする。供給用昇降装置11及び除材用昇降装置12の上側には容器10が重ねて配置されている。そして、供給用昇降装置11及び除材用昇降装置12は上下方向に移動する直動機構を備え、容器10を上昇及び下降することが可能になっている。この直動機構は、例えば、ボールネジとパルスモーターとのを組み合わせたユニットまたはリニアモーター等により構成することができる。
【0025】
ワーク供給装置2において図中左側の側面には押出装置13が配置されている。押出装置13は直動機構を備え、この直動機構は、例えば、エアーシリンダまたはリニアモーター等により構成することができる。押出装置13は供給用昇降装置11の上側に重ねて配置された容器10の内最上段の容器10を図中右下方向に押し出す。そして、押出装置13は容器10を供給用昇降装置11の上側から除材用昇降装置12の上側へ移動させる。
【0026】
ロボット3が除材用昇降装置12の上側に位置する容器10内の上のネジ回し5、小型ネジ回し6、ペンチ7、ニッパー8、定規9を移動することにより、容器10が空になる。その後、除材用昇降装置12が空の容器10を下降させる。次に、ネジ回し5、小型ネジ回し6、ペンチ7、ニッパー8、定規9が配置された容器10を供給用昇降装置11が上昇させる。続いて、上昇された容器10を押出装置13がロボット3の方向に移動する。その結果、ネジ回し5、小型ネジ回し6、ペンチ7、ニッパー8、定規9が配置された容器10がワーク供給装置2においてロボット3側の場所に配置される。
【0027】
ワーク供給装置2の図中右側にはロボット3が配置されている。ロボット3は基台14を備え、基台14上には回転台15が配置されている。回転台15は固定台15aと回転軸15bとを備えている。回転台15は内部にサーボモーターと減速機構とを備え、回転軸15bを角度精度良く回転及び停止することができる。サーボモーターは回転軸15bの回転角度を検出するエンコーダーを備えている。そして、エンコーダーの出力を用いて固定台15aに対する回転軸15bの相対角度を検出することが可能になっている。
【0028】
回転台15の回転軸15bと接続して第1関節16が配置され、第1関節16と接続して第1腕17が配置されている。第1腕17と接続して第2関節20が配置され、第2関節20と接続して第2腕21が配置されている。第2腕21は固定軸21aと回転軸21bとを備え、第2腕21は第2腕21の長手方向を軸にして回転軸21bを回転することができる。第2腕21の回転軸21bと接続して第3関節22が配置され、第3関節22と接続して第3腕23が配置されている。第3腕23は固定軸23aと回転軸23bとを備え、第3腕23は第3腕23の長手方向を回転軸にして回転軸23bを回転することができる。第3腕23の回転軸23bと接続して可動要素及び把持部としての手部24が配置され、手部24には一対の指部24aが配置されている。手部24にはサーボモーターとサーボモーターにより駆動される直動機構を備えている。そして、この直動機構により指部24aの間隔を変更可能になっている。
【0029】
回転軸21bと接続して第1支持腕25が配置されている。第1支持腕25は第2腕21の図中上側に突出して配置されている。第1支持腕25と接続して支持部関節26が配置され、支持部関節26と接続して第2支持腕27が配置されている。第2支持腕27には撮像装置28が配置されている。撮像装置28は、例えば、図示しない同軸落射型光源とCCD(Charge Coupled Device)が組み込まれたものである。同軸落射型光源から出射した光はワークを照射する。撮像装置28は、ワークで反射する光を用いてワークを撮像することが可能となっている。そして、ロボット3に配置された各関節、腕、支持部が可動要素となっている。
【0030】
第1関節16、第2関節20、第2腕21、第3関節22、第3腕23、支持部関節26はそれぞれ内部にサーボモーター及び減速機構等からなる回転機構を備えている。そして、第1関節16、第2関節20、第2腕21、第3関節22、第3腕23、支持部関節26は角度精度良く回転及び停止することができる。各サーボモーターは回転軸の回転角度を検出するエンコーダーを備えている。そして、エンコーダーの出力を用いて第1関節16では回転台15に対する第1腕17の相対角度が検出可能になっている。第2関節20では第1腕17に対する第2腕21の相対角度が検出可能になっている。同様に、第2腕21では固定軸21aに対する回転軸21bの相対角度が検出可能になっている。支持部関節26では第1支持腕25に対する第2支持腕27の相対角度が検出可能になっている。さらに、第3関節22では第2腕21に対する第3腕23の相対角度が検出可能になっている。第3腕23では固定軸23aに対する回転軸23bの相対角度を検出することが可能になっている。上述のようにロボット3は多くの関節と回転機構を備えている。そして、これらの各腕及び回転軸の位置や角度を検出することによりロボット3の姿勢を検出することが可能になっている。
【0031】
また、これらの関節及び回転機構に加えて指部24aを制御することによりワークを把持することが可能になっている。同様に、第2腕21の角度と対応して第2支持腕27の角度を制御することにより、撮像装置28における光軸の方向をZ方向にすることができる。
【0032】
ロボット3の図中右上にはワーク収納装置4が配置されている。ワーク収納装置4は第1室4a〜第5室4eの5つの室に分離されている。第1室4aには定規9が収納され、第2室4bにはネジ回し5が収納される。第3室4cにはニッパー8が収納され、第4室4dにはペンチ7が収納される。そして、第5室4eには小型ネジ回し6が収納される。このように、各室にはワークが区分して配置されている。ロボット3は容器10内に無秩序に配置された各ワークの形状を認識した後、ワーク収納装置4に分類して配置する。従って、ワーク収納装置4では各室毎にワークが分類して配置される。
【0033】
ワーク収納装置4の各室は図中上側が開放して形成されることにより、ロボット3が上側から各室にワークを入れることができる。各室には各室の底面を昇降する昇降装置が配置されている。そして、各室に配置されたワークの量に応じて各室の底面を下降することにより、ロボット3がワークをワーク収納装置4に移動し易くなっている。
【0034】
ロボット3の図中左下側には制御装置29が配置されている。制御装置29はワーク供給装置2、ロボット3、ワーク収納装置4等を含むピッキング装置1を制御する装置である。
【0035】
図2は、ピッキング装置の電気制御ブロック図である。図2において、ピッキング装置1の制御部としての制御装置29はプロセッサとして各種の演算処理を行うCPU(中央演算装置)30と各種情報を記憶する記憶部としてのメモリー31とを有する。
【0036】
ロボット駆動装置32、撮像装置28、ワーク供給装置2、ワーク収納装置4は、入出力インターフェース33及びデータバス34を介してCPU30に接続されている。さらに、入力装置35、表示装置36も入出力インターフェース33及びデータバス34を介してCPU30に接続されている。
【0037】
ロボット駆動装置32はロボット3と接続されロボット3を駆動する装置である。ロボット駆動装置32は、ロボット3の姿勢に関する情報をCPU30に出力する。そして、CPU30が指示する場所にロボット駆動装置32がロボット3を駆動して撮像装置28を移動させる。そして、撮像装置28は所望の場所を撮像することができる。さらに、CPU30が指示する場所にロボット駆動装置32が手部24を移動する。その後、ロボット駆動装置32が指部24aを駆動することにより、ロボット3がワークを把持できる。
【0038】
撮像装置28はワークを撮像する装置である。CPU30の指示する信号に従って撮像した後、撮像した画像のデータをメモリー31に出力する。
【0039】
ワーク供給装置2はCPU30の指示により供給用昇降装置11、除材用昇降装置12、押出装置13を駆動する。そして、ロボット3の手部24が到達可能な範囲にワーク供給装置2はワークを供給する。ワーク収納装置4はCPU30の指示により昇降装置を駆動する。そして、ロボット3がワークを置く高さを制御する。
【0040】
入力装置35はワークの位置認識をする条件やピッキング動作の動作条件等の諸情報を入力する装置である。例えば、ワークの形状を示す座標を図示しない外部装置から受信し、入力する装置である。表示装置36はワークやロボット3に関するデータや作業状況を表示する装置である。表示装置36に表示される情報を基に入力装置35を用いて操作者が入力操作を行う。
【0041】
メモリー31は、RAM、ROM等といった半導体メモリーや、ハードディスク、DVD−ROMといった外部記憶装置を含む概念である。機能的には、ピッキング装置1における動作の制御手順が記述されたプログラムソフト37を記憶する記憶領域がメモリー31に設定される。さらに、ワークの形状や手部24が把持する場所等の情報であるワーク関連データ40を記憶するための記憶領域もメモリー31に設定される。さらに、ロボット3を構成する要素の情報や、ワーク供給装置2及びワーク収納装置4とロボット3との相対位置等の情報であるロボット関連データ41を記憶するための記憶領域もメモリー31に設定される。さらに、ロボット3が撮像装置28を移動するときにおける各腕部等の姿勢を示す情報であるロボット姿勢データ42を記憶するための記憶領域もメモリー31に設定される。さらに、撮像装置28が撮像した画像のデータや補正後の画像のデータである画像データ43を記憶するための記憶領域もメモリー31に設定される。他にも、CPU30のためのワークエリアやテンポラリファイル等として機能する記憶領域やその他各種の記憶領域がメモリー31に設定される。
【0042】
CPU30はメモリー31内に記憶されたプログラムソフト37に従って、ワークの位置及び姿勢を検出した後、ワークを移動させるための制御を行うものである。具体的な機能実現部として、ロボット3を駆動してワークや撮像装置28を移動させるための制御を行うロボット制御部44を有する。ロボット制御部44は撮像装置28を駆動する制御も行う。他にも、撮像装置28を移動させる経路を演算する可動部移動計画部としての可動部移動計画演算部45を有する。可動部移動計画演算部45は、撮像装置28を設定した経路の通りに移動させるためにロボット3の各可動要素の動作推移を演算する。他にも、ロボット3の各腕部の場所や姿勢の情報を入力して撮像装置28の場所を演算する姿勢演算部46を有する。ロボット3の各サーボモーターが備えるエンコーダー、ロボット駆動装置32、姿勢演算部46等により可動部姿勢検出部が構成されている。さらに、撮像装置28の軌跡を演算する軌跡演算部47を有する。さらに、撮像装置28の軌跡の情報を用いて撮像した画像のブレを補正する補正部としての画像補正演算部48を有する。さらに、補正した画像を用いてワークの位置を演算する位置検出部としてのワーク位置演算部49を有する。他にも、ロボット3の動作と連携してワーク供給装置2及びワーク収納装置4の動作を制御する除給材制御部50等を有する。
【0043】
(撮像方法及びピッキング方法)
次に、上述したピッキング装置1を用いてワークを移動する作業における撮像方法及びピッキング方法について図3〜図7にて説明する。図3は、ワークのピッキング工程を示すフローチャートである。図4〜図7は、ピッキング作業の作業方法を説明するための図または模式図である。
【0044】
図3に示すフローチャートにおいて、ステップS1は、ワーク供給工程に相当する。除給材制御部がワーク供給装置を駆動してワークが配置された容器を供給させる工程である。ステップS2は、移動計画工程に相当し、撮像装置を移動させる経路の計画を演算する工程である。次にステップS3及びステップS4に移行する。ステップS3とステップS4〜ステップS7とが並行して行われる。ステップS3は、移動工程としての撮像装置移動工程に相当し、ロボット制御部がロボットを駆動して撮像装置をワークに向かって移動させる工程である。次にステップS8に移行する。ステップS4は、撮像工程に相当し、撮像装置がワークを撮像する工程である。次に、ステップS5に移行する。ステップS5は、軌跡算出工程に相当し、撮像装置がワークを撮像した間に撮像装置が移動した軌跡を演算する工程である。次にステップS6に移行する。ステップS6は、補正工程に相当し、撮像装置が撮像した画像のブレを補正する工程である。次にステップS7に移行する。ステップS7は、位置認識工程に相当し、ワークの位置及び姿勢を算出する工程である。次にステップS8に移行する。
【0045】
ステップS8は、ワーク移動工程に相当し、ロボットがワークをワーク収納装置まで移動する工程である。次にステップS9に移行する。ステップS9は、第1終了判断工程に相当し、ワーク供給装置のロボット側に位置する容器内にワークがあるか否かを判断する工程である。容器内にワークがあるとき、ステップS2に移行する。容器内のワークを総て移動したとき、ステップS10に移行する。ステップS10は、第2終了判断工程に相当し、ピッキング作業を終了するか否かを判断する工程である。ピッキング作業を継続するとき、ステップS1に移行する。ピッキング作業を終了するとき、ワークのピッキング工程を終了する。
【0046】
次に、図4〜図7を用いて、図3に示したステップと対応させて、ピッキング工程における撮像方法及びピッキング方法を詳細に説明する。図4はステップS1のワーク供給工程、ステップS2の移動計画工程及びステップS3の撮像装置移動工程に対応する図である。図4(a)に示すように、ステップS1において、ワーク供給装置2には容器10が配置される。そして、ロボット3側の容器10にはネジ回し5、小型ネジ回し6、ペンチ7、ニッパー8、定規9のワークが無秩序に配置されている。本実施形態ではワークの内ネジ回し5をピッキングする動作を説明する。尚、他のワークについても同様の方法にてピッキングすることができる。
【0047】
ステップS2の移動計画工程において、可動部移動計画演算部45が撮像装置28を移動前場所53から把持待機場所54に向かって移動させる移動経路55を計画する。移動前場所53は特定の場所では無く、前工程の作業が終了したときに撮像装置28が位置した場所である。把持待機場所54は、ロボット3がワークの1つを保持する動作に入る前に待機する場所である。把持待機場所54は容器10の中央の場所と対向する場所に設定されている。ロボット3は容器10においてワークが載置されている面と平行に撮像装置28を移動させる。従って、撮像装置28の光軸と直交する方向に撮像装置28は移動させられる。そして、撮像装置28がワークと対向する場所を通るとき、撮像装置28の焦点距離を殆ど調整することなく撮像することができる。
【0048】
移動経路55は移動前場所53と把持待機場所54とを直線にて接続した経路とする。そして、可動部移動計画演算部45は移動経路55上に複数の通過点55aを設定する。通過点55aの間隔は略等間隔にて設定される。次に、撮像装置28が各通過点55aを通過するように、可動部移動計画演算部45は各可動要素の動作推移計画を演算する。
【0049】
ステップS3の撮像装置移動工程において、ロボット制御部44はロボット3を駆動する。そして、ロボット制御部44は移動前場所53から把持待機場所54に向かって撮像装置28を移動させる。このとき、ロボット3は撮像装置28を直線状の移動経路55に沿って移動させる。
【0050】
図4(b)は各関節及び腕に配置されたエンコーダーの出力の推移を示すタイムチャートである。図4(b)において、横軸は時間の経過を示し、時間は図中左から右へ移行する。縦軸には、撮像装置28が移動するときの回転台15、第1関節16、第2関節20、第2腕21、支持部関節26におけるエンコーダー出力値が配置されている。エンコーダー出力値は図中上側が時計周りの角度を示している。第1エンコーダー出力線56は回転台15におけるエンコーダーの出力の推移を示している。第2エンコーダー出力線57は第1関節16の回転によるエンコーダーの出力の推移を示している。第3エンコーダー出力線58は第2関節20の回転によるエンコーダーの出力の推移を示している。第4エンコーダー出力線59は第2腕21の回転軸21bの回転によるエンコーダーの出力の推移を示している。第5エンコーダー出力線60は支持部関節26の回転によるエンコーダーの出力の推移を示している。第1エンコーダー出力線56〜第5エンコーダー出力線60が姿勢情報となっている。
【0051】
時間軸上の撮像開始時63aは撮像装置28が撮像を開始する時を示している。撮像終了時63bは撮像装置28が撮像を終了する時を示している。撮像時間63cは撮像装置28が撮像している間の時間を示す。記憶開始時64aは、ロボット制御部44がエンコーダー出力値をメモリー31に記憶することを開始する時を示す。記憶終了時64bは、ロボット制御部44がエンコーダーの出力をメモリー31に記憶することを終了する時を示す。記憶時間64cは、ロボット制御部44がエンコーダーの出力をメモリー31に記憶している間の時間を示す。把持時65は、ロボット3がネジ回し5を把持する時を示している。
【0052】
記憶開始時64aは撮像開始時63aより早く設定され、記憶終了時64bは撮像終了時63bより遅く設定されている。従って、撮像時間63cに撮像前後の時間を加えた記憶時間64cにおける各エンコーダーの出力がメモリー31にロボット姿勢データ42として記憶される。
【0053】
撮像装置28が移動前場所53から把持待機場所54と対向する場所に移動するとき、第1エンコーダー出力線56、第2エンコーダー出力線57、第3エンコーダー出力線58及び第5エンコーダー出力線60は連続して上昇または下降する。このとき、撮像装置28は各通過点55aを通過して移動する。そして、撮像時間63cの間も第1エンコーダー出力線56、第2エンコーダー出力線57、第3エンコーダー出力線58及び第5エンコーダー出力線60は上昇または下降する。つまり、撮像装置28が移動している間に撮像が行われる。
【0054】
撮像終了時63bから把持時65の間で第1エンコーダー出力線56、第2エンコーダー出力線57、第3エンコーダー出力線58及び第5エンコーダー出力線60が変化する。このとき、ロボット制御部44は、各可動要素を駆動することによりワークを把持する。
【0055】
図5(a)はステップS4の撮像工程に対応する図である。図5(a)に示すように、ステップS4において、画像としての撮影画像66にネジ回し5の画像であるネジ回し像67が撮像される。ロボット制御部44が撮像装置28を移動させながら撮像するので、ネジ回し像67にはブレが生じる。その結果、撮影画像66におけるネジ回し像67の辺67aにブレが観察される。
【0056】
図5(b)はステップS5の軌跡算出工程に対応する図である。ステップS5において、姿勢演算部46はメモリー31からエンコーダーの出力データを再生する。そして、第1エンコーダー出力線56〜第5エンコーダー出力線60のデータを用いて撮像装置28の場所の推移を演算する。このときロボット3に設定された座標軸上における撮像装置28の座標値を演算する。
【0057】
具体的には、まず回転台15の回転軸15bの回転角度データを用いて第1関節16を中心に第1腕17が移動可能な方向を算出する。次に、第1関節16の回転角度データを用いて第2関節20の位置を算出する。続いて、第2関節20の回転角度データを用いて支持部関節26の位置を算出する。次に、支持部関節26の回転角度データを用いて撮像装置28の位置を算出する。この手順を用いて姿勢演算部46が撮像開始時63aにおける撮像装置28の場所を算出する。
【0058】
次に、撮像時間63cの間における撮像装置28の位置を順次算出する。そして、軌跡演算部47が撮像装置28の推移を演算する。その結果、図5(b)に示すように、点像分布関数68を示す線分が算出される。本実施形態においては、移動経路55が直線になるように各可動要素が駆動されている。従って、点像分布関数68は直線となる。この点像分布関数68は撮像装置28の光軸が移動するときの軌跡となっている。
【0059】
図5(c)及び図6はステップS6の補正工程に対応する図である。ステップS6において、撮影画像66と点像分布関数68とを用いて撮影画像66を補正する。補正方法は特に限定されず、公知の方法を用いることができる。例えば、特開2006−279807号公報に開示されている一般逆フィルタ関数や、特開平11−27574号公報に開示されているウィーナフィルタ、特開2007−183842号公報に開示されているパラメトリックウイーナフィルタ、制限付最小二乗フィルタ、射影フィルタ等の復元方法を用いることができる。
【0060】
復元方法の一例における概要を説明する。まず、点像分布関数68をフーリエ変換することにより、XY平面上の空間周波数分布関数を算出する。算出した分布関数は複素関数であり、この関数を点像空間周波数分布関数とする。次に、1つの点からなる画像をフーリエ変換した空間周波数分布関数を算出し、算出した分布を単点空間周波数分布関数とする。そして、単点空間周波数分布関数を点像空間周波数分布関数にて複素除算し、算出した関数を復元フィルタ関数とする。続いて、撮影画像66をフーリエ変換することにより、XY平面上の空間周波数分布関数を算出する。算出した分布を撮像空間周波数分布関数とする。次に、撮像空間周波数分布関数と復元フィルタ関数とを複素積算し、積算した分布を補正像空間周波数分布関数とする。続いて、補正像空間周波数分布関数を逆フーリエ変換することにより補正画像を算出する。その結果、図5(c)に示すような補正画像69が算出される。補正画像69では各ワークの輪郭におけるブレが小さくなることが観測される。従って、ネジ回し像67に対応するネジ回し補正画像70においてもブレが小さくなっている。
【0061】
図6(a)は図5(c)の要部拡大図であり、ネジ回し補正画像70を拡大した図である。そして、図6(b)は、図6(a)のA−A’線における輝度プロファイル図である。図6(b)において横軸はY方向の場所を示している。そして、縦軸は輝度を示しており、図中上側が下側より高い輝度となっている。そして、輝度プロファイル線71は各場所における輝度を示している。図6(b)に示すように、ネジ回し5の輪郭に対応する輪郭部71aでは輝度の変化率が大きいため、ネジ回し5の輪郭を精度良く検出することができる。輪郭部71aにおける輝度の変化率は輝度プロファイル線71の傾きで示される。この傾きが急峻な程変化率が大きくなる。
【0062】
ステップS7の位置認識工程において、ワーク位置演算部49は補正画像69を用いてネジ回し5の場所を算出する。まず、ワーク位置演算部49は補正画像69におけるネジ回し補正画像70の場所を演算する。次に、ワーク位置演算部49は、ロボット3に設定された座標軸上において撮像時間63cにおける撮像装置28の場所を演算する。続いて、ワーク位置演算部49はネジ回し補正画像70の場所のデータ及び撮像装置28の場所のデータを用いてネジ回し5の場所を演算する。
【0063】
図7はステップS8のワーク移動工程に対応する図である。図7(a)において、図を解り易くするために容器10内のネジ回し5以外のワークを省略してある。図7(a)に示すように、ワーク位置演算部49がネジ回し5の場所を算出した後、ロボット制御部44がロボット3を駆動してネジ回し5を把持する。続いて、ロボット3はネジ回し5を把持したままワーク収納装置4に移動することにより、ネジ回し5を移動する。その結果、図7(b)に示すように、ワーク収納装置4にネジ回し5が載置される。続いて、手部24は指部24aを広げてネジ回し5を離した後、次に作業する場所へ移動する。そして、順次ワークをピッキングする。予定するワークを総てピッキングしたときピッキング工程を終了する。
【0064】
(比較例1)
次に、撮像方法の一比較例について図8のピッキング作業の作業方法を説明するための図を用いて説明する。すなわち、撮像装置を静止した状態で撮像するときの画像と補正画像69とを比較する。図8(a)はワークの撮影画像であり、撮像装置を静止した状態で撮像したときの画像である。図8(b)は、ネジ回し像の要部拡大図である。図8(c)は輝度プロファイル図であり、図8(b)のB−B’線における輝度プロファイル図である。図8(a)において、撮影画像72では撮像装置28が静止した状態にて撮像している。このとき、ネジ回し5を撮像した画像であるネジ回し像73の輪郭にはブレが殆ど無い。
【0065】
図8(c)において横軸はY方向の場所を示している。そして、縦軸は輝度を示しており、図中上側が下側より高い輝度となっている。そして、輝度プロファイル線74は各場所における輝度を示している。ネジ回し5の輪郭に対応する輪郭部74aでは輝度の変化率が大きいため、ネジ回し5の輪郭を精度良く検出することができる。輝度プロファイル線74と図6(b)に示す輝度プロファイル線71とを比較する。輝度プロファイル線71は高周波の変動が輝度プロファイル線74より多く形成されている。一方、輪郭部71aは輪郭部74aと同程度の輝度の変化率となっているので、双方とも同程度にネジ回し5の輪郭が検出可能となっている。つまり、直線状に撮像装置28を移動しながら撮像する場合には、撮像装置28を静止して撮像する場合と略同等の程度にネジ回し5の輪郭が検出可能となる。
【0066】
(比較例2)
次に、撮像方法の一比較例について図9及び図10のピッキング作業の作業方法を説明するための図を用いて説明する。すなわち、撮像装置の移動軌跡が滑らかでない線状に移動した状態で撮像するときの画像と補正画像69とを比較する。図9(a)はワークの撮影画像であり、撮像装置を移動した状態で撮像したときの画像である。図9(b)は、点像分布関数を示す曲線の図であり、図9(c)は、復元画像を示す図である。撮像装置28を移動しながら撮像するので、図9(a)に示すように画像としての撮影画像75は全面にブレが形成されている。そして、ネジ回し像76にもブレが形成されている。図9(b)に示すように点像分布関数77には折線が含まれており、点像分布関数77は滑らかでない線となっている。そして、点像分布関数77は撮像中における撮像装置28の移動軌跡を示すので、撮影画像75は、撮像装置28の移動軌跡が滑らかでない線状に移動するときに撮像した画像であることがわかる。
【0067】
撮影画像75と点像分布関数77とを用いて補正画像を算出する。その結果、図9(c)に示すような補正画像78が算出される。補正画像78では各ワークの輪郭におけるコントラストが高くなっていることが観測される。そして、ネジ回し像76に対応するネジ回し補正画像79においてもコントラストが高くなっている。
【0068】
図10(a)は、ネジ回し像の要部拡大図である。図10(b)は輝度プロファイル図であり、図10(a)のC−C’線における輝度プロファイル図である。図10(b)において横軸はY方向の場所を示している。そして、縦軸は輝度を示しており、図中上側が下側より高い輝度となっている。そして、輝度プロファイル線80は各場所における輝度を示している。ネジ回し5の輪郭に対応する輪郭部80aを図6(b)に示す輝度プロファイル線71の輪郭部71aと比較する。輪郭部71aは輪郭部80aと比較すると変化率が大きくなっている。従って、直線状の点像分布関数68のときの方が滑らかでない線状の点像分布関数77のときに比べてブレを小さくできている。その結果、直線状の点像分布関数68のときの方がネジ回し5の輪郭を認識し易くすることができる。
【0069】
上述したように、本実施形態によれば、以下の効果を有する。
(1)本実施形態によれば、撮像装置28の移動軌跡が直線状になるように撮像装置28を移動している。従って、撮像した撮影画像66は単純なブレが形成される。従って、撮影画像66のブレが小さくなるように補正することができる。
【0070】
(2)本実施形態によれば、ステップS2の移動計画工程にてロボット3が変形する変形動作の推移を計画する。このとき、撮像装置28の移動軌跡が直線状になるように計画している。そして、ステップS3の撮像装置移動工程では計画に従ってロボット制御部44がロボット3を制御することにより撮像装置28の移動軌跡を直線状の軌跡にすることができる。
【0071】
(3)本実施形態によれば、撮像装置28の移動軌跡を用いて点像分布関数68を演算している。移動軌跡が単純な直線状である為、点像分布関数68を精度良く算出することができる。その結果、精度良く撮影画像66を補正することができる。
【0072】
(4)本実施形態によれば、精度良く補正された補正画像69を用いてネジ回し5の場所を検出している。従って、ネジ回し5の位置を精度良く認識することができる為、安定してネジ回し5を把持することができる。
【0073】
(第2の実施形態)
次に、撮像方法の一実施形態について図11及び図12のピッキング作業の作業方法を説明するための図を用いて説明する。本実施形態が第1の実施形態と異なるところは、図5に示した点像分布関数68の形状が直線状でなく、円弧状になるように撮像装置28の移動経路を変更した点にある。尚、第1の実施形態と同じ点については説明を省略する。
【0074】
図11(a)はワークの撮影画像を示す図であり、撮像装置28を移動しながら撮像したときの画像である。図11(b)は、点像分布関数を示す曲線の図であり、図11(c)は、復元画像を示す図である。すなわち、本実施形態では、ワークに対して撮像装置28を円弧状に移動しながら、撮像装置28が撮像する。そのとき、図11(a)に示すように画像としての撮影画像83は全面にブレが形成される。そして、ネジ回し像84にもブレが形成されている。図11(b)に示すように点像分布関数85には折線が含まれず、点像分布関数85は円弧状の滑らかな線となっている。点像分布関数85は撮像中における撮像装置28の移動軌跡を示すので、撮影画像83は、撮像装置28を滑らかな円弧状に移動させながら撮像した画像であることがわかる。
【0075】
撮影画像83と点像分布関数85とを用いて画像を補正する演算を行う。その結果、図11(c)に示すような補正画像86が算出される。補正画像86では各ワークの形状と同形の像が形成されている。各ワークの輪郭は明確になり、ネジ回し補正画像87の輪郭も明確になっている。
【0076】
図12(a)は、ネジ回し像の要部拡大図である。図12(b)は輝度プロファイル図であり、図12(a)のD−D’線における輝度プロファイル図である。図12(b)において横軸はY方向の場所を示している。そして、縦軸は輝度を示しており、図中上側が下側より高い輝度となっている。そして、輝度プロファイル線88は各場所における輝度を示している。図12(b)における輝度プロファイル線88と図6(b)における輝度プロファイル線71とを比較する。ネジ回し5の輪郭に対応する場所では輝度プロファイル線88の輪郭部88aは輝度プロファイル線71の輪郭部71aと同様に変化率が大きくなっている。従って、ネジ回し補正画像87は輪郭を検出し易くなっている。その結果、点像分布関数85が円弧状となるように撮像する場合には点像分布関数68が直線の場合と同様に輪郭を検出し易くすることができる。
【0077】
輝度プロファイル線88の輪郭部88aと図10(b)に示す比較例2における輝度プロファイル線80の輪郭部80aとを比較する。このとき、輪郭部88aの方が輪郭部80aに比べて変化率が大きい。従って、円弧状の点像分布関数85の方が滑らかでない線の点像分布関数77に比べてブレが少ない補正画像とすることができる。その結果、ネジ回し5の輪郭を検出し易くすることができる。
【0078】
上述したように、本実施形態によれば、以下の効果を有する。
(1)本実施形態によれば、ステップS3の撮像装置移動工程では移動軌跡が滑らかな線となるように撮像装置28を移動している。図9(b)の点像分布関数77のように移動軌跡に折線が入るときに撮像した画像には複雑なブレが形成される。一方、図11(b)の点像分布関数85のように移動軌跡が滑らかな線になるようにするときに撮像した画像には単純なブレが形成される。従って、移動軌跡が滑らかな線になるようにして撮像する方が、画像のブレが小さくなるように補正することができる。
【0079】
尚、本実施形態は上述した実施形態に限定されるものではなく、種々の変更や改良を加えることも可能である。変形例を以下に述べる。
(変形例1)
前記第1の実施形態では、ワークは容器10上に静止していた。そしてロボット3が撮像装置28を移動して、撮像装置28がワークを撮像した。ワークと撮像装置28とを相対移動させる方法はこれに限らない。例えば、ロボット3と別の第2ロボットを用意する。そして、撮像装置28が静止した状態で第2ロボットがワークを把持して移動しても良い。撮像装置28の撮像範囲に第2ロボットがワークを移動する。このとき、第2ロボットの姿勢を検出して、ワークの移動軌跡を算出する。そして、ワークの移動軌跡を用いて点像分布関数を演算し、点像分布関数を用いて画像のブレを補正することができる。この内容については、前記第2の実施形態にも適用することができる。
【0080】
(変形例2)
前記第1の実施形態では、ステップS4の撮像工程においてロボット制御部44がエンコーダー出力値をメモリー31に記憶して、ステップS5の軌跡算出工程において姿勢演算部46がメモリー31から再生した。CPU30の演算速度が速い場合には、メモリー31に記憶して再生せずに、直接撮像装置28の移動軌跡を演算しても良い。記憶と再生とのステップを省略できるので、生産性良く移動軌跡を算出することができる。この内容については、前記第2の実施形態にも適用することができる。
【0081】
(変形例3)
前記第1の実施形態では、ロボット3に垂直多関節ロボットを採用したが、他の種類のロボットを採用しても良い。例えば、ロボット3に水平多関節ロボット、直交ロボット、パラレルリンクロボット等各種の形態のロボットを採用することができる。この内容については、前記第2の実施形態にも適用することができる。
【0082】
(変形例4)
前記第1の実施形態では、ステップS5の軌跡算出工程、ステップS6の補正工程、ステップS7の位置認識工程はステップS3の撮像装置移動工程と並行して行われた。ステップS5、ステップS6、ステップS7はステップS3の後に行われても良い。ステップS3において手部24が移動する距離や移動にかかる時間に合わせて設定しても良い。この内容については、前記第2の実施形態にも適用することができる。
【0083】
(変形例5)
前記第1の実施形態では、ロボット3の腕や関節に配置されたサーボモーターのエンコーダーを用いてロボット3の姿勢を検出したが、ロボット3の姿勢を検出する方法はこれに限定されない。例えば、サーボモーターの代りにステップモーターを配置しても良い。そして、ステップモーターを制御する制御信号を用いてロボット3の姿勢を演算しても良い。また、ステップモーターとエンコーダーとを用いても良い。ロボット3を制御するために腕や関節に位置検出センサーまたは角度検出センサーを配置しても良い。
【0084】
(変形例6)
前記第1の実施形態では、点像分布関数68が直線になるように撮像装置28を移動しながら撮像した。前記第2の実施形態では点像分布関数85が円弧状になるように撮像装置28を移動しながら撮像した。点像分布関数は他の滑らかな線状でも良い。例えば、S字状でも良く。2つの直線が円弧に接した線でも良い。
【図面の簡単な説明】
【0085】
【図1】第1の実施形態にかかわるピッキング装置の構成を示す概略斜視図。
【図2】ピッキング装置の電気制御ブロック図。
【図3】ワークのピッキング工程を示すフローチャート。
【図4】ピッキング作業の作業方法を説明するための模式図。
【図5】ピッキング作業の作業方法を説明するための図。
【図6】ピッキング作業の作業方法を説明するための図。
【図7】ピッキング作業の作業方法を説明するための模式図。
【図8】比較例1にかかわるピッキング作業の作業方法を説明するための図。
【図9】比較例2にかかわるピッキング作業の作業方法を説明するための図。
【図10】ピッキング作業の作業方法を説明するための図。
【図11】第2の実施形態にかかわるピッキング作業の作業方法を説明するための図。
【図12】ピッキング作業の作業方法を説明するための図。
【符号の説明】
【0086】
3…可動部としてのロボット、5…ワークとしてのネジ回し、6…ワークとしての小型ネジ回し、7…ワークとしてのペンチ、8…ワークとしてのニッパー、9…ワークとしての定規、24…把持部としての手部、28…撮像装置、32…可動部姿勢検出部としてのロボット駆動装置、45…可動部移動計画部としての可動部移動計画演算部、46…可動部姿勢検出部としての姿勢演算部、47…軌跡演算部、48…補正部としての画像補正演算部、49…位置検出部としてのワーク位置演算部、66,75,83…画像としての撮影画像、69,78,86…補正画像。
【技術分野】
【0001】
本発明は、撮像方法、ピッキング方法及びピッキング装置にかかわり、特に、撮像した画像を補正する方法に関するものである。
【背景技術】
【0002】
ワークを把持するときや加工するときに、視覚センサー等を用いてワークの位置を認識することがある。その後、ワークを把持または加工する。ワークの位置を認識するとき、ワークと視覚センサーとを停止して撮像して静止画像を生成する。次に、静止画像を分析することによりワークの位置や姿勢を精度良く検出する方法が一般的に行われている。この方法を生産性良く撮像する方法が特許文献1に開示されている。それによると、ワークに対して視覚センサー(以後、撮像装置と称す)を移動して接近させる。そして、撮像装置を停止せずにワークを撮影して、画像を生成する。次に、撮像するときにおける撮像装置の場所と撮像した画像とを分析することによりワークの位置を検出していた。
【0003】
撮像装置がワークを撮像するとき、撮像している間にワークが移動するとワークの画像の輪郭が曖昧になるブレが形成される。そして、ブレを補正して輪郭を明確にする方法が特許文献2に開示されている。それによると、撮影した画像からブレの方向や大きさを示す点広がり関数(PointSpreadFunctionともいわれ、以後、点像分布関数と称す)を算出した後、点像分布関数を用いて画像復元フィルタを生成する。そして、画像復元フィルタを撮像した画像に適用することにより画像のブレを補正していた。
【0004】
撮影した画像からブレを小さくするには、点像分布関数を精度良く検出することが有効であることが知られている。そして、点像分布関数を精度良く検出する方法が特許文献3に開示されている。それによると、撮像装置に角速度センサーを配置して、撮像装置が移動するときの角速度を検出している。そして、撮像装置における角速度の推移を用いて点像分布関数を検出していた。
【0005】
【特許文献1】特開平6−99381号公報
【特許文献2】特開2007−183842号公報
【特許文献3】特開2008−11424号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
ワークと撮像装置との相対位置を変化させながら撮像するとき、撮像した画像にブレが生ずる。ワークと撮像装置との相対位置の軌跡が複雑のときには、ブレの形状が複雑になる。そして、ブレを補正してブレ量を小さくすることが難しかった。そこで、ワークと撮像装置との相対位置を変化させながら撮像するときにも、補正してブレ量を小さくできる画像を撮像する方法が望まれていた。
【課題を解決するための手段】
【0007】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【0008】
[適用例1]
本適用例にかかる撮像方法は、撮像装置を用いてワークを撮像する撮像方法であって、変形する可動部を用いて前記撮像装置と前記ワークとのうち少なくとも一方を前記撮像装置の光軸と直交する方向に移動する移動工程と、前記移動工程と並行して行われ前記撮像装置を用いて前記ワークを撮像して画像を形成する撮像工程と、前記撮像装置と前記ワークとが相対移動する移動軌跡を演算する軌跡算出工程と、前記移動軌跡の情報を用いて前記画像を補正する補正工程と、を有し、前記移動工程では前記移動軌跡が滑らかな線となるように前記撮像装置と前記ワークとのうち少なくとも一方を移動することを特徴とする。
【0009】
この撮像方法によれば、移動工程と撮像工程とが並行して行われる。従って、ワークと撮像装置とが相対的に移動しながら撮像装置がワークを撮像する。このとき、撮像した画像にはブレが形成され易い。軌跡算出工程では可動部の姿勢が変化する情報を用いてワークに対する撮像装置の移動軌跡を算出する。そして、補正工程では移動軌跡の情報を用いて撮像した画像の補正を行う。
【0010】
移動工程では移動軌跡が滑らかな線となるように撮像装置とワークとのうち少なくとも一方を移動している。移動軌跡に折線が入るときに撮像した画像には複雑なブレが形成される。移動軌跡が滑らかな線になるようにするときに撮像した画像には単純なブレが形成される。従って、移動軌跡が滑らかな線になるようにして撮像する方が、画像のブレが小さくなるように補正し易くすることができる。
【0011】
[適用例2]
上記適用例にかかる撮像方法において、前記移動工程では前記移動軌跡が直線状となるように前記撮像装置と前記ワークとのうち少なくとも一方を移動することを特徴とする。
【0012】
この撮像方法によれば、移動軌跡が直線状になるように撮像装置とワークとのうち少なくとも一方を移動している。従って、撮像した画像は直線状にずれた単純なブレが形成され易くなる。従って、画像のブレが小さくなるように補正し易くすることができる。
【0013】
[適用例3]
上記適用例にかかる撮像方法において、前記可動部が変形する変形動作の推移を計画する移動計画工程を有することを特徴とする。
【0014】
この撮像方法によれば、移動計画工程にて可動部が変形する変形動作の推移を計画する。このとき、移動軌跡が所定の軌跡となるように計画する。そして、移動工程では計画した変形動作の推移に従って、可動部を制御することにより移動軌跡を所定の軌跡にすることができる。
【0015】
[適用例4]
上記適用例にかかる撮像方法において、前記補正工程では前記ワークに対する前記撮像装置の前記移動軌跡の情報を用いて点像分布関数を演算し、前記点像分布関数を用いて復元フィルタを演算し、前記復元フィルタを用いて前記画像を補正することを特徴とする。
【0016】
この撮像方法によれば、ワークに対する撮像装置の移動軌跡を用いて点像分布関数を演算している。移動軌跡が滑らかな線である為、点像分布関数を精度良く算出することができる。その結果、精度良く画像を補正することができる。
【0017】
[適用例5]
上記適用例にかかる撮像方法を用いたピッキング方法において、前記補正工程にて補正した補正画像を用いて前記ワークの場所を検出する位置認識工程と、前記ワークを把持して移動するワーク移動工程と、を有することを特徴とする。
【0018】
このピッキング方法によれば、精度良く補正された画像を用いてワークの場所を検出している。従って、ワークが位置する場所を精度良く認識することができる為、安定してワークを把持することができる。
【0019】
[適用例6]
本適用例にかかるピッキング装置は、ワークを把持して移動するピッキング装置であって、前記ワークを把持する把持部と、前記ワークを撮像して画像を形成する撮像装置と、前記ワーク及び前記撮像装置のうち少なくとも一方を移動する可動部と、前記可動部の姿勢を検出して前記可動部の姿勢を示す姿勢情報を出力する可動部姿勢検出部と、前記姿勢情報を用いて前記撮像装置と前記ワークとが相対移動する移動軌跡を演算する軌跡演算部と、前記移動軌跡の情報を用いて前記画像を補正した補正画像を形成する補正部と、前記補正画像を用いて前記ワークの場所を検出するワーク位置検出部と、を有し、前記撮像装置が前記ワークを撮像するときに前記可動部が直線状に移動するように前記可動部は前記撮像装置と前記ワークとのうち少なくとも一方を移動することを特徴とする。
【0020】
このピッキング装置によれば、可動部がワーク及び撮像装置のうち少なくとも一方を直線状に移動しながら、撮像装置がワークを撮像する。そして、可動部姿勢検出部が可動部の姿勢を検出した後、軌跡演算部がワークに対する撮像装置の移動軌跡の情報を算出する。そして、補正部は直線状となっている移動軌跡の情報を用いて撮像した画像のブレを補正する。このとき、移動軌跡が直線状である為、ブレは補正し易くなっている。ワーク位置検出部は補正した画像を用いて精度良くワークの場所を検出する。把持部はワークを安定して把持した後、ワークを移動することができる。
【発明を実施するための最良の形態】
【0021】
以下、実施形態について図面に従って説明する。尚、各図面における各部材は、各図面上で認識可能な程度の大きさとするため、各部材毎に縮尺を異ならせて図示している。
(第1の実施形態)
本実施形態におけるピッキング装置と特徴的な撮像方法と撮像したワークをピッキングする方法とついて図1〜図9に従って説明する。ピッキングはワークを把持して移動して離すことにより、ワークを移動させる動作を示す。
【0022】
図1は、ピッキング装置の構成を示す概略斜視図である。図1に示すように、ピッキング装置1は主にワーク供給装置2、可動部としてのロボット3及びワーク収納装置4から構成されている。ワーク供給装置2はワークを供給する装置である。ワークは特に限定されない、例えば、実施形態においてワークにネジ回し5、小型ネジ回し6、ペンチ7、ニッパー8、定規9を採用している。
【0023】
ワーク供給装置2には複数の容器10が配置されている。容器10は外形が直方体であり、深さが浅く形成されている。そして、容器10内にネジ回し5、小型ネジ回し6、ペンチ7、ニッパー8、定規9が配置されている。容器10内においてネジ回し5、小型ネジ回し6、ペンチ7、ニッパー8、定規9の配置は不定であり、容器10毎に異なった配置となっている。
【0024】
ワーク供給装置2は内部に供給用昇降装置11、除材用昇降装置12とが並んで配置されている。供給用昇降装置11と除材用昇降装置12とが並んでいる方向をY方向とする。そして水平方向においてY方向と直交する方向をX方向とし、鉛直方向をZ方向とする。供給用昇降装置11及び除材用昇降装置12の上側には容器10が重ねて配置されている。そして、供給用昇降装置11及び除材用昇降装置12は上下方向に移動する直動機構を備え、容器10を上昇及び下降することが可能になっている。この直動機構は、例えば、ボールネジとパルスモーターとのを組み合わせたユニットまたはリニアモーター等により構成することができる。
【0025】
ワーク供給装置2において図中左側の側面には押出装置13が配置されている。押出装置13は直動機構を備え、この直動機構は、例えば、エアーシリンダまたはリニアモーター等により構成することができる。押出装置13は供給用昇降装置11の上側に重ねて配置された容器10の内最上段の容器10を図中右下方向に押し出す。そして、押出装置13は容器10を供給用昇降装置11の上側から除材用昇降装置12の上側へ移動させる。
【0026】
ロボット3が除材用昇降装置12の上側に位置する容器10内の上のネジ回し5、小型ネジ回し6、ペンチ7、ニッパー8、定規9を移動することにより、容器10が空になる。その後、除材用昇降装置12が空の容器10を下降させる。次に、ネジ回し5、小型ネジ回し6、ペンチ7、ニッパー8、定規9が配置された容器10を供給用昇降装置11が上昇させる。続いて、上昇された容器10を押出装置13がロボット3の方向に移動する。その結果、ネジ回し5、小型ネジ回し6、ペンチ7、ニッパー8、定規9が配置された容器10がワーク供給装置2においてロボット3側の場所に配置される。
【0027】
ワーク供給装置2の図中右側にはロボット3が配置されている。ロボット3は基台14を備え、基台14上には回転台15が配置されている。回転台15は固定台15aと回転軸15bとを備えている。回転台15は内部にサーボモーターと減速機構とを備え、回転軸15bを角度精度良く回転及び停止することができる。サーボモーターは回転軸15bの回転角度を検出するエンコーダーを備えている。そして、エンコーダーの出力を用いて固定台15aに対する回転軸15bの相対角度を検出することが可能になっている。
【0028】
回転台15の回転軸15bと接続して第1関節16が配置され、第1関節16と接続して第1腕17が配置されている。第1腕17と接続して第2関節20が配置され、第2関節20と接続して第2腕21が配置されている。第2腕21は固定軸21aと回転軸21bとを備え、第2腕21は第2腕21の長手方向を軸にして回転軸21bを回転することができる。第2腕21の回転軸21bと接続して第3関節22が配置され、第3関節22と接続して第3腕23が配置されている。第3腕23は固定軸23aと回転軸23bとを備え、第3腕23は第3腕23の長手方向を回転軸にして回転軸23bを回転することができる。第3腕23の回転軸23bと接続して可動要素及び把持部としての手部24が配置され、手部24には一対の指部24aが配置されている。手部24にはサーボモーターとサーボモーターにより駆動される直動機構を備えている。そして、この直動機構により指部24aの間隔を変更可能になっている。
【0029】
回転軸21bと接続して第1支持腕25が配置されている。第1支持腕25は第2腕21の図中上側に突出して配置されている。第1支持腕25と接続して支持部関節26が配置され、支持部関節26と接続して第2支持腕27が配置されている。第2支持腕27には撮像装置28が配置されている。撮像装置28は、例えば、図示しない同軸落射型光源とCCD(Charge Coupled Device)が組み込まれたものである。同軸落射型光源から出射した光はワークを照射する。撮像装置28は、ワークで反射する光を用いてワークを撮像することが可能となっている。そして、ロボット3に配置された各関節、腕、支持部が可動要素となっている。
【0030】
第1関節16、第2関節20、第2腕21、第3関節22、第3腕23、支持部関節26はそれぞれ内部にサーボモーター及び減速機構等からなる回転機構を備えている。そして、第1関節16、第2関節20、第2腕21、第3関節22、第3腕23、支持部関節26は角度精度良く回転及び停止することができる。各サーボモーターは回転軸の回転角度を検出するエンコーダーを備えている。そして、エンコーダーの出力を用いて第1関節16では回転台15に対する第1腕17の相対角度が検出可能になっている。第2関節20では第1腕17に対する第2腕21の相対角度が検出可能になっている。同様に、第2腕21では固定軸21aに対する回転軸21bの相対角度が検出可能になっている。支持部関節26では第1支持腕25に対する第2支持腕27の相対角度が検出可能になっている。さらに、第3関節22では第2腕21に対する第3腕23の相対角度が検出可能になっている。第3腕23では固定軸23aに対する回転軸23bの相対角度を検出することが可能になっている。上述のようにロボット3は多くの関節と回転機構を備えている。そして、これらの各腕及び回転軸の位置や角度を検出することによりロボット3の姿勢を検出することが可能になっている。
【0031】
また、これらの関節及び回転機構に加えて指部24aを制御することによりワークを把持することが可能になっている。同様に、第2腕21の角度と対応して第2支持腕27の角度を制御することにより、撮像装置28における光軸の方向をZ方向にすることができる。
【0032】
ロボット3の図中右上にはワーク収納装置4が配置されている。ワーク収納装置4は第1室4a〜第5室4eの5つの室に分離されている。第1室4aには定規9が収納され、第2室4bにはネジ回し5が収納される。第3室4cにはニッパー8が収納され、第4室4dにはペンチ7が収納される。そして、第5室4eには小型ネジ回し6が収納される。このように、各室にはワークが区分して配置されている。ロボット3は容器10内に無秩序に配置された各ワークの形状を認識した後、ワーク収納装置4に分類して配置する。従って、ワーク収納装置4では各室毎にワークが分類して配置される。
【0033】
ワーク収納装置4の各室は図中上側が開放して形成されることにより、ロボット3が上側から各室にワークを入れることができる。各室には各室の底面を昇降する昇降装置が配置されている。そして、各室に配置されたワークの量に応じて各室の底面を下降することにより、ロボット3がワークをワーク収納装置4に移動し易くなっている。
【0034】
ロボット3の図中左下側には制御装置29が配置されている。制御装置29はワーク供給装置2、ロボット3、ワーク収納装置4等を含むピッキング装置1を制御する装置である。
【0035】
図2は、ピッキング装置の電気制御ブロック図である。図2において、ピッキング装置1の制御部としての制御装置29はプロセッサとして各種の演算処理を行うCPU(中央演算装置)30と各種情報を記憶する記憶部としてのメモリー31とを有する。
【0036】
ロボット駆動装置32、撮像装置28、ワーク供給装置2、ワーク収納装置4は、入出力インターフェース33及びデータバス34を介してCPU30に接続されている。さらに、入力装置35、表示装置36も入出力インターフェース33及びデータバス34を介してCPU30に接続されている。
【0037】
ロボット駆動装置32はロボット3と接続されロボット3を駆動する装置である。ロボット駆動装置32は、ロボット3の姿勢に関する情報をCPU30に出力する。そして、CPU30が指示する場所にロボット駆動装置32がロボット3を駆動して撮像装置28を移動させる。そして、撮像装置28は所望の場所を撮像することができる。さらに、CPU30が指示する場所にロボット駆動装置32が手部24を移動する。その後、ロボット駆動装置32が指部24aを駆動することにより、ロボット3がワークを把持できる。
【0038】
撮像装置28はワークを撮像する装置である。CPU30の指示する信号に従って撮像した後、撮像した画像のデータをメモリー31に出力する。
【0039】
ワーク供給装置2はCPU30の指示により供給用昇降装置11、除材用昇降装置12、押出装置13を駆動する。そして、ロボット3の手部24が到達可能な範囲にワーク供給装置2はワークを供給する。ワーク収納装置4はCPU30の指示により昇降装置を駆動する。そして、ロボット3がワークを置く高さを制御する。
【0040】
入力装置35はワークの位置認識をする条件やピッキング動作の動作条件等の諸情報を入力する装置である。例えば、ワークの形状を示す座標を図示しない外部装置から受信し、入力する装置である。表示装置36はワークやロボット3に関するデータや作業状況を表示する装置である。表示装置36に表示される情報を基に入力装置35を用いて操作者が入力操作を行う。
【0041】
メモリー31は、RAM、ROM等といった半導体メモリーや、ハードディスク、DVD−ROMといった外部記憶装置を含む概念である。機能的には、ピッキング装置1における動作の制御手順が記述されたプログラムソフト37を記憶する記憶領域がメモリー31に設定される。さらに、ワークの形状や手部24が把持する場所等の情報であるワーク関連データ40を記憶するための記憶領域もメモリー31に設定される。さらに、ロボット3を構成する要素の情報や、ワーク供給装置2及びワーク収納装置4とロボット3との相対位置等の情報であるロボット関連データ41を記憶するための記憶領域もメモリー31に設定される。さらに、ロボット3が撮像装置28を移動するときにおける各腕部等の姿勢を示す情報であるロボット姿勢データ42を記憶するための記憶領域もメモリー31に設定される。さらに、撮像装置28が撮像した画像のデータや補正後の画像のデータである画像データ43を記憶するための記憶領域もメモリー31に設定される。他にも、CPU30のためのワークエリアやテンポラリファイル等として機能する記憶領域やその他各種の記憶領域がメモリー31に設定される。
【0042】
CPU30はメモリー31内に記憶されたプログラムソフト37に従って、ワークの位置及び姿勢を検出した後、ワークを移動させるための制御を行うものである。具体的な機能実現部として、ロボット3を駆動してワークや撮像装置28を移動させるための制御を行うロボット制御部44を有する。ロボット制御部44は撮像装置28を駆動する制御も行う。他にも、撮像装置28を移動させる経路を演算する可動部移動計画部としての可動部移動計画演算部45を有する。可動部移動計画演算部45は、撮像装置28を設定した経路の通りに移動させるためにロボット3の各可動要素の動作推移を演算する。他にも、ロボット3の各腕部の場所や姿勢の情報を入力して撮像装置28の場所を演算する姿勢演算部46を有する。ロボット3の各サーボモーターが備えるエンコーダー、ロボット駆動装置32、姿勢演算部46等により可動部姿勢検出部が構成されている。さらに、撮像装置28の軌跡を演算する軌跡演算部47を有する。さらに、撮像装置28の軌跡の情報を用いて撮像した画像のブレを補正する補正部としての画像補正演算部48を有する。さらに、補正した画像を用いてワークの位置を演算する位置検出部としてのワーク位置演算部49を有する。他にも、ロボット3の動作と連携してワーク供給装置2及びワーク収納装置4の動作を制御する除給材制御部50等を有する。
【0043】
(撮像方法及びピッキング方法)
次に、上述したピッキング装置1を用いてワークを移動する作業における撮像方法及びピッキング方法について図3〜図7にて説明する。図3は、ワークのピッキング工程を示すフローチャートである。図4〜図7は、ピッキング作業の作業方法を説明するための図または模式図である。
【0044】
図3に示すフローチャートにおいて、ステップS1は、ワーク供給工程に相当する。除給材制御部がワーク供給装置を駆動してワークが配置された容器を供給させる工程である。ステップS2は、移動計画工程に相当し、撮像装置を移動させる経路の計画を演算する工程である。次にステップS3及びステップS4に移行する。ステップS3とステップS4〜ステップS7とが並行して行われる。ステップS3は、移動工程としての撮像装置移動工程に相当し、ロボット制御部がロボットを駆動して撮像装置をワークに向かって移動させる工程である。次にステップS8に移行する。ステップS4は、撮像工程に相当し、撮像装置がワークを撮像する工程である。次に、ステップS5に移行する。ステップS5は、軌跡算出工程に相当し、撮像装置がワークを撮像した間に撮像装置が移動した軌跡を演算する工程である。次にステップS6に移行する。ステップS6は、補正工程に相当し、撮像装置が撮像した画像のブレを補正する工程である。次にステップS7に移行する。ステップS7は、位置認識工程に相当し、ワークの位置及び姿勢を算出する工程である。次にステップS8に移行する。
【0045】
ステップS8は、ワーク移動工程に相当し、ロボットがワークをワーク収納装置まで移動する工程である。次にステップS9に移行する。ステップS9は、第1終了判断工程に相当し、ワーク供給装置のロボット側に位置する容器内にワークがあるか否かを判断する工程である。容器内にワークがあるとき、ステップS2に移行する。容器内のワークを総て移動したとき、ステップS10に移行する。ステップS10は、第2終了判断工程に相当し、ピッキング作業を終了するか否かを判断する工程である。ピッキング作業を継続するとき、ステップS1に移行する。ピッキング作業を終了するとき、ワークのピッキング工程を終了する。
【0046】
次に、図4〜図7を用いて、図3に示したステップと対応させて、ピッキング工程における撮像方法及びピッキング方法を詳細に説明する。図4はステップS1のワーク供給工程、ステップS2の移動計画工程及びステップS3の撮像装置移動工程に対応する図である。図4(a)に示すように、ステップS1において、ワーク供給装置2には容器10が配置される。そして、ロボット3側の容器10にはネジ回し5、小型ネジ回し6、ペンチ7、ニッパー8、定規9のワークが無秩序に配置されている。本実施形態ではワークの内ネジ回し5をピッキングする動作を説明する。尚、他のワークについても同様の方法にてピッキングすることができる。
【0047】
ステップS2の移動計画工程において、可動部移動計画演算部45が撮像装置28を移動前場所53から把持待機場所54に向かって移動させる移動経路55を計画する。移動前場所53は特定の場所では無く、前工程の作業が終了したときに撮像装置28が位置した場所である。把持待機場所54は、ロボット3がワークの1つを保持する動作に入る前に待機する場所である。把持待機場所54は容器10の中央の場所と対向する場所に設定されている。ロボット3は容器10においてワークが載置されている面と平行に撮像装置28を移動させる。従って、撮像装置28の光軸と直交する方向に撮像装置28は移動させられる。そして、撮像装置28がワークと対向する場所を通るとき、撮像装置28の焦点距離を殆ど調整することなく撮像することができる。
【0048】
移動経路55は移動前場所53と把持待機場所54とを直線にて接続した経路とする。そして、可動部移動計画演算部45は移動経路55上に複数の通過点55aを設定する。通過点55aの間隔は略等間隔にて設定される。次に、撮像装置28が各通過点55aを通過するように、可動部移動計画演算部45は各可動要素の動作推移計画を演算する。
【0049】
ステップS3の撮像装置移動工程において、ロボット制御部44はロボット3を駆動する。そして、ロボット制御部44は移動前場所53から把持待機場所54に向かって撮像装置28を移動させる。このとき、ロボット3は撮像装置28を直線状の移動経路55に沿って移動させる。
【0050】
図4(b)は各関節及び腕に配置されたエンコーダーの出力の推移を示すタイムチャートである。図4(b)において、横軸は時間の経過を示し、時間は図中左から右へ移行する。縦軸には、撮像装置28が移動するときの回転台15、第1関節16、第2関節20、第2腕21、支持部関節26におけるエンコーダー出力値が配置されている。エンコーダー出力値は図中上側が時計周りの角度を示している。第1エンコーダー出力線56は回転台15におけるエンコーダーの出力の推移を示している。第2エンコーダー出力線57は第1関節16の回転によるエンコーダーの出力の推移を示している。第3エンコーダー出力線58は第2関節20の回転によるエンコーダーの出力の推移を示している。第4エンコーダー出力線59は第2腕21の回転軸21bの回転によるエンコーダーの出力の推移を示している。第5エンコーダー出力線60は支持部関節26の回転によるエンコーダーの出力の推移を示している。第1エンコーダー出力線56〜第5エンコーダー出力線60が姿勢情報となっている。
【0051】
時間軸上の撮像開始時63aは撮像装置28が撮像を開始する時を示している。撮像終了時63bは撮像装置28が撮像を終了する時を示している。撮像時間63cは撮像装置28が撮像している間の時間を示す。記憶開始時64aは、ロボット制御部44がエンコーダー出力値をメモリー31に記憶することを開始する時を示す。記憶終了時64bは、ロボット制御部44がエンコーダーの出力をメモリー31に記憶することを終了する時を示す。記憶時間64cは、ロボット制御部44がエンコーダーの出力をメモリー31に記憶している間の時間を示す。把持時65は、ロボット3がネジ回し5を把持する時を示している。
【0052】
記憶開始時64aは撮像開始時63aより早く設定され、記憶終了時64bは撮像終了時63bより遅く設定されている。従って、撮像時間63cに撮像前後の時間を加えた記憶時間64cにおける各エンコーダーの出力がメモリー31にロボット姿勢データ42として記憶される。
【0053】
撮像装置28が移動前場所53から把持待機場所54と対向する場所に移動するとき、第1エンコーダー出力線56、第2エンコーダー出力線57、第3エンコーダー出力線58及び第5エンコーダー出力線60は連続して上昇または下降する。このとき、撮像装置28は各通過点55aを通過して移動する。そして、撮像時間63cの間も第1エンコーダー出力線56、第2エンコーダー出力線57、第3エンコーダー出力線58及び第5エンコーダー出力線60は上昇または下降する。つまり、撮像装置28が移動している間に撮像が行われる。
【0054】
撮像終了時63bから把持時65の間で第1エンコーダー出力線56、第2エンコーダー出力線57、第3エンコーダー出力線58及び第5エンコーダー出力線60が変化する。このとき、ロボット制御部44は、各可動要素を駆動することによりワークを把持する。
【0055】
図5(a)はステップS4の撮像工程に対応する図である。図5(a)に示すように、ステップS4において、画像としての撮影画像66にネジ回し5の画像であるネジ回し像67が撮像される。ロボット制御部44が撮像装置28を移動させながら撮像するので、ネジ回し像67にはブレが生じる。その結果、撮影画像66におけるネジ回し像67の辺67aにブレが観察される。
【0056】
図5(b)はステップS5の軌跡算出工程に対応する図である。ステップS5において、姿勢演算部46はメモリー31からエンコーダーの出力データを再生する。そして、第1エンコーダー出力線56〜第5エンコーダー出力線60のデータを用いて撮像装置28の場所の推移を演算する。このときロボット3に設定された座標軸上における撮像装置28の座標値を演算する。
【0057】
具体的には、まず回転台15の回転軸15bの回転角度データを用いて第1関節16を中心に第1腕17が移動可能な方向を算出する。次に、第1関節16の回転角度データを用いて第2関節20の位置を算出する。続いて、第2関節20の回転角度データを用いて支持部関節26の位置を算出する。次に、支持部関節26の回転角度データを用いて撮像装置28の位置を算出する。この手順を用いて姿勢演算部46が撮像開始時63aにおける撮像装置28の場所を算出する。
【0058】
次に、撮像時間63cの間における撮像装置28の位置を順次算出する。そして、軌跡演算部47が撮像装置28の推移を演算する。その結果、図5(b)に示すように、点像分布関数68を示す線分が算出される。本実施形態においては、移動経路55が直線になるように各可動要素が駆動されている。従って、点像分布関数68は直線となる。この点像分布関数68は撮像装置28の光軸が移動するときの軌跡となっている。
【0059】
図5(c)及び図6はステップS6の補正工程に対応する図である。ステップS6において、撮影画像66と点像分布関数68とを用いて撮影画像66を補正する。補正方法は特に限定されず、公知の方法を用いることができる。例えば、特開2006−279807号公報に開示されている一般逆フィルタ関数や、特開平11−27574号公報に開示されているウィーナフィルタ、特開2007−183842号公報に開示されているパラメトリックウイーナフィルタ、制限付最小二乗フィルタ、射影フィルタ等の復元方法を用いることができる。
【0060】
復元方法の一例における概要を説明する。まず、点像分布関数68をフーリエ変換することにより、XY平面上の空間周波数分布関数を算出する。算出した分布関数は複素関数であり、この関数を点像空間周波数分布関数とする。次に、1つの点からなる画像をフーリエ変換した空間周波数分布関数を算出し、算出した分布を単点空間周波数分布関数とする。そして、単点空間周波数分布関数を点像空間周波数分布関数にて複素除算し、算出した関数を復元フィルタ関数とする。続いて、撮影画像66をフーリエ変換することにより、XY平面上の空間周波数分布関数を算出する。算出した分布を撮像空間周波数分布関数とする。次に、撮像空間周波数分布関数と復元フィルタ関数とを複素積算し、積算した分布を補正像空間周波数分布関数とする。続いて、補正像空間周波数分布関数を逆フーリエ変換することにより補正画像を算出する。その結果、図5(c)に示すような補正画像69が算出される。補正画像69では各ワークの輪郭におけるブレが小さくなることが観測される。従って、ネジ回し像67に対応するネジ回し補正画像70においてもブレが小さくなっている。
【0061】
図6(a)は図5(c)の要部拡大図であり、ネジ回し補正画像70を拡大した図である。そして、図6(b)は、図6(a)のA−A’線における輝度プロファイル図である。図6(b)において横軸はY方向の場所を示している。そして、縦軸は輝度を示しており、図中上側が下側より高い輝度となっている。そして、輝度プロファイル線71は各場所における輝度を示している。図6(b)に示すように、ネジ回し5の輪郭に対応する輪郭部71aでは輝度の変化率が大きいため、ネジ回し5の輪郭を精度良く検出することができる。輪郭部71aにおける輝度の変化率は輝度プロファイル線71の傾きで示される。この傾きが急峻な程変化率が大きくなる。
【0062】
ステップS7の位置認識工程において、ワーク位置演算部49は補正画像69を用いてネジ回し5の場所を算出する。まず、ワーク位置演算部49は補正画像69におけるネジ回し補正画像70の場所を演算する。次に、ワーク位置演算部49は、ロボット3に設定された座標軸上において撮像時間63cにおける撮像装置28の場所を演算する。続いて、ワーク位置演算部49はネジ回し補正画像70の場所のデータ及び撮像装置28の場所のデータを用いてネジ回し5の場所を演算する。
【0063】
図7はステップS8のワーク移動工程に対応する図である。図7(a)において、図を解り易くするために容器10内のネジ回し5以外のワークを省略してある。図7(a)に示すように、ワーク位置演算部49がネジ回し5の場所を算出した後、ロボット制御部44がロボット3を駆動してネジ回し5を把持する。続いて、ロボット3はネジ回し5を把持したままワーク収納装置4に移動することにより、ネジ回し5を移動する。その結果、図7(b)に示すように、ワーク収納装置4にネジ回し5が載置される。続いて、手部24は指部24aを広げてネジ回し5を離した後、次に作業する場所へ移動する。そして、順次ワークをピッキングする。予定するワークを総てピッキングしたときピッキング工程を終了する。
【0064】
(比較例1)
次に、撮像方法の一比較例について図8のピッキング作業の作業方法を説明するための図を用いて説明する。すなわち、撮像装置を静止した状態で撮像するときの画像と補正画像69とを比較する。図8(a)はワークの撮影画像であり、撮像装置を静止した状態で撮像したときの画像である。図8(b)は、ネジ回し像の要部拡大図である。図8(c)は輝度プロファイル図であり、図8(b)のB−B’線における輝度プロファイル図である。図8(a)において、撮影画像72では撮像装置28が静止した状態にて撮像している。このとき、ネジ回し5を撮像した画像であるネジ回し像73の輪郭にはブレが殆ど無い。
【0065】
図8(c)において横軸はY方向の場所を示している。そして、縦軸は輝度を示しており、図中上側が下側より高い輝度となっている。そして、輝度プロファイル線74は各場所における輝度を示している。ネジ回し5の輪郭に対応する輪郭部74aでは輝度の変化率が大きいため、ネジ回し5の輪郭を精度良く検出することができる。輝度プロファイル線74と図6(b)に示す輝度プロファイル線71とを比較する。輝度プロファイル線71は高周波の変動が輝度プロファイル線74より多く形成されている。一方、輪郭部71aは輪郭部74aと同程度の輝度の変化率となっているので、双方とも同程度にネジ回し5の輪郭が検出可能となっている。つまり、直線状に撮像装置28を移動しながら撮像する場合には、撮像装置28を静止して撮像する場合と略同等の程度にネジ回し5の輪郭が検出可能となる。
【0066】
(比較例2)
次に、撮像方法の一比較例について図9及び図10のピッキング作業の作業方法を説明するための図を用いて説明する。すなわち、撮像装置の移動軌跡が滑らかでない線状に移動した状態で撮像するときの画像と補正画像69とを比較する。図9(a)はワークの撮影画像であり、撮像装置を移動した状態で撮像したときの画像である。図9(b)は、点像分布関数を示す曲線の図であり、図9(c)は、復元画像を示す図である。撮像装置28を移動しながら撮像するので、図9(a)に示すように画像としての撮影画像75は全面にブレが形成されている。そして、ネジ回し像76にもブレが形成されている。図9(b)に示すように点像分布関数77には折線が含まれており、点像分布関数77は滑らかでない線となっている。そして、点像分布関数77は撮像中における撮像装置28の移動軌跡を示すので、撮影画像75は、撮像装置28の移動軌跡が滑らかでない線状に移動するときに撮像した画像であることがわかる。
【0067】
撮影画像75と点像分布関数77とを用いて補正画像を算出する。その結果、図9(c)に示すような補正画像78が算出される。補正画像78では各ワークの輪郭におけるコントラストが高くなっていることが観測される。そして、ネジ回し像76に対応するネジ回し補正画像79においてもコントラストが高くなっている。
【0068】
図10(a)は、ネジ回し像の要部拡大図である。図10(b)は輝度プロファイル図であり、図10(a)のC−C’線における輝度プロファイル図である。図10(b)において横軸はY方向の場所を示している。そして、縦軸は輝度を示しており、図中上側が下側より高い輝度となっている。そして、輝度プロファイル線80は各場所における輝度を示している。ネジ回し5の輪郭に対応する輪郭部80aを図6(b)に示す輝度プロファイル線71の輪郭部71aと比較する。輪郭部71aは輪郭部80aと比較すると変化率が大きくなっている。従って、直線状の点像分布関数68のときの方が滑らかでない線状の点像分布関数77のときに比べてブレを小さくできている。その結果、直線状の点像分布関数68のときの方がネジ回し5の輪郭を認識し易くすることができる。
【0069】
上述したように、本実施形態によれば、以下の効果を有する。
(1)本実施形態によれば、撮像装置28の移動軌跡が直線状になるように撮像装置28を移動している。従って、撮像した撮影画像66は単純なブレが形成される。従って、撮影画像66のブレが小さくなるように補正することができる。
【0070】
(2)本実施形態によれば、ステップS2の移動計画工程にてロボット3が変形する変形動作の推移を計画する。このとき、撮像装置28の移動軌跡が直線状になるように計画している。そして、ステップS3の撮像装置移動工程では計画に従ってロボット制御部44がロボット3を制御することにより撮像装置28の移動軌跡を直線状の軌跡にすることができる。
【0071】
(3)本実施形態によれば、撮像装置28の移動軌跡を用いて点像分布関数68を演算している。移動軌跡が単純な直線状である為、点像分布関数68を精度良く算出することができる。その結果、精度良く撮影画像66を補正することができる。
【0072】
(4)本実施形態によれば、精度良く補正された補正画像69を用いてネジ回し5の場所を検出している。従って、ネジ回し5の位置を精度良く認識することができる為、安定してネジ回し5を把持することができる。
【0073】
(第2の実施形態)
次に、撮像方法の一実施形態について図11及び図12のピッキング作業の作業方法を説明するための図を用いて説明する。本実施形態が第1の実施形態と異なるところは、図5に示した点像分布関数68の形状が直線状でなく、円弧状になるように撮像装置28の移動経路を変更した点にある。尚、第1の実施形態と同じ点については説明を省略する。
【0074】
図11(a)はワークの撮影画像を示す図であり、撮像装置28を移動しながら撮像したときの画像である。図11(b)は、点像分布関数を示す曲線の図であり、図11(c)は、復元画像を示す図である。すなわち、本実施形態では、ワークに対して撮像装置28を円弧状に移動しながら、撮像装置28が撮像する。そのとき、図11(a)に示すように画像としての撮影画像83は全面にブレが形成される。そして、ネジ回し像84にもブレが形成されている。図11(b)に示すように点像分布関数85には折線が含まれず、点像分布関数85は円弧状の滑らかな線となっている。点像分布関数85は撮像中における撮像装置28の移動軌跡を示すので、撮影画像83は、撮像装置28を滑らかな円弧状に移動させながら撮像した画像であることがわかる。
【0075】
撮影画像83と点像分布関数85とを用いて画像を補正する演算を行う。その結果、図11(c)に示すような補正画像86が算出される。補正画像86では各ワークの形状と同形の像が形成されている。各ワークの輪郭は明確になり、ネジ回し補正画像87の輪郭も明確になっている。
【0076】
図12(a)は、ネジ回し像の要部拡大図である。図12(b)は輝度プロファイル図であり、図12(a)のD−D’線における輝度プロファイル図である。図12(b)において横軸はY方向の場所を示している。そして、縦軸は輝度を示しており、図中上側が下側より高い輝度となっている。そして、輝度プロファイル線88は各場所における輝度を示している。図12(b)における輝度プロファイル線88と図6(b)における輝度プロファイル線71とを比較する。ネジ回し5の輪郭に対応する場所では輝度プロファイル線88の輪郭部88aは輝度プロファイル線71の輪郭部71aと同様に変化率が大きくなっている。従って、ネジ回し補正画像87は輪郭を検出し易くなっている。その結果、点像分布関数85が円弧状となるように撮像する場合には点像分布関数68が直線の場合と同様に輪郭を検出し易くすることができる。
【0077】
輝度プロファイル線88の輪郭部88aと図10(b)に示す比較例2における輝度プロファイル線80の輪郭部80aとを比較する。このとき、輪郭部88aの方が輪郭部80aに比べて変化率が大きい。従って、円弧状の点像分布関数85の方が滑らかでない線の点像分布関数77に比べてブレが少ない補正画像とすることができる。その結果、ネジ回し5の輪郭を検出し易くすることができる。
【0078】
上述したように、本実施形態によれば、以下の効果を有する。
(1)本実施形態によれば、ステップS3の撮像装置移動工程では移動軌跡が滑らかな線となるように撮像装置28を移動している。図9(b)の点像分布関数77のように移動軌跡に折線が入るときに撮像した画像には複雑なブレが形成される。一方、図11(b)の点像分布関数85のように移動軌跡が滑らかな線になるようにするときに撮像した画像には単純なブレが形成される。従って、移動軌跡が滑らかな線になるようにして撮像する方が、画像のブレが小さくなるように補正することができる。
【0079】
尚、本実施形態は上述した実施形態に限定されるものではなく、種々の変更や改良を加えることも可能である。変形例を以下に述べる。
(変形例1)
前記第1の実施形態では、ワークは容器10上に静止していた。そしてロボット3が撮像装置28を移動して、撮像装置28がワークを撮像した。ワークと撮像装置28とを相対移動させる方法はこれに限らない。例えば、ロボット3と別の第2ロボットを用意する。そして、撮像装置28が静止した状態で第2ロボットがワークを把持して移動しても良い。撮像装置28の撮像範囲に第2ロボットがワークを移動する。このとき、第2ロボットの姿勢を検出して、ワークの移動軌跡を算出する。そして、ワークの移動軌跡を用いて点像分布関数を演算し、点像分布関数を用いて画像のブレを補正することができる。この内容については、前記第2の実施形態にも適用することができる。
【0080】
(変形例2)
前記第1の実施形態では、ステップS4の撮像工程においてロボット制御部44がエンコーダー出力値をメモリー31に記憶して、ステップS5の軌跡算出工程において姿勢演算部46がメモリー31から再生した。CPU30の演算速度が速い場合には、メモリー31に記憶して再生せずに、直接撮像装置28の移動軌跡を演算しても良い。記憶と再生とのステップを省略できるので、生産性良く移動軌跡を算出することができる。この内容については、前記第2の実施形態にも適用することができる。
【0081】
(変形例3)
前記第1の実施形態では、ロボット3に垂直多関節ロボットを採用したが、他の種類のロボットを採用しても良い。例えば、ロボット3に水平多関節ロボット、直交ロボット、パラレルリンクロボット等各種の形態のロボットを採用することができる。この内容については、前記第2の実施形態にも適用することができる。
【0082】
(変形例4)
前記第1の実施形態では、ステップS5の軌跡算出工程、ステップS6の補正工程、ステップS7の位置認識工程はステップS3の撮像装置移動工程と並行して行われた。ステップS5、ステップS6、ステップS7はステップS3の後に行われても良い。ステップS3において手部24が移動する距離や移動にかかる時間に合わせて設定しても良い。この内容については、前記第2の実施形態にも適用することができる。
【0083】
(変形例5)
前記第1の実施形態では、ロボット3の腕や関節に配置されたサーボモーターのエンコーダーを用いてロボット3の姿勢を検出したが、ロボット3の姿勢を検出する方法はこれに限定されない。例えば、サーボモーターの代りにステップモーターを配置しても良い。そして、ステップモーターを制御する制御信号を用いてロボット3の姿勢を演算しても良い。また、ステップモーターとエンコーダーとを用いても良い。ロボット3を制御するために腕や関節に位置検出センサーまたは角度検出センサーを配置しても良い。
【0084】
(変形例6)
前記第1の実施形態では、点像分布関数68が直線になるように撮像装置28を移動しながら撮像した。前記第2の実施形態では点像分布関数85が円弧状になるように撮像装置28を移動しながら撮像した。点像分布関数は他の滑らかな線状でも良い。例えば、S字状でも良く。2つの直線が円弧に接した線でも良い。
【図面の簡単な説明】
【0085】
【図1】第1の実施形態にかかわるピッキング装置の構成を示す概略斜視図。
【図2】ピッキング装置の電気制御ブロック図。
【図3】ワークのピッキング工程を示すフローチャート。
【図4】ピッキング作業の作業方法を説明するための模式図。
【図5】ピッキング作業の作業方法を説明するための図。
【図6】ピッキング作業の作業方法を説明するための図。
【図7】ピッキング作業の作業方法を説明するための模式図。
【図8】比較例1にかかわるピッキング作業の作業方法を説明するための図。
【図9】比較例2にかかわるピッキング作業の作業方法を説明するための図。
【図10】ピッキング作業の作業方法を説明するための図。
【図11】第2の実施形態にかかわるピッキング作業の作業方法を説明するための図。
【図12】ピッキング作業の作業方法を説明するための図。
【符号の説明】
【0086】
3…可動部としてのロボット、5…ワークとしてのネジ回し、6…ワークとしての小型ネジ回し、7…ワークとしてのペンチ、8…ワークとしてのニッパー、9…ワークとしての定規、24…把持部としての手部、28…撮像装置、32…可動部姿勢検出部としてのロボット駆動装置、45…可動部移動計画部としての可動部移動計画演算部、46…可動部姿勢検出部としての姿勢演算部、47…軌跡演算部、48…補正部としての画像補正演算部、49…位置検出部としてのワーク位置演算部、66,75,83…画像としての撮影画像、69,78,86…補正画像。
【特許請求の範囲】
【請求項1】
撮像装置を用いてワークを撮像する撮像方法であって、
変形する可動部を用いて前記撮像装置と前記ワークとのうち少なくとも一方を前記撮像装置の光軸と直交する方向に移動する移動工程と、
前記移動工程と並行して行われ前記撮像装置を用いて前記ワークを撮像して画像を形成する撮像工程と、
前記撮像装置と前記ワークとが相対移動する移動軌跡を演算する軌跡算出工程と、
前記移動軌跡の情報を用いて前記画像を補正する補正工程と、を有し、
前記移動工程では前記移動軌跡が滑らかな線となるように前記撮像装置と前記ワークとのうち少なくとも一方を移動することを特徴とする撮像方法。
【請求項2】
請求項1に記載の撮像方法であって、
前記移動工程では前記移動軌跡が直線状となるように前記撮像装置と前記ワークとのうち少なくとも一方を移動することを特徴とする撮像方法。
【請求項3】
請求項2に記載の撮像方法であって、
前記可動部が変形する変形動作の推移を計画する移動計画工程を有することを特徴とする撮像方法。
【請求項4】
請求項3に記載の撮像方法であって、
前記補正工程では前記ワークに対する前記撮像装置の前記移動軌跡の情報を用いて点像分布関数を演算し、前記点像分布関数を用いて復元フィルタを演算し、前記復元フィルタを用いて前記画像を補正することを特徴とする撮像方法。
【請求項5】
請求項1〜4のいずれか一項に記載の撮像方法を用いたピッキング方法であって、
前記補正工程にて補正した補正画像を用いて前記ワークの場所を検出する位置認識工程と、
前記ワークを把持して移動するワーク移動工程と、を有することを特徴とするピッキング方法。
【請求項6】
ワークを把持して移動するピッキング装置であって、
前記ワークを把持する把持部と、
前記ワークを撮像して画像を形成する撮像装置と、
前記ワーク及び前記撮像装置のうち少なくとも一方を移動する可動部と、
前記可動部の姿勢を検出して前記可動部の姿勢を示す姿勢情報を出力する可動部姿勢検出部と、
前記姿勢情報を用いて前記撮像装置と前記ワークとが相対移動する移動軌跡を演算する軌跡演算部と、
前記移動軌跡の情報を用いて前記画像を補正した補正画像を形成する補正部と、
前記補正画像を用いて前記ワークの場所を検出するワーク位置検出部と、を有し、
前記撮像装置が前記ワークを撮像するときに前記可動部が直線状に移動するように前記可動部は前記撮像装置と前記ワークとのうち少なくとも一方を移動することを特徴とするピッキング装置。
【請求項1】
撮像装置を用いてワークを撮像する撮像方法であって、
変形する可動部を用いて前記撮像装置と前記ワークとのうち少なくとも一方を前記撮像装置の光軸と直交する方向に移動する移動工程と、
前記移動工程と並行して行われ前記撮像装置を用いて前記ワークを撮像して画像を形成する撮像工程と、
前記撮像装置と前記ワークとが相対移動する移動軌跡を演算する軌跡算出工程と、
前記移動軌跡の情報を用いて前記画像を補正する補正工程と、を有し、
前記移動工程では前記移動軌跡が滑らかな線となるように前記撮像装置と前記ワークとのうち少なくとも一方を移動することを特徴とする撮像方法。
【請求項2】
請求項1に記載の撮像方法であって、
前記移動工程では前記移動軌跡が直線状となるように前記撮像装置と前記ワークとのうち少なくとも一方を移動することを特徴とする撮像方法。
【請求項3】
請求項2に記載の撮像方法であって、
前記可動部が変形する変形動作の推移を計画する移動計画工程を有することを特徴とする撮像方法。
【請求項4】
請求項3に記載の撮像方法であって、
前記補正工程では前記ワークに対する前記撮像装置の前記移動軌跡の情報を用いて点像分布関数を演算し、前記点像分布関数を用いて復元フィルタを演算し、前記復元フィルタを用いて前記画像を補正することを特徴とする撮像方法。
【請求項5】
請求項1〜4のいずれか一項に記載の撮像方法を用いたピッキング方法であって、
前記補正工程にて補正した補正画像を用いて前記ワークの場所を検出する位置認識工程と、
前記ワークを把持して移動するワーク移動工程と、を有することを特徴とするピッキング方法。
【請求項6】
ワークを把持して移動するピッキング装置であって、
前記ワークを把持する把持部と、
前記ワークを撮像して画像を形成する撮像装置と、
前記ワーク及び前記撮像装置のうち少なくとも一方を移動する可動部と、
前記可動部の姿勢を検出して前記可動部の姿勢を示す姿勢情報を出力する可動部姿勢検出部と、
前記姿勢情報を用いて前記撮像装置と前記ワークとが相対移動する移動軌跡を演算する軌跡演算部と、
前記移動軌跡の情報を用いて前記画像を補正した補正画像を形成する補正部と、
前記補正画像を用いて前記ワークの場所を検出するワーク位置検出部と、を有し、
前記撮像装置が前記ワークを撮像するときに前記可動部が直線状に移動するように前記可動部は前記撮像装置と前記ワークとのうち少なくとも一方を移動することを特徴とするピッキング装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−162630(P2010−162630A)
【公開日】平成22年7月29日(2010.7.29)
【国際特許分類】
【出願番号】特願2009−5410(P2009−5410)
【出願日】平成21年1月14日(2009.1.14)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
【公開日】平成22年7月29日(2010.7.29)
【国際特許分類】
【出願日】平成21年1月14日(2009.1.14)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
[ Back to top ]