説明

ロボットシステムおよびロボットシステムの制御方法

【課題】作業対象物が撮像されたボケ画像から作業対象物の位置を精度良く検出するロボットシステムを提供する。
【解決手段】作業対象物Wに対して作業を施すロボット10と、前記作業対象物Wを載置するとともに、複数の波長の光を放出するマーカー74を備えたステージ72と、前記作業対象物Wと前記マーカー74とを同一画像として撮像する撮像装置20とを備え、前記撮像装置20により撮像された動きボケを含む劣化画像Bから前記マーカー74の軌跡画像100を抽出して、前記軌跡画像100から点拡散関数を算出する点拡散関数算出部35と、算出した前記点拡散関数を用いて、前記劣化画像Bを画像変換することにより、前記劣化画像Bから劣化していない元画像を生成する画像生成部37と、生成された前記元画像から前記作業対象物Wの位置を算出する位置算出部39とを有することを特徴とするロボットシステム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業対象物に対して作業を実施するロボットシステムおよびロボットシステムの制御方法に関する。
【背景技術】
【0002】
各種生産現場において、作業の自動化や省力化のため産業用ロボットが多用されている。このような産業用ロボットは、カメラなどの撮像機器を備え作業対象物を撮像し、撮像された画像を画像処理して作業対象物の位置を検出する。作業対象物と撮像機器とが相対的に動いている場合は、撮像された画像に動きボケが発生する。近年、産業用ロボットによる作業の高速化や高度化に伴い、高精度な位置決めが求められている。そのため、撮影された画像における動きボケの補正が重要になっている。
【0003】
このような動きボケの補正方法としては、どのようにボケているかを推定し、画像に対してその逆特性を演算することにより、ボケていない画像を復元する方法がある。その方法の例として、撮像機器の動きに関する情報を撮像機器に設けられた角速度センサーで検出し、検出した情報に基づいて動きによるボケの特性を示す点拡散関数(PSF:Point Spread Function)を求める。そして、この点拡散関数を用いてフーリエ変換、逆フーリエ変換などの演算処理を行いボケ補正、すなわち、ボケ画像から元画像を復元する方法が知られている(例えば、特許文献1および特許文献2参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−118644号公報
【特許文献2】特開2008−11424号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述の方法において、角速度センサーは産業用ロボットの移動部(撮像機器)に設置されているため、作業環境や作業内容によっては、温度変動や角速度変化が大きくなり、角速度センサーから出力される情報の信頼性や精度が低下する虞がある。また、点拡散関数を精度良く求めるためには、撮像機器の撮像タイミングと角速度センサーからの信号出力とを同期させる必要がある。しかし、そのためには制御が複雑になり多くのコストや手間が必要となってしまうという課題があった。また、撮像機器の動きのみしか検出できないため、作業対象物が動いている場合は、作業対象物の動きによるボケの特性が、求められる点拡散関数に十分反映されないという課題があった。
【課題を解決するための手段】
【0006】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【0007】
(適用例1)作業対象物に対して作業を実施するロボットと、前記作業対象物を載置するとともに、複数の波長の光を放出するマーカーを備えたステージと、前記作業対象物と前記マーカーとを同一画像として撮像する撮像装置と、を備え、前記撮像装置により撮像された動きボケを含む劣化画像から前記マーカーの軌跡画像を抽出して、前記軌跡画像から点拡散関数を算出する点拡散関数算出部と、算出した前記点拡散関数を用いて、前記劣化画像を画像変換することにより、前記劣化画像から劣化していない元画像を生成する画像生成部と、生成された前記元画像から前記作業対象物の位置を算出する位置算出部と、を有することを特徴とするロボットシステム。
【0008】
この構成によれば、作業対象物が載置されるステージに複数の波長の光、すなわち異なった色の光を放出するマーカーが設けられている。そして、撮像装置により撮像された作業対象物の劣化画像、いわゆるボケ画像は、そのマーカーの軌跡画像を含んでいる。マーカーの軌跡画像は異なった色からなる連続した軌跡から構成されるため、軌跡画像全体からボケを発生させた動きの方向など点拡散関数の構成要素を容易に取得することができる。そのため、点拡散関数を精度良く算出することができる。そして、算出された点拡散関数を用いてボケ画像からボケていない元画像を生成することができ、生成された元画像から、作業対象物の位置を算出することができる。すなわち、角速度センサー等を用いず、簡単な構成および制御で作業対象物の位置を容易に算出できるロボットシステムを提供することができる。また、作業対象物が載置されるステージと撮像装置の相対的な動きを直接拾うため、作業対象物の相対的な動きによるボケの特性を点拡散関数に十分反映することができる。
【0009】
(適用例2)前記マーカーは、異なった波長の光を特定の周期で順次放出することを特徴とする上記のロボットシステム。
【0010】
(適用例3)前記マーカーは、少なくとも、3種類の異なった波長の光を放出することを特徴とする上記のロボットシステム。
【0011】
この構成によれば、得られるマーカーの軌跡画像は、異なった3色が順番に並ぶ帯状の軌跡画像となる。そのため、軌跡画像を構成する色の並び順から移動の方向(始点および終点)を知ることができる。また、特定の周期で色が変化することから、軌跡画像を構成する各色の長さから、その色が発光しているときの平均速度を知ることができる。また、各色の平均速度を比較することにより、速度変化を知ることもできる。
【0012】
(適用例4)前記マーカーは、前記ステージ上に複数設けられていることを特徴とする上記のロボットシステム。
【0013】
この構成によれば、軌跡画像を解析することにより、ステージの相対的な回転や移動等をより正確に知ることができる。
【0014】
(適用例5)複数の前記マーカーは、ある時点においてそれぞれ異なった波長の光を放出していることを特徴とする上記のロボットシステム。
【0015】
この構成によれば、ボケ画像に撮像されているマーカーを特定することができる。
【0016】
(適用例6)作業対象物に対して作業を施すロボットシステムの制御方法であって、複数の波長の光を放出するマーカーを備えたステージに載置される前記作業対象物を、撮像装置により前記マーカーとともに撮像する撮像工程と、前記撮像装置により撮像された動きボケを含む劣化画像から前記マーカーの軌跡画像を抽出して、前記軌跡画像から点拡散関数を算出する点拡散関数算出工程と、算出した前記点拡散関数を用いて、前記劣化画像を画像変換することにより、前記劣化画像から劣化していない元画像を生成する画像生成工程と、生成された前記元画像から前記作業対象物の位置を算出する位置算出工程と、を有することを特徴とするロボットシステムの制御方法。
【0017】
この方法によれば、作業対象物が載置されるステージに複数の波長の光、すなわち異なった色の光を放出するマーカーが設けられているため、撮像装置により撮像された作業対象物の劣化画像、いわゆるボケ画像は、そのマーカーの軌跡画像を含むことができる。マーカーの軌跡画像は異なった色からなる連続した軌跡から構成されるため、軌跡画像全体からボケを発生させた動きの方向など点拡散関数の構成要素を容易に取得することができる。そのため、点拡散関数を精度良く算出することができる。そして、算出された点拡散関数を用いてボケ画像からボケていない元画像を生成することができ、生成された元画像から、作業対象物の位置を容易に算出することができる。すなわち、角速度センサー等を用いず、簡単な方法で作業対象物の位置を算出できる。また、作業対象物が載置されるステージと撮像装置の相対的な動きを直接拾うため、作業対象物の相対的な動きによるボケの特性を点拡散関数に十分反映することができる。
【図面の簡単な説明】
【0018】
【図1】ロボットシステムの構成例を示す図。
【図2】作業対象物であるワークが載置されるステージを説明する図。
【図3】ワークの位置検出方法の流れを示すフローチャート。
【図4】カメラで撮像されたワークの画像を示す図。
【図5】第2実施例のステージを説明する図。
【図6】第2実施例にかかるワークの画像を示す図。
【図7】第1変形例を説明する図。
【図8】第2変形例を説明する図。
【発明を実施するための形態】
【0019】
本実施例のロボットシステムについて、図1および図2を参照して説明する。図1は、ロボットシステムの構成例を示す図であり、図2は作業対象物であるワークが載置されるステージを説明する図である。
【0020】
(ロボットシステムの構成について)
(第1実施例)
図1に示すように、ロボットシステム5は、ロボット10と、作業対象物であるワークWを載置し搬送するワーク載置部70と、制御部50とを備える。ロボット10は、いわゆる多関節型ロボットであり、ベース25と、アーム17A,17Bと、ロボットハンド19を含む手首部18と、それぞれを回動自在に支持する関節部である第1軸12と第2軸14と第3軸16と、撮像装置としてのカメラ20とから構成されている。
【0021】
ロボット10は、設置面にベース25により設置される。ベース25は、第1回転軸11を備え、ベース25より上方のロボット10本体を設置面との鉛直軸を中心に回転させることができる。ベース25には、第1軸12を介してアーム17Aが回動自在に取り付けられている。アーム17Aは、第2回転軸13を備え、アーム17A自身が軸方向に回転することができる。アーム17Aには、第2軸14を介してアーム17Bが回動自在に取り付けられている。アーム17Bは、第3回転軸15を備え、アーム17B自身が軸方向に回転することができる。アーム17Bには、第3軸16を介して手首部18が回動自在に取り付けられている。
【0022】
手首部18の先端にはロボットハンド19が設けられ、ワークWに対して作業を実施する。また、手首部18の先端部にはカメラ20が装着されている。カメラ20は、いわばロボット10の眼として機能するものであり、例えば、CCDのような撮像素子によりロボットハンド19が作業する方向を撮像する。
【0023】
これらの第1〜3軸12,14,16、第1〜3回転軸11,13,15およびロボットハンド19は、図示しないモーターや空圧機器等により操作される複数の図示しないアクチュエーターの駆動により、回動するように構成されている。複数のアクチュエーターは、制御部50からケーブル85を介して送られる制御信号に基づいて駆動される。また、カメラ20は所定の露光時間でワークW等を撮像し、撮像した画像信号はケーブル86を介して制御部50に送られる。
【0024】
ワーク載置部70は、ワークWを載置するステージ72を有する。ステージ72では、ロボット10によるワークWに対する作業が実施される。ステージ72は、ワークWが載置されるステージ面72aを有し、ステージ面72aは、複数の波長の光を放出するマーカー74を1つ以上備えている。このマーカー74の詳細については後述する。ワークWは、例えば、図示しないベルトコンベアで搬送されワーク載置部70のステージ72に搬入され、ロボット10による作業が実施された後、次のワーク載置部70もしくは次の工程に搬出される。なお、ワーク載置部70そのものがベルトコンベアにより搬送されてもよい。
【0025】
制御部50は、少なくとも、画像処理装置30と、ロボット動作制御部40と、マーク生成部45と、コンピューター60とから構成されている。画像処理装置30は、少なくとも、画像入力部32と、位置情報取得部34とから構成され、ロボット10のカメラ20で撮像され、画像入力部32を介して入力されたワークWとマーカー74とを含む画像を処理してワークWの位置情報を取得する。位置情報取得部34は、点拡散関数算出部35と、画像生成部37と、位置算出部39とを備え、種々の演算処理を行いワークWの位置情報を取得する。位置情報取得部34の動作については後述する。
【0026】
ロボット動作制御部40は、コンピューター60の指令に基づいて上述のロボット10の動作を制御する。マーク生成部45は、ワークWが載置されるステージ面72aに設けられたマーカー74を制御して複数の波長の光を放出させる。コンピューター60は、中央処理装置として機能し、図示しないCPU、RAM、ROM、HDD、シーケンサーおよびロボットコントローラー等からなるハードウェア資源と、ROMやHDD等に記憶された種々のソフトウェアとを有機的に協働させることにより、ロボット10、画像処理装置30、およびマーク生成部45等を総括的に制御する。
【0027】
ここで、本実施例のステージ72と、ステージ72に設けられるマーカー74について説明する。図2(a)に示すように、ステージ72は矩形形状に形成され、例えばステージ面72aの1つのコーナー付近にマーカー74が設けられている。なお、本実施例では説明を簡便にするため、マーカー74が1つ設けられている場合について説明するが、マーカー74の数はこれに限定されない。マーカー74の数は複数でもよい。
【0028】
マーカー74は、発光部75からなる。発光部75は、図2(b)に示すように、赤色の光源76R、緑色の光源76Gおよび青色の光源76Bと、光ファイバー77と、レンズ78とから構成されている。赤色の光源76R、緑色の光源76Gおよび青色の光源76Bは、例えば赤、緑および青のLED(発光ダイオード)で構成されている。光ファイバー77は、多数のファイバーから構成され、集光部77aが3つに分岐され光放出部77bが1つにまとまっている。3つに分岐された集光部77aは、それぞれ、赤色の光源76R、緑色の光源76Gおよび青色の光源76Bに対向している。光放出部77bは、ステージ72のステージ面72aに設けられたレンズ78に対向している。
【0029】
このような構造を有しているため、赤色の光源76R、緑色の光源76Gおよび青色の光源76Bで発光した光は、光ファイバー77の集光部77aでそれぞれ集光され、光放出部77bからレンズ78を介して発光部75、すなわちマーカー74から放出される。
【0030】
これら赤色の光源76R、緑色の光源76Gおよび青色の光源76Bは、図1に示す制御部50のマーク生成部45から出力される図2(c)に示す制御信号Cにより発光する。図2(c)に示すタイミングチャートのように、赤色の光源76Rは、時間t0で発光を開始して時間t1まで発光を続ける。次いで、緑色の光源76Gは、時間t1で発光を開始して時間t2まで発光を続ける。次いで、青色の光源76Bは、時間t2で発光を開始して時間t3まで発光を続ける。その後、制御信号Cに従ってこの動作を繰り返す。
【0031】
すなわち、マーカー74は、図2(c)に示す周期taで赤色、緑色、青色の順に発光する。換言すると、マーカー74は、異なる波長の光を特定の周期taで連続的に放出することができる。なお、図2(c)に示す周期TA,taは、マーク生成部45から出力される制御信号Cの設定により変更することができる。
【0032】
なお、ステージ72に載置されるワークWは、図2(a)に示すように、例えば、長方形の板状に形成され、平面部には3つの貫通穴が設けられている。ワークWは、ステージ面72aに設けられたマーカー74を避けて載置されることが好ましい。
【0033】
(ロボットシステムにおける作業について)
上述のロボットシステム5を用いた作業について、おなじく図1および図2を参照して説明する。ロボットシステム5のロボット10は、図示しないベルトコンベアによりステージ72に搬送されたワークWに対して、作業を実施する。本実施例では、生産効率向上、設備の汎用化および簡素化のため、ワークWの整列装置や位置決め装置を設けていないため、ワークWは、ランダムな姿勢で搬送され、それぞれに固有の作業が実施される。そのため、ロボット10は、作業を実施するワークWの位置や姿勢を検出する必要がある。従って、ロボット10は、図1に示すカメラ20を用いて、ステージ72に載置されるワークWを撮像してワークWの位置検出を行う。
【0034】
例えば、図2(a)に示すようなレイアウトで、ワークWがステージ72上に置かれたとする。ワークWの位置を検出するため、ロボット10の手首部18の先端部に設けられたカメラ20を用いて、ステージ72上のワークWを撮像する。このとき、ロボット10の手首部18の動きを静止させるか、ワークWを静止させることが好ましい。ところが、このような方法では作業や移動動作が中断されてしまい、作業効率が著しく低下する。そのため、一般には、双方が移動動作を行っている状態で撮像する。また、カメラ20は、所定の露光時間に渡りシャッターを開放して撮像する。
【0035】
その結果、撮像されたワークWの画像は、動きボケを含んだ、いわゆるボケ画像Bとなってしまう場合が多く、そのままでは、ワークWの位置を検出することができない。そのため、何らかの画像処理が必要である。画像処理方法として、例えばボケ画像がどのようにボケているかを推定し、ボケ画像に対してその逆特性を演算することにより、ボケていない元画像を復元する方法がある。
【0036】
(ワークの位置検出方法について)
ここで、画像がどのようにボケているのかを表すパラメーターとして点拡散関数を用いたワークの位置検出方法について、図3および図4を参照して説明する。図3は、ワークの位置検出方法の流れを示すフローチャートであり、図4は、カメラで撮像されたワークの画像を示す図である。
【0037】
図3に示すように、この位置検出方法は、ワーク搬入工程S11と、マーカー&ワーク撮像工程S12と、画像入力工程S13と、点拡散関数算出工程S14と、画像生成工程S15と、ワーク位置算出工程S16と、を有する。
ワーク搬入工程S11では、図1に示すロボットシステム5において、ワークWが、ベルトコンベア等で搬送されワーク載置部70のステージ72に供給される。このときワークWは、ランダムな姿勢で供給されるため、ワークWが現在どのような姿勢をなしているか分からない。そこで、次の工程に進む。
【0038】
マーカー&ワーク撮像工程S12では、図1に示すカメラ20を用いて、ステージ72に載置されるワークWを撮像する。このとき、ワークWが載置されるステージ面72aに設けられているマーカー74も同一視野内に入るように撮像する。しかしながら、カメラ20およびワークW(ステージ72)は相対的に運動している状態であるため、撮像される画像は、動きボケを含んだいわゆるボケ画像Bとなってしまう。
【0039】
図4(a)に示すように、ボケ画像Bは、動きボケを含んだワークWの画像Bwと、マーカー74の軌跡画像100とを含む。前述のようにマーカー74は、図2(c)に示す周期taで赤色、緑色、青色の順に発光するため、軌跡画像100は、図4(b)に示すように、赤色の帯状の軌跡画像100rと、緑色の帯状の軌跡画像100gと、青色の帯状の軌跡画像100bとからなっている。本実施例では、赤色の軌跡画像100rと緑色の軌跡画像100gと青色の軌跡画像100bとは、それぞれの帯状部の長さLr,Lg,Lbが異なる。
【0040】
図3に示す画像入力工程S13では、カメラ20によって撮像された軌跡画像100を含むボケ画像Bを、画像信号として、図1に示す制御部50の画像処理装置30の画像入力部32に取り込む。取り込まれたボケ画像Bは、位置情報取得部34に送られる。
【0041】
図3に示す点拡散関数算出工程S14では、ボケ画像Bから軌跡画像100を抽出して点拡散関数を算出する。この点拡散関数の算出方法は、特に限定しない。公知の算出方法を適用すればよい。なお、軌跡画像100は、点拡散関数の空間移動分の情報、すなわち、ボケの軌跡と、軌跡の速度とをデータとして持つ。この場合、マーカー74は、略等しい間隔(周期ta)で赤色、緑色、青色の順に連続発光する。そのため、軌跡画像100の各色の並び順番から移動の方向(始点および終点)を知ることができる。また、軌跡画像100全体より動きベクトル(ボケを発生させた動き方向)を知ることができる。さらには、各色の軌跡画像100r,100g,100bは所定の露光時間で撮像されているため、軌跡画像100r,100g,100bの長さLr,Lg,Lbから、赤色の光源76R、緑色の光源76Gおよび青色の光源76Bを撮像したときのカメラ20とマーカー74との相対移動速度vの関係を知ることができる。
【0042】
図4(b)に示す軌跡画像100を例にとると、軌跡画像100は、図中左上から右下の方向(矢印M)に向かって赤、緑、青の順に形成されている。そのため、左上を始点とし、右下を終点として矢印Mに沿った移動をしていることがわかる。また、軌跡画像100は、緑色の軌跡画像100gの長さLg>赤色の軌跡画像100rの長さLr>青色の軌跡画像100bの長さLbの関係になっている。そのため、赤色の光源76Rを撮像したときのカメラ20とマーカー74との相対移動速度vrと、緑色の光源76Gを撮像したときのカメラ20とマーカー74との相対移動速度vgと、青色の光源76Bを撮像したときのカメラ20とマーカー74との相対移動速度vbとの関係は、相対移動速度vg>相対移動速度vr>相対移動速度vbとなることが分かる。
【0043】
次いで、画像生成工程S15では、点拡散関数算出工程S14で算出した点拡散関数を用いて、ボケ画像Bからボケてない元画像を生成する。この方法を簡単に説明する。
画像のボケは、下記の式(1)のようにモデル化される。この式(1)で示すように、元画像をImage、ボケ画像をBlur、画像がどのようにボケているのかを表すパラメーターである点拡散関数をPSFとすると、ボケ画像(Blur)は点拡散関数(PSF)と元画像(Image)との畳み込み演算で与えられる。点拡散関数(PSF)は、名前のとおり、本来1点であるデータが、どのように拡がっているのかを表す関数である。
【0044】
【数1】

【0045】
ここで、下記の式(2),(3),(4)のように、関数fに対するフーリエ変換操作をF[f]と表すとすると、元画像(Image)のフーリエ変換はimage、ボケ画像(Blur)のフーリエ変換はblur、点拡散関数(PSF)のフーリエ変換はpsfと表すことができる。畳み込み演算は、フーリエ変換により単なる乗算に変換されるため、式(1)は下記の式(5)に変換される。
【0046】
【数2】

【0047】
【数3】

【0048】
下記の式(6)のように、元画像のフーリエ変換(image)は、点拡散関数(PSF)のフーリエ変換である(psf)の逆数と、ボケ画像(Blur)のフーリエ変換である(blur)との積により得られる。関数fの逆フーリエ変換操作をIF[f]とすると、ボケの無い元画像(Image)は、式(6)で得られた元画像のフーリエ変換(image)を、式(7)のように逆フーリエ変換することにより得られる。
【0049】
【数4】

【0050】
【数5】

【0051】
上述のような演算処理は、数学的処理としては単純なものであり、その一例として、ウィーナフィルター処理などがある。このようにして図4(c)に示すボケていない元画像Gが生成される。
【0052】
次いで、図3に示すワーク位置算出工程S16では、生成された元画像Gに基づいてワークWの位置を算出する。そして、算出した位置に関する情報を図1に示すロボット動作制御部40に送る。ロボット動作制御部40は、アーム17等の稼動部の動作を上記情報に基づいて制御する。すなわち、ロボット動作制御部40は、情報に基づき、ロボット10を移動させるための複数のアクチュエーターの駆動量を算出し、それぞれのアクチュエーター毎に駆動信号を生成し、それぞれのアクチュエーターに送る。この結果、アーム17が所定の位置まで移動しロボットハンド19によりワークWに所定の作業が施される。なお、ワークWの位置算出方法は、公知の位置算出方法が適用される。例えば、ワークWの形状の特徴点に注目して位置を算出してもよいし、別途用意されたワークWの姿勢ごとの画像と生成された元画像とを比較して位置を算出してもよい。
【0053】
以下、本実施例の効果を記載する。
(1)上述のロボットシステム5は、ワークWが載置されるステージ72に順次、赤色、緑色および青色に発光するマーカー74を設けている。そして、ワークWの位置を検出するとき、ロボット10に設けられたカメラ20でワークWとマーカー74とを同一視野に入れるように撮像する。撮像されたワークWの画像が動きボケを含んだ画像であった場合、マーカー74の軌跡画像100より点拡散関数を求めることができる。すなわち、軌跡画像100は、マーカー74が連続的に発光するため帯状に形成される。そのため、帯状の軌跡画像100より動きベクトル(ボケを発生させた動き方向)を容易に知ることができる。
【0054】
また、マーカー74は、複数の波長の光、すなわち複数の色の光(例えば、赤色、緑色、青色)を所定の順番で発光させる。そのため、帯状の軌跡画像100は、赤色の帯状の軌跡画像100rと、緑色の帯状の軌跡画像100gと、青色の帯状の軌跡画像100bとから構成される。この各色の軌跡画像100r,100g,100bの構成を観察することによって、点拡散関数の構成要素を容易に取得することができる。すなわち、軌跡画像100の各色の並び順番から移動の方向(始点および終点)を、各色の軌跡画像100r,100g,100bの長さLr,Lg,Lbから、カメラ20とマーカー74との相対移動速度vの関係を容易に知ることができる。
【0055】
従って、カメラ20の画像を解析するだけで、点拡散関数が容易に精度良く求めることができ、元画像の生成も精度良く行うことができる。その結果、ワークWの位置検出も容易に行うことができ、ロボットシステム5の作業効率を向上させることができる。
【0056】
(第2実施例)
ここで、第2実施例のロボットシステムについて図5および図6を参照して説明する。図5は第2実施例のステージを説明する図であり、図6は第2実施例にかかるワークの画像を示す図である。なお、第2実施例は、第1実施例に対して、マーカー74の設置状況が異なる例である。また、第1実施例と同様な構成および内容については、符号を等しくして説明を省略する。
【0057】
図5に示すように、ステージ72は、ワークWが載置されるステージ面72aの3つのコーナー付近に、それぞれマーカー74a,74b,74cを1つずつ備えている。マーカー74a,74b,74cは、第1実施例と同様な構造および被制御方法を有しており、複数の波長の光を放出する。すなわち、マーカー74a,74b,74cは、図2(c)に示す周期taで赤色、緑色、青色の順に発光する。
【0058】
図3に示す位置検出方法のマーカー&ワーク撮像工程S12では、図1に示すカメラ20を用いて、ステージ72に載置されるワークWおよびマーカー74a,74b,74cが同一視野内に入るように撮像する。その結果、図6に示す動きボケを含んだいわゆるボケ画像Baを得る。ボケ画像Baは、動きボケを含んだワークWの画像Bwと、画像の3つのコーナー付近のそれぞれにマーカー74aの軌跡画像110と、マーカー74bの軌跡画像120とマーカー74cの軌跡画像130とを有する。
【0059】
この軌跡画像110,120,130は、それぞれが図4(b)に示す軌跡画像100と同様な構成になっている。そのため、ステージ72の各コーナーにおいて、点拡散関数の空間移動分の情報を得ることができる。換言すると、3つのコーナーにおいて、移動の方向(始点および終点)、動きベクトル(ボケを発生させた動き方向)およびカメラ20とマーカー74a,74b,74cとの相対移動速度vの関係を知ることができる。その結果、点拡散関数をより正確に算出することができる。
【0060】
例えば、カメラ20とワークW(ステージ72)との相対移動において、回転や傾き等の移動によりボケが発生したとしても、軌跡画像110,120,130を解析することによって点拡散関数をより正確に算出することができる。従って、求められた点拡散関数よりワークWの位置をより正確に知ることができ、ロボット10の作業の精度を向上させることができる。なお、マーカー74の数は、第1実施例で説明した1つおよび第2実施例で説明した3つに限定されるものではない。予想されるカメラ20とワークW(ステージ72)との動きに対応して、マーカー74の数を決定すればよい。
【0061】
また、本実施例において、マーカー74a,74b,74cは、ある特定の時点においてそれぞれ異なった色の光を放出していることが好ましい。例えば、図2(c)に示すタイミングチャートの発光順をずらして、マーカー74aが赤色に発光しているときは、マーカー74bが緑色に、マーカー74cが青色に発光することが好ましい。このようにすることにより、ボケ画像Baに撮像されるマーカー74を特定することができる。
【0062】
以上、本発明の実施例について説明したが、上記実施例に対しては、本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。例えば上記実施例以外の変形例は、以下の通りである。
【0063】
(第1変形例)上述の実施例では、マーカー74が1つの発光部75を有し、それが順次と赤色、緑色、青色の順に発光する場合について、説明したがこれに限定されない。第1変形例を説明する図である図7(a)に示すように、マーカー74dは、赤色の発光部75R’、緑色の発光部75G’および青色の発光部75B’の3つの発光部75から構成されていてもよい。以下、第1変形例の詳細について説明する。なお、第1実施例および第2実施例と同様な構成および内容については、符号を等しくして説明を省略する。
【0064】
第1変形例では、赤色の発光部75R’、緑色の発光部75G’および青色の発光部75B’は、それぞれ、例えば赤、緑および青のLED(発光ダイオード)で構成され、図7(a)中Y方向にほぼ密着するように1列の列をなして配置されている。これら赤色の発光部75R’、緑色の発光部75G’および青色の発光部75B’は、図1に示す制御部50のマーク生成部45から出力される図2(c)に示す制御信号Cにより発光する。
【0065】
すなわち、図2(c)に示すタイミングチャートのように、赤色の発光部75R’は、時間t0で発光を開始して時間t1まで発光を続ける。次いで、緑色の発光部75G’は、時間t1で発光を開始して時間t2まで発光を続ける。次いで、青色の発光部75B’は、時間t2で発光を開始して時間t3まで発光を続ける。その後、赤色の発光部75R’、緑色の発光部75G’および青色の発光部75B’は、この動作を繰り返す。すなわち、マーカー74dは、図2(c)に示す周期taで赤色、緑色、青色の順に発光する。
【0066】
図3に示す位置検出方法のマーカー&ワーク撮像工程S12では、図1に示すカメラ20を用いて、ステージ72に載置されるワークWおよびマーカー74dが同一視野内に入るように撮像する。その結果、図7(b)に示す動きボケを含んだいわゆるボケ画像Bbを得る。ボケ画像Bbは、動きボケを含んだワークWの画像Bwと、マーカー74dの軌跡画像140とを有する。マーカー74dは、赤色、緑色、青色の順に発光するため、軌跡画像140は、それぞれ個別の赤色の帯状の軌跡画像140rと、緑色の帯状の軌跡画像140gと、青色の帯状の軌跡画像140bとから構成されている。
【0067】
図3に示す点拡散関数算出工程S14では、ボケ画像Bbから軌跡画像140を抽出して点拡散関数を算出する。この場合でも、赤色の軌跡画像140rと、緑色の軌跡画像140gと、青色の軌跡画像140bを解析することによって、移動の方向(始点および終点)、動きベクトル(ボケを発生させた動き方向)およびカメラ20とマーカー74dとの相対移動速度vの関係を知ることができる。
【0068】
すなわち、第1変形例では、赤、緑および青のLEDをステージ72に直接配置するという簡単な構造で、第1実施例および第2実施例と同様な効果を奏することができる。なお、赤、緑および青のLEDの配置方法は、上記に限定されるものではなく様々な変形例が想定される。例えば、図7(c)に示すように、赤色の発光部75R’’、緑色の発光部75G’’および青色の発光部75B’’を、三角形の頂点になるように配置してマーカー74eを構成してもよい。
【0069】
(第2変形例)上述の実施例では、マーカー74が図2(b)に示すように赤色の光源76R、緑色の光源76Gおよび青色の光源76Bを有している場合について説明したがこれに限定されない。
【0070】
第2変形例を説明する図である図8に示すように、ステージ面72aの3つのコーナー付近に設けられたマーカー74a,74b,74cには、それぞれ光ファイバー87a,87b,87cの一端が接続されている。光ファイバー87a,87b,87cの他端側には、1つの光源92が設けられている。光ファイバー87a,87b,87cの他端側と光源92との間の空間には、円盤状の回転体90が配置されている。回転体90は、光を透過する材料で構成されるとともに円盤の平面が3等分に着色され、赤の光透過部90R、緑の光透過部90G、および青の光透過部90Bを備えている。なお、回転体90は、図示しないモーターの駆動力を受けて図中矢印N方向に回転するように構成されている。なお、回転体90の回転速度は、図1に示すマーク生成部45により制御される。
【0071】
このように構成されていることによって、光源92の光は、回転体90の赤の光透過部90R、緑の光透過部90G、青の光透過部90Bのいずれかを通過し、光ファイバー87a,87b,87cのいずれかを介してマーカー74a,74b,74cから放出される。すなわち、回転体90の回転速度を制御することによって、マーカー74a,74b,74cは、所定の周期で赤、緑、青色の光を順次放出することができる。
【0072】
(第3変形例)なお、本実施例では、ロボット10として多関節型ロボットを採用した場合について説明したが、これに限定されるものではなく、スカラー型のロボットであってもよい。また、ロボット10の用途は、ロボットハンド19による部品の把持、ハンダ付けや溶接のような加工を行う等様々な用途が想定される。さらに、産業用ロボットに限らず、医療用ロボットや家庭用ロボットであってもよい。また、本実施例ではマーカー74が赤、緑、青色に発光する場合を例にとり説明したが、これに限定されるものではない。識別することができる色であればよい。また、3色に限定されるものではない。
【符号の説明】
【0073】
5…ロボットシステム、10…ロボット、19…ロボットハンド、20…カメラ、30…画像処理装置、32…画像入力部、34…位置情報取得部、35…点拡散関数算出部、39…位置算出部、45…マーク生成部、50…制御部、60…コンピューター、72…ステージ、74…マーカー、75…発光部、B…ボケ画像、W…作業対象物としてのワーク、S12…マーカー&ワーク撮像工程、S14…点拡散関数算出工程、S15…画像生成工程、S16…ワーク位置算出工程。

【特許請求の範囲】
【請求項1】
作業対象物に対して作業を実施するロボットと、
前記作業対象物を載置するとともに、複数の波長の光を放出するマーカーを備えたステージと、
前記作業対象物と前記マーカーとを同一画像として撮像する撮像装置と、を備え、
前記撮像装置により撮像された動きボケを含む劣化画像から前記マーカーの軌跡画像を抽出して、前記軌跡画像から点拡散関数を算出する点拡散関数算出部と、
算出した前記点拡散関数を用いて、前記劣化画像を画像変換することにより、前記劣化画像から劣化していない元画像を生成する画像生成部と、
生成された前記元画像から前記作業対象物の位置を算出する位置算出部と、を有することを特徴とするロボットシステム。
【請求項2】
前記マーカーは、異なった波長の光を特定の周期で順次放出することを特徴とする請求項1に記載のロボットシステム。
【請求項3】
前記マーカーは、少なくとも、3種類の異なった波長の光を放出することを特徴とする請求項1または2に記載のロボットシステム。
【請求項4】
前記マーカーは、前記ステージ上に複数設けられていることを特徴とする請求項1乃至3のいずれか一項に記載のロボットシステム。
【請求項5】
複数の前記マーカーは、ある時点においてそれぞれ異なった波長の光を放出していることを特徴とする請求項1乃至4のいずれか一項に記載のロボットシステム。
【請求項6】
作業対象物に対して作業を実施するロボットシステムの制御方法であって、
複数の波長の光を放出するマーカーを備えたステージに載置される前記作業対象物を、撮像装置により前記マーカーとともに撮像する撮像工程と、
前記撮像装置により撮像された動きボケを含む劣化画像から前記マーカーの軌跡画像を抽出して、前記軌跡画像から点拡散関数を算出する点拡散関数算出工程と、
算出した前記点拡散関数を用いて、前記劣化画像を画像変換することにより、前記劣化画像から劣化していない元画像を生成する画像生成工程と、
生成された前記元画像から前記作業対象物の位置を算出する位置算出工程と、を有することを特徴とするロボットシステムの制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2010−263273(P2010−263273A)
【公開日】平成22年11月18日(2010.11.18)
【国際特許分類】
【出願番号】特願2009−110467(P2009−110467)
【出願日】平成21年4月30日(2009.4.30)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】