作業システム、作業ロボット制御装置および作業プログラム
【課題】各トレイ上の部品の位置等が変更されても、効率的にその部品を認識して作業動作を実行できる作業システムを提供することを目的とする。
【解決手段】この作業システムは、移動可能に配置された複数のトレイ４を、低空間分解能・広視野の画像上で認識した後、高空間分解能・狭視野の画像処理を行うことで、トレイ４に載置される部品３を特定し、トレイ４の配置位置を認識する。トレイ認識段階では低空間分解能であるため大量の画像処理を必要とせず、また部品認識段階では狭視野であるため大量の画像処理を必要としない。よって、当該トレイ４に載置される部品３の３次元位置・姿勢を効率的に認識できる。この２段階の画像認識によって、作業ロボット２による作業動作を効率的に行うことができる。
【解決手段】この作業システムは、移動可能に配置された複数のトレイ４を、低空間分解能・広視野の画像上で認識した後、高空間分解能・狭視野の画像処理を行うことで、トレイ４に載置される部品３を特定し、トレイ４の配置位置を認識する。トレイ認識段階では低空間分解能であるため大量の画像処理を必要とせず、また部品認識段階では狭視野であるため大量の画像処理を必要としない。よって、当該トレイ４に載置される部品３の３次元位置・姿勢を効率的に認識できる。この２段階の画像認識によって、作業ロボット２による作業動作を効率的に行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は作業システム、作業ロボット制御装置および作業プログラムに関し、特に複数のトレイに載置された部品を用いて作業動作する作業ロボット、およびその制御に関する。
【背景技術】
【０００２】
作業ロボットを用いて製品を生産するシステム（例えばライン生産やセル生産等。以降、作業システム）では、作業ロボットに対し適切に作業指示を与え、作業ロボットは当該作業指示に従って製品の生産を行う。
【０００３】
例えば特許文献１では、作業対象物の物体モデルと、それら作業対象物に対応する作業モデルとを予め記憶しておき、ロボットが画像認識した作業対象物を記憶した物体モデルと照合し、対応する作業モデルを選択してロボットに作業させている。
【０００４】
また、特許文献２では、作業対象物の認識に際し、予めマークを撮像し、作業対象物の３次元位置を修正および調整している。このようにして、作業対象物の３次元位置を把握しながら作業を行っている。
【０００５】
また、特許文献３のように、作業対象物の認識に際し、ランダムに積まれた作業対象物を一つずつ取り出して作業エリアに置き、その３次元位置・姿勢を認識することで画像解析を簡易にしているものもある。また、特許文献４のように、複数の作業ロボットにより作業を行う際に、作業信頼度に応じて作業ロボット間の作業計画を変更し、作業の効率化を図るものもある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−６８３４８号公報
【特許文献２】特開２０１０−６４１９８号公報
【特許文献３】特開平９−２３９６８２号公報
【特許文献４】特開平１０−４４０７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
作業システムにおける作業ロボットの動作には、例えばシステムが置かれた工場内の環境や生産される個別の製品に合わせて、作業対象の３次元位置等が適切に教示される必要があり、それに応じて動作が適切に制御される必要がある。
【０００８】
一方、製品の生産のために必要な部品の供給は、その部品が予め定められた３次元位置に配置され、その部品を載置する容器であるトレイ等も既定の配置位置に設置されて行われることが前提となり、部品の３次元位置・姿勢に関して作業ロボットに予め教示されていることで、作業ロボットは部品を把持し、それらを組み合わせること等の動作ができる。
【０００９】
供給された部品を組み合わせた後も、組み合わせて作成された中間組立品の置き場所等を予め作業ロボットに教示しておくことで、さらに部品を組み合わせて製品を生産できる。
【００１０】
このような作業システムでは、部品、それらを組み合わせた中間組立品の３次元位置・姿勢等が一定であることが必要とされており、例えば、工程中にそれらの３次元位置・姿勢等の変化が許容範囲を超えると作業対象物を把握できなくなり、システム全体が一時停止し人の手により復旧作業をしなければならない等の問題があった。部品を載置するトレイ等も、作業ロボットが認識できるように予め決められた配置位置への正確な位置決めが必要とされており、部品の補充等によりトレイ等の３次元位置・姿勢が変化した場合には、その度に正確な位置決めをしなおし、作業ロボットのティーチングを行う必要があった。
【００１１】
また、位置決めをせずに部品の３次元位置・姿勢を認識しようとする場合には、作業エリア全体を撮像してその中から部品を発見するとともに、その部品の３次元的な位置（３次元位置）および３次元位置・姿勢を画像処理によって認識することが必要である。それにあたって、認識精度を向上させるために、作業エリア全体にわたって空間的に高い分解能で撮像および画像処理を行うと、認識の完了までに長時間を要するという問題があった。
【００１２】
本発明は上記のような問題を解決するためになされたものであり、部品の３次元位置・姿勢が変更されても、効率的にその部品の３次元位置・姿勢を認識し作業動作ができる作業ロボットシステムおよびその関連技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
請求項１の発明である作業システムは、所定の作業エリア内に移動可能に配置された複数のトレイから作業対象となる部品を取り出し、前記部品を用いて所定の作業を行う作業システムであって、各トレイとそれに載置される各部品の種類との対応関係を示すトレイ対応データを記憶する対応記憶手段と、前記作業エリア内に存在する前記複数のトレイを、比較的広視野で集合的に撮像する第１撮像モードと、前記複数のトレイを比較的狭視野で個別的に撮像する第２撮像モードとを有する撮像部と、前記撮像部による前記第１撮影モードでの撮像結果に基づいて、比較的低い空間分解能の第１画像処理を行い、各トレイの識別とその配置位置の特定とを行う第１認識手段と、特定された各トレイの配置位置に応じて前記撮像部による撮像方向を変更しつつ、トレイごとに当該トレイに載置された部品を第２撮影モードで前記撮像部に撮像させる撮像制御手段と、前記トレイ対応データに基づいて各トレイ上の部品の種類を限定しつつ、前記第２撮像モードでの各部品の撮像結果に基づいて、比較的高い空間分解能の第２画像処理を行うことによって、各トレイ上の各部品の３次元位置・姿勢を認識する第２認識手段と、３次元位置・姿勢が特定された各トレイ上の各部品に所定の順序でアクセスし、各部品を用いて所定の作業を行う作業ロボットとを備えることを特徴とする。
【００１４】
請求項２の発明は、請求項１に記載の作業システムであって、前記所定の作業に実行中に割り込みを行って前記所定の作業を中断させ、各トレイ上の各部品の３次元位置・姿勢の認識を再度実行させてから前記所定の作業を再開する割り込み制御手段をさらに備えることを特徴とする。
【００１５】
請求項３の発明は、請求項１または２に記載の作業システムであって、前記撮像部は、前記作業ロボットに付設されていることを特徴とする。
【００１６】
請求項４の発明は、請求項１〜３のいずれかに記載の作業システムであって、前記撮像部は、前記第１撮像モードでの撮像を行う第１撮像部と、撮像位置および撮像方向が可変であって、前記第２撮像モードでの撮像を行う第２撮像部と備えることを特徴とする。
【００１７】
請求項５の発明は、請求項４に記載の作業システムであって、前記作業ロボットは、前記部品を保持するハンド部がその一端に連結された可動の腕部を備え、前記第２撮像部は、前記腕部に付設されることを特徴とする。
【００１８】
請求項６の発明は、請求項１〜５のいずれかに記載の作業システムであって、前記対応記憶手段は、前記部品ごとに予め設定された作業内容を指示する、作業データをさらに記憶し、前記作業ロボットは、特定された前記部品および前記作業データに基づいて、当該部品についての作業を実行することを特徴とする。
【００１９】
請求項７の発明は、請求項１〜６のいずれかに記載の作業システムであって、前記対応記憶手段は、前記部品ごとの３次元形状を示す、部品形状データをさらに記憶し、前記第２認識手段は、特定した前記部品および前記部品形状データに基づいて、当該部品の３次元位置・姿勢を認識することを特徴とする。
【００２０】
請求項８の発明は、請求項１〜７のいずれかに記載の作業システムであって、前記対応記憶手段は、前記トレイごとの３次元形状を示す、トレイ形状データをさらに記憶し、前記第１認識手段は、前記第１撮像モードで撮像した前記トレイの画像および前記トレイ形状データに基づいて、当該トレイの配置位置を認識することを特徴とする。
【００２１】
請求項９の発明は、請求項１〜８のいずれかに記載の作業システムであって、前記複数のトレイのうち少なくとも一部のトレイは、複数種の部品を載置可能であることを特徴とする。
【００２２】
また、請求項１０の発明である作業ロボット制御装置は、所定の作業エリア内に移動可能に配置された複数のトレイから作業対象となる部品を取り出し、前記部品を用いて所定の作業を行う作業ロボット制御装置であって、前記作業エリア内に存在する前記複数のトレイを、比較的広視野で集合的に撮像する第１撮像モードと、前記複数のトレイを比較的狭視野で個別的に撮像する第２撮像モードとを有する撮像部が前記作業ロボットに付随しており、前記制御装置が、各トレイとそれに載置される各部品の種類との対応関係を示すトレイ対応データを記憶する対応記憶手段と、前記撮像部による前記第１撮影モードでの撮像結果に基づいて、比較的低い空間分解能の第１画像処理を行い、各トレイの識別とその配置位置の特定とを行う第１認識手段と、特定された各トレイの配置位置に応じて前記撮像部による撮像方向を変更しつつ、トレイごとに当該トレイに載置された部品を第２撮影モードで前記撮像部に撮像させる撮像制御手段と、前記トレイ対応データに基づいて各トレイ上の部品の種類を限定しつつ、前記第２撮像モードでの各部品の撮像結果に基づいて、比較的高い空間分解能の第２画像処理を行うことによって、各トレイ上の各部品の３次元位置・姿勢を認識する第２認識手段と、３次元位置・姿勢が特定された各トレイ上の部品を取り出して所定の作業を行う動作指令を作業ロボットに与える動作指令手段とを備えることを特徴とする。
【００２３】
また、請求項１１の発明は、請求項１０の発明に対応するプログラム発明である。
【発明の効果】
【００２４】
請求項１〜１１の発明によれば、複数のトレイの識別およびその配置位置を認識し、さらにトレイとトレイに載置される部品との対応関係を参照することにより、複数のトレイが移動し載置される部品の３次元位置・姿勢が変化する場合であっても、認識したトレイの配置位置に基づいて載置された部品を効率的に把握することで、部品の３次元位置・姿勢を認識し、作業ロボットにより部品を用いた作業動作を行うことができる。
【００２５】
そして、トレイを集合的に撮像して各トレイの認識を行う第１画像処理では広視野かつ低空間分解能とされ、トレイを個別的に撮像してその中の部品の認識を行う第２画像処理では狭視野かつ高空間分解能としているため、過剰なデータ処理が不要となる。広視野かつ高空間分解能で１段階画像処理を行う場合と比較して、この発明の２段階処理ではデータ量が少なくなるために処理時間が短縮され、効率が高い。
【００２６】
特に請求項２の発明によれば、トレイまたはトレイ上の部品の状況が変化したときに割り込み処理によって部品の位置の再認識を行うため、トレイや部品の搬入・搬出のほか、不慮の位置ずれなどが生じたときにも、古い位置データを使用して誤った作業を続行することを防止することが可能となる。
【００２７】
特に請求項４、５の発明によれば、トレイを撮像する第１撮像部と部品を撮像する第２撮像部とを備え、第２撮像部は作業ロボットの腕部に備えられることにより、撮像対象の役割分担ができ、また第２撮像部は腕部の動作に従って移動することができるので、部品を効率的に撮像できる。
【００２８】
特に請求項９の発明によれば、１つのトレイに複数種の部品を載置することにより、例えば工程段階ごとに部品をトレイに割り当て、工程の進行状況が視覚的に確認することが可能となるので、部品の補充等のタイミングの調整等に適している。
【図面の簡単な説明】
【００２９】
【図１】第１実施形態にかかる作業ロボットを備える作業システムを示す概念的な平面図である。
【図２】第１実施形態にかかる作業ロボットの第１の具体例を示す図である。
【図３】第１実施形態にかかる作業ロボットの第２の具体例を示す図である。
【図４】第１実施形態にかかる作業システムの機能ブロック図である。
【図５】第１実施形態にかかる作業システムの動作を示す図である。
【図６】第１実施形態にかかる作業システムの動作を示す図である。
【図７】第１実施形態にかかる作業システムの動作を示す図である。
【図８】第１実施形態にかかる作業システムの動作を示す図である。
【図９】第１実施形態にかかる作業システムの動作を示す図である。
【図１０】第１実施形態にかかる作業システムの動作を示す図である。
【図１１】第１実施形態にかかる作業システムの動作を示す図である。
【図１２】第１実施形態にかかる作業システムの動作を示す図である。
【図１３】トレイ識別データＴＩとトレイ対応データＴＣとの例を示す図である。
【図１４】トレイの識別マーカの例を示す図である。
【図１５】第１実施形態の基本動作を示すフローチャートである。
【図１６】第１実施形態の割り込み動作を示すフローチャートである。
【発明を実施するための形態】
【００３０】
＜Ａ．システム構成＞
図１は、本発明の第１実施形態にかかる作業システムＷＳの構成を概念的に示す平面図である。図１に示すように作業システムＷＳは、作業エリア１内に、移動可能に分布して水平配置された複数のトレイ４と、作業エリア１内において作業動作を行う作業ロボット２とを備える。また複数のトレイ４には、部品組み立ての作業動作に用いられる複数の部品３が所定の規則で各トレイ４に振り分けて載置されている。
【００３１】
複数のトレイ４は、たとえば、後述する図２にも示されているように、部品３が載置される天板部分が複数の脚部によって支持されるとともに、トレイ４が床面上を移動可能となるように各脚部の下端に車輪等を備えたものであってもよい。後述するように、各トレイ４上とその上に載置される部品３との対応関係はあらかじめ定められているが、各トレイ４上における各部品３の位置や姿勢については任意である。すなわち、いわゆる「ばら状態」で部品３がトレイ４上に載置されるものであり、部品３をトレイ４上に高精度で位置決めされる必要はない。また、複数のトレイ４の配置も図１の場合に限られず、様々な配置のバリエーションが可能である。さらに、トレイ４に載置された部品３は、作業ロボット２による作業動作の進行によって適宜に外部から補充等が可能である。
【００３２】
図１では、それぞれのトレイ４に載置される部品３は単一種となっているが、数種の部品がひとつのトレイ４に混在している場合があってもよい。また、トレイの総数も固定ではなく、作業内容に応じて可変である。
【００３３】
作業ロボット２は、トレイ４に載置されている部品３を用いて作業動作する。例えば複数の部品３をそれぞれトレイ４から取り出し、互いを組み合わせて製品またはその中間組立品を生成し、生成した組立体を作業エリア１内の所定の場所に載置する。載置する場所は専用の場所であってもよく、空のトレイ４や、その時点で載置されている部品３が少ないトレイの空き部分であってもよい。
【００３４】
図１においては、作業ロボット２が組み立て作業を行う組み立てエリア１１として所定のテーブルが備えられている。この組み立てエリア１１は、たとえば第１部品をその上に載置して作業ロボット２の一方のハンド部Ｈ（図２、図３参照）で把持して固定し、他方のハンド部Ｈで第２部品を第１部品に組み付けるような用途として使用される。第１部品を載置せずに作業ロボット２の両ハンド部Ｈ上（つまり空中）での組み立てが可能な作業の場合には、当該組み立てエリア１１は特に備えられていなくともよい。また、組み立てエリア１１が備えられない場合には、後述する全体認識作業によって作業エリア１内において空いているスペースを見出し、そこで作業動作をするようにしてもよい。
【００３５】
組み立てエリア１１としてテーブル等を用いる場合には、組み立て作業がしやすいように、組み立てエリア１１にて部品３の姿勢を適宜変更することも可能である。
【００３６】
図２は、本発明の第１実施形態にかかる作業ロボット２を示す図である。図１においては当該作業ロボット２を上面から見ていることになる。
【００３７】
図２に示すように作業ロボット２は、撮像部として全体カメラ５とステレオカメラ６（６Ａ、６Ｂ）とを備えており、これら全体カメラ５、ステレオカメラ６はデジタルカメラであって、画素ごとの画像情報をデジタル信号列として出力する。
【００３８】
図２においては例として、全体カメラ５は作業ロボット２の頭部に付設され、ステレオカメラ６（６Ａ、６Ｂ）は作業ロボット２の２つの腕部７（７Ａ、７Ｂ）にそれぞれ付設されている。全体カメラ５が付設されたロボット頭部は首部を介して作業ロボット２の筐体（基台）と可動に連結されており、首部の水平旋回と鉛直方向への伸縮とによって、全体カメラ５の視野方向（撮像方向）を変化させることができる。ステレオカメラ６の付設位置は、作業ロボット２の腕部７に限られるものではなく、ハンド部Ｈに付設してもよい。ステレオカメラ６がハンド部Ｈの指の構造に対して十分小さい場合は、ハンド部Ｈの指に付設してもよい。ハンド部Ｈに付設する場合、ハンド部Ｈに例えば人間の手の甲に相当する部位があれば、その部位に付設すればよい。このようにすることで、ステレオカメラ６をより撮像対象物に近接させることができるという効果がある。
【００３９】
一対のステレオカメラ６Ａ、６Ｂのそれぞれは撮像位置および視野方向（撮像方向）を個別に変化させることが可能であるが、それは、各ステレオカメラ６Ａ、６Ｂが固定されている腕部７Ａ、７Ｂの動きに伴って生じる動きである。各ステレオカメラ６Ａ、６Ｂからの画像を取得することで、撮影対象物の３次元位置情報を得ることができる。作業エリア１内の任意の部分を撮像可能であれば、ステレオカメラ６は１台でもよい。
【００４０】
第１撮像部としての全体カメラ５は、広い視野を確保し、作業エリア１内の複数のトレイ４の配置位置を認識するための広視野（広画角）カメラである。第２撮像部としてのステレオカメラ６は、全体カメラ５より視野は狭いが、作業ロボット２に備えられた腕部７の稼働に合わせて移動し、トレイ４に載置された部品３の３次元位置・姿勢を認識するための狭視野（狭画角）カメラである。ここで３次元位置・姿勢とは、対象体の空間位置および空間姿勢の少なくとも一方（典型的には双方）を含む座標値の組として定義されるものである。全体カメラ５の視野がステレオカメラ６の視野よりも広いという条件を、以下では「視野条件」と呼ぶ。
【００４１】
全体カメラ５およびステレオカメラ６のそれぞれの撮像画素数は、同じであってもよく、互いに異なっていてもよい。ただし、全体カメラ５は作業エリア１を比較的広視野で撮像した際の撮像結果（広視野画像）と、ステレオカメラ６によってそれぞれのトレイ４を比較的狭視野で撮像した際の撮像結果（狭視野画像）との間で比較したときには、全体カメラ５の空間分解能よりもステレオカメラ６の空間分解能の方が高くなる（より小さな距離を区別できる）ように、それぞれのカメラでの撮像素子数と光学系とが決定されている。このような「広視野画像の空間分解能を、狭視野画像の空間分解能よりも小さくする」という条件を、以下では「空間分解能条件」と呼ぶが、ここにおける「空間分解能」とは、撮像された画像中の１画素に対応する実空間での距離の大小を示し、「空間分解能が高い」とは、実空間での短い距離が画素配列上で区別可能であるという意味で定義する。
【００４２】
たとえば、撮像された画像での１画素が実空間での３ｍｍに相当する場合と、１画素が実空間での１ｍｍに相当する場合とでは、後者の方が空間分解能が高い。
【００４３】
全体カメラ５およびステレオカメラ６のそれぞれの撮像素子数が同じ場合でも、全体カメラ５は比較的遠距離から対象物を撮像するからその空間分解能は低くなり、ステレオカメラ６は比較的近距離から対象物を撮像するからその空間分解能は高くなるため、空間分解能条件を満たす。カメラのそれぞれの撮像画素数が同じであってもよいのは、そのような理由による。また、全体カメラ５の撮像画素数よりもステレオカメラ６の撮像画素数を多くすれば、撮像対象物の遠近の違いによって、上記のような空間分解能条件は自動的に満たされる。
【００４４】
さらに、全体カメラ５での撮像そのものは画素数が多い撮像素子を用いて行い、後の画像認識の段階で画素間引きなどを行うことによって演算対象となる画素数を制限すれば、実質的に「低い空間分解能」での処理を行ったことと等価となり、画像認識に要する時間も、全体を通して高い空間分解能で処理を行った場合よりも短くなる。したがって、空間分解能条件は、撮像後における対象物の認識の段階で達成されていればよく、必ずしも最初の撮像段階から満足されていなくてもよいことになる。
【００４５】
全体カメラ５はトレイ４の識別と配置位置の認識に使用され、ステレオカメラ６は各トレイ４内での部品３の３次元位置・姿勢の認識に使用される。
【００４６】
このうち、全体カメラ５を用いた画像認識は一度に広い範囲を撮像することが必要であるから「広視野」とされるが、トレイサイズでの認識ができれば十分であるために低い空間分解能とされる。
【００４７】
他方、ステレオカメラ６を用いた画像認識は各トレイ４内での部品３の認識を行うためには高い空間分解能で行う必要はあるが、各時点ではひとつのトレイ４が視野（画角）内に入れば十分であるため、狭視野にとどめる。
【００４８】
このように、全体カメラ５とステレオカメラ６とでそれぞれの役割を分担させることにより、画像認識全体に要する全体時間を削減し、作業効率を向上させることができる。
【００４９】
比較例として、広視野かつ高空間分解能の１つのステレオカメラを用いて、作業エリア１の全体を一括して撮像し、その撮像結果を用いてトレイ４の認識だけでなく各トレイ４内の部品３の認識までも行う場合を考える。この場合には、作業エリア１のうちトレイ４が配置されていないスペースまでも高い空間分解能で撮像して画像処理を行うことになるため、それぞれの演算量は大きくなり、処理時間も長時間となる。これに対して本実施形態のシステムＷＳでは、細かな画像処理を必要としないエリアについては画像処理を簡素化しているため、画像認識の精度を落とすことなく、演算量や処理時間を削減可能である。
【００５０】
もっとも、これら２つの段階の撮像および画像認識の機能を、作業ロボット２のいずれかの部分に備えられた１つのカメラ（図示せず）で賄うことも可能である。すなわち、全体カメラ５での撮像結果の解析結果によって特定された各トレイ４の方向にステレオカメラ６の撮影方向を順次に変化させて各トレイ４上の部品の画像認識を行うから、このプロセス中には、全体カメラ５とステレオカメラ６とで同時に撮像を行うことを必要としない。したがって、１台の多焦点カメラないしはズームカメラを用いて、全体撮像の段階では広視野撮像を行い、各トレイ４の個別撮像の段階では狭視野撮影を行えば、実質的に全体カメラ５とステレオカメラ６とを用いて、視野条件と空間分解能条件との双方を満足させることができる。ただし、その場合には、ステレオカメラ６の機能で視野を移動させること必要となることに対応して、当該１台の共用カメラは、その撮像方向が変更できるように、それ自身に可動機構を設けるか、あるいは図２と同様に作業ロボットの可動部分に付設しておく。
【００５１】
また、図２において腕部７（７Ａ、７Ｂ）は双腕であり、左右の腕部７Ａ、７Ｂを連動させて部品３を組み合わせる作業ロボット２を示しているが、一方の部品３を固定する等の冶具を準備することにより、片腕の腕部で動作する作業ロボットであってもよい。また、腕部が２本を超える本数であってもよいし、その形状も図に示すものに限られない。
【００５２】
また図３に示すように、全体カメラ５を作業ロボット２０には備えず、作業エリア１全体を撮像できるように作業システムＷＳ内の他の箇所に備えられる場合であってもよい。例えば、作業システムＷＳ上部に設置されたレール上を、当該カメラが移動できるようにしてもよい。図３においては全体カメラ５のみが作業ロボット２０から分離しているが、第２撮像部としてのステレオカメラ６がそのように備えられていてもよい。なお、図３においては、図２に示すような組み立てエリアは備えられていないが、備えていてもよい。
【００５３】
図４は、本発明の実施形態にかかる作業システムＷＳの機能ブロック図であり、ハードウエア要素の関係とともに描かれている。
【００５４】
図４に示すようにこの作業システムＷＳは、作業ロボット２と撮像部１２とに通信可能に接続された制御コンピュータＣＯＭを備える。撮像部１２は第１撮像部（全体カメラ５）および第２撮像部（ステレオカメラ６）の組み合わせに相当する。作業ロボット２はたとえば多関節ロボットであり、図２および図３で例示したように、複数の可動の腕部（アーム）が連設され、その先端にはワーク（作業対象物）を把持し、あるいはワークの組み付けなどの諸作業に適したハンド部Ｈが設けられる。ハンド部Ｈはまた、ネジ締めツールなどのエンドエフェクタ（ロボットの作業ツール）を備えていてもよい。
【００５５】
制御コンピュータＣＯＭは、ＣＰＵおよび記憶装置を備えており、この記憶装置にあらかじめ記憶されてインストールされたプログラムを制御コンピュータＣＯＭが実行することにより、各機能手段としての第１認識手段８Ａ（トレイ認識）、第２認識手段８Ｂ（部品認識）、対応記憶手段９、撮像制御手段１０、動作指令手段２００を制御コンピュータＣＯＭのハ−ドウエア資源とソフトウェアとで実現可能である。
【００５６】
全体カメラ５は、作業エリア１内に移動可能に配置された複数個のトレイ４を一括して撮像する第１撮像モードで使用される。第１認識手段８Ａは、全体カメラ５による第１撮影モードでのその撮像結果に基づいて第１画像処理を行い、各トレイ４の識別とその配置位置の特定とを行う。
【００５７】
制御コンピュータＣＯＭの記憶装置には、図１３に例示するように、各トレイ４を相互に識別するためのトレイ識別データＴＩと、各トレイ４とそれに載置される各部品３の種類との対応関係を示すトレイ対応データＴＣとがあらかじめ記憶されている。ただし、図１３の例では、これらは、統合されたひとつのテーブルとして作成されている。
【００５８】
これらのうち、トレイ識別データＴＩは、各トレイ４のトレイ番号とそのトレイの幾何学的な形状データ（トレイ形状データ）とを対応させて登録したデータである。またトレイ対応データＴＣは、どのトレイ４にどの部品３の種類が載置されるかの対応を示すデータであって、トレイ番号と、そのトレイに載置されることが予定されている各部品の部品番号、およびそれらの部品ごとの幾何学的な形状データ（部品形状データ）が相互に対応させて登録されている。トレイ形状データ、部品形状データは、例えば各点が３次元位置情報を持つ点群データ（モデル点群）である。
【００５９】
各トレイ４の形状は同一ではなく、外観的に相互に識別可能な特徴を持たせて形成されている。ただし、ここにおける「形状」とは幾何学的に相似な形状も別形状として扱う。したがって、各トレイ４の特徴点、たとえば撮像されたトレイ４の各頂点を示す点群のそれぞれの位置と、あらかじめ登録されているモデル点群の位置とを比較することにより、トレイ４の識別と位置の特定とが可能である。また、たとえば、図１４のように、トレイ４ごとに異なる形状マーカＭ１、Ｍ２、…をトレイ４のフレームＦＭの頂部に付しておくことにより、それらのマーカＭ１、Ｍ２等の違いによっても各トレイ４の相互識別が可能である。なお、図１４に示すトレイ４のフレームＦＭには、２次元的な配置方向の識別のために、カット部が非対称に形成されている。
【００６０】
それ以外に、トレイ４ごとに異なる色を付し、あるいはトレイ４ごとに異なるコードのバーコードなどを所定の位置に付すことなどによっても、トレイの相互識別が可能である。図１３のテーブルにおけるトレイ形状データは、そのようなトレイの外観的特徴の情報を含むデータである。
【００６１】
このトレイ識別データＴＩは、第１認識手段８Ａの機能の一部をなす。したがって、全体カメラ５によって作業エリア１内の各トレイ４を一括に撮像し、あるいは作業エリア１をいくつかのサブエリアに分けた広視野で撮像して得た情報に基づいて、第１認識手段８Ａがトレイ識別データＴＩを参照することにより、各トレイ４の相互識別と配置位置特定とが可能となる。
【００６２】
撮像制御手段１０は、撮像部１２および作業ロボット２に制御信号を与えて、第１認識手段８Ａが特定した各トレイ４の配置位置に応じてステレオカメラ６による撮像方向を変更しつつ、トレイ４ごとに、当該トレイ４に載置された部品３を第２撮影モードでステレオカメラ６に撮像させるという制御を行う。
【００６３】
第２認識手段８Ｂは、その時点で撮像しているトレイ４のトレイ番号をキーとしてトレイ対応データＴＣを検索し、当該トレイ４に対応する部品３の種類（部品番号）やそれらの部品３についての部品形状データを参照する。そして、それに基づいて、撮像しているトレイ４上の各部品３がどの部品であるかという部品の種類の特定を行うとともに、各部品３の３次元位置・姿勢をステレオ法等を利用して特定する。部品３に固有の色を付している場合には、部品形状データにはそのような色情報を含んでいてもよい。
【００６４】
トレイ対応データＴＣの各トレイ４のレコードには、そのトレイ４に載置される予定範囲の部品３だけが列挙されているから、第１認識手段８Ａによってトレイ４を識別しておくことにより、ステレオカメラ６で撮像している当該トレイ４上の部品３の種類が限定されることになる。すなわち、たとえば部品３として１０種類が存在する場合を考え、第１トレイにはその４種類の部品のうちの１種あるいは複数種が載置されると予定されているときには、トレイ対応データＴＣの第１トレイのレコードにはその４種類の部品３についてのデータのみ登録されている。したがって、第２認識手段８Ｂが各部品３の識別を行うに際しては、撮像によって得た画像と、当該４種類の部品３の形状とのマッチングを行えば足りることになり、１０種類すべての部品３の形状とのマッチングを行うような比較例の場合よりも、処理速度は向上する。
【００６５】
第２認識手段８Ｂでのこのような画像処理（第２画像処理）は、第１認識手段８Ａでの画像処理（第１画像処理）よりも高い空間分解能で行う。それによって各部品３の識別と３次元位置・姿勢の決定とが高精度で行われるが、上記のようにマッチングすべき部品３の種類がトレイ４ごとに限定されるため、そのような高精度での画像処理を用いつつも、全体としての処理時間の増大を防止可能である。
【００６６】
第２認識手段８Ｂによって各トレイ４の各部品３の識別と３次元位置・姿勢との特定が完了すると、あらかじめ制御コンピュータＣＯＭの記憶装置に記憶されている作業ルーチンのプログラムに従って、動作指令手段２００は作業ロボット２に動作指令を与える。そこでは、作業ロボット２が各トレイ４上の各部品３に所定の順序でアクセスし、各部品３を所要の順序で順次にトレイ４から取り出して部品組み立てなどの所定の作業を行う。そのような動作の際に、第２認識手段８Ｂが得た各トレイ４の各部品３の配置情報が用いられる。
【００６７】
この作業ルーチンにおいては、作業データも参照される。作業データは、どの部品３にどのような作業動作が予め設定されているかの対応を示すデータであって、制御コンピュータＣＯＭの対応記憶手段９にあらかじめ記憶されている。１つの部品３に設定できる作業動作は複数あってもよく、その場合には、作業ロボット２がどの作業動作を選択すべきかの選択もできるようになっている。対応づけられる作業動作内容としては、例えば、組み合わせる部品３、作業動作時の姿勢、組み合わせるために搬送する場所、組み合わせにより生成された中間組立品を搬送する場所等がある。
【００６８】
いくつかの部品３を組み立てた後の中間組立品をいずれかのトレイ４に一時的に載置する場合にも、第２認識手段８Ｂの認識結果が利用される。すなわち、第２認識手段８Ｂがトレイ４中の部品３の３次元位置・姿勢を認識することにより、当該トレイ４上の空スペースがどの位置にあるかという情報も付随的に得ることができる。この空スペース情報をトレイ４ごとに記憶しておき、中間組立品の載置が必要になった段階でその空スペース情報を参照することにより、中間組立品の載置場所として、いずれかのトレイ４の空スペースを利用できる。また部品３が全く載置されていない空トレイを認識してそのトレイ４の位置を記憶させておくことにより、そのような空トレイも中間組立品の載置場所として利用できる。
【００６９】
図４に示す操作入力手段３００は、制御コンピュータＣＯＭに付随して設けられており、オペレータによる制御コンピュータＣＯＭへのデータ入力や操作指示入力などに使用される。
【００７０】
＜Ｂ．動作＞
＜Ｂ−１．基本動作＞
次に、本実施形態にかかる作業システムの動作について説明する。図５〜８は、作業システムの一例の上面図であり、図５〜８に示すように、作業エリア１内に、トレイ４０、４１、４２、４３、組み立てエリア１１、腕部７（７Ａ、７Ｂ）を有する作業ロボット２がそれぞれ配置されている。トレイ４０、４１、４２には、部品３０、３１、３２がそれぞれ載置されている。
【００７１】
図１５はこの作業ロボットシステムＷＳの動作を示すフローチャートであり、このうち第１ルーチンＲ１は各トレイや部品の配置状況を認識するための準備ルーチンであり、第２ルーチンＲ２はそのような認識結果に基づいて作業ロボット２に作業させる実可動ルーチンである。
【００７２】
まず第１撮像モードが起動され、図５に示すように、作業ロボット２に付設した全体カメラ５（図２、３参照）によって作業エリア１の全体に分布するトレイ４０〜４３を広視野で撮像し（図１５：ステップＳ１）、第１認識手段８Ａ（図４参照）がトレイ識別データＴＩ（図１３）を参照しつつ、それぞれのトレイ４０〜４３の識別を行うとともに各トレイ４０〜４３の配置位置を認識する（ステップＳ２）。ここにおいてはさらに、トレイ４０〜４３の３次元姿勢も認識してもよい。また、床面からの各トレイ４０〜４３の高さはあらかじめ規定されていることが通例であるため、その高さでの各トレイ４０〜４３の２次元位置（または２次元位置・姿勢）の認識であってもよい。
【００７３】
また、全体カメラ５によって作業エリア１のトレイ４０〜４３の全部を一度に撮像できないときには、作業エリア１を概念的に複数のサブエリアに分割し、各サブエリアごとにその中に存在するトレイ集団ごとに撮像してもよい。すなわち、このステップＳ１では、後記の第２撮像モードと比較して、作業エリア１が広視野で集合的に撮像されることになる。
【００７４】
既述したように、トレイ４０〜４３は、トレイの形状に違いを設けたり、異なる色をつけたりすることで識別でき、当該識別は２次元画像解析等で簡易に行うこともできる。また、トレイ４０〜４３の配置位置についても、制御コンピュータＣＯＭの記憶装置に記憶されたモデル点群（トレイ識別データＴＩ中のトレイ形状データ）を用いてマッチングすることも可能であるが、２次元画像解析等から、モデル点群との比較を行わずにトレイ４０〜４３が置かれた領域が特定できる程度の精度で簡易に認識することもできる。
【００７５】
次に、トレイ４０〜４３のうちの一部を選択する（ステップＳ３）。選択するトレイはひとつずつでもよく、空間的に隣接する少数個のトレイであってもよい。ここでは、認識した各トレイの大きさおよび配置位置とステレオカメラ６の視野とを比較し、ステレオカメラ６の視野内にひとつのトレイのみが入るときにはひとつずつトレイを選択するが、視野内に複数のトレイを納めることができる場合には、複数のトレイを選択することもできる。トレイ４０〜４３の選択順序としては、たとえば作業ロボット２の中心鉛直軸まわりに時計まわりとするような規則を定めておくことができる。ここでは２つのトレイ４０、４１が選択されたと仮定する。
【００７６】
一般に、第１撮像部（第１撮像モード）による撮像が「集合的」であるのに対して、第２撮像部（第２撮像モード）による撮像が「個別的」とされるが、これらは、１回の撮像で取得するトレイの数が相対的に多い方を「集合的（な撮像）」、相対的に少ない方を「個別的（な撮像）」と定義することができる。
【００７７】
図６に示すように、認識したトレイ４０、４１の配置位置に基づいて、撮像制御手段１０（図４参照）の制御により、腕部７のうち一方の腕部７Ａをトレイ４０の上方に移動させることによって撮像方向を変更し、当該腕部７Ａに備えられた１つのステレオカメラ６Ａによって、トレイ４０に載置された部品３０をトレイ４０とともに撮像する。必要ならば、作業ロボット２自体もトレイ４０側へ並進移動するように制御する。腕部７Ｂについても同様に、トレイ４１の上方に移動させることによって撮像方向を変更し、腕部７Ｂに備えられたステレオカメラ６Ｂによって、トレイ４１に載置された部品３１をトレイ４１とともに撮像する。トレイ４０、４１の配置位置を予め特定しているため、視野が狭いステレオカメラ６Ａ、６Ｂでも効率的に部品３０、３１が存在する領域をとらえるように制御し、効率的に部品３０、３１を撮像することができる。
【００７８】
一方で、第２認識手段８Ｂにおいて、トレイ４０、４１とそれぞれに載置される部品３０、３１との対応関係を、トレイ対応データＴＣを参照して把握する。たとえば、トレイ４０に載置されるのは部品３０であり、トレイ４１には２種類の部品３１、３２のいずれかが載置されるという対応関係が、トレイ対応データＴＣに登録されていると仮定する。この場合、トレイ４０上の部品の画像が部品３０についての部品形状データと照合されて当該画像が部品３０であると認識されるとともに、トレイ４０上の部品３０の３次元位置・姿勢が認識される。また、トレイ４１上の部品の画像が部品３１、３２のそれぞれの部品形状データと照合されて、当該画像が部品３１であると認識されるとともに、トレイ４１上の部品３１の３次元位置・姿勢が認識される。このようにして認識された結果は、制御コンピュータＣＯＭの記憶装置に記憶される。以上の工程が図１５のステップＳ５に相当する。
【００７９】
次のステップＳ６では、まだ認識していないトレイが残っているか否かがチェックされ、残っているときにはステップＳ３に戻って新たなトレイを選択する。図示例では、トレイ４２、４３が選択され、前回と同様にステップＳ４およびＳ５を実行する。トレイ４３には部品は載置されていないため、トレイ４３は空であることが認識されて、その旨が記憶される。
【００８０】
トレイのすべての撮像と部品の認識が完了するまで以上のステップＳ３〜Ｓ６を繰り返し、すべてのトレイについての部品の撮像と認識が完了すると、ステップＳ７へ移行する。
【００８１】
ステップＳ７では、制御コンピュータＣＯＭの記憶装置に記憶されている作業ルーチンのプログラム（作業データ）中の部品変数に、各トレイ４０〜４２に載置された部品３０〜３２の種類と３次元位置・姿勢との情報を代入し、作業ルーチンのプログラムを具体化する。
【００８２】
トレイに載置された特定種の部品につき、その種類の部品を作業対象とする動作が作業ルーチンのプログラム上に設定されていない場合には、その部品の扱いをスキップし、他のトレイに対応する部品についてのみ作業動作との対応関係を認識する。このようにすることで、行おうとする作業動作に関係のない部品が作業エリア１に配置されている場合でも、滞りなく作業動作を進行させることができる。
【００８３】
図５では、トレイ４０の部品３０とトレイ４１の部品３１とが互いに組み合わせられる作業動作と、それによって生成される中間組立品をトレイ４３に搬送する作業動作とが設定されていた場合であるとする（使用されるトレイを太枠で示す）。部品３２には異なる作業動作が設定されている、または作業動作が設定されていないとして、扱いをスキップする。
【００８４】
以上の第１ルーチンＲ１（準備ルーチン）が完了すると、第２ルーチンＲ２（実可動ルーチン）に移行する。
【００８５】
第２ルーチンＲ２では、具体化された作業ルーチンのプログラムの実行が開始され、動作指令手段２００が作業ロボット２に駆動指令信号を与えることにより、当該プログラムで規定された順序で作業ロボット２が部品３０、３１にアクセスして、それらを順次に腕部７の把持機構（ハンド部Ｈ）を用いて把持して、トレイ４０、４１から取り出す。それにあたっては、既に認識された部品３０、３１の３次元位置・姿勢の情報を利用する。そして、作業ルーチンのプログラムで指定された作業動作内容に従って、組み立てエリア１１に部品３０、３１を搬送するよう作業ロボット２を制御する（図６参照）。
【００８６】
次に図７に示すように、組み立てエリア１１に必要な部品３０、３１を組み立てエリア１１に搬送したら、組み合わせのために部品３０、３１の姿勢を適宜変更し、組み合わせた中間組立品５０を生成する。次に図８に示すように、特定された作業動作内容に従って、中間組立品５０をトレイ４３に搬送する。
【００８７】
部品としては、例えばネジ、ナット等も含めた様々な大きさのものが考えられ、中間組立品として生成される様々なパーツを組み合わせることによって、複雑な工程を持つ工業製品を生成することが可能となる。
【００８８】
以上のうち、トレイ４０〜４３の認識動作（ステップＳ２）については、部品３０〜３２の補充等のためにトレイ４０〜４３の配置位置を変更する場合にのみ行えばよいが、本実施形態にかかる作業システムＷＳにおいてはトレイ４０〜４３を固定しないので、作業動作途中にトレイ４０〜４３の配置位置が変わってしまうことも考えられる。よって、そのような場合には部品３０〜３２の補充等がなくとも、作業動作ごとにトレイ４０〜４３の配置位置を認識しなおしてもよい。また、トレイ４０〜４３の配置位置が変更されたことを検出可能なセンサ（図示せず）を設けておくことによって、作業動作段階に関係なく、トレイ４０〜４３の配置位置が変更された時点で、トレイ４０〜４３の配置位置を認識しなおすことも可能である。作業中の衝撃などによって部品位置がずれるような場合にも、衝撃センサーを設けておいてそれを検知することによって、トレイや部品の認識をやりなおすこともできる。
【００８９】
また、トレイ内の部品が搬送され尽くした場合に、部品を補充する必要があることを報知する報知装置等（図示せず）を備えることにより、作業動作を滞りなく進行させることができる。
【００９０】
図１６は、これらの事情に対応して、作業ロボット２による組み立て作業の繰り返し中に生じる割り込み動作を示すフローチャートであり、この割り込みルーチンもまた、制御コンピュータＣＯＭにインストールされている。
【００９１】
ステップＳ１１は図１５の第２ルーチンＲ２に相当するが、その実行中に
・トレイの移動、搬入または搬出；
・部品の搬入（補充）；
・上記中間組立品などのような、作業ロボット２の作業成果物である組立品の搬出；
などが発生したときには、その事情の発生の検知に応答して、組み立て作業が割り込み停止される（ステップＳ１２、Ｓ１３）。この発生検知は、上記のようなセンサーによる自動検知であってもよく、図４の操作入力手段３００を用いてオペレータがボタンなどを操作することによって、制御コンピュータＣＯＭに旨を報知するものであってもよい。
【００９２】
このような割り込みが入ると、図１５における第１ルーチンＲ１（準備ルーチン）に相当するルーチンが再度実行され、その結果に基づいてロボット作業プログラムの再度の具体化（更新）が行われる（ステップＳ１４）。そして、ステップＳ１５で割り込み処理が解除され、作業ロボット２による作業プログラムが再開される。
【００９３】
＜Ｂ−２．部品の割り当て方法：第１の形式＞
トレイに載置される部品の具体的な割り当て方法として、同一種の部品ごとに分けてトレイに割り当てる方法がある。すなわち図５〜８に示す方法と同様の方法である。
【００９４】
この方法の場合は、トレイ４０に部品３０、トレイ４１に部品３１、トレイ４２に部品３２というように、各トレイに例えば１種類の部品が割り当てられる。
【００９５】
トレイを識別できれば対応する部品を特定できるので、部品の３次元位置・姿勢を認識する際にマッチングを行う形状データ等を特定することができる。よって形状データ等の選択が不要となり、マッチング効率を向上させ全体の作業効率を向上させることができる。トレイに割り当てられる部品が数種類ある場合でも、その数種類の部品の形状データ等のうちから適切なものを選択すればよいので、やはりマッチング効率を向上させることができ全体の作業効率を向上させることが可能となる。
【００９６】
また、作業動作に用いられ部品がなくなったトレイには、同一または異なる部品を適宜補充し再利用することで、作業エリアを効率的に利用して作業動作を進めることができる。
【００９７】
＜Ｂ−３．部品の割り当て方法：第２の形式＞
また、トレイに載置される部品の具体的な割り当て方法として、同一工程段階で用いられる部品ごとに分けてトレイに割り当てる方法がある。
【００９８】
この方法の場合は図９に示すように、まずトレイ４４に部品３０、３１、３３〜３５が全て割り当てられる。そして、トレイ４１、４２はそれぞれ、以降の各工程段階で生成される中間組立品を収納するために割り当てられる。ここでは例として、第２工程段階をトレイ４１に、第３工程段階をトレイ４２にそれぞれ割り当てる。
【００９９】
最初の工程段階として、部品３０と部品３１、部品３３と部品３４をそれぞれ組み立てエリア１１に搬送し、それぞれを互いに組み合わせ、生成される中間組立品５０、５１をトレイ４１へ搬送する。
【０１００】
次に図１０、１１に示すように、第２工程段階として、中間組立品５０、５１、部品３５を組み立てエリア１１に搬送し、組み合わせて中間組立品５２を生成する。そして、図１２に示すように、中間組立品５２をトレイ４２へ搬送する。
【０１０１】
このように各工程段階で用いられる部品ごとにトレイを割り当てることで、各トレイの部品の載置の有無により工程の進行度合いが視覚的に確認でき、作業システムが適切に動作しているか、部品補充のタイミングが適当かどうか等を判断できる。
【０１０２】
＜Ｃ．効果＞
以上のように、本発明の実施形態によれば、複数のトレイ４０、４１、４２、４３の識別およびその配置位置を認識し、さらにトレイ４０、４１、４２、４３とトレイに載置される部品３０、３１、３２との対応関係を参照することにより、複数のトレイ４０、４１、４２、４３が移動し載置される部品３０、３１、３２の３次元位置・姿勢が変化する場合であっても、認識したトレイ４０、４１、４２、４３の配置位置に基づいて載置された部品３０、３１、３２を効率的に把握することで、部品３０、３１、３２の３次元位置・姿勢を認識し、作業ロボット２により部品３０、３１、３２を用いた作業動作を行うことができる。
【０１０３】
また、トレイ４を撮像する第１撮像部としての全体カメラ５と部品３を撮像する第２撮像部としてのステレオカメラ６とを備え、ステレオカメラ６は作業ロボット２の腕部７に備えられることにより、撮像対象の役割分担ができ、またステレオカメラ６は腕部７の動作に従って移動することができるので、部品３を効率的に撮像できる。
【０１０４】
特に、全体カメラ５の撮像結果に基づく第１画像処理は「広視野かつ低空間分解能」であり、ステレオカメラ６の撮像結果による第２画像処理は「狭視野かつ高空間分解能」とされる。このため、第１画像処理は広視野で多数のトレイを同時に認識可能であるが、空間分解能を高くしていないので画像処理に要する時間は短くて済む。また、第２画像処理は、高い空間分解能で認識を行うが、そこでは狭視野で少数のトレイ上の部品を認識するだけであるため、ここでも画像処理に要する時間は短くて済む。
【０１０５】
また、１つのトレイ４４に複数種の部品３０、３１、３３、３４、３５を載置する場合には、例えば工程段階ごとに部品３０、３１、３３、３４、３５をトレイ４４、４１、４２に割り当て、工程の進行状況が視覚的に確認することが可能となるので、部品の補充等のタイミングの調整等に適している。
【０１０６】
＜Ｄ．変形例＞
トレイの配置高さが固定されており、部品が平坦形状のものばかりであるような場合には、部品の２次元的な位置および姿勢を認識すれば、部品の高さの値は固定値にして部品の３次元位置・姿勢を特定できる。したがって、上記実施形態では第２撮像部としてステレオカメラを用いているが、２次元カメラを用いたシステムも構築可能である。
【０１０７】
また、上記実施形態では、撮像部を構成する各カメラはスチルカメラであるが、ムービーカメラであってもよい。
【産業上の利用可能性】
【０１０８】
作業ロボットによってオートメーション化されたライン生産システム、およびセル生産システム等に利用可能である。
【符号の説明】
【０１０９】
１ 作業エリア
２，２０ 作業ロボット
３，３０〜３５ 部品
４，４０〜４４ トレイ
５ 全体カメラ（第１撮像部）
６，６Ａ，６Ｂ ステレオカメラ（第２撮像部）
７，７Ａ，７Ｂ 腕部
８Ａ 第１認識手段
８Ｂ 第２認識手段
９ 対応記憶手段
１０ 撮像制御手段
１１ 組み立てエリア
１２ 撮像部
５０〜５２ 中間組立品
２００ 動作指令手段
３００ 操作入力手段
ＦＭ フレーム
Ｍ１，Ｍ２ マーカ
Ｈ ハンド部
ＷＳ 作業ロボットシステム
【技術分野】
【０００１】
本発明は作業システム、作業ロボット制御装置および作業プログラムに関し、特に複数のトレイに載置された部品を用いて作業動作する作業ロボット、およびその制御に関する。
【背景技術】
【０００２】
作業ロボットを用いて製品を生産するシステム（例えばライン生産やセル生産等。以降、作業システム）では、作業ロボットに対し適切に作業指示を与え、作業ロボットは当該作業指示に従って製品の生産を行う。
【０００３】
例えば特許文献１では、作業対象物の物体モデルと、それら作業対象物に対応する作業モデルとを予め記憶しておき、ロボットが画像認識した作業対象物を記憶した物体モデルと照合し、対応する作業モデルを選択してロボットに作業させている。
【０００４】
また、特許文献２では、作業対象物の認識に際し、予めマークを撮像し、作業対象物の３次元位置を修正および調整している。このようにして、作業対象物の３次元位置を把握しながら作業を行っている。
【０００５】
また、特許文献３のように、作業対象物の認識に際し、ランダムに積まれた作業対象物を一つずつ取り出して作業エリアに置き、その３次元位置・姿勢を認識することで画像解析を簡易にしているものもある。また、特許文献４のように、複数の作業ロボットにより作業を行う際に、作業信頼度に応じて作業ロボット間の作業計画を変更し、作業の効率化を図るものもある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−６８３４８号公報
【特許文献２】特開２０１０−６４１９８号公報
【特許文献３】特開平９−２３９６８２号公報
【特許文献４】特開平１０−４４０７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
作業システムにおける作業ロボットの動作には、例えばシステムが置かれた工場内の環境や生産される個別の製品に合わせて、作業対象の３次元位置等が適切に教示される必要があり、それに応じて動作が適切に制御される必要がある。
【０００８】
一方、製品の生産のために必要な部品の供給は、その部品が予め定められた３次元位置に配置され、その部品を載置する容器であるトレイ等も既定の配置位置に設置されて行われることが前提となり、部品の３次元位置・姿勢に関して作業ロボットに予め教示されていることで、作業ロボットは部品を把持し、それらを組み合わせること等の動作ができる。
【０００９】
供給された部品を組み合わせた後も、組み合わせて作成された中間組立品の置き場所等を予め作業ロボットに教示しておくことで、さらに部品を組み合わせて製品を生産できる。
【００１０】
このような作業システムでは、部品、それらを組み合わせた中間組立品の３次元位置・姿勢等が一定であることが必要とされており、例えば、工程中にそれらの３次元位置・姿勢等の変化が許容範囲を超えると作業対象物を把握できなくなり、システム全体が一時停止し人の手により復旧作業をしなければならない等の問題があった。部品を載置するトレイ等も、作業ロボットが認識できるように予め決められた配置位置への正確な位置決めが必要とされており、部品の補充等によりトレイ等の３次元位置・姿勢が変化した場合には、その度に正確な位置決めをしなおし、作業ロボットのティーチングを行う必要があった。
【００１１】
また、位置決めをせずに部品の３次元位置・姿勢を認識しようとする場合には、作業エリア全体を撮像してその中から部品を発見するとともに、その部品の３次元的な位置（３次元位置）および３次元位置・姿勢を画像処理によって認識することが必要である。それにあたって、認識精度を向上させるために、作業エリア全体にわたって空間的に高い分解能で撮像および画像処理を行うと、認識の完了までに長時間を要するという問題があった。
【００１２】
本発明は上記のような問題を解決するためになされたものであり、部品の３次元位置・姿勢が変更されても、効率的にその部品の３次元位置・姿勢を認識し作業動作ができる作業ロボットシステムおよびその関連技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
請求項１の発明である作業システムは、所定の作業エリア内に移動可能に配置された複数のトレイから作業対象となる部品を取り出し、前記部品を用いて所定の作業を行う作業システムであって、各トレイとそれに載置される各部品の種類との対応関係を示すトレイ対応データを記憶する対応記憶手段と、前記作業エリア内に存在する前記複数のトレイを、比較的広視野で集合的に撮像する第１撮像モードと、前記複数のトレイを比較的狭視野で個別的に撮像する第２撮像モードとを有する撮像部と、前記撮像部による前記第１撮影モードでの撮像結果に基づいて、比較的低い空間分解能の第１画像処理を行い、各トレイの識別とその配置位置の特定とを行う第１認識手段と、特定された各トレイの配置位置に応じて前記撮像部による撮像方向を変更しつつ、トレイごとに当該トレイに載置された部品を第２撮影モードで前記撮像部に撮像させる撮像制御手段と、前記トレイ対応データに基づいて各トレイ上の部品の種類を限定しつつ、前記第２撮像モードでの各部品の撮像結果に基づいて、比較的高い空間分解能の第２画像処理を行うことによって、各トレイ上の各部品の３次元位置・姿勢を認識する第２認識手段と、３次元位置・姿勢が特定された各トレイ上の各部品に所定の順序でアクセスし、各部品を用いて所定の作業を行う作業ロボットとを備えることを特徴とする。
【００１４】
請求項２の発明は、請求項１に記載の作業システムであって、前記所定の作業に実行中に割り込みを行って前記所定の作業を中断させ、各トレイ上の各部品の３次元位置・姿勢の認識を再度実行させてから前記所定の作業を再開する割り込み制御手段をさらに備えることを特徴とする。
【００１５】
請求項３の発明は、請求項１または２に記載の作業システムであって、前記撮像部は、前記作業ロボットに付設されていることを特徴とする。
【００１６】
請求項４の発明は、請求項１〜３のいずれかに記載の作業システムであって、前記撮像部は、前記第１撮像モードでの撮像を行う第１撮像部と、撮像位置および撮像方向が可変であって、前記第２撮像モードでの撮像を行う第２撮像部と備えることを特徴とする。
【００１７】
請求項５の発明は、請求項４に記載の作業システムであって、前記作業ロボットは、前記部品を保持するハンド部がその一端に連結された可動の腕部を備え、前記第２撮像部は、前記腕部に付設されることを特徴とする。
【００１８】
請求項６の発明は、請求項１〜５のいずれかに記載の作業システムであって、前記対応記憶手段は、前記部品ごとに予め設定された作業内容を指示する、作業データをさらに記憶し、前記作業ロボットは、特定された前記部品および前記作業データに基づいて、当該部品についての作業を実行することを特徴とする。
【００１９】
請求項７の発明は、請求項１〜６のいずれかに記載の作業システムであって、前記対応記憶手段は、前記部品ごとの３次元形状を示す、部品形状データをさらに記憶し、前記第２認識手段は、特定した前記部品および前記部品形状データに基づいて、当該部品の３次元位置・姿勢を認識することを特徴とする。
【００２０】
請求項８の発明は、請求項１〜７のいずれかに記載の作業システムであって、前記対応記憶手段は、前記トレイごとの３次元形状を示す、トレイ形状データをさらに記憶し、前記第１認識手段は、前記第１撮像モードで撮像した前記トレイの画像および前記トレイ形状データに基づいて、当該トレイの配置位置を認識することを特徴とする。
【００２１】
請求項９の発明は、請求項１〜８のいずれかに記載の作業システムであって、前記複数のトレイのうち少なくとも一部のトレイは、複数種の部品を載置可能であることを特徴とする。
【００２２】
また、請求項１０の発明である作業ロボット制御装置は、所定の作業エリア内に移動可能に配置された複数のトレイから作業対象となる部品を取り出し、前記部品を用いて所定の作業を行う作業ロボット制御装置であって、前記作業エリア内に存在する前記複数のトレイを、比較的広視野で集合的に撮像する第１撮像モードと、前記複数のトレイを比較的狭視野で個別的に撮像する第２撮像モードとを有する撮像部が前記作業ロボットに付随しており、前記制御装置が、各トレイとそれに載置される各部品の種類との対応関係を示すトレイ対応データを記憶する対応記憶手段と、前記撮像部による前記第１撮影モードでの撮像結果に基づいて、比較的低い空間分解能の第１画像処理を行い、各トレイの識別とその配置位置の特定とを行う第１認識手段と、特定された各トレイの配置位置に応じて前記撮像部による撮像方向を変更しつつ、トレイごとに当該トレイに載置された部品を第２撮影モードで前記撮像部に撮像させる撮像制御手段と、前記トレイ対応データに基づいて各トレイ上の部品の種類を限定しつつ、前記第２撮像モードでの各部品の撮像結果に基づいて、比較的高い空間分解能の第２画像処理を行うことによって、各トレイ上の各部品の３次元位置・姿勢を認識する第２認識手段と、３次元位置・姿勢が特定された各トレイ上の部品を取り出して所定の作業を行う動作指令を作業ロボットに与える動作指令手段とを備えることを特徴とする。
【００２３】
また、請求項１１の発明は、請求項１０の発明に対応するプログラム発明である。
【発明の効果】
【００２４】
請求項１〜１１の発明によれば、複数のトレイの識別およびその配置位置を認識し、さらにトレイとトレイに載置される部品との対応関係を参照することにより、複数のトレイが移動し載置される部品の３次元位置・姿勢が変化する場合であっても、認識したトレイの配置位置に基づいて載置された部品を効率的に把握することで、部品の３次元位置・姿勢を認識し、作業ロボットにより部品を用いた作業動作を行うことができる。
【００２５】
そして、トレイを集合的に撮像して各トレイの認識を行う第１画像処理では広視野かつ低空間分解能とされ、トレイを個別的に撮像してその中の部品の認識を行う第２画像処理では狭視野かつ高空間分解能としているため、過剰なデータ処理が不要となる。広視野かつ高空間分解能で１段階画像処理を行う場合と比較して、この発明の２段階処理ではデータ量が少なくなるために処理時間が短縮され、効率が高い。
【００２６】
特に請求項２の発明によれば、トレイまたはトレイ上の部品の状況が変化したときに割り込み処理によって部品の位置の再認識を行うため、トレイや部品の搬入・搬出のほか、不慮の位置ずれなどが生じたときにも、古い位置データを使用して誤った作業を続行することを防止することが可能となる。
【００２７】
特に請求項４、５の発明によれば、トレイを撮像する第１撮像部と部品を撮像する第２撮像部とを備え、第２撮像部は作業ロボットの腕部に備えられることにより、撮像対象の役割分担ができ、また第２撮像部は腕部の動作に従って移動することができるので、部品を効率的に撮像できる。
【００２８】
特に請求項９の発明によれば、１つのトレイに複数種の部品を載置することにより、例えば工程段階ごとに部品をトレイに割り当て、工程の進行状況が視覚的に確認することが可能となるので、部品の補充等のタイミングの調整等に適している。
【図面の簡単な説明】
【００２９】
【図１】第１実施形態にかかる作業ロボットを備える作業システムを示す概念的な平面図である。
【図２】第１実施形態にかかる作業ロボットの第１の具体例を示す図である。
【図３】第１実施形態にかかる作業ロボットの第２の具体例を示す図である。
【図４】第１実施形態にかかる作業システムの機能ブロック図である。
【図５】第１実施形態にかかる作業システムの動作を示す図である。
【図６】第１実施形態にかかる作業システムの動作を示す図である。
【図７】第１実施形態にかかる作業システムの動作を示す図である。
【図８】第１実施形態にかかる作業システムの動作を示す図である。
【図９】第１実施形態にかかる作業システムの動作を示す図である。
【図１０】第１実施形態にかかる作業システムの動作を示す図である。
【図１１】第１実施形態にかかる作業システムの動作を示す図である。
【図１２】第１実施形態にかかる作業システムの動作を示す図である。
【図１３】トレイ識別データＴＩとトレイ対応データＴＣとの例を示す図である。
【図１４】トレイの識別マーカの例を示す図である。
【図１５】第１実施形態の基本動作を示すフローチャートである。
【図１６】第１実施形態の割り込み動作を示すフローチャートである。
【発明を実施するための形態】
【００３０】
＜Ａ．システム構成＞
図１は、本発明の第１実施形態にかかる作業システムＷＳの構成を概念的に示す平面図である。図１に示すように作業システムＷＳは、作業エリア１内に、移動可能に分布して水平配置された複数のトレイ４と、作業エリア１内において作業動作を行う作業ロボット２とを備える。また複数のトレイ４には、部品組み立ての作業動作に用いられる複数の部品３が所定の規則で各トレイ４に振り分けて載置されている。
【００３１】
複数のトレイ４は、たとえば、後述する図２にも示されているように、部品３が載置される天板部分が複数の脚部によって支持されるとともに、トレイ４が床面上を移動可能となるように各脚部の下端に車輪等を備えたものであってもよい。後述するように、各トレイ４上とその上に載置される部品３との対応関係はあらかじめ定められているが、各トレイ４上における各部品３の位置や姿勢については任意である。すなわち、いわゆる「ばら状態」で部品３がトレイ４上に載置されるものであり、部品３をトレイ４上に高精度で位置決めされる必要はない。また、複数のトレイ４の配置も図１の場合に限られず、様々な配置のバリエーションが可能である。さらに、トレイ４に載置された部品３は、作業ロボット２による作業動作の進行によって適宜に外部から補充等が可能である。
【００３２】
図１では、それぞれのトレイ４に載置される部品３は単一種となっているが、数種の部品がひとつのトレイ４に混在している場合があってもよい。また、トレイの総数も固定ではなく、作業内容に応じて可変である。
【００３３】
作業ロボット２は、トレイ４に載置されている部品３を用いて作業動作する。例えば複数の部品３をそれぞれトレイ４から取り出し、互いを組み合わせて製品またはその中間組立品を生成し、生成した組立体を作業エリア１内の所定の場所に載置する。載置する場所は専用の場所であってもよく、空のトレイ４や、その時点で載置されている部品３が少ないトレイの空き部分であってもよい。
【００３４】
図１においては、作業ロボット２が組み立て作業を行う組み立てエリア１１として所定のテーブルが備えられている。この組み立てエリア１１は、たとえば第１部品をその上に載置して作業ロボット２の一方のハンド部Ｈ（図２、図３参照）で把持して固定し、他方のハンド部Ｈで第２部品を第１部品に組み付けるような用途として使用される。第１部品を載置せずに作業ロボット２の両ハンド部Ｈ上（つまり空中）での組み立てが可能な作業の場合には、当該組み立てエリア１１は特に備えられていなくともよい。また、組み立てエリア１１が備えられない場合には、後述する全体認識作業によって作業エリア１内において空いているスペースを見出し、そこで作業動作をするようにしてもよい。
【００３５】
組み立てエリア１１としてテーブル等を用いる場合には、組み立て作業がしやすいように、組み立てエリア１１にて部品３の姿勢を適宜変更することも可能である。
【００３６】
図２は、本発明の第１実施形態にかかる作業ロボット２を示す図である。図１においては当該作業ロボット２を上面から見ていることになる。
【００３７】
図２に示すように作業ロボット２は、撮像部として全体カメラ５とステレオカメラ６（６Ａ、６Ｂ）とを備えており、これら全体カメラ５、ステレオカメラ６はデジタルカメラであって、画素ごとの画像情報をデジタル信号列として出力する。
【００３８】
図２においては例として、全体カメラ５は作業ロボット２の頭部に付設され、ステレオカメラ６（６Ａ、６Ｂ）は作業ロボット２の２つの腕部７（７Ａ、７Ｂ）にそれぞれ付設されている。全体カメラ５が付設されたロボット頭部は首部を介して作業ロボット２の筐体（基台）と可動に連結されており、首部の水平旋回と鉛直方向への伸縮とによって、全体カメラ５の視野方向（撮像方向）を変化させることができる。ステレオカメラ６の付設位置は、作業ロボット２の腕部７に限られるものではなく、ハンド部Ｈに付設してもよい。ステレオカメラ６がハンド部Ｈの指の構造に対して十分小さい場合は、ハンド部Ｈの指に付設してもよい。ハンド部Ｈに付設する場合、ハンド部Ｈに例えば人間の手の甲に相当する部位があれば、その部位に付設すればよい。このようにすることで、ステレオカメラ６をより撮像対象物に近接させることができるという効果がある。
【００３９】
一対のステレオカメラ６Ａ、６Ｂのそれぞれは撮像位置および視野方向（撮像方向）を個別に変化させることが可能であるが、それは、各ステレオカメラ６Ａ、６Ｂが固定されている腕部７Ａ、７Ｂの動きに伴って生じる動きである。各ステレオカメラ６Ａ、６Ｂからの画像を取得することで、撮影対象物の３次元位置情報を得ることができる。作業エリア１内の任意の部分を撮像可能であれば、ステレオカメラ６は１台でもよい。
【００４０】
第１撮像部としての全体カメラ５は、広い視野を確保し、作業エリア１内の複数のトレイ４の配置位置を認識するための広視野（広画角）カメラである。第２撮像部としてのステレオカメラ６は、全体カメラ５より視野は狭いが、作業ロボット２に備えられた腕部７の稼働に合わせて移動し、トレイ４に載置された部品３の３次元位置・姿勢を認識するための狭視野（狭画角）カメラである。ここで３次元位置・姿勢とは、対象体の空間位置および空間姿勢の少なくとも一方（典型的には双方）を含む座標値の組として定義されるものである。全体カメラ５の視野がステレオカメラ６の視野よりも広いという条件を、以下では「視野条件」と呼ぶ。
【００４１】
全体カメラ５およびステレオカメラ６のそれぞれの撮像画素数は、同じであってもよく、互いに異なっていてもよい。ただし、全体カメラ５は作業エリア１を比較的広視野で撮像した際の撮像結果（広視野画像）と、ステレオカメラ６によってそれぞれのトレイ４を比較的狭視野で撮像した際の撮像結果（狭視野画像）との間で比較したときには、全体カメラ５の空間分解能よりもステレオカメラ６の空間分解能の方が高くなる（より小さな距離を区別できる）ように、それぞれのカメラでの撮像素子数と光学系とが決定されている。このような「広視野画像の空間分解能を、狭視野画像の空間分解能よりも小さくする」という条件を、以下では「空間分解能条件」と呼ぶが、ここにおける「空間分解能」とは、撮像された画像中の１画素に対応する実空間での距離の大小を示し、「空間分解能が高い」とは、実空間での短い距離が画素配列上で区別可能であるという意味で定義する。
【００４２】
たとえば、撮像された画像での１画素が実空間での３ｍｍに相当する場合と、１画素が実空間での１ｍｍに相当する場合とでは、後者の方が空間分解能が高い。
【００４３】
全体カメラ５およびステレオカメラ６のそれぞれの撮像素子数が同じ場合でも、全体カメラ５は比較的遠距離から対象物を撮像するからその空間分解能は低くなり、ステレオカメラ６は比較的近距離から対象物を撮像するからその空間分解能は高くなるため、空間分解能条件を満たす。カメラのそれぞれの撮像画素数が同じであってもよいのは、そのような理由による。また、全体カメラ５の撮像画素数よりもステレオカメラ６の撮像画素数を多くすれば、撮像対象物の遠近の違いによって、上記のような空間分解能条件は自動的に満たされる。
【００４４】
さらに、全体カメラ５での撮像そのものは画素数が多い撮像素子を用いて行い、後の画像認識の段階で画素間引きなどを行うことによって演算対象となる画素数を制限すれば、実質的に「低い空間分解能」での処理を行ったことと等価となり、画像認識に要する時間も、全体を通して高い空間分解能で処理を行った場合よりも短くなる。したがって、空間分解能条件は、撮像後における対象物の認識の段階で達成されていればよく、必ずしも最初の撮像段階から満足されていなくてもよいことになる。
【００４５】
全体カメラ５はトレイ４の識別と配置位置の認識に使用され、ステレオカメラ６は各トレイ４内での部品３の３次元位置・姿勢の認識に使用される。
【００４６】
このうち、全体カメラ５を用いた画像認識は一度に広い範囲を撮像することが必要であるから「広視野」とされるが、トレイサイズでの認識ができれば十分であるために低い空間分解能とされる。
【００４７】
他方、ステレオカメラ６を用いた画像認識は各トレイ４内での部品３の認識を行うためには高い空間分解能で行う必要はあるが、各時点ではひとつのトレイ４が視野（画角）内に入れば十分であるため、狭視野にとどめる。
【００４８】
このように、全体カメラ５とステレオカメラ６とでそれぞれの役割を分担させることにより、画像認識全体に要する全体時間を削減し、作業効率を向上させることができる。
【００４９】
比較例として、広視野かつ高空間分解能の１つのステレオカメラを用いて、作業エリア１の全体を一括して撮像し、その撮像結果を用いてトレイ４の認識だけでなく各トレイ４内の部品３の認識までも行う場合を考える。この場合には、作業エリア１のうちトレイ４が配置されていないスペースまでも高い空間分解能で撮像して画像処理を行うことになるため、それぞれの演算量は大きくなり、処理時間も長時間となる。これに対して本実施形態のシステムＷＳでは、細かな画像処理を必要としないエリアについては画像処理を簡素化しているため、画像認識の精度を落とすことなく、演算量や処理時間を削減可能である。
【００５０】
もっとも、これら２つの段階の撮像および画像認識の機能を、作業ロボット２のいずれかの部分に備えられた１つのカメラ（図示せず）で賄うことも可能である。すなわち、全体カメラ５での撮像結果の解析結果によって特定された各トレイ４の方向にステレオカメラ６の撮影方向を順次に変化させて各トレイ４上の部品の画像認識を行うから、このプロセス中には、全体カメラ５とステレオカメラ６とで同時に撮像を行うことを必要としない。したがって、１台の多焦点カメラないしはズームカメラを用いて、全体撮像の段階では広視野撮像を行い、各トレイ４の個別撮像の段階では狭視野撮影を行えば、実質的に全体カメラ５とステレオカメラ６とを用いて、視野条件と空間分解能条件との双方を満足させることができる。ただし、その場合には、ステレオカメラ６の機能で視野を移動させること必要となることに対応して、当該１台の共用カメラは、その撮像方向が変更できるように、それ自身に可動機構を設けるか、あるいは図２と同様に作業ロボットの可動部分に付設しておく。
【００５１】
また、図２において腕部７（７Ａ、７Ｂ）は双腕であり、左右の腕部７Ａ、７Ｂを連動させて部品３を組み合わせる作業ロボット２を示しているが、一方の部品３を固定する等の冶具を準備することにより、片腕の腕部で動作する作業ロボットであってもよい。また、腕部が２本を超える本数であってもよいし、その形状も図に示すものに限られない。
【００５２】
また図３に示すように、全体カメラ５を作業ロボット２０には備えず、作業エリア１全体を撮像できるように作業システムＷＳ内の他の箇所に備えられる場合であってもよい。例えば、作業システムＷＳ上部に設置されたレール上を、当該カメラが移動できるようにしてもよい。図３においては全体カメラ５のみが作業ロボット２０から分離しているが、第２撮像部としてのステレオカメラ６がそのように備えられていてもよい。なお、図３においては、図２に示すような組み立てエリアは備えられていないが、備えていてもよい。
【００５３】
図４は、本発明の実施形態にかかる作業システムＷＳの機能ブロック図であり、ハードウエア要素の関係とともに描かれている。
【００５４】
図４に示すようにこの作業システムＷＳは、作業ロボット２と撮像部１２とに通信可能に接続された制御コンピュータＣＯＭを備える。撮像部１２は第１撮像部（全体カメラ５）および第２撮像部（ステレオカメラ６）の組み合わせに相当する。作業ロボット２はたとえば多関節ロボットであり、図２および図３で例示したように、複数の可動の腕部（アーム）が連設され、その先端にはワーク（作業対象物）を把持し、あるいはワークの組み付けなどの諸作業に適したハンド部Ｈが設けられる。ハンド部Ｈはまた、ネジ締めツールなどのエンドエフェクタ（ロボットの作業ツール）を備えていてもよい。
【００５５】
制御コンピュータＣＯＭは、ＣＰＵおよび記憶装置を備えており、この記憶装置にあらかじめ記憶されてインストールされたプログラムを制御コンピュータＣＯＭが実行することにより、各機能手段としての第１認識手段８Ａ（トレイ認識）、第２認識手段８Ｂ（部品認識）、対応記憶手段９、撮像制御手段１０、動作指令手段２００を制御コンピュータＣＯＭのハ−ドウエア資源とソフトウェアとで実現可能である。
【００５６】
全体カメラ５は、作業エリア１内に移動可能に配置された複数個のトレイ４を一括して撮像する第１撮像モードで使用される。第１認識手段８Ａは、全体カメラ５による第１撮影モードでのその撮像結果に基づいて第１画像処理を行い、各トレイ４の識別とその配置位置の特定とを行う。
【００５７】
制御コンピュータＣＯＭの記憶装置には、図１３に例示するように、各トレイ４を相互に識別するためのトレイ識別データＴＩと、各トレイ４とそれに載置される各部品３の種類との対応関係を示すトレイ対応データＴＣとがあらかじめ記憶されている。ただし、図１３の例では、これらは、統合されたひとつのテーブルとして作成されている。
【００５８】
これらのうち、トレイ識別データＴＩは、各トレイ４のトレイ番号とそのトレイの幾何学的な形状データ（トレイ形状データ）とを対応させて登録したデータである。またトレイ対応データＴＣは、どのトレイ４にどの部品３の種類が載置されるかの対応を示すデータであって、トレイ番号と、そのトレイに載置されることが予定されている各部品の部品番号、およびそれらの部品ごとの幾何学的な形状データ（部品形状データ）が相互に対応させて登録されている。トレイ形状データ、部品形状データは、例えば各点が３次元位置情報を持つ点群データ（モデル点群）である。
【００５９】
各トレイ４の形状は同一ではなく、外観的に相互に識別可能な特徴を持たせて形成されている。ただし、ここにおける「形状」とは幾何学的に相似な形状も別形状として扱う。したがって、各トレイ４の特徴点、たとえば撮像されたトレイ４の各頂点を示す点群のそれぞれの位置と、あらかじめ登録されているモデル点群の位置とを比較することにより、トレイ４の識別と位置の特定とが可能である。また、たとえば、図１４のように、トレイ４ごとに異なる形状マーカＭ１、Ｍ２、…をトレイ４のフレームＦＭの頂部に付しておくことにより、それらのマーカＭ１、Ｍ２等の違いによっても各トレイ４の相互識別が可能である。なお、図１４に示すトレイ４のフレームＦＭには、２次元的な配置方向の識別のために、カット部が非対称に形成されている。
【００６０】
それ以外に、トレイ４ごとに異なる色を付し、あるいはトレイ４ごとに異なるコードのバーコードなどを所定の位置に付すことなどによっても、トレイの相互識別が可能である。図１３のテーブルにおけるトレイ形状データは、そのようなトレイの外観的特徴の情報を含むデータである。
【００６１】
このトレイ識別データＴＩは、第１認識手段８Ａの機能の一部をなす。したがって、全体カメラ５によって作業エリア１内の各トレイ４を一括に撮像し、あるいは作業エリア１をいくつかのサブエリアに分けた広視野で撮像して得た情報に基づいて、第１認識手段８Ａがトレイ識別データＴＩを参照することにより、各トレイ４の相互識別と配置位置特定とが可能となる。
【００６２】
撮像制御手段１０は、撮像部１２および作業ロボット２に制御信号を与えて、第１認識手段８Ａが特定した各トレイ４の配置位置に応じてステレオカメラ６による撮像方向を変更しつつ、トレイ４ごとに、当該トレイ４に載置された部品３を第２撮影モードでステレオカメラ６に撮像させるという制御を行う。
【００６３】
第２認識手段８Ｂは、その時点で撮像しているトレイ４のトレイ番号をキーとしてトレイ対応データＴＣを検索し、当該トレイ４に対応する部品３の種類（部品番号）やそれらの部品３についての部品形状データを参照する。そして、それに基づいて、撮像しているトレイ４上の各部品３がどの部品であるかという部品の種類の特定を行うとともに、各部品３の３次元位置・姿勢をステレオ法等を利用して特定する。部品３に固有の色を付している場合には、部品形状データにはそのような色情報を含んでいてもよい。
【００６４】
トレイ対応データＴＣの各トレイ４のレコードには、そのトレイ４に載置される予定範囲の部品３だけが列挙されているから、第１認識手段８Ａによってトレイ４を識別しておくことにより、ステレオカメラ６で撮像している当該トレイ４上の部品３の種類が限定されることになる。すなわち、たとえば部品３として１０種類が存在する場合を考え、第１トレイにはその４種類の部品のうちの１種あるいは複数種が載置されると予定されているときには、トレイ対応データＴＣの第１トレイのレコードにはその４種類の部品３についてのデータのみ登録されている。したがって、第２認識手段８Ｂが各部品３の識別を行うに際しては、撮像によって得た画像と、当該４種類の部品３の形状とのマッチングを行えば足りることになり、１０種類すべての部品３の形状とのマッチングを行うような比較例の場合よりも、処理速度は向上する。
【００６５】
第２認識手段８Ｂでのこのような画像処理（第２画像処理）は、第１認識手段８Ａでの画像処理（第１画像処理）よりも高い空間分解能で行う。それによって各部品３の識別と３次元位置・姿勢の決定とが高精度で行われるが、上記のようにマッチングすべき部品３の種類がトレイ４ごとに限定されるため、そのような高精度での画像処理を用いつつも、全体としての処理時間の増大を防止可能である。
【００６６】
第２認識手段８Ｂによって各トレイ４の各部品３の識別と３次元位置・姿勢との特定が完了すると、あらかじめ制御コンピュータＣＯＭの記憶装置に記憶されている作業ルーチンのプログラムに従って、動作指令手段２００は作業ロボット２に動作指令を与える。そこでは、作業ロボット２が各トレイ４上の各部品３に所定の順序でアクセスし、各部品３を所要の順序で順次にトレイ４から取り出して部品組み立てなどの所定の作業を行う。そのような動作の際に、第２認識手段８Ｂが得た各トレイ４の各部品３の配置情報が用いられる。
【００６７】
この作業ルーチンにおいては、作業データも参照される。作業データは、どの部品３にどのような作業動作が予め設定されているかの対応を示すデータであって、制御コンピュータＣＯＭの対応記憶手段９にあらかじめ記憶されている。１つの部品３に設定できる作業動作は複数あってもよく、その場合には、作業ロボット２がどの作業動作を選択すべきかの選択もできるようになっている。対応づけられる作業動作内容としては、例えば、組み合わせる部品３、作業動作時の姿勢、組み合わせるために搬送する場所、組み合わせにより生成された中間組立品を搬送する場所等がある。
【００６８】
いくつかの部品３を組み立てた後の中間組立品をいずれかのトレイ４に一時的に載置する場合にも、第２認識手段８Ｂの認識結果が利用される。すなわち、第２認識手段８Ｂがトレイ４中の部品３の３次元位置・姿勢を認識することにより、当該トレイ４上の空スペースがどの位置にあるかという情報も付随的に得ることができる。この空スペース情報をトレイ４ごとに記憶しておき、中間組立品の載置が必要になった段階でその空スペース情報を参照することにより、中間組立品の載置場所として、いずれかのトレイ４の空スペースを利用できる。また部品３が全く載置されていない空トレイを認識してそのトレイ４の位置を記憶させておくことにより、そのような空トレイも中間組立品の載置場所として利用できる。
【００６９】
図４に示す操作入力手段３００は、制御コンピュータＣＯＭに付随して設けられており、オペレータによる制御コンピュータＣＯＭへのデータ入力や操作指示入力などに使用される。
【００７０】
＜Ｂ．動作＞
＜Ｂ−１．基本動作＞
次に、本実施形態にかかる作業システムの動作について説明する。図５〜８は、作業システムの一例の上面図であり、図５〜８に示すように、作業エリア１内に、トレイ４０、４１、４２、４３、組み立てエリア１１、腕部７（７Ａ、７Ｂ）を有する作業ロボット２がそれぞれ配置されている。トレイ４０、４１、４２には、部品３０、３１、３２がそれぞれ載置されている。
【００７１】
図１５はこの作業ロボットシステムＷＳの動作を示すフローチャートであり、このうち第１ルーチンＲ１は各トレイや部品の配置状況を認識するための準備ルーチンであり、第２ルーチンＲ２はそのような認識結果に基づいて作業ロボット２に作業させる実可動ルーチンである。
【００７２】
まず第１撮像モードが起動され、図５に示すように、作業ロボット２に付設した全体カメラ５（図２、３参照）によって作業エリア１の全体に分布するトレイ４０〜４３を広視野で撮像し（図１５：ステップＳ１）、第１認識手段８Ａ（図４参照）がトレイ識別データＴＩ（図１３）を参照しつつ、それぞれのトレイ４０〜４３の識別を行うとともに各トレイ４０〜４３の配置位置を認識する（ステップＳ２）。ここにおいてはさらに、トレイ４０〜４３の３次元姿勢も認識してもよい。また、床面からの各トレイ４０〜４３の高さはあらかじめ規定されていることが通例であるため、その高さでの各トレイ４０〜４３の２次元位置（または２次元位置・姿勢）の認識であってもよい。
【００７３】
また、全体カメラ５によって作業エリア１のトレイ４０〜４３の全部を一度に撮像できないときには、作業エリア１を概念的に複数のサブエリアに分割し、各サブエリアごとにその中に存在するトレイ集団ごとに撮像してもよい。すなわち、このステップＳ１では、後記の第２撮像モードと比較して、作業エリア１が広視野で集合的に撮像されることになる。
【００７４】
既述したように、トレイ４０〜４３は、トレイの形状に違いを設けたり、異なる色をつけたりすることで識別でき、当該識別は２次元画像解析等で簡易に行うこともできる。また、トレイ４０〜４３の配置位置についても、制御コンピュータＣＯＭの記憶装置に記憶されたモデル点群（トレイ識別データＴＩ中のトレイ形状データ）を用いてマッチングすることも可能であるが、２次元画像解析等から、モデル点群との比較を行わずにトレイ４０〜４３が置かれた領域が特定できる程度の精度で簡易に認識することもできる。
【００７５】
次に、トレイ４０〜４３のうちの一部を選択する（ステップＳ３）。選択するトレイはひとつずつでもよく、空間的に隣接する少数個のトレイであってもよい。ここでは、認識した各トレイの大きさおよび配置位置とステレオカメラ６の視野とを比較し、ステレオカメラ６の視野内にひとつのトレイのみが入るときにはひとつずつトレイを選択するが、視野内に複数のトレイを納めることができる場合には、複数のトレイを選択することもできる。トレイ４０〜４３の選択順序としては、たとえば作業ロボット２の中心鉛直軸まわりに時計まわりとするような規則を定めておくことができる。ここでは２つのトレイ４０、４１が選択されたと仮定する。
【００７６】
一般に、第１撮像部（第１撮像モード）による撮像が「集合的」であるのに対して、第２撮像部（第２撮像モード）による撮像が「個別的」とされるが、これらは、１回の撮像で取得するトレイの数が相対的に多い方を「集合的（な撮像）」、相対的に少ない方を「個別的（な撮像）」と定義することができる。
【００７７】
図６に示すように、認識したトレイ４０、４１の配置位置に基づいて、撮像制御手段１０（図４参照）の制御により、腕部７のうち一方の腕部７Ａをトレイ４０の上方に移動させることによって撮像方向を変更し、当該腕部７Ａに備えられた１つのステレオカメラ６Ａによって、トレイ４０に載置された部品３０をトレイ４０とともに撮像する。必要ならば、作業ロボット２自体もトレイ４０側へ並進移動するように制御する。腕部７Ｂについても同様に、トレイ４１の上方に移動させることによって撮像方向を変更し、腕部７Ｂに備えられたステレオカメラ６Ｂによって、トレイ４１に載置された部品３１をトレイ４１とともに撮像する。トレイ４０、４１の配置位置を予め特定しているため、視野が狭いステレオカメラ６Ａ、６Ｂでも効率的に部品３０、３１が存在する領域をとらえるように制御し、効率的に部品３０、３１を撮像することができる。
【００７８】
一方で、第２認識手段８Ｂにおいて、トレイ４０、４１とそれぞれに載置される部品３０、３１との対応関係を、トレイ対応データＴＣを参照して把握する。たとえば、トレイ４０に載置されるのは部品３０であり、トレイ４１には２種類の部品３１、３２のいずれかが載置されるという対応関係が、トレイ対応データＴＣに登録されていると仮定する。この場合、トレイ４０上の部品の画像が部品３０についての部品形状データと照合されて当該画像が部品３０であると認識されるとともに、トレイ４０上の部品３０の３次元位置・姿勢が認識される。また、トレイ４１上の部品の画像が部品３１、３２のそれぞれの部品形状データと照合されて、当該画像が部品３１であると認識されるとともに、トレイ４１上の部品３１の３次元位置・姿勢が認識される。このようにして認識された結果は、制御コンピュータＣＯＭの記憶装置に記憶される。以上の工程が図１５のステップＳ５に相当する。
【００７９】
次のステップＳ６では、まだ認識していないトレイが残っているか否かがチェックされ、残っているときにはステップＳ３に戻って新たなトレイを選択する。図示例では、トレイ４２、４３が選択され、前回と同様にステップＳ４およびＳ５を実行する。トレイ４３には部品は載置されていないため、トレイ４３は空であることが認識されて、その旨が記憶される。
【００８０】
トレイのすべての撮像と部品の認識が完了するまで以上のステップＳ３〜Ｓ６を繰り返し、すべてのトレイについての部品の撮像と認識が完了すると、ステップＳ７へ移行する。
【００８１】
ステップＳ７では、制御コンピュータＣＯＭの記憶装置に記憶されている作業ルーチンのプログラム（作業データ）中の部品変数に、各トレイ４０〜４２に載置された部品３０〜３２の種類と３次元位置・姿勢との情報を代入し、作業ルーチンのプログラムを具体化する。
【００８２】
トレイに載置された特定種の部品につき、その種類の部品を作業対象とする動作が作業ルーチンのプログラム上に設定されていない場合には、その部品の扱いをスキップし、他のトレイに対応する部品についてのみ作業動作との対応関係を認識する。このようにすることで、行おうとする作業動作に関係のない部品が作業エリア１に配置されている場合でも、滞りなく作業動作を進行させることができる。
【００８３】
図５では、トレイ４０の部品３０とトレイ４１の部品３１とが互いに組み合わせられる作業動作と、それによって生成される中間組立品をトレイ４３に搬送する作業動作とが設定されていた場合であるとする（使用されるトレイを太枠で示す）。部品３２には異なる作業動作が設定されている、または作業動作が設定されていないとして、扱いをスキップする。
【００８４】
以上の第１ルーチンＲ１（準備ルーチン）が完了すると、第２ルーチンＲ２（実可動ルーチン）に移行する。
【００８５】
第２ルーチンＲ２では、具体化された作業ルーチンのプログラムの実行が開始され、動作指令手段２００が作業ロボット２に駆動指令信号を与えることにより、当該プログラムで規定された順序で作業ロボット２が部品３０、３１にアクセスして、それらを順次に腕部７の把持機構（ハンド部Ｈ）を用いて把持して、トレイ４０、４１から取り出す。それにあたっては、既に認識された部品３０、３１の３次元位置・姿勢の情報を利用する。そして、作業ルーチンのプログラムで指定された作業動作内容に従って、組み立てエリア１１に部品３０、３１を搬送するよう作業ロボット２を制御する（図６参照）。
【００８６】
次に図７に示すように、組み立てエリア１１に必要な部品３０、３１を組み立てエリア１１に搬送したら、組み合わせのために部品３０、３１の姿勢を適宜変更し、組み合わせた中間組立品５０を生成する。次に図８に示すように、特定された作業動作内容に従って、中間組立品５０をトレイ４３に搬送する。
【００８７】
部品としては、例えばネジ、ナット等も含めた様々な大きさのものが考えられ、中間組立品として生成される様々なパーツを組み合わせることによって、複雑な工程を持つ工業製品を生成することが可能となる。
【００８８】
以上のうち、トレイ４０〜４３の認識動作（ステップＳ２）については、部品３０〜３２の補充等のためにトレイ４０〜４３の配置位置を変更する場合にのみ行えばよいが、本実施形態にかかる作業システムＷＳにおいてはトレイ４０〜４３を固定しないので、作業動作途中にトレイ４０〜４３の配置位置が変わってしまうことも考えられる。よって、そのような場合には部品３０〜３２の補充等がなくとも、作業動作ごとにトレイ４０〜４３の配置位置を認識しなおしてもよい。また、トレイ４０〜４３の配置位置が変更されたことを検出可能なセンサ（図示せず）を設けておくことによって、作業動作段階に関係なく、トレイ４０〜４３の配置位置が変更された時点で、トレイ４０〜４３の配置位置を認識しなおすことも可能である。作業中の衝撃などによって部品位置がずれるような場合にも、衝撃センサーを設けておいてそれを検知することによって、トレイや部品の認識をやりなおすこともできる。
【００８９】
また、トレイ内の部品が搬送され尽くした場合に、部品を補充する必要があることを報知する報知装置等（図示せず）を備えることにより、作業動作を滞りなく進行させることができる。
【００９０】
図１６は、これらの事情に対応して、作業ロボット２による組み立て作業の繰り返し中に生じる割り込み動作を示すフローチャートであり、この割り込みルーチンもまた、制御コンピュータＣＯＭにインストールされている。
【００９１】
ステップＳ１１は図１５の第２ルーチンＲ２に相当するが、その実行中に
・トレイの移動、搬入または搬出；
・部品の搬入（補充）；
・上記中間組立品などのような、作業ロボット２の作業成果物である組立品の搬出；
などが発生したときには、その事情の発生の検知に応答して、組み立て作業が割り込み停止される（ステップＳ１２、Ｓ１３）。この発生検知は、上記のようなセンサーによる自動検知であってもよく、図４の操作入力手段３００を用いてオペレータがボタンなどを操作することによって、制御コンピュータＣＯＭに旨を報知するものであってもよい。
【００９２】
このような割り込みが入ると、図１５における第１ルーチンＲ１（準備ルーチン）に相当するルーチンが再度実行され、その結果に基づいてロボット作業プログラムの再度の具体化（更新）が行われる（ステップＳ１４）。そして、ステップＳ１５で割り込み処理が解除され、作業ロボット２による作業プログラムが再開される。
【００９３】
＜Ｂ−２．部品の割り当て方法：第１の形式＞
トレイに載置される部品の具体的な割り当て方法として、同一種の部品ごとに分けてトレイに割り当てる方法がある。すなわち図５〜８に示す方法と同様の方法である。
【００９４】
この方法の場合は、トレイ４０に部品３０、トレイ４１に部品３１、トレイ４２に部品３２というように、各トレイに例えば１種類の部品が割り当てられる。
【００９５】
トレイを識別できれば対応する部品を特定できるので、部品の３次元位置・姿勢を認識する際にマッチングを行う形状データ等を特定することができる。よって形状データ等の選択が不要となり、マッチング効率を向上させ全体の作業効率を向上させることができる。トレイに割り当てられる部品が数種類ある場合でも、その数種類の部品の形状データ等のうちから適切なものを選択すればよいので、やはりマッチング効率を向上させることができ全体の作業効率を向上させることが可能となる。
【００９６】
また、作業動作に用いられ部品がなくなったトレイには、同一または異なる部品を適宜補充し再利用することで、作業エリアを効率的に利用して作業動作を進めることができる。
【００９７】
＜Ｂ−３．部品の割り当て方法：第２の形式＞
また、トレイに載置される部品の具体的な割り当て方法として、同一工程段階で用いられる部品ごとに分けてトレイに割り当てる方法がある。
【００９８】
この方法の場合は図９に示すように、まずトレイ４４に部品３０、３１、３３〜３５が全て割り当てられる。そして、トレイ４１、４２はそれぞれ、以降の各工程段階で生成される中間組立品を収納するために割り当てられる。ここでは例として、第２工程段階をトレイ４１に、第３工程段階をトレイ４２にそれぞれ割り当てる。
【００９９】
最初の工程段階として、部品３０と部品３１、部品３３と部品３４をそれぞれ組み立てエリア１１に搬送し、それぞれを互いに組み合わせ、生成される中間組立品５０、５１をトレイ４１へ搬送する。
【０１００】
次に図１０、１１に示すように、第２工程段階として、中間組立品５０、５１、部品３５を組み立てエリア１１に搬送し、組み合わせて中間組立品５２を生成する。そして、図１２に示すように、中間組立品５２をトレイ４２へ搬送する。
【０１０１】
このように各工程段階で用いられる部品ごとにトレイを割り当てることで、各トレイの部品の載置の有無により工程の進行度合いが視覚的に確認でき、作業システムが適切に動作しているか、部品補充のタイミングが適当かどうか等を判断できる。
【０１０２】
＜Ｃ．効果＞
以上のように、本発明の実施形態によれば、複数のトレイ４０、４１、４２、４３の識別およびその配置位置を認識し、さらにトレイ４０、４１、４２、４３とトレイに載置される部品３０、３１、３２との対応関係を参照することにより、複数のトレイ４０、４１、４２、４３が移動し載置される部品３０、３１、３２の３次元位置・姿勢が変化する場合であっても、認識したトレイ４０、４１、４２、４３の配置位置に基づいて載置された部品３０、３１、３２を効率的に把握することで、部品３０、３１、３２の３次元位置・姿勢を認識し、作業ロボット２により部品３０、３１、３２を用いた作業動作を行うことができる。
【０１０３】
また、トレイ４を撮像する第１撮像部としての全体カメラ５と部品３を撮像する第２撮像部としてのステレオカメラ６とを備え、ステレオカメラ６は作業ロボット２の腕部７に備えられることにより、撮像対象の役割分担ができ、またステレオカメラ６は腕部７の動作に従って移動することができるので、部品３を効率的に撮像できる。
【０１０４】
特に、全体カメラ５の撮像結果に基づく第１画像処理は「広視野かつ低空間分解能」であり、ステレオカメラ６の撮像結果による第２画像処理は「狭視野かつ高空間分解能」とされる。このため、第１画像処理は広視野で多数のトレイを同時に認識可能であるが、空間分解能を高くしていないので画像処理に要する時間は短くて済む。また、第２画像処理は、高い空間分解能で認識を行うが、そこでは狭視野で少数のトレイ上の部品を認識するだけであるため、ここでも画像処理に要する時間は短くて済む。
【０１０５】
また、１つのトレイ４４に複数種の部品３０、３１、３３、３４、３５を載置する場合には、例えば工程段階ごとに部品３０、３１、３３、３４、３５をトレイ４４、４１、４２に割り当て、工程の進行状況が視覚的に確認することが可能となるので、部品の補充等のタイミングの調整等に適している。
【０１０６】
＜Ｄ．変形例＞
トレイの配置高さが固定されており、部品が平坦形状のものばかりであるような場合には、部品の２次元的な位置および姿勢を認識すれば、部品の高さの値は固定値にして部品の３次元位置・姿勢を特定できる。したがって、上記実施形態では第２撮像部としてステレオカメラを用いているが、２次元カメラを用いたシステムも構築可能である。
【０１０７】
また、上記実施形態では、撮像部を構成する各カメラはスチルカメラであるが、ムービーカメラであってもよい。
【産業上の利用可能性】
【０１０８】
作業ロボットによってオートメーション化されたライン生産システム、およびセル生産システム等に利用可能である。
【符号の説明】
【０１０９】
１ 作業エリア
２，２０ 作業ロボット
３，３０〜３５ 部品
４，４０〜４４ トレイ
５ 全体カメラ（第１撮像部）
６，６Ａ，６Ｂ ステレオカメラ（第２撮像部）
７，７Ａ，７Ｂ 腕部
８Ａ 第１認識手段
８Ｂ 第２認識手段
９ 対応記憶手段
１０ 撮像制御手段
１１ 組み立てエリア
１２ 撮像部
５０〜５２ 中間組立品
２００ 動作指令手段
３００ 操作入力手段
ＦＭ フレーム
Ｍ１，Ｍ２ マーカ
Ｈ ハンド部
ＷＳ 作業ロボットシステム
【特許請求の範囲】
【請求項１】
所定の作業エリア内に移動可能に配置された複数のトレイから作業対象となる部品を取り出し、前記部品を用いて所定の作業を行う作業システムであって、
各トレイとそれに載置される各部品の種類との対応関係を示すトレイ対応データを記憶する対応記憶手段と、
前記作業エリア内に存在する前記複数のトレイを、比較的広視野で集合的に撮像する第１撮像モードと、前記複数のトレイを比較的狭視野で個別的に撮像する第２撮像モードとを有する撮像部と、
前記撮像部による前記第１撮影モードでの撮像結果に基づいて、比較的低い空間分解能の第１画像処理を行い、各トレイの識別とその配置位置の特定とを行う第１認識手段と、
特定された各トレイの配置位置に応じて前記撮像部による撮像方向を変更しつつ、トレイごとに当該トレイに載置された部品を第２撮影モードで前記撮像部に撮像させる撮像制御手段と、
前記トレイ対応データに基づいて各トレイ上の部品の種類を限定しつつ、前記第２撮像モードでの各部品の撮像結果に基づいて、比較的高い空間分解能の第２画像処理を行うことによって、各トレイ上の各部品の３次元位置・姿勢を認識する第２認識手段と、
３次元位置・姿勢が特定された各トレイ上の各部品に所定の順序でアクセスし、各部品を用いて所定の作業を行う作業ロボットと、
を備えることを特徴とする、
作業システム。
【請求項２】
請求項１に記載の作業システムであって、
前記所定の作業に実行中に割り込みを行って前記所定の作業を中断させ、各トレイ上の各部品の３次元位置・姿勢の認識を再度実行させてから前記所定の作業を再開する割り込み制御手段、
をさらに備えることを特徴とする、
作業システム。
【請求項３】
請求項１または２に記載の作業システムであって、
前記撮像部は、前記作業ロボットに付設されていることを特徴とする、
作業システム。
【請求項４】
請求項１〜３のいずれかに記載の作業システムであって、
前記撮像部は、
前記第１撮像モードでの撮像を行う第１撮像部と、
撮像位置および撮像方向が可変であって、前記第２撮像モードでの撮像を行う第２撮像部と、
を備えることを特徴とする、
作業システム。
【請求項５】
請求項４に記載の作業システムであって、
前記作業ロボットは、
前記部品を保持するハンド部がその一端に連結された可動の腕部、
を備え、
前記第２撮像部は、前記腕部または前記ハンド部に付設されることを特徴とする、
作業システム。
【請求項６】
請求項１〜５のいずれかに記載の作業システムであって、
前記対応記憶手段は、前記部品ごとに予め設定された作業内容を指示する、作業データをさらに記憶し、
前記作業ロボットは、
特定された前記部品および前記作業データに基づいて、当該部品についての作業を実行することを特徴とする、
作業システム。
【請求項７】
請求項１〜６のいずれかに記載の作業システムであって、
前記対応記憶手段は、前記部品ごとの３次元形状を示す、部品形状データをさらに記憶し、
前記第２認識手段は、特定した前記部品および前記部品形状データに基づいて、当該部品の３次元位置・姿勢を認識することを特徴とする、
作業システム。
【請求項８】
請求項１〜７のいずれかに記載の作業システムであって、
前記対応記憶手段は、前記トレイごとの３次元形状を示す、トレイ形状データをさらに記憶し、
前記第１認識手段は、前記第１撮像モードで撮像した前記トレイの画像および前記トレイ形状データに基づいて、当該トレイの配置位置を認識することを特徴とする、
作業システム。
【請求項９】
請求項１〜８のいずれかに記載の作業システムであって、
前記複数のトレイのうち少なくとも一部のトレイは、複数種の部品を載置可能であることを特徴とする、
作業システム。
【請求項１０】
所定の作業エリア内に移動可能に配置された複数のトレイから作業対象となる部品を取り出し、前記部品を用いて所定の作業を行う作業ロボット制御装置であって、
前記作業エリア内に存在する前記複数のトレイを、比較的広視野で集合的に撮像する第１撮像モードと、前記複数のトレイを比較的狭視野で個別的に撮像する第２撮像モードとを有する撮像部が前記作業ロボットに付随しており、
前記制御装置が、
各トレイとそれに載置される各部品の種類との対応関係を示すトレイ対応データを記憶する対応記憶手段と、
前記撮像部による前記第１撮影モードでの撮像結果に基づいて、比較的低い空間分解能の第１画像処理を行い、各トレイの識別とその配置位置の特定とを行う第１認識手段と、
特定された各トレイの配置位置に応じて前記撮像部による撮像方向を変更しつつ、トレイごとに当該トレイに載置された部品を第２撮影モードで前記撮像部に撮像させる撮像制御手段と、
前記トレイ対応データに基づいて各トレイ上の部品の種類を限定しつつ、前記第２撮像モードでの各部品の撮像結果に基づいて、比較的高い空間分解能の第２画像処理を行うことによって、各トレイ上の各部品の３次元位置・姿勢を認識する第２認識手段と、
３次元位置・姿勢が特定された各トレイ上の部品を取り出して所定の作業を行う動作指令を作業ロボットに与える動作指令手段と、
を備えることを特徴とする、
作業ロボット制御装置。
【請求項１１】
コンピュータにインストールされて実行されることにより、前記コンピュータを請求項１０に記載の制御装置として機能させることを特徴とする、
作業プログラム。
【請求項１】
所定の作業エリア内に移動可能に配置された複数のトレイから作業対象となる部品を取り出し、前記部品を用いて所定の作業を行う作業システムであって、
各トレイとそれに載置される各部品の種類との対応関係を示すトレイ対応データを記憶する対応記憶手段と、
前記作業エリア内に存在する前記複数のトレイを、比較的広視野で集合的に撮像する第１撮像モードと、前記複数のトレイを比較的狭視野で個別的に撮像する第２撮像モードとを有する撮像部と、
前記撮像部による前記第１撮影モードでの撮像結果に基づいて、比較的低い空間分解能の第１画像処理を行い、各トレイの識別とその配置位置の特定とを行う第１認識手段と、
特定された各トレイの配置位置に応じて前記撮像部による撮像方向を変更しつつ、トレイごとに当該トレイに載置された部品を第２撮影モードで前記撮像部に撮像させる撮像制御手段と、
前記トレイ対応データに基づいて各トレイ上の部品の種類を限定しつつ、前記第２撮像モードでの各部品の撮像結果に基づいて、比較的高い空間分解能の第２画像処理を行うことによって、各トレイ上の各部品の３次元位置・姿勢を認識する第２認識手段と、
３次元位置・姿勢が特定された各トレイ上の各部品に所定の順序でアクセスし、各部品を用いて所定の作業を行う作業ロボットと、
を備えることを特徴とする、
作業システム。
【請求項２】
請求項１に記載の作業システムであって、
前記所定の作業に実行中に割り込みを行って前記所定の作業を中断させ、各トレイ上の各部品の３次元位置・姿勢の認識を再度実行させてから前記所定の作業を再開する割り込み制御手段、
をさらに備えることを特徴とする、
作業システム。
【請求項３】
請求項１または２に記載の作業システムであって、
前記撮像部は、前記作業ロボットに付設されていることを特徴とする、
作業システム。
【請求項４】
請求項１〜３のいずれかに記載の作業システムであって、
前記撮像部は、
前記第１撮像モードでの撮像を行う第１撮像部と、
撮像位置および撮像方向が可変であって、前記第２撮像モードでの撮像を行う第２撮像部と、
を備えることを特徴とする、
作業システム。
【請求項５】
請求項４に記載の作業システムであって、
前記作業ロボットは、
前記部品を保持するハンド部がその一端に連結された可動の腕部、
を備え、
前記第２撮像部は、前記腕部または前記ハンド部に付設されることを特徴とする、
作業システム。
【請求項６】
請求項１〜５のいずれかに記載の作業システムであって、
前記対応記憶手段は、前記部品ごとに予め設定された作業内容を指示する、作業データをさらに記憶し、
前記作業ロボットは、
特定された前記部品および前記作業データに基づいて、当該部品についての作業を実行することを特徴とする、
作業システム。
【請求項７】
請求項１〜６のいずれかに記載の作業システムであって、
前記対応記憶手段は、前記部品ごとの３次元形状を示す、部品形状データをさらに記憶し、
前記第２認識手段は、特定した前記部品および前記部品形状データに基づいて、当該部品の３次元位置・姿勢を認識することを特徴とする、
作業システム。
【請求項８】
請求項１〜７のいずれかに記載の作業システムであって、
前記対応記憶手段は、前記トレイごとの３次元形状を示す、トレイ形状データをさらに記憶し、
前記第１認識手段は、前記第１撮像モードで撮像した前記トレイの画像および前記トレイ形状データに基づいて、当該トレイの配置位置を認識することを特徴とする、
作業システム。
【請求項９】
請求項１〜８のいずれかに記載の作業システムであって、
前記複数のトレイのうち少なくとも一部のトレイは、複数種の部品を載置可能であることを特徴とする、
作業システム。
【請求項１０】
所定の作業エリア内に移動可能に配置された複数のトレイから作業対象となる部品を取り出し、前記部品を用いて所定の作業を行う作業ロボット制御装置であって、
前記作業エリア内に存在する前記複数のトレイを、比較的広視野で集合的に撮像する第１撮像モードと、前記複数のトレイを比較的狭視野で個別的に撮像する第２撮像モードとを有する撮像部が前記作業ロボットに付随しており、
前記制御装置が、
各トレイとそれに載置される各部品の種類との対応関係を示すトレイ対応データを記憶する対応記憶手段と、
前記撮像部による前記第１撮影モードでの撮像結果に基づいて、比較的低い空間分解能の第１画像処理を行い、各トレイの識別とその配置位置の特定とを行う第１認識手段と、
特定された各トレイの配置位置に応じて前記撮像部による撮像方向を変更しつつ、トレイごとに当該トレイに載置された部品を第２撮影モードで前記撮像部に撮像させる撮像制御手段と、
前記トレイ対応データに基づいて各トレイ上の部品の種類を限定しつつ、前記第２撮像モードでの各部品の撮像結果に基づいて、比較的高い空間分解能の第２画像処理を行うことによって、各トレイ上の各部品の３次元位置・姿勢を認識する第２認識手段と、
３次元位置・姿勢が特定された各トレイ上の部品を取り出して所定の作業を行う動作指令を作業ロボットに与える動作指令手段と、
を備えることを特徴とする、
作業ロボット制御装置。
【請求項１１】
コンピュータにインストールされて実行されることにより、前記コンピュータを請求項１０に記載の制御装置として機能させることを特徴とする、
作業プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−３０３２０（Ｐ２０１２−３０３２０Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１０−１７１８６６（Ｐ２０１０−１７１８６６）
【出願日】平成２２年７月３０日（２０１０．７．３０）
【出願人】（０００２０７５５１）大日本スクリーン製造株式会社 (2,640)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２２年７月３０日（２０１０．７．３０）
【出願人】（０００２０７５５１）大日本スクリーン製造株式会社 (2,640)
【Ｆターム（参考）】
[ Back to top ]