視覚認識処理用のモデルデータの登録方法および視覚センサ
【課題】個々の視覚センサの設置環境や計測条件に適合し、認識精度が確保されたモデルデータを容易に作成できるようにする。
【解決手段】ワークの視覚認識が可能な範囲を表す基本モデルを入力する一方で、実際の計測と同様の条件でワークを撮像して計測し、この計測により取得したワークの特徴データを基本モデルと照合する処理を、複数サイクル実行する。そして、基本モデルのうち、毎時の照合処理のいずれにおいてもワークの特徴データに対応づけられなかった情報、または対応づけられなかった回数または割合が所定の基準値を上回る情報、もしくは実行されたいずれかの照合処理で特徴データに対応づけることができなかった情報を、不要情報に設定する。そして、基本モデルから不要情報を削除し、削除毎の情報を登録対象のモデルデータとして特定し、メモリに登録する。
【解決手段】ワークの視覚認識が可能な範囲を表す基本モデルを入力する一方で、実際の計測と同様の条件でワークを撮像して計測し、この計測により取得したワークの特徴データを基本モデルと照合する処理を、複数サイクル実行する。そして、基本モデルのうち、毎時の照合処理のいずれにおいてもワークの特徴データに対応づけられなかった情報、または対応づけられなかった回数または割合が所定の基準値を上回る情報、もしくは実行されたいずれかの照合処理で特徴データに対応づけることができなかった情報を、不要情報に設定する。そして、基本モデルから不要情報を削除し、削除毎の情報を登録対象のモデルデータとして特定し、メモリに登録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識対象の物体をカメラにより撮像し、生成された画像を用いて２次元または３次元の計測処理を実行することにより取得した特徴データをあらかじめ登録したモデルデータと照合することによって、所定の認識処理を実行する視覚センサに関する。特に本発明は、上記の認識処理に用いるモデルデータを視覚センサに登録する処理に関する。
【背景技術】
【０００２】
物体の外形の３次元情報のモデルデータを作成する方法として、たとえば特許文献１に開示されたものがある。
この特許文献１に記載の発明では、ステレオ計測により３次元情報を復元することを前提として、物体の実物モデルを、計測方向を毎回変更して複数回計測する。さらに、毎時の計測により復元された３次元情報を相互に照合して位置合わせを行い、位置合わせ後の情報を統合することによって、種々の方向からの計測に対応可能なモデルデータを作成する。
【０００３】
また、特許文献１や下記の非特許文献１には、物体の輪郭線の３次元情報を復元する方法として、「セグメントベーストステレオ」という手法が開示されている。この方法は、ステレオ画像を構成する各画像に含まれるエッジを、連結点や分岐点を基準に直線や曲線のセグメントに分割し、セグメント単位でステレオ対応検索を行って、所定数の３次元座標を算出するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第２９６１２６４号公報
【非特許文献】
【０００５】
【非特許文献１】「セグメントベーストステレオにおける連結性に基づく対応評価」 情報処理学会論文誌 ｖｏｌ．４０，Ｎｏ．８，３２１９−３２２９ページ，１９９９年８月発行
【発明の概要】
【発明が解決しようとする課題】
【０００６】
視覚センサにモデルデータを登録する処理では、一般に、登録対象の視覚センサに良好な形状の認識対象物を供給して、実際に撮像や計測を実行し、計測により取得した特徴データをベースにしてモデルデータを作成する。また、認識精度を確保するために、作成されたモデルデータによる試験的な認識を行って、その認識結果に基づいてモデルデータを修正し、精度が極端に悪い場合には、必要に応じてモデルデータを作成し直すなど、登録対象のモデルデータを決定するまでにかなりの時間や労力を費やす。
【０００７】
このように、視覚センサにモデルを登録する作業には大きな負荷がかかるため、同一の工程を実行する生産ラインを複数持つ現場からは、これらのラインの１つに配置された視覚センサに登録したモデルデータを、他のラインの視覚センサに移植したい、という要望があがっている。しかし、実際には、照明条件がラインによって異なったり、外光の影響を受けるラインがあったり、カメラの特性のばらつきによりコントラストが異なる画像が生成されるなどの原因により、各視覚センサが生成する画像の状態にばらつきが生じるため、各視覚センサに同一のモデルデータを登録するのは困難である。
【０００８】
一方、視覚センサ毎にモデルデータを作成する場合には、モデルデータの作成に関わる作業者がセンサによって異なると、モデルデータに設定される内容に作業者によるばらつきが生じ、そのばらつきにより各ラインにおける処理の安定性にばらつきが生じるおそれがある。
【０００９】
上記の点に関して、発明者らは、ＣＡＤデータなどの設計データを計測に応じたデータ形式に変換することによって、センサの設置条件や計測条件の違いによる影響を受けないモデルデータを自動作成し、これを各視覚センサに導入することを検討した。しかし、設計データから導き出されたモデルデータには、視覚センサで計測できる範囲を超える情報が含まれるため、計測結果と照合すると、モデルデータ中に計測結果に対応づけされない情報が多数生じて、一致度がかえって低下することが判明した。
【００１０】
本発明は上記の問題点に着目し、個々の視覚センサの設置環境や計測条件に適合し、認識精度が確保されたモデルデータを容易に作成できるようにすることを、課題とする。
【課題を解決するための手段】
【００１１】
本発明によるモデルデータの登録方法は、認識対象の物体を少なくとも１台のカメラにより撮像し、生成された画像を用いた計測処理により物体の形状を表す特徴データを取得し、取得した特徴データを、あらかじめ登録したモデルデータと照合することにより物体に対する認識処理を実行する視覚センサにおいて実施されるもので、以下の第１〜第４のステップを実行することを特徴とする。
【００１２】
第１ステップでは、認識対象の物体について、当該物体の視覚認識が可能な範囲の実寸大の形状を表す基本モデルデータを入力する。
「視覚認識が可能な範囲」とは、一般には、物体の表面の全範囲を意味するが、物体の表面であっても、計測時の物体の姿勢に制約があるなどの事情により、いずれの視覚センサのカメラでも観測できない部位がある場合には、その部位を「視覚認識が可能な範囲」から外して、基本モデルデータに含めないようにしてもかまわない。一方、本発明では、物体の内部構造などの視覚認識が不可能な部位の情報を含む基本モデルデータを入力することを、なんら排除するものではない。
【００１３】
「実寸大の形状を表す３次元情報」は、輪郭形状を表す情報として構成される場合もあれば、物体の表面を表す座標の集合により構成される場合もある。また、文字どおり、実寸法を表すものに限らず、実寸法をあらかじめ定めた比率で縮小したサイズを表すものも含む。
【００１４】
第２ステップでは、認識対象の物体の実物モデルを処理対象として、カメラによる撮像および計測処理、ならびに計測処理により取得した実物モデルの特徴データを、基本モデルデータまたは基本モデルデータを変換処理したデータ（以下、「変換モデルデータ」という。）と照合する処理を、所定サイクル実行する。第３ステップでは、第２ステップで実物モデルの特徴データと照合されたデータ（第２ステップの処理対象となった基本モデルデータまたは変換モデルデータを意味する。）から、実物モデルの特徴データに対応づけることができなかったデータを削除し、残されたデータを登録対象のモデルデータに設定する。
【００１５】
上記の方法によれば、認識対象の物体について自装置が必要とする以上の情報を含む基本モデルデータを入力し、この基本モデルデータまたは当該基本モデルデータから生成した変換モデルデータを自装置で実物モデルに対して行った計測結果と照合する。そして、照合処理の対象とされた基本モデルデータまたは変換モデルデータから、実物モデルの特徴データに対応づけられなかったデータを、自装置での処理には不要なデータとして削除する。
【００１６】
上記の照合処理では、カメラと実物モデルとの位置関係を実際の計測の際に想定される関係に設定して、視覚センサが設置される環境やカメラの特性に応じた画像を生成し、その画像から取得した特徴データを基本モデルデータまたはその変換データと照合するのが望ましい。このようにすれば、照合で対応付けされなかったデータを削除することによって、残りのデータは、おのずと視覚センサが行うべき認識処理に適合するものとなり、モデルデータの精度を検証する作業を不要、または大幅に削減することができる。また、作業者によりモデルデータを修正する必要もなくなるので、モデルデータの精度にばらつきが生じるのを防止することができる。
【００１７】
また、認識対象の物体の視覚認識が可能な範囲の実寸大の形状を表す情報を基本モデルデータとするので、同じ物体を認識対象とする全ての視覚センサに同一の基本モデルデータを導入し、各視覚センサで上記の方法を実行することができる。よって、十分な精度の基本モデルデータを準備しておけば、各視覚センサにおいて、この基本モデルデータを、自装置の認識処理に適したモデルデータに作り替えて登録することができる。
【００１８】
以下、第３ステップの処理について３つの実施態様を説明する。
まず第１の態様における第３ステップでは、実物モデルの特徴データと照合されたデータのうち、第２ステップで実行されたすべてのサイクルの照合処理において実物モデルの特徴データに対応づけることができなかったデータを、削除の対象に設定する。
【００１９】
上記の態様によれば、この方法を実施している視覚センサでは計測される可能性が殆どない特徴データに対応するデータを不要な情報として設定し、基本モデルデータまたは変換モデルデータから不要な情報を除いたものをモデルデータとして登録することができる。よって、計測により得た特徴データの中からモデルデータに対応するものを安定して抽出することができ、認識精度を確保することができる。
【００２０】
第２の態様における第３ステップでは、実物モデルの特徴データと照合されたデータのうち、第２ステップの照合処理において実物モデルの特徴データに対応づけることができなかった回数またはその割合が所定の基準値を上回るデータを、削除の対象に設定する。
【００２１】
上記の態様によれば、視覚センサでの計測が可能であるが、照明条件の変動などによって計測が不安定になる情報を、モデルデータに含めないようにすることができる。よって、不安定な情報による照合が行われるのを防止して、認識精度を高めることができる。
【００２２】
第３の態様による第３ステップでは、実物モデルの特徴データと照合されたデータのうち、第２ステップで実行されたいずれかの照合処理において実物モデルの特徴データに対応づけることができない状態が生じた情報を、削除対象に設定する。
【００２３】
上記の態様によれば、基本モデルデータ又は変換モデルデータから、実物モデルの特徴データへの対応づけに１回でも失敗したものを不要な情報として削除することにより、認識対象の物体につき、ほぼ確実に計測することができる情報のみを含むモデルデータを作成することができる。よって、認識処理の安定度をより一層高めることができる。
【００２４】
上記の方法において、計測処理として、認識対象の物体の３次元形状を表す特徴データを取得する３次元の計測処理を実行する場合には、第１ステップでは、基本モデルデータとして、物体の視覚認識可能な範囲の実寸大の形状を少なくとも表す３次元情報を入力する。また第２ステップの照合処理では、実物モデルから取得した特徴データを基本モデルデータが示す３次元情報と照合する。
【００２５】
一方、計測処理として、カメラにより生成された画像中の物体のエッジを取得する２次元の計測処理を実行する場合もある。この場合の第１ステップでは、基本モデルデータとして、物体を特定の姿勢で配置してカメラにより撮像したときに画像中に現れるエッジパターンを実寸法で表した２次元情報を入力する。また第２ステップの照合処理では、実物モデルの画像から取得したエッジのパターンを基本モデルデータが示すエッジパターンと照合する。
【００２６】
このように、本発明による方法は、２次元の計測を行う装置、３次元の計測を行う装置の双方に適用することが可能である。
【００２７】
上記の方法が適用された視覚センサは、認識対象の物体について、当該物体の視覚認識が可能な範囲の実寸大の形状を表す基本モデルデータを入力するための入力手段と、認識対象の物体の実物モデルが処理対象となることを条件として、カメラによる撮像および計測処理、ならびに計測処理により取得した実物モデルの特徴データを、入力手段より入力した基本モデルデータまたは当該基本モデルデータを変換処理したデータと照合する処理を、所定サイクル実行する実物モデル処理手段と、実物モデルの特徴データと照合されたデータから、実物モデル処理手段が実行した照合処理において実物モデルの特徴データに対応づけることができなかったデータを削除し、残されたデータを登録対象のモデルデータとして設定するモデルデータ設定手段とを、具備する。
【００２８】
上記の構成によれば、あらかじめ認識対象の物体について、視覚認識が可能な範囲の実寸大の形状を精度良く表す情報を生成して、これを基本モデルデータとして視覚センサに入力すると共に、計測条件に応じた状態で配置された実物モデルをカメラの視野に導入して、モデル処理手段およびモデル設定手段による処理を順に実行することにより、視覚センサの設置される環境や計測条件などに適合したモデルデータを作成し、登録することができる。
【発明の効果】
【００２９】
本発明によれば、同種の物体を認識対象とする複数の視覚センサに対し、これらのセンサが認識対象とする物体の視覚可能な範囲の実寸大の形状を表す基本モデルデータを１つ準備し、この基本モデルデータを各視覚センサに入力して、それぞれの視覚センサの設置環境、カメラの特性、計測条件などに適合したモデルデータに作り替えて登録することができる。よって、個々の視覚センサにおけるモデルデータの登録処理を効率良く行うことができる。
【００３０】
また認識対象の物体の実物モデルを実際の処理と同様の条件で撮像して計測し、この計測結果に対応づけられる情報によるモデルデータを作成するから、このモデルデータの精度を自然と確保することができるから、このモデルデータをもって安定した認識処理を実行することが可能である。
【図面の簡単な説明】
【００３１】
【図１】ピッキングシステムの構成例を示す図である。
【図２】視覚センサの電気構成を示すブロック図である。
【図３】上記の視覚センサにおいて実施される３次元認識処理の手順を示すフローチャートである。
【図４−１】認識対象のワークの構成例を示す斜視図および底面図である。
【図４−２】認識対象のワークの構成例を示す側面図である。
【図５】図４に示したワークの基本モデルのデータ構成を示す図である。
【図６】計測時のワークの配置例を示す図である。
【図７】図６の配置状態のワークを用いて作成した実用モデルのデータ構成を示す図である。
【図８】計測時のワークの配置の他の例を示す図である。
【図９】図８の配置状態のワークを用いて作成した実用モデルのデータ構成を示す図である。
【図１０】モデル登録処理の手順を示すフローチャートである。
【図１１】ワークに影が発生するか否かにより実用モデルのデータ構成が変化する例を示す図である。
【図１２】２次元の認識処理を行う視覚センサにおけるモデル登録処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００３２】
図１は３次元視覚センサが導入されたピッキングシステムの構成例を示す。
このピッキングシステムは、工場内で収容ボックス６に収容されたワークＷを１つずつ取り出して所定の位置に搬送する作業を行うためのもので、作業を行う多関節ロボット４や、このロボット４の動作を制御するロボット制御装置３のほか、処理対象のワークＷを認識する３次元視覚センサ１００が含まれる。
【００３３】
３次元視覚センサ１００は、ステレオカメラ１と認識処理装置２とにより構成される。
ステレオカメラ１は、横並びに配置された３台のカメラＡ，Ｂ，Ｃにより構成される。認識処理装置２は、専用のプログラムが格納され、表示部２５や、キーボード、マウスなどによる入力部２４が接続されたパーソナルコンピュータにより構成される。
【００３４】
認識処理装置２は、各カメラＡ，Ｂ，Ｃを用いたステレオ計測処理によってワークＷの輪郭線の３次元情報を取得した後、取得した３次元情報をあらかじめ登録された３次元のモデルデータ（以下、「３次元モデル」という。）と照合することにより、ワークＷの位置および姿勢を認識する。ロボット制御装置３は、認識処理装置２から上記の認識結果の送信を受け付けて、これに基づきロボット４のアーム４０がワークＷを把持するように、その動作を制御する。
【００３５】
図２は、上記の３次元視覚センサ１００の構成をブロック図により表したものである。
この図に示すように、認識処理装置２には、各カメラＡ，Ｂ，Ｃに対応する画像入力部２０Ａ，２０Ｂ，２０Ｃ、カメラ駆動部２１、ＣＰＵ２２、メモリ２３、入力部２４、表示部２５、通信インターフェース２６、外部ディスク装置２７などが含まれる。
【００３６】
カメラ駆動部２１は、ＣＰＵ２２からの指令に応じて、各カメラＡ，Ｂ，Ｃを同時に駆動する。なお、キャリブレーション処理や３次元モデルを登録する処理を行う場合には、このカメラ駆動は、入力部２４から撮像開始の指示を受け付けたことに応じて行われる。
【００３７】
表示部２５および入力部２４は、キャリブレーション処理や３次元モデルの作成処理の際に、設定のための情報の入力や撮像開始の指示を行ったり、作業を支援するための情報を表示したり、作成された３次元モデルの投影像を確認する目的で使用される。
【００３８】
通信インターフェース２６は、ロボット制御装置３との通信に用いられる。外部ディスクドライブ２７は、コンパクトディスクなどの記憶媒体に情報を読み書きするためのもので、この実施例では、後記する基本モデルデータを読み出す目的に使用される。
【００３９】
メモリ２３は、ＲＯＭ，ＲＡＭ，およびハードディスクなどの大容量メモリを含むもので、キャリブレーション処理、３次元モデルの作成、およびワークＷの３次元認識処理のためのプログラムや設定データが格納されている。また、キャリブレーション処理で算出された３次元計測用のパラメータや３次元のモデルデータも、メモリ２３内の専用のエリアに登録される。
【００４０】
ＣＰＵ２２は、メモリ２３のプログラムに基づき、キャリブレーション処理を実行して、３次元計測用のパラメータの算出および登録を行った後に、認識処理用のモデルデータの作成および登録処理を実行する。この２種類の設定処理を実行することによって、視覚センサ１００は、ワークＷに対する３次元計測や認識処理を実行することが可能な状態になる。
【００４１】
図３は上記の３次元視覚センサ１００において、ワークＷを認識するために実行される処理手順を示す。以下、このフローチャートに沿って、認識処理の概要を説明する。
【００４２】
まず、カメラＡ，Ｂ，Ｃによるステレオ撮像を実行し（ＳＴ１）、生成された各画像からエッジを抽出する（ＳＴ２）。
【００４３】
つぎに検出されたエッジを細線化し（１画素幅のデータにする。）、細線化後のエッジを連結点や分岐点を基準に直線や曲線のセグメントに分割する（ＳＴ３，４）。この２次元画像上のエッジから抽出されたセグメントを、以下では「２次元セグメント」と呼ぶ。
【００４４】
つぎに、画像間で対応関係にある２次元セグメントを対応づける処理を実行する（ＳＴ５）。具体的には、３つの画像のうちの１つを基準画像として、この基準画像の各２次元セグメントに順に着目し、着目した２次元セグメントにつき、エピポーラ条件を満たすこと、および近傍のセグメントとの連結関係が着目中の２次元セグメントに整合することを条件として、他の２つの画像において条件を満たす２次元セグメントを探索する。この探索処理により、２つの画像で、ともに条件を満たす２次元セグメントが検出された場合には、これらを着目中の２次元セグメントに対応づける。
なお、各画像間での対応づけがなされなかった２次元セグメントは、以下の処理の対象から除外される。
【００４５】
上記の対応付け処理が終了すると、ＳＴ６に進み、対応づけられた２次元セグメントの組み合わせ毎に、３次元情報を復元する処理を実行する。この復元された３次元情報により表される３次元のセグメントを、以下では「３次元セグメント」という。
【００４６】
ここで対応づけられた１組の２次元セグメントから１つの３次元セグメントを復元する処理について説明する。
まず対応づけられた２次元セグメント間で、さらに画素単位の対応づけを行い、対応づけられた画素の組毎に３次元座標を算出する。さらに各３次元座標の分布パターンに近似する直線または曲線を設定し、設定された直線または曲線を所定の間隔毎にサンプリングする。そして、サンプリングされた３次元座標による集合に、各３次元座標の分布パターンに応じた属性（直線または曲線）を対応づけたものを、３次元セグメントとして確定する。
【００４７】
ＳＴ６では、２次元セグメントのすべての組み合わせについて上記の処理を実行することにより、ワークＷの輪郭形状を表す複数の３次元セグメントによる３次元情報を復元する。この処理が終了すると、つぎのＳＴ７では、復元した３次元情報をあらかじめ登録したモデルデータと照合することにより、ワークＷの位置および姿勢を認識する。
【００４８】
上記ＳＴ７の処理について、具体的に説明する。この実施例では、モデルデータとして、ワークＷの計測され得る範囲の輪郭形状を表す３次元セグメントが登録されており、ＳＴ７では、各３次元セグメントの交点を特徴点として、モデルデータ側の各特徴点と復元された３次元情報における各特徴点とを総当たり式に対応づけながら、両者の一致度を算出する。そして、所定の基準値を超える一致度が得られたときの対応づけを正しいものとして、モデルデータ中の代表点（たとえば重心）に対応づけられた座標をワークＷの位置として特定する。またこの正しい対応づけにおけるモデルデータの回転角度をワークの姿勢として特定する。
【００４９】
さらに上記の照合処理では、３次元モデルに対する一致度が基準値を超える対応づけが複数見つかった場合には、それぞれの対応づけ毎に、座標および回転角度を特定する。よって、複数のワークＷを対象にステレオ計測が実施された場合でも、各ワークＷを個別に認識することができる。
【００５０】
ワークＷの位置および姿勢が認識されると、この後は、通信インターフェース２６を介して認識結果をロボットコントローラ３に出力し（ＳＴ８）、処理を終了する。
【００５１】
上記の認識処理の精度を確保するには、精度の良いモデルデータを登録する必要がある。この点につき、この実施例では、図１に示したシステム外のコンピュータにおいて、ワークＷのＣＡＤデータを３次元セグメント形式の情報に変換することにより、ワークＷの全輪郭形状を実寸法で表した３次元情報を作成し、これをワークの基本のモデルデータ（以下、「基本モデル」という。）とする。作成された基本モデルはコンパクトディスクに保存されて、ユーザに提供される。
【００５２】
ユーザは、このコンパクトディスクを認識処理装置２の外部ディスクドライブ２７にセットして、３次元モデルの作成処理を開始する。ここでユーザは、ワークＷの実物モデルを実際に計測する場合と同様の姿勢にしてステレオカメラ１の計測領域に配置し、入力部２４より撮像を指示する。認識処理装置２では、この指示に応じて図３のＳＴ１〜ＳＴ６の各ステップに相当する処理を実行し、復元された実物モデルの３次元情報を外部ディスクドライブ２７より読み出した基本モデルと照合する。
【００５３】
さらにこの実施例では、計測時に取り得る範囲内でワークＷの姿勢を毎回変更して、上記のステレオ計測および照合処理を複数サイクル実行する。そして、基本モデル側の３次元セグメントのうち、いずれのサイクルの照合処理でもステレオ計測の結果に対応づけされなかった情報を、認識処理に不要な情報と判別する。そして基本モデルから不要な情報を削除したものを、図３の認識処理に使用するモデルデータ（以下「実用モデル」という。）としてメモリ２３に登録するようにしている。
【００５４】
図４は、視覚センサの認識対象となるワークＷの具体的な構成例を、斜視図および背面図（図４−１の（１）（２））、および三方から見た側面図（図４−２の（３）（４）（５））により示す。これらの図に示すように、この実施例のワークＷは、厚みのある板体３０の背面に３個の取付片４１，４２，４３を具備する取付金具４０を一体に設けた構成のものである。各取付片４１，４２，４３は、取り付け金具４０の本体部の三辺からそれぞれ異なる傾斜角度をもって後方に突出している。また取付片４１，４２の先端部は屈曲しているのに対し、取付片４３は、まっすぐに延びた状態に形成されている。なお、図４では、板体３０の厚み部分の面を、符号３２，３３，３４，３５により示す。
【００５５】
上記のワークＷは、板体３０の前面３１を上に向けることにより、取付片４２，４３によって板体３０を水平な状態にして支持される（このときの取付片４１は浮いた状態になる。）。また後記する図８に示すように、面３３を底面として、板体３０を垂直な状態にして支持される場合もある。
【００５６】
図５は、上記のワークＷの基本モデルのデータ構成を、図４の斜視図に合わせた模式図として示す。この基本モデルＭ０は、ＣＡＤデータを変換処理することにより生成されたもので、ワークＷのすべての輪郭線（図中、一点鎖線で示す。）を表す３次元セグメント情報（３次元セグメントの集合）が含まれている。
【００５７】
図６は、ワークＷの実物モデル（以下、これを単に「ワークＷ」という。）を図４に示した支持状態にして配置したものを、ステレオカメラ１により計測される方向から見たののである。ただし、計測方向に対するワークＷの姿勢は一定ではなく、図中の矢印ｆの方向に沿って回転した姿勢をとる可能性がある。
【００５８】
図６の例の場合には、板体３０の前面３１の真上から計測を行うため、計測が可能となるのは、板体３０の前面３１、および取付片４１，４２，４３の先端部付近であり、板体３０の背面３２や取付金具４０の本体部分を計測することは不可能になる。
【００５９】
図７は、上記の計測条件による計測結果を図５に示した基本モデルＭ０と照合することにより作成した実用モデルＭ１の例を示す。なお、この図７および後記する図９では、削除された情報を極細点線により表現している。
【００６０】
この実用モデルＭ１は、計測方向に対し、ワークＷを図６の矢印ｆの方向に沿って所定角度ずつ回転させて、撮像および計測を繰り返し行い、毎回の計測により取得した３次元情報を基本モデルと照合し、ワークＷの３次元情報に対応づけられなかった情報を基本モデルから削除することにより得られたものである。この結果、実用モデルＭ１に含まれるのは、実際に計測される箇所（板体３０の前面および取付片４１，４２，４３の先端部）に対応する情報のみとなっている。
【００６１】
図８は、ステレオカメラ１に対するワークＷの他の配置例を示す。この例のワークＷは、板体３０の取付片が設けられていない方位にある面３３を底面とすることにより、板体３０を垂直に起立させた状態で配置される。図８では、計測方向に対してワークＷが取り得る３通りの姿勢を、示している。このようにワークＷの姿勢は一定ではないが、この例では、板体３０の背面が計測されることはないものとする。
【００６２】
図９は、図８のように配置されたワークＷに対して複数回のステレオ計測を実行し、各計測により取得した３次元情報と基本モデルＭ０とを照合することにより生成された実用モデルの例を示す。この実用モデルＭ３も、基本モデルＭ０からワークＷの計測結果を対応づけられなかった情報を削除することにより生成されたものである。
【００６３】
上記の各例に示したように、この実施例の視覚センサ１００が作成する実用モデルＭ１，Ｍ２は、基本モデルＭ０に含まれる３次元情報から、実際のワークＷに対する計測処理では取得することができない情報を削除したものである。いずれの実用モデルＭ１，Ｍ２も、実際に認識されるものと同様の姿勢で配置されたワークＷに対する計測結果に対応するように作成されているので、これらの実用モデルＭ１，Ｍ２を用いた認識処理では、計測処理により得た３次元情報と実用モデルとが正しく対応づけられたときに、実用モデルの殆どの情報が計測された３次元情報に対応する状態になる。よって、十分な一致度をもってワークＷを認識することができ、安定した認識を行うことができる。
【００６４】
図１０は、実用モデルを作成する際の処理手順を示す。
この処理は、作業者が基本モデルが格納されたコンパクトディスクを外部ディスクドライブ２７にセットして、読み出し操作を行ったことに応じて開始される。まず最初のステップ（ＳＴ１１）では、読み出し操作に従って基本モデルを読み出し、これをメモリ２３の作業領域に格納する。
【００６５】
ここで作業者は、ステレオカメラ１の計測領域に、実際に計測されるときと同様の姿勢でワークＷを配置し、撮像指示操作を行う。この操作に応じてＳＴ１２が「ＹＥＳ」となり、ステレオ撮像を実行する（ＳＴ１３）。さらに、この撮像により生成されたステレオ画像を用いた計測処理により、ワークＷの３次元情報を取得する（ＳＴ１４）。なお、図１０のＳＴ１４は、図３のＳＴ３〜ＳＴ６に相当する処理をまとめて表したもので、これにより、ワークＷの輪郭形状を表す特徴データとして、複数の３次元セグメントを取得することになる。
【００６６】
つぎのＳＴ１５では、上記の計測処理により取得した３次元情報（特徴データ）を基本モデルと照合する。この場合にも、図３のＳＴ７の処理と同様に、計測による特徴点と基本モデル側の特徴点とを総当たり式で対応づけて一致度を求める処理を繰り返し、両者の一致度が最も高い状態になったときの対応関係を正しい関係として特定する。さらに、基本モデルに含まれる３次元情報の中から、上記の正しい対応関係にあるときに特徴データに対応づけられなかった情報を特定する処理も実行する。
【００６７】
この後も、作業者は、実際の計測で想定される範囲内でワークＷの姿勢を種々に変更して撮像指示操作を行う。視覚センサ１００では、この操作に応じて、ＳＴ１３，１４，１５の各処理を実行する。
【００６８】
以下、同様に、撮像指示操作に応じて、ステレオ撮像および計測処理、ならびに計測処理により得た特徴データと基本モデルとを照合する処理が繰り返し実行される。所定の時点で、作業者が必要な撮像を実行したと判断して終了操作を行うと（ＳＴ１６が「ＹＥＳ」）、毎回の照合処理の結果に基づき、基本モデル内の３次元情報のうち、いずれの照合処理においても計測データに対応づけられなかった情報を、不要情報として特定する（ＳＴ１７）。
【００６９】
この後は、基本モデルから特定した不要情報を削除し（ＳＴ１８）、残された情報を実用モデルとしてメモリ２３に登録する（ＳＴ１９）。
【００７０】
なお、実用モデルの登録は、作業者による確認作業を経てから実行してもよい。たとえば、不要情報を削除した後の情報をカメラＡ，Ｂ，Ｃの座標系に透視変換し、この変換処理により生成された投影像を表示部２５に表示し、表示された投影像が実物のワークＷの画像に適合しているか否かを作業者に判断させてもよい。
【００７１】
上記の手順によれば、ワークＷを処理対象とする複数の視覚センサ１００に同一の基本モデルＭ０を入力し、各視覚センサ１００において、それぞれその装置の計測条件に応じた実用モデルを作成することができる。たとえば、ワークＷを図６に示すような条件で計測する視覚センサ１００と、ワークＷを図８で示すような条件で計測する視覚センサ１００とに、それぞれ図５に示した構成の基本モデルＭ０を入力して、各センサ１００において上記図１０の処理を実行すれば、前者のセンサ１００には、図７に示した実用モデルＭ１が、後者のセンサ１００には図９に示した実用モデルＭ２が、それぞれ登録され、これらによりワークＷを認識する処理を安定して実行することができる。
【００７２】
さらに、各視覚センサ１００における計測条件が同一であっても、照明の状態やカメラの特性などの違いによって計測が可能な範囲が異なる場合にも、各センサ１００に同一の基本モデルを入力して、上記図１０と同様の方法により、それぞれの計測精度に応じた実用モデルを作成することができる。
【００７３】
図１１は、ワークＷを板体３０のみの構成に模式して、このワークＷに対する照明条件の違いによる実用モデルの構成の違いを示す。この図では、（１）にワークＷの基本モデルの構成を示すとともに、（２）に上面に影が生じているワークＷＡを、（３）に影が発生していないワークＷＢを、それぞれの実用モデルＭＡ，ＭＢとともに示す。
【００７４】
上記の例によれば、影が生じていないワークＷＢを用いてモデル登録処理を行った場合の実用モデルＭＢには、計測対象のすべての輪郭線の情報が含まれるのに対し、上面に影が生じたワークＷＡを用いてモデル登録処理を行った場合の実用モデルＭＢでは、影が生じた面の輪郭線の情報を含まない実用モデルが作成される。このように、影が発生する環境下で計測されるワークＷＡに対し、影により取得できない計測データに対応する情報を除いた実用モデルを設定すれば、影の発生しない環境下で計測されるワークＷＢと同様の精度の認識処理を行うことができる。
【００７５】
なお、外光の影響など、時間の経過に伴って環境を変化させる要因がある場合には、それぞれの環境においてワークＷの撮像および計測を実行し、基本モデルＭ０との照合処理において、ワークＷの特徴データに対応づけられなかった回数、またはこの回数の全照合回数に対する割合が所定の基準値を上回った情報を基本モデルＭ０から削除すれば、計測が不安定な部位の情報を含まない実用モデルを作成することが可能になる。計測が可能になる場合と不可能になる場合とがある部位が存在するような場合も、同様である。
【００７６】
さらに、高い認識精度を要求するような場合には、複数回の照合処理のうちのたとえ１回でも計測データに対応づけることができない状態が生じた情報を、不要情報として基本モデルから削除してもよい。このような厳しい基準を設定すれば、安定して計測することができる部位の情報のみを含む実用モデルを作成し、認識処理をより一層安定させることができる。
【００７７】
なお、上記の実施例では、ＣＡＤデータから基本モデルを作成するとしたが、基本モデルの作成方法はこれに限定されるものではない。たとえば、良好な環境を確保した視覚センサ１００の計測エリアに実物のワークＷを導入し、このワークＷに対するステレオ計測を複数の方向から実行し、各計測結果を統合する方法（特許文献１参照。）により基本モデルを作成し、これを各視覚センサ１００に導入することも可能である。
【００７８】
また、上記の実施例では、計測処理として、ワークＷの輪郭形状を表す３次元情報を復元する処理を行うことに伴い、基本モデルや実用モデルも、同様に輪郭形状を表す３次元情報により構成したが、３次元計測の手法は、これに限定されるものではない。
【００７９】
たとえば、ステレオ計測や光切断法などによりワークＷの表面の形状を表す３次元座標の集合を取得し、この集合を登録されたモデルデータと照合する場合もある。このような計測を行うタイプの視覚センサについても、ワークＷの表面全体の形状を表す３次元座標群を基本モデルとして入力し、実物のワークＷに対する撮像および計測、ならびに計測処理により取得した３次元座標群（特徴データ）を基本モデルと照合する処理を実行し、基本モデルからワークＷの特徴データに対応づけられなかった座標を削除したものを、実用モデルとして登録することができる。
【００８０】
さらに、上記の実用モデルの作成方法は、３次元の認識処理を行うタイプの視覚センサに限らず、２次元の認識処理を行うタイプの視覚センサに適用することもできる。以下、１台のカメラによりワークＷを撮像し、生成された画像中のエッジのパターンを登録されたモデルの２次元のエッジパターンと照合することにより、ワークＷの位置および姿勢を認識するタイプの視覚センサを例に、登録対象のモデルのエッジパターンを作成する処理を説明する。
【００８１】
この実施例の視覚センサは、カメラおよび画像入力部の組み合わせが１つになることを除けば、図２に示したのと同様のハードウェア構成を具備する。よって、以下の説明では、適宜、図２の符号を参照して説明する（カメラについては符号を省略する。）。
【００８２】
この実施例では、カメラの光軸が特定の方向に固定され（たとえば、鉛直方向を向く状態に設定される。）、処理対象のワークＷが常に特定の部位で支持される状態で配置されること（たとえば、図６または図８に示した配置）を前提にする。この場合の基本モデルは、画像に現れるワークＷのエッジパターンを実寸法で表すものであり、たとえば２次元のＣＡＤデータにより生成される。また、この実施例の視覚センサ１００では、あらかじめキャリブレーション処理の結果に基づいて、カメラにより生成される画像の倍率（１画素当たりの実寸法）を特定し、この倍率をメモリ２３内に登録する。
【００８３】
図１２は、上記の前提による視覚センサ１００において、基本モデルから実用モデルを作成する処理の手順を示す。この処理では、まず、コンパクトディスクからエッジパターンの基本モデルを読み出す処理を実行し（ＳＴ２１）、メモリ２３に登録された倍率に基づき、この基本モデルを画像に適合するサイズに変換する（ＳＴ２２）。以下、この変換後のエッジパターンを「変換モデル」という。
【００８４】
ユーザは、上記の前提条件を守りながら、計測方向に対するワークＷの向きを想定される範囲で毎回変更して、撮像開始の指示操作を行う。この操作が行われる都度、カメラによる撮像処理、生成された画像からエッジを抽出する処理、抽出されたエッジのパターンを変換モデルと照合する処理が実行される（ＳＴ２３〜ＳＴ２６）。
【００８５】
なお、ＳＴ２６の照合処理では、画像から抽出されたエッジのパターンと変換モデルとを、位置関係を毎回変更して対応づけて、一致度が最大になったときの対応関係を正しいものとして特定する。また、この正しい対応関係における変換モデルから、照合対象のエッジに対応づけられなかった情報を特定する。
【００８６】
所定の時点で終了操作が行われると、ＳＴ２３〜２７のループを終了してＳＴ２８に進む。このＳＴ２８では、計測が不安定な情報を削除対象とする目的で、変換モデルを構成するエッジ情報のうち、画像側のエッジに対応づけられなかった割合が基準値を超えた情報を不要な情報として特定する。さらに、この不要情報を変換モデルから削除し（ＳＴ２９）、削除後の変換モデルを実用モデルとしてメモリ２３に登録する（ＳＴ３０）。
【００８７】
上記のとおり、ワークＷの２次元形状を表す特徴データを用いた認識処理を行う場合には、ワークＷのカメラによる視認が可能な範囲内の実寸大の形状を表す２次元パターンを基本モデルとして視覚センサ１００に入力し、実際の計測におけるのと同じ姿勢で配置されたワークＷに対する計測結果を基本モデルと照合し、基本モデルから計測結果に対応しない割合が高い情報を削除することにより、照明の変動などによる不安定な要素を含まない実用モデルを作成することができる。また、ワークＷの配置やカメラの光軸方向に関する設定内容が一致する複数の視覚センサに同一の基本モデルを入力して、それぞれのセンサに適した実用モデルを作成することができる。
【００８８】
なお、上記の２次元の認識処理を行う場合の視覚センサ１００に導入される基本モデルも、ＣＡＤデータによるものに限らない。たとえば、設置環境が良好な状態の視覚センサ１００において、ワークＷの撮像および生成された画像からエッジを抽出する処理によって、このセンサによる倍率で表したモデルデータを作成した後に、このモデルデータを上記の倍率に基づき実寸法を示す情報に変換したものを基本モデルとしてもよい。または視覚センサで作成したモデルデータと倍率との組み合わせを基本モデルとしてもよい。
【００８９】
さらに、同一のワークＷを処理対象とするが、ワークＷの底面とする面が視覚センサ１００によって異なる場合（たとえば図６の例の配置を採用するセンサと、図８の例の配置を採用するセンサとがある場合）には、ワークＷの表面の全輪郭形状を表す３次元情報を基本モデルとして各センサに入力して、実用モデルを作成することができる。簡単に説明すると、この場合には、３次元の基本モデルを視覚センサ１００に入力した後に、そのセンサ１００におけるワークＷの配置状態に合わせて基本モデルを回転補正し、さらに補正後の基本モデルをカメラ座標系に透視変換する。そして、この変換により生成された２次元のエッジパターンを変換モデルとして、図１２のＳＴ２３以降の処理を実行する。
【００９０】
最後に、上記した各種構成による視覚センサ１００は、認識対象のワークＷの位置および姿勢を認識する処理を実行する以外に、計測結果をモデルデータと照合したときの一致度に基づいて、ワークＷの姿勢または形状の適否を判定する目的に利用することもできる。また２次元のエッジパターンの抽出および照合を行うタイプの視覚センサ１００においては、図１２に示した方法により登録したモデルデータを複数とおりの倍率で表し、ワークＷの画像から抽出したエッジパターンを各倍率のモデルデータと照合することにより、ワークＷの位置および姿勢に加えて、ワークＷの高さを認識することも可能である。
【符号の説明】
【００９１】
Ａ，Ｂ，Ｃ カメラ
Ｗ ワーク
１ ステレオカメラ
２ 認識処理装置
２２ ＣＰＵ
２３ メモリ
１００ 視覚センサ
【技術分野】
【０００１】
本発明は、認識対象の物体をカメラにより撮像し、生成された画像を用いて２次元または３次元の計測処理を実行することにより取得した特徴データをあらかじめ登録したモデルデータと照合することによって、所定の認識処理を実行する視覚センサに関する。特に本発明は、上記の認識処理に用いるモデルデータを視覚センサに登録する処理に関する。
【背景技術】
【０００２】
物体の外形の３次元情報のモデルデータを作成する方法として、たとえば特許文献１に開示されたものがある。
この特許文献１に記載の発明では、ステレオ計測により３次元情報を復元することを前提として、物体の実物モデルを、計測方向を毎回変更して複数回計測する。さらに、毎時の計測により復元された３次元情報を相互に照合して位置合わせを行い、位置合わせ後の情報を統合することによって、種々の方向からの計測に対応可能なモデルデータを作成する。
【０００３】
また、特許文献１や下記の非特許文献１には、物体の輪郭線の３次元情報を復元する方法として、「セグメントベーストステレオ」という手法が開示されている。この方法は、ステレオ画像を構成する各画像に含まれるエッジを、連結点や分岐点を基準に直線や曲線のセグメントに分割し、セグメント単位でステレオ対応検索を行って、所定数の３次元座標を算出するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第２９６１２６４号公報
【非特許文献】
【０００５】
【非特許文献１】「セグメントベーストステレオにおける連結性に基づく対応評価」 情報処理学会論文誌 ｖｏｌ．４０，Ｎｏ．８，３２１９−３２２９ページ，１９９９年８月発行
【発明の概要】
【発明が解決しようとする課題】
【０００６】
視覚センサにモデルデータを登録する処理では、一般に、登録対象の視覚センサに良好な形状の認識対象物を供給して、実際に撮像や計測を実行し、計測により取得した特徴データをベースにしてモデルデータを作成する。また、認識精度を確保するために、作成されたモデルデータによる試験的な認識を行って、その認識結果に基づいてモデルデータを修正し、精度が極端に悪い場合には、必要に応じてモデルデータを作成し直すなど、登録対象のモデルデータを決定するまでにかなりの時間や労力を費やす。
【０００７】
このように、視覚センサにモデルを登録する作業には大きな負荷がかかるため、同一の工程を実行する生産ラインを複数持つ現場からは、これらのラインの１つに配置された視覚センサに登録したモデルデータを、他のラインの視覚センサに移植したい、という要望があがっている。しかし、実際には、照明条件がラインによって異なったり、外光の影響を受けるラインがあったり、カメラの特性のばらつきによりコントラストが異なる画像が生成されるなどの原因により、各視覚センサが生成する画像の状態にばらつきが生じるため、各視覚センサに同一のモデルデータを登録するのは困難である。
【０００８】
一方、視覚センサ毎にモデルデータを作成する場合には、モデルデータの作成に関わる作業者がセンサによって異なると、モデルデータに設定される内容に作業者によるばらつきが生じ、そのばらつきにより各ラインにおける処理の安定性にばらつきが生じるおそれがある。
【０００９】
上記の点に関して、発明者らは、ＣＡＤデータなどの設計データを計測に応じたデータ形式に変換することによって、センサの設置条件や計測条件の違いによる影響を受けないモデルデータを自動作成し、これを各視覚センサに導入することを検討した。しかし、設計データから導き出されたモデルデータには、視覚センサで計測できる範囲を超える情報が含まれるため、計測結果と照合すると、モデルデータ中に計測結果に対応づけされない情報が多数生じて、一致度がかえって低下することが判明した。
【００１０】
本発明は上記の問題点に着目し、個々の視覚センサの設置環境や計測条件に適合し、認識精度が確保されたモデルデータを容易に作成できるようにすることを、課題とする。
【課題を解決するための手段】
【００１１】
本発明によるモデルデータの登録方法は、認識対象の物体を少なくとも１台のカメラにより撮像し、生成された画像を用いた計測処理により物体の形状を表す特徴データを取得し、取得した特徴データを、あらかじめ登録したモデルデータと照合することにより物体に対する認識処理を実行する視覚センサにおいて実施されるもので、以下の第１〜第４のステップを実行することを特徴とする。
【００１２】
第１ステップでは、認識対象の物体について、当該物体の視覚認識が可能な範囲の実寸大の形状を表す基本モデルデータを入力する。
「視覚認識が可能な範囲」とは、一般には、物体の表面の全範囲を意味するが、物体の表面であっても、計測時の物体の姿勢に制約があるなどの事情により、いずれの視覚センサのカメラでも観測できない部位がある場合には、その部位を「視覚認識が可能な範囲」から外して、基本モデルデータに含めないようにしてもかまわない。一方、本発明では、物体の内部構造などの視覚認識が不可能な部位の情報を含む基本モデルデータを入力することを、なんら排除するものではない。
【００１３】
「実寸大の形状を表す３次元情報」は、輪郭形状を表す情報として構成される場合もあれば、物体の表面を表す座標の集合により構成される場合もある。また、文字どおり、実寸法を表すものに限らず、実寸法をあらかじめ定めた比率で縮小したサイズを表すものも含む。
【００１４】
第２ステップでは、認識対象の物体の実物モデルを処理対象として、カメラによる撮像および計測処理、ならびに計測処理により取得した実物モデルの特徴データを、基本モデルデータまたは基本モデルデータを変換処理したデータ（以下、「変換モデルデータ」という。）と照合する処理を、所定サイクル実行する。第３ステップでは、第２ステップで実物モデルの特徴データと照合されたデータ（第２ステップの処理対象となった基本モデルデータまたは変換モデルデータを意味する。）から、実物モデルの特徴データに対応づけることができなかったデータを削除し、残されたデータを登録対象のモデルデータに設定する。
【００１５】
上記の方法によれば、認識対象の物体について自装置が必要とする以上の情報を含む基本モデルデータを入力し、この基本モデルデータまたは当該基本モデルデータから生成した変換モデルデータを自装置で実物モデルに対して行った計測結果と照合する。そして、照合処理の対象とされた基本モデルデータまたは変換モデルデータから、実物モデルの特徴データに対応づけられなかったデータを、自装置での処理には不要なデータとして削除する。
【００１６】
上記の照合処理では、カメラと実物モデルとの位置関係を実際の計測の際に想定される関係に設定して、視覚センサが設置される環境やカメラの特性に応じた画像を生成し、その画像から取得した特徴データを基本モデルデータまたはその変換データと照合するのが望ましい。このようにすれば、照合で対応付けされなかったデータを削除することによって、残りのデータは、おのずと視覚センサが行うべき認識処理に適合するものとなり、モデルデータの精度を検証する作業を不要、または大幅に削減することができる。また、作業者によりモデルデータを修正する必要もなくなるので、モデルデータの精度にばらつきが生じるのを防止することができる。
【００１７】
また、認識対象の物体の視覚認識が可能な範囲の実寸大の形状を表す情報を基本モデルデータとするので、同じ物体を認識対象とする全ての視覚センサに同一の基本モデルデータを導入し、各視覚センサで上記の方法を実行することができる。よって、十分な精度の基本モデルデータを準備しておけば、各視覚センサにおいて、この基本モデルデータを、自装置の認識処理に適したモデルデータに作り替えて登録することができる。
【００１８】
以下、第３ステップの処理について３つの実施態様を説明する。
まず第１の態様における第３ステップでは、実物モデルの特徴データと照合されたデータのうち、第２ステップで実行されたすべてのサイクルの照合処理において実物モデルの特徴データに対応づけることができなかったデータを、削除の対象に設定する。
【００１９】
上記の態様によれば、この方法を実施している視覚センサでは計測される可能性が殆どない特徴データに対応するデータを不要な情報として設定し、基本モデルデータまたは変換モデルデータから不要な情報を除いたものをモデルデータとして登録することができる。よって、計測により得た特徴データの中からモデルデータに対応するものを安定して抽出することができ、認識精度を確保することができる。
【００２０】
第２の態様における第３ステップでは、実物モデルの特徴データと照合されたデータのうち、第２ステップの照合処理において実物モデルの特徴データに対応づけることができなかった回数またはその割合が所定の基準値を上回るデータを、削除の対象に設定する。
【００２１】
上記の態様によれば、視覚センサでの計測が可能であるが、照明条件の変動などによって計測が不安定になる情報を、モデルデータに含めないようにすることができる。よって、不安定な情報による照合が行われるのを防止して、認識精度を高めることができる。
【００２２】
第３の態様による第３ステップでは、実物モデルの特徴データと照合されたデータのうち、第２ステップで実行されたいずれかの照合処理において実物モデルの特徴データに対応づけることができない状態が生じた情報を、削除対象に設定する。
【００２３】
上記の態様によれば、基本モデルデータ又は変換モデルデータから、実物モデルの特徴データへの対応づけに１回でも失敗したものを不要な情報として削除することにより、認識対象の物体につき、ほぼ確実に計測することができる情報のみを含むモデルデータを作成することができる。よって、認識処理の安定度をより一層高めることができる。
【００２４】
上記の方法において、計測処理として、認識対象の物体の３次元形状を表す特徴データを取得する３次元の計測処理を実行する場合には、第１ステップでは、基本モデルデータとして、物体の視覚認識可能な範囲の実寸大の形状を少なくとも表す３次元情報を入力する。また第２ステップの照合処理では、実物モデルから取得した特徴データを基本モデルデータが示す３次元情報と照合する。
【００２５】
一方、計測処理として、カメラにより生成された画像中の物体のエッジを取得する２次元の計測処理を実行する場合もある。この場合の第１ステップでは、基本モデルデータとして、物体を特定の姿勢で配置してカメラにより撮像したときに画像中に現れるエッジパターンを実寸法で表した２次元情報を入力する。また第２ステップの照合処理では、実物モデルの画像から取得したエッジのパターンを基本モデルデータが示すエッジパターンと照合する。
【００２６】
このように、本発明による方法は、２次元の計測を行う装置、３次元の計測を行う装置の双方に適用することが可能である。
【００２７】
上記の方法が適用された視覚センサは、認識対象の物体について、当該物体の視覚認識が可能な範囲の実寸大の形状を表す基本モデルデータを入力するための入力手段と、認識対象の物体の実物モデルが処理対象となることを条件として、カメラによる撮像および計測処理、ならびに計測処理により取得した実物モデルの特徴データを、入力手段より入力した基本モデルデータまたは当該基本モデルデータを変換処理したデータと照合する処理を、所定サイクル実行する実物モデル処理手段と、実物モデルの特徴データと照合されたデータから、実物モデル処理手段が実行した照合処理において実物モデルの特徴データに対応づけることができなかったデータを削除し、残されたデータを登録対象のモデルデータとして設定するモデルデータ設定手段とを、具備する。
【００２８】
上記の構成によれば、あらかじめ認識対象の物体について、視覚認識が可能な範囲の実寸大の形状を精度良く表す情報を生成して、これを基本モデルデータとして視覚センサに入力すると共に、計測条件に応じた状態で配置された実物モデルをカメラの視野に導入して、モデル処理手段およびモデル設定手段による処理を順に実行することにより、視覚センサの設置される環境や計測条件などに適合したモデルデータを作成し、登録することができる。
【発明の効果】
【００２９】
本発明によれば、同種の物体を認識対象とする複数の視覚センサに対し、これらのセンサが認識対象とする物体の視覚可能な範囲の実寸大の形状を表す基本モデルデータを１つ準備し、この基本モデルデータを各視覚センサに入力して、それぞれの視覚センサの設置環境、カメラの特性、計測条件などに適合したモデルデータに作り替えて登録することができる。よって、個々の視覚センサにおけるモデルデータの登録処理を効率良く行うことができる。
【００３０】
また認識対象の物体の実物モデルを実際の処理と同様の条件で撮像して計測し、この計測結果に対応づけられる情報によるモデルデータを作成するから、このモデルデータの精度を自然と確保することができるから、このモデルデータをもって安定した認識処理を実行することが可能である。
【図面の簡単な説明】
【００３１】
【図１】ピッキングシステムの構成例を示す図である。
【図２】視覚センサの電気構成を示すブロック図である。
【図３】上記の視覚センサにおいて実施される３次元認識処理の手順を示すフローチャートである。
【図４−１】認識対象のワークの構成例を示す斜視図および底面図である。
【図４−２】認識対象のワークの構成例を示す側面図である。
【図５】図４に示したワークの基本モデルのデータ構成を示す図である。
【図６】計測時のワークの配置例を示す図である。
【図７】図６の配置状態のワークを用いて作成した実用モデルのデータ構成を示す図である。
【図８】計測時のワークの配置の他の例を示す図である。
【図９】図８の配置状態のワークを用いて作成した実用モデルのデータ構成を示す図である。
【図１０】モデル登録処理の手順を示すフローチャートである。
【図１１】ワークに影が発生するか否かにより実用モデルのデータ構成が変化する例を示す図である。
【図１２】２次元の認識処理を行う視覚センサにおけるモデル登録処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００３２】
図１は３次元視覚センサが導入されたピッキングシステムの構成例を示す。
このピッキングシステムは、工場内で収容ボックス６に収容されたワークＷを１つずつ取り出して所定の位置に搬送する作業を行うためのもので、作業を行う多関節ロボット４や、このロボット４の動作を制御するロボット制御装置３のほか、処理対象のワークＷを認識する３次元視覚センサ１００が含まれる。
【００３３】
３次元視覚センサ１００は、ステレオカメラ１と認識処理装置２とにより構成される。
ステレオカメラ１は、横並びに配置された３台のカメラＡ，Ｂ，Ｃにより構成される。認識処理装置２は、専用のプログラムが格納され、表示部２５や、キーボード、マウスなどによる入力部２４が接続されたパーソナルコンピュータにより構成される。
【００３４】
認識処理装置２は、各カメラＡ，Ｂ，Ｃを用いたステレオ計測処理によってワークＷの輪郭線の３次元情報を取得した後、取得した３次元情報をあらかじめ登録された３次元のモデルデータ（以下、「３次元モデル」という。）と照合することにより、ワークＷの位置および姿勢を認識する。ロボット制御装置３は、認識処理装置２から上記の認識結果の送信を受け付けて、これに基づきロボット４のアーム４０がワークＷを把持するように、その動作を制御する。
【００３５】
図２は、上記の３次元視覚センサ１００の構成をブロック図により表したものである。
この図に示すように、認識処理装置２には、各カメラＡ，Ｂ，Ｃに対応する画像入力部２０Ａ，２０Ｂ，２０Ｃ、カメラ駆動部２１、ＣＰＵ２２、メモリ２３、入力部２４、表示部２５、通信インターフェース２６、外部ディスク装置２７などが含まれる。
【００３６】
カメラ駆動部２１は、ＣＰＵ２２からの指令に応じて、各カメラＡ，Ｂ，Ｃを同時に駆動する。なお、キャリブレーション処理や３次元モデルを登録する処理を行う場合には、このカメラ駆動は、入力部２４から撮像開始の指示を受け付けたことに応じて行われる。
【００３７】
表示部２５および入力部２４は、キャリブレーション処理や３次元モデルの作成処理の際に、設定のための情報の入力や撮像開始の指示を行ったり、作業を支援するための情報を表示したり、作成された３次元モデルの投影像を確認する目的で使用される。
【００３８】
通信インターフェース２６は、ロボット制御装置３との通信に用いられる。外部ディスクドライブ２７は、コンパクトディスクなどの記憶媒体に情報を読み書きするためのもので、この実施例では、後記する基本モデルデータを読み出す目的に使用される。
【００３９】
メモリ２３は、ＲＯＭ，ＲＡＭ，およびハードディスクなどの大容量メモリを含むもので、キャリブレーション処理、３次元モデルの作成、およびワークＷの３次元認識処理のためのプログラムや設定データが格納されている。また、キャリブレーション処理で算出された３次元計測用のパラメータや３次元のモデルデータも、メモリ２３内の専用のエリアに登録される。
【００４０】
ＣＰＵ２２は、メモリ２３のプログラムに基づき、キャリブレーション処理を実行して、３次元計測用のパラメータの算出および登録を行った後に、認識処理用のモデルデータの作成および登録処理を実行する。この２種類の設定処理を実行することによって、視覚センサ１００は、ワークＷに対する３次元計測や認識処理を実行することが可能な状態になる。
【００４１】
図３は上記の３次元視覚センサ１００において、ワークＷを認識するために実行される処理手順を示す。以下、このフローチャートに沿って、認識処理の概要を説明する。
【００４２】
まず、カメラＡ，Ｂ，Ｃによるステレオ撮像を実行し（ＳＴ１）、生成された各画像からエッジを抽出する（ＳＴ２）。
【００４３】
つぎに検出されたエッジを細線化し（１画素幅のデータにする。）、細線化後のエッジを連結点や分岐点を基準に直線や曲線のセグメントに分割する（ＳＴ３，４）。この２次元画像上のエッジから抽出されたセグメントを、以下では「２次元セグメント」と呼ぶ。
【００４４】
つぎに、画像間で対応関係にある２次元セグメントを対応づける処理を実行する（ＳＴ５）。具体的には、３つの画像のうちの１つを基準画像として、この基準画像の各２次元セグメントに順に着目し、着目した２次元セグメントにつき、エピポーラ条件を満たすこと、および近傍のセグメントとの連結関係が着目中の２次元セグメントに整合することを条件として、他の２つの画像において条件を満たす２次元セグメントを探索する。この探索処理により、２つの画像で、ともに条件を満たす２次元セグメントが検出された場合には、これらを着目中の２次元セグメントに対応づける。
なお、各画像間での対応づけがなされなかった２次元セグメントは、以下の処理の対象から除外される。
【００４５】
上記の対応付け処理が終了すると、ＳＴ６に進み、対応づけられた２次元セグメントの組み合わせ毎に、３次元情報を復元する処理を実行する。この復元された３次元情報により表される３次元のセグメントを、以下では「３次元セグメント」という。
【００４６】
ここで対応づけられた１組の２次元セグメントから１つの３次元セグメントを復元する処理について説明する。
まず対応づけられた２次元セグメント間で、さらに画素単位の対応づけを行い、対応づけられた画素の組毎に３次元座標を算出する。さらに各３次元座標の分布パターンに近似する直線または曲線を設定し、設定された直線または曲線を所定の間隔毎にサンプリングする。そして、サンプリングされた３次元座標による集合に、各３次元座標の分布パターンに応じた属性（直線または曲線）を対応づけたものを、３次元セグメントとして確定する。
【００４７】
ＳＴ６では、２次元セグメントのすべての組み合わせについて上記の処理を実行することにより、ワークＷの輪郭形状を表す複数の３次元セグメントによる３次元情報を復元する。この処理が終了すると、つぎのＳＴ７では、復元した３次元情報をあらかじめ登録したモデルデータと照合することにより、ワークＷの位置および姿勢を認識する。
【００４８】
上記ＳＴ７の処理について、具体的に説明する。この実施例では、モデルデータとして、ワークＷの計測され得る範囲の輪郭形状を表す３次元セグメントが登録されており、ＳＴ７では、各３次元セグメントの交点を特徴点として、モデルデータ側の各特徴点と復元された３次元情報における各特徴点とを総当たり式に対応づけながら、両者の一致度を算出する。そして、所定の基準値を超える一致度が得られたときの対応づけを正しいものとして、モデルデータ中の代表点（たとえば重心）に対応づけられた座標をワークＷの位置として特定する。またこの正しい対応づけにおけるモデルデータの回転角度をワークの姿勢として特定する。
【００４９】
さらに上記の照合処理では、３次元モデルに対する一致度が基準値を超える対応づけが複数見つかった場合には、それぞれの対応づけ毎に、座標および回転角度を特定する。よって、複数のワークＷを対象にステレオ計測が実施された場合でも、各ワークＷを個別に認識することができる。
【００５０】
ワークＷの位置および姿勢が認識されると、この後は、通信インターフェース２６を介して認識結果をロボットコントローラ３に出力し（ＳＴ８）、処理を終了する。
【００５１】
上記の認識処理の精度を確保するには、精度の良いモデルデータを登録する必要がある。この点につき、この実施例では、図１に示したシステム外のコンピュータにおいて、ワークＷのＣＡＤデータを３次元セグメント形式の情報に変換することにより、ワークＷの全輪郭形状を実寸法で表した３次元情報を作成し、これをワークの基本のモデルデータ（以下、「基本モデル」という。）とする。作成された基本モデルはコンパクトディスクに保存されて、ユーザに提供される。
【００５２】
ユーザは、このコンパクトディスクを認識処理装置２の外部ディスクドライブ２７にセットして、３次元モデルの作成処理を開始する。ここでユーザは、ワークＷの実物モデルを実際に計測する場合と同様の姿勢にしてステレオカメラ１の計測領域に配置し、入力部２４より撮像を指示する。認識処理装置２では、この指示に応じて図３のＳＴ１〜ＳＴ６の各ステップに相当する処理を実行し、復元された実物モデルの３次元情報を外部ディスクドライブ２７より読み出した基本モデルと照合する。
【００５３】
さらにこの実施例では、計測時に取り得る範囲内でワークＷの姿勢を毎回変更して、上記のステレオ計測および照合処理を複数サイクル実行する。そして、基本モデル側の３次元セグメントのうち、いずれのサイクルの照合処理でもステレオ計測の結果に対応づけされなかった情報を、認識処理に不要な情報と判別する。そして基本モデルから不要な情報を削除したものを、図３の認識処理に使用するモデルデータ（以下「実用モデル」という。）としてメモリ２３に登録するようにしている。
【００５４】
図４は、視覚センサの認識対象となるワークＷの具体的な構成例を、斜視図および背面図（図４−１の（１）（２））、および三方から見た側面図（図４−２の（３）（４）（５））により示す。これらの図に示すように、この実施例のワークＷは、厚みのある板体３０の背面に３個の取付片４１，４２，４３を具備する取付金具４０を一体に設けた構成のものである。各取付片４１，４２，４３は、取り付け金具４０の本体部の三辺からそれぞれ異なる傾斜角度をもって後方に突出している。また取付片４１，４２の先端部は屈曲しているのに対し、取付片４３は、まっすぐに延びた状態に形成されている。なお、図４では、板体３０の厚み部分の面を、符号３２，３３，３４，３５により示す。
【００５５】
上記のワークＷは、板体３０の前面３１を上に向けることにより、取付片４２，４３によって板体３０を水平な状態にして支持される（このときの取付片４１は浮いた状態になる。）。また後記する図８に示すように、面３３を底面として、板体３０を垂直な状態にして支持される場合もある。
【００５６】
図５は、上記のワークＷの基本モデルのデータ構成を、図４の斜視図に合わせた模式図として示す。この基本モデルＭ０は、ＣＡＤデータを変換処理することにより生成されたもので、ワークＷのすべての輪郭線（図中、一点鎖線で示す。）を表す３次元セグメント情報（３次元セグメントの集合）が含まれている。
【００５７】
図６は、ワークＷの実物モデル（以下、これを単に「ワークＷ」という。）を図４に示した支持状態にして配置したものを、ステレオカメラ１により計測される方向から見たののである。ただし、計測方向に対するワークＷの姿勢は一定ではなく、図中の矢印ｆの方向に沿って回転した姿勢をとる可能性がある。
【００５８】
図６の例の場合には、板体３０の前面３１の真上から計測を行うため、計測が可能となるのは、板体３０の前面３１、および取付片４１，４２，４３の先端部付近であり、板体３０の背面３２や取付金具４０の本体部分を計測することは不可能になる。
【００５９】
図７は、上記の計測条件による計測結果を図５に示した基本モデルＭ０と照合することにより作成した実用モデルＭ１の例を示す。なお、この図７および後記する図９では、削除された情報を極細点線により表現している。
【００６０】
この実用モデルＭ１は、計測方向に対し、ワークＷを図６の矢印ｆの方向に沿って所定角度ずつ回転させて、撮像および計測を繰り返し行い、毎回の計測により取得した３次元情報を基本モデルと照合し、ワークＷの３次元情報に対応づけられなかった情報を基本モデルから削除することにより得られたものである。この結果、実用モデルＭ１に含まれるのは、実際に計測される箇所（板体３０の前面および取付片４１，４２，４３の先端部）に対応する情報のみとなっている。
【００６１】
図８は、ステレオカメラ１に対するワークＷの他の配置例を示す。この例のワークＷは、板体３０の取付片が設けられていない方位にある面３３を底面とすることにより、板体３０を垂直に起立させた状態で配置される。図８では、計測方向に対してワークＷが取り得る３通りの姿勢を、示している。このようにワークＷの姿勢は一定ではないが、この例では、板体３０の背面が計測されることはないものとする。
【００６２】
図９は、図８のように配置されたワークＷに対して複数回のステレオ計測を実行し、各計測により取得した３次元情報と基本モデルＭ０とを照合することにより生成された実用モデルの例を示す。この実用モデルＭ３も、基本モデルＭ０からワークＷの計測結果を対応づけられなかった情報を削除することにより生成されたものである。
【００６３】
上記の各例に示したように、この実施例の視覚センサ１００が作成する実用モデルＭ１，Ｍ２は、基本モデルＭ０に含まれる３次元情報から、実際のワークＷに対する計測処理では取得することができない情報を削除したものである。いずれの実用モデルＭ１，Ｍ２も、実際に認識されるものと同様の姿勢で配置されたワークＷに対する計測結果に対応するように作成されているので、これらの実用モデルＭ１，Ｍ２を用いた認識処理では、計測処理により得た３次元情報と実用モデルとが正しく対応づけられたときに、実用モデルの殆どの情報が計測された３次元情報に対応する状態になる。よって、十分な一致度をもってワークＷを認識することができ、安定した認識を行うことができる。
【００６４】
図１０は、実用モデルを作成する際の処理手順を示す。
この処理は、作業者が基本モデルが格納されたコンパクトディスクを外部ディスクドライブ２７にセットして、読み出し操作を行ったことに応じて開始される。まず最初のステップ（ＳＴ１１）では、読み出し操作に従って基本モデルを読み出し、これをメモリ２３の作業領域に格納する。
【００６５】
ここで作業者は、ステレオカメラ１の計測領域に、実際に計測されるときと同様の姿勢でワークＷを配置し、撮像指示操作を行う。この操作に応じてＳＴ１２が「ＹＥＳ」となり、ステレオ撮像を実行する（ＳＴ１３）。さらに、この撮像により生成されたステレオ画像を用いた計測処理により、ワークＷの３次元情報を取得する（ＳＴ１４）。なお、図１０のＳＴ１４は、図３のＳＴ３〜ＳＴ６に相当する処理をまとめて表したもので、これにより、ワークＷの輪郭形状を表す特徴データとして、複数の３次元セグメントを取得することになる。
【００６６】
つぎのＳＴ１５では、上記の計測処理により取得した３次元情報（特徴データ）を基本モデルと照合する。この場合にも、図３のＳＴ７の処理と同様に、計測による特徴点と基本モデル側の特徴点とを総当たり式で対応づけて一致度を求める処理を繰り返し、両者の一致度が最も高い状態になったときの対応関係を正しい関係として特定する。さらに、基本モデルに含まれる３次元情報の中から、上記の正しい対応関係にあるときに特徴データに対応づけられなかった情報を特定する処理も実行する。
【００６７】
この後も、作業者は、実際の計測で想定される範囲内でワークＷの姿勢を種々に変更して撮像指示操作を行う。視覚センサ１００では、この操作に応じて、ＳＴ１３，１４，１５の各処理を実行する。
【００６８】
以下、同様に、撮像指示操作に応じて、ステレオ撮像および計測処理、ならびに計測処理により得た特徴データと基本モデルとを照合する処理が繰り返し実行される。所定の時点で、作業者が必要な撮像を実行したと判断して終了操作を行うと（ＳＴ１６が「ＹＥＳ」）、毎回の照合処理の結果に基づき、基本モデル内の３次元情報のうち、いずれの照合処理においても計測データに対応づけられなかった情報を、不要情報として特定する（ＳＴ１７）。
【００６９】
この後は、基本モデルから特定した不要情報を削除し（ＳＴ１８）、残された情報を実用モデルとしてメモリ２３に登録する（ＳＴ１９）。
【００７０】
なお、実用モデルの登録は、作業者による確認作業を経てから実行してもよい。たとえば、不要情報を削除した後の情報をカメラＡ，Ｂ，Ｃの座標系に透視変換し、この変換処理により生成された投影像を表示部２５に表示し、表示された投影像が実物のワークＷの画像に適合しているか否かを作業者に判断させてもよい。
【００７１】
上記の手順によれば、ワークＷを処理対象とする複数の視覚センサ１００に同一の基本モデルＭ０を入力し、各視覚センサ１００において、それぞれその装置の計測条件に応じた実用モデルを作成することができる。たとえば、ワークＷを図６に示すような条件で計測する視覚センサ１００と、ワークＷを図８で示すような条件で計測する視覚センサ１００とに、それぞれ図５に示した構成の基本モデルＭ０を入力して、各センサ１００において上記図１０の処理を実行すれば、前者のセンサ１００には、図７に示した実用モデルＭ１が、後者のセンサ１００には図９に示した実用モデルＭ２が、それぞれ登録され、これらによりワークＷを認識する処理を安定して実行することができる。
【００７２】
さらに、各視覚センサ１００における計測条件が同一であっても、照明の状態やカメラの特性などの違いによって計測が可能な範囲が異なる場合にも、各センサ１００に同一の基本モデルを入力して、上記図１０と同様の方法により、それぞれの計測精度に応じた実用モデルを作成することができる。
【００７３】
図１１は、ワークＷを板体３０のみの構成に模式して、このワークＷに対する照明条件の違いによる実用モデルの構成の違いを示す。この図では、（１）にワークＷの基本モデルの構成を示すとともに、（２）に上面に影が生じているワークＷＡを、（３）に影が発生していないワークＷＢを、それぞれの実用モデルＭＡ，ＭＢとともに示す。
【００７４】
上記の例によれば、影が生じていないワークＷＢを用いてモデル登録処理を行った場合の実用モデルＭＢには、計測対象のすべての輪郭線の情報が含まれるのに対し、上面に影が生じたワークＷＡを用いてモデル登録処理を行った場合の実用モデルＭＢでは、影が生じた面の輪郭線の情報を含まない実用モデルが作成される。このように、影が発生する環境下で計測されるワークＷＡに対し、影により取得できない計測データに対応する情報を除いた実用モデルを設定すれば、影の発生しない環境下で計測されるワークＷＢと同様の精度の認識処理を行うことができる。
【００７５】
なお、外光の影響など、時間の経過に伴って環境を変化させる要因がある場合には、それぞれの環境においてワークＷの撮像および計測を実行し、基本モデルＭ０との照合処理において、ワークＷの特徴データに対応づけられなかった回数、またはこの回数の全照合回数に対する割合が所定の基準値を上回った情報を基本モデルＭ０から削除すれば、計測が不安定な部位の情報を含まない実用モデルを作成することが可能になる。計測が可能になる場合と不可能になる場合とがある部位が存在するような場合も、同様である。
【００７６】
さらに、高い認識精度を要求するような場合には、複数回の照合処理のうちのたとえ１回でも計測データに対応づけることができない状態が生じた情報を、不要情報として基本モデルから削除してもよい。このような厳しい基準を設定すれば、安定して計測することができる部位の情報のみを含む実用モデルを作成し、認識処理をより一層安定させることができる。
【００７７】
なお、上記の実施例では、ＣＡＤデータから基本モデルを作成するとしたが、基本モデルの作成方法はこれに限定されるものではない。たとえば、良好な環境を確保した視覚センサ１００の計測エリアに実物のワークＷを導入し、このワークＷに対するステレオ計測を複数の方向から実行し、各計測結果を統合する方法（特許文献１参照。）により基本モデルを作成し、これを各視覚センサ１００に導入することも可能である。
【００７８】
また、上記の実施例では、計測処理として、ワークＷの輪郭形状を表す３次元情報を復元する処理を行うことに伴い、基本モデルや実用モデルも、同様に輪郭形状を表す３次元情報により構成したが、３次元計測の手法は、これに限定されるものではない。
【００７９】
たとえば、ステレオ計測や光切断法などによりワークＷの表面の形状を表す３次元座標の集合を取得し、この集合を登録されたモデルデータと照合する場合もある。このような計測を行うタイプの視覚センサについても、ワークＷの表面全体の形状を表す３次元座標群を基本モデルとして入力し、実物のワークＷに対する撮像および計測、ならびに計測処理により取得した３次元座標群（特徴データ）を基本モデルと照合する処理を実行し、基本モデルからワークＷの特徴データに対応づけられなかった座標を削除したものを、実用モデルとして登録することができる。
【００８０】
さらに、上記の実用モデルの作成方法は、３次元の認識処理を行うタイプの視覚センサに限らず、２次元の認識処理を行うタイプの視覚センサに適用することもできる。以下、１台のカメラによりワークＷを撮像し、生成された画像中のエッジのパターンを登録されたモデルの２次元のエッジパターンと照合することにより、ワークＷの位置および姿勢を認識するタイプの視覚センサを例に、登録対象のモデルのエッジパターンを作成する処理を説明する。
【００８１】
この実施例の視覚センサは、カメラおよび画像入力部の組み合わせが１つになることを除けば、図２に示したのと同様のハードウェア構成を具備する。よって、以下の説明では、適宜、図２の符号を参照して説明する（カメラについては符号を省略する。）。
【００８２】
この実施例では、カメラの光軸が特定の方向に固定され（たとえば、鉛直方向を向く状態に設定される。）、処理対象のワークＷが常に特定の部位で支持される状態で配置されること（たとえば、図６または図８に示した配置）を前提にする。この場合の基本モデルは、画像に現れるワークＷのエッジパターンを実寸法で表すものであり、たとえば２次元のＣＡＤデータにより生成される。また、この実施例の視覚センサ１００では、あらかじめキャリブレーション処理の結果に基づいて、カメラにより生成される画像の倍率（１画素当たりの実寸法）を特定し、この倍率をメモリ２３内に登録する。
【００８３】
図１２は、上記の前提による視覚センサ１００において、基本モデルから実用モデルを作成する処理の手順を示す。この処理では、まず、コンパクトディスクからエッジパターンの基本モデルを読み出す処理を実行し（ＳＴ２１）、メモリ２３に登録された倍率に基づき、この基本モデルを画像に適合するサイズに変換する（ＳＴ２２）。以下、この変換後のエッジパターンを「変換モデル」という。
【００８４】
ユーザは、上記の前提条件を守りながら、計測方向に対するワークＷの向きを想定される範囲で毎回変更して、撮像開始の指示操作を行う。この操作が行われる都度、カメラによる撮像処理、生成された画像からエッジを抽出する処理、抽出されたエッジのパターンを変換モデルと照合する処理が実行される（ＳＴ２３〜ＳＴ２６）。
【００８５】
なお、ＳＴ２６の照合処理では、画像から抽出されたエッジのパターンと変換モデルとを、位置関係を毎回変更して対応づけて、一致度が最大になったときの対応関係を正しいものとして特定する。また、この正しい対応関係における変換モデルから、照合対象のエッジに対応づけられなかった情報を特定する。
【００８６】
所定の時点で終了操作が行われると、ＳＴ２３〜２７のループを終了してＳＴ２８に進む。このＳＴ２８では、計測が不安定な情報を削除対象とする目的で、変換モデルを構成するエッジ情報のうち、画像側のエッジに対応づけられなかった割合が基準値を超えた情報を不要な情報として特定する。さらに、この不要情報を変換モデルから削除し（ＳＴ２９）、削除後の変換モデルを実用モデルとしてメモリ２３に登録する（ＳＴ３０）。
【００８７】
上記のとおり、ワークＷの２次元形状を表す特徴データを用いた認識処理を行う場合には、ワークＷのカメラによる視認が可能な範囲内の実寸大の形状を表す２次元パターンを基本モデルとして視覚センサ１００に入力し、実際の計測におけるのと同じ姿勢で配置されたワークＷに対する計測結果を基本モデルと照合し、基本モデルから計測結果に対応しない割合が高い情報を削除することにより、照明の変動などによる不安定な要素を含まない実用モデルを作成することができる。また、ワークＷの配置やカメラの光軸方向に関する設定内容が一致する複数の視覚センサに同一の基本モデルを入力して、それぞれのセンサに適した実用モデルを作成することができる。
【００８８】
なお、上記の２次元の認識処理を行う場合の視覚センサ１００に導入される基本モデルも、ＣＡＤデータによるものに限らない。たとえば、設置環境が良好な状態の視覚センサ１００において、ワークＷの撮像および生成された画像からエッジを抽出する処理によって、このセンサによる倍率で表したモデルデータを作成した後に、このモデルデータを上記の倍率に基づき実寸法を示す情報に変換したものを基本モデルとしてもよい。または視覚センサで作成したモデルデータと倍率との組み合わせを基本モデルとしてもよい。
【００８９】
さらに、同一のワークＷを処理対象とするが、ワークＷの底面とする面が視覚センサ１００によって異なる場合（たとえば図６の例の配置を採用するセンサと、図８の例の配置を採用するセンサとがある場合）には、ワークＷの表面の全輪郭形状を表す３次元情報を基本モデルとして各センサに入力して、実用モデルを作成することができる。簡単に説明すると、この場合には、３次元の基本モデルを視覚センサ１００に入力した後に、そのセンサ１００におけるワークＷの配置状態に合わせて基本モデルを回転補正し、さらに補正後の基本モデルをカメラ座標系に透視変換する。そして、この変換により生成された２次元のエッジパターンを変換モデルとして、図１２のＳＴ２３以降の処理を実行する。
【００９０】
最後に、上記した各種構成による視覚センサ１００は、認識対象のワークＷの位置および姿勢を認識する処理を実行する以外に、計測結果をモデルデータと照合したときの一致度に基づいて、ワークＷの姿勢または形状の適否を判定する目的に利用することもできる。また２次元のエッジパターンの抽出および照合を行うタイプの視覚センサ１００においては、図１２に示した方法により登録したモデルデータを複数とおりの倍率で表し、ワークＷの画像から抽出したエッジパターンを各倍率のモデルデータと照合することにより、ワークＷの位置および姿勢に加えて、ワークＷの高さを認識することも可能である。
【符号の説明】
【００９１】
Ａ，Ｂ，Ｃ カメラ
Ｗ ワーク
１ ステレオカメラ
２ 認識処理装置
２２ ＣＰＵ
２３ メモリ
１００ 視覚センサ
【特許請求の範囲】
【請求項１】
認識対象の物体を少なくとも１台のカメラにより撮像し、生成された画像を用いた計測処理により前記物体の形状を表す特徴データを取得し、取得した特徴データを、あらかじめ登録したモデルデータと照合することにより前記物体に対する認識処理を実行する視覚センサにおいて、前記照合処理のためのモデルデータを登録する方法であって、
認識対象の物体について、当該物体の視覚認識が可能な範囲の実寸大の形状を表す基本モデルデータを入力する第１ステップと、
前記認識対象の物体の実物モデルを処理対象として、前記カメラによる撮像および前記計測処理、ならびに計測処理により取得した実物モデルの特徴データを前記基本モデルデータまたは基本モデルデータを変換処理したデータと照合する処理を、所定サイクル実行する第２ステップと、
前記第２ステップで前記実物モデルの特徴データと照合されたデータから、実物モデルの特徴データに対応づけることができなかったデータを削除し、残されたデータを登録対象のモデルデータに設定する第３ステップとを、
実行することを特徴とする、視覚認識処理用のモデルデータの登録方法。
【請求項２】
前記第３ステップでは、前記実物モデルの特徴データと照合されたデータのうち、前記第２ステップで実行されたすべてのサイクルの照合処理において前記実物モデルの特徴データに対応づけることができなかったデータを、削除の対象に設定する、請求項１に記載された視覚認識処理用のモデルデータの登録方法。
【請求項３】
前記第３ステップでは、前記実物モデルの特徴データと照合されたデータのうち、前記第２ステップの照合処理において実物モデルの特徴データに対応づけることができなかった回数またはその割合が所定の基準値を下回るデータを、削除の対象に設定する、請求項１に記載された視覚認識処理用のモデルデータの登録方法。
【請求項４】
前記第３ステップでは、前記実物モデルの特徴データと照合されたデータのうち、前記第２ステップで実行されたいずれかの照合処理において実物モデルの特徴データに対応づけることができない状態が生じた情報を、削除の対象に設定する、請求項１に記載された視覚認識処理用のモデルデータの登録方法。
【請求項５】
請求項１〜４のいずれかに記載された方法において、
前記計測処理として、前記認識対象の物体の３次元形状を表す特徴データを取得する３次元の計測処理を実行し、
前記第１ステップでは、基本モデルデータとして、前記物体の視覚認識可能な実寸大の形状を表す３次元情報を入力し、前記第２ステップの照合処理では、前記実物モデルから取得した特徴データを前記基本モデルデータが示す３次元情報と照合する、
視覚認識処理用のモデルデータの登録方法。
【請求項６】
請求項１〜４のいずれかに記載された方法において、
前記計測処理として、前記カメラにより生成された画像中のエッジを取得する処理を実行し、
前記第１ステップでは、基本モデルデータとして、前記物体を特定の姿勢で配置してカメラにより撮像したときに画像中に現れるエッジパターンを実寸法で表した２次元情報を入力し、前記第２ステップの照合処理では、前記実物モデルの画像から取得したエッジのパターンを前記基本モデルデータが示すエッジパターンと照合する、
視覚認識処理用のモデルデータの登録方法。
【請求項７】
認識対象の物体を少なくとも１台のカメラにより撮像し、生成された画像を用いた計測処理により前記物体の形状を表す特徴データを取得し、取得した特徴データを、あらかじめ登録したモデルデータと照合することにより前記物体に対する認識処理を実行する視覚センサであって、
認識対象の物体について、当該物体の視覚認識が可能な範囲の実寸大の形状を表す基本モデルデータを入力するための入力手段と、
前記認識対象の物体の実物モデルが処理対象となることを条件として、前記カメラによる撮像および前記計測処理、ならびに計測処理により取得した実物モデルの特徴データを前記入力手段より入力した基本モデルデータまたは基本モデルデータを変換処理したデータと照合する処理を、所定サイクル実行する実物モデル処理手段と、
前記実物モデルの特徴データと照合されたデータから、前記実物モデル処理手段が実行した照合処理において実物モデルの特徴データに対応づけることができなかったデータを削除し、残されたデータを登録対象のモデルデータとして設定するモデルデータ設定手段とを、
具備することを特徴とする、視覚センサ。
【請求項１】
認識対象の物体を少なくとも１台のカメラにより撮像し、生成された画像を用いた計測処理により前記物体の形状を表す特徴データを取得し、取得した特徴データを、あらかじめ登録したモデルデータと照合することにより前記物体に対する認識処理を実行する視覚センサにおいて、前記照合処理のためのモデルデータを登録する方法であって、
認識対象の物体について、当該物体の視覚認識が可能な範囲の実寸大の形状を表す基本モデルデータを入力する第１ステップと、
前記認識対象の物体の実物モデルを処理対象として、前記カメラによる撮像および前記計測処理、ならびに計測処理により取得した実物モデルの特徴データを前記基本モデルデータまたは基本モデルデータを変換処理したデータと照合する処理を、所定サイクル実行する第２ステップと、
前記第２ステップで前記実物モデルの特徴データと照合されたデータから、実物モデルの特徴データに対応づけることができなかったデータを削除し、残されたデータを登録対象のモデルデータに設定する第３ステップとを、
実行することを特徴とする、視覚認識処理用のモデルデータの登録方法。
【請求項２】
前記第３ステップでは、前記実物モデルの特徴データと照合されたデータのうち、前記第２ステップで実行されたすべてのサイクルの照合処理において前記実物モデルの特徴データに対応づけることができなかったデータを、削除の対象に設定する、請求項１に記載された視覚認識処理用のモデルデータの登録方法。
【請求項３】
前記第３ステップでは、前記実物モデルの特徴データと照合されたデータのうち、前記第２ステップの照合処理において実物モデルの特徴データに対応づけることができなかった回数またはその割合が所定の基準値を下回るデータを、削除の対象に設定する、請求項１に記載された視覚認識処理用のモデルデータの登録方法。
【請求項４】
前記第３ステップでは、前記実物モデルの特徴データと照合されたデータのうち、前記第２ステップで実行されたいずれかの照合処理において実物モデルの特徴データに対応づけることができない状態が生じた情報を、削除の対象に設定する、請求項１に記載された視覚認識処理用のモデルデータの登録方法。
【請求項５】
請求項１〜４のいずれかに記載された方法において、
前記計測処理として、前記認識対象の物体の３次元形状を表す特徴データを取得する３次元の計測処理を実行し、
前記第１ステップでは、基本モデルデータとして、前記物体の視覚認識可能な実寸大の形状を表す３次元情報を入力し、前記第２ステップの照合処理では、前記実物モデルから取得した特徴データを前記基本モデルデータが示す３次元情報と照合する、
視覚認識処理用のモデルデータの登録方法。
【請求項６】
請求項１〜４のいずれかに記載された方法において、
前記計測処理として、前記カメラにより生成された画像中のエッジを取得する処理を実行し、
前記第１ステップでは、基本モデルデータとして、前記物体を特定の姿勢で配置してカメラにより撮像したときに画像中に現れるエッジパターンを実寸法で表した２次元情報を入力し、前記第２ステップの照合処理では、前記実物モデルの画像から取得したエッジのパターンを前記基本モデルデータが示すエッジパターンと照合する、
視覚認識処理用のモデルデータの登録方法。
【請求項７】
認識対象の物体を少なくとも１台のカメラにより撮像し、生成された画像を用いた計測処理により前記物体の形状を表す特徴データを取得し、取得した特徴データを、あらかじめ登録したモデルデータと照合することにより前記物体に対する認識処理を実行する視覚センサであって、
認識対象の物体について、当該物体の視覚認識が可能な範囲の実寸大の形状を表す基本モデルデータを入力するための入力手段と、
前記認識対象の物体の実物モデルが処理対象となることを条件として、前記カメラによる撮像および前記計測処理、ならびに計測処理により取得した実物モデルの特徴データを前記入力手段より入力した基本モデルデータまたは基本モデルデータを変換処理したデータと照合する処理を、所定サイクル実行する実物モデル処理手段と、
前記実物モデルの特徴データと照合されたデータから、前記実物モデル処理手段が実行した照合処理において実物モデルの特徴データに対応づけることができなかったデータを削除し、残されたデータを登録対象のモデルデータとして設定するモデルデータ設定手段とを、
具備することを特徴とする、視覚センサ。
【図１】
【図２】
【図３】
【図４−１】
【図４−２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４−１】
【図４−２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２１８０１６（Ｐ２０１０−２１８０１６Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６１３５５（Ｐ２００９−６１３５５）
【出願日】平成２１年３月１３日（２００９．３．１３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１３日（２００９．３．１３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]