画像処理装置、画像処理方法及び画像処理プログラム
【課題】様々な位置姿勢や形状のワークの輪郭線を、精度良く抽出可能な画像処理装置及び画像処理方法並びに画像処理プログラムを提供すること。
【解決手段】撮像部２によりワークＷが撮像された元画像を取得する元画像取得部３１と、元画像を２値化して元画像からワークの概略領域を特定する領域特定部３２と、概略領域を膨張処理する領域膨張処理部３４と、膨張処理された概略領域の境界線上に、複数の基準点を設定する基準点設定部３５と、元画像から複数のエッジを抽出するエッジ抽出部３３と、抽出された複数のエッジと基準点設定部３５により設定された複数の基準点とを合成し、複数のエッジの中から複数の基準点のそれぞれに対して予め定められた位置にあるエッジを選択する輪郭エッジ選択部３６と、選択された複数のエッジから連続したワークの輪郭線を抽出する輪郭線抽出部３７と、を備えた画像処理装置。
【解決手段】撮像部２によりワークＷが撮像された元画像を取得する元画像取得部３１と、元画像を２値化して元画像からワークの概略領域を特定する領域特定部３２と、概略領域を膨張処理する領域膨張処理部３４と、膨張処理された概略領域の境界線上に、複数の基準点を設定する基準点設定部３５と、元画像から複数のエッジを抽出するエッジ抽出部３３と、抽出された複数のエッジと基準点設定部３５により設定された複数の基準点とを合成し、複数のエッジの中から複数の基準点のそれぞれに対して予め定められた位置にあるエッジを選択する輪郭エッジ選択部３６と、選択された複数のエッジから連続したワークの輪郭線を抽出する輪郭線抽出部３７と、を備えた画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ワークが撮像された画像からワークの輪郭線を抽出する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
一般に、マシンビジョンの分野においては、エッジ検出フィルタを用いて検出対象となるワークの輪郭線を抽出し、抽出された輪郭線でワークの位置姿勢や寸法等の計測を行うことが実施されている。
【０００３】
ここで、検出対象となるワークは、樹脂成型や金属プレス等により形成された部品であることが多く、成型ムラや表面処理のバラつき、傷、汚れ等により表面に微小な凹凸が存在する。そのため、撮像したワークの画像から輪郭線を抽出しようとすると、輪郭線以外のエッジ（以下、「ノイズエッジ」という）が数多く検出され、ノイズエッジによりワークの輪郭線を誤検知してしまう場合がある。
【０００４】
これに対しては、輪郭線を含む最小の範囲にエッジ検出フィルタの検出範囲を限定し、輪郭線に相当するエッジのみを抽出するように調整することで、ノイズエッジの抽出を抑制することができる。更に、エッジの形状の特徴や長さからノイズエッジを特定する幾何学的手法やロバスト推定などの統計的手法を用いてノイズエッジを特定し、除去することで、ノイズエッジの抽出を抑制することができる。
【０００５】
しかしながら、エッジ検出フィルタの検出範囲に制限を設ける場合、ワークの位置や姿勢の変動を考慮した範囲を設定しなければならず、輪郭線に相当するエッジのみを検出するための範囲設定は困難である。また、幾何学的手法や統計的手法においては、輪郭線に酷似したノイズエッジを検出する場合があり、この場合、ノイズエッジを含む輪郭線情報に基づいた計測になり、精密に輪郭線を抽出できない場合が生じ得る。
【０００６】
これに対しては、様々な形状に対応させた複数のテンプレートを揃え、複数のテンプレートをワークの輪郭にマッチングさせながら輪郭を抽出することにより、容易にワークの輪郭を抽出可能な輪郭の抽出方法が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−１６４６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の抽出方法においては、対応するテンプレートを有する既知の形状のワークに対しては有効であるが、検出対象の形状がテンプレートに対応しないものや柔軟物等の輪郭線の抽出には用いることができない。
【０００９】
そこで、本発明は、様々な位置姿勢や形状のワークの輪郭線を、精度良く抽出可能な画像処理装置及び画像処理方法並びに画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、撮像部により撮像されたワークの元画像を取得する元画像取得手段と、該元画像取得手段により取得された前記元画像を２値化して、該元画像からワークの概略領域を特定する領域特定手段と、該領域特定手段により特定された前記概略領域を膨張処理する膨張処理手段と、前記膨張処理手段により抽出された概略領域の境界線上に、複数の基準点を設定する基準点設定手段と、前記元画像からコントラスト差に基づき、ワークの輪郭に重なるエッジを含む複数のエッジを抽出するエッジ抽出手段と、該エッジ抽出手段により抽出された複数のエッジと前記基準点設定手段により設定された前記複数の基準点とを合成し、前記エッジ抽出手段により抽出された前記複数のエッジの中から前記複数の基準点のそれぞれに対して予め定められた位置にあるエッジを選択するエッジ選択手段と、該エッジ選択手段により選択された複数のエッジから連続したワークの輪郭線を抽出する輪郭線抽出手段と、を備えた、ことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、２値化して得られるワークの概略領域を膨張処理して設定する複数の基準点のそれぞれに対して予め定められた位置にあるエッジを選択することで、様々な位置姿勢や形状のワークの輪郭線を精度よく抽出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係るロボットステーションを示す斜視図である。
【図２】本実施形態に係る画像処理装置のハード構成を示すブロック図である。
【図３】本実施形態に係る画像処理装置の内部構成を示すブロック図である。
【図４】本実施形態に係る画像処理装置による位置姿勢計測処理を示すフローチャートである。
【図５】本実施形態に係る画像処理装置の輪郭エッジ選択部による輪郭エッジ選択処理を示すフローチャートである。
【図６】（ａ）は、本実施形態における画像処理装置による円環部品の輪郭エッジ選択処理を説明するための図であり、（ｂ）は、（ａ）における（Ｆ）の状態を説明するための部分拡大図である。
【図７】（ａ）は、本実施形態における画像処理装置による不定型部品の輪郭エッジ選択処理を説明するための図であり、（ｂ）は、（ａ）における（Ｆ）の状態を説明するための部分拡大図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態に係る画像処理装置を有するロボットシステムとしてのロボットステーション１について、図面を参照しながら説明する。まず、本実施形態に係るロボットステーション１の概略構成について、図１から図３を参照しながら説明する。図１は、本発明の実施形態に係るロボットステーション１を示す斜視図である。図２は、本実施形態に係る画像処理装置３のハード構成を示すブロック図である。図３は、本実施形態に係る画像処理装置３の内部構成を示すブロック図である。
【００１４】
図１から図３に示すように、ロボットステーション１は、ワークＷを撮像する撮像部２と、撮像部２により撮像された元画像からワークＷの位置姿勢を計測する画像処理装置３と、ワークＷを把持するロボットアーム４，５と、を備えている。本実施形態においては、ロボットアーム４，５は、剛性を持つ支柱により形成されたブース６の架台７の上に配設されており、ロボットアーム４，５の上方に配設された照明８，８の間に撮像部２が配設されている。
【００１５】
撮像部２は、架台７の上に搬送あるいは載置された検査対象となるワークＷの全体を撮像する。撮像部２は、デジタルカメラ等により構成されており、デジタルカメラの場合には、ＣＣＤイメージセンサあるいはＣＭＯＳイメージセンサ等の固体撮像素子と、撮像レンズと、を備えて構成され、撮像によって画像データを取得することができる。
【００１６】
図２に示すように、画像処理装置３は、制御部としてのＣＰＵ３ａを備えており、ＣＰＵ３ａには、バス１０に接続されたインターフェイス１１を介して、撮像部２、キーボード１２及びマウス１３が接続されている。キーボード１２及びマウス１３は、ワークＷの輪郭線の抽出や位置姿勢の計測に必要な指定情報、あるいはその他の指示等の入力を可能としている。画像データは、固体撮像素子のピクセル毎に生成された点の集合の情報として取得される。ワークＷの輪郭を含む領域を撮像することにより生成された点の集合を認識し、取得した画像データからワークＷの輪郭に対応した輪郭線を抽出することができる。輪郭線は点の集合として処理してもよいし、各点同士を連結して、「線」情報に変換して処理したり、後述の複数のエッジから生成される線情報にして処理することもできる。したがって、以下では「輪郭線」の語を点の集合もしくは線情報のいずれの場合も含むものとして説明する。
【００１７】
また、ＣＰＵ３ａには、画像を表示するディスプレイ１４及び音声を出力するスピーカ１５がバスを介して接続されている。ディスプレイ１４は、撮像部２により撮像され、ＣＰＵ３ａで所定の処理が行われたワークＷ等を表示可能としている。スピーカ１５は、ＣＰＵ３ａで生成された音声等を出力可能としている。
【００１８】
更に、ＣＰＵ３ａには、ＲＯＭ１７及びＲＡＭ１６がバス１０を介して接続されている。ＲＯＭ１６には、画像処理装置３の基本制御に必要なプログラムやワークＷの３次元モデル情報等が格納されている。ＲＡＭ１６には、後述する輪郭抽出処理等の作業領域が確保されている。また、バス１０には、記録媒体読取部１８が接続されており、ワークＷの輪郭を抽出する画像処理プログラムやワークＷの３次元モデル情報等を記録した記録媒体Ｄを読み込み、例えばＲＯＭ１７に格納できるようになっている。
【００１９】
また、バス１０には、通信装置１９が接続されており、上述したような記録媒体Ｄを使用せずに、通信装置１９を介してインターネット等から配信される画像処理プログラムやワークＷの３次元モデル情報等をダウンロード可能に構成されている。なお、画像処理装置３は、通信装置１９を介して端末機からの入力を受信し、この端末機からの要求に基づいて画像処理プログラムを実行（演算）し、実行（演算）結果を端末機に送信するサ−バー機として機能するように構成されてもよい。
【００２０】
図３に示すように、画像処理装置３のＣＰＵ３ａは、元画像取得手段としての元画像取得部３１と、領域特定手段としての領域特定部３２と、エッジ抽出手段としてのエッジ抽出部３３と、膨張処理手段としての領域膨張処理部３４と、を備えている。また、画像処理装置３のＣＰＵ３ａは、基準点設定手段としての基準点設定部３５と、エッジ選択手段としての輪郭エッジ選択部３６と、輪郭線抽出手段としての輪郭線抽出部３７と、位置姿勢計測部３８と、を備えている。
【００２１】
元画像取得部３１は、撮像部２によりワークＷが撮像された元画像を取得し、領域特定部３２及びエッジ抽出部３３に元画像を出力する。領域特定部３２は、元画像取得部３１から出力された元画像を２値化して、ワークＷの概略を構成する概略領域を特定し、特定した概略領域の領域情報を領域膨張処理部３４に出力する。エッジ抽出部３３は、元画像取得部３１から出力された元画像のエッジを抽出する。
【００２２】
なお、ここでいうエッジは、ワークＷ表面に現れるコントラスト差に基づいてこれを繋げてなるコントラスト線として現れるものであり、例えば、ワークＷの輪郭に重なるエッジの他に、これ以外を示すエッジ（以下、「偽エッジ」という）を含んでいる。つまり、ここでいうエッジとは、ワークＷの輪郭に重なるエッジや偽エッジを含む、元画像に現れる全エッジをいう。
【００２３】
領域膨張処理部３４は、領域特定部３２から出力された領域情報から特定した概略領域を所定量膨張させる膨張処理を行う。なお、所定量膨張させるための膨張処理の回数は、特に決められているものではなく、２値化した概略領域の状態により異なる。基準点設定部３５は、膨張処理した概略領域の境界線上に、エッジ検索の起点となる複数の基準点を設定する。
【００２４】
輪郭エッジ選択部３６は、エッジ抽出部３３により抽出された複数のエッジと、基準点設定部３５により設定された複数の基準点を合成し、複数の基準点それぞれと最短距離にあるエッジを検索し、これを選択する。輪郭線抽出部３７は、輪郭エッジ選択部３６により選択された複数のエッジから連続したワークＷの輪郭線を抽出する。なお、輪郭エッジ選択部３６は、基準点に対して所定の検索範囲内にエッジが存在しない場合には、エッジの検索を終了するように構成されている。
【００２５】
位置姿勢計測部３８は、ＲＯＭ１６に記憶されたワークＷの三次元モデル情報と、輪郭線抽出部３７により抽出されたワークＷの輪郭線とをフィッティング（照合）させて、ワークＷの位置姿勢を計測する（三次元モデルフィッティング処理）。なお、ここでいうワークＷの位置姿勢とは、ワークＷの位置及びワークＷの姿勢を示すものである。
【００２６】
ロボットアーム４，５は、６軸制御可能なロボットアームであり、先端部には、各種作業に応じて様々なエンドエフェクタを取り付け可能に形成されている。エンドエフェクタは、人間の手、指に相当する部分である。本実施形態においては、ロボットアーム４，５の一方のロボットアーム４には細かい作業を可能にする小型のエンドエフェクタが装着され、他方のロボットアーム５には比較的大きな部材を扱うエンドエフェクタが装着されている。また、ロボットステーション１内で使用されるコントローラや電源等は、架台７の下部から引き出し可能に収納された電源コントローラボックス９に収納されている。
【００２７】
次に、本実施形態に係る画像処理装置３によるワークＷの位置姿勢計測処理（位置姿勢計測方法）について、図４から図７（ｂ）を参照しながら説明する。なお、以下においては、撮像部２によりグレースケールにて撮像されたワークＷの元画像（以下、「元グレイ画像」という）から位置姿勢を計測する位置姿勢計測処理を用いて説明する。
【００２８】
まず、円環形状のワーク（以下、「円環部品」という）の輪郭線を抽出して、円環部品の位置姿勢を計測する位置姿勢計測処理について、図４から図６（ｂ）を参照しながら説明する。図４は、本実施形態に係る画像処理装置３による位置姿勢計測処理を示すフローチャートである。図５は、本実施形態に係る画像処理装置３の輪郭エッジ選択部３６による輪郭エッジ選択処理を示すフローチャートである。図６（ａ）は、本実施形態における画像処理装置３による円環部品の輪郭線抽出処理を説明するための図である。図６（ｂ）は、図６（ａ）における（Ｆ）の状態を説明するための部分拡大図である。
【００２９】
まず、元画像取得部３１により、撮像部２により円環部品を撮像して得られた８ｂｉｔの元グレイ画像４０ａ（図６（ａ）に示す（Ａ）参照）を取得する元画像取得処理（元画像取得工程）が行われる（ステップＳＴ１０）。次に、領域特定部３２により、元グレイ画像４０ａの背景領域と検出対象（円環部品）の領域とを分離している輝度値の差を閾値として、元グレイ画像４０ａを２値化する領域特定処理（領域特定工程）が行われる。この領域特定処理により、円環部品の概略領域４１ａ（図６（ａ）に示す（Ｂ）参照）が特定される（ステップＳＴ２０）。このとき、元グレイ画像４０ａの有するノイズにより生成された孤立点としての空胞領域が存在する場合には、２値化した後に、例えば、モルフォロジー処理等により、空胞領域を消失させておいてもよい。
【００３０】
領域特定部３２により概略領域４１ａが特定されると、領域膨張処理部３４により概略領域４１ａの膨張処理（膨張処理工程）が行われる（ステップＳＴ３０）。領域膨張処理部３４は、概略領域４１ａを所定回数（所定量）膨張処理し、膨張領域４２ａ（図６（ａ）に示す（Ｃ）参照）を生成する。なお、膨張処理は、元グレイ画像４０ａを２値化した際に概略領域４１ａに孤立点が発生した場合に、孤立点を消失させて、概略領域４１ａを平滑化させるのにも有効となる。
【００３１】
次に、基準点設定部３５により、膨張領域４２ａの境界線４３ａ，４４ａ上に基準点としての局所エッジの探索点１００〜１０２、２００〜２０２（図６（ａ）に示す（Ｄ）参照）を設定する基準点設定処理（基準点設定工程）が行われる（ステップＳＴ４０）。探索点１００〜１０２、２００〜２０２は、１隣接画素毎、若しくは所定の間隔で設定される。
【００３２】
ここで、元画像取得部３１により取得された元グレイ画像４０ａに対し、エッジ抽出部３３により、元グレイ画像４０ａからエッジ（図６（ａ）に示す（Ｅ）参照）を抽出するエッジ抽出処理（エッジ抽出工程）が行われる（ステップＳＴ５０）。エッジ抽出処理は、ケニーフィルタやソーベルフィルタ等のエッジ検出により行われる。エッジ抽出処理は、例えば、円環部品の表面上に現れるコントラスト差に基づいて、複数の閾値を設定し、複数の閾値のそれぞれに基づいて仕切られるコントラスト線により現れる線を抽出する。そのため、このエッジには、偽エッジが含まれている。
【００３３】
エッジ抽出処理により偽エッジを含む複数のエッジが抽出されると、輪郭エッジ選択部３６により、輪郭エッジ選択処理（輪郭エッジ選択工程）が行われる（ステップＳＴ６０）。輪郭エッジ選択部３６は、まず、エッジ抽出部３３により抽出された複数のエッジと基準点設定部３５により設定された複数の探索点１００〜１０２、２００〜２０２とを合成する（図６（ａ）に示す（Ｆ）参照）。そして、図５に示すように、エッジ抽出部３３により抽出された複数のエッジの中から基準点設定部３５により設定された複数の探索点１００〜１０２、２００〜２０２のそれぞれと例えば最短距離にあるエッジを探索する（ステップＳＴ６１）。ここで、図６（ｂ）に示すように、複数の探索点１００〜１０２、２００〜２０２のそれぞれと最短距離にあるエッジがあれば、これを選択し、エッジ情報として登録する（ステップＳＴ６２、ステップＳＴ６３）。エッジの選択は、全基準点の探索が終了するまで繰り返し行われる（ステップＳＴ６４）。なお、エッジを探索するにあたり最短距離にあるエッジを探索する場合を説明したが、ワークの形状によっては基準点に対して予め定められた位置にあるエッジを選択すればよい。例えば、最短距離、基準点からの距離等、エッジの選択の規則を定めて探索の仕方を変えてもよい。以下、他の実施例の場合でも同様である。
【００３４】
全基準点のエッジの探索が終了すると、輪郭線抽出部３７により、選択された複数の基準点から連続した円環部材の輪郭線を抽出する輪郭線抽出処理（図６（ａ）に示す（Ｇ）参照）が行われる（ステップＳＴ７０）。例えば、輪郭線抽出部３７は、選択されたエッジの端部同士を所定の補正処理により繋げて、連続した輪郭線とする。これにより、円環部材の輪郭線が特定される。
【００３５】
輪郭線抽出部３７により円環部材の輪郭線が特定されると、次に、位置姿勢計測部３８により、円環部材の位置姿勢が計測される（ステップＳＴ８０）。円環部材の位置姿勢は、ＲＯＭ１６に記憶された円環部材の三次元モデル情報と、輪郭線抽出部３７により抽出された円環部材の輪郭線とをフィッティング（三次元モデルフィッティング処理）させることにより行われる。円環部材の三次元モデル情報と円環部材の輪郭線との三次元モデルフィッティング処理により、円環部材の位置姿勢が精密に計測される。なお、ここでは、三次元モデルフィッティング処理の具体的な説明は省略する。
【００３６】
次に、非対称形状のワーク（以下、「非対称部品」という）の輪郭線を抽出して、非対称部品の位置姿勢を計測する位置姿勢計測処理について、図４及び図５を援用すると共に、図７（ａ）及び図７（ｂ）を参照しながら説明する。図７（ａ）は、本実施形態における画像処理装置３による非対称部品の輪郭エッジ選択処理を説明するための図である。図７（ｂ）は、図７（ａ）における（Ｆ）の状態を説明するための部分拡大図である。なお、ここでいう非対称部品には、例えば、歪形状や不定型部品等も含むものとする。
【００３７】
まず、元画像取得部３１により、撮像部２により非対称部品を撮像して得られた８ｂｉｔの元グレイ画像４０ｂ（図７（ａ）に示す（Ａ）参照）を取得する元画像取得処理（元画像取得工程）が行われる（ステップＳＴ１０）。次に、領域特定部３２により、元グレイ画像４０ｂの背景領域と検出対象（非対称部品）の領域とを分離している輝度値の差を閾値として、元グレイ画像４０ｂを２値化する領域特定処理（領域特定工程）が行われる。この領域特定処理により、非対称部品の概略領域４１ｂ（図７（ａ）に示す（Ｂ）参照）が特定される（ステップＳＴ２０）。このとき、元グレイ画像４０ｂの有するノイズにより生成された孤立点としての空胞領域が存在する場合には、２値化した後に、例えば、モルフォロジー処理等により空胞領域を消失させておいてもよい。
【００３８】
領域特定部３２により概略領域４１ｂが特定されると、領域膨張処理部３４により概略領域４１ｂの膨張処理（膨張処理工程）が行われる（ステップＳＴ３０）。領域膨張処理部３４は、概略領域４１ｂを所定回数（所定量）膨張処理し、膨張領域４２ｂ（図７（ａ）に示す（Ｃ）参照）を生成する。なお、膨張処理は、元グレイ画像４０ｂを２値化した際に概略領域４１ｂに孤立点が発生した場合に、孤立点を消失させて、概略領域４１ｂを平滑化させるのにも有効となる。
【００３９】
次に、基準点設定部３５により、膨張領域４２ｂの境界線４３ｂ上に基準点としての局所エッジの探索点３００〜３０２（図７（ａ）に示す（Ｄ）参照）を設定する基準点設定処理（基準点設定工程）が行われる（ステップＳＴ４０）。探索点３００〜３０２は、１隣接画素毎、若しくは所定の間隔で設定される。
【００４０】
ここで、元画像取得部３１により取得された元グレイ画像４０ｂに対し、エッジ抽出部３３により、元グレイ画像４０ｂからエッジ（図７（ａ）に示す（Ｅ）参照）を抽出するエッジ抽出処理（エッジ抽出工程）が行われる（ステップＳＴ５０）。エッジ抽出処理は、ケニーフィルタやソーベルフィルタ等のエッジ検出により行われる。エッジ抽出処理は、例えば、非対称部品の表面上に現れるコントラスト差に基づいて、複数の閾値を設定し、複数の閾値のそれぞれに基づいて仕切られるコントラスト線により現れる線を抽出する。そのため、このエッジには、偽エッジが含まれている。
【００４１】
エッジ抽出処理により偽エッジを含む複数のエッジが抽出されると、輪郭エッジ選択部３６により、輪郭エッジ選択処理（輪郭エッジ選択工程）が行われる（ステップＳＴ６０）。輪郭エッジ選択部３６は、まず、エッジ抽出部３３により抽出された複数のエッジと基準点設定部３５により設定された複数の探索点３００〜３０２とを合成する（図７（ａ）に示す（Ｆ）参照）。そして、図５に示すように、エッジ抽出部３３により抽出された複数のエッジの中から基準点設定部３５により設定された複数の探索点３００〜３０２のそれぞれと最短距離にあるエッジを探索する（ステップＳＴ６１）。ここで、図７（ｂ）に示すように、複数の探索点３００〜３０２のそれぞれと最短距離にあるエッジがあれば、これを選択し、エッジ情報として登録する（ステップＳＴ６２、ステップＳＴ６３）。エッジの選択は、全基準点の探索が終了するまで繰り返し行われる（ステップＳＴ６４）。
【００４２】
全基準点のエッジの探索が終了すると、輪郭線抽出部３７により、選択された複数の基準点から連続した非対称部品の輪郭線を抽出する輪郭線抽出処理（図７（ａ）に示す（Ｇ）参照）が行われる（ステップＳＴ７０）。例えば、輪郭線抽出部３７は、選択されたエッジの端部同士を所定の補正処理により繋げて、連続した輪郭線とする。これにより、非対称部品の輪郭線が特定される。
【００４３】
輪郭線抽出部３７により非対称部品の輪郭線が特定されると、次に、位置姿勢計測部３８により、非対称部品の位置姿勢が計測される（ステップＳＴ８０）。非対称部品の位置姿勢は、ＲＯＭ１６に記憶された非対称部品の三次元モデル情報と、輪郭線抽出部３７により抽出された非対称部品の輪郭線とをフィッティング（三次元モデルフィッティング処理）させることにより行われる。非対称部品の三次元モデル情報と非対称部品の輪郭線との三次元モデルフィッティング処理により、非対称部品の位置姿勢が精密に計測される。なお、ここでは、三次元モデルフィッティング処理の具体的な説明は省略する。
【００４４】
以上説明した位置姿勢計測処理（位置姿勢計測方法）は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし、上記プログラムを実行するように構成することも可能である。
【００４５】
上述したように、実際のワークの表面は、一見フラットな表面状態であっても、微小な凹凸形状が存在し、照明との相乗作用により、急しゅんな輝度変動が現れ、エッジとして検出される場合がある。そのため、画像のエッジ抽出処理を行うと、輪郭を構成するエッジ以外のノイズエッジが検出される。そして、ノイズエッジを含むエッジ情報を元に、三次元モデルフィッティング処理などの演算を行うと、誤差を含む計測結果となり、正確な位置姿勢の検出ができない場合がある。
【００４６】
これに対し、本実施形態に係る画像処理装置３は、２値化などの領域特定処理によりワークの概略領域を特定し、これを膨張処理してワークの輪郭線と膨張処理した概略領域の境界線との間にギャップを与える。そして、膨張処理した概略領域の境界線上に、所定の間隔でエッジの探索点（基準点）を設定し、この探索点から最少距離にあるエッジを、ワークの輪郭を構成するエッジとして選択する。そのため、ノイズエッジの影響を少なくした輪郭線の抽出が可能となる。これにより、輪郭線を精度よく抽出することができる。
【００４７】
また、膨張処理した概略領域の境界線上にエッジの探索点を設定し、探索点から最少距離にあるエッジをワークの輪郭を構成するエッジとして選択することで、様々な形状のワークに対応させることができる。
【００４８】
更に、ノイズエッジが除去された精度の高いエッジ情報を元に、三次元モデルフィッティング処理などの演算が可能になり、ワークの正確な位置姿勢の検出を行うことができる。
【００４９】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されない。
【００５０】
例えば、本実施形態においては、ワークを概略領域として特定し、膨張処理した概略領域との境界に基準点を設定したが、本発明においてはこれに限定されない。例えば、背景を背景領域として特定し、背景領域を収縮させて背景領域との境界に基準点を設けるようにしてもよい。
【００５１】
また、本実施形態においては、概略領域４１ａを所定回数膨張処理して、膨張領域４２ａを生成したが、本発明においてはこれに限定されない。例えば、膨張処理と収縮処理とを繰り返し行いながら膨張領域４２ａを生成してもよい。
【符号の説明】
【００５２】
１ ロボットステーション（ロボットシステム）
２ 撮像部
３ 画像処理装置
３ａ ＣＰＵ（制御部）
４ ロボットアーム
５ ロボットアーム
３１ 元画像取得部（元画像取得手段）
３２ 領域特定部（領域特定手段）
３３ エッジ抽出部（エッジ抽出手段）
３４ 領域膨張処理部（膨張処理手段）
３５ 基準点設定部（基準点設定手段）
３６ 輪郭エッジ選択部（エッジ選択手段）
３７ 輪郭線抽出部（輪郭線抽出手段）
３８ 位置姿勢計測部（位置姿勢計測手段）
Ｄ 記録媒体
Ｗ ワーク
【技術分野】
【０００１】
本発明は、ワークが撮像された画像からワークの輪郭線を抽出する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
一般に、マシンビジョンの分野においては、エッジ検出フィルタを用いて検出対象となるワークの輪郭線を抽出し、抽出された輪郭線でワークの位置姿勢や寸法等の計測を行うことが実施されている。
【０００３】
ここで、検出対象となるワークは、樹脂成型や金属プレス等により形成された部品であることが多く、成型ムラや表面処理のバラつき、傷、汚れ等により表面に微小な凹凸が存在する。そのため、撮像したワークの画像から輪郭線を抽出しようとすると、輪郭線以外のエッジ（以下、「ノイズエッジ」という）が数多く検出され、ノイズエッジによりワークの輪郭線を誤検知してしまう場合がある。
【０００４】
これに対しては、輪郭線を含む最小の範囲にエッジ検出フィルタの検出範囲を限定し、輪郭線に相当するエッジのみを抽出するように調整することで、ノイズエッジの抽出を抑制することができる。更に、エッジの形状の特徴や長さからノイズエッジを特定する幾何学的手法やロバスト推定などの統計的手法を用いてノイズエッジを特定し、除去することで、ノイズエッジの抽出を抑制することができる。
【０００５】
しかしながら、エッジ検出フィルタの検出範囲に制限を設ける場合、ワークの位置や姿勢の変動を考慮した範囲を設定しなければならず、輪郭線に相当するエッジのみを検出するための範囲設定は困難である。また、幾何学的手法や統計的手法においては、輪郭線に酷似したノイズエッジを検出する場合があり、この場合、ノイズエッジを含む輪郭線情報に基づいた計測になり、精密に輪郭線を抽出できない場合が生じ得る。
【０００６】
これに対しては、様々な形状に対応させた複数のテンプレートを揃え、複数のテンプレートをワークの輪郭にマッチングさせながら輪郭を抽出することにより、容易にワークの輪郭を抽出可能な輪郭の抽出方法が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−１６４６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の抽出方法においては、対応するテンプレートを有する既知の形状のワークに対しては有効であるが、検出対象の形状がテンプレートに対応しないものや柔軟物等の輪郭線の抽出には用いることができない。
【０００９】
そこで、本発明は、様々な位置姿勢や形状のワークの輪郭線を、精度良く抽出可能な画像処理装置及び画像処理方法並びに画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、撮像部により撮像されたワークの元画像を取得する元画像取得手段と、該元画像取得手段により取得された前記元画像を２値化して、該元画像からワークの概略領域を特定する領域特定手段と、該領域特定手段により特定された前記概略領域を膨張処理する膨張処理手段と、前記膨張処理手段により抽出された概略領域の境界線上に、複数の基準点を設定する基準点設定手段と、前記元画像からコントラスト差に基づき、ワークの輪郭に重なるエッジを含む複数のエッジを抽出するエッジ抽出手段と、該エッジ抽出手段により抽出された複数のエッジと前記基準点設定手段により設定された前記複数の基準点とを合成し、前記エッジ抽出手段により抽出された前記複数のエッジの中から前記複数の基準点のそれぞれに対して予め定められた位置にあるエッジを選択するエッジ選択手段と、該エッジ選択手段により選択された複数のエッジから連続したワークの輪郭線を抽出する輪郭線抽出手段と、を備えた、ことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、２値化して得られるワークの概略領域を膨張処理して設定する複数の基準点のそれぞれに対して予め定められた位置にあるエッジを選択することで、様々な位置姿勢や形状のワークの輪郭線を精度よく抽出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係るロボットステーションを示す斜視図である。
【図２】本実施形態に係る画像処理装置のハード構成を示すブロック図である。
【図３】本実施形態に係る画像処理装置の内部構成を示すブロック図である。
【図４】本実施形態に係る画像処理装置による位置姿勢計測処理を示すフローチャートである。
【図５】本実施形態に係る画像処理装置の輪郭エッジ選択部による輪郭エッジ選択処理を示すフローチャートである。
【図６】（ａ）は、本実施形態における画像処理装置による円環部品の輪郭エッジ選択処理を説明するための図であり、（ｂ）は、（ａ）における（Ｆ）の状態を説明するための部分拡大図である。
【図７】（ａ）は、本実施形態における画像処理装置による不定型部品の輪郭エッジ選択処理を説明するための図であり、（ｂ）は、（ａ）における（Ｆ）の状態を説明するための部分拡大図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態に係る画像処理装置を有するロボットシステムとしてのロボットステーション１について、図面を参照しながら説明する。まず、本実施形態に係るロボットステーション１の概略構成について、図１から図３を参照しながら説明する。図１は、本発明の実施形態に係るロボットステーション１を示す斜視図である。図２は、本実施形態に係る画像処理装置３のハード構成を示すブロック図である。図３は、本実施形態に係る画像処理装置３の内部構成を示すブロック図である。
【００１４】
図１から図３に示すように、ロボットステーション１は、ワークＷを撮像する撮像部２と、撮像部２により撮像された元画像からワークＷの位置姿勢を計測する画像処理装置３と、ワークＷを把持するロボットアーム４，５と、を備えている。本実施形態においては、ロボットアーム４，５は、剛性を持つ支柱により形成されたブース６の架台７の上に配設されており、ロボットアーム４，５の上方に配設された照明８，８の間に撮像部２が配設されている。
【００１５】
撮像部２は、架台７の上に搬送あるいは載置された検査対象となるワークＷの全体を撮像する。撮像部２は、デジタルカメラ等により構成されており、デジタルカメラの場合には、ＣＣＤイメージセンサあるいはＣＭＯＳイメージセンサ等の固体撮像素子と、撮像レンズと、を備えて構成され、撮像によって画像データを取得することができる。
【００１６】
図２に示すように、画像処理装置３は、制御部としてのＣＰＵ３ａを備えており、ＣＰＵ３ａには、バス１０に接続されたインターフェイス１１を介して、撮像部２、キーボード１２及びマウス１３が接続されている。キーボード１２及びマウス１３は、ワークＷの輪郭線の抽出や位置姿勢の計測に必要な指定情報、あるいはその他の指示等の入力を可能としている。画像データは、固体撮像素子のピクセル毎に生成された点の集合の情報として取得される。ワークＷの輪郭を含む領域を撮像することにより生成された点の集合を認識し、取得した画像データからワークＷの輪郭に対応した輪郭線を抽出することができる。輪郭線は点の集合として処理してもよいし、各点同士を連結して、「線」情報に変換して処理したり、後述の複数のエッジから生成される線情報にして処理することもできる。したがって、以下では「輪郭線」の語を点の集合もしくは線情報のいずれの場合も含むものとして説明する。
【００１７】
また、ＣＰＵ３ａには、画像を表示するディスプレイ１４及び音声を出力するスピーカ１５がバスを介して接続されている。ディスプレイ１４は、撮像部２により撮像され、ＣＰＵ３ａで所定の処理が行われたワークＷ等を表示可能としている。スピーカ１５は、ＣＰＵ３ａで生成された音声等を出力可能としている。
【００１８】
更に、ＣＰＵ３ａには、ＲＯＭ１７及びＲＡＭ１６がバス１０を介して接続されている。ＲＯＭ１６には、画像処理装置３の基本制御に必要なプログラムやワークＷの３次元モデル情報等が格納されている。ＲＡＭ１６には、後述する輪郭抽出処理等の作業領域が確保されている。また、バス１０には、記録媒体読取部１８が接続されており、ワークＷの輪郭を抽出する画像処理プログラムやワークＷの３次元モデル情報等を記録した記録媒体Ｄを読み込み、例えばＲＯＭ１７に格納できるようになっている。
【００１９】
また、バス１０には、通信装置１９が接続されており、上述したような記録媒体Ｄを使用せずに、通信装置１９を介してインターネット等から配信される画像処理プログラムやワークＷの３次元モデル情報等をダウンロード可能に構成されている。なお、画像処理装置３は、通信装置１９を介して端末機からの入力を受信し、この端末機からの要求に基づいて画像処理プログラムを実行（演算）し、実行（演算）結果を端末機に送信するサ−バー機として機能するように構成されてもよい。
【００２０】
図３に示すように、画像処理装置３のＣＰＵ３ａは、元画像取得手段としての元画像取得部３１と、領域特定手段としての領域特定部３２と、エッジ抽出手段としてのエッジ抽出部３３と、膨張処理手段としての領域膨張処理部３４と、を備えている。また、画像処理装置３のＣＰＵ３ａは、基準点設定手段としての基準点設定部３５と、エッジ選択手段としての輪郭エッジ選択部３６と、輪郭線抽出手段としての輪郭線抽出部３７と、位置姿勢計測部３８と、を備えている。
【００２１】
元画像取得部３１は、撮像部２によりワークＷが撮像された元画像を取得し、領域特定部３２及びエッジ抽出部３３に元画像を出力する。領域特定部３２は、元画像取得部３１から出力された元画像を２値化して、ワークＷの概略を構成する概略領域を特定し、特定した概略領域の領域情報を領域膨張処理部３４に出力する。エッジ抽出部３３は、元画像取得部３１から出力された元画像のエッジを抽出する。
【００２２】
なお、ここでいうエッジは、ワークＷ表面に現れるコントラスト差に基づいてこれを繋げてなるコントラスト線として現れるものであり、例えば、ワークＷの輪郭に重なるエッジの他に、これ以外を示すエッジ（以下、「偽エッジ」という）を含んでいる。つまり、ここでいうエッジとは、ワークＷの輪郭に重なるエッジや偽エッジを含む、元画像に現れる全エッジをいう。
【００２３】
領域膨張処理部３４は、領域特定部３２から出力された領域情報から特定した概略領域を所定量膨張させる膨張処理を行う。なお、所定量膨張させるための膨張処理の回数は、特に決められているものではなく、２値化した概略領域の状態により異なる。基準点設定部３５は、膨張処理した概略領域の境界線上に、エッジ検索の起点となる複数の基準点を設定する。
【００２４】
輪郭エッジ選択部３６は、エッジ抽出部３３により抽出された複数のエッジと、基準点設定部３５により設定された複数の基準点を合成し、複数の基準点それぞれと最短距離にあるエッジを検索し、これを選択する。輪郭線抽出部３７は、輪郭エッジ選択部３６により選択された複数のエッジから連続したワークＷの輪郭線を抽出する。なお、輪郭エッジ選択部３６は、基準点に対して所定の検索範囲内にエッジが存在しない場合には、エッジの検索を終了するように構成されている。
【００２５】
位置姿勢計測部３８は、ＲＯＭ１６に記憶されたワークＷの三次元モデル情報と、輪郭線抽出部３７により抽出されたワークＷの輪郭線とをフィッティング（照合）させて、ワークＷの位置姿勢を計測する（三次元モデルフィッティング処理）。なお、ここでいうワークＷの位置姿勢とは、ワークＷの位置及びワークＷの姿勢を示すものである。
【００２６】
ロボットアーム４，５は、６軸制御可能なロボットアームであり、先端部には、各種作業に応じて様々なエンドエフェクタを取り付け可能に形成されている。エンドエフェクタは、人間の手、指に相当する部分である。本実施形態においては、ロボットアーム４，５の一方のロボットアーム４には細かい作業を可能にする小型のエンドエフェクタが装着され、他方のロボットアーム５には比較的大きな部材を扱うエンドエフェクタが装着されている。また、ロボットステーション１内で使用されるコントローラや電源等は、架台７の下部から引き出し可能に収納された電源コントローラボックス９に収納されている。
【００２７】
次に、本実施形態に係る画像処理装置３によるワークＷの位置姿勢計測処理（位置姿勢計測方法）について、図４から図７（ｂ）を参照しながら説明する。なお、以下においては、撮像部２によりグレースケールにて撮像されたワークＷの元画像（以下、「元グレイ画像」という）から位置姿勢を計測する位置姿勢計測処理を用いて説明する。
【００２８】
まず、円環形状のワーク（以下、「円環部品」という）の輪郭線を抽出して、円環部品の位置姿勢を計測する位置姿勢計測処理について、図４から図６（ｂ）を参照しながら説明する。図４は、本実施形態に係る画像処理装置３による位置姿勢計測処理を示すフローチャートである。図５は、本実施形態に係る画像処理装置３の輪郭エッジ選択部３６による輪郭エッジ選択処理を示すフローチャートである。図６（ａ）は、本実施形態における画像処理装置３による円環部品の輪郭線抽出処理を説明するための図である。図６（ｂ）は、図６（ａ）における（Ｆ）の状態を説明するための部分拡大図である。
【００２９】
まず、元画像取得部３１により、撮像部２により円環部品を撮像して得られた８ｂｉｔの元グレイ画像４０ａ（図６（ａ）に示す（Ａ）参照）を取得する元画像取得処理（元画像取得工程）が行われる（ステップＳＴ１０）。次に、領域特定部３２により、元グレイ画像４０ａの背景領域と検出対象（円環部品）の領域とを分離している輝度値の差を閾値として、元グレイ画像４０ａを２値化する領域特定処理（領域特定工程）が行われる。この領域特定処理により、円環部品の概略領域４１ａ（図６（ａ）に示す（Ｂ）参照）が特定される（ステップＳＴ２０）。このとき、元グレイ画像４０ａの有するノイズにより生成された孤立点としての空胞領域が存在する場合には、２値化した後に、例えば、モルフォロジー処理等により、空胞領域を消失させておいてもよい。
【００３０】
領域特定部３２により概略領域４１ａが特定されると、領域膨張処理部３４により概略領域４１ａの膨張処理（膨張処理工程）が行われる（ステップＳＴ３０）。領域膨張処理部３４は、概略領域４１ａを所定回数（所定量）膨張処理し、膨張領域４２ａ（図６（ａ）に示す（Ｃ）参照）を生成する。なお、膨張処理は、元グレイ画像４０ａを２値化した際に概略領域４１ａに孤立点が発生した場合に、孤立点を消失させて、概略領域４１ａを平滑化させるのにも有効となる。
【００３１】
次に、基準点設定部３５により、膨張領域４２ａの境界線４３ａ，４４ａ上に基準点としての局所エッジの探索点１００〜１０２、２００〜２０２（図６（ａ）に示す（Ｄ）参照）を設定する基準点設定処理（基準点設定工程）が行われる（ステップＳＴ４０）。探索点１００〜１０２、２００〜２０２は、１隣接画素毎、若しくは所定の間隔で設定される。
【００３２】
ここで、元画像取得部３１により取得された元グレイ画像４０ａに対し、エッジ抽出部３３により、元グレイ画像４０ａからエッジ（図６（ａ）に示す（Ｅ）参照）を抽出するエッジ抽出処理（エッジ抽出工程）が行われる（ステップＳＴ５０）。エッジ抽出処理は、ケニーフィルタやソーベルフィルタ等のエッジ検出により行われる。エッジ抽出処理は、例えば、円環部品の表面上に現れるコントラスト差に基づいて、複数の閾値を設定し、複数の閾値のそれぞれに基づいて仕切られるコントラスト線により現れる線を抽出する。そのため、このエッジには、偽エッジが含まれている。
【００３３】
エッジ抽出処理により偽エッジを含む複数のエッジが抽出されると、輪郭エッジ選択部３６により、輪郭エッジ選択処理（輪郭エッジ選択工程）が行われる（ステップＳＴ６０）。輪郭エッジ選択部３６は、まず、エッジ抽出部３３により抽出された複数のエッジと基準点設定部３５により設定された複数の探索点１００〜１０２、２００〜２０２とを合成する（図６（ａ）に示す（Ｆ）参照）。そして、図５に示すように、エッジ抽出部３３により抽出された複数のエッジの中から基準点設定部３５により設定された複数の探索点１００〜１０２、２００〜２０２のそれぞれと例えば最短距離にあるエッジを探索する（ステップＳＴ６１）。ここで、図６（ｂ）に示すように、複数の探索点１００〜１０２、２００〜２０２のそれぞれと最短距離にあるエッジがあれば、これを選択し、エッジ情報として登録する（ステップＳＴ６２、ステップＳＴ６３）。エッジの選択は、全基準点の探索が終了するまで繰り返し行われる（ステップＳＴ６４）。なお、エッジを探索するにあたり最短距離にあるエッジを探索する場合を説明したが、ワークの形状によっては基準点に対して予め定められた位置にあるエッジを選択すればよい。例えば、最短距離、基準点からの距離等、エッジの選択の規則を定めて探索の仕方を変えてもよい。以下、他の実施例の場合でも同様である。
【００３４】
全基準点のエッジの探索が終了すると、輪郭線抽出部３７により、選択された複数の基準点から連続した円環部材の輪郭線を抽出する輪郭線抽出処理（図６（ａ）に示す（Ｇ）参照）が行われる（ステップＳＴ７０）。例えば、輪郭線抽出部３７は、選択されたエッジの端部同士を所定の補正処理により繋げて、連続した輪郭線とする。これにより、円環部材の輪郭線が特定される。
【００３５】
輪郭線抽出部３７により円環部材の輪郭線が特定されると、次に、位置姿勢計測部３８により、円環部材の位置姿勢が計測される（ステップＳＴ８０）。円環部材の位置姿勢は、ＲＯＭ１６に記憶された円環部材の三次元モデル情報と、輪郭線抽出部３７により抽出された円環部材の輪郭線とをフィッティング（三次元モデルフィッティング処理）させることにより行われる。円環部材の三次元モデル情報と円環部材の輪郭線との三次元モデルフィッティング処理により、円環部材の位置姿勢が精密に計測される。なお、ここでは、三次元モデルフィッティング処理の具体的な説明は省略する。
【００３６】
次に、非対称形状のワーク（以下、「非対称部品」という）の輪郭線を抽出して、非対称部品の位置姿勢を計測する位置姿勢計測処理について、図４及び図５を援用すると共に、図７（ａ）及び図７（ｂ）を参照しながら説明する。図７（ａ）は、本実施形態における画像処理装置３による非対称部品の輪郭エッジ選択処理を説明するための図である。図７（ｂ）は、図７（ａ）における（Ｆ）の状態を説明するための部分拡大図である。なお、ここでいう非対称部品には、例えば、歪形状や不定型部品等も含むものとする。
【００３７】
まず、元画像取得部３１により、撮像部２により非対称部品を撮像して得られた８ｂｉｔの元グレイ画像４０ｂ（図７（ａ）に示す（Ａ）参照）を取得する元画像取得処理（元画像取得工程）が行われる（ステップＳＴ１０）。次に、領域特定部３２により、元グレイ画像４０ｂの背景領域と検出対象（非対称部品）の領域とを分離している輝度値の差を閾値として、元グレイ画像４０ｂを２値化する領域特定処理（領域特定工程）が行われる。この領域特定処理により、非対称部品の概略領域４１ｂ（図７（ａ）に示す（Ｂ）参照）が特定される（ステップＳＴ２０）。このとき、元グレイ画像４０ｂの有するノイズにより生成された孤立点としての空胞領域が存在する場合には、２値化した後に、例えば、モルフォロジー処理等により空胞領域を消失させておいてもよい。
【００３８】
領域特定部３２により概略領域４１ｂが特定されると、領域膨張処理部３４により概略領域４１ｂの膨張処理（膨張処理工程）が行われる（ステップＳＴ３０）。領域膨張処理部３４は、概略領域４１ｂを所定回数（所定量）膨張処理し、膨張領域４２ｂ（図７（ａ）に示す（Ｃ）参照）を生成する。なお、膨張処理は、元グレイ画像４０ｂを２値化した際に概略領域４１ｂに孤立点が発生した場合に、孤立点を消失させて、概略領域４１ｂを平滑化させるのにも有効となる。
【００３９】
次に、基準点設定部３５により、膨張領域４２ｂの境界線４３ｂ上に基準点としての局所エッジの探索点３００〜３０２（図７（ａ）に示す（Ｄ）参照）を設定する基準点設定処理（基準点設定工程）が行われる（ステップＳＴ４０）。探索点３００〜３０２は、１隣接画素毎、若しくは所定の間隔で設定される。
【００４０】
ここで、元画像取得部３１により取得された元グレイ画像４０ｂに対し、エッジ抽出部３３により、元グレイ画像４０ｂからエッジ（図７（ａ）に示す（Ｅ）参照）を抽出するエッジ抽出処理（エッジ抽出工程）が行われる（ステップＳＴ５０）。エッジ抽出処理は、ケニーフィルタやソーベルフィルタ等のエッジ検出により行われる。エッジ抽出処理は、例えば、非対称部品の表面上に現れるコントラスト差に基づいて、複数の閾値を設定し、複数の閾値のそれぞれに基づいて仕切られるコントラスト線により現れる線を抽出する。そのため、このエッジには、偽エッジが含まれている。
【００４１】
エッジ抽出処理により偽エッジを含む複数のエッジが抽出されると、輪郭エッジ選択部３６により、輪郭エッジ選択処理（輪郭エッジ選択工程）が行われる（ステップＳＴ６０）。輪郭エッジ選択部３６は、まず、エッジ抽出部３３により抽出された複数のエッジと基準点設定部３５により設定された複数の探索点３００〜３０２とを合成する（図７（ａ）に示す（Ｆ）参照）。そして、図５に示すように、エッジ抽出部３３により抽出された複数のエッジの中から基準点設定部３５により設定された複数の探索点３００〜３０２のそれぞれと最短距離にあるエッジを探索する（ステップＳＴ６１）。ここで、図７（ｂ）に示すように、複数の探索点３００〜３０２のそれぞれと最短距離にあるエッジがあれば、これを選択し、エッジ情報として登録する（ステップＳＴ６２、ステップＳＴ６３）。エッジの選択は、全基準点の探索が終了するまで繰り返し行われる（ステップＳＴ６４）。
【００４２】
全基準点のエッジの探索が終了すると、輪郭線抽出部３７により、選択された複数の基準点から連続した非対称部品の輪郭線を抽出する輪郭線抽出処理（図７（ａ）に示す（Ｇ）参照）が行われる（ステップＳＴ７０）。例えば、輪郭線抽出部３７は、選択されたエッジの端部同士を所定の補正処理により繋げて、連続した輪郭線とする。これにより、非対称部品の輪郭線が特定される。
【００４３】
輪郭線抽出部３７により非対称部品の輪郭線が特定されると、次に、位置姿勢計測部３８により、非対称部品の位置姿勢が計測される（ステップＳＴ８０）。非対称部品の位置姿勢は、ＲＯＭ１６に記憶された非対称部品の三次元モデル情報と、輪郭線抽出部３７により抽出された非対称部品の輪郭線とをフィッティング（三次元モデルフィッティング処理）させることにより行われる。非対称部品の三次元モデル情報と非対称部品の輪郭線との三次元モデルフィッティング処理により、非対称部品の位置姿勢が精密に計測される。なお、ここでは、三次元モデルフィッティング処理の具体的な説明は省略する。
【００４４】
以上説明した位置姿勢計測処理（位置姿勢計測方法）は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし、上記プログラムを実行するように構成することも可能である。
【００４５】
上述したように、実際のワークの表面は、一見フラットな表面状態であっても、微小な凹凸形状が存在し、照明との相乗作用により、急しゅんな輝度変動が現れ、エッジとして検出される場合がある。そのため、画像のエッジ抽出処理を行うと、輪郭を構成するエッジ以外のノイズエッジが検出される。そして、ノイズエッジを含むエッジ情報を元に、三次元モデルフィッティング処理などの演算を行うと、誤差を含む計測結果となり、正確な位置姿勢の検出ができない場合がある。
【００４６】
これに対し、本実施形態に係る画像処理装置３は、２値化などの領域特定処理によりワークの概略領域を特定し、これを膨張処理してワークの輪郭線と膨張処理した概略領域の境界線との間にギャップを与える。そして、膨張処理した概略領域の境界線上に、所定の間隔でエッジの探索点（基準点）を設定し、この探索点から最少距離にあるエッジを、ワークの輪郭を構成するエッジとして選択する。そのため、ノイズエッジの影響を少なくした輪郭線の抽出が可能となる。これにより、輪郭線を精度よく抽出することができる。
【００４７】
また、膨張処理した概略領域の境界線上にエッジの探索点を設定し、探索点から最少距離にあるエッジをワークの輪郭を構成するエッジとして選択することで、様々な形状のワークに対応させることができる。
【００４８】
更に、ノイズエッジが除去された精度の高いエッジ情報を元に、三次元モデルフィッティング処理などの演算が可能になり、ワークの正確な位置姿勢の検出を行うことができる。
【００４９】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されない。
【００５０】
例えば、本実施形態においては、ワークを概略領域として特定し、膨張処理した概略領域との境界に基準点を設定したが、本発明においてはこれに限定されない。例えば、背景を背景領域として特定し、背景領域を収縮させて背景領域との境界に基準点を設けるようにしてもよい。
【００５１】
また、本実施形態においては、概略領域４１ａを所定回数膨張処理して、膨張領域４２ａを生成したが、本発明においてはこれに限定されない。例えば、膨張処理と収縮処理とを繰り返し行いながら膨張領域４２ａを生成してもよい。
【符号の説明】
【００５２】
１ ロボットステーション（ロボットシステム）
２ 撮像部
３ 画像処理装置
３ａ ＣＰＵ（制御部）
４ ロボットアーム
５ ロボットアーム
３１ 元画像取得部（元画像取得手段）
３２ 領域特定部（領域特定手段）
３３ エッジ抽出部（エッジ抽出手段）
３４ 領域膨張処理部（膨張処理手段）
３５ 基準点設定部（基準点設定手段）
３６ 輪郭エッジ選択部（エッジ選択手段）
３７ 輪郭線抽出部（輪郭線抽出手段）
３８ 位置姿勢計測部（位置姿勢計測手段）
Ｄ 記録媒体
Ｗ ワーク
【特許請求の範囲】
【請求項１】
撮像部により撮像されたワークの元画像を取得する元画像取得手段と、
該元画像取得手段により取得された前記元画像を２値化して、該元画像からワークの概略領域を特定する領域特定手段と、
該領域特定手段により特定された前記概略領域を膨張処理する膨張処理手段と、
前記膨張処理手段により抽出された概略領域の境界線上に、複数の基準点を設定する基準点設定手段と、
前記元画像からコントラスト差に基づき、ワークの輪郭に重なるエッジを含む複数のエッジを抽出するエッジ抽出手段と、
該エッジ抽出手段により抽出された複数のエッジと前記基準点設定手段により設定された前記複数の基準点とを合成し、前記エッジ抽出手段により抽出された前記複数のエッジの中から前記複数の基準点のそれぞれに対して予め定められた位置にあるエッジを選択するエッジ選択手段と、
該エッジ選択手段により選択された複数のエッジから連続したワークの輪郭線を抽出する輪郭線抽出手段と、を備えた、
ことを特徴とする画像処理装置。
【請求項２】
前記膨張処理手段は、前記概略領域を膨張処理する際に、２値化した際に発生した孤立点を平滑化して消失させる、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記輪郭線抽出手段により抽出されたワークの輪郭線に、予め記憶された該ワークの三次元モデル情報を照らし合わせて、該ワークの位置姿勢を計測する位置姿勢計測手段と、を備えた、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
搬送されてくるワークを撮像する撮像部と、
該撮像部により撮像されたワークの位置姿勢を計測する請求項３に記載の画像処理装置と、
前記画像処理装置により計測されたワークの位置姿勢に基づいて、ワークを把持するロボットアームと、を備えた、
ことを特徴とするロボットシステム。
【請求項５】
制御部が撮像部により撮像されたワークの元画像を取得する元画像取得工程と、
前記制御部が前記元画像取得工程により取得された前記元画像を２値化して、該元画像からワークの概略領域を特定する領域特定工程と、
前記制御部が前記領域特定工程により特定された前記概略領域を膨張処理する膨張処理工程と、
前記制御部が前記膨張処理工程により膨張処理された概略領域の境界線上に、複数の基準点を設定する基準点設定工程と、
前記制御部が前記元画像からコントラスト差に基づき、ワークの輪郭に重なるエッジを含む複数のエッジを抽出するエッジ抽出工程と、
前記制御部が前記エッジ抽出工程により抽出された複数のエッジと前記基準点設定工程により設定された前記複数の基準点とを合成し、前記エッジ抽出工程により抽出された前記複数のエッジの中から前記複数の基準点のそれぞれに対して予め定められた位置にあるエッジを選択するエッジ選択工程と、
前記制御部が前記エッジ選択工程により選択された複数のエッジから連続したワークの輪郭線を抽出する輪郭線抽出工程と、を備えた、
ことを特徴とする画像処理方法。
【請求項６】
請求項５に記載の各工程をコンピュータに実行させるための画像処理プログラム。
【請求項７】
請求項６に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
撮像部により撮像されたワークの元画像を取得する元画像取得手段と、
該元画像取得手段により取得された前記元画像を２値化して、該元画像からワークの概略領域を特定する領域特定手段と、
該領域特定手段により特定された前記概略領域を膨張処理する膨張処理手段と、
前記膨張処理手段により抽出された概略領域の境界線上に、複数の基準点を設定する基準点設定手段と、
前記元画像からコントラスト差に基づき、ワークの輪郭に重なるエッジを含む複数のエッジを抽出するエッジ抽出手段と、
該エッジ抽出手段により抽出された複数のエッジと前記基準点設定手段により設定された前記複数の基準点とを合成し、前記エッジ抽出手段により抽出された前記複数のエッジの中から前記複数の基準点のそれぞれに対して予め定められた位置にあるエッジを選択するエッジ選択手段と、
該エッジ選択手段により選択された複数のエッジから連続したワークの輪郭線を抽出する輪郭線抽出手段と、を備えた、
ことを特徴とする画像処理装置。
【請求項２】
前記膨張処理手段は、前記概略領域を膨張処理する際に、２値化した際に発生した孤立点を平滑化して消失させる、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記輪郭線抽出手段により抽出されたワークの輪郭線に、予め記憶された該ワークの三次元モデル情報を照らし合わせて、該ワークの位置姿勢を計測する位置姿勢計測手段と、を備えた、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
搬送されてくるワークを撮像する撮像部と、
該撮像部により撮像されたワークの位置姿勢を計測する請求項３に記載の画像処理装置と、
前記画像処理装置により計測されたワークの位置姿勢に基づいて、ワークを把持するロボットアームと、を備えた、
ことを特徴とするロボットシステム。
【請求項５】
制御部が撮像部により撮像されたワークの元画像を取得する元画像取得工程と、
前記制御部が前記元画像取得工程により取得された前記元画像を２値化して、該元画像からワークの概略領域を特定する領域特定工程と、
前記制御部が前記領域特定工程により特定された前記概略領域を膨張処理する膨張処理工程と、
前記制御部が前記膨張処理工程により膨張処理された概略領域の境界線上に、複数の基準点を設定する基準点設定工程と、
前記制御部が前記元画像からコントラスト差に基づき、ワークの輪郭に重なるエッジを含む複数のエッジを抽出するエッジ抽出工程と、
前記制御部が前記エッジ抽出工程により抽出された複数のエッジと前記基準点設定工程により設定された前記複数の基準点とを合成し、前記エッジ抽出工程により抽出された前記複数のエッジの中から前記複数の基準点のそれぞれに対して予め定められた位置にあるエッジを選択するエッジ選択工程と、
前記制御部が前記エッジ選択工程により選択された複数のエッジから連続したワークの輪郭線を抽出する輪郭線抽出工程と、を備えた、
ことを特徴とする画像処理方法。
【請求項６】
請求項５に記載の各工程をコンピュータに実行させるための画像処理プログラム。
【請求項７】
請求項６に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−１０９６９１（Ｐ２０１３−１０９６９１Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５５９２８（Ｐ２０１１−２５５９２８）
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]