画像処理装置、画像処理方法及び画像処理プログラム
【課題】様々な位置姿勢や形状のワークに対応可能で、かつ、迅速に最大内接円を抽出可能な画像処理装置、画像処理方法及び画像処理プログラムを提供すること。
【解決手段】撮像部２によりワークＷが撮像された元画像を取得する元画像抽出部３１と、元画像抽出部３１により取得された元画像を２値化して、元画像からワークＷの概略領域を特定する領域特定部３２と、領域特定部３２手段により特定された概略領域を所定回数収縮処理する収縮処理部３４と、元画像抽出部３１により取得された元画像からワークＷの輪郭線を抽出する輪郭線抽出部３５と、輪郭線抽出部３５により抽出されたワークＷの輪郭線と収縮処理部３４により収縮処理された収縮領域とを合成し、収縮領域の領域内で輪郭線に内接する最大内接円の中心点を探索して、中心点を中心としたワークＷの内接円を抽出する最大内接円選定部３６と、を備えた。
【解決手段】撮像部２によりワークＷが撮像された元画像を取得する元画像抽出部３１と、元画像抽出部３１により取得された元画像を２値化して、元画像からワークＷの概略領域を特定する領域特定部３２と、領域特定部３２手段により特定された概略領域を所定回数収縮処理する収縮処理部３４と、元画像抽出部３１により取得された元画像からワークＷの輪郭線を抽出する輪郭線抽出部３５と、輪郭線抽出部３５により抽出されたワークＷの輪郭線と収縮処理部３４により収縮処理された収縮領域とを合成し、収縮領域の領域内で輪郭線に内接する最大内接円の中心点を探索して、中心点を中心としたワークＷの内接円を抽出する最大内接円選定部３６と、を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ワークが撮像された画像からワークの位置姿勢を特定するための内接円を抽出する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、マシンビジョンの分野においては、撮像して得られた検査対象であるワークの画像から幾何学的特徴量を抽出することにより、ワークの位置姿勢の特定や形状の異常等を検査することが広く一般に行われている。
【０００３】
例えば、ワークの画像からワークに内接する内接円を抽出することでワークの最も広い面積を有する部位を特定し、これによりワークの位置を特定する方法がある。そして、画像処理によりワークの内接円を求める一般的な方法としては、ワークの画像におけるワーク内部の全ての点をワークの内接円の中心点の候補と仮定し、候補の一点とワークの輪郭の位置との関係から、内接円を抽出する方法がある。例えば、中心点と仮定した座標から輪郭までの最短距離となる点が３点以上抽出された場合は、仮定した座標が内接円の中心点となり、その最短距離が半径となる。また、複数の内接円が抽出された場合は、半径が最大である内接円が最大内接円となる。
【０００４】
しかしながら、ワーク内部の全ての点をワークの内接円の中心点と仮定して内接円を抽出する方法は、ワークの面積が広い程、検出範囲が増大するため、演算コストが大きくなるという問題がある。
【０００５】
これに対しては、ワークの重心付近を探索範囲とすることで、中心点の検出範囲を小さくし、演算コストを抑制可能な内接円の抽出方法が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２０８０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の内接円の抽出方法は、対照形状が既知であり、位置姿勢が平面範囲内にあるワークの内接円を検出するものであるため、ワークの形状が未知のものや柔軟物等には対応することができない場合がある。また、三次元でワークの位置姿勢が変動するものや重心位置と中心位置とが大きく異なるワークに対しては対応することができない。
【０００８】
そこで、本発明は、様々な位置姿勢や形状のワークに対応可能で、かつ、迅速に内接円を抽出可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮像部により撮像されたワークの元画像を取得する元画像取得手段と、該元画像取得手段により取得された元画像を２値化して、元画像からワークの概略領域を特定する領域特定手段と、該領域特定手段により特定された前記概略領域を所定回数収縮処理する収縮処理手段と、前記元画像もしくは前記概略領域からワークの輪郭線を抽出する輪郭線抽出手段と、前記ワークの輪郭線と前記収縮処理手段により収縮処理された収縮領域とを合成し、前記収縮領域の領域内で前記輪郭線に内接する内接円の中心点を探索して、該中心点を中心としたワークの内接円を抽出する内接円抽出手段と、を備えた、ことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、内接円の中心点の検出範囲を、二値化して得られるワークの概略領域を収縮処理した範囲とすることで、様々な位置姿勢や形状のワークに対応可能で、かつ、迅速に内接円を抽出することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るロボットステーションを示す斜視図である。
【図２】本実施形態に係る画像計測装置のハード構成を示すブロック図である。
【図３】本実施形態に係る画像計測装置の内部構成を示すブロック図である。
【図４】本実施形態に係る画像計測装置による位置姿勢計測処理を示すフローチャートである。
【図５】本実施形態に係る画像計測装置によるワークの最大内接円抽出処理を説明するための図である。
【図６】（Ａ）は、直角二等辺三角形を４近傍の収縮処理により収縮させた状態を示す図であり、（Ｂ）は、直角二等辺三角形を８近傍の収縮処理により収縮させた状態を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態に係る画像処理装置としての画像計測装置を有するロボットシステムとしてのロボットステーション１について、図面を参照しながら説明する。まず、本実施形態に係るロボットステーション１の概略構成について、図１から図３を参照しながら説明する。図１は、本発明の実施形態に係るロボットステーション１を示す斜視図である。図２は、本実施形態に係る画像計測装置３のハード構成を示すブロック図である。図３は、本実施形態に係る画像計測装置３の内部構成を示すブロック図である。
【００１３】
図１から図３に示すように、ロボットステーション１は、検査対象となるワークＷを撮像する撮像部２と、撮像部２により撮像された元画像からワークＷの位置姿勢を計測する画像計測装置３と、ワークＷを把持するロボットアーム４，５と、を備えている。本実施形態においては、ロボットアーム４，５は、剛性を持つ支柱により形成されたブース６の架台７の上に配設されており、ロボットアーム４，５の上方に配設されたワークＷを照らすための一対の照明８，８の間に撮像部２が配設されている。
【００１４】
撮像部２は、架台７の上に搬送あるいは載置されたワークＷの全体を撮像する。撮像部２は、デジタルカメラ等により構成されており、デジタルカメラの場合には、ＣＣＤイメージセンサあるいはＣＭＯＳイメージセンサ等の固定撮像素子と、撮像レンズと、を備えて構成される。
【００１５】
図２に示すように、画像計測装置３は、制御部としてのＣＰＵ３ａを備えており、ＣＰＵ３ａには、バス１０に接続されたインターフェイス１１を介して、撮像部２、キーボード１２及びマウス１３が接続されている。キーボード１２及びマウス１３は、ワークＷの輪郭線の抽出や位置姿勢の計測に必要な指定情報、あるいはその他の指示等の入力を可能としている。また、ＣＰＵ３ａには、画像を表示するディスプレイ１４及び音声を出力するスピーカ１５がバスを介して接続されている。ディスプレイ１４は、撮像部２により撮像され、ＣＰＵ３ａで所定の処理が行われたワークＷ等を表示可能としている。スピーカ１５は、ＣＰＵ３ａで生成された音声等を出力可能としている。
【００１６】
更に、ＣＰＵ３ａには、ＲＡＭ１６及びＲＯＭ１７がバス１０を介して接続されている。ＲＡＭ１６には、後述する内接円抽出処理等の作業領域が確保されている。ＲＯＭ１７には、画像計測装置３の基本制御に必要なプログラムやワークＷの３次元モデル情報等が格納されている。また、バス１０には、記録媒体読取部１８が接続されており、ワークＷの輪郭を抽出する画像処理プログラムやワークＷの３次元モデル情報等を記録した記録媒体Ｄを読み込み、例えばＲＯＭ１７に格納できるようになっている。
【００１７】
また、バス１０には、通信装置１９が接続されており、上述したような記録媒体Ｄを使用せずに、通信装置１９を介してインターネット等から配信される画像処理プログラムやワークＷの３次元モデル情報等をダウンロード可能に構成されている。なお、画像計測装置３は、通信装置１９を介して端末機からの入力を受信し、この端末機からの要求に基づいて画像処理プログラムを実行（演算）し、実行（演算）結果を端末機に送信するサ−バー機として機能するように構成されてもよい。
【００１８】
図３に示すように、画像計測装置３のＣＰＵ３ａは、元画像取得手段としての元画像抽出部３１と、領域特定手段としての領域特定部３２と、収縮回数算出手段としての収縮回数算出部３３と、収縮処理手段としての収縮処理部３４と、を備えている。また、画像計測装置３のＣＰＵ３ａは、輪郭線抽出手段としての輪郭線抽出部３５と、内接円抽出手段としての最大内接円選定部３６と、位置姿勢計測部としての位置姿勢計測部３７と、を備えている。
【００１９】
元画像抽出部３１は、撮像部２によりワークＷが撮像された元画像を取得し、領域特定部３２に元画像を出力する。領域特定部３２は、元画像抽出部３１から出力された元画像を２値化して、ワークＷの概略を構成する概略領域を特定し、特定した概略領域の領域情報を収縮回数算出部３３及び輪郭線抽出部３５に出力する。
【００２０】
収縮回数算出部３３は、領域特定部３２から出力された領域情報から特定した概略領域を所定回数収縮処理して、収縮領域を形成するための収縮回数を算出する。なお、収縮回数算出部３３による収縮回数の算出については、後に詳しく説明する。収縮処理部３４は、収縮回数算出部３３により算出された所定回数の収縮処理を行い、概略領域から収縮領域を生成する。
【００２１】
輪郭線抽出部３５は、領域特定部３２により特定されたワークＷの概略領域からワークのＷの輪郭線を抽出する。なお、本実施形態においては、２値化された概略領域からワークＷの輪郭線を抽出したが、元画像からワークＷのエッジを抽出し、エッジからワークＷ輪郭線を抽出してもよい。
【００２２】
最大内接円選定部３６は、輪郭線抽出部３５により抽出されたワークＷの輪郭線と、収縮処理部３４により収縮処理された収縮領域とを合成し、収縮領域の領域内で輪郭線に内接する内接円の中心点を探索してワークＷの内接円を抽出する。内接円の決定には例えば最大内接円となる中心点を探索するなどすると良いが、本発明はこれに限定されるものではない。以下では本発明の理解ために、最大内接円を抽出することを想定して説明する。
【００２３】
位置姿勢計測部３７は、ＲＯＭ１７に記憶されたワークＷのモデル情報と、最大内接円選定部３６により抽出された内接円の位置情報とを照らし合わせて（フィッティング処理）、ワークＷの位置姿勢を計測する。なお、ここでいうワークＷの位置姿勢とは、ワークＷの位置及びワークＷの姿勢を示すものである。
【００２４】
ロボットアーム４，５は、６軸制御可能なロボットアームであり、先端部には、各種作業に応じて様々なエンドエフェクタを取り付け可能に形成されている。エンドエフェクタは、人間の手、指に相当する部分である。本実施形態においては、ロボットアーム４，５の一方のロボットアーム４には細かい作業を可能にする小型のエンドエフェクタが装着され、他方のロボットアーム５には比較的大きな部材を扱うエンドエフェクタが装着されている。また、ロボットステーション１内で使用されるコントローラや電源等は、架台７の下部から引き出し可能に収納された電源コントローラボックス９に収納されている。
【００２５】
次に、本実施形態に係る画像計測装置３によるワークＷの位置姿勢計測処理（位置姿勢計測方法）について、図４から図６（Ｂ）を参照しながら説明する。なお、以下においては、撮像部２によりグレースケールにて撮像されたワークＷの元画像（以下、「元グレイ画像」という）から位置姿勢を計測する位置姿勢計測処理を用いて説明する。また、ワークＷとして略円環形状の部品を用いて説明する。
【００２６】
図４は、本実施形態に係る画像計測装置３による位置姿勢計測処理を示すフローチャートである。図５は、本実施形態に係る画像計測装置３によるワークＷの最大内接円抽出処理を説明するための図である。
【００２７】
まず、元画像抽出部３１により、撮像部２によりワークＷを撮像して得られた８ｂｉｔの元グレイ画像４０（図５に示す（Ａ）参照）を取得する元画像取得処理（元画像取得工程）が行われる（ステップＳＴ１０）。次に、領域特定部３２により、元グレイ画像４０の背景領域と検出対象（ワークＷ）の領域とを分離している輝度値の差を閾値として、元グレイ画像４０を２値化する領域特定処理（領域特定工程）が行われる。この領域特定処理により、ワークＷの概略領域４１（図５に示す（Ｂ）参照）が特定される（ステップＳＴ２０）。
【００２８】
領域特定部３２により概略領域４１が特定されると、収縮回数算出部３３により概略領域４１を収縮処理する処理回数の算出（収縮回数算出工程）が行われる（ステップＳＴ３０）。なお、画像処理における収縮処理には、様々なアルゴリズムが存在する。例えば、注目ピクセルの４近傍に１つでも「０」である場合は、注目ピクセルを「１」から「０」と置き換える４近傍の収縮処理や、注目ピクセルの８近傍に１つでも「０」である場合は、注目ピクセルを「１」から「０」と置き換える８近傍の収縮処理がある。また、注目ピクセルの近傍情報のパターンや統計処理等により、注目ピクセルの処理を決定するものもある。本実施形態においては、４近傍又は８近傍の収縮処理を用いた処理回数の算出が行われる。
【００２９】
ここで、４近傍及び８近傍の収縮処理の最適な処理回数算出のアルゴリズムについて、図６（Ａ）及び図６（Ｂ）を参照しながら説明する。図６（Ａ）は、直角二等辺三角形を４近傍の収縮処理により収縮させた状態を示す図である。図６（Ｂ）は、直角二等辺三角形を８近傍の収縮処理により収縮させた状態を示す図である。
【００３０】
図６（Ａ）に示すように、例えば、直角二等辺三角形の概略領域５０ａに対して４近傍の収縮処理を行うと、概略領域５０ａが収縮して収縮領域５１ａが生成される。そして、収縮領域５１ａを収縮処理すると、収縮領域５２ａが生成され、収縮領域５２ａを更に収縮処理すると、収縮領域５３ａが生成される。このように、４近傍の収縮処理のアルゴリズムを繰り返して適用することにより、収縮領域５１ａ，５２ａ，５３ａ，５４ａが生成され、収縮処理を所定回数繰り返すことで収縮領域が消滅する。
【００３１】
ここで、直角二等辺三角形の４近傍の収縮処理においては、水平部及び垂直部の方が斜面部よりも収縮の速度が速い（より多く収縮する）。具体的には、直角二等辺三角形は、内接円の中心位置から水平方向、垂直方向及び４５度方向に接点を持ち、水平方向及び垂直方向においては、１回の収縮で１ピクセル収縮されるが、斜め（４５度）方向においては、１回の収縮で１／√２ピクセルしか収縮しない。つまり、直角二等辺三角形の概略領域５０ａに対して４近傍の収縮処理を行うと、収縮が均等にならず、収縮領域が消滅する直前の収縮領域内に直角二等辺三角形の最大内接円の中心が存在しない状態になり得る。
【００３２】
同様に、図６（Ｂ）に示すように、例えば、直角二等辺三角形の概略領域５０ｂに対して８近傍の収縮処理を行うと、概略領域５０ｂが収縮して収縮領域５１ｂが生成される。そして、収縮領域５１ａを収縮処理すると、収縮領域５２ａが生成され、収縮領域５２ａを更に収縮処理すると、収縮領域５３ａが生成される。このように、８近傍の収縮処理のアルゴリズムを繰り返して適用することにより、収縮領域５１ａ，５２ａ，５３ａ，５４ａが生成され、収縮処理を所定回数繰り返すことで収縮領域が消滅する。
【００３３】
ここで、直角二等辺三角形の８近傍の収縮処理においては、斜面部の方が水平部及び垂直部よりも収縮の速度が速い（より多く収縮する）。具体的には、直角二等辺三角形は、水平方向及び垂直方向においては、１回の収縮で１ピクセル収縮されるが、斜め（４５度）方向においては、１回の収縮で√２ピクセル収縮する。つまり、直角二等辺三角形の概略領域５０ａに対して８近傍の収縮処理を行うと、収縮が均等にならず、収縮領域が消滅する直前の収縮領域内に直角二等辺三角形の最大内接円の中心が存在しない状態になり得る。
【００３４】
このように、４近傍及び８近傍の収縮処理を行う場合、直角二等辺三角形は、均等に収縮しない影響を最も受け得る形状である。そのため、任意形状に対して、安全率を鑑みた４近傍及び８近傍の収縮回数の制限値を決定するには、最も顕著なズレを生じさせる直角二等辺三角形を想定した収縮回数の制限値を決定すればよい。
【００３５】
更に、収縮回数の制限値は、収縮領域が消滅する第１消滅回数と最大内接円の中心点が収縮領域から外れる越点回数との比率を、概略領域が消滅するまで収縮処理された場合の第２消滅回数に乗算した回数を、所定回数として算出することができる。なお、第１消滅回数は、直角二等辺三角形を所定の収縮手法により収縮処理して収縮領域が消滅する回数である。また、越点回数は、直角二等辺三角形の輪郭線に内接する最大内接円の中心点が収縮領域から外れる回数である。また、第２消滅回数は、収縮処理部３４によって所定の収縮手法により概略領域が消滅するまで収縮処理された場合の回数である。
【００３６】
以下、部位により収縮の速さが最も異なる（収縮の差が最も大きい）形状である直角二等辺三角形を、所定の収縮手法の一つである４近傍の収縮処理及び８近傍の収縮処理を用いた場合の最適な収縮処理の回数の算出について、数式を例示して説明する。
【００３７】
まず、直角二等辺三角形の４近傍の収縮処理における収縮処理の回数の算出について、数式を例示して説明する。
【００３８】
直角二等辺三角形の直角を成す二辺の長さをａとすると、直角の対辺は√２ａである。直角三角形の内接円の半径をｒ、面積をＳとすると、
ａ×ａ／２＝（ａ√２×ｒ）／２＋（ａ√２×ｒ）／２＋（ａ×ｒ）／２ （数式１）
が導出される。
これにより、半径は、
ｒ＝ａ／（２＋√２） （数式２）
となる。よって、最大内接円の中心点を消失させない収縮回数の限度Ｃ（回数）は、整数であるため、ｒの小数点以下を切り捨てた、以下の数式で表させる。
Ｃ＝［ａ／（２＋√２）］（回） （数式３）
【００３９】
ここで、膨張領域の消滅までの理論上の収縮回数（小数値含む）をＤ´、膨張領域の消滅までの収縮適用回数（整数値）をＤとすると、水平方向の収縮は、Ｄ´回の収縮回数でＤ´画素分消滅する。一方、斜め４５度方向の接点の水平成分は、Ｄ´回の収縮回数で０．５Ｄ´画素分消滅する。斜め４５度方向の接点の水平方向の位置は、ａ／２であるため、
Ｄ´＋０．５Ｄ´＝ａ／２ （数式４）
となり、ａ＝３Ｄ´が導出される。
これにより、Ｃ＝［３Ｄ´／（２＋√２）］ となる。
ここで、Ｄ´＝整数ならば、Ｄ＝Ｄ´となり、
Ｃ＝［３Ｄ／（２＋√２）］ （数式５）
となる。
【００４０】
一方、Ｄ´≠整数ならば、Ｄ＝Ｄ´＋１となり、Ｄ´＞Ｄ−１なので、
［３Ｄ´／（２＋√２）］＞［３（Ｄ−１）／（２＋√２）］となり、
Ｃ＝［３（Ｄ−１）／（２＋√２）］ （数式６）
となる。
数式５及び数式６のうち、必ず中心点を含むのは、収縮回数の少ない数式６にて算出すればよい。よって、任意形状に対して、最大内接円の中心位置を含む領域までの収縮回数の限度Ｃ（回数）は、
Ｃ＝［３（Ｄ−１）／（２＋√２）］ （数式７）
により算出可能となる。
【００４１】
直角二等辺三角形の８近傍の収縮処理における収縮処理の回数の算出ついては、上記と同様に導出された次式が例示でき、次式により収縮回数の限度Ｃ（回数）が算出可能となる。
Ｃ＝［（（２×Ｄ）／（２＋√２））−１］ （数式８）
【００４２】
次に、収縮回数算出部３３により概略領域４１を収縮処理する所定回数の算出（収縮回数算出工程）が行われると、図４に示すように、収縮処理部３４により所定回数の収縮処理が行われる（ステップＳＴ４０）。具体的には、収縮処理部３４によりワークの概略領域４１が収縮処理されると、収縮領域（図５に示す（Ｃ）参照）４２が生成され、所定回数の収縮処理が行われると、最大内接円の中心点を含んだ収縮領域（図５に示す（Ｄ）参照）４３が生成される。
【００４３】
収縮処理部３４により所定回数の収縮処理が行われると、次に、輪郭線抽出部３５により、領域特定部３２により特定されたワークＷの概略領域４１からワークＷの輪郭線（図５に示す（Ｅ）参照）４４の抽出を行う輪郭線抽出処理が行われる（ステップＳＴ５０）。また、前述したようにワークＷの輪郭線は元グレイ画像から抽出してもよい。なお、輪郭線抽出部３５による輪郭線抽出処理は、収縮回数算出部３３による収縮回数算出処理と並行に行われてもよい。
【００４４】
輪郭線抽出部３５によりワークＷの輪郭線４４の抽出が行われると、次に、最大内接円選定部３６により、最大内接円の選定が行われる（ステップＳＴ６０）。最大内接円選定部３６は、まず、輪郭線抽出部３５により抽出された輪郭線（図５に示す（Ｅ）参照）４４と、収縮処理部３４により生成された中心点４５を含んだ収縮領域（図５に示す（Ｄ）参照）４３とを合成（図５に示す（Ｆ）参照）する。そして、収縮領域４３の領域内に、１点の座標を仮選定して輪郭線４４までの距離を算出し、仮選定の座標が中心点であるか否かを判断する。例えば、中心点と仮選定した座標から輪郭線４４までの最短距離となる点が３点以上抽出された場合は、仮選定した座標が最大内接円４６の中心点４５となる（図５に示す（Ｇ）参照）。
【００４５】
なお、最大半径を持つ最大内接円が複数存在する場合は、ユーザの計測目的を鑑みた特定の方法により基準を追加してもよい。例えば、中心点が画像処理の原点座標に近いものを優先し、これが最大内接円になるように設定してもよい。
【００４６】
最大内接円選定部３６により最大内接円４６の選定が行われると、次に、位置姿勢計測部３８により、ワークＷの位置姿勢が計測される（ステップＳＴ７０）。ワークＷの位置姿勢は、ＲＯＭ１７に記憶されたワークＷの三次元モデル情報と、最大内接円選定部３６により選定されたワークＷの最大内接円４６とをフィッティング（三次元モデルフィッティング処理）させることにより行われる。なお、前述したように内接円の選定には必ずしも最大内接円を選ぶ必要はなく、計測目的に応じた選定基準をユーザが定めて良い。ワークＷの三次元モデル情報とワークＷの内接円との三次元モデルフィッティング処理により、ワークＷの位置姿勢が精密に計測される。なお、ここでは、三次元モデルフィッティング処理の具体的な説明は省略する。
【００４７】
以上説明したように、本実施形態によれば、画像計測装置３は、ワークＷの輪郭線４４に内接する最大内接円４６の中心点４５の検出範囲を、二値化して得られるワークＷの概略領域４１を所定回数収縮処理した収縮領域４３の範囲内としている。そのため、中心点の検出範囲を小さくすることができる。これにより、演算時間等の演算コストを小さくすることができる。
【００４８】
また、本実施形態に係る画像計測装置３は、元グレイ画像４０を２値化した概略領域４１を所定回数収縮処理することで収縮領域を生成する。そのため、対称形状が未知のものや柔軟物等、また、三次元でワークの位置姿勢が変動するものや重心位置と中心位置とが大きく異なるワークに対しても対応させることができる。
【００４９】
このように、本実施形態に係る画像計測装置３は、最大内接円の中心点の検出範囲を、二値化して得られるワークの概略領域を収縮処理した範囲とすることで、様々な位置姿勢や形状のワークに対応可能で、かつ、迅速に最大内接円を抽出することができる。
【００５０】
また、本実施形態に係る画像計測装置３は、４近傍及び８近傍の収縮処理において、最も顕著なズレを生じさせる直角二等辺三角形を想定した収縮回数の制限値を設定する。そのため、任意形状に対しても、安全率を鑑みた４近傍及び８近傍の収縮回数の制限値を適用することができる。
【００５１】
更に、収縮回数の制限値として、収縮領域が消滅する第１消滅回数と最大内接円の中心点が収縮領域から外れる越点回数との比率を、概略領域が消滅するまで収縮処理された場合の第２消滅回数に乗算した回数を、所定回数として算出している。これにより、収縮回数の制限値を容易に設定することができる。
【００５２】
以上説明した位置姿勢計測処理（位置姿勢計測方法）は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし、上記プログラムを実行するように構成することも可能である。
【００５３】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されない。
【００５４】
例えば、本実施形態においては、所定の収縮手法として、４近傍の収縮処理及び８近傍の収縮処理を用いて説明したが本発明においてはこれに限定されない。他のアルゴリズムの収縮手法を用いて、収縮処理の所定回数を算出してもよい。
【００５５】
また、本実施形態においては、収縮処理の所定回数を数式により算出したが、本発明においてはこれに限定されない。収縮回数の制限値は、例えば、収縮領域が消滅する第１消滅回数と最大内接円の中心点が収縮領域から外れる越点回数との比率を、概略領域が消滅するまで収縮処理された場合の第２消滅回数に乗算した回数と同様な概念を示すものであればよい。
【符号の説明】
【００５６】
１ ロボットステーション（ロボットシステム）
２ 撮像部
３ 画像計測装置（画像処理装置）
３ａ ＣＰＵ（制御部）
４ ロボットアーム
５ ロボットアーム
３１ 元画像抽出部（元画像取得手段）
３２ 領域特定部（領域特定手段）
３３ 収縮回数算出部（収縮回数算出手段）
３４ 収縮処理部（収縮処理手段）
３５ 輪郭線抽出部（輪郭線抽出手段）
３６ 最大内接円選定部（内接円抽出部）
３７ 位置姿勢計測部（位置姿勢計測手段）
４０ 元画像
４１ 概略領域
４２ 収縮領域
４４ 輪郭線
４５ 中心点
４６ 最大内接円
Ｄ 記憶媒体
Ｗ ワーク
【技術分野】
【０００１】
本発明は、ワークが撮像された画像からワークの位置姿勢を特定するための内接円を抽出する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、マシンビジョンの分野においては、撮像して得られた検査対象であるワークの画像から幾何学的特徴量を抽出することにより、ワークの位置姿勢の特定や形状の異常等を検査することが広く一般に行われている。
【０００３】
例えば、ワークの画像からワークに内接する内接円を抽出することでワークの最も広い面積を有する部位を特定し、これによりワークの位置を特定する方法がある。そして、画像処理によりワークの内接円を求める一般的な方法としては、ワークの画像におけるワーク内部の全ての点をワークの内接円の中心点の候補と仮定し、候補の一点とワークの輪郭の位置との関係から、内接円を抽出する方法がある。例えば、中心点と仮定した座標から輪郭までの最短距離となる点が３点以上抽出された場合は、仮定した座標が内接円の中心点となり、その最短距離が半径となる。また、複数の内接円が抽出された場合は、半径が最大である内接円が最大内接円となる。
【０００４】
しかしながら、ワーク内部の全ての点をワークの内接円の中心点と仮定して内接円を抽出する方法は、ワークの面積が広い程、検出範囲が増大するため、演算コストが大きくなるという問題がある。
【０００５】
これに対しては、ワークの重心付近を探索範囲とすることで、中心点の検出範囲を小さくし、演算コストを抑制可能な内接円の抽出方法が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２０８０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の内接円の抽出方法は、対照形状が既知であり、位置姿勢が平面範囲内にあるワークの内接円を検出するものであるため、ワークの形状が未知のものや柔軟物等には対応することができない場合がある。また、三次元でワークの位置姿勢が変動するものや重心位置と中心位置とが大きく異なるワークに対しては対応することができない。
【０００８】
そこで、本発明は、様々な位置姿勢や形状のワークに対応可能で、かつ、迅速に内接円を抽出可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮像部により撮像されたワークの元画像を取得する元画像取得手段と、該元画像取得手段により取得された元画像を２値化して、元画像からワークの概略領域を特定する領域特定手段と、該領域特定手段により特定された前記概略領域を所定回数収縮処理する収縮処理手段と、前記元画像もしくは前記概略領域からワークの輪郭線を抽出する輪郭線抽出手段と、前記ワークの輪郭線と前記収縮処理手段により収縮処理された収縮領域とを合成し、前記収縮領域の領域内で前記輪郭線に内接する内接円の中心点を探索して、該中心点を中心としたワークの内接円を抽出する内接円抽出手段と、を備えた、ことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、内接円の中心点の検出範囲を、二値化して得られるワークの概略領域を収縮処理した範囲とすることで、様々な位置姿勢や形状のワークに対応可能で、かつ、迅速に内接円を抽出することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るロボットステーションを示す斜視図である。
【図２】本実施形態に係る画像計測装置のハード構成を示すブロック図である。
【図３】本実施形態に係る画像計測装置の内部構成を示すブロック図である。
【図４】本実施形態に係る画像計測装置による位置姿勢計測処理を示すフローチャートである。
【図５】本実施形態に係る画像計測装置によるワークの最大内接円抽出処理を説明するための図である。
【図６】（Ａ）は、直角二等辺三角形を４近傍の収縮処理により収縮させた状態を示す図であり、（Ｂ）は、直角二等辺三角形を８近傍の収縮処理により収縮させた状態を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態に係る画像処理装置としての画像計測装置を有するロボットシステムとしてのロボットステーション１について、図面を参照しながら説明する。まず、本実施形態に係るロボットステーション１の概略構成について、図１から図３を参照しながら説明する。図１は、本発明の実施形態に係るロボットステーション１を示す斜視図である。図２は、本実施形態に係る画像計測装置３のハード構成を示すブロック図である。図３は、本実施形態に係る画像計測装置３の内部構成を示すブロック図である。
【００１３】
図１から図３に示すように、ロボットステーション１は、検査対象となるワークＷを撮像する撮像部２と、撮像部２により撮像された元画像からワークＷの位置姿勢を計測する画像計測装置３と、ワークＷを把持するロボットアーム４，５と、を備えている。本実施形態においては、ロボットアーム４，５は、剛性を持つ支柱により形成されたブース６の架台７の上に配設されており、ロボットアーム４，５の上方に配設されたワークＷを照らすための一対の照明８，８の間に撮像部２が配設されている。
【００１４】
撮像部２は、架台７の上に搬送あるいは載置されたワークＷの全体を撮像する。撮像部２は、デジタルカメラ等により構成されており、デジタルカメラの場合には、ＣＣＤイメージセンサあるいはＣＭＯＳイメージセンサ等の固定撮像素子と、撮像レンズと、を備えて構成される。
【００１５】
図２に示すように、画像計測装置３は、制御部としてのＣＰＵ３ａを備えており、ＣＰＵ３ａには、バス１０に接続されたインターフェイス１１を介して、撮像部２、キーボード１２及びマウス１３が接続されている。キーボード１２及びマウス１３は、ワークＷの輪郭線の抽出や位置姿勢の計測に必要な指定情報、あるいはその他の指示等の入力を可能としている。また、ＣＰＵ３ａには、画像を表示するディスプレイ１４及び音声を出力するスピーカ１５がバスを介して接続されている。ディスプレイ１４は、撮像部２により撮像され、ＣＰＵ３ａで所定の処理が行われたワークＷ等を表示可能としている。スピーカ１５は、ＣＰＵ３ａで生成された音声等を出力可能としている。
【００１６】
更に、ＣＰＵ３ａには、ＲＡＭ１６及びＲＯＭ１７がバス１０を介して接続されている。ＲＡＭ１６には、後述する内接円抽出処理等の作業領域が確保されている。ＲＯＭ１７には、画像計測装置３の基本制御に必要なプログラムやワークＷの３次元モデル情報等が格納されている。また、バス１０には、記録媒体読取部１８が接続されており、ワークＷの輪郭を抽出する画像処理プログラムやワークＷの３次元モデル情報等を記録した記録媒体Ｄを読み込み、例えばＲＯＭ１７に格納できるようになっている。
【００１７】
また、バス１０には、通信装置１９が接続されており、上述したような記録媒体Ｄを使用せずに、通信装置１９を介してインターネット等から配信される画像処理プログラムやワークＷの３次元モデル情報等をダウンロード可能に構成されている。なお、画像計測装置３は、通信装置１９を介して端末機からの入力を受信し、この端末機からの要求に基づいて画像処理プログラムを実行（演算）し、実行（演算）結果を端末機に送信するサ−バー機として機能するように構成されてもよい。
【００１８】
図３に示すように、画像計測装置３のＣＰＵ３ａは、元画像取得手段としての元画像抽出部３１と、領域特定手段としての領域特定部３２と、収縮回数算出手段としての収縮回数算出部３３と、収縮処理手段としての収縮処理部３４と、を備えている。また、画像計測装置３のＣＰＵ３ａは、輪郭線抽出手段としての輪郭線抽出部３５と、内接円抽出手段としての最大内接円選定部３６と、位置姿勢計測部としての位置姿勢計測部３７と、を備えている。
【００１９】
元画像抽出部３１は、撮像部２によりワークＷが撮像された元画像を取得し、領域特定部３２に元画像を出力する。領域特定部３２は、元画像抽出部３１から出力された元画像を２値化して、ワークＷの概略を構成する概略領域を特定し、特定した概略領域の領域情報を収縮回数算出部３３及び輪郭線抽出部３５に出力する。
【００２０】
収縮回数算出部３３は、領域特定部３２から出力された領域情報から特定した概略領域を所定回数収縮処理して、収縮領域を形成するための収縮回数を算出する。なお、収縮回数算出部３３による収縮回数の算出については、後に詳しく説明する。収縮処理部３４は、収縮回数算出部３３により算出された所定回数の収縮処理を行い、概略領域から収縮領域を生成する。
【００２１】
輪郭線抽出部３５は、領域特定部３２により特定されたワークＷの概略領域からワークのＷの輪郭線を抽出する。なお、本実施形態においては、２値化された概略領域からワークＷの輪郭線を抽出したが、元画像からワークＷのエッジを抽出し、エッジからワークＷ輪郭線を抽出してもよい。
【００２２】
最大内接円選定部３６は、輪郭線抽出部３５により抽出されたワークＷの輪郭線と、収縮処理部３４により収縮処理された収縮領域とを合成し、収縮領域の領域内で輪郭線に内接する内接円の中心点を探索してワークＷの内接円を抽出する。内接円の決定には例えば最大内接円となる中心点を探索するなどすると良いが、本発明はこれに限定されるものではない。以下では本発明の理解ために、最大内接円を抽出することを想定して説明する。
【００２３】
位置姿勢計測部３７は、ＲＯＭ１７に記憶されたワークＷのモデル情報と、最大内接円選定部３６により抽出された内接円の位置情報とを照らし合わせて（フィッティング処理）、ワークＷの位置姿勢を計測する。なお、ここでいうワークＷの位置姿勢とは、ワークＷの位置及びワークＷの姿勢を示すものである。
【００２４】
ロボットアーム４，５は、６軸制御可能なロボットアームであり、先端部には、各種作業に応じて様々なエンドエフェクタを取り付け可能に形成されている。エンドエフェクタは、人間の手、指に相当する部分である。本実施形態においては、ロボットアーム４，５の一方のロボットアーム４には細かい作業を可能にする小型のエンドエフェクタが装着され、他方のロボットアーム５には比較的大きな部材を扱うエンドエフェクタが装着されている。また、ロボットステーション１内で使用されるコントローラや電源等は、架台７の下部から引き出し可能に収納された電源コントローラボックス９に収納されている。
【００２５】
次に、本実施形態に係る画像計測装置３によるワークＷの位置姿勢計測処理（位置姿勢計測方法）について、図４から図６（Ｂ）を参照しながら説明する。なお、以下においては、撮像部２によりグレースケールにて撮像されたワークＷの元画像（以下、「元グレイ画像」という）から位置姿勢を計測する位置姿勢計測処理を用いて説明する。また、ワークＷとして略円環形状の部品を用いて説明する。
【００２６】
図４は、本実施形態に係る画像計測装置３による位置姿勢計測処理を示すフローチャートである。図５は、本実施形態に係る画像計測装置３によるワークＷの最大内接円抽出処理を説明するための図である。
【００２７】
まず、元画像抽出部３１により、撮像部２によりワークＷを撮像して得られた８ｂｉｔの元グレイ画像４０（図５に示す（Ａ）参照）を取得する元画像取得処理（元画像取得工程）が行われる（ステップＳＴ１０）。次に、領域特定部３２により、元グレイ画像４０の背景領域と検出対象（ワークＷ）の領域とを分離している輝度値の差を閾値として、元グレイ画像４０を２値化する領域特定処理（領域特定工程）が行われる。この領域特定処理により、ワークＷの概略領域４１（図５に示す（Ｂ）参照）が特定される（ステップＳＴ２０）。
【００２８】
領域特定部３２により概略領域４１が特定されると、収縮回数算出部３３により概略領域４１を収縮処理する処理回数の算出（収縮回数算出工程）が行われる（ステップＳＴ３０）。なお、画像処理における収縮処理には、様々なアルゴリズムが存在する。例えば、注目ピクセルの４近傍に１つでも「０」である場合は、注目ピクセルを「１」から「０」と置き換える４近傍の収縮処理や、注目ピクセルの８近傍に１つでも「０」である場合は、注目ピクセルを「１」から「０」と置き換える８近傍の収縮処理がある。また、注目ピクセルの近傍情報のパターンや統計処理等により、注目ピクセルの処理を決定するものもある。本実施形態においては、４近傍又は８近傍の収縮処理を用いた処理回数の算出が行われる。
【００２９】
ここで、４近傍及び８近傍の収縮処理の最適な処理回数算出のアルゴリズムについて、図６（Ａ）及び図６（Ｂ）を参照しながら説明する。図６（Ａ）は、直角二等辺三角形を４近傍の収縮処理により収縮させた状態を示す図である。図６（Ｂ）は、直角二等辺三角形を８近傍の収縮処理により収縮させた状態を示す図である。
【００３０】
図６（Ａ）に示すように、例えば、直角二等辺三角形の概略領域５０ａに対して４近傍の収縮処理を行うと、概略領域５０ａが収縮して収縮領域５１ａが生成される。そして、収縮領域５１ａを収縮処理すると、収縮領域５２ａが生成され、収縮領域５２ａを更に収縮処理すると、収縮領域５３ａが生成される。このように、４近傍の収縮処理のアルゴリズムを繰り返して適用することにより、収縮領域５１ａ，５２ａ，５３ａ，５４ａが生成され、収縮処理を所定回数繰り返すことで収縮領域が消滅する。
【００３１】
ここで、直角二等辺三角形の４近傍の収縮処理においては、水平部及び垂直部の方が斜面部よりも収縮の速度が速い（より多く収縮する）。具体的には、直角二等辺三角形は、内接円の中心位置から水平方向、垂直方向及び４５度方向に接点を持ち、水平方向及び垂直方向においては、１回の収縮で１ピクセル収縮されるが、斜め（４５度）方向においては、１回の収縮で１／√２ピクセルしか収縮しない。つまり、直角二等辺三角形の概略領域５０ａに対して４近傍の収縮処理を行うと、収縮が均等にならず、収縮領域が消滅する直前の収縮領域内に直角二等辺三角形の最大内接円の中心が存在しない状態になり得る。
【００３２】
同様に、図６（Ｂ）に示すように、例えば、直角二等辺三角形の概略領域５０ｂに対して８近傍の収縮処理を行うと、概略領域５０ｂが収縮して収縮領域５１ｂが生成される。そして、収縮領域５１ａを収縮処理すると、収縮領域５２ａが生成され、収縮領域５２ａを更に収縮処理すると、収縮領域５３ａが生成される。このように、８近傍の収縮処理のアルゴリズムを繰り返して適用することにより、収縮領域５１ａ，５２ａ，５３ａ，５４ａが生成され、収縮処理を所定回数繰り返すことで収縮領域が消滅する。
【００３３】
ここで、直角二等辺三角形の８近傍の収縮処理においては、斜面部の方が水平部及び垂直部よりも収縮の速度が速い（より多く収縮する）。具体的には、直角二等辺三角形は、水平方向及び垂直方向においては、１回の収縮で１ピクセル収縮されるが、斜め（４５度）方向においては、１回の収縮で√２ピクセル収縮する。つまり、直角二等辺三角形の概略領域５０ａに対して８近傍の収縮処理を行うと、収縮が均等にならず、収縮領域が消滅する直前の収縮領域内に直角二等辺三角形の最大内接円の中心が存在しない状態になり得る。
【００３４】
このように、４近傍及び８近傍の収縮処理を行う場合、直角二等辺三角形は、均等に収縮しない影響を最も受け得る形状である。そのため、任意形状に対して、安全率を鑑みた４近傍及び８近傍の収縮回数の制限値を決定するには、最も顕著なズレを生じさせる直角二等辺三角形を想定した収縮回数の制限値を決定すればよい。
【００３５】
更に、収縮回数の制限値は、収縮領域が消滅する第１消滅回数と最大内接円の中心点が収縮領域から外れる越点回数との比率を、概略領域が消滅するまで収縮処理された場合の第２消滅回数に乗算した回数を、所定回数として算出することができる。なお、第１消滅回数は、直角二等辺三角形を所定の収縮手法により収縮処理して収縮領域が消滅する回数である。また、越点回数は、直角二等辺三角形の輪郭線に内接する最大内接円の中心点が収縮領域から外れる回数である。また、第２消滅回数は、収縮処理部３４によって所定の収縮手法により概略領域が消滅するまで収縮処理された場合の回数である。
【００３６】
以下、部位により収縮の速さが最も異なる（収縮の差が最も大きい）形状である直角二等辺三角形を、所定の収縮手法の一つである４近傍の収縮処理及び８近傍の収縮処理を用いた場合の最適な収縮処理の回数の算出について、数式を例示して説明する。
【００３７】
まず、直角二等辺三角形の４近傍の収縮処理における収縮処理の回数の算出について、数式を例示して説明する。
【００３８】
直角二等辺三角形の直角を成す二辺の長さをａとすると、直角の対辺は√２ａである。直角三角形の内接円の半径をｒ、面積をＳとすると、
ａ×ａ／２＝（ａ√２×ｒ）／２＋（ａ√２×ｒ）／２＋（ａ×ｒ）／２ （数式１）
が導出される。
これにより、半径は、
ｒ＝ａ／（２＋√２） （数式２）
となる。よって、最大内接円の中心点を消失させない収縮回数の限度Ｃ（回数）は、整数であるため、ｒの小数点以下を切り捨てた、以下の数式で表させる。
Ｃ＝［ａ／（２＋√２）］（回） （数式３）
【００３９】
ここで、膨張領域の消滅までの理論上の収縮回数（小数値含む）をＤ´、膨張領域の消滅までの収縮適用回数（整数値）をＤとすると、水平方向の収縮は、Ｄ´回の収縮回数でＤ´画素分消滅する。一方、斜め４５度方向の接点の水平成分は、Ｄ´回の収縮回数で０．５Ｄ´画素分消滅する。斜め４５度方向の接点の水平方向の位置は、ａ／２であるため、
Ｄ´＋０．５Ｄ´＝ａ／２ （数式４）
となり、ａ＝３Ｄ´が導出される。
これにより、Ｃ＝［３Ｄ´／（２＋√２）］ となる。
ここで、Ｄ´＝整数ならば、Ｄ＝Ｄ´となり、
Ｃ＝［３Ｄ／（２＋√２）］ （数式５）
となる。
【００４０】
一方、Ｄ´≠整数ならば、Ｄ＝Ｄ´＋１となり、Ｄ´＞Ｄ−１なので、
［３Ｄ´／（２＋√２）］＞［３（Ｄ−１）／（２＋√２）］となり、
Ｃ＝［３（Ｄ−１）／（２＋√２）］ （数式６）
となる。
数式５及び数式６のうち、必ず中心点を含むのは、収縮回数の少ない数式６にて算出すればよい。よって、任意形状に対して、最大内接円の中心位置を含む領域までの収縮回数の限度Ｃ（回数）は、
Ｃ＝［３（Ｄ−１）／（２＋√２）］ （数式７）
により算出可能となる。
【００４１】
直角二等辺三角形の８近傍の収縮処理における収縮処理の回数の算出ついては、上記と同様に導出された次式が例示でき、次式により収縮回数の限度Ｃ（回数）が算出可能となる。
Ｃ＝［（（２×Ｄ）／（２＋√２））−１］ （数式８）
【００４２】
次に、収縮回数算出部３３により概略領域４１を収縮処理する所定回数の算出（収縮回数算出工程）が行われると、図４に示すように、収縮処理部３４により所定回数の収縮処理が行われる（ステップＳＴ４０）。具体的には、収縮処理部３４によりワークの概略領域４１が収縮処理されると、収縮領域（図５に示す（Ｃ）参照）４２が生成され、所定回数の収縮処理が行われると、最大内接円の中心点を含んだ収縮領域（図５に示す（Ｄ）参照）４３が生成される。
【００４３】
収縮処理部３４により所定回数の収縮処理が行われると、次に、輪郭線抽出部３５により、領域特定部３２により特定されたワークＷの概略領域４１からワークＷの輪郭線（図５に示す（Ｅ）参照）４４の抽出を行う輪郭線抽出処理が行われる（ステップＳＴ５０）。また、前述したようにワークＷの輪郭線は元グレイ画像から抽出してもよい。なお、輪郭線抽出部３５による輪郭線抽出処理は、収縮回数算出部３３による収縮回数算出処理と並行に行われてもよい。
【００４４】
輪郭線抽出部３５によりワークＷの輪郭線４４の抽出が行われると、次に、最大内接円選定部３６により、最大内接円の選定が行われる（ステップＳＴ６０）。最大内接円選定部３６は、まず、輪郭線抽出部３５により抽出された輪郭線（図５に示す（Ｅ）参照）４４と、収縮処理部３４により生成された中心点４５を含んだ収縮領域（図５に示す（Ｄ）参照）４３とを合成（図５に示す（Ｆ）参照）する。そして、収縮領域４３の領域内に、１点の座標を仮選定して輪郭線４４までの距離を算出し、仮選定の座標が中心点であるか否かを判断する。例えば、中心点と仮選定した座標から輪郭線４４までの最短距離となる点が３点以上抽出された場合は、仮選定した座標が最大内接円４６の中心点４５となる（図５に示す（Ｇ）参照）。
【００４５】
なお、最大半径を持つ最大内接円が複数存在する場合は、ユーザの計測目的を鑑みた特定の方法により基準を追加してもよい。例えば、中心点が画像処理の原点座標に近いものを優先し、これが最大内接円になるように設定してもよい。
【００４６】
最大内接円選定部３６により最大内接円４６の選定が行われると、次に、位置姿勢計測部３８により、ワークＷの位置姿勢が計測される（ステップＳＴ７０）。ワークＷの位置姿勢は、ＲＯＭ１７に記憶されたワークＷの三次元モデル情報と、最大内接円選定部３６により選定されたワークＷの最大内接円４６とをフィッティング（三次元モデルフィッティング処理）させることにより行われる。なお、前述したように内接円の選定には必ずしも最大内接円を選ぶ必要はなく、計測目的に応じた選定基準をユーザが定めて良い。ワークＷの三次元モデル情報とワークＷの内接円との三次元モデルフィッティング処理により、ワークＷの位置姿勢が精密に計測される。なお、ここでは、三次元モデルフィッティング処理の具体的な説明は省略する。
【００４７】
以上説明したように、本実施形態によれば、画像計測装置３は、ワークＷの輪郭線４４に内接する最大内接円４６の中心点４５の検出範囲を、二値化して得られるワークＷの概略領域４１を所定回数収縮処理した収縮領域４３の範囲内としている。そのため、中心点の検出範囲を小さくすることができる。これにより、演算時間等の演算コストを小さくすることができる。
【００４８】
また、本実施形態に係る画像計測装置３は、元グレイ画像４０を２値化した概略領域４１を所定回数収縮処理することで収縮領域を生成する。そのため、対称形状が未知のものや柔軟物等、また、三次元でワークの位置姿勢が変動するものや重心位置と中心位置とが大きく異なるワークに対しても対応させることができる。
【００４９】
このように、本実施形態に係る画像計測装置３は、最大内接円の中心点の検出範囲を、二値化して得られるワークの概略領域を収縮処理した範囲とすることで、様々な位置姿勢や形状のワークに対応可能で、かつ、迅速に最大内接円を抽出することができる。
【００５０】
また、本実施形態に係る画像計測装置３は、４近傍及び８近傍の収縮処理において、最も顕著なズレを生じさせる直角二等辺三角形を想定した収縮回数の制限値を設定する。そのため、任意形状に対しても、安全率を鑑みた４近傍及び８近傍の収縮回数の制限値を適用することができる。
【００５１】
更に、収縮回数の制限値として、収縮領域が消滅する第１消滅回数と最大内接円の中心点が収縮領域から外れる越点回数との比率を、概略領域が消滅するまで収縮処理された場合の第２消滅回数に乗算した回数を、所定回数として算出している。これにより、収縮回数の制限値を容易に設定することができる。
【００５２】
以上説明した位置姿勢計測処理（位置姿勢計測方法）は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし、上記プログラムを実行するように構成することも可能である。
【００５３】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されない。
【００５４】
例えば、本実施形態においては、所定の収縮手法として、４近傍の収縮処理及び８近傍の収縮処理を用いて説明したが本発明においてはこれに限定されない。他のアルゴリズムの収縮手法を用いて、収縮処理の所定回数を算出してもよい。
【００５５】
また、本実施形態においては、収縮処理の所定回数を数式により算出したが、本発明においてはこれに限定されない。収縮回数の制限値は、例えば、収縮領域が消滅する第１消滅回数と最大内接円の中心点が収縮領域から外れる越点回数との比率を、概略領域が消滅するまで収縮処理された場合の第２消滅回数に乗算した回数と同様な概念を示すものであればよい。
【符号の説明】
【００５６】
１ ロボットステーション（ロボットシステム）
２ 撮像部
３ 画像計測装置（画像処理装置）
３ａ ＣＰＵ（制御部）
４ ロボットアーム
５ ロボットアーム
３１ 元画像抽出部（元画像取得手段）
３２ 領域特定部（領域特定手段）
３３ 収縮回数算出部（収縮回数算出手段）
３４ 収縮処理部（収縮処理手段）
３５ 輪郭線抽出部（輪郭線抽出手段）
３６ 最大内接円選定部（内接円抽出部）
３７ 位置姿勢計測部（位置姿勢計測手段）
４０ 元画像
４１ 概略領域
４２ 収縮領域
４４ 輪郭線
４５ 中心点
４６ 最大内接円
Ｄ 記憶媒体
Ｗ ワーク
【特許請求の範囲】
【請求項１】
撮像部により撮像されたワークの元画像を取得する元画像取得手段と、
該元画像取得手段により取得された元画像を２値化して、元画像からワークの概略領域を特定する領域特定手段と、
該領域特定手段により特定された前記概略領域を所定回数収縮処理する収縮処理手段と、
前記元画像もしくは前記概略領域からワークの輪郭線を抽出する輪郭線抽出手段と、
前記ワークの輪郭線と前記収縮処理手段により収縮処理された収縮領域とを合成し、前記収縮領域の領域内で前記輪郭線に内接する内接円の中心点を探索して、該中心点を中心としたワークの内接円を抽出する内接円抽出手段と、を備えた、
ことを特徴とする画像処理装置。
【請求項２】
二等辺三角形を所定の収縮手法により収縮処理して収縮領域が消滅する第１消滅回数と、前記二等辺三角形の輪郭線に内接する最大内接円の中心点が前記収縮領域から外れる越点回数と、の比率を、前記収縮処理手段によって前記所定の収縮手法により前記概略領域が消滅するまで収縮処理された場合の第２消滅回数に乗算した回数を、所定回数として算出する収縮回数算出手段を備えた、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記内接円抽出手段により抽出された前記内接円の位置情報に、予め記憶された該ワークのモデル情報を照らし合わせて、該ワークの位置姿勢を計測する位置姿勢計測手段と、を備えた、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
搬送されてくるワークを撮像する撮像部と、
該撮像部により撮像されたワークの位置姿勢を計測する請求項３に記載の画像処理装置と、
前記画像処理装置により計測されたワークの位置姿勢に基づいて、ワークを把持するロボットアームと、を備えた、
ことを特徴とするロボットシステム。
【請求項５】
制御部が撮像部により撮像されたワークの元画像を取得する元画像取得工程と、
前記制御部が前記元画像取得工程により取得された元画像を２値化して、元画像からワークの概略領域を特定する領域特定工程と、
前記制御部が前記領域特定工程により特定された前記概略領域を所定回数収縮処理する収縮処理工程と、
前記制御部が前記元画像もしくは前記概略領域からワークの輪郭線を抽出する輪郭線抽出工程と、
前記制御部が前記ワークの輪郭線と前記収縮処理工程により収縮処理された収縮領域とを合成し、前記収縮領域の領域内で前記輪郭線に内接する内接円の中心点を探索して、該中心点を中心としたワークの内接円を抽出する内接円抽出工程と、を備えた、
ことを特徴とする画像処理方法。
【請求項６】
請求項５に記載の各工程をコンピュータに実行させるための画像処理プログラム。
【請求項７】
請求項６に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
撮像部により撮像されたワークの元画像を取得する元画像取得手段と、
該元画像取得手段により取得された元画像を２値化して、元画像からワークの概略領域を特定する領域特定手段と、
該領域特定手段により特定された前記概略領域を所定回数収縮処理する収縮処理手段と、
前記元画像もしくは前記概略領域からワークの輪郭線を抽出する輪郭線抽出手段と、
前記ワークの輪郭線と前記収縮処理手段により収縮処理された収縮領域とを合成し、前記収縮領域の領域内で前記輪郭線に内接する内接円の中心点を探索して、該中心点を中心としたワークの内接円を抽出する内接円抽出手段と、を備えた、
ことを特徴とする画像処理装置。
【請求項２】
二等辺三角形を所定の収縮手法により収縮処理して収縮領域が消滅する第１消滅回数と、前記二等辺三角形の輪郭線に内接する最大内接円の中心点が前記収縮領域から外れる越点回数と、の比率を、前記収縮処理手段によって前記所定の収縮手法により前記概略領域が消滅するまで収縮処理された場合の第２消滅回数に乗算した回数を、所定回数として算出する収縮回数算出手段を備えた、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記内接円抽出手段により抽出された前記内接円の位置情報に、予め記憶された該ワークのモデル情報を照らし合わせて、該ワークの位置姿勢を計測する位置姿勢計測手段と、を備えた、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
搬送されてくるワークを撮像する撮像部と、
該撮像部により撮像されたワークの位置姿勢を計測する請求項３に記載の画像処理装置と、
前記画像処理装置により計測されたワークの位置姿勢に基づいて、ワークを把持するロボットアームと、を備えた、
ことを特徴とするロボットシステム。
【請求項５】
制御部が撮像部により撮像されたワークの元画像を取得する元画像取得工程と、
前記制御部が前記元画像取得工程により取得された元画像を２値化して、元画像からワークの概略領域を特定する領域特定工程と、
前記制御部が前記領域特定工程により特定された前記概略領域を所定回数収縮処理する収縮処理工程と、
前記制御部が前記元画像もしくは前記概略領域からワークの輪郭線を抽出する輪郭線抽出工程と、
前記制御部が前記ワークの輪郭線と前記収縮処理工程により収縮処理された収縮領域とを合成し、前記収縮領域の領域内で前記輪郭線に内接する内接円の中心点を探索して、該中心点を中心としたワークの内接円を抽出する内接円抽出工程と、を備えた、
ことを特徴とする画像処理方法。
【請求項６】
請求項５に記載の各工程をコンピュータに実行させるための画像処理プログラム。
【請求項７】
請求項６に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−１０９６９２（Ｐ２０１３−１０９６９２Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５５９２９（Ｐ２０１１−２５５９２９）
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]