画像処理装置及び画像処理における登録データ生成方法
【課題】 オペレータが異なっても、フィッティング精度が低下することなく、マッチング処理に用いられる登録データを常に適切に求めることができる画像処理装置を提供する。
【解決手段】 撮像部１１によって撮影された画像データに基づいてエッジ点を抽出し、エッジ点からなる被写体の輪郭画像を生成する輪郭画像生成部２１と、輪郭画像に基づいて、所定形状の線を輪郭画像上の被写体にフィッティングさせ、第１のフィッティング線を生成する第１フィッティング線生成部２４ａと、第１のフィッティング線に幅を持たせ、その線幅内を有効エッジ点領域とする有効エッジ点領域生成部２４ｂと、輪郭画像上の有効エッジ点領域内にあるエッジ点に基づいて、所定形状の線からなる第２のフィッティング線を生成する第２フィッティング線生成部２４ｄにより構成される。
【解決手段】 撮像部１１によって撮影された画像データに基づいてエッジ点を抽出し、エッジ点からなる被写体の輪郭画像を生成する輪郭画像生成部２１と、輪郭画像に基づいて、所定形状の線を輪郭画像上の被写体にフィッティングさせ、第１のフィッティング線を生成する第１フィッティング線生成部２４ａと、第１のフィッティング線に幅を持たせ、その線幅内を有効エッジ点領域とする有効エッジ点領域生成部２４ｂと、輪郭画像上の有効エッジ点領域内にあるエッジ点に基づいて、所定形状の線からなる第２のフィッティング線を生成する第２フィッティング線生成部２４ｄにより構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理における登録データ生成方法に係り、さらに詳しくは、撮像手段によって撮影された画像データに基づいて被写体の輪郭に関する登録データを生成する画像処理装置の改良に関する。
【背景技術】
【０００２】
ワーク（検査対象物）の自動識別に関し、ワークを撮影して得られる画像データに基づいて被写体の輪郭を抽出し、この輪郭についてマッチング処理を行う画像処理装置が従来から用いられている。この様な自動識別によって、例えば、成形品やプレス部品の種類を特定したり、基板上に印刷されたマークの位置を特定することができる。
【０００３】
この種のマッチング処理では、ワークを撮影して得られた撮影画像からエッジ点が抽出される。このエッジ点は、隣接する画素の輝度レベルの変化量に基づいて抽出され、抽出されたエッジ点によって被写体の輪郭画像が形成される。この輪郭画像が登録データと照合され、その照合結果に基づいてワークが識別される。
【０００４】
この様なマッチング処理において用いられる登録データは、ワークのサンプルを撮影することによって得られる撮影画像に基づいて作成される。すなわち、登録データは、サンプルの撮影画像に対し、所定形状の線を撮影画像における被写体の輪郭に合わせ込むことによって作成される。この様な被写体の輪郭に対する合わせ込みをフィッティングと呼び、合わせ込みによって得られる線をフィッティング線という。具体的には、撮影画像が表示されている画面上で所定形状の線を拡大、縮小及び移動させながら、オペレータ（画像処理装置の操作者）が被写体の輪郭に応じて適切なサイズを指定することによって登録データが作成される。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した様な従来の画像処理装置では、オペレータの操作入力に基づいてフィッティング線のサイズが指定されるので、指示されたフィッティング線のサイズがオペレータごとに異なり、フィッティング精度が低いという問題があった。特に、ピントが合っていないことによる画像のボケがある場合や、ノイズによる画質の低下がある場合には、画面上の撮影画像において被写体の輪郭を見定めるのが容易ではなく、フィッティング精度がさらに低下してしまうという問題があった。
【０００６】
そこで、被写体の撮影画像からエッジ点を抽出し、抽出したエッジ点について回帰演算を行ってフィッティング線を自動的に求めさせるようにすることが考えられる。しかし、被写体自体に欠けなどの欠陥がある場合には、所望のフィッティング線が得られないという問題があった。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、被写体の輪郭に関する登録データの品質を向上させた画像処理装置及び画像処理における登録データ生成方法を提供することを目的とする。特に、オペレータが異なっても、フィッティング精度が低下することなく、登録データを常に適切に生成することができる画像処理装置を提供することを目的とする。また、被写体自体に欠けなどの欠陥がある場合や、ピントが合っていないことによる画像のボケがある場合、ノイズによる画質の低下がある場合であっても、フィッティング精度が低下するのを抑制させた画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明による画像処理装置は、撮像手段によって撮影された画像データに基づいてエッジ点を抽出し、エッジ点からなる被写体の輪郭画像を生成する輪郭画像生成手段と、上記輪郭画像に基づいて、所定形状の線を輪郭画像上の被写体にフィッティングさせ、第１のフィッティング線を生成する第１フィッティング線生成手段と、上記第１のフィッティング線に幅を持たせ、その線幅内を有効エッジ点領域とする有効エッジ点領域生成手段と、上記輪郭画像上の上記有効エッジ点領域内にあるエッジ点に基づいて、所定形状の線からなる第２のフィッティング線を生成する第２フィッティング線生成手段とを備えて構成される。
【０００９】
この画像処理装置では、画像データに基づいてエッジ点が抽出され、エッジ点からなる被写体の輪郭画像が生成される。そして、この輪郭画像に基づいて所定形状の線からなる第２のフィッティング線が生成される。その際、所定形状の線を輪郭画像上の被写体にフィッティングさせることによって得られる第１のフィッティング線に幅を持たせ、その線幅内を有効エッジ点領域とし、この有効エッジ点領域内にあるエッジ点に基づいて第２のフィッティング線が求められる。この様な構成により、輪郭画像から被写体の輪郭に関するフィッティング線を求めてマッチング処理に用いられる登録データを生成する際に、フィッティング線のフィッティング精度が低下するのを抑制することができる。すなわち、輪郭画像における有効エッジ点領域との重複部分に含まれているエッジ点に基づいて第２のフィッティング線が算出されるので、有効エッジ点領域と重複しないエッジ点が被写体の輪郭に関する第２のフィッティング線算出のためのデータ群から除外される。このため、被写体自体に欠けなどの欠陥がある場合であっても、所望のフィッティング線から大きくはずれたエッジ点が自動的に除外されるので、フィッティング精度が低下するのを効果的に抑制することができる。
【００１０】
さらに、画像データからフィッティング線が自動的に求められることから、オペレータが異なっても、フィッティング精度が低下することはなく、同一の輪郭画像からは常に同じサイズのフィッティング線を抽出することができる。また、ピントが合っていないことによる画像のボケがある場合や、ノイズによる画質の低下がある場合であっても、フィッティング線のフィッティング精度が低下するのを抑制することができる。
【００１１】
具体的には、上記第１フィッティング線生成手段が、輪郭画像に関するハフ変換に基づいてフィッティングを行うように構成される。
【００１２】
本発明による画像処理装置は、上記構成に加え、上記有効エッジ点領域生成手段が、生成された第１のフィッティング線が複数存在する場合、サイズが最も大きなフィッティング線に基づいて有効エッジ点領域を生成するように構成される。この様な構成によれば、輪郭画像から第１のフィッティング線が複数抽出された場合に、サイズが最も大きなフィッティング線に基づいて有効エッジ点領域が定められるので、当該フィッティング線に関係しないエッジ点を除外することができる。
【００１３】
また、本発明による画像処理装置は、上記構成に加え、上記有効エッジ点領域を上記輪郭画像とともに同一画面上に表示する表示手段と、画面表示された有効エッジ点領域のサイズ及び位置をオペレータによる操作入力に基づいて変更する有効エッジ点領域修正手段とを備え、上記第２フィッティング線生成手段が、サイズ及び位置が変更された有効エッジ点領域に基づいて第２のフィッティング線を生成するように構成される。この様な構成によれば、有効エッジ点領域のサイズ及び位置がオペレータの操作入力によって変更された場合に、サイズ及び位置の変更後の有効エッジ点領域に基づいて第２のフィッティング線が算出される。従って、オペレータは、有効エッジ点領域生成手段により生成された有効エッジ点領域が輪郭画像上の被写体と著しく異なっている場合に、有効エッジ点領域のサイズ及び位置を修正することによって、所望のフィッティング線を抽出させることができる。
【００１４】
本発明による画像処理における登録データ生成方法は、撮像手段によって撮影された画像データに基づいてエッジ点を抽出し、エッジ点からなる被写体の輪郭画像を生成する輪郭画像生成ステップと、上記輪郭画像に基づいて、所定形状の線を輪郭画像上の被写体にフィッティングさせ、第１のフィッティング線を生成する第１フィッティング線生成ステップと、上記第１のフィッティング線に幅を持たせ、その線幅内を有効エッジ点領域とする有効エッジ点領域生成ステップと、上記輪郭画像上の上記有効エッジ点領域内にあるエッジ点に基づいて、所定形状の線からなる第２のフィッティング線を生成する第２フィッティング線生成ステップとからなる。
【発明の効果】
【００１５】
本発明による画像処理装置及び画像処理における登録データ生成方法によれば、有効エッジ点領域内のエッジ点に基づいて被写体の輪郭に関するフィッティング線が求められるので、被写体自体に欠けなどの欠陥がある場合であっても、フィッティング線のフィッティング精度が低下するのを抑制させることができる。さらに、オペレータが異なっても、フィッティング精度が低下することはなく、フィッティング線を常に適切に求めることができる。また、ピントが合っていないことによる画像のボケがある場合や、ノイズによる画質の低下がある場合であっても、フィッティング精度が低下するのを抑制することができ、被写体の輪郭に関する登録データの品質を向上させることができる。
【発明を実施するための最良の形態】
【００１６】
実施の形態１．
図１は、本発明の実施の形態１による自動識別システムの概略構成の一例を示した斜視図であり、ワークのサンプルＡ１を撮影する撮像部１１及び画像処理装置１２からなる自動識別システム１全体の様子が示されている。本実施の形態による自動識別システム１は、ワーク（検査対象物）の自動識別を行う情報処理システムであり、例えば、製造工程における搬送ライン上のサンプルＡ１を撮影して得られる画像データから抽出した登録データに基づいてワークの識別を行っている。
【００１７】
この搬送ライン上には、複数のワークが配置されており、これらのワークが搬送ラインに沿って搬送されることにより、各ワークは順次に撮像部１１の撮影エリア内に移動する。撮像部１１は、所定のタイミングで撮影エリア内のワークを撮影し、その撮影画像を画像処理装置１２へ出力する動作を行っている。画像処理装置１２では、ワークのサンプルＡ１を撮影して得られる画像データに基づいて被写体の輪郭に関するフィッティング線を生成し、登録データとして登録する処理が行われる。ワークの撮影画像から得られる輪郭画像をこの登録データと照合することによってワークの識別が行われる。
【００１８】
図２のステップＳ１０１〜Ｓ１０７は、図１の自動識別システムによるワークの自動識別動作の一例を示したフローチャートである。この自動識別システム１では、照合用の登録データを得るために、まず、ワークのサンプルＡ１の撮影が撮像部１１によって行われる（ステップＳ１０１）。
【００１９】
このとき得られた画像データに基づいてエッジ点からなる被写体の輪郭画像が生成され、この輪郭画像に基づいてエッジ点を選別するための有効エッジ点領域が画像処理装置１２によって抽出される（ステップＳ１０２）。そして、有効エッジ点領域内のエッジ点に基づいて被写体の輪郭に関するフィッティング線が求められ、登録データとして格納される（ステップＳ１０３）。
【００２０】
次に、検査対象となるワークが撮影され（ステップＳ１０４）、その撮影画像に基づいてワークの識別処理が行われる。具体的には、撮影画像からエッジ点が抽出され、エッジ点からなる被写体の輪郭画像を登録データと照合することによってワークが識別される（ステップＳ１０５）。このマッチング処理による識別結果は、画像表示部に出力され、画面表示される（ステップＳ１０６）。
【００２１】
ステップＳ１０４からステップＳ１０６までの処理手順は、停止信号が入力されるまで搬送ライン上のワークごとに繰り返され、停止信号が入力されると、この自動識別処理は終了する（ステップＳ１０７）。
【００２２】
図３は、図１の自動識別システムの要部における構成例を示したブロック図である。この自動識別システム１は、撮像部１１及び画像処理装置１２からなり、画像処理装置１２が輪郭画像生成部２１、操作入力部２２、形状情報記憶部２３、登録処理部２４、登録データ記憶部２５、照合処理部２６及び画像表示部２７により構成されている。登録処理部２４は、第１フィッティング線生成部２４ａ、有効エッジ点領域生成部２４ｂ、有効エッジ点領域修正部２４ｃ及び第２フィッティング線生成部２４ｄからなり、照合用の登録データを生成する動作が行われる。
【００２３】
撮像部１１は、可視光線や赤外線を用いて被写体を撮影するデジタルカメラであり、ＣＣＤ（Charge Coupled Device：電荷結合素子）などの撮像素子からなる。撮像部１１では、マッチング処理において用いられる登録データを作成するために、ワークのサンプルＡ１の撮影が行われ、画素ごとの輝度データが画像データとして出力される。
【００２４】
操作入力部２２は、各種操作キーを備え、オペレータ（画像処理装置１２の操作者）のキー操作に基づく入力処理を行っている。画像表示部２７は、液晶ディスプレイなどの表示画面を有する表示素子からなり、画像データに基づいて各種画像の画面表示を行っている。
【００２５】
輪郭画像生成部２１は、撮像部１１によって撮影された画像データに基づいてエッジ点を抽出し、被写体の輪郭画像を生成する動作を行っている。このエッジ点は、隣接する画素の輝度レベルの変化量に基づいて抽出される。具体的には、輝度レベルの変化率（エッジ強度という）が所定の閾値よりも大きな画素として抽出される。この様にして抽出された複数のエッジ点から輪郭画像が形成され、画像表示部２７において画面表示される。ここでは、画素ごとの輝度レベルが２値化され、被写体の輪郭がエッジ点によって示されるものとする。
【００２６】
照合処理部２６は、ワークの撮影画像に基づいてマッチング処理を行い、識別結果を出力する動作を行っている。
【００２７】
形状情報記憶部２３は、輪郭画像上の被写体にフィッティングさせる線の形状を規定する形状情報を記憶する不揮発性の半導体メモリである。この形状情報としては、様々な形状の線を規定するデータが予め格納されている。ここでは、円や長方形、十字形などの形状を規定するデータが形状情報として格納されているものとする。
【００２８】
第１フィッティング線生成部２４ａは、輪郭画像生成部２１によって生成された輪郭画像に基づいて、所定形状の線を輪郭画像上の被写体にフィッティングさせる動作を行っている。フィッティングさせる線の形状は、オペレータの操作入力によって指定され、指定された形状に基づいてフィッティングが行われる。
【００２９】
具体的には、輪郭画像生成部２１により抽出されたエッジ点についてハフ（Hough）変換を行うことにより、指定形状の線が輪郭画像における被写体に合わせ込まれ、第１のフィッティング線が生成される。ハフ変換は、オペレータによって指定される線の形状情報に基づいて、各エッジ点の位置座標をパラメータ空間に投影する解析手法である。ハフ変換により、線のサイズ及び位置が定められ、輪郭画像から第１のフィッティング線が抽出される。なお、第１のフィッティング線抽出のためのハフ変換は、画像データから抽出された全てのエッジ点について行っても良いが、一部のエッジ点について行うものであっても良い。
【００３０】
ハフ変換によるフィッティング線抽出のアルゴリズムについて説明する。一般に、ハフ変換は、「投票」と「多数決」によって画像データから幾何学的図形を抽出する図形抽出方法であり、画像データにおける特徴点をパラメータ空間に「投票」し、投票度数に関する多数決の原理によって図形の特定を行っている。
【００３１】
例えば、ｘｙ座標平面上の直線は、パラメータρ及びθ（０≦θ<π）を用いて、次式（１）により表すことができる。
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ…（１）
【００３２】
つまり、パラメータの組（ρ，θ）を１つ指定すれば、上式（１）によって１つの直線を抽出することができる。一方、ｘｙ座標平面上の点（ｘ０，ｙ０）を通る直線の集合（直線群）は、次式（２）により表すことができ、パラメータ空間（ρ，θ）における１つの図形（軌跡）を表現している。
ρ＝ｘ０ｃｏｓθ＋ｙ０ｓｉｎθ…（２）
【００３３】
従って、もし、ｘｙ座標平面上の３つの異なる点が同一直線上にあれば、各点を通る直線群の軌跡は、パラメータ空間内において１点で交わることになる。この原理を利用して画像データから図形を抽出することができる。すなわち、画像データにおけるｎ個の特徴点からパラメータ空間内におけるｎ個の軌跡がそれぞれ求められ、このうち、ｍ個（ｍ<ｎ）の軌跡が１点で交わっていれば、その交点からｍ個の特徴点を通る直線を抽出することができる。直線以外の円などの図形についても、直線の場合と同様に画像データから抽出することができる。従って、画像データから抽出されたエッジ点を特徴点としてハフ変換することにより、ピントが合っていないことによる画像のボケや、ノイズによる画質の低下がある場合であっても、被写体を表す図形としてのフィッティング線を適切に抽出することができる。
【００３４】
有効エッジ点領域生成部２４ｂは、輪郭画像から抽出された第１のフィッティング線に幅を持たせ、その線幅内を有効エッジ点領域とする処理を行っている。第１のフィッティング線に持たせる線幅は、被写体の輪郭に関するフィッティング線に対して要求されるフィッティング精度に基づいて定められる。また、生成された第１のフィッティング線が複数存在する場合、サイズが最も大きなフィッティング線に基づいて有効エッジ点領域が生成される。
【００３５】
画像表示部２７は、有効エッジ点領域生成部２４ｂによって生成された有効エッジ点領域を輪郭画像とともに同一画面上に表示する動作を行っている。有効エッジ点領域修正部２４ｃは、画面表示された有効エッジ点領域のサイズ及び位置をオペレータによる操作入力に基づいて変更する動作を行っている。
【００３６】
第２フィッティング線生成部２４ｄは、輪郭画像上の有効エッジ点領域内にあるエッジ点に基づいて、所定形状の線からなる第２のフィッティング線を生成する処理を行っている。この第２のフィッティング線は、有効エッジ点領域内のエッジ点に基づく回帰演算によってそのサイズが推定される。例えば、ピクセル単位のエッジ点位置情報から、より細かなサブピクセル単位でフィッティング線のサイズが求められる。ここでは、オペレータの操作入力に基づいて有効エッジ点領域のサイズ及び位置が変更された場合、サイズ及び位置の変更後の有効エッジ点領域に基づいて第２のフィッティング線が生成されるものとする。この様にして算出された第２のフィッティング線は、登録データとして登録データ記憶部２５内に格納されるとともに、画像表示部２７によって画面表示される。
【００３７】
ここでは、フィッティング線算出のための回帰演算として、最小２乗法による統計処理が行われるものとする。この最小２乗法では、モデル（フィッティング線）と測定点（エッジ点）との差（例えば、距離）の２乗和を最小とするモデルが最適値として抽出される。なお、最小２乗法に代えて、Ｍ−ｅｓｔｉｍａｔｏｒ推定法やＬＭｅｄＳ（Least Median of Squares）推定法による統計処理を行うようなものであっても良い。
【００３８】
<輪郭画像生成>
図４のステップＳ２０１〜Ｓ２０６は、図３の画像処理装置における輪郭画像生成動作の一例を示したフローチャートである。まず、輪郭画像生成部２１は、撮像部１１によって撮影された画像データについて平滑化処理を行う（ステップＳ２０１）。この平滑化処理は、空間軸方向に関する高周波ノイズを除去するためのフィルター処理である。
【００３９】
次に、平滑化処理後の画像データは、微分フィルターによって微分される（ステップＳ２０２）。この微分処理では、座標軸方向に隣接する画素について輝度レベルの変化量が求められ、その変化率（微分値）が当該座標軸方向に関するエッジ強度成分として出力される。エッジ強度成分は、ｘ軸方向及びｙ軸方向に関して画素ごとに算出され、ｘ軸方向のエッジ強度成分Ｅｘ及びｙ軸方向のエッジ強度成分Ｅｙがそれぞれ出力される。
【００４０】
この様にして算出されたエッジ強度成分Ｅｘ及びＥｙから画素ごとのエッジ強度（大きさ）Ｅが求められ、エッジ強度Ｅに関する画素数分布曲線に基づいてエッジ点抽出のための閾値が定められる（ステップＳ２０３，Ｓ２０４）。エッジ強度Ｅは、ｘ軸方向のエッジ強度成分Ｅｘ及びｙ軸方向のエッジ強度成分Ｅｙに基づいて算出される。具体的には、各成分Ｅｘ及びＥｙの２乗和の平方根によってエッジ強度Ｅが求められる。すなわち、Ｅ＝（Ｅｘ２＋Ｅｙ２）１／２によって算出される。なお、処理負荷を低減させるという観点から、エッジ強度成分Ｅｘ及びＥｙの絶対値の和でエッジ強度Ｅを近似しても良い。
【００４１】
また、エッジ強度Ｅに関する画素数分布曲線は、エッジ強度Ｅごとの画素数についての度数分布（ヒストグラム）に基づいて生成される。
【００４２】
この様にして求められた画素数分布曲線から閾値が決定され、エッジ強度Ｅが当該閾値を超えている画素がエッジ点として抽出される（ステップＳ２０５）。そして、抽出されたエッジ点からなる輪郭画像が画像表示部２７によって画面表示される（ステップＳ２０６）。
【００４３】
図５は、ワークのサンプルを示した外観斜視図であり、図６は、図３の撮像部により撮影された撮影画像の一例を示した図である。ワークのサンプルＡ１として、円柱状の成形品が示されている。この成形品は、端面の中央部分が出っ張っているとともに、周縁部の一部分に欠けＡ２が生じている。
【００４４】
この様なサンプルＡ１を中心軸方向から撮影すれば、撮影画像Ａ３が得られる。この撮影画像Ａ３には、被写体としてのサンプルＡ１が濃淡によって示されている。
【００４５】
図７は、図６の撮影画像に基づく輪郭画像生成動作の一例を示した図であり、複数のエッジ点Ｂ２からなる輪郭画像Ｂ１が示されている。輪郭画像Ｂ１は、閾値処理によって抽出された多数のエッジ点Ｂ２から形成されている。ここでは、隣接するエッジ点を直線でつないだ折れ線によって、被写体の輪郭の概略が示されている。この輪郭画像Ｂ１は、被写体周縁部の欠けＡ２によって一部分が偏平した円形状からなる。
【００４６】
ワークのサンプルＡ１に欠けなどの欠陥があると、輪郭画像Ｂ１が所望のフィッティング線から大きく外れた歪な形状となる。このため、抽出されたエッジ点の全てについて単純に回帰演算を行ったのでは、被写体の輪郭に関するフィッティング線を正しく抽出することはできない。そこで、有効エッジ点領域を用いて、フィッティング線を抽出するのに適切なエッジ点の絞り込みが行われる。
【００４７】
<有効エッジ点領域抽出>
図８のステップＳ３０１〜Ｓ３０４は、図３の画像処理装置における有効エッジ点領域抽出動作の一例を示したフローチャートである。まず、第１フィッティング線生成部２４ａは、輪郭画像が画面表示された後、オペレータの操作入力によってフィッティング線の形状が指定されると、その形状情報に基づいてエッジ点のハフ変換を行い、第１のフィッティング線を求める（ステップＳ３０１〜Ｓ３０３）。
【００４８】
例えば、フィッティング線の形状として「円」が指定された場合、輪郭画像生成部２１によって抽出された全てのエッジ点についてのハフ変換により、輪郭画像に最適な円が推定される。また、フィッティング線の形状として「長方形」が指定された場合には、各エッジ点のハフ変換によって、４つの直線が求められる。そして、求められた各直線の交点に基づいて４つの線分が切り出され、４つの線分からなる図形として輪郭画像に最適な長方形が推定される。また、フィッティング線の形状として「十字形」が指定された場合には、各エッジ点のハフ変換によって、８つの直線が求められる。そして、各直線の交点に基づいて１２個の線分が切り出され、１２個の線分からなる図形として輪郭画像に最適な十字形が推定される。
【００４９】
次に、第１のフィッティング線に幅を持たせて有効エッジ点領域が生成され、画面表示される（ステップＳ３０４）。このとき、第１のフィッティング線が複数抽出されている場合には、サイズが最も大きなフィッティング線に基づいて有効エッジ点領域が生成される。
【００５０】
図９は、図３の画像処理装置における有効エッジ点領域抽出に用いられる形状情報の一例を示した図であり、「円」、「長方形」及び「十字形」が指定形状として示されている。フィッティング線の形状として、円３１、長方形３２及び十字形３３が用いられる。
【００５１】
図１０（ａ）及び（ｂ）は、図３の画像処理装置における有効エッジ点領域抽出動作の一例を示した図である。図１０（ａ）には、表示画面Ｂ３上の複数のエッジ点Ｂ２及び有効エッジ点領域Ｂ４が示され、図１０（ｂ）には、その一部分Ｂ５の拡大図が示されている。有効エッジ点領域Ｂ４は、輪郭画像を構成する多数のエッジ点Ｂ２と重複して表示されている。
【００５２】
有効エッジ点領域Ｂ４は、所定形状の線（ここでは、円）を多数のエッジ点Ｂ２からなる被写体の輪郭画像にフィッティングさせることによって得られる第１のフィッティング線に幅を持たせて形成される。被写体の輪郭に関する第２のフィッティング線は、この有効エッジ点領域Ｂ４と重複する位置にあるエッジ点３４に基づいて算出される。すなわち、画像データから抽出された多数のエッジ点Ｂ２のうち、有効エッジ点領域Ｂ４と重複しない位置にあるエッジ点３５を除外して回帰演算が行われる。
【００５３】
輪郭画像における有効エッジ点領域Ｂ４との重複部分に含まれているエッジ点３４から第２のフィッティング線を算出することにより、有効エッジ点領域Ｂ４と重複しないエッジ点３５がフィッティング線算出のためのデータ群から除外されるので、所望のフィッティング線から大きくはずれたエッジ点を除いてフィッティング線を求めることができる。
【００５４】
図１１は、生成された輪郭画像の他の例を示した図であり、輪郭画像Ｂ１１として複数の輪郭Ｂ２１及びＢ２２が抽出された場合の様子が示されている。また、図１２は、図１１の輪郭画像に基づいて生成された表示画面Ｂ３１上の有効エッジ点領域Ｂ４１の様子が示されている。
【００５５】
画像データから複数の輪郭Ｂ２１及びＢ２２が輪郭画像Ｂ１１として抽出された場合、有効エッジ点領域Ｂ４１は、サイズが最も大きな輪郭Ｂ２１についてのみ生成される。
【００５６】
<登録データ生成>
図１３のステップＳ４０１〜Ｓ４０４は、図３の画像処理装置における登録データ生成動作の一例を示したフローチャートである。まず、第２フィッティング線生成部２４ｄは、有効エッジ点領域に基づいてエッジ点を選出する（ステップＳ４０１）。
【００５７】
次に、選出したエッジ点について回帰演算を行い、第２のフィッティング線を算出する（ステップＳ４０２，Ｓ３０３）。そして、算出した第２のフィッティング線は、登録データとして登録データ記憶部２５内に格納されるとともに、画面表示される（ステップＳ４０４）。
【００５８】
図１４は、図３の画像処理装置における登録データ生成動作の一例を示した図であり、第２のフィッティング線Ｂ７からなる登録データＢ６が示されている。回帰演算によって被写体の輪郭としての第２のフィッティング線Ｂ７（ここでは、円）が求められ、登録データＢ６として画面表示される。
【００５９】
本実施の形態によれば、有効エッジ点領域内のエッジ点から被写体の輪郭に関するフィッティング線が求められるので、被写体自体に欠けなどの欠陥がある場合であっても、フィッティング精度が低下するのを抑制させることができる。さらに、オペレータが異なっても、フィッティング精度が低下することはなく、フィッティング線を常に適切に求めることができる。また、ピントが合っていないことによる画像のボケがある場合や、ノイズによる画質の低下がある場合であっても、フィッティング精度が低下するのを抑制することができ、登録データの品質を向上させることができる。
【００６０】
また、有効エッジ点領域のサイズ及び位置がオペレータの操作入力によって変更可能であるので、第１フィッティング線生成部２４ａによって生成されたフィッティング線が画面上で所望のフィッティング線と著しく異なっている場合に、有効エッジ点領域のサイズ及び位置を修正することにより、所望のフィッティング線を抽出させることができる。また、被写体を撮影する際の撮影角度によって被写体の輪郭画像が所望のフィッティング線と著しく異なる形状となった場合であっても、有効エッジ点領域によるエッジ点の選別が行われるので、理想的なフィッティング線からなる登録データを生成することができる。
【００６１】
なお、本実施の形態では、全てのエッジ点に関するハフ変換に基づいてフィッティング線が求められる場合の例について説明したが、本発明はこれに限られるものではない。例えば、抽出目標とする図形が円である場合、エッジ点から３点をランダムに選出し、選出した各エッジ点を通る円をフィッティング線として求めるようなものであっても良い。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施の形態１による自動識別システムの概略構成の一例を示した斜視図である。
【図２】図１の自動識別システムによるワークの自動識別動作の一例を示したフローチャートである。
【図３】図１の自動識別システムの要部における構成例を示したブロック図である。
【図４】図３の画像処理装置における輪郭画像生成動作の一例を示したフローチャートである。
【図５】ワークのサンプルを示した外観斜視図である。
【図６】図３の撮像部により撮影された撮影画像の一例を示した図である。
【図７】図６の撮影画像に基づく輪郭画像生成動作の一例を示した図であり、複数のエッジ点Ｂ２からなる輪郭画像Ｂ１が示されている。
【図８】図３の画像処理装置における有効エッジ点領域抽出動作の一例を示したフローチャートである。
【図９】図３の画像処理装置における有効エッジ点領域抽出に用いられる形状情報の一例を示した図である。
【図１０】図３の画像処理装置における有効エッジ点領域抽出動作の一例を示した図である。
【図１１】生成された輪郭画像の他の例を示した図であり、輪郭画像Ｂ１１として複数の輪郭Ｂ２１及びＢ２２が抽出された場合の様子が示されている。
【図１２】図１１の輪郭画像に基づいて生成された表示画面Ｂ３１上の有効エッジ点領域Ｂ４１の様子が示されている。
【図１３】図３の画像処理装置における登録データ生成動作の一例を示したフローチャートである。
【図１４】図３の画像処理装置における登録データ生成動作の一例を示した図であり、第２のフィッティング線Ｂ７からなる登録データＢ６が示されている。
【符号の説明】
【００６３】
１ 自動識別システム
１１ 撮像部
１２ 画像処理装置
２１ 輪郭画像生成部
２２ 操作入力部
２３ 形状情報記憶部
２４ 登録処理部
２４ａ 第１フィッティング線生成部
２４ｂ 有効エッジ点領域生成部
２４ｃ 有効エッジ点領域修正部
２４ｄ 第２フィッティング線生成部
２５ 登録データ記憶部
２６ 照合処理部
２７ 画像表示部
Ａ１ ワークのサンプル
Ａ２ 欠け
Ａ３ 撮影画像
Ｂ１ 輪郭画像
Ｂ２ エッジ点
Ｂ３ 表示画面
Ｂ４ 有効エッジ点領域
Ｂ６ 登録データ
Ｂ７ 第２のフィッティング線
Ｂ１１ 輪郭画像
Ｂ２１及びＢ２２ 輪郭
Ｂ３１ 表示画面
Ｂ４１ 有効エッジ点領域
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理における登録データ生成方法に係り、さらに詳しくは、撮像手段によって撮影された画像データに基づいて被写体の輪郭に関する登録データを生成する画像処理装置の改良に関する。
【背景技術】
【０００２】
ワーク（検査対象物）の自動識別に関し、ワークを撮影して得られる画像データに基づいて被写体の輪郭を抽出し、この輪郭についてマッチング処理を行う画像処理装置が従来から用いられている。この様な自動識別によって、例えば、成形品やプレス部品の種類を特定したり、基板上に印刷されたマークの位置を特定することができる。
【０００３】
この種のマッチング処理では、ワークを撮影して得られた撮影画像からエッジ点が抽出される。このエッジ点は、隣接する画素の輝度レベルの変化量に基づいて抽出され、抽出されたエッジ点によって被写体の輪郭画像が形成される。この輪郭画像が登録データと照合され、その照合結果に基づいてワークが識別される。
【０００４】
この様なマッチング処理において用いられる登録データは、ワークのサンプルを撮影することによって得られる撮影画像に基づいて作成される。すなわち、登録データは、サンプルの撮影画像に対し、所定形状の線を撮影画像における被写体の輪郭に合わせ込むことによって作成される。この様な被写体の輪郭に対する合わせ込みをフィッティングと呼び、合わせ込みによって得られる線をフィッティング線という。具体的には、撮影画像が表示されている画面上で所定形状の線を拡大、縮小及び移動させながら、オペレータ（画像処理装置の操作者）が被写体の輪郭に応じて適切なサイズを指定することによって登録データが作成される。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した様な従来の画像処理装置では、オペレータの操作入力に基づいてフィッティング線のサイズが指定されるので、指示されたフィッティング線のサイズがオペレータごとに異なり、フィッティング精度が低いという問題があった。特に、ピントが合っていないことによる画像のボケがある場合や、ノイズによる画質の低下がある場合には、画面上の撮影画像において被写体の輪郭を見定めるのが容易ではなく、フィッティング精度がさらに低下してしまうという問題があった。
【０００６】
そこで、被写体の撮影画像からエッジ点を抽出し、抽出したエッジ点について回帰演算を行ってフィッティング線を自動的に求めさせるようにすることが考えられる。しかし、被写体自体に欠けなどの欠陥がある場合には、所望のフィッティング線が得られないという問題があった。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、被写体の輪郭に関する登録データの品質を向上させた画像処理装置及び画像処理における登録データ生成方法を提供することを目的とする。特に、オペレータが異なっても、フィッティング精度が低下することなく、登録データを常に適切に生成することができる画像処理装置を提供することを目的とする。また、被写体自体に欠けなどの欠陥がある場合や、ピントが合っていないことによる画像のボケがある場合、ノイズによる画質の低下がある場合であっても、フィッティング精度が低下するのを抑制させた画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明による画像処理装置は、撮像手段によって撮影された画像データに基づいてエッジ点を抽出し、エッジ点からなる被写体の輪郭画像を生成する輪郭画像生成手段と、上記輪郭画像に基づいて、所定形状の線を輪郭画像上の被写体にフィッティングさせ、第１のフィッティング線を生成する第１フィッティング線生成手段と、上記第１のフィッティング線に幅を持たせ、その線幅内を有効エッジ点領域とする有効エッジ点領域生成手段と、上記輪郭画像上の上記有効エッジ点領域内にあるエッジ点に基づいて、所定形状の線からなる第２のフィッティング線を生成する第２フィッティング線生成手段とを備えて構成される。
【０００９】
この画像処理装置では、画像データに基づいてエッジ点が抽出され、エッジ点からなる被写体の輪郭画像が生成される。そして、この輪郭画像に基づいて所定形状の線からなる第２のフィッティング線が生成される。その際、所定形状の線を輪郭画像上の被写体にフィッティングさせることによって得られる第１のフィッティング線に幅を持たせ、その線幅内を有効エッジ点領域とし、この有効エッジ点領域内にあるエッジ点に基づいて第２のフィッティング線が求められる。この様な構成により、輪郭画像から被写体の輪郭に関するフィッティング線を求めてマッチング処理に用いられる登録データを生成する際に、フィッティング線のフィッティング精度が低下するのを抑制することができる。すなわち、輪郭画像における有効エッジ点領域との重複部分に含まれているエッジ点に基づいて第２のフィッティング線が算出されるので、有効エッジ点領域と重複しないエッジ点が被写体の輪郭に関する第２のフィッティング線算出のためのデータ群から除外される。このため、被写体自体に欠けなどの欠陥がある場合であっても、所望のフィッティング線から大きくはずれたエッジ点が自動的に除外されるので、フィッティング精度が低下するのを効果的に抑制することができる。
【００１０】
さらに、画像データからフィッティング線が自動的に求められることから、オペレータが異なっても、フィッティング精度が低下することはなく、同一の輪郭画像からは常に同じサイズのフィッティング線を抽出することができる。また、ピントが合っていないことによる画像のボケがある場合や、ノイズによる画質の低下がある場合であっても、フィッティング線のフィッティング精度が低下するのを抑制することができる。
【００１１】
具体的には、上記第１フィッティング線生成手段が、輪郭画像に関するハフ変換に基づいてフィッティングを行うように構成される。
【００１２】
本発明による画像処理装置は、上記構成に加え、上記有効エッジ点領域生成手段が、生成された第１のフィッティング線が複数存在する場合、サイズが最も大きなフィッティング線に基づいて有効エッジ点領域を生成するように構成される。この様な構成によれば、輪郭画像から第１のフィッティング線が複数抽出された場合に、サイズが最も大きなフィッティング線に基づいて有効エッジ点領域が定められるので、当該フィッティング線に関係しないエッジ点を除外することができる。
【００１３】
また、本発明による画像処理装置は、上記構成に加え、上記有効エッジ点領域を上記輪郭画像とともに同一画面上に表示する表示手段と、画面表示された有効エッジ点領域のサイズ及び位置をオペレータによる操作入力に基づいて変更する有効エッジ点領域修正手段とを備え、上記第２フィッティング線生成手段が、サイズ及び位置が変更された有効エッジ点領域に基づいて第２のフィッティング線を生成するように構成される。この様な構成によれば、有効エッジ点領域のサイズ及び位置がオペレータの操作入力によって変更された場合に、サイズ及び位置の変更後の有効エッジ点領域に基づいて第２のフィッティング線が算出される。従って、オペレータは、有効エッジ点領域生成手段により生成された有効エッジ点領域が輪郭画像上の被写体と著しく異なっている場合に、有効エッジ点領域のサイズ及び位置を修正することによって、所望のフィッティング線を抽出させることができる。
【００１４】
本発明による画像処理における登録データ生成方法は、撮像手段によって撮影された画像データに基づいてエッジ点を抽出し、エッジ点からなる被写体の輪郭画像を生成する輪郭画像生成ステップと、上記輪郭画像に基づいて、所定形状の線を輪郭画像上の被写体にフィッティングさせ、第１のフィッティング線を生成する第１フィッティング線生成ステップと、上記第１のフィッティング線に幅を持たせ、その線幅内を有効エッジ点領域とする有効エッジ点領域生成ステップと、上記輪郭画像上の上記有効エッジ点領域内にあるエッジ点に基づいて、所定形状の線からなる第２のフィッティング線を生成する第２フィッティング線生成ステップとからなる。
【発明の効果】
【００１５】
本発明による画像処理装置及び画像処理における登録データ生成方法によれば、有効エッジ点領域内のエッジ点に基づいて被写体の輪郭に関するフィッティング線が求められるので、被写体自体に欠けなどの欠陥がある場合であっても、フィッティング線のフィッティング精度が低下するのを抑制させることができる。さらに、オペレータが異なっても、フィッティング精度が低下することはなく、フィッティング線を常に適切に求めることができる。また、ピントが合っていないことによる画像のボケがある場合や、ノイズによる画質の低下がある場合であっても、フィッティング精度が低下するのを抑制することができ、被写体の輪郭に関する登録データの品質を向上させることができる。
【発明を実施するための最良の形態】
【００１６】
実施の形態１．
図１は、本発明の実施の形態１による自動識別システムの概略構成の一例を示した斜視図であり、ワークのサンプルＡ１を撮影する撮像部１１及び画像処理装置１２からなる自動識別システム１全体の様子が示されている。本実施の形態による自動識別システム１は、ワーク（検査対象物）の自動識別を行う情報処理システムであり、例えば、製造工程における搬送ライン上のサンプルＡ１を撮影して得られる画像データから抽出した登録データに基づいてワークの識別を行っている。
【００１７】
この搬送ライン上には、複数のワークが配置されており、これらのワークが搬送ラインに沿って搬送されることにより、各ワークは順次に撮像部１１の撮影エリア内に移動する。撮像部１１は、所定のタイミングで撮影エリア内のワークを撮影し、その撮影画像を画像処理装置１２へ出力する動作を行っている。画像処理装置１２では、ワークのサンプルＡ１を撮影して得られる画像データに基づいて被写体の輪郭に関するフィッティング線を生成し、登録データとして登録する処理が行われる。ワークの撮影画像から得られる輪郭画像をこの登録データと照合することによってワークの識別が行われる。
【００１８】
図２のステップＳ１０１〜Ｓ１０７は、図１の自動識別システムによるワークの自動識別動作の一例を示したフローチャートである。この自動識別システム１では、照合用の登録データを得るために、まず、ワークのサンプルＡ１の撮影が撮像部１１によって行われる（ステップＳ１０１）。
【００１９】
このとき得られた画像データに基づいてエッジ点からなる被写体の輪郭画像が生成され、この輪郭画像に基づいてエッジ点を選別するための有効エッジ点領域が画像処理装置１２によって抽出される（ステップＳ１０２）。そして、有効エッジ点領域内のエッジ点に基づいて被写体の輪郭に関するフィッティング線が求められ、登録データとして格納される（ステップＳ１０３）。
【００２０】
次に、検査対象となるワークが撮影され（ステップＳ１０４）、その撮影画像に基づいてワークの識別処理が行われる。具体的には、撮影画像からエッジ点が抽出され、エッジ点からなる被写体の輪郭画像を登録データと照合することによってワークが識別される（ステップＳ１０５）。このマッチング処理による識別結果は、画像表示部に出力され、画面表示される（ステップＳ１０６）。
【００２１】
ステップＳ１０４からステップＳ１０６までの処理手順は、停止信号が入力されるまで搬送ライン上のワークごとに繰り返され、停止信号が入力されると、この自動識別処理は終了する（ステップＳ１０７）。
【００２２】
図３は、図１の自動識別システムの要部における構成例を示したブロック図である。この自動識別システム１は、撮像部１１及び画像処理装置１２からなり、画像処理装置１２が輪郭画像生成部２１、操作入力部２２、形状情報記憶部２３、登録処理部２４、登録データ記憶部２５、照合処理部２６及び画像表示部２７により構成されている。登録処理部２４は、第１フィッティング線生成部２４ａ、有効エッジ点領域生成部２４ｂ、有効エッジ点領域修正部２４ｃ及び第２フィッティング線生成部２４ｄからなり、照合用の登録データを生成する動作が行われる。
【００２３】
撮像部１１は、可視光線や赤外線を用いて被写体を撮影するデジタルカメラであり、ＣＣＤ（Charge Coupled Device：電荷結合素子）などの撮像素子からなる。撮像部１１では、マッチング処理において用いられる登録データを作成するために、ワークのサンプルＡ１の撮影が行われ、画素ごとの輝度データが画像データとして出力される。
【００２４】
操作入力部２２は、各種操作キーを備え、オペレータ（画像処理装置１２の操作者）のキー操作に基づく入力処理を行っている。画像表示部２７は、液晶ディスプレイなどの表示画面を有する表示素子からなり、画像データに基づいて各種画像の画面表示を行っている。
【００２５】
輪郭画像生成部２１は、撮像部１１によって撮影された画像データに基づいてエッジ点を抽出し、被写体の輪郭画像を生成する動作を行っている。このエッジ点は、隣接する画素の輝度レベルの変化量に基づいて抽出される。具体的には、輝度レベルの変化率（エッジ強度という）が所定の閾値よりも大きな画素として抽出される。この様にして抽出された複数のエッジ点から輪郭画像が形成され、画像表示部２７において画面表示される。ここでは、画素ごとの輝度レベルが２値化され、被写体の輪郭がエッジ点によって示されるものとする。
【００２６】
照合処理部２６は、ワークの撮影画像に基づいてマッチング処理を行い、識別結果を出力する動作を行っている。
【００２７】
形状情報記憶部２３は、輪郭画像上の被写体にフィッティングさせる線の形状を規定する形状情報を記憶する不揮発性の半導体メモリである。この形状情報としては、様々な形状の線を規定するデータが予め格納されている。ここでは、円や長方形、十字形などの形状を規定するデータが形状情報として格納されているものとする。
【００２８】
第１フィッティング線生成部２４ａは、輪郭画像生成部２１によって生成された輪郭画像に基づいて、所定形状の線を輪郭画像上の被写体にフィッティングさせる動作を行っている。フィッティングさせる線の形状は、オペレータの操作入力によって指定され、指定された形状に基づいてフィッティングが行われる。
【００２９】
具体的には、輪郭画像生成部２１により抽出されたエッジ点についてハフ（Hough）変換を行うことにより、指定形状の線が輪郭画像における被写体に合わせ込まれ、第１のフィッティング線が生成される。ハフ変換は、オペレータによって指定される線の形状情報に基づいて、各エッジ点の位置座標をパラメータ空間に投影する解析手法である。ハフ変換により、線のサイズ及び位置が定められ、輪郭画像から第１のフィッティング線が抽出される。なお、第１のフィッティング線抽出のためのハフ変換は、画像データから抽出された全てのエッジ点について行っても良いが、一部のエッジ点について行うものであっても良い。
【００３０】
ハフ変換によるフィッティング線抽出のアルゴリズムについて説明する。一般に、ハフ変換は、「投票」と「多数決」によって画像データから幾何学的図形を抽出する図形抽出方法であり、画像データにおける特徴点をパラメータ空間に「投票」し、投票度数に関する多数決の原理によって図形の特定を行っている。
【００３１】
例えば、ｘｙ座標平面上の直線は、パラメータρ及びθ（０≦θ<π）を用いて、次式（１）により表すことができる。
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ…（１）
【００３２】
つまり、パラメータの組（ρ，θ）を１つ指定すれば、上式（１）によって１つの直線を抽出することができる。一方、ｘｙ座標平面上の点（ｘ０，ｙ０）を通る直線の集合（直線群）は、次式（２）により表すことができ、パラメータ空間（ρ，θ）における１つの図形（軌跡）を表現している。
ρ＝ｘ０ｃｏｓθ＋ｙ０ｓｉｎθ…（２）
【００３３】
従って、もし、ｘｙ座標平面上の３つの異なる点が同一直線上にあれば、各点を通る直線群の軌跡は、パラメータ空間内において１点で交わることになる。この原理を利用して画像データから図形を抽出することができる。すなわち、画像データにおけるｎ個の特徴点からパラメータ空間内におけるｎ個の軌跡がそれぞれ求められ、このうち、ｍ個（ｍ<ｎ）の軌跡が１点で交わっていれば、その交点からｍ個の特徴点を通る直線を抽出することができる。直線以外の円などの図形についても、直線の場合と同様に画像データから抽出することができる。従って、画像データから抽出されたエッジ点を特徴点としてハフ変換することにより、ピントが合っていないことによる画像のボケや、ノイズによる画質の低下がある場合であっても、被写体を表す図形としてのフィッティング線を適切に抽出することができる。
【００３４】
有効エッジ点領域生成部２４ｂは、輪郭画像から抽出された第１のフィッティング線に幅を持たせ、その線幅内を有効エッジ点領域とする処理を行っている。第１のフィッティング線に持たせる線幅は、被写体の輪郭に関するフィッティング線に対して要求されるフィッティング精度に基づいて定められる。また、生成された第１のフィッティング線が複数存在する場合、サイズが最も大きなフィッティング線に基づいて有効エッジ点領域が生成される。
【００３５】
画像表示部２７は、有効エッジ点領域生成部２４ｂによって生成された有効エッジ点領域を輪郭画像とともに同一画面上に表示する動作を行っている。有効エッジ点領域修正部２４ｃは、画面表示された有効エッジ点領域のサイズ及び位置をオペレータによる操作入力に基づいて変更する動作を行っている。
【００３６】
第２フィッティング線生成部２４ｄは、輪郭画像上の有効エッジ点領域内にあるエッジ点に基づいて、所定形状の線からなる第２のフィッティング線を生成する処理を行っている。この第２のフィッティング線は、有効エッジ点領域内のエッジ点に基づく回帰演算によってそのサイズが推定される。例えば、ピクセル単位のエッジ点位置情報から、より細かなサブピクセル単位でフィッティング線のサイズが求められる。ここでは、オペレータの操作入力に基づいて有効エッジ点領域のサイズ及び位置が変更された場合、サイズ及び位置の変更後の有効エッジ点領域に基づいて第２のフィッティング線が生成されるものとする。この様にして算出された第２のフィッティング線は、登録データとして登録データ記憶部２５内に格納されるとともに、画像表示部２７によって画面表示される。
【００３７】
ここでは、フィッティング線算出のための回帰演算として、最小２乗法による統計処理が行われるものとする。この最小２乗法では、モデル（フィッティング線）と測定点（エッジ点）との差（例えば、距離）の２乗和を最小とするモデルが最適値として抽出される。なお、最小２乗法に代えて、Ｍ−ｅｓｔｉｍａｔｏｒ推定法やＬＭｅｄＳ（Least Median of Squares）推定法による統計処理を行うようなものであっても良い。
【００３８】
<輪郭画像生成>
図４のステップＳ２０１〜Ｓ２０６は、図３の画像処理装置における輪郭画像生成動作の一例を示したフローチャートである。まず、輪郭画像生成部２１は、撮像部１１によって撮影された画像データについて平滑化処理を行う（ステップＳ２０１）。この平滑化処理は、空間軸方向に関する高周波ノイズを除去するためのフィルター処理である。
【００３９】
次に、平滑化処理後の画像データは、微分フィルターによって微分される（ステップＳ２０２）。この微分処理では、座標軸方向に隣接する画素について輝度レベルの変化量が求められ、その変化率（微分値）が当該座標軸方向に関するエッジ強度成分として出力される。エッジ強度成分は、ｘ軸方向及びｙ軸方向に関して画素ごとに算出され、ｘ軸方向のエッジ強度成分Ｅｘ及びｙ軸方向のエッジ強度成分Ｅｙがそれぞれ出力される。
【００４０】
この様にして算出されたエッジ強度成分Ｅｘ及びＥｙから画素ごとのエッジ強度（大きさ）Ｅが求められ、エッジ強度Ｅに関する画素数分布曲線に基づいてエッジ点抽出のための閾値が定められる（ステップＳ２０３，Ｓ２０４）。エッジ強度Ｅは、ｘ軸方向のエッジ強度成分Ｅｘ及びｙ軸方向のエッジ強度成分Ｅｙに基づいて算出される。具体的には、各成分Ｅｘ及びＥｙの２乗和の平方根によってエッジ強度Ｅが求められる。すなわち、Ｅ＝（Ｅｘ２＋Ｅｙ２）１／２によって算出される。なお、処理負荷を低減させるという観点から、エッジ強度成分Ｅｘ及びＥｙの絶対値の和でエッジ強度Ｅを近似しても良い。
【００４１】
また、エッジ強度Ｅに関する画素数分布曲線は、エッジ強度Ｅごとの画素数についての度数分布（ヒストグラム）に基づいて生成される。
【００４２】
この様にして求められた画素数分布曲線から閾値が決定され、エッジ強度Ｅが当該閾値を超えている画素がエッジ点として抽出される（ステップＳ２０５）。そして、抽出されたエッジ点からなる輪郭画像が画像表示部２７によって画面表示される（ステップＳ２０６）。
【００４３】
図５は、ワークのサンプルを示した外観斜視図であり、図６は、図３の撮像部により撮影された撮影画像の一例を示した図である。ワークのサンプルＡ１として、円柱状の成形品が示されている。この成形品は、端面の中央部分が出っ張っているとともに、周縁部の一部分に欠けＡ２が生じている。
【００４４】
この様なサンプルＡ１を中心軸方向から撮影すれば、撮影画像Ａ３が得られる。この撮影画像Ａ３には、被写体としてのサンプルＡ１が濃淡によって示されている。
【００４５】
図７は、図６の撮影画像に基づく輪郭画像生成動作の一例を示した図であり、複数のエッジ点Ｂ２からなる輪郭画像Ｂ１が示されている。輪郭画像Ｂ１は、閾値処理によって抽出された多数のエッジ点Ｂ２から形成されている。ここでは、隣接するエッジ点を直線でつないだ折れ線によって、被写体の輪郭の概略が示されている。この輪郭画像Ｂ１は、被写体周縁部の欠けＡ２によって一部分が偏平した円形状からなる。
【００４６】
ワークのサンプルＡ１に欠けなどの欠陥があると、輪郭画像Ｂ１が所望のフィッティング線から大きく外れた歪な形状となる。このため、抽出されたエッジ点の全てについて単純に回帰演算を行ったのでは、被写体の輪郭に関するフィッティング線を正しく抽出することはできない。そこで、有効エッジ点領域を用いて、フィッティング線を抽出するのに適切なエッジ点の絞り込みが行われる。
【００４７】
<有効エッジ点領域抽出>
図８のステップＳ３０１〜Ｓ３０４は、図３の画像処理装置における有効エッジ点領域抽出動作の一例を示したフローチャートである。まず、第１フィッティング線生成部２４ａは、輪郭画像が画面表示された後、オペレータの操作入力によってフィッティング線の形状が指定されると、その形状情報に基づいてエッジ点のハフ変換を行い、第１のフィッティング線を求める（ステップＳ３０１〜Ｓ３０３）。
【００４８】
例えば、フィッティング線の形状として「円」が指定された場合、輪郭画像生成部２１によって抽出された全てのエッジ点についてのハフ変換により、輪郭画像に最適な円が推定される。また、フィッティング線の形状として「長方形」が指定された場合には、各エッジ点のハフ変換によって、４つの直線が求められる。そして、求められた各直線の交点に基づいて４つの線分が切り出され、４つの線分からなる図形として輪郭画像に最適な長方形が推定される。また、フィッティング線の形状として「十字形」が指定された場合には、各エッジ点のハフ変換によって、８つの直線が求められる。そして、各直線の交点に基づいて１２個の線分が切り出され、１２個の線分からなる図形として輪郭画像に最適な十字形が推定される。
【００４９】
次に、第１のフィッティング線に幅を持たせて有効エッジ点領域が生成され、画面表示される（ステップＳ３０４）。このとき、第１のフィッティング線が複数抽出されている場合には、サイズが最も大きなフィッティング線に基づいて有効エッジ点領域が生成される。
【００５０】
図９は、図３の画像処理装置における有効エッジ点領域抽出に用いられる形状情報の一例を示した図であり、「円」、「長方形」及び「十字形」が指定形状として示されている。フィッティング線の形状として、円３１、長方形３２及び十字形３３が用いられる。
【００５１】
図１０（ａ）及び（ｂ）は、図３の画像処理装置における有効エッジ点領域抽出動作の一例を示した図である。図１０（ａ）には、表示画面Ｂ３上の複数のエッジ点Ｂ２及び有効エッジ点領域Ｂ４が示され、図１０（ｂ）には、その一部分Ｂ５の拡大図が示されている。有効エッジ点領域Ｂ４は、輪郭画像を構成する多数のエッジ点Ｂ２と重複して表示されている。
【００５２】
有効エッジ点領域Ｂ４は、所定形状の線（ここでは、円）を多数のエッジ点Ｂ２からなる被写体の輪郭画像にフィッティングさせることによって得られる第１のフィッティング線に幅を持たせて形成される。被写体の輪郭に関する第２のフィッティング線は、この有効エッジ点領域Ｂ４と重複する位置にあるエッジ点３４に基づいて算出される。すなわち、画像データから抽出された多数のエッジ点Ｂ２のうち、有効エッジ点領域Ｂ４と重複しない位置にあるエッジ点３５を除外して回帰演算が行われる。
【００５３】
輪郭画像における有効エッジ点領域Ｂ４との重複部分に含まれているエッジ点３４から第２のフィッティング線を算出することにより、有効エッジ点領域Ｂ４と重複しないエッジ点３５がフィッティング線算出のためのデータ群から除外されるので、所望のフィッティング線から大きくはずれたエッジ点を除いてフィッティング線を求めることができる。
【００５４】
図１１は、生成された輪郭画像の他の例を示した図であり、輪郭画像Ｂ１１として複数の輪郭Ｂ２１及びＢ２２が抽出された場合の様子が示されている。また、図１２は、図１１の輪郭画像に基づいて生成された表示画面Ｂ３１上の有効エッジ点領域Ｂ４１の様子が示されている。
【００５５】
画像データから複数の輪郭Ｂ２１及びＢ２２が輪郭画像Ｂ１１として抽出された場合、有効エッジ点領域Ｂ４１は、サイズが最も大きな輪郭Ｂ２１についてのみ生成される。
【００５６】
<登録データ生成>
図１３のステップＳ４０１〜Ｓ４０４は、図３の画像処理装置における登録データ生成動作の一例を示したフローチャートである。まず、第２フィッティング線生成部２４ｄは、有効エッジ点領域に基づいてエッジ点を選出する（ステップＳ４０１）。
【００５７】
次に、選出したエッジ点について回帰演算を行い、第２のフィッティング線を算出する（ステップＳ４０２，Ｓ３０３）。そして、算出した第２のフィッティング線は、登録データとして登録データ記憶部２５内に格納されるとともに、画面表示される（ステップＳ４０４）。
【００５８】
図１４は、図３の画像処理装置における登録データ生成動作の一例を示した図であり、第２のフィッティング線Ｂ７からなる登録データＢ６が示されている。回帰演算によって被写体の輪郭としての第２のフィッティング線Ｂ７（ここでは、円）が求められ、登録データＢ６として画面表示される。
【００５９】
本実施の形態によれば、有効エッジ点領域内のエッジ点から被写体の輪郭に関するフィッティング線が求められるので、被写体自体に欠けなどの欠陥がある場合であっても、フィッティング精度が低下するのを抑制させることができる。さらに、オペレータが異なっても、フィッティング精度が低下することはなく、フィッティング線を常に適切に求めることができる。また、ピントが合っていないことによる画像のボケがある場合や、ノイズによる画質の低下がある場合であっても、フィッティング精度が低下するのを抑制することができ、登録データの品質を向上させることができる。
【００６０】
また、有効エッジ点領域のサイズ及び位置がオペレータの操作入力によって変更可能であるので、第１フィッティング線生成部２４ａによって生成されたフィッティング線が画面上で所望のフィッティング線と著しく異なっている場合に、有効エッジ点領域のサイズ及び位置を修正することにより、所望のフィッティング線を抽出させることができる。また、被写体を撮影する際の撮影角度によって被写体の輪郭画像が所望のフィッティング線と著しく異なる形状となった場合であっても、有効エッジ点領域によるエッジ点の選別が行われるので、理想的なフィッティング線からなる登録データを生成することができる。
【００６１】
なお、本実施の形態では、全てのエッジ点に関するハフ変換に基づいてフィッティング線が求められる場合の例について説明したが、本発明はこれに限られるものではない。例えば、抽出目標とする図形が円である場合、エッジ点から３点をランダムに選出し、選出した各エッジ点を通る円をフィッティング線として求めるようなものであっても良い。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施の形態１による自動識別システムの概略構成の一例を示した斜視図である。
【図２】図１の自動識別システムによるワークの自動識別動作の一例を示したフローチャートである。
【図３】図１の自動識別システムの要部における構成例を示したブロック図である。
【図４】図３の画像処理装置における輪郭画像生成動作の一例を示したフローチャートである。
【図５】ワークのサンプルを示した外観斜視図である。
【図６】図３の撮像部により撮影された撮影画像の一例を示した図である。
【図７】図６の撮影画像に基づく輪郭画像生成動作の一例を示した図であり、複数のエッジ点Ｂ２からなる輪郭画像Ｂ１が示されている。
【図８】図３の画像処理装置における有効エッジ点領域抽出動作の一例を示したフローチャートである。
【図９】図３の画像処理装置における有効エッジ点領域抽出に用いられる形状情報の一例を示した図である。
【図１０】図３の画像処理装置における有効エッジ点領域抽出動作の一例を示した図である。
【図１１】生成された輪郭画像の他の例を示した図であり、輪郭画像Ｂ１１として複数の輪郭Ｂ２１及びＢ２２が抽出された場合の様子が示されている。
【図１２】図１１の輪郭画像に基づいて生成された表示画面Ｂ３１上の有効エッジ点領域Ｂ４１の様子が示されている。
【図１３】図３の画像処理装置における登録データ生成動作の一例を示したフローチャートである。
【図１４】図３の画像処理装置における登録データ生成動作の一例を示した図であり、第２のフィッティング線Ｂ７からなる登録データＢ６が示されている。
【符号の説明】
【００６３】
１ 自動識別システム
１１ 撮像部
１２ 画像処理装置
２１ 輪郭画像生成部
２２ 操作入力部
２３ 形状情報記憶部
２４ 登録処理部
２４ａ 第１フィッティング線生成部
２４ｂ 有効エッジ点領域生成部
２４ｃ 有効エッジ点領域修正部
２４ｄ 第２フィッティング線生成部
２５ 登録データ記憶部
２６ 照合処理部
２７ 画像表示部
Ａ１ ワークのサンプル
Ａ２ 欠け
Ａ３ 撮影画像
Ｂ１ 輪郭画像
Ｂ２ エッジ点
Ｂ３ 表示画面
Ｂ４ 有効エッジ点領域
Ｂ６ 登録データ
Ｂ７ 第２のフィッティング線
Ｂ１１ 輪郭画像
Ｂ２１及びＢ２２ 輪郭
Ｂ３１ 表示画面
Ｂ４１ 有効エッジ点領域
【特許請求の範囲】
【請求項１】
撮像手段によって撮影された画像データに基づいてエッジ点を抽出し、エッジ点からなる被写体の輪郭画像を生成する輪郭画像生成手段と、
上記輪郭画像に基づいて、所定形状の線を輪郭画像上の被写体にフィッティングさせ、第１のフィッティング線を生成する第１フィッティング線生成手段と、
上記第１のフィッティング線に幅を持たせ、その線幅内を有効エッジ点領域とする有効エッジ点領域生成手段と、
上記輪郭画像上の上記有効エッジ点領域内にあるエッジ点に基づいて、所定形状の線からなる第２のフィッティング線を生成する第２フィッティング線生成手段とを備えたことを特徴とする画像処理装置。
【請求項２】
上記第１フィッティング線生成手段は、輪郭画像に関するハフ変換に基づいてフィッティングを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記有効エッジ点領域生成手段は、生成された第１のフィッティング線が複数存在する場合、サイズが最も大きなフィッティング線に基づいて有効エッジ点領域を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記有効エッジ点領域を上記輪郭画像とともに同一画面上に表示する表示手段と、
画面表示された有効エッジ点領域のサイズ及び位置をオペレータによる操作入力に基づいて変更する有効エッジ点領域修正手段とを備え、
上記第２フィッティング線生成手段は、サイズ及び位置が変更された有効エッジ点領域に基づいて第２のフィッティング線を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
撮像手段によって撮影された画像データに基づいてエッジ点を抽出し、エッジ点からなる被写体の輪郭画像を生成する輪郭画像生成ステップと、
上記輪郭画像に基づいて、所定形状の線を輪郭画像上の被写体にフィッティングさせ、第１のフィッティング線を生成する第１フィッティング線生成ステップと、
上記第１のフィッティング線に幅を持たせ、その線幅内を有効エッジ点領域とする有効エッジ点領域生成ステップと、
上記輪郭画像上の上記有効エッジ点領域内にあるエッジ点に基づいて、所定形状の線からなる第２のフィッティング線を生成する第２フィッティング線生成ステップとからなることを特徴とする画像処理における登録データ生成方法。
【請求項１】
撮像手段によって撮影された画像データに基づいてエッジ点を抽出し、エッジ点からなる被写体の輪郭画像を生成する輪郭画像生成手段と、
上記輪郭画像に基づいて、所定形状の線を輪郭画像上の被写体にフィッティングさせ、第１のフィッティング線を生成する第１フィッティング線生成手段と、
上記第１のフィッティング線に幅を持たせ、その線幅内を有効エッジ点領域とする有効エッジ点領域生成手段と、
上記輪郭画像上の上記有効エッジ点領域内にあるエッジ点に基づいて、所定形状の線からなる第２のフィッティング線を生成する第２フィッティング線生成手段とを備えたことを特徴とする画像処理装置。
【請求項２】
上記第１フィッティング線生成手段は、輪郭画像に関するハフ変換に基づいてフィッティングを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記有効エッジ点領域生成手段は、生成された第１のフィッティング線が複数存在する場合、サイズが最も大きなフィッティング線に基づいて有効エッジ点領域を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記有効エッジ点領域を上記輪郭画像とともに同一画面上に表示する表示手段と、
画面表示された有効エッジ点領域のサイズ及び位置をオペレータによる操作入力に基づいて変更する有効エッジ点領域修正手段とを備え、
上記第２フィッティング線生成手段は、サイズ及び位置が変更された有効エッジ点領域に基づいて第２のフィッティング線を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
撮像手段によって撮影された画像データに基づいてエッジ点を抽出し、エッジ点からなる被写体の輪郭画像を生成する輪郭画像生成ステップと、
上記輪郭画像に基づいて、所定形状の線を輪郭画像上の被写体にフィッティングさせ、第１のフィッティング線を生成する第１フィッティング線生成ステップと、
上記第１のフィッティング線に幅を持たせ、その線幅内を有効エッジ点領域とする有効エッジ点領域生成ステップと、
上記輪郭画像上の上記有効エッジ点領域内にあるエッジ点に基づいて、所定形状の線からなる第２のフィッティング線を生成する第２フィッティング線生成ステップとからなることを特徴とする画像処理における登録データ生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００６−２５２４００（Ｐ２００６−２５２４００Ａ）
【公開日】平成１８年９月２１日（２００６．９．２１）
【国際特許分類】
【出願番号】特願２００５−７０７４１（Ｐ２００５−７０７４１）
【出願日】平成１７年３月１４日（２００５．３．１４）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成１８年９月２１日（２００６．９．２１）
【国際特許分類】
【出願日】平成１７年３月１４日（２００５．３．１４）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]