エッジ画像のエッジ連結方法、輪郭抽出方法、輪郭抽出装置、輪郭抽出プログラム及びコンピュータで読み取り可能な記録媒体
【課題】輪郭抽出技術において、一般的なエッジ連結処理にて連結できなかった線分を適切に連結する。
【解決手段】複数のエッジを含むエッジ画像において、該複数のエッジの中から対応するエッジ同士を連結する方法であって、計測領域を複数の分割小領域に分割して各々小領域番号を付与すると共に、各エッジに対して個別のエッジラベルを付与する工程と、各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出する工程と、エッジが途切れている分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定する工程と、推定されたエッジ対同士を連結する工程とを含む。これにより、途切れたエッジ同士を正確に連結できる。
【解決手段】複数のエッジを含むエッジ画像において、該複数のエッジの中から対応するエッジ同士を連結する方法であって、計測領域を複数の分割小領域に分割して各々小領域番号を付与すると共に、各エッジに対して個別のエッジラベルを付与する工程と、各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出する工程と、エッジが途切れている分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定する工程と、推定されたエッジ対同士を連結する工程とを含む。これにより、途切れたエッジ同士を正確に連結できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外観検査や計測等で利用される画像処理において輪郭を抽出するために、エッジ画像から抽出したエッジ同士を連結するためのエッジ連結方法、輪郭抽出方法、輪郭抽出装置、輪郭抽出プログラム及びコンピュータで読み取り可能な記録媒体に関し、特に輪郭抽出技術において、エッジ同士を適切に連結する技術に関するものである。
【背景技術】
【０００２】
画像処理装置では、検査計測対象（以下、「ワーク」とも呼ぶ）を撮像した画像に基づき、欠陥検査や寸法計測等を行うことができる。図１に、ワークの画像を撮像して画像処理を行い輪郭を抽出し、欠陥検査処理を行う輪郭抽出システムを示す。この輪郭抽出システムは、ワークＷを撮像するカメラ２０１と、画像処理を行う画像処理装置２００と、モニタ２０３と、コンソール２０２とがケーブルを介して接続されている。この輪郭抽出システムは、検査対象のワークＷをカメラ２０１で撮像し、画像処理装置２００に入力画像データを送出し、入力画像をモニタ２０３で確認しながらコンソール２０２で条件設定等を行い、画像処理装置２００が画像処理を行う。
【０００３】
従来、このような欠陥検査等の外観検査や画像計測においては、計測領域を指定するためにユーザが矩形や円等の幾何学図形を用いて、これらの規定の図形の内部（または外側）を計測領域として指定していた。この方法では、一旦設定された領域は不変であり、その後の計測においては固定された領域内での検査や計測等の処理が行われることになる。いいかえると、入力される画像に含まれるワークの形状や大きさに応じて領域が変化しない。一方、ワークの形状や大きさにはばらつきや経時的な変動があることが多く、このような変動は一定の範囲までは許容される場合が多い。このため、ワークの形状の輪郭位置まで計測領域に設定すると、本来許容されるべき形状変化や変動を欠陥として誤検出する等、検査や計測に悪影響を与えることがある。したがって、運用の際にはワークの形状の際に、形状変動量を考慮したマージンを加味したワークの内部の検査対象領域のみを計測領域として設定していた。
【０００４】
しかしながら、例えば欠陥検査においてはワーク形状の外周付近の欠陥見落としが発生する等、計測領域の外側におけるワークの変動を考慮できないという問題があった。
【０００５】
そこで、入力された画像に対して、ワーク形状の輪郭（エッジ）を抽出して、さらに離散的なエッジ同士を連結して計測領域を自動的に設定する技術が開発されている。従来の輪郭抽出技術の代表的な手法としては、動的輪郭法、ウォーターシェッド（Watershed）、エッジトレースの３つが知られている。この内、動的輪郭法は、ユーザが画像の輪郭を囲むように初期輪郭を設定し、ユーザが指定した輪郭線の形状を変化させながら、画像上の輪郭とユーザ指定の輪郭線との一致度合いを表す指標（エネルギ）を演算するものであり、主に医療画像処理分野で使用されている。この方法は、パラメータが多いという欠点があり、パラメータを少し変えただけでも結果が大きく左右され、感覚的にパラメータを設定することが困難であった。このような特性のため、予め画質が想定できる医療画像分野においては、予想される画質に基づいたパラメータを予め設定することが可能であるため、実用化もそれほど困難でない。しかしながら、照明条件や対象ワークも様々な工業用途の検査や計測分野においては、取得できる画像の画質を想定することができないため、適用は困難であった。
【０００６】
一方、ウォーターシェッドは、２値化をベースにした技術であり、背景とワークの色の違いが少ないものについて適用が困難であるという問題があった。またエッジトレースは、基本的にはエッジ線の延びている方向や、微分の直交方向等の情報を元にエッジトレースしていく手法であり、様々な手法が検討されている。この方法の欠点としては、局所的な情報だけに頼っているため、局所的にエッジが薄くなっているとエッジ連結が困難となる点が挙げられる。また、ノイズに弱く、不安定という問題もあった。
【０００７】
特に、このようなエッジ抽出においては、抽出されたエッジは連続しない離散的な線分となるため、この状態から対応するエッジ同士を適切に連結する作業が重要となる。このような途切れたエッジ同士を連結する方法としては、従来、エッジの近傍のエッジ方向に基づき、延長方向に連結する方法等が知られていた。しかしながら、抽出されたエッジ同士を適切に連結する処理は容易でなく、実用化できるレベルの技術は未だ開発されていないのが実情である。
【特許文献１】特開平５−８１４１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、従来のこのような問題点を解決するためになされたものである。本発明の主な目的は、エッジの切断位置の対応関係を適切に判別してエッジの連結が可能なエッジ画像のエッジ連結方法、輪郭抽出方法、輪郭抽出装置、輪郭抽出プログラム及びコンピュータで読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段及び発明の効果】
【０００９】
上記目的を実現するために、本発明のエッジ画像のエッジ連結方法は、複数のエッジを含むエッジ画像において、該複数のエッジの中から対応するエッジ同士を連結する方法であって、計測領域を複数の分割小領域に分割して各々小領域番号を付与すると共に、各エッジに対して個別のエッジラベルを付与する工程と、各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出する工程と、エッジが途切れている分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定する工程と、推定されたエッジ対同士を連結する工程とを含む。これにより、途切れたエッジ同士を正確に連結できる。
【００１０】
また第２のエッジ画像のエッジ連結方法は、接続すべきエッジ同士の対を推定する工程が、任意の分割小領域において３以上のエッジラベルが存在し、エッジ同士の対応関係を特定できない場合、可能性のあるエッジ同士の組み合わせをリストアップし、各組合わせに対し、少なくともエッジ対連結部分における滑らかさの指標と、信頼性に関する指標のいずれかに基づいてエッジ連結の良否を示す連結スコアを演算し、連結スコアの高い組み合わせを採用することができる。これにより、複数の候補の中から確度の高い組み合わせを選択して、エッジを連結できる。
【００１１】
さらに第３のエッジ画像のエッジ連結方法は、滑らかさ指標が、エッジの滑らかさに関する指標であり、信頼性指標が、エッジ方向と微分勾配の直交度合いに関する指標であるよう構成できる。これにより、複数の候補の中から確度の高い組み合わせを選択して、エッジを連結できる。
【００１２】
さらにまた第４のエッジ画像のエッジ連結方法は、接続すべきエッジ対を推定する工程が、任意の分割小領域においてエッジラベルが一のみ存在する場合は、該エッジラベルを真と判断し、当該真のエッジラベルが存在する他の分割小領域中において、他のエッジラベルも含まれる場合は、当該他のエッジラベルを偽と判断してエッジ対の候補から排除することができる。これにより、ノイズ成分を含まずエッジが明確に検出されている部分から、エッジラベルの信憑性を判断するため、より確度の高いエッジ連結が可能となる。
【００１３】
さらにまた第５のエッジ画像のエッジ連結方法は、接続すべきエッジ対を推定する工程が、エッジ対の候補に対し、エッジ同士の連結すべき距離が予め設定された連結最大距離よりも大きい場合は、該候補を排除することができる。これにより、極端に離れたエッジ同士を連結して形状の信憑性が損なわれる事態を回避できる。
【００１４】
さらにまた第６のエッジ画像のエッジ連結方法は、推定に従ってエッジ対同士を連結する工程が、接続するエッジ対の端点同士が滑らかになるように接続することができる。これにより、エッジの連結部分がスムーズになり、一層正確な輪郭抽出が可能となる。
【００１５】
さらにまた第７のエッジ画像のエッジ連結方法は、小領域番号及びエッジラベル付与工程に先立ち、検出されたエッジが分岐部分を含む場合に、該分岐部分でエッジを分断するエッジ連結安定化処理を含むことができる。これにより、エッジから分岐部分を無くした上で連結処理を行うため、エッジ検出結果のばらつきを抑制して、安定した輪郭の検出が可能となる。
【００１６】
さらにまた第８のエッジ画像のエッジ連結方法は、小領域番号及びエッジラベル付与工程に先立ち、予め設定されたエッジの長さの閾値に基づき、該エッジ長さ閾値よりも短いエッジを排除するエッジ長さフィルタリング処理を含むことができる。これにより、ノイズ成分を排除した上で連結処理を行うことができ、より正確な輪郭検出が実現できる。
【００１７】
さらにまた第９のエッジ画像のエッジ連結方法は、接続すべきエッジ対を推定する工程で使用される画像処理のための画像処理パラメータとして、輪郭形状、輪郭領域幅、ダウンサンプリング数、検出閾値、処理モード、安定化処理スイッチ、エッジ長さ閾値、連結最大距離、抽出方向、マージンの少なくとも一を含むことができる。
【００１８】
さらにまた第１０のエッジ画像のエッジ連結方法は、接続すべきエッジ同士の対を推定できない場合に、分割小領域を区画する境界線に基づいて強制的に連結可能とできる。
これにより、どうしてもエッジの対が連結できない場合でも非常手段として強制接続が可能となる。また、強制接続の頻度をエッジ連結の信頼性の指標として利用することもでき、例えば強制接続を行った回数を表示部に表示させてユーザにエッジ連結の信頼性を告知できる。
【００１９】
さらにまた第１１のエッジ画像のエッジ連結方法は、該エッジ連結方法が、画像処理における輪郭抽出工程に用いられることができる。これにより、エッジから分岐部分を無くした上で連結処理を行うため、エッジ検出結果のばらつきを抑制して、安定した輪郭の検出が可能となる。
【００２０】
さらにまた第１２の輪郭抽出方法は、入力画像から輪郭を抽出する方法であって、入力画像中で計測領域を指定する工程と、指定された計測領域中から、入力画像の微分強度画像に基づいて複数のエッジを抽出する工程と、抽出された複数のエッジの内、対応すると思われるエッジ同士を連結する工程と、連結されたエッジで輪郭を構成する工程とを含み、エッジ同士を連結する工程が、計測領域を複数の分割小領域に分割して各々小領域番号を付与すると共に、各エッジに対して個別のエッジラベルを付与する工程と、各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出する工程と、エッジが途切れている分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定する工程と、推定されたエッジ対同士を連結する工程とを含むことができる。これにより、途切れたエッジ同士を正確に連結して輪郭を抽出できる。
【００２１】
さらにまた第１３の輪郭抽出装置は、入力画像から輪郭を抽出可能な輪郭抽出装置であって、入力画像を入力する画像入力手段と、画像入力手段で入力された入力画像に対し、計測領域を指定するための計測領域指定手段と、計測領域指定手段で指定された計測領域中から、入力画像の微分強度画像に基づいて複数のエッジを抽出するためのエッジ抽出手段と、エッジ抽出手段で抽出された複数のエッジの各々に対し、個別のエッジラベルを付与するラベリング手段と、計測領域指定手段で指定された計測領域を複数の分割小領域に分割して各々小領域番号を付与する小領域分割手段と、小領域分割手段で分割された各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出し、該分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定するエッジ対推定手段と、推定されたエッジ対同士を連結するエッジ対連結手段とを備えることができる。これにより、途切れたエッジ同士を正確に連結して、安定した輪郭を抽出することができる。
【００２２】
さらにまた第１４の輪郭抽出装置は、エッジ対推定手段が、任意の分割小領域において３以上のエッジラベルが存在し、エッジ同士の対応関係を特定できない場合、可能性のあるエッジ同士の組み合わせをリストアップし、各組合わせに対し、少なくともエッジ対連結部分における滑らかさの指標と、信頼性に関する指標のいずれかに基づいてエッジ連結の良否を示す連結スコアを演算し、連結スコアの高い組み合わせを採用するよう構成できる。これにより、複数の候補の中から確度の高い組み合わせを選択して、エッジを連結できる。
【００２３】
さらにまた第１５の輪郭抽出プログラムは、入力画像から輪郭を抽出可能な輪郭抽出プログラムであって、入力画像を入力する機能と、入力された入力画像に対し、計測領域を指定する機能と、指定された計測領域中から、入力画像の微分強度画像に基づいて複数のエッジを抽出する機能と、抽出された複数のエッジの各々に対し、個別のエッジラベルを付与する機能と、指定された計測領域を複数の分割小領域に分割して各々小領域番号を付与する機能と、分割された各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出し、該分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定する機能と、推定されたエッジ対同士を連結する機能とをコンピュータに実現させることができる。これにより、途切れたエッジ同士を正確に連結して、安定した輪郭を抽出することができる。
【００２４】
さらにまた第１６の輪郭抽出プログラムは、エッジ対推定機能が、任意の分割小領域において３以上のエッジラベルが存在し、エッジ同士の対応関係を特定できない場合、可能性のあるエッジ同士の組み合わせをリストアップし、各組合わせに対し、少なくともエッジ対連結部分における滑らかさの指標と、信頼性に関する指標のいずれかに基づいてエッジ連結の良否を示す連結スコアを演算し、連結スコアの高い組み合わせを採用することができる。これにより、複数の候補の中から確度の高い組み合わせを選択して、エッジを連結できる。
【００２５】
また第１７のコンピュータで読み取り可能な記録媒体は、上記プログラムを格納するものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ、ＤＳＰ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するためのエッジ画像のエッジ連結方法、輪郭抽出方法、計測領域設定方法、輪郭抽出装置、輪郭抽出プログラム及びコンピュータで読み取り可能な記録媒体を例示するものであって、本発明はエッジ画像のエッジ連結方法、輪郭抽出方法、計測領域設定方法、輪郭抽出装置、輪郭抽出プログラム及びコンピュータで読み取り可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
【００２７】
本発明の実施例において使用される輪郭抽出装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．１ｘ等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において輪郭抽出装置とは、輪郭抽出を行う装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた輪郭抽出システムも含む意味で使用する。
【００２８】
また、本明細書においてエッジ画像のエッジ連結方法、輪郭抽出方法、計測領域設定方法、輪郭抽出装置、輪郭抽出プログラムは、輪郭抽出や計測領域設定、エッジ連結を行うシステムそのもの、ならびにエッジ画像その他の入力画像の撮像、取得に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで輪郭抽出やエッジ連結そのもの、あるいはこれに関連する処理を可能とした装置やシステムも、本発明のエッジ画像のエッジ連結方法、輪郭抽出方法、計測領域設定方法、輪郭抽出装置、輪郭抽出プログラムのいずれかに該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末、携帯型電子機器、ＰＤＣやＣＤＭＡ、Ｗ−ＣＤＭＡ、ＦＯＭＡ（登録商標）、ＧＳＭ、ＩＭＴ２０００や第４世代等の携帯電話、ＰＨＳ、ＰＤＡ、ページャ、スマートフォンその他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、ＯＳ等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。
（輪郭抽出装置）
【００２９】
図２に、入力画像から輪郭を抽出する輪郭抽出装置の一例として、画像処理装置１００のブロック図を示す。この図に示す画像処理装置１００は、画像入力手段１と、ユーザが各種操作を行うための操作手段２と、入力画像やエッジ画像を表示するための表示手段３と、各種設定を保持するための記憶手段４と、画像入力手段１で入力された入力画像に対し、画像処理の対象となる計測領域を指定するための計測領域指定手段５と、各種演算を行うための演算手段６を備えている。演算手段６は、計測領域指定手段５で指定された計測領域中から、入力画像の微分強度画像に基づいて複数のエッジを抽出するためのエッジ抽出手段７と、エッジ抽出手段７で抽出された複数のエッジの各々に対し、個別のエッジラベルを付与するラベリング手段８と、計測領域指定手段５で指定された計測領域を複数の分割小領域に分割して各々小領域番号を付与する小領域分割手段９と、小領域分割手段９で分割された各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出し、該分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定するエッジ対推定手段１０と、エッジ対推定手段１０で推定されたエッジ対同士を連結するエッジ対連結手段１１として機能する。このような演算手段６は、ＦＰＧＡ、ＡＳＩＣ、ＤＳＰ等のゲートアレイで構成できる。
【００３０】
画像入力手段１は、外部機器で撮像、作成された画像処理の対象となる入力画像を取得する。入力画像データは通信やＩ／Ｏにより外部機器から取得される他、記録媒体を介してデータファイルの形で入力することもできる。また画像処理装置自体に入力画像を撮像する機能を持たせてもよい。この場合、画像入力手段１は撮像手段や画像生成手段として機能する。撮像手段としてＣＣＤやＣＭＯＳ等の固体撮像素子を利用したカメラを使用し、画像処理の対象となる電子部品等のワークを撮像すると、ワークに照射された光の反射光と背景に照射された光の反射光の光量が異なるため、ワークに対応する部分と背景に対応する部分とでは固体撮像素子の電荷量に差が生ずる。すなわちワークと背景で画像の輝度差が生じるため、この輝度差をワークの輪郭やエッジとして検出できる。
【００３１】
また記憶手段４は、設定内容を保持する他、入力画像のデータを記憶する領域としても利用できる。このような記憶手段４には、ＤＲＡＭやフラッシュメモリ等の半導体素子、あるいはハードディスク等の固定記憶手段が利用できる。
【００３２】
操作手段２は、画像処理装置１００を操作するための入力デバイスである。例えば、ユーザがマウス８１及びキーボード８２を操作して手動で計測領域を指定する場合は、入力デバイスが計測領域指定手段５として機能する。一方、画像処理装置１００側で画像処理に基づき演算手段６で演算することで、自動的に計測領域を指定することもできる。
【００３３】
入力デバイスは画像処理装置１００と有線もしくは無線で接続され、あるいは固定されている。一般的な入力デバイスとしては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの入力デバイスは、輪郭抽出プログラムをインストールしたコンピュータを画像処理装置１００と接続する態様、あるいは輪郭抽出プログラムをインストールしたコンピュータを画像処理装置や輪郭抽出装置とする態様において、輪郭抽出プログラムの操作の他、画像処理装置自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、又は音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図２の例では、入力デバイスはマウスやキーボード等のポインティングデバイスで構成される。
【００３４】
表示手段３は、外付けの液晶モニタやＣＲＴモニタ等のディスプレイが利用できる。またタッチパネル等入力機能を備えるタイプを使用すれば、表示手段と操作手段を兼用することもできる。表示手段３は、外部接続する形態の他、画像処理装置自体に組み込むこともできる。
【００３５】
以上の構成は例示であって、例えば画像処理装置自体に表示手段、操作手段等を含んでいてもよく、またプロファイル演算部４１や第２描画部５２等の部材は、一の部材で兼用したり、演算手段６に統合することもできる。以下、汎用のコンピュータに輪郭抽出プログラムをインストールしてエッジ連結処理や輪郭抽出処理を実行する例について説明する。
（画像処理技術）
【００３６】
図１に、輪郭抽出装置を用いた画像処理アプリケーションの一例として、欠陥検査処理を行う態様を示す。この輪郭抽出装置は、画像入力手段であるカメラ２０１と、画像処理装置２００と、表示手段であるモニタ２０３と、操作手段であるコンソール２０２とがケーブルを介して接続されている。この輪郭抽出装置は、検査対象のワークＷをカメラ２０１で撮像し、画像処理装置２００に入力画像データを送出し、入力画像をモニタ２０３で確認しながらコンソール２０２で条件設定等を行い、画像処理装置２００が画像処理を行う。
（計測領域）
【００３７】
画像処理に際しては、入力画像の全体に対して処理を行うと、処理量が多くなるため、一定の計測領域を指定してこの領域内での画像処理を行うことが一般的である。特に撮像した画像には、ワーク以外にも背景が写っていることが多い。そのため、画像のすべての領域を用いるのでなく、ワーク以外の領域を排除するように、実際に検査、計測を行いたい画像上の領域を計測領域として指定する必要がある。計測領域は一般にユーザが予め指定するが、従来は矩形や円形、楕円形等、所定の幾何学的な形状で指定することが行われていた。この方法では計測領域の指定作業が面倒であり、また複雑な形状には対応できないといった問題があった。そこで、エッジ抽出、エッジ連結を用いてワークの輪郭情報を取得し、これに基づいて計測領域を自動で設定する技術が注目されている。本実施の形態ではこのような自動で抽出されたエッジを適切に連結するための技術に関する。
（輪郭抽出アルゴリズムの処理フロー）
【００３８】
輪郭抽出装置で入力画像から輪郭を抽出し、計測領域を決定する処理の全体の流れを、図３のフローチャートに基づいて説明する。ここでは、輪郭追従モードにおいて計測領域を設定する手順について説明する。先ずステップＳ２０１で、輪郭抽出のための処理設定を行う。ここでは、各種の処理パラメータの設定と、輪郭抽出処理の対象となる計測領域の指定をユーザが行う。次にステップＳ２０２で、入力画像からエッジ抽出手段７でエッジ検出を行う。さらにステップＳ２０３で、抽出されたエッジ同士を連結する。最後に、ステップＳ２０４で計測領域やマスク領域を設定する。なおステップＳ２０１は設定時に行えば足り、実際の運転ではステップＳ２０２〜ステップＳ２０４の処理となる。以下、図３の各処理について具体的に説明する。
（ステップＳ２０１ 処理設定）
【００３９】
処理設定においては、計測領域の設定と各種動作パラメータの設定を行う。
（ステップＳ２０２ エッジ抽出処理）
【００４０】
このようにして入力画像に対し計測領域が設定されると、該計測領域内の画像処理を行ってエッジを検出したエッジ画像を取得する。ここでエッジとは、画像上で濃淡値が大きく変化した部分を指す。ここではソーベル等の隣りあう画素間での濃淡値の変化を出力する微分フィルタをかけて、微分強度画像を得る。この画像上で微分強度が閾値より大きく、周囲（８近傍）で極大となっている部分（山で喩えると尾根）をエッジとして抽出する。さらに後述するダウンサンプリング数を変更すると、エッジの出方も変化する。
（ステップＳ２０３ エッジ連結処理）
【００４１】
このようにしてエッジ画像が得られると、次にエッジ同士の連結処理を行う。エッジ連結安定化処理で使用される画像処理パラメータとしては、安定化処理スイッチ、エッジ長さ閾値、連結最大距離が挙げられる。これらの画像処理パラメータは、後述する表１に示すように詳細変更パラメータとしてカテゴリされており、基本的に固定とし、必要に応じてユーザが変更可能という位置づけで設定される。
（ステップＳ２０４ 領域設定処理）
【００４２】
このようにしてエッジ連結が得られた後、最後に入力画像からエッジ情報に基づいて計測領域やマスク領域を抽出する処理を行う。ここでの処理内容は、（１）領域抜き出し（２）領域の形状補正（３）領域の膨張／収縮の３つに分けられる。これらの詳細は後述する。
（輪郭追従モードによる欠陥検査）
【００４３】
ここでエッジ抽出を用いた画像処理の具体例として、欠陥検査を行う手順を、図４のフローチャートに基づいて説明する。ここでは輪郭追従モードを採用し、ステップＳ４０１〜ステップＳ４０３で条件設定を行った後、ステップＳ４０４〜ステップＳ４０８で実際の運転時の処理を行う。まずステップＳ４０１で、カメラでワークを撮像し、ステップＳ４０２でユーザはモニタでワークの入力画像を確認しながら、輪郭を抽出するための処理条件をコンソールから設定する。さらにステップＳ４０３で欠陥検査のための処理条件を設定する。なお、ステップＳ４０２の輪郭抽出の処理条件設定の詳細については、後述する。このようにして条件設定がなされると、運転時の欠陥検査が可能となる。
【００４４】
運転時においては、まずステップＳ４０４でワークをカメラで撮像し、ステップＳ４０５で輪郭抽出用の前処理を、ステップＳ４０２で設定された処理条件に従い画像処理装置が実行する。ここでは、輪郭抽出処理を行う入力画像に対して、予め平滑化、先鋭化等のフィルタ処理や、入力画像のコントラスト変換、カラー画像からグレー画像への色変換等を行うことで、入力画像の輪郭を強調し、輪郭抽出処理に適した画像へと変換する。次にステップＳ４０６で画像処理装置が変換画像に対し、ステップＳ４０２で設定された処理条件に従い、輪郭抽出を行う。さらにステップＳ４０７で画像処理装置はステップＳ４０３で設定された処理条件に従い、欠陥検査用の前処理を行う。ここでは、欠陥検査を行う入力画像に対して、予め平滑化、先鋭化等のフィルタ処理や、画像のコントラスト変換、カラー画像からグレー画像への色変換等を行うことで、欠陥を顕在化させ欠陥検査に適した画像へ変換する。なお、これら前処理の処理内容やパラメータは、ステップＳ４０５で行った輪郭抽出用の前処理とは別に設定できるようにしてもよいし、共通に設定してもよい。
【００４５】
このようにして、ステップＳ４０８で画像処理装置はステップＳ４０３で設定された処理条件に従い、欠陥検査を行う。ここでは、ステップＳ４０６の輪郭抽出で算出した輪郭領域の内側（または外側）を欠陥検査の計測領域として、計測領域内の小面積ごとに平均濃度を計算し、周囲との平均濃度の差が閾値以上である箇所を欠陥判定することで、入力画像に欠陥が含まれるかどうか検査する。この欠陥検査は、用途に応じて切り替えることもでき、例えば計測領域内の濃度（明るさ）の平均値、最大値、最小値、偏差等が基準を満たしているかを検査する濃淡検査等が選択できる。
【００４６】
以上のステップＳ４０４の撮像からステップＳ４０８の欠陥検査までの処理を、運転中に繰返し実行する。ここでは輪郭追従モードとして、処理画像ごとに輪郭抽出を行っている。
（固定輪郭モード）
【００４７】
また、他の例として、固定輪郭モードで輪郭抽出を行う手順を、図５のフローチャートに従って説明する。ここでは、ステップＳ５０１〜ステップＳ５０５で条件設定を行い、その後ステップＳ５０６〜ステップＳ５１０で運転時の処理を行う。まずステップＳ５０１でワークをカメラで撮像し、ステップＳ５０２でユーザはモニタでワークの入力画像を確認しながら、輪郭抽出の処理条件をコンソールから設定する。この動作は、上述した図４と同様である。次にステップＳ５０３で、設定した処理条件に従い輪郭抽出用の前処理を画像処理装置が行う。次いで画像処理装置はステップＳ５０４で輪郭抽出を行い、さらにステップＳ５０５で欠陥検査用の処理条件を設定する。
【００４８】
このようにして処理条件を設定した上で、運転時の処理が実行される。まずステップＳ５０６でカメラでワークを撮像する。次にステップＳ５０７で、ステップＳ５０６の輪郭抽出結果を読み込む。そして画像処理装置がステップＳ５０８で欠陥検査用の前処理を行い、ステップＳ５０９で欠陥検査を行う。このように固定輪郭モードでは、ワークの撮像から欠陥検査までのフローを運転中に繰返し実行するが、輪郭抽出は条件設定時にのみ行う。これにより、運転時に毎回輪郭抽出を行う必要がないため、輪郭追従モードと比較して検査速度を向上できる。一方固定輪郭モードでは、ワークを毎回撮像しないためワークの形状変動に追従できず、輪郭の際まで検査できないという欠点がある反面、入力画像から抽出した輪郭形状を検査領域に設定するので、検査面の形状が複雑な場合には領域設定を容易化できるというメリットが得られる。
【００４９】
以上の輪郭追従モードと固定輪郭モードを比較すると、輪郭追従モードのメリットとしては、毎回ワークの輪郭を抽出する結果、輪郭の際まで検査できるので、検査領域が広くすることができ、欠陥見逃しのリスクが低減する。また検査面形状が複雑でも、輪郭を自動で抽出してくれるので、領域設定が容易である。反面、デメリットとしては毎回輪郭抽出を行うため、輪郭抽出処理分だけ処理時間が多くかかり、検査が遅くなることが挙げられる。
【００５０】
一方、固定輪郭モードのメリットとしては、検査面形状が複雑でも、輪郭を自動で抽出するため、領域設定が容易であり、またワークの輪郭は条件設定時にのみ抽出するため、運転時にはこの処理を省略して、検索を高速化できる。またデメリットとしては、ワークの形状変動に追従しないため、輪郭の際まで検査できない。このため固定輪郭モードでは、条件設定で輪郭抽出した領域を若干小さくした領域を欠陥検査領域とする。
（輪郭抽出の条件設定）
【００５１】
次に、図４のステップＳ４０２の輪郭抽出条件設定の詳細を、図６のフローチャートに基づいて説明する。ここではユーザはコンソールを介して、ステップＳ６０１で輪郭抽出用の前処理の条件設定を行い、ステップＳ６０２で輪郭抽出の条件設定を行う。ステップＳ６０１では、平滑化、先鋭化等のフィルタ処理や、入力画像のコントラスト変換、カラー画像からグレー画像への色変換等、前処理の条件設定を行う。またステップＳ６０２の輪郭抽出の条件設定では、具体的にはステップＳ６０３で輪郭形状の指定、ステップＳ６０４で処理領域幅の指定、ステップＳ６０５で処理領域の小領域への分割処理、ステップＳ６０６でエッジ検出条件の設定、ステップＳ６０７で輪郭抽出処理、ステップＳ６０８でエッジ検出条件の良否判断を行う。
【００５２】
これらの条件設定の詳細を図７のイメージ図に基づいて説明する。ここでは図７（ａ）に示す登録画像に対して、各条件設定がどのように運転時の処理に反映されるかをイメージで示す。まず図６のフローチャートにおいてステップＳ６０３で輪郭形状の指定を行うと、図４のステップＳ４０６等の輪郭抽出においては、図７（ｂ）に破線状で示す大まかな輪郭形状が登録画像のイメージデータ上に設定される。次にステップＳ６０４で処理領域幅の指定を行うと、図７（ｃ）に示すように輪郭形状を中心とした所定幅の処理領域が、登録画像上に設定される。さらにステップＳ６０５で処理領域の小領域への分割処理を行うと、図７（ｄ）に示すように処理領域が矩形状の小領域に分割される。
【００５３】
さらにステップＳ６０６でエッジ検出条件の設定、ステップＳ６０７で輪郭抽出処理を行うと、図７（ｅ）に示すようにエッジ検出条件に従い抽出された輪郭が登録画像上にエッジ検出結果として表示される。ここでは、エッジ検出条件の設定として、エッジ検出用のパラメータとしてダウンサンプリング数（粒度）、エッジ検出閾値を変更し、輪郭抽出、すなわちエッジ検出及びエッジ連結を行う。ユーザは、ステップＳ６０８でエッジ検出条件の良否判断を行う。ここでは、モニタに表示される図７（ｅ）の結果に基づいて、設定したエッジ検出用パラメータの妥当性を確認し、必要に応じて繰返し調整する。
【００５４】
ここでユーザがパラメータの良否を判断する方法としては、輪郭部分を視覚的に区別して表示部に表示させたり、エッジ連結の安定性を示す指標を表示させる方法等が利用できる。輪郭部分を視覚的に区別して表示させる方法は、（ａ）エッジ検出された輪郭線と、（ｂ）エッジ検出されずにエッジを連結した輪郭線と、を色分けや線種、線の太さ等で識別して表示する。図８に、輪郭抽出結果の表示例を示す。この例では、表示部において検出、演算されたエッジを表示する際に、エッジを構成するセグメントの内、輪郭抽出によって得られたエッジで構成される抽出セグメントＴと、エッジ連結機能によりセグメント同士を連結した連結セグメントＲとを、異なる態様で表示させている。例えば、図８（ａ）では表示色による表示切替えの例を示しており、この例では検出された抽出セグメントＴは赤色、連結された連結セグメントＲをオレンジ色で、それぞれ表示している。また図８（ｂ）は、線種による表示切替えの例を示しており、ここでは抽出セグメントＴを実線、連結セグメントＲを点線でそれぞれ表示している。さらに図８（ｃ）は線の太さによる表示切替えの例を示しており、抽出セグメントＴを太字、連結セグメントＲを細字で表示している。さらにまた、これらに代わって、あるいはこれらに加えて、線種を実線とグレーアウトした線、あるいはハイライトやハッチング等の強調手段を適宜組み合わせることもできる。なお上記の例では、検出されたセグメントをすべて表示せず、輪郭線として連結されたセグメントのみを表示している。ただ、この方法に限られず、図８（ｄ）に示すように、輪郭として連結しないセグメントを含めた、すべてのセグメントを表示することもできる。図８（ｄ）の例では、図８（ａ）と同様、各検出エッジを色分けして表示しており、輪郭線でないセグメントＮは黒色で表示している。
（輪郭完全度）
【００５５】
またエッジ連結の安定性は、検出した輪郭において（ａ）が占める割合が高ければエッジ検出条件が適切に設定されており、エッジ連結を失敗する可能性は低い、すなわちエッジ連結処理が安定していると判断することができる。このエッジ連結の安定性を示す指標は、次式で輪郭完全度として計算できる。
【００５６】
（輪郭完全度）＝｛（（ａ）エッジ検出された輪郭線長さ）÷（（ａ）エッジ検出された輪郭線長さ＋（ｂ）エッジ検出されずにエッジを連結した輪郭線長さ）｝×１００
このような数値を用いることで、エッジ連結の安定性判断を定量的に行い、設定されたパラメータの良否判断に用いることができる。
【００５７】
このようにしてユーザは、エッジ検出状態とエッジ連結の安定性を把握することができる。なお、以上説明したフローチャートの各ステップの順序は、適宜入れ替えることも可能である。例えば図６において先に輪郭抽出の条件設定を行い、その後輪郭抽出用の前処理の条件設定を行うこともできる。
【００５８】
以上のように画像処理装置では、ワークを撮像した画像に基づき、欠陥検査や寸法計測等を行うことができる。次に、各手順の詳細を順次説明する。まず、図３のステップＳ２０１で述べた処理設定工程において、輪郭抽出アルゴリズムで設定する画像処理パラメータの一覧を表１に示す。
【００５９】
【表１】
【００６０】
表１に示すように画像処理パラメータには、通常変更パラメータと詳細設定パラメータの２種類が存在する。詳細設定パラメータは、通常は規定値が採用され、変更したい場合は詳細設定モード画面に切り替えて設定を行う。
（輪郭形状）
【００６１】
先ず、計測領域の設定（図３におけるステップＳ２０１）においては、画像処理パラメータとして輪郭形状と輪郭領域幅が挙げられる。輪郭形状は、ユーザがマウス等の操作手段２を用いて指定する。指定方法には、円形や楕円、矩形等の所定の幾何学形状を単独、若しくは組み合わせて指定したり、多角形や自由曲線でトレースする等の方法が利用できる。
（輪郭領域幅）
【００６２】
また輪郭領域幅は、計測領域として指定される輪郭の膨張度合い、すなわち余裕度（マージン）を設定するものである。輪郭領域幅が大きいほど計測領域が太くなり、ワークの形状変動や位置ずれに対して安定した結果を得ることができるが、反面、２重線等のような本来検出したくない輪郭も検出する虞があり、検出の不安定要因となる。また輪郭領域幅を大きくとるほど、処理時間も増大する傾向にある。
【００６３】
一方、輪郭領域幅が小さいほど、ワーク形状変動や位置ずれに弱くなる反面、本来検出したい輪郭エッジのみを抽出できるため、検出結果が安定し、また処理時間も短縮化できる。
【００６４】
このような計測領域の設定手順を、図９のイメージ図に示す。この図に示すように、図９（ａ）の登録画像に対し、図９（ｂ）に示すように輪郭形状をユーザが指定する。そして、指定された輪郭形状を、輪郭領域幅の設定値に従い膨らませ、計測領域を設定する。図９（ｃ）において、白抜きの領域が計測領域となる。
（分割小領域への分割）
【００６５】
さらに図９（ｄ）で、この計測領域を小領域分割手段９で分割小領域に分割する。分割小領域は矩形状、三角形状等とでき、例えば計測領域が円周状や円弧状の場合は、極座標変換で円周方向や円弧方向に対し、矩形領域に分割する。この例では、正方形の分割小領域を採用し、エッジの線幅に等しいピッチ幅でエッジを分割している。この方法に限られず、分割小領域は用途に応じて適宜設定できる。
（ダウンサンプリング数）
【００６６】
エッジ抽出処理で使用する画像処理パラメータとしては、ダウンサンプリング数と検出閾値、処理モードが挙げられる。ダウンサンプリング数は、入力画像に対する画像の縮小率であり、入力画像の画質に応じて適切な値、例えば１／２縮小、１／４縮小、１／８縮小のいずれかから適切な値を選択する。これによりエッジ検出の周波数特性が決定されるので、ダウンサンプリング数の設定は検出性能への影響が大きいといえる。
（検出閾値）
【００６７】
また検出閾値は、細線化後の微分強度画像に対する閾値である。この検出閾値は、画質に応じて適切な値を設定する必要があり、ユーザはエッジ検出結果を画面上で確認しながら設定する。ここでは１〜２５５の範囲で数値で指定する。なお、この画像処理パラメータは、輪郭のエッジ検出ができないほど高い値を設定しない限りは、輪郭抽出の処理結果に与える影響は小さい。
（処理モード）
【００６８】
さらに処理モードとして、通常モード又は高速モードのいずれかを選択する。このように輪郭抽出アルゴリズムには、通常モードと、処理時間を短縮した高速モードを設けている。通常モードでは領域形状を検出する分解能が高い反面、処理が低速となる。一方高速モードでは、領域形状の分解能が低い反面、処理が高速となる。表１の例では、高速モードの処理速度は、通常モードの約２倍となる。以下、図１０のフローチャート及び図１１のイメージ図に基づき、通常モードの処理を説明する。
（通常モード）
【００６９】
まず、ステップＳ１００１で、図１１（ａ）に示す入力画像に対して、画像を縮小する処理を行う。ここでは、画像処理パラメータとして設定されたダウンサンプリング数に従い、図１１（ｂ）に示すように入力画像が縮小される。次にステップＳ１００２で、縮小画像に対して微分処理を行い、図１１（ｃ）に示すように微分強度画像（エッジ強度画像）を得る。微分強度画像は、入力画像の濃淡すなわち階調の変化量を求めるための画像であり、エッジとなり得る濃淡変化が大きい部分は微分値が大きくなる。また微分処理により、領域内の濃淡の絶対値の変化の影響を排除できる。微分処理には微分フィルタが用いられ、例えばソーベル（Sobel）フィルタ等が適宜用できる。次に、ステップＳ１００３で、図１１（ｄ）に示すようにこの微分強度画像の倍率を入力画像の元の倍率に戻した後、ステップＳ１００４で図１１（ｅ）に示すように細線化処理を行う。細線化とは、微分強度画像のピークの尾根の部分を取り出す処理である。具体的には、微分処理で得られた幅を持つエッジを、所定幅の線画像に変換する。例えば画像データに対してソーベルフィルタを適用してエッジを検出すると、エッジ付近のデータが強調されるが、輪郭部分がぼやける。また画像の濃度変化が比較的緩やかな場合には、線幅が太くなってしまう。そこでエッジ抽出処理後に太線を細い線（例えば１ピクセル幅）にスリム化することで輪郭線を抽出できる。そしてステップＳ１００５で、図１１（ｆ）に示すように閾値処理を行い、エッジ画像を得る。ここでは、画像処理パラメータとして設定されたエッジ検出閾値に従い、閾値以上の強度を示す成分がエッジ画像として抽出される。このようにしてエッジ抽出処理が行われ、入力画像と同じ倍率のエッジ画像が出力される。
（高速モード）
【００７０】
一方、通常モードよりも処理時間を短縮することを目的とした高速モードにおいては、エッジ抽出処理後の出力画像は、入力画像の１／２サイズのエッジ画像が出力される。高速モードにおいては、１／２に縮小されたエッジ画像で、後述するエッジ連結処理（図３におけるステップＳ２０３）と領域抽出処理（同ステップＳ３）を行った後で、抽出した領域を入力画像の倍率に拡大する。このように、画像処理段階では１／２サイズの画像で処理されるため、全体の処理時間は通常モードの約１／２に縮小される。なお、エッジ抽出処理においては、図１０のステップＳ１００３における微分強度画像の拡大は、ダウンサンプリング数の画像処理パラメータが１／２に設定されている場合は行わない。またダウンサンプリング数が１／４、１／８の場合は、１／２縮小サイズまで拡大する。さらにダウンサンプリング数が縮小なしに設定されている場合、「高速モード」は使用不可となる。
（エッジ連結処理の手順）
（ステップＳ１２０１ エッジ連結安定化処理）
【００７１】
ここで、エッジ連結処理（図３におけるステップＳ２０３）の手順を、図１２のフローチャートに説明する。まずステップＳ１２０１で、前処理としてエッジ連結安定化処理を行う。エッジ連結安定化処理は、領域抽出結果の形状ばらつきを抑制することを目的とする。この様子を、図１３及び図１４に基づいて具体的に説明する。これらの図において図１３は従来の方法、図１４は実施の形態に係る方法を、それぞれ示している。エッジ抽出処理（図３におけるステップＳ２０２）においては、検出されたエッジが連続線とならず途切れる場合がある。特に図１３（ａ）で示す入力画像のようにＴ字状のエッジが存在する部分では、図１３（ｂ）に示すように、同じワークであっても上述したエッジ抽出処理時の細線化処理（図１０におけるステップＳ１００４）に起因して、エッジの途切れ方が一定せず、不安定になる。このような場合に、従来の方法ではエッジ連結処理（図３におけるステップＳ２０３）において、図１３（ｃ）に示すように途切れた状態のエッジ部分を連結するために、領域設定処理（図３におけるステップＳ２０４）後は図１３（ｄ）に示すように、領域抽出結果にばらつきが発生し、一定の結果が得られないという問題があった。
【００７２】
これに対し本実施の形態に係るエッジ連結処理を、図１５のフローチャートに示す。この図に示すように、エッジ抽出処理（ステップＳ９０１）後、エッジ連結処理（ステップＳ９０３）の前に、エッジ連結安定化処理（ステップＳ９０２）を行い、Ｔ字部分のエッジを強制的に切断した上で、エッジ連結処理（ステップＳ９０３）、計測領域抽出処理（ステップＳ９０４）を行う。具体的には、図１３（ａ）と同じくＴ字状のエッジが存在するワーク（図１４（ａ））に対し、細線化処理（図１０におけるステップＳ１００４）を行う。このエッジ検出の結果、図１３（ｂ）と同様にエッジ検出結果にばらつきが生じたとしても（図１４（ｂ））、エッジ連結安定化処理を行い、Ｔ字状のエッジを一旦、強制的に切断する。この結果、図１４（ｂ’）に示すように細線化処理の結果によらず、一定のエッジが得られる。このような一定のエッジ検出結果を得た上で、エッジ連結を行い（図１４（ｃ））、領域を抽出する（図１４（ｄ））。これにより、図１４（ｄ）に示すようにばらつきを抑制し、安定した領域抽出結果を得ることができる。
（安定化処理スイッチ）
【００７３】
このようなエッジ連結安定化処理は、特に入力画像の形状が複雑な場合は必須となる。したがって、エッジ連結処理に際してエッジ連結の結果を安定化させるための画像処理パラメータである安定化処理スイッチの規定値はＯＮとする。一方、入力画像が綺麗、すなわちコントラストが大きく、ノイズが少なく、フォーカスの合った画像であったり、円等の比較的単純な形状のワークの場合は、エッジ連結安定化処理が無くとも連結結果にさほどの影響はない。したがって、通常モードにおいて、比較的単純形状のワークの検査において、輪郭形状の分解能を落とさず、処理時間を削減したいときに、安定化処理スイッチをＯＦＦにすることで、処理時間を数ｍｓ程度削減することができる。ただ、安定化処理スイッチをＯＦＦにすると抽出領域にばらつきが発生する虞が増大する。また高速モードではエッジ連結安定化処理は必須とし、ＯＮのみ選択可能としている。
（ステップＳ１２０２ エッジ長さによるフィルタリング）
【００７４】
図１２のフローチャートを参照してエッジ連結処理の前処理を説明に戻ると、ステップＳ１２０１でエッジ連結安定化処理を行った後、ステップＳ１２０２でエッジ長さによるフィルタリングを行う。入力画像にノイズが多く含まれていると、図１６（ａ）に示すようにノイズがエッジとして検出されてしまうため、エッジ連結の処理時間が極端に増大する虞がある。そこで、極端に短いエッジを除去するための閾値を「エッジ長さ閾値」として、画像処理パラメータに設定し、図１６（ｂ）に示すようにノイズ成分を除去する。ここではノイズ成分が削減できれば足りるので、基本的には規定値（表１の例では５画素）とする。また使用状況等に応じてエッジ長さ閾値を調節したい場合は、詳細設定パラメータの設定画面から変更できる（表１の例では０〜５０画素）。
（エッジ連結）
【００７５】
このようにしてステップＳ１２０１、ステップＳ１２０２の前処理を経た後、ステップＳ１２０３でエッジ連結処理を行う。エッジ連結処理は、エッジの分布解析（図１２におけるステップＳ１２０３）、エッジ途切れ位置の推定（図１２におけるステップＳ１２０４）、連結実処理（図１２におけるステップＳ１２０５）の３つの処理で構成される。
（ステップＳ１２０３ エッジの分布解析）
【００７６】
まずエッジの分布解析では、図１７に示すように計測領域を複数の分割小領域に分割し、さらに分割小領域毎にエッジにラベルを付すラベリング処理をラベリング手段８で行い、リストアップする。ここでラベリング処理とは、チェーン化あるいはセグメント化等とも呼ばれ、検出された多数のエッジ点の内、隣接するエッジ点同士を一纏めにして、このような隣接する複数エッジ点の集合であるエッジを抽出セグメントあるいはチェーンとして扱うと共に、各抽出セグメントに固有の識別情報（連番等）を付与する処理をいう。ラベリングの手法の詳細は、例えば高木幹雄、下田陽久監修「新編 画像解析ハンドブック」東京大学出版ｐ１５２６等に説明されており、このような既知の手法を適宜利用できる。また図１８、図１９に示すように分割された各分割小領域に対しては小領域番号が、ラベリング処理された各エッジ（抽出セグメント）にはエッジラベル番号が、それぞれ付与される。
（ステップＳ１２０４ エッジ途切れ位置の推定）
【００７７】
ステップＳ１２０３でエッジの分布が解析されると、次にステップＳ１２０４でエッジ途切れ位置の推定を行う。この処理は、エッジ対推定手段１０が、リストアップしたエッジ分布から、エッジラベルが変化している部分や、エッジが存在しない分割小領域から、エッジの途切れ位置を見つけ出し、近傍のエッジラベルから接続すべきエッジ対を推定する処理である。ここでは、図１８に示すように接続関係を特定できる場合と、図１９に示すように接続位置を特定できない場合が考えられる。特定できない場合は、可能性のあるエッジの組合せをリストアップし、次段の連結実処理（図１２におけるステップＳ１２０５）で判断する。
（接続関係を特定できる場合）
【００７８】
具体的なエッジ連結処理の手順として、接続関係を特定できる場合を図１８に基づいて説明する。ここでは図１８（ａ）に示すように、Ｌ字状の計測領域が矩形状の分割小領域に分割され、各分割小領域には小領域番号が付され、さらに検出された各エッジに対してエッジラベル番号が付与されている状態を考える。この状態でエッジの分布を解析して、図１８（ｂ）のように分割小領域毎に含まれるエッジの番号をリストアップする。図１８（ｂ）の例では、分割小領域毎のエッジ分布を示す表が作成されており、この状態でエッジの途切れ位置を推定する。具体的には、分割小領域５においてはエッジラベル番号１と２が含まれており、エッジラベル番号が変化していること、すなわちエッジが途切れていることが判るので、エッジ途切れ位置が検出される。この結果、エッジラベル番号１と２とを連結できることが判る。一方、分割小領域６と７には、エッジラベル番号２以外に、エッジラベル番号３が存在している。このエッジラベル番号３については、無関係なエッジであると判断できるので、これを排除するために、フィルタリングを行う。ここではエッジの内で、単独で分割小領域をカバーしている図１８（ｂ）の例においては、エッジラベル番号２が単独で分割小領域８、９をカバーしているため、このエッジラベル番号２は正しい、と仮定する。
（連結最大距離）
【００７９】
ここで設定される画像処理パラメータとして「連結最大距離」が挙げられる。連結最大距離は、エッジの接続関係を解析するにあたり、どこまで離れたエッジ対まで接続する可能性があるかを決定する指標である。極端に離れたエッジ同士を接続すると、形状の信頼性が損なわれる場合があるので、上限を指定することで信頼性を高めることができる。基本的には規定値（表１の例では８０画素）とし、詳細設定画面から変更可能（表１の例では１〜２５５画素）とする。
（ステップＳ１２０５ 連結実処理）
【００８０】
このようにしてステップＳ１２０４でエッジ途切れ位置の推定結果が得られると、これに基づいてステップＳ１２０５でエッジを接続する連結実処理がエッジ対連結手段１１により行われる。ここでは、各エッジにつき、（１）エッジの接続関係が確定している場合、（２）エッジの接続関係が確定していない場合、（３）接続できない場合、の３つの場合に分けて、各エッジにつきいずれかの処理が行われる。
（（１）エッジの接続関係が確定している場合）
【００８１】
まず、エッジの接続関係が確定している場合は、接続するエッジ対の端点同士が滑らかになるように接続する。ここでは図２０に示すベジェ曲線等が利用できる。
（（２）エッジの接続関係が確定していない場合）
【００８２】
一方、エッジの接続関係が確定していない場合は、推定結果に基づき、可能性のある全てのエッジの組み合わせについて連結の良否を表す「連結スコア」を演算手段６で演算する。そして連結スコアが最も高くなるエッジ対同士を接続する。なお連結スコアは、連結部分における滑らかさの指標、エッジ方向に関する信頼性の指標（詳細は後述）等から算出している。この例では、（連結スコア）＝（信頼性指標）×（滑らかさ指標）としている。
（信頼性指標）
【００８３】
ここで信頼性指標とは、図２１に示すようにエッジ方向と微分勾配の直交度合いを示している。直交している程信頼性が高い。エッジ画像においては、微分の勾配方向を示すため直交している状態が最も信頼性が高いと言える。具体的には、図２１（ｂ）に示すように微分の勾配方向は、エッジの接線方向と理想的には直交する。いいかえると、微分の勾配方向と直交する線とエッジの傾斜方向と一致しているほどエッジが安定的に検出されていると言える。そこで、対象となるエッジ点各々につきエッジ方向を求め、図２１（ａ）に示すように基準となるエッジ点についての微分勾配方向の直交方向と、対象となるエッジの傾斜方向との角度のずれ（角度差θ）を、このエッジ対同士のエッジ方向に関する信頼性の指標として利用できる。ここでは、角度のずれをθで表し、ｃｏｓθで信頼性を評価している。すなわち信頼性指標が１に近いほど、信頼性が高いと言える。このようなエッジ角度の情報を効果的に利用できる。
（滑らかさ指標）
【００８４】
一方、滑らかさ指標とは、エッジ対を連結する際の連結線の滑らかさを示す指標である。ここでは図２２に示すように、滑らかさを計算する当該エッジに対して、着目点から前後方向（図では左右方向）へのエッジ方向を、それぞれ単位ベクトルに正規化し、両者間の距離を滑らかさの指標とする。また滑らかさ指標を曲率で代用することもできる。
【００８５】
図２３に示すように、最大連結距離の範囲内で、エッジ同士を連結する可能性のある複数の候補の中から、連結スコアの演算結果に基づいて連結先を決定する。図２３（ａ）に示す例では、右側の連結元を基準として演算した連結先候補２の連結スコアが、連結先候補１の連結スコアよりも高いため、図２３（ｂ）に示すように連結先候補２を連結先として選択し、両者間が滑らかになるように連結する。
（３）接続できない場合）
（強制接続処理）
【００８６】
さらに、エッジの端点が見つけられない、エッジ同士が離れすぎている等、どうしてもエッジ端点同士を接続できない場合には、非常手段として強制接続処理が行われる。強制接続処理では、分割小領域に区画する際の境界線を利用して、エッジ途切れ位置の分割小領域を構成する外周に沿う形でエッジを連結する。
【００８７】
ここでの画像処理パラメータとしては、「抽出方向」が挙げられる。抽出方向は、本来的には後述する領域設定（図３におけるステップＳ２０４）に関係する画像処理パラメータであるが、強制接続においてもこの画像処理パラメータを利用して、分割小領域の内側に沿って連結するか、外側に沿って連結するかを決定することができる。ここでは、図２４に示すように分割小領域の中心に近い側を内側、遠い側を外側と定義している。なお、ここでは分割小領域を区画する境界線を利用してエッジを強制的に連結しているが、強制接続用のグリッド線を別途設ける等、強制接続用の異なる基準を用意することもできる。また抽出領域用パラメータと強制接続処理用パラメータとを別途設定することも可能である。
【００８８】
図２５に、強制接続処理の例を示す。この例において、図２５（ａ）のように端縁のない部分同士を連結するにあたり、抽出方向の設定に従い、内側の場合は図２５（ｂ）のように分割小領域の上側に沿った連結を、外側の場合は図２５（ｃ）のように分割小領域の下側に沿った連結が行われる。
【００８９】
ここで、領域設定処理（図３におけるステップＳ２０４）の３つの処理内容である（１）領域抜き出し（２）領域の形状補正（３）領域の膨張／収縮について、それぞれ説明する。
（（１）領域抜き出し）
【００９０】
まず領域抜き出しでは、輪郭のエッジの内側又は外側を領域として抽出する。ここでの画像処理パラメータは、「抽出方向」が挙げられる。抽出方向は、通常変更パラメータとして設けられており、輪郭エッジの内側を領域とするか外側を領域とするかを指定する（表１の例では内側を規定値としている）。これにより、図２６（ａ）に示すように検出された輪郭エッジに対して、計測領域が図２６（ｂ）、（ｃ）のいずれかに設定される。
（（２）領域の形状補正）
【００９１】
次に領域の形状補正を行う。検出された輪郭エッジには、図２７（ａ）に示すようにヒゲ状のエッジ枝分かれ部分が発生することがある。この部分を除去するために、上記（１）領域抜き出しを行った後（図２７（ｂ））、領域の形状補正を行う。この結果、図２７（ｃ）に示すように、枝分かれのない輪郭のみが得られる。
（（３）領域の膨張／収縮）
【００９２】
最後に、領域の膨張／収縮を行う。領域の膨張／収縮は、図２８に示すように抽出した領域を（ａ）膨張又は（ｂ）収縮するオフセット処理である。実画像では輪郭境界部において影が存在する等、画像間の輪郭の揺らぎやスケーリングによる誤差が生じることがある。そこで、抽出した領域にマージンを持たせることで、このような影響を低減することができる。ここでの画像処理パラメータとしては、「マージン」が挙げられる。マージンは、通常変更パラメータとして設けられており、抽出した領域の拡大又は縮小量を０〜２５５画素の範囲で設定する（表１の例では規定値を０ととしている）。これにより、領域周辺に影の影響がある場合等に、周囲をカットすることでその影響を減らす。
【００９３】
このようにして、入力画像に対し、エッジを検出、連結して、適切な計測領域を設定することが可能となる。また、一旦設定した計測領域を運用時に固定して使用する他、補正させたり、あるいは運用時に毎回計測領域を演算して、より正確な処理を行わせることもできる。
【００９４】
なお上記の例では、計測領域の指定を、毎回更新する輪郭追従モードについて説明した。このモードでは、例えばトリガが入力される等、所定のタイミングでエッジ抽出を行い計測領域を計算し直して更新する。ただこの方式に限らず、予めユーザが指定した領域に計測領域を固定して利用する固定輪郭モードとしてもよい。また、前段で抽出された輪郭に従って、次段の計測領域を自動で設定する方式を採用することもできる。
（演算結果の表示態様）
【００９５】
演算されたエッジは、表示部に表示される。この際、元の画像イメージと重ねてエッジを表示させることで、エッジ検出結果を元画像と対比し易くできる。さらに、上述した図８に示すように、表示部において検出、演算されたエッジを表示する際に、エッジを構成するセグメントの内、輪郭抽出によって得られたエッジで構成される抽出セグメントＴと、エッジ連結機能によりセグメント同士を連結した連結セグメントＲとを、異なる態様で表示させることもできる。
（評価手法）
【００９６】
さらに、このようにして演算されたエッジ画像について、信頼性の指標を演算し、表示させることもできる。例えば、本来的にエッジとして検出された抽出セグメントＴの比率が高いと、信頼性が高く、逆にエッジを演算により連結した連結セグメントＲの長さが長いほど、信頼性が低いと考えられるので、エッジ長さの内、抽出セグメントＴと、連結セグメントＲの比率を信頼性の指標として利用できる。
（データ処理方法）
【００９７】
上記の方法では、処理に使用するデータとして基本的に画像（以下、画像データと呼ぶ。）を使用している。ただ、処理に際しては画像での処理に限られず数値や配列等のデータ（以下、「配列データ」と呼ぶ。）を用いることも可能である。画像データは、例えば６４０×４８０ビットのデータサイズであれば、全面の各画素について、座標位置毎の値を有する。これに対し、配列データを利用する場合は、エッジ画像のエッジ部分に相当する位置のみに、値を有している。このためデータ量が相対的に少なく、必要な処理量も低減できる。したがって画像データに変わって配列データを用いることで、より高速な処理が可能となる。
（輪郭抽出プログラムのユーザインターフェース）
【００９８】
以上の設定を行う輪郭抽出プログラムのユーザインターフェースの例を図２９〜図３２に示す。これらのユーザインターフェースは、表示手段３に表示され、ユーザは操作手段２を操作して画像処理パラメータ等、各種設定を行う。これらのユーザインターフェース画面では、画面左側に入力画像や検出された輪郭等のイメージを表示するイメージ表示領域２１、画面右側に設定項目を表示する設定表示領域２２が、それぞれ設けられている。ユーザはこの画面から、画像処理の対象領域となる計測領域や画像処理の対象外とするマスク領域を設定できる。この例では計測領域を一つ、マスク領域を複数設定できる。さらに検査対象のワークや登録画像から輪郭を抽出して、これを輪郭抽出領域として、計測領域やマスク領域に利用できる。
【００９９】
計測領域やマスク領域の設定は、設定表示領域２２で行う。具体的には、設定表示領域２２の計測領域欄２３に設けられた編集ボタン２４、又はマスク領域欄２５に設けられた追加ボタン２６を押下すると、図２９に示すように「領域形状の選択」ダイヤログ２７が表示される。ここでは領域形状の選択肢がプルダウン式に表示され、矩形や回転矩形、円、楕円、円周、円弧、多角形、エッジ検出矩形領域、エッジ検出円領域、輪郭抽出等の候補が表示される。ここで「輪郭抽出」を選択すると、図３０の画面となり、輪郭抽出処理のための編集ダイヤログ２８が表示される。ユーザは輪郭抽出処理に関する画像処理パラメータ（例えば表１に示すパラメータ）を設定できる。図３０の画面から輪郭領域ボタン２９を押下すると、図３１の画面となり、領域形状の選択ダイヤログ３０が表示され、ユーザは輪郭として抽出される形状を選択する。ここでも、矩形、回転矩形、楕円、多角形等の選択肢がプルダウン式にリスト表示され、ユーザは所望の形状を選択できる。このようにして画像処理パラメータを設定した後、エッジ抽出、連結処理を実行すると、図３２の画面となり、入力画像上に検出された輪郭が重ねて表示される。この画面で、ダウンサンプリング数やエッジ強度下限等のエッジ検出条件を変化させると、これに応じたエッジ検出結果にイメージ表示領域２１が更新される。イメージ表示領域２１におけるエッジ検出結果の表示方法は、例えば図７（ｅ）や図８に示したように適宜変更できる。
【０１００】
さらに、輪郭に基づいて、設定されたマージンに従い、計測領域が設定される。図３２の例では、検出された円環状の周囲に、計測領域が幅広の円環状に設定される。またイメージ表示領域２１の左上には、検出された輪郭につき、輪郭完全度、強制接続の回数、領域面積等のエッジ連結処理結果に関する情報表示欄３１が設けられる。ここで輪郭完全度とは、（検出されたエッジの長さの和）／（輪郭全長）であり、ここでは（９８０／１００２＝）９８％と演算され、約２％の輪郭がエッジ同士を連結した成分となる。また、強制接続の回数が少ないほど、エッジ連結処理の信頼度が高いことも確認できる。
（動作モード）
【０１０１】
さらに編集ダイヤログの上段には、運用時における計測領域の設定に関する動作モードを選択するための動作モード選択欄３２が設けられている。ここでは動作モードとして輪郭追従モードと固定輪郭モードのいずれかが選択できる。輪郭追従モードでは、ワークに対して毎回輪郭検出を行う。一方固定輪郭モードでは、運用前の設定段階で予め所定の登録画像に対して輪郭領域を検出してパターン登録しておき、この登録パターンを計測領域として運用時に毎回呼び出して利用する。いいかえると、固定輪郭モードでは運用時には輪郭抽出処理を行わないため、高速、低負荷な処理を行える。反面、ワークの位置ずれ等で検出精度が低下する虞がある。このため、登録パターンの適用前にワークの位置補正を行うことが好ましい。
【０１０２】
なお、本実施の形態においては、画像データでエッジ連結処理を行っている。ただ、画像データに限られず、例えばエッジ強度情報やエッジ角度情報等、配列データを用いてエッジ連結処理を行うことも可能である。
【０１０３】
また、エッジ連結等の画像処理においては、ワークである対象物全体の輪郭に限らず、一部分の輪郭を対象とすることもできる。例えば角形のチップではチップ全体の形状のみならず、リードや半田バンプの部分を対象として画像処理を行える。本明細書においては、このような対象物の一部分も含めて、画像処理の対象をワークと呼ぶ。
【産業上の利用可能性】
【０１０４】
本発明のエッジ画像のエッジ連結方法、輪郭抽出方法、対象領域設定方法、輪郭抽出装置、輪郭抽出プログラム及びコンピュータで読み取り可能な記録媒体は、ＦＡ分野で利用される画像処理におけるワークの座標位置や回転角度等の位置検出、外径や内径、幅等の位置計測、認識、識別、判定、検査等に好適に適用できる。例えば、ＩＣの電極のボンディングのための電極の位置決め等に利用できる。
【図面の簡単な説明】
【０１０５】
【図１】ワークの画像を撮像して画像処理を行い輪郭を抽出し、欠陥検査処理を行う輪郭抽出システムを示すブロック図である。
【図２】画像処理装置のブロック図である。
【図３】輪郭抽出装置で入力画像から輪郭を抽出し、計測領域を決定する処理の流れを示すフローチャートである。
【図４】輪郭追従モードで欠陥検査を行う手順を示すフローチャートである。
【図５】固定輪郭モードで欠陥検査を行う手順を示すフローチャートである。
【図６】輪郭抽出条件設定の詳細を示すフローチャートである。
【図７】図６の輪郭抽出条件設定が画像処理に反映される様子を示すイメージ図である。
【図８】エッジの検出結果の表示例を示すイメージ図である。
【図９】計測領域の設定手順を示すイメージ図である。
【図１０】エッジ抽出処理の通常モードの処理を示すフローチャートである。
【図１１】エッジ抽出処理の通常モードの処理を説明するイメージ図である。
【図１２】エッジ連結処理の手順を示すフローチャートである。
【図１３】従来のエッジ連結処理の結果がばらつく様子を説明するイメージ図である。
【図１４】エッジ連結安定化処理を説明するイメージ図である。
【図１５】エッジ連結処理の手順を示すフローチャートである。
【図１６】エッジ長さによるフィルタリングを説明する模式図である。
【図１７】計測領域を複数の分割小領域に分割する様子を示すイメージ図である。
【図１８】エッジ対の接続関係を特定できる例を示す模式図である。
【図１９】エッジ対の接続関係を特定できない例を示す模式図である。
【図２０】ベジエ曲線を利用したエッジ対の接続例を示す模式図である。
【図２１】信頼性指標を説明する模式図である。
【図２２】滑らかさ指標を説明する模式図である。
【図２３】エッジの接続関係が確定していない場合におけるエッジ対の決定を説明する模式図である。
【図２４】抽出方向を説明する模式図である。
【図２５】強制接続処理を説明する模式図である。
【図２６】領域設定処理の領域抜き出しを説明する模式図である。
【図２７】領域の形状補正を説明する模式図である。
【図２８】オフセット処理を説明する模式図である。
【図２９】輪郭抽出プログラムのユーザインターフェースを示すイメージ図である。
【図３０】輪郭抽出プログラムのユーザインターフェースを示すイメージ図である。
【図３１】輪郭抽出プログラムのユーザインターフェースを示すイメージ図である。
【図３２】輪郭抽出プログラムのユーザインターフェースを示すイメージ図である。
【符号の説明】
【０１０６】
１００…画像処理装置
１…画像入力手段
２…操作手段
３…表示手段
４…記憶手段
５…計測領域指定手段
６…演算手段
７…エッジ抽出手段
８…ラベリング手段
９…小領域分割手段
１０…エッジ対推定手段
１１…エッジ対連結手段
２１…イメージ表示領域
２２…設定表示領域
２３…計測領域欄
２４…編集ボタン
２５…マスク領域欄
２６…追加ボタン
２７…「領域形状の選択」ダイヤログ
２８…編集ダイヤログ
２９…輪郭領域ボタン
３０…領域形状の選択ダイヤログ
３１…情報表示欄
３２…動作モード選択欄
２００…画像処理装置；２０１…カメラ；２０２…コンソール；２０３…モニタ
Ｗ…ワーク；Ｔ…抽出セグメント；Ｒ…連結セグメント
【技術分野】
【０００１】
本発明は、外観検査や計測等で利用される画像処理において輪郭を抽出するために、エッジ画像から抽出したエッジ同士を連結するためのエッジ連結方法、輪郭抽出方法、輪郭抽出装置、輪郭抽出プログラム及びコンピュータで読み取り可能な記録媒体に関し、特に輪郭抽出技術において、エッジ同士を適切に連結する技術に関するものである。
【背景技術】
【０００２】
画像処理装置では、検査計測対象（以下、「ワーク」とも呼ぶ）を撮像した画像に基づき、欠陥検査や寸法計測等を行うことができる。図１に、ワークの画像を撮像して画像処理を行い輪郭を抽出し、欠陥検査処理を行う輪郭抽出システムを示す。この輪郭抽出システムは、ワークＷを撮像するカメラ２０１と、画像処理を行う画像処理装置２００と、モニタ２０３と、コンソール２０２とがケーブルを介して接続されている。この輪郭抽出システムは、検査対象のワークＷをカメラ２０１で撮像し、画像処理装置２００に入力画像データを送出し、入力画像をモニタ２０３で確認しながらコンソール２０２で条件設定等を行い、画像処理装置２００が画像処理を行う。
【０００３】
従来、このような欠陥検査等の外観検査や画像計測においては、計測領域を指定するためにユーザが矩形や円等の幾何学図形を用いて、これらの規定の図形の内部（または外側）を計測領域として指定していた。この方法では、一旦設定された領域は不変であり、その後の計測においては固定された領域内での検査や計測等の処理が行われることになる。いいかえると、入力される画像に含まれるワークの形状や大きさに応じて領域が変化しない。一方、ワークの形状や大きさにはばらつきや経時的な変動があることが多く、このような変動は一定の範囲までは許容される場合が多い。このため、ワークの形状の輪郭位置まで計測領域に設定すると、本来許容されるべき形状変化や変動を欠陥として誤検出する等、検査や計測に悪影響を与えることがある。したがって、運用の際にはワークの形状の際に、形状変動量を考慮したマージンを加味したワークの内部の検査対象領域のみを計測領域として設定していた。
【０００４】
しかしながら、例えば欠陥検査においてはワーク形状の外周付近の欠陥見落としが発生する等、計測領域の外側におけるワークの変動を考慮できないという問題があった。
【０００５】
そこで、入力された画像に対して、ワーク形状の輪郭（エッジ）を抽出して、さらに離散的なエッジ同士を連結して計測領域を自動的に設定する技術が開発されている。従来の輪郭抽出技術の代表的な手法としては、動的輪郭法、ウォーターシェッド（Watershed）、エッジトレースの３つが知られている。この内、動的輪郭法は、ユーザが画像の輪郭を囲むように初期輪郭を設定し、ユーザが指定した輪郭線の形状を変化させながら、画像上の輪郭とユーザ指定の輪郭線との一致度合いを表す指標（エネルギ）を演算するものであり、主に医療画像処理分野で使用されている。この方法は、パラメータが多いという欠点があり、パラメータを少し変えただけでも結果が大きく左右され、感覚的にパラメータを設定することが困難であった。このような特性のため、予め画質が想定できる医療画像分野においては、予想される画質に基づいたパラメータを予め設定することが可能であるため、実用化もそれほど困難でない。しかしながら、照明条件や対象ワークも様々な工業用途の検査や計測分野においては、取得できる画像の画質を想定することができないため、適用は困難であった。
【０００６】
一方、ウォーターシェッドは、２値化をベースにした技術であり、背景とワークの色の違いが少ないものについて適用が困難であるという問題があった。またエッジトレースは、基本的にはエッジ線の延びている方向や、微分の直交方向等の情報を元にエッジトレースしていく手法であり、様々な手法が検討されている。この方法の欠点としては、局所的な情報だけに頼っているため、局所的にエッジが薄くなっているとエッジ連結が困難となる点が挙げられる。また、ノイズに弱く、不安定という問題もあった。
【０００７】
特に、このようなエッジ抽出においては、抽出されたエッジは連続しない離散的な線分となるため、この状態から対応するエッジ同士を適切に連結する作業が重要となる。このような途切れたエッジ同士を連結する方法としては、従来、エッジの近傍のエッジ方向に基づき、延長方向に連結する方法等が知られていた。しかしながら、抽出されたエッジ同士を適切に連結する処理は容易でなく、実用化できるレベルの技術は未だ開発されていないのが実情である。
【特許文献１】特開平５−８１４１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、従来のこのような問題点を解決するためになされたものである。本発明の主な目的は、エッジの切断位置の対応関係を適切に判別してエッジの連結が可能なエッジ画像のエッジ連結方法、輪郭抽出方法、輪郭抽出装置、輪郭抽出プログラム及びコンピュータで読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段及び発明の効果】
【０００９】
上記目的を実現するために、本発明のエッジ画像のエッジ連結方法は、複数のエッジを含むエッジ画像において、該複数のエッジの中から対応するエッジ同士を連結する方法であって、計測領域を複数の分割小領域に分割して各々小領域番号を付与すると共に、各エッジに対して個別のエッジラベルを付与する工程と、各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出する工程と、エッジが途切れている分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定する工程と、推定されたエッジ対同士を連結する工程とを含む。これにより、途切れたエッジ同士を正確に連結できる。
【００１０】
また第２のエッジ画像のエッジ連結方法は、接続すべきエッジ同士の対を推定する工程が、任意の分割小領域において３以上のエッジラベルが存在し、エッジ同士の対応関係を特定できない場合、可能性のあるエッジ同士の組み合わせをリストアップし、各組合わせに対し、少なくともエッジ対連結部分における滑らかさの指標と、信頼性に関する指標のいずれかに基づいてエッジ連結の良否を示す連結スコアを演算し、連結スコアの高い組み合わせを採用することができる。これにより、複数の候補の中から確度の高い組み合わせを選択して、エッジを連結できる。
【００１１】
さらに第３のエッジ画像のエッジ連結方法は、滑らかさ指標が、エッジの滑らかさに関する指標であり、信頼性指標が、エッジ方向と微分勾配の直交度合いに関する指標であるよう構成できる。これにより、複数の候補の中から確度の高い組み合わせを選択して、エッジを連結できる。
【００１２】
さらにまた第４のエッジ画像のエッジ連結方法は、接続すべきエッジ対を推定する工程が、任意の分割小領域においてエッジラベルが一のみ存在する場合は、該エッジラベルを真と判断し、当該真のエッジラベルが存在する他の分割小領域中において、他のエッジラベルも含まれる場合は、当該他のエッジラベルを偽と判断してエッジ対の候補から排除することができる。これにより、ノイズ成分を含まずエッジが明確に検出されている部分から、エッジラベルの信憑性を判断するため、より確度の高いエッジ連結が可能となる。
【００１３】
さらにまた第５のエッジ画像のエッジ連結方法は、接続すべきエッジ対を推定する工程が、エッジ対の候補に対し、エッジ同士の連結すべき距離が予め設定された連結最大距離よりも大きい場合は、該候補を排除することができる。これにより、極端に離れたエッジ同士を連結して形状の信憑性が損なわれる事態を回避できる。
【００１４】
さらにまた第６のエッジ画像のエッジ連結方法は、推定に従ってエッジ対同士を連結する工程が、接続するエッジ対の端点同士が滑らかになるように接続することができる。これにより、エッジの連結部分がスムーズになり、一層正確な輪郭抽出が可能となる。
【００１５】
さらにまた第７のエッジ画像のエッジ連結方法は、小領域番号及びエッジラベル付与工程に先立ち、検出されたエッジが分岐部分を含む場合に、該分岐部分でエッジを分断するエッジ連結安定化処理を含むことができる。これにより、エッジから分岐部分を無くした上で連結処理を行うため、エッジ検出結果のばらつきを抑制して、安定した輪郭の検出が可能となる。
【００１６】
さらにまた第８のエッジ画像のエッジ連結方法は、小領域番号及びエッジラベル付与工程に先立ち、予め設定されたエッジの長さの閾値に基づき、該エッジ長さ閾値よりも短いエッジを排除するエッジ長さフィルタリング処理を含むことができる。これにより、ノイズ成分を排除した上で連結処理を行うことができ、より正確な輪郭検出が実現できる。
【００１７】
さらにまた第９のエッジ画像のエッジ連結方法は、接続すべきエッジ対を推定する工程で使用される画像処理のための画像処理パラメータとして、輪郭形状、輪郭領域幅、ダウンサンプリング数、検出閾値、処理モード、安定化処理スイッチ、エッジ長さ閾値、連結最大距離、抽出方向、マージンの少なくとも一を含むことができる。
【００１８】
さらにまた第１０のエッジ画像のエッジ連結方法は、接続すべきエッジ同士の対を推定できない場合に、分割小領域を区画する境界線に基づいて強制的に連結可能とできる。
これにより、どうしてもエッジの対が連結できない場合でも非常手段として強制接続が可能となる。また、強制接続の頻度をエッジ連結の信頼性の指標として利用することもでき、例えば強制接続を行った回数を表示部に表示させてユーザにエッジ連結の信頼性を告知できる。
【００１９】
さらにまた第１１のエッジ画像のエッジ連結方法は、該エッジ連結方法が、画像処理における輪郭抽出工程に用いられることができる。これにより、エッジから分岐部分を無くした上で連結処理を行うため、エッジ検出結果のばらつきを抑制して、安定した輪郭の検出が可能となる。
【００２０】
さらにまた第１２の輪郭抽出方法は、入力画像から輪郭を抽出する方法であって、入力画像中で計測領域を指定する工程と、指定された計測領域中から、入力画像の微分強度画像に基づいて複数のエッジを抽出する工程と、抽出された複数のエッジの内、対応すると思われるエッジ同士を連結する工程と、連結されたエッジで輪郭を構成する工程とを含み、エッジ同士を連結する工程が、計測領域を複数の分割小領域に分割して各々小領域番号を付与すると共に、各エッジに対して個別のエッジラベルを付与する工程と、各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出する工程と、エッジが途切れている分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定する工程と、推定されたエッジ対同士を連結する工程とを含むことができる。これにより、途切れたエッジ同士を正確に連結して輪郭を抽出できる。
【００２１】
さらにまた第１３の輪郭抽出装置は、入力画像から輪郭を抽出可能な輪郭抽出装置であって、入力画像を入力する画像入力手段と、画像入力手段で入力された入力画像に対し、計測領域を指定するための計測領域指定手段と、計測領域指定手段で指定された計測領域中から、入力画像の微分強度画像に基づいて複数のエッジを抽出するためのエッジ抽出手段と、エッジ抽出手段で抽出された複数のエッジの各々に対し、個別のエッジラベルを付与するラベリング手段と、計測領域指定手段で指定された計測領域を複数の分割小領域に分割して各々小領域番号を付与する小領域分割手段と、小領域分割手段で分割された各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出し、該分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定するエッジ対推定手段と、推定されたエッジ対同士を連結するエッジ対連結手段とを備えることができる。これにより、途切れたエッジ同士を正確に連結して、安定した輪郭を抽出することができる。
【００２２】
さらにまた第１４の輪郭抽出装置は、エッジ対推定手段が、任意の分割小領域において３以上のエッジラベルが存在し、エッジ同士の対応関係を特定できない場合、可能性のあるエッジ同士の組み合わせをリストアップし、各組合わせに対し、少なくともエッジ対連結部分における滑らかさの指標と、信頼性に関する指標のいずれかに基づいてエッジ連結の良否を示す連結スコアを演算し、連結スコアの高い組み合わせを採用するよう構成できる。これにより、複数の候補の中から確度の高い組み合わせを選択して、エッジを連結できる。
【００２３】
さらにまた第１５の輪郭抽出プログラムは、入力画像から輪郭を抽出可能な輪郭抽出プログラムであって、入力画像を入力する機能と、入力された入力画像に対し、計測領域を指定する機能と、指定された計測領域中から、入力画像の微分強度画像に基づいて複数のエッジを抽出する機能と、抽出された複数のエッジの各々に対し、個別のエッジラベルを付与する機能と、指定された計測領域を複数の分割小領域に分割して各々小領域番号を付与する機能と、分割された各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出し、該分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定する機能と、推定されたエッジ対同士を連結する機能とをコンピュータに実現させることができる。これにより、途切れたエッジ同士を正確に連結して、安定した輪郭を抽出することができる。
【００２４】
さらにまた第１６の輪郭抽出プログラムは、エッジ対推定機能が、任意の分割小領域において３以上のエッジラベルが存在し、エッジ同士の対応関係を特定できない場合、可能性のあるエッジ同士の組み合わせをリストアップし、各組合わせに対し、少なくともエッジ対連結部分における滑らかさの指標と、信頼性に関する指標のいずれかに基づいてエッジ連結の良否を示す連結スコアを演算し、連結スコアの高い組み合わせを採用することができる。これにより、複数の候補の中から確度の高い組み合わせを選択して、エッジを連結できる。
【００２５】
また第１７のコンピュータで読み取り可能な記録媒体は、上記プログラムを格納するものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ、ＤＳＰ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するためのエッジ画像のエッジ連結方法、輪郭抽出方法、計測領域設定方法、輪郭抽出装置、輪郭抽出プログラム及びコンピュータで読み取り可能な記録媒体を例示するものであって、本発明はエッジ画像のエッジ連結方法、輪郭抽出方法、計測領域設定方法、輪郭抽出装置、輪郭抽出プログラム及びコンピュータで読み取り可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
【００２７】
本発明の実施例において使用される輪郭抽出装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．１ｘ等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において輪郭抽出装置とは、輪郭抽出を行う装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた輪郭抽出システムも含む意味で使用する。
【００２８】
また、本明細書においてエッジ画像のエッジ連結方法、輪郭抽出方法、計測領域設定方法、輪郭抽出装置、輪郭抽出プログラムは、輪郭抽出や計測領域設定、エッジ連結を行うシステムそのもの、ならびにエッジ画像その他の入力画像の撮像、取得に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで輪郭抽出やエッジ連結そのもの、あるいはこれに関連する処理を可能とした装置やシステムも、本発明のエッジ画像のエッジ連結方法、輪郭抽出方法、計測領域設定方法、輪郭抽出装置、輪郭抽出プログラムのいずれかに該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末、携帯型電子機器、ＰＤＣやＣＤＭＡ、Ｗ−ＣＤＭＡ、ＦＯＭＡ（登録商標）、ＧＳＭ、ＩＭＴ２０００や第４世代等の携帯電話、ＰＨＳ、ＰＤＡ、ページャ、スマートフォンその他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、ＯＳ等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。
（輪郭抽出装置）
【００２９】
図２に、入力画像から輪郭を抽出する輪郭抽出装置の一例として、画像処理装置１００のブロック図を示す。この図に示す画像処理装置１００は、画像入力手段１と、ユーザが各種操作を行うための操作手段２と、入力画像やエッジ画像を表示するための表示手段３と、各種設定を保持するための記憶手段４と、画像入力手段１で入力された入力画像に対し、画像処理の対象となる計測領域を指定するための計測領域指定手段５と、各種演算を行うための演算手段６を備えている。演算手段６は、計測領域指定手段５で指定された計測領域中から、入力画像の微分強度画像に基づいて複数のエッジを抽出するためのエッジ抽出手段７と、エッジ抽出手段７で抽出された複数のエッジの各々に対し、個別のエッジラベルを付与するラベリング手段８と、計測領域指定手段５で指定された計測領域を複数の分割小領域に分割して各々小領域番号を付与する小領域分割手段９と、小領域分割手段９で分割された各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出し、該分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定するエッジ対推定手段１０と、エッジ対推定手段１０で推定されたエッジ対同士を連結するエッジ対連結手段１１として機能する。このような演算手段６は、ＦＰＧＡ、ＡＳＩＣ、ＤＳＰ等のゲートアレイで構成できる。
【００３０】
画像入力手段１は、外部機器で撮像、作成された画像処理の対象となる入力画像を取得する。入力画像データは通信やＩ／Ｏにより外部機器から取得される他、記録媒体を介してデータファイルの形で入力することもできる。また画像処理装置自体に入力画像を撮像する機能を持たせてもよい。この場合、画像入力手段１は撮像手段や画像生成手段として機能する。撮像手段としてＣＣＤやＣＭＯＳ等の固体撮像素子を利用したカメラを使用し、画像処理の対象となる電子部品等のワークを撮像すると、ワークに照射された光の反射光と背景に照射された光の反射光の光量が異なるため、ワークに対応する部分と背景に対応する部分とでは固体撮像素子の電荷量に差が生ずる。すなわちワークと背景で画像の輝度差が生じるため、この輝度差をワークの輪郭やエッジとして検出できる。
【００３１】
また記憶手段４は、設定内容を保持する他、入力画像のデータを記憶する領域としても利用できる。このような記憶手段４には、ＤＲＡＭやフラッシュメモリ等の半導体素子、あるいはハードディスク等の固定記憶手段が利用できる。
【００３２】
操作手段２は、画像処理装置１００を操作するための入力デバイスである。例えば、ユーザがマウス８１及びキーボード８２を操作して手動で計測領域を指定する場合は、入力デバイスが計測領域指定手段５として機能する。一方、画像処理装置１００側で画像処理に基づき演算手段６で演算することで、自動的に計測領域を指定することもできる。
【００３３】
入力デバイスは画像処理装置１００と有線もしくは無線で接続され、あるいは固定されている。一般的な入力デバイスとしては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの入力デバイスは、輪郭抽出プログラムをインストールしたコンピュータを画像処理装置１００と接続する態様、あるいは輪郭抽出プログラムをインストールしたコンピュータを画像処理装置や輪郭抽出装置とする態様において、輪郭抽出プログラムの操作の他、画像処理装置自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、又は音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図２の例では、入力デバイスはマウスやキーボード等のポインティングデバイスで構成される。
【００３４】
表示手段３は、外付けの液晶モニタやＣＲＴモニタ等のディスプレイが利用できる。またタッチパネル等入力機能を備えるタイプを使用すれば、表示手段と操作手段を兼用することもできる。表示手段３は、外部接続する形態の他、画像処理装置自体に組み込むこともできる。
【００３５】
以上の構成は例示であって、例えば画像処理装置自体に表示手段、操作手段等を含んでいてもよく、またプロファイル演算部４１や第２描画部５２等の部材は、一の部材で兼用したり、演算手段６に統合することもできる。以下、汎用のコンピュータに輪郭抽出プログラムをインストールしてエッジ連結処理や輪郭抽出処理を実行する例について説明する。
（画像処理技術）
【００３６】
図１に、輪郭抽出装置を用いた画像処理アプリケーションの一例として、欠陥検査処理を行う態様を示す。この輪郭抽出装置は、画像入力手段であるカメラ２０１と、画像処理装置２００と、表示手段であるモニタ２０３と、操作手段であるコンソール２０２とがケーブルを介して接続されている。この輪郭抽出装置は、検査対象のワークＷをカメラ２０１で撮像し、画像処理装置２００に入力画像データを送出し、入力画像をモニタ２０３で確認しながらコンソール２０２で条件設定等を行い、画像処理装置２００が画像処理を行う。
（計測領域）
【００３７】
画像処理に際しては、入力画像の全体に対して処理を行うと、処理量が多くなるため、一定の計測領域を指定してこの領域内での画像処理を行うことが一般的である。特に撮像した画像には、ワーク以外にも背景が写っていることが多い。そのため、画像のすべての領域を用いるのでなく、ワーク以外の領域を排除するように、実際に検査、計測を行いたい画像上の領域を計測領域として指定する必要がある。計測領域は一般にユーザが予め指定するが、従来は矩形や円形、楕円形等、所定の幾何学的な形状で指定することが行われていた。この方法では計測領域の指定作業が面倒であり、また複雑な形状には対応できないといった問題があった。そこで、エッジ抽出、エッジ連結を用いてワークの輪郭情報を取得し、これに基づいて計測領域を自動で設定する技術が注目されている。本実施の形態ではこのような自動で抽出されたエッジを適切に連結するための技術に関する。
（輪郭抽出アルゴリズムの処理フロー）
【００３８】
輪郭抽出装置で入力画像から輪郭を抽出し、計測領域を決定する処理の全体の流れを、図３のフローチャートに基づいて説明する。ここでは、輪郭追従モードにおいて計測領域を設定する手順について説明する。先ずステップＳ２０１で、輪郭抽出のための処理設定を行う。ここでは、各種の処理パラメータの設定と、輪郭抽出処理の対象となる計測領域の指定をユーザが行う。次にステップＳ２０２で、入力画像からエッジ抽出手段７でエッジ検出を行う。さらにステップＳ２０３で、抽出されたエッジ同士を連結する。最後に、ステップＳ２０４で計測領域やマスク領域を設定する。なおステップＳ２０１は設定時に行えば足り、実際の運転ではステップＳ２０２〜ステップＳ２０４の処理となる。以下、図３の各処理について具体的に説明する。
（ステップＳ２０１ 処理設定）
【００３９】
処理設定においては、計測領域の設定と各種動作パラメータの設定を行う。
（ステップＳ２０２ エッジ抽出処理）
【００４０】
このようにして入力画像に対し計測領域が設定されると、該計測領域内の画像処理を行ってエッジを検出したエッジ画像を取得する。ここでエッジとは、画像上で濃淡値が大きく変化した部分を指す。ここではソーベル等の隣りあう画素間での濃淡値の変化を出力する微分フィルタをかけて、微分強度画像を得る。この画像上で微分強度が閾値より大きく、周囲（８近傍）で極大となっている部分（山で喩えると尾根）をエッジとして抽出する。さらに後述するダウンサンプリング数を変更すると、エッジの出方も変化する。
（ステップＳ２０３ エッジ連結処理）
【００４１】
このようにしてエッジ画像が得られると、次にエッジ同士の連結処理を行う。エッジ連結安定化処理で使用される画像処理パラメータとしては、安定化処理スイッチ、エッジ長さ閾値、連結最大距離が挙げられる。これらの画像処理パラメータは、後述する表１に示すように詳細変更パラメータとしてカテゴリされており、基本的に固定とし、必要に応じてユーザが変更可能という位置づけで設定される。
（ステップＳ２０４ 領域設定処理）
【００４２】
このようにしてエッジ連結が得られた後、最後に入力画像からエッジ情報に基づいて計測領域やマスク領域を抽出する処理を行う。ここでの処理内容は、（１）領域抜き出し（２）領域の形状補正（３）領域の膨張／収縮の３つに分けられる。これらの詳細は後述する。
（輪郭追従モードによる欠陥検査）
【００４３】
ここでエッジ抽出を用いた画像処理の具体例として、欠陥検査を行う手順を、図４のフローチャートに基づいて説明する。ここでは輪郭追従モードを採用し、ステップＳ４０１〜ステップＳ４０３で条件設定を行った後、ステップＳ４０４〜ステップＳ４０８で実際の運転時の処理を行う。まずステップＳ４０１で、カメラでワークを撮像し、ステップＳ４０２でユーザはモニタでワークの入力画像を確認しながら、輪郭を抽出するための処理条件をコンソールから設定する。さらにステップＳ４０３で欠陥検査のための処理条件を設定する。なお、ステップＳ４０２の輪郭抽出の処理条件設定の詳細については、後述する。このようにして条件設定がなされると、運転時の欠陥検査が可能となる。
【００４４】
運転時においては、まずステップＳ４０４でワークをカメラで撮像し、ステップＳ４０５で輪郭抽出用の前処理を、ステップＳ４０２で設定された処理条件に従い画像処理装置が実行する。ここでは、輪郭抽出処理を行う入力画像に対して、予め平滑化、先鋭化等のフィルタ処理や、入力画像のコントラスト変換、カラー画像からグレー画像への色変換等を行うことで、入力画像の輪郭を強調し、輪郭抽出処理に適した画像へと変換する。次にステップＳ４０６で画像処理装置が変換画像に対し、ステップＳ４０２で設定された処理条件に従い、輪郭抽出を行う。さらにステップＳ４０７で画像処理装置はステップＳ４０３で設定された処理条件に従い、欠陥検査用の前処理を行う。ここでは、欠陥検査を行う入力画像に対して、予め平滑化、先鋭化等のフィルタ処理や、画像のコントラスト変換、カラー画像からグレー画像への色変換等を行うことで、欠陥を顕在化させ欠陥検査に適した画像へ変換する。なお、これら前処理の処理内容やパラメータは、ステップＳ４０５で行った輪郭抽出用の前処理とは別に設定できるようにしてもよいし、共通に設定してもよい。
【００４５】
このようにして、ステップＳ４０８で画像処理装置はステップＳ４０３で設定された処理条件に従い、欠陥検査を行う。ここでは、ステップＳ４０６の輪郭抽出で算出した輪郭領域の内側（または外側）を欠陥検査の計測領域として、計測領域内の小面積ごとに平均濃度を計算し、周囲との平均濃度の差が閾値以上である箇所を欠陥判定することで、入力画像に欠陥が含まれるかどうか検査する。この欠陥検査は、用途に応じて切り替えることもでき、例えば計測領域内の濃度（明るさ）の平均値、最大値、最小値、偏差等が基準を満たしているかを検査する濃淡検査等が選択できる。
【００４６】
以上のステップＳ４０４の撮像からステップＳ４０８の欠陥検査までの処理を、運転中に繰返し実行する。ここでは輪郭追従モードとして、処理画像ごとに輪郭抽出を行っている。
（固定輪郭モード）
【００４７】
また、他の例として、固定輪郭モードで輪郭抽出を行う手順を、図５のフローチャートに従って説明する。ここでは、ステップＳ５０１〜ステップＳ５０５で条件設定を行い、その後ステップＳ５０６〜ステップＳ５１０で運転時の処理を行う。まずステップＳ５０１でワークをカメラで撮像し、ステップＳ５０２でユーザはモニタでワークの入力画像を確認しながら、輪郭抽出の処理条件をコンソールから設定する。この動作は、上述した図４と同様である。次にステップＳ５０３で、設定した処理条件に従い輪郭抽出用の前処理を画像処理装置が行う。次いで画像処理装置はステップＳ５０４で輪郭抽出を行い、さらにステップＳ５０５で欠陥検査用の処理条件を設定する。
【００４８】
このようにして処理条件を設定した上で、運転時の処理が実行される。まずステップＳ５０６でカメラでワークを撮像する。次にステップＳ５０７で、ステップＳ５０６の輪郭抽出結果を読み込む。そして画像処理装置がステップＳ５０８で欠陥検査用の前処理を行い、ステップＳ５０９で欠陥検査を行う。このように固定輪郭モードでは、ワークの撮像から欠陥検査までのフローを運転中に繰返し実行するが、輪郭抽出は条件設定時にのみ行う。これにより、運転時に毎回輪郭抽出を行う必要がないため、輪郭追従モードと比較して検査速度を向上できる。一方固定輪郭モードでは、ワークを毎回撮像しないためワークの形状変動に追従できず、輪郭の際まで検査できないという欠点がある反面、入力画像から抽出した輪郭形状を検査領域に設定するので、検査面の形状が複雑な場合には領域設定を容易化できるというメリットが得られる。
【００４９】
以上の輪郭追従モードと固定輪郭モードを比較すると、輪郭追従モードのメリットとしては、毎回ワークの輪郭を抽出する結果、輪郭の際まで検査できるので、検査領域が広くすることができ、欠陥見逃しのリスクが低減する。また検査面形状が複雑でも、輪郭を自動で抽出してくれるので、領域設定が容易である。反面、デメリットとしては毎回輪郭抽出を行うため、輪郭抽出処理分だけ処理時間が多くかかり、検査が遅くなることが挙げられる。
【００５０】
一方、固定輪郭モードのメリットとしては、検査面形状が複雑でも、輪郭を自動で抽出するため、領域設定が容易であり、またワークの輪郭は条件設定時にのみ抽出するため、運転時にはこの処理を省略して、検索を高速化できる。またデメリットとしては、ワークの形状変動に追従しないため、輪郭の際まで検査できない。このため固定輪郭モードでは、条件設定で輪郭抽出した領域を若干小さくした領域を欠陥検査領域とする。
（輪郭抽出の条件設定）
【００５１】
次に、図４のステップＳ４０２の輪郭抽出条件設定の詳細を、図６のフローチャートに基づいて説明する。ここではユーザはコンソールを介して、ステップＳ６０１で輪郭抽出用の前処理の条件設定を行い、ステップＳ６０２で輪郭抽出の条件設定を行う。ステップＳ６０１では、平滑化、先鋭化等のフィルタ処理や、入力画像のコントラスト変換、カラー画像からグレー画像への色変換等、前処理の条件設定を行う。またステップＳ６０２の輪郭抽出の条件設定では、具体的にはステップＳ６０３で輪郭形状の指定、ステップＳ６０４で処理領域幅の指定、ステップＳ６０５で処理領域の小領域への分割処理、ステップＳ６０６でエッジ検出条件の設定、ステップＳ６０７で輪郭抽出処理、ステップＳ６０８でエッジ検出条件の良否判断を行う。
【００５２】
これらの条件設定の詳細を図７のイメージ図に基づいて説明する。ここでは図７（ａ）に示す登録画像に対して、各条件設定がどのように運転時の処理に反映されるかをイメージで示す。まず図６のフローチャートにおいてステップＳ６０３で輪郭形状の指定を行うと、図４のステップＳ４０６等の輪郭抽出においては、図７（ｂ）に破線状で示す大まかな輪郭形状が登録画像のイメージデータ上に設定される。次にステップＳ６０４で処理領域幅の指定を行うと、図７（ｃ）に示すように輪郭形状を中心とした所定幅の処理領域が、登録画像上に設定される。さらにステップＳ６０５で処理領域の小領域への分割処理を行うと、図７（ｄ）に示すように処理領域が矩形状の小領域に分割される。
【００５３】
さらにステップＳ６０６でエッジ検出条件の設定、ステップＳ６０７で輪郭抽出処理を行うと、図７（ｅ）に示すようにエッジ検出条件に従い抽出された輪郭が登録画像上にエッジ検出結果として表示される。ここでは、エッジ検出条件の設定として、エッジ検出用のパラメータとしてダウンサンプリング数（粒度）、エッジ検出閾値を変更し、輪郭抽出、すなわちエッジ検出及びエッジ連結を行う。ユーザは、ステップＳ６０８でエッジ検出条件の良否判断を行う。ここでは、モニタに表示される図７（ｅ）の結果に基づいて、設定したエッジ検出用パラメータの妥当性を確認し、必要に応じて繰返し調整する。
【００５４】
ここでユーザがパラメータの良否を判断する方法としては、輪郭部分を視覚的に区別して表示部に表示させたり、エッジ連結の安定性を示す指標を表示させる方法等が利用できる。輪郭部分を視覚的に区別して表示させる方法は、（ａ）エッジ検出された輪郭線と、（ｂ）エッジ検出されずにエッジを連結した輪郭線と、を色分けや線種、線の太さ等で識別して表示する。図８に、輪郭抽出結果の表示例を示す。この例では、表示部において検出、演算されたエッジを表示する際に、エッジを構成するセグメントの内、輪郭抽出によって得られたエッジで構成される抽出セグメントＴと、エッジ連結機能によりセグメント同士を連結した連結セグメントＲとを、異なる態様で表示させている。例えば、図８（ａ）では表示色による表示切替えの例を示しており、この例では検出された抽出セグメントＴは赤色、連結された連結セグメントＲをオレンジ色で、それぞれ表示している。また図８（ｂ）は、線種による表示切替えの例を示しており、ここでは抽出セグメントＴを実線、連結セグメントＲを点線でそれぞれ表示している。さらに図８（ｃ）は線の太さによる表示切替えの例を示しており、抽出セグメントＴを太字、連結セグメントＲを細字で表示している。さらにまた、これらに代わって、あるいはこれらに加えて、線種を実線とグレーアウトした線、あるいはハイライトやハッチング等の強調手段を適宜組み合わせることもできる。なお上記の例では、検出されたセグメントをすべて表示せず、輪郭線として連結されたセグメントのみを表示している。ただ、この方法に限られず、図８（ｄ）に示すように、輪郭として連結しないセグメントを含めた、すべてのセグメントを表示することもできる。図８（ｄ）の例では、図８（ａ）と同様、各検出エッジを色分けして表示しており、輪郭線でないセグメントＮは黒色で表示している。
（輪郭完全度）
【００５５】
またエッジ連結の安定性は、検出した輪郭において（ａ）が占める割合が高ければエッジ検出条件が適切に設定されており、エッジ連結を失敗する可能性は低い、すなわちエッジ連結処理が安定していると判断することができる。このエッジ連結の安定性を示す指標は、次式で輪郭完全度として計算できる。
【００５６】
（輪郭完全度）＝｛（（ａ）エッジ検出された輪郭線長さ）÷（（ａ）エッジ検出された輪郭線長さ＋（ｂ）エッジ検出されずにエッジを連結した輪郭線長さ）｝×１００
このような数値を用いることで、エッジ連結の安定性判断を定量的に行い、設定されたパラメータの良否判断に用いることができる。
【００５７】
このようにしてユーザは、エッジ検出状態とエッジ連結の安定性を把握することができる。なお、以上説明したフローチャートの各ステップの順序は、適宜入れ替えることも可能である。例えば図６において先に輪郭抽出の条件設定を行い、その後輪郭抽出用の前処理の条件設定を行うこともできる。
【００５８】
以上のように画像処理装置では、ワークを撮像した画像に基づき、欠陥検査や寸法計測等を行うことができる。次に、各手順の詳細を順次説明する。まず、図３のステップＳ２０１で述べた処理設定工程において、輪郭抽出アルゴリズムで設定する画像処理パラメータの一覧を表１に示す。
【００５９】
【表１】
【００６０】
表１に示すように画像処理パラメータには、通常変更パラメータと詳細設定パラメータの２種類が存在する。詳細設定パラメータは、通常は規定値が採用され、変更したい場合は詳細設定モード画面に切り替えて設定を行う。
（輪郭形状）
【００６１】
先ず、計測領域の設定（図３におけるステップＳ２０１）においては、画像処理パラメータとして輪郭形状と輪郭領域幅が挙げられる。輪郭形状は、ユーザがマウス等の操作手段２を用いて指定する。指定方法には、円形や楕円、矩形等の所定の幾何学形状を単独、若しくは組み合わせて指定したり、多角形や自由曲線でトレースする等の方法が利用できる。
（輪郭領域幅）
【００６２】
また輪郭領域幅は、計測領域として指定される輪郭の膨張度合い、すなわち余裕度（マージン）を設定するものである。輪郭領域幅が大きいほど計測領域が太くなり、ワークの形状変動や位置ずれに対して安定した結果を得ることができるが、反面、２重線等のような本来検出したくない輪郭も検出する虞があり、検出の不安定要因となる。また輪郭領域幅を大きくとるほど、処理時間も増大する傾向にある。
【００６３】
一方、輪郭領域幅が小さいほど、ワーク形状変動や位置ずれに弱くなる反面、本来検出したい輪郭エッジのみを抽出できるため、検出結果が安定し、また処理時間も短縮化できる。
【００６４】
このような計測領域の設定手順を、図９のイメージ図に示す。この図に示すように、図９（ａ）の登録画像に対し、図９（ｂ）に示すように輪郭形状をユーザが指定する。そして、指定された輪郭形状を、輪郭領域幅の設定値に従い膨らませ、計測領域を設定する。図９（ｃ）において、白抜きの領域が計測領域となる。
（分割小領域への分割）
【００６５】
さらに図９（ｄ）で、この計測領域を小領域分割手段９で分割小領域に分割する。分割小領域は矩形状、三角形状等とでき、例えば計測領域が円周状や円弧状の場合は、極座標変換で円周方向や円弧方向に対し、矩形領域に分割する。この例では、正方形の分割小領域を採用し、エッジの線幅に等しいピッチ幅でエッジを分割している。この方法に限られず、分割小領域は用途に応じて適宜設定できる。
（ダウンサンプリング数）
【００６６】
エッジ抽出処理で使用する画像処理パラメータとしては、ダウンサンプリング数と検出閾値、処理モードが挙げられる。ダウンサンプリング数は、入力画像に対する画像の縮小率であり、入力画像の画質に応じて適切な値、例えば１／２縮小、１／４縮小、１／８縮小のいずれかから適切な値を選択する。これによりエッジ検出の周波数特性が決定されるので、ダウンサンプリング数の設定は検出性能への影響が大きいといえる。
（検出閾値）
【００６７】
また検出閾値は、細線化後の微分強度画像に対する閾値である。この検出閾値は、画質に応じて適切な値を設定する必要があり、ユーザはエッジ検出結果を画面上で確認しながら設定する。ここでは１〜２５５の範囲で数値で指定する。なお、この画像処理パラメータは、輪郭のエッジ検出ができないほど高い値を設定しない限りは、輪郭抽出の処理結果に与える影響は小さい。
（処理モード）
【００６８】
さらに処理モードとして、通常モード又は高速モードのいずれかを選択する。このように輪郭抽出アルゴリズムには、通常モードと、処理時間を短縮した高速モードを設けている。通常モードでは領域形状を検出する分解能が高い反面、処理が低速となる。一方高速モードでは、領域形状の分解能が低い反面、処理が高速となる。表１の例では、高速モードの処理速度は、通常モードの約２倍となる。以下、図１０のフローチャート及び図１１のイメージ図に基づき、通常モードの処理を説明する。
（通常モード）
【００６９】
まず、ステップＳ１００１で、図１１（ａ）に示す入力画像に対して、画像を縮小する処理を行う。ここでは、画像処理パラメータとして設定されたダウンサンプリング数に従い、図１１（ｂ）に示すように入力画像が縮小される。次にステップＳ１００２で、縮小画像に対して微分処理を行い、図１１（ｃ）に示すように微分強度画像（エッジ強度画像）を得る。微分強度画像は、入力画像の濃淡すなわち階調の変化量を求めるための画像であり、エッジとなり得る濃淡変化が大きい部分は微分値が大きくなる。また微分処理により、領域内の濃淡の絶対値の変化の影響を排除できる。微分処理には微分フィルタが用いられ、例えばソーベル（Sobel）フィルタ等が適宜用できる。次に、ステップＳ１００３で、図１１（ｄ）に示すようにこの微分強度画像の倍率を入力画像の元の倍率に戻した後、ステップＳ１００４で図１１（ｅ）に示すように細線化処理を行う。細線化とは、微分強度画像のピークの尾根の部分を取り出す処理である。具体的には、微分処理で得られた幅を持つエッジを、所定幅の線画像に変換する。例えば画像データに対してソーベルフィルタを適用してエッジを検出すると、エッジ付近のデータが強調されるが、輪郭部分がぼやける。また画像の濃度変化が比較的緩やかな場合には、線幅が太くなってしまう。そこでエッジ抽出処理後に太線を細い線（例えば１ピクセル幅）にスリム化することで輪郭線を抽出できる。そしてステップＳ１００５で、図１１（ｆ）に示すように閾値処理を行い、エッジ画像を得る。ここでは、画像処理パラメータとして設定されたエッジ検出閾値に従い、閾値以上の強度を示す成分がエッジ画像として抽出される。このようにしてエッジ抽出処理が行われ、入力画像と同じ倍率のエッジ画像が出力される。
（高速モード）
【００７０】
一方、通常モードよりも処理時間を短縮することを目的とした高速モードにおいては、エッジ抽出処理後の出力画像は、入力画像の１／２サイズのエッジ画像が出力される。高速モードにおいては、１／２に縮小されたエッジ画像で、後述するエッジ連結処理（図３におけるステップＳ２０３）と領域抽出処理（同ステップＳ３）を行った後で、抽出した領域を入力画像の倍率に拡大する。このように、画像処理段階では１／２サイズの画像で処理されるため、全体の処理時間は通常モードの約１／２に縮小される。なお、エッジ抽出処理においては、図１０のステップＳ１００３における微分強度画像の拡大は、ダウンサンプリング数の画像処理パラメータが１／２に設定されている場合は行わない。またダウンサンプリング数が１／４、１／８の場合は、１／２縮小サイズまで拡大する。さらにダウンサンプリング数が縮小なしに設定されている場合、「高速モード」は使用不可となる。
（エッジ連結処理の手順）
（ステップＳ１２０１ エッジ連結安定化処理）
【００７１】
ここで、エッジ連結処理（図３におけるステップＳ２０３）の手順を、図１２のフローチャートに説明する。まずステップＳ１２０１で、前処理としてエッジ連結安定化処理を行う。エッジ連結安定化処理は、領域抽出結果の形状ばらつきを抑制することを目的とする。この様子を、図１３及び図１４に基づいて具体的に説明する。これらの図において図１３は従来の方法、図１４は実施の形態に係る方法を、それぞれ示している。エッジ抽出処理（図３におけるステップＳ２０２）においては、検出されたエッジが連続線とならず途切れる場合がある。特に図１３（ａ）で示す入力画像のようにＴ字状のエッジが存在する部分では、図１３（ｂ）に示すように、同じワークであっても上述したエッジ抽出処理時の細線化処理（図１０におけるステップＳ１００４）に起因して、エッジの途切れ方が一定せず、不安定になる。このような場合に、従来の方法ではエッジ連結処理（図３におけるステップＳ２０３）において、図１３（ｃ）に示すように途切れた状態のエッジ部分を連結するために、領域設定処理（図３におけるステップＳ２０４）後は図１３（ｄ）に示すように、領域抽出結果にばらつきが発生し、一定の結果が得られないという問題があった。
【００７２】
これに対し本実施の形態に係るエッジ連結処理を、図１５のフローチャートに示す。この図に示すように、エッジ抽出処理（ステップＳ９０１）後、エッジ連結処理（ステップＳ９０３）の前に、エッジ連結安定化処理（ステップＳ９０２）を行い、Ｔ字部分のエッジを強制的に切断した上で、エッジ連結処理（ステップＳ９０３）、計測領域抽出処理（ステップＳ９０４）を行う。具体的には、図１３（ａ）と同じくＴ字状のエッジが存在するワーク（図１４（ａ））に対し、細線化処理（図１０におけるステップＳ１００４）を行う。このエッジ検出の結果、図１３（ｂ）と同様にエッジ検出結果にばらつきが生じたとしても（図１４（ｂ））、エッジ連結安定化処理を行い、Ｔ字状のエッジを一旦、強制的に切断する。この結果、図１４（ｂ’）に示すように細線化処理の結果によらず、一定のエッジが得られる。このような一定のエッジ検出結果を得た上で、エッジ連結を行い（図１４（ｃ））、領域を抽出する（図１４（ｄ））。これにより、図１４（ｄ）に示すようにばらつきを抑制し、安定した領域抽出結果を得ることができる。
（安定化処理スイッチ）
【００７３】
このようなエッジ連結安定化処理は、特に入力画像の形状が複雑な場合は必須となる。したがって、エッジ連結処理に際してエッジ連結の結果を安定化させるための画像処理パラメータである安定化処理スイッチの規定値はＯＮとする。一方、入力画像が綺麗、すなわちコントラストが大きく、ノイズが少なく、フォーカスの合った画像であったり、円等の比較的単純な形状のワークの場合は、エッジ連結安定化処理が無くとも連結結果にさほどの影響はない。したがって、通常モードにおいて、比較的単純形状のワークの検査において、輪郭形状の分解能を落とさず、処理時間を削減したいときに、安定化処理スイッチをＯＦＦにすることで、処理時間を数ｍｓ程度削減することができる。ただ、安定化処理スイッチをＯＦＦにすると抽出領域にばらつきが発生する虞が増大する。また高速モードではエッジ連結安定化処理は必須とし、ＯＮのみ選択可能としている。
（ステップＳ１２０２ エッジ長さによるフィルタリング）
【００７４】
図１２のフローチャートを参照してエッジ連結処理の前処理を説明に戻ると、ステップＳ１２０１でエッジ連結安定化処理を行った後、ステップＳ１２０２でエッジ長さによるフィルタリングを行う。入力画像にノイズが多く含まれていると、図１６（ａ）に示すようにノイズがエッジとして検出されてしまうため、エッジ連結の処理時間が極端に増大する虞がある。そこで、極端に短いエッジを除去するための閾値を「エッジ長さ閾値」として、画像処理パラメータに設定し、図１６（ｂ）に示すようにノイズ成分を除去する。ここではノイズ成分が削減できれば足りるので、基本的には規定値（表１の例では５画素）とする。また使用状況等に応じてエッジ長さ閾値を調節したい場合は、詳細設定パラメータの設定画面から変更できる（表１の例では０〜５０画素）。
（エッジ連結）
【００７５】
このようにしてステップＳ１２０１、ステップＳ１２０２の前処理を経た後、ステップＳ１２０３でエッジ連結処理を行う。エッジ連結処理は、エッジの分布解析（図１２におけるステップＳ１２０３）、エッジ途切れ位置の推定（図１２におけるステップＳ１２０４）、連結実処理（図１２におけるステップＳ１２０５）の３つの処理で構成される。
（ステップＳ１２０３ エッジの分布解析）
【００７６】
まずエッジの分布解析では、図１７に示すように計測領域を複数の分割小領域に分割し、さらに分割小領域毎にエッジにラベルを付すラベリング処理をラベリング手段８で行い、リストアップする。ここでラベリング処理とは、チェーン化あるいはセグメント化等とも呼ばれ、検出された多数のエッジ点の内、隣接するエッジ点同士を一纏めにして、このような隣接する複数エッジ点の集合であるエッジを抽出セグメントあるいはチェーンとして扱うと共に、各抽出セグメントに固有の識別情報（連番等）を付与する処理をいう。ラベリングの手法の詳細は、例えば高木幹雄、下田陽久監修「新編 画像解析ハンドブック」東京大学出版ｐ１５２６等に説明されており、このような既知の手法を適宜利用できる。また図１８、図１９に示すように分割された各分割小領域に対しては小領域番号が、ラベリング処理された各エッジ（抽出セグメント）にはエッジラベル番号が、それぞれ付与される。
（ステップＳ１２０４ エッジ途切れ位置の推定）
【００７７】
ステップＳ１２０３でエッジの分布が解析されると、次にステップＳ１２０４でエッジ途切れ位置の推定を行う。この処理は、エッジ対推定手段１０が、リストアップしたエッジ分布から、エッジラベルが変化している部分や、エッジが存在しない分割小領域から、エッジの途切れ位置を見つけ出し、近傍のエッジラベルから接続すべきエッジ対を推定する処理である。ここでは、図１８に示すように接続関係を特定できる場合と、図１９に示すように接続位置を特定できない場合が考えられる。特定できない場合は、可能性のあるエッジの組合せをリストアップし、次段の連結実処理（図１２におけるステップＳ１２０５）で判断する。
（接続関係を特定できる場合）
【００７８】
具体的なエッジ連結処理の手順として、接続関係を特定できる場合を図１８に基づいて説明する。ここでは図１８（ａ）に示すように、Ｌ字状の計測領域が矩形状の分割小領域に分割され、各分割小領域には小領域番号が付され、さらに検出された各エッジに対してエッジラベル番号が付与されている状態を考える。この状態でエッジの分布を解析して、図１８（ｂ）のように分割小領域毎に含まれるエッジの番号をリストアップする。図１８（ｂ）の例では、分割小領域毎のエッジ分布を示す表が作成されており、この状態でエッジの途切れ位置を推定する。具体的には、分割小領域５においてはエッジラベル番号１と２が含まれており、エッジラベル番号が変化していること、すなわちエッジが途切れていることが判るので、エッジ途切れ位置が検出される。この結果、エッジラベル番号１と２とを連結できることが判る。一方、分割小領域６と７には、エッジラベル番号２以外に、エッジラベル番号３が存在している。このエッジラベル番号３については、無関係なエッジであると判断できるので、これを排除するために、フィルタリングを行う。ここではエッジの内で、単独で分割小領域をカバーしている図１８（ｂ）の例においては、エッジラベル番号２が単独で分割小領域８、９をカバーしているため、このエッジラベル番号２は正しい、と仮定する。
（連結最大距離）
【００７９】
ここで設定される画像処理パラメータとして「連結最大距離」が挙げられる。連結最大距離は、エッジの接続関係を解析するにあたり、どこまで離れたエッジ対まで接続する可能性があるかを決定する指標である。極端に離れたエッジ同士を接続すると、形状の信頼性が損なわれる場合があるので、上限を指定することで信頼性を高めることができる。基本的には規定値（表１の例では８０画素）とし、詳細設定画面から変更可能（表１の例では１〜２５５画素）とする。
（ステップＳ１２０５ 連結実処理）
【００８０】
このようにしてステップＳ１２０４でエッジ途切れ位置の推定結果が得られると、これに基づいてステップＳ１２０５でエッジを接続する連結実処理がエッジ対連結手段１１により行われる。ここでは、各エッジにつき、（１）エッジの接続関係が確定している場合、（２）エッジの接続関係が確定していない場合、（３）接続できない場合、の３つの場合に分けて、各エッジにつきいずれかの処理が行われる。
（（１）エッジの接続関係が確定している場合）
【００８１】
まず、エッジの接続関係が確定している場合は、接続するエッジ対の端点同士が滑らかになるように接続する。ここでは図２０に示すベジェ曲線等が利用できる。
（（２）エッジの接続関係が確定していない場合）
【００８２】
一方、エッジの接続関係が確定していない場合は、推定結果に基づき、可能性のある全てのエッジの組み合わせについて連結の良否を表す「連結スコア」を演算手段６で演算する。そして連結スコアが最も高くなるエッジ対同士を接続する。なお連結スコアは、連結部分における滑らかさの指標、エッジ方向に関する信頼性の指標（詳細は後述）等から算出している。この例では、（連結スコア）＝（信頼性指標）×（滑らかさ指標）としている。
（信頼性指標）
【００８３】
ここで信頼性指標とは、図２１に示すようにエッジ方向と微分勾配の直交度合いを示している。直交している程信頼性が高い。エッジ画像においては、微分の勾配方向を示すため直交している状態が最も信頼性が高いと言える。具体的には、図２１（ｂ）に示すように微分の勾配方向は、エッジの接線方向と理想的には直交する。いいかえると、微分の勾配方向と直交する線とエッジの傾斜方向と一致しているほどエッジが安定的に検出されていると言える。そこで、対象となるエッジ点各々につきエッジ方向を求め、図２１（ａ）に示すように基準となるエッジ点についての微分勾配方向の直交方向と、対象となるエッジの傾斜方向との角度のずれ（角度差θ）を、このエッジ対同士のエッジ方向に関する信頼性の指標として利用できる。ここでは、角度のずれをθで表し、ｃｏｓθで信頼性を評価している。すなわち信頼性指標が１に近いほど、信頼性が高いと言える。このようなエッジ角度の情報を効果的に利用できる。
（滑らかさ指標）
【００８４】
一方、滑らかさ指標とは、エッジ対を連結する際の連結線の滑らかさを示す指標である。ここでは図２２に示すように、滑らかさを計算する当該エッジに対して、着目点から前後方向（図では左右方向）へのエッジ方向を、それぞれ単位ベクトルに正規化し、両者間の距離を滑らかさの指標とする。また滑らかさ指標を曲率で代用することもできる。
【００８５】
図２３に示すように、最大連結距離の範囲内で、エッジ同士を連結する可能性のある複数の候補の中から、連結スコアの演算結果に基づいて連結先を決定する。図２３（ａ）に示す例では、右側の連結元を基準として演算した連結先候補２の連結スコアが、連結先候補１の連結スコアよりも高いため、図２３（ｂ）に示すように連結先候補２を連結先として選択し、両者間が滑らかになるように連結する。
（３）接続できない場合）
（強制接続処理）
【００８６】
さらに、エッジの端点が見つけられない、エッジ同士が離れすぎている等、どうしてもエッジ端点同士を接続できない場合には、非常手段として強制接続処理が行われる。強制接続処理では、分割小領域に区画する際の境界線を利用して、エッジ途切れ位置の分割小領域を構成する外周に沿う形でエッジを連結する。
【００８７】
ここでの画像処理パラメータとしては、「抽出方向」が挙げられる。抽出方向は、本来的には後述する領域設定（図３におけるステップＳ２０４）に関係する画像処理パラメータであるが、強制接続においてもこの画像処理パラメータを利用して、分割小領域の内側に沿って連結するか、外側に沿って連結するかを決定することができる。ここでは、図２４に示すように分割小領域の中心に近い側を内側、遠い側を外側と定義している。なお、ここでは分割小領域を区画する境界線を利用してエッジを強制的に連結しているが、強制接続用のグリッド線を別途設ける等、強制接続用の異なる基準を用意することもできる。また抽出領域用パラメータと強制接続処理用パラメータとを別途設定することも可能である。
【００８８】
図２５に、強制接続処理の例を示す。この例において、図２５（ａ）のように端縁のない部分同士を連結するにあたり、抽出方向の設定に従い、内側の場合は図２５（ｂ）のように分割小領域の上側に沿った連結を、外側の場合は図２５（ｃ）のように分割小領域の下側に沿った連結が行われる。
【００８９】
ここで、領域設定処理（図３におけるステップＳ２０４）の３つの処理内容である（１）領域抜き出し（２）領域の形状補正（３）領域の膨張／収縮について、それぞれ説明する。
（（１）領域抜き出し）
【００９０】
まず領域抜き出しでは、輪郭のエッジの内側又は外側を領域として抽出する。ここでの画像処理パラメータは、「抽出方向」が挙げられる。抽出方向は、通常変更パラメータとして設けられており、輪郭エッジの内側を領域とするか外側を領域とするかを指定する（表１の例では内側を規定値としている）。これにより、図２６（ａ）に示すように検出された輪郭エッジに対して、計測領域が図２６（ｂ）、（ｃ）のいずれかに設定される。
（（２）領域の形状補正）
【００９１】
次に領域の形状補正を行う。検出された輪郭エッジには、図２７（ａ）に示すようにヒゲ状のエッジ枝分かれ部分が発生することがある。この部分を除去するために、上記（１）領域抜き出しを行った後（図２７（ｂ））、領域の形状補正を行う。この結果、図２７（ｃ）に示すように、枝分かれのない輪郭のみが得られる。
（（３）領域の膨張／収縮）
【００９２】
最後に、領域の膨張／収縮を行う。領域の膨張／収縮は、図２８に示すように抽出した領域を（ａ）膨張又は（ｂ）収縮するオフセット処理である。実画像では輪郭境界部において影が存在する等、画像間の輪郭の揺らぎやスケーリングによる誤差が生じることがある。そこで、抽出した領域にマージンを持たせることで、このような影響を低減することができる。ここでの画像処理パラメータとしては、「マージン」が挙げられる。マージンは、通常変更パラメータとして設けられており、抽出した領域の拡大又は縮小量を０〜２５５画素の範囲で設定する（表１の例では規定値を０ととしている）。これにより、領域周辺に影の影響がある場合等に、周囲をカットすることでその影響を減らす。
【００９３】
このようにして、入力画像に対し、エッジを検出、連結して、適切な計測領域を設定することが可能となる。また、一旦設定した計測領域を運用時に固定して使用する他、補正させたり、あるいは運用時に毎回計測領域を演算して、より正確な処理を行わせることもできる。
【００９４】
なお上記の例では、計測領域の指定を、毎回更新する輪郭追従モードについて説明した。このモードでは、例えばトリガが入力される等、所定のタイミングでエッジ抽出を行い計測領域を計算し直して更新する。ただこの方式に限らず、予めユーザが指定した領域に計測領域を固定して利用する固定輪郭モードとしてもよい。また、前段で抽出された輪郭に従って、次段の計測領域を自動で設定する方式を採用することもできる。
（演算結果の表示態様）
【００９５】
演算されたエッジは、表示部に表示される。この際、元の画像イメージと重ねてエッジを表示させることで、エッジ検出結果を元画像と対比し易くできる。さらに、上述した図８に示すように、表示部において検出、演算されたエッジを表示する際に、エッジを構成するセグメントの内、輪郭抽出によって得られたエッジで構成される抽出セグメントＴと、エッジ連結機能によりセグメント同士を連結した連結セグメントＲとを、異なる態様で表示させることもできる。
（評価手法）
【００９６】
さらに、このようにして演算されたエッジ画像について、信頼性の指標を演算し、表示させることもできる。例えば、本来的にエッジとして検出された抽出セグメントＴの比率が高いと、信頼性が高く、逆にエッジを演算により連結した連結セグメントＲの長さが長いほど、信頼性が低いと考えられるので、エッジ長さの内、抽出セグメントＴと、連結セグメントＲの比率を信頼性の指標として利用できる。
（データ処理方法）
【００９７】
上記の方法では、処理に使用するデータとして基本的に画像（以下、画像データと呼ぶ。）を使用している。ただ、処理に際しては画像での処理に限られず数値や配列等のデータ（以下、「配列データ」と呼ぶ。）を用いることも可能である。画像データは、例えば６４０×４８０ビットのデータサイズであれば、全面の各画素について、座標位置毎の値を有する。これに対し、配列データを利用する場合は、エッジ画像のエッジ部分に相当する位置のみに、値を有している。このためデータ量が相対的に少なく、必要な処理量も低減できる。したがって画像データに変わって配列データを用いることで、より高速な処理が可能となる。
（輪郭抽出プログラムのユーザインターフェース）
【００９８】
以上の設定を行う輪郭抽出プログラムのユーザインターフェースの例を図２９〜図３２に示す。これらのユーザインターフェースは、表示手段３に表示され、ユーザは操作手段２を操作して画像処理パラメータ等、各種設定を行う。これらのユーザインターフェース画面では、画面左側に入力画像や検出された輪郭等のイメージを表示するイメージ表示領域２１、画面右側に設定項目を表示する設定表示領域２２が、それぞれ設けられている。ユーザはこの画面から、画像処理の対象領域となる計測領域や画像処理の対象外とするマスク領域を設定できる。この例では計測領域を一つ、マスク領域を複数設定できる。さらに検査対象のワークや登録画像から輪郭を抽出して、これを輪郭抽出領域として、計測領域やマスク領域に利用できる。
【００９９】
計測領域やマスク領域の設定は、設定表示領域２２で行う。具体的には、設定表示領域２２の計測領域欄２３に設けられた編集ボタン２４、又はマスク領域欄２５に設けられた追加ボタン２６を押下すると、図２９に示すように「領域形状の選択」ダイヤログ２７が表示される。ここでは領域形状の選択肢がプルダウン式に表示され、矩形や回転矩形、円、楕円、円周、円弧、多角形、エッジ検出矩形領域、エッジ検出円領域、輪郭抽出等の候補が表示される。ここで「輪郭抽出」を選択すると、図３０の画面となり、輪郭抽出処理のための編集ダイヤログ２８が表示される。ユーザは輪郭抽出処理に関する画像処理パラメータ（例えば表１に示すパラメータ）を設定できる。図３０の画面から輪郭領域ボタン２９を押下すると、図３１の画面となり、領域形状の選択ダイヤログ３０が表示され、ユーザは輪郭として抽出される形状を選択する。ここでも、矩形、回転矩形、楕円、多角形等の選択肢がプルダウン式にリスト表示され、ユーザは所望の形状を選択できる。このようにして画像処理パラメータを設定した後、エッジ抽出、連結処理を実行すると、図３２の画面となり、入力画像上に検出された輪郭が重ねて表示される。この画面で、ダウンサンプリング数やエッジ強度下限等のエッジ検出条件を変化させると、これに応じたエッジ検出結果にイメージ表示領域２１が更新される。イメージ表示領域２１におけるエッジ検出結果の表示方法は、例えば図７（ｅ）や図８に示したように適宜変更できる。
【０１００】
さらに、輪郭に基づいて、設定されたマージンに従い、計測領域が設定される。図３２の例では、検出された円環状の周囲に、計測領域が幅広の円環状に設定される。またイメージ表示領域２１の左上には、検出された輪郭につき、輪郭完全度、強制接続の回数、領域面積等のエッジ連結処理結果に関する情報表示欄３１が設けられる。ここで輪郭完全度とは、（検出されたエッジの長さの和）／（輪郭全長）であり、ここでは（９８０／１００２＝）９８％と演算され、約２％の輪郭がエッジ同士を連結した成分となる。また、強制接続の回数が少ないほど、エッジ連結処理の信頼度が高いことも確認できる。
（動作モード）
【０１０１】
さらに編集ダイヤログの上段には、運用時における計測領域の設定に関する動作モードを選択するための動作モード選択欄３２が設けられている。ここでは動作モードとして輪郭追従モードと固定輪郭モードのいずれかが選択できる。輪郭追従モードでは、ワークに対して毎回輪郭検出を行う。一方固定輪郭モードでは、運用前の設定段階で予め所定の登録画像に対して輪郭領域を検出してパターン登録しておき、この登録パターンを計測領域として運用時に毎回呼び出して利用する。いいかえると、固定輪郭モードでは運用時には輪郭抽出処理を行わないため、高速、低負荷な処理を行える。反面、ワークの位置ずれ等で検出精度が低下する虞がある。このため、登録パターンの適用前にワークの位置補正を行うことが好ましい。
【０１０２】
なお、本実施の形態においては、画像データでエッジ連結処理を行っている。ただ、画像データに限られず、例えばエッジ強度情報やエッジ角度情報等、配列データを用いてエッジ連結処理を行うことも可能である。
【０１０３】
また、エッジ連結等の画像処理においては、ワークである対象物全体の輪郭に限らず、一部分の輪郭を対象とすることもできる。例えば角形のチップではチップ全体の形状のみならず、リードや半田バンプの部分を対象として画像処理を行える。本明細書においては、このような対象物の一部分も含めて、画像処理の対象をワークと呼ぶ。
【産業上の利用可能性】
【０１０４】
本発明のエッジ画像のエッジ連結方法、輪郭抽出方法、対象領域設定方法、輪郭抽出装置、輪郭抽出プログラム及びコンピュータで読み取り可能な記録媒体は、ＦＡ分野で利用される画像処理におけるワークの座標位置や回転角度等の位置検出、外径や内径、幅等の位置計測、認識、識別、判定、検査等に好適に適用できる。例えば、ＩＣの電極のボンディングのための電極の位置決め等に利用できる。
【図面の簡単な説明】
【０１０５】
【図１】ワークの画像を撮像して画像処理を行い輪郭を抽出し、欠陥検査処理を行う輪郭抽出システムを示すブロック図である。
【図２】画像処理装置のブロック図である。
【図３】輪郭抽出装置で入力画像から輪郭を抽出し、計測領域を決定する処理の流れを示すフローチャートである。
【図４】輪郭追従モードで欠陥検査を行う手順を示すフローチャートである。
【図５】固定輪郭モードで欠陥検査を行う手順を示すフローチャートである。
【図６】輪郭抽出条件設定の詳細を示すフローチャートである。
【図７】図６の輪郭抽出条件設定が画像処理に反映される様子を示すイメージ図である。
【図８】エッジの検出結果の表示例を示すイメージ図である。
【図９】計測領域の設定手順を示すイメージ図である。
【図１０】エッジ抽出処理の通常モードの処理を示すフローチャートである。
【図１１】エッジ抽出処理の通常モードの処理を説明するイメージ図である。
【図１２】エッジ連結処理の手順を示すフローチャートである。
【図１３】従来のエッジ連結処理の結果がばらつく様子を説明するイメージ図である。
【図１４】エッジ連結安定化処理を説明するイメージ図である。
【図１５】エッジ連結処理の手順を示すフローチャートである。
【図１６】エッジ長さによるフィルタリングを説明する模式図である。
【図１７】計測領域を複数の分割小領域に分割する様子を示すイメージ図である。
【図１８】エッジ対の接続関係を特定できる例を示す模式図である。
【図１９】エッジ対の接続関係を特定できない例を示す模式図である。
【図２０】ベジエ曲線を利用したエッジ対の接続例を示す模式図である。
【図２１】信頼性指標を説明する模式図である。
【図２２】滑らかさ指標を説明する模式図である。
【図２３】エッジの接続関係が確定していない場合におけるエッジ対の決定を説明する模式図である。
【図２４】抽出方向を説明する模式図である。
【図２５】強制接続処理を説明する模式図である。
【図２６】領域設定処理の領域抜き出しを説明する模式図である。
【図２７】領域の形状補正を説明する模式図である。
【図２８】オフセット処理を説明する模式図である。
【図２９】輪郭抽出プログラムのユーザインターフェースを示すイメージ図である。
【図３０】輪郭抽出プログラムのユーザインターフェースを示すイメージ図である。
【図３１】輪郭抽出プログラムのユーザインターフェースを示すイメージ図である。
【図３２】輪郭抽出プログラムのユーザインターフェースを示すイメージ図である。
【符号の説明】
【０１０６】
１００…画像処理装置
１…画像入力手段
２…操作手段
３…表示手段
４…記憶手段
５…計測領域指定手段
６…演算手段
７…エッジ抽出手段
８…ラベリング手段
９…小領域分割手段
１０…エッジ対推定手段
１１…エッジ対連結手段
２１…イメージ表示領域
２２…設定表示領域
２３…計測領域欄
２４…編集ボタン
２５…マスク領域欄
２６…追加ボタン
２７…「領域形状の選択」ダイヤログ
２８…編集ダイヤログ
２９…輪郭領域ボタン
３０…領域形状の選択ダイヤログ
３１…情報表示欄
３２…動作モード選択欄
２００…画像処理装置；２０１…カメラ；２０２…コンソール；２０３…モニタ
Ｗ…ワーク；Ｔ…抽出セグメント；Ｒ…連結セグメント
【特許請求の範囲】
【請求項１】
複数のエッジを含むエッジ画像において、該複数のエッジの中から対応するエッジ同士を連結する方法であって、
計測領域を複数の分割小領域に分割して各々小領域番号を付与すると共に、各エッジに対して個別のエッジラベルを付与する工程と、
各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出する工程と、
エッジが途切れている分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定する工程と、
推定されたエッジ対同士を連結する工程と、
を含むことを特徴とするエッジ画像のエッジ連結方法。
【請求項２】
請求項１に記載のエッジ画像のエッジ連結方法において、
前記接続すべきエッジ同士の対を推定する工程が、
任意の分割小領域において３以上のエッジラベルが存在し、エッジ同士の対応関係を特定できない場合、可能性のあるエッジ同士の組み合わせをリストアップし、各組合わせに対し、少なくともエッジ対連結部分における滑らかさの指標と、信頼性に関する指標のいずれかに基づいてエッジ連結の良否を示す連結スコアを演算し、連結スコアの高い組み合わせを採用することを特徴とするエッジ画像のエッジ連結方法。
【請求項３】
請求項２に記載のエッジ画像のエッジ連結方法において、
滑らかさ指標が、エッジの滑らかさに関する指標であり、
信頼性指標が、エッジ方向と微分勾配の直交度合いに関する指標であることを特徴とするエッジ画像のエッジ連結方法。
【請求項４】
請求項１から３のいずれか一に記載のエッジ画像のエッジ連結方法において、
前記接続すべきエッジ対を推定する工程が、
任意の分割小領域においてエッジラベルが一のみ存在する場合は、該エッジラベルを真と判断し、当該真のエッジラベルが存在する他の分割小領域中において、他のエッジラベルも含まれる場合は、当該他のエッジラベルを偽と判断してエッジ対の候補から排除することを特徴とするエッジ画像のエッジ連結方法。
【請求項５】
請求項１から４のいずれか一に記載のエッジ画像のエッジ連結方法において、
前記接続すべきエッジ対を推定する工程が、
エッジ対の候補に対し、エッジ同士の連結すべき距離が予め設定された連結最大距離よりも大きい場合は、該候補を排除することを特徴とするエッジ画像のエッジ連結方法。
【請求項６】
請求項１から５のいずれか一に記載のエッジ画像のエッジ連結方法において、
前記推定に従ってエッジ対同士を連結する工程が、接続するエッジ対の端点同士が滑らかになるように接続することを特徴とするエッジ画像のエッジ連結方法。
【請求項７】
請求項１から６のいずれか一に記載のエッジ画像のエッジ連結方法において、
小領域番号及びエッジラベル付与工程に先立ち、検出されたエッジが分岐部分を含む場合に、該分岐部分でエッジを分断するエッジ連結安定化処理を含むことを特徴とするエッジ画像のエッジ連結方法。
【請求項８】
請求項１から７のいずれか一に記載のエッジ画像のエッジ連結方法において、
小領域番号及びエッジラベル付与工程に先立ち、予め設定されたエッジの長さの閾値に基づき、該エッジ長さ閾値よりも短いエッジを排除するエッジ長さフィルタリング処理を含むことを特徴とするエッジ画像のエッジ連結方法。
【請求項９】
請求項１から８のいずれかに記載のエッジ画像のエッジ連結方法において、
前記接続すべきエッジ対を推定する工程で使用される画像処理のための画像処理パラメータとして、輪郭形状、輪郭領域幅、ダウンサンプリング数、検出閾値、処理モード、安定化処理スイッチ、エッジ長さ閾値、連結最大距離、抽出方向、マージンの少なくとも一を含むことを特徴とするエッジ画像のエッジ連結方法。
【請求項１０】
請求項１から９のいずれかに記載のエッジ画像のエッジ連結方法において、
接続すべきエッジ同士の対を推定できない場合に、分割小領域を区画する境界線に基づいて強制的に連結可能としたことを特徴とするエッジ画像のエッジ連結方法。
【請求項１１】
請求項１から１０のいずれかに記載のエッジ画像のエッジ連結方法において、
該エッジ連結方法が、画像処理における輪郭抽出工程に用いられることを特徴とするエッジ画像のエッジ連結方法。
【請求項１２】
入力画像から輪郭を抽出する方法であって、
入力画像中で計測領域を指定する工程と、
指定された計測領域中から、入力画像の微分強度画像に基づいて複数のエッジを抽出する工程と、
抽出された複数のエッジの内、対応すると思われるエッジ同士を連結する工程と、
連結されたエッジで輪郭を構成する工程と、
を含み、
前記エッジ同士を連結する工程が、
計測領域を複数の分割小領域に分割して各々小領域番号を付与すると共に、各エッジに対して個別のエッジラベルを付与する工程と、
各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出する工程と、
エッジが途切れている分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定する工程と、
推定されたエッジ対同士を連結する工程と、
を含むことを特徴とする輪郭抽出方法。
【請求項１３】
入力画像から輪郭を抽出可能な輪郭抽出装置であって、
入力画像を入力する画像入力手段と、
前記画像入力手段で入力された入力画像に対し、計測領域を指定するための計測領域指定手段と、
前記計測領域指定手段で指定された計測領域中から、入力画像の微分強度画像に基づいて複数のエッジを抽出するためのエッジ抽出手段と、
前記エッジ抽出手段で抽出された複数のエッジの各々に対し、個別のエッジラベルを付与するラベリング手段と、
前記計測領域指定手段で指定された計測領域を複数の分割小領域に分割して各々小領域番号を付与する小領域分割手段と、
前記小領域分割手段で分割された各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出し、該分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定するエッジ対推定手段と、
推定されたエッジ対同士を連結するエッジ対連結手段と、
を備えることを特徴とする輪郭抽出装置。
【請求項１４】
請求項１３に記載の輪郭抽出装置であって、
前記エッジ対推定手段が、任意の分割小領域において３以上のエッジラベルが存在し、エッジ同士の対応関係を特定できない場合、可能性のあるエッジ同士の組み合わせをリストアップし、各組合わせに対し、少なくともエッジ対連結部分における滑らかさの指標と、信頼性に関する指標のいずれかに基づいてエッジ連結の良否を示す連結スコアを演算し、連結スコアの高い組み合わせを採用するよう構成してなることを特徴とする輪郭抽出装置。
【請求項１５】
入力画像から輪郭を抽出可能な輪郭抽出プログラムであって、
入力画像を入力する機能と、
入力された入力画像に対し、計測領域を指定する機能と、
指定された計測領域中から、入力画像の微分強度画像に基づいて複数のエッジを抽出する機能と、
抽出された複数のエッジの各々に対し、個別のエッジラベルを付与する機能と、
指定された計測領域を複数の分割小領域に分割して各々小領域番号を付与する機能と、
分割された各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出し、該分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定する機能と、
推定されたエッジ対同士を連結する機能と、
をコンピュータに実現させることを特徴とする輪郭抽出プログラム。
【請求項１６】
請求項１５に記載の輪郭抽出プログラムであって、
エッジ対推定機能が、任意の分割小領域において３以上のエッジラベルが存在し、エッジ同士の対応関係を特定できない場合、可能性のあるエッジ同士の組み合わせをリストアップし、各組合わせに対し、少なくともエッジ対連結部分における滑らかさの指標と、信頼性に関する指標のいずれかに基づいてエッジ連結の良否を示す連結スコアを演算し、連結スコアの高い組み合わせを採用することを特徴とする輪郭抽出プログラム。
【請求項１７】
請求項１５又は１６に記載の輪郭抽出プログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項１】
複数のエッジを含むエッジ画像において、該複数のエッジの中から対応するエッジ同士を連結する方法であって、
計測領域を複数の分割小領域に分割して各々小領域番号を付与すると共に、各エッジに対して個別のエッジラベルを付与する工程と、
各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出する工程と、
エッジが途切れている分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定する工程と、
推定されたエッジ対同士を連結する工程と、
を含むことを特徴とするエッジ画像のエッジ連結方法。
【請求項２】
請求項１に記載のエッジ画像のエッジ連結方法において、
前記接続すべきエッジ同士の対を推定する工程が、
任意の分割小領域において３以上のエッジラベルが存在し、エッジ同士の対応関係を特定できない場合、可能性のあるエッジ同士の組み合わせをリストアップし、各組合わせに対し、少なくともエッジ対連結部分における滑らかさの指標と、信頼性に関する指標のいずれかに基づいてエッジ連結の良否を示す連結スコアを演算し、連結スコアの高い組み合わせを採用することを特徴とするエッジ画像のエッジ連結方法。
【請求項３】
請求項２に記載のエッジ画像のエッジ連結方法において、
滑らかさ指標が、エッジの滑らかさに関する指標であり、
信頼性指標が、エッジ方向と微分勾配の直交度合いに関する指標であることを特徴とするエッジ画像のエッジ連結方法。
【請求項４】
請求項１から３のいずれか一に記載のエッジ画像のエッジ連結方法において、
前記接続すべきエッジ対を推定する工程が、
任意の分割小領域においてエッジラベルが一のみ存在する場合は、該エッジラベルを真と判断し、当該真のエッジラベルが存在する他の分割小領域中において、他のエッジラベルも含まれる場合は、当該他のエッジラベルを偽と判断してエッジ対の候補から排除することを特徴とするエッジ画像のエッジ連結方法。
【請求項５】
請求項１から４のいずれか一に記載のエッジ画像のエッジ連結方法において、
前記接続すべきエッジ対を推定する工程が、
エッジ対の候補に対し、エッジ同士の連結すべき距離が予め設定された連結最大距離よりも大きい場合は、該候補を排除することを特徴とするエッジ画像のエッジ連結方法。
【請求項６】
請求項１から５のいずれか一に記載のエッジ画像のエッジ連結方法において、
前記推定に従ってエッジ対同士を連結する工程が、接続するエッジ対の端点同士が滑らかになるように接続することを特徴とするエッジ画像のエッジ連結方法。
【請求項７】
請求項１から６のいずれか一に記載のエッジ画像のエッジ連結方法において、
小領域番号及びエッジラベル付与工程に先立ち、検出されたエッジが分岐部分を含む場合に、該分岐部分でエッジを分断するエッジ連結安定化処理を含むことを特徴とするエッジ画像のエッジ連結方法。
【請求項８】
請求項１から７のいずれか一に記載のエッジ画像のエッジ連結方法において、
小領域番号及びエッジラベル付与工程に先立ち、予め設定されたエッジの長さの閾値に基づき、該エッジ長さ閾値よりも短いエッジを排除するエッジ長さフィルタリング処理を含むことを特徴とするエッジ画像のエッジ連結方法。
【請求項９】
請求項１から８のいずれかに記載のエッジ画像のエッジ連結方法において、
前記接続すべきエッジ対を推定する工程で使用される画像処理のための画像処理パラメータとして、輪郭形状、輪郭領域幅、ダウンサンプリング数、検出閾値、処理モード、安定化処理スイッチ、エッジ長さ閾値、連結最大距離、抽出方向、マージンの少なくとも一を含むことを特徴とするエッジ画像のエッジ連結方法。
【請求項１０】
請求項１から９のいずれかに記載のエッジ画像のエッジ連結方法において、
接続すべきエッジ同士の対を推定できない場合に、分割小領域を区画する境界線に基づいて強制的に連結可能としたことを特徴とするエッジ画像のエッジ連結方法。
【請求項１１】
請求項１から１０のいずれかに記載のエッジ画像のエッジ連結方法において、
該エッジ連結方法が、画像処理における輪郭抽出工程に用いられることを特徴とするエッジ画像のエッジ連結方法。
【請求項１２】
入力画像から輪郭を抽出する方法であって、
入力画像中で計測領域を指定する工程と、
指定された計測領域中から、入力画像の微分強度画像に基づいて複数のエッジを抽出する工程と、
抽出された複数のエッジの内、対応すると思われるエッジ同士を連結する工程と、
連結されたエッジで輪郭を構成する工程と、
を含み、
前記エッジ同士を連結する工程が、
計測領域を複数の分割小領域に分割して各々小領域番号を付与すると共に、各エッジに対して個別のエッジラベルを付与する工程と、
各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出する工程と、
エッジが途切れている分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定する工程と、
推定されたエッジ対同士を連結する工程と、
を含むことを特徴とする輪郭抽出方法。
【請求項１３】
入力画像から輪郭を抽出可能な輪郭抽出装置であって、
入力画像を入力する画像入力手段と、
前記画像入力手段で入力された入力画像に対し、計測領域を指定するための計測領域指定手段と、
前記計測領域指定手段で指定された計測領域中から、入力画像の微分強度画像に基づいて複数のエッジを抽出するためのエッジ抽出手段と、
前記エッジ抽出手段で抽出された複数のエッジの各々に対し、個別のエッジラベルを付与するラベリング手段と、
前記計測領域指定手段で指定された計測領域を複数の分割小領域に分割して各々小領域番号を付与する小領域分割手段と、
前記小領域分割手段で分割された各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出し、該分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定するエッジ対推定手段と、
推定されたエッジ対同士を連結するエッジ対連結手段と、
を備えることを特徴とする輪郭抽出装置。
【請求項１４】
請求項１３に記載の輪郭抽出装置であって、
前記エッジ対推定手段が、任意の分割小領域において３以上のエッジラベルが存在し、エッジ同士の対応関係を特定できない場合、可能性のあるエッジ同士の組み合わせをリストアップし、各組合わせに対し、少なくともエッジ対連結部分における滑らかさの指標と、信頼性に関する指標のいずれかに基づいてエッジ連結の良否を示す連結スコアを演算し、連結スコアの高い組み合わせを採用するよう構成してなることを特徴とする輪郭抽出装置。
【請求項１５】
入力画像から輪郭を抽出可能な輪郭抽出プログラムであって、
入力画像を入力する機能と、
入力された入力画像に対し、計測領域を指定する機能と、
指定された計測領域中から、入力画像の微分強度画像に基づいて複数のエッジを抽出する機能と、
抽出された複数のエッジの各々に対し、個別のエッジラベルを付与する機能と、
指定された計測領域を複数の分割小領域に分割して各々小領域番号を付与する機能と、
分割された各分割小領域に含まれるエッジの分布から、エッジが途切れている分割小領域を抽出し、該分割小領域において、近傍のエッジラベルから接続すべきエッジ同士の対を推定する機能と、
推定されたエッジ対同士を連結する機能と、
をコンピュータに実現させることを特徴とする輪郭抽出プログラム。
【請求項１６】
請求項１５に記載の輪郭抽出プログラムであって、
エッジ対推定機能が、任意の分割小領域において３以上のエッジラベルが存在し、エッジ同士の対応関係を特定できない場合、可能性のあるエッジ同士の組み合わせをリストアップし、各組合わせに対し、少なくともエッジ対連結部分における滑らかさの指標と、信頼性に関する指標のいずれかに基づいてエッジ連結の良否を示す連結スコアを演算し、連結スコアの高い組み合わせを採用することを特徴とする輪郭抽出プログラム。
【請求項１７】
請求項１５又は１６に記載の輪郭抽出プログラムを記録したコンピュータで読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図１２】
【図１５】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図７】
【図８】
【図９】
【図１１】
【図１３】
【図１４】
【図１７】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図１２】
【図１５】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図７】
【図８】
【図９】
【図１１】
【図１３】
【図１４】
【図１７】
【図２９】
【図３０】
【図３１】
【図３２】
【公開番号】特開２００９−１５７３５（Ｐ２００９−１５７３５Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００７−１７９１３１（Ｐ２００７−１７９１３１）
【出願日】平成１９年７月７日（２００７．７．７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成１９年７月７日（２００７．７．７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]