カラー画像の処理方法および画像処理装置
【課題】複数の色彩を有する対象物の色欠陥を、容易かつ精度良く検出する。
【解決手段】複数の色彩を有する対象物がカラーカメラ２により撮像され、この撮像により生成された各色成分の画像データが画像メモリ１２，１３，１４に格納されると、ＣＰＵ１０は、これら３種類の画像データにより構成されるカラー画像と基準画像メモリ１５，１６，１７に登録されている基準画像とを画素単位で対応づけし、対応関係にある画素の組毎に画素間の色差を求めると共に、色差が所定のしきい値を超えた画素の組み合わせを計数する。この計数値が所定の許容値を超えたとき、ＣＰＵ１０は、対象物に色彩欠陥があると判別する。
【解決手段】複数の色彩を有する対象物がカラーカメラ２により撮像され、この撮像により生成された各色成分の画像データが画像メモリ１２，１３，１４に格納されると、ＣＰＵ１０は、これら３種類の画像データにより構成されるカラー画像と基準画像メモリ１５，１６，１７に登録されている基準画像とを画素単位で対応づけし、対応関係にある画素の組毎に画素間の色差を求めると共に、色差が所定のしきい値を超えた画素の組み合わせを計数する。この計数値が所定の許容値を超えたとき、ＣＰＵ１０は、対象物に色彩欠陥があると判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、赤、緑、青の各色成分の濃度データから成るカラー画像を用いて複数の色彩を有する対象物における色彩欠陥を検出する画像処理方法および画像処理装置に関する。
【背景技術】
【０００２】
従来から行われている代表的なカラー画像処理では、ユーザーに所定の色彩を指定させることによって、各色成分の濃度データの組み合わせによる３次元の画像データを、前記指定された色彩に対する色差という一次元のデータに変換し、その色差データの大きさを用いた処理を実行するようにしている（特許文献１参照）。
【０００３】
また、色彩の異常が生じた部分を欠陥として抽出する場合、あらかじめ正常な色彩を基準色として登録しておき、計測対象の画像を構成する画素毎に前記基準色との色差を求めることも提案されている（特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２０３４７６号公報
【特許文献２】特開平１１−１０８７５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図９は、カラー画像上の各画素を１次元の色差データに置き換える処理の概要を、各色成分に対応する３軸による仮想空間（以下、「色空間」という。）における関係にして示したものである。ユーザーにより指定された色彩は、この色空間内の特定の点Ｑに対応するものとなる。ここで、この色空間における点Ｑからの距離により色差を表すと、前記点Ｑを中心とする球体の面上の点に対応する色彩は、すべて同じ値で表されることになる。図９では、点Ｑの値を２５５として、１５０，１００，５０の各濃度値に変換される範囲を、球体の断面の輪郭に模式化して示す。
【０００６】
ユーザーに色彩を指定させる場合、ユーザーによって、また同じユーザーでも時によって、指定する色彩が変動する可能性がある。指定色が変動すると、上記点Ｑの位置も変わることになるから、各画素における色差の値も異なるものとなる。すなわち、特許文献１，２のように、画像上の所定位置の色彩を基準色とした場合、その基準色の選択によって、色差として変換された画像上の濃度分布が変動することになる。さらに、このような濃度分布の変動により、対象物の測定結果や欠陥の検出結果まで変わってしまうおそれがある。
【０００７】
また、従来の方法は、特定の一色を基準色とするものであるから、複数の色彩による模様が表された対象物など、計測対象の色彩が複数種ある場合の対応が困難となる。
【０００８】
この発明は上記各問題に着目してなされたもので、複数種の色彩を有する対象物における色彩欠陥の検出を容易にし、かつ精度の高い処理結果を得られるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
この発明は、赤、緑、青の各色成分の濃度データから成るカラー画像を処理する方法に適用される。この発明にかかる画像処理方法では、複数の色彩を有する対象物のモデルのカラー画像を基準画像として登録し、当該対象物を撮像することにより生成されたカラー画像を処理対象画像として、この処理対象画像中の対象物を抽出し、この抽出結果に基づき処理対象画像と基準画像とを画素単位で対応づけて、対応関係にある画素の組毎に画素間の色差を求めると共に、前記色差が所定のしきい値を超えた画素の組み合わせを計数する。そして、色差がしきい値を超えた画素の組み合わせの数が所定の許容値を超えたとき、対象物に色彩結果があると判別する。
【００１０】
上記の方法において、計測対象のカラー画像の各構成画素の色彩は、赤、緑、青の各濃度データの組み合わせにより表される。また、対応関係にある画素間の色差は、たとえば前記した色空間における距離として求めることができる。
【００１１】
上記の方法は、模様などによる複数種の色彩を有する対象物を対象とした色彩欠陥の検出に使用することができる。処理対象画像中の対象物を抽出する処理では、たとえば、処理対象画像をモノクロ画像に変換して、対象物のエッジを抽出する。また、基準画像に対する処理対象画像の回転ずれなどを補正しておくのが望ましい。
【００１２】
上記の方法によれば、ユーザーは、色彩の分布が適切なモデルのカラー画像を基準画像として登録することによって、色彩欠陥を安定して検出することができる。
【００１３】
上記の方法を実施するための画像処理装置は、赤、緑、青の各色成分の濃度データから成るカラー画像を入力する画像入力手段と、複数の色彩を有する対象物のモデルのカラー画像を基準画像として登録するためのメモリと、前記画像入力手段が複数の色彩を有する対象物を撮像することにより生成されたカラー画像を処理対象画像として入力したことに応じて、この処理対象画像中の対象物を抽出する抽出手段と、抽出手段による抽出結果に基づき、前記対象物につき前記メモリに登録された基準画像と処理対象画像とを画素単位で対応づけて、対応関係にある画素の組毎に画素間の色差を求めると共に、この色差が所定のしきい値を超えた画素の組み合わせを計数する演算手段と、前記色差がしきい値を超える画素の組み合わせが所定の許容値を超えたとき、対象物に色彩欠陥があると判別する判別手段とを具備する。
【００１４】
上記構成の装置において、画像入力手段は、カラー画像生成用の撮像手段に対するインターフェース回路とすることができる。また撮像手段がアナログカメラである場合、画像入力手段には、各色成分の濃度データをディジタル変換するＡ／Ｄ変換回路を含めることができる。
また、画像入力手段は、外部の装置からあらかじめ生成されたカラー画像を入力するための通信用のインターフェース回路や、所定の記憶媒体に格納されたカラー画像を読み出すドライブ装置として構成することもできる。
【００１５】
画像入力手段やメモリ以外の各手段は、プログラムが設定されたコンピュータにより構成するのが望ましい。ただし、必ずしもすべての手段をコンピュータにより構成する必要はなく、一部の手段をＡＳＩＣ（特定用途向けＩＣ）により構成することもできる。
【００１６】
さらに上記の画像処理装置には、色彩欠陥の検出結果や良／不良の判別結果などを表示したり、外部に出力するための手段を設けることができる。
【発明の効果】
【００１７】
この発明によれば、複数の色彩を有する対象物の色欠陥を検出する場合に、色彩分布が良好な対象物のモデルのカラー画像を基準画像として登録することによって、容易に対応することができる。また、画像中に含まれる色彩の数や種類に左右されることなく、色彩欠陥を検出する処理を、高い精度で実行することができる。
【図面の簡単な説明】
【００１８】
【図１】この発明にかかる画像処理装置の構成例を示すブロック図である。
【図２】欠陥検査１の手順を示すフローチャートである。
【図３】計測対象領域の分割例を示す図である。
【図４】欠陥検査２の手順を示すフローチャートである。
【図５】位置計測処理のための計測対象領域およびウィンドウの設定例を示す図である。
【図６】位置計測処理の手順を示すフローチャートである。
【図７】図６のＳＴ２０７〜２１１の処理の具体例を示す図である。
【図８】個数検査の手順を示すフローチャートである。
【図９】色差に基づく変換処理において同じ値が設定される範囲を示す図である。
【発明を実施するための形態】
【００１９】
図１は、この発明が適用された画像処理装置の基本構成を示す。この画像処理装置は、カラー画像生成用のカメラ２と本体部１とから成るもので、カメラ２により生成されたカラー画像を本体部１に取り込んで、色彩異常部位の有無を判別したり、画像中に含まれる対象物を抽出するなどの処理を実行する。本体部１は、ＣＰＵ１０、プログラム等が格納されたメモリ１１、処理結果を出力するための出力部１８などを有するもので、たとえばパーソナルコンピュータにより構成することができる。
【００２０】
さらに、この実施例の本体部１には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色成分毎に画像メモリ１２，１３，１４が設けられる。カメラ２から出力された各色成分の画像データは、それぞれ対応する画像メモリ１２，１３，１４に格納される。なお、この図には記載していないが、各画像メモリ１２，１３，１４への入力経路には、インターフェース回路やＡ／Ｄ変換回路などが設けられる。また、出力部１８には、外部の装置に処理結果を送信するための通信インターフェース回路や、図示しないモニタに処理結果を表示させるための表示用インターフェース回路などが含められる。
【００２１】
また、前記本体部１には、対象物のモデルのカラー画像から抽出された基準画像を登録するために、色成分毎の画像メモリ１５，１６，１７（以下、「基準画像メモリ１５，１６，１７」という。）が設けられる。
なお、前記メモリ１１は、ＲＯＭ，ＲＡＭのほか、ハードディスクなどの補助記憶装置を含むものとなる。また、基準画像メモリ１５，１６，１７および前記画像メモリ１２，１３，１４は、物理的には同一の記憶装置（前記ハードディスクなど）内に設定することができる。
【００２２】
以下、上記の画像処理装置で実施できる処理を４例あげ、各例の詳細な処理内容を説明する。なお、以下でいうところの「画像」は、いずれもＲ，Ｇ，Ｂの各画像データを組み合わせたものである。
【００２３】
（１）欠陥検査１
この検査は、無地の対象物の表面に、汚れやシミなどの欠陥により、本来とは異なる色彩が生じていないかどうかを検査するものである。図２は、この検査の手順を示す。
【００２４】
この手順は、カメラ２からの画像データが各画像メモリ１２，１３，１４に格納された時点からスタートする。まず、最初のステップ１（以下、ステップを「ＳＴ」と略す。）では、画像上の対象物に対して計測対象領域を設定する。なお、図２には詳細に記載していないが、計測領域を設定する際には、たとえば、入力された各色成分の画像データからモノクロ画像を作成し、そのモノクロ画像のエッジを抽出するなどして、対象物の画像を抽出する。そして、その抽出結果に基づき、元のカラー画像において、対象物の検査対象部位を含み、かつ背景部分など他の色彩を有する部位を含まないような計測対象領域を設定する。ただし、対象物が大きく位置ずれしない場合には、計測対象領域の設定位置をあらかじめ登録しておいてもよい。
【００２５】
つぎのＳＴ２では、前記計測対象領域を複数の小領域に分割する。この小領域の大きさは、抽出すべき欠陥の大きさに応じてあらかじめ設定される。図３はその具体例を示すもので、ｘ，ｙの各軸毎に計測対象領域２０を均等に分割することにより、複数個（図示例では１２個）の小領域が設定されている。
【００２６】
つぎのＳＴ３では、各小領域につき、それぞれその小領域内の各画素における濃度データをＲ，Ｇ，Ｂの各色成分別に平均化する。この平均化により得られたＲの平均値、Ｇの平均値、Ｂの平均値により表される色彩が平均色である。
【００２７】
つぎにＳＴ４において、カウンタｎを１に、色差の最大値Ｄmaxを０に、それぞれ初期設定する。そしてｎ番目の小領域に着目し、この小領域に上下左右のいずれかの方向で隣接する小領域に対する色差Ｄｎを算出する（ＳＴ５，６）。この色差Ｄｎは、色空間におけるユークリッド距離として求めることができる。すなわち、着目中の小領域における平均色を（Ｒ０，Ｇ０，Ｂ０）とし、隣接する小領域の平均色を（Ｒ１，Ｇ１，Ｂ１）とした場合、色差Ｄｎは、つぎの（１）式により算出することができる。
【００２８】
【数１】
【００２９】
ＳＴ７では、上記（１）式により求めた色差Ｄｎを最大値Ｄmaxと比較する。前記ＳＴ４によりＤmaxの初期値を０に設定しているため、１回目のＳＴ７の判定は必ず「ＹＥＳ」となる。この場合にはＳＴ８に進み、前記Ｄｎの値をもって最大値Ｄmaxを書き換える。
【００３０】
以下、着目中の小領域に隣接するすべての小領域に対してＳＴ６〜８を実行した後、さらにｎの値を更新することにより着目対象を変更し、上記の処理を実行する（ＳＴ５〜１１）。この結果、隣接する小領域の組毎に色差Ｄｎが求められ、その中の最大値がＤmaxとして抽出される。ＳＴ１２では、この最大値Ｄmaxを所定のしきい値Ｄthと比較する。なお、このしきい値Ｄthは、検査に先立ち、欠陥のない対象物の画像から求めた色差（最大の色差とするのが望ましい。）に基づき設定することができる。
【００３１】
前記ＳＴ１２でＤmaxがしきい値Ｄthより大きいと判別された場合には、ＳＴ１３に進み、不良判定（対象物に欠陥があることを意味する。）を行う。一方、Ｄmaxがしきい値Ｄth以下であれば、ＳＴ１４に進み、良判定（対象物に欠陥がないことを意味する。）を行う。そして、ＳＴ１５では、ＳＴ１３またはＳＴ１４の判定結果を出力部１８より出力し、処理を終了する。
【００３２】
上記の処理によれば、無地の対象物について、その対象物の色彩を登録する必要なしに欠陥検査を行うことができる。また、検査の途中で対象物の色彩が変わった場合でも、同じアルゴリズムにより速やかに検査を進めることができる。
【００３３】
なお、図２の手順では、計測対象領域における色差の最大値Ｄmaxを求め、そのＤmaxの値の大きさによって欠陥の有無を判断しているが、これに代えて、色差Ｄｉを求める都度、その値を前記しきい値Ｄthと比較し、色差Ｄｉがしきい値Ｄthを超えた時点で不良判定を行うようにしてもよい。
【００３４】
また、しきい値Ｄthを超える色差が抽出された場合、その色差を得たときの小領域の組について、他の小領域との色差をチェックすることにより、欠陥の位置を特定することもできる。たとえば、前記図２の手順において、最終的に得た最大値Ｄmaxがしきい値Ｄthを超えた場合、Ｄmaxを得たときの２つの小領域について、他の小領域に対する色差をチェックし、隣接するすべての小領域に対し、しきい値Ｄthを超える色差またはＤthに近い値の色差が抽出されている方の小領域を欠陥部位として特定する。
【００３５】
（２）欠陥検査２
この検査は、無地ではなく、文字、図柄、模様などが複数種の色彩により表された物体を対象として、本来あるべきでない色彩が含まれていないかどうかを検査するものである。この検査を行う際には、まず、色彩の分布が良好な対象物のモデルを撮像し、得られたカラー画像から対象物を含む所定領域内の画像を抽出し、これを前記基準画像メモリ１５，１６，１７に登録する。そして、検査対象の画像と基準画像との間で対応する画素毎に色差を求め、その色差が所定のしきい値ｄｎ１を超えるものを欠陥画素として抽出する。
【００３６】
図４は、上記検査の詳細な手順を示す。この手順の最初のステップであるＳＴ１０１では、処理対象のカラー画像をモノクロ画像に変換するなどして対象物のエッジを抽出し、その抽出結果に基づき、前記処理対象のカラー画像に前記基準画像と同じ大きさの計測対象領域を設定する。なお、以下では、設定された計測対象領域に基準画像を重ね合わせたとき、モデルと対象物とが正確に位置合わせされるものとして説明するが、実際には、モデルに対する対象物の位置ずれや微妙な大きさの違いなどを考慮して、しきい値ｄｎ１に若干の誤差を含めておくのが望ましい。
【００３７】
計測対象領域が設定されると、ＳＴ１０２では、カウンタｉを１に、欠陥画素数ｄｎを０に、それぞれ初期設定する。つぎのＳＴ１０３では、ｉ番目の画素について、基準画像側の対応画素に対する色差Ｄｉを算出する。ここで色差Ｄｉが所定のしきい値Ｄ１を上回る場合には、ＳＴ１０４が「ＹＥＳ」となってＳＴ１０５に進み、前記欠陥画素数ｄｎを１つ大きな値に更新する。
なお、ＳＴ１０３で求める色差Ｄｉは、計測対象領域内の一画素と基準画像上の対応画素とについて、色空間における色彩のユークリッド距離として表されるものであり、前記（１）式と同じ方法で求めることができる。
【００３８】
以下、同様に、ｉの値を更新することにより、計測対象領域内の各画素に順に着目しつつ、その着目画素につき、基準画像上の対応画素との色差Ｄｉを算出し、その色差Ｄｉがしきい値Ｄ１を上回った画素の数を欠陥画素数ｄｎとして計数する（ＳＴ１０３〜１０７）。すべての画素に対する処理が終了すると、ＳＴ１０８に進み、欠陥画素数ｄｎを所定のしきい値ｄｎ１と比較する。ここで欠陥画素数ｄｎが前記しきい値ｄｎ１を超える場合には、ＳＴ１０９に進んで不良判定を行う。他方、欠陥画素数ｄｎがしきい値ｄｎ１以下であれば、ＳＴ１１０に進んで良判定を行う。最後にＳＴ１１１において、判定結果を出力し、処理を終了する。
【００３９】
上記の欠陥検査によれば、複数種の色彩が混在する対象物について、色彩毎に個別の検査を行わなくとも、簡単に欠陥を抽出することができる。しかも、その抽出は画素単位で行われるから、微小な欠陥まで抽出することができる。
ただし、欠陥画素（前記色差ｄｎがしきい値ｄｎ１を超える画素）が所定数以上集まった集合体のみを欠陥として抽出してもよい。また、欠陥画素の座標や集合体の大きさに基づき、欠陥の位置や大きさを抽出して出力するようにしてもよい。
【００４０】
（３）位置計測
この計測処理は、背景、対象物とも無地である場合に、背景と対象物との境界（すなわち対象物の輪郭線の位置）を検出するために行われるものである。また、この計測処理は、前記した欠陥検査１において、計測対象領域の設定のために対象物を抽出する際に使用することもできる。
【００４１】
この計測処理では、対象物の輪郭線の位置がある程度判明していることを前提とするもので、輪郭線に対応する可能性がある範囲に計測対象領域を設定する。図５は、計測対象領域の設定例を示すもので、計測対象の画像３０において、対象物３１の輪郭線を横切る方向（この例ではｘ軸方向）に長い矩形状の計測対象領域３２を設定している。この実施例では、この計測対象領域３２の一端（図示例では左端）に、所定幅ｗを持つウィンドウ３３（ｙ軸方向におけるウィンドウ３３の長さは計測対象領域３２と同一である。）を設定する。そして、このウィンドウ３３を右方向に移動させながら、その幅ｗに対応する距離だけ移動する毎にウィンドウ３３内の平均色を求める。さらに、各位置で求めた平均色を分析することにより、対象物３１の輪郭線のｘ座標を求めるようにしている。
なお、この図５の例は、ｙ軸方向に沿う輪郭線を抽出する場合のものであり、ｘ軸方向に沿う輪郭線を抽出する場合には、その輪郭線に対応する可能性がある範囲に、ｙ軸方向に長い計測対象領域を設定し、輪郭線のｙ座標を求める。
【００４２】
図６は、この計測処理の詳細な手順を示す。なお、この例では、前記図５の例に基づき、対象物のｙ軸方向に沿う輪郭線の位置を抽出するものとして説明する。
最初のステップであるＳＴ２０１では、前記図５の要領で、前記計測対象領域３２を設定する。つぎのＳＴ２０２では、設定した計測対象領域３２の左端に前記ウィンドウ３３を設定し、ＳＴ２０３において、ウィンドウ３３内の平均色を求める。さらに、このウィンドウ３３を右に移動させながら、前記幅ｗに対応する画素数だけ移動する毎に、ウィンドウ３３内の平均色を求める（ＳＴ２０３〜２０５）。なお、平均色の算出は、ウィンドウ３３が１画素移動する毎に行っても良い。
【００４３】
前記ウィンドウ３３の走査により取得した平均色は、取得した順序を示す数字を含むラベル（たとえばＰ１，Ｐ２，Ｐ３・・・）に対応づけされて、メモリ１１に保存される。また、各平均色を得たときのウィンドウ３３の位置は、ウィンドウ３３の代表点（左端点など）のｘ座標として表されるが、このｘ座標も、平均色と同様の数字を含むラベル（たとえばｘ１，ｘ２，ｘ３・・・）に対応づけられて、メモリ１１に保存される。
【００４４】
計測対象領域３２の右端までウィンドウ３３が移動すると、ＳＴ２０６では、各位置で求めた平均色を２つずつ組み合わせ、組み合わせ毎に色空間における距離を算出する。
【００４５】
つぎのＳＴ２０７では、前記の距離の算出結果に基づき、色空間に最大の距離を隔てて位置する２つの色彩を抽出し、これらの色彩を端点とする線分Ｌを設定する。
【００４６】
つぎのＳＴ２０８では、カウンタｊを１に初期設定する。このｊは、前記ウィンドウの走査により取得した平均色のラベルに対応するものである。初期設定時のｊ＝１は、ウィンドウ３３の初期設定位置で取得した平均色に対応する。
【００４７】
ＳＴ２０９では、前記色空間において、ｊ番目に得た平均色に対応する点から前記線分Ｌへの垂線を設定する。ＳＴ２１０では、前記垂線と線分Ｌとの交点を抽出する。ＳＴ２１１では、前記交点が直線Ｌの中点を越えたか否かをチェックする。ここで、中点を越えていないと判断したときは、ｊをインクリメントすることによって、つぎに取得した平均色に着目し、同様にＳＴ２０９〜２１１を実行する。
【００４８】
上記の処理において、いずれかの平均色について、その平均色に対応する点からの垂線と線分Ｌとの交点が線分Ｌの中点を越えたとき、前記ＳＴ２０９〜２１２のループを終了してＳＴ２１３に進み、その平均色を得た位置（前記ウィンドウの設定位置のうち、ｊの値に対応するラベルに対応するもの）を輪郭線の位置であると判別する。そして、ＳＴ２１４で、判別結果として、前記境界線の位置を示す座標を出力し、処理を終了する。
【００４９】
図７は、色空間における各平均色の分布例を示す。この例では、前記ウィンドウ３３が５箇所に設定されたものとして、各平均色に対応する点を抽出の順にＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５として示す。また図中のＯは前記線分Ｌの中点である。
【００５０】
前記計測対象領域３２が対象物の輪郭線を横切るように設定されている場合、最も距離が大きくなる２色の一方は、ウィンドウ３３が背景部分に設定されているときの平均色であり、他方はウィンドウ３３が対象物上に設定されているときの平均色になると考えることができる。また、ウィンドウ３３が背景と対象物との境界を通過する間は、ウィンドウ３２に含まれる両者の割合が徐々に変化すると考えられる。このようなことから、図７に示すように、最初の設定位置で取得した平均色Ｐ１と最後の設定位置で取得した平均色Ｐ５とが前記線分Ｌの端点になると考えることができる。
【００５１】
図７の例において、前記ＳＴ２０７〜２１２の処理を行う場合、各平均色に対応する点Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５に順に着目し、着目中の点から線分Ｌへの垂線の交点を追跡することになる。ここで、最初の点Ｐ１にかかる交点はＰ１自身となり、以下の交点は、線分Ｌの他方の端点Ｐ５に向かって移動するようになる。図７の例では、点Ｐ１から見て最初に中点Ｏを超えるのは点Ｐ４であるから、この点Ｐ４に対応する平均色を得た位置を輪郭線の位置として判別することになる。なお、色彩が変化したと判別する点は中点Ｏに限らず、点Ｐ１から任意の距離だけ離れた点としてもよい（ただし、色彩が変化したとみなすのに十分な距離だけ離れた点とする必要がある。）。
【００５２】
なお、上記の説明は、計測対象領域３２が対象物の輪郭線を横切るように設定されていることを前提としているが、計測対象領域３２内に対象物の画像が含まれていない場合の誤判別を防止するために、前記線分Ｌが所定のしきい値より小さい場合には、処理を中止するようにしてもよい。
【００５３】
（４）個数検査
この検査は、複数種の色彩が含まれている対象物（たとえばマーク）が複数配列された物体の画像を処理して、前記対象物が定められた数だけ抽出されるかどうかを判別するものである。この判別処理のために、この実施例では、あらかじめ、色彩分布が良好な対象物のモデルを有する物体を撮像し、得られたカラー画像から前記モデルを１個だけ含む画像を切り出し、これを基準画像として登録する。
【００５４】
また、この実施例では、前記基準画像について平均色を求めた後、基準画像上の各画素の色彩をそれぞれ色空間中の１点Ｍｉとして、前記平均色を示す点Ｍμから点Ｍｉまでの距離、および点Ｍμから点Ｍｉに向かう方向を求める。この距離および方向は、点Ｍμを始点とし、点Ｍｉを終点とするベクトルの長さおよび向きに相当する。また、方向は、基準の平面（たとえばＲの軸とＧの軸とによる平面）に対する前記ベクトルの角度として表すことができる。
【００５５】
画素毎に求められた距離および方向は、メモリ１１に登録される。検査の際には、検査対象の画像上に前記基準画像と同じ大きさの計測対象領域を走査し、１画素移動する毎に前記メモリ１１の登録データを用いて基準画像に対する類似度を求める。そして、類似度が所定のしきい値Ｃ１を超えた回数を計数することにより、対象物の数を計測し、その数の適否を判別するようにしている。
【００５６】
図８は、検査の詳細な手順を示す。この手順において、（ｘ，ｙ）は、処理対象の画像の各画素の座標であり、ａｘはｘ軸方向における画素の数を、ａｙはｙ軸方向における画素の数を、それぞれ示す。また、Ｅｎは、前記対象物の抽出数である。
【００５７】
最初のステップであるＳＴ３０１では、前記抽出数Ｅｎおよびｙを初期値の０にセットし、つぎのＳＴ３０２では、ｘを０にセットする。さらにＳＴ３０３では、前記（ｘ，ｙ）の位置を始点にして計測対象領域を設定する。すなわち、座標（０，０）の位置が左上頂点となるように計測対象領域を設定することになる。
【００５８】
つぎのＳＴ３０４では、前記計測対象領域内の平均色を算出する。この平均色も、Ｒ，Ｇ，Ｂの色成分毎の平均値により表されるもので、色空間中の１点Ｐμとして示すことができる。
【００５９】
つぎのＳＴ３０５は、計測対象領域内の画素毎に実行されるものである。ここでは、処理対象の画素の色彩を色空間中の１点Ｐｉと考えて、前記平均色を示す点Ｐμからの距離、および点Ｐμから点Ｐｉに向かう方向を求める。なおこの距離および方向は、前記基準画像について求めたものと同様に、点Ｐμを始点とし、点Ｐｉを終点とするベクトルの長さおよび方向に相当するものである。
【００６０】
ＳＴ３０６では、前記ＳＴ３０５で求めた距離および方向と、メモリ１１に登録されている基準画像の距離および方向とを用いて、下記の（２）式に基づき、類似度Ｃ（ｘ，ｙ）を求める。なお（２）式において、ｎは計測対象領域内の全画素数である。またｄ（Ｐｉ，Ｐμ）は、前記点Ｐｉと点Ｐμとの距離であり、ｄ（Ｍｉ，Ｍμ）は、基準画像側の点ＭｉとＭμとの距離である。また、θｉは、点Ｐμ，Ｐｉによるベクトルと、点Ｍμ，Ｍｉによるベクトルとのなす角度であり、０度から１８０度の範囲の数値となる。
【００６１】
【数２】
【００６２】
このようにして類似度Ｃ（ｘ，ｙ）を求めると、ＳＴ３０７では、その類似度Ｃ（ｘ，ｙ）を所定のしきい値Ｃ１と比較する。ここで類似度Ｃ（ｘ，ｙ）がしきい値Ｃ１を上回ると判断すると、ＳＴ３０８に進み、前記抽出数Ｅｎを１つ大きな値に更新する。
【００６３】
以下、ｘ，ｙの値をそれぞれ１〜ａｘ、１〜ａｙの範囲で動かすことにより、計測対象領域を１画素ずつ走査しながら、上記と同様の処理により走査毎に相関値Ｃ（ｘ，ｙ）を求め、その相関値Ｃ（ｘ，ｙ）がしきい値Ｃ１を上回った回数を抽出数Ｅｎとして計数する（ＳＴ３０２〜３１２）。走査が完了すると、ＳＴ３１３に進み、前記抽出数Ｅｎがあらかじめ登録された基準の数Ｅ０と一致するかどうかをチェックする。ここで、Ｅｎ＝Ｅ０であれば、ＳＴ３１４に進み、検査対象の物体が良品である旨の判定を行う。一方、Ｅｎ≠Ｅ０の場合には、ＳＴ３１５に進み、検査対象の物体が不良品である旨の判定を行う。この後は、ＳＴ３１６に進み、前記の判定結果を出力して処理を終了する。
【００６４】
上記（２）式によれば、ｄ（Ｐｉ，Ｐμ）とｄ（Ｍｉ，Ｍμ）との差が小さくなり、かつθｉが０に近づくほど、類似度Ｃ（ｘ，ｙ）の値は高くなる。したがって、前記しきい値Ｃ１の値を十分に高く設定することにより、基準画像の色彩の分布状態に近い画像領域を対象物として抽出することが可能となる。
【００６５】
ただし、（２）式では、平均色に対する相対的な色彩変化が同様であれば、類似度Ｃ（ｘ，ｙ）も高くなるので、基準画像とは色合いが異なる領域も対象物として抽出されることになる。基準画像と同様の色合いの領域のみを抽出する必要がある場合には、つぎの（３）式により前記類似度Ｃ（ｘ，ｙ）を補正するとよい。
【００６６】
【数３】
【００６７】
（３）式において、ｄmaxは、色空間において得ることのできる最大の距離である。たとえば、各色成分の濃度値を８ビットで表す場合には、ｄmax＝（２５５２×３）となる。ｄ（Ｐμ，Ｍμ）は、計測対象領域から求めた平均色Ｐμと基準画像から求めた平均色Ｍμとの距離である。この（３）式による補正後の類似度Ｃ´（ｘ，ｙ）によれば、計測対象領域内の各色彩Ｐｉの平均色Ｐμに対する関係が基準画像における関係に類似していても、平均色Ｐμが基準の平均色Ｍμから離れるほど、類似度の値は小さくなる。
【００６８】
なお、図８の手順では、類似度Ｃ（ｘ，ｙ）がしきい値Ｃ１を超えた回数をもって、対象物の数を求めているが、これに代えて、類似度Ｃ（ｘ，ｙ）がしきい値Ｃ１を超えたときの（ｘ，ｙ）の値を、対象物の位置として出力してもよい。また、類似度Ｃ（ｘ，ｙ）の値によって、対象物の色彩分布の適否を判別することもできる。
【符号の説明】
【００６９】
１ 本体部
２ カメラ
１０ ＣＰＵ
１１ メモリ
１２，１３，１４ 画像メモリ
１４，１５，１７ 基準画像メモリ
【技術分野】
【０００１】
この発明は、赤、緑、青の各色成分の濃度データから成るカラー画像を用いて複数の色彩を有する対象物における色彩欠陥を検出する画像処理方法および画像処理装置に関する。
【背景技術】
【０００２】
従来から行われている代表的なカラー画像処理では、ユーザーに所定の色彩を指定させることによって、各色成分の濃度データの組み合わせによる３次元の画像データを、前記指定された色彩に対する色差という一次元のデータに変換し、その色差データの大きさを用いた処理を実行するようにしている（特許文献１参照）。
【０００３】
また、色彩の異常が生じた部分を欠陥として抽出する場合、あらかじめ正常な色彩を基準色として登録しておき、計測対象の画像を構成する画素毎に前記基準色との色差を求めることも提案されている（特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２０３４７６号公報
【特許文献２】特開平１１−１０８７５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図９は、カラー画像上の各画素を１次元の色差データに置き換える処理の概要を、各色成分に対応する３軸による仮想空間（以下、「色空間」という。）における関係にして示したものである。ユーザーにより指定された色彩は、この色空間内の特定の点Ｑに対応するものとなる。ここで、この色空間における点Ｑからの距離により色差を表すと、前記点Ｑを中心とする球体の面上の点に対応する色彩は、すべて同じ値で表されることになる。図９では、点Ｑの値を２５５として、１５０，１００，５０の各濃度値に変換される範囲を、球体の断面の輪郭に模式化して示す。
【０００６】
ユーザーに色彩を指定させる場合、ユーザーによって、また同じユーザーでも時によって、指定する色彩が変動する可能性がある。指定色が変動すると、上記点Ｑの位置も変わることになるから、各画素における色差の値も異なるものとなる。すなわち、特許文献１，２のように、画像上の所定位置の色彩を基準色とした場合、その基準色の選択によって、色差として変換された画像上の濃度分布が変動することになる。さらに、このような濃度分布の変動により、対象物の測定結果や欠陥の検出結果まで変わってしまうおそれがある。
【０００７】
また、従来の方法は、特定の一色を基準色とするものであるから、複数の色彩による模様が表された対象物など、計測対象の色彩が複数種ある場合の対応が困難となる。
【０００８】
この発明は上記各問題に着目してなされたもので、複数種の色彩を有する対象物における色彩欠陥の検出を容易にし、かつ精度の高い処理結果を得られるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
この発明は、赤、緑、青の各色成分の濃度データから成るカラー画像を処理する方法に適用される。この発明にかかる画像処理方法では、複数の色彩を有する対象物のモデルのカラー画像を基準画像として登録し、当該対象物を撮像することにより生成されたカラー画像を処理対象画像として、この処理対象画像中の対象物を抽出し、この抽出結果に基づき処理対象画像と基準画像とを画素単位で対応づけて、対応関係にある画素の組毎に画素間の色差を求めると共に、前記色差が所定のしきい値を超えた画素の組み合わせを計数する。そして、色差がしきい値を超えた画素の組み合わせの数が所定の許容値を超えたとき、対象物に色彩結果があると判別する。
【００１０】
上記の方法において、計測対象のカラー画像の各構成画素の色彩は、赤、緑、青の各濃度データの組み合わせにより表される。また、対応関係にある画素間の色差は、たとえば前記した色空間における距離として求めることができる。
【００１１】
上記の方法は、模様などによる複数種の色彩を有する対象物を対象とした色彩欠陥の検出に使用することができる。処理対象画像中の対象物を抽出する処理では、たとえば、処理対象画像をモノクロ画像に変換して、対象物のエッジを抽出する。また、基準画像に対する処理対象画像の回転ずれなどを補正しておくのが望ましい。
【００１２】
上記の方法によれば、ユーザーは、色彩の分布が適切なモデルのカラー画像を基準画像として登録することによって、色彩欠陥を安定して検出することができる。
【００１３】
上記の方法を実施するための画像処理装置は、赤、緑、青の各色成分の濃度データから成るカラー画像を入力する画像入力手段と、複数の色彩を有する対象物のモデルのカラー画像を基準画像として登録するためのメモリと、前記画像入力手段が複数の色彩を有する対象物を撮像することにより生成されたカラー画像を処理対象画像として入力したことに応じて、この処理対象画像中の対象物を抽出する抽出手段と、抽出手段による抽出結果に基づき、前記対象物につき前記メモリに登録された基準画像と処理対象画像とを画素単位で対応づけて、対応関係にある画素の組毎に画素間の色差を求めると共に、この色差が所定のしきい値を超えた画素の組み合わせを計数する演算手段と、前記色差がしきい値を超える画素の組み合わせが所定の許容値を超えたとき、対象物に色彩欠陥があると判別する判別手段とを具備する。
【００１４】
上記構成の装置において、画像入力手段は、カラー画像生成用の撮像手段に対するインターフェース回路とすることができる。また撮像手段がアナログカメラである場合、画像入力手段には、各色成分の濃度データをディジタル変換するＡ／Ｄ変換回路を含めることができる。
また、画像入力手段は、外部の装置からあらかじめ生成されたカラー画像を入力するための通信用のインターフェース回路や、所定の記憶媒体に格納されたカラー画像を読み出すドライブ装置として構成することもできる。
【００１５】
画像入力手段やメモリ以外の各手段は、プログラムが設定されたコンピュータにより構成するのが望ましい。ただし、必ずしもすべての手段をコンピュータにより構成する必要はなく、一部の手段をＡＳＩＣ（特定用途向けＩＣ）により構成することもできる。
【００１６】
さらに上記の画像処理装置には、色彩欠陥の検出結果や良／不良の判別結果などを表示したり、外部に出力するための手段を設けることができる。
【発明の効果】
【００１７】
この発明によれば、複数の色彩を有する対象物の色欠陥を検出する場合に、色彩分布が良好な対象物のモデルのカラー画像を基準画像として登録することによって、容易に対応することができる。また、画像中に含まれる色彩の数や種類に左右されることなく、色彩欠陥を検出する処理を、高い精度で実行することができる。
【図面の簡単な説明】
【００１８】
【図１】この発明にかかる画像処理装置の構成例を示すブロック図である。
【図２】欠陥検査１の手順を示すフローチャートである。
【図３】計測対象領域の分割例を示す図である。
【図４】欠陥検査２の手順を示すフローチャートである。
【図５】位置計測処理のための計測対象領域およびウィンドウの設定例を示す図である。
【図６】位置計測処理の手順を示すフローチャートである。
【図７】図６のＳＴ２０７〜２１１の処理の具体例を示す図である。
【図８】個数検査の手順を示すフローチャートである。
【図９】色差に基づく変換処理において同じ値が設定される範囲を示す図である。
【発明を実施するための形態】
【００１９】
図１は、この発明が適用された画像処理装置の基本構成を示す。この画像処理装置は、カラー画像生成用のカメラ２と本体部１とから成るもので、カメラ２により生成されたカラー画像を本体部１に取り込んで、色彩異常部位の有無を判別したり、画像中に含まれる対象物を抽出するなどの処理を実行する。本体部１は、ＣＰＵ１０、プログラム等が格納されたメモリ１１、処理結果を出力するための出力部１８などを有するもので、たとえばパーソナルコンピュータにより構成することができる。
【００２０】
さらに、この実施例の本体部１には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色成分毎に画像メモリ１２，１３，１４が設けられる。カメラ２から出力された各色成分の画像データは、それぞれ対応する画像メモリ１２，１３，１４に格納される。なお、この図には記載していないが、各画像メモリ１２，１３，１４への入力経路には、インターフェース回路やＡ／Ｄ変換回路などが設けられる。また、出力部１８には、外部の装置に処理結果を送信するための通信インターフェース回路や、図示しないモニタに処理結果を表示させるための表示用インターフェース回路などが含められる。
【００２１】
また、前記本体部１には、対象物のモデルのカラー画像から抽出された基準画像を登録するために、色成分毎の画像メモリ１５，１６，１７（以下、「基準画像メモリ１５，１６，１７」という。）が設けられる。
なお、前記メモリ１１は、ＲＯＭ，ＲＡＭのほか、ハードディスクなどの補助記憶装置を含むものとなる。また、基準画像メモリ１５，１６，１７および前記画像メモリ１２，１３，１４は、物理的には同一の記憶装置（前記ハードディスクなど）内に設定することができる。
【００２２】
以下、上記の画像処理装置で実施できる処理を４例あげ、各例の詳細な処理内容を説明する。なお、以下でいうところの「画像」は、いずれもＲ，Ｇ，Ｂの各画像データを組み合わせたものである。
【００２３】
（１）欠陥検査１
この検査は、無地の対象物の表面に、汚れやシミなどの欠陥により、本来とは異なる色彩が生じていないかどうかを検査するものである。図２は、この検査の手順を示す。
【００２４】
この手順は、カメラ２からの画像データが各画像メモリ１２，１３，１４に格納された時点からスタートする。まず、最初のステップ１（以下、ステップを「ＳＴ」と略す。）では、画像上の対象物に対して計測対象領域を設定する。なお、図２には詳細に記載していないが、計測領域を設定する際には、たとえば、入力された各色成分の画像データからモノクロ画像を作成し、そのモノクロ画像のエッジを抽出するなどして、対象物の画像を抽出する。そして、その抽出結果に基づき、元のカラー画像において、対象物の検査対象部位を含み、かつ背景部分など他の色彩を有する部位を含まないような計測対象領域を設定する。ただし、対象物が大きく位置ずれしない場合には、計測対象領域の設定位置をあらかじめ登録しておいてもよい。
【００２５】
つぎのＳＴ２では、前記計測対象領域を複数の小領域に分割する。この小領域の大きさは、抽出すべき欠陥の大きさに応じてあらかじめ設定される。図３はその具体例を示すもので、ｘ，ｙの各軸毎に計測対象領域２０を均等に分割することにより、複数個（図示例では１２個）の小領域が設定されている。
【００２６】
つぎのＳＴ３では、各小領域につき、それぞれその小領域内の各画素における濃度データをＲ，Ｇ，Ｂの各色成分別に平均化する。この平均化により得られたＲの平均値、Ｇの平均値、Ｂの平均値により表される色彩が平均色である。
【００２７】
つぎにＳＴ４において、カウンタｎを１に、色差の最大値Ｄmaxを０に、それぞれ初期設定する。そしてｎ番目の小領域に着目し、この小領域に上下左右のいずれかの方向で隣接する小領域に対する色差Ｄｎを算出する（ＳＴ５，６）。この色差Ｄｎは、色空間におけるユークリッド距離として求めることができる。すなわち、着目中の小領域における平均色を（Ｒ０，Ｇ０，Ｂ０）とし、隣接する小領域の平均色を（Ｒ１，Ｇ１，Ｂ１）とした場合、色差Ｄｎは、つぎの（１）式により算出することができる。
【００２８】
【数１】
【００２９】
ＳＴ７では、上記（１）式により求めた色差Ｄｎを最大値Ｄmaxと比較する。前記ＳＴ４によりＤmaxの初期値を０に設定しているため、１回目のＳＴ７の判定は必ず「ＹＥＳ」となる。この場合にはＳＴ８に進み、前記Ｄｎの値をもって最大値Ｄmaxを書き換える。
【００３０】
以下、着目中の小領域に隣接するすべての小領域に対してＳＴ６〜８を実行した後、さらにｎの値を更新することにより着目対象を変更し、上記の処理を実行する（ＳＴ５〜１１）。この結果、隣接する小領域の組毎に色差Ｄｎが求められ、その中の最大値がＤmaxとして抽出される。ＳＴ１２では、この最大値Ｄmaxを所定のしきい値Ｄthと比較する。なお、このしきい値Ｄthは、検査に先立ち、欠陥のない対象物の画像から求めた色差（最大の色差とするのが望ましい。）に基づき設定することができる。
【００３１】
前記ＳＴ１２でＤmaxがしきい値Ｄthより大きいと判別された場合には、ＳＴ１３に進み、不良判定（対象物に欠陥があることを意味する。）を行う。一方、Ｄmaxがしきい値Ｄth以下であれば、ＳＴ１４に進み、良判定（対象物に欠陥がないことを意味する。）を行う。そして、ＳＴ１５では、ＳＴ１３またはＳＴ１４の判定結果を出力部１８より出力し、処理を終了する。
【００３２】
上記の処理によれば、無地の対象物について、その対象物の色彩を登録する必要なしに欠陥検査を行うことができる。また、検査の途中で対象物の色彩が変わった場合でも、同じアルゴリズムにより速やかに検査を進めることができる。
【００３３】
なお、図２の手順では、計測対象領域における色差の最大値Ｄmaxを求め、そのＤmaxの値の大きさによって欠陥の有無を判断しているが、これに代えて、色差Ｄｉを求める都度、その値を前記しきい値Ｄthと比較し、色差Ｄｉがしきい値Ｄthを超えた時点で不良判定を行うようにしてもよい。
【００３４】
また、しきい値Ｄthを超える色差が抽出された場合、その色差を得たときの小領域の組について、他の小領域との色差をチェックすることにより、欠陥の位置を特定することもできる。たとえば、前記図２の手順において、最終的に得た最大値Ｄmaxがしきい値Ｄthを超えた場合、Ｄmaxを得たときの２つの小領域について、他の小領域に対する色差をチェックし、隣接するすべての小領域に対し、しきい値Ｄthを超える色差またはＤthに近い値の色差が抽出されている方の小領域を欠陥部位として特定する。
【００３５】
（２）欠陥検査２
この検査は、無地ではなく、文字、図柄、模様などが複数種の色彩により表された物体を対象として、本来あるべきでない色彩が含まれていないかどうかを検査するものである。この検査を行う際には、まず、色彩の分布が良好な対象物のモデルを撮像し、得られたカラー画像から対象物を含む所定領域内の画像を抽出し、これを前記基準画像メモリ１５，１６，１７に登録する。そして、検査対象の画像と基準画像との間で対応する画素毎に色差を求め、その色差が所定のしきい値ｄｎ１を超えるものを欠陥画素として抽出する。
【００３６】
図４は、上記検査の詳細な手順を示す。この手順の最初のステップであるＳＴ１０１では、処理対象のカラー画像をモノクロ画像に変換するなどして対象物のエッジを抽出し、その抽出結果に基づき、前記処理対象のカラー画像に前記基準画像と同じ大きさの計測対象領域を設定する。なお、以下では、設定された計測対象領域に基準画像を重ね合わせたとき、モデルと対象物とが正確に位置合わせされるものとして説明するが、実際には、モデルに対する対象物の位置ずれや微妙な大きさの違いなどを考慮して、しきい値ｄｎ１に若干の誤差を含めておくのが望ましい。
【００３７】
計測対象領域が設定されると、ＳＴ１０２では、カウンタｉを１に、欠陥画素数ｄｎを０に、それぞれ初期設定する。つぎのＳＴ１０３では、ｉ番目の画素について、基準画像側の対応画素に対する色差Ｄｉを算出する。ここで色差Ｄｉが所定のしきい値Ｄ１を上回る場合には、ＳＴ１０４が「ＹＥＳ」となってＳＴ１０５に進み、前記欠陥画素数ｄｎを１つ大きな値に更新する。
なお、ＳＴ１０３で求める色差Ｄｉは、計測対象領域内の一画素と基準画像上の対応画素とについて、色空間における色彩のユークリッド距離として表されるものであり、前記（１）式と同じ方法で求めることができる。
【００３８】
以下、同様に、ｉの値を更新することにより、計測対象領域内の各画素に順に着目しつつ、その着目画素につき、基準画像上の対応画素との色差Ｄｉを算出し、その色差Ｄｉがしきい値Ｄ１を上回った画素の数を欠陥画素数ｄｎとして計数する（ＳＴ１０３〜１０７）。すべての画素に対する処理が終了すると、ＳＴ１０８に進み、欠陥画素数ｄｎを所定のしきい値ｄｎ１と比較する。ここで欠陥画素数ｄｎが前記しきい値ｄｎ１を超える場合には、ＳＴ１０９に進んで不良判定を行う。他方、欠陥画素数ｄｎがしきい値ｄｎ１以下であれば、ＳＴ１１０に進んで良判定を行う。最後にＳＴ１１１において、判定結果を出力し、処理を終了する。
【００３９】
上記の欠陥検査によれば、複数種の色彩が混在する対象物について、色彩毎に個別の検査を行わなくとも、簡単に欠陥を抽出することができる。しかも、その抽出は画素単位で行われるから、微小な欠陥まで抽出することができる。
ただし、欠陥画素（前記色差ｄｎがしきい値ｄｎ１を超える画素）が所定数以上集まった集合体のみを欠陥として抽出してもよい。また、欠陥画素の座標や集合体の大きさに基づき、欠陥の位置や大きさを抽出して出力するようにしてもよい。
【００４０】
（３）位置計測
この計測処理は、背景、対象物とも無地である場合に、背景と対象物との境界（すなわち対象物の輪郭線の位置）を検出するために行われるものである。また、この計測処理は、前記した欠陥検査１において、計測対象領域の設定のために対象物を抽出する際に使用することもできる。
【００４１】
この計測処理では、対象物の輪郭線の位置がある程度判明していることを前提とするもので、輪郭線に対応する可能性がある範囲に計測対象領域を設定する。図５は、計測対象領域の設定例を示すもので、計測対象の画像３０において、対象物３１の輪郭線を横切る方向（この例ではｘ軸方向）に長い矩形状の計測対象領域３２を設定している。この実施例では、この計測対象領域３２の一端（図示例では左端）に、所定幅ｗを持つウィンドウ３３（ｙ軸方向におけるウィンドウ３３の長さは計測対象領域３２と同一である。）を設定する。そして、このウィンドウ３３を右方向に移動させながら、その幅ｗに対応する距離だけ移動する毎にウィンドウ３３内の平均色を求める。さらに、各位置で求めた平均色を分析することにより、対象物３１の輪郭線のｘ座標を求めるようにしている。
なお、この図５の例は、ｙ軸方向に沿う輪郭線を抽出する場合のものであり、ｘ軸方向に沿う輪郭線を抽出する場合には、その輪郭線に対応する可能性がある範囲に、ｙ軸方向に長い計測対象領域を設定し、輪郭線のｙ座標を求める。
【００４２】
図６は、この計測処理の詳細な手順を示す。なお、この例では、前記図５の例に基づき、対象物のｙ軸方向に沿う輪郭線の位置を抽出するものとして説明する。
最初のステップであるＳＴ２０１では、前記図５の要領で、前記計測対象領域３２を設定する。つぎのＳＴ２０２では、設定した計測対象領域３２の左端に前記ウィンドウ３３を設定し、ＳＴ２０３において、ウィンドウ３３内の平均色を求める。さらに、このウィンドウ３３を右に移動させながら、前記幅ｗに対応する画素数だけ移動する毎に、ウィンドウ３３内の平均色を求める（ＳＴ２０３〜２０５）。なお、平均色の算出は、ウィンドウ３３が１画素移動する毎に行っても良い。
【００４３】
前記ウィンドウ３３の走査により取得した平均色は、取得した順序を示す数字を含むラベル（たとえばＰ１，Ｐ２，Ｐ３・・・）に対応づけされて、メモリ１１に保存される。また、各平均色を得たときのウィンドウ３３の位置は、ウィンドウ３３の代表点（左端点など）のｘ座標として表されるが、このｘ座標も、平均色と同様の数字を含むラベル（たとえばｘ１，ｘ２，ｘ３・・・）に対応づけられて、メモリ１１に保存される。
【００４４】
計測対象領域３２の右端までウィンドウ３３が移動すると、ＳＴ２０６では、各位置で求めた平均色を２つずつ組み合わせ、組み合わせ毎に色空間における距離を算出する。
【００４５】
つぎのＳＴ２０７では、前記の距離の算出結果に基づき、色空間に最大の距離を隔てて位置する２つの色彩を抽出し、これらの色彩を端点とする線分Ｌを設定する。
【００４６】
つぎのＳＴ２０８では、カウンタｊを１に初期設定する。このｊは、前記ウィンドウの走査により取得した平均色のラベルに対応するものである。初期設定時のｊ＝１は、ウィンドウ３３の初期設定位置で取得した平均色に対応する。
【００４７】
ＳＴ２０９では、前記色空間において、ｊ番目に得た平均色に対応する点から前記線分Ｌへの垂線を設定する。ＳＴ２１０では、前記垂線と線分Ｌとの交点を抽出する。ＳＴ２１１では、前記交点が直線Ｌの中点を越えたか否かをチェックする。ここで、中点を越えていないと判断したときは、ｊをインクリメントすることによって、つぎに取得した平均色に着目し、同様にＳＴ２０９〜２１１を実行する。
【００４８】
上記の処理において、いずれかの平均色について、その平均色に対応する点からの垂線と線分Ｌとの交点が線分Ｌの中点を越えたとき、前記ＳＴ２０９〜２１２のループを終了してＳＴ２１３に進み、その平均色を得た位置（前記ウィンドウの設定位置のうち、ｊの値に対応するラベルに対応するもの）を輪郭線の位置であると判別する。そして、ＳＴ２１４で、判別結果として、前記境界線の位置を示す座標を出力し、処理を終了する。
【００４９】
図７は、色空間における各平均色の分布例を示す。この例では、前記ウィンドウ３３が５箇所に設定されたものとして、各平均色に対応する点を抽出の順にＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５として示す。また図中のＯは前記線分Ｌの中点である。
【００５０】
前記計測対象領域３２が対象物の輪郭線を横切るように設定されている場合、最も距離が大きくなる２色の一方は、ウィンドウ３３が背景部分に設定されているときの平均色であり、他方はウィンドウ３３が対象物上に設定されているときの平均色になると考えることができる。また、ウィンドウ３３が背景と対象物との境界を通過する間は、ウィンドウ３２に含まれる両者の割合が徐々に変化すると考えられる。このようなことから、図７に示すように、最初の設定位置で取得した平均色Ｐ１と最後の設定位置で取得した平均色Ｐ５とが前記線分Ｌの端点になると考えることができる。
【００５１】
図７の例において、前記ＳＴ２０７〜２１２の処理を行う場合、各平均色に対応する点Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５に順に着目し、着目中の点から線分Ｌへの垂線の交点を追跡することになる。ここで、最初の点Ｐ１にかかる交点はＰ１自身となり、以下の交点は、線分Ｌの他方の端点Ｐ５に向かって移動するようになる。図７の例では、点Ｐ１から見て最初に中点Ｏを超えるのは点Ｐ４であるから、この点Ｐ４に対応する平均色を得た位置を輪郭線の位置として判別することになる。なお、色彩が変化したと判別する点は中点Ｏに限らず、点Ｐ１から任意の距離だけ離れた点としてもよい（ただし、色彩が変化したとみなすのに十分な距離だけ離れた点とする必要がある。）。
【００５２】
なお、上記の説明は、計測対象領域３２が対象物の輪郭線を横切るように設定されていることを前提としているが、計測対象領域３２内に対象物の画像が含まれていない場合の誤判別を防止するために、前記線分Ｌが所定のしきい値より小さい場合には、処理を中止するようにしてもよい。
【００５３】
（４）個数検査
この検査は、複数種の色彩が含まれている対象物（たとえばマーク）が複数配列された物体の画像を処理して、前記対象物が定められた数だけ抽出されるかどうかを判別するものである。この判別処理のために、この実施例では、あらかじめ、色彩分布が良好な対象物のモデルを有する物体を撮像し、得られたカラー画像から前記モデルを１個だけ含む画像を切り出し、これを基準画像として登録する。
【００５４】
また、この実施例では、前記基準画像について平均色を求めた後、基準画像上の各画素の色彩をそれぞれ色空間中の１点Ｍｉとして、前記平均色を示す点Ｍμから点Ｍｉまでの距離、および点Ｍμから点Ｍｉに向かう方向を求める。この距離および方向は、点Ｍμを始点とし、点Ｍｉを終点とするベクトルの長さおよび向きに相当する。また、方向は、基準の平面（たとえばＲの軸とＧの軸とによる平面）に対する前記ベクトルの角度として表すことができる。
【００５５】
画素毎に求められた距離および方向は、メモリ１１に登録される。検査の際には、検査対象の画像上に前記基準画像と同じ大きさの計測対象領域を走査し、１画素移動する毎に前記メモリ１１の登録データを用いて基準画像に対する類似度を求める。そして、類似度が所定のしきい値Ｃ１を超えた回数を計数することにより、対象物の数を計測し、その数の適否を判別するようにしている。
【００５６】
図８は、検査の詳細な手順を示す。この手順において、（ｘ，ｙ）は、処理対象の画像の各画素の座標であり、ａｘはｘ軸方向における画素の数を、ａｙはｙ軸方向における画素の数を、それぞれ示す。また、Ｅｎは、前記対象物の抽出数である。
【００５７】
最初のステップであるＳＴ３０１では、前記抽出数Ｅｎおよびｙを初期値の０にセットし、つぎのＳＴ３０２では、ｘを０にセットする。さらにＳＴ３０３では、前記（ｘ，ｙ）の位置を始点にして計測対象領域を設定する。すなわち、座標（０，０）の位置が左上頂点となるように計測対象領域を設定することになる。
【００５８】
つぎのＳＴ３０４では、前記計測対象領域内の平均色を算出する。この平均色も、Ｒ，Ｇ，Ｂの色成分毎の平均値により表されるもので、色空間中の１点Ｐμとして示すことができる。
【００５９】
つぎのＳＴ３０５は、計測対象領域内の画素毎に実行されるものである。ここでは、処理対象の画素の色彩を色空間中の１点Ｐｉと考えて、前記平均色を示す点Ｐμからの距離、および点Ｐμから点Ｐｉに向かう方向を求める。なおこの距離および方向は、前記基準画像について求めたものと同様に、点Ｐμを始点とし、点Ｐｉを終点とするベクトルの長さおよび方向に相当するものである。
【００６０】
ＳＴ３０６では、前記ＳＴ３０５で求めた距離および方向と、メモリ１１に登録されている基準画像の距離および方向とを用いて、下記の（２）式に基づき、類似度Ｃ（ｘ，ｙ）を求める。なお（２）式において、ｎは計測対象領域内の全画素数である。またｄ（Ｐｉ，Ｐμ）は、前記点Ｐｉと点Ｐμとの距離であり、ｄ（Ｍｉ，Ｍμ）は、基準画像側の点ＭｉとＭμとの距離である。また、θｉは、点Ｐμ，Ｐｉによるベクトルと、点Ｍμ，Ｍｉによるベクトルとのなす角度であり、０度から１８０度の範囲の数値となる。
【００６１】
【数２】
【００６２】
このようにして類似度Ｃ（ｘ，ｙ）を求めると、ＳＴ３０７では、その類似度Ｃ（ｘ，ｙ）を所定のしきい値Ｃ１と比較する。ここで類似度Ｃ（ｘ，ｙ）がしきい値Ｃ１を上回ると判断すると、ＳＴ３０８に進み、前記抽出数Ｅｎを１つ大きな値に更新する。
【００６３】
以下、ｘ，ｙの値をそれぞれ１〜ａｘ、１〜ａｙの範囲で動かすことにより、計測対象領域を１画素ずつ走査しながら、上記と同様の処理により走査毎に相関値Ｃ（ｘ，ｙ）を求め、その相関値Ｃ（ｘ，ｙ）がしきい値Ｃ１を上回った回数を抽出数Ｅｎとして計数する（ＳＴ３０２〜３１２）。走査が完了すると、ＳＴ３１３に進み、前記抽出数Ｅｎがあらかじめ登録された基準の数Ｅ０と一致するかどうかをチェックする。ここで、Ｅｎ＝Ｅ０であれば、ＳＴ３１４に進み、検査対象の物体が良品である旨の判定を行う。一方、Ｅｎ≠Ｅ０の場合には、ＳＴ３１５に進み、検査対象の物体が不良品である旨の判定を行う。この後は、ＳＴ３１６に進み、前記の判定結果を出力して処理を終了する。
【００６４】
上記（２）式によれば、ｄ（Ｐｉ，Ｐμ）とｄ（Ｍｉ，Ｍμ）との差が小さくなり、かつθｉが０に近づくほど、類似度Ｃ（ｘ，ｙ）の値は高くなる。したがって、前記しきい値Ｃ１の値を十分に高く設定することにより、基準画像の色彩の分布状態に近い画像領域を対象物として抽出することが可能となる。
【００６５】
ただし、（２）式では、平均色に対する相対的な色彩変化が同様であれば、類似度Ｃ（ｘ，ｙ）も高くなるので、基準画像とは色合いが異なる領域も対象物として抽出されることになる。基準画像と同様の色合いの領域のみを抽出する必要がある場合には、つぎの（３）式により前記類似度Ｃ（ｘ，ｙ）を補正するとよい。
【００６６】
【数３】
【００６７】
（３）式において、ｄmaxは、色空間において得ることのできる最大の距離である。たとえば、各色成分の濃度値を８ビットで表す場合には、ｄmax＝（２５５２×３）となる。ｄ（Ｐμ，Ｍμ）は、計測対象領域から求めた平均色Ｐμと基準画像から求めた平均色Ｍμとの距離である。この（３）式による補正後の類似度Ｃ´（ｘ，ｙ）によれば、計測対象領域内の各色彩Ｐｉの平均色Ｐμに対する関係が基準画像における関係に類似していても、平均色Ｐμが基準の平均色Ｍμから離れるほど、類似度の値は小さくなる。
【００６８】
なお、図８の手順では、類似度Ｃ（ｘ，ｙ）がしきい値Ｃ１を超えた回数をもって、対象物の数を求めているが、これに代えて、類似度Ｃ（ｘ，ｙ）がしきい値Ｃ１を超えたときの（ｘ，ｙ）の値を、対象物の位置として出力してもよい。また、類似度Ｃ（ｘ，ｙ）の値によって、対象物の色彩分布の適否を判別することもできる。
【符号の説明】
【００６９】
１ 本体部
２ カメラ
１０ ＣＰＵ
１１ メモリ
１２，１３，１４ 画像メモリ
１４，１５，１７ 基準画像メモリ
【特許請求の範囲】
【請求項１】
赤、緑、青の各色成分の濃度データから成るカラー画像を処理する方法において、
複数の色彩を有する対象物のモデルのカラー画像を基準画像として登録し、
前記複数の色彩を有する対象物を撮像することにより生成されたカラー画像を処理対象画像として、この処理対象画像中の対象物を抽出し、この抽出結果に基づき前記処理対象画像と基準画像とを画素単位で対応づけて、対応関係にある画素の組毎に画素間の色差を求めると共に、前記色差が所定のしきい値を超えた画素の組み合わせを計数し、
前記色差がしきい値を超えた画素の組み合わせの数が所定の許容値を超えたとき、前記対象物に色彩欠陥があると判別する、
ことを特徴とするカラー画像の処理方法。
【請求項２】
赤、緑、青の各色成分の濃度データから成るカラー画像を処理対象画像として入力する画像入力手段と、
複数の色彩を有する対象物のモデルのカラー画像を基準画像として登録するためのメモリと、
前記画像入力手段が前記複数の色彩を有する対象物を撮像することにより生成されたカラー画像を処理対象画像として入力したことに応じて、この処理対象画像中の対象物を抽出する抽出手段と、
前記抽出手段による抽出結果に基づき、前記対象物につき前記メモリに登録された基準画像と処理対象画像とを画素単位で対応づけて、対応関係にある画素の組毎に画素間の色差を求めると共に、この色差が所定のしきい値を超えた画素の組み合わせを計数する演算手段と、
前記色差がしきい値を超えた画素の組み合わせが所定の許容値を超えたとき、前記対象物に色彩欠陥があると判別する判別手段とを具備する画像処理装置。
【請求項１】
赤、緑、青の各色成分の濃度データから成るカラー画像を処理する方法において、
複数の色彩を有する対象物のモデルのカラー画像を基準画像として登録し、
前記複数の色彩を有する対象物を撮像することにより生成されたカラー画像を処理対象画像として、この処理対象画像中の対象物を抽出し、この抽出結果に基づき前記処理対象画像と基準画像とを画素単位で対応づけて、対応関係にある画素の組毎に画素間の色差を求めると共に、前記色差が所定のしきい値を超えた画素の組み合わせを計数し、
前記色差がしきい値を超えた画素の組み合わせの数が所定の許容値を超えたとき、前記対象物に色彩欠陥があると判別する、
ことを特徴とするカラー画像の処理方法。
【請求項２】
赤、緑、青の各色成分の濃度データから成るカラー画像を処理対象画像として入力する画像入力手段と、
複数の色彩を有する対象物のモデルのカラー画像を基準画像として登録するためのメモリと、
前記画像入力手段が前記複数の色彩を有する対象物を撮像することにより生成されたカラー画像を処理対象画像として入力したことに応じて、この処理対象画像中の対象物を抽出する抽出手段と、
前記抽出手段による抽出結果に基づき、前記対象物につき前記メモリに登録された基準画像と処理対象画像とを画素単位で対応づけて、対応関係にある画素の組毎に画素間の色差を求めると共に、この色差が所定のしきい値を超えた画素の組み合わせを計数する演算手段と、
前記色差がしきい値を超えた画素の組み合わせが所定の許容値を超えたとき、前記対象物に色彩欠陥があると判別する判別手段とを具備する画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１８２３３０（Ｐ２０１０−１８２３３０Ａ）
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願番号】特願２０１０−８６７５４（Ｐ２０１０−８６７５４）
【出願日】平成２２年４月５日（２０１０．４．５）
【分割の表示】特願２００４−１２７９１２（Ｐ２００４−１２７９１２）の分割
【原出願日】平成１６年４月２３日（２００４．４．２３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願日】平成２２年４月５日（２０１０．４．５）
【分割の表示】特願２００４−１２７９１２（Ｐ２００４−１２７９１２）の分割
【原出願日】平成１６年４月２３日（２００４．４．２３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]