画像処理装置及びそれに適する抽出色設定方法
【課題】 製品の製造工程における実際の画像の処理に用いることができ、抽出色の設定が容易で、輝度変化の影響を受けにくい画像処理装置を提供する。
【解決手段】 画像データから画素データを読み出し、各画素のＲＧＢ値から画素ごとの輝度値と彩度値を演算し、それらの平均値を演算する（Ｓ１）。次に、画像データ全体の彩度を上げ（Ｓ２）、ＲＧＢ閾値の取得を行い、得られたＲＧＢ閾値を格納する（Ｓ３）。次に、画像全体の輝度を下げ（Ｓ４）、修正された画像データに対してＲＧＢ閾値の取得を行い、ＲＧＢ閾値を格納する（Ｓ５）。そして、演算処理部５は、彩度及び輝度が変更されるごとに格納されたＲＧＢ閾値から最適な閾値を選択し、記憶部に格納する（Ｓ７）。画像処理パラメータが記録されると、最適なＲＧＢ閾値を用いて色抽出を行い、画像処理を実行する（Ｓ８）。
【解決手段】 画像データから画素データを読み出し、各画素のＲＧＢ値から画素ごとの輝度値と彩度値を演算し、それらの平均値を演算する（Ｓ１）。次に、画像データ全体の彩度を上げ（Ｓ２）、ＲＧＢ閾値の取得を行い、得られたＲＧＢ閾値を格納する（Ｓ３）。次に、画像全体の輝度を下げ（Ｓ４）、修正された画像データに対してＲＧＢ閾値の取得を行い、ＲＧＢ閾値を格納する（Ｓ５）。そして、演算処理部５は、彩度及び輝度が変更されるごとに格納されたＲＧＢ閾値から最適な閾値を選択し、記憶部に格納する（Ｓ７）。画像処理パラメータが記録されると、最適なＲＧＢ閾値を用いて色抽出を行い、画像処理を実行する（Ｓ８）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、特にその抽出色設定方法に関する。
【背景技術】
【０００２】
従来から、製品の製造工程などにおいて、部品などの品種の識別、異種部品の混入検出、組立て作業や製品検査の自動化を目的として、対象物をカメラで撮像し、画像信号から対象物の面積、形状、位置などを測定し、認識することが行われている。このような場合、一般的に、背景と対象物の輝度の違いにより、白黒画像を処理して良否判定をすることが行われている。
【０００３】
しかしながら、背景と対象物の輝度差が少なく、白黒画像では識別できないような場合もあり得る。そのような場合、対象物の特定の色を利用することが考えられる。具体的には、カラーカメラで撮像し、カラー画像信号から対象物の色の面積、形状、位置などを測定し、認識すればよい。
【０００４】
抽出色の設定は、ＲＧＢ値の許容範囲を設定することによって得られる。しかしながら、ＲＧＢ値から色を想像することが困難なため、従来から抽出色設定に関してさまざまな工夫がなされているが、次のような問題点を有している。
【０００５】
画像中の一部の領域を指定し、その領域に含まれる色を抽出する場合、指定領域内に多くの色が含まれていると、設定される色幅が大きくなる。また、抽出が不必要な部分の色も抽出してしまうことになる。そのため、特定の色しか含まない領域を指定する必要がある。また、特定の色しか含まない領域を指定するためには、色抽出の領域設定が細かくなり、手間がかかる。さらに、細かな領域設定を可能とするため、画像の拡大など他の手法を必要とし、全体として複雑な構成となる。また、ノイズも色幅として含んでしまう。
【０００６】
色の抽出を容易にするために、特許文献１では、オペレータにディスプレイ画面上の一点を指定させ、指定点を中心として複数の点の色情報を得て、ディスプレイ画面上に低輝度から高輝度までの複数の抽出色を表示する。そして、オペレータに表示された色が抽出色として満足できるか否かを確認する。しかしながら、特許文献１は、デザインシステムやコンピュータグラフィックスの作成において用いられることを前提としており、製品の製造工程における実際の画像の撮影及び画像処理を行うものではない。そのため、外乱光変動などによる輝度変化に対応しておらず、製品の製造工程における実際の画像の処理に用いることは事実上不可能である。
【０００７】
一方、特許文献２では、数値入力によることなく、抽出すべき色を感覚的に容易に指定しうることを目的とし、オペレータにディスプレイ画面上に表示されている画像上の異なる画素を次々に選択させ、段階的に色抽出範囲を拡大することを可能とし、画素が選択されるたびに、ＲＧＢに関する新たな閾値を設定し、既設定の閾値及び新たな閾値を超えない画素を、選択された画素と同一色であるとして抽出する。しかしながら、特許文献２では、すでに指定した画素の色と今回指定した画素の色の差が小さい場合、抽出される色幅の範囲の拡大が小さく、目的によっては、多数の画素を指定しなければならない可能性がある。逆に、すでに指定した画素の色と今回指定した画素の色の差が大きい場合、色幅の範囲の拡大が大きすぎて、所望する抽出範囲を超えてしまい、画素の指定をやり直さなければならない可能性がある。また、製品の製造工程などにおける画像の連続撮影及び連続画像処理を行う際の外乱光変動などによる輝度変化に対応しておらず、製品の製造工程における実際の画像の処理に用いると、外乱光の影響により誤判定を行う可能性がある。
【０００８】
特許文献３では、イメージスキャナなどにより読み取られた色数の多い画像データを色数の少ない画像データに変換することを目的として、ＲＧＢ３次元色空間をそれぞれ均等にｎ個ずつｎ３個の単位立方体の領域に分割し、各単位立方体に含まれる画素数を計算し、含まれる画素数の多いものから順にｍ個の単位立方体を選択し、選択した単位立方体の色平均値を出力目標色としている。特許文献３も、製品の製造工程における実際の画像の撮影及び画像処理を行うものではなく、外乱光変動などによる輝度変化に対応しておらず、製品の製造工程における実際の画像の処理に用いることは事実上不可能である。
【０００９】
さらに、対象物がプラスチックなどの光沢のある物体である場合、照明光などを反射して、撮像された画像が本来の色とは異なる色（白っぽい色）になることが知られている。このような光沢を除去する技術として、例えば非特許文献１などが知られている。
【特許文献１】特開平５−１２８２２５号公報
【特許文献２】特開平１１−１１０５５８号公報
【特許文献３】特開平５−２９０１５６号公報
【非特許文献１】ＩＥＥＥ論文：Klinker, G. J. and Sharer, S. A. and Kanade, T. "Using a color reflection model to separate highlights from object color." Intrd. Conf. on Comp. Vsion, IEEE, 1987, 145-150.
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、上記の問題を解決するためになされたものであり、製品の製造工程における実際の画像の処理に用いることが可能であり、抽出色の設定が容易であり、かつ外乱光変動などによる輝度変化の影響を受けにくい画像処理装置及びそれに適する抽出色設定方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために請求項１の発明は、カラー画像を撮像する撮像部と、前記撮像部から出力された画像データを所定の手順に従って変換処理する画像入力部と、前記画像入力部から出力された撮像画像データ及び画像処理されたデータを格納する記憶部と、所定の画像処理プログラムに従って前記撮像画像データに画像処理を施す演算処理部と、撮像画像又は処理された画像を表示する表示部と、前記表示部に表示される画像の画像データを記憶する出力画像記憶部と、ユーザにより操作され、前記演算処理部に対して指示を与えるための入力部とを備えた画像処理装置において、
前記演算処理部は、あらかじめＲＧＢ空間を複数の領域に分割しておき、画像データ中の各画素データをＲＧＢ値に従って領域ごとに分類し、各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、決定された画像処理パラメータを用いて画像処理を行う。
【００１２】
請求項２の発明は、請求項１の画像処理装置において、前記演算処理部は、前記入力部からの入力信号に応じて、前記表示部に表示されている画像上の一点又は一部の範囲を選択し、又は選択された一点に対する所定の範囲を自動的に選択し、選択された点又は範囲に含まれる画素データをＲＧＢ値に従って領域ごとに分類し、各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、決定された画像処理パラメータを用いて画像処理を行う。
【００１３】
請求項３の発明は、請求項１又は２の画像処理装置において、前記演算処理部は、さらに、各画素データの彩度を上げる画像処理を行い、彩度が変更された画素データを用いて画像処理パラメータを得る。
【００１４】
請求項４の発明は、請求項１又は２の画像処理装置において、前記演算処理部は、少なくとも１回又は所定の条件を満たすまで繰り返して、各画素データの彩度を上げる画像処理及び輝度を下げる画像処理を行い、複数の画像処理パラメータを得る。
【００１５】
請求項５の発明は、請求項４の画像処理装置において、各画素データの彩度と輝度の平均値が同一値となったとき又は近似値とみなせる値が出現したときに、前記彩度を上げる画像処理及び輝度を下げる画像処理の繰り返しを終了する。
【００１６】
請求項６の発明は、請求項４の画像処理装置において、前記演算処理部は、複数の画像処理パラメータごとにフィードバック画面を作成して前記表示部の画面上に同時に又は時系列的に表示し、ユーザによる前記入力部の操作に応じて、色抽出処理されるべき画面を選択する。
【００１７】
請求項７の発明は、請求項１乃至６のいずれかの画像処理装置において、設定モードと検査モードを設け、前記設定モードでは、画像処理パラメータを演算し、前記記憶部にその画像処理パラメータを格納し、前記検査モードでは、前記記憶部に格納された画像処理パラメータを用いて画像処理実行を行う。
【００１８】
請求項８の発明は、抽出色設定方法であって、あらかじめＲＧＢ空間を複数の領域に分割しておき、撮像装置により得られた画像データ中の各画素データをＲＧＢ値に従って領域ごとに分類し、各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、決定された画像処理パラメータを用いて画像処理を行う。
【００１９】
請求項９の発明は、請求項８の抽出色設定方法において、各画素データの彩度を上げる画像処理を行い、彩度が変更された画素データを用いて画像処理パラメータを得る。
【００２０】
請求項１０の発明は、請求項８の抽出色設定方法において、少なくとも１回又は所定の条件を満たすまで繰り返し、さらに、各画素データの彩度を上げる画像処理及び輝度を下げる画像処理を行い、複数の画像処理パラメータを得る。
【発明の効果】
【００２１】
請求項１の発明によれば、あらかじめＲＧＢ空間を複数の領域に分割しておき、画像データ中の各画素データをＲＧＢ値に従って領域ごとに分類し、各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、決定された画像処理パラメータを用いて画像処理を行うので、例えば色抽出領域を設定することなく、画像上の最大面積を占める色を抽出して画像処理を行うことができる。その結果、抽出色の設定が容易（不要）になり、かつ外乱光変動などによる輝度変化の影響を受けにくくなり、製品の製造工程における実際の画像の処理に用いることが可能となる。
【００２２】
請求項２の発明によれば、例えばユーザによる入力部の操作に応じて、表示部に表示されている画像上の一点又は一部の範囲を選択し、又は選択された一点に対する所定の範囲を自動的に選択し、選択された点又は範囲に含まれる画素データのみを用いて画像処理パラメータを決定するので、画像処理パラメータの決定に必要な処理を簡素化し、演算速度を速くすることができる。また、選択された領域内に複数の色が含まれている場合であっても。最も支配的な色のみを抽出するので、他の色の影響を受けることがなく、色抽出範囲の選択ひいては抽出色の設定を容易に、かつ迅速に行うことができる。
【００２３】
請求項３の発明によれば、彩度を上げることによって色が強調され、同系統の色が同一色として減色され、色の抽出が容易になる。また、彩度を上げることにより、淡い色の抽出も容易になる。
【００２４】
請求項４の発明によれば、彩度を上げることによって色が強調され、同系統の色が同一色として減色され、色の抽出が容易になる。さらに、輝度を下げることによって検査対象物の表面の光沢などによる影響を受けにくくすることができる。例えば、プラスチックなどの光沢材料でできている色付キャップを検査する場合に有効である。さらに、輝度を下げることによって輝度変動を吸収することができ、輝度変動に対し安定した色抽出処理を行うことができる。
【００２５】
請求項５の発明によれば、各画素データの彩度と輝度の平均値が同一値となったとき又は近似値とみなせる値が出現したときに、彩度を上げる画像処理及び輝度を下げる画像処理の繰り返しを終了するので、必ず有限個数の画像パラメータが得られる。
【００２６】
請求項６の発明によれば、ユーザの意志を尊重した画像パラメータの決定が可能となる。
【００２７】
請求項７の発明によれば、製品の製造工程における検査の高速化が可能となる。
【００２８】
請求項８の発明によれば、請求項１の発明と同様に、抽出色の設定が容易（不要）になり、かつ外乱光変動などによる輝度変化の影響を受けにくくなり、画像処理装置に応用することにより、製品の製造工程における検査などを行うことが可能となる。
【００２９】
請求項９の発明によれば、請求項３の発明と同様に、彩度を上げることによって色が強調され、同系統の色が同一色として減色され、色の抽出が容易になると共に、淡い色の抽出も容易になる。
【００３０】
請求項１０の発明によれば、請求項４の発明と同様に、彩度を上げ、輝度を下げることによって、同系統の色が同一色として減色され、色の抽出が容易になると共に、検査対象物の表面の光沢などによる影響を受けにくくすることができる。輝度変動を吸収することができ、輝度変動に対し安定した色抽出処理を行うことができる。
【発明を実施するための最良の形態】
【００３１】
本発明の一実施形態に係る画像処理装置及びそれに適する抽出色設定方法について説明する。
【００３２】
本実施形態に係る画像処理装置１の基本構成を図１に示す。画像処理装置１は、ＣＣＤなどの撮像素子を用いた外付けのカラーカメラなどの撮像部２と、撮像部２により得られた映像信号を記憶及び演算処理に適したディジタル信号に変換する画像入力部３と、処理プログラムやディジタル信号に変換された画像データなどを格納するためのＲＯＭやＲＡＭで構成された記憶部４と、処理プログラムに従って画像データの処理などを実行するＣＰＵなどで構成された演算処理部５と、ＲＡＭなどで構成され、出力される画像データを記憶するための出力画像記憶部６と、出力画像記憶部６から出力される画像を表示するためのカラー液晶ディスプレイなどの表示部７と、オペレータにより操作され、さまざまな指令を入力するための入力部８を備えている。
【００３３】
なお、撮像部２としては、外付けカメラを図示しているが、これに限定されるものではなく、画像処理装置１の内蔵カメラであってもよい。また、カラーカメラに限定されず、磁気共鳴、サーモグラフィなどその他カラー画像を出力する装置であってもよい。画像入力部３は、例えばＦＰＧＡ(Field Programmable Gate Array)で構成されている。または、画像入力部３を、ＤＳＰ(Digital Signal Processor)などの高速プロセッサを使ってソフト的に構成することも可能である。
【００３４】
記憶部４は、さらに、後述するＲＧＢ閾値などを格納するための処理手順部４１、画像入力部３から入力された未処理の画像データを格納する撮像画像部４２、画像処理されたデータを格納するための処理画像部４３などで構成されている。出力画像記憶部６は、表示部７の画面に表示される画像データのほか、画像上に抽出範囲を表示するフィードバック画面なども格納する。入力部８として、マウス、キーボード、ライトペン、その他の入力装置を使用することができる。オペレータは、入力部８を操作して、例えば表示部７の画面に表示されている画像上の領域（１点を含む）を指定することができる。
【００３５】
次に、画像入力部３の動作について説明する。撮像部２として、例えばＲＧＢベイヤ配列された画像データを出力する撮像装置を使用しているものとする。ベイヤ配列された画像データの一部を図２（ａ）に示す。図２（ａ）中、１枡が１画素に対応し、各枡に記載された画素番号の１０の桁が「行」、１の桁が「列」を表している。図２（ａ）からわかるように、１つの画素は、Ｒ値、Ｇ値又はＢ値のいずれか１つのデータしか有していない。例えば「Ｒ３３」と表示された画素はＲ値のみを有し、Ｇ値及びＢ値は有していない。このようなベイヤ配列された画像データが撮像部２から画像入力部３に転送される。
【００３６】
一方、一つの色は、Ｒ値、Ｇ値及びＢ値を一組として表現される。また、一般的なカラーディスプレイ装置は、１画素ごとにＲ値、Ｇ値及びＢ値を用いて色を表現している。そのため、１画素ごとにＲ値、Ｇ値及びＢ値を一組有している方が都合がよい。そこで、画像入力部３は、ベイヤ配列された画像データを、図２（ｂ）に示すように、１画素ごとにＲ値、Ｇ値及びＢ値を有するように補間する。
【００３７】
上記画素ごとの不足する他のＲ値、Ｇ値及びＢ値のいずれか２つのデータの補間は、補間処理される画素に隣接する８つの画素のデータを用いて行われる。補間により作り出される色成分の値は、図２（ｂ）中、斜体字で表されている。例えば、画素番号１１の画素は、補間によりＧ値及びＢ値が作られる。具体的な補間は、次式で実行される。
【数１】
【００３８】
画像入力部３は、画像データの変換を行った後、記憶部４の撮像画像部４２に変換したデータを記憶させる。図３は、撮像画像部４２に格納された画像データを用いて表示部７の画面に表示された画像（処理前の原画像）の一例を示す。また、画像上に重畳された矩形は、色を抽出するためにユーザが入力部８を操作することにより設定された色抽出領域３１を表す。例えば、入力部８を操作して画面上に表示されたポインタをクリックした位置を中心として、５０×５０画素の矩形の色抽出領域３１が自動生成される。
【００３９】
自動生成された色抽出領域３１には、多くの色が含まれている可能性があるが、本実施形態によれば、あらかじめＲＧＢ空間を複数の領域に分割しておき、色抽出領域３１中の各画素データをＲＧＢ値に従って領域ごとに分類し、各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、決定された画像処理パラメータを用いて画像処理を行うので、設定された色抽出領域内で最も頻度の多い色が抽出され、色抽出領域内に含まれる他の色による影響を受けることなく、画像処理を行うことができる。なお、撮像画像データの容量が少ない場合や画像のパターンが比較的単純である場合には、色抽出領域３１を設定することなく、全画像データを対象にして上記処理を行ってもよい。
【００４０】
次に、演算処理部５における画像処理手順を、図７に示すフローチャートを参照しつつ説明する。
【００４１】
上記色抽出領域３１が設定されると、演算処理部５は、記憶部４の撮像画像部４２に格納されている原画像の画像データから、設定された色抽出領域３１に含まれる画素データを読み出す。そして、色抽出領域３１中の各画素のＲＧＢ値から、画素ごとの輝度値と彩度値を演算し、さらにそれらの平均値を演算する（Ｓ１）。一般的に、以下の式により、輝度及び彩度が得られる。
【数２】
【００４２】
次に、演算処理部５は、画像データ全体の彩度を上げる（Ｓ２）。各画素の輝度と彩度は、上記式(1)〜(4)により算出し、彩度SをS / Save × 255（但し、Saveは、上記ステップＳ１で求めた画像全体の彩度の平均値）に変更する。彩度が変更された画像データは、処理画像部４３に格納される。さらに、輝度及び彩度の変更を行う場合には、この画像データを修正前の画像データとして使用する。以下の式により、彩度及び色相からＲＧＢ値が得られる。なお、これらの処理は色抽出領域３１に含まれる全画素に対して行われる。
【数３】
【００４３】
さらに、演算処理部５は、ＲＧＢ閾値の取得を行い、記憶部４の処理手順部４１に得られたＲＧＢ閾値を格納する（Ｓ３）。なお、ＲＧＢ閾値の取得の詳細については、後述する。ＲＧＢ閾値が取得されると、演算処理部５は、画像全体の輝度を下げる（Ｓ４）。具体的には、各画素の輝度を上記式(1)及び(2)により算出し、輝度YをY/2に変更する。そして、変更された輝度Yを用いて、上記式(7)〜(9)によりＲＧＢ値を得る。輝度が変更された画像データは、記憶部４の処理画像部４３に格納される。さらに、輝度及び彩度の変更を行う場合には、この修正された画像データを修正前の画像データとして使用する。
【００４４】
画像データが修正されると、演算処理部５は、修正された画像データに対して、ステップＳ３と同様に、ＲＧＢ閾値の取得を行い、記憶部４の処理手順部４１にＲＧＢ閾値を格納する（Ｓ５）。そして、演算処理部５は、上記ステップＳ１〜Ｓ５をさらに繰り返すかどうかを判断する（Ｓ６）。ステップＳ６における判断条件としては、例えば、あらかじめ設定された回数だけ彩度及び輝度の変更を実施したことをもって終了の条件としてもよい。あるいは、ステップＳ１で取得された彩度の平均値Save及び輝度の平均値Yaveと、ステップＳ６を経て戻ったステップＳ１で再度取得された彩度の平均値Save及び輝度の平均値Yaveが共に一致することをもって終了の条件としてもよい。
【００４５】
ステップＳ１〜Ｓ５の繰り返しが終了すると、演算処理部５は、彩度及び輝度が変更されるごとにステップＳ３及びＳ５で格納されたＲＧＢ閾値から最適な閾値を選択し、記憶部４の処理手順部４１に格納する（Ｓ７）。
【００４６】
最適なＲＧＢ閾値の選択の基準としては、例えば正常とすべき対象物の抽出目的の色の面積値が既知であり、面積値の許容範囲も既知である場合、ステップＳ３及びＳ５で格納されたＲＧＢ閾値を用いて色抽出を行い、画素数をカウントすることにより得られる抽出色の面積が、所定の許容範囲内であり、かつ既知の面積値に最も近い面積値となるＲＧＢ閾値を、最適なＲＧＢ閾値とする。
【００４７】
あるいは、ステップＳ３及びＳ５で格納されたＲＧＢ閾値の組み合わせ回数だけ色抽出を行い、抽出された画素を他の画素と区別しやすい色で選択可能なように表示し、入力部８を操作してフィードバック画面上で画素を選択することにより、最適なＲＧＢ閾値を選択してもよい。表示方法としては、画像データそのものを変更して表示する方法、オーバーレイ又はスーパーインポーズなどの重ね合わせによる表示方法、複数画面を列挙する表示方法、入力部２からの指示により順番に表示する方法などであってもよい。
【００４８】
画像処理パラメータが記録されると、演算処理部５は、最適なＲＧＢ閾値を用いて色抽出を行い、画像処理を実行する（Ｓ８）。画像処理の例としては、画素数カウント（面積）や抽出パターンのパターンマッチングなどが考えられる。
【００４９】
次に、上記ステップＳ３又はＳ５で実行されるＲＧＢ閾値の取得手順について、図８に示すフローチャートを参照しつつ説明する。なお、図４は、図３に示す原画像をＲＧＢ空間にマッピングした図である。説明のため代表的な部分のみをプロットしている。図５は、ＲＧＢ空間をＮ分割（本実施形態では１０分割）した図である。図６は、色抽出領域に含まれる画素をＲＧＢ空間にプロットしたものであり、最も画素数の多い部分空間を示している。
【００５０】
演算処理部５は、まずＲＧＢの度数分布を求める（Ｓ１１）。図５に示すように、Ｒ軸、Ｇ軸及びＢ軸に沿って、ＲＧＢ空間をＮ３個の部分領域に分割し、図３で示した色抽出領域３１の画素について、どの部分領域に画素がいくつ入っているかをカウントする。まず、Ｒ軸、Ｇ軸及びＢ軸をそれぞれ１０等分する。画素のＲ値、Ｇ値及びＢ値は、それぞれ0〜255の整数値なので、各値は、それぞれ以下の均等分割された範囲に振り分けられる。
【数４】
【００５１】
次に、演算処理部５は、度数（含まれる画素数）が最大となる部分ＲＧＢ空間を取得する（Ｓ１２）。図６中、太線で示した部分空間に最も多く画素が含まれる。度数が最大となる部分ＲＧＢ空間が取得されると、演算処理部５は、その部分ＲＧＢ空間に含まれる画素のＲＧＢ値について、それぞれ平均値を求め（Ｓ１３）、平均値（期待値）を各軸の分布の中心値とする。さらに、演算処理部５は、部分ＲＧＢ空間に含まれる画素のＲＧＢ値について、それぞれ分散及び標準偏差を求め（Ｓ１４、Ｓ１５）、最後に、ＲＧＢの各閾値を求める（Ｓ１６）。
【００５２】
色抽出の実行では、次の3つの条件が成立するときに抽出色とする。
【数５】
【００５３】
次に、本実施形態の応用例について説明する。例えば、画像処理装置１を用いて、製品の製造工程における実際の画像を撮像し、得られた画像データに所定の処理を施して製品検査などを行うことができる。その場合、設定モードと検査モードを設け、設定モードでは、例えば良品サンプルの画像を撮像し、上記図７のフローチャート中のステップＳ１〜Ｓ７を実行して画像処理パラメータを演算し、記憶部４にその画像処理パラメータを格納しておく。また、記憶部４の処理手順部４１にＲＧＢ閾値及び彩度及び輝度変更の各回数などを格納しておく。そして、検査モードでは、撮像部２により新たに撮像された画像データに対して、処理手順部に格納されている彩度及び輝度の変更回数に従ってステップＳ１〜Ｓ６を繰り返し実行する。このように、設定モードと検査モードを設定することにより、検査モードにおいては、画像処理プログラム中の最適なＲＧＢ閾値の選択などの手順を省略することができ、フィードバックなどする必要がなく、中間画像を残す必要がないうえ、判断回数が少なくなる。その結果、画像処理装置１の記憶部４の低容量化及び演算処理部５による演算処理の高速化が達成される。また、画像処理装置１をハードウエアで構成することも可能になる。
【００５４】
以上のように、本実施形態によれば、必要に応じてユーザが入力部８を操作することにより、表示部７の画面に表示された画像上の任意の領域を色抽出領域３１として選択することができ、色抽出領域３１に含まれている色のうち最も支配的な色のみを抽出し、他の色を排除することができる。その結果、色抽出領域３１内に連続的に変化していく色など、多くの色が混在していても、支配的な色のみを抽出することができる。色抽出領域３１は、ユーザが任意に設定することができるので、ユーザが意図しない色の抽出を排除することができる。さらに、他の色が抽出されることによるノイズなどの影響を受けることがなくなる。
【００５５】
色抽出領域は、上記のように矩形の領域であってもよいし、ユーザが選択した画像上の一点であってもよい。さらに、ユーザ選択した一点に対する所定の範囲を自動的に選択するように構成してもよい。その結果、色抽出領域設定のために画像の拡大など他の処理を行う必要がなくなり、色抽出領域の設定をラフにすることができる。
【００５６】
さらに、図７のフローチャートのステップＳ２において、彩度を上げる処理を行うことにより、淡い色の抽出画容易になる。さらに、ステップＳ５において、輝度を下げる処理を行っているので、光沢の影響を除去することができ、光沢のある検査対象物の色抽出が可能となる。また、多くの色を含む光沢物体中から特定の色を抽出することが可能となる。さらに、輝度を下げることにより、近似した色が統合されて減色されるので、近似した色の抽出が可能となる。さらに、輝度を下げることにより撮像画像の輝度変化を吸収することができ、外乱光などに対する不安定さを解消することができる。さらに、輝度を下げることで減色を行うため、減色がそれ以上できなく時点で設定動作を終了させることができる。その結果、必ず終了する自動色抽出設定アルゴリズムの構築が可能となる。
【図面の簡単な説明】
【００５７】
【図１】本発明の一実施形態に係る画像処理装置の基本構成を示すブロック図。
【図２】上記画像処理装置における画像データの変換処理の一例を示す図。
【図３】表示部の画面に表示された処理前の原画像の一例を示す図。
【図４】図３に示す原画像をＲＧＢ空間にマッピングした図。
【図５】ＲＧＢ空間を分割した図。
【図６】図３に示した色抽出のための矩形領域中の画素をＲＧＢ空間にマッピングした図。
【図７】上記画像処理装置における画像処理処理手順を示すフローチャート。
【図８】図７のフローチャートにおけるステップＳ３又はＳ５で実行されるＲＧＢ閾値の取得手順を示すフローチャート。
【符号の説明】
【００５８】
１ 画像処理装置
２ 撮像部
３ 画像入力部
４ 記憶部
５ 演算処理部
６ 出力画像記憶部
７ 表示部
８ 入力部
【技術分野】
【０００１】
本発明は、画像処理装置、特にその抽出色設定方法に関する。
【背景技術】
【０００２】
従来から、製品の製造工程などにおいて、部品などの品種の識別、異種部品の混入検出、組立て作業や製品検査の自動化を目的として、対象物をカメラで撮像し、画像信号から対象物の面積、形状、位置などを測定し、認識することが行われている。このような場合、一般的に、背景と対象物の輝度の違いにより、白黒画像を処理して良否判定をすることが行われている。
【０００３】
しかしながら、背景と対象物の輝度差が少なく、白黒画像では識別できないような場合もあり得る。そのような場合、対象物の特定の色を利用することが考えられる。具体的には、カラーカメラで撮像し、カラー画像信号から対象物の色の面積、形状、位置などを測定し、認識すればよい。
【０００４】
抽出色の設定は、ＲＧＢ値の許容範囲を設定することによって得られる。しかしながら、ＲＧＢ値から色を想像することが困難なため、従来から抽出色設定に関してさまざまな工夫がなされているが、次のような問題点を有している。
【０００５】
画像中の一部の領域を指定し、その領域に含まれる色を抽出する場合、指定領域内に多くの色が含まれていると、設定される色幅が大きくなる。また、抽出が不必要な部分の色も抽出してしまうことになる。そのため、特定の色しか含まない領域を指定する必要がある。また、特定の色しか含まない領域を指定するためには、色抽出の領域設定が細かくなり、手間がかかる。さらに、細かな領域設定を可能とするため、画像の拡大など他の手法を必要とし、全体として複雑な構成となる。また、ノイズも色幅として含んでしまう。
【０００６】
色の抽出を容易にするために、特許文献１では、オペレータにディスプレイ画面上の一点を指定させ、指定点を中心として複数の点の色情報を得て、ディスプレイ画面上に低輝度から高輝度までの複数の抽出色を表示する。そして、オペレータに表示された色が抽出色として満足できるか否かを確認する。しかしながら、特許文献１は、デザインシステムやコンピュータグラフィックスの作成において用いられることを前提としており、製品の製造工程における実際の画像の撮影及び画像処理を行うものではない。そのため、外乱光変動などによる輝度変化に対応しておらず、製品の製造工程における実際の画像の処理に用いることは事実上不可能である。
【０００７】
一方、特許文献２では、数値入力によることなく、抽出すべき色を感覚的に容易に指定しうることを目的とし、オペレータにディスプレイ画面上に表示されている画像上の異なる画素を次々に選択させ、段階的に色抽出範囲を拡大することを可能とし、画素が選択されるたびに、ＲＧＢに関する新たな閾値を設定し、既設定の閾値及び新たな閾値を超えない画素を、選択された画素と同一色であるとして抽出する。しかしながら、特許文献２では、すでに指定した画素の色と今回指定した画素の色の差が小さい場合、抽出される色幅の範囲の拡大が小さく、目的によっては、多数の画素を指定しなければならない可能性がある。逆に、すでに指定した画素の色と今回指定した画素の色の差が大きい場合、色幅の範囲の拡大が大きすぎて、所望する抽出範囲を超えてしまい、画素の指定をやり直さなければならない可能性がある。また、製品の製造工程などにおける画像の連続撮影及び連続画像処理を行う際の外乱光変動などによる輝度変化に対応しておらず、製品の製造工程における実際の画像の処理に用いると、外乱光の影響により誤判定を行う可能性がある。
【０００８】
特許文献３では、イメージスキャナなどにより読み取られた色数の多い画像データを色数の少ない画像データに変換することを目的として、ＲＧＢ３次元色空間をそれぞれ均等にｎ個ずつｎ３個の単位立方体の領域に分割し、各単位立方体に含まれる画素数を計算し、含まれる画素数の多いものから順にｍ個の単位立方体を選択し、選択した単位立方体の色平均値を出力目標色としている。特許文献３も、製品の製造工程における実際の画像の撮影及び画像処理を行うものではなく、外乱光変動などによる輝度変化に対応しておらず、製品の製造工程における実際の画像の処理に用いることは事実上不可能である。
【０００９】
さらに、対象物がプラスチックなどの光沢のある物体である場合、照明光などを反射して、撮像された画像が本来の色とは異なる色（白っぽい色）になることが知られている。このような光沢を除去する技術として、例えば非特許文献１などが知られている。
【特許文献１】特開平５−１２８２２５号公報
【特許文献２】特開平１１−１１０５５８号公報
【特許文献３】特開平５−２９０１５６号公報
【非特許文献１】ＩＥＥＥ論文：Klinker, G. J. and Sharer, S. A. and Kanade, T. "Using a color reflection model to separate highlights from object color." Intrd. Conf. on Comp. Vsion, IEEE, 1987, 145-150.
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、上記の問題を解決するためになされたものであり、製品の製造工程における実際の画像の処理に用いることが可能であり、抽出色の設定が容易であり、かつ外乱光変動などによる輝度変化の影響を受けにくい画像処理装置及びそれに適する抽出色設定方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために請求項１の発明は、カラー画像を撮像する撮像部と、前記撮像部から出力された画像データを所定の手順に従って変換処理する画像入力部と、前記画像入力部から出力された撮像画像データ及び画像処理されたデータを格納する記憶部と、所定の画像処理プログラムに従って前記撮像画像データに画像処理を施す演算処理部と、撮像画像又は処理された画像を表示する表示部と、前記表示部に表示される画像の画像データを記憶する出力画像記憶部と、ユーザにより操作され、前記演算処理部に対して指示を与えるための入力部とを備えた画像処理装置において、
前記演算処理部は、あらかじめＲＧＢ空間を複数の領域に分割しておき、画像データ中の各画素データをＲＧＢ値に従って領域ごとに分類し、各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、決定された画像処理パラメータを用いて画像処理を行う。
【００１２】
請求項２の発明は、請求項１の画像処理装置において、前記演算処理部は、前記入力部からの入力信号に応じて、前記表示部に表示されている画像上の一点又は一部の範囲を選択し、又は選択された一点に対する所定の範囲を自動的に選択し、選択された点又は範囲に含まれる画素データをＲＧＢ値に従って領域ごとに分類し、各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、決定された画像処理パラメータを用いて画像処理を行う。
【００１３】
請求項３の発明は、請求項１又は２の画像処理装置において、前記演算処理部は、さらに、各画素データの彩度を上げる画像処理を行い、彩度が変更された画素データを用いて画像処理パラメータを得る。
【００１４】
請求項４の発明は、請求項１又は２の画像処理装置において、前記演算処理部は、少なくとも１回又は所定の条件を満たすまで繰り返して、各画素データの彩度を上げる画像処理及び輝度を下げる画像処理を行い、複数の画像処理パラメータを得る。
【００１５】
請求項５の発明は、請求項４の画像処理装置において、各画素データの彩度と輝度の平均値が同一値となったとき又は近似値とみなせる値が出現したときに、前記彩度を上げる画像処理及び輝度を下げる画像処理の繰り返しを終了する。
【００１６】
請求項６の発明は、請求項４の画像処理装置において、前記演算処理部は、複数の画像処理パラメータごとにフィードバック画面を作成して前記表示部の画面上に同時に又は時系列的に表示し、ユーザによる前記入力部の操作に応じて、色抽出処理されるべき画面を選択する。
【００１７】
請求項７の発明は、請求項１乃至６のいずれかの画像処理装置において、設定モードと検査モードを設け、前記設定モードでは、画像処理パラメータを演算し、前記記憶部にその画像処理パラメータを格納し、前記検査モードでは、前記記憶部に格納された画像処理パラメータを用いて画像処理実行を行う。
【００１８】
請求項８の発明は、抽出色設定方法であって、あらかじめＲＧＢ空間を複数の領域に分割しておき、撮像装置により得られた画像データ中の各画素データをＲＧＢ値に従って領域ごとに分類し、各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、決定された画像処理パラメータを用いて画像処理を行う。
【００１９】
請求項９の発明は、請求項８の抽出色設定方法において、各画素データの彩度を上げる画像処理を行い、彩度が変更された画素データを用いて画像処理パラメータを得る。
【００２０】
請求項１０の発明は、請求項８の抽出色設定方法において、少なくとも１回又は所定の条件を満たすまで繰り返し、さらに、各画素データの彩度を上げる画像処理及び輝度を下げる画像処理を行い、複数の画像処理パラメータを得る。
【発明の効果】
【００２１】
請求項１の発明によれば、あらかじめＲＧＢ空間を複数の領域に分割しておき、画像データ中の各画素データをＲＧＢ値に従って領域ごとに分類し、各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、決定された画像処理パラメータを用いて画像処理を行うので、例えば色抽出領域を設定することなく、画像上の最大面積を占める色を抽出して画像処理を行うことができる。その結果、抽出色の設定が容易（不要）になり、かつ外乱光変動などによる輝度変化の影響を受けにくくなり、製品の製造工程における実際の画像の処理に用いることが可能となる。
【００２２】
請求項２の発明によれば、例えばユーザによる入力部の操作に応じて、表示部に表示されている画像上の一点又は一部の範囲を選択し、又は選択された一点に対する所定の範囲を自動的に選択し、選択された点又は範囲に含まれる画素データのみを用いて画像処理パラメータを決定するので、画像処理パラメータの決定に必要な処理を簡素化し、演算速度を速くすることができる。また、選択された領域内に複数の色が含まれている場合であっても。最も支配的な色のみを抽出するので、他の色の影響を受けることがなく、色抽出範囲の選択ひいては抽出色の設定を容易に、かつ迅速に行うことができる。
【００２３】
請求項３の発明によれば、彩度を上げることによって色が強調され、同系統の色が同一色として減色され、色の抽出が容易になる。また、彩度を上げることにより、淡い色の抽出も容易になる。
【００２４】
請求項４の発明によれば、彩度を上げることによって色が強調され、同系統の色が同一色として減色され、色の抽出が容易になる。さらに、輝度を下げることによって検査対象物の表面の光沢などによる影響を受けにくくすることができる。例えば、プラスチックなどの光沢材料でできている色付キャップを検査する場合に有効である。さらに、輝度を下げることによって輝度変動を吸収することができ、輝度変動に対し安定した色抽出処理を行うことができる。
【００２５】
請求項５の発明によれば、各画素データの彩度と輝度の平均値が同一値となったとき又は近似値とみなせる値が出現したときに、彩度を上げる画像処理及び輝度を下げる画像処理の繰り返しを終了するので、必ず有限個数の画像パラメータが得られる。
【００２６】
請求項６の発明によれば、ユーザの意志を尊重した画像パラメータの決定が可能となる。
【００２７】
請求項７の発明によれば、製品の製造工程における検査の高速化が可能となる。
【００２８】
請求項８の発明によれば、請求項１の発明と同様に、抽出色の設定が容易（不要）になり、かつ外乱光変動などによる輝度変化の影響を受けにくくなり、画像処理装置に応用することにより、製品の製造工程における検査などを行うことが可能となる。
【００２９】
請求項９の発明によれば、請求項３の発明と同様に、彩度を上げることによって色が強調され、同系統の色が同一色として減色され、色の抽出が容易になると共に、淡い色の抽出も容易になる。
【００３０】
請求項１０の発明によれば、請求項４の発明と同様に、彩度を上げ、輝度を下げることによって、同系統の色が同一色として減色され、色の抽出が容易になると共に、検査対象物の表面の光沢などによる影響を受けにくくすることができる。輝度変動を吸収することができ、輝度変動に対し安定した色抽出処理を行うことができる。
【発明を実施するための最良の形態】
【００３１】
本発明の一実施形態に係る画像処理装置及びそれに適する抽出色設定方法について説明する。
【００３２】
本実施形態に係る画像処理装置１の基本構成を図１に示す。画像処理装置１は、ＣＣＤなどの撮像素子を用いた外付けのカラーカメラなどの撮像部２と、撮像部２により得られた映像信号を記憶及び演算処理に適したディジタル信号に変換する画像入力部３と、処理プログラムやディジタル信号に変換された画像データなどを格納するためのＲＯＭやＲＡＭで構成された記憶部４と、処理プログラムに従って画像データの処理などを実行するＣＰＵなどで構成された演算処理部５と、ＲＡＭなどで構成され、出力される画像データを記憶するための出力画像記憶部６と、出力画像記憶部６から出力される画像を表示するためのカラー液晶ディスプレイなどの表示部７と、オペレータにより操作され、さまざまな指令を入力するための入力部８を備えている。
【００３３】
なお、撮像部２としては、外付けカメラを図示しているが、これに限定されるものではなく、画像処理装置１の内蔵カメラであってもよい。また、カラーカメラに限定されず、磁気共鳴、サーモグラフィなどその他カラー画像を出力する装置であってもよい。画像入力部３は、例えばＦＰＧＡ(Field Programmable Gate Array)で構成されている。または、画像入力部３を、ＤＳＰ(Digital Signal Processor)などの高速プロセッサを使ってソフト的に構成することも可能である。
【００３４】
記憶部４は、さらに、後述するＲＧＢ閾値などを格納するための処理手順部４１、画像入力部３から入力された未処理の画像データを格納する撮像画像部４２、画像処理されたデータを格納するための処理画像部４３などで構成されている。出力画像記憶部６は、表示部７の画面に表示される画像データのほか、画像上に抽出範囲を表示するフィードバック画面なども格納する。入力部８として、マウス、キーボード、ライトペン、その他の入力装置を使用することができる。オペレータは、入力部８を操作して、例えば表示部７の画面に表示されている画像上の領域（１点を含む）を指定することができる。
【００３５】
次に、画像入力部３の動作について説明する。撮像部２として、例えばＲＧＢベイヤ配列された画像データを出力する撮像装置を使用しているものとする。ベイヤ配列された画像データの一部を図２（ａ）に示す。図２（ａ）中、１枡が１画素に対応し、各枡に記載された画素番号の１０の桁が「行」、１の桁が「列」を表している。図２（ａ）からわかるように、１つの画素は、Ｒ値、Ｇ値又はＢ値のいずれか１つのデータしか有していない。例えば「Ｒ３３」と表示された画素はＲ値のみを有し、Ｇ値及びＢ値は有していない。このようなベイヤ配列された画像データが撮像部２から画像入力部３に転送される。
【００３６】
一方、一つの色は、Ｒ値、Ｇ値及びＢ値を一組として表現される。また、一般的なカラーディスプレイ装置は、１画素ごとにＲ値、Ｇ値及びＢ値を用いて色を表現している。そのため、１画素ごとにＲ値、Ｇ値及びＢ値を一組有している方が都合がよい。そこで、画像入力部３は、ベイヤ配列された画像データを、図２（ｂ）に示すように、１画素ごとにＲ値、Ｇ値及びＢ値を有するように補間する。
【００３７】
上記画素ごとの不足する他のＲ値、Ｇ値及びＢ値のいずれか２つのデータの補間は、補間処理される画素に隣接する８つの画素のデータを用いて行われる。補間により作り出される色成分の値は、図２（ｂ）中、斜体字で表されている。例えば、画素番号１１の画素は、補間によりＧ値及びＢ値が作られる。具体的な補間は、次式で実行される。
【数１】
【００３８】
画像入力部３は、画像データの変換を行った後、記憶部４の撮像画像部４２に変換したデータを記憶させる。図３は、撮像画像部４２に格納された画像データを用いて表示部７の画面に表示された画像（処理前の原画像）の一例を示す。また、画像上に重畳された矩形は、色を抽出するためにユーザが入力部８を操作することにより設定された色抽出領域３１を表す。例えば、入力部８を操作して画面上に表示されたポインタをクリックした位置を中心として、５０×５０画素の矩形の色抽出領域３１が自動生成される。
【００３９】
自動生成された色抽出領域３１には、多くの色が含まれている可能性があるが、本実施形態によれば、あらかじめＲＧＢ空間を複数の領域に分割しておき、色抽出領域３１中の各画素データをＲＧＢ値に従って領域ごとに分類し、各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、決定された画像処理パラメータを用いて画像処理を行うので、設定された色抽出領域内で最も頻度の多い色が抽出され、色抽出領域内に含まれる他の色による影響を受けることなく、画像処理を行うことができる。なお、撮像画像データの容量が少ない場合や画像のパターンが比較的単純である場合には、色抽出領域３１を設定することなく、全画像データを対象にして上記処理を行ってもよい。
【００４０】
次に、演算処理部５における画像処理手順を、図７に示すフローチャートを参照しつつ説明する。
【００４１】
上記色抽出領域３１が設定されると、演算処理部５は、記憶部４の撮像画像部４２に格納されている原画像の画像データから、設定された色抽出領域３１に含まれる画素データを読み出す。そして、色抽出領域３１中の各画素のＲＧＢ値から、画素ごとの輝度値と彩度値を演算し、さらにそれらの平均値を演算する（Ｓ１）。一般的に、以下の式により、輝度及び彩度が得られる。
【数２】
【００４２】
次に、演算処理部５は、画像データ全体の彩度を上げる（Ｓ２）。各画素の輝度と彩度は、上記式(1)〜(4)により算出し、彩度SをS / Save × 255（但し、Saveは、上記ステップＳ１で求めた画像全体の彩度の平均値）に変更する。彩度が変更された画像データは、処理画像部４３に格納される。さらに、輝度及び彩度の変更を行う場合には、この画像データを修正前の画像データとして使用する。以下の式により、彩度及び色相からＲＧＢ値が得られる。なお、これらの処理は色抽出領域３１に含まれる全画素に対して行われる。
【数３】
【００４３】
さらに、演算処理部５は、ＲＧＢ閾値の取得を行い、記憶部４の処理手順部４１に得られたＲＧＢ閾値を格納する（Ｓ３）。なお、ＲＧＢ閾値の取得の詳細については、後述する。ＲＧＢ閾値が取得されると、演算処理部５は、画像全体の輝度を下げる（Ｓ４）。具体的には、各画素の輝度を上記式(1)及び(2)により算出し、輝度YをY/2に変更する。そして、変更された輝度Yを用いて、上記式(7)〜(9)によりＲＧＢ値を得る。輝度が変更された画像データは、記憶部４の処理画像部４３に格納される。さらに、輝度及び彩度の変更を行う場合には、この修正された画像データを修正前の画像データとして使用する。
【００４４】
画像データが修正されると、演算処理部５は、修正された画像データに対して、ステップＳ３と同様に、ＲＧＢ閾値の取得を行い、記憶部４の処理手順部４１にＲＧＢ閾値を格納する（Ｓ５）。そして、演算処理部５は、上記ステップＳ１〜Ｓ５をさらに繰り返すかどうかを判断する（Ｓ６）。ステップＳ６における判断条件としては、例えば、あらかじめ設定された回数だけ彩度及び輝度の変更を実施したことをもって終了の条件としてもよい。あるいは、ステップＳ１で取得された彩度の平均値Save及び輝度の平均値Yaveと、ステップＳ６を経て戻ったステップＳ１で再度取得された彩度の平均値Save及び輝度の平均値Yaveが共に一致することをもって終了の条件としてもよい。
【００４５】
ステップＳ１〜Ｓ５の繰り返しが終了すると、演算処理部５は、彩度及び輝度が変更されるごとにステップＳ３及びＳ５で格納されたＲＧＢ閾値から最適な閾値を選択し、記憶部４の処理手順部４１に格納する（Ｓ７）。
【００４６】
最適なＲＧＢ閾値の選択の基準としては、例えば正常とすべき対象物の抽出目的の色の面積値が既知であり、面積値の許容範囲も既知である場合、ステップＳ３及びＳ５で格納されたＲＧＢ閾値を用いて色抽出を行い、画素数をカウントすることにより得られる抽出色の面積が、所定の許容範囲内であり、かつ既知の面積値に最も近い面積値となるＲＧＢ閾値を、最適なＲＧＢ閾値とする。
【００４７】
あるいは、ステップＳ３及びＳ５で格納されたＲＧＢ閾値の組み合わせ回数だけ色抽出を行い、抽出された画素を他の画素と区別しやすい色で選択可能なように表示し、入力部８を操作してフィードバック画面上で画素を選択することにより、最適なＲＧＢ閾値を選択してもよい。表示方法としては、画像データそのものを変更して表示する方法、オーバーレイ又はスーパーインポーズなどの重ね合わせによる表示方法、複数画面を列挙する表示方法、入力部２からの指示により順番に表示する方法などであってもよい。
【００４８】
画像処理パラメータが記録されると、演算処理部５は、最適なＲＧＢ閾値を用いて色抽出を行い、画像処理を実行する（Ｓ８）。画像処理の例としては、画素数カウント（面積）や抽出パターンのパターンマッチングなどが考えられる。
【００４９】
次に、上記ステップＳ３又はＳ５で実行されるＲＧＢ閾値の取得手順について、図８に示すフローチャートを参照しつつ説明する。なお、図４は、図３に示す原画像をＲＧＢ空間にマッピングした図である。説明のため代表的な部分のみをプロットしている。図５は、ＲＧＢ空間をＮ分割（本実施形態では１０分割）した図である。図６は、色抽出領域に含まれる画素をＲＧＢ空間にプロットしたものであり、最も画素数の多い部分空間を示している。
【００５０】
演算処理部５は、まずＲＧＢの度数分布を求める（Ｓ１１）。図５に示すように、Ｒ軸、Ｇ軸及びＢ軸に沿って、ＲＧＢ空間をＮ３個の部分領域に分割し、図３で示した色抽出領域３１の画素について、どの部分領域に画素がいくつ入っているかをカウントする。まず、Ｒ軸、Ｇ軸及びＢ軸をそれぞれ１０等分する。画素のＲ値、Ｇ値及びＢ値は、それぞれ0〜255の整数値なので、各値は、それぞれ以下の均等分割された範囲に振り分けられる。
【数４】
【００５１】
次に、演算処理部５は、度数（含まれる画素数）が最大となる部分ＲＧＢ空間を取得する（Ｓ１２）。図６中、太線で示した部分空間に最も多く画素が含まれる。度数が最大となる部分ＲＧＢ空間が取得されると、演算処理部５は、その部分ＲＧＢ空間に含まれる画素のＲＧＢ値について、それぞれ平均値を求め（Ｓ１３）、平均値（期待値）を各軸の分布の中心値とする。さらに、演算処理部５は、部分ＲＧＢ空間に含まれる画素のＲＧＢ値について、それぞれ分散及び標準偏差を求め（Ｓ１４、Ｓ１５）、最後に、ＲＧＢの各閾値を求める（Ｓ１６）。
【００５２】
色抽出の実行では、次の3つの条件が成立するときに抽出色とする。
【数５】
【００５３】
次に、本実施形態の応用例について説明する。例えば、画像処理装置１を用いて、製品の製造工程における実際の画像を撮像し、得られた画像データに所定の処理を施して製品検査などを行うことができる。その場合、設定モードと検査モードを設け、設定モードでは、例えば良品サンプルの画像を撮像し、上記図７のフローチャート中のステップＳ１〜Ｓ７を実行して画像処理パラメータを演算し、記憶部４にその画像処理パラメータを格納しておく。また、記憶部４の処理手順部４１にＲＧＢ閾値及び彩度及び輝度変更の各回数などを格納しておく。そして、検査モードでは、撮像部２により新たに撮像された画像データに対して、処理手順部に格納されている彩度及び輝度の変更回数に従ってステップＳ１〜Ｓ６を繰り返し実行する。このように、設定モードと検査モードを設定することにより、検査モードにおいては、画像処理プログラム中の最適なＲＧＢ閾値の選択などの手順を省略することができ、フィードバックなどする必要がなく、中間画像を残す必要がないうえ、判断回数が少なくなる。その結果、画像処理装置１の記憶部４の低容量化及び演算処理部５による演算処理の高速化が達成される。また、画像処理装置１をハードウエアで構成することも可能になる。
【００５４】
以上のように、本実施形態によれば、必要に応じてユーザが入力部８を操作することにより、表示部７の画面に表示された画像上の任意の領域を色抽出領域３１として選択することができ、色抽出領域３１に含まれている色のうち最も支配的な色のみを抽出し、他の色を排除することができる。その結果、色抽出領域３１内に連続的に変化していく色など、多くの色が混在していても、支配的な色のみを抽出することができる。色抽出領域３１は、ユーザが任意に設定することができるので、ユーザが意図しない色の抽出を排除することができる。さらに、他の色が抽出されることによるノイズなどの影響を受けることがなくなる。
【００５５】
色抽出領域は、上記のように矩形の領域であってもよいし、ユーザが選択した画像上の一点であってもよい。さらに、ユーザ選択した一点に対する所定の範囲を自動的に選択するように構成してもよい。その結果、色抽出領域設定のために画像の拡大など他の処理を行う必要がなくなり、色抽出領域の設定をラフにすることができる。
【００５６】
さらに、図７のフローチャートのステップＳ２において、彩度を上げる処理を行うことにより、淡い色の抽出画容易になる。さらに、ステップＳ５において、輝度を下げる処理を行っているので、光沢の影響を除去することができ、光沢のある検査対象物の色抽出が可能となる。また、多くの色を含む光沢物体中から特定の色を抽出することが可能となる。さらに、輝度を下げることにより、近似した色が統合されて減色されるので、近似した色の抽出が可能となる。さらに、輝度を下げることにより撮像画像の輝度変化を吸収することができ、外乱光などに対する不安定さを解消することができる。さらに、輝度を下げることで減色を行うため、減色がそれ以上できなく時点で設定動作を終了させることができる。その結果、必ず終了する自動色抽出設定アルゴリズムの構築が可能となる。
【図面の簡単な説明】
【００５７】
【図１】本発明の一実施形態に係る画像処理装置の基本構成を示すブロック図。
【図２】上記画像処理装置における画像データの変換処理の一例を示す図。
【図３】表示部の画面に表示された処理前の原画像の一例を示す図。
【図４】図３に示す原画像をＲＧＢ空間にマッピングした図。
【図５】ＲＧＢ空間を分割した図。
【図６】図３に示した色抽出のための矩形領域中の画素をＲＧＢ空間にマッピングした図。
【図７】上記画像処理装置における画像処理処理手順を示すフローチャート。
【図８】図７のフローチャートにおけるステップＳ３又はＳ５で実行されるＲＧＢ閾値の取得手順を示すフローチャート。
【符号の説明】
【００５８】
１ 画像処理装置
２ 撮像部
３ 画像入力部
４ 記憶部
５ 演算処理部
６ 出力画像記憶部
７ 表示部
８ 入力部
【特許請求の範囲】
【請求項１】
カラー画像を撮像する撮像部と、前記撮像部から出力された画像データを所定の手順に従って変換処理する画像入力部と、前記画像入力部から出力された撮像画像データ及び画像処理されたデータを格納する記憶部と、所定の画像処理プログラムに従って前記撮像画像データに画像処理を施す演算処理部と、撮像画像又は処理された画像を表示する表示部と、前記表示部に表示される画像の画像データを記憶する出力画像記憶部と、ユーザにより操作され、前記演算処理部に対して指示を与えるための入力部とを備えた画像処理装置において、
前記演算処理部は、
あらかじめＲＧＢ空間を複数の領域に分割しておき、
画像データ中の各画素データをＲＧＢ値に従って領域ごとに分類し、
各領域に含まれる画素数を計数し、
最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、
決定された画像処理パラメータを用いて画像処理を行う
ことを特徴とする画像処理装置。
【請求項２】
前記演算処理部は、前記入力部からの入力信号に応じて、前記表示部に表示されている画像上の一点又は一部の範囲を選択し、又は選択された一点に対する所定の範囲を自動的に選択し、
選択された点又は範囲に含まれる画素データをＲＧＢ値に従って領域ごとに分類し、
各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、決定された画像処理パラメータを用いて画像処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記演算処理部は、さらに、各画素データの彩度を上げる画像処理を行い、彩度が変更された画素データを用いて画像処理パラメータを得ることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記演算処理部は、少なくとも１回又は所定の条件を満たすまで繰り返して、各画素データの彩度を上げる画像処理及び輝度を下げる画像処理を行い、複数の画像処理パラメータを得ることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
各画素データの彩度と輝度の平均値が同一値となったとき又は近似値とみなせる値が出現したときに、前記彩度を上げる画像処理及び輝度を下げる画像処理の繰り返しを終了することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記演算処理部は、複数の画像処理パラメータごとにフィードバック画面を作成して前記表示部の画面上に同時に又は時系列的に表示し、ユーザによる前記入力部の操作に応じて、色抽出処理されるべき画面を選択することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
設定モードと検査モードを設け、
前記設定モードでは、画像処理パラメータを演算し、前記記憶部にその画像処理パラメータを格納し、
前記検査モードでは、前記記憶部に格納された画像処理パラメータを用いて画像処理実行を行うことを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
【請求項８】
あらかじめＲＧＢ空間を複数の領域に分割しておき、
撮像装置により得られた画像データ中の各画素データをＲＧＢ値に従って領域ごとに分類し、
各領域に含まれる画素数を計数し、
最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、
決定された画像処理パラメータを用いて画像処理を行う
ことを特徴とする抽出色設定方法。
【請求項９】
各画素データの彩度を上げる画像処理を行い、彩度が変更された画素データを用いて画像処理パラメータを得ることを特徴とする請求項８に記載の抽出色設定方法。
【請求項１０】
少なくとも１回又は所定の条件を満たすまで繰り返し、さらに、各画素データの彩度を上げる画像処理及び輝度を下げる画像処理を行い、複数の画像処理パラメータを得ることを特徴とする請求項８に記載の抽出色設定方法。
【請求項１】
カラー画像を撮像する撮像部と、前記撮像部から出力された画像データを所定の手順に従って変換処理する画像入力部と、前記画像入力部から出力された撮像画像データ及び画像処理されたデータを格納する記憶部と、所定の画像処理プログラムに従って前記撮像画像データに画像処理を施す演算処理部と、撮像画像又は処理された画像を表示する表示部と、前記表示部に表示される画像の画像データを記憶する出力画像記憶部と、ユーザにより操作され、前記演算処理部に対して指示を与えるための入力部とを備えた画像処理装置において、
前記演算処理部は、
あらかじめＲＧＢ空間を複数の領域に分割しておき、
画像データ中の各画素データをＲＧＢ値に従って領域ごとに分類し、
各領域に含まれる画素数を計数し、
最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、
決定された画像処理パラメータを用いて画像処理を行う
ことを特徴とする画像処理装置。
【請求項２】
前記演算処理部は、前記入力部からの入力信号に応じて、前記表示部に表示されている画像上の一点又は一部の範囲を選択し、又は選択された一点に対する所定の範囲を自動的に選択し、
選択された点又は範囲に含まれる画素データをＲＧＢ値に従って領域ごとに分類し、
各領域に含まれる画素数を計数し、最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、決定された画像処理パラメータを用いて画像処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記演算処理部は、さらに、各画素データの彩度を上げる画像処理を行い、彩度が変更された画素データを用いて画像処理パラメータを得ることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記演算処理部は、少なくとも１回又は所定の条件を満たすまで繰り返して、各画素データの彩度を上げる画像処理及び輝度を下げる画像処理を行い、複数の画像処理パラメータを得ることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
各画素データの彩度と輝度の平均値が同一値となったとき又は近似値とみなせる値が出現したときに、前記彩度を上げる画像処理及び輝度を下げる画像処理の繰り返しを終了することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記演算処理部は、複数の画像処理パラメータごとにフィードバック画面を作成して前記表示部の画面上に同時に又は時系列的に表示し、ユーザによる前記入力部の操作に応じて、色抽出処理されるべき画面を選択することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
設定モードと検査モードを設け、
前記設定モードでは、画像処理パラメータを演算し、前記記憶部にその画像処理パラメータを格納し、
前記検査モードでは、前記記憶部に格納された画像処理パラメータを用いて画像処理実行を行うことを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
【請求項８】
あらかじめＲＧＢ空間を複数の領域に分割しておき、
撮像装置により得られた画像データ中の各画素データをＲＧＢ値に従って領域ごとに分類し、
各領域に含まれる画素数を計数し、
最大画素数を持つ領域に含まれる画素データのみを用いて画像処理パラメータを決定し、
決定された画像処理パラメータを用いて画像処理を行う
ことを特徴とする抽出色設定方法。
【請求項９】
各画素データの彩度を上げる画像処理を行い、彩度が変更された画素データを用いて画像処理パラメータを得ることを特徴とする請求項８に記載の抽出色設定方法。
【請求項１０】
少なくとも１回又は所定の条件を満たすまで繰り返し、さらに、各画素データの彩度を上げる画像処理及び輝度を下げる画像処理を行い、複数の画像処理パラメータを得ることを特徴とする請求項８に記載の抽出色設定方法。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図３】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図３】
【公開番号】特開２００６−２５３３２（Ｐ２００６−２５３３２Ａ）
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願番号】特願２００４−２０３２２８（Ｐ２００４−２０３２２８）
【出願日】平成１６年７月９日（２００４．７．９）
【出願人】（０００００５８３２）松下電工株式会社 (17,916)
【Ｆターム（参考）】
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願日】平成１６年７月９日（２００４．７．９）
【出願人】（０００００５８３２）松下電工株式会社 (17,916)
【Ｆターム（参考）】
[ Back to top ]