画像観測方法およびこの方法を実施する装置
【課題】 色距離画像の目標領域を単一の色距離閾値で２値に区分する画像観測方法、装置を提供する。
【解決手段】 観測目標物の表面画像を色相の類似した目標領域に分割して観測目標領域の抽出をするに際して、撮像して得られた表面画像のＲＧＢ信号を色距離と呼ばれる数値に変換して表面画像を色距離画像に変換し、この色距離画像の目標領域を設定された単一の色距離閾値で２値に区分する構成を採用し、ＲＧＢ信号を輝度信号および色度信号に分解して輝度信号を画像処理して目標領域分割を実施する従来の方法は分割に３個の閾値を必要としたのであるが、閾値としては単一の色距離閾値で事足り、そして、この色距離閾値は、各目標領域枠内の色距離ヒストグラムを作成し、ヒストグラムの変曲点を目安にして目標領域の抽出分割処理に適した色距離閾値を適正に設定する画像観測方法、装置。
【解決手段】 観測目標物の表面画像を色相の類似した目標領域に分割して観測目標領域の抽出をするに際して、撮像して得られた表面画像のＲＧＢ信号を色距離と呼ばれる数値に変換して表面画像を色距離画像に変換し、この色距離画像の目標領域を設定された単一の色距離閾値で２値に区分する構成を採用し、ＲＧＢ信号を輝度信号および色度信号に分解して輝度信号を画像処理して目標領域分割を実施する従来の方法は分割に３個の閾値を必要としたのであるが、閾値としては単一の色距離閾値で事足り、そして、この色距離閾値は、各目標領域枠内の色距離ヒストグラムを作成し、ヒストグラムの変曲点を目安にして目標領域の抽出分割処理に適した色距離閾値を適正に設定する画像観測方法、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像観測方法およびこの方法を実施する装置に関し、特に、観測目標物の表面画像を色相の類似した目標領域に分割して観測目標領域の抽出をするに際して、ＣＣＤカラーカメラで撮像して得られた表面画像のＲＧＢ信号を色距離と呼ばれる数値に変換して表面画像を色距離画像に変換し、この色距離画像の目標領域を設定された単一の色距離閾値で２値に区分する構成を採用する画像観測方法およびこの方法を実施する装置に関する。
【背景技術】
【０００２】
一般に、画像の観測において抽出したい図形パターンの観測目標領域は、特定の色、特定の形状に固定することができるのはまれであり、通常は、複数の色、複数の形状の目標領域の組み合わせであるものと予測される。この複数の目標領域を抽出してこれら複数の目標領域の組み合わせにより目標図形パターンを認識することができる。この目標領域の個数を多数とすれば、観測目標領域はより正確に目標図形パターンに近似するに到る。なお、一般に、カメラにより撮像され、電子的に２値化された画像中の人間の顔を自動的に見いだし、或いは顔の特徴を調べて顔の存在を確認する技術は特許文献１に開示されている。
【０００３】
観測目標物の表面を撮像したカラー画像を色相の類似した目標領域に分割するに際して、ＣＣＤカメラの対物レンズの前にＲ（赤）、Ｇ（緑）、Ｂ（青）の３種類のフィルタを配置し、これらを切り換えることにより、Ｒ（赤）、Ｇ（緑）、Ｂ（青）について、８ビットＲ輝度信号と、８ビットＧ輝度信号と、８ビットＢ輝度信号の３輝度信号を組み合わせた、ＲＧＢ信号と呼ばれる３次元ベクトルの２４ビット信号を、ＣＣＤカラーカメラから出力している。
ＣＣＤカラーカメラの２４ビットのＲＧＢ信号出力は、次いで、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色別に分割して３枚のモノクロ画像に処理することが行われている。
【特許文献１】特開２００２−２０３２３９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、カラー画像を目標領域に分割する仕方として、２４ビットのＲＧＢ信号をＹＣｒＣｂ信号と呼ばれている輝度信号および色度信号に分解し、輝度信号を画像処理して領域分割する方法もある。しかし、この方法は、実質上、モノクロ画像として領域分割をしているに過ぎず、色情報は使用せず削除されることになる。即ち、元の画像はカラー画像でありながら、カラー画像の領域分割は、モノクロ画像に変換して２値化閾値を設定して白か黒かを判定することにより行われていた。この方法においては、カラー画像を領域分割しようとすると、閾値として３つの閾値を必要とし、各閾値に輝度＆色相＆彩度の意味を持たせた設定をすることはできないからである。
【０００５】
この発明は、ＲＧＢ信号を色距離と呼ばれる数値に変換してカラー画像を色距離画像に変換し、色距離画像を単一の適正な色距離閾値を設定してこれにより２値化することにより目標領域を区分する構成を採用して、上述の問題を解消した画像観測方法およびこの方法を実施する装置を提供するものである。
【課題を解決するための手段】
【０００６】
請求項１：ＣＣＤカラーカメラで撮像して得られた表面画像のＲＧＢ信号を色距離に変換して目標領域を単一の色距離閾値で２値化して、観測目標物の表面画像の色相の類似した目標領域に分割する画像観測方法を構成した。
そして、請求項２：（Ｓ０） 画像をＲ、Ｇ、Ｂの３つの色別に撮像入力し、
（Ｓ１） ＲＧＢ画像をカラーモニタに表示し、
（Ｓ２） 単色の目標領域１、２、３の複合体になる様に目標領域１、２、３を矩形枠で囲み、
（Ｓ３） 矩形枠で囲まれた領域の色をサンプリング画素を囲こみ、目標領域の基準色Ｒ0Ｇ0Ｂ0 値を設定し、
（Ｓ４） 撮像入力した画像を目標領域の基準色Ｒ0Ｇ0Ｂ0 との間の色距離画像に変換し、
（Ｓ５） 矩形枠で囲まれた領域画素の色距離をヒストグラムに表示し、
（Ｓ７） ヒストグラムの変曲点を目安にして目標領域分割に適した色距離閾値を設定し、
（Ｓ８） 矩形枠で囲まれた領域を色距離で２値化し、モニタに表示し、
（Ｓ９） モニタを参照して色距離閾値を調節して、Ｓ２〜Ｓ９を繰り返し、
（Ｓ１０） 目標領域の面積を演算し、
（Ｓ１１） 目標領域の重心位置を演算し、
（Ｓ１２） 図形プロパティをグルーピングされる図形番号、グループ内相対位置、面積、面積比率、基準色Ｒ0Ｇ0Ｂ0 、色距離閾値、目標領域枠、を登録する、画像観測方法を構成した。
【０００７】
また、請求項３：（Ｓ０’） 画像をＲ、Ｇ、Ｂの３つの色別に撮像入力し、
（Ｓ１’） ＲＧＢ画像をカラーモニタに表示し、
（Ｓ２’） 撮像入力した画像を目標領域の基準色Ｒ0Ｇ0Ｂ0 との間の色距離画像に変換し、
（Ｓ４’） 矩形枠で囲まれた領域を補正された色距離閾値で２値化し、
（Ｓ５’） 目標領域面積を演算し、
（Ｓ６’） 目標領域重心位置を演算し、
（Ｓ７’） 基準色Ｒ0Ｇ0Ｂ0 、面積、重心位置をプロパティとして目標領域レイヤを構成し、
（Ｓ８”） 目標領域レイヤを検索して登録図形グループの構成要素を重ね合わせ図形パターン領域レイヤを作成し、
（Ｓ９’） 図形パターン或いは目標領域レイヤと撮像入力したカラー画像を掛け合わせて目標図形パターンを抽出する、画像観測方法を構成した。
【０００８】
ここで、請求項４：撮像されたＲＧＢカラー画像信号をＲ画像信号成分、Ｇ画像信号成分、Ｂ画像信号成分に分解して出力するＣＣＤカラーカメラ１００を具備し、
複数の目標領域１〜ｎにそれぞれ対応する設定値記憶部５１１〜５１ｎを具備し、設定値記憶部５１１〜５１ｎには目標領域それぞれのＲ0Ｇ0Ｂ0値、目標領域を区別するベース閾値、目標領域のサイズが格納され、
Ｒ画像信号成分、Ｇ画像信号成分、Ｂ画像信号成分が入力されると共に、対応する目標領域の設定値記憶部５１１〜５１ｎからＲ0Ｇ0Ｂ0値が入力される各目標領域１〜ｎに対応する色距離演算回路５２１〜５２ｎを具備し、これら色距離演算回路５２１〜５２ｎにおいては各目標領域１〜ｎの各画素のＲＧＢ信号成分をＲ0Ｇ0Ｂ0基準値と比較して色距離の計算式により色距離を計算し、各目標領域の画像を色距離画像に変換し、
設定値記憶部５１１〜５１ｎに設定記憶される目標領域サイズと色距離演算回路５２１〜５２ｎから出力される色距離画像を入力してベース閾値の補正量を発生してこれをベース閾値に加算して補正された色距離閾値を生成するヒストグラム抽出フィルタ５３１ないし５３ｎを目標領域１〜ｎに対応して具備し、
色距離画像を入力すると共に補正された色距離閾値を入力して目標領域の２値画像を生成する２値化回路５４１〜５４ｎを目標領域１〜ｎに対応して具備し、
出力される２値画像およびＲ0Ｇ0Ｂ0値を記憶するレイヤ出力記憶部５７１〜５７ｎを目標領域１〜ｎに対応して具備し、
目標領域の２値画像を入力して重心位置を計算する重心位置演算部５５１〜５５ｎを目標領域１〜ｎに対応して具備し、
目標領域の２値画像を入力して面積を計算する面積演算部５６１〜ｎを目標領域１〜ｎに対応して具備し、
計算された重心位置および面積は直接出力される２値画像およびＲ0Ｇ0Ｂ0値と共に目標領域１〜ｎ別のレイヤ構成で出力されてこれを記憶するレイヤ出力記憶部５７１〜５７ｎを目標領域１〜ｎに対応して具備する画像観測装置を構成した。
【発明の効果】
【０００９】
ＲＧＢ信号を輝度信号および色度信号に分解し、輝度信号を画像処理して目標領域分割を実施する従来の方法においては、分割に３個の閾値を必要としたのであるが、この発明に依れば、観測目標物の表面画像を色相の類似した目標領域に分割して観測目標領域の抽出をするに際して、ＣＣＤカラーカメラで撮像して得られた表面画像のＲＧＢ信号を色距離と呼ばれる数値に変換して表面画像を色距離画像に変換し、設定された色距離閾値でこの色距離画像を２値化して目標領域を抽出する構成を採用することにより、閾値としては単一の色距離閾値で事足りる。そして、この色距離閾値は、各目標領域枠内の色距離ヒストグラムを作成し、ヒストグラムの変曲点を目安にして目標領域の抽出分割処理に適した色距離閾値を適正に設定することができる。
【発明を実施するための最良の形態】
【００１０】
発明を実施するための最良の形態を図の実施例を参照して説明する。
先ず、図１ないし図３を参照してこの発明による画像観測の概要を説明するに、１は画像観測装置の全体を示す参照符合である。画像観測装置１は、撮像装置１０、目標領域抽出部２０、観測画像モニタ・目標領域設定部３０より成る。撮像装置１０はＣＣＤカラーカメラ１００より成り、観測目標物を撮像する。目標領域抽出部２０は、撮像装置１０により観測目標物を撮像して出力される８ビットＲ（赤）輝度信号と、８ビットＧ（緑）輝度信号と、８ビットＢ（青）輝度信号の３輝度信号を組み合わせた３次元ベクトルの２４ビット信号である、通常、ＲＧＢ信号と呼ばれている信号を入力して目標領域抽処理をする部位である。観測画像モニタ・目標領域設定部３０は目標領域設定処理をする部位である。目標領域設定処理は、目標領域抽処理をするに先だって実施される。目標領域設定と目標領域抽出を組み合わせて画像観測装置を構成することにより、ＲＧＢカラー画像を色差成分を損なうことなしに領域の区分をすることができる。目標領域設定および目標領域抽出は後で詳細に説明される。
【００１１】
図３を参照して目標領域について復習する。観測目標領域４は、観測目標物である子供を撮像した表面画像の内の観測抽出しようとする対象を意味する。観測目標領域４内には、複数の目標領域１、２、３が含まれる。そして、図２を参照するに、目標領域は一例として黄緑であり、その目標外領域である近傍領域は一例として灰色であるものとし、方形枠で囲まれた領域を色距離閾値を抽出する閾値設定領域、或いは目標領域枠として定義している。
ここで、色距離について説明する。観測画像をＲ（赤）、Ｇ（緑）、Ｂ（青）の３つのベクトルで観測し、目標領域における各画素毎について計算されるＲ0Ｇ0Ｂ0値に対する距離量：√［（Ｒ−Ｒ0）2＋（Ｇ−Ｇ0）2＋（Ｂ−Ｂ0）2］を色距離という。Ｒ0Ｇ0Ｂ0値とは、当該目標領域における色の基準となるサンプリング場所の基準値である。目標領域における或る画素のＲ、Ｇ、Ｂの３つのベクトルが、それぞれ、Ｒ0 、Ｇ0、Ｂ0 である場合、この画素の色距離は０であり、これはサンプリング場所の色と同じ色であることを意味する。
【００１２】
目標領域は、そもそも、色相の類似した領域の括られたものであるので、単一のＲＧＢ信号値で表示されるが、目標外領域は単一のＲＧＢ信号値で表示されるとは限らない。目標領域と目標外領域は、画素毎に色距離が計算され、カラー画像をこの色距離に基づいて色距離画像に変換する。そして、色距離画像に変換された両領域は、設定された色距離閾値を使用してこれを２値化することにより区分される。即ち、目標領域および目標外領域は、色距離閾値により２値化することにより、色距離閾値を超える部分は黒に変換表示される一方、この色距離閾値を超えない部分は白に変換表示される。
【００１３】
画像観測における以上の目標領域と目標外領域の区分、分割の詳細を図４、図５および図６を参照して具体的に説明する。図４は目標図形パターンの目標領域抽出を説明する図、図５は画像観測装置の実施例を説明する図である。図６は目標領域設定と目標領域抽出を総合した動作シーケンスを示す図であり、目標領域設定は左側の鎖線枠内の工程を順次に辿って実施し、目標領域抽出は右側の鎖線枠内の工程を順次に辿って実施する。
ここで、目標図形パターンの領域抽出における「領域」の定義は表１にまとめられている。
【００１４】
【表１】
以下、目標領域の抽出を図４を参照して説明する。
目標領域１、２、３の見当をつけるには、目標図形パターンが含まれる図示される通りの画像をモニタ画面上に表示する。
観測目標領域４を構成する要素の候補として、図４において黄色の四角の枠で囲んだ目標領域１〜目標領域３を設定する。この設定は、具体的には、モニタ画面上においてマウスを操作することにより黄色の四角の枠で包囲設定する。
【００１５】
目標領域１〜目標領域３の意味は自転車のタイヤと赤い上着であり、その定義は黄色の領域と赤色の領域である。
これらの目標領域１〜目標領域３について、目標領域における色の基準となると思われるサンプリング場所をマウスを操作して設定し、これらサンプリング場所から目標領域１〜目標領域３毎に各基準Ｒ0Ｇ0Ｂ0値を読みとる。ここで、小さな正方形で示されるところがサンプリング場所を示す。画像入力のＲＧＢ値と基準Ｒ0Ｇ0Ｂ0値とにより各画素毎にノルム演算をして目標領域を目標領域別に色距離画像に変換し、レイヤ別に画像を作成する。ここで、レイヤ（或は階層）とは何かについて、その意味内容を説明すると次の通りである。
【００１６】
図９を参照するに、或る一つの設定された色距離を有する領域、即ち、赤、橙、黄、黄緑毎の画像を作成し、この画像を２値化した色距離２値化画像をレイヤ（或いは階層）１、２、３、４と称している。レイヤ１は赤の領域に対する色距離２値化画像であり、中心に存在する赤の領域のみに対応して画像が得られている。レイヤ２は橙の領域に対する色距離２値化画像であり、赤の領域の周囲を包囲する橙の領域のみに対応して画像が得られている。レイヤ３は黄の領域に対する色距離２値化画像であり、橙の領域の周囲を包囲する黄の領域のみに対応して画像が得られている。レイヤ４は黄緑の領域に対する色距離２値化画像であり、黄の領域の外側を包囲する黄緑の領域のみに対応して画像が得られている。
【００１７】
図１０を参照するに、レイヤ１は黄の領域に対する色距離２値化画像であり、三角形の領域のみに対応して画像が得られている。レイヤ２は赤の領域に対する色距離２値化画像であり、丸の領域のみに対応して画像が得られている。レイヤ３は青の領域に対する色距離２値化画像であり、四角形の領域のみに対応して画像が得られている。レイヤ４は黄緑の領域に対する色距離２値化画像であり、黄、赤、青の領域の外側を包囲する黄緑の領域のみに対応して画像が得られている。
図１０（ａ）において、色距離の相違する黄、赤、青、黄緑の各領域は、それぞれ抽出された領域画像としてレイヤ、階層別に色距離２値化画像化され、各レイヤ、階層別に抽出領域の数、位置、面積の関係、条件を後で説明される図７を参照して認識する。
【００１８】
色距離閾値を設定し、レイヤ別にこの色距離閾値による色距離画像の２値化と正規化により、目標領域を抽出する。即ち、目標領域および目標外領域を、色距離閾値により２値化し、正規化することにより、色距離閾値を超える部分は黒に表示する一方、色距離閾値を超えない部分を白に表示し、目標領域を抽出する。
目標領域は、重心位置、面積、基準Ｒ0Ｇ0Ｂ0 値の３つのパラメータで形状比較する。
レイヤ間をまたいで、目標領域間の相対位置、各目標領域の面積、各目標領域の基準Ｒ0Ｇ0Ｂ0 値を目標図形パターンと比較して目標図形パターンを抽出する。相対位置の例は図７に示されている。図７は目標図形パターンを目標領域のグループで抽出する条件の例を示す図である。目標図形パターンを目標領域のグループで抽出する条件を組み合わせて表２に示されるマッチングパターンを定義することができる。（Ｓ７）については後で更に具体的に説明される。
【００１９】
【表２】
図４において、目標領域１、２の意味は自転車のタイヤであり、目標領域３の意味は赤い上着であり、その定義は黄色の領域と赤色の領域である。これら黄色の四角の枠で囲んだ目標領域１〜目標領域３を青枠で囲んで一つのグループの目標図形観測パターンとして抽出する。「横に並んだ目標領域１、２、更にその中間上部に配置する目標領域３」という定義の下で青枠で囲んで一つのグループの観測目標領域４としてグループ化することで、この定義を満足するか否かを判断して、目標領域１〜目標領域３を一括して抽出することができる。
【００２０】
図５を参照して画像観測装置の実施例を説明する。これは、基準値が単一である目標領域を抽出するものであり、各目標領域のＲ0Ｇ0Ｂ0値、各目標領域を目標外領域と区別するベース閾値、目標領域のサイズを入力として抽出した目標領域のＲ0Ｇ0Ｂ0値、目標領域の２値画像、重心位置、面積を、目標領域別のレイヤ構成で出力する。以下、具体的に説明する。
１００はＣＣＤカラーカメラ、５１１〜５１ｎは設定値記憶部、５２１〜５２ｎは色距離演算回路、５３１〜５３ｎはヒストグラム抽出フィルタ、５４１〜５４ｎは２値化回路、５５１〜５５ｎは重心位置演算回路、５６１〜５６ｎは面積演算回路、５７１〜５７ｎはレイヤ出力記憶部、５８は抽出画像出力部である。
【００２１】
ＣＣＤカラーカメラ１００で撮像されたＲＧＢカラー画像信号は、Ｒ画像信号成分、Ｇ画像信号成分、Ｂ画像信号成分に分解して出力される。目標領域１〜ｎには、対応する設定値記憶部５１１〜５１ｎが具備されている。設定値記憶部５１１〜５１ｎには、目標領域それぞれのＲ0Ｇ0Ｂ0値、目標領域を区別するベース閾値、目標領域のサイズ、が格納されている。
各目標領域１〜ｎに対応する色距離演算回路５２１〜５２ｎには、Ｒ画像信号成分、Ｇ画像信号成分、Ｂ画像信号成分が入力されると共に、対応する目標領域の設定値記憶部５１１〜５１ｎからＲ0Ｇ0Ｂ0値が入力される。これら色距離演算回路５２１〜５２ｎにおいて、各目標領域１〜ｎの各画素のＲＧＢ信号成分をＲ0Ｇ0Ｂ0基準値と比較して先の色距離の計算式により色距離を計算し、各目標領域の画像を色距離画像に変換する。
【００２２】
５３１ないし５３ｎは目標領域１〜ｎにそれぞれ対応するヒストグラム抽出フィルタである。５４１〜５４ｎは２値化回路である。
ところで、設定値記憶部５１１〜５１ｎから供給されるベース閾値には、２値化回路５４１〜５４ｎに入力されるに先立って、以下の処理が施される。目標領域設定に際して色距離閾値のベース値が設定される。閾値のベース値を設定するには、先ず、目標領域が主たる割合を占め、目標領域を内接する目標領域の枠を設定する。即ち、ベース閾値のかさ上げをする差分を演算するに使用する目標領域の枠のサイズを設定する。そして、目標領域枠内を色距離画像に変換して図８に示される色距離分布のヒストグラムをとり、ヒストグラムの極小値或いは変曲点を目標領域枠内全体のベース閾値として設定する。そして、各ヒストグラム抽出フィルタ５３１ないし５３ｎは、設定値記憶部５１１〜５１ｎに設定記憶される目標領域サイズと色距離演算回路５２１〜５２ｎから出力される色距離画像を入力し、色距離閾値の補正量を発生する。ＲＧＢカラー画像の目標領域とそれ以外の領域の間の目標領域の差分値を補正量として発生し、これを設定値記憶部５１１〜５１ｎから供給されるベース閾値に加算して補正された色距離閾値が生成され、目標領域を２値化して２値化回路５４１に入力されて、これにより目標領域とそれ以外の領域は分割、区別される。この通りにするのは、目標領域とそれ以外の目標外領域を２値化する色距離閾値は、これをそのベース値として目標領域に近い小さいところに設定しておき、目標領域とそれ以外の目標外領域が色距離において距離が大きい場合はその距離に相当する分だけ高く設定することにより、２値化を安定化することができることによる。
【００２３】
２値化回路５４１〜５４ｎにより生成された目標領域の２値画像は、対応するレイヤ出力記憶部５７１〜５７ｎに出力してここに記憶される。そして、目標領域の２値画像は、対応する重心位置演算部５５１〜５５ｎに供給され、重心位置が計算されて、対応するレイヤ出力記憶部５７１〜５７ｎに出力してここに記憶される。また、目標領域の２値画像は、対応する面積演算部５６１〜ｎに供給され、面積が計算されて、対応するレイヤ出力記憶部５７１〜５７ｎに出力してここに記憶される。レイヤ出力記憶部５７１〜５７ｎには、更に、対応する設定値記憶部５１１〜５１ｎからＲ0Ｇ0Ｂ0値が入力されている。以上の通り、２値化した目標領域の２値画像について、目標領域毎に面積と重心位置が計算され、計算された重心位置および面積は直接出力される２値画像およびＲ0Ｇ0Ｂ0値と共に、目標領域１〜ｎ別のレイヤ構成で出力され、記憶される。
【００２４】
ここで、図８を参照するに、これは目標領域と目標外領域間の色距離ヒストグラムである。縦軸の「面積比」とは、目標領域の面積を矩形枠の面積で除算した値をいう。判然とした輪郭を有して色距離の小さい条件下においては、青色曲線により示される如く明確にピークが分離して閾値設定が容易であることが理解される。これに反して、境界がぼやけたものは明確な閾値を設定し難いことが理解される。この条件の下においては、閾値の値によって２値化画像の大きさが変化する。上述した通り、目標領域の周辺の色距離が一定ではない場合、色距離画像の目標領域の差分をベース閾値にかさ上げすることで目標領域の２値化を安定化することができる。
【００２５】
図６は目標領域設定と目標領域抽出を総合した動作シーケンスを示す図であり、目標領域設定は左側の鎖線枠内の工程を順次に辿って実施し、目標領域抽出は右側の鎖線枠内の工程を順次に辿って実施する。以下、図４および図６を参照して観測領域の目標領域設定の動作シーケンスを説明する。
（Ｓ０） ＣＣＤカラーカメラで観測対象のＲ画像、Ｇ画像、Ｂ画像の３画像より成る原画像を撮像入力する。
（Ｓ１） 目標領域を含むカラー原画像をモニタ画面に表示する。
【００２６】
（Ｓ２） モニタ画面で各目標領域１、２、３を矩形枠で囲み、観測領域の図形パターンを単色の目標領域１、２、３の複合体に分割する。これを目標枠として設定する。
（Ｓ３） モニタ画面で各目標領域における色の基準となるサンプリング画素を囲み、基準となる画素のＲ0Ｇ0Ｂ0 値を設定する。
（Ｓ４） 各目標領域枠の各画素を画素毎にＲ0Ｇ0Ｂ0 値との間の色距離に変換し、各目標領域枠内を色距離画像に変換する。
（Ｓ５） 各目標領域枠内の色距離ヒストグラムを作成する。
【００２７】
（Ｓ７） ヒストグラムの変曲点を目安にして目標領域抽出分割処理に適した色距離閾値を設定する。
（Ｓ８） 各目標領域枠内を色距離閾値と比較して２値化し、モニタに２値化画像を表示する。
（Ｓ９） モニタ画面を参照して、色距離閾値を調節して閾値が適正であるか否か妥当性を調べる。抽出された目標領域が目的とする領域を正確に抽出していない場合は、（Ｓ２）に戻り、目標領域枠の設定および色距離閾値の設定を再設定し、２値化画像が適正化されるまで以上の工程を繰り返す。
【００２８】
（Ｓ１０） 目標領域を正確に抽出している場合は、目標領域の面積を演算する。
（Ｓ１１） 目標領域の重心位置を演算する。
（Ｓ１２） 目標領域の登録をする。目標領域のＲ0Ｇ0Ｂ0 値、色距離閾値、目標領域枠、目標領域を登録する。図形登録プロパティは、グルーピングされる図形番号、グループ内の相対位置、面積、面積比率、設定図面上の絶対位置、目標領域のＲ0Ｇ0Ｂ0 値とする。
ここで、目標領域抽出処理を図６の右側の鎖線枠内の工程を順次に辿って説明する。
【００２９】
（Ｓ０’） ＣＣＤカラーカメラ１００で観測対象のＲ画像、Ｇ画像、Ｂ画像の３画像より成る原画像を撮像入力する。
（Ｓ１’） 各目標領域枠内の画素毎にＲ0Ｇ0Ｂ0 値との間の色距離変換演算√［（Ｒ−Ｒ0）2＋（Ｇ−Ｇ0）2＋（Ｂ−Ｂ0）2］をする。
（Ｓ２’） 各目標領域の色距離画像を作成する。
（Ｓ３’） 目標領域のサイズで差分演算をして色距離閾値の補正画像を作成する。
（Ｓ４’） 目標領域の画素毎に補正された色距離閾値と比較して目標領域を２値化した２値化画像を作成する。
【００３０】
（Ｓ５’） 目標領域の２値化画像の面積を演算する。
（Ｓ６’） 目標領域の重心位置の演算をする。
（Ｓ７’） Ｒ0Ｇ0Ｂ0 値、面積、重心位置をプロパティとして、目標領域レイヤを構成する。
（Ｓ８’） 目標領域レイヤを検索して登録図形グループの構成要素を重ね合わせて図形パターン領域画像レイヤを作成する。
（Ｓ９’）図形パターン或いは目標領域レイヤとカラー画像を掛け合わせ、目標図形パターンを抽出する。
【００３１】
図７は観測目標目標領域４を目標領域１、２、３のグループで抽出する条件の例を示す図である。観測目標領域４を目標領域１、２、３のグループで抽出する条件を組み合わせて表２に示されるマッチングパターンを定義する。図７において、条件１は、目標領域は３個で抽出領域も３個である。領域の数が同じである場合、表２のマッチングパターン１に従ってマッチングしているものと判断することができる。条件１、２、３を満足する、目標領域と抽出領域の数が同じであり、且つ、目標領域と抽出領域の各面積が等しく、且つ、目標領域相互の相対位置関係と抽出領域の相対位置関係が等しい場合、表２のマッチングパターン４に従ってマッチングしているものと判断することができる。
【００３２】
この発明は、半導体材料等の欠陥測定分野、顕微鏡下の微生物測定分野において適用すると好適である。その他、環境モニタ、生産ラインの監視においても、効率の高い目標物領域抽出能力を発揮する。更に、煙、緑化、森林のＣＯ2監視、酸性雨監視、その他の環境監視、食品の異物監視、形状および色による食品の測定監視、常時監視モニターをインテリジェント化してセキュリティー監視に適用することができる。
【図面の簡単な説明】
【００３３】
【図１】画像観測装置の概要を説明する図。
【図２】目標領域を説明する図。
【図３】複数の目標領域をまとめて一つの観測領域としてそのＲＧＢ信号を抽出する仕方について説明する図。
【図４】目標領域を含む目標領域枠を示す図。
【図５】画像観測装置の実施例を説明する図。
【図６】目標領域設定と目標領域抽出を総合した動作シーケンスを示す図。
【図７】目標図形パターンを目標領域のグループで抽出する条件の例を示す図。
【図８】目標領域と目標外領域間の色距離ヒストグラム。
【図９】レイヤを説明する図。
【図１０】他のレイヤを説明する図。
【符号の説明】
【００３４】
１００ ＣＣＤカラーカメラ
５１１〜５１ｎ 設定値記憶部
５２１〜５２ｎ 色距離演算回路
５３１〜５３ｎ ヒストグラム抽出フィルタ
５４１〜５４ｎ ２値化回路
５５１〜５５ｎ 重心位置演算回路
５６１〜５６ｎ 面積演算回路
５７１〜５７ｎ レイヤ出力記憶部
５８ 抽出画像出力部
【技術分野】
【０００１】
この発明は、画像観測方法およびこの方法を実施する装置に関し、特に、観測目標物の表面画像を色相の類似した目標領域に分割して観測目標領域の抽出をするに際して、ＣＣＤカラーカメラで撮像して得られた表面画像のＲＧＢ信号を色距離と呼ばれる数値に変換して表面画像を色距離画像に変換し、この色距離画像の目標領域を設定された単一の色距離閾値で２値に区分する構成を採用する画像観測方法およびこの方法を実施する装置に関する。
【背景技術】
【０００２】
一般に、画像の観測において抽出したい図形パターンの観測目標領域は、特定の色、特定の形状に固定することができるのはまれであり、通常は、複数の色、複数の形状の目標領域の組み合わせであるものと予測される。この複数の目標領域を抽出してこれら複数の目標領域の組み合わせにより目標図形パターンを認識することができる。この目標領域の個数を多数とすれば、観測目標領域はより正確に目標図形パターンに近似するに到る。なお、一般に、カメラにより撮像され、電子的に２値化された画像中の人間の顔を自動的に見いだし、或いは顔の特徴を調べて顔の存在を確認する技術は特許文献１に開示されている。
【０００３】
観測目標物の表面を撮像したカラー画像を色相の類似した目標領域に分割するに際して、ＣＣＤカメラの対物レンズの前にＲ（赤）、Ｇ（緑）、Ｂ（青）の３種類のフィルタを配置し、これらを切り換えることにより、Ｒ（赤）、Ｇ（緑）、Ｂ（青）について、８ビットＲ輝度信号と、８ビットＧ輝度信号と、８ビットＢ輝度信号の３輝度信号を組み合わせた、ＲＧＢ信号と呼ばれる３次元ベクトルの２４ビット信号を、ＣＣＤカラーカメラから出力している。
ＣＣＤカラーカメラの２４ビットのＲＧＢ信号出力は、次いで、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色別に分割して３枚のモノクロ画像に処理することが行われている。
【特許文献１】特開２００２−２０３２３９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、カラー画像を目標領域に分割する仕方として、２４ビットのＲＧＢ信号をＹＣｒＣｂ信号と呼ばれている輝度信号および色度信号に分解し、輝度信号を画像処理して領域分割する方法もある。しかし、この方法は、実質上、モノクロ画像として領域分割をしているに過ぎず、色情報は使用せず削除されることになる。即ち、元の画像はカラー画像でありながら、カラー画像の領域分割は、モノクロ画像に変換して２値化閾値を設定して白か黒かを判定することにより行われていた。この方法においては、カラー画像を領域分割しようとすると、閾値として３つの閾値を必要とし、各閾値に輝度＆色相＆彩度の意味を持たせた設定をすることはできないからである。
【０００５】
この発明は、ＲＧＢ信号を色距離と呼ばれる数値に変換してカラー画像を色距離画像に変換し、色距離画像を単一の適正な色距離閾値を設定してこれにより２値化することにより目標領域を区分する構成を採用して、上述の問題を解消した画像観測方法およびこの方法を実施する装置を提供するものである。
【課題を解決するための手段】
【０００６】
請求項１：ＣＣＤカラーカメラで撮像して得られた表面画像のＲＧＢ信号を色距離に変換して目標領域を単一の色距離閾値で２値化して、観測目標物の表面画像の色相の類似した目標領域に分割する画像観測方法を構成した。
そして、請求項２：（Ｓ０） 画像をＲ、Ｇ、Ｂの３つの色別に撮像入力し、
（Ｓ１） ＲＧＢ画像をカラーモニタに表示し、
（Ｓ２） 単色の目標領域１、２、３の複合体になる様に目標領域１、２、３を矩形枠で囲み、
（Ｓ３） 矩形枠で囲まれた領域の色をサンプリング画素を囲こみ、目標領域の基準色Ｒ0Ｇ0Ｂ0 値を設定し、
（Ｓ４） 撮像入力した画像を目標領域の基準色Ｒ0Ｇ0Ｂ0 との間の色距離画像に変換し、
（Ｓ５） 矩形枠で囲まれた領域画素の色距離をヒストグラムに表示し、
（Ｓ７） ヒストグラムの変曲点を目安にして目標領域分割に適した色距離閾値を設定し、
（Ｓ８） 矩形枠で囲まれた領域を色距離で２値化し、モニタに表示し、
（Ｓ９） モニタを参照して色距離閾値を調節して、Ｓ２〜Ｓ９を繰り返し、
（Ｓ１０） 目標領域の面積を演算し、
（Ｓ１１） 目標領域の重心位置を演算し、
（Ｓ１２） 図形プロパティをグルーピングされる図形番号、グループ内相対位置、面積、面積比率、基準色Ｒ0Ｇ0Ｂ0 、色距離閾値、目標領域枠、を登録する、画像観測方法を構成した。
【０００７】
また、請求項３：（Ｓ０’） 画像をＲ、Ｇ、Ｂの３つの色別に撮像入力し、
（Ｓ１’） ＲＧＢ画像をカラーモニタに表示し、
（Ｓ２’） 撮像入力した画像を目標領域の基準色Ｒ0Ｇ0Ｂ0 との間の色距離画像に変換し、
（Ｓ４’） 矩形枠で囲まれた領域を補正された色距離閾値で２値化し、
（Ｓ５’） 目標領域面積を演算し、
（Ｓ６’） 目標領域重心位置を演算し、
（Ｓ７’） 基準色Ｒ0Ｇ0Ｂ0 、面積、重心位置をプロパティとして目標領域レイヤを構成し、
（Ｓ８”） 目標領域レイヤを検索して登録図形グループの構成要素を重ね合わせ図形パターン領域レイヤを作成し、
（Ｓ９’） 図形パターン或いは目標領域レイヤと撮像入力したカラー画像を掛け合わせて目標図形パターンを抽出する、画像観測方法を構成した。
【０００８】
ここで、請求項４：撮像されたＲＧＢカラー画像信号をＲ画像信号成分、Ｇ画像信号成分、Ｂ画像信号成分に分解して出力するＣＣＤカラーカメラ１００を具備し、
複数の目標領域１〜ｎにそれぞれ対応する設定値記憶部５１１〜５１ｎを具備し、設定値記憶部５１１〜５１ｎには目標領域それぞれのＲ0Ｇ0Ｂ0値、目標領域を区別するベース閾値、目標領域のサイズが格納され、
Ｒ画像信号成分、Ｇ画像信号成分、Ｂ画像信号成分が入力されると共に、対応する目標領域の設定値記憶部５１１〜５１ｎからＲ0Ｇ0Ｂ0値が入力される各目標領域１〜ｎに対応する色距離演算回路５２１〜５２ｎを具備し、これら色距離演算回路５２１〜５２ｎにおいては各目標領域１〜ｎの各画素のＲＧＢ信号成分をＲ0Ｇ0Ｂ0基準値と比較して色距離の計算式により色距離を計算し、各目標領域の画像を色距離画像に変換し、
設定値記憶部５１１〜５１ｎに設定記憶される目標領域サイズと色距離演算回路５２１〜５２ｎから出力される色距離画像を入力してベース閾値の補正量を発生してこれをベース閾値に加算して補正された色距離閾値を生成するヒストグラム抽出フィルタ５３１ないし５３ｎを目標領域１〜ｎに対応して具備し、
色距離画像を入力すると共に補正された色距離閾値を入力して目標領域の２値画像を生成する２値化回路５４１〜５４ｎを目標領域１〜ｎに対応して具備し、
出力される２値画像およびＲ0Ｇ0Ｂ0値を記憶するレイヤ出力記憶部５７１〜５７ｎを目標領域１〜ｎに対応して具備し、
目標領域の２値画像を入力して重心位置を計算する重心位置演算部５５１〜５５ｎを目標領域１〜ｎに対応して具備し、
目標領域の２値画像を入力して面積を計算する面積演算部５６１〜ｎを目標領域１〜ｎに対応して具備し、
計算された重心位置および面積は直接出力される２値画像およびＲ0Ｇ0Ｂ0値と共に目標領域１〜ｎ別のレイヤ構成で出力されてこれを記憶するレイヤ出力記憶部５７１〜５７ｎを目標領域１〜ｎに対応して具備する画像観測装置を構成した。
【発明の効果】
【０００９】
ＲＧＢ信号を輝度信号および色度信号に分解し、輝度信号を画像処理して目標領域分割を実施する従来の方法においては、分割に３個の閾値を必要としたのであるが、この発明に依れば、観測目標物の表面画像を色相の類似した目標領域に分割して観測目標領域の抽出をするに際して、ＣＣＤカラーカメラで撮像して得られた表面画像のＲＧＢ信号を色距離と呼ばれる数値に変換して表面画像を色距離画像に変換し、設定された色距離閾値でこの色距離画像を２値化して目標領域を抽出する構成を採用することにより、閾値としては単一の色距離閾値で事足りる。そして、この色距離閾値は、各目標領域枠内の色距離ヒストグラムを作成し、ヒストグラムの変曲点を目安にして目標領域の抽出分割処理に適した色距離閾値を適正に設定することができる。
【発明を実施するための最良の形態】
【００１０】
発明を実施するための最良の形態を図の実施例を参照して説明する。
先ず、図１ないし図３を参照してこの発明による画像観測の概要を説明するに、１は画像観測装置の全体を示す参照符合である。画像観測装置１は、撮像装置１０、目標領域抽出部２０、観測画像モニタ・目標領域設定部３０より成る。撮像装置１０はＣＣＤカラーカメラ１００より成り、観測目標物を撮像する。目標領域抽出部２０は、撮像装置１０により観測目標物を撮像して出力される８ビットＲ（赤）輝度信号と、８ビットＧ（緑）輝度信号と、８ビットＢ（青）輝度信号の３輝度信号を組み合わせた３次元ベクトルの２４ビット信号である、通常、ＲＧＢ信号と呼ばれている信号を入力して目標領域抽処理をする部位である。観測画像モニタ・目標領域設定部３０は目標領域設定処理をする部位である。目標領域設定処理は、目標領域抽処理をするに先だって実施される。目標領域設定と目標領域抽出を組み合わせて画像観測装置を構成することにより、ＲＧＢカラー画像を色差成分を損なうことなしに領域の区分をすることができる。目標領域設定および目標領域抽出は後で詳細に説明される。
【００１１】
図３を参照して目標領域について復習する。観測目標領域４は、観測目標物である子供を撮像した表面画像の内の観測抽出しようとする対象を意味する。観測目標領域４内には、複数の目標領域１、２、３が含まれる。そして、図２を参照するに、目標領域は一例として黄緑であり、その目標外領域である近傍領域は一例として灰色であるものとし、方形枠で囲まれた領域を色距離閾値を抽出する閾値設定領域、或いは目標領域枠として定義している。
ここで、色距離について説明する。観測画像をＲ（赤）、Ｇ（緑）、Ｂ（青）の３つのベクトルで観測し、目標領域における各画素毎について計算されるＲ0Ｇ0Ｂ0値に対する距離量：√［（Ｒ−Ｒ0）2＋（Ｇ−Ｇ0）2＋（Ｂ−Ｂ0）2］を色距離という。Ｒ0Ｇ0Ｂ0値とは、当該目標領域における色の基準となるサンプリング場所の基準値である。目標領域における或る画素のＲ、Ｇ、Ｂの３つのベクトルが、それぞれ、Ｒ0 、Ｇ0、Ｂ0 である場合、この画素の色距離は０であり、これはサンプリング場所の色と同じ色であることを意味する。
【００１２】
目標領域は、そもそも、色相の類似した領域の括られたものであるので、単一のＲＧＢ信号値で表示されるが、目標外領域は単一のＲＧＢ信号値で表示されるとは限らない。目標領域と目標外領域は、画素毎に色距離が計算され、カラー画像をこの色距離に基づいて色距離画像に変換する。そして、色距離画像に変換された両領域は、設定された色距離閾値を使用してこれを２値化することにより区分される。即ち、目標領域および目標外領域は、色距離閾値により２値化することにより、色距離閾値を超える部分は黒に変換表示される一方、この色距離閾値を超えない部分は白に変換表示される。
【００１３】
画像観測における以上の目標領域と目標外領域の区分、分割の詳細を図４、図５および図６を参照して具体的に説明する。図４は目標図形パターンの目標領域抽出を説明する図、図５は画像観測装置の実施例を説明する図である。図６は目標領域設定と目標領域抽出を総合した動作シーケンスを示す図であり、目標領域設定は左側の鎖線枠内の工程を順次に辿って実施し、目標領域抽出は右側の鎖線枠内の工程を順次に辿って実施する。
ここで、目標図形パターンの領域抽出における「領域」の定義は表１にまとめられている。
【００１４】
【表１】
以下、目標領域の抽出を図４を参照して説明する。
目標領域１、２、３の見当をつけるには、目標図形パターンが含まれる図示される通りの画像をモニタ画面上に表示する。
観測目標領域４を構成する要素の候補として、図４において黄色の四角の枠で囲んだ目標領域１〜目標領域３を設定する。この設定は、具体的には、モニタ画面上においてマウスを操作することにより黄色の四角の枠で包囲設定する。
【００１５】
目標領域１〜目標領域３の意味は自転車のタイヤと赤い上着であり、その定義は黄色の領域と赤色の領域である。
これらの目標領域１〜目標領域３について、目標領域における色の基準となると思われるサンプリング場所をマウスを操作して設定し、これらサンプリング場所から目標領域１〜目標領域３毎に各基準Ｒ0Ｇ0Ｂ0値を読みとる。ここで、小さな正方形で示されるところがサンプリング場所を示す。画像入力のＲＧＢ値と基準Ｒ0Ｇ0Ｂ0値とにより各画素毎にノルム演算をして目標領域を目標領域別に色距離画像に変換し、レイヤ別に画像を作成する。ここで、レイヤ（或は階層）とは何かについて、その意味内容を説明すると次の通りである。
【００１６】
図９を参照するに、或る一つの設定された色距離を有する領域、即ち、赤、橙、黄、黄緑毎の画像を作成し、この画像を２値化した色距離２値化画像をレイヤ（或いは階層）１、２、３、４と称している。レイヤ１は赤の領域に対する色距離２値化画像であり、中心に存在する赤の領域のみに対応して画像が得られている。レイヤ２は橙の領域に対する色距離２値化画像であり、赤の領域の周囲を包囲する橙の領域のみに対応して画像が得られている。レイヤ３は黄の領域に対する色距離２値化画像であり、橙の領域の周囲を包囲する黄の領域のみに対応して画像が得られている。レイヤ４は黄緑の領域に対する色距離２値化画像であり、黄の領域の外側を包囲する黄緑の領域のみに対応して画像が得られている。
【００１７】
図１０を参照するに、レイヤ１は黄の領域に対する色距離２値化画像であり、三角形の領域のみに対応して画像が得られている。レイヤ２は赤の領域に対する色距離２値化画像であり、丸の領域のみに対応して画像が得られている。レイヤ３は青の領域に対する色距離２値化画像であり、四角形の領域のみに対応して画像が得られている。レイヤ４は黄緑の領域に対する色距離２値化画像であり、黄、赤、青の領域の外側を包囲する黄緑の領域のみに対応して画像が得られている。
図１０（ａ）において、色距離の相違する黄、赤、青、黄緑の各領域は、それぞれ抽出された領域画像としてレイヤ、階層別に色距離２値化画像化され、各レイヤ、階層別に抽出領域の数、位置、面積の関係、条件を後で説明される図７を参照して認識する。
【００１８】
色距離閾値を設定し、レイヤ別にこの色距離閾値による色距離画像の２値化と正規化により、目標領域を抽出する。即ち、目標領域および目標外領域を、色距離閾値により２値化し、正規化することにより、色距離閾値を超える部分は黒に表示する一方、色距離閾値を超えない部分を白に表示し、目標領域を抽出する。
目標領域は、重心位置、面積、基準Ｒ0Ｇ0Ｂ0 値の３つのパラメータで形状比較する。
レイヤ間をまたいで、目標領域間の相対位置、各目標領域の面積、各目標領域の基準Ｒ0Ｇ0Ｂ0 値を目標図形パターンと比較して目標図形パターンを抽出する。相対位置の例は図７に示されている。図７は目標図形パターンを目標領域のグループで抽出する条件の例を示す図である。目標図形パターンを目標領域のグループで抽出する条件を組み合わせて表２に示されるマッチングパターンを定義することができる。（Ｓ７）については後で更に具体的に説明される。
【００１９】
【表２】
図４において、目標領域１、２の意味は自転車のタイヤであり、目標領域３の意味は赤い上着であり、その定義は黄色の領域と赤色の領域である。これら黄色の四角の枠で囲んだ目標領域１〜目標領域３を青枠で囲んで一つのグループの目標図形観測パターンとして抽出する。「横に並んだ目標領域１、２、更にその中間上部に配置する目標領域３」という定義の下で青枠で囲んで一つのグループの観測目標領域４としてグループ化することで、この定義を満足するか否かを判断して、目標領域１〜目標領域３を一括して抽出することができる。
【００２０】
図５を参照して画像観測装置の実施例を説明する。これは、基準値が単一である目標領域を抽出するものであり、各目標領域のＲ0Ｇ0Ｂ0値、各目標領域を目標外領域と区別するベース閾値、目標領域のサイズを入力として抽出した目標領域のＲ0Ｇ0Ｂ0値、目標領域の２値画像、重心位置、面積を、目標領域別のレイヤ構成で出力する。以下、具体的に説明する。
１００はＣＣＤカラーカメラ、５１１〜５１ｎは設定値記憶部、５２１〜５２ｎは色距離演算回路、５３１〜５３ｎはヒストグラム抽出フィルタ、５４１〜５４ｎは２値化回路、５５１〜５５ｎは重心位置演算回路、５６１〜５６ｎは面積演算回路、５７１〜５７ｎはレイヤ出力記憶部、５８は抽出画像出力部である。
【００２１】
ＣＣＤカラーカメラ１００で撮像されたＲＧＢカラー画像信号は、Ｒ画像信号成分、Ｇ画像信号成分、Ｂ画像信号成分に分解して出力される。目標領域１〜ｎには、対応する設定値記憶部５１１〜５１ｎが具備されている。設定値記憶部５１１〜５１ｎには、目標領域それぞれのＲ0Ｇ0Ｂ0値、目標領域を区別するベース閾値、目標領域のサイズ、が格納されている。
各目標領域１〜ｎに対応する色距離演算回路５２１〜５２ｎには、Ｒ画像信号成分、Ｇ画像信号成分、Ｂ画像信号成分が入力されると共に、対応する目標領域の設定値記憶部５１１〜５１ｎからＲ0Ｇ0Ｂ0値が入力される。これら色距離演算回路５２１〜５２ｎにおいて、各目標領域１〜ｎの各画素のＲＧＢ信号成分をＲ0Ｇ0Ｂ0基準値と比較して先の色距離の計算式により色距離を計算し、各目標領域の画像を色距離画像に変換する。
【００２２】
５３１ないし５３ｎは目標領域１〜ｎにそれぞれ対応するヒストグラム抽出フィルタである。５４１〜５４ｎは２値化回路である。
ところで、設定値記憶部５１１〜５１ｎから供給されるベース閾値には、２値化回路５４１〜５４ｎに入力されるに先立って、以下の処理が施される。目標領域設定に際して色距離閾値のベース値が設定される。閾値のベース値を設定するには、先ず、目標領域が主たる割合を占め、目標領域を内接する目標領域の枠を設定する。即ち、ベース閾値のかさ上げをする差分を演算するに使用する目標領域の枠のサイズを設定する。そして、目標領域枠内を色距離画像に変換して図８に示される色距離分布のヒストグラムをとり、ヒストグラムの極小値或いは変曲点を目標領域枠内全体のベース閾値として設定する。そして、各ヒストグラム抽出フィルタ５３１ないし５３ｎは、設定値記憶部５１１〜５１ｎに設定記憶される目標領域サイズと色距離演算回路５２１〜５２ｎから出力される色距離画像を入力し、色距離閾値の補正量を発生する。ＲＧＢカラー画像の目標領域とそれ以外の領域の間の目標領域の差分値を補正量として発生し、これを設定値記憶部５１１〜５１ｎから供給されるベース閾値に加算して補正された色距離閾値が生成され、目標領域を２値化して２値化回路５４１に入力されて、これにより目標領域とそれ以外の領域は分割、区別される。この通りにするのは、目標領域とそれ以外の目標外領域を２値化する色距離閾値は、これをそのベース値として目標領域に近い小さいところに設定しておき、目標領域とそれ以外の目標外領域が色距離において距離が大きい場合はその距離に相当する分だけ高く設定することにより、２値化を安定化することができることによる。
【００２３】
２値化回路５４１〜５４ｎにより生成された目標領域の２値画像は、対応するレイヤ出力記憶部５７１〜５７ｎに出力してここに記憶される。そして、目標領域の２値画像は、対応する重心位置演算部５５１〜５５ｎに供給され、重心位置が計算されて、対応するレイヤ出力記憶部５７１〜５７ｎに出力してここに記憶される。また、目標領域の２値画像は、対応する面積演算部５６１〜ｎに供給され、面積が計算されて、対応するレイヤ出力記憶部５７１〜５７ｎに出力してここに記憶される。レイヤ出力記憶部５７１〜５７ｎには、更に、対応する設定値記憶部５１１〜５１ｎからＲ0Ｇ0Ｂ0値が入力されている。以上の通り、２値化した目標領域の２値画像について、目標領域毎に面積と重心位置が計算され、計算された重心位置および面積は直接出力される２値画像およびＲ0Ｇ0Ｂ0値と共に、目標領域１〜ｎ別のレイヤ構成で出力され、記憶される。
【００２４】
ここで、図８を参照するに、これは目標領域と目標外領域間の色距離ヒストグラムである。縦軸の「面積比」とは、目標領域の面積を矩形枠の面積で除算した値をいう。判然とした輪郭を有して色距離の小さい条件下においては、青色曲線により示される如く明確にピークが分離して閾値設定が容易であることが理解される。これに反して、境界がぼやけたものは明確な閾値を設定し難いことが理解される。この条件の下においては、閾値の値によって２値化画像の大きさが変化する。上述した通り、目標領域の周辺の色距離が一定ではない場合、色距離画像の目標領域の差分をベース閾値にかさ上げすることで目標領域の２値化を安定化することができる。
【００２５】
図６は目標領域設定と目標領域抽出を総合した動作シーケンスを示す図であり、目標領域設定は左側の鎖線枠内の工程を順次に辿って実施し、目標領域抽出は右側の鎖線枠内の工程を順次に辿って実施する。以下、図４および図６を参照して観測領域の目標領域設定の動作シーケンスを説明する。
（Ｓ０） ＣＣＤカラーカメラで観測対象のＲ画像、Ｇ画像、Ｂ画像の３画像より成る原画像を撮像入力する。
（Ｓ１） 目標領域を含むカラー原画像をモニタ画面に表示する。
【００２６】
（Ｓ２） モニタ画面で各目標領域１、２、３を矩形枠で囲み、観測領域の図形パターンを単色の目標領域１、２、３の複合体に分割する。これを目標枠として設定する。
（Ｓ３） モニタ画面で各目標領域における色の基準となるサンプリング画素を囲み、基準となる画素のＲ0Ｇ0Ｂ0 値を設定する。
（Ｓ４） 各目標領域枠の各画素を画素毎にＲ0Ｇ0Ｂ0 値との間の色距離に変換し、各目標領域枠内を色距離画像に変換する。
（Ｓ５） 各目標領域枠内の色距離ヒストグラムを作成する。
【００２７】
（Ｓ７） ヒストグラムの変曲点を目安にして目標領域抽出分割処理に適した色距離閾値を設定する。
（Ｓ８） 各目標領域枠内を色距離閾値と比較して２値化し、モニタに２値化画像を表示する。
（Ｓ９） モニタ画面を参照して、色距離閾値を調節して閾値が適正であるか否か妥当性を調べる。抽出された目標領域が目的とする領域を正確に抽出していない場合は、（Ｓ２）に戻り、目標領域枠の設定および色距離閾値の設定を再設定し、２値化画像が適正化されるまで以上の工程を繰り返す。
【００２８】
（Ｓ１０） 目標領域を正確に抽出している場合は、目標領域の面積を演算する。
（Ｓ１１） 目標領域の重心位置を演算する。
（Ｓ１２） 目標領域の登録をする。目標領域のＲ0Ｇ0Ｂ0 値、色距離閾値、目標領域枠、目標領域を登録する。図形登録プロパティは、グルーピングされる図形番号、グループ内の相対位置、面積、面積比率、設定図面上の絶対位置、目標領域のＲ0Ｇ0Ｂ0 値とする。
ここで、目標領域抽出処理を図６の右側の鎖線枠内の工程を順次に辿って説明する。
【００２９】
（Ｓ０’） ＣＣＤカラーカメラ１００で観測対象のＲ画像、Ｇ画像、Ｂ画像の３画像より成る原画像を撮像入力する。
（Ｓ１’） 各目標領域枠内の画素毎にＲ0Ｇ0Ｂ0 値との間の色距離変換演算√［（Ｒ−Ｒ0）2＋（Ｇ−Ｇ0）2＋（Ｂ−Ｂ0）2］をする。
（Ｓ２’） 各目標領域の色距離画像を作成する。
（Ｓ３’） 目標領域のサイズで差分演算をして色距離閾値の補正画像を作成する。
（Ｓ４’） 目標領域の画素毎に補正された色距離閾値と比較して目標領域を２値化した２値化画像を作成する。
【００３０】
（Ｓ５’） 目標領域の２値化画像の面積を演算する。
（Ｓ６’） 目標領域の重心位置の演算をする。
（Ｓ７’） Ｒ0Ｇ0Ｂ0 値、面積、重心位置をプロパティとして、目標領域レイヤを構成する。
（Ｓ８’） 目標領域レイヤを検索して登録図形グループの構成要素を重ね合わせて図形パターン領域画像レイヤを作成する。
（Ｓ９’）図形パターン或いは目標領域レイヤとカラー画像を掛け合わせ、目標図形パターンを抽出する。
【００３１】
図７は観測目標目標領域４を目標領域１、２、３のグループで抽出する条件の例を示す図である。観測目標領域４を目標領域１、２、３のグループで抽出する条件を組み合わせて表２に示されるマッチングパターンを定義する。図７において、条件１は、目標領域は３個で抽出領域も３個である。領域の数が同じである場合、表２のマッチングパターン１に従ってマッチングしているものと判断することができる。条件１、２、３を満足する、目標領域と抽出領域の数が同じであり、且つ、目標領域と抽出領域の各面積が等しく、且つ、目標領域相互の相対位置関係と抽出領域の相対位置関係が等しい場合、表２のマッチングパターン４に従ってマッチングしているものと判断することができる。
【００３２】
この発明は、半導体材料等の欠陥測定分野、顕微鏡下の微生物測定分野において適用すると好適である。その他、環境モニタ、生産ラインの監視においても、効率の高い目標物領域抽出能力を発揮する。更に、煙、緑化、森林のＣＯ2監視、酸性雨監視、その他の環境監視、食品の異物監視、形状および色による食品の測定監視、常時監視モニターをインテリジェント化してセキュリティー監視に適用することができる。
【図面の簡単な説明】
【００３３】
【図１】画像観測装置の概要を説明する図。
【図２】目標領域を説明する図。
【図３】複数の目標領域をまとめて一つの観測領域としてそのＲＧＢ信号を抽出する仕方について説明する図。
【図４】目標領域を含む目標領域枠を示す図。
【図５】画像観測装置の実施例を説明する図。
【図６】目標領域設定と目標領域抽出を総合した動作シーケンスを示す図。
【図７】目標図形パターンを目標領域のグループで抽出する条件の例を示す図。
【図８】目標領域と目標外領域間の色距離ヒストグラム。
【図９】レイヤを説明する図。
【図１０】他のレイヤを説明する図。
【符号の説明】
【００３４】
１００ ＣＣＤカラーカメラ
５１１〜５１ｎ 設定値記憶部
５２１〜５２ｎ 色距離演算回路
５３１〜５３ｎ ヒストグラム抽出フィルタ
５４１〜５４ｎ ２値化回路
５５１〜５５ｎ 重心位置演算回路
５６１〜５６ｎ 面積演算回路
５７１〜５７ｎ レイヤ出力記憶部
５８ 抽出画像出力部
【特許請求の範囲】
【請求項１】
ＣＣＤカラーカメラで撮像して得られた表面画像のＲＧＢ信号を色距離に変換して目標領域を単一の色距離閾値で２値化して、観測目標物の表面画像の色相の類似した目標領域に分割することを特徴とする画像観測方法。
【請求項２】
（Ｓ０） 画像をＲ、Ｇ、Ｂの３つの色別に撮像入力し、
（Ｓ１） ＲＧＢ画像をカラーモニタに表示し、
（Ｓ２） 単色の目標領域１、２、３の複合体になる様に目標領域１、２、３を矩形枠で囲み、
（Ｓ３） 矩形枠で囲まれた領域の色をサンプリング画素を囲こみ、目標領域の基準色Ｒ0Ｇ0Ｂ0 値を設定し、
（Ｓ４） 撮像入力した画像を目標領域の基準色Ｒ0Ｇ0Ｂ0 との間の色距離画像に変換し、
（Ｓ５） 矩形枠で囲まれた領域画素の色距離をヒストグラムに表示し、
（Ｓ７） ヒストグラムの変曲点を目安にして目標領域分割に適した色距離閾値を設定し、
（Ｓ８） 矩形枠で囲まれた領域を色距離で２値化し、モニタに表示し、
（Ｓ９） モニタを参照して色距離閾値を調節して、Ｓ２〜Ｓ９を繰り返し、
（Ｓ１０） 目標領域の面積を演算し、
（Ｓ１１） 目標領域の重心位置を演算し、
（Ｓ１２） 図形プロパティをグルーピングされる図形番号、グループ内相対位置、面積、面積比率、基準色Ｒ0Ｇ0Ｂ0 、色距離閾値、目標領域枠、を登録する、
ことを特徴とする画像観測方法。
【請求項３】
（Ｓ０’） 画像をＲ、Ｇ、Ｂの３つの色別に撮像入力し、
（Ｓ１’） ＲＧＢ画像をカラーモニタに表示し、
（Ｓ２’） 撮像入力した画像を目標領域の基準色Ｒ0Ｇ0Ｂ0 との間の色距離画像に変換し、
（Ｓ４’） 矩形枠で囲まれた領域を補正された色距離閾値で２値化し、
（Ｓ５’） 目標領域面積を演算し、
（Ｓ６’） 目標領域重心位置を演算し、
（Ｓ７’） 基準色Ｒ0Ｇ0Ｂ0 、面積、重心位置をプロパティとして目標領域レイヤを構成し、
（Ｓ８”） 目標領域レイヤを検索して登録図形グループの構成要素を重ね合わせ図形パターン領域レイヤを作成し、
（Ｓ９’） 図形パターン或いは目標領域レイヤと撮像入力したカラー画像を掛け合わせて目標図形パターンを抽出する、
ことを特徴とする画像観測方法。
【請求項４】
撮像されたＲＧＢカラー画像信号をＲ画像信号成分、Ｇ画像信号成分、Ｂ画像信号成分に分解して出力するＣＣＤカラーカメラを具備し、
複数の目標領域１〜ｎにそれぞれ対応する設定値記憶部を具備し、設定値記憶部には目標領域それぞれのＲ0Ｇ0Ｂ0値、目標領域を区別するベース閾値、目標領域のサイズが格納され、
Ｒ画像信号成分、Ｇ画像信号成分、Ｂ画像信号成分が入力されると共に、対応する目標領域の設定値記憶部からＲ0Ｇ0Ｂ0値が入力される各目標領域１〜ｎに対応する色距離演算回路を具備し、これら色距離演算回路においては各目標領域１〜ｎの各画素のＲＧＢ信号成分をＲ0Ｇ0Ｂ0基準値と比較して色距離の計算式により色距離を計算し、各目標領域の画像を色距離画像に変換し、
設定値記憶部に設定記憶される目標領域サイズと色距離演算回路から出力される色距離画像を入力してベース閾値の補正量を発生してこれをベース閾値に加算して補正された色距離閾値を生成するヒストグラム抽出フィルタを目標領域１〜ｎに対応して具備し、
色距離画像を入力すると共に補正された色距離閾値を入力して目標領域の２値画像を生成する２値化回路を目標領域１〜ｎに対応して具備し、
出力される２値画像およびＲ0Ｇ0Ｂ0値を記憶するレイヤ出力記憶部を目標領域１〜ｎに対応して具備し、
目標領域の２値画像を入力して重心位置を計算する重心位置演算部を目標領域１〜ｎに対応して具備し、
目標領域の２値画像を入力して面積を計算する面積演算部を目標領域１〜ｎに対応して具備し、
計算された重心位置および面積は直接出力される２値画像およびＲ0Ｇ0Ｂ0値と共に目標領域１〜ｎ別のレイヤ構成で出力されてこれを記憶するレイヤ出力記憶部を目標領域１〜ｎに対応して具備する、
ことを特徴とする画像観測装置。
【請求項１】
ＣＣＤカラーカメラで撮像して得られた表面画像のＲＧＢ信号を色距離に変換して目標領域を単一の色距離閾値で２値化して、観測目標物の表面画像の色相の類似した目標領域に分割することを特徴とする画像観測方法。
【請求項２】
（Ｓ０） 画像をＲ、Ｇ、Ｂの３つの色別に撮像入力し、
（Ｓ１） ＲＧＢ画像をカラーモニタに表示し、
（Ｓ２） 単色の目標領域１、２、３の複合体になる様に目標領域１、２、３を矩形枠で囲み、
（Ｓ３） 矩形枠で囲まれた領域の色をサンプリング画素を囲こみ、目標領域の基準色Ｒ0Ｇ0Ｂ0 値を設定し、
（Ｓ４） 撮像入力した画像を目標領域の基準色Ｒ0Ｇ0Ｂ0 との間の色距離画像に変換し、
（Ｓ５） 矩形枠で囲まれた領域画素の色距離をヒストグラムに表示し、
（Ｓ７） ヒストグラムの変曲点を目安にして目標領域分割に適した色距離閾値を設定し、
（Ｓ８） 矩形枠で囲まれた領域を色距離で２値化し、モニタに表示し、
（Ｓ９） モニタを参照して色距離閾値を調節して、Ｓ２〜Ｓ９を繰り返し、
（Ｓ１０） 目標領域の面積を演算し、
（Ｓ１１） 目標領域の重心位置を演算し、
（Ｓ１２） 図形プロパティをグルーピングされる図形番号、グループ内相対位置、面積、面積比率、基準色Ｒ0Ｇ0Ｂ0 、色距離閾値、目標領域枠、を登録する、
ことを特徴とする画像観測方法。
【請求項３】
（Ｓ０’） 画像をＲ、Ｇ、Ｂの３つの色別に撮像入力し、
（Ｓ１’） ＲＧＢ画像をカラーモニタに表示し、
（Ｓ２’） 撮像入力した画像を目標領域の基準色Ｒ0Ｇ0Ｂ0 との間の色距離画像に変換し、
（Ｓ４’） 矩形枠で囲まれた領域を補正された色距離閾値で２値化し、
（Ｓ５’） 目標領域面積を演算し、
（Ｓ６’） 目標領域重心位置を演算し、
（Ｓ７’） 基準色Ｒ0Ｇ0Ｂ0 、面積、重心位置をプロパティとして目標領域レイヤを構成し、
（Ｓ８”） 目標領域レイヤを検索して登録図形グループの構成要素を重ね合わせ図形パターン領域レイヤを作成し、
（Ｓ９’） 図形パターン或いは目標領域レイヤと撮像入力したカラー画像を掛け合わせて目標図形パターンを抽出する、
ことを特徴とする画像観測方法。
【請求項４】
撮像されたＲＧＢカラー画像信号をＲ画像信号成分、Ｇ画像信号成分、Ｂ画像信号成分に分解して出力するＣＣＤカラーカメラを具備し、
複数の目標領域１〜ｎにそれぞれ対応する設定値記憶部を具備し、設定値記憶部には目標領域それぞれのＲ0Ｇ0Ｂ0値、目標領域を区別するベース閾値、目標領域のサイズが格納され、
Ｒ画像信号成分、Ｇ画像信号成分、Ｂ画像信号成分が入力されると共に、対応する目標領域の設定値記憶部からＲ0Ｇ0Ｂ0値が入力される各目標領域１〜ｎに対応する色距離演算回路を具備し、これら色距離演算回路においては各目標領域１〜ｎの各画素のＲＧＢ信号成分をＲ0Ｇ0Ｂ0基準値と比較して色距離の計算式により色距離を計算し、各目標領域の画像を色距離画像に変換し、
設定値記憶部に設定記憶される目標領域サイズと色距離演算回路から出力される色距離画像を入力してベース閾値の補正量を発生してこれをベース閾値に加算して補正された色距離閾値を生成するヒストグラム抽出フィルタを目標領域１〜ｎに対応して具備し、
色距離画像を入力すると共に補正された色距離閾値を入力して目標領域の２値画像を生成する２値化回路を目標領域１〜ｎに対応して具備し、
出力される２値画像およびＲ0Ｇ0Ｂ0値を記憶するレイヤ出力記憶部を目標領域１〜ｎに対応して具備し、
目標領域の２値画像を入力して重心位置を計算する重心位置演算部を目標領域１〜ｎに対応して具備し、
目標領域の２値画像を入力して面積を計算する面積演算部を目標領域１〜ｎに対応して具備し、
計算された重心位置および面積は直接出力される２値画像およびＲ0Ｇ0Ｂ0値と共に目標領域１〜ｎ別のレイヤ構成で出力されてこれを記憶するレイヤ出力記憶部を目標領域１〜ｎに対応して具備する、
ことを特徴とする画像観測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−１７２３８１（Ｐ２００６−１７２３８１Ａ）
【公開日】平成１８年６月２９日（２００６．６．２９）
【国際特許分類】
【出願番号】特願２００４−３６７５９７（Ｐ２００４−３６７５９７）
【出願日】平成１６年１２月２０日（２００４．１２．２０）
【出願人】（０００２１９４５１）東亜ディーケーケー株式会社 (204)
【Ｆターム（参考）】
【公開日】平成１８年６月２９日（２００６．６．２９）
【国際特許分類】
【出願日】平成１６年１２月２０日（２００４．１２．２０）
【出願人】（０００２１９４５１）東亜ディーケーケー株式会社 (204)
【Ｆターム（参考）】
[ Back to top ]