説明

パターン認識装置およびパターン認識方法

【課題】認識エラーの少ないパターン認識装置およびパターン認識方法を提供することを目的とする。
【解決手段】透明基板に形成された透明電極のパターンを画像認識により検出するパターン認識において、読取画像の輝度分布をヒストグラム24aに表示させ、透明電極のパターン画像に対応する度数集積部25aと透明基板の背景画像に対応する度数集積部25bとを切り分けるための第1の設定値T1,第2の設定値T2を設定する。パターン検出に際しては、第1の設定値T1以上の輝度値を有する画素の輝度値を最大階調値255に変換し第2の設定値T2以下の輝度値を有する画素の輝度値を最小階調値0に変換した明るさ補正画像を対象として、パターンマッチングを行う。これにより、認識対象の読取画像中の画像ノイズや異物による影響を排除して、安定した認識を行うことができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ガラス基板などの透明基板に設けられたITO膜などの透明電極のパターンを認識するパターン認識装置およびパターン認識方法に関するものである。
【背景技術】
【0002】
液晶パネルなどの表示パネルでは、ガラス基板などの透明基板にITO膜などの透明電極が形成され、ガラス基板への電子部品実装においては、これらの透明電極を認識する認識処理が行われる(例えば特許文献1参照)。この認識処理においては、ガラス基板をカメラで撮像した画像を認識処理することにより、認識対象を背景画像から識別して検出するパターン認識が行われる。
【特許文献1】特開平4−58217号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、ガラス基板におけるITO膜などの透明電極を検出対象とする場合には、認識対象物の材質特性により認識が安定せず、認識エラーを多発する場合があるという課題があった。すなわち、ITO膜の背景のガラス基板は同軸照明によって認識対象となる画像中で高輝度で現れ、検出対象であるITO膜とのコントラストは低い。このため、認識画像中に画像ノイズや異物の映像が存在する場合には、パターンマッチングにおける相関値が下がって認識エラーを生じやすく、認識エラーによる装置停止を招いていた。
【0004】
そこで本発明は、認識を安定させることができるパターン認識装置およびパターン認識方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明のパターン認識装置は、透明電極が形成された透明基板をカメラで撮像することにより前記透明電極のパターンを認識するパターン認識装置であって、
前記カメラにより撮像された画像の画像データを読み取る画像読取処理部と、前記画像読取処理部によって読み取られた画像を記憶する読取画像記憶部と、予め設定され設定値記憶部に記憶された第1の設定値および第2の設定値に基づき前記画像記憶部に記憶された画像を対象として明るさ補正処理を行う明るさ補正処理部と、明るさ補正処理が行われた補正画像を記憶する補正画像記憶部と、前記補正画像を対象として前記透明電極のパターンを検出するパターン検出処理部とを備え、前記明るさ補正処理部は、前記明るさ補正処理の対象となる画像において前記透明電極に対応する画素の輝度の下限値に基づいて設定された前記第1の設定値よりも高輝度の画素の輝度値を前記第1の設定値よりも高輝度に設定された第1の補正値以上の輝度値に変換し、前記画像において前記透明基板に対応する画素の輝度の上限値に基づいて設定された前記第2の設定値よりも低輝度の画素の輝度値を前記第1の設定値よりも低輝度に設定された第2の補正値以下の輝度値に変換する。
【0006】
本発明のパターン認識方法は、透明電極が形成された透明基板をカメラで撮像することにより前記透明電極のパターンを認識するパターン認識方法であって、前記カメラにより撮像された画像の画像データを読み取る画像読取処理工程と、前記画像読取処理工程において読み取られた画像を記憶する読取画像記憶工程と、予め設定され記憶された第1の設定値および第2の設定値に基づき前記画像記憶部に記憶された画像を対象として明るさ補正処理を行う明るさ補正処理工程と、前記明るさ補正処理が行われた補正画像を記憶する補正画像記憶工程と、前記補正画像を対象として前記透明電極のパターンを検出するパタ
ーン検出処理を行うパターン検出処理工程とを含み、前記明るさ補正処理工程において、前記明るさ補正処理の対象となる画像において前記透明電極に対応する画素の輝度の下限値に基づいて設定された前記第1の設定値よりも高輝度の画素の輝度値を前記第1の設定値よりも高輝度に設定された第1の補正値以上の輝度値に変換し、前記画像において前記透明基板に対応する画素の輝度の上限値に基づいて設定された前記第2の設定値よりも低輝度の画素の輝度値を前記第2の設定値よりも低輝度に設定された第2の補正値以下の輝度値に変換する。
【発明の効果】
【0007】
本発明によれば、明るさ補正の対象となる画像において検出対象となる透明電極に対応する画素の輝度の下限値および透明基板に対応する画素の輝度の上限値に基づいてそれぞれ第1の設定値および第2の設定値を設定し、パターン検出処理に先立って、第1の設定値よりも高輝度の画素の輝度値を第1の設定値よりも高輝度に設定された第1の補正値以上の輝度値に変換し、第2の設定値よりも低輝度の画素の輝度値を第2の設定値よりも低輝度に設定された第2の補正値以下の輝度値に変換する明るさ補正を実行することにより、認識対象の読取画像中の画像ノイズや異物の映像による影響を排除して、安定した認識を行うことができる。
【発明を実施するための最良の形態】
【0008】
次に本発明の実施の形態を図面を参照して説明する。図1は本発明の一実施の形態のパターン認識装置の構成を示すブロック図、図2、図4は本発明の一実施の形態のパターン認識装置の操作画面を示す図、図3は本発明の一実施の形態のパターン認識方法の明るさ補正処理における輝度値変換の説明図、図5は本発明の一実施の形態のパターン認識方法の処理フロー図である。
【0009】
まず図1を参照して、パターン認識装置の構成を説明する。図1において、透明基板1はガラスなどの透明な板状部材であり、透明基板1には透明な導電体であるITO膜によって透明電極2が形成されている。透明基板1はパネル保持部(図示省略)によって保持された状態で、カメラ3の下方に位置決めされる。透明基板1の上方には照明装置4が配設されており、照明装置4とカメラ3の光軸上に配置されたハーフミラー4aによって透明基板1を上方から照明した状態でカメラ3によって透明基板1を撮像することにより、透明電極2を含む透明基板1の画像が読み取られる(図2参照)。そして読み取られた画像に対して後述するパターン認識処理を実行することにより、透明電極2のパターンが認識される。
【0010】
カメラ3によって撮像された画像データは処理部5に送られ、パターン認識処理の対象となる。処理部5は、画像読取処理部11、明るさ補正設定処理部12、明るさ補正処理部13、パターン検出処理部14の各処理機能部を備えている。また処理部5にはモニタ6、操作・入力部7、読取画像記憶部8、補正画像記憶部9、設定値記憶部10が付属しており、さらに、処理部5はこのパターン認識装置が組み込まれた電子部品実装装置などの外部装置の制御装置である外部制御部15に接続されている。外部制御部15からは処理部5に対してパターン認識処理の実行が指示され、処理部5から外部制御部15に対してパターン認識処理結果が出力される。
【0011】
モニタ6は表示パネルであり、カメラ3によって撮像して読み取った画像の表示や、後述する明るさ補正処理のための設定値の入力操作を行うための操作画面を表示する。操作・入力部7はキーボードやマウス、モニタ6のパネルに設けられた操作ボタンなどであり、パネル認識装置への操作入力や後述する設定値の入力操作を行う。なお、操作・入力部7をパターン認識装置に設ける替わりに、この機能を外部制御部15の操作入力機能によって行うようにしてもよい。
【0012】
次に処理部5の処理機能を説明する。画像読取処理部11は、カメラ3によって撮像された画像の読み取り処理を行う。画像読取処理部11によって読み取られた画像は読取画像記憶部8に記憶される。明るさ補正設定処理部12は、以下に説明する明るさ補正処理部13による明るさ補正処理において用いられる設定値を設定するための処理(設定モード)を行う。後述するように、この処理はモニタ6に表示された操作画面上で行われる。
【0013】
明るさ補正処理部13は、予め明るさ補正設定処理部12によって設定され設定値記憶部10に記憶された第1の設定値および第2の設定値に基づき、読取画像記憶部8に記憶された画像を対象として、後述する明るさ補正処理を行う。明るさ補正処理が行われた補正画像は、補正画像記憶部9に記憶される。パターン検出処理部14は、補正画像記憶部9に記憶された補正画像を対象として、透明電極のパターンを検出するパターン検出処理を行う。パターン検出結果は、外部制御部15に対して出力される。
【0014】
次に明るさ補正設定処理部12、明るさ補正処理部13によって行われる処理の内容について、モニタ6に表示される操作画面に則して説明する。図2に示す表示画面6aは、明るさ補正設定処理部12によってモニタ6に表示される操作画面を示している。表示画面6aには、画像表示フィールド20、ヒストグラム表示フィールド24、設定値入力フィールド27a、27b、入力値増減ボタン28、明るさ補正チェックボックス29が設けられている。また、マニュアル操作で明るさ補正処理部13による明るさ補正処理やパターン検出処理部14によるパターン検出処理を実行させるための操作ボタン31,32、明るさ補正設定処理部12による処理(設定モード)を終了させる終了ボタン33が設けられている。
【0015】
画像表示フィールド20にはカメラ3によって透明基板1を撮像して読み取られた読取画像20aが表示される。ヒストグラム表示フィールド24には、読取画像20aを構成する画素の輝度分布を示すヒストグラム24aが表示される。設定値入力フィールド27a、27bには、後述する第1の設定値T1、第2の設定値T2を設定するための数値が表示され、入力値増減ボタン28により数値の増減が行えるようになっている。明るさ補正チェックボックス29は、パターン認識処理(自動処理モード)において、後述する明るさ補正を実行するか否かの選択を行うために用いられ、チェックマークを付することにより、明るさ補正の実行が選択される。
【0016】
設定操作ボタン30を操作することにより、設定値入力フィールド27a、27bに表示された数値が第1の設定値T1、第2の設定値T2として取り込まれ設定される。操作ボタン31を操作することにより、第1の設定値T1、第2の設定値T2に基づいて明るさ補正が実行される。操作ボタン32を操作することにより、明るさ補正後の補正画像を対象としてパターン検出処理が実行され、終了ボタン33を操作することにより、設定モードを終了する。
【0017】
ここで、透明基板1を撮像した読取画像20aについて説明する。読取画像20aには、透明基板1により照明装置4の照明光が反射されて得られた背景画像21中に、同様に透明電極2により照明光が反射されて得られたパターン画像22が現れている。この読取画像20aにおいては、パターン画像22の方が背景画像21よりも高輝度の画像要素として現れるものの、これらの間には大きなコントラスト差が存在しない。そして背景画像21中にはゴミなどの非透光性の異物が暗色部分として現れた異物画像23が点在している。
【0018】
このような画像要素を含んだ読取画像20aをそのままパターン画像22を検出するためのパターンマッチングの対象とすると、読取画像20aとテンプレート画像との相互相
関を示す相関値が低下して認識エラーを生じやすい。すなわち、パターン画像22には画像ノイズが存在してパターン画像22の輝度値にはばらつきが存在する。このため前述のように背景画像21とパターン画像22とのコントラスト差が小さい場合には、この画像ノイズに起因して相関値を低下させる度合いが無視できない。さらに異物画像23は低輝度であり背景画像21との輝度差が大きいことから、異物画像23の存在により相関値はさらに低下する。そしてこれらの要因が複合すると、パターンマッチングにおけるマッチング率が低下し、認識エラーが高頻度で発生するおそれがある。
【0019】
このような認識エラーの発生を防止するため、本実施の形態においては、以下に説明する方法で読取画像20aに対して明るさ補正を実行し、上述の画像ノイズや異物の映像の影響を排除した補正画像を対象として、パターン検出のためのパターンマッチングを実行するようにしている。以下、この明るさ補正処理について説明する。
【0020】
まずヒストグラム24aについて説明する。ヒストグラム24aは、読取画像20aを構成する各画素の輝度を256階調に区分して輝度の度数分布をヒストグラムとして表示したものであり、0〜255の階調値が画素の輝度値に対応している。ヒストグラム24aには、近接した輝度値の画素に対応して度数が特定範囲の階調値に集積した梯状の度数集積部25が現れる。すなわち、図4に示すように、読取画像20aおける背景画像21、パターン画像22は、ヒストグラム24aでは高輝度範囲において比較的近接して存在する2つの度数集積部25a、25bとして現れ、また透明基板1上に存在するゴミなどの異物に対応した異物画像23は、ヒストグラム24aでは度数集積部25cとして度数集積部25bから隔たった低輝度範囲に現れる。
【0021】
ヒストグラム24aには、後述する第1の設定値T1、第2の設定値T2を設定するための設定値カーソルライン26a、26bが表示されており、設定値入力フィールド27a、27bに表示される階調値(輝度値)をそれぞれ入力値増減ボタン28によって増減することにより、ヒストグラム24aにおいて設定値カーソルライン26a、26bが上下方向に移動する。そして設定操作ボタン30を操作することにより、ヒストグラム24aにおいて設定値カーソルライン26a、26bに対応する輝度値が、第1の設定値T1、第2の設定値T2として設定される。
【0022】
明るさ補正処理においては、まず背景画像21中のパターン画像22を明瞭に識別することを目的として、ヒストグラム24aにおいて比較的近接して存在する2つの度数集積部25a、25bを確実に切り分けるための第1の設定値T1、第2の設定値T2を設定する。すなわち度数集積部25aの下限値の直下に第1の設定値T1を設定し、度数集積部25bの上限値の直上に第2の設定値T2を設定する。この設定は、図3に示す表示画面6aにおいて、入力値増減ボタン28を操作して設定値カーソルライン26a、26bを移動させることにより行われる。図3に示す例では、第1の設定値T1、第2の設定値T2はそれぞれ階調値194,168に設定されている。
【0023】
次いで設定された第1の設定値T1、第2の設定値T2に基づいて、輝度値の変換を行う。すなわち、第1の設定値T1以上の輝度値の各画素の輝度値を第1の補正値(ここでは最大階調値255)に変換するとともに、第2の設定値T2以下の輝度値の各画素の輝度値を第2の補正値(ここでは最小階調値0)に変換する。この変換処理は、処理部5に備えられたヒストグラム拡張処理機能を用いて行われる。換言すれば、ヒストグラム24aにおいて、第1の設定値T1〜第2の設定値T2の範囲を、最大階調値(255)から最小階調値(0)の範囲に拡大し、これに伴って第1の設定値T1以上の部分および第2の設定値T2以下の部分をそれぞれ圧縮したことを意味している。
【0024】
この輝度値変換により、読取画像20aに対応したヒストグラム24aは、ヒストグラ
ム24bのような輝度分布に変化する。そしてヒストグラム24bにおいては、度数集積部25aに属していた画素の輝度値は全て一律に階調値255に変換され、また度数集積部25b、25cに属していた画素の輝度値は全て一律に階調値0に変換される。
【0025】
図5は、このようにして明るさ補正が行われた後の補正画像を示している。すなわち図3に示す操作画面において、上述のように第1の設定値T1、第2の設定値T2を設定した後、操作ボタン31を操作することにより、明るさ補正処理部13による明るさ補正処理が実行され、表示画面6aの画像表示フィールド20には補正画像20bが表示される。この補正画像20bにおいては、背景画像21中にパターン画像22が明瞭なコントラストで現れており、しかも背景画像21中に点在していた異物画像23は背景画像21と同一輝度値に変換されて画像から消去された形となっている。そしてこの後、操作ボタン32を操作することにより、補正画像20bとテンプレート画像とのパターンマッチングがパターン検出処理部14によって実行され、背景画像21中のパターン画像22のパターンが検出される。
【0026】
なお、第1の補正値、第2の補正値として、ここでは最大階調値および最小階調値を採用した例を示しているが、これ以外の値に設定してもよい。すなわち第1の補正値としては第1の設定値T1以上の輝度値、また第2の補正値としては第2の設定値T2以下の輝度値であって、輝度変換後の明るさ補正画像とテンプレート画像とをパターンマッチングした場合に、安定したマッチング結果を与える相関値が得られるような値であればよい。
【0027】
換言すれば、上述の明るさ補正処理においては、明るさ補正の対象となる画像において透明電極2に対応する画素の輝度の下限値に基づいて設定された第1の設定値T1よりも高輝度の画素の輝度値を、第1の設定値よりも高輝度に設定された第1の補正値以上の輝度値に変換し、読取画像20aにおいて透明基板1に対応した画素の輝度の上限値に基づいて設定された第2の設定値T2よりも低輝度の画素の輝度値を、第2の設定値T2よりも低輝度に設定された第2の補正値以下の輝度値に変換するようにしている。
【0028】
そして、明るさ補正設定処理部12によって行われる明るさ補正設定処理においては、第1の設定値および第2の設定値の設定を、読取画像20aにおける画素の輝度分布を示すヒストグラム24aが表示された操作画面上で行うようにしている。これにより、明るさ補正を行うための設定値を、操作画面上で背景画像21と認識対象であるパターン画像22との輝度分布の相違をヒストグラム24a上で視覚的に確認しながら、適切にしかも簡便な操作で設定することが可能となっている。
【0029】
次に、パターン認識装置によって行われるパターン認識処理(自動処理モード)を、図5のフローに沿って各図を参照して説明する。パターン認識処理の実行に先立って、まず第1の設定値および第2の設定値の設定が行われる。この設定処理は、新たなワーク品種を対象とする場合に実行されるものであり、透明基板1に透明電極2が形成された実物ワークを用い、図3に示す操作画面上に、認識対象の読取画像20aを表示させて行われる。
【0030】
そして読取画像20aとともに表示されたヒストグラム24aにおいて背景画像21に対応した度数集積部25aとパターン画像22に対応した度数集積部25bの分布を観察し、入力値増減ボタン28を操作することにより度数集積部25aの下限値よりも低い階調値に第1の設定値T1を設定し、度数集積部25bの上限値よりも高い階調値に第2の設定値T2を設定する。
【0031】
この後、外部制御部15よりパターン認識処理の実行が指示されると、処理部5によってパターン認識処理が実行される。まず透明基板1を撮像位置に位置決めし、透明電極2
が形成された認識対象部位をカメラ3の直下に位置させて、撮像を実行する(ST1)。次いでカメラにより撮像された画像の画像データの読み取りを実行し(画像読取処理工程)、読み取られた画像を読取画像記憶部8に記憶する(ST2)(読取画像記憶工程)。
【0032】
ここで、明るさ補正実行の要否(明るさ補正チェックボックス29のチェックマークの有無)を判断し(ST3)、明るさ補正を実行する場合には、明るさ補正処理部13によって前述の明るさ補正を実行する。すなわち、予め設定され記憶された第1の設定値T1および第2の設定値T2に基づき読取画像記憶部8に記憶された読取画像20a(図3)を対象として、前述の明るさ補正処理を行う(明るさ補正処理工程)。そして明るさ補正が行われた補正画像20b(図4)を補正画像記憶部9に記憶する(ST4)。また明るさ補正を実行しない場合には、読取画像記憶部8の画像データを補正画像記憶部9に転送する(ST5)。
【0033】
そして補正画像記憶部9に記憶された補正画像20bを対象として、パターン検出処理部14によって透明電極2のパターン検出処理を実行し(ST6)(パターン検出処理工程)、パターン検出結果を、外部制御部15に対して出力して、1つの認識部位を対象とした処理を終了する。
【0034】
上記説明したように、本実施の形態に示すパターン認識処理は、ガラス基板などの透明基板1上に形成されたITO膜などの透明電極2を画像認識により検出するパターン認識において、パターン検出処理に先立って、明るさ補正の対象となる画像において検出対象となるパターン画像の画素の輝度の下限値に基づいて設定された第1の設定値T1よりも高輝度の画素の輝度値をより高輝度に変換し、背景画像の画素の輝度の上限値に基づいて設定された第2の設定値T2よりも低輝度の画素の輝度値をより低輝度に変換するようにしたものである。
【0035】
これにより、読取画像20aにおいては背景画像21中に低コントラストで存在するパターン画像22を検出対象とする場合にあっても、パターン画像21と背景画像22とのコントラストを拡大することができる。したがって読取画像中の画像ノイズや異物の存在に起因して生じるパターンマッチングにおける相関値の低下が無く、これにより認識エラーを排除して、安定した認識を行うことができる。
【産業上の利用可能性】
【0036】
本発明のパターン認識装置およびパターン認識方法は、読取画像中のゴミやノイズの影響を排除して、安定した認識を行うことができるという効果を有し、ガラス基板におけるITO膜など、明るい背景画像中に低コントラストで存在するパターンを検出するパターン認識の分野に有用である。
【図面の簡単な説明】
【0037】
【図1】本発明の一実施の形態のパターン認識装置の構成を示すブロック図
【図2】本発明の一実施の形態のパターン認識装置の操作画面を示す図
【図3】本発明の一実施の形態のパターン認識方法の明るさ補正処理における輝度値変換の説明図
【図4】本発明の一実施の形態のパターン認識装置の操作画面を示す図
【図5】本発明の一実施の形態のパターン認識方法の処理フロー図
【符号の説明】
【0038】
1 透明基板
2 透明電極
3 カメラ
20a 読取画像
20b 補正画像
24a、24b ヒストグラム
T1 第1の設定値
T2 第2の設定値

【特許請求の範囲】
【請求項1】
透明電極が形成された透明基板をカメラで撮像することにより前記透明電極のパターンを認識するパターン認識装置であって、
前記カメラにより撮像された画像の画像データを読み取る画像読取処理部と、前記画像読取処理部によって読み取られた画像を記憶する読取画像記憶部と、予め設定され設定値記憶部に記憶された第1の設定値および第2の設定値に基づき前記画像記憶部に記憶された画像を対象として明るさ補正処理を行う明るさ補正処理部と、明るさ補正処理が行われた補正画像を記憶する補正画像記憶部と、前記補正画像を対象として前記透明電極のパターンを検出するパターン検出処理部とを備え、
前記明るさ補正処理部は、前記明るさ補正処理の対象となる画像において前記透明電極に対応する画素の輝度の下限値に基づいて設定された前記第1の設定値よりも高輝度の画素の輝度値を前記第1の設定値よりも高輝度に設定された第1の補正値以上の輝度値に変換し、前記画像において前記透明基板に対応する画素の輝度の上限値に基づいて設定された前記第2の設定値よりも低輝度の画素の輝度値を前記第2の設定値よりも低輝度に設定された第2の補正値以下の輝度値に変換することを特徴とするパターン認識装置。
【請求項2】
前記第1の設定値および第2の設定値の設定を前記画像における画素の輝度分布を示すヒストグラムが表示された操作画面上で行う明るさ補正設定処理部を備えたことを特徴とする請求項1記載のパターン認識装置。
【請求項3】
透明電極が形成された透明基板をカメラで撮像することにより前記透明電極のパターンを認識するパターン認識方法であって、
前記カメラにより撮像された画像の画像データを読み取る画像読取処理工程と、前記画像読取処理工程において読み取られた画像を記憶する読取画像記憶工程と、予め設定され記憶された第1の設定値および第2の設定値に基づき前記画像記憶部に記憶された画像を対象として明るさ補正処理を行う明るさ補正処理工程と、前記明るさ補正処理が行われた補正画像を記憶する補正画像記憶工程と、前記補正画像を対象として前記透明電極のパターンを検出するパターン検出処理を行うパターン検出処理工程とを含み、
前記明るさ補正処理工程において、前記明るさ補正処理の対象となる画像において前記透明電極に対応する画素の輝度の下限値に基づいて設定された前記第1の設定値よりも高輝度の画素の輝度値を前記第1の設定値よりも高輝度に設定された第1の補正値以上の輝度値に変換し、前記画像において前記透明基板に対応する画素の輝度の上限値に基づいて設定された前記第2の設定値よりも低輝度の画素の輝度値を前記第2の設定値よりも低輝度に設定された第2の補正値以下の輝度値に変換することを特徴とするパターン認識方法。
【請求項4】
前記第1の設定値および第2の設定値の設定を、前記画像における画素の輝度分布を示すヒストグラムが表示された操作画面上で行うことを特徴とする請求項3記載のパターン認識方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2006−250536(P2006−250536A)
【公開日】平成18年9月21日(2006.9.21)
【国際特許分類】
【出願番号】特願2005−63309(P2005−63309)
【出願日】平成17年3月8日(2005.3.8)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】