外観検査装置，外観検査方法および外観検査プログラム
【課題】検査対象の位置決めの装置を用いずに，また多量のテンプレートを用いたマッチング処理を行わずに，精度の高い外観検査を実現する。
【解決手段】外観検査制御装置１０において，テンプレート情報記憶部１１には，正規化用リファレンス画像と，検査用リファレンス画像とがあらかじめ登録されている。検査対象画像正規化部１５は，第１段階で，低解像度の検査対象画像と，低解像度の正規化用リファレンス画像とのマッチング結果に基づいて，検査対象画像を正規化する。検査対象画像正規化部１５は，第２段階で，第１段階で正規化された検査対象画像と，本来の解像度の正規化用リファレンス画像とのマッチング結果に基づいて，第１段階で正規化された検査対象画像をさらに正規化する。検査部１６は，２段階に正規化された検査対象画像に対して，検査用リファレンス画像を用いた検査を行う。
【解決手段】外観検査制御装置１０において，テンプレート情報記憶部１１には，正規化用リファレンス画像と，検査用リファレンス画像とがあらかじめ登録されている。検査対象画像正規化部１５は，第１段階で，低解像度の検査対象画像と，低解像度の正規化用リファレンス画像とのマッチング結果に基づいて，検査対象画像を正規化する。検査対象画像正規化部１５は，第２段階で，第１段階で正規化された検査対象画像と，本来の解像度の正規化用リファレンス画像とのマッチング結果に基づいて，第１段階で正規化された検査対象画像をさらに正規化する。検査部１６は，２段階に正規化された検査対象画像に対して，検査用リファレンス画像を用いた検査を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，検査対象の視覚的な検査である外観検査を行う外観検査装置，外観検査方法および外観検査プログラムに関するものである。
【背景技術】
【０００２】
例えば，製品の製造工程などにおいて，製品などに対するマークや部品などの取り付け状況を，視覚的に検査する外観検査が行われている。
【０００３】
外観検査を行う外観検査機は，例えば，ベルトコンベア上を流れる製品をカメラで撮影し，製品のカメラ画像を取得する。外観検査機には，製品の良・不良を判定するための，検査の目的とするマークや部品などの画像があらかじめ登録されている。外観検査機は，取得されたカメラ画像と登録された画像とを比較することにより，製品の良・不良を判定する。
【０００４】
なお，サイズや回転角度を変えたテンプレート群を用いて，サイズや角度が変化する対象物の位置を計測する技術が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−５２５９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の外観検査機において，精度が高い検査を行うためには，検査対象の製品がカメラに対して所定の位置に所定の姿勢で撮影される必要がある。検査対象の製品がカメラに対して所定の位置，所定の姿勢にない場合には，外観検査機にあらかじめ登録された良否判定のための画像と，異なる大きさや姿勢で製品が写った画像が撮影される。このような場合には，外観検査機は，あらかじめ登録された良否判定のための画像を用いて正しい判定を行うことができなくなってしまう。
【０００７】
カメラで撮影する製品の位置や姿勢を所定の状態に整えるためには，例えば，ベルトコンベア上を流れる製品を誘導するガイドや，製品を強制的に所定の位置にずらすロボットなどの位置決め装置を用いる方法が考えられる。
【０００８】
しかし，ガイドなどの位置決め装置を用いる方法では，接触により，検査対象の製品にキズ等のダメージを与える可能性がある。また，ロボットなどの位置決め装置を用いる方法では，設備が大掛かりとなるため，外観検査機の費用が高額となる。
【０００９】
また，位置決め装置を用いずに，上記のサイズや回転角度を変えたテンプレート群を用いてサイズや角度が変化する対象物の位置を計測する技術の適用を考えても，テンプレートの数の多さから，処理時間が長くかかってしまうという問題がある。撮影された画像に写る製品の位置や姿勢の歪量によっては，テンプレートマッチングで位置検出ができないケースも考えられる。このようなケースを考慮して，変形した製品画像のテンプレートをあらかじめ準備するとなると，膨大な量のテンプレートが必要となり，テンプレートマッチングの処理時間も非常に長くなってしまう。このような外観検査は，あまり実用的な検査とは言えない。
【００１０】
本発明は，上記の問題の解決を図り，検査対象の位置決めの装置を用いなくても，また多量のテンプレートを用いたマッチング処理を行わなくても，精度の高い外観検査を行うことが可能となる技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
カメラにより撮影された検査対象の画像である検査対象画像を用いて，検査対象を視覚的に検査する外観検査装置は，複数の正規化用リファレンス画像と，その正規化用リファレンス画像の位置と，検査用リファレンス画像と，その検査用リファレンス画像の位置とが記憶された記憶部と，解像度が下げられた検査対象画像上の，解像度が下げられた記憶部に記憶された正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第一の画像比較部と，記憶部に記憶された正規化用リファレンス画像の位置と，第一の画像比較部により検出された位置との関係に基づいて，検査対象画像を正規化する変換を行う第一の変換部と，第一の変換部により変換された検査対象画像上の，記憶部に記憶された正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第二の画像比較部と，記憶部に記憶された正規化用リファレンス画像の位置と，第二の画像比較部により検出された位置との関係に基づいて，第一の変換部により変換された検査対象画像をさらに正規化する変換を行う第二の変換部と，第二の変換部により変換された検査対象画像上の，記憶部に記憶された検査用リファレンス画像の位置の周辺の所定範囲から，記憶部に記憶された検査用リファレンス画像との類似度が所定の閾値以上である領域が検出されるか否かを判定する検査部とを備える。
【発明の効果】
【００１２】
上記の技術によって，検査対象の位置決めの装置を用いなくても，また多量のテンプレートを用いたマッチング処理を行わなくても，精度が高い外観検査を行うことができるようになる。
【００１３】
検査対象の位置決めの装置を用いないので，位置決めの装置によって検査対象を傷つけることもなく，位置決めの装置のために高い費用をかける必要もない。
【００１４】
また，多量のテンプレートを用いたマッチング処理を行わないので，テンプレートの記憶領域も少なくて済み，処理時間も短く済む。
【図面の簡単な説明】
【００１５】
【図１】位置決め装置を備える外観検査機の構成例を示す図である。
【図２】本実施の形態による外観検査機の構成例を示す図である。
【図３】本実施の形態による各リファレンス画像の例を示す図である。
【図４】画像の解像度を下げてテンプレートマッチングを行うことの効果を説明する図である。
【図５】本実施の形態による検査対象画像の正規化を説明する図である。
【図６】本実施の形態による検査対象画像から２段階の変換により正規化画像を生成する例を説明する図である。
【図７】本実施の形態による正規化用リファレンス画像の位置とテンプレートマッチングの結果として得られた位置の例を示す図である。
【図８】ピポット選択法で連立方程式の解を求めるプログラムの例である。
【図９】本実施の形態の外観検査制御装置の到達検出部による到達検出処理フローチャートである。
【図１０】本実施の形態の外観検査制御装置の検査対象画像正規化部による検査対象画像正規化処理フローチャートである。
【図１１】本実施の形態の外観検査制御装置の検査対象画像正規化部による検査対象画像正規化処理フローチャートである。
【図１２】本実施の形態の外観検査制御装置の検査部による検査処理フローチャートである。
【発明を実施するための形態】
【００１６】
以下，本実施の形態について，図を用いて説明する。
【００１７】
図１は，位置決め装置を備える外観検査機の構成例を示す図である。
【００１８】
図１に示す外観検査機は，ベルトコンベア６００で流れてくる被試験機７００を，外面から視覚的に検査する装置である。外観検査では，被試験機７００に取り付けられたラベル，部品などの有無や取り付け位置などの検査が行われ，被試験機７００の良・不良の判定が行われる。
【００１９】
図１に示す外観検査機は，制御装置５０１，カメラ５０２，照明５０３，通過センサ５０４，位置決め装置５０５を備える。
【００２０】
カメラ５０２は，所定の位置を通過する被試験機７００の検査面を撮像する。照明５０３は，被試験機７００の所定の通過位置を照らす。通過センサ５０４は，被試験機７００の通過を検知する光電センサである。
【００２１】
制御装置５０１は，外観検査機の制御を行うコンピュータである。制御装置５０１には，被試験機７００の良・不良を判定するための，被試験機７００に取り付けられたラベルや部品などの画像が，あらかじめ登録されている。検査時において，制御装置５０１は，カメラ５０２からの入力画像とあらかじめ登録された画像とを比較することにより，被試験機７００の良・不良を判定する。
【００２２】
図１において，外観検査機では，被試験機７００が所定の位置に到達したことを通過センサ５０４により検出し，そのタイミングで，カメラ５０２が被試験機７００の撮影を行う。外観検査機では，制御装置５０１が，カメラ５０２の撮像画像とあらかじめ登録された画像とを比較して，被試験機７００の良・不良判定を行う。
【００２３】
位置決め装置５０５は，被試験機７００が外観検査機に対して所定の位置，所定の姿勢になるように，被試験機７００の位置や姿勢を補正する機構である。図１の例に示す位置決め装置５０５は，ベルトコンベア６００上を流れる被試験機７００を，ガイドによって強制的に所定の位置に誘導するガイド機構である。図１に示すようなガイド機構の位置決め装置５０５を用いる方法以外にも，位置決め装置５０５としてロボット等を使い，被試験機７００を一定方向から押して強制的に所定の位置にずらす方法などがある。
【００２４】
図１にしめす被試験機７００ｂ，７００ｃのように，ベルトコンベア６００上を流れてくる被試験機７００は，必ずしも正しい位置，正しい姿勢で流れてくるわけではない。そのため，図１の被試験機７００ａに示すように，外観検査機は，位置決め装置５０５により被試験機７００と外観検査機との位置関係を整えて，外観検査を行う。
【００２５】
位置決め装置５０５を使用しない場合には，外観検査機にあらかじめ登録された被試験機７００の良・不良を判定するための画像と異なるサイズの被試験機７００の画像が撮影されてしまい，正しい判定ができなくなってしまうことがある。位置決め装置５０５を使わずに，作業者が被試験機７００を所定の位置に設置する場合には，個人差による設置バラツキによって，検査判定の精度が低下してしまう。また，被試験機７００の重量が重い場合などには，作業者の作業負担が大きくなってしまう。
【００２６】
しかし，外観検査機に位置決め装置５０５を使用する場合にも，問題がある。例えば，位置決め装置５０５として図１に示すようなガイドを使用する場合には，ガイドとの接触によって被試験機７００の位置・姿勢を変えるため，被試験機７００にキズ等のダメージを与えてしまう可能性がある。また，位置決め装置５０５としてロボット等を使用すると，外観検査機の設備が大掛かりとなり，費用が高額となる。
【００２７】
以下では，ガイド，ロボット等の位置決め装置５０５がなくても，精度が高い被試験機７００の外観検査を行うことが可能となる，本実施の形態による外観検査機について，説明する。
【００２８】
図２は，本実施の形態による外観検査機の構成例を示す図である。
【００２９】
図２に示す本実施の形態による外観検査機が，図１において，制御装置５０１，カメラ５０２，照明５０３，通過センサ５０４，位置決め装置５０５を備える外観検査機に代わって設置されるものとする。
【００３０】
図２に示す本実施の形態による外観検査機は，外観検査制御装置１０，カメラ２０，照明３０，表示装置４０，入力装置４５を備える。
【００３１】
カメラ２０は，ベルトコンベア６００上の所定位置の被試験機７００を撮影する。照明３０は，所定位置の被試験機７００を照らす。図２に示す外観検査機におけるカメラ２０と照明３０とは，図１に示すカメラ５０２と照明５０３と同じものであってもよい。表示装置４０は，オペレータに対して外観検査の結果等の情報を表示する，ディスプレイ等の装置である。入力装置４５は，オペレータが外観検査制御装置１０への操作，入力を行う装置である。
【００３２】
外観検査制御装置１０は，カメラ２０により撮影された被試験機７００の画像を用いて，被試験機７００の外観検査を行うコンピュータである。外観検査制御装置１０は，テンプレート情報記憶部１１，テンプレート設定部１２，カメラ画像取得部１３，到達検出部１４，検査対象画像正規化部１５，検査部１６を備える。外観検査制御装置１０が備える各機能部は，外観検査制御装置１０のコンピュータが備えるＣＰＵ（Central Processing Unit ），メモリ，ＨＤＤ（Hard Disk Drive ）等のハードウェアとソフトウェアプログラムとにより実現される。
【００３３】
テンプレート情報記憶部１１は，あらかじめ登録されたテンプレートの情報を記憶する，コンピュータがアクセス可能な記憶装置である。
【００３４】
本実施の形態によるテンプレート情報記憶部１１には，それぞれの用途に応じた３種類のテンプレート，すなわち到達検出用リファレンス画像，正規化用リファレンス画像，検査用リファレンス画像が記憶されている。３種類のテンプレートは，外観検査制御装置１０のＨＤＤに保存されているが，処理時間の高速化のために，外観検査制御のソフトウェア起動と同時にメモリに転記される。外観検査制御装置１０は，到達検出用リファレンス画像，正規化用リファレンス画像，検査用リファレンス画像をテンプレートとして，被試験機７００の外観検査を行う。
【００３５】
テンプレート情報記憶部１１は，到達検出用リファレンス画像情報記憶部１１１，正規化用リファレンス画像情報記憶部１１２，検査用リファレンス画像情報記憶部１１３を備える。
【００３６】
到達検出用リファレンス画像情報記憶部１１１は，ベルトコンベア６００上の被試験機７００が所定の位置に到達したかを判定するために用いる到達検出用リファレンス画像や，その位置などの情報を記憶する。
【００３７】
正規化用リファレンス画像情報記憶部１１２は，カメラ２０の撮影により得られた被試験機７００の画像を正規化するために用いる正規化用リファレンス画像や，その位置などの情報を記憶する。
【００３８】
検査用リファレンス画像情報記憶部１１３は，正規化された被試験機７００の画像の検査処理に用いる検査用リファレンス画像や，その位置などの情報を記憶する。
【００３９】
テンプレート設定部１２は，外観検査制御装置１０による外観検査処理に用いるテンプレートを，あらかじめ登録する手段である。テンプレート設定部１２は，正規の位置，角度に配置された被試験機７００のサンプルをカメラ２０が撮像した画像を取得し，取得された画像からオペレータの指定に従ってテンプレートを作成し，テンプレート情報記憶部１１に記憶する。
【００４０】
図３は，本実施の形態による各リファレンス画像の例を示す図である。
【００４１】
図３において，検査対象リファレンス画像５０は，本実施の形態による外観検査の検査対象となる被試験機７００のサンプル画像である。検査対象リファレンス画像５０は，カメラ２０からみて正規の位置，角度に配置された被試験機７００のサンプルが，カメラ２０によって撮影された画像である。
【００４２】
図３において，到達検出用リファレンス画像５１は，後述の到達検出部１４による到達検出処理でテンプレートとして使用するために，検査対象リファレンス画像５０から切り出された画像である。本実施の形態では，検査対象リファレンス画像５０から，被試験機７００の検査面に１つしかない特徴的な部分の画像を切り出して，到達検出用リファレンス画像５１としている。到達検出用リファレンス画像５１としては，透視歪みにより変形しにくい絵柄が望ましい。
【００４３】
検査対象リファレンス画像５０から切り出された到達検出用リファレンス画像５１は，その位置情報と共に，テンプレート情報記憶部１１の到達検出用リファレンス画像情報記憶部１１１に記憶される。なお，本実施の形態では，到達検出用リファレンス画像５１の位置情報は，検査対象リファレンス画像５０の座標系における，到達検出用リファレンス画像５１の重心位置の座標値であるものとする。
【００４４】
図３において，正規化用リファレンス画像５２は，後述の検査対象画像正規化部１５による検査対象画像正規化処理でテンプレートとして使用するために，検査対象リファレンス画像５０から切り出された画像である。正規化用リファレンス画像５２としては，複数の画像の切り出しが行われる。本実施の形態では，検査対象リファレンス画像５０から，被試験機７００の検査面の四隅に近い部分の特徴的な４つの部分の画像を切り出して，正規化用リファレンス画像５２としている。複数の正規化用リファレンス画像５２は，画像正規化処理による正規化の精度を上げるために，できる限り互いに離れた位置の画像であることが望ましい。
【００４５】
図３において，正規化用リファレンス画像５２ａは，検査対象リファレンス画像５０から，被試験機７００の検査面右上隅近くの特徴的な部分の画像を切り出したものである。ここでは，正規化用リファレンス画像５２ａは，外観検査の目的となる，被試験機７００の検査面右上隅のラベル部分の画像を避けるように，切り出されている。正規化用リファレンス画像５２ｂは，検査対象リファレンス画像５０から，被試験機７００の検査面右下隅近くの特徴的な部分の画像を切り出したものである。正規化用リファレンス画像５２ｃは，検査対象リファレンス画像５０から，被試験機７００の検査面左上隅近くの特徴的な部分の画像を切り出したものである。正規化用リファレンス画像５２ｄは，検査対象リファレンス画像５０から，被試験機７００の検査面左下隅近くの特徴的な部分の画像を切り出したものである。なお，正規化用リファレンス画像５２の１つが，到達検出用リファレンス画像５１と同じ画像であってもよい。
【００４６】
検査対象リファレンス画像５０から切り出された各正規化用リファレンス画像５２は，その位置情報と共に，テンプレート情報記憶部１１の正規化用リファレンス画像情報記憶部１１２に記憶される。なお，本実施の形態では，正規化用リファレンス画像５２の位置情報は，検査対象リファレンス画像５０の座標系における，正規化用リファレンス画像５２の重心位置の座標値であるものとする。
【００４７】
図３において，検査用リファレンス画像５３は，後述の検査部１６による検査処理でテンプレートとして使用するために，検査対象リファレンス画像５０から切り出された画像である。本実施の形態では，検査対象リファレンス画像５０から，外観検査の対象であるラベルが取り付けられた，被試験機７００の検査面右上部分の画像を切り出して，検査用リファレンス画像５３としている。
【００４８】
検査対象リファレンス画像５０から切り出された検査用リファレンス画像５３は，その位置情報と共に，テンプレート情報記憶部１１の検査用リファレンス画像情報記憶部１１３に記憶される。なお，本実施の形態では，検査用リファレンス画像５３の位置情報は，検査対象リファレンス画像５０の座標系における，検査用リファレンス画像５３の重心位置の座標値であるものとする。
【００４９】
図２において，カメラ画像取得部１３は，カメラ２０の撮影により得られたカメラ画像を取得する。カメラ画像取得部１３は，カメラ画像のデータを，所定の縦・横の解像度でメモリに取り込む。カメラ画像のデータは，赤・青・緑の３種類のプレーンで保存される。
【００５０】
到達検出部１４は，取得されたカメラ画像に対する到達検出用リファレンス画像５１を用いたテンプレートマッチング（正規化相互相関法など）により，ベルトコンベア６００上の被試験機７００の所定位置への到達を検出する。
【００５１】
具体的には，到達検出部１４は，取得されたカメラ画像と，到達検出用リファレンス画像情報記憶部１１１に記憶された到達検出用リファレンス画像５１とについて，解像度を下げた画像を用意する。例えば，カメラ画像と到達検出用リファレンス画像５１の解像度が，本来の解像度の１／４に下げられる。
【００５２】
到達検出部１４は，解像度が下げられたカメラ画像に対する，解像度が下げられた到達検出用リファレンス画像５１を用いたテンプレートマッチングを行い，最大類似度と，最大類似度が得られた検出位置とを得る。最大類似度が得られた検出位置は，到達検出用リファレンス画像５１との類似度が最大となったカメラ画像の領域の重心位置である。
【００５３】
到達検出部１４は，得られた最大類似度が所定の閾値ＴＨ1 以上であり，かつその検出位置が所定の範囲内である場合に，ベルトコンベア６００上の被試験機７００が，外観検査を行う所定の位置に到達したと判定する。なお，所定の閾値ＴＨ1 としては，あらかじめ最適と考えられる値が設定されている。また，所定の範囲は，例えば，到達検出用リファレンス画像情報記憶部１１１に記憶された到達検出用リファレンス画像５１の位置を中心とした周辺の，あらかじめ設定された画素数の範囲などである。
【００５４】
本実施の形態の外観検査機では，到達検出部１４によるカメラ画像の監視により，被試験機７００の所定位置への到達を検出できるため，図１に示すような通過センサ５０４が不要となり，外観検査機の低価格化が図れる。
【００５５】
ここで，画像の解像度を下げてテンプレートマッチングを行うことの効果について，説明する。上述のように，到達検出部１４は，解像度を下げた画像を用いてテンプレートマッチングを行っている。
【００５６】
画像の解像度を下げると画像のデータ量が減るため，テンプレートマッチングの処理時間が短くなるという効果がある。また，画像の解像度を下げると，画像の微妙な形状の情報が欠落するため，カメラ画像に写った被試験機７００に微妙な歪みがあっても，その微妙な歪みが緩和されるという効果がある。
【００５７】
図４は，画像の解像度を下げてテンプレートマッチングを行うことの効果を説明する図である。
【００５８】
図４（Ａ）は，画像の解像度を下げた例を示す図である。図４（Ａ）において，左側の画像は，１／１の解像度の画像，すなわち本来の解像度の画像である。右側の画像は，左側の画像の解像度を１／４に下げた画像である。図４（Ａ）に示すように，左側の１／１解像度画像では細かいドットで表現された円弧の形状が，右側の１／４解像度画像ではごつごつとした大きなドットで大雑把に表現されるようになる。なお，図４（Ａ）では，比較のために，１／１解像度画像と１／４解像度画像の大きさを同じ大きさで提示している。
【００５９】
図４（Ｂ）は，画像の解像度を下げた例を模式的に示す。図４（Ｂ）において，左側の画像は，１／１の解像度の画像，すなわち本来の解像度の画像を模式的に示したものである。右側の画像は，左側の画像の解像度を１／４に下げた画像を模式的に示したものである。図４（Ｂ）に示すように，左側の１／１解像度の模式画像では画像に対して少し斜めに見えるハッチングの部分が，右側の１／４解像度画像では画像に対して平行に見えるようになる。
【００６０】
本実施の形態では，外観検査機に位置決め装置５０５がないので，ベルトコンベア６００上の被試験機７００が，必ずしもカメラ画像に正しい位置に正しい姿勢で写っているわけではない。そのため，カメラ２０に対する被試験機７００の位置や姿勢のずれによっては，登録された到達検出用リファレンス画像５１を用いたテンプレートマッチングでは，被試験機７００の所定位置への到達が検出できなくなってしまう可能性がある。この問題に対処するためには，被試験機７００の位置や姿勢のずれを少しずつ変えた到達検出用リファレンス画像５１を多数用意して，テンプレートマッチングを行う必要がある。
【００６１】
本実施の形態では，画像の解像度を下げることにより，カメラ画像上の被試験機７００の位置や姿勢のずれが緩和されるため，到達検出用リファレンス画像５１を用いたテンプレートマッチングによって，被試験機７００の所定位置への到達が検出しやすくなる。そのため，本実施の形態では，被試験機７００の位置や姿勢のずれを少しずつ変えた到達検出用リファレンス画像５１を多数用意する必要がない。
【００６２】
図２において，検査対象画像正規化部１５は，到達検出部１４によって被試験機７００の所定位置への到達が検出されたカメラ画像を検査対象画像として取得し，取得された検査対象画像の正規化を行う。
【００６３】
図５は，本実施の形態による検査対象画像の正規化を説明する図である。
【００６４】
図５（Ａ）は，被試験機７００の撮影のイメージである。上述したように，本実施の形態では，外観検査機に位置決め装置５０５がないので，図５（Ａ）に示すように，ベルトコンベア６００上の被試験機７００が，必ずしもカメラ２０の前を正規の位置，正規の姿勢で通過するわけではない。そのため，検査対象画像として得られた画像に写る被試験機７００は，正規の位置に，正規の姿勢で写っているとは限らない。
【００６５】
図５（Ｂ）は，検査対象画像６０を変換し，正規化画像７０を生成する例を示す。
【００６６】
図５（Ｂ）において，検査対象画像６０では，被試験機７００の検査面がカメラ２０に対して正面を向いていなかったために，被試験機７００の検査面が画像に対して歪んだ形で写っている。このままの検査対象画像６０に対して，検査用リファレンス画像５３を用いたテンプレートマッチングによる外観検査を行うと，外観検査の精度が低くなってしまう。
【００６７】
そのため，図５（Ｂ）に示すように，検査対象画像正規化部１５は，取得された検査対象画像６０を正規化する変換を行い，被試験機７００の検査面が画像に対して正規の位置に，正規の姿勢で写った正規化画像７０を生成する。
【００６８】
検査対象画像６０の変換には，検査対象リファレンス画像５０から切り出した正規化用リファレンス画像５２を用いる。図５（Ｂ）に示す検査対象リファレンス画像５０において，太線の枠で示された部分が，正規化用リファレンス画像５２として切り出された４つの領域である。本実施の形態では，それぞれの領域の重心位置が，各正規化用リファレンス画像５２の位置として登録される。
【００６９】
検査対象画像正規化部１５は，正規化用リファレンス画像５２ごとに，検査対象画像６０に対してテンプレートマッチングを行い，最も類似度が高い領域を検出する。図５（Ｂ）に示す検査対象画像６０において，点線の枠で示された部分が，テンプレートマッチングにより，４つの正規化用リファレンス画像５２との類似度が，それぞれ最も高かった４つの領域である。本実施の形態では，それぞれの領域の重心位置が，各正規化用リファレンス画像５２を用いたテンプレートマッチングの検出位置となる。
【００７０】
検査対象リファレンス画像５０は，被試験機７００が正規の位置に，正規の姿勢で写っている画像である。テンプレートマッチングにより得られた各検出位置が，それぞれ対応する正規化用リファレンス画像５２の登録位置となるように検査対象画像６０を変換することにより，被試験機７００が正規の位置に，正規の姿勢で写った正規化画像７０を生成することができる。
【００７１】
検査対象画像正規化部１５は，登録された各正規化用リファレンス画像５２の位置と，テンプレートマッチングにより得られた各検出位置とを用いて，検査対象画像６０の変換を行う。より具体的には，検査対象画像正規化部１５は，テンプレートマッチングにより得られた各検出位置が，それぞれ対応する正規化用リファレンス画像５２の登録位置となるような変換式を生成し，生成された変換式を用いて検査対象画像６０を正規化画像７０に変換する。
【００７２】
本実施の形態では，検査対象画像正規化部１５は，２段階の変換により，取得された検査対象画像６０から正規化画像７０を生成する。
【００７３】
図６は，本実施の形態による検査対象画像から２段階の変換により正規化画像を生成する例を説明する図である。
【００７４】
検査対象画像正規化部１５は，取得された検査対象画像６０と，登録された各正規化用リファレンス画像５２との解像度を下げた画像を生成する。ここでは，例えば，検査対象画像６０と，登録された各正規化用リファレンス画像５２とについて，それぞれ解像度が１／４に下げられた低解像度画像が生成されるものとする。
【００７５】
まず，第１段階として，検査対象画像正規化部１５は，１／４解像度の検査対象画像６０に対して，１／４解像度の各正規化用リファレンス画像５２を用いたテンプレートマッチングを行い，それぞれ最大の類似度が得られる位置を検出する。
【００７６】
上述したように，低解像度画像を用いたテンプレートマッチングは，結果として得られる検出位置の精度が，本来の画像を用いたテンプレートマッチングに劣るものの，扱うデータ量が少ないため，処理時間が短くて済むというメリットがある。また，上述したように，検査対象画像６０に写った被試験機７００の検査面が歪んでいても，低解像度画像ではその歪量が軽減されるため，テンプレートマッチングによって正規化用リファレンス画像５２に対応する検査対象画像６０上の領域が検出されやすくなる。
【００７７】
検査対象画像正規化部１５は，あらかじめ登録された各正規化用リファレンス画像５２の位置と，１／４解像度の各画像を用いたテンプレートマッチングの結果として得られた各検出位置との関係に基づいて，検査対象画像６０の変換を行う。この変換により，図６に示すような，準正規化画像６５が得られる。なお，変換が行われる検査対象画像６０は，本来の解像度（１／１解像度）の検査対象画像６０であり，結果として得られる準正規化画像６５の解像度も，検査対象画像６０の本来の解像度である。
【００７８】
準正規化画像６５では，図６に示すように，低解像度画像を用いたテンプレートマッチングの精度が少し低いために，写っている被試験機７００の検査面の状態が，完全に正規の状態であるとは言えないが，当初の検査対象画像６０に比べて正規の状態に近くなっている。
【００７９】
次に，第２段階として，検査対象画像正規化部１５は，第１段階の処理で生成された準正規化画像６５に対して，本来の解像度，すなわち１／１解像度の各正規化用リファレンス画像５２を用いたテンプレートマッチングを行い，それぞれ最大の類似度が得られる位置を検出する。
【００８０】
テンプレートマッチングで検出される各正規化用リファレンス画像５２との類似度が最大となる準正規化画像６５上の位置は，上述の第一段階の変換処理によって，あらかじめ登録された各正規化用リファレンス画像５２の位置の周辺になることがわかっている。そのため，検査対象画像正規化部１５は，第２段階の処理において，各正規化用リファレンス画像５２ごとに，それぞれの登録された位置の周辺に範囲を限って，テンプレートマッチングを行うことができる。
【００８１】
通常，１／１解像度の画像を用いたテンプレートマッチングは，低解像度画像を用いたテンプレートマッチングと比べて，処理負荷が高く，処理時間が長くなってしまう。しかし，本実施の形態の第２段階の処理では，テンプレートマッチングの範囲を限定することができるので，１／１解像度の画像を用いたテンプレートマッチングでも，処理時間が短くなる。
【００８２】
また，準正規化画像６５では，上述の第一段階の変換処理によって検査対象画像６０に写った被試験機７００の歪みがほぼ解消されている。そのため，テンプレートマッチングによる正規化用リファレンス画像５２に対応する準正規化画像６５上の領域の検出も，容易である。
【００８３】
検査対象画像正規化部１５は，あらかじめ登録された各正規化用リファレンス画像５２の位置と，１／１解像度の各画像を用いたテンプレートマッチングの結果として得られた各検出位置との関係に基づいて，準正規化画像６５の変換を行う。この変換により，図６に示すような，正規化画像７０が得られる。
【００８４】
正規化画像７０では，図６に示すように，本来の１／１解像度の画像を用いたテンプレートマッチングは精度が高いため，写っている被試験機７００の検査面の状態が，ほぼ正規の状態であると言える。
【００８５】
このように，本実施の形態では，テンプレートマッチングに用いる画像を解像度が低いものから高いものに変えながら，多段階に正規化変換を行うことにより，検査対象画像６０から正規化画像７０を得る。これにより，検査対象画像６０から正規化画像７０までの変換処理に要する時間を短縮することができる。また，低解像度の画像は歪みが緩和されるため，検査対象画像６０に写った被試験機７００の歪み状態に応じた多量の正規化用リファレンス画像５２を用意しなくても，テンプレートマッチングを行うことができる。
【００８６】
図２において，検査対象画像正規化部１５は，低解像度画像生成部１５１，テンプレート倍率取得部１５２，第一の画像比較部１５３，第一の正規化変換部１５４，第二の画像比較部１５５，第二の正規化変換部１５６を備える。
【００８７】
低解像度画像生成部１５１は，取得された検査対象画像６０，正規化用リファレンス画像情報記憶部１１２に記憶された各正規化用リファレンス画像５２について，それぞれ解像度を下げた画像を生成する。本実施の形態では，それぞれの画像の解像度を，元の解像度の１／４に下げるものとする。
【００８８】
テンプレート倍率取得部１５２は，テンプレートマッチング時に用いる正規化用リファレンス画像５２の拡縮の倍率を求める。カメラ２０に対する被試験機７００の距離に応じて，検査対象画像６０に写る被試験機７００の大きさも異なった大きさとなる。本実施の形態では，検査対象画像６０に写る被試験機７００の大きさに応じて正規化用リファレンス画像５２を拡縮することにより，正規化用リファレンス画像５２を用いたテンプレートマッチングの精度を上げる。
【００８９】
具体的には，テンプレート倍率取得部１５２は，検査対象画像６０上の，到達検出部１４により得られた検出位置において，到達検出用リファレンス画像５１の拡縮の倍率を少しずつ変更しながらテンプレートマッチングを行い，最も類似度が高いときの倍率を求める。例えば，テンプレート倍率取得部１５２は，最初に，±１０％の範囲で５％刻みで拡縮を行った到達検出用リファレンス画像５１を用いてテンプレートマッチングを行い，５％刻みで最適とする倍率をラフに求める。次に，テンプレート倍率取得部１５２は，５％刻みで最適とする倍率の近辺の±２％の範囲で１％刻みで拡縮を行った到達検出用リファレンス画像５１を用いてテンプレートマッチングを行い，最も類似度が高いときの倍率を求める。
【００９０】
第一の画像比較部１５３は，低解像度の検査対象画像６０に対して，低解像度の各正規化用リファレンス画像５２を用いたテンプレートマッチングを行い，各正規化用リファレンス画像５２に対応する検査対象画像６０上の領域の位置を取得する。
【００９１】
より具体的には，第一の画像比較部１５３は，例えば，１／４解像度の検査対象画像６０に対して，１／４解像度の各正規化用リファレンス画像５２を用いたテンプレートマッチングを行い，それぞれ最大の類似度と，その最大の類似度が得られる領域の位置とを取得する。
【００９２】
第一の正規化変換部１５４は，あらかじめ登録された各正規化用リファレンス画像５２の位置と，低解像度画像を用いたテンプレートマッチングの結果として得られた各位置との対応関係に基づいて，本来の解像度の検査対象画像６０を正規化する変換を行う。
【００９３】
より具体的には，第一の正規化変換部１５４は，あらかじめ登録された各正規化用リファレンス画像５２の位置と，それぞれ１／４解像度の画像を用いたテンプレートマッチングの結果として得られた各位置との対応関係から，正規化のための変換式を生成する。第一の正規化変換部１５４は，本来の解像度の検査対象画像６０の画素ごとに，生成された変換式にその位置を代入して位置変換を行うことにより，検査対象画像６０を正規化する。図６に示すような準正規化画像６５が得られる。
【００９４】
ここで，あらかじめ登録された正規化用リファレンス画像５２の位置と，各正規化用リファレンス画像５２を用いたテンプレートマッチングの結果として得られた位置との対応関係から，検査対象画像６０の変換に用いる変換式の生成方法の例を説明する。
【００９５】
ここでは，４つの正規化用リファレンス画像５２の位置と，４つの正規化用リファレンス画像５２を用いたテンプレートマッチングの結果としてそれぞれ得られた４つの位置との対応関係から，擬似アフィン変換により，検査対象画像６０が正規化変換されるものとする。擬似アフィン変換は，画像の平行移動，回転，拡大縮小，歪みの補正等をおこなう幾何学的な変換方式である。擬似アフィン変換は，次のような式（１），式（２）の擬似アフィン変換式で表される。
【００９６】
ｕ＝ａ1 ｘｙ＋ａ2 ｘ＋ａ3 ｙ＋ａ4 ・・・（１）
ｖ＝ｂ1 ｘｙ＋ｂ2 ｘ＋ｂ3 ｙ＋ｂ4 ・・・（２）
式（１），式（２）に示す擬似アフィン変換式において，（ｕ，ｖ）は変換後の位置座標であり，ａ1 〜ａ4 ，ｂ1 〜ｂ4 は係数である。係数ａ1 〜ａ4 ，ｂ1 〜ｂ4 は，４つの正規化用リファレンス画像５２の位置と，４つの正規化用リファレンス画像５２を用いたテンプレートマッチングの結果としてそれぞれ得られた４つの位置との対応関係から求められる。
【００９７】
図７は，本実施の形態による正規化用リファレンス画像の位置とテンプレートマッチングの結果として得られた位置の例を示す図である。
【００９８】
図７（Ａ）は，検査対象リファレンス画像５０上の正規化用リファレンス画像５２の位置を示す。図７（Ａ）において，太線の枠は，検査対象リファレンス画像５０から切り出された各正規化用リファレンス画像５２の領域を示す。正規化用リファレンス画像５２の領域の中心の点は，正規化用リファレンス画像５２の重心を示す。本実施の形態では，正規化用リファレンス画像５２の位置は，正規化用リファレンス画像５２の重心の位置で示される。
【００９９】
図７（Ａ）に示すように，検査対象リファレンス画像５０に写った被試験機７００の検査面の四隅から切り出された正規化用リファレンス画像５２の位置は，それぞれ（ｘ0 ，ｙ0 ），（ｘ1 ，ｙ1 ），（ｘ2 ，ｙ2 ），（ｘ3 ，ｙ3 ）である。
【０１００】
図７（Ｂ）は，テンプレートマッチングにより検査対象画像６０上から検出された，各正規化用リファレンス画像５２に対応する領域の位置を示す。図７（Ｂ）において，太線の枠は，検査対象画像６０上の，各正規化用リファレンス画像５２に対応する領域を示す。各正規化用リファレンス画像５２に対応する領域の中心の点は，各正規化用リファレンス画像５２に対応する領域の重心を示す。本実施の形態では，各正規化用リファレンス画像５２に対応する領域の位置は，各正規化用リファレンス画像５２に対応する領域の重心の位置で示される。
【０１０１】
図７（Ｂ）に示すように，検査対象画像６０上の，各正規化用リファレンス画像５２に対応する領域の位置は，それぞれ（ｕ0 ，ｖ0 ），（ｕ1 ，ｖ1 ），（ｕ2 ，ｖ2 ），（ｕ3 ，ｖ3 ）である。
【０１０２】
上記の式（１），式（２）に，（ｘ0 ，ｙ0 ），（ｘ1 ，ｙ1 ），（ｘ2 ，ｙ2 ），（ｘ3 ，ｙ3 ），（ｕ0 ，ｖ0 ），（ｕ1 ，ｖ1 ），（ｕ2 ，ｖ2 ），（ｕ3 ，ｖ3 ）を代入すると，Ｘ成分，Ｙ成分ごとに，それぞれ４つの式からなる連立方程式が得られる。
【０１０３】
Ｘ成分：
ｕ0 ＝ａ1 ｘ0 ｙ0 ＋ａ2 ｘ0 ＋ａ3 ｙ0 ＋ａ4
ｕ1 ＝ａ1 ｘ1 ｙ1 ＋ａ2 ｘ1 ＋ａ3 ｙ1 ＋ａ4
ｕ2 ＝ａ1 ｘ2 ｙ2 ＋ａ2 ｘ2 ＋ａ3 ｙ2 ＋ａ4
ｕ3 ＝ａ1 ｘ3 ｙ3 ＋ａ2 ｘ3 ＋ａ3 ｙ3 ＋ａ4
Ｙ成分：
ｖ0 ＝ｂ1 ｘ0 ｙ0 ＋ｂ2 ｘ0 ＋ｂ3 ｙ0 ＋ｂ4
ｖ1 ＝ｂ1 ｘ1 ｙ1 ＋ｂ2 ｘ1 ＋ｂ3 ｙ1 ＋ｂ4
ｖ2 ＝ｂ1 ｘ2 ｙ2 ＋ｂ2 ｘ2 ＋ｂ3 ｙ2 ＋ｂ4
ｖ3 ＝ｂ1 ｘ3 ｙ3 ＋ｂ2 ｘ3 ＋ｂ3 ｙ3 ＋ｂ4
これらのＸ成分，Ｙ成分ごとの連立方程式を解くことにより，式（１）の係数ａ1 ，ａ2 ，ａ3 ，ａ4 ，式（２）の係数ｂ1 ，ｂ2 ，ｂ3 ，ｂ4 が得られる。
【０１０４】
例えば，上記のＸ成分における連立方程式から，次の行列式が生成できる。
【０１０５】
【数１】
【０１０６】
このような行列式の解は，例えば，ピポット選択法で求められる。
【０１０７】
図８は，ピポット選択法で連立方程式の解を求めるプログラムの例である。
【０１０８】
図８に示すプログラムにおいて，a[i][4] が，求められた４つの解，すなわち式（１）の係数ａ1 ，ａ2 ，ａ3 ，ａ4 となる。
【０１０９】
図２において，第二の画像比較部１５５は，準正規化画像６５に対して，本来の解像度の各正規化用リファレンス画像５２を用いたテンプレートマッチングを行い，各正規化用リファレンス画像５２に対応する準正規化画像６５上の領域の位置を取得する。準正規化画像６５は，第一の正規化変換部１５４により正規化された検査対象画像６０である。
【０１１０】
より具体的には，第二の画像比較部１５５は，例えば，１／１解像度である準正規化画像６５に対して，１／１解像度の各正規化用リファレンス画像５２を用いたテンプレートマッチングを行い，それぞれ最大の類似度と，その最大の類似度が得られる領域の位置とを取得する。
【０１１１】
第二の正規化変換部１５６は，あらかじめ登録された各正規化用リファレンス画像５２の位置と，本来の解像度の画像を用いたテンプレートマッチングの結果として得られた各位置との対応関係に基づいて，本来の解像度の準正規化画像６５をさらに正規化する変換を行う。
【０１１２】
より具体的には，第二の正規化変換部１５６は，あらかじめ登録された各正規化用リファレンス画像５２の位置と，それぞれ１／１解像度の画像を用いたテンプレートマッチングの結果として得られた各位置との対応関係から，正規化のための変換式を生成する。第二の正規化変換部１５６は，本来の解像度の準正規化画像６５の画素ごとに，生成された変換式にその位置を代入して位置変換を行うことにより，準正規化画像６５を正規化する。図６に示すような正規化画像７０が得られる。
【０１１３】
このようにして検査対象画像正規化部１５により得られた正規化画像７０は，検査対象リファレンス画像５０に写っている被試験機７００と，ほぼ同じ位置に，同じ姿勢で被試験機７００が写った画像となる。すなわち，本実施の形態の検査対象画像正規化部１５により，位置決め装置５０５がなくても，正規の位置に，正規の姿勢で被試験機７００が写った画像が得られることになる。
【０１１４】
検査部１６は，正規化画像７０に対する，あらかじめ登録された検査用リファレンス画像５３を用いたテンプレートマッチングを行うことにより，被試験機７００の検査を行う。正規化画像７０は，検査対象画像正規化部１５により正規化された検査対象画像６０である。
【０１１５】
より具体的には，検査部１６は，正規化画像７０に対して，検査用リファレンス画像情報記憶部１１３に記憶された検査用リファレンス画像５３を用いたテンプレートマッチングを行い，最大の類似度を得る。検査部１６は，得られた最大の類似度が所定のＴＨ4 以上であれば，検査結果がＯＫであると判定し，得られた最大の類似度が所定のＴＨ4 に満たなければ，検査結果がＮＧであると判定する。なお，所定の閾値ＴＨ4 としては，あらかじめ最適と考えられる値が設定されている。
【０１１６】
検査部１６によるテンプレートマッチングは，正規化画像７０上の，検査用リファレンス画像情報記憶部１１３に記憶された検査用リファレンス画像５３の位置の周辺に範囲を限って行われる。検査部１６による検査では，被試験機７００の検査面において，あるべき物があるべき位置にきちんと取り付けられているかが，検査される。検査用リファレンス画像５３は，被試験機７００の検査面において，あるべき位置にあるべき物の画像である。すなわち，正規化画像７０上の，あらかじめ登録された検査用リファレンス画像５３の位置の周辺から，検査用リファレンス画像５３と高い類似度でマッチする領域が得られなければ，正規化画像７０に写った被試験機７００には，あるべき物があるべき位置に取り付けられていないと判断できる。
【０１１７】
このように，本実施の形態による検査部１６では，正規化された検査対象画像６０に対するテンプレートマッチングにより検査を行うので，検査用リファレンス画像５３は，正規の姿勢で画像に写る被試験機７００に対するものだけを用意すればよい。
【０１１８】
正規化されていない検査対象画像６０に対して検査を行うのであれば，姿勢が少しずつ異なる被試験機７００ごとの検査用リファレンス画像５３を多数用意し，用意されたすべての検査用リファレンス画像５３についてテンプレートマッチングを行う必要がある。この場合には，多数の検査用リファレンス画像５３の記憶領域も大きくなり，また，検査のためのテンプレートマッチングの処理時間も非常に長くなってしまう。
【０１１９】
これに対して，本実施の形態による検査部１６では，正規化された検査対象画像６０を用いて検査を行うので，検査用リファレンス画像５３も正規の姿勢の被試験機７００に対するものだけでよくなり，記憶領域も少なくて済み，検査の処理時間も短くて済む。
【０１２０】
以上説明した本実施の形態による外観検査制御装置１０により，ガイドやロボット等の位置決め装置５０５を使わなくても，被試験機７００の位置や姿勢のバラツキの影響を受けない外観検査が可能となる。
【０１２１】
ガイド等の位置決め装置５０５を使用する必要がなくなるため，被試験機７００の位置決めのために，被試験機７００にキズ等のダメージを与えることがなくなる。また，ロボット等の位置決め装置５０５を使用する必要がなくなるため，設備が簡素となり，外観検査機の低価格化が可能となる。また，被試験機７００の設置において，被試験機７００の位置や姿勢を整えるための微調整が必要なくなるため，作業者の負担も軽減される。
【０１２２】
以下，図９〜図１２を用いて，本実施の形態の外観検査制御装置１０による各処理の流れを説明する。
【０１２３】
図９は，本実施の形態の外観検査制御装置の到達検出部による到達検出処理フローチャートである。
【０１２４】
外観検査制御装置１０において，到達検出部１４は，カメラ２０の撮影により得られたカメラ画像を取得する（ステップＳ１０）。
【０１２５】
到達検出部１４は，取得されたカメラ画像と，到達検出用リファレンス画像情報記憶部１１１に記憶された到達検出用リファレンス画像５１とについて，それぞれ解像度を下げた画像を生成する（ステップＳ１１）。ここでは，各画像の解像度が，１／４に下げられたものとする。
【０１２６】
到達検出部１４は，解像度を下げたカメラ画像に対する，解像度を下げた到達検出用リファレンス画像５１を用いたテンプレートマッチングを行う（ステップＳ１２）。到達検出部１４は，テンプレートマッチングの結果として，最大の類似度と，最大の類似度が検出されたカメラ画像上の領域の位置とを得る。
【０１２７】
到達検出部１４は，テンプレートマッチングにより得られた最大の類似度が，所定の閾値ＴＨ1 以上であるかを判定する（ステップＳ１３）。また，到達検出部１４は，最大の類似度が検出されたカメラ画像上の領域の位置が，到達検出用リファレンス画像情報記憶部１１１に記憶された到達検出用リファレンス画像５１の位置の周辺の，所定の範囲内であるかを判定する（ステップＳ１４）。
【０１２８】
最大の類似度が所定の閾値ＴＨ1 以上でない場合（ステップＳ１３のＮＯ），または最大の類似度が検出された位置が所定の範囲内でない場合には（ステップＳ１４のＮＯ），到達検出部１４は，ステップＳ１０に戻り，次のカメラ画像の処理に移る。
【０１２９】
最大の類似度が所定の閾値ＴＨ1 以上であり（ステップＳ１３のＹＥＳ），かつ最大の類似度が検出された位置が所定の範囲内である場合には（ステップＳ１４のＹＥＳ），到達検出部１４は，検査対象である被試験機７００が所定の位置に到達したと判定する（ステップＳ１５）。到達検出部１４は，検査対象が所定の位置に到達したと判定されたカメラ画像を，検査対象が写った検査対象画像６０として，次の検査対象画像正規化部１５による検査対象画像正規化処理に渡す。
【０１３０】
図１０，図１１は，本実施の形態の外観検査制御装置の検査対象画像正規化部による検査対象画像正規化処理フローチャートである。
【０１３１】
外観検査制御装置１０の検査対象画像正規化部１５において，低解像度画像生成部１５１は，到達検出部１４により得られた検査対象画像６０について，解像度を下げた低解像度画像を生成する（ステップＳ２０）。また，低解像度画像生成部１５１は，正規化用リファレンス画像情報記憶部１１２に記憶された各正規化用リファレンス画像５２について，解像度を下げた低解像度画像を生成する（ステップＳ２０）。ここでは，各画像の解像度が，１／４に下げられたものとする。
【０１３２】
低解像度画像生成部１５１は，１／４解像度の検査対象画像６０について，検査対象が写っていると想定される領域以外の一部をカットし，検査範囲画像を生成する（ステップＳ２１）。例えば，図５（Ｂ）に示すような検査対象画像６０において，あらかじめ検査対象である被試験機７００が画像に対して横長に写っていると分かっている場合には検査対象画像６０の上端の領域と下端の領域には，被試験機７００が写っていないと想定される。このとき，検査対象である被試験機７００が写っていないと想定される領域をカットしておけば，後のテンプレートマッチングの探索範囲が小さくなるため，テンプレートマッチングの処理時間が短くなる。
【０１３３】
テンプレート倍率取得部１５２は，検査対象画像６０上の到達検出部１４による検出位置において，±１０％の範囲で５％刻みで拡縮を行った到達検出用リファレンス画像５１を用いてテンプレートマッチングを行う（ステップＳ２２）。テンプレートマッチングの結果として，５％単位で最適とする倍率が得られる。また，テンプレート倍率取得部１５２は，検査対象画像６０上の到達検出部１４による検出位置において，５％単位で最適とする倍率の近辺の±２％の範囲で１％刻みで拡縮を行った到達検出用リファレンス画像５１を用いてテンプレートマッチングを行う（ステップＳ２３）。テンプレートマッチングの結果として，１％単位で最適とする倍率が得られる。得られた１％単位の倍率が，正規化用リファレンス画像５２の拡縮倍率となる。
【０１３４】
第一の画像比較部１５３は，カウンタｎを初期化する（ステップＳ２４）。
【０１３５】
第一の画像比較部１５３は，１／４解像度の検査対象画像６０から得られた検査範囲画像に対して，ｎ番目の１／４解像度の正規化用リファレンス画像５２を用いたテンプレートマッチングを行う（ステップＳ２５）。第一の画像比較部１５３は，テンプレートマッチングの結果として，最大の類似度を得る。なお，テンプレートマッチングで用いられる１／４解像度の正規化用リファレンス画像５２は，ステップＳ２３で得られた拡縮倍率で拡縮された画像である。
【０１３６】
第一の画像比較部１５３は，テンプレートマッチングにより得られた最大の類似度が，所定の閾値ＴＨ2 以上であるかを判定する（ステップＳ２６）。所定の閾値ＴＨ2 としては，あらかじめ最適と考えられる値が設定されている。
【０１３７】
最大の類似度が所定の閾値ＴＨ2 以上でない場合には（ステップＳ２６のＮＯ），第一の画像比較部１５３は，テンプレートマッチングに失敗したものと判断し（ステップＳ２７），処理を終了する。このとき，外観検査制御装置１０は，例えば，表示装置４０に出力するなどにより，オペレータに対して検査対象画像６０の正規化に失敗した旨を通知する。
【０１３８】
最大の類似度が所定の閾値ＴＨ2 以上である場合には（ステップＳ２６のＹＥＳ），第一の画像比較部１５３は，テンプレートマッチングによって最大の類似度が検出された領域の位置を取得する（ステップＳ２８）。
【０１３９】
第一の画像比較部１５３は，カウンタｎをインクリメントする（ステップＳ２９）。第一の画像比較部１５３は，カウンタｎの値が４より大きいかを判定する（ステップＳ３０）。
【０１４０】
カウンタｎの値が４より小さければ（ステップＳ３０のＮＯ），第一の画像比較部１５３は，ステップＳ２５に戻り，次の正規化用リファレンス画像５２の処理に移る。
【０１４１】
カウンタｎの値が４より大きければ（ステップＳ３０のＹＥＳ），すなわちカウンタｎの値が５であれば，第一の画像比較部１５３は，４つすべての正規化用リファレンス画像５２について，テンプレートマッチングが終了したと判断する。
【０１４２】
第一の正規化変換部１５４は，正規化用リファレンス画像情報記憶部１１２に記憶された４つの正規化用リファレンス画像５２の位置と，テンプレートマッチングにより検出された４つの位置との関係に基づいて，擬似アフィン変換による検査対象画像６０の正規化変換を行う（ステップＳ３１）。ここでは，低解像度の正規化用リファレンス画像５２を用いたテンプレートマッチングの結果により得られた，正規化された検査対象画像６０を，準正規化画像６５と呼ぶ。なお，ステップＳ３１において，擬似アフィン変換により，正規化変換される検査対象画像６０は，１／１解像度，すなわち本来の解像度の検査対象画像である。
【０１４３】
第二の画像比較部１５５は，カウンタｎを初期化する（ステップＳ３２）。
【０１４４】
第二の画像比較部１５５は，ステップＳ３１で正規化された検査対象画像６０，すなわち準正規化画像６５に対して，正規化用リファレンス画像情報記憶部１１２に記憶されたｎ番目の正規化用リファレンス画像５２を用いたテンプレートマッチングを行う（ステップＳ３３）。第二の画像比較部１５５は，テンプレートマッチングの結果として，最大の類似度を得る。なお，テンプレートマッチングで用いられる正規化用リファレンス画像５２は，１／１解像度，すなわち本来の解像度の正規化用リファレンス画像５２である。また，テンプレートマッチングで用いられる正規化用リファレンス画像５２は，ステップＳ２３で得られた拡縮倍率で拡縮された画像である。
【０１４５】
第二の画像比較部１５５は，テンプレートマッチングにより得られた最大の類似度が，所定の閾値ＴＨ3 以上であるかを判定する（ステップＳ３４）。所定の閾値ＴＨ3 としては，あらかじめ最適と考えられる値が設定されている。
【０１４６】
最大の類似度が所定の閾値ＴＨ3 以上でない場合には（ステップＳ３４のＮＯ），第二の画像比較部１５５は，テンプレートマッチングに失敗したものと判断し（ステップＳ３５），処理を終了する。このとき，外観検査制御装置１０は，例えば，表示装置４０に出力するなどにより，オペレータに対して検査対象画像６０の正規化に失敗した旨を通知する。
【０１４７】
最大の類似度が所定の閾値ＴＨ3 以上である場合には（ステップＳ３４のＹＥＳ），第二の画像比較部１５５は，テンプレートマッチングによって最大の類似度が検出された領域の位置を取得する（ステップＳ３６）。
【０１４８】
第二の画像比較部１５５は，カウンタｎをインクリメントする（ステップＳ３７）。第二の画像比較部１５５は，カウンタｎの値が４より大きいかを判定する（ステップＳ３８）。
【０１４９】
カウンタｎの値が４より小さければ（ステップＳ３８のＮＯ），第二の画像比較部１５５は，ステップＳ３３に戻り，次の正規化用リファレンス画像５２の処理に移る。
【０１５０】
カウンタｎの値が４より大きければ（ステップＳ３８のＹＥＳ），すなわちカウンタｎの値が５であれば，第二の画像比較部１５５は，４つすべての正規化用リファレンス画像５２について，テンプレートマッチングが終了したと判断する。
【０１５１】
第二の正規化変換部１５６は，正規化用リファレンス画像情報記憶部１１２に記憶された４つの正規化用リファレンス画像５２の位置と，テンプレートマッチングにより検出された４つの位置との関係に基づいて，擬似アフィン変換による準正規化画像６５の正規化変換を行う（ステップＳ３９）。ここで得られた画像が，検査対象画像６０の正規化の最終結果である正規化画像７０となる。
【０１５２】
検査対象画像正規化部１５は，最終的な検査対象画像６０が正規化された画像，すなわち正規化画像７０を，次の検査部１６による検査処理に渡す。
【０１５３】
図１２は，本実施の形態の外観検査制御装置の検査部による検査処理フローチャートである。
【０１５４】
外観検査制御装置１０において，検査部１６は，検査対象画像正規化部１５により得られた正規化画像７０から，検査画像を切り出す（ステップＳ４０）。検査画像としては，検査用リファレンス画像情報記憶部１１３に記憶された検査用リファレンス画像５３の位置の周辺の領域が切り出される。
【０１５５】
検査部１６は，正規化画像７０から切り出された検査画像に対して，検査用リファレンス画像情報記憶部１１３に記憶された検査用リファレンス画像５３を用いたテンプレートマッチングを行う（ステップＳ４１）。検査部１６は，テンプレートマッチングの結果として，最大の類似度を得る。
【０１５６】
検査部１６は，テンプレートマッチングにより得られた最大の類似度が，所定の閾値ＴＨ4 以上であるかを判定する（ステップＳ４２）。
【０１５７】
最大の類似度が所定の閾値ＴＨ4 以上である場合には（ステップＳ４２のＹＥＳ），検査部１６は，検査結果がＯＫであると判定する（ステップＳ４３）。
【０１５８】
最大の類似度が所定の閾値ＴＨ4 以上でない場合には（ステップＳ４２のＮＯ），検査部１６は，検査結果がＮＧであると判定する（ステップＳ４４）。
【０１５９】
検査部１６は，このような検査処理を，検査の目的とするマークや部品などの数の分だけ，繰り返す。
【０１６０】
以上説明した本実施の形態の外観検査制御装置１０による処理は，コンピュータが備えるＣＰＵ，メモリ等のハードウェアとソフトウェアプログラムとにより実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【０１６１】
以上，本実施の形態について説明したが，本発明はその主旨の範囲において種々の変形が可能であることは当然である。
【０１６２】
例えば，本実施の形態では，検査対象画像正規化部１５が，４つの正規化用リファレンス画像５２を用いてテンプレートマッチングを行い，得られた４点の座標を用いた擬似アフィン変換により，検査対象画像６０を正規化している。例えば，検査対象画像正規化部１５が，３つの正規化用リファレンス画像５２を用いてテンプレートマッチングを行い，得られた３点の座標を用いたアフィン変換により，検査対象画像６０を正規化するようにしてもよい。アフィン変換では，画像の平行移動，回転，拡大・縮小が可能である。擬似アフィン変換を用いることによって，画像の平行移動，回転，拡大・縮小だけでなく，画像の歪みの補正も可能となる。
【０１６３】
また，例えば，本実施の形態では，検査対象画像正規化部１５が，１／４解像度画像を用いたテンプレートマッチングの結果と，１／１解像度画像を用いたテンプレートマッチングの結果とを用いた２段階の正規化変換により，最終的な正規化画像７０が生成している。検査対象画像正規化部１５が，解像度が低い画像から順に用いたテンプレートマッチングの結果を用いて，３段階以上の正規化変換により，最終的な正規化画像７０を生成するようにしてもよい。たとえば，１／４解像度，１／２解像度といったように，段階的に画像の解像度を上げながら第一の画像比較部１５３，第一の正規化変換部１５４による処理を繰り返し，その最後に１／１解像度画像を用いた第二の画像比較部１５５，第二の正規化変換部１５６による処理を行うようにしてもよい。
【符号の説明】
【０１６４】
１０ 外観検査制御装置
１１ テンプレート情報記憶部
１１１ 到達検出用リファレンス画像情報記憶部
１１２ 正規化用リファレンス画像情報記憶部
１１３ 検査用リファレンス画像情報記憶部
１２ テンプレート設定部
１３ カメラ画像取得部
１４ 到達検出部
１５ 検査対象画像正規化部
１５１ 低解像度画像生成部
１５２ テンプレート倍率取得部
１５３ 第一の画像比較部
１５４ 第一の正規化変換部
１５５ 第二の画像比較部
１５６ 第二の正規化変換部
１６ 検査部
２０ カメラ
３０ 照明
４０ 表示装置
４５ 入力装置
【技術分野】
【０００１】
本発明は，検査対象の視覚的な検査である外観検査を行う外観検査装置，外観検査方法および外観検査プログラムに関するものである。
【背景技術】
【０００２】
例えば，製品の製造工程などにおいて，製品などに対するマークや部品などの取り付け状況を，視覚的に検査する外観検査が行われている。
【０００３】
外観検査を行う外観検査機は，例えば，ベルトコンベア上を流れる製品をカメラで撮影し，製品のカメラ画像を取得する。外観検査機には，製品の良・不良を判定するための，検査の目的とするマークや部品などの画像があらかじめ登録されている。外観検査機は，取得されたカメラ画像と登録された画像とを比較することにより，製品の良・不良を判定する。
【０００４】
なお，サイズや回転角度を変えたテンプレート群を用いて，サイズや角度が変化する対象物の位置を計測する技術が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−５２５９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の外観検査機において，精度が高い検査を行うためには，検査対象の製品がカメラに対して所定の位置に所定の姿勢で撮影される必要がある。検査対象の製品がカメラに対して所定の位置，所定の姿勢にない場合には，外観検査機にあらかじめ登録された良否判定のための画像と，異なる大きさや姿勢で製品が写った画像が撮影される。このような場合には，外観検査機は，あらかじめ登録された良否判定のための画像を用いて正しい判定を行うことができなくなってしまう。
【０００７】
カメラで撮影する製品の位置や姿勢を所定の状態に整えるためには，例えば，ベルトコンベア上を流れる製品を誘導するガイドや，製品を強制的に所定の位置にずらすロボットなどの位置決め装置を用いる方法が考えられる。
【０００８】
しかし，ガイドなどの位置決め装置を用いる方法では，接触により，検査対象の製品にキズ等のダメージを与える可能性がある。また，ロボットなどの位置決め装置を用いる方法では，設備が大掛かりとなるため，外観検査機の費用が高額となる。
【０００９】
また，位置決め装置を用いずに，上記のサイズや回転角度を変えたテンプレート群を用いてサイズや角度が変化する対象物の位置を計測する技術の適用を考えても，テンプレートの数の多さから，処理時間が長くかかってしまうという問題がある。撮影された画像に写る製品の位置や姿勢の歪量によっては，テンプレートマッチングで位置検出ができないケースも考えられる。このようなケースを考慮して，変形した製品画像のテンプレートをあらかじめ準備するとなると，膨大な量のテンプレートが必要となり，テンプレートマッチングの処理時間も非常に長くなってしまう。このような外観検査は，あまり実用的な検査とは言えない。
【００１０】
本発明は，上記の問題の解決を図り，検査対象の位置決めの装置を用いなくても，また多量のテンプレートを用いたマッチング処理を行わなくても，精度の高い外観検査を行うことが可能となる技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
カメラにより撮影された検査対象の画像である検査対象画像を用いて，検査対象を視覚的に検査する外観検査装置は，複数の正規化用リファレンス画像と，その正規化用リファレンス画像の位置と，検査用リファレンス画像と，その検査用リファレンス画像の位置とが記憶された記憶部と，解像度が下げられた検査対象画像上の，解像度が下げられた記憶部に記憶された正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第一の画像比較部と，記憶部に記憶された正規化用リファレンス画像の位置と，第一の画像比較部により検出された位置との関係に基づいて，検査対象画像を正規化する変換を行う第一の変換部と，第一の変換部により変換された検査対象画像上の，記憶部に記憶された正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第二の画像比較部と，記憶部に記憶された正規化用リファレンス画像の位置と，第二の画像比較部により検出された位置との関係に基づいて，第一の変換部により変換された検査対象画像をさらに正規化する変換を行う第二の変換部と，第二の変換部により変換された検査対象画像上の，記憶部に記憶された検査用リファレンス画像の位置の周辺の所定範囲から，記憶部に記憶された検査用リファレンス画像との類似度が所定の閾値以上である領域が検出されるか否かを判定する検査部とを備える。
【発明の効果】
【００１２】
上記の技術によって，検査対象の位置決めの装置を用いなくても，また多量のテンプレートを用いたマッチング処理を行わなくても，精度が高い外観検査を行うことができるようになる。
【００１３】
検査対象の位置決めの装置を用いないので，位置決めの装置によって検査対象を傷つけることもなく，位置決めの装置のために高い費用をかける必要もない。
【００１４】
また，多量のテンプレートを用いたマッチング処理を行わないので，テンプレートの記憶領域も少なくて済み，処理時間も短く済む。
【図面の簡単な説明】
【００１５】
【図１】位置決め装置を備える外観検査機の構成例を示す図である。
【図２】本実施の形態による外観検査機の構成例を示す図である。
【図３】本実施の形態による各リファレンス画像の例を示す図である。
【図４】画像の解像度を下げてテンプレートマッチングを行うことの効果を説明する図である。
【図５】本実施の形態による検査対象画像の正規化を説明する図である。
【図６】本実施の形態による検査対象画像から２段階の変換により正規化画像を生成する例を説明する図である。
【図７】本実施の形態による正規化用リファレンス画像の位置とテンプレートマッチングの結果として得られた位置の例を示す図である。
【図８】ピポット選択法で連立方程式の解を求めるプログラムの例である。
【図９】本実施の形態の外観検査制御装置の到達検出部による到達検出処理フローチャートである。
【図１０】本実施の形態の外観検査制御装置の検査対象画像正規化部による検査対象画像正規化処理フローチャートである。
【図１１】本実施の形態の外観検査制御装置の検査対象画像正規化部による検査対象画像正規化処理フローチャートである。
【図１２】本実施の形態の外観検査制御装置の検査部による検査処理フローチャートである。
【発明を実施するための形態】
【００１６】
以下，本実施の形態について，図を用いて説明する。
【００１７】
図１は，位置決め装置を備える外観検査機の構成例を示す図である。
【００１８】
図１に示す外観検査機は，ベルトコンベア６００で流れてくる被試験機７００を，外面から視覚的に検査する装置である。外観検査では，被試験機７００に取り付けられたラベル，部品などの有無や取り付け位置などの検査が行われ，被試験機７００の良・不良の判定が行われる。
【００１９】
図１に示す外観検査機は，制御装置５０１，カメラ５０２，照明５０３，通過センサ５０４，位置決め装置５０５を備える。
【００２０】
カメラ５０２は，所定の位置を通過する被試験機７００の検査面を撮像する。照明５０３は，被試験機７００の所定の通過位置を照らす。通過センサ５０４は，被試験機７００の通過を検知する光電センサである。
【００２１】
制御装置５０１は，外観検査機の制御を行うコンピュータである。制御装置５０１には，被試験機７００の良・不良を判定するための，被試験機７００に取り付けられたラベルや部品などの画像が，あらかじめ登録されている。検査時において，制御装置５０１は，カメラ５０２からの入力画像とあらかじめ登録された画像とを比較することにより，被試験機７００の良・不良を判定する。
【００２２】
図１において，外観検査機では，被試験機７００が所定の位置に到達したことを通過センサ５０４により検出し，そのタイミングで，カメラ５０２が被試験機７００の撮影を行う。外観検査機では，制御装置５０１が，カメラ５０２の撮像画像とあらかじめ登録された画像とを比較して，被試験機７００の良・不良判定を行う。
【００２３】
位置決め装置５０５は，被試験機７００が外観検査機に対して所定の位置，所定の姿勢になるように，被試験機７００の位置や姿勢を補正する機構である。図１の例に示す位置決め装置５０５は，ベルトコンベア６００上を流れる被試験機７００を，ガイドによって強制的に所定の位置に誘導するガイド機構である。図１に示すようなガイド機構の位置決め装置５０５を用いる方法以外にも，位置決め装置５０５としてロボット等を使い，被試験機７００を一定方向から押して強制的に所定の位置にずらす方法などがある。
【００２４】
図１にしめす被試験機７００ｂ，７００ｃのように，ベルトコンベア６００上を流れてくる被試験機７００は，必ずしも正しい位置，正しい姿勢で流れてくるわけではない。そのため，図１の被試験機７００ａに示すように，外観検査機は，位置決め装置５０５により被試験機７００と外観検査機との位置関係を整えて，外観検査を行う。
【００２５】
位置決め装置５０５を使用しない場合には，外観検査機にあらかじめ登録された被試験機７００の良・不良を判定するための画像と異なるサイズの被試験機７００の画像が撮影されてしまい，正しい判定ができなくなってしまうことがある。位置決め装置５０５を使わずに，作業者が被試験機７００を所定の位置に設置する場合には，個人差による設置バラツキによって，検査判定の精度が低下してしまう。また，被試験機７００の重量が重い場合などには，作業者の作業負担が大きくなってしまう。
【００２６】
しかし，外観検査機に位置決め装置５０５を使用する場合にも，問題がある。例えば，位置決め装置５０５として図１に示すようなガイドを使用する場合には，ガイドとの接触によって被試験機７００の位置・姿勢を変えるため，被試験機７００にキズ等のダメージを与えてしまう可能性がある。また，位置決め装置５０５としてロボット等を使用すると，外観検査機の設備が大掛かりとなり，費用が高額となる。
【００２７】
以下では，ガイド，ロボット等の位置決め装置５０５がなくても，精度が高い被試験機７００の外観検査を行うことが可能となる，本実施の形態による外観検査機について，説明する。
【００２８】
図２は，本実施の形態による外観検査機の構成例を示す図である。
【００２９】
図２に示す本実施の形態による外観検査機が，図１において，制御装置５０１，カメラ５０２，照明５０３，通過センサ５０４，位置決め装置５０５を備える外観検査機に代わって設置されるものとする。
【００３０】
図２に示す本実施の形態による外観検査機は，外観検査制御装置１０，カメラ２０，照明３０，表示装置４０，入力装置４５を備える。
【００３１】
カメラ２０は，ベルトコンベア６００上の所定位置の被試験機７００を撮影する。照明３０は，所定位置の被試験機７００を照らす。図２に示す外観検査機におけるカメラ２０と照明３０とは，図１に示すカメラ５０２と照明５０３と同じものであってもよい。表示装置４０は，オペレータに対して外観検査の結果等の情報を表示する，ディスプレイ等の装置である。入力装置４５は，オペレータが外観検査制御装置１０への操作，入力を行う装置である。
【００３２】
外観検査制御装置１０は，カメラ２０により撮影された被試験機７００の画像を用いて，被試験機７００の外観検査を行うコンピュータである。外観検査制御装置１０は，テンプレート情報記憶部１１，テンプレート設定部１２，カメラ画像取得部１３，到達検出部１４，検査対象画像正規化部１５，検査部１６を備える。外観検査制御装置１０が備える各機能部は，外観検査制御装置１０のコンピュータが備えるＣＰＵ（Central Processing Unit ），メモリ，ＨＤＤ（Hard Disk Drive ）等のハードウェアとソフトウェアプログラムとにより実現される。
【００３３】
テンプレート情報記憶部１１は，あらかじめ登録されたテンプレートの情報を記憶する，コンピュータがアクセス可能な記憶装置である。
【００３４】
本実施の形態によるテンプレート情報記憶部１１には，それぞれの用途に応じた３種類のテンプレート，すなわち到達検出用リファレンス画像，正規化用リファレンス画像，検査用リファレンス画像が記憶されている。３種類のテンプレートは，外観検査制御装置１０のＨＤＤに保存されているが，処理時間の高速化のために，外観検査制御のソフトウェア起動と同時にメモリに転記される。外観検査制御装置１０は，到達検出用リファレンス画像，正規化用リファレンス画像，検査用リファレンス画像をテンプレートとして，被試験機７００の外観検査を行う。
【００３５】
テンプレート情報記憶部１１は，到達検出用リファレンス画像情報記憶部１１１，正規化用リファレンス画像情報記憶部１１２，検査用リファレンス画像情報記憶部１１３を備える。
【００３６】
到達検出用リファレンス画像情報記憶部１１１は，ベルトコンベア６００上の被試験機７００が所定の位置に到達したかを判定するために用いる到達検出用リファレンス画像や，その位置などの情報を記憶する。
【００３７】
正規化用リファレンス画像情報記憶部１１２は，カメラ２０の撮影により得られた被試験機７００の画像を正規化するために用いる正規化用リファレンス画像や，その位置などの情報を記憶する。
【００３８】
検査用リファレンス画像情報記憶部１１３は，正規化された被試験機７００の画像の検査処理に用いる検査用リファレンス画像や，その位置などの情報を記憶する。
【００３９】
テンプレート設定部１２は，外観検査制御装置１０による外観検査処理に用いるテンプレートを，あらかじめ登録する手段である。テンプレート設定部１２は，正規の位置，角度に配置された被試験機７００のサンプルをカメラ２０が撮像した画像を取得し，取得された画像からオペレータの指定に従ってテンプレートを作成し，テンプレート情報記憶部１１に記憶する。
【００４０】
図３は，本実施の形態による各リファレンス画像の例を示す図である。
【００４１】
図３において，検査対象リファレンス画像５０は，本実施の形態による外観検査の検査対象となる被試験機７００のサンプル画像である。検査対象リファレンス画像５０は，カメラ２０からみて正規の位置，角度に配置された被試験機７００のサンプルが，カメラ２０によって撮影された画像である。
【００４２】
図３において，到達検出用リファレンス画像５１は，後述の到達検出部１４による到達検出処理でテンプレートとして使用するために，検査対象リファレンス画像５０から切り出された画像である。本実施の形態では，検査対象リファレンス画像５０から，被試験機７００の検査面に１つしかない特徴的な部分の画像を切り出して，到達検出用リファレンス画像５１としている。到達検出用リファレンス画像５１としては，透視歪みにより変形しにくい絵柄が望ましい。
【００４３】
検査対象リファレンス画像５０から切り出された到達検出用リファレンス画像５１は，その位置情報と共に，テンプレート情報記憶部１１の到達検出用リファレンス画像情報記憶部１１１に記憶される。なお，本実施の形態では，到達検出用リファレンス画像５１の位置情報は，検査対象リファレンス画像５０の座標系における，到達検出用リファレンス画像５１の重心位置の座標値であるものとする。
【００４４】
図３において，正規化用リファレンス画像５２は，後述の検査対象画像正規化部１５による検査対象画像正規化処理でテンプレートとして使用するために，検査対象リファレンス画像５０から切り出された画像である。正規化用リファレンス画像５２としては，複数の画像の切り出しが行われる。本実施の形態では，検査対象リファレンス画像５０から，被試験機７００の検査面の四隅に近い部分の特徴的な４つの部分の画像を切り出して，正規化用リファレンス画像５２としている。複数の正規化用リファレンス画像５２は，画像正規化処理による正規化の精度を上げるために，できる限り互いに離れた位置の画像であることが望ましい。
【００４５】
図３において，正規化用リファレンス画像５２ａは，検査対象リファレンス画像５０から，被試験機７００の検査面右上隅近くの特徴的な部分の画像を切り出したものである。ここでは，正規化用リファレンス画像５２ａは，外観検査の目的となる，被試験機７００の検査面右上隅のラベル部分の画像を避けるように，切り出されている。正規化用リファレンス画像５２ｂは，検査対象リファレンス画像５０から，被試験機７００の検査面右下隅近くの特徴的な部分の画像を切り出したものである。正規化用リファレンス画像５２ｃは，検査対象リファレンス画像５０から，被試験機７００の検査面左上隅近くの特徴的な部分の画像を切り出したものである。正規化用リファレンス画像５２ｄは，検査対象リファレンス画像５０から，被試験機７００の検査面左下隅近くの特徴的な部分の画像を切り出したものである。なお，正規化用リファレンス画像５２の１つが，到達検出用リファレンス画像５１と同じ画像であってもよい。
【００４６】
検査対象リファレンス画像５０から切り出された各正規化用リファレンス画像５２は，その位置情報と共に，テンプレート情報記憶部１１の正規化用リファレンス画像情報記憶部１１２に記憶される。なお，本実施の形態では，正規化用リファレンス画像５２の位置情報は，検査対象リファレンス画像５０の座標系における，正規化用リファレンス画像５２の重心位置の座標値であるものとする。
【００４７】
図３において，検査用リファレンス画像５３は，後述の検査部１６による検査処理でテンプレートとして使用するために，検査対象リファレンス画像５０から切り出された画像である。本実施の形態では，検査対象リファレンス画像５０から，外観検査の対象であるラベルが取り付けられた，被試験機７００の検査面右上部分の画像を切り出して，検査用リファレンス画像５３としている。
【００４８】
検査対象リファレンス画像５０から切り出された検査用リファレンス画像５３は，その位置情報と共に，テンプレート情報記憶部１１の検査用リファレンス画像情報記憶部１１３に記憶される。なお，本実施の形態では，検査用リファレンス画像５３の位置情報は，検査対象リファレンス画像５０の座標系における，検査用リファレンス画像５３の重心位置の座標値であるものとする。
【００４９】
図２において，カメラ画像取得部１３は，カメラ２０の撮影により得られたカメラ画像を取得する。カメラ画像取得部１３は，カメラ画像のデータを，所定の縦・横の解像度でメモリに取り込む。カメラ画像のデータは，赤・青・緑の３種類のプレーンで保存される。
【００５０】
到達検出部１４は，取得されたカメラ画像に対する到達検出用リファレンス画像５１を用いたテンプレートマッチング（正規化相互相関法など）により，ベルトコンベア６００上の被試験機７００の所定位置への到達を検出する。
【００５１】
具体的には，到達検出部１４は，取得されたカメラ画像と，到達検出用リファレンス画像情報記憶部１１１に記憶された到達検出用リファレンス画像５１とについて，解像度を下げた画像を用意する。例えば，カメラ画像と到達検出用リファレンス画像５１の解像度が，本来の解像度の１／４に下げられる。
【００５２】
到達検出部１４は，解像度が下げられたカメラ画像に対する，解像度が下げられた到達検出用リファレンス画像５１を用いたテンプレートマッチングを行い，最大類似度と，最大類似度が得られた検出位置とを得る。最大類似度が得られた検出位置は，到達検出用リファレンス画像５１との類似度が最大となったカメラ画像の領域の重心位置である。
【００５３】
到達検出部１４は，得られた最大類似度が所定の閾値ＴＨ1 以上であり，かつその検出位置が所定の範囲内である場合に，ベルトコンベア６００上の被試験機７００が，外観検査を行う所定の位置に到達したと判定する。なお，所定の閾値ＴＨ1 としては，あらかじめ最適と考えられる値が設定されている。また，所定の範囲は，例えば，到達検出用リファレンス画像情報記憶部１１１に記憶された到達検出用リファレンス画像５１の位置を中心とした周辺の，あらかじめ設定された画素数の範囲などである。
【００５４】
本実施の形態の外観検査機では，到達検出部１４によるカメラ画像の監視により，被試験機７００の所定位置への到達を検出できるため，図１に示すような通過センサ５０４が不要となり，外観検査機の低価格化が図れる。
【００５５】
ここで，画像の解像度を下げてテンプレートマッチングを行うことの効果について，説明する。上述のように，到達検出部１４は，解像度を下げた画像を用いてテンプレートマッチングを行っている。
【００５６】
画像の解像度を下げると画像のデータ量が減るため，テンプレートマッチングの処理時間が短くなるという効果がある。また，画像の解像度を下げると，画像の微妙な形状の情報が欠落するため，カメラ画像に写った被試験機７００に微妙な歪みがあっても，その微妙な歪みが緩和されるという効果がある。
【００５７】
図４は，画像の解像度を下げてテンプレートマッチングを行うことの効果を説明する図である。
【００５８】
図４（Ａ）は，画像の解像度を下げた例を示す図である。図４（Ａ）において，左側の画像は，１／１の解像度の画像，すなわち本来の解像度の画像である。右側の画像は，左側の画像の解像度を１／４に下げた画像である。図４（Ａ）に示すように，左側の１／１解像度画像では細かいドットで表現された円弧の形状が，右側の１／４解像度画像ではごつごつとした大きなドットで大雑把に表現されるようになる。なお，図４（Ａ）では，比較のために，１／１解像度画像と１／４解像度画像の大きさを同じ大きさで提示している。
【００５９】
図４（Ｂ）は，画像の解像度を下げた例を模式的に示す。図４（Ｂ）において，左側の画像は，１／１の解像度の画像，すなわち本来の解像度の画像を模式的に示したものである。右側の画像は，左側の画像の解像度を１／４に下げた画像を模式的に示したものである。図４（Ｂ）に示すように，左側の１／１解像度の模式画像では画像に対して少し斜めに見えるハッチングの部分が，右側の１／４解像度画像では画像に対して平行に見えるようになる。
【００６０】
本実施の形態では，外観検査機に位置決め装置５０５がないので，ベルトコンベア６００上の被試験機７００が，必ずしもカメラ画像に正しい位置に正しい姿勢で写っているわけではない。そのため，カメラ２０に対する被試験機７００の位置や姿勢のずれによっては，登録された到達検出用リファレンス画像５１を用いたテンプレートマッチングでは，被試験機７００の所定位置への到達が検出できなくなってしまう可能性がある。この問題に対処するためには，被試験機７００の位置や姿勢のずれを少しずつ変えた到達検出用リファレンス画像５１を多数用意して，テンプレートマッチングを行う必要がある。
【００６１】
本実施の形態では，画像の解像度を下げることにより，カメラ画像上の被試験機７００の位置や姿勢のずれが緩和されるため，到達検出用リファレンス画像５１を用いたテンプレートマッチングによって，被試験機７００の所定位置への到達が検出しやすくなる。そのため，本実施の形態では，被試験機７００の位置や姿勢のずれを少しずつ変えた到達検出用リファレンス画像５１を多数用意する必要がない。
【００６２】
図２において，検査対象画像正規化部１５は，到達検出部１４によって被試験機７００の所定位置への到達が検出されたカメラ画像を検査対象画像として取得し，取得された検査対象画像の正規化を行う。
【００６３】
図５は，本実施の形態による検査対象画像の正規化を説明する図である。
【００６４】
図５（Ａ）は，被試験機７００の撮影のイメージである。上述したように，本実施の形態では，外観検査機に位置決め装置５０５がないので，図５（Ａ）に示すように，ベルトコンベア６００上の被試験機７００が，必ずしもカメラ２０の前を正規の位置，正規の姿勢で通過するわけではない。そのため，検査対象画像として得られた画像に写る被試験機７００は，正規の位置に，正規の姿勢で写っているとは限らない。
【００６５】
図５（Ｂ）は，検査対象画像６０を変換し，正規化画像７０を生成する例を示す。
【００６６】
図５（Ｂ）において，検査対象画像６０では，被試験機７００の検査面がカメラ２０に対して正面を向いていなかったために，被試験機７００の検査面が画像に対して歪んだ形で写っている。このままの検査対象画像６０に対して，検査用リファレンス画像５３を用いたテンプレートマッチングによる外観検査を行うと，外観検査の精度が低くなってしまう。
【００６７】
そのため，図５（Ｂ）に示すように，検査対象画像正規化部１５は，取得された検査対象画像６０を正規化する変換を行い，被試験機７００の検査面が画像に対して正規の位置に，正規の姿勢で写った正規化画像７０を生成する。
【００６８】
検査対象画像６０の変換には，検査対象リファレンス画像５０から切り出した正規化用リファレンス画像５２を用いる。図５（Ｂ）に示す検査対象リファレンス画像５０において，太線の枠で示された部分が，正規化用リファレンス画像５２として切り出された４つの領域である。本実施の形態では，それぞれの領域の重心位置が，各正規化用リファレンス画像５２の位置として登録される。
【００６９】
検査対象画像正規化部１５は，正規化用リファレンス画像５２ごとに，検査対象画像６０に対してテンプレートマッチングを行い，最も類似度が高い領域を検出する。図５（Ｂ）に示す検査対象画像６０において，点線の枠で示された部分が，テンプレートマッチングにより，４つの正規化用リファレンス画像５２との類似度が，それぞれ最も高かった４つの領域である。本実施の形態では，それぞれの領域の重心位置が，各正規化用リファレンス画像５２を用いたテンプレートマッチングの検出位置となる。
【００７０】
検査対象リファレンス画像５０は，被試験機７００が正規の位置に，正規の姿勢で写っている画像である。テンプレートマッチングにより得られた各検出位置が，それぞれ対応する正規化用リファレンス画像５２の登録位置となるように検査対象画像６０を変換することにより，被試験機７００が正規の位置に，正規の姿勢で写った正規化画像７０を生成することができる。
【００７１】
検査対象画像正規化部１５は，登録された各正規化用リファレンス画像５２の位置と，テンプレートマッチングにより得られた各検出位置とを用いて，検査対象画像６０の変換を行う。より具体的には，検査対象画像正規化部１５は，テンプレートマッチングにより得られた各検出位置が，それぞれ対応する正規化用リファレンス画像５２の登録位置となるような変換式を生成し，生成された変換式を用いて検査対象画像６０を正規化画像７０に変換する。
【００７２】
本実施の形態では，検査対象画像正規化部１５は，２段階の変換により，取得された検査対象画像６０から正規化画像７０を生成する。
【００７３】
図６は，本実施の形態による検査対象画像から２段階の変換により正規化画像を生成する例を説明する図である。
【００７４】
検査対象画像正規化部１５は，取得された検査対象画像６０と，登録された各正規化用リファレンス画像５２との解像度を下げた画像を生成する。ここでは，例えば，検査対象画像６０と，登録された各正規化用リファレンス画像５２とについて，それぞれ解像度が１／４に下げられた低解像度画像が生成されるものとする。
【００７５】
まず，第１段階として，検査対象画像正規化部１５は，１／４解像度の検査対象画像６０に対して，１／４解像度の各正規化用リファレンス画像５２を用いたテンプレートマッチングを行い，それぞれ最大の類似度が得られる位置を検出する。
【００７６】
上述したように，低解像度画像を用いたテンプレートマッチングは，結果として得られる検出位置の精度が，本来の画像を用いたテンプレートマッチングに劣るものの，扱うデータ量が少ないため，処理時間が短くて済むというメリットがある。また，上述したように，検査対象画像６０に写った被試験機７００の検査面が歪んでいても，低解像度画像ではその歪量が軽減されるため，テンプレートマッチングによって正規化用リファレンス画像５２に対応する検査対象画像６０上の領域が検出されやすくなる。
【００７７】
検査対象画像正規化部１５は，あらかじめ登録された各正規化用リファレンス画像５２の位置と，１／４解像度の各画像を用いたテンプレートマッチングの結果として得られた各検出位置との関係に基づいて，検査対象画像６０の変換を行う。この変換により，図６に示すような，準正規化画像６５が得られる。なお，変換が行われる検査対象画像６０は，本来の解像度（１／１解像度）の検査対象画像６０であり，結果として得られる準正規化画像６５の解像度も，検査対象画像６０の本来の解像度である。
【００７８】
準正規化画像６５では，図６に示すように，低解像度画像を用いたテンプレートマッチングの精度が少し低いために，写っている被試験機７００の検査面の状態が，完全に正規の状態であるとは言えないが，当初の検査対象画像６０に比べて正規の状態に近くなっている。
【００７９】
次に，第２段階として，検査対象画像正規化部１５は，第１段階の処理で生成された準正規化画像６５に対して，本来の解像度，すなわち１／１解像度の各正規化用リファレンス画像５２を用いたテンプレートマッチングを行い，それぞれ最大の類似度が得られる位置を検出する。
【００８０】
テンプレートマッチングで検出される各正規化用リファレンス画像５２との類似度が最大となる準正規化画像６５上の位置は，上述の第一段階の変換処理によって，あらかじめ登録された各正規化用リファレンス画像５２の位置の周辺になることがわかっている。そのため，検査対象画像正規化部１５は，第２段階の処理において，各正規化用リファレンス画像５２ごとに，それぞれの登録された位置の周辺に範囲を限って，テンプレートマッチングを行うことができる。
【００８１】
通常，１／１解像度の画像を用いたテンプレートマッチングは，低解像度画像を用いたテンプレートマッチングと比べて，処理負荷が高く，処理時間が長くなってしまう。しかし，本実施の形態の第２段階の処理では，テンプレートマッチングの範囲を限定することができるので，１／１解像度の画像を用いたテンプレートマッチングでも，処理時間が短くなる。
【００８２】
また，準正規化画像６５では，上述の第一段階の変換処理によって検査対象画像６０に写った被試験機７００の歪みがほぼ解消されている。そのため，テンプレートマッチングによる正規化用リファレンス画像５２に対応する準正規化画像６５上の領域の検出も，容易である。
【００８３】
検査対象画像正規化部１５は，あらかじめ登録された各正規化用リファレンス画像５２の位置と，１／１解像度の各画像を用いたテンプレートマッチングの結果として得られた各検出位置との関係に基づいて，準正規化画像６５の変換を行う。この変換により，図６に示すような，正規化画像７０が得られる。
【００８４】
正規化画像７０では，図６に示すように，本来の１／１解像度の画像を用いたテンプレートマッチングは精度が高いため，写っている被試験機７００の検査面の状態が，ほぼ正規の状態であると言える。
【００８５】
このように，本実施の形態では，テンプレートマッチングに用いる画像を解像度が低いものから高いものに変えながら，多段階に正規化変換を行うことにより，検査対象画像６０から正規化画像７０を得る。これにより，検査対象画像６０から正規化画像７０までの変換処理に要する時間を短縮することができる。また，低解像度の画像は歪みが緩和されるため，検査対象画像６０に写った被試験機７００の歪み状態に応じた多量の正規化用リファレンス画像５２を用意しなくても，テンプレートマッチングを行うことができる。
【００８６】
図２において，検査対象画像正規化部１５は，低解像度画像生成部１５１，テンプレート倍率取得部１５２，第一の画像比較部１５３，第一の正規化変換部１５４，第二の画像比較部１５５，第二の正規化変換部１５６を備える。
【００８７】
低解像度画像生成部１５１は，取得された検査対象画像６０，正規化用リファレンス画像情報記憶部１１２に記憶された各正規化用リファレンス画像５２について，それぞれ解像度を下げた画像を生成する。本実施の形態では，それぞれの画像の解像度を，元の解像度の１／４に下げるものとする。
【００８８】
テンプレート倍率取得部１５２は，テンプレートマッチング時に用いる正規化用リファレンス画像５２の拡縮の倍率を求める。カメラ２０に対する被試験機７００の距離に応じて，検査対象画像６０に写る被試験機７００の大きさも異なった大きさとなる。本実施の形態では，検査対象画像６０に写る被試験機７００の大きさに応じて正規化用リファレンス画像５２を拡縮することにより，正規化用リファレンス画像５２を用いたテンプレートマッチングの精度を上げる。
【００８９】
具体的には，テンプレート倍率取得部１５２は，検査対象画像６０上の，到達検出部１４により得られた検出位置において，到達検出用リファレンス画像５１の拡縮の倍率を少しずつ変更しながらテンプレートマッチングを行い，最も類似度が高いときの倍率を求める。例えば，テンプレート倍率取得部１５２は，最初に，±１０％の範囲で５％刻みで拡縮を行った到達検出用リファレンス画像５１を用いてテンプレートマッチングを行い，５％刻みで最適とする倍率をラフに求める。次に，テンプレート倍率取得部１５２は，５％刻みで最適とする倍率の近辺の±２％の範囲で１％刻みで拡縮を行った到達検出用リファレンス画像５１を用いてテンプレートマッチングを行い，最も類似度が高いときの倍率を求める。
【００９０】
第一の画像比較部１５３は，低解像度の検査対象画像６０に対して，低解像度の各正規化用リファレンス画像５２を用いたテンプレートマッチングを行い，各正規化用リファレンス画像５２に対応する検査対象画像６０上の領域の位置を取得する。
【００９１】
より具体的には，第一の画像比較部１５３は，例えば，１／４解像度の検査対象画像６０に対して，１／４解像度の各正規化用リファレンス画像５２を用いたテンプレートマッチングを行い，それぞれ最大の類似度と，その最大の類似度が得られる領域の位置とを取得する。
【００９２】
第一の正規化変換部１５４は，あらかじめ登録された各正規化用リファレンス画像５２の位置と，低解像度画像を用いたテンプレートマッチングの結果として得られた各位置との対応関係に基づいて，本来の解像度の検査対象画像６０を正規化する変換を行う。
【００９３】
より具体的には，第一の正規化変換部１５４は，あらかじめ登録された各正規化用リファレンス画像５２の位置と，それぞれ１／４解像度の画像を用いたテンプレートマッチングの結果として得られた各位置との対応関係から，正規化のための変換式を生成する。第一の正規化変換部１５４は，本来の解像度の検査対象画像６０の画素ごとに，生成された変換式にその位置を代入して位置変換を行うことにより，検査対象画像６０を正規化する。図６に示すような準正規化画像６５が得られる。
【００９４】
ここで，あらかじめ登録された正規化用リファレンス画像５２の位置と，各正規化用リファレンス画像５２を用いたテンプレートマッチングの結果として得られた位置との対応関係から，検査対象画像６０の変換に用いる変換式の生成方法の例を説明する。
【００９５】
ここでは，４つの正規化用リファレンス画像５２の位置と，４つの正規化用リファレンス画像５２を用いたテンプレートマッチングの結果としてそれぞれ得られた４つの位置との対応関係から，擬似アフィン変換により，検査対象画像６０が正規化変換されるものとする。擬似アフィン変換は，画像の平行移動，回転，拡大縮小，歪みの補正等をおこなう幾何学的な変換方式である。擬似アフィン変換は，次のような式（１），式（２）の擬似アフィン変換式で表される。
【００９６】
ｕ＝ａ1 ｘｙ＋ａ2 ｘ＋ａ3 ｙ＋ａ4 ・・・（１）
ｖ＝ｂ1 ｘｙ＋ｂ2 ｘ＋ｂ3 ｙ＋ｂ4 ・・・（２）
式（１），式（２）に示す擬似アフィン変換式において，（ｕ，ｖ）は変換後の位置座標であり，ａ1 〜ａ4 ，ｂ1 〜ｂ4 は係数である。係数ａ1 〜ａ4 ，ｂ1 〜ｂ4 は，４つの正規化用リファレンス画像５２の位置と，４つの正規化用リファレンス画像５２を用いたテンプレートマッチングの結果としてそれぞれ得られた４つの位置との対応関係から求められる。
【００９７】
図７は，本実施の形態による正規化用リファレンス画像の位置とテンプレートマッチングの結果として得られた位置の例を示す図である。
【００９８】
図７（Ａ）は，検査対象リファレンス画像５０上の正規化用リファレンス画像５２の位置を示す。図７（Ａ）において，太線の枠は，検査対象リファレンス画像５０から切り出された各正規化用リファレンス画像５２の領域を示す。正規化用リファレンス画像５２の領域の中心の点は，正規化用リファレンス画像５２の重心を示す。本実施の形態では，正規化用リファレンス画像５２の位置は，正規化用リファレンス画像５２の重心の位置で示される。
【００９９】
図７（Ａ）に示すように，検査対象リファレンス画像５０に写った被試験機７００の検査面の四隅から切り出された正規化用リファレンス画像５２の位置は，それぞれ（ｘ0 ，ｙ0 ），（ｘ1 ，ｙ1 ），（ｘ2 ，ｙ2 ），（ｘ3 ，ｙ3 ）である。
【０１００】
図７（Ｂ）は，テンプレートマッチングにより検査対象画像６０上から検出された，各正規化用リファレンス画像５２に対応する領域の位置を示す。図７（Ｂ）において，太線の枠は，検査対象画像６０上の，各正規化用リファレンス画像５２に対応する領域を示す。各正規化用リファレンス画像５２に対応する領域の中心の点は，各正規化用リファレンス画像５２に対応する領域の重心を示す。本実施の形態では，各正規化用リファレンス画像５２に対応する領域の位置は，各正規化用リファレンス画像５２に対応する領域の重心の位置で示される。
【０１０１】
図７（Ｂ）に示すように，検査対象画像６０上の，各正規化用リファレンス画像５２に対応する領域の位置は，それぞれ（ｕ0 ，ｖ0 ），（ｕ1 ，ｖ1 ），（ｕ2 ，ｖ2 ），（ｕ3 ，ｖ3 ）である。
【０１０２】
上記の式（１），式（２）に，（ｘ0 ，ｙ0 ），（ｘ1 ，ｙ1 ），（ｘ2 ，ｙ2 ），（ｘ3 ，ｙ3 ），（ｕ0 ，ｖ0 ），（ｕ1 ，ｖ1 ），（ｕ2 ，ｖ2 ），（ｕ3 ，ｖ3 ）を代入すると，Ｘ成分，Ｙ成分ごとに，それぞれ４つの式からなる連立方程式が得られる。
【０１０３】
Ｘ成分：
ｕ0 ＝ａ1 ｘ0 ｙ0 ＋ａ2 ｘ0 ＋ａ3 ｙ0 ＋ａ4
ｕ1 ＝ａ1 ｘ1 ｙ1 ＋ａ2 ｘ1 ＋ａ3 ｙ1 ＋ａ4
ｕ2 ＝ａ1 ｘ2 ｙ2 ＋ａ2 ｘ2 ＋ａ3 ｙ2 ＋ａ4
ｕ3 ＝ａ1 ｘ3 ｙ3 ＋ａ2 ｘ3 ＋ａ3 ｙ3 ＋ａ4
Ｙ成分：
ｖ0 ＝ｂ1 ｘ0 ｙ0 ＋ｂ2 ｘ0 ＋ｂ3 ｙ0 ＋ｂ4
ｖ1 ＝ｂ1 ｘ1 ｙ1 ＋ｂ2 ｘ1 ＋ｂ3 ｙ1 ＋ｂ4
ｖ2 ＝ｂ1 ｘ2 ｙ2 ＋ｂ2 ｘ2 ＋ｂ3 ｙ2 ＋ｂ4
ｖ3 ＝ｂ1 ｘ3 ｙ3 ＋ｂ2 ｘ3 ＋ｂ3 ｙ3 ＋ｂ4
これらのＸ成分，Ｙ成分ごとの連立方程式を解くことにより，式（１）の係数ａ1 ，ａ2 ，ａ3 ，ａ4 ，式（２）の係数ｂ1 ，ｂ2 ，ｂ3 ，ｂ4 が得られる。
【０１０４】
例えば，上記のＸ成分における連立方程式から，次の行列式が生成できる。
【０１０５】
【数１】
【０１０６】
このような行列式の解は，例えば，ピポット選択法で求められる。
【０１０７】
図８は，ピポット選択法で連立方程式の解を求めるプログラムの例である。
【０１０８】
図８に示すプログラムにおいて，a[i][4] が，求められた４つの解，すなわち式（１）の係数ａ1 ，ａ2 ，ａ3 ，ａ4 となる。
【０１０９】
図２において，第二の画像比較部１５５は，準正規化画像６５に対して，本来の解像度の各正規化用リファレンス画像５２を用いたテンプレートマッチングを行い，各正規化用リファレンス画像５２に対応する準正規化画像６５上の領域の位置を取得する。準正規化画像６５は，第一の正規化変換部１５４により正規化された検査対象画像６０である。
【０１１０】
より具体的には，第二の画像比較部１５５は，例えば，１／１解像度である準正規化画像６５に対して，１／１解像度の各正規化用リファレンス画像５２を用いたテンプレートマッチングを行い，それぞれ最大の類似度と，その最大の類似度が得られる領域の位置とを取得する。
【０１１１】
第二の正規化変換部１５６は，あらかじめ登録された各正規化用リファレンス画像５２の位置と，本来の解像度の画像を用いたテンプレートマッチングの結果として得られた各位置との対応関係に基づいて，本来の解像度の準正規化画像６５をさらに正規化する変換を行う。
【０１１２】
より具体的には，第二の正規化変換部１５６は，あらかじめ登録された各正規化用リファレンス画像５２の位置と，それぞれ１／１解像度の画像を用いたテンプレートマッチングの結果として得られた各位置との対応関係から，正規化のための変換式を生成する。第二の正規化変換部１５６は，本来の解像度の準正規化画像６５の画素ごとに，生成された変換式にその位置を代入して位置変換を行うことにより，準正規化画像６５を正規化する。図６に示すような正規化画像７０が得られる。
【０１１３】
このようにして検査対象画像正規化部１５により得られた正規化画像７０は，検査対象リファレンス画像５０に写っている被試験機７００と，ほぼ同じ位置に，同じ姿勢で被試験機７００が写った画像となる。すなわち，本実施の形態の検査対象画像正規化部１５により，位置決め装置５０５がなくても，正規の位置に，正規の姿勢で被試験機７００が写った画像が得られることになる。
【０１１４】
検査部１６は，正規化画像７０に対する，あらかじめ登録された検査用リファレンス画像５３を用いたテンプレートマッチングを行うことにより，被試験機７００の検査を行う。正規化画像７０は，検査対象画像正規化部１５により正規化された検査対象画像６０である。
【０１１５】
より具体的には，検査部１６は，正規化画像７０に対して，検査用リファレンス画像情報記憶部１１３に記憶された検査用リファレンス画像５３を用いたテンプレートマッチングを行い，最大の類似度を得る。検査部１６は，得られた最大の類似度が所定のＴＨ4 以上であれば，検査結果がＯＫであると判定し，得られた最大の類似度が所定のＴＨ4 に満たなければ，検査結果がＮＧであると判定する。なお，所定の閾値ＴＨ4 としては，あらかじめ最適と考えられる値が設定されている。
【０１１６】
検査部１６によるテンプレートマッチングは，正規化画像７０上の，検査用リファレンス画像情報記憶部１１３に記憶された検査用リファレンス画像５３の位置の周辺に範囲を限って行われる。検査部１６による検査では，被試験機７００の検査面において，あるべき物があるべき位置にきちんと取り付けられているかが，検査される。検査用リファレンス画像５３は，被試験機７００の検査面において，あるべき位置にあるべき物の画像である。すなわち，正規化画像７０上の，あらかじめ登録された検査用リファレンス画像５３の位置の周辺から，検査用リファレンス画像５３と高い類似度でマッチする領域が得られなければ，正規化画像７０に写った被試験機７００には，あるべき物があるべき位置に取り付けられていないと判断できる。
【０１１７】
このように，本実施の形態による検査部１６では，正規化された検査対象画像６０に対するテンプレートマッチングにより検査を行うので，検査用リファレンス画像５３は，正規の姿勢で画像に写る被試験機７００に対するものだけを用意すればよい。
【０１１８】
正規化されていない検査対象画像６０に対して検査を行うのであれば，姿勢が少しずつ異なる被試験機７００ごとの検査用リファレンス画像５３を多数用意し，用意されたすべての検査用リファレンス画像５３についてテンプレートマッチングを行う必要がある。この場合には，多数の検査用リファレンス画像５３の記憶領域も大きくなり，また，検査のためのテンプレートマッチングの処理時間も非常に長くなってしまう。
【０１１９】
これに対して，本実施の形態による検査部１６では，正規化された検査対象画像６０を用いて検査を行うので，検査用リファレンス画像５３も正規の姿勢の被試験機７００に対するものだけでよくなり，記憶領域も少なくて済み，検査の処理時間も短くて済む。
【０１２０】
以上説明した本実施の形態による外観検査制御装置１０により，ガイドやロボット等の位置決め装置５０５を使わなくても，被試験機７００の位置や姿勢のバラツキの影響を受けない外観検査が可能となる。
【０１２１】
ガイド等の位置決め装置５０５を使用する必要がなくなるため，被試験機７００の位置決めのために，被試験機７００にキズ等のダメージを与えることがなくなる。また，ロボット等の位置決め装置５０５を使用する必要がなくなるため，設備が簡素となり，外観検査機の低価格化が可能となる。また，被試験機７００の設置において，被試験機７００の位置や姿勢を整えるための微調整が必要なくなるため，作業者の負担も軽減される。
【０１２２】
以下，図９〜図１２を用いて，本実施の形態の外観検査制御装置１０による各処理の流れを説明する。
【０１２３】
図９は，本実施の形態の外観検査制御装置の到達検出部による到達検出処理フローチャートである。
【０１２４】
外観検査制御装置１０において，到達検出部１４は，カメラ２０の撮影により得られたカメラ画像を取得する（ステップＳ１０）。
【０１２５】
到達検出部１４は，取得されたカメラ画像と，到達検出用リファレンス画像情報記憶部１１１に記憶された到達検出用リファレンス画像５１とについて，それぞれ解像度を下げた画像を生成する（ステップＳ１１）。ここでは，各画像の解像度が，１／４に下げられたものとする。
【０１２６】
到達検出部１４は，解像度を下げたカメラ画像に対する，解像度を下げた到達検出用リファレンス画像５１を用いたテンプレートマッチングを行う（ステップＳ１２）。到達検出部１４は，テンプレートマッチングの結果として，最大の類似度と，最大の類似度が検出されたカメラ画像上の領域の位置とを得る。
【０１２７】
到達検出部１４は，テンプレートマッチングにより得られた最大の類似度が，所定の閾値ＴＨ1 以上であるかを判定する（ステップＳ１３）。また，到達検出部１４は，最大の類似度が検出されたカメラ画像上の領域の位置が，到達検出用リファレンス画像情報記憶部１１１に記憶された到達検出用リファレンス画像５１の位置の周辺の，所定の範囲内であるかを判定する（ステップＳ１４）。
【０１２８】
最大の類似度が所定の閾値ＴＨ1 以上でない場合（ステップＳ１３のＮＯ），または最大の類似度が検出された位置が所定の範囲内でない場合には（ステップＳ１４のＮＯ），到達検出部１４は，ステップＳ１０に戻り，次のカメラ画像の処理に移る。
【０１２９】
最大の類似度が所定の閾値ＴＨ1 以上であり（ステップＳ１３のＹＥＳ），かつ最大の類似度が検出された位置が所定の範囲内である場合には（ステップＳ１４のＹＥＳ），到達検出部１４は，検査対象である被試験機７００が所定の位置に到達したと判定する（ステップＳ１５）。到達検出部１４は，検査対象が所定の位置に到達したと判定されたカメラ画像を，検査対象が写った検査対象画像６０として，次の検査対象画像正規化部１５による検査対象画像正規化処理に渡す。
【０１３０】
図１０，図１１は，本実施の形態の外観検査制御装置の検査対象画像正規化部による検査対象画像正規化処理フローチャートである。
【０１３１】
外観検査制御装置１０の検査対象画像正規化部１５において，低解像度画像生成部１５１は，到達検出部１４により得られた検査対象画像６０について，解像度を下げた低解像度画像を生成する（ステップＳ２０）。また，低解像度画像生成部１５１は，正規化用リファレンス画像情報記憶部１１２に記憶された各正規化用リファレンス画像５２について，解像度を下げた低解像度画像を生成する（ステップＳ２０）。ここでは，各画像の解像度が，１／４に下げられたものとする。
【０１３２】
低解像度画像生成部１５１は，１／４解像度の検査対象画像６０について，検査対象が写っていると想定される領域以外の一部をカットし，検査範囲画像を生成する（ステップＳ２１）。例えば，図５（Ｂ）に示すような検査対象画像６０において，あらかじめ検査対象である被試験機７００が画像に対して横長に写っていると分かっている場合には検査対象画像６０の上端の領域と下端の領域には，被試験機７００が写っていないと想定される。このとき，検査対象である被試験機７００が写っていないと想定される領域をカットしておけば，後のテンプレートマッチングの探索範囲が小さくなるため，テンプレートマッチングの処理時間が短くなる。
【０１３３】
テンプレート倍率取得部１５２は，検査対象画像６０上の到達検出部１４による検出位置において，±１０％の範囲で５％刻みで拡縮を行った到達検出用リファレンス画像５１を用いてテンプレートマッチングを行う（ステップＳ２２）。テンプレートマッチングの結果として，５％単位で最適とする倍率が得られる。また，テンプレート倍率取得部１５２は，検査対象画像６０上の到達検出部１４による検出位置において，５％単位で最適とする倍率の近辺の±２％の範囲で１％刻みで拡縮を行った到達検出用リファレンス画像５１を用いてテンプレートマッチングを行う（ステップＳ２３）。テンプレートマッチングの結果として，１％単位で最適とする倍率が得られる。得られた１％単位の倍率が，正規化用リファレンス画像５２の拡縮倍率となる。
【０１３４】
第一の画像比較部１５３は，カウンタｎを初期化する（ステップＳ２４）。
【０１３５】
第一の画像比較部１５３は，１／４解像度の検査対象画像６０から得られた検査範囲画像に対して，ｎ番目の１／４解像度の正規化用リファレンス画像５２を用いたテンプレートマッチングを行う（ステップＳ２５）。第一の画像比較部１５３は，テンプレートマッチングの結果として，最大の類似度を得る。なお，テンプレートマッチングで用いられる１／４解像度の正規化用リファレンス画像５２は，ステップＳ２３で得られた拡縮倍率で拡縮された画像である。
【０１３６】
第一の画像比較部１５３は，テンプレートマッチングにより得られた最大の類似度が，所定の閾値ＴＨ2 以上であるかを判定する（ステップＳ２６）。所定の閾値ＴＨ2 としては，あらかじめ最適と考えられる値が設定されている。
【０１３７】
最大の類似度が所定の閾値ＴＨ2 以上でない場合には（ステップＳ２６のＮＯ），第一の画像比較部１５３は，テンプレートマッチングに失敗したものと判断し（ステップＳ２７），処理を終了する。このとき，外観検査制御装置１０は，例えば，表示装置４０に出力するなどにより，オペレータに対して検査対象画像６０の正規化に失敗した旨を通知する。
【０１３８】
最大の類似度が所定の閾値ＴＨ2 以上である場合には（ステップＳ２６のＹＥＳ），第一の画像比較部１５３は，テンプレートマッチングによって最大の類似度が検出された領域の位置を取得する（ステップＳ２８）。
【０１３９】
第一の画像比較部１５３は，カウンタｎをインクリメントする（ステップＳ２９）。第一の画像比較部１５３は，カウンタｎの値が４より大きいかを判定する（ステップＳ３０）。
【０１４０】
カウンタｎの値が４より小さければ（ステップＳ３０のＮＯ），第一の画像比較部１５３は，ステップＳ２５に戻り，次の正規化用リファレンス画像５２の処理に移る。
【０１４１】
カウンタｎの値が４より大きければ（ステップＳ３０のＹＥＳ），すなわちカウンタｎの値が５であれば，第一の画像比較部１５３は，４つすべての正規化用リファレンス画像５２について，テンプレートマッチングが終了したと判断する。
【０１４２】
第一の正規化変換部１５４は，正規化用リファレンス画像情報記憶部１１２に記憶された４つの正規化用リファレンス画像５２の位置と，テンプレートマッチングにより検出された４つの位置との関係に基づいて，擬似アフィン変換による検査対象画像６０の正規化変換を行う（ステップＳ３１）。ここでは，低解像度の正規化用リファレンス画像５２を用いたテンプレートマッチングの結果により得られた，正規化された検査対象画像６０を，準正規化画像６５と呼ぶ。なお，ステップＳ３１において，擬似アフィン変換により，正規化変換される検査対象画像６０は，１／１解像度，すなわち本来の解像度の検査対象画像である。
【０１４３】
第二の画像比較部１５５は，カウンタｎを初期化する（ステップＳ３２）。
【０１４４】
第二の画像比較部１５５は，ステップＳ３１で正規化された検査対象画像６０，すなわち準正規化画像６５に対して，正規化用リファレンス画像情報記憶部１１２に記憶されたｎ番目の正規化用リファレンス画像５２を用いたテンプレートマッチングを行う（ステップＳ３３）。第二の画像比較部１５５は，テンプレートマッチングの結果として，最大の類似度を得る。なお，テンプレートマッチングで用いられる正規化用リファレンス画像５２は，１／１解像度，すなわち本来の解像度の正規化用リファレンス画像５２である。また，テンプレートマッチングで用いられる正規化用リファレンス画像５２は，ステップＳ２３で得られた拡縮倍率で拡縮された画像である。
【０１４５】
第二の画像比較部１５５は，テンプレートマッチングにより得られた最大の類似度が，所定の閾値ＴＨ3 以上であるかを判定する（ステップＳ３４）。所定の閾値ＴＨ3 としては，あらかじめ最適と考えられる値が設定されている。
【０１４６】
最大の類似度が所定の閾値ＴＨ3 以上でない場合には（ステップＳ３４のＮＯ），第二の画像比較部１５５は，テンプレートマッチングに失敗したものと判断し（ステップＳ３５），処理を終了する。このとき，外観検査制御装置１０は，例えば，表示装置４０に出力するなどにより，オペレータに対して検査対象画像６０の正規化に失敗した旨を通知する。
【０１４７】
最大の類似度が所定の閾値ＴＨ3 以上である場合には（ステップＳ３４のＹＥＳ），第二の画像比較部１５５は，テンプレートマッチングによって最大の類似度が検出された領域の位置を取得する（ステップＳ３６）。
【０１４８】
第二の画像比較部１５５は，カウンタｎをインクリメントする（ステップＳ３７）。第二の画像比較部１５５は，カウンタｎの値が４より大きいかを判定する（ステップＳ３８）。
【０１４９】
カウンタｎの値が４より小さければ（ステップＳ３８のＮＯ），第二の画像比較部１５５は，ステップＳ３３に戻り，次の正規化用リファレンス画像５２の処理に移る。
【０１５０】
カウンタｎの値が４より大きければ（ステップＳ３８のＹＥＳ），すなわちカウンタｎの値が５であれば，第二の画像比較部１５５は，４つすべての正規化用リファレンス画像５２について，テンプレートマッチングが終了したと判断する。
【０１５１】
第二の正規化変換部１５６は，正規化用リファレンス画像情報記憶部１１２に記憶された４つの正規化用リファレンス画像５２の位置と，テンプレートマッチングにより検出された４つの位置との関係に基づいて，擬似アフィン変換による準正規化画像６５の正規化変換を行う（ステップＳ３９）。ここで得られた画像が，検査対象画像６０の正規化の最終結果である正規化画像７０となる。
【０１５２】
検査対象画像正規化部１５は，最終的な検査対象画像６０が正規化された画像，すなわち正規化画像７０を，次の検査部１６による検査処理に渡す。
【０１５３】
図１２は，本実施の形態の外観検査制御装置の検査部による検査処理フローチャートである。
【０１５４】
外観検査制御装置１０において，検査部１６は，検査対象画像正規化部１５により得られた正規化画像７０から，検査画像を切り出す（ステップＳ４０）。検査画像としては，検査用リファレンス画像情報記憶部１１３に記憶された検査用リファレンス画像５３の位置の周辺の領域が切り出される。
【０１５５】
検査部１６は，正規化画像７０から切り出された検査画像に対して，検査用リファレンス画像情報記憶部１１３に記憶された検査用リファレンス画像５３を用いたテンプレートマッチングを行う（ステップＳ４１）。検査部１６は，テンプレートマッチングの結果として，最大の類似度を得る。
【０１５６】
検査部１６は，テンプレートマッチングにより得られた最大の類似度が，所定の閾値ＴＨ4 以上であるかを判定する（ステップＳ４２）。
【０１５７】
最大の類似度が所定の閾値ＴＨ4 以上である場合には（ステップＳ４２のＹＥＳ），検査部１６は，検査結果がＯＫであると判定する（ステップＳ４３）。
【０１５８】
最大の類似度が所定の閾値ＴＨ4 以上でない場合には（ステップＳ４２のＮＯ），検査部１６は，検査結果がＮＧであると判定する（ステップＳ４４）。
【０１５９】
検査部１６は，このような検査処理を，検査の目的とするマークや部品などの数の分だけ，繰り返す。
【０１６０】
以上説明した本実施の形態の外観検査制御装置１０による処理は，コンピュータが備えるＣＰＵ，メモリ等のハードウェアとソフトウェアプログラムとにより実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【０１６１】
以上，本実施の形態について説明したが，本発明はその主旨の範囲において種々の変形が可能であることは当然である。
【０１６２】
例えば，本実施の形態では，検査対象画像正規化部１５が，４つの正規化用リファレンス画像５２を用いてテンプレートマッチングを行い，得られた４点の座標を用いた擬似アフィン変換により，検査対象画像６０を正規化している。例えば，検査対象画像正規化部１５が，３つの正規化用リファレンス画像５２を用いてテンプレートマッチングを行い，得られた３点の座標を用いたアフィン変換により，検査対象画像６０を正規化するようにしてもよい。アフィン変換では，画像の平行移動，回転，拡大・縮小が可能である。擬似アフィン変換を用いることによって，画像の平行移動，回転，拡大・縮小だけでなく，画像の歪みの補正も可能となる。
【０１６３】
また，例えば，本実施の形態では，検査対象画像正規化部１５が，１／４解像度画像を用いたテンプレートマッチングの結果と，１／１解像度画像を用いたテンプレートマッチングの結果とを用いた２段階の正規化変換により，最終的な正規化画像７０が生成している。検査対象画像正規化部１５が，解像度が低い画像から順に用いたテンプレートマッチングの結果を用いて，３段階以上の正規化変換により，最終的な正規化画像７０を生成するようにしてもよい。たとえば，１／４解像度，１／２解像度といったように，段階的に画像の解像度を上げながら第一の画像比較部１５３，第一の正規化変換部１５４による処理を繰り返し，その最後に１／１解像度画像を用いた第二の画像比較部１５５，第二の正規化変換部１５６による処理を行うようにしてもよい。
【符号の説明】
【０１６４】
１０ 外観検査制御装置
１１ テンプレート情報記憶部
１１１ 到達検出用リファレンス画像情報記憶部
１１２ 正規化用リファレンス画像情報記憶部
１１３ 検査用リファレンス画像情報記憶部
１２ テンプレート設定部
１３ カメラ画像取得部
１４ 到達検出部
１５ 検査対象画像正規化部
１５１ 低解像度画像生成部
１５２ テンプレート倍率取得部
１５３ 第一の画像比較部
１５４ 第一の正規化変換部
１５５ 第二の画像比較部
１５６ 第二の正規化変換部
１６ 検査部
２０ カメラ
３０ 照明
４０ 表示装置
４５ 入力装置
【特許請求の範囲】
【請求項１】
カメラにより撮影された検査対象の画像である検査対象画像を用いて，検査対象を視覚的に検査する外観検査装置であって，
複数の正規化用リファレンス画像と，その正規化用リファレンス画像の位置と，検査用リファレンス画像と，その検査用リファレンス画像の位置とが記憶された記憶部と，
解像度が下げられた前記検査対象画像上の，解像度が下げられた前記記憶部に記憶された前記正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第一の画像比較部と，
前記記憶部に記憶された前記正規化用リファレンス画像の位置と，前記第一の画像比較部により検出された位置との関係に基づいて，前記検査対象画像を正規化する変換を行う第一の変換部と，
前記第一の変換部により変換された前記検査対象画像上の，前記記憶部に記憶された前記正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第二の画像比較部と，
前記記憶部に記憶された前記正規化用リファレンス画像の位置と，前記第二の画像比較部により検出された位置との関係に基づいて，前記第一の変換部により変換された前記検査対象画像をさらに正規化する変換を行う第二の変換部と，
前記第二の変換部により変換された前記検査対象画像上の，前記記憶部に記憶された検査用リファレンス画像の位置の周辺の所定範囲から，前記記憶部に記憶された検査用リファレンス画像との類似度が所定の閾値以上である領域が検出されるか否かを判定する検査部とを備える
ことを特徴とする外観検査装置。
【請求項２】
前記第一の変換部は，前記記憶部に記憶された４つの前記正規化用リファレンス画像の位置と，前記第一の画像比較部により検出された４つの位置との関係に基づいた擬似アフィン変換により，前記検査対象画像を正規化する変換を行い，
前記第二の変換部は，前記記憶部に記憶された４つの前記正規化用リファレンス画像の位置と，前記第二の画像比較部により検出された４つの位置との関係に基づいた擬似アフィン変換により，前記第一の変換部により変換された前記検査対象画像をさらに正規化する変換を行う
ことを特徴とする請求項１に記載された外観検査装置。
【請求項３】
前記記憶部は，到達検出用リファレンス画像と，その到達検出用リファレンス画像の位置とをさらに記憶し，
前記カメラの撮影により得られたカメラ画像上の，前記記憶部に記憶された前記到達検出用リファレンス画像の位置の周辺の所定範囲から，前記記憶部に記憶された到達検出用リファレンス画像との類似度が所定の閾値以上である領域が検出されたときに，当該カメラ画像を前記検査対象画像とする到達検出部をさらに備える
ことを特徴とする請求項１または請求項２に記載された外観検査装置。
【請求項４】
カメラにより撮影された検査対象の画像である検査対象画像を用いて，検査対象を視覚的に検査する外観検査装置のコンピュータによる外観検査方法であって，
前記コンピュータが，
解像度が下げられた前記検査対象画像上の，解像度が下げられた，前記コンピュータがアクセス可能な記憶装置に記憶された正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第一の画像比較過程と，
前記記憶装置に記憶された前記正規化用リファレンス画像の位置と，前記第一の画像比較過程により検出された位置との関係に基づいて，前記検査対象画像を正規化する変換を行う第一の変換過程と，
前記第一の変換過程により変換された前記検査対象画像上の，前記記憶装置に記憶された前記正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第二の画像比較過程と，
前記記憶装置に記憶された前記正規化用リファレンス画像の位置と，前記第二の画像比較過程により検出された位置との関係に基づいて，前記第一の変換過程により変換された前記検査対象画像をさらに正規化する変換を行う第二の変換過程と，
前記第二の変換過程により変換された前記検査対象画像上の，前記記憶装置に記憶された検査用リファレンス画像の位置の周辺の所定範囲から，前記記憶装置に記憶された検査用リファレンス画像との類似度が所定の閾値以上である領域が検出されるか否かを判定する検査過程とを実行する
ことを特徴とする外観検査方法。
【請求項５】
カメラにより撮影された検査対象の画像である検査対象画像を用いて，検査対象を視覚的に検査する外観検査装置のコンピュータに実行させるためのプログラムであって，
前記コンピュータに，
解像度が下げられた前記検査対象画像上の，解像度が下げられた，前記コンピュータがアクセス可能な記憶装置に記憶された正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第一の画像比較手順と，
前記記憶装置に記憶された前記正規化用リファレンス画像の位置と，前記第一の画像比較手順により検出された位置との関係に基づいて，前記検査対象画像を正規化する変換を行う第一の変換手順と，
前記第一の変換手順により変換された前記検査対象画像上の，前記記憶装置に記憶された前記正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第二の画像比較手順と，
前記記憶装置に記憶された前記正規化用リファレンス画像の位置と，前記第二の画像比較手順により検出された位置との関係に基づいて，前記第一の変換手順により変換された前記検査対象画像をさらに正規化する変換を行う第二の変換手順と，
前記第二の変換手順により変換された前記検査対象画像上の，前記記憶装置に記憶された検査用リファレンス画像の位置の周辺の所定範囲から，前記記憶装置に記憶された検査用リファレンス画像との類似度が所定の閾値以上である領域が検出されるか否かを判定する検査手順とを
実行させるための外観検査プログラム。
【請求項１】
カメラにより撮影された検査対象の画像である検査対象画像を用いて，検査対象を視覚的に検査する外観検査装置であって，
複数の正規化用リファレンス画像と，その正規化用リファレンス画像の位置と，検査用リファレンス画像と，その検査用リファレンス画像の位置とが記憶された記憶部と，
解像度が下げられた前記検査対象画像上の，解像度が下げられた前記記憶部に記憶された前記正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第一の画像比較部と，
前記記憶部に記憶された前記正規化用リファレンス画像の位置と，前記第一の画像比較部により検出された位置との関係に基づいて，前記検査対象画像を正規化する変換を行う第一の変換部と，
前記第一の変換部により変換された前記検査対象画像上の，前記記憶部に記憶された前記正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第二の画像比較部と，
前記記憶部に記憶された前記正規化用リファレンス画像の位置と，前記第二の画像比較部により検出された位置との関係に基づいて，前記第一の変換部により変換された前記検査対象画像をさらに正規化する変換を行う第二の変換部と，
前記第二の変換部により変換された前記検査対象画像上の，前記記憶部に記憶された検査用リファレンス画像の位置の周辺の所定範囲から，前記記憶部に記憶された検査用リファレンス画像との類似度が所定の閾値以上である領域が検出されるか否かを判定する検査部とを備える
ことを特徴とする外観検査装置。
【請求項２】
前記第一の変換部は，前記記憶部に記憶された４つの前記正規化用リファレンス画像の位置と，前記第一の画像比較部により検出された４つの位置との関係に基づいた擬似アフィン変換により，前記検査対象画像を正規化する変換を行い，
前記第二の変換部は，前記記憶部に記憶された４つの前記正規化用リファレンス画像の位置と，前記第二の画像比較部により検出された４つの位置との関係に基づいた擬似アフィン変換により，前記第一の変換部により変換された前記検査対象画像をさらに正規化する変換を行う
ことを特徴とする請求項１に記載された外観検査装置。
【請求項３】
前記記憶部は，到達検出用リファレンス画像と，その到達検出用リファレンス画像の位置とをさらに記憶し，
前記カメラの撮影により得られたカメラ画像上の，前記記憶部に記憶された前記到達検出用リファレンス画像の位置の周辺の所定範囲から，前記記憶部に記憶された到達検出用リファレンス画像との類似度が所定の閾値以上である領域が検出されたときに，当該カメラ画像を前記検査対象画像とする到達検出部をさらに備える
ことを特徴とする請求項１または請求項２に記載された外観検査装置。
【請求項４】
カメラにより撮影された検査対象の画像である検査対象画像を用いて，検査対象を視覚的に検査する外観検査装置のコンピュータによる外観検査方法であって，
前記コンピュータが，
解像度が下げられた前記検査対象画像上の，解像度が下げられた，前記コンピュータがアクセス可能な記憶装置に記憶された正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第一の画像比較過程と，
前記記憶装置に記憶された前記正規化用リファレンス画像の位置と，前記第一の画像比較過程により検出された位置との関係に基づいて，前記検査対象画像を正規化する変換を行う第一の変換過程と，
前記第一の変換過程により変換された前記検査対象画像上の，前記記憶装置に記憶された前記正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第二の画像比較過程と，
前記記憶装置に記憶された前記正規化用リファレンス画像の位置と，前記第二の画像比較過程により検出された位置との関係に基づいて，前記第一の変換過程により変換された前記検査対象画像をさらに正規化する変換を行う第二の変換過程と，
前記第二の変換過程により変換された前記検査対象画像上の，前記記憶装置に記憶された検査用リファレンス画像の位置の周辺の所定範囲から，前記記憶装置に記憶された検査用リファレンス画像との類似度が所定の閾値以上である領域が検出されるか否かを判定する検査過程とを実行する
ことを特徴とする外観検査方法。
【請求項５】
カメラにより撮影された検査対象の画像である検査対象画像を用いて，検査対象を視覚的に検査する外観検査装置のコンピュータに実行させるためのプログラムであって，
前記コンピュータに，
解像度が下げられた前記検査対象画像上の，解像度が下げられた，前記コンピュータがアクセス可能な記憶装置に記憶された正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第一の画像比較手順と，
前記記憶装置に記憶された前記正規化用リファレンス画像の位置と，前記第一の画像比較手順により検出された位置との関係に基づいて，前記検査対象画像を正規化する変換を行う第一の変換手順と，
前記第一の変換手順により変換された前記検査対象画像上の，前記記憶装置に記憶された前記正規化用リファレンス画像との類似度が最も高い領域の位置を検出する第二の画像比較手順と，
前記記憶装置に記憶された前記正規化用リファレンス画像の位置と，前記第二の画像比較手順により検出された位置との関係に基づいて，前記第一の変換手順により変換された前記検査対象画像をさらに正規化する変換を行う第二の変換手順と，
前記第二の変換手順により変換された前記検査対象画像上の，前記記憶装置に記憶された検査用リファレンス画像の位置の周辺の所定範囲から，前記記憶装置に記憶された検査用リファレンス画像との類似度が所定の閾値以上である領域が検出されるか否かを判定する検査手順とを
実行させるための外観検査プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−７５２８９（Ｐ２０１１−７５２８９Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２２３８８９（Ｐ２００９−２２３８８９）
【出願日】平成２１年９月２９日（２００９．９．２９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年９月２９日（２００９．９．２９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]