欠陥検査装置
【課題】 可視画像だけではとらえることの難しいひび割れなどの欠陥を検査する装置を提供する。
【解決手段】 可視画像撮像部２と赤外画像撮像部１０は、ともに同一の対象領域を撮像する。赤外画像欠陥部位特定手段１２は、当該赤外画像のいずれか１枚に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する。赤外画画像検索領域設定手段１４は、赤外画像において、前記欠陥部位を含む検索領域を設定する。可視画像検索領域設定手段４は、赤外画像に設定された検索領域に対応させて、一連の可視画像に検索領域を設定する。可視画像高解像度処理手段５は、上記一連の可視画像に設定された検索領域について、高解像度化を行う。可視画像欠陥部位特定手段６は、高解像度化された一連の可視画像の検索領域に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する。可視画像欠陥寸法特定手段８は、一連の可視画像の検索領域に基づいて、前記欠陥部位の寸法を特定する。
【解決手段】 可視画像撮像部２と赤外画像撮像部１０は、ともに同一の対象領域を撮像する。赤外画像欠陥部位特定手段１２は、当該赤外画像のいずれか１枚に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する。赤外画画像検索領域設定手段１４は、赤外画像において、前記欠陥部位を含む検索領域を設定する。可視画像検索領域設定手段４は、赤外画像に設定された検索領域に対応させて、一連の可視画像に検索領域を設定する。可視画像高解像度処理手段５は、上記一連の可視画像に設定された検索領域について、高解像度化を行う。可視画像欠陥部位特定手段６は、高解像度化された一連の可視画像の検索領域に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する。可視画像欠陥寸法特定手段８は、一連の可視画像の検索領域に基づいて、前記欠陥部位の寸法を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ひび割れなどの欠陥を検査する装置に関するものである。
【背景技術】
【０００２】
コンクリート表面のひび割れの分布状況等を、自動的に解析する方法が提案されている。たとえば、非特許文献１においては、検査対象をディジタルカメラにて可視画像として撮像し、ウエーブレット変換と二値化処理を行ってひび割れ部分の特定を行っている。さらに、その画像に基づいて、ひび割れの幅を算出する処理も行っている。
【０００３】
このような方法は、ひび割れの自動検出という点において有効であるが、ひび割れ幅が小さい場合には、可視画像ではひび割れ部分が判別できないという問題がある。また、ひび割れが表面ではなく、内部に生じている場合にも同様の問題を生じる。
【０００４】
そこで、赤外線カメラによって検査対象を撮像し、上記と同様の処理を行うことで、上記のような可視画像では見出しにくいひび割れについても特定することが提案されている（非特許文献２）。赤外線カメラでは、可視画像にて見出しにくい部分においても明確な温度差が生じることから、ひび割れの特定が可能になるからである。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】丸屋剛他「ウエーブレット変換を用いた床版コンクリートのひび割れ調査の実用化」コンクリート工学年次論文集、２９巻２号（２００７年）
【非特許文献２】稲葉茂「サーモグラフィ法によるひびわれ幅と測定距離の関係、サーモグラフィー法に関するコンファレンス論文集」２９頁〜 ３２頁（１９９２年４月）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術による赤外線カメラを用いたひび割れの特定方法では、赤外線カメラの解像度が可視カメラに比べて低いため、ひび割れの形状や寸法などの特定が十分でないという問題があった。
【０００７】
また、近年、少しずつ位置をずらせた複数の画像を用いて、高解像度化する技術（超解像度化）が実用化されている。これら技術を、上記の赤外画像に適用して高解像度化することも考えられるが、次のような問題を生じる。
【０００８】
すなわち、超解像度化処理などの高解像度化処理においては、異なる画像の位置ずれ量が正確にわかることを前提として、この位置ずれ量に基づいて処理を行う。可視画像であれば、画像自体から特定の部位を参照点として決定し、複数の画像における前記参照点のずれ量を知ることができる。しかしながら、赤外画像では、可視画像に比べてコントラストが低く、画像自体から参照点を正確に決定することが困難であり、複数の画像における参照点のずれ量を正確に得ることは難しい。このため、赤外画像に基づいて、高解像度化処理を行うことは困難であった。
【０００９】
したがって、可視画像による検査を行わざるを得ず、可視画像ではとらえにくいひび割れなどの欠陥の特定や寸法は、検出できないという問題点があった。
【００１０】
この発明は、上記のような問題点を解決して、可視画像だけではとらえることの難しいひび割れなどの欠陥を検査する装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
(1)(3)この発明に係る欠陥検査装置は、撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成する可視画像撮像部と、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する赤外画像撮像部と、前記赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、前記赤外画像において、前記欠陥部位を含む検索領域を設定する赤外画像検索領域設定手段と、前記赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定する可視画像検索領域設定手段と、前記検索領域における一連の可視画像に基づいて、高解像度化処理を行い、高解像度化された検索領域可視画像を得る可視画像高解像度化手段と、前記検索領域可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する可視画像欠陥部位特定手段とを備えている。
【００１２】
赤外画像に基づき欠陥の部位を特定するようにしているので、可視画像では発見しにくい欠陥を見出すことができる。
【００１３】
(2)(4)この発明に係る欠陥検査装置は、検索領域可視画像に基づいて、欠陥部位の寸法を特定する可視画像欠陥寸法特定手段を備えている。
【００１４】
赤外画像に基づき欠陥の部位を特定するようにしているので、可視画像では発見しにくい欠陥を見出すことができる。ただし、赤外画像だけでは欠陥を発見することはできても、赤外画像自体だけでは高解像度化することができず寸法の特定が困難である。そこで、赤外画像にて見いだした欠陥部位を、対応する可視画像によって高解像度化するようにしている。これにより、可視画像における欠陥部位の周辺だけを高解像度化するので、可視画像においても欠陥部位を見出すことが可能となり、しかも、高解像度化されているので欠陥寸法を特定することができる。
【００１５】
(7)(9)この発明に係る欠陥検査装置は、撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成する可視画像撮像部と、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する赤外画像撮像部と、前記赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、前記赤外画像において、前記欠陥部位を含む検索領域を設定する赤外画像検索領域設定手段と、前記赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定する可視画像検索領域設定手段と、前記一連の可視画像の検索領域を用い、当該一連の検索領域の位置ずれ情報に基づいて、当該検索領域における可視画像の高解像度化処理を行う可視画像高解像度化処理手段と、前記高解像度化された検索領域における一連の可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する可視画像欠陥部位特定手段とを備えている。
【００１６】
赤外画像に基づき欠陥の部位を特定するようにしているので、可視画像では発見しにくい欠陥を見すことができる。
【００１７】
(8)(10)この発明に係る欠陥検査装置は、高解像度化された検索領域における一連の可視画像に基づいて、前記欠陥部位の寸法を特定する可視画像欠陥寸法特定手段をさらに備えている。
【００１８】
したがって、欠陥部位の寸法を特定することができる。
【００１９】
(13)(15)この発明に係る欠陥検査装置は、撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成する可視画像撮像部と、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する赤外画像撮像部と、前記一連の赤外画像を用い、当該一連の赤外画像に対応する可視画像の位置ずれ情報に基づいて、当該赤外画像の高解像度化処理を行う赤外画像高解像度化処理手段と、前記高解像度化された一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段を備えている。
【００２０】
赤外画像に基づき欠陥の部位を特定するようにしているので、可視画像では発見しにくい欠陥を見い出すことができる。ただし、可視画像だけでは欠陥を発見することはできても、可視画像自体だけでは高解像度化することができず寸法の特定が困難である。そこで、可視画像による位置情報に基づいて赤外画像を高解像度化するようにし、欠陥寸法の特定を行うようにしている。
【００２１】
「赤外画像欠陥部位特定手段」は、実施形態においては、図４ａのステップＳ３に対応する。
【００２２】
「赤外画像検索領域設定手段」は、実施形態においては、図４ａのステップＳ４に対応する。
【００２３】
「可視画像検索領域設定手段」は、実施形態においては、図４ａのステップＳ６に対応する。
【００２４】
「可視画像高解像度化手段」は、実施形態においては、図４ａのステップＳ７に対応する。
【００２５】
「可視画像欠陥部位特定手段」は、実施形態においては、図４ａのステップＳ８に対応する。
【００２６】
「可視画像欠陥寸法特定手段」は、実施形態においては、図４ａのステップＳ９に対応する。
【００２７】
「赤外画像高解像度化処理手段」は、実施形態においては、図２１のステップＳ１３に対応する。
【００２８】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【図面の簡単な説明】
【００２９】
【図１】第一の実施形態による欠陥検査装置の機能ブロック図である。
【図２】欠陥検査装置の全体構成を示す図である。
【図３】欠陥検査装置のハードウエア構成である。
【図４ａ】欠陥検査プログラムのフローチャートである。
【図４ｂ】欠陥検査プログラムのフローチャートである。
【図５】一連の可視画像を示す図である。
【図６】一連の赤外画像を示す図である。
【図７】可視画像と赤外画像の大きさや形状をそろえる処理を模式的に示す図である。
【図８】ひび割れを特定した赤外画像を示す図である。
【図９】赤外画像検索領域を示す図である。
【図１０】可視画像選択領域を示す図である。
【図１１】各可視画像選択領域における一連の選択領域可視画像を示す図である。
【図１２】超解像処理を説明するための図である。
【図１３】超解像処理を説明するための図である。
【図１４】超解像処理を説明するための図である。
【図１５】超解像処理を説明するための図である。
【図１６】超解像処理を説明するための図である。
【図１７】高解像度化された検索領域可視画像を示す図である。
【図１８】ひび割れ画像における幅αを示す図である。
【図１９】第二の実施形態による欠陥検査装置の機能ブロック図である。
【図２０】第三の実施形態による欠陥検査装置の機能ブロック図である。
【図２１】欠陥検査プログラムのフローチャートを示す図である。
【図２２】空間的な面関数を示す図である。
【図２３】ＲＧＢを三角形として考えた図である。
【発明を実施するための形態】
【００３０】
１．第一の実施形態
(1)機能ブロック図
図１に、この発明の一実施形態による欠陥検査装置の全体構成図を示す。可視画像撮像部２は、撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成するものである。赤外画像撮像部１０は、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像するものである。これにより、赤外画像撮像部１０は、一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する。
【００３１】
赤外画像欠陥部位特定手段１２は、当該赤外画像のいずれか１枚（２枚以上を用いてもよい）に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する。赤外画像検索領域設定手段１４は、赤外画像において、前記欠陥部位を含む検索領域を設定する。可視画像検索領域設定手段４は、赤外画像に設定された検索領域に対応させて、一連の可視画像に検索領域を設定する。
【００３２】
可視画像高解像度化処理手段５は、上記一連の可視画像に設定された検索領域について、高解像度化を行う。可視画像欠陥部位特定手段６は、高解像度化された一連の可視画像の検索領域に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する。可視画像欠陥寸法特定手段８は、一連の可視画像の検索領域に基づいて、前記欠陥部位の寸法を特定する。
【００３３】
(2)全体構成
図２に、この発明の一実施形態による欠陥検査装置の全体構成を示す。可視画像撮像部である可視カメラ１６と、赤外画像撮像部である赤外カメラ１８が設けられている。可視カメラ１６の光軸２０と赤外カメラ１８の光軸２２は、平行に設定され、検査対象２４を撮像している。このように、可視カメラ１６と赤外カメラ１８の光軸２０、２２は平行に設定されているので、距離に拘わらず、可視カメラ１６と赤外カメラ１８は、検査対象２４のほぼ同じ領域を撮像することになる。
【００３４】
可視カメラ１６、赤外カメラ１８、コンピュータ２６は、車など（図示せず）に搭載され、紙面に垂直な方向に移動される。可視カメラ１６、赤外カメラ１８の移動方向は、検査対象２４に生じていると予想されるひび割れ方向に垂直な方向であることが好ましい。
【００３５】
可視カメラ１６による可視画像、赤外カメラ１８による赤外画像は、コンピュータ２６に入力され、欠陥検査プログラムによって、ひび割れ箇所の特定と寸法判定がなされる。
【００３６】
(3)ハードウエア構成
図３に、欠陥検査装置のハードウエア構成を示す。ＣＰＵ３２には、ディスプレイ３０、可視カメラ１６、赤外カメラ１８、ハードディスク３４、メモリ３６が接続されている。ハードディスク３４には、オペレーティングシステム（WINDOWS（商標）など）３８、欠陥検査プログラム４０が記録されている。オペレーティングシステム３８、欠陥検査プログラム４０は、ＣＤ−ＲＯＭドライブ４２を介して、ＣＤ−ＲＯＭ４４に記録されていたオペレーティングシステム３８、欠陥検査プログラム４０がインストールされたものである。欠陥検査プログラム４０は、オペレーティングシステム３８と協働してその機能を発揮する。
【００３７】
(4)欠陥検査プログラムのフローチャート
図４ａ、図４ｂに、ハードディスク３４に記録された欠陥検査プログラム４０のフローチャートを示す。
【００３８】
ＣＰＵ３２は、可視カメラ１６からの可視画像をハードディスク３４に記録する（ステップＳ１）。なお、可視カメラ１６は、検査対象２４に対して移動しながら撮像を行うので、少しずつ位置の異なる一連の画像がハードディスク３４に記録されることになる。この実施形態では、縦２０４８ピクセル、横２０４８ピクセルの画像を、連続してハードディスク３４に記録した。図５Ａ、Ｂ、Ｃに、このようにして記録された一連の可視画像の例を示す。可視カメラ１６が移動していることから、画像が少しずつずれていることが伺える。
【００３９】
ＣＰＵ３２は、赤外カメラ１８からの赤外画像をハードディスク３４に記録する（ステップＳ１）。赤外カメラ１８も、可視カメラ１６とおなじように検査対象２４に対して移動しながら撮像を行うので、少しずつ位置の異なる一連の画像がハードディスク３４に記録されることになる。なお、赤外画像は、可視画像に比べてピクセル密度が粗いだけでなく、画像のコントラストが明瞭でないという特徴がある。
【００４０】
図６Ａ、Ｂ、Ｃに、このようにして記録された一連の赤外画像の例を示す。図から明らかなように、可視画像（図５Ａ、Ｂ、Ｃ）では、見えにくかったひび割れ３１が現れている。これは、赤外カメラ１８が、温度差に基づく画像を生成するので、微細なひび割れであっても、周りとの温度差を生じる以上、画像として現れるからである。なお、コンクリートなどに生じたひび割れ部分には、コンクリートが存在せず空気（あるいは水）があることになるので、周りのコンクリートとの比熱などの差から、温度に差異が生じることになる。
【００４１】
次に、ＣＰＵ３２は、可視カメラ１６と赤外カメラ１８のレンズ収差の違いや、レンズ光軸間距離の違いなどを考慮して補正を行い、可視画像と赤外画像が同じ位置となるようにする。たとえば、図７Ａに示す可視画像、赤外画像のそれぞれについてレンズ収差を修正して、図７Ｂに示すように、可視画像と赤外画像の大きさ形状をそろえる。さらに、図７Ｃの太枠に示すように、レンズ光軸のずれ（図２の光軸２０と２２参照）を考慮して、計算上、可視画像と赤外画像において同じ領域といえる領域を切り出す。このような処理を、可視画像、赤外画像の一連の画像について行う。
【００４２】
ＣＰＵ３２は、このようにして同じ領域として取り出した可視画像と赤外画像をハードディスク３４に記録する。ここでは、このようにして記録された一連の可視画像と一連の赤外画像が、図５、図６のようであったとする。図５、図６は、ステップＳ１の際の記録画像を示すものとして用いたが、この明細書では、便宜上ステップＳ２の際の記録画像を示すものとしても用いる。
【００４３】
次に、ＣＰＵ３２は、一連の赤外画像のうちの１枚の画像を用いて、ひび割れ部分の特定を行う（ステップＳ３）。たとえば、図６Ａの赤外画像を用いて、ひび割れ部位を特定する。ＣＰＵ３２は、図６Ａの赤外画像を二値化処理などしてノイズを取り除き、連続した直線状の形状を検索することで、図８Ａのような画像を得て、ひび割れ部分を特定する。なお、ひび割れ部分の特定処理については、丸屋剛「ウエーブレット変換を用いた床版コンクリートのひび割れ調査の実用化」コンクリート工学年次論文集２９巻２号（２００７年）などの技術を用いることができる。
【００４４】
次に、ＣＰＵ３２は、図８Ａのようにひび割れ部位を特定した画像において、図９に示すように、ひび割れ部位を含む赤外画像検索領域４２、４４、４６、４８を設定する（ステップＳ４）。たとえば、検索領域の横幅を決めておき、これにしたがって、ひび割れ領域が含まれるように、矩形領域を設定すればよい。
【００４５】
次に、ＣＰＵ３２は、図９の赤外画像検索領域を設定するために用いた図６Ａの赤外画像に対応する、図５Ａの可視画像を取り出す。そして、図５Ａの可視画像において、赤外画像検索領域４２、４４、４６、３８のそれぞれに対応する可視画像検索領域５２、５４、５６、５８を設定する（図１０参照）（ステップＳ５）。赤外画像と可視画像は、前述のようにその位置関係が対応しているので、赤外画像における赤外画像検索領域に対応する可視画像の位置に、可視画像検索領域５２、５４、５６、５８を設定すればよい。これにより、図１０に示すように、可視画像だけでは見出しにくいひび割れ領域を含む可視画像検索領域５２を設定することができる。図１０（図５Ａ）の可視画像検索領域５２、５４、５６、５８のそれぞれの画像は、検索領域可視画像としてハードディスク３４に記録される。
【００４６】
続いて、ＣＰＵ３２は、ハードディスク３４に記録された次の可視画像（図５Ｂ）を読み出し、図１０において設定した赤外画像検索領域と同じ位置に可視画像検索領域５２、５４、５６、５８を設定する。図５Ｂの可視画像検索領域５２、５４、５６、５８（図示せず）のそれぞれの画像は、検索領域可視画像としてハードディスク３４に記録される。
【００４７】
上記と同様にして一連の可視画像について、可視画像検索領域５２、５４、５６、５８を設定し、その領域の画像を検索領域可視画像としてハードディスク３４に記録する。
【００４８】
可視画像検索領域５２、５４、５６、５８は一連の可視画像において固定されており、可視画像の撮像位置は移動しているので、図１１Ａ、Ｂ、Ｃに示すように、可視画像検索領域５２、５４、５６、５８の一連の検索領域可視画像においては、ひび割れが順次移動した状態となる。
【００４９】
次に、図１１に示す一連の検索領域可視画像に基づいて、各領域５２、５４、５６、５８ごとに高解像度化を行う（ステップＳ７）。この実施形態では、超解像処理により高解像度化を図っている。
【００５０】
超解像処理の原理を、図１２に示す。図１２Ａが、本来の輝度（オリジナル）のカーブαを示している。これに対し、これをディジタル化すると、図１２Ｂに示すように、本来の輝度カーブαを反映した、画素幅にて平均した離散値となる（ディジタル画像１）。この撮像位置を１／２画素だけずらすと、図１２Ｃに示すようなディジタル画像２となる。そこで、各位置において、ディジタル画像１の値と、ディジタル画像２の値との平均をとることで、図１２Ｄに示すような高解像度化されたディジタル画像を得ることができる。このような処理を、２次元的に行うことで、ディジタル画像の高解像度化を行うことができる。
【００５１】
上記のような超解像処理を行うためには、複数の画像の位置ずれ量を画素より細かな単位で正確に把握する必要がある。この実施形態では、図１１Ａ、Ｂ、Ｃに示す一連の検索領域可視画像自体に基づいて、位置ずれ量を算出している。たとえば、ＳＳＤ（残差平方和）２次元パラボラフィッテングによって画像の位置ずれ量を決定することができる。以下、ＳＳＤ２次元パラボラフィッテングについて説明する。
【００５２】
たとえば、領域５２における図１１Ａの検索領域可視画像と、領域５４における図１１Ｂの検索領域可視画像との位置ずれ量を求めるには、次のようにして行う。
【００５３】
比較対象画像１（領域５２の図１１Ａの画像）、画像２（領域５４の図１１Ｂの画像）のある座標（x,y）の輝度値をそれぞれI1（x,y），I2（x,y）としたとき，画像１に対する画像２のピクセル単位の変位が（dx，dy）であるときＳＳＤは下式で表わされる。
【００５４】
【数１】
【００５５】
ここで，ＷはＳＳＤを計算する注目領域(subset)を表わす。ピクセル単位でのずれ量を測定する場合には、ＳＳＤ(dx,dy)が最小となる(dx,dy)を求めればよい。それに対し、サブピクセル単位（画素より細かな単位で）の移動量を求めるには、以下のように、ＳＳＤの値が移動量に対して二次関数に近似できると仮定したパラボラフィッティングが用いられる。
【００５６】
(dx,dy)を変動させ、ＳＳＤ(dx,dy)を最小とするピクセル単位の移動量(dx,dy)を求める。このときの移動量を(dx,dy)を(i,j)（整数）とする。さらにＳＳＤ(i-1,,j),ＳＳＤ(i,,j-1),(i,,j+1)を求める。
【００５７】
(i,j)の近傍では、ＳＳＤ(x,y)は二次方程式Ｄp(dx.dy)で表現できるとし、その係数をＳＳＤ(i.j),ＳＳＤ(i-1,j),ＳＳＤ(i,j-1),ＳＳＤ(i+1,j),ＳＳＤ(i,j+1)から求める。これにより、ＳＳＤ(dx.dy)を最小とする(dx,dy)がＤp(dx,dy)の頂点として求まる。これを平行移動における変位の位置とすることができる。
【００５８】
次に、ＳＳＤを最小とする(dx,dy)であるＤp(dx,dy)の頂点を求める方法について述べる。
【００５９】
ここで、Ｄp(dx,dy)は以下のように示されるものとする。
【００６０】
【数２】
【００６１】
ＳＳＤ(i.j),ＳＳＤ(i-1,j),ＳＳＤ(i,j-1),ＳＳＤ(i+1,j),ＳＳＤ(i,j+1)の値を求めて、次式に代入し、係数ａk（K=0,1,2,3,4）を算出する。
【００６２】
【数３】
【００６３】
である。また、式(2)は次のように変形できる。
【００６４】
【数４】
【００６５】
このとき、係数ａkが求まれば、サブピクセル単位の移動量を二次関数Ｄp(dx,dy)の頂点(-a1/a0,-a3/a2)として計算できる。
【００６６】
以上のようにして、領域５２の図１１Ａの画像と領域５４の図１１Ｂの画像とのずれ量をサブピクセル単位（画素より細かい単位）で算出することができる。
【００６７】
続いて、上記のようにして算出したずれ量に基づいて、高解像度画像を求める。高解像度化の手法としては、画素ずらし法、重みを考慮した画素ずらし法、局所反復演算を用いた方法などがある。
【００６８】
画素ずらし法は、高解像度画像のある画素の輝度値を求めるために、測定された複数枚の低解像度画像の該当する輝度値の平均をとる方法である。例えば、図１３のように実線の格子で示された基準低解像度画像に対して、点線で示されたある低解像度画像の移動画素量が(k+dx,l+dy)であるときを考える。このとき、Irefの画素(i,j)とIfの画素(i+k,j+l)の重なった領域である領域Ａに含まれる高解像度画像における画素の輝度値はすべて{Iref(i,j)+If(i+k,j+l)}/2で表わす。
【００６９】
移動量が１ピクセル以内でさまざまに異なる複数の画像データを使用すれば、分割数を増やすことができるため、原理的にはより高解像度な画像が得られる。
【００７０】
重みを考慮した画素ずらし法は、以下のように実行される。画素ずらし法における単なる画像の重ね合わせでは、高解像度画像のある画素の輝度値、低解像度画像の画素のうち、影響の大きいものからも小さいものからも同じ影響を受けて生成されてしまう。例えば、図１４のように３枚の参照低解像度画像Ａ、Ｂ、Ｃを用いて、参照画像Ａの各画素を３分割するような高解像度画像のある画素Ｓ1はＡ、Ｂ、Ｃのある画素Ａ2、Ｂ1、Ｂ2、Ｃ1から影響を受ける。しかし、実際この中でＳ1の輝度値に最も近い値を持つものはＳ1の画素中心に最も近い画素中心を持つＣ1であると考えられる。そこで、高解像度画像のある画素の輝度値を求める際には画素中心同士が近い低解像度画像の画素の輝度値がより大きく影響するように重み関数をかけて平均をとる。
【００７１】
局所反復演算を用いた方法では、測定された複数枚の低解像度画像ｆiは、それぞれが真の高解像度画像CRealからの標本化により得られる画像であると考える。
【００７２】
図１５の右上図のように低解像度画像の輝度値ｆi(u,v)が真の高解像度画像の輝度値ＣReal(xu,yv)の近傍９点から標本化されるとするとｆi(u,v)は数式(6)のように表わされる。ただし、(xu,yv)は高解像度画像にしたときの座標系におけるｆi(u,v)の中心を含む画素の座標を表すものとする。
【００７３】
【数５】
【００７４】
hfi(k,l)は高解像度画像Crealに対するfiの標本化関数であり，(xu,yv)から(k,l)だけ離れた高解像度画像の画素が低解像度画像の画素(u,v)に対して接している面積割合とした。
【００７５】
高解像度画像は、次に述べる処理を反復することで構築できる。その概念図を図１６に示す。
【００７６】
ステップ１ : 高解像度画像の輝度値の初期値C0(x,y)を設定する。初期値の選択は収束結果には影響しないのでどのような画像でもよいが、本研究では収束の速さの観点から位置合わせのために用いた基準画像を線形補間により細分化した画像を用いた。ここでの、繰り返し回数n=0とする。
【００７７】
ステップ２ : Cn(x,y)に対し、Crealに対する測定データfi(u,v)の標本化関数hfi(k,l)を適用することで、低解像度画像Fi(U,V)を作成する。iは観測データ番号を表す。
【００７８】
ステップ３： もしCn(x,y)の値が真の高解像度画像の輝度値Creal(x,y)であった場合、ステップ２で生成された低解像度画像Fi(u,v)は実際に測定された低解像度画像fi(u,v)と一致するはずである。そこで、観測誤差Enを数式(6)のように定義して、Enが最小値をとるときに処理を終了するものとする。
【００７９】
【数６】
【００８０】
ステップ４：En が十分に小さくないとき、Cn(x,y)を修正して、これをCn+1(x,y)とし、ステップ２に戻る。高解像度画像の画素(x,y)が影響を与える低解像度画像の画素を(ux,vy)としその低解像度画像に関する補正量Δei(ux,vy)を数式(7)のように表わす。
【００８１】
【数７】
【００８２】
このとき、aは適当なスケーリングパラメーターとする。
【００８３】
高解像度画像の１画素が影響を与える低解像度画像の画素は最大で４画素あるので個々のΔei(ux,vy)に対する重みをwi(ux,vy)としたとき、それらの重み付き平均を高解像度画像の画素(x,y)に対する総修正量Δei(x,y)とすると、Cn+1(x,y)は数式(8)のように表わされる。
【００８４】
【数８】
【００８５】
ここで、重み関数wiとして、Crealに対する測定データfi(u,v)の標本化関数hfiを使用することにする。wiの候補として平滑化フィルタ、鮮鋭化フィルタを使用することも提唱されている。このとき、数式(8)を書き直すと、数式(9)のようになる。
【００８６】
【数９】
【００８７】
ＣＰＵ３２は、上記にて説明した超解像処理を、各領域５２の一連の検索領域可視画像を用いて行い、高解像度化された検索領域可視画像を得る。同様に、他の領域５４、５６、５８の一連の検索領域可視画像についても、超解像度処理により、高解像度化された検索領域可視画像を得る。
【００８８】
このようにして得た、各領域５２、５４、５６、５８の高解像度化された検索領域可視画像を図１７に示す。高解像度化により、オリジナルの可視画像では判別が困難であった、領域５２のひび割れが明瞭化されている。また、領域５４、５６、５８においても、高解像度化によりひび割れの幅が明瞭化されることになる。
【００８９】
ＣＰＵ３２は、このようにして高解像度化された各領域５２、５４、５６、５８の可視画像について、ステップＳ３と同様の手法によりひび割れ特定の処理を行う(ステップＳ８)。ＣＰＵ３２は、このようにして特定したひび割れを、ディスプレイ３０に表示する。
【００９０】
さらに、画像中のひび割れ部分につき、その延長方向に垂直な方向として幅を定義し、各ひび割れ中の最も大きな幅（たとえば、図１８のα部分）の寸法を、ひび割れ寸法として算出する。
２．第２の実施形態
図１９に、第二の実施形態による欠陥検査装置の全体構成図を示す。この実施形態では、第一の実施形態と異なり、可視画像高解像度化処理手段５が設けられていない。可視画像撮像部２は、撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成するものである。赤外画像撮像部１０は、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像するものである。これにより、赤外画像撮像部１０は、一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する。
【００９１】
赤外画像欠陥部位特定手段１２は、当該赤外画像のいずれか１枚（２枚以上を用いてもよい）に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する。赤外画像検索領域設定手段１４は、赤外画像において、前記欠陥部位を含む検索領域を設定する。可視画像検索領域設定手段４は、赤外画像に設定された検索領域に対応させて、一連の可視画像に検索領域を設定する。
【００９２】
可視画像欠陥部位特定手段６は、一連の可視画像の検索領域に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する。可視画像欠陥寸法特定手段８は、一連の可視画像の検索領域に基づいて、前記欠陥部位の寸法を特定する。
【００９３】
第二の実施形態における欠陥検査プログラムのフローチャートは、図４ａ、図４ｂとほぼ同じである。ただし、ステップＳ７の高解像度化処理が無い点が異なっている。
【００９４】
この実施形態では、可視画像高解像度化処理手段５が設けられていないので、第１の実施形態に比べると、欠陥部位の発見は難しい。しかし、赤外画像において欠陥であると特定された部位を含む検索領域を、可視画像に設定するうようにしている。したがって、検索領域には必ず欠陥があることが保障され、可視画像に基づく欠陥の発見が容易である。
３．第３の実施形態
図２０に、第三の実施形態による欠陥検査装置の全体構成図を示す。可視画像撮像部２は、撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成するものである。赤外画像撮像部１０は、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像するものである。これにより、赤外画像撮像部１０は、一連の可視画像に対応する赤外光強度に基づく一連の赤外画像を生成する。
【００９５】
赤外画像高解像度化処理手段１１は、一連の赤外画像に対応する可視画像の位置ずれ情報を用いて、当該赤外画像の高解像度化処理を行う。つまり、第一の実施形態にて説明した位置ずれ量を可視画像に基づいて算出し、画素ずらし法、重みを考慮した画素ずらし法、局所反復演算を用いた方法などの超解像処理を赤外画像に対して行うようにしている。
【００９６】
赤外画像欠陥部位特定手段１３は、一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する。赤外画像欠陥寸法特定手段１５は、一連の赤外画像に基づいて、前記欠陥部位の寸法を特定する。
【００９７】
第一の実施形態、第二の実施形態では、欠陥部位の特定や寸法の決定を最終的に可視画像に基づいて行っている。したがって、可視画像に現れない内部にある欠陥などは、寸法判定をすることができない。
【００９８】
赤外画像は、温度差に基づく画像であるから、可視画像に現れない欠陥も明瞭にとらえることができる。しかし、赤外画像の画像情報だけでは位置情報が正確に得られず、画像の高解像度化をすることはできない。第三の実施形態では、位置情報の合致した赤外画像と可視画像を用いて、可視画像の位置情報に基づいて、赤外画像を高解像度化するようにしている。したがって、可視画像には現れない欠陥についても、その寸法まで特定することができる。
【００９９】
第三の実施形態における欠陥検査プログラムのフローチャートを、図２１に示す。ステップＳ１１、Ｓ１２は、図４ａのステップＳ１、Ｓ２と同じである。ステップＳ１３は、上述の高解像度化処理である。ステップＳ１４、Ｓ１５は、図４ｂのステップＳ８、Ｓ９に対応する。
４．その他の実施形態
(1)上記各実施形態では、欠陥としてひび割れを対象としている。しかし、ひび割れ以外に、施工時に生じたコンクリート表面や内部の空隙などにも用いることができる。
【０１００】
(2)上記各実施形態では、欠陥の寸法決定まで行っている。しかし、欠陥の発見のみを行うようにしてもよい。
【０１０１】
(3)上記各実施形態では、欠陥の寸法としてひび割れの幅を測定している。しかし、ひび割れの長さなどを計測するようにしてもよい。
【０１０２】
(4)上記各実施形態では、赤外画像および可視画像の超解像処理に基づいて、ひび割れを特定し寸法を計測している。しかし、赤外画像に明瞭なコントラストがあらわれていれば、赤外画像だけでも位置ずれ量を求めることができ、超解像処理を行うことが可能である。たとえば、ひび割れの周りに、蜘蛛の巣がきれいに張られていたような場合には、蜘蛛の巣の部分の温度差により明瞭なコントラストが得られるため、この情報をもとに位置ずれ量を求めることができるからである。
【０１０３】
(5)上記各実施形態では、画像処理によりひび割れの特定を行っている。しかしながら、赤外画像に基づく赤外画像検索領域の設定（図４ａのステップＳ４）を次のようにして手動で行うようにしてもよい。ＣＰＵ３２は、ディスプレイ３０に赤外画像を表示する。使用者は、マウスやキーボードなど（図示せず）を用いて、赤外画像検索領域を設定する。
【０１０４】
また、ＣＰＵ３２がステップＳ８、Ｓ９（ステップＳ１４、Ｓ１５）の処理を行わず、高解像度化された検索領域可視画像をディスプレイ３０に表示し、使用者が目視にて欠陥の特定、寸法判定を行うようにしてもよい。
【０１０５】
(6)上記各実施形態では、ステップＳ６の可視画像の高解像度化における位置ずれにつき、グレースケール（濃淡画像）に基づいてパラボラフィッティング等による画像の位置ずれ量を算出するようにしている。しかし、ＲＧＢのカラー可視画像を用いて、パラボラフィッティング等によって位置ずれ量を求めるようにしてもよい。
【０１０６】
ＲＧＢのそれぞれの画素値をＣR、ＣG、ＣBとする。さらに基準画像および位置ずれ量を求める画像をそれぞれ添え字の数字０および１で表す。このとき、ＲＧＢの３次元残差平方和ＳＳＤは以下のように表すことにする。
【０１０７】
【数１０】
【０１０８】
Wはサブセット領域である。以下、濃淡画像と同様にこのＳＳＤを最小にすればよいことになる。
【０１０９】
i)空間的な面関数を用いる方法
上記のＳＳＤが０になれば完全マッチングされて、ずれ量はないということになる。ＳＳＤの最小値が、ずれ量として算出されることになる。ただし、このＳＳＤを単純に最小化すれば、おのずとずれ量が求まるともいえない。そこで、空間的な面関数を用いて、ずれ量を算出するようにしてもよい。
【０１１０】
たとえば、基準画像の座標(x,y)と位置ずれ情報を求める画像の座標ＣR1(x+i,y+i)を比べるとする。(ＣRO(x,y)−ＣR1(x+i,y+i))＝１０、(ＣGO(x,y)−ＣG1(x+i,y+i))＝０、（ＣB0(x,y)−ＣB1(x+i,y+i)）＝０の時に比べ(ＣRO(x,y)−ＣR1(x+i,y+i))＝６、(ＣGO(x,y)−ＣG1(x+i,y+i))＝６、(ＣBO(x,y)−ＣB1(x+i,y+i))＝６の方が視覚的な色が近いと考えられる（ＲＧＢが１６ビットの場合）。
【０１１１】
そこで、（x,θ,z）平面においてＲ、ＧおよびＢがそれぞれ（x,θ,z）＝（１，０，ＣR）、（１，２π／３，ＣG）および（１，４π／３，ＣB）となったものを考える。そのように定義すると図２２のような図が描ける。そこで、この３点を通る面Ｓの関数Ｃ(x,θ)を考える。関数Ｃ(x,θ)には、３つの変数が存在しており、この３変数を数式１０のＣR、ＣG、ＣBの代わりに使用することでマッチングが可能となる。３変数のうち２つは面Ｓの傾きを表す係数、もう一つは切片を表すものになるため、ここで、３つの変数のパターンマッチング精度への影響度に応じた重み付けをしてもよい。つまり、カラー情報でパターンマッチングを行う場合どの変数を使えば最も正確なパターンマッチングができるかを検討し、その結果に基づき変数に重み付けをするようにしてもよい。
【０１１２】
ii)ＲＧＢを三角形として考える方法
図２３に示すように、ＲＧＢの画素値を伸ばして三角形を作る。この三角形と類似したものを検索することで正しい移動量を求める。
【技術分野】
【０００１】
この発明は、ひび割れなどの欠陥を検査する装置に関するものである。
【背景技術】
【０００２】
コンクリート表面のひび割れの分布状況等を、自動的に解析する方法が提案されている。たとえば、非特許文献１においては、検査対象をディジタルカメラにて可視画像として撮像し、ウエーブレット変換と二値化処理を行ってひび割れ部分の特定を行っている。さらに、その画像に基づいて、ひび割れの幅を算出する処理も行っている。
【０００３】
このような方法は、ひび割れの自動検出という点において有効であるが、ひび割れ幅が小さい場合には、可視画像ではひび割れ部分が判別できないという問題がある。また、ひび割れが表面ではなく、内部に生じている場合にも同様の問題を生じる。
【０００４】
そこで、赤外線カメラによって検査対象を撮像し、上記と同様の処理を行うことで、上記のような可視画像では見出しにくいひび割れについても特定することが提案されている（非特許文献２）。赤外線カメラでは、可視画像にて見出しにくい部分においても明確な温度差が生じることから、ひび割れの特定が可能になるからである。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】丸屋剛他「ウエーブレット変換を用いた床版コンクリートのひび割れ調査の実用化」コンクリート工学年次論文集、２９巻２号（２００７年）
【非特許文献２】稲葉茂「サーモグラフィ法によるひびわれ幅と測定距離の関係、サーモグラフィー法に関するコンファレンス論文集」２９頁〜 ３２頁（１９９２年４月）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術による赤外線カメラを用いたひび割れの特定方法では、赤外線カメラの解像度が可視カメラに比べて低いため、ひび割れの形状や寸法などの特定が十分でないという問題があった。
【０００７】
また、近年、少しずつ位置をずらせた複数の画像を用いて、高解像度化する技術（超解像度化）が実用化されている。これら技術を、上記の赤外画像に適用して高解像度化することも考えられるが、次のような問題を生じる。
【０００８】
すなわち、超解像度化処理などの高解像度化処理においては、異なる画像の位置ずれ量が正確にわかることを前提として、この位置ずれ量に基づいて処理を行う。可視画像であれば、画像自体から特定の部位を参照点として決定し、複数の画像における前記参照点のずれ量を知ることができる。しかしながら、赤外画像では、可視画像に比べてコントラストが低く、画像自体から参照点を正確に決定することが困難であり、複数の画像における参照点のずれ量を正確に得ることは難しい。このため、赤外画像に基づいて、高解像度化処理を行うことは困難であった。
【０００９】
したがって、可視画像による検査を行わざるを得ず、可視画像ではとらえにくいひび割れなどの欠陥の特定や寸法は、検出できないという問題点があった。
【００１０】
この発明は、上記のような問題点を解決して、可視画像だけではとらえることの難しいひび割れなどの欠陥を検査する装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
(1)(3)この発明に係る欠陥検査装置は、撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成する可視画像撮像部と、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する赤外画像撮像部と、前記赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、前記赤外画像において、前記欠陥部位を含む検索領域を設定する赤外画像検索領域設定手段と、前記赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定する可視画像検索領域設定手段と、前記検索領域における一連の可視画像に基づいて、高解像度化処理を行い、高解像度化された検索領域可視画像を得る可視画像高解像度化手段と、前記検索領域可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する可視画像欠陥部位特定手段とを備えている。
【００１２】
赤外画像に基づき欠陥の部位を特定するようにしているので、可視画像では発見しにくい欠陥を見出すことができる。
【００１３】
(2)(4)この発明に係る欠陥検査装置は、検索領域可視画像に基づいて、欠陥部位の寸法を特定する可視画像欠陥寸法特定手段を備えている。
【００１４】
赤外画像に基づき欠陥の部位を特定するようにしているので、可視画像では発見しにくい欠陥を見出すことができる。ただし、赤外画像だけでは欠陥を発見することはできても、赤外画像自体だけでは高解像度化することができず寸法の特定が困難である。そこで、赤外画像にて見いだした欠陥部位を、対応する可視画像によって高解像度化するようにしている。これにより、可視画像における欠陥部位の周辺だけを高解像度化するので、可視画像においても欠陥部位を見出すことが可能となり、しかも、高解像度化されているので欠陥寸法を特定することができる。
【００１５】
(7)(9)この発明に係る欠陥検査装置は、撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成する可視画像撮像部と、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する赤外画像撮像部と、前記赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、前記赤外画像において、前記欠陥部位を含む検索領域を設定する赤外画像検索領域設定手段と、前記赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定する可視画像検索領域設定手段と、前記一連の可視画像の検索領域を用い、当該一連の検索領域の位置ずれ情報に基づいて、当該検索領域における可視画像の高解像度化処理を行う可視画像高解像度化処理手段と、前記高解像度化された検索領域における一連の可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する可視画像欠陥部位特定手段とを備えている。
【００１６】
赤外画像に基づき欠陥の部位を特定するようにしているので、可視画像では発見しにくい欠陥を見すことができる。
【００１７】
(8)(10)この発明に係る欠陥検査装置は、高解像度化された検索領域における一連の可視画像に基づいて、前記欠陥部位の寸法を特定する可視画像欠陥寸法特定手段をさらに備えている。
【００１８】
したがって、欠陥部位の寸法を特定することができる。
【００１９】
(13)(15)この発明に係る欠陥検査装置は、撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成する可視画像撮像部と、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する赤外画像撮像部と、前記一連の赤外画像を用い、当該一連の赤外画像に対応する可視画像の位置ずれ情報に基づいて、当該赤外画像の高解像度化処理を行う赤外画像高解像度化処理手段と、前記高解像度化された一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段を備えている。
【００２０】
赤外画像に基づき欠陥の部位を特定するようにしているので、可視画像では発見しにくい欠陥を見い出すことができる。ただし、可視画像だけでは欠陥を発見することはできても、可視画像自体だけでは高解像度化することができず寸法の特定が困難である。そこで、可視画像による位置情報に基づいて赤外画像を高解像度化するようにし、欠陥寸法の特定を行うようにしている。
【００２１】
「赤外画像欠陥部位特定手段」は、実施形態においては、図４ａのステップＳ３に対応する。
【００２２】
「赤外画像検索領域設定手段」は、実施形態においては、図４ａのステップＳ４に対応する。
【００２３】
「可視画像検索領域設定手段」は、実施形態においては、図４ａのステップＳ６に対応する。
【００２４】
「可視画像高解像度化手段」は、実施形態においては、図４ａのステップＳ７に対応する。
【００２５】
「可視画像欠陥部位特定手段」は、実施形態においては、図４ａのステップＳ８に対応する。
【００２６】
「可視画像欠陥寸法特定手段」は、実施形態においては、図４ａのステップＳ９に対応する。
【００２７】
「赤外画像高解像度化処理手段」は、実施形態においては、図２１のステップＳ１３に対応する。
【００２８】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【図面の簡単な説明】
【００２９】
【図１】第一の実施形態による欠陥検査装置の機能ブロック図である。
【図２】欠陥検査装置の全体構成を示す図である。
【図３】欠陥検査装置のハードウエア構成である。
【図４ａ】欠陥検査プログラムのフローチャートである。
【図４ｂ】欠陥検査プログラムのフローチャートである。
【図５】一連の可視画像を示す図である。
【図６】一連の赤外画像を示す図である。
【図７】可視画像と赤外画像の大きさや形状をそろえる処理を模式的に示す図である。
【図８】ひび割れを特定した赤外画像を示す図である。
【図９】赤外画像検索領域を示す図である。
【図１０】可視画像選択領域を示す図である。
【図１１】各可視画像選択領域における一連の選択領域可視画像を示す図である。
【図１２】超解像処理を説明するための図である。
【図１３】超解像処理を説明するための図である。
【図１４】超解像処理を説明するための図である。
【図１５】超解像処理を説明するための図である。
【図１６】超解像処理を説明するための図である。
【図１７】高解像度化された検索領域可視画像を示す図である。
【図１８】ひび割れ画像における幅αを示す図である。
【図１９】第二の実施形態による欠陥検査装置の機能ブロック図である。
【図２０】第三の実施形態による欠陥検査装置の機能ブロック図である。
【図２１】欠陥検査プログラムのフローチャートを示す図である。
【図２２】空間的な面関数を示す図である。
【図２３】ＲＧＢを三角形として考えた図である。
【発明を実施するための形態】
【００３０】
１．第一の実施形態
(1)機能ブロック図
図１に、この発明の一実施形態による欠陥検査装置の全体構成図を示す。可視画像撮像部２は、撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成するものである。赤外画像撮像部１０は、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像するものである。これにより、赤外画像撮像部１０は、一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する。
【００３１】
赤外画像欠陥部位特定手段１２は、当該赤外画像のいずれか１枚（２枚以上を用いてもよい）に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する。赤外画像検索領域設定手段１４は、赤外画像において、前記欠陥部位を含む検索領域を設定する。可視画像検索領域設定手段４は、赤外画像に設定された検索領域に対応させて、一連の可視画像に検索領域を設定する。
【００３２】
可視画像高解像度化処理手段５は、上記一連の可視画像に設定された検索領域について、高解像度化を行う。可視画像欠陥部位特定手段６は、高解像度化された一連の可視画像の検索領域に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する。可視画像欠陥寸法特定手段８は、一連の可視画像の検索領域に基づいて、前記欠陥部位の寸法を特定する。
【００３３】
(2)全体構成
図２に、この発明の一実施形態による欠陥検査装置の全体構成を示す。可視画像撮像部である可視カメラ１６と、赤外画像撮像部である赤外カメラ１８が設けられている。可視カメラ１６の光軸２０と赤外カメラ１８の光軸２２は、平行に設定され、検査対象２４を撮像している。このように、可視カメラ１６と赤外カメラ１８の光軸２０、２２は平行に設定されているので、距離に拘わらず、可視カメラ１６と赤外カメラ１８は、検査対象２４のほぼ同じ領域を撮像することになる。
【００３４】
可視カメラ１６、赤外カメラ１８、コンピュータ２６は、車など（図示せず）に搭載され、紙面に垂直な方向に移動される。可視カメラ１６、赤外カメラ１８の移動方向は、検査対象２４に生じていると予想されるひび割れ方向に垂直な方向であることが好ましい。
【００３５】
可視カメラ１６による可視画像、赤外カメラ１８による赤外画像は、コンピュータ２６に入力され、欠陥検査プログラムによって、ひび割れ箇所の特定と寸法判定がなされる。
【００３６】
(3)ハードウエア構成
図３に、欠陥検査装置のハードウエア構成を示す。ＣＰＵ３２には、ディスプレイ３０、可視カメラ１６、赤外カメラ１８、ハードディスク３４、メモリ３６が接続されている。ハードディスク３４には、オペレーティングシステム（WINDOWS（商標）など）３８、欠陥検査プログラム４０が記録されている。オペレーティングシステム３８、欠陥検査プログラム４０は、ＣＤ−ＲＯＭドライブ４２を介して、ＣＤ−ＲＯＭ４４に記録されていたオペレーティングシステム３８、欠陥検査プログラム４０がインストールされたものである。欠陥検査プログラム４０は、オペレーティングシステム３８と協働してその機能を発揮する。
【００３７】
(4)欠陥検査プログラムのフローチャート
図４ａ、図４ｂに、ハードディスク３４に記録された欠陥検査プログラム４０のフローチャートを示す。
【００３８】
ＣＰＵ３２は、可視カメラ１６からの可視画像をハードディスク３４に記録する（ステップＳ１）。なお、可視カメラ１６は、検査対象２４に対して移動しながら撮像を行うので、少しずつ位置の異なる一連の画像がハードディスク３４に記録されることになる。この実施形態では、縦２０４８ピクセル、横２０４８ピクセルの画像を、連続してハードディスク３４に記録した。図５Ａ、Ｂ、Ｃに、このようにして記録された一連の可視画像の例を示す。可視カメラ１６が移動していることから、画像が少しずつずれていることが伺える。
【００３９】
ＣＰＵ３２は、赤外カメラ１８からの赤外画像をハードディスク３４に記録する（ステップＳ１）。赤外カメラ１８も、可視カメラ１６とおなじように検査対象２４に対して移動しながら撮像を行うので、少しずつ位置の異なる一連の画像がハードディスク３４に記録されることになる。なお、赤外画像は、可視画像に比べてピクセル密度が粗いだけでなく、画像のコントラストが明瞭でないという特徴がある。
【００４０】
図６Ａ、Ｂ、Ｃに、このようにして記録された一連の赤外画像の例を示す。図から明らかなように、可視画像（図５Ａ、Ｂ、Ｃ）では、見えにくかったひび割れ３１が現れている。これは、赤外カメラ１８が、温度差に基づく画像を生成するので、微細なひび割れであっても、周りとの温度差を生じる以上、画像として現れるからである。なお、コンクリートなどに生じたひび割れ部分には、コンクリートが存在せず空気（あるいは水）があることになるので、周りのコンクリートとの比熱などの差から、温度に差異が生じることになる。
【００４１】
次に、ＣＰＵ３２は、可視カメラ１６と赤外カメラ１８のレンズ収差の違いや、レンズ光軸間距離の違いなどを考慮して補正を行い、可視画像と赤外画像が同じ位置となるようにする。たとえば、図７Ａに示す可視画像、赤外画像のそれぞれについてレンズ収差を修正して、図７Ｂに示すように、可視画像と赤外画像の大きさ形状をそろえる。さらに、図７Ｃの太枠に示すように、レンズ光軸のずれ（図２の光軸２０と２２参照）を考慮して、計算上、可視画像と赤外画像において同じ領域といえる領域を切り出す。このような処理を、可視画像、赤外画像の一連の画像について行う。
【００４２】
ＣＰＵ３２は、このようにして同じ領域として取り出した可視画像と赤外画像をハードディスク３４に記録する。ここでは、このようにして記録された一連の可視画像と一連の赤外画像が、図５、図６のようであったとする。図５、図６は、ステップＳ１の際の記録画像を示すものとして用いたが、この明細書では、便宜上ステップＳ２の際の記録画像を示すものとしても用いる。
【００４３】
次に、ＣＰＵ３２は、一連の赤外画像のうちの１枚の画像を用いて、ひび割れ部分の特定を行う（ステップＳ３）。たとえば、図６Ａの赤外画像を用いて、ひび割れ部位を特定する。ＣＰＵ３２は、図６Ａの赤外画像を二値化処理などしてノイズを取り除き、連続した直線状の形状を検索することで、図８Ａのような画像を得て、ひび割れ部分を特定する。なお、ひび割れ部分の特定処理については、丸屋剛「ウエーブレット変換を用いた床版コンクリートのひび割れ調査の実用化」コンクリート工学年次論文集２９巻２号（２００７年）などの技術を用いることができる。
【００４４】
次に、ＣＰＵ３２は、図８Ａのようにひび割れ部位を特定した画像において、図９に示すように、ひび割れ部位を含む赤外画像検索領域４２、４４、４６、４８を設定する（ステップＳ４）。たとえば、検索領域の横幅を決めておき、これにしたがって、ひび割れ領域が含まれるように、矩形領域を設定すればよい。
【００４５】
次に、ＣＰＵ３２は、図９の赤外画像検索領域を設定するために用いた図６Ａの赤外画像に対応する、図５Ａの可視画像を取り出す。そして、図５Ａの可視画像において、赤外画像検索領域４２、４４、４６、３８のそれぞれに対応する可視画像検索領域５２、５４、５６、５８を設定する（図１０参照）（ステップＳ５）。赤外画像と可視画像は、前述のようにその位置関係が対応しているので、赤外画像における赤外画像検索領域に対応する可視画像の位置に、可視画像検索領域５２、５４、５６、５８を設定すればよい。これにより、図１０に示すように、可視画像だけでは見出しにくいひび割れ領域を含む可視画像検索領域５２を設定することができる。図１０（図５Ａ）の可視画像検索領域５２、５４、５６、５８のそれぞれの画像は、検索領域可視画像としてハードディスク３４に記録される。
【００４６】
続いて、ＣＰＵ３２は、ハードディスク３４に記録された次の可視画像（図５Ｂ）を読み出し、図１０において設定した赤外画像検索領域と同じ位置に可視画像検索領域５２、５４、５６、５８を設定する。図５Ｂの可視画像検索領域５２、５４、５６、５８（図示せず）のそれぞれの画像は、検索領域可視画像としてハードディスク３４に記録される。
【００４７】
上記と同様にして一連の可視画像について、可視画像検索領域５２、５４、５６、５８を設定し、その領域の画像を検索領域可視画像としてハードディスク３４に記録する。
【００４８】
可視画像検索領域５２、５４、５６、５８は一連の可視画像において固定されており、可視画像の撮像位置は移動しているので、図１１Ａ、Ｂ、Ｃに示すように、可視画像検索領域５２、５４、５６、５８の一連の検索領域可視画像においては、ひび割れが順次移動した状態となる。
【００４９】
次に、図１１に示す一連の検索領域可視画像に基づいて、各領域５２、５４、５６、５８ごとに高解像度化を行う（ステップＳ７）。この実施形態では、超解像処理により高解像度化を図っている。
【００５０】
超解像処理の原理を、図１２に示す。図１２Ａが、本来の輝度（オリジナル）のカーブαを示している。これに対し、これをディジタル化すると、図１２Ｂに示すように、本来の輝度カーブαを反映した、画素幅にて平均した離散値となる（ディジタル画像１）。この撮像位置を１／２画素だけずらすと、図１２Ｃに示すようなディジタル画像２となる。そこで、各位置において、ディジタル画像１の値と、ディジタル画像２の値との平均をとることで、図１２Ｄに示すような高解像度化されたディジタル画像を得ることができる。このような処理を、２次元的に行うことで、ディジタル画像の高解像度化を行うことができる。
【００５１】
上記のような超解像処理を行うためには、複数の画像の位置ずれ量を画素より細かな単位で正確に把握する必要がある。この実施形態では、図１１Ａ、Ｂ、Ｃに示す一連の検索領域可視画像自体に基づいて、位置ずれ量を算出している。たとえば、ＳＳＤ（残差平方和）２次元パラボラフィッテングによって画像の位置ずれ量を決定することができる。以下、ＳＳＤ２次元パラボラフィッテングについて説明する。
【００５２】
たとえば、領域５２における図１１Ａの検索領域可視画像と、領域５４における図１１Ｂの検索領域可視画像との位置ずれ量を求めるには、次のようにして行う。
【００５３】
比較対象画像１（領域５２の図１１Ａの画像）、画像２（領域５４の図１１Ｂの画像）のある座標（x,y）の輝度値をそれぞれI1（x,y），I2（x,y）としたとき，画像１に対する画像２のピクセル単位の変位が（dx，dy）であるときＳＳＤは下式で表わされる。
【００５４】
【数１】
【００５５】
ここで，ＷはＳＳＤを計算する注目領域(subset)を表わす。ピクセル単位でのずれ量を測定する場合には、ＳＳＤ(dx,dy)が最小となる(dx,dy)を求めればよい。それに対し、サブピクセル単位（画素より細かな単位で）の移動量を求めるには、以下のように、ＳＳＤの値が移動量に対して二次関数に近似できると仮定したパラボラフィッティングが用いられる。
【００５６】
(dx,dy)を変動させ、ＳＳＤ(dx,dy)を最小とするピクセル単位の移動量(dx,dy)を求める。このときの移動量を(dx,dy)を(i,j)（整数）とする。さらにＳＳＤ(i-1,,j),ＳＳＤ(i,,j-1),(i,,j+1)を求める。
【００５７】
(i,j)の近傍では、ＳＳＤ(x,y)は二次方程式Ｄp(dx.dy)で表現できるとし、その係数をＳＳＤ(i.j),ＳＳＤ(i-1,j),ＳＳＤ(i,j-1),ＳＳＤ(i+1,j),ＳＳＤ(i,j+1)から求める。これにより、ＳＳＤ(dx.dy)を最小とする(dx,dy)がＤp(dx,dy)の頂点として求まる。これを平行移動における変位の位置とすることができる。
【００５８】
次に、ＳＳＤを最小とする(dx,dy)であるＤp(dx,dy)の頂点を求める方法について述べる。
【００５９】
ここで、Ｄp(dx,dy)は以下のように示されるものとする。
【００６０】
【数２】
【００６１】
ＳＳＤ(i.j),ＳＳＤ(i-1,j),ＳＳＤ(i,j-1),ＳＳＤ(i+1,j),ＳＳＤ(i,j+1)の値を求めて、次式に代入し、係数ａk（K=0,1,2,3,4）を算出する。
【００６２】
【数３】
【００６３】
である。また、式(2)は次のように変形できる。
【００６４】
【数４】
【００６５】
このとき、係数ａkが求まれば、サブピクセル単位の移動量を二次関数Ｄp(dx,dy)の頂点(-a1/a0,-a3/a2)として計算できる。
【００６６】
以上のようにして、領域５２の図１１Ａの画像と領域５４の図１１Ｂの画像とのずれ量をサブピクセル単位（画素より細かい単位）で算出することができる。
【００６７】
続いて、上記のようにして算出したずれ量に基づいて、高解像度画像を求める。高解像度化の手法としては、画素ずらし法、重みを考慮した画素ずらし法、局所反復演算を用いた方法などがある。
【００６８】
画素ずらし法は、高解像度画像のある画素の輝度値を求めるために、測定された複数枚の低解像度画像の該当する輝度値の平均をとる方法である。例えば、図１３のように実線の格子で示された基準低解像度画像に対して、点線で示されたある低解像度画像の移動画素量が(k+dx,l+dy)であるときを考える。このとき、Irefの画素(i,j)とIfの画素(i+k,j+l)の重なった領域である領域Ａに含まれる高解像度画像における画素の輝度値はすべて{Iref(i,j)+If(i+k,j+l)}/2で表わす。
【００６９】
移動量が１ピクセル以内でさまざまに異なる複数の画像データを使用すれば、分割数を増やすことができるため、原理的にはより高解像度な画像が得られる。
【００７０】
重みを考慮した画素ずらし法は、以下のように実行される。画素ずらし法における単なる画像の重ね合わせでは、高解像度画像のある画素の輝度値、低解像度画像の画素のうち、影響の大きいものからも小さいものからも同じ影響を受けて生成されてしまう。例えば、図１４のように３枚の参照低解像度画像Ａ、Ｂ、Ｃを用いて、参照画像Ａの各画素を３分割するような高解像度画像のある画素Ｓ1はＡ、Ｂ、Ｃのある画素Ａ2、Ｂ1、Ｂ2、Ｃ1から影響を受ける。しかし、実際この中でＳ1の輝度値に最も近い値を持つものはＳ1の画素中心に最も近い画素中心を持つＣ1であると考えられる。そこで、高解像度画像のある画素の輝度値を求める際には画素中心同士が近い低解像度画像の画素の輝度値がより大きく影響するように重み関数をかけて平均をとる。
【００７１】
局所反復演算を用いた方法では、測定された複数枚の低解像度画像ｆiは、それぞれが真の高解像度画像CRealからの標本化により得られる画像であると考える。
【００７２】
図１５の右上図のように低解像度画像の輝度値ｆi(u,v)が真の高解像度画像の輝度値ＣReal(xu,yv)の近傍９点から標本化されるとするとｆi(u,v)は数式(6)のように表わされる。ただし、(xu,yv)は高解像度画像にしたときの座標系におけるｆi(u,v)の中心を含む画素の座標を表すものとする。
【００７３】
【数５】
【００７４】
hfi(k,l)は高解像度画像Crealに対するfiの標本化関数であり，(xu,yv)から(k,l)だけ離れた高解像度画像の画素が低解像度画像の画素(u,v)に対して接している面積割合とした。
【００７５】
高解像度画像は、次に述べる処理を反復することで構築できる。その概念図を図１６に示す。
【００７６】
ステップ１ : 高解像度画像の輝度値の初期値C0(x,y)を設定する。初期値の選択は収束結果には影響しないのでどのような画像でもよいが、本研究では収束の速さの観点から位置合わせのために用いた基準画像を線形補間により細分化した画像を用いた。ここでの、繰り返し回数n=0とする。
【００７７】
ステップ２ : Cn(x,y)に対し、Crealに対する測定データfi(u,v)の標本化関数hfi(k,l)を適用することで、低解像度画像Fi(U,V)を作成する。iは観測データ番号を表す。
【００７８】
ステップ３： もしCn(x,y)の値が真の高解像度画像の輝度値Creal(x,y)であった場合、ステップ２で生成された低解像度画像Fi(u,v)は実際に測定された低解像度画像fi(u,v)と一致するはずである。そこで、観測誤差Enを数式(6)のように定義して、Enが最小値をとるときに処理を終了するものとする。
【００７９】
【数６】
【００８０】
ステップ４：En が十分に小さくないとき、Cn(x,y)を修正して、これをCn+1(x,y)とし、ステップ２に戻る。高解像度画像の画素(x,y)が影響を与える低解像度画像の画素を(ux,vy)としその低解像度画像に関する補正量Δei(ux,vy)を数式(7)のように表わす。
【００８１】
【数７】
【００８２】
このとき、aは適当なスケーリングパラメーターとする。
【００８３】
高解像度画像の１画素が影響を与える低解像度画像の画素は最大で４画素あるので個々のΔei(ux,vy)に対する重みをwi(ux,vy)としたとき、それらの重み付き平均を高解像度画像の画素(x,y)に対する総修正量Δei(x,y)とすると、Cn+1(x,y)は数式(8)のように表わされる。
【００８４】
【数８】
【００８５】
ここで、重み関数wiとして、Crealに対する測定データfi(u,v)の標本化関数hfiを使用することにする。wiの候補として平滑化フィルタ、鮮鋭化フィルタを使用することも提唱されている。このとき、数式(8)を書き直すと、数式(9)のようになる。
【００８６】
【数９】
【００８７】
ＣＰＵ３２は、上記にて説明した超解像処理を、各領域５２の一連の検索領域可視画像を用いて行い、高解像度化された検索領域可視画像を得る。同様に、他の領域５４、５６、５８の一連の検索領域可視画像についても、超解像度処理により、高解像度化された検索領域可視画像を得る。
【００８８】
このようにして得た、各領域５２、５４、５６、５８の高解像度化された検索領域可視画像を図１７に示す。高解像度化により、オリジナルの可視画像では判別が困難であった、領域５２のひび割れが明瞭化されている。また、領域５４、５６、５８においても、高解像度化によりひび割れの幅が明瞭化されることになる。
【００８９】
ＣＰＵ３２は、このようにして高解像度化された各領域５２、５４、５６、５８の可視画像について、ステップＳ３と同様の手法によりひび割れ特定の処理を行う(ステップＳ８)。ＣＰＵ３２は、このようにして特定したひび割れを、ディスプレイ３０に表示する。
【００９０】
さらに、画像中のひび割れ部分につき、その延長方向に垂直な方向として幅を定義し、各ひび割れ中の最も大きな幅（たとえば、図１８のα部分）の寸法を、ひび割れ寸法として算出する。
２．第２の実施形態
図１９に、第二の実施形態による欠陥検査装置の全体構成図を示す。この実施形態では、第一の実施形態と異なり、可視画像高解像度化処理手段５が設けられていない。可視画像撮像部２は、撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成するものである。赤外画像撮像部１０は、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像するものである。これにより、赤外画像撮像部１０は、一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する。
【００９１】
赤外画像欠陥部位特定手段１２は、当該赤外画像のいずれか１枚（２枚以上を用いてもよい）に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する。赤外画像検索領域設定手段１４は、赤外画像において、前記欠陥部位を含む検索領域を設定する。可視画像検索領域設定手段４は、赤外画像に設定された検索領域に対応させて、一連の可視画像に検索領域を設定する。
【００９２】
可視画像欠陥部位特定手段６は、一連の可視画像の検索領域に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する。可視画像欠陥寸法特定手段８は、一連の可視画像の検索領域に基づいて、前記欠陥部位の寸法を特定する。
【００９３】
第二の実施形態における欠陥検査プログラムのフローチャートは、図４ａ、図４ｂとほぼ同じである。ただし、ステップＳ７の高解像度化処理が無い点が異なっている。
【００９４】
この実施形態では、可視画像高解像度化処理手段５が設けられていないので、第１の実施形態に比べると、欠陥部位の発見は難しい。しかし、赤外画像において欠陥であると特定された部位を含む検索領域を、可視画像に設定するうようにしている。したがって、検索領域には必ず欠陥があることが保障され、可視画像に基づく欠陥の発見が容易である。
３．第３の実施形態
図２０に、第三の実施形態による欠陥検査装置の全体構成図を示す。可視画像撮像部２は、撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成するものである。赤外画像撮像部１０は、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像するものである。これにより、赤外画像撮像部１０は、一連の可視画像に対応する赤外光強度に基づく一連の赤外画像を生成する。
【００９５】
赤外画像高解像度化処理手段１１は、一連の赤外画像に対応する可視画像の位置ずれ情報を用いて、当該赤外画像の高解像度化処理を行う。つまり、第一の実施形態にて説明した位置ずれ量を可視画像に基づいて算出し、画素ずらし法、重みを考慮した画素ずらし法、局所反復演算を用いた方法などの超解像処理を赤外画像に対して行うようにしている。
【００９６】
赤外画像欠陥部位特定手段１３は、一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する。赤外画像欠陥寸法特定手段１５は、一連の赤外画像に基づいて、前記欠陥部位の寸法を特定する。
【００９７】
第一の実施形態、第二の実施形態では、欠陥部位の特定や寸法の決定を最終的に可視画像に基づいて行っている。したがって、可視画像に現れない内部にある欠陥などは、寸法判定をすることができない。
【００９８】
赤外画像は、温度差に基づく画像であるから、可視画像に現れない欠陥も明瞭にとらえることができる。しかし、赤外画像の画像情報だけでは位置情報が正確に得られず、画像の高解像度化をすることはできない。第三の実施形態では、位置情報の合致した赤外画像と可視画像を用いて、可視画像の位置情報に基づいて、赤外画像を高解像度化するようにしている。したがって、可視画像には現れない欠陥についても、その寸法まで特定することができる。
【００９９】
第三の実施形態における欠陥検査プログラムのフローチャートを、図２１に示す。ステップＳ１１、Ｓ１２は、図４ａのステップＳ１、Ｓ２と同じである。ステップＳ１３は、上述の高解像度化処理である。ステップＳ１４、Ｓ１５は、図４ｂのステップＳ８、Ｓ９に対応する。
４．その他の実施形態
(1)上記各実施形態では、欠陥としてひび割れを対象としている。しかし、ひび割れ以外に、施工時に生じたコンクリート表面や内部の空隙などにも用いることができる。
【０１００】
(2)上記各実施形態では、欠陥の寸法決定まで行っている。しかし、欠陥の発見のみを行うようにしてもよい。
【０１０１】
(3)上記各実施形態では、欠陥の寸法としてひび割れの幅を測定している。しかし、ひび割れの長さなどを計測するようにしてもよい。
【０１０２】
(4)上記各実施形態では、赤外画像および可視画像の超解像処理に基づいて、ひび割れを特定し寸法を計測している。しかし、赤外画像に明瞭なコントラストがあらわれていれば、赤外画像だけでも位置ずれ量を求めることができ、超解像処理を行うことが可能である。たとえば、ひび割れの周りに、蜘蛛の巣がきれいに張られていたような場合には、蜘蛛の巣の部分の温度差により明瞭なコントラストが得られるため、この情報をもとに位置ずれ量を求めることができるからである。
【０１０３】
(5)上記各実施形態では、画像処理によりひび割れの特定を行っている。しかしながら、赤外画像に基づく赤外画像検索領域の設定（図４ａのステップＳ４）を次のようにして手動で行うようにしてもよい。ＣＰＵ３２は、ディスプレイ３０に赤外画像を表示する。使用者は、マウスやキーボードなど（図示せず）を用いて、赤外画像検索領域を設定する。
【０１０４】
また、ＣＰＵ３２がステップＳ８、Ｓ９（ステップＳ１４、Ｓ１５）の処理を行わず、高解像度化された検索領域可視画像をディスプレイ３０に表示し、使用者が目視にて欠陥の特定、寸法判定を行うようにしてもよい。
【０１０５】
(6)上記各実施形態では、ステップＳ６の可視画像の高解像度化における位置ずれにつき、グレースケール（濃淡画像）に基づいてパラボラフィッティング等による画像の位置ずれ量を算出するようにしている。しかし、ＲＧＢのカラー可視画像を用いて、パラボラフィッティング等によって位置ずれ量を求めるようにしてもよい。
【０１０６】
ＲＧＢのそれぞれの画素値をＣR、ＣG、ＣBとする。さらに基準画像および位置ずれ量を求める画像をそれぞれ添え字の数字０および１で表す。このとき、ＲＧＢの３次元残差平方和ＳＳＤは以下のように表すことにする。
【０１０７】
【数１０】
【０１０８】
Wはサブセット領域である。以下、濃淡画像と同様にこのＳＳＤを最小にすればよいことになる。
【０１０９】
i)空間的な面関数を用いる方法
上記のＳＳＤが０になれば完全マッチングされて、ずれ量はないということになる。ＳＳＤの最小値が、ずれ量として算出されることになる。ただし、このＳＳＤを単純に最小化すれば、おのずとずれ量が求まるともいえない。そこで、空間的な面関数を用いて、ずれ量を算出するようにしてもよい。
【０１１０】
たとえば、基準画像の座標(x,y)と位置ずれ情報を求める画像の座標ＣR1(x+i,y+i)を比べるとする。(ＣRO(x,y)−ＣR1(x+i,y+i))＝１０、(ＣGO(x,y)−ＣG1(x+i,y+i))＝０、（ＣB0(x,y)−ＣB1(x+i,y+i)）＝０の時に比べ(ＣRO(x,y)−ＣR1(x+i,y+i))＝６、(ＣGO(x,y)−ＣG1(x+i,y+i))＝６、(ＣBO(x,y)−ＣB1(x+i,y+i))＝６の方が視覚的な色が近いと考えられる（ＲＧＢが１６ビットの場合）。
【０１１１】
そこで、（x,θ,z）平面においてＲ、ＧおよびＢがそれぞれ（x,θ,z）＝（１，０，ＣR）、（１，２π／３，ＣG）および（１，４π／３，ＣB）となったものを考える。そのように定義すると図２２のような図が描ける。そこで、この３点を通る面Ｓの関数Ｃ(x,θ)を考える。関数Ｃ(x,θ)には、３つの変数が存在しており、この３変数を数式１０のＣR、ＣG、ＣBの代わりに使用することでマッチングが可能となる。３変数のうち２つは面Ｓの傾きを表す係数、もう一つは切片を表すものになるため、ここで、３つの変数のパターンマッチング精度への影響度に応じた重み付けをしてもよい。つまり、カラー情報でパターンマッチングを行う場合どの変数を使えば最も正確なパターンマッチングができるかを検討し、その結果に基づき変数に重み付けをするようにしてもよい。
【０１１２】
ii)ＲＧＢを三角形として考える方法
図２３に示すように、ＲＧＢの画素値を伸ばして三角形を作る。この三角形と類似したものを検索することで正しい移動量を求める。
【特許請求の範囲】
【請求項１】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成する可視画像撮像部と、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する赤外画像撮像部と、
前記赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、
前記赤外画像において、前記欠陥部位を含む検索領域を設定する赤外画像検索領域設定手段と、
前記赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定する可視画像検索領域設定手段と、
前記検索領域における一連の可視画像に基づいて、高解像度化処理を行い、高解像度化された検索領域可視画像を得る可視画像高解像度化手段と、
前記検索領域可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する可視画像欠陥部位特定手段と、
を備えた欠陥検査装置。
【請求項２】
請求項１に係る欠陥検査装置において、
前記検索領域可視画像に基づいて、前記欠陥部位の寸法を特定する可視画像欠陥寸法特定手段を、
さらに備えたことを特徴とする欠陥検査装置。
【請求項３】
コンピュータを欠陥検査装置として機能させるための欠陥検査プログラムであって、
撮像する対象領域を移動させながら撮像された、可視光強度に基づく一連の可視画像と、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域が撮像された、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を記録した記録部にアクセスする手段と、
前記一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、
前記一連の赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定する可視画像検索領域設定手段と、
前記検索領域における一連の可視画像に基づいて、高解像度化処理を行い、高解像度化された検索領域可視画像を得る可視画像高解像度化手段と、
前記検索領域可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する可視画像欠陥部位特定手段と、
をコンピュータによって実現するための欠陥検査プログラム。
【請求項４】
請求項３に係る欠陥検査プログラムにおいて、
前記検索領域可視画像に基づいて、前記欠陥部位の寸法を特定する可視画像欠陥寸法特定手段を、
さらに備えたことを特徴とする欠陥検査プログラム。
【請求項５】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成し、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成し、
前記赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定し、
前記赤外画像において、前記欠陥部位を含む検索領域を設定し、
前記赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定し、
前記検索領域における一連の可視画像に基づいて、高解像度化処理を行い、高解像度化された検索領域可視画像を得て、
前記検索領域可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する
ことを特徴とする欠陥検査方法。
【請求項６】
請求項５に係る欠陥検査方法において、
前記検索領域可視画像に基づいて、前記欠陥部位の寸法を特定することを、
さらに備えたことを特徴とする欠陥検査方法。
【請求項７】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成する可視画像撮像部と、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する赤外画像撮像部と、
前記赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、
前記赤外画像において、前記欠陥部位を含む検索領域を設定する赤外画像検索領域設定手段と、
前記赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定する可視画像検索領域設定手段と、
前記一連の可視画像の検索領域を用い、当該一連の検索領域の位置ずれ情報に基づいて、当該検索領域における可視画像の高解像度化処理を行う可視画像高解像度化処理手段と、
前記高解像度化された検索領域における一連の可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する可視画像欠陥部位特定手段と、
を備えた欠陥検査装置。
【請求項８】
請求項７に係る欠陥検査装置において、
前記高解像度化された検索領域における一連の可視画像に基づいて、前記欠陥部位の寸法を特定する可視画像欠陥寸法特定手段を、
さらに備えたことを特徴とする欠陥検査装置。
【請求項９】
コンピュータを欠陥検査装置として機能させるための欠陥検査プログラムであって、
撮像する対象領域を移動させながら撮像された、可視光強度に基づく一連の可視画像と、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域が撮像された、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を記録した記録部にアクセスする手段と、
前記赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、
前記赤外画像において、前記欠陥部位を含む検索領域を設定する赤外画像検索領域設定手段と、
前記赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定する可視画像検索領域設定手段と、
前記一連の可視画像の検索領域を用い、当該一連の検索領域の位置ずれ情報に基づいて、当該検索領域における可視画像の高解像度化処理を行う可視画像高解像度化処理手段と、
前記高解像度化された検索領域における一連の可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する可視画像欠陥部位特定手段と、
をコンピュータによって実現するための欠陥検査プログラム。
【請求項１０】
請求項９の欠陥検査プログラムにおいて、さらに、
前記高解像度化された検索領域における一連の可視画像に基づいて、前記欠陥部位の寸法を特定する可視画像欠陥寸法特定手段を、
コンピュータによって実現するための欠陥検査プログラム。
【請求項１１】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成し、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成し、
前記赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定し、
前記赤外画像において、前記欠陥部位を含む検索領域を設定し、
前記赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定し、
前記一連の可視画像の検索領域を用い、当該一連の検索領域の位置ずれ情報に基づいて、当該検索領域における可視画像の高解像度化処理を行い、
前記高解像度化された検索領域における一連の可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する処理
を備えた欠陥検査方法。
【請求項１２】
請求項１１の欠陥検査方法において、
前記高解像度化された検索領域における一連の可視画像に基づいて、前記欠陥部位の寸法を特定することを
さらに備えることを特徴とする欠陥検査方法。
【請求項１３】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成する可視画像撮像部と、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する赤外画像撮像部と、
前記一連の赤外画像を用い、当該一連の赤外画像に対応する可視画像の位置ずれ情報に基づいて、当該赤外画像の高解像度化処理を行う赤外画像高解像度処理手段と、
前記高解像度化された一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段、
を備えた欠陥検査装置。
【請求項１４】
請求項１３に係る欠陥検査装置において、
前記高解像度化された検索領域における一連の赤外画像に基づいて、前記欠陥部位の寸法を特定する赤外画像欠陥寸法特定手段を、
さらに備えたことを特徴とする欠陥検査装置。
【請求項１５】
コンピュータを欠陥検査装置として機能させるための欠陥検査プログラムであって、
撮像する対象領域を移動させながら撮像された、可視光強度に基づく一連の可視画像と、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域が撮像された、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を記録した記録部にアクセスする手段と、
前記一連の赤外画像を用い、当該一連の赤外画像に対応する可視画像の位置ずれ情報に基づいて、当該赤外画像の高解像度化処理を行う赤外画像高解像度化処理手段と、
前記高解像度化された一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、
をコンピュータによって実現するための欠陥検査プログラム。
【請求項１６】
請求項１５に係る欠陥検査プログラムにおいて、さらに
前記高解像度化された検索領域における一連の赤外画像に基づいて、前記欠陥部位の寸法を特定する赤外画像欠陥寸法特定手段を、
コンピュータによって実現することを特徴とする欠陥検査プログラム。
【請求項１７】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成し、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成し、
前記一連の赤外画像を用い、当該一連の赤外画像に対応する可視画像の位置ずれ情報に基づいて、当該赤外画像の高解像度化処理を行い、
前記高解像度化された一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する、
ことを特徴とする欠陥検査方法。
【請求項１８】
請求項１７に係る欠陥検査方法において、
前記高解像度化された検索領域における一連の赤外画像に基づいて、前記欠陥部位の寸法を特定することを、
さらに備えたことを特徴とする欠陥検査方法。
【請求項１９】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成する可視画像撮像部と、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する赤外画像撮像部と、
前記一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、
前記一連の赤外画像において、前記欠陥部位を含む検索領域を設定する赤外画像検索領域設定手段と、
前記一連の赤外画像に設定された検索領域を用い、当該一連の赤外画像に対応する可視画像の検索領域の位置ずれ情報に基づいて、当該検索領域における赤外画像の高解像度処理を行う赤外画像高解像度処理手段と、
前記高解像度化された検索領域における一連の赤外画像に基づいて、前記欠陥部位の寸法を特定する赤外画像欠陥寸法特定手段を、
を備えた欠陥検査装置。
【請求項２０】
コンピュータを欠陥検査装置として機能させるための欠陥検査プログラムであって、
撮像する対象領域を移動させながら撮像された、可視光強度に基づく一連の可視画像と、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域が撮像された、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を記録した記録部にアクセスする手段と、
前記一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、
前記一連の赤外画像において、前記欠陥部位を含む検索領域を設定する赤外画像検索領域設定手段と、
前記一連の赤外画像に設定された検索領域を用い、当該一連の赤外画像に対応する可視画像の検索領域の位置ずれ情報に基づいて、当該検索領域における赤外画像の高解像度化処理を行う赤外画像高解像化度処理手段と、
前記高解像度化された検索領域における一連の赤外画像に基づいて、前記欠陥部位の寸法を特定する赤外画像欠陥寸法特定手段、
をコンピュータによって実現するための欠陥検査プログラム。
【請求項２１】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成し、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成し、
前記一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定し、
前記一連の赤外画像において、前記欠陥部位を含む検索領域を設定し、
前記一連の赤外画像に設定された検索領域を用い、当該一連の赤外画像に対応する可視画像の検索領域の位置ずれ情報に基づいて、当該検索領域における赤外画像の高解像度化処理を行い、
前記高解像度化された検索領域における一連の赤外画像に基づいて、前記欠陥部位の寸法を特定する、
ことを特徴とする欠陥検査方法。
【請求項１】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成する可視画像撮像部と、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する赤外画像撮像部と、
前記赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、
前記赤外画像において、前記欠陥部位を含む検索領域を設定する赤外画像検索領域設定手段と、
前記赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定する可視画像検索領域設定手段と、
前記検索領域における一連の可視画像に基づいて、高解像度化処理を行い、高解像度化された検索領域可視画像を得る可視画像高解像度化手段と、
前記検索領域可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する可視画像欠陥部位特定手段と、
を備えた欠陥検査装置。
【請求項２】
請求項１に係る欠陥検査装置において、
前記検索領域可視画像に基づいて、前記欠陥部位の寸法を特定する可視画像欠陥寸法特定手段を、
さらに備えたことを特徴とする欠陥検査装置。
【請求項３】
コンピュータを欠陥検査装置として機能させるための欠陥検査プログラムであって、
撮像する対象領域を移動させながら撮像された、可視光強度に基づく一連の可視画像と、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域が撮像された、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を記録した記録部にアクセスする手段と、
前記一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、
前記一連の赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定する可視画像検索領域設定手段と、
前記検索領域における一連の可視画像に基づいて、高解像度化処理を行い、高解像度化された検索領域可視画像を得る可視画像高解像度化手段と、
前記検索領域可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する可視画像欠陥部位特定手段と、
をコンピュータによって実現するための欠陥検査プログラム。
【請求項４】
請求項３に係る欠陥検査プログラムにおいて、
前記検索領域可視画像に基づいて、前記欠陥部位の寸法を特定する可視画像欠陥寸法特定手段を、
さらに備えたことを特徴とする欠陥検査プログラム。
【請求項５】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成し、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成し、
前記赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定し、
前記赤外画像において、前記欠陥部位を含む検索領域を設定し、
前記赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定し、
前記検索領域における一連の可視画像に基づいて、高解像度化処理を行い、高解像度化された検索領域可視画像を得て、
前記検索領域可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する
ことを特徴とする欠陥検査方法。
【請求項６】
請求項５に係る欠陥検査方法において、
前記検索領域可視画像に基づいて、前記欠陥部位の寸法を特定することを、
さらに備えたことを特徴とする欠陥検査方法。
【請求項７】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成する可視画像撮像部と、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する赤外画像撮像部と、
前記赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、
前記赤外画像において、前記欠陥部位を含む検索領域を設定する赤外画像検索領域設定手段と、
前記赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定する可視画像検索領域設定手段と、
前記一連の可視画像の検索領域を用い、当該一連の検索領域の位置ずれ情報に基づいて、当該検索領域における可視画像の高解像度化処理を行う可視画像高解像度化処理手段と、
前記高解像度化された検索領域における一連の可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する可視画像欠陥部位特定手段と、
を備えた欠陥検査装置。
【請求項８】
請求項７に係る欠陥検査装置において、
前記高解像度化された検索領域における一連の可視画像に基づいて、前記欠陥部位の寸法を特定する可視画像欠陥寸法特定手段を、
さらに備えたことを特徴とする欠陥検査装置。
【請求項９】
コンピュータを欠陥検査装置として機能させるための欠陥検査プログラムであって、
撮像する対象領域を移動させながら撮像された、可視光強度に基づく一連の可視画像と、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域が撮像された、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を記録した記録部にアクセスする手段と、
前記赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、
前記赤外画像において、前記欠陥部位を含む検索領域を設定する赤外画像検索領域設定手段と、
前記赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定する可視画像検索領域設定手段と、
前記一連の可視画像の検索領域を用い、当該一連の検索領域の位置ずれ情報に基づいて、当該検索領域における可視画像の高解像度化処理を行う可視画像高解像度化処理手段と、
前記高解像度化された検索領域における一連の可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する可視画像欠陥部位特定手段と、
をコンピュータによって実現するための欠陥検査プログラム。
【請求項１０】
請求項９の欠陥検査プログラムにおいて、さらに、
前記高解像度化された検索領域における一連の可視画像に基づいて、前記欠陥部位の寸法を特定する可視画像欠陥寸法特定手段を、
コンピュータによって実現するための欠陥検査プログラム。
【請求項１１】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成し、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成し、
前記赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定し、
前記赤外画像において、前記欠陥部位を含む検索領域を設定し、
前記赤外画像に設定された検索領域に対応させて、前記一連の可視画像に検索領域を設定し、
前記一連の可視画像の検索領域を用い、当該一連の検索領域の位置ずれ情報に基づいて、当該検索領域における可視画像の高解像度化処理を行い、
前記高解像度化された検索領域における一連の可視画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する処理
を備えた欠陥検査方法。
【請求項１２】
請求項１１の欠陥検査方法において、
前記高解像度化された検索領域における一連の可視画像に基づいて、前記欠陥部位の寸法を特定することを
さらに備えることを特徴とする欠陥検査方法。
【請求項１３】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成する可視画像撮像部と、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する赤外画像撮像部と、
前記一連の赤外画像を用い、当該一連の赤外画像に対応する可視画像の位置ずれ情報に基づいて、当該赤外画像の高解像度化処理を行う赤外画像高解像度処理手段と、
前記高解像度化された一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段、
を備えた欠陥検査装置。
【請求項１４】
請求項１３に係る欠陥検査装置において、
前記高解像度化された検索領域における一連の赤外画像に基づいて、前記欠陥部位の寸法を特定する赤外画像欠陥寸法特定手段を、
さらに備えたことを特徴とする欠陥検査装置。
【請求項１５】
コンピュータを欠陥検査装置として機能させるための欠陥検査プログラムであって、
撮像する対象領域を移動させながら撮像された、可視光強度に基づく一連の可視画像と、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域が撮像された、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を記録した記録部にアクセスする手段と、
前記一連の赤外画像を用い、当該一連の赤外画像に対応する可視画像の位置ずれ情報に基づいて、当該赤外画像の高解像度化処理を行う赤外画像高解像度化処理手段と、
前記高解像度化された一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、
をコンピュータによって実現するための欠陥検査プログラム。
【請求項１６】
請求項１５に係る欠陥検査プログラムにおいて、さらに
前記高解像度化された検索領域における一連の赤外画像に基づいて、前記欠陥部位の寸法を特定する赤外画像欠陥寸法特定手段を、
コンピュータによって実現することを特徴とする欠陥検査プログラム。
【請求項１７】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成し、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成し、
前記一連の赤外画像を用い、当該一連の赤外画像に対応する可視画像の位置ずれ情報に基づいて、当該赤外画像の高解像度化処理を行い、
前記高解像度化された一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する、
ことを特徴とする欠陥検査方法。
【請求項１８】
請求項１７に係る欠陥検査方法において、
前記高解像度化された検索領域における一連の赤外画像に基づいて、前記欠陥部位の寸法を特定することを、
さらに備えたことを特徴とする欠陥検査方法。
【請求項１９】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成する可視画像撮像部と、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成する赤外画像撮像部と、
前記一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、
前記一連の赤外画像において、前記欠陥部位を含む検索領域を設定する赤外画像検索領域設定手段と、
前記一連の赤外画像に設定された検索領域を用い、当該一連の赤外画像に対応する可視画像の検索領域の位置ずれ情報に基づいて、当該検索領域における赤外画像の高解像度処理を行う赤外画像高解像度処理手段と、
前記高解像度化された検索領域における一連の赤外画像に基づいて、前記欠陥部位の寸法を特定する赤外画像欠陥寸法特定手段を、
を備えた欠陥検査装置。
【請求項２０】
コンピュータを欠陥検査装置として機能させるための欠陥検査プログラムであって、
撮像する対象領域を移動させながら撮像された、可視光強度に基づく一連の可視画像と、前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域が撮像された、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を記録した記録部にアクセスする手段と、
前記一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定する赤外画像欠陥部位特定手段と、
前記一連の赤外画像において、前記欠陥部位を含む検索領域を設定する赤外画像検索領域設定手段と、
前記一連の赤外画像に設定された検索領域を用い、当該一連の赤外画像に対応する可視画像の検索領域の位置ずれ情報に基づいて、当該検索領域における赤外画像の高解像度化処理を行う赤外画像高解像化度処理手段と、
前記高解像度化された検索領域における一連の赤外画像に基づいて、前記欠陥部位の寸法を特定する赤外画像欠陥寸法特定手段、
をコンピュータによって実現するための欠陥検査プログラム。
【請求項２１】
撮像する対象領域を移動させながら撮像し、可視光強度に基づく一連の可視画像を生成し、
前記可視画像撮像部が撮像する前記対象領域と実質的に同じ対象領域を撮像し、前記一連の可視画像に対応する、赤外光強度に基づく一連の赤外画像を生成し、
前記一連の赤外画像に基づいて、画像の濃度差によってパターン解析を行い、欠陥部位を特定し、
前記一連の赤外画像において、前記欠陥部位を含む検索領域を設定し、
前記一連の赤外画像に設定された検索領域を用い、当該一連の赤外画像に対応する可視画像の検索領域の位置ずれ情報に基づいて、当該検索領域における赤外画像の高解像度化処理を行い、
前記高解像度化された検索領域における一連の赤外画像に基づいて、前記欠陥部位の寸法を特定する、
ことを特徴とする欠陥検査方法。
【図１】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図１５】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図１５】
【公開番号】特開２０１０−２１６８２９（Ｐ２０１０−２１６８２９Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６０７８６（Ｐ２００９−６０７８６）
【出願日】平成２１年３月１３日（２００９．３．１３）
【出願人】（０００１３０３７４）株式会社コンステック (8)
【出願人】（５０４１７６９１１）国立大学法人大阪大学 (1,536)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１３日（２００９．３．１３）
【出願人】（０００１３０３７４）株式会社コンステック (8)
【出願人】（５０４１７６９１１）国立大学法人大阪大学 (1,536)
【Ｆターム（参考）】
[ Back to top ]