画面の線欠陥検出方法及び装置並びに画像データの補正方法
【課題】 撮像時における検査対象とカメラ撮像素子面とのアライメント調整を不要とし、正常な長方形画像を作成可能にし、またエッジ付近の低コントラストな線欠陥までも検出可能とする。
【解決手段】 検査対象１０の画面全体を撮像する撮像手段２０、撮像による取込画像のノイズを除去するノイズ除去部３２、取込画像の中から検査対象画面に対応する被検査部画像を抽出する被検査部抽出部３４、被検査部画像を幾何学的変形により長方形画像として再構成する被検査部再構成部３５、長方形画像のシェーディング補正を行う画像データ補正部３６、補正後の画像の輝度値を水平・垂直方向にそれぞれ積算する欠陥抽出部３７、及び水平・垂直方向の各積算値をしきい値と比較することにより線欠陥を検出する欠陥判定部３８を有する構成。
【解決手段】 検査対象１０の画面全体を撮像する撮像手段２０、撮像による取込画像のノイズを除去するノイズ除去部３２、取込画像の中から検査対象画面に対応する被検査部画像を抽出する被検査部抽出部３４、被検査部画像を幾何学的変形により長方形画像として再構成する被検査部再構成部３５、長方形画像のシェーディング補正を行う画像データ補正部３６、補正後の画像の輝度値を水平・垂直方向にそれぞれ積算する欠陥抽出部３７、及び水平・垂直方向の各積算値をしきい値と比較することにより線欠陥を検出する欠陥判定部３８を有する構成。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、液晶パネル等の表示デバイスやその応用製品であるプロジェクター等の製造における検査工程において、縦あるいは横方向に連続して現れる直線状の線欠陥を精度よく自動的に検出する技術に関する。
【０００２】
【従来の技術】従来の線欠陥検出方法としては、その方向性を利用して、縦・横方向に画素値を積算する方法が一般的であり、また例えば、特開平１０−２４０９３３号公報に示すように、着目画素を中心として縦・横・斜め方向に画素値を積算して最大値を採用しその最大値をしきい値と比較することにより検出する方法もある。
【０００３】
【発明が解決しようとする課題】しかしながら、従来技術には、以下に示すような問題点がある。
【０００４】（１）検査対象の撮像時における問題点例えば、検査対象の液晶パネルをＣＣＤカメラ等で撮像して自動検査することを考えた場合、カメラの傾き等によって、液晶パネルの縦・横方向が必ずしもＣＣＤ素子面の縦・横方向と一致しないため、液晶パネルとＣＣＤ素子面のアライメントを行っていないと、図６に示すようにＣＣＤカメラで取り込んだ取込画像１０１中に含まれる被検査部画像１０２が歪んでしまう。そのため、検査対象の液晶パネルにおいて縦あるいは横方向に現れている線欠陥１００が、被検査部画像上では傾いてしまう。また、検査対象がプロジェクターの投影画像であるような場合には、スクリーンとの角度や光学系の歪み等によって、投影エリアは正矩形とはならず、全投影エリアでアライメントを行うことは困難である。
【０００５】（２）被検査部画像の歪みによる問題点このように歪んだ被検査部画像から、例えばエッジ近傍を除いた（エッジ近傍は後述するようにシェーディング補正が正確に行えないため）中央部分の領域を抜き出し、縦・横方向にそれぞれ輝度値を積算することにより、線欠陥が存在すればその部分での積算値異常が検出できることが、線欠陥検出の基本的なアイデアであるが、実際には図６のような傾きの影響を受け、異常値のピークは弱められてしまう。その結果、特に低コントラストの線欠陥１００までも高い精度で検出することは難しく、検出感度が低下することになる。すなわち、図７は、理想状態（ａ）と実際の被検査部画像（ｂ）において、水平方向の輝度値の積算を行い、水平方向線欠陥１００を検出する例を示したものであるが、被検査部画像の歪み等により線欠陥が傾いていると、図７（ｂ）に示すように、水平方向の積算値が鈍化する。
【０００６】（３）シェーディング補正における問題点従来の場合、線欠陥を抽出する処理の前には、スクリーンへの投影照度やバックライトの輝度の位置によるばらつきを補正するために、元の画像から背景画像を減算あるいは除算するシェーディング補正と呼ばれる処理を行う場合もあるが、背景画像を作成するために、着目画素の近傍にある数画素の値を畳み込み演算した場合、投影エリアのエッジ付近は非投影エリアの輝度値の影響を受けるため、正しいシェーディング補正とならず、もしエッジ近傍に線欠陥があった場合には検出が困難となる。従来の場合、例えば、図８に示すような手順に従って線欠陥検出の処理が行われているが、この場合、まず、平均化フィルタやメディアンフィルタ等の空間フィルタを使った平滑化処理によって取込画像の１画素毎にノイズを除去した後、ローパスフィルタ等の空間フィルタを使って背景画像を作成し、この背景画像を元の画像から減算あるいは除算することにより、被検査部画像の明るさムラを除去した平坦な画像を得るという、シェーディング処理を行っている。しかしながら、この方法では通常、空間フィルタによる演算が全画像を対象として行われるために、被検査部領域のエッジ近傍においては、領域外暗部のデータの影響を受けて正しいシェーディング補正が行えないという問題がある。図９は従来のシェーディング補正による被検査部画像の一例を示したものであるが、周辺のエッジ部分が異常に淡濃度化されていることが分かる。したがって、このエッジ近傍に線欠陥が存在する場合には検出が難しいことになる。
【０００７】したがって、本発明の目的は、主に上記３つの問題点を解決することにあり、その第１の目的は、撮像時における検査対象とカメラ撮像素子面とのアライメント調整を不要として、しかも正常な長方形の画像を作成可能にすることにある。本発明の第２の目的は、エッジ付近の低コントラストな線欠陥までも検出可能とするために、エッジ付近を含む被検査部画像の全領域にわたって正確なシェーディング補正を可能にすることにある。本発明の第３の目的は、単に画面の線欠陥の検出にとどまらず、シミやムラ等を検出するにあたっても効果的な画像データの補正方法を提供することにある。
【０００８】
【課題を解決するための手段】本発明に係る画面の線欠陥検出方法は、検査対象の画面全体を撮像する工程と、撮像により取り込んだ取込画像のノイズを除去する工程と、前記取込画像の中から前記検査対象の画面に対応する被検査部画像を抽出する工程と、前記被検査部画像を幾何学的変形により長方形画像として再構成する工程と、前記長方形画像のシェーディング補正を行う工程と、シェーディング補正後の画像の輝度値を水平方向及び垂直方向にそれぞれ積算する工程と、前記水平方向及び垂直方向の各積算値をあらかじめ定められたしきい値と比較することにより、線欠陥を検出する工程と、を有することを特徴とする。
【０００９】ここで、取込画像とは、例えば検査対象の液晶パネルをスクリーンに投影したときのように周辺にスクリーン部分を含む投影画像を撮像により取り込んだときの入力画像をいう。また、直接検査対象を撮像する場合には、液晶パネル等のフレーム部分を含む入力画像である。また、本発明では、好ましくは、取込画像のノイズを、空間フィルタを用いた平滑化処理により除去するものである。上記のような取込画像中の検査対象の画面部分は、前述したように必ずしも正しい矩形状になっていないため、検査対象の画面部分だけを取り出す被検査部画像の抽出を行う。その際、被検査部画像は、その画像の四隅の位置をパターンマッチングにより検出する。そして、検出した四隅の位置座標を用いて被検査部画像に幾何学的変形を施すことにより、被検査部画像を長方形画像として再構成する。
【００１０】このような、被検査部画像の抽出及び再構成の処理によって、被検査部画像を歪みや傾き等のない正常な長方形画像に変換することができる。つまり、ソフトウエアにより被検査部領域の歪みや傾き等を除去することができる。そのため、従来のようにＣＣＤカメラ等の受光素子面に対して検査対象の画面の傾きを合わせるといったハード的、あるいは人為的なアライメント機構や調整が全く不要となる。したがって、検査対象の画面の撮像がアライメント調整を考慮することなく行えるので、極めて容易となる。また、傾き等のない被検査部画像を再構成することによって、線欠陥の傾きがなくなるため、低コントラストの線欠陥をも感度良く検出することができる。
【００１１】そして、画面の線欠陥を検出するにあたっては、上記のように再構成された長方形画像のシェーディング補正を行った後、シェーディング補正後の画像の輝度値を水平方向及び垂直方向にそれぞれ積算し、水平方向及び垂直方向の各積算値をあらかじめ定められたしきい値と比較することにより、線欠陥を検出する。ここで、シェーディング補正は、前記長方形画像に対して、一定間隔で代表値をサンプリングし、各サンプリング値の間を補間することによって背景画像を作成し、この背景画像を元の前記長方形画像から減算または除算することにより補正するものである。
【００１２】このような背景画像を用いることによって、高速かつエッジ部分まで精度よくシェーディング補正を行うことができる。しかも、この背景画像を用いたシェーディング補正後の被検査部画像は周辺のエッジ部分まで領域外暗部の影響を全く受けない平坦な画像となり、したがって、エッジ部付近に存在する線欠陥までも高精度に検出することができる。
【００１３】また、本発明に係る画面の線欠陥検出装置は、検査対象の画面全体を撮像する撮像手段と、撮像により取り込んだ取込画像のノイズを除去するノイズ除去手段と、前記取込画像の中から前記検査対象の画面に対応する被検査部画像を抽出する被検査部抽出手段と、前記被検査部画像を幾何学的変形により長方形画像として再構成する被検査部再構成手段と、前記長方形画像のシェーディング補正を行う画像データ補正手段と、シェーディング補正後の画像の輝度値を水平方向及び垂直方向にそれぞれ積算する欠陥抽出手段と、前記水平方向及び垂直方向の各積算値をしきい値と比較することにより、線欠陥を検出する欠陥判定手段と、を有することを特徴とする。
【００１４】また、本発明の画面の線欠陥検出装置は、以下の特徴を有するものである。
【００１５】前記取込画像の全画素を２５６階調の画像データに処理する画像処理手段をさらに有する。前記ノイズ除去手段は、空間フィルタを用いた平滑化処理手段である。前記被検査部抽出手段は、前記被検査部画像の四隅の位置をパターンマッチングにより検出する手段を有する。前記被検査部再構成手段は、前記被検査部抽出手段により検出した前記被検査部画像の四隅の位置座標を用い、さらに前記四隅の位置座標を用い、按分した各点を再構成する手段である。前記画像データ補正手段は、前記長方形画像に対して、一定間隔で代表値をサンプリングし、各サンプリング値の間を補間することによって背景画像を作成する背景画像作成手段を有する。
【００１６】本発明は、さらに、上記のような画面の線欠陥の自動検出に適用されるだけでなく、画像データの補正方法としても有効なものである。すなわち、本発明は、入力画像の一部として取り出される方形状領域を有する対象画像を補正する方法であって、前記対象画像領域を複数のブロックに分割する工程と、各ブロックの代表値をサンプリングし、各サンプリング値の間を補間することにより背景画像を作成する工程と、を有することを特徴とする画像データの補正方法である。
【００１７】この画像データの補正方法を用いれば、上述したように背景画像によって原画像をシェーディング補正することにより、周辺のエッジ部分まで平坦な画像が得られるため、欠陥として画面の線欠陥にとどまらず、シミやムラ等、広く欠陥検出の際における画像データの補正方法に適用することが可能である。
【００１８】
【発明の実施の形態】以下、本発明の実施の形態を図面により説明する。図１は本発明の画面の線欠陥検出装置の構成図である。図１において、１０は液晶パネル等の検査対象、２０はＣＣＤカメラ等からなる撮像手段、３０は線欠陥検出手段である。ここでは、検査対象１０である液晶ライトバルブをプロジェクターでスクリーン１２上に投影した画像を検査する場合を示している。この投影画像１１の画面全体（スクリーンの周辺部分を含む全領域）をＣＣＤカメラで撮像する。また、スクリーンを用いずに液晶パネルの表示画像を周辺のフレーム部分を含めて直接撮像してもよい。撮像手段２０には検査対象１０よりも解像度の良いものを用いることが好ましい。すなわち、投影画像１１の画素数よりも撮像手段２０の画素数が多いものがよい。画像データ数が多くなるため、検出精度が向上するからである。
【００１９】線欠陥検出手段３０は、入力部３１と、ノイズ除去部３２と、画像処理部３３と、被検査部抽出部３４と、被検査部再構成部３５と、背景画像作成部３６と、画像データ補正部３７と、欠陥検出部３８と、欠陥判定部３９とから構成されている。線欠陥検出手段３０は通常、表示手段４０等の外部出力装置を含めてコンピュータで構成される。
【００２０】線欠陥検出手段３０の入力部３１には、撮像手段２０で撮像された取込画像のビデオ信号をデジタル信号に変換した画像データが入力される。取込画像は図示しない記憶手段に記憶される。ノイズ除去部３２は、例えば撮像手段２０の特性等により生じるノイズ成分を除去する。画像処理部３３は、入力された取込画像の全領域の画素に対して、例えば、白が「０」、黒が「２５５」の２５６階調の濃淡画像データを作成する。被検査部抽出部３４は、上記作成された取込画像の全領域の画像データに基づいて、被検査部画像の四隅の座標を検出することにより、被検査部の画面部分だけを抽出する。被検査部再構成部３５は、抽出された被検査部画像の領域に対して幾何学的変形を施すことにより、歪みや傾き等のない長方形画像の領域として再構成する。背景画像作成部３６は、再構成された長方形画像領域を複数のブロックに分割し、各ブロックの代表値をサンプリングし、かつ、各サンプリング値の間を直線補間やスプライン補間等により補間することにより、背景画像を作成する。画像データ補正部３７は、上記背景画像を原画像（長方形画像）から減算または除算するシェーディング補正を行う。欠陥検出部３８は、シェーディング補正後の被検査部画像に対して、各画素の輝度値を水平方向及び水平方向にそれぞれ積算することにより線欠陥を検出する。欠陥判定部３９は、上記水平方向及び垂直方向の各積算値を、あらかじめ定められたしきい値と比較することにより、線欠陥の有無を判定する。また、欠陥判定部３９は、判定結果を表示手段４０やプリンター（図示せず）等に出力する。
【００２１】図２は線欠陥検出手段における主要な処理の手順を示すフローチャートである。まず、検査対象１０の画面全体を含む取込画像に対して、ノイズ除去部３２で各画素毎のノイズを除去する（Ｓ１）。例えば、平均化フィルタやメディアンフィルタ等の空間フィルタを用いた平滑化処理により、取込画像の１画素毎にノイズを除去する。
【００２２】続いて、画像処理部３３により、ノイズを除去した取込画像の全領域の画素に対して、上記のように０から２５５までの画像データを作成した後、被検査部抽出部３４により、取込画像の中から被検査部の画面部分だけを抽出する（Ｓ２）。この抽出画面は、被検査部画像の四隅の座標をパターンマッチング（四隅の数画素についてパターンマッチングを行うこと）により検出することで抽出することができる。
【００２３】次に、抽出された被検査部画像の領域に対して、被検査部再構成部３５により、幾何学的変形を施して歪みや傾き等のない正常な長方形画像の領域に再構成する（Ｓ３）。例えば、被検査部画像の四隅の位置座標を用いて按分した各点を再構成する。この被検査部画像の再構成処理によって、投影や撮像時における画面の歪みや傾き等を補正することができる。
【００２４】図３は、このようにして、取込画像の中から歪んだ被検査部画像を抽出し、歪み等のない長方形画像に再構成したときの説明図である。図３において、１２ａはスクリーン部分を含む取込画像、１１ａは取込画像１２ａ中に含まれる被検査部画像、１１ｂは再構成された長方形画像（再構成部）である。また、１００は線欠陥であり、傾斜が補正された状態となっている。
【００２５】次に、背景画像作成部３６により、上記再構成部１１ｂの長方形領域を複数のブロックに分割する。例えば、５×５画素ずつの小ブロックに分割し、各ブロックのメディアン値を計算してそのブロックの代表値としてサンプリングする。そして、各サンプリング値の間を直線補間やスプライン補間により補間することで、空間周波数の高いノイズ成分を除去した背景画像を得ることができる（Ｓ４）。しかも、この背景画像は被検査部画像の領域以外の画像データを含まないために、エッジの部分についても正確で有効な画像を作成することができる。
【００２６】次に、画像データ補正部３７により、上記背景画像を原画像から減算または除算するシェーディング補正を行う（Ｓ５）。図４はシェーディング補正後の被検査部画像の全領域を示す図である。同図から明らかなように、被検査部画像のエッジ部分まで正確なシェーディング補正がなされていることが分かる。
【００２７】次に、欠陥検出部３８により、シェーディング補正後の被検査部画像の全領域における各画素の輝度値を水平方向及び垂直方向にそれぞれ積算する（Ｓ６）。そして、各方向の積算値をあらかじめ定められたしきい値と比較することにより、線欠陥の有無や長さ等を判断する（Ｓ７）。
【００２８】図５は本実施形態により検出された線欠陥の検査結果を示したものである。同図には、被検査部の原画像（左上図）と、被検査部領域を再構成しシェーディング補正した後の被検査部画像（左下図）と、水平方向（Ｘ方向）及び垂直方向（Ｙ方向）の積算結果による線欠陥検出の状況（右上・右下図）が示されている。この例は、水平方向に現れた２本の線欠陥を検出した場合であるが、画面のエッジ部分から延びる線欠陥が明瞭に検出されている。
【００２９】したがって、本実施形態によれば、被検査部画像の歪みや傾き等がソフトウエアにより補正されるため、従来のようにＣＣＤカメラ等の受光素子面に対して検査対象の画面の傾きを合わせるといったハード的、あるいは人為的なアライメント機構や調整が全く不要となる。そのため、検査対象の画面の撮像がアライメント調整を考慮することなく行えるので、極めて容易となる。また、被検査部画像領域の歪みや傾き等が補正されているため、各画素を水平・垂直方向に積算することにより、線欠陥部分は図７（ａ）の理想状態に近い形で検出することができる。したがって、従来よりも微弱なコントラストの線欠陥をも感度良く検出することができる。また、上記のように作成した背景画像を用いて被検査部画像のシェーディング補正を行っているので、補正処理を高速に行うことができるとともに、エッジ部付近に存在する線欠陥までも高精度に検出することができる。
【００３０】本発明は、上に述べたＴＦＴライトバルブに限らず液晶パネルやＤＭＤ（ダイレクト・ミラー・デバイス）などの表示体部品、並びにそれらを用いた表示装置・製品の線欠陥検査に適用することができるものである。
【００３１】また、上に述べた線欠陥検出における画像データの補正方法は、単に線欠陥の検出にとどまらず、広く欠陥検出の際における画像データの補正方法としても応用できるものであり、例えば、画面のシミやムラ等の欠陥を検出するにあたっても、利用することが可能である。その構成は、入力画像の一部として取り出される方形状領域を有する対象画像を補正する方法であって、対象画像領域を複数のブロックに分割する工程と、各ブロックの代表値をサンプリングし、各サンプリング値の間を補間することにより背景画像を作成する工程とを有するものである。ここで、入力画像は前記取込画像に対応し、対象画像は前記被検査部画像に対応する。
【００３２】
【発明の効果】以上のように、本発明によれば、被検査部画像をソフトウエアにより正確な長方形画像に補正することができるので、検査対象画面と撮像素子面とのアライメント調整が不要となり、検査対象画面の撮像が容易となる。また、被検査部画像を幾何学的変形により長方形画像に再構成することにより、線欠陥の傾きがなくなるため、低コントラストの線欠陥も感度良く検出することができる。また、長方形画像から作成した背景画像を用いて被検査画像のシェーディング補正を行うことにより、エッジ部分まで平坦な画像が得られるため、エッジ部付近に存在する線欠陥までも高精度に検出することができる。さらに、本発明の画像データの補正方法は、あらゆる種類の画面欠陥の検出に有効に利用することができる。
【図面の簡単な説明】
【図１】 本発明の画面の線欠陥検出装置の構成図である。
【図２】 図１の線欠陥検出手段における主要な処理の手順を示すフローチャートである。
【図３】 取込画像の中から被検査部画像を抽出し長方形画像に再構成する場合の説明図である。
【図４】 シェーディング補正後の被検査部画像の全領域を示す図である。
【図５】 本実施形態により検出された線欠陥の検査結果を示した図である。
【図６】 従来の撮像時における被検査部画像の歪みを示す図である。
【図７】 水平方向の線欠陥検出例を、理想状態（ａ）と実際の被検査部画像（ｂ）の場合で示す図である。
【図８】 従来の線欠陥検出手順を示すフローチャートである。
【図９】 従来のシェーディング補正後の被検査部画像図である。
【符号の説明】
１０：検査対象、１１：投影画像、１２：スクリーン、１１ａ：被検査部画像、１１ｂ：長方形画像（再構成部）、１２ａ：取込画像、２０：撮像手段、３０：線欠陥検出手段、３１：入力部、３２：ノイズ除去部、３３：画像処理部、３４：被検査部抽出部、３５：被検査部再構成部、３６：背景画像作成部、３７：画像データ補正部、３８：欠陥検出部、３９：欠陥判定部、４０：表示手段、１００：線欠陥
【０００１】
【発明の属する技術分野】本発明は、液晶パネル等の表示デバイスやその応用製品であるプロジェクター等の製造における検査工程において、縦あるいは横方向に連続して現れる直線状の線欠陥を精度よく自動的に検出する技術に関する。
【０００２】
【従来の技術】従来の線欠陥検出方法としては、その方向性を利用して、縦・横方向に画素値を積算する方法が一般的であり、また例えば、特開平１０−２４０９３３号公報に示すように、着目画素を中心として縦・横・斜め方向に画素値を積算して最大値を採用しその最大値をしきい値と比較することにより検出する方法もある。
【０００３】
【発明が解決しようとする課題】しかしながら、従来技術には、以下に示すような問題点がある。
【０００４】（１）検査対象の撮像時における問題点例えば、検査対象の液晶パネルをＣＣＤカメラ等で撮像して自動検査することを考えた場合、カメラの傾き等によって、液晶パネルの縦・横方向が必ずしもＣＣＤ素子面の縦・横方向と一致しないため、液晶パネルとＣＣＤ素子面のアライメントを行っていないと、図６に示すようにＣＣＤカメラで取り込んだ取込画像１０１中に含まれる被検査部画像１０２が歪んでしまう。そのため、検査対象の液晶パネルにおいて縦あるいは横方向に現れている線欠陥１００が、被検査部画像上では傾いてしまう。また、検査対象がプロジェクターの投影画像であるような場合には、スクリーンとの角度や光学系の歪み等によって、投影エリアは正矩形とはならず、全投影エリアでアライメントを行うことは困難である。
【０００５】（２）被検査部画像の歪みによる問題点このように歪んだ被検査部画像から、例えばエッジ近傍を除いた（エッジ近傍は後述するようにシェーディング補正が正確に行えないため）中央部分の領域を抜き出し、縦・横方向にそれぞれ輝度値を積算することにより、線欠陥が存在すればその部分での積算値異常が検出できることが、線欠陥検出の基本的なアイデアであるが、実際には図６のような傾きの影響を受け、異常値のピークは弱められてしまう。その結果、特に低コントラストの線欠陥１００までも高い精度で検出することは難しく、検出感度が低下することになる。すなわち、図７は、理想状態（ａ）と実際の被検査部画像（ｂ）において、水平方向の輝度値の積算を行い、水平方向線欠陥１００を検出する例を示したものであるが、被検査部画像の歪み等により線欠陥が傾いていると、図７（ｂ）に示すように、水平方向の積算値が鈍化する。
【０００６】（３）シェーディング補正における問題点従来の場合、線欠陥を抽出する処理の前には、スクリーンへの投影照度やバックライトの輝度の位置によるばらつきを補正するために、元の画像から背景画像を減算あるいは除算するシェーディング補正と呼ばれる処理を行う場合もあるが、背景画像を作成するために、着目画素の近傍にある数画素の値を畳み込み演算した場合、投影エリアのエッジ付近は非投影エリアの輝度値の影響を受けるため、正しいシェーディング補正とならず、もしエッジ近傍に線欠陥があった場合には検出が困難となる。従来の場合、例えば、図８に示すような手順に従って線欠陥検出の処理が行われているが、この場合、まず、平均化フィルタやメディアンフィルタ等の空間フィルタを使った平滑化処理によって取込画像の１画素毎にノイズを除去した後、ローパスフィルタ等の空間フィルタを使って背景画像を作成し、この背景画像を元の画像から減算あるいは除算することにより、被検査部画像の明るさムラを除去した平坦な画像を得るという、シェーディング処理を行っている。しかしながら、この方法では通常、空間フィルタによる演算が全画像を対象として行われるために、被検査部領域のエッジ近傍においては、領域外暗部のデータの影響を受けて正しいシェーディング補正が行えないという問題がある。図９は従来のシェーディング補正による被検査部画像の一例を示したものであるが、周辺のエッジ部分が異常に淡濃度化されていることが分かる。したがって、このエッジ近傍に線欠陥が存在する場合には検出が難しいことになる。
【０００７】したがって、本発明の目的は、主に上記３つの問題点を解決することにあり、その第１の目的は、撮像時における検査対象とカメラ撮像素子面とのアライメント調整を不要として、しかも正常な長方形の画像を作成可能にすることにある。本発明の第２の目的は、エッジ付近の低コントラストな線欠陥までも検出可能とするために、エッジ付近を含む被検査部画像の全領域にわたって正確なシェーディング補正を可能にすることにある。本発明の第３の目的は、単に画面の線欠陥の検出にとどまらず、シミやムラ等を検出するにあたっても効果的な画像データの補正方法を提供することにある。
【０００８】
【課題を解決するための手段】本発明に係る画面の線欠陥検出方法は、検査対象の画面全体を撮像する工程と、撮像により取り込んだ取込画像のノイズを除去する工程と、前記取込画像の中から前記検査対象の画面に対応する被検査部画像を抽出する工程と、前記被検査部画像を幾何学的変形により長方形画像として再構成する工程と、前記長方形画像のシェーディング補正を行う工程と、シェーディング補正後の画像の輝度値を水平方向及び垂直方向にそれぞれ積算する工程と、前記水平方向及び垂直方向の各積算値をあらかじめ定められたしきい値と比較することにより、線欠陥を検出する工程と、を有することを特徴とする。
【０００９】ここで、取込画像とは、例えば検査対象の液晶パネルをスクリーンに投影したときのように周辺にスクリーン部分を含む投影画像を撮像により取り込んだときの入力画像をいう。また、直接検査対象を撮像する場合には、液晶パネル等のフレーム部分を含む入力画像である。また、本発明では、好ましくは、取込画像のノイズを、空間フィルタを用いた平滑化処理により除去するものである。上記のような取込画像中の検査対象の画面部分は、前述したように必ずしも正しい矩形状になっていないため、検査対象の画面部分だけを取り出す被検査部画像の抽出を行う。その際、被検査部画像は、その画像の四隅の位置をパターンマッチングにより検出する。そして、検出した四隅の位置座標を用いて被検査部画像に幾何学的変形を施すことにより、被検査部画像を長方形画像として再構成する。
【００１０】このような、被検査部画像の抽出及び再構成の処理によって、被検査部画像を歪みや傾き等のない正常な長方形画像に変換することができる。つまり、ソフトウエアにより被検査部領域の歪みや傾き等を除去することができる。そのため、従来のようにＣＣＤカメラ等の受光素子面に対して検査対象の画面の傾きを合わせるといったハード的、あるいは人為的なアライメント機構や調整が全く不要となる。したがって、検査対象の画面の撮像がアライメント調整を考慮することなく行えるので、極めて容易となる。また、傾き等のない被検査部画像を再構成することによって、線欠陥の傾きがなくなるため、低コントラストの線欠陥をも感度良く検出することができる。
【００１１】そして、画面の線欠陥を検出するにあたっては、上記のように再構成された長方形画像のシェーディング補正を行った後、シェーディング補正後の画像の輝度値を水平方向及び垂直方向にそれぞれ積算し、水平方向及び垂直方向の各積算値をあらかじめ定められたしきい値と比較することにより、線欠陥を検出する。ここで、シェーディング補正は、前記長方形画像に対して、一定間隔で代表値をサンプリングし、各サンプリング値の間を補間することによって背景画像を作成し、この背景画像を元の前記長方形画像から減算または除算することにより補正するものである。
【００１２】このような背景画像を用いることによって、高速かつエッジ部分まで精度よくシェーディング補正を行うことができる。しかも、この背景画像を用いたシェーディング補正後の被検査部画像は周辺のエッジ部分まで領域外暗部の影響を全く受けない平坦な画像となり、したがって、エッジ部付近に存在する線欠陥までも高精度に検出することができる。
【００１３】また、本発明に係る画面の線欠陥検出装置は、検査対象の画面全体を撮像する撮像手段と、撮像により取り込んだ取込画像のノイズを除去するノイズ除去手段と、前記取込画像の中から前記検査対象の画面に対応する被検査部画像を抽出する被検査部抽出手段と、前記被検査部画像を幾何学的変形により長方形画像として再構成する被検査部再構成手段と、前記長方形画像のシェーディング補正を行う画像データ補正手段と、シェーディング補正後の画像の輝度値を水平方向及び垂直方向にそれぞれ積算する欠陥抽出手段と、前記水平方向及び垂直方向の各積算値をしきい値と比較することにより、線欠陥を検出する欠陥判定手段と、を有することを特徴とする。
【００１４】また、本発明の画面の線欠陥検出装置は、以下の特徴を有するものである。
【００１５】前記取込画像の全画素を２５６階調の画像データに処理する画像処理手段をさらに有する。前記ノイズ除去手段は、空間フィルタを用いた平滑化処理手段である。前記被検査部抽出手段は、前記被検査部画像の四隅の位置をパターンマッチングにより検出する手段を有する。前記被検査部再構成手段は、前記被検査部抽出手段により検出した前記被検査部画像の四隅の位置座標を用い、さらに前記四隅の位置座標を用い、按分した各点を再構成する手段である。前記画像データ補正手段は、前記長方形画像に対して、一定間隔で代表値をサンプリングし、各サンプリング値の間を補間することによって背景画像を作成する背景画像作成手段を有する。
【００１６】本発明は、さらに、上記のような画面の線欠陥の自動検出に適用されるだけでなく、画像データの補正方法としても有効なものである。すなわち、本発明は、入力画像の一部として取り出される方形状領域を有する対象画像を補正する方法であって、前記対象画像領域を複数のブロックに分割する工程と、各ブロックの代表値をサンプリングし、各サンプリング値の間を補間することにより背景画像を作成する工程と、を有することを特徴とする画像データの補正方法である。
【００１７】この画像データの補正方法を用いれば、上述したように背景画像によって原画像をシェーディング補正することにより、周辺のエッジ部分まで平坦な画像が得られるため、欠陥として画面の線欠陥にとどまらず、シミやムラ等、広く欠陥検出の際における画像データの補正方法に適用することが可能である。
【００１８】
【発明の実施の形態】以下、本発明の実施の形態を図面により説明する。図１は本発明の画面の線欠陥検出装置の構成図である。図１において、１０は液晶パネル等の検査対象、２０はＣＣＤカメラ等からなる撮像手段、３０は線欠陥検出手段である。ここでは、検査対象１０である液晶ライトバルブをプロジェクターでスクリーン１２上に投影した画像を検査する場合を示している。この投影画像１１の画面全体（スクリーンの周辺部分を含む全領域）をＣＣＤカメラで撮像する。また、スクリーンを用いずに液晶パネルの表示画像を周辺のフレーム部分を含めて直接撮像してもよい。撮像手段２０には検査対象１０よりも解像度の良いものを用いることが好ましい。すなわち、投影画像１１の画素数よりも撮像手段２０の画素数が多いものがよい。画像データ数が多くなるため、検出精度が向上するからである。
【００１９】線欠陥検出手段３０は、入力部３１と、ノイズ除去部３２と、画像処理部３３と、被検査部抽出部３４と、被検査部再構成部３５と、背景画像作成部３６と、画像データ補正部３７と、欠陥検出部３８と、欠陥判定部３９とから構成されている。線欠陥検出手段３０は通常、表示手段４０等の外部出力装置を含めてコンピュータで構成される。
【００２０】線欠陥検出手段３０の入力部３１には、撮像手段２０で撮像された取込画像のビデオ信号をデジタル信号に変換した画像データが入力される。取込画像は図示しない記憶手段に記憶される。ノイズ除去部３２は、例えば撮像手段２０の特性等により生じるノイズ成分を除去する。画像処理部３３は、入力された取込画像の全領域の画素に対して、例えば、白が「０」、黒が「２５５」の２５６階調の濃淡画像データを作成する。被検査部抽出部３４は、上記作成された取込画像の全領域の画像データに基づいて、被検査部画像の四隅の座標を検出することにより、被検査部の画面部分だけを抽出する。被検査部再構成部３５は、抽出された被検査部画像の領域に対して幾何学的変形を施すことにより、歪みや傾き等のない長方形画像の領域として再構成する。背景画像作成部３６は、再構成された長方形画像領域を複数のブロックに分割し、各ブロックの代表値をサンプリングし、かつ、各サンプリング値の間を直線補間やスプライン補間等により補間することにより、背景画像を作成する。画像データ補正部３７は、上記背景画像を原画像（長方形画像）から減算または除算するシェーディング補正を行う。欠陥検出部３８は、シェーディング補正後の被検査部画像に対して、各画素の輝度値を水平方向及び水平方向にそれぞれ積算することにより線欠陥を検出する。欠陥判定部３９は、上記水平方向及び垂直方向の各積算値を、あらかじめ定められたしきい値と比較することにより、線欠陥の有無を判定する。また、欠陥判定部３９は、判定結果を表示手段４０やプリンター（図示せず）等に出力する。
【００２１】図２は線欠陥検出手段における主要な処理の手順を示すフローチャートである。まず、検査対象１０の画面全体を含む取込画像に対して、ノイズ除去部３２で各画素毎のノイズを除去する（Ｓ１）。例えば、平均化フィルタやメディアンフィルタ等の空間フィルタを用いた平滑化処理により、取込画像の１画素毎にノイズを除去する。
【００２２】続いて、画像処理部３３により、ノイズを除去した取込画像の全領域の画素に対して、上記のように０から２５５までの画像データを作成した後、被検査部抽出部３４により、取込画像の中から被検査部の画面部分だけを抽出する（Ｓ２）。この抽出画面は、被検査部画像の四隅の座標をパターンマッチング（四隅の数画素についてパターンマッチングを行うこと）により検出することで抽出することができる。
【００２３】次に、抽出された被検査部画像の領域に対して、被検査部再構成部３５により、幾何学的変形を施して歪みや傾き等のない正常な長方形画像の領域に再構成する（Ｓ３）。例えば、被検査部画像の四隅の位置座標を用いて按分した各点を再構成する。この被検査部画像の再構成処理によって、投影や撮像時における画面の歪みや傾き等を補正することができる。
【００２４】図３は、このようにして、取込画像の中から歪んだ被検査部画像を抽出し、歪み等のない長方形画像に再構成したときの説明図である。図３において、１２ａはスクリーン部分を含む取込画像、１１ａは取込画像１２ａ中に含まれる被検査部画像、１１ｂは再構成された長方形画像（再構成部）である。また、１００は線欠陥であり、傾斜が補正された状態となっている。
【００２５】次に、背景画像作成部３６により、上記再構成部１１ｂの長方形領域を複数のブロックに分割する。例えば、５×５画素ずつの小ブロックに分割し、各ブロックのメディアン値を計算してそのブロックの代表値としてサンプリングする。そして、各サンプリング値の間を直線補間やスプライン補間により補間することで、空間周波数の高いノイズ成分を除去した背景画像を得ることができる（Ｓ４）。しかも、この背景画像は被検査部画像の領域以外の画像データを含まないために、エッジの部分についても正確で有効な画像を作成することができる。
【００２６】次に、画像データ補正部３７により、上記背景画像を原画像から減算または除算するシェーディング補正を行う（Ｓ５）。図４はシェーディング補正後の被検査部画像の全領域を示す図である。同図から明らかなように、被検査部画像のエッジ部分まで正確なシェーディング補正がなされていることが分かる。
【００２７】次に、欠陥検出部３８により、シェーディング補正後の被検査部画像の全領域における各画素の輝度値を水平方向及び垂直方向にそれぞれ積算する（Ｓ６）。そして、各方向の積算値をあらかじめ定められたしきい値と比較することにより、線欠陥の有無や長さ等を判断する（Ｓ７）。
【００２８】図５は本実施形態により検出された線欠陥の検査結果を示したものである。同図には、被検査部の原画像（左上図）と、被検査部領域を再構成しシェーディング補正した後の被検査部画像（左下図）と、水平方向（Ｘ方向）及び垂直方向（Ｙ方向）の積算結果による線欠陥検出の状況（右上・右下図）が示されている。この例は、水平方向に現れた２本の線欠陥を検出した場合であるが、画面のエッジ部分から延びる線欠陥が明瞭に検出されている。
【００２９】したがって、本実施形態によれば、被検査部画像の歪みや傾き等がソフトウエアにより補正されるため、従来のようにＣＣＤカメラ等の受光素子面に対して検査対象の画面の傾きを合わせるといったハード的、あるいは人為的なアライメント機構や調整が全く不要となる。そのため、検査対象の画面の撮像がアライメント調整を考慮することなく行えるので、極めて容易となる。また、被検査部画像領域の歪みや傾き等が補正されているため、各画素を水平・垂直方向に積算することにより、線欠陥部分は図７（ａ）の理想状態に近い形で検出することができる。したがって、従来よりも微弱なコントラストの線欠陥をも感度良く検出することができる。また、上記のように作成した背景画像を用いて被検査部画像のシェーディング補正を行っているので、補正処理を高速に行うことができるとともに、エッジ部付近に存在する線欠陥までも高精度に検出することができる。
【００３０】本発明は、上に述べたＴＦＴライトバルブに限らず液晶パネルやＤＭＤ（ダイレクト・ミラー・デバイス）などの表示体部品、並びにそれらを用いた表示装置・製品の線欠陥検査に適用することができるものである。
【００３１】また、上に述べた線欠陥検出における画像データの補正方法は、単に線欠陥の検出にとどまらず、広く欠陥検出の際における画像データの補正方法としても応用できるものであり、例えば、画面のシミやムラ等の欠陥を検出するにあたっても、利用することが可能である。その構成は、入力画像の一部として取り出される方形状領域を有する対象画像を補正する方法であって、対象画像領域を複数のブロックに分割する工程と、各ブロックの代表値をサンプリングし、各サンプリング値の間を補間することにより背景画像を作成する工程とを有するものである。ここで、入力画像は前記取込画像に対応し、対象画像は前記被検査部画像に対応する。
【００３２】
【発明の効果】以上のように、本発明によれば、被検査部画像をソフトウエアにより正確な長方形画像に補正することができるので、検査対象画面と撮像素子面とのアライメント調整が不要となり、検査対象画面の撮像が容易となる。また、被検査部画像を幾何学的変形により長方形画像に再構成することにより、線欠陥の傾きがなくなるため、低コントラストの線欠陥も感度良く検出することができる。また、長方形画像から作成した背景画像を用いて被検査画像のシェーディング補正を行うことにより、エッジ部分まで平坦な画像が得られるため、エッジ部付近に存在する線欠陥までも高精度に検出することができる。さらに、本発明の画像データの補正方法は、あらゆる種類の画面欠陥の検出に有効に利用することができる。
【図面の簡単な説明】
【図１】 本発明の画面の線欠陥検出装置の構成図である。
【図２】 図１の線欠陥検出手段における主要な処理の手順を示すフローチャートである。
【図３】 取込画像の中から被検査部画像を抽出し長方形画像に再構成する場合の説明図である。
【図４】 シェーディング補正後の被検査部画像の全領域を示す図である。
【図５】 本実施形態により検出された線欠陥の検査結果を示した図である。
【図６】 従来の撮像時における被検査部画像の歪みを示す図である。
【図７】 水平方向の線欠陥検出例を、理想状態（ａ）と実際の被検査部画像（ｂ）の場合で示す図である。
【図８】 従来の線欠陥検出手順を示すフローチャートである。
【図９】 従来のシェーディング補正後の被検査部画像図である。
【符号の説明】
１０：検査対象、１１：投影画像、１２：スクリーン、１１ａ：被検査部画像、１１ｂ：長方形画像（再構成部）、１２ａ：取込画像、２０：撮像手段、３０：線欠陥検出手段、３１：入力部、３２：ノイズ除去部、３３：画像処理部、３４：被検査部抽出部、３５：被検査部再構成部、３６：背景画像作成部、３７：画像データ補正部、３８：欠陥検出部、３９：欠陥判定部、４０：表示手段、１００：線欠陥
【特許請求の範囲】
【請求項１】 検査対象の画面全体を撮像する工程と、撮像により取り込んだ取込画像のノイズを除去する工程と、前記取込画像の中から前記検査対象の画面に対応する被検査部画像を抽出する工程と、前記被検査部画像を幾何学的変形により長方形画像として再構成する工程と、前記長方形画像のシェーディング補正を行う工程と、シェーディング補正後の画像の輝度値を水平方向及び垂直方向にそれぞれ積算する工程と、前記水平方向及び垂直方向の各積算値をあらかじめ定められたしきい値と比較することにより、線欠陥を検出する工程と、を有することを特徴とする画面の線欠陥検出方法。
【請求項２】 前記取込画像のノイズは、空間フィルタを用いた平滑化処理により除去することを特徴とする請求項１記載の画面の線欠陥検出方法。
【請求項３】 前記被検査部画像は、その画像の四隅の位置をパターンマッチングにより検出することを特徴とする請求項１または２記載の画面の線欠陥検出方法。
【請求項４】 前記長方形画像は、検出した四隅の位置座標を用いて前記被検査部画像に幾何学的変形を施すことにより作成することを特徴とする請求項３記載の画面の線欠陥検出方法。
【請求項５】 前記幾何学的変形は、前記四隅の位置座標を用い、按分した各点を再構成することを特徴とする請求項４記載の画面の線欠陥検出方法。
【請求項６】 前記シェーディング補正は、前記長方形画像に対して、一定間隔で代表値をサンプリングし、各サンプリング値の間を補間することによって背景画像を作成し、この背景画像を元の前記長方形画像から減算または除算することにより補正することを特徴とする請求項１〜５のいずれかに記載の画面の線欠陥検出方法。
【請求項７】 検査対象の画面全体を撮像する撮像手段と、撮像により取り込んだ取込画像のノイズを除去するノイズ除去手段と、前記取込画像の中から前記検査対象の画面に対応する被検査部画像を抽出する被検査部抽出手段と、前記被検査部画像を幾何学的変形により長方形画像として再構成する被検査部再構成手段と、前記長方形画像のシェーディング補正を行う画像データ補正手段と、シェーディング補正後の画像の輝度値を水平方向及び垂直方向にそれぞれ積算する欠陥抽出手段と、前記水平方向及び垂直方向の各積算値をしきい値と比較することにより、線欠陥を検出する欠陥判定手段と、を有することを特徴とする画面の線欠陥検出装置。
【請求項８】 前記取込画像の全画素を２５６階調の画像データに処理する画像処理手段をさらに有することを特徴とする請求項７記載の画面の線欠陥検出装置。
【請求項９】 前記ノイズ除去手段は、空間フィルタを用いた平滑化処理手段であることを特徴とする請求項７または８記載の画面の線欠陥検出装置。
【請求項１０】 前記被検査部抽出手段は、前記被検査部画像の四隅の位置をパターンマッチングにより検出する手段を有することを特徴とする請求項７〜９のいずれかに画面の線欠陥検出装置。
【請求項１１】 前記被検査部再構成手段は、前記四隅の位置座標を用い、按分した各点を再構成する手段であることを特徴とする請求項１０記載の画面の線欠陥検出装置。
【請求項１２】 前記画像データ補正手段は、前記長方形画像に対して、一定間隔で代表値をサンプリングし、各サンプリング値の間を補間することによって背景画像を作成する背景画像作成手段を有することを特徴とする請求項７〜１１のいずれかに記載の画面の線欠陥検出装置。
【請求項１３】 入力画像の一部として取り出される方形状領域を有する対象画像を補正する方法であって、前記対象画像領域を複数のブロックに分割する工程と、各ブロックの代表値をサンプリングし、各サンプリング値の間を補間することにより背景画像を作成する工程と、を有することを特徴とする画像データの補正方法。
【請求項１】 検査対象の画面全体を撮像する工程と、撮像により取り込んだ取込画像のノイズを除去する工程と、前記取込画像の中から前記検査対象の画面に対応する被検査部画像を抽出する工程と、前記被検査部画像を幾何学的変形により長方形画像として再構成する工程と、前記長方形画像のシェーディング補正を行う工程と、シェーディング補正後の画像の輝度値を水平方向及び垂直方向にそれぞれ積算する工程と、前記水平方向及び垂直方向の各積算値をあらかじめ定められたしきい値と比較することにより、線欠陥を検出する工程と、を有することを特徴とする画面の線欠陥検出方法。
【請求項２】 前記取込画像のノイズは、空間フィルタを用いた平滑化処理により除去することを特徴とする請求項１記載の画面の線欠陥検出方法。
【請求項３】 前記被検査部画像は、その画像の四隅の位置をパターンマッチングにより検出することを特徴とする請求項１または２記載の画面の線欠陥検出方法。
【請求項４】 前記長方形画像は、検出した四隅の位置座標を用いて前記被検査部画像に幾何学的変形を施すことにより作成することを特徴とする請求項３記載の画面の線欠陥検出方法。
【請求項５】 前記幾何学的変形は、前記四隅の位置座標を用い、按分した各点を再構成することを特徴とする請求項４記載の画面の線欠陥検出方法。
【請求項６】 前記シェーディング補正は、前記長方形画像に対して、一定間隔で代表値をサンプリングし、各サンプリング値の間を補間することによって背景画像を作成し、この背景画像を元の前記長方形画像から減算または除算することにより補正することを特徴とする請求項１〜５のいずれかに記載の画面の線欠陥検出方法。
【請求項７】 検査対象の画面全体を撮像する撮像手段と、撮像により取り込んだ取込画像のノイズを除去するノイズ除去手段と、前記取込画像の中から前記検査対象の画面に対応する被検査部画像を抽出する被検査部抽出手段と、前記被検査部画像を幾何学的変形により長方形画像として再構成する被検査部再構成手段と、前記長方形画像のシェーディング補正を行う画像データ補正手段と、シェーディング補正後の画像の輝度値を水平方向及び垂直方向にそれぞれ積算する欠陥抽出手段と、前記水平方向及び垂直方向の各積算値をしきい値と比較することにより、線欠陥を検出する欠陥判定手段と、を有することを特徴とする画面の線欠陥検出装置。
【請求項８】 前記取込画像の全画素を２５６階調の画像データに処理する画像処理手段をさらに有することを特徴とする請求項７記載の画面の線欠陥検出装置。
【請求項９】 前記ノイズ除去手段は、空間フィルタを用いた平滑化処理手段であることを特徴とする請求項７または８記載の画面の線欠陥検出装置。
【請求項１０】 前記被検査部抽出手段は、前記被検査部画像の四隅の位置をパターンマッチングにより検出する手段を有することを特徴とする請求項７〜９のいずれかに画面の線欠陥検出装置。
【請求項１１】 前記被検査部再構成手段は、前記四隅の位置座標を用い、按分した各点を再構成する手段であることを特徴とする請求項１０記載の画面の線欠陥検出装置。
【請求項１２】 前記画像データ補正手段は、前記長方形画像に対して、一定間隔で代表値をサンプリングし、各サンプリング値の間を補間することによって背景画像を作成する背景画像作成手段を有することを特徴とする請求項７〜１１のいずれかに記載の画面の線欠陥検出装置。
【請求項１３】 入力画像の一部として取り出される方形状領域を有する対象画像を補正する方法であって、前記対象画像領域を複数のブロックに分割する工程と、各ブロックの代表値をサンプリングし、各サンプリング値の間を補間することにより背景画像を作成する工程と、を有することを特徴とする画像データの補正方法。
【図１】
【図２】
【図８】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図２】
【図８】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【公開番号】特開２００３−１６８１０３（Ｐ２００３−１６８１０３Ａ）
【公開日】平成１５年６月１３日（２００３．６．１３）
【国際特許分類】
【出願番号】特願２００１−３６５９０５（Ｐ２００１−３６５９０５）
【出願日】平成１３年１１月３０日（２００１．１１．３０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成１５年６月１３日（２００３．６．１３）
【国際特許分類】
【出願日】平成１３年１１月３０日（２００１．１１．３０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]