画像処理方法、周期構造体の画像作成方法、周期構造体の検査方法、画像処理装置、周期構造体の画像作成装置、周期構造体の検査装置及び画像処理プログラム
【課題】複数の単位構造素子が周期的に配列された周期構造体の画像であって、ファイル容量が小さく、モアレが存在しない画像を作成する画像処理方法を提供する。
【解決手段】複数の絵素が周期的に配列された液晶パネルの表示領域を、複数の撮像素子が周期的に配列されたCCDカメラにより、各絵素に複数の撮像素子を割り当てて撮像して、撮像画像を取得する。そして、この撮像画像において、1つの絵素像Eと重なる画素Pの輝度値Vaに、画素の面積Saに対するこの画素Pが絵素像Eと重なる部分Tの面積Sbの比(Sb/Sa)を乗じた部分輝度値Vb{=Va×(Sb/Sa)}を、この絵素像Eに重なる全ての画素Pについて合算し、合算した値を1個の画素の輝度値として縮小画像を作成する。これにより、1個の画素が液晶パネルの1つの絵素に対応する縮小画像を作成する。
【解決手段】複数の絵素が周期的に配列された液晶パネルの表示領域を、複数の撮像素子が周期的に配列されたCCDカメラにより、各絵素に複数の撮像素子を割り当てて撮像して、撮像画像を取得する。そして、この撮像画像において、1つの絵素像Eと重なる画素Pの輝度値Vaに、画素の面積Saに対するこの画素Pが絵素像Eと重なる部分Tの面積Sbの比(Sb/Sa)を乗じた部分輝度値Vb{=Va×(Sb/Sa)}を、この絵素像Eに重なる全ての画素Pについて合算し、合算した値を1個の画素の輝度値として縮小画像を作成する。これにより、1個の画素が液晶パネルの1つの絵素に対応する縮小画像を作成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理方法、周期構造体の画像作成方法、周期構造体の検査方法、画像処理装置、周期構造体の画像作成装置、周期構造体の検査装置及び画像処理プログラムに関し、特に、複数の単位構造素子が周期的に配列された周期構造体を複数の撮像素子が周期的に配列された撮像装置により撮像することにより取得された撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理方法、周期構造体の画像作成方法、周期構造体の検査方法、画像処理装置、周期構造体の画像作成装置、周期構造体の検査装置及び画像処理プログラムに関する。
【背景技術】
【0002】
液晶パネルの製造プロセスにおいては、組み立てたパネルの検査を行っている。この検査は、従来は検査員による官能検査によって行われてきたが、近年は画像処理による自動検査も行われている。このような自動検査は、検査台上に液晶パネルを載置し、この液晶パネルをCCD(Charge-Coupled Device:電荷結合素子)カメラなどの撮像装置によって撮像して画像を取得し、この画像を画像処理することによって行われている。
【0003】
このとき、CCDカメラにおいては、撮像素子である電荷結合素子が周期的に配列されている。また、被撮像物である液晶パネルにおいても、複数の絵素が周期的に配列されている。なお、本明細書において「絵素」とは、液晶パネル等の平面表示パネルにおける表示素子をいう。「絵素」は1組の発光素子から構成されており、例えば、各1個の赤色素子、緑色素子及び青色素子から構成されている。このため、CCDカメラによって液晶パネルを撮像すると、CCDカメラにおける撮像素子の配列周期と液晶パネルにおける絵素の配列周期とが干渉し、取得された画像にモアレが発生することがある(例えば、特許文献1参照。)。
【0004】
CCDカメラの撮像素子の数を液晶パネルの絵素の数よりも十分に多くして、複数の撮像素子により1個の絵素を撮像し、サンプリング定理を満たすようにすれば、モアレは発生しなくなる。しかし、このような高精細画像には、液晶パネルの各絵素の微細構造まで写り込んでしまうため、液晶パネルの表示ムラ等のマクロ的な欠陥の検出には不向きである。また、このような高精細画像はファイル容量が大きいため処理に時間がかかり、取り扱いが不便である。
【0005】
そこで、一旦、高精細画像を取得した後、画像を圧縮して、一の画素が一の絵素に対応するような縮小画像を作成する技術が知られている。しかし、この場合は、高精細画像にはモアレが発生していなくても、圧縮すると、圧縮後の画素の配列周期と絵素の配列周期とが干渉し、モアレが発生してしまうという問題がある。なお、本明細書において「画素」とは、画像の表示素子をいう。「画素」は1組の色領域から構成されており、例えば、各1個の赤色領域、緑色領域及び青色領域から構成されている。
【0006】
【特許文献1】特開平7−147649号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明の目的は、複数の単位構造素子が周期的に配列された周期構造体の画像であって、ファイル容量が小さく、モアレが存在しない画像を作成する画像処理方法、周期構造体の画像作成方法、周期構造体の検査方法、画像処理装置、周期構造体の画像作成装置、周期構造体の検査装置及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【0008】
本発明の一態様によれば、複数の単位構造素子が周期的に配列された周期構造体を、複数の撮像素子が周期的に配列された撮像装置により、各前記単位構造素子に複数の前記撮像素子を割り当てて撮像することにより取得された撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理方法であって、前記撮像画像において、一の前記単位構造素子の像と重なる画素の輝度値に前記画素の面積に対する前記画素が前記一の前記単位構造素子の像と重なる部分の面積の比を乗じた部分輝度値を、前記一の前記単位構造素子の像に重なる全ての画素について合算し、合算した値を一の画素の輝度値として前記縮小画像を作成することを特徴とする画像処理方法が提供される。
【0009】
本発明の他の一態様によれば、複数の撮像素子が周期的に配列された撮像装置により複数の単位構造素子が周期的に配列された周期構造体を撮像して画像を作成する周期構造体の画像作成方法であって、各前記単位構造素子に複数の前記撮像素子を割り当てて、前記撮像装置により前記周期構造体を撮像することにより、撮像画像を取得する撮像工程と、前記撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理工程と、を備え、前記画像処理工程は、前述の画像処理方法によって行うことを特徴とする周期構造体の画像作成方法が提供される。
【0010】
本発明の更に他の一態様によれば、複数の単位構造素子が周期的に配列された周期構造体の検査方法であって、前記周期構造体を撮像して画像を作成する工程と、前記画像に基づいて前記周期構造体における欠陥の有無を評価する工程と、を備え、前記画像を作成する工程は、前述の画像作成方法によって行うことを特徴とする周期構造体の検査方法が提供される。
【0011】
本発明の更に他の一態様によれば、複数の単位構造素子が周期的に配列された周期構造体を、複数の撮像素子が周期的に配列された撮像装置により、各前記単位構造素子に複数の前記撮像素子を割り当てて撮像することにより取得された撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理装置であって、前記撮像画像において、一の前記単位構造素子の像と重なる画素の輝度値に前記画素の面積に対する前記画素が前記一の前記単位構造素子の像と重なる部分の面積の比を乗じた部分輝度値を、前記一の前記単位構造素子の像に重なる全ての画素について合算し、合算した値を一の画素の輝度値として前記縮小画像を作成することを特徴とする画像処理装置が提供される。
【0012】
本発明の更に他の一態様によれば、複数の単位構造素子が周期的に配列された周期構造体を撮像して画像を作成する周期構造体の画像作成装置であって、複数の撮像素子が周期的に配列され、各前記単位構造素子に複数の前記撮像素子を割り当てて、前記撮像装置により前記周期構造体を撮像することにより、撮像画像を取得する撮像装置と、前記撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する前記画像処理装置と、を備えたことを特徴とする周期構造体の画像作成装置が提供される。
【0013】
本発明の更に他の一態様によれば、複数の単位構造素子が周期的に配列された周期構造体の検査装置であって、前記周期構造体を撮像して画像を作成する前記画像作成装置と、前記画像に基づいて前記周期構造体における欠陥の有無を評価する評価装置と、を備えたことを特徴とする周期構造体の検査装置が提供される。
【0014】
本発明の更に他の一態様によれば、複数の単位構造素子が周期的に配列された周期構造体を、複数の撮像素子が周期的に配列された撮像装置により、各前記単位構造素子に複数の前記撮像素子を割り当てて撮像することにより取得された撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理プログラムであって、コンピューターに、前記撮像画像において、一の前記単位構造素子の像と重なる画素の輝度値に前記画素の面積に対する前記画素が前記一の前記単位構造素子の像と重なる部分の面積の比を乗じた部分輝度値を、前記一の前記単位構造素子の像に重なる全ての画素について合算し、合算した値を一の画素の輝度値として前記縮小画像を作成する手順を実行させることを特徴とする画像処理プログラムが提供される。
【発明の効果】
【0015】
本発明によれば、複数の単位構造素子が周期的に配列された周期構造体の画像であって、ファイル容量が小さく、モアレが存在しない画像を作成する画像処理方法、周期構造体の画像作成方法、周期構造体の検査方法、画像処理装置、周期構造体の画像作成装置、周期構造体の検査装置及び画像処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【0016】
以下、図面を参照しつつ、本発明の実施形態について説明する。
図1は、本実施形態に係る液晶パネルの検査装置を例示する斜視図である。
図1に示すように、本実施形態に係る液晶パネルの検査装置1は、液晶パネルLの検査を行う装置である。液晶パネルLの表示領域においては、複数の絵素が周期的にマトリクス状に配列されている。すなわち、液晶パネルLの表示領域は、単位構造素子としての絵素が周期的に配列された周期構造体である。上述の如く、「絵素」とは、液晶パネルLの表示素子をいい、各絵素は1組の発光素子、例えば、赤色素子、緑色素子及び青色素子から構成されている。液晶パネルLは、例えば、携帯電話機用の表示パネルである。
【0017】
検査装置1においては、上方に向けて平面的に光を出射するバックライト2が設けられている。バックライト2は、その上に検査対象物である液晶パネルLが載置され、この液晶パネルLに対して光を照射するものである。
【0018】
また、バックライト2の上方には、撮像装置としてのCCDカメラ3が設けられている。CCDカメラ3は、レンズが下向きになるように設置されており、バックライト2上に載置された液晶パネルLを撮像することができる。CCDカメラ3においては、撮像素子として複数の電荷結合素子が周期的にマトリクス状に配列されており、撮像面を形成している。CCDカメラ3の撮像素子(電荷結合素子)の数は、液晶パネルLの絵素の数よりも多く、これにより、CCDカメラ3は、液晶パネルLの各絵素に複数の撮像素子を割り当てて液晶パネルLを撮像し、複数の画素により1つの絵素の像が形成された高精細な撮像画像を取得することができる。なお、上述の如く、「画素」とは、画像における表示素子をいい、1組の色領域からなる。
【0019】
更に、検査装置1には、画像処理装置4が設けられている。画像処理装置4は、CCDカメラ3が取得した高精細な撮像画像が入力され、この撮像画像から、1つの画素が液晶パネルLの1つの絵素に対応する縮小画像を作成する。画像処理装置4は、例えば、パーソナルコンピューターに所定の画像処理プログラムが格納されて構成されている。画像処理プログラムの内容については後述する。CCDカメラ3及び画像処理装置4によって、検査装置1の画像作成装置が構成されている。
【0020】
更にまた、検査装置1には、評価装置5が設けられている。評価装置5は、画像処理装置4から縮小画像が入力されるようになっており、この縮小画像に基づいて、液晶パネルLにおける欠陥の有無を評価するものである。評価装置5は、例えば、パーソナルコンピューターに所定の評価プログラムが格納されて構成されている。なお、画像処理装置4及び評価装置5は、画像処理プログラム及び評価プログラムの双方が格納された1台のパーソナルコンピューターによって構成されていてもよい。
【0021】
次に、上述の如く構成された本実施形態に係る検査装置の動作、すなわち、本実施形態に係る液晶パネルの検査方法について説明する。
図2は、本実施形態に係る検査方法を例示するフローチャート図であり、
図3は、CCDカメラにより取得された液晶パネルの撮像画像を例示する図であり、
図4は、図3に示す撮像画像の一部拡大図であり、
図5は、本実施形態に係る画像処理方法を例示するフローチャート図であり、
図6は、撮像画像におけるパネル領域の座標を例示する図であり、
図7は、絵素像に部分的に重なっている画素の部分輝度値の計算方法を例示する図であり、
図8は、撮像画像における絵素像及び画素の座標を例示する図であり、
図9は、絵素像に重なっている画素の輝度値の合算方法を例示するフローチャート図であり、
図10は、絵素像に重なっている画素の輝度値の合算方法を例示する図であり、
図11は、画素を各組に分類する際の条件及び各組の部分輝度値の計算方法を例示する図である。
【0022】
先ず、図2のステップS1及び図1に示すように、液晶パネルLをバックライト2上に載置する。これにより、CCDカメラ3の撮像位置に液晶パネルLを位置させる。そして、バックライト2を点灯させ、液晶パネルLの少なくとも一部を透過状態にした状態で、CCDカメラ3により液晶パネルLを撮像する。このとき、CCDカメラ3は、液晶パネルLの各絵素に複数の撮像素子を割り当てて撮像する。これにより、CCDカメラ3は、図3に示す撮像画像Aを取得し、画像処理装置4に対して出力する。
【0023】
図3に示すように、撮像画像Aにおいては、液晶パネルLの表示領域に相当する領域(以下、「パネル領域」という)Rが形成されており、パネル領域Rにおいては、液晶パネルLの絵素に相当する領域(以下、「絵素像」という)Eがマトリクス状に周期的に配列されている。そして、図4に示すように、1つの絵素像Eは、複数個の画素Pにより構成されている。各画素Pは、CCDカメラ3の各撮像素子に対応するものである。撮像画像Aにおいて、画素P及び絵素像Eの形状は共に矩形であり、例えば、正方形であり、1つの絵素像Eは、例えば、9行9列にマトリクス状に配列された81個の画素Pに対応しているが、画素Pの端縁と絵素像Eの端縁とは、必ずしも一致していない。
【0024】
撮像画像Aにおいてはサンプリング定理が満たされているため、モアレは発生していない。しかし、撮像画像Aには、液晶パネルLの各絵素の微細構造(図示せず)まで写り込んでいるため、液晶パネルLにおけるムラ等のマクロ的な欠陥の検出には不向きである。また、撮像画像Aはファイル容量が大きいため、検査のための画像処理に時間がかかる上、各装置のメモリを圧迫してしまい、取り扱いが不便である。
【0025】
このため、図2のステップS2に示すように、撮像画像Aを縮小して縮小画像を作成する。このとき、縮小画像の1個の画素が液晶パネルの1つの絵素に対応するようにする。しかし、上述の如く、撮像画像Aにおいて、画素Pの端縁と絵素像Eの端縁とは必ずしも一致していないため、単純に圧縮画像を形成すると、圧縮後の縮小画像にモアレが発生してしまう。例えば、撮像画像Aを9行9列に配列された81個の画素Pが配列された領域毎に分割し、これらの領域毎に、例えば、81個の画素Pの輝度値の平均値をとり、この平均値を1個の画素の画素値として圧縮画像を作成すると、各領域と絵素像Eとの間にずれがあり、このずれ量が空間周期性を有するため、圧縮後の縮小画像にモアレが発生してしまう。
【0026】
そこで、本実施形態においては、図5に示す方法により、撮像画像Aを圧縮する。図5は、図2に示すステップS2の内容を詳細に示す図である。
先ず、図5のステップS21に示すように、撮像画像Aにおけるパネル領域R(図3参照)の角部の座標を算出する。なお、撮像画像Aにおける座標軸が延びる方向、すなわち、図3及び図4に示すX方向及びY方向は、画素Pの配列方向とする。また、座標軸上の距離の単位は、画素Pの配列周期、すなわち、画素Pの幅とする。
【0027】
パネル領域Rの角部の座標は、例えば、以下のような方法で算出する。すなわち、撮像画像Aにおけるパネル領域Rの角部を含む領域において、各画素の輝度値をY方向及びX方向にそれぞれ積算し、X方向及びY方向の輝度プロファイルを求める。そして、この輝度プロファイルの極小点又は極大点の座標を求め、これらの座標に基づいて、パネル領域Rの角部の座標を算出する。例えば、極小点の座標を基準にする場合には、最も外側に位置する極小点の位置から、更に外側に向けて極小点の1周期分の距離だけ離隔した位置の座標を、角部の座標とする。これにより、撮像画像Aにおけるパネル領域Rの角部の座標を算出する。図6に示すように、パネル領域Rの角部の座標を、(xa,ya)、(xb,yb)、(xc,yc)、(xd,yd)とする。但し、xa<xb、xd<xc、ya<yd、yb<ycである。
【0028】
次に、ステップS22に示すように、2ヶ所の角部の座標の差をこの2ヶ所の角部の間に配列された絵素像Eの数で除すことにより、絵素像Eの幅を算出する。すなわち、図6において、X方向及びY方向に配列された絵素像Eの数をそれぞれNx及びNyとすると、X方向における絵素像Eの幅は{(xb−xa)/Nx}となり、Y方向における絵素像Eの幅は{(yd−ya)/Ny}となる。
【0029】
次に、ステップS23に示すように、ステップS21において求めたパネル領域Rの角部の座標、及びステップS22において求めた絵素像Eの幅に基づいて、絵素像Eの座標を算出する。すなわち、ある絵素像Eの座標を、この絵素像Eの4つの角部のうち、X座標及びY座標が共に小さい値をとる角部の座標と定義するとき、パネル領域Rの角部(xa,ya)から、X方向にm番目、Y方向にn番目の絵素像Eの座標(x1,y1)は、下記数式1及び2によって与えられる。また、絵素像Eの面積は、下記数式3によって与えられる。
【0030】
【数1】
【0031】
【数2】
【0032】
【数3】
【0033】
次に、ステップS24に示すように、撮像画像Aにおいて、各絵素像Eと重なる複数の画素Pを特定する。この画素Pの特定は、上記数式1及び数式2を用いて各絵素像Eの座標を特定することによって行う。
【0034】
次に、ステップS25に示すように、各絵素像Eに重なる画素Pの輝度値の合算値を算出して、新たな画像を作成する。
先ず、本実施形態における輝度値の合算方法の基本的な考え方について説明する。
なお、以下の説明では、1つの絵素像E(以下、「対象絵素像」という)についてのみ、輝度値の合算方法を説明するが、実際には全ての絵素像Eについて合算値を算出する。
【0035】
対象絵素像Eと重なる複数の画素Pのうち、全体が対象絵素像Eと重なっている画素Pについては、その画素の輝度値をそのまま合算する。一方、一部のみが対象絵素像Eと重なっている画素Pについては、その画素の輝度値に、重なっている部分の面積比を乗じた値を合算する。すなわち、図7に示すように、1個の画素Pの面積をSaとし、この画素Pにおける対象絵素像Eとの重複部分Tの面積をSbとし、この画素Pの輝度値をVaとするとき、この画素Pの輝度値のうち、対象絵素像Eの輝度値として合算する部分輝度値Vbを、Vb=Va×(Sb/Sa)とする。このようにして、撮像画像Aにおいて、対象絵素像Eに重なる複数の画素Pのそれぞれについて、画素Pの輝度値Vaに画素Pの面積Saに対する画素Pが絵素像Eと重なる部分Tの面積Sbの比(Sb/Sa)を乗じた部分輝度値Vbを算出し、この部分輝度値Vbを対象絵素像Eに重なる全ての画素Pについて合算する。
【0036】
次に、上述の輝度値の合算をコンピューターに実行させる際の具体的な計算手順について、図8〜図11を参照して説明する。なお、図9は、図5に示すステップS25の内容を詳細に示す図である。また、図8及び図10においては、便宜上、画素の数を少なく示している。
【0037】
先ず、図8に示すように、以下の計算に使用する座標を設定する。すなわち、対象絵素像Eの座標を(x1,y1)とし、この対象絵素像Eの角部のうち、座標が(x1,y1)である角部C1の対角にある角部C2の座標を(x2,y2)とし、角部C1が属する画素Pの角部のうち、X座標及びY座標が共に小さい角部の座標(以下、単に「画素の座標」という)を(sx,sy)とし、角部C2が属する画素Pの座標を(ex,ey)とし、座標が(i,j)である画素Pの輝度値をpix(i,j)とし、各画素Pの幅を1とする。
【0038】
そして、図9のステップS251及び図10に示すように、対象絵素像Eと重なる複数の画素Pを、絵素像Eと重なる部分に応じて、9個の組Q1〜Q9に分類する。このとき、組Q1は、全体が対象絵素像Eに重なる画素からなり、組Q2は、画素Pの4つの角部のうち第1の角部のみを含む部分が対象絵素像Eに重なる画素からなり、組Q3は、第2の角部のみを含む部分が対象絵素像Eに重なる画素からなり、組Q4は、第3の角部のみを含む部分が対象絵素像Eに重なる画素からなり、組Q5は、第4の角部のみを含む部分が対象絵素像Eに重なる画素からなり、組Q6は、組Q5に属する画素と組Q2に属する画素との間に配置された画素からなり、組Q7は、組Q2に属する画素と組Q3に属する画素との間に配置された画素からなり、組Q8は、組Q3に属する画素と組Q4に属する画素との間に配置された画素からなり、組Q9は、組Q4に属する画素と組Q5に属する画素との間に配置された画素からなるものとする。
【0039】
次に、図9のステップS252に示すように、各組の部分輝度値を計算する。具体的には、ある画素Pの座標(i,j)が図11に示す「条件」の欄に記載された範囲にあるとき、この画素Pは、図11に示す「組」の欄に記載された組に属すると判断する。そして、図11に示す「部分輝度値」の欄に記載された数式に従って、各組の部分輝度値を計算する。このようにして、各組Q1〜Q9について、部分輝度値V1〜V9をそれぞれ算出する。
【0040】
次に、図9のステップS253に示すように、下記数式4に従って、上述の部分輝度値V1〜V9を合算して、対象絵素像Eの全体の輝度値Vを算出する。これにより、この絵素像Eと重なる全ての画素Pの部分輝度値を合算し、対象絵素像Eの全体の輝度値Vを算出したことになる。
【0041】
【数4】
【0042】
次に、図9のステップS254に示すように、合算した輝度値Vを1個の画素の輝度値とする新たな画像を作成する。これにより、1個の画素が1つの絵素像Eを表わす縮小画像が作成される。この縮小画像においては、各画素が撮像画像Aの各絵素像Eと完全に対応しているため、画素と絵素像とのずれに起因してモアレが発生することがない。また、縮小画像には液晶パネルLの微細構造が写り込んでいない。更に、ファイル容量が小さいため、取り扱いが容易である。従って、この縮小画像は、検査対象として適した画像になっている。そこで、画像処理装置4(図1参照)は、この縮小画像を検査用画像として、評価装置5に対して出力する。
【0043】
次に、図2のステップS3に示すように、評価装置5が、この縮小画像を検査用画像として用いて、液晶パネルLの欠陥を検出する。例えば、縮小画像において、輝度値が他の領域の輝度値と大きく異なる領域を抽出し、これを欠陥と判定する。又は、縮小画像において、輝度値の変化率が他の領域よりも大きい領域を抽出し、これを欠陥と判定する。これにより、液晶パネルLの検査を終了する。
【0044】
なお、本実施形態においては、上述の図2のステップS2に示す画像の縮小を、画像処理装置4に格納された画像処理プログラムを実行することにより、画像処理装置4を構成するコンピューターによって行っている。この画像処理プログラムは、複数の絵素が周期的に配列された液晶パネルの表示領域を、複数の撮像素子が周期的に配列されたCCDカメラにより、各絵素に複数の撮像素子を割り当てて撮像することにより取得された撮像画像から、一の画素が一の絵素に対応する縮小画像を作成する画像処理プログラムである。
【0045】
そして、この画像処理プログラムは、画像処理装置4を構成するコンピューターに、撮像画像Aにおいて、1つの対象絵素像Eと重なる画素Pの輝度値に画素Pの面積Saに対するこの画素Pが対象絵素像Eと重なる部分Tの面積Sbの比(Sb/Sa)を乗じた部分輝度値Vb{=Va×(Sb/Sa)}を、対象絵素像Eに重なる全ての画素Pについて合算し、合算した値を1個の画素の輝度値として縮小画像を作成する手順を実行させる。また、この手順においては、対象絵素像Eに重なる複数の画素Pを、上述の組Q1〜Q9に分け、各組について部分輝度値Vbを算出させる。すなわち、この画像処理プログラムは、上述の図5及び図9に示す手順に従って、図11に示す数式及び数式1〜数式4に示す演算を行い、縮小画像を作成する。
【0046】
次に、本実施形態の効果について説明する。
本実施形態においては、撮像画像Aにおける画素Pと絵素像Eとの位置関係を画素の配列周期未満の精度で検出し、この検出結果に基づいて、各絵素像Eに起因する輝度値を正確に算出し、この輝度値を各画素の輝度値とした縮小画像を作成している。このため、画素と絵素像とのずれに起因してモアレが発生することがない。
【0047】
そして、本実施形態においては、この縮小画像を利用して液晶パネルの検査を行っているため、モアレがなく、1個の画素が液晶パネルの1つの絵素に対応する縮小画像を使用して、欠陥の有無を評価することができる。この結果、液晶パネルの検査を精度よく且つ効率的に行うことができる。
【0048】
また、本実施形態においては、図5のステップS25に示す工程において、各絵素像Eと重なる複数の画素Pの部分輝度値を画素毎に計算するのではなく、これらの画素Pを9個の組Q1〜Q9に組分けし、各組毎に輝度値をまとめて計算している。これにより、例えば、1つの絵素像Eが9行9列に配列された81個の画素に対応している場合は、画素毎に輝度値を計算すると81回の計算が必要になるが、9個の組に分けて組毎に計算すれば、9回の計算で完了する。この結果、計算を効率化し、合算の計算速度を向上させることができる。
【0049】
以上、実施形態を参照して本発明を説明したが、本発明はこの実施形態に限定されるものではない。例えば、前述の実施形態に対して、当業者が適宜、構成要素の追加、削除若しくは設計変更を行ったもの、又は工程の追加、削除若しくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含有される。例えば、前述の実施形態においては、撮像対象物が液晶パネルである例を示したが、本発明はこれに限定されず、複数の単位構造素子が周期的に配列された周期構造体であれば適用可能である。また、前述の実施形態においては、撮像装置としてCCDカメラを例示したが、本発明はこれに限定されず、複数の撮像素子が周期的に配列された撮像装置であればよく、例えば、CMOS(Complementary Metal Oxide Semiconductor:相補型金属酸化膜半導体)センサーであってもよい。この場合は、各CMOSが撮像素子となる。更に、前述の実施形態においては、画像の縮小をプログラムによってソフトウェア的に実施する例を示したが、専用のハードウェアを使用して実施してもよい。
【図面の簡単な説明】
【0050】
【図1】本発明の実施形態に係る液晶パネルの検査装置を例示する斜視図である。
【図2】本実施形態に係る検査方法を例示するフローチャート図である。
【図3】CCDカメラにより取得された液晶パネルの撮像画像を例示する図である。
【図4】図3に示す撮像画像の一部拡大図である。
【図5】本実施形態に係る画像処理方法を例示するフローチャート図である。
【図6】撮像画像におけるパネル領域の座標を例示する図である。
【図7】絵素像に部分的に重なっている画素の部分輝度値の計算方法を例示する図である。
【図8】撮像画像における絵素像及び画素の座標を例示する図である。
【図9】絵素像に重なっている画素の輝度値の合算方法を例示するフローチャート図である。
【図10】絵素像に重なっている画素の輝度値の合算方法を例示する図である。
【図11】画素を各組に分類する際の条件及び各組の部分輝度値の計算方法を例示する図である。
【符号の説明】
【0051】
1 検査装置、2 バックライト、3 CCDカメラ、4 画像処理装置、5 評価装置、A 撮像画像、E 絵素像、L 液晶パネル、R パネル領域
【技術分野】
【0001】
本発明は、画像処理方法、周期構造体の画像作成方法、周期構造体の検査方法、画像処理装置、周期構造体の画像作成装置、周期構造体の検査装置及び画像処理プログラムに関し、特に、複数の単位構造素子が周期的に配列された周期構造体を複数の撮像素子が周期的に配列された撮像装置により撮像することにより取得された撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理方法、周期構造体の画像作成方法、周期構造体の検査方法、画像処理装置、周期構造体の画像作成装置、周期構造体の検査装置及び画像処理プログラムに関する。
【背景技術】
【0002】
液晶パネルの製造プロセスにおいては、組み立てたパネルの検査を行っている。この検査は、従来は検査員による官能検査によって行われてきたが、近年は画像処理による自動検査も行われている。このような自動検査は、検査台上に液晶パネルを載置し、この液晶パネルをCCD(Charge-Coupled Device:電荷結合素子)カメラなどの撮像装置によって撮像して画像を取得し、この画像を画像処理することによって行われている。
【0003】
このとき、CCDカメラにおいては、撮像素子である電荷結合素子が周期的に配列されている。また、被撮像物である液晶パネルにおいても、複数の絵素が周期的に配列されている。なお、本明細書において「絵素」とは、液晶パネル等の平面表示パネルにおける表示素子をいう。「絵素」は1組の発光素子から構成されており、例えば、各1個の赤色素子、緑色素子及び青色素子から構成されている。このため、CCDカメラによって液晶パネルを撮像すると、CCDカメラにおける撮像素子の配列周期と液晶パネルにおける絵素の配列周期とが干渉し、取得された画像にモアレが発生することがある(例えば、特許文献1参照。)。
【0004】
CCDカメラの撮像素子の数を液晶パネルの絵素の数よりも十分に多くして、複数の撮像素子により1個の絵素を撮像し、サンプリング定理を満たすようにすれば、モアレは発生しなくなる。しかし、このような高精細画像には、液晶パネルの各絵素の微細構造まで写り込んでしまうため、液晶パネルの表示ムラ等のマクロ的な欠陥の検出には不向きである。また、このような高精細画像はファイル容量が大きいため処理に時間がかかり、取り扱いが不便である。
【0005】
そこで、一旦、高精細画像を取得した後、画像を圧縮して、一の画素が一の絵素に対応するような縮小画像を作成する技術が知られている。しかし、この場合は、高精細画像にはモアレが発生していなくても、圧縮すると、圧縮後の画素の配列周期と絵素の配列周期とが干渉し、モアレが発生してしまうという問題がある。なお、本明細書において「画素」とは、画像の表示素子をいう。「画素」は1組の色領域から構成されており、例えば、各1個の赤色領域、緑色領域及び青色領域から構成されている。
【0006】
【特許文献1】特開平7−147649号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明の目的は、複数の単位構造素子が周期的に配列された周期構造体の画像であって、ファイル容量が小さく、モアレが存在しない画像を作成する画像処理方法、周期構造体の画像作成方法、周期構造体の検査方法、画像処理装置、周期構造体の画像作成装置、周期構造体の検査装置及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【0008】
本発明の一態様によれば、複数の単位構造素子が周期的に配列された周期構造体を、複数の撮像素子が周期的に配列された撮像装置により、各前記単位構造素子に複数の前記撮像素子を割り当てて撮像することにより取得された撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理方法であって、前記撮像画像において、一の前記単位構造素子の像と重なる画素の輝度値に前記画素の面積に対する前記画素が前記一の前記単位構造素子の像と重なる部分の面積の比を乗じた部分輝度値を、前記一の前記単位構造素子の像に重なる全ての画素について合算し、合算した値を一の画素の輝度値として前記縮小画像を作成することを特徴とする画像処理方法が提供される。
【0009】
本発明の他の一態様によれば、複数の撮像素子が周期的に配列された撮像装置により複数の単位構造素子が周期的に配列された周期構造体を撮像して画像を作成する周期構造体の画像作成方法であって、各前記単位構造素子に複数の前記撮像素子を割り当てて、前記撮像装置により前記周期構造体を撮像することにより、撮像画像を取得する撮像工程と、前記撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理工程と、を備え、前記画像処理工程は、前述の画像処理方法によって行うことを特徴とする周期構造体の画像作成方法が提供される。
【0010】
本発明の更に他の一態様によれば、複数の単位構造素子が周期的に配列された周期構造体の検査方法であって、前記周期構造体を撮像して画像を作成する工程と、前記画像に基づいて前記周期構造体における欠陥の有無を評価する工程と、を備え、前記画像を作成する工程は、前述の画像作成方法によって行うことを特徴とする周期構造体の検査方法が提供される。
【0011】
本発明の更に他の一態様によれば、複数の単位構造素子が周期的に配列された周期構造体を、複数の撮像素子が周期的に配列された撮像装置により、各前記単位構造素子に複数の前記撮像素子を割り当てて撮像することにより取得された撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理装置であって、前記撮像画像において、一の前記単位構造素子の像と重なる画素の輝度値に前記画素の面積に対する前記画素が前記一の前記単位構造素子の像と重なる部分の面積の比を乗じた部分輝度値を、前記一の前記単位構造素子の像に重なる全ての画素について合算し、合算した値を一の画素の輝度値として前記縮小画像を作成することを特徴とする画像処理装置が提供される。
【0012】
本発明の更に他の一態様によれば、複数の単位構造素子が周期的に配列された周期構造体を撮像して画像を作成する周期構造体の画像作成装置であって、複数の撮像素子が周期的に配列され、各前記単位構造素子に複数の前記撮像素子を割り当てて、前記撮像装置により前記周期構造体を撮像することにより、撮像画像を取得する撮像装置と、前記撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する前記画像処理装置と、を備えたことを特徴とする周期構造体の画像作成装置が提供される。
【0013】
本発明の更に他の一態様によれば、複数の単位構造素子が周期的に配列された周期構造体の検査装置であって、前記周期構造体を撮像して画像を作成する前記画像作成装置と、前記画像に基づいて前記周期構造体における欠陥の有無を評価する評価装置と、を備えたことを特徴とする周期構造体の検査装置が提供される。
【0014】
本発明の更に他の一態様によれば、複数の単位構造素子が周期的に配列された周期構造体を、複数の撮像素子が周期的に配列された撮像装置により、各前記単位構造素子に複数の前記撮像素子を割り当てて撮像することにより取得された撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理プログラムであって、コンピューターに、前記撮像画像において、一の前記単位構造素子の像と重なる画素の輝度値に前記画素の面積に対する前記画素が前記一の前記単位構造素子の像と重なる部分の面積の比を乗じた部分輝度値を、前記一の前記単位構造素子の像に重なる全ての画素について合算し、合算した値を一の画素の輝度値として前記縮小画像を作成する手順を実行させることを特徴とする画像処理プログラムが提供される。
【発明の効果】
【0015】
本発明によれば、複数の単位構造素子が周期的に配列された周期構造体の画像であって、ファイル容量が小さく、モアレが存在しない画像を作成する画像処理方法、周期構造体の画像作成方法、周期構造体の検査方法、画像処理装置、周期構造体の画像作成装置、周期構造体の検査装置及び画像処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【0016】
以下、図面を参照しつつ、本発明の実施形態について説明する。
図1は、本実施形態に係る液晶パネルの検査装置を例示する斜視図である。
図1に示すように、本実施形態に係る液晶パネルの検査装置1は、液晶パネルLの検査を行う装置である。液晶パネルLの表示領域においては、複数の絵素が周期的にマトリクス状に配列されている。すなわち、液晶パネルLの表示領域は、単位構造素子としての絵素が周期的に配列された周期構造体である。上述の如く、「絵素」とは、液晶パネルLの表示素子をいい、各絵素は1組の発光素子、例えば、赤色素子、緑色素子及び青色素子から構成されている。液晶パネルLは、例えば、携帯電話機用の表示パネルである。
【0017】
検査装置1においては、上方に向けて平面的に光を出射するバックライト2が設けられている。バックライト2は、その上に検査対象物である液晶パネルLが載置され、この液晶パネルLに対して光を照射するものである。
【0018】
また、バックライト2の上方には、撮像装置としてのCCDカメラ3が設けられている。CCDカメラ3は、レンズが下向きになるように設置されており、バックライト2上に載置された液晶パネルLを撮像することができる。CCDカメラ3においては、撮像素子として複数の電荷結合素子が周期的にマトリクス状に配列されており、撮像面を形成している。CCDカメラ3の撮像素子(電荷結合素子)の数は、液晶パネルLの絵素の数よりも多く、これにより、CCDカメラ3は、液晶パネルLの各絵素に複数の撮像素子を割り当てて液晶パネルLを撮像し、複数の画素により1つの絵素の像が形成された高精細な撮像画像を取得することができる。なお、上述の如く、「画素」とは、画像における表示素子をいい、1組の色領域からなる。
【0019】
更に、検査装置1には、画像処理装置4が設けられている。画像処理装置4は、CCDカメラ3が取得した高精細な撮像画像が入力され、この撮像画像から、1つの画素が液晶パネルLの1つの絵素に対応する縮小画像を作成する。画像処理装置4は、例えば、パーソナルコンピューターに所定の画像処理プログラムが格納されて構成されている。画像処理プログラムの内容については後述する。CCDカメラ3及び画像処理装置4によって、検査装置1の画像作成装置が構成されている。
【0020】
更にまた、検査装置1には、評価装置5が設けられている。評価装置5は、画像処理装置4から縮小画像が入力されるようになっており、この縮小画像に基づいて、液晶パネルLにおける欠陥の有無を評価するものである。評価装置5は、例えば、パーソナルコンピューターに所定の評価プログラムが格納されて構成されている。なお、画像処理装置4及び評価装置5は、画像処理プログラム及び評価プログラムの双方が格納された1台のパーソナルコンピューターによって構成されていてもよい。
【0021】
次に、上述の如く構成された本実施形態に係る検査装置の動作、すなわち、本実施形態に係る液晶パネルの検査方法について説明する。
図2は、本実施形態に係る検査方法を例示するフローチャート図であり、
図3は、CCDカメラにより取得された液晶パネルの撮像画像を例示する図であり、
図4は、図3に示す撮像画像の一部拡大図であり、
図5は、本実施形態に係る画像処理方法を例示するフローチャート図であり、
図6は、撮像画像におけるパネル領域の座標を例示する図であり、
図7は、絵素像に部分的に重なっている画素の部分輝度値の計算方法を例示する図であり、
図8は、撮像画像における絵素像及び画素の座標を例示する図であり、
図9は、絵素像に重なっている画素の輝度値の合算方法を例示するフローチャート図であり、
図10は、絵素像に重なっている画素の輝度値の合算方法を例示する図であり、
図11は、画素を各組に分類する際の条件及び各組の部分輝度値の計算方法を例示する図である。
【0022】
先ず、図2のステップS1及び図1に示すように、液晶パネルLをバックライト2上に載置する。これにより、CCDカメラ3の撮像位置に液晶パネルLを位置させる。そして、バックライト2を点灯させ、液晶パネルLの少なくとも一部を透過状態にした状態で、CCDカメラ3により液晶パネルLを撮像する。このとき、CCDカメラ3は、液晶パネルLの各絵素に複数の撮像素子を割り当てて撮像する。これにより、CCDカメラ3は、図3に示す撮像画像Aを取得し、画像処理装置4に対して出力する。
【0023】
図3に示すように、撮像画像Aにおいては、液晶パネルLの表示領域に相当する領域(以下、「パネル領域」という)Rが形成されており、パネル領域Rにおいては、液晶パネルLの絵素に相当する領域(以下、「絵素像」という)Eがマトリクス状に周期的に配列されている。そして、図4に示すように、1つの絵素像Eは、複数個の画素Pにより構成されている。各画素Pは、CCDカメラ3の各撮像素子に対応するものである。撮像画像Aにおいて、画素P及び絵素像Eの形状は共に矩形であり、例えば、正方形であり、1つの絵素像Eは、例えば、9行9列にマトリクス状に配列された81個の画素Pに対応しているが、画素Pの端縁と絵素像Eの端縁とは、必ずしも一致していない。
【0024】
撮像画像Aにおいてはサンプリング定理が満たされているため、モアレは発生していない。しかし、撮像画像Aには、液晶パネルLの各絵素の微細構造(図示せず)まで写り込んでいるため、液晶パネルLにおけるムラ等のマクロ的な欠陥の検出には不向きである。また、撮像画像Aはファイル容量が大きいため、検査のための画像処理に時間がかかる上、各装置のメモリを圧迫してしまい、取り扱いが不便である。
【0025】
このため、図2のステップS2に示すように、撮像画像Aを縮小して縮小画像を作成する。このとき、縮小画像の1個の画素が液晶パネルの1つの絵素に対応するようにする。しかし、上述の如く、撮像画像Aにおいて、画素Pの端縁と絵素像Eの端縁とは必ずしも一致していないため、単純に圧縮画像を形成すると、圧縮後の縮小画像にモアレが発生してしまう。例えば、撮像画像Aを9行9列に配列された81個の画素Pが配列された領域毎に分割し、これらの領域毎に、例えば、81個の画素Pの輝度値の平均値をとり、この平均値を1個の画素の画素値として圧縮画像を作成すると、各領域と絵素像Eとの間にずれがあり、このずれ量が空間周期性を有するため、圧縮後の縮小画像にモアレが発生してしまう。
【0026】
そこで、本実施形態においては、図5に示す方法により、撮像画像Aを圧縮する。図5は、図2に示すステップS2の内容を詳細に示す図である。
先ず、図5のステップS21に示すように、撮像画像Aにおけるパネル領域R(図3参照)の角部の座標を算出する。なお、撮像画像Aにおける座標軸が延びる方向、すなわち、図3及び図4に示すX方向及びY方向は、画素Pの配列方向とする。また、座標軸上の距離の単位は、画素Pの配列周期、すなわち、画素Pの幅とする。
【0027】
パネル領域Rの角部の座標は、例えば、以下のような方法で算出する。すなわち、撮像画像Aにおけるパネル領域Rの角部を含む領域において、各画素の輝度値をY方向及びX方向にそれぞれ積算し、X方向及びY方向の輝度プロファイルを求める。そして、この輝度プロファイルの極小点又は極大点の座標を求め、これらの座標に基づいて、パネル領域Rの角部の座標を算出する。例えば、極小点の座標を基準にする場合には、最も外側に位置する極小点の位置から、更に外側に向けて極小点の1周期分の距離だけ離隔した位置の座標を、角部の座標とする。これにより、撮像画像Aにおけるパネル領域Rの角部の座標を算出する。図6に示すように、パネル領域Rの角部の座標を、(xa,ya)、(xb,yb)、(xc,yc)、(xd,yd)とする。但し、xa<xb、xd<xc、ya<yd、yb<ycである。
【0028】
次に、ステップS22に示すように、2ヶ所の角部の座標の差をこの2ヶ所の角部の間に配列された絵素像Eの数で除すことにより、絵素像Eの幅を算出する。すなわち、図6において、X方向及びY方向に配列された絵素像Eの数をそれぞれNx及びNyとすると、X方向における絵素像Eの幅は{(xb−xa)/Nx}となり、Y方向における絵素像Eの幅は{(yd−ya)/Ny}となる。
【0029】
次に、ステップS23に示すように、ステップS21において求めたパネル領域Rの角部の座標、及びステップS22において求めた絵素像Eの幅に基づいて、絵素像Eの座標を算出する。すなわち、ある絵素像Eの座標を、この絵素像Eの4つの角部のうち、X座標及びY座標が共に小さい値をとる角部の座標と定義するとき、パネル領域Rの角部(xa,ya)から、X方向にm番目、Y方向にn番目の絵素像Eの座標(x1,y1)は、下記数式1及び2によって与えられる。また、絵素像Eの面積は、下記数式3によって与えられる。
【0030】
【数1】
【0031】
【数2】
【0032】
【数3】
【0033】
次に、ステップS24に示すように、撮像画像Aにおいて、各絵素像Eと重なる複数の画素Pを特定する。この画素Pの特定は、上記数式1及び数式2を用いて各絵素像Eの座標を特定することによって行う。
【0034】
次に、ステップS25に示すように、各絵素像Eに重なる画素Pの輝度値の合算値を算出して、新たな画像を作成する。
先ず、本実施形態における輝度値の合算方法の基本的な考え方について説明する。
なお、以下の説明では、1つの絵素像E(以下、「対象絵素像」という)についてのみ、輝度値の合算方法を説明するが、実際には全ての絵素像Eについて合算値を算出する。
【0035】
対象絵素像Eと重なる複数の画素Pのうち、全体が対象絵素像Eと重なっている画素Pについては、その画素の輝度値をそのまま合算する。一方、一部のみが対象絵素像Eと重なっている画素Pについては、その画素の輝度値に、重なっている部分の面積比を乗じた値を合算する。すなわち、図7に示すように、1個の画素Pの面積をSaとし、この画素Pにおける対象絵素像Eとの重複部分Tの面積をSbとし、この画素Pの輝度値をVaとするとき、この画素Pの輝度値のうち、対象絵素像Eの輝度値として合算する部分輝度値Vbを、Vb=Va×(Sb/Sa)とする。このようにして、撮像画像Aにおいて、対象絵素像Eに重なる複数の画素Pのそれぞれについて、画素Pの輝度値Vaに画素Pの面積Saに対する画素Pが絵素像Eと重なる部分Tの面積Sbの比(Sb/Sa)を乗じた部分輝度値Vbを算出し、この部分輝度値Vbを対象絵素像Eに重なる全ての画素Pについて合算する。
【0036】
次に、上述の輝度値の合算をコンピューターに実行させる際の具体的な計算手順について、図8〜図11を参照して説明する。なお、図9は、図5に示すステップS25の内容を詳細に示す図である。また、図8及び図10においては、便宜上、画素の数を少なく示している。
【0037】
先ず、図8に示すように、以下の計算に使用する座標を設定する。すなわち、対象絵素像Eの座標を(x1,y1)とし、この対象絵素像Eの角部のうち、座標が(x1,y1)である角部C1の対角にある角部C2の座標を(x2,y2)とし、角部C1が属する画素Pの角部のうち、X座標及びY座標が共に小さい角部の座標(以下、単に「画素の座標」という)を(sx,sy)とし、角部C2が属する画素Pの座標を(ex,ey)とし、座標が(i,j)である画素Pの輝度値をpix(i,j)とし、各画素Pの幅を1とする。
【0038】
そして、図9のステップS251及び図10に示すように、対象絵素像Eと重なる複数の画素Pを、絵素像Eと重なる部分に応じて、9個の組Q1〜Q9に分類する。このとき、組Q1は、全体が対象絵素像Eに重なる画素からなり、組Q2は、画素Pの4つの角部のうち第1の角部のみを含む部分が対象絵素像Eに重なる画素からなり、組Q3は、第2の角部のみを含む部分が対象絵素像Eに重なる画素からなり、組Q4は、第3の角部のみを含む部分が対象絵素像Eに重なる画素からなり、組Q5は、第4の角部のみを含む部分が対象絵素像Eに重なる画素からなり、組Q6は、組Q5に属する画素と組Q2に属する画素との間に配置された画素からなり、組Q7は、組Q2に属する画素と組Q3に属する画素との間に配置された画素からなり、組Q8は、組Q3に属する画素と組Q4に属する画素との間に配置された画素からなり、組Q9は、組Q4に属する画素と組Q5に属する画素との間に配置された画素からなるものとする。
【0039】
次に、図9のステップS252に示すように、各組の部分輝度値を計算する。具体的には、ある画素Pの座標(i,j)が図11に示す「条件」の欄に記載された範囲にあるとき、この画素Pは、図11に示す「組」の欄に記載された組に属すると判断する。そして、図11に示す「部分輝度値」の欄に記載された数式に従って、各組の部分輝度値を計算する。このようにして、各組Q1〜Q9について、部分輝度値V1〜V9をそれぞれ算出する。
【0040】
次に、図9のステップS253に示すように、下記数式4に従って、上述の部分輝度値V1〜V9を合算して、対象絵素像Eの全体の輝度値Vを算出する。これにより、この絵素像Eと重なる全ての画素Pの部分輝度値を合算し、対象絵素像Eの全体の輝度値Vを算出したことになる。
【0041】
【数4】
【0042】
次に、図9のステップS254に示すように、合算した輝度値Vを1個の画素の輝度値とする新たな画像を作成する。これにより、1個の画素が1つの絵素像Eを表わす縮小画像が作成される。この縮小画像においては、各画素が撮像画像Aの各絵素像Eと完全に対応しているため、画素と絵素像とのずれに起因してモアレが発生することがない。また、縮小画像には液晶パネルLの微細構造が写り込んでいない。更に、ファイル容量が小さいため、取り扱いが容易である。従って、この縮小画像は、検査対象として適した画像になっている。そこで、画像処理装置4(図1参照)は、この縮小画像を検査用画像として、評価装置5に対して出力する。
【0043】
次に、図2のステップS3に示すように、評価装置5が、この縮小画像を検査用画像として用いて、液晶パネルLの欠陥を検出する。例えば、縮小画像において、輝度値が他の領域の輝度値と大きく異なる領域を抽出し、これを欠陥と判定する。又は、縮小画像において、輝度値の変化率が他の領域よりも大きい領域を抽出し、これを欠陥と判定する。これにより、液晶パネルLの検査を終了する。
【0044】
なお、本実施形態においては、上述の図2のステップS2に示す画像の縮小を、画像処理装置4に格納された画像処理プログラムを実行することにより、画像処理装置4を構成するコンピューターによって行っている。この画像処理プログラムは、複数の絵素が周期的に配列された液晶パネルの表示領域を、複数の撮像素子が周期的に配列されたCCDカメラにより、各絵素に複数の撮像素子を割り当てて撮像することにより取得された撮像画像から、一の画素が一の絵素に対応する縮小画像を作成する画像処理プログラムである。
【0045】
そして、この画像処理プログラムは、画像処理装置4を構成するコンピューターに、撮像画像Aにおいて、1つの対象絵素像Eと重なる画素Pの輝度値に画素Pの面積Saに対するこの画素Pが対象絵素像Eと重なる部分Tの面積Sbの比(Sb/Sa)を乗じた部分輝度値Vb{=Va×(Sb/Sa)}を、対象絵素像Eに重なる全ての画素Pについて合算し、合算した値を1個の画素の輝度値として縮小画像を作成する手順を実行させる。また、この手順においては、対象絵素像Eに重なる複数の画素Pを、上述の組Q1〜Q9に分け、各組について部分輝度値Vbを算出させる。すなわち、この画像処理プログラムは、上述の図5及び図9に示す手順に従って、図11に示す数式及び数式1〜数式4に示す演算を行い、縮小画像を作成する。
【0046】
次に、本実施形態の効果について説明する。
本実施形態においては、撮像画像Aにおける画素Pと絵素像Eとの位置関係を画素の配列周期未満の精度で検出し、この検出結果に基づいて、各絵素像Eに起因する輝度値を正確に算出し、この輝度値を各画素の輝度値とした縮小画像を作成している。このため、画素と絵素像とのずれに起因してモアレが発生することがない。
【0047】
そして、本実施形態においては、この縮小画像を利用して液晶パネルの検査を行っているため、モアレがなく、1個の画素が液晶パネルの1つの絵素に対応する縮小画像を使用して、欠陥の有無を評価することができる。この結果、液晶パネルの検査を精度よく且つ効率的に行うことができる。
【0048】
また、本実施形態においては、図5のステップS25に示す工程において、各絵素像Eと重なる複数の画素Pの部分輝度値を画素毎に計算するのではなく、これらの画素Pを9個の組Q1〜Q9に組分けし、各組毎に輝度値をまとめて計算している。これにより、例えば、1つの絵素像Eが9行9列に配列された81個の画素に対応している場合は、画素毎に輝度値を計算すると81回の計算が必要になるが、9個の組に分けて組毎に計算すれば、9回の計算で完了する。この結果、計算を効率化し、合算の計算速度を向上させることができる。
【0049】
以上、実施形態を参照して本発明を説明したが、本発明はこの実施形態に限定されるものではない。例えば、前述の実施形態に対して、当業者が適宜、構成要素の追加、削除若しくは設計変更を行ったもの、又は工程の追加、削除若しくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含有される。例えば、前述の実施形態においては、撮像対象物が液晶パネルである例を示したが、本発明はこれに限定されず、複数の単位構造素子が周期的に配列された周期構造体であれば適用可能である。また、前述の実施形態においては、撮像装置としてCCDカメラを例示したが、本発明はこれに限定されず、複数の撮像素子が周期的に配列された撮像装置であればよく、例えば、CMOS(Complementary Metal Oxide Semiconductor:相補型金属酸化膜半導体)センサーであってもよい。この場合は、各CMOSが撮像素子となる。更に、前述の実施形態においては、画像の縮小をプログラムによってソフトウェア的に実施する例を示したが、専用のハードウェアを使用して実施してもよい。
【図面の簡単な説明】
【0050】
【図1】本発明の実施形態に係る液晶パネルの検査装置を例示する斜視図である。
【図2】本実施形態に係る検査方法を例示するフローチャート図である。
【図3】CCDカメラにより取得された液晶パネルの撮像画像を例示する図である。
【図4】図3に示す撮像画像の一部拡大図である。
【図5】本実施形態に係る画像処理方法を例示するフローチャート図である。
【図6】撮像画像におけるパネル領域の座標を例示する図である。
【図7】絵素像に部分的に重なっている画素の部分輝度値の計算方法を例示する図である。
【図8】撮像画像における絵素像及び画素の座標を例示する図である。
【図9】絵素像に重なっている画素の輝度値の合算方法を例示するフローチャート図である。
【図10】絵素像に重なっている画素の輝度値の合算方法を例示する図である。
【図11】画素を各組に分類する際の条件及び各組の部分輝度値の計算方法を例示する図である。
【符号の説明】
【0051】
1 検査装置、2 バックライト、3 CCDカメラ、4 画像処理装置、5 評価装置、A 撮像画像、E 絵素像、L 液晶パネル、R パネル領域
【特許請求の範囲】
【請求項1】
複数の単位構造素子が周期的に配列された周期構造体を、複数の撮像素子が周期的に配列された撮像装置により、各前記単位構造素子に複数の前記撮像素子を割り当てて撮像することにより取得された撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理方法であって、
前記撮像画像において、一の前記単位構造素子の像と重なる画素の輝度値に前記画素の面積に対する前記画素が前記一の前記単位構造素子の像と重なる部分の面積の比を乗じた部分輝度値を、前記一の前記単位構造素子の像に重なる全ての画素について合算し、合算した値を一の画素の輝度値として前記縮小画像を作成することを特徴とする画像処理方法。
【請求項2】
前記撮像画像の画素の形状及び前記像の形状が共に矩形であり、
前記一の単位構造素子の像に重なる複数の画素を、
全体が前記像に重なる画素からなる第1の組と、
前記画素の4つの角部のうち第1の角部のみを含む部分が前記像に重なる画素からなる第2の組と、
第2の角部のみを含む部分が前記像に重なる画素からなる第3の組と、
第3の角部のみを含む部分が前記像に重なる画素からなる第4の組と、
第4の角部のみを含む部分が前記像に重なる画素からなる第5の組と、
前記第5の組に属する画素と前記第2の組に属する画素との間に配置された画素からなる第6の組と、
前記第2の組に属する画素と前記第3の組に属する画素との間に配置された画素からなる第7の組と、
前記第3の組に属する画素と前記第4の組に属する画素との間に配置された画素からなる第8の組と、
前記第4の組に属する画素と前記第5の組に属する画素との間に配置された画素からなる第9の組と、
に分け、
各組について前記部分輝度値を算出することを特徴とする請求項1記載の画像処理方法。
【請求項3】
前記周期構造体は液晶パネルの表示領域であり、前記単位構造素子は前記液晶パネルの絵素であることを特徴とする請求項1または2に記載の画像処理方法。
【請求項4】
複数の撮像素子が周期的に配列された撮像装置により複数の単位構造素子が周期的に配列された周期構造体を撮像して画像を作成する周期構造体の画像作成方法であって、
各前記単位構造素子に複数の前記撮像素子を割り当てて、前記撮像装置により前記周期構造体を撮像することにより、撮像画像を取得する撮像工程と、
前記撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理工程と、
を備え、
前記画像処理工程は、請求項1〜3のいずれか1つに記載の方法によって行うことを特徴とする周期構造体の画像作成方法。
【請求項5】
複数の単位構造素子が周期的に配列された周期構造体の検査方法であって、
前記周期構造体を撮像して画像を作成する工程と、
前記画像に基づいて前記周期構造体における欠陥の有無を評価する工程と、
を備え、
前記画像を作成する工程は、請求項4記載の方法によって行うことを特徴とする周期構造体の検査方法。
【請求項6】
複数の単位構造素子が周期的に配列された周期構造体を、複数の撮像素子が周期的に配列された撮像装置により、各前記単位構造素子に複数の前記撮像素子を割り当てて撮像することにより取得された撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理装置であって、
前記撮像画像において、一の前記単位構造素子の像と重なる画素の輝度値に前記画素の面積に対する前記画素が前記一の前記単位構造素子の像と重なる部分の面積の比を乗じた部分輝度値を、前記一の前記単位構造素子の像に重なる全ての画素について合算し、合算した値を一の画素の輝度値として前記縮小画像を作成することを特徴とする画像処理装置。
【請求項7】
前記撮像画像の画素の形状及び前記像の形状が共に矩形であり、
前記一の単位構造素子の像に重なる複数の画素を、
全体が前記像に重なる画素からなる第1の組と、
前記画素の4つの角部のうち第1の角部のみを含む部分が前記像に重なる画素からなる第2の組と、
第2の角部のみを含む部分が前記像に重なる画素からなる第3の組と、
第3の角部のみを含む部分が前記像に重なる画素からなる第4の組と、
第4の角部のみを含む部分が前記像に重なる画素からなる第5の組と、
前記第5の組に属する画素と前記第2の組に属する画素との間に配置された画素からなる第6の組と、
前記第2の組に属する画素と前記第3の組に属する画素との間に配置された画素からなる第7の組と、
前記第3の組に属する画素と前記第4の組に属する画素との間に配置された画素からなる第8の組と、
前記第4の組に属する画素と前記第5の組に属する画素との間に配置された画素からなる第9の組と、
に分け、
各組について前記部分輝度値を算出することを特徴とする請求項6記載の画像処理装置。
【請求項8】
前記周期構造体は液晶パネルであり、前記単位構造素子は前記液晶パネルの絵素であることを特徴とする請求項6または7に記載の画像処理装置。
【請求項9】
複数の単位構造素子が周期的に配列された周期構造体を撮像して画像を作成する周期構造体の画像作成装置であって、
複数の撮像素子が周期的に配列され、各前記単位構造素子に複数の前記撮像素子を割り当てて、前記撮像装置により前記周期構造体を撮像することにより、撮像画像を取得する撮像装置と、
前記撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する請求項6〜8のいずれか1つに記載の画像処理装置と、
を備えたことを特徴とする周期構造体の画像作成装置。
【請求項10】
複数の単位構造素子が周期的に配列された周期構造体の検査装置であって、
前記周期構造体を撮像して画像を作成する請求項9記載の画像作成装置と、
前記画像に基づいて前記周期構造体における欠陥の有無を評価する評価装置と、
を備えたことを特徴とする周期構造体の検査装置。
【請求項11】
複数の単位構造素子が周期的に配列された周期構造体を、複数の撮像素子が周期的に配列された撮像装置により、各前記単位構造素子に複数の前記撮像素子を割り当てて撮像することにより取得された撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理プログラムであって、
コンピューターに、
前記撮像画像において、一の前記単位構造素子の像と重なる画素の輝度値に前記画素の面積に対する前記画素が前記一の前記単位構造素子の像と重なる部分の面積の比を乗じた部分輝度値を、前記一の前記単位構造素子の像に重なる全ての画素について合算し、合算した値を一の画素の輝度値として前記縮小画像を作成する手順を実行させることを特徴とする画像処理プログラム。
【請求項12】
前記撮像画像の画素の形状及び前記像の形状が共に矩形であり、
前記コンピューターに、
前記一の単位構造素子の像に重なる複数の画素を、
全体が前記像に重なる画素からなる第1の組と、
前記画素の4つの角部のうち第1の角部のみを含む部分が前記像に重なる画素からなる第2の組と、
第2の角部のみを含む部分が前記像に重なる画素からなる第3の組と、
第3の角部のみを含む部分が前記像に重なる画素からなる第4の組と、
第4の角部のみを含む部分が前記像に重なる画素からなる第5の組と、
前記第5の組に属する画素と前記第2の組に属する画素との間に配置された画素からなる第6の組と、
前記第2の組に属する画素と前記第3の組に属する画素との間に配置された画素からなる第7の組と、
前記第3の組に属する画素と前記第4の組に属する画素との間に配置された画素からなる第8の組と、
前記第4の組に属する画素と前記第5の組に属する画素との間に配置された画素からなる第9の組と、
に分けさせ、
各組について前記部分輝度値を算出させることを特徴とする請求項11記載の画像処理プログラム。
【請求項13】
前記周期構造体は液晶パネルの表示領域であり、前記単位構造素子は前記液晶パネルの絵素であり、液晶パネルの検査用画像の作成に使用されることを特徴とする請求項11または12に記載の画像処理プログラム。
【請求項1】
複数の単位構造素子が周期的に配列された周期構造体を、複数の撮像素子が周期的に配列された撮像装置により、各前記単位構造素子に複数の前記撮像素子を割り当てて撮像することにより取得された撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理方法であって、
前記撮像画像において、一の前記単位構造素子の像と重なる画素の輝度値に前記画素の面積に対する前記画素が前記一の前記単位構造素子の像と重なる部分の面積の比を乗じた部分輝度値を、前記一の前記単位構造素子の像に重なる全ての画素について合算し、合算した値を一の画素の輝度値として前記縮小画像を作成することを特徴とする画像処理方法。
【請求項2】
前記撮像画像の画素の形状及び前記像の形状が共に矩形であり、
前記一の単位構造素子の像に重なる複数の画素を、
全体が前記像に重なる画素からなる第1の組と、
前記画素の4つの角部のうち第1の角部のみを含む部分が前記像に重なる画素からなる第2の組と、
第2の角部のみを含む部分が前記像に重なる画素からなる第3の組と、
第3の角部のみを含む部分が前記像に重なる画素からなる第4の組と、
第4の角部のみを含む部分が前記像に重なる画素からなる第5の組と、
前記第5の組に属する画素と前記第2の組に属する画素との間に配置された画素からなる第6の組と、
前記第2の組に属する画素と前記第3の組に属する画素との間に配置された画素からなる第7の組と、
前記第3の組に属する画素と前記第4の組に属する画素との間に配置された画素からなる第8の組と、
前記第4の組に属する画素と前記第5の組に属する画素との間に配置された画素からなる第9の組と、
に分け、
各組について前記部分輝度値を算出することを特徴とする請求項1記載の画像処理方法。
【請求項3】
前記周期構造体は液晶パネルの表示領域であり、前記単位構造素子は前記液晶パネルの絵素であることを特徴とする請求項1または2に記載の画像処理方法。
【請求項4】
複数の撮像素子が周期的に配列された撮像装置により複数の単位構造素子が周期的に配列された周期構造体を撮像して画像を作成する周期構造体の画像作成方法であって、
各前記単位構造素子に複数の前記撮像素子を割り当てて、前記撮像装置により前記周期構造体を撮像することにより、撮像画像を取得する撮像工程と、
前記撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理工程と、
を備え、
前記画像処理工程は、請求項1〜3のいずれか1つに記載の方法によって行うことを特徴とする周期構造体の画像作成方法。
【請求項5】
複数の単位構造素子が周期的に配列された周期構造体の検査方法であって、
前記周期構造体を撮像して画像を作成する工程と、
前記画像に基づいて前記周期構造体における欠陥の有無を評価する工程と、
を備え、
前記画像を作成する工程は、請求項4記載の方法によって行うことを特徴とする周期構造体の検査方法。
【請求項6】
複数の単位構造素子が周期的に配列された周期構造体を、複数の撮像素子が周期的に配列された撮像装置により、各前記単位構造素子に複数の前記撮像素子を割り当てて撮像することにより取得された撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理装置であって、
前記撮像画像において、一の前記単位構造素子の像と重なる画素の輝度値に前記画素の面積に対する前記画素が前記一の前記単位構造素子の像と重なる部分の面積の比を乗じた部分輝度値を、前記一の前記単位構造素子の像に重なる全ての画素について合算し、合算した値を一の画素の輝度値として前記縮小画像を作成することを特徴とする画像処理装置。
【請求項7】
前記撮像画像の画素の形状及び前記像の形状が共に矩形であり、
前記一の単位構造素子の像に重なる複数の画素を、
全体が前記像に重なる画素からなる第1の組と、
前記画素の4つの角部のうち第1の角部のみを含む部分が前記像に重なる画素からなる第2の組と、
第2の角部のみを含む部分が前記像に重なる画素からなる第3の組と、
第3の角部のみを含む部分が前記像に重なる画素からなる第4の組と、
第4の角部のみを含む部分が前記像に重なる画素からなる第5の組と、
前記第5の組に属する画素と前記第2の組に属する画素との間に配置された画素からなる第6の組と、
前記第2の組に属する画素と前記第3の組に属する画素との間に配置された画素からなる第7の組と、
前記第3の組に属する画素と前記第4の組に属する画素との間に配置された画素からなる第8の組と、
前記第4の組に属する画素と前記第5の組に属する画素との間に配置された画素からなる第9の組と、
に分け、
各組について前記部分輝度値を算出することを特徴とする請求項6記載の画像処理装置。
【請求項8】
前記周期構造体は液晶パネルであり、前記単位構造素子は前記液晶パネルの絵素であることを特徴とする請求項6または7に記載の画像処理装置。
【請求項9】
複数の単位構造素子が周期的に配列された周期構造体を撮像して画像を作成する周期構造体の画像作成装置であって、
複数の撮像素子が周期的に配列され、各前記単位構造素子に複数の前記撮像素子を割り当てて、前記撮像装置により前記周期構造体を撮像することにより、撮像画像を取得する撮像装置と、
前記撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する請求項6〜8のいずれか1つに記載の画像処理装置と、
を備えたことを特徴とする周期構造体の画像作成装置。
【請求項10】
複数の単位構造素子が周期的に配列された周期構造体の検査装置であって、
前記周期構造体を撮像して画像を作成する請求項9記載の画像作成装置と、
前記画像に基づいて前記周期構造体における欠陥の有無を評価する評価装置と、
を備えたことを特徴とする周期構造体の検査装置。
【請求項11】
複数の単位構造素子が周期的に配列された周期構造体を、複数の撮像素子が周期的に配列された撮像装置により、各前記単位構造素子に複数の前記撮像素子を割り当てて撮像することにより取得された撮像画像から、一の画素が一の前記単位構造素子に対応する縮小画像を作成する画像処理プログラムであって、
コンピューターに、
前記撮像画像において、一の前記単位構造素子の像と重なる画素の輝度値に前記画素の面積に対する前記画素が前記一の前記単位構造素子の像と重なる部分の面積の比を乗じた部分輝度値を、前記一の前記単位構造素子の像に重なる全ての画素について合算し、合算した値を一の画素の輝度値として前記縮小画像を作成する手順を実行させることを特徴とする画像処理プログラム。
【請求項12】
前記撮像画像の画素の形状及び前記像の形状が共に矩形であり、
前記コンピューターに、
前記一の単位構造素子の像に重なる複数の画素を、
全体が前記像に重なる画素からなる第1の組と、
前記画素の4つの角部のうち第1の角部のみを含む部分が前記像に重なる画素からなる第2の組と、
第2の角部のみを含む部分が前記像に重なる画素からなる第3の組と、
第3の角部のみを含む部分が前記像に重なる画素からなる第4の組と、
第4の角部のみを含む部分が前記像に重なる画素からなる第5の組と、
前記第5の組に属する画素と前記第2の組に属する画素との間に配置された画素からなる第6の組と、
前記第2の組に属する画素と前記第3の組に属する画素との間に配置された画素からなる第7の組と、
前記第3の組に属する画素と前記第4の組に属する画素との間に配置された画素からなる第8の組と、
前記第4の組に属する画素と前記第5の組に属する画素との間に配置された画素からなる第9の組と、
に分けさせ、
各組について前記部分輝度値を算出させることを特徴とする請求項11記載の画像処理プログラム。
【請求項13】
前記周期構造体は液晶パネルの表示領域であり、前記単位構造素子は前記液晶パネルの絵素であり、液晶パネルの検査用画像の作成に使用されることを特徴とする請求項11または12に記載の画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図11】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図11】
【図10】
【公開番号】特開2009−37339(P2009−37339A)
【公開日】平成21年2月19日(2009.2.19)
【国際特許分類】
【出願番号】特願2007−199761(P2007−199761)
【出願日】平成19年7月31日(2007.7.31)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成21年2月19日(2009.2.19)
【国際特許分類】
【出願日】平成19年7月31日(2007.7.31)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]