キャリブレーション装置、欠陥検出装置、欠陥修復装置、表示パネル、表示装置、キャリブレーション方法
【課題】マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合においてもキャリブレーションを可能とし、撮像画像における任意の座標値に対応する表示パネルにおける位置を特定する座標値を算出する。
【解決手段】
対象物を撮像するカメラと、前記カメラが撮像した撮像画像を取り込む画像取込部と、
前記画像取込部が取り込んだ前記撮像画像における複数のマーカの位置を特定する座標値を備える座標対応情報を作成する座標対応情報作成部と、前記対象物における前記マーカの位置を特定する座標値を備えるマーカ座標情報と前記座標対応情報とを用いて、前記座標取得部が取得した座標に対応する対象物における位置を特定する座標値を算出する座標変換部とを備えるキャリブレーション装置であって、座標対応情報における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記座標対応情報を補正する座標対応情報補正部を備えることを特徴とする。
【解決手段】
対象物を撮像するカメラと、前記カメラが撮像した撮像画像を取り込む画像取込部と、
前記画像取込部が取り込んだ前記撮像画像における複数のマーカの位置を特定する座標値を備える座標対応情報を作成する座標対応情報作成部と、前記対象物における前記マーカの位置を特定する座標値を備えるマーカ座標情報と前記座標対応情報とを用いて、前記座標取得部が取得した座標に対応する対象物における位置を特定する座標値を算出する座標変換部とを備えるキャリブレーション装置であって、座標対応情報における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記座標対応情報を補正する座標対応情報補正部を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、LCDパネル等の表示パネルに表示された画像をカメラで撮像する場合において、撮像された画像上の位置と表示パネル上の位置との対応をとる技術に関するものである。
【背景技術】
【0002】
特許文献1には、LCDパネルに表示された画像を、CCDカメラを用いて撮像し、該撮像画像を基にLCDパネルの表示試験を行うLCDパネル試験システムにおいて行われるキャリブレーション方法が開示されている。特許文献1では、パネルを16分割するように25個表示パターンを配置した十字状のキャリブレーションパターンをLCDパネルに表示させ、該表示をCCDカメラで撮像し、該撮像画像における各表示パターンの中心アドレスを求め、これら中心アドレスを基にLCDパネルの各画素に対応する、CCDカメラの撮像画像上におけるアドレスを求め、該アドレスに基づいてCCDカメラにて撮像された画像とLCDパネルの表示画素との対応をとるとの技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平10−31730号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の技術においては、LCDパネルの欠損画素上に表示パターンが表示される(マーカを表示しようとした画素が欠損画素であったため正しく表示されない)場合には、キャリブレーションパターンが正確に表示されず、キャリブレーションを行なうことはできないことがあった。
【0005】
本発明は、上記の問題に鑑みてなされたものであり、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合においてもキャリブレーションを可能とし、撮像画像における任意の座標値に対応する表示パネルにおける位置を特定する座標値を算出することができるキャリブレーション装置および方法を提供するものである。
【0006】
また、本発明は、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合においても、表示パネルの欠陥の位置を正確に検出できる欠陥検出装置を提供するものである。
【0007】
また、本発明は、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合においても、表示パネルの欠陥を正確に修復できる欠陥検出装置を提供するものである。
【0008】
また、本発明は、欠陥の無いまたは少ない表示パネルまたは表示装置を提供するものである。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明のキャリブレーション装置は、対象物を撮像するカメラと、前記カメラが撮像した撮像画像を取り込む画像取込部と、前記画像取込部が取り込んだ前記撮像画像における複数のマーカの位置を特定する座標値を備える座標対応情報を作成する座標対応情報作成部と、前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と、を備え、前記座標対応情報とマーカ座標情報とを用いて、撮像画像における位置を特定する座標値に対応する対象物における位置を特定する座標値を算出する座標変換部とを備えるキャリブレーション装置であって、座標対応情報における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記座標対応情報を補正する座標対応情報補正部を備えることを特徴とする。
【0010】
また、本発明のキャリブレーション装置は、対象物を撮像するカメラと、前記カメラが撮像した撮像画像を取り込む画像取込部と、前記画像取込部が取り込んだ前記撮像画像における複数のマーカの位置を特定する座標値を備える座標対応情報を作成する座標対応情報作成部と、前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と、を備え、前記座標対応情報とマーカ座標情報とを用いて、撮像画像における位置を特定する座標値に対応する対象物における位置を特定する座標値を算出する座標変換部とを備えるキャリブレーション装置であって、撮像画像における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記撮像画像を補正するパターン補正部を備えることを特徴とする。
【0011】
また、前記基準ピッチは、撮像画像または座標対応情報におけるピッチの合計をマーカ座標情報におけるピッチの個数で除して算出することを特徴とする。
【0012】
また、本発明の欠陥検出装置は、本発明のキャリブレーション装置を備えることを特徴とする。また、本発明の欠陥修復装置は、本発明の欠陥検出装置を備えることを特徴とする。
【0013】
また、本発明の表示パネルは、本発明の欠陥修復装置よって修復されたことを特徴とする。また、本発明の表示装置は本発明の表示パネルを備えることを特徴とする。
【0014】
また、本発明のキャリブレーション方法は、表示装置に、複数のマーカを備えるキャリブレーションパターンを表示するステップと、前記表示装置に表示されたキャリブレーションパターンをカメラで撮像するステップと、前記カメラが撮像した撮像画像における複数のマーカの位置の座標値を備える座標対応情報を作成するステップと、前記撮像画像における座標値を取得するステップと前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と前記座標対応情報とを用いて、前記撮像画像における前記座標値に対応する、対象物における位置を特定する座標値を算出するステップと、を備えるキャリブレーション方法であって、座標対応情報における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記座標対応情報を補正するステップを備えることを特徴とする。
【0015】
また、本発明のキャリブレーション方法は、表示装置に、複数のマーカを備えるキャリブレーションパターンを表示するステップと、前記表示装置に表示されたキャリブレーションパターンをカメラで撮像するステップと、前記カメラが撮像した撮像画像における複数のマーカの位置の座標値を備える座標対応情報を作成するステップと、前記撮像画像における座標値を取得するステップと前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と前記座標対応情報とを用いて、前記撮像画像における前記座標値が取得した座標に対応する対象物における位置を特定する座標値を算出するステップを備えるキャリブレーション方法であって、撮像画像における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記撮像画像を補正するステップを備えることを特徴とする。
【発明の効果】
【0016】
本発明に係るキャリブレーション装置または方法によれば、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合に、基準ピッチと異なるマーカ間のピッチに関する座標対応情報または撮像画像を補正するので、正確なキャリブレーションを可能とする。
【0017】
また、本発明に係る欠陥検出装置は、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合に、マーカ間のピッチが基準ピッチと異なる場合に補正を行なうので、表示パネルの欠陥の位置を正確に検出することができる。
【0018】
また、本発明に係る欠陥修復装置は、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合に、マーカ間のピッチが基準ピッチと異なる場合に補正を行なうので、表示パネルの欠陥を正確に修復することができる。
【0019】
また、本発明の表示パネルは、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合に、マーカ間のピッチが基準ピッチと異なる場合に補正を行ない、表示パネルの欠陥を正確に修復することにより生産されるので、欠陥の無いまたは少ない表示パネルを提供することができる。
【0020】
また、本発明の表示装置は、本発明の表示パネルを備える表示装置であるので、欠陥の無いまたは少ない表示装置を提供することができる。
【図面の簡単な説明】
【0021】
【図1】本実施の形態に係るキャリブレーション装置とキャリブレーション対象である表示装置との構成図である。
【図2】本実施の形態のキャリブレーション方法のフロー図である。
【図3】本実施の形態に係るキャリブレーションパターンを示す図である。
【図4】本実施の形態に係るマーカ座標情報のデータ形式を示す図である。
【図5】本実施の形態に係る撮像画像の模式図である。
【図6】本実施の形態に係る座標対応情報のデータ形式を示す図である。
【図7】本実施の形態において想定するマーカの欠損および過剰についての説明図である。
【図8】本実施の形態に係る表示されないないし過剰なマーカに関する補正についての説明図である。
【図9】本実施の形態に係る欠陥検出装置の構成図である。
【図10】本実施の形態に係る表示装置の表示画面である。
【図11】本実施の形態に係る欠陥検出装置の処理フローである。
【図12】本実施の形態に係るキャリブレーションパターンである。
【図13】本実施の形態に係るマーカ座標情報を示す図である。
【図14】本実施の形態に係る撮像画像である。
【図15】本実施の形態に係る撮像画像である。
【図16】本実施の形態に係る表示パターンの補正に関する詳細フロー図ある。
【図17】本実施の形態に係る撮像画像である。
【図18】本実施の形態に係る撮像画像である。
【図19】本実施の形態に係る撮像画像である。
【図20】本実施の形態に係る座標対応情報である。
【図21】本実施の形態に係る欠陥検出用パターンである。
【図22】本実施の形態に係る表示パネル修復装置の処理フローである。
【図23】本実施の形態に係る表示パネル修復装置の処理フローである。
【図24】本実施の形態に係る撮像画像である。
【図25】本実施の形態に係る撮像画像である。
【図26】本実施の形態に係る表示パネル修復装置の構成図である。
【図27】本実施の形態に係る表示パネル修復装置の処理フローである。
【発明を実施するための形態】
【0022】
以下、本発明に係る実施の形態を、図面を参照して詳細に説明する。
【実施例1】
【0023】
図1に実施例1に係るキャリブレーション装置とキャリブレーションの対象物である表示装置との構成図を示す。実施例1のキャリブレーション装置は、カメラ3、画像取込部4、座標対応情報作成部6、座標対応情報補正部7、座標出力部8、座標変換部10、座標取得部14を備えて構成される。また、キャリブレーションの対象物である表示装置は表示パネル1と駆動部2とを備える。キャリブレーションパターン情報5は、キャリブレーション装置、表示装置のいずれに含まれていても良い。また、両方が同じキャリブレーションパターン情報5を備えていても良い。また、キャリブレーション情報5を、キャリブレーション情報を生成し出力する手段に代えても良い。
【0024】
図2に実施例1のキャリブレーション方法のフローを示す。まず初めに、キャリブレーションパターン情報5が備えるキャリブレーションパターンを表す画像データを駆動部2が読み込んで、表示パネル1が表示する(S1)。
【0025】
図3にキャリブレーションパターン101の例を示す。図3のキャリブレーションパターン101には、十字形のマーカ102が4行10列の方眼状に並んで配置されている。
キャリブレーションパターン101としては、キャリブレーションする方向に対して、同一形状(マーカ102)が繰り返されるパターンが望ましい。マーカ102の具体的形状としては、一定間隔で並んだ直線、点、十字、矩形などがある。また、2方向についてキャリブレーションする場合は、前記2方向について、同一形状が繰り返されるパターンが望ましく、具体例としては方眼ないし方眼状に並んだ、点、十字などがあげられる。
【0026】
キャリブレーションパターン情報5は、キャリブレーションパターン101を表す画像データと、マーカ102の中心位置を示す座標データ群であるマーカ座標情報とを備える。
【0027】
図4にマーカ座標情報106のデータ形式の例を示す。マーカ座標情報106は、各マーカ102のキャリブレーションパターン101における座標(Xi,j,Yi,j)を要素とするm×nの配列情報である。配列の各要素(Xi,j、Yi,j)は、i行j列目のマーカ102に対応し、表示パネル1における該マーカの位置を特定する座標値である。図3のキャリブレーションパターン101の場合、マーカ102は4行10列の配列であるので、m=4、n=10である。
【0028】
次に表示パネル1に表示されたキャリブレーションパターン101をカメラ3が撮像し、画像取込部4が撮像された画像を画像データとして、画像取込部4内の画像メモリに取込む。(S2)。
【0029】
図5は前記画像データが表す撮像画像100の模式図の例である。撮像画像100には、表示パネル1の表示画面108の画像があり、前記表示画面108には、十字形のマーカ102が縦横にm×n個、一定間隔で並んだキャリブレーションパターン101が表示されている。
【0030】
次に、撮像画像100に基づき、撮像画像100の座標と表示パネル1の座標との座標対応情報を作成する(S3)。
【0031】
図6に座標対応情報107のデータ形式例を示す。座標対応情報107は、各マーカ102の撮像画像100における座標(xi,j,yi,j)を要素とするm×nの配列情報である。配列の各要素(xi,j,yi,j)は、i行j列目のマーカ102に対応し、撮像画像100における位置を特定する座標値である。
【0032】
次に座標対応情報107について、座標対応情報補正部7が表示パターンの欠損/過剰についての補正を行なう(S4)。
【0033】
図7を用いて、実施例1において想定するマーカ102の欠損および過剰について説明する。図7はキャリブレーションパターンが表示された表示画面108を示す模式図である。表示パネル1の構成にあっては、縦方向に並ぶ1列の絵素について、縦方向に延在する1本の配線(ソースライン等)によって結線されることが一般的である。例えば、ソースライン103は、表示画面108において縦方向に延在する配線であって、前記ソースライン103によって、その上の絵素の表示制御がされる。従って、ソースライン103(または前記ソースラインに係る回路等)に故障がある場合、ソースライン1本分の黒線104または輝線105が発生する。黒線104とマーカ102とが重なった場合、黒線104上に表示しようとした全てのマーカ102が表示されない。また、輝線105が発生することにより、本来マーカ102が存在しない位置に過剰なマーカ102が発生する場合もある。
【0034】
図8を用いて、表示されないマーカ102ないし過剰なマーカ102に関する補正について説明する。まず初めに、撮像画像100におけるマーカ102の基準ピッチを求める。基準ピッチとは、前記マーカ102の非表示や過剰が無い場合におけるマーカ102間の間隔(ピッチ)である。最も単純な方法は、撮像画像100におけるピッチの合計をキャリブレーションパターン101におけるピッチの個数で除して基準ピッチとすることである。
【0035】
表1に、図8に示した撮像画像100から作成された座標対応情報107の具体例を示す。表1は、i=3、2≦j≦10の範囲における(xi,j,yi,j)の値を示している。表1に示した座標対応情報には、黒線104に対応する座標値は(x3,8,y3,8)と(x3,9,y3,9)との間に存在せず、輝線105に対応する座標値が(x3,4,y3,4)に(−4.27、1.45)として存在している。
【0036】
【表1】
表2に表1の座標対応情報107より算出された各マーカ102間の横方向のピッチを示す。表2は、i行j列目のマーカ102とi行j+1列目のマーカ102との距離を横方向のピッチphi,j=|(xi,j,yi,j)−(xi,j+1,yi,j+1)|として算出したものである。
【0037】
【表2】
i=3、2≦j≦9の範囲におけるピッチphi,jの合計は、16.17であり、それをキャリブレーションパターン101における既知のピッチの個数で除して、基準ピッチを算出する。基準ピッチは2.02と算出される。本算出方法によれば、マーカ102の非表示や過剰なマーカ102に発生に左右されず、キャリブレーションパターン101に対応する基準ピッチを算出することができる。
【0038】
基準ピッチが特定できたら、基準ピッチと、撮像画像100におけるピッチとを比較し、基準ピッチと異なるピッチのうち、基準ピッチより過小であるピッチ(以下「過小ピッチ」と呼ぶ)を抽出する。過小ピッチの例として、基準ピッチの2/3倍以下であるピッチがある。図8、表2の例では、ピッチPh3,4が過小ピッチに該当する。
【0039】
次に過小ピッチに隣接するピッチであって、過小ピッチでないピッチ(以下、「隣接ピッチ」と呼ぶ)を抽出する。図8、表2の例では、ピッチPh3,4に隣接するピッチPh3,3とピッチPh3,5とが、隣接ピッチに該当するため、抽出される。
【0040】
2つの隣接ピッチに挟まれた過小ピッチを含む領域において、1つ以上複数のピッチを統合し、統合後の各ピッチと基準ピッチとの差の平均が小さくなるように削除すべきマーカ102を選定する。
【0041】
図8、表2の例においては、ピッチPh3,3〜ピッチPh3,5が統合を検討する1つの領域である。ピッチPh3,3〜ピッチPh3,5の範囲に含まれるマーカ102に対応する座標対応情報107の要素は(x3,4,y3,4)、(x3,5,y3,5)の2つである。
【0042】
表3に、上記組合せ通りに、座標対応情報107の要素を削除し、ピッチを統合した場合における基準ピッチAとの差の絶対値の平均を評価値として示す。表3の通り、基準ピッチとの差の平均が最も小さくなるのは、(x3,4,y3,4)を削除し、(x3,5,y3,5)を削除しない場合である。
【0043】
【表3】
従って、本領域については、座標対応情報107の要素(x3,4,y3,4)を削除し、それより右側の値を1つずつ左側にシフトすることとする。表4に削除後の座標対応情報107を示す。
【0044】
【表4】
表4の座標対応情報107に基づいて新たに作成されたピッチphi,jを表5に示す。
【0045】
【表5】
また、隣接ピッチの長さが過大(例えば、基準ピッチの4/3倍以上)の場合、その隣接ピッチを含む統合については、基準ピッチとの差に替えて、基準ピッチの2倍との差を用いる。例えば、隣接ピッチが基準ピッチの1.5倍であり、その隣の過小ピッチが基準ピッチの0.6倍の場合、両者を統合し、基準ピッチの2.1倍のピッチとすれば良い。
【0046】
以上の処理により、過小ピッチを統合化することができる。
【0047】
次に、黒線104により、その間のマーカ102が表示されない場合が想定される場合について補正する。基準ピッチと異なるピッチのうち、基準ピッチと比較し過大であるピッチ(以下、「過大ピッチ」と呼ぶ)の場合、図8のピッチPh3,8に示すように、黒線104により、その間のマーカ102が表示されない場合が想定される。この場合、座標対応情報107に表示されないマーカ102に対応する座標対応情報107の要素として撮像画像100における座標値を挿入する。なお、「過大ピッチ」の例として、基準ピッチの4/3倍以上であるピッチがある。
【0048】
表2では、Ph3,8 が4.05であり、基準ピッチの4/3倍より大きい。従って、(x3,8,y3,8)と(x3,9,y3,9)との中点となる座標(4.53,1.45)を(x3,8,y3,8)の新たな値とし、(x3,9,y3,9)より右側の値を1つずつ右側にシフトする。
【0049】
表6に挿入後の座標対応情報107を示す。
【0050】
【表6】
表6の座標対応情報107に基づいて新たに作成されたピッチphi,jを表7に示す。
【0051】
【表7】
また、基準ピッチの12/5倍より大きいピッチである場合、2分割するより3分割した方が、基準ピッチとの誤差が小さくなるので、2列連続してマーカ102が欠損している可能性が高いと判断して、前記中点に替えて、3分割する点となる座標値2点を座標対応情報107に挿入する。同様に、基準ピッチの2k(k+1)/(2k+1)倍より大きいピッチである場合、k列連続してマーカ102が欠損している可能性が高いと判断して、前記中点の代わりにk+1分割する点となる座標値をk個挿入する。
【0052】
なお、過大ピッチの間に座標値を挿入する代わりに、マーカ座標情報106における前記座標値に対応する配列要素を削除しても良い。
【0053】
以上に説明した処理により、表示パターンの欠損/過剰についての補正を行なうことができる。
【0054】
なお、基準ピッチは、表示パネル1においてはほぼ一定であるが、撮像画像100においては、カメラ3の撮像光学系等による歪みを含んでおり、撮像画像100における位置および方向によって若干異なることが想定される。これを基準ピッチに正確に反映させる方法としては、事前に支障が無いことが確認されている表示パネル1にマーカ102を表示させて撮像し、撮像画像100における位置および方向毎のピッチをそれぞれの基準ピッチとする方法がある。
【0055】
また、撮像画像100において位置および方向が類似する複数のピッチの合計をキャリブレーションパターン101におけるピッチの個数で除して基準ピッチを特定する方法でも、カメラ3の撮像光学系等による歪みを正確に基準ピッチに反映させることができる。
【0056】
さらに正確には、複数の表示パネル1について撮像して複数の撮像画像100を取得し、前記複数の撮像画像100において位置および方向が類似するピッチをキャリブレーションパターン101におけるピッチの個数で除して求めれば良い。複数の表示パネル1を撮像して算出する場合、その中に欠陥のある表示パネル1があったとしても誤差が平均化されるので、欠陥による誤差の影響は小さくなり、正確に基準ピッチを求めることができる。
【0057】
また、他の基準ピッチの算出方法として、キャリブレーションバターン101におけるマーカ102のピッチにカメラ3の撮像倍率をかけて求める方法がある。例えば、キャリブレーションバターン101におけるマーカ102間の距離(ピッチ)が2であり、カメラ3の撮像倍率が3倍であるならば、2×3=6を基準ピッチとすれば良い。この場合、表示パネル1の欠陥に関係無く、基準ピッチを求めることができる。
【0058】
また、他の基準ピッチの算出方法として、撮像画像100におけるピッチの平均値または中央値または最頻値を用いても良い。また、特に大きなピッチ、特に小さなピッチを除外した後に、残りのピッチの平均値または中央値または最頻値を基準ピッチとして用いて良い。
【0059】
なお、隣接ピッチの両側に過小ピッチが隣接する場合、その隣接ピッチは抽出しない。
【0060】
また、上記に説明した補正処理を行なっても、座標対応情報107の配列の要素数がm×nにならない場合は、座標対応情報107が正しく補正されていないので、例外処理を行なう。
【0061】
また、2つの隣接ピッチに挟まれた過小ピッチを含む領域において3箇所以上座標対応情報107の要素を削除した場合、または、基準ピッチの24/7倍より大きいピッチで3個以上座標対応情報107の要素を挿入した場合は、確率的に希であり、正しく補正できていない可能性が高いので、本キャリブレーション装置の利用者等に対し警告を発信することが望ましい。
【0062】
次に、座標取得部14が撮像画像100における任意の座標値を取得する(S5)。
【0063】
次に、座標変換部10が、マーカ座標情報106と座標対応情報107とを用いて、前記座標取得部が取得した座標値に対応する表示パネル1における位置を特定する座標値を算出する(S6)。座標対応情報107は、各マーカ102の撮像画像100における座標(xi,j,yi,j)を要素とするm×nの配列情報であり、マーカ座標情報106の各要素(Xi,j,Yi,j)と対応する。撮像画像100における任意の座標値は、座標対応情報107が備える複数の座標値が特定する複数の点の間を特定の比率で内分(または外分)する点とみなせるので、前記比率と同一の比率で、対応するマーカ座標情報106の各座標値が特定する複数の点を内分(または外分)する点として、表示パネル1における位置を特定する座標値を算出することができる。
【0064】
最後に、座標変換部10が算出した座標値を出力する(S7)。なお、表示パネル1に関し、どの位置にどの(色の)絵素があるかについての情報があれば、前記座標値を検索キーとして、前記情報から、表示パネル1に係る前記座標値が示す位置に関する情報を検索して出力しても良い。前記情報としては、絵素の行番号、列番号、絵素の色(赤、青、緑、シアン、マゼンタ、イエロー、黒等)などがある。
【0065】
実施例1に係るキャリブレーション装置または方法によれば、表示パネルの欠損画素(黒線等)上にマーカ102が表示しようとしたため、キャリブレーションパターン101が正確に表示されない場合に、基準ピッチと異なるマーカ102間のピッチに関し補正を行なう。従って、正確なキャリブレーションを可能とし、座標取得部14が取得した撮像画像100における任意の座標値に対応する表示パネル1における位置を特定する座標値を算出することができる。
【0066】
なお、過小ピッチの例として、上記の説明では、基準ピッチの2/3以下を挙げて説明したが、基準ピッチより小さな値であれば、他の値であっても良い。
【0067】
また、過大ピッチの例として、上記の説明では、基準ピッチの4/3以下を挙げて説明したが、基準ピッチより大きな値であれば、他の値であっても良い。
【0068】
しかしながら、過小ピッチを基準ピッチの2/3以下、過大ピッチを基準ピッチの4/3以上とすれば、隣接する2つの微小ピッチを統合した場合に、過大ピッチとならないので、補正をしすぎてかえって正確さを欠く事態を防止することができる。また、最小の過小ピッチと基準ピッチとの差と、最大の過大ピッチと基準ピッチとの差が等しく1/3であるので、補正後のばらつきを基準ピッチの1/3以下とすることができる。
【0069】
なお、工程S4において、過小ピッチまたは過大ピッチに基づいて、削除/挿入する座標対応情報107の要素を求めるアルゴリズムについては、上記のアルゴリズム以外のアルゴリズムであっても良く、マーカ座標情報、座標対応情報107の形式は図4、図6に示した形式でなくても良い。
【0070】
また、座標対応情報補正部7の代わりに、撮像画像100における前記マーカ102間のピッチが、基準ピッチと異なる場合に、前記撮像画像100を補正するパターン補正部を備えても良い。この場合、工程S4における補正は前記パターン補正部が行なう。この場合、座標対応情報作成部6は、補正された撮像画像100に基づき、座標対応情報107を作成すれば良い。
【実施例2】
【0071】
図9を参照して、本発明の実施例1に係るキャリブレーション装置を欠陥検出装置に用いた構成について説明する。本実施例の欠陥検出装置は、表示装置の欠陥(絵素欠け等)および欠陥の表示装置上の座標を検出する装置である。
【0072】
実施例2の欠陥検出装置は、モノクロカメラであるカメラ3、画像取込部4、パターン補正部12、座標対応情報作成部6、欠陥抽出部9、座標変換部10、欠陥座標出力部11とから構成される。また、欠陥検出対象である表示装置は表示パネル1と駆動部2とを備える。キャリブレーションパターン情報5は、欠陥検出装置、表示装置のいずれに含まれていても良い。また、両方が同じキャリブレーションパターン情報5を備えていても良い。また、キャリブレーション情報5を、キャリブレーション情報5を生成し出力する手段に代えても良い。
【0073】
図10は、本実施例において、欠陥を検出する表示パネル1の表示画面108を示す。表示画面108は、Rij、Gij、Bij(ただし、iは1〜6の整数、jは1〜8の整数)の3つの絵素の組を1つの画素とし、前記画素が縦方向に8つ、横方向に6つ並んで構成させるカラー表示装置の絵素配列を示している。
【0074】
図11に、本実施例に係る処理フローを示す。S1、S2、S3の工程は図2に示すS1、S2、S3の工程と同じである。また、S61はS6に相当し、S71はS7に相当する。以下、本フロー図に基づき本実施例の欠陥検出装置による欠陥の検出方法について説明する。
【0075】
まず初めに、キャリブレーションパターン情報5が備えるキャリブレーションパターン101を表す画像データを駆動部2が読み込んで、表示パネル1の表示画面108に表示させる(S1)。
【0076】
図12に、本実施例におけるキャリブレーションパターン101を示す。図12において黒地に白文字で記載されている絵素が、マーカ102である。すなわち、Gij、(ただし、iは1〜7の奇数、jは1〜6の整数)をマーカ102として発光させて表示させる。G(緑)のみをマーカ102としているのは、赤、青、緑の絵素の内、輝度が最も高く、モノクロカメラで撮像した時に、黒点と比較して最も明確に表示される絵素であるからである。また、縦方向に対し、1つおきにマーカ102とするのは、縦方向におけるマーカ102を非連続とし、その位置をより明確とするためである。
【0077】
図13にキャリブレーションパターン情報5が備えるマーカ座標情報106を示す。マーカ座標情報106は、表示パネル1における表示パネル108上の座標値(Xij、Yij)を値とする4×6の配列であり、配列の各要素は、図12に示す各マーカ102に対応している。
【0078】
なお、図10に示す通り、欠陥を検出する表示画面108の絵素構成はあらかじめ判っているのであるから、表示パネル1における座標値(X、Y)の値に基づき、いずれの絵素であるかを判定することができる。図10の絵素構成に従えば、座標(X、Y)に存在する画素であり、かつXの3に係る剰余が1である場合、R(赤)であり、2である場合、G(緑)であり、0である場合、B(青)である。具体例を挙げると、座標(9,2)に存在する絵素の場合、9/3=0余り0であるため、B3,2であるこが判る。
【0079】
次に表示パネル1の表示画面108に表示されたキャリブレーションパターン101をカメラ3で撮像し、画像データとして、画像取込部4内の画像メモリに取込む。(S2)。カメラ3の解像度は、表示パネル1の解像度の3倍以上であることが望ましい。
【0080】
図14に取り込まれた撮像画像100の例を示す。撮像画像100には、マーカ102が撮像されている。図12に示した例は、表示装置に欠陥が存在しない理想的な場合である。
【0081】
図15は取り込まれた撮像画像100の他の例である。撮像画像100には、マーカ102が撮像されている。図15に示した例は、表示装置に黒線、輝線にあたる欠陥が存在したため、位置のおかしなマーカ102a、不要なマーカ102bが表示されている。
【0082】
本実施例では、撮像画像100に対し、パターン補正部12が表示パターンの欠損、過剰を補正する(S21)。本工程の処理内容および目的は、図2の工程S4と同じであるが、処理対象が撮像画像100である点で異なる。
【0083】
図16に工程S21に関する詳細フローを示す。図16に示したフローは一列ないし一行に関するフローである。図13に示したマーカ102は6列5行であるので、縦方向に6回、横方向に5回、計11回、図16に示したフローを実施する。
【0084】
図16に示したフローに則り、まずはj=1である行について横方向について補正を行なう。
【0085】
マーカ間のピッチを求める(S101)。図15では、Ph11=9、Ph12=9、Ph13=9、Ph14=6、Ph15=12である。
【0086】
次に基準ピッチを求める(S102)。Ph11〜Ph15の合計は45である。また、Ph11からPh15までに対応するキャリブレーションパターン101のピッチの個数は5つであるため、5で除して、基準ピッチを9とする。
【0087】
過小ピッチを抽出する(S103)。過小ピッチは、基準ピッチの2/3倍以下のピッチとする。本実施例においては、6以下のピッチ、すなわち、Ph14が過小ピッチに該当する。
【0088】
隣接ピッチを抽出する(S104)。図15の例では、Ph13とPh15とが隣接ピッチである。
【0089】
隣接ピッチで挟まれた領域において、削除すべきマーカ102を抽出する(S105)。Ph13とPh15とに挟まれた領域に存在するマーカ102は102a、102cの2つであるので、それぞれ、削除する/しないの組み合せは、22=4通りである。各組合せの評価値を算出する。算出結果を表8に示す。
【0090】
【表8】
ただし、隣接ピッチの大きさが基準ピッチの4/3倍以上の場合、その隣接ピッチを含む統合については、基準ピッチとの差に替えて、基準ピッチの2倍との差を用いる。すなわち、Ph15は基準ピッチの4/3倍であるので、基準ピッチの2倍との差の絶対値を用いる。
【0091】
表8から、マーカ102cを削除せず、マーカ102aを削除することが、平均を最も小さくするために最善の方法であることがわかる。従って、マーカ102aを表示画像108から削除する(S106)。
【0092】
図17にマーカ102aを削除した後の撮像画像100を示す。Ph14の値は18となり、Ph15はなくなる。また、2〜4行目についても同様にS101〜S106の処理を行なう。
【0093】
次に基準ピッチの4/3倍より大きなピッチ(過大ピッチ)を抽出する(S107)。ピッチPh14の値は18であり、基準ピッチの4/3倍より大きいので、過大ピッチとして抽出される。抽出されたピッチは、基準ピッチの12/5倍以下であるので、ピッチPh14の中点に新たなマーカ102dを挿入する(S108)。
【0094】
図18にマーカ102dを挿入した後の撮像画像100を示す。ピッチPh14とピッチPh15の値はそれぞれ9となる。
【0095】
また、2〜4行目についても同様にS107〜S108の処理を行なう。2行目については、Ph21が値18の過大ピッチであるので、ピッチPh21の中点に新たなマーカ102gを挿入する。
【0096】
ピッチ数がキャリブレーションパターン101のピッチの個数と一致しているか判定する(S109)。図12にあるようにキャリブレーションパターン101の横方向のピッチの個数は5である。対して、補正後のピッチ数はピッチPh11〜Ph15の5つであるため、一致している。この場合、正常に補正が終了したとして、次の工程を行なう。なお、ピッチの個数が一致していない場合、警告等の例外処理を行なう。
【0097】
次に列について、S101〜S108についての処理を行なう。ピッチPv11、Pv12、Pv13、Pv14の値は、それぞれ、12、12、6、6である(S101)。
【0098】
Pv11〜Pv14の合計値は36である。図12にあるように、キャリブレーションパターン101におけるピッチの数である3で除して、基準ピッチとして12を算出する(S102)。
【0099】
過小ピッチを抽出する(S103)。基準ピッチの2/3以下であるピッチPv13、Pv14が抽出される。
【0100】
隣接ピッチを抽出する(S104)。ピッチPv12、が抽出される。なお、Pv14は下端のピッチであるため、Pv14の下側の隣接ピッチを抽出することはできない。
【0101】
隣接ピッチに挟まれた過小ピッチを含む領域についてのマーカ102の削除案を評価する(S105)。この場合、Pv14は下端のピッチであるため、Pv12〜Pv14の領域について削除案を評価する。
【0102】
評価結果を表9に示す。評価値が小さいのは、No.3のマーカ102bのみを削除する場合、No.4のマーカ102b、102fを削除する場合、No.8のマーカ102e、102b、102fを削除する場合である。
【0103】
【表9】
このように評価値が最小の削除案が複数存在する場合、前記複数の案について以後のS106〜S108を実施し、その後にS109にて各案を比較することが望ましい。まずは、No.3のマーカ102のみを削除する処理を行なう(S106)。また、2〜6列目についてもS101〜S106の処理を行なう。
【0104】
図19に削除処理後の撮像画像100を示す。この処理により、Pv13の値は12となり、ピッチの個数は3個になる。
【0105】
次に過大ピッチを抽出する(S107)。基準ピッチの4/3倍以上のピッチは存在しないので、過大ピッチは抽出されない。従って、挿入処理(S108)も実施されず、次のステップに進む。
【0106】
ピッチ数が正しいか検証する(S109)。キャリブレーションパターン101のピッチ数は3であり、ピッチ数は正しい。
【0107】
同様に、No.4の削除案、No.8の削除案についても、S106〜S109の工程を実施する。S109において、No.4の削除案の場合、ピッチ数が2となり、No.8の削除案の場合は、ピッチ数が1となるため、キャリブレーションパターン101のピッチ数と異なるため、案は却下される。これにより、No.3の削除案が採択される。
【0108】
以上説明した通り、図16に示したフローを縦・横の方向について、また、S105において複数、良案がある場合は、前記各良案について以後の処理を実施し、S109において各案を比較することによって、補正を行なうことができる。
【0109】
なお、以上の説明では、S101〜S106、S107〜S108、S109について、各行/列毎に処理したが、複数行/列を一度に処理しても良い。
【0110】
次に座標対応情報作成部6が座標対応情報を作成する(S3)。
【0111】
図20に座標対応情報作成部6が作成した座標対応情報107を示す。座標対応情報107は、撮像画像中の各マーカ102の中心点の座標を要素する配列である。
【0112】
次に欠陥検出用パターンを表示パネル1に表示する(S51)。欠陥検出用パターンは、検出すべき欠陥の種類に応じて種々のパターンがあり、そのいずれであっても良い。本実施例では、全点灯検査を例とて、以下の説明を行なう。
【0113】
次に欠陥を検出する(S52)。具体的には、表示パネル1に表示されたパターンをカメラ3が撮像し、画像取込部4が取り込み画像データとする。その後、前記画像データから欠陥と考えられる箇所を抽出する。
【0114】
図21に表示パネル1を全点灯(全ての絵素を光らせること)させ、それをカメラ3で撮像し、画像取込部4が取り込んだ撮像画像100を示す。全点灯検査は、光らない絵素を検出するための検査である。図21において、黒で表現されている画素は光らなかった部分を表す。図21では、矩形の欠陥109aと、線状の欠陥109bと、短い線状の欠陥109cが検出された。欠陥109aの矩形の左上−右下の角の座標は(26,8)−(29,11)であり、欠陥109bはx=41の位置に存在する縦線であり、欠陥109cは、座標(14,14)−(14,23)に存在する縦線である。
【0115】
座標変換部10が欠陥のある絵素の座標および色を求める(S61)。検出された欠陥109a、109bの座標は、撮像画像100における座標であるので、表示パネル1における座標に変換する。
【0116】
次に、欠陥座標出力部11が欠陥の有る絵素の座標値または色を出力する(S71)。以上S1〜S71のフローによって、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターン101が正確に表示されない場合に、基準ピッチと異なるマーカ間のピッチに関し補正を行なうので、表示パネル1において欠陥の存在する絵素の座標およびその色を特定することができる。
【0117】
なお、上記の例では、欠陥検出用パターンとして全点灯を用いたが、他のパターンであっても良い。表示パネル全面を黒色表示させるパターン等、光る絵素を検出するための検査の場合、輝線105等が検出できるので、輝線105等の欠陥の位置と、工程S106でマーカ102を削除した位置とが一致するか否かで、工程S106で削除した処理が適切であったことを確認することができる。逆に、マーカの位置の絵素が光っていない場合、マーカを補正のため撮像画像100から削除した処理が適切でなかった可能性が高いので、本装置の利用者等に対し警告を発信することが望ましい。
【実施例3】
【0118】
本実施例は削除すべきマーカ102を抽出する工程S105および前記削除すべきマーカ102を抽出するための処理である工程S103、S104が異なる以外は、実施例2と同様であるので、実施例2と同一の部分については説明を略す。
【0119】
図22に本実施例における工程S21に関する詳細フローを示す。図22に示す通り、本実施例は、S103〜S105の代わりに、S200を実施する。S200では、全てのマーカについて、後述するS201〜S205の処理を実施し、各マーカが削除すべきマーカ102であるか否かを判断する。
【0120】
図23にS201〜205に係るフローを示す。S201では、図23に示すフローにおいて、削除すべきマーカであるか否かを判断するマーカを「対象マーカ」に設定する。以下の説明では、図24に示す撮像画像100のマーカ102jを対象マーカとする場合を例に説明する。
【0121】
S202では、対象マーカに関し、周辺マーカを複数設定する。周辺マーカとは、対象マーカの周辺にあり、一定の配置関係にある特定のマーカを指す。前記一定の位置関係の例としては、たとえば、「左右N個隣までのマーカ(Nは任意の自然数)」等が考えられる。
【0122】
対象マーカと周辺マーカとの関係を、図24を用いて例示する。例えば、対象マーカの左右3つ隣までのマーカを周辺マーカとする場合で、マーカ102jが対象マーカである場合、マーカ102g、102h、102i、および右側のマーカ102k、102lの計5つが周辺マーカと判断することができる。
【0123】
S203では、対象マーカ102と周辺マーカとの距離(ここでは横方向の距離)を算出する。対象マーカ102jから周辺マーカ102gまでの距離は27、周辺マーカ102hまでの距離は18、周辺マーカ102iまでの距離は6、周辺マーカ10lまでの距離は18である。
【0124】
S204では、S203で算出した距離が許容範囲を超える周辺マーカの数を数える。許容範囲を超えるか否かについては、基準ピッチの整数倍である基準距離との差が判定誤差量以上であるか否かで判断する。判定誤差量の値は本発明の利用者の任意であるが、基準ピッチの1/8〜1/9程度が適当である(図24に示す撮像画像100においては基準ピッチが9であるので、その1/9である1として説明する)。
【0125】
以下、周辺マーカ102gに関し、S203で算出した距離が判定誤差量以上であるか否かについて説明する。周辺マーカ102gは対象マーカ102jから左に3番目のマーカであるから、周辺マーカ102gに係る基準距離を基準ピッチの3倍とする。すなわち、基準ピッチの値である9に3を乗じた値である27とする。基準距離とS203で算出した距離との差分の絶対値を求め、判定誤差量である1と比較する。前記絶対値は0であるので、判定誤差量未満であると判断することができる。
【0126】
同様に、周辺マーカ102hは対象マーカ102jから左に2番目のマーカであるから、周辺マーカ102hに係る基準距離を基準ピッチの2倍の18とする。前記基準値とS203で算出した距離との差分の絶対値を求め、判定誤差量である1と比較する。前記絶対値は0であるので、判定誤差量未満であると判断することができる。
【0127】
同様に、周辺マーカ102i、102k、102lについて算出すると、周辺マーカ102i、102lについては判定誤差量未満であると判断できるが、周辺マーカ102kについては、差分の絶対値が3となるので、判定誤差量以上と判断することができる。
【0128】
以上の通り、計5つの周辺マーカに関し、許容範囲を超える周辺マーカの個数は1個である判断することができる。
【0129】
S205では、S204で数えた周辺マーカ数が所定数以上であるか否かを判断する。判定誤差量の値は本発明の利用者の任意であるが、1つの対象マーカに係る周辺マーカ数の最大値の1/2程度が適当である(本実施例においては、3として説明する)。S204に関する説明の通り、対象マーカ102jについての許容範囲を超える周辺マーカの個数は1個であり、所定数3未満であるため、S205の判断はNoとなる。従って、マーカ102jは削除すべきマーカ102ではない。
【0130】
S205に係る他の判断方法として、S204で数えた周辺マーカ数が周辺マーカの総数に対して一定割合以上であるか否かで判断しても良い。前記割合の値は本発明の利用者の任意であるが、1/2程度が適当である。S204に関する説明の通り、対象マーカ102jについての許容範囲を超える周辺マーカの個数は1個であり、周辺マーカの総数は5であるから、許容範囲を超える周辺マーカの個数は総数の1/2未満であるため、S205の判断はNoとなる。従って、マーカ102jは削除すべきマーカ102ではない。
【0131】
次に、図24に示す撮像画像100のマーカ102kを対象マーカとする場合を例に説明する。この場合、周辺マーカは、マーカ102h、102i、102j、102lの4つであり(S202)、対象マーカから周辺マーカ102h、102i、102j、102lまでの距離はそれぞれ、24、15、6、12である(S203)。対して基準距離はそれぞれ、27、18、9、9であるため、差分の絶対値はそれぞれ3となり、許容範囲を超える。従って、許容範囲を超える周辺マーカの数は4である(S204)。許容範囲を超える周辺マーカの数である4は、所定数である3を超えるため、対象マーカ102kは削除すべきマーカ102であると判断することができる。
【0132】
なお、周辺マーカは「左右N個隣までのマーカ(Nは任意の自然数)」だけでなく、他の位置であっても良い。例えば、図25に示すように、対象マーカ102mの周囲、縦横斜め方向にある計8つマーカ102nを周辺マーカとしても良い。
【実施例4】
【0133】
図26に、実施例2に係る欠陥検出装置を表示パネル修復装置に用いた構成を示す。実施例2に係る欠陥検出装置と共通する構成要素については説明を省き、異なる点にのみ言及する。本実施例に係る表示パネル修復装置は、インクジェット塗布装置等からなる表示パネル修復部13を備える。
【0134】
図27に本実施例に係る修復装置による表示パネルの修復のフローを示す。S1〜S61に到る工程は、実施例1に係るS1〜S61の工程と同じである。S61に続いて、S8において、表示パネル修復部13が、座標変換部10から得た欠陥の有る絵素の座標値および色に基づき、前記座標値に係る絵素について、前記色に修復する。
【0135】
本実施例によれば、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターン101が正確に表示されない場合に、基準ピッチと異なるマーカ102間のピッチに関し補正を行なうので、表示パネル1における欠陥を修復することができる。
【0136】
また、本実施例によれば、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターン101が正確に表示されない場合に、基準ピッチと異なるマーカ102間のピッチに関し補正を行なうので、表示パネル1の欠陥を正確に修復することができ、欠陥の無いまたは少ない表示パネル1および表示装置を提供することができる。
【産業上の利用可能性】
【0137】
表示パネルをカメラ等で撮像し、撮像した画像上の位置と、表示パネル上の位置とを位置合せする場合について、利用可能である。
【符号の説明】
【0138】
3 カメラ
4 画像取込部
5 キャリブレーションパターン情報
6 座標対応情報作成部
7 座標対応情報補正部
8 出力部
9 欠陥抽出部
10 座標変換部
11 欠陥座標出力部
12 パターン補正部
13 表示パネル修復部
【技術分野】
【0001】
本発明は、LCDパネル等の表示パネルに表示された画像をカメラで撮像する場合において、撮像された画像上の位置と表示パネル上の位置との対応をとる技術に関するものである。
【背景技術】
【0002】
特許文献1には、LCDパネルに表示された画像を、CCDカメラを用いて撮像し、該撮像画像を基にLCDパネルの表示試験を行うLCDパネル試験システムにおいて行われるキャリブレーション方法が開示されている。特許文献1では、パネルを16分割するように25個表示パターンを配置した十字状のキャリブレーションパターンをLCDパネルに表示させ、該表示をCCDカメラで撮像し、該撮像画像における各表示パターンの中心アドレスを求め、これら中心アドレスを基にLCDパネルの各画素に対応する、CCDカメラの撮像画像上におけるアドレスを求め、該アドレスに基づいてCCDカメラにて撮像された画像とLCDパネルの表示画素との対応をとるとの技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平10−31730号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の技術においては、LCDパネルの欠損画素上に表示パターンが表示される(マーカを表示しようとした画素が欠損画素であったため正しく表示されない)場合には、キャリブレーションパターンが正確に表示されず、キャリブレーションを行なうことはできないことがあった。
【0005】
本発明は、上記の問題に鑑みてなされたものであり、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合においてもキャリブレーションを可能とし、撮像画像における任意の座標値に対応する表示パネルにおける位置を特定する座標値を算出することができるキャリブレーション装置および方法を提供するものである。
【0006】
また、本発明は、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合においても、表示パネルの欠陥の位置を正確に検出できる欠陥検出装置を提供するものである。
【0007】
また、本発明は、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合においても、表示パネルの欠陥を正確に修復できる欠陥検出装置を提供するものである。
【0008】
また、本発明は、欠陥の無いまたは少ない表示パネルまたは表示装置を提供するものである。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明のキャリブレーション装置は、対象物を撮像するカメラと、前記カメラが撮像した撮像画像を取り込む画像取込部と、前記画像取込部が取り込んだ前記撮像画像における複数のマーカの位置を特定する座標値を備える座標対応情報を作成する座標対応情報作成部と、前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と、を備え、前記座標対応情報とマーカ座標情報とを用いて、撮像画像における位置を特定する座標値に対応する対象物における位置を特定する座標値を算出する座標変換部とを備えるキャリブレーション装置であって、座標対応情報における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記座標対応情報を補正する座標対応情報補正部を備えることを特徴とする。
【0010】
また、本発明のキャリブレーション装置は、対象物を撮像するカメラと、前記カメラが撮像した撮像画像を取り込む画像取込部と、前記画像取込部が取り込んだ前記撮像画像における複数のマーカの位置を特定する座標値を備える座標対応情報を作成する座標対応情報作成部と、前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と、を備え、前記座標対応情報とマーカ座標情報とを用いて、撮像画像における位置を特定する座標値に対応する対象物における位置を特定する座標値を算出する座標変換部とを備えるキャリブレーション装置であって、撮像画像における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記撮像画像を補正するパターン補正部を備えることを特徴とする。
【0011】
また、前記基準ピッチは、撮像画像または座標対応情報におけるピッチの合計をマーカ座標情報におけるピッチの個数で除して算出することを特徴とする。
【0012】
また、本発明の欠陥検出装置は、本発明のキャリブレーション装置を備えることを特徴とする。また、本発明の欠陥修復装置は、本発明の欠陥検出装置を備えることを特徴とする。
【0013】
また、本発明の表示パネルは、本発明の欠陥修復装置よって修復されたことを特徴とする。また、本発明の表示装置は本発明の表示パネルを備えることを特徴とする。
【0014】
また、本発明のキャリブレーション方法は、表示装置に、複数のマーカを備えるキャリブレーションパターンを表示するステップと、前記表示装置に表示されたキャリブレーションパターンをカメラで撮像するステップと、前記カメラが撮像した撮像画像における複数のマーカの位置の座標値を備える座標対応情報を作成するステップと、前記撮像画像における座標値を取得するステップと前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と前記座標対応情報とを用いて、前記撮像画像における前記座標値に対応する、対象物における位置を特定する座標値を算出するステップと、を備えるキャリブレーション方法であって、座標対応情報における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記座標対応情報を補正するステップを備えることを特徴とする。
【0015】
また、本発明のキャリブレーション方法は、表示装置に、複数のマーカを備えるキャリブレーションパターンを表示するステップと、前記表示装置に表示されたキャリブレーションパターンをカメラで撮像するステップと、前記カメラが撮像した撮像画像における複数のマーカの位置の座標値を備える座標対応情報を作成するステップと、前記撮像画像における座標値を取得するステップと前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と前記座標対応情報とを用いて、前記撮像画像における前記座標値が取得した座標に対応する対象物における位置を特定する座標値を算出するステップを備えるキャリブレーション方法であって、撮像画像における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記撮像画像を補正するステップを備えることを特徴とする。
【発明の効果】
【0016】
本発明に係るキャリブレーション装置または方法によれば、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合に、基準ピッチと異なるマーカ間のピッチに関する座標対応情報または撮像画像を補正するので、正確なキャリブレーションを可能とする。
【0017】
また、本発明に係る欠陥検出装置は、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合に、マーカ間のピッチが基準ピッチと異なる場合に補正を行なうので、表示パネルの欠陥の位置を正確に検出することができる。
【0018】
また、本発明に係る欠陥修復装置は、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合に、マーカ間のピッチが基準ピッチと異なる場合に補正を行なうので、表示パネルの欠陥を正確に修復することができる。
【0019】
また、本発明の表示パネルは、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターンが正確に表示されない場合に、マーカ間のピッチが基準ピッチと異なる場合に補正を行ない、表示パネルの欠陥を正確に修復することにより生産されるので、欠陥の無いまたは少ない表示パネルを提供することができる。
【0020】
また、本発明の表示装置は、本発明の表示パネルを備える表示装置であるので、欠陥の無いまたは少ない表示装置を提供することができる。
【図面の簡単な説明】
【0021】
【図1】本実施の形態に係るキャリブレーション装置とキャリブレーション対象である表示装置との構成図である。
【図2】本実施の形態のキャリブレーション方法のフロー図である。
【図3】本実施の形態に係るキャリブレーションパターンを示す図である。
【図4】本実施の形態に係るマーカ座標情報のデータ形式を示す図である。
【図5】本実施の形態に係る撮像画像の模式図である。
【図6】本実施の形態に係る座標対応情報のデータ形式を示す図である。
【図7】本実施の形態において想定するマーカの欠損および過剰についての説明図である。
【図8】本実施の形態に係る表示されないないし過剰なマーカに関する補正についての説明図である。
【図9】本実施の形態に係る欠陥検出装置の構成図である。
【図10】本実施の形態に係る表示装置の表示画面である。
【図11】本実施の形態に係る欠陥検出装置の処理フローである。
【図12】本実施の形態に係るキャリブレーションパターンである。
【図13】本実施の形態に係るマーカ座標情報を示す図である。
【図14】本実施の形態に係る撮像画像である。
【図15】本実施の形態に係る撮像画像である。
【図16】本実施の形態に係る表示パターンの補正に関する詳細フロー図ある。
【図17】本実施の形態に係る撮像画像である。
【図18】本実施の形態に係る撮像画像である。
【図19】本実施の形態に係る撮像画像である。
【図20】本実施の形態に係る座標対応情報である。
【図21】本実施の形態に係る欠陥検出用パターンである。
【図22】本実施の形態に係る表示パネル修復装置の処理フローである。
【図23】本実施の形態に係る表示パネル修復装置の処理フローである。
【図24】本実施の形態に係る撮像画像である。
【図25】本実施の形態に係る撮像画像である。
【図26】本実施の形態に係る表示パネル修復装置の構成図である。
【図27】本実施の形態に係る表示パネル修復装置の処理フローである。
【発明を実施するための形態】
【0022】
以下、本発明に係る実施の形態を、図面を参照して詳細に説明する。
【実施例1】
【0023】
図1に実施例1に係るキャリブレーション装置とキャリブレーションの対象物である表示装置との構成図を示す。実施例1のキャリブレーション装置は、カメラ3、画像取込部4、座標対応情報作成部6、座標対応情報補正部7、座標出力部8、座標変換部10、座標取得部14を備えて構成される。また、キャリブレーションの対象物である表示装置は表示パネル1と駆動部2とを備える。キャリブレーションパターン情報5は、キャリブレーション装置、表示装置のいずれに含まれていても良い。また、両方が同じキャリブレーションパターン情報5を備えていても良い。また、キャリブレーション情報5を、キャリブレーション情報を生成し出力する手段に代えても良い。
【0024】
図2に実施例1のキャリブレーション方法のフローを示す。まず初めに、キャリブレーションパターン情報5が備えるキャリブレーションパターンを表す画像データを駆動部2が読み込んで、表示パネル1が表示する(S1)。
【0025】
図3にキャリブレーションパターン101の例を示す。図3のキャリブレーションパターン101には、十字形のマーカ102が4行10列の方眼状に並んで配置されている。
キャリブレーションパターン101としては、キャリブレーションする方向に対して、同一形状(マーカ102)が繰り返されるパターンが望ましい。マーカ102の具体的形状としては、一定間隔で並んだ直線、点、十字、矩形などがある。また、2方向についてキャリブレーションする場合は、前記2方向について、同一形状が繰り返されるパターンが望ましく、具体例としては方眼ないし方眼状に並んだ、点、十字などがあげられる。
【0026】
キャリブレーションパターン情報5は、キャリブレーションパターン101を表す画像データと、マーカ102の中心位置を示す座標データ群であるマーカ座標情報とを備える。
【0027】
図4にマーカ座標情報106のデータ形式の例を示す。マーカ座標情報106は、各マーカ102のキャリブレーションパターン101における座標(Xi,j,Yi,j)を要素とするm×nの配列情報である。配列の各要素(Xi,j、Yi,j)は、i行j列目のマーカ102に対応し、表示パネル1における該マーカの位置を特定する座標値である。図3のキャリブレーションパターン101の場合、マーカ102は4行10列の配列であるので、m=4、n=10である。
【0028】
次に表示パネル1に表示されたキャリブレーションパターン101をカメラ3が撮像し、画像取込部4が撮像された画像を画像データとして、画像取込部4内の画像メモリに取込む。(S2)。
【0029】
図5は前記画像データが表す撮像画像100の模式図の例である。撮像画像100には、表示パネル1の表示画面108の画像があり、前記表示画面108には、十字形のマーカ102が縦横にm×n個、一定間隔で並んだキャリブレーションパターン101が表示されている。
【0030】
次に、撮像画像100に基づき、撮像画像100の座標と表示パネル1の座標との座標対応情報を作成する(S3)。
【0031】
図6に座標対応情報107のデータ形式例を示す。座標対応情報107は、各マーカ102の撮像画像100における座標(xi,j,yi,j)を要素とするm×nの配列情報である。配列の各要素(xi,j,yi,j)は、i行j列目のマーカ102に対応し、撮像画像100における位置を特定する座標値である。
【0032】
次に座標対応情報107について、座標対応情報補正部7が表示パターンの欠損/過剰についての補正を行なう(S4)。
【0033】
図7を用いて、実施例1において想定するマーカ102の欠損および過剰について説明する。図7はキャリブレーションパターンが表示された表示画面108を示す模式図である。表示パネル1の構成にあっては、縦方向に並ぶ1列の絵素について、縦方向に延在する1本の配線(ソースライン等)によって結線されることが一般的である。例えば、ソースライン103は、表示画面108において縦方向に延在する配線であって、前記ソースライン103によって、その上の絵素の表示制御がされる。従って、ソースライン103(または前記ソースラインに係る回路等)に故障がある場合、ソースライン1本分の黒線104または輝線105が発生する。黒線104とマーカ102とが重なった場合、黒線104上に表示しようとした全てのマーカ102が表示されない。また、輝線105が発生することにより、本来マーカ102が存在しない位置に過剰なマーカ102が発生する場合もある。
【0034】
図8を用いて、表示されないマーカ102ないし過剰なマーカ102に関する補正について説明する。まず初めに、撮像画像100におけるマーカ102の基準ピッチを求める。基準ピッチとは、前記マーカ102の非表示や過剰が無い場合におけるマーカ102間の間隔(ピッチ)である。最も単純な方法は、撮像画像100におけるピッチの合計をキャリブレーションパターン101におけるピッチの個数で除して基準ピッチとすることである。
【0035】
表1に、図8に示した撮像画像100から作成された座標対応情報107の具体例を示す。表1は、i=3、2≦j≦10の範囲における(xi,j,yi,j)の値を示している。表1に示した座標対応情報には、黒線104に対応する座標値は(x3,8,y3,8)と(x3,9,y3,9)との間に存在せず、輝線105に対応する座標値が(x3,4,y3,4)に(−4.27、1.45)として存在している。
【0036】
【表1】
表2に表1の座標対応情報107より算出された各マーカ102間の横方向のピッチを示す。表2は、i行j列目のマーカ102とi行j+1列目のマーカ102との距離を横方向のピッチphi,j=|(xi,j,yi,j)−(xi,j+1,yi,j+1)|として算出したものである。
【0037】
【表2】
i=3、2≦j≦9の範囲におけるピッチphi,jの合計は、16.17であり、それをキャリブレーションパターン101における既知のピッチの個数で除して、基準ピッチを算出する。基準ピッチは2.02と算出される。本算出方法によれば、マーカ102の非表示や過剰なマーカ102に発生に左右されず、キャリブレーションパターン101に対応する基準ピッチを算出することができる。
【0038】
基準ピッチが特定できたら、基準ピッチと、撮像画像100におけるピッチとを比較し、基準ピッチと異なるピッチのうち、基準ピッチより過小であるピッチ(以下「過小ピッチ」と呼ぶ)を抽出する。過小ピッチの例として、基準ピッチの2/3倍以下であるピッチがある。図8、表2の例では、ピッチPh3,4が過小ピッチに該当する。
【0039】
次に過小ピッチに隣接するピッチであって、過小ピッチでないピッチ(以下、「隣接ピッチ」と呼ぶ)を抽出する。図8、表2の例では、ピッチPh3,4に隣接するピッチPh3,3とピッチPh3,5とが、隣接ピッチに該当するため、抽出される。
【0040】
2つの隣接ピッチに挟まれた過小ピッチを含む領域において、1つ以上複数のピッチを統合し、統合後の各ピッチと基準ピッチとの差の平均が小さくなるように削除すべきマーカ102を選定する。
【0041】
図8、表2の例においては、ピッチPh3,3〜ピッチPh3,5が統合を検討する1つの領域である。ピッチPh3,3〜ピッチPh3,5の範囲に含まれるマーカ102に対応する座標対応情報107の要素は(x3,4,y3,4)、(x3,5,y3,5)の2つである。
【0042】
表3に、上記組合せ通りに、座標対応情報107の要素を削除し、ピッチを統合した場合における基準ピッチAとの差の絶対値の平均を評価値として示す。表3の通り、基準ピッチとの差の平均が最も小さくなるのは、(x3,4,y3,4)を削除し、(x3,5,y3,5)を削除しない場合である。
【0043】
【表3】
従って、本領域については、座標対応情報107の要素(x3,4,y3,4)を削除し、それより右側の値を1つずつ左側にシフトすることとする。表4に削除後の座標対応情報107を示す。
【0044】
【表4】
表4の座標対応情報107に基づいて新たに作成されたピッチphi,jを表5に示す。
【0045】
【表5】
また、隣接ピッチの長さが過大(例えば、基準ピッチの4/3倍以上)の場合、その隣接ピッチを含む統合については、基準ピッチとの差に替えて、基準ピッチの2倍との差を用いる。例えば、隣接ピッチが基準ピッチの1.5倍であり、その隣の過小ピッチが基準ピッチの0.6倍の場合、両者を統合し、基準ピッチの2.1倍のピッチとすれば良い。
【0046】
以上の処理により、過小ピッチを統合化することができる。
【0047】
次に、黒線104により、その間のマーカ102が表示されない場合が想定される場合について補正する。基準ピッチと異なるピッチのうち、基準ピッチと比較し過大であるピッチ(以下、「過大ピッチ」と呼ぶ)の場合、図8のピッチPh3,8に示すように、黒線104により、その間のマーカ102が表示されない場合が想定される。この場合、座標対応情報107に表示されないマーカ102に対応する座標対応情報107の要素として撮像画像100における座標値を挿入する。なお、「過大ピッチ」の例として、基準ピッチの4/3倍以上であるピッチがある。
【0048】
表2では、Ph3,8 が4.05であり、基準ピッチの4/3倍より大きい。従って、(x3,8,y3,8)と(x3,9,y3,9)との中点となる座標(4.53,1.45)を(x3,8,y3,8)の新たな値とし、(x3,9,y3,9)より右側の値を1つずつ右側にシフトする。
【0049】
表6に挿入後の座標対応情報107を示す。
【0050】
【表6】
表6の座標対応情報107に基づいて新たに作成されたピッチphi,jを表7に示す。
【0051】
【表7】
また、基準ピッチの12/5倍より大きいピッチである場合、2分割するより3分割した方が、基準ピッチとの誤差が小さくなるので、2列連続してマーカ102が欠損している可能性が高いと判断して、前記中点に替えて、3分割する点となる座標値2点を座標対応情報107に挿入する。同様に、基準ピッチの2k(k+1)/(2k+1)倍より大きいピッチである場合、k列連続してマーカ102が欠損している可能性が高いと判断して、前記中点の代わりにk+1分割する点となる座標値をk個挿入する。
【0052】
なお、過大ピッチの間に座標値を挿入する代わりに、マーカ座標情報106における前記座標値に対応する配列要素を削除しても良い。
【0053】
以上に説明した処理により、表示パターンの欠損/過剰についての補正を行なうことができる。
【0054】
なお、基準ピッチは、表示パネル1においてはほぼ一定であるが、撮像画像100においては、カメラ3の撮像光学系等による歪みを含んでおり、撮像画像100における位置および方向によって若干異なることが想定される。これを基準ピッチに正確に反映させる方法としては、事前に支障が無いことが確認されている表示パネル1にマーカ102を表示させて撮像し、撮像画像100における位置および方向毎のピッチをそれぞれの基準ピッチとする方法がある。
【0055】
また、撮像画像100において位置および方向が類似する複数のピッチの合計をキャリブレーションパターン101におけるピッチの個数で除して基準ピッチを特定する方法でも、カメラ3の撮像光学系等による歪みを正確に基準ピッチに反映させることができる。
【0056】
さらに正確には、複数の表示パネル1について撮像して複数の撮像画像100を取得し、前記複数の撮像画像100において位置および方向が類似するピッチをキャリブレーションパターン101におけるピッチの個数で除して求めれば良い。複数の表示パネル1を撮像して算出する場合、その中に欠陥のある表示パネル1があったとしても誤差が平均化されるので、欠陥による誤差の影響は小さくなり、正確に基準ピッチを求めることができる。
【0057】
また、他の基準ピッチの算出方法として、キャリブレーションバターン101におけるマーカ102のピッチにカメラ3の撮像倍率をかけて求める方法がある。例えば、キャリブレーションバターン101におけるマーカ102間の距離(ピッチ)が2であり、カメラ3の撮像倍率が3倍であるならば、2×3=6を基準ピッチとすれば良い。この場合、表示パネル1の欠陥に関係無く、基準ピッチを求めることができる。
【0058】
また、他の基準ピッチの算出方法として、撮像画像100におけるピッチの平均値または中央値または最頻値を用いても良い。また、特に大きなピッチ、特に小さなピッチを除外した後に、残りのピッチの平均値または中央値または最頻値を基準ピッチとして用いて良い。
【0059】
なお、隣接ピッチの両側に過小ピッチが隣接する場合、その隣接ピッチは抽出しない。
【0060】
また、上記に説明した補正処理を行なっても、座標対応情報107の配列の要素数がm×nにならない場合は、座標対応情報107が正しく補正されていないので、例外処理を行なう。
【0061】
また、2つの隣接ピッチに挟まれた過小ピッチを含む領域において3箇所以上座標対応情報107の要素を削除した場合、または、基準ピッチの24/7倍より大きいピッチで3個以上座標対応情報107の要素を挿入した場合は、確率的に希であり、正しく補正できていない可能性が高いので、本キャリブレーション装置の利用者等に対し警告を発信することが望ましい。
【0062】
次に、座標取得部14が撮像画像100における任意の座標値を取得する(S5)。
【0063】
次に、座標変換部10が、マーカ座標情報106と座標対応情報107とを用いて、前記座標取得部が取得した座標値に対応する表示パネル1における位置を特定する座標値を算出する(S6)。座標対応情報107は、各マーカ102の撮像画像100における座標(xi,j,yi,j)を要素とするm×nの配列情報であり、マーカ座標情報106の各要素(Xi,j,Yi,j)と対応する。撮像画像100における任意の座標値は、座標対応情報107が備える複数の座標値が特定する複数の点の間を特定の比率で内分(または外分)する点とみなせるので、前記比率と同一の比率で、対応するマーカ座標情報106の各座標値が特定する複数の点を内分(または外分)する点として、表示パネル1における位置を特定する座標値を算出することができる。
【0064】
最後に、座標変換部10が算出した座標値を出力する(S7)。なお、表示パネル1に関し、どの位置にどの(色の)絵素があるかについての情報があれば、前記座標値を検索キーとして、前記情報から、表示パネル1に係る前記座標値が示す位置に関する情報を検索して出力しても良い。前記情報としては、絵素の行番号、列番号、絵素の色(赤、青、緑、シアン、マゼンタ、イエロー、黒等)などがある。
【0065】
実施例1に係るキャリブレーション装置または方法によれば、表示パネルの欠損画素(黒線等)上にマーカ102が表示しようとしたため、キャリブレーションパターン101が正確に表示されない場合に、基準ピッチと異なるマーカ102間のピッチに関し補正を行なう。従って、正確なキャリブレーションを可能とし、座標取得部14が取得した撮像画像100における任意の座標値に対応する表示パネル1における位置を特定する座標値を算出することができる。
【0066】
なお、過小ピッチの例として、上記の説明では、基準ピッチの2/3以下を挙げて説明したが、基準ピッチより小さな値であれば、他の値であっても良い。
【0067】
また、過大ピッチの例として、上記の説明では、基準ピッチの4/3以下を挙げて説明したが、基準ピッチより大きな値であれば、他の値であっても良い。
【0068】
しかしながら、過小ピッチを基準ピッチの2/3以下、過大ピッチを基準ピッチの4/3以上とすれば、隣接する2つの微小ピッチを統合した場合に、過大ピッチとならないので、補正をしすぎてかえって正確さを欠く事態を防止することができる。また、最小の過小ピッチと基準ピッチとの差と、最大の過大ピッチと基準ピッチとの差が等しく1/3であるので、補正後のばらつきを基準ピッチの1/3以下とすることができる。
【0069】
なお、工程S4において、過小ピッチまたは過大ピッチに基づいて、削除/挿入する座標対応情報107の要素を求めるアルゴリズムについては、上記のアルゴリズム以外のアルゴリズムであっても良く、マーカ座標情報、座標対応情報107の形式は図4、図6に示した形式でなくても良い。
【0070】
また、座標対応情報補正部7の代わりに、撮像画像100における前記マーカ102間のピッチが、基準ピッチと異なる場合に、前記撮像画像100を補正するパターン補正部を備えても良い。この場合、工程S4における補正は前記パターン補正部が行なう。この場合、座標対応情報作成部6は、補正された撮像画像100に基づき、座標対応情報107を作成すれば良い。
【実施例2】
【0071】
図9を参照して、本発明の実施例1に係るキャリブレーション装置を欠陥検出装置に用いた構成について説明する。本実施例の欠陥検出装置は、表示装置の欠陥(絵素欠け等)および欠陥の表示装置上の座標を検出する装置である。
【0072】
実施例2の欠陥検出装置は、モノクロカメラであるカメラ3、画像取込部4、パターン補正部12、座標対応情報作成部6、欠陥抽出部9、座標変換部10、欠陥座標出力部11とから構成される。また、欠陥検出対象である表示装置は表示パネル1と駆動部2とを備える。キャリブレーションパターン情報5は、欠陥検出装置、表示装置のいずれに含まれていても良い。また、両方が同じキャリブレーションパターン情報5を備えていても良い。また、キャリブレーション情報5を、キャリブレーション情報5を生成し出力する手段に代えても良い。
【0073】
図10は、本実施例において、欠陥を検出する表示パネル1の表示画面108を示す。表示画面108は、Rij、Gij、Bij(ただし、iは1〜6の整数、jは1〜8の整数)の3つの絵素の組を1つの画素とし、前記画素が縦方向に8つ、横方向に6つ並んで構成させるカラー表示装置の絵素配列を示している。
【0074】
図11に、本実施例に係る処理フローを示す。S1、S2、S3の工程は図2に示すS1、S2、S3の工程と同じである。また、S61はS6に相当し、S71はS7に相当する。以下、本フロー図に基づき本実施例の欠陥検出装置による欠陥の検出方法について説明する。
【0075】
まず初めに、キャリブレーションパターン情報5が備えるキャリブレーションパターン101を表す画像データを駆動部2が読み込んで、表示パネル1の表示画面108に表示させる(S1)。
【0076】
図12に、本実施例におけるキャリブレーションパターン101を示す。図12において黒地に白文字で記載されている絵素が、マーカ102である。すなわち、Gij、(ただし、iは1〜7の奇数、jは1〜6の整数)をマーカ102として発光させて表示させる。G(緑)のみをマーカ102としているのは、赤、青、緑の絵素の内、輝度が最も高く、モノクロカメラで撮像した時に、黒点と比較して最も明確に表示される絵素であるからである。また、縦方向に対し、1つおきにマーカ102とするのは、縦方向におけるマーカ102を非連続とし、その位置をより明確とするためである。
【0077】
図13にキャリブレーションパターン情報5が備えるマーカ座標情報106を示す。マーカ座標情報106は、表示パネル1における表示パネル108上の座標値(Xij、Yij)を値とする4×6の配列であり、配列の各要素は、図12に示す各マーカ102に対応している。
【0078】
なお、図10に示す通り、欠陥を検出する表示画面108の絵素構成はあらかじめ判っているのであるから、表示パネル1における座標値(X、Y)の値に基づき、いずれの絵素であるかを判定することができる。図10の絵素構成に従えば、座標(X、Y)に存在する画素であり、かつXの3に係る剰余が1である場合、R(赤)であり、2である場合、G(緑)であり、0である場合、B(青)である。具体例を挙げると、座標(9,2)に存在する絵素の場合、9/3=0余り0であるため、B3,2であるこが判る。
【0079】
次に表示パネル1の表示画面108に表示されたキャリブレーションパターン101をカメラ3で撮像し、画像データとして、画像取込部4内の画像メモリに取込む。(S2)。カメラ3の解像度は、表示パネル1の解像度の3倍以上であることが望ましい。
【0080】
図14に取り込まれた撮像画像100の例を示す。撮像画像100には、マーカ102が撮像されている。図12に示した例は、表示装置に欠陥が存在しない理想的な場合である。
【0081】
図15は取り込まれた撮像画像100の他の例である。撮像画像100には、マーカ102が撮像されている。図15に示した例は、表示装置に黒線、輝線にあたる欠陥が存在したため、位置のおかしなマーカ102a、不要なマーカ102bが表示されている。
【0082】
本実施例では、撮像画像100に対し、パターン補正部12が表示パターンの欠損、過剰を補正する(S21)。本工程の処理内容および目的は、図2の工程S4と同じであるが、処理対象が撮像画像100である点で異なる。
【0083】
図16に工程S21に関する詳細フローを示す。図16に示したフローは一列ないし一行に関するフローである。図13に示したマーカ102は6列5行であるので、縦方向に6回、横方向に5回、計11回、図16に示したフローを実施する。
【0084】
図16に示したフローに則り、まずはj=1である行について横方向について補正を行なう。
【0085】
マーカ間のピッチを求める(S101)。図15では、Ph11=9、Ph12=9、Ph13=9、Ph14=6、Ph15=12である。
【0086】
次に基準ピッチを求める(S102)。Ph11〜Ph15の合計は45である。また、Ph11からPh15までに対応するキャリブレーションパターン101のピッチの個数は5つであるため、5で除して、基準ピッチを9とする。
【0087】
過小ピッチを抽出する(S103)。過小ピッチは、基準ピッチの2/3倍以下のピッチとする。本実施例においては、6以下のピッチ、すなわち、Ph14が過小ピッチに該当する。
【0088】
隣接ピッチを抽出する(S104)。図15の例では、Ph13とPh15とが隣接ピッチである。
【0089】
隣接ピッチで挟まれた領域において、削除すべきマーカ102を抽出する(S105)。Ph13とPh15とに挟まれた領域に存在するマーカ102は102a、102cの2つであるので、それぞれ、削除する/しないの組み合せは、22=4通りである。各組合せの評価値を算出する。算出結果を表8に示す。
【0090】
【表8】
ただし、隣接ピッチの大きさが基準ピッチの4/3倍以上の場合、その隣接ピッチを含む統合については、基準ピッチとの差に替えて、基準ピッチの2倍との差を用いる。すなわち、Ph15は基準ピッチの4/3倍であるので、基準ピッチの2倍との差の絶対値を用いる。
【0091】
表8から、マーカ102cを削除せず、マーカ102aを削除することが、平均を最も小さくするために最善の方法であることがわかる。従って、マーカ102aを表示画像108から削除する(S106)。
【0092】
図17にマーカ102aを削除した後の撮像画像100を示す。Ph14の値は18となり、Ph15はなくなる。また、2〜4行目についても同様にS101〜S106の処理を行なう。
【0093】
次に基準ピッチの4/3倍より大きなピッチ(過大ピッチ)を抽出する(S107)。ピッチPh14の値は18であり、基準ピッチの4/3倍より大きいので、過大ピッチとして抽出される。抽出されたピッチは、基準ピッチの12/5倍以下であるので、ピッチPh14の中点に新たなマーカ102dを挿入する(S108)。
【0094】
図18にマーカ102dを挿入した後の撮像画像100を示す。ピッチPh14とピッチPh15の値はそれぞれ9となる。
【0095】
また、2〜4行目についても同様にS107〜S108の処理を行なう。2行目については、Ph21が値18の過大ピッチであるので、ピッチPh21の中点に新たなマーカ102gを挿入する。
【0096】
ピッチ数がキャリブレーションパターン101のピッチの個数と一致しているか判定する(S109)。図12にあるようにキャリブレーションパターン101の横方向のピッチの個数は5である。対して、補正後のピッチ数はピッチPh11〜Ph15の5つであるため、一致している。この場合、正常に補正が終了したとして、次の工程を行なう。なお、ピッチの個数が一致していない場合、警告等の例外処理を行なう。
【0097】
次に列について、S101〜S108についての処理を行なう。ピッチPv11、Pv12、Pv13、Pv14の値は、それぞれ、12、12、6、6である(S101)。
【0098】
Pv11〜Pv14の合計値は36である。図12にあるように、キャリブレーションパターン101におけるピッチの数である3で除して、基準ピッチとして12を算出する(S102)。
【0099】
過小ピッチを抽出する(S103)。基準ピッチの2/3以下であるピッチPv13、Pv14が抽出される。
【0100】
隣接ピッチを抽出する(S104)。ピッチPv12、が抽出される。なお、Pv14は下端のピッチであるため、Pv14の下側の隣接ピッチを抽出することはできない。
【0101】
隣接ピッチに挟まれた過小ピッチを含む領域についてのマーカ102の削除案を評価する(S105)。この場合、Pv14は下端のピッチであるため、Pv12〜Pv14の領域について削除案を評価する。
【0102】
評価結果を表9に示す。評価値が小さいのは、No.3のマーカ102bのみを削除する場合、No.4のマーカ102b、102fを削除する場合、No.8のマーカ102e、102b、102fを削除する場合である。
【0103】
【表9】
このように評価値が最小の削除案が複数存在する場合、前記複数の案について以後のS106〜S108を実施し、その後にS109にて各案を比較することが望ましい。まずは、No.3のマーカ102のみを削除する処理を行なう(S106)。また、2〜6列目についてもS101〜S106の処理を行なう。
【0104】
図19に削除処理後の撮像画像100を示す。この処理により、Pv13の値は12となり、ピッチの個数は3個になる。
【0105】
次に過大ピッチを抽出する(S107)。基準ピッチの4/3倍以上のピッチは存在しないので、過大ピッチは抽出されない。従って、挿入処理(S108)も実施されず、次のステップに進む。
【0106】
ピッチ数が正しいか検証する(S109)。キャリブレーションパターン101のピッチ数は3であり、ピッチ数は正しい。
【0107】
同様に、No.4の削除案、No.8の削除案についても、S106〜S109の工程を実施する。S109において、No.4の削除案の場合、ピッチ数が2となり、No.8の削除案の場合は、ピッチ数が1となるため、キャリブレーションパターン101のピッチ数と異なるため、案は却下される。これにより、No.3の削除案が採択される。
【0108】
以上説明した通り、図16に示したフローを縦・横の方向について、また、S105において複数、良案がある場合は、前記各良案について以後の処理を実施し、S109において各案を比較することによって、補正を行なうことができる。
【0109】
なお、以上の説明では、S101〜S106、S107〜S108、S109について、各行/列毎に処理したが、複数行/列を一度に処理しても良い。
【0110】
次に座標対応情報作成部6が座標対応情報を作成する(S3)。
【0111】
図20に座標対応情報作成部6が作成した座標対応情報107を示す。座標対応情報107は、撮像画像中の各マーカ102の中心点の座標を要素する配列である。
【0112】
次に欠陥検出用パターンを表示パネル1に表示する(S51)。欠陥検出用パターンは、検出すべき欠陥の種類に応じて種々のパターンがあり、そのいずれであっても良い。本実施例では、全点灯検査を例とて、以下の説明を行なう。
【0113】
次に欠陥を検出する(S52)。具体的には、表示パネル1に表示されたパターンをカメラ3が撮像し、画像取込部4が取り込み画像データとする。その後、前記画像データから欠陥と考えられる箇所を抽出する。
【0114】
図21に表示パネル1を全点灯(全ての絵素を光らせること)させ、それをカメラ3で撮像し、画像取込部4が取り込んだ撮像画像100を示す。全点灯検査は、光らない絵素を検出するための検査である。図21において、黒で表現されている画素は光らなかった部分を表す。図21では、矩形の欠陥109aと、線状の欠陥109bと、短い線状の欠陥109cが検出された。欠陥109aの矩形の左上−右下の角の座標は(26,8)−(29,11)であり、欠陥109bはx=41の位置に存在する縦線であり、欠陥109cは、座標(14,14)−(14,23)に存在する縦線である。
【0115】
座標変換部10が欠陥のある絵素の座標および色を求める(S61)。検出された欠陥109a、109bの座標は、撮像画像100における座標であるので、表示パネル1における座標に変換する。
【0116】
次に、欠陥座標出力部11が欠陥の有る絵素の座標値または色を出力する(S71)。以上S1〜S71のフローによって、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターン101が正確に表示されない場合に、基準ピッチと異なるマーカ間のピッチに関し補正を行なうので、表示パネル1において欠陥の存在する絵素の座標およびその色を特定することができる。
【0117】
なお、上記の例では、欠陥検出用パターンとして全点灯を用いたが、他のパターンであっても良い。表示パネル全面を黒色表示させるパターン等、光る絵素を検出するための検査の場合、輝線105等が検出できるので、輝線105等の欠陥の位置と、工程S106でマーカ102を削除した位置とが一致するか否かで、工程S106で削除した処理が適切であったことを確認することができる。逆に、マーカの位置の絵素が光っていない場合、マーカを補正のため撮像画像100から削除した処理が適切でなかった可能性が高いので、本装置の利用者等に対し警告を発信することが望ましい。
【実施例3】
【0118】
本実施例は削除すべきマーカ102を抽出する工程S105および前記削除すべきマーカ102を抽出するための処理である工程S103、S104が異なる以外は、実施例2と同様であるので、実施例2と同一の部分については説明を略す。
【0119】
図22に本実施例における工程S21に関する詳細フローを示す。図22に示す通り、本実施例は、S103〜S105の代わりに、S200を実施する。S200では、全てのマーカについて、後述するS201〜S205の処理を実施し、各マーカが削除すべきマーカ102であるか否かを判断する。
【0120】
図23にS201〜205に係るフローを示す。S201では、図23に示すフローにおいて、削除すべきマーカであるか否かを判断するマーカを「対象マーカ」に設定する。以下の説明では、図24に示す撮像画像100のマーカ102jを対象マーカとする場合を例に説明する。
【0121】
S202では、対象マーカに関し、周辺マーカを複数設定する。周辺マーカとは、対象マーカの周辺にあり、一定の配置関係にある特定のマーカを指す。前記一定の位置関係の例としては、たとえば、「左右N個隣までのマーカ(Nは任意の自然数)」等が考えられる。
【0122】
対象マーカと周辺マーカとの関係を、図24を用いて例示する。例えば、対象マーカの左右3つ隣までのマーカを周辺マーカとする場合で、マーカ102jが対象マーカである場合、マーカ102g、102h、102i、および右側のマーカ102k、102lの計5つが周辺マーカと判断することができる。
【0123】
S203では、対象マーカ102と周辺マーカとの距離(ここでは横方向の距離)を算出する。対象マーカ102jから周辺マーカ102gまでの距離は27、周辺マーカ102hまでの距離は18、周辺マーカ102iまでの距離は6、周辺マーカ10lまでの距離は18である。
【0124】
S204では、S203で算出した距離が許容範囲を超える周辺マーカの数を数える。許容範囲を超えるか否かについては、基準ピッチの整数倍である基準距離との差が判定誤差量以上であるか否かで判断する。判定誤差量の値は本発明の利用者の任意であるが、基準ピッチの1/8〜1/9程度が適当である(図24に示す撮像画像100においては基準ピッチが9であるので、その1/9である1として説明する)。
【0125】
以下、周辺マーカ102gに関し、S203で算出した距離が判定誤差量以上であるか否かについて説明する。周辺マーカ102gは対象マーカ102jから左に3番目のマーカであるから、周辺マーカ102gに係る基準距離を基準ピッチの3倍とする。すなわち、基準ピッチの値である9に3を乗じた値である27とする。基準距離とS203で算出した距離との差分の絶対値を求め、判定誤差量である1と比較する。前記絶対値は0であるので、判定誤差量未満であると判断することができる。
【0126】
同様に、周辺マーカ102hは対象マーカ102jから左に2番目のマーカであるから、周辺マーカ102hに係る基準距離を基準ピッチの2倍の18とする。前記基準値とS203で算出した距離との差分の絶対値を求め、判定誤差量である1と比較する。前記絶対値は0であるので、判定誤差量未満であると判断することができる。
【0127】
同様に、周辺マーカ102i、102k、102lについて算出すると、周辺マーカ102i、102lについては判定誤差量未満であると判断できるが、周辺マーカ102kについては、差分の絶対値が3となるので、判定誤差量以上と判断することができる。
【0128】
以上の通り、計5つの周辺マーカに関し、許容範囲を超える周辺マーカの個数は1個である判断することができる。
【0129】
S205では、S204で数えた周辺マーカ数が所定数以上であるか否かを判断する。判定誤差量の値は本発明の利用者の任意であるが、1つの対象マーカに係る周辺マーカ数の最大値の1/2程度が適当である(本実施例においては、3として説明する)。S204に関する説明の通り、対象マーカ102jについての許容範囲を超える周辺マーカの個数は1個であり、所定数3未満であるため、S205の判断はNoとなる。従って、マーカ102jは削除すべきマーカ102ではない。
【0130】
S205に係る他の判断方法として、S204で数えた周辺マーカ数が周辺マーカの総数に対して一定割合以上であるか否かで判断しても良い。前記割合の値は本発明の利用者の任意であるが、1/2程度が適当である。S204に関する説明の通り、対象マーカ102jについての許容範囲を超える周辺マーカの個数は1個であり、周辺マーカの総数は5であるから、許容範囲を超える周辺マーカの個数は総数の1/2未満であるため、S205の判断はNoとなる。従って、マーカ102jは削除すべきマーカ102ではない。
【0131】
次に、図24に示す撮像画像100のマーカ102kを対象マーカとする場合を例に説明する。この場合、周辺マーカは、マーカ102h、102i、102j、102lの4つであり(S202)、対象マーカから周辺マーカ102h、102i、102j、102lまでの距離はそれぞれ、24、15、6、12である(S203)。対して基準距離はそれぞれ、27、18、9、9であるため、差分の絶対値はそれぞれ3となり、許容範囲を超える。従って、許容範囲を超える周辺マーカの数は4である(S204)。許容範囲を超える周辺マーカの数である4は、所定数である3を超えるため、対象マーカ102kは削除すべきマーカ102であると判断することができる。
【0132】
なお、周辺マーカは「左右N個隣までのマーカ(Nは任意の自然数)」だけでなく、他の位置であっても良い。例えば、図25に示すように、対象マーカ102mの周囲、縦横斜め方向にある計8つマーカ102nを周辺マーカとしても良い。
【実施例4】
【0133】
図26に、実施例2に係る欠陥検出装置を表示パネル修復装置に用いた構成を示す。実施例2に係る欠陥検出装置と共通する構成要素については説明を省き、異なる点にのみ言及する。本実施例に係る表示パネル修復装置は、インクジェット塗布装置等からなる表示パネル修復部13を備える。
【0134】
図27に本実施例に係る修復装置による表示パネルの修復のフローを示す。S1〜S61に到る工程は、実施例1に係るS1〜S61の工程と同じである。S61に続いて、S8において、表示パネル修復部13が、座標変換部10から得た欠陥の有る絵素の座標値および色に基づき、前記座標値に係る絵素について、前記色に修復する。
【0135】
本実施例によれば、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターン101が正確に表示されない場合に、基準ピッチと異なるマーカ102間のピッチに関し補正を行なうので、表示パネル1における欠陥を修復することができる。
【0136】
また、本実施例によれば、マーカを表示しようとした画素が欠陥画素であるため、キャリブレーションパターン101が正確に表示されない場合に、基準ピッチと異なるマーカ102間のピッチに関し補正を行なうので、表示パネル1の欠陥を正確に修復することができ、欠陥の無いまたは少ない表示パネル1および表示装置を提供することができる。
【産業上の利用可能性】
【0137】
表示パネルをカメラ等で撮像し、撮像した画像上の位置と、表示パネル上の位置とを位置合せする場合について、利用可能である。
【符号の説明】
【0138】
3 カメラ
4 画像取込部
5 キャリブレーションパターン情報
6 座標対応情報作成部
7 座標対応情報補正部
8 出力部
9 欠陥抽出部
10 座標変換部
11 欠陥座標出力部
12 パターン補正部
13 表示パネル修復部
【特許請求の範囲】
【請求項1】
対象物を撮像するカメラと、
前記カメラが撮像した撮像画像を取り込む画像取込部と、
前記画像取込部が取り込んだ前記撮像画像における複数のマーカの位置を特定する座標値を備える座標対応情報を作成する座標対応情報作成部と、
前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と、
を備え、
前記座標対応情報と前記マーカ座標情報とを用いて、撮像画像における位置を特定する座標値に対応する対象物における位置を特定する座標値を算出する座標変換部とを備えるキャリブレーション装置であって、
座標対応情報における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記座標対応情報を補正する座標対応情報補正部を備えることを特徴とするキャリブレーション装置。
【請求項2】
対象物を撮像するカメラと、
前記カメラが撮像した撮像画像を取り込む画像取込部と、
前記画像取込部が取り込んだ前記撮像画像における複数のマーカの位置を特定する座標値を備える座標対応情報を作成する座標対応情報作成部と、
前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と、
を備え、
前記座標対応情報と前記マーカ座標情報とを用いて、撮像画像における位置を特定する座標値に対応する対象物における位置を特定する座標値を算出する座標変換部とを備えるキャリブレーション装置であって、
撮像画像における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記撮像画像を補正するパターン補正部を備えることを特徴とするキャリブレーション装置。
【請求項3】
請求項1または2記載のキャリブレーション装置であって、前記基準ピッチは、撮像画像または座標対応情報におけるピッチの合計をマーカ座標情報におけるピッチの個数で除して算出することを特徴とするキャリブレーション装置。
【請求項4】
表示パネルの欠陥を検出する欠陥検出装置であって、
請求項1または2記載のキャリブレーション装置を備えることを特徴とする欠陥検出装置。
【請求項5】
表示パネルの欠陥を修復する欠陥修復装置であって、
請求項4記載の欠陥検出装置を備えることを特徴とする欠陥修復装置。
【請求項6】
表示装置に、複数のマーカを備えるキャリブレーションパターンを表示するステップと、
前記表示装置に表示されたキャリブレーションパターンをカメラで撮像するステップと、
前記カメラが撮像した撮像画像における複数のマーカの位置の座標値を備える座標対応情報を作成するステップと、
前記撮像画像における座標値を取得するステップと
前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と前記座標対応情報とを用いて、前記撮像画像における前記座標値に対応する、対象物における位置を特定する座標値を算出するステップとを備えるキャリブレーション方法であって、
座標対応情報における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記座標対応情報を補正するステップを備えることを特徴とするキャリブレーション方法。
【請求項7】
表示装置に、複数のマーカを備えるキャリブレーションパターンを表示するステップと、
前記表示装置に表示されたキャリブレーションパターンをカメラで撮像するステップと、
前記カメラが撮像した撮像画像における複数のマーカの位置の座標値を備える座標対応情報を作成するステップと、
前記撮像画像における座標値を取得するステップと
前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と前記座標対応情報とを用いて、前記撮像画像における前記座標値が取得した座標に対応する対象物における位置を特定する座標値を算出するステップを備えるキャリブレーション方法であって、
撮像画像における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記撮像画像を補正するステップを備えることを特徴とするキャリブレーション方法。
【請求項1】
対象物を撮像するカメラと、
前記カメラが撮像した撮像画像を取り込む画像取込部と、
前記画像取込部が取り込んだ前記撮像画像における複数のマーカの位置を特定する座標値を備える座標対応情報を作成する座標対応情報作成部と、
前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と、
を備え、
前記座標対応情報と前記マーカ座標情報とを用いて、撮像画像における位置を特定する座標値に対応する対象物における位置を特定する座標値を算出する座標変換部とを備えるキャリブレーション装置であって、
座標対応情報における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記座標対応情報を補正する座標対応情報補正部を備えることを特徴とするキャリブレーション装置。
【請求項2】
対象物を撮像するカメラと、
前記カメラが撮像した撮像画像を取り込む画像取込部と、
前記画像取込部が取り込んだ前記撮像画像における複数のマーカの位置を特定する座標値を備える座標対応情報を作成する座標対応情報作成部と、
前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と、
を備え、
前記座標対応情報と前記マーカ座標情報とを用いて、撮像画像における位置を特定する座標値に対応する対象物における位置を特定する座標値を算出する座標変換部とを備えるキャリブレーション装置であって、
撮像画像における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記撮像画像を補正するパターン補正部を備えることを特徴とするキャリブレーション装置。
【請求項3】
請求項1または2記載のキャリブレーション装置であって、前記基準ピッチは、撮像画像または座標対応情報におけるピッチの合計をマーカ座標情報におけるピッチの個数で除して算出することを特徴とするキャリブレーション装置。
【請求項4】
表示パネルの欠陥を検出する欠陥検出装置であって、
請求項1または2記載のキャリブレーション装置を備えることを特徴とする欠陥検出装置。
【請求項5】
表示パネルの欠陥を修復する欠陥修復装置であって、
請求項4記載の欠陥検出装置を備えることを特徴とする欠陥修復装置。
【請求項6】
表示装置に、複数のマーカを備えるキャリブレーションパターンを表示するステップと、
前記表示装置に表示されたキャリブレーションパターンをカメラで撮像するステップと、
前記カメラが撮像した撮像画像における複数のマーカの位置の座標値を備える座標対応情報を作成するステップと、
前記撮像画像における座標値を取得するステップと
前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と前記座標対応情報とを用いて、前記撮像画像における前記座標値に対応する、対象物における位置を特定する座標値を算出するステップとを備えるキャリブレーション方法であって、
座標対応情報における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記座標対応情報を補正するステップを備えることを特徴とするキャリブレーション方法。
【請求項7】
表示装置に、複数のマーカを備えるキャリブレーションパターンを表示するステップと、
前記表示装置に表示されたキャリブレーションパターンをカメラで撮像するステップと、
前記カメラが撮像した撮像画像における複数のマーカの位置の座標値を備える座標対応情報を作成するステップと、
前記撮像画像における座標値を取得するステップと
前記対象物における前記マーカの位置を座標値として有するマーカ座標情報と前記座標対応情報とを用いて、前記撮像画像における前記座標値が取得した座標に対応する対象物における位置を特定する座標値を算出するステップを備えるキャリブレーション方法であって、
撮像画像における前記マーカ間のピッチが、基準ピッチと異なる場合に、前記撮像画像を補正するステップを備えることを特徴とするキャリブレーション方法。
【図13】
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【公開番号】特開2011−198179(P2011−198179A)
【公開日】平成23年10月6日(2011.10.6)
【国際特許分類】
【出願番号】特願2010−65516(P2010−65516)
【出願日】平成22年3月23日(2010.3.23)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成23年10月6日(2011.10.6)
【国際特許分類】
【出願日】平成22年3月23日(2010.3.23)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]