画像処理装置、コンピュータプログラム、及び記録媒体
【課題】液晶表示パネルの表示装置の画面を撮影することにより得られる画像データから、鮮明かつデータ量の少ない画像データを生成する装置を提供する。
【解決手段】マトリクス状に配置された複数のドットからなる液晶表示パネルの画面を撮影することによって得られる画像中には、周期パターンが繰返し現れる。画像加工部１１０は、画像入力部１０８から画像が与えられたことに応答して周期パターンを検出するための周期パターン検出部１４０、パターン間隔検出部１４２、及び傾き検出部１４４と、検出された周期パターンをもとに、画像においてドットの像の各々に対応する領域を特定し、それらの領域の各々に対して特徴量を抽出するための選択パターン形状決定部１４６、選択パターン位置決定部１４８、代表値決定部１５０、及び２値化処理部１５２と、ドットの各々に関する特徴量をもとに画像の符号化データを生成するための再構成部１５４とを含む。
【解決手段】マトリクス状に配置された複数のドットからなる液晶表示パネルの画面を撮影することによって得られる画像中には、周期パターンが繰返し現れる。画像加工部１１０は、画像入力部１０８から画像が与えられたことに応答して周期パターンを検出するための周期パターン検出部１４０、パターン間隔検出部１４２、及び傾き検出部１４４と、検出された周期パターンをもとに、画像においてドットの像の各々に対応する領域を特定し、それらの領域の各々に対して特徴量を抽出するための選択パターン形状決定部１４６、選択パターン位置決定部１４８、代表値決定部１５０、及び２値化処理部１５２と、ドットの各々に関する特徴量をもとに画像の符号化データを生成するための再構成部１５４とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの処理技術に関し、特にマトリクス状に配置された複数のドットからなるマトリクス型表示装置の画面を撮影することにより得られる画像データを最適化するための画像処理装置及びそのためのコンピュータプログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、情報のデジタルデータ化により、画像及び文字等の視覚的な情報をデジタルデータ化する技術が、目覚しい発展と普及とを遂げた。それに伴い、画像及び文字等をデジタルデータ化して記録する機会も、デジタルデータ化された画像及び文字等を表示する機会もともに増加した。
【０００３】
画像及び文字等をデジタルデータ化して記録する技術の普及の一例として、デジタルカメラの普及を挙げることができる。イメージセンサの高性能化及び普及と信号処理技術の発達とにより、撮影した画像をデジタルデータに変換して記録するデジタルカメラが普及するに至った。撮影専用の装置としてのデジタルカメラばかりでなく、携帯電話等の情報機器にデジタルカメラが内蔵されることまで、既に一般化している。加えて、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）からなるイメージセンサは高性能化しており、数百万もの膨大な数の画素を持つ高分解能のイメージセンサが一般的となった。今後もさらに、イメージセンサの画素数が増えることが予想される。このように膨大な数の画素を持つイメージセンサを搭載したデジタルカメラで撮影を行なうことにより、銀塩写真と比べても遜色のないほど高精細な、又はそれ以上の画像のデジタルデータを手軽に得ることができる。
【０００４】
撮影により得られる画像のデジタルデータ（以下、「画像データ」と呼ぶ。）を単に再生し閲覧に供するだけでなく、画像データから別の情報を得る技術も普及しつつある。特許文献１には、カメラ付携帯電話の撮影機能を使って文字認識を行なう技術が開示されている。特許文献１に記載の技術では、文字が記載された紙及び黒板等の媒体（以下、「文字媒体」という。）をカメラ付携帯電話で撮影して、その画像データを文字画像処理装置に送信する。文字画像処理装置は、画像データの入力を受けると、その画像データをもとに文字認識を行ない、画像に含まれる文字をコード化して、文字コードデータを得る。なお、特許文献１には、文字認識に際して、レンズ収差等によって画像に生じる歪を補正することも開示されている。
【０００５】
デジタルデータ化された画像及び文字等を表示する技術の普及の一例として、マトリクス状に配置された複数の画素（ドット）からなるマトリクス型表示装置の普及を挙げることができる。液晶表示パネル等の表示パネルの高性能化及び普及により、薄型でかつ高精細な表示装置が普及するに至った。その中でも特に近年の液晶表示パネルは、コントラストの向上及び反応速度の高速化が図られており、テレビジョン受像機、携帯電話、及びパーソナルコンピュータ等の表示装置として広く使用されている。液晶表示パネルを用いた表示装置は薄型であるため、大きな表示面を持つ表示装置であっても、壁に掛けるなどさまざまな形態で設置することができる。そのため、液晶表示パネルを用いた表示装置が、公共の場所において案内及び広告の媒体等に使われることも多くなった。今後もさらに、液晶表示パネルが、さまざまな場所で画像及び文字等の表示に使用されることが予想される。
【０００６】
【特許文献１】特開２００４−１１８５６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
現状のデジタルカメラの撮影対象は、主に風景や人物である。しかし、液晶表示パネルが普及した現状に鑑みると、今後、デジタルカメラを用いて液晶表示パネル上の表示画面を撮影する機会が増えることが予想される。さらに、撮影により得られた画像データから別の情報を得ることも予想される。
【０００８】
図１５にカラー液晶表示パネルの画面をＣＣＤ搭載のデジタルカメラで撮影した画像６００を示す。図１６に、図１５に示す撮影画像６００の丸印で囲まれた部分６０２付近を拡大した画像６１０を示す。図１５及び図１６を参照して、画像６００及び６１０では、輪郭のぼけ及びノイズが多く、また背景に周期的な模様が映っており、見にくい画像となっている。
【０００９】
以下、図１７〜図２０を用いて、液晶表示パネル上の表示をＣＣＤ搭載のカメラで撮影した画像における周期的な模様について説明する。図１７には、図１６に示すカラー液晶表示パネルの撮影画像６１０を模式化したものを示す。図１８には、図１７の丸印で囲まれた部分６１２付近の拡大画像６２０を示す。図１９には、図１６に示す画像６１０と同様の表示を白黒液晶表示パネルで行なったものを撮影した画像６３０を模式的に示す。図２０には、図１９に示す画像６３０おいて図１７の丸印で囲まれた部分６１２に相当する部分６３２付近の拡大画像６４０を示す。なおこれらの図では、図１６にみられる輪郭のぼけ及びノイズ等を除去し、背景部分の模様を強調している。
【００１０】
図１７に示す画像６１０の背景部分には、横方向に伸びる黒い線が縦に規則的に映っている。また、図１９に示す画像６３０の背景部分には、格子状の模様が映っている。これらの黒い線又は格子状の模様は液晶表示パネルのブラックマスクの像である。ブラックマスクは、信号配線及び半導体を守るための保護マスクである。
【００１１】
図１７に示す画像６１０においてはさらに、ブラックマスクの像の間に、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の３色の像の組が並んだ像が映っている。赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の３色一組の像は、カラー液晶表示パネルの画素（ドット）の像である。ドットは、液晶表示パネルでの表示における最小単位である。カラー液晶表示パネルのドットは、加法混色の３原色である赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）に対応する発光部からなる３つの表示要素が一組になった構造を持つ。カラー液晶表示パネルのドットは、各表示要素が適宜発光することにより加法混色の原理で１つの色を表現する。図１９に示す画像６３０においては、格子の間の像がそれぞれドットの像である。白黒液晶表示パネルのドットは、一つの発光部からなる表示要素を持つ。白黒液晶表示パネルのドットは、発光部が適宜発光することにより、濃淡の一つの階調を表現する。
【００１２】
液晶表示パネルは、高精細化が進んでおり、通常ブラックマスク及びドットの各表示要素が人の目により独立して認知されることはない。しかし、ＣＣＤ等のイメージセンサは、上記のとおり高分解能化が進んでおり、撮影により得られる画像データにより極めて細かな像まで表現されるようになっている。図１８及び図２０を参照して、これらの画像６２０及び６４０にある細かな格子模様は、画像データでの像の表現の最小単位である画素値データ（ピクセル）の各々が表現する像の範囲を、模式的に表したものである。なお、実際の画像にはこのような格子模様はない。図１８及び図２０に示すように、画像６２０及び６４０においては、液晶表示パネル上の１ドットを多数のピクセルで表現することになる。ブラックマスク及びドットが別々のピクセルにより表現されることになり、ブラックマスク及び表示要素が弁別可能に記録されてしまう。したがって、記録された画像が、図１５及び図１６に示すような見にくい画像になるという問題が生じる。
【００１３】
また、撮影された画像の情報量が、液晶表示パネルで表示した情報量に対し増大するという問題も生じる。液晶表示パネルは、１ドットにつき一つの色又は１つの階調を表現している。しかし、撮影により得られる画像データにおいては、図１８及び図２０に示すように、液晶１ドットを複数のピクセルで表現している。図１８及び図２０においては、液晶の１ドットが画像データにおいては、幅９ピクセル・高さ９ピクセルの範囲に映っている。すなわち、１つの情報を表現するのに８１ピクセル分の画素値を用いていることになる。さらに、液晶画面上で白黒２階調を用いて文字を表示した場合であっても、ＣＣＤで出力された画像データ上では、一般的に２４ビット（赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）に対してそれぞれ８ビット）であり、さらに情報の肥大化が起こる。
【００１４】
縮小及び圧縮等の一般的な処理により、画像データの情報量を減少させることは可能である。しかし、一般的な処理では、液晶表示パネルのブラックマスクやカラーの情報が、処理後の画像データにも反映されるため、鮮明な画像を得ることができないし、情報量の削減にも限界がある。
【００１５】
さらに、撮影により得られた画像データから別の情報を得ることも困難になるという問題も発生する。液晶表示パネルに表示された文字を撮影した画像で文字認識を行なう場合を考える。文字認識を行なう際には、一般に前処理として画像の２値化を行なう。しかし、液晶表示パネルの画面を撮影した画像には、ブラックマスク及びドットの模様があるため、適切な２値化を行なうことは困難である。例えば、図１９に示す画像６３０をそのまま２値化すると、ブラックマスクの模様が、文字と同じ階調（黒）に変換され、文字認識の妨げとなる。特許文献１においては、液晶表示パネルの画面を撮影した画像を用いて文字認識を行なうことについては触れられていない。そのため、特許文献１に記載の技術では、液晶表示パネルの画面を撮影した画像を２値化する際に生じる上記のような問題を解決することはできず、適切な２値化画像を得られないために、文字認識の精度が低下する恐れがある。
【００１６】
それゆえに、本発明の目的は、液晶表示パネル等の画面を撮影することにより得られる画像データから、鮮明な画像を得ることができる画像処理装置を提供することである。
【００１７】
本発明の別の目的は、液晶表示パネル等の画面を撮影することにより得られる画像の情報を損なうことなく、当該画像のデータ量を削減し画像データを最適化できる装置を提供することである。
【００１８】
本発明のさらに別の目的は、液晶表示パネル等に表示された文字を高精度に認識することができる装置を提供することである。
【課題を解決するための手段】
【００１９】
本発明の第１の局面に係る画像処理装置は、マトリクス状に配置された複数のドットからなるマトリクス型表示装置の画面を撮影することにより得られる画像を符号化するための装置である。この画像処理装置は、画像が与えられたことに応答して、画像上に繰返し現れる周期パターンを検出するためのパターン検出手段と、パターン検出手段により検出された周期パターンをもとに、画像においてドットの像の各々に対応する領域を特定し、領域の各々に対して所定の特徴量を抽出するための特徴量抽出手段と、ドットの各々に関し特徴量抽出手段により抽出された特徴量をもとに、画像の符号化データを生成するためのデータ生成手段とを含む。
【００２０】
マトリクス型表示装置の画面を撮影することにより得られる画像には、画面上に周期パターンが繰返し現れることがある。そのような画像がパターン検出手段に与えられると、パターン検出手段は、周期パターンを検出する。検出される周期パターンは、マトリクス状に配置された複数のドットの像により形成される周期的なパターンである。特徴量抽出手段は、周期パターンをもとに、画像におけるドットの像の各々に対応する領域を特定する。さらに、領域の各々に対して、所定の特徴量を抽出する。ドットは、マトリクス型表示装置に表示される情報の最小単位である。ドットの像に対応する領域より特徴量が抽出されるため、特徴量はそれぞれ、マトリクス状に配置されたドットにより表現される情報に対応する。したがって、特徴量をもとにデータ生成手段により生成される符号化データは、マトリクス型表示装置により表示された情報の特徴を過不足なく適切に表現するデータとなる。
【００２１】
好ましくは、画像において、マトリクス型表示装置の各ドットの像の各々に対応する領域は複数の画素により表現され、特徴量抽出手段は、周期パターンをもとに、複数のドットの像の各々に対応する画像上での領域を決定するための領域決定手段と、領域決定手段により決定された領域の各々に対し、その領域を形成する複数の画素の画素値をもとに、その領域の画素値を代表する代表値を領域の特徴量として生成するための代表値生成手段とを含む。
【００２２】
代表値生成手段は、表示装置の一つのドットの像を形成する複数の画素の画素値をもとに、当該ドットの像を代表する代表値を生成する。これにより複数の画素により表現されていた１ドット分の情報は代表値に集約される。したがって、代表値をもとにデータ生成手段により生成される符号化データは、マトリクス型表示装置により表示された画像を適切に表現し、かつ無駄な情報の少ないデータとなる。
【００２３】
より好ましくは、代表値生成手段は、領域決定手段により決定された領域の各々に対し、その領域を形成する複数の画素の画素値をもとに、その領域の画素値を代表するグレースケールの値を、前記代表値として生成するための手段を含む。
【００２４】
したがって、複数の画素により表現されていた１ドット分の情報は、ほぼ１画素のグレースケールの値に集約される。したがって、このグレースケールの代表値をもとにデータ生成手段により生成される符号化データは、マトリクス型表示装置により表示された画像をグレースケールで適切に表現し、かつ無駄な情報の少ないデータとなる。
【００２５】
より好ましくは、前記ドットの各々は、画像の色を表現するための複数の表示要素を含むことがあり、領域決定手段は、周期パターンをもとに、前記複数の表示要素の像の各々に対応する画像上での第１の領域を決定するための第１の決定手段と、周期パターンをもとに、複数のドットの像の各々に対応する画像上での第１の領域の組を決定するための第２の決定手段とを含む。代表値決定手段は、第１の領域の各々に対し、第１の領域を形成する複数の画素の画素値をもとに、第１の領域の画素値を代表する要素別代表値を生成するための第１の生成手段と、第２の決定手段により決定された組にしたがい、複数のドットの像の各々に対応する複数の要素別代表値をもとに、領域の画素値を代表する代表値を生成するための第２の生成手段とを含む。
【００２６】
１ドットが複数の表示要素により構成されているカラーの表示装置等における１ドット分のカラーの情報は、まず、そのドット内にある複数の表示要素に対応する要素別代表値に集約され、さらに、要素別代表値をもとに生成されるほぼ１画素の代表値に集約される。したがって、代表する色の成分をもとにデータ生成手段により生成される符号化データは、複数の表示要素により表示されたドットの画像の色等を適切に表現し、かつ無駄な情報の少ないデータとなる。
【００２７】
データ生成手段は、ドットの各々に関する領域の画素値を代表する代表値を周期パターンに基づき再構成して、元の画像に対応する新たな画像のデータを生成するための画像データ生成手段を含んでもよい。
【００２８】
画像データ生成手段は、代表値を再構成して新たな画像のデータを生成する。新たな画像のデータにおける１画素の画素値は、表示装置の１ドットに対応する領域の画素値を代表する代表値であり、表示装置の１ドット分の情報は代表値に集約される。そのため、新たな画像のデータにおいては、表示装置の表示のうちブラックマスク部分が除かれ、１ドットがほぼ１画素で表現される。また、複数の表示要素により構成されたドットを持つ表示装置において、１ドット内の複数の表示要素により表現される情報もまた、ほぼ１画素で表現される。そのため、表示要素の特性の違いに起因する周期パターンは除かれる。したがって、ノイズが少なく、鮮明で、かつサイズの小さな画像のデータを生成することができる。
【００２９】
特徴量抽出手段はさらに、代表値生成手段により生成された代表値の各々を２値化するための２値化処理手段を含み、データ生成手段は、各ドットの各々に関し２値化処理手段により２値化された代表値を周期パターンに基づき再構成して、元の画像に対応する新たな２値画像のデータを生成するための２値画像データ生成手段を含んでもよい。
【００３０】
２値化処理手段は、代表値生成手段により生成された代表値の各々を２値化する。新たな２値画像のデータにおける１画素の画素値は、マトリクス型表示装置の１ドットに対応する領域の画素値を代表する代表値を２値化したものであり、マトリクス型表示装置の１ドット分の情報は代表値に集約される。そのため、新たな２値画像のデータにおいては、表示装置の表示のうちブラックマスク部分が除かれ、１ドットがほぼ２値で表現されることになる。また、複数の表示要素により構成されたドットを持つ表示装置において、１ドット内の複数の表示要素により表現される情報もまた、２値で表現される。そのため、表示要素の特性の違いに起因する周期パターンは除かれる。したがって、ノイズが少なく、鮮明な２値画像のデータを得ることができる。
【００３１】
画像は、マトリクス型表示装置の画面に表示された文字を撮影する事により得られる画像を含むことがあり、画像処理装置はさらに、データ生成手段により生成された符号化データが与えられたことに応答して、符号化データをもとに、画像に関する文字認識を行ない、認識結果を表す文字情報を出力するための文字認識手段を含んでもよい。
【００３２】
符号化データは、表示装置による表示内容を忠実に反映しておりかつデータ量が少ない。したがって、文字認識手段がこの符号化データを用いて文字認識を行なうことにより、表示装置の画面を撮影した画像から高速かつ高い認識率で文字認識を行なうことができる。認識結果は文字であるため、文字を表現した画像よりも情報の量が少ない。そのため表示装置に表示された文字を少ない情報量で表現することができる。
【００３３】
画像処理装置はさらに、表示装置のドットの存在により画像上に繰返し現れる周期パターンをもとに、符号化データを補正するためのデータ補正手段を含んでもよい。
【００３４】
画像に繰返し表れる周期パターンの傾き、歪等をもとに、画像に対応する符号化データを補正し、適切な符号化データを生成することができる。
【００３５】
画像処理装置はさらに、マトリクス型表示装置の画面を撮影し、撮影により得られた画像をパターン検出手段に与えるための撮影手段を含む。
【００３６】
撮影手段が、マトリクス型表示装置の画面を撮影し、得られた画像をパターン検出手段に与えると、撮影した画像に対応する符号化データが生成される。したがって、撮影手段を用いて所望の表示装置の画面を撮影し、表示装置に表示されている情報を余すところなく、符号化データとして抽出し符号化することができる。
【００３７】
本発明の第２の局面に係るコンピュータプログラムは、コンピュータにより実行されると、そのコンピュータを本発明の第１の局面に係るいずれかの画像処理装置として動作させる。したがって、このコンピュータプログラムをコンピュータで実行することにより、上記した本発明の第１の局面の作用及び効果をコンピュータで実現することができる。
【００３８】
本発明の第３の局面に係る記録媒体は、コンピュータプログラムが記録された、コンピュータで読取可能な記録媒体である。この記録媒体に記録されたコンピュータプログラムをコンピュータで読取り実行することにより、本発明の第１の局面の作用及び効果を実現できる。
【発明の効果】
【００３９】
本発明によれば、マトリクス型表示装置の画面を撮影した画像を、表示装置の構造に起因してその画像に発生する周期的なパターンを利用することにより、周期パターンを除去し、表示装置により表示された内容を反映し、かつ無駄な情報の少ない符号化データを生成することができる。さらに、複数の画素を１つの画素に集約して、少ない情報の量で、ノイズの少ない鮮明な画像データを生成することができる。符号化データをもとに２値画像データを作成し、当該２値画像データを用いて文字認識することにより、高精度かつ高速で文字認識を行なうことができ、さらに、コード化により情報量の削減したり、データに検索性を持たせたりすることが可能となる。さらに、周期パターンに基づき、補正を行ない、適切な符号化データを生成することが可能になる。
【発明を実施するための最良の形態】
【００４０】
以下、図面を参照しつつ、本発明の一実施の形態について説明する。なお、以下の説明に用いる図面では、同一の部品に同一の符号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。また、以下の説明では、液晶表示パネル等の画素を「ドット」と呼び、画像データにおける１画素分の画素値データを「ピクセル」と呼ぶ。
【００４１】
〈構成〉
図１に、本実施の形態に係る画像処理装置の機能的構成を示す。図１を参照して、本実施の形態に係る画像処理装置１００は、液晶表示パネル１０２に表示された画像を、入力装置１０４へのユーザの操作にしたがい撮影し、得られた画像データを処理して操作により指定された情報を生成し、出力装置１０６に出力する装置である。
【００４２】
画像処理装置１００は、液晶表示パネル１０２の画像を撮影しその画像データを生成するための画像入力部１０８と、画像入力部１０８により生成された画像データを、液晶表示パネル１０２の構造上の特徴を利用して加工し符号化するための画像加工部１１０と、画像加工部１１０により符号化された画像データを保存するための画像保存部１１２と、画像保存部１１２により保存された画像データを用いて文字認識を行ない、文字列データを生成するための文字認識部１１４と、文字認識部１１４により生成された文字列データを保存するための認識結果保存部１１６と、入力装置１０４への操作入力にしたがい、画像入力部１０８、画像加工部１１０、及び文字認識部１１４に要求を与え、その要求に応じた動作により画像保存部１１２及び認識結果保存部１１６に保存されるデータを、出力装置１０６に出力するための制御部１１８とを含む。
【００４３】
制御部１１８は、画像入力部１０８に対して撮影の命令を与える機能を持つ。制御部１１８はさらに、画像の加工の要否に関する情報を画像加工部１１０に対して与える機能と、文字認識の要否に関する情報を文字認識部１１４に対して与える機能とを持つ。画像入力部１０８、画像加工部１１０、及び文字認識部１１４はそれぞれ、制御部１１８から与えられる情報にしたがい動作する。
【００４４】
図２に、画像入力部１０８の構成を示す。図２を参照して、画像入力部１０８は、駆動すると図示しない光学系を介して表面に結像した液晶表示パネル１０２の像のアナログ信号を発生するためのＣＣＤ１３０と、ＣＣＤが発生するアナログ信号をデジタルの画像データに変換するためのＡ／Ｄコンバータ１３２と、Ａ／Ｄコンバータ１３２により変換された画像データを一時的に蓄積するための画像メモリ１３４と、制御部１１８からの要求にしたがい、ＣＣＤ１３０及びＡ／Ｄコンバータ１３２を駆動するための撮影制御部１３６とを含む。画像入力部１０８は、一般的なデジタルカメラと同様に、デジタルデータ化された画像信号を生成し、これを画像データとして画像メモリに格納する。したがって、液晶表示パネル１０２上の表示を撮影すると、図１５〜図２０に示す画像と同様に、液晶表示パネル１０２の構造に起因して画像中に繰返し現れるパターン（以下、このパターンを「周期パターン」と呼ぶ。）の映っている画像データが画像メモリ１３４に格納される。
【００４５】
図４に、周期パターンの例を示す。図４を参照して、周期パターン１６０Ａは、図１８に示す画像６２０における周期パターンである。周期パターン１６０Ｂは、図２０に示す画像６４０における周期パターンである。周期パターン１６０Ａは、カラー液晶表示パネルを撮影した画像に表れるパターンであり、ブラックマスクの像１６２と、一つのドットを構成する赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の表示要素の像１６４Ａ，１６４Ｂ，及び１６４Ｃとを含む。周期パターン１６０Ｂは、白黒液晶表示パネルを撮影した画像に表れるパターンであり、ブラックマスクの像１６２と、表示要素の像１６４Ｄとを含む。
【００４６】
図３に、画像加工部１１０の機能的構成を示す。図３を参照して、画像加工部１１０は、制御部１１８からの情報に応答して、画像入力部１０８内の画像メモリ１３４（図２参照）から画像データを読出して画像データにより表現される画像内に周期パターンが映し出されているか否かを判定し、その判定結果に基づき、画像データを画像保存部１１２に格納する動作と当該画像データを画像加工部１１０のその他の機能部に与える動作とを選択的に行なうための周期パターン検出部１４０と、周期パターン検出部１４０から与えられた画像データをもとに周期パターンの画像上での大きさを特定するためのパターン間隔検出部１４２と、周期パターン検出部１４０から与えられた画像データをもとに画像の傾きを検出するための傾き検出部１４４と、液晶表示パネル１０２における１ドット分の情報を抽出するために用いるパターン（以下、「選択パターン」と呼ぶ。）の形状を、パターンの大きさ及び傾きに基づき決定するための選択パターン形状決定部１４６と、パターン幅及び傾きに基づき、画像データにおける各ドットの映っている領域の位置を検出して当該領域から選択パターンの形状に応じた形状でピクセルを抽出し、検出した位置の情報と、その位置から抽出したピクセルの画素値データとを出力するための選択パターン位置決定部１４８と、選択パターン位置決定部１４８により出力される画素値データから、画素値の代表値を決定するための代表値決定部１５０と、代表値決定部１５０により決定された代表値と所定のしきい値とを比較して、比較の結果に基づき０及び１のいずれかの値を出力するための２値化処理部１５２と、選択パターン位置決定部１４８により検出された位置の情報と２値化処理部１５２により出力される値とをもとに、１ドット分の像を２値化された画素値で表現したピクセルにより構成される画像データを生成し、画像保存部１１２に格納するための再構成部１５４とを含む。
【００４７】
〈画像処理装置１００の制御構造〉
以下の説明からも明らかなように、図１に示す画像処理装置１００の制御部１１８、画像加工部１１０、及び文字認識部１１４は、いずれも一般的なコンピュータと同様のプログラム実行のためのハードウェアと、とその上で実行されるコンピュータプログラムとにより実現可能である。
【００４８】
図５に、本実施の形態に係る制御部１１８による画像処理装置１００の制御構造を示す。図５を参照して、この制御は、制御部１１８に要求が与えられたことに応答して開始される。処理が開始されると、ステップ２００において、画像入力の要求があったか否かを判定する。画像入力の要求があれば、ステップ２０２に進む。さもなければステップ２１４に進み、与えられた要求に応じたその他の処理を実行し、処理を終了する。
【００４９】
ステップ２０２では、画像入力部１０８に撮影を命令する。画像入力部１０８は、命令に応答して撮影を実行する。ステップ２０４では、ステップ２０２での撮影により得られる画像データを、周期パターンに基づいて加工するかを判定する。制御部１１８に与えられた要求において、画像の加工が求められていたならば、ステップ２０６に進む。さもなければステップ２１６に進む。なお、画像の加工が求められていた場合であっても、当該画像において周期パターンが検出できなければ、ステップ２１６に進む。
【００５０】
ステップ２０６では、画像加工部１１０が、ステップ２０２での撮影により得られた画像データをもとに画像を加工し新たな画像を生成して符号化する処理を行ない、処理により得られた新たな画像データを画像保存部１１２に格納するための符号化処理を実行する。
【００５１】
ステップ２０８では、ステップ２０６での符号化処理により画像保存部１１２に格納された新たな画像データをもとに文字認識することが要求されたか否かを判定する。与えられた要求において、文字認識が求められていたならば、ステップ２１０に進む。さもなければ処理を終了する。
【００５２】
ステップ２１０では、制御部２０６は、文字認識が必要である旨の情報を文字認識部１１４に与えて、符号化された画像データからの文字認識を文字認識部１１４に実行させる。ステップ２１２では、文字認識部１１４が文字認識により得られた結果を認識結果保存部１２６に保存したことに応答して、制御部２１２が認識結果の文字情報を出力して処理を終了する。
【００５３】
ステップ２１６では、符号化処理を行なわずに画像データを画像保存部１１２に保存して、処理を終了する。
【００５４】
図６に、図５のステップ２０６において画像加工部１１０により実行される符号化処理の制御構造を示す。図６を参照して、符号化処理が開始されると、ステップ２２０において、画像データを縦方向及び横方向に順次走査して、所定の条件を満たす画素値を持つピクセルの配置をもとに、画像データにおける周期パターンの大きさを特定する。
【００５５】
ステップ２２２では、画像データを縦方向及び横方向に順次走査して、所定の条件を満たす画素値を持つピクセルが発生位置のずれを計測して、液晶表示パネル１０２上でのドットの配列に対する画像の傾きを検出する。
【００５６】
ステップ２２４では、周期パターンの大きさ及び画像の傾きに基づき、１周期パターン分の画像中で、選択パターンの形状を決定する。
【００５７】
ステップ２２６では、符号化処理後の画像データを格納する領域を準備し、初期化しておく。
【００５８】
ステップ２２８では、周期パターンの大きさ及び画像の傾きに基づき、画像データから、液晶表示パネルの画面の１つのドットに対応する領域を検出し、当該領域の中心ピクセルを基準として当該領域内における選択パターンの位置を決定する。ステップ２３０では、ステップ２２８で決定された選択パターンに属するピクセルにおける画素値の平均をとり、ステップ２２８で検出された領域の像における画素値の代表値を決定する。ステップ２３２では、ステップ２３０で決定された代表値と所定のしきい値との大小を比較し、比較の結果に応じて０又は１の値を生成する。ステップ２３４では、ステップ２２６で初期化された画像データにおいて、ステップ２２８で選択された領域に対応する位置にあるピクセルの画素値を、ステップ２３２で生成した値に設定する。
【００５９】
ステップ２３６では、ステップ２２８による選択が行なわれていない領域が存在するか否かを判定する。存在すればステップ２２８に戻る。さもなければステップ２３８に進む。
【００６０】
ステップ２２８からステップ２３６までの一連のステップを繰返すことにより、各ドットの像が、２値化された１ピクセル分の情報に変換される。ステップ２３８では、２値化された画像を画像保存部１１２に保存し、符号化処理を終了する。
【００６１】
〈動作〉
本実施の形態に係る画像処理装置１００は、以下のように動作する。なお、図１を参照して、画像処理装置１００は、ユーザにより、液晶表示パネル１０２の画面を撮影するのに適した位置に設置されるものとし、画像入力部１０８が撮影を行なうと、液晶表示パネル１０２の画面が撮影されるものとする。
【００６２】
ユーザは、入力装置１０４を操作して画像処理装置１００に処理を要求する。ここで要求される処理は、以下の処理のいずれかである。すなわち、
（１）画像を撮影し、その画像を用いて文字認識を行ないその結果を出力する処理、
（２）画像を撮影し、周期パターンをもとに符号化して出力する処理、
（３）画像を撮影し、その画像をそのまま出力する処理、及び
（４）その他の処理
である。
【００６３】
これら４種類の処理の要求のうちの一つが入力装置１０４から画像処理装置１００に与えられると、図１に示す制御部１１８は、要求された内容を判別する。要求が上記の（１）〜（３）に対応するものであれば、制御部１１８は、画像入力部１０８、画像加工部１１０、及び文字認識部１１４に対し、要求された処理の内容を表す情報を与え、処理の実行を命令する。なお、要求が上記の（４）に対応するものであれば、その要求に応じた処理を実行する。例えば、データの出力が要求された場合には、その要求にしたがい、画像保存部１１２及び認識結果保存部１１６に保存されているデータを出力装置１０６に出力する。
【００６４】
（画像データの入力）
制御部１１８から画像入力部１０８に、上記の（１）〜（３）の要求に対応する命令が与えられると、画像入力部１０８の図２に示す撮影制御部１３６は、ＣＣＤ１３０及びＡ／Ｄコンバータ１３２を駆動する。ＣＣＤ１３０は、そのＣＣＤ領域上に結像している像のアナログ信号を発生し、Ａ／Ｄコンバータ１３２に印加する。Ａ／Ｄコンバータ１３２は、印加されたアナログ信号をデジタル信号に変換して画像データを生成し、画像メモリ１３４に格納する。
【００６５】
（画像データの加工）
制御部１１８（図１参照）から画像加工部１１０に命令が与えられると、図３に示す周期パターン検出部１４０は、命令の内容を判別する。命令が上記の（１）又は（２）の要求に対応するものであれば、画像データのピクセルを走査し、画像に周期パターンが映っているか否かを判定する。例えば、縦及び横に走査した場合に画素値に周期性が認められれば、周期パターンが存在するものと判定する。この場合、画像データの符号化処理を実行する。周期パターンが映っていないと判定された場合、又は命令が（３）に対応するものである場合、画像メモリ１３４に格納されている画像データを読出して、符号化処理することなく画像保存部１１２に格納する。
【００６６】
以下に、画像加工部１１０による符号化処理について説明する。まず、白黒液晶表示パネルを撮影した画像に対する符号化処理について説明する。図７に、画像加工部１１０による符号化処理の概要を示す。図７を参照して、画像３００は、図２０に示す画像６４０と同様に、白黒液晶表示パネルの画面を撮影した画像を拡大したものである。この画像には、図４に示す白黒液晶表示パネルの周期パターン１６０Ｂが発生しており、その中の一つの周期パターン（例えば周期パターン３０２）は、９ピクセル四方の矩形で表現されている。画像加工部１１０は、１周期パターン分の画像から、１ピクセルの２値化画像を生成する処理を各周期パターンに対し行ない、生成された画像をそれぞれ周期パターンの配置にしたがって再配置することにより、加工後の画像を生成する。加工後の画像において画像３００に対応する部分は、画像３１０となる。この画像において周期パターン３０２は、一つのピクセル３１２により表現されることになる。画像データの符号化処理が開始されると、周期パターン検出部１４０は、画像メモリ１３４に格納されている画像データを読出し、パターン間隔検出部１４２、傾き検出部１４４、選択パターン形状決定部１４６及び選択パターン位置決定部１４８に与える。
【００６７】
パターン間隔検出部１４２は、画像データのピクセルを縦方向と横方向とに走査して、類似した特徴の画素値を持ちかつ一定間隔で存在する、ピクセル又はその集まりを検出し、当該集まりの間隔によってパターンの幅及び高さを特定する。
【００６８】
例えば、画像データのピクセルを縦方向及び横方向に走査して、ブラックマスクの像であると思われる画素値を持つピクセルを検出する。続いて、検出したピクセルが連続して線を形成している部分をチェックする。さらに、線を形成している部分同士の間隔を求める。図７に示す画像３００においては、縦方向に９ピクセル間隔で、互いに他と類似する階調（黒で表現されている）の画素値を持つピクセルで構成された、幅１ピクセルの線３０６Ａ，…，Ｄがあることが検出される。すなわち、縦方向に９ピクセル間隔、幅１ピクセルでブラックマスクの像が検出される。さらに図７に示す画像３００においては、横方向にも同様に９ピクセル間隔、幅１ピクセルでブラックマスクの像が検出される。そのため、周期パターンの大きさは幅・高さともに９ピクセルであることが検出される。
【００６９】
図８に、ブラックマスクの像と思われる線が映っている画像の別の一例を示す。図８を参照して、図８に示す画像３２０においては、横方向に１１ピクセル、及び縦方向に２３ピクセル間隔で濃い（階調の低い）線が映っている。画像３２０ではさらに、横方向には１１ピクセル間隔で、縦方向に伸びる太さ２ピクセルの薄い（階調の高い）線が映っている。画像３２０ではさらに、縦方向に２３ピクセル間隔で、横方向に伸びる太さ２ピクセルの薄い線が映っている。さらに、横方向に伸びる濃い線と薄い線との間にそれぞれ、幅１ピクセルの薄い線が映っている。これはドットのサイズが、画像データ上１ピクセルの大きさの整数倍にならなかった場合に生じる干渉模様である。
【００７０】
図９に、図８のような画像データが得られる場合のＣＣＤ１３０上でのブラックマスクの像と、ＣＣＤ１３０の各素子との位置関係を模式的に示す。図９を参照して、ＣＣＤ１３０は、多数の素子をマトリクス状に配置した構造を持つ。ＣＣＤ１３０における素子の中心付近で結像したブラックマスクの像（例えば像３３２Ａ）は、画像データに変換されると濃い線となる。ＣＣＤ１３０における素子の中心から外れた部分で結像したブラックマスクの像（例えば像３３２Ｂ）は、画像データに変換されると、中心付近で結像したブラックマスクの像より薄い線になる。ＣＣＤ１３０における素子の境界付近で結像したブラックマスクの像（例えば像３３２Ｃ）は、隣接する２つの素子により検出されるため、画像データに変換されると２つのピクセルにまたがる薄い線となっている。
【００７１】
再び図８を参照して、画像３２０において、横方向には濃い線が１１ピクセル間隔で並んで、その間に薄い線が１本ある。そのため、１１ピクセルの間隔の中に２つのドットが存在することが推定できる。そのため、周期パターンの幅を１１／２＝５．５ピクセルとする。また画像３２０において縦方向においては、２３ドットの間に、濃い線が１本、薄く太い線が１本、薄い線が２本あるので、周期パターンの高さを２３／４＝５．７５ピクセルとする。
【００７２】
図１０に、ブラックマスクの像と思われる線が映っている画像の別の一例を示す。図１０に示す画像３４０においては、画像上でのドットが、ピクセルの配列に対して反時計回りに回転している。そのため、縦方向及び横方向に、長さ８ピクセルの短い線が１０ピクセル間隔で並んでいる。この場合、同じ方向に伸びる隣接する線同士の間隔から、周期パターンの大きさを特定する。図１０に示す例では、周期パターンの大きさは幅・高さともに１０ピクセルであると特定される。
【００７３】
パターン間隔検出部１４２は、以上のようにして特定された周期パターンの幅、及び高さの情報を、選択パターン形状決定部１４６、及び選択パターン位置決定部１４８に与える。
【００７４】
図３を参照して、傾き検出部１４４は、撮影した画像データの傾きを検出する。例えば、画像データのピクセルを走査し、ブラックマスクの像であると思われる線を検出し、線のずれから、傾きを特定する。例えば図７に示す画像３００においては、上記のようにブラックマスクの像が縦、横ともに９ピクセル間隔で並んでおり、縦又は横方向へのずれは生じていない。この場合、画像３００に傾きはないと特定される。これに対し、図１０に示す画像３４０においては、ブラックマスクの像であると思われる線が８ピクセルにつき１ピクセルずれているので、傾きは１／８であると特定される。傾き検出部１４４は、特定した傾きの情報を選択パターン形状決定部１４６及び選択パターン位置決定部１４８に与える。
【００７５】
選択パターン形状決定部１４６は、周期パターン検出部１４０から画像データを受け、さらに、パターン間隔検出部１４２と傾き検出部１４４とからそれぞれ周期パターン間隔の情報と傾きの情報とを受けたことに応答して、選択パターンの形状を決定する。
【００７６】
例えば、１ドット分の像における中心ピクセル及びその付近のピクセルを選択パターンとして決定する。図７に示す画像３００においては、周期パターンの大きさは縦横各９ピクセルであるため、１ドットにより表示された情報は、９ピクセル四方の正方形に配列されたピクセルの集まりから抽出することができる。ただし、図７に示す画像３００においては、１つの周期パターンにつき、縦及び横にそれぞれ一本ずつ、ブラックマスクの像が幅１ピクセルで映っている。ブラックマスクの像は液晶表示パネル１０２上で表示された情報とは無関係な像である。そのため、選択パターン形状を、例えば９ピクセル四方の正方形から周囲１ピクセル分を除外した７ピクセル四方の正方形とする。
【００７７】
さらに、１ドット分の像における境界部分の影響を排除するために、上下左右にマージンをとる。図１１に、境界部分の影響を排除した選択パターンの概要を示す。図１１（Ａ）は、ＣＣＤ１３０の素子上で結像した１ドットの像を模式的に表したものである。図１１（Ａ）を参照して、１ドットの像３６０の境界部分に位置する素子は、ドット３６０の像の一部とドット３６０以外の像とからなる像の信号を発生することになる。
【００７８】
図１１（Ｂ）はドット３６０の像をもとに得られる画像データを模式的に表したものである。図１１（Ｂ）において、境界以外の部分３７０の各ピクセルからは液晶表示パネル１０２上の表示に応じた画素値が得られる。しかし、境界部分３７２，３７４においては、ドット３６０の像の一部とドット３６０以外の像との両方の影響を受けるため、ぼけが生じ適切な画素値が得られない。このような場合、境界部分の影響を排除するために、選択パターンの形状を４ピクセル四方の矩形３８０とする。例えば、図８に示す像３２０においては、周期パターン間隔が横方向５．５ピクセル、縦方向５．７５ピクセルであると検出されている。選択パターンの形状は横３ピクセル縦３ピクセルの矩形になる。多くの場合、周期パターンの大きさよりも２以上小さい大きさの矩形を選択パターンの形状として設定すれば、ブラックマスク及びぼけの影響を排除した選択パターンを得ることができる。選択パターン形状決定部１４６は、選択パターンの形状を表す情報を、選択パターン位置決定部１４８に与える。
【００７９】
選択パターン位置決定部１４８に画像データが与えられ、さらに、周期パターンの大きさ、画像の傾き、及び選択パターンの形状に関する情報が与えられると、選択パターン位置決定部１４８、代表値決定部１５０、２値化処理部１５２、及び再構成部１５４は、逐次的な処理により、画像データ内のドットの像をそれぞれ２値化された１ピクセルに変換する。
【００８０】
選択パターン位置決定部１４８は、例えば、以下のようにして各選択パターンの位置を決定する。
【００８１】
まず、画像データにおける縦及び横のピクセルの数と、周期パターンの大きさとから、画像に映っている縦方向及び横方向のドットの数をそれぞれ概算する。さらに、傾きを考慮して、ドットの数を補正する。さらに補正したドットの数に基づき、符号化後の画像データの高さ及び幅を求め、図３に示す再構成部１５４に与えておく。また、選択パターンの形状における中心ピクセルを定めておく。
【００８２】
続いて、画像中の最も左上にあるドットの像を特定する。このドットの像は、ブラックマスクの像であると思われる線を検出することにより特定できる。さらに、当該ドットの像の中心ピクセルを特定する。そして、ドットの中心ピクセルを、当該ドットの像に対応する選択パターンの中心ピクセルに定める。さらに、選択パターン位置決定部１４８は、決定した選択パターンの位置にある各ピクセルの画素値を代表値決定部１５０に通知するとともに、符号化後の画像データにおける当該ドットの位置を再構成部１５４に与える。
【００８３】
選択パターン位置決定部１４８は、一連の処理で一つのドットにおける選択パターンの位置を決定すると、周期パターンの高さ及び幅、並びに画像の傾きに基づき、逐次的にドットの像における中心ピクセルを特定する。選択パターン位置特定部１４８は以上の動作を繰返すことにより、再構成部１５４には符号化後の画像における各ドットの位置を与えるとともに、当該ドットにおける選択パターン内にある各ピクセルの画素値を代表値決定部１５０に与える。
【００８４】
図１２に、選択パターン位置決定部１４８が図８に示す画像３２０に対して決定する選択パターンの位置の例を示す。図１２を参照して、画像３２０におけるブラックマスクの像以外の部分にそれぞれ、選択パターン４０２Ａ，Ｂ，…が設定される。これらの選択パターンの部分にある像は、液晶表示パネル１０２の表示要素の像である。したがって、選択パターンを構成するピクセルの画素値から、その選択パターンに対応するドットにより表現された濃淡の階調を推定することができる。
【００８５】
図３に示す代表値決定部１５０には、選択パターン位置決定部１４８から、選択パターン４０２Ａ，Ｂ，…ごとに順次、その選択パターンに含まれる各ピクセルの画素値が与えられる。代表値決定部１５０は、一つの選択パターン内にある各ピクセルの画素値が与えられるたびに、それらの画素値の平均値を算出して出力する。この平均値が、選択パターンの代表値となる。
【００８６】
２値化処理部１５２は、代表値決定部１５０が出力する代表値と、予め定められたしきい値とを比較し、代表値がしきい値より大きければ１を、さもなければ０を出力する。しきい値は、例えば２５６階調の画像データであるならば１２８をしきい値にしてもよい。
【００８７】
再構成部１５４は、選択パターン位置決定部１４８から符号化後の画像データの高さ及び幅が与えられたことに応答して、符号化後の画像データの領域を準備し初期化する。準備される画像データにおけるピクセルの数は、符号化前の画像データ内における周期パターンの数すなわち、画像に映っているドットの数とほぼ一致する。
【００８８】
再構成部１５４はさらに、符号化後の画像データにおける当該ドットの位置の通知を選択パターン位置決定部１４８から受け、かつ２値化処理部１５２から０又は１の値の出力を受けたことに応答して、通知された位置に対応するピクセルの画素値を、２値化処理部１５２から出力された値に設定する。
【００８９】
選択パターン位置決定部１４８、代表値決定部１５０、２値化処理部１５２、及び再構成部１５４が、以上の逐次的な処理により、画像データ内の全ドットの像を符号化すると、再構成部１５４は、符号化後の画像データを画像保存部１１２に格納する。
【００９０】
以下に、カラー液晶表示パネルを撮影した画像に対する符号化処理について説明する。
【００９１】
カラー液晶表示パネルを撮影した画像に対する符号化処理の動作は、白黒液晶表示パネルに対するものとほぼ同様である。ただし、周期パターンを検出する処理及びその大きさを特定する処理、並びに代表値を算出する処理においては、カラー液晶表示パネルの構造を考慮した方法によって行なう。
【００９２】
カラー液晶表示パネルの画面を撮影した画像では、周期パターンを検出する際に、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の繰返しが検出される。周期パターンの大きさを特定する際には、カラー液晶表示パネルの周期パターンにおいては、ピクセルの色を順次参照して、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）が繰返される間隔を求める。例えば、図１８に示す画像６２０においては、横方向に伸びるブラックマスクの像が９ピクセル間隔で映っているため、白黒液晶表示パネルの場合と同様の特定方法で、周期パターンの高さを９ピクセルであると特定する。また、画像６２０を横方向に走査した場合、赤（Ｒ）の成分が他の成分より高い値になっているピクセルが３ピクセル連続する部分、緑（Ｇ）の成分が他の成分より高い値になっているピクセルが３ピクセル連続する部分、青（Ｂ）の成分が他の成分より高い値になっているピクセルが３ピクセル連続する部分が、この順で繰返し検出される。そのため、この画像６２０における周期パターンの幅は９ピクセルであると特定する。
【００９３】
カラー液晶表示パネルの画面を撮影した画像であっても、選択パターンの形状は白黒液晶表示パネルの画面を撮影した画像の場合と同様の手順で設定する。すなわち、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の３原色の周期パターンを１つのドットとみなす。したがって、図１８に示す像６２０においては、選択パターン形状は、７ピクセル四方の矩形に設定される。したがって、選択パターン内には、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各表示要素の像が混在する。
【００９４】
代表値を決定する際には、選択パターン内のピクセルにおける赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各成分を総合して１つの代表値を算出する。したがって、本実施の形態に係る符号化処理では、カラー液晶表示パネルの画像を元に、２値化された画像データが得られることになる。
【００９５】
図１３に、図１５に示す画像６００のデータを符号化することにより得られる画像の一例を示す。図１３を参照して、画像６００における周期パターンとピクセルとの関係が図１８に示すような関係にあった場合、画像４２０は、図１５に示す画像６００に対して縦横ともに１／９のサイズになる。また、画像４２０においては、図１５に示す画像６００の文字部分は黒に、それ以外の部分は白に２値化されており、ドットの影響による周期的な模様は除去され鮮明な画像となっている。
【００９６】
（文字認識）
図１に示す制御部１１８から文字認識部１１４に対し上記の（１）に要求に対応する命令が与えられ、かつ画像データが画像保存部１１２に保存されると、文字認識部１１４は、格納された画像データをもとに文字認識を行ない、その結果を認識結果保存部１１６に保存する。ここで行なわれる文字認識の処理は、一般的に知られている文字認識の処理でよい。
【００９７】
符号化処理により符号化された画像データ（例えば図１３に示す画像４２０）を用いて文字認識を行なうと、液晶表示パネル１０２が画像の表示に用いたと思われる画像データと同程度に鮮明でありかつデータ量の少ない画像のデータをもとに、文字認識が行なわれることになる。このように周期パターンを利用することで情報の量を削減し、かつ鮮明な画像を生成することが可能である。また、適切な２値化を行なうことが可能であるため、文字認識をする際の認識率の向上が期待できる。
【００９８】
なお、上記の実施の形態では、画像の傾きに基づく補正を行なったが、本発明はこのような実施の形態には限定されない。例えば、レンズ収差による歪なども周期パターンをもとに検知可能である。そのため、これら収差による歪を補正するようにしてもよい。
【００９９】
上記の実施の形態では、代表値の計算方法として、画素値の平均をとる方法を例示したが、代表値の算出方法は、このような方法には限定されない。例えば、画素値の分布をとり、上位又は下位の画素値を除去し、残りの画素値の平均をとるようにし、画素値が極端に違うピクセルの影響を除去してもよい。また、画素値の分布をとり、その中心値を代表値として定めるようにしてもよい。
【０１００】
上記の実施の形態では、予め定められたしきい値と代表値との比較を逐次的に行ない、２値化の処理を行なったが、２値化の方法はこのような方法には限定されない。例えば、全ての選択パターンについての代表値を蓄積しておき、代表値の最大値と最小値を調べて（最大値＋最小値）／２の値を算出し、その値をしきい値に設定し、その上で各代表値としきい値との比較を行なうようにしてもよい。
【０１０１】
上記の実施の形態では、画像加工部１１０は、元の画像データから、各ピクセルが白黒２値の画像データを生成した。しかし、本発明は、このような実施の形態には限定されない。代表値をそのまま該当するピクセルの画素値にすることにより、グレースケールの画像データを得ることができる。
【０１０２】
また、カラー液晶表示パネルの画面を撮影した画像であれば、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の表示要素の像からそれぞれ、画素値における赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の成分を得て、その組合せによってカラーの代表値を得ることもできる。この場合、さらに、カラー液晶表示パネルの１ドット分の画像からカラーの代表値を得る場合、１つのドットにおける三原色の情報を色ごとに抽出できるよう、選択パターンを色ごとに設定することが望ましい。図１４に、そのような選択パターンの形状及び位置の例を示す。図１４に示す画像は、図１８に示す画像６２０と同様に、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各表示要素の像がそれぞれ幅３ピクセル高さ８ピクセルの像を形成している。
【０１０３】
このような周期パターンを持つ画像データに対して、選択パターンの形状としてそれぞれ幅１ピクセル高さ８ピクセルの３つの矩形からなる選択パターン５１０Ａ，５１０Ｂを選択パターンの形状として定めるようにしてもよい。さらに、一つのドットに対応する選択パターン３つの矩形に対しそれぞれ赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の成分を関連付けておく。代表値を決定する際には、１つの選択パターン内にある１つの矩形から、その矩形に対応する色の成分について代表値を得る。そして得られた３つの成分の代表値から、加法混色により色を表現するためのカラーの画素値を作り、選択パターンの代表値とする。このようにして決定された代表値をそのまま該当するピクセルの画素値にすることにより、元の画像データから鮮明かつサイズの小さなカラーの画像データを生成できる。
【０１０４】
なお、上記の実施の形態における周期パターンは例示であって、実際には液晶表示パネルのドットの構造に応じてさまざまな周期パターンが想定される。例えば、カラー液晶表示パネルにおける赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各表示要素の間に、ブラックマスクがあるものなどが想定される。その場合においても、画素値の周期的な変動は検出できる。したがって、選択パターンの形状を、その周期パターンに適したものに設定しさえすれば、適切な符号化を行なうことが可能である。
【０１０５】
また、上記の実施の形態では、液晶表示パネル１０２を撮影した画像について、周期パターンに基づく加工を行なった。しかし、加工の対象となる画像は、液晶表示パネル１０２を撮影した画像には限定されない。上記の加工は、マトリクス状及びそれに類する配置の複数のドットからなるマトリクス型表示装置の画面を撮影した画像、並びに液晶表示パネルと同様に周期的なパターンを持つ被写体を撮影した画像に適用できる。
【０１０６】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【図面の簡単な説明】
【０１０７】
【図１】画像処理装置１００の構成を示す図である。
【図２】画像入力部１０８の構成を示す図である。
【図３】画像加工部１１０の機能的構成を示す図である。
【図４】周期パターンの例を示す模式図である。
【図５】画像処理装置１００が実行する処理の制御構造を示す図である。
【図６】図５に示す符号化処理の流れを示す図である。
【図７】画像加工部１１０による加工の概要を説明するための模式図である。
【図８】ブラックマスクの像が映っている画像の一例を示す模式図である。
【図９】図８に示す画像により特定される周期パターンの大きさを示す模式図である。
【図１０】傾きのある周期パターンの発生した画像の一例を示す模式図である。
【図１１】ドットのサイズ、画像上でのドットの像、及び当該ドットの像に対応する選択パターンの形状を示す模式図である。
【図１２】図８に示す画像について決定される選択パターンを示す模式図である。
【図１３】符号化処理により生成される画像の一例を示す図である。
【図１４】カラー液晶パネルを撮影した画像に対応する選択パターンの一例を示す模式図である。
【図１５】カラー液晶パネルに表示された文字を撮影することにより得られた画像の一例を示す図である。
【図１６】図１５に示す画像の部分拡大図である。
【図１７】図１６に示す画像に発生する周期パターンを説明するための模式図である。
【図１８】カラー液晶表示パネルに表示された画像を撮影することにより得られる画像のピクセルと、カラー液晶表示パネルのドットとを示す模式図である。
【図１９】白黒液晶表示パネルに表示された画像に発生する周期パターンを説明するための模式図である。
【図２０】白黒液晶表示パネルに表示された画像を撮影することにより得られる画像のピクセルと、カラー液晶表示パネルのドットとを示す模式図である。
【符号の説明】
【０１０８】
１００ 画像処理装置、１０２ 液晶表示パネル、１０４ 入力装置、１０６ 出力装置、１０８ 画像入力部、１１０ 画像加工部１１０ 画像保存部、１１４ 文字認識部、１１６ 認識結果保存部、１１８ 制御部、１３０ ＣＣＤ、１３２ Ａ／Ｄコンバータ、１３４ 画像メモリ、１３６ 撮影制御部、１４０ 周期パターン検出部、１４２ パターン間隔検出部、１４４ 傾き検出部、１４６ 選択パターン形状決定部、１４８ 選択パターン位置決定部、１５０ 代表値決定部、１５２ ２値化処理部、１５４ 再構成部
【技術分野】
【０００１】
本発明は、画像データの処理技術に関し、特にマトリクス状に配置された複数のドットからなるマトリクス型表示装置の画面を撮影することにより得られる画像データを最適化するための画像処理装置及びそのためのコンピュータプログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、情報のデジタルデータ化により、画像及び文字等の視覚的な情報をデジタルデータ化する技術が、目覚しい発展と普及とを遂げた。それに伴い、画像及び文字等をデジタルデータ化して記録する機会も、デジタルデータ化された画像及び文字等を表示する機会もともに増加した。
【０００３】
画像及び文字等をデジタルデータ化して記録する技術の普及の一例として、デジタルカメラの普及を挙げることができる。イメージセンサの高性能化及び普及と信号処理技術の発達とにより、撮影した画像をデジタルデータに変換して記録するデジタルカメラが普及するに至った。撮影専用の装置としてのデジタルカメラばかりでなく、携帯電話等の情報機器にデジタルカメラが内蔵されることまで、既に一般化している。加えて、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）からなるイメージセンサは高性能化しており、数百万もの膨大な数の画素を持つ高分解能のイメージセンサが一般的となった。今後もさらに、イメージセンサの画素数が増えることが予想される。このように膨大な数の画素を持つイメージセンサを搭載したデジタルカメラで撮影を行なうことにより、銀塩写真と比べても遜色のないほど高精細な、又はそれ以上の画像のデジタルデータを手軽に得ることができる。
【０００４】
撮影により得られる画像のデジタルデータ（以下、「画像データ」と呼ぶ。）を単に再生し閲覧に供するだけでなく、画像データから別の情報を得る技術も普及しつつある。特許文献１には、カメラ付携帯電話の撮影機能を使って文字認識を行なう技術が開示されている。特許文献１に記載の技術では、文字が記載された紙及び黒板等の媒体（以下、「文字媒体」という。）をカメラ付携帯電話で撮影して、その画像データを文字画像処理装置に送信する。文字画像処理装置は、画像データの入力を受けると、その画像データをもとに文字認識を行ない、画像に含まれる文字をコード化して、文字コードデータを得る。なお、特許文献１には、文字認識に際して、レンズ収差等によって画像に生じる歪を補正することも開示されている。
【０００５】
デジタルデータ化された画像及び文字等を表示する技術の普及の一例として、マトリクス状に配置された複数の画素（ドット）からなるマトリクス型表示装置の普及を挙げることができる。液晶表示パネル等の表示パネルの高性能化及び普及により、薄型でかつ高精細な表示装置が普及するに至った。その中でも特に近年の液晶表示パネルは、コントラストの向上及び反応速度の高速化が図られており、テレビジョン受像機、携帯電話、及びパーソナルコンピュータ等の表示装置として広く使用されている。液晶表示パネルを用いた表示装置は薄型であるため、大きな表示面を持つ表示装置であっても、壁に掛けるなどさまざまな形態で設置することができる。そのため、液晶表示パネルを用いた表示装置が、公共の場所において案内及び広告の媒体等に使われることも多くなった。今後もさらに、液晶表示パネルが、さまざまな場所で画像及び文字等の表示に使用されることが予想される。
【０００６】
【特許文献１】特開２００４−１１８５６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
現状のデジタルカメラの撮影対象は、主に風景や人物である。しかし、液晶表示パネルが普及した現状に鑑みると、今後、デジタルカメラを用いて液晶表示パネル上の表示画面を撮影する機会が増えることが予想される。さらに、撮影により得られた画像データから別の情報を得ることも予想される。
【０００８】
図１５にカラー液晶表示パネルの画面をＣＣＤ搭載のデジタルカメラで撮影した画像６００を示す。図１６に、図１５に示す撮影画像６００の丸印で囲まれた部分６０２付近を拡大した画像６１０を示す。図１５及び図１６を参照して、画像６００及び６１０では、輪郭のぼけ及びノイズが多く、また背景に周期的な模様が映っており、見にくい画像となっている。
【０００９】
以下、図１７〜図２０を用いて、液晶表示パネル上の表示をＣＣＤ搭載のカメラで撮影した画像における周期的な模様について説明する。図１７には、図１６に示すカラー液晶表示パネルの撮影画像６１０を模式化したものを示す。図１８には、図１７の丸印で囲まれた部分６１２付近の拡大画像６２０を示す。図１９には、図１６に示す画像６１０と同様の表示を白黒液晶表示パネルで行なったものを撮影した画像６３０を模式的に示す。図２０には、図１９に示す画像６３０おいて図１７の丸印で囲まれた部分６１２に相当する部分６３２付近の拡大画像６４０を示す。なおこれらの図では、図１６にみられる輪郭のぼけ及びノイズ等を除去し、背景部分の模様を強調している。
【００１０】
図１７に示す画像６１０の背景部分には、横方向に伸びる黒い線が縦に規則的に映っている。また、図１９に示す画像６３０の背景部分には、格子状の模様が映っている。これらの黒い線又は格子状の模様は液晶表示パネルのブラックマスクの像である。ブラックマスクは、信号配線及び半導体を守るための保護マスクである。
【００１１】
図１７に示す画像６１０においてはさらに、ブラックマスクの像の間に、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の３色の像の組が並んだ像が映っている。赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の３色一組の像は、カラー液晶表示パネルの画素（ドット）の像である。ドットは、液晶表示パネルでの表示における最小単位である。カラー液晶表示パネルのドットは、加法混色の３原色である赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）に対応する発光部からなる３つの表示要素が一組になった構造を持つ。カラー液晶表示パネルのドットは、各表示要素が適宜発光することにより加法混色の原理で１つの色を表現する。図１９に示す画像６３０においては、格子の間の像がそれぞれドットの像である。白黒液晶表示パネルのドットは、一つの発光部からなる表示要素を持つ。白黒液晶表示パネルのドットは、発光部が適宜発光することにより、濃淡の一つの階調を表現する。
【００１２】
液晶表示パネルは、高精細化が進んでおり、通常ブラックマスク及びドットの各表示要素が人の目により独立して認知されることはない。しかし、ＣＣＤ等のイメージセンサは、上記のとおり高分解能化が進んでおり、撮影により得られる画像データにより極めて細かな像まで表現されるようになっている。図１８及び図２０を参照して、これらの画像６２０及び６４０にある細かな格子模様は、画像データでの像の表現の最小単位である画素値データ（ピクセル）の各々が表現する像の範囲を、模式的に表したものである。なお、実際の画像にはこのような格子模様はない。図１８及び図２０に示すように、画像６２０及び６４０においては、液晶表示パネル上の１ドットを多数のピクセルで表現することになる。ブラックマスク及びドットが別々のピクセルにより表現されることになり、ブラックマスク及び表示要素が弁別可能に記録されてしまう。したがって、記録された画像が、図１５及び図１６に示すような見にくい画像になるという問題が生じる。
【００１３】
また、撮影された画像の情報量が、液晶表示パネルで表示した情報量に対し増大するという問題も生じる。液晶表示パネルは、１ドットにつき一つの色又は１つの階調を表現している。しかし、撮影により得られる画像データにおいては、図１８及び図２０に示すように、液晶１ドットを複数のピクセルで表現している。図１８及び図２０においては、液晶の１ドットが画像データにおいては、幅９ピクセル・高さ９ピクセルの範囲に映っている。すなわち、１つの情報を表現するのに８１ピクセル分の画素値を用いていることになる。さらに、液晶画面上で白黒２階調を用いて文字を表示した場合であっても、ＣＣＤで出力された画像データ上では、一般的に２４ビット（赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）に対してそれぞれ８ビット）であり、さらに情報の肥大化が起こる。
【００１４】
縮小及び圧縮等の一般的な処理により、画像データの情報量を減少させることは可能である。しかし、一般的な処理では、液晶表示パネルのブラックマスクやカラーの情報が、処理後の画像データにも反映されるため、鮮明な画像を得ることができないし、情報量の削減にも限界がある。
【００１５】
さらに、撮影により得られた画像データから別の情報を得ることも困難になるという問題も発生する。液晶表示パネルに表示された文字を撮影した画像で文字認識を行なう場合を考える。文字認識を行なう際には、一般に前処理として画像の２値化を行なう。しかし、液晶表示パネルの画面を撮影した画像には、ブラックマスク及びドットの模様があるため、適切な２値化を行なうことは困難である。例えば、図１９に示す画像６３０をそのまま２値化すると、ブラックマスクの模様が、文字と同じ階調（黒）に変換され、文字認識の妨げとなる。特許文献１においては、液晶表示パネルの画面を撮影した画像を用いて文字認識を行なうことについては触れられていない。そのため、特許文献１に記載の技術では、液晶表示パネルの画面を撮影した画像を２値化する際に生じる上記のような問題を解決することはできず、適切な２値化画像を得られないために、文字認識の精度が低下する恐れがある。
【００１６】
それゆえに、本発明の目的は、液晶表示パネル等の画面を撮影することにより得られる画像データから、鮮明な画像を得ることができる画像処理装置を提供することである。
【００１７】
本発明の別の目的は、液晶表示パネル等の画面を撮影することにより得られる画像の情報を損なうことなく、当該画像のデータ量を削減し画像データを最適化できる装置を提供することである。
【００１８】
本発明のさらに別の目的は、液晶表示パネル等に表示された文字を高精度に認識することができる装置を提供することである。
【課題を解決するための手段】
【００１９】
本発明の第１の局面に係る画像処理装置は、マトリクス状に配置された複数のドットからなるマトリクス型表示装置の画面を撮影することにより得られる画像を符号化するための装置である。この画像処理装置は、画像が与えられたことに応答して、画像上に繰返し現れる周期パターンを検出するためのパターン検出手段と、パターン検出手段により検出された周期パターンをもとに、画像においてドットの像の各々に対応する領域を特定し、領域の各々に対して所定の特徴量を抽出するための特徴量抽出手段と、ドットの各々に関し特徴量抽出手段により抽出された特徴量をもとに、画像の符号化データを生成するためのデータ生成手段とを含む。
【００２０】
マトリクス型表示装置の画面を撮影することにより得られる画像には、画面上に周期パターンが繰返し現れることがある。そのような画像がパターン検出手段に与えられると、パターン検出手段は、周期パターンを検出する。検出される周期パターンは、マトリクス状に配置された複数のドットの像により形成される周期的なパターンである。特徴量抽出手段は、周期パターンをもとに、画像におけるドットの像の各々に対応する領域を特定する。さらに、領域の各々に対して、所定の特徴量を抽出する。ドットは、マトリクス型表示装置に表示される情報の最小単位である。ドットの像に対応する領域より特徴量が抽出されるため、特徴量はそれぞれ、マトリクス状に配置されたドットにより表現される情報に対応する。したがって、特徴量をもとにデータ生成手段により生成される符号化データは、マトリクス型表示装置により表示された情報の特徴を過不足なく適切に表現するデータとなる。
【００２１】
好ましくは、画像において、マトリクス型表示装置の各ドットの像の各々に対応する領域は複数の画素により表現され、特徴量抽出手段は、周期パターンをもとに、複数のドットの像の各々に対応する画像上での領域を決定するための領域決定手段と、領域決定手段により決定された領域の各々に対し、その領域を形成する複数の画素の画素値をもとに、その領域の画素値を代表する代表値を領域の特徴量として生成するための代表値生成手段とを含む。
【００２２】
代表値生成手段は、表示装置の一つのドットの像を形成する複数の画素の画素値をもとに、当該ドットの像を代表する代表値を生成する。これにより複数の画素により表現されていた１ドット分の情報は代表値に集約される。したがって、代表値をもとにデータ生成手段により生成される符号化データは、マトリクス型表示装置により表示された画像を適切に表現し、かつ無駄な情報の少ないデータとなる。
【００２３】
より好ましくは、代表値生成手段は、領域決定手段により決定された領域の各々に対し、その領域を形成する複数の画素の画素値をもとに、その領域の画素値を代表するグレースケールの値を、前記代表値として生成するための手段を含む。
【００２４】
したがって、複数の画素により表現されていた１ドット分の情報は、ほぼ１画素のグレースケールの値に集約される。したがって、このグレースケールの代表値をもとにデータ生成手段により生成される符号化データは、マトリクス型表示装置により表示された画像をグレースケールで適切に表現し、かつ無駄な情報の少ないデータとなる。
【００２５】
より好ましくは、前記ドットの各々は、画像の色を表現するための複数の表示要素を含むことがあり、領域決定手段は、周期パターンをもとに、前記複数の表示要素の像の各々に対応する画像上での第１の領域を決定するための第１の決定手段と、周期パターンをもとに、複数のドットの像の各々に対応する画像上での第１の領域の組を決定するための第２の決定手段とを含む。代表値決定手段は、第１の領域の各々に対し、第１の領域を形成する複数の画素の画素値をもとに、第１の領域の画素値を代表する要素別代表値を生成するための第１の生成手段と、第２の決定手段により決定された組にしたがい、複数のドットの像の各々に対応する複数の要素別代表値をもとに、領域の画素値を代表する代表値を生成するための第２の生成手段とを含む。
【００２６】
１ドットが複数の表示要素により構成されているカラーの表示装置等における１ドット分のカラーの情報は、まず、そのドット内にある複数の表示要素に対応する要素別代表値に集約され、さらに、要素別代表値をもとに生成されるほぼ１画素の代表値に集約される。したがって、代表する色の成分をもとにデータ生成手段により生成される符号化データは、複数の表示要素により表示されたドットの画像の色等を適切に表現し、かつ無駄な情報の少ないデータとなる。
【００２７】
データ生成手段は、ドットの各々に関する領域の画素値を代表する代表値を周期パターンに基づき再構成して、元の画像に対応する新たな画像のデータを生成するための画像データ生成手段を含んでもよい。
【００２８】
画像データ生成手段は、代表値を再構成して新たな画像のデータを生成する。新たな画像のデータにおける１画素の画素値は、表示装置の１ドットに対応する領域の画素値を代表する代表値であり、表示装置の１ドット分の情報は代表値に集約される。そのため、新たな画像のデータにおいては、表示装置の表示のうちブラックマスク部分が除かれ、１ドットがほぼ１画素で表現される。また、複数の表示要素により構成されたドットを持つ表示装置において、１ドット内の複数の表示要素により表現される情報もまた、ほぼ１画素で表現される。そのため、表示要素の特性の違いに起因する周期パターンは除かれる。したがって、ノイズが少なく、鮮明で、かつサイズの小さな画像のデータを生成することができる。
【００２９】
特徴量抽出手段はさらに、代表値生成手段により生成された代表値の各々を２値化するための２値化処理手段を含み、データ生成手段は、各ドットの各々に関し２値化処理手段により２値化された代表値を周期パターンに基づき再構成して、元の画像に対応する新たな２値画像のデータを生成するための２値画像データ生成手段を含んでもよい。
【００３０】
２値化処理手段は、代表値生成手段により生成された代表値の各々を２値化する。新たな２値画像のデータにおける１画素の画素値は、マトリクス型表示装置の１ドットに対応する領域の画素値を代表する代表値を２値化したものであり、マトリクス型表示装置の１ドット分の情報は代表値に集約される。そのため、新たな２値画像のデータにおいては、表示装置の表示のうちブラックマスク部分が除かれ、１ドットがほぼ２値で表現されることになる。また、複数の表示要素により構成されたドットを持つ表示装置において、１ドット内の複数の表示要素により表現される情報もまた、２値で表現される。そのため、表示要素の特性の違いに起因する周期パターンは除かれる。したがって、ノイズが少なく、鮮明な２値画像のデータを得ることができる。
【００３１】
画像は、マトリクス型表示装置の画面に表示された文字を撮影する事により得られる画像を含むことがあり、画像処理装置はさらに、データ生成手段により生成された符号化データが与えられたことに応答して、符号化データをもとに、画像に関する文字認識を行ない、認識結果を表す文字情報を出力するための文字認識手段を含んでもよい。
【００３２】
符号化データは、表示装置による表示内容を忠実に反映しておりかつデータ量が少ない。したがって、文字認識手段がこの符号化データを用いて文字認識を行なうことにより、表示装置の画面を撮影した画像から高速かつ高い認識率で文字認識を行なうことができる。認識結果は文字であるため、文字を表現した画像よりも情報の量が少ない。そのため表示装置に表示された文字を少ない情報量で表現することができる。
【００３３】
画像処理装置はさらに、表示装置のドットの存在により画像上に繰返し現れる周期パターンをもとに、符号化データを補正するためのデータ補正手段を含んでもよい。
【００３４】
画像に繰返し表れる周期パターンの傾き、歪等をもとに、画像に対応する符号化データを補正し、適切な符号化データを生成することができる。
【００３５】
画像処理装置はさらに、マトリクス型表示装置の画面を撮影し、撮影により得られた画像をパターン検出手段に与えるための撮影手段を含む。
【００３６】
撮影手段が、マトリクス型表示装置の画面を撮影し、得られた画像をパターン検出手段に与えると、撮影した画像に対応する符号化データが生成される。したがって、撮影手段を用いて所望の表示装置の画面を撮影し、表示装置に表示されている情報を余すところなく、符号化データとして抽出し符号化することができる。
【００３７】
本発明の第２の局面に係るコンピュータプログラムは、コンピュータにより実行されると、そのコンピュータを本発明の第１の局面に係るいずれかの画像処理装置として動作させる。したがって、このコンピュータプログラムをコンピュータで実行することにより、上記した本発明の第１の局面の作用及び効果をコンピュータで実現することができる。
【００３８】
本発明の第３の局面に係る記録媒体は、コンピュータプログラムが記録された、コンピュータで読取可能な記録媒体である。この記録媒体に記録されたコンピュータプログラムをコンピュータで読取り実行することにより、本発明の第１の局面の作用及び効果を実現できる。
【発明の効果】
【００３９】
本発明によれば、マトリクス型表示装置の画面を撮影した画像を、表示装置の構造に起因してその画像に発生する周期的なパターンを利用することにより、周期パターンを除去し、表示装置により表示された内容を反映し、かつ無駄な情報の少ない符号化データを生成することができる。さらに、複数の画素を１つの画素に集約して、少ない情報の量で、ノイズの少ない鮮明な画像データを生成することができる。符号化データをもとに２値画像データを作成し、当該２値画像データを用いて文字認識することにより、高精度かつ高速で文字認識を行なうことができ、さらに、コード化により情報量の削減したり、データに検索性を持たせたりすることが可能となる。さらに、周期パターンに基づき、補正を行ない、適切な符号化データを生成することが可能になる。
【発明を実施するための最良の形態】
【００４０】
以下、図面を参照しつつ、本発明の一実施の形態について説明する。なお、以下の説明に用いる図面では、同一の部品に同一の符号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。また、以下の説明では、液晶表示パネル等の画素を「ドット」と呼び、画像データにおける１画素分の画素値データを「ピクセル」と呼ぶ。
【００４１】
〈構成〉
図１に、本実施の形態に係る画像処理装置の機能的構成を示す。図１を参照して、本実施の形態に係る画像処理装置１００は、液晶表示パネル１０２に表示された画像を、入力装置１０４へのユーザの操作にしたがい撮影し、得られた画像データを処理して操作により指定された情報を生成し、出力装置１０６に出力する装置である。
【００４２】
画像処理装置１００は、液晶表示パネル１０２の画像を撮影しその画像データを生成するための画像入力部１０８と、画像入力部１０８により生成された画像データを、液晶表示パネル１０２の構造上の特徴を利用して加工し符号化するための画像加工部１１０と、画像加工部１１０により符号化された画像データを保存するための画像保存部１１２と、画像保存部１１２により保存された画像データを用いて文字認識を行ない、文字列データを生成するための文字認識部１１４と、文字認識部１１４により生成された文字列データを保存するための認識結果保存部１１６と、入力装置１０４への操作入力にしたがい、画像入力部１０８、画像加工部１１０、及び文字認識部１１４に要求を与え、その要求に応じた動作により画像保存部１１２及び認識結果保存部１１６に保存されるデータを、出力装置１０６に出力するための制御部１１８とを含む。
【００４３】
制御部１１８は、画像入力部１０８に対して撮影の命令を与える機能を持つ。制御部１１８はさらに、画像の加工の要否に関する情報を画像加工部１１０に対して与える機能と、文字認識の要否に関する情報を文字認識部１１４に対して与える機能とを持つ。画像入力部１０８、画像加工部１１０、及び文字認識部１１４はそれぞれ、制御部１１８から与えられる情報にしたがい動作する。
【００４４】
図２に、画像入力部１０８の構成を示す。図２を参照して、画像入力部１０８は、駆動すると図示しない光学系を介して表面に結像した液晶表示パネル１０２の像のアナログ信号を発生するためのＣＣＤ１３０と、ＣＣＤが発生するアナログ信号をデジタルの画像データに変換するためのＡ／Ｄコンバータ１３２と、Ａ／Ｄコンバータ１３２により変換された画像データを一時的に蓄積するための画像メモリ１３４と、制御部１１８からの要求にしたがい、ＣＣＤ１３０及びＡ／Ｄコンバータ１３２を駆動するための撮影制御部１３６とを含む。画像入力部１０８は、一般的なデジタルカメラと同様に、デジタルデータ化された画像信号を生成し、これを画像データとして画像メモリに格納する。したがって、液晶表示パネル１０２上の表示を撮影すると、図１５〜図２０に示す画像と同様に、液晶表示パネル１０２の構造に起因して画像中に繰返し現れるパターン（以下、このパターンを「周期パターン」と呼ぶ。）の映っている画像データが画像メモリ１３４に格納される。
【００４５】
図４に、周期パターンの例を示す。図４を参照して、周期パターン１６０Ａは、図１８に示す画像６２０における周期パターンである。周期パターン１６０Ｂは、図２０に示す画像６４０における周期パターンである。周期パターン１６０Ａは、カラー液晶表示パネルを撮影した画像に表れるパターンであり、ブラックマスクの像１６２と、一つのドットを構成する赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の表示要素の像１６４Ａ，１６４Ｂ，及び１６４Ｃとを含む。周期パターン１６０Ｂは、白黒液晶表示パネルを撮影した画像に表れるパターンであり、ブラックマスクの像１６２と、表示要素の像１６４Ｄとを含む。
【００４６】
図３に、画像加工部１１０の機能的構成を示す。図３を参照して、画像加工部１１０は、制御部１１８からの情報に応答して、画像入力部１０８内の画像メモリ１３４（図２参照）から画像データを読出して画像データにより表現される画像内に周期パターンが映し出されているか否かを判定し、その判定結果に基づき、画像データを画像保存部１１２に格納する動作と当該画像データを画像加工部１１０のその他の機能部に与える動作とを選択的に行なうための周期パターン検出部１４０と、周期パターン検出部１４０から与えられた画像データをもとに周期パターンの画像上での大きさを特定するためのパターン間隔検出部１４２と、周期パターン検出部１４０から与えられた画像データをもとに画像の傾きを検出するための傾き検出部１４４と、液晶表示パネル１０２における１ドット分の情報を抽出するために用いるパターン（以下、「選択パターン」と呼ぶ。）の形状を、パターンの大きさ及び傾きに基づき決定するための選択パターン形状決定部１４６と、パターン幅及び傾きに基づき、画像データにおける各ドットの映っている領域の位置を検出して当該領域から選択パターンの形状に応じた形状でピクセルを抽出し、検出した位置の情報と、その位置から抽出したピクセルの画素値データとを出力するための選択パターン位置決定部１４８と、選択パターン位置決定部１４８により出力される画素値データから、画素値の代表値を決定するための代表値決定部１５０と、代表値決定部１５０により決定された代表値と所定のしきい値とを比較して、比較の結果に基づき０及び１のいずれかの値を出力するための２値化処理部１５２と、選択パターン位置決定部１４８により検出された位置の情報と２値化処理部１５２により出力される値とをもとに、１ドット分の像を２値化された画素値で表現したピクセルにより構成される画像データを生成し、画像保存部１１２に格納するための再構成部１５４とを含む。
【００４７】
〈画像処理装置１００の制御構造〉
以下の説明からも明らかなように、図１に示す画像処理装置１００の制御部１１８、画像加工部１１０、及び文字認識部１１４は、いずれも一般的なコンピュータと同様のプログラム実行のためのハードウェアと、とその上で実行されるコンピュータプログラムとにより実現可能である。
【００４８】
図５に、本実施の形態に係る制御部１１８による画像処理装置１００の制御構造を示す。図５を参照して、この制御は、制御部１１８に要求が与えられたことに応答して開始される。処理が開始されると、ステップ２００において、画像入力の要求があったか否かを判定する。画像入力の要求があれば、ステップ２０２に進む。さもなければステップ２１４に進み、与えられた要求に応じたその他の処理を実行し、処理を終了する。
【００４９】
ステップ２０２では、画像入力部１０８に撮影を命令する。画像入力部１０８は、命令に応答して撮影を実行する。ステップ２０４では、ステップ２０２での撮影により得られる画像データを、周期パターンに基づいて加工するかを判定する。制御部１１８に与えられた要求において、画像の加工が求められていたならば、ステップ２０６に進む。さもなければステップ２１６に進む。なお、画像の加工が求められていた場合であっても、当該画像において周期パターンが検出できなければ、ステップ２１６に進む。
【００５０】
ステップ２０６では、画像加工部１１０が、ステップ２０２での撮影により得られた画像データをもとに画像を加工し新たな画像を生成して符号化する処理を行ない、処理により得られた新たな画像データを画像保存部１１２に格納するための符号化処理を実行する。
【００５１】
ステップ２０８では、ステップ２０６での符号化処理により画像保存部１１２に格納された新たな画像データをもとに文字認識することが要求されたか否かを判定する。与えられた要求において、文字認識が求められていたならば、ステップ２１０に進む。さもなければ処理を終了する。
【００５２】
ステップ２１０では、制御部２０６は、文字認識が必要である旨の情報を文字認識部１１４に与えて、符号化された画像データからの文字認識を文字認識部１１４に実行させる。ステップ２１２では、文字認識部１１４が文字認識により得られた結果を認識結果保存部１２６に保存したことに応答して、制御部２１２が認識結果の文字情報を出力して処理を終了する。
【００５３】
ステップ２１６では、符号化処理を行なわずに画像データを画像保存部１１２に保存して、処理を終了する。
【００５４】
図６に、図５のステップ２０６において画像加工部１１０により実行される符号化処理の制御構造を示す。図６を参照して、符号化処理が開始されると、ステップ２２０において、画像データを縦方向及び横方向に順次走査して、所定の条件を満たす画素値を持つピクセルの配置をもとに、画像データにおける周期パターンの大きさを特定する。
【００５５】
ステップ２２２では、画像データを縦方向及び横方向に順次走査して、所定の条件を満たす画素値を持つピクセルが発生位置のずれを計測して、液晶表示パネル１０２上でのドットの配列に対する画像の傾きを検出する。
【００５６】
ステップ２２４では、周期パターンの大きさ及び画像の傾きに基づき、１周期パターン分の画像中で、選択パターンの形状を決定する。
【００５７】
ステップ２２６では、符号化処理後の画像データを格納する領域を準備し、初期化しておく。
【００５８】
ステップ２２８では、周期パターンの大きさ及び画像の傾きに基づき、画像データから、液晶表示パネルの画面の１つのドットに対応する領域を検出し、当該領域の中心ピクセルを基準として当該領域内における選択パターンの位置を決定する。ステップ２３０では、ステップ２２８で決定された選択パターンに属するピクセルにおける画素値の平均をとり、ステップ２２８で検出された領域の像における画素値の代表値を決定する。ステップ２３２では、ステップ２３０で決定された代表値と所定のしきい値との大小を比較し、比較の結果に応じて０又は１の値を生成する。ステップ２３４では、ステップ２２６で初期化された画像データにおいて、ステップ２２８で選択された領域に対応する位置にあるピクセルの画素値を、ステップ２３２で生成した値に設定する。
【００５９】
ステップ２３６では、ステップ２２８による選択が行なわれていない領域が存在するか否かを判定する。存在すればステップ２２８に戻る。さもなければステップ２３８に進む。
【００６０】
ステップ２２８からステップ２３６までの一連のステップを繰返すことにより、各ドットの像が、２値化された１ピクセル分の情報に変換される。ステップ２３８では、２値化された画像を画像保存部１１２に保存し、符号化処理を終了する。
【００６１】
〈動作〉
本実施の形態に係る画像処理装置１００は、以下のように動作する。なお、図１を参照して、画像処理装置１００は、ユーザにより、液晶表示パネル１０２の画面を撮影するのに適した位置に設置されるものとし、画像入力部１０８が撮影を行なうと、液晶表示パネル１０２の画面が撮影されるものとする。
【００６２】
ユーザは、入力装置１０４を操作して画像処理装置１００に処理を要求する。ここで要求される処理は、以下の処理のいずれかである。すなわち、
（１）画像を撮影し、その画像を用いて文字認識を行ないその結果を出力する処理、
（２）画像を撮影し、周期パターンをもとに符号化して出力する処理、
（３）画像を撮影し、その画像をそのまま出力する処理、及び
（４）その他の処理
である。
【００６３】
これら４種類の処理の要求のうちの一つが入力装置１０４から画像処理装置１００に与えられると、図１に示す制御部１１８は、要求された内容を判別する。要求が上記の（１）〜（３）に対応するものであれば、制御部１１８は、画像入力部１０８、画像加工部１１０、及び文字認識部１１４に対し、要求された処理の内容を表す情報を与え、処理の実行を命令する。なお、要求が上記の（４）に対応するものであれば、その要求に応じた処理を実行する。例えば、データの出力が要求された場合には、その要求にしたがい、画像保存部１１２及び認識結果保存部１１６に保存されているデータを出力装置１０６に出力する。
【００６４】
（画像データの入力）
制御部１１８から画像入力部１０８に、上記の（１）〜（３）の要求に対応する命令が与えられると、画像入力部１０８の図２に示す撮影制御部１３６は、ＣＣＤ１３０及びＡ／Ｄコンバータ１３２を駆動する。ＣＣＤ１３０は、そのＣＣＤ領域上に結像している像のアナログ信号を発生し、Ａ／Ｄコンバータ１３２に印加する。Ａ／Ｄコンバータ１３２は、印加されたアナログ信号をデジタル信号に変換して画像データを生成し、画像メモリ１３４に格納する。
【００６５】
（画像データの加工）
制御部１１８（図１参照）から画像加工部１１０に命令が与えられると、図３に示す周期パターン検出部１４０は、命令の内容を判別する。命令が上記の（１）又は（２）の要求に対応するものであれば、画像データのピクセルを走査し、画像に周期パターンが映っているか否かを判定する。例えば、縦及び横に走査した場合に画素値に周期性が認められれば、周期パターンが存在するものと判定する。この場合、画像データの符号化処理を実行する。周期パターンが映っていないと判定された場合、又は命令が（３）に対応するものである場合、画像メモリ１３４に格納されている画像データを読出して、符号化処理することなく画像保存部１１２に格納する。
【００６６】
以下に、画像加工部１１０による符号化処理について説明する。まず、白黒液晶表示パネルを撮影した画像に対する符号化処理について説明する。図７に、画像加工部１１０による符号化処理の概要を示す。図７を参照して、画像３００は、図２０に示す画像６４０と同様に、白黒液晶表示パネルの画面を撮影した画像を拡大したものである。この画像には、図４に示す白黒液晶表示パネルの周期パターン１６０Ｂが発生しており、その中の一つの周期パターン（例えば周期パターン３０２）は、９ピクセル四方の矩形で表現されている。画像加工部１１０は、１周期パターン分の画像から、１ピクセルの２値化画像を生成する処理を各周期パターンに対し行ない、生成された画像をそれぞれ周期パターンの配置にしたがって再配置することにより、加工後の画像を生成する。加工後の画像において画像３００に対応する部分は、画像３１０となる。この画像において周期パターン３０２は、一つのピクセル３１２により表現されることになる。画像データの符号化処理が開始されると、周期パターン検出部１４０は、画像メモリ１３４に格納されている画像データを読出し、パターン間隔検出部１４２、傾き検出部１４４、選択パターン形状決定部１４６及び選択パターン位置決定部１４８に与える。
【００６７】
パターン間隔検出部１４２は、画像データのピクセルを縦方向と横方向とに走査して、類似した特徴の画素値を持ちかつ一定間隔で存在する、ピクセル又はその集まりを検出し、当該集まりの間隔によってパターンの幅及び高さを特定する。
【００６８】
例えば、画像データのピクセルを縦方向及び横方向に走査して、ブラックマスクの像であると思われる画素値を持つピクセルを検出する。続いて、検出したピクセルが連続して線を形成している部分をチェックする。さらに、線を形成している部分同士の間隔を求める。図７に示す画像３００においては、縦方向に９ピクセル間隔で、互いに他と類似する階調（黒で表現されている）の画素値を持つピクセルで構成された、幅１ピクセルの線３０６Ａ，…，Ｄがあることが検出される。すなわち、縦方向に９ピクセル間隔、幅１ピクセルでブラックマスクの像が検出される。さらに図７に示す画像３００においては、横方向にも同様に９ピクセル間隔、幅１ピクセルでブラックマスクの像が検出される。そのため、周期パターンの大きさは幅・高さともに９ピクセルであることが検出される。
【００６９】
図８に、ブラックマスクの像と思われる線が映っている画像の別の一例を示す。図８を参照して、図８に示す画像３２０においては、横方向に１１ピクセル、及び縦方向に２３ピクセル間隔で濃い（階調の低い）線が映っている。画像３２０ではさらに、横方向には１１ピクセル間隔で、縦方向に伸びる太さ２ピクセルの薄い（階調の高い）線が映っている。画像３２０ではさらに、縦方向に２３ピクセル間隔で、横方向に伸びる太さ２ピクセルの薄い線が映っている。さらに、横方向に伸びる濃い線と薄い線との間にそれぞれ、幅１ピクセルの薄い線が映っている。これはドットのサイズが、画像データ上１ピクセルの大きさの整数倍にならなかった場合に生じる干渉模様である。
【００７０】
図９に、図８のような画像データが得られる場合のＣＣＤ１３０上でのブラックマスクの像と、ＣＣＤ１３０の各素子との位置関係を模式的に示す。図９を参照して、ＣＣＤ１３０は、多数の素子をマトリクス状に配置した構造を持つ。ＣＣＤ１３０における素子の中心付近で結像したブラックマスクの像（例えば像３３２Ａ）は、画像データに変換されると濃い線となる。ＣＣＤ１３０における素子の中心から外れた部分で結像したブラックマスクの像（例えば像３３２Ｂ）は、画像データに変換されると、中心付近で結像したブラックマスクの像より薄い線になる。ＣＣＤ１３０における素子の境界付近で結像したブラックマスクの像（例えば像３３２Ｃ）は、隣接する２つの素子により検出されるため、画像データに変換されると２つのピクセルにまたがる薄い線となっている。
【００７１】
再び図８を参照して、画像３２０において、横方向には濃い線が１１ピクセル間隔で並んで、その間に薄い線が１本ある。そのため、１１ピクセルの間隔の中に２つのドットが存在することが推定できる。そのため、周期パターンの幅を１１／２＝５．５ピクセルとする。また画像３２０において縦方向においては、２３ドットの間に、濃い線が１本、薄く太い線が１本、薄い線が２本あるので、周期パターンの高さを２３／４＝５．７５ピクセルとする。
【００７２】
図１０に、ブラックマスクの像と思われる線が映っている画像の別の一例を示す。図１０に示す画像３４０においては、画像上でのドットが、ピクセルの配列に対して反時計回りに回転している。そのため、縦方向及び横方向に、長さ８ピクセルの短い線が１０ピクセル間隔で並んでいる。この場合、同じ方向に伸びる隣接する線同士の間隔から、周期パターンの大きさを特定する。図１０に示す例では、周期パターンの大きさは幅・高さともに１０ピクセルであると特定される。
【００７３】
パターン間隔検出部１４２は、以上のようにして特定された周期パターンの幅、及び高さの情報を、選択パターン形状決定部１４６、及び選択パターン位置決定部１４８に与える。
【００７４】
図３を参照して、傾き検出部１４４は、撮影した画像データの傾きを検出する。例えば、画像データのピクセルを走査し、ブラックマスクの像であると思われる線を検出し、線のずれから、傾きを特定する。例えば図７に示す画像３００においては、上記のようにブラックマスクの像が縦、横ともに９ピクセル間隔で並んでおり、縦又は横方向へのずれは生じていない。この場合、画像３００に傾きはないと特定される。これに対し、図１０に示す画像３４０においては、ブラックマスクの像であると思われる線が８ピクセルにつき１ピクセルずれているので、傾きは１／８であると特定される。傾き検出部１４４は、特定した傾きの情報を選択パターン形状決定部１４６及び選択パターン位置決定部１４８に与える。
【００７５】
選択パターン形状決定部１４６は、周期パターン検出部１４０から画像データを受け、さらに、パターン間隔検出部１４２と傾き検出部１４４とからそれぞれ周期パターン間隔の情報と傾きの情報とを受けたことに応答して、選択パターンの形状を決定する。
【００７６】
例えば、１ドット分の像における中心ピクセル及びその付近のピクセルを選択パターンとして決定する。図７に示す画像３００においては、周期パターンの大きさは縦横各９ピクセルであるため、１ドットにより表示された情報は、９ピクセル四方の正方形に配列されたピクセルの集まりから抽出することができる。ただし、図７に示す画像３００においては、１つの周期パターンにつき、縦及び横にそれぞれ一本ずつ、ブラックマスクの像が幅１ピクセルで映っている。ブラックマスクの像は液晶表示パネル１０２上で表示された情報とは無関係な像である。そのため、選択パターン形状を、例えば９ピクセル四方の正方形から周囲１ピクセル分を除外した７ピクセル四方の正方形とする。
【００７７】
さらに、１ドット分の像における境界部分の影響を排除するために、上下左右にマージンをとる。図１１に、境界部分の影響を排除した選択パターンの概要を示す。図１１（Ａ）は、ＣＣＤ１３０の素子上で結像した１ドットの像を模式的に表したものである。図１１（Ａ）を参照して、１ドットの像３６０の境界部分に位置する素子は、ドット３６０の像の一部とドット３６０以外の像とからなる像の信号を発生することになる。
【００７８】
図１１（Ｂ）はドット３６０の像をもとに得られる画像データを模式的に表したものである。図１１（Ｂ）において、境界以外の部分３７０の各ピクセルからは液晶表示パネル１０２上の表示に応じた画素値が得られる。しかし、境界部分３７２，３７４においては、ドット３６０の像の一部とドット３６０以外の像との両方の影響を受けるため、ぼけが生じ適切な画素値が得られない。このような場合、境界部分の影響を排除するために、選択パターンの形状を４ピクセル四方の矩形３８０とする。例えば、図８に示す像３２０においては、周期パターン間隔が横方向５．５ピクセル、縦方向５．７５ピクセルであると検出されている。選択パターンの形状は横３ピクセル縦３ピクセルの矩形になる。多くの場合、周期パターンの大きさよりも２以上小さい大きさの矩形を選択パターンの形状として設定すれば、ブラックマスク及びぼけの影響を排除した選択パターンを得ることができる。選択パターン形状決定部１４６は、選択パターンの形状を表す情報を、選択パターン位置決定部１４８に与える。
【００７９】
選択パターン位置決定部１４８に画像データが与えられ、さらに、周期パターンの大きさ、画像の傾き、及び選択パターンの形状に関する情報が与えられると、選択パターン位置決定部１４８、代表値決定部１５０、２値化処理部１５２、及び再構成部１５４は、逐次的な処理により、画像データ内のドットの像をそれぞれ２値化された１ピクセルに変換する。
【００８０】
選択パターン位置決定部１４８は、例えば、以下のようにして各選択パターンの位置を決定する。
【００８１】
まず、画像データにおける縦及び横のピクセルの数と、周期パターンの大きさとから、画像に映っている縦方向及び横方向のドットの数をそれぞれ概算する。さらに、傾きを考慮して、ドットの数を補正する。さらに補正したドットの数に基づき、符号化後の画像データの高さ及び幅を求め、図３に示す再構成部１５４に与えておく。また、選択パターンの形状における中心ピクセルを定めておく。
【００８２】
続いて、画像中の最も左上にあるドットの像を特定する。このドットの像は、ブラックマスクの像であると思われる線を検出することにより特定できる。さらに、当該ドットの像の中心ピクセルを特定する。そして、ドットの中心ピクセルを、当該ドットの像に対応する選択パターンの中心ピクセルに定める。さらに、選択パターン位置決定部１４８は、決定した選択パターンの位置にある各ピクセルの画素値を代表値決定部１５０に通知するとともに、符号化後の画像データにおける当該ドットの位置を再構成部１５４に与える。
【００８３】
選択パターン位置決定部１４８は、一連の処理で一つのドットにおける選択パターンの位置を決定すると、周期パターンの高さ及び幅、並びに画像の傾きに基づき、逐次的にドットの像における中心ピクセルを特定する。選択パターン位置特定部１４８は以上の動作を繰返すことにより、再構成部１５４には符号化後の画像における各ドットの位置を与えるとともに、当該ドットにおける選択パターン内にある各ピクセルの画素値を代表値決定部１５０に与える。
【００８４】
図１２に、選択パターン位置決定部１４８が図８に示す画像３２０に対して決定する選択パターンの位置の例を示す。図１２を参照して、画像３２０におけるブラックマスクの像以外の部分にそれぞれ、選択パターン４０２Ａ，Ｂ，…が設定される。これらの選択パターンの部分にある像は、液晶表示パネル１０２の表示要素の像である。したがって、選択パターンを構成するピクセルの画素値から、その選択パターンに対応するドットにより表現された濃淡の階調を推定することができる。
【００８５】
図３に示す代表値決定部１５０には、選択パターン位置決定部１４８から、選択パターン４０２Ａ，Ｂ，…ごとに順次、その選択パターンに含まれる各ピクセルの画素値が与えられる。代表値決定部１５０は、一つの選択パターン内にある各ピクセルの画素値が与えられるたびに、それらの画素値の平均値を算出して出力する。この平均値が、選択パターンの代表値となる。
【００８６】
２値化処理部１５２は、代表値決定部１５０が出力する代表値と、予め定められたしきい値とを比較し、代表値がしきい値より大きければ１を、さもなければ０を出力する。しきい値は、例えば２５６階調の画像データであるならば１２８をしきい値にしてもよい。
【００８７】
再構成部１５４は、選択パターン位置決定部１４８から符号化後の画像データの高さ及び幅が与えられたことに応答して、符号化後の画像データの領域を準備し初期化する。準備される画像データにおけるピクセルの数は、符号化前の画像データ内における周期パターンの数すなわち、画像に映っているドットの数とほぼ一致する。
【００８８】
再構成部１５４はさらに、符号化後の画像データにおける当該ドットの位置の通知を選択パターン位置決定部１４８から受け、かつ２値化処理部１５２から０又は１の値の出力を受けたことに応答して、通知された位置に対応するピクセルの画素値を、２値化処理部１５２から出力された値に設定する。
【００８９】
選択パターン位置決定部１４８、代表値決定部１５０、２値化処理部１５２、及び再構成部１５４が、以上の逐次的な処理により、画像データ内の全ドットの像を符号化すると、再構成部１５４は、符号化後の画像データを画像保存部１１２に格納する。
【００９０】
以下に、カラー液晶表示パネルを撮影した画像に対する符号化処理について説明する。
【００９１】
カラー液晶表示パネルを撮影した画像に対する符号化処理の動作は、白黒液晶表示パネルに対するものとほぼ同様である。ただし、周期パターンを検出する処理及びその大きさを特定する処理、並びに代表値を算出する処理においては、カラー液晶表示パネルの構造を考慮した方法によって行なう。
【００９２】
カラー液晶表示パネルの画面を撮影した画像では、周期パターンを検出する際に、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の繰返しが検出される。周期パターンの大きさを特定する際には、カラー液晶表示パネルの周期パターンにおいては、ピクセルの色を順次参照して、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）が繰返される間隔を求める。例えば、図１８に示す画像６２０においては、横方向に伸びるブラックマスクの像が９ピクセル間隔で映っているため、白黒液晶表示パネルの場合と同様の特定方法で、周期パターンの高さを９ピクセルであると特定する。また、画像６２０を横方向に走査した場合、赤（Ｒ）の成分が他の成分より高い値になっているピクセルが３ピクセル連続する部分、緑（Ｇ）の成分が他の成分より高い値になっているピクセルが３ピクセル連続する部分、青（Ｂ）の成分が他の成分より高い値になっているピクセルが３ピクセル連続する部分が、この順で繰返し検出される。そのため、この画像６２０における周期パターンの幅は９ピクセルであると特定する。
【００９３】
カラー液晶表示パネルの画面を撮影した画像であっても、選択パターンの形状は白黒液晶表示パネルの画面を撮影した画像の場合と同様の手順で設定する。すなわち、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の３原色の周期パターンを１つのドットとみなす。したがって、図１８に示す像６２０においては、選択パターン形状は、７ピクセル四方の矩形に設定される。したがって、選択パターン内には、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各表示要素の像が混在する。
【００９４】
代表値を決定する際には、選択パターン内のピクセルにおける赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各成分を総合して１つの代表値を算出する。したがって、本実施の形態に係る符号化処理では、カラー液晶表示パネルの画像を元に、２値化された画像データが得られることになる。
【００９５】
図１３に、図１５に示す画像６００のデータを符号化することにより得られる画像の一例を示す。図１３を参照して、画像６００における周期パターンとピクセルとの関係が図１８に示すような関係にあった場合、画像４２０は、図１５に示す画像６００に対して縦横ともに１／９のサイズになる。また、画像４２０においては、図１５に示す画像６００の文字部分は黒に、それ以外の部分は白に２値化されており、ドットの影響による周期的な模様は除去され鮮明な画像となっている。
【００９６】
（文字認識）
図１に示す制御部１１８から文字認識部１１４に対し上記の（１）に要求に対応する命令が与えられ、かつ画像データが画像保存部１１２に保存されると、文字認識部１１４は、格納された画像データをもとに文字認識を行ない、その結果を認識結果保存部１１６に保存する。ここで行なわれる文字認識の処理は、一般的に知られている文字認識の処理でよい。
【００９７】
符号化処理により符号化された画像データ（例えば図１３に示す画像４２０）を用いて文字認識を行なうと、液晶表示パネル１０２が画像の表示に用いたと思われる画像データと同程度に鮮明でありかつデータ量の少ない画像のデータをもとに、文字認識が行なわれることになる。このように周期パターンを利用することで情報の量を削減し、かつ鮮明な画像を生成することが可能である。また、適切な２値化を行なうことが可能であるため、文字認識をする際の認識率の向上が期待できる。
【００９８】
なお、上記の実施の形態では、画像の傾きに基づく補正を行なったが、本発明はこのような実施の形態には限定されない。例えば、レンズ収差による歪なども周期パターンをもとに検知可能である。そのため、これら収差による歪を補正するようにしてもよい。
【００９９】
上記の実施の形態では、代表値の計算方法として、画素値の平均をとる方法を例示したが、代表値の算出方法は、このような方法には限定されない。例えば、画素値の分布をとり、上位又は下位の画素値を除去し、残りの画素値の平均をとるようにし、画素値が極端に違うピクセルの影響を除去してもよい。また、画素値の分布をとり、その中心値を代表値として定めるようにしてもよい。
【０１００】
上記の実施の形態では、予め定められたしきい値と代表値との比較を逐次的に行ない、２値化の処理を行なったが、２値化の方法はこのような方法には限定されない。例えば、全ての選択パターンについての代表値を蓄積しておき、代表値の最大値と最小値を調べて（最大値＋最小値）／２の値を算出し、その値をしきい値に設定し、その上で各代表値としきい値との比較を行なうようにしてもよい。
【０１０１】
上記の実施の形態では、画像加工部１１０は、元の画像データから、各ピクセルが白黒２値の画像データを生成した。しかし、本発明は、このような実施の形態には限定されない。代表値をそのまま該当するピクセルの画素値にすることにより、グレースケールの画像データを得ることができる。
【０１０２】
また、カラー液晶表示パネルの画面を撮影した画像であれば、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の表示要素の像からそれぞれ、画素値における赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の成分を得て、その組合せによってカラーの代表値を得ることもできる。この場合、さらに、カラー液晶表示パネルの１ドット分の画像からカラーの代表値を得る場合、１つのドットにおける三原色の情報を色ごとに抽出できるよう、選択パターンを色ごとに設定することが望ましい。図１４に、そのような選択パターンの形状及び位置の例を示す。図１４に示す画像は、図１８に示す画像６２０と同様に、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各表示要素の像がそれぞれ幅３ピクセル高さ８ピクセルの像を形成している。
【０１０３】
このような周期パターンを持つ画像データに対して、選択パターンの形状としてそれぞれ幅１ピクセル高さ８ピクセルの３つの矩形からなる選択パターン５１０Ａ，５１０Ｂを選択パターンの形状として定めるようにしてもよい。さらに、一つのドットに対応する選択パターン３つの矩形に対しそれぞれ赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の成分を関連付けておく。代表値を決定する際には、１つの選択パターン内にある１つの矩形から、その矩形に対応する色の成分について代表値を得る。そして得られた３つの成分の代表値から、加法混色により色を表現するためのカラーの画素値を作り、選択パターンの代表値とする。このようにして決定された代表値をそのまま該当するピクセルの画素値にすることにより、元の画像データから鮮明かつサイズの小さなカラーの画像データを生成できる。
【０１０４】
なお、上記の実施の形態における周期パターンは例示であって、実際には液晶表示パネルのドットの構造に応じてさまざまな周期パターンが想定される。例えば、カラー液晶表示パネルにおける赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各表示要素の間に、ブラックマスクがあるものなどが想定される。その場合においても、画素値の周期的な変動は検出できる。したがって、選択パターンの形状を、その周期パターンに適したものに設定しさえすれば、適切な符号化を行なうことが可能である。
【０１０５】
また、上記の実施の形態では、液晶表示パネル１０２を撮影した画像について、周期パターンに基づく加工を行なった。しかし、加工の対象となる画像は、液晶表示パネル１０２を撮影した画像には限定されない。上記の加工は、マトリクス状及びそれに類する配置の複数のドットからなるマトリクス型表示装置の画面を撮影した画像、並びに液晶表示パネルと同様に周期的なパターンを持つ被写体を撮影した画像に適用できる。
【０１０６】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【図面の簡単な説明】
【０１０７】
【図１】画像処理装置１００の構成を示す図である。
【図２】画像入力部１０８の構成を示す図である。
【図３】画像加工部１１０の機能的構成を示す図である。
【図４】周期パターンの例を示す模式図である。
【図５】画像処理装置１００が実行する処理の制御構造を示す図である。
【図６】図５に示す符号化処理の流れを示す図である。
【図７】画像加工部１１０による加工の概要を説明するための模式図である。
【図８】ブラックマスクの像が映っている画像の一例を示す模式図である。
【図９】図８に示す画像により特定される周期パターンの大きさを示す模式図である。
【図１０】傾きのある周期パターンの発生した画像の一例を示す模式図である。
【図１１】ドットのサイズ、画像上でのドットの像、及び当該ドットの像に対応する選択パターンの形状を示す模式図である。
【図１２】図８に示す画像について決定される選択パターンを示す模式図である。
【図１３】符号化処理により生成される画像の一例を示す図である。
【図１４】カラー液晶パネルを撮影した画像に対応する選択パターンの一例を示す模式図である。
【図１５】カラー液晶パネルに表示された文字を撮影することにより得られた画像の一例を示す図である。
【図１６】図１５に示す画像の部分拡大図である。
【図１７】図１６に示す画像に発生する周期パターンを説明するための模式図である。
【図１８】カラー液晶表示パネルに表示された画像を撮影することにより得られる画像のピクセルと、カラー液晶表示パネルのドットとを示す模式図である。
【図１９】白黒液晶表示パネルに表示された画像に発生する周期パターンを説明するための模式図である。
【図２０】白黒液晶表示パネルに表示された画像を撮影することにより得られる画像のピクセルと、カラー液晶表示パネルのドットとを示す模式図である。
【符号の説明】
【０１０８】
１００ 画像処理装置、１０２ 液晶表示パネル、１０４ 入力装置、１０６ 出力装置、１０８ 画像入力部、１１０ 画像加工部１１０ 画像保存部、１１４ 文字認識部、１１６ 認識結果保存部、１１８ 制御部、１３０ ＣＣＤ、１３２ Ａ／Ｄコンバータ、１３４ 画像メモリ、１３６ 撮影制御部、１４０ 周期パターン検出部、１４２ パターン間隔検出部、１４４ 傾き検出部、１４６ 選択パターン形状決定部、１４８ 選択パターン位置決定部、１５０ 代表値決定部、１５２ ２値化処理部、１５４ 再構成部
【特許請求の範囲】
【請求項１】
マトリクス状に配置された複数のドットからなるマトリクス型表示装置の画面を撮影することにより得られる画像を符号化するための画像処理装置であって、
前記画像が与えられたことに応答して、前記画像上に繰返し現れる周期パターンを検出するためのパターン検出手段と、
前記パターン検出手段により検出された周期パターンをもとに、前記画像において前記ドットの像の各々に対応する領域を特定し、当該領域の各々に対して所定の特徴量を抽出するための特徴量抽出手段と、
前記ドットの各々に関し前記特徴量抽出手段により抽出された前記特徴量をもとに、前記画像の符号化データを生成するためのデータ生成手段とを含む、画像処理装置。
【請求項２】
前記画像において、前記マトリクス型表示装置の各ドットの像の各々に対応する領域は複数の画素により表現され、
前記特徴量抽出手段は、
前記周期パターンをもとに、前記複数のドットの像の各々に対応する前記画像上での領域を決定するための領域決定手段と、
前記領域決定手段により決定された領域の各々に対し、当該領域を形成する複数の画素の画素値をもとに、当該領域の画素値を代表する代表値を前記領域の特徴量として生成するための代表値生成手段とを含む、請求項１に記載の画像処理装置。
【請求項３】
前記代表値生成手段は、
前記領域決定手段により決定された領域の各々に対し、当該領域を形成する複数の画素の画素値をもとに、当該領域の画素値を代表するグレースケールの値を、前記代表値として生成するための手段を含む、請求項２に記載の画像処理装置。
【請求項４】
前記ドットの各々は、画像の色を表現するための複数の表示要素を含むことがあり、
前記領域決定手段は、
前記周期パターンをもとに、前記複数の表示要素の像の各々に対応する前記画像上での第１の領域を決定するための第１の決定手段と、
前記周期パターンをもとに、前記複数のドットの像の各々に対応する前記画像上での第１の領域の組を決定するための第２の決定手段とを含み、
前記代表値決定手段は、
前記第１の領域の各々に対し、当該第１の領域を形成する複数の画素の画素値をもとに、当該第１の領域の画素値を代表する要素別代表値を生成するための第１の生成手段と、
前記第２の決定手段により決定された組にしたがい、前記複数のドットの像の各々に対応する複数の前記要素別代表値をもとに、当該領域の画素値を代表する代表値を生成するための第２の生成手段とを含む、請求項２に記載の画像処理装置。
【請求項５】
前記データ生成手段は、前記ドットの各々に関する前記領域の画素値を代表する代表値を前記周期パターンに基づき再構成して、前記画像に対応する新たな画像のデータを生成するための画像データ生成手段を含む、請求項２〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記特徴量抽出手段はさらに、前記代表値生成手段により生成された代表値の各々を２値化するための２値化処理手段を含み、
前記データ生成手段は、前記各ドットの各々に関し前記２値化処理手段により２値化された代表値を前記周期パターンに基づき再構成して、前記画像に対応する新たな２値画像のデータを生成するための２値画像データ生成手段を含む、請求項２に記載の画像処理装置。
【請求項７】
前記画像は、前記マトリクス型表示装置の画面に表示された文字を撮影することにより得られる画像を含むことがあり、
さらに、前記データ生成手段により生成された前記符号化データが与えられたことに応答して、当該符号化データをもとに前記画像に関する文字認識を行ない、認識結果を表す文字情報を出力するための文字認識手段を含む、請求項１〜請求項６のいずれかに記載の画像処理装置。
【請求項８】
さらに、前記周期パターンをもとに、前記符号化データを補正するためのデータ補正手段を含む、請求項１〜請求項７のいずれかに記載の画像処理装置。
【請求項９】
さらに、マトリクス型表示装置の画面を撮影し、撮影により得られた画像を前記パターン検出手段に与えるための撮影手段を含む、請求項１〜請求項８のいずれかに記載の画像処理装置。
【請求項１０】
コンピュータにより実行されると当該コンピュータを請求項１〜請求項９のいずれかに記載の画像処理装置として動作させる、コンピュータプログラム。
【請求項１１】
請求項１０に記載のコンピュータプログラムが記録された、コンピュータで読出可能な記録媒体。
【請求項１】
マトリクス状に配置された複数のドットからなるマトリクス型表示装置の画面を撮影することにより得られる画像を符号化するための画像処理装置であって、
前記画像が与えられたことに応答して、前記画像上に繰返し現れる周期パターンを検出するためのパターン検出手段と、
前記パターン検出手段により検出された周期パターンをもとに、前記画像において前記ドットの像の各々に対応する領域を特定し、当該領域の各々に対して所定の特徴量を抽出するための特徴量抽出手段と、
前記ドットの各々に関し前記特徴量抽出手段により抽出された前記特徴量をもとに、前記画像の符号化データを生成するためのデータ生成手段とを含む、画像処理装置。
【請求項２】
前記画像において、前記マトリクス型表示装置の各ドットの像の各々に対応する領域は複数の画素により表現され、
前記特徴量抽出手段は、
前記周期パターンをもとに、前記複数のドットの像の各々に対応する前記画像上での領域を決定するための領域決定手段と、
前記領域決定手段により決定された領域の各々に対し、当該領域を形成する複数の画素の画素値をもとに、当該領域の画素値を代表する代表値を前記領域の特徴量として生成するための代表値生成手段とを含む、請求項１に記載の画像処理装置。
【請求項３】
前記代表値生成手段は、
前記領域決定手段により決定された領域の各々に対し、当該領域を形成する複数の画素の画素値をもとに、当該領域の画素値を代表するグレースケールの値を、前記代表値として生成するための手段を含む、請求項２に記載の画像処理装置。
【請求項４】
前記ドットの各々は、画像の色を表現するための複数の表示要素を含むことがあり、
前記領域決定手段は、
前記周期パターンをもとに、前記複数の表示要素の像の各々に対応する前記画像上での第１の領域を決定するための第１の決定手段と、
前記周期パターンをもとに、前記複数のドットの像の各々に対応する前記画像上での第１の領域の組を決定するための第２の決定手段とを含み、
前記代表値決定手段は、
前記第１の領域の各々に対し、当該第１の領域を形成する複数の画素の画素値をもとに、当該第１の領域の画素値を代表する要素別代表値を生成するための第１の生成手段と、
前記第２の決定手段により決定された組にしたがい、前記複数のドットの像の各々に対応する複数の前記要素別代表値をもとに、当該領域の画素値を代表する代表値を生成するための第２の生成手段とを含む、請求項２に記載の画像処理装置。
【請求項５】
前記データ生成手段は、前記ドットの各々に関する前記領域の画素値を代表する代表値を前記周期パターンに基づき再構成して、前記画像に対応する新たな画像のデータを生成するための画像データ生成手段を含む、請求項２〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記特徴量抽出手段はさらに、前記代表値生成手段により生成された代表値の各々を２値化するための２値化処理手段を含み、
前記データ生成手段は、前記各ドットの各々に関し前記２値化処理手段により２値化された代表値を前記周期パターンに基づき再構成して、前記画像に対応する新たな２値画像のデータを生成するための２値画像データ生成手段を含む、請求項２に記載の画像処理装置。
【請求項７】
前記画像は、前記マトリクス型表示装置の画面に表示された文字を撮影することにより得られる画像を含むことがあり、
さらに、前記データ生成手段により生成された前記符号化データが与えられたことに応答して、当該符号化データをもとに前記画像に関する文字認識を行ない、認識結果を表す文字情報を出力するための文字認識手段を含む、請求項１〜請求項６のいずれかに記載の画像処理装置。
【請求項８】
さらに、前記周期パターンをもとに、前記符号化データを補正するためのデータ補正手段を含む、請求項１〜請求項７のいずれかに記載の画像処理装置。
【請求項９】
さらに、マトリクス型表示装置の画面を撮影し、撮影により得られた画像を前記パターン検出手段に与えるための撮影手段を含む、請求項１〜請求項８のいずれかに記載の画像処理装置。
【請求項１０】
コンピュータにより実行されると当該コンピュータを請求項１〜請求項９のいずれかに記載の画像処理装置として動作させる、コンピュータプログラム。
【請求項１１】
請求項１０に記載のコンピュータプログラムが記録された、コンピュータで読出可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００６−３５０４４０（Ｐ２００６−３５０４４０Ａ）
【公開日】平成１８年１２月２８日（２００６．１２．２８）
【国際特許分類】
【出願番号】特願２００５−１７２４３１（Ｐ２００５−１７２４３１）
【出願日】平成１７年６月１３日（２００５．６．１３）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成１８年１２月２８日（２００６．１２．２８）
【国際特許分類】
【出願日】平成１７年６月１３日（２００５．６．１３）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]