表示装置
【課題】表示画面上の異物を正確に取り除き、正確な入力操作の検出が可能な表示装置を提供する。
【解決手段】表示装置１は、表示部３、撮像部５、欠陥領域判定部６及び画像処理部７を備えている。撮像部５は、タッチパネル機能を有する表示画面１０から入射する光を受光し、受光した当該光に基づいて画像データを生成する。欠陥領域判定部６は、撮像部５が生成した画像データに基づいて、表示画面１０上に存在する被検出物の位置を検出する。画像処理部７は、表示画面１０上における、欠陥領域判定部６が検出した被検出物の位置を表す欠陥領域画像と、表示画面１０上における被検出物以外の他の位置を表し、欠陥領域画像とは表示形式の異なる非欠陥領域画像とを含む欠陥領域通知画像を生成する。そして、表示部３は、欠陥領域通知画像を表示画面１０に表示する。
【解決手段】表示装置１は、表示部３、撮像部５、欠陥領域判定部６及び画像処理部７を備えている。撮像部５は、タッチパネル機能を有する表示画面１０から入射する光を受光し、受光した当該光に基づいて画像データを生成する。欠陥領域判定部６は、撮像部５が生成した画像データに基づいて、表示画面１０上に存在する被検出物の位置を検出する。画像処理部７は、表示画面１０上における、欠陥領域判定部６が検出した被検出物の位置を表す欠陥領域画像と、表示画面１０上における被検出物以外の他の位置を表し、欠陥領域画像とは表示形式の異なる非欠陥領域画像とを含む欠陥領域通知画像を生成する。そして、表示部３は、欠陥領域通知画像を表示画面１０に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に関し、特に、画面に対して行われた入力操作を受け付けるタッチパネル機能を有する表示画面を備えた表示装置に関する。
【背景技術】
【０００２】
従来、ユーザが表示画面に直接触れることにより入力操作する、タッチパネル技術が開発されている。タッチパネル技術において、ユーザの入力操作を検出する方式として、光学方式、静電容量方式、抵抗膜方式、超音波方式等がある。これらのタッチパネル技術は「利用者が画面に直接触れること」を前提としているため、画面に埃や油脂、ごみ、傷等の異物が付着するという問題は避けられない。特に、表示画面を撮像して得られた画像から入力操作を検出する光学方式のタッチパネルにおいては、異物が付着した場合、取り込んだ画像に不適切な領域が現れ、正確な検出ができないという問題が生じる。
【０００３】
この問題を解決するために、取り込んだ画像から不適切な領域を取り除く画像処理を行う方法が挙げられる。このような画像処理方法として、特許文献１には、取り込んだ画像中の異物の位置を取得し、取得した位置の画像を補正することによって、画像中から異物を除去する画像処理方法が記載されている。特許文献１の画像処理方法においては、異物の存在した状態の画像を表示画面に表示し、ユーザが当該画像に基づいて異物の存在する位置を指定することによって、異物の位置を検出する。そして、検出した異物を構成する画素の画素値と、その近傍の画素の画素値とを置換することによって、画像中から異物を取り除く。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３２６２６５号公報（２００４年１１月１８日）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の画像処理方法では、異物の位置をユーザが指定する必要があり、ユーザの利便性に欠ける。また、異物を構成する画素の画素値とその近傍の画素の画素値とを置換する画像処理は、異物が存在する位置の画像をその近傍の画像から推定して置換する処理であるため、正確な置換ができず、正確な異物の除去が達成できないという問題がある。
【０００６】
本発明は上記問題点に鑑みてなされたものであり、その目的は表示画面上の異物を正確に取り除き、正確な入力操作の検出が可能な表示装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明は、表示画面に入力された入力操作を検出する機能を有する表示画面を備えた表示装置であって、上記表示画面から入射する光を受光し、受光した当該光に基づいて画像データを生成する撮像手段と、上記撮像手段が生成した上記画像データに基づいて、上記表示画面上に存在する被検出物の位置を検出する検出手段と、上記表示画面上における、上記検出手段が検出した上記被検出物の位置を表す欠陥領域画像と、上記表示画面上における上記被検出物以外の他の位置を表し、上記欠陥領域画像とは表示形式の異なる非欠陥領域画像とを含む欠陥領域通知画像を生成する画像生成手段と、上記欠陥領域通知画像を上記表示画面に表示する表示手段とを備えていることを特徴としている。
【０００８】
上記の構成によれば、本発明に係る表示装置は、ユーザが表示画面に入力された入力操作を検出するタッチパネル機能を有している。そして、本発明に係る表示装置は、表示画面上に存在する異物を被検出部として検出し、当該異物の位置をユーザに通知することによって、当該異物の除去をユーザに促す。すなわち、表示画面に付着した異物（被検出部）を撮像した画像データを、表示画面から入射する光に基づいて撮像手段が生成する。そして、検出手段は、撮像手段が生成した画像データに基づいて、被検出物の位置を検出する。画像生成手段は、検出手段の検出結果に基づいて、表示画面上における被検出物の存在する位置を表す欠陥領域画像と、表示画面上における被検出物が存在する位置以外の他の位置を表す非欠陥領域画像とを含む欠陥領域通知画像を生成する。このとき欠陥領域画像と非欠陥領域画像とは、表示形式が異なっている。そして、表示手段が当該欠陥領域通知画像を表示画面に表示することによって、ユーザに異物の存在を通知する。
【０００９】
このように、表示画面を撮像して得られた画像データから、異物の存在位置を検出し、その異物の存在位置をユーザに通知する画像を生成して、撮像の対象となった表示画面に表示することによって、撮像による入力処理と生成した通知画像の出力処理とを同一の表示画面において行うことができる。したがって、表示画面上における異物の位置を正確にユーザに通知することが可能であり、ユーザが通知された位置にある異物を取り除くことによって、確実に表示画面上の異物を取り除くことができる。結果として、表示画面のタッチパネル機能による検出精度の低減を防止し、表示画面に入力された入力操作の正確な検出が可能である。
【００１０】
また、本発明に係る表示装置において、上記画像生成手段は、上記欠陥領域画像が上記表示画面上における上記被検出物の位置に表示されるように、上記欠陥領域通知画像を生成することが好ましい。
【００１１】
これにより、画像生成手段は、表示画面において異物が存在する位置に、欠陥領域画像が表示されるように、欠陥領域通知画像生成するので、ユーザはより容易に表示画面上の異物の位置を認識することができる。
【００１２】
また、本発明に係る表示装置において、上記画像生成手段は、上記表示画面を縮小した子画面画像を含み、上記子画面内において、上記表示画面上における上記被検出物の位置に対応する位置に、上記欠陥領域画像が表示されるように上記欠陥領域通知画像を生成することが好ましい。
【００１３】
上記の構成によれば、欠陥領域通知画像を全画面表示すると、ユーザの操作入力を受け付ける入力ボタン等の既存の表示と欠陥領域画像とが重なり、ユーザが異物の存在する位置を確認しづらい場合であっても、このような既存の表示と重ならない位置に表示した子画面内に欠陥領域通知画像を表示することによって、ユーザはより容易に表示画面上の異物の位置を認識することができる。すなわち、欠陥領域通知画像を全画面表示したときに、異物が存在する位置に対応するような子画面の位置に欠陥領域画像が表示されるように欠陥領域通知画像を生成することによって、子画面を確認したユーザが、異物の存在する位置を容易に認識することができる。
【００１４】
また、本発明に係る表示装置において、上記画像生成手段は、上記欠陥領域画像と上記非欠陥領域画像との明度又は色相が異なる上記欠陥領域通知画像を生成することが好ましい。このように、欠陥領域画像と非欠陥領域画像の明度又は色相を異ならせた欠陥領域通知画像を生成して表示画面に表示することによって、ユーザが欠陥領域画像と非欠陥領域画像とを区別しやすくなる。その結果、ユーザが異物の存在する位置をより容易に認識することができる。
【００１５】
さらに、本発明に係る表示装置において、上記表示手段は、上記撮像手段が上記表示画面から入射する光を受光するとき、短波長の色の画像、又は波長の異なる複数の短波長の色を組み合わせた色の画像を上記表示画面に表示させることが好ましい。このように、撮像手段が表示画面から入射する光を受光するときに、撮像手段がより感度よく受光することが可能な波長の色が表示画面に表示されているので、撮像手段がより感度よく受光することが可能な波長の色の光が、表示画面から撮像手段に入射する。したがって、撮像手段が生成する画像データにおける異物の存在する位置とその他の位置とのコントラストがより大きくなり、検出手段による異物の検出精度が向上する。
【００１６】
また、本発明に係る表示装置において、上記表示手段は、明度の低い上記色の画像を上記表示画面に表示させることが好ましい。これにより、撮像手段による表示画面から入射する光の受光中に、表示画面に所定の色の画像を表示するときの消費電力を低減させることができる。
【００１７】
さらに、本発明に係る表示装置において、上記表示手段は、上記撮像手段が上記表示画面から入射する光を受光するとき、波長の異なる複数の色を組み合わせた、広範囲の波長を含む色の画像を上記表示画面に表示させることが好ましい。このように、より広範囲の波長を含む色の画像を表示画面に表示させることによって、白色に近い画像を表示画面に表示させる。これにより、撮像手段はより感度よく表示画面から入射する光を受光することが可能であり、撮像手段が生成する画像データにおける異物の存在する位置とその他の位置とのコントラストがさらに大きくなる。したがって、検出手段は、より微細な異物や、光の透過性の高い異物であっても、精度よく検出することができる。
【００１８】
また、本発明に係る表示装置において、上記検出手段は、上記画像データにおいて、予め定められた所定の領域に存在する被検出物の位置を検出することが好ましい。上記の構成によれば、予め異物の存在が予想される範囲を検出領域として定め、検出手段が当該領域においてのみ異物を検出するようにできるので、消費電力を低減することができる。
【００１９】
さらに、本発明に係る表示装置において、上記検出手段は、上記画像データ中の画素の平均輝度を算出し、画素の輝度と当該平均輝度との差が、予め定められた所定の閾値よりも大きい場合に、当該画素を欠陥画素であると判定し、上記欠陥画素からなる領域を被検出物の位置として検出することが好ましい。これにより、表示画面において異物が存在する位置を正確に検出することができる。
【００２０】
また、本発明に係る表示装置において、上記閾値は、上記被検出物の光の透過性に応じて予め定められるものであり、上記検出手段は、上記閾値がより低いときに検出した上記被検出物を、光の透過性が高い付着物であると判定し、上記画像生成手段は、上記検出手段の判定結果に基づいて、上記被検出物が光の透過性の高い付着物であることを示す画像を含む欠陥領域通知画像を生成することが好ましい。
【００２１】
上記の構成によれば、検出手段は、異物の性質に応じて、より正確に異物の位置を検出することが可能であり、また、検出した異物の性質を判定することができる。そして、画像生成手段が、検出手段が判定した異物の性質をユーザに通知する画像を含む欠陥領域通知画像を生成し、これを表示画面に表示することによって、ユーザは異物の性質に応じて適切に異物を取り除くことができる。
【００２２】
例えば、検出手段は閾値がより低いときに検出した異物を光透過性の高い指紋等の油脂であると判定し、画像生成手段が、油脂の存在位置と共に、異物が油脂であることを示す文字列を含む欠陥領域通知画像を生成する。そして、表示手段が、当該画像を表示画面に表示することによって、ユーザは、異物が油脂であることを認識し、表示画面を布なので拭うことによって油脂を確実に取り除くことができる。
【００２３】
また、本発明に係る表示装置において、上記撮像手段は、上記表示手段が上記欠陥領域通知画像を上記表示画面に表示した後に、上記表示画面から入射する光を受光し、受光した当該光に基づいて傷検出画像データを生成し、上記検出手段は、上記傷検出画像データに基づいて、上記表示画面上に存在する上記被検出物の位置を検出し、当該被検出物の位置が、上記画像データに基づいて検出した上記被検出物の位置と同一であるとき、当該被検出物を恒久的な付着物であると判定し、上記画像生成手段は、上記検出手段の判定結果に基づいて、上記被検出物が恒久的な付着物であることを示す画像を含む欠陥領域通知画像を生成することが好ましい。
【００２４】
上記の構成によれば、欠陥領域通知画像を表示画面に表示して異物の存在位置をユーザに通知した後に、再度撮像手段は、表示画面から入射する光を受光して傷検出画像データを生成する。そして、検出手段は、傷検出画像データに基づいて異物の存在する位置を検出し、検出した異物の位置が、直前に撮像手段が生成した画像データに基づいて検出した異物の位置と同一である場合、異物の位置をユーザに通知したにも関わらず、ユーザが異物を除去することができない異物、すなわち傷等の恒久的に付着した異物であると判定する。そして、この判定結果に基づいて、画像生成手段は、恒久的な付着物が表示画面上に存在することを示す画像を含む欠陥領域通知画像を生成する。
【００２５】
このように、検出した異物の位置をユーザに通知した後に、再度同じ位置に異物を検出した場合に、当該異物を傷等であると判断するような、２段階の異物検出処理を行うことによって、除去可能な異物と除去が困難な異物とを区別し、検出した異物の性質をユーザに通知することができる。
【００２６】
また、本発明に係る表示装置において、上記撮像手段は、上記表示画面から入射する光を受光する受光素子を、上記表示画面の各画素に対してそれぞれ複数備え、当該受光素子は、上記画素の対角線の一方に対応する位置に沿って配置されていることが好ましい。このように複数の受光素子により、表示画面から入射する光を受光することによって、より微小な花粉等の異物に対する検出率が向上する。
【００２７】
さらに、本発明に係る表示装置において、上記表示画面の隣接する上記画素間において、上記受光素子が配列した対角線同士が９０度の角をなすように、上記受光素子を配置したことが好ましい。これにより、各画素間における受光素子同士の干渉を防止し、表示画面におけるモアレ、フリッカ等の不具合の発生を低減することができる。
【００２８】
また、本発明に係る表示装置において、上記撮像手段は、１つの画素に対して複数備えられた上記受光素子の少なくとも１つによって、上記表示画面から入射する光を受光することが好ましい。上記の構成によれば、表示画面から入射する光の受光に用いる受光素子を限定し、使用する受光素子のみをＯＮとし、使用しない受光素子をＯＦＦすることができるので、消費電力を低減することができる。
【発明の効果】
【００２９】
本発明は、表示画面に入力された入力操作を検出する機能を有する表示画面を備えた表示装置であって、上記表示画面から入射する光を受光し、受光した当該光に基づいて画像データを生成する撮像手段と、上記撮像手段が生成した上記画像データに基づいて、上記表示画面上に存在する被検出物の位置を検出する検出手段と、上記表示画面上における、上記検出手段が検出した上記被検出物の位置を表す欠陥領域画像と、上記表示画面上における上記被検出物以外の他の位置を表し、上記欠陥領域画像とは表示形式の異なる非欠陥領域画像とを含む欠陥領域通知画像を生成する画像生成手段と、上記欠陥領域通知画像を上記表示画面に表示する表示手段とを備えているので、表示画面上における異物の位置を正確にユーザに通知することが可能であり、ユーザが通知された位置にある異物を取り除くことによって、確実に表示画面上の異物を取り除くことができる。結果として、表示画面に入力された入力操作の正確な検出が可能である。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態に係る表示装置の概略を示すブロック図である。
【図２】本発明の一実施形態に係る表示装置の外観図である。
【図３】表示部の構成を示すブロック図である。
【図４】図中（ａ）〜（ｅ）は、本発明の一実施形態に係る表示装置の表示画面の遷移を示す図である。
【図５】本発明の一実施形態に係る表示装置によるゴミ検出処理の流れを示すシーケンス図である。
【図６】本発明の一実施形態に係る表示装置による傷検出処理の実行を確認する確認処理の流れを示すシーケンス図である。
【図７】記憶部に記憶された第１テーブルの概略図である。
【図８】本発明の他の実施形態に係る表示装置の表示画面を示す図である。
【図９】図中（ａ）〜（ｇ）は、本発明の他の実施形態に係る表示装置の表示画面の遷移を示す図である。
【図１０】本発明の他の実施形態に係る表示装置における表示設定の変更処理の流れを示すシーケンス図である。
【図１１】記憶部に記憶された第２テーブルの概略図である。
【図１２】図中（ａ）〜（ｃ）は、本発明の他の実施形態に係る表示装置の表示画面を示す図である。
【図１３】図中（ａ）〜（ｉ）は、本発明の他の実施形態に係る表示装置の表示画面の遷移を示す図である。
【図１４】記憶部に記憶された第３テーブルの概略図である。
【図１５】図中（ａ）〜（ｆ）は、本発明の他の実施形態に係る表示装置の表示画面を示す図である。
【図１６】図中（ａ）〜（ｇ）は、本発明の他の実施形態に係る表示装置の表示画面の遷移を示す図である。
【図１７】記憶部に記憶された第４テーブルの概略図である。
【図１８】図中（ａ）〜（ｄ）は、本発明の他の実施形態に係る表示装置の表示画面の遷移を示す図である。
【図１９】図中（ａ）〜（ｃ）は、本発明の他の実施形態に係る表示装置の表示画面の遷移を示す図である。
【図２０】撮像部の要部構成を説明するための断面図である。
【図２１】画素と撮像部の受光素子との関係を説明するための図である。
【図２２】受光素子の配置について説明する図である。
【図２３】図中（ａ）〜（ｃ）は、欠陥領域判定処理を説明するための図である。
【発明を実施するための形態】
【００３１】
〔第１実施形態〕
本発明に係る表示装置及び表示方法の一実施形態について、図１〜図７を参照して以下に説明する。図１は、一実施形態に係る表示装置１の概略を示すブロック図であり、図２は、表示装置１の概観図であり、図３は、表示装置１に備えられた表示部３の構成の概略を示すブロック図である。
【００３２】
（表示装置１）
図１に示すように、表示装置１は、メイン制御部２、表示部（表示手段）３、キー入力部４、撮像部（撮像手段）５、欠陥領域判定部（検出手段）６、画像処理部（画像生成手段）７、及び記憶部８を備えている。また、表示装置１は、図２に示すように、表示画面１０及び入力キー１１を備えている。そして、図３に示すように、表示部３は、ヒストグラム算出部３１、閾値算出部３２、画像補正部３３、及びバックライト制御部３４を備え、メイン制御部２からの指示に基づいて画像表示部３５に画像データを表示させる。
【００３３】
メイン制御部２は、表示装置１が備える各構成部材を制御する。表示装置１において、各構成部材の機能は、特に明示しない限り、メイン制御部２によって制御されている。メイン制御部２は、ユーザが表示画面１０に入力した入力操作に基づいて、撮像部５に画像データを取り込むように指示したり、欠陥領域判定部６に欠陥領域を判定するように指示したりする。また、メイン制御部２は、画像処理部７から取得した画像、及び記憶部８から読み出したデータを、表示部３に表示させるように指示する。
【００３４】
表示部３は、メイン制御部２からの指示に基づいて、メイン制御部２から送られた画像を表示画面１０に表示する。また、表示画面１０に表示する表示内容に応じて、表示画面１０に光を照射するバックライトを制御する。図３に示すように、表示部３のヒストグラム算出部３１は、メイン制御部２から送信された画像データから、当該画像の輝度のヒストグラムを算出する。また、表示部３の閾値算出部３２は、ヒストグラム算出部３１が算出したヒストグラムの最大値を閾値として算出する。すなわち、輝度の大きい方からヒストグラムをサーチし、最初にヒストグラムが現れた箇所の輝度を閾値として算出する。
【００３５】
表示部３のバックライト制御部３４は、閾値算出部３２が算出した閾値に応じた出力輝度の光を照射するようにバックライトの明るさを制御する。画像補正部３３は、閾値算出部３２が算出した閾値に応じて、メイン制御部２から送信された画像データの出力輝度を補正する。画像表示部３５は、バックライト制御部３４の制御によりバックライトを駆動させ、画像補正部３３が補正した画像を表示画面１０に表示させる。バックライト制御部３４によって、バックライトの明るさが調整されることによって、表示画面１０の見た目の出力輝度が低下した場合であっても、画像補正部３３による画像データの出力輝度の補正によって、表示画面１０の見た目の出力輝度が向上するので、表示画面１０における入出力の関係は相殺され、適切な輝度で画像が表示される。
【００３６】
キー入力部４が、ユーザの入力操作を受け付け、当該入力操作を表す入力信号をメイン制御部２に送信する。すなわち、タッチパネル機能を有する表示画面１０に対して入力された入力操作、又は表示装置１の表面において表示画面１０以外の場所に設けられた入力キー１１に対して入力された入力操作を受け付け、当該入力操作を表す入力信号をメイン制御部２に送信する。表示装置１の表面において、表示画面１０以外の場所に設けられる入力キー１１は、ユーザの入力操作を検出してメイン制御部２に伝達できるものであれば、特に限定されない。
【００３７】
撮像部５は、メイン制御部２からの指示に基づいて、被検出物を撮像し、画像データを取り込む。撮像部５による画像データの取り込みは、表示画面１０に照射したバックライト光のうち、表示画面１０上の被検出物に反射して表示画面１０側から戻ってくる光、及び表示画面１０を介して入射する外光を含む、表示画面側から入射する光を受光し、受光した光に基づいて画像データを生成することによって行うことができる。撮像部５は、上記入射光を受光するための受光素子１９３（図２０）を備えており、当該受光素子１９３を複数備えていてもよい。撮像部５が備える受光素子１９３の配置、構成等の詳細については、後述する。
【００３８】
ここで、撮像部５の撮像の対象となる被検出物は、表示画面１０上に存在するゴミ、埃、油脂、傷等の異物であり、この異物を撮像して得られた画像データは、欠陥領域判定部６に送られて異物の判定に用いられ、さらに、画像処理部７に送られて異物の存在する位置と他の位置とを区別し得るような画像であって、異物の存在をユーザに通知するための欠陥領域通知画像の生成に用いられる。また、撮像部５は、表示画面１０を介して入力操作するユーザの指等を撮像し、撮像した画像データを接触検出部（図示せず）が解析することによって、ユーザの入力操作を検出する。ユーザによる表示画面１０に対する入力操作は、表示画面１０に指等が直接接触した場合のみならず、表示画面１０に指等を近接させた場合にも検出される。
【００３９】
欠陥領域判定部６は、撮像部５が取り込んだ画像データを用いて、異物等の被検出物の存在する位置の画素を欠陥画素と判定し、欠陥画素からなる欠陥領域を検出する。欠陥領域判定部６は、この検出結果をメイン制御部２に送信する。欠陥領域判定部６による欠陥領域の検出処理の詳細については後述する。
【００４０】
画像処理部７は、欠陥領域判定部６の検出結果に基づいて、撮像部５が取り込んだ画像データを用いて、欠陥領域と欠陥領域以外の領域（非欠陥領域）とが容易に区別し得るように画像データを補正し、欠陥領域通知画像を生成する。画像データの補正においては、メイン制御部２からの指示に基づいて、欠陥領域と非欠陥領域とで表示形式を異ならせたり、欠陥領域の存在を通知する文字列を追加したりする。画像処理部７による欠陥領域通知画像の生成の詳細については後述する。
【００４１】
記憶部８は、表示装置１で使用する種々のデータを読み出し可能に格納する。記憶部８に格納されるデータには、欠陥画素の判定領域、判定時間、閾値、検出結果の表示方法等が含まれる。記憶部８に記憶されたデータはメイン制御部２からの指示に基づいて読み出され、また、メイン制御部からの指示に基づいてデータが更新又は追加される。
【００４２】
次に、表示装置１によるゴミ検出処理の一実施形態について、図４（ａ）〜（ｅ）を参照して以下に説明する。図４（ａ）〜（ｅ）は、表示装置１の表示画面１０に表示される画面表示の遷移を示す図であり、ゴミ検出処理において、表示画面１０は、図４（ａ）〜（ｅ）に示すように遷移する。本実施形態において、表示画面１０はタッチパネル機能を有し、表示手段と入力手段とが一体となったものであり、後述する他の実施形態においても同様である。
【００４３】
まず、図４中（ａ）に示す表示画面１０において、メニュー画面からゴミ検出ツールが選択され、この選択入力に基づいて、図４中（ｂ）に示すように、表示画面１０にゴミ検出ツールのメニュー画面が表示される。次に、図４中（ｂ）に示すゴミ検出ツールのメニュー画面において、「１．ゴミ検出」が選択され、この選択入力に基づいて、メイン制御部２はゴミ検出の処理モード情報を記憶部８から読み出し、図４中（ｃ）に示すように表示画面１０に表示させる。
【００４４】
そして、図４中（ｃ）のノーマルモードが選択されたとき、メイン制御部２は、撮像部５及び欠陥領域判定部６を駆動してゴミ検出処理を行う。ここで、図４中（ｃ）に示すように、表示画面１０の下側には、選択したメニューの簡単な説明が表示されるようになっていてもよく、他の実施形態においても同様である。
【００４５】
ゴミの検出処理中は、図４中（ｄ）に示すように、記憶部８に記憶された所定の表示色を表示画面１０に表示させる。ここでは、ユーザがノーマルモードでのゴミ検出を選択しているので、表示色はシアンとする。ゴミの検出処理が完了し、ゴミが検出された場合、検出結果及び記憶部８に格納された表示方法に基づいて、図４（ｅ）に示すように、検出結果を表す欠陥領域通知画像を生成し、生成した画像を表示画面１０に表示させる。
【００４６】
図４（ｅ）において、検出されたゴミは、表示画面１０におけるゴミが存在する位置に点線で表示され、他の位置とは異なる表示形式で表示されているので、ユーザは表示画面１０上のゴミの存在位置を容易に認識することができる。そして、ユーザが表示画面１０において点線で示された位置からゴミを取り除くことによって、表示画面１０のタッチパネル機能による検出精度の低減を防止することができる。
【００４７】
表示装置１によるゴミ検出処理の流れを、図５を参照してより具体的に説明する。図５は、表示装置１によるゴミ検出処理の流れを示すシーケンス図である。まず、上述したようにユーザがゴミ検出処理の実行を選択したとき、メイン制御部２は、記憶部８からゴミ検出に必要なパラメータを読み出す（ステップＳ４００）。記憶部８においてこれらの情報は、後述する第１テーブル６０（図７）に格納されている。ステップＳ４００において読み出されるパラメータには、表示色、判定領域、判定閾値及び判定時間が含まれる。
【００４８】
次に、ステップＳ４０１において、メイン制御部２は、記憶部８から読み出した表示色を表示画面１０に表示するように、表示部３に指示する。そして、表示画面１０に記憶部８から読み出した表示色を表示させた状態において、メイン制御部２は、撮像部５に画像データを取り込むように指示する（ステップＳ４０２）。撮像部５が取り込んだ画像データに対して、欠陥領域判定部６は、記憶部８から読み出した判定領域、判定閾値及び判定時間において、欠陥領域としてのゴミの有無及びその位置を判定する（ステップＳ４０３）。
【００４９】
そして、ステップＳ４０４において、欠陥領域判定部６からメイン制御部２に欠陥領域の判定結果が通知された場合（Ｙｅｓ）、ステップＳ４０５においてその通知内容が、欠陥領域が存在することを示す通知か否かを判定する。ステップＳ４０４において、欠陥領域判定部６からメイン制御部２に欠陥領域の判定結果が通知されない場合（Ｎｏ）、欠陥領域判定部６から欠陥領域の判定結果が通知されるまで、ステップＳ４０４を繰り返す。
【００５０】
ステップＳ４０５において、欠陥領域判定部６からの欠陥領域の判定結果が、欠陥領域が存在することを示しているとき（Ｙｅｓ）、ステップＳ４０６において、メイン制御部２は、検出された欠陥領域情報に基づいて、検出後の欠陥領域の表示設定を記憶部８から読み出す。一方、ステップＳ４０５において、欠陥領域判定部６からの欠陥領域の判定結果が、欠陥領域が存在しないことを示しているとき（Ｎｏ）、ステップＳ４１１において、メイン制御部２は、欠陥領域非検出時の表示内容を記憶部８から読み出す。そして、メイン制御部２は、記憶部８から読み出した欠陥領域非検出時の表示内容を表示画面１０に表示するように表示部３に指示し（ステップＳ４１２）、ゴミ検出処理を終了する（ＥＮＤ）。
【００５１】
次に、画像処理部７は、ステップＳ４０６において読み出した表示設定、及び欠陥領域判定部６が検出した欠陥領域情報に基づいて、欠陥領域を強調する強調画像、すなわち欠陥領域の位置を表す欠陥領域画像と非欠陥領域の位置を表す非欠陥領域画像とを含む欠陥領域通知画像を作成する（ステップＳ４０７）。メイン制御部２は、ステップＳ４０８において、画像処理部７からの欠陥領域通知画像を作成した旨の通知の有無を判定し、通知がある場合には（Ｙｅｓ）、画像処理部７が作成した欠陥領域通知画像を取得し、さらに記憶部８から欠陥領域検出時の表示内容を読み出す（ステップＳ４０９）。一方、ステップＳ４０８において、画像処理部７から欠陥領域通知画像を作成した旨の通知がない場合（Ｎｏ）、画像処理部７から欠陥領域通知画像を作成した旨の通知があるまで、ステップＳ４０８を繰り返す。
【００５２】
そして、ステップＳ４１０において、メイン制御部２は、画像処理部７から取得した欠陥領域通知画像を、記憶部８から読み出した表示内容で表示画面１０に表示するように、表示部３に指示する。ステップＳ４１０において欠陥領域通知画像を表示画面１０に表示した後、処理Ａにおいて、引き続き傷検出処理を行うか否かの確認処理を行う。当該確認処理について、図６を参照して以下に説明する。図６は、表示装置１による傷検出処理の実行を確認する確認処理の流れを示すシーケンス図である。
【００５３】
確認処理においては、まず、ステップＳ５００において、メイン制御部２が、記憶部８から傷処理確認を行うときの表示内容を読み出す。そして、メイン制御部２は表示部３に、読み出した表示内容を表示画面１０に表示させる（ステップＳ５０１）。このとき表示画面１０には、傷処理を行うか否かをユーザが選択する操作入力を受け付ける選択ボタンが表示される。ステップＳ５０２において、ユーザの操作入力が傷検出することを表す場合（Ｙｅｓ）、傷検出処理を行う。一方、ステップＳ５０２において、ユーザの操作入力が傷検出しないことを表す場合、傷検出処理を行わずに、処理Ａを終了する。
【００５４】
次に図７を参照して、記憶部８に記憶された第１テーブル６０について説明する。図７は、記憶部８に記憶された第１テーブル６０の概略図である。図７に示すように、第１テーブル６０には、異物検出時のパラメータと、検出後の欠陥領域の表示設定及び検出後の表示画面１０の表示内容とが、処理モードに関連付けて格納されている。第１テーブル６０には、処理モードとして、ゴミ検出モード、油脂検出モード、及び傷検出モードの情報が格納されており、ゴミ検出モードはさらに、ノーマルモード、高感度モード及び省電力モードに分かれてそれぞれの情報が格納されている。
【００５５】
ゴミ検出モードにおいて、検出時の表示色は、ノーマルモードにおいてはシアンであり、高感度モードにおいては白、省電力モードにおいては青である。これらの各ゴミ検出モードは表示色のみそれぞれ異なっているが、他は共通している。ここで各ゴミ検出モードについて説明する。
【００５６】
ノーマルモードは、例えば髪の毛のように、直径約５０μｍ〜１５０μｍ程度の通常のゴミを検出するモードである。表示画面１０に、青色と緑色とを組み合わせて短波長のシアンを表示することによって、撮像部５の受光素子１９３が高感度で表示画面１０を撮像できるように設定する。このとき表示部３は通常の消費電力であり、一般的な使用を目的としたモードである。
【００５７】
高感度モードは、例えばスギ花粉等の、直径３０μｍ〜４０μｍ程度の微細なゴミを検出するモードである。表示画面１０に、短波長、中波長及び長波長の広範囲の波長を含む色である、白色を表示することによって、撮像部５の受光素子１９３が最高感度で表示画面１０からの光を受光できるように設定する。このとき、表示画面１０の明度が最大となるため、表示部３の消費電力も最大となる。電池残量に余裕があり、より精度よくゴミを検出することを目的としたモードである。
【００５８】
省電力モードは、例えばほこり等の比較的大きなゴミを検出するモードである。表示画面１０に、短波長で、かつ明度の低い青色を表示することによって、撮像部５の受光素子１９３が通常の感度で表示画面１０を撮像できるように設定する。このとき、表示画面１０には明度の低い青色を表示する。表示画面の明度が低い場合は、バックライトの明るさを下げ、同時に表示画面の明度を補正することで、表示内容への影響を与えず、表示部３の消費電力が抑えられる。したがって、電池残量が少ないときに、有効なモードである。
【００５９】
なお、本実施形態において、短波長、中波長及び長波長の色は、全て可視光領域の波長を意図しており、短波長の色として例えば青色、中波長の色として例えば緑色、長波長の色として例えば赤色が挙げられる。ここで、短波長とは、例えば約３８０ｎｍ〜約４９５ｎｍの範囲であり、中波長とは、例えば約４９５ｎｍ〜約５９０ｎｍの範囲であり、長波長とは、例えば約５９０ｎｍ〜約７５０ｎｍの範囲であることができるが、各範囲内に厳密に限定されるものでないことを当業者は容易に理解する。すなわち、可視光の範囲そのものは厳密に定義されておらず、上記範囲外の波長の色であっても、短波長の色、中波長の色又は長波長の色として使用可能である。
【００６０】
このようなゴミ検出モードに対して、油脂検出モードは、指紋等の光の透過性が高い付着物を検出するモードであり、傷検出モードは、傷等のような、容易に取り除くことができない恒久的についた付着物を検出するモードである。油脂検出モード及び傷検出モードの詳細については後述する。これらの各処理モードは、ユーザによって選択され、選択されたモードによる異物検出処理の後、各モードに関連付けられた、表示設定１〜３、欠陥領域検出時の表示内容、欠陥領域非検出時の表示内容、又は傷処理確認の表示内容で、検出結果が表示画面１０に表示される。
【００６１】
〔第２実施形態〕
表示装置１の他の実施形態について、図８〜１１を参照して以下に説明する。図８は、本実施形態において表示画面１０に表示される子画面表示の一例を示す図であり、図９（ａ）〜（ｇ）は、子画面表示設定するときに、表示画面１０に表示される画面表示の遷移を示す図である。図１０は、表示設定の変更処理の流れを示すシーケンス図であり、図１１は、記憶部８に記憶された第２テーブル１００の概略図である。図８に示すように、本実施形態においては、ゴミが存在する欠陥領域が検出されたとき、検出された欠陥領域の位置を示す画像を子画面に表示する点においてのみ第１実施形態と異なっており、表示装置１の構成及び基本的な異物検出処理については第１実施形態と同様である。したがって、本実施形態においては第１実施形態と異なる点についてのみ説明し、他の詳細については省略する。
【００６２】
図８に示すように、本実施形態において画像処理部７は、欠陥領域画像が、表示画面１０を縮小した子画面内に表示されるような欠陥領域通知画像を作成するようになっている。本実施形態のように欠陥領域を子画面内に表示するのは、欠陥領域画像を表示画面１０においてゴミが存在する位置に表示するような欠陥領域通知画像を作成した場合、ゴミの検出を示す文字列や、ユーザの操作入力を受け付ける入力ボタン等の既存の表示と欠陥領域とが重なり、ユーザが欠陥領域を確認しづらい場合等に特に有効である。このとき、欠陥領域を、子画面が全画面表示された場合に欠陥領域が存在する位置に対応するような子画面の位置に表示することによって、子画面を確認したユーザが、異物が存在する位置を容易に認識できるようになっている。
【００６３】
次に、欠陥領域を子画面表示設定するときに、表示画面１０に表示される画面表示の遷移を、図９（ａ）〜（ｇ）を参照して説明する。まず、図９中（ａ）に示す表示画面１０において、メニュー画面からゴミ検出ツールが選択され、この選択入力に基づいて、図９中（ｂ）に示すように、表示画面１０にゴミ検出ツールのメニュー画面が表示される。次に、図９中（ｂ）に示すゴミ検出ツールのメニュー画面において、「３．各種設定」が選択され、この選択入力に基づいて、図９中（ｃ）に示すように、表示画面１０に各種設定のメニュー画面が表示される。
【００６４】
図９中（ｃ）に示す表示画面において、「１．表示設定１」が選択されると、この選択入力に基づいて、図９中（ｄ）及び（ｆ）に示すように、表示画面１０に表示設定１のメニュー画面が表示される。表示設定１のメニューは、図７の第１テーブル６０に示すように、全画面又はウインドウ表示の何れかを選択するものである。図９中（ｄ）に示すように、表示設定１のメニュー画面において「１．全画面表示」が選択された場合、図９中（ｅ）に示すように、表示画面１０に欠陥領域を含む画像が全画面表示されると共に、全画面表示に設定を変更するか否かを確認する文字列及び選択ボタンを含む画像が表示される。一方、図９中（ｆ）に示すように、表示設定１のメニュー画面において「２．ウインドウ表示」が選択された場合、図９中（ｇ）に示すように、表示画面１０に欠陥領域を示す子画面が表示され、子画面表示に設定を変更するか否かを確認する文字列及び選択ボタンを含む画像が表示される。
【００６５】
図９（ａ）〜（ｇ）に示すような表示設定の変更処理の流れについて、図１０及び図１１を参照して説明する。まず、ステップＳ９００において、メイン制御部２は、記憶部８に記憶された第２テーブル１００から、表示設定１のうちユーザが選択した表示設定に関連付けられた表示内容と参照図とを読み出す。すなわち、ユーザが「１．全画面表示」を選択した場合、第２テーブル１００から、表示設定１の「全画面」に関連付けられた表示内容及び参照図を読み出し、ユーザが「２．ウインドウ表示」を選択した場合、表示設定１の「ウインドウ」に関連付けられた表示内容及び参照図を読み出す。
【００６６】
そして、ステップＳ９０１において、メイン制御部２は表示部３に、読み出した表示内容及び参照図を表示画面１０に表示させる。このとき表示画面１０には、表示設定の変更を行うか否かをユーザが選択する操作入力を受け付ける選択ボタンが表示される（「はい」及び「いいえ」）。ステップＳ９０２において、ユーザの操作入力が表示設定の変更を行うことを表す場合（Ｙｅｓ）、記憶部８の第１テーブル６０の表示設定１を、ユーザが選択した表示設定に変更し（ステップＳ９０３）、表示設定の変更処理を終了する（ＥＮＤ）。一方、ステップＳ９０２において、ユーザの操作入力が表示設定の変更を行わないことを表す場合（Ｎｏ）、記憶部８の第１テーブル６０の表示設定１を変更せず、表示設定の変更処理を終了する（ＥＮＤ）。
【００６７】
本実施形態においては、ユーザが表示設定１の設定変更を行っているが、表示装置１において、欠陥領域と画面レイアウトとを比較して、欠陥領域が他の既存の表示に重なる場合には、欠陥領域を子画面表示すると判定し、自動的に表示設定を変更するようになっていてもよい。
【００６８】
〔第３実施形態〕
表示装置１の他の実施形態について、図１２〜１４を参照して以下に説明する。図１２（ａ）〜（ｃ）は、本実施形態において表示画面１０に表示される画面表示の一例を示す図であり、図１３（ａ）〜（ｉ）は、表示設定変更時に表示画面１０に表示される画面表示の遷移を示す図であり、図１４は、記憶部８に記憶された第３テーブル１３０の概略図である。図１２（ａ）〜（ｃ）に示すように、本実施形態においては、異物が存在する欠陥領域が検出されたときの欠陥領域の明度を、欠陥領域以外の明度と異なるように表示させる点においてのみ第１実施形態と異なっており、表示装置１の構成及び基本的な異物検出処理については第１実施形態と同様である。したがって、本実施形態においては第１実施形態と異なる点についてのみ説明し、他の詳細については省略する。
【００６９】
図１２中（ａ）に示すように、本実施形態において画像処理部７は、欠陥領域の明度を黒に変更し、欠陥領域以外の領域の明度（白）と異なるように表示させる画像を作成するようにするようになっている。また、図１２中（ｂ）に示すように、画像処理部７は、欠陥領域以外の領域の明度を黒に変更し、欠陥領域の明度（白）と異なるように表示させる画像を作成するようになっていてもよい。さらに、図１２（ｃ）に示すように、画像処理部７は、欠陥領域及びこれを囲む周辺領域の明度を黒に変更し、他の領域の明度（白）と異なるように表示させる画像を作成するようになっていてもよい。このように、欠陥領域と欠陥領域以外の他の領域とで、明度が異なるように表示することによって、ユーザが欠陥領域と他の領域とを区別しやすくなり、視認性が向上する。
【００７０】
次に、欠陥領域と欠陥領域以外の他の領域とで、明度が異なるように表示させる表示設定にするときの、表示画面１０に表示される画面表示の遷移を、図１３（ａ）〜（ｉ）を参照して説明する。まず、図１３中（ａ）に示す表示画面１０において、メニュー画面からゴミ検出ツールが選択され、この選択入力に基づいて、図１３中（ｂ）に示すように、表示画面１０にゴミ検出ツールのメニュー画面が表示される。次に、図１３中（ｂ）に示すゴミ検出ツールのメニュー画面において、「３．各種設定」が選択され、この選択入力に基づいて、図１３中（ｃ）に示すように、表示画面１０に各種設定のメニュー画面が表示される。
【００７１】
図１３中（ｃ）に示す表示画面において、「２．表示設定２」が選択されると、この選択入力に基づいて、図１３中（ｄ）、（ｆ）及び（ｈ）に示すように、表示画面１０に表示設定２のメニュー画面が表示される。表示設定２のメニューは、図７の第１テーブル６０に示すように、パターン１〜３の何れかを選択するものである。図１３中（ｄ）に示すように、表示設定２のメニュー画面において「１．パターン１」が選択された場合、図１３中（ｅ）に示すように、欠陥領域の明度が黒で、かつ欠陥領域以外の領域の明度が白の画像が表示画面１０に表示されると共に、欠陥領域の明度を黒として表示するように表示設定を変更するか否かを確認する文字列及び選択ボタンを含む画像が表示される。
【００７２】
一方、図１３中（ｆ）に示すように、表示設定２のメニュー画面において「２．パターン２」が選択された場合、図１３中（ｇ）に示すように、欠陥領域の明度が白で、かつ欠陥領域以外の領域の明度が黒の画像が表示画面１０に表示されると共に、欠陥領域以外の明度を黒として表示するように表示設定を変更するか否かを確認する文字列及び選択ボタンを含む画像が表示される。
【００７３】
また、図１３中（ｈ）に示すように、表示設定２のメニュー画面において「３．パターン３」が選択された場合、図１３中（ｉ）に示すように、欠陥領域及びこれを囲む周辺領域の明度が黒で、かつ他の領域の明度が白の画像が表示画面１０に表示されると共に、欠陥領域及びこれを囲む周辺領域の明度を黒として表示するように表示設定を変更するか否かを確認する文字列及び選択ボタンを含む画像が表示される。
【００７４】
なお、図１３（ａ）〜（ｉ）に示すような表示設定の変更処理については、図１０に示すシーケンス図に示す流れと同様に行うことができるので、その詳細については省略する。図１０のステップＳ９０１において、図１４に示す、記憶部８に記憶された第３テーブル１３０から、表示設定２のうちユーザが選択した表示設定に関連付けられた表示内容と参照図とを読み出す点が、図１０に示す流れと異なっている。そして、同様に、ステップＳ９０３において、第１テーブル６０の表示設定２を、ユーザが選択した表示設定に変更する点において、図１０に示す流れと異なっている。
【００７５】
また、画像処理部７は、上述したような欠陥領域の明度が欠陥領域以外の領域の明度と異なるように表示させる画像を作成する形態以外にも、欠陥領域の色相が欠陥領域以外の領域の色相と異なるように表示させる画像を作成するようになっていてもよい。例えば、欠陥領域の色相を青に変更し、欠陥領域以外の領域の色相（白）と異なるように表示させる画像を作成するようになっている。また、例えば欠陥領域以外の色相を黄に変更し、欠陥領域の色相（黒）と異なるように表示させる画像を作成するようになっている。このような表示設定として、第１テーブル６０の表示設定３にパターン１及びパターン２を格納し、図１４に示す第３テーブル１３０と同様に、これらのパターンに関連付けた表示内容及び参照図を格納したテーブルを、記憶部８が備えていてもよい。このように、欠陥領域と欠陥領域以外の他の領域とで、色相が異なるように表示することによって、ユーザが欠陥領域と他の領域とを区別しやすくなり、視認性が向上する。
【００７６】
〔第４実施形態〕
表示装置１の他の実施形態について、図１５〜１７を参照して以下に説明する。図１５（ａ）〜（ｆ）は、本実施形態において、ゴミ検出中及び検出後に表示画面１０に表示される表示画像の例を示す図であり、図１６（ａ）〜（ｇ）は、ゴミ検出中及び検出後の表示設定を変更するときに、表示画面１０に表示される画面表示の遷移を示す図であり、図１７は、記憶部８に記憶された第４テーブル１６０の概略図である。本実施形態においては、ゴミ検出処理の判定領域を限定する点、及び図１５（ａ）〜（ｆ）に示すように、ゴミ検出中の表示画面１０の画面表示においてのみ第１実施形態と異なっており、表示装置１の構成及び基本的な異物検出処理については第１実施形態と同様である。したがって、本実施形態においては第１実施形態と異なる点についてのみ説明し、他の詳細については省略する。
【００７７】
本実施形態においては、図１５中（ａ）及び（ｂ）に示すように、表示画面１０の上半分をゴミ検出処理の判定領域とし、表示画面１０の上半分に存在するゴミを検出する。このとき欠陥領域判定部６は、撮像部５が撮像した表示画面１０の画像のうち、上半分のみについてゴミ検出処理を行う。これにより、表示装置１の消費電力を低減することができる。このとき、表示部３が表示画面１０の判定領域である上半分のみに所定の表示色を表示したり、撮像部５が表示画面１０の判定領域である上半分のみを撮像した画像データを作成したりすることによっても、表示装置１の消費電力が低減する。
【００７８】
また、図１５中（ｃ）及び（ｄ）に示すように、表示画面１０の下半分をゴミ検出処理の判定領域とし、表示画面１０の下半分に存在するゴミを検出する場合、並びに図１５中（ｅ）及び（ｆ）に示すように、表示画面１０の左半分若しくは右半分をゴミ検出処理の判定領域とし、表示画面１０の左半分若しくは右半分に存在するゴミを検出する場合にも、同様の効果が得られる。
【００７９】
次に、ゴミ検出処理の判定領域の設定を変更するときの、表示画面１０に表示される画面表示の遷移を図１６（ａ）〜（ｇ）を参照して説明する。まず、図１６中（ａ）に示す表示画面１０において、メニュー画面からゴミ検出ツールが選択され、この選択入力に基づいて、図１６中（ｂ）に示すように、表示画面１０にゴミ検出ツールのメニュー画面が表示される。次に、図１６中（ｂ）に示すゴミ検出ツールのメニュー画面において、「３．各種設定」が選択され、この選択入力に基づいて、図１６中（ｃ）に示すように、表示画面１０に各種設定のメニュー画面が表示される。
【００８０】
図１６中（ｃ）に示す表示画面において、「４．領域設定」が選択されると、この選択入力に基づいて、図１６中（ｄ）及び（ｆ）に示すように、表示画面１０に領域設定のメニュー画面が表示される。領域設定のメニューは、図７の第１テーブル６０の判定領域に示す、全領域、上半分、下半分、右半分及び左半分の何れかを選択するものである。図１６中（ｄ）に示すように、領域設定のメニュー画面において「１．全領域」が選択された場合、図１６中（ｅ）に示すように、表示画面１０の全領域がゴミ検出の判定領域になるように設定変更するか否かを確認する文字列及び選択ボタンを含む画像が表示画面１０に表示される。このとき、表示画面１０の文字列及び選択ボタン以外の領域は全て同一の表示形式で表示されている。
【００８１】
一方、図１６中（ｆ）に示すように、領域設定のメニュー画面において「２．上半分」が選択された場合、図１６中（ｇ）に示すように、表示画面１０の上半分の領域がゴミ検出の判定領域になるように設定変更するか否かを確認する文字列及び選択ボタンを含む画像が表示画面１０に表示される。このとき、表示画面１０の下半分に文字列及び選択ボタンが表示され、上半分は、下半分の文字列及び選択ボタン以外の領域とは異なる表示形式で表示されている。
【００８２】
なお、図１６（ａ）〜（ｇ）に示すような表示設定の変更処理については、図１０に示すシーケンス図に示す流れと同様に行うことができるので、その詳細については省略する。図１０のステップＳ９０１において、図１７に示す、記憶部８に記憶された第４テーブル１６０から、判定領域のうちユーザが選択した判定領域に関連付けられた表示内容と参照図とを読み出す点が、図１０に示す流れと異なっている。そして、同様に、ステップＳ９０３において、第１テーブル６０の判定領域を、ユーザが選択した判定領域に変更する点において、図１０に示す流れと異なっている。
【００８３】
〔第５実施形態〕
表示装置１の他の実施形態について、図１８（ａ）〜（ｄ）を参照して以下に説明する。図１８（ａ）〜（ｄ）は、油脂検出処理時に、表示画面１０に表示される画面表示の遷移を示す図である。本実施形態において表示装置１は、油脂検出処理を行う点においてのみ第１実施形態と異なっている。
【００８４】
まず、図１８中（ａ）に示す表示画面１０において、メニュー画面からゴミ検出ツールが選択され、この選択入力に基づいて、図１８中（ｂ）に示すように、表示画面１０にゴミ検出ツールのメニュー画面が表示される。次に、図１８中（ｂ）に示すゴミ検出ツールのメニュー画面において、「２．油脂検出」が選択され、この選択入力に基づいて、メイン制御部２は、撮像部５及び欠陥領域判定部６を駆動して油脂を検出する。
【００８５】
油脂の検出処理中は、図１８中（ｃ）に示すように、記憶部８の第１テーブル６０に記憶された表示色である白を表示画面１０に表示させる。油脂の検出処理が完了し、油脂が検出された場合、検出結果及び第１テーブル６０に格納された表示方法に基づいて、図１８（ｄ）に示すように、油脂を検出した検出結果を表す画像を生成し、生成した画像を表示画面１０に表示させる。そして、図１８（ｄ）において、油脂の検出を確認したことを示す確認ボタンをユーザが選択したとき、油脂検出処理が終了する。
【００８６】
図１８（ｄ）において、検出された油脂は、表示画面１０における油脂が存在する位置に点線で示され、他の位置とは異なる表示色で表示されているので、ユーザは表示画面１０上の油脂の存在を容易に認識することができる。そして、ユーザは表示画面１０において点線で示された位置から油脂を取り除くことによって、表示画面１０のタッチパネル機能による検出精度の低減を防止することができる。
【００８７】
このような、油脂検出モードは、通常見えにくい指紋等のような、光の透過性が高い付着物を検出する形態である。表示画面１０に、広範囲の波長を含んだ白色を表示することによって、撮像部５の受光素子１９３が最高感度で表示画面１０を撮像できるように設定する。そして、検出時の判定閾値は、ゴミ検出モードにおいては、平均輝度±２５以上とするのに対して、油脂検出モードにおいては、平均輝度の５〜２４又は−２４〜−５に下げることによって、光の透過率の高い付着物を検出できるように設定する。したがって、輝度変化が小さい油脂等の検出に限定され、輝度変化が大きいゴミは検出されない。
【００８８】
〔第６実施形態〕
表示装置１の他の実施形態について、図１９（ａ）〜（ｃ）を参照して以下に説明する。図１９（ａ）〜（ｃ）は、傷検出処理時に、表示画面１０に表示される画面表示の遷移を示す図である。本実施形態において表示装置１は、ゴミ検出処理又は油脂検出処理の後に傷検出処理を行う点においてのみ上述した他の実施形態と異なっている。図１９中（ａ）に示す画面表示は、図４中（ｅ）のゴミ検出処理の後、又は図１８中（ｄ）の油脂検出処理の後に、ユーザが、ゴミ又は油脂の検出を確認したことを示す確認ボタンを選択したときに、さらに傷の検出処理を行うか否かを確認するために表示画面１０に表示される。
【００８９】
ユーザが、傷の検出を行うことを選択したとき、当該選択入力に基づいて、メイン制御部２は、撮像部５に表示画面１０を撮像して傷検出画像データを生成させる。傷の検出処理中は、図１９中（ｂ）に示すように、記憶部８の第１テーブル６０に記憶された表示色である白を表示画面１０に表示させる。そして、欠陥領域判定部６は、傷検出画像データに基づいて、異物の存在する位置を検出し、検出した異物の位置が、直前に行われたゴミ検出処理又は油脂検出処理において撮像部５が生成した画像データに基づいて検出した異物の位置と同一であるか否かを判定する。
【００９０】
この判定結果が同一である場合、欠陥領域判定部６は、異物の位置をユーザに通知したにも関わらず、ユーザが異物を除去することができない異物、すなわち傷等の恒久的に付着した異物であると判定する。傷の検出処理が完了し、傷が検出された場合、検出結果及び第１テーブル６０に格納された表示方法に基づいて、図１９（ｃ）に示すように、傷を検出した検出結果を示す画像を生成して表示画面１０に表示させる。そして、図１９（ｃ）において、傷の検出を確認したことを示す確認ボタンをユーザが選択したとき、傷検出処理が終了する。
【００９１】
図１９（ｃ）において、検出された傷は、表示画面１０における傷が存在する位置に点線で示され、他の位置とは異なる表示色で表示されているので、ユーザは表示画面１０上の傷の存在を容易に認識することができる。そして、ユーザは表示画面１０において点線で示された位置から傷を取り除くことによって、表示画面１０のタッチパネル機能による検出精度の低減を防止することができる。
【００９２】
傷検出モードは、例えば傷等のような、容易に取り除くことができない、恒久的についた付着物を検出する形態である。表示画面１０に、広範囲の波長を含んだ白色を表示することによって、撮像部５の受光素子１９３が最高感度で表示画面１０を撮像できるように設定する。検出時の判定閾値は、ゴミ検出モードと同様に±２５以上とし、ゴミ検出処理又は油脂検出処理の後に実行することによって、ゴミ検出処理又は油脂検出処理によってユーザが取り除くことができなかった付着物を、恒久的な付着物である「傷」と判定する。
【００９３】
〔第７実施形態〕
表示装置１の他の実施形態について、図２０及び２１を参照して以下に説明する。図２０は、表示装置１の撮像部５の要部構成を説明するための断面図であり、図２１は、表示画面１０の画素と撮像部５の受光素子１９３との関係を説明するための概略図である。本実施形態においては、撮像部５の要部構成について説明し、他の構成については上述した他の実施形態と同様であるため、その詳細な説明は省略する。
【００９４】
図２０に示すように、表示装置１の撮像部５は、撮像の対象となる被検出物１９６側から、保護板１９０、ガラス板１９１、カラーフィルター１９２、受光素子１９３、及びガラス板１９４をこの順に備えている。保護板１９０の表面が表示装置１の表示画面１０を構成し、撮像部５と表示部３とは一体形成されている。バックライト１９５は、表示部３のバックライト制御部３４の制御によって、ガラス板１９４側から保護板１９０表面の表示画面１０に光を照射する。
【００９５】
バックライト１９５から表示画面１０に照射された光は、被検出物１９６によって反射し、その反射光を受光素子１９３で受光することによって、表示画面１０上の被検出物の画像データを取り込む。ユーザによる表示画面１０への入力操作を検出するとき、撮像部５により取り込んだ画像データを画像処理することによって、例えばユーザの指等の表示画面１０への接触又は非接触を判定する。そして、接触と判定した場合には接触した座標を検出することによって、ユーザによる入力操作を検出する。表示装置１によりゴミ、油脂又は傷を検出する場合、欠陥領域判定部６が、撮像部５が受光素子１９３より取り込んだ画像データから、ゴミ、油脂又は傷を欠陥領域として抽出する。
【００９６】
本実施形態の撮像部５において、受光素子１９３は、図２１に示すように、表示画面１０の１つの画素単位１９７に対して複数備えられている。例えば、表示画面の１０の表示解像度を４８０×６４０画素とし、画面サイズを２．４インチ（対角線距離）とし、１画素あたりの大きさは、７６．５μｍ×７６．５μｍとする。このとき、１画素あたり６個の受光素子１９３を、画素単位１９７の対角線に沿ってななめに配置すると、各受光素子１９３間の距離は１８μｍとなる。したがって、画素単位１９７の拡大図に示すように、例えば花粉のように、直径約３０μｍ〜４０μｍと微小な被検出物２００であっても、最低でも２個の受光素子１９３が被検出物２００からの光を受光することができるので、微小なゴミを検出することができる。
【００９７】
また、１画素あたり６個配置された受光素子１９３の全てを駆動してもよいし、ユーザが選択するゴミ検出モード（ノーマルモード、高感度モード又は省電力モード）に応じて、その一部を駆動するように制御してもよい。例えばノーマルモードにおいては、図２１に示す受光素子１９３を、一端から１つおきに駆動する。これにより、駆動する受光素子１９３間の距離が３６μｍとなるため、７２μｍ以上の大きさのゴミを検出することができる。したがって、直径約５０μｍ〜約１５０μｍの髪の毛等のゴミの検出が可能である。そして、６個の受光素子１９３全てを駆動する場合と比較して、半分の受光素子１９３しか駆動しないので、消費電力を半分に低減することができる。
【００９８】
一方、高感度モードにおいては、１画素あたり６個の受光素子１９３を全て駆動することによって、上述したように、直径約３０μｍ〜約４０μｍのような、より小さいゴミを検出することができる。さらに、省電力モードにおいては、１画素あたり１個の受光素子１９３を駆動して消費電力を抑えつつ、埃のようにより直径の大きなゴミを検出することができる。
【００９９】
本実施形態において使用する受光素子１９３は、青色、又は青色及び緑色を組み合わせたシアンに対して感度がよく、白色に対する感度が最もよい。したがって、ゴミ、油脂又は傷の検出時には、要求される検出精度に応じて表示画面１０に表示させる色を設定し、表示画面側から受光素子に入射する光の色が受光素子１９３による検出に適した色になるようにする。
【０１００】
〔第８実施形態〕
表示装置１の他の実施形態について、図２２を参照して以下に説明する。図２２は、撮像部５の受光素子１９３の配置について説明する図である。本実施形態においては、受光素子１９３の配置について説明し、他の構成については上述した他の実施形態と同様であるため、その詳細な説明は省略する。図２２に示すように、１つの画素単位１９７に対して複数の受光素子１９３が対角線に沿って斜めに配置されている。
【０１０１】
そして、ある特定の着目画素単位１９７に対して、上下左右に隣接する画素単位１９７がそれぞれ、着目画素単位１９７に対して９０度回転して配置されている。すなわち、隣接する画素単位１９７間において、受光素子１９３が配列する対角線同士が９０度の角をなすように、受光素子１９３を配置させる。これにより、表示画面１０において生じるモアレ、フリッカ等の影響を低減させる。
【０１０２】
〔第９実施形態〕
表示装置１の他の実施形態について、図２３（ａ）〜（ｃ）を参照して以下に説明する。図２３（ａ）〜（ｃ）は、欠陥領域判定部６による欠陥領域判定処理を説明するための図であり、図２３中（ａ）は撮像部５が取得した画像２２１の例を示し、図２３中（ｂ）は、図２３中（ａ）のＸ領域の拡大図であり、図２３中（ｃ）は、図２３中（ｂ）に示すＡ−Ａ’線における断面図である。本実施形態においては、欠陥領域判定部６による欠陥領域判定処理の詳細について説明し、他の構成については上述した他の実施形態と同様であるため、その詳細な説明は省略する。
【０１０３】
図２３中（ａ）において、撮像部５が取得した画像２２１中にゴミ等の異物２２０が存在する場合、異物の存在する位置の画素２２２の輝度は、図２３中（ｂ）に示すように、他の位置の輝度よりも低い。ここで、欠陥領域判定部６は、まず、撮像部５が取り込んだ画像２２１において、判定領域の平均輝度を算出する。そして、この平均輝度を、画像２２１中の各画素の輝度値と比較し、その差が閾値より大きい場合は欠陥領域と判定して、図示しないメモリに記録する。図２３中（ｃ）においては、平均輝度ラインよりも、輝度が低い位置に設定された閾値ラインよりもさらに輝度が低い位置の画素を欠陥領域と判定する。すなわち、図２３中（ｂ）に示す輝度の最も低い部分を欠陥領域と判定する。
【０１０４】
この処理を、例えば１フレーム以上の予め定められた判定時間の間行う。２フレーム以降は、判定時間内に継続して同じ画素位置に欠陥領域が検出された場合のみを当該画素を欠陥領域と判定し、得られた排他的論理和をメモリに記録する。メモリに記録された欠陥領域の判定結果は、メイン制御部２に送信される。欠陥領域判定部６は、図示しない、平均輝度演算部及びタイミング調整用の第１フレームメモリを備えていてもよく、撮像部５から画像データが送信されたとき、当該画像データに基づいて平均輝度演算部が算出した平均輝度と、第１フレームメモリに一時的に記憶された画像データとを、比較器（図示せず）において比較する。そして、比較器における比較による判定結果を欠陥領域保存用の第２フレームメモリ（図示せず）に記憶するようになっていてもよい。この場合、第２フレームメモリに記憶された判定結果をメイン制御部２に送信する。
【０１０５】
なお、表示画面１０側から受光素子１９３に入射する光には、バックライト１９５から照射されて表示画面１０上のゴミ、油脂又は傷に反射して受光素子１９３に入射する光以外に、表示画面１０の外側から入射する外光が含まれる。埃等のゴミが表示画面１０上に存在するとき、ゴミによって外光及びバックライト光はほぼ反射する。したがって、外光が強い場合には、撮像部５が取得した画像において、ゴミが存在する位置の画素は他の位置の画素と比較して暗くなり、外光が弱い場合には、ゴミが存在する位置の画素は他の位置の画素と比較して明るくなる。
【０１０６】
一方、油脂等が表示画面１０上に存在するとき、外光及びバックライト光はほぼ油脂を透過する。したがって、外光が強い場合には、撮像部５が取得した画像において、油脂が存在する位置の画素は他の位置の画素と比較して若干暗くなり、外光が弱い場合には、油脂が存在する位置の画素は他の位置の画素と比較して若干明るくなる。油脂の存在による画像の輝度変化の絶対値は、ゴミの存在による画像の輝度変化の絶対値よりも小さいので、上述した受光素子１９３の分光感度がより高くなる白色を表示画面１０に表示させることが好ましい。
【０１０７】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。すなわち、上記表示装置１を、例えば携帯電話、ＰＣ、ＴＶ、音楽プレーヤー、デジタルフォトフレーム、ブックビューワー等の表示装置として使用する形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１０８】
本発明は、表示画面上における異物の位置を正確にユーザに通知し、ユーザが通知された位置にある異物を取り除くことによって、確実に表示画面上の異物を取り除くことができるので、表示画面に入力された入力操作の正確な検出が可能であり、タッチパネル機能を有する表示画面を備えた種々の電子機器に好適に利用可能である。
【符号の説明】
【０１０９】
１ 表示装置
２ メイン制御部
３ 表示部（表示手段）
４ キー入力部
５ 撮像部（撮像手段）
６ 欠陥領域判定部（検出手段）
７ 画像処理部（画像生成手段）
８ 記憶部
１０ 表示画面
１９３ 受光素子
１９７ 画素単位
【技術分野】
【０００１】
本発明は、表示装置に関し、特に、画面に対して行われた入力操作を受け付けるタッチパネル機能を有する表示画面を備えた表示装置に関する。
【背景技術】
【０００２】
従来、ユーザが表示画面に直接触れることにより入力操作する、タッチパネル技術が開発されている。タッチパネル技術において、ユーザの入力操作を検出する方式として、光学方式、静電容量方式、抵抗膜方式、超音波方式等がある。これらのタッチパネル技術は「利用者が画面に直接触れること」を前提としているため、画面に埃や油脂、ごみ、傷等の異物が付着するという問題は避けられない。特に、表示画面を撮像して得られた画像から入力操作を検出する光学方式のタッチパネルにおいては、異物が付着した場合、取り込んだ画像に不適切な領域が現れ、正確な検出ができないという問題が生じる。
【０００３】
この問題を解決するために、取り込んだ画像から不適切な領域を取り除く画像処理を行う方法が挙げられる。このような画像処理方法として、特許文献１には、取り込んだ画像中の異物の位置を取得し、取得した位置の画像を補正することによって、画像中から異物を除去する画像処理方法が記載されている。特許文献１の画像処理方法においては、異物の存在した状態の画像を表示画面に表示し、ユーザが当該画像に基づいて異物の存在する位置を指定することによって、異物の位置を検出する。そして、検出した異物を構成する画素の画素値と、その近傍の画素の画素値とを置換することによって、画像中から異物を取り除く。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３２６２６５号公報（２００４年１１月１８日）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の画像処理方法では、異物の位置をユーザが指定する必要があり、ユーザの利便性に欠ける。また、異物を構成する画素の画素値とその近傍の画素の画素値とを置換する画像処理は、異物が存在する位置の画像をその近傍の画像から推定して置換する処理であるため、正確な置換ができず、正確な異物の除去が達成できないという問題がある。
【０００６】
本発明は上記問題点に鑑みてなされたものであり、その目的は表示画面上の異物を正確に取り除き、正確な入力操作の検出が可能な表示装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明は、表示画面に入力された入力操作を検出する機能を有する表示画面を備えた表示装置であって、上記表示画面から入射する光を受光し、受光した当該光に基づいて画像データを生成する撮像手段と、上記撮像手段が生成した上記画像データに基づいて、上記表示画面上に存在する被検出物の位置を検出する検出手段と、上記表示画面上における、上記検出手段が検出した上記被検出物の位置を表す欠陥領域画像と、上記表示画面上における上記被検出物以外の他の位置を表し、上記欠陥領域画像とは表示形式の異なる非欠陥領域画像とを含む欠陥領域通知画像を生成する画像生成手段と、上記欠陥領域通知画像を上記表示画面に表示する表示手段とを備えていることを特徴としている。
【０００８】
上記の構成によれば、本発明に係る表示装置は、ユーザが表示画面に入力された入力操作を検出するタッチパネル機能を有している。そして、本発明に係る表示装置は、表示画面上に存在する異物を被検出部として検出し、当該異物の位置をユーザに通知することによって、当該異物の除去をユーザに促す。すなわち、表示画面に付着した異物（被検出部）を撮像した画像データを、表示画面から入射する光に基づいて撮像手段が生成する。そして、検出手段は、撮像手段が生成した画像データに基づいて、被検出物の位置を検出する。画像生成手段は、検出手段の検出結果に基づいて、表示画面上における被検出物の存在する位置を表す欠陥領域画像と、表示画面上における被検出物が存在する位置以外の他の位置を表す非欠陥領域画像とを含む欠陥領域通知画像を生成する。このとき欠陥領域画像と非欠陥領域画像とは、表示形式が異なっている。そして、表示手段が当該欠陥領域通知画像を表示画面に表示することによって、ユーザに異物の存在を通知する。
【０００９】
このように、表示画面を撮像して得られた画像データから、異物の存在位置を検出し、その異物の存在位置をユーザに通知する画像を生成して、撮像の対象となった表示画面に表示することによって、撮像による入力処理と生成した通知画像の出力処理とを同一の表示画面において行うことができる。したがって、表示画面上における異物の位置を正確にユーザに通知することが可能であり、ユーザが通知された位置にある異物を取り除くことによって、確実に表示画面上の異物を取り除くことができる。結果として、表示画面のタッチパネル機能による検出精度の低減を防止し、表示画面に入力された入力操作の正確な検出が可能である。
【００１０】
また、本発明に係る表示装置において、上記画像生成手段は、上記欠陥領域画像が上記表示画面上における上記被検出物の位置に表示されるように、上記欠陥領域通知画像を生成することが好ましい。
【００１１】
これにより、画像生成手段は、表示画面において異物が存在する位置に、欠陥領域画像が表示されるように、欠陥領域通知画像生成するので、ユーザはより容易に表示画面上の異物の位置を認識することができる。
【００１２】
また、本発明に係る表示装置において、上記画像生成手段は、上記表示画面を縮小した子画面画像を含み、上記子画面内において、上記表示画面上における上記被検出物の位置に対応する位置に、上記欠陥領域画像が表示されるように上記欠陥領域通知画像を生成することが好ましい。
【００１３】
上記の構成によれば、欠陥領域通知画像を全画面表示すると、ユーザの操作入力を受け付ける入力ボタン等の既存の表示と欠陥領域画像とが重なり、ユーザが異物の存在する位置を確認しづらい場合であっても、このような既存の表示と重ならない位置に表示した子画面内に欠陥領域通知画像を表示することによって、ユーザはより容易に表示画面上の異物の位置を認識することができる。すなわち、欠陥領域通知画像を全画面表示したときに、異物が存在する位置に対応するような子画面の位置に欠陥領域画像が表示されるように欠陥領域通知画像を生成することによって、子画面を確認したユーザが、異物の存在する位置を容易に認識することができる。
【００１４】
また、本発明に係る表示装置において、上記画像生成手段は、上記欠陥領域画像と上記非欠陥領域画像との明度又は色相が異なる上記欠陥領域通知画像を生成することが好ましい。このように、欠陥領域画像と非欠陥領域画像の明度又は色相を異ならせた欠陥領域通知画像を生成して表示画面に表示することによって、ユーザが欠陥領域画像と非欠陥領域画像とを区別しやすくなる。その結果、ユーザが異物の存在する位置をより容易に認識することができる。
【００１５】
さらに、本発明に係る表示装置において、上記表示手段は、上記撮像手段が上記表示画面から入射する光を受光するとき、短波長の色の画像、又は波長の異なる複数の短波長の色を組み合わせた色の画像を上記表示画面に表示させることが好ましい。このように、撮像手段が表示画面から入射する光を受光するときに、撮像手段がより感度よく受光することが可能な波長の色が表示画面に表示されているので、撮像手段がより感度よく受光することが可能な波長の色の光が、表示画面から撮像手段に入射する。したがって、撮像手段が生成する画像データにおける異物の存在する位置とその他の位置とのコントラストがより大きくなり、検出手段による異物の検出精度が向上する。
【００１６】
また、本発明に係る表示装置において、上記表示手段は、明度の低い上記色の画像を上記表示画面に表示させることが好ましい。これにより、撮像手段による表示画面から入射する光の受光中に、表示画面に所定の色の画像を表示するときの消費電力を低減させることができる。
【００１７】
さらに、本発明に係る表示装置において、上記表示手段は、上記撮像手段が上記表示画面から入射する光を受光するとき、波長の異なる複数の色を組み合わせた、広範囲の波長を含む色の画像を上記表示画面に表示させることが好ましい。このように、より広範囲の波長を含む色の画像を表示画面に表示させることによって、白色に近い画像を表示画面に表示させる。これにより、撮像手段はより感度よく表示画面から入射する光を受光することが可能であり、撮像手段が生成する画像データにおける異物の存在する位置とその他の位置とのコントラストがさらに大きくなる。したがって、検出手段は、より微細な異物や、光の透過性の高い異物であっても、精度よく検出することができる。
【００１８】
また、本発明に係る表示装置において、上記検出手段は、上記画像データにおいて、予め定められた所定の領域に存在する被検出物の位置を検出することが好ましい。上記の構成によれば、予め異物の存在が予想される範囲を検出領域として定め、検出手段が当該領域においてのみ異物を検出するようにできるので、消費電力を低減することができる。
【００１９】
さらに、本発明に係る表示装置において、上記検出手段は、上記画像データ中の画素の平均輝度を算出し、画素の輝度と当該平均輝度との差が、予め定められた所定の閾値よりも大きい場合に、当該画素を欠陥画素であると判定し、上記欠陥画素からなる領域を被検出物の位置として検出することが好ましい。これにより、表示画面において異物が存在する位置を正確に検出することができる。
【００２０】
また、本発明に係る表示装置において、上記閾値は、上記被検出物の光の透過性に応じて予め定められるものであり、上記検出手段は、上記閾値がより低いときに検出した上記被検出物を、光の透過性が高い付着物であると判定し、上記画像生成手段は、上記検出手段の判定結果に基づいて、上記被検出物が光の透過性の高い付着物であることを示す画像を含む欠陥領域通知画像を生成することが好ましい。
【００２１】
上記の構成によれば、検出手段は、異物の性質に応じて、より正確に異物の位置を検出することが可能であり、また、検出した異物の性質を判定することができる。そして、画像生成手段が、検出手段が判定した異物の性質をユーザに通知する画像を含む欠陥領域通知画像を生成し、これを表示画面に表示することによって、ユーザは異物の性質に応じて適切に異物を取り除くことができる。
【００２２】
例えば、検出手段は閾値がより低いときに検出した異物を光透過性の高い指紋等の油脂であると判定し、画像生成手段が、油脂の存在位置と共に、異物が油脂であることを示す文字列を含む欠陥領域通知画像を生成する。そして、表示手段が、当該画像を表示画面に表示することによって、ユーザは、異物が油脂であることを認識し、表示画面を布なので拭うことによって油脂を確実に取り除くことができる。
【００２３】
また、本発明に係る表示装置において、上記撮像手段は、上記表示手段が上記欠陥領域通知画像を上記表示画面に表示した後に、上記表示画面から入射する光を受光し、受光した当該光に基づいて傷検出画像データを生成し、上記検出手段は、上記傷検出画像データに基づいて、上記表示画面上に存在する上記被検出物の位置を検出し、当該被検出物の位置が、上記画像データに基づいて検出した上記被検出物の位置と同一であるとき、当該被検出物を恒久的な付着物であると判定し、上記画像生成手段は、上記検出手段の判定結果に基づいて、上記被検出物が恒久的な付着物であることを示す画像を含む欠陥領域通知画像を生成することが好ましい。
【００２４】
上記の構成によれば、欠陥領域通知画像を表示画面に表示して異物の存在位置をユーザに通知した後に、再度撮像手段は、表示画面から入射する光を受光して傷検出画像データを生成する。そして、検出手段は、傷検出画像データに基づいて異物の存在する位置を検出し、検出した異物の位置が、直前に撮像手段が生成した画像データに基づいて検出した異物の位置と同一である場合、異物の位置をユーザに通知したにも関わらず、ユーザが異物を除去することができない異物、すなわち傷等の恒久的に付着した異物であると判定する。そして、この判定結果に基づいて、画像生成手段は、恒久的な付着物が表示画面上に存在することを示す画像を含む欠陥領域通知画像を生成する。
【００２５】
このように、検出した異物の位置をユーザに通知した後に、再度同じ位置に異物を検出した場合に、当該異物を傷等であると判断するような、２段階の異物検出処理を行うことによって、除去可能な異物と除去が困難な異物とを区別し、検出した異物の性質をユーザに通知することができる。
【００２６】
また、本発明に係る表示装置において、上記撮像手段は、上記表示画面から入射する光を受光する受光素子を、上記表示画面の各画素に対してそれぞれ複数備え、当該受光素子は、上記画素の対角線の一方に対応する位置に沿って配置されていることが好ましい。このように複数の受光素子により、表示画面から入射する光を受光することによって、より微小な花粉等の異物に対する検出率が向上する。
【００２７】
さらに、本発明に係る表示装置において、上記表示画面の隣接する上記画素間において、上記受光素子が配列した対角線同士が９０度の角をなすように、上記受光素子を配置したことが好ましい。これにより、各画素間における受光素子同士の干渉を防止し、表示画面におけるモアレ、フリッカ等の不具合の発生を低減することができる。
【００２８】
また、本発明に係る表示装置において、上記撮像手段は、１つの画素に対して複数備えられた上記受光素子の少なくとも１つによって、上記表示画面から入射する光を受光することが好ましい。上記の構成によれば、表示画面から入射する光の受光に用いる受光素子を限定し、使用する受光素子のみをＯＮとし、使用しない受光素子をＯＦＦすることができるので、消費電力を低減することができる。
【発明の効果】
【００２９】
本発明は、表示画面に入力された入力操作を検出する機能を有する表示画面を備えた表示装置であって、上記表示画面から入射する光を受光し、受光した当該光に基づいて画像データを生成する撮像手段と、上記撮像手段が生成した上記画像データに基づいて、上記表示画面上に存在する被検出物の位置を検出する検出手段と、上記表示画面上における、上記検出手段が検出した上記被検出物の位置を表す欠陥領域画像と、上記表示画面上における上記被検出物以外の他の位置を表し、上記欠陥領域画像とは表示形式の異なる非欠陥領域画像とを含む欠陥領域通知画像を生成する画像生成手段と、上記欠陥領域通知画像を上記表示画面に表示する表示手段とを備えているので、表示画面上における異物の位置を正確にユーザに通知することが可能であり、ユーザが通知された位置にある異物を取り除くことによって、確実に表示画面上の異物を取り除くことができる。結果として、表示画面に入力された入力操作の正確な検出が可能である。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態に係る表示装置の概略を示すブロック図である。
【図２】本発明の一実施形態に係る表示装置の外観図である。
【図３】表示部の構成を示すブロック図である。
【図４】図中（ａ）〜（ｅ）は、本発明の一実施形態に係る表示装置の表示画面の遷移を示す図である。
【図５】本発明の一実施形態に係る表示装置によるゴミ検出処理の流れを示すシーケンス図である。
【図６】本発明の一実施形態に係る表示装置による傷検出処理の実行を確認する確認処理の流れを示すシーケンス図である。
【図７】記憶部に記憶された第１テーブルの概略図である。
【図８】本発明の他の実施形態に係る表示装置の表示画面を示す図である。
【図９】図中（ａ）〜（ｇ）は、本発明の他の実施形態に係る表示装置の表示画面の遷移を示す図である。
【図１０】本発明の他の実施形態に係る表示装置における表示設定の変更処理の流れを示すシーケンス図である。
【図１１】記憶部に記憶された第２テーブルの概略図である。
【図１２】図中（ａ）〜（ｃ）は、本発明の他の実施形態に係る表示装置の表示画面を示す図である。
【図１３】図中（ａ）〜（ｉ）は、本発明の他の実施形態に係る表示装置の表示画面の遷移を示す図である。
【図１４】記憶部に記憶された第３テーブルの概略図である。
【図１５】図中（ａ）〜（ｆ）は、本発明の他の実施形態に係る表示装置の表示画面を示す図である。
【図１６】図中（ａ）〜（ｇ）は、本発明の他の実施形態に係る表示装置の表示画面の遷移を示す図である。
【図１７】記憶部に記憶された第４テーブルの概略図である。
【図１８】図中（ａ）〜（ｄ）は、本発明の他の実施形態に係る表示装置の表示画面の遷移を示す図である。
【図１９】図中（ａ）〜（ｃ）は、本発明の他の実施形態に係る表示装置の表示画面の遷移を示す図である。
【図２０】撮像部の要部構成を説明するための断面図である。
【図２１】画素と撮像部の受光素子との関係を説明するための図である。
【図２２】受光素子の配置について説明する図である。
【図２３】図中（ａ）〜（ｃ）は、欠陥領域判定処理を説明するための図である。
【発明を実施するための形態】
【００３１】
〔第１実施形態〕
本発明に係る表示装置及び表示方法の一実施形態について、図１〜図７を参照して以下に説明する。図１は、一実施形態に係る表示装置１の概略を示すブロック図であり、図２は、表示装置１の概観図であり、図３は、表示装置１に備えられた表示部３の構成の概略を示すブロック図である。
【００３２】
（表示装置１）
図１に示すように、表示装置１は、メイン制御部２、表示部（表示手段）３、キー入力部４、撮像部（撮像手段）５、欠陥領域判定部（検出手段）６、画像処理部（画像生成手段）７、及び記憶部８を備えている。また、表示装置１は、図２に示すように、表示画面１０及び入力キー１１を備えている。そして、図３に示すように、表示部３は、ヒストグラム算出部３１、閾値算出部３２、画像補正部３３、及びバックライト制御部３４を備え、メイン制御部２からの指示に基づいて画像表示部３５に画像データを表示させる。
【００３３】
メイン制御部２は、表示装置１が備える各構成部材を制御する。表示装置１において、各構成部材の機能は、特に明示しない限り、メイン制御部２によって制御されている。メイン制御部２は、ユーザが表示画面１０に入力した入力操作に基づいて、撮像部５に画像データを取り込むように指示したり、欠陥領域判定部６に欠陥領域を判定するように指示したりする。また、メイン制御部２は、画像処理部７から取得した画像、及び記憶部８から読み出したデータを、表示部３に表示させるように指示する。
【００３４】
表示部３は、メイン制御部２からの指示に基づいて、メイン制御部２から送られた画像を表示画面１０に表示する。また、表示画面１０に表示する表示内容に応じて、表示画面１０に光を照射するバックライトを制御する。図３に示すように、表示部３のヒストグラム算出部３１は、メイン制御部２から送信された画像データから、当該画像の輝度のヒストグラムを算出する。また、表示部３の閾値算出部３２は、ヒストグラム算出部３１が算出したヒストグラムの最大値を閾値として算出する。すなわち、輝度の大きい方からヒストグラムをサーチし、最初にヒストグラムが現れた箇所の輝度を閾値として算出する。
【００３５】
表示部３のバックライト制御部３４は、閾値算出部３２が算出した閾値に応じた出力輝度の光を照射するようにバックライトの明るさを制御する。画像補正部３３は、閾値算出部３２が算出した閾値に応じて、メイン制御部２から送信された画像データの出力輝度を補正する。画像表示部３５は、バックライト制御部３４の制御によりバックライトを駆動させ、画像補正部３３が補正した画像を表示画面１０に表示させる。バックライト制御部３４によって、バックライトの明るさが調整されることによって、表示画面１０の見た目の出力輝度が低下した場合であっても、画像補正部３３による画像データの出力輝度の補正によって、表示画面１０の見た目の出力輝度が向上するので、表示画面１０における入出力の関係は相殺され、適切な輝度で画像が表示される。
【００３６】
キー入力部４が、ユーザの入力操作を受け付け、当該入力操作を表す入力信号をメイン制御部２に送信する。すなわち、タッチパネル機能を有する表示画面１０に対して入力された入力操作、又は表示装置１の表面において表示画面１０以外の場所に設けられた入力キー１１に対して入力された入力操作を受け付け、当該入力操作を表す入力信号をメイン制御部２に送信する。表示装置１の表面において、表示画面１０以外の場所に設けられる入力キー１１は、ユーザの入力操作を検出してメイン制御部２に伝達できるものであれば、特に限定されない。
【００３７】
撮像部５は、メイン制御部２からの指示に基づいて、被検出物を撮像し、画像データを取り込む。撮像部５による画像データの取り込みは、表示画面１０に照射したバックライト光のうち、表示画面１０上の被検出物に反射して表示画面１０側から戻ってくる光、及び表示画面１０を介して入射する外光を含む、表示画面側から入射する光を受光し、受光した光に基づいて画像データを生成することによって行うことができる。撮像部５は、上記入射光を受光するための受光素子１９３（図２０）を備えており、当該受光素子１９３を複数備えていてもよい。撮像部５が備える受光素子１９３の配置、構成等の詳細については、後述する。
【００３８】
ここで、撮像部５の撮像の対象となる被検出物は、表示画面１０上に存在するゴミ、埃、油脂、傷等の異物であり、この異物を撮像して得られた画像データは、欠陥領域判定部６に送られて異物の判定に用いられ、さらに、画像処理部７に送られて異物の存在する位置と他の位置とを区別し得るような画像であって、異物の存在をユーザに通知するための欠陥領域通知画像の生成に用いられる。また、撮像部５は、表示画面１０を介して入力操作するユーザの指等を撮像し、撮像した画像データを接触検出部（図示せず）が解析することによって、ユーザの入力操作を検出する。ユーザによる表示画面１０に対する入力操作は、表示画面１０に指等が直接接触した場合のみならず、表示画面１０に指等を近接させた場合にも検出される。
【００３９】
欠陥領域判定部６は、撮像部５が取り込んだ画像データを用いて、異物等の被検出物の存在する位置の画素を欠陥画素と判定し、欠陥画素からなる欠陥領域を検出する。欠陥領域判定部６は、この検出結果をメイン制御部２に送信する。欠陥領域判定部６による欠陥領域の検出処理の詳細については後述する。
【００４０】
画像処理部７は、欠陥領域判定部６の検出結果に基づいて、撮像部５が取り込んだ画像データを用いて、欠陥領域と欠陥領域以外の領域（非欠陥領域）とが容易に区別し得るように画像データを補正し、欠陥領域通知画像を生成する。画像データの補正においては、メイン制御部２からの指示に基づいて、欠陥領域と非欠陥領域とで表示形式を異ならせたり、欠陥領域の存在を通知する文字列を追加したりする。画像処理部７による欠陥領域通知画像の生成の詳細については後述する。
【００４１】
記憶部８は、表示装置１で使用する種々のデータを読み出し可能に格納する。記憶部８に格納されるデータには、欠陥画素の判定領域、判定時間、閾値、検出結果の表示方法等が含まれる。記憶部８に記憶されたデータはメイン制御部２からの指示に基づいて読み出され、また、メイン制御部からの指示に基づいてデータが更新又は追加される。
【００４２】
次に、表示装置１によるゴミ検出処理の一実施形態について、図４（ａ）〜（ｅ）を参照して以下に説明する。図４（ａ）〜（ｅ）は、表示装置１の表示画面１０に表示される画面表示の遷移を示す図であり、ゴミ検出処理において、表示画面１０は、図４（ａ）〜（ｅ）に示すように遷移する。本実施形態において、表示画面１０はタッチパネル機能を有し、表示手段と入力手段とが一体となったものであり、後述する他の実施形態においても同様である。
【００４３】
まず、図４中（ａ）に示す表示画面１０において、メニュー画面からゴミ検出ツールが選択され、この選択入力に基づいて、図４中（ｂ）に示すように、表示画面１０にゴミ検出ツールのメニュー画面が表示される。次に、図４中（ｂ）に示すゴミ検出ツールのメニュー画面において、「１．ゴミ検出」が選択され、この選択入力に基づいて、メイン制御部２はゴミ検出の処理モード情報を記憶部８から読み出し、図４中（ｃ）に示すように表示画面１０に表示させる。
【００４４】
そして、図４中（ｃ）のノーマルモードが選択されたとき、メイン制御部２は、撮像部５及び欠陥領域判定部６を駆動してゴミ検出処理を行う。ここで、図４中（ｃ）に示すように、表示画面１０の下側には、選択したメニューの簡単な説明が表示されるようになっていてもよく、他の実施形態においても同様である。
【００４５】
ゴミの検出処理中は、図４中（ｄ）に示すように、記憶部８に記憶された所定の表示色を表示画面１０に表示させる。ここでは、ユーザがノーマルモードでのゴミ検出を選択しているので、表示色はシアンとする。ゴミの検出処理が完了し、ゴミが検出された場合、検出結果及び記憶部８に格納された表示方法に基づいて、図４（ｅ）に示すように、検出結果を表す欠陥領域通知画像を生成し、生成した画像を表示画面１０に表示させる。
【００４６】
図４（ｅ）において、検出されたゴミは、表示画面１０におけるゴミが存在する位置に点線で表示され、他の位置とは異なる表示形式で表示されているので、ユーザは表示画面１０上のゴミの存在位置を容易に認識することができる。そして、ユーザが表示画面１０において点線で示された位置からゴミを取り除くことによって、表示画面１０のタッチパネル機能による検出精度の低減を防止することができる。
【００４７】
表示装置１によるゴミ検出処理の流れを、図５を参照してより具体的に説明する。図５は、表示装置１によるゴミ検出処理の流れを示すシーケンス図である。まず、上述したようにユーザがゴミ検出処理の実行を選択したとき、メイン制御部２は、記憶部８からゴミ検出に必要なパラメータを読み出す（ステップＳ４００）。記憶部８においてこれらの情報は、後述する第１テーブル６０（図７）に格納されている。ステップＳ４００において読み出されるパラメータには、表示色、判定領域、判定閾値及び判定時間が含まれる。
【００４８】
次に、ステップＳ４０１において、メイン制御部２は、記憶部８から読み出した表示色を表示画面１０に表示するように、表示部３に指示する。そして、表示画面１０に記憶部８から読み出した表示色を表示させた状態において、メイン制御部２は、撮像部５に画像データを取り込むように指示する（ステップＳ４０２）。撮像部５が取り込んだ画像データに対して、欠陥領域判定部６は、記憶部８から読み出した判定領域、判定閾値及び判定時間において、欠陥領域としてのゴミの有無及びその位置を判定する（ステップＳ４０３）。
【００４９】
そして、ステップＳ４０４において、欠陥領域判定部６からメイン制御部２に欠陥領域の判定結果が通知された場合（Ｙｅｓ）、ステップＳ４０５においてその通知内容が、欠陥領域が存在することを示す通知か否かを判定する。ステップＳ４０４において、欠陥領域判定部６からメイン制御部２に欠陥領域の判定結果が通知されない場合（Ｎｏ）、欠陥領域判定部６から欠陥領域の判定結果が通知されるまで、ステップＳ４０４を繰り返す。
【００５０】
ステップＳ４０５において、欠陥領域判定部６からの欠陥領域の判定結果が、欠陥領域が存在することを示しているとき（Ｙｅｓ）、ステップＳ４０６において、メイン制御部２は、検出された欠陥領域情報に基づいて、検出後の欠陥領域の表示設定を記憶部８から読み出す。一方、ステップＳ４０５において、欠陥領域判定部６からの欠陥領域の判定結果が、欠陥領域が存在しないことを示しているとき（Ｎｏ）、ステップＳ４１１において、メイン制御部２は、欠陥領域非検出時の表示内容を記憶部８から読み出す。そして、メイン制御部２は、記憶部８から読み出した欠陥領域非検出時の表示内容を表示画面１０に表示するように表示部３に指示し（ステップＳ４１２）、ゴミ検出処理を終了する（ＥＮＤ）。
【００５１】
次に、画像処理部７は、ステップＳ４０６において読み出した表示設定、及び欠陥領域判定部６が検出した欠陥領域情報に基づいて、欠陥領域を強調する強調画像、すなわち欠陥領域の位置を表す欠陥領域画像と非欠陥領域の位置を表す非欠陥領域画像とを含む欠陥領域通知画像を作成する（ステップＳ４０７）。メイン制御部２は、ステップＳ４０８において、画像処理部７からの欠陥領域通知画像を作成した旨の通知の有無を判定し、通知がある場合には（Ｙｅｓ）、画像処理部７が作成した欠陥領域通知画像を取得し、さらに記憶部８から欠陥領域検出時の表示内容を読み出す（ステップＳ４０９）。一方、ステップＳ４０８において、画像処理部７から欠陥領域通知画像を作成した旨の通知がない場合（Ｎｏ）、画像処理部７から欠陥領域通知画像を作成した旨の通知があるまで、ステップＳ４０８を繰り返す。
【００５２】
そして、ステップＳ４１０において、メイン制御部２は、画像処理部７から取得した欠陥領域通知画像を、記憶部８から読み出した表示内容で表示画面１０に表示するように、表示部３に指示する。ステップＳ４１０において欠陥領域通知画像を表示画面１０に表示した後、処理Ａにおいて、引き続き傷検出処理を行うか否かの確認処理を行う。当該確認処理について、図６を参照して以下に説明する。図６は、表示装置１による傷検出処理の実行を確認する確認処理の流れを示すシーケンス図である。
【００５３】
確認処理においては、まず、ステップＳ５００において、メイン制御部２が、記憶部８から傷処理確認を行うときの表示内容を読み出す。そして、メイン制御部２は表示部３に、読み出した表示内容を表示画面１０に表示させる（ステップＳ５０１）。このとき表示画面１０には、傷処理を行うか否かをユーザが選択する操作入力を受け付ける選択ボタンが表示される。ステップＳ５０２において、ユーザの操作入力が傷検出することを表す場合（Ｙｅｓ）、傷検出処理を行う。一方、ステップＳ５０２において、ユーザの操作入力が傷検出しないことを表す場合、傷検出処理を行わずに、処理Ａを終了する。
【００５４】
次に図７を参照して、記憶部８に記憶された第１テーブル６０について説明する。図７は、記憶部８に記憶された第１テーブル６０の概略図である。図７に示すように、第１テーブル６０には、異物検出時のパラメータと、検出後の欠陥領域の表示設定及び検出後の表示画面１０の表示内容とが、処理モードに関連付けて格納されている。第１テーブル６０には、処理モードとして、ゴミ検出モード、油脂検出モード、及び傷検出モードの情報が格納されており、ゴミ検出モードはさらに、ノーマルモード、高感度モード及び省電力モードに分かれてそれぞれの情報が格納されている。
【００５５】
ゴミ検出モードにおいて、検出時の表示色は、ノーマルモードにおいてはシアンであり、高感度モードにおいては白、省電力モードにおいては青である。これらの各ゴミ検出モードは表示色のみそれぞれ異なっているが、他は共通している。ここで各ゴミ検出モードについて説明する。
【００５６】
ノーマルモードは、例えば髪の毛のように、直径約５０μｍ〜１５０μｍ程度の通常のゴミを検出するモードである。表示画面１０に、青色と緑色とを組み合わせて短波長のシアンを表示することによって、撮像部５の受光素子１９３が高感度で表示画面１０を撮像できるように設定する。このとき表示部３は通常の消費電力であり、一般的な使用を目的としたモードである。
【００５７】
高感度モードは、例えばスギ花粉等の、直径３０μｍ〜４０μｍ程度の微細なゴミを検出するモードである。表示画面１０に、短波長、中波長及び長波長の広範囲の波長を含む色である、白色を表示することによって、撮像部５の受光素子１９３が最高感度で表示画面１０からの光を受光できるように設定する。このとき、表示画面１０の明度が最大となるため、表示部３の消費電力も最大となる。電池残量に余裕があり、より精度よくゴミを検出することを目的としたモードである。
【００５８】
省電力モードは、例えばほこり等の比較的大きなゴミを検出するモードである。表示画面１０に、短波長で、かつ明度の低い青色を表示することによって、撮像部５の受光素子１９３が通常の感度で表示画面１０を撮像できるように設定する。このとき、表示画面１０には明度の低い青色を表示する。表示画面の明度が低い場合は、バックライトの明るさを下げ、同時に表示画面の明度を補正することで、表示内容への影響を与えず、表示部３の消費電力が抑えられる。したがって、電池残量が少ないときに、有効なモードである。
【００５９】
なお、本実施形態において、短波長、中波長及び長波長の色は、全て可視光領域の波長を意図しており、短波長の色として例えば青色、中波長の色として例えば緑色、長波長の色として例えば赤色が挙げられる。ここで、短波長とは、例えば約３８０ｎｍ〜約４９５ｎｍの範囲であり、中波長とは、例えば約４９５ｎｍ〜約５９０ｎｍの範囲であり、長波長とは、例えば約５９０ｎｍ〜約７５０ｎｍの範囲であることができるが、各範囲内に厳密に限定されるものでないことを当業者は容易に理解する。すなわち、可視光の範囲そのものは厳密に定義されておらず、上記範囲外の波長の色であっても、短波長の色、中波長の色又は長波長の色として使用可能である。
【００６０】
このようなゴミ検出モードに対して、油脂検出モードは、指紋等の光の透過性が高い付着物を検出するモードであり、傷検出モードは、傷等のような、容易に取り除くことができない恒久的についた付着物を検出するモードである。油脂検出モード及び傷検出モードの詳細については後述する。これらの各処理モードは、ユーザによって選択され、選択されたモードによる異物検出処理の後、各モードに関連付けられた、表示設定１〜３、欠陥領域検出時の表示内容、欠陥領域非検出時の表示内容、又は傷処理確認の表示内容で、検出結果が表示画面１０に表示される。
【００６１】
〔第２実施形態〕
表示装置１の他の実施形態について、図８〜１１を参照して以下に説明する。図８は、本実施形態において表示画面１０に表示される子画面表示の一例を示す図であり、図９（ａ）〜（ｇ）は、子画面表示設定するときに、表示画面１０に表示される画面表示の遷移を示す図である。図１０は、表示設定の変更処理の流れを示すシーケンス図であり、図１１は、記憶部８に記憶された第２テーブル１００の概略図である。図８に示すように、本実施形態においては、ゴミが存在する欠陥領域が検出されたとき、検出された欠陥領域の位置を示す画像を子画面に表示する点においてのみ第１実施形態と異なっており、表示装置１の構成及び基本的な異物検出処理については第１実施形態と同様である。したがって、本実施形態においては第１実施形態と異なる点についてのみ説明し、他の詳細については省略する。
【００６２】
図８に示すように、本実施形態において画像処理部７は、欠陥領域画像が、表示画面１０を縮小した子画面内に表示されるような欠陥領域通知画像を作成するようになっている。本実施形態のように欠陥領域を子画面内に表示するのは、欠陥領域画像を表示画面１０においてゴミが存在する位置に表示するような欠陥領域通知画像を作成した場合、ゴミの検出を示す文字列や、ユーザの操作入力を受け付ける入力ボタン等の既存の表示と欠陥領域とが重なり、ユーザが欠陥領域を確認しづらい場合等に特に有効である。このとき、欠陥領域を、子画面が全画面表示された場合に欠陥領域が存在する位置に対応するような子画面の位置に表示することによって、子画面を確認したユーザが、異物が存在する位置を容易に認識できるようになっている。
【００６３】
次に、欠陥領域を子画面表示設定するときに、表示画面１０に表示される画面表示の遷移を、図９（ａ）〜（ｇ）を参照して説明する。まず、図９中（ａ）に示す表示画面１０において、メニュー画面からゴミ検出ツールが選択され、この選択入力に基づいて、図９中（ｂ）に示すように、表示画面１０にゴミ検出ツールのメニュー画面が表示される。次に、図９中（ｂ）に示すゴミ検出ツールのメニュー画面において、「３．各種設定」が選択され、この選択入力に基づいて、図９中（ｃ）に示すように、表示画面１０に各種設定のメニュー画面が表示される。
【００６４】
図９中（ｃ）に示す表示画面において、「１．表示設定１」が選択されると、この選択入力に基づいて、図９中（ｄ）及び（ｆ）に示すように、表示画面１０に表示設定１のメニュー画面が表示される。表示設定１のメニューは、図７の第１テーブル６０に示すように、全画面又はウインドウ表示の何れかを選択するものである。図９中（ｄ）に示すように、表示設定１のメニュー画面において「１．全画面表示」が選択された場合、図９中（ｅ）に示すように、表示画面１０に欠陥領域を含む画像が全画面表示されると共に、全画面表示に設定を変更するか否かを確認する文字列及び選択ボタンを含む画像が表示される。一方、図９中（ｆ）に示すように、表示設定１のメニュー画面において「２．ウインドウ表示」が選択された場合、図９中（ｇ）に示すように、表示画面１０に欠陥領域を示す子画面が表示され、子画面表示に設定を変更するか否かを確認する文字列及び選択ボタンを含む画像が表示される。
【００６５】
図９（ａ）〜（ｇ）に示すような表示設定の変更処理の流れについて、図１０及び図１１を参照して説明する。まず、ステップＳ９００において、メイン制御部２は、記憶部８に記憶された第２テーブル１００から、表示設定１のうちユーザが選択した表示設定に関連付けられた表示内容と参照図とを読み出す。すなわち、ユーザが「１．全画面表示」を選択した場合、第２テーブル１００から、表示設定１の「全画面」に関連付けられた表示内容及び参照図を読み出し、ユーザが「２．ウインドウ表示」を選択した場合、表示設定１の「ウインドウ」に関連付けられた表示内容及び参照図を読み出す。
【００６６】
そして、ステップＳ９０１において、メイン制御部２は表示部３に、読み出した表示内容及び参照図を表示画面１０に表示させる。このとき表示画面１０には、表示設定の変更を行うか否かをユーザが選択する操作入力を受け付ける選択ボタンが表示される（「はい」及び「いいえ」）。ステップＳ９０２において、ユーザの操作入力が表示設定の変更を行うことを表す場合（Ｙｅｓ）、記憶部８の第１テーブル６０の表示設定１を、ユーザが選択した表示設定に変更し（ステップＳ９０３）、表示設定の変更処理を終了する（ＥＮＤ）。一方、ステップＳ９０２において、ユーザの操作入力が表示設定の変更を行わないことを表す場合（Ｎｏ）、記憶部８の第１テーブル６０の表示設定１を変更せず、表示設定の変更処理を終了する（ＥＮＤ）。
【００６７】
本実施形態においては、ユーザが表示設定１の設定変更を行っているが、表示装置１において、欠陥領域と画面レイアウトとを比較して、欠陥領域が他の既存の表示に重なる場合には、欠陥領域を子画面表示すると判定し、自動的に表示設定を変更するようになっていてもよい。
【００６８】
〔第３実施形態〕
表示装置１の他の実施形態について、図１２〜１４を参照して以下に説明する。図１２（ａ）〜（ｃ）は、本実施形態において表示画面１０に表示される画面表示の一例を示す図であり、図１３（ａ）〜（ｉ）は、表示設定変更時に表示画面１０に表示される画面表示の遷移を示す図であり、図１４は、記憶部８に記憶された第３テーブル１３０の概略図である。図１２（ａ）〜（ｃ）に示すように、本実施形態においては、異物が存在する欠陥領域が検出されたときの欠陥領域の明度を、欠陥領域以外の明度と異なるように表示させる点においてのみ第１実施形態と異なっており、表示装置１の構成及び基本的な異物検出処理については第１実施形態と同様である。したがって、本実施形態においては第１実施形態と異なる点についてのみ説明し、他の詳細については省略する。
【００６９】
図１２中（ａ）に示すように、本実施形態において画像処理部７は、欠陥領域の明度を黒に変更し、欠陥領域以外の領域の明度（白）と異なるように表示させる画像を作成するようにするようになっている。また、図１２中（ｂ）に示すように、画像処理部７は、欠陥領域以外の領域の明度を黒に変更し、欠陥領域の明度（白）と異なるように表示させる画像を作成するようになっていてもよい。さらに、図１２（ｃ）に示すように、画像処理部７は、欠陥領域及びこれを囲む周辺領域の明度を黒に変更し、他の領域の明度（白）と異なるように表示させる画像を作成するようになっていてもよい。このように、欠陥領域と欠陥領域以外の他の領域とで、明度が異なるように表示することによって、ユーザが欠陥領域と他の領域とを区別しやすくなり、視認性が向上する。
【００７０】
次に、欠陥領域と欠陥領域以外の他の領域とで、明度が異なるように表示させる表示設定にするときの、表示画面１０に表示される画面表示の遷移を、図１３（ａ）〜（ｉ）を参照して説明する。まず、図１３中（ａ）に示す表示画面１０において、メニュー画面からゴミ検出ツールが選択され、この選択入力に基づいて、図１３中（ｂ）に示すように、表示画面１０にゴミ検出ツールのメニュー画面が表示される。次に、図１３中（ｂ）に示すゴミ検出ツールのメニュー画面において、「３．各種設定」が選択され、この選択入力に基づいて、図１３中（ｃ）に示すように、表示画面１０に各種設定のメニュー画面が表示される。
【００７１】
図１３中（ｃ）に示す表示画面において、「２．表示設定２」が選択されると、この選択入力に基づいて、図１３中（ｄ）、（ｆ）及び（ｈ）に示すように、表示画面１０に表示設定２のメニュー画面が表示される。表示設定２のメニューは、図７の第１テーブル６０に示すように、パターン１〜３の何れかを選択するものである。図１３中（ｄ）に示すように、表示設定２のメニュー画面において「１．パターン１」が選択された場合、図１３中（ｅ）に示すように、欠陥領域の明度が黒で、かつ欠陥領域以外の領域の明度が白の画像が表示画面１０に表示されると共に、欠陥領域の明度を黒として表示するように表示設定を変更するか否かを確認する文字列及び選択ボタンを含む画像が表示される。
【００７２】
一方、図１３中（ｆ）に示すように、表示設定２のメニュー画面において「２．パターン２」が選択された場合、図１３中（ｇ）に示すように、欠陥領域の明度が白で、かつ欠陥領域以外の領域の明度が黒の画像が表示画面１０に表示されると共に、欠陥領域以外の明度を黒として表示するように表示設定を変更するか否かを確認する文字列及び選択ボタンを含む画像が表示される。
【００７３】
また、図１３中（ｈ）に示すように、表示設定２のメニュー画面において「３．パターン３」が選択された場合、図１３中（ｉ）に示すように、欠陥領域及びこれを囲む周辺領域の明度が黒で、かつ他の領域の明度が白の画像が表示画面１０に表示されると共に、欠陥領域及びこれを囲む周辺領域の明度を黒として表示するように表示設定を変更するか否かを確認する文字列及び選択ボタンを含む画像が表示される。
【００７４】
なお、図１３（ａ）〜（ｉ）に示すような表示設定の変更処理については、図１０に示すシーケンス図に示す流れと同様に行うことができるので、その詳細については省略する。図１０のステップＳ９０１において、図１４に示す、記憶部８に記憶された第３テーブル１３０から、表示設定２のうちユーザが選択した表示設定に関連付けられた表示内容と参照図とを読み出す点が、図１０に示す流れと異なっている。そして、同様に、ステップＳ９０３において、第１テーブル６０の表示設定２を、ユーザが選択した表示設定に変更する点において、図１０に示す流れと異なっている。
【００７５】
また、画像処理部７は、上述したような欠陥領域の明度が欠陥領域以外の領域の明度と異なるように表示させる画像を作成する形態以外にも、欠陥領域の色相が欠陥領域以外の領域の色相と異なるように表示させる画像を作成するようになっていてもよい。例えば、欠陥領域の色相を青に変更し、欠陥領域以外の領域の色相（白）と異なるように表示させる画像を作成するようになっている。また、例えば欠陥領域以外の色相を黄に変更し、欠陥領域の色相（黒）と異なるように表示させる画像を作成するようになっている。このような表示設定として、第１テーブル６０の表示設定３にパターン１及びパターン２を格納し、図１４に示す第３テーブル１３０と同様に、これらのパターンに関連付けた表示内容及び参照図を格納したテーブルを、記憶部８が備えていてもよい。このように、欠陥領域と欠陥領域以外の他の領域とで、色相が異なるように表示することによって、ユーザが欠陥領域と他の領域とを区別しやすくなり、視認性が向上する。
【００７６】
〔第４実施形態〕
表示装置１の他の実施形態について、図１５〜１７を参照して以下に説明する。図１５（ａ）〜（ｆ）は、本実施形態において、ゴミ検出中及び検出後に表示画面１０に表示される表示画像の例を示す図であり、図１６（ａ）〜（ｇ）は、ゴミ検出中及び検出後の表示設定を変更するときに、表示画面１０に表示される画面表示の遷移を示す図であり、図１７は、記憶部８に記憶された第４テーブル１６０の概略図である。本実施形態においては、ゴミ検出処理の判定領域を限定する点、及び図１５（ａ）〜（ｆ）に示すように、ゴミ検出中の表示画面１０の画面表示においてのみ第１実施形態と異なっており、表示装置１の構成及び基本的な異物検出処理については第１実施形態と同様である。したがって、本実施形態においては第１実施形態と異なる点についてのみ説明し、他の詳細については省略する。
【００７７】
本実施形態においては、図１５中（ａ）及び（ｂ）に示すように、表示画面１０の上半分をゴミ検出処理の判定領域とし、表示画面１０の上半分に存在するゴミを検出する。このとき欠陥領域判定部６は、撮像部５が撮像した表示画面１０の画像のうち、上半分のみについてゴミ検出処理を行う。これにより、表示装置１の消費電力を低減することができる。このとき、表示部３が表示画面１０の判定領域である上半分のみに所定の表示色を表示したり、撮像部５が表示画面１０の判定領域である上半分のみを撮像した画像データを作成したりすることによっても、表示装置１の消費電力が低減する。
【００７８】
また、図１５中（ｃ）及び（ｄ）に示すように、表示画面１０の下半分をゴミ検出処理の判定領域とし、表示画面１０の下半分に存在するゴミを検出する場合、並びに図１５中（ｅ）及び（ｆ）に示すように、表示画面１０の左半分若しくは右半分をゴミ検出処理の判定領域とし、表示画面１０の左半分若しくは右半分に存在するゴミを検出する場合にも、同様の効果が得られる。
【００７９】
次に、ゴミ検出処理の判定領域の設定を変更するときの、表示画面１０に表示される画面表示の遷移を図１６（ａ）〜（ｇ）を参照して説明する。まず、図１６中（ａ）に示す表示画面１０において、メニュー画面からゴミ検出ツールが選択され、この選択入力に基づいて、図１６中（ｂ）に示すように、表示画面１０にゴミ検出ツールのメニュー画面が表示される。次に、図１６中（ｂ）に示すゴミ検出ツールのメニュー画面において、「３．各種設定」が選択され、この選択入力に基づいて、図１６中（ｃ）に示すように、表示画面１０に各種設定のメニュー画面が表示される。
【００８０】
図１６中（ｃ）に示す表示画面において、「４．領域設定」が選択されると、この選択入力に基づいて、図１６中（ｄ）及び（ｆ）に示すように、表示画面１０に領域設定のメニュー画面が表示される。領域設定のメニューは、図７の第１テーブル６０の判定領域に示す、全領域、上半分、下半分、右半分及び左半分の何れかを選択するものである。図１６中（ｄ）に示すように、領域設定のメニュー画面において「１．全領域」が選択された場合、図１６中（ｅ）に示すように、表示画面１０の全領域がゴミ検出の判定領域になるように設定変更するか否かを確認する文字列及び選択ボタンを含む画像が表示画面１０に表示される。このとき、表示画面１０の文字列及び選択ボタン以外の領域は全て同一の表示形式で表示されている。
【００８１】
一方、図１６中（ｆ）に示すように、領域設定のメニュー画面において「２．上半分」が選択された場合、図１６中（ｇ）に示すように、表示画面１０の上半分の領域がゴミ検出の判定領域になるように設定変更するか否かを確認する文字列及び選択ボタンを含む画像が表示画面１０に表示される。このとき、表示画面１０の下半分に文字列及び選択ボタンが表示され、上半分は、下半分の文字列及び選択ボタン以外の領域とは異なる表示形式で表示されている。
【００８２】
なお、図１６（ａ）〜（ｇ）に示すような表示設定の変更処理については、図１０に示すシーケンス図に示す流れと同様に行うことができるので、その詳細については省略する。図１０のステップＳ９０１において、図１７に示す、記憶部８に記憶された第４テーブル１６０から、判定領域のうちユーザが選択した判定領域に関連付けられた表示内容と参照図とを読み出す点が、図１０に示す流れと異なっている。そして、同様に、ステップＳ９０３において、第１テーブル６０の判定領域を、ユーザが選択した判定領域に変更する点において、図１０に示す流れと異なっている。
【００８３】
〔第５実施形態〕
表示装置１の他の実施形態について、図１８（ａ）〜（ｄ）を参照して以下に説明する。図１８（ａ）〜（ｄ）は、油脂検出処理時に、表示画面１０に表示される画面表示の遷移を示す図である。本実施形態において表示装置１は、油脂検出処理を行う点においてのみ第１実施形態と異なっている。
【００８４】
まず、図１８中（ａ）に示す表示画面１０において、メニュー画面からゴミ検出ツールが選択され、この選択入力に基づいて、図１８中（ｂ）に示すように、表示画面１０にゴミ検出ツールのメニュー画面が表示される。次に、図１８中（ｂ）に示すゴミ検出ツールのメニュー画面において、「２．油脂検出」が選択され、この選択入力に基づいて、メイン制御部２は、撮像部５及び欠陥領域判定部６を駆動して油脂を検出する。
【００８５】
油脂の検出処理中は、図１８中（ｃ）に示すように、記憶部８の第１テーブル６０に記憶された表示色である白を表示画面１０に表示させる。油脂の検出処理が完了し、油脂が検出された場合、検出結果及び第１テーブル６０に格納された表示方法に基づいて、図１８（ｄ）に示すように、油脂を検出した検出結果を表す画像を生成し、生成した画像を表示画面１０に表示させる。そして、図１８（ｄ）において、油脂の検出を確認したことを示す確認ボタンをユーザが選択したとき、油脂検出処理が終了する。
【００８６】
図１８（ｄ）において、検出された油脂は、表示画面１０における油脂が存在する位置に点線で示され、他の位置とは異なる表示色で表示されているので、ユーザは表示画面１０上の油脂の存在を容易に認識することができる。そして、ユーザは表示画面１０において点線で示された位置から油脂を取り除くことによって、表示画面１０のタッチパネル機能による検出精度の低減を防止することができる。
【００８７】
このような、油脂検出モードは、通常見えにくい指紋等のような、光の透過性が高い付着物を検出する形態である。表示画面１０に、広範囲の波長を含んだ白色を表示することによって、撮像部５の受光素子１９３が最高感度で表示画面１０を撮像できるように設定する。そして、検出時の判定閾値は、ゴミ検出モードにおいては、平均輝度±２５以上とするのに対して、油脂検出モードにおいては、平均輝度の５〜２４又は−２４〜−５に下げることによって、光の透過率の高い付着物を検出できるように設定する。したがって、輝度変化が小さい油脂等の検出に限定され、輝度変化が大きいゴミは検出されない。
【００８８】
〔第６実施形態〕
表示装置１の他の実施形態について、図１９（ａ）〜（ｃ）を参照して以下に説明する。図１９（ａ）〜（ｃ）は、傷検出処理時に、表示画面１０に表示される画面表示の遷移を示す図である。本実施形態において表示装置１は、ゴミ検出処理又は油脂検出処理の後に傷検出処理を行う点においてのみ上述した他の実施形態と異なっている。図１９中（ａ）に示す画面表示は、図４中（ｅ）のゴミ検出処理の後、又は図１８中（ｄ）の油脂検出処理の後に、ユーザが、ゴミ又は油脂の検出を確認したことを示す確認ボタンを選択したときに、さらに傷の検出処理を行うか否かを確認するために表示画面１０に表示される。
【００８９】
ユーザが、傷の検出を行うことを選択したとき、当該選択入力に基づいて、メイン制御部２は、撮像部５に表示画面１０を撮像して傷検出画像データを生成させる。傷の検出処理中は、図１９中（ｂ）に示すように、記憶部８の第１テーブル６０に記憶された表示色である白を表示画面１０に表示させる。そして、欠陥領域判定部６は、傷検出画像データに基づいて、異物の存在する位置を検出し、検出した異物の位置が、直前に行われたゴミ検出処理又は油脂検出処理において撮像部５が生成した画像データに基づいて検出した異物の位置と同一であるか否かを判定する。
【００９０】
この判定結果が同一である場合、欠陥領域判定部６は、異物の位置をユーザに通知したにも関わらず、ユーザが異物を除去することができない異物、すなわち傷等の恒久的に付着した異物であると判定する。傷の検出処理が完了し、傷が検出された場合、検出結果及び第１テーブル６０に格納された表示方法に基づいて、図１９（ｃ）に示すように、傷を検出した検出結果を示す画像を生成して表示画面１０に表示させる。そして、図１９（ｃ）において、傷の検出を確認したことを示す確認ボタンをユーザが選択したとき、傷検出処理が終了する。
【００９１】
図１９（ｃ）において、検出された傷は、表示画面１０における傷が存在する位置に点線で示され、他の位置とは異なる表示色で表示されているので、ユーザは表示画面１０上の傷の存在を容易に認識することができる。そして、ユーザは表示画面１０において点線で示された位置から傷を取り除くことによって、表示画面１０のタッチパネル機能による検出精度の低減を防止することができる。
【００９２】
傷検出モードは、例えば傷等のような、容易に取り除くことができない、恒久的についた付着物を検出する形態である。表示画面１０に、広範囲の波長を含んだ白色を表示することによって、撮像部５の受光素子１９３が最高感度で表示画面１０を撮像できるように設定する。検出時の判定閾値は、ゴミ検出モードと同様に±２５以上とし、ゴミ検出処理又は油脂検出処理の後に実行することによって、ゴミ検出処理又は油脂検出処理によってユーザが取り除くことができなかった付着物を、恒久的な付着物である「傷」と判定する。
【００９３】
〔第７実施形態〕
表示装置１の他の実施形態について、図２０及び２１を参照して以下に説明する。図２０は、表示装置１の撮像部５の要部構成を説明するための断面図であり、図２１は、表示画面１０の画素と撮像部５の受光素子１９３との関係を説明するための概略図である。本実施形態においては、撮像部５の要部構成について説明し、他の構成については上述した他の実施形態と同様であるため、その詳細な説明は省略する。
【００９４】
図２０に示すように、表示装置１の撮像部５は、撮像の対象となる被検出物１９６側から、保護板１９０、ガラス板１９１、カラーフィルター１９２、受光素子１９３、及びガラス板１９４をこの順に備えている。保護板１９０の表面が表示装置１の表示画面１０を構成し、撮像部５と表示部３とは一体形成されている。バックライト１９５は、表示部３のバックライト制御部３４の制御によって、ガラス板１９４側から保護板１９０表面の表示画面１０に光を照射する。
【００９５】
バックライト１９５から表示画面１０に照射された光は、被検出物１９６によって反射し、その反射光を受光素子１９３で受光することによって、表示画面１０上の被検出物の画像データを取り込む。ユーザによる表示画面１０への入力操作を検出するとき、撮像部５により取り込んだ画像データを画像処理することによって、例えばユーザの指等の表示画面１０への接触又は非接触を判定する。そして、接触と判定した場合には接触した座標を検出することによって、ユーザによる入力操作を検出する。表示装置１によりゴミ、油脂又は傷を検出する場合、欠陥領域判定部６が、撮像部５が受光素子１９３より取り込んだ画像データから、ゴミ、油脂又は傷を欠陥領域として抽出する。
【００９６】
本実施形態の撮像部５において、受光素子１９３は、図２１に示すように、表示画面１０の１つの画素単位１９７に対して複数備えられている。例えば、表示画面の１０の表示解像度を４８０×６４０画素とし、画面サイズを２．４インチ（対角線距離）とし、１画素あたりの大きさは、７６．５μｍ×７６．５μｍとする。このとき、１画素あたり６個の受光素子１９３を、画素単位１９７の対角線に沿ってななめに配置すると、各受光素子１９３間の距離は１８μｍとなる。したがって、画素単位１９７の拡大図に示すように、例えば花粉のように、直径約３０μｍ〜４０μｍと微小な被検出物２００であっても、最低でも２個の受光素子１９３が被検出物２００からの光を受光することができるので、微小なゴミを検出することができる。
【００９７】
また、１画素あたり６個配置された受光素子１９３の全てを駆動してもよいし、ユーザが選択するゴミ検出モード（ノーマルモード、高感度モード又は省電力モード）に応じて、その一部を駆動するように制御してもよい。例えばノーマルモードにおいては、図２１に示す受光素子１９３を、一端から１つおきに駆動する。これにより、駆動する受光素子１９３間の距離が３６μｍとなるため、７２μｍ以上の大きさのゴミを検出することができる。したがって、直径約５０μｍ〜約１５０μｍの髪の毛等のゴミの検出が可能である。そして、６個の受光素子１９３全てを駆動する場合と比較して、半分の受光素子１９３しか駆動しないので、消費電力を半分に低減することができる。
【００９８】
一方、高感度モードにおいては、１画素あたり６個の受光素子１９３を全て駆動することによって、上述したように、直径約３０μｍ〜約４０μｍのような、より小さいゴミを検出することができる。さらに、省電力モードにおいては、１画素あたり１個の受光素子１９３を駆動して消費電力を抑えつつ、埃のようにより直径の大きなゴミを検出することができる。
【００９９】
本実施形態において使用する受光素子１９３は、青色、又は青色及び緑色を組み合わせたシアンに対して感度がよく、白色に対する感度が最もよい。したがって、ゴミ、油脂又は傷の検出時には、要求される検出精度に応じて表示画面１０に表示させる色を設定し、表示画面側から受光素子に入射する光の色が受光素子１９３による検出に適した色になるようにする。
【０１００】
〔第８実施形態〕
表示装置１の他の実施形態について、図２２を参照して以下に説明する。図２２は、撮像部５の受光素子１９３の配置について説明する図である。本実施形態においては、受光素子１９３の配置について説明し、他の構成については上述した他の実施形態と同様であるため、その詳細な説明は省略する。図２２に示すように、１つの画素単位１９７に対して複数の受光素子１９３が対角線に沿って斜めに配置されている。
【０１０１】
そして、ある特定の着目画素単位１９７に対して、上下左右に隣接する画素単位１９７がそれぞれ、着目画素単位１９７に対して９０度回転して配置されている。すなわち、隣接する画素単位１９７間において、受光素子１９３が配列する対角線同士が９０度の角をなすように、受光素子１９３を配置させる。これにより、表示画面１０において生じるモアレ、フリッカ等の影響を低減させる。
【０１０２】
〔第９実施形態〕
表示装置１の他の実施形態について、図２３（ａ）〜（ｃ）を参照して以下に説明する。図２３（ａ）〜（ｃ）は、欠陥領域判定部６による欠陥領域判定処理を説明するための図であり、図２３中（ａ）は撮像部５が取得した画像２２１の例を示し、図２３中（ｂ）は、図２３中（ａ）のＸ領域の拡大図であり、図２３中（ｃ）は、図２３中（ｂ）に示すＡ−Ａ’線における断面図である。本実施形態においては、欠陥領域判定部６による欠陥領域判定処理の詳細について説明し、他の構成については上述した他の実施形態と同様であるため、その詳細な説明は省略する。
【０１０３】
図２３中（ａ）において、撮像部５が取得した画像２２１中にゴミ等の異物２２０が存在する場合、異物の存在する位置の画素２２２の輝度は、図２３中（ｂ）に示すように、他の位置の輝度よりも低い。ここで、欠陥領域判定部６は、まず、撮像部５が取り込んだ画像２２１において、判定領域の平均輝度を算出する。そして、この平均輝度を、画像２２１中の各画素の輝度値と比較し、その差が閾値より大きい場合は欠陥領域と判定して、図示しないメモリに記録する。図２３中（ｃ）においては、平均輝度ラインよりも、輝度が低い位置に設定された閾値ラインよりもさらに輝度が低い位置の画素を欠陥領域と判定する。すなわち、図２３中（ｂ）に示す輝度の最も低い部分を欠陥領域と判定する。
【０１０４】
この処理を、例えば１フレーム以上の予め定められた判定時間の間行う。２フレーム以降は、判定時間内に継続して同じ画素位置に欠陥領域が検出された場合のみを当該画素を欠陥領域と判定し、得られた排他的論理和をメモリに記録する。メモリに記録された欠陥領域の判定結果は、メイン制御部２に送信される。欠陥領域判定部６は、図示しない、平均輝度演算部及びタイミング調整用の第１フレームメモリを備えていてもよく、撮像部５から画像データが送信されたとき、当該画像データに基づいて平均輝度演算部が算出した平均輝度と、第１フレームメモリに一時的に記憶された画像データとを、比較器（図示せず）において比較する。そして、比較器における比較による判定結果を欠陥領域保存用の第２フレームメモリ（図示せず）に記憶するようになっていてもよい。この場合、第２フレームメモリに記憶された判定結果をメイン制御部２に送信する。
【０１０５】
なお、表示画面１０側から受光素子１９３に入射する光には、バックライト１９５から照射されて表示画面１０上のゴミ、油脂又は傷に反射して受光素子１９３に入射する光以外に、表示画面１０の外側から入射する外光が含まれる。埃等のゴミが表示画面１０上に存在するとき、ゴミによって外光及びバックライト光はほぼ反射する。したがって、外光が強い場合には、撮像部５が取得した画像において、ゴミが存在する位置の画素は他の位置の画素と比較して暗くなり、外光が弱い場合には、ゴミが存在する位置の画素は他の位置の画素と比較して明るくなる。
【０１０６】
一方、油脂等が表示画面１０上に存在するとき、外光及びバックライト光はほぼ油脂を透過する。したがって、外光が強い場合には、撮像部５が取得した画像において、油脂が存在する位置の画素は他の位置の画素と比較して若干暗くなり、外光が弱い場合には、油脂が存在する位置の画素は他の位置の画素と比較して若干明るくなる。油脂の存在による画像の輝度変化の絶対値は、ゴミの存在による画像の輝度変化の絶対値よりも小さいので、上述した受光素子１９３の分光感度がより高くなる白色を表示画面１０に表示させることが好ましい。
【０１０７】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。すなわち、上記表示装置１を、例えば携帯電話、ＰＣ、ＴＶ、音楽プレーヤー、デジタルフォトフレーム、ブックビューワー等の表示装置として使用する形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１０８】
本発明は、表示画面上における異物の位置を正確にユーザに通知し、ユーザが通知された位置にある異物を取り除くことによって、確実に表示画面上の異物を取り除くことができるので、表示画面に入力された入力操作の正確な検出が可能であり、タッチパネル機能を有する表示画面を備えた種々の電子機器に好適に利用可能である。
【符号の説明】
【０１０９】
１ 表示装置
２ メイン制御部
３ 表示部（表示手段）
４ キー入力部
５ 撮像部（撮像手段）
６ 欠陥領域判定部（検出手段）
７ 画像処理部（画像生成手段）
８ 記憶部
１０ 表示画面
１９３ 受光素子
１９７ 画素単位
【特許請求の範囲】
【請求項１】
表示画面に入力された入力操作を検出する機能を有する表示画面を備えた表示装置であって、
上記表示画面から入射する光を受光し、受光した当該光に基づいて画像データを生成する撮像手段と、
上記撮像手段が生成した上記画像データに基づいて、上記表示画面上に存在する被検出物の位置を検出する検出手段と、
上記表示画面上における、上記検出手段が検出した上記被検出物の位置を表す欠陥領域画像と、上記表示画面上における上記被検出物以外の他の位置を表し、上記欠陥領域画像とは表示形式の異なる非欠陥領域画像とを含む欠陥領域通知画像を生成する画像生成手段と、
上記欠陥領域通知画像を上記表示画面に表示する表示手段と
を備えていることを特徴とする表示装置。
【請求項２】
上記画像生成手段は、上記欠陥領域画像が上記表示画面上における上記被検出物の位置に表示されるように、上記欠陥領域通知画像を生成することを特徴とする請求項１に記載の表示装置。
【請求項３】
上記画像生成手段は、
上記表示画面を縮小した子画面画像を含み、上記子画面内において、上記表示画面上における上記被検出物の位置に対応する位置に、上記欠陥領域画像が表示されるように上記欠陥領域通知画像を生成することを特徴とする請求項１に記載の表示装置。
【請求項４】
上記画像生成手段は、上記欠陥領域画像と上記非欠陥領域画像との明度又は色相が異なる上記欠陥領域通知画像を生成することを特徴とする請求項１〜３のいずれか１項に記載の表示装置。
【請求項５】
上記表示手段は、上記撮像手段が上記表示画面から入射する光を受光するとき、短波長の色の画像、又は波長の異なる複数の短波長の色を組み合わせた色の画像を上記表示画面に表示させることを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
【請求項６】
上記表示手段は、明度の低い上記色の画像を上記表示画面に表示させることを特徴とする請求項５に記載の表示装置。
【請求項７】
上記表示手段は、上記撮像手段が上記表示画面から入射する光を受光するとき、波長の異なる複数の色を組み合わせた、広範囲の波長を含む色の画像を上記表示画面に表示させることを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
【請求項８】
上記検出手段は、上記画像データにおいて、予め定められた所定の領域に存在する被検出物の位置を検出することを特徴とする請求項１〜７のいずれか１項に記載の表示装置。
【請求項９】
上記検出手段は、上記画像データ中の画素の平均輝度を算出し、画素の輝度と当該平均輝度との差が、予め定められた所定の閾値よりも大きい場合に、当該画素を欠陥画素であると判定し、上記欠陥画素からなる領域を被検出物の位置として検出することを特徴とする請求項１〜８のいずれか１項に記載の表示装置。
【請求項１０】
上記閾値は、上記被検出物の光の透過性に応じて予め定められるものであり、
上記検出手段は、上記閾値がより低いときに検出した上記被検出物を、光の透過性が高い付着物であると判定し、
上記画像生成手段は、上記検出手段の判定結果に基づいて、上記被検出物が光の透過性の高い付着物であることを示す画像を含む欠陥領域通知画像を生成する
ことを特徴とする請求項９に記載の表示装置。
【請求項１１】
上記撮像手段は、上記表示手段が上記欠陥領域通知画像を上記表示画面に表示した後に、上記表示画面から入射する光を受光し、受光した当該光に基づいて傷検出画像データを生成し、
上記検出手段は、上記傷検出画像データに基づいて、上記表示画面上に存在する上記被検出物の位置を検出し、当該被検出物の位置が、上記画像データに基づいて検出した上記被検出物の位置と同一であるとき、当該被検出物を恒久的な付着物であると判定し、
上記画像生成手段は、上記検出手段の判定結果に基づいて、上記被検出物が恒久的な付着物であることを示す画像を含む欠陥領域通知画像を生成する
ことを特徴とする請求項１〜１０のいずれか１項に記載の表示装置。
【請求項１２】
上記撮像手段は、上記表示画面から入射する光を受光する受光素子を、上記表示画面の各画素に対してそれぞれ複数備え、当該受光素子は、上記画素の対角線の一方に対応する位置に沿って配置されていることを特徴とする請求項１〜１１のいずれか１項に記載の表示装置。
【請求項１３】
上記表示画面の隣接する上記画素間において、上記受光素子が配列した対角線同士が９０度の角をなすように、上記受光素子を配置したことを特徴とする請求項１２に記載の表示装置。
【請求項１４】
上記撮像手段は、１つの画素に対して複数備えられた上記受光素子の少なくとも１つによって、上記表示画面から入射する光を受光することを特徴とする請求項１２又は１３に記載の表示装置。
【請求項１】
表示画面に入力された入力操作を検出する機能を有する表示画面を備えた表示装置であって、
上記表示画面から入射する光を受光し、受光した当該光に基づいて画像データを生成する撮像手段と、
上記撮像手段が生成した上記画像データに基づいて、上記表示画面上に存在する被検出物の位置を検出する検出手段と、
上記表示画面上における、上記検出手段が検出した上記被検出物の位置を表す欠陥領域画像と、上記表示画面上における上記被検出物以外の他の位置を表し、上記欠陥領域画像とは表示形式の異なる非欠陥領域画像とを含む欠陥領域通知画像を生成する画像生成手段と、
上記欠陥領域通知画像を上記表示画面に表示する表示手段と
を備えていることを特徴とする表示装置。
【請求項２】
上記画像生成手段は、上記欠陥領域画像が上記表示画面上における上記被検出物の位置に表示されるように、上記欠陥領域通知画像を生成することを特徴とする請求項１に記載の表示装置。
【請求項３】
上記画像生成手段は、
上記表示画面を縮小した子画面画像を含み、上記子画面内において、上記表示画面上における上記被検出物の位置に対応する位置に、上記欠陥領域画像が表示されるように上記欠陥領域通知画像を生成することを特徴とする請求項１に記載の表示装置。
【請求項４】
上記画像生成手段は、上記欠陥領域画像と上記非欠陥領域画像との明度又は色相が異なる上記欠陥領域通知画像を生成することを特徴とする請求項１〜３のいずれか１項に記載の表示装置。
【請求項５】
上記表示手段は、上記撮像手段が上記表示画面から入射する光を受光するとき、短波長の色の画像、又は波長の異なる複数の短波長の色を組み合わせた色の画像を上記表示画面に表示させることを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
【請求項６】
上記表示手段は、明度の低い上記色の画像を上記表示画面に表示させることを特徴とする請求項５に記載の表示装置。
【請求項７】
上記表示手段は、上記撮像手段が上記表示画面から入射する光を受光するとき、波長の異なる複数の色を組み合わせた、広範囲の波長を含む色の画像を上記表示画面に表示させることを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
【請求項８】
上記検出手段は、上記画像データにおいて、予め定められた所定の領域に存在する被検出物の位置を検出することを特徴とする請求項１〜７のいずれか１項に記載の表示装置。
【請求項９】
上記検出手段は、上記画像データ中の画素の平均輝度を算出し、画素の輝度と当該平均輝度との差が、予め定められた所定の閾値よりも大きい場合に、当該画素を欠陥画素であると判定し、上記欠陥画素からなる領域を被検出物の位置として検出することを特徴とする請求項１〜８のいずれか１項に記載の表示装置。
【請求項１０】
上記閾値は、上記被検出物の光の透過性に応じて予め定められるものであり、
上記検出手段は、上記閾値がより低いときに検出した上記被検出物を、光の透過性が高い付着物であると判定し、
上記画像生成手段は、上記検出手段の判定結果に基づいて、上記被検出物が光の透過性の高い付着物であることを示す画像を含む欠陥領域通知画像を生成する
ことを特徴とする請求項９に記載の表示装置。
【請求項１１】
上記撮像手段は、上記表示手段が上記欠陥領域通知画像を上記表示画面に表示した後に、上記表示画面から入射する光を受光し、受光した当該光に基づいて傷検出画像データを生成し、
上記検出手段は、上記傷検出画像データに基づいて、上記表示画面上に存在する上記被検出物の位置を検出し、当該被検出物の位置が、上記画像データに基づいて検出した上記被検出物の位置と同一であるとき、当該被検出物を恒久的な付着物であると判定し、
上記画像生成手段は、上記検出手段の判定結果に基づいて、上記被検出物が恒久的な付着物であることを示す画像を含む欠陥領域通知画像を生成する
ことを特徴とする請求項１〜１０のいずれか１項に記載の表示装置。
【請求項１２】
上記撮像手段は、上記表示画面から入射する光を受光する受光素子を、上記表示画面の各画素に対してそれぞれ複数備え、当該受光素子は、上記画素の対角線の一方に対応する位置に沿って配置されていることを特徴とする請求項１〜１１のいずれか１項に記載の表示装置。
【請求項１３】
上記表示画面の隣接する上記画素間において、上記受光素子が配列した対角線同士が９０度の角をなすように、上記受光素子を配置したことを特徴とする請求項１２に記載の表示装置。
【請求項１４】
上記撮像手段は、１つの画素に対して複数備えられた上記受光素子の少なくとも１つによって、上記表示画面から入射する光を受光することを特徴とする請求項１２又は１３に記載の表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１１−４４０９４（Ｐ２０１１−４４０９４Ａ）
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願番号】特願２００９−１９３３７８（Ｐ２００９−１９３３７８）
【出願日】平成２１年８月２４日（２００９．８．２４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願日】平成２１年８月２４日（２００９．８．２４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]