半導体装置
【課題】フォトセンサによる撮像機能を有する半導体装置において、各画素に設けられたフォトセンサの特性ばらつきに起因するノイズを低減し、高精度の撮像を行うことを目的とする。
【解決手段】フォトセンサが配置された入力部と、画像処理回路とを有し、前記フォトセンサは、黒画像、及び被検出物の画像を撮像し、前記画像処理回路は、前記黒画像の画像データＸ、及び前記被検出物の画像の画像データＹを用いて、画像データ（Ｙ−Ｘ）を有する画像を生成する半導体装置である。また、上記入力部が表示パネルとして機能する表示装置である。
【解決手段】フォトセンサが配置された入力部と、画像処理回路とを有し、前記フォトセンサは、黒画像、及び被検出物の画像を撮像し、前記画像処理回路は、前記黒画像の画像データＸ、及び前記被検出物の画像の画像データＹを用いて、画像データ（Ｙ−Ｘ）を有する画像を生成する半導体装置である。また、上記入力部が表示パネルとして機能する表示装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野は、表示装置及びその駆動方法に関する。また、半導体装置及びその駆動方法に関する。
【背景技術】
【０００２】
近年、フォトセンサを有する表示パネルを搭載した表示装置が注目されている。
【０００３】
被検出物が表示パネルに接触もしくは接近する際、表示パネルに照射される光の量が変化する。光の量の変化をフォトセンサにより検出することで、被検出物の接触若しくは接近を検出することができる。
【０００４】
このような表示装置の一例として、表示パネルに密着型エリアセンサを配置することにより、撮像機能を備えた表示装置が挙げられる（例えば、特許文献１を参照）。また、表示パネルを有さない装置の一例として、イメージセンサ等の半導体装置が挙げられる。
【０００５】
表示装置において、撮像は次のように行われる。被検出物が表示パネルに接近又は接触すると、表示パネルから被検出物に光が照射され、一部の光が被検出物により反射される。表示パネルの画素にはフォトセンサが設けられており、反射された光を検出し電気信号に変換して画像データを取得することで、画像が生成される。
【０００６】
高精度の撮像を行うためには、表示パネルの画素に設けられたフォトセンサの特性のばらつきに起因するノイズを低減することが求められる。ノイズの影響により正常な画像を生成できない欠陥画素が存在してしまう。
【０００７】
欠陥画素の画像データを補正する技術が知られている（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−２９２２７６号公報
【特許文献２】特開２００２−２６２１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献２では、欠陥画素の隣接画素の画像データを用いることで、正常な画像データを生成し、欠陥画素の画像データを補正している。そのため、欠陥画素が広範囲に広がっている場合、画像データを補正することが困難であるという問題があった。
【００１０】
上記問題に鑑み、欠陥画素の隣接画素を用いた補正を行わなくても、画像データのノイズを低減し、高精度の撮像を行うことを目的の一つとする。
【課題を解決するための手段】
【００１１】
表示パネルの画素にはフォトセンサが配置されており、通常の画像を撮像する前に、予め補正用の画像を撮像しておく。そして通常の画像を撮像した際に、補正用の画像を用いて補正を行うことで、ノイズを低減した画像を生成する。ノイズを有する画素は、欠陥画素とも呼ばれる。
【００１２】
フォトセンサは、リセット動作時に所定の信号を入力することでリセットされる。補正用の画像は、リセット動作時に入力される信号から画像データを生成し撮像してもよい。リセット動作時の信号の大きさを設定することで、所望の画像を自動的に撮像することができる。
【００１３】
補正用の画像は、１つでも複数撮像して用いてもよい。
【００１４】
本発明の一態様は、フォトセンサがマトリックス状に配置された表示パネルと、画像処理回路とを有し、前記フォトセンサは、黒画像、及び被検出物の画像を撮像し、前記画像処理回路は、前記黒画像の画像データＸ、及び前記被検出物の画像の画像データＹを用いて、画像データ（Ｙ−Ｘ）を有する画像を生成する表示装置である。
【００１５】
本発明の他の一態様は、フォトセンサがマトリックス状に配置された表示パネルと、画像処理回路とを有し、前記フォトセンサは、白画像及び被検出物の画像を撮像し、前記画像処理回路は、階調の最大値をＭＡＸとし、前記白画像の画像データＸ、及び前記被検出物の画像の画像データＹを用いて、画像データ（Ｙ＋（ＭＡＸ−Ｘ））を有する画像を生成する表示装置である。
【００１６】
本発明の他の一態様は、フォトセンサがマトリックス状に配置された表示パネルと、画像処理回路とを有し、前記フォトセンサは、黒画像、白画像及び被検出物の画像を撮像し、前記画像処理回路は、階調の最大値をＭＡＸとし、前記黒画像の画像データＸ、前記白画像の画像データＹ、及び前記被検出物の画像の画像データＺを用いて、画像データ（ＭＡＸ×（Ｚ−Ｘ）／（Ｙ−Ｘ））を有する画像を生成する表示装置である。
【００１７】
また、フォトセンサにおいて撮像された画像を格納するための記憶装置を有することを特徴とする。
【００１８】
また、黒画像及び白画像は補正用の画像であり、フォトセンサのリセット動作時に撮像されることを特徴とする。
【発明の効果】
【００１９】
本発明により、高精度の撮像が可能な表示装置を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】表示装置の構成を説明する図。
【図２】表示装置の構成を説明する図。
【図３】表示装置の構成を説明する図。
【図４】タイミングチャート。
【図５】表示装置の構成を説明する図。
【図６】タイミングチャート。
【図７】表示装置の断面図。
【図８】表示装置の断面図。
【図９】表示装置の構成を示す図。
【図１０】表示装置を用いた電子機器の一例を示す図。
【図１１】画像処理方法の一例を示す図。
【図１２】表示装置の断面図。
【図１３】表示装置を用いた電子機器の一例を示す図。
【発明を実施するための形態】
【００２１】
以下に、実施の形態について、図面を用いて詳細に説明する。但し、以下の実施の形態は多くの異なる態様で実施することが可能であり、趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは、当業者であれば容易に理解される。従って、以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、実施の形態を説明するための全図において、同一部分又は同様な機能を有する部分には同一の符号を付し、その繰り返しの説明は省略する。
【００２２】
（実施の形態１）
本実施の形態では、表示装置について図１〜図５を参照して説明する。
【００２３】
表示パネルの構成について、図１を参照して説明する。表示パネル１００は、画素回路１０１、表示素子制御回路１０２及びフォトセンサ制御回路１０３を有する。画素回路１０１は、行列方向にマトリクス状に配置された複数の画素１０４を有する。各々の画素１０４は、表示素子１０５とフォトセンサ１０６を有する。なお、フォトセンサ１０６は、画素１０４の外に設けてもよい。また、フォトセンサ１０６の個数は、表示素子１０５の個数と異なっていてもよい。
【００２４】
表示素子１０５は、薄膜トランジスタ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ：ＴＦＴ）、保持容量、及び液晶素子などを有する。薄膜トランジスタは、保持容量への電荷を注入もしくは排出を制御する機能を有する。保持容量は、液晶素子に印加する電圧に相当する電荷を保持する機能を有する。液晶素子に電圧を印加し、光の透過又は非透過を制御することで、階調表示が行われる。液晶素子を透過する光は、光源（バックライト）によって液晶表示装置の裏面から照射される光を用いる。
【００２５】
なお、カラー画像表示を行う方式として、カラーフィルタを用いる方式、所謂、カラーフィルタ方式がある。これは、液晶層を透過した光がカラーフィルタを通過することで、特定の色（例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ））の階調を作ることができる。ここで、カラーフィルタ方式を用いる際に、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかの色を発光する機能を有する画素１０４を、各々、Ｒ画素、Ｇ画素、Ｂ画素と呼ぶことにする。
【００２６】
また、カラー画像表示を行う別の方式として、バックライトを特定の色（例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ））の光源で構成して各色を順次点灯する方式、所謂、フィールドシーケンシャル方式がある。フィールドシーケンシャル方式では、各色の光源が点灯している期間に、液晶層を透過する光の明暗を作ることで、当該色の階調を作ることができる。
【００２７】
なお、表示素子１０５が液晶素子を有する場合について説明したが、発光素子などの他の素子を有していてもよい。発光素子は、電流と電圧によって輝度が制御される素子であり、具体的には発光ダイオード、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等が挙げられる。
【００２８】
フォトセンサ１０６は、受光することで電気信号を生成する機能を有する素子（受光素子ともいう）と、薄膜トランジスタとを有する。受光素子としては、フォトダイオード等を用いることができる。なお、フォトセンサ１０６が受光する光は、表示装置の内部（バックライト等）から発せられ被検出物で反射されたもの、外光等が被検出物によって反射されたもの、被検出物自体から発せられたもの、又は、外光等が被検出物に遮られたもの（影）である。
【００２９】
表示素子制御回路１０２は、表示素子１０５を制御するための回路であり、ビデオデータ信号線などの信号線（「ソース信号線」ともいう。）を介して表示素子１０５に信号を入力する表示素子駆動回路１０７と、走査線（「ゲート信号線」ともいう。）を介して表示素子１０５に信号を入力する表示素子駆動回路１０８を有する。例えば、走査線側の表示素子駆動回路１０８は、特定の行に配置された画素が有する表示素子を選択する機能を有する。また、信号線側の表示素子駆動回路１０７は、選択された行の画素が有する表示素子に任意の電位を与える機能を有する。なお、走査線側の表示素子駆動回路１０８により高電位を印加された表示素子では、薄膜トランジスタが導通状態となり、信号線側の表示素子駆動回路１０７により与えられる電荷が供給される。
【００３０】
フォトセンサ制御回路１０３は、フォトセンサ１０６を制御するための回路であり、フォトセンサ出力信号線、フォトセンサ基準信号線等の信号線側のフォトセンサ読み出し回路１０９と、走査線側のフォトセンサ駆動回路１１０を有する。走査線側のフォトセンサ駆動回路１１０は、特定の行に配置された画素が有するフォトセンサ１０６に対して、後述するリセット動作と選択動作とを行う機能を有する。また、信号線側のフォトセンサ読み出し回路１０９は、選択された行の画素が有するフォトセンサ１０６の出力信号を取り出す機能を有する。なお、信号線側のフォトセンサ読み出し回路１０９は、アナログ信号であるフォトセンサの出力を、ＯＰアンプを用いてアナログ信号のまま表示パネル外部に取り出す構成や、Ａ／Ｄ変換回路を用いてデジタル信号に変換してから表示パネル外部に取り出す構成が考え得る。
【００３１】
画素１０４の回路図について、図２を用いて説明する。画素１０４は、トランジスタ２０１、保持容量２０２及び液晶素子２０３を有する表示素子１０５と、フォトダイオード２０４、トランジスタ２０５及びトランジスタ２０６を有するフォトセンサ１０６とを有する。
【００３２】
トランジスタ２０１は、ゲートがゲート信号線２０７に、ソース又はドレインの一方がビデオデータ信号線２１０に、ソース又はドレインの他方が保持容量２０２の一方の電極と液晶素子２０３の一方の電極に電気的に接続されている。保持容量２０２の他方の電極と液晶素子２０３の他方の電極は一定の電位に保たれている。液晶素子２０３は、一対の電極と、該一対の電極の間に液晶層を含む素子である。
【００３３】
トランジスタ２０１は、ゲート信号線２０７に”Ｈ”が印加されると、ビデオデータ信号線２１０の電位を保持容量２０２と液晶素子２０３に印加する。保持容量２０２は、印加された電位を保持する。液晶素子２０３は、印加された電位により、光の透過率を変更する。
【００３４】
フォトダイオード２０４は、一方の電極がフォトダイオードリセット信号線２０８に、他方の電極がトランジスタ２０５のゲートに電気的に接続されている。トランジスタ２０５は、ソース又はドレインの一方がフォトセンサ基準信号線２１２に、ソース又はドレインの他方がトランジスタ２０６のソース又はドレインの一方に電気的に接続されている。トランジスタ２０６は、ゲートがゲート信号線２０９に、ソース又はドレインの他方がフォトセンサ出力信号線２１１に電気的に接続されている。
【００３５】
次に、フォトセンサ読み出し回路１０９の構成について、図３を用いて説明する。図３において、画素１列分のフォトセンサ読み出し回路３００は、ｐ型トランジスタ３０１、保持容量３０２、を有する。また、フォトセンサ読み出し回路３００は、当該画素１列分のフォトセンサ出力信号線２１１、プリチャージ信号線３０３を有する。
【００３６】
フォトセンサ読み出し回路３００では、画素内におけるフォトセンサの動作に先立ち、フォトセンサ出力信号線２１１の電位を基準電位に設定する。図３では、プリチャージ信号線３０３を”Ｌ”とすることで、フォトセンサ出力信号線２１１を基準電位である高電位に設定することができる。なお、保持容量３０２は、フォトセンサ出力信号線２１１の寄生容量が大きい場合には、特別に設けなくても良い。なお、基準電位は、低電位とする構成も可能である。この場合、ｎ型トランジスタを用いることで、プリチャージ信号線３０３を”Ｈ”とすることで、フォトセンサ出力信号線２１１を基準電位である低電位に設定することができる。
【００３７】
次に、本表示パネルにおけるフォトセンサの読み出し動作について、図４のタイミングチャートを用いて説明する。図４において、信号４０１〜信号４０４は、図２におけるフォトダイオードリセット信号線２０８、トランジスタ２０６のゲートが接続されたゲート信号線２０９、トランジスタ２０５のゲートが接続されたゲート信号線２１３、フォトセンサ出力信号線２１１の電位に相当する。また、信号４０５は、図３におけるプリチャージ信号線３０３の電位に相当する。
【００３８】
時刻Ａにおいて、フォトダイオードリセット信号線２０８の電位（信号４０１）を”Ｈ”とする（リセット動作）と、フォトダイオード２０４が導通し、トランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）が”Ｈ”となる。また、プリチャージ信号線３０３の電位（信号４０５）の電位は”Ｌ”とすると、フォトセンサ出力信号線２１１の電位（信号４０４）は”Ｈ”にプリチャージされる。
【００３９】
時刻Ｂにおいて、フォトダイオードリセット信号線２０８の電位（信号４０１）を”Ｌ”にする（累積動作）と、フォトダイオード２０４のオフ電流により、トランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）が低下し始める。フォトダイオード２０４は、光が照射されるとオフ電流が増大するので、照射される光の量に応じてトランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）は変化する。すなわち、トランジスタ２０５のソースとドレイン間の電流が変化する。
【００４０】
時刻Ｃにおいて、ゲート信号線２０９の電位（信号４０２）を”Ｈ”にする（選択動作）と、トランジスタ２０６が導通し、フォトセンサ基準信号線２１２とフォトセンサ出力信号線２１１とが、トランジスタ２０５とトランジスタ２０６とを介して導通する。すると、フォトセンサ出力信号線２１１の電位（信号４０４）は、低下していく。なお、時刻Ｃ以前に、プリチャージ信号線３０３の電位（信号４０５）は”Ｈ”とし、フォトセンサ出力信号線２１１のプリチャージを終了しておく。ここで、フォトセンサ出力信号線２１１の電位（信号４０４）が低下する速さは、トランジスタ２０５のソースとドレイン間の電流に依存する。すなわち、フォトダイオード２０４に照射されている光の量に応じて変化する。
【００４１】
時刻Ｄにおいて、ゲート信号線２０９の電位（信号４０２）を”Ｌ”にすると、トランジスタ２０６が遮断され、フォトセンサ出力信号線２１１の電位（信号４０４）は、時刻Ｄ以後、一定値となる。ここで、一定値となる値は、フォトダイオード２０４に照射されている光の量に応じて変化する。したがって、フォトセンサ出力信号線２１１の電位を取得することで、フォトダイオード２０４に照射されている光の量を知ることができる。
【００４２】
上記のように、個々のフォトセンサの動作は、リセット動作、累積動作、選択動作を繰り返すことで実現される。また、表示パネルの全行及び全列における画素のフォトセンサについて、上記の動作を順次行い、その際に得られるフォトセンサ出力信号線２１１の電位を順次取得することで、撮像画像を生成することができる。
【００４３】
さて、各画素に設けられたフォトセンサは、製造上のばらつきにより、特性ばらつきを有する。製造上のばらつきには、フォトダイオードの光電流、トランジスタのしきい値やオン電流、フォトセンサ出力信号線の配線抵抗や寄生容量などがある。これらのばらつきにより、取得した撮像画像が、本来黒画像であるべきところが白味を帯びた模様が混入することや、逆に本来白画像であるべきところが黒味を帯びた模様が混入することが起こる。また、信号線側のフォトセンサ読み出し回路１０９にＯＰアンプやＡ／Ｄ変換回路を搭載している場合には、これらの特性ばらつきに起因して、撮像画像に筋状の模様が混入する。これら、ノイズにより、目的とする撮像画像の品質が損なわれることになる。
【００４４】
一般的には、フォトセンサを構成するフォトダイオードやトランジスタのサイズ拡大、信号配線の拡幅、層間絶縁膜の膜厚増大などで、前記の製造上のばらつきを軽減することができる。また、フォトセンサにばらつき補正回路を搭載することも考え得る。しかしながら、表示パネルでは画素の開口率を確保する必要があるため、フォトダイオードやトランジスタの素子サイズ及び素子数に対しては、厳しい制限を受けるため、素子のサイズ拡大や信号配線の拡幅、補正回路の導入などは容易では無い。また、層間絶縁膜の膜厚増大は、製造コストの増加や画素の透過率の低下を招くため、やはり容易では無い。そこで、次のような方法による撮像画像の品質向上を提案する。すなわち、目的とする撮像前に、黒画像もしくは白画像の少なくとも一方を撮像しておき、目的とする撮像画像に対する画像補正に用いる。黒画像もしくは白画像は、黒紙もしくは白紙を表示パネルに載せ、これを撮像することで容易に得ることができる。
【００４５】
画像補正の具体的な方法は、（１）黒画像を撮像した第１の画像データＸと、撮像画像である第２の画像データＹと、から得られる画像データ（Ｙ−Ｘ）を第３の画像データとし、これを目的とする撮像画像とする方法、（２）白画像を撮像した第１の画像データＸと、撮像画像である第２の画像データＹと、から得られる画像データ（Ｙ＋（階調数−Ｘ））を第３の画像データとし、これを目的とする撮像画像とする方法、（３）黒画像を撮像した第１の画像データＸと、白画像を撮像した第２の画像データＹと、撮像画像である第３の画像データＺと、から、第１の画像データＸと、第２の画像データＹと、を各々最小値、最大値とする範囲に第３の画像データＺを線形配分して得られる画像データ（（Ｚ−Ｘ）／（Ｙ−Ｘ）×（階調数））を第４の画像データとし、これを目的とする撮像画像とする方法、である。ここで、画像データＸ（Ｙ、Ｚ）とは、当該画像における各画素の階調が数値で表されたデータ（階調データ）を意味する。また、画像データに対する四則演算は、画像データの各画素の階調データ間での四則演算を行うことを意味する。例えば、画像データ（Ｙ−Ｘ）とは、画像データＸの各画素の階調データと、画像データＹの各画素の階調データとの差を各々とり、これを各画素の階調データとする画像データを意味する。また、階調データは、明るい程値が大きいとする。さらに、カラー画像については、各画素の階調データは、Ｒ、Ｇ、Ｂの階調値から構成され、四則演算は、Ｒ、Ｇ、Ｂ各々について行うことを意味する。階調数とは、撮像画像の階調数であり、カラー画像の場合は、Ｒ、Ｇ、Ｂ各々の階調数を意味する。
【００４６】
（１）の方法は、例えば、図２で示したフォトセンサ１０６において、トランジスタ２０５のオン電流のばらつきが大きい場合や、フォトダイオード２０４の暗電流もしくは弱光における光電流のばらつきが大きい場合など、黒画像にノイズが出易い製造上のばらつきに対して有効である。なお、黒画像全体にノイズが出ている場合には、目的とする撮像画像が白っぽい画像となる。そのため、全画素データに対して、一定値を加算することで、目的とする撮像画像の輝度を調整することができる。また、カラー画像の場合には、Ｒ、Ｇ、Ｂ各々に対して、異なる一定値を加算することが有効である。
【００４７】
（２）の方法は、例えば、図２で示したフォトセンサ１０６において、トランジスタ２０５のしきい値のばらつきが大きい場合や、フォトダイオード２０４の強光における光電流のばらつきが大きい場合など、白画像にノイズが出易い製造上のばらつきに対して有効である。なお、白画像全体にノイズが出ている場合、目的とする撮像画像が黒っぽい画像となる。そのため、全画素データに対して、一定値を減算することで、目的とする撮像画像の輝度を調整することができる。また、カラー画像の場合には、Ｒ、Ｇ、Ｂ各々に対して、異なる一定値を減算することが有効である。
【００４８】
（３）の方法は、（１）、（２）の方法をより実用化した方法で、フォトセンサの各種ばらつきに対して有効である。また、線形配分ではなく、より一般的に、非線形配分することも有効である。なお、線形配分とは、被検出物の画像データ（例えば画像データＺ）の変化に対して、補正された画像データの変化が比例していることである。また、非線形配分とは、画像データＺの変化に対して、補正された画像データが比例していないことである。
【００４９】
なお、（１）〜（３）の方法を用いる際に、画像データＸ、Ｙ、Ｚは、熱雑音などに起因して、撮像画像にランダムに生じるノイズ（以下、ランダムノイズ）を除去しておくことが有効である。ランダムノイズを除去するには、平滑化処理などの一般的な画像処理や、連続的に撮像した複数の撮像画像に対して平均値や中央値を得る演算処理などが有効である。
【００５０】
図５に、上記の補正を行う表示パネルシステム５００を示す。ここで、表示パネルシステム５００は、表示パネル１００、制御回路５０１、画像処理回路５０２、画像データを保存する記憶装置５０３を有する。制御回路５０１は、表示パネル１００を駆動するための各種タイミング信号を生成する。画像処理回路５０２は、フォトセンサで得られた撮像データから上記のような演算処理を行い、画像データを生成する。また、後の画像処理に必要となる画像データを記憶装置５０３に格納し、また、必要に応じて記憶装置５０３に格納された画像データを読み出し、演算処理を行う。
【００５１】
図５に示す構成において、（１）、（２）の方法を用いる場合、記憶装置５０３には、黒画像データもしくは白画像データの一方のみを保存すれば良いため、記憶装置５０３の容量は少なくて済む。
【００５２】
また、表示パネル１００の製造上のばらつきが少ない場合には、黒画像データ及び白画像データにおける各画素の階調データの範囲を限定することができる。この場合には、階調データの範囲を指定するデータを別に用意する記憶装置に保存し、記憶装置５０３には限定された範囲の階調データのみを保存する構成が可能である。上記（１）〜（３）の方法における演算を行う際には、階調データの範囲を指定するデータと限定された範囲の階調データを各々記憶装置から読み出し、これらを用いて画像処理回路５０２で演算を行うことができる。なお、階調データの上位ビット、下位ビットを、各々階調データの範囲を指定するデータ、限定された範囲の階調データとすることができる。このような構成とすることで、記憶装置５０３の容量を削減できるので有効である。
【００５３】
次に、（１）（２）（３）の方法の具体例を図１１を用いて説明する。
【００５４】
図１１では、説明を簡単にするため、縦３×横３の９つの画素の例を示す。各画素内の数字は画像データを示している。画素数はこれに限定されない。
【００５５】
（１）の方法の手順を図１１（Ａ）に示す。
【００５６】
まず黒画像を撮像した画像データＸを取得する。数値０の画素は黒が正しく撮像され、画素２００１はノイズが含まれていることを示している。ノイズ値は４であり、少し白っぽい画像になっている。このノイズを含む黒画像データＸは、記憶装置５０３に格納される。
【００５７】
次に被検出物の画像を撮像した画像データＹを取得する。ここで、画素２００１はノイズ値４を含んでおり、被検出物を正しく撮像できていない。この被検出物の画像データＹは、記憶装置５０３に格納される。
【００５８】
そして、画像処理回路５０２において、黒画像データＸ及び被検出物の画像データＹを用いて画像処理を行い、画像データ（Ｙ−Ｘ）を有する画像を生成する。生成された画像が、画素２００１においてノイズ値４が除去された正しい撮像画像である。以上のようにして、ノイズを含む画像を補正することができる。
【００５９】
（２）の方法の手順を図１１（Ｂ）に示す。
【００６０】
まず白画像を撮像した画像データＸを取得する。数値１５の画素は白が正しく撮像され、画素２００２はノイズが含まれていることを示している。ノイズ値は６であり、少し黒っぽい画像になっている。このノイズを含む白画像データは、記憶装置５０３に格納される。
【００６１】
次に被検出物の画像を撮像した画像データＹを取得する。ここで、画素２００２はノイズ値６を含んでおり、被検出物を正しく撮像できていない。この被検出物の画像データは、記憶装置５０３に格納される。
【００６２】
そして、画像処理回路５０２において、白画像データＸ及び被検出物の画像データＹを用いて画像処理を行い、画像データ（Ｙ＋（ＭＡＸ−Ｘ））を有する画像を生成する。生成された画像が、画素２００２においてノイズ値６が除去された正しい撮像画像である。以上のようにして、ノイズを含む画像を補正することができる。ＭＡＸは１６階調の最大値を示し、ここではＭＡＸ＝１５である。上述した階調数は、このＭＡＸと同義である。
【００６３】
（３）の方法の手順を図１１（Ｃ）に示す。
【００６４】
まず黒画像を撮像した画像データＸと、白画像を撮像した画像データＹを取得する。図１１（Ａ）、（Ｂ）と同様に、黒画像は画素２００３において白っぽい画像になっており、白画像は画素２００３において黒っぽい画像になっている。これらの画像データＸ及びＹは、記憶装置５０３に格納される。
【００６５】
次に被検出物の画像を撮像した画像データＺを取得する。ここで、画素２００３はノイズ値４及びノイズ値６を含んでおり、被検出物を正しく撮像できていない。この被検出物の画像データＺは、記憶装置５０３に格納される。
【００６６】
そして、画像処理回路５０２において、黒画像データＸ、白画像データＹ、及び被検出物の画像データＺを用いて画像処理が行われ、画像データ（ＭＡＸ×（Ｚ−Ｘ）／（Ｙ−Ｘ））を有する画像を生成する。生成された画像が、ノイズ値４及びノイズ値６が除去された正しい撮像画像である。以上のようにして、ノイズを含む画像を補正することができる。（２）の方法と同様に、ＭＡＸ＝１５である。
【００６７】
なお本実施の形態では、モノクロ画像を用いているが、Ｒ、Ｇ、Ｂの値で構成されるカラー画像を用いてもよい。その場合、Ｒ、Ｇ、Ｂ各々について上記画像処理を行えばよい。また、ＲＧＢ値をＨＳＶ値（Ｈ：色相、Ｓ：彩度、Ｖ：明度）に変換して処理を行ってもよい。
【００６８】
また、４ビット表示（１６階調表示）を行っているが、別のビット数としてもよい。
【００６９】
以上のような形態とすることで、高精度の画像撮像が可能な表示パネルを提供することができる。
【００７０】
なお、本実施の形態では、フォトセンサを有する表示装置について説明したが、フォトセンサを有する半導体装置にも容易に応用できる。すなわち、本実施の形態における表示装置から、表示に要する回路、具体的には、表示素子制御回路１０２、表示素子１０５を取り除いて、半導体装置を構成することができる。当該半導体装置としては、例えばイメージセンサが挙げられる。このような半導体装置は、フォトセンサが設けられた入力部に接触または接近する被検出物を、上記と同様に検出することができる。
【００７１】
本実施の形態は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【００７２】
（実施の形態２）
本実施の形態では、黒画像もしくは白画像の撮像方法について、実施の形態１で説明した方法とは異なる方法について、図６のタイミングチャートを用いて説明する。図６のタイミングチャートにおいて、信号６０１、信号４０２、信号６０３、信号６０４は、図２におけるフォトダイオードリセット信号線２０８、トランジスタ２０６のゲートが接続されたゲート信号線２０９、トランジスタ２０５のゲートが接続されたゲート信号線２１３、フォトセンサ出力信号線２１１の電位に相当する。また、信号４０５は、図３におけるプリチャージ信号線３０３の電位に相当する。以下、図４に示したタイミングチャートとの違いに注目して説明する。
【００７３】
時刻Ａにおいて、フォトダイオードリセット信号線２０８の電位（信号６０１）を特定の電位とする（リセット動作）。ここで、特定の電位は、黒画像を撮像するときは、図４のタイミングチャートにおける”Ｈ”と同電位である第１の電位とする。また、白画像を撮像するときは、理想的には図２におけるトランジスタ２０５のしきい値にフォトダイオード２０４の順方向電圧降下分を加算した電位である第２の電位とする。より現実的には、フォトダイオード２０４が導通し得る最小の電位を第２の電位とする。この時、トランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号６０３）が第１の電位からフォトダイオード２０４の順方向電圧降下分だけ低い値となる。また、プリチャージ信号線３０３の電位（信号４０５）を”Ｌ”とすると、フォトセンサ出力信号線２１１の電位（信号６０４）は”Ｈ”にプリチャージされる。
【００７４】
時刻Ｂにおいて、フォトダイオードリセット信号線２０８の電位（信号６０１）は時刻Ａのままの電位を保つ。すなわち、トランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号６０３）も変化しない。
【００７５】
時刻Ｃにおいて、ゲート信号線２０９の電位（信号４０２）を”Ｈ”にする（選択動作）と、トランジスタ２０６が導通し、フォトセンサ基準信号線２１２とフォトセンサ出力信号線２１１とが、トランジスタ２０５とトランジスタ２０６とを介して導通する。すると、フォトセンサ出力信号線２１１の電位（信号６０４）は、低下していく。なお、時刻Ｃ以前に、プリチャージ信号線３０３の電位（信号４０５）の電位は”Ｈ”とし、フォトセンサ出力信号線２１１のプリチャージを終了しておく。ここで、フォトセンサ出力信号線２１１の電位（信号６０４）が低下する速さは、トランジスタ２０５のソースとドレイン間の電流に依存する。すなわち、リセット動作において、フォトダイオードリセット信号線２０８に印加した電圧に応じて変化する。具体的には、フォトダイオードリセット信号線２０８に第１の電位を印加した場合は、フォトセンサ出力信号線２１１の電位（信号６０４）は、図４のタイミングチャートでフォトダイオード２０４に照射する光の量が少ない場合、すなわち、黒画像を撮像した場合と同様の変化をする。また、フォトダイオードリセット信号線２０８に第２の電位を印加した場合は、フォトセンサ出力信号線２１１の電位（信号６０４）は、図４のタイミングチャートでフォトダイオード２０４に照射する光の量が多い場合と同様の変化をする。すなわち、白画像を撮像した場合と同様の変化をする。
【００７６】
時刻Ｄにおいて、ゲート信号線２０９の電位（信号４０２）を”Ｌ”にすると、トランジスタ２０６が遮断され、フォトセンサ出力信号線２１１の電位（信号６０４）は、時刻Ｄ以後、一定値となる。ここで、一定値となる値は、リセット動作において、フォトダイオードリセット信号線２０８に印加した電圧に応じて変化する。したがって、フォトセンサ出力信号線２１１の電位を取得することで、黒画像もしくは白画像を撮像した場合に相当する撮像データを知ることができる。
【００７７】
以上のような形態とすることで、補正用の黒画像もしくは白画像を撮像する際に、黒紙や白紙を表示パネルに載せて撮像するといった手間を省いて、高精度の撮像が可能な表示装置を提供することができる。
【００７８】
本実施の形態は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【００７９】
（実施の形態３）
図７に、表示パネルの断面図の一例を示す。図７に示す表示パネルでは、絶縁表面を有する基板（ＴＦＴ基板）１００１上に、フォトダイオード１００２、トランジスタ１００３、保持容量１００４、液晶素子１００５が設けられている。
【００８０】
フォトダイオード１００２と、保持容量１００４とは、トランジスタ１００３を作製するプロセスにおいて、トランジスタ１００３と共に形成することが可能である。フォトダイオード１００２は横型接合タイプのｐｉｎダイオードであり、フォトダイオード１００２が有する半導体膜１００６は、ｐ型の導電性を有する領域（ｐ層）と、ｉ型の導電性を有する領域（ｉ層）と、ｎ型の導電性を有する領域（ｎ層）とを有している。なお、本実施の形態では、フォトダイオード１００２がｐｉｎダイオードである場合を例示しているが、フォトダイオード１００２はｐｎダイオードであっても良い。横型接合タイプのｐｉｎ接合またはｐｎ接合は、ｐ型を付与する不純物と、ｎ型を付与する不純物とを、それぞれ半導体膜１００６の特定の領域に添加することで、形成することが出来る。
【００８１】
また、ＴＦＴ基板１００１上に成膜した一の半導体膜をエッチングなどにより所望の形状に加工（パターニング）することで、フォトダイオード１００２の島状の半導体膜と、トランジスタ１００３の島状の半導体膜とを一緒に形成することができ、通常のパネル作成プロセスに追加するプロセスが不要となり、コストを低減できる。
【００８２】
液晶素子１００５は、画素電極１００７と、液晶１００８と、対向電極１００９とを有する。画素電極１００７は、基板１００１上に形成されており、トランジスタ１００３と、保持容量１００４と、導電膜１０１０を介して電気的に接続されている。また、対向電極１００９は、基板（対向基板）１０１３上に形成されており、画素電極１００７と対向電極１００９の間に、液晶１００８が挟まれている。なお、本実施の形態では、フォトセンサに用いられているトランジスタについては図示していないが、当該トランジスタも、トランジスタ１００３を作製するプロセスにおいて、トランジスタ１００３と共に基板（ＴＦＴ基板）１００１上に形成することが可能である。
【００８３】
画素電極１００７と、対向電極１００９の間のセルギャップは、スペーサー１０１６を用いて制御することが出来る。図７では、フォトリソグラフィーで選択的に形成された柱状のスペーサー１０１６を用いてセルギャップを制御しているが、球状のスペーサーを画素電極１００７と対向電極１００９の間に分散させることで、セルギャップを制御することも出来る。
【００８４】
また液晶１００８は、基板（ＴＦＴ基板）１００１と基板（対向基板）１０１３の間において、封止材により囲まれている。液晶１００８の注入は、ディスペンサ式（滴下式）を用いても良いし、ディップ式（汲み上げ式）を用いていても良い。
【００８５】
画素電極１００７には、透光性を有する導電性材料、例えばインジウム錫酸化物（ＩＴＯ）、酸化珪素を含むインジウム錫酸化物（ＩＴＳＯ）、有機インジウム、有機スズ、酸化亜鉛、酸化亜鉛（ＺｎＯ）を含むインジウム亜鉛酸化物（ＩＺＯ（Ｉｎｄｉｕｍ Ｚｉｎｃ Ｏｘｉｄｅ））、ガリウム（Ｇａ）を含む酸化亜鉛、酸化スズ（ＳｎＯ２）、酸化タングステンを含むインジウム酸化物、酸化タングステンを含むインジウム亜鉛酸化物、酸化チタンを含むインジウム酸化物、酸化チタンを含むインジウム錫酸化物などを用いることが出来る。
【００８６】
また、本実施の形態では、透過型の液晶素子１００５を例に挙げているので、画素電極１００７と同様に、対向電極１００９にも上述した透光性を有する導電性材料を用いることが出来る。
【００８７】
画素電極１００７と液晶１００８の間には配向膜１０１１が、対向電極１００９と液晶１００８の間には配向膜１０１２が、それぞれ設けられている。配向膜１０１１、配向膜１０１２はポリイミド、ポリビニルアルコールなどの有機樹脂を用いて形成することができ、その表面には、ラビングなどの、液晶分子を一定方向に配列させるための配向処理が施されている。ラビングは、配向膜に圧力をかけながら、ナイロンなどの布を巻いたローラーを回転させて、上記配向膜の表面を一定方向に擦ることで、行うことが出来る。なお、酸化珪素などの無機材料を用い、配向処理を施すことなく、蒸着法で配向特性を有する配向膜１０１１、配向膜１０１２を直接形成することも可能である。
【００８８】
また、液晶素子１００５と重なるように、特定の波長領域の光を通すことができるカラーフィルタ１０１４が、基板（対向基板）１０１３上に形成されている。カラーフィルタ１０１４は、顔料を分散させたアクリル系樹脂などの有機樹脂を基板１０１３上に塗布した後、フォトリソグラフィーを用いて選択的に形成することができる。また、顔料を分散させたポリイミド系樹脂を基板１０１３上に塗布した後、エッチングを用いて選択的に形成することもできる。或いは、インクジェットなどの液滴吐出法を用いることで、選択的にカラーフィルタ１０１４を形成することもできる。
【００８９】
また、フォトダイオード１００２と重なるように、光を遮蔽することが出来る遮蔽膜１０１５が、基板（対向基板）１０１３上に形成されている。遮蔽膜１０１５を設けることで、基板（対向基板）１０１３を透過して表示パネル内に入射したバックライトからの光が、直接フォトダイオード１００２に当たるのを防ぐことができる他、画素間における液晶１００８の配向の乱れに起因するディスクリネーションが視認されるのを防ぐことができる。遮蔽膜１０１５には、カーボンブラック、低次酸化チタンなどの黒色顔料を含む有機樹脂を用いることができる。または、クロムを用いた膜で、遮蔽膜１０１５を形成することも可能である。
【００９０】
また、基板（ＴＦＴ基板）１００１の画素電極１００７が形成されている面とは反対の面に、偏光板１０１７を設け、基板（対向基板）１０１３の対向電極１００９が形成されている面とは反対の面に、偏光板１０１８を設ける。
【００９１】
液晶素子は、ＴＮ（Ｔｗｉｓｔｅｄ Ｎｅｍａｔｉｃ）型の他、ＶＡ（Ｖｉｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）型、ＯＣＢ（ｏｐｔｉｃａｌｌｙ ｃｏｍｐｅｎｓａｔｅｄ Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）型、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ Ｓｗｉｔｃｈｉｎｇ）型等であっても良い。なお、本実施の形態では、画素電極１００７と対向電極１００９の間に液晶１００８が挟まれている構造の液晶素子１００５を例に挙げて説明したが、本発明の一態様に係る表示パネルはこの構成に限定されない。ＩＰＳ型のように、一対の電極が、共に基板（ＴＦＴ基板）１００１側に形成されている液晶素子であっても良い。
【００９２】
また、本実施の形態では、フォトダイオード１００２、トランジスタ１００３、保持容量１００４に、薄膜の半導体膜を用いている場合を例に挙げているが、単結晶半導体基板、ＳＯＩ基板などを用いて形成されていても良い。
【００９３】
本実施の形態に示す断面構造では、バックライトからの光は、基板（対向基板）１０１３側から照射する。すなわち、矢印１０２０で示すように液晶素子１００５を通って、基板（ＴＦＴ基板）１００１側にある被検出物１０２１に照射される。そして、被検出物１０２１において反射された矢印１０２２で示す光は、フォトダイオード１００２に入射する。
【００９４】
また、本実施の形態の表示装置は、フォトセンサ（フォトダイオード１００２）の受光面の向きと、表示パネルの表示面（基板１００１側）の向きとが同一である。そのため、表示パネルにおいて、被検出物を撮像することができ、ＣＣＤイメージセンサ等を設けた場合に比べて有効である。
【００９５】
以上のような形態とすることで、高精度の画像撮像が可能な表示パネルを提供することができる。
【００９６】
本実施の形態は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【００９７】
（実施の形態４）
図８、実施の形態３とは異なる表示パネルの断面図の一例を示す。図８に示す表示パネルでは、フォトダイオード１００２は、トランジスタ１００３のゲート電極を構成する導電膜１０１９で、遮蔽膜２０１９を構成している点が、図７と異なる。フォトダイオード１００２に遮蔽膜２０１９を構成することで、バックライトの光がｉ型の導電性を有する領域（ｉ層）に直接入射することを回避することができ、被検出物からの反射光のみを効率良く検出することができる。
【００９８】
また、フォトダイオード１００２を横型接合タイプのｐｉｎダイオードとする際には、ｐ型の導電性を有する領域（ｐ層）とｎ型の導電性を有する領域（ｎ層）とを形成する際に、遮蔽膜をマスクとして用いることで、セルフアラインで形成することができる。これは、微細なフォトダイオードを作成する際に有効であり、画素サイズの縮小や開口率の向上に有効である。
【００９９】
以上のような形態とすることで、高精度の画像撮像が可能な表示装置を提供することができる。
【０１００】
本実施の形態は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【０１０１】
（実施の形態５）
図１２に、実施の形態３とは異なる表示パネルの断面図の別の一例を示す。図１２に示す表示パネルでは、バックライトからの光が、基板（ＴＦＴ基板）１００１側から照射する点において、図７と異なる。すなわち、矢印２０２０で示すように液晶素子１００５を通って、基板（対向基板）１０１３側にある被検出物１０２１に照射される。そして、被検出物１０２１において反射された矢印２０２２で示す光は、フォトダイオード１００２に入射する。この場合、フォトダイオード１００２の上部の遮蔽膜１０１５に開口を設ける等、被検出物１０２１で反射された光がフォトダイオード１００２に入射するようにすればよい。
【０１０２】
本実施の形態では、フォトダイオード１００２の下部に遮蔽膜２０１５を設ける。遮蔽膜２０１５を設けることで、基板（ＴＦＴ基板）１００１を透過して表示パネル内に入射したバックライトからの光が、直接フォトダイオード１００２に当たるのを防ぐことができ、高精度の画像撮像が可能な表示パネルを提供することができる。遮蔽膜２０１５には、カーボンブラック、低次酸化チタンなどの黒色顔料を含む有機樹脂を用いることができる。または、クロムを用いた膜で、遮蔽膜２０１５を形成することも可能である。
【０１０３】
また、本実施の形態の表示装置は、フォトセンサ（フォトダイオード１００２）の受光面の向きと、表示パネルの表示面（基板１０１３側）の向きとが同一である。そのため、表示パネルにおいて、被検出物を撮像することができ、ＣＣＤイメージセンサ等を設けた場合に比べて有効である。
【０１０４】
本実施の形態は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【０１０５】
（実施の形態６）
フォトセンサを有する表示パネルを用いたライティングボード（黒板、ホワイトボード等）の例を示す。
【０１０６】
例えば、図１３にフォトセンサを有する表示パネルを示す。
【０１０７】
表示パネル９６９６は、フォトセンサと表示素子とを有している。
【０１０８】
ここで、表示パネル９６９６の表面にはマーカー等を用いて自由に書き込みができる。
【０１０９】
なお、定着剤が含まれていないマーカー等を用いれば文字の消去が容易である。
【０１１０】
また、マーカーのインクを落としやすくするため、表示パネル９６９６の表面は十分な平滑性を有していると良い。
【０１１１】
例えば、表示パネル９６９６の表面がガラス基板等であれば平滑性は充分である。
【０１１２】
また、表示パネル９６９６の表面に透明な合成樹脂シート等を貼り付けても良い。
【０１１３】
合成樹脂としては例えばアクリル等を用いると好ましい。この場合、合成樹脂シートの表面を平滑にしておくと好ましい。
【０１１４】
そして、表示パネル９６９６は、表示素子を有しているので、特定の画像を表示するとともに表示パネル９６９６の表面にマーカーにより文字を記載することができる。
【０１１５】
また、表示パネル９６９６は、フォトセンサを有しているので、プリンター等と接続しておけばマーカーで記載した文字を読み取って印刷することも可能である。
【０１１６】
さらに、表示パネル９６９６は、フォトセンサと表示素子を有しているので、画像を表示させた状態で表示パネル９６９６表面にマーカーで文字、図形等を書き込むことにより、フォトセンサで読み取ったマーカーの軌跡を画像と合成して映し出すこともできる。
【０１１７】
なお、抵抗膜方式、静電容量方式等のセンシングを用いた場合、マーカー等での書き込みと同時にしかセンシングをすることができない。
【０１１８】
一方、フォトセンサを用いた場合、マーカー等で書き込んだ後、時間が経った場合でもいつでもセンシングが可能な点で優れている。
【０１１９】
本実施の形態は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【実施例１】
【０１２０】
本実施例では、本発明の表示パネルにおける、パネルと光源の配置について説明する。
【０１２１】
図９は、本発明の表示パネルの構造を示す斜視図の一例である。図９に示す表示パネルは、一対の基板間に液晶素子、フォトダイオード、薄膜トランジスタなどを含む画素が形成されたパネル１６０１と、第１の拡散板１６０２と、プリズムシート１６０３と、第２の拡散板１６０４と、導光板１６０５と、反射板１６０６と、複数の光源１６０７を有するバックライト１６０８と、回路基板１６０９とを有している。
【０１２２】
パネル１６０１と、第１の拡散板１６０２と、プリズムシート１６０３と、第２の拡散板１６０４と、導光板１６０５と、反射板１６０６とは、順に積層されている。光源１６０７は導光板１６０５の端部に設けられており、導光板１６０５内部に拡散された光源１６０７からの光は、第１の拡散板１６０２、プリズムシート１６０３及び第２の拡散板１６０４によって、対向基板側から均一にパネル１６０１に照射される。
【０１２３】
なお、本実施例では、第１の拡散板１６０２と第２の拡散板１６０４とを用いているが、拡散板の数はこれに限定されず、単数であっても３以上であっても良い。そして、拡散板は導光板１６０５とパネル１６０１の間に設けられていれば良い。よって、プリズムシート１６０３よりもパネル１６０１に近い側にのみ拡散板が設けられていても良いし、プリズムシート１６０３よりも導光板１６０５に近い側にのみ拡散板が設けられていても良い。
【０１２４】
またプリズムシート１６０３の断面は、図９に示した鋸歯状の形状に限定されず、導光板１６０５からの光をパネル１６０１側に集光できる形状を有していれば良い。
【０１２５】
回路基板１６０９には、パネル１６０１に入力される各種信号を生成もしくは処理する回路、パネル１６０１から出力される各種信号を処理する回路などが設けられている。そして図９では、回路基板１６０９とパネル１６０１とが、ＦＰＣ（Ｆｌｅｘｉｂｌｅ Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ）１６１１を介して接続されている。なお、上記回路は、ＣＯＧ（Ｃｈｉｐ ＯＮ Ｇｌａｓｓ）法を用いてパネル１６０１に接続されていても良いし、上記回路の一部がＦＰＣ１６１１にＣＯＦ（Ｃｈｉｐ ＯＮ Ｆｉｌｍ）法を用いて接続されていても良い。
【０１２６】
図９では、光源１６０７の駆動を制御する、制御系の回路が回路基板１６０９に設けられており、該制御系の回路と光源１６０７とがＦＰＣ１６１０を介して接続されている例を示している。ただし、上記制御系の回路はパネル１６０１に形成されていても良く、この場合はパネル１６０１と光源１６０７とがＦＰＣなどにより接続されるようにする。
【０１２７】
なお、図９は、パネル１６０１の端に光源１６０７を配置するエッジライト型の光源を例示しているが、本発明の表示パネルは光源１６０７がパネル１６０１の直下に配置される直下型であっても良い。
【０１２８】
例えば、被検出物である指１６１２をＴＦＴ基板側からパネル１６０１に近づけると、バックライト１６０８からの光が、パネル１６０１を通過し、その一部が指１６１２において反射し、再びパネル１６０１に入射する。各色に対応する光源１６０７を順に点灯させ、色ごとに撮像データの取得を行うことで、被検出物である指１６１２のカラーの撮像データを得ることが出来る。
【０１２９】
本実施例は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【実施例２】
【０１３０】
本発明の一態様に係る表示パネルは、高精度の撮像ができるという特徴を有している。よって、本発明の一態様に係る表示パネルを用いた電子機器は、表示パネルをその構成要素に追加することにより、より高機能のアプリケーションを搭載することができるようになる。本発明の表示パネルは、表示装置、ノート型パーソナルコンピュータ、記録媒体を備えた画像再生装置（代表的にはＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ等の記録媒体を再生し、その画像を表示しうるディスプレイを有する装置）に用いることができる。その他に、本発明の一態様に係る表示パネルを用いることができる電子機器として、携帯電話、携帯型ゲーム機、携帯情報端末、電子書籍、ビデオカメラ、デジタルスチルカメラ、ゴーグル型ディスプレイ（ヘッドマウントディスプレイ）、ナビゲーションシステム、音響再生装置（カーオーディオ、デジタルオーディオプレイヤー等）、複写機、ファクシミリ、プリンター、プリンター複合機、現金自動預け入れ払い機（ＡＴＭ）、自動販売機などが挙げられる。これら電子機器の具体例を図１０に示す。
【０１３１】
図１０（Ａ）は表示装置であり、筐体５００１、表示部５００２、支持台５００３等を有する。本発明の一態様に係る表示パネルは、表示部５００２に用いることができる。表示部５００２に本発明の一態様に係る表示パネルを用いることで、高精度の撮像を行うことができ、より高機能のアプリケーションが搭載された表示装置を提供することができる。なお、表示装置には、パーソナルコンピュータ用、ＴＶ放送受信用、広告表示用などの全ての情報表示用表示装置が含まれる。
【０１３２】
図１０（Ｂ）は携帯情報端末であり、筐体５１０１、表示部５１０２、スイッチ５１０３、操作キー５１０４、赤外線ポート５１０５等を有する。本発明の一態様に係る表示パネルは、表示部５１０２に用いることができる。表示部５１０２に本発明の一態様に係る表示パネルを用いることで、高精度の撮像を行うことができ、より高機能のアプリケーションが搭載された携帯情報端末を提供することができる。
【０１３３】
図１０（Ｃ）は現金自動預け入れ払い機であり、筐体５２０１、表示部５２０２、硬貨投入口５２０３、紙幣投入口５２０４、カード投入口５２０５、通帳投入口５２０６等を有する。本発明の一態様に係る表示パネルは、表示部５２０２に用いることができる。表示部５２０２に本発明の一態様に係る表示パネルを用いることで、高精度の撮像を行うことができ、より高機能のアプリケーションが搭載された現金自動預け入れ払い機を提供することができる。そして、本発明の一態様に係る表示パネルを用いた現金自動預け入れ払い機は、指紋、顔、手形、掌紋及び手の静脈の形状、虹彩等の、生体認証に用いられる生体情報の読み取りを、より高精度で行うことが出来る。よって、生体認証における、本人であるにもかかわらず本人ではないと誤認識してしまう本人拒否率と、他人であるにもかかわらず本人と誤認識してしまう他人受入率とを、低く抑えることができる。
【０１３４】
図１０（Ｄ）は携帯型ゲーム機であり、筐体５３０１、筐体５３０２、表示部５３０３、表示部５３０４、マイクロホン５３０５、スピーカー５３０６、操作キー５３０７、スタイラス５３０８等を有する。本発明の一態様に係る表示パネルは、表示部５３０３または表示部５３０４に用いることができる。表示部５３０３または表示部５３０４に本発明の一態様に係る表示パネルを用いることで、高精度の撮像を行うことができ、より高機能のアプリケーションが搭載された携帯型ゲーム機を提供することができる。なお、図１０（Ｄ）に示した携帯型ゲーム機は、２つの表示部５３０３と表示部５３０４とを有しているが、携帯型ゲーム機が有する表示部の数は、これに限定されない。
【０１３５】
本実施例は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【符号の説明】
【０１３６】
１００ 表示パネル
１０１ 画素回路
１０２ 表示素子制御回路
１０３ フォトセンサ制御回路
１０４ 画素
１０５ 表示素子
１０６ フォトセンサ
１０７ 表示素子駆動回路
１０８ 表示素子駆動回路
１０９ フォトセンサ読み出し回路
１１０ フォトセンサ駆動回路
２０１ トランジスタ
２０２ 保持容量
２０３ 液晶素子
２０４ フォトダイオード
２０５ トランジスタ
２０６ トランジスタ
２０７ ゲート信号線
２０８ フォトダイオードリセット信号線
２０９ ゲート信号線
２１０ ビデオデータ信号線
２１１ フォトセンサ出力信号線
２１２ フォトセンサ基準信号線
２１３ ゲート信号線
３００ フォトセンサ読み出し回路
３０１ ｐ型トランジスタ
３０２ 保持容量
３０３ プリチャージ信号線
４０１ 信号
４０２ 信号
４０３ 信号
４０４ 信号
４０５ 信号
５００ 表示パネルシステム
５０１ 制御回路
５０２ 画像処理回路
５０３ 記憶装置
６０１ 信号
６０３ 信号
６０４ 信号
１００１ 基板
１００２ フォトダイオード
１００３ トランジスタ
１００４ 保持容量
１００５ 液晶素子
１００６ 半導体膜
１００７ 画素電極
１００８ 液晶
１００９ 対向電極
１０１０ 導電膜
１０１１ 配向膜
１０１２ 配向膜
１０１３ 基板
１０１４ カラーフィルタ
１０１５ 遮蔽膜
１０１６ スペーサー
１０１７ 偏光板
１０１８ 偏光板
１０１９ 導電膜
１０２０ 矢印
１０２１ 被検出物
１０２２ 矢印
１６０１ パネル
１６０２ 第１の拡散板
１６０３ プリズムシート
１６０４ 第２の拡散板
１６０５ 導光板
１６０６ 反射板
１６０７ 光源
１６０８ バックライト
１６０９ 回路基板
１６１０ ＦＰＣ
１６１１ ＦＰＣ
１６１２ 指
２０１５ 遮蔽膜
２０１９ 遮蔽膜
２００１ 画素
２００２ 画素
２００３ 画素
２０１５ 遮蔽膜
２０１９ 遮蔽膜
２０２０ 矢印
２０２２ 矢印
５００１ 筐体
５００２ 表示部
５００３ 支持台
５１０１ 筐体
５１０２ 表示部
５１０３ スイッチ
５１０４ 操作キー
５１０５ 赤外線ポート
５２０１ 筐体
５２０２ 表示部
５２０３ 硬貨投入口
５２０４ 紙幣投入口
５２０５ カード投入口
５２０６ 通帳投入口
５３０１ 筐体
５３０２ 筐体
５３０３ 表示部
５３０４ 表示部
５３０５ マイクロホン
５３０６ スピーカー
５３０７ 操作キー
５３０８ スタイラス
９６９６ 表示パネル
【技術分野】
【０００１】
技術分野は、表示装置及びその駆動方法に関する。また、半導体装置及びその駆動方法に関する。
【背景技術】
【０００２】
近年、フォトセンサを有する表示パネルを搭載した表示装置が注目されている。
【０００３】
被検出物が表示パネルに接触もしくは接近する際、表示パネルに照射される光の量が変化する。光の量の変化をフォトセンサにより検出することで、被検出物の接触若しくは接近を検出することができる。
【０００４】
このような表示装置の一例として、表示パネルに密着型エリアセンサを配置することにより、撮像機能を備えた表示装置が挙げられる（例えば、特許文献１を参照）。また、表示パネルを有さない装置の一例として、イメージセンサ等の半導体装置が挙げられる。
【０００５】
表示装置において、撮像は次のように行われる。被検出物が表示パネルに接近又は接触すると、表示パネルから被検出物に光が照射され、一部の光が被検出物により反射される。表示パネルの画素にはフォトセンサが設けられており、反射された光を検出し電気信号に変換して画像データを取得することで、画像が生成される。
【０００６】
高精度の撮像を行うためには、表示パネルの画素に設けられたフォトセンサの特性のばらつきに起因するノイズを低減することが求められる。ノイズの影響により正常な画像を生成できない欠陥画素が存在してしまう。
【０００７】
欠陥画素の画像データを補正する技術が知られている（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−２９２２７６号公報
【特許文献２】特開２００２−２６２１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献２では、欠陥画素の隣接画素の画像データを用いることで、正常な画像データを生成し、欠陥画素の画像データを補正している。そのため、欠陥画素が広範囲に広がっている場合、画像データを補正することが困難であるという問題があった。
【００１０】
上記問題に鑑み、欠陥画素の隣接画素を用いた補正を行わなくても、画像データのノイズを低減し、高精度の撮像を行うことを目的の一つとする。
【課題を解決するための手段】
【００１１】
表示パネルの画素にはフォトセンサが配置されており、通常の画像を撮像する前に、予め補正用の画像を撮像しておく。そして通常の画像を撮像した際に、補正用の画像を用いて補正を行うことで、ノイズを低減した画像を生成する。ノイズを有する画素は、欠陥画素とも呼ばれる。
【００１２】
フォトセンサは、リセット動作時に所定の信号を入力することでリセットされる。補正用の画像は、リセット動作時に入力される信号から画像データを生成し撮像してもよい。リセット動作時の信号の大きさを設定することで、所望の画像を自動的に撮像することができる。
【００１３】
補正用の画像は、１つでも複数撮像して用いてもよい。
【００１４】
本発明の一態様は、フォトセンサがマトリックス状に配置された表示パネルと、画像処理回路とを有し、前記フォトセンサは、黒画像、及び被検出物の画像を撮像し、前記画像処理回路は、前記黒画像の画像データＸ、及び前記被検出物の画像の画像データＹを用いて、画像データ（Ｙ−Ｘ）を有する画像を生成する表示装置である。
【００１５】
本発明の他の一態様は、フォトセンサがマトリックス状に配置された表示パネルと、画像処理回路とを有し、前記フォトセンサは、白画像及び被検出物の画像を撮像し、前記画像処理回路は、階調の最大値をＭＡＸとし、前記白画像の画像データＸ、及び前記被検出物の画像の画像データＹを用いて、画像データ（Ｙ＋（ＭＡＸ−Ｘ））を有する画像を生成する表示装置である。
【００１６】
本発明の他の一態様は、フォトセンサがマトリックス状に配置された表示パネルと、画像処理回路とを有し、前記フォトセンサは、黒画像、白画像及び被検出物の画像を撮像し、前記画像処理回路は、階調の最大値をＭＡＸとし、前記黒画像の画像データＸ、前記白画像の画像データＹ、及び前記被検出物の画像の画像データＺを用いて、画像データ（ＭＡＸ×（Ｚ−Ｘ）／（Ｙ−Ｘ））を有する画像を生成する表示装置である。
【００１７】
また、フォトセンサにおいて撮像された画像を格納するための記憶装置を有することを特徴とする。
【００１８】
また、黒画像及び白画像は補正用の画像であり、フォトセンサのリセット動作時に撮像されることを特徴とする。
【発明の効果】
【００１９】
本発明により、高精度の撮像が可能な表示装置を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】表示装置の構成を説明する図。
【図２】表示装置の構成を説明する図。
【図３】表示装置の構成を説明する図。
【図４】タイミングチャート。
【図５】表示装置の構成を説明する図。
【図６】タイミングチャート。
【図７】表示装置の断面図。
【図８】表示装置の断面図。
【図９】表示装置の構成を示す図。
【図１０】表示装置を用いた電子機器の一例を示す図。
【図１１】画像処理方法の一例を示す図。
【図１２】表示装置の断面図。
【図１３】表示装置を用いた電子機器の一例を示す図。
【発明を実施するための形態】
【００２１】
以下に、実施の形態について、図面を用いて詳細に説明する。但し、以下の実施の形態は多くの異なる態様で実施することが可能であり、趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは、当業者であれば容易に理解される。従って、以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、実施の形態を説明するための全図において、同一部分又は同様な機能を有する部分には同一の符号を付し、その繰り返しの説明は省略する。
【００２２】
（実施の形態１）
本実施の形態では、表示装置について図１〜図５を参照して説明する。
【００２３】
表示パネルの構成について、図１を参照して説明する。表示パネル１００は、画素回路１０１、表示素子制御回路１０２及びフォトセンサ制御回路１０３を有する。画素回路１０１は、行列方向にマトリクス状に配置された複数の画素１０４を有する。各々の画素１０４は、表示素子１０５とフォトセンサ１０６を有する。なお、フォトセンサ１０６は、画素１０４の外に設けてもよい。また、フォトセンサ１０６の個数は、表示素子１０５の個数と異なっていてもよい。
【００２４】
表示素子１０５は、薄膜トランジスタ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ：ＴＦＴ）、保持容量、及び液晶素子などを有する。薄膜トランジスタは、保持容量への電荷を注入もしくは排出を制御する機能を有する。保持容量は、液晶素子に印加する電圧に相当する電荷を保持する機能を有する。液晶素子に電圧を印加し、光の透過又は非透過を制御することで、階調表示が行われる。液晶素子を透過する光は、光源（バックライト）によって液晶表示装置の裏面から照射される光を用いる。
【００２５】
なお、カラー画像表示を行う方式として、カラーフィルタを用いる方式、所謂、カラーフィルタ方式がある。これは、液晶層を透過した光がカラーフィルタを通過することで、特定の色（例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ））の階調を作ることができる。ここで、カラーフィルタ方式を用いる際に、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかの色を発光する機能を有する画素１０４を、各々、Ｒ画素、Ｇ画素、Ｂ画素と呼ぶことにする。
【００２６】
また、カラー画像表示を行う別の方式として、バックライトを特定の色（例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ））の光源で構成して各色を順次点灯する方式、所謂、フィールドシーケンシャル方式がある。フィールドシーケンシャル方式では、各色の光源が点灯している期間に、液晶層を透過する光の明暗を作ることで、当該色の階調を作ることができる。
【００２７】
なお、表示素子１０５が液晶素子を有する場合について説明したが、発光素子などの他の素子を有していてもよい。発光素子は、電流と電圧によって輝度が制御される素子であり、具体的には発光ダイオード、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等が挙げられる。
【００２８】
フォトセンサ１０６は、受光することで電気信号を生成する機能を有する素子（受光素子ともいう）と、薄膜トランジスタとを有する。受光素子としては、フォトダイオード等を用いることができる。なお、フォトセンサ１０６が受光する光は、表示装置の内部（バックライト等）から発せられ被検出物で反射されたもの、外光等が被検出物によって反射されたもの、被検出物自体から発せられたもの、又は、外光等が被検出物に遮られたもの（影）である。
【００２９】
表示素子制御回路１０２は、表示素子１０５を制御するための回路であり、ビデオデータ信号線などの信号線（「ソース信号線」ともいう。）を介して表示素子１０５に信号を入力する表示素子駆動回路１０７と、走査線（「ゲート信号線」ともいう。）を介して表示素子１０５に信号を入力する表示素子駆動回路１０８を有する。例えば、走査線側の表示素子駆動回路１０８は、特定の行に配置された画素が有する表示素子を選択する機能を有する。また、信号線側の表示素子駆動回路１０７は、選択された行の画素が有する表示素子に任意の電位を与える機能を有する。なお、走査線側の表示素子駆動回路１０８により高電位を印加された表示素子では、薄膜トランジスタが導通状態となり、信号線側の表示素子駆動回路１０７により与えられる電荷が供給される。
【００３０】
フォトセンサ制御回路１０３は、フォトセンサ１０６を制御するための回路であり、フォトセンサ出力信号線、フォトセンサ基準信号線等の信号線側のフォトセンサ読み出し回路１０９と、走査線側のフォトセンサ駆動回路１１０を有する。走査線側のフォトセンサ駆動回路１１０は、特定の行に配置された画素が有するフォトセンサ１０６に対して、後述するリセット動作と選択動作とを行う機能を有する。また、信号線側のフォトセンサ読み出し回路１０９は、選択された行の画素が有するフォトセンサ１０６の出力信号を取り出す機能を有する。なお、信号線側のフォトセンサ読み出し回路１０９は、アナログ信号であるフォトセンサの出力を、ＯＰアンプを用いてアナログ信号のまま表示パネル外部に取り出す構成や、Ａ／Ｄ変換回路を用いてデジタル信号に変換してから表示パネル外部に取り出す構成が考え得る。
【００３１】
画素１０４の回路図について、図２を用いて説明する。画素１０４は、トランジスタ２０１、保持容量２０２及び液晶素子２０３を有する表示素子１０５と、フォトダイオード２０４、トランジスタ２０５及びトランジスタ２０６を有するフォトセンサ１０６とを有する。
【００３２】
トランジスタ２０１は、ゲートがゲート信号線２０７に、ソース又はドレインの一方がビデオデータ信号線２１０に、ソース又はドレインの他方が保持容量２０２の一方の電極と液晶素子２０３の一方の電極に電気的に接続されている。保持容量２０２の他方の電極と液晶素子２０３の他方の電極は一定の電位に保たれている。液晶素子２０３は、一対の電極と、該一対の電極の間に液晶層を含む素子である。
【００３３】
トランジスタ２０１は、ゲート信号線２０７に”Ｈ”が印加されると、ビデオデータ信号線２１０の電位を保持容量２０２と液晶素子２０３に印加する。保持容量２０２は、印加された電位を保持する。液晶素子２０３は、印加された電位により、光の透過率を変更する。
【００３４】
フォトダイオード２０４は、一方の電極がフォトダイオードリセット信号線２０８に、他方の電極がトランジスタ２０５のゲートに電気的に接続されている。トランジスタ２０５は、ソース又はドレインの一方がフォトセンサ基準信号線２１２に、ソース又はドレインの他方がトランジスタ２０６のソース又はドレインの一方に電気的に接続されている。トランジスタ２０６は、ゲートがゲート信号線２０９に、ソース又はドレインの他方がフォトセンサ出力信号線２１１に電気的に接続されている。
【００３５】
次に、フォトセンサ読み出し回路１０９の構成について、図３を用いて説明する。図３において、画素１列分のフォトセンサ読み出し回路３００は、ｐ型トランジスタ３０１、保持容量３０２、を有する。また、フォトセンサ読み出し回路３００は、当該画素１列分のフォトセンサ出力信号線２１１、プリチャージ信号線３０３を有する。
【００３６】
フォトセンサ読み出し回路３００では、画素内におけるフォトセンサの動作に先立ち、フォトセンサ出力信号線２１１の電位を基準電位に設定する。図３では、プリチャージ信号線３０３を”Ｌ”とすることで、フォトセンサ出力信号線２１１を基準電位である高電位に設定することができる。なお、保持容量３０２は、フォトセンサ出力信号線２１１の寄生容量が大きい場合には、特別に設けなくても良い。なお、基準電位は、低電位とする構成も可能である。この場合、ｎ型トランジスタを用いることで、プリチャージ信号線３０３を”Ｈ”とすることで、フォトセンサ出力信号線２１１を基準電位である低電位に設定することができる。
【００３７】
次に、本表示パネルにおけるフォトセンサの読み出し動作について、図４のタイミングチャートを用いて説明する。図４において、信号４０１〜信号４０４は、図２におけるフォトダイオードリセット信号線２０８、トランジスタ２０６のゲートが接続されたゲート信号線２０９、トランジスタ２０５のゲートが接続されたゲート信号線２１３、フォトセンサ出力信号線２１１の電位に相当する。また、信号４０５は、図３におけるプリチャージ信号線３０３の電位に相当する。
【００３８】
時刻Ａにおいて、フォトダイオードリセット信号線２０８の電位（信号４０１）を”Ｈ”とする（リセット動作）と、フォトダイオード２０４が導通し、トランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）が”Ｈ”となる。また、プリチャージ信号線３０３の電位（信号４０５）の電位は”Ｌ”とすると、フォトセンサ出力信号線２１１の電位（信号４０４）は”Ｈ”にプリチャージされる。
【００３９】
時刻Ｂにおいて、フォトダイオードリセット信号線２０８の電位（信号４０１）を”Ｌ”にする（累積動作）と、フォトダイオード２０４のオフ電流により、トランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）が低下し始める。フォトダイオード２０４は、光が照射されるとオフ電流が増大するので、照射される光の量に応じてトランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）は変化する。すなわち、トランジスタ２０５のソースとドレイン間の電流が変化する。
【００４０】
時刻Ｃにおいて、ゲート信号線２０９の電位（信号４０２）を”Ｈ”にする（選択動作）と、トランジスタ２０６が導通し、フォトセンサ基準信号線２１２とフォトセンサ出力信号線２１１とが、トランジスタ２０５とトランジスタ２０６とを介して導通する。すると、フォトセンサ出力信号線２１１の電位（信号４０４）は、低下していく。なお、時刻Ｃ以前に、プリチャージ信号線３０３の電位（信号４０５）は”Ｈ”とし、フォトセンサ出力信号線２１１のプリチャージを終了しておく。ここで、フォトセンサ出力信号線２１１の電位（信号４０４）が低下する速さは、トランジスタ２０５のソースとドレイン間の電流に依存する。すなわち、フォトダイオード２０４に照射されている光の量に応じて変化する。
【００４１】
時刻Ｄにおいて、ゲート信号線２０９の電位（信号４０２）を”Ｌ”にすると、トランジスタ２０６が遮断され、フォトセンサ出力信号線２１１の電位（信号４０４）は、時刻Ｄ以後、一定値となる。ここで、一定値となる値は、フォトダイオード２０４に照射されている光の量に応じて変化する。したがって、フォトセンサ出力信号線２１１の電位を取得することで、フォトダイオード２０４に照射されている光の量を知ることができる。
【００４２】
上記のように、個々のフォトセンサの動作は、リセット動作、累積動作、選択動作を繰り返すことで実現される。また、表示パネルの全行及び全列における画素のフォトセンサについて、上記の動作を順次行い、その際に得られるフォトセンサ出力信号線２１１の電位を順次取得することで、撮像画像を生成することができる。
【００４３】
さて、各画素に設けられたフォトセンサは、製造上のばらつきにより、特性ばらつきを有する。製造上のばらつきには、フォトダイオードの光電流、トランジスタのしきい値やオン電流、フォトセンサ出力信号線の配線抵抗や寄生容量などがある。これらのばらつきにより、取得した撮像画像が、本来黒画像であるべきところが白味を帯びた模様が混入することや、逆に本来白画像であるべきところが黒味を帯びた模様が混入することが起こる。また、信号線側のフォトセンサ読み出し回路１０９にＯＰアンプやＡ／Ｄ変換回路を搭載している場合には、これらの特性ばらつきに起因して、撮像画像に筋状の模様が混入する。これら、ノイズにより、目的とする撮像画像の品質が損なわれることになる。
【００４４】
一般的には、フォトセンサを構成するフォトダイオードやトランジスタのサイズ拡大、信号配線の拡幅、層間絶縁膜の膜厚増大などで、前記の製造上のばらつきを軽減することができる。また、フォトセンサにばらつき補正回路を搭載することも考え得る。しかしながら、表示パネルでは画素の開口率を確保する必要があるため、フォトダイオードやトランジスタの素子サイズ及び素子数に対しては、厳しい制限を受けるため、素子のサイズ拡大や信号配線の拡幅、補正回路の導入などは容易では無い。また、層間絶縁膜の膜厚増大は、製造コストの増加や画素の透過率の低下を招くため、やはり容易では無い。そこで、次のような方法による撮像画像の品質向上を提案する。すなわち、目的とする撮像前に、黒画像もしくは白画像の少なくとも一方を撮像しておき、目的とする撮像画像に対する画像補正に用いる。黒画像もしくは白画像は、黒紙もしくは白紙を表示パネルに載せ、これを撮像することで容易に得ることができる。
【００４５】
画像補正の具体的な方法は、（１）黒画像を撮像した第１の画像データＸと、撮像画像である第２の画像データＹと、から得られる画像データ（Ｙ−Ｘ）を第３の画像データとし、これを目的とする撮像画像とする方法、（２）白画像を撮像した第１の画像データＸと、撮像画像である第２の画像データＹと、から得られる画像データ（Ｙ＋（階調数−Ｘ））を第３の画像データとし、これを目的とする撮像画像とする方法、（３）黒画像を撮像した第１の画像データＸと、白画像を撮像した第２の画像データＹと、撮像画像である第３の画像データＺと、から、第１の画像データＸと、第２の画像データＹと、を各々最小値、最大値とする範囲に第３の画像データＺを線形配分して得られる画像データ（（Ｚ−Ｘ）／（Ｙ−Ｘ）×（階調数））を第４の画像データとし、これを目的とする撮像画像とする方法、である。ここで、画像データＸ（Ｙ、Ｚ）とは、当該画像における各画素の階調が数値で表されたデータ（階調データ）を意味する。また、画像データに対する四則演算は、画像データの各画素の階調データ間での四則演算を行うことを意味する。例えば、画像データ（Ｙ−Ｘ）とは、画像データＸの各画素の階調データと、画像データＹの各画素の階調データとの差を各々とり、これを各画素の階調データとする画像データを意味する。また、階調データは、明るい程値が大きいとする。さらに、カラー画像については、各画素の階調データは、Ｒ、Ｇ、Ｂの階調値から構成され、四則演算は、Ｒ、Ｇ、Ｂ各々について行うことを意味する。階調数とは、撮像画像の階調数であり、カラー画像の場合は、Ｒ、Ｇ、Ｂ各々の階調数を意味する。
【００４６】
（１）の方法は、例えば、図２で示したフォトセンサ１０６において、トランジスタ２０５のオン電流のばらつきが大きい場合や、フォトダイオード２０４の暗電流もしくは弱光における光電流のばらつきが大きい場合など、黒画像にノイズが出易い製造上のばらつきに対して有効である。なお、黒画像全体にノイズが出ている場合には、目的とする撮像画像が白っぽい画像となる。そのため、全画素データに対して、一定値を加算することで、目的とする撮像画像の輝度を調整することができる。また、カラー画像の場合には、Ｒ、Ｇ、Ｂ各々に対して、異なる一定値を加算することが有効である。
【００４７】
（２）の方法は、例えば、図２で示したフォトセンサ１０６において、トランジスタ２０５のしきい値のばらつきが大きい場合や、フォトダイオード２０４の強光における光電流のばらつきが大きい場合など、白画像にノイズが出易い製造上のばらつきに対して有効である。なお、白画像全体にノイズが出ている場合、目的とする撮像画像が黒っぽい画像となる。そのため、全画素データに対して、一定値を減算することで、目的とする撮像画像の輝度を調整することができる。また、カラー画像の場合には、Ｒ、Ｇ、Ｂ各々に対して、異なる一定値を減算することが有効である。
【００４８】
（３）の方法は、（１）、（２）の方法をより実用化した方法で、フォトセンサの各種ばらつきに対して有効である。また、線形配分ではなく、より一般的に、非線形配分することも有効である。なお、線形配分とは、被検出物の画像データ（例えば画像データＺ）の変化に対して、補正された画像データの変化が比例していることである。また、非線形配分とは、画像データＺの変化に対して、補正された画像データが比例していないことである。
【００４９】
なお、（１）〜（３）の方法を用いる際に、画像データＸ、Ｙ、Ｚは、熱雑音などに起因して、撮像画像にランダムに生じるノイズ（以下、ランダムノイズ）を除去しておくことが有効である。ランダムノイズを除去するには、平滑化処理などの一般的な画像処理や、連続的に撮像した複数の撮像画像に対して平均値や中央値を得る演算処理などが有効である。
【００５０】
図５に、上記の補正を行う表示パネルシステム５００を示す。ここで、表示パネルシステム５００は、表示パネル１００、制御回路５０１、画像処理回路５０２、画像データを保存する記憶装置５０３を有する。制御回路５０１は、表示パネル１００を駆動するための各種タイミング信号を生成する。画像処理回路５０２は、フォトセンサで得られた撮像データから上記のような演算処理を行い、画像データを生成する。また、後の画像処理に必要となる画像データを記憶装置５０３に格納し、また、必要に応じて記憶装置５０３に格納された画像データを読み出し、演算処理を行う。
【００５１】
図５に示す構成において、（１）、（２）の方法を用いる場合、記憶装置５０３には、黒画像データもしくは白画像データの一方のみを保存すれば良いため、記憶装置５０３の容量は少なくて済む。
【００５２】
また、表示パネル１００の製造上のばらつきが少ない場合には、黒画像データ及び白画像データにおける各画素の階調データの範囲を限定することができる。この場合には、階調データの範囲を指定するデータを別に用意する記憶装置に保存し、記憶装置５０３には限定された範囲の階調データのみを保存する構成が可能である。上記（１）〜（３）の方法における演算を行う際には、階調データの範囲を指定するデータと限定された範囲の階調データを各々記憶装置から読み出し、これらを用いて画像処理回路５０２で演算を行うことができる。なお、階調データの上位ビット、下位ビットを、各々階調データの範囲を指定するデータ、限定された範囲の階調データとすることができる。このような構成とすることで、記憶装置５０３の容量を削減できるので有効である。
【００５３】
次に、（１）（２）（３）の方法の具体例を図１１を用いて説明する。
【００５４】
図１１では、説明を簡単にするため、縦３×横３の９つの画素の例を示す。各画素内の数字は画像データを示している。画素数はこれに限定されない。
【００５５】
（１）の方法の手順を図１１（Ａ）に示す。
【００５６】
まず黒画像を撮像した画像データＸを取得する。数値０の画素は黒が正しく撮像され、画素２００１はノイズが含まれていることを示している。ノイズ値は４であり、少し白っぽい画像になっている。このノイズを含む黒画像データＸは、記憶装置５０３に格納される。
【００５７】
次に被検出物の画像を撮像した画像データＹを取得する。ここで、画素２００１はノイズ値４を含んでおり、被検出物を正しく撮像できていない。この被検出物の画像データＹは、記憶装置５０３に格納される。
【００５８】
そして、画像処理回路５０２において、黒画像データＸ及び被検出物の画像データＹを用いて画像処理を行い、画像データ（Ｙ−Ｘ）を有する画像を生成する。生成された画像が、画素２００１においてノイズ値４が除去された正しい撮像画像である。以上のようにして、ノイズを含む画像を補正することができる。
【００５９】
（２）の方法の手順を図１１（Ｂ）に示す。
【００６０】
まず白画像を撮像した画像データＸを取得する。数値１５の画素は白が正しく撮像され、画素２００２はノイズが含まれていることを示している。ノイズ値は６であり、少し黒っぽい画像になっている。このノイズを含む白画像データは、記憶装置５０３に格納される。
【００６１】
次に被検出物の画像を撮像した画像データＹを取得する。ここで、画素２００２はノイズ値６を含んでおり、被検出物を正しく撮像できていない。この被検出物の画像データは、記憶装置５０３に格納される。
【００６２】
そして、画像処理回路５０２において、白画像データＸ及び被検出物の画像データＹを用いて画像処理を行い、画像データ（Ｙ＋（ＭＡＸ−Ｘ））を有する画像を生成する。生成された画像が、画素２００２においてノイズ値６が除去された正しい撮像画像である。以上のようにして、ノイズを含む画像を補正することができる。ＭＡＸは１６階調の最大値を示し、ここではＭＡＸ＝１５である。上述した階調数は、このＭＡＸと同義である。
【００６３】
（３）の方法の手順を図１１（Ｃ）に示す。
【００６４】
まず黒画像を撮像した画像データＸと、白画像を撮像した画像データＹを取得する。図１１（Ａ）、（Ｂ）と同様に、黒画像は画素２００３において白っぽい画像になっており、白画像は画素２００３において黒っぽい画像になっている。これらの画像データＸ及びＹは、記憶装置５０３に格納される。
【００６５】
次に被検出物の画像を撮像した画像データＺを取得する。ここで、画素２００３はノイズ値４及びノイズ値６を含んでおり、被検出物を正しく撮像できていない。この被検出物の画像データＺは、記憶装置５０３に格納される。
【００６６】
そして、画像処理回路５０２において、黒画像データＸ、白画像データＹ、及び被検出物の画像データＺを用いて画像処理が行われ、画像データ（ＭＡＸ×（Ｚ−Ｘ）／（Ｙ−Ｘ））を有する画像を生成する。生成された画像が、ノイズ値４及びノイズ値６が除去された正しい撮像画像である。以上のようにして、ノイズを含む画像を補正することができる。（２）の方法と同様に、ＭＡＸ＝１５である。
【００６７】
なお本実施の形態では、モノクロ画像を用いているが、Ｒ、Ｇ、Ｂの値で構成されるカラー画像を用いてもよい。その場合、Ｒ、Ｇ、Ｂ各々について上記画像処理を行えばよい。また、ＲＧＢ値をＨＳＶ値（Ｈ：色相、Ｓ：彩度、Ｖ：明度）に変換して処理を行ってもよい。
【００６８】
また、４ビット表示（１６階調表示）を行っているが、別のビット数としてもよい。
【００６９】
以上のような形態とすることで、高精度の画像撮像が可能な表示パネルを提供することができる。
【００７０】
なお、本実施の形態では、フォトセンサを有する表示装置について説明したが、フォトセンサを有する半導体装置にも容易に応用できる。すなわち、本実施の形態における表示装置から、表示に要する回路、具体的には、表示素子制御回路１０２、表示素子１０５を取り除いて、半導体装置を構成することができる。当該半導体装置としては、例えばイメージセンサが挙げられる。このような半導体装置は、フォトセンサが設けられた入力部に接触または接近する被検出物を、上記と同様に検出することができる。
【００７１】
本実施の形態は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【００７２】
（実施の形態２）
本実施の形態では、黒画像もしくは白画像の撮像方法について、実施の形態１で説明した方法とは異なる方法について、図６のタイミングチャートを用いて説明する。図６のタイミングチャートにおいて、信号６０１、信号４０２、信号６０３、信号６０４は、図２におけるフォトダイオードリセット信号線２０８、トランジスタ２０６のゲートが接続されたゲート信号線２０９、トランジスタ２０５のゲートが接続されたゲート信号線２１３、フォトセンサ出力信号線２１１の電位に相当する。また、信号４０５は、図３におけるプリチャージ信号線３０３の電位に相当する。以下、図４に示したタイミングチャートとの違いに注目して説明する。
【００７３】
時刻Ａにおいて、フォトダイオードリセット信号線２０８の電位（信号６０１）を特定の電位とする（リセット動作）。ここで、特定の電位は、黒画像を撮像するときは、図４のタイミングチャートにおける”Ｈ”と同電位である第１の電位とする。また、白画像を撮像するときは、理想的には図２におけるトランジスタ２０５のしきい値にフォトダイオード２０４の順方向電圧降下分を加算した電位である第２の電位とする。より現実的には、フォトダイオード２０４が導通し得る最小の電位を第２の電位とする。この時、トランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号６０３）が第１の電位からフォトダイオード２０４の順方向電圧降下分だけ低い値となる。また、プリチャージ信号線３０３の電位（信号４０５）を”Ｌ”とすると、フォトセンサ出力信号線２１１の電位（信号６０４）は”Ｈ”にプリチャージされる。
【００７４】
時刻Ｂにおいて、フォトダイオードリセット信号線２０８の電位（信号６０１）は時刻Ａのままの電位を保つ。すなわち、トランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号６０３）も変化しない。
【００７５】
時刻Ｃにおいて、ゲート信号線２０９の電位（信号４０２）を”Ｈ”にする（選択動作）と、トランジスタ２０６が導通し、フォトセンサ基準信号線２１２とフォトセンサ出力信号線２１１とが、トランジスタ２０５とトランジスタ２０６とを介して導通する。すると、フォトセンサ出力信号線２１１の電位（信号６０４）は、低下していく。なお、時刻Ｃ以前に、プリチャージ信号線３０３の電位（信号４０５）の電位は”Ｈ”とし、フォトセンサ出力信号線２１１のプリチャージを終了しておく。ここで、フォトセンサ出力信号線２１１の電位（信号６０４）が低下する速さは、トランジスタ２０５のソースとドレイン間の電流に依存する。すなわち、リセット動作において、フォトダイオードリセット信号線２０８に印加した電圧に応じて変化する。具体的には、フォトダイオードリセット信号線２０８に第１の電位を印加した場合は、フォトセンサ出力信号線２１１の電位（信号６０４）は、図４のタイミングチャートでフォトダイオード２０４に照射する光の量が少ない場合、すなわち、黒画像を撮像した場合と同様の変化をする。また、フォトダイオードリセット信号線２０８に第２の電位を印加した場合は、フォトセンサ出力信号線２１１の電位（信号６０４）は、図４のタイミングチャートでフォトダイオード２０４に照射する光の量が多い場合と同様の変化をする。すなわち、白画像を撮像した場合と同様の変化をする。
【００７６】
時刻Ｄにおいて、ゲート信号線２０９の電位（信号４０２）を”Ｌ”にすると、トランジスタ２０６が遮断され、フォトセンサ出力信号線２１１の電位（信号６０４）は、時刻Ｄ以後、一定値となる。ここで、一定値となる値は、リセット動作において、フォトダイオードリセット信号線２０８に印加した電圧に応じて変化する。したがって、フォトセンサ出力信号線２１１の電位を取得することで、黒画像もしくは白画像を撮像した場合に相当する撮像データを知ることができる。
【００７７】
以上のような形態とすることで、補正用の黒画像もしくは白画像を撮像する際に、黒紙や白紙を表示パネルに載せて撮像するといった手間を省いて、高精度の撮像が可能な表示装置を提供することができる。
【００７８】
本実施の形態は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【００７９】
（実施の形態３）
図７に、表示パネルの断面図の一例を示す。図７に示す表示パネルでは、絶縁表面を有する基板（ＴＦＴ基板）１００１上に、フォトダイオード１００２、トランジスタ１００３、保持容量１００４、液晶素子１００５が設けられている。
【００８０】
フォトダイオード１００２と、保持容量１００４とは、トランジスタ１００３を作製するプロセスにおいて、トランジスタ１００３と共に形成することが可能である。フォトダイオード１００２は横型接合タイプのｐｉｎダイオードであり、フォトダイオード１００２が有する半導体膜１００６は、ｐ型の導電性を有する領域（ｐ層）と、ｉ型の導電性を有する領域（ｉ層）と、ｎ型の導電性を有する領域（ｎ層）とを有している。なお、本実施の形態では、フォトダイオード１００２がｐｉｎダイオードである場合を例示しているが、フォトダイオード１００２はｐｎダイオードであっても良い。横型接合タイプのｐｉｎ接合またはｐｎ接合は、ｐ型を付与する不純物と、ｎ型を付与する不純物とを、それぞれ半導体膜１００６の特定の領域に添加することで、形成することが出来る。
【００８１】
また、ＴＦＴ基板１００１上に成膜した一の半導体膜をエッチングなどにより所望の形状に加工（パターニング）することで、フォトダイオード１００２の島状の半導体膜と、トランジスタ１００３の島状の半導体膜とを一緒に形成することができ、通常のパネル作成プロセスに追加するプロセスが不要となり、コストを低減できる。
【００８２】
液晶素子１００５は、画素電極１００７と、液晶１００８と、対向電極１００９とを有する。画素電極１００７は、基板１００１上に形成されており、トランジスタ１００３と、保持容量１００４と、導電膜１０１０を介して電気的に接続されている。また、対向電極１００９は、基板（対向基板）１０１３上に形成されており、画素電極１００７と対向電極１００９の間に、液晶１００８が挟まれている。なお、本実施の形態では、フォトセンサに用いられているトランジスタについては図示していないが、当該トランジスタも、トランジスタ１００３を作製するプロセスにおいて、トランジスタ１００３と共に基板（ＴＦＴ基板）１００１上に形成することが可能である。
【００８３】
画素電極１００７と、対向電極１００９の間のセルギャップは、スペーサー１０１６を用いて制御することが出来る。図７では、フォトリソグラフィーで選択的に形成された柱状のスペーサー１０１６を用いてセルギャップを制御しているが、球状のスペーサーを画素電極１００７と対向電極１００９の間に分散させることで、セルギャップを制御することも出来る。
【００８４】
また液晶１００８は、基板（ＴＦＴ基板）１００１と基板（対向基板）１０１３の間において、封止材により囲まれている。液晶１００８の注入は、ディスペンサ式（滴下式）を用いても良いし、ディップ式（汲み上げ式）を用いていても良い。
【００８５】
画素電極１００７には、透光性を有する導電性材料、例えばインジウム錫酸化物（ＩＴＯ）、酸化珪素を含むインジウム錫酸化物（ＩＴＳＯ）、有機インジウム、有機スズ、酸化亜鉛、酸化亜鉛（ＺｎＯ）を含むインジウム亜鉛酸化物（ＩＺＯ（Ｉｎｄｉｕｍ Ｚｉｎｃ Ｏｘｉｄｅ））、ガリウム（Ｇａ）を含む酸化亜鉛、酸化スズ（ＳｎＯ２）、酸化タングステンを含むインジウム酸化物、酸化タングステンを含むインジウム亜鉛酸化物、酸化チタンを含むインジウム酸化物、酸化チタンを含むインジウム錫酸化物などを用いることが出来る。
【００８６】
また、本実施の形態では、透過型の液晶素子１００５を例に挙げているので、画素電極１００７と同様に、対向電極１００９にも上述した透光性を有する導電性材料を用いることが出来る。
【００８７】
画素電極１００７と液晶１００８の間には配向膜１０１１が、対向電極１００９と液晶１００８の間には配向膜１０１２が、それぞれ設けられている。配向膜１０１１、配向膜１０１２はポリイミド、ポリビニルアルコールなどの有機樹脂を用いて形成することができ、その表面には、ラビングなどの、液晶分子を一定方向に配列させるための配向処理が施されている。ラビングは、配向膜に圧力をかけながら、ナイロンなどの布を巻いたローラーを回転させて、上記配向膜の表面を一定方向に擦ることで、行うことが出来る。なお、酸化珪素などの無機材料を用い、配向処理を施すことなく、蒸着法で配向特性を有する配向膜１０１１、配向膜１０１２を直接形成することも可能である。
【００８８】
また、液晶素子１００５と重なるように、特定の波長領域の光を通すことができるカラーフィルタ１０１４が、基板（対向基板）１０１３上に形成されている。カラーフィルタ１０１４は、顔料を分散させたアクリル系樹脂などの有機樹脂を基板１０１３上に塗布した後、フォトリソグラフィーを用いて選択的に形成することができる。また、顔料を分散させたポリイミド系樹脂を基板１０１３上に塗布した後、エッチングを用いて選択的に形成することもできる。或いは、インクジェットなどの液滴吐出法を用いることで、選択的にカラーフィルタ１０１４を形成することもできる。
【００８９】
また、フォトダイオード１００２と重なるように、光を遮蔽することが出来る遮蔽膜１０１５が、基板（対向基板）１０１３上に形成されている。遮蔽膜１０１５を設けることで、基板（対向基板）１０１３を透過して表示パネル内に入射したバックライトからの光が、直接フォトダイオード１００２に当たるのを防ぐことができる他、画素間における液晶１００８の配向の乱れに起因するディスクリネーションが視認されるのを防ぐことができる。遮蔽膜１０１５には、カーボンブラック、低次酸化チタンなどの黒色顔料を含む有機樹脂を用いることができる。または、クロムを用いた膜で、遮蔽膜１０１５を形成することも可能である。
【００９０】
また、基板（ＴＦＴ基板）１００１の画素電極１００７が形成されている面とは反対の面に、偏光板１０１７を設け、基板（対向基板）１０１３の対向電極１００９が形成されている面とは反対の面に、偏光板１０１８を設ける。
【００９１】
液晶素子は、ＴＮ（Ｔｗｉｓｔｅｄ Ｎｅｍａｔｉｃ）型の他、ＶＡ（Ｖｉｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）型、ＯＣＢ（ｏｐｔｉｃａｌｌｙ ｃｏｍｐｅｎｓａｔｅｄ Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）型、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ Ｓｗｉｔｃｈｉｎｇ）型等であっても良い。なお、本実施の形態では、画素電極１００７と対向電極１００９の間に液晶１００８が挟まれている構造の液晶素子１００５を例に挙げて説明したが、本発明の一態様に係る表示パネルはこの構成に限定されない。ＩＰＳ型のように、一対の電極が、共に基板（ＴＦＴ基板）１００１側に形成されている液晶素子であっても良い。
【００９２】
また、本実施の形態では、フォトダイオード１００２、トランジスタ１００３、保持容量１００４に、薄膜の半導体膜を用いている場合を例に挙げているが、単結晶半導体基板、ＳＯＩ基板などを用いて形成されていても良い。
【００９３】
本実施の形態に示す断面構造では、バックライトからの光は、基板（対向基板）１０１３側から照射する。すなわち、矢印１０２０で示すように液晶素子１００５を通って、基板（ＴＦＴ基板）１００１側にある被検出物１０２１に照射される。そして、被検出物１０２１において反射された矢印１０２２で示す光は、フォトダイオード１００２に入射する。
【００９４】
また、本実施の形態の表示装置は、フォトセンサ（フォトダイオード１００２）の受光面の向きと、表示パネルの表示面（基板１００１側）の向きとが同一である。そのため、表示パネルにおいて、被検出物を撮像することができ、ＣＣＤイメージセンサ等を設けた場合に比べて有効である。
【００９５】
以上のような形態とすることで、高精度の画像撮像が可能な表示パネルを提供することができる。
【００９６】
本実施の形態は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【００９７】
（実施の形態４）
図８、実施の形態３とは異なる表示パネルの断面図の一例を示す。図８に示す表示パネルでは、フォトダイオード１００２は、トランジスタ１００３のゲート電極を構成する導電膜１０１９で、遮蔽膜２０１９を構成している点が、図７と異なる。フォトダイオード１００２に遮蔽膜２０１９を構成することで、バックライトの光がｉ型の導電性を有する領域（ｉ層）に直接入射することを回避することができ、被検出物からの反射光のみを効率良く検出することができる。
【００９８】
また、フォトダイオード１００２を横型接合タイプのｐｉｎダイオードとする際には、ｐ型の導電性を有する領域（ｐ層）とｎ型の導電性を有する領域（ｎ層）とを形成する際に、遮蔽膜をマスクとして用いることで、セルフアラインで形成することができる。これは、微細なフォトダイオードを作成する際に有効であり、画素サイズの縮小や開口率の向上に有効である。
【００９９】
以上のような形態とすることで、高精度の画像撮像が可能な表示装置を提供することができる。
【０１００】
本実施の形態は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【０１０１】
（実施の形態５）
図１２に、実施の形態３とは異なる表示パネルの断面図の別の一例を示す。図１２に示す表示パネルでは、バックライトからの光が、基板（ＴＦＴ基板）１００１側から照射する点において、図７と異なる。すなわち、矢印２０２０で示すように液晶素子１００５を通って、基板（対向基板）１０１３側にある被検出物１０２１に照射される。そして、被検出物１０２１において反射された矢印２０２２で示す光は、フォトダイオード１００２に入射する。この場合、フォトダイオード１００２の上部の遮蔽膜１０１５に開口を設ける等、被検出物１０２１で反射された光がフォトダイオード１００２に入射するようにすればよい。
【０１０２】
本実施の形態では、フォトダイオード１００２の下部に遮蔽膜２０１５を設ける。遮蔽膜２０１５を設けることで、基板（ＴＦＴ基板）１００１を透過して表示パネル内に入射したバックライトからの光が、直接フォトダイオード１００２に当たるのを防ぐことができ、高精度の画像撮像が可能な表示パネルを提供することができる。遮蔽膜２０１５には、カーボンブラック、低次酸化チタンなどの黒色顔料を含む有機樹脂を用いることができる。または、クロムを用いた膜で、遮蔽膜２０１５を形成することも可能である。
【０１０３】
また、本実施の形態の表示装置は、フォトセンサ（フォトダイオード１００２）の受光面の向きと、表示パネルの表示面（基板１０１３側）の向きとが同一である。そのため、表示パネルにおいて、被検出物を撮像することができ、ＣＣＤイメージセンサ等を設けた場合に比べて有効である。
【０１０４】
本実施の形態は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【０１０５】
（実施の形態６）
フォトセンサを有する表示パネルを用いたライティングボード（黒板、ホワイトボード等）の例を示す。
【０１０６】
例えば、図１３にフォトセンサを有する表示パネルを示す。
【０１０７】
表示パネル９６９６は、フォトセンサと表示素子とを有している。
【０１０８】
ここで、表示パネル９６９６の表面にはマーカー等を用いて自由に書き込みができる。
【０１０９】
なお、定着剤が含まれていないマーカー等を用いれば文字の消去が容易である。
【０１１０】
また、マーカーのインクを落としやすくするため、表示パネル９６９６の表面は十分な平滑性を有していると良い。
【０１１１】
例えば、表示パネル９６９６の表面がガラス基板等であれば平滑性は充分である。
【０１１２】
また、表示パネル９６９６の表面に透明な合成樹脂シート等を貼り付けても良い。
【０１１３】
合成樹脂としては例えばアクリル等を用いると好ましい。この場合、合成樹脂シートの表面を平滑にしておくと好ましい。
【０１１４】
そして、表示パネル９６９６は、表示素子を有しているので、特定の画像を表示するとともに表示パネル９６９６の表面にマーカーにより文字を記載することができる。
【０１１５】
また、表示パネル９６９６は、フォトセンサを有しているので、プリンター等と接続しておけばマーカーで記載した文字を読み取って印刷することも可能である。
【０１１６】
さらに、表示パネル９６９６は、フォトセンサと表示素子を有しているので、画像を表示させた状態で表示パネル９６９６表面にマーカーで文字、図形等を書き込むことにより、フォトセンサで読み取ったマーカーの軌跡を画像と合成して映し出すこともできる。
【０１１７】
なお、抵抗膜方式、静電容量方式等のセンシングを用いた場合、マーカー等での書き込みと同時にしかセンシングをすることができない。
【０１１８】
一方、フォトセンサを用いた場合、マーカー等で書き込んだ後、時間が経った場合でもいつでもセンシングが可能な点で優れている。
【０１１９】
本実施の形態は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【実施例１】
【０１２０】
本実施例では、本発明の表示パネルにおける、パネルと光源の配置について説明する。
【０１２１】
図９は、本発明の表示パネルの構造を示す斜視図の一例である。図９に示す表示パネルは、一対の基板間に液晶素子、フォトダイオード、薄膜トランジスタなどを含む画素が形成されたパネル１６０１と、第１の拡散板１６０２と、プリズムシート１６０３と、第２の拡散板１６０４と、導光板１６０５と、反射板１６０６と、複数の光源１６０７を有するバックライト１６０８と、回路基板１６０９とを有している。
【０１２２】
パネル１６０１と、第１の拡散板１６０２と、プリズムシート１６０３と、第２の拡散板１６０４と、導光板１６０５と、反射板１６０６とは、順に積層されている。光源１６０７は導光板１６０５の端部に設けられており、導光板１６０５内部に拡散された光源１６０７からの光は、第１の拡散板１６０２、プリズムシート１６０３及び第２の拡散板１６０４によって、対向基板側から均一にパネル１６０１に照射される。
【０１２３】
なお、本実施例では、第１の拡散板１６０２と第２の拡散板１６０４とを用いているが、拡散板の数はこれに限定されず、単数であっても３以上であっても良い。そして、拡散板は導光板１６０５とパネル１６０１の間に設けられていれば良い。よって、プリズムシート１６０３よりもパネル１６０１に近い側にのみ拡散板が設けられていても良いし、プリズムシート１６０３よりも導光板１６０５に近い側にのみ拡散板が設けられていても良い。
【０１２４】
またプリズムシート１６０３の断面は、図９に示した鋸歯状の形状に限定されず、導光板１６０５からの光をパネル１６０１側に集光できる形状を有していれば良い。
【０１２５】
回路基板１６０９には、パネル１６０１に入力される各種信号を生成もしくは処理する回路、パネル１６０１から出力される各種信号を処理する回路などが設けられている。そして図９では、回路基板１６０９とパネル１６０１とが、ＦＰＣ（Ｆｌｅｘｉｂｌｅ Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ）１６１１を介して接続されている。なお、上記回路は、ＣＯＧ（Ｃｈｉｐ ＯＮ Ｇｌａｓｓ）法を用いてパネル１６０１に接続されていても良いし、上記回路の一部がＦＰＣ１６１１にＣＯＦ（Ｃｈｉｐ ＯＮ Ｆｉｌｍ）法を用いて接続されていても良い。
【０１２６】
図９では、光源１６０７の駆動を制御する、制御系の回路が回路基板１６０９に設けられており、該制御系の回路と光源１６０７とがＦＰＣ１６１０を介して接続されている例を示している。ただし、上記制御系の回路はパネル１６０１に形成されていても良く、この場合はパネル１６０１と光源１６０７とがＦＰＣなどにより接続されるようにする。
【０１２７】
なお、図９は、パネル１６０１の端に光源１６０７を配置するエッジライト型の光源を例示しているが、本発明の表示パネルは光源１６０７がパネル１６０１の直下に配置される直下型であっても良い。
【０１２８】
例えば、被検出物である指１６１２をＴＦＴ基板側からパネル１６０１に近づけると、バックライト１６０８からの光が、パネル１６０１を通過し、その一部が指１６１２において反射し、再びパネル１６０１に入射する。各色に対応する光源１６０７を順に点灯させ、色ごとに撮像データの取得を行うことで、被検出物である指１６１２のカラーの撮像データを得ることが出来る。
【０１２９】
本実施例は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【実施例２】
【０１３０】
本発明の一態様に係る表示パネルは、高精度の撮像ができるという特徴を有している。よって、本発明の一態様に係る表示パネルを用いた電子機器は、表示パネルをその構成要素に追加することにより、より高機能のアプリケーションを搭載することができるようになる。本発明の表示パネルは、表示装置、ノート型パーソナルコンピュータ、記録媒体を備えた画像再生装置（代表的にはＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ等の記録媒体を再生し、その画像を表示しうるディスプレイを有する装置）に用いることができる。その他に、本発明の一態様に係る表示パネルを用いることができる電子機器として、携帯電話、携帯型ゲーム機、携帯情報端末、電子書籍、ビデオカメラ、デジタルスチルカメラ、ゴーグル型ディスプレイ（ヘッドマウントディスプレイ）、ナビゲーションシステム、音響再生装置（カーオーディオ、デジタルオーディオプレイヤー等）、複写機、ファクシミリ、プリンター、プリンター複合機、現金自動預け入れ払い機（ＡＴＭ）、自動販売機などが挙げられる。これら電子機器の具体例を図１０に示す。
【０１３１】
図１０（Ａ）は表示装置であり、筐体５００１、表示部５００２、支持台５００３等を有する。本発明の一態様に係る表示パネルは、表示部５００２に用いることができる。表示部５００２に本発明の一態様に係る表示パネルを用いることで、高精度の撮像を行うことができ、より高機能のアプリケーションが搭載された表示装置を提供することができる。なお、表示装置には、パーソナルコンピュータ用、ＴＶ放送受信用、広告表示用などの全ての情報表示用表示装置が含まれる。
【０１３２】
図１０（Ｂ）は携帯情報端末であり、筐体５１０１、表示部５１０２、スイッチ５１０３、操作キー５１０４、赤外線ポート５１０５等を有する。本発明の一態様に係る表示パネルは、表示部５１０２に用いることができる。表示部５１０２に本発明の一態様に係る表示パネルを用いることで、高精度の撮像を行うことができ、より高機能のアプリケーションが搭載された携帯情報端末を提供することができる。
【０１３３】
図１０（Ｃ）は現金自動預け入れ払い機であり、筐体５２０１、表示部５２０２、硬貨投入口５２０３、紙幣投入口５２０４、カード投入口５２０５、通帳投入口５２０６等を有する。本発明の一態様に係る表示パネルは、表示部５２０２に用いることができる。表示部５２０２に本発明の一態様に係る表示パネルを用いることで、高精度の撮像を行うことができ、より高機能のアプリケーションが搭載された現金自動預け入れ払い機を提供することができる。そして、本発明の一態様に係る表示パネルを用いた現金自動預け入れ払い機は、指紋、顔、手形、掌紋及び手の静脈の形状、虹彩等の、生体認証に用いられる生体情報の読み取りを、より高精度で行うことが出来る。よって、生体認証における、本人であるにもかかわらず本人ではないと誤認識してしまう本人拒否率と、他人であるにもかかわらず本人と誤認識してしまう他人受入率とを、低く抑えることができる。
【０１３４】
図１０（Ｄ）は携帯型ゲーム機であり、筐体５３０１、筐体５３０２、表示部５３０３、表示部５３０４、マイクロホン５３０５、スピーカー５３０６、操作キー５３０７、スタイラス５３０８等を有する。本発明の一態様に係る表示パネルは、表示部５３０３または表示部５３０４に用いることができる。表示部５３０３または表示部５３０４に本発明の一態様に係る表示パネルを用いることで、高精度の撮像を行うことができ、より高機能のアプリケーションが搭載された携帯型ゲーム機を提供することができる。なお、図１０（Ｄ）に示した携帯型ゲーム機は、２つの表示部５３０３と表示部５３０４とを有しているが、携帯型ゲーム機が有する表示部の数は、これに限定されない。
【０１３５】
本実施例は、他の実施の形態または実施例と適宜組み合わせて実施することが可能である。
【符号の説明】
【０１３６】
１００ 表示パネル
１０１ 画素回路
１０２ 表示素子制御回路
１０３ フォトセンサ制御回路
１０４ 画素
１０５ 表示素子
１０６ フォトセンサ
１０７ 表示素子駆動回路
１０８ 表示素子駆動回路
１０９ フォトセンサ読み出し回路
１１０ フォトセンサ駆動回路
２０１ トランジスタ
２０２ 保持容量
２０３ 液晶素子
２０４ フォトダイオード
２０５ トランジスタ
２０６ トランジスタ
２０７ ゲート信号線
２０８ フォトダイオードリセット信号線
２０９ ゲート信号線
２１０ ビデオデータ信号線
２１１ フォトセンサ出力信号線
２１２ フォトセンサ基準信号線
２１３ ゲート信号線
３００ フォトセンサ読み出し回路
３０１ ｐ型トランジスタ
３０２ 保持容量
３０３ プリチャージ信号線
４０１ 信号
４０２ 信号
４０３ 信号
４０４ 信号
４０５ 信号
５００ 表示パネルシステム
５０１ 制御回路
５０２ 画像処理回路
５０３ 記憶装置
６０１ 信号
６０３ 信号
６０４ 信号
１００１ 基板
１００２ フォトダイオード
１００３ トランジスタ
１００４ 保持容量
１００５ 液晶素子
１００６ 半導体膜
１００７ 画素電極
１００８ 液晶
１００９ 対向電極
１０１０ 導電膜
１０１１ 配向膜
１０１２ 配向膜
１０１３ 基板
１０１４ カラーフィルタ
１０１５ 遮蔽膜
１０１６ スペーサー
１０１７ 偏光板
１０１８ 偏光板
１０１９ 導電膜
１０２０ 矢印
１０２１ 被検出物
１０２２ 矢印
１６０１ パネル
１６０２ 第１の拡散板
１６０３ プリズムシート
１６０４ 第２の拡散板
１６０５ 導光板
１６０６ 反射板
１６０７ 光源
１６０８ バックライト
１６０９ 回路基板
１６１０ ＦＰＣ
１６１１ ＦＰＣ
１６１２ 指
２０１５ 遮蔽膜
２０１９ 遮蔽膜
２００１ 画素
２００２ 画素
２００３ 画素
２０１５ 遮蔽膜
２０１９ 遮蔽膜
２０２０ 矢印
２０２２ 矢印
５００１ 筐体
５００２ 表示部
５００３ 支持台
５１０１ 筐体
５１０２ 表示部
５１０３ スイッチ
５１０４ 操作キー
５１０５ 赤外線ポート
５２０１ 筐体
５２０２ 表示部
５２０３ 硬貨投入口
５２０４ 紙幣投入口
５２０５ カード投入口
５２０６ 通帳投入口
５３０１ 筐体
５３０２ 筐体
５３０３ 表示部
５３０４ 表示部
５３０５ マイクロホン
５３０６ スピーカー
５３０７ 操作キー
５３０８ スタイラス
９６９６ 表示パネル
【特許請求の範囲】
【請求項１】
フォトセンサが配置された入力部と、画像処理回路とを有し、
前記フォトセンサは、黒画像、及び被検出物の画像を撮像し、
前記画像処理回路は、前記黒画像の画像データＸ、及び前記被検出物の画像の画像データＹを用いて、画像データ（Ｙ−Ｘ）を有する画像を生成することを特徴とする半導体装置。
【請求項２】
請求項１において、
前記フォトセンサのリセット動作を行う手段を有し、
前記黒画像は、前記リセット動作を行う際に撮像されることを特徴とする半導体装置。
【請求項３】
フォトセンサが配置された入力部と、画像処理回路とを有し、
前記フォトセンサは、白画像及び被検出物の画像を撮像し、
前記画像処理回路は、階調の最大値をＭＡＸとし、前記白画像の画像データＸ、及び前記被検出物の画像の画像データＹを用いて、画像データ（Ｙ＋（ＭＡＸ−Ｘ））を有する画像を生成することを特徴とする半導体装置。
【請求項４】
請求項３において、
前記フォトセンサのリセット動作を行う手段を有し、
前記白画像は、前記リセット動作を行う際に入力される信号に従い撮像されることを特徴とする半導体装置。
【請求項５】
フォトセンサが配置された入力部と、画像処理回路とを有し、
前記フォトセンサは、黒画像、白画像及び被検出物の画像を撮像し、
前記画像処理回路は、階調の最大値をＭＡＸとし、前記黒画像の画像データＸ、前記白画像の画像データＹ、及び前記被検出物の画像の画像データＺを用いて、画像データ（ＭＡＸ×（Ｚ−Ｘ）／（Ｙ−Ｘ））を有する画像を生成することを特徴とする半導体装置。
【請求項６】
請求項５において、
前記フォトセンサのリセット動作を行う手段を有し、
前記黒画像及び前記白画像は、前記リセット動作を行う際に撮像されることを特徴とする半導体装置。
【請求項７】
請求項１乃至請求項６のいずれか一において、
前記フォトセンサにおいて撮像された各々の画像は、ノイズを有しており、
前記画像処理回路において生成された画像は、前記ノイズが除去されていることを特徴とする半導体装置。
【請求項８】
請求項１乃至請求項７のいずれか一において、
前記フォトセンサにおいて撮像された各々の画像を格納する記憶装置を有することを特徴とする半導体装置。
【請求項１】
フォトセンサが配置された入力部と、画像処理回路とを有し、
前記フォトセンサは、黒画像、及び被検出物の画像を撮像し、
前記画像処理回路は、前記黒画像の画像データＸ、及び前記被検出物の画像の画像データＹを用いて、画像データ（Ｙ−Ｘ）を有する画像を生成することを特徴とする半導体装置。
【請求項２】
請求項１において、
前記フォトセンサのリセット動作を行う手段を有し、
前記黒画像は、前記リセット動作を行う際に撮像されることを特徴とする半導体装置。
【請求項３】
フォトセンサが配置された入力部と、画像処理回路とを有し、
前記フォトセンサは、白画像及び被検出物の画像を撮像し、
前記画像処理回路は、階調の最大値をＭＡＸとし、前記白画像の画像データＸ、及び前記被検出物の画像の画像データＹを用いて、画像データ（Ｙ＋（ＭＡＸ−Ｘ））を有する画像を生成することを特徴とする半導体装置。
【請求項４】
請求項３において、
前記フォトセンサのリセット動作を行う手段を有し、
前記白画像は、前記リセット動作を行う際に入力される信号に従い撮像されることを特徴とする半導体装置。
【請求項５】
フォトセンサが配置された入力部と、画像処理回路とを有し、
前記フォトセンサは、黒画像、白画像及び被検出物の画像を撮像し、
前記画像処理回路は、階調の最大値をＭＡＸとし、前記黒画像の画像データＸ、前記白画像の画像データＹ、及び前記被検出物の画像の画像データＺを用いて、画像データ（ＭＡＸ×（Ｚ−Ｘ）／（Ｙ−Ｘ））を有する画像を生成することを特徴とする半導体装置。
【請求項６】
請求項５において、
前記フォトセンサのリセット動作を行う手段を有し、
前記黒画像及び前記白画像は、前記リセット動作を行う際に撮像されることを特徴とする半導体装置。
【請求項７】
請求項１乃至請求項６のいずれか一において、
前記フォトセンサにおいて撮像された各々の画像は、ノイズを有しており、
前記画像処理回路において生成された画像は、前記ノイズが除去されていることを特徴とする半導体装置。
【請求項８】
請求項１乃至請求項７のいずれか一において、
前記フォトセンサにおいて撮像された各々の画像を格納する記憶装置を有することを特徴とする半導体装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−１２３８７６（Ｐ２０１１−１２３８７６Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２０１０−２４８１６２（Ｐ２０１０−２４８１６２）
【出願日】平成２２年１１月５日（２０１０．１１．５）
【出願人】（０００１５３８７８）株式会社半導体エネルギー研究所 (5,264)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２２年１１月５日（２０１０．１１．５）
【出願人】（０００１５３８７８）株式会社半導体エネルギー研究所 (5,264)
【Ｆターム（参考）】
[ Back to top ]