半導体装置及び表示装置
【課題】フォトセンサを有する表示装置において、フォトセンサへの入射光の強度にかかわらず、高精度の撮像を行うことを目的の一とする。
【解決手段】フォトセンサが配置された表示パネルを有し、フォトセンサにより入射光を測定し、入射光に応じてフォトセンサの感度を変更して撮像を行う機能を有する表示装置を提供する。入射光が暗いときにフォトセンサの感度を上げて撮像の精度を向上することで、接触の誤認識の防止や鮮明な画像取り込みを行う。
【解決手段】フォトセンサが配置された表示パネルを有し、フォトセンサにより入射光を測定し、入射光に応じてフォトセンサの感度を変更して撮像を行う機能を有する表示装置を提供する。入射光が暗いときにフォトセンサの感度を上げて撮像の精度を向上することで、接触の誤認識の防止や鮮明な画像取り込みを行う。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野は、表示装置とその駆動方法に関する。特に、フォトセンサを有する表示装置とその駆動方法に関する。また、半導体装置とその駆動方法に関する。
【背景技術】
【０００２】
近年、タッチセンサを搭載した表示装置が注目されている。タッチセンサを搭載した表示装置は、タッチパネル又はタッチスクリーンなどと呼ばれている（以下、これを単に「タッチパネル」と呼ぶ）。タッチセンサには、動作原理の違いにより、抵抗膜方式、静電容量方式、光方式などがあり、被検出物（ペン、指など）が表示装置に接触したことを検出することができる。そのため、タッチセンサを入力装置として用い、表示装置の制御などを行うためのデータを入力することができる。また、光方式のタッチセンサを搭載した表示装置は、密着型エリアセンサとして用いることもできる（例えば、特許文献１）。
【０００３】
また、表示パネルを有さない装置の一例として、イメージセンサ等の半導体装置が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２９２２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の様なフォトセンサを有する表示装置では、フォトセンサへの入射光の強度が強すぎる場合や弱すぎる場合、撮像の精度に影響を及ぼすという問題がある。撮像の精度が低下すると、検出位置の誤認識や、取り込み画像が不鮮明になる。特に、外部からの光（外光）の影響を受けやすい。
【０００６】
上記の問題に鑑み、入射光の強度にかかわらず、高精度の撮像を行うことを目的の一とする。
【課題を解決するための手段】
【０００７】
表示装置の一態様は、画素にフォトセンサが配置された表示パネルを有し、フォトセンサにより入射光を測定し、入射光に応じてフォトセンサの感度を変更する機能を有している。
【０００８】
また、表示装置の他の一態様は、画素にフォトセンサが配置された表示パネルを有し、フォトセンサにおいて第１の撮像を行って被検出物の画像を生成し、当該画像からフォトセンサへの入射光を測定し、入射光に応じてフォトセンサの感度を変更した後に第２の撮像を行う機能を有している。
【０００９】
即ち、画素に配置されたフォトセンサは入射光を測定する機能及び被検出物の撮像を行う機能を有している。入射光を測定する手法は、撮像した画像における濃度のヒストグラムから画像の明るさ（輝度）を検出すればよい。
【００１０】
また、感度の変更の手法は、フォトセンサに印加される電圧を調整してもよい。
【００１１】
また、フォトセンサは、トランジスタ及びトランジスタのゲートに電気的に接続されるフォトダイオードを有しており、フォトダイオードに印加される電圧を調整することで、フォトセンサの感度を変更してもよい。
【００１２】
また、上記トランジスタのソースとドレインとの間に印加される電圧を調整することで、フォトセンサの感度を変更してもよい。
【００１３】
また、フォトセンサは、リセット動作、累積動作、及び選択動作を行う機能を有し、累積動作を行う時間を調整することで、フォトセンサの感度を変更してもよい。なお累積動作は、リセット動作において初期化した後、選択動作において読み出しを行うまでの動作である。
【００１４】
また、表示装置は画像処理部を有し、画像処理部において二値化処理を行う場合、二値化のしきい値を変更することで、撮像の精度を調整してもよい。
【００１５】
また、表示装置の他の一態様は、画素に第１のフォトセンサが配置され、且つ、画素の外に第２のフォトセンサが配置された表示パネルを有し、第２のフォトセンサにおいて入射光を測定し、入射光に応じて第１のフォトセンサの感度を変更した後に撮像を行う機能を有している。即ち、画素に配置された第１のフォトセンサは被検出物の撮像を行う機能を有し、画素の外に配置された第２のフォトセンサは入射光の測定を行う機能を有している。フォトセンサの感度の変更は、上記と同様に行う。
【発明の効果】
【００１６】
入射光の強度に応じてフォトセンサの感度を変更することで、常に高精度な撮像を行うことが可能である。特に、外光の影響を受けにくくすることができる。
【図面の簡単な説明】
【００１７】
【図１】表示装置の構成を説明する図。
【図２】表示装置の構成を説明する図。
【図３】表示装置の構成を説明する図。
【図４】タイミングチャート。
【図５】表示装置の構成を説明する図。
【図６】表示装置の構成を説明する図。
【図７】表示装置の断面図を説明する図。
【図８】表示装置の断面図を説明する図。
【図９】表示装置の断面図を説明する図。
【図１０】表示装置を用いた電子機器の一例を示す図。
【図１１】表示装置の構成を説明する図。
【図１２】表示装置を用いた電子機器の一例を示す図。
【図１３】ヒストグラム。
【図１４】ヒストグラム。
【発明を実施するための形態】
【００１８】
以下に、実施の形態について、図面を用いて詳細に説明する。但し、以下の実施の形態は多くの異なる態様で実施することが可能であり、趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは、当業者であれば容易に理解される。従って、以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、実施の形態を説明するための全図において、同一部分又は同様な機能を有する部分には同一の符号を付し、その繰り返しの説明は省略する。
【００１９】
（実施の形態１）
本実施の形態では、表示装置について図１〜図４を参照して説明する。
【００２０】
表示パネルの構成について、図１を参照して説明する。表示パネル１００は、画素回路１０１、表示素子制御回路１０２及びフォトセンサ制御回路１０３を有する。画素回路１０１は、行列方向にマトリクス状に配置された複数の画素１０４を有する。各々の画素１０４は、表示素子１０５とフォトセンサ１０６を有する。フォトセンサ１０６は、表示パネル１００に接触又は接近した被検出物を検出し撮像することができる。なお、フォトセンサ１０６は、画素１０４の外に設けてもよい。また、フォトセンサ１０６の個数は、表示素子１０５の個数と異なっていてもよい。
【００２１】
表示素子１０５は、薄膜トランジスタ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ：ＴＦＴ）、保持容量、及び液晶素子などを有する。薄膜トランジスタは、保持容量への電荷の注入もしくは保持容量からの電荷の排出を制御する機能を有する。保持容量は、液晶素子に印加する電圧に相当する電荷を保持する機能を有する。液晶素子に電圧を印加し、光の透過又は非透過を制御することで、階調表示が行われる。液晶層を透過する光は、光源（バックライト）によって液晶表示装置の裏面から照射される光を用いる。
【００２２】
なお、表示素子１０５が液晶素子を有する場合について説明したが、発光素子などの他の素子を有していてもよい。発光素子は、電流または電圧によって輝度が制御される素子であり、具体的には発光ダイオード、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等が挙げられる。
【００２３】
フォトセンサ１０６は、受光することで電気信号を生成する機能を有する素子（受光素子）と、トランジスタとを有する。受光素子としては、フォトダイオード等を用いることができる。なお、フォトセンサ１０６は、被検出物により外光が遮蔽されて影になっているか、あるいは外光が入射されているか、を表示パネル１００への入射光により判別することで、被検出物を検出する。また、バックライトから照射され被検出物によって反射した光を利用することもできる。外光と反射光との両方を利用してもよい。
【００２４】
表示素子制御回路１０２は、表示素子１０５を制御するための回路であり、ビデオデータ信号線などの信号線（「ソース信号線」ともいう。）を介して表示素子１０５に信号を入力する表示素子駆動回路１０７と、走査線（「ゲート信号線」ともいう。）を介して表示素子１０５に信号を入力する表示素子駆動回路１０８を有する。例えば、走査線側の表示素子駆動回路１０８は、特定の行に配置された画素が有する表示素子を選択する機能を有する。また、信号線側の表示素子駆動回路１０７は、選択された行の画素が有する表示素子に任意の電位を与える機能を有する。なお、走査線側の表示素子駆動回路１０８により高電位を印加された表示素子では、薄膜トランジスタが導通状態となり、信号線側の表示素子駆動回路１０７により与えられる電荷が供給される。
【００２５】
フォトセンサ制御回路１０３は、フォトセンサ１０６を制御するための回路であり、フォトセンサ出力信号線、フォトセンサ基準信号線等の信号線側のフォトセンサ読み出し回路１０９と、走査線側のフォトセンサ駆動回路１１０を有する。走査線側のフォトセンサ駆動回路１１０は、特定の行に配置された画素が有するフォトセンサ１０６に対して、後述するリセット動作と選択動作とを行う機能を有する。また、信号線側のフォトセンサ読み出し回路１０９は、選択された行の画素が有するフォトセンサ１０６の出力信号を取り出す機能を有する。なお、信号線側のフォトセンサ読み出し回路１０９は、アナログ信号であるフォトセンサの出力を、ＯＰアンプを用いてアナログ信号のまま表示装置外部に取り出す構成や、Ａ／Ｄ変換回路を用いてデジタル信号に変換してから表示装置外部に取り出す構成が考え得る。
【００２６】
画素１０４の回路図について、図２を用いて説明する。画素１０４は、トランジスタ２０１、保持容量２０２及び液晶素子２０３を有する表示素子１０５と、フォトダイオード２０４、トランジスタ２０５及びトランジスタ２０６を有するフォトセンサ１０６とを有する。
【００２７】
トランジスタ２０１は、ゲートがゲート信号線２０７に、ソース又はドレインの一方がビデオデータ信号線２１０に、ソース又はドレインの他方が保持容量２０２の一方の電極と液晶素子２０３の一方の電極に電気的に接続されている。保持容量２０２の他方の電極と液晶素子２０３の他方の電極は一定の電位に保たれている。液晶素子２０３は、一対の電極と、該一対の電極の間に液晶層を含む素子である。
【００２８】
トランジスタ２０１は、ゲート信号線２０７に”Ｈ”（Ｈｉｇｈの電圧）が印加されると、ビデオデータ信号線２１０の電位を保持容量２０２と液晶素子２０３に印加する。保持容量２０２は、印加された電位を保持する。液晶素子２０３は、印加された電位により、光の透過率を変更する。
【００２９】
フォトダイオード２０４は、一方の電極がフォトダイオードリセット信号線２０８に、他方の電極がトランジスタ２０５のゲートに電気的に接続されている。トランジスタ２０５は、ソース又はドレインの一方がフォトセンサ基準信号線２１２に、ソース又はドレインの他方がトランジスタ２０６のソース又はドレインの一方に電気的に接続されている。トランジスタ２０６は、ゲートが読み出し信号線２０９に、ソース又はドレインの他方がフォトセンサ出力信号線２１１に電気的に接続されている。
【００３０】
次に、フォトセンサ読み出し回路１０９の構成について、図３を用いて説明する。図３において、画素１列分のフォトセンサ読み出し回路３００は、ｐ型トランジスタ３０１、保持容量３０２、を有する。また、フォトセンサ読み出し回路１０９は当該画素列のフォトセンサ出力信号線２１１、プリチャージ信号線３０３を有する。
【００３１】
フォトセンサ読み出し回路３００では、画素内におけるフォトセンサの動作に先立ち、フォトセンサ信号線２１１の電位を基準電位に設定する。図３では、プリチャージ信号線３０３を”Ｌ”（Ｌｏｗの電圧）とすることで、フォトセンサ出力信号線２１１を基準電位である高電位に設定することができる。なお、保持容量３０２は、フォトセンサ出力信号線２１１の寄生容量が大きい場合には、特別に設けなくても良い。なお、基準電位は、低電位とする構成も可能である。この場合、ｎ型トランジスタを用いることで、プリチャージ信号線３０３を”Ｈ”とすることで、フォトセンサ出力信号線２１１を基準電位である低電位に設定することができる。
【００３２】
次に、本表示パネルにおけるフォトセンサの読み出し動作について、図４のタイミングチャートを用いて説明する。図４において、信号４０１〜信号４０４は、図２におけるフォトダイオードリセット信号線２０８、トランジスタ２０６のゲートが接続された読み出し信号線２０９、トランジスタ２０５のゲートが接続されたゲート信号線２１３、フォトセンサ出力信号線２１１の電位に相当する。また、信号４０５は、図３におけるプリチャージ信号線３０３の電位に相当する。
【００３３】
時刻Ａにおいて、フォトダイオードリセット信号線２０８の電位（信号４０１）を”Ｈ”とする（リセット動作）と、フォトダイオード２０４が導通し、トランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）が”Ｈ”となる。また、プリチャージ信号線３０３の電位（信号４０５）を”Ｌ”とすると、フォトセンサ出力信号線２１１の電位（信号４０４）は”Ｈ”にプリチャージされる。
【００３４】
時刻Ｂにおいて、フォトダイオードリセット信号線２０８の電位（信号４０１）を”Ｌ”にする（累積動作）と、フォトダイオード２０４のオフ電流により、トランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）が低下し始める。フォトダイオード２０４は、外光が照射されるとオフ電流が増大するので、照射される光の量に応じてトランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）は変化する。すなわち、トランジスタ２０５のソースとドレイン間の電流が変化する。
【００３５】
時刻Ｃにおいて、読み出し信号線２０９の電位（信号４０２）を”Ｈ”にする（選択動作）と、トランジスタ２０６が導通し、フォトセンサ基準信号線２１２とフォトセンサ出力信号線２１１とが、トランジスタ２０５とトランジスタ２０６とを介して導通する。すると、フォトセンサ出力信号線２１１の電位（信号４０４）は、低下していく。なお、時刻Ｃ以前に、プリチャージ信号線３０３の電位（信号４０５）は”Ｈ”とし、フォトセンサ出力信号線２１１のプリチャージを終了しておく。ここで、フォトセンサ出力信号線２１１の電位（信号４０４）が低下する速さは、トランジスタ２０５のソースとドレイン間の電流に依存する。すなわち、フォトダイオード２０４に照射されている光の量に応じて変化する。
【００３６】
時刻Ｄにおいて、読み出し信号線２０９の電位（信号４０２）を”Ｌ”にすると、トランジスタ２０６が遮断され、フォトセンサ出力信号線２１１の電位（信号４０４）は、時刻Ｄ以後、一定値となる。ここで、一定値となる値は、フォトダイオード２０４に照射されている光の量に応じて変化する。したがって、フォトセンサ出力信号線２１１の電位を取得することで、フォトダイオード２０４に照射されている光の量を知ることができる。
【００３７】
上記のように、個々のフォトセンサの動作は、リセット動作、累積動作、選択動作を繰り返すことで実現される。表示装置において、全画素のフォトセンサのリセット動作、累積動作、選択動作を実行することで、表示パネルに接触又は接近した被検出物を撮像することができる。
【００３８】
ここで、表示パネル１００への入射光の強度が強すぎる場合、撮像の精度が低下し、画像が不鮮明になる可能性がある。特に外部環境として、外光の影響を受けやすい。
【００３９】
そのような場合、表示パネル１００への入射光の強度に応じてフォトセンサ１０６の感度を変更することで、撮像の精度を向上させることができる。
【００４０】
その手順としては、撮像した被検出物の画像から撮像時におけるフォトセンサ１０６への入射光の測定を行い、入射光の強度に応じてフォトセンサ１０６の感度を変更して最適化を行い、最適化されたフォトセンサ１０６によって再度撮像を行えばよい。
【００４１】
撮像した画像から入射光の測定を行うことで、画像に合わせて最適な感度に自動調整することが可能である。以下に、感度を変更する方法を説明する。
【００４２】
まず、撮像した被検出物の画像における輝度のヒストグラムから、入射光の強度を判定する。図１３にヒストグラムを示す。縦軸は画素数、横軸は輝度値である。輝度は最小値を０、最大値を２５５とした。
【００４３】
そして、ヒストグラムから入射光の強度の判定を行う。例えば、図１３の実線１３０１で示すヒストグラムは、被検出物の検出位置を示すピーク１３０２と、検出位置以外を示すピーク１３０３との２つのピークの輝度値が分離している。すなわち、撮像された画像において明暗の区別が明確になるため、入射光は適正であると判断される。
【００４４】
また、破線１３１１で示すヒストグラムは、入射光が暗い場合であり、検出位置を示すピーク１３０２と検出位置以外を示すピーク１３１２との２つのピークの輝度値が接近している。さらに接近することでピークが１つしか確認できなくなる。すなわち、撮像された画像において明暗の区別が困難になるため、被検出物を正確に認識することが難しく、検出位置の判断も困難になる可能性がある。
【００４５】
また、破線１３２１で示すヒストグラムは、入射光が明るい場合であり、検出位置以外を示すピーク１３２２の１つしかピークが確認できない。すなわち、撮像された画像において明暗の区別が困難になるため、被検出物を正確に認識することが難しく、検出位置の判断も困難になる可能性がある。
【００４６】
このように、ヒストグラムにおいて２つのピークの輝度値が接近している場合又はピークが１つしか確認できない場合に、入射光が暗すぎる又は明るすぎると判定される。
【００４７】
また、撮像した画像の輝度から表示パネル１００への入射光の強度を算出してもよい。入射光の強度には、上限値及び下限値を設定されている。測定した強度が下限値から上限値までの範囲に入る場合は、入射光は適正であると判定される。しかし、強度が下限値未満（又は以下）の場合は、入射光が暗すぎると判定される。また、強度が上限値以上である場合は、入射光が明るすぎると判定される。
【００４８】
そして、入射光が暗すぎる場合や明るすぎる場合には、フォトセンサの感度の変更を行う。感度を変更することで、ヒストグラムにおいて２つのピークの輝度値が分離して得られ、画像を鮮明にすることができる。
【００４９】
感度の変更の具体的な手法としては、図２の構成において、（１）フォトダイオードリセット信号線２０８の電位（信号４０１）を変更して、フォトダイオード２０４に印加される電圧、すなわちトランジスタ２０５のゲートに印加される電圧（信号４０３）を変更する、（２）フォトセンサ基準信号線２１２の電位とプリチャージ信号線３０３の電位（信号４０５）との電位差を変更して、トランジスタ２０５のソースとドレインとの間に印加される電圧を変更する、（３）フォトセンサ１０６の累積動作に要する時間（累積時間：時刻Ｂから時刻Ｃまでの時間）を変更することが有効である。また、これらの手法を組み合わせて感度を変更することも効果的である。
【００５０】
（１）の手法では、フォトダイオード２０４に印加する電圧を大きくすることで、光を蓄積することができる量が増えるためフォトセンサ１０６の感度が向上する。（２）の手法では、トランジスタ２０５のソースとドレインとの間の電圧を大きくすることで、光を蓄積することができる量が増えるため、フォトセンサ１０６の感度が向上する。そして（３）の手法では、累積時間を長くすることで光を蓄積する時間が長くなるため、フォトセンサ１０６の感度が向上する。（１）〜（３）の手法を用いることで、外光が弱く入射光の強度が小さい環境においても、フォトセンサの感度を向上させ、撮像の精度を高めることができる。また、入射光の強度が大きい環境の場合は、逆の処理の動作を行いフォトセンサ１０６の感度を下げることで撮像の精度を高めてもよい。
【００５１】
また、フォトセンサを有する表示装置は、被検出物が表示パネルに接触している場合だけでなく、非接触の場合にも検出を行うことができる。しかし、非接触の被検出物は、接触している被検出物よりも検出が困難である。なぜならば、表示パネルから被検出物が離れるに伴い、被検出物の影が薄くなり明暗の区別が困難になるためである。したがって、（１）〜（３）の手法を用いて感度を向上させることで、非接触の被検出物に対しても高精度の撮像を行うことができる。
【００５２】
なお、これらの感度の変更は手動で行うこともできる。手動で行う場合は、入射光の測定は行わなくてもよく、撮像された画像の明るさ等を判断して（１）〜（３）を適宜実施すればよい。
【００５３】
なお、入射光の測定は、必ずしも撮像された被検出物の画像の輝度を用いなくてもよい。例えば、撮像を行う前に、画素に設けられたフォトセンサの一部または全部を用いて、予め入射光の測定を行ってもよい。ただ、撮像した画像の輝度から入射光を測定する方が、画像に応じて感度を変更することができるため効果的である。
【００５４】
また、バックライトの明るさを調整することで、被検出物からの反射光の輝度を調節することもできる。外光が著しく弱いような環境では特に有効である。
【００５５】
以上のような形態とすることで、入射光の強度に応じて、あるいは影の濃さに応じてフォトセンサの感度を変更し、常に高精度の撮像を行うことができる。
【００５６】
なお、本実施の形態では、フォトセンサを有する表示装置について説明したが、フォトセンサを有する半導体装置にも容易に応用できる。すなわち、本実施の形態における表示装置から、表示に要する回路、具体的には、表示素子制御回路１０２、表示素子１０５を取り除いて、半導体装置を構成することができる。当該半導体装置としては、例えばイメージセンサが挙げられる。このような半導体装置は、フォトセンサが設けられた入力部に接触または接近する被検出物を、上記と同様に検出することができる。
【００５７】
本実施の形態は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【００５８】
（実施の形態２）
本実施の形態では、入射光を測定する方法について、実施の形態１とは異なる構成を図５を用いて説明する。
【００５９】
図５に、表示パネルの一例を示す。図５では、画素の外に第２のフォトセンサ５０２を設けている点において、図１とは異なる。第２のフォトセンサ５０２は、表示パネル１００への入射光として外光の測定を行う。なお、第２のフォトセンサ５０２は表示パネル１００の外に設けてもよい。
【００６０】
本実施の形態では、予め第２のフォトセンサ５０２で入射光の測定を行い、実施の形態１で説明した手法を用いて画素１０４に配置された第１のフォトセンサ５０１の感度を入射光の強度に応じて調整した後、被検出物の検出を行う。入射光に応じて感度を変更するため、高精度の撮像が可能となる。この場合、撮像した画像の輝度から入射光の強度を測定する処理を省くことができる。
【００６１】
また、第２のフォトセンサ５０２の個数は、１個でも複数個でもよい。複数個にした場合は、複数の第２のフォトセンサ５０２から得られた入射光の強度のうち、最大値、最小値、又は平均値を適宜用いることができる。通常は平均値を用い、最大値と最小値との差が大きい場合は、第２のフォトセンサ５０２のいずれかが遮蔽されている可能性が高いため、最大値を用いることが好ましい。また、最大値及び最小値が共に小さい場合は、外光が暗い可能性が高いため、最小値を用いることが好ましい。なお、第２のフォトセンサ５０２が１個だと、第２のフォトセンサ５０２が局所的に遮蔽されている場合、入射光の強度が弱いと誤認され、感度が適切に調節できない可能性がある。よって、このような誤認を避けるために第２のフォトセンサ５０２を複数設けておく方が好ましい。また、誤認防止のために少なくとも表示パネル１００の四隅に第２のフォトセンサ５０２を設けておくと、表示パネル１００の全体を第２のフォトセンサ５０２でまんべんなく検知できるので好ましい。
【００６２】
本実施の形態は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【００６３】
（実施の形態３）
本実施の形態では、撮像した被検出物の画像に対し、入射光の強度に応じた画像処理を施す構成について説明する。
【００６４】
撮像した被検出物の画像は、画像処理として二値化処理が施される。二値化処理とは、撮像した被検出物の画像を、画素毎に所定の明るさ（しきい値）と比較して、明るい部分又は暗い部分のいずれかに置きなおす処理である。ここで二値化処理のしきい値を入射光の強度に応じて変更することで、より精度のよい撮像を行うことができる。
【００６５】
以下に、入射光の強度に応じて二値化処理のしきい値を変更する手法の一例を説明する。図６は、本実施の形態の表示装置６０１の構成の一例であり、少なくとも表示パネル１００と画像処理部６０２を有している。
【００６６】
まず、実施の形態１と同様にして、表示パネル１００で撮像された被検出物の画像における各画素の明るさ（輝度）を測定し、図１４のようなヒストグラムを得る。図１４ではピーク１４０１は検出位置の輝度を示しており、ピーク１４０２は検出位置以外の輝度を示している。輝度のデータは画像処理部６０２に送信される。
【００６７】
画像処理部６０２では、各画素の輝度を、予め設定したしきい値と比較する。そして、画素の輝度が、しきい値未満又はしきい値以上のいずれかに偏っている場合に、入射光が暗すぎる又は明るすぎると判定される。そして、画像処理部６０２は、フォトセンサ１０６への入射光に応じてフォトセンサ１０６の感度を変更するための制御信号を表示パネル１００中のフォトセンサ１０６へ供給する。
【００６８】
例えば、図１４のヒストグラムでは、予め設定したしきい値１４０３に対して、しきい値未満である画素数が全画素数の７０％以上を占めている。この場合は、入射光が暗すぎると判定される。そのため、しきい値１４０３による二値化処理では、鮮明な画像を得ること困難になる。逆に、しきい値以上の画素数が全画素数の７０％以上の場合は、入射光が明るすぎると判定される（図示せず）。
【００６９】
入射光が暗すぎる又は明るすぎる場合、しきい値の変更を行う。図１４の場合、しきい値未満及びしきい値以上の画素が全画素数の７０％未満となるよう、しきい値１４０３からしきい値１４０４へ変更すればよい。すると、被検出物の検出位置を示すピーク１４０１と、検出位置以外を示すピーク１４０２との間にしきい値１４０４を設けることができる。そして、しきい値１４０４による二値化処理により、検出位置を暗い部分、検出位置以外を明るい部分にそれぞれ置きかえることができる。
【００７０】
また、被検出物が表示パネルに接触している場合だけでなく、非接触の場合にも検出を行うことができる。非接触の被検出物は、接触している被検出物よりも影が薄くなるため、明暗の区別が困難になる。入射光に応じてしきい値を変更することで、非接触の被検出物に対しても高精度の撮像を行うことができる。
【００７１】
以上のように、入射光の強度に応じた画像処理を行うことで、入射光が暗すぎる又は明るすぎる場合にも、撮像の精度を向上させ、検出位置の誤認識の防止、又は取り込み画像を鮮明にすることができる。
【００７２】
なお、画素数の偏りを７０％としなくてもよく、被検出物が画像全体に占める面積の割合、又は求める撮像の精度に応じて変更することができる。また、しきい値を変更する方法は、上記以外を用いてもよい。例えば、２つのピーク１４０１とピーク１４０２との谷にしきい値１４０３をしきい値１４０４へ変更する方法、又は、しきい値で分離された２つの部分の分散が最大とするようにしきい値を変更する方法等を用いることができる。
【００７３】
また、画素の特定の領域に絞って画像処理を行ってもよい。領域を絞って画像処理を行うことで、処理時間を短縮することが可能である。
【００７４】
本実施の形態は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【００７５】
（実施の形態４）
図７に、表示パネルの断面図の一例を示す。図７に示す表示パネルでは、絶縁表面を有する基板（ＴＦＴ基板）１００１上に、フォトダイオード１００２、トランジスタ１００３、保持容量１００４、液晶素子１００５が設けられている。
【００７６】
フォトダイオード１００２と、保持容量１００４とは、トランジスタ１００３を作製するプロセスにおいて、トランジスタ１００３と共に形成することが可能である。フォトダイオード１００２は横型接合タイプのｐｉｎダイオードであり、フォトダイオード１００２が有する半導体膜１００６は、ｐ型の導電性を有する領域（ｐ層）と、ｉ型の導電性を有する領域（ｉ層）と、ｎ型の導電性を有する領域（ｎ層）とを有している。なお、本実施の形態では、フォトダイオード１００２がｐｉｎダイオードである場合を例示しているが、フォトダイオード１００２はｐｎダイオードであっても良い。横型接合タイプのｐｉｎ接合またはｐｎ接合は、ｐ型を付与する不純物と、ｎ型を付与する不純物とを、それぞれ半導体膜１００６の特定の領域に添加することで、形成することが出来る。
【００７７】
また、ＴＦＴ基板１００１上に成膜した一の半導体膜をエッチングなどにより所望の形状に加工（パターニング）することで、フォトダイオード１００２の島状の半導体膜と、トランジスタ１００３の島状の半導体膜とを一緒に形成することができ、通常のパネル作製プロセスに追加するプロセスが不要となり、コストを低減できる。
【００７８】
なお、横型接合タイプのフォトダイオードとせずに、ｐ層、ｉ層、及びｎ層を積層させた構造を採用することもできる。
【００７９】
液晶素子１００５は、画素電極１００７と、液晶１００８と、対向電極１００９とを有する。画素電極１００７は、基板１００１上に形成されており、トランジスタ１００３と、保持容量１００４と、導電膜１０１０を介して電気的に接続されている。また、対向電極１００９は、基板（対向基板）１０１３上に形成されており、画素電極１００７と対向電極１００９の間に、液晶１００８が挟まれている。なお、本実施の形態では、フォトセンサに用いられているトランジスタについては図示していないが、当該トランジスタも、トランジスタ１００３を作製するプロセスにおいて、トランジスタ１００３と共に基板（ＴＦＴ基板）１００１上に形成することが可能である。
【００８０】
画素電極１００７と、対向電極１００９の間のセルギャップは、スペーサー１０１６を用いて制御することが出来る。図７では、フォトリソグラフィーで選択的に形成された柱状のスペーサー１０１６を用いてセルギャップを制御しているが、球状のスペーサーを画素電極１００７と対向電極１００９の間に分散させることで、セルギャップを制御することも出来る。
【００８１】
また液晶１００８は、基板（ＴＦＴ基板）１００１と基板（対向基板）１０１３の間において、封止材により囲まれている。液晶１００８の注入は、ディスペンサ式（滴下式）を用いても良いし、ディップ式（汲み上げ式）を用いていても良い。
【００８２】
画素電極１００７には、透光性を有する導電性材料、例えばインジウム錫酸化物（ＩＴＯ）、酸化珪素を含むインジウム錫酸化物（ＩＴＳＯ）、有機インジウム、有機スズ、酸化亜鉛、酸化亜鉛を含むインジウム亜鉛酸化物（ＩＺＯ）、ガリウムを含む酸化亜鉛、酸化スズ、酸化タングステンを含むインジウム酸化物、酸化タングステンを含むインジウム亜鉛酸化物、酸化チタンを含むインジウム酸化物、酸化チタンを含むインジウム錫酸化物などを用いることが出来る。
【００８３】
また、本実施の形態では、透過型の液晶素子１００５を例に挙げているので、画素電極１００７と同様に、対向電極１００９にも上述した透光性を有する導電性材料を用いることが出来る。
【００８４】
画素電極１００７と液晶１００８の間には配向膜１０１１が、対向電極１００９と液晶１００８の間には配向膜１０１２が、それぞれ設けられている。配向膜１０１１、配向膜１０１２はポリイミド、ポリビニルアルコールなどの有機樹脂を用いて形成することができ、その表面には、ラビングなどの、液晶分子を一定方向に配列させるための配向処理が施されている。ラビングは、配向膜に圧力をかけながら、ナイロンなどの布を巻いたローラーを回転させて、上記配向膜の表面を一定方向に擦ることで、行うことが出来る。なお、酸化珪素などの無機材料を用い、配向処理を施すことなく、蒸着法で配向特性を有する配向膜１０１１、配向膜１０１２を直接形成することも可能である。
【００８５】
また、液晶素子１００５と重なるように、特定の波長領域の光を通すことができるカラーフィルタ１０１４が、基板（対向基板）１０１３上に形成されている。カラーフィルタ１０１４は、顔料を分散させたアクリル系樹脂などの有機樹脂を基板１０１３上に塗布した後、フォトリソグラフィーを用いて選択的に形成することができる。また、顔料を分散させたポリイミド系樹脂を基板１０１３上に塗布した後、エッチングを用いて選択的に形成することもできる。或いは、インクジェットなどの液滴吐出法を用いることで、選択的にカラーフィルタ１０１４を形成することもできる。
【００８６】
また、フォトダイオード１００２と重なるように、光を遮蔽することが出来る遮蔽膜１０１５が、基板（対向基板）１０１３上に形成されている。遮蔽膜１０１５を設けることで、基板（対向基板）１０１３を透過して表示パネル内に入射したバックライトからの光が、直接フォトダイオード１００２に当たるのを防ぐことができる他、画素間における液晶１００８の配向の乱れに起因するディスクリネーションが視認されるのを防ぐことができる。遮蔽膜１０１５には、カーボンブラック、低次酸化チタンなどの黒色顔料を含む有機樹脂を用いることができる。または、クロムを用いた膜で、遮蔽膜１０１５を形成することも可能である。
【００８７】
また、基板（ＴＦＴ基板）１００１の画素電極１００７が形成されている面とは反対の面に、偏光板１０１７を設け、基板（対向基板）１０１３の対向電極１００９が形成されている面とは反対の面に、偏光板１０１８を設ける。
【００８８】
液晶素子は、ＴＮ（Ｔｗｉｓｔｅｄ Ｎｅｍａｔｉｃ）型の他、ＶＡ（Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）型、ＯＣＢ（ｏｐｔｉｃａｌｌｙ ｃｏｍｐｅｎｓａｔｅｄ Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）型、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ Ｓｗｉｔｃｈｉｎｇ）型等であっても良い。なお、本実施の形態では、画素電極１００７と対向電極１００９の間に液晶１００８が挟まれている構造の液晶素子１００５を例に挙げて説明したが、本発明の一態様に係る表示パネルはこの構成に限定されない。ＩＰＳ型のように、一対の電極が、共に基板（ＴＦＴ基板）１００１側に形成されている液晶素子であっても良い。
【００８９】
また、本実施の形態では、フォトダイオード１００２、トランジスタ１００３、保持容量１００４に、薄膜の半導体膜を用いている場合を例に挙げているが、単結晶半導体基板、ＳＯＩ基板などを用いて形成されていても良い。
【００９０】
光は、矢印１０２５のように基板（ＴＦＴ基板）１００１側から照射される。被検出物１０２１において光が遮られるため、フォトダイオード１００２への入射光が遮られる。すなわち、フォトダイオード１００２は、被検出物の影を検出することになる。
【００９１】
また、バックライトからの光を用いる場合、基板（対向基板）１０１３側から照射され、液晶素子１００５を通って、基板（ＴＦＴ基板）１００１側にある被検出物１０２１に照射され、フォトダイオード１００２に入射する。すなわち被検出物からの反射光を検出することになる。
【００９２】
また、本実施の形態の表示装置は、フォトセンサ（フォトダイオード１００２）の受光面の向きと、表示パネルの表示面（基板１００１側）の向きとが同一である。そのため、表示パネルにおいて、被検出物を撮像することができ、ＣＣＤイメージセンサ等を設けた場合に比べて有効である。
【００９３】
本実施の形態は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【００９４】
（実施の形態５）
図８に、実施の形態２とは異なる表示パネルの断面図の一例を示す。図８に示す表示パネルでは、フォトダイオード１００２は、トランジスタ１００３のゲート電極を構成する導電膜１０１９で、遮蔽膜２０１９を構成している点が、図７と異なる。フォトダイオード１００２に遮蔽膜を構成することで、バックライトの光がｉ型の導電性を有する領域（ｉ層）に直接入射することを回避することができる。
【００９５】
また、フォトダイオード１００２を横型接合タイプのｐｉｎダイオードとする際には、ｐ型の導電性を有する領域（ｐ層）とｎ型の導電性を有する領域（ｎ層）とを形成する際に、遮蔽膜をマスクとして用いることで、セルフアラインで形成することができる。これは、微細なフォトダイオードを作製する際に有効であり、画素サイズの縮小や開口率の向上に有効である。
【００９６】
以上のような形態とすることで、非接触の被検出物の動きを検出することで、データを入力することのできる表示パネルを提供することができる。
【００９７】
なお、図８では横型接合タイプのフォトダイオードを採用しているが、ｐ層、ｉ層、及びｎ層を積層させた構造を採用することもできる。
【００９８】
なお、フォトダイオード１００２への入射光について、及びフォトセンサの受光面と表示パネルの表示面との向きについては、実施の形態４と同様である。
【００９９】
本実施の形態は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【０１００】
（実施の形態６）
図９に、実施の形態２とは異なる表示パネルの断面図の別の一例を示す。図９に示す表示パネルでは、光が、矢印２０２５のように基板（対向基板）１０１３側から照射される点において、図７と異なる。この場合、フォトダイオード１００２の上部の遮蔽膜１０１５に開口を設ける等、光がフォトダイオード１００２に入射するようにすればよい。
【０１０１】
本実施の形態では、フォトダイオード１００２の下部に遮蔽膜２０１５を設ける。遮蔽膜２０１５を設けることで、基板（ＴＦＴ基板）１００１を透過して表示パネル内に入射したバックライトからの光が、直接フォトダイオード１００２に当たるのを防ぐことができ、高精度の画像撮像が可能な表示パネルを提供することができる。遮蔽膜２０１５には、カーボンブラック、低次酸化チタンなどの黒色顔料を含む有機樹脂を用いることができる。または、クロムを用いた膜で、遮蔽膜２０１５を形成することも可能である。
【０１０２】
なお、図９では横型接合タイプのフォトダイオードを採用しているが、ｐ層、ｉ層、及びｎ層を積層させた構造を採用することもできる。
【０１０３】
フォトセンサ（フォトダイオード１００２）の受光面が表示パネルの表示面（基板１０１３側）に向いていることで、表示パネルにおいて被検出物を撮像できる。
【０１０４】
また、バックライトからの光を用いる場合、基板（ＴＦＴ基板）１００１側から照射され、液晶素子１００５を通って、基板（対向基板）１０１３側にある被検出物１０２１に照射され、フォトダイオード１００２に入射する。すなわち被検出物からの反射光を検出することになる。
【０１０５】
本実施の形態は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【０１０６】
（実施の形態７）
フォトセンサを有する表示パネルを用いたライティングボード（黒板、ホワイトボード等）の例を示す。
【０１０７】
例えば、図１０の表示パネル９６９６の位置にフォトセンサを有する表示パネルを設ける。
【０１０８】
表示パネル９６９６は、フォトセンサと表示素子とを有している。
【０１０９】
ここで、表示パネル９６９６の表面にはマーカー等を用いて自由に書き込みができる。
【０１１０】
なお、定着剤が含まれていないマーカー等を用いれば文字の消去が容易である。
【０１１１】
また、マーカーのインクを落としやすくするため、表示パネル９６９６の表面は十分な平滑性を有していると良い。
【０１１２】
例えば、表示パネル９６９６の表面がガラス基板等であれば平滑性は充分である。
【０１１３】
また、表示パネル９６９６の表面に透明な合成樹脂シート等を貼り付けても良い。
【０１１４】
合成樹脂としては例えばアクリル等を用いると好ましい。この場合、合成樹脂シートの表面を平滑にしておくと好ましい。
【０１１５】
そして、表示パネル９６９６は、表示素子を有しているので、特定の画像を表示するとともに表示パネル９６９６の表面にマーカーで記載することができる。
【０１１６】
また、表示パネル９６９６は、フォトセンサを有しているので、プリンター等と接続しておけばマーカーで記載した文字を読み取って印刷することも可能である。
【０１１７】
さらに、表示パネル９６９６は、フォトセンサと表示素子を有しているので、画像を表示させた状態で表示パネル９６９６表面にマーカーで文字、図形等を書き込むことにより、フォトセンサで読み取ったマーカーの軌跡を画像と合成して映し出すこともできる。
【０１１８】
なお、抵抗膜方式、静電容量方式等のセンシングを用いた場合、マーカー等での書き込みと同時にしかセンシングをすることができない。
【０１１９】
一方、フォトセンサを用いた場合、マーカー等で書き込んだ後、時間が経った場合でもいつでもセンシングが可能な点で優れている。
【０１２０】
本実施の形態は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【実施例１】
【０１２１】
本実施例では、パネルと光源の配置について説明する。図１１は、表示パネルの構造を示す斜視図の一例である。図１１に示す表示パネルは、一対の基板間に液晶素子、フォトダイオード、薄膜トランジスタなどを含む画素が形成されたパネル１６０１と、第１の拡散板１６０２と、プリズムシート１６０３と、第２の拡散板１６０４と、導光板１６０５と、反射板１６０６と、複数の光源１６０７を有するバックライト１６０８と、回路基板１６０９とを有している。
【０１２２】
パネル１６０１と、第１の拡散板１６０２と、プリズムシート１６０３と、第２の拡散板１６０４と、導光板１６０５と、反射板１６０６とは、順に積層されている。光源１６０７は導光板１６０５の端部に設けられており、導光板１６０５内部に拡散された光源１６０７からの光は、第１の拡散板１６０２、プリズムシート１６０３及び第２の拡散板１６０４によって、対向基板側から均一にパネル１６０１に照射される。
【０１２３】
なお、本実施例では、第１の拡散板１６０２と第２の拡散板１６０４とを用いているが、拡散板の数はこれに限定されず、単数であっても３以上であっても良い。そして、拡散板は導光板１６０５とパネル１６０１の間に設けられていれば良い。よって、プリズムシート１６０３よりもパネル１６０１に近い側にのみ拡散板が設けられていても良いし、プリズムシート１６０３よりも導光板１６０５に近い側にのみ拡散板が設けられていても良い。
【０１２４】
またプリズムシート１６０３は、図１１に示した断面が鋸歯状の形状に限定されず、導光板１６０５からの光をパネル１６０１側に集光できる形状を有していれば良い。
【０１２５】
回路基板１６０９には、パネル１６０１に入力される各種信号を生成もしくは処理する回路、パネル１６０１から出力される各種信号を処理する回路などが設けられている。そして図１１では、回路基板１６０９とパネル１６０１とが、ＦＰＣ（Ｆｌｅｘｉｂｌｅ Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ）１６１１を介して接続されている。なお、上記回路は、ＣＯＧ（Ｃｈｉｐ ＯＮ Ｇｌａｓｓ）法を用いてパネル１６０１に接続されていても良いし、上記回路の一部がＦＰＣ１６１１にＣＯＦ（Ｃｈｉｐ ＯＮ Ｆｉｌｍ）法を用いて接続されていても良い。
【０１２６】
図１１では、光源１６０７の駆動を制御する、制御系の回路が回路基板１６０９に設けられており、該制御系の回路と光源１６０７とがＦＰＣ１６１０を介して接続されている例を示している。ただし、上記制御系の回路はパネル１６０１に形成されていても良く、この場合はパネル１６０１と光源１６０７とがＦＰＣなどにより接続されるようにする。
【０１２７】
なお、図１１は、パネル１６０１の端に光源１６０７を配置するエッジライト型の光源を例示しているが、本発明の表示パネルは光源１６０７がパネル１６０１の直下に配置される直下型であっても良い。
【０１２８】
例えば、被検出物である指１６１２をＴＦＴ基板側からパネル１６０１に近づけると、バックライト１６０８からの光が、パネル１６０１を通過し、その一部が指１６１２において反射し、再びパネル１６０１に入射する。各色に対応する光源１６０７を順に点灯させ、色ごとに撮像データの取得を行うことで、被検出物である指１６１２のカラーの撮像データを得ることが出来る。
【０１２９】
本実施例は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【実施例２】
【０１３０】
本発明の一態様に係る表示装置は、高分解能である撮像データの取得を行うことができるという特徴を有している。よって、本発明の一態様に係る表示装置を用いた電子機器は、表示装置をその構成要素に追加することにより、より高機能のアプリケーションを搭載することができるようになる。本発明の表示装置は、表示装置、ノート型パーソナルコンピュータ、記録媒体を備えた画像再生装置（代表的にはＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ等の記録媒体を再生し、その画像を表示しうるディスプレイを有する装置）に用いることができる。その他に、本発明の一態様に係る表示装置を用いることができる電子機器として、携帯電話、携帯型ゲーム機、携帯情報端末、電子書籍、ビデオカメラ、デジタルスチルカメラ、ゴーグル型ディスプレイ（ヘッドマウントディスプレイ）、ナビゲーションシステム、音響再生装置（カーオーディオ、デジタルオーディオプレイヤー等）、複写機、ファクシミリ、プリンター、プリンター複合機、現金自動預け入れ払い機（ＡＴＭ）、自動販売機などが挙げられる。これら電子機器の具体例を図１２に示す。
【０１３１】
図１２（Ａ）は表示装置であり、筐体５００１、表示部５００２、支持台５００３等を有する。本発明の一態様に係る表示装置は、表示部５００２に用いることができる。表示部５００２に本発明の一態様に係る表示装置を用いることで、高分解能である撮像データの取得を行うことができ、より高機能のアプリケーションが搭載された表示装置を提供することができる。なお、表示装置には、パーソナルコンピュータ用、ＴＶ放送受信用、広告表示用などの全ての情報表示用表示装置が含まれる。
【０１３２】
図１２（Ｂ）は携帯情報端末であり、筐体５１０１、表示部５１０２、スイッチ５１０３、操作キー５１０４、赤外線ポート５１０５等を有する。本発明の一態様に係る表示装置は、表示部５１０２に用いることができる。表示部５１０２に本発明の一態様に係る表示装置を用いることで、高分解能である撮像データの取得を行うことができ、より高機能のアプリケーションが搭載された携帯情報端末を提供することができる。
【０１３３】
図１２（Ｃ）は現金自動預け入れ払い機であり、筐体５２０１、表示部５２０２、硬貨投入口５２０３、紙幣投入口５２０４、カード投入口５２０５、通帳投入口５２０６等を有する。本発明の一態様に係る表示装置は、表示部５２０２に用いることができる。表示部５２０２に本発明の一態様に係る表示装置を用いることで、高分解能である撮像データの取得を行うことができ、より高機能のアプリケーションが搭載された現金自動預け入れ払い機を提供することができる。そして、本発明の一態様に係る表示装置を用いた現金自動預け入れ払い機は、指紋、顔、手形、掌紋及び手の静脈の形状、虹彩等の、生体認証に用いられる生体情報の読み取りを、より高精度で行うことが出来る。よって、生体認証における、本人であるにもかかわらず本人ではないと誤認識してしまう本人拒否率と、他人であるにもかかわらず本人と誤認識してしまう他人受入率とを、低く抑えることができる。
【０１３４】
図１２（Ｄ）は携帯型ゲーム機であり、筐体５３０１、筐体５３０２、表示部５３０３、表示部５３０４、マイクロホン５３０５、スピーカー５３０６、操作キー５３０７、スタイラス５３０８等を有する。本発明の一態様に係る表示装置は、表示部５３０３または表示部５３０４に用いることができる。表示部５３０３または表示部５３０４に本発明の一態様に係る表示装置を用いることで、高分解能である撮像データの取得を行うことができ、より高機能のアプリケーションが搭載された携帯型ゲーム機を提供することができる。なお、図１２（Ｄ）に示した携帯型ゲーム機は、２つの表示部５３０３と表示部５３０４とを有しているが、携帯型ゲーム機が有する表示部の数は、これに限定されない。
【０１３５】
本実施例は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【符号の説明】
【０１３６】
１００ 表示パネル
１０１ 画素回路
１０２ 表示素子制御回路
１０３ フォトセンサ制御回路
１０４ 画素
１０５ 表示素子
１０６ フォトセンサ
１０７ 表示素子駆動回路
１０８ 表示素子駆動回路
１０９ フォトセンサ読み出し回路
１１０ フォトセンサ駆動回路
２０１ トランジスタ
２０２ 保持容量
２０３ 液晶素子
２０４ フォトダイオード
２０５ トランジスタ
２０６ トランジスタ
２０７ 信号線
２０８ フォトダイオードリセット信号線
２０９ 信号線
２１０ ビデオデータ信号線
２１１ フォトセンサ出力信号線
２１２ フォトセンサ基準信号線
２１３ 信号線
３００ フォトセンサ読み出し回路
３０１ ｐ型トランジスタ
３０２ 保持容量
３０３ プリチャージ信号線
４０１〜４０５ 信号
５０１ 第１のフォトセンサ
５０２ 第２のフォトセンサ
６０１ 表示装置
６０２ 画像処理部
１００１ 基板
１００２ フォトダイオード
１００３ トランジスタ
１００４ 保持容量
１００５ 液晶素子
１００６ 半導体膜
１００７ 画素電極
１００８ 液晶
１００９ 対向電極
１０１０ 導電膜
１０１１ 配向膜
１０１２ 配向膜
１０１３ 基板
１０１４ カラーフィルタ
１０１５ 遮蔽膜
１０１６ スペーサー
１０１７ 偏光板
１０１８ 偏光板
１０１９ 導電膜
１０２１ 被検出物
１０２５ 矢印
１３０１ 実線
１３０２ ピーク
１３０３ ピーク
１３１１ 破線
１３１２ ピーク
１３２１ 破線
１３２２ ピーク
１４０１ ピーク
１４０２ ピーク
１４０３ しきい値
１４０４ しきい値
１６０１ パネル
１６０２ 第１の拡散板
１６０３ プリズムシート
１６０４ 第２の拡散板
１６０５ 導光板
１６０６ 反射板
１６０７ 光源
１６０８ バックライト
１６０９ 回路基板
１６１０ ＦＰＣ
１６１１ ＦＰＣ
１６１２ 指
２０１５ 遮蔽膜
２０１９ 遮蔽膜
２０１５ 遮蔽膜
２０１９ 遮蔽膜
２０２５ 矢印
５００１ 筐体
５００２ 表示部
５００３ 支持台
５１０１ 筐体
５１０２ 表示部
５１０３ スイッチ
５１０４ 操作キー
５１０５ 赤外線ポート
５２０１ 筐体
５２０２ 表示部
５２０３ 硬貨投入口
５２０４ 紙幣投入口
５２０５ カード投入口
５２０６ 通帳投入口
５３０１ 筐体
５３０２ 筐体
５３０３ 表示部
５３０４ 表示部
５３０５ マイクロホン
５３０６ スピーカー
５３０７ 操作キー
５３０８ スタイラス
９６９６ 表示パネル
【技術分野】
【０００１】
技術分野は、表示装置とその駆動方法に関する。特に、フォトセンサを有する表示装置とその駆動方法に関する。また、半導体装置とその駆動方法に関する。
【背景技術】
【０００２】
近年、タッチセンサを搭載した表示装置が注目されている。タッチセンサを搭載した表示装置は、タッチパネル又はタッチスクリーンなどと呼ばれている（以下、これを単に「タッチパネル」と呼ぶ）。タッチセンサには、動作原理の違いにより、抵抗膜方式、静電容量方式、光方式などがあり、被検出物（ペン、指など）が表示装置に接触したことを検出することができる。そのため、タッチセンサを入力装置として用い、表示装置の制御などを行うためのデータを入力することができる。また、光方式のタッチセンサを搭載した表示装置は、密着型エリアセンサとして用いることもできる（例えば、特許文献１）。
【０００３】
また、表示パネルを有さない装置の一例として、イメージセンサ等の半導体装置が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２９２２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の様なフォトセンサを有する表示装置では、フォトセンサへの入射光の強度が強すぎる場合や弱すぎる場合、撮像の精度に影響を及ぼすという問題がある。撮像の精度が低下すると、検出位置の誤認識や、取り込み画像が不鮮明になる。特に、外部からの光（外光）の影響を受けやすい。
【０００６】
上記の問題に鑑み、入射光の強度にかかわらず、高精度の撮像を行うことを目的の一とする。
【課題を解決するための手段】
【０００７】
表示装置の一態様は、画素にフォトセンサが配置された表示パネルを有し、フォトセンサにより入射光を測定し、入射光に応じてフォトセンサの感度を変更する機能を有している。
【０００８】
また、表示装置の他の一態様は、画素にフォトセンサが配置された表示パネルを有し、フォトセンサにおいて第１の撮像を行って被検出物の画像を生成し、当該画像からフォトセンサへの入射光を測定し、入射光に応じてフォトセンサの感度を変更した後に第２の撮像を行う機能を有している。
【０００９】
即ち、画素に配置されたフォトセンサは入射光を測定する機能及び被検出物の撮像を行う機能を有している。入射光を測定する手法は、撮像した画像における濃度のヒストグラムから画像の明るさ（輝度）を検出すればよい。
【００１０】
また、感度の変更の手法は、フォトセンサに印加される電圧を調整してもよい。
【００１１】
また、フォトセンサは、トランジスタ及びトランジスタのゲートに電気的に接続されるフォトダイオードを有しており、フォトダイオードに印加される電圧を調整することで、フォトセンサの感度を変更してもよい。
【００１２】
また、上記トランジスタのソースとドレインとの間に印加される電圧を調整することで、フォトセンサの感度を変更してもよい。
【００１３】
また、フォトセンサは、リセット動作、累積動作、及び選択動作を行う機能を有し、累積動作を行う時間を調整することで、フォトセンサの感度を変更してもよい。なお累積動作は、リセット動作において初期化した後、選択動作において読み出しを行うまでの動作である。
【００１４】
また、表示装置は画像処理部を有し、画像処理部において二値化処理を行う場合、二値化のしきい値を変更することで、撮像の精度を調整してもよい。
【００１５】
また、表示装置の他の一態様は、画素に第１のフォトセンサが配置され、且つ、画素の外に第２のフォトセンサが配置された表示パネルを有し、第２のフォトセンサにおいて入射光を測定し、入射光に応じて第１のフォトセンサの感度を変更した後に撮像を行う機能を有している。即ち、画素に配置された第１のフォトセンサは被検出物の撮像を行う機能を有し、画素の外に配置された第２のフォトセンサは入射光の測定を行う機能を有している。フォトセンサの感度の変更は、上記と同様に行う。
【発明の効果】
【００１６】
入射光の強度に応じてフォトセンサの感度を変更することで、常に高精度な撮像を行うことが可能である。特に、外光の影響を受けにくくすることができる。
【図面の簡単な説明】
【００１７】
【図１】表示装置の構成を説明する図。
【図２】表示装置の構成を説明する図。
【図３】表示装置の構成を説明する図。
【図４】タイミングチャート。
【図５】表示装置の構成を説明する図。
【図６】表示装置の構成を説明する図。
【図７】表示装置の断面図を説明する図。
【図８】表示装置の断面図を説明する図。
【図９】表示装置の断面図を説明する図。
【図１０】表示装置を用いた電子機器の一例を示す図。
【図１１】表示装置の構成を説明する図。
【図１２】表示装置を用いた電子機器の一例を示す図。
【図１３】ヒストグラム。
【図１４】ヒストグラム。
【発明を実施するための形態】
【００１８】
以下に、実施の形態について、図面を用いて詳細に説明する。但し、以下の実施の形態は多くの異なる態様で実施することが可能であり、趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは、当業者であれば容易に理解される。従って、以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、実施の形態を説明するための全図において、同一部分又は同様な機能を有する部分には同一の符号を付し、その繰り返しの説明は省略する。
【００１９】
（実施の形態１）
本実施の形態では、表示装置について図１〜図４を参照して説明する。
【００２０】
表示パネルの構成について、図１を参照して説明する。表示パネル１００は、画素回路１０１、表示素子制御回路１０２及びフォトセンサ制御回路１０３を有する。画素回路１０１は、行列方向にマトリクス状に配置された複数の画素１０４を有する。各々の画素１０４は、表示素子１０５とフォトセンサ１０６を有する。フォトセンサ１０６は、表示パネル１００に接触又は接近した被検出物を検出し撮像することができる。なお、フォトセンサ１０６は、画素１０４の外に設けてもよい。また、フォトセンサ１０６の個数は、表示素子１０５の個数と異なっていてもよい。
【００２１】
表示素子１０５は、薄膜トランジスタ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ：ＴＦＴ）、保持容量、及び液晶素子などを有する。薄膜トランジスタは、保持容量への電荷の注入もしくは保持容量からの電荷の排出を制御する機能を有する。保持容量は、液晶素子に印加する電圧に相当する電荷を保持する機能を有する。液晶素子に電圧を印加し、光の透過又は非透過を制御することで、階調表示が行われる。液晶層を透過する光は、光源（バックライト）によって液晶表示装置の裏面から照射される光を用いる。
【００２２】
なお、表示素子１０５が液晶素子を有する場合について説明したが、発光素子などの他の素子を有していてもよい。発光素子は、電流または電圧によって輝度が制御される素子であり、具体的には発光ダイオード、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等が挙げられる。
【００２３】
フォトセンサ１０６は、受光することで電気信号を生成する機能を有する素子（受光素子）と、トランジスタとを有する。受光素子としては、フォトダイオード等を用いることができる。なお、フォトセンサ１０６は、被検出物により外光が遮蔽されて影になっているか、あるいは外光が入射されているか、を表示パネル１００への入射光により判別することで、被検出物を検出する。また、バックライトから照射され被検出物によって反射した光を利用することもできる。外光と反射光との両方を利用してもよい。
【００２４】
表示素子制御回路１０２は、表示素子１０５を制御するための回路であり、ビデオデータ信号線などの信号線（「ソース信号線」ともいう。）を介して表示素子１０５に信号を入力する表示素子駆動回路１０７と、走査線（「ゲート信号線」ともいう。）を介して表示素子１０５に信号を入力する表示素子駆動回路１０８を有する。例えば、走査線側の表示素子駆動回路１０８は、特定の行に配置された画素が有する表示素子を選択する機能を有する。また、信号線側の表示素子駆動回路１０７は、選択された行の画素が有する表示素子に任意の電位を与える機能を有する。なお、走査線側の表示素子駆動回路１０８により高電位を印加された表示素子では、薄膜トランジスタが導通状態となり、信号線側の表示素子駆動回路１０７により与えられる電荷が供給される。
【００２５】
フォトセンサ制御回路１０３は、フォトセンサ１０６を制御するための回路であり、フォトセンサ出力信号線、フォトセンサ基準信号線等の信号線側のフォトセンサ読み出し回路１０９と、走査線側のフォトセンサ駆動回路１１０を有する。走査線側のフォトセンサ駆動回路１１０は、特定の行に配置された画素が有するフォトセンサ１０６に対して、後述するリセット動作と選択動作とを行う機能を有する。また、信号線側のフォトセンサ読み出し回路１０９は、選択された行の画素が有するフォトセンサ１０６の出力信号を取り出す機能を有する。なお、信号線側のフォトセンサ読み出し回路１０９は、アナログ信号であるフォトセンサの出力を、ＯＰアンプを用いてアナログ信号のまま表示装置外部に取り出す構成や、Ａ／Ｄ変換回路を用いてデジタル信号に変換してから表示装置外部に取り出す構成が考え得る。
【００２６】
画素１０４の回路図について、図２を用いて説明する。画素１０４は、トランジスタ２０１、保持容量２０２及び液晶素子２０３を有する表示素子１０５と、フォトダイオード２０４、トランジスタ２０５及びトランジスタ２０６を有するフォトセンサ１０６とを有する。
【００２７】
トランジスタ２０１は、ゲートがゲート信号線２０７に、ソース又はドレインの一方がビデオデータ信号線２１０に、ソース又はドレインの他方が保持容量２０２の一方の電極と液晶素子２０３の一方の電極に電気的に接続されている。保持容量２０２の他方の電極と液晶素子２０３の他方の電極は一定の電位に保たれている。液晶素子２０３は、一対の電極と、該一対の電極の間に液晶層を含む素子である。
【００２８】
トランジスタ２０１は、ゲート信号線２０７に”Ｈ”（Ｈｉｇｈの電圧）が印加されると、ビデオデータ信号線２１０の電位を保持容量２０２と液晶素子２０３に印加する。保持容量２０２は、印加された電位を保持する。液晶素子２０３は、印加された電位により、光の透過率を変更する。
【００２９】
フォトダイオード２０４は、一方の電極がフォトダイオードリセット信号線２０８に、他方の電極がトランジスタ２０５のゲートに電気的に接続されている。トランジスタ２０５は、ソース又はドレインの一方がフォトセンサ基準信号線２１２に、ソース又はドレインの他方がトランジスタ２０６のソース又はドレインの一方に電気的に接続されている。トランジスタ２０６は、ゲートが読み出し信号線２０９に、ソース又はドレインの他方がフォトセンサ出力信号線２１１に電気的に接続されている。
【００３０】
次に、フォトセンサ読み出し回路１０９の構成について、図３を用いて説明する。図３において、画素１列分のフォトセンサ読み出し回路３００は、ｐ型トランジスタ３０１、保持容量３０２、を有する。また、フォトセンサ読み出し回路１０９は当該画素列のフォトセンサ出力信号線２１１、プリチャージ信号線３０３を有する。
【００３１】
フォトセンサ読み出し回路３００では、画素内におけるフォトセンサの動作に先立ち、フォトセンサ信号線２１１の電位を基準電位に設定する。図３では、プリチャージ信号線３０３を”Ｌ”（Ｌｏｗの電圧）とすることで、フォトセンサ出力信号線２１１を基準電位である高電位に設定することができる。なお、保持容量３０２は、フォトセンサ出力信号線２１１の寄生容量が大きい場合には、特別に設けなくても良い。なお、基準電位は、低電位とする構成も可能である。この場合、ｎ型トランジスタを用いることで、プリチャージ信号線３０３を”Ｈ”とすることで、フォトセンサ出力信号線２１１を基準電位である低電位に設定することができる。
【００３２】
次に、本表示パネルにおけるフォトセンサの読み出し動作について、図４のタイミングチャートを用いて説明する。図４において、信号４０１〜信号４０４は、図２におけるフォトダイオードリセット信号線２０８、トランジスタ２０６のゲートが接続された読み出し信号線２０９、トランジスタ２０５のゲートが接続されたゲート信号線２１３、フォトセンサ出力信号線２１１の電位に相当する。また、信号４０５は、図３におけるプリチャージ信号線３０３の電位に相当する。
【００３３】
時刻Ａにおいて、フォトダイオードリセット信号線２０８の電位（信号４０１）を”Ｈ”とする（リセット動作）と、フォトダイオード２０４が導通し、トランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）が”Ｈ”となる。また、プリチャージ信号線３０３の電位（信号４０５）を”Ｌ”とすると、フォトセンサ出力信号線２１１の電位（信号４０４）は”Ｈ”にプリチャージされる。
【００３４】
時刻Ｂにおいて、フォトダイオードリセット信号線２０８の電位（信号４０１）を”Ｌ”にする（累積動作）と、フォトダイオード２０４のオフ電流により、トランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）が低下し始める。フォトダイオード２０４は、外光が照射されるとオフ電流が増大するので、照射される光の量に応じてトランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）は変化する。すなわち、トランジスタ２０５のソースとドレイン間の電流が変化する。
【００３５】
時刻Ｃにおいて、読み出し信号線２０９の電位（信号４０２）を”Ｈ”にする（選択動作）と、トランジスタ２０６が導通し、フォトセンサ基準信号線２１２とフォトセンサ出力信号線２１１とが、トランジスタ２０５とトランジスタ２０６とを介して導通する。すると、フォトセンサ出力信号線２１１の電位（信号４０４）は、低下していく。なお、時刻Ｃ以前に、プリチャージ信号線３０３の電位（信号４０５）は”Ｈ”とし、フォトセンサ出力信号線２１１のプリチャージを終了しておく。ここで、フォトセンサ出力信号線２１１の電位（信号４０４）が低下する速さは、トランジスタ２０５のソースとドレイン間の電流に依存する。すなわち、フォトダイオード２０４に照射されている光の量に応じて変化する。
【００３６】
時刻Ｄにおいて、読み出し信号線２０９の電位（信号４０２）を”Ｌ”にすると、トランジスタ２０６が遮断され、フォトセンサ出力信号線２１１の電位（信号４０４）は、時刻Ｄ以後、一定値となる。ここで、一定値となる値は、フォトダイオード２０４に照射されている光の量に応じて変化する。したがって、フォトセンサ出力信号線２１１の電位を取得することで、フォトダイオード２０４に照射されている光の量を知ることができる。
【００３７】
上記のように、個々のフォトセンサの動作は、リセット動作、累積動作、選択動作を繰り返すことで実現される。表示装置において、全画素のフォトセンサのリセット動作、累積動作、選択動作を実行することで、表示パネルに接触又は接近した被検出物を撮像することができる。
【００３８】
ここで、表示パネル１００への入射光の強度が強すぎる場合、撮像の精度が低下し、画像が不鮮明になる可能性がある。特に外部環境として、外光の影響を受けやすい。
【００３９】
そのような場合、表示パネル１００への入射光の強度に応じてフォトセンサ１０６の感度を変更することで、撮像の精度を向上させることができる。
【００４０】
その手順としては、撮像した被検出物の画像から撮像時におけるフォトセンサ１０６への入射光の測定を行い、入射光の強度に応じてフォトセンサ１０６の感度を変更して最適化を行い、最適化されたフォトセンサ１０６によって再度撮像を行えばよい。
【００４１】
撮像した画像から入射光の測定を行うことで、画像に合わせて最適な感度に自動調整することが可能である。以下に、感度を変更する方法を説明する。
【００４２】
まず、撮像した被検出物の画像における輝度のヒストグラムから、入射光の強度を判定する。図１３にヒストグラムを示す。縦軸は画素数、横軸は輝度値である。輝度は最小値を０、最大値を２５５とした。
【００４３】
そして、ヒストグラムから入射光の強度の判定を行う。例えば、図１３の実線１３０１で示すヒストグラムは、被検出物の検出位置を示すピーク１３０２と、検出位置以外を示すピーク１３０３との２つのピークの輝度値が分離している。すなわち、撮像された画像において明暗の区別が明確になるため、入射光は適正であると判断される。
【００４４】
また、破線１３１１で示すヒストグラムは、入射光が暗い場合であり、検出位置を示すピーク１３０２と検出位置以外を示すピーク１３１２との２つのピークの輝度値が接近している。さらに接近することでピークが１つしか確認できなくなる。すなわち、撮像された画像において明暗の区別が困難になるため、被検出物を正確に認識することが難しく、検出位置の判断も困難になる可能性がある。
【００４５】
また、破線１３２１で示すヒストグラムは、入射光が明るい場合であり、検出位置以外を示すピーク１３２２の１つしかピークが確認できない。すなわち、撮像された画像において明暗の区別が困難になるため、被検出物を正確に認識することが難しく、検出位置の判断も困難になる可能性がある。
【００４６】
このように、ヒストグラムにおいて２つのピークの輝度値が接近している場合又はピークが１つしか確認できない場合に、入射光が暗すぎる又は明るすぎると判定される。
【００４７】
また、撮像した画像の輝度から表示パネル１００への入射光の強度を算出してもよい。入射光の強度には、上限値及び下限値を設定されている。測定した強度が下限値から上限値までの範囲に入る場合は、入射光は適正であると判定される。しかし、強度が下限値未満（又は以下）の場合は、入射光が暗すぎると判定される。また、強度が上限値以上である場合は、入射光が明るすぎると判定される。
【００４８】
そして、入射光が暗すぎる場合や明るすぎる場合には、フォトセンサの感度の変更を行う。感度を変更することで、ヒストグラムにおいて２つのピークの輝度値が分離して得られ、画像を鮮明にすることができる。
【００４９】
感度の変更の具体的な手法としては、図２の構成において、（１）フォトダイオードリセット信号線２０８の電位（信号４０１）を変更して、フォトダイオード２０４に印加される電圧、すなわちトランジスタ２０５のゲートに印加される電圧（信号４０３）を変更する、（２）フォトセンサ基準信号線２１２の電位とプリチャージ信号線３０３の電位（信号４０５）との電位差を変更して、トランジスタ２０５のソースとドレインとの間に印加される電圧を変更する、（３）フォトセンサ１０６の累積動作に要する時間（累積時間：時刻Ｂから時刻Ｃまでの時間）を変更することが有効である。また、これらの手法を組み合わせて感度を変更することも効果的である。
【００５０】
（１）の手法では、フォトダイオード２０４に印加する電圧を大きくすることで、光を蓄積することができる量が増えるためフォトセンサ１０６の感度が向上する。（２）の手法では、トランジスタ２０５のソースとドレインとの間の電圧を大きくすることで、光を蓄積することができる量が増えるため、フォトセンサ１０６の感度が向上する。そして（３）の手法では、累積時間を長くすることで光を蓄積する時間が長くなるため、フォトセンサ１０６の感度が向上する。（１）〜（３）の手法を用いることで、外光が弱く入射光の強度が小さい環境においても、フォトセンサの感度を向上させ、撮像の精度を高めることができる。また、入射光の強度が大きい環境の場合は、逆の処理の動作を行いフォトセンサ１０６の感度を下げることで撮像の精度を高めてもよい。
【００５１】
また、フォトセンサを有する表示装置は、被検出物が表示パネルに接触している場合だけでなく、非接触の場合にも検出を行うことができる。しかし、非接触の被検出物は、接触している被検出物よりも検出が困難である。なぜならば、表示パネルから被検出物が離れるに伴い、被検出物の影が薄くなり明暗の区別が困難になるためである。したがって、（１）〜（３）の手法を用いて感度を向上させることで、非接触の被検出物に対しても高精度の撮像を行うことができる。
【００５２】
なお、これらの感度の変更は手動で行うこともできる。手動で行う場合は、入射光の測定は行わなくてもよく、撮像された画像の明るさ等を判断して（１）〜（３）を適宜実施すればよい。
【００５３】
なお、入射光の測定は、必ずしも撮像された被検出物の画像の輝度を用いなくてもよい。例えば、撮像を行う前に、画素に設けられたフォトセンサの一部または全部を用いて、予め入射光の測定を行ってもよい。ただ、撮像した画像の輝度から入射光を測定する方が、画像に応じて感度を変更することができるため効果的である。
【００５４】
また、バックライトの明るさを調整することで、被検出物からの反射光の輝度を調節することもできる。外光が著しく弱いような環境では特に有効である。
【００５５】
以上のような形態とすることで、入射光の強度に応じて、あるいは影の濃さに応じてフォトセンサの感度を変更し、常に高精度の撮像を行うことができる。
【００５６】
なお、本実施の形態では、フォトセンサを有する表示装置について説明したが、フォトセンサを有する半導体装置にも容易に応用できる。すなわち、本実施の形態における表示装置から、表示に要する回路、具体的には、表示素子制御回路１０２、表示素子１０５を取り除いて、半導体装置を構成することができる。当該半導体装置としては、例えばイメージセンサが挙げられる。このような半導体装置は、フォトセンサが設けられた入力部に接触または接近する被検出物を、上記と同様に検出することができる。
【００５７】
本実施の形態は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【００５８】
（実施の形態２）
本実施の形態では、入射光を測定する方法について、実施の形態１とは異なる構成を図５を用いて説明する。
【００５９】
図５に、表示パネルの一例を示す。図５では、画素の外に第２のフォトセンサ５０２を設けている点において、図１とは異なる。第２のフォトセンサ５０２は、表示パネル１００への入射光として外光の測定を行う。なお、第２のフォトセンサ５０２は表示パネル１００の外に設けてもよい。
【００６０】
本実施の形態では、予め第２のフォトセンサ５０２で入射光の測定を行い、実施の形態１で説明した手法を用いて画素１０４に配置された第１のフォトセンサ５０１の感度を入射光の強度に応じて調整した後、被検出物の検出を行う。入射光に応じて感度を変更するため、高精度の撮像が可能となる。この場合、撮像した画像の輝度から入射光の強度を測定する処理を省くことができる。
【００６１】
また、第２のフォトセンサ５０２の個数は、１個でも複数個でもよい。複数個にした場合は、複数の第２のフォトセンサ５０２から得られた入射光の強度のうち、最大値、最小値、又は平均値を適宜用いることができる。通常は平均値を用い、最大値と最小値との差が大きい場合は、第２のフォトセンサ５０２のいずれかが遮蔽されている可能性が高いため、最大値を用いることが好ましい。また、最大値及び最小値が共に小さい場合は、外光が暗い可能性が高いため、最小値を用いることが好ましい。なお、第２のフォトセンサ５０２が１個だと、第２のフォトセンサ５０２が局所的に遮蔽されている場合、入射光の強度が弱いと誤認され、感度が適切に調節できない可能性がある。よって、このような誤認を避けるために第２のフォトセンサ５０２を複数設けておく方が好ましい。また、誤認防止のために少なくとも表示パネル１００の四隅に第２のフォトセンサ５０２を設けておくと、表示パネル１００の全体を第２のフォトセンサ５０２でまんべんなく検知できるので好ましい。
【００６２】
本実施の形態は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【００６３】
（実施の形態３）
本実施の形態では、撮像した被検出物の画像に対し、入射光の強度に応じた画像処理を施す構成について説明する。
【００６４】
撮像した被検出物の画像は、画像処理として二値化処理が施される。二値化処理とは、撮像した被検出物の画像を、画素毎に所定の明るさ（しきい値）と比較して、明るい部分又は暗い部分のいずれかに置きなおす処理である。ここで二値化処理のしきい値を入射光の強度に応じて変更することで、より精度のよい撮像を行うことができる。
【００６５】
以下に、入射光の強度に応じて二値化処理のしきい値を変更する手法の一例を説明する。図６は、本実施の形態の表示装置６０１の構成の一例であり、少なくとも表示パネル１００と画像処理部６０２を有している。
【００６６】
まず、実施の形態１と同様にして、表示パネル１００で撮像された被検出物の画像における各画素の明るさ（輝度）を測定し、図１４のようなヒストグラムを得る。図１４ではピーク１４０１は検出位置の輝度を示しており、ピーク１４０２は検出位置以外の輝度を示している。輝度のデータは画像処理部６０２に送信される。
【００６７】
画像処理部６０２では、各画素の輝度を、予め設定したしきい値と比較する。そして、画素の輝度が、しきい値未満又はしきい値以上のいずれかに偏っている場合に、入射光が暗すぎる又は明るすぎると判定される。そして、画像処理部６０２は、フォトセンサ１０６への入射光に応じてフォトセンサ１０６の感度を変更するための制御信号を表示パネル１００中のフォトセンサ１０６へ供給する。
【００６８】
例えば、図１４のヒストグラムでは、予め設定したしきい値１４０３に対して、しきい値未満である画素数が全画素数の７０％以上を占めている。この場合は、入射光が暗すぎると判定される。そのため、しきい値１４０３による二値化処理では、鮮明な画像を得ること困難になる。逆に、しきい値以上の画素数が全画素数の７０％以上の場合は、入射光が明るすぎると判定される（図示せず）。
【００６９】
入射光が暗すぎる又は明るすぎる場合、しきい値の変更を行う。図１４の場合、しきい値未満及びしきい値以上の画素が全画素数の７０％未満となるよう、しきい値１４０３からしきい値１４０４へ変更すればよい。すると、被検出物の検出位置を示すピーク１４０１と、検出位置以外を示すピーク１４０２との間にしきい値１４０４を設けることができる。そして、しきい値１４０４による二値化処理により、検出位置を暗い部分、検出位置以外を明るい部分にそれぞれ置きかえることができる。
【００７０】
また、被検出物が表示パネルに接触している場合だけでなく、非接触の場合にも検出を行うことができる。非接触の被検出物は、接触している被検出物よりも影が薄くなるため、明暗の区別が困難になる。入射光に応じてしきい値を変更することで、非接触の被検出物に対しても高精度の撮像を行うことができる。
【００７１】
以上のように、入射光の強度に応じた画像処理を行うことで、入射光が暗すぎる又は明るすぎる場合にも、撮像の精度を向上させ、検出位置の誤認識の防止、又は取り込み画像を鮮明にすることができる。
【００７２】
なお、画素数の偏りを７０％としなくてもよく、被検出物が画像全体に占める面積の割合、又は求める撮像の精度に応じて変更することができる。また、しきい値を変更する方法は、上記以外を用いてもよい。例えば、２つのピーク１４０１とピーク１４０２との谷にしきい値１４０３をしきい値１４０４へ変更する方法、又は、しきい値で分離された２つの部分の分散が最大とするようにしきい値を変更する方法等を用いることができる。
【００７３】
また、画素の特定の領域に絞って画像処理を行ってもよい。領域を絞って画像処理を行うことで、処理時間を短縮することが可能である。
【００７４】
本実施の形態は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【００７５】
（実施の形態４）
図７に、表示パネルの断面図の一例を示す。図７に示す表示パネルでは、絶縁表面を有する基板（ＴＦＴ基板）１００１上に、フォトダイオード１００２、トランジスタ１００３、保持容量１００４、液晶素子１００５が設けられている。
【００７６】
フォトダイオード１００２と、保持容量１００４とは、トランジスタ１００３を作製するプロセスにおいて、トランジスタ１００３と共に形成することが可能である。フォトダイオード１００２は横型接合タイプのｐｉｎダイオードであり、フォトダイオード１００２が有する半導体膜１００６は、ｐ型の導電性を有する領域（ｐ層）と、ｉ型の導電性を有する領域（ｉ層）と、ｎ型の導電性を有する領域（ｎ層）とを有している。なお、本実施の形態では、フォトダイオード１００２がｐｉｎダイオードである場合を例示しているが、フォトダイオード１００２はｐｎダイオードであっても良い。横型接合タイプのｐｉｎ接合またはｐｎ接合は、ｐ型を付与する不純物と、ｎ型を付与する不純物とを、それぞれ半導体膜１００６の特定の領域に添加することで、形成することが出来る。
【００７７】
また、ＴＦＴ基板１００１上に成膜した一の半導体膜をエッチングなどにより所望の形状に加工（パターニング）することで、フォトダイオード１００２の島状の半導体膜と、トランジスタ１００３の島状の半導体膜とを一緒に形成することができ、通常のパネル作製プロセスに追加するプロセスが不要となり、コストを低減できる。
【００７８】
なお、横型接合タイプのフォトダイオードとせずに、ｐ層、ｉ層、及びｎ層を積層させた構造を採用することもできる。
【００７９】
液晶素子１００５は、画素電極１００７と、液晶１００８と、対向電極１００９とを有する。画素電極１００７は、基板１００１上に形成されており、トランジスタ１００３と、保持容量１００４と、導電膜１０１０を介して電気的に接続されている。また、対向電極１００９は、基板（対向基板）１０１３上に形成されており、画素電極１００７と対向電極１００９の間に、液晶１００８が挟まれている。なお、本実施の形態では、フォトセンサに用いられているトランジスタについては図示していないが、当該トランジスタも、トランジスタ１００３を作製するプロセスにおいて、トランジスタ１００３と共に基板（ＴＦＴ基板）１００１上に形成することが可能である。
【００８０】
画素電極１００７と、対向電極１００９の間のセルギャップは、スペーサー１０１６を用いて制御することが出来る。図７では、フォトリソグラフィーで選択的に形成された柱状のスペーサー１０１６を用いてセルギャップを制御しているが、球状のスペーサーを画素電極１００７と対向電極１００９の間に分散させることで、セルギャップを制御することも出来る。
【００８１】
また液晶１００８は、基板（ＴＦＴ基板）１００１と基板（対向基板）１０１３の間において、封止材により囲まれている。液晶１００８の注入は、ディスペンサ式（滴下式）を用いても良いし、ディップ式（汲み上げ式）を用いていても良い。
【００８２】
画素電極１００７には、透光性を有する導電性材料、例えばインジウム錫酸化物（ＩＴＯ）、酸化珪素を含むインジウム錫酸化物（ＩＴＳＯ）、有機インジウム、有機スズ、酸化亜鉛、酸化亜鉛を含むインジウム亜鉛酸化物（ＩＺＯ）、ガリウムを含む酸化亜鉛、酸化スズ、酸化タングステンを含むインジウム酸化物、酸化タングステンを含むインジウム亜鉛酸化物、酸化チタンを含むインジウム酸化物、酸化チタンを含むインジウム錫酸化物などを用いることが出来る。
【００８３】
また、本実施の形態では、透過型の液晶素子１００５を例に挙げているので、画素電極１００７と同様に、対向電極１００９にも上述した透光性を有する導電性材料を用いることが出来る。
【００８４】
画素電極１００７と液晶１００８の間には配向膜１０１１が、対向電極１００９と液晶１００８の間には配向膜１０１２が、それぞれ設けられている。配向膜１０１１、配向膜１０１２はポリイミド、ポリビニルアルコールなどの有機樹脂を用いて形成することができ、その表面には、ラビングなどの、液晶分子を一定方向に配列させるための配向処理が施されている。ラビングは、配向膜に圧力をかけながら、ナイロンなどの布を巻いたローラーを回転させて、上記配向膜の表面を一定方向に擦ることで、行うことが出来る。なお、酸化珪素などの無機材料を用い、配向処理を施すことなく、蒸着法で配向特性を有する配向膜１０１１、配向膜１０１２を直接形成することも可能である。
【００８５】
また、液晶素子１００５と重なるように、特定の波長領域の光を通すことができるカラーフィルタ１０１４が、基板（対向基板）１０１３上に形成されている。カラーフィルタ１０１４は、顔料を分散させたアクリル系樹脂などの有機樹脂を基板１０１３上に塗布した後、フォトリソグラフィーを用いて選択的に形成することができる。また、顔料を分散させたポリイミド系樹脂を基板１０１３上に塗布した後、エッチングを用いて選択的に形成することもできる。或いは、インクジェットなどの液滴吐出法を用いることで、選択的にカラーフィルタ１０１４を形成することもできる。
【００８６】
また、フォトダイオード１００２と重なるように、光を遮蔽することが出来る遮蔽膜１０１５が、基板（対向基板）１０１３上に形成されている。遮蔽膜１０１５を設けることで、基板（対向基板）１０１３を透過して表示パネル内に入射したバックライトからの光が、直接フォトダイオード１００２に当たるのを防ぐことができる他、画素間における液晶１００８の配向の乱れに起因するディスクリネーションが視認されるのを防ぐことができる。遮蔽膜１０１５には、カーボンブラック、低次酸化チタンなどの黒色顔料を含む有機樹脂を用いることができる。または、クロムを用いた膜で、遮蔽膜１０１５を形成することも可能である。
【００８７】
また、基板（ＴＦＴ基板）１００１の画素電極１００７が形成されている面とは反対の面に、偏光板１０１７を設け、基板（対向基板）１０１３の対向電極１００９が形成されている面とは反対の面に、偏光板１０１８を設ける。
【００８８】
液晶素子は、ＴＮ（Ｔｗｉｓｔｅｄ Ｎｅｍａｔｉｃ）型の他、ＶＡ（Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）型、ＯＣＢ（ｏｐｔｉｃａｌｌｙ ｃｏｍｐｅｎｓａｔｅｄ Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）型、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ Ｓｗｉｔｃｈｉｎｇ）型等であっても良い。なお、本実施の形態では、画素電極１００７と対向電極１００９の間に液晶１００８が挟まれている構造の液晶素子１００５を例に挙げて説明したが、本発明の一態様に係る表示パネルはこの構成に限定されない。ＩＰＳ型のように、一対の電極が、共に基板（ＴＦＴ基板）１００１側に形成されている液晶素子であっても良い。
【００８９】
また、本実施の形態では、フォトダイオード１００２、トランジスタ１００３、保持容量１００４に、薄膜の半導体膜を用いている場合を例に挙げているが、単結晶半導体基板、ＳＯＩ基板などを用いて形成されていても良い。
【００９０】
光は、矢印１０２５のように基板（ＴＦＴ基板）１００１側から照射される。被検出物１０２１において光が遮られるため、フォトダイオード１００２への入射光が遮られる。すなわち、フォトダイオード１００２は、被検出物の影を検出することになる。
【００９１】
また、バックライトからの光を用いる場合、基板（対向基板）１０１３側から照射され、液晶素子１００５を通って、基板（ＴＦＴ基板）１００１側にある被検出物１０２１に照射され、フォトダイオード１００２に入射する。すなわち被検出物からの反射光を検出することになる。
【００９２】
また、本実施の形態の表示装置は、フォトセンサ（フォトダイオード１００２）の受光面の向きと、表示パネルの表示面（基板１００１側）の向きとが同一である。そのため、表示パネルにおいて、被検出物を撮像することができ、ＣＣＤイメージセンサ等を設けた場合に比べて有効である。
【００９３】
本実施の形態は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【００９４】
（実施の形態５）
図８に、実施の形態２とは異なる表示パネルの断面図の一例を示す。図８に示す表示パネルでは、フォトダイオード１００２は、トランジスタ１００３のゲート電極を構成する導電膜１０１９で、遮蔽膜２０１９を構成している点が、図７と異なる。フォトダイオード１００２に遮蔽膜を構成することで、バックライトの光がｉ型の導電性を有する領域（ｉ層）に直接入射することを回避することができる。
【００９５】
また、フォトダイオード１００２を横型接合タイプのｐｉｎダイオードとする際には、ｐ型の導電性を有する領域（ｐ層）とｎ型の導電性を有する領域（ｎ層）とを形成する際に、遮蔽膜をマスクとして用いることで、セルフアラインで形成することができる。これは、微細なフォトダイオードを作製する際に有効であり、画素サイズの縮小や開口率の向上に有効である。
【００９６】
以上のような形態とすることで、非接触の被検出物の動きを検出することで、データを入力することのできる表示パネルを提供することができる。
【００９７】
なお、図８では横型接合タイプのフォトダイオードを採用しているが、ｐ層、ｉ層、及びｎ層を積層させた構造を採用することもできる。
【００９８】
なお、フォトダイオード１００２への入射光について、及びフォトセンサの受光面と表示パネルの表示面との向きについては、実施の形態４と同様である。
【００９９】
本実施の形態は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【０１００】
（実施の形態６）
図９に、実施の形態２とは異なる表示パネルの断面図の別の一例を示す。図９に示す表示パネルでは、光が、矢印２０２５のように基板（対向基板）１０１３側から照射される点において、図７と異なる。この場合、フォトダイオード１００２の上部の遮蔽膜１０１５に開口を設ける等、光がフォトダイオード１００２に入射するようにすればよい。
【０１０１】
本実施の形態では、フォトダイオード１００２の下部に遮蔽膜２０１５を設ける。遮蔽膜２０１５を設けることで、基板（ＴＦＴ基板）１００１を透過して表示パネル内に入射したバックライトからの光が、直接フォトダイオード１００２に当たるのを防ぐことができ、高精度の画像撮像が可能な表示パネルを提供することができる。遮蔽膜２０１５には、カーボンブラック、低次酸化チタンなどの黒色顔料を含む有機樹脂を用いることができる。または、クロムを用いた膜で、遮蔽膜２０１５を形成することも可能である。
【０１０２】
なお、図９では横型接合タイプのフォトダイオードを採用しているが、ｐ層、ｉ層、及びｎ層を積層させた構造を採用することもできる。
【０１０３】
フォトセンサ（フォトダイオード１００２）の受光面が表示パネルの表示面（基板１０１３側）に向いていることで、表示パネルにおいて被検出物を撮像できる。
【０１０４】
また、バックライトからの光を用いる場合、基板（ＴＦＴ基板）１００１側から照射され、液晶素子１００５を通って、基板（対向基板）１０１３側にある被検出物１０２１に照射され、フォトダイオード１００２に入射する。すなわち被検出物からの反射光を検出することになる。
【０１０５】
本実施の形態は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【０１０６】
（実施の形態７）
フォトセンサを有する表示パネルを用いたライティングボード（黒板、ホワイトボード等）の例を示す。
【０１０７】
例えば、図１０の表示パネル９６９６の位置にフォトセンサを有する表示パネルを設ける。
【０１０８】
表示パネル９６９６は、フォトセンサと表示素子とを有している。
【０１０９】
ここで、表示パネル９６９６の表面にはマーカー等を用いて自由に書き込みができる。
【０１１０】
なお、定着剤が含まれていないマーカー等を用いれば文字の消去が容易である。
【０１１１】
また、マーカーのインクを落としやすくするため、表示パネル９６９６の表面は十分な平滑性を有していると良い。
【０１１２】
例えば、表示パネル９６９６の表面がガラス基板等であれば平滑性は充分である。
【０１１３】
また、表示パネル９６９６の表面に透明な合成樹脂シート等を貼り付けても良い。
【０１１４】
合成樹脂としては例えばアクリル等を用いると好ましい。この場合、合成樹脂シートの表面を平滑にしておくと好ましい。
【０１１５】
そして、表示パネル９６９６は、表示素子を有しているので、特定の画像を表示するとともに表示パネル９６９６の表面にマーカーで記載することができる。
【０１１６】
また、表示パネル９６９６は、フォトセンサを有しているので、プリンター等と接続しておけばマーカーで記載した文字を読み取って印刷することも可能である。
【０１１７】
さらに、表示パネル９６９６は、フォトセンサと表示素子を有しているので、画像を表示させた状態で表示パネル９６９６表面にマーカーで文字、図形等を書き込むことにより、フォトセンサで読み取ったマーカーの軌跡を画像と合成して映し出すこともできる。
【０１１８】
なお、抵抗膜方式、静電容量方式等のセンシングを用いた場合、マーカー等での書き込みと同時にしかセンシングをすることができない。
【０１１９】
一方、フォトセンサを用いた場合、マーカー等で書き込んだ後、時間が経った場合でもいつでもセンシングが可能な点で優れている。
【０１２０】
本実施の形態は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【実施例１】
【０１２１】
本実施例では、パネルと光源の配置について説明する。図１１は、表示パネルの構造を示す斜視図の一例である。図１１に示す表示パネルは、一対の基板間に液晶素子、フォトダイオード、薄膜トランジスタなどを含む画素が形成されたパネル１６０１と、第１の拡散板１６０２と、プリズムシート１６０３と、第２の拡散板１６０４と、導光板１６０５と、反射板１６０６と、複数の光源１６０７を有するバックライト１６０８と、回路基板１６０９とを有している。
【０１２２】
パネル１６０１と、第１の拡散板１６０２と、プリズムシート１６０３と、第２の拡散板１６０４と、導光板１６０５と、反射板１６０６とは、順に積層されている。光源１６０７は導光板１６０５の端部に設けられており、導光板１６０５内部に拡散された光源１６０７からの光は、第１の拡散板１６０２、プリズムシート１６０３及び第２の拡散板１６０４によって、対向基板側から均一にパネル１６０１に照射される。
【０１２３】
なお、本実施例では、第１の拡散板１６０２と第２の拡散板１６０４とを用いているが、拡散板の数はこれに限定されず、単数であっても３以上であっても良い。そして、拡散板は導光板１６０５とパネル１６０１の間に設けられていれば良い。よって、プリズムシート１６０３よりもパネル１６０１に近い側にのみ拡散板が設けられていても良いし、プリズムシート１６０３よりも導光板１６０５に近い側にのみ拡散板が設けられていても良い。
【０１２４】
またプリズムシート１６０３は、図１１に示した断面が鋸歯状の形状に限定されず、導光板１６０５からの光をパネル１６０１側に集光できる形状を有していれば良い。
【０１２５】
回路基板１６０９には、パネル１６０１に入力される各種信号を生成もしくは処理する回路、パネル１６０１から出力される各種信号を処理する回路などが設けられている。そして図１１では、回路基板１６０９とパネル１６０１とが、ＦＰＣ（Ｆｌｅｘｉｂｌｅ Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ）１６１１を介して接続されている。なお、上記回路は、ＣＯＧ（Ｃｈｉｐ ＯＮ Ｇｌａｓｓ）法を用いてパネル１６０１に接続されていても良いし、上記回路の一部がＦＰＣ１６１１にＣＯＦ（Ｃｈｉｐ ＯＮ Ｆｉｌｍ）法を用いて接続されていても良い。
【０１２６】
図１１では、光源１６０７の駆動を制御する、制御系の回路が回路基板１６０９に設けられており、該制御系の回路と光源１６０７とがＦＰＣ１６１０を介して接続されている例を示している。ただし、上記制御系の回路はパネル１６０１に形成されていても良く、この場合はパネル１６０１と光源１６０７とがＦＰＣなどにより接続されるようにする。
【０１２７】
なお、図１１は、パネル１６０１の端に光源１６０７を配置するエッジライト型の光源を例示しているが、本発明の表示パネルは光源１６０７がパネル１６０１の直下に配置される直下型であっても良い。
【０１２８】
例えば、被検出物である指１６１２をＴＦＴ基板側からパネル１６０１に近づけると、バックライト１６０８からの光が、パネル１６０１を通過し、その一部が指１６１２において反射し、再びパネル１６０１に入射する。各色に対応する光源１６０７を順に点灯させ、色ごとに撮像データの取得を行うことで、被検出物である指１６１２のカラーの撮像データを得ることが出来る。
【０１２９】
本実施例は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【実施例２】
【０１３０】
本発明の一態様に係る表示装置は、高分解能である撮像データの取得を行うことができるという特徴を有している。よって、本発明の一態様に係る表示装置を用いた電子機器は、表示装置をその構成要素に追加することにより、より高機能のアプリケーションを搭載することができるようになる。本発明の表示装置は、表示装置、ノート型パーソナルコンピュータ、記録媒体を備えた画像再生装置（代表的にはＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ等の記録媒体を再生し、その画像を表示しうるディスプレイを有する装置）に用いることができる。その他に、本発明の一態様に係る表示装置を用いることができる電子機器として、携帯電話、携帯型ゲーム機、携帯情報端末、電子書籍、ビデオカメラ、デジタルスチルカメラ、ゴーグル型ディスプレイ（ヘッドマウントディスプレイ）、ナビゲーションシステム、音響再生装置（カーオーディオ、デジタルオーディオプレイヤー等）、複写機、ファクシミリ、プリンター、プリンター複合機、現金自動預け入れ払い機（ＡＴＭ）、自動販売機などが挙げられる。これら電子機器の具体例を図１２に示す。
【０１３１】
図１２（Ａ）は表示装置であり、筐体５００１、表示部５００２、支持台５００３等を有する。本発明の一態様に係る表示装置は、表示部５００２に用いることができる。表示部５００２に本発明の一態様に係る表示装置を用いることで、高分解能である撮像データの取得を行うことができ、より高機能のアプリケーションが搭載された表示装置を提供することができる。なお、表示装置には、パーソナルコンピュータ用、ＴＶ放送受信用、広告表示用などの全ての情報表示用表示装置が含まれる。
【０１３２】
図１２（Ｂ）は携帯情報端末であり、筐体５１０１、表示部５１０２、スイッチ５１０３、操作キー５１０４、赤外線ポート５１０５等を有する。本発明の一態様に係る表示装置は、表示部５１０２に用いることができる。表示部５１０２に本発明の一態様に係る表示装置を用いることで、高分解能である撮像データの取得を行うことができ、より高機能のアプリケーションが搭載された携帯情報端末を提供することができる。
【０１３３】
図１２（Ｃ）は現金自動預け入れ払い機であり、筐体５２０１、表示部５２０２、硬貨投入口５２０３、紙幣投入口５２０４、カード投入口５２０５、通帳投入口５２０６等を有する。本発明の一態様に係る表示装置は、表示部５２０２に用いることができる。表示部５２０２に本発明の一態様に係る表示装置を用いることで、高分解能である撮像データの取得を行うことができ、より高機能のアプリケーションが搭載された現金自動預け入れ払い機を提供することができる。そして、本発明の一態様に係る表示装置を用いた現金自動預け入れ払い機は、指紋、顔、手形、掌紋及び手の静脈の形状、虹彩等の、生体認証に用いられる生体情報の読み取りを、より高精度で行うことが出来る。よって、生体認証における、本人であるにもかかわらず本人ではないと誤認識してしまう本人拒否率と、他人であるにもかかわらず本人と誤認識してしまう他人受入率とを、低く抑えることができる。
【０１３４】
図１２（Ｄ）は携帯型ゲーム機であり、筐体５３０１、筐体５３０２、表示部５３０３、表示部５３０４、マイクロホン５３０５、スピーカー５３０６、操作キー５３０７、スタイラス５３０８等を有する。本発明の一態様に係る表示装置は、表示部５３０３または表示部５３０４に用いることができる。表示部５３０３または表示部５３０４に本発明の一態様に係る表示装置を用いることで、高分解能である撮像データの取得を行うことができ、より高機能のアプリケーションが搭載された携帯型ゲーム機を提供することができる。なお、図１２（Ｄ）に示した携帯型ゲーム機は、２つの表示部５３０３と表示部５３０４とを有しているが、携帯型ゲーム機が有する表示部の数は、これに限定されない。
【０１３５】
本実施例は、他の実施の形態又は実施例と適宜組み合わせて実施することが可能である。
【符号の説明】
【０１３６】
１００ 表示パネル
１０１ 画素回路
１０２ 表示素子制御回路
１０３ フォトセンサ制御回路
１０４ 画素
１０５ 表示素子
１０６ フォトセンサ
１０７ 表示素子駆動回路
１０８ 表示素子駆動回路
１０９ フォトセンサ読み出し回路
１１０ フォトセンサ駆動回路
２０１ トランジスタ
２０２ 保持容量
２０３ 液晶素子
２０４ フォトダイオード
２０５ トランジスタ
２０６ トランジスタ
２０７ 信号線
２０８ フォトダイオードリセット信号線
２０９ 信号線
２１０ ビデオデータ信号線
２１１ フォトセンサ出力信号線
２１２ フォトセンサ基準信号線
２１３ 信号線
３００ フォトセンサ読み出し回路
３０１ ｐ型トランジスタ
３０２ 保持容量
３０３ プリチャージ信号線
４０１〜４０５ 信号
５０１ 第１のフォトセンサ
５０２ 第２のフォトセンサ
６０１ 表示装置
６０２ 画像処理部
１００１ 基板
１００２ フォトダイオード
１００３ トランジスタ
１００４ 保持容量
１００５ 液晶素子
１００６ 半導体膜
１００７ 画素電極
１００８ 液晶
１００９ 対向電極
１０１０ 導電膜
１０１１ 配向膜
１０１２ 配向膜
１０１３ 基板
１０１４ カラーフィルタ
１０１５ 遮蔽膜
１０１６ スペーサー
１０１７ 偏光板
１０１８ 偏光板
１０１９ 導電膜
１０２１ 被検出物
１０２５ 矢印
１３０１ 実線
１３０２ ピーク
１３０３ ピーク
１３１１ 破線
１３１２ ピーク
１３２１ 破線
１３２２ ピーク
１４０１ ピーク
１４０２ ピーク
１４０３ しきい値
１４０４ しきい値
１６０１ パネル
１６０２ 第１の拡散板
１６０３ プリズムシート
１６０４ 第２の拡散板
１６０５ 導光板
１６０６ 反射板
１６０７ 光源
１６０８ バックライト
１６０９ 回路基板
１６１０ ＦＰＣ
１６１１ ＦＰＣ
１６１２ 指
２０１５ 遮蔽膜
２０１９ 遮蔽膜
２０１５ 遮蔽膜
２０１９ 遮蔽膜
２０２５ 矢印
５００１ 筐体
５００２ 表示部
５００３ 支持台
５１０１ 筐体
５１０２ 表示部
５１０３ スイッチ
５１０４ 操作キー
５１０５ 赤外線ポート
５２０１ 筐体
５２０２ 表示部
５２０３ 硬貨投入口
５２０４ 紙幣投入口
５２０５ カード投入口
５２０６ 通帳投入口
５３０１ 筐体
５３０２ 筐体
５３０３ 表示部
５３０４ 表示部
５３０５ マイクロホン
５３０６ スピーカー
５３０７ 操作キー
５３０８ スタイラス
９６９６ 表示パネル
【特許請求の範囲】
【請求項１】
フォトセンサが配置された入力部を有し、
前記フォトセンサへの入射光を測定し、前記入射光に応じて前記フォトセンサの感度を変更する機能を有することを特徴とする半導体装置。
【請求項２】
フォトセンサが配置された入力部と、
前記フォトセンサから出力信号を受け取り、且つ、入射光に応じて前記フォトセンサの感度を変更するための制御信号を供給する画像処理部と、を有することを特徴とする半導体装置。
【請求項３】
フォトセンサが配置された表示パネルを有し、
前記フォトセンサへの入射光を測定し、前記入射光に応じて前記フォトセンサの感度を変更する機能を有することを特徴とする表示装置。
【請求項４】
フォトセンサが配置された表示パネルと、
前記フォトセンサから出力信号を受け取り、且つ、入射光に応じて前記フォトセンサの感度を変更するための制御信号を供給する画像処理部と、を有することを特徴とする表示装置。
【請求項５】
フォトセンサが配置された表示パネルを有し、
前記フォトセンサにおいて第１の撮像を行い被検出物の画像を生成し、前記画像から前記フォトセンサへの入射光を測定し、前記入射光に応じて前記フォトセンサの感度を変更した後に第２の撮像を行う機能を有することを特徴とする表示装置。
【請求項６】
請求項３乃至請求項５のいずれか一において、
前記フォトセンサに印加される電圧を調整することで、前記フォトセンサの感度を変更することを特徴とする表示装置。
【請求項７】
請求項３乃至請求項６のいずれか一において、
前記フォトセンサは、トランジスタ、及び前記トランジスタのゲートに電気的に接続されたフォトダイオードを有し、
前記フォトダイオードに印加される電圧を調整することで、前記フォトセンサの感度を変更することを特徴とする表示装置。
【請求項８】
請求項３乃至請求項７のいずれか一において、
前記フォトセンサは、トランジスタ、及び前記トランジスタのゲートに電気的に接続されたフォトダイオードを有し、
前記トランジスタのソースとドレインとの間に印加される電圧を調整することで、前記フォトセンサの感度を変更することを特徴とする表示装置。
【請求項９】
請求項３乃至請求項８のいずれか一において、
フォトセンサは、リセット動作、累積動作、及び選択動作を行う機能を有し、
前記累積動作に要する時間を変更することで、前記フォトセンサの感度を変更することを特徴とする表示装置。
【請求項１０】
画素に第１のフォトセンサが配置され、且つ、前記画素の外に第２のフォトセンサが配置された表示パネルを有し、
前記第２のフォトセンサにおいて入射光を検出し、前記入射光に応じて前記第１のフォトセンサの感度を変更した後に撮像を行う機能を有することを特徴とする表示装置。
【請求項１】
フォトセンサが配置された入力部を有し、
前記フォトセンサへの入射光を測定し、前記入射光に応じて前記フォトセンサの感度を変更する機能を有することを特徴とする半導体装置。
【請求項２】
フォトセンサが配置された入力部と、
前記フォトセンサから出力信号を受け取り、且つ、入射光に応じて前記フォトセンサの感度を変更するための制御信号を供給する画像処理部と、を有することを特徴とする半導体装置。
【請求項３】
フォトセンサが配置された表示パネルを有し、
前記フォトセンサへの入射光を測定し、前記入射光に応じて前記フォトセンサの感度を変更する機能を有することを特徴とする表示装置。
【請求項４】
フォトセンサが配置された表示パネルと、
前記フォトセンサから出力信号を受け取り、且つ、入射光に応じて前記フォトセンサの感度を変更するための制御信号を供給する画像処理部と、を有することを特徴とする表示装置。
【請求項５】
フォトセンサが配置された表示パネルを有し、
前記フォトセンサにおいて第１の撮像を行い被検出物の画像を生成し、前記画像から前記フォトセンサへの入射光を測定し、前記入射光に応じて前記フォトセンサの感度を変更した後に第２の撮像を行う機能を有することを特徴とする表示装置。
【請求項６】
請求項３乃至請求項５のいずれか一において、
前記フォトセンサに印加される電圧を調整することで、前記フォトセンサの感度を変更することを特徴とする表示装置。
【請求項７】
請求項３乃至請求項６のいずれか一において、
前記フォトセンサは、トランジスタ、及び前記トランジスタのゲートに電気的に接続されたフォトダイオードを有し、
前記フォトダイオードに印加される電圧を調整することで、前記フォトセンサの感度を変更することを特徴とする表示装置。
【請求項８】
請求項３乃至請求項７のいずれか一において、
前記フォトセンサは、トランジスタ、及び前記トランジスタのゲートに電気的に接続されたフォトダイオードを有し、
前記トランジスタのソースとドレインとの間に印加される電圧を調整することで、前記フォトセンサの感度を変更することを特徴とする表示装置。
【請求項９】
請求項３乃至請求項８のいずれか一において、
フォトセンサは、リセット動作、累積動作、及び選択動作を行う機能を有し、
前記累積動作に要する時間を変更することで、前記フォトセンサの感度を変更することを特徴とする表示装置。
【請求項１０】
画素に第１のフォトセンサが配置され、且つ、前記画素の外に第２のフォトセンサが配置された表示パネルを有し、
前記第２のフォトセンサにおいて入射光を検出し、前記入射光に応じて前記第１のフォトセンサの感度を変更した後に撮像を行う機能を有することを特徴とする表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１２９１０７（Ｐ２０１１−１２９１０７Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２０１０−２５６４０４（Ｐ２０１０−２５６４０４）
【出願日】平成２２年１１月１７日（２０１０．１１．１７）
【出願人】（０００１５３８７８）株式会社半導体エネルギー研究所 (5,264)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２２年１１月１７日（２０１０．１１．１７）
【出願人】（０００１５３８７８）株式会社半導体エネルギー研究所 (5,264)
【Ｆターム（参考）】
[ Back to top ]