表示装置および方法、プログラム、並びに、電子機器
【課題】光学方式のタッチパネル機能を有する表示装置であって、信頼性の高い表示装置の実現化する。
【解決手段】画像の表示と受光とを同時又は交互に行う表示装置であって、受光用の照明として非可視光を発光する第１の光源と、表示用の照明として可視光を発光する第２の光源とを備える表示装置において、例えば次のような制御が実行される。即ち、非可視光駆動波形に従った第１の光源の発光制御と、可視光駆動波形に従った第２の光源の発光制御とが並列的に実行される。本発明は、液晶表示ディスプレイやＥＬディスプレイ等に適用可能である。
【解決手段】画像の表示と受光とを同時又は交互に行う表示装置であって、受光用の照明として非可視光を発光する第１の光源と、表示用の照明として可視光を発光する第２の光源とを備える表示装置において、例えば次のような制御が実行される。即ち、非可視光駆動波形に従った第１の光源の発光制御と、可視光駆動波形に従った第２の光源の発光制御とが並列的に実行される。本発明は、液晶表示ディスプレイやＥＬディスプレイ等に適用可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、液晶表示ディスプレイやＥＬ（electro− luminescence ）ディスプレイに適用して好適な表示装置及び方法、プログラム、並びに電子機器に関し、特に信頼性の高い光学的なタッチパネル機能を実現化することができる技術に関する。
【背景技術】
【０００２】
従来、タッチパネル機能、即ち、テレビジョン受像機などの表示装置の画面上に、その画面に触れることで操作が可能となる機能を実現させる場合、表示装置とは別体のタッチパネルを画面上に重ねる構成が採用されていた。
【０００３】
別体のタッチパネルを使用する構成としては、例えば、画面の上に透明で薄い入力検出装置を貼り付けたものがある。ディスプレイの表面に接触したことを検知する手段として、圧力の変化を感知する抵抗膜式や、人体との接触で変化する静電気による電気信号を感知する静電容量式などを採用したタッチパネルが実用化されている。しかし、これらのタッチパネルは、基本的に表面の一点のみの位置検出が可能であり、複数点の同時検出はできない。そのためタッチパネルを用いた操作入力装置においては、接触した１点の位置を基に使用者からの指示を判別するか、あるいは一点の位置の変化を基に指示を判別する方法が一般的であった。
【０００４】
特許文献１には、表示画面上の２次元方向の指示位置の移動入力を受け付け、移動開始から移動終了までの指示位置の座標変化に基づいて使用者からの指示内容を判別し、指示内容に応じた処理を行う操作入力受付装置についての開示がある。
【特許文献１】特開２００４−３３６５９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ディスプレイを通した操作を分かりやすく、効率的に行うためには、ディスプレイの表面に直接触れて指示する方法が有効であるが、従来のタッチパネルでは表示画面上の接触箇所を１点しか認識できないため、操作方法が限定され、画面上で実行できる処理に限界があった。
【０００６】
これらの従来のタッチパネルの不都合を解決するために、パネルを分割して複数点を検出できるようにしたタッチパネルも考案されている。しかし、かかるタッチパネルは、各々限られた範囲の中で１点ずつを検出するものであり、画面上の自由な位置で複数の点を検知することは難しい。また、赤外線式などの検出部を複数備えることで、複数点の位置検出ができる接触位置検出装置も考案されている。しかし、かかる装置では、画面外部に検出部を設置する必要があるなど、装置が大型化、複雑化するという問題があった。
【０００７】
このような状況下、従来とは異なる方式のタッチパネル機能を有する表示装置であって、信頼性の高い表示装置の実現化が望まれている。
【０００８】
本発明は、このような状況に鑑み、光学方式のタッチパネル機能を有する表示装置であって、信頼性の高い表示装置の実現化することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一側面の表示装置は、画像の表示と受光とを行う表示装置であって、前記受光用の照明として非可視光を発光する第１の発光手段と、前記表示用の照明として可視光を発光する第２の発光手段と、前記第１の発光手段の発光制御と、前記第２の発光手段の発光制御とを並列的に実行する制御手段とを備える。
【００１０】
前記制御手段は、前記第１の発光手段の制御として、第１の発光レベルで非可視光を発光させる第１の期間と、第２の発光レベルで非可視光を発光させる第２の期間とをそれぞれ同一時間で繰り返す制御を行う。
【００１１】
前記制御手段は、前記第２の発光手段の制御として、一定の発光レベルで可視光を発光させる制御を行う。
【００１２】
前記制御手段は、前記第２の発光手段の制御として、可視光の発光レベルを変化させる制御を行う。
【００１３】
前記制御手段は、前記第２の発光手段の制御として、可視光の発光レベルをランプ状に変化させる制御を行う。
【００１４】
前記制御手段は、前記ランプ状の変化の傾きを一定以下に制限する制御を行う。
【００１５】
前記制御手段は、前記第１の発光手段の制御による１回の前記第１の期間と前記第２の期間との間に、前記ランプ状の変化を終了させる。
【００１６】
前記制御手段は、前記第２の発光手段の制御として、前記非視光の発光レベルの変化タイミングに同期させて、可視光の発光レベルを変化させる制御を行う。
【００１７】
前記制御手段は、前記第２の発光手段の制御として、前記第１の発光手段の制御による前記第１の期間における、可視光の発光レベルの変化パターンと、前記第１の発光手段の制御による前記第２の期間における、可視光の発光レベルの変化パターンと一致させる制御を行う。
【００１８】
前記制御手段は、前記第２の発光手段の制御として、前記第１の発光手段の制御による１回の前記第１の期間と前記第２の期間との間に、可視光の発光レベルの時間的変化率を可変させる制御を行う。
【００１９】
本発明の一側面の表示方法およびプログラムは、上述した本発明の一側面の表示装置に対応する方法およびプログラムである。
【００２０】
本発明の一側面の表示装置および方法並びにプログラムにおいては、画像の表示と受光とを同時又は交互に行う表示装置であって、前記受光用の照明として非可視光を発光する第１の発光手段と、前記表示用の照明として可視光を発光する第２の発光手段とを備える表示装置において、前記第１の発光手段の発光制御と、前記第２の発光手段の発光制御とが並列的に実行される。
【００２１】
本発明の一側面の電子機器は、画像の表示と受光とを行う表示手段を備える電子機器であって、前記表示手段は、前記受光用の照明として非可視光を発光する第１の発光手段と、前記表示用の照明として可視光を発光する第２の発光手段とを有しており、前記電子機器は、前記第１の発光手段の発光制御と、前記第２の発光手段の発光制御とを並列的に実行する制御手段とを備える。
【発明の効果】
【００２２】
本発明によれば、光学方式のタッチパネル機能を有する表示装置やそれを搭載した電子機器を実現できる。さらに、信頼性の高い表示装置や電子機器を実現できる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の一実施の形態として、I/Oディスプレイについて説明していく。
【００２４】
I/Oディスプレイとは、ディスプレイ表面が表示機能と撮像素子機能（受光機能）とを併せ持っているディスプレイをいう。I/Oディスプレイは、かかる機能を有することにより、タッチパネル機能を始めとして、非常に広範囲な分野に適用することができる。
【００２５】
図１は、I/Oディスプレイパネルの構成例を示している。
【００２６】
I/Oディスプレイパネル１１には、その中央に透明な表示エリア（センサエリア）２１が配置されている。表示エリア２１の４つの端面には、表示用水平（Ｈ）ドライバ２２、表示用垂直（Ｖ）ドライバ２３、センサ用水平（Ｈ）レシーバ２５、センサ用垂直（Ｖ）レシーバ２４がそれぞれ配置されている。表示用Ｈドライバ２２と表示用Ｖドライバ２３には、表示用のデータとして、表示信号と制御クロックとが供給されて、表示エリア２１にマトリクス状に配置された表示画素の駆動が行われる。センサ用Ｈレシーバ２５とセンサ用Ｖレシーバ２４には、読み出し用のクロックが供給されて、そのクロックに同期して読み出された受光信号が、受光信号線を介して出力される。
【００２７】
図２と図３は、表示エリア２１に配置された画素回路の構成例を示した図である。図２に示されるように、１つの画素につき、赤色用の画素回路５１Ｒ、緑色用の画素回路５１Ｇ、および青色用の画素回路５１Ｂが配置されている。赤色用の画素回路５１Ｒ、緑色用の画素回路５１Ｇ、および青色用の画素回路５１Ｂは、定電流源５３Ｒ，５３Ｇ，５３Ｂのそれぞれに接続されるともに、読み出し回路５２に接続されている。
【００２８】
なお、読み出し回路５２は、後述する図４の受光ドライブ回路６２の一構成要素となっている。即ち、図４に記載の「受光データ」が、赤色用の画素回路５１Ｒ、緑色用の画素回路５１Ｇ、および青色用の画素回路５１Ｂから出力されて、読み出し回路５２に提供されることになる。また、定電流源５３Ｒ，５３Ｇ，５３Ｂは、後述する図４の受光ドライブ回路６２の一構成要素となる場合と、図３のセンサ用Ｈレシーバ２５の一構成要素となる場合がそれぞれあり得る。
【００２９】
ここで、以下、画素回路５１Ｒ，５１Ｇ，５１Ｂを個々に区別する必要がない場合、これらをまとめて画素回路５１と称する。画素回路５１は、例えば図３に示されるように構成される。即ち、画素回路５１において、水平方向にゲート電極５１ｈが配置されており、垂直方向にドレイン電極５１ｉが配置されており、両電極の交点にスイッチング素子５１ａが配置されており、そのスイッチング素子５１ａと画素電極５１ｂが接続されている。スイッチング素子５１ａは、ゲート電極５１ｈを介して得られる信号によりオン／オフが制御され、ドレイン電極５１ｉを介して供給される信号により、画素電極５１ｂでの表示状態が設定される。
【００３０】
そして、画素電極５１ｂに隣接した位置に、センサ５１Ｃ（受光素子５１ｃ）が配置されており、電源電圧VDDが供給される。このセンサ５１Ｃには、リセットスイッチ５１ｄとコンデンサ５１ｅが接続されている。リセットスイッチ５１ｄによってセンサ５１Ｃがリセットされた後、センサ５１Ｃの受光量に対応した電荷がコンデンサ５１ｅ蓄積される。その蓄積された電荷に比例した電圧が、読み出しスイッチ５１ｇがオン状態となるタイミングで、バッファアンプ５１ｆを介して、信号出力用電極５１ｊに供給され、外部（図２の読み出し回路５２）に出力される。リセットスイッチ５１ｄのオン／オフ状態は、リセット電極５１ｋに得られる信号により制御される。読み出しスイッチ５１ｇのオン／オフ状態は、読出し制御電極５１ｍに得られる信号により制御される。
【００３１】
即ち、画面全体では、次のような駆動動作が行われる。画面全体がリセットされ、前の撮像フレームのデータ（各センサ５１ｃの蓄積電荷）が消去された後、露光が行われ、画面全体がリードされることで撮像データが得られる。このような駆動動作の繰り返しにより、動画としての撮像データが取得される。なお、以上の駆動動作は、一般のCMOS撮像素子とほぼ同様の駆動動作となっている。画面全体のリセットとリードの制御は、図１の各種ドライバ等２２乃至２５により制御される。このような制御手法としては、例えば表示に用いる線順次駆動や点順次駆動といった手法と同じものを採用することが可能である。
【００３２】
図４は、I/Oディスプレイパネル１１を含むI/Oディスプレイシステム、即ち本発明が適用されるシステムの構成例を示している。
【００３３】
I/Oディスプレイシステムは、I/Oディスプレイパネル１１の他、表示ドライブ回路６１、受光ドライブ回路６２、およびアプリケーションプログラム実行部６３を含むように構成される。受光ドライブ回路６２には、画像処理部７１とフレームメモリ７２とが搭載されている。
【００３４】
このようなI/Oディスプレイシステムは、例えば有機ELディスプレイの応用として構成できる。有機ELデバイスの場合、画素に逆バイアスを印加することにより、受光した強度に比例した電流が発生する。これにより、撮像の機能を、表示の機能と時分割に行うことができるからである。
【００３５】
また、I/Oディスプレイシステムは、例えば液晶パネルの応用として構成できる。液晶パネルを駆動するTFT層に、同時に撮像素子の機能を作りこむことによって、表示と撮像両方の機能を実現することができるからである。
【００３６】
従って、I/Oディスプレイシステムは、表示と撮像の機能に基づき、光学的なタッチパネル機能を実現できるようになる。そして、かかるタッチパネル機能の実現により、次のような第１乃至第３の特徴を持たせることができるようになる。
【００３７】
第１の特徴とは、複数の指による入力が可能となる特徴である。
【００３８】
第２の特徴とは、表示品質が高い、即ち、表面に取り付ける従来のタッチパネル用フィルムのように、輝度や精細度が落ちないという特徴である。
【００３９】
第３の特徴とは、表面からジェスチャ入力のできる表示デバイスが実現できるという特徴である。
【００４０】
ところで、I/Oディスプレイシステムにおいて、光学的にタッチパネル機能を実現する手法として、受光（指等の検出）についても、周囲の明るさが暗いとき等には主に表示光（可視光）を利用する手法が考えられる。
【００４１】
しかしながら、かかる手法では、次のような第１乃至第３の問題が生じてしまう。
【００４２】
第１の問題とは、表示内容により検出画像が著しく異なり、黒画面では検出できないという問題である。
【００４３】
第２の問題とは、第１の問題を部分的に解決するために、表示画面を調整する手法が考えられるが、かかる手法を適用した場合、画質低下を伴うという問題である。
【００４４】
第３の問題とは、暗い場所での眩しさを押さえるため、表示輝度を下げると、検出が困難になるという問題である。
【００４５】
これらの第１乃至第３の問題を解決するためには、表示用の可視光とは別に、指等の検出に対しては非可視光を利用すると好適である。ただし、非可視光の制御を行う場合、外光と反射物の識別を行うことが可能である一方、同時に利用している可視光については、次のような第４，第５の問題を解決する必要がある。
【００４６】
第４の問題とは、 可視光を任意のタイミングで制御した場合、非可視光の差分処理に影響を与えることがあるという問題である。
【００４７】
第５の問題とは、可視光の輝度を任意のタイミングで大きく変化させた場合、非可視光の差分処理に影響を与えることがあるという問題である。
【００４８】
なお、非可視光の差分処理については、後述する。
【００４９】
以下、図５乃至図１９を参照して、これらの問題を解決し、任意の表示輝度を実現するための手法について説明していく。
【００５０】
図５は、I/Oディスプレイパネル１１に対するバックライトの構成例を示している。図５の構成は、液晶ディスプレイ式のI/Oディスプレイ１１を考慮した構成となっている。即ち、バックライトの構成例は、図５の例に限定されず、I/Oディスプレイ１１として例えば有機ELの方式を採用した場合には、各画素に光源を持たせる構成を取るようにしてもよい。
【００５１】
図５の例では、可視光光源８２による可視光と、非可視光光源８３による非可視光とが、導光板８１を介してI/Oディスプレイパネル１１にバックライトとして照射される。
【００５２】
この場合、I/Oディスプレイパネル１１は、１フレームの期間内に、表示１回と、受光（撮像）２回とをそれぞれ実行する。なお、受光とは、受光信号の読み出し動作をいう。
【００５３】
ここで、図４のI/Oディスプレイシステムの受光の動作について、図６を参照して説明する。
【００５４】
図６の横軸は時間軸である。縦軸は、表示や受光を行う走査ライン（水平ライン）の位置を示している。表示信号の書き換えや受光信号の読出しは、ここでは１画面の最下段のラインから順に走査ラインを上に変化させて、最後に最上段のライン（１番目のライン）の走査を行うようになされている。図６には、任意のフレーム位置の１フレーム分の処理が示されている。それ以降のフレームについても同様の処理が繰り返し実行される。
【００５５】
ここでは、１フレーム期間は、例えば１ ／６０秒とされている。そして、図６に示されるように、１フレーム期間は前半と後半に２等分されている。前半は、非可視光光源８３による非可視光が消灯(OFF)とされる期間（以下、非可視光OFF期間と称する)とされている。後半は、非可視光が点灯(ON)とされる期間（以下、非可視光ON期間と称する)とされている。受光は、非可視光OFF期間と非可視光ON期間のそれぞれで行うようになされている。
【００５６】
具体的には、非可視光OFF期間では、その前半に、全てのラインの受光信号を順にリセットさせる処理ＲＳ１が行われ、その後半に、全てのラインの受光信号を順に読み出す処理ＲＤ１が行われ、それぞれのセンサ５１Ｃで一定期間蓄積された受光信号が読み出される。即ち、非可視光OFF期間では、受光２回のうち１回目の受光として、非可視光光源８３による非可視光が消灯された受光であって、その結果、外光のみの受光が行われることになる。かかる受光の結果得られる受光データＤＡは、受光ドライブ回路６２のフレームメモリ７２に一旦格納される。
【００５７】
非可視光OFF期間に続き、非可視光ON期間では、その前半に、全てのラインの受光信号を順にリセットさせる処理ＲＳ２が行われ、その後半に、全てのラインの受光信号を順に読み出す処理ＲＤ２が行われ、それぞれのセンサ５１Ｃで一定期間蓄積された受光信号が読み出される。即ち、非可視光ON期間では、受光２回のうち２回目の受光として、非可視光光源８３による非可視光の発光に基づく受光であって、I/Oディスプレイパネル１１の表示エリア２１の表面に接触した指等の反射と、外光の両方の受光が行われる。
【００５８】
そして、かかる受光の結果得られる受光データＤＢと、受光ドライブ回路６２のフレームメモリ７２に一旦格納された受光データＤＡとの差分のデータＤＣが、画像処理部７１に送られることになる。なお、差分を取る理由は、外光による影響を取り除くためである。
【００５９】
以上の差分のデータＤＣが生成されるまでの処理が、上述した第４の問題や第５の問題において言及した「非可視光の差分処理」である。
【００６０】
即ち、本実施の形態では、図６に示されるように、低レベル期間ＴＬと高レベル期間ＴＨとが繰り返される非可視光駆動波形に基づいて、非可視光光源８３の発光制御が行われる。即ち、低レベル期間ＴＬでは非可視光の発光レベル（強度）が低レベルとなるように制御され、高レベル期間ＴＨでは非可視光の発光レベルが高レベルとなるように制御される。ここで、低レベルとして０％を採用し、高レベルとして１００％等を採用すると、低レベル期間ＴＬでは非可視光OFF期間となるように制御され、高レベル期間ＴＨでは非可視光ON期間となるように制御されることになる。
【００６１】
このように、非可視光駆動波形として、１周期Ｔの半分の時間が、低レベル期間ＴＬとなり、残りの半分の時間が高レベル期間ＴＨとなる波形が本実施の形態では採用されている。なお、低レベル期間ＴＬと、高レベル期間ＴＨとは、同一時間となっていれば足り、１周期Ｔ内での順番は特に限定されない。また、１周期Ｔは、図６の例では、１フレーム期間である１ ／６０秒が採用されているが、図１５等で示されるように、特に限定されない。換言すると、低レベル期間ＴＬと高レベル期間ＴＨとのうちの一方から他方への切り替えタイミングは、任意でよく、例えば垂直ブランキング期間と同期させたタイミングとすることもできるし、Syncをトリガとするタイミングとすることもできる。
【００６２】
このように、本実施の形態では、受光を適切に制御する目的で、非可視光光源８３の発光制御が行われている。
【００６３】
この非可視光光源８３の発光制御とは別に、表示の輝度を適切に制御する目的として、可視光光源８２の発光制御も並列して行うと好適である。周囲の明るさや、ユーザの希望によって、表示輝度を任意に制御できるようになるからである。
【００６４】
例えば、暗いときには可視光の輝度（表示輝度）は低めにして、目への過度な刺激を与えないようにする制御を採用できる。また、屋外では、周囲が明るいために表示輝度を上げて、視認性を良くする制御を採用できる。また、半透過型液晶と呼ばれているシステム、即ち、画素内部に反射板を持ち、外光を利用してバックライト電力を削減できるようにしたシステムがI/Oディスプレイシステムとして採用されている場合には、外光が強いときには、可視光光源８２を消灯する制御を採用することができる。
【００６５】
いずれにしても、可視光光源８２の発光制御（以下、可視光制御と称する）は、非可視光光源８３の発光制御（以下、非可視光制御と称する）とは全く別の目的を持って、行われるべきものである。
【００６６】
以下、非可視光制御と並行して実行される可視光制御の具体例の幾つかについて、図７乃至図１９を参照して説明していく。
【００６７】
なお、以下の例では、可視光の強度（発光レベル）として、可視光光源８２の出力100%乃至0%の範囲の強度を採用し、また、可視光制御の周期として1/60秒もしくは31.7マイクロ秒を採用する。ただし、必ずしもこれらの数字に限定されないことは言うまでもない。
【００６８】
ここで、I/Oディスプレイ１１に組み込まれているセンサ５１Ｃとして、可視光に反応しないように設計したセンサを採用した場合について考える。可視光に反応しないようにするための設計手法としては、可視光に反応せず、非可視光の反射を検出する必要があるため、例えば、センサ５１Ｃの上部に可視光を遮断し、かつ非可視を透過するフィルタを構成する設計手法を採用することができる。或いはまた、可視光に反応しないようにするための設計手法としては、センサ５１の分光感度特性を可視光に反応しないように設計する手法を採用することができる。
【００６９】
このような可視光に反応しないように設計されたセンサ５１Ｃを採用した場合には、図７乃至図１９を用いて後述する可視光制御の全ての例を採用することができる。
【００７０】
一方、センサ５１Ｃを、可視光に反応しないように設計することも可能である。ただし、このように設計した場合には、後述する可視光制御の例のいくつかについては、採用できない場合、或いは、留意する点が存在する場合があり、注意を要する。
【００７１】
図７の例の可視光制御は、非可視光制御の周期Ｔとして1/60秒が採用されている場合に、可視光光源８２の出力（発光レベル。ここでは輝度）を一定電圧（アナログ電圧）で行う制御である。
【００７２】
図７の例では、センサ５１Ｃが可視光に反応する場合でも、可視光光源８２は外光とみなされ、非可視光の差分処理（上述の図６のデータＤＣ参照）で取り除かれる。即ち、センサ５１Ｃが可視光に反応する場合でも、図７の例の可視光制御を実現できる。
【００７３】
図８の例の可視光制御は、非可視光制御の周期Ｔとして1/60秒が採用されている場合に、一定電圧（アナログ電圧）で行い、かつ、可視光光源８２の出力（輝度）を時間変化させる制御である。
【００７４】
センサ５１Ｃが可視光に反応しない場合、図８の例の可視光制御を問題なく採用できる。
【００７５】
一方、センサ５１Ｃが可視光に反応する場合、通常、図８に示される速度で可視光光源８２の輝度を変えていくことはできない。非可視光OFF期間にセンサ５１Ｃが受け取る可視光光源８２の出力と、非可視光ON期間にセンサ５１Ｃが受け取る可視光光源８２の出力が異なるからである。即ち、非可視光の差分処理では、この２つの期間のセンサ５１Ｃの出力の差分をとって、外光を除去する検出が行われる。この際、図８に示される速度で可視光光源８２の輝度を変えていくと、可視光による出力に差が生じてしまい、その差が検出されて悪影響を及ぼすからである。
【００７６】
ただし、この差が許容できる場合には、可視光に反応するセンサ５１Ｃも採用可能である。かかる場合の一例が、図９に示されている。
【００７７】
即ち、図９の例の可視光制御も、非可視光制御の周期Ｔとして1/60秒が採用されている場合に、一定電圧（アナログ電圧）で行い、かつ、可視光光源８２の出力（輝度）を時間変化させる制御である。この点では、図８の例の可視光制御と何ら変わりはない。
【００７８】
ただし、図９の例の可視光制御では、可視光光源８２の出力（輝度）の時間変化が、図８の例の可視光制御と比較して緩やかになっている。このように、可視光光源８２の出力（輝度）を徐々にランプ状に変化させることで、センサ５１Ｃへの影響を少なくすることができる。即ち、非可視光OFF期間と非可視光OＮ期間とにおいてセンサ５１Ｃにそれぞれ取得される２枚の画像データの間で、可視光光源８２の変化量を少なく押さえることができる。仮にこの２枚の画像データ間の可視光光源８２の変化量が1%であれば、1秒間に 1.01 ^ 60 = 1.816 となり、81%の輝度変化を実現できることになる。
【００７９】
換言すると、センサ５１Ｃが可視光に反応する場合であって、図７の例の可視光制御を採用している場合に、可視光光源８２の輝度を変化させる必要が生じたときには、そのときだけ、図９の例の可視光制御に切り替え、目標の輝度（出力）に達した段階で、図７の例の可視光制御に再度切り替えればよい。
【００８０】
即ち、図９は、可視光光源８２の輝度変化の手法の一例を示しているとも把握することができる。ただし、可視光光源８２の輝度変化の手法は、図９の例に限定されず、様々な手法を採用することができる。
【００８１】
例えば、図１０の例では、可視光光源８２の輝度（出力）の切り替えを瞬間的に行うべく、可視光駆動波形をステップ状に変化させる手法が採用されている。即ち、図１０の例では、明滅で差分を行うセンサ５１Ｃのスキャン単位である１周期Ｔをまたがずに、可視光駆動波形をステップ状に変化するように、可視光制御が実行されている。かかる手法を採用することにより、センサ５１Ｃへの影響を回避することができる。即ち、かかる手法を採用することにより、センサ５１Ｃが可視光に反応するものでも問題なく動作するように、可視光制御を実行することができる。
【００８２】
これに対して、図１１の例では、可視光の輝度変化を急激にランプ状に変化させ、その変化を1フレーム内で完結させる手法が採用されている。センサ５１Ｃが可視光に反応しない場合は、かかる手法は全く問題なく適用可能である。一方、可視光にセンサ５１Ｃが反応する場合は、可視光変化時のフレーム（図１１の例では、Ｔと記述されている期間内のフレーム）は参照できないことになる。ここで、視点をかえると、センサ５１Ｃへの影響があっても、その影響は1フレーム(1/60秒）だけなので、この1枚のセンサ画像を参照しないことで、I/Oディスプレイシステム全体への影響を極めて少なくすることができる、と把握することもできる。
【００８３】
以上、一定電圧（アナログ電圧）による可視光制御の実施形態について幾つか説明した。次に、PWM（パルス幅変調）による可視光制御の実施形態について幾つか説明していく。
【００８４】
PWMによる可視光制御とは、次のような制御をいう。即ち、可視光駆動波形としては、所定周期（以下PWM周期と称する）毎にパルスが出力される波形が採用される。このパルス期間、即ち、可視光駆動波形が高レベルとなっている期間が、可視光光源８２が発光している期間（可視光の発光レベルが100%等となっている期間）となる。そして、それ以外の期間が、可視光光源８２が消灯している期間（可視光の発光レベルが０レベルとなっている期間）となる。よって、かかるパルス期間の時間幅を可変することで、可視光の輝度制御が実現される。即ち、PWMによる可視光制御とは、可視光の発光レベル（輝度）を変化させる制御の一実施の形態である。
【００８５】
図１２の例の可視光制御は、非可視光制御の周期Ｔとして1/60秒が採用されている場合に、PWMで行う制御である。図１２の例では、PWM周期は任意とされている。
【００８６】
センサ５１Ｃが可視光に反応する場合、図１２の例の可視光制御を採用することはできない。その理由は次の通りである。
【００８７】
即ち、図１２の例では、非可視光駆動波形と可視光駆動波形との同期は考慮されておらず、また、PWM周期が任意である。よって、非可視光OFF期間にセンサ５１Ｃが受け取る可視光光源８２の出力と、非可視光ON期間にセンサ５１Ｃが受け取る可視光光源８２の出力とが異なる場合がある。このため、図１２に示されるように、非可視光OFF期間と非可視光ON期間のパルス数が異なる場合などに、非可視光の差分処理へ与える影響が大きくなるからである。
【００８８】
さらに、PWMのパルス期間とは、上述したように、可視光駆動波形が高レベルとなっている期間、即ち、可視光光源８２が発光している期間となる。ところが、かかるパルス期間と、所定の画素のセンサ５１Ｃのスキャン時刻の関係が全く保証されていない。このため、センサ５１Ｃを画素単位で個々に見た場合には、非可視光の差分処理へ与える影響が大きくなるからである。例えば、図１２の例では、時刻t1と時刻t2において、所定の同一画素のセンサ５１Ｃのスキャンが行われる。しかしながら、当該センサ５１Ｃに対して、時刻t1と時刻t2とで全く違う強度の可視光が入射されている。その結果、非可視光の差分処理へ与える影響が大きくなってしまうことになる。
【００８９】
一方、センサ５１Ｃが可視光に全く反応しない場合は、非可視光の差分処理への影響がない。よって、かかる場合には、図１２の例の可視光制御を採用することができる。
【００９０】
図１３，図１４の例の可視光制御は、非可視光制御の周期Ｔとして1/60秒が採用されている場合に、PWMで行う制御であって、非可視光駆動波形と、可視光駆動波形とを同期させる制御である。なお、非可視光駆動波形の立ち上がりまたは立ち下がりに同期させるタイミングとして、図１３に示されるように非可視光制御のパルスの立ち上がりを採用してもよいし、図１４に示されるように非可視光制御のパルスの立ち下がりを採用してもよい。
【００９１】
さらに、PWM周波数は、図１３や図１４の例の整数倍であれば足りる。具体的には例えば、図１５，図１６の例のような可視光制御を採用することもできる。
【００９２】
また、I/Oディスプレイパネル１１の構造や、センサ５１Ｃの感度、使用する照明などにより、照明の切り替え時に影響が現れる可能性もある。かかる影響を低減させるべく、PWMの位相を変えて対応することも可能である。例えば、図１４の例のPWMの波形（位相）で制御をしている場合であって、センサ５１Ｃの読み取り時と可視光変化時が重なる場合に、その影響が顕著になるときは、図１３の例のようなPWMの波形（位相）に変化させるとよい。
【００９３】
このような図１３乃至図１６の例、即ち、非可視光駆動波形と可視光駆動波形とを同期させる可視光制御を採用することで、画素単位の個々のセンサ５１Ｃで見た場合でも、可視光の強度は、非可視光ON期間と非可視光OFF期間とで同一にすることができる。よって、非可視光の差分処理を行うことで可視光の影響を無くすことができるようになる。
【００９４】
このことは、センサ５１Ｃが可視光に反応する場合でも、可視光駆動波形と可視光駆動波形とを同期させる可視光制御は原理的に問題なく採用できることを意味する。なお、原理的に問題なくと記述した理由は、可視光の影響がセンサ５１Ｃの出力オフセットとなるので、そのオフセットが異なるときに、感度が異なる場合（すなわちセンサ５１Ｃの感度の直線性が悪い場合）などは、それらの考慮が必要となるからである。この場合、可視光の強く当たったセンサ５１Ｃと、弱く当たったセンサ５１Ｃの感度が異なって見えることになるからである。よって、例えば、可視光光源８２の強度は既知なので、その情報を元にセンサ５１Ｃの出力を補正する等の措置を取る必要がある。
【００９５】
なお、PWMによる可視光制御の場合であっても、一定電圧（アナログ電圧）による場合と同様に、可視光光源８２の輝度を変化させる必要が生じるときがある。かかるときの可視光光源８２の輝度変化の手法も、特に限定されず、様々な手法を採用することができる。
【００９６】
例えば、図１７の例では、非可視光駆動波形と可視光駆動波形とを同期させる可視光制御が採用されていることから、非可視光の駆動の単位（１周期Ｔの単位）に合わせて、PWMの駆動比率（パルス幅）を変化させる手法が採用されている。かかる手法を採用することにより、センサ５１Ｃへの影響を回避することができる。即ち、かかる手法を採用することにより、センサ５１Ｃが可視光に反応するものでも問題なく動作するように、可視光制御が実行される。
【００９７】
また、上述した各種可視光制御と並行して実行される非可視光制御についても、その周期Ｔは、特に限定されず、上述した例のように1/60秒を採用する必要は特にない。例えば非可視光制御の周期Ｔは、1/60秒よりも遙かに短く（周波数を高く）することもできる。具体的には例えば、図１８や図１９に示されるように、I/Oディスプレイパネル１１の水平同期周波数に対応する31.7μsを採用することができる。
【００９８】
なお、図１８や図１９の例では、可視光制御としては、非可視光駆動波形と可視光駆動波形とを同期させるPWM制御が採用されており、そのPWM周波数は、非可視光の駆動周波数（＝１／Ｔ）の整数倍が採用されている。このとき、I/Oディスプレイパネル１１の表示やセンサ５１Ｃへの影響が見られる場合、PWMの位相を変えることで対応することができる。ここで、PWMの位相を変える手法自体は、特に限定されず、例えば、図１３と図１４とを用いて上述した手法をそのまま採用することができる。なお、実際には表示と無関係にバックライトをPWM制御しているディスプレイが多いため、このようなディスプレイをI/Oディスプレイパネル１１として採用することで、その表示への影響は軽微されると考えられる。
【００９９】
以上説明したような可視光制御と非可視光制御とを並行して実行できるI/Oパネルディスプレイシステムを採用することで、I/Oディスプレイパネル１１の表面に接触した反射物を、外光の状況にかかわらず、形状ごと確実に捉えることができるようになる。この場合、画像処理部７１が受けとる受光データは、すでに外光が除去され、表面に接触した物体の画像のデータとなっている。よって、画像処理部７１は、各種用途に応じた処理を実行できるようになる。
【０１００】
例えば、画像処理部７１は、従来のタッチパネルと同様の機能（１点検出）を有していれば、２値化の後、最大領域を検出し、指の接触の有無を判定することができる。そして、その後、画像処理部７１は、最大領域の重心を計算することで、入力座標を得ることができる。
【０１０１】
さらに、既存のタッチパネルと異なり、I/Oディスプレイシステムでは、座標だけでなく接触面を画像として捉えられることから、例えば次のような第１の用途乃至第３の用途での使用が実現できる。
【０１０２】
第１の用途とは、手の形を用いたジェスチャ認識の用途、即ち、ジェスチャによる操作の用途をいう。描画、オブジェクトの移動、ズームイン等を示した操作、即ち、現在パーソナルコンピュータ上でコマンドを切り替えている（手のひらツールとズームなど）操作を、より自然な形で入力することを可能にする用途が、第１の用途である。
【０１０３】
第２の用途とは、毛筆のタッチまで実現する描画パネルとしての用途、即ち、多点検出の利点を活かし、毛筆の接触を検出する用途をいう。即ち、一部のデジタイザにおいて特殊なペンの傾きを電界検出で実現していた従来の用途の代わりとして採用でき、本物の毛筆の接触面そのものを検知することにより、より現実的な感覚で情報入力を行えることができる用途が、第２の用途である。
【０１０４】
第３の用途とは、表面にアクリルカバーや、デザインされたカバーを装着したパネルとして使用する用途をいう。第３の用途により、光学方式による検出の利点を活かし、感圧式のタッチパネルでは不可能なカバーの装着が可能になる。その結果、製品デザインの向上や、カバー自体にデザイン性をもたせた新規製品群の開発が容易にできる等の効果を奏することが可能になる。
【０１０５】
以上説明したI/Oディスプレイシステムを採用することで、次の第１乃至第４の効果を奏することが可能になる。
【０１０６】
第１の効果とは、受光目的の非可視光制御と並行して、可視光制御が実現できるので、I/Oディスプレイパネル１１の輝度調整が適切にできるようになることである。
【０１０７】
第２の効果とは、可視光制御として上述した各種制御を採用することで、 輝度調整時のセンサ１１Ｃや表示への影響を抑止できるようになることである。
【０１０８】
第３の効果とは、受光目的の非可視光制御とは並列して、可視光制御が実現できるので、可視光輝度調整による消費電力削減が図れるようになることである。
【０１０９】
第４の効果とは、上述の用途として説明した如く、多点検出可能なジェスチャパネルの実現可能になることである。
【０１１０】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０１１１】
この場合、図４のI/Oディスプレイの少なくとも一部として、例えば、図２０に示されるパーソナルコンピュータを採用してもよい。
【０１１２】
図２０において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１１３】
CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。
【０１１４】
入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０１１５】
入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。
【０１１６】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１１７】
このようなプログラムを含む記録媒体は、図２０に示されるように、装置本体とは別に、操作者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態で操作者に提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０１１８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１９】
また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。
【０１２０】
さらにまた、以上説明したI/Oディスプレイ等の本発明における表示装置は、フラットパネル形状を有し、様々な電子機器、例えば、デジタルカメラ、ノート型パーソナルコンピュータ、携帯電話、ビデオカメラなど、電子機器に入力された、若しくは、電子機器内で生成した映像信号を画像若しくは映像として表示するあらゆる分野の電子機器のディスプレイに適用することが可能である。以下この様な表示装置が適用された電子機器の例を示す。
【０１２１】
例えば、本発明は、電子機器の一例であるテレビジョン受像機に適用できる。このテレビジョン受像機は、フロントパネル、フィルターガラス等から構成される映像表示画面を含み、本発明の表示装置をその映像表示画面に用いることにより作製される。
【０１２２】
例えば、本発明は、電子機器の一例であるデジタルカメラに適用できる。このデジタルカメラは、撮像レンズ、表示部、コントロールスイッチ、メニュースイッチ、シャッター等を含み、本発明の表示装置をその表示部に用いることにより作製される。
【０１２３】
例えば、本発明は、ノート型パーソナルコンピュータに適用できる。このノート型パーソナルコンピュータにおいて、その本体には文字等を入力するとき操作されるキーボードを含み、その本体カバーには画像を表示する表示部を含む。このノート型パーソナルコンピュータは、本発明の表示装置をその表示部に用いることにより作製される。
【０１２４】
例えば、本発明は、携帯端末装置に適用できる。この携帯端末装置は、上部筺体と下部筺体とを有している。この携帯端末装置の状態としては、それらの２つの筺体が開いた状態と、閉じた状態とが存在する。この携帯端末装置は、上述した上側筐体と下側筐体との他、連結部（ここではヒンジ部）、ディスプレイ、サブディスプレイ、ピクチャーライト、カメラ等を含み、本発明の表示装置をそのディスプレイやサブディスプレイに用いることにより作製される。
【０１２５】
例えば、本発明は、いわゆるビデオカメラに適用可能である。ビデオカメラは、本体部、前方を向いた側面に被写体撮影用のレンズ、撮影時のスタート／ストップスイッチ、モニター等を含み、本発明の表示装置をそのモニター３６に用いることにより作製される。
【図面の簡単な説明】
【０１２６】
【図１】本発明が適用されるI/Oディスプレイパネルの構成例を示す図である。
【図２】図１のI/Oディスプレイパネルに配置された画素回路の構成例を示した図である。
【図３】図１のI/Oディスプレイパネルに配置された画素回路の構成例を示した図である。
【図４】本発明が適用されるI/Oディスプレイの機能的構成例を示す機能ブロック図である。
【図５】図１のI/Oディスプレイパネルに対するバックライトの構成例を示している。
【図６】図４のI/Oディスプレイの受光の動作を説明する図である。
【図７】図５の可視光光源の駆動手法の一例を説明する図である。
【図８】図５の可視光光源の駆動手法の一例を説明する図である。
【図９】図５の可視光光源の駆動手法の一例を説明する図である。
【図１０】図５の可視光光源の駆動手法の一例を説明する図である。
【図１１】図５の可視光光源の駆動手法の一例を説明する図である。
【図１２】図５の可視光光源の駆動手法の一例を説明する図である。
【図１３】図５の可視光光源の駆動手法の一例を説明する図である。
【図１４】図５の可視光光源の駆動手法の一例を説明する図である。
【図１５】図５の可視光光源の駆動手法の一例を説明する図である。
【図１６】図５の可視光光源の駆動手法の一例を説明する図である。
【図１７】図５の可視光光源の駆動手法の一例を説明する図である。
【図１８】図５の可視光光源の駆動手法の一例を説明する図である。
【図１９】図５の可視光光源の駆動手法の一例を説明する図である。
【図２０】本発明が適用される処理をソフトウエアで実行するコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１２７】
１１ I/Oディスプレイパネル， ２１ 表示エリア（センサエリア）， ２２ 表示用Ｈドライバ， ２３ 表示用Ｖドライバ， ２４ センサ用Ｖレシーバ， ２５ センサＨレシーバ， ５１ 画素回路， ５１Ｃ センサ， ５２ 読み出し回路， ５３ 定電流源， ６１ 表示ドライブ回路， ６２ 受光ドライブ回路， ６３ アプリケーションプログラム実行部， ７１ 画像処理部， ７２ フレームメモリ， ８１ 導光板， ８２ 可視光光源， ８３ 非可視光光源，２０１ ＣＰＵ， ２０２ ＲＯＭ， ２０３ ＲＡＭ， ２０４ バス， ２０５ 入出力インタフェース， ２０６ 入力部， ２０７ 出力部， ２０８ 記憶部， ２０９ 通信部， ２１０ ドライブ， ２１１ リムーバブルメディア
【技術分野】
【０００１】
本発明は、例えば、液晶表示ディスプレイやＥＬ（electro− luminescence ）ディスプレイに適用して好適な表示装置及び方法、プログラム、並びに電子機器に関し、特に信頼性の高い光学的なタッチパネル機能を実現化することができる技術に関する。
【背景技術】
【０００２】
従来、タッチパネル機能、即ち、テレビジョン受像機などの表示装置の画面上に、その画面に触れることで操作が可能となる機能を実現させる場合、表示装置とは別体のタッチパネルを画面上に重ねる構成が採用されていた。
【０００３】
別体のタッチパネルを使用する構成としては、例えば、画面の上に透明で薄い入力検出装置を貼り付けたものがある。ディスプレイの表面に接触したことを検知する手段として、圧力の変化を感知する抵抗膜式や、人体との接触で変化する静電気による電気信号を感知する静電容量式などを採用したタッチパネルが実用化されている。しかし、これらのタッチパネルは、基本的に表面の一点のみの位置検出が可能であり、複数点の同時検出はできない。そのためタッチパネルを用いた操作入力装置においては、接触した１点の位置を基に使用者からの指示を判別するか、あるいは一点の位置の変化を基に指示を判別する方法が一般的であった。
【０００４】
特許文献１には、表示画面上の２次元方向の指示位置の移動入力を受け付け、移動開始から移動終了までの指示位置の座標変化に基づいて使用者からの指示内容を判別し、指示内容に応じた処理を行う操作入力受付装置についての開示がある。
【特許文献１】特開２００４−３３６５９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ディスプレイを通した操作を分かりやすく、効率的に行うためには、ディスプレイの表面に直接触れて指示する方法が有効であるが、従来のタッチパネルでは表示画面上の接触箇所を１点しか認識できないため、操作方法が限定され、画面上で実行できる処理に限界があった。
【０００６】
これらの従来のタッチパネルの不都合を解決するために、パネルを分割して複数点を検出できるようにしたタッチパネルも考案されている。しかし、かかるタッチパネルは、各々限られた範囲の中で１点ずつを検出するものであり、画面上の自由な位置で複数の点を検知することは難しい。また、赤外線式などの検出部を複数備えることで、複数点の位置検出ができる接触位置検出装置も考案されている。しかし、かかる装置では、画面外部に検出部を設置する必要があるなど、装置が大型化、複雑化するという問題があった。
【０００７】
このような状況下、従来とは異なる方式のタッチパネル機能を有する表示装置であって、信頼性の高い表示装置の実現化が望まれている。
【０００８】
本発明は、このような状況に鑑み、光学方式のタッチパネル機能を有する表示装置であって、信頼性の高い表示装置の実現化することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一側面の表示装置は、画像の表示と受光とを行う表示装置であって、前記受光用の照明として非可視光を発光する第１の発光手段と、前記表示用の照明として可視光を発光する第２の発光手段と、前記第１の発光手段の発光制御と、前記第２の発光手段の発光制御とを並列的に実行する制御手段とを備える。
【００１０】
前記制御手段は、前記第１の発光手段の制御として、第１の発光レベルで非可視光を発光させる第１の期間と、第２の発光レベルで非可視光を発光させる第２の期間とをそれぞれ同一時間で繰り返す制御を行う。
【００１１】
前記制御手段は、前記第２の発光手段の制御として、一定の発光レベルで可視光を発光させる制御を行う。
【００１２】
前記制御手段は、前記第２の発光手段の制御として、可視光の発光レベルを変化させる制御を行う。
【００１３】
前記制御手段は、前記第２の発光手段の制御として、可視光の発光レベルをランプ状に変化させる制御を行う。
【００１４】
前記制御手段は、前記ランプ状の変化の傾きを一定以下に制限する制御を行う。
【００１５】
前記制御手段は、前記第１の発光手段の制御による１回の前記第１の期間と前記第２の期間との間に、前記ランプ状の変化を終了させる。
【００１６】
前記制御手段は、前記第２の発光手段の制御として、前記非視光の発光レベルの変化タイミングに同期させて、可視光の発光レベルを変化させる制御を行う。
【００１７】
前記制御手段は、前記第２の発光手段の制御として、前記第１の発光手段の制御による前記第１の期間における、可視光の発光レベルの変化パターンと、前記第１の発光手段の制御による前記第２の期間における、可視光の発光レベルの変化パターンと一致させる制御を行う。
【００１８】
前記制御手段は、前記第２の発光手段の制御として、前記第１の発光手段の制御による１回の前記第１の期間と前記第２の期間との間に、可視光の発光レベルの時間的変化率を可変させる制御を行う。
【００１９】
本発明の一側面の表示方法およびプログラムは、上述した本発明の一側面の表示装置に対応する方法およびプログラムである。
【００２０】
本発明の一側面の表示装置および方法並びにプログラムにおいては、画像の表示と受光とを同時又は交互に行う表示装置であって、前記受光用の照明として非可視光を発光する第１の発光手段と、前記表示用の照明として可視光を発光する第２の発光手段とを備える表示装置において、前記第１の発光手段の発光制御と、前記第２の発光手段の発光制御とが並列的に実行される。
【００２１】
本発明の一側面の電子機器は、画像の表示と受光とを行う表示手段を備える電子機器であって、前記表示手段は、前記受光用の照明として非可視光を発光する第１の発光手段と、前記表示用の照明として可視光を発光する第２の発光手段とを有しており、前記電子機器は、前記第１の発光手段の発光制御と、前記第２の発光手段の発光制御とを並列的に実行する制御手段とを備える。
【発明の効果】
【００２２】
本発明によれば、光学方式のタッチパネル機能を有する表示装置やそれを搭載した電子機器を実現できる。さらに、信頼性の高い表示装置や電子機器を実現できる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の一実施の形態として、I/Oディスプレイについて説明していく。
【００２４】
I/Oディスプレイとは、ディスプレイ表面が表示機能と撮像素子機能（受光機能）とを併せ持っているディスプレイをいう。I/Oディスプレイは、かかる機能を有することにより、タッチパネル機能を始めとして、非常に広範囲な分野に適用することができる。
【００２５】
図１は、I/Oディスプレイパネルの構成例を示している。
【００２６】
I/Oディスプレイパネル１１には、その中央に透明な表示エリア（センサエリア）２１が配置されている。表示エリア２１の４つの端面には、表示用水平（Ｈ）ドライバ２２、表示用垂直（Ｖ）ドライバ２３、センサ用水平（Ｈ）レシーバ２５、センサ用垂直（Ｖ）レシーバ２４がそれぞれ配置されている。表示用Ｈドライバ２２と表示用Ｖドライバ２３には、表示用のデータとして、表示信号と制御クロックとが供給されて、表示エリア２１にマトリクス状に配置された表示画素の駆動が行われる。センサ用Ｈレシーバ２５とセンサ用Ｖレシーバ２４には、読み出し用のクロックが供給されて、そのクロックに同期して読み出された受光信号が、受光信号線を介して出力される。
【００２７】
図２と図３は、表示エリア２１に配置された画素回路の構成例を示した図である。図２に示されるように、１つの画素につき、赤色用の画素回路５１Ｒ、緑色用の画素回路５１Ｇ、および青色用の画素回路５１Ｂが配置されている。赤色用の画素回路５１Ｒ、緑色用の画素回路５１Ｇ、および青色用の画素回路５１Ｂは、定電流源５３Ｒ，５３Ｇ，５３Ｂのそれぞれに接続されるともに、読み出し回路５２に接続されている。
【００２８】
なお、読み出し回路５２は、後述する図４の受光ドライブ回路６２の一構成要素となっている。即ち、図４に記載の「受光データ」が、赤色用の画素回路５１Ｒ、緑色用の画素回路５１Ｇ、および青色用の画素回路５１Ｂから出力されて、読み出し回路５２に提供されることになる。また、定電流源５３Ｒ，５３Ｇ，５３Ｂは、後述する図４の受光ドライブ回路６２の一構成要素となる場合と、図３のセンサ用Ｈレシーバ２５の一構成要素となる場合がそれぞれあり得る。
【００２９】
ここで、以下、画素回路５１Ｒ，５１Ｇ，５１Ｂを個々に区別する必要がない場合、これらをまとめて画素回路５１と称する。画素回路５１は、例えば図３に示されるように構成される。即ち、画素回路５１において、水平方向にゲート電極５１ｈが配置されており、垂直方向にドレイン電極５１ｉが配置されており、両電極の交点にスイッチング素子５１ａが配置されており、そのスイッチング素子５１ａと画素電極５１ｂが接続されている。スイッチング素子５１ａは、ゲート電極５１ｈを介して得られる信号によりオン／オフが制御され、ドレイン電極５１ｉを介して供給される信号により、画素電極５１ｂでの表示状態が設定される。
【００３０】
そして、画素電極５１ｂに隣接した位置に、センサ５１Ｃ（受光素子５１ｃ）が配置されており、電源電圧VDDが供給される。このセンサ５１Ｃには、リセットスイッチ５１ｄとコンデンサ５１ｅが接続されている。リセットスイッチ５１ｄによってセンサ５１Ｃがリセットされた後、センサ５１Ｃの受光量に対応した電荷がコンデンサ５１ｅ蓄積される。その蓄積された電荷に比例した電圧が、読み出しスイッチ５１ｇがオン状態となるタイミングで、バッファアンプ５１ｆを介して、信号出力用電極５１ｊに供給され、外部（図２の読み出し回路５２）に出力される。リセットスイッチ５１ｄのオン／オフ状態は、リセット電極５１ｋに得られる信号により制御される。読み出しスイッチ５１ｇのオン／オフ状態は、読出し制御電極５１ｍに得られる信号により制御される。
【００３１】
即ち、画面全体では、次のような駆動動作が行われる。画面全体がリセットされ、前の撮像フレームのデータ（各センサ５１ｃの蓄積電荷）が消去された後、露光が行われ、画面全体がリードされることで撮像データが得られる。このような駆動動作の繰り返しにより、動画としての撮像データが取得される。なお、以上の駆動動作は、一般のCMOS撮像素子とほぼ同様の駆動動作となっている。画面全体のリセットとリードの制御は、図１の各種ドライバ等２２乃至２５により制御される。このような制御手法としては、例えば表示に用いる線順次駆動や点順次駆動といった手法と同じものを採用することが可能である。
【００３２】
図４は、I/Oディスプレイパネル１１を含むI/Oディスプレイシステム、即ち本発明が適用されるシステムの構成例を示している。
【００３３】
I/Oディスプレイシステムは、I/Oディスプレイパネル１１の他、表示ドライブ回路６１、受光ドライブ回路６２、およびアプリケーションプログラム実行部６３を含むように構成される。受光ドライブ回路６２には、画像処理部７１とフレームメモリ７２とが搭載されている。
【００３４】
このようなI/Oディスプレイシステムは、例えば有機ELディスプレイの応用として構成できる。有機ELデバイスの場合、画素に逆バイアスを印加することにより、受光した強度に比例した電流が発生する。これにより、撮像の機能を、表示の機能と時分割に行うことができるからである。
【００３５】
また、I/Oディスプレイシステムは、例えば液晶パネルの応用として構成できる。液晶パネルを駆動するTFT層に、同時に撮像素子の機能を作りこむことによって、表示と撮像両方の機能を実現することができるからである。
【００３６】
従って、I/Oディスプレイシステムは、表示と撮像の機能に基づき、光学的なタッチパネル機能を実現できるようになる。そして、かかるタッチパネル機能の実現により、次のような第１乃至第３の特徴を持たせることができるようになる。
【００３７】
第１の特徴とは、複数の指による入力が可能となる特徴である。
【００３８】
第２の特徴とは、表示品質が高い、即ち、表面に取り付ける従来のタッチパネル用フィルムのように、輝度や精細度が落ちないという特徴である。
【００３９】
第３の特徴とは、表面からジェスチャ入力のできる表示デバイスが実現できるという特徴である。
【００４０】
ところで、I/Oディスプレイシステムにおいて、光学的にタッチパネル機能を実現する手法として、受光（指等の検出）についても、周囲の明るさが暗いとき等には主に表示光（可視光）を利用する手法が考えられる。
【００４１】
しかしながら、かかる手法では、次のような第１乃至第３の問題が生じてしまう。
【００４２】
第１の問題とは、表示内容により検出画像が著しく異なり、黒画面では検出できないという問題である。
【００４３】
第２の問題とは、第１の問題を部分的に解決するために、表示画面を調整する手法が考えられるが、かかる手法を適用した場合、画質低下を伴うという問題である。
【００４４】
第３の問題とは、暗い場所での眩しさを押さえるため、表示輝度を下げると、検出が困難になるという問題である。
【００４５】
これらの第１乃至第３の問題を解決するためには、表示用の可視光とは別に、指等の検出に対しては非可視光を利用すると好適である。ただし、非可視光の制御を行う場合、外光と反射物の識別を行うことが可能である一方、同時に利用している可視光については、次のような第４，第５の問題を解決する必要がある。
【００４６】
第４の問題とは、 可視光を任意のタイミングで制御した場合、非可視光の差分処理に影響を与えることがあるという問題である。
【００４７】
第５の問題とは、可視光の輝度を任意のタイミングで大きく変化させた場合、非可視光の差分処理に影響を与えることがあるという問題である。
【００４８】
なお、非可視光の差分処理については、後述する。
【００４９】
以下、図５乃至図１９を参照して、これらの問題を解決し、任意の表示輝度を実現するための手法について説明していく。
【００５０】
図５は、I/Oディスプレイパネル１１に対するバックライトの構成例を示している。図５の構成は、液晶ディスプレイ式のI/Oディスプレイ１１を考慮した構成となっている。即ち、バックライトの構成例は、図５の例に限定されず、I/Oディスプレイ１１として例えば有機ELの方式を採用した場合には、各画素に光源を持たせる構成を取るようにしてもよい。
【００５１】
図５の例では、可視光光源８２による可視光と、非可視光光源８３による非可視光とが、導光板８１を介してI/Oディスプレイパネル１１にバックライトとして照射される。
【００５２】
この場合、I/Oディスプレイパネル１１は、１フレームの期間内に、表示１回と、受光（撮像）２回とをそれぞれ実行する。なお、受光とは、受光信号の読み出し動作をいう。
【００５３】
ここで、図４のI/Oディスプレイシステムの受光の動作について、図６を参照して説明する。
【００５４】
図６の横軸は時間軸である。縦軸は、表示や受光を行う走査ライン（水平ライン）の位置を示している。表示信号の書き換えや受光信号の読出しは、ここでは１画面の最下段のラインから順に走査ラインを上に変化させて、最後に最上段のライン（１番目のライン）の走査を行うようになされている。図６には、任意のフレーム位置の１フレーム分の処理が示されている。それ以降のフレームについても同様の処理が繰り返し実行される。
【００５５】
ここでは、１フレーム期間は、例えば１ ／６０秒とされている。そして、図６に示されるように、１フレーム期間は前半と後半に２等分されている。前半は、非可視光光源８３による非可視光が消灯(OFF)とされる期間（以下、非可視光OFF期間と称する)とされている。後半は、非可視光が点灯(ON)とされる期間（以下、非可視光ON期間と称する)とされている。受光は、非可視光OFF期間と非可視光ON期間のそれぞれで行うようになされている。
【００５６】
具体的には、非可視光OFF期間では、その前半に、全てのラインの受光信号を順にリセットさせる処理ＲＳ１が行われ、その後半に、全てのラインの受光信号を順に読み出す処理ＲＤ１が行われ、それぞれのセンサ５１Ｃで一定期間蓄積された受光信号が読み出される。即ち、非可視光OFF期間では、受光２回のうち１回目の受光として、非可視光光源８３による非可視光が消灯された受光であって、その結果、外光のみの受光が行われることになる。かかる受光の結果得られる受光データＤＡは、受光ドライブ回路６２のフレームメモリ７２に一旦格納される。
【００５７】
非可視光OFF期間に続き、非可視光ON期間では、その前半に、全てのラインの受光信号を順にリセットさせる処理ＲＳ２が行われ、その後半に、全てのラインの受光信号を順に読み出す処理ＲＤ２が行われ、それぞれのセンサ５１Ｃで一定期間蓄積された受光信号が読み出される。即ち、非可視光ON期間では、受光２回のうち２回目の受光として、非可視光光源８３による非可視光の発光に基づく受光であって、I/Oディスプレイパネル１１の表示エリア２１の表面に接触した指等の反射と、外光の両方の受光が行われる。
【００５８】
そして、かかる受光の結果得られる受光データＤＢと、受光ドライブ回路６２のフレームメモリ７２に一旦格納された受光データＤＡとの差分のデータＤＣが、画像処理部７１に送られることになる。なお、差分を取る理由は、外光による影響を取り除くためである。
【００５９】
以上の差分のデータＤＣが生成されるまでの処理が、上述した第４の問題や第５の問題において言及した「非可視光の差分処理」である。
【００６０】
即ち、本実施の形態では、図６に示されるように、低レベル期間ＴＬと高レベル期間ＴＨとが繰り返される非可視光駆動波形に基づいて、非可視光光源８３の発光制御が行われる。即ち、低レベル期間ＴＬでは非可視光の発光レベル（強度）が低レベルとなるように制御され、高レベル期間ＴＨでは非可視光の発光レベルが高レベルとなるように制御される。ここで、低レベルとして０％を採用し、高レベルとして１００％等を採用すると、低レベル期間ＴＬでは非可視光OFF期間となるように制御され、高レベル期間ＴＨでは非可視光ON期間となるように制御されることになる。
【００６１】
このように、非可視光駆動波形として、１周期Ｔの半分の時間が、低レベル期間ＴＬとなり、残りの半分の時間が高レベル期間ＴＨとなる波形が本実施の形態では採用されている。なお、低レベル期間ＴＬと、高レベル期間ＴＨとは、同一時間となっていれば足り、１周期Ｔ内での順番は特に限定されない。また、１周期Ｔは、図６の例では、１フレーム期間である１ ／６０秒が採用されているが、図１５等で示されるように、特に限定されない。換言すると、低レベル期間ＴＬと高レベル期間ＴＨとのうちの一方から他方への切り替えタイミングは、任意でよく、例えば垂直ブランキング期間と同期させたタイミングとすることもできるし、Syncをトリガとするタイミングとすることもできる。
【００６２】
このように、本実施の形態では、受光を適切に制御する目的で、非可視光光源８３の発光制御が行われている。
【００６３】
この非可視光光源８３の発光制御とは別に、表示の輝度を適切に制御する目的として、可視光光源８２の発光制御も並列して行うと好適である。周囲の明るさや、ユーザの希望によって、表示輝度を任意に制御できるようになるからである。
【００６４】
例えば、暗いときには可視光の輝度（表示輝度）は低めにして、目への過度な刺激を与えないようにする制御を採用できる。また、屋外では、周囲が明るいために表示輝度を上げて、視認性を良くする制御を採用できる。また、半透過型液晶と呼ばれているシステム、即ち、画素内部に反射板を持ち、外光を利用してバックライト電力を削減できるようにしたシステムがI/Oディスプレイシステムとして採用されている場合には、外光が強いときには、可視光光源８２を消灯する制御を採用することができる。
【００６５】
いずれにしても、可視光光源８２の発光制御（以下、可視光制御と称する）は、非可視光光源８３の発光制御（以下、非可視光制御と称する）とは全く別の目的を持って、行われるべきものである。
【００６６】
以下、非可視光制御と並行して実行される可視光制御の具体例の幾つかについて、図７乃至図１９を参照して説明していく。
【００６７】
なお、以下の例では、可視光の強度（発光レベル）として、可視光光源８２の出力100%乃至0%の範囲の強度を採用し、また、可視光制御の周期として1/60秒もしくは31.7マイクロ秒を採用する。ただし、必ずしもこれらの数字に限定されないことは言うまでもない。
【００６８】
ここで、I/Oディスプレイ１１に組み込まれているセンサ５１Ｃとして、可視光に反応しないように設計したセンサを採用した場合について考える。可視光に反応しないようにするための設計手法としては、可視光に反応せず、非可視光の反射を検出する必要があるため、例えば、センサ５１Ｃの上部に可視光を遮断し、かつ非可視を透過するフィルタを構成する設計手法を採用することができる。或いはまた、可視光に反応しないようにするための設計手法としては、センサ５１の分光感度特性を可視光に反応しないように設計する手法を採用することができる。
【００６９】
このような可視光に反応しないように設計されたセンサ５１Ｃを採用した場合には、図７乃至図１９を用いて後述する可視光制御の全ての例を採用することができる。
【００７０】
一方、センサ５１Ｃを、可視光に反応しないように設計することも可能である。ただし、このように設計した場合には、後述する可視光制御の例のいくつかについては、採用できない場合、或いは、留意する点が存在する場合があり、注意を要する。
【００７１】
図７の例の可視光制御は、非可視光制御の周期Ｔとして1/60秒が採用されている場合に、可視光光源８２の出力（発光レベル。ここでは輝度）を一定電圧（アナログ電圧）で行う制御である。
【００７２】
図７の例では、センサ５１Ｃが可視光に反応する場合でも、可視光光源８２は外光とみなされ、非可視光の差分処理（上述の図６のデータＤＣ参照）で取り除かれる。即ち、センサ５１Ｃが可視光に反応する場合でも、図７の例の可視光制御を実現できる。
【００７３】
図８の例の可視光制御は、非可視光制御の周期Ｔとして1/60秒が採用されている場合に、一定電圧（アナログ電圧）で行い、かつ、可視光光源８２の出力（輝度）を時間変化させる制御である。
【００７４】
センサ５１Ｃが可視光に反応しない場合、図８の例の可視光制御を問題なく採用できる。
【００７５】
一方、センサ５１Ｃが可視光に反応する場合、通常、図８に示される速度で可視光光源８２の輝度を変えていくことはできない。非可視光OFF期間にセンサ５１Ｃが受け取る可視光光源８２の出力と、非可視光ON期間にセンサ５１Ｃが受け取る可視光光源８２の出力が異なるからである。即ち、非可視光の差分処理では、この２つの期間のセンサ５１Ｃの出力の差分をとって、外光を除去する検出が行われる。この際、図８に示される速度で可視光光源８２の輝度を変えていくと、可視光による出力に差が生じてしまい、その差が検出されて悪影響を及ぼすからである。
【００７６】
ただし、この差が許容できる場合には、可視光に反応するセンサ５１Ｃも採用可能である。かかる場合の一例が、図９に示されている。
【００７７】
即ち、図９の例の可視光制御も、非可視光制御の周期Ｔとして1/60秒が採用されている場合に、一定電圧（アナログ電圧）で行い、かつ、可視光光源８２の出力（輝度）を時間変化させる制御である。この点では、図８の例の可視光制御と何ら変わりはない。
【００７８】
ただし、図９の例の可視光制御では、可視光光源８２の出力（輝度）の時間変化が、図８の例の可視光制御と比較して緩やかになっている。このように、可視光光源８２の出力（輝度）を徐々にランプ状に変化させることで、センサ５１Ｃへの影響を少なくすることができる。即ち、非可視光OFF期間と非可視光OＮ期間とにおいてセンサ５１Ｃにそれぞれ取得される２枚の画像データの間で、可視光光源８２の変化量を少なく押さえることができる。仮にこの２枚の画像データ間の可視光光源８２の変化量が1%であれば、1秒間に 1.01 ^ 60 = 1.816 となり、81%の輝度変化を実現できることになる。
【００７９】
換言すると、センサ５１Ｃが可視光に反応する場合であって、図７の例の可視光制御を採用している場合に、可視光光源８２の輝度を変化させる必要が生じたときには、そのときだけ、図９の例の可視光制御に切り替え、目標の輝度（出力）に達した段階で、図７の例の可視光制御に再度切り替えればよい。
【００８０】
即ち、図９は、可視光光源８２の輝度変化の手法の一例を示しているとも把握することができる。ただし、可視光光源８２の輝度変化の手法は、図９の例に限定されず、様々な手法を採用することができる。
【００８１】
例えば、図１０の例では、可視光光源８２の輝度（出力）の切り替えを瞬間的に行うべく、可視光駆動波形をステップ状に変化させる手法が採用されている。即ち、図１０の例では、明滅で差分を行うセンサ５１Ｃのスキャン単位である１周期Ｔをまたがずに、可視光駆動波形をステップ状に変化するように、可視光制御が実行されている。かかる手法を採用することにより、センサ５１Ｃへの影響を回避することができる。即ち、かかる手法を採用することにより、センサ５１Ｃが可視光に反応するものでも問題なく動作するように、可視光制御を実行することができる。
【００８２】
これに対して、図１１の例では、可視光の輝度変化を急激にランプ状に変化させ、その変化を1フレーム内で完結させる手法が採用されている。センサ５１Ｃが可視光に反応しない場合は、かかる手法は全く問題なく適用可能である。一方、可視光にセンサ５１Ｃが反応する場合は、可視光変化時のフレーム（図１１の例では、Ｔと記述されている期間内のフレーム）は参照できないことになる。ここで、視点をかえると、センサ５１Ｃへの影響があっても、その影響は1フレーム(1/60秒）だけなので、この1枚のセンサ画像を参照しないことで、I/Oディスプレイシステム全体への影響を極めて少なくすることができる、と把握することもできる。
【００８３】
以上、一定電圧（アナログ電圧）による可視光制御の実施形態について幾つか説明した。次に、PWM（パルス幅変調）による可視光制御の実施形態について幾つか説明していく。
【００８４】
PWMによる可視光制御とは、次のような制御をいう。即ち、可視光駆動波形としては、所定周期（以下PWM周期と称する）毎にパルスが出力される波形が採用される。このパルス期間、即ち、可視光駆動波形が高レベルとなっている期間が、可視光光源８２が発光している期間（可視光の発光レベルが100%等となっている期間）となる。そして、それ以外の期間が、可視光光源８２が消灯している期間（可視光の発光レベルが０レベルとなっている期間）となる。よって、かかるパルス期間の時間幅を可変することで、可視光の輝度制御が実現される。即ち、PWMによる可視光制御とは、可視光の発光レベル（輝度）を変化させる制御の一実施の形態である。
【００８５】
図１２の例の可視光制御は、非可視光制御の周期Ｔとして1/60秒が採用されている場合に、PWMで行う制御である。図１２の例では、PWM周期は任意とされている。
【００８６】
センサ５１Ｃが可視光に反応する場合、図１２の例の可視光制御を採用することはできない。その理由は次の通りである。
【００８７】
即ち、図１２の例では、非可視光駆動波形と可視光駆動波形との同期は考慮されておらず、また、PWM周期が任意である。よって、非可視光OFF期間にセンサ５１Ｃが受け取る可視光光源８２の出力と、非可視光ON期間にセンサ５１Ｃが受け取る可視光光源８２の出力とが異なる場合がある。このため、図１２に示されるように、非可視光OFF期間と非可視光ON期間のパルス数が異なる場合などに、非可視光の差分処理へ与える影響が大きくなるからである。
【００８８】
さらに、PWMのパルス期間とは、上述したように、可視光駆動波形が高レベルとなっている期間、即ち、可視光光源８２が発光している期間となる。ところが、かかるパルス期間と、所定の画素のセンサ５１Ｃのスキャン時刻の関係が全く保証されていない。このため、センサ５１Ｃを画素単位で個々に見た場合には、非可視光の差分処理へ与える影響が大きくなるからである。例えば、図１２の例では、時刻t1と時刻t2において、所定の同一画素のセンサ５１Ｃのスキャンが行われる。しかしながら、当該センサ５１Ｃに対して、時刻t1と時刻t2とで全く違う強度の可視光が入射されている。その結果、非可視光の差分処理へ与える影響が大きくなってしまうことになる。
【００８９】
一方、センサ５１Ｃが可視光に全く反応しない場合は、非可視光の差分処理への影響がない。よって、かかる場合には、図１２の例の可視光制御を採用することができる。
【００９０】
図１３，図１４の例の可視光制御は、非可視光制御の周期Ｔとして1/60秒が採用されている場合に、PWMで行う制御であって、非可視光駆動波形と、可視光駆動波形とを同期させる制御である。なお、非可視光駆動波形の立ち上がりまたは立ち下がりに同期させるタイミングとして、図１３に示されるように非可視光制御のパルスの立ち上がりを採用してもよいし、図１４に示されるように非可視光制御のパルスの立ち下がりを採用してもよい。
【００９１】
さらに、PWM周波数は、図１３や図１４の例の整数倍であれば足りる。具体的には例えば、図１５，図１６の例のような可視光制御を採用することもできる。
【００９２】
また、I/Oディスプレイパネル１１の構造や、センサ５１Ｃの感度、使用する照明などにより、照明の切り替え時に影響が現れる可能性もある。かかる影響を低減させるべく、PWMの位相を変えて対応することも可能である。例えば、図１４の例のPWMの波形（位相）で制御をしている場合であって、センサ５１Ｃの読み取り時と可視光変化時が重なる場合に、その影響が顕著になるときは、図１３の例のようなPWMの波形（位相）に変化させるとよい。
【００９３】
このような図１３乃至図１６の例、即ち、非可視光駆動波形と可視光駆動波形とを同期させる可視光制御を採用することで、画素単位の個々のセンサ５１Ｃで見た場合でも、可視光の強度は、非可視光ON期間と非可視光OFF期間とで同一にすることができる。よって、非可視光の差分処理を行うことで可視光の影響を無くすことができるようになる。
【００９４】
このことは、センサ５１Ｃが可視光に反応する場合でも、可視光駆動波形と可視光駆動波形とを同期させる可視光制御は原理的に問題なく採用できることを意味する。なお、原理的に問題なくと記述した理由は、可視光の影響がセンサ５１Ｃの出力オフセットとなるので、そのオフセットが異なるときに、感度が異なる場合（すなわちセンサ５１Ｃの感度の直線性が悪い場合）などは、それらの考慮が必要となるからである。この場合、可視光の強く当たったセンサ５１Ｃと、弱く当たったセンサ５１Ｃの感度が異なって見えることになるからである。よって、例えば、可視光光源８２の強度は既知なので、その情報を元にセンサ５１Ｃの出力を補正する等の措置を取る必要がある。
【００９５】
なお、PWMによる可視光制御の場合であっても、一定電圧（アナログ電圧）による場合と同様に、可視光光源８２の輝度を変化させる必要が生じるときがある。かかるときの可視光光源８２の輝度変化の手法も、特に限定されず、様々な手法を採用することができる。
【００９６】
例えば、図１７の例では、非可視光駆動波形と可視光駆動波形とを同期させる可視光制御が採用されていることから、非可視光の駆動の単位（１周期Ｔの単位）に合わせて、PWMの駆動比率（パルス幅）を変化させる手法が採用されている。かかる手法を採用することにより、センサ５１Ｃへの影響を回避することができる。即ち、かかる手法を採用することにより、センサ５１Ｃが可視光に反応するものでも問題なく動作するように、可視光制御が実行される。
【００９７】
また、上述した各種可視光制御と並行して実行される非可視光制御についても、その周期Ｔは、特に限定されず、上述した例のように1/60秒を採用する必要は特にない。例えば非可視光制御の周期Ｔは、1/60秒よりも遙かに短く（周波数を高く）することもできる。具体的には例えば、図１８や図１９に示されるように、I/Oディスプレイパネル１１の水平同期周波数に対応する31.7μsを採用することができる。
【００９８】
なお、図１８や図１９の例では、可視光制御としては、非可視光駆動波形と可視光駆動波形とを同期させるPWM制御が採用されており、そのPWM周波数は、非可視光の駆動周波数（＝１／Ｔ）の整数倍が採用されている。このとき、I/Oディスプレイパネル１１の表示やセンサ５１Ｃへの影響が見られる場合、PWMの位相を変えることで対応することができる。ここで、PWMの位相を変える手法自体は、特に限定されず、例えば、図１３と図１４とを用いて上述した手法をそのまま採用することができる。なお、実際には表示と無関係にバックライトをPWM制御しているディスプレイが多いため、このようなディスプレイをI/Oディスプレイパネル１１として採用することで、その表示への影響は軽微されると考えられる。
【００９９】
以上説明したような可視光制御と非可視光制御とを並行して実行できるI/Oパネルディスプレイシステムを採用することで、I/Oディスプレイパネル１１の表面に接触した反射物を、外光の状況にかかわらず、形状ごと確実に捉えることができるようになる。この場合、画像処理部７１が受けとる受光データは、すでに外光が除去され、表面に接触した物体の画像のデータとなっている。よって、画像処理部７１は、各種用途に応じた処理を実行できるようになる。
【０１００】
例えば、画像処理部７１は、従来のタッチパネルと同様の機能（１点検出）を有していれば、２値化の後、最大領域を検出し、指の接触の有無を判定することができる。そして、その後、画像処理部７１は、最大領域の重心を計算することで、入力座標を得ることができる。
【０１０１】
さらに、既存のタッチパネルと異なり、I/Oディスプレイシステムでは、座標だけでなく接触面を画像として捉えられることから、例えば次のような第１の用途乃至第３の用途での使用が実現できる。
【０１０２】
第１の用途とは、手の形を用いたジェスチャ認識の用途、即ち、ジェスチャによる操作の用途をいう。描画、オブジェクトの移動、ズームイン等を示した操作、即ち、現在パーソナルコンピュータ上でコマンドを切り替えている（手のひらツールとズームなど）操作を、より自然な形で入力することを可能にする用途が、第１の用途である。
【０１０３】
第２の用途とは、毛筆のタッチまで実現する描画パネルとしての用途、即ち、多点検出の利点を活かし、毛筆の接触を検出する用途をいう。即ち、一部のデジタイザにおいて特殊なペンの傾きを電界検出で実現していた従来の用途の代わりとして採用でき、本物の毛筆の接触面そのものを検知することにより、より現実的な感覚で情報入力を行えることができる用途が、第２の用途である。
【０１０４】
第３の用途とは、表面にアクリルカバーや、デザインされたカバーを装着したパネルとして使用する用途をいう。第３の用途により、光学方式による検出の利点を活かし、感圧式のタッチパネルでは不可能なカバーの装着が可能になる。その結果、製品デザインの向上や、カバー自体にデザイン性をもたせた新規製品群の開発が容易にできる等の効果を奏することが可能になる。
【０１０５】
以上説明したI/Oディスプレイシステムを採用することで、次の第１乃至第４の効果を奏することが可能になる。
【０１０６】
第１の効果とは、受光目的の非可視光制御と並行して、可視光制御が実現できるので、I/Oディスプレイパネル１１の輝度調整が適切にできるようになることである。
【０１０７】
第２の効果とは、可視光制御として上述した各種制御を採用することで、 輝度調整時のセンサ１１Ｃや表示への影響を抑止できるようになることである。
【０１０８】
第３の効果とは、受光目的の非可視光制御とは並列して、可視光制御が実現できるので、可視光輝度調整による消費電力削減が図れるようになることである。
【０１０９】
第４の効果とは、上述の用途として説明した如く、多点検出可能なジェスチャパネルの実現可能になることである。
【０１１０】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０１１１】
この場合、図４のI/Oディスプレイの少なくとも一部として、例えば、図２０に示されるパーソナルコンピュータを採用してもよい。
【０１１２】
図２０において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１１３】
CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。
【０１１４】
入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０１１５】
入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。
【０１１６】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１１７】
このようなプログラムを含む記録媒体は、図２０に示されるように、装置本体とは別に、操作者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態で操作者に提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０１１８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１９】
また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。
【０１２０】
さらにまた、以上説明したI/Oディスプレイ等の本発明における表示装置は、フラットパネル形状を有し、様々な電子機器、例えば、デジタルカメラ、ノート型パーソナルコンピュータ、携帯電話、ビデオカメラなど、電子機器に入力された、若しくは、電子機器内で生成した映像信号を画像若しくは映像として表示するあらゆる分野の電子機器のディスプレイに適用することが可能である。以下この様な表示装置が適用された電子機器の例を示す。
【０１２１】
例えば、本発明は、電子機器の一例であるテレビジョン受像機に適用できる。このテレビジョン受像機は、フロントパネル、フィルターガラス等から構成される映像表示画面を含み、本発明の表示装置をその映像表示画面に用いることにより作製される。
【０１２２】
例えば、本発明は、電子機器の一例であるデジタルカメラに適用できる。このデジタルカメラは、撮像レンズ、表示部、コントロールスイッチ、メニュースイッチ、シャッター等を含み、本発明の表示装置をその表示部に用いることにより作製される。
【０１２３】
例えば、本発明は、ノート型パーソナルコンピュータに適用できる。このノート型パーソナルコンピュータにおいて、その本体には文字等を入力するとき操作されるキーボードを含み、その本体カバーには画像を表示する表示部を含む。このノート型パーソナルコンピュータは、本発明の表示装置をその表示部に用いることにより作製される。
【０１２４】
例えば、本発明は、携帯端末装置に適用できる。この携帯端末装置は、上部筺体と下部筺体とを有している。この携帯端末装置の状態としては、それらの２つの筺体が開いた状態と、閉じた状態とが存在する。この携帯端末装置は、上述した上側筐体と下側筐体との他、連結部（ここではヒンジ部）、ディスプレイ、サブディスプレイ、ピクチャーライト、カメラ等を含み、本発明の表示装置をそのディスプレイやサブディスプレイに用いることにより作製される。
【０１２５】
例えば、本発明は、いわゆるビデオカメラに適用可能である。ビデオカメラは、本体部、前方を向いた側面に被写体撮影用のレンズ、撮影時のスタート／ストップスイッチ、モニター等を含み、本発明の表示装置をそのモニター３６に用いることにより作製される。
【図面の簡単な説明】
【０１２６】
【図１】本発明が適用されるI/Oディスプレイパネルの構成例を示す図である。
【図２】図１のI/Oディスプレイパネルに配置された画素回路の構成例を示した図である。
【図３】図１のI/Oディスプレイパネルに配置された画素回路の構成例を示した図である。
【図４】本発明が適用されるI/Oディスプレイの機能的構成例を示す機能ブロック図である。
【図５】図１のI/Oディスプレイパネルに対するバックライトの構成例を示している。
【図６】図４のI/Oディスプレイの受光の動作を説明する図である。
【図７】図５の可視光光源の駆動手法の一例を説明する図である。
【図８】図５の可視光光源の駆動手法の一例を説明する図である。
【図９】図５の可視光光源の駆動手法の一例を説明する図である。
【図１０】図５の可視光光源の駆動手法の一例を説明する図である。
【図１１】図５の可視光光源の駆動手法の一例を説明する図である。
【図１２】図５の可視光光源の駆動手法の一例を説明する図である。
【図１３】図５の可視光光源の駆動手法の一例を説明する図である。
【図１４】図５の可視光光源の駆動手法の一例を説明する図である。
【図１５】図５の可視光光源の駆動手法の一例を説明する図である。
【図１６】図５の可視光光源の駆動手法の一例を説明する図である。
【図１７】図５の可視光光源の駆動手法の一例を説明する図である。
【図１８】図５の可視光光源の駆動手法の一例を説明する図である。
【図１９】図５の可視光光源の駆動手法の一例を説明する図である。
【図２０】本発明が適用される処理をソフトウエアで実行するコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１２７】
１１ I/Oディスプレイパネル， ２１ 表示エリア（センサエリア）， ２２ 表示用Ｈドライバ， ２３ 表示用Ｖドライバ， ２４ センサ用Ｖレシーバ， ２５ センサＨレシーバ， ５１ 画素回路， ５１Ｃ センサ， ５２ 読み出し回路， ５３ 定電流源， ６１ 表示ドライブ回路， ６２ 受光ドライブ回路， ６３ アプリケーションプログラム実行部， ７１ 画像処理部， ７２ フレームメモリ， ８１ 導光板， ８２ 可視光光源， ８３ 非可視光光源，２０１ ＣＰＵ， ２０２ ＲＯＭ， ２０３ ＲＡＭ， ２０４ バス， ２０５ 入出力インタフェース， ２０６ 入力部， ２０７ 出力部， ２０８ 記憶部， ２０９ 通信部， ２１０ ドライブ， ２１１ リムーバブルメディア
【特許請求の範囲】
【請求項１】
画像の表示と受光とを行う表示装置において、
前記受光用の照明として非可視光を発光する第１の発光手段と、
前記表示用の照明として可視光を発光する第２の発光手段と、
前記第１の発光手段の発光制御と、前記第２の発光手段の発光制御とを並列的に実行する制御手段と
を備える表示装置。
【請求項２】
前記制御手段は、前記第１の発光手段の制御として、第１の発光レベルで非可視光を発光させる第１の期間と、第２の発光レベルで非可視光を発光させる第２の期間とをそれぞれ同一時間で繰り返す制御を行う
請求項１に記載の表示装置。
【請求項３】
前記制御手段は、前記第２の発光手段の制御として、一定の発光レベルで可視光を発光させる制御を行う
請求項２に記載の表示装置。
【請求項４】
前記制御手段は、前記第２の発光手段の制御として、可視光の発光レベルを変化させる制御を行う
請求項２に記載の表示装置。
【請求項５】
前記制御手段は、前記第２の発光手段の制御として、可視光の発光レベルをランプ状に変化させる制御を行う
請求項４に記載の表示装置。
【請求項６】
前記制御手段は、前記ランプ状の変化の傾きを一定以下に制限する制御を行う
請求項５に記載の表示装置。
【請求項７】
前記制御手段は、前記第１の発光手段の制御による１回の前記第１の期間と前記第２の期間との間に、前記ランプ状の変化を終了させる
請求項５に記載の表示装置。
【請求項８】
前記制御手段は、前記第２の発光手段の制御として、前記非視光の発光レベルの変化タイミングに同期させて、可視光の発光レベルを変化させる制御を行う
請求項４に記載の表示装置。
【請求項９】
前記制御手段は、前記第２の発光手段の制御として、前記第１の発光手段の制御による前記第１の期間における、可視光の発光レベルの変化パターンと、前記第１の発光手段の制御による前記第２の期間における、可視光の発光レベルの変化パターンと一致させる制御を行う
請求項４に記載の表示装置。
【請求項１０】
前記制御手段は、前記第２の発光手段の制御として、前記第１の発光手段の制御による１回の前記第１の期間と前記第２の期間との間に、可視光の発光レベルの時間的変化率を可変させる制御を行う
請求項２に記載の表示装置。
【請求項１１】
画像の表示と受光とを行う表示装置であって、
前記受光用の照明として非可視光を発光する第１の発光手段と、
前記表示用の照明として可視光を発光する第２の発光手段と
を備える表示装置の制御方法において、
前記第１の発光手段の発光制御と、前記第２の発光手段の発光制御とを並列的に実行する
ステップを含む表示方法。
【請求項１２】
画像の表示と受光とを行う表示装置であって、
前記受光用の照明として非可視光を発光する第１の発光手段と、
前記表示用の照明として可視光を発光する第２の発光手段と
を備える表示装置を制御するコンピュータに、
前記第１の発光手段の発光制御と、前記第２の発光手段の発光制御とを並列的に実行する
ステップを実行させるプログラム。
【請求項１３】
画像の表示と受光とを行う表示手段を備える電子機器において、
前記表示手段は、
前記受光用の照明として非可視光を発光する第１の発光手段と、
前記表示用の照明として可視光を発光する第２の発光手段と
を有しており、
前記電子機器は、
前記第１の発光手段の発光制御と、前記第２の発光手段の発光制御とを並列的に実行する制御手段と
を備える電子機器。
【請求項１】
画像の表示と受光とを行う表示装置において、
前記受光用の照明として非可視光を発光する第１の発光手段と、
前記表示用の照明として可視光を発光する第２の発光手段と、
前記第１の発光手段の発光制御と、前記第２の発光手段の発光制御とを並列的に実行する制御手段と
を備える表示装置。
【請求項２】
前記制御手段は、前記第１の発光手段の制御として、第１の発光レベルで非可視光を発光させる第１の期間と、第２の発光レベルで非可視光を発光させる第２の期間とをそれぞれ同一時間で繰り返す制御を行う
請求項１に記載の表示装置。
【請求項３】
前記制御手段は、前記第２の発光手段の制御として、一定の発光レベルで可視光を発光させる制御を行う
請求項２に記載の表示装置。
【請求項４】
前記制御手段は、前記第２の発光手段の制御として、可視光の発光レベルを変化させる制御を行う
請求項２に記載の表示装置。
【請求項５】
前記制御手段は、前記第２の発光手段の制御として、可視光の発光レベルをランプ状に変化させる制御を行う
請求項４に記載の表示装置。
【請求項６】
前記制御手段は、前記ランプ状の変化の傾きを一定以下に制限する制御を行う
請求項５に記載の表示装置。
【請求項７】
前記制御手段は、前記第１の発光手段の制御による１回の前記第１の期間と前記第２の期間との間に、前記ランプ状の変化を終了させる
請求項５に記載の表示装置。
【請求項８】
前記制御手段は、前記第２の発光手段の制御として、前記非視光の発光レベルの変化タイミングに同期させて、可視光の発光レベルを変化させる制御を行う
請求項４に記載の表示装置。
【請求項９】
前記制御手段は、前記第２の発光手段の制御として、前記第１の発光手段の制御による前記第１の期間における、可視光の発光レベルの変化パターンと、前記第１の発光手段の制御による前記第２の期間における、可視光の発光レベルの変化パターンと一致させる制御を行う
請求項４に記載の表示装置。
【請求項１０】
前記制御手段は、前記第２の発光手段の制御として、前記第１の発光手段の制御による１回の前記第１の期間と前記第２の期間との間に、可視光の発光レベルの時間的変化率を可変させる制御を行う
請求項２に記載の表示装置。
【請求項１１】
画像の表示と受光とを行う表示装置であって、
前記受光用の照明として非可視光を発光する第１の発光手段と、
前記表示用の照明として可視光を発光する第２の発光手段と
を備える表示装置の制御方法において、
前記第１の発光手段の発光制御と、前記第２の発光手段の発光制御とを並列的に実行する
ステップを含む表示方法。
【請求項１２】
画像の表示と受光とを行う表示装置であって、
前記受光用の照明として非可視光を発光する第１の発光手段と、
前記表示用の照明として可視光を発光する第２の発光手段と
を備える表示装置を制御するコンピュータに、
前記第１の発光手段の発光制御と、前記第２の発光手段の発光制御とを並列的に実行する
ステップを実行させるプログラム。
【請求項１３】
画像の表示と受光とを行う表示手段を備える電子機器において、
前記表示手段は、
前記受光用の照明として非可視光を発光する第１の発光手段と、
前記表示用の照明として可視光を発光する第２の発光手段と
を有しており、
前記電子機器は、
前記第１の発光手段の発光制御と、前記第２の発光手段の発光制御とを並列的に実行する制御手段と
を備える電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００９−１５７６０５（Ｐ２００９−１５７６０５Ａ）
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願番号】特願２００７−３３４４４６（Ｐ２００７−３３４４４６）
【出願日】平成１９年１２月２６日（２００７．１２．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願日】平成１９年１２月２６日（２００７．１２．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]