表示装置
【課題】入力機能を備えた表示装置において、より現実的な２本指程度の指入力に対して画像処理を複雑にすることなく高度な入力操作を実現可能とする。
【解決手段】光センサ１２により表示画面に近接した物体を撮像し、画像入力処理部５により撮像画像を任意の複数の領域に分割し、その分割した領域毎に物体が表示画面に接触したことを検知し、その物体の位置座標を求める画像処理を並列に行う。これにより、複数の物体が表示画面に近接した際に領域毎にそれぞれの物体の位置座標を検出することができるので複数本の指による同時入力が可能となる。
【解決手段】光センサ１２により表示画面に近接した物体を撮像し、画像入力処理部５により撮像画像を任意の複数の領域に分割し、その分割した領域毎に物体が表示画面に接触したことを検知し、その物体の位置座標を求める画像処理を並列に行う。これにより、複数の物体が表示画面に近接した際に領域毎にそれぞれの物体の位置座標を検出することができるので複数本の指による同時入力が可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネル等の入力機能を備えた表示装置に関し、特に、表示画面から入射した光により情報を入力する光入力機能を備えた表示装置に関する。
【背景技術】
【０００２】
液晶表示装置は、信号線、走査線、薄膜トランジスタ（ＴＦＴ：Thin Film Transistor）などが形成されたアレイ基板と、信号線及び走査線を駆動する駆動回路とを備えている。近年、集積回路技術の向上により、多結晶シリコン（ポリシリコン）プロセスを用いて、薄膜トランジスタや駆動回路の一部をアレイ基板上に形成できるようになっている。これにより、液晶表示装置は小型化され、携帯電話やノート型コンピュータなどの携帯機器における表示装置として幅広く利用されている。
【０００３】
また、液晶表示装置のアレイ基板上に密着型エリアセンサとして光電変換素子を分散配置して、画像入力を行う表示装置が提案されている（例えば、特許文献１，特許文献２，特許文献３等参照）。画像入力機能を備えた従来の表示装置は、光電変換素子に接続されたキャパシタに電荷を蓄積し、その電荷量を光電変換素子での受光量に応じて低下させて、所定時間経過後におけるキャパシタの両端の電圧を検出し、その電圧の大きさを階調値に変換することで撮像画像を得る。例えば、表示画面に近接する指を撮像し、指が表示画面に接触したときの形状変化に基づいて指の接触判定を行うことに利用できる。
【０００４】
ところで、上記の接触判定を行う場合、表示画面全体の撮像画像を用いて重心計算を行うために、抵抗膜を用いたタッチパネルと同様に複数の指で触った場合、例えば、２本の指で触った場合はそれぞれの指の接触位置とは異なる接触座標（２本の指の中間あたりの座標）が出力される。タッチパネルは、現在は指１本による入力が主流であるが、より高度の入力操作の要求から、複数本の指による入力が望まれている。しかしながら、抵抗膜を用いたタッチパネルでは複数本の指を認識するのは難しい。
【０００５】
これに対して、最近では、撮像画像を用いた画像処理により接触位置を特定しうる表示装置が開発されている（例えば、特許文献４参照）。このような表示装置では、それぞれの指をラベリング処理により特定化することで複数本の指認識が可能となる。例えば図１５に示すように、ラベリング処理は画像内に複数のオブジェクトが存在する場合、対象とする領域を識別する手法として非常に有効であり、ラベリング処理を行った２値化画像では、各画素に属性としてラベル (番号) を付加することにより、特定の領域を抽出できる。
【特許文献１】特開２００１−２９２２７６号公報
【特許文献２】特開２００１−３３９６４０号公報
【特許文献３】特開２００４−９３８９４号公報
【特許文献４】特開２００７−５８５５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の表示装置において撮像画像を用いて接触位置を特定する場合には、１フレーム毎の撮像画像に対して処理を行うため画像処理の規模が大きくなり、画像処理ＩＣが大きくなるという問題がある。また、携帯電話用の表示装置のように、画面サイズが２インチから４インチ程度と小さい場合は、多くの指による操作が難しいという現実がある。
【０００７】
本発明は、上記に鑑みてなされたものであり、その課題とするところは、入力機能を備えた表示装置において、より現実的な２本指程度の指入力に対して、画像処理を複雑にすることなく、高度な入力操作を実現可能とすることにある。
【課題を解決するための手段】
【０００８】
本発明に係る表示装置は、画像を表示画面に表示する表示手段と、前記表示画面に近接した物体を撮像する光入力手段と、前記光入力手段が撮像した撮像画像に基づいて前記物体が表示画面に接触したことを検知し、当該物体の位置座標を求める画像処理を行う画像処理手段とを備え、前記画像処理手段は、前記撮像画像を任意の複数の領域に分割し、当該分割した領域毎に前記画像処理を行うことを特徴とする。
【０００９】
本発明にあっては、上記光入力手段により表示画面に近接した物体を撮像し、上記画像処理手段により撮像画像を任意の複数の領域に分割し、その分割した領域毎に物体が表示画面に接触したことを検知し、その物体の位置座標を求める画像処理を並列に行うことにより、複数の物体が表示画面に近接した際に領域毎にそれぞれの物体の位置座標を検出することができるので複数本の指による同時入力が可能となる。
【００１０】
上記表示装置における光入力手段は、表示画面から入射した光を検出し、検出した光信号を受光量に応じた大きさの電気信号に変換する光センサであって、画像処理手段は、分割した領域毎に、物体の位置座標における前記電気信号の値の増減を認識する、若しくは複数の物体の位置座標間の距離を認識する画像処理を更に行うことを特徴とする。
【００１１】
本発明にあっては、上記光入力手段としての光センサにより、表示画面から入射した光を検出し、検出した光信号を受光量に応じた大きさの電気信号に変換し、上記画像処理手段により、上記分割した領域毎に物体の位置座標の電気信号値の増減、座標間の距離を認識する画像処理を更に行うようにしたことで、例えば、２本の指の位置座標間の距離の増加・縮小を認識することで画面に表示されている地図の拡大・縮小して表示するなどの入力操作が可能となる。また、例えば、複数のアイコンが表示された表示画面に指が接近したことを電気信号の値の変化で認識し、複数のアイコンの拡大やメインアイコンに含まれるサブアイコンを表示するなどの入力操作が可能となる。
【００１２】
上記表示装置における画像処理手段は、撮像画像を予め複数の領域に分割しておき、その分割した領域毎に物体が表示画面に接触したことを検知した際に、その物体の接触が検知された領域を、その物体の位置座標を含み且つ当該領域よりも小さい領域に変化させる画像処理を更に行うことを特徴とする。
【００１３】
上記表示装置における画像処理手段は、物体が表示画面に接触したことを検知した際に、撮像画像を、その物体の位置座標を含んだ領域とその領域の周辺に位置する領域に分割する画像処理を更に行うことを特徴とする。
【００１４】
上記表示装置における画像処理手段は、分割した領域毎に、物体の位置座標が移動したことを検知し、その物体の位置座標の移動が検知された領域を、その位置座標の移動に応じて動的に変化させる画像処理を更に行うことを特徴とする。
【００１５】
本発明にあっては、上記画像処理手段により、分割した領域毎に、物体が接触した際に領域を接触した物体の位置座標を含み且つその領域よりも小さい領域に変化させると共に、物体の位置座標が移動したことを検知し、その位置座標の移動に応じて領域を動的に変化させる画像処理を更に行うようにしたことで、例えば、画面に表示された複数のアイコンのドラッグ操作やスクロール操作が可能となる。
【発明の効果】
【００１６】
本発明の表示装置によれば、より現実的な２本指程度の指入力に対して、画像処理を複雑にすることなく、高度な入力操作が実現可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について図面を用いて説明する。
【００１８】
［第１の実施の形態］
図１は、本実施の形態における表示装置の構成を示すブロック図である。本実施の形態における表示装置は、液晶パネル１と、バックライト２と、バックライト制御部３と、表示制御部４と、画像入力処理部５と、照度測定部６と、液晶パネル輝度制御部７とを備えている。保護板１３を備えた液晶パネル１は、画像を表示するとともに、表示画面に入射する外光や保護板１３で反射した反射光の受光量を光センサ１２により検出し、バックライト２は、液晶パネル１の背面に設置されて、液晶パネル１に光を入射する。ここでは、バックライト制御部３、表示制御部４、画像入力処理部５、照度測定部６および液晶パネル輝度制御部７は、液晶パネル１の外部に集積化（ＩＣ化）されるが、ポリシリコンＴＦＴ技術を用いて、液晶パネル１に集積してもよい。以下、図２，図３も参照しながら各部の詳細について説明する。
【００１９】
図２は、液晶パネル１の構成を示す平面図である。同図に示すように、液晶パネル１は、複数の表示素子１１と、表示素子１１に形成された光センサ１２とを備え、表示画面領域１００において表示素子１１により画像を表示するとともに、光センサ１２により受光量を検出するものである。光センサ１２は、すべての表示素子１１に形成しなくてもよく、例えば、３つの表示素子１１に対して１つの光センサを形成してもよい。光センサ１２は、検出した受光量に応じた大きさの電気信号を画像入力処理部５に出力する。画像入力処理部５により、電気信号を階調値に変換することで撮像画像を得る。
【００２０】
図３は、液晶パネル１の構成を示す断面図である。同図に示すように、液晶パネル１は、対向基板１４およびアレイ基板１５により液晶層２０を挟み、対向基板１４およびアレイ基板１５の外側に偏光板１６，１７を備え、画像を表示する面に配置された偏光板１６には、保護板１３が接着剤１８を介して配置されている。接着剤１８には、界面での反射を抑制するために、保護板１３と屈折率が略等しい部材（例えば、光硬化性接着剤など）を用いるとよい。これにより、保護板１３の液晶層２０側における界面での反射を抑え、撮像画像における表示画像の映り込みを低減することができる。
【００２１】
また、アレイ基板１５には、複数の信号線と複数の走査線がマトリックス状に配線され、信号線と走査線の各交差部に表示素子１１が配置されている。表示素子１１のそれぞれには、ＴＦＴ、画素電極および光センサ１２が形成されている。さらに、アレイ基板１５には、信号線および走査線を駆動する駆動回路が形成されている。対向基板１４には、アレイ基板１５に形成された画素電極に対向する対向電極が形成されている。
【００２２】
バックライト２は、可視光源２１および導光板２２により構成される。可視光源２１には、ホワイト発光ダイオードなどを用いる。可視光源２１は、放射される光が効率よく導光板２２に入射するように、反射率の高い白色樹脂シート等で構成された反射板などで覆われている。導光板２２は、透明で屈折率の大きな樹脂（ポリカーボネート樹脂やメタクリル樹脂など）により形成される。導光板２２には、入射面２２１と、出射面２２２と、出射面２２２に対して傾いて対向する対向面２２３が形成されている。入射面２２１から入射した光は、出射面２２２と対向面２２３の間で全反射を繰り返しながら導光板２２内を伝搬し、出射面２２２より放射される。なお、出射面２２２と対向面２２３には、均一な光が放射されるように、特定の密度分布や大きさを有する拡散反射層や反射用溝などが形成されている。
【００２３】
バックライト制御部３は、バックライト２の可視光源２１から出射する光の強度を制御する。外光の強度が弱い場合には、光の強度を弱めることにより、保護板１３による反射光を抑制し、撮像画像における表示画像の映り込みを低減することができる。
【００２４】
表示制御部４は、液晶パネル１に形成された駆動回路により、信号線、ＴＦＴを介して画素電極の電圧を設定し、画素電極と対向電極の間の液晶層２０における電界強度を変化させて、液晶層２０の透過率を制御する。表示素子１１それぞれに対して個別に透過率を設定することにより、透過率の分布を表示する画像の内容に応じたものにすることができる。
【００２５】
画像入力処理部５は、表示素子１１に配置された光センサ１２から受光量に応じた大きさの電気信号を受信することにより物体の撮像画像を得て、その撮像画像に基づいて物体の位置座標の計算と表示画面との接触判定を行う。そして、明るいところから暗いところまでの最適な撮像画像を得るために外光照度に応じて光センサ１２の露光時間及びプリチャージ時間を撮像制御部で行うことが望ましい。接触判定を行う際には、液晶パネル１に表示された画像に応じて処理する撮像画像の範囲を変更する。これにより、撮像画像における表示画像の映り込みの影響を抑制することができるので、より正確に接触座標を得ることが可能となる。ここで接触座標とは物体が表示画面に接触したと判定した場合の撮像画像における物体の位置座標とする。撮像及び接触判定の具体的な動作については後述する。
【００２６】
照度測定部６は、外光の強度を測定するものである。照度測定部６により測定した外光の強度に応じて接触座標の検出方法を変更することにより、外光の強度が強いところでも、外光の強度が弱いところでも接触座標を検出することが可能となる。外光の強度の測定は、照度測定用の光センサを用いてもよいし、表示素子１１に配置された光センサ１２により撮像された画像データから外光の強度に対応する数値を求めるようにしてもよい。表示素子１１に配置された光センサ１２により外光を受光し、外光強度に依存するパラメータを用いて光センサ１２の最適な露光時間及びプリチャージ時間を制御する場合、表示画面領域全体の測定値を用いてもよいが、上記の画像に応じて処理する撮像画像の範囲を変更した範囲の測定値を用いることが望ましい。
【００２７】
液晶パネル輝度制御部７は、液晶パネル１の輝度を制御するものである。以下、画像入力処理部５の動作について説明する。
【００２８】
画像入力処理部５は、光センサ１２により検出した受光量に応じた大きさの電気信号を受信し、その電気信号の大きさを階調値に変換することで撮像画像を得る。光センサ１２においては、撮像対象に遮蔽されなかった外光や液晶パネル１を出射し撮像対象で反射した光の強さが検出される。物体と表示画面との接触判定は、撮像された画像を基にして撮像対象の位置や動き、撮像対象が液晶パネル１に接触したときの濃淡・形状変化等を検出することにより行う。このとき、撮像画像は任意の複数の処理領域に分割され、処理領域毎に撮像対象が表示画面に接触したことが検知され、その接触座標を求める画像処理が並列に行われる。
【００２９】
図４乃至図７は、複数の処理領域で接触座標及び接触情報を検出する際の応用例を示している。図４はその第１の応用例である。同図に示すように、表示画面領域１００が横長に配置され、撮像画像は左右の両端の点線で囲まれた第１撮像処理領域１１０と第２撮像処理領域１２０に分割され処理される。第１撮像処理領域１１０では表示されたアイコン１２１に左手の指３００ａが接触するか否かの接触判定及びその座標位置の検出と、第２撮像処理領域１２０では表示されたアイコン１２１に右手の指３００ｂが接触するか否かの接触判定及びその座標位置の検出とがそれぞれ並列に処理される。これにより、例えばテレビゲームのリモコンの左右ボタンを使うようなイメージでアイコン１２１に接触することにより入力操作が可能となる。
【００３０】
図４では、左右の撮像処理領域を示す２つの長方形は表示画面領域１００の中央を挟んで互いに離れているが、表示画面領域１００を２等分割するように左右の撮像処理領域を設定してもよい。この場合においても画像処理領域が増加することはないのでメモリを増加する必要もなく、それぞれの画像処理の内容はこれまでと同様にそれぞれの領域内で行われる１本の指の認識と変わらないのでロジックの増加も抑制することができる。
【００３１】
図５は第２の応用例である。同図に示すように、表示画面領域１００を縦長に配置して、互いに面積が異なる撮像処理領域を上下に設定したものである。上部の第１撮像処理領域１１０には複数のアイコンが配列され、下部の第２撮像処理領域１２０には、シフトキー、ファンクションキーが配置される。第１の応用例とはそれぞれの領域の設定が異なるだけで、撮像処理については同様である。ここでは第２撮像処理領域１２０のシフトキー、ファンクションキーと、第１撮像処理領域１１０のアイコンとを連動動作させて複数の入力操作を実現することができる。
【００３２】
図６は第３の応用例である。同図に示すように、撮像画像は図４と同様に第１撮像処理領域１１０と第２撮像処理領域１２０に２分割され処理される。ここでは光センサ１２により受光量に応じた大きさの電気信号が出力され、画像入力処理部５は、領域毎に電気信号の値の増減により指の位置座標を認識する画像処理を行う。これにより、２本の指の位置座標間の距離の増加・縮小を認識することができるので、例えば画面に表示されている地図の拡大・縮小などの入力操作が可能となる。すなわち、表示画面に指が接近して２本の指の位置の距離が長くなったことを検出した場合には地図を拡大して表示する、或いは２本の指の位置の距離が短くなったことを検出した場合には地図を縮小して表示する。
【００３３】
図７は第４の応用例である。同図に示すように、撮像画像は画面の中央の第１撮像処理領域１１０とその外周の第２撮像処理領域１２０に２分割され処理される。この場合、例えば、第２撮像処理領域１２０においていずれかの座標を指３００が触れた時に、その接触座標を基にして中心からの距離、角度を認識することで、地図の移動、及び移動速度（中心からの距離が離れている場合は速く表示画像を移動させる）を変えるような入力操作が可能になる。更に、第１撮像処理領域１１０と第２撮像処理領域１２０に２本の指３００が同時に触れ、第２撮像処理領域１２０において一方の指３００が円状に移動したことを認識することにより表示画像を回転させるような入力操作が可能になる。また、第１撮像処理領域１１０の中心に触れた指に対する第２撮像処理領域１２０に触れた指の移動方向を認識することにより、表示画像を拡大又は縮小させるような入力操作を実現することができる。
【００３４】
したがって、第１の実施の形態によれば、光センサ１２により表示画面に近接した物体を撮像し、画像入力処理部５により撮像画像を任意の複数の領域に分割し、その分割した領域毎に物体が表示画面に接触したことを検知し、その物体の接触座標を求める画像処理を並列に行うことにより、複数の物体が表示画面に近接した際に領域毎にそれぞれの物体の座標を検出することができるので複数本の指による同時入力が可能となる。よって、より現実的な２本指程度の指入力に対して、画像処理を複雑にすることなく、高度な入力操作が実現可能となる。
【００３５】
更に、本実施の形態によれば、光センサ１２により、表示画面から入射された光を検出し、検出した光信号を受光量に応じた大きさの電気信号に変換し、画像入力処理部５により、領域毎に、物体の接触座標における電気信号の値の増減を認識する画像処理を行う。これにより、例えば、複数の地図や複数アイコンが表示された表示画面に指が接近したことを電気信号の値の変化で認識することができるので、電気信号の値が減少したことを検出した場合には地図やアイコンを拡大して表示する、或いは表示画面から指が遠ざかって電気信号の値が増加したことを検出した場合には地図やアイコンを縮小して表示するなどの入力操作が可能となる。アイコンの場合は、指の接近に伴い拡大だけではなく、メインアイコン内に含まれるサブ操作のためのサブアイコンを表示するような入力操作が可能となる。
【００３６】
［第２の実施の形態］
次に、第２の実施の形態に係る表示装置について説明する。この表示装置の基本的な構成は、第１の実施の形態で説明したものと同様である。以下では、第１の実施の形態と異なる点を中心に説明する。
【００３７】
第１の実施の形態では複数の処理領域を予め設定し、設定した領域内を対象として画像処理を行うような構成としたが、第２の実施の形態では画像入力処理部５は、領域毎に、物体の接触座標が移動したことを検知し、その接触座標の移動に応じてその領域を動的に変化させる画像処理を主に行う点が第１の実施の形態と異なる。
【００３８】
以下、画像入力処理部５による具体的な処理について図８のフローチャートを用いて説明する。画像入力処理部５は光信号から電気信号に変換され生成された撮像画像に対して、例えば、エッジ処理などの画像処理演算を実行して指認識を行う。ここでは図９に示すように、画面上に表示された２つのアイコンＡ，Ｂを２本の指３００ａ，３００ｂで操作する場合の指認識について説明する。
【００３９】
ステップ１：まず、撮像画像を予め複数の領域に分割する。ここでは撮像画像を２つの撮像処理領域（以下、領域Ａ、Ｂとする）に分割する。図９に示すように、Ｍ×Ｎ画素サイズの表示領域において、アイコンＡを含んだ領域Ａの初期値を、左下隅を原点とした左半面の領域［０，０］〜［Ｍ／２，Ｎ］に設定し、アイコンＢを含んだ領域Ｂの初期値を、右半面の領域［Ｍ／２＋１，０］〜［Ｍ，Ｎ］に設定する（Ｓ１）。Ｎ，Ｍはいずれも正の整数とする。
【００４０】
ステップ２：次に、領域Ａ，Ｂにおいて接触判定および接触座標が存在するかを検出し、各領域で接触座標ｆａ（ａｘ，ａｙ）、ｆｂ（ｂｘ，ｂｙ）を計算する（Ｓ２）。図９の例ではアイコンＡ，Ｂに指３００ａ、３００ｂが触れているので領域Ａ，Ｂにおいていずれも接触座標が計算される。尚、本発明による光入力方式は、一般的な抵抗膜方式や静電容量のタッチパネルなどとは異なり、接近している状態でも指認識が可能であるので、ここでは表示画面に指が接近している状態で検出された指の位置座標も接触座標と呼ぶことにする。このようにして、領域毎に物体が表示画面に接触したことを検知する。
【００４１】
ステップ３：次に、領域Ａ，Ｂにおいて接触座標が存在しているか否かを判定し、接触座標ｆａ、ｆｂが存在する場合には次のステップへ進む（Ｓ３）。接触座標ｆａ、ｆｂが存在しなければ領域Ａ，領域Ｂはそのままの値に維持され、ステップ２に戻る。
【００４２】
ステップ４：領域Ａにおいて接触座標ｆａが存在している場合には、接触座標ｆａ（ａｘ，ａｙ）を中心としたｃ画素外側の領域に領域Ａを更新する（Ｓ４）。図１０に示すように、アイコンＡを含んだ領域Ａは一辺が２ｃ画素の正方領域［ａｘ−ｃ，ａｙ−ｃ］〜［ａｘ＋ｃ，ａｙ＋ｃ］として更新される。ｃは予め設定された正の整数とする。同様にして、領域Ｂにおいて接触座標が存在している場合には、接触座標ｆｂ（ｂｘ，ｂｙ）を中心としたｄ画素外側の領域に領域Ｂを更新する（Ｓ４）。図１０に示すように、アイコンＢを含んだ領域Ｂは一辺が２ｄ画素の正方領域［ｂｘ−ｄ，ｂｙ−ｄ］〜［ｂｘ＋ｄ，ｂｙ＋ｄ］として更新される。ｄは予め設定された正の整数とする。このように、領域Ａ，領域Ｂは物体の接触座標ｆａ、ｆｂを含み且つその領域よりも小さい領域に更新される。
【００４３】
その後、ステップ２へ戻り、新たな領域Ａと新たな領域Ｂにおいて接触座標の存在を確認し、同様な手順で領域Ａ，Ｂを動的に更新していく。接触座標の存在がなくなった場合、更新された新範囲の領域を初期値として再スタートする。
【００４４】
これにより、図１１に示すように、最初は固定された領域Ａ，領域Ｂ内で指の接触を検知し、一旦、指の接触が検知した後には、領域Ａ，領域Ｂは接触座標を中心とした小エリアに変化し、この小エリア内での認識を継続することができる。更に、領域Ａ，領域Ｂにおいて接触座標が移動したことを検知し、接触座標を基に領域を動的に更新することで、領域Ａ，領域Ｂを物体の動きに合わせて画面内を移動させることができる。その結果、図１２に示すように、２本の指３００ａ，３００ｂで画面上の領域Ａ，領域Ｂ内に表示されたアイコンをドラッグすることが可能となる。
【００４５】
また、上記フローチャートでは接触座標が存在しなくなったら、直ちに領域を初期値に再設定するようにしたが、これに限られるものではなく、初期リセットまでの時間を予め設定しておくことで、タップ（ペン入力時）やクリック（指入力時）のように、物体が表示画面から一旦離れるような入力操作にも対応可能となる。
【００４６】
したがって、第２の実施の形態によれば、画像入力処理部５により、領域毎に、物体の接触座標が移動したことを検知し、その接触座標の移動に応じて領域を動的に変化させる画像処理を更に行う。これにより、領域を物体の動きに合わせて追従させることができる
ことに加え当初設定された領域以外での位置座標計算及び移動が可能なため、第１の実施の形態に係る効果に加えて、画面に表示された複数のアイコンのドラッグ操作やスクロール操作が可能となる。第１の実施の形態では予め処理領域を設定するため、指認識は指定領域内のみに限定されていた。このため、ドラッグなどの動的動作に際して、指が指定領域から外れてしまった場合には、指認識されず誤動作を招き、入力操作に限界があったが、本実施の形態によれば、このような問題を回避することができ、任意の複数領域において指入力に対して画像処理を複雑にすることなく高度な入力操作が実現可能となる。
【００４７】
また、上記第２の実施の形態においては、撮像画像を予め複数の領域に分割しておき、その分割した領域毎に物体が表示画面に接触したことを検知した際に、その物体の接触が検知された領域を、その物体の位置座標を含み且つその領域よりも小さい領域に変化させる画像処理を更に行うことが望ましい。
【００４８】
尚、上記第２の実施の形態では、画面を２分するように領域Ａと領域Ｂに予め設定したが、これに限られるものではなく、領域Ａと領域Ｂの設定は、物体が接触した際に撮像画像を、その物体の位置座標を含んだ領域とその領域の周辺に位置する領域に分割して行ってもよい。例えば、図１３に示すように、１本の指が接触した際にその指の位置座標を含む上記と同じｆａ（ａｘ，ａｙ）を中心としたｃ画素外側の領域に領域Ａを設定し、それ以外の領域を領域Ｂと設定する。その後、その領域Ｂ内に次の指が接触した位置座標を含む上記と同じｆｂ（ｂｘ,ｂｙ）を中心としたｄ画素外側の領域に新たに領域Ｂを設定し、その後は指の動きに伴って領域Ａ及び領域Ｂを更新するようにしてもよい。これにより、画面上の最初の操作位置の制限が軽減されることから、より快適な操作を実現することができるようになる。
【００４９】
その他、上記第２の実施の形態では、領域Ａと領域Ｂ内の位置座標の計算を並列処理によって実現したが、順次処理で実行するようにしてもよい。
【００５０】
尚、上記各実施の形態においては、いずれも撮像画像を分割する処理領域の数は２つとしたが、これに限られるものではなく、更に細かく分割して複数の指による入力を実現するようにしてもよい。また、表示画面全体を１つの処理領域とするモードを基本モードとして、複数領域に分割するその他のモードと基本モードとを切り替え可能とすることが望ましい。以下、図を用いて説明する。
【００５１】
図１４は２４０×３２０の画素がマトリクス状に配列されたＱＶＧＡパネルにおいて撮像画像を複数の処理領域に分割した例を示している。同図（ａ）では表示画面全体を１つの処理領域とする基本モード、同図（ｂ）では２つの処理領域とする２分割モード、同図（ｃ）では３つの処理領域とする３分割モードをそれぞれ示している。このようなモードの切り替えについては、例えば切り替え時に光入力方式により入力指定が可能な選択メニューを画面に表示して、ユーザにより指定されたモードに切り替えるような構成とする。このようにして選択されたモードの各領域において撮像画像処理を実行して接触座標及び接触情報を出力する。この場合は、接触座標及び接触情報の出力に必要なメモリも分割された領域に応じて用いればよいので新たなメモリの追加は不要である。
【図面の簡単な説明】
【００５２】
【図１】第１の実施の形態に係る表示装置の構成を示すブロック図である。
【図２】図１に示す表示装置の構成を示す平面図である。
【図３】図１に示す表示装置の構成を示す断面図である。
【図４】第１の実施の形態に係る表示装置の第１の応用例を示す図である。
【図５】第１の実施の形態に係る表示装置の第２の応用例を示す図である。
【図６】第１の実施の形態に係る表示装置の第３の応用例を示す図である。
【図７】第１の実施の形態に係る表示装置の第４の応用例を示す図である。
【図８】第２の実施の形態に係る表示装置において処理領域を動的に変化させる処理の流れを示したフローチャートである。
【図９】第２の実施の形態に係る表示装置において初期設定した処理領域の例である。
【図１０】第２の実施の形態に係る表示装置において処理領域を変化させた際の例である。
【図１１】第２の実施の形態に係る表示装置における処理領域の変化を概略的に示した第１の例である。
【図１２】第２の実施の形態に係る表示装置に表示されたアイコンを指によりドラッグ操作する場合の例である。
【図１３】第２の実施の形態に係る表示装置における処理領域の変化を概略的に示した第２の例である。
【図１４】ＱＶＧＡパネルにおける撮像画像を複数の処理領域に分割した例を示す図である。
【図１５】従来の表示装置におけるラベリング処理を説明するための図である。
【符号の説明】
【００５３】
１…液晶パネル
２…バックライト
３…バックライト制御部
４…表示制御部
５…画像入力処理部
６…照度測定部
７…液晶パネル輝度制御部
１１…表示素子
１２…光センサ
１３…保護板
１４…対向基板
１５…アレイ基板
１６…偏光板（対向基板側）
１７…偏光板（アレイ基板側）
１８…接着剤
２０…液晶層
２１…可視光源
２２…導光板
１００…表示画面領域
１１０…第１撮像処理領域
１２０…第２撮像処理領域
１２１…アイコン
２２１…導光板の入射面
２２２…導光板の出射面
２２３…導光板の対向面
３００…指
３００ａ…指（左手）
３００ｂ…指（右手）
【技術分野】
【０００１】
本発明は、タッチパネル等の入力機能を備えた表示装置に関し、特に、表示画面から入射した光により情報を入力する光入力機能を備えた表示装置に関する。
【背景技術】
【０００２】
液晶表示装置は、信号線、走査線、薄膜トランジスタ（ＴＦＴ：Thin Film Transistor）などが形成されたアレイ基板と、信号線及び走査線を駆動する駆動回路とを備えている。近年、集積回路技術の向上により、多結晶シリコン（ポリシリコン）プロセスを用いて、薄膜トランジスタや駆動回路の一部をアレイ基板上に形成できるようになっている。これにより、液晶表示装置は小型化され、携帯電話やノート型コンピュータなどの携帯機器における表示装置として幅広く利用されている。
【０００３】
また、液晶表示装置のアレイ基板上に密着型エリアセンサとして光電変換素子を分散配置して、画像入力を行う表示装置が提案されている（例えば、特許文献１，特許文献２，特許文献３等参照）。画像入力機能を備えた従来の表示装置は、光電変換素子に接続されたキャパシタに電荷を蓄積し、その電荷量を光電変換素子での受光量に応じて低下させて、所定時間経過後におけるキャパシタの両端の電圧を検出し、その電圧の大きさを階調値に変換することで撮像画像を得る。例えば、表示画面に近接する指を撮像し、指が表示画面に接触したときの形状変化に基づいて指の接触判定を行うことに利用できる。
【０００４】
ところで、上記の接触判定を行う場合、表示画面全体の撮像画像を用いて重心計算を行うために、抵抗膜を用いたタッチパネルと同様に複数の指で触った場合、例えば、２本の指で触った場合はそれぞれの指の接触位置とは異なる接触座標（２本の指の中間あたりの座標）が出力される。タッチパネルは、現在は指１本による入力が主流であるが、より高度の入力操作の要求から、複数本の指による入力が望まれている。しかしながら、抵抗膜を用いたタッチパネルでは複数本の指を認識するのは難しい。
【０００５】
これに対して、最近では、撮像画像を用いた画像処理により接触位置を特定しうる表示装置が開発されている（例えば、特許文献４参照）。このような表示装置では、それぞれの指をラベリング処理により特定化することで複数本の指認識が可能となる。例えば図１５に示すように、ラベリング処理は画像内に複数のオブジェクトが存在する場合、対象とする領域を識別する手法として非常に有効であり、ラベリング処理を行った２値化画像では、各画素に属性としてラベル (番号) を付加することにより、特定の領域を抽出できる。
【特許文献１】特開２００１−２９２２７６号公報
【特許文献２】特開２００１−３３９６４０号公報
【特許文献３】特開２００４−９３８９４号公報
【特許文献４】特開２００７−５８５５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の表示装置において撮像画像を用いて接触位置を特定する場合には、１フレーム毎の撮像画像に対して処理を行うため画像処理の規模が大きくなり、画像処理ＩＣが大きくなるという問題がある。また、携帯電話用の表示装置のように、画面サイズが２インチから４インチ程度と小さい場合は、多くの指による操作が難しいという現実がある。
【０００７】
本発明は、上記に鑑みてなされたものであり、その課題とするところは、入力機能を備えた表示装置において、より現実的な２本指程度の指入力に対して、画像処理を複雑にすることなく、高度な入力操作を実現可能とすることにある。
【課題を解決するための手段】
【０００８】
本発明に係る表示装置は、画像を表示画面に表示する表示手段と、前記表示画面に近接した物体を撮像する光入力手段と、前記光入力手段が撮像した撮像画像に基づいて前記物体が表示画面に接触したことを検知し、当該物体の位置座標を求める画像処理を行う画像処理手段とを備え、前記画像処理手段は、前記撮像画像を任意の複数の領域に分割し、当該分割した領域毎に前記画像処理を行うことを特徴とする。
【０００９】
本発明にあっては、上記光入力手段により表示画面に近接した物体を撮像し、上記画像処理手段により撮像画像を任意の複数の領域に分割し、その分割した領域毎に物体が表示画面に接触したことを検知し、その物体の位置座標を求める画像処理を並列に行うことにより、複数の物体が表示画面に近接した際に領域毎にそれぞれの物体の位置座標を検出することができるので複数本の指による同時入力が可能となる。
【００１０】
上記表示装置における光入力手段は、表示画面から入射した光を検出し、検出した光信号を受光量に応じた大きさの電気信号に変換する光センサであって、画像処理手段は、分割した領域毎に、物体の位置座標における前記電気信号の値の増減を認識する、若しくは複数の物体の位置座標間の距離を認識する画像処理を更に行うことを特徴とする。
【００１１】
本発明にあっては、上記光入力手段としての光センサにより、表示画面から入射した光を検出し、検出した光信号を受光量に応じた大きさの電気信号に変換し、上記画像処理手段により、上記分割した領域毎に物体の位置座標の電気信号値の増減、座標間の距離を認識する画像処理を更に行うようにしたことで、例えば、２本の指の位置座標間の距離の増加・縮小を認識することで画面に表示されている地図の拡大・縮小して表示するなどの入力操作が可能となる。また、例えば、複数のアイコンが表示された表示画面に指が接近したことを電気信号の値の変化で認識し、複数のアイコンの拡大やメインアイコンに含まれるサブアイコンを表示するなどの入力操作が可能となる。
【００１２】
上記表示装置における画像処理手段は、撮像画像を予め複数の領域に分割しておき、その分割した領域毎に物体が表示画面に接触したことを検知した際に、その物体の接触が検知された領域を、その物体の位置座標を含み且つ当該領域よりも小さい領域に変化させる画像処理を更に行うことを特徴とする。
【００１３】
上記表示装置における画像処理手段は、物体が表示画面に接触したことを検知した際に、撮像画像を、その物体の位置座標を含んだ領域とその領域の周辺に位置する領域に分割する画像処理を更に行うことを特徴とする。
【００１４】
上記表示装置における画像処理手段は、分割した領域毎に、物体の位置座標が移動したことを検知し、その物体の位置座標の移動が検知された領域を、その位置座標の移動に応じて動的に変化させる画像処理を更に行うことを特徴とする。
【００１５】
本発明にあっては、上記画像処理手段により、分割した領域毎に、物体が接触した際に領域を接触した物体の位置座標を含み且つその領域よりも小さい領域に変化させると共に、物体の位置座標が移動したことを検知し、その位置座標の移動に応じて領域を動的に変化させる画像処理を更に行うようにしたことで、例えば、画面に表示された複数のアイコンのドラッグ操作やスクロール操作が可能となる。
【発明の効果】
【００１６】
本発明の表示装置によれば、より現実的な２本指程度の指入力に対して、画像処理を複雑にすることなく、高度な入力操作が実現可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について図面を用いて説明する。
【００１８】
［第１の実施の形態］
図１は、本実施の形態における表示装置の構成を示すブロック図である。本実施の形態における表示装置は、液晶パネル１と、バックライト２と、バックライト制御部３と、表示制御部４と、画像入力処理部５と、照度測定部６と、液晶パネル輝度制御部７とを備えている。保護板１３を備えた液晶パネル１は、画像を表示するとともに、表示画面に入射する外光や保護板１３で反射した反射光の受光量を光センサ１２により検出し、バックライト２は、液晶パネル１の背面に設置されて、液晶パネル１に光を入射する。ここでは、バックライト制御部３、表示制御部４、画像入力処理部５、照度測定部６および液晶パネル輝度制御部７は、液晶パネル１の外部に集積化（ＩＣ化）されるが、ポリシリコンＴＦＴ技術を用いて、液晶パネル１に集積してもよい。以下、図２，図３も参照しながら各部の詳細について説明する。
【００１９】
図２は、液晶パネル１の構成を示す平面図である。同図に示すように、液晶パネル１は、複数の表示素子１１と、表示素子１１に形成された光センサ１２とを備え、表示画面領域１００において表示素子１１により画像を表示するとともに、光センサ１２により受光量を検出するものである。光センサ１２は、すべての表示素子１１に形成しなくてもよく、例えば、３つの表示素子１１に対して１つの光センサを形成してもよい。光センサ１２は、検出した受光量に応じた大きさの電気信号を画像入力処理部５に出力する。画像入力処理部５により、電気信号を階調値に変換することで撮像画像を得る。
【００２０】
図３は、液晶パネル１の構成を示す断面図である。同図に示すように、液晶パネル１は、対向基板１４およびアレイ基板１５により液晶層２０を挟み、対向基板１４およびアレイ基板１５の外側に偏光板１６，１７を備え、画像を表示する面に配置された偏光板１６には、保護板１３が接着剤１８を介して配置されている。接着剤１８には、界面での反射を抑制するために、保護板１３と屈折率が略等しい部材（例えば、光硬化性接着剤など）を用いるとよい。これにより、保護板１３の液晶層２０側における界面での反射を抑え、撮像画像における表示画像の映り込みを低減することができる。
【００２１】
また、アレイ基板１５には、複数の信号線と複数の走査線がマトリックス状に配線され、信号線と走査線の各交差部に表示素子１１が配置されている。表示素子１１のそれぞれには、ＴＦＴ、画素電極および光センサ１２が形成されている。さらに、アレイ基板１５には、信号線および走査線を駆動する駆動回路が形成されている。対向基板１４には、アレイ基板１５に形成された画素電極に対向する対向電極が形成されている。
【００２２】
バックライト２は、可視光源２１および導光板２２により構成される。可視光源２１には、ホワイト発光ダイオードなどを用いる。可視光源２１は、放射される光が効率よく導光板２２に入射するように、反射率の高い白色樹脂シート等で構成された反射板などで覆われている。導光板２２は、透明で屈折率の大きな樹脂（ポリカーボネート樹脂やメタクリル樹脂など）により形成される。導光板２２には、入射面２２１と、出射面２２２と、出射面２２２に対して傾いて対向する対向面２２３が形成されている。入射面２２１から入射した光は、出射面２２２と対向面２２３の間で全反射を繰り返しながら導光板２２内を伝搬し、出射面２２２より放射される。なお、出射面２２２と対向面２２３には、均一な光が放射されるように、特定の密度分布や大きさを有する拡散反射層や反射用溝などが形成されている。
【００２３】
バックライト制御部３は、バックライト２の可視光源２１から出射する光の強度を制御する。外光の強度が弱い場合には、光の強度を弱めることにより、保護板１３による反射光を抑制し、撮像画像における表示画像の映り込みを低減することができる。
【００２４】
表示制御部４は、液晶パネル１に形成された駆動回路により、信号線、ＴＦＴを介して画素電極の電圧を設定し、画素電極と対向電極の間の液晶層２０における電界強度を変化させて、液晶層２０の透過率を制御する。表示素子１１それぞれに対して個別に透過率を設定することにより、透過率の分布を表示する画像の内容に応じたものにすることができる。
【００２５】
画像入力処理部５は、表示素子１１に配置された光センサ１２から受光量に応じた大きさの電気信号を受信することにより物体の撮像画像を得て、その撮像画像に基づいて物体の位置座標の計算と表示画面との接触判定を行う。そして、明るいところから暗いところまでの最適な撮像画像を得るために外光照度に応じて光センサ１２の露光時間及びプリチャージ時間を撮像制御部で行うことが望ましい。接触判定を行う際には、液晶パネル１に表示された画像に応じて処理する撮像画像の範囲を変更する。これにより、撮像画像における表示画像の映り込みの影響を抑制することができるので、より正確に接触座標を得ることが可能となる。ここで接触座標とは物体が表示画面に接触したと判定した場合の撮像画像における物体の位置座標とする。撮像及び接触判定の具体的な動作については後述する。
【００２６】
照度測定部６は、外光の強度を測定するものである。照度測定部６により測定した外光の強度に応じて接触座標の検出方法を変更することにより、外光の強度が強いところでも、外光の強度が弱いところでも接触座標を検出することが可能となる。外光の強度の測定は、照度測定用の光センサを用いてもよいし、表示素子１１に配置された光センサ１２により撮像された画像データから外光の強度に対応する数値を求めるようにしてもよい。表示素子１１に配置された光センサ１２により外光を受光し、外光強度に依存するパラメータを用いて光センサ１２の最適な露光時間及びプリチャージ時間を制御する場合、表示画面領域全体の測定値を用いてもよいが、上記の画像に応じて処理する撮像画像の範囲を変更した範囲の測定値を用いることが望ましい。
【００２７】
液晶パネル輝度制御部７は、液晶パネル１の輝度を制御するものである。以下、画像入力処理部５の動作について説明する。
【００２８】
画像入力処理部５は、光センサ１２により検出した受光量に応じた大きさの電気信号を受信し、その電気信号の大きさを階調値に変換することで撮像画像を得る。光センサ１２においては、撮像対象に遮蔽されなかった外光や液晶パネル１を出射し撮像対象で反射した光の強さが検出される。物体と表示画面との接触判定は、撮像された画像を基にして撮像対象の位置や動き、撮像対象が液晶パネル１に接触したときの濃淡・形状変化等を検出することにより行う。このとき、撮像画像は任意の複数の処理領域に分割され、処理領域毎に撮像対象が表示画面に接触したことが検知され、その接触座標を求める画像処理が並列に行われる。
【００２９】
図４乃至図７は、複数の処理領域で接触座標及び接触情報を検出する際の応用例を示している。図４はその第１の応用例である。同図に示すように、表示画面領域１００が横長に配置され、撮像画像は左右の両端の点線で囲まれた第１撮像処理領域１１０と第２撮像処理領域１２０に分割され処理される。第１撮像処理領域１１０では表示されたアイコン１２１に左手の指３００ａが接触するか否かの接触判定及びその座標位置の検出と、第２撮像処理領域１２０では表示されたアイコン１２１に右手の指３００ｂが接触するか否かの接触判定及びその座標位置の検出とがそれぞれ並列に処理される。これにより、例えばテレビゲームのリモコンの左右ボタンを使うようなイメージでアイコン１２１に接触することにより入力操作が可能となる。
【００３０】
図４では、左右の撮像処理領域を示す２つの長方形は表示画面領域１００の中央を挟んで互いに離れているが、表示画面領域１００を２等分割するように左右の撮像処理領域を設定してもよい。この場合においても画像処理領域が増加することはないのでメモリを増加する必要もなく、それぞれの画像処理の内容はこれまでと同様にそれぞれの領域内で行われる１本の指の認識と変わらないのでロジックの増加も抑制することができる。
【００３１】
図５は第２の応用例である。同図に示すように、表示画面領域１００を縦長に配置して、互いに面積が異なる撮像処理領域を上下に設定したものである。上部の第１撮像処理領域１１０には複数のアイコンが配列され、下部の第２撮像処理領域１２０には、シフトキー、ファンクションキーが配置される。第１の応用例とはそれぞれの領域の設定が異なるだけで、撮像処理については同様である。ここでは第２撮像処理領域１２０のシフトキー、ファンクションキーと、第１撮像処理領域１１０のアイコンとを連動動作させて複数の入力操作を実現することができる。
【００３２】
図６は第３の応用例である。同図に示すように、撮像画像は図４と同様に第１撮像処理領域１１０と第２撮像処理領域１２０に２分割され処理される。ここでは光センサ１２により受光量に応じた大きさの電気信号が出力され、画像入力処理部５は、領域毎に電気信号の値の増減により指の位置座標を認識する画像処理を行う。これにより、２本の指の位置座標間の距離の増加・縮小を認識することができるので、例えば画面に表示されている地図の拡大・縮小などの入力操作が可能となる。すなわち、表示画面に指が接近して２本の指の位置の距離が長くなったことを検出した場合には地図を拡大して表示する、或いは２本の指の位置の距離が短くなったことを検出した場合には地図を縮小して表示する。
【００３３】
図７は第４の応用例である。同図に示すように、撮像画像は画面の中央の第１撮像処理領域１１０とその外周の第２撮像処理領域１２０に２分割され処理される。この場合、例えば、第２撮像処理領域１２０においていずれかの座標を指３００が触れた時に、その接触座標を基にして中心からの距離、角度を認識することで、地図の移動、及び移動速度（中心からの距離が離れている場合は速く表示画像を移動させる）を変えるような入力操作が可能になる。更に、第１撮像処理領域１１０と第２撮像処理領域１２０に２本の指３００が同時に触れ、第２撮像処理領域１２０において一方の指３００が円状に移動したことを認識することにより表示画像を回転させるような入力操作が可能になる。また、第１撮像処理領域１１０の中心に触れた指に対する第２撮像処理領域１２０に触れた指の移動方向を認識することにより、表示画像を拡大又は縮小させるような入力操作を実現することができる。
【００３４】
したがって、第１の実施の形態によれば、光センサ１２により表示画面に近接した物体を撮像し、画像入力処理部５により撮像画像を任意の複数の領域に分割し、その分割した領域毎に物体が表示画面に接触したことを検知し、その物体の接触座標を求める画像処理を並列に行うことにより、複数の物体が表示画面に近接した際に領域毎にそれぞれの物体の座標を検出することができるので複数本の指による同時入力が可能となる。よって、より現実的な２本指程度の指入力に対して、画像処理を複雑にすることなく、高度な入力操作が実現可能となる。
【００３５】
更に、本実施の形態によれば、光センサ１２により、表示画面から入射された光を検出し、検出した光信号を受光量に応じた大きさの電気信号に変換し、画像入力処理部５により、領域毎に、物体の接触座標における電気信号の値の増減を認識する画像処理を行う。これにより、例えば、複数の地図や複数アイコンが表示された表示画面に指が接近したことを電気信号の値の変化で認識することができるので、電気信号の値が減少したことを検出した場合には地図やアイコンを拡大して表示する、或いは表示画面から指が遠ざかって電気信号の値が増加したことを検出した場合には地図やアイコンを縮小して表示するなどの入力操作が可能となる。アイコンの場合は、指の接近に伴い拡大だけではなく、メインアイコン内に含まれるサブ操作のためのサブアイコンを表示するような入力操作が可能となる。
【００３６】
［第２の実施の形態］
次に、第２の実施の形態に係る表示装置について説明する。この表示装置の基本的な構成は、第１の実施の形態で説明したものと同様である。以下では、第１の実施の形態と異なる点を中心に説明する。
【００３７】
第１の実施の形態では複数の処理領域を予め設定し、設定した領域内を対象として画像処理を行うような構成としたが、第２の実施の形態では画像入力処理部５は、領域毎に、物体の接触座標が移動したことを検知し、その接触座標の移動に応じてその領域を動的に変化させる画像処理を主に行う点が第１の実施の形態と異なる。
【００３８】
以下、画像入力処理部５による具体的な処理について図８のフローチャートを用いて説明する。画像入力処理部５は光信号から電気信号に変換され生成された撮像画像に対して、例えば、エッジ処理などの画像処理演算を実行して指認識を行う。ここでは図９に示すように、画面上に表示された２つのアイコンＡ，Ｂを２本の指３００ａ，３００ｂで操作する場合の指認識について説明する。
【００３９】
ステップ１：まず、撮像画像を予め複数の領域に分割する。ここでは撮像画像を２つの撮像処理領域（以下、領域Ａ、Ｂとする）に分割する。図９に示すように、Ｍ×Ｎ画素サイズの表示領域において、アイコンＡを含んだ領域Ａの初期値を、左下隅を原点とした左半面の領域［０，０］〜［Ｍ／２，Ｎ］に設定し、アイコンＢを含んだ領域Ｂの初期値を、右半面の領域［Ｍ／２＋１，０］〜［Ｍ，Ｎ］に設定する（Ｓ１）。Ｎ，Ｍはいずれも正の整数とする。
【００４０】
ステップ２：次に、領域Ａ，Ｂにおいて接触判定および接触座標が存在するかを検出し、各領域で接触座標ｆａ（ａｘ，ａｙ）、ｆｂ（ｂｘ，ｂｙ）を計算する（Ｓ２）。図９の例ではアイコンＡ，Ｂに指３００ａ、３００ｂが触れているので領域Ａ，Ｂにおいていずれも接触座標が計算される。尚、本発明による光入力方式は、一般的な抵抗膜方式や静電容量のタッチパネルなどとは異なり、接近している状態でも指認識が可能であるので、ここでは表示画面に指が接近している状態で検出された指の位置座標も接触座標と呼ぶことにする。このようにして、領域毎に物体が表示画面に接触したことを検知する。
【００４１】
ステップ３：次に、領域Ａ，Ｂにおいて接触座標が存在しているか否かを判定し、接触座標ｆａ、ｆｂが存在する場合には次のステップへ進む（Ｓ３）。接触座標ｆａ、ｆｂが存在しなければ領域Ａ，領域Ｂはそのままの値に維持され、ステップ２に戻る。
【００４２】
ステップ４：領域Ａにおいて接触座標ｆａが存在している場合には、接触座標ｆａ（ａｘ，ａｙ）を中心としたｃ画素外側の領域に領域Ａを更新する（Ｓ４）。図１０に示すように、アイコンＡを含んだ領域Ａは一辺が２ｃ画素の正方領域［ａｘ−ｃ，ａｙ−ｃ］〜［ａｘ＋ｃ，ａｙ＋ｃ］として更新される。ｃは予め設定された正の整数とする。同様にして、領域Ｂにおいて接触座標が存在している場合には、接触座標ｆｂ（ｂｘ，ｂｙ）を中心としたｄ画素外側の領域に領域Ｂを更新する（Ｓ４）。図１０に示すように、アイコンＢを含んだ領域Ｂは一辺が２ｄ画素の正方領域［ｂｘ−ｄ，ｂｙ−ｄ］〜［ｂｘ＋ｄ，ｂｙ＋ｄ］として更新される。ｄは予め設定された正の整数とする。このように、領域Ａ，領域Ｂは物体の接触座標ｆａ、ｆｂを含み且つその領域よりも小さい領域に更新される。
【００４３】
その後、ステップ２へ戻り、新たな領域Ａと新たな領域Ｂにおいて接触座標の存在を確認し、同様な手順で領域Ａ，Ｂを動的に更新していく。接触座標の存在がなくなった場合、更新された新範囲の領域を初期値として再スタートする。
【００４４】
これにより、図１１に示すように、最初は固定された領域Ａ，領域Ｂ内で指の接触を検知し、一旦、指の接触が検知した後には、領域Ａ，領域Ｂは接触座標を中心とした小エリアに変化し、この小エリア内での認識を継続することができる。更に、領域Ａ，領域Ｂにおいて接触座標が移動したことを検知し、接触座標を基に領域を動的に更新することで、領域Ａ，領域Ｂを物体の動きに合わせて画面内を移動させることができる。その結果、図１２に示すように、２本の指３００ａ，３００ｂで画面上の領域Ａ，領域Ｂ内に表示されたアイコンをドラッグすることが可能となる。
【００４５】
また、上記フローチャートでは接触座標が存在しなくなったら、直ちに領域を初期値に再設定するようにしたが、これに限られるものではなく、初期リセットまでの時間を予め設定しておくことで、タップ（ペン入力時）やクリック（指入力時）のように、物体が表示画面から一旦離れるような入力操作にも対応可能となる。
【００４６】
したがって、第２の実施の形態によれば、画像入力処理部５により、領域毎に、物体の接触座標が移動したことを検知し、その接触座標の移動に応じて領域を動的に変化させる画像処理を更に行う。これにより、領域を物体の動きに合わせて追従させることができる
ことに加え当初設定された領域以外での位置座標計算及び移動が可能なため、第１の実施の形態に係る効果に加えて、画面に表示された複数のアイコンのドラッグ操作やスクロール操作が可能となる。第１の実施の形態では予め処理領域を設定するため、指認識は指定領域内のみに限定されていた。このため、ドラッグなどの動的動作に際して、指が指定領域から外れてしまった場合には、指認識されず誤動作を招き、入力操作に限界があったが、本実施の形態によれば、このような問題を回避することができ、任意の複数領域において指入力に対して画像処理を複雑にすることなく高度な入力操作が実現可能となる。
【００４７】
また、上記第２の実施の形態においては、撮像画像を予め複数の領域に分割しておき、その分割した領域毎に物体が表示画面に接触したことを検知した際に、その物体の接触が検知された領域を、その物体の位置座標を含み且つその領域よりも小さい領域に変化させる画像処理を更に行うことが望ましい。
【００４８】
尚、上記第２の実施の形態では、画面を２分するように領域Ａと領域Ｂに予め設定したが、これに限られるものではなく、領域Ａと領域Ｂの設定は、物体が接触した際に撮像画像を、その物体の位置座標を含んだ領域とその領域の周辺に位置する領域に分割して行ってもよい。例えば、図１３に示すように、１本の指が接触した際にその指の位置座標を含む上記と同じｆａ（ａｘ，ａｙ）を中心としたｃ画素外側の領域に領域Ａを設定し、それ以外の領域を領域Ｂと設定する。その後、その領域Ｂ内に次の指が接触した位置座標を含む上記と同じｆｂ（ｂｘ,ｂｙ）を中心としたｄ画素外側の領域に新たに領域Ｂを設定し、その後は指の動きに伴って領域Ａ及び領域Ｂを更新するようにしてもよい。これにより、画面上の最初の操作位置の制限が軽減されることから、より快適な操作を実現することができるようになる。
【００４９】
その他、上記第２の実施の形態では、領域Ａと領域Ｂ内の位置座標の計算を並列処理によって実現したが、順次処理で実行するようにしてもよい。
【００５０】
尚、上記各実施の形態においては、いずれも撮像画像を分割する処理領域の数は２つとしたが、これに限られるものではなく、更に細かく分割して複数の指による入力を実現するようにしてもよい。また、表示画面全体を１つの処理領域とするモードを基本モードとして、複数領域に分割するその他のモードと基本モードとを切り替え可能とすることが望ましい。以下、図を用いて説明する。
【００５１】
図１４は２４０×３２０の画素がマトリクス状に配列されたＱＶＧＡパネルにおいて撮像画像を複数の処理領域に分割した例を示している。同図（ａ）では表示画面全体を１つの処理領域とする基本モード、同図（ｂ）では２つの処理領域とする２分割モード、同図（ｃ）では３つの処理領域とする３分割モードをそれぞれ示している。このようなモードの切り替えについては、例えば切り替え時に光入力方式により入力指定が可能な選択メニューを画面に表示して、ユーザにより指定されたモードに切り替えるような構成とする。このようにして選択されたモードの各領域において撮像画像処理を実行して接触座標及び接触情報を出力する。この場合は、接触座標及び接触情報の出力に必要なメモリも分割された領域に応じて用いればよいので新たなメモリの追加は不要である。
【図面の簡単な説明】
【００５２】
【図１】第１の実施の形態に係る表示装置の構成を示すブロック図である。
【図２】図１に示す表示装置の構成を示す平面図である。
【図３】図１に示す表示装置の構成を示す断面図である。
【図４】第１の実施の形態に係る表示装置の第１の応用例を示す図である。
【図５】第１の実施の形態に係る表示装置の第２の応用例を示す図である。
【図６】第１の実施の形態に係る表示装置の第３の応用例を示す図である。
【図７】第１の実施の形態に係る表示装置の第４の応用例を示す図である。
【図８】第２の実施の形態に係る表示装置において処理領域を動的に変化させる処理の流れを示したフローチャートである。
【図９】第２の実施の形態に係る表示装置において初期設定した処理領域の例である。
【図１０】第２の実施の形態に係る表示装置において処理領域を変化させた際の例である。
【図１１】第２の実施の形態に係る表示装置における処理領域の変化を概略的に示した第１の例である。
【図１２】第２の実施の形態に係る表示装置に表示されたアイコンを指によりドラッグ操作する場合の例である。
【図１３】第２の実施の形態に係る表示装置における処理領域の変化を概略的に示した第２の例である。
【図１４】ＱＶＧＡパネルにおける撮像画像を複数の処理領域に分割した例を示す図である。
【図１５】従来の表示装置におけるラベリング処理を説明するための図である。
【符号の説明】
【００５３】
１…液晶パネル
２…バックライト
３…バックライト制御部
４…表示制御部
５…画像入力処理部
６…照度測定部
７…液晶パネル輝度制御部
１１…表示素子
１２…光センサ
１３…保護板
１４…対向基板
１５…アレイ基板
１６…偏光板（対向基板側）
１７…偏光板（アレイ基板側）
１８…接着剤
２０…液晶層
２１…可視光源
２２…導光板
１００…表示画面領域
１１０…第１撮像処理領域
１２０…第２撮像処理領域
１２１…アイコン
２２１…導光板の入射面
２２２…導光板の出射面
２２３…導光板の対向面
３００…指
３００ａ…指（左手）
３００ｂ…指（右手）
【特許請求の範囲】
【請求項１】
画像を表示画面に表示する表示手段と、
前記表示画面に近接した物体を撮像する光入力手段と、
前記光入力手段が撮像した撮像画像に基づいて前記物体が表示画面に接触したことを検知し、当該物体の位置座標を求める画像処理を行う画像処理手段とを備え、
前記画像処理手段は、前記撮像画像を任意の複数の領域に分割し、当該分割した領域毎に前記画像処理を行うことを特徴とする表示装置。
【請求項２】
前記光入力手段は、前記表示画面から入射した光を検出し、検出した光信号を受光量に応じた大きさの電気信号に変換する光センサであって、
前記画像処理手段は、前記分割した領域毎に、前記物体の位置座標における前記電気信号の値の増減を認識する、若しくは複数の物体の位置座標間の距離を認識する画像処理を更に行うことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記画像処理手段は、前記撮像画像を予め複数の領域に分割しておき、当該分割した領域毎に物体が表示画面に接触したことを検知した際に、当該物体の接触が検知された領域を、当該物体の位置座標を含み且つ当該領域よりも小さい領域に変化させる画像処理を更に行うことを特徴とする請求項１に記載の表示装置。
【請求項４】
前記画像処理手段は、前記物体が表示画面に接触したことを検知した際に、前記撮像画像を、当該物体の位置座標を含んだ領域と当該領域の周辺に位置する領域に分割する画像処理を更に行うことを特徴とする請求項１に記載の表示装置。
【請求項５】
前記画像処理手段は、前記分割した領域毎に、前記物体の位置座標が移動したことを検知し、当該物体の位置座標の移動が検知された領域を、当該位置座標の移動に応じて動的に変化させる画像処理を更に行うことを特徴とする請求項３又は請求項４に記載の表示装置。
【請求項１】
画像を表示画面に表示する表示手段と、
前記表示画面に近接した物体を撮像する光入力手段と、
前記光入力手段が撮像した撮像画像に基づいて前記物体が表示画面に接触したことを検知し、当該物体の位置座標を求める画像処理を行う画像処理手段とを備え、
前記画像処理手段は、前記撮像画像を任意の複数の領域に分割し、当該分割した領域毎に前記画像処理を行うことを特徴とする表示装置。
【請求項２】
前記光入力手段は、前記表示画面から入射した光を検出し、検出した光信号を受光量に応じた大きさの電気信号に変換する光センサであって、
前記画像処理手段は、前記分割した領域毎に、前記物体の位置座標における前記電気信号の値の増減を認識する、若しくは複数の物体の位置座標間の距離を認識する画像処理を更に行うことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記画像処理手段は、前記撮像画像を予め複数の領域に分割しておき、当該分割した領域毎に物体が表示画面に接触したことを検知した際に、当該物体の接触が検知された領域を、当該物体の位置座標を含み且つ当該領域よりも小さい領域に変化させる画像処理を更に行うことを特徴とする請求項１に記載の表示装置。
【請求項４】
前記画像処理手段は、前記物体が表示画面に接触したことを検知した際に、前記撮像画像を、当該物体の位置座標を含んだ領域と当該領域の周辺に位置する領域に分割する画像処理を更に行うことを特徴とする請求項１に記載の表示装置。
【請求項５】
前記画像処理手段は、前記分割した領域毎に、前記物体の位置座標が移動したことを検知し、当該物体の位置座標の移動が検知された領域を、当該位置座標の移動に応じて動的に変化させる画像処理を更に行うことを特徴とする請求項３又は請求項４に記載の表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００８−３０５０８７（Ｐ２００８−３０５０８７Ａ）
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願番号】特願２００７−１５０６２０（Ｐ２００７−１５０６２０）
【出願日】平成１９年６月６日（２００７．６．６）
【出願人】（３０２０２０２０７）東芝松下ディスプレイテクノロジー株式会社 (2,170)
【Ｆターム（参考）】
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願日】平成１９年６月６日（２００７．６．６）
【出願人】（３０２０２０２０７）東芝松下ディスプレイテクノロジー株式会社 (2,170)
【Ｆターム（参考）】
[ Back to top ]