表示装置
【課題】光入力機能を備えた表示装置における物体が表示画面に接触したか否かの判定の精度および物体の座標位置の算出の精度を向上させる。
【解決手段】エッジ検出回路７６により、撮影された画像のエッジを検出し、接触判定回路７７により、エッジ画像を用いて物体が表示画面に接触したか否かを判定する。一例としては、互いに逆方向に移動するエッジがある場合に物体が表示画面に接触したと判定する。物体が接触しない限りはエッジが互いに逆方向に移動することはないので、接触判定の精度を向上できる。また、座標計算回路７８により、物体が接触したと判定されたときに、エッジの重心を物体の座標位置として計算する。これにより、物体が接触する前に座標位置を計算しないようにして、位置算出の精度の向上を図る。
【解決手段】エッジ検出回路７６により、撮影された画像のエッジを検出し、接触判定回路７７により、エッジ画像を用いて物体が表示画面に接触したか否かを判定する。一例としては、互いに逆方向に移動するエッジがある場合に物体が表示画面に接触したと判定する。物体が接触しない限りはエッジが互いに逆方向に移動することはないので、接触判定の精度を向上できる。また、座標計算回路７８により、物体が接触したと判定されたときに、エッジの重心を物体の座標位置として計算する。これにより、物体が接触する前に座標位置を計算しないようにして、位置算出の精度の向上を図る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光により表示画面から情報を入力する光入力機能を備えた表示装置に関する。
【背景技術】
【０００２】
近年、携帯電話、ノート型コンピュータなどの各種機器に表示装置として広く利用されている液晶表示装置は、複数の走査線と複数の信号線とが交差するように配線され、この各交差部に薄膜トランジスタ、液晶容量、補助容量を有する画素を備えた表示部と、走査線を駆動する駆動回路と、信号線を駆動する駆動回路とを備える。一般的に、表示部は、ガラス製のアレイ基板上に形成されるが、近年の集積回路技術の発展およびプロセス技術の実用化により駆動回路の一部もアレイ基板上に形成可能となり、液晶表示装置全体の軽量化・小型化が図られている。
【０００３】
ところで、表示装置としては、画素内に光センサを配置し、光により表示画面から情報の入力を可能にしたものが開発されている（例えば特許文献１参照）。
【０００４】
この種の光入力機能を備えた表示装置では、画素内に光センサとして例えばフォトダイオードを備えるとともに、このフォトダイオードにキャパシタを接続し、表示画面から入射された光についてのフォトダイオードでの受光量の変化に応じてキャパシタの電荷量を変化させ、キャパシタの両端の電圧を検出することにより撮像画像のデータを生成することで、画像の取り込みを行っている。
【０００５】
このような表示装置の応用として、表示画面上に投影された指などの物体がつくる影を検出することにより情報入力を行うタッチパネル機能や、ライトペンなどの発光する物体から照射された光を検出することにより情報入力を行うデジタイザ機能を備えたものが提案されている。
【特許文献１】特開２００４−３１８８１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の光入力機能を備えた表示装置では、指やライトペン等の物体が表示画面に接触したか否かの判定、および、物体の座標位置の正確な算出が難しいという問題がある。
【０００７】
特に、物体がつくる影を利用する手法では、周囲環境が暗い場合、影を正確に識別できないため、接触の判定と座標位置の算出の精度が著しく低下する。また、周囲環境が明るい場合、接触していない部分にも指などの影ができるため、やはり接触の判定と座標位置の算出の精度が低下する。
【０００８】
本発明は、上記に鑑みてなされたものであり、その課題とするところは、光入力機能を備えた表示装置において、物体が表示画面に接触したか否かの判定の精度を向上させることにある。
【０００９】
また、別の課題は、光入力機能を備えた表示装置において、表示画面上における物体の座標位置の算出の精度を向上させることにある。
【課題を解決するための手段】
【００１０】
第１の本発明に係る表示装置は、画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮影する光入力機能を備えた表示部と、撮影された画像のエッジを検出してエッジ画像とするエッジ検出回路と、前記エッジを用いて物体が表示画面に接触したか否かの判定をする接触判定回路と、物体が表示画面に接触したと判定されたときに、前記エッジを用いて物体の位置座標を計算する座標計算回路と、を有することを特徴とする。
【００１１】
本発明にあっては、物体が表示画面に接触したときには、撮像された画像における接触部分と非接触部分の空間的変化が明確になるので、撮影された画像を用いてエッジを検出することで接触部分と非接触部分の境界を区別し、これを接触判定に利用することで、接触判定の精度の向上を図る。また、物体が表示画面に接触したと判定されたときに、検出されたエッジを用いて物体の位置座標を計算することで、物体が表示画面に接触していないときには座標位置を算出することがないようにして、位置座標の算出精度の向上を図る。
【００１２】
上記表示装置において、前記接触判定回路は、前記エッジ毎に移動方向を調べ、互いに逆方向に移動するエッジがある場合に物体が表示画面に接触したと判定することを特徴とする。
【００１３】
本発明にあっては、撮影された画像のエッジを検出し、互いに逆方向に移動するエッジがある場合に物体が表示画面に接触したと判定することで、物体が接触しない限りはエッジが互いに逆方向に移動することはないことから、接触判定の精度を高めることができる。
【００１４】
上記表示装置において、前記接触判定回路は、前記エッジ画像を用いて物体を示す領域を抽出し、この領域の面積が所定の閾値以上となった場合に物体が表示画面に接触したと判定することを特徴とする。
【００１５】
本発明にあっては、物体が表示画面に接触した場合には接触部分の面積が大きくなるので、エッジ画像を用いて物体を示す領域を抽出し、この領域の面積が所定の閾値以上となった場合に物体が表示画面に接触したと判定することで、接触判定の精度の向上を図る。
【００１６】
上記表示装置において、前記座標計算回路は、前記エッジの重心を物体の位置座標として計算することを特徴とする。
【００１７】
上記表示装置において、前記座標計算回路は、面積が所定の閾値以上となった領域の重心を物体の位置座標として計算することを特徴とする。
【００１８】
第２の本発明に係る表示装置は、画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮影する光入力機能を備えた表示部と、撮影された画像について現在のフレームの多階調画像と過去のフレームの多階調画像との差分を取った差分画像を求めるフレーム間差分処理回路と、前記差分画像を用いて物体が表示画面に接触したか否かの判定をする接触判定回路と、物体が表示画面に接触したと判定されたときに、前記差分画像を用いて物体の位置座標を計算する座標計算回路と、を有することを特徴とする。
【００１９】
本発明にあっては、物体が表示画面に接触したときには撮影された画像に時間的変化が生じるので、現在のフレームの多階調画像と過去のフレームの多階調画像との差分を取った差分画像を求めることで、撮影された画像の時間的変化に基づいて接触部分と非接触部分の境界を区別し、これを接触判定に利用することで接触判定の精度の向上を図る。
【００２０】
上記表示装置において、前記接触判定回路は、前記差分画像を用いて物体を示す領域を抽出し、この領域の面積が所定の閾値以上となったときに、物体が表示画面に接触したと判定することを特徴とする。
【００２１】
本発明にあっては、物体が表示画面に接触した場合には接触部分の面積が大きくなるので、差分画像を用いて物体を示す領域を抽出し、この領域の面積が所定の閾値以上となった場合に物体が表示画面に接触したと判定することで、接触判定の精度の向上を図る。
【００２２】
上記表示装置において、前記座標計算回路は、面積が所定の閾値以上となった領域の重心を物体の位置座標として計算することを特徴とする。
【００２３】
第３の本発明に係る表示装置は、画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮影する光入力機能を備えた表示部と、撮影された画像を多階調画像に変換する階調化回路と、多階調化画像を用いてエッジを検出するエッジ検出回路と、現在のフレームの多階調画像と過去のフレームの多階調画像との差分を取った差分画像を求めるフレーム間差分処理回路と、エッジ画像又は差分画像の少なくとも一方を用いて物体の位置座標を計算する座標計算回路と、エッジ画像又は差分画像の少なくとも一方を用いて物体が表示画面に接触したか否かの判定をする接触判定回路と、を有することを特徴とする。
【００２４】
本発明にあっては、エッジ画像は明るい環境下における接触判定・座標計算に適しており、差分画像は暗い環境下における接触判定・座標計算に適している一方、環境光の明るさは多階調画像の階調値から判断可能であるので、多階調化画像に基づいてエッジ画像又は差分画像の少なくとも一方を用いて物体が表示画面に接触したか否かの判定をすることで、環境下に応じた接触判定を可能とし、さらなる精度の向上を図る。また、エッジ画像又は差分画像の少なくとも一方を用いて物体の位置座標を計算することで、環境下に応じた座標計算を可能とし、さらなる精度の向上を図る。
【００２５】
第４の本発明に係る表示装置は、複数のスイッチを表示画面に表示する表示機能およびスイッチに近接した物体を撮影する光入力機能を備えた表示部と、撮影された画像についてスイッチ毎に白色の画素数を計数し、現在のフレームにおける計数値と過去のフレームにおける計数値との差分値を算出し、スイッチ毎の差分値のうち最大のものが所定の閾値以上の場合に、物体が当該スイッチに接触したとの旨を示す信号を出力する計数回路と、現在のフレームにおける多階調画像と過去の多階調画像との差分を取った差分画像を求め、その差分画像から物体を示す領域を抽出し、その領域の重心を算出し、物体が当該重心に位置するスイッチに接触したとの旨を示す信号を出力するフレーム間差分処理回路と、多階調画像についてエッジを検出し、強度が所定の閾値以上のエッジの重心を算出し、物体が当該重心に位置するスイッチに接触したとの旨を示す信号を出力するエッジ検出回路と、前記計数回路、前記フレーム間差分処理回路、前記エッジ検出回路からそれぞれ出力された信号に基づいてスイッチ毎に接触確率を計算する接触確率計算回路と、を有することを特徴とする。
【００２６】
本発明にあっては、計数回路、フレーム間差分処理回路、エッジ検出回路によって、それぞれ別の手法により物体が接触した可能性が高いスイッチを示す信号を出力し、接触確率計算回路により、これらの信号に基づいてスイッチ毎に接触確率を計算することで、信頼性の高い接触確率の提供が可能になるので、システムに要求される信頼性に応じた高精度かつ柔軟な接触判定および座標計算が可能となる。
【発明の効果】
【００２７】
本発明の表示装置によれば、物体が表示画面に接触したか否かの判定の精度を向上させることができる。また、表示画面上における物体の座標位置の算出の精度を向上させることができる。
【発明を実施するための最良の形態】
【００２８】
［第１の実施の形態］
図１は、一実施の形態における表示装置の構成を示す平面図である。同図の表示装置は、ガラス製のアレイ基板１に形成された表示部２、フレキシブル基板３、フレキシブル基板３に形成されたセンサ用ＩＣ(Integrated Circuit)４および表示用ＩＣ５、センサ用ＩＣ４のインタフェース（Ｉ／Ｆ）６、表示用ＩＣのインタフェース７を備える。
【００２９】
表示部２は、複数の信号線と複数の走査線とが交差するように配線され、各交差部に画素を備える。この表示部２は、ホスト側のＣＰＵから表示用インタフェースＩ／Ｆ７および表示用ＩＣ５を介して伝送されてくる映像信号に基づいて画像を表示する表示機能と、表示画面に近接してきた外部の物体の画像を撮影する光入力機能を備える。センサ用ＩＣ４、センサ用インタフェースＩ／Ｆ６を介してホストへ伝送するための機能を備える。センサ用ＩＣ４は撮影された画像の処理を行い、この処理結果をセンサ用インタフェースＩ／Ｆ６を介してホスト側のＣＰＵへ伝送する。表示用ＩＣ５は、表示処理の制御を行う。
【００３０】
図２は、表示部２の構成を示す断面図である。アレイ基板１では画素内に光センサ８等が形成され、これを覆うように絶縁層９が形成される。アレイ基板１と、これに対向して配置されたガラス製の対向基板１２との間隙に液晶層１１が形成される。対向基板１２の外側にはバックライト１３が配置される。同図に示すように、光センサ８には、指等の物体２０によって遮られていない外光と、バックライト１３から放出され、物体２０で反射した光とが入射する。
【００３１】
図３は、画素の構成を示す回路図である。表示部２では、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の画素が規則的に配置されており、各画素は、表示系３１として、スイッチ素子３３、液晶容量ＬＣ、補助容量ＣＳを備える。同図において、Ｇａｔｅ（ｍ）は走査線、Ｓｉｇ（ｎ）は信号線、ＣＳ（ｍ）は補助容量線である。スイッチ素子３３はＭＯＳ型であり、そのゲートが走査線に接続され、ソースは信号線に接続され、ドレインは補助容量ＣＳおよび液晶容量ＬＣに接続される。補助容量ＣＳの他方の端子は補助容量線に接続される。
【００３２】
ホスト側のＣＰＵから信号線を通じて伝送されてきた映像信号は、走査線に伝送されてきた走査信号によりスイッチ素子３３がオンしたときに、スイッチ素子３３を介して補助容量ＣＳおよび液晶容量ＬＣに与えられて表示に用いられる。
【００３３】
表示部２は、光センサ系３２として、Ｒ，Ｇ，Ｂの３画素について光センサ８、センサ容量３７、出力制御スイッチ３４、ソースフォロアアンプ３５、プリチャージ制御スイッチ３８を１個づつ備える。ここでは、光センサ８の一例として、ＰＩＮ型の光ダイオードを用いる。
【００３４】
光センサ８とセンサ容量３７は並列に接続される。これら光センサ８およびセンサ容量３７は、ソースフォロアアンプ３５、出力制御スイッチ３４を介して赤の信号線Ｓｉｇ（ｎ）に接続され、プリチャージ制御スイッチ３８を介して青の信号線Ｓｉｇ（ｎ＋２）に接続される。
【００３５】
出力制御スイッチ３４のオン・オフは制御線ＯＰＴ（ｍ）上の信号により制御され、プリチャージ制御スイッチ３８のオン・オフは制御線ＣＲＴ（ｍ）上の信号により制御される。
【００３６】
次に、光センサ８の動作について説明する。プリチャージ制御スイッチ３８を通じて青の信号線から例えば４Ｖの電圧がセンサ容量３７にプリチャージされる。所定の露光時間の間、光センサ８に入射する光量に応じて光センサ８にリーク電流が発生すると、センサ容量３７の電位が変化する。センサ容量３７は、リーク電流が少なければほぼ４Ｖを維持し、リーク電流が多ければ０Ｖに近づく。一方で、赤の信号線を５Ｖにプリチャージした後、出力制御スイッチ３４をオンしてソースフォロアアンプ３５を赤の信号線に導通させる。センサ容量３７は、ソースフォロアアンプ３５のゲートに接続されているので、センサ容量３７の残存電圧が例えば４Ｖのままならソースフォロアアンプ３５はオンし、赤の信号線の電位は５Ｖから０Ｖに向かって変化する。センサ容量３７の残存電圧が０Ｖならソースフォロアアンプ３５はオフし、赤の信号線の電位は５Ｖのまま殆ど変化しない。
【００３７】
図４の回路図に示すように、コンパレータ４１により、赤の信号線の電位と基準電源４０の基準電圧とを比較し、信号線の電位が基準電圧より大きい場合にはハイレベルの信号を出力し、信号線の電位が基準電圧より小さい場合にはローレベルの信号を出力する。
【００３８】
これにより、コンパレータ４１は、光センサ８が、所定値よりも明るい光を検出した場合にはハイレベルの信号を出力し、所定値よりも暗い光を検出した場合にはローレベルの信号を出力することになる。コンパレータ４１の出力は、センサ用ＩＣ４へ伝送される。
【００３９】
図５は、表示装置の動作を示すタイミングチャートである。同図では、各行（各走査線）について、上部に表示系、下部に撮像系のタイミングチャートを示す。同図に示すように、表示系において映像信号の画素への書き込みが完了した後に、一定のブランク期間（この期間にセンサ容量３７がプリチャージされる）をおいてから、表示画面上の物体について一定の露光時間だけ撮像する。この露光時間は変更可能である。
【００４０】
図６は、センサ用ＩＣの構成を示す回路ブロック図である。同図のセンサ用ＩＣは、表示部２とのやり取りするために信号の電圧を調整するレベルシフタ６１、コンパレータ４１からの出力信号を処理するデータ処理部６２、データを一時的に格納しておくＲＡＭ（Random Access Memory）６３、信号線をプリチャージする際のプリチャージ電圧を出力するＤＡＣ(Digital Analog Convertor)６４を備える。
【００４１】
図７は、データ処理部６２の構成を示す回路ブロック図である。データ処理部６２は、ラインメモリ７１、タイミング発生回路７２、欠陥補正回路７３、階調化回路７４、２値化回路７５、エッジ検出回路７６、接触判定回路７７、座標計算回路７８、出力レジスタ７９、閾値レジスタ８０を備える。
【００４２】
ラインメモリ７１は、前述したコンパレータ４１からレベルシフタ６１を介して撮像データとして伝送されてきた複数行分の２値信号を一時的に格納する。
【００４３】
欠陥補正回路７３は、各画素の値について、近傍の画素の値に基づきその値を修正するフィルタを備える。このフィルタとしては例えばメジアンフィルタを用いる。欠陥補正回路７３は、タイミング発生回路７２が発生させたタイミングに従って動作する。欠陥補正回路７３は省略することもできる。
【００４４】
階調化回路７４は、各画素について近傍の画素の値の平均値をとることにより多階調の階調値を算出して多階調画像を得る。ここで近傍とは注目画素を中心として１．５ｍｍ角〜６ｍｍ角の領域とする。この領域の大きさが小さすぎるとノイズが多くなるし、この領域の大きさが大きすぎると読取り画像が平滑化されすぎ後に行うエッジ検出がしにくくなる。なおこの処理は欠陥補正の効果も備える。また、面積階調の計算は全ての画素毎に計算することができるが、以降のエッジ検出などのために全ての階調値を保持しなくても所定間隔に間引いたものとしてもよい。具体的には、もともとの２値画像が２４０ｘ３２０ｘ１ｂｉｔの場合、階調画像は２４０ｘ３２０ｘ８ｂｉｔでなく、１５ｘ２０ｘ８ｂｉｔと間引いてよい。間引きの割合は指等の指示部材の太さやセンサのピッチによる。大人の１ｃｍ程度の幅の指と画素ピッチ０．１５ｍｍの例では１５ｘ２０ｘ８ｂｉｔ（縦横それぞれ１／１６に間引いたことに相当）程度でもよい。
【００４５】
２値化回路７５は、ホスト側のＣＰＵから与えられた閾値を用いて多階調画像を２値化する。この閾値は、閾値レジスタ８０に予め格納されたものを使う。
【００４６】
エッジ検出回路７６は、撮影された画像から複数のエッジを検出する。エッジの検出には、例えばラプラシアンフィルタを用いる（詳細については第２の実施の形態参照）。
【００４７】
接触判定回路７７は、物体が表示画面に接触したときには、撮像された画像における接触部分と非接触部分の空間的変化が明確になるので、検出されたエッジを用いて物体が表示画面に接触したか否かを判定する。具体的には、エッジ毎に移動方向を調べ、互いに逆方向に移動するエッジがある場合に、物体が表示画面に接触したものと判定する。このとき、逆方向への移動量が所定の閾値以上の場合に接触したと判定することで、判定の精度を高めることができる。
【００４８】
座標計算回路７８は、接触判定回路７７により物体が表示画面に接触したと判定されたときに、エッジ検出回路７６で検出されたエッジを用いて物体の座標位置を計算する。座標位置の具体的な計算には、例えばエッジの重心を求めるようにする。
【００４９】
出力レジスタ７９は、重心計算の結果に基づく物体の座標位置を格納するレジスタと、接触判定回路７７による判定結果を格納するレジスタとを備え、ホスト側のＣＰＵからの要求により、若しくは所定のタイミングにより、これら判定結果と座標位置をホスト側のＣＰＵに出力する。
【００５０】
閾値レジスタ８０は、２値化回路７５で使用する閾値、接触判定回路７７で使用する閾値を格納する。これらの閾値は、ホスト側のＣＰＵから伝送されてきたものを格納しておく。
【００５１】
次に、エッジ検出、接触判定の一例について図８、図９を用いて説明する。図８は指が表示画面に接触しなかった場合、図９は指が表示画面に接触した場合について、露光時間中の時刻ｔ１〜ｔ３における（ａ）指と表示画面の位置関係、（ｂ）階調化・２値化後の撮像画像、（ｃ）エッジ画像、（ｄ）エッジの座標をそれぞれ示す。（ｄ）は、（ｃ）の時刻ｔ１について示したプロファイルラインＰにクロスする２つのエッジの座標の時間変化を示す。図９においては、時刻ｔ２のときに指が表示画面に接触している。
【００５２】
図８（ｄ）に示すように、指が表示画面に接触しない場合には、２つのエッジの座標の間の距離は殆ど変化しない。これに対し、図９（ｄ）に示すように、指が表示画面に接触したときには、指が上下左右に膨らむため、２つのエッジは、互いに逆の方向に移動する。そこで、接触判定回路７７では、互いに逆方向へ閾値以上に移動するエッジが検出された場合には、指が表示画面に接触したと判定する。
【００５３】
したがって、本実施の形態によれば、物体が表示画面に接触したときには、撮像された画像における接触部分と非接触部分の空間的変化が明確になるので、撮影された画像を用いてエッジを検出することで接触部分と非接触部分の境界を区別し、これを接触判定に利用することで、接触判定の精度の向上を図ることができる。具体的には、エッジ検出回路７６により、撮影された画像のエッジを検出し、接触判定回路７７により、互いに逆方向に移動するエッジがある場合に物体が表示画面に接触したと判定することで、物体が表示画面に接触しない限りはエッジが互いに逆方向に移動することはないので、接触判定の精度を高めることができる。
【００５４】
本実施の形態によれば、物体が表示画面に接触したと判定されたときに、座標計算回路７８により、検出されたエッジを用いて物体の位置座標を計算することで、物体が表示画面に接触していないときには座標位置を算出することがないので、位置座標の算出精度の向上を図ることができる。座標位置の算出に際しては、エッジの重心を物体の座標位置として計算することで、高い精度で座標位置を算出することができる。
【００５５】
本実施形態における接触判定の手法は、単独で用いてもよいが、他の判定手法と組み合わせてもよい。例えば、指が表示画面に接触した場合には、図９（ｂ）の時刻ｔ２に示すように、物体の重心部分で白色の画素が増大するので、白色の画素数を計数し、この数が所定の閾値以上となった場合に、指が表示画面に接触したと判定することをさらに行ってもよい。これにより、接触判定の精度をさらに高めることができる。
【００５６】
また、物体が表示画面に接触している間は、図９（ｄ）の時刻ｔ２に示すように、エッジ座標が一定となり、重心座標も一定となるので、エッジ座標、重心座標のうちの少なくとも一方が一定となったときに、物体が表示画面に接触したと判定することをさらに行ってもよい。この場合にも接触判定の精度をさらに高めることができる。
【００５７】
［第２の実施の形態］
本実施の形態では、センサ用ＩＣの構成だけが第１の実施の形態と異なり、表示装置の基本的な構成は同様であるので、ここでは、センサ用ＩＣについてだけ説明するものとし、その他の第１の実施の形態と同様の部分についての重複した説明は省略する。
【００５８】
図１０は、本実施の形態のセンサ用ＩＣにおけるデータ処理部の構成を示す回路ブロック図である。同図のデータ処理部は、階調化回路８１、フレーム間差分処理回路８２、メモリ８３、エッジ検出回路８４、接触判定回路８５、座標計算回路８６を備える。なお、センサ用ＩＣが、このデータ処理部の他にレベルシフタ６１、ＤＡＣ６４を備える点は、第１の実施の形態と同様である。
【００５９】
階調化回路８１は、図４を用いて説明したコンパレータ４１から伝送されてきた２値画像を多階調画像に変換する。この変換の手法としては、例えば、図１１に示すように、各画素について、その周囲の１２画素×１２画素の正方形領域で０又は１からなる２値データの和を取ることにより、０〜１４４の間の多階調値を得る。または１６×１６画素の正方形領域で０〜２５５の間の多階調値を得るようにしても良い。センサＩＣの内部に設けるメモリ領域の配置効率を考慮して適性値を決めるのがよい。あるいは、表示部２で、撮像画像のデータをアナログ信号で出力し、これを階調化回路８１でＡ／Ｄ変換器により多階調のデジタル信号に変換するようにしてもよい。なお階調画像は実施例１と同様に間引いたものを用いても以下の処理は影響が少ない。センサＩＣの内部に設けるメモリ領域の配置効率を考慮して適性値を決めるのが良い。
【００６０】
フレーム間差分処理回路８２は、現在のフレームにおける多階調画像と、メモリ８３に格納されている過去の多階調画像との差分を計算し、この差分画像を出力する。
【００６１】
差分画像を求める際には、例えば、図１２に示すように、任意の時刻ｔ１における多階調画像の階調値から１フレーム前の多階調画像の階調値を画素毎に減算する。なお、同図においては、時刻ｔでの座標（ｘ，ｙ）における階調値をＦ（ｘ，ｙ，ｔ）とおいている。この他、１フレーム毎に表示部２の画素を駆動する駆動電圧の極性が変わる場合には、この極性の影響を除くために、２フレーム前の多階調画像との差分を取るようにしてもよい。このようにするとセンサからのデータ出力が２フレームに１回と少なくなるため消費電力を小さくでき電池を長持ちさせる利点がある。また、偶数番目のフレームと奇数番目のフレームと多階調画像の平均値を取った後に、その平均値どうしで差分を取るようにしてもよい。
【００６２】
エッジ検出回路８４は、各フレームの多階調画像についてエッジ（階調の空間的変化が大きい部分）を検出し、そのエッジ画像を出力する。
【００６３】
エッジの検出に際しては、例えば、図１３に示すように、任意の画素について、その画素の階調値を４倍した値から、その画素の上下左右に隣接する４つの画素の階調値を減算してその画素の階調値とするラプラシアンフィルタを用いる。この他、Ｓｏｂｅｌフィルタや、Ｒｏｂｅｒｔｓフィルタ等のよく知られたフィルタを用いてもよい。また、演算の対象とする画素は、任意画素の上下左右に隣接する画素に限らず、斜めに隣接する画素であってもよいし、ノイズに対する過敏な反応を防ぐために、任意画素の上下左右斜めに数画素分だけ離れた画素を用いるようにしてもよい。例えば大人の指（幅１ｃｍ程度）で入寮区する際は、５ｍｍ以上とするとよい。１ｃｍより大きくする必要はない。フィルタ処理に用いる５つの画素が指（などの指示部材）の影からはみ出すようにするのがよい。指示部材の影の幅をＷとした場合、フィルタ処理に用いる画素は注目画素からＷ／２以上離れているようにするのがよい。Ｗ以上離す必要はない。
【００６４】
また、エッジ検出回路８４では、エッジの検出に際し、階調化回路８２が出力した多階調画像を用いてもよいし、フレーム間差分処理回路８２により差分を取った後の多階調画像を用いてもよい。これらの処理は間引いた後の階調画像を用いて行っても良い。
【００６５】
接触判定回路８５は、上記のようにして得られた差分画像、エッジ画像、そして元の多階調画像のうちの少なくとも１つを用いて、物体が表示画面に接触したか否かの判定を行う。物体が表示画面に接触した場合には、撮像画像における物体を示す領域の面積が広がるので、この点を利用して判定する。例えば、差分画像を用いる場合には、差分画像を所定の閾値で２値化することによって物体を示す領域を抽出し、その領域の面積が所定の閾値以上になった場合に、物体が表示画面に接触したと判定する。一方、エッジ画像を用いる場合には、エッジ画像を所定の閾値で２値化することによって物体を示す領域を抽出し、この領域の面積が所定の閾値以上となった場合に、物体が表示画面に接触したと判定する。
【００６６】
座標計算回路８６は、物体が表示画面に接触したと判定されたときに、差分画像、エッジ画像、そして元の多階調画像のうちの少なくとも１つを用いて、その物体の座標位置を計算する。例えば、差分画像あるいはエッジ画像を用いる場合には、上記の処理によって得た面積が所定の閾値以上になった領域について、その領域の重心を物体の位置座標として算出する。
【００６７】
上述した階調化回路８１、フレーム間差分処理回路８２、メモリ８３、エッジ検出回路８４、接触判定回路８５、座標計算回路８６は、ＡＳＩＣやＤＳＰを用いて実現することができる。また、表示用ＩＣ５と一体化して形成することも可能である。
【００６８】
次に、フレーム間差分処理回路８２、エッジ検出回路８４による処理の効果について、それぞれ比較例と対比しながら説明する。
【００６９】
図１４、図１５は、数百ルクス程度の暗い環境下において指先が表示画面の中央付近に触れる動きをした際に、階調化回路８１の出力として得られる多階調画像の例であり、図１４は指が接触した瞬間の２フレーム前の画像、図１５は指が接触した瞬間の画像である。図１６、図１７は、図１４、図１５の各画像における階調値の分布を３次元グラフでそれぞれ表示したものである。図１７から分かるように、指が接触した部位で階調値が極小となるが、光センサの特性バラツキや周囲光自体の照度分布の傾斜等に起因して、画像の階調値がばらついたり面内傾斜を持ったりしている。図１８、図１９は、図１４、図１５の画像を所定の閾値で２値化したときの画像をそれぞれ示している。図１８では、指が接触していないにも関わらず誤って接触領域が検出されており、図１９では、指が接触していない領域が誤って接触領域として検出されている。これは、閾値をもっと厳密に設定する必要があることを示しているが、周囲の環境がもっと暗くなると閾値の設定はより困難になっていく。
【００７０】
これに対し、図２０は、フレーム間差分処理回路８２により、フレーム間で差分を取った差分画像であり、図２１は、図２０の階調値を３次元グラフで表示したものである。指が表示画面に接触する瞬間には影が急激に暗くなる特徴があるので、このときの差分値は最小値をもつ。図２２は、図２０の画像を所定の閾値で２値化した画像である。差分を取ることにより階調値のばらつきや傾斜が補償されるので、指の接触部分と非接触部分とがはっきりと区別されており、指の接触領域が精度良く抽出されていることが分かる。
【００７１】
図２３、図２４は、数千ルクス程度の明るい環境下において指先が表示画面の中央付近に触れる動きをした際に、階調化回路８１の出力として得られる多階調画像の例であり、図２３は指が接触した瞬間の２フレーム前の画像、図２４は指が接触した瞬間の画像である。図２５、図２６は、図２３、図２４の各画像における階調値の分布を３次元グラフでそれぞれ表示したものである。図２７、図２８は、図２３、図２４の画像を所定の閾値で２値化したときの画像をそれぞれ示している。図２７では、指が接触していないにも関わらず誤って接触領域が検出されており、図２８では、表示画面の中央付近だけを指先で触れているにも関わらず、指の根元方向に伸びた領域が接触領域として誤って検出されている。これも、閾値をもっと厳密に設定する必要があることを示しているが、周囲の環境がもっと明るくなると、光センサのダイナミックレンジが狭いため、影の像が黒くつぶれやすくなり、閾値の設定はより困難になっていく。
【００７２】
これに対し、図２９、図３０は、図２３、図２４の画像に対してそれぞれエッジ検出回路８４によりエッジを検出した画像である。ここでは、ラプラシアンフィルタを用いた。図３１、図３２は、図２９、図３０の各画像におけるエッジ強度を３次元グラフでそれぞれ表示したものである。指が触れていない場合は、光の回り込みによって影と環境光の境界がぼやけるのに対し、指が触れている場合には境界がはっきりするという特徴があるので、図３２では図３１に対して大きなピークが観察されている。この点は、指の接触領域を検出するうえで都合が良い。図３３、図３４は、図２９、図３０の画像をそれぞれ所定の閾値で２値化した画像である。図３４の２値画像を見ると、指先の触れた部分が精度良く抽出されていることが分かる。
【００７３】
したがって、本実施の形態によれば、物体が表示画面に接触した場合には接触部分の面積が大きくなるので、エッジ検出回路８４によりエッジを検出し、接触判定回路８５によりエッジ画像から物体を示す領域を抽出し、この領域の面積が所定の閾値以上となった場合に物体が表示画面に接触したと判定することで、接触判定の精度を向上させることができる。
【００７４】
本実施の形態によれば、物体の接触が確認されたときに、座標計算回路８６により、エッジ画像について面積が所定の閾値以上になった領域の重心を物体の位置座標として算出することで、座標位置の算出精度を向上させることができる。
【００７５】
本実施の形態によれば、物体が表示画面に接触したときには撮影された画像に時間的変化が生じるので、フレーム間差分処理回路８２により現在のフレームの多階調画像と過去のフレームの多階調画像との差分画像を求めることで、撮影された画像の時間的変化に基づいて接触部分と非接触部分の境界を区別し、これを接触判定に利用することで接触判定の精度を向上させることができる。
【００７６】
本実施の形態によれば、物体が表示画面に接触した場合には接触部分の面積が大きくなるので、座標計算回路８６により差分画像を用いて物体を示す領域を抽出し、この領域の面積が所定の閾値以上となった場合に物体が表示画面に接触したと判定することで、接触判定の精度を向上させることができる。
【００７７】
本実施の形態によれば、物体の接触が確認されたときに、座標計算回路８６により、差分画像について面積が所定の閾値以上になった領域の重心を物体の位置座標として算出することで、座標位置の算出精度を向上させることができる
本実施の形態によれば、フレーム間差分処理によって暗い環境下における接触判定と座標計算の精度を向上させることができ、エッジ検出処理によって明るい環境下における接触判定と座標計算の精度を向上させることができる。
【００７８】
また、階調化回路８１が出力した多階調画像から環境光の強度を把握することができるので、この多階調画像を常時モニターしておいて、接触判定回路８５により、多階調画像の階調値に基づいて環境光が暗い場合と明るい場合とでフレーム間差分処理とエッジ検出処理とを自動的に切り替えるようにしてもよい。この場合の座標位置の計算は、前述したものと同様の処理を適用できる。
【００７９】
例えば、暗い環境下では差分画像による接触判定結果と座標計算結果をより確からしいとし、明るい環境下ではエッジ画像による接触判定結果と座標計算結果をより確からしいとする、ファジー処理なども考えられる。
【００８０】
［第３の実施の形態］
本実施の形態においても、センサ用ＩＣの構成だけが第１の実施の形態と異なり、表示装置の基本的な構成は同様であるので、ここでは、センサ用ＩＣについてだけ説明するものとし、その他の第１の実施の形態と同様の部分についての重複した説明は省略する。
【００８１】
本実施形態の表示装置では、図３５に示すように、第１〜第１２スイッチを表示画面に表示させるものとし、指２０がどのスイッチに接触したかを判定することを想定する。
【００８２】
図３６は、本実施の形態におけるセンサ用ＩＣ９０の構成を示す回路ブロック図である。同図のセンサ用ＩＣ９０は、レベルシフタ９１、階調化回路９２、キャリブレーション回路９３、ＤＡＣ(Digital Analog Convertor)９４、計数回路９５、フレーム間差分処理回路９６、エッジ検出回路９７、接触確率計算回路９８、ＲＡＭ(Random Access Memory)９９を備える。
【００８３】
レベルシフタ９１は、図６で説明したレベルシフタ６１と基本的には同様のものである。
【００８４】
階調化回路９２は、図４を用いて説明したコンパレータ４１から伝送されてきた２値画像を多階調画像に変換する。その変換の手法は、図１０の階調化回路８１と同様である。
【００８５】
キャリブレーション回路９３は、撮像画像について白色の画素数をカウントし、全画素の３０〜７０％が白色となるように制御信号を出力する。この制御信号を受けたＤＡＣ９４、レベルシフタ９１では、露光時間やプリチャージ時間を調節する。具体的には、出力される白色画素の数が７０％に増大した場合には、露光時間を短くするか若しくはプリチャージ電圧を高くすることによって、白色画素の数を５０％程度に引き戻す。一方、出力される白色画素の数が３０％に低減した場合には、露光時間を長くするか若しくはプリチャージ電圧を低くすることによって、白色画素の数を５０％程度に引き戻す。このように、白色の画素数を全画素の３０〜７０％にしておくことで、図３７のグラフに示すように、光センサの応答を敏感にすることができる。
【００８６】
計数回路９５は、表示画面に表示されているスイッチ毎に白色の画素の数を計数し、これらの計数値をスイッチ毎に保持する。また、現在のｎ番目のフレームにおける計数値と、過去のｎ−１番目のフレームにおける計数値との差分値を算出して保持し、スイッチ毎の差分値のうち最大のものが所定の閾値以上の場合に、確率計算の候補として、指がそのスイッチに接触したとの旨を示す信号を出力する。これは、図３８に示すように、特定のスイッチ（同図の第５スイッチ）に指が接触した場合には、他のスイッチでも差分対象の画像間の階調変化が連動して起こることになるが、実際に指が接触しているスイッチで最も階調変化が激しくなるので、上記の最大の差分値を判定の対象とすることにより、判定の精度を高めることができるからである。計数回路９５の出力信号は、接触確率計算回路９８に送られる。
【００８７】
フレーム間差分処理回路９６は、現在のフレームにおける多階調画像とＲＡＭ９９に格納されている過去の多階調画像との差分を取った差分画像を求め、この差分画像を２値化して物体を示す領域を抽出し、この領域の重心を算出し、確率計算の候補として、指がこの重心に位置するスイッチに接触したとの旨を示す信号を出力する。差分画像の導出手法は、第２の実施の形態と同様である。
【００８８】
エッジ検出回路９７は、各フレームの多階調画像についてエッジの強さ（階調の空間的変化の大きさ）を算出し、階調値が所定の閾値以上のエッジについてその重心を算出し、確率計算の候補として、指がこの重心に位置するスイッチに接触したとの旨を示す信号を出力する。エッジの算出手法は、第２の実施の形態と同様である。また、キャリブレーション完了時点の多階調画像をメモリに保持しておき、最新の多階調画像から減算した新たな多階調画像に対してエッジ検出をすることも有効である。センサの特性ばらつきに起因する撮像ムラを減殺でき、真に指によるエッジのみを切り出すことができるようになるからである。
【００８９】
接触確率計算回路９８は、計数回路９５、フレーム間差分処理回路９６、エッジ検出回路９７からそれぞれ出力された信号に基づいてスイッチ毎に接触確率を計算する。例えば、各回路９５、９６，９７により指が接触したとされたスイッチについてはそれぞれ１０ポイント与え、他のスイッチに与えるポイントは０とする。一例として、各回路９５，９６，９７のそれぞれから第５のスイッチに指が接触した可能性が高い旨の信号を受け取った場合には、第５スイッチは合計３０ポイント、他のスイッチは０ポイントとなるので、第５スイッチは３０／３０×１００（％）＝１００％、他のスイッチは０／３０×１００（％）＝０％であると確率が計算される。他の例として、回路９５，９６から第５スイッチに接触したという信号を受け取り、回路９７から第６スイッチに接触したという信号を受け取った場合には、第５スイッチは合計２０ポイント、第６スイッチは１０ポイント、他のスイッチは０ポイントとなるので、第５スイッチは６７％、第６スイッチは３３％、他のスイッチは０％であると確率が計算される。
【００９０】
そして、接触確率計算回路９８の出力を受けるホスト側のＣＰＵで、接触確率が１００％のときだけ指が表示画面に接触したと判断するように設定した場合には、接触判定の精度が極めて高いシステムを実現できる。一方、ホスト側で接触確率が６７％のときでも指が表示画面に接触したと判断するように設定した場合には、応答性のよいシステムを実現できる。前者は銀行のＡＴＭなどの信頼性を要するアプリケーションに適用でき、後者はゲームなどの信頼性がそれほど要求されないアプリケーションに適用することができる。
【００９１】
したがって、本実施の形態によれば、計数回路９５、フレーム間差分処理回路９６、エッジ検出回路９７によって、それぞれ別の手法により物体が接触したスイッチを示す信号を出力し、接触確率計算回路９８により、これらの信号に基づいてスイッチ毎に接触確率を計算することで、信頼性の高いスイッチ毎の接触確率の提供が可能になるので、システムに要求される信頼性に応じた高精度かつ柔軟な接触判定および座標計算を可能にすることができる。
【００９２】
本実施の形態によれば、キャリブレーション回路９３により、白色の画素数が全画素の３０〜７０％となるように光センサの動作を制御する制御信号を出力することで、光センサの応答を敏感にでき、精度の高い接触判定、座標計算に寄与することができる。このキャリブレーション回路９３は、第１実施の形態、第２実施の形態においても同様に適用することができる。
【００９３】
なお、上記各実施の形態では、人の指が表示画面に接触した場合を例に説明したが、これに限られるものではない。表示画面に接触する物体としては、ＬＥＤ等の光源が付いたライトペンでもよいし、白色のマスコットなどでもよい。あるいは、メタリック鏡面を有する金属片や、鉛筆サックなどでもよい。
【００９４】
［第４の実施の形態］
本実施の形態における表示装置の基本的な構成は第１の実施の形態と同様であり、またセンタ用ＩＣの基本的な構成は第２の実施の形態で図１０を用いて説明したものと同様であるが、接触判定回路８５と座標計算回路８６の内部構成と処理が異なるので、ここでは、その点だけを説明するものとし、その他の第１，第２の実施の形態と同様の部分についての重複した説明は省略する。
【００９５】
図３９は、接触判定回路８５と座標計算回路８６により、差分画像とエッジ画像を用いて接触フラグと座標データを計算するための構成及び演算処理の流れを示している。これらの演算は専用のＡＳＩＣによって並列演算しても良いし、ＣＰＵやＤＳＰなどを用いて逐次演算しても良い。
【００９６】
本実施形態においては、接触判定回路８５は、差分面積計算回路１０１、差分面積補正回路１０２、差分面積記憶回路１０３、差分座標計算回路１０４、差分座標記憶回路１０５、エッジ強度計算回路１０６、エッジ強度記憶回路１０７、接近離脱度計算回路１１１、座標間距離計算回路１１２、エッジ強度変動計算回路１１３、エッジ座標変動計算回路１１４、コンパレータ１１５ａ〜１１５ｅ、接触判定ステートマシン１１６を有する構成である。また、座標計算回路８６は、しきい値補正計算回路１０８、エッジ座標計算回路１０９、エッジ座標記憶回路１１０を有する構成である。レジスタ１００ａ〜１００ｊは、各種のしきい値や基準値を格納するためのものである。
【００９７】
差分面積計算回路１０１は、差分画像の階調値が所定のしきい値より大きい或いは小さい画素についてその総数をカウントし、その結果を差分面積として出力する。これは、指やライトペンなどの動きに起因して撮像画像に変化が生じた場合に、その領域の面積を求めることに相当する。例えば指の場合、指がパネルに接近すると指が周囲の環境光をさえぎるためにその部分の画像は暗くなり差分画像は負の値をもつことが多い。したがって、差分面積計算回路１０１で用いるしきい値を適切に設定してやることによって、指が接近した部分の面積を算出することができる。
【００９８】
なお、差分面積計算回路１０１に代えて、差分画像の階調値が所定のしきい値より大きい或いは小さい画素について、階調値としきい値の差に依存した重み係数を算出し、その重み係数を累算するという回路を用いても良い。重み係数としては、例えば階調値としきい値の差に比例したものを用いることが望ましい。もちろん、階調値としきい値の差そのものを用いてもよい。この場合、出力される累算値は、動きのあった部分の大きさと動きの速さに依存する量になる。ただし、ここでは差分面積計算回路１０１を採用するものとする。
【００９９】
差分面積計算回路１０１では、周囲の環境光が急に変化した場合（例えば屋内から屋外に出た瞬間など）にやはり大きな差分面積値を出力してしまうので、これを指などの認識対象物の動きと区別するために差分面積を補正してやる必要がある。差分面積補正回路１０２はそのための回路であり、認識対象物面積の基準値をあらかじめ設定しておき、差分面積がその基準値を超えた場合に、差分面積を本来の値よりも小さい値に補正するものである。補正の仕方としては例えば、図４０に示すように、入力された差分面積が基準値を超えた場合に、差分面積と基準値の差に比例して補正差分面積が減少するような演算を行い、これを出力する。
【０１００】
このようにして得られた補正差分面積値を、数フレームに渡って差分面積記憶回路１０３に記憶しておき、後述するように対象物体の接近・離脱の判定に用いる。この差分面積記憶回路１０３は例えばシフトレジスタを用いて構成し、１フレームごとにシフトを実行することによって実現できる。
【０１０１】
差分座標計算回路１０４は、差分画像の階調値が所定のしきい値より大きい或いは小さい画素について、それらの位置座標の平均値を計算し、その結果である差分座標を物体の位置座標として出力する。差分座標は、例えば指の接近などによって画像の差分が発生した場合について、その中心の座標を表す値である。差分座標は、数フレームに渡って図中の差分座標記憶回路に記憶され、後述するように接触判定に用いられる。
【０１０２】
また、差分座標計算回路１０４では、上記の手法に代えて、差分画像の階調値が所定のしきい値より大きい或いは小さい画素について、階調値と所定のしきい値との差に依存する重み係数を用いた重心計算によって位置座標を求めるものとしてもよい。これは、走査線方向および信号線方向に沿った位置座標の重み係数による加重平均計算に相当する。この場合、重み係数は、階調値としきい値との差に比例することが望ましい。
【０１０３】
エッジ強度計算回路１０６は、エッジ画像の階調値が所定のしきい値より大きい或いは小さい画素について、階調値としきい値との差を累算する回路であり、その累積値をエッジ強度として出力する。例えば、指などの対象物がパネルに近づくほど、周囲の環境光が対象物によってさえぎられる部分とその周りとの階調差が大きくなる。つまりエッジ画像の階調値の絶対値が大きくなる。また、指がパネルに触れている場合に、パネルへの押し付け方によって接触部分の面積が異なるため、エッジ画像の階調値の絶対値が大きくなる面積も変化する。したがってエッジ強度は、指などの対象物とパネルとの距離の近さ、あるいはパネルとの接触領域の大きさを表す指標となる。エッジ強度は数フレームに渡ってエッジ強度記憶回路１０７に記憶され、後述するように接触判定に用いられる。
【０１０４】
エッジ強度計算回路１０６では、しきい値を超えた画素に対して階調値としきい値の差をそのまま累算しているが、階調値としきい値の差によって定まる重み係数を累算してもよい。この重み係数としては、例えば階調値としきい値の差に比例するものを用いる。また、階調値が所定のしきい値よりも大きい或いは小さい画素の総数をカウントし、その結果をエッジ強度として出力してもよい。ただし、ここでは階調値としきい値の差をそのまま累算するものとする。
【０１０５】
エッジ座標計算回路１０９は、エッジ画像の階調値があるしきい値よりも大きい或いは小さい画素について、階調値としきい値の差に依存する重み係数を用いて重心座標を計算し、結果をエッジ座標として出力する。エッジ座標は例えば指などの認識対象物が触れている領域の中心座標を表す。エッジ座標は数フレームに渡ってエッジ座標記憶回路１１０に記憶され、後述するように接触判定に用いられるとともに、最終的に位置座標としても出力される。
【０１０６】
この重心計算に用いる重み係数としては、階調値としきい値の差に比例する値を用いることが望ましい。あるいは、階調値としきい値の差そのものを用いても良いし、重み係数を階調値としきい値の差によらず１にしても良い。ただし、ここでは階調値としきい値の差そのものを重み係数として採用するものとする。
【０１０７】
また、エッジ座標計算回路１０９では、上記の手法に代えて、エッジ画像の階調値が所定のしきい値より大きい或いは小さい画素について、それらの位置座標の平均値を計算し、その結果をエッジ座標として出力してもよい。
【０１０８】
また、位置座標の精度をさらに上げるためには、しきい値補正計算回路１０８によって、エッジ画像の階調度数分布に依存してエッジ画像に対するしきい値を動的に変更する処理を行うことが有効である。これは、環境光が暗い場合と明るい場合とで階調差が大きいためである。図４１は、屋内など環境光が暗い場合のエッジ画像を示す図であり、図４２は、環境光が明るい場合のエッジ画像を示す図である。これらの図において、Ｒは階調値が８８〜６９の画素、Ｇは階調値が６８〜４９の画素、Ｂは階調値が４８以下の画素をそれぞれ示している。図４１に示すように、環境光が暗い場合には、画像中で環境光を遮る部分と遮らない部分との階調差はそれほど大きくないが、図４２に示すように、晴れの日の屋外など環境光が非常に明るい場合には、階調差が非常に大きくなる。したがって、周囲の環境光によってエッジ画像の階調の大小に差があることになるので、しきい値を固定してしまうと、エッジ座標が実際に物体が接触している部分から大きく乖離してしまうおそれがある。そこで、例えば、一旦エッジ画像を走査して階調度数分布における最大値或いは最小値を求めておき、その最大値或いは最小値とあらかじめ設定したしきい値との平均値を新たなしきい値とするようなしきい値補正計算によって、接触部分に対応する正確な位置座標が算出可能となる。
【０１０９】
接近離脱度計算回路１１１は、過去の複数フレームについて保持されている差分面積値とエッジ強度値とを用いて、指など認識対象物の接近している度合い・離脱している度合いを表す接近離脱度という値を計算する。具体的には、あるフレームにおけるエッジ強度から、所定フレーム前におけるエッジ強度を減算した値と、差分面積とを積算した値として定義される。例えば、現在のフレームのエッジ強度から２フレーム前のエッジ強度を減算した値と、現在のフレームの差分面積とを積算した値とする。他にも、例えば、現在のフレームのエッジ強度から１フレーム前のエッジ強度を減算した値と、現在のフレームの差分面積との積などの定義でも良い。差分面積は、補正した後のものを用いることが望ましいが、補正しないものでも適用可能である。
【０１１０】
指などがパネルに接近する瞬間には、差分面積の値が大きくなると同時にエッジ強度が増加するので、接近離脱度は正のピークをもつ。一方、指などがパネルから離れる瞬間には、差分面積の値が大きくなると同時にエッジ強度が減少するので、接近離脱度は負のピークをもつ。したがって、適切に設定された正のしきい値と接近離脱度とを比較することによって、指などの認識対象物がパネルに接近したタイミングを知ることができる。同様に、適切に設定された負のしきい値と接近離脱度とを比較することによって、指などの認識対象物がパネルから離れたタイミングを知ることができる。これらの比較演算の結果は図３９に示すように、接触判定ステートマシン１１６に入力され、後述するように一連の接触判定に用いることができる。
【０１１１】
エッジ強度変動計算回路１１３は、エッジ強度が過去数フレームの間にどれだけ変動したかの指標となるエッジ強度変動値を計算する。エッジ強度変動は、複数のフレームにおけるエッジ強度値の最大値と最小値の差として定義される。例えば、過去３フレームのエッジ強度値から、その最大値と最小値を求め、最大値から最小値を減算したものとする。フレーム数は、撮像のフレームレートと、指などの想定される接触時間に応じて、過去４フレーム、５フレームなど、別のより適切な値を選ぶこともできる。また、エッジ強度変動は、最大値と最小値の差ではなく、累積値そのもので定義してもよいし、標準偏差などで定義しても良い。
【０１１２】
指などがパネルにきちんと接触し、かつ静止している最中はエッジ画像が安定するため、エッジ強度変動は小さい値になる。したがって、エッジ強度変動を適切に設定されたしきい値と比較することによって、指などの認識対象がパネルに触れて静止しているという判定ができる。この比較演算の結果は図３９に示すように、接触判定ステートマシン１１６に入力され、後述する一連の接触判定に用いることができる。
【０１１３】
また、エッジ強度値そのものは、前述のように指などの対象物とパネルとの距離の近さ、あるいはパネルとの接触領域の大きさの指標となるので、現在のフレームのエッジ強度値を適当なしきい値と比較することによって指などの接触・非接触を判定できる。上記の比較演算の結果は接触判定ステートマシン１１６に入力され、後述するように一連の接触判定に用いることができる。
【０１１４】
エッジ座標変動計算回路１１４は、エッジ座標が過去数フレームの間にどれだけ変動したかの指標となるエッジ座標変動値を計算する。具体的には、エッジ座標記憶回路１１０で、エッジ座標として表される位置座標を複数フレームについて記憶しておき、エッジ座標変動計算回路１１４は、複数の位置座標の最大値と最小値の差と所定のしきい値との比較演算を行う。例えば、過去の４フレームのエッジ座標から、走査線方向座標と信号線方向座標のそれぞれについて別々にその最大値と最小値を求め、最大値から最小値を減算する。フレーム数は、撮像のフレームレートと、指などの想定される接触時間に応じて、過去３フレーム、５フレームなど、別のより適切な値を選ぶこともできる。また最大値と最小値の差ではなく、標準偏差などで定義しても良い。指などがパネルにきちんと接触し、かつ静止している最中はエッジ座標が安定するため、エッジ座標変動は小さい値になる。したがって、エッジ座標変動を適切に設定されたしきい値と比較することによって、指などの認識対象がパネルに触れて静止しているという判定ができる。この比較演算の結果は、接触判定ステートマシン１１６に入力され、後述するように一連の接触判定に用いることができる。
【０１１５】
座標間距離計算回路１１２は、差分座標計算回路１０４により差分画像を用いて得られた位置座標と、エッジ座標計算回路１０９によりエッジ画像を用いて得られた位置座標との間の距離（座標間距離）を計算する。例えば、指などの対象物がパネルに接近した瞬間の差分座標と、パネルに接触して静止した瞬間のエッジ座標と、パネルから離れる瞬間の差分座標と、の３つのタイミングにおける座標を比較することによって、接近した位置と離れた位置の距離、接触して静止した位置と離れた位置の距離といった座標間距離を計算する。３つタイミングは前述した接近離脱度やエッジ強度変動などの比較演算結果によって知ることができるのでその時の差分座標やエッジ座標を一時的に記憶しておけば座標間距離の計算が可能である。例えば、接近した位置と離れた位置の座標間距離を所定のしきい値と比較することによって、押した位置と離した位置が同じである”クリック動作”なのか、押した位置と離した位置が違う”ドラッグ＆ドロップ動作”なのか、などの識別に用いることができる。この比較演算の結果は接触判定ステートマシン１１６に入力され、後述するように一連の接触判定に用いることができる。なお、図３９では、図が煩雑にならないように、各比較演算結果を座標間距離計算回路１１２へ入力する線は省略している。
【０１１６】
接触判定ステートマシン１１６は、上述した接近離脱度の比較演算結果、エッジ強度変動の比較演算結果、エッジ強度の比較演算結果、エッジ座標変動の比較演算結果、座標間距離の比較演算結果のうちの少なくとも１つの演算結果、および現在のフレームの状態、現在の状態で経過したフレーム数、各状態に対応して予め設定されたタイムアウトフレーム数を入力として、次のフレームの状態を決定する。また、接触判定ステートマシン１１６は、現在のフレームの状態に基づいて、指などの認識対象物が接触したか否かの接触フラグを出力する。なお、図３９では、図が煩雑になってしまうので、現在のフレームの状態、経過フレーム数、タイムアウトフレーム数などの入力を表す線は省略している。
【０１１７】
図４３は、ステートマシン１１６における遷移状態と、それらの間の遷移パスおよび遷移条件の一例を示す。ただし煩雑になるのを防ぐため、図４３ではすべての遷移パスと遷移条件を記述しているわけではない。また、タイムアウトによる遷移についても省略している。図４３の例では、指などの認識対象物が１回パネル上のある位置に触れて静止した後に、同じ位置で離れたという”シングルクリック”動作に対して接触したという判定を下すものである。ステートマシン１１６は、接触判定の結果をアイドル状態、接近状態、接触状態、離脱状態、完了状態の各状態で表す。アイドル状態は指の接近を待っている状態である。前述の接近離脱度が設定された（正の）しきい値より大きく、かつエッジ強度がしきい値よりも大きい場合に指などが接近したと判定して接近状態に遷移する。接近状態は指などがパネルに触れてしっかり安定するのを待つ状態である。エッジ強度がしきい値よりも大きいままで、さらにエッジ強度変動、エッジ座標変動がそれぞれ設定したしきい値よりも小さくなった場合に、指などがパネルにしっかり触れて安定したと判定し、接触状態に遷移する。接触状態では指などが離れ始めるのを待つ。エッジ強度がしきい値より小さくなった場合に指などが離れ始めたと判定して離脱状態に遷移する。離脱状態は指が完全に離れるのを待つ状態である。接近離脱度が（負の）しきい値よりも小さく、かつ、接近時の座標と離脱時の座標の距離である座標間距離がしきい値よりも小さい場合に”シングルクリック”が成立したと判定して完了状態に遷移する。完了状態では、接触判定フラグをオンにして、”シングルクリック”があったことと、その位置座標をホストのCPUなどに知らせる。完了状態からはタイムアウトフレーム数の設定に応じて自動的にアイドル状態に戻る。
【０１１８】
なお、上記のステートマシン１１６の他、”ダブルクリック”動作を認識するようなステートマシンや、”ドラッグ＆ドロップ”動作、パネルを”こする”動作などを認識するステートマシンを用いてもよい。
【０１１９】
［第５の実施の形態］
本実施の形態では、図３５を用いて説明した入力時の表示画面をソフトウェア的に表示させるときのスイッチの表示輝度について説明する。なお、その他の構成については、上記各実施の形態と同様であるので、ここでは重複した説明は省略する。
【０１２０】
図４４は、黒背景に白色のスイッチが１２個表示され、個々のスイッチに番号が表示された状態を示している。図３８を用いて説明した観察をしてスイッチが押されているときと押されていないときのＳ／Ｎ比を図４５にプロットした。縦軸はＳ／Ｎ比、横軸は外光の照度である。外光が高いときは問題ないが１００ｌｘ近傍ではＳ／Ｎ比が小さくなくなる問題がある。その理由は指が外光をさえぎることにより当該スイッチに属する光センサに投影される影（シグナル）に対し、スイッチの表示光が指で反射して反射光の成分が相対的に目立ってきて影（シグナル）を減じるノイズとなるためである。なお、１００ｌｘ近傍でＳ／Ｎ比が小さくなるが０ｌｘに向かって上昇する。これは外光が十分小さくなり、スイッチの表示光が指で反射して生じる反射光の成分がシグナルとなり、このシグナルに対しては外光がノイズとなり外光が十分小さくなるときＳ／Ｎ比がとれるからである。
【０１２１】
そこで、図４６に示すように、スイッチを黒色とし背景色を白とした。このようにすると上述の外光近傍でノイズとして働く表示光が指で反射してセンサに入射する影を減じる現象を抑制でき、図４７に示すように１００ｌｘ近傍のＳ／Ｎ比が改善する。１００ｌｘ程度以上で動作すればよいアプリケーションで有効である。
【０１２２】
図４８は、さらにスイッチの表示に工夫を加えたものである。図４４のスイッチの内部に黒領域を設けたものである。図４４の場合に対して黒い部分の割合が多いため外光による影を読取る範囲が広がる。かつ、適当に白い部分も有するので暗所でもＳ／Ｎ比が確保できる。
【０１２３】
実験によると白い部分はそれほど大きくしなくても０ｌｘ付近の暗所での読み取りには足りる。スイッチに占める黒（低輝度）の面積をスイッチの５０％以上にするのがよい。図５０、図５１、図５２に変形例を示す。白（高輝度）の部分を少なくすることによりユーザーも指でタッチする部分も限定され、紛らわしい入力を防ぐ効果がある。このような理由から、白（高輝度）の部分を黒（低輝度）の部分より少なくすることは特に有効である。
【０１２４】
［第６の実施の形態］
本実施の形態では、上記各実施の形態における各閾値の決め方について説明する。なお、その他の構成については、上記各実施の形態と同様であるので、ここでは重複した説明は省略する。
【０１２５】
図５３のようにして接触判定を行う場合、接近度、離脱度、エッジ安定度、座標安定度についてそれぞれ閾値を決める必要がある。ところが、これらは環境（外光や温度等）により最適値が変化するため特定の値に決めてしまうことが難しい。特定の値に決めてしまうと環境により誤動作してしまい問題となる。
【０１２６】
そこで、本実施の形態では、特定のタイミングにおける信号のノイズを計測しておき、これに基づいて閾値を算出する。具体的には、直前の状態（アイドル状態）での各信号のノイズレベルを計測しておき、安定度については振幅がアイドル状態のときの６０％以下となること、接近度・離脱度については閾値をアイドル状態のときのノイズ振幅の５−２０倍となるように自動設定する。
【０１２７】
具体例を図５４乃至５７に示す。各図では、アイドル時の接近度のノイズ振幅をＳで示し、エッジ強度のノイズ振幅をＥで示す。指が接近してくる際、接近強度を示す信号が徐々に増加してくるが、これがＳ×１０に達したときに接近とみなす。つまり、Ｓ×１０を接近強度の閾値とする。離脱信号についても同様である。一方、エッジ強度については指が接しているときに一応指がＬＣＤ表面に固定されるためエッジ強度は安定すると考えられる。つまりエッジ強度の振幅が小さくなる。アイドル時のエッジ強度のノイズ振幅の０．５倍程度以下に小さくなったときにエッジ強度が安定したとみなす。つまりエッジ安定度の閾値をＥ×０．５とする。座標安定度についても同様である。
【０１２８】
このようにすることによってさまざまな環境下で適切に閾値を決めることが可能となり誤入力及び誤動作を激減させることができる。
【０１２９】
［第７の実施の形態］
図５８（ａ）は本実施形態における表示装置を搭載した筐体の側面図、同図（ｂ）はその筐体の上面図、同図（ｃ）は表示装置の上面図をそれぞれ模式的に示したものである。
【０１３０】
表示装置１３４は、光検知部１３４ａを備えており、筐体１３３は、この表示装置１３４と、透明部１３３ａ、遮蔽部１３３ｂを備える。表示装置１３４は、例えば光センサを集積した液晶ディスプレイなどである。筐体１３３は、例えば携帯電話機の筐体などであり、表示装置１３４の表示部及び光検知部１３４ａの上方に透明部１３３ａが配置され、その周辺は光を通さない遮蔽部１３３ｂとなっている。
【０１３１】
このような構成において、指１３２が透明部１３３ａに接触すると、指１３２が周囲の環境光１３１を遮ることによって表示画面上に影１３７ができる。光検知部１３４ａでこの影を検知することによって指が触れた位置の座標１３９を算出することができる。
【０１３２】
しかし、一般に表示画面の保護のため筐体１３３の透明部１３３ａと表示装置１３４は多少離れているため、図５８のように環境光１３１が斜め方向から入射した場合などには実際に透明部１３３ａ上で接触した位置１３６と、算出された座標１３９がずれてしまう問題がある。
【０１３３】
一方、環境光１３１が斜めから入射した場合に筐体１３３の遮蔽部１３３ｂによっても表示画面上に影１３８ができる。筐体１３３と表示装置１３４との相対位置は予め知ることができるので、筐体１３３の影１３８を光検知部１３４ａで検知した階調情報に基づいて、正しい接触位置を知るための補正量１４０を算出することができる。
【０１３４】
そこで、本実施の形態では、遮蔽部１３３ｂによって表示画面に投影されるかげを光検知部１３４ａにより検知することにより、周囲から表示画面に入射する光の入射方向を検知し、その入射方向に基づいて座標入力の座標値を補正する。
【０１３５】
図５９は、階調情報から補正量を算出する方法の具体例を示している。同図の破線で示すように、光検知部のうち四辺からの距離が例えば８画素以内にある画素を補正量算出専用に用いる。図６０は、環境光が右辺側から入射する場合に、Ｘ座標の大きい方から８画素以内にある画素について、座標ＸとＹ軸方向に沿ってとった平均階調値Ｇ（Ｘ）の関係を示している。右辺側にある筐体の影ができるため、平均階調は座標Ｘが増えると減少する。この平均階調の値がしきい値Ｇ０を下回るような画素数をＸ座標の補正量とする。例えば図６０ではＸ座標の補正量は＋４となる。
【０１３６】
同様にＸ座標の小さい方から８画素以内で平均階調値がしきい値を下回った場合にもその画素数をＸ座標の補正量とする。ただしこの場合はマイナス側に補正する。Ｙ座標の補正量についても全く同様にして求めることができる。
【図面の簡単な説明】
【０１３７】
【図１】第１の実施の形態における表示装置の構成を示す平面図である。
【図２】上記表示装置における表示部の構成を示す断面図である。
【図３】上記表示部が備える画素の構成を示す回路図である。
【図４】上記画素における光センサ系の構成を示す回路図である。
【図５】上記表示装置の動作を示すタイミングチャートである。
【図６】上記表示装置におけるセンサ用ＩＣの構成を示す回路ブロック図である。
【図７】上記センサ用ＩＣにおけるデータ処理部の構成を示す回路ブロック図である。
【図８】指が表示画面に接触しなかった場合について、露光時間中の時刻ｔ１〜ｔ３における（ａ）指と表示画面の位置関係、（ｂ）階調化・２値化後の撮像画像、（ｃ）エッジ画像、（ｄ）エッジの座標をそれぞれ示す。
【図９】図９は指が表示画面に接触した場合について、露光時間中の時刻ｔ１〜ｔ３における（ａ）指と表示画面の位置関係、（ｂ）階調化・２値化後の撮像画像、（ｃ）エッジ画像、（ｄ）エッジの座標をそれぞれ示す。
【図１０】第２の実施の形態におけるセンサ用ＩＣの構成を示す回路ブロック図である。
【図１１】上記センサ用ＩＣにおける階調化回路での処理の例を示す図である。
【図１２】上記センサ用ＩＣにおけるフレーム間差分処理回路での処理の例を示す図である。
【図１３】上記センサ用ＩＣにおけるエッジ検出回路での処理の例を示す図である。
【図１４】指が表示画面に接触する直前の多階調画像を示す図である。
【図１５】指が表示画面に接触した瞬間の多階調画像を示す図である。
【図１６】図１４の画像の階調値を示す３次元グラフである。
【図１７】図１５の画像の階調値を示す３次元グラフである。
【図１８】図１４の画像を２値化した画像を示す図である。
【図１９】図１５の画像を２値化した画像を示す図である。
【図２０】図１４の画像と図１５の画像の差分画像を示す図である。
【図２１】図２０の画像の階調値を示す３次元グラフである。
【図２２】図２０の画像を２値化した画像を示す図である。
【図２３】明るい環境下で指が表示画面に接触する直前の多階調画像を示す図である。
【図２４】明るい環境下で指が表示画面に接触した瞬間の多階調画像を示す図である。
【図２５】図２３の画像の階調値を示す３次元グラフである。
【図２６】図２４の画像の階調値を示す３次元グラフである。
【図２７】図２３の画像を２値化した画像を示す図である。
【図２８】図２４の画像を２値化した画像を示す図である。
【図２９】図２３の画像のエッジを検出した画像を示す図である。
【図３０】図２４の画像のエッジを検出した画像を示す図である。
【図３１】図２９のエッジ画像におけるエッジ強度を示す３次元グラフである。
【図３２】図３０のエッジ画像におけるエッジ強度を示す３次元グラフである。
【図３３】図２９のエッジ画像を２値化した画像を示す図である。
【図３４】図３０のエッジ画像を２値化した画像を示す図である。
【図３５】第３の実施の形態における表示装置が表示画面に表示する画像パターンを示す図である。
【図３６】上記表示装置におけるセンサ用ＩＣの構成を示す回路ブロック図である。
【図３７】白色画素の割合と露光時間との関係を示すグラフである。
【図３８】スイッチ毎の白色画素数の時間変化の特徴をまとめた図である。
【図３９】接触判定回路と座標計算回路により、差分画像とエッジ画像を用いて接触フラグと座標データを計算するための構成及び演算処理の流れを示す図である。
【図４０】差分面積補正回路における入出力の関係を示すグラフである。
【図４１】環境光が暗い場合のエッジ画像を示す図である。
【図４２】環境光が明るい場合のエッジ画像を示す図である。
【図４３】接触判定ステートマシンにおける状態、それらの遷移パス、遷移条件を示す図である。
【図４４】黒背景に白色のスイッチを表示した画面を示す図である。
【図４５】図４４の画面についてＳ／Ｎ比と照度の関係を示すグラフである。
【図４６】白背景に黒色のスイッチを表示した画面を示す図である。
【図４７】図４６の画面についてＳ／Ｎ比と照度の関係を示すグラフである。
【図４８】図４４の白色スイッチの内部に黒領域を設けた画面を示す図である。
【図４９】図４８の画面についてＳ／Ｎ比と照度の関係を示すグラフである。
【図５０】図４４の画面の別の変形例を示す図である。
【図５１】図４４の画面のさらに別の変形例を示す図である。
【図５２】図４４の画面のさらに別の変形例を示す図である。
【図５３】接触判定の処理の流れを示す図である。
【図５４】外光２００ｌｘのときの接近度と時間の関係を示すグラフである。
【図５５】外光１０００ｌｘのときの接近度と時間の関係を示すグラフである。
【図５６】外光２００ｌｘのときのエッジ強度と時間の関係を示すグラフである。
【図５７】外光１０００ｌｘのときのエッジ強度と時間の関係を示すグラフである。
【図５８】同図（ａ）は表示装置を搭載した筐体の側面図、同図（ｂ）はその筐体の上面図、同図（ｃ）は表示装置の上面図をそれぞれ模式的に示したものである。
【図５９】階調情報から補正量を算出する手法を説明するための模式図である。
【図６０】座標Ｘと平均階調値Ｇ（Ｘ）の関係を示すグラフである。
【符号の説明】
【０１３８】
１…アレイ基板，２…表示部，３…フレキシブル基板
４…センサ用ＩＣ，５…表示用ＩＣ
６…センサ用Ｉ／Ｆ，７…表示用Ｉ／Ｆ
８…光センサ，９…絶縁層，１１…液晶層
１２…対向基板，１３…バックライト，２０…物体
３３…スイッチ素子，３４…出力制御スイッチ
３５…ソースフォロアアンプ，３７…センサ容量
３８…プリチャージ制御スイッチ
４０…基準電源，４１…コンパレータ
６１…レベルシフタ，６２…データ処理部
６３…ＲＡＭ，６４…ＤＡＣ，７１…ラインメモリ
７２…タイミング発生回路，７３…欠陥補正回路
７４…階調化回路，７５…２値化回路
７６…エッジ検出回路，７７…座標計算回路
７８…接触判定回路，７９…出力レジスタ
８０…閾値レジスタ，８１…階調化回路
８２…フレーム間差分処理回路
８２…階調化回路，８３…メモリ
８４…エッジ検出回路，８５…接触判定回路
８６…座標計算回路，９０…センサ用ＩＣ
９１…レベルシフタ，９２…階調化回路
９３…キャリブレーション回路，９４…ＤＡＣ
９５…計数回路，９６…フレーム間差分処理回路
９７…エッジ検出回路，９８…接触確率計算回路
１００ａ〜１００ｊ…レジスタ
１０１…差分面積計算回路
１０２…差分面積補正回路
１０３…差分面積記憶回路
１０４…差分座標計算回路
１０５…差分座標記憶回路
１０６…エッジ強度計算回路
１０７…エッジ強度記憶回路
１０８…しきい値補正計算回路
１０９…エッジ座標計算回路
１１０…エッジ座標記憶回路
１１１…接近離脱度計算回路
１１２…座標間距離計算回路
１１３…エッジ強度変動計算回路
１１４…エッジ座標変動計算回路
１１５ａ〜１１５ｅ…コンパレータ
１１６…接触判定ステートマシン
１３１…環境光，１３２…指，１３３…筐体
１３３ａ…透明部，１３３ｂ…遮蔽部
１３４…表示装置，１３４ａ…光検知部
【技術分野】
【０００１】
本発明は、光により表示画面から情報を入力する光入力機能を備えた表示装置に関する。
【背景技術】
【０００２】
近年、携帯電話、ノート型コンピュータなどの各種機器に表示装置として広く利用されている液晶表示装置は、複数の走査線と複数の信号線とが交差するように配線され、この各交差部に薄膜トランジスタ、液晶容量、補助容量を有する画素を備えた表示部と、走査線を駆動する駆動回路と、信号線を駆動する駆動回路とを備える。一般的に、表示部は、ガラス製のアレイ基板上に形成されるが、近年の集積回路技術の発展およびプロセス技術の実用化により駆動回路の一部もアレイ基板上に形成可能となり、液晶表示装置全体の軽量化・小型化が図られている。
【０００３】
ところで、表示装置としては、画素内に光センサを配置し、光により表示画面から情報の入力を可能にしたものが開発されている（例えば特許文献１参照）。
【０００４】
この種の光入力機能を備えた表示装置では、画素内に光センサとして例えばフォトダイオードを備えるとともに、このフォトダイオードにキャパシタを接続し、表示画面から入射された光についてのフォトダイオードでの受光量の変化に応じてキャパシタの電荷量を変化させ、キャパシタの両端の電圧を検出することにより撮像画像のデータを生成することで、画像の取り込みを行っている。
【０００５】
このような表示装置の応用として、表示画面上に投影された指などの物体がつくる影を検出することにより情報入力を行うタッチパネル機能や、ライトペンなどの発光する物体から照射された光を検出することにより情報入力を行うデジタイザ機能を備えたものが提案されている。
【特許文献１】特開２００４−３１８８１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の光入力機能を備えた表示装置では、指やライトペン等の物体が表示画面に接触したか否かの判定、および、物体の座標位置の正確な算出が難しいという問題がある。
【０００７】
特に、物体がつくる影を利用する手法では、周囲環境が暗い場合、影を正確に識別できないため、接触の判定と座標位置の算出の精度が著しく低下する。また、周囲環境が明るい場合、接触していない部分にも指などの影ができるため、やはり接触の判定と座標位置の算出の精度が低下する。
【０００８】
本発明は、上記に鑑みてなされたものであり、その課題とするところは、光入力機能を備えた表示装置において、物体が表示画面に接触したか否かの判定の精度を向上させることにある。
【０００９】
また、別の課題は、光入力機能を備えた表示装置において、表示画面上における物体の座標位置の算出の精度を向上させることにある。
【課題を解決するための手段】
【００１０】
第１の本発明に係る表示装置は、画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮影する光入力機能を備えた表示部と、撮影された画像のエッジを検出してエッジ画像とするエッジ検出回路と、前記エッジを用いて物体が表示画面に接触したか否かの判定をする接触判定回路と、物体が表示画面に接触したと判定されたときに、前記エッジを用いて物体の位置座標を計算する座標計算回路と、を有することを特徴とする。
【００１１】
本発明にあっては、物体が表示画面に接触したときには、撮像された画像における接触部分と非接触部分の空間的変化が明確になるので、撮影された画像を用いてエッジを検出することで接触部分と非接触部分の境界を区別し、これを接触判定に利用することで、接触判定の精度の向上を図る。また、物体が表示画面に接触したと判定されたときに、検出されたエッジを用いて物体の位置座標を計算することで、物体が表示画面に接触していないときには座標位置を算出することがないようにして、位置座標の算出精度の向上を図る。
【００１２】
上記表示装置において、前記接触判定回路は、前記エッジ毎に移動方向を調べ、互いに逆方向に移動するエッジがある場合に物体が表示画面に接触したと判定することを特徴とする。
【００１３】
本発明にあっては、撮影された画像のエッジを検出し、互いに逆方向に移動するエッジがある場合に物体が表示画面に接触したと判定することで、物体が接触しない限りはエッジが互いに逆方向に移動することはないことから、接触判定の精度を高めることができる。
【００１４】
上記表示装置において、前記接触判定回路は、前記エッジ画像を用いて物体を示す領域を抽出し、この領域の面積が所定の閾値以上となった場合に物体が表示画面に接触したと判定することを特徴とする。
【００１５】
本発明にあっては、物体が表示画面に接触した場合には接触部分の面積が大きくなるので、エッジ画像を用いて物体を示す領域を抽出し、この領域の面積が所定の閾値以上となった場合に物体が表示画面に接触したと判定することで、接触判定の精度の向上を図る。
【００１６】
上記表示装置において、前記座標計算回路は、前記エッジの重心を物体の位置座標として計算することを特徴とする。
【００１７】
上記表示装置において、前記座標計算回路は、面積が所定の閾値以上となった領域の重心を物体の位置座標として計算することを特徴とする。
【００１８】
第２の本発明に係る表示装置は、画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮影する光入力機能を備えた表示部と、撮影された画像について現在のフレームの多階調画像と過去のフレームの多階調画像との差分を取った差分画像を求めるフレーム間差分処理回路と、前記差分画像を用いて物体が表示画面に接触したか否かの判定をする接触判定回路と、物体が表示画面に接触したと判定されたときに、前記差分画像を用いて物体の位置座標を計算する座標計算回路と、を有することを特徴とする。
【００１９】
本発明にあっては、物体が表示画面に接触したときには撮影された画像に時間的変化が生じるので、現在のフレームの多階調画像と過去のフレームの多階調画像との差分を取った差分画像を求めることで、撮影された画像の時間的変化に基づいて接触部分と非接触部分の境界を区別し、これを接触判定に利用することで接触判定の精度の向上を図る。
【００２０】
上記表示装置において、前記接触判定回路は、前記差分画像を用いて物体を示す領域を抽出し、この領域の面積が所定の閾値以上となったときに、物体が表示画面に接触したと判定することを特徴とする。
【００２１】
本発明にあっては、物体が表示画面に接触した場合には接触部分の面積が大きくなるので、差分画像を用いて物体を示す領域を抽出し、この領域の面積が所定の閾値以上となった場合に物体が表示画面に接触したと判定することで、接触判定の精度の向上を図る。
【００２２】
上記表示装置において、前記座標計算回路は、面積が所定の閾値以上となった領域の重心を物体の位置座標として計算することを特徴とする。
【００２３】
第３の本発明に係る表示装置は、画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮影する光入力機能を備えた表示部と、撮影された画像を多階調画像に変換する階調化回路と、多階調化画像を用いてエッジを検出するエッジ検出回路と、現在のフレームの多階調画像と過去のフレームの多階調画像との差分を取った差分画像を求めるフレーム間差分処理回路と、エッジ画像又は差分画像の少なくとも一方を用いて物体の位置座標を計算する座標計算回路と、エッジ画像又は差分画像の少なくとも一方を用いて物体が表示画面に接触したか否かの判定をする接触判定回路と、を有することを特徴とする。
【００２４】
本発明にあっては、エッジ画像は明るい環境下における接触判定・座標計算に適しており、差分画像は暗い環境下における接触判定・座標計算に適している一方、環境光の明るさは多階調画像の階調値から判断可能であるので、多階調化画像に基づいてエッジ画像又は差分画像の少なくとも一方を用いて物体が表示画面に接触したか否かの判定をすることで、環境下に応じた接触判定を可能とし、さらなる精度の向上を図る。また、エッジ画像又は差分画像の少なくとも一方を用いて物体の位置座標を計算することで、環境下に応じた座標計算を可能とし、さらなる精度の向上を図る。
【００２５】
第４の本発明に係る表示装置は、複数のスイッチを表示画面に表示する表示機能およびスイッチに近接した物体を撮影する光入力機能を備えた表示部と、撮影された画像についてスイッチ毎に白色の画素数を計数し、現在のフレームにおける計数値と過去のフレームにおける計数値との差分値を算出し、スイッチ毎の差分値のうち最大のものが所定の閾値以上の場合に、物体が当該スイッチに接触したとの旨を示す信号を出力する計数回路と、現在のフレームにおける多階調画像と過去の多階調画像との差分を取った差分画像を求め、その差分画像から物体を示す領域を抽出し、その領域の重心を算出し、物体が当該重心に位置するスイッチに接触したとの旨を示す信号を出力するフレーム間差分処理回路と、多階調画像についてエッジを検出し、強度が所定の閾値以上のエッジの重心を算出し、物体が当該重心に位置するスイッチに接触したとの旨を示す信号を出力するエッジ検出回路と、前記計数回路、前記フレーム間差分処理回路、前記エッジ検出回路からそれぞれ出力された信号に基づいてスイッチ毎に接触確率を計算する接触確率計算回路と、を有することを特徴とする。
【００２６】
本発明にあっては、計数回路、フレーム間差分処理回路、エッジ検出回路によって、それぞれ別の手法により物体が接触した可能性が高いスイッチを示す信号を出力し、接触確率計算回路により、これらの信号に基づいてスイッチ毎に接触確率を計算することで、信頼性の高い接触確率の提供が可能になるので、システムに要求される信頼性に応じた高精度かつ柔軟な接触判定および座標計算が可能となる。
【発明の効果】
【００２７】
本発明の表示装置によれば、物体が表示画面に接触したか否かの判定の精度を向上させることができる。また、表示画面上における物体の座標位置の算出の精度を向上させることができる。
【発明を実施するための最良の形態】
【００２８】
［第１の実施の形態］
図１は、一実施の形態における表示装置の構成を示す平面図である。同図の表示装置は、ガラス製のアレイ基板１に形成された表示部２、フレキシブル基板３、フレキシブル基板３に形成されたセンサ用ＩＣ(Integrated Circuit)４および表示用ＩＣ５、センサ用ＩＣ４のインタフェース（Ｉ／Ｆ）６、表示用ＩＣのインタフェース７を備える。
【００２９】
表示部２は、複数の信号線と複数の走査線とが交差するように配線され、各交差部に画素を備える。この表示部２は、ホスト側のＣＰＵから表示用インタフェースＩ／Ｆ７および表示用ＩＣ５を介して伝送されてくる映像信号に基づいて画像を表示する表示機能と、表示画面に近接してきた外部の物体の画像を撮影する光入力機能を備える。センサ用ＩＣ４、センサ用インタフェースＩ／Ｆ６を介してホストへ伝送するための機能を備える。センサ用ＩＣ４は撮影された画像の処理を行い、この処理結果をセンサ用インタフェースＩ／Ｆ６を介してホスト側のＣＰＵへ伝送する。表示用ＩＣ５は、表示処理の制御を行う。
【００３０】
図２は、表示部２の構成を示す断面図である。アレイ基板１では画素内に光センサ８等が形成され、これを覆うように絶縁層９が形成される。アレイ基板１と、これに対向して配置されたガラス製の対向基板１２との間隙に液晶層１１が形成される。対向基板１２の外側にはバックライト１３が配置される。同図に示すように、光センサ８には、指等の物体２０によって遮られていない外光と、バックライト１３から放出され、物体２０で反射した光とが入射する。
【００３１】
図３は、画素の構成を示す回路図である。表示部２では、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の画素が規則的に配置されており、各画素は、表示系３１として、スイッチ素子３３、液晶容量ＬＣ、補助容量ＣＳを備える。同図において、Ｇａｔｅ（ｍ）は走査線、Ｓｉｇ（ｎ）は信号線、ＣＳ（ｍ）は補助容量線である。スイッチ素子３３はＭＯＳ型であり、そのゲートが走査線に接続され、ソースは信号線に接続され、ドレインは補助容量ＣＳおよび液晶容量ＬＣに接続される。補助容量ＣＳの他方の端子は補助容量線に接続される。
【００３２】
ホスト側のＣＰＵから信号線を通じて伝送されてきた映像信号は、走査線に伝送されてきた走査信号によりスイッチ素子３３がオンしたときに、スイッチ素子３３を介して補助容量ＣＳおよび液晶容量ＬＣに与えられて表示に用いられる。
【００３３】
表示部２は、光センサ系３２として、Ｒ，Ｇ，Ｂの３画素について光センサ８、センサ容量３７、出力制御スイッチ３４、ソースフォロアアンプ３５、プリチャージ制御スイッチ３８を１個づつ備える。ここでは、光センサ８の一例として、ＰＩＮ型の光ダイオードを用いる。
【００３４】
光センサ８とセンサ容量３７は並列に接続される。これら光センサ８およびセンサ容量３７は、ソースフォロアアンプ３５、出力制御スイッチ３４を介して赤の信号線Ｓｉｇ（ｎ）に接続され、プリチャージ制御スイッチ３８を介して青の信号線Ｓｉｇ（ｎ＋２）に接続される。
【００３５】
出力制御スイッチ３４のオン・オフは制御線ＯＰＴ（ｍ）上の信号により制御され、プリチャージ制御スイッチ３８のオン・オフは制御線ＣＲＴ（ｍ）上の信号により制御される。
【００３６】
次に、光センサ８の動作について説明する。プリチャージ制御スイッチ３８を通じて青の信号線から例えば４Ｖの電圧がセンサ容量３７にプリチャージされる。所定の露光時間の間、光センサ８に入射する光量に応じて光センサ８にリーク電流が発生すると、センサ容量３７の電位が変化する。センサ容量３７は、リーク電流が少なければほぼ４Ｖを維持し、リーク電流が多ければ０Ｖに近づく。一方で、赤の信号線を５Ｖにプリチャージした後、出力制御スイッチ３４をオンしてソースフォロアアンプ３５を赤の信号線に導通させる。センサ容量３７は、ソースフォロアアンプ３５のゲートに接続されているので、センサ容量３７の残存電圧が例えば４Ｖのままならソースフォロアアンプ３５はオンし、赤の信号線の電位は５Ｖから０Ｖに向かって変化する。センサ容量３７の残存電圧が０Ｖならソースフォロアアンプ３５はオフし、赤の信号線の電位は５Ｖのまま殆ど変化しない。
【００３７】
図４の回路図に示すように、コンパレータ４１により、赤の信号線の電位と基準電源４０の基準電圧とを比較し、信号線の電位が基準電圧より大きい場合にはハイレベルの信号を出力し、信号線の電位が基準電圧より小さい場合にはローレベルの信号を出力する。
【００３８】
これにより、コンパレータ４１は、光センサ８が、所定値よりも明るい光を検出した場合にはハイレベルの信号を出力し、所定値よりも暗い光を検出した場合にはローレベルの信号を出力することになる。コンパレータ４１の出力は、センサ用ＩＣ４へ伝送される。
【００３９】
図５は、表示装置の動作を示すタイミングチャートである。同図では、各行（各走査線）について、上部に表示系、下部に撮像系のタイミングチャートを示す。同図に示すように、表示系において映像信号の画素への書き込みが完了した後に、一定のブランク期間（この期間にセンサ容量３７がプリチャージされる）をおいてから、表示画面上の物体について一定の露光時間だけ撮像する。この露光時間は変更可能である。
【００４０】
図６は、センサ用ＩＣの構成を示す回路ブロック図である。同図のセンサ用ＩＣは、表示部２とのやり取りするために信号の電圧を調整するレベルシフタ６１、コンパレータ４１からの出力信号を処理するデータ処理部６２、データを一時的に格納しておくＲＡＭ（Random Access Memory）６３、信号線をプリチャージする際のプリチャージ電圧を出力するＤＡＣ(Digital Analog Convertor)６４を備える。
【００４１】
図７は、データ処理部６２の構成を示す回路ブロック図である。データ処理部６２は、ラインメモリ７１、タイミング発生回路７２、欠陥補正回路７３、階調化回路７４、２値化回路７５、エッジ検出回路７６、接触判定回路７７、座標計算回路７８、出力レジスタ７９、閾値レジスタ８０を備える。
【００４２】
ラインメモリ７１は、前述したコンパレータ４１からレベルシフタ６１を介して撮像データとして伝送されてきた複数行分の２値信号を一時的に格納する。
【００４３】
欠陥補正回路７３は、各画素の値について、近傍の画素の値に基づきその値を修正するフィルタを備える。このフィルタとしては例えばメジアンフィルタを用いる。欠陥補正回路７３は、タイミング発生回路７２が発生させたタイミングに従って動作する。欠陥補正回路７３は省略することもできる。
【００４４】
階調化回路７４は、各画素について近傍の画素の値の平均値をとることにより多階調の階調値を算出して多階調画像を得る。ここで近傍とは注目画素を中心として１．５ｍｍ角〜６ｍｍ角の領域とする。この領域の大きさが小さすぎるとノイズが多くなるし、この領域の大きさが大きすぎると読取り画像が平滑化されすぎ後に行うエッジ検出がしにくくなる。なおこの処理は欠陥補正の効果も備える。また、面積階調の計算は全ての画素毎に計算することができるが、以降のエッジ検出などのために全ての階調値を保持しなくても所定間隔に間引いたものとしてもよい。具体的には、もともとの２値画像が２４０ｘ３２０ｘ１ｂｉｔの場合、階調画像は２４０ｘ３２０ｘ８ｂｉｔでなく、１５ｘ２０ｘ８ｂｉｔと間引いてよい。間引きの割合は指等の指示部材の太さやセンサのピッチによる。大人の１ｃｍ程度の幅の指と画素ピッチ０．１５ｍｍの例では１５ｘ２０ｘ８ｂｉｔ（縦横それぞれ１／１６に間引いたことに相当）程度でもよい。
【００４５】
２値化回路７５は、ホスト側のＣＰＵから与えられた閾値を用いて多階調画像を２値化する。この閾値は、閾値レジスタ８０に予め格納されたものを使う。
【００４６】
エッジ検出回路７６は、撮影された画像から複数のエッジを検出する。エッジの検出には、例えばラプラシアンフィルタを用いる（詳細については第２の実施の形態参照）。
【００４７】
接触判定回路７７は、物体が表示画面に接触したときには、撮像された画像における接触部分と非接触部分の空間的変化が明確になるので、検出されたエッジを用いて物体が表示画面に接触したか否かを判定する。具体的には、エッジ毎に移動方向を調べ、互いに逆方向に移動するエッジがある場合に、物体が表示画面に接触したものと判定する。このとき、逆方向への移動量が所定の閾値以上の場合に接触したと判定することで、判定の精度を高めることができる。
【００４８】
座標計算回路７８は、接触判定回路７７により物体が表示画面に接触したと判定されたときに、エッジ検出回路７６で検出されたエッジを用いて物体の座標位置を計算する。座標位置の具体的な計算には、例えばエッジの重心を求めるようにする。
【００４９】
出力レジスタ７９は、重心計算の結果に基づく物体の座標位置を格納するレジスタと、接触判定回路７７による判定結果を格納するレジスタとを備え、ホスト側のＣＰＵからの要求により、若しくは所定のタイミングにより、これら判定結果と座標位置をホスト側のＣＰＵに出力する。
【００５０】
閾値レジスタ８０は、２値化回路７５で使用する閾値、接触判定回路７７で使用する閾値を格納する。これらの閾値は、ホスト側のＣＰＵから伝送されてきたものを格納しておく。
【００５１】
次に、エッジ検出、接触判定の一例について図８、図９を用いて説明する。図８は指が表示画面に接触しなかった場合、図９は指が表示画面に接触した場合について、露光時間中の時刻ｔ１〜ｔ３における（ａ）指と表示画面の位置関係、（ｂ）階調化・２値化後の撮像画像、（ｃ）エッジ画像、（ｄ）エッジの座標をそれぞれ示す。（ｄ）は、（ｃ）の時刻ｔ１について示したプロファイルラインＰにクロスする２つのエッジの座標の時間変化を示す。図９においては、時刻ｔ２のときに指が表示画面に接触している。
【００５２】
図８（ｄ）に示すように、指が表示画面に接触しない場合には、２つのエッジの座標の間の距離は殆ど変化しない。これに対し、図９（ｄ）に示すように、指が表示画面に接触したときには、指が上下左右に膨らむため、２つのエッジは、互いに逆の方向に移動する。そこで、接触判定回路７７では、互いに逆方向へ閾値以上に移動するエッジが検出された場合には、指が表示画面に接触したと判定する。
【００５３】
したがって、本実施の形態によれば、物体が表示画面に接触したときには、撮像された画像における接触部分と非接触部分の空間的変化が明確になるので、撮影された画像を用いてエッジを検出することで接触部分と非接触部分の境界を区別し、これを接触判定に利用することで、接触判定の精度の向上を図ることができる。具体的には、エッジ検出回路７６により、撮影された画像のエッジを検出し、接触判定回路７７により、互いに逆方向に移動するエッジがある場合に物体が表示画面に接触したと判定することで、物体が表示画面に接触しない限りはエッジが互いに逆方向に移動することはないので、接触判定の精度を高めることができる。
【００５４】
本実施の形態によれば、物体が表示画面に接触したと判定されたときに、座標計算回路７８により、検出されたエッジを用いて物体の位置座標を計算することで、物体が表示画面に接触していないときには座標位置を算出することがないので、位置座標の算出精度の向上を図ることができる。座標位置の算出に際しては、エッジの重心を物体の座標位置として計算することで、高い精度で座標位置を算出することができる。
【００５５】
本実施形態における接触判定の手法は、単独で用いてもよいが、他の判定手法と組み合わせてもよい。例えば、指が表示画面に接触した場合には、図９（ｂ）の時刻ｔ２に示すように、物体の重心部分で白色の画素が増大するので、白色の画素数を計数し、この数が所定の閾値以上となった場合に、指が表示画面に接触したと判定することをさらに行ってもよい。これにより、接触判定の精度をさらに高めることができる。
【００５６】
また、物体が表示画面に接触している間は、図９（ｄ）の時刻ｔ２に示すように、エッジ座標が一定となり、重心座標も一定となるので、エッジ座標、重心座標のうちの少なくとも一方が一定となったときに、物体が表示画面に接触したと判定することをさらに行ってもよい。この場合にも接触判定の精度をさらに高めることができる。
【００５７】
［第２の実施の形態］
本実施の形態では、センサ用ＩＣの構成だけが第１の実施の形態と異なり、表示装置の基本的な構成は同様であるので、ここでは、センサ用ＩＣについてだけ説明するものとし、その他の第１の実施の形態と同様の部分についての重複した説明は省略する。
【００５８】
図１０は、本実施の形態のセンサ用ＩＣにおけるデータ処理部の構成を示す回路ブロック図である。同図のデータ処理部は、階調化回路８１、フレーム間差分処理回路８２、メモリ８３、エッジ検出回路８４、接触判定回路８５、座標計算回路８６を備える。なお、センサ用ＩＣが、このデータ処理部の他にレベルシフタ６１、ＤＡＣ６４を備える点は、第１の実施の形態と同様である。
【００５９】
階調化回路８１は、図４を用いて説明したコンパレータ４１から伝送されてきた２値画像を多階調画像に変換する。この変換の手法としては、例えば、図１１に示すように、各画素について、その周囲の１２画素×１２画素の正方形領域で０又は１からなる２値データの和を取ることにより、０〜１４４の間の多階調値を得る。または１６×１６画素の正方形領域で０〜２５５の間の多階調値を得るようにしても良い。センサＩＣの内部に設けるメモリ領域の配置効率を考慮して適性値を決めるのがよい。あるいは、表示部２で、撮像画像のデータをアナログ信号で出力し、これを階調化回路８１でＡ／Ｄ変換器により多階調のデジタル信号に変換するようにしてもよい。なお階調画像は実施例１と同様に間引いたものを用いても以下の処理は影響が少ない。センサＩＣの内部に設けるメモリ領域の配置効率を考慮して適性値を決めるのが良い。
【００６０】
フレーム間差分処理回路８２は、現在のフレームにおける多階調画像と、メモリ８３に格納されている過去の多階調画像との差分を計算し、この差分画像を出力する。
【００６１】
差分画像を求める際には、例えば、図１２に示すように、任意の時刻ｔ１における多階調画像の階調値から１フレーム前の多階調画像の階調値を画素毎に減算する。なお、同図においては、時刻ｔでの座標（ｘ，ｙ）における階調値をＦ（ｘ，ｙ，ｔ）とおいている。この他、１フレーム毎に表示部２の画素を駆動する駆動電圧の極性が変わる場合には、この極性の影響を除くために、２フレーム前の多階調画像との差分を取るようにしてもよい。このようにするとセンサからのデータ出力が２フレームに１回と少なくなるため消費電力を小さくでき電池を長持ちさせる利点がある。また、偶数番目のフレームと奇数番目のフレームと多階調画像の平均値を取った後に、その平均値どうしで差分を取るようにしてもよい。
【００６２】
エッジ検出回路８４は、各フレームの多階調画像についてエッジ（階調の空間的変化が大きい部分）を検出し、そのエッジ画像を出力する。
【００６３】
エッジの検出に際しては、例えば、図１３に示すように、任意の画素について、その画素の階調値を４倍した値から、その画素の上下左右に隣接する４つの画素の階調値を減算してその画素の階調値とするラプラシアンフィルタを用いる。この他、Ｓｏｂｅｌフィルタや、Ｒｏｂｅｒｔｓフィルタ等のよく知られたフィルタを用いてもよい。また、演算の対象とする画素は、任意画素の上下左右に隣接する画素に限らず、斜めに隣接する画素であってもよいし、ノイズに対する過敏な反応を防ぐために、任意画素の上下左右斜めに数画素分だけ離れた画素を用いるようにしてもよい。例えば大人の指（幅１ｃｍ程度）で入寮区する際は、５ｍｍ以上とするとよい。１ｃｍより大きくする必要はない。フィルタ処理に用いる５つの画素が指（などの指示部材）の影からはみ出すようにするのがよい。指示部材の影の幅をＷとした場合、フィルタ処理に用いる画素は注目画素からＷ／２以上離れているようにするのがよい。Ｗ以上離す必要はない。
【００６４】
また、エッジ検出回路８４では、エッジの検出に際し、階調化回路８２が出力した多階調画像を用いてもよいし、フレーム間差分処理回路８２により差分を取った後の多階調画像を用いてもよい。これらの処理は間引いた後の階調画像を用いて行っても良い。
【００６５】
接触判定回路８５は、上記のようにして得られた差分画像、エッジ画像、そして元の多階調画像のうちの少なくとも１つを用いて、物体が表示画面に接触したか否かの判定を行う。物体が表示画面に接触した場合には、撮像画像における物体を示す領域の面積が広がるので、この点を利用して判定する。例えば、差分画像を用いる場合には、差分画像を所定の閾値で２値化することによって物体を示す領域を抽出し、その領域の面積が所定の閾値以上になった場合に、物体が表示画面に接触したと判定する。一方、エッジ画像を用いる場合には、エッジ画像を所定の閾値で２値化することによって物体を示す領域を抽出し、この領域の面積が所定の閾値以上となった場合に、物体が表示画面に接触したと判定する。
【００６６】
座標計算回路８６は、物体が表示画面に接触したと判定されたときに、差分画像、エッジ画像、そして元の多階調画像のうちの少なくとも１つを用いて、その物体の座標位置を計算する。例えば、差分画像あるいはエッジ画像を用いる場合には、上記の処理によって得た面積が所定の閾値以上になった領域について、その領域の重心を物体の位置座標として算出する。
【００６７】
上述した階調化回路８１、フレーム間差分処理回路８２、メモリ８３、エッジ検出回路８４、接触判定回路８５、座標計算回路８６は、ＡＳＩＣやＤＳＰを用いて実現することができる。また、表示用ＩＣ５と一体化して形成することも可能である。
【００６８】
次に、フレーム間差分処理回路８２、エッジ検出回路８４による処理の効果について、それぞれ比較例と対比しながら説明する。
【００６９】
図１４、図１５は、数百ルクス程度の暗い環境下において指先が表示画面の中央付近に触れる動きをした際に、階調化回路８１の出力として得られる多階調画像の例であり、図１４は指が接触した瞬間の２フレーム前の画像、図１５は指が接触した瞬間の画像である。図１６、図１７は、図１４、図１５の各画像における階調値の分布を３次元グラフでそれぞれ表示したものである。図１７から分かるように、指が接触した部位で階調値が極小となるが、光センサの特性バラツキや周囲光自体の照度分布の傾斜等に起因して、画像の階調値がばらついたり面内傾斜を持ったりしている。図１８、図１９は、図１４、図１５の画像を所定の閾値で２値化したときの画像をそれぞれ示している。図１８では、指が接触していないにも関わらず誤って接触領域が検出されており、図１９では、指が接触していない領域が誤って接触領域として検出されている。これは、閾値をもっと厳密に設定する必要があることを示しているが、周囲の環境がもっと暗くなると閾値の設定はより困難になっていく。
【００７０】
これに対し、図２０は、フレーム間差分処理回路８２により、フレーム間で差分を取った差分画像であり、図２１は、図２０の階調値を３次元グラフで表示したものである。指が表示画面に接触する瞬間には影が急激に暗くなる特徴があるので、このときの差分値は最小値をもつ。図２２は、図２０の画像を所定の閾値で２値化した画像である。差分を取ることにより階調値のばらつきや傾斜が補償されるので、指の接触部分と非接触部分とがはっきりと区別されており、指の接触領域が精度良く抽出されていることが分かる。
【００７１】
図２３、図２４は、数千ルクス程度の明るい環境下において指先が表示画面の中央付近に触れる動きをした際に、階調化回路８１の出力として得られる多階調画像の例であり、図２３は指が接触した瞬間の２フレーム前の画像、図２４は指が接触した瞬間の画像である。図２５、図２６は、図２３、図２４の各画像における階調値の分布を３次元グラフでそれぞれ表示したものである。図２７、図２８は、図２３、図２４の画像を所定の閾値で２値化したときの画像をそれぞれ示している。図２７では、指が接触していないにも関わらず誤って接触領域が検出されており、図２８では、表示画面の中央付近だけを指先で触れているにも関わらず、指の根元方向に伸びた領域が接触領域として誤って検出されている。これも、閾値をもっと厳密に設定する必要があることを示しているが、周囲の環境がもっと明るくなると、光センサのダイナミックレンジが狭いため、影の像が黒くつぶれやすくなり、閾値の設定はより困難になっていく。
【００７２】
これに対し、図２９、図３０は、図２３、図２４の画像に対してそれぞれエッジ検出回路８４によりエッジを検出した画像である。ここでは、ラプラシアンフィルタを用いた。図３１、図３２は、図２９、図３０の各画像におけるエッジ強度を３次元グラフでそれぞれ表示したものである。指が触れていない場合は、光の回り込みによって影と環境光の境界がぼやけるのに対し、指が触れている場合には境界がはっきりするという特徴があるので、図３２では図３１に対して大きなピークが観察されている。この点は、指の接触領域を検出するうえで都合が良い。図３３、図３４は、図２９、図３０の画像をそれぞれ所定の閾値で２値化した画像である。図３４の２値画像を見ると、指先の触れた部分が精度良く抽出されていることが分かる。
【００７３】
したがって、本実施の形態によれば、物体が表示画面に接触した場合には接触部分の面積が大きくなるので、エッジ検出回路８４によりエッジを検出し、接触判定回路８５によりエッジ画像から物体を示す領域を抽出し、この領域の面積が所定の閾値以上となった場合に物体が表示画面に接触したと判定することで、接触判定の精度を向上させることができる。
【００７４】
本実施の形態によれば、物体の接触が確認されたときに、座標計算回路８６により、エッジ画像について面積が所定の閾値以上になった領域の重心を物体の位置座標として算出することで、座標位置の算出精度を向上させることができる。
【００７５】
本実施の形態によれば、物体が表示画面に接触したときには撮影された画像に時間的変化が生じるので、フレーム間差分処理回路８２により現在のフレームの多階調画像と過去のフレームの多階調画像との差分画像を求めることで、撮影された画像の時間的変化に基づいて接触部分と非接触部分の境界を区別し、これを接触判定に利用することで接触判定の精度を向上させることができる。
【００７６】
本実施の形態によれば、物体が表示画面に接触した場合には接触部分の面積が大きくなるので、座標計算回路８６により差分画像を用いて物体を示す領域を抽出し、この領域の面積が所定の閾値以上となった場合に物体が表示画面に接触したと判定することで、接触判定の精度を向上させることができる。
【００７７】
本実施の形態によれば、物体の接触が確認されたときに、座標計算回路８６により、差分画像について面積が所定の閾値以上になった領域の重心を物体の位置座標として算出することで、座標位置の算出精度を向上させることができる
本実施の形態によれば、フレーム間差分処理によって暗い環境下における接触判定と座標計算の精度を向上させることができ、エッジ検出処理によって明るい環境下における接触判定と座標計算の精度を向上させることができる。
【００７８】
また、階調化回路８１が出力した多階調画像から環境光の強度を把握することができるので、この多階調画像を常時モニターしておいて、接触判定回路８５により、多階調画像の階調値に基づいて環境光が暗い場合と明るい場合とでフレーム間差分処理とエッジ検出処理とを自動的に切り替えるようにしてもよい。この場合の座標位置の計算は、前述したものと同様の処理を適用できる。
【００７９】
例えば、暗い環境下では差分画像による接触判定結果と座標計算結果をより確からしいとし、明るい環境下ではエッジ画像による接触判定結果と座標計算結果をより確からしいとする、ファジー処理なども考えられる。
【００８０】
［第３の実施の形態］
本実施の形態においても、センサ用ＩＣの構成だけが第１の実施の形態と異なり、表示装置の基本的な構成は同様であるので、ここでは、センサ用ＩＣについてだけ説明するものとし、その他の第１の実施の形態と同様の部分についての重複した説明は省略する。
【００８１】
本実施形態の表示装置では、図３５に示すように、第１〜第１２スイッチを表示画面に表示させるものとし、指２０がどのスイッチに接触したかを判定することを想定する。
【００８２】
図３６は、本実施の形態におけるセンサ用ＩＣ９０の構成を示す回路ブロック図である。同図のセンサ用ＩＣ９０は、レベルシフタ９１、階調化回路９２、キャリブレーション回路９３、ＤＡＣ(Digital Analog Convertor)９４、計数回路９５、フレーム間差分処理回路９６、エッジ検出回路９７、接触確率計算回路９８、ＲＡＭ(Random Access Memory)９９を備える。
【００８３】
レベルシフタ９１は、図６で説明したレベルシフタ６１と基本的には同様のものである。
【００８４】
階調化回路９２は、図４を用いて説明したコンパレータ４１から伝送されてきた２値画像を多階調画像に変換する。その変換の手法は、図１０の階調化回路８１と同様である。
【００８５】
キャリブレーション回路９３は、撮像画像について白色の画素数をカウントし、全画素の３０〜７０％が白色となるように制御信号を出力する。この制御信号を受けたＤＡＣ９４、レベルシフタ９１では、露光時間やプリチャージ時間を調節する。具体的には、出力される白色画素の数が７０％に増大した場合には、露光時間を短くするか若しくはプリチャージ電圧を高くすることによって、白色画素の数を５０％程度に引き戻す。一方、出力される白色画素の数が３０％に低減した場合には、露光時間を長くするか若しくはプリチャージ電圧を低くすることによって、白色画素の数を５０％程度に引き戻す。このように、白色の画素数を全画素の３０〜７０％にしておくことで、図３７のグラフに示すように、光センサの応答を敏感にすることができる。
【００８６】
計数回路９５は、表示画面に表示されているスイッチ毎に白色の画素の数を計数し、これらの計数値をスイッチ毎に保持する。また、現在のｎ番目のフレームにおける計数値と、過去のｎ−１番目のフレームにおける計数値との差分値を算出して保持し、スイッチ毎の差分値のうち最大のものが所定の閾値以上の場合に、確率計算の候補として、指がそのスイッチに接触したとの旨を示す信号を出力する。これは、図３８に示すように、特定のスイッチ（同図の第５スイッチ）に指が接触した場合には、他のスイッチでも差分対象の画像間の階調変化が連動して起こることになるが、実際に指が接触しているスイッチで最も階調変化が激しくなるので、上記の最大の差分値を判定の対象とすることにより、判定の精度を高めることができるからである。計数回路９５の出力信号は、接触確率計算回路９８に送られる。
【００８７】
フレーム間差分処理回路９６は、現在のフレームにおける多階調画像とＲＡＭ９９に格納されている過去の多階調画像との差分を取った差分画像を求め、この差分画像を２値化して物体を示す領域を抽出し、この領域の重心を算出し、確率計算の候補として、指がこの重心に位置するスイッチに接触したとの旨を示す信号を出力する。差分画像の導出手法は、第２の実施の形態と同様である。
【００８８】
エッジ検出回路９７は、各フレームの多階調画像についてエッジの強さ（階調の空間的変化の大きさ）を算出し、階調値が所定の閾値以上のエッジについてその重心を算出し、確率計算の候補として、指がこの重心に位置するスイッチに接触したとの旨を示す信号を出力する。エッジの算出手法は、第２の実施の形態と同様である。また、キャリブレーション完了時点の多階調画像をメモリに保持しておき、最新の多階調画像から減算した新たな多階調画像に対してエッジ検出をすることも有効である。センサの特性ばらつきに起因する撮像ムラを減殺でき、真に指によるエッジのみを切り出すことができるようになるからである。
【００８９】
接触確率計算回路９８は、計数回路９５、フレーム間差分処理回路９６、エッジ検出回路９７からそれぞれ出力された信号に基づいてスイッチ毎に接触確率を計算する。例えば、各回路９５、９６，９７により指が接触したとされたスイッチについてはそれぞれ１０ポイント与え、他のスイッチに与えるポイントは０とする。一例として、各回路９５，９６，９７のそれぞれから第５のスイッチに指が接触した可能性が高い旨の信号を受け取った場合には、第５スイッチは合計３０ポイント、他のスイッチは０ポイントとなるので、第５スイッチは３０／３０×１００（％）＝１００％、他のスイッチは０／３０×１００（％）＝０％であると確率が計算される。他の例として、回路９５，９６から第５スイッチに接触したという信号を受け取り、回路９７から第６スイッチに接触したという信号を受け取った場合には、第５スイッチは合計２０ポイント、第６スイッチは１０ポイント、他のスイッチは０ポイントとなるので、第５スイッチは６７％、第６スイッチは３３％、他のスイッチは０％であると確率が計算される。
【００９０】
そして、接触確率計算回路９８の出力を受けるホスト側のＣＰＵで、接触確率が１００％のときだけ指が表示画面に接触したと判断するように設定した場合には、接触判定の精度が極めて高いシステムを実現できる。一方、ホスト側で接触確率が６７％のときでも指が表示画面に接触したと判断するように設定した場合には、応答性のよいシステムを実現できる。前者は銀行のＡＴＭなどの信頼性を要するアプリケーションに適用でき、後者はゲームなどの信頼性がそれほど要求されないアプリケーションに適用することができる。
【００９１】
したがって、本実施の形態によれば、計数回路９５、フレーム間差分処理回路９６、エッジ検出回路９７によって、それぞれ別の手法により物体が接触したスイッチを示す信号を出力し、接触確率計算回路９８により、これらの信号に基づいてスイッチ毎に接触確率を計算することで、信頼性の高いスイッチ毎の接触確率の提供が可能になるので、システムに要求される信頼性に応じた高精度かつ柔軟な接触判定および座標計算を可能にすることができる。
【００９２】
本実施の形態によれば、キャリブレーション回路９３により、白色の画素数が全画素の３０〜７０％となるように光センサの動作を制御する制御信号を出力することで、光センサの応答を敏感にでき、精度の高い接触判定、座標計算に寄与することができる。このキャリブレーション回路９３は、第１実施の形態、第２実施の形態においても同様に適用することができる。
【００９３】
なお、上記各実施の形態では、人の指が表示画面に接触した場合を例に説明したが、これに限られるものではない。表示画面に接触する物体としては、ＬＥＤ等の光源が付いたライトペンでもよいし、白色のマスコットなどでもよい。あるいは、メタリック鏡面を有する金属片や、鉛筆サックなどでもよい。
【００９４】
［第４の実施の形態］
本実施の形態における表示装置の基本的な構成は第１の実施の形態と同様であり、またセンタ用ＩＣの基本的な構成は第２の実施の形態で図１０を用いて説明したものと同様であるが、接触判定回路８５と座標計算回路８６の内部構成と処理が異なるので、ここでは、その点だけを説明するものとし、その他の第１，第２の実施の形態と同様の部分についての重複した説明は省略する。
【００９５】
図３９は、接触判定回路８５と座標計算回路８６により、差分画像とエッジ画像を用いて接触フラグと座標データを計算するための構成及び演算処理の流れを示している。これらの演算は専用のＡＳＩＣによって並列演算しても良いし、ＣＰＵやＤＳＰなどを用いて逐次演算しても良い。
【００９６】
本実施形態においては、接触判定回路８５は、差分面積計算回路１０１、差分面積補正回路１０２、差分面積記憶回路１０３、差分座標計算回路１０４、差分座標記憶回路１０５、エッジ強度計算回路１０６、エッジ強度記憶回路１０７、接近離脱度計算回路１１１、座標間距離計算回路１１２、エッジ強度変動計算回路１１３、エッジ座標変動計算回路１１４、コンパレータ１１５ａ〜１１５ｅ、接触判定ステートマシン１１６を有する構成である。また、座標計算回路８６は、しきい値補正計算回路１０８、エッジ座標計算回路１０９、エッジ座標記憶回路１１０を有する構成である。レジスタ１００ａ〜１００ｊは、各種のしきい値や基準値を格納するためのものである。
【００９７】
差分面積計算回路１０１は、差分画像の階調値が所定のしきい値より大きい或いは小さい画素についてその総数をカウントし、その結果を差分面積として出力する。これは、指やライトペンなどの動きに起因して撮像画像に変化が生じた場合に、その領域の面積を求めることに相当する。例えば指の場合、指がパネルに接近すると指が周囲の環境光をさえぎるためにその部分の画像は暗くなり差分画像は負の値をもつことが多い。したがって、差分面積計算回路１０１で用いるしきい値を適切に設定してやることによって、指が接近した部分の面積を算出することができる。
【００９８】
なお、差分面積計算回路１０１に代えて、差分画像の階調値が所定のしきい値より大きい或いは小さい画素について、階調値としきい値の差に依存した重み係数を算出し、その重み係数を累算するという回路を用いても良い。重み係数としては、例えば階調値としきい値の差に比例したものを用いることが望ましい。もちろん、階調値としきい値の差そのものを用いてもよい。この場合、出力される累算値は、動きのあった部分の大きさと動きの速さに依存する量になる。ただし、ここでは差分面積計算回路１０１を採用するものとする。
【００９９】
差分面積計算回路１０１では、周囲の環境光が急に変化した場合（例えば屋内から屋外に出た瞬間など）にやはり大きな差分面積値を出力してしまうので、これを指などの認識対象物の動きと区別するために差分面積を補正してやる必要がある。差分面積補正回路１０２はそのための回路であり、認識対象物面積の基準値をあらかじめ設定しておき、差分面積がその基準値を超えた場合に、差分面積を本来の値よりも小さい値に補正するものである。補正の仕方としては例えば、図４０に示すように、入力された差分面積が基準値を超えた場合に、差分面積と基準値の差に比例して補正差分面積が減少するような演算を行い、これを出力する。
【０１００】
このようにして得られた補正差分面積値を、数フレームに渡って差分面積記憶回路１０３に記憶しておき、後述するように対象物体の接近・離脱の判定に用いる。この差分面積記憶回路１０３は例えばシフトレジスタを用いて構成し、１フレームごとにシフトを実行することによって実現できる。
【０１０１】
差分座標計算回路１０４は、差分画像の階調値が所定のしきい値より大きい或いは小さい画素について、それらの位置座標の平均値を計算し、その結果である差分座標を物体の位置座標として出力する。差分座標は、例えば指の接近などによって画像の差分が発生した場合について、その中心の座標を表す値である。差分座標は、数フレームに渡って図中の差分座標記憶回路に記憶され、後述するように接触判定に用いられる。
【０１０２】
また、差分座標計算回路１０４では、上記の手法に代えて、差分画像の階調値が所定のしきい値より大きい或いは小さい画素について、階調値と所定のしきい値との差に依存する重み係数を用いた重心計算によって位置座標を求めるものとしてもよい。これは、走査線方向および信号線方向に沿った位置座標の重み係数による加重平均計算に相当する。この場合、重み係数は、階調値としきい値との差に比例することが望ましい。
【０１０３】
エッジ強度計算回路１０６は、エッジ画像の階調値が所定のしきい値より大きい或いは小さい画素について、階調値としきい値との差を累算する回路であり、その累積値をエッジ強度として出力する。例えば、指などの対象物がパネルに近づくほど、周囲の環境光が対象物によってさえぎられる部分とその周りとの階調差が大きくなる。つまりエッジ画像の階調値の絶対値が大きくなる。また、指がパネルに触れている場合に、パネルへの押し付け方によって接触部分の面積が異なるため、エッジ画像の階調値の絶対値が大きくなる面積も変化する。したがってエッジ強度は、指などの対象物とパネルとの距離の近さ、あるいはパネルとの接触領域の大きさを表す指標となる。エッジ強度は数フレームに渡ってエッジ強度記憶回路１０７に記憶され、後述するように接触判定に用いられる。
【０１０４】
エッジ強度計算回路１０６では、しきい値を超えた画素に対して階調値としきい値の差をそのまま累算しているが、階調値としきい値の差によって定まる重み係数を累算してもよい。この重み係数としては、例えば階調値としきい値の差に比例するものを用いる。また、階調値が所定のしきい値よりも大きい或いは小さい画素の総数をカウントし、その結果をエッジ強度として出力してもよい。ただし、ここでは階調値としきい値の差をそのまま累算するものとする。
【０１０５】
エッジ座標計算回路１０９は、エッジ画像の階調値があるしきい値よりも大きい或いは小さい画素について、階調値としきい値の差に依存する重み係数を用いて重心座標を計算し、結果をエッジ座標として出力する。エッジ座標は例えば指などの認識対象物が触れている領域の中心座標を表す。エッジ座標は数フレームに渡ってエッジ座標記憶回路１１０に記憶され、後述するように接触判定に用いられるとともに、最終的に位置座標としても出力される。
【０１０６】
この重心計算に用いる重み係数としては、階調値としきい値の差に比例する値を用いることが望ましい。あるいは、階調値としきい値の差そのものを用いても良いし、重み係数を階調値としきい値の差によらず１にしても良い。ただし、ここでは階調値としきい値の差そのものを重み係数として採用するものとする。
【０１０７】
また、エッジ座標計算回路１０９では、上記の手法に代えて、エッジ画像の階調値が所定のしきい値より大きい或いは小さい画素について、それらの位置座標の平均値を計算し、その結果をエッジ座標として出力してもよい。
【０１０８】
また、位置座標の精度をさらに上げるためには、しきい値補正計算回路１０８によって、エッジ画像の階調度数分布に依存してエッジ画像に対するしきい値を動的に変更する処理を行うことが有効である。これは、環境光が暗い場合と明るい場合とで階調差が大きいためである。図４１は、屋内など環境光が暗い場合のエッジ画像を示す図であり、図４２は、環境光が明るい場合のエッジ画像を示す図である。これらの図において、Ｒは階調値が８８〜６９の画素、Ｇは階調値が６８〜４９の画素、Ｂは階調値が４８以下の画素をそれぞれ示している。図４１に示すように、環境光が暗い場合には、画像中で環境光を遮る部分と遮らない部分との階調差はそれほど大きくないが、図４２に示すように、晴れの日の屋外など環境光が非常に明るい場合には、階調差が非常に大きくなる。したがって、周囲の環境光によってエッジ画像の階調の大小に差があることになるので、しきい値を固定してしまうと、エッジ座標が実際に物体が接触している部分から大きく乖離してしまうおそれがある。そこで、例えば、一旦エッジ画像を走査して階調度数分布における最大値或いは最小値を求めておき、その最大値或いは最小値とあらかじめ設定したしきい値との平均値を新たなしきい値とするようなしきい値補正計算によって、接触部分に対応する正確な位置座標が算出可能となる。
【０１０９】
接近離脱度計算回路１１１は、過去の複数フレームについて保持されている差分面積値とエッジ強度値とを用いて、指など認識対象物の接近している度合い・離脱している度合いを表す接近離脱度という値を計算する。具体的には、あるフレームにおけるエッジ強度から、所定フレーム前におけるエッジ強度を減算した値と、差分面積とを積算した値として定義される。例えば、現在のフレームのエッジ強度から２フレーム前のエッジ強度を減算した値と、現在のフレームの差分面積とを積算した値とする。他にも、例えば、現在のフレームのエッジ強度から１フレーム前のエッジ強度を減算した値と、現在のフレームの差分面積との積などの定義でも良い。差分面積は、補正した後のものを用いることが望ましいが、補正しないものでも適用可能である。
【０１１０】
指などがパネルに接近する瞬間には、差分面積の値が大きくなると同時にエッジ強度が増加するので、接近離脱度は正のピークをもつ。一方、指などがパネルから離れる瞬間には、差分面積の値が大きくなると同時にエッジ強度が減少するので、接近離脱度は負のピークをもつ。したがって、適切に設定された正のしきい値と接近離脱度とを比較することによって、指などの認識対象物がパネルに接近したタイミングを知ることができる。同様に、適切に設定された負のしきい値と接近離脱度とを比較することによって、指などの認識対象物がパネルから離れたタイミングを知ることができる。これらの比較演算の結果は図３９に示すように、接触判定ステートマシン１１６に入力され、後述するように一連の接触判定に用いることができる。
【０１１１】
エッジ強度変動計算回路１１３は、エッジ強度が過去数フレームの間にどれだけ変動したかの指標となるエッジ強度変動値を計算する。エッジ強度変動は、複数のフレームにおけるエッジ強度値の最大値と最小値の差として定義される。例えば、過去３フレームのエッジ強度値から、その最大値と最小値を求め、最大値から最小値を減算したものとする。フレーム数は、撮像のフレームレートと、指などの想定される接触時間に応じて、過去４フレーム、５フレームなど、別のより適切な値を選ぶこともできる。また、エッジ強度変動は、最大値と最小値の差ではなく、累積値そのもので定義してもよいし、標準偏差などで定義しても良い。
【０１１２】
指などがパネルにきちんと接触し、かつ静止している最中はエッジ画像が安定するため、エッジ強度変動は小さい値になる。したがって、エッジ強度変動を適切に設定されたしきい値と比較することによって、指などの認識対象がパネルに触れて静止しているという判定ができる。この比較演算の結果は図３９に示すように、接触判定ステートマシン１１６に入力され、後述する一連の接触判定に用いることができる。
【０１１３】
また、エッジ強度値そのものは、前述のように指などの対象物とパネルとの距離の近さ、あるいはパネルとの接触領域の大きさの指標となるので、現在のフレームのエッジ強度値を適当なしきい値と比較することによって指などの接触・非接触を判定できる。上記の比較演算の結果は接触判定ステートマシン１１６に入力され、後述するように一連の接触判定に用いることができる。
【０１１４】
エッジ座標変動計算回路１１４は、エッジ座標が過去数フレームの間にどれだけ変動したかの指標となるエッジ座標変動値を計算する。具体的には、エッジ座標記憶回路１１０で、エッジ座標として表される位置座標を複数フレームについて記憶しておき、エッジ座標変動計算回路１１４は、複数の位置座標の最大値と最小値の差と所定のしきい値との比較演算を行う。例えば、過去の４フレームのエッジ座標から、走査線方向座標と信号線方向座標のそれぞれについて別々にその最大値と最小値を求め、最大値から最小値を減算する。フレーム数は、撮像のフレームレートと、指などの想定される接触時間に応じて、過去３フレーム、５フレームなど、別のより適切な値を選ぶこともできる。また最大値と最小値の差ではなく、標準偏差などで定義しても良い。指などがパネルにきちんと接触し、かつ静止している最中はエッジ座標が安定するため、エッジ座標変動は小さい値になる。したがって、エッジ座標変動を適切に設定されたしきい値と比較することによって、指などの認識対象がパネルに触れて静止しているという判定ができる。この比較演算の結果は、接触判定ステートマシン１１６に入力され、後述するように一連の接触判定に用いることができる。
【０１１５】
座標間距離計算回路１１２は、差分座標計算回路１０４により差分画像を用いて得られた位置座標と、エッジ座標計算回路１０９によりエッジ画像を用いて得られた位置座標との間の距離（座標間距離）を計算する。例えば、指などの対象物がパネルに接近した瞬間の差分座標と、パネルに接触して静止した瞬間のエッジ座標と、パネルから離れる瞬間の差分座標と、の３つのタイミングにおける座標を比較することによって、接近した位置と離れた位置の距離、接触して静止した位置と離れた位置の距離といった座標間距離を計算する。３つタイミングは前述した接近離脱度やエッジ強度変動などの比較演算結果によって知ることができるのでその時の差分座標やエッジ座標を一時的に記憶しておけば座標間距離の計算が可能である。例えば、接近した位置と離れた位置の座標間距離を所定のしきい値と比較することによって、押した位置と離した位置が同じである”クリック動作”なのか、押した位置と離した位置が違う”ドラッグ＆ドロップ動作”なのか、などの識別に用いることができる。この比較演算の結果は接触判定ステートマシン１１６に入力され、後述するように一連の接触判定に用いることができる。なお、図３９では、図が煩雑にならないように、各比較演算結果を座標間距離計算回路１１２へ入力する線は省略している。
【０１１６】
接触判定ステートマシン１１６は、上述した接近離脱度の比較演算結果、エッジ強度変動の比較演算結果、エッジ強度の比較演算結果、エッジ座標変動の比較演算結果、座標間距離の比較演算結果のうちの少なくとも１つの演算結果、および現在のフレームの状態、現在の状態で経過したフレーム数、各状態に対応して予め設定されたタイムアウトフレーム数を入力として、次のフレームの状態を決定する。また、接触判定ステートマシン１１６は、現在のフレームの状態に基づいて、指などの認識対象物が接触したか否かの接触フラグを出力する。なお、図３９では、図が煩雑になってしまうので、現在のフレームの状態、経過フレーム数、タイムアウトフレーム数などの入力を表す線は省略している。
【０１１７】
図４３は、ステートマシン１１６における遷移状態と、それらの間の遷移パスおよび遷移条件の一例を示す。ただし煩雑になるのを防ぐため、図４３ではすべての遷移パスと遷移条件を記述しているわけではない。また、タイムアウトによる遷移についても省略している。図４３の例では、指などの認識対象物が１回パネル上のある位置に触れて静止した後に、同じ位置で離れたという”シングルクリック”動作に対して接触したという判定を下すものである。ステートマシン１１６は、接触判定の結果をアイドル状態、接近状態、接触状態、離脱状態、完了状態の各状態で表す。アイドル状態は指の接近を待っている状態である。前述の接近離脱度が設定された（正の）しきい値より大きく、かつエッジ強度がしきい値よりも大きい場合に指などが接近したと判定して接近状態に遷移する。接近状態は指などがパネルに触れてしっかり安定するのを待つ状態である。エッジ強度がしきい値よりも大きいままで、さらにエッジ強度変動、エッジ座標変動がそれぞれ設定したしきい値よりも小さくなった場合に、指などがパネルにしっかり触れて安定したと判定し、接触状態に遷移する。接触状態では指などが離れ始めるのを待つ。エッジ強度がしきい値より小さくなった場合に指などが離れ始めたと判定して離脱状態に遷移する。離脱状態は指が完全に離れるのを待つ状態である。接近離脱度が（負の）しきい値よりも小さく、かつ、接近時の座標と離脱時の座標の距離である座標間距離がしきい値よりも小さい場合に”シングルクリック”が成立したと判定して完了状態に遷移する。完了状態では、接触判定フラグをオンにして、”シングルクリック”があったことと、その位置座標をホストのCPUなどに知らせる。完了状態からはタイムアウトフレーム数の設定に応じて自動的にアイドル状態に戻る。
【０１１８】
なお、上記のステートマシン１１６の他、”ダブルクリック”動作を認識するようなステートマシンや、”ドラッグ＆ドロップ”動作、パネルを”こする”動作などを認識するステートマシンを用いてもよい。
【０１１９】
［第５の実施の形態］
本実施の形態では、図３５を用いて説明した入力時の表示画面をソフトウェア的に表示させるときのスイッチの表示輝度について説明する。なお、その他の構成については、上記各実施の形態と同様であるので、ここでは重複した説明は省略する。
【０１２０】
図４４は、黒背景に白色のスイッチが１２個表示され、個々のスイッチに番号が表示された状態を示している。図３８を用いて説明した観察をしてスイッチが押されているときと押されていないときのＳ／Ｎ比を図４５にプロットした。縦軸はＳ／Ｎ比、横軸は外光の照度である。外光が高いときは問題ないが１００ｌｘ近傍ではＳ／Ｎ比が小さくなくなる問題がある。その理由は指が外光をさえぎることにより当該スイッチに属する光センサに投影される影（シグナル）に対し、スイッチの表示光が指で反射して反射光の成分が相対的に目立ってきて影（シグナル）を減じるノイズとなるためである。なお、１００ｌｘ近傍でＳ／Ｎ比が小さくなるが０ｌｘに向かって上昇する。これは外光が十分小さくなり、スイッチの表示光が指で反射して生じる反射光の成分がシグナルとなり、このシグナルに対しては外光がノイズとなり外光が十分小さくなるときＳ／Ｎ比がとれるからである。
【０１２１】
そこで、図４６に示すように、スイッチを黒色とし背景色を白とした。このようにすると上述の外光近傍でノイズとして働く表示光が指で反射してセンサに入射する影を減じる現象を抑制でき、図４７に示すように１００ｌｘ近傍のＳ／Ｎ比が改善する。１００ｌｘ程度以上で動作すればよいアプリケーションで有効である。
【０１２２】
図４８は、さらにスイッチの表示に工夫を加えたものである。図４４のスイッチの内部に黒領域を設けたものである。図４４の場合に対して黒い部分の割合が多いため外光による影を読取る範囲が広がる。かつ、適当に白い部分も有するので暗所でもＳ／Ｎ比が確保できる。
【０１２３】
実験によると白い部分はそれほど大きくしなくても０ｌｘ付近の暗所での読み取りには足りる。スイッチに占める黒（低輝度）の面積をスイッチの５０％以上にするのがよい。図５０、図５１、図５２に変形例を示す。白（高輝度）の部分を少なくすることによりユーザーも指でタッチする部分も限定され、紛らわしい入力を防ぐ効果がある。このような理由から、白（高輝度）の部分を黒（低輝度）の部分より少なくすることは特に有効である。
【０１２４】
［第６の実施の形態］
本実施の形態では、上記各実施の形態における各閾値の決め方について説明する。なお、その他の構成については、上記各実施の形態と同様であるので、ここでは重複した説明は省略する。
【０１２５】
図５３のようにして接触判定を行う場合、接近度、離脱度、エッジ安定度、座標安定度についてそれぞれ閾値を決める必要がある。ところが、これらは環境（外光や温度等）により最適値が変化するため特定の値に決めてしまうことが難しい。特定の値に決めてしまうと環境により誤動作してしまい問題となる。
【０１２６】
そこで、本実施の形態では、特定のタイミングにおける信号のノイズを計測しておき、これに基づいて閾値を算出する。具体的には、直前の状態（アイドル状態）での各信号のノイズレベルを計測しておき、安定度については振幅がアイドル状態のときの６０％以下となること、接近度・離脱度については閾値をアイドル状態のときのノイズ振幅の５−２０倍となるように自動設定する。
【０１２７】
具体例を図５４乃至５７に示す。各図では、アイドル時の接近度のノイズ振幅をＳで示し、エッジ強度のノイズ振幅をＥで示す。指が接近してくる際、接近強度を示す信号が徐々に増加してくるが、これがＳ×１０に達したときに接近とみなす。つまり、Ｓ×１０を接近強度の閾値とする。離脱信号についても同様である。一方、エッジ強度については指が接しているときに一応指がＬＣＤ表面に固定されるためエッジ強度は安定すると考えられる。つまりエッジ強度の振幅が小さくなる。アイドル時のエッジ強度のノイズ振幅の０．５倍程度以下に小さくなったときにエッジ強度が安定したとみなす。つまりエッジ安定度の閾値をＥ×０．５とする。座標安定度についても同様である。
【０１２８】
このようにすることによってさまざまな環境下で適切に閾値を決めることが可能となり誤入力及び誤動作を激減させることができる。
【０１２９】
［第７の実施の形態］
図５８（ａ）は本実施形態における表示装置を搭載した筐体の側面図、同図（ｂ）はその筐体の上面図、同図（ｃ）は表示装置の上面図をそれぞれ模式的に示したものである。
【０１３０】
表示装置１３４は、光検知部１３４ａを備えており、筐体１３３は、この表示装置１３４と、透明部１３３ａ、遮蔽部１３３ｂを備える。表示装置１３４は、例えば光センサを集積した液晶ディスプレイなどである。筐体１３３は、例えば携帯電話機の筐体などであり、表示装置１３４の表示部及び光検知部１３４ａの上方に透明部１３３ａが配置され、その周辺は光を通さない遮蔽部１３３ｂとなっている。
【０１３１】
このような構成において、指１３２が透明部１３３ａに接触すると、指１３２が周囲の環境光１３１を遮ることによって表示画面上に影１３７ができる。光検知部１３４ａでこの影を検知することによって指が触れた位置の座標１３９を算出することができる。
【０１３２】
しかし、一般に表示画面の保護のため筐体１３３の透明部１３３ａと表示装置１３４は多少離れているため、図５８のように環境光１３１が斜め方向から入射した場合などには実際に透明部１３３ａ上で接触した位置１３６と、算出された座標１３９がずれてしまう問題がある。
【０１３３】
一方、環境光１３１が斜めから入射した場合に筐体１３３の遮蔽部１３３ｂによっても表示画面上に影１３８ができる。筐体１３３と表示装置１３４との相対位置は予め知ることができるので、筐体１３３の影１３８を光検知部１３４ａで検知した階調情報に基づいて、正しい接触位置を知るための補正量１４０を算出することができる。
【０１３４】
そこで、本実施の形態では、遮蔽部１３３ｂによって表示画面に投影されるかげを光検知部１３４ａにより検知することにより、周囲から表示画面に入射する光の入射方向を検知し、その入射方向に基づいて座標入力の座標値を補正する。
【０１３５】
図５９は、階調情報から補正量を算出する方法の具体例を示している。同図の破線で示すように、光検知部のうち四辺からの距離が例えば８画素以内にある画素を補正量算出専用に用いる。図６０は、環境光が右辺側から入射する場合に、Ｘ座標の大きい方から８画素以内にある画素について、座標ＸとＹ軸方向に沿ってとった平均階調値Ｇ（Ｘ）の関係を示している。右辺側にある筐体の影ができるため、平均階調は座標Ｘが増えると減少する。この平均階調の値がしきい値Ｇ０を下回るような画素数をＸ座標の補正量とする。例えば図６０ではＸ座標の補正量は＋４となる。
【０１３６】
同様にＸ座標の小さい方から８画素以内で平均階調値がしきい値を下回った場合にもその画素数をＸ座標の補正量とする。ただしこの場合はマイナス側に補正する。Ｙ座標の補正量についても全く同様にして求めることができる。
【図面の簡単な説明】
【０１３７】
【図１】第１の実施の形態における表示装置の構成を示す平面図である。
【図２】上記表示装置における表示部の構成を示す断面図である。
【図３】上記表示部が備える画素の構成を示す回路図である。
【図４】上記画素における光センサ系の構成を示す回路図である。
【図５】上記表示装置の動作を示すタイミングチャートである。
【図６】上記表示装置におけるセンサ用ＩＣの構成を示す回路ブロック図である。
【図７】上記センサ用ＩＣにおけるデータ処理部の構成を示す回路ブロック図である。
【図８】指が表示画面に接触しなかった場合について、露光時間中の時刻ｔ１〜ｔ３における（ａ）指と表示画面の位置関係、（ｂ）階調化・２値化後の撮像画像、（ｃ）エッジ画像、（ｄ）エッジの座標をそれぞれ示す。
【図９】図９は指が表示画面に接触した場合について、露光時間中の時刻ｔ１〜ｔ３における（ａ）指と表示画面の位置関係、（ｂ）階調化・２値化後の撮像画像、（ｃ）エッジ画像、（ｄ）エッジの座標をそれぞれ示す。
【図１０】第２の実施の形態におけるセンサ用ＩＣの構成を示す回路ブロック図である。
【図１１】上記センサ用ＩＣにおける階調化回路での処理の例を示す図である。
【図１２】上記センサ用ＩＣにおけるフレーム間差分処理回路での処理の例を示す図である。
【図１３】上記センサ用ＩＣにおけるエッジ検出回路での処理の例を示す図である。
【図１４】指が表示画面に接触する直前の多階調画像を示す図である。
【図１５】指が表示画面に接触した瞬間の多階調画像を示す図である。
【図１６】図１４の画像の階調値を示す３次元グラフである。
【図１７】図１５の画像の階調値を示す３次元グラフである。
【図１８】図１４の画像を２値化した画像を示す図である。
【図１９】図１５の画像を２値化した画像を示す図である。
【図２０】図１４の画像と図１５の画像の差分画像を示す図である。
【図２１】図２０の画像の階調値を示す３次元グラフである。
【図２２】図２０の画像を２値化した画像を示す図である。
【図２３】明るい環境下で指が表示画面に接触する直前の多階調画像を示す図である。
【図２４】明るい環境下で指が表示画面に接触した瞬間の多階調画像を示す図である。
【図２５】図２３の画像の階調値を示す３次元グラフである。
【図２６】図２４の画像の階調値を示す３次元グラフである。
【図２７】図２３の画像を２値化した画像を示す図である。
【図２８】図２４の画像を２値化した画像を示す図である。
【図２９】図２３の画像のエッジを検出した画像を示す図である。
【図３０】図２４の画像のエッジを検出した画像を示す図である。
【図３１】図２９のエッジ画像におけるエッジ強度を示す３次元グラフである。
【図３２】図３０のエッジ画像におけるエッジ強度を示す３次元グラフである。
【図３３】図２９のエッジ画像を２値化した画像を示す図である。
【図３４】図３０のエッジ画像を２値化した画像を示す図である。
【図３５】第３の実施の形態における表示装置が表示画面に表示する画像パターンを示す図である。
【図３６】上記表示装置におけるセンサ用ＩＣの構成を示す回路ブロック図である。
【図３７】白色画素の割合と露光時間との関係を示すグラフである。
【図３８】スイッチ毎の白色画素数の時間変化の特徴をまとめた図である。
【図３９】接触判定回路と座標計算回路により、差分画像とエッジ画像を用いて接触フラグと座標データを計算するための構成及び演算処理の流れを示す図である。
【図４０】差分面積補正回路における入出力の関係を示すグラフである。
【図４１】環境光が暗い場合のエッジ画像を示す図である。
【図４２】環境光が明るい場合のエッジ画像を示す図である。
【図４３】接触判定ステートマシンにおける状態、それらの遷移パス、遷移条件を示す図である。
【図４４】黒背景に白色のスイッチを表示した画面を示す図である。
【図４５】図４４の画面についてＳ／Ｎ比と照度の関係を示すグラフである。
【図４６】白背景に黒色のスイッチを表示した画面を示す図である。
【図４７】図４６の画面についてＳ／Ｎ比と照度の関係を示すグラフである。
【図４８】図４４の白色スイッチの内部に黒領域を設けた画面を示す図である。
【図４９】図４８の画面についてＳ／Ｎ比と照度の関係を示すグラフである。
【図５０】図４４の画面の別の変形例を示す図である。
【図５１】図４４の画面のさらに別の変形例を示す図である。
【図５２】図４４の画面のさらに別の変形例を示す図である。
【図５３】接触判定の処理の流れを示す図である。
【図５４】外光２００ｌｘのときの接近度と時間の関係を示すグラフである。
【図５５】外光１０００ｌｘのときの接近度と時間の関係を示すグラフである。
【図５６】外光２００ｌｘのときのエッジ強度と時間の関係を示すグラフである。
【図５７】外光１０００ｌｘのときのエッジ強度と時間の関係を示すグラフである。
【図５８】同図（ａ）は表示装置を搭載した筐体の側面図、同図（ｂ）はその筐体の上面図、同図（ｃ）は表示装置の上面図をそれぞれ模式的に示したものである。
【図５９】階調情報から補正量を算出する手法を説明するための模式図である。
【図６０】座標Ｘと平均階調値Ｇ（Ｘ）の関係を示すグラフである。
【符号の説明】
【０１３８】
１…アレイ基板，２…表示部，３…フレキシブル基板
４…センサ用ＩＣ，５…表示用ＩＣ
６…センサ用Ｉ／Ｆ，７…表示用Ｉ／Ｆ
８…光センサ，９…絶縁層，１１…液晶層
１２…対向基板，１３…バックライト，２０…物体
３３…スイッチ素子，３４…出力制御スイッチ
３５…ソースフォロアアンプ，３７…センサ容量
３８…プリチャージ制御スイッチ
４０…基準電源，４１…コンパレータ
６１…レベルシフタ，６２…データ処理部
６３…ＲＡＭ，６４…ＤＡＣ，７１…ラインメモリ
７２…タイミング発生回路，７３…欠陥補正回路
７４…階調化回路，７５…２値化回路
７６…エッジ検出回路，７７…座標計算回路
７８…接触判定回路，７９…出力レジスタ
８０…閾値レジスタ，８１…階調化回路
８２…フレーム間差分処理回路
８２…階調化回路，８３…メモリ
８４…エッジ検出回路，８５…接触判定回路
８６…座標計算回路，９０…センサ用ＩＣ
９１…レベルシフタ，９２…階調化回路
９３…キャリブレーション回路，９４…ＤＡＣ
９５…計数回路，９６…フレーム間差分処理回路
９７…エッジ検出回路，９８…接触確率計算回路
１００ａ〜１００ｊ…レジスタ
１０１…差分面積計算回路
１０２…差分面積補正回路
１０３…差分面積記憶回路
１０４…差分座標計算回路
１０５…差分座標記憶回路
１０６…エッジ強度計算回路
１０７…エッジ強度記憶回路
１０８…しきい値補正計算回路
１０９…エッジ座標計算回路
１１０…エッジ座標記憶回路
１１１…接近離脱度計算回路
１１２…座標間距離計算回路
１１３…エッジ強度変動計算回路
１１４…エッジ座標変動計算回路
１１５ａ〜１１５ｅ…コンパレータ
１１６…接触判定ステートマシン
１３１…環境光，１３２…指，１３３…筐体
１３３ａ…透明部，１３３ｂ…遮蔽部
１３４…表示装置，１３４ａ…光検知部
【特許請求の範囲】
【請求項１】
画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮影する光入力機能を備えた表示部と、
撮影された画像のエッジを検出してエッジ画像とするエッジ検出回路と、
前記エッジ画像を用いて物体が表示画面に接触したか否かの判定をする接触判定回路と、
物体が表示画面に接触したと判定されたときに、前記エッジ画像を用いて物体の位置座標を計算する座標計算回路と、
を有することを特徴とする表示装置。
【請求項２】
前記接触判定回路は、前記エッジ毎に移動方向を調べ、互いに逆方向に移動するエッジがある場合に物体が表示画面に接触したと判定することを特徴とする請求項１記載の表示装置。
【請求項３】
前記接触判定回路は、前記エッジ画像を用いて物体を示す領域を抽出し、この領域の面積が所定の閾値以上となった場合に物体が表示画面に接触したと判定することを特徴とする請求項１記載の表示装置。
【請求項４】
前記座標計算回路は、前記エッジの重心を物体の位置座標として計算することを特徴とする請求項１又は２に記載の表示装置。
【請求項５】
前記座標計算回路は、面積が所定の閾値以上となった領域の重心を物体の位置座標として計算することを特徴とする請求項３記載の表示装置。
【請求項６】
画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮影する光入力機能を備えた表示部と、
撮影された画像について現在のフレームの多階調画像と過去のフレームの多階調画像との差分を取った差分画像を求めるフレーム間差分処理回路と、
前記差分画像を用いて物体が表示画面に接触したか否かの判定をする接触判定回路と、
物体が表示画面に接触したと判定されたときに、前記差分画像を用いて物体の位置座標を計算する座標計算回路と、
を有することを特徴とする表示装置。
【請求項７】
前記接触判定回路は、前記差分画像を用いて物体を示す領域を抽出し、この領域の面積が所定の閾値以上となったときに、物体が表示画面に接触したと判定することを特徴とする請求項６記載の表示装置。
【請求項８】
前記座標計算回路は、面積が所定の閾値以上となった領域の重心を物体の位置座標として計算することを特徴とする請求項７記載の表示装置。
【請求項９】
画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮影する光入力機能を備えた表示部と、
撮影された画像を多階調画像に変換する階調化回路と、
多階調化画像を用いてエッジを検出するエッジ検出回路と、
現在のフレームの多階調画像と過去のフレームの多階調画像との差分を取った差分画像を求めるフレーム間差分処理回路と、
エッジ画像又は差分画像の少なくとも一方を用いて物体の位置座標を計算する座標計算回路と、
エッジ画像又は差分画像の少なくとも一方を用いて物体が表示画面に接触したか否かの判定をする接触判定回路と、
を有することを特徴とする表示装置。
【請求項１０】
複数のスイッチを表示画面に表示する表示機能およびスイッチに近接した物体を撮影する光入力機能を備えた表示部と、
撮影された画像についてスイッチ毎に白色の画素数を計数し、現在のフレームにおける計数値と過去のフレームにおける計数値との差分値を算出し、スイッチ毎の差分値のうち最大のものが所定の閾値以上の場合に、物体が当該スイッチに接触したとの旨を示す信号を出力する計数回路と、
現在のフレームにおける多階調画像と過去の多階調画像との差分を取った差分画像を求め、その差分画像から物体を示す領域を抽出し、その領域の重心を算出し、物体が当該重心に位置するスイッチに接触したとの旨を示す信号を出力するフレーム間差分処理回路と、
多階調画像についてエッジを検出し、強度が所定の閾値以上のエッジの重心を算出し、物体が当該重心に位置するスイッチに接触したとの旨を示す信号を出力するエッジ検出回路と、
前記計数回路、前記フレーム間差分処理回路、前記エッジ検出回路からそれぞれ出力された信号に基づいてスイッチ毎に接触確率を計算する接触確率計算回路と、
を有することを特徴とする表示装置。
【請求項１１】
前記接触判定回路は、前記差分画像における階調値が所定のしきい値よりも大きい或いは小さい画素の総数を数え、その画素数を用いて接触の判定を行うことを特徴とする請求項９記載の表示装置。
【請求項１２】
前記画素数を用いた接触の判定は、前記画素数が所定の基準値よりも大きい場合に、当該画素の総数を本来の値よりも小さい値に補正する演算を含むことを特徴とする請求項１１記載の表示装置。
【請求項１３】
前記接触判定回路は、前記差分画像における階調値が所定のしきい値よりも大きい或いは小さい画素について、階調値と前記しきい値との差に依存する重み係数を累算し、その累算値を用いて接触の判定を行うことを特徴とする請求項９記載の表示装置。
【請求項１４】
前記重み係数は、階調値と前記しきい値との差に比例することを特徴とする請求項１３記載の表示装置。
【請求項１５】
前記座標計算回路は、前記差分画像の階調値が所定のしきい値より大きい或いは小さい画素について、それらの画素の位置の平均値を計算することによって前記位置座標を求めることを特徴とする請求項９記載の表示装置。
【請求項１６】
前記座標計算回路は、前記差分画像の階調値が所定のしきい値より大きい或いは小さい画素について、階調値と前記しきい値との差に依存する重み係数を用いた重心計算によって前記位置座標を求めることを特徴とする請求項９記載の表示装置。
【請求項１７】
前記重み係数は、階調値と前記しきい値との差に比例することを特徴とする請求項１６記載の表示装置。
【請求項１８】
前記接触判定回路は、前記エッジ画像における階調値が所定のしきい値よりも大きい或いは小さい画素について、階調値と前記しきい値との差を累算し、その累算値を用いて接触の判定を行うことを特徴とする請求項９記載の表示装置。
【請求項１９】
前記接触判定回路は、前記エッジ画像における階調値が所定のしきい値よりも大きい或いは小さい画素について、階調値と前記しきい値との差に依存する重み係数を累算し、その累算値を用いて接触の判定を行うことを特徴とする請求項９記載の表示装置。
【請求項２０】
前記重み係数は、階調値と前記しきい値との差に比例することを特徴とする請求項１９記載の表示装置。
【請求項２１】
前記接触判定回路は、前記エッジ画像における階調値が所定のしきい値よりも大きい或いは小さい画素の総数を数え、その画素数を用いて接触の判定を行うことを特徴とする請求項９記載の表示装置。
【請求項２２】
前記座標計算回路は、前記エッジ画像の階調値があるしきい値よりも大きい或いは小さい画素について、階調値としきい値の差に依存する重み係数を用いて重心座標を計算することによって前記位置座標を求めることを特徴とする請求項９記載の表示装置。
【請求項２３】
前記重み係数は、階調値と前記しきい値との差に比例することを特徴とする請求項２２記載の表示装置。
【請求項２４】
前記座標計算回路は、前記エッジ画像の階調値が所定のしきい値より大きい或いは小さい画素について、それらの画素の位置の平均値を計算することによって前記位置座標を求めることを特徴とする請求項９記載の表示装置。
【請求項２５】
前記所定のしきい値を、前記エッジ画像の階調度数分布に依存して変化させることを特徴とする請求項２２乃至２４のいずれかに記載の表示装置。
【請求項２６】
前記エッジ画像の階調度数分布における最大値或いは最小値と予め設定されていたしきい値との平均値を新たなしきい値とすることを特徴とする請求項２５記載の表示装置。
【請求項２７】
前記接触の判定における演算は、あるフレームにおける請求項１８又は１９記載の累積値から所定フレーム前における前記累積値を減算した値と、請求項１１又は１２記載の画素の総数とを積算し、その積算値と所定のしきい値との比較演算を含むことを特徴とする請求項９記載の表示装置。
【請求項２８】
前記接触の判定における演算は、複数のフレームにおける請求項１８又は１９記載の累積値の最大値と最小値の差と所定のしきい値との比較演算を含むことを特徴とする請求項９記載の表示装置。
【請求項２９】
前記接触の判定における演算は、請求項１８又は１９記載の累積値と所定のしきい値との比較演算を含むことを特徴とする請求項９記載の表示装置。
【請求項３０】
前記接触の判定における演算は、複数のフレームにおける請求項２２乃至２６のいずれかに記載のエッジ画像を用いて得られた位置座標を複数フレームについて記憶しておき、当該複数の位置座標の最大値と最小値の差と所定のしきい値との比較演算を含むことを特徴とする請求項９記載の表示装置。
【請求項３１】
前記接触の判定における演算は、請求項１５乃至１７のいずれかに記載の差分画像を用いて得られた位置座標と、請求項２２乃至２６のいずれかに記載のエッジ画像を用いて得られた位置座標との間の距離と所定のしきい値との比較演算を含むことを特徴とする請求項９記載の表示装置。
【請求項３２】
前記接触の判定は、アイドル状態、接近状態、接触状態、離脱状態を含む各状態によって結果が表されるものであって、
前記接触判定回路は、請求項２７乃至３１のうちの少なくとも１つに記載の比較演算の結果、現在のフレームの状態、現在の状態で経過したフレーム数、各状態に対応して設定されたタイムアウトフレーム数を用いて次のフレームの状態を決定する接触判定ステートマシンを備えることを特徴とする請求項９記載の表示装置。
【請求項１】
画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮影する光入力機能を備えた表示部と、
撮影された画像のエッジを検出してエッジ画像とするエッジ検出回路と、
前記エッジ画像を用いて物体が表示画面に接触したか否かの判定をする接触判定回路と、
物体が表示画面に接触したと判定されたときに、前記エッジ画像を用いて物体の位置座標を計算する座標計算回路と、
を有することを特徴とする表示装置。
【請求項２】
前記接触判定回路は、前記エッジ毎に移動方向を調べ、互いに逆方向に移動するエッジがある場合に物体が表示画面に接触したと判定することを特徴とする請求項１記載の表示装置。
【請求項３】
前記接触判定回路は、前記エッジ画像を用いて物体を示す領域を抽出し、この領域の面積が所定の閾値以上となった場合に物体が表示画面に接触したと判定することを特徴とする請求項１記載の表示装置。
【請求項４】
前記座標計算回路は、前記エッジの重心を物体の位置座標として計算することを特徴とする請求項１又は２に記載の表示装置。
【請求項５】
前記座標計算回路は、面積が所定の閾値以上となった領域の重心を物体の位置座標として計算することを特徴とする請求項３記載の表示装置。
【請求項６】
画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮影する光入力機能を備えた表示部と、
撮影された画像について現在のフレームの多階調画像と過去のフレームの多階調画像との差分を取った差分画像を求めるフレーム間差分処理回路と、
前記差分画像を用いて物体が表示画面に接触したか否かの判定をする接触判定回路と、
物体が表示画面に接触したと判定されたときに、前記差分画像を用いて物体の位置座標を計算する座標計算回路と、
を有することを特徴とする表示装置。
【請求項７】
前記接触判定回路は、前記差分画像を用いて物体を示す領域を抽出し、この領域の面積が所定の閾値以上となったときに、物体が表示画面に接触したと判定することを特徴とする請求項６記載の表示装置。
【請求項８】
前記座標計算回路は、面積が所定の閾値以上となった領域の重心を物体の位置座標として計算することを特徴とする請求項７記載の表示装置。
【請求項９】
画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮影する光入力機能を備えた表示部と、
撮影された画像を多階調画像に変換する階調化回路と、
多階調化画像を用いてエッジを検出するエッジ検出回路と、
現在のフレームの多階調画像と過去のフレームの多階調画像との差分を取った差分画像を求めるフレーム間差分処理回路と、
エッジ画像又は差分画像の少なくとも一方を用いて物体の位置座標を計算する座標計算回路と、
エッジ画像又は差分画像の少なくとも一方を用いて物体が表示画面に接触したか否かの判定をする接触判定回路と、
を有することを特徴とする表示装置。
【請求項１０】
複数のスイッチを表示画面に表示する表示機能およびスイッチに近接した物体を撮影する光入力機能を備えた表示部と、
撮影された画像についてスイッチ毎に白色の画素数を計数し、現在のフレームにおける計数値と過去のフレームにおける計数値との差分値を算出し、スイッチ毎の差分値のうち最大のものが所定の閾値以上の場合に、物体が当該スイッチに接触したとの旨を示す信号を出力する計数回路と、
現在のフレームにおける多階調画像と過去の多階調画像との差分を取った差分画像を求め、その差分画像から物体を示す領域を抽出し、その領域の重心を算出し、物体が当該重心に位置するスイッチに接触したとの旨を示す信号を出力するフレーム間差分処理回路と、
多階調画像についてエッジを検出し、強度が所定の閾値以上のエッジの重心を算出し、物体が当該重心に位置するスイッチに接触したとの旨を示す信号を出力するエッジ検出回路と、
前記計数回路、前記フレーム間差分処理回路、前記エッジ検出回路からそれぞれ出力された信号に基づいてスイッチ毎に接触確率を計算する接触確率計算回路と、
を有することを特徴とする表示装置。
【請求項１１】
前記接触判定回路は、前記差分画像における階調値が所定のしきい値よりも大きい或いは小さい画素の総数を数え、その画素数を用いて接触の判定を行うことを特徴とする請求項９記載の表示装置。
【請求項１２】
前記画素数を用いた接触の判定は、前記画素数が所定の基準値よりも大きい場合に、当該画素の総数を本来の値よりも小さい値に補正する演算を含むことを特徴とする請求項１１記載の表示装置。
【請求項１３】
前記接触判定回路は、前記差分画像における階調値が所定のしきい値よりも大きい或いは小さい画素について、階調値と前記しきい値との差に依存する重み係数を累算し、その累算値を用いて接触の判定を行うことを特徴とする請求項９記載の表示装置。
【請求項１４】
前記重み係数は、階調値と前記しきい値との差に比例することを特徴とする請求項１３記載の表示装置。
【請求項１５】
前記座標計算回路は、前記差分画像の階調値が所定のしきい値より大きい或いは小さい画素について、それらの画素の位置の平均値を計算することによって前記位置座標を求めることを特徴とする請求項９記載の表示装置。
【請求項１６】
前記座標計算回路は、前記差分画像の階調値が所定のしきい値より大きい或いは小さい画素について、階調値と前記しきい値との差に依存する重み係数を用いた重心計算によって前記位置座標を求めることを特徴とする請求項９記載の表示装置。
【請求項１７】
前記重み係数は、階調値と前記しきい値との差に比例することを特徴とする請求項１６記載の表示装置。
【請求項１８】
前記接触判定回路は、前記エッジ画像における階調値が所定のしきい値よりも大きい或いは小さい画素について、階調値と前記しきい値との差を累算し、その累算値を用いて接触の判定を行うことを特徴とする請求項９記載の表示装置。
【請求項１９】
前記接触判定回路は、前記エッジ画像における階調値が所定のしきい値よりも大きい或いは小さい画素について、階調値と前記しきい値との差に依存する重み係数を累算し、その累算値を用いて接触の判定を行うことを特徴とする請求項９記載の表示装置。
【請求項２０】
前記重み係数は、階調値と前記しきい値との差に比例することを特徴とする請求項１９記載の表示装置。
【請求項２１】
前記接触判定回路は、前記エッジ画像における階調値が所定のしきい値よりも大きい或いは小さい画素の総数を数え、その画素数を用いて接触の判定を行うことを特徴とする請求項９記載の表示装置。
【請求項２２】
前記座標計算回路は、前記エッジ画像の階調値があるしきい値よりも大きい或いは小さい画素について、階調値としきい値の差に依存する重み係数を用いて重心座標を計算することによって前記位置座標を求めることを特徴とする請求項９記載の表示装置。
【請求項２３】
前記重み係数は、階調値と前記しきい値との差に比例することを特徴とする請求項２２記載の表示装置。
【請求項２４】
前記座標計算回路は、前記エッジ画像の階調値が所定のしきい値より大きい或いは小さい画素について、それらの画素の位置の平均値を計算することによって前記位置座標を求めることを特徴とする請求項９記載の表示装置。
【請求項２５】
前記所定のしきい値を、前記エッジ画像の階調度数分布に依存して変化させることを特徴とする請求項２２乃至２４のいずれかに記載の表示装置。
【請求項２６】
前記エッジ画像の階調度数分布における最大値或いは最小値と予め設定されていたしきい値との平均値を新たなしきい値とすることを特徴とする請求項２５記載の表示装置。
【請求項２７】
前記接触の判定における演算は、あるフレームにおける請求項１８又は１９記載の累積値から所定フレーム前における前記累積値を減算した値と、請求項１１又は１２記載の画素の総数とを積算し、その積算値と所定のしきい値との比較演算を含むことを特徴とする請求項９記載の表示装置。
【請求項２８】
前記接触の判定における演算は、複数のフレームにおける請求項１８又は１９記載の累積値の最大値と最小値の差と所定のしきい値との比較演算を含むことを特徴とする請求項９記載の表示装置。
【請求項２９】
前記接触の判定における演算は、請求項１８又は１９記載の累積値と所定のしきい値との比較演算を含むことを特徴とする請求項９記載の表示装置。
【請求項３０】
前記接触の判定における演算は、複数のフレームにおける請求項２２乃至２６のいずれかに記載のエッジ画像を用いて得られた位置座標を複数フレームについて記憶しておき、当該複数の位置座標の最大値と最小値の差と所定のしきい値との比較演算を含むことを特徴とする請求項９記載の表示装置。
【請求項３１】
前記接触の判定における演算は、請求項１５乃至１７のいずれかに記載の差分画像を用いて得られた位置座標と、請求項２２乃至２６のいずれかに記載のエッジ画像を用いて得られた位置座標との間の距離と所定のしきい値との比較演算を含むことを特徴とする請求項９記載の表示装置。
【請求項３２】
前記接触の判定は、アイドル状態、接近状態、接触状態、離脱状態を含む各状態によって結果が表されるものであって、
前記接触判定回路は、請求項２７乃至３１のうちの少なくとも１つに記載の比較演算の結果、現在のフレームの状態、現在の状態で経過したフレーム数、各状態に対応して設定されたタイムアウトフレーム数を用いて次のフレームの状態を決定する接触判定ステートマシンを備えることを特徴とする請求項９記載の表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【公開番号】特開２００６−２４４４４６（Ｐ２００６−２４４４４６Ａ）
【公開日】平成１８年９月１４日（２００６．９．１４）
【国際特許分類】
【出願番号】特願２００５−１８８７４４（Ｐ２００５−１８８７４４）
【出願日】平成１７年６月２８日（２００５．６．２８）
【出願人】（３０２０２０２０７）東芝松下ディスプレイテクノロジー株式会社 (2,170)
【Ｆターム（参考）】
【公開日】平成１８年９月１４日（２００６．９．１４）
【国際特許分類】
【出願日】平成１７年６月２８日（２００５．６．２８）
【出願人】（３０２０２０２０７）東芝松下ディスプレイテクノロジー株式会社 (2,170)
【Ｆターム（参考）】
[ Back to top ]