説明

指示体検出装置及びタッチパネル

【課題】指示体と検出面との距離を簡易的かつ迅速に検出することを可能とした指示体検出装置と、当該指示体検出装置を備えたタッチパネルと、を提供する。
【解決手段】指示体検出装置1は、表示領域22面と略平行に表示領域22面上を撮像する左側撮像部11L及び右側撮像部11Rと、左側撮像部11L及び右側撮像部11Rの少なくとも一方で撮像された画像中の指示体の位置に基づいて指示体と表示領域22面との距離を算出する指示体距離算出部15と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出面上の指示体を検出する指示体検出装置や、当該指示体検出装置を備えたタッチパネルに関する。
【背景技術】
【0002】
画像を表示する表示装置と、例えばユーザの指やスタイラスなどの指示体を検出する指示体検出装置とを備え、表示装置上の指示体を検出する、いわゆるタッチパネルが広く普及している。タッチパネルは、表示装置に表示される画像を視認したユーザが、当該画像を手がかりにして表示装置上(当該画像上)の所定の位置に触れるという、直感的かつ簡易的な動作によって操作される。
【0003】
タッチパネルに備えられる指示体検出装置の方式として、例えば、静電容量方式がある。静電容量方式とは、表示装置上に導電膜を設けて電流を通じ、指が導電膜に接触または近接することで生じる静電容量の変化を電流の変化として検出することで、指が接触または近接した位置を検出するものである。
【0004】
しかしながら、静電容量方式では、表示装置上に導電膜などを設ける必要があるため、表示装置上の光透過性が低下し、屋外などで画像の視認性が劣化することが問題となる。
【0005】
そこで、この問題を解決する方式として、例えば、赤外線マトリクス方式(検出面の端部に複数の発光部及び受光部を敷き詰め、それぞれの受光部で生成される信号から指示体を検出する方式)や、特許文献1に記載の方式(検出面の2つの隅に赤外線の発光部及びイメージセンサをそれぞれ備えるとともに検出面の端部に赤外線の反射材を備え、イメージセンサで生成される画像からユーザが触れた位置を検出する方式)などが提案されている。
【0006】
さらに、特許文献2及び3では、撮像により得られた画像中の指示体と、予め記録しておいた指示体のモデルと、を比較することで、指示体と検出面との距離を検出する指示体検出装置が提案されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特許第4229964号
【特許文献2】特開平8−328735号公報
【特許文献3】特開2009−259110号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1で提案されるような赤外線を用いた方式の指示体検出装置であれば、表示装置上に導電膜などの追加部材を備える必要がないため、表示装置上の光透過性の低下(屋外での視認性の劣化)を防止することが可能となる。しかしながら、屋外では発光部以外(例えば、太陽など)から放射される赤外線の影響を受けることで検出精度が劣化するため、問題となる。さらに、赤外線に限らず、屋外では外乱(検出環境の変動)の影響が大きい。そのため、屋内での使用には支障をきたさない検出精度を実現する指示体検出装置であっても、屋外では使用に堪えないものとなる場合がある。
【0009】
また、特許文献2及び3で提案されている指示体検出装置であれば、指示体と検出面との距離を検出することが可能である。しかしながら、上記のように外乱の影響を受けるなどして、検出精度が劣化する問題が生じ得る。また、予め指示体のモデルを記録しておく必要があることで、指示体の種類や使用方法に制約が生じることや、モデルを記録しておく装置が必要になることで、装置の複雑化や大型化を招来するため、問題となる。さらに、画像中の指示体とモデルとを比較して距離を検出する場合、複雑な演算が必要となるために演算量が膨大となり、迅速に動作することが困難になることも問題となる。
【0010】
そこで本発明は、指示体と検出面との距離を簡易的かつ迅速に検出することを可能とした指示体検出装置と、当該指示体検出装置を備えたタッチパネルと、を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するために、本発明における指示体検出装置は、検出面上の指示体を検出する指示体検出装置であって、前記検出面上を当該検出面と略平行に撮像して画像を生成する少なくとも1つの撮像部と、前記撮像部の撮像により生成される画像中の前記指示体の位置に基づいて、前記指示体と前記検出面との距離を検出する距離検出部と、を備えることを特徴とする。
【0012】
また、上記構成の指示体検出装置において、異なる場所から前記検出面を撮像する2つ以上の前記撮像部により生成される画像中の前記指示体の位置に基づいて、前記検出面上の前記指示体の位置を検出する位置検出部を、さらに備えることとしても構わない。
【0013】
このように構成すると、位置検出部及び距離検出部が、ともに画像から認識される指示体の画像中の位置に基づいて、検出面上の指示体の位置及び指示体と検出面との距離を検出することとなる。そのため、検出処理を共通化することが可能となる。したがって、指示体検出装置の処理を簡易化及び迅速化することが可能となる。
【0014】
また、上記構成の指示体検出装置において、前記距離検出部が、いずれか1つの前記撮像部により生成される画像中の前記指示体の位置に基づいて、前記指示体と前記検出面との距離を検出することとしても構わない。
【0015】
このように構成すると、指示体と検出面との距離の検出に要する演算量を少なくすることが可能となる。
【0016】
また、上記構成の指示体検出装置において、前記撮像部が、可視光を撮像することで一つの画素に複数の信号値を備えた画像を生成することとしても構わない。
【0017】
このように構成すると、例えば指示体検出装置を屋外で使用する場合に、検出面上に指示体が進入することで発生する種々の外乱と、指示体とを精度良く区別することが可能となる。特に、一つの画素が単一の信号値のみを備える画像中の指示体を認識するよりも、外乱の影響を受けにくくすることが可能となるため、画像中から精度良く指示体を認識することが可能となる。
【0018】
また、上記構成の指示体検出装置において、前記撮像部の光軸が、前記検出面と略同一の平面内に存在することとしても構わない。
【0019】
このように構成すると、撮像部により生成される画像中において、検出面の所定方向(光軸と略平行な方向)の長さを短くすることが可能となる。そのため、画像中における指示体の直下となる検出面の位置が、指示体の移動(光軸と略平行な方向への移動)によって変動することを抑制することが可能となる。したがって、画像中における指示体と検出面との長さを、容易に算出することが可能となる。
【0020】
また、上記構成の指示体検出装置において、前記距離検出部が、前記撮像部の撮像により生成された画像である背景画像を記憶する背景画像記憶部と、前記撮像部の撮像により生成された画像である対象画像と、前記背景画像記憶部に記憶されている背景画像との差分を求め、当該差分が所定の大きさ以上となる領域の位置から、対象画像中の前記指示体の位置を求める画像処理部と、前記画像処理部で求められた前記指示体の位置から、前記指示体と前記検出面との距離を算出する指示体距離算出部と、を備えることとしても構わない。
【0021】
このように構成すると、簡易な処理によって指示体と検出面との距離を検出することが可能となる。特に、対象画像中の指示体の大きさや形状の解析を要することなく、指示体と検出面との距離を検出することが可能となる。
【0022】
また、本発明のタッチパネルは、表示領域に画像を表示する表示装置と、前記表示領域を検出面とする上記の指示体検出装置と、を備えることを特徴とする。
【発明の効果】
【0023】
本発明の構成とすると、撮像部で撮像された画像の少なくとも一つから指示体を認識することで、指示体と検出面との距離を検出することが可能となる。特に、認識した指示体をモデルなどと比較することを要せずに、簡易的かつ迅速に指示体と検出面との距離を検出することが可能となる。
【0024】
本発明の意義ないし効果は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の一つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【0025】
【図1】は、本発明の実施の一形態であるタッチパネルの構成の一例を示す平面図及び側面図である。
【図2】は、指示体検出装置の構成の一例を示すブロック図である。
【図3】は、指示体の検出面上の位置の検出方法の一例について説明する図である。
【図4】は、指示体の検出面上の位置の検出方法の一例について説明する図である。
【図5】は、指示体と検出面との距離の検出方法の一例について説明する図である。
【図6】は、指示体検出装置の動作の一例について説明する図である。
【図7】は、処理範囲の設定方法の一例について説明する左側画像の模式図である。
【図8】は、撮像環境の変動の有無を判定する動作の一例を示すフローチャートである。
【図9】は、本発明の実施の一形態であるタッチパネルの構成の別例を示す平面図及び側面図である。
【図10】は、図8に示す左側撮像部及び右側撮像部により生成される左側画像及び右側画像の一例を示す模式図である。
【発明を実施するための形態】
【0026】
<全体構成>
本発明の実施の一形態であるタッチパネルについて、以下図面を参照して説明する。図1は、本発明の実施の一形態であるタッチパネルの構成の一例を示す平面図及び側面図である。なお、図1(a)は、タッチパネルの画像が表示される面を示す平面図である。一方、図1(b)は、図1(a)に示す面を右に向けた場合のタッチパネルの左側面を示す側面図である。また、図2は、指示体検出装置の構成の一例を示すブロック図である。
【0027】
図1に示すように、本例のタッチパネル1は、非表示領域21に囲まれる表示領域22に画像を表示する表示装置20を備える。また、タッチパネル1は、タッチパネル1の左側から表示領域22面上を撮像する左側撮像部11Lと、タッチパネル1の右側から表示領域22面上を撮像する右側撮像部11Rと、を備えた指示体検出装置10(図2参照)を備える。また、非表示領域21面と表示領域22面とは、略同一の平面内に存在する。なお、左側撮像部11L及び右側撮像部11Rの一部(例えば、撮像素子やレンズなどの一部)が、非表示領域21内に埋め込まれるように配置されても構わない。
【0028】
図1(a)及び図1(b)において、左側撮像部11L及び右側撮像部11Rが撮像する方向を矢印で示している。図1(b)に示すように、左側撮像部11L及び右側撮像部11Rは、検出面である表示領域22面と略平行となるように撮像を行う。このとき、例えば左側撮像部11L及び右側撮像部11Rのそれぞれの光軸が、表示領域22面と略平行になる。なお、左側撮像部11L及び右側撮像部11Rの中で、指示体と表示領域22面との距離の検出(詳細については後述)に関与する少なくとも一方の撮像部11L,11Rが、表示領域22面と略平行となるように撮像を行うものであればよい。
【0029】
また、図2に示すように、指示体検出装置10は、上記の左側撮像部11L及び右側撮像部11Rと、左側撮像部11Lの撮像により生成された左側画像を処理する左側画像処理部12Lと、左側画像処理部12Lでの処理に用いられる左側背景画像を一時的に記憶する左側背景画像記憶部13Lと、右側撮像部11Rの撮像により生成された右側画像を処理する右側画像処理部12Rと、右側画像処理部12Rでの処理に用いられる右側背景画像を一時的に記憶する右側背景画像記憶部13Rと、左側画像処理部12Lによる左側画像の処理結果と右側画像処理部12Rによる右側画像の処理結果とに基づいて表示領域22面上(検出面上)の指示体の位置を算出し指示体位置情報として出力する指示体位置算出部14と、左側画像処理部12Lによる左側画像の処理結果と右側画像処理部12Rによる右側画像の処理結果との少なくとも一方に基づいて指示体と表示領域22面(検出面)との距離を算出し指示体距離情報として出力する指示体距離算出部15と、を備える。なお、指示体とは、ユーザの指やスタイラスなどの、ユーザが検出面上の任意の位置を指示するために用いるものである。以下では説明の具体化のため、指示体として指を例示して説明する。また、指示体距離算出部15に、左側画像処理部12Lの処理結果と右側画像処理部12Rの処理結果とが入力されるように図示しているが、少なくとも一方の処理結果が入力される構成であればよい。
【0030】
左側撮像部11Lは、矩形の表示領域22の左上に配置される。右側撮像部11Rは、表示領域22の右上に配置される。即ち、左側撮像部11L及び右側撮像部11Rは、表示領域22の上辺の両端に配置される。また、左側撮像部11Lの撮像により生成される左側画像及び右側撮像部11Rの撮像により生成される右側画像は、それぞれ画角が90°以上であり表示領域22面上の全体が画角内に収まるものであると、好ましい。さらに、左側撮像部11L及び右側撮像部11Rは、例えば単板式ベイヤ配列のイメージセンサや、三板式のイメージセンサなどの、可視光を検出する受光素子を備えカラー画像を生成可能な撮像素子を備えるものであると、好ましい。
【0031】
<指示体の検出面上の位置の検出方法例>
次に、指示体検出装置10による、指示体の表示領域22面上(検出面上)の位置の検出方法の一例について、図3及び図4を参照して説明する。図3及び図4は、指示体の検出面上の位置の検出方法の一例について説明する図である。また、図3は左側撮像部11Lを示す図であり、図4は右側撮像部11Rを示す図である。
【0032】
図3(a)は、左側撮像部11Lの撮像により生成される左側画像の画角を示す平面図であり、タッチパネルの平面について示した図1(a)に相当するものである。また、図3(b)は、左側画像の一例を示す模式図であり、図3(a)に示す左側撮像部11Lの撮像素子に映る画像を示している。同様に、図4(a)は、右側撮像部11Rの撮像により生成される右側画像の画角を示す平面図であり、タッチパネルの平面について示した図1(a)に相当するものである。また、図4(b)は、右側画像の一例を示す模式図であり、図4(a)に示す右側撮像部11Rの撮像素子に映る画像を示している。なお、図3(b)及び図4(b)では、左側撮像部11L及び右側撮像部11Rのそれぞれの光軸が、表示領域22面と略同一の平面内に存在する場合に撮像される左側画像及び右側画像を例示している。
【0033】
図3(a)及び図3(b)に示すように、左側撮像部11Lは、自身を中心として表示領域22の上辺から左辺までを含む左側画像を生成する。ここで、左側撮像部11Lが配置される表示領域22の左上を中心とした角度を考え、上辺を0°、左辺を90°と定義すると、画角内の指示体Dが存在する方向は、時計回り(右回り)の角度αで表現される。なお、本例の左側画像には、非表示領域21及び表示領域22の右下角RBが映り込んでいる。また、上述のように左側撮像部11Lの一部が非表示領域21内に埋め込まれる場合、左側画像中に非表示領域21の断面や側面(図3(b)中、表示領域22の下側部分)などが映り込み得る。
【0034】
右側撮像部11Rについても同様である。図4(a)及び図4(b)に示すように、右側撮像部11Rは、自身を中心として表示領域22の上辺から右辺までを含む右側画像を生成する。ここで、右側撮像部11Rが配置される表示領域22の右上を中心とした角度を考え、上辺を0°、右辺を90°と定義すると、画角内の指示体Dが存在する方向は、反時計回り(左回り)の角度βで表現される。なお、本例の右側画像には、非表示領域21及び表示領域22の左下角LBが映り込んでいる。また、上述のように右側撮像部11Rの一部が非表示領域21内に埋め込まれる場合、右側画像中に非表示領域21の断面や側面(図4(b)中、表示領域22の下側部分)などが映り込み得る。
【0035】
上記の角度α及び角度βは、図3(b)及び図4(b)に示すように、左側画像中及び右側画像中における指示体Dの左右方向の位置から算出することができる。ただし、実際に角度α及び角度βを算出するためには、左側画像及び右側画像のそれぞれの中から指示体Dを認識する必要がある。本例では、左側画像処理部12Lが、左側画像中の指示体Dを認識することで角度αを算出し、右側画像処理部12Rが、右側画像中の指示体Dを認識することで角度βを算出する。なお、左側画像処理部12L及び右側画像処理部12Rによる左側画像中及び右側画像中の指示体Dの認識方法の詳細については、後述する。
【0036】
指示体位置算出部14は、例えば、左側画像処理部12L及び右側画像処理部12Rが算出した角度α及び角度βと、既知である表示領域22上辺の長さkと、を用いた三角測量により、指示体Dの表示領域22面上の位置を算出する。具体的には、表示領域22上の任意の位置を座標(x,y)で表現し、左上を(0,0)、右方ほどx座標の値が大きく下方ほどy座標の値が大きくなるように定義する場合、以下の連立方程式を解くことで指示体Dの表示領域22面上の座標(x1,y1)を求めることができる。
【0037】
1×tanα=y1
(k−x1)×tanβ=y1
【0038】
表示装置20は、指示体位置算出部14から出力される指示体位置情報(即ち、ユーザによるタッチパネル1の操作内容)に基づいて、例えば表示領域22に表示する画像を切り替えるなどの各種制御動作を行う。
【0039】
<指示体と検出面との距離の検出方法例>
次に、指示体検出装置10による、指示体と表示領域22面(検出面)との距離の検出方法の一例について、図5を参照して説明する。図5は、指示体と検出面との距離の検出方法の一例について説明する図である。図5(a)は、タッチパネルの左側面を示す側面図であり、図1(b)に相当するものである。また、図5(b)は、左側画像の一例を示す模式図であり、図5(a)に示す左側撮像部11Lの撮像により生成されるものであり、図3(b)に相当するものである。なお、説明の簡略化のため、ここでは左側画像のみに基づいて距離を検出する場合について、具体的に説明する。
【0040】
図5(a)及び図5(b)に示す例では、指示体Dの先端と表示領域22面との距離(図中の両矢印)を検出する。このとき、上述した指示体Dの検出面上の位置の検出方法例と同様に、左側画像処理部12Lが、左側画像中の指示体Dを認識する(認識方法の詳細については後述)。そして、指示体距離算出部15が、左側画像処理部12Lで認識された左側画像中における指示体Dの上下方向の位置に基づいて、指示体Dの先端から左側画像中の所定の位置に存在する表示領域22面までの画像中における長さを求めることで、指示体Dと表示領域22面との距離を算出する。
【0041】
表示装置20は、指示体距離算出部15から出力される指示体距離情報を取得することで、例えば、ユーザが表示領域22面に接触するタイミングを察知(推測)して、ユーザの操作に対する反応を迅速化する。また例えば、指示体と表示領域22面との距離に応じて、表示領域22に表示する画像を変形する(具体的には、指示体が表示領域22面との距離が小さくなるほど、表示しているボタンの画像を大きくしたり、間隔を広くしたりする)ことで、操作性や利便性を向上する。
【0042】
なお、左側画像に基づいて指示体Dと表示領域22面との距離を検出する方法を例示したが、右側画像に基づいても構わないし、両方に基づいても構わない。なお、左側画像及び右側画像の両方に基づいて距離を検出する場合、それぞれから得られる距離を総合的に判断しても(例えば、平均値を求めても)構わない。また、いずれか一方の画像(例えば、指示体Dが精度良く認識できた画像)から、指示体Dと表示領域22面との距離を検出しても構わない。
【0043】
また、指示体距離算出部15が指示体Dと表示領域22面との距離を算出する際に、指示体位置情報を使用しても構わない。例えば、左側画像または右側画像から求められる指示体Dと表示領域22面との画像中における長さを、距離として算出する際に、指示体位置情報を用いても構わない。また例えば、左側画像中または右側画像中で、指示体Dの直下となる表示領域22面の位置を精度良く求めるために、指示体位置情報を用いても構わない。
【0044】
<動作例>
次に、指示体検出装置10の動作の一例について、図面を参照して説明する。図6は、指示体検出装置の動作の一例について説明する図である。なお、本例では、左側撮像部11L及び右側撮像部11R、左側画像処理部12L及び右側画像処理部12R、左側背景画像記憶部13L及び右側背景画像記憶部13Rが、それぞれ同様の動作を行う。そのため、以下では説明の簡略化のために、左側撮像部11L、左側画像処理部12L及び左側背景画像記憶部13Lのそれぞれの動作を代表させて説明し、右側撮像部11R、右側画像処理部12R及び右側背景画像記憶部13Rのそれぞれの動作については同様のものとして、その説明を省略する。
【0045】
図6に示すように、指示体検出装置10が動作を開始すると、最初に、左側撮像部11Lの撮像により生成された左側画像を左側画像処理部12Lが取得する(STEP1)。なお、左側画像処理部12Lは、左側撮像部11Lから取得する左側画像の信号値の種類を必要に応じて変換しても構わない。そして、左側画像処理部12Lが処理する左側画像は、例えば、一つの画素がR(赤)G(緑)B(青)の各色の信号値を備えたものであっても構わないし、Y(輝度)U,V(色差)の各種類の信号値を備えたものであっても構わないし、H(色相)S(彩度)B(輝度)の各種類の信号値を備えたものであっても構わない。
【0046】
左側画像処理部12Lは、取得した左側画像が1フレーム目(即ち、動作の開始後最初に取得した左側画像)であるか否か、または、取得した左側画像中の表示領域22が以前に取得した(例えば、前フレームの)左側画像中の表示領域22からずれたか否かを判定する(STEP2)。
【0047】
左側画像処理部12Lは、取得した左側画像が1フレーム目であると判定する場合、または、取得した左側画像中の表示領域22がずれたと判定する場合(STEP2、YES)、左側画像中から表示領域22を検出する(STEP3)。このとき、例えば所定の目印などを検出することで表示領域22の位置を確認しても構わないし、表示領域22で表示される画像(光)などに基づいて表示領域22の位置を確認しても構わない。
【0048】
左側画像処理部12Lは、検出された表示領域22に基づいて、左側画像中で処理を行う範囲(以下、処理範囲とする)を設定する(STEP4)。処理範囲について図7を参照して説明する。図7は、処理範囲の設定方法の一例について説明する左側画像の模式図であり、図3(b)に相当するものである。図7は、左側画像中で表示領域22面上となる範囲が、処理範囲Aとして設定される例を示したものである。
【0049】
左側画像処理部12Lは、処理範囲Aを設定する(STEP4)、または、取得した左側画像が1フレーム目ではなく表示領域22がずれていないと判定する(STEP2、NO)と、次に撮像環境(例えば、画角内全体の光の強度)が変動したか否かを判定する(STEP5)。このSTEP5の動作の詳細について、図8を参照して説明する。図8は、撮像環境の変動の有無を判定する動作の一例を示すフローチャートである。
【0050】
図8に示すように、左側画像処理部12Lは、最初に左側差分画像を算出する(STEP51)。例えば左側画像処理部12Lは、左側背景画像記憶部13Lに記憶している左側背景画像と、直近のSTEP1で取得した左側画像と、の対応する位置の画素ごとに信号値の差分値を求め、当該差分値を各画素の信号値とする左側差分画像を算出する。なお、左側背景画像及び左側画像の各画素が複数種類の信号値を備える場合、信号値の種類ごとに差分値を算出すると好ましい。また、左側背景画像及び左側画像に含まれる全ての画素について差分値を算出しても構わないが、算出する画素を処理範囲A内に限ると、演算量を低減することができるため好ましい。
【0051】
ところで、左側背景画像は、例えば図6に示す動作の開始前に、予め左側背景画像記憶部13Lに記憶されることとしても構わない。例えば、左側画像処理部12Lが、連続して取得される複数フレームの画像を所定時間監視して、信号値の変動(差分値)が小さくなったフレームを左側背景画像として左側背景画像記憶部13Lに記憶しても構わない。また例えば、1フレーム目の左側画像を左側背景画像として記憶しても構わない。なお、左側背景画像記憶部13Lに記憶される左側背景画像を、処理範囲A内の画像に限ると、記憶量を低減することができるため、好ましい。
【0052】
次に、STEP51で算出された左側差分画像について、処理範囲A内の画素の中で差分値が閾値以上となる画素が、所定数以上(所定の大きさ以上)存在するか否かを判定する(STEP52)。即ち、撮像環境の空間方向における変動の有無を判定する。
【0053】
このとき、左側差分画像の各画素が複数種類の信号値の差分値を備える場合、信号値の種類ごとにそれぞれの閾値と比較しても構わないし、複数種類の信号値の差分値を合算した総合的な差分値と閾値とを比較しても構わない。また、この「閾値」は、撮像環境が変動したとみなせる程度に大きい値とする。また、この「所定数」は、処理範囲A全体が変動した(即ち、指示体Dが画角内に進入することによる画像の局所的な変動ではなく、撮像環境が変動した)とみなせる程度の数とする。
【0054】
差分値が閾値以上となる画素が所定数より少ない場合(STEP52、NO)、撮像環境は変動していないものと判定する(STEP5、NO)。一方、差分値が閾値以上となる画素が所定数以上となる場合(STEP52、YES)、次に、STEP52の条件を満たす(STEP52がYESとなる)フレームが、継続して所定数以上となったか否かを判定する(STEP53)。即ち、撮像環境の時間方向における変動の有無を判定する。なお、この「所定数」は、撮像環境の変動が継続的なものであり、一過性のものではないとみなせる程度の数とする。
【0055】
STEP52の条件を満たすフレームが所定数より少ない場合、撮像環境は変動していないものと判定する(STEP5、NO)。一方、STEP52の条件を満たすフレームが所定数以上となる場合、撮像環境が変動したと判定する(STEP5、YES)。左側画像処理部12Lは、撮像環境が変動したと判定すると、左側背景画像記憶部13Lに記憶している左側背景画像を更新する(STEP6)。例えば、直近のSTEP1で取得した左側画像を、背景画像として記憶し直す。
【0056】
左側背景画像記憶部13Lが左側背景画像を更新する(STEP6)、または、左側画像処理部12Lが撮像環境が変動していないと判定すると(STEP5、NO)、左側画像処理部12Lは、左側背景画像記憶部13Lに記憶されている左側背景画像と、直近のSTEP1で取得した左側画像と、から左側差分画像を算出する(STEP7)。なお、左側差分画像の算出方法は、STEP51において述べた方法と同様であっても構わない。また、STEP5で撮像環境が変動していないと判定される場合、STEP51で算出した左側差分画像を以降の動作に適用することとして、STEP7を省略しても構わない。
【0057】
そして、左側画像処理部12Lは、生成された左側差分画像の各画素から、指示体Dを表示する画素(以下、指示体表示画素とする)と、背景を表示する画素(以下、背景表示画素とする)とを特定する(STEP8)。例えば、STEP52と同様の方法により、差分値がある閾値以上となる画素を指示体表示画素とし、差分値が閾値よりも小さくなる画素を背景表示画素とする。なお、この「閾値」は、指示体Dであると精度良く判定できる程度に大きい値とする。また、左側画像処理部12Lは、左側背景画像の指示体表示画素と背景表示画素とを異なる信号値で表現した画像(いわゆる、二値化画像)を生成しても構わない。
【0058】
さらに、左側画像処理部12Lは、左側差分画像(二値化画像を含む)中の指示体表示画素が、検出範囲内で所定数以上存在するか否かを判定する(STEP9)。なお、検出範囲は、少なくとも処理範囲A内の範囲であり、指示体Dが進入し得る表示領域22面上の範囲とすると好ましい。また、この「所定数」は、指示体Dであると精度良く判定できる程度の数であり、例えばノイズなどに起因する画素単位の変動を排除可能な数とする。
【0059】
左側画像処理部12Lは、左側差分画像(または二値化画像)中の指示体表示画素が、検出範囲内で所定数以上存在すると判定する場合(STEP9、YES)に、左側撮像部11Lに対して指示体Dが存在する方向を特定する(STEP10)。例えば、上述の方法によって角度αを算出する(図3参照)。
【0060】
指示体位置算出部14は、例えば上述の方法により、STEP10で得られた角度α及び角度βに基づいて、表示領域22面上の指示体Dの位置を算出する(STEP11)。そして、指示体位置算出部14は、算出した指示体Dの位置を指示体位置情報として、表示装置20に出力する。
【0061】
また、指示体距離算出部15も同様であり、上述の方法により指示体Dと表示領域22面との距離を算出する(STEP12)。そして、指示体距離算出部15は、算出した指示体Dと表示領域22面との距離を指示体距離情報として、表示装置20に出力する。なお、このSTEP12を、STEP10及びSTEP11よりも前に行っても構わないし、並行して行っても構わない。
【0062】
指示体距離算出部15が指示体Dと表示領域22面との距離を算出する(STEP12)、または、左側画像処理部12Lが指示体表示画素が所定数より少ないと判定した後(STEP9、NO)、指示体検出装置10の動作を終了する場合は(STEP13、YES)、動作を終了する。一方、終了せずに動作を継続する場合は(STEP13、NO)、STEP1に戻る。
【0063】
ところで、上述のSTEP1〜STEP10の各説明中における「左」、「L」及び「α」を、「右」、「R」及び「β」に適宜読み替えることで、右側撮像部11R、右側画像処理部12R及び右側背景画像記憶部13Rのそれぞれの具体的な動作を把握することができる。
【0064】
以上のように構成すると、左側画像及び右側画像の少なくとも一方から指示体Dを認識することで、指示体Dと表示領域22面との距離を検出することが可能となる。特に、認識した指示体Dをモデルなどと比較することを要せずに、簡易的かつ迅速に指示体Dと表示領域22面との距離を検出することが可能となる。
【0065】
さらに、左側画像及び右側画像のいずれか1つの画像から、指示体Dと表示領域22面との距離を検出することが可能となる。即ち、距離の検出に要する演算量を少なくすることが可能となる。
【0066】
また、指示体位置検出部14及び指示体距離検出部15が、ともに左側画像及び右側画像から認識される指示体Dの画像中の位置に基づいて、表示領域22面上の指示体Dの位置及び指示体Dと表示領域22面との距離を検出する。そのため、検出処理を共通化することが可能となる。したがって、指示体検出装置10の処理を簡易化及び迅速化することが可能となる。
【0067】
また、左側画像及び右側画像が可視光を撮像することで生成されるため、精度良く指示体Dと表示領域22面との距離を検出することが可能となる。特に、屋外に配置されるタッチパネル1では、検出面である表示領域22面上に指示体Dが進入することで種々の外乱が発生するため、検出精度が劣化する。しかしながら、上述のように可視光を撮像することで生成される左側画像及び右側画像の少なくとも一方を利用することで、精度良く外乱と指示体Dとを区別することが可能となる。
【0068】
また、左側画像及び右側画像を、一つの画素に複数種類の信号値を備えるものとすることで、複数の指標に基づいて左側画像中及び右側画像中から指示体Dを認識することとなる。そのため、上述の従来技術のような、一つの画素が単一の信号値(赤外線の強度を示す信号値)のみを備える画像中の指示体Dを認識するよりも、外乱の影響を受けにくくすることが可能となる。したがって、左側画像中及び右側画像中から精度良く指示体Dを認識することが可能となる。
【0069】
また、左側画像中及び右側画像中の少なくとも一方から認識された指示体Dの画像中の位置に基づいて、指示体Dと表示領域22面との距離を検出することにより、簡易な処理によって指示体Dと表示領域22面との距離を検出することが可能となる。特に、左側画像中及び右側画像中の指示体Dの大きさや形状の解析を要することなく、指示体Dと表示領域22面との距離を検出することが可能となる。
【0070】
また、左側撮像部11L及び右側撮像部11Rの少なくとも一方の光軸が、表示領域22面と略同一の平面内に存在するように構成すると、生成される左側画像中または右側画像中において、表示領域22面の所定方向(光軸と略平行な方向)の長さを短くすることが可能となるため、好ましい。このように構成すると、左側画像中または右側画像中における指示体Dの直下となる表示領域22面の位置が、指示体Dの移動(光軸と略平行な方向の移動)によって変動することを抑制することが可能となる。そのため、左側画像中または右側画像中における指示体Dと表示領域22面との長さを、容易に算出することが可能となる。
【0071】
また、検出面である矩形の表示領域22の一つの端辺の両端に、左側撮像部11L及び右側撮像部11Rを備えることで、表示領域22に近い位置からの撮像により、表示領域22面上の全体を効果的に画角内に収めた左側画像及び右側画像を生成することが可能となる。そのため、外乱の影響を受けにくくかつ死角の少ない左側画像及び右側画像を生成することが可能となる。
【0072】
また、STEP5で左側画像処理部12L(または右側画像処理部12R)が、撮像環境に変動が生じたと判定する場合、左側背景画像記憶部13L(または右側背景画像記憶部13R)が記録している左側背景画像(または右側背景画像)を更新する。そのため、撮像環境の変動に対応して、背景画像を更新することが可能となる。したがって、外乱の影響を抑制して、精度良く左側画像中及び右側画像中の指示体Dを認識することが可能となる。
【0073】
なお、図3及び図4に示す角度α及び角度βの定義や、左側撮像部11L及び右側撮像部11Rによる画像の撮像方法(例えば、使用するレンズなど)は一例に過ぎず、表示領域22面上の指示体Dの位置が検出可能である限り、他のどのような定義及び撮像方法を適用しても構わない。例えば、非表示領域21の上辺を基準として角度α及び角度βを定義しても構わないし、表示領域22の端辺が湾曲する画像が撮像される撮像方法を適用しても構わない。
【0074】
また、左側撮像部11L及び右側撮像部11Rの2つの撮像部を備える構成について例示したが、3つ以上の撮像部を備える構成としても構わない。画像処理部や背景画像記憶部についても同様である。
【0075】
また、左側画像処理部12L及び右側画像処理部12R、左側背景画像記憶部13L及び右側背景画像記憶部13Rを、図2に示すブロック図上で別体として表示したが、ハードウェア上では一体としても構わない。
【0076】
また、左側画像処理部12Lが左側画像と左側背景画像とから左側差分画像を算出し、右側画像処理部12Rが右側画像と右側背景画像とから右側差分画像を算出することで、左側画像及び右側画像のそれぞれから指示体Dを認識する方法について例示したが、指示体Dの認識方法はこの限りではない。例えば、連続的な撮像により生成される少なくとも2つの左側画像を比較(例えば、上述のような差分画像を算出)し、同様に少なくとも2つの右側画像を比較することで、指示体Dを認識しても構わない。
【0077】
また、図6において、左側画像及び右側画像の少なくとも一方に対してSTEP4の処理範囲Aの設定を行った場合や、左側背景画像及び右側背景画像の少なくとも一方に対してSTEP6の更新を行った場合、STEP1に戻り左側撮像部11Lが新たに撮像した左側画像を左側画像処理部12Lが取得し直し、右側撮像部11Rが新たに撮像した右側画像を右側画像処理部12Rが取得し直しても構わない。また、左側画像処理部12L及び右側画像処理部12Rの一方が、STEP4の処理範囲Aの設定や、STEP6の左側背景画像または右側背景画像の更新を行う場合、他方も同様の動作を行うこととしても構わない。
【0078】
また、図6のSTEP9で、指示体位置算出部14と指示体距離算出部15の検出範囲を共通のものとしたが、異なるものとしても構わない。例えば、指示体位置算出部14が、表示領域22面上のごく近い領域を検出範囲としても構わない。また例えば、指示体距離算出部15が、表示領域22面上のごく近い領域からある程度離れた領域までを検出範囲としても構わない。
【0079】
また、タッチパネルを、図9及び図10に示すような構成としても構わない。図9は、本発明の実施の一形態であるタッチパネルの構成の別例を示す平面図及び側面図である。なお、図9(a)は、タッチパネルの画像が表示される面を示す平面図であり、図1(a)に相当するものである。一方、図9(b)は、図9(a)に示す面を右側としたタッチパネルの左側面を示す側面図であり、図1(b)に相当するものである。また、図10は、左側撮像部または右側撮像部により生成される画像の一例を示す模式図であり、図3(b)または図4(b)に相当するものである。
【0080】
図9(a)に示すように、本実施例のタッチパネル1aは、非表示領域21上に配置される枠体Fを備える。枠体Fは、指示体検出装置10の検出面である表示領域22の周囲に配置される。図9(a)では、枠体Fが表示領域22の左辺、右辺及び下辺に配置される例を示しているが、表示領域22の周囲の少なくとも一部に配置される構成であれば、どのように配置しても構わない。例えば、表示領域22の全周を囲うように枠体Fを配置しても構わない。
【0081】
枠体Fは、どのような色としても構わない。ただし、光の反射が少ない色(例えば、黒色または灰色)や、指示体Dと反対の色(即ち補色であり、例えば、左側画像及び右側画像において枠体F及び指示体Dのそれぞれを表示する画素のRGB、YUV、HSBなどの信号値の差分値が大きくなる色)とすると、好ましい。
【0082】
このように構成すると、枠体Fによって表示領域22面上の撮像環境の変動が抑制される。そのため、左側画像中及び右側画像中の指示体Dを、精度よく認識することが可能となる。
【0083】
また、枠体Fの色を光の反射が少ない色(例えば、黒色または灰色)にすることで、撮像環境の変動をさらに抑制することが可能となる。
【0084】
一方、枠体Fの色を指示体Dの補色にすることで、可視光の撮像により生成される左側画像中及び右側画像中の枠体F(即ち、背景)と指示体Dとをより明確に区別する(例えば、差分画像中の指示体表示画素の信号値(差分値)をより大きくする)ことが可能となる。そのため、左側画像中及び右側画像中の指示体Dを、さらに精度よく認識することが可能となる。
【0085】
ところで、図9及び図10に示す構成とする場合、図6のSTEP2及びSTEP3の「表示領域」を「枠体」と読み替えても構わない。さらにSTEP4で、左側画像中及び右側画像中で枠体Fを表示する範囲を、処理範囲として設定しても構わない。また、STEP5(撮像環境の変動の有無の判定)及びSTEP6(左側背景画像及び右側背景画像の更新)を行わないこととしても構わない。
【0086】
<変形例>
本発明の実施の形態における指示体検出装置10について、一部または全部の動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【0087】
また、上述した場合に限らず、図1や図9に示すタッチパネル1,1aや、図2に示す指示体検出装置10は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いてタッチパネル1,1aや指示体検出装置10の一部を構成する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。
【0088】
以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【0089】
本発明は、検出面上の指示体を検出する指示体検出装置や、当該指示体検出装置を備えたタッチパネルに利用可能である。
【符号の説明】
【0090】
1,1a タッチパネル
10 指示体検出装置
11L 左側撮像部
11R 右側撮像部
12L 左側画像処理部
12R 右側画像処理部
13L 左側背景画像記憶部
13R 右側背景画像記憶部
14 指示体位置算出部
15 指示体距離算出部
20 表示装置
21 非表示領域
22 表示領域
D 指示体
F 枠体

【特許請求の範囲】
【請求項1】
検出面上の指示体を検出する指示体検出装置であって、
前記検出面上を当該検出面と略平行に撮像して画像を生成する少なくとも1つの撮像部と、
前記撮像部の撮像により生成される画像中の前記指示体の位置に基づいて、前記指示体と前記検出面との距離を検出する距離検出部と、
を備えることを特徴とする指示体検出装置。
【請求項2】
異なる場所から前記検出面を撮像する2つ以上の前記撮像部により生成される画像中の前記指示体の位置に基づいて、前記検出面上の前記指示体の位置を検出する位置検出部を、
さらに備えることを特徴とする請求項1に記載の指示体検出装置。
【請求項3】
前記距離検出部が、いずれか1つの前記撮像部により生成される画像中の前記指示体の位置に基づいて、前記指示体と前記検出面との距離を検出することを特徴とする請求項1または請求項2に記載の指示体検出装置。
【請求項4】
前記撮像部が、可視光を撮像することで一つの画素に複数の信号値を備えた画像を生成することを特徴とする請求項1〜請求項3のいずれかに記載の指示体検出装置。
【請求項5】
前記撮像部の光軸が、前記検出面と略同一の平面内に存在することを特徴とする請求項1〜請求項4のいずれかに記載の指示体検出装置。
【請求項6】
表示領域に画像を表示する表示装置と、
前記表示領域を検出面とする請求項1〜請求項5のいずれかに記載の指示体検出装置と、
を備えることを特徴とするタッチパネル。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2011−175543(P2011−175543A)
【公開日】平成23年9月8日(2011.9.8)
【国際特許分類】
【出願番号】特願2010−40290(P2010−40290)
【出願日】平成22年2月25日(2010.2.25)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】