表示装置、表示方法、および表示プログラム
【課題】ユーザにとってタッチパネルに表示されているボタンが押下し易い表示装置を提供する。
【解決手段】表示装置100は、タッチパネル140と、タッチパネル140に対する接触位置を検知する検知手段111と、検知手段111がタッチパネル140の第1のエリアに対する第1の接触位置を検知したときに、ボタンをタッチパネル140の第2のエリアに表示させる表示制御手段114と、検知手段111がタッチパネル140を介してボタンに対する第2の接触位置を検知するとボタンの押下を受け付ける受付手段112とを備える。
【解決手段】表示装置100は、タッチパネル140と、タッチパネル140に対する接触位置を検知する検知手段111と、検知手段111がタッチパネル140の第1のエリアに対する第1の接触位置を検知したときに、ボタンをタッチパネル140の第2のエリアに表示させる表示制御手段114と、検知手段111がタッチパネル140を介してボタンに対する第2の接触位置を検知するとボタンの押下を受け付ける受付手段112とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、タッチパネルを介してボタンを表示するとともに、当該タッチパネルを介して当該ボタンに対する命令を受け付けるための表示装置、表示方法、および表示プログラムに関する。
【背景技術】
【0002】
従来から、当該タッチパネルを介して画像やテキストを表示することができる表示装置が知られている。このような表示装置の中には、タッチパネルを用いてボタンを表す画像を表示するとともに、タッチパネルのうちのボタンを示すエリアへの接触を検知することによって当該ボタンに対応する命令を受け付けるものがある。
【0003】
たとえば、特開2006−139615号公報(特許文献1)には、表示装置、メニュー表示プログラムおよびタブ表示プログラムが開示されている。特開2006−139615号公報(特許文献1)によると、表示画面に重なる入力領域を有するタッチ入力部を備えた表示装置において、第1のタッチのタッチ位置を中心としてほぼ環状に配置された複数のメニュー項目を含む円形メニューを表示画面上に表示する。第2のタッチに応じて、第1のタッチに対する第2のタッチの相対位置関係に応じて、どのメニュー項目が選択されたかを決定する。その際、円形メニューの表示完了前であっても第2のタッチを受け付ける。タブブラウザ画面内に1つのタブウィンドウとしてTV画面を表示する際、TV画面がフロントとなっている場合となっていない場合とで、TV画面のタブウィンドウのタブのサイズおよび表示内容を変える。
【0004】
また、特開2008−27183号公報(特許文献2)には、情報処理装置が開示されている。特開2008−27183号公報(特許文献2)によると、情報処理装置は、片手で保持可能な大きさの、主表面を有する概略長方体形状を有する扁平な筐体を含み、筐体は、主表面をはさんで配置された第1及び第2の側面を有する。情報処理装置はさらに、主表面に設けられた表示面を有する表示装置と、第1及び第2の側面に設けられ、第1及び第2の側面と人の手との接触領域の分布を検知するためのシート状の感圧センサと、感圧センサの出力に基づいて、表示装置により表示面上に表示される内容を制御するための制御部とを含む。
【0005】
また、特開2005−269243号公報(特許文献3)には、電子機器及びアイコン表示制御方法が開示されている。特開2005−269243号公報(特許文献3)によると、メニュー選択画面には、アイコン、カーソル、インデックス、インジケータ、選択キーが表示されている。インジケータは、複数に分割された扇形部分による指標要素のそれぞれが全体のアイコン配列における各アイコンの位置に対応している。カーソルで指示されたアイコンに対応する扇形部分は、他の扇形部分とは識別可能に表示されている。操作者がシフトキーを押下する度に、アイコンおよびインデックスが回転移動し、カーソルにより指示されるアイコンが置き換わるのに伴い、そのアイコンに対応する扇形部分の色もしくは濃度が変化し、現在選択指示されているアイコンが明瞭に示される。
【0006】
また、特開平6−51908号公報(特許文献4)には、タッチパネル式入力装置を備えた情報処理装置が開示されている。特開平6−51908号公報(特許文献4)によると、指によるタッチ位置から所定方向に所定距離隔てた位置に、ポインタ(矢印)を表示する。指の位置を動かすことで、ポインタの位置を選択項目に合わせることにより、指で隠れない状態で、目で確認しながら、選択項目を指定することを可能にする。したがって、指定したい項目を正確に指示することができ、またポインタの指示点の大きさに応じて、選択項目の間隔を狭めることができるようになる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2006−139615号公報
【特許文献2】特開2008−27183号公報
【特許文献3】特開2005−269243号公報
【特許文献4】特開平6−51908号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、タッチパネルの大きさ、あるいはボタンが表示されるエリアの大きさによっては、ユーザの指がタッチパネルに表示されているボタンを押下し難い場合がある。たとえば、ボタンが広いエリア渡って表示されている場合、小さい手を有するユーザの指が全てのボタンに届かない虞がある。
【0009】
本発明は、このような問題を解決するためになされたものであり、その目的は、ユーザにとってタッチパネルに表示されているボタンが押下し易い表示装置、表示方法、および表示プログラムを提供することである。
【課題を解決するための手段】
【0010】
この発明のある局面に従うと、表示装置が提供される。表示装置は、タッチパネルと、 タッチパネルに対する接触位置を検知する検知手段と、検知手段がタッチパネルの第1のエリアに対する第1の接触位置を検知したときに、ボタンをタッチパネルの第2のエリアに表示させる表示制御手段と、検知手段がタッチパネルを介してボタンに対する第2の接触位置を検知するとボタンの押下を受け付ける受付手段とを備える。
【0011】
好ましくは、検知手段は、タッチパネルに対する複数の接触位置を検知する。受付手段は、検知手段が第1の接触位置を検知しているときに第2の接触位置を検知するとボタンの押下を受け付ける。
【0012】
好ましくは、第1のエリアは、タッチパネルの右部および左部のいずれか一方に位置する。第2のエリアは、タッチパネルの右部および左部の他方に位置する。
【0013】
好ましくは、表示制御手段は、検知手段がタッチパネルの第3のエリアに対する第1の接触位置を検知したときに、ボタンを第4のエリアに表示させる。
【0014】
好ましくは、第3のエリアは、タッチパネルの右部および左部の他方に位置する。第4のエリアは、タッチパネルの右部および左部のいずれか一方に位置する。
【0015】
好ましくは、表示制御手段は、検知手段が接触位置を検知しないときに、ボタンをタッチパネルの第5のエリアに表示させる。
【0016】
好ましくは、検知手段は、タッチパネルを用いて第1の接触位置の移動方向を取得する。表示制御手段は、ボタンの表示位置を移動方向に移動する。
【0017】
好ましくは、タッチパネルは、入射光に応じて第1の電気信号を生成する複数の光センサ回路と、第2の電気信号に応じて光を発する複数の画素回路とを含む。検知手段は、複数の光センサ回路からの第1の電気信号に基づき、接触位置を示す画像データを取得する。表示制御手段は、第2の電気信号を複数の画素回路へ入力することによって、複数の画素回路にボタンを表示させる。
【0018】
好ましくは、検知手段は、画像データに基づいて、タッチパネル上方の物体の位置を検知する。表示制御手段は、物体の位置の下方のボタンをその他のボタンと異なる表示態様にて表示する。
【0019】
好ましくは、表示制御手段は、物体の位置の下方のボタンをその他のボタンよりも拡大して表示する。
【0020】
好ましくは、表示制御手段は、物体の位置の下方のボタン間の間隔を、他のボタン間の間隔よりも拡大して表示する。
【0021】
この発明の別の局面に従うと、タッチパネルと演算処理部とを備える表示装置における表示方法が提供される。表示方法は、演算処理部が、タッチパネルへの接触位置を検知するステップと、演算処理部が、タッチパネルの第1のエリアに対する第1の接触位置を検知したときに、ボタンをタッチパネルの第2のエリアに表示させるステップと、演算処理部が、タッチパネルを介してボタンに対する第2の接触位置を検知するとボタンの押下を受け付けるステップとを備える。
【0022】
この発明の別の局面に従うと、タッチパネルと演算処理部とを備える表示装置にボタンを表示させるための表示プログラムが提供される。表示プログラムは、演算処理部に、タッチパネルへの接触位置を検知するステップと、タッチパネルの第1のエリアに対する第1の接触位置を検知したときに、ボタンをタッチパネルの第2のエリアに表示させるステップと、タッチパネルを介してボタンに対する第2の接触位置を検知するとボタンの押下を受け付けるステップとを実行させる。
【発明の効果】
【0023】
以上のように、本発明によって、ユーザにとってタッチパネルに表示されているボタンが押下し易い表示装置、表示方法、および表示プログラムが提供される。
【図面の簡単な説明】
【0024】
【図1】実施の形態1に係る表示装置の第1の動作概要を示すイメージ図である。
【図2】実施の形態1に係る表示装置の第2の動作概要を示すイメージ図である。
【図3】本実施の形態に係る表示装置のハードウェア構成を表わすブロック図である。
【図4】タッチパネルの構成と当該タッチパネルの周辺回路とを示した図である。
【図5】タッチパネルとバックライトとの断面図である。
【図6】光センサ回路を動作させる際のタイミングチャートを示した図である。
【図7】スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した断面図である。
【図8】センシングコマンドの概略構成を示した図である。
【図9】センシングコマンドの各領域におけるデータの値と当該値が示す意味内容とを示した図である。
【図10】応答データの概略構成を示した図である。
【図11】指をスキャンすることにより得られた画像を示した図である。
【図12】光センサ内蔵液晶パネルの変形例を示す回路図である。
【図13】スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。
【図14】本実施の形態に係る表示装置の機能構成を示すブロック図である。
【図15】実施の形態1に係る表示装置における表示処理の処理手順を示す第1のフローチャートである。
【図16】実施の形態1に係る表示装置における表示処理の処理手順を示す第2のフローチャートである。
【図17】実施の形態2に係る表示装置の第3の動作概要を示すイメージ図である。
【図18】実施の形態2に係る表示装置における表示処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0025】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0026】
[実施の形態1]
<表示装置100の概略構成>
まず、図1を参照して、タッチパネルを有する表示装置の一例としての、本実施の形態に係る光センサ内蔵液晶パネル140(以下、タッチパネル140ともいう。)を有する表示装置100の概略構成について説明する。なお、表示装置100は、PDA(Personal Digital Assistant)、パーソナルコンピュータ、携帯型電話機、電子辞書などの情報機器によって実現される。
【0027】
図1は、本実施の形態に係る表示装置100の第1の動作概要を示すイメージ図である。より詳細には、図1(A)は、通常時において複数のボタン(以下、ボタン群140Aともいう。)がタッチパネル140の中央に表示されているときのタッチパネル140の画面を示すイメージ図である。図1(B)は、ユーザの右手の親指900Rがタッチパネル140の右部にタッチしたときのタッチパネル140の画面を示す。図1(C)は、ユーザの左手の親指900Lがボタン群140Aの上方に位置した(タッチしていない)ときのタッチパネル140の画面を示す。図1(D)は、ユーザの左手の親指900Lがボタンにタッチしたときのタッチパネル140の画面を示す。図1(E)は、ユーザの左手の親指900Lがタッチパネル140の左部にタッチしたときのタッチパネル140の画面を示す。図1(F)は、ユーザの右手の親指900Rがボタン群140Aの上方に位置した(タッチしていない)ときのタッチパネル140の画面を示す。図1(G)は、ユーザの右手の親指900Rがボタンにタッチしたときのタッチパネル140の画面を示す。
【0028】
図1を参照して、表示装置100は、タッチパネル140を含む。タッチパネル140は、ユーザの指やスタイラスペンなどをよるタッチ操作を受け付ける。表示装置100は、タッチパネル140を介して当該タッチ操作に対応する命令を実行する。本実施の形態に係るタッチパネル140は、外部の物体とタッチパネル140との接触位置(接触領域)を検知することができる。タッチパネル140は、本実施の形態に係る光センサ内臓液晶パネル140であってもよいし、多数の接触位置が検知できる静電容量方式や赤外線方式のタッチパネルであっても良い。
【0029】
<表示装置100の動作概要1>
次に、本実施の形態に係る表示装置100の第1の動作概要について説明する。まず、図1(A)を参照して、表示装置100は、ユーザの指がタッチパネル140に触れていない状態(以下、通常状態ともいう。)においては、ボタン群140Aをタッチパネル140の中央に表示する。
【0030】
通常状態においてユーザの右手の親指900Rがタッチパネル140の右部にタッチすると、図1(B)に示すように、表示装置100はボタン群140Aをタッチパネル140の左部に表示する。これによって、ユーザは、左手の親指900Lによってボタン群140Aに含まれるボタンを押下し易くなる。
【0031】
ユーザの左手の親指900Lがボタン群140Aの上方に位置すると、図1(C)に示すように、表示装置100は、ユーザの左手の親指900Lの先端の下方に位置するボタンを拡大して表示する。このとき、表示装置100は、ユーザの左手の親指900Lの下方に位置するボタン間の間隔を大きくする。これによって、ユーザがボタンを押し間違え難くなる。図1(D)に示すように、ユーザの左手の親指900Lがタッチパネル140上のボタンにタッチすると、表示装置100は、当該ボタンに対応する命令の入力を受け付ける。
【0032】
一方、通常状態においてユーザの左手の親指900Lがタッチパネル140の左部にタッチすると、図1(E)に示すように、表示装置100はボタン群140Aをタッチパネル140の右部に表示する。これによって、ユーザは、右手の親指900Rによってボタン群140Aに含まれるボタンを押下し易くなる。
【0033】
ユーザの右手の親指900Rがボタン群140Aの上方に位置すると、図1(F)に示すように、表示装置100は、ユーザの右手の親指900Rの下方に位置するボタンを拡大して表示する。このとき、表示装置100は、ユーザの右手の親指900Rの下方に位置するボタン間の間隔を大きくする。これによって、ユーザがボタンを押し間違え難くなる。図1(G)に示すように、ユーザの右手の親指900Rがタッチパネル140上のボタンにタッチすると、表示装置100は、当該ボタンに対応する命令の入力を受け付ける。
【0034】
このように、本実施の形態に係る表示装置100は、タッチパネル140のうち、ユーザが最初に一方の指(900R)でタッチしたサイドと逆のサイドにボタン群140Aを表示するため、ユーザが他方の指(900L)でボタン群140Aに含まれるボタンを押下し易くなる。また、通常状態において、ユーザが誤ってタッチパネル140にタッチしてしまっても、表示装置100は最初のタッチに対する命令を受け付けないため、表示装置100への命令の誤入力も防止することができる。たとえば、ユーザがカバンから表示装置100を取り出す際などに、ユーザが誤った命令を表示装置100に入力することを防止することができる。
【0035】
<表示装置100の動作概要2>
さらに、本実施の形態に係る表示装置100は、以下のような機能も有する。図2は、本実施の形態に係る表示装置100の第2の動作概要を示すイメージ図である。より詳細には、図2(A)は、図1(B)と同様に、ユーザの右手の親指900Rがタッチパネル140の右部にタッチしたときのタッチパネル140の画面を示す。図2(B)は、ユーザの右手の親指900Rが左下方向にスライドしたときのタッチパネル140の画面を示す。図2(C)は、ユーザの左手の親指900Lがボタン群140Aの上方に位置した(タッチしていない)ときのタッチパネル140の画面を示す。図2(D)は、ユーザの右手の親指900Rが左上方向にスライドしたときのタッチパネル140の画面を示す。図2(E)は、ユーザの右手の親指900Rがボタン群140Aの上方に位置した(タッチしていない)ときのタッチパネル140の画面を示す。
【0036】
まず、図2(A)に示す状態においては、すなわち図1(B)に示す状態においては、表示装置100がボタン群140Aをタッチパネル140の左部に表示している。この状態において、図2(B)に示すようにユーザが右手の親指900Rを左下にスライドさせると、表示装置100はボタン群140Aを全体的に縮小して、当該縮小したボタン群140Aをタッチパネル140の左下に表示する。これによって、手が小さい(指が短い)ユーザであっても、容易にボタン群140Aに含まれるボタンを押下することができるようになる。すなわち、図2(A)に示す状態よりも、ユーザの左手の親指900Lがボタン群140Aに含まれるボタンに届き易くなる。
【0037】
ユーザの左手の親指900Lがボタン群140Aの上方に位置すると、図2(C)に示すように、表示装置100は、ユーザの左手の親指900Lの下方に位置するボタンを拡大して表示する。このとき、表示装置100は、ユーザの左手の親指900Lの下方に位置するボタン間の間隔を大きくする。これによって、ユーザがボタンを押し間違え難くなる。図示しないが、図1(D)と同様に、ユーザの左手の親指900Lがタッチパネル140上のボタンにタッチすると、表示装置100は、当該ボタンに対応する命令の入力を受け付ける。
【0038】
一方、図2(A)に示す状態において、図2(D)に示すようにユーザが右手の親指900Rを左上にスライドさせると、表示装置100はボタン群140Aを全体的に縮小して、当該縮小したボタン群140Aをタッチパネル140の左上に表示する。これによって、手が小さい(指が短い)ユーザであっても、容易にボタン群140Aに含まれるボタンを押下することができるようになる。すなわち、図2(A)に示す状態よりも、ユーザの左手の親指900Lがボタン群140Aに含まれるボタンに届き易くなる。
【0039】
ユーザの左手の親指900Lがボタン群140Aの上方に位置すると、図2(E)に示すように、表示装置100は、ユーザの左手の親指900Lの下方に位置するボタンを拡大して表示する。このとき、表示装置100は、ユーザの左手の親指900Lの下方に位置するボタン間の間隔を大きくする。これによって、ユーザがボタンを押し間違え難くなる。図示しないが、図1(D)と同様に、ユーザの左手の親指900Lがタッチパネル140上のボタンにタッチすると、表示装置100は、当該ボタンに対応する命令の入力を受け付ける。
【0040】
なお、ユーザが右手の親指900Rを右上や右下などにスライドさせた場合の動作については、上記の動作に基づいて容易に想像できるものであるため、ここでは詳細な説明を繰り返さない。また、図1(E)に示す状態において、ユーザが左手の親指900Lをスライドさせた場合の動作についても、上記の動作に基づいて容易に想像できるものであるため、ここでは詳細な説明を繰り返さない。
【0041】
以下、このような機能を実現するための構成について詳述する。
<表示装置100のハードウェア構成>
次に、本実施の形態に係る表示装置100の具体的構成の一態様について説明する。図3は、本実施の形態に係る表示装置100のハードウェア構成を表わすブロック図である。図3を参照して、表示装置100は、主たる構成要素として、本体ユニット101と、表示ユニット102とを含む。
【0042】
本体ユニット101は、CPU(Central Processing Unit)110と、RAM(Random Access Memory)171と、ROM(Read-Only Memory)172と、メモリカードリーダライタ173と、通信部174と、マイク175と、スピーカ176と、操作キー177とを含む。各構成要素は、相互にデータバスDB1によって接続されている。メモリカードリーダライタ173には、メモリカード1731が装着される。
【0043】
CPU110は、プログラムを実行する。操作キー177は、表示装置100のユーザによる指示の入力を受ける。RAM171は、CPU110によるプログラムの実行により生成されたデータ、または操作キー177を介して入力されたデータを揮発的に格納する。ROM172は、データを不揮発的に格納する。また、ROM172は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどの書き込みおよび消去が可能なROMである。通信部174は、図示しない他の電子機器との間で無線通信を行なう。なお、図3には図示していないが、表示装置100が、他の電子機器に有線により接続するためのインターフェイス(IF)を含む構成としてもよい。
【0044】
表示ユニット102は、ドライバ130と、光センサ内蔵液晶パネル140(タッチパネル140)と、内部IF178と、バックライト179と、画像処理エンジン180とを含む。
【0045】
ドライバ130は、タッチパネル140およびバックライト179を駆動するための駆動回路である。ドライバ130に含まれる各種の駆動回路については、後述する。
【0046】
タッチパネル140は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、タッチパネル140は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行なうことができる。タッチパネル140の詳細については、後述する。
【0047】
内部IF(Interface)178は、本体ユニット101と表示ユニット102との間で、データの遣り取りを仲介する。
【0048】
バックライト179は、タッチパネル140の裏面に配置された光源である。バックライト179は、当該裏面に対して均一な光を照射する。
【0049】
画像処理エンジン180は、ドライバ130を介してタッチパネル140の動作を制御する。ここで、当該制御は、内部IF178を介して本体ユニット101から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン180は、タッチパネル140から出力されるデータを処理し、処理したデータを内部IF178を介して本体ユニット101に送る。さらに、画像処理エンジン180は、ドライバ制御部181と、タイマ182と、信号処理部183とを含む。
【0050】
ドライバ制御部181は、ドライバ130に対して制御信号を送ることによりドライバ130の動作を制御する。また、ドライバ制御部181は、本体ユニット101から送られてくるコマンドを解析する。そして、ドライバ制御部181は、当該解析の結果に基づいた制御信号をドライバ130に送る。ドライバ130の動作の詳細については、後述する。
【0051】
タイマ182は、時刻情報を生成し、信号処理部183に対して時刻情報を送る。
信号処理部183は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部183は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部183は、当該デジタルデータに対して、本体ユニット101から送られてくるコマンドの内容に応じたデータ処理を行なう。そして、信号処理部183は、上記データ処理を行った後のデータと、タイマ182から取得した時刻情報とを含んだデータ(以下、応答データと称する)を本体ユニット101に送る。また、信号処理部183は、後述するスキャンデータを連続して複数格納できるRAM(図示せず)を備えている。
【0052】
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する(図8〜図10)。
【0053】
なお、タイマ182は、必ずしも画像処理エンジン180に備えられている必要はない。たとえば、タイマ182は、表示ユニット102内における、画像処理エンジン180の外部に備えられていてもよい。あるいは、タイマ182は、本体ユニット101に備えられていてもよい。また、マイク175およびスピーカ176は、表示装置100が常に含む構成ではなく、表示装置100の実施例によっては、マイク175およびスピーカ176のいずれかあるいは両方を有さない構成であってもよい。
【0054】
ここで、表示ユニット102は、システム液晶を含んでいる。なお、システム液晶とは、タッチパネル140の周辺機器を当該タッチパネル140のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、タッチパネル140のガラス基板上に一体形成されている。なお、表示ユニット102が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、上記ガラス基板以外の基板に構成されていてもよい。
【0055】
ところで、表示装置100における処理は、各ハードウェアおよびCPU110により実行されるソフトウェアによって実現される。このようなソフトウェアは、ROM172に予め記憶されている場合がある。また、ソフトウェアは、メモリカード1731その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ173その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部174または通信IF(図示せず)を介してダウンロードされた後、ROM172に一旦格納される。そのソフトウェアは、CPU110によってROM172から読み出され、RAM171に実行可能なプログラムの形式で格納される。CPU110は、そのプログラムを実行する。
【0056】
図3に示される表示装置100の本体ユニット101を構成する各構成要素は、一般的なものである。したがって、本実施の形態の本質的な部分は、RAM171、ROM172、メモリカード1731その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、表示装置100の本体ユニット101のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【0057】
なお、記憶媒体としては、メモリカードに限られず、CD−ROM、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【0058】
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【0059】
<タッチパネル140の構成および駆動について>
次に、タッチパネル140の構成と、当該タッチパネル140の周辺回路の構成とについて説明する。図4は、タッチパネル140の構成と、当該タッチパネル140の周辺回路とを示した図である。
【0060】
図4を参照して、タッチパネル140は、画素回路141と、光センサ回路144と、走査信号線Giと、データ信号線SRjと、データ信号線SGjと、データ信号線SBjと、センサ信号線SSjと、センサ信号線SDjと、読出信号線RWiと、リセット信号線RSiとを含む。なお、iは、1≦i≦mを満たす自然数であり、jは1≦j≦nを満たす自然数である。
【0061】
また、図3に示した表示ユニット102のドライバ130は、タッチパネル140の周辺回路として、走査信号線駆動回路131と、データ信号線駆動回路132と、光センサ駆動回路133と、スイッチ134と、アンプ135とを含む。
【0062】
走査信号線駆動回路131は、図3に示すドライバ制御部181から制御信号TC1を受ける。そして、走査信号線駆動回路131は、制御信号TC1に基づき、各走査信号線(G1〜Gm)に対して、走査信号線G1から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路131は、単位時間毎に走査信号線(G1〜Gm)の中から1つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するTFT(Thin Film Transistor)142のゲートをターンオンできるだけの電圧(以下、ハイレベル電圧)を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
【0063】
データ信号線駆動回路132は、図3に示すドライバ制御部181から画像データ(DR,DG,DB)を受ける。そして、データ信号線駆動回路132は、3n個のデータ信号線(SR1〜SRn,SG1〜SGn,SB1〜SBn)に対して、上記単位時間毎に、1行分の画像データに対応する電圧を順次印加する。
【0064】
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
【0065】
画素回路141は、1つの画素の輝度(透過率)を設定するための回路である。また、画素回路141は、マトリクス状にm×n個配されている。より詳しくは、画素回路141は、図4の縦方向にm個、横方向にn個配されている。
【0066】
画素回路141は、Rサブピクセル回路141rと、Gサブピクセル回路141gと、Bサブピクセル回路141bとからなる。これら3つの回路(141r,141g,141b)は、それぞれ、TFT142と、画素電極と対向電極とからなる1組の電極対143と、図示しないコンデンサとを含む。
【0067】
なお、n型のトランジスタとp型のトランジスタとを作れるCMOS(Complementary Metal Oxide Semiconductor)を実現できること、キャリア(電子または正孔)の移動速度がアモルファスシリコン薄膜トランジスタ(a-Si TFT)に比べて数百倍早いことなどから、表示ユニット102では、TFT142として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、TFT142は、n型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT142がp型チャネルの電界効果トランジスタであってもよい。
【0068】
Rサブピクセル回路141r内のTFT142のソースはデータ信号線SRjに接続されている。また、当該TFT142のゲートは走査信号線Giに接続されている。さらに、当該TFT142のドレインは、電極対143の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Gサブピクセル回路141gおよびBサブピクセル回路141bについても、各TFT142のソースが接続されるデータ信号線が異なる以外は、Rサブピクセル回路141rと同じ構成である。このため、これら2つの回路(141g,141b)についての説明は、繰り返さない。
【0069】
ここで、画素回路141における輝度の設定について説明する。まず、走査信号線Giに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、TFT142のゲートがターンオンする。このようにTFT142のゲートがターンオンした状態で、各データ信号線(SRj,SGj,SBj)に対して、それぞれ指定された電圧(1画素分の画像データに対応する電圧)を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ(補助容量)によって、次のフレーム期間において走査信号線Giが選択されるまで保持される。
【0070】
光センサ駆動回路133は、図3に示すドライバ制御部181から制御信号TC2を受ける。
【0071】
そして、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎にリセット信号線(RS1〜RSm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDRを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧VSSRを印加したままとする。たとえば、電圧VDDRを0Vに、電圧VSSRを−5Vに設定すればよい。
【0072】
また、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎に読出信号線(RW1〜RWm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDを印加する。なお、選択されていない読出信号線に対しては、上記電圧VSSRを印加したままとする。たとえば、VDDの値を8Vに設定すればよい。
【0073】
なお、電圧VDDRを印加するタイミング、および電圧VDDを印加するタイミングについては、後述する。
【0074】
光センサ回路144は、フォトダイオード145と、コンデンサ146と、TFT147とを含む。なお、以下では、TFT147がn型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT147がp型チャネルの電界効果トランジスタであってもよい。
【0075】
フォトダイオード145のアノードは、リセット信号線RSiに接続されている。一方、フォトダイオード145のカソードは、コンデンサ146の一方の電極に接続されている。また、コンデンサ146の他方の電極は、読出信号線RWiに接続されている。なお、以下では、フォトダイオード145とコンデンサ146との接続点をノードNと称する。
【0076】
TFT147のゲートは、ノードNに接続されている。また、TFT147のドレインは、センサ信号線SDjに接続されている。さらに、TFT147のソースは、センサ信号線SSjに接続されている。光センサ回路144を用いたセンシングの詳細については、後述する。
【0077】
スイッチ134は、センサ信号線(SD1〜SDn)に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ134の切り換え動作は、光センサ駆動回路133により行われる。なお、スイッチ134が導通状態となった場合にセンサ信号線(SD1〜SDn)に印加される電圧については、後述する。
【0078】
アンプ135は、各センサ信号線(SS1〜SSn)から出力された電圧を増幅する。なお、増幅された電圧は、図3に示した信号処理部183に送られる。
【0079】
なお、画素回路141を用いて画像をタッチパネル140に表示させるタイミングと、光センサ回路144を用いてセンシングするタイミングとについては、画像処理エンジン180が制御する。
【0080】
図5は、タッチパネル140とバックライト179との断面図である。図5を参照して、タッチパネル140は、アクティブマトリクス基板151Aと、対向基板151Bと、液晶層152とを含む。対向基板151Bは、アクティブマトリクス基板151Aに対向して配されている。液晶層152は、アクティブマトリクス基板151Aと対向基板151Bとに挟まれている。バックライト179は、アクティブマトリクス基板151Aに関し液晶層152と反対側に配されている。
【0081】
アクティブマトリクス基板151Aは、偏光フィルタ161と、ガラス基板162と、電極対143を構成する画素電極143aと、フォトダイオード145と、データ信号線157と、配向膜164とを含む。さらに、図5には示していないが、アクティブマトリクス基板151Aは、図4に示した、コンデンサ146と、TFT147と、TFT142と、走査信号線Giとを含む。
【0082】
また、アクティブマトリクス基板151Aにおいては、バックライト179側から、偏光フィルタ161、ガラス基板162、画素電極143a、および配向膜164が、この順に配されている。フォトダイオード145とデータ信号線157とは、ガラス基板162の液晶層152側に形成されている。
【0083】
対向基板151Bは、偏光フィルタ161と、ガラス基板162と、遮光膜163と、カラーフィルタ(153r,153g,153b)と、電極対143を構成する対向電極143bと、配向膜164とを含む。
【0084】
また、対向基板151Bにおいては、液晶層152側から、配向膜164、対向電極143b、カラーフィルタ(153r,153g,153b)、ガラス基板162、および偏光フィルタ161が、この順に配されている。遮光膜163は、カラーフィルタ(153r,153g,153b)と同一の層に形成されている。
【0085】
カラーフィルタ153rは、赤色の波長の光を透過させるフィルタである。カラーフィルタ153gは、緑色の波長の光を透過させるフィルタである。カラーフィルタ153bは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード145は、カラーフィルタ153bに対向する位置に配されている。
【0086】
タッチパネル140は、外光やバックライト179などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、タッチパネル140は、画素電極143aと対向電極143bとの間に電圧を印加することにより液晶層152の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ161を配置している。
【0087】
なお、フォトダイオード145の位置は、上記の位置に限定されるものではなく、カラーフィルタ153rに対向する位置やカラーフィルタ153gに対向する位置に設けることも可能である。
【0088】
ここで、光センサ回路144の動作について説明する。図6は、光センサ回路144を動作させる際のタイミングチャートを示した図である。図6において、電圧VINTは、光センサ回路144内のノードNにおける電位を示している。また、電圧VPIXは、図4に示したセンサ信号線SSjからの出力電圧であって、アンプ135によって増幅される前の電圧を示している。
【0089】
以下では、光センサ回路144をリセットするためのリセット期間と、光センサ回路144を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
【0090】
まず、リセット期間について説明する。リセット期間においては、リセット信号線RSiに印加する電圧を、ローレベル(電圧VSSR)からハイレベル(電圧VDDR)へと瞬間的に切り換える。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。このように、リセット信号線RSiに上記ハイレベルの電圧を印加することにより、フォトダイオード145の順方向(アノード側からカソード側)に電流が流れ始める。その結果、ノードNの電位である電圧VINTは、以下の式(1)で示す値となる。なお、式(1)では、フォトダイオード145における順方向の電圧降下量をVfとしている。
【0091】
VINT=VSSR+|VDDR−VSSR|−Vf … (1)
それゆえ、ノードNの電位は、図6に示すとおり、電圧VDDRよりもVfだけ小さな値となる。
【0092】
ここで、電圧VINTは、TFT147のゲートをターンオンさせる閾値以下であるため、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。また、コンデンサ146の電極間には、上記電圧VINT分の差が生じる。このため、コンデンサ146には、当該差に応じた電荷が蓄積される。
【0093】
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線RSiに印加する電圧は、ハイレベル(電圧VDDR)からローレベル(電圧VSSR)へと瞬間的に切り換わる。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。
【0094】
このように、リセット信号線RSiに印加する電圧をローレベルに変化させることにより、ノードNの電位は、リセット信号線RSiの電圧および読出信号線RWiの電圧よりも高くなる。このため、フォトダイオード145においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード145は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード145が受光すると、フォトダイオード145のカソード側からアノード側へと電流が流れ始める。その結果、図6に示すとおり、ノードNの電位(つまり、電圧VINT)は時間の経過とともに低くなる。
【0095】
なお、このように電圧VINTが低下し続けるため、TFT147のゲートはターンオンした状態にはならない。それゆえ、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。
【0096】
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線RSiに印加する電圧をローレベル(電圧VSSR)のままとする。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)からハイレベル(電圧VDD)へと瞬間的に切り換わる。ここで、電圧VDDは、電圧VDDRよりも高い値である。
【0097】
このように、読出信号線RWiにハイレベルの電圧を瞬間的に印加することにより、図6に示すとおり、コンデンサ146を介してノードNの電位が引き上げられる。なお、ノードNの電位の上昇幅は、読出信号線RWiに印加する電圧に応じた値となる。ここで、ノードNの電位(つまり、電圧VINT)が、TFT147のゲートをターンオンさせる閾値以上まで引き上げられるため、TFT147のゲートがターンオンする。
【0098】
この際、TFT147のドレイン側に接続されたセンサ信号線SDj(図4参照)に予め一定電圧を印加しておけば、TFT147のソース側に接続されたセンサ信号線SSjからは、図6のVPIXのグラフに示すとおり、ノードNの電位に応じた電圧が出力される。
【0099】
ここで、フォトダイオード145が受光する光の量(以下、受光量と称する)が少ないと、図6のVINTのグラフに示す直線の傾きが緩やかになる。その結果、電圧VPIXは、受光量が多い場合に比べて高くなる。このように、光センサ回路144は、フォトダイオード145の受光量に応じて、センサ信号線SSjに出力する電圧の値を変化させる。
【0100】
ところで、上記においては、m×n個存在する光センサ回路のうち、1つの光センサ回路144に着目して、その動作を説明した。以下では、タッチパネル140における各光センサ回路の動作について説明する。
【0101】
まず、光センサ駆動回路133は、n個のセンサ信号線(SD1〜SDn)の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路133は、リセット信号線RS1に対して、通常よりもハイレベルな電圧VDDRを印加する。なお、他のリセット信号線(RS2〜RSm)および読出信号線(RW1〜RWm)については、ローレベルの電圧を印加したままの状態とする。これにより、図4における1行目のn個の光センサ回路が、上述したリセット期間に入る。その後、1行目のn個の光センサ回路は、センシング期間に入る。さらに、その後、1行目のn個の光センサ回路は、読出期間に入る。
【0102】
なお、n個のセンサ信号線(SD1〜SDn)の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
【0103】
1行目のn個の光センサ回路の読出期間が終了すると、光センサ駆動回路133は、リセット信号線RS2に対して、通常よりもハイレベルな電圧VDDRを印加する。つまり、2行目のn個の光センサ回路のリセット期間に入る。リセット期間が終了すると、2行目のn個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
【0104】
以降は、上述した処理が、順に、3行目のn個の光センサ回路、4行目のn個の光センサ回路、…m行目のn個の光センサ回路に対して行われる。その結果、センサ信号線(SS1〜SSn)からは、1行目のセンシング結果、2行目のセンシング結果、…、m行目のセンシング結果が、この順に出力される。
【0105】
なお、表示ユニット102においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果がタッチパネル140から出力される。このため、以下では、タッチパネル140から出力される1行目からm行目までのm行分の電圧に関するデータに対して、信号処理部183が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物(たとえば、ユーザの指)をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
【0106】
また、上記においては、m×n個の光センサ回路全てを用いてスキャンを行なう構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、タッチパネル140の表面の一部の領域に関してスキャンを行なうことも構成としてもよい。
【0107】
以下では、表示装置100が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー177を介した入力などに基づく本体ユニット101から送られてくるコマンドにより行われるものとする。なお、タッチパネル140の表面の一部の領域に関してスキャンを行なう場合、画像処理エンジン180が、スキャン対象領域の設定を行なう。なお、当該領域の設定を、操作キー177を介してユーザが指定できる構成としてもよい。
【0108】
このように、タッチパネル140の表面の一部の領域に関してスキャンを行なう場合には、画像の表示に関し、以下のような利用の態様がある。1つ目は、上記一部の領域(以下、スキャン領域と称する)以外の表面の領域において、画像を表示させる態様である。2つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体ユニット101から画像処理エンジン180に送られてくるコマンドに基づく。
【0109】
図7は、タッチパネル140とバックライト179との断面図であって、スキャンの際にフォトダイオード145がバックライト179からの光を受光する構成を示した図である。
【0110】
図7を参照して、ユーザの指900がタッチパネル140の表面に接触している場合、バックライト179から発せられた光の一部は、当該接触している領域ではユーザの指900(略平面)にて反射される。そして、フォトダイオード145は、当該反射された光を受光する。
【0111】
また、指900が接触していない領域においても、バックライト179から発せられた光の一部は、ユーザの指900にて反射される。この場合においても、フォトダイオード145は、当該反射された光を受光する。ただし、当該領域においてはタッチパネル140の表面に指900が接触していないため、指900が接触している領域よりも、フォトダイオード145の受光量は少なくなる。なお、バックライト179から発せられた光のうち、ユーザの指900に到達しない光のほとんどについては、フォトダイオード145は受光できない。
【0112】
ここで、バックライト179を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路144は、ユーザの指900により反射した光の光量に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179の点灯と消灯とを制御することにより、タッチパネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、タッチパネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
【0113】
以上により、表示ユニット102は、指900によって光が反射されることにより得られる像(以下、反射像とも称する)をスキャンすることができる。なお、指900以外のスキャン対象物としては、スタイラスペンなどが挙げられる。
【0114】
ところで、本実施の形態においては、表示装置100の表示装置としてタッチパネルを例に挙げて説明しているが、タッチパネルの代わりに有機EL(Electro-Luminescence)パネルなどの他のパネルを用いてもよい。
【0115】
<データについて>
次に、センシングコマンドについて説明する。なお、表示ユニット102においては、画像処理エンジン180は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ(つまり、応答データ)を本体ユニット101に送り返す。
【0116】
図8は、センシングコマンドの概略構成を示した図である。図8を参照して、センシングコマンドは、ヘッダのデータ領域DA01と、タイミングを示すデータ領域DA02と、データ種別を示すデータ領域DA03と、読取方式を示すデータ領域DA04と、画像階調を示すデータ領域DA05と、解像度を示すデータ領域DA06と、予備のデータ領域DA07とを含む。
【0117】
図9は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
【0118】
図9を参照して、タイミングを示すデータ領域に「00」が設定されたセンシングコマンドは、画像処理エンジン180に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン180が受信した後に、光センサ回路144を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「01」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「10」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。
【0119】
データ種別を示すデータ領域に「001」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「010」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「100」が設定されたセンシングコマンドは、全体画像の送信を要求する。
【0120】
ここで、「全体画像」とは、m×n個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン180により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
【0121】
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、タッチパネル140の表面の一部の領域に関してスキャンを行なう構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
【0122】
読取方式を示すデータ領域に「00」が設定されたセンシングコマンドは、バックライト179を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「01」が設定されたセンシングコマンドは、バックライト179を消灯してスキャンすることを要求する。なお、バックライト179を消灯してスキャンする構成については後述する(図13)。さらに、読取方式を示すデータ領域に「10」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト179を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行なうことを指す。
【0123】
画像階調を示すデータ領域に「00」が設定されたセンシングコマンドは、白黒の2値の画像データを要求する。たとえば、CPU110が、接触領域を示すデータとして2値画像データを画像処理エンジン180に要求してもよい。画像処理エンジン180が、後述する検知部111を実現してもよい。また、画像階調を示すデータ領域に「01」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「10」が設定されたセンシングコマンドは、RGBのカラーの画像データを要求する。
【0124】
解像度を示すデータ領域に「0」が設定されたセンシングコマンドは、解像度の高い画像データを要求する。また、解像度を示すデータ領域に「1」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。
【0125】
また、センシングコマンドには、図8および図9に示したデータ以外に、スキャンを行なう領域(光センサ回路144を駆動する画素の領域)の指定、スキャンを行なうタイミング、バックライト179の点灯のタイミングなどが記述されている。
【0126】
図10は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示ユニット102の画像処理エンジン180が本体ユニット101に対して送信するデータである。
【0127】
図10を参照して、応答データは、ヘッダのデータ領域DA11と、座標を示すデータ領域DA12と、時刻を示すデータ領域DA13と、画像を示すデータ領域DA14とを含む。ここで、座標を示すデータ領域DA12には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン180のタイマ182から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン180により処理がされた後の画像データ(つまり、スキャンデータ)が書き込まれる。
【0128】
図11は、指900をスキャンすることにより得られた画像(つまり、スキャン画像)を示した図である。図11を参照して、太実線で囲まれた領域W1の画像が全体画像であり、破線で囲まれた領域P1の画像が部分画像である。また、太線で示した十字の中心点C1が、中心座標となる。
【0129】
本実施の形態では、矩形の領域であって、かつセンサ信号線SSjからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素(つまり、予め定められた階調または予め定められた輝度以上の画素)全てを含む領域を、部分画像の領域としている。
【0130】
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点(つまり図心)との距離とに基づき、重み付け処理を行なうことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
【0131】
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
【0132】
センシングコマンドのデータ種別を示すデータ領域に「001」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に上記中心座標の値を書き込む。この場合、画像処理エンジン180は、画像を示すデータ領域DA14には画像データを書き込まない。画像処理エンジン180は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体ユニット101に送る。このように、データ種別を示すデータ領域に「001」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
【0133】
また、センシングコマンドのデータ種別を示すデータ領域に「010」が設定されている場合には、画像処理エンジン180は、画像を示すデータ領域DA14に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン180は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン180は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体ユニット101に送る。このように、データ種別を示すデータ領域に「010」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
【0134】
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指900などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
【0135】
また、センシングコマンドのデータ種別を示すデータ領域に「011」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン180は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体ユニット101に送る。このように、データ種別を示すデータ領域に「011」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
【0136】
また、センシングコマンドのデータ種別を示すデータ領域に「100」が設定されている場合には、画像処理エンジン180は、図10に示した応答データの画像を示すデータ領域DA14に、全体画像の画像データを書き込む。この場合、画像処理エンジン180は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン180は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体ユニット101に送る。このように、データ種別を示すデータ領域に「100」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
【0137】
また、センシングコマンドのデータ種別を示すデータ領域に「101」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14に全体画像の画像データを書き込む。その後、画像処理エンジン180は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体ユニット101に送る。このように、データ種別を示すデータ領域に「101」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
【0138】
<変形例について>
ところで、タッチパネル140の構成は、図4に示した構成に限定されるものではない。以下では、図4とは異なる態様のタッチパネルについて説明する。
【0139】
図12は、上記異なる態様である光センサ内蔵液晶パネル140Xの回路図である。図12を参照して、光センサ内蔵液晶パネル140X(タッチパネル140X)は、1画素内に3つの光センサ回路(144r,144g,144b)を含んでいる。このようにタッチパネル140Xが1画素内に3つの光センサ回路(144r,144g,144b)を含む点において、タッチパネル140Xは、1画素内に1つの光センサ回路を含むタッチパネル140と異なる。なお、光センサ回路144の構成と、3つの各光センサ回路(144r,144g,144b)との構成は同じである。
【0140】
また、1画素内における3つのフォトダイオード(145r,145g,145b)は、それぞれ、カラーフィルタ153r、カラーフィルタ153g、カラーフィルタ153bに対向する位置に配されている。それゆえ、フォトダイオード145rは赤色の光を受光し、フォトダイオード145gは緑色の光を受光し、フォトダイオード145bは青色の光を受光する。
【0141】
また、タッチパネル140は1画素内において1つの光センサ回路144しか含まないため、1画素内に配設されるTFT147用のデータ信号線は、センサ信号線SSjとセンサ信号線SDjとの2本であった。しかしながら、タッチパネル140Xは1画素内において3つの光センサ回路(144r,144g,144b)を含むため、1画素内に配設されるTFT(147r,147g,147b)用のデータ信号線は6本となる。
【0142】
具体的には、カラーフィルタ153rに対向する位置に配されたフォトダイオード145rのカソードに接続されたTFT147rに対応して、センサ信号線SSRjとセンサ信号線SDRjとが配設される。また、カラーフィルタ153gに対向する位置に配されたフォトダイオード145gのカソードに接続されたTFT147gに対応して、センサ信号線SSGjとセンサ信号線SDGjとが配設される。さらに、カラーフィルタ153bに対向する位置に配されたフォトダイオード145bのカソードに接続されたTFT147bに対応して、センサ信号線SSBjとセンサ信号線SDBjとが配設される。
【0143】
このようなタッチパネル140Xにおいては、バックライト179から照射された白色光は、3つのカラーフィルタ(153r,153g,153b)を透過し、タッチパネル140Xの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、3つのカラーフィルタ(153r,153g,153b)を透過する。
【0144】
この際、カラーフィルタ153rは赤色の波長の光を透過し、フォトダイオード145rは、当該赤色の波長の光を受光する。また、カラーフィルタ153gは緑色の波長の光を透過し、フォトダイオード145gは、当該緑色の波長の光を受光する。また、カラーフィルタ153bは青色の波長の光を透過し、フォトダイオード145bは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は3つのカラーフィルタ(153r,153g,153b)によって3原色(R,G,B)に色分解され、各フォトダイオード(145r,145g,145b)は、それぞれに対応した色の光を受光する。
【0145】
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード(145r,145g,145b)の受光量が各フォトダイオード(145r,145g,145b)で異なることになる。このため、センサ信号線SSRjとセンサ信号線SSGjとセンサ信号線SSBjとの出力電圧は互いに異なる。
【0146】
それゆえ、各出力電圧に応じて、Rの階調とGの階調とBの階調とを画像処理エンジン180が決定することにより、画像処理エンジン180はRGBのカラー画像を本体ユニット101へ送ることができる。
【0147】
以上述べたように、表示装置100がタッチパネル140Xを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
【0148】
次に、図7を参照して説明したスキャンの方法(つまり、反射像をスキャンする方法)とは異なるスキャンの方法について、図13を参照して説明する。
【0149】
図13は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。図13を参照して、外光の一部は、指900によって遮られる。それゆえ、指900と接触しているタッチパネル140の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指900の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
【0150】
ここで、バックライト179を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路144は、タッチパネル140の表面に対する指900の位置に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179を点灯と消灯とを制御することにより、タッチパネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、タッチパネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
【0151】
以上により、表示ユニット102は、指900によって外光が遮られることにより得られる像(以下、影像とも称する)をスキャンすることができる。
【0152】
さらに、表示ユニット102を、バックライト179を点灯させてスキャンを行った後に、バックライト179を消灯させて再度スキャンを行なう構成としてもよい。あるいは、表示ユニット102を、バックライト179を消灯させてスキャンを行った後に、バックライト179を点灯させて再度スキャンを行なう構成としてもよい。
【0153】
この場合には、2つのスキャン方式を併用することになるため、2つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
【0154】
<表示装置100の機能構成>
次に、本実施の形態に係る表示装置100の機能構成について説明する。図14は、本実施の形態に係る表示装置100の機能構成を示すブロック図である。
【0155】
図14を参照して、表示装置100は、検知部111と、受付部112と、表示制御部114とを含む。また、表示装置100は、図3にも示したように、タッチパネル140とRAM171とを含む。
【0156】
まず、複数の光センサ回路144のそれぞれは、入射光を受光して、当該入射光に応じた電気信号を生成する。複数の光センサ回路144は全体として、画像処理エンジン180(図3)などを介して、タッチパネル140に入力される景色に対応する画像データを検知部111に入力する。
【0157】
複数の画素回路141のそれぞれは、画像処理エンジン180を介して、表示制御部114からの画像データに基づき、外部に可視光を発する。より詳細には、複数の画素回路141は全体として、画像処理エンジン180(図3)などを介して、表示制御部114からの画像データ(電気信号)に基づいて、バックライト179からの光を利用しながらボタンを表す画像やテキストなどを表示する。
【0158】
RAM171は、画像処理エンジン180からの画像データ171Aを記憶する。たとえば、RAM171は、画像処理エンジン180からの各センサタイミングにおける一連の接触領域を示す画像データ171Aを記憶する。
【0159】
以下では、一連の当該接触領域に対応するスライド動作を、ストロークともいう。より詳細には、ストロークとは、スタイラスペンや指900がタッチパネル140に接触してから、スタイラスペンや指900がタッチパネル140から持ち上げられるまでの間における、スタイラスペンや指900のタッチパネル140表面上での軌跡をいう。
【0160】
検知部111と、受付部112と、表示制御部114とは、CPU110あるいは画像処理エンジン180などによって実現される機能である。より詳細には、CPU110が有する各機能は、CPU110がRAM171などに記憶される制御プログラムを実行して、図3に示される各ハードウェアを制御することによって実現される機能である。
【0161】
検知部111は、たとえば、CPU110によって実現される。検知部111は、画像処理エンジン180を介して複数の光センサ回路144から入力される電気信号に基づいて「2値画像データ」(図4の場合)あるいは「カラー画像データ」(図12の場合)を生成する。
【0162】
前述したように、検知部111は、タッチパネル140からの「2値画像データ」あるいは「カラー画像データ」(これらを合わせて画像データともいう。)を一時的にRAM171に記憶する。たとえば、検知部111は、画像処理エンジン180からの画像データに基づいて、RAM171の画像データを最新の画像データに更新する。検知部111は、タッチパネル140から順次入力される画像データに基づいて、接触領域が検知されている期間だけ、当該接触領域を示す画像データを順次RAM171に蓄積してもよい。
【0163】
検知部111は、タッチパネル140への複数の接触位置を検知する。より詳細には、検知部111は、タッチパネル140からの画像データ毎に、接触領域の中心座標(接触位置の座標)を取得する。ただし、タッチパネル140の画像処理エンジン180が接触領域の中心座標を取得して、検知部111はタッチパネル140から直接接触位置を取得してもよい。
【0164】
検知部111は、1つ目の接触位置(第1の接触位置)がタッチパネル140の右部であるか左部であるかを判断する。また、検知部111は、2つ目の接触位置(第2の接触位置)がタッチパネル140の右部であるか左部であるかを判断する。
【0165】
検知部111は、タッチパネル140を用いて1つ目の接触位置の移動を検出する。本実施の形態に係る検知部111は、タッチパネル140から順次入力される画像データに基づいて、接触位置の移動方向や移動距離や移動速度などを取得する。より詳細には、検知部111は、各センサタイミングに係る接触領域の中心座標に基づいて、タッチパネル140と指900R,900Lとの接触領域の軌跡を取得する。表示制御部114は、接触領域の軌跡を線画像(1つのストローク)としてRAM171に記憶するとともに、当該線画像をタッチパネル140に表示させる。ただし、上述したように、検知部111は、タッチパネル140から直接に順次接触位置を取得してもよい。
【0166】
さらに、本実施の形態においては、タッチパネル140が光センサ回路144を含むので、検知部111は、画像データに基づいて、タッチパネル140の上方に位置する(浮遊する)物体の位置を検知することができる。より詳細には、検知部111は、タッチパネル140からの画像データに基づいて、タッチパネル140上に接する物体と、タッチパネル140の上方に位置する物体とを区別して認識できることが好ましい。
【0167】
たとえば、検知部111は、タッチパネル140からの画像データに基づいて、白い画像領域をタッチパネル140上に接する物体として検知し、赤い画像領域をタッチパネル140の上方に位置する物体として検知する。あるいは、検知部111は、タッチパネル140からの画像データに基づいて、所定値以上の面積を有する画像領域をタッチパネル140上に接する物体として検知し、所定値未満の面積を有する画像領域をタッチパネル140の上方に位置する物体として検知する。
【0168】
受付部112は、検知部111がタッチパネル140を介してボタン群140Aに含まれるボタンに対する2つ目の接触位置を検知すると、当該ボタンの押下を受け付ける。受付部112は、ボタンに対応する命令を受け付ける。あるいは、受付部112は、ユーザインターフェイスとして、ボタンが押下された旨の情報を他の上位のアプリケーションに受け渡す。
【0169】
本実施の形態においては、受付部112は、検知部111が1つ目の接触位置を検知している最中に、2つ目の接触位置を検知するとボタンの押下を受け付ける。すなわち、本実施の形態においては、検知部111が2つ目の接触位置を検知する前に1つ目の接触位置を検知しなくなると、受付部112はボタンの押下を受け付けない。次に検知される接触位置は、新たな1つ目の接触位置となるからである。
【0170】
より詳細には、本実施の形態においては、検知部111が2つ目の接触位置を検知する前に1つ目の接触位置を検知しなくなると、表示装置100がボタン群140Aを元の表示位置(タッチパネル140の中央)に表示する。
【0171】
表示制御部114は、CPU110あるいは画像処理エンジン180によって実現される。表示制御部114は、検知部111からの画像データあるいは1または複数の接触位置に基づいて、タッチパネル140にボタン群140Aを表示させる。
【0172】
表示制御部114は、検知部111がタッチパネル140の第1のエリアへの1つ目の接触位置を検知したときにボタンを第2のエリアに表示させる。ユーザが、両手を使って、表示装置100の両サイドを把持する場合には、第1のエリアと第2のエリアは、互いに、タッチパネル140における逆サイドに位置することが好ましい。本実施の形態においては、第1のエリアは、タッチパネル140の右部(あるいは左部)である。第2のエリアは、タッチパネル140の左部(あるいは右部)の中の所定エリアである。
【0173】
表示制御部114は、検知部111がタッチパネル140の第3のエリアへの1つ目の接触位置を検知したときにボタン群140Aを第4のエリアに表示させる。ユーザが、両手を使って、表示装置100の両サイドを把持する場合には、第3のエリアと第4のエリアは、互いに、タッチパネル140における逆サイドに位置することが好ましい。本実施の形態においては、第3のエリアは、タッチパネル140の左部(あるいは右部)である。第4のエリアは、タッチパネル140の右部(あるいは左部)の中の所定エリアである。
【0174】
表示制御部114は、ボタン群140Aの表示位置を検知部111が取得した1つ目の接触位置の移動方向に移動させる。すなわち、表示制御部114は、1つ目の接触位置の移動方向に基づいて、ボタン群140Aをタッチパネル140上の新たな位置に表示し直す。
【0175】
表示制御部114は、検知部111の検知結果に基づいて、外部の物体が存在している(浮遊している)位置の下方に位置するボタンをその他のボタンと異なる表示態様にて表示する。たとえば、表示制御部114は、浮遊位置下方のボタンをその他のボタンよりも拡大して表示する。また、表示制御部114は、浮遊位置下方のボタン同士の間隔を、他のボタン同士の間隔よりも拡大して表示する。
【0176】
<表示処理>
次に、図3、図14〜図16を参照して、本実施の形態に係る表示装置100における表示処理について説明する。なお、図15は、本実施の形態に係る表示装置100における表示処理の処理手順を示す第1のフローチャートである。図16は、本実施の形態に係る表示装置100における表示処理の処理手順を示す第2のフローチャートである。
【0177】
まず、図1(A)に示すように、表示制御部114として機能するCPU110は、タッチパネル140の中央にボタン群140Aを表示する。
【0178】
本実施の形態においては、タッチパネル140に含まれる複数の光センサ回路144は、常時、入射光に応じて電気信号を生成する。複数の光センサ回路144は、画像処理エンジン180を介して、入射光に対応する電気信号(画像データ)をCPU110に入力する。すなわち、検知部111として機能するCPU110は、複数の光センサ回路144からの電気信号(画像データ)を、画像処理エンジン180を介して取得する。
【0179】
CPU110は、画像処理エンジン180からの画像データに基づいて接触位置(1つ目の接触位置)を検知したか否かを判断する(ステップS104)。CPU110は、接触位置を検知しない場合(ステップS104においてNOである場合)、ステップS104からの処理を繰り返す。
【0180】
図1(B)あるいは図1(E)に示すように、表示制御部114として機能するCPU110は、接触位置を検知した場合(ステップS104においてYESである場合)、当該接触位置がタッチパネル140の右部であるか否かを判断する(ステップS106)。図1(B)に示すように、当該接触位置がタッチパネル140の右部である場合(ステップS106においてYESである場合)、表示制御部114として機能するCPU110は、ボタン群140Aをタッチパネル140の左部の所定エリア(左エリア)に表示する(ステップS108)。検知部111として機能するCPU110は、タッチパネル140を介して接触が解除されたか否かを判断する(ステップS112)。
【0181】
図1(E)に示すように、当該接触位置がタッチパネル140の左部である場合(ステップS106においてNOである場合)、表示制御部114として機能するCPU110は、ボタン群140Aをタッチパネル140の右部の所定エリア(右エリア)に表示する(ステップS110)。検知部111として機能するCPU110は、タッチパネル140を介して接触が解除されたか否かを判断する(ステップS112)。
【0182】
図1(A)に示すように、接触が解除された場合(ステップS112においてYESである場合)、CPU110はステップS102からの処理を繰り返す。
【0183】
接触が解除されない場合(ステップS112においてNOである場合)、検知部111として機能するCPU110は、タッチパネル140を用いて新たな外部の物体の存在を検知したか否かを判断する(ステップS114)。より詳細には、CPU110は、タッチパネル140を用いて、タッチパネル140の上方であって、1つ目の接触位置とは離間した場所に存在する物体を検知したか否かを判断する。
【0184】
新たな物体の存在を検知しない場合(ステップS114においてNOである場合)、CPU110は、タッチパネル140を用いて1つ目の接触位置が移動したか否かを判断する(ステップS124)。1つ目の接触領域が移動しない場合(ステップS124においてNOである場合)、ステップS112からの処理を繰り返す。
【0185】
図2(B)および図2(D)に示すように、1つ目の接触領域が移動する場合(ステップS124においてYESである場合)、表示制御部114として機能するCPU110は、ボタン群140Aの表示位置を移動させる(ステップS126)。すなわち、CPU110は、ボタン群140Aの表示座標を変更することによって、タッチパネル140にボタン群140Aを表示し直す。CPU110は、ステップS112からの処理を繰り返す。このとき、CPU110は、図1(B)に示す状態よりもボタン群140Aを縮小するとともに、ボタン群140Aを移動させてもよい。
【0186】
図1(C)、図1(F)、図2(C)、図2(E)に示すように、新たな物体を検知した場合(ステップS114においてYESである場合)、CPU110は、タッチパネル140に、当該物体の先端部の下方に位置するボタンを拡大して表示させる(ステップS116)。CPU110は、当該物体の先端部の下方に位置する複数のボタンの間隔を拡大させてもよい。CPU110は、当該物体の先端部の下方に位置するボタンの周囲のボタンを縮小してもよい。CPU110は、当該物体の先端部の下方に位置するボタンの周囲のボタンをひずませてもよい。
【0187】
検知部111として機能するCPU110は、タッチパネル140を用いて、新たな接触があったか否かを判断する(ステップS118)。すなわち、CPU110は、1つ目の接触位置を検知している最中に、2つ目の接触位置を検知したか否かを判断する。
【0188】
図1(D)および図1(G)に示すように、新たな接触があった場合(ステップS118においてYESである場合)、CPU110は、新たな接触位置がボタンの表示エリア内であるか否かを判断する(ステップS120)。新たな接触位置がボタンの表示エリア内でない場合(ステップS120においてNOである場合)、CPU110は、ステップS114からの処理を繰り返す。
【0189】
新たな接触位置がボタンの表示エリア内である場合(ステップS120においてYESである場合)、CPU110は、当該ボタンに対する命令を受け付ける(ステップS122)。CPU110は、ステップS114からの処理を繰り返す。
【0190】
このように、本実施の形態においては、表示装置100が1つ目の接触位置の逆側にボタン群140Aを表示し直すので、ユーザが当該逆側の指900L,900Rでボタン群140Aに含まれるボタンを押下し易くなる。また、ユーザが誤ってタッチパネル140にタッチしてしまっても、表示装置100は最初のタッチに対する命令を受け付けないため、表示装置100への命令の誤入力も防止することができる。また、表示装置100はユーザの指900L,900Rの下方に位置するボタン間の間隔を大きくするので、ユーザがボタンを押し間違え難くなる。また、表示装置100はユーザの指900L,900Rのスライド操作に応じて、ボタン群140Aを全体的に縮小するとともに当該縮小したボタン群140Aを移動させるので、ユーザが当該逆側の指900L,900Rでボタン群140Aに含まれるボタンをさらに押下し易くなる。
【0191】
[実施の形態2]
次に、本発明の実施の形態2について説明する。上述の実施の形態1に係る表示装置100は、図2に示すように、1つ目の接触領域のスライドに応じて、ボタン群140Aを移動させるものであった。一方、本実施の形態に係る表示装置100は、1つ目の接触領域のスライドに応じて、ボタンを拡大したり、拡大するボタンを変更したりするものである。
【0192】
すなわち、本実施の形態に係る表示装置100の第1の動作概要は、実施の形態1に係る表示装置100の第1の動作概要と同様であるため、ここでは説明を繰り返さない。換言すれば、本実施の形態に係る表示装置100は、実施の形態1に係る表示装置100の第2の動作概要の代わりに、以下で説明する第3の動作概要を実現するものである。
【0193】
<表示装置100の動作概要3>
本実施の形態に係る表示装置100の第3の動作概要について説明する。図17は、本実施の形態に係る表示装置100の第3の動作概要を示すイメージ図である。上述したように、本実施の形態に係る表示装置100は、図1に示す第1の動作概要と図17に示す第3の動作概要とを実現する。
【0194】
図17(A)は、図1(B)と同様に、ユーザの右手の親指900Rがタッチパネル140の右部にタッチしたときのタッチパネル140の画面を示す。図17(B)は、ユーザの右手の親指900Rが右方向にスライドしたときのタッチパネル140の画面を示す。図17(C)は、ユーザの右手の親指900Rが上下方向にスライドしたときのタッチパネル140の画面を示す。図17(D)は、ユーザの右手の親指900Rが左方向にスライドしたときのタッチパネル140の画面を示す。図17(E)は、ユーザの右手の親指900Rが上下方向にスライドしたときのタッチパネル140の画面を示す。
【0195】
まず、図17(A)に示す状態においては、すなわち図1(B)に示す状態においては、表示装置100がボタン群140Aをタッチパネル140の左部に表示している。この状態において、図17(B)に示すように、ユーザが右手の親指900Rを右にスライドさせると、表示装置100はボタン群140Aのうちの、たとえば中央の列のボタンを拡大して表示する。そして、スライド量(スライド距離)に応じて、拡大すべき列を右方向へ変更する。このとき、表示装置100は、その他の列のボタンを縮小して表示することが好ましい。
【0196】
これによって、手が小さい(指が短い)ユーザであっても、容易にボタン群140Aに含まれるボタンを押下することができるようになる。すなわち、図17(A)に示す状態よりも、ユーザの左手の親指900Lがボタン群140Aに含まれるボタンに届き易くなる。その上、拡大された列のボタンを押し間違え難くなる。
【0197】
図17(C)に示すように、ユーザが右手の親指900Rを上下にスライドさせると、表示装置100はボタン群140Aの右列のボタンのうちの、たとえば上下中央に位置するボタンを拡大して表示する。そして、スライド方向とスライド量(スライド距離)に応じて、右列のボタンのうちで拡大すべきボタンを変更する。このとき、表示装置100は、その他のボタンを縮小して表示することが好ましい。
【0198】
一方、図17(A)に示す状態において、図17(D)に示すように、ユーザが右手の親指900Rを左にスライドさせると、表示装置100はボタン群140Aのうちの、たとえば中央の列のボタンを拡大して表示する。そして、スライド量(スライド距離)に応じて、拡大すべき列を左方向に変更する。このとき、表示装置100は、その他の列のボタンを縮小して表示することが好ましい。
【0199】
これによって、手が小さい(指が短い)ユーザであっても、容易にボタン群140Aに含まれるボタンを押下することができるようになる。すなわち、図17(A)に示す状態よりも、ユーザの左手の親指900Lがボタン群140Aに含まれるボタンに届き易くなる。その上、拡大された列のボタンの押し間違え難くなる。
【0200】
図17(E)に示すように、ユーザが右手の親指900Rを上下にスライドさせると、表示装置100はボタン群140Aの左列のボタンのうちの、たとえば上下中央に位置するボタンを拡大して表示する。そして、スライド方向とスライド量(スライド距離)に応じて、左列のボタンのうちで拡大すべきボタンを変更する。このとき、表示装置100は、その他のボタンを縮小して表示することが好ましい。
【0201】
図示しないが、図1(D)と同様に、ユーザの左手の親指900Lがタッチパネル140上のボタンにタッチすると、表示装置100は、当該ボタンに対応する命令の入力を受け付ける。
【0202】
なお、図1(E)に示す状態において、ユーザが左手の親指900Lをスライドさせた場合の動作についても、上記の動作に基づいて容易に想像できるものであるため、ここでは詳細な説明を繰り返さない。
【0203】
以下、このような機能を実現するための構成について詳述する。なお、本実施の形態に係る表示装置100の全体構成、ハードウェア構成などは、実施の形態1に係る表示装置100のそれと同様であるため、ここでは説明を繰り返さない。
【0204】
<本実施の形態に係る表示装置100の機能構成>
以下では、図3および図14を参照して、本実施の形態に係る表示装置100の機能構成について説明する。なお、以下では、実施の形態1に係る表示装置100と同様の機能を有するブロックについては説明を繰り返さない。
【0205】
表示装置100は、検知部111と、受付部112と、表示制御部114とを含む。また、表示装置100は、図3にも示したように、タッチパネル140とRAM171とを含む。
【0206】
本実施の形態においても、検知部111と、受付部112と、表示制御部114とは、CPU110あるいは画像処理エンジン180などによって実現される機能である。より詳細には、CPU110が有する各機能は、CPU110がRAM171などに記憶される制御プログラムを実行して、図3に示される各ハードウェアを制御することによって実現される機能である。
【0207】
本実施の形態においては、表示制御部114は、CPU110あるいは画像処理エンジン180によって実現される。表示制御部114は、検知部111からの画像データあるいは1または複数の接触位置に基づいて、タッチパネル140にボタン群140Aを表す画像を表示させる。
【0208】
表示制御部114は、検知部111がタッチパネル140の第1のエリアへの1つ目の接触位置を検知したときにボタンを第2のエリアに表示させる。なお、本実施の形態においては、第1のエリアは、タッチパネル140の右部(あるいは左部)である。第2のエリアは、タッチパネル140の左部(あるいは右部)の中の所定エリアである。
【0209】
表示制御部114は、検知部111がタッチパネル140の第3のエリアへの1つ目の接触位置を検知したときにボタン群140Aを第4のエリアに表示させる。本実施の形態においては、第3のエリアは、タッチパネル140の左部(あるいは右部)である。第4のエリアは、タッチパネル140の右部(あるいは左部)の中の所定エリアである。
【0210】
表示制御部114は、検知部111が1つ目の接触位置の左右方向への移動を検知したときに、ボタン群140Aの所定の列のボタンを拡大表示する。すなわち、表示制御部114は、検知部111が1つ目の接触位置の左右方向への移動を検知したときに、当該所定の列以外のボタンを縮小表示する。同時に、表示制御部114は、接触位置の右方向への移動に応じて拡大表示する列を右方向に移動し、接触位置の左方向への移動に応じて拡大表示する列を左方向に移動する。さらに、表示制御部114は、移動量に応じて、拡大表示する列の移動量を変更することが好ましい。
【0211】
表示制御部114は、検知部111が1つ目の接触位置の上下方向への移動を検知したときに、ボタン群140Aのうちの拡大表示されている列の所定のボタンを拡大表示する。すなわち、表示制御部114は、検知部111が1つ目の接触位置の上下方向への移動を検知したときに、当該所定のボタン以外を縮小表示する。同時に、表示制御部114は、上方向への移動に応じて拡大表示するボタンをより上のボタンへと変更し、下方向への移動に応じて拡大表示するボタンをより下のボタンへと変更する。表示制御部114は、移動量に応じて、拡大表示するボタンを変更させることが好ましい。
【0212】
表示制御部114は、検知部111の検知結果に基づいて、外部の物体が存在している(浮遊している)位置の下方に位置するボタンをその他のボタンと異なる表示態様にて表示する。たとえば、表示制御部114は、浮遊位置下方のボタンをその他のボタンよりも拡大して表示する。また、表示制御部114は、浮遊位置の下方のボタン間の間隔を、他のボタン間の間隔よりも拡大して表示する。
【0213】
<表示処理>
次に、図3、図14、図18を参照して、本実施の形態に係る表示装置100における表示処理について説明する。なお、図18は、本実施の形態に係る表示装置100における表示処理の処理手順を示すフローチャートである。なお、本実施の形態に係る表示装置100における表示処理の前半は、図15に示す実施の形態1に係るそれと同様であるため、ここでは詳細な説明を繰り返さない。すなわち、ここでは、図15における1つ目の接触が解除されない場合(ステップS112においてNOである場合)以降の処理について説明する。
【0214】
1つ目の接触が解除されない場合(ステップS112においてNOである場合)、検知部111として機能するCPU110は、タッチパネル140を用いて新たな物体の存在を検知したか否かを判断する(ステップS214)。より詳細には、CPU110は、タッチパネル140を用いて、タッチパネル140の上方であって、1つ目の接触位置とは離間した場所に存在する物体を検知したか否かを判断する。
【0215】
新たな物体の存在を検知しない場合(ステップS214においてNOである場合)、CPU110は、タッチパネル140を用いて1つ目の接触位置が移動したか否かを判断する(ステップS224)。1つ目の接触領域が移動しない場合(ステップS224においてNOである場合)、ステップS212からの処理を繰り返す。
【0216】
1つ目の接触領域が移動する場合(ステップS224においてYESである場合)、表示制御部114として機能するCPU110は、図18(B)〜図18(E)に示すように、ボタン群140Aの一部のボタンを拡大表示するとともに、移動方向および移動量に応じて拡大するボタンを変更する(ステップS226)。CPU110は、ステップS212からの処理を繰り返す。
【0217】
図1(C)および図1(F)に示すように、新たな物体を検知した場合(ステップS214においてYESである場合)、CPU110は、タッチパネル140に、当該物体の先端部の下方に位置するボタンを拡大して表示させる(ステップS216)。CPU110は、当該物体の先端部の下方に位置する複数のボタンの間隔を拡大させてもよい。CPU110は、当該物体の先端部の下方に位置するボタンの周囲のボタンを縮小してもよい。CPU110は、当該物体の先端部の下方に位置するボタンの周囲のボタンをひずませてもよい。
【0218】
なお、本実施の形態においては、接触領域のスライド操作によって拡大されたボタンと、新たな物体の先端部の下方に位置するボタンとが、共に拡大される場合があるものとしている。ただし、ステップS116において、接触領域の移動によって拡大されたボタンは、このときに通常のサイズに戻してもよいし、縮小してもよい。
【0219】
検知部111として機能するCPU110は、タッチパネル140を用いて、新たな接触があったか否かを判断する(ステップS218)。すなわち、CPU110は、1つ目の接触位置を検知している最中に、2つ目の接触位置を検知したか否かを判断する。
【0220】
図1(D)および図1(G)に示すように、新たな接触があった場合(ステップS218においてYESである場合)、CPU110は、新たな接触位置がボタンの表示エリア内であるか否かを判断する(ステップS220)。新たな接触位置がボタンの表示エリア内でない場合(ステップS220においてNOである場合)、CPU110は、ステップS214からの処理を繰り返す。
【0221】
新たな接触位置がボタンの表示エリア内である場合(ステップS220においてYESである場合)、CPU110は、当該ボタンに対する命令を受け付ける(ステップS222)。CPU110は、ステップS214からの処理を繰り返す。
【0222】
このように、本実施の形態においては、表示装置100が1つ目の接触位置の逆側にボタン群140Aを表示し直すので、ユーザが当該逆側の指900L,900Rでボタン群140Aに含まれるボタンを押下し易くなる。また、ユーザが誤ってタッチパネル140にタッチしてしまっても、表示装置100は最初のタッチに対する命令を受け付けないため、表示装置100への命令の誤入力も防止することができる。また、表示装置100はユーザの指900L,900Rの下方に位置するボタン間の間隔を大きくするので、ユーザがボタンを押し間違え難くなる。また、表示装置100はユーザの指900L,900Rのスライド操作に応じて、ボタン群140Aのうち、所望の列に属するボタンや所望のボタンを拡大しつつ、他のボタンを縮小するので、ユーザが当該逆側の指900L,900Rでボタン群140Aに含まれるボタンをさらに押下し易く、押し間違え難くなる。
【0223】
<その他の実施の形態>
本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
【0224】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0225】
プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード(ICメモリカード)、ROM(マスクROM、フラッシュEEPROMなど)などを用いることができる。
【0226】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0227】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0228】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0229】
100 表示装置、101 本体ユニット、102 表示ユニット、110 CPU、111 取得部、112 受付部、114 表示制御部、130 ドライバ、131 走査信号線駆動回路、132 データ信号線駆動回路、133 光センサ駆動回路、134 スイッチ、135 アンプ、140 光センサ内蔵液晶パネル、141 画素回路、141b,141g,141r サブピクセル回路、143 電極対、143a 画素電極、143b 対向電極、144 光センサ回路、145,145b,145g,145r フォトダイオード、146 コンデンサ、151A アクティブマトリクス基板、151B 対向基板、152 液晶層、153b,153g,153r カラーフィルタ、157 データ信号線、161 偏光フィルタ、162 ガラス基板、163 遮光膜、164 配向膜、171 RAM、171A 画像データ、173 メモリカードリーダライタ、174 通信装置、175 マイク、176 スピーカ、177 操作キー、179 バックライト、180 画像処理エンジン、181 ドライバ制御部、182 タイマ、183 信号処理部、900 指、900L 左手の親指、900R 右手の親指、1731 メモリカード、DB1,DB2 データバス。
【技術分野】
【0001】
本発明は、タッチパネルを介してボタンを表示するとともに、当該タッチパネルを介して当該ボタンに対する命令を受け付けるための表示装置、表示方法、および表示プログラムに関する。
【背景技術】
【0002】
従来から、当該タッチパネルを介して画像やテキストを表示することができる表示装置が知られている。このような表示装置の中には、タッチパネルを用いてボタンを表す画像を表示するとともに、タッチパネルのうちのボタンを示すエリアへの接触を検知することによって当該ボタンに対応する命令を受け付けるものがある。
【0003】
たとえば、特開2006−139615号公報(特許文献1)には、表示装置、メニュー表示プログラムおよびタブ表示プログラムが開示されている。特開2006−139615号公報(特許文献1)によると、表示画面に重なる入力領域を有するタッチ入力部を備えた表示装置において、第1のタッチのタッチ位置を中心としてほぼ環状に配置された複数のメニュー項目を含む円形メニューを表示画面上に表示する。第2のタッチに応じて、第1のタッチに対する第2のタッチの相対位置関係に応じて、どのメニュー項目が選択されたかを決定する。その際、円形メニューの表示完了前であっても第2のタッチを受け付ける。タブブラウザ画面内に1つのタブウィンドウとしてTV画面を表示する際、TV画面がフロントとなっている場合となっていない場合とで、TV画面のタブウィンドウのタブのサイズおよび表示内容を変える。
【0004】
また、特開2008−27183号公報(特許文献2)には、情報処理装置が開示されている。特開2008−27183号公報(特許文献2)によると、情報処理装置は、片手で保持可能な大きさの、主表面を有する概略長方体形状を有する扁平な筐体を含み、筐体は、主表面をはさんで配置された第1及び第2の側面を有する。情報処理装置はさらに、主表面に設けられた表示面を有する表示装置と、第1及び第2の側面に設けられ、第1及び第2の側面と人の手との接触領域の分布を検知するためのシート状の感圧センサと、感圧センサの出力に基づいて、表示装置により表示面上に表示される内容を制御するための制御部とを含む。
【0005】
また、特開2005−269243号公報(特許文献3)には、電子機器及びアイコン表示制御方法が開示されている。特開2005−269243号公報(特許文献3)によると、メニュー選択画面には、アイコン、カーソル、インデックス、インジケータ、選択キーが表示されている。インジケータは、複数に分割された扇形部分による指標要素のそれぞれが全体のアイコン配列における各アイコンの位置に対応している。カーソルで指示されたアイコンに対応する扇形部分は、他の扇形部分とは識別可能に表示されている。操作者がシフトキーを押下する度に、アイコンおよびインデックスが回転移動し、カーソルにより指示されるアイコンが置き換わるのに伴い、そのアイコンに対応する扇形部分の色もしくは濃度が変化し、現在選択指示されているアイコンが明瞭に示される。
【0006】
また、特開平6−51908号公報(特許文献4)には、タッチパネル式入力装置を備えた情報処理装置が開示されている。特開平6−51908号公報(特許文献4)によると、指によるタッチ位置から所定方向に所定距離隔てた位置に、ポインタ(矢印)を表示する。指の位置を動かすことで、ポインタの位置を選択項目に合わせることにより、指で隠れない状態で、目で確認しながら、選択項目を指定することを可能にする。したがって、指定したい項目を正確に指示することができ、またポインタの指示点の大きさに応じて、選択項目の間隔を狭めることができるようになる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2006−139615号公報
【特許文献2】特開2008−27183号公報
【特許文献3】特開2005−269243号公報
【特許文献4】特開平6−51908号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、タッチパネルの大きさ、あるいはボタンが表示されるエリアの大きさによっては、ユーザの指がタッチパネルに表示されているボタンを押下し難い場合がある。たとえば、ボタンが広いエリア渡って表示されている場合、小さい手を有するユーザの指が全てのボタンに届かない虞がある。
【0009】
本発明は、このような問題を解決するためになされたものであり、その目的は、ユーザにとってタッチパネルに表示されているボタンが押下し易い表示装置、表示方法、および表示プログラムを提供することである。
【課題を解決するための手段】
【0010】
この発明のある局面に従うと、表示装置が提供される。表示装置は、タッチパネルと、 タッチパネルに対する接触位置を検知する検知手段と、検知手段がタッチパネルの第1のエリアに対する第1の接触位置を検知したときに、ボタンをタッチパネルの第2のエリアに表示させる表示制御手段と、検知手段がタッチパネルを介してボタンに対する第2の接触位置を検知するとボタンの押下を受け付ける受付手段とを備える。
【0011】
好ましくは、検知手段は、タッチパネルに対する複数の接触位置を検知する。受付手段は、検知手段が第1の接触位置を検知しているときに第2の接触位置を検知するとボタンの押下を受け付ける。
【0012】
好ましくは、第1のエリアは、タッチパネルの右部および左部のいずれか一方に位置する。第2のエリアは、タッチパネルの右部および左部の他方に位置する。
【0013】
好ましくは、表示制御手段は、検知手段がタッチパネルの第3のエリアに対する第1の接触位置を検知したときに、ボタンを第4のエリアに表示させる。
【0014】
好ましくは、第3のエリアは、タッチパネルの右部および左部の他方に位置する。第4のエリアは、タッチパネルの右部および左部のいずれか一方に位置する。
【0015】
好ましくは、表示制御手段は、検知手段が接触位置を検知しないときに、ボタンをタッチパネルの第5のエリアに表示させる。
【0016】
好ましくは、検知手段は、タッチパネルを用いて第1の接触位置の移動方向を取得する。表示制御手段は、ボタンの表示位置を移動方向に移動する。
【0017】
好ましくは、タッチパネルは、入射光に応じて第1の電気信号を生成する複数の光センサ回路と、第2の電気信号に応じて光を発する複数の画素回路とを含む。検知手段は、複数の光センサ回路からの第1の電気信号に基づき、接触位置を示す画像データを取得する。表示制御手段は、第2の電気信号を複数の画素回路へ入力することによって、複数の画素回路にボタンを表示させる。
【0018】
好ましくは、検知手段は、画像データに基づいて、タッチパネル上方の物体の位置を検知する。表示制御手段は、物体の位置の下方のボタンをその他のボタンと異なる表示態様にて表示する。
【0019】
好ましくは、表示制御手段は、物体の位置の下方のボタンをその他のボタンよりも拡大して表示する。
【0020】
好ましくは、表示制御手段は、物体の位置の下方のボタン間の間隔を、他のボタン間の間隔よりも拡大して表示する。
【0021】
この発明の別の局面に従うと、タッチパネルと演算処理部とを備える表示装置における表示方法が提供される。表示方法は、演算処理部が、タッチパネルへの接触位置を検知するステップと、演算処理部が、タッチパネルの第1のエリアに対する第1の接触位置を検知したときに、ボタンをタッチパネルの第2のエリアに表示させるステップと、演算処理部が、タッチパネルを介してボタンに対する第2の接触位置を検知するとボタンの押下を受け付けるステップとを備える。
【0022】
この発明の別の局面に従うと、タッチパネルと演算処理部とを備える表示装置にボタンを表示させるための表示プログラムが提供される。表示プログラムは、演算処理部に、タッチパネルへの接触位置を検知するステップと、タッチパネルの第1のエリアに対する第1の接触位置を検知したときに、ボタンをタッチパネルの第2のエリアに表示させるステップと、タッチパネルを介してボタンに対する第2の接触位置を検知するとボタンの押下を受け付けるステップとを実行させる。
【発明の効果】
【0023】
以上のように、本発明によって、ユーザにとってタッチパネルに表示されているボタンが押下し易い表示装置、表示方法、および表示プログラムが提供される。
【図面の簡単な説明】
【0024】
【図1】実施の形態1に係る表示装置の第1の動作概要を示すイメージ図である。
【図2】実施の形態1に係る表示装置の第2の動作概要を示すイメージ図である。
【図3】本実施の形態に係る表示装置のハードウェア構成を表わすブロック図である。
【図4】タッチパネルの構成と当該タッチパネルの周辺回路とを示した図である。
【図5】タッチパネルとバックライトとの断面図である。
【図6】光センサ回路を動作させる際のタイミングチャートを示した図である。
【図7】スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した断面図である。
【図8】センシングコマンドの概略構成を示した図である。
【図9】センシングコマンドの各領域におけるデータの値と当該値が示す意味内容とを示した図である。
【図10】応答データの概略構成を示した図である。
【図11】指をスキャンすることにより得られた画像を示した図である。
【図12】光センサ内蔵液晶パネルの変形例を示す回路図である。
【図13】スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。
【図14】本実施の形態に係る表示装置の機能構成を示すブロック図である。
【図15】実施の形態1に係る表示装置における表示処理の処理手順を示す第1のフローチャートである。
【図16】実施の形態1に係る表示装置における表示処理の処理手順を示す第2のフローチャートである。
【図17】実施の形態2に係る表示装置の第3の動作概要を示すイメージ図である。
【図18】実施の形態2に係る表示装置における表示処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0025】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0026】
[実施の形態1]
<表示装置100の概略構成>
まず、図1を参照して、タッチパネルを有する表示装置の一例としての、本実施の形態に係る光センサ内蔵液晶パネル140(以下、タッチパネル140ともいう。)を有する表示装置100の概略構成について説明する。なお、表示装置100は、PDA(Personal Digital Assistant)、パーソナルコンピュータ、携帯型電話機、電子辞書などの情報機器によって実現される。
【0027】
図1は、本実施の形態に係る表示装置100の第1の動作概要を示すイメージ図である。より詳細には、図1(A)は、通常時において複数のボタン(以下、ボタン群140Aともいう。)がタッチパネル140の中央に表示されているときのタッチパネル140の画面を示すイメージ図である。図1(B)は、ユーザの右手の親指900Rがタッチパネル140の右部にタッチしたときのタッチパネル140の画面を示す。図1(C)は、ユーザの左手の親指900Lがボタン群140Aの上方に位置した(タッチしていない)ときのタッチパネル140の画面を示す。図1(D)は、ユーザの左手の親指900Lがボタンにタッチしたときのタッチパネル140の画面を示す。図1(E)は、ユーザの左手の親指900Lがタッチパネル140の左部にタッチしたときのタッチパネル140の画面を示す。図1(F)は、ユーザの右手の親指900Rがボタン群140Aの上方に位置した(タッチしていない)ときのタッチパネル140の画面を示す。図1(G)は、ユーザの右手の親指900Rがボタンにタッチしたときのタッチパネル140の画面を示す。
【0028】
図1を参照して、表示装置100は、タッチパネル140を含む。タッチパネル140は、ユーザの指やスタイラスペンなどをよるタッチ操作を受け付ける。表示装置100は、タッチパネル140を介して当該タッチ操作に対応する命令を実行する。本実施の形態に係るタッチパネル140は、外部の物体とタッチパネル140との接触位置(接触領域)を検知することができる。タッチパネル140は、本実施の形態に係る光センサ内臓液晶パネル140であってもよいし、多数の接触位置が検知できる静電容量方式や赤外線方式のタッチパネルであっても良い。
【0029】
<表示装置100の動作概要1>
次に、本実施の形態に係る表示装置100の第1の動作概要について説明する。まず、図1(A)を参照して、表示装置100は、ユーザの指がタッチパネル140に触れていない状態(以下、通常状態ともいう。)においては、ボタン群140Aをタッチパネル140の中央に表示する。
【0030】
通常状態においてユーザの右手の親指900Rがタッチパネル140の右部にタッチすると、図1(B)に示すように、表示装置100はボタン群140Aをタッチパネル140の左部に表示する。これによって、ユーザは、左手の親指900Lによってボタン群140Aに含まれるボタンを押下し易くなる。
【0031】
ユーザの左手の親指900Lがボタン群140Aの上方に位置すると、図1(C)に示すように、表示装置100は、ユーザの左手の親指900Lの先端の下方に位置するボタンを拡大して表示する。このとき、表示装置100は、ユーザの左手の親指900Lの下方に位置するボタン間の間隔を大きくする。これによって、ユーザがボタンを押し間違え難くなる。図1(D)に示すように、ユーザの左手の親指900Lがタッチパネル140上のボタンにタッチすると、表示装置100は、当該ボタンに対応する命令の入力を受け付ける。
【0032】
一方、通常状態においてユーザの左手の親指900Lがタッチパネル140の左部にタッチすると、図1(E)に示すように、表示装置100はボタン群140Aをタッチパネル140の右部に表示する。これによって、ユーザは、右手の親指900Rによってボタン群140Aに含まれるボタンを押下し易くなる。
【0033】
ユーザの右手の親指900Rがボタン群140Aの上方に位置すると、図1(F)に示すように、表示装置100は、ユーザの右手の親指900Rの下方に位置するボタンを拡大して表示する。このとき、表示装置100は、ユーザの右手の親指900Rの下方に位置するボタン間の間隔を大きくする。これによって、ユーザがボタンを押し間違え難くなる。図1(G)に示すように、ユーザの右手の親指900Rがタッチパネル140上のボタンにタッチすると、表示装置100は、当該ボタンに対応する命令の入力を受け付ける。
【0034】
このように、本実施の形態に係る表示装置100は、タッチパネル140のうち、ユーザが最初に一方の指(900R)でタッチしたサイドと逆のサイドにボタン群140Aを表示するため、ユーザが他方の指(900L)でボタン群140Aに含まれるボタンを押下し易くなる。また、通常状態において、ユーザが誤ってタッチパネル140にタッチしてしまっても、表示装置100は最初のタッチに対する命令を受け付けないため、表示装置100への命令の誤入力も防止することができる。たとえば、ユーザがカバンから表示装置100を取り出す際などに、ユーザが誤った命令を表示装置100に入力することを防止することができる。
【0035】
<表示装置100の動作概要2>
さらに、本実施の形態に係る表示装置100は、以下のような機能も有する。図2は、本実施の形態に係る表示装置100の第2の動作概要を示すイメージ図である。より詳細には、図2(A)は、図1(B)と同様に、ユーザの右手の親指900Rがタッチパネル140の右部にタッチしたときのタッチパネル140の画面を示す。図2(B)は、ユーザの右手の親指900Rが左下方向にスライドしたときのタッチパネル140の画面を示す。図2(C)は、ユーザの左手の親指900Lがボタン群140Aの上方に位置した(タッチしていない)ときのタッチパネル140の画面を示す。図2(D)は、ユーザの右手の親指900Rが左上方向にスライドしたときのタッチパネル140の画面を示す。図2(E)は、ユーザの右手の親指900Rがボタン群140Aの上方に位置した(タッチしていない)ときのタッチパネル140の画面を示す。
【0036】
まず、図2(A)に示す状態においては、すなわち図1(B)に示す状態においては、表示装置100がボタン群140Aをタッチパネル140の左部に表示している。この状態において、図2(B)に示すようにユーザが右手の親指900Rを左下にスライドさせると、表示装置100はボタン群140Aを全体的に縮小して、当該縮小したボタン群140Aをタッチパネル140の左下に表示する。これによって、手が小さい(指が短い)ユーザであっても、容易にボタン群140Aに含まれるボタンを押下することができるようになる。すなわち、図2(A)に示す状態よりも、ユーザの左手の親指900Lがボタン群140Aに含まれるボタンに届き易くなる。
【0037】
ユーザの左手の親指900Lがボタン群140Aの上方に位置すると、図2(C)に示すように、表示装置100は、ユーザの左手の親指900Lの下方に位置するボタンを拡大して表示する。このとき、表示装置100は、ユーザの左手の親指900Lの下方に位置するボタン間の間隔を大きくする。これによって、ユーザがボタンを押し間違え難くなる。図示しないが、図1(D)と同様に、ユーザの左手の親指900Lがタッチパネル140上のボタンにタッチすると、表示装置100は、当該ボタンに対応する命令の入力を受け付ける。
【0038】
一方、図2(A)に示す状態において、図2(D)に示すようにユーザが右手の親指900Rを左上にスライドさせると、表示装置100はボタン群140Aを全体的に縮小して、当該縮小したボタン群140Aをタッチパネル140の左上に表示する。これによって、手が小さい(指が短い)ユーザであっても、容易にボタン群140Aに含まれるボタンを押下することができるようになる。すなわち、図2(A)に示す状態よりも、ユーザの左手の親指900Lがボタン群140Aに含まれるボタンに届き易くなる。
【0039】
ユーザの左手の親指900Lがボタン群140Aの上方に位置すると、図2(E)に示すように、表示装置100は、ユーザの左手の親指900Lの下方に位置するボタンを拡大して表示する。このとき、表示装置100は、ユーザの左手の親指900Lの下方に位置するボタン間の間隔を大きくする。これによって、ユーザがボタンを押し間違え難くなる。図示しないが、図1(D)と同様に、ユーザの左手の親指900Lがタッチパネル140上のボタンにタッチすると、表示装置100は、当該ボタンに対応する命令の入力を受け付ける。
【0040】
なお、ユーザが右手の親指900Rを右上や右下などにスライドさせた場合の動作については、上記の動作に基づいて容易に想像できるものであるため、ここでは詳細な説明を繰り返さない。また、図1(E)に示す状態において、ユーザが左手の親指900Lをスライドさせた場合の動作についても、上記の動作に基づいて容易に想像できるものであるため、ここでは詳細な説明を繰り返さない。
【0041】
以下、このような機能を実現するための構成について詳述する。
<表示装置100のハードウェア構成>
次に、本実施の形態に係る表示装置100の具体的構成の一態様について説明する。図3は、本実施の形態に係る表示装置100のハードウェア構成を表わすブロック図である。図3を参照して、表示装置100は、主たる構成要素として、本体ユニット101と、表示ユニット102とを含む。
【0042】
本体ユニット101は、CPU(Central Processing Unit)110と、RAM(Random Access Memory)171と、ROM(Read-Only Memory)172と、メモリカードリーダライタ173と、通信部174と、マイク175と、スピーカ176と、操作キー177とを含む。各構成要素は、相互にデータバスDB1によって接続されている。メモリカードリーダライタ173には、メモリカード1731が装着される。
【0043】
CPU110は、プログラムを実行する。操作キー177は、表示装置100のユーザによる指示の入力を受ける。RAM171は、CPU110によるプログラムの実行により生成されたデータ、または操作キー177を介して入力されたデータを揮発的に格納する。ROM172は、データを不揮発的に格納する。また、ROM172は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどの書き込みおよび消去が可能なROMである。通信部174は、図示しない他の電子機器との間で無線通信を行なう。なお、図3には図示していないが、表示装置100が、他の電子機器に有線により接続するためのインターフェイス(IF)を含む構成としてもよい。
【0044】
表示ユニット102は、ドライバ130と、光センサ内蔵液晶パネル140(タッチパネル140)と、内部IF178と、バックライト179と、画像処理エンジン180とを含む。
【0045】
ドライバ130は、タッチパネル140およびバックライト179を駆動するための駆動回路である。ドライバ130に含まれる各種の駆動回路については、後述する。
【0046】
タッチパネル140は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、タッチパネル140は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行なうことができる。タッチパネル140の詳細については、後述する。
【0047】
内部IF(Interface)178は、本体ユニット101と表示ユニット102との間で、データの遣り取りを仲介する。
【0048】
バックライト179は、タッチパネル140の裏面に配置された光源である。バックライト179は、当該裏面に対して均一な光を照射する。
【0049】
画像処理エンジン180は、ドライバ130を介してタッチパネル140の動作を制御する。ここで、当該制御は、内部IF178を介して本体ユニット101から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン180は、タッチパネル140から出力されるデータを処理し、処理したデータを内部IF178を介して本体ユニット101に送る。さらに、画像処理エンジン180は、ドライバ制御部181と、タイマ182と、信号処理部183とを含む。
【0050】
ドライバ制御部181は、ドライバ130に対して制御信号を送ることによりドライバ130の動作を制御する。また、ドライバ制御部181は、本体ユニット101から送られてくるコマンドを解析する。そして、ドライバ制御部181は、当該解析の結果に基づいた制御信号をドライバ130に送る。ドライバ130の動作の詳細については、後述する。
【0051】
タイマ182は、時刻情報を生成し、信号処理部183に対して時刻情報を送る。
信号処理部183は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部183は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部183は、当該デジタルデータに対して、本体ユニット101から送られてくるコマンドの内容に応じたデータ処理を行なう。そして、信号処理部183は、上記データ処理を行った後のデータと、タイマ182から取得した時刻情報とを含んだデータ(以下、応答データと称する)を本体ユニット101に送る。また、信号処理部183は、後述するスキャンデータを連続して複数格納できるRAM(図示せず)を備えている。
【0052】
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する(図8〜図10)。
【0053】
なお、タイマ182は、必ずしも画像処理エンジン180に備えられている必要はない。たとえば、タイマ182は、表示ユニット102内における、画像処理エンジン180の外部に備えられていてもよい。あるいは、タイマ182は、本体ユニット101に備えられていてもよい。また、マイク175およびスピーカ176は、表示装置100が常に含む構成ではなく、表示装置100の実施例によっては、マイク175およびスピーカ176のいずれかあるいは両方を有さない構成であってもよい。
【0054】
ここで、表示ユニット102は、システム液晶を含んでいる。なお、システム液晶とは、タッチパネル140の周辺機器を当該タッチパネル140のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、タッチパネル140のガラス基板上に一体形成されている。なお、表示ユニット102が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、上記ガラス基板以外の基板に構成されていてもよい。
【0055】
ところで、表示装置100における処理は、各ハードウェアおよびCPU110により実行されるソフトウェアによって実現される。このようなソフトウェアは、ROM172に予め記憶されている場合がある。また、ソフトウェアは、メモリカード1731その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ173その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部174または通信IF(図示せず)を介してダウンロードされた後、ROM172に一旦格納される。そのソフトウェアは、CPU110によってROM172から読み出され、RAM171に実行可能なプログラムの形式で格納される。CPU110は、そのプログラムを実行する。
【0056】
図3に示される表示装置100の本体ユニット101を構成する各構成要素は、一般的なものである。したがって、本実施の形態の本質的な部分は、RAM171、ROM172、メモリカード1731その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、表示装置100の本体ユニット101のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【0057】
なお、記憶媒体としては、メモリカードに限られず、CD−ROM、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【0058】
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【0059】
<タッチパネル140の構成および駆動について>
次に、タッチパネル140の構成と、当該タッチパネル140の周辺回路の構成とについて説明する。図4は、タッチパネル140の構成と、当該タッチパネル140の周辺回路とを示した図である。
【0060】
図4を参照して、タッチパネル140は、画素回路141と、光センサ回路144と、走査信号線Giと、データ信号線SRjと、データ信号線SGjと、データ信号線SBjと、センサ信号線SSjと、センサ信号線SDjと、読出信号線RWiと、リセット信号線RSiとを含む。なお、iは、1≦i≦mを満たす自然数であり、jは1≦j≦nを満たす自然数である。
【0061】
また、図3に示した表示ユニット102のドライバ130は、タッチパネル140の周辺回路として、走査信号線駆動回路131と、データ信号線駆動回路132と、光センサ駆動回路133と、スイッチ134と、アンプ135とを含む。
【0062】
走査信号線駆動回路131は、図3に示すドライバ制御部181から制御信号TC1を受ける。そして、走査信号線駆動回路131は、制御信号TC1に基づき、各走査信号線(G1〜Gm)に対して、走査信号線G1から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路131は、単位時間毎に走査信号線(G1〜Gm)の中から1つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するTFT(Thin Film Transistor)142のゲートをターンオンできるだけの電圧(以下、ハイレベル電圧)を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
【0063】
データ信号線駆動回路132は、図3に示すドライバ制御部181から画像データ(DR,DG,DB)を受ける。そして、データ信号線駆動回路132は、3n個のデータ信号線(SR1〜SRn,SG1〜SGn,SB1〜SBn)に対して、上記単位時間毎に、1行分の画像データに対応する電圧を順次印加する。
【0064】
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
【0065】
画素回路141は、1つの画素の輝度(透過率)を設定するための回路である。また、画素回路141は、マトリクス状にm×n個配されている。より詳しくは、画素回路141は、図4の縦方向にm個、横方向にn個配されている。
【0066】
画素回路141は、Rサブピクセル回路141rと、Gサブピクセル回路141gと、Bサブピクセル回路141bとからなる。これら3つの回路(141r,141g,141b)は、それぞれ、TFT142と、画素電極と対向電極とからなる1組の電極対143と、図示しないコンデンサとを含む。
【0067】
なお、n型のトランジスタとp型のトランジスタとを作れるCMOS(Complementary Metal Oxide Semiconductor)を実現できること、キャリア(電子または正孔)の移動速度がアモルファスシリコン薄膜トランジスタ(a-Si TFT)に比べて数百倍早いことなどから、表示ユニット102では、TFT142として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、TFT142は、n型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT142がp型チャネルの電界効果トランジスタであってもよい。
【0068】
Rサブピクセル回路141r内のTFT142のソースはデータ信号線SRjに接続されている。また、当該TFT142のゲートは走査信号線Giに接続されている。さらに、当該TFT142のドレインは、電極対143の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Gサブピクセル回路141gおよびBサブピクセル回路141bについても、各TFT142のソースが接続されるデータ信号線が異なる以外は、Rサブピクセル回路141rと同じ構成である。このため、これら2つの回路(141g,141b)についての説明は、繰り返さない。
【0069】
ここで、画素回路141における輝度の設定について説明する。まず、走査信号線Giに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、TFT142のゲートがターンオンする。このようにTFT142のゲートがターンオンした状態で、各データ信号線(SRj,SGj,SBj)に対して、それぞれ指定された電圧(1画素分の画像データに対応する電圧)を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ(補助容量)によって、次のフレーム期間において走査信号線Giが選択されるまで保持される。
【0070】
光センサ駆動回路133は、図3に示すドライバ制御部181から制御信号TC2を受ける。
【0071】
そして、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎にリセット信号線(RS1〜RSm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDRを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧VSSRを印加したままとする。たとえば、電圧VDDRを0Vに、電圧VSSRを−5Vに設定すればよい。
【0072】
また、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎に読出信号線(RW1〜RWm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDを印加する。なお、選択されていない読出信号線に対しては、上記電圧VSSRを印加したままとする。たとえば、VDDの値を8Vに設定すればよい。
【0073】
なお、電圧VDDRを印加するタイミング、および電圧VDDを印加するタイミングについては、後述する。
【0074】
光センサ回路144は、フォトダイオード145と、コンデンサ146と、TFT147とを含む。なお、以下では、TFT147がn型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT147がp型チャネルの電界効果トランジスタであってもよい。
【0075】
フォトダイオード145のアノードは、リセット信号線RSiに接続されている。一方、フォトダイオード145のカソードは、コンデンサ146の一方の電極に接続されている。また、コンデンサ146の他方の電極は、読出信号線RWiに接続されている。なお、以下では、フォトダイオード145とコンデンサ146との接続点をノードNと称する。
【0076】
TFT147のゲートは、ノードNに接続されている。また、TFT147のドレインは、センサ信号線SDjに接続されている。さらに、TFT147のソースは、センサ信号線SSjに接続されている。光センサ回路144を用いたセンシングの詳細については、後述する。
【0077】
スイッチ134は、センサ信号線(SD1〜SDn)に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ134の切り換え動作は、光センサ駆動回路133により行われる。なお、スイッチ134が導通状態となった場合にセンサ信号線(SD1〜SDn)に印加される電圧については、後述する。
【0078】
アンプ135は、各センサ信号線(SS1〜SSn)から出力された電圧を増幅する。なお、増幅された電圧は、図3に示した信号処理部183に送られる。
【0079】
なお、画素回路141を用いて画像をタッチパネル140に表示させるタイミングと、光センサ回路144を用いてセンシングするタイミングとについては、画像処理エンジン180が制御する。
【0080】
図5は、タッチパネル140とバックライト179との断面図である。図5を参照して、タッチパネル140は、アクティブマトリクス基板151Aと、対向基板151Bと、液晶層152とを含む。対向基板151Bは、アクティブマトリクス基板151Aに対向して配されている。液晶層152は、アクティブマトリクス基板151Aと対向基板151Bとに挟まれている。バックライト179は、アクティブマトリクス基板151Aに関し液晶層152と反対側に配されている。
【0081】
アクティブマトリクス基板151Aは、偏光フィルタ161と、ガラス基板162と、電極対143を構成する画素電極143aと、フォトダイオード145と、データ信号線157と、配向膜164とを含む。さらに、図5には示していないが、アクティブマトリクス基板151Aは、図4に示した、コンデンサ146と、TFT147と、TFT142と、走査信号線Giとを含む。
【0082】
また、アクティブマトリクス基板151Aにおいては、バックライト179側から、偏光フィルタ161、ガラス基板162、画素電極143a、および配向膜164が、この順に配されている。フォトダイオード145とデータ信号線157とは、ガラス基板162の液晶層152側に形成されている。
【0083】
対向基板151Bは、偏光フィルタ161と、ガラス基板162と、遮光膜163と、カラーフィルタ(153r,153g,153b)と、電極対143を構成する対向電極143bと、配向膜164とを含む。
【0084】
また、対向基板151Bにおいては、液晶層152側から、配向膜164、対向電極143b、カラーフィルタ(153r,153g,153b)、ガラス基板162、および偏光フィルタ161が、この順に配されている。遮光膜163は、カラーフィルタ(153r,153g,153b)と同一の層に形成されている。
【0085】
カラーフィルタ153rは、赤色の波長の光を透過させるフィルタである。カラーフィルタ153gは、緑色の波長の光を透過させるフィルタである。カラーフィルタ153bは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード145は、カラーフィルタ153bに対向する位置に配されている。
【0086】
タッチパネル140は、外光やバックライト179などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、タッチパネル140は、画素電極143aと対向電極143bとの間に電圧を印加することにより液晶層152の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ161を配置している。
【0087】
なお、フォトダイオード145の位置は、上記の位置に限定されるものではなく、カラーフィルタ153rに対向する位置やカラーフィルタ153gに対向する位置に設けることも可能である。
【0088】
ここで、光センサ回路144の動作について説明する。図6は、光センサ回路144を動作させる際のタイミングチャートを示した図である。図6において、電圧VINTは、光センサ回路144内のノードNにおける電位を示している。また、電圧VPIXは、図4に示したセンサ信号線SSjからの出力電圧であって、アンプ135によって増幅される前の電圧を示している。
【0089】
以下では、光センサ回路144をリセットするためのリセット期間と、光センサ回路144を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
【0090】
まず、リセット期間について説明する。リセット期間においては、リセット信号線RSiに印加する電圧を、ローレベル(電圧VSSR)からハイレベル(電圧VDDR)へと瞬間的に切り換える。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。このように、リセット信号線RSiに上記ハイレベルの電圧を印加することにより、フォトダイオード145の順方向(アノード側からカソード側)に電流が流れ始める。その結果、ノードNの電位である電圧VINTは、以下の式(1)で示す値となる。なお、式(1)では、フォトダイオード145における順方向の電圧降下量をVfとしている。
【0091】
VINT=VSSR+|VDDR−VSSR|−Vf … (1)
それゆえ、ノードNの電位は、図6に示すとおり、電圧VDDRよりもVfだけ小さな値となる。
【0092】
ここで、電圧VINTは、TFT147のゲートをターンオンさせる閾値以下であるため、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。また、コンデンサ146の電極間には、上記電圧VINT分の差が生じる。このため、コンデンサ146には、当該差に応じた電荷が蓄積される。
【0093】
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線RSiに印加する電圧は、ハイレベル(電圧VDDR)からローレベル(電圧VSSR)へと瞬間的に切り換わる。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。
【0094】
このように、リセット信号線RSiに印加する電圧をローレベルに変化させることにより、ノードNの電位は、リセット信号線RSiの電圧および読出信号線RWiの電圧よりも高くなる。このため、フォトダイオード145においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード145は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード145が受光すると、フォトダイオード145のカソード側からアノード側へと電流が流れ始める。その結果、図6に示すとおり、ノードNの電位(つまり、電圧VINT)は時間の経過とともに低くなる。
【0095】
なお、このように電圧VINTが低下し続けるため、TFT147のゲートはターンオンした状態にはならない。それゆえ、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。
【0096】
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線RSiに印加する電圧をローレベル(電圧VSSR)のままとする。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)からハイレベル(電圧VDD)へと瞬間的に切り換わる。ここで、電圧VDDは、電圧VDDRよりも高い値である。
【0097】
このように、読出信号線RWiにハイレベルの電圧を瞬間的に印加することにより、図6に示すとおり、コンデンサ146を介してノードNの電位が引き上げられる。なお、ノードNの電位の上昇幅は、読出信号線RWiに印加する電圧に応じた値となる。ここで、ノードNの電位(つまり、電圧VINT)が、TFT147のゲートをターンオンさせる閾値以上まで引き上げられるため、TFT147のゲートがターンオンする。
【0098】
この際、TFT147のドレイン側に接続されたセンサ信号線SDj(図4参照)に予め一定電圧を印加しておけば、TFT147のソース側に接続されたセンサ信号線SSjからは、図6のVPIXのグラフに示すとおり、ノードNの電位に応じた電圧が出力される。
【0099】
ここで、フォトダイオード145が受光する光の量(以下、受光量と称する)が少ないと、図6のVINTのグラフに示す直線の傾きが緩やかになる。その結果、電圧VPIXは、受光量が多い場合に比べて高くなる。このように、光センサ回路144は、フォトダイオード145の受光量に応じて、センサ信号線SSjに出力する電圧の値を変化させる。
【0100】
ところで、上記においては、m×n個存在する光センサ回路のうち、1つの光センサ回路144に着目して、その動作を説明した。以下では、タッチパネル140における各光センサ回路の動作について説明する。
【0101】
まず、光センサ駆動回路133は、n個のセンサ信号線(SD1〜SDn)の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路133は、リセット信号線RS1に対して、通常よりもハイレベルな電圧VDDRを印加する。なお、他のリセット信号線(RS2〜RSm)および読出信号線(RW1〜RWm)については、ローレベルの電圧を印加したままの状態とする。これにより、図4における1行目のn個の光センサ回路が、上述したリセット期間に入る。その後、1行目のn個の光センサ回路は、センシング期間に入る。さらに、その後、1行目のn個の光センサ回路は、読出期間に入る。
【0102】
なお、n個のセンサ信号線(SD1〜SDn)の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
【0103】
1行目のn個の光センサ回路の読出期間が終了すると、光センサ駆動回路133は、リセット信号線RS2に対して、通常よりもハイレベルな電圧VDDRを印加する。つまり、2行目のn個の光センサ回路のリセット期間に入る。リセット期間が終了すると、2行目のn個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
【0104】
以降は、上述した処理が、順に、3行目のn個の光センサ回路、4行目のn個の光センサ回路、…m行目のn個の光センサ回路に対して行われる。その結果、センサ信号線(SS1〜SSn)からは、1行目のセンシング結果、2行目のセンシング結果、…、m行目のセンシング結果が、この順に出力される。
【0105】
なお、表示ユニット102においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果がタッチパネル140から出力される。このため、以下では、タッチパネル140から出力される1行目からm行目までのm行分の電圧に関するデータに対して、信号処理部183が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物(たとえば、ユーザの指)をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
【0106】
また、上記においては、m×n個の光センサ回路全てを用いてスキャンを行なう構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、タッチパネル140の表面の一部の領域に関してスキャンを行なうことも構成としてもよい。
【0107】
以下では、表示装置100が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー177を介した入力などに基づく本体ユニット101から送られてくるコマンドにより行われるものとする。なお、タッチパネル140の表面の一部の領域に関してスキャンを行なう場合、画像処理エンジン180が、スキャン対象領域の設定を行なう。なお、当該領域の設定を、操作キー177を介してユーザが指定できる構成としてもよい。
【0108】
このように、タッチパネル140の表面の一部の領域に関してスキャンを行なう場合には、画像の表示に関し、以下のような利用の態様がある。1つ目は、上記一部の領域(以下、スキャン領域と称する)以外の表面の領域において、画像を表示させる態様である。2つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体ユニット101から画像処理エンジン180に送られてくるコマンドに基づく。
【0109】
図7は、タッチパネル140とバックライト179との断面図であって、スキャンの際にフォトダイオード145がバックライト179からの光を受光する構成を示した図である。
【0110】
図7を参照して、ユーザの指900がタッチパネル140の表面に接触している場合、バックライト179から発せられた光の一部は、当該接触している領域ではユーザの指900(略平面)にて反射される。そして、フォトダイオード145は、当該反射された光を受光する。
【0111】
また、指900が接触していない領域においても、バックライト179から発せられた光の一部は、ユーザの指900にて反射される。この場合においても、フォトダイオード145は、当該反射された光を受光する。ただし、当該領域においてはタッチパネル140の表面に指900が接触していないため、指900が接触している領域よりも、フォトダイオード145の受光量は少なくなる。なお、バックライト179から発せられた光のうち、ユーザの指900に到達しない光のほとんどについては、フォトダイオード145は受光できない。
【0112】
ここで、バックライト179を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路144は、ユーザの指900により反射した光の光量に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179の点灯と消灯とを制御することにより、タッチパネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、タッチパネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
【0113】
以上により、表示ユニット102は、指900によって光が反射されることにより得られる像(以下、反射像とも称する)をスキャンすることができる。なお、指900以外のスキャン対象物としては、スタイラスペンなどが挙げられる。
【0114】
ところで、本実施の形態においては、表示装置100の表示装置としてタッチパネルを例に挙げて説明しているが、タッチパネルの代わりに有機EL(Electro-Luminescence)パネルなどの他のパネルを用いてもよい。
【0115】
<データについて>
次に、センシングコマンドについて説明する。なお、表示ユニット102においては、画像処理エンジン180は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ(つまり、応答データ)を本体ユニット101に送り返す。
【0116】
図8は、センシングコマンドの概略構成を示した図である。図8を参照して、センシングコマンドは、ヘッダのデータ領域DA01と、タイミングを示すデータ領域DA02と、データ種別を示すデータ領域DA03と、読取方式を示すデータ領域DA04と、画像階調を示すデータ領域DA05と、解像度を示すデータ領域DA06と、予備のデータ領域DA07とを含む。
【0117】
図9は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
【0118】
図9を参照して、タイミングを示すデータ領域に「00」が設定されたセンシングコマンドは、画像処理エンジン180に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン180が受信した後に、光センサ回路144を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「01」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「10」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。
【0119】
データ種別を示すデータ領域に「001」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「010」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「100」が設定されたセンシングコマンドは、全体画像の送信を要求する。
【0120】
ここで、「全体画像」とは、m×n個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン180により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
【0121】
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、タッチパネル140の表面の一部の領域に関してスキャンを行なう構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
【0122】
読取方式を示すデータ領域に「00」が設定されたセンシングコマンドは、バックライト179を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「01」が設定されたセンシングコマンドは、バックライト179を消灯してスキャンすることを要求する。なお、バックライト179を消灯してスキャンする構成については後述する(図13)。さらに、読取方式を示すデータ領域に「10」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト179を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行なうことを指す。
【0123】
画像階調を示すデータ領域に「00」が設定されたセンシングコマンドは、白黒の2値の画像データを要求する。たとえば、CPU110が、接触領域を示すデータとして2値画像データを画像処理エンジン180に要求してもよい。画像処理エンジン180が、後述する検知部111を実現してもよい。また、画像階調を示すデータ領域に「01」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「10」が設定されたセンシングコマンドは、RGBのカラーの画像データを要求する。
【0124】
解像度を示すデータ領域に「0」が設定されたセンシングコマンドは、解像度の高い画像データを要求する。また、解像度を示すデータ領域に「1」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。
【0125】
また、センシングコマンドには、図8および図9に示したデータ以外に、スキャンを行なう領域(光センサ回路144を駆動する画素の領域)の指定、スキャンを行なうタイミング、バックライト179の点灯のタイミングなどが記述されている。
【0126】
図10は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示ユニット102の画像処理エンジン180が本体ユニット101に対して送信するデータである。
【0127】
図10を参照して、応答データは、ヘッダのデータ領域DA11と、座標を示すデータ領域DA12と、時刻を示すデータ領域DA13と、画像を示すデータ領域DA14とを含む。ここで、座標を示すデータ領域DA12には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン180のタイマ182から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン180により処理がされた後の画像データ(つまり、スキャンデータ)が書き込まれる。
【0128】
図11は、指900をスキャンすることにより得られた画像(つまり、スキャン画像)を示した図である。図11を参照して、太実線で囲まれた領域W1の画像が全体画像であり、破線で囲まれた領域P1の画像が部分画像である。また、太線で示した十字の中心点C1が、中心座標となる。
【0129】
本実施の形態では、矩形の領域であって、かつセンサ信号線SSjからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素(つまり、予め定められた階調または予め定められた輝度以上の画素)全てを含む領域を、部分画像の領域としている。
【0130】
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点(つまり図心)との距離とに基づき、重み付け処理を行なうことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
【0131】
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
【0132】
センシングコマンドのデータ種別を示すデータ領域に「001」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に上記中心座標の値を書き込む。この場合、画像処理エンジン180は、画像を示すデータ領域DA14には画像データを書き込まない。画像処理エンジン180は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体ユニット101に送る。このように、データ種別を示すデータ領域に「001」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
【0133】
また、センシングコマンドのデータ種別を示すデータ領域に「010」が設定されている場合には、画像処理エンジン180は、画像を示すデータ領域DA14に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン180は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン180は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体ユニット101に送る。このように、データ種別を示すデータ領域に「010」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
【0134】
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指900などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
【0135】
また、センシングコマンドのデータ種別を示すデータ領域に「011」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン180は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体ユニット101に送る。このように、データ種別を示すデータ領域に「011」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
【0136】
また、センシングコマンドのデータ種別を示すデータ領域に「100」が設定されている場合には、画像処理エンジン180は、図10に示した応答データの画像を示すデータ領域DA14に、全体画像の画像データを書き込む。この場合、画像処理エンジン180は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン180は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体ユニット101に送る。このように、データ種別を示すデータ領域に「100」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
【0137】
また、センシングコマンドのデータ種別を示すデータ領域に「101」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14に全体画像の画像データを書き込む。その後、画像処理エンジン180は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体ユニット101に送る。このように、データ種別を示すデータ領域に「101」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
【0138】
<変形例について>
ところで、タッチパネル140の構成は、図4に示した構成に限定されるものではない。以下では、図4とは異なる態様のタッチパネルについて説明する。
【0139】
図12は、上記異なる態様である光センサ内蔵液晶パネル140Xの回路図である。図12を参照して、光センサ内蔵液晶パネル140X(タッチパネル140X)は、1画素内に3つの光センサ回路(144r,144g,144b)を含んでいる。このようにタッチパネル140Xが1画素内に3つの光センサ回路(144r,144g,144b)を含む点において、タッチパネル140Xは、1画素内に1つの光センサ回路を含むタッチパネル140と異なる。なお、光センサ回路144の構成と、3つの各光センサ回路(144r,144g,144b)との構成は同じである。
【0140】
また、1画素内における3つのフォトダイオード(145r,145g,145b)は、それぞれ、カラーフィルタ153r、カラーフィルタ153g、カラーフィルタ153bに対向する位置に配されている。それゆえ、フォトダイオード145rは赤色の光を受光し、フォトダイオード145gは緑色の光を受光し、フォトダイオード145bは青色の光を受光する。
【0141】
また、タッチパネル140は1画素内において1つの光センサ回路144しか含まないため、1画素内に配設されるTFT147用のデータ信号線は、センサ信号線SSjとセンサ信号線SDjとの2本であった。しかしながら、タッチパネル140Xは1画素内において3つの光センサ回路(144r,144g,144b)を含むため、1画素内に配設されるTFT(147r,147g,147b)用のデータ信号線は6本となる。
【0142】
具体的には、カラーフィルタ153rに対向する位置に配されたフォトダイオード145rのカソードに接続されたTFT147rに対応して、センサ信号線SSRjとセンサ信号線SDRjとが配設される。また、カラーフィルタ153gに対向する位置に配されたフォトダイオード145gのカソードに接続されたTFT147gに対応して、センサ信号線SSGjとセンサ信号線SDGjとが配設される。さらに、カラーフィルタ153bに対向する位置に配されたフォトダイオード145bのカソードに接続されたTFT147bに対応して、センサ信号線SSBjとセンサ信号線SDBjとが配設される。
【0143】
このようなタッチパネル140Xにおいては、バックライト179から照射された白色光は、3つのカラーフィルタ(153r,153g,153b)を透過し、タッチパネル140Xの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、3つのカラーフィルタ(153r,153g,153b)を透過する。
【0144】
この際、カラーフィルタ153rは赤色の波長の光を透過し、フォトダイオード145rは、当該赤色の波長の光を受光する。また、カラーフィルタ153gは緑色の波長の光を透過し、フォトダイオード145gは、当該緑色の波長の光を受光する。また、カラーフィルタ153bは青色の波長の光を透過し、フォトダイオード145bは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は3つのカラーフィルタ(153r,153g,153b)によって3原色(R,G,B)に色分解され、各フォトダイオード(145r,145g,145b)は、それぞれに対応した色の光を受光する。
【0145】
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード(145r,145g,145b)の受光量が各フォトダイオード(145r,145g,145b)で異なることになる。このため、センサ信号線SSRjとセンサ信号線SSGjとセンサ信号線SSBjとの出力電圧は互いに異なる。
【0146】
それゆえ、各出力電圧に応じて、Rの階調とGの階調とBの階調とを画像処理エンジン180が決定することにより、画像処理エンジン180はRGBのカラー画像を本体ユニット101へ送ることができる。
【0147】
以上述べたように、表示装置100がタッチパネル140Xを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
【0148】
次に、図7を参照して説明したスキャンの方法(つまり、反射像をスキャンする方法)とは異なるスキャンの方法について、図13を参照して説明する。
【0149】
図13は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。図13を参照して、外光の一部は、指900によって遮られる。それゆえ、指900と接触しているタッチパネル140の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指900の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
【0150】
ここで、バックライト179を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路144は、タッチパネル140の表面に対する指900の位置に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179を点灯と消灯とを制御することにより、タッチパネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、タッチパネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
【0151】
以上により、表示ユニット102は、指900によって外光が遮られることにより得られる像(以下、影像とも称する)をスキャンすることができる。
【0152】
さらに、表示ユニット102を、バックライト179を点灯させてスキャンを行った後に、バックライト179を消灯させて再度スキャンを行なう構成としてもよい。あるいは、表示ユニット102を、バックライト179を消灯させてスキャンを行った後に、バックライト179を点灯させて再度スキャンを行なう構成としてもよい。
【0153】
この場合には、2つのスキャン方式を併用することになるため、2つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
【0154】
<表示装置100の機能構成>
次に、本実施の形態に係る表示装置100の機能構成について説明する。図14は、本実施の形態に係る表示装置100の機能構成を示すブロック図である。
【0155】
図14を参照して、表示装置100は、検知部111と、受付部112と、表示制御部114とを含む。また、表示装置100は、図3にも示したように、タッチパネル140とRAM171とを含む。
【0156】
まず、複数の光センサ回路144のそれぞれは、入射光を受光して、当該入射光に応じた電気信号を生成する。複数の光センサ回路144は全体として、画像処理エンジン180(図3)などを介して、タッチパネル140に入力される景色に対応する画像データを検知部111に入力する。
【0157】
複数の画素回路141のそれぞれは、画像処理エンジン180を介して、表示制御部114からの画像データに基づき、外部に可視光を発する。より詳細には、複数の画素回路141は全体として、画像処理エンジン180(図3)などを介して、表示制御部114からの画像データ(電気信号)に基づいて、バックライト179からの光を利用しながらボタンを表す画像やテキストなどを表示する。
【0158】
RAM171は、画像処理エンジン180からの画像データ171Aを記憶する。たとえば、RAM171は、画像処理エンジン180からの各センサタイミングにおける一連の接触領域を示す画像データ171Aを記憶する。
【0159】
以下では、一連の当該接触領域に対応するスライド動作を、ストロークともいう。より詳細には、ストロークとは、スタイラスペンや指900がタッチパネル140に接触してから、スタイラスペンや指900がタッチパネル140から持ち上げられるまでの間における、スタイラスペンや指900のタッチパネル140表面上での軌跡をいう。
【0160】
検知部111と、受付部112と、表示制御部114とは、CPU110あるいは画像処理エンジン180などによって実現される機能である。より詳細には、CPU110が有する各機能は、CPU110がRAM171などに記憶される制御プログラムを実行して、図3に示される各ハードウェアを制御することによって実現される機能である。
【0161】
検知部111は、たとえば、CPU110によって実現される。検知部111は、画像処理エンジン180を介して複数の光センサ回路144から入力される電気信号に基づいて「2値画像データ」(図4の場合)あるいは「カラー画像データ」(図12の場合)を生成する。
【0162】
前述したように、検知部111は、タッチパネル140からの「2値画像データ」あるいは「カラー画像データ」(これらを合わせて画像データともいう。)を一時的にRAM171に記憶する。たとえば、検知部111は、画像処理エンジン180からの画像データに基づいて、RAM171の画像データを最新の画像データに更新する。検知部111は、タッチパネル140から順次入力される画像データに基づいて、接触領域が検知されている期間だけ、当該接触領域を示す画像データを順次RAM171に蓄積してもよい。
【0163】
検知部111は、タッチパネル140への複数の接触位置を検知する。より詳細には、検知部111は、タッチパネル140からの画像データ毎に、接触領域の中心座標(接触位置の座標)を取得する。ただし、タッチパネル140の画像処理エンジン180が接触領域の中心座標を取得して、検知部111はタッチパネル140から直接接触位置を取得してもよい。
【0164】
検知部111は、1つ目の接触位置(第1の接触位置)がタッチパネル140の右部であるか左部であるかを判断する。また、検知部111は、2つ目の接触位置(第2の接触位置)がタッチパネル140の右部であるか左部であるかを判断する。
【0165】
検知部111は、タッチパネル140を用いて1つ目の接触位置の移動を検出する。本実施の形態に係る検知部111は、タッチパネル140から順次入力される画像データに基づいて、接触位置の移動方向や移動距離や移動速度などを取得する。より詳細には、検知部111は、各センサタイミングに係る接触領域の中心座標に基づいて、タッチパネル140と指900R,900Lとの接触領域の軌跡を取得する。表示制御部114は、接触領域の軌跡を線画像(1つのストローク)としてRAM171に記憶するとともに、当該線画像をタッチパネル140に表示させる。ただし、上述したように、検知部111は、タッチパネル140から直接に順次接触位置を取得してもよい。
【0166】
さらに、本実施の形態においては、タッチパネル140が光センサ回路144を含むので、検知部111は、画像データに基づいて、タッチパネル140の上方に位置する(浮遊する)物体の位置を検知することができる。より詳細には、検知部111は、タッチパネル140からの画像データに基づいて、タッチパネル140上に接する物体と、タッチパネル140の上方に位置する物体とを区別して認識できることが好ましい。
【0167】
たとえば、検知部111は、タッチパネル140からの画像データに基づいて、白い画像領域をタッチパネル140上に接する物体として検知し、赤い画像領域をタッチパネル140の上方に位置する物体として検知する。あるいは、検知部111は、タッチパネル140からの画像データに基づいて、所定値以上の面積を有する画像領域をタッチパネル140上に接する物体として検知し、所定値未満の面積を有する画像領域をタッチパネル140の上方に位置する物体として検知する。
【0168】
受付部112は、検知部111がタッチパネル140を介してボタン群140Aに含まれるボタンに対する2つ目の接触位置を検知すると、当該ボタンの押下を受け付ける。受付部112は、ボタンに対応する命令を受け付ける。あるいは、受付部112は、ユーザインターフェイスとして、ボタンが押下された旨の情報を他の上位のアプリケーションに受け渡す。
【0169】
本実施の形態においては、受付部112は、検知部111が1つ目の接触位置を検知している最中に、2つ目の接触位置を検知するとボタンの押下を受け付ける。すなわち、本実施の形態においては、検知部111が2つ目の接触位置を検知する前に1つ目の接触位置を検知しなくなると、受付部112はボタンの押下を受け付けない。次に検知される接触位置は、新たな1つ目の接触位置となるからである。
【0170】
より詳細には、本実施の形態においては、検知部111が2つ目の接触位置を検知する前に1つ目の接触位置を検知しなくなると、表示装置100がボタン群140Aを元の表示位置(タッチパネル140の中央)に表示する。
【0171】
表示制御部114は、CPU110あるいは画像処理エンジン180によって実現される。表示制御部114は、検知部111からの画像データあるいは1または複数の接触位置に基づいて、タッチパネル140にボタン群140Aを表示させる。
【0172】
表示制御部114は、検知部111がタッチパネル140の第1のエリアへの1つ目の接触位置を検知したときにボタンを第2のエリアに表示させる。ユーザが、両手を使って、表示装置100の両サイドを把持する場合には、第1のエリアと第2のエリアは、互いに、タッチパネル140における逆サイドに位置することが好ましい。本実施の形態においては、第1のエリアは、タッチパネル140の右部(あるいは左部)である。第2のエリアは、タッチパネル140の左部(あるいは右部)の中の所定エリアである。
【0173】
表示制御部114は、検知部111がタッチパネル140の第3のエリアへの1つ目の接触位置を検知したときにボタン群140Aを第4のエリアに表示させる。ユーザが、両手を使って、表示装置100の両サイドを把持する場合には、第3のエリアと第4のエリアは、互いに、タッチパネル140における逆サイドに位置することが好ましい。本実施の形態においては、第3のエリアは、タッチパネル140の左部(あるいは右部)である。第4のエリアは、タッチパネル140の右部(あるいは左部)の中の所定エリアである。
【0174】
表示制御部114は、ボタン群140Aの表示位置を検知部111が取得した1つ目の接触位置の移動方向に移動させる。すなわち、表示制御部114は、1つ目の接触位置の移動方向に基づいて、ボタン群140Aをタッチパネル140上の新たな位置に表示し直す。
【0175】
表示制御部114は、検知部111の検知結果に基づいて、外部の物体が存在している(浮遊している)位置の下方に位置するボタンをその他のボタンと異なる表示態様にて表示する。たとえば、表示制御部114は、浮遊位置下方のボタンをその他のボタンよりも拡大して表示する。また、表示制御部114は、浮遊位置下方のボタン同士の間隔を、他のボタン同士の間隔よりも拡大して表示する。
【0176】
<表示処理>
次に、図3、図14〜図16を参照して、本実施の形態に係る表示装置100における表示処理について説明する。なお、図15は、本実施の形態に係る表示装置100における表示処理の処理手順を示す第1のフローチャートである。図16は、本実施の形態に係る表示装置100における表示処理の処理手順を示す第2のフローチャートである。
【0177】
まず、図1(A)に示すように、表示制御部114として機能するCPU110は、タッチパネル140の中央にボタン群140Aを表示する。
【0178】
本実施の形態においては、タッチパネル140に含まれる複数の光センサ回路144は、常時、入射光に応じて電気信号を生成する。複数の光センサ回路144は、画像処理エンジン180を介して、入射光に対応する電気信号(画像データ)をCPU110に入力する。すなわち、検知部111として機能するCPU110は、複数の光センサ回路144からの電気信号(画像データ)を、画像処理エンジン180を介して取得する。
【0179】
CPU110は、画像処理エンジン180からの画像データに基づいて接触位置(1つ目の接触位置)を検知したか否かを判断する(ステップS104)。CPU110は、接触位置を検知しない場合(ステップS104においてNOである場合)、ステップS104からの処理を繰り返す。
【0180】
図1(B)あるいは図1(E)に示すように、表示制御部114として機能するCPU110は、接触位置を検知した場合(ステップS104においてYESである場合)、当該接触位置がタッチパネル140の右部であるか否かを判断する(ステップS106)。図1(B)に示すように、当該接触位置がタッチパネル140の右部である場合(ステップS106においてYESである場合)、表示制御部114として機能するCPU110は、ボタン群140Aをタッチパネル140の左部の所定エリア(左エリア)に表示する(ステップS108)。検知部111として機能するCPU110は、タッチパネル140を介して接触が解除されたか否かを判断する(ステップS112)。
【0181】
図1(E)に示すように、当該接触位置がタッチパネル140の左部である場合(ステップS106においてNOである場合)、表示制御部114として機能するCPU110は、ボタン群140Aをタッチパネル140の右部の所定エリア(右エリア)に表示する(ステップS110)。検知部111として機能するCPU110は、タッチパネル140を介して接触が解除されたか否かを判断する(ステップS112)。
【0182】
図1(A)に示すように、接触が解除された場合(ステップS112においてYESである場合)、CPU110はステップS102からの処理を繰り返す。
【0183】
接触が解除されない場合(ステップS112においてNOである場合)、検知部111として機能するCPU110は、タッチパネル140を用いて新たな外部の物体の存在を検知したか否かを判断する(ステップS114)。より詳細には、CPU110は、タッチパネル140を用いて、タッチパネル140の上方であって、1つ目の接触位置とは離間した場所に存在する物体を検知したか否かを判断する。
【0184】
新たな物体の存在を検知しない場合(ステップS114においてNOである場合)、CPU110は、タッチパネル140を用いて1つ目の接触位置が移動したか否かを判断する(ステップS124)。1つ目の接触領域が移動しない場合(ステップS124においてNOである場合)、ステップS112からの処理を繰り返す。
【0185】
図2(B)および図2(D)に示すように、1つ目の接触領域が移動する場合(ステップS124においてYESである場合)、表示制御部114として機能するCPU110は、ボタン群140Aの表示位置を移動させる(ステップS126)。すなわち、CPU110は、ボタン群140Aの表示座標を変更することによって、タッチパネル140にボタン群140Aを表示し直す。CPU110は、ステップS112からの処理を繰り返す。このとき、CPU110は、図1(B)に示す状態よりもボタン群140Aを縮小するとともに、ボタン群140Aを移動させてもよい。
【0186】
図1(C)、図1(F)、図2(C)、図2(E)に示すように、新たな物体を検知した場合(ステップS114においてYESである場合)、CPU110は、タッチパネル140に、当該物体の先端部の下方に位置するボタンを拡大して表示させる(ステップS116)。CPU110は、当該物体の先端部の下方に位置する複数のボタンの間隔を拡大させてもよい。CPU110は、当該物体の先端部の下方に位置するボタンの周囲のボタンを縮小してもよい。CPU110は、当該物体の先端部の下方に位置するボタンの周囲のボタンをひずませてもよい。
【0187】
検知部111として機能するCPU110は、タッチパネル140を用いて、新たな接触があったか否かを判断する(ステップS118)。すなわち、CPU110は、1つ目の接触位置を検知している最中に、2つ目の接触位置を検知したか否かを判断する。
【0188】
図1(D)および図1(G)に示すように、新たな接触があった場合(ステップS118においてYESである場合)、CPU110は、新たな接触位置がボタンの表示エリア内であるか否かを判断する(ステップS120)。新たな接触位置がボタンの表示エリア内でない場合(ステップS120においてNOである場合)、CPU110は、ステップS114からの処理を繰り返す。
【0189】
新たな接触位置がボタンの表示エリア内である場合(ステップS120においてYESである場合)、CPU110は、当該ボタンに対する命令を受け付ける(ステップS122)。CPU110は、ステップS114からの処理を繰り返す。
【0190】
このように、本実施の形態においては、表示装置100が1つ目の接触位置の逆側にボタン群140Aを表示し直すので、ユーザが当該逆側の指900L,900Rでボタン群140Aに含まれるボタンを押下し易くなる。また、ユーザが誤ってタッチパネル140にタッチしてしまっても、表示装置100は最初のタッチに対する命令を受け付けないため、表示装置100への命令の誤入力も防止することができる。また、表示装置100はユーザの指900L,900Rの下方に位置するボタン間の間隔を大きくするので、ユーザがボタンを押し間違え難くなる。また、表示装置100はユーザの指900L,900Rのスライド操作に応じて、ボタン群140Aを全体的に縮小するとともに当該縮小したボタン群140Aを移動させるので、ユーザが当該逆側の指900L,900Rでボタン群140Aに含まれるボタンをさらに押下し易くなる。
【0191】
[実施の形態2]
次に、本発明の実施の形態2について説明する。上述の実施の形態1に係る表示装置100は、図2に示すように、1つ目の接触領域のスライドに応じて、ボタン群140Aを移動させるものであった。一方、本実施の形態に係る表示装置100は、1つ目の接触領域のスライドに応じて、ボタンを拡大したり、拡大するボタンを変更したりするものである。
【0192】
すなわち、本実施の形態に係る表示装置100の第1の動作概要は、実施の形態1に係る表示装置100の第1の動作概要と同様であるため、ここでは説明を繰り返さない。換言すれば、本実施の形態に係る表示装置100は、実施の形態1に係る表示装置100の第2の動作概要の代わりに、以下で説明する第3の動作概要を実現するものである。
【0193】
<表示装置100の動作概要3>
本実施の形態に係る表示装置100の第3の動作概要について説明する。図17は、本実施の形態に係る表示装置100の第3の動作概要を示すイメージ図である。上述したように、本実施の形態に係る表示装置100は、図1に示す第1の動作概要と図17に示す第3の動作概要とを実現する。
【0194】
図17(A)は、図1(B)と同様に、ユーザの右手の親指900Rがタッチパネル140の右部にタッチしたときのタッチパネル140の画面を示す。図17(B)は、ユーザの右手の親指900Rが右方向にスライドしたときのタッチパネル140の画面を示す。図17(C)は、ユーザの右手の親指900Rが上下方向にスライドしたときのタッチパネル140の画面を示す。図17(D)は、ユーザの右手の親指900Rが左方向にスライドしたときのタッチパネル140の画面を示す。図17(E)は、ユーザの右手の親指900Rが上下方向にスライドしたときのタッチパネル140の画面を示す。
【0195】
まず、図17(A)に示す状態においては、すなわち図1(B)に示す状態においては、表示装置100がボタン群140Aをタッチパネル140の左部に表示している。この状態において、図17(B)に示すように、ユーザが右手の親指900Rを右にスライドさせると、表示装置100はボタン群140Aのうちの、たとえば中央の列のボタンを拡大して表示する。そして、スライド量(スライド距離)に応じて、拡大すべき列を右方向へ変更する。このとき、表示装置100は、その他の列のボタンを縮小して表示することが好ましい。
【0196】
これによって、手が小さい(指が短い)ユーザであっても、容易にボタン群140Aに含まれるボタンを押下することができるようになる。すなわち、図17(A)に示す状態よりも、ユーザの左手の親指900Lがボタン群140Aに含まれるボタンに届き易くなる。その上、拡大された列のボタンを押し間違え難くなる。
【0197】
図17(C)に示すように、ユーザが右手の親指900Rを上下にスライドさせると、表示装置100はボタン群140Aの右列のボタンのうちの、たとえば上下中央に位置するボタンを拡大して表示する。そして、スライド方向とスライド量(スライド距離)に応じて、右列のボタンのうちで拡大すべきボタンを変更する。このとき、表示装置100は、その他のボタンを縮小して表示することが好ましい。
【0198】
一方、図17(A)に示す状態において、図17(D)に示すように、ユーザが右手の親指900Rを左にスライドさせると、表示装置100はボタン群140Aのうちの、たとえば中央の列のボタンを拡大して表示する。そして、スライド量(スライド距離)に応じて、拡大すべき列を左方向に変更する。このとき、表示装置100は、その他の列のボタンを縮小して表示することが好ましい。
【0199】
これによって、手が小さい(指が短い)ユーザであっても、容易にボタン群140Aに含まれるボタンを押下することができるようになる。すなわち、図17(A)に示す状態よりも、ユーザの左手の親指900Lがボタン群140Aに含まれるボタンに届き易くなる。その上、拡大された列のボタンの押し間違え難くなる。
【0200】
図17(E)に示すように、ユーザが右手の親指900Rを上下にスライドさせると、表示装置100はボタン群140Aの左列のボタンのうちの、たとえば上下中央に位置するボタンを拡大して表示する。そして、スライド方向とスライド量(スライド距離)に応じて、左列のボタンのうちで拡大すべきボタンを変更する。このとき、表示装置100は、その他のボタンを縮小して表示することが好ましい。
【0201】
図示しないが、図1(D)と同様に、ユーザの左手の親指900Lがタッチパネル140上のボタンにタッチすると、表示装置100は、当該ボタンに対応する命令の入力を受け付ける。
【0202】
なお、図1(E)に示す状態において、ユーザが左手の親指900Lをスライドさせた場合の動作についても、上記の動作に基づいて容易に想像できるものであるため、ここでは詳細な説明を繰り返さない。
【0203】
以下、このような機能を実現するための構成について詳述する。なお、本実施の形態に係る表示装置100の全体構成、ハードウェア構成などは、実施の形態1に係る表示装置100のそれと同様であるため、ここでは説明を繰り返さない。
【0204】
<本実施の形態に係る表示装置100の機能構成>
以下では、図3および図14を参照して、本実施の形態に係る表示装置100の機能構成について説明する。なお、以下では、実施の形態1に係る表示装置100と同様の機能を有するブロックについては説明を繰り返さない。
【0205】
表示装置100は、検知部111と、受付部112と、表示制御部114とを含む。また、表示装置100は、図3にも示したように、タッチパネル140とRAM171とを含む。
【0206】
本実施の形態においても、検知部111と、受付部112と、表示制御部114とは、CPU110あるいは画像処理エンジン180などによって実現される機能である。より詳細には、CPU110が有する各機能は、CPU110がRAM171などに記憶される制御プログラムを実行して、図3に示される各ハードウェアを制御することによって実現される機能である。
【0207】
本実施の形態においては、表示制御部114は、CPU110あるいは画像処理エンジン180によって実現される。表示制御部114は、検知部111からの画像データあるいは1または複数の接触位置に基づいて、タッチパネル140にボタン群140Aを表す画像を表示させる。
【0208】
表示制御部114は、検知部111がタッチパネル140の第1のエリアへの1つ目の接触位置を検知したときにボタンを第2のエリアに表示させる。なお、本実施の形態においては、第1のエリアは、タッチパネル140の右部(あるいは左部)である。第2のエリアは、タッチパネル140の左部(あるいは右部)の中の所定エリアである。
【0209】
表示制御部114は、検知部111がタッチパネル140の第3のエリアへの1つ目の接触位置を検知したときにボタン群140Aを第4のエリアに表示させる。本実施の形態においては、第3のエリアは、タッチパネル140の左部(あるいは右部)である。第4のエリアは、タッチパネル140の右部(あるいは左部)の中の所定エリアである。
【0210】
表示制御部114は、検知部111が1つ目の接触位置の左右方向への移動を検知したときに、ボタン群140Aの所定の列のボタンを拡大表示する。すなわち、表示制御部114は、検知部111が1つ目の接触位置の左右方向への移動を検知したときに、当該所定の列以外のボタンを縮小表示する。同時に、表示制御部114は、接触位置の右方向への移動に応じて拡大表示する列を右方向に移動し、接触位置の左方向への移動に応じて拡大表示する列を左方向に移動する。さらに、表示制御部114は、移動量に応じて、拡大表示する列の移動量を変更することが好ましい。
【0211】
表示制御部114は、検知部111が1つ目の接触位置の上下方向への移動を検知したときに、ボタン群140Aのうちの拡大表示されている列の所定のボタンを拡大表示する。すなわち、表示制御部114は、検知部111が1つ目の接触位置の上下方向への移動を検知したときに、当該所定のボタン以外を縮小表示する。同時に、表示制御部114は、上方向への移動に応じて拡大表示するボタンをより上のボタンへと変更し、下方向への移動に応じて拡大表示するボタンをより下のボタンへと変更する。表示制御部114は、移動量に応じて、拡大表示するボタンを変更させることが好ましい。
【0212】
表示制御部114は、検知部111の検知結果に基づいて、外部の物体が存在している(浮遊している)位置の下方に位置するボタンをその他のボタンと異なる表示態様にて表示する。たとえば、表示制御部114は、浮遊位置下方のボタンをその他のボタンよりも拡大して表示する。また、表示制御部114は、浮遊位置の下方のボタン間の間隔を、他のボタン間の間隔よりも拡大して表示する。
【0213】
<表示処理>
次に、図3、図14、図18を参照して、本実施の形態に係る表示装置100における表示処理について説明する。なお、図18は、本実施の形態に係る表示装置100における表示処理の処理手順を示すフローチャートである。なお、本実施の形態に係る表示装置100における表示処理の前半は、図15に示す実施の形態1に係るそれと同様であるため、ここでは詳細な説明を繰り返さない。すなわち、ここでは、図15における1つ目の接触が解除されない場合(ステップS112においてNOである場合)以降の処理について説明する。
【0214】
1つ目の接触が解除されない場合(ステップS112においてNOである場合)、検知部111として機能するCPU110は、タッチパネル140を用いて新たな物体の存在を検知したか否かを判断する(ステップS214)。より詳細には、CPU110は、タッチパネル140を用いて、タッチパネル140の上方であって、1つ目の接触位置とは離間した場所に存在する物体を検知したか否かを判断する。
【0215】
新たな物体の存在を検知しない場合(ステップS214においてNOである場合)、CPU110は、タッチパネル140を用いて1つ目の接触位置が移動したか否かを判断する(ステップS224)。1つ目の接触領域が移動しない場合(ステップS224においてNOである場合)、ステップS212からの処理を繰り返す。
【0216】
1つ目の接触領域が移動する場合(ステップS224においてYESである場合)、表示制御部114として機能するCPU110は、図18(B)〜図18(E)に示すように、ボタン群140Aの一部のボタンを拡大表示するとともに、移動方向および移動量に応じて拡大するボタンを変更する(ステップS226)。CPU110は、ステップS212からの処理を繰り返す。
【0217】
図1(C)および図1(F)に示すように、新たな物体を検知した場合(ステップS214においてYESである場合)、CPU110は、タッチパネル140に、当該物体の先端部の下方に位置するボタンを拡大して表示させる(ステップS216)。CPU110は、当該物体の先端部の下方に位置する複数のボタンの間隔を拡大させてもよい。CPU110は、当該物体の先端部の下方に位置するボタンの周囲のボタンを縮小してもよい。CPU110は、当該物体の先端部の下方に位置するボタンの周囲のボタンをひずませてもよい。
【0218】
なお、本実施の形態においては、接触領域のスライド操作によって拡大されたボタンと、新たな物体の先端部の下方に位置するボタンとが、共に拡大される場合があるものとしている。ただし、ステップS116において、接触領域の移動によって拡大されたボタンは、このときに通常のサイズに戻してもよいし、縮小してもよい。
【0219】
検知部111として機能するCPU110は、タッチパネル140を用いて、新たな接触があったか否かを判断する(ステップS218)。すなわち、CPU110は、1つ目の接触位置を検知している最中に、2つ目の接触位置を検知したか否かを判断する。
【0220】
図1(D)および図1(G)に示すように、新たな接触があった場合(ステップS218においてYESである場合)、CPU110は、新たな接触位置がボタンの表示エリア内であるか否かを判断する(ステップS220)。新たな接触位置がボタンの表示エリア内でない場合(ステップS220においてNOである場合)、CPU110は、ステップS214からの処理を繰り返す。
【0221】
新たな接触位置がボタンの表示エリア内である場合(ステップS220においてYESである場合)、CPU110は、当該ボタンに対する命令を受け付ける(ステップS222)。CPU110は、ステップS214からの処理を繰り返す。
【0222】
このように、本実施の形態においては、表示装置100が1つ目の接触位置の逆側にボタン群140Aを表示し直すので、ユーザが当該逆側の指900L,900Rでボタン群140Aに含まれるボタンを押下し易くなる。また、ユーザが誤ってタッチパネル140にタッチしてしまっても、表示装置100は最初のタッチに対する命令を受け付けないため、表示装置100への命令の誤入力も防止することができる。また、表示装置100はユーザの指900L,900Rの下方に位置するボタン間の間隔を大きくするので、ユーザがボタンを押し間違え難くなる。また、表示装置100はユーザの指900L,900Rのスライド操作に応じて、ボタン群140Aのうち、所望の列に属するボタンや所望のボタンを拡大しつつ、他のボタンを縮小するので、ユーザが当該逆側の指900L,900Rでボタン群140Aに含まれるボタンをさらに押下し易く、押し間違え難くなる。
【0223】
<その他の実施の形態>
本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
【0224】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0225】
プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード(ICメモリカード)、ROM(マスクROM、フラッシュEEPROMなど)などを用いることができる。
【0226】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0227】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0228】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0229】
100 表示装置、101 本体ユニット、102 表示ユニット、110 CPU、111 取得部、112 受付部、114 表示制御部、130 ドライバ、131 走査信号線駆動回路、132 データ信号線駆動回路、133 光センサ駆動回路、134 スイッチ、135 アンプ、140 光センサ内蔵液晶パネル、141 画素回路、141b,141g,141r サブピクセル回路、143 電極対、143a 画素電極、143b 対向電極、144 光センサ回路、145,145b,145g,145r フォトダイオード、146 コンデンサ、151A アクティブマトリクス基板、151B 対向基板、152 液晶層、153b,153g,153r カラーフィルタ、157 データ信号線、161 偏光フィルタ、162 ガラス基板、163 遮光膜、164 配向膜、171 RAM、171A 画像データ、173 メモリカードリーダライタ、174 通信装置、175 マイク、176 スピーカ、177 操作キー、179 バックライト、180 画像処理エンジン、181 ドライバ制御部、182 タイマ、183 信号処理部、900 指、900L 左手の親指、900R 右手の親指、1731 メモリカード、DB1,DB2 データバス。
【特許請求の範囲】
【請求項1】
タッチパネルと、
前記タッチパネルに対する接触位置を検知する検知手段と、
前記検知手段が前記タッチパネルの第1のエリアに対する第1の接触位置を検知したときに、ボタンを前記タッチパネルの第2のエリアに表示させる表示制御手段と、
前記検知手段が前記タッチパネルを介して前記ボタンに対する第2の接触位置を検知すると前記ボタンの押下を受け付ける受付手段とを備える、表示装置。
【請求項2】
前記検知手段は、前記タッチパネルに対する複数の接触位置を検知し、
前記受付手段は、前記検知手段が前記第1の接触位置を検知しているときに前記第2の接触位置を検知すると前記ボタンの押下を受け付ける、請求項1に記載の表示装置。
【請求項3】
前記第1のエリアは、前記タッチパネルの右部および左部のいずれか一方に位置し、
前記第2のエリアは、前記タッチパネルの右部および左部の他方に位置する、請求項1または2に記載の表示装置。
【請求項4】
前記表示制御手段は、前記検知手段が前記タッチパネルの第3のエリアに対する前記第1の接触位置を検知したときに、前記ボタンを第4のエリアに表示させる、請求項1から3のいずれかに記載の表示装置。
【請求項5】
前記第3のエリアは、前記タッチパネルの右部および左部の前記他方に位置し、
前記第4のエリアは、前記タッチパネルの右部および左部の前記いずれか一方に位置する、請求項4に記載の表示装置。
【請求項6】
前記表示制御手段は、前記検知手段が前記接触位置を検知しないときに、前記ボタンを前記タッチパネルの第5のエリアに表示させる、請求項1から5のいずれかに記載の表示装置。
【請求項7】
前記検知手段は、前記タッチパネルを用いて前記第1の接触位置の移動方向を取得し、
前記表示制御手段は、前記ボタンの表示位置を前記移動方向に移動する、請求項1から6のいずれかに記載の表示装置。
【請求項8】
前記タッチパネルは、
入射光に応じて第1の電気信号を生成する複数の光センサ回路と、
第2の電気信号に応じて光を発する複数の画素回路とを含み、
前記検知手段は、前記複数の光センサ回路からの前記第1の電気信号に基づき、前記接触位置を示す画像データを取得し、
前記表示制御手段は、前記第2の電気信号を前記複数の画素回路へ入力することによって、前記複数の画素回路に前記ボタンを表示させる、請求項1から7のいずれかに記載の表示装置。
【請求項9】
前記検知手段は、前記画像データに基づいて、前記タッチパネル上方の物体の位置を検知し、
前記表示制御手段は、前記物体の位置の下方のボタンをその他のボタンと異なる表示態様にて表示する、請求項8に記載の表示装置。
【請求項10】
前記表示制御手段は、前記物体の位置の下方のボタンをその他のボタンよりも拡大して表示する、請求項9に記載の表示装置。
【請求項11】
前記表示制御手段は、前記物体の位置の下方のボタン間の間隔を、他のボタン間の間隔よりも拡大して表示する、請求項9または10に記載の表示装置。
【請求項12】
タッチパネルと演算処理部とを備える表示装置における表示方法であって、
前記演算処理部が、前記タッチパネルへの接触位置を検知するステップと、
前記演算処理部が、前記タッチパネルの第1のエリアに対する第1の接触位置を検知したときに、ボタンを前記タッチパネルの第2のエリアに表示させるステップと、
前記演算処理部が、前記タッチパネルを介して前記ボタンに対する第2の接触位置を検知すると前記ボタンの押下を受け付けるステップとを備える、表示方法。
【請求項13】
タッチパネルと演算処理部とを備える表示装置にボタンを表示させるための表示プログラムであって、
前記演算処理部に、
前記タッチパネルへの接触位置を検知するステップと、
前記タッチパネルの第1のエリアに対する第1の接触位置を検知したときに、ボタンを前記タッチパネルの第2のエリアに表示させるステップと、
前記タッチパネルを介して前記ボタンに対する第2の接触位置を検知すると前記ボタンの押下を受け付けるステップとを実行させる、表示プログラム。
【請求項1】
タッチパネルと、
前記タッチパネルに対する接触位置を検知する検知手段と、
前記検知手段が前記タッチパネルの第1のエリアに対する第1の接触位置を検知したときに、ボタンを前記タッチパネルの第2のエリアに表示させる表示制御手段と、
前記検知手段が前記タッチパネルを介して前記ボタンに対する第2の接触位置を検知すると前記ボタンの押下を受け付ける受付手段とを備える、表示装置。
【請求項2】
前記検知手段は、前記タッチパネルに対する複数の接触位置を検知し、
前記受付手段は、前記検知手段が前記第1の接触位置を検知しているときに前記第2の接触位置を検知すると前記ボタンの押下を受け付ける、請求項1に記載の表示装置。
【請求項3】
前記第1のエリアは、前記タッチパネルの右部および左部のいずれか一方に位置し、
前記第2のエリアは、前記タッチパネルの右部および左部の他方に位置する、請求項1または2に記載の表示装置。
【請求項4】
前記表示制御手段は、前記検知手段が前記タッチパネルの第3のエリアに対する前記第1の接触位置を検知したときに、前記ボタンを第4のエリアに表示させる、請求項1から3のいずれかに記載の表示装置。
【請求項5】
前記第3のエリアは、前記タッチパネルの右部および左部の前記他方に位置し、
前記第4のエリアは、前記タッチパネルの右部および左部の前記いずれか一方に位置する、請求項4に記載の表示装置。
【請求項6】
前記表示制御手段は、前記検知手段が前記接触位置を検知しないときに、前記ボタンを前記タッチパネルの第5のエリアに表示させる、請求項1から5のいずれかに記載の表示装置。
【請求項7】
前記検知手段は、前記タッチパネルを用いて前記第1の接触位置の移動方向を取得し、
前記表示制御手段は、前記ボタンの表示位置を前記移動方向に移動する、請求項1から6のいずれかに記載の表示装置。
【請求項8】
前記タッチパネルは、
入射光に応じて第1の電気信号を生成する複数の光センサ回路と、
第2の電気信号に応じて光を発する複数の画素回路とを含み、
前記検知手段は、前記複数の光センサ回路からの前記第1の電気信号に基づき、前記接触位置を示す画像データを取得し、
前記表示制御手段は、前記第2の電気信号を前記複数の画素回路へ入力することによって、前記複数の画素回路に前記ボタンを表示させる、請求項1から7のいずれかに記載の表示装置。
【請求項9】
前記検知手段は、前記画像データに基づいて、前記タッチパネル上方の物体の位置を検知し、
前記表示制御手段は、前記物体の位置の下方のボタンをその他のボタンと異なる表示態様にて表示する、請求項8に記載の表示装置。
【請求項10】
前記表示制御手段は、前記物体の位置の下方のボタンをその他のボタンよりも拡大して表示する、請求項9に記載の表示装置。
【請求項11】
前記表示制御手段は、前記物体の位置の下方のボタン間の間隔を、他のボタン間の間隔よりも拡大して表示する、請求項9または10に記載の表示装置。
【請求項12】
タッチパネルと演算処理部とを備える表示装置における表示方法であって、
前記演算処理部が、前記タッチパネルへの接触位置を検知するステップと、
前記演算処理部が、前記タッチパネルの第1のエリアに対する第1の接触位置を検知したときに、ボタンを前記タッチパネルの第2のエリアに表示させるステップと、
前記演算処理部が、前記タッチパネルを介して前記ボタンに対する第2の接触位置を検知すると前記ボタンの押下を受け付けるステップとを備える、表示方法。
【請求項13】
タッチパネルと演算処理部とを備える表示装置にボタンを表示させるための表示プログラムであって、
前記演算処理部に、
前記タッチパネルへの接触位置を検知するステップと、
前記タッチパネルの第1のエリアに対する第1の接触位置を検知したときに、ボタンを前記タッチパネルの第2のエリアに表示させるステップと、
前記タッチパネルを介して前記ボタンに対する第2の接触位置を検知すると前記ボタンの押下を受け付けるステップとを実行させる、表示プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2010−266937(P2010−266937A)
【公開日】平成22年11月25日(2010.11.25)
【国際特許分類】
【出願番号】特願2009−115742(P2009−115742)
【出願日】平成21年5月12日(2009.5.12)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成22年11月25日(2010.11.25)
【国際特許分類】
【出願日】平成21年5月12日(2009.5.12)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]