表示制御装置及び表示制御方法
【課題】表示面に対するユーザの操作を3次元的に検出する場合において、指示体が表示面に近接するときの動作に応じて表示態様を制御する。
【解決手段】表示装置は、表示面に接触した状態の接触操作と、表示面に接触せずに近接した状態の近接操作とを検出する。表示装置は、近接操作により検出された指示体の位置判別領域に含まれ、その滞留時間が所定の閾値以上であるか否かを判断し(S2)、閾値以上である場合に、指示体の位置に応じた拡大表示を行う(S3)。一方、表示装置は、滞留時間が所定の閾値未満であれば、画像の拡大表示を行わない。
【解決手段】表示装置は、表示面に接触した状態の接触操作と、表示面に接触せずに近接した状態の近接操作とを検出する。表示装置は、近接操作により検出された指示体の位置判別領域に含まれ、その滞留時間が所定の閾値以上であるか否かを判断し(S2)、閾値以上である場合に、指示体の位置に応じた拡大表示を行う(S3)。一方、表示装置は、滞留時間が所定の閾値未満であれば、画像の拡大表示を行わない。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、指等の指示体を用いて表示面に対する操作を行う場合の表示制御に関する。
【背景技術】
【0002】
画像の表示面に対する操作を検出する場合に、その操作を3次元的に検出する技術が知られている。例えば、特許文献1には、タッチパネルに指が接近すると、現在表示中の内容を拡大表示する入力装置が開示されている。また、特許文献2、3にも、同様の表示制御が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−280316号公報
【特許文献2】特開2008−117371号公報
【特許文献3】特開2009−116583号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ユーザの操作は、そのときどきの状況によって異なり得るため、例えば、拡大表示が適している場合とそうでない場合とがある。それゆえ、ある特定の表示制御を行うか否かが一律に定まっていたのでは、ユーザが望まない表示制御になりやすい。
そこで、本発明は、表示面に対するユーザの操作を3次元的に検出する場合において、指示体が表示面に近接するときの動作に応じて表示態様を制御することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一態様に係る表示制御装置は、表示面に対する指示体の位置を繰り返し検出して操作を受け付ける操作手段であって、前記表示面に対して前記指示体を接触させる接触操作と、前記表示面に対して前記指示体を接触させずに近接させる近接操作とを検出する操作手段と、前記操作手段により検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する判別手段と、前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する特定手段と、前記特定手段により特定された表示態様で前記表示面に画像を表示させる表示制御手段とを備える。
【0006】
好ましい態様において、前記判別手段は、前記操作手段により検出された近接操作が示す前記指示体の3次元的な位置があらかじめ設定された所定領域に含まれる滞留時間によって前記動作モードを判別する。
別の好ましい態様において、前記判別手段は、前記滞留時間があらかじめ決められた閾値より長い場合に、前記動作モードが所定のモードであると判別し、前記特定手段は、前記判別手段により判別された動作モードが前記所定のモードである場合に、前記表示面に表示される画像の一部を強調表示させる表示態様を特定する。
さらに別の好ましい態様において、前記特定手段は、前記表示面のうちの強調表示を行う範囲を、前記指示体の位置の前記表示面に対する正射影の座標と、当該位置の前記表示面からの距離との少なくともいずれかを用いて特定する。
さらに別の好ましい態様において、前記特定手段は、前記表示面に表示される画像を拡大表示させる場合の倍率を特定する。
さらに別の好ましい態様において、前記特定手段は、前記表示面に表示される画像を立体表示させる場合の飛び出し量を特定する。
さらに別の好ましい態様において、前記表示制御手段は、前記画像が強調表示された後に前記操作手段により接触操作が検出された場合に強調表示を解除するとともに、前記操作部により検出される位置が前記所定領域外になるまで強調表示を再度行わない。
さらに別の好ましい態様において、前記判別手段は、前記操作手段により検出される前記位置が前記判別領域に入ってから、当該位置が前記接触操作として検出され、又は当該位置が当該判別領域を出るまでの時間を前記滞留時間として算出する。
さらに別の好ましい態様において、前記判別手段は、前記操作手段により検出された近接操作が示す前記指示体の移動速度によって前記動作モードを判別する。
さらに別の好ましい態様において、前記特定手段は、記憶手段に記憶された制御データを用いて、前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じた表示態様を特定する。
さらに別の好ましい態様において、前記記憶手段は、アプリケーションに応じた前記制御データを記憶し、前記特定手段は、前記表示面に表示されている画像に対応するアプリケーションに応じた前記制御データを用いて表示態様を特定する。
さらに別の好ましい態様において、前記表示制御装置は、前記操作手段により検出された位置を表す座標情報に対してノイズを低減するフィルタ処理を実行するフィルタ手段を備え、前記判別手段は、前記フィルタ手段によりフィルタ処理が実行された座標情報に基づいて動作モードを判別する。
さらに別の好ましい態様において、前記操作手段は、前記接触操作を検出する第1のセンサと前記近接操作を検出する第2のセンサとを備える。
さらに別の好ましい態様において、前記操作手段は、前記接触操作及び前記近接操作を検出する単一のセンサを備える。
【0007】
本発明の他の態様に係る表示制御方法は、表示面に対する指示体の位置を繰り返し検出して操作を受け付けるステップであって、前記表示面に対して前記指示体を接触させる接触操作と、前記表示面に対して前記指示体を接触させずに近接させる近接操作とを検出する第1のステップと、前記第1のステップにおいて検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する第2のステップと、前記第2のステップにおいて判別された動作モードと前記第1のステップにおいて検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する第3のステップと、前記第3のステップにおいて特定された表示態様で前記表示面に画像を表示させる第4のステップと有する。
【発明の効果】
【0008】
本発明によれば、表示面に対するユーザの操作を3次元的に検出する場合において、指示体が表示面に近接するときの動作に応じて表示態様を制御することが可能である。
【図面の簡単な説明】
【0009】
【図1】表示装置の外観を示した図
【図2】表示装置のハードウェア構成を示したブロック図
【図3】制御部の機能的構成を示した機能ブロック図
【図4】表示制御テーブルの一例を示した図
【図5】制御部が実現する表示制御を示したフローチャート
【図6】検出可能領域と判別領域の関係を示した図
【図7】表示装置による動作モード毎の表示例を示した図
【図8】制御部が実現する表示制御を示したフローチャート(第2実施形態)
【図9】表示装置の構成を示したブロック図(第3実施形態)
【図10】制御部が実現する表示制御を示したフローチャート(第4実施形態)
【図11】制御部が実現する表示制御を示したフローチャート(第5実施形態)
【発明を実施するための形態】
【0010】
[発明の要旨]
本発明は、表示面に対するユーザの操作を3次元的に検出する表示装置において、指示体が表示面に接触せずに近接するときの動作の特徴に基づく表示制御を特徴とするものである。ここにおいて、指示体とは、ユーザが表示面を指し示す操作を行うための身体の部位又は器具をいい、例えば、ユーザの指やスタイラス(スタイラスペン)である。
【0011】
一般に、ユーザによる操作は、細かい操作を行おうとすると指示体の動きが遅くなる傾向にある。例えば、フィッツの法則(Fitts's law)は、操作の対象物(ボタン等)が小さいほどユーザが操作に時間を要することを示しているが、実際のユーザの動作によく一致することが知られている。また、一般に、初心者や高齢者など、ユーザが指示体による操作に不慣れな者であるほど、そのユーザによる操作は遅くなる傾向も認められる。したがって、ユーザの操作が比較的ゆっくりしているという特徴を示す場合には、ユーザの操作を補助又は支援するような表示態様がユーザに資する可能性が高いといえる。
【0012】
そこで、本発明は、ユーザの操作のこのような特徴に着目し、かかる特徴の操作が行われた場合とそうでない場合とで表示態様を切り替えるようにしたものである。具体的には、本発明は、指示体を検出した時間や速度に基づいて指示体の動きを判断し、ユーザの操作が所定の条件を満たす場合に、表示面の表示態様を通常と異ならせることによって表示面に対する操作を容易ならしめるようにするものである。かかる表示態様(通常と異なる表示態様)は、画像を強調表示させるものであり、例えば、ユーザが指示しようとしている画像を拡大表示したり、あるいは立体的に表示させたりするものである。このような強調表示を実現することで、ユーザは、ボタン等の対象物をより容易に指示(すなわち選択)することが可能となる。
【0013】
[第1実施形態]
図1は、本発明の一実施形態である表示装置100の外観を示した図である。表示装置100は、ユーザが表示面101に対して操作を行うことができる情報処理装置であり、例えば、携帯電話機、スマートフォン、PDA(Personal Digital Assistant)、タブレットPC(Personal Computer)又はスレートPC、ゲーム機、電子ブックリーダなどである。表示面101は、画像を表示する面であるとともに、ユーザの操作を受け付ける面でもある。また、表示装置100は、ユーザの手の指先の位置を検出できるように構成されている。すなわち、本実施形態の検出対象たる指示体は、ユーザの指である。なお、説明の便宜上、以下においては、図1に図示された面、すなわち表示面101を有する面のことを「正面」という。
【0014】
図2は、表示装置100のハードウェア構成を示したブロック図である。表示装置100は、同図に示すように、制御部110と、記憶部120と、表示部130と、操作部140と、通信部150とを備える。なお、表示部130と操作部140は、一体的に構成されていてもよいし、分離されていてもよい。また、通信部150は、本発明に必須の構成要素ではない。
【0015】
制御部110は、表示装置100の各部の動作を制御する手段である。制御部110は、CPU(Central Processing Unit)等の演算処理装置や、ROM(Read Only Memory)、RAM(Random Access Memory)等の記憶装置を備え、ROM又は記憶部120に記憶されたプログラムを実行することによって表示部130の表示制御や通信部150の通信制御を実現する。また、制御部110は、システムクロックに基づいて現在時刻を認識するとともに、時間を計測する機能を有する。
【0016】
記憶部120は、制御部110が制御に用いるデータを記憶する手段である。記憶部120は、ハードディスクやフラッシュメモリによって構成される。記憶部120は、いわゆるリムーバブルメディア、すなわち着脱可能な記憶手段を含んでもよい。記憶部120には、後述する表示制御テーブルが記憶されている。
【0017】
表示部130は、表示面101に画像を表示する手段である。表示部130は、液晶素子や有機EL(electroluminescence)素子により画像を表示する表示パネルと、この表示パネルを駆動する駆動回路等を備える。表示面101は、ここでは長方形であるとし、この長方形の短辺と長辺に沿って画素がマトリクス状に配置されているものとする。この表示面101に対しては、図1に示すように、適当な位置(ここでは左上端)を原点Oとした3次元直交座標系が定義されているものとする。ここでは、表示面101の長辺方向にX軸、表示面101の短辺方向にY軸をそれぞれ定義し、X軸及びY軸と直交する方向にZ軸を定義する。なお、Z軸は、表示面101の表面を原点とし、ユーザに向かう方向(図1における上方)を正方向とする座標軸とする。
【0018】
操作部140は、ユーザの操作を受け付ける手段である。操作部140は、表示面101に対するユーザの指先の位置を検出し、その位置を表す座標情報を制御部110に供給するためのセンサを備える。より詳細には、操作部140は、接触センサ141と近接センサ142とを備える。接触センサ141は、ユーザの指先が表示面101に接触した状態を検出するためのセンサである。接触センサ141は、例えば、周知のタッチスクリーン(タッチパネルともいう。)によって実現可能である。一方、近接センサ142は、ユーザの指先が表示面101に近接している状態を検出するためのセンサである。近接センサ142も、周知技術を用いたものであってよいが、例えば、指先の静電容量を検出したり、指先の位置を光学的に検出したりすることで実現される。
【0019】
接触センサ141は、ユーザの指先が接触した表示面101の表面の位置を2次元的に検出する。ゆえに、接触センサ141が供給する座標情報は、X軸方向の座標(X座標)とY軸方向の座標(Y座標)とを表す座標情報である。一方、近接センサ142は、表示面101に触れることなく近接している状態のユーザの指先の位置を3次元的に検出する。ゆえに、近接センサ142が供給する座標情報は、X軸、Y軸及びZ軸のそれぞれの方向の座標を表す座標情報である。以下においては、接触センサ141が供給する座標情報によって特定される操作のことを「接触操作」といい、近接センサ142が供給する座標情報によって特定される操作のことを「近接操作」という。
【0020】
なお、近接センサ142は、ユーザの指先を検出可能な範囲(以下「検出可能領域」という。)が制限されている。検出可能領域は、近接センサ142のハードウェア的な性能によって定まる。本実施形態でいう「近接」とは、指先の位置(特にZ軸方向の位置)がこの検出可能領域にある状態を指し、より詳細には、指先の位置が後述する判別領域に含まれる状態を指すものである。
【0021】
接触センサ141及び近接センサ142は、指示体の位置を所定のサンプリングレートで検出する。すなわち、接触センサ141及び近接センサ142は、指示体の位置を繰り返し連続的に検出する。なお、近接センサ142は、ユーザの指を継続して所定時間以上検出しなかった場合に、サンプリングレートを一時的に下げ、指を再び検出したらサンプリングレートを元に戻すようにしてもよい。また、接触センサ141は、近接センサ142が指を検知してから機能するようになっていてもよい。なぜならば、指が表示面101に接触するためには、事前に指が表示面101に必ず近接するからである。
【0022】
また、操作部140は、表示面101に対する操作だけでなく、他の操作をも受け付ける手段であってもよい。例えば、表示装置100は、表示面101以外の部分(側面や背面を含む。)にボタンやスイッチ等の物理キーを備え、操作部140が物理キーによる操作を受け付けるように構成されていてもよい。この場合、操作部140は、物理キーによる操作を表す操作情報を制御部110に供給する。なお、ここでいう物理キーは、いわゆるQWERTY配列のキーボードやテンキーであってもよい。
【0023】
通信部150は、外部装置と通信するための手段である。通信部150は、例えば、アンテナやネットワークアダプタを備える。通信部150は、インターネット、移動体通信網等のネットワークを介して外部装置と通信してもよいが、近距離無線通信のように、外部装置とネットワークを介さずに直接通信してもよい。また、通信部150による通信は、ここでは無線通信であるとするが、有線通信であってもよい。
【0024】
表示装置100のハードウェア構成は、以上のとおりである。この構成のもと、表示装置100は、外部装置と通信したり、実行中の処理に応じた画像を表示面101に表示したりする。このとき、表示装置100は、近接操作及び接触操作を検出し、ユーザの指先の位置を検出する。表示装置100は、近接操作を検出したら、検出された指先の位置の推移に応じて、必要に応じて画像の表示態様を変更する。
【0025】
本実施形態において、表示装置100は、指先が検出可能領域に所定の時間以上滞留し、それでもなお接触操作が検出されない場合に、画像を拡大表示する。表示装置100は、表示面101に表示されていた画像の一部(例えば、指先の位置の近傍の画像)のみを拡大表示させてもよいが、表示面101に表示されていた画像の全部を拡大表示させてもよい。ただし、後者の場合には、拡大表示によってユーザが指示しようとしている位置が非表示になってしまわないように、画像の表示位置を制御した方が望ましい。
【0026】
本実施形態において、画像の拡大表示の態様は、複数ある。また、画像の表示態様には、ユーザの操作が所定の条件を満たす場合であっても拡大表示を行わないものも含まれ得る。これらの表示態様は、あらかじめ定義されており、ユーザが自身の好み等に応じて設定することが可能である。あるいは、画像の表示態様は、実行中のアプリケーション(表示面101に表示されている画像に対応するアプリケーション)毎に異なってもよい。
【0027】
図3は、制御部110の機能的構成のうち、特に画像の表示制御に関する部分を示した機能ブロック図である。制御部110は、所定のプログラムを実行することにより、同図に示すデータ取得部111、判別部112、特定部113及び表示制御部114の各部に相当する機能を実現する。これらの機能は、OS(Operating System)や、画像の表示を制御する特定のソフトウェアのいずれによって実現されてもよいし、複数のソフトウェアの協働によって実現されてもよい。
【0028】
データ取得部111は、画像の表示に必要なデータを取得する手段である。データ取得部111は、具体的には、表示面101に表示されるべき画像を示す画像データと、操作部140により供給される座標情報である。画像データは、記憶部120にあらかじめ記憶されているもの(例えば、特定のアプリケーションの実行時に用いられる画像データ)であってもよいし、通信部150が外部装置から受信したもの(例えば、ブラウザによって表示されるウェブページのデータ)であってもよい。
【0029】
判別部112は、近接センサ142から供給された座標情報、すなわち近接センサ142により検出された近接操作に基づいて、表示面101の表示態様に関する動作モードを判別する手段である。ここにおいて、動作モードとは、画像の表示方式を定めるものであり、画像を強調表示するか否かを定めるものである。本実施形態の動作モードは、近接操作による拡大表示を有効にする「近接操作有効モード」と、近接操作による拡大表示を無効にする「近接操作無効モード」の2種類である。表示装置100をこれらの動作モードのいずれで動作させるかは、あらかじめ設定されている。また、動作モードは、近接センサ142から供給された座標情報のZ軸方向の座標(Z座標)、すなわち指先の位置の表示面101からの距離に応じて、さらに詳細に定められている。本実施形態において、これらの動作モードは、表示制御テーブルに記述されている。したがって、判別部112は、記憶部120に記憶された表示制御テーブルを参照することによって判別を行う。
【0030】
本実施形態において、判別部112は、近接センサ142により検出された指先の位置が所定領域に含まれる時間、すなわち、指先が所定領域内に留まっている時間によって、動作モードを判別する。ここにおいて、所定領域とは、上述した検出可能領域に含まれる領域であり、検出可能領域と同一の範囲の領域であってもよいが、本実施形態においては、検出可能領域よりも小さい領域であるとする。かかる領域のことを、以下においては「判別領域」という。検出可能領域がハードウェア的に定義される領域である一方、判別領域はソフトウェア的に定義される領域である。また、判別部112が拡大表示を行うか否かを判別するために計測する時間のことを、以下においては「滞留時間」という。
【0031】
滞留時間は、望ましくは、近接センサ142により検出された指先の位置が判別領域に入ってから、当該位置のZ座標が0になる(すなわち指先が表示面101に接触する)か、あるいは当該位置が判別領域から出るまでの時間のことであり、指先の位置が判別領域に含まれ続ける時間のことである。ただし、滞留時間は、指先が判別領域から出た時間がごく短時間であれば、このような時間を無視して積算され続けてもよいものである。
【0032】
図4は、表示制御テーブルの一例を示した図である。判別部112は、近接センサ142により検出された指先の位置が判別領域に含まれ続ける時間(すなわち滞留時間)に応じたテーブルを参照する。判別部112は、滞留時間が所定の閾値未満である場合には、テーブル4を参照し、テーブル4に従った動作モードを選択する一方、滞留時間が所定の閾値以上となった場合には、テーブル1〜3のいずれかを参照し、参照したテーブルに従った動作モードを選択する。なお、判別部112がテーブル1〜3のいずれを参照するかは、ユーザによってあらかじめ決められていてもよいし、拡大表示される画像に対応するアプリケーションによって決められてもよい。
【0033】
図4において、テーブル1〜3は、近接操作有効モードにおいて用いられるテーブルの例である。一方、テーブル4は、近接操作無効モードにおいて用いられるテーブルの例である。なお、ここにおいて、「Z」は、Z座標を表し、Th1〜Th4は、Z座標に対して設定された閾値を表す。また、詳細は後述するが、検出可能領域が判別領域の範囲よりも大きい場合は、Z=Th4を満たす位置を判別領域の境界(Z軸方向にある2つの境界のうちのよりユーザに近い側の境界)としてもよいし、検出可能領域の境界(Z軸方向にある2つの境界のうちのよりユーザに近い側の境界)としてもよい。前者の場合は判別領域内における近接操作が可能となるが、後者の場合は検出可能領域内における近接操作が可能となる。ただし、説明の簡略化のため、これ以下においてはZ=Th4を満たす位置は判別領域の境界であるとする。つまり、判別領域内での指先の位置のみが拡大表示の制御に用いられるものとする。
【0034】
テーブル1は、Z>Th4の場合に拡大表示をせず、0<Z≦Th4の場合に一定の倍率(m倍)で拡大表示をする表示態様を示すテーブルである。表示装置100がテーブル1を用いて拡大表示をする場合、表示面101に表示される画像は、ある時間を境にして一定の倍率で表示されるようになり、指先の位置が多少変化しても、当該位置が判別領域内である限りは倍率が変化しない。なお、テーブル1の場合の倍率mは、m>1を満たす適当な値である。
【0035】
一方、テーブル2は、Z>Th4の場合に拡大表示をしない点ではテーブル1と同様であるが、0<Z≦Th4の場合にZの値の大小に応じて拡大表示の倍率が変化する表示態様を示すテーブルである。表示装置100がテーブル2を用いて拡大表示をする場合、表示面101に表示される画像は、ある時間を境にして拡大表示されるようになり、表示面101に指を接近させるほどその倍率が段階的に大きくなる。
【0036】
また、テーブル3は、Z>Th4の場合に拡大表示をせず、0<Z≦Th4の場合にZの値の大小に応じて拡大表示の倍率が変化する点ではテーブル2と同様であるが、倍率の変化の態様がテーブル2と異なるものである。具体的には、表示装置100がテーブル3を用いて拡大表示をする場合、表示面101に表示される画像は、ZがTh4に近いほど大きく表示され、Zが0に近づくほど(すなわち、指先が表示面101に近づくほど)倍率が1倍(等倍)に近づき、元の大きさに近づいていくような表示態様である。かかる倍率は、Zとnの積によって表される。ここにおいて、nの値は、n>0を満たす適当な値である。また、このときの倍率の変化は、テーブル2の場合のように段階的にならず、より連続的である。
【0037】
なお、テーブル4は、近接操作無効モードに対応するものであり、Zの値によらず倍率が1倍(等倍)のままである。よって、表示装置100は、テーブル4を参照する場合には、近接センサ142によって近接操作を検出すること自体を省略し、接触センサ141によって接触操作のみを検出するようにしてもよい。
【0038】
特定部113は、判別部112により判別された動作モードと、操作部140により検出された指先の位置とに応じて、表示面101に表示される画像の表示態様を特定する手段である。特定部113は、拡大表示の倍率が可変的な表示制御を行う場合には、指先の位置のZ座標によって画像の倍率を特定する。また、特定部113は、表示面101に表示される画像の一部を拡大表示させる場合には、指先の位置のX座標とY座標(すなわち、指先の位置の表示面101に対する正射影の座標)によって画像を拡大させる位置を特定する。
【0039】
表示制御部114は、特定部113により特定された表示態様で表示面101に画像を表示させる手段である。本実施形態において、表示制御部114は、画像を強調表示すべき場合に、特定部113により特定された表示態様で画像を拡大表示させる。ゆえに、画像の具体的な表示態様は、ユーザの指先の位置や動作モードに応じて異なる。
【0040】
図5は、制御部110が上記の機能的構成によって実現する表示制御を示したフローチャートである。制御部110は、画像を拡大表示するか否かを判断する必要がある場合に、同図に示す表示制御処理を実行する。すなわち、制御部110は、図5に示す表示制御処理を常に実行する必要はなく、例えば、拡大表示を必要としない特定のアプリケーションを実行しているような場合には、かかる処理を実行しなくてもよい。
【0041】
制御部110による表示制御は、ユーザの指先が検出可能領域に入り、所定の条件が満たされることによって開始される。そこでまず、制御部110は、近接センサ142から供給される座標情報によって近接操作の位置を特定し、当該位置が検出可能領域に含まれるか否かを判断する(ステップS1)。制御部110は、この判断が肯定的(YES)になるまで、同じ処理を繰り返す。
【0042】
指先の位置が検出可能領域に含まれるようになると、制御部110は、当該位置がさらに判別領域に含まれるか否かを判断するとともに、判別領域での滞留時間が所定の閾値以上であるか否かを判断する(ステップS2)。ステップS2の判断は、指先が表示面101に近寄り、ユーザの操作が近接操作から接触操作に移行した場合や、指先が表示面101から遠ざかって判別領域から出た場合に否定的(NO)になる。また、この判断は、滞留時間が所定の閾値未満である場合にも、否定的となる。
【0043】
図6は、検出可能領域と判別領域の関係を示した図である。同図において、縦方向の座標軸は、Z軸を表しているが、横方向の座標軸は、X軸とY軸のいずれであってもよい。なお、図示の便宜上、ここでは判別領域がZ軸方向だけでなくX軸方向(又はY軸方向)にも検出可能領域より小さい領域として示されているが、判別領域のX軸方向及びY軸方向のサイズ(ユーザが正面から見たときの面積)は、検出可能領域のそれと同一であってもよい。
【0044】
指先の判別領域での滞留時間が所定の閾値以上となった場合、制御部110は、表示制御テーブルに従い、指先の位置に応じた表示態様で画像を拡大表示させるように表示部130を制御する(ステップS3)。また、制御部110は、このように画像の表示態様を制御するとともに、指先の位置の変化を判断する。具体的には、制御部110は、指先が検出可能領域内にあるか、あるいはユーザの操作が近接操作から接触操作に移行したかを判断する(ステップS4)。このとき、ユーザの指先が検出可能領域から一旦出ると、ステップS4の判断は否定的になる。すると、制御部110は、処理をステップS1からやり直す。
【0045】
一方、指先が検出可能領域内にあるか、あるいはユーザの操作が接触操作になった場合、制御部110は、ユーザの操作がこれらのいずれに相当するかをさらに判断する。具体的には、制御部110は、ユーザの操作が接触操作であるか否かで判断する(ステップS5)。接触操作と近接操作の区別は、座標情報のZ座標によって行われる。あるいは、制御部110は、座標情報が接触センサ141と近接センサ142のいずれから供給されたかによって接触操作と近接操作を区別してもよい。
【0046】
ユーザの操作が接触操作であれば、制御部110は、指先が接触した位置に応じて画像の表示を変化させる(ステップS7)。このとき、制御部110は、指先が接触した位置、すなわちユーザが選択した対象物に応じた処理をあわせて実行してもよい。例えば、制御部110は、ユーザがウェブページのハイパーリンク(文字列やアイコン)を選択した場合であれば、ハイパーリンクに記述されたデータを受信するとともに、これをレンダリングしてページの表示を切り替える、といった処理を実行する。一方、ユーザの操作が接触操作でなければ(すなわち近接操作であれば)、制御部110は、ステップS3以降の処理を繰り返す。
【0047】
また、制御部110は、ステップS2において判別領域での滞留時間が所定の閾値未満である場合にも、ユーザの操作が接触操作であるか否かで判断する(ステップS6)。この場合にも、制御部110は、ユーザの操作が接触操作であれば、ステップS7の処理を実行する。一方、制御部110は、ユーザの操作が接触操作でなければ、この場合にはステップS1以降の処理を繰り返す。
【0048】
ステップS7の処理を実行したら、制御部110は、積算した滞留時間の値をリセットし、0に戻す(ステップS8)。なお、制御部110は、ステップS7の処理とステップS8の処理の実行順序を逆にしてもよい。また、制御部110は、ステップS7の処理を実行した後のほかに、座標情報により示される位置が検出可能領域(又は判別領域)外になったときに、滞留時間の値をリセットするようにしてもよい。
【0049】
図7は、表示装置100による動作モード毎の表示例を示した図である。これらの表示例は、いずれも、アイコンIc1〜Ic6が表示されている状態で、ユーザがアイコンIc2を選択しようと徐々に指を近づけていく場合を示したものである。なお、近接操作有効モードの表示態様は、図4に示したテーブル3に従った場合のものである。表示装置100は、近接操作有効モードにおいては、Im1→Im2→Im3→Im4の流れで画像の表示態様を変化させる一方、近接操作無効モードにおいては、Im1→Im4の流れで画像の表示態様を変化させる。
【0050】
画像Im1は、初期状態の画像であり、ユーザの指が検出可能領域外にある場合の画像である。これに対し、画像Im2は、ユーザが近接操作を行い、その滞留時間が所定の閾値以上となった場合の画像であり、画像Im3は、画像Im2の場合よりもユーザが指をさらに表示面101に近づけた場合の画像である。これらの場合において、アイコンIc2は、他のアイコンIc1、Ic3〜Ic6よりも目立ち、その確認や選択が容易になるように、拡大表示されている。また、画像Im4は、アイコンIc2が選択された場合の画像である。
【0051】
一方、近接操作無効モードにおいては、ユーザの指先の位置が画像Im2、Im3と同等であっても、アイコンIc2の表示態様が変化しない。このような表示態様は、指の移動が比較的高速であり、指が比較的短時間で表示面101まで到達する場合に実現される。つまり、この場合表示装置100は、近接操作によって画像の表示態様を変化させない。このような動作は、表示装置100が近接操作自体を受け付けないことによって実現されてもよいが、受け付けた近接操作を表示態様に反映させないことによって実現されてもよい。
【0052】
なお、拡大表示の表示態様は、図7に示した例に限定されない。例えば、表示装置100は、特定の対象物(図7の場合、アイコン)のみを拡大表示するのではなく、ユーザが指し示している位置を中心とした所定の範囲を全体的に拡大表示してもよい。また、表示装置100は、画像の一部分を拡大表示することによって他の部分が隠れて見えなくなってしまわないように、拡大表示する画像を半透明の画像(背後が透けて見える表示態様の画像)にしてもよい。また、表示装置100は、拡大表示に合わせて、対象物の色を変えたり、あるいは点滅表示させたりしてもよい。
【0053】
以上のように、本実施形態の表示装置100は、指先の判別領域での滞留時間によって拡大表示するか否かを判別するように構成されている。このような表示装置100によれば、ユーザが動作モードを(近接操作以外の操作で)事前に指定しておかなくても、ユーザの動作に応じた動作モードを判別することが可能である。したがって、表示装置100は、同じ画像を表示している場合であっても、ユーザの操作に対する習熟の度合いや、ユーザのそのときどきの操作スピードなどによって、拡大表示するか否かを状況に応じて変えることができる。
【0054】
このような表示制御は、例えば、ユーザの選択対象として複数のオブジェクト(ボタン、アイコン、ハイパーリンク等)が混在しているような画像を表示する場合にも適している。表示装置100によれば、このような画像を表示している場合において、ユーザが比較的小さなオブジェクトをゆっくりとした操作で選択しようとした場合には、当該オブジェクトが拡大表示される一方、ユーザが比較的大きなオブジェクトを素早い操作で選択しようとした場合には、当該オブジェクトを拡大表示させないようにすることが可能である。
【0055】
また、本実施形態の表示制御は、ユーザが高齢者や身体障害者である場合にも適している。表示装置100によれば、ユーザの手が震えるなどしてタッチしたい位置が一定に定まらない場合や、表示面101の画像をよく視認できない等の理由で指を表示面101に近づけたままなかなかタッチさせられないでいる場合などに、指の近傍の画像を拡大表示させて操作を補助ないし支援することが可能である。
【0056】
[第2実施形態]
本実施形態は、上述した第1実施形態の構成及び動作の一部に対して変更を加えたものである。本実施形態は、表示部130が画像の立体表示を可能とするものである場合の例である。なお、ここでいう立体表示は、画像があたかも立体的であるかのように知覚される表示態様のことである。表示部130は、いわゆる裸眼立体視を実現するものであってもよいが、専用の眼鏡等の補助的な器具を利用して立体視を実現するものであってもよい。表示部130による立体視の具体的な実現方法については、周知の適当な技術を用いればよい。
【0057】
なお、本実施形態以降の実施形態において、既に説明した実施形態と共通する部分の説明は、適宜省略される。また、本実施形態以降の実施形態において、既に説明した実施形態と共通する構成要素やフローチャート中の処理には、既に記載した符号と同一の符号を付すものとする。
【0058】
図8は、本実施形態の表示制御を示したフローチャートである。このフローチャートは、ステップS3の処理がステップS3aの処理に置き換わっている点を除き、第1実施形態の表示制御(図5参照)と同様のものである。
【0059】
ステップS3aにおいて、制御部110は、画像を立体表示させる場合の飛び出し量を制御する。ここにおいて、飛び出し量とは、ユーザと画像との間の視覚的な距離感を表すものであり、飛び出し量が大きいほど画像がユーザの近くに(すなわち表示面101よりもより飛び出して)あるように近くされることを表している。制御部110は、飛び出し量を指先の位置に応じて局所的に変化させてもよいが、表示面101の全体が飛び出して見えるようにしてもよい。なお、表示制御テーブルについては、第1実施形態において「倍率」である部分を「飛び出し量」と読み替えるようにすればよい。
【0060】
また、制御部110は、本実施形態の表示制御と第1実施形態の表示制御を組み合わせて実行してもよい。すなわち、制御部110は、表示面101に表示されている画像を、拡大表示するとともに立体表示するように表示を制御してもよい。この場合、制御部110は、表示面101に表示されている画像のうちの拡大表示させる部分と立体表示させる部分とを異ならせてもよい。
【0061】
[第3実施形態]
図9は、本実施形態の表示装置100aの構成を示したブロック図である。同図に示すように、表示装置100aは、フィルタ部160を備える点が表示装置100(図2参照)と異なる。フィルタ部160は、座標情報に対してノイズを低減させるためのフィルタ処理を実行する手段である。なお、フィルタ部160は、他の構成要素とは独立したハードウェアであってもよいが、制御部110や操作部140の一機能として実現されてもよい。
【0062】
フィルタ部160により用いられるフィルタは、具体的には、平滑化フィルタ、メディアンフィルタ、ガウシアンフィルタ、移動平均フィルタなどである。つまり、フィルタ部160は、座標情報により表される座標が短時間に細かく変動する場合に、その変動を抑制するように座標情報を変換する。したがって、ここでいうノイズとは、繰り返し連続的に検出される座標情報を時系列的に表した場合の高周波成分のことである。
【0063】
本実施形態の表示装置100aによれば、制御部110が表示制御に用いる場合の指の軌跡を実際の軌跡よりも滑らか(すなわち、位置変動が緩やか)にすることが可能である。これにより、制御部110は、表示面101の画像が拡大表示される場合の倍率(又は当該画像が立体表示される場合の飛び出し量)を急激に(又は頻繁に)変えないようにすることが可能となり、画像がぶれたりしてユーザに見づらくなることを抑えることができるようになる。このような表示制御は、特に、図4のテーブル3の場合のように倍率(又は飛び出し量)が連続的に変化する場合に有効である。
【0064】
なお、フィルタ部160は、X座標、Y座標、Z座標のそれぞれに対してフィルタ処理を実行してもよいが、Z座標のみに対してフィルタ処理を実行してもよい。また、フィルタ部160は、それぞれの座標に対して実行するフィルタ処理の態様(より具体的には、ノイズを低減させる程度)を座標毎に異ならせてもよい。
【0065】
[第4実施形態]
本実施形態は、拡大表示(又は立体表示)後の表示制御に特徴を有するものである。具体的には、本実施形態において、表示装置100は、表示面101の画像が強調表示された後に接触操作が検出された場合に、強調表示を解除して通常の表示に戻し、その後、ユーザの指先がいったん判別領域外に出るまでは、強調表示を再度行わないように制限する。このような表示制御は、特に、接触操作によってページ切り替え等の画面遷移が生じる場合に有効である。
【0066】
図10は、本実施形態の表示制御を示したフローチャートである。このフローチャートは、ステップS9、S10の処理が追加されている点が第1実施形態の表示制御(図5参照)と相違する。また、本実施形態において、制御部110は、ステップS7において、ユーザの接触操作に応じて拡大表示をいったん解除するものとする。
【0067】
ステップS9において、制御部110は、近接操作の座標情報により示される指先の位置が判別領域に含まれるか否かを判断する。制御部110は、かかる判断が否定的、すなわち指先の位置が判別領域外に出ると、ステップS1以降の処理を繰り返す。このとき、制御部110は、滞留時間が再び閾値以上となれば、近接操作有効モードに移行することが可能である。
【0068】
一方、指先の位置が判別領域内にある場合、制御部110は、ステップS10に示すように、近接操作無効モードで動作し、指先の位置が判別領域外になるまでステップS9の判断を繰り返す。なお、制御部110は、ステップS10において、近接操作を無効にするのではなく、近接操作に基づく拡大表示を無効にしてもよい。
【0069】
本実施形態の表示装置100によれば、接触操作後にユーザの意図に反した強調表示が行われることを防ぐことができる。例えば、表示装置100がブラウザによってウェブページを表示している場合に、ユーザがウェブページ中のハイパーリンクを接触操作により選択すると、ブラウザが表示するページは、選択前のウェブページから当該ハイパーリンクが示す他のウェブページに変化するのが一般的である。このようなページ遷移は、通信部150による通信やレンダリングを伴うため、ページが完全に切り替わるまでに時間を要する場合がある。このとき、ユーザは、次のページが表示されるまでの間、指の位置をあまり移動させることなく待機することがある。このような場合に、ユーザの指先が判別領域内に留まり続け、さらに滞留時間が所定の閾値以上になってしまうと、次のページは、いきなり強調表示された状態で表示されてしまうことになる。かかる表示態様は、ユーザが意図していない表示態様である可能性が高い。一方、本実施形態の表示制御によれば、ユーザがいったん指を遠ざけなければ強調表示が行われることがないため、上記のようなユーザの指の移動が少ない場合に強調表示がユーザの意図に反して行われないようにすることができる。
【0070】
なお、ステップS9の判断は、判別領域そのものではなく、判別領域の一部の領域に基づいて行われてもよい。例えば、ステップS9の判断は、判別領域よりもZ軸方向の範囲が狭い領域(すなわち判別領域よりも小さい領域)に基づき、当該領域に指先の位置が含まれるか否かを判断するものであってもよい。
【0071】
また、ステップS9の判断は、その変形例として、近接操作に代えて接触操作を用いたものとしてもよい。例えば、制御部110は、ステップS5又はS6の接触操作の後にさらに接触操作が検出された場合に、これらの2回の接触操作の座標の距離を算出し、その距離とあらかじめ決められた閾値とを比較することによって強調表示を有効にするか無効にするかを判断してもよい。
【0072】
[第5実施形態]
本実施形態は、ユーザの操作の特徴を、上述した滞留時間に代えて指の移動速度によって判別するものである。ここでいう移動速度は、より具体的には、ユーザの指先が表示面101に接近するときの移動速度である。また、移動速度は、指先のZ軸方向への変位の速度(すなわち、X軸方向及びY軸方向の変位を考慮しない速度)としてもよいし、これらの3軸の方向のそれぞれの変位を考慮して算出した速度としてもよい。
【0073】
図11は、本実施形態の表示制御を示したフローチャートである。このフローチャートは、ステップS2の処理がステップS2aの処理に置き換わっている点を除き、第1実施形態の表示制御(図5参照)と同様のものである。ステップS2aにおいて、制御部110は、近接操作を示す複数の座標情報に基づき、移動速度を算出し、その移動速度が所定の閾値以下であるか否かを判断する。なお、移動速度は、複数(少なくとも2点)の座標情報が示す座標間の変位をその検出時刻の差分で除することによって算出可能である。
【0074】
制御部110は、移動速度が閾値以下である場合、すなわち比較的ゆっくりと移動している場合に、動作モードが近接操作有効モードであると判別し、ステップS3の処理を実行する。一方、制御部110は、移動速度が閾値を超える場合、すなわち比較的素早く移動している場合に、動作モードが近接操作無効モードであると判別し、ステップS6の処理を実行する。
【0075】
なお、制御部110は、指先の位置の移動速度に代えて、指先の位置の加速度や躍度(加加速度)を算出し、これを判別に用いることも可能である。すなわち、制御部110は、単位時間当たりの指先の変位ではなく、単位時間当たりの移動速度又はその加速度に基づいて動作モードを判別してもよい。
【0076】
[変形例]
本発明は、上述した各実施形態の態様に限らず、他の態様でも実施することができる。本発明は、例えば、以下の変形例に示す態様によっても実施可能である。なお、本発明は、これら複数の変形例を組み合わせた態様で実施されてもよいし、上述した各実施形態の特徴を複数組み合わせた態様で実施されてもよい。
【0077】
(1)本発明の指示体は、上述したように、スタイラス等のユーザが手に持って動かす指示用の器具であってもよい。このような指示体を用いる場合の操作手段は、指示体の位置を赤外線や超音波によって検出するものであってもよい。また、先端に磁性体を備える指示体を用いた場合には、指示体の位置を磁気的に検出することも可能である。
【0078】
(2)本発明の操作手段は、接触操作を検出するセンサと近接操作を検出するセンサとを別個に備える構成ではなく、接触操作と近接操作を単一のセンサによって検出する構成であってもよい。
【0079】
(3)本発明の表示制御装置は、上述した実施形態のように表示装置100の構成の一部であってもよいが、表示装置と、表示装置とは独立に設けられた他の装置との協働によって実現されてもよい。例えば、本発明は、いわゆるデスクトップPCのように本体と表示装置とが分かれた構成の場合には、操作手段を表示装置側に備え、他の手段(判別手段、特定手段、表示制御手段など)を本体側に備えるようにしてもよい。
【0080】
あるいは、本発明の表示制御装置は、操作手段に代えて、操作手段から供給された座標情報を取得する手段(データ取得部111)を備えるものであってもよい。すなわち、本発明の表示制御装置は、上述した制御部110のみによって構成することも可能である。また、このような表示制御装置は、これをコンピュータに実現させるためのプログラムや、かかるプログラムを記録した記録媒体の形態でも実施され得る。
【符号の説明】
【0081】
100、100a…表示装置、101…表示面、110…制御部、111…データ取得部、112…判別部、113…特定部、114…表示制御部、120…記憶部、130…表示部、140…操作部、141…接触センサ、142…近接センサ、150…通信部、160…フィルタ部
【技術分野】
【0001】
本発明は、指等の指示体を用いて表示面に対する操作を行う場合の表示制御に関する。
【背景技術】
【0002】
画像の表示面に対する操作を検出する場合に、その操作を3次元的に検出する技術が知られている。例えば、特許文献1には、タッチパネルに指が接近すると、現在表示中の内容を拡大表示する入力装置が開示されている。また、特許文献2、3にも、同様の表示制御が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−280316号公報
【特許文献2】特開2008−117371号公報
【特許文献3】特開2009−116583号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ユーザの操作は、そのときどきの状況によって異なり得るため、例えば、拡大表示が適している場合とそうでない場合とがある。それゆえ、ある特定の表示制御を行うか否かが一律に定まっていたのでは、ユーザが望まない表示制御になりやすい。
そこで、本発明は、表示面に対するユーザの操作を3次元的に検出する場合において、指示体が表示面に近接するときの動作に応じて表示態様を制御することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一態様に係る表示制御装置は、表示面に対する指示体の位置を繰り返し検出して操作を受け付ける操作手段であって、前記表示面に対して前記指示体を接触させる接触操作と、前記表示面に対して前記指示体を接触させずに近接させる近接操作とを検出する操作手段と、前記操作手段により検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する判別手段と、前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する特定手段と、前記特定手段により特定された表示態様で前記表示面に画像を表示させる表示制御手段とを備える。
【0006】
好ましい態様において、前記判別手段は、前記操作手段により検出された近接操作が示す前記指示体の3次元的な位置があらかじめ設定された所定領域に含まれる滞留時間によって前記動作モードを判別する。
別の好ましい態様において、前記判別手段は、前記滞留時間があらかじめ決められた閾値より長い場合に、前記動作モードが所定のモードであると判別し、前記特定手段は、前記判別手段により判別された動作モードが前記所定のモードである場合に、前記表示面に表示される画像の一部を強調表示させる表示態様を特定する。
さらに別の好ましい態様において、前記特定手段は、前記表示面のうちの強調表示を行う範囲を、前記指示体の位置の前記表示面に対する正射影の座標と、当該位置の前記表示面からの距離との少なくともいずれかを用いて特定する。
さらに別の好ましい態様において、前記特定手段は、前記表示面に表示される画像を拡大表示させる場合の倍率を特定する。
さらに別の好ましい態様において、前記特定手段は、前記表示面に表示される画像を立体表示させる場合の飛び出し量を特定する。
さらに別の好ましい態様において、前記表示制御手段は、前記画像が強調表示された後に前記操作手段により接触操作が検出された場合に強調表示を解除するとともに、前記操作部により検出される位置が前記所定領域外になるまで強調表示を再度行わない。
さらに別の好ましい態様において、前記判別手段は、前記操作手段により検出される前記位置が前記判別領域に入ってから、当該位置が前記接触操作として検出され、又は当該位置が当該判別領域を出るまでの時間を前記滞留時間として算出する。
さらに別の好ましい態様において、前記判別手段は、前記操作手段により検出された近接操作が示す前記指示体の移動速度によって前記動作モードを判別する。
さらに別の好ましい態様において、前記特定手段は、記憶手段に記憶された制御データを用いて、前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じた表示態様を特定する。
さらに別の好ましい態様において、前記記憶手段は、アプリケーションに応じた前記制御データを記憶し、前記特定手段は、前記表示面に表示されている画像に対応するアプリケーションに応じた前記制御データを用いて表示態様を特定する。
さらに別の好ましい態様において、前記表示制御装置は、前記操作手段により検出された位置を表す座標情報に対してノイズを低減するフィルタ処理を実行するフィルタ手段を備え、前記判別手段は、前記フィルタ手段によりフィルタ処理が実行された座標情報に基づいて動作モードを判別する。
さらに別の好ましい態様において、前記操作手段は、前記接触操作を検出する第1のセンサと前記近接操作を検出する第2のセンサとを備える。
さらに別の好ましい態様において、前記操作手段は、前記接触操作及び前記近接操作を検出する単一のセンサを備える。
【0007】
本発明の他の態様に係る表示制御方法は、表示面に対する指示体の位置を繰り返し検出して操作を受け付けるステップであって、前記表示面に対して前記指示体を接触させる接触操作と、前記表示面に対して前記指示体を接触させずに近接させる近接操作とを検出する第1のステップと、前記第1のステップにおいて検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する第2のステップと、前記第2のステップにおいて判別された動作モードと前記第1のステップにおいて検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する第3のステップと、前記第3のステップにおいて特定された表示態様で前記表示面に画像を表示させる第4のステップと有する。
【発明の効果】
【0008】
本発明によれば、表示面に対するユーザの操作を3次元的に検出する場合において、指示体が表示面に近接するときの動作に応じて表示態様を制御することが可能である。
【図面の簡単な説明】
【0009】
【図1】表示装置の外観を示した図
【図2】表示装置のハードウェア構成を示したブロック図
【図3】制御部の機能的構成を示した機能ブロック図
【図4】表示制御テーブルの一例を示した図
【図5】制御部が実現する表示制御を示したフローチャート
【図6】検出可能領域と判別領域の関係を示した図
【図7】表示装置による動作モード毎の表示例を示した図
【図8】制御部が実現する表示制御を示したフローチャート(第2実施形態)
【図9】表示装置の構成を示したブロック図(第3実施形態)
【図10】制御部が実現する表示制御を示したフローチャート(第4実施形態)
【図11】制御部が実現する表示制御を示したフローチャート(第5実施形態)
【発明を実施するための形態】
【0010】
[発明の要旨]
本発明は、表示面に対するユーザの操作を3次元的に検出する表示装置において、指示体が表示面に接触せずに近接するときの動作の特徴に基づく表示制御を特徴とするものである。ここにおいて、指示体とは、ユーザが表示面を指し示す操作を行うための身体の部位又は器具をいい、例えば、ユーザの指やスタイラス(スタイラスペン)である。
【0011】
一般に、ユーザによる操作は、細かい操作を行おうとすると指示体の動きが遅くなる傾向にある。例えば、フィッツの法則(Fitts's law)は、操作の対象物(ボタン等)が小さいほどユーザが操作に時間を要することを示しているが、実際のユーザの動作によく一致することが知られている。また、一般に、初心者や高齢者など、ユーザが指示体による操作に不慣れな者であるほど、そのユーザによる操作は遅くなる傾向も認められる。したがって、ユーザの操作が比較的ゆっくりしているという特徴を示す場合には、ユーザの操作を補助又は支援するような表示態様がユーザに資する可能性が高いといえる。
【0012】
そこで、本発明は、ユーザの操作のこのような特徴に着目し、かかる特徴の操作が行われた場合とそうでない場合とで表示態様を切り替えるようにしたものである。具体的には、本発明は、指示体を検出した時間や速度に基づいて指示体の動きを判断し、ユーザの操作が所定の条件を満たす場合に、表示面の表示態様を通常と異ならせることによって表示面に対する操作を容易ならしめるようにするものである。かかる表示態様(通常と異なる表示態様)は、画像を強調表示させるものであり、例えば、ユーザが指示しようとしている画像を拡大表示したり、あるいは立体的に表示させたりするものである。このような強調表示を実現することで、ユーザは、ボタン等の対象物をより容易に指示(すなわち選択)することが可能となる。
【0013】
[第1実施形態]
図1は、本発明の一実施形態である表示装置100の外観を示した図である。表示装置100は、ユーザが表示面101に対して操作を行うことができる情報処理装置であり、例えば、携帯電話機、スマートフォン、PDA(Personal Digital Assistant)、タブレットPC(Personal Computer)又はスレートPC、ゲーム機、電子ブックリーダなどである。表示面101は、画像を表示する面であるとともに、ユーザの操作を受け付ける面でもある。また、表示装置100は、ユーザの手の指先の位置を検出できるように構成されている。すなわち、本実施形態の検出対象たる指示体は、ユーザの指である。なお、説明の便宜上、以下においては、図1に図示された面、すなわち表示面101を有する面のことを「正面」という。
【0014】
図2は、表示装置100のハードウェア構成を示したブロック図である。表示装置100は、同図に示すように、制御部110と、記憶部120と、表示部130と、操作部140と、通信部150とを備える。なお、表示部130と操作部140は、一体的に構成されていてもよいし、分離されていてもよい。また、通信部150は、本発明に必須の構成要素ではない。
【0015】
制御部110は、表示装置100の各部の動作を制御する手段である。制御部110は、CPU(Central Processing Unit)等の演算処理装置や、ROM(Read Only Memory)、RAM(Random Access Memory)等の記憶装置を備え、ROM又は記憶部120に記憶されたプログラムを実行することによって表示部130の表示制御や通信部150の通信制御を実現する。また、制御部110は、システムクロックに基づいて現在時刻を認識するとともに、時間を計測する機能を有する。
【0016】
記憶部120は、制御部110が制御に用いるデータを記憶する手段である。記憶部120は、ハードディスクやフラッシュメモリによって構成される。記憶部120は、いわゆるリムーバブルメディア、すなわち着脱可能な記憶手段を含んでもよい。記憶部120には、後述する表示制御テーブルが記憶されている。
【0017】
表示部130は、表示面101に画像を表示する手段である。表示部130は、液晶素子や有機EL(electroluminescence)素子により画像を表示する表示パネルと、この表示パネルを駆動する駆動回路等を備える。表示面101は、ここでは長方形であるとし、この長方形の短辺と長辺に沿って画素がマトリクス状に配置されているものとする。この表示面101に対しては、図1に示すように、適当な位置(ここでは左上端)を原点Oとした3次元直交座標系が定義されているものとする。ここでは、表示面101の長辺方向にX軸、表示面101の短辺方向にY軸をそれぞれ定義し、X軸及びY軸と直交する方向にZ軸を定義する。なお、Z軸は、表示面101の表面を原点とし、ユーザに向かう方向(図1における上方)を正方向とする座標軸とする。
【0018】
操作部140は、ユーザの操作を受け付ける手段である。操作部140は、表示面101に対するユーザの指先の位置を検出し、その位置を表す座標情報を制御部110に供給するためのセンサを備える。より詳細には、操作部140は、接触センサ141と近接センサ142とを備える。接触センサ141は、ユーザの指先が表示面101に接触した状態を検出するためのセンサである。接触センサ141は、例えば、周知のタッチスクリーン(タッチパネルともいう。)によって実現可能である。一方、近接センサ142は、ユーザの指先が表示面101に近接している状態を検出するためのセンサである。近接センサ142も、周知技術を用いたものであってよいが、例えば、指先の静電容量を検出したり、指先の位置を光学的に検出したりすることで実現される。
【0019】
接触センサ141は、ユーザの指先が接触した表示面101の表面の位置を2次元的に検出する。ゆえに、接触センサ141が供給する座標情報は、X軸方向の座標(X座標)とY軸方向の座標(Y座標)とを表す座標情報である。一方、近接センサ142は、表示面101に触れることなく近接している状態のユーザの指先の位置を3次元的に検出する。ゆえに、近接センサ142が供給する座標情報は、X軸、Y軸及びZ軸のそれぞれの方向の座標を表す座標情報である。以下においては、接触センサ141が供給する座標情報によって特定される操作のことを「接触操作」といい、近接センサ142が供給する座標情報によって特定される操作のことを「近接操作」という。
【0020】
なお、近接センサ142は、ユーザの指先を検出可能な範囲(以下「検出可能領域」という。)が制限されている。検出可能領域は、近接センサ142のハードウェア的な性能によって定まる。本実施形態でいう「近接」とは、指先の位置(特にZ軸方向の位置)がこの検出可能領域にある状態を指し、より詳細には、指先の位置が後述する判別領域に含まれる状態を指すものである。
【0021】
接触センサ141及び近接センサ142は、指示体の位置を所定のサンプリングレートで検出する。すなわち、接触センサ141及び近接センサ142は、指示体の位置を繰り返し連続的に検出する。なお、近接センサ142は、ユーザの指を継続して所定時間以上検出しなかった場合に、サンプリングレートを一時的に下げ、指を再び検出したらサンプリングレートを元に戻すようにしてもよい。また、接触センサ141は、近接センサ142が指を検知してから機能するようになっていてもよい。なぜならば、指が表示面101に接触するためには、事前に指が表示面101に必ず近接するからである。
【0022】
また、操作部140は、表示面101に対する操作だけでなく、他の操作をも受け付ける手段であってもよい。例えば、表示装置100は、表示面101以外の部分(側面や背面を含む。)にボタンやスイッチ等の物理キーを備え、操作部140が物理キーによる操作を受け付けるように構成されていてもよい。この場合、操作部140は、物理キーによる操作を表す操作情報を制御部110に供給する。なお、ここでいう物理キーは、いわゆるQWERTY配列のキーボードやテンキーであってもよい。
【0023】
通信部150は、外部装置と通信するための手段である。通信部150は、例えば、アンテナやネットワークアダプタを備える。通信部150は、インターネット、移動体通信網等のネットワークを介して外部装置と通信してもよいが、近距離無線通信のように、外部装置とネットワークを介さずに直接通信してもよい。また、通信部150による通信は、ここでは無線通信であるとするが、有線通信であってもよい。
【0024】
表示装置100のハードウェア構成は、以上のとおりである。この構成のもと、表示装置100は、外部装置と通信したり、実行中の処理に応じた画像を表示面101に表示したりする。このとき、表示装置100は、近接操作及び接触操作を検出し、ユーザの指先の位置を検出する。表示装置100は、近接操作を検出したら、検出された指先の位置の推移に応じて、必要に応じて画像の表示態様を変更する。
【0025】
本実施形態において、表示装置100は、指先が検出可能領域に所定の時間以上滞留し、それでもなお接触操作が検出されない場合に、画像を拡大表示する。表示装置100は、表示面101に表示されていた画像の一部(例えば、指先の位置の近傍の画像)のみを拡大表示させてもよいが、表示面101に表示されていた画像の全部を拡大表示させてもよい。ただし、後者の場合には、拡大表示によってユーザが指示しようとしている位置が非表示になってしまわないように、画像の表示位置を制御した方が望ましい。
【0026】
本実施形態において、画像の拡大表示の態様は、複数ある。また、画像の表示態様には、ユーザの操作が所定の条件を満たす場合であっても拡大表示を行わないものも含まれ得る。これらの表示態様は、あらかじめ定義されており、ユーザが自身の好み等に応じて設定することが可能である。あるいは、画像の表示態様は、実行中のアプリケーション(表示面101に表示されている画像に対応するアプリケーション)毎に異なってもよい。
【0027】
図3は、制御部110の機能的構成のうち、特に画像の表示制御に関する部分を示した機能ブロック図である。制御部110は、所定のプログラムを実行することにより、同図に示すデータ取得部111、判別部112、特定部113及び表示制御部114の各部に相当する機能を実現する。これらの機能は、OS(Operating System)や、画像の表示を制御する特定のソフトウェアのいずれによって実現されてもよいし、複数のソフトウェアの協働によって実現されてもよい。
【0028】
データ取得部111は、画像の表示に必要なデータを取得する手段である。データ取得部111は、具体的には、表示面101に表示されるべき画像を示す画像データと、操作部140により供給される座標情報である。画像データは、記憶部120にあらかじめ記憶されているもの(例えば、特定のアプリケーションの実行時に用いられる画像データ)であってもよいし、通信部150が外部装置から受信したもの(例えば、ブラウザによって表示されるウェブページのデータ)であってもよい。
【0029】
判別部112は、近接センサ142から供給された座標情報、すなわち近接センサ142により検出された近接操作に基づいて、表示面101の表示態様に関する動作モードを判別する手段である。ここにおいて、動作モードとは、画像の表示方式を定めるものであり、画像を強調表示するか否かを定めるものである。本実施形態の動作モードは、近接操作による拡大表示を有効にする「近接操作有効モード」と、近接操作による拡大表示を無効にする「近接操作無効モード」の2種類である。表示装置100をこれらの動作モードのいずれで動作させるかは、あらかじめ設定されている。また、動作モードは、近接センサ142から供給された座標情報のZ軸方向の座標(Z座標)、すなわち指先の位置の表示面101からの距離に応じて、さらに詳細に定められている。本実施形態において、これらの動作モードは、表示制御テーブルに記述されている。したがって、判別部112は、記憶部120に記憶された表示制御テーブルを参照することによって判別を行う。
【0030】
本実施形態において、判別部112は、近接センサ142により検出された指先の位置が所定領域に含まれる時間、すなわち、指先が所定領域内に留まっている時間によって、動作モードを判別する。ここにおいて、所定領域とは、上述した検出可能領域に含まれる領域であり、検出可能領域と同一の範囲の領域であってもよいが、本実施形態においては、検出可能領域よりも小さい領域であるとする。かかる領域のことを、以下においては「判別領域」という。検出可能領域がハードウェア的に定義される領域である一方、判別領域はソフトウェア的に定義される領域である。また、判別部112が拡大表示を行うか否かを判別するために計測する時間のことを、以下においては「滞留時間」という。
【0031】
滞留時間は、望ましくは、近接センサ142により検出された指先の位置が判別領域に入ってから、当該位置のZ座標が0になる(すなわち指先が表示面101に接触する)か、あるいは当該位置が判別領域から出るまでの時間のことであり、指先の位置が判別領域に含まれ続ける時間のことである。ただし、滞留時間は、指先が判別領域から出た時間がごく短時間であれば、このような時間を無視して積算され続けてもよいものである。
【0032】
図4は、表示制御テーブルの一例を示した図である。判別部112は、近接センサ142により検出された指先の位置が判別領域に含まれ続ける時間(すなわち滞留時間)に応じたテーブルを参照する。判別部112は、滞留時間が所定の閾値未満である場合には、テーブル4を参照し、テーブル4に従った動作モードを選択する一方、滞留時間が所定の閾値以上となった場合には、テーブル1〜3のいずれかを参照し、参照したテーブルに従った動作モードを選択する。なお、判別部112がテーブル1〜3のいずれを参照するかは、ユーザによってあらかじめ決められていてもよいし、拡大表示される画像に対応するアプリケーションによって決められてもよい。
【0033】
図4において、テーブル1〜3は、近接操作有効モードにおいて用いられるテーブルの例である。一方、テーブル4は、近接操作無効モードにおいて用いられるテーブルの例である。なお、ここにおいて、「Z」は、Z座標を表し、Th1〜Th4は、Z座標に対して設定された閾値を表す。また、詳細は後述するが、検出可能領域が判別領域の範囲よりも大きい場合は、Z=Th4を満たす位置を判別領域の境界(Z軸方向にある2つの境界のうちのよりユーザに近い側の境界)としてもよいし、検出可能領域の境界(Z軸方向にある2つの境界のうちのよりユーザに近い側の境界)としてもよい。前者の場合は判別領域内における近接操作が可能となるが、後者の場合は検出可能領域内における近接操作が可能となる。ただし、説明の簡略化のため、これ以下においてはZ=Th4を満たす位置は判別領域の境界であるとする。つまり、判別領域内での指先の位置のみが拡大表示の制御に用いられるものとする。
【0034】
テーブル1は、Z>Th4の場合に拡大表示をせず、0<Z≦Th4の場合に一定の倍率(m倍)で拡大表示をする表示態様を示すテーブルである。表示装置100がテーブル1を用いて拡大表示をする場合、表示面101に表示される画像は、ある時間を境にして一定の倍率で表示されるようになり、指先の位置が多少変化しても、当該位置が判別領域内である限りは倍率が変化しない。なお、テーブル1の場合の倍率mは、m>1を満たす適当な値である。
【0035】
一方、テーブル2は、Z>Th4の場合に拡大表示をしない点ではテーブル1と同様であるが、0<Z≦Th4の場合にZの値の大小に応じて拡大表示の倍率が変化する表示態様を示すテーブルである。表示装置100がテーブル2を用いて拡大表示をする場合、表示面101に表示される画像は、ある時間を境にして拡大表示されるようになり、表示面101に指を接近させるほどその倍率が段階的に大きくなる。
【0036】
また、テーブル3は、Z>Th4の場合に拡大表示をせず、0<Z≦Th4の場合にZの値の大小に応じて拡大表示の倍率が変化する点ではテーブル2と同様であるが、倍率の変化の態様がテーブル2と異なるものである。具体的には、表示装置100がテーブル3を用いて拡大表示をする場合、表示面101に表示される画像は、ZがTh4に近いほど大きく表示され、Zが0に近づくほど(すなわち、指先が表示面101に近づくほど)倍率が1倍(等倍)に近づき、元の大きさに近づいていくような表示態様である。かかる倍率は、Zとnの積によって表される。ここにおいて、nの値は、n>0を満たす適当な値である。また、このときの倍率の変化は、テーブル2の場合のように段階的にならず、より連続的である。
【0037】
なお、テーブル4は、近接操作無効モードに対応するものであり、Zの値によらず倍率が1倍(等倍)のままである。よって、表示装置100は、テーブル4を参照する場合には、近接センサ142によって近接操作を検出すること自体を省略し、接触センサ141によって接触操作のみを検出するようにしてもよい。
【0038】
特定部113は、判別部112により判別された動作モードと、操作部140により検出された指先の位置とに応じて、表示面101に表示される画像の表示態様を特定する手段である。特定部113は、拡大表示の倍率が可変的な表示制御を行う場合には、指先の位置のZ座標によって画像の倍率を特定する。また、特定部113は、表示面101に表示される画像の一部を拡大表示させる場合には、指先の位置のX座標とY座標(すなわち、指先の位置の表示面101に対する正射影の座標)によって画像を拡大させる位置を特定する。
【0039】
表示制御部114は、特定部113により特定された表示態様で表示面101に画像を表示させる手段である。本実施形態において、表示制御部114は、画像を強調表示すべき場合に、特定部113により特定された表示態様で画像を拡大表示させる。ゆえに、画像の具体的な表示態様は、ユーザの指先の位置や動作モードに応じて異なる。
【0040】
図5は、制御部110が上記の機能的構成によって実現する表示制御を示したフローチャートである。制御部110は、画像を拡大表示するか否かを判断する必要がある場合に、同図に示す表示制御処理を実行する。すなわち、制御部110は、図5に示す表示制御処理を常に実行する必要はなく、例えば、拡大表示を必要としない特定のアプリケーションを実行しているような場合には、かかる処理を実行しなくてもよい。
【0041】
制御部110による表示制御は、ユーザの指先が検出可能領域に入り、所定の条件が満たされることによって開始される。そこでまず、制御部110は、近接センサ142から供給される座標情報によって近接操作の位置を特定し、当該位置が検出可能領域に含まれるか否かを判断する(ステップS1)。制御部110は、この判断が肯定的(YES)になるまで、同じ処理を繰り返す。
【0042】
指先の位置が検出可能領域に含まれるようになると、制御部110は、当該位置がさらに判別領域に含まれるか否かを判断するとともに、判別領域での滞留時間が所定の閾値以上であるか否かを判断する(ステップS2)。ステップS2の判断は、指先が表示面101に近寄り、ユーザの操作が近接操作から接触操作に移行した場合や、指先が表示面101から遠ざかって判別領域から出た場合に否定的(NO)になる。また、この判断は、滞留時間が所定の閾値未満である場合にも、否定的となる。
【0043】
図6は、検出可能領域と判別領域の関係を示した図である。同図において、縦方向の座標軸は、Z軸を表しているが、横方向の座標軸は、X軸とY軸のいずれであってもよい。なお、図示の便宜上、ここでは判別領域がZ軸方向だけでなくX軸方向(又はY軸方向)にも検出可能領域より小さい領域として示されているが、判別領域のX軸方向及びY軸方向のサイズ(ユーザが正面から見たときの面積)は、検出可能領域のそれと同一であってもよい。
【0044】
指先の判別領域での滞留時間が所定の閾値以上となった場合、制御部110は、表示制御テーブルに従い、指先の位置に応じた表示態様で画像を拡大表示させるように表示部130を制御する(ステップS3)。また、制御部110は、このように画像の表示態様を制御するとともに、指先の位置の変化を判断する。具体的には、制御部110は、指先が検出可能領域内にあるか、あるいはユーザの操作が近接操作から接触操作に移行したかを判断する(ステップS4)。このとき、ユーザの指先が検出可能領域から一旦出ると、ステップS4の判断は否定的になる。すると、制御部110は、処理をステップS1からやり直す。
【0045】
一方、指先が検出可能領域内にあるか、あるいはユーザの操作が接触操作になった場合、制御部110は、ユーザの操作がこれらのいずれに相当するかをさらに判断する。具体的には、制御部110は、ユーザの操作が接触操作であるか否かで判断する(ステップS5)。接触操作と近接操作の区別は、座標情報のZ座標によって行われる。あるいは、制御部110は、座標情報が接触センサ141と近接センサ142のいずれから供給されたかによって接触操作と近接操作を区別してもよい。
【0046】
ユーザの操作が接触操作であれば、制御部110は、指先が接触した位置に応じて画像の表示を変化させる(ステップS7)。このとき、制御部110は、指先が接触した位置、すなわちユーザが選択した対象物に応じた処理をあわせて実行してもよい。例えば、制御部110は、ユーザがウェブページのハイパーリンク(文字列やアイコン)を選択した場合であれば、ハイパーリンクに記述されたデータを受信するとともに、これをレンダリングしてページの表示を切り替える、といった処理を実行する。一方、ユーザの操作が接触操作でなければ(すなわち近接操作であれば)、制御部110は、ステップS3以降の処理を繰り返す。
【0047】
また、制御部110は、ステップS2において判別領域での滞留時間が所定の閾値未満である場合にも、ユーザの操作が接触操作であるか否かで判断する(ステップS6)。この場合にも、制御部110は、ユーザの操作が接触操作であれば、ステップS7の処理を実行する。一方、制御部110は、ユーザの操作が接触操作でなければ、この場合にはステップS1以降の処理を繰り返す。
【0048】
ステップS7の処理を実行したら、制御部110は、積算した滞留時間の値をリセットし、0に戻す(ステップS8)。なお、制御部110は、ステップS7の処理とステップS8の処理の実行順序を逆にしてもよい。また、制御部110は、ステップS7の処理を実行した後のほかに、座標情報により示される位置が検出可能領域(又は判別領域)外になったときに、滞留時間の値をリセットするようにしてもよい。
【0049】
図7は、表示装置100による動作モード毎の表示例を示した図である。これらの表示例は、いずれも、アイコンIc1〜Ic6が表示されている状態で、ユーザがアイコンIc2を選択しようと徐々に指を近づけていく場合を示したものである。なお、近接操作有効モードの表示態様は、図4に示したテーブル3に従った場合のものである。表示装置100は、近接操作有効モードにおいては、Im1→Im2→Im3→Im4の流れで画像の表示態様を変化させる一方、近接操作無効モードにおいては、Im1→Im4の流れで画像の表示態様を変化させる。
【0050】
画像Im1は、初期状態の画像であり、ユーザの指が検出可能領域外にある場合の画像である。これに対し、画像Im2は、ユーザが近接操作を行い、その滞留時間が所定の閾値以上となった場合の画像であり、画像Im3は、画像Im2の場合よりもユーザが指をさらに表示面101に近づけた場合の画像である。これらの場合において、アイコンIc2は、他のアイコンIc1、Ic3〜Ic6よりも目立ち、その確認や選択が容易になるように、拡大表示されている。また、画像Im4は、アイコンIc2が選択された場合の画像である。
【0051】
一方、近接操作無効モードにおいては、ユーザの指先の位置が画像Im2、Im3と同等であっても、アイコンIc2の表示態様が変化しない。このような表示態様は、指の移動が比較的高速であり、指が比較的短時間で表示面101まで到達する場合に実現される。つまり、この場合表示装置100は、近接操作によって画像の表示態様を変化させない。このような動作は、表示装置100が近接操作自体を受け付けないことによって実現されてもよいが、受け付けた近接操作を表示態様に反映させないことによって実現されてもよい。
【0052】
なお、拡大表示の表示態様は、図7に示した例に限定されない。例えば、表示装置100は、特定の対象物(図7の場合、アイコン)のみを拡大表示するのではなく、ユーザが指し示している位置を中心とした所定の範囲を全体的に拡大表示してもよい。また、表示装置100は、画像の一部分を拡大表示することによって他の部分が隠れて見えなくなってしまわないように、拡大表示する画像を半透明の画像(背後が透けて見える表示態様の画像)にしてもよい。また、表示装置100は、拡大表示に合わせて、対象物の色を変えたり、あるいは点滅表示させたりしてもよい。
【0053】
以上のように、本実施形態の表示装置100は、指先の判別領域での滞留時間によって拡大表示するか否かを判別するように構成されている。このような表示装置100によれば、ユーザが動作モードを(近接操作以外の操作で)事前に指定しておかなくても、ユーザの動作に応じた動作モードを判別することが可能である。したがって、表示装置100は、同じ画像を表示している場合であっても、ユーザの操作に対する習熟の度合いや、ユーザのそのときどきの操作スピードなどによって、拡大表示するか否かを状況に応じて変えることができる。
【0054】
このような表示制御は、例えば、ユーザの選択対象として複数のオブジェクト(ボタン、アイコン、ハイパーリンク等)が混在しているような画像を表示する場合にも適している。表示装置100によれば、このような画像を表示している場合において、ユーザが比較的小さなオブジェクトをゆっくりとした操作で選択しようとした場合には、当該オブジェクトが拡大表示される一方、ユーザが比較的大きなオブジェクトを素早い操作で選択しようとした場合には、当該オブジェクトを拡大表示させないようにすることが可能である。
【0055】
また、本実施形態の表示制御は、ユーザが高齢者や身体障害者である場合にも適している。表示装置100によれば、ユーザの手が震えるなどしてタッチしたい位置が一定に定まらない場合や、表示面101の画像をよく視認できない等の理由で指を表示面101に近づけたままなかなかタッチさせられないでいる場合などに、指の近傍の画像を拡大表示させて操作を補助ないし支援することが可能である。
【0056】
[第2実施形態]
本実施形態は、上述した第1実施形態の構成及び動作の一部に対して変更を加えたものである。本実施形態は、表示部130が画像の立体表示を可能とするものである場合の例である。なお、ここでいう立体表示は、画像があたかも立体的であるかのように知覚される表示態様のことである。表示部130は、いわゆる裸眼立体視を実現するものであってもよいが、専用の眼鏡等の補助的な器具を利用して立体視を実現するものであってもよい。表示部130による立体視の具体的な実現方法については、周知の適当な技術を用いればよい。
【0057】
なお、本実施形態以降の実施形態において、既に説明した実施形態と共通する部分の説明は、適宜省略される。また、本実施形態以降の実施形態において、既に説明した実施形態と共通する構成要素やフローチャート中の処理には、既に記載した符号と同一の符号を付すものとする。
【0058】
図8は、本実施形態の表示制御を示したフローチャートである。このフローチャートは、ステップS3の処理がステップS3aの処理に置き換わっている点を除き、第1実施形態の表示制御(図5参照)と同様のものである。
【0059】
ステップS3aにおいて、制御部110は、画像を立体表示させる場合の飛び出し量を制御する。ここにおいて、飛び出し量とは、ユーザと画像との間の視覚的な距離感を表すものであり、飛び出し量が大きいほど画像がユーザの近くに(すなわち表示面101よりもより飛び出して)あるように近くされることを表している。制御部110は、飛び出し量を指先の位置に応じて局所的に変化させてもよいが、表示面101の全体が飛び出して見えるようにしてもよい。なお、表示制御テーブルについては、第1実施形態において「倍率」である部分を「飛び出し量」と読み替えるようにすればよい。
【0060】
また、制御部110は、本実施形態の表示制御と第1実施形態の表示制御を組み合わせて実行してもよい。すなわち、制御部110は、表示面101に表示されている画像を、拡大表示するとともに立体表示するように表示を制御してもよい。この場合、制御部110は、表示面101に表示されている画像のうちの拡大表示させる部分と立体表示させる部分とを異ならせてもよい。
【0061】
[第3実施形態]
図9は、本実施形態の表示装置100aの構成を示したブロック図である。同図に示すように、表示装置100aは、フィルタ部160を備える点が表示装置100(図2参照)と異なる。フィルタ部160は、座標情報に対してノイズを低減させるためのフィルタ処理を実行する手段である。なお、フィルタ部160は、他の構成要素とは独立したハードウェアであってもよいが、制御部110や操作部140の一機能として実現されてもよい。
【0062】
フィルタ部160により用いられるフィルタは、具体的には、平滑化フィルタ、メディアンフィルタ、ガウシアンフィルタ、移動平均フィルタなどである。つまり、フィルタ部160は、座標情報により表される座標が短時間に細かく変動する場合に、その変動を抑制するように座標情報を変換する。したがって、ここでいうノイズとは、繰り返し連続的に検出される座標情報を時系列的に表した場合の高周波成分のことである。
【0063】
本実施形態の表示装置100aによれば、制御部110が表示制御に用いる場合の指の軌跡を実際の軌跡よりも滑らか(すなわち、位置変動が緩やか)にすることが可能である。これにより、制御部110は、表示面101の画像が拡大表示される場合の倍率(又は当該画像が立体表示される場合の飛び出し量)を急激に(又は頻繁に)変えないようにすることが可能となり、画像がぶれたりしてユーザに見づらくなることを抑えることができるようになる。このような表示制御は、特に、図4のテーブル3の場合のように倍率(又は飛び出し量)が連続的に変化する場合に有効である。
【0064】
なお、フィルタ部160は、X座標、Y座標、Z座標のそれぞれに対してフィルタ処理を実行してもよいが、Z座標のみに対してフィルタ処理を実行してもよい。また、フィルタ部160は、それぞれの座標に対して実行するフィルタ処理の態様(より具体的には、ノイズを低減させる程度)を座標毎に異ならせてもよい。
【0065】
[第4実施形態]
本実施形態は、拡大表示(又は立体表示)後の表示制御に特徴を有するものである。具体的には、本実施形態において、表示装置100は、表示面101の画像が強調表示された後に接触操作が検出された場合に、強調表示を解除して通常の表示に戻し、その後、ユーザの指先がいったん判別領域外に出るまでは、強調表示を再度行わないように制限する。このような表示制御は、特に、接触操作によってページ切り替え等の画面遷移が生じる場合に有効である。
【0066】
図10は、本実施形態の表示制御を示したフローチャートである。このフローチャートは、ステップS9、S10の処理が追加されている点が第1実施形態の表示制御(図5参照)と相違する。また、本実施形態において、制御部110は、ステップS7において、ユーザの接触操作に応じて拡大表示をいったん解除するものとする。
【0067】
ステップS9において、制御部110は、近接操作の座標情報により示される指先の位置が判別領域に含まれるか否かを判断する。制御部110は、かかる判断が否定的、すなわち指先の位置が判別領域外に出ると、ステップS1以降の処理を繰り返す。このとき、制御部110は、滞留時間が再び閾値以上となれば、近接操作有効モードに移行することが可能である。
【0068】
一方、指先の位置が判別領域内にある場合、制御部110は、ステップS10に示すように、近接操作無効モードで動作し、指先の位置が判別領域外になるまでステップS9の判断を繰り返す。なお、制御部110は、ステップS10において、近接操作を無効にするのではなく、近接操作に基づく拡大表示を無効にしてもよい。
【0069】
本実施形態の表示装置100によれば、接触操作後にユーザの意図に反した強調表示が行われることを防ぐことができる。例えば、表示装置100がブラウザによってウェブページを表示している場合に、ユーザがウェブページ中のハイパーリンクを接触操作により選択すると、ブラウザが表示するページは、選択前のウェブページから当該ハイパーリンクが示す他のウェブページに変化するのが一般的である。このようなページ遷移は、通信部150による通信やレンダリングを伴うため、ページが完全に切り替わるまでに時間を要する場合がある。このとき、ユーザは、次のページが表示されるまでの間、指の位置をあまり移動させることなく待機することがある。このような場合に、ユーザの指先が判別領域内に留まり続け、さらに滞留時間が所定の閾値以上になってしまうと、次のページは、いきなり強調表示された状態で表示されてしまうことになる。かかる表示態様は、ユーザが意図していない表示態様である可能性が高い。一方、本実施形態の表示制御によれば、ユーザがいったん指を遠ざけなければ強調表示が行われることがないため、上記のようなユーザの指の移動が少ない場合に強調表示がユーザの意図に反して行われないようにすることができる。
【0070】
なお、ステップS9の判断は、判別領域そのものではなく、判別領域の一部の領域に基づいて行われてもよい。例えば、ステップS9の判断は、判別領域よりもZ軸方向の範囲が狭い領域(すなわち判別領域よりも小さい領域)に基づき、当該領域に指先の位置が含まれるか否かを判断するものであってもよい。
【0071】
また、ステップS9の判断は、その変形例として、近接操作に代えて接触操作を用いたものとしてもよい。例えば、制御部110は、ステップS5又はS6の接触操作の後にさらに接触操作が検出された場合に、これらの2回の接触操作の座標の距離を算出し、その距離とあらかじめ決められた閾値とを比較することによって強調表示を有効にするか無効にするかを判断してもよい。
【0072】
[第5実施形態]
本実施形態は、ユーザの操作の特徴を、上述した滞留時間に代えて指の移動速度によって判別するものである。ここでいう移動速度は、より具体的には、ユーザの指先が表示面101に接近するときの移動速度である。また、移動速度は、指先のZ軸方向への変位の速度(すなわち、X軸方向及びY軸方向の変位を考慮しない速度)としてもよいし、これらの3軸の方向のそれぞれの変位を考慮して算出した速度としてもよい。
【0073】
図11は、本実施形態の表示制御を示したフローチャートである。このフローチャートは、ステップS2の処理がステップS2aの処理に置き換わっている点を除き、第1実施形態の表示制御(図5参照)と同様のものである。ステップS2aにおいて、制御部110は、近接操作を示す複数の座標情報に基づき、移動速度を算出し、その移動速度が所定の閾値以下であるか否かを判断する。なお、移動速度は、複数(少なくとも2点)の座標情報が示す座標間の変位をその検出時刻の差分で除することによって算出可能である。
【0074】
制御部110は、移動速度が閾値以下である場合、すなわち比較的ゆっくりと移動している場合に、動作モードが近接操作有効モードであると判別し、ステップS3の処理を実行する。一方、制御部110は、移動速度が閾値を超える場合、すなわち比較的素早く移動している場合に、動作モードが近接操作無効モードであると判別し、ステップS6の処理を実行する。
【0075】
なお、制御部110は、指先の位置の移動速度に代えて、指先の位置の加速度や躍度(加加速度)を算出し、これを判別に用いることも可能である。すなわち、制御部110は、単位時間当たりの指先の変位ではなく、単位時間当たりの移動速度又はその加速度に基づいて動作モードを判別してもよい。
【0076】
[変形例]
本発明は、上述した各実施形態の態様に限らず、他の態様でも実施することができる。本発明は、例えば、以下の変形例に示す態様によっても実施可能である。なお、本発明は、これら複数の変形例を組み合わせた態様で実施されてもよいし、上述した各実施形態の特徴を複数組み合わせた態様で実施されてもよい。
【0077】
(1)本発明の指示体は、上述したように、スタイラス等のユーザが手に持って動かす指示用の器具であってもよい。このような指示体を用いる場合の操作手段は、指示体の位置を赤外線や超音波によって検出するものであってもよい。また、先端に磁性体を備える指示体を用いた場合には、指示体の位置を磁気的に検出することも可能である。
【0078】
(2)本発明の操作手段は、接触操作を検出するセンサと近接操作を検出するセンサとを別個に備える構成ではなく、接触操作と近接操作を単一のセンサによって検出する構成であってもよい。
【0079】
(3)本発明の表示制御装置は、上述した実施形態のように表示装置100の構成の一部であってもよいが、表示装置と、表示装置とは独立に設けられた他の装置との協働によって実現されてもよい。例えば、本発明は、いわゆるデスクトップPCのように本体と表示装置とが分かれた構成の場合には、操作手段を表示装置側に備え、他の手段(判別手段、特定手段、表示制御手段など)を本体側に備えるようにしてもよい。
【0080】
あるいは、本発明の表示制御装置は、操作手段に代えて、操作手段から供給された座標情報を取得する手段(データ取得部111)を備えるものであってもよい。すなわち、本発明の表示制御装置は、上述した制御部110のみによって構成することも可能である。また、このような表示制御装置は、これをコンピュータに実現させるためのプログラムや、かかるプログラムを記録した記録媒体の形態でも実施され得る。
【符号の説明】
【0081】
100、100a…表示装置、101…表示面、110…制御部、111…データ取得部、112…判別部、113…特定部、114…表示制御部、120…記憶部、130…表示部、140…操作部、141…接触センサ、142…近接センサ、150…通信部、160…フィルタ部
【特許請求の範囲】
【請求項1】
表示面に対する指示体の位置を繰り返し検出して操作を受け付ける操作手段であって、前記表示面に対して前記指示体を接触させる接触操作と、前記表示面に対して前記指示体を接触させずに近接させる近接操作とを検出する操作手段と、
前記操作手段により検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する判別手段と、
前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する特定手段と、
前記特定手段により特定された表示態様で前記表示面に画像を表示させる表示制御手段と
を備えることを特徴とする表示制御装置。
【請求項2】
前記判別手段は、
前記操作手段により検出された近接操作が示す前記指示体の3次元的な位置があらかじめ設定された所定領域に含まれる滞留時間によって前記動作モードを判別する
ことを特徴とする請求項1に記載の表示制御装置。
【請求項3】
前記判別手段は、
前記滞留時間があらかじめ決められた閾値より長い場合に、前記動作モードが所定のモードであると判別し、
前記特定手段は、
前記判別手段により判別された動作モードが前記所定のモードである場合に、前記表示面に表示される画像の一部を強調表示させる表示態様を特定する
ことを特徴とする請求項2に記載の表示制御装置。
【請求項4】
前記特定手段は、
前記表示面のうちの強調表示を行う範囲を、前記指示体の位置の前記表示面に対する正射影の座標と、当該位置の前記表示面からの距離との少なくともいずれかを用いて特定する
ことを特徴とする請求項3に記載の表示制御装置。
【請求項5】
前記特定手段は、
前記表示面に表示される画像を拡大表示させる場合の倍率を特定する
ことを特徴とする請求項3又は4に記載の表示制御装置。
【請求項6】
前記特定手段は、
前記表示面に表示される画像を立体表示させる場合の飛び出し量を特定する
ことを特徴とする請求項3又は4に記載の表示制御装置。
【請求項7】
前記表示制御手段は、
前記画像が強調表示された後に前記操作手段により接触操作が検出された場合に強調表示を解除するとともに、前記操作部により検出される位置が前記所定領域外になるまで強調表示を再度行わない
ことを特徴とする請求項3ないし6のいずれかに記載の表示制御装置。
【請求項8】
前記判別手段は、
前記操作手段により検出される前記位置が前記判別領域に入ってから、当該位置が前記接触操作として検出され、又は当該位置が当該判別領域を出るまでの時間を前記滞留時間として算出する
ことを特徴とする請求項2ないし7のいずれかに記載の表示制御装置。
【請求項9】
前記判別手段は、
前記操作手段により検出された近接操作が示す前記指示体の移動速度によって前記動作モードを判別する
ことを特徴とする請求項1に記載の表示制御装置。
【請求項10】
前記特定手段は、
記憶手段に記憶された制御データを用いて、前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じた表示態様を特定する
ことを特徴とする請求項1ないし9のいずれかに記載の表示制御装置。
【請求項11】
前記記憶手段は、
アプリケーションに応じた前記制御データを記憶し、
前記特定手段は、
前記表示面に表示されている画像に対応するアプリケーションに応じた前記制御データを用いて表示態様を特定する
ことを特徴とする請求項10に記載の表示制御装置。
【請求項12】
前記操作手段により検出された位置を表す座標情報に対してノイズを低減するフィルタ処理を実行するフィルタ手段を備え、
前記判別手段は、
前記フィルタ手段によりフィルタ処理が実行された座標情報に基づいて動作モードを判別する
ことを特徴とする請求項1ないし11のいずれかに記載の表示制御装置。
【請求項13】
前記操作手段は、
前記接触操作を検出する第1のセンサと前記近接操作を検出する第2のセンサとを備える
ことを特徴とする請求項1ないし12のいずれかに記載の表示制御装置。
【請求項14】
前記操作手段は、
前記接触操作及び前記近接操作を検出する単一のセンサを備える
ことを特徴とする請求項1ないし12のいずれかに記載の表示制御装置。
【請求項15】
表示面に対する指示体の位置を繰り返し検出して操作を受け付けるステップであって、前記表示面に対して前記指示体を接触させる接触操作と、前記表示面に対して前記指示体を接触させずに近接させる近接操作とを検出する第1のステップと、
前記第1のステップにおいて検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する第2のステップと、
前記第2のステップにおいて判別された動作モードと前記第1のステップにおいて検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する第3のステップと、
前記第3のステップにおいて特定された表示態様で前記表示面に画像を表示させる第4のステップと
有することを特徴とする表示制御方法。
【請求項1】
表示面に対する指示体の位置を繰り返し検出して操作を受け付ける操作手段であって、前記表示面に対して前記指示体を接触させる接触操作と、前記表示面に対して前記指示体を接触させずに近接させる近接操作とを検出する操作手段と、
前記操作手段により検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する判別手段と、
前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する特定手段と、
前記特定手段により特定された表示態様で前記表示面に画像を表示させる表示制御手段と
を備えることを特徴とする表示制御装置。
【請求項2】
前記判別手段は、
前記操作手段により検出された近接操作が示す前記指示体の3次元的な位置があらかじめ設定された所定領域に含まれる滞留時間によって前記動作モードを判別する
ことを特徴とする請求項1に記載の表示制御装置。
【請求項3】
前記判別手段は、
前記滞留時間があらかじめ決められた閾値より長い場合に、前記動作モードが所定のモードであると判別し、
前記特定手段は、
前記判別手段により判別された動作モードが前記所定のモードである場合に、前記表示面に表示される画像の一部を強調表示させる表示態様を特定する
ことを特徴とする請求項2に記載の表示制御装置。
【請求項4】
前記特定手段は、
前記表示面のうちの強調表示を行う範囲を、前記指示体の位置の前記表示面に対する正射影の座標と、当該位置の前記表示面からの距離との少なくともいずれかを用いて特定する
ことを特徴とする請求項3に記載の表示制御装置。
【請求項5】
前記特定手段は、
前記表示面に表示される画像を拡大表示させる場合の倍率を特定する
ことを特徴とする請求項3又は4に記載の表示制御装置。
【請求項6】
前記特定手段は、
前記表示面に表示される画像を立体表示させる場合の飛び出し量を特定する
ことを特徴とする請求項3又は4に記載の表示制御装置。
【請求項7】
前記表示制御手段は、
前記画像が強調表示された後に前記操作手段により接触操作が検出された場合に強調表示を解除するとともに、前記操作部により検出される位置が前記所定領域外になるまで強調表示を再度行わない
ことを特徴とする請求項3ないし6のいずれかに記載の表示制御装置。
【請求項8】
前記判別手段は、
前記操作手段により検出される前記位置が前記判別領域に入ってから、当該位置が前記接触操作として検出され、又は当該位置が当該判別領域を出るまでの時間を前記滞留時間として算出する
ことを特徴とする請求項2ないし7のいずれかに記載の表示制御装置。
【請求項9】
前記判別手段は、
前記操作手段により検出された近接操作が示す前記指示体の移動速度によって前記動作モードを判別する
ことを特徴とする請求項1に記載の表示制御装置。
【請求項10】
前記特定手段は、
記憶手段に記憶された制御データを用いて、前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じた表示態様を特定する
ことを特徴とする請求項1ないし9のいずれかに記載の表示制御装置。
【請求項11】
前記記憶手段は、
アプリケーションに応じた前記制御データを記憶し、
前記特定手段は、
前記表示面に表示されている画像に対応するアプリケーションに応じた前記制御データを用いて表示態様を特定する
ことを特徴とする請求項10に記載の表示制御装置。
【請求項12】
前記操作手段により検出された位置を表す座標情報に対してノイズを低減するフィルタ処理を実行するフィルタ手段を備え、
前記判別手段は、
前記フィルタ手段によりフィルタ処理が実行された座標情報に基づいて動作モードを判別する
ことを特徴とする請求項1ないし11のいずれかに記載の表示制御装置。
【請求項13】
前記操作手段は、
前記接触操作を検出する第1のセンサと前記近接操作を検出する第2のセンサとを備える
ことを特徴とする請求項1ないし12のいずれかに記載の表示制御装置。
【請求項14】
前記操作手段は、
前記接触操作及び前記近接操作を検出する単一のセンサを備える
ことを特徴とする請求項1ないし12のいずれかに記載の表示制御装置。
【請求項15】
表示面に対する指示体の位置を繰り返し検出して操作を受け付けるステップであって、前記表示面に対して前記指示体を接触させる接触操作と、前記表示面に対して前記指示体を接触させずに近接させる近接操作とを検出する第1のステップと、
前記第1のステップにおいて検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する第2のステップと、
前記第2のステップにおいて判別された動作モードと前記第1のステップにおいて検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する第3のステップと、
前記第3のステップにおいて特定された表示態様で前記表示面に画像を表示させる第4のステップと
有することを特徴とする表示制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−226691(P2012−226691A)
【公開日】平成24年11月15日(2012.11.15)
【国際特許分類】
【出願番号】特願2011−96135(P2011−96135)
【出願日】平成23年4月22日(2011.4.22)
【出願人】(392026693)株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Fターム(参考)】
【公開日】平成24年11月15日(2012.11.15)
【国際特許分類】
【出願日】平成23年4月22日(2011.4.22)
【出願人】(392026693)株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Fターム(参考)】
[ Back to top ]