説明

情報処理装置、情報処理方法およびコンピュータプログラム

【課題】操作体の位置に応じて操作対象となるオブジェクトの表示位置を変化させることによりユーザの操作負荷を軽減することが可能な情報処理装置を提供する。
【解決手段】本発明の情報処理装置は、オブジェクトが表示される表示部の表示面に対する操作体の位置情報を取得する位置情報取得部と、操作体が、表示面と当該表示面から所定距離離隔した位置との間の近接領域に位置したとき、位置情報に基づいて、表示部の操作体に対応する位置にオブジェクトを表示する表示制御部と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法およびコンピュータプログラムに関し、より詳細には、タッチセンサを備える機器の表示制御を行う情報処理装置、情報処理方法およびコンピュータプログラムに関する。
【背景技術】
【0002】
タッチパネルは、直感的で使いやすいユーザインタフェース(以下、「UI」ともいう。)を実現可能であることから、従来から交通機関の発券機や銀行のATM等に使用されていた。近年では、タッチパネルはユーザの動作を検出することも可能となり、従来のボタン操作にはない機器の操作を実現することができるようになった。これにより、近年、携帯電話機やゲーム機器などの携帯機器にタッチパネルが多く用いられるようになっている。例えば特許文献1には、装置の入力領域近傍における物体の存在に基づき、ユーザがタッチパネル等の入力領域に接触する前に触覚フィードバックを開始することにより、装置上の触覚的効果を生成する装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表2010−506302号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来のタッチパネルでは、タッチパネルによって検知可能な指の情報は、接触している指の状態のみであった。このため、指がタッチパネルに接触するまでは機器を操作することができず、また、指をタッチパネルに接触させることによりどのような処理が実行されるのか、ユーザは指をタッチパネルに接触させるまで認識することができなかった。
【0005】
また、モバイル端末や、A4サイズほどのタッチスクリーンデバイスなどにおいて、表示部に表示されている複数のオブジェクトから所望のオブジェクトを、タッチスクリーンによる操作によって選択する場合を考える。このとき、選択したいオブジェクトがタッチスクリーン操作を行う指から離れた位置にあると、指を伸ばして操作する必要があり、ユーザの操作負荷が高くなる可能性がある。また、指の近傍にオブジェクトが表示されていても、ユーザが指の位置を動かしてしまうと当該オブジェクトから指が離れてしまい、操作性が低下してしまう。
【0006】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、操作体の位置に応じて操作対象となるオブジェクトの表示位置を変化させることによりユーザの操作負荷を軽減することが可能な、新規かつ改良された情報処理装置、情報処理方法およびコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある観点によれば、オブジェクトが表示される表示部の表示面に対する操作体の位置情報を取得する位置情報取得部と、操作体が、表示面と当該表示面から所定距離離隔した位置との間の近接領域に位置したとき、位置情報に基づいて、表示部の操作体に対応する位置にオブジェクトを表示する表示制御部と、を備える、情報処理装置が提供される。
【0008】
操作体が近接領域内から近接領域外へ移動したとき、表示制御部は、操作体が近接領域に位置することにより表示されたオブジェクトを非表示にしてもよい。
【0009】
また、操作体が近接領域内から近接領域外へ移動した後、所定時間経過する前に、再び近接領域内に位置したとき、表示制御部は、再び近接領域内に位置したときの操作体の位置情報に基づいて、表示部の操作体に対応する位置にオブジェクトを表示するようにしてもよい。
【0010】
位置情報取得部は、複数の操作体の位置情報を取得可能に構成することもできる。このとき、表示制御部は、最初に近接領域に位置した第1の操作体の位置情報に基づいて、表示部の第1の操作体に対応する位置にオブジェクトを表示し、オブジェクトが表示された状態で、第2の操作体が近接領域に位置したとき、第2の操作体の位置情報に基づいて、表示部に表示されたオブジェクトの一部を、表示部の第2の操作体に対応する位置に表示してもよい。
【0011】
また、位置情報取得部が、複数の操作体の位置情報を取得可能であるとき、表示制御部は、最初に近接領域に位置した第1の操作体の位置情報に基づいて、表示部の第1の操作体に対応する位置にオブジェクトを表示し、オブジェクトを構成するサブオブジェクトのうち1つのサブオブジェクトに第1の操作体が接触された状態で、第2の操作体が近接領域に位置したとき、第1の操作体が接触しているサブオブジェクトに関連付けられた関連オブジェクトを、表示部の第2の操作体に対応する位置に表示してもよい。
【0012】
さらに、位置情報取得部が、複数の操作体の位置情報を取得可能であるとき、表示制御部は、最初に近接領域に位置した第1の操作体の位置情報に基づいて、表示部の第1の操作体に対応する位置に複数のオブジェクトを表示し、複数のオブジェクトが表示された状態で、第2の操作体が近接領域に位置したとき、表示部に表示された複数のオブジェクトのうち少なくとも1つを、表示部の第2の操作体に対応する位置に表示してもよい。
【0013】
また、操作体が近接領域内において所定速度以下で移動されたとき、表示制御部は、オブジェクトの表示位置を操作体の移動に伴い移動してもよい。
【0014】
また、上記課題を解決するために、本発明の別の観点によれば、オブジェクトが表示される表示部の表示面に対する操作体の位置情報を位置情報取得部により取得するステップと、操作体が、表示面と当該表示面から所定距離離隔した位置との間の近接領域に位置したとき、位置情報に基づいて、表示制御部により表示部の操作体に対応する位置にオブジェクトを表示するステップと、を含む、情報処理方法が提供される。
【0015】
さらに、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、オブジェクトが表示される表示部の表示面に対する操作体の位置情報を取得する位置情報取得部と、操作体が、表示面と当該表示面から所定距離離隔した位置との間の近接領域に位置したとき、位置情報に基づいて、表示部の操作体に対応する位置にオブジェクトを表示する表示制御部と、を備える、情報処理装置として機能させるためのコンピュータプログラムが提供される。
【0016】
プログラムは、コンピュータが備える記憶装置に格納され、コンピュータが備えるCPUに読み込まれて実行されることにより、そのコンピュータを上記情報処理装置として機能させることができる。また、プログラムが記録された、コンピュータによって読み取り可能な記録媒体も提供される。記録媒体は、例えば磁気ディスク、光ディスク、およびMO(Magneto Optical)ディスクなどである。磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、CD(Compact Disc、DVD−R(Digital Versatile Disc Recordable)およびBD(Blu−Ray Disc(登録商標))などがあげられる。
【発明の効果】
【0017】
以上説明したように本発明によれば、操作体の位置に応じて操作対象となるオブジェクトの表示位置を変化させることによりユーザの操作負荷を軽減することが可能な情報処理装置、情報処理方法およびコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
【図2】同実施形態に係る情報処理装置のハードウェア構成例を示す説明図である。
【図3】情報処理装置の使用状態例を示す説明図である。
【図4】横向きの状態で使用されている情報処理装置の表示領域に、装置左側から指が近づいてきたときのオブジェクトの出現位置の一例を示す説明図である。
【図5】縦向きの状態で使用されている情報処理装置の表示領域に、装置下側から指が近づいてきたときのオブジェクトの出現位置の一例を示す説明図である。
【図6】同実施形態に係る情報処理装置の機能構成を示すブロック図である。
【図7】同実施形態に係る情報処理装置によるオブジェクト出現位置制御処理を示すフローチャートである。
【図8】同実施形態に係る情報処理装置によるオブジェクト出現位置制御処理の一例を示す説明図である。
【図9】近接指検出位置を2点以上検出した場合における、情報処理装置によるオブジェクト出現位置制御処理を示すフローチャートである。
【図10】近接指検出位置を2点以上検出した場合における、情報処理装置によるオブジェクト出現位置制御処理の一例を示す説明図である。
【図11】オブジェクトに対する指の接触位置に応じた関連オブジェクトを表示する処理の一例を示す説明図である。
【図12】複数のオブジェクトを複数の近接指検出位置に分離して表示する処理の一例を示す説明図である。
【図13】指の移動に応じてオブジェクトの表示位置を変更させる処理を示す説明図である。
【図14】近接指検出位置を2点以上検出した場合における、情報処理装置によるオブジェクト出現位置制御処理をドローイングアプリケーションに適用した例を示す説明図である。
【図15】オブジェクトを出現させた指の移動に応じてオブジェクトを移動させたときの、オブジェクトの表示位置の変化を示す説明図である。
【発明を実施するための形態】
【0019】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0020】
なお、説明は以下の順序で行うものとする。
1.情報処理装置の概要
2.情報処理装置の機能構成
3.オブジェクト出現位置制御処理
【0021】
<1.情報処理装置の概要>
[ハードウェア構成例]
まず、図1および図2を参照して、本発明の実施形態に係る情報処理装置のハードウェア構成例について説明する。なお、図1は、本実施形態に係る情報処理装置100のハードウェア構成例を示すブロック図である。図2は、本実施形態に係る情報処理装置100のハードウェア構成例を示す説明図である。
【0022】
本実施形態に係る情報処理装置100は、表示装置の表示面上における操作体の接触位置を検出可能であり、かつ、表示装置の表示面と当該表示面の上方にある操作体との近接距離を検出可能な検出部を備える装置である。情報処理装置100としては、例えば、携帯情報端末やスマートフォンのような小型の表示装置を備える機器等、機器の機能によらず、様々な機器を想定している。
【0023】
本実施形態に係る情報処理装置100は、図1に示すように、CPU101と、RAM(Random Access Memory)102と、不揮発性メモリ103と、表示装置104と、近接タッチセンサ105とを備える。
【0024】
CPU101は、上述したように、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。また、CPU101は、マイクロプロセッサであってもよい。RAM102は、CPU101の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバスにより相互に接続されている。不揮発性メモリ103は、CPU101が使用するプログラムや演算パラメータ等を記憶する。不揮発性メモリ103は、例えばROM(Read Only Memory)やフラッシュメモリ等を用いることができる。
【0025】
表示装置104は、情報を出力する出力装置の一例である。表示装置104として、例えば液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置などを用いることができる。近接タッチセンサ105は、ユーザが情報を入力する入力装置の一例であって、情報を入力ための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU101に出力する入力制御回路などから構成されている。
【0026】
本実施形態に係る情報処理装置100において、近接タッチセンサ105は、図2に示すように、表示装置104の表示面に積層して設けられる。これにより、ユーザが表示面に指等を近づけたときに、近接タッチセンサ105によって表示面に対する指までの距離を検出することが可能となる。
【0027】
[GUIの出現位置制御処理の概念]
本実施形態に係る情報処理装置100は、ユーザが表示領域に指等の操作体を近接あるいは接触された位置に合わせてGUIを表示する。例えば、情報処理装置100がモバイルデバイスである場合、ユーザは、図3に示すように、長方形の表示領域200を縦長にして縦向きの状態で使用したり、表示領域200を横長にして横向きの状態で使用したりする。
【0028】
この際、縦向きの状態で使用するときには、装置下側から手を添えて表示領域200に表示されたオブジェクト等のGUIを操作することが考えられる。一方、横向きの状態で使用するときには、装置右側あるいは左側から手を添えて表示領域200に表示されたオブジェクトを操作することが考えられる。また、装置を斜めにして、当該装置を持ちやすい方向から手を添えて表示領域200に表示されたオブジェクトを操作することも考えられる。このように、モバイルデバイスでは様々な持ち方をすることができる。
【0029】
ここで、情報処理装置100は、ソフトウェアを機能させることにより、表示領域200におけるGUIの表示位置を任意に変更させることができる。そこで、本実施形態に係る情報処理装置100では、表示領域200に表示されたGUIを操作する指等の操作体の位置に応じてGUIを表示し、ユーザの操作負荷を低減し、直感的な操作を行うことができるようにする。例えば、図3に示す例では、指の近接が検出された位置(近接指検出位置)にGUIを出現させるようにする。これにより、装置を使用するときの装置の向きやGUIを操作する指の位置をユーザは気にしなくとも、操作対象のGUIが指の近接が検出された近接指検出位置に表示されるようになり、操作性を向上させることができる。
【0030】
より具体的には、例えば図4に示すように、情報処理装置100を横向きの状態で使用するときに、表示領域200に表示されるオブジェクトを操作する指が装置左側から近づいてきたとする。そして、情報処理装置100は、近接タッチセンサ105により指が表示領域200に近接したことを検出すると、近接指検出位置を特定し、表示領域200の近接指検出位置にオブジェクト210を表示させる。図4では、表示領域200の左側にオブジェクト210が表示される。
【0031】
一方、情報処理装置100を縦向きの状態で使用するときに、図5に示すように、表示領域200に表示されるオブジェクトを操作する指が装置下側から近づいてきたとする。情報処理装置100は、近接タッチセンサ105により指が表示領域200に近接したことを検出すると、近接指検出位置を特定し、表示領域200の近接指検出位置にオブジェクト210を表示させる。図5では、表示領域200の下側にオブジェクト210が表示される。
【0032】
このように、操作対象のGUIが指の近接が検出された近接指検出位置に表示されるので、操作性を向上させることができる。以下では、表示領域200に近接する指の位置に応じてGUIの出現位置を制御する制御部を備える情報処理装置100と、これによるGUIの出現位置制御処理について、詳細に説明していく。
【0033】
<2.情報処理装置の機能構成>
まず、図6に基づいて、本実施形態に係る情報処理装置100の機能構成について説明する。なお、図6は、本実施形態に係る情報処理装置100の機能構成を示すブロック図である。
【0034】
本実施形態に係る情報処理装置100は、図6に示すように、入力表示部110と、位置情報取得部120と、表示制御部130と、実行処理部140と、設定記憶部150とを備える。
【0035】
入力表示部110は、情報を表示するとともに情報を入力するための機能部であって、検出部112と、表示部114とを備える。検出部112は、図1の近接タッチセンサ105に対応し、例えば静電式タッチパネル等を用いることができる。この場合、検出部112は、操作体と表示部114の表示面との間の近接距離に応じて変化する静電容量の値を検出する。
【0036】
操作体が表示面に所定距離以上近接すると、検出部112により検出される静電容量が増加し、さらに近接するにつれて静電容量は増加する。そして、操作体が表示面に接触すると、検出部112により検出される静電容量が最大となる。このような検出部112に検出された静電容量の値に基づいて、後述する位置情報取得部120は、表示部114の表示面に対する操作体の位置情報を取得することができる。検出部112は、検出した静電容量の値を検出結果として位置情報取得部120へ出力する。
【0037】
表示部114は、図1の表示装置104に対応する、情報を表示する出力装置である。表示部114には、例えばGUIオブジェクトや、当該オブジェクトに関連付けられたコンテンツの内容等が表示される。また、表示部114には、表示制御部130によりオブジェクトの表示形態が変更された場合には、表示制御部130から通知されたオブジェクトの表示変更情報に基づいて、変更後のオブジェクトが表示される。
【0038】
位置情報取得部120は、検出部112から入力された検出結果に基づいて、操作体と表示部114の表示面との位置関係を表す位置情報を取得する。上述したように、検出部112が検出した静電容量の値が大きいほど操作体と表示面とは近接しており、操作体が表示面に接触したときに静電容量の値は最大となる。静電容量の値と近接距離(あるいは近接検知領域)との対応関係は、後述する設定記憶部150に予め記憶されている。位置情報取得部120は、検出部112から入力された静電容量の値より、設定記憶部150を参照して、表示面に対して垂直方向(z方向)における指の位置を取得する。
【0039】
また、位置情報取得部120は、検出部112から入力された検出結果に基づいて、表示部114の表示面上における(すなわち、xy平面上における)操作体の位置を特定する。例えば、検出部112がx座標およびy座標の検出を行う静電検出用グリッドが形成された静電センサ基板により構成されているとする。このとき、検出部112は、操作体の接触に応じた各グリッドの静電容量の変化から、基板上における(すなわち、表示面における)操作体の位置を特定することができる。例えば、静電容量の最も大きい座標位置を指が表示面に最も近接している位置の座標とすることができる。あるいは、所定値以上の静電容量が検出された領域の重心位置を指が表示面に最も近接している位置の座標としてもよい。
【0040】
このようにして、位置情報取得部120は、表示部114の表示面に対する位置情報を取得することができる。取得された操作体の位置情報は、表示制御部130および実行処理部140へ出力される。
【0041】
表示制御部130は、位置情報取得部120により取得された位置情報に基づいて、表示部114に表示されたオブジェクトの表示位置を制御する。表示制御部130は、図3〜図5を用いて説明したように、表示部114に表示されたオブジェクト210をユーザが操作し易いように、ユーザの指の近接位置に応じてオブジェクト210の出現位置を制御する。表示制御部130は、オブジェクト210の出現位置を決定すると、オブジェクト210の画像を生成し、表示部114へ出力する。また、表示制御部130は、指が移動されることで指の近接位置が変化すると、指の近接位置の変化に伴いオブジェクト210の表示位置を変更する。なお、表示制御部130は、後述する実行処理部140により、指の接触位置に表示するオブジェクト210の表示内容を変更する指示を受けて、表示制御を行うこともできる。
【0042】
実行処理部140は、情報処理装置100に対する所定の操作入力に応じて、当該操作入力に関連付けられた機能を実行する。例えば、表示部114に表示されたあるオブジェクト210にユーザが指を接触させたことが検出部112により検知されたとき、実行処理部140は、位置情報取得部120から入力された位置情報に基づき、指がオブジェクト210に接触したことを認識する。そして、実行処理部140は、オブジェクト210から指が接触したオブジェクトを特定し、これに関連付けられた機能を実行する。
【0043】
設定記憶部150は、操作体と表示面との近接距離の算出や、表示面上における操作体の位置情報の生成、その他、オブジェクトの出現位置制御処理に際して用いられる情報を設定情報として記憶する。設定記憶部150には、例えば、静電容量の値と近接距離との対応関係を記憶しており、位置情報取得部120は、かかる対応関係を参照して、検出部112から入力された静電容量の値に対応する位置を取得することができる。また、設定記憶部150には、ユーザがオブジェクト210に対して行った操作入力に対応して実行される処理内容(機能)が記憶される。設定記憶部150に記憶されている設定情報は、予め記憶されていてもよく、ユーザが設定してもよい。
【0044】
なお、本実施形態に係る情報処理装置100は、オブジェクトの表示位置制御処理等において必要な情報を一時的に記憶するメモリ等を備えてもよい。
【0045】
<3.オブジェクト出現位置制御処理>
本実施形態に係る情報処理装置100は、上記機能を備えることにより、表示面に対する指の近接位置(近接指検出位置)を検出することができる。そして、情報処理装置100は、近接指検出位置に基づいて、表示部114に表示されるオブジェクト210の出現位置を制御することで、操作性を向上させる。以下、図7〜図14に基づいて、本実施形態に係る情報処理装置100によるオブジェクト出現位置制御処理について説明する。
【0046】
[オブジェクト出現位置制御:基本処理]
まず、図7および図8に基づいて、本実施形態に係る情報処理装置100によるオブジェクト出現位置制御の基本処理について説明する。なお、図7は、本実施形態に係る情報処理装置100によるオブジェクト出現位置制御処理を示すフローチャートである。図8は、本実施形態に係る情報処理装置100によるオブジェクト出現位置制御処理の一例を示す説明図である。
【0047】
まず、情報処理装置100は、検出部112により指の位置情報を取得する(S100)。検出部112が例えば静電式タッチパネルであるときには、検出部112は、指と表示部114の表示面との間の近接距離に応じて変化する静電容量の値を検出する。そして、位置情報取得部120は、検出部112の検出結果に基づいて、表示面に対する指の近接位置を位置情報として取得する。位置情報取得部120は、表示面に対して近接する指のうち、最も表示面に近接する指の位置を特定し、近接指検出位置として表示制御部130へ出力する(S110)。最も表示面に近接する指の位置は、検出部112の検出結果より静電容量の値が最大となる位置とすることができる。
【0048】
例えば、図8に示すように、情報処理装置100を横向きの状態で使用しているとする。状態(A)では指は表示面上に位置していないため、検出部112の検出値は変化しない。その後、情報処理装置100の装置左側から指が表示面に近接すると、検出部112の検出値が変化し、位置情報取得部120により近接指検出位置が特定される(状態(B))。
【0049】
表示制御部130は、近接指検出位置の入力を受けると、近接指検出位置に応じて、表示領域200に所定のオブジェクト210を表示させる(S120)。表示制御部130は、例えば、近接指検出位置にオブジェクト210の中心が位置するようにオブジェクト210を表示させる。あるいは、表示制御部130は、オブジェクト210が指で隠れないように、第1の近接指検出位置の近傍にオブジェクト210を表示させてもよい。図8の状態(B)のように、近接指検出位置が装置左側に特定されると、状態(C)に示すように、近接指検出位置に応じて、表示領域200の左側(すなわち、装置左側)にオブジェクト210が表示される。このように、近接する指の位置に応じてオブジェクト210の出現位置が決定される。
【0050】
その後、表示制御部130は、指が近接領域外に移動されたか否かを、位置情報取得部120から入力される位置情報に基づき判定する(S130)。近接領域は、表示面から所定距離だけ離隔した位置までの間の領域であり、例えば、検出部112により指の位置情報を取得可能な領域とすることができる。表示制御部130は、指が近接領域内に位置すると判定したときは、そのままオブジェクト210を表示し続ける。
【0051】
一方、指が近接領域外に位置したときには、表示制御部130は、指が近接領域外に位置してからの経過時間のカウントを開始する。そして、経過時間が所定時間経過したか否かを判定し(S140)、経過時間が所定時間を経過した場合には、表示領域200に表示されていたオブジェクト210を消失させる(S150)。一方、経過時間が所定時間を経過していない場合、表示制御部130は、指が近接領域内に再び位置したか否かを判定する(S160)。そして、指が近接領域内に存在しない場合には、ステップS140の処理に戻り、指が近接領域外に位置してからの経過時間をカウントし続ける。
【0052】
これに対して、指が近接領域外に位置してから、所定時間が経過する前に再び近接領域内に指が位置するようになったことが検知されると、新たに検出された近接指検出位置にオブジェクト210を表示させる(S120)。このとき、表示制御部130は、指が近接領域に位置してからの経過時間のカウントを停止し、リセットする。そして、表示制御部130は、ステップS120からの処理を繰り返す。なお、所定時間は、予め設定されてもよく、ユーザが適宜設定してもよい。
【0053】
図8に示す例では、状態(D)において指が近接領域から離隔されたとする。表示制御部130は、指が近接領域外に位置した時点から経過時間のカウントを開始する。そして、所定時間内に指が再び近接領域内に位置することがなければ、表示制御部130は、状態8E)に示すように、所定時間経過後に、表示領域200に表示されていたオブジェクト210を消失させる。一方、所定時間が経過する前に、例えば状態(F)のように再び指の近接が検出された場合には、表示領域200に表示されていたオブジェクト210を新たに検出された近接指検出位置に移動させる(状態(G))。このように、指の近接位置に応じて、表示領域200に表示させるオブジェクト210の出現位置を変更することで、オブジェクト210を操作する指の位置にオブジェクト210が自動的に表示されるようになり、操作性を向上させることができる。
【0054】
[オブジェクト出現位置制御:近接指検出位置を2点以上検出した場合]
次に、図9および図10に基づいて、近接指検出位置を2点以上検出した場合における、情報処理装置100によるオブジェクト出現位置制御処理について説明する。この場合、情報処理装置100の検出部112は、表示面に対する複数の近接位置または接触位置を検出可能であるとする。情報処理装置100は、複数の近接指検出位置が検出された場合には、オブジェクトを操作する指が増えたと考え、オブジェクトを分割して各近接指検出位置に表示させる。これにより、複数の指でのオブジェクト操作が可能となり、操作負荷を軽減させることができる。また、複数の指での同時操作が可能となるので、操作速度の向上が期待される。
【0055】
なお、図9は、近接指検出位置を2点以上検出した場合における、情報処理装置100によるオブジェクト出現位置制御処理を示すフローチャートである。図10は、近接指検出位置を2点以上検出した場合における、情報処理装置100によるオブジェクト出現位置制御処理の一例を示す説明図である。以下の説明において、図7および図8に基づき説明した処理と同一の処理については詳細な説明を省略する。
【0056】
本例においても、上述した基本処理と同様に、まず、情報処理装置100は、検出部112により指の位置情報を取得する(S200)。位置情報取得部120は、検出部112の検出結果に基づいて、表示面に対する指の近接位置を位置情報として取得する。そして、位置情報取得部120は、表示面に対して近接する指のうち、最も表示面に近接する指の位置を特定し、第1の近接指検出位置として表示制御部130へ出力する(S210)。
【0057】
例えば、図10に示すように、情報処理装置100を横向きの状態で使用しているとする。状態(A)では指は表示面上に位置していないため、検出部112の検出値は変化しない。その後、情報処理装置100の装置左側から指が表示面に近接すると、検出部112の検出値が変化し、位置情報取得部120により第1の近接指検出位置が特定される(状態(B))。
【0058】
表示制御部130は、第1の近接指検出位置の入力を受けると、第1の近接指検出位置に応じて、表示領域200に所定のオブジェクト210を表示させる(S220)。表示制御部130は、例えば、近接指検出位置にオブジェクト210の中心が位置するようにオブジェクト210を表示させる。図10の状態(B)のように、近接指検出位置が装置左側に特定されると、状態(C)に示すように、近接指検出位置に応じて、表示領域200の左側(すなわち、装置左側)にオブジェクト210が表示される。このように、近接する指の位置に応じてオブジェクト210の出現位置が決定される。
【0059】
なお、ステップS200〜S220の処理は、図7に示すステップS100〜S120の処理と同様に行われる。
【0060】
その後、表示制御部130は、第1の近接指検出位置に応じて出現させたオブジェクト210が表示領域200に表示されている状態で、新たな近接指検出位置が特定されたか否かを判定する(S230)。第1の近接指検出位置にある指が近接領域外に位置した場合には、上述の図7の処理が行われるが、第1の近接指検出位置にある指が近接領域内にある状態でさらに新たな近接指検出位置が検出されたときには、オブジェクト210を操作する指が増加したと考えられる。そこで、位置情報取得部120は、位置情報から新たな近接指検出位置を特定し、第2の近接指検出位置として表示制御部130に出力する。表示制御部130は、第1の近接指検出位置に既に表示されているオブジェクト210を分割して、その一部を第2の近接指検出位置に表示させる。
【0061】
例えば、図10の状態(D)に示すように、装置左側にある第1の近接指検出位置に3×3の格子状にサブオブジェクトが配列されたオブジェクト210が表示されているときに、装置右側において第2の近接指検出位置が検出されたとする。このとき、表示制御部130は、例えばオブジェクト210を構成するサブオブジェクトのうち、第2の近接指検出位置側の2列のサブオブジェクトを、第1の近接指検出位置から第2の近接指検出位置に移動させる。これにより、状態(E)のように、オブジェクト210がオブジェクト210Aとオブジェクト210Bの2つに分割されて、それぞれ第1の近接指検出位置と第2の近接指検出位置とに表示されるようになる。
【0062】
なお、オブジェクト210A、210Bの表示位置は、第1の近接指検出位置および第2の近接指検出位置の中心位置であってもよく、第1の近接指検出位置および第2の近接指検出位置の近傍であってもよい。
【0063】
オブジェクト210の分割位置は、オブジェクト210に対して予め設定しておくこともでき、表示制御部130が近接指検出位置に応じて決定してもよい。例えば、2つの近接指検出位置が検出されているときに、図10の状態(D)のように近接指検出位置が装置の左右方向に並んでいるときには、状態(E)のようにオブジェクト210を左右2つに分割するようにしてもよい。あるいは、近接指検出位置が装置の上下方向に並んでいるときには、オブジェクト210を上下2つに分割するようにしてもよい。
【0064】
図10の状態(E)のように、新たに検出された近接指検出位置に向かってオブジェクトを分割することで、ユーザはオブジェクト210が分割されてその一部が新たに検出された近接指検出位置に移動したことを直感的に認識することができる。なお、3つ以上の近接指検出位置が特定されている場合にも、オブジェクト210が表示されている位置から他の近接指検出位置へ向かってオブジェクト210を分割するようにしてもよい。
【0065】
以上、近接指検出位置を2点以上検出した場合における、情報処理装置100によるオブジェクト出現位置制御処理について説明した。このように、複数の近接指検出位置が検出されたとき、既に表示領域200に表示されているオブジェクト210を分割して、新たに検出された近接指検出位置に分割されたオブジェクト210の一部を表示させるようにする。これにより、片手で操作入力を行う場合等のように1本の指で操作をするには操作負荷が高い場合でも、操作対象のオブジェクトを複数の指に分散させることで、操作負荷を軽減することができる。また、複数の指での同時操作が可能となるので、操作速度の向上が期待される。
【0066】
なお、既に表示されているオブジェクト210を他の指で明示的にドラッグアンドドロップ操作することで、他の指への対応関係を構築するようにしてもよい。これにより、ドラッグアンドドロップ操作されたオブジェクト210を他の指の近傍に移動させ、追従させる操作も可能とすることができる。
【0067】
[オブジェクトに対する接触位置に応じた関連オブジェクトの表示]
近接指検出位置を2点以上検出した場合、図9および図10では既に表示されているオブジェクトを分割して、新たに検出された近接指検出位置に表示させる例を説明した。近接指検出位置を2点以上検出した場合の他の表示制御例として、例えば、表示領域200に表示されているオブジェクト210に対する接触位置に応じて、新たに検出された近接指検出位置に表示されるオブジェクトの内容を変化させることもできる。図11に、オブジェクト210に対する指の接触位置に応じた関連オブジェクトを表示する処理の一例を示す。
【0068】
図11の状態(A)は、図9のステップS220までの処理が行われ、第1の近接指検出位置にオブジェクト210が表示された状態である。ここで、オブジェクト210を構成するサブオブジェクトには、それぞれ関連オブジェクトが関連付けられている。関連オブジェクトは、対応するサブオブジェクトに指が接触された状態で、新たな近接指検出位置が検出されたとき、新たな近接指検出位置に表示される。
【0069】
例えば、図11の状態(B)に示すように、第1の近接指検出位置に表示されたオブジェクト210のサブオブジェクト210aに対する指の接触が検出されると、表示制御部130は、新たな近接指検出位置の検出を行う。そして、新たな近接指検出位置を検出すると、表示制御部130は、その位置にサブオブジェクト210aに関連付けられた関連オブジェクト220aを表示する。また、図11の状態(C)に示すように、第1の近接指検出位置に表示されたオブジェクト210のサブオブジェクト210bに対する指の接触が検出されると、表示制御部130は、新たな近接指検出位置の検出を行う。そして、新たな近接指検出位置を検出すると、表示制御部130は、その位置にサブオブジェクト210bに関連付けられた関連オブジェクト220bを表示する。
【0070】
このように、指が接触されているサブオブジェクトに関連付けられた関連オブジェクトを、第1の近接指検出位置の次に検出された新たな近接指検出位置に表示させることで、新たな近接指検出位置にある指で関連オブジェクトを操作することが可能となる。これにより、片手で操作入力を行う場合等のように1本の指で操作をするには操作負荷が高い場合でも、操作対象のオブジェクトを複数の指に分散させることで、操作負荷を軽減することができる。また、複数の指での操作が可能となるので、操作速度の向上が期待される。
【0071】
[複数オブジェクトの分離表示]
近接指検出位置を2点以上検出した場合のさらに他の表示制御例として、例えば、表示領域200に表示されている複数のオブジェクトを、複数の近接指検出位置に分離して表示させることもできる。図12に、複数のオブジェクトを複数の近接指検出位置に分離して表示する処理の一例を示す。
【0072】
図12に示す例では、表示領域200に、文字入力のためのキーボードオブジェクト(以下、「キーボード」とする。)230と、キーボード230から入力された入力文字列より予測される予測文字列が表示される入力サジェストオブジェクト(以下、「サジェスト」とする。)240とが表示されている。キーボード230から文字が入力されると、情報処理装置100は、入力文字列から、辞書データベースや過去に入力した文字列の履歴等を参照して、予測文字列をサジェスト240に表示させる。ユーザはサジェスト240に表示された予測文字列に指を接触させることで、その予測文字列を入力することができるので、操作負荷を軽減することができる。
【0073】
ここで、キーボード230とサジェスト240とは、図12の状態(A)に示すように、最初に検出された近接指検出位置に合わせて表示される。このとき、ユーザは、最初に検出された近接指検出位置にある指でキーボード230による文字入力と、サジェスト240からの予測文字列選択との2つの入力を行うことになる。そこで、次に近接指検出位置が検出されたとき、表示制御部230は、キーボード130およびサジェスト240のいずれか一方を、新たな近接指検出位置に移動させる。例えば、図12の状態(B)に示すように、装置左側に新たな近接指検出位置が検出されると、表示制御部130は、状態(C)に示すように、サジェスト240を新たな近接指検出位置に移動させる。
【0074】
これにより、一方の指ではキーボード230による文字入力を行い、他方の指ではサジェスト240に表示された予測文字列の選択を行うことができるようになる。このように、両手での操作が可能となり、操作負荷の軽減、同時操作による操作速度の向上が可能となる。
【0075】
なお、図12の状態(A)において、1つの指でも操作入力をし易くするため、図13に示すように、指の移動に応じてオブジェクトの表示位置を変更させてもよい。例えば、図13上図に示すように、近接指検出位置にある指がキーボード230上にある状態から、サジェスト240に表示されている予測文字列の選択を行うために指を上方向に移動させたとする。このとき、表示制御部130は、キーボード230およびサジェスト240を、指が上方向に移動するのに伴って下方向に移動させる。これにより、操作対象となるサジェスト240が指に近づき、選択操作を容易に行うことができるようになる。
【0076】
[ドローイングアプリケーションへの適用]
近接指検出位置を2点以上検出した場合のさらに他の表示制御例として、例えば、表示面に接触された指を動かして描画できるように情報処理装置100を機能させるドローイングアプリケーションへの適用が考えられる。図14に、近接指検出位置を2点以上検出した場合における、情報処理装置によるオブジェクト出現位置制御処理をドローイングアプリケーションに適用した例を示す。
【0077】
例えば、図14の状態(A)のように、描画する線の色を選択するパレットオブジェクト(以下、「パレット」とする。)250から所望の色を選択し、指を表示面に接触させて動かし、描画する動作が行われているとする。かかる状態において、新たな近接指検出位置が検出されると、図14の状態(B)に示すように、表示領域200の右下に表示されていたパレット250が、新たな近接指検出位置のある表示領域200の左上に移動し表示されるようになる。これにより、新たな近接指検出位置にある指によって、パレット250を操作することが可能となる。このとき、例えば、選択されている色のオブジェクト250aを他の色のオブジェクトよりも大きく表示させてもよい。
【0078】
その後、新たな近接指検出位置にある指によってパレット250を操作し、他の色のオブジェクト250bに指が接触されると、状態(C)に示すように、描画する線の色がオブジェクト250bに対応する色に変更される。このように、操作の属性切り換えを迅速に行うことができる。
【0079】
なお、本例では、線の描画に関連する色の選択操作を、新たに検出された近接指検出位置の指で行うことができるようにしたが、本発明はかかる例に限定されない。現在実行されている機能に関連する操作を行うためのオブジェクトを、新たに検出された近接指検出位置に表示させることで、操作を迅速に行うことができるようになり、操作性を向上焦ることができる。
【0080】
[近接指によるトラッキング]
上述したように、本実施形態に係る情報処理装置100では、近接指検出位置にオブジェクトを出現させることで、ユーザがオブジェクトの表示位置に指を移動させて出現させる必要がなく、操作負荷を低減することができる。ここで、既に表示されているオブジェクト210の表示領域(オブジェクト表示領域)から当該オブジェクト210を出現させた指が離れると、せっかく指の近傍に表示させたオブジェクト210を操作し難くなってしまう。そこで、本実施形態に係る情報処理装置100は、オブジェクト210を出現させた指がオブジェクト表示領域から所定距離以上離れると、オブジェクト210を指に追従して移動させる。
【0081】
図15に、オブジェクト210を出現させた指の移動に応じてオブジェクト210を移動させたときの、オブジェクト210の表示位置の変化を示す。図15の状態(A)に示すように、位置情報取得部120により特定された近接指検出位置に、オブジェクト210が出現されたとする。このとき、情報処理装置100の装置左上側に近接指検出位置があるので、オブジェクト210は装置左上に表示される。
【0082】
次いで、オブジェクト210を出現させた指が、指を表示面に近接させた状態で装置左下へ移動されたとする。このとき、表示制御部130は、位置情報取得部120から入力される位置情報から当該指の移動を検知すると、図15の状態(C)のように指を追ってオブジェクト210を装置左下へ移動させる。
【0083】
このとき、表示制御部130は、移動する指の速度が所定速度以下で移動している場合にのみ、オブジェクト210を指に追従して移動させるようにしてもよい。指の速度が所定速度より大きい場合には、例えば移動方向にあるオブジェクトを操作する等ユーザが意図的に指を移動させている可能性が高いため、第1の近接指検出位置に表示されたオブジェクト210は移動させないようにする。これにより、ユーザが意図しないオブジェクト210の移動が生じるのを防止することができる。
【0084】
なお、指の速度が所定速度より大きい場合には、表示制御部130は、当該指により出現されたオブジェクト210の操作は行われないものと判断し、オブジェクト210を表示領域200から消失させてもよい。また、近接領域から指が離隔されて所定時間以上経過した場合にも、オブジェクト210を表示領域200から消失させるようにしてもよい。
【0085】
状態(C)から情報処理装置100の持ち方が状態(D)のように変更されても、オブジェクト210は、当該オブジェクト210を表示させた指の移動に応じて表示位置が移動され、その指での操作が可能な状態にされる。そして、指が装置左下側から装置右下側へ移動されると、表示制御部130は、図15の状態(E)のように指を追ってオブジェクト210を装置右下側へ移動させる。
【0086】
このように、オブジェクト210を出現させた指の動きに追従して、オブジェクト210の表示位置が変更される。これにより、情報処理装置100を持ち変えたり、持ち方を変更したりしても、近接指検出位置に応じてオブジェクト210が移動され、オブジェクト210の操作を常に行いやすくすることができる。なお、指に追従して移動されたオブジェクト210の表示位置は、例えば、指の近接指検出位置にオブジェクト210の中心位置(図15の例では、サブオブジェクト210a)が位置するように決定してもよい。あるいは、オブジェクト210を移動させるターゲット位置を指の移動領域に応じてある程度離散化して規定しておき、近接指検出位置に最も近いターゲット位置にオブジェクト210を表示させるようにしてもよい。
【0087】
また、表示領域200において指が移動されてもオブジェクト210の追従移動を行わない、不感帯領域を設けることもできる。例えば、表示領域200にオブジェクト210以外の情報が表示されているとき、当該情報が表示されている領域に指を移動させると、かかる情報の上にオブジェクト210が表示されてしまい、他の情報の視認を妨げることになる。このように、オブジェクト210を表示させたくない領域を不感帯領域として設定することで、オブジェクト210の移動可能領域を制限することができる。
【0088】
さらに、表示領域200に表示されたオブジェクト210に対して明示的にドラッグアンドドロップ操作を行うことにより、明示的にオブジェクト210の移動を行うことも可能である。
【0089】
以上、本実施形態に係る情報処理装置100とこれによる表示制御処理について説明した。本実施形態によれば、指が表示面に対して近接したときに、近接指検出位置にGUIが表示されるので、ユーザは指を表示面に接触させる前にGUIの挙動を認識することができる。これにより、これから起こり得る現象や可能な操作を想起することができ、快適・安心に操作を行うことができる。また、近接指検出位置に応じて操作するGUIが表示されるので、ユーザの操作負荷を軽減することができる。そして、GUIを出現させた指が移動しても、その指に対応付けられたGUIを追従して移動させることもでき、さらにユーザの操作負荷を軽減することができる。
【0090】
また、本実施形態によれば、複数の近接指検出位置が検出可能となることで、既に表示されているGUIを分割したり、追加操作可能としたり、実行されている機能の補助操作を可能としたりすることもできる。これにより、操作負荷の軽減とともに、複数の指による同時操作も可能となり、操作速度を向上させることもできる。
【0091】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0092】
100 情報処理装置
112 検出部
114 表示部
120 位置情報取得部
130 表示制御部
140 実行制御部
150 設定記憶部
200 表示領域


【特許請求の範囲】
【請求項1】
オブジェクトが表示される表示部の表示面に対する操作体の位置情報を取得する位置情報取得部と、
前記操作体が、前記表示面と当該表示面から所定距離離隔した位置との間の近接領域に位置したとき、前記位置情報に基づいて、前記表示部の前記操作体に対応する位置にオブジェクトを表示する表示制御部と、
を備える、情報処理装置。
【請求項2】
前記操作体が前記近接領域内から近接領域外へ移動したとき、前記表示制御部は、前記操作体が前記近接領域に位置することにより表示された前記オブジェクトを非表示にする、請求項1に記載の情報処理装置。
【請求項3】
前記操作体が前記近接領域内から前記近接領域外へ移動した後、所定時間経過する前に、再び前記近接領域内に位置したとき、前記表示制御部は、再び前記近接領域内に位置したときの前記操作体の位置情報に基づいて、前記表示部の前記操作体に対応する位置に前記オブジェクトを表示する、請求項1または2に記載の情報処理装置。
【請求項4】
前記位置情報取得部は、複数の操作体の位置情報を取得可能であり、
前記表示制御部は、
最初に前記近接領域に位置した第1の操作体の位置情報に基づいて、前記表示部の前記第1の操作体に対応する位置にオブジェクトを表示し、
前記オブジェクトが表示された状態で、第2の操作体が前記近接領域に位置したとき、前記第2の操作体の位置情報に基づいて、前記表示部に表示された前記オブジェクトの一部を、前記表示部の前記第2の操作体に対応する位置に表示する、請求項1に記載の情報処理装置。
【請求項5】
前記位置情報取得部は、複数の操作体の位置情報を取得可能であり、
前記表示制御部は、
最初に前記近接領域に位置した第1の操作体の位置情報に基づいて、前記表示部の前記第1の操作体に対応する位置にオブジェクトを表示し、
前記オブジェクトを構成するサブオブジェクトのうち1つの前記サブオブジェクトに前記第1の操作体が接触された状態で、第2の操作体が前記近接領域に位置したとき、前記第1の操作体が接触している前記サブオブジェクトに関連付けられた関連オブジェクトを、前記表示部の前記第2の操作体に対応する位置に表示する、請求項1に記載の情報処理装置。
【請求項6】
前記位置情報取得部は、複数の操作体の位置情報を取得可能であり、
前記表示制御部は、
最初に前記近接領域に位置した第1の操作体の位置情報に基づいて、前記表示部の前記第1の操作体に対応する位置に複数のオブジェクトを表示し、
前記複数のオブジェクトが表示された状態で、第2の操作体が前記近接領域に位置したとき、前記表示部に表示された前記複数のオブジェクトのうち少なくとも1つを、前記表示部の前記第2の操作体に対応する位置に表示する、請求項1に記載の情報処理装置。
【請求項7】
前記操作体が前記近接領域内において所定速度以下で移動されたとき、前記表示制御部は、前記オブジェクトの表示位置を前記操作体の移動に伴い移動する、請求項1に記載の情報処理装置。
【請求項8】
オブジェクトが表示される表示部の表示面に対する操作体の位置情報を位置情報取得部により取得するステップと、
前記操作体が、前記表示面と当該表示面から所定距離離隔した位置との間の近接領域に位置したとき、前記位置情報に基づいて、表示制御部により前記表示部の前記操作体に対応する位置にオブジェクトを表示するステップと、
を含む、情報処理方法。
【請求項9】
コンピュータを、
オブジェクトが表示される表示部の表示面に対する操作体の位置情報を取得する位置情報取得部と、
前記操作体が、前記表示面と当該表示面から所定距離離隔した位置との間の近接領域に位置したとき、前記位置情報に基づいて、前記表示部の前記操作体に対応する位置にオブジェクトを表示する表示制御部と、
を備える、情報処理装置として機能させるためのコンピュータプログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2012−58881(P2012−58881A)
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願番号】特願2010−199637(P2010−199637)
【出願日】平成22年9月7日(2010.9.7)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】