情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
【課題】入力部および表示部を備えた情報処理装置において、優れた操作性を実現する。
【解決手段】本発明のタブレット端末100は、表示部12の画面の位置を指し示す指示体が移動した軌跡を取得する接触情報生成部21と、軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定部22と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部42を参照して、特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出部23と、抽出された関連項目のアイコンを特定の位置に配置して、表示部12に表示する操作画面処理部24とを備え、操作画面処理部24は、上記抽出された関連項目の中で、優先順位が高い関連項目のアイコンほど、軌跡の終点の近くに配置することを特徴としている。
【解決手段】本発明のタブレット端末100は、表示部12の画面の位置を指し示す指示体が移動した軌跡を取得する接触情報生成部21と、軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定部22と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部42を参照して、特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出部23と、抽出された関連項目のアイコンを特定の位置に配置して、表示部12に表示する操作画面処理部24とを備え、操作画面処理部24は、上記抽出された関連項目の中で、優先順位が高い関連項目のアイコンほど、軌跡の終点の近くに配置することを特徴としている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力部および表示部を備える情報処理装置のユーザインターフェース技術に関するものである。
【背景技術】
【0002】
近年、スマートフォン、タブレットPCなどの、いわゆるタブレット端末が急速に普及している。タブレット端末は、平板状の外形を有しており、表示部および入力部としてのタッチパネルを備えている。このタッチパネルに表示されたオブジェクトを、指やペン等でタッチすることにより、ユーザは、タブレット端末本体への各種操作を行うことができる。
【0003】
タブレット端末は、タッチパネルによってユーザの画面上での様々な接触動作を判別することができ、その接触動作に合わせたオブジェクト表示を行うことができる。例えば、接触動作には、画面に表示されたオブジェクトを、指(ペン)でタップする(軽くたたく)、フリックする(はじく、はらう)、ピンチする(指でつまむ)、ドラッグするなどの様々な動作がある。タブレット端末は、そうしたさまざまな接触動作を判別し、判別結果に応じて、オブジェクトの選択/移動、リストのスクロール、画像などの拡大/縮小を行う。タブレット端末は、上述のようにタッチパネルによってより直感的な操作を実現し、多くの人から支持されている。
【0004】
例えば、特許文献1には、タッチパネル式の表示部を備えた携帯通信端末が開示されている。特許文献1の携帯通信端末では、オブジェクト(URL、メールアドレス、文字列、画像など)を、指(ペン)でなぞるようにタッチしたり、囲むようにタッチしたりすることによって選択できるようになっている。そして、そのような動作で、オブジェクトが選択された場合には、携帯通信端末は、選択されたオブジェクトからキーワードを抽出して関連サイトへアクセスする。
【0005】
また、特許文献2には、タッチパネルディスプレイを備えた携帯機器が開示されている。特許文献2の携帯機器は、タッチパネルディスプレイにスルー画像(カメラに映った画像等)を表示し、囲むようにタッチして選択されたスルー画像内の特定対象を検出して、該特定対象の縮小画像をレリーズボタンとしてタッチパネルディスプレイの端部に表示することができる。
【0006】
また、特許文献3には、タッチパネルを用いたウェブサイト検索システムが開示されている。特許文献3のウェブサイト検索システムは、キーワード表示領域に表示されているキーワードが、手でタッチされると、それを検索キーワードとして受け付け、受け付けたキーワードに対応する第1マザーアイコンを表示する。そして、ウェブサイト検索システムは、キーワードに従って検索エンジンでウェブサイトを検索し、検索されたウェブサイトのサムネイル画像を上記第1マザーアイコンの周囲に表示する。
【0007】
また、特許文献4には、接触センサを有する表示パネルを備えた情報処理装置が開示されている。特許文献4の情報処理装置は、オブジェクトが選択されている状態で、操作体(指)の所定角度以上の回転を検知して、該オブジェクトに関連する操作項目を該オブジェクトの周辺に表示する。
【0008】
また、特許文献5には、タッチパネル部を備えた情報処理装置が開示されている。特許文献5の情報処理装置は、ユーザのタッチ位置の軌跡を取得して、軌跡によって選択されたオブジェクト画像を特定し、軌跡の端点に応じた位置に、その選択されたオブジェクト画像を移動させる。
【0009】
一方で、タブレット端末にかかわらず、また、装置の大小を問わず、情報処理装置一般において、メニューを表示し選択を受け付けるというユーザインターフェース技術は非常によく用いられている。この技術によれば、情報処理装置は、ユーザが所望の項目を選択可能なようにメニューを表示し、ユーザの選択を受け付ける。これにより、ユーザは所望の項目を選択することで装置を操作することができる。例えば、特許文献6〜9には、ユーザの利便性およぶ操作性を向上させることを目的として、メニュー表示を実現する情報処理装置が開示されている。
【0010】
具体的には、特許文献6には、表示画面においてカーソルの移動量を少なくし、利用者の視線の移動を軽減する情報表示装置が開示されている。具体的には、情報表示装置において、カーソルの位置を移動制御するポインティングデバイスによってカーソルが移動させられると、情報表示装置は、カーソルの軌跡形状を検出する。そして、情報表示装置は、軌跡形状に対応付けられたメニュー情報を検索し、検索されたメニュー情報をカーソルの軌跡の終端近傍に表示する。
【0011】
特許文献7には、マウスなどの移動の軌跡を検出し、その軌跡情報に対応付けられたポップアップメニューを選択して表示画面上に表示するウィンドウ表示制御装置が開示されている。具体的には、ウィンドウ表示制御装置は、マウスのカーソル位置を起点としてポップアップメニューを表示したり、予め決められた複数のポップアップメニューをマウスの軌跡上に配置したりする。
【0012】
特許文献8には、複数アイテムの選択の高速化を行うメニューディスプレイを提供する方法及び装置が開示されている。具体的には、装置は、角度マーキングメニューと直線メニューとを組み合わせて表示する。角度マーキングメニューでは、ペンなどにより作成されるストロークパターンによって選択されたアイテムが判別される。直線メニューでは、ペンなどで位置を選択することにより、アイテムの選択が行われる。
【0013】
特許文献9には、メニュー表示制御装置およびこれを適用した電子黒板システムが開示されている。具体的には、メニュー表示制御装置は、ユーザが座標入力面に指先で線などを描くことによって装置に入力される、複数の座標に関する入力履歴を認識する。メニュー表示制御装置は、入力履歴に基づいて処理メニューを表示すべきか否かを判断し、処理メニューを表示する。より具体的には、メニュー表示制御装置は、ユーザが人差し指で座標入力面に円を描いた後に、人差し指を画面にタッチしたまま、中指で座標入力面をタッチすると、中指がタッチされた付近に処理メニューを表示する。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】特開2010−218322号公報(2010年9月30日公開)
【特許文献2】特開2010−182023号公報(2010年8月19日公開)
【特許文献3】特開2009−134738号公報(2009年6月18日公開)
【特許文献4】特開2011−13980号公報(2011年1月20日公開)
【特許文献5】特開2006−244353号公報(2006年9月14日公開)
【特許文献6】特開平8−305535号公報(1996年11月22日公開)
【特許文献7】特開平10−307674号公報(1998年11月17日公開)
【特許文献8】特表平11−507455号公報(1999年6月29日公表)
【特許文献9】特開2001−265475号公報(2001年9月28日公開)
【発明の概要】
【発明が解決しようとする課題】
【0015】
タブレット端末の操作性の良さは、いかに簡易な接触動作で且ついかに少ない動作数でユーザの目的である最終結果物を表示させるかということ、および、いかにユーザの直感に反しない自然な流れで、該接触動作に基づく結果物の表示を行うかということにかかっている。
【0016】
こうした操作性の向上は、ユーザの目的、ユーザの状態、ユーザの傾向を適正に把握することによって実現される。タブレット端末は、例えば、ユーザは今何をどうしたいのか、その次に何がしたいのか、ユーザは今どうやって操作しているのか、今どこにいるのか、ユーザの動きに対してどのように表示することが自然であるのか、など、ユーザの意図をあらゆる観点から「察する」ことが求められている。
【0017】
上述の特許文献1〜9の各装置の構成では、ユーザの意図を察するには必ずしも十分とは言えない。
【0018】
より具体的には、特許文献1には、オブジェクトを囲うという動作によって、オブジェクトを選択することが開示されているが、上記動作によって、そのオブジェクトに関連する項目を抽出し表示することは開示されていない。また、特許文献2には、オブジェクトを囲うという動作によって、そのオブジェクトに対応するアイコンを表示することは開示されているが、上記動作によって、そのオブジェクトを選択し、該選択に伴って、オブジェクトに関連する項目を抽出し表示することは開示されていない。また、特許文献3には、オブジェクトが選択されると、オブジェクトを表示し、オブジェクトに関連するサムネイルをオブジェクトの周囲に表示することが開示されているが、オブジェクトを囲うという動作とサムネイルの表示とは結びついていない。また、特許文献4には、オブジェクトをタッチして選択すること、および、オブジェクトに関連するアイコンをオブジェクトの周囲に表示することが開示されているが、周囲にアイコンを表示させるために、オブジェクトの選択とは別に、煩雑な動作(指をタッチ面に押さえつけて指の角度を変えてひねるような動作)を行わなければならず、操作数が増え、目的の結果物(アイコン)を表示するまでの操作が非常に複雑なものとなる。
【0019】
特許文献6および7には、メニュー情報を表示する前に、オブジェクトを選択するという事象が発生することに言及されていないため、オブジェクトの選択に応じて、メニュー情報の各項目の配置位置を制御することができない。また、特許文献8の技術は、操作が非常に煩雑になるという問題がある。具体的には、特許文献8によれば、メニューリストが2種類あって、アイテムの選択の仕方がメニューの種類ごとに異なっている。結果として、ペンの動きとアイテムの選択の流れが、2パターンあり、ペン操作を種類ごとに使い分けなければならない。また、特許文献9の技術では、複数の指を使ってタッチパネルを操作しなければならず、操作が煩雑な上、ペンで操作を行う装置には適用できない。
【0020】
結果として、オブジェクトの選択、決定、結果物(関連する項目)の表示、結果物の選択、・・・最終結果物の表示、という一連の処理を、簡易な接触動作、少ない動作数、および、直感的な接触動作で装置に行わせるということができないという問題がある。
【0021】
上述の操作性の問題は、携帯性に優れた小型のタブレット端末のみならず、タッチパネル式の表示部兼入力部を備えた、あらゆるサイズの情報処理装置、ならびに、タッチパネルに限定されずあらゆる形態の表示部および入力部を備えた情報処理装置に共通して生じる問題である。
【0022】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することにある。
【課題を解決するための手段】
【0023】
本発明の情報処理装置は、上記課題を解決するために、表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、上記軌跡取得手段によって取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを特定の位置に配置して、上記表示部に表示する操作画面処理手段とを備え、上記操作画面処理手段は、上記抽出された関連項目の中で、優先順位が高い関連項目のアイコンほど、上記軌跡取得手段によって取得された軌跡の終点の近くに配置することを特徴としている。
【0024】
上記構成によれば、軌跡取得手段が、ユーザによって行われたオブジェクトを選択するための動作(指示体の移動)の軌跡を取得し、この軌跡に基づいて、オブジェクト特定手段が、上記動作によってユーザが選択したオブジェクトを特定する。続いて、関連項目抽出手段が、特定されたオブジェクトに関連する項目を抽出する。関連情報記憶部には、オブジェクトと該オブジェクトに関連する項目とが対応付けて記憶されているので、関連項目抽出手段によって抽出された関連項目は、ユーザによって選択されたオブジェクトに関連があるものばかりである。最後に、操作画面処理手段は、抽出された関連項目のアイコンを、それぞれ、上記表示部上の特定の配置位置に配置する。
【0025】
ここで、より詳細には、操作画面処理手段は、どの関連項目のアイコンをどの配置位置に配置するのかを、以下のようにして決定する。
【0026】
操作画面処理手段は、アイコンを配置するためにあらかじめ特定されているいくつかの配置位置と、上記軌跡取得手段によって取得された軌跡の終点の位置との間の距離を参考にして、抽出された関連項目の中で、優先順位が高い(例えば、ユーザに選択される可能性が高い)関連項目のアイコンほど、上記終点に近い配置位置に配置することを決定する。
【0027】
これにより、オブジェクトを選択するためのユーザの1つの動作に対して、タブレット端末100は、選択されたオブジェクトに関連する関連項目のアイコンを選択可能に表示するという結果を出力することができる。その上、ここで選択可能に表示されたアイコンの配置は、ユーザの動作が考慮された配置となっている。すなわち、優先順位が高いアイコンほど、ユーザが先の動作を終えた位置(軌跡の終点)の近くに表示されるという配置である。
【0028】
ユーザは、先のオブジェクトを選択する動作を行った後、すぐに、そのオブジェクトに関連する関連項目のアイコンを選択する動作を行うと予想され、これが操作の自然な流れである。この場合、ユーザは、先の動作が完了した位置から、次に目的のアイコンが表示された位置まで、指示体(指、ペン、あるいは、マウスで操作されるカーソルなど)を移動させることになる。
【0029】
ここで、先の動作が完了した位置から、目的のアイコンが表示された位置までの距離が長ければ長いほど、指示体を長く移動させなければならないので、ユーザにとって選択操作は煩わしいものとなる。このような煩わしさは、表示部の画面サイズが大きければ大きいほど顕著となり、また、ユーザが片手で操作していて、接触可能領域が限られる場合などには、特に深刻な問題となる。オブジェクトが階層で管理されていて、何度も続けて選択操作が行われる場合にも上記煩わしさはますます増大する。
【0030】
そこで、本発明のように、選択される可能性が高いアイコンほど、先の動作の完了位置の近くに表示されるような配置にすることにより、ユーザは、高い確率で先の動作の移動完了位置近くに表示されている所望のアイコンを選択することになる。結果として、高い確率で、上述の選択操作の煩わしさを回避することができる。
【0031】
したがって、ユーザは、指示体を画面上のあちらこちらに不自然に移動させる必要がなくなり、簡易な動作で目的の最終結果物にたどり着くことができる。また指示体の移動距離が短いほど、誤操作の誘発を抑えることも可能である。
【0032】
加えて、本発明の情報処理装置は、オブジェクトを選択した次にユーザが選択するであろう関連項目を予め察して、ユーザに選択可能に表示することができる。具体的には、本発明の上記構成によれば、操作画面処理手段によって操作画面に配置されるアイコンは、いずれも、ユーザが選択したオブジェクトに関連がある項目として抽出された関連項目のアイコンである。つまり、オブジェクトを選択したのち、次に選択されるであろう関連項目が、選択される可能性が高い順に動作の完了位置から近い位置にてアイコンで表示されるので、ユーザは次に目的とするアイコンを、指示体を大きく移動させることなく、即座に指定することができる。
【0033】
以上のことから、本発明の情報処理装置は、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0034】
本発明の情報処理装置では、上記関連情報記憶部には、関連項目のアイコンがユーザによって選択された回数が関連項目ごとに記憶されており、上記操作画面処理手段は、上記選択された回数が多い関連項目のアイコンほど、上記軌跡の終点の近くに配置してもよい。
【0035】
上記構成によれば、操作画面処理手段によって、抽出されたアイコンが特定の配置位置に配置されるとき、操作画面処理手段は、選択された回数が多い関連項目のアイコンほど、上記軌跡の終点の近くに配置する。
【0036】
選択された回数が多い関連項目は、そのアイコンがユーザによってよく選択されているということを示す。ユーザによって最も多く選択されているアイコン(関連項目)は、優先順位が高い、すなわち、この次に選択される可能性が最も高いアイコン(関連項目)であると考えられる。
【0037】
上述のように過去の選択回数に基づいて、操作画面処理手段がアイコンを配置することにより、ユーザに選択される可能性が高いアイコンほど、軌跡の終点近くに配置されるように、操作画面(結果物)をユーザに提供することが可能となる。
【0038】
したがって、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0039】
あるいは、本発明の情報処理装置では、上記関連情報記憶部には、関連項目の属性が関連項目ごとに記憶されており、上記操作画面処理手段は、上記選択されたオブジェクトの属性との類似度が高い属性を有する関連項目のアイコンほど、上記軌跡の終点の近くに配置してもよい。
【0040】
上記構成によれば、操作画面処理手段によって、抽出されたアイコンが特定の配置位置に配置されるとき、操作画面処理手段は、選択されたオブジェクトと属性が似ている関連項目のアイコンほど、上記軌跡の終点の近くに配置する。
【0041】
選択されたオブジェクトと属性との類似度が高い、すなわち、性質や分類が似ている関連項目は、その選択されたオブジェクトとより関係が深い、あるいは、性質が似ていると考えられる。
【0042】
ユーザは、属性(分類または性質など)が全く統一されていないオブジェクト(アイコン)を次々に選択するよりも、属性が、類似(または同一)のオブジェクト(アイコン)を、次々に選択して、閲覧したり、編集したりする傾向がある。
【0043】
つまり、先の動作でオブジェクトが選択された次には、そのオブジェクトと属性が類似している関連項目(のアイコン)が、優先順位がより高くなる、すなわち、選択される可能性がより高いと言える。
【0044】
このため、上述のように、オブジェクトの属性との類似度に基づいて、操作画面処理手段がアイコンを配置することにより、ユーザに選択される可能性が高いアイコンほど、軌跡の終点近くに配置されるように、操作画面(結果物)をユーザに提供することが可能となる。
【0045】
したがって、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0046】
さらに、本発明の情報処理装置では、上記選択されたオブジェクト、および、上記関連項目は、写真であって、上記関連情報記憶部には、写真の撮影日時が属性として記憶されており、上記操作画面処理手段は、上記選択されたオブジェクトである写真の撮影日時と近い撮影日時の写真のアイコンほど、上記軌跡の終点の近くに配置することができる。
【0047】
上記構成によれば、操作画面処理手段によって、抽出された写真のアイコンが特定の配置位置に配置されるとき、操作画面処理手段は、選択されたオブジェクトとしての写真と撮影日時が近い写真のアイコンほど、上記軌跡の終点の近くに配置する。
【0048】
つまり、先の動作で写真が選択された次には、その写真と属性が類似している(ここでは、撮影日時が近い)写真が、優先順位がより高くなる、すなわち、選択される可能性がより高いと言える。
【0049】
このため、上述のように、写真の撮影日時の類似度に基づいて、操作画面処理手段が写真のアイコンを配置することにより、ユーザに選択される可能性が高い写真ほど、軌跡の終点近くに配置されるように、操作画面(結果物)をユーザに提供することが可能となる。
【0050】
したがって、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0051】
あるいは、本発明の情報処理装置では、上記関連項目は、動画コンテンツであって、上記関連情報記憶部には、動画コンテンツをユーザに推奨する度合いを示す推奨度が属性として記憶されており、上記操作画面処理手段は、上記推奨度が高い動画コンテンツのアイコンほど、上記軌跡の終点の近くに配置してもよい。
【0052】
上記構成によれば、操作画面処理手段によって、抽出された動画コンテンツのアイコンが特定の配置位置に配置されるとき、操作画面処理手段は、各動画コンテンツに関連付けられている推奨度が高い動画コンテンツのアイコンほど、上記軌跡の終点の近くに配置する。
【0053】
ユーザが、推奨された動画コンテンツを選択する傾向が強いことは自然なことであり、推奨度が高い動画コンテンツほど、優先順位が高い、すなわち、ユーザに選択される可能性は高くなると考えられる。
【0054】
このため、上述のように、動画コンテンツの推奨度に基づいて、操作画面処理手段がアイコンを配置することにより、ユーザに選択される可能性が高いアイコンほど、軌跡の終点近くに配置されるように、操作画面(結果物)をユーザに提供することが可能となる。
【0055】
したがって、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0056】
あるいは、本発明の情報処理装置では、上記軌跡取得手段は、上記表示部に表示されたオブジェクトを囲うように上記表示部の画面を移動した上記指示体の移動の軌跡を取得し、上記オブジェクト特定手段は、上記軌跡により囲われた領域に、少なくとも一部が含まれるオブジェクトを、選択されたオブジェクトとして特定し、上記操作画面処理手段は、上記抽出された関連項目のアイコンを、環の輪郭線上に並べて配置することが好ましい。
【0057】
上記構成によれば、軌跡取得手段が囲う動作の軌跡を取得し、この軌跡に基づいて、オブジェクト特定手段が、囲う動作によってユーザが選択したオブジェクトを特定する。続いて、関連項目抽出手段が、特定されたオブジェクトに関連する項目を抽出する。関連情報記憶部には、オブジェクトと該オブジェクトに関連する項目とが対応付けて記憶されているので、関連項目抽出手段によって抽出された関連項目は、ユーザによって選択されたオブジェクトに関連があるものばかりである。最後に、操作画面処理手段は、抽出された関連項目のアイコンを、囲う動作から連想されやすい環の形状に並べて配置する。なお、操作画面処理手段は、各アイコンを環の輪郭線上に並べる場合でも、その輪郭線上の特定の配置位置と、上記軌跡の終点との距離を参照して、優先順位が高いアイコンほど、上記終点近くに配置することを決定する。
【0058】
これにより、上述のようにしてアイコンが配置され、生成された操作画面がユーザに提示される。このように、本発明の情報処理装置は、オブジェクトの周囲を指示体(ペン、指、または、マウスで制御するカーソルなど)で「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの動作を契機として、その選択されたオブジェクトに関連する関連項目のアイコンを、環の形状に配置した操作画面をユーザに提供することができる。
【0059】
「囲う」の軌跡は、何かを囲むような形状になっているので、環の形状と、囲う動作によって得られた指示体の移動の軌跡とは類似していると言える。よって、先の、ユーザの囲う動作から、結果物(環状に配置されたアイコン)は連想されやすい。
【0060】
つまり、「オブジェクトを『囲う』動作を起こす」という事象から、「アイコンを環状に配置した操作画面が表示される」という事象への遷移は、ユーザの直感に反しない自然な流れであると言える。
【0061】
また、関連項目のアイコンを環状に配置したメニューリストは、線状の一次元的なメニューリストと比較して、次のようなメリットがある。例えば、一次元的なメニューリストでは、例えば、上から下へ、または、左から右へアイコンが配置されるため、配置位置に応じて各アイコンに意図せず優先順位が付いてしまう。これに対し、環状のメニューリストによれば、環状に配置されるすべてのアイコンを対等に扱うことが可能となる。
【0062】
以上のことから、本発明の情報処理装置は、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しないより一層自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0063】
本発明の情報処理装置では、上記操作画面処理手段は、上記選択されたオブジェクトの周囲にアイコンが配置されるように上記環の位置およびサイズを決定することが好ましい。
【0064】
上記構成によれば、オブジェクトの周囲を「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの動作に対して、情報処理装置は、そのオブジェクトの周囲にアイコンを配置するという結果を出力することができる。
【0065】
ユーザは、先に自分が囲んで選択したオブジェクトを囲むように関連項目のアイコンが配置された操作画面を結果物として得ることができる。これらのアイコンとオブジェクトとの位置関係は、先にユーザが実行した動作による指示体の移動の軌跡とオブジェクトとの位置関係に合致する。また、オブジェクトを囲うようにして得られた指示体の移動の軌跡は、アイコンが配置される環の形状に類似する。
【0066】
つまり、「オブジェクトを『囲う』動作を起こす」という事象から、「オブジェクトの周囲にアイコンが配置された操作画面が表示される」という事象への遷移は、ユーザの直感に反しないより自然な流れであると言える。
【0067】
さらに、関連項目のアイコンをオブジェクトの周囲に環状に配置したメニューリストは、線状の一次元的なメニューリストと比較して、次のようなメリットがある。例えば、一次元的なメニューリストでは、例えば、上から下へ、または、左から右へアイコンが配置されるため、配置位置に応じて各アイコンに意図せず優先順位が付いてしまう。これに対し、環状のメニューリストによれば、環状に配置されるすべてのアイコンを対等に扱うことが可能となる。さらに、一次元的なメニューリストを先に選択されたオブジェクトの近くに表示したとしても、オブジェクトと各アイコンとの関連性を表現することは難しい。これに対し、先に選択されたオブジェクトの周囲に環状のメニューリストを表示させれば、先に選択された(囲われた)オブジェクトと、その周囲の各アイコンとの間に関連性があるということをユーザに自然に認識させることが可能となる。
【0068】
以上のことから、本発明の情報処理装置は、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0069】
本発明の情報処理装置では、上記操作画面処理手段は、上記軌跡取得手段によって取得された軌跡、もしくは、その相似形または近似形を、上記環の形状として決定することが好ましい。
【0070】
上記構成によれば、ユーザがフリーハンドで任意の形状でオブジェクトを囲うという動作を行うが、このときの軌跡が、軌跡取得手段によって保持される。そして、操作画面処理手段は、操作画面を作成する際、上記のようにして得られた軌跡と同じまたは相似形の環の輪郭線上に、所定の領域(あるいはオブジェクトそのもの)を囲むようにして各アイコンを配置する。
【0071】
これにより、オブジェクトの周囲を「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの動作を契機として、アイコンを環状に配置するという結果を出力することができる。つまり、ユーザは、所定の領域(あるいはオブジェクトそのもの)を囲むように関連項目のアイコンが配置された操作画面を結果物として得ることができる。
【0072】
さらに、アイコンが配置される環の形状は、オブジェクトを囲うようにして得られた操作体の移動の軌跡に一致するか、それと相似の関係にある状態で操作画面に表示される。
【0073】
つまり、ユーザがオブジェクトを囲うと、「ユーザがオブジェクトを囲ったとおりに」アイコンが配置された操作画面が得られる。この事象の遷移は、ユーザの直感に反しないより自然な流れであると言える。
【0074】
また、ユーザが囲ったとおりの形状でアイコンが配置されるので、ユーザは思い通りの形状でオブジェクトを囲うことにより、思い通りの形状にアイコンが配置された操作画面を得ることができる。これにより、操作画面を表示して情報処理装置を操作する際の遊戯性が高まる。
【0075】
その上、ユーザは、アイコンの配置を予測して、自分が希望するとおりにオブジェクトを囲い、関連項目のアイコンを表示させることができるため、操作性はさらに向上する。
【0076】
以上のことから、本発明の情報処理装置は、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0077】
さらに、本発明の情報処理装置では、上記操作画面処理手段は、優先順位が最も高い関連項目のアイコンを、上記環の輪郭線上の、上記軌跡の終点に最も近い点に配置し、残りの関連項目の各アイコンを、優先順位が最も高い上記アイコンの配置位置を基準にして、上記環の輪郭線上に配置してもよい。
【0078】
上記構成によれば、操作画面処理手段は、優先順位が1位のアイコンを、環の輪郭線上の、軌跡の終点からの最短距離に必ず配置することが可能となる。つまり、ユーザに選択される可能性が最も高いアイコンを、ユーザの指示体(指など)がある位置の最も近くに表示させることが可能となり、高い確率で、ユーザが指示体を大きく動かさずに目的のアイコンを選択できるようにすることができる。
【0079】
あるいは、本発明の情報処理装置では、上記軌跡取得手段は、上記表示部に表示されたオブジェクトを選択する上記指示体の移動が生じるまでの所定期間に生じた上記指示体の軌跡を取得し、上記操作画面処理手段は、上記所定期間に取得された軌跡が、上記表示部の画面における特定の領域に偏っていると判断した場合に、上記特定の領域にアイコンが配置されるようにアイコンの位置を決定してもよい。
【0080】
上記構成によれば、軌跡取得手段は、オブジェクトを選択する動作だけでなく、過去の所定期間に生じた動作について軌跡を取得する。続いて、操作画面処理手段は、取得された軌跡によって、過去の所定期間において、表示部のどの位置に動作(指示体の移動)が生じたのかを把握することが可能となり、指示体の移動の軌跡が、表示部の特定の領域に集中しているのであれば、それによって指示体の移動位置の偏りを検知することができる。
【0081】
このように移動位置が偏っているということは、その領域しかタッチできない(あるいは、それ以外の領域はタッチし難い、指示体を移動させられない)という特殊な使用状況下で当該情報処理装置を利用していると推測できる。
【0082】
そこで、操作画面処理手段は、偏りが検出された領域(すなわち、指示体を移動させることが可能な限られた領域)にアイコンが配置されるように環の位置を決定する。
【0083】
これにより、ユーザが選択可能な領域にアイコンが表示されることになり、次にユーザがアイコンを選択する動作を行う場合には、選択可能な領域からすぐさま所望のアイコンを選択することができる。
【0084】
具体例を用いてより詳細に説明すると以下のとおりである。例えば、片手で操作する場合には、接触位置は、タッチパネルの画面下部左側の領域(左手で操作する場合)、または、画面下部右側の領域(右手で操作する場合)に偏る傾向がある。ユーザがこのような状況で情報処理装置を使用しているときに、接触動作が必要なオブジェクトまたはアイコンを、画面上部や手と反対側の画面下部に表示すると操作が煩雑になるという問題がある。なぜなら、ユーザは、目的のオブジェクトをすぐさまタッチできず、接触可能な領域にたぐり寄せるという余計な動作を行わなければならないか、両手操作に切り替えなければならないからである。
【0085】
そこで、本発明の情報処理装置は、上記構成によってユーザの使用状況を察することにより、上記の問題を解決することができる。つまり、本発明の情報処理装置を、操作体の接触位置の偏りを検出し、ユーザの指示体がすぐさま届くと推測される領域内に、アイコンを配置する構成とすることができる。
【0086】
これにより、ユーザが片手で上記情報処理装置を操作する場合には、タッチパネルの画面下部左側(あるいは右側)の領域内に収まるように、アイコンが表示されるので、ユーザは、片手操作で目的のアイコンをたぐり寄せる必要はなく、すぐさま所望のアイコンを選択することができる。
【0087】
あるいは、本発明の情報処理装置では、上記操作画面処理手段は、上記表示部の画面における、上記オブジェクトを選択する上記指示体の移動の軌跡と重なる特定の領域にアイコンが配置されるようにアイコンの位置を決定してもよい。
【0088】
上記構成によれば、ユーザが指などの指示体で選択した位置、あるいは、その近辺にアイコンが配置されることになる。ユーザがオブジェクトを選択した位置は、ユーザにとって選択可能領域であると言える。よって、確実に、選択可能領域にアイコンを表示させることが可能となる。
【0089】
本発明の情報処理装置では、当該情報処理装置が備える入力部および上記表示部はタッチパネルを構成するものであり、上記軌跡取得手段は、上記タッチパネル上を移動した上記指示体の移動の軌跡を取得してもよい。
【0090】
上記構成によれば、ユーザがオブジェクトを選択するために行う接触動作と、その動作に応じて得られる結果物との関連性を高めることが可能となり、ユーザの直感に反しない自然な流れで操作画面を提供することができる。結果として、タッチパネルを備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0091】
本発明の情報処理装置では、当該情報処理装置が備える入力部は、上記表示部に表示されるカーソルを移動させる指示を当該情報処理装置に入力するものであり、上記軌跡取得手段は、上記指示体としてのカーソルの移動の軌跡を取得してもよい。
【0092】
上記構成によれば、ユーザが、入力部を操作して、オブジェクトを選択するために行う入力動作と、その動作に応じて得られる結果物との関連性を高めることが可能となり、ユーザの直感に反しない自然な流れで操作画面を提供することができる。結果として、表示部と入力部とを備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0093】
本発明の操作画面表示方法は、上記課題を解決するために、情報処理装置における操作画面表示方法であって、上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、上記軌跡取得ステップにて取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップにて抽出された関連項目のアイコンを特定の位置に配置して、上記表示部に表示する操作画面処理ステップとを含み、上記操作画面処理ステップでは、上記抽出された関連項目の中で、優先順位が高い関連項目のアイコンほど、上記軌跡取得ステップにて取得された軌跡の終点の近くに配置することを特徴としている。
【0094】
上記方法によれば、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および上記表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0095】
なお、上記情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0096】
本発明の情報処理装置は、上記課題を解決するために、タッチパネルを備えた情報処理装置において、表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、上記軌跡取得手段によって取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを特定の位置に配置して、上記表示部に表示する操作画面処理手段とを備え、上記操作画面処理手段は、上記抽出された関連項目の中で、優先順位が高い関連項目のアイコンほど、上記軌跡取得手段によって取得された軌跡の終点の近くに配置することを特徴としている。
【0097】
本発明の操作画面表示方法は、上記課題を解決するために、情報処理装置における操作画面表示方法であって、上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、上記軌跡取得ステップにて取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップにて抽出された関連項目のアイコンを特定の位置に配置して、上記表示部に表示する操作画面処理ステップとを含み、上記操作画面処理ステップでは、上記抽出された関連項目の中で、優先順位が高い関連項目のアイコンほど、上記軌跡取得ステップにて取得された軌跡の終点の近くに配置することを特徴としている。
【0098】
したがって、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【図面の簡単な説明】
【0099】
【図1】本発明の一実施形態におけるタブレット端末の要部構成を示す機能ブロック図である。
【図2】本発明の一実施形態におけるタブレット端末のハードウェア構成を示すブロック図である。
【図3】本発明の一実施形態におけるタブレット端末の外観を示す平面図である。
【図4】タブレット端末をユーザが把持および操作するときの様子を説明する図であり、(a)は、タブレット端末が片手で把持され、その手で操作される様子を説明する図であり、(b)は、タブレット端末が一方の手で把持され、もう一方の手で操作される様子を説明する図である。
【図5】タブレット端末のオブジェクト特定部の動作を説明する図であり、(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行った様子を示す図であり、(b)は、(a)に示す接触動作に伴って、接触情報生成部が生成した接触情報の一例を示す図であり、(c)は、接触が検知されたt0〜tnの期間に表示部に表示された映像フレームのマップ情報の一例を示す図である。
【図6】タブレット端末の関連情報記憶部に記憶される関連情報の一例を示す図である。
【図7】タブレット端末のアイコン記憶部に記憶されるアイコン画像の具体例を示す図である。
【図8】タブレット端末のアイコン順位決定部が、各アイコンに付与した優先順位の一例を示す図である。
【図9】タブレット端末のアイコン配置決定部の動作の具体例を説明する図であり、(a)は、アイコン配置決定部が取得するアイコン配置パターンの具体例を示す図であり、(b)は、アイコン配置決定部によって決定されたアイコンの配置の具体例を示す図である。
【図10】タブレット端末の操作画面処理部によって実行された操作画面生成処理の結果、得られた操作画面の具体例を示す図である。
【図11】タブレット端末による操作画面表示処理の流れを示すフローチャートである。
【図12】タブレット端末の接触情報生成部およびオブジェクト特定部の動作を説明する図であり、(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトをレ点で「チェックする」という接触動作を行ったことを示す図であり、(b)は、同図の(a)に示す接触動作に伴って、接触情報生成部が生成した接触情報の一例を示す図である。
【図13】タブレット端末のアイコン配置決定部が取得するアイコン配置パターンの他の具体例を示す図である。
【図14】タブレット端末の操作画面処理部によって実行された操作画面生成処理の結果、得られた操作画面の他の具体例を示す図である。
【図15】本発明の他の実施形態におけるタブレット端末の要部構成を示す機能ブロック図である。
【図16】タブレット端末の操作画面処理部の各部の処理内容を説明する図であり、(a)は、操作画面処理部によるオブジェクトの表示処理の一例を説明する図であり、(b)は、操作画面処理部の環形状決定部が決定した、環形状に特化したアイコン配置パターンの一例を示す図である。
【図17】タブレット端末の接触情報記憶部に記憶される接触情報の具体例を示す図であり、(a)は、ユーザが目的のオブジェクトを選択するために、オブジェクトを任意の形状で「囲う」接触動作を行った様子を示す図であり、(b)は、(a)に示す接触動作に伴って、接触情報生成部が生成した接触情報の一例を示す図である。
【図18】タブレット端末の環形状決定部によって決定された、アイコン配置パターンの他の例を示す図である。
【図19】タブレット端末の操作画面処理部が生成する操作画面における、オブジェクトおよび環状アイコン群の他の配置例を示している。
【図20】タブレット端末の操作画面処理部が生成する操作画面における、オブジェクトおよび環状アイコン群の他の配置例を示している。
【図21】関連項目のアイコン表示方法の一変形例を示す図であり、(a)は、最初にオブジェクトの周囲に小さく配置されたアイコンの環の様子を示し、(b)は、アイコンの環が拡大する途中の様子を示し、(c)は、(a)から(b)を経て、最終的にアイコンの環が画面中央に大きく配置された様子を示している。
【図22】関連項目のアイコン表示方法の一変形例を示す図であり、(a)は、接触情報の一具体例を示す図であり、(b)、(c)、(d)、(e)は、複数のアイコンが一定の間隔で順次表示される様子を示す図であり、(f)は、最終的に得られる操作画面の一具体例を示す図である。
【図23】関連項目のアイコン表示方法の一変形例を示す図であり、(a)は、接触情報の一具体例を示す図であり、(b)は、t0の時点の操作画面の一例を示す図であり、(c)は、taの時点の操作画面の一例を示す図であり、(d)は、tbの時点の操作画面の一例を示す図であり、(e)は、tcの時点の操作画面の一例を示す図であり、(f)は、tnの時点の操作画面の一例を示す図である。
【図24A】本発明の他の実施形態におけるタブレット端末による操作画面表示処理の流れを示すフローチャートである。
【図24B】本発明の他の実施形態におけるタブレット端末による操作画面表示処理の流れを示すフローチャートである。
【図25】ユーザの使用状況に応じて操作画面を提示することが可能な、本発明のタブレット端末の動作を説明する図であり、(a)は、ユーザが左手で操作しているという状況の一例を説明する図であり、(b)は、(a)の接触動作に伴って生成された接触情報の具体例を示す図である。
【図26】操作画面処理部の環形状決定部によって決定された環形状にしたがってアイコンが配置されたときの操作画面の一例を示す図である。
【図27】(a)〜(c)は、タブレット端末のアイコン配置決定部が行う、アイコン配置位置と優先順位との関連付けの具体例を示す図である。
【図28】(a)および(b)は、ユーザが、接触可能領域上でドラッグすることにより、アイコンの環を回転させる様子を説明する図である。
【図29】本発明の情報処理装置としてのタブレット端末を、タブレットPCで実現した場合の様子を示す図である。
【図30】(a)は、タブレット端末のアイコン配置決定部によって、指示体の軌跡および軌跡の終点tnがプロットされたアイコン配置パターンの具体例を示す図であり、(b)は、アイコン配置決定部によって、各アイコン配置位置に優先順位が関連付けられた結果を示す図である。
【図31】本発明の情報処理装置としてのタブレット端末を、タブレットPCで実現した場合の様子を示す図である。
【図32】(a)は、タブレット端末のアイコン配置決定部によって、指示体の軌跡および軌跡の終点tnがプロットされたアイコン配置パターンの具体例を示す図であり、(b)は、アイコン配置決定部によって、各アイコン配置位置に優先順位が関連付けられた結果を示す図である。
【図33】タブレット端末のアイコン配置決定部が決定したアイコン配置パターンの一例を示す図である。
【発明を実施するための形態】
【0100】
≪実施形態1≫
本発明の実施形態について、図1〜図14に基づいて説明すると以下の通りである。
【0101】
以下で説明する実施形態では、一例として、本発明の情報処理装置を、タブレット端末に適用した場合について説明する。本実施形態では、一例として、上記タブレット端末は、片手で操作することが可能な、小型で携帯性に優れたスマートフォンなどで実現される。
【0102】
しかし、本発明の情報処理装置は、上記の例に限定されず、あらゆるサイズの情報処理装置(例えば、ノートサイズのタブレットPC、または、大型のタッチパネルを備えた電子黒板など)に、本発明の情報処理装置を適用してもよい。
【0103】
〔タブレット端末のハードウェア構成〕
図2は、本実施形態におけるタブレット端末100のハードウェア構成を示すブロック図である。タブレット端末100は、図2に示すとおり、少なくとも、制御部10、入力部11、表示部12および記憶部19を備えている。さらに、タブレット端末100は、本来備わっている機能を実現するために、操作部13、外部インターフェース14、通信部15、無線通信部16、音声出力部17、音声入力部18を備えていてもよい。
【0104】
また、タブレット端末100がスマートフォンなどの多機能携帯通信端末である場合には、ここでは省略したが、タブレット端末100は、通話処理部、撮影を行う撮像部(レンズ・撮像素子など)、放送受像部(チューナ・復調部など)、GPS、および、センサ(加速度センサ、傾きセンサなど)他、スマートフォンが標準的に備えている各種部品を備えていてもよい。
【0105】
入力部11は、ユーザがタブレット端末100を操作するための指示信号を、タッチパネルを介して入力するためのものである。入力部11は、指示体(表示部12の画面位置を指示するもの、ここでは、例えば、指またはペンなど)の接触を受け付けるタッチ面と、指示体とタッチ面との間の接触/非接触(接近/非接近)、および、その接触(接近)位置を検知するためのタッチセンサとで構成されている。タッチセンサは、指示体とタッチ面との接触/非接触を検知できればどのようなセンサで実現されていてもかまわない。例えば、圧力センサ、静電容量センサ、光センサなどで実現される。
【0106】
表示部12は、タブレット端末100が情報処理するオブジェクト(アイコンなどのあらゆる表示対象物)、および、処理の結果物を表示したり、ユーザがタブレット端末100を操作するための操作画面をGUI(Graphical User Interface)画面として表示したりするものである。表示部12は、例えば、LCD(液晶ディスプレイ)などの表示装置で実現される。
【0107】
本実施形態では、入力部11と表示部12とは一体に成形されており、これらがタッチパネルを構成している。したがって、このような実施形態では、ユーザが画面位置を指示するために動かす(操作する)対象、すなわち、操作体(ここでは、指またはペンなど)は、同時に、表示部12の画面上の位置を指示する指示体でもある。
【0108】
例えば、本発明のタブレット端末100のタッチパネルを投影型静電容量方式のタッチパネルで実現する場合、具体的には、上記タッチセンサは、ITO(Indium Tin Oxide)などによるマトリクス状の透明電極パターンを、ガラス、プラスチックなどの透明基板上に形成したものとなる。タッチセンサに指示体(ユーザの指またはペン等)が接触または接近すると、その付近の複数の透明電極パターンにおける静電容量が変化する。従って、制御部10は、上記透明電極パターンの電流または電圧の変化を検出することにより、上記指示体が接触または接近した位置を検出することができる。
【0109】
以下では、「接触を検知する」、「接触動作」、「接触位置」などというときの「接触」という用語は、指示体とタッチ面とが完全に接する(接している)状態のみならず、指示体とタッチ面とが、タッチセンサが検知可能な程度に接近する(接近している)状態も含んでいる。
【0110】
操作部13は、ユーザがタブレット端末100に指示信号を直接入力するためのものである。例えば、操作部13は、ボタン、スイッチ、キー、ジョグダイアルなどの適宜の入力機構で実現される。例えば、操作部13は、タブレット端末100の電源のオン/オフを行うスイッチである。
【0111】
外部インターフェース14は、外部の装置をタブレット端末100に接続するためのインターフェースである。外部インターフェース14は、例えば、これに限定されないが、外付けの記録媒体(メモリカードなど)を挿し込むためのソケット、HDMI(High Definition Multimedia Interface)端子、USB(Universal Serial Bus)端子などで実現される。タブレット端末100の制御部10は、外部インターフェース14を介して、外部の装置とデータの送受信を行うことができる。
【0112】
通信部15は、通信網を介して外部の装置と通信を行うものである。通信部15は、通信網を介して、各種通信端末に接続し、タブレット端末100と通信端末との間でのデータの送受信を実現する。さらに、タブレット端末100が、スマートフォンなどの携帯通信端末である場合には、通信部15は、携帯電話回線網を介して、音声通話データ、電子メールデータなどを、他の装置との間で送受信する。
【0113】
無線通信部16は、無線で外部の装置と通信を行うものである。無線通信部16は、特に限定されないが、IrDA、IrSSなどの赤外線通信、Bluetooth通信、WiFi通信、非接触型ICカードのいずれかの無線通信手段を実現するものであってもよいし、これらの手段を複数実現するものであってもよい。タブレット端末100の制御部10は、無線通信部16を介して、タブレット端末100の周辺にある機器と通信し、それらの機器とデータの送受信を行うことができる。
【0114】
音声出力部17は、タブレット端末100が処理した音声データを、音声として出力するものであり、スピーカ、ヘッドフォン端子およびヘッドフォン等により実現される。
【0115】
音声入力部18は、タブレット端末100外部で発生した音声の入力を受け付けるものであり、マイク等により実現される。
【0116】
記憶部19は、タブレット端末100の制御部10が実行する(1)制御プログラム、(2)OSプログラム、(3)制御部10が、タブレット端末100が有する各種機能を実行するためのアプリケーションプログラム、および、(4)該アプリケーションプログラムを実行するときに読み出す各種データを記憶するものである。あるいは、(5)制御部10が各種機能を実行する過程で演算に使用するデータおよび演算結果等を記憶するものである。例えば、上記の(1)〜(4)のデータは、ROM(read only memory)、フラッシュメモリ、EPROM(Erasable ROM)、EEPROM(Electrically EPROM)、HDD(Hard Disc Drive)などの不揮発性記憶装置に記憶される。例えば、上記の(5)のデータは、RAM(Random Access Memory)などの揮発性記憶装置に記憶される。どのデータをどの記憶装置に記憶するのかについては、タブレット端末100の使用目的、利便性、コスト、物理的な制約などから適宜決定される。
【0117】
制御部10は、タブレット端末100が備える各部を統括制御するものである。制御部10は、例えば、CPU(central processing unit)などで実現され、タブレット端末100が備える機能は、制御部10としてのCPUが、ROMなどに記憶されているプログラムを、RAMなどに読み出して実行することで実現される。制御部10が実現する各種機能(特に、本発明の操作画面表示機能)については、別図を参照しながら後述する。
【0118】
〔タブレット端末の外観〕
図3は、タブレット端末100の外観を示す平面図である。図3に示すとおり、タブレット端末100は、タッチパネルとしての入力部11および表示部12を備えているものである。また、タブレット端末100には、これらは必須の構成ではないが、操作部13、外部インターフェース14、無線通信部16、音声出力部17、音声入力部18などが備えられている。例えば、無線通信部16が、赤外線通信手段で実現されている場合、タブレット端末100の側面には、無線通信部16として赤外線送受光部が設けられる。
【0119】
図4は、タブレット端末100をユーザが把持および操作するときの様子を説明する図である。より詳細には、図4の(a)は、タブレット端末100が片手で把持され、その手で操作される様子を説明する図であり、図4の(b)は、タブレット端末100が一方の手で把持され、もう一方の手で操作される様子を説明する図である。
【0120】
本実施形態では、タブレット端末100は、片手で把持可能な手のひらサイズの情報処理装置であり、図4の(a)に示すように、片手でタブレット端末100を把持したまま、その手の親指で入力部11のタッチ面を操作できるものである。そして、タブレット端末100は、例えば、親指が届かない位置に操作対象となるアイコンが存在する場合、フリック動作で、親指近辺にアイコンを引き寄せて、親指でアイコンを囲ったり、タップしたりすることにより、アイコンの選択を行うことができるものである。
【0121】
また、図4の(b)に示すように、ユーザは、一方の手でタブレット端末100を把持し、もう一方の手の指で入力部11のタッチ面を操作してもよい。あるいは、図示しないが、タブレット端末100を横長にして、その両脇を両手で把持し、両手の親指で入力部11のタッチ面を操作してもよい。
【0122】
〔タブレット端末の機能〕
次に、タブレット端末100の機能構成について説明する。図1は、本実施形態におけるタブレット端末100の要部構成を示す機能ブロック図である。
【0123】
図1に示すとおり、本実施形態にかかるタブレット端末100の制御部10は、本発明の操作画面表示機能を実現するための機能ブロックとして、少なくとも、接触情報生成部21、オブジェクト特定部22、関連項目抽出部23、および、操作画面処理部24を備えている。そして、より詳細には、操作画面処理部24は、アイコン順位決定部31およびアイコン配置決定部33を備えている。
【0124】
上述した制御部10の各機能ブロックは、CPU(central processing unit)が、ROM(read only memory)等で実現された不揮発性記憶装置に記憶されているプログラムを不図示のRAM(random access memory)等に読み出して実行することで実現できる。
【0125】
また、記憶部19は、制御部10の上記の各部が操作画面表示機能を実行する際に、データの読み出しまたは書き込みを行うための記憶部として、具体的には、フレームマップ記憶部41、関連情報記憶部42、アイコン記憶部43、および、接触情報記憶部44で構成されている。
【0126】
接触情報生成部21は、入力部11のタッチセンサから出力される信号を処理して、接触情報を生成するものである。接触情報とは、指示体(例えば指)の接触位置の座標位置を示す接触座標情報を少なくとも含んでいる。これにより、制御部10の各部は、上記接触情報から上記指示体の移動の軌跡を得ることができる。本実施形態では、さらに、上記軌跡を構成する各点に対して、接触が起こった時間を示す接触時間情報(指示体の移動時間を示す移動時間情報)が必要に応じて対応付けられていてもよい。
【0127】
接触情報記憶部44は、接触情報生成部21によって生成された接触情報を記憶するものである。接触情報は、オブジェクト特定部22が即時利用可能なように図示しない記憶部(キャッシュなど)に一時的に記憶されてもよい。さらに、本実施形態では、接触情報は、操作画面処理部24および操作画面処理部24の各部が、操作画面生成処理(アイコンを表示する処理を含む)を実行するときに利用可能なように、接触情報記憶部44に記憶される。接触情報記憶部44を不揮発性記憶装置で実現するか否か、すなわち、この接触情報を不揮発的に記憶するか否かは、操作画面処理部24が実行する操作画面表示機能の目的、想定利用環境、あるいは、タブレット端末100自体の使用目的、利便性、コスト、物理的な制約などから適宜決定される。
【0128】
接触情報生成部21が接触情報を生成する手順について、より詳細には、入力部11のタッチセンサが、タッチ面と指示体(本実施形態では、指)との接触を検知してから、その非接触を検知するまでの間、接触情報生成部21は、タッチセンサから出力される信号を取得する。この信号には、「接触」を検知した旨と、その接触位置を示す情報とが含まれており、接触情報生成部21は、この信号に基づいて、接触位置を座標で示す接触座標情報を生成する。さらに、接触情報生成部21は、接触が検知されてからそれが非接触となるまでの間の時間を測定し、接触時間情報を接触座標情報に対応付ける。接触情報生成部21は、タブレット端末100に搭載される時計部が保持する絶対的な時刻情報を取得して利用してもよいが、本実施形態では、接触情報生成部21は、接触が検知されてから計時を開始し、相対的な接触時間情報を得る。例えば、接触情報生成部21は、接触が最初に検知された時点(t0)を0.00秒として経過時刻を計測し、接触が最後に検知された時点(tn)まで、上記計測を継続させて、接触位置に対応する相対的な接触時間情報を取得すればよい。接触情報生成部21は、得られた接触時間情報を接触座標情報に対応付けて接触情報を生成する。本実施形態では、生成された接触情報は、オブジェクト特定部22に供給され、オブジェクト特定部22によって利用される。また、本実施形態では、接触情報生成部21は、少なくとも、接触動作が終了した位置の座標情報を取得しておき、この情報を含めて接触情報を生成する。さらに、接触情報生成部21は、接触動作が開始された位置の座標情報も取得してもよい。さらに、接触情報生成部21は、接触動作の開始および終了位置のそれぞれに対して、接触時間情報を対応付けてもよい。このようにして生成された接触情報は、操作画面処理部24に供給され、操作画面処理部24および操作画面処理部24に含まれる各部によって利用される。例えば、上記のデータ構造を有する接触情報により、操作画面処理部24は、少なくとも、軌跡の終点の位置を認識することができる。
【0129】
オブジェクト特定部22は、ユーザの接触動作によって選択されたオブジェクトを特定するものである。オブジェクト特定部22は、接触情報生成部21によって生成された接触情報と、その接触が起こっている間に表示部12に表示されていた映像フレームのマップ情報とを対比する。これにより、オブジェクト特定部22は、接触動作によって指し示されたオブジェクトを、表示部12に表示中のオブジェクトの中から特定することができる。
【0130】
フレームマップ記憶部41は、接触時の表示部12に出力されていた映像フレームのマップ情報を記憶するものである。マップ情報は、タッチパネルに表示されている映像フレームのレイアウトを示す情報である。具体的には、マップ情報は、表示されている各オブジェクトについて、それらを個々に識別する情報と、各オブジェクトの形状、大きさ、および、表示位置の情報を含む。つまり、マップ情報は、各オブジェクトをタッチパネルの座標系に対応させてプロットしたものである。
【0131】
図5は、オブジェクト特定部22の動作を説明する図である。より詳細には、図5の(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。図5の(b)は、同図の(a)に示す接触動作に伴って、接触情報生成部21が生成した接触情報の一例を示す図である。図5の(c)は、接触が検知されたt0〜tnの期間に表示部12に表示された映像フレームのマップ情報の一例を示す図である。
【0132】
図5の(a)に示すとおり、ユーザが、タブレット端末100のタッチパネルに表示されているオブジェクト80(ここでは、写真)のうちの1つを「囲う」という接触動作を実行したとする。接触動作は、例えば、接触点が同図の破線の位置を通過するようにt0〜tnの期間に実行されたとする。
【0133】
オブジェクト特定部22は、接触情報生成部21から、図5の(b)に示すような接触情報を取得する。本実施形態では、接触情報の座標系は、タブレット端末100のタッチパネルの座標系に対応し、パネルの最左上端を原点とするものである。図5の(b)において、ユーザの「囲う」接触動作の軌跡のうち、始点をt0、終点をtnとして示しているが、その間の各点にも接触時間情報が関連付けられていてもよい。
【0134】
オブジェクト特定部22は、フレームマップ記憶部41から、図5の(c)に示されるマップ情報(すなわち、t0〜tnの期間において表示部12に表示された映像フレームのレイアウト)を取得する。そして、オブジェクト特定部22は、上記接触情報と上記マップ情報とを対比して、接触情報から得られたユーザの指の軌跡によって特定される領域(選択領域)に全部あるいはほぼ重なるオブジェクト80を選択されたオブジェクトであるとして特定する。図5に示す例では、オブジェクト特定部22は、図5の(c)の「写真1」を選択されたオブジェクトとして特定する。オブジェクト特定部22は、特定したオブジェクトの情報を、関連項目抽出部23に供給する。
【0135】
なお、軌跡によって特定される選択領域について、オブジェクト特定部22は、軌跡が閉曲線の場合、その軌跡によって囲われる領域内(図5の(c)の太枠内斜線領域)を選択領域として特定してもよいし、あるいは、軌跡が閉曲線であってもそうでなくとも上記軌跡の外接矩形内を選択領域として特定してもよい。オブジェクト特定部22は、軌跡に基づいて、上記の例に限定されない所定の規則に基づいて特定の選択領域を求める。
【0136】
図5の(a)〜(c)は、一例として、ユーザがオブジェクトを選択するための接触動作が「囲う」である場合のオブジェクトの特定方法を示しているが、本発明のタブレット端末100の構成は上記に限定されない。例えば、ユーザは、所望のオブジェクトを指すときに、単に「タップする」という接触動作(シングルタップでもダブルタップでもよい)でオブジェクトを選択してもよいし、オブジェクトにチェックマーク(レ点または×印など)を入れるような「チェックする」という接触動作で選択してもよいし、オブジェクトを斜め上から斜め下に払うような「フリックする」という接触動作で選択してもよいし、オブジェクトを所定期間押し続ける「長押しする」という接触動作で選択してもよい。タブレット端末100は、上述のいずれの接触動作を「オブジェクトを選択するための動作」に割り当ててもよく、オブジェクト特定部22は、割り当てられた接触動作に応じて適切に、ユーザが指し示すオブジェクトを特定できる構成である。
【0137】
関連項目抽出部23は、オブジェクト特定部22によって特定されたオブジェクト、すなわち、ユーザによって選択されたオブジェクトに関連する関連項目を抽出するものである。オブジェクトが選択されたときに、その選択されたオブジェクトに関連性が深い項目が、関連項目抽出部23によって抽出されることになっている。
【0138】
例えば、オブジェクトが「写真」などのデータである場合、写真に対しては、「表示する」、「編集する」、「メールに添付して送信する」、「周辺機器(テレビなど)に転送する」、「印刷する」などの動作が実行されることが想定される。そこで、「動作対象」であるオブジェクトに対して実行される「動作」の関係にあたる項目がオブジェクトの関連項目として抽出されてもよい。
【0139】
あるいは、オブジェクトが「写真」などのデータである場合、その写真を特定の人に送ることが想定される。そこで、動作対象であるオブジェクトに対して動作が実行されるときの「動作相手」の関係にあたる項目が関連項目として抽出されてもよい。
【0140】
あるいは、オブジェクトが複数の写真またはその他のデータを含む「アルバム」または「フォルダ」である場合、そのオブジェクトに含まれる写真またはデータをユーザは所望していると考えられる。このように、オブジェクトの下位層に属する項目が関連項目として抽出されてもよい。
【0141】
関連情報記憶部42は、オブジェクトと項目との関連性を示す関連情報を記憶するものである。図6は、関連情報記憶部42に記憶される関連情報の一例を示す図である。
【0142】
関連情報は、図6に示すとおり、「オブジェクト」ごとに、少なくとも「関連項目」が対応付けられた情報である。関連情報は、この対応付けによって、オブジェクトと項目との関連性を示している。
【0143】
関連項目抽出部23は、オブジェクト特定部22によってオブジェクトが特定されると、関連情報記憶部42に記憶されている関連情報を参照し、特定されたオブジェクトに関連付けられている項目を関連項目として抽出する。
【0144】
例えば、図5の(a)〜(c)に示すとおり、オブジェクト特定部22が、選択されたオブジェクトは「写真1」であると特定したとする。この場合、関連項目抽出部23は、「写真1」はオブジェクトとしては「写真」に分類されるので、関連情報の中から、オブジェクト「写真」に関連付けられている関連項目群60を抽出する。
【0145】
関連項目抽出部23によって抽出された関連項目の情報は、操作画面処理部24に供給される。そして、抽出された関連項目は、先に選択されたオブジェクトに関連のある項目として、選択可能に(例えば、アイコンで)表示される。
【0146】
この構成には限定されないが、本実施形態では、図6に示すとおり、さらに「関連項目」ごとに、アイコンが割り当てられていてもよい。例えば、オブジェクト「写真」に関連付けられた、関連項目「テレビで表示する(テレビに転送する)」には、アイコン「1:テレビ」が関連付けられている。アイコン「1:テレビ」は、例えば、テレビのイラストなどが描かれたアイコンであって、「写真をテレビに送って表示させること」を想起させる絵柄であることが好ましい。その他の関連項目についても、その関連項目の内容を想起させる相応しい絵柄のアイコンがそれぞれ割り当てられている。
【0147】
このような関連情報に基づいて、関連項目抽出部23は、抽出した関連項目のそれぞれに対応するアイコン(あるいは、アイコンの識別情報)を、操作画面処理部24に供給してもよい。これにより操作画面処理部24は、関連項目抽出部23によって指定されたアイコンを表示するべく処理を進めることができる。
【0148】
なお、本実施形態では、関連情報は、関連項目のそれぞれについて、その関連項目の性質あるいは分類などを示す情報、すなわち、「属性」を保持している。本実施形態では、属性は、特に、関連項目がユーザに選択される可能性(の高さ)を求めるための指標となることが好ましい。本実施形態では、属性の一例として、「選択回数」の情報が、関連項目ごとに関連情報記憶部42に記憶されている。属性「選択回数」は、かつてのユーザ操作によって、その関連項目が、今まで何回選択されたのかを示す情報である。選択された回数は、タブレット端末100が使用され始めてから今までの累積回数がカウントされたものであってもよい。あるいは、選択された回数は、電源オフ、所定期間経過または履歴消去などのイベント発生の度にリセットされて、その度に一からカウントされたものであってもよい。関連項目の属性は上記に限定されず、関連情報は、関連項目の性質あるいは分類などを示す情報であれば、あらゆる種類の属性を保持していてもよい。関連項目の属性は、操作画面処理部24およびその各部によって必要に応じて読み出される。
【0149】
操作画面処理部24は、オブジェクト、および、選択されたオブジェクトに関連する関連項目(のアイコン)を、ユーザに選択可能に表示するための操作画面を生成する処理(操作画面生成処理)を行うものである。
【0150】
図7は、アイコン記憶部43に記憶されるアイコン画像の具体例を示す図である。図7に示すとおり、本実施形態では、各アイコン画像は、アイコン識別情報によって識別可能となっている。例えば、「1:テレビ」のアイコン識別情報には、テレビが描かれたアイコン画像が関連付けられている。また、図示していないが、よく通話する知人など、個人情報を表すアイコンとして、その人の似顔絵やアバターの画像が用いられてもよい。
【0151】
操作画面処理部24は、関連項目抽出部23によって抽出された関連項目に割り当てられたアイコン画像を、アイコン記憶部43から読み出して、これらが適切な位置および適切なタイミングで表示されるように操作画面を生成し、図示しない表示制御部を介して、表示部12に出力する。
【0152】
具体的には、本実施形態では、操作画面処理部24は、接触動作によって選択されたオブジェクトに関連する関連項目のアイコンを、所定のアイコン配置パターンに沿って表示させる機能を有している。
【0153】
操作画面処理部24は、本実施形態では、アイコン順位決定部31およびアイコン配置決定部33を少なくとも含む構成である。アイコン順位決定部31およびアイコン配置決定部33は、操作画面処理部24が実行する操作画面生成処理の一部の機能を担うものである。
【0154】
アイコン順位決定部31は、関連項目の属性に基づいて、関連項目抽出部23によって抽出された関連項目に優先順位を付与するものである。あるいは、アイコン順位決定部31は、抽出された関連項目に関連付けられたアイコンに優先順位を付与してもよい。
【0155】
本実施形態では、上述したとおり、関連情報には、関連項目の属性の1つとして、「選択回数」のフィールドが含まれている。そこで、アイコン順位決定部31は、抽出された関連項目の「選択回数」が多い順に、各関連項目または各アイコンに優先順位を付与する。ここでは、選択回数が多い関連項目ほど、そのアイコンがユーザに選択される可能性が高いと考えられ、したがって、高い優先順位が付与される。
【0156】
図8は、アイコン順位決定部31が、各アイコンに付与した優先順位の一例を示す図である。
【0157】
例えば、図5の(a)または(c)に示すとおり、オブジェクト80(すなわち、写真1)が、接触動作によって選択され、特定されたことにより、関連項目抽出部23が、図6に示す関連項目の中から、関連項目群60を抽出したとする。
【0158】
アイコン順位決定部31は、接触情報記憶部44に記憶されている、関連情報(図6)から、抽出された関連項目のそれぞれに対応付けられている、属性「選択回数」と、アイコン識別情報とを読み出す。そして、アイコン順位決定部31は、それぞれのアイコンに対して、対応する「選択回数」が示す選択回数順に、優先順位を付与する。図6および図8に示す例では、「選択回数」が多い順に各アイコンをソートすると、「2:プリンタ」、「4:写真表示」、「1:テレビ」、「8:メモリカード」、「3:メール」、「6:パレット」、「7:ゴミ箱」、「5:情報表示」となるので、これらに対して、順に、1位から8位までの優先順位を付与する。この優先順位の付与結果は、操作画面処理部24に返される。
【0159】
アイコン配置決定部33は、関連項目のアイコンの配置を決定するものである。アイコン配置決定部33の機能を図9を参照して説明する。図9は、アイコン配置決定部33の動作の具体例を説明する図であり、より詳細には、図9の(a)は、アイコン配置決定部33が取得するアイコン配置パターンの具体例を示す図であり、図9の(b)は、アイコン配置決定部33によって決定されたアイコンの配置の具体例を示す図である。
【0160】
本実施形態では、まず、アイコン配置決定部33は、アイコン配置パターンを取得し、アイコン配置パターンにおいて定義されたアイコン配置位置のそれぞれに、上述の優先順位を対応付ける。アイコン配置パターンとは、アイコンを何個、および、アイコンをタッチパネル上のどの位置に配置するのかをパターン化して定義したものである。本実施形態では、一例として、タブレット端末100は、記憶部19の図示しないいずれかの領域において、1つの固定されたアイコン配置パターンを保持しており、アイコン配置決定部33は、そのアイコン配置パターンを取得する。しかし、タブレット端末100は上記の構成に限定されず、記憶部19において、複数種類のアイコン配置パターンを保持していてもよく、アイコン配置決定部33が必要に応じてアイコン配置パターンを1つ選択する構成であってもよい。あるいは、図示しない配置パターン決定部が、入力された接触動作の移動の軌跡にしたがって動的にアイコン配置パターンを決定し、これをアイコン配置決定部33に供給する構成であってもよい。
【0161】
本実施形態では、図9の(a)に示すとおり、タッチパネルの画面いっぱいに配置された環(縦長の楕円)の輪郭線上に8個のアイコンを均等な間隔で配置することを定義したアイコン配置パターンが、一例として、記憶部19に保持されている。しかし、図9の(a)は、本発明のアイコン配置パターンをこの具体例に限定する意図は無い。
【0162】
本実施形態では、アイコン配置決定部33は、図9の(a)に示すアイコン配置パターンにおいて定義された8個のアイコンの配置位置に、優先順位を対応付ける。
【0163】
ここで、アイコン配置決定部33は、接触情報記憶部44に記憶された接触情報に基づいて、アイコンの配置位置と優先順位との関連付けを行う。
【0164】
詳細には、アイコン配置決定部33は、接触情報記憶部44から、先に生成されている接触情報を取得する。ここでは、アイコン配置決定部33は、接触情報のうち、軌跡の終点tnの接触座標情報のみを取得してもよい。次に、アイコン配置決定部33は、取得したアイコン配置パターンに軌跡の終点tnをプロットする。そして、アイコン配置決定部33は、終点tnとの距離が近い配置位置から順に、上位の優先順位を関連付ける。
【0165】
具体的には、図9の(a)に示すとおり、A〜Hの8個の配置位置が、終点tnとの距離が近い順に並べられた場合に、H、A、G、B、C、F、D、Eとなるとすると、アイコン配置決定部33は、この順に、1位から8位までの優先順位を関連付ける。
【0166】
結果として、アイコン配置決定部33は、図9の(b)に示す順位関連付け結果を生成することができる。図9の(b)に示す順位関連付け結果によれば、Aの位置に2位、Bの位置に4位、Cの位置に5位、Dの位置に7位、Eの位置に8位、Fの位置に6位、Gの位置に3位、Hの位置に1位が関連付けられる。
【0167】
次に、アイコン配置決定部33は、アイコン順位決定部31によって決定された各アイコンの優先順位と、自身が決定した優先順位ごとの配置位置とに従って、アイコンを配置する。例えば、アイコン配置決定部33は、優先順位「3位」が付与された「1:テレビ」のアイコンを、図9の(b)の3位(元はG)の位置に配置することを決定する。
【0168】
このようにしてアイコン配置決定部33によって決定されたアイコンの配置結果は、操作画面処理部24に返される。
【0169】
操作画面処理部24は、アイコン順位決定部31およびアイコン配置決定部33の決定にしたがって抽出された各アイコンを決まった位置に配置した操作画面を生成し、表示制御部を介して表示部12に出力する。
【0170】
なお、図9の(a)および(b)に示す、環の輪郭線を示す破線は、タブレット端末100が内部に情報として保持している環の形状であって、実際には、表示部12に表示されなくてもよい。これより以降に示す各図における環の輪郭線を示す破線も同様、実際には、表示部12に表示されなくてもよい。
【0171】
図10は、操作画面処理部24が実行した操作画面生成処理の結果、得られた操作画面の具体例を示す図である。図10に示す例は、図5〜図9と同様に、オブジェクト80(オブジェクト「写真1」)が選択されたことに対して得られた操作画面の具体例である。
【0172】
操作画面処理部24は、上述した手順に沿って抽出された「1:テレビ」、「2:プリンタ」、「3:メール」、「4:写真表示」、「5:情報表示」、「6:パレット」、「7:ゴミ箱」、および、「8:メモリカード」の各アイコン画像をアイコン記憶部43(図7)から読み出す。操作画面処理部24は、図8のとおり決定された優先順位および図9の(b)のとおり決定された配置位置にしたがって、操作画面を生成する。生成された操作画面は、表示部12へと出力されて、図10に示すとおり、表示部12に表示される。
【0173】
操作画面処理部24は、図10に示すとおり、選択されたオブジェクト80を画面の中央に配置してもよい。なお、上述の説明では、操作画面処理部24が、オブジェクト80を中央に配置する処理を行う構成としたが、これは必須の構成ではない。しかし、本実施形態では、操作画面処理部24は、アイコンをアイコン配置パターンに沿って環状に配置するため、アイコンがオブジェクトと重ならないようにして見易くするという観点から、オブジェクト80を中央に配置することが好ましい。
【0174】
〔操作画面表示フロー〕
次に、タブレット端末100が操作画面表示機能を実行したときの処理の流れについて説明する。図11は、タブレット端末100による操作画面表示処理の流れを示すフローチャートである。
【0175】
入力部11によって、タッチパネルのタッチ面に指示体(ユーザの指など)が接触したことが検知されると(S101においてYES)、接触情報生成部21は、そのとき(t=t0)から、指の接触位置を示す接触座標情報の取得を開始し、これを経時的に取得する(S102)。この接触位置の追尾は、タッチ面と指との間の接触が検知されなくなるまで継続される(S103においてNO)。入力部11において、接触が非検知になると(S103においてYES)、接触情報生成部21は、t=t0からこのとき(t=tn)までの間取得した接触座標情報と、接触時間情報とを対応付けて接触情報を生成する(S104)。なお、オブジェクトを選択する接触動作がダブルタップなどである場合、すなわち、1つの接触動作において、極めて短い時間、一時的に、非接触が生じるような場合には、短い時間に一時的に接触が検知されなくても接触動作は終わっていないとして追尾が継続されるように接触情報生成部21を構成すればよい。
【0176】
オブジェクト特定部22は、S104において生成された接触情報(例えば、図5の(b))と、フレームマップ記憶部41に記憶されているマップ情報(例えば、図5の(c))とを比較して、ユーザが接触した軌跡が存在する領域に重なるオブジェクトを選択されたオブジェクトとして特定する(S105)。図5の(c)に示す例では、「写真1」というオブジェクト80を特定する。
【0177】
関連項目抽出部23は、S105において特定されたオブジェクトに基づいて、関連情報記憶部42の関連情報(例えば、図6)を参照して、特定されたオブジェクトの関連項目を抽出する(S106)。あるいは、関連項目に割り当てられているアイコンの識別情報を抽出してもよい。
【0178】
続いて、操作画面処理部24は、操作画面生成処理を実行する。まず、アイコン順位決定部31は、S106において抽出された関連項目のそれぞれについて優先順位を決定する(S107)。アイコン順位決定部31は、決定した優先順位を、関連項目またはその関連項目のアイコンに、それぞれ関連付けておく(例えば、図8)。
【0179】
一方、アイコン配置決定部33は、所定のアイコン配置パターン(例えば、図9の(a))を記憶部19から読み出し、アイコン配置パターンにおいて定義されているいくつかのアイコン配置位置に、優先順位を関連付ける(S108)。アイコン配置決定部33は、S104にて得られた接触情報に基づいて、アイコンの配置位置と優先順位との関連付けを行う。より詳細には、アイコン配置決定部33は、指の軌跡の終点からの距離が短い各アイコンの配置位置ほど上位の順位が割り当てられるように関連付けを行う(例えば、図9の(a)および(b))。なお、S107およびS108は、並列的に実行されてもよいし、直列的に任意の順序で順次実行されてもよい。
【0180】
次に、アイコン配置決定部33は、アイコン順位決定部31によって決定された優先順位と、自身が決定した配置位置とにしたがって、抽出された各アイコンの配置を決定する(S109)。アイコン配置決定部33は、アイコンの配置結果を操作画面処理部24に返す。
【0181】
最後に、操作画面処理部24は、S106において抽出された関連項目のアイコン画像を、アイコン記憶部43(例えば、図7)から取得する。そして、S109の決定にしたがって、取得したアイコン画像が配置された操作画面を生成する(S110)。上述の例では、操作画面処理部24は、選択されたオブジェクトを中央に配置して、その周囲に各アイコンを環形状に配置した操作画面を生成する。
【0182】
以上のようにして生成された操作画面の映像信号は、表示部12に出力される。図10に示すように、上記操作画面は、タブレット端末100の表示部12に表示される。本実施形態のタブレット端末100によって生成される操作画面によれば、各アイコンは、優先順位すなわち「選択回数」が多いものほど、つまりは、ユーザに選択される可能性が高いアイコンほど、軌跡の終点tnの近くに配置される。
【0183】
本発明の上記構成および方法によれば、オブジェクトを選択するためのユーザの1つの接触動作に対して、タブレット端末100は、選択されたオブジェクトに関連する関連項目のアイコンを選択可能に表示するという結果を出力することができる。その上、ここで選択可能に表示されたアイコンの配置は、ユーザの接触動作が考慮された配置となっている。すなわち、ユーザに選択される可能性が高いアイコンほど、ユーザが先の接触動作を終えた位置(軌跡の終点tn)の近くに表示されるという配置である。
【0184】
ユーザは、先のオブジェクトを選択する接触動作を行った後、すぐに、そのオブジェクトに関連する関連項目のアイコンを選択する接触動作を行うと予想され、これが操作の自然な流れである。この場合、ユーザは、先の接触動作が完了した位置から、次に目的のアイコンが表示された位置まで、指示体(指など)を移動させることになる。
【0185】
ここで、先の接触動作が完了した位置から、目的のアイコンが表示された位置までの距離が長ければ長いほど、指示体を長く移動させなければならないので、ユーザにとって選択操作は煩わしいものとなる。このような煩わしさは、タッチパネルの画面サイズが大きければ大きいほど顕著となり、また、ユーザが図4の(a)に示すように片手で操作していて、接触可能領域が限られる場合などには、特に深刻な問題となる。オブジェクトが階層で管理されていて、何度も続けて選択操作が行われる場合にも煩わしさはますます増大する。
【0186】
そこで、本発明のように、選択される可能性が高いアイコンほど、先の接触動作の完了位置の近くに表示されるような配置にすることにより、ユーザは、高い確率で先の接触動作の完了位置近くに表示されている所望のアイコンを選択するだけでよくなる。結果として、高い確率で、上述の選択操作の煩わしさを回避することができる。
【0187】
以上のように、本発明のタブレット端末100によれば、ユーザは、指示体を画面上のあちらこちらに不自然に移動させる必要がなくなり、簡易な接触動作で目的の最終結果物にたどり着くことができる。また指示体の移動距離が短いほど、誤操作の誘発を抑えることも可能である。
【0188】
以上のことから、タブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0189】
(接触動作およびアイコン配置パターンの他の例)
本実施形態では、オブジェクトを選択するためのユーザの接触動作が「囲う」という動作である場合について説明した。また、固定されたアイコン配置パターンの具体例として、縦長の楕円の輪郭線上に8個のアイコンを均等な間隔で配置することを定義したアイコン配置パターンを用いる場合について説明した。
【0190】
しかし、本発明のタブレット端末100の構成は、上記に限定されない。タブレット端末100は、接触動作「囲う」以外を、オブジェクトを選択するためのジェスチャとして判別することができる。また、タブレット端末100は、図9の(a)に示すアイコン配置パターンとは別のアイコン配置パターンを保持してもよい。
【0191】
図12は、接触情報生成部21およびオブジェクト特定部22の動作を説明する図である。より詳細には、図12の(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトをレ点で「チェックする」という接触動作を行ったことを示す図である。図12の(b)は、同図の(a)に示す接触動作に伴って、接触情報生成部21が生成した接触情報の一例を示す図である。
【0192】
図12の(a)に示すとおり、ユーザが、タブレット端末100のタッチパネルに表示されているオブジェクト80(ここでは、写真2)をレ点で「チェックする」という接触動作を実行したとする。接触動作は、例えば、接触点が同図の破線の位置を通過するようにt0〜tnの期間に実行されたとする。
【0193】
接触情報生成部21は、図12の(b)に示す接触情報を生成する。ユーザの「チェックする」接触動作の軌跡のうち、始点をt0、終点をtnとして示しているが、接触情報生成部21は、その間の各点にも接触時間情報を関連付けてもよい。
【0194】
オブジェクト特定部22は、接触情報生成部21から、図12の(b)に示す接触情報を取得する。そして、オブジェクト特定部22は、フレームマップ記憶部41から、図5の(c)に示されるマップ情報を取得する。そして、オブジェクト特定部22は、上記接触情報と上記マップ情報とを対比して、接触情報から得られたユーザの指の軌跡が存在する領域と全部あるいはほぼ重なるオブジェクト80(ここでは、写真2)を選択されたオブジェクトであるとして特定する。あるいは、本変形例では、レ点の軌跡を構成する各点のうち、Y座標が最も大きい点(つまり、レ点の折り返し点)と重なるオブジェクトを、ユーザに選択されたオブジェクトとして特定してもよい。
【0195】
次に、関連項目抽出部23は、特定されたオブジェクト80(写真2)の関連項目を抽出する。ここでは、実施形態1と同様に関連項目群60(図6)が抽出されたものとし、アイコン順位決定部31は、実施形態1と同様に各関連項目に優先順位を付与(図8)したものとする。
【0196】
一方、アイコン配置決定部33は、図9の(a)に示すアイコン配置パターンの代わりに、図13に示すアイコン配置パターンを記憶部19から取得してもよい。図13は、アイコン配置決定部33が取得するアイコン配置パターンの他の具体例を示す図である。
【0197】
図13に示す例では、アイコン配置パターンは、タッチパネルの画面を、縦×横=4×3ブロックに均等に分割し、分割されたブロックのうち中心付近のブロックを除く周囲の10ブロックにアイコンを1つずつ配置することを定義している。
【0198】
続いて、アイコン配置決定部33は、軌跡の終点tnと、各ブロックの中央に定められたアイコン配置位置との距離を求める。そして、終点tnとの距離が短い配置位置ほど上位の優先順位が割り当てられるように、配置位置と優先順位との関連付けを行う。図13の各アイコン配置位置に示される数字は、本変形例においてアイコン配置決定部33が関連付けた優先順位を示す。図13に示すとおり、終点tnに最も近い、最右上のブロックの配置位置には、当然、優先順位「1位」が関連付けられる。
【0199】
図14は、操作画面処理部24が実行した操作画面生成処理の結果、得られた操作画面の他の具体例を示す図である。図14に示す例は、図12の(b)に示す接触情報および図13に示すアイコン配置パターンに基づいて、オブジェクト80(ここでは、写真2)が選択されたことに対して得られた操作画面の具体例である。
【0200】
操作画面処理部24は、上述した手順に沿って抽出された「1:テレビ」、「2:プリンタ」、「3:メール」、「4:写真表示」、「5:情報表示」、「6:パレット」、「7:ゴミ箱」、および、「8:メモリカード」の8個のアイコンと、アイコン順位決定部31によって決定された優先順位と、アイコン配置決定部33によって図13のとおり決定された配置位置とにしたがって、操作画面を生成する。生成された操作画面は、表示部12へと出力されて、図14に示すとおり、表示部12に表示される。
【0201】
以下は必須の構成ではないが、操作画面処理部24は、図14に示すとおり、選択されたオブジェクト80を画面の中央に配置してもよい。本実施形態では、操作画面処理部24は、アイコンを、図13に示すアイコン配置パターンに沿ってタッチパネルの画面周囲に配置するため、アイコンがオブジェクトと重ならないようにして見易くするという観点から、オブジェクト80を中央に配置することが好ましい。
【0202】
なお、図13に示すとおり、アイコン配置パターンが、10個分のアイコンの配置位置を定義する場合でも、関連項目抽出部23によって実際に抽出された関連項目が10個に満たない場合があってもよい。図14に示す例では、アイコン配置決定部33は、優先順位「9位」および「10位」が関連付けられたブロックには、何もアイコンを配置しないことを決定する。
【0203】
上述の例における本発明のタブレット端末100によれば、ユーザは、指示体を画面上のあちらこちらに不自然に移動させる必要がなくなり、簡易な接触動作で目的の最終結果物にたどり着くことができる。また指示体の移動距離が短いほど、誤操作の誘発を抑えることも可能である。
【0204】
以上のことから、タブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0205】
≪実施形態2≫
本発明の情報処理装置に関する他の実施形態について、図15〜図24Bに基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態1にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、実施形態1と重複する内容については説明を省略する。
【0206】
本実施形態では、タブレット端末100は、「囲う」接触動作を、オブジェクトを選択するための動作として受け付ける構成であり、操作画面処理部24は、上記「囲う」接触動作から連想される環の形状に沿ってアイコンを配置する構成である。これにより、ユーザの直感に沿って、接触動作からより直感的に想起される結果物を出力することができる。
【0207】
〔タブレット端末の機能〕
図15は、本実施形態におけるタブレット端末100の要部構成を示す機能ブロック図である。
【0208】
本実施形態にかかるタブレット端末100は、実施形態1のタブレット端末100(図1)と比較して、さらに、制御部10が、機能ブロックとして、環形状決定部30を備えている構成である。
【0209】
ここで、本実施形態では、タブレット端末100の制御部10は、必須ではないが、さらに、必要に応じて、機能ブロックとして、ジェスチャ判定部25、および、アニメーション決定部32を備えていてもよい。
【0210】
環形状決定部30は、操作画面処理部24がアイコンを配置するときのアイコン配置位置を決定するものであり、特に、アイコンを環の形状に並べて配置する場合に、その環の形状を決定するものである。
【0211】
実施形態1では、操作画面処理部24は、任意の固定されたアイコン配置パターンにしたがってアイコンを配置する構成であった。本実施形態では、接触動作「囲う」によってオブジェクトが選択されたときに、環形状決定部30が、アイコンを環の形状に並べて配置することを定義するアイコン配置パターンを決定し、操作画面処理部24が決定されたアイコン配置パターンにしたがって、各アイコンを環の形状に並べて配置し表示する。
【0212】
つまり、環形状決定部30は、実施形態1に記載した図示しない配置パターン決定部を、環の形状に特化してアイコン配置パターンを決定するように構成した機能ブロックである。
【0213】
環形状決定部30によって決定された環形状に基づくアイコン配置パターンにしたがって、操作画面処理部24は、抽出されたアイコンを配置する。なお、環形状決定部30によって決定される環形状の情報は、環のサイズの情報、および/または、環の位置の情報をさらに含んでいてもよい。
【0214】
上述したとおり、タブレット端末100の制御部10は、さらに、ジェスチャ判定部25を備えていることが好ましい。入力部11に対して行われる接触動作(ジェスチャ)が「囲う」以外にも様々な種類が想定されている場合には、「囲う」のジェスチャなのか、あるいは、別のどのジェスチャなのかを判別する必要があるからである。
【0215】
ジェスチャ判定部25は、入力部11に対して行われた接触動作について、それが何のジェスチャであるのかを判定するものである。例えば、ジェスチャ判定部25は、「タップ」、「フリック」、「ピンチ」、「ドラッグ」、「囲う」などのジェスチャを判別することができる。ジェスチャを判別するアルゴリズムは、公知の技術を適宜採用することができる。
【0216】
ジェスチャ判定部25は、判定結果に応じて、その判定されたジェスチャに対応する処理を実行するように制御部10の各部に対して指示する。
【0217】
本実施形態では、ジェスチャ判定部25は、検知された接触動作が、「囲う」というジェスチャであると判定した場合に、接触情報生成部21に対して、生成した接触情報を接触情報記憶部44に格納するように指示することが好ましい。これにより、「囲う」というジェスチャについての全ての情報(領域の位置、サイズ、軌跡、接触時間、接触点の移動タイミングなど)を、操作画面処理部24が参照できるようになるとともに、接触動作が「囲う」というジェスチャ以外であった場合には、不必要に接触情報記憶部44への書き込みが発生することを回避することができる。しかしながら、接触情報生成部21は、ジェスチャ判定部25の判定結果によらず、すべての接触情報を接触情報記憶部44に書き込む構成であってもよい。
【0218】
上述したとおり、タブレット端末100の制御部10は、さらに、アニメーション決定部32を備えていてもよい。アニメーション決定部32は、操作画面に配置されるすべての配置対象物、すなわち、オブジェクト、アイコン、環などに対して付与するアニメーションを決定するものである。これにより、オブジェクトおよびアイコンを表示させる際に、表示のさせ方に視覚的な効果(すなわち、アニメーション)を付けることができる。
【0219】
なお、アニメーション決定部32は、オブジェクト、アイコン、または、環の動きだけではなく、これらについて、フェードイン(透明度の変更)などの視覚的効果を付与してもよい。
【0220】
また、アニメーション決定部32は、環状に表示するアイコンを最初から環の輪郭線上に出現させるのではなく、異なる場所から最終的にアイコンが輪郭線上に終着するようにアイコンに動きをつけてもよい。例えば、アニメーション決定部32は、環の中央あたりアイコンを集約させた後、それぞれのアイコンが拡散するような動きをつけて、最終的に環の輪郭線上に配置されるように各アイコンに動きをつけてもよい。
【0221】
(オブジェクトと環形状の配置例1)
図16は、本実施形態における操作画面処理部24の各部の処理内容を説明する図である。より詳細には、図16の(a)は、操作画面処理部24によって実行された、オブジェクトの表示処理の一例を説明する図であり、図16の(b)は、操作画面処理部24の環形状決定部30が決定した、環形状に特化したアイコン配置パターンの一具体例を示す図である。
【0222】
本実施形態では、操作画面処理部24は、図16の(a)に示すとおり、先の「囲う」の接触動作によって選択されたオブジェクト80を、中央に配置しなおすことを決定する。このとき、アニメーション決定部32は、このオブジェクト80が元の位置から中央へと徐々に移動するアニメーションをオブジェクト80に対して付与してもよい。
【0223】
次に、本実施形態では、操作画面処理部24の環形状決定部30は、環の形状に基づくアイコン配置パターンを決定する。具体的には、環形状決定部30は、記憶部19に記憶されているアイコン配置パターンを取得することにより、アイコンを配置するための環の形状、位置、サイズ、アイコンの個数、アイコンの配置位置などを決定することができる。
【0224】
図16の(b)は、環形状決定部30が、オブジェクト80の周囲にある楕円の環の輪郭線に沿って、8個のアイコンを均等に配置することを定義したアイコン配置パターンを決定した例を示している。
【0225】
ここで、アイコン配置パターンにおいて定義される、アイコンの配置位置を特定する基準の「環」の形状について、これを楕円とした図16の(b)の例は、単なる一例であって、本発明の環の形状を限定する意図は無い。また、「環」とは、必ずしも曲線からなる形状を意味しない。例えば、環形状決定部30は、環の形状を、円形、正方形、長方形、その他多角形で定義してもよいし、複雑な形状、いびつな形状、幾何学的でない形状であっても、内と外とを分離するような輪郭線を有している図形を環として定義してもよい。また、「環」は、必ずしも閉曲線を意味しない。環の輪郭線の始点と終点が完全に一致しない場合であっても、内と外とを大方分離するような輪郭線が環として定義されてもよい。操作画面処理部24は、環形状決定部30の決定にしたがって上述のようにして定義されたあらゆる形状の環の輪郭線上にアイコンを配置することができる。
【0226】
(オブジェクトと環形状の配置例2)
本実施形態において、図16の(a)および(b)に示す例では、環形状決定部30は、アイコンを配置するための環について、所定形状、所定位置および所定サイズが定義されたアイコン配置パターンを記憶部19から取得することにより、アイコン配置パターンを決定していた。
【0227】
しかし、このような構成に限定されず、本実施形態にかかる環形状決定部30は、入力された接触動作「囲う」の移動の軌跡(接触情報記憶部44に記憶されている接触情報)に基づいて、動的に環の形状を決定して、アイコン配置パターンを決定してもよい。より具体的には、環形状決定部30は、「囲う」動作の軌跡の形状を、そのまま、アイコンを配置するための環形状とすることができる。また、「囲う」動作によって囲われた領域の大きさに基づいて環のサイズを決定することもできる。また、囲われた領域の位置に基づいて環の位置を決定することもできる。環形状決定部30は、さらに、フレームマップ記憶部41に記憶されているマップ情報に基づいて環形状を決定してもよい。すなわち、囲われたオブジェクトの表示位置、サイズなどに応じて、環のサイズおよび位置を決定してもよい。このような場合の操作画面処理部24の動作を、図17および図18を参照して説明する。
【0228】
図17は、接触情報記憶部44に記憶される接触情報の具体例を示す図である。より詳細には、図17の(a)は、ユーザが目的のオブジェクトを選択するために、オブジェクトを任意の形状で「囲う」という接触動作を行ったことを示す図である。図17の(b)は、同図の(a)に示す接触動作に伴って、接触情報生成部21が生成した接触情報の一例を示す図である。
【0229】
図17の(a)に示すとおり、ユーザが、タブレット端末100のタッチパネルに表示されているオブジェクト(ここでは、写真1)を、任意の形状(例えば、ハート型に「囲う」という接触動作を実行したとする。接触動作は、例えば、接触点が同図の破線の位置を通過するようにt0〜tnの期間に実行されたとする。
【0230】
ジェスチャ判定部25は、接触情報生成部21から、図17の(b)に示すような接触情報を取得する。図17の(b)において、ユーザがなぞった軌跡のうち、始点をt0、終点をtnとして示しているが、その間の各点にも接触時間情報が関連付けられていてもよい。
【0231】
ジェスチャ判定部25は、図17の(b)に示される接触情報に基づいて、この接触動作を、「囲う」というジェスチャであると判定する。ジェスチャ判定部25は、図17の(b)に示される上記接触情報を接触情報記憶部44に記憶するように、接触情報生成部21に対して指示する。これにより、操作画面処理部24の各部は、アイコンを表示する処理を実行するときに、接触情報記憶部44に記憶された、図17の(b)に示される接触情報を参照することができる。
【0232】
図18は、環形状決定部30によって決定された、アイコン配置パターンの他の例を示す図である。
【0233】
まず、操作画面処理部24は、選択されたオブジェクト80(ここでは、写真1)を、中央に配置することができる。次に、本実施形態では、環形状決定部30が、接触情報記憶部44に記憶された接触情報を取得する。環形状決定部30は、接触情報から得られた、指の先端(接触点)の移動の軌跡に基づいて、その軌跡と同一のまたは相似する形状を、アイコンを配置するための環形状として決定する。本実施形態では、一例として、環形状決定部30は、環を中心に配置し、タッチ画面に可能な限り大きく配置することを決定する。図17の(a)および(b)に示すとおり、オブジェクト80は、ハート型に囲われている。そこで、環形状決定部30は、図18の破線に示すとおり、そのハート型の軌跡の相似形が中央に画面いっぱい配置されるように環形状81を決定する。このとき、環形状81上の各アイコン配置位置について、環形状決定部30は、アイコンを等間隔に配置するように決定してもよいし、別の規則にしたがって輪郭線上の任意の位置にアイコンを配置するように決定してもよい。
【0234】
そして、操作画面処理部24のアイコン配置決定部33は、図17の(b)に示される軌跡の終点tnと、環形状決定部30によって決定された環形状81上の各アイコン配置位置との距離に応じて、各アイコン配置位置に優先順位を関連付ける。
【0235】
操作画面処理部24は、図18に示すように、環形状決定部30によって決定された環形状81の輪郭線上にアイコンを配置する。このとき、アイコン配置決定部33は、アイコン順位決定部31によって各アイコンに付与された優先順位と、配置位置に関連付けられている優先順位とが一致するようにアイコンの配置位置を決定する。
【0236】
なお、操作画面処理部24の環形状決定部30は、軌跡が極度に複雑な形状を有する場合には、軌跡の近似形を環の形状として決定してもよい。軌跡の細かくいびつな線を、直線または曲線で丸めることにより、環の形状を定義する情報量を少なくし、アイコンを配置する処理の負荷を低減することができる。
【0237】
(オブジェクトと環形状の配置例3)
上述の各配置例では、操作画面処理部24は、アイコンを配置する際に、選択されたオブジェクト(例えば、図16の(a)、(b)または図18のオブジェクト80)を、タッチパネルの画面の中央に配置する構成であり、環形状決定部30は、中央のオブジェクト80の周囲にアイコンを配置するよう環の位置を決定する構成であった。しかし、本発明の構成は、上記に限定されない。操作画面処理部24は、選択されたオブジェクト80の表示位置を、元のまま維持する構成であってもよく、この場合でも、環形状決定部30は、図19に示すとおり、環形状が画面中央で大きく表示されるように、環の位置およびサイズを決定してもよい。図19は、オブジェクトおよび環状アイコン群の他の配置例を示している。
【0238】
(オブジェクトと環形状の配置例4)
あるいは、選択されたオブジェクト80の表示位置が、元のまま維持される構成において、環形状決定部30は、図20に示すとおり、元の位置にあるオブジェクト80が環の中央になるように、環形状の位置およびサイズを決定してもよい。図20は、オブジェクトおよび環状アイコン群の他の配置例を示している。
【0239】
(オブジェクトと環形状の配置例5−アニメーション付)
選択されたオブジェクト80の表示位置が、元のまま維持される構成において、オブジェクト80とは無関係に環形状が画面中央で大きく配置される場合、「オブジェクト80を囲んでアイコンを表示させた」という事象と、最終的に得られる結果物(例えば、図19)との間の関連性が薄れるという問題がある。一方、オブジェクト80の表示位置が、元のまま維持される構成において、オブジェクト80の表示位置に関連させて周囲にアイコンを表示させる場合には、オブジェクト80が元々表示されている位置によっては、環形状が、十分なサイズで画面に収まるように配置されず、結果として、アイコンの視認性が低下するという問題がある(例えば、図20)。
【0240】
そこで、タブレット端末100がアニメーション決定部32を備えている場合には、アニメーション決定部32は、図21に示すとおり、アイコンを配置するための環にアニメーションを付与することによって、上記の問題を解決してもよい。具体的には、オブジェクト80の元の表示位置およびサイズに基づいて環形状決定部30が決定した環形状を、一定の時間をかけて、画面中央に大きく配置させるように、アニメーション決定部32が、アニメーションを環に対して付与する。これにより、一旦、オブジェクト80の周囲に小さく配置されたアイコンの環は、時間の経過に伴って徐々にその形状を変え、最終的に画面中央に大きく配置される。図21の(a)は、最初にオブジェクト80の周囲に小さく配置されたアイコンの環の様子を示し、図21の(b)は、アイコンの環が拡大する途中の様子を示し、図21の(c)は、同図の(a)から、同図の(b)を経て、最終的にアイコンの環が画面中央に大きく配置された様子を示している。
【0241】
上記構成によれば、ユーザの接触動作と表示される結果物との関連性を損なうことなく、アイコンを十分なサイズで表示させることが可能となる。
【0242】
なお、アニメーション決定部32は、環のサイズに合わせてアイコン1つ1つの大きさも徐々に大きくするようなアニメーションを付与してもよいし、環のサイズとアイコンのサイズとは独立させて、アイコンのサイズを一定とし、アイコンの配置間隔を徐々に広げるというアニメーションを付与してもよい。
【0243】
(アイコンの表示タイミング)
上述の各配置例では、操作画面処理部24は、選択されたオブジェクトの周囲に、複数のアイコンを同時に配置する構成であった。しかし、これに限らず、操作画面処理部24が、アニメーション決定部32を備えている場合には、アニメーション決定部32がそれぞれのアイコンの表示タイミングを決定する構成であってもよい。
【0244】
図22は、関連項目のアイコン表示方法の一変形例を示す図である。
【0245】
例えば、ユーザの「囲う」接触動作から、図22の(a)に示すような接触情報が得られたとする。アニメーション決定部32は、接触情報記憶部44に記憶された上記接触情報を参照し、この「囲う」のジェスチャは、t0からtnにかけて時計回りに発生したと認識する。アニメーション決定部32は、この動きを合うように、1番目から8番目までのアイコンを、1つずつ時計回りに一定の間隔で出現させることを決定する。例えば、アニメーション決定部32によって、図22の(b)、(c)、(d)、(e)、・・・と一定の間隔でアイコンを順に出現させ、最終的に、図22の(f)に示される操作画面に至るように、アイコンの表示タイミングが制御される。
【0246】
上記構成によれば、ユーザが囲ったときの動き(時計回り)とほぼ同じ動きを伴った結果物が得られるので、ユーザの接触動作と表示された結果物との関連性をより高めることが可能となり、結果として、ユーザの直感に反しない自然な流れで操作画面を提供することができる。
【0247】
ここで、アイコン配置決定部33は、1番目のアイコンの表示位置と、指の軌跡の始点(t0の時の接触位置)とをおおよそ一致させ、最後のアイコンの表示位置と、終点(tnの時の接触位置)とをおおよそ一致させることが好ましい。
【0248】
これにより、接触動作と結果物とをより一層連動させて、より自然な流れで操作画面を提供することができる。
【0249】
なお、ここでは、アイコンを出現させる順番と、アイコン順位決定部31によって付与されている優先順位とは一致していなくてもよい。例えば、図22に示す例では、優先順位「1位」のアイコンは、軌跡の終点tnに最も近いHの配置位置(図22の(f))に配置されるが、この配置例では、1番目に出現するのではなく、4番目に出現することになる(図22の(e))。
【0250】
(アイコンの表示タイミング2)
さらに、アニメーション決定部32は、指の動き(時計回りか、反時計回りか)だけでなく、オブジェクトが囲われたときの指が動く速度に合わせて、各アイコンを順次出現させることが好ましい。
【0251】
具体的には、図23の(a)に示すような接触情報が得られたとする。この接触情報は、t0の時点からtnの時点にかけて時計回りに囲われた軌跡を示している。そして、より詳細には、taの時点で接触位置(指の先端)がオブジェクトの左にあり、tbの時点で接触位置がオブジェクトの左上にあり、tcの時点で接触位置がオブジェクトの右上にあったことがこの接触情報から分かる。
【0252】
そこで、アニメーション決定部32は、8個のアイコンが楕円形上に均等な間隔で配置される場合に、1番目のアイコンをオブジェクトの真下にt0の時点に出現させ、その後、指の速度に一致させて、taの時点で、オブジェクトの左のところ(3番目)までアイコンを出現させ、tbの時点で、オブジェクトの左上のところ(4番目)までアイコンを出現させ、tcの時点で、オブジェクトの右上のところ(6番目)までアイコンを出現させ、最終的に、tnの時点で、全てのオブジェクトを出現させることを決定する。図23の(b)は、t0の時点の操作画面を示している。図23の(c)は、taの時点の操作画面を示している。図23の(d)は、tbの時点の操作画面を示している。図23の(e)は、tcの時点の操作画面を示している。図23の(f)は、tnの時点の操作画面を示している。
【0253】
上記構成によれば、ユーザが囲ったときの動き(時計回り)および動きの速度とほぼ同じ動きを伴った結果物が得られるので、ユーザの接触動作と表示された結果物との関連性をさらにより一層高めることが可能となり、結果として、ユーザの直感に反しない自然な流れで操作画面を提供することができる。
【0254】
ここでも、アイコンを出現させる順番と、アイコン順位決定部31によって付与されている優先順位とは一致していなくてもよい。図23に示す例では、優先順位「1位」のアイコンは、軌跡の終点tnに最も近いHの配置位置(図23の(f))に配置されるが、この配置例では、1番目に出現するのではなく、4番目に出現することになる(図23の(d))。
【0255】
〔操作画面表示フロー〕
図24Aおよび24Bは、本実施形態におけるタブレット端末100による操作画面表示処理の流れを示すフローチャートである。
【0256】
入力部11によって、タッチパネルのタッチ面に指示体(ユーザの指など)が接触したことが検知されると(S201においてYES)、接触情報生成部21は、そのとき(t=t0)から、指の接触位置を示す接触座標情報の取得を開始し、これを経時的に取得する(S202)。この接触位置の追尾は、タッチ面と指との間の接触が検知されなくなるまで継続される(S203においてNO)。入力部11において、接触が非検知になると(S203においてYES)、接触情報生成部21は、t=t0からこのとき(t=tn)までの間取得した接触座標情報と、接触時間情報とを対応付けて接触情報を生成する(S204)。
【0257】
ここで、ジェスチャ判定部25が、接触情報に基づいてこの接触動作のジェスチャを判定してもよい(S205)。本実施形態では、ジェスチャ判定部25は、判定したジェスチャが「囲う」でなければ(S206においてNO)、判定したそれ以外のジェスチャに応じた処理の実行を、制御部10の各部に指示する。その各部によって、判定されたジェスチャに応じた処理が実行される(S207)。
【0258】
一方、ジェスチャ判定部25は、判定したジェスチャが「囲う」であった場合には(S206においてYES)、接触情報生成部21に対して接触情報を接触情報記憶部44に格納するように指示する。接触情報生成部21は、S204にて生成した接触情報を、接触情報記憶部44に記憶する(S208)。
【0259】
オブジェクト特定部22は、接触情報記憶部44に記憶されている接触情報(例えば、図5の(b)または図17の(b))と、フレームマップ記憶部41に記憶されているマップ情報(例えば、図5の(c))とを比較して、ユーザによって囲われた領域に重なるオブジェクトを選択されたオブジェクトとして特定する(S209)。図5の(c)に示す例では、「写真1」というオブジェクト80を特定する。
【0260】
関連項目抽出部23は、S209において特定されたオブジェクトに基づいて、関連情報記憶部42の関連情報(例えば、図6)を参照して、特定されたオブジェクトの関連項目を抽出する(S210)。あるいは、関連項目に割り当てられているアイコンの識別情報を抽出してもよい。
【0261】
続いて、操作画面処理部24は、接触情報記憶部44から、S204にて生成された接触情報を必要に応じて取得してもよい(S211)。そして、操作画面処理部24の環形状決定部30は、上記接触情報に基づいて動的に、環形状に基づくアイコン配置パターンを決定する(S212)。あるいは、操作画面処理部24は、記憶部19に保持されたアイコン配置パターンを取得することにより、アイコン配置パターンを決定してもよい。ここで、環形状決定部30が、環形状に基づくアイコン配置パターンを決定することにより、環をオブジェクトに対してどの位置、および、どのサイズで配置するのか、アイコンを何個配置するのか、その各アイコンをどのような形状の環の輪郭線上に配置するのか、アイコンを輪郭線上のどこに配置するのか、などが決定される(例えば、図9の(a)、図16の(b)、図18〜図23など)。
【0262】
次に、操作画面処理部24は、操作画面生成処理を実行する。具体的には、操作画面処理部24のアイコン順位決定部31は、S210において抽出された関連項目それぞれに優先順位を付与する(S213)。具体的には、アイコン順位決定部31は、抽出された関連項目の属性(例えば、図6の「選択回数」)を、関連情報記憶部42から読み出す。そして、属性に基づいて判断されたユーザに選択される可能性の高さの順に、各関連項目の順位を決定する(例えば、図8)。アイコン順位決定部31は、関連項目に対応付けられたアイコン画像またはアイコン識別情報に対して優先順位を関連付けてもよい。
【0263】
一方、操作画面処理部24のアイコン配置決定部33は、S212にて決定されたアイコン配置パターンにおいて定義されている各アイコン配置位置と、優先順位との関連付けを実行する(S214)。具体的には、アイコン配置決定部33は、S211にて得られた接触情報の中から、軌跡の終点の座標を取得し、終点からの距離が短い配置位置から順に、優先順位を関連付ける。なお、S213およびS214は、並列的に実行されてもよいし、直列的に任意の順序で順次実行されてもよい。さらには、S213は、S210よりも後の工程であれば、S211またはS212よりも前に実行されても構わない。
【0264】
続いて、アイコン配置決定部33は、S213にてアイコン順位決定部31によって各アイコンに付与されている優先順位と、S214にて各アイコン配置位置に関連付けた優先順位とが一致するように、各アイコンを配置することを決定する(S215)。
【0265】
ここで、タブレット端末100が、さらに、アニメーション決定部32を備えている場合には、アニメーション決定部32は、上流の各工程で配置位置が決定された配置対象物(オブジェクト、環、および、各アイコンなど)に対して、必要に応じてアニメーションを付与してもよい(S216)。例えば、アニメーション決定部32は、各配置対象物の出現タイミングを決定したり、配置対象物の位置、形状、大きさを漸次的に変更することを決定したり、フェードイン(透明度の変更)などのその他視覚的効果を付与することを決定したりしてもよい。
【0266】
最後に、操作画面処理部24は、S210において抽出された関連項目のアイコン画像を、アイコン記憶部43(例えば、図7)から取得する。そして、上流の各工程で決定された内容にしたがって、S209において特定されたオブジェクトを配置し、上記オブジェクトの周囲またはオブジェクトに対して所定位置に配置された環の輪郭線上に、取得したアイコン画像を配置して操作画面を生成する(S217)。例えば、操作画面処理部24は、上記オブジェクトを中央に配置して、その周囲に配置された環形状、すなわち、S212にて決定された環形状の輪郭線上に各アイコンを配置する。しかも、この最終結果物において、配置された各アイコンは、選択される可能性が高いものほど、「囲う」接触動作の軌跡終点近くに配置されている。以上のようにして生成された操作画面の映像信号は、表示部12に出力される。
【0267】
本発明の上記構成および方法によれば、オブジェクトの周囲を「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの接触動作に対して、タブレット端末100は、オブジェクトの周囲にアイコンが配置された操作画面(最終結果物)を出力することができる。
【0268】
ユーザは、オブジェクトを囲むように関連項目のアイコンが配置された操作画面を結果物として得ることができる。これらのアイコンと、オブジェクトとの位置関係は、先にユーザが実行した先の接触動作による指の軌跡とオブジェクトとの位置関係に合致する。また、囲ったことにより得られる指の軌跡は、アイコンが配置される環形状に類似する。
【0269】
つまり、「オブジェクトを『囲う』接触動作を起こす」という事象から、「オブジェクトの周囲にアイコンが配置された操作画面を得られる」という事象への遷移は、ユーザの直感に反しない自然な遷移であると言える。
【0270】
加えて、タブレット端末100は、オブジェクトを選択した次にユーザが選択するであろう関連項目を予め察して、ユーザに選択可能に表示することができる。具体的には、本発明の上記構成によれば、オブジェクトの周囲に表示されるアイコンは、いずれも、オブジェクトに関連がある項目として抽出された関連項目のアイコンである。つまり、ユーザは、オブジェクトを囲って選択したのち、そのオブジェクトに関連する「動作」、「動作対象」、「動作相手」などを周囲のアイコンから即座に指定することができる。
【0271】
その上、上記最終結果物としての操作画面においては、選択される可能性が高いアイコンほど、先の接触動作の移動完了位置の近くに配置されている。これにより、ユーザは、高い確率で先の接触動作の移動完了位置近くに表示されているアイコンを所望のアイコンとして選択(タッチ)することになる。結果として、高い確率で、指示体を画面上のあちらこちらに不自然に移動させるという選択操作の煩わしさを回避することができる。
【0272】
以上のように、本発明のタブレット端末100によれば、ユーザは、指示体を画面上のあちらこちらに不自然に移動させる必要がなくなり、簡易な接触動作で目的の最終結果物にたどり着くことができる。また指示体の移動距離が短いほど、誤操作の誘発を抑えることも可能である。
【0273】
以上のことから、タブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0274】
さらに、環形状決定部30が、指示体の移動の軌跡に基づいて、動的にアイコン配置パターン(具体的には、環の形状)を決定する構成によれば、以下の効果を奏する。
【0275】
本発明の上記構成および方法によれば、オブジェクトの周囲を「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの接触動作に対して、タブレット端末100は、オブジェクトの周囲にアイコンを配置するという操作画面を最終結果物として出力することができる。つまり、ユーザは、オブジェクトを囲むように関連項目のアイコンが配置された操作画面を結果物として得ることができる。
【0276】
具体的には、ユーザは、フリーハンドで任意の形状でオブジェクトを囲うという動作を行うが、このときの軌跡がタブレット端末100において保持される。そして、タブレット端末100によって作成された操作画面において、得られた軌跡と同じまたは相似形の環形状の輪郭線上に、オブジェクトを囲むようにして各アイコンは配置される。
【0277】
これらのアイコンと、オブジェクトとの位置関係は、先にユーザが実行した接触動作による指の軌跡とオブジェクトとの位置関係と合致する。また、囲ったことにより得られる指の軌跡は、アイコンが配置される環形状と一致する。
【0278】
つまり、オブジェクトを囲うと、オブジェクトの周囲に「囲ったとおりに」アイコンが配置された操作画面を得られる。この事象の遷移は、ユーザの直感に反しないより自然な流れであると言える。また、ユーザが囲ったとおりの形状で、アイコンが配置されるので、操作画面を表示してタブレット端末100を操作する際の遊戯性が高まる。その上、ユーザは、アイコンの配置を予測して、自分が希望するとおりにオブジェクトを囲い、関連項目のアイコンを表示させることができるため、操作性はさらに向上する。
【0279】
そして、オブジェクトを選択した後に周囲に表示されるアイコンは、そのオブジェクトと関連が深く次に選択される可能性が高い関連項目を示している。
【0280】
以上のことから、タブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しないより一層自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0281】
≪変形例≫
上述の実施形態1、2を適宜組み合わせたタブレット端末100も本発明の範疇に入る。すなわち、各実施形態1、2に係るタブレット端末100の制御部10は、各々の実施形態において必須でない場合には、ジェスチャ判定部25、環形状決定部30、および、アニメーション決定部32を部分的に、あるいは、全て備えていてもよい。
【0282】
(優先順位の決定方法)
上述の各実施形態では、関連情報において関連項目に関連付けられている属性が「選択回数」であって、アイコン順位決定部31が、属性「選択回数」を参照し、ユーザに選択される可能性の高さにしたがって優先順位を付与するという構成について説明した。しかし、本発明のタブレット端末100の構成は、上記に限定されない。アイコン順位決定部31は、属性「選択回数」以外の様々な属性にしたがって、優先順位を付与してもよい。
【0283】
例えば、以下に説明するように、選択されたオブジェクトの属性と比較して、このオブジェクトとの相関性が高い関連項目ほど、ユーザに選択される可能性が高い関連項目であると決定してもよい。
【0284】
より具体的には、選択されたオブジェクトがある1枚の「写真」であって、関連情報において、その写真に関連する他の写真が複数枚関連項目として関連付けられている場合を想定する。この場合、関連情報において、関連項目のそれぞれには、さらに、属性として「撮影日時」、「撮影者」、「カメラ機種」、「写真タイトル」などの情報が関連付けて関連情報記憶部42に記憶されている。
【0285】
そこで、アイコン順位決定部31は、例えば、選択されたオブジェクトである「写真」の撮影日時と近い撮影日時にて撮影された関連項目(他の写真)ほど、優先順位が上位になるように関連項目の順位を決定してもよい。したがって、アイコン配置決定部33は、抽出された関連項目としての「複数の他の写真」について、選択されたオブジェクトとしての「写真」と撮影日時が近いものほど、軌跡の終点近くにそのアイコンを配置することを決定する。
【0286】
ユーザは、次々に関連する写真を選択することを望んでいると推測される。そして、撮影日時が近い写真同士は、より関連性が強いと考えられ、先に選択されたオブジェクトとしての「写真」の次には、それと関連する、すなわち、撮影日時の近い「他の写真」が選択される可能性が高い。
【0287】
そこで、本発明のように、撮影日時の近い、つまり、選択される可能性が高いアイコンほど、先の接触動作の移動完了位置の近くに表示されるような配置にすることにより、ユーザは、高い確率で先の接触動作の移動完了位置近くに表示されている所望のアイコンを選択することなる。結果として、高い確率で、指示体を画面上のあちらこちらに不自然に移動させるという選択操作の煩わしさを回避することができる。
【0288】
なお、アイコン順位決定部31は、1つの属性に基づいて、選択される可能性の高さを決定するのではなく、複数の属性(例えば、「撮影日時」、「撮影者」、「カメラ機種」、「写真タイトル」など)を総合的に用いて、選択される可能性の高さを決定してもよい。例えば、アイコン順位決定部31は、選択されたオブジェクトの複数の属性と、各関連項目の複数の属性とを比較して、類似度を総合的に求めて、類似度が高いものほど、選択される可能性が高いと判断してもよい。ここでは、選択されたオブジェクトと属性が類似する関連項目ほど、そのアイコンがユーザに選択される可能性が高いと考えられ、したがって、高い優先順位が付与される。
【0289】
あるいは、例えば、選択されたオブジェクトが「動画コンテンツを一覧表示する」というツールであって、関連項目として、複数の「動画コンテンツ」がアイコンで配置される場合を想定する。この場合、関連情報において、関連項目のそれぞれには、さらに、属性として、「オススメ度」、「ジャンル」、「出演者名」などの情報が関連付けて関連情報記憶部42に記憶されている。「オススメ度(推奨度)」とは、ここでは、ユーザに対して視聴を推奨する度合いを示す情報であり、ユーザの嗜好情報、視聴履歴などに基づいて、あるいは、動画コンテンツの提供者によって、予め定められているものである。
【0290】
そこで、アイコン順位決定部31は、「オススメ度」が高い関連項目(動画コンテンツ)ほど、優先順位が上位になるように関連項目の順位を決定してもよい。したがって、アイコン配置決定部33は、抽出された関連項目としての「動画コンテンツ」について、「オススメ度」が高いものほど、軌跡の終点近くにそのアイコンを配置することを決定する。ここでは、オススメ度が高い関連項目ほど、そのアイコンがユーザに選択される可能性が高いと考えられ、したがって、高い優先順位が付与される。
【0291】
このように、オススメ度が高い、つまり、選択される可能性が高いアイコンほど、先の接触動作の移動完了位置の近くに表示されるような配置にすることにより、ユーザは、高い確率で先の接触動作の移動完了位置近くに表示されている所望のアイコンを選択することになる。結果として、高い確率で、指示体を画面上のあちらこちらに不自然に移動させるという選択操作の煩わしさを回避することができる。
【0292】
また、アイコン順位決定部31は、予め設定されているユーザの嗜好情報と、各関連項目の属性(「ジャンル」および「出演者名」など)とを比較して、ユーザの嗜好との類似度を総合的に求めて、類似度が高いものほど、選択される可能性が高いと判断してもよい。ここでは、ユーザの好みに近い属性を持つ関連項目ほど、そのアイコンがユーザに選択される可能性が高いと考えられ、したがって、高い優先順位が付与される。
【0293】
あるいは、関連情報において、関連項目の属性の1つとして、最近選択された日時を示す「選択日時」が格納されていてもよい。アイコン順位決定部31は、属性「選択日時」を参照し、最後にその関連項目のアイコンが選択された日時が最近であるものほど、高い優先順位を付与してもよい。ここでは、ユーザが最近興味を持って選択している関連項目ほど、そのアイコンがユーザに選択される可能性が高いと考えられ、したがって、高い優先順位が付与される。反対に、最後にその関連項目のアイコンが選択された日時が古いほど、高い優先順位を付与してもよい。この構成によれば、最近選択されていない関連項目ほど、ユーザの指先の近くに配置することができるため、ユーザに選択される確率を上げることができる。
【0294】
(ユーザの使用状況を「察する」)
図4の(a)および(b)に示したとおり、タブレット端末100が小型の携帯端末であって、片手でも両手でも操作可能である場合、片手で操作しているとき、両手で操作しているときとでは、ユーザが画面に指を接触させる可能な領域は、異なることが想定される。図4の(b)に示すように、両手で操作する場合には、タッチパネルのどの領域にも触れることが可能である。一方、図4の(a)に示すように、片手で操作する場合には、接触位置は、画面下部左側の領域(左手で操作する場合)、または、画面下部右側の領域(右手で操作する場合)に偏る傾向がある。ユーザがこのような状況でタブレット端末100を使用しているときに、接触動作が必要なオブジェクトまたはアイコンを、画面上部や手と反対側の画面下部に表示すると操作が煩雑になるという問題がある。なぜなら、ユーザは、目的のオブジェクトをすぐさまタッチできず、接触可能な領域にたぐり寄せるという余計な動作を行わなければならないか、両手操作に切り替えなければならないからである。
【0295】
そこで、本発明のタブレット端末100は、ユーザの使用状況を察することにより、上記の問題を解決する。具体的には、本発明のタブレット端末100を、指の接触位置の偏りを検出し、ユーザの指がすぐさま届くと推測される領域内に、アイコンを配置する構成とすることができる。
【0296】
本変形例では、タブレット端末100の接触情報生成部21は、接触/非接触の切り替えに関わらず、さらに、接触動作が「囲う」のジェスチャであるか否かに関わらず、所定期間(例えば、数秒〜数分程度)に生じたユーザの接触動作を示す接触情報を生成し、接触情報記憶部44に記憶する構成である。
【0297】
図25は、ユーザの使用状況に応じて操作画面を提示することが可能な本発明のタブレット端末100の動作を説明する図である。より詳細には、図25の(a)は、ユーザが左手で操作しているという状況の一例を説明する図である。図25の(b)は、同図の(a)の接触動作に伴って生成された接触情報の具体例を示す図である。
【0298】
図25の(a)に示すとおり、例えば、ユーザが親指でフリック動作によって、目的のオブジェクトを接触可能な領域までたぐり寄せて、それを囲むという接触動作を実行したとする。
【0299】
接触情報生成部21は、所定期間(例えば、過去数秒〜数分間程度)、上述の一連の接触動作に対して、図25の(b)に示すような接触情報を生成し、接触情報記憶部44に記憶させている。なお、軌跡を記憶する接触情報記憶部44のメモリ容量に制約がある場合には、接触情報生成部21は、新しい軌跡を記憶する度に、最も古い軌跡から削除していく構成にすればよい。
【0300】
ここで、ジェスチャ判定部25によって、オブジェクトを選択する(例えば、「囲う」)のジェスチャが生じたと判定される。操作画面処理部24は、接触情報記憶部44に記憶されている、過去数秒〜数分間分の接触情報をさかのぼって参照して、指の接触位置に偏りが無いか否かを検出する。図25の(a)および(b)に示す例では、指の軌跡は画面下部左側の領域82に偏っている。操作画面処理部24は、この偏りを検知して、ユーザの接触可能領域を、画面下部左側の領域82であると特定する。なお、この画面下部左側の領域82と、画面下部右側の領域83とは、予め定義されているものとする。
【0301】
操作画面処理部24の環形状決定部30は、アイコンを配置するための環が、画面下部左側の領域82に収まるように、環の形状、サイズ、および、配置位置を決定する。
【0302】
図26は、配置パターン決定部(または環形状決定部30)によって決定されたアイコン配置パターン(または環形状)にしたがってアイコンが配置されたときの操作画面の一例を示す図である。図26に示すとおり、選択されたオブジェクト80の関連項目は、画面下部左側の領域82内に収まるように表示されているので、ユーザは、親指で目的のアイコンをたぐり寄せる必要はなく、すぐさま次のアイコンを選択することができる。
【0303】
さらに、操作画面処理部24は、抽出された各アイコンを、次にユーザに選択される可能性が高いものほど、オブジェクトを選択するための接触動作に基づく軌跡終点近くに配置するようになっている。このため、ユーザは、指を画面のあちらこちらに不自然に移動させるという操作上の煩わしさを高い確率で回避することができる。片手での操作は両手での操作よりも操作性が低下するので、操作上の煩わしさを上記のように回避できることは、片手で操作する場合に操作性を向上させる上で特に大きな効果を奏する。
【0304】
なお、タブレット端末100は、ユーザが片手で操作しているという使用状況を判別するために、指の軌跡の線の太さに基づいて、親指で操作されているのか否かを判定し、親指で操作されていると判定した場合に、片手で操作されていると判断し、画面下部にアイコンを表示する構成であってもよい。あるいは、タブレット端末100の筐体にセンサを設けて、タブレット端末100が、筐体が4本の指で把持されているのか、5本の指で把持されているのかを判別し、これに応じて片手操作、または、両手操作の判断を行ってもよい。
【0305】
また、タブレット端末100の操作画面処理部24は、指の軌跡によって囲まれた領域の接触座標情報を参照して、軌跡領域を特定し、その軌跡領域および近辺を、ユーザの接触可能領域であると特定して、そこにアイコンの環が配置されるように決定してもよい。
【0306】
(アイコン表示数の調整)
アイコン配置決定部33は、決定された環形状のサイズと、アイコンの大きさとを考慮して、関連項目抽出部23によって抽出されたすべてのアイコンを表示できないと判断した場合には、表示すべきアイコンの数を減らすことを決定してもよい。
【0307】
また、アイコン配置決定部33は、接触情報を参照して、指の軌跡(あるいは、囲われた領域)の絶対的な大きさに基づいて、表示するアイコンの数を決定してもよい。これにより、ユーザはオブジェクトを小さめの環で囲うか、大きめの環で囲うかを変えることによって、意図的に、次に表示させるアイコンの数を調節することが可能となる。
【0308】
ここで、アイコン配置決定部33は、表示すべきアイコンの数を減らす場合には、アイコン順位決定部31によって決定された優先順位の低いアイコンから順に減らすことができる。
【0309】
(アイコン配置位置と優先順位との関連付け方法)
上述の各実施形態では、アイコン配置決定部33は、所定のアイコン配置パターンにおいて定義されたいくつかのアイコンの配置位置に優先順位を関連付けるときに、軌跡の終点tnとの距離が近い配置位置から順に、上位の優先順位を関連付ける構成であった。
【0310】
しかし、本発明の情報処理装置(タブレット端末100)の構成は上記に限定されない。アイコン配置決定部33は、以下に示す方法で、アイコン配置位置と優先順位との関連付けを行ってもよい。
【0311】
図27の(a)〜(c)は、アイコン配置決定部33が行う、アイコン配置位置と優先順位との関連付けの具体例を示す図である。
【0312】
オブジェクトを選択したときの指の軌跡の終点が、図27に示す終点tnの位置にある場合であって、アイコン配置決定部33が参照する所定のアイコン配置パターンは、図9の(a)に示すとおり、8個のアイコンを楕円の輪の輪郭線上に等間隔に配置するものであるとする。
【0313】
図27の(a)に示す例では、アイコン配置決定部33は、上記環の輪郭線上の、上記軌跡の終点tnに最も近い点Pを特定する。そして、アイコン配置決定部33は、点Pから環の輪郭線をたどってアイコン配置位置A〜H(図9の(a))に到達するまでの距離が短い配置位置ほど上位の優先順位を関連付ける。
【0314】
すなわち、図27の(a)に示すとおり、アイコン配置決定部33は、アイコン配置位置Aに、優先順位8位を、Bに6位を、Cに4位を、Dに2位を、Eに1位を、Fに3位を、Gに5位を、Hに7位を関連付ける。
【0315】
上記の構成によれば、タブレット端末100が、図28の(a)および(b)に示すとおり、ユーザのドラッグ操作によって、アイコンの環を、時計回りおよび反時計回りに回転させることが可能な操作画面を表示する場合にメリットがある。
【0316】
具体的には、ユーザが、終点tnでオブジェクトを選択した後、それに伴って表示されたアイコンの環をドラッグ操作で回転させて、目的のアイコンを自分の指先がある位置(すなわち終点tn付近)にたぐり寄せる場合を想定する。この場合、終点tnからその輪郭線をたどる距離が短くなる位置にあるアイコンほど、少ないドラッグ操作(回転操作)で、目的のアイコンをたぐり寄せることができる。
【0317】
つまり、ユーザに選択される可能性が高いアイコンほど、輪郭線をたどる距離が短くなる位置にアイコンを配置すれば、ユーザは、高い確率で、より少ない回数のドラッグ操作で目的のアイコンをたぐり寄せることができる。
【0318】
したがって、ユーザは、少ない動作数で目的の最終結果物にたどり着くことができる。つまり、選択操作の煩わしさを回避することが可能である。
【0319】
あるいは、アイコンが楕円形に配置されていると、ユーザは、目的のアイコンを探して選択する際に、自然にその楕円形の輪郭線をなぞるように指を走らせていくことが想定される。そこで、アイコン配置決定部33は、終点tnからその輪郭線をたどる距離が短くなるアイコン配置位置に、優先順位の高いアイコンを配置することを決定する。
【0320】
これにより、ユーザに選択される可能性が高いアイコンほど、終点tnからの輪郭線上の距離が短いアイコン配置位置に配置させることができる。このため、ユーザは、指を、オブジェクトを選択し終わった位置から走らせて、高い確率で、より短い距離で目的のアイコンに到達することができる。
【0321】
したがって、ユーザは、操作体を画面上のあちらこちらに不自然に移動させる必要がなくなり、簡易な接触動作で目的の最終結果物にたどり着くことができる。つまり、選択操作の煩わしさを回避することが可能である。また操作体の移動距離が短いほど、誤操作の誘発を抑えることも可能である。
【0322】
図27の(b)に示す例では、アイコン配置決定部33は、所定のアイコン配置位置A〜Hのうち、軌跡の終点tnに最も近い配置位置に、最も高い優先順位を関連付ける。同図に示すとおり、アイコン配置位置Eに1位を関連付ける。そして、1位のEから反時計回りに、各配置位置に対して、2位以降の優先順位を順に関連付ける。すなわち、図27の(b)に示すとおり、Dに2位を、Cに3位を、Bに4位を、Aに5位を、Hに6位を、Gに7位を、Fに8位を関連付ける。
【0323】
上記の構成によれば、タブレット端末100が、図28の(a)に示すとおり、ユーザのドラッグ操作によって、アイコンの環を、時計回りに回転させることが可能な操作画面を表示する場合にメリットがある。
【0324】
具体的には、ユーザが、終点tnでオブジェクトを選択した後、それに伴って表示されたアイコンの環をドラッグ操作で時計回りに回転させて、目的のアイコンを自分の指先がある位置(すなわち終点tn付近)にたぐり寄せる場合を想定する。この場合、図27の(b)に示す各アイコンは、環が時計回りに回転するにつれて、1位のアイコンから、反時計回りの順で、ユーザの指先(終点tn付近)にたぐり寄せられる。
【0325】
すなわち、たぐり寄せられる順は、図27の(b)に示す優先順位(ユーザに選択される可能性が高い順)に一致している。このため、ユーザは、高い確率で、より少ない回数のドラッグ操作で目的のアイコンをたぐり寄せることができる。
【0326】
図27の(c)に示す例では、アイコン配置決定部33は、図27の(b)に示す例と同様に、アイコン配置位置Eに1位を関連付ける。そして、1位のEから時計回りに、各配置位置に対して、2位以降の優先順位を順に関連付ける。すなわち、図27の(c)に示すとおり、Fに2位を、Gに3位を、Hに4位を、Aに5位を、Bに6位を、Cに7位を、Dに8位を関連付ける。
【0327】
上記の構成によれば、タブレット端末100が、図28の(b)に示すとおり、ユーザのドラッグ操作によって、アイコンの環を、反時計回りに回転させることが可能な操作画面を表示する場合にメリットがある。
【0328】
具体的には、ユーザが、終点tnでオブジェクトを選択した後、それに伴って表示されたアイコンの環をドラッグ操作で反時計回りに回転させて、目的のアイコンを自分の指先がある位置(すなわち終点tn付近)にたぐり寄せる場合を想定する。この場合、図27の(c)に示す各アイコンは、環が反時計回りに回転するにつれて、1位のアイコンから、時計回りの順で、ユーザの指先(終点tn付近)にたぐり寄せられる。
【0329】
すなわち、たぐり寄せられる順は、図27の(c)に示す優先順位(ユーザに選択される可能性が高い順)に一致している。このため、ユーザは、高い確率で、より少ない回数のドラッグ操作で目的のアイコンをたぐり寄せることができる。
【0330】
(タブレットPCへの適用)
上述の各実施形態では、本発明の情報処理装置としてのタブレット端末100が、片手で操作することが可能な、小型で携帯性に優れたスマートフォンであることを想定して説明を行ったが、本発明の情報処理装置は、小型のスマートフォンに限定されず、ノートサイズ画面を有するタブレットPC、あるいは、それよりも大画面を有する電子黒板などにも適用可能である。
【0331】
タブレットPC、電子黒板などは、スマートフォンよりも大きい表示画面を有している。そのため、ユーザが所望のオブジェクトやアイコンを選択するために、指示体(指やペン)などを、スマートフォンを操作するときよりも、より大きく動かさなければならない。
【0332】
本発明の情報処理装置によれば、所望のオブジェクトやアイコンを選択する上で、指示体の動きをより小さくすることができる。つまり、大きな表示画面を有するタブレットPC、あるいは、電子黒板などにおいて、本発明の情報処理装置を用いれば、優れた操作性を実現するという本発明の利点を、より多く享受することができる。
【0333】
図29および図31は、本発明の情報処理装置としてのタブレット端末100aを、タブレットPCで実現した場合の様子を示す図である。
【0334】
図30および図32において、(a)は、アイコン配置決定部33によって、指示体の軌跡および軌跡の終点tnがプロットされたアイコン配置パターンの具体例を示す図であり、(b)は、アイコン配置決定部33によって、各アイコン配置位置に優先順位が関連付けられた結果を示す図である。
【0335】
図29および図31に示すとおり、例えば、タブレット端末100aの表示部12の画面いっぱいに、二つの写真オブジェクトが表示されており、その何れかを、ユーザが指示体を移動させて選択するとする。具体的には、ユーザは、目的の写真オブジェクトを囲うように、指(指示体)を動かして接触動作を実施したとする。
【0336】
まず、図29に示す例では、ユーザは、目的の写真オブジェクトの右下あたりから、該写真オブジェクトを囲うように円を描き、同じく右下あたりで円を描き終える。
【0337】
そして、接触情報生成部21によって取得された上記指の軌跡とその終点tnを、アイコン配置決定部33は取得して、図30の(a)に示すように、それを所定のアイコン配置パターンにプロットする。
【0338】
続いて、アイコン配置決定部33は、所定の規則(例えば、終点tnと直線距離が短いもの順に、上位の優先順位を関連付けるという規則)にしたがって、終点tnに基づいて、パターンに定義された各アイコン配置位置A〜Hに、優先順位1〜8位を関連付ける。例えば、アイコン配置決定部33が、上記規則にしたがって、アイコン配置位置に優先順位を関連付けると、図30の(b)に示すとおりとなる。各アイコン配置位置に付与された数字は関連付けられた優先順位を表す。
【0339】
操作画面処理部24は、アイコン配置決定部33の決定にしたがって、アイコン順位決定部31がアイコンに予め付与した優先順位と一致するように、各アイコンを配置位置に配置する。
【0340】
これにより、指先が位置していると考えられている終点tn付近に、優先順位が上位の(ユーザに選択される可能性が高い)アイコンが表示されることになる。よって、ユーザは、タブレット端末100aの大きめの画面であっても、高い確率で、指を大きく移動させずに目的のアイコンを選択する操作に移行することができる。
【0341】
一方、接触動作の仕方は、ユーザによってまちまちである。例えば、図31に示すとおり、ユーザは、目的の写真オブジェクトの左上あたりから、該写真オブジェクトを囲うように円を描き、同じく左上あたりで円を描き終える場合もある。
【0342】
この場合、アイコン配置決定部33は、上記指の軌跡とその終点tnを、図32の(a)に示すように、上記アイコン配置パターンにプロットする。
【0343】
続いて、アイコン配置決定部33は、上記規則にしたがって、終点tnと直線距離が短いアイコン配置位置ほど、上位の優先順位を関連付ける。ここでは、例えば、アイコン配置決定部33が、上記規則にしたがって、アイコン配置位置に優先順位を関連付けると、図32の(b)に示すとおりとなる。
【0344】
これにより、指先が位置していると考えられている終点tn付近に、優先順位が上位の(ユーザに選択される可能性が高い)アイコンが表示されることになる。よって、ユーザは、タブレット端末100aが備える大きめの画面であっても、高い確率で、指を大きく移動させずに目的のアイコンを選択する操作に移行することができる。
【0345】
上述のように、画面が大きめのタブレット端末(情報処理装置)100aにおいては、オブジェクトを選択するときの指示体の移動距離も長くなるので、終点(指先)の位置は、画面の至るところに到達する。そして、指先がある位置から離れたところに、次に選択したいアイコンが表示されることも有り得る。この場合、ユーザは、指示体を画面上のあちらこちらに不自然に移動させることになり、操作性が低下するという問題があった。なお、情報処理装置の画面が大画面であればあるほど、指示体を遠くに動かす操作は煩わしいものとなるので、上記の問題は深刻である。
【0346】
しかしながら、本発明のタブレット端末100aによれば、上述のとおり、終点(指先)の位置が、画面の至るところ、いずれの位置に到達しても、その終点の位置から近い位置ほど、ユーザに選択される可能性の高いアイコンが表示される構成であるので、ユーザは、高い確率で、指をあまり移動させずに目的のアイコンを選択することができる。例えば、上述の例に示すとおり、同じ写真オブジェクトを囲う場合でも、ユーザによって囲い方はまちまちであり、それに応じて異なる結果が得られる。図29に示す接触動作では、図30に示すとおり、アイコン配置位置Eに、最も上位の優先順位が関連付けられるし、図31に示す接触動作では、図32に示すとおり、アイコン配置位置Gに最も上位の優先順位が関連付けられる。このように、大画面を有する情報処理装置であるほど、ユーザの囲い方などによって、最終結果物は大きく異なり、上記の深刻な問題を解消することができる。
【0347】
以上のように、本発明のタブレット端末100aによれば、ユーザは、指示体を画面上のあちらこちらに不自然に移動させる必要がなくなり、簡易な接触動作で目的の最終結果物にたどり着くことができる。また指示体の移動距離が短いほど、誤操作の誘発を抑えることも可能である。結果として、優れた操作性を実現するという効果を奏する。上述したとおり、大きな表示画面を有するタブレットPC、あるいは、電子黒板などにおいて本発明の情報処理装置を用いれば、得られる効果は特に大きいものとなる。
【0348】
(アイコン配置パターンの変形例)
上述の各実施形態では、アイコン配置決定部33は、所定のアイコン配置パターン(例えば、図9、図30および図32の(a)など)に基づいて、アイコン配置位置を認識する構成であった。しかしこのような構成に限定されない。アイコン配置決定部33は、接触情報生成部21によって取得された、ユーザが接触動作を行ったときの指の軌跡に基づいて、アイコン配置パターンを自ら決定してもよい。
【0349】
図33は、アイコン配置決定部33が決定したアイコン配置パターンの一例を示す図である。
【0350】
本変形例では、所定のアイコン配置パターンは存在せず、環形状決定部30によって環の形状および配置位置が決定されているのみである。
【0351】
図33に示すとおり、まず、アイコン配置決定部33は、環形状決定部30が決定した環の形状と配置位置の情報を取得し、それに対して軌跡の終点tnをプロットする。次に、アイコン配置決定部33は、上記環の輪郭線上の、上記軌跡の終点に最も近い点Pを特定し、そこを、最も優先順位が高い(1位)のアイコン配置位置と決定する。1位のアイコンのより詳細なアイコンの配置位置は特に限定されないが、例えば、アイコンの中心が、上記点Pと一致する位置を1位のアイコン配置位置と決定してもよい。
【0352】
続いて、アイコン配置決定部33は、残りのアイコン配置位置を、先に決定した1位のアイコン配置位置を基準に決定する。例えば、残りの配置すべきアイコンが7個ある場合に、図33に示すとおり、1位のアイコン配置位置を基準にして、8個すべて輪郭線上で等間隔になるように、残りのアイコン配置位置A〜Gを決定する。そしての残りのアイコン配置位置A〜Gと、優先順位の関連付けは、上述したいずれかの規則に則って実施されればよい。
【0353】
上記構成によれば、操作画面処理部24は、優先順位が1位のアイコンを、必ず、環の輪郭線上の、終点tnからの最短距離に配置することが可能となる。
【0354】
あるいは、アイコン配置決定部33は、最も優先順位が高い(1位)のアイコンの配置位置を以下のように決定してもよい。
【0355】
具体的には、図30の(a)に示すとおり、アイコン配置決定部33は、まず、軌跡から、終点tnに加えて、点tn−1を取得する。そして、アイコン配置決定部33は、点tn−1から終点tnへ延びる直線の延長線が、環の輪郭線(ここでは、破線の楕円)と最初に交わる位置、すなわち、交点Qを特定する。そして、アイコン配置決定部33は、交点Qを、最も優先順位が高い(1位)のアイコン配置位置と決定してもよい。
【0356】
この構成は、終点tnが環の内側にある場合に有効である。この場合、交点Qは、ユーザが操作体(指やペン)を、オブジェクトを囲うように円形に動かしたときに、操作体が、環の輪郭線上で、最も自然に最も早く到達する点となると考えられる。
【0357】
このように交点Qの位置に、優先順位が1位のアイコンを配置することにより、操作体が最も自然に最も早く到達する位置に、優先順位が1位のアイコンを表示させることが可能となる。結果として、ユーザは、次の操作で、操作体によって、上記1位のアイコンをより選択しやすくなる。
【0358】
(表示部と入力部とを別体で備える情報処理装置への適用)
本発明の情報処理装置としてのタブレット端末100の構成、すなわち、指示体の移動の軌跡の終点近くに優先度の高いアイコンを配置して表示する構成について、これを、入力部11と表示部12とが別体として備わっている情報処理装置に適用してもよい。例えば、入力部11がマウスなどの入力装置で構成されており、表示部12が、LCDなどの表示装置で構成されている情報処理装置が考えられる。ここでは、表示部12に表示されているカーソルが、表示部12の画面上の位置を指示するものである。そして、ユーザがマウスを操作して入力動作を実施することによりカーソルが移動する。したがって、このような実施形態では、マウスが操作体であり、カーソルが指示体であって、操作体の移動に伴って表示部12に表示されている指示体が移動する。ユーザが、マウスを操作して表示部12の画面上のカーソルを動かすことによりオブジェクトを選択すると、情報処理装置は、内部であらかじめ保持しているカーソルの位置を上記マウスの動きと連動させて、その移動の軌跡を保持する。そして、アイコンを所定の位置に配置するとき、上記軌跡の終点に近い配置位置に、優先度の高い(ユーザが選択する可能性が高い)アイコンを配置する。上記構成によれば、ユーザがマウスを動かし終えた位置の近くによく選択されるアイコンが配置された操作画面が得られるので、マウスを動かす動作が大きくならずに、アイコンを選択するという次の動作に移ることが可能となる。
【0359】
なお、表示部12と別体で構成される入力部11としては、上記のマウス以外にも、例えば、キーボード、ジョイスティック、ディジタイザ、タブレットとスタイラスペンなどの各種入力装置を採用することができる。
【0360】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0361】
なお、本発明の情報処理装置および操作画面表示方法は、以下のようにも表現され得る。
【0362】
タッチパネルを備えた情報処理装置において、上記タッチパネル上を移動した指示体の移動の軌跡を取得する接触動作取得手段と、上記接触動作取得手段によって取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを特定の位置に配置して、上記タッチパネルに表示する操作画面処理手段とを備え、上記操作画面処理手段は、上記抽出された関連項目の中で、優先順位(ユーザに選択される可能性が高い順など)が高い関連項目のアイコンほど、上記接触動作取得手段によって取得された軌跡の終点の近くに配置することを特徴とする情報処理装置。
【0363】
タッチパネルを備えた情報処理装置における操作画面表示方法において、上記タッチパネル上を移動した指示体の移動の軌跡を取得する接触動作取得ステップと、上記接触動作取得ステップにて取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップによって抽出された関連項目のアイコン特定の位置に配置して、上記タッチパネルに表示する操作画面処理ステップとを含み、上記操作画面処理ステップでは、上記抽出された関連項目の中で、優先順位(ユーザに選択される可能性が高い順など)が高い関連項目のアイコンほど、上記接触動作取得ステップにて取得された軌跡の終点の近くに配置することを特徴とする操作画面表示方法。
【0364】
〔ソフトウェアによる実現例〕
最後に、タブレット端末100の各ブロック、特に、接触情報生成部21、オブジェクト特定部22、関連項目抽出部23、操作画面処理部24、ジェスチャ判定部25、環形状決定部30、アイコン順位決定部31、アニメーション決定部32、および、アイコン配置決定部33は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
【0365】
すなわち、タブレット端末100は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるタブレット端末100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記タブレット端末100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0366】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0367】
また、タブレット端末100を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【0368】
本発明は、入力部および表示部を備える情報処理装置に広く適用することが可能である。例えば、これには限定されないが、入力部および表示部を備える、デジタルテレビ、パーソナルコンピュータ、スマートフォン、タブレットPC、ノートパソコン、携帯電話、PDA(Personal Digital Assistant)、電子書籍リーダ、電子辞書、携帯用・家庭用ゲーム機、電子黒板などに好適に用いることができる。さらに、タッチパネルを備える情報処理装置に本発明を適用すれば、より一層優れた操作性を実現することができる。
【符号の説明】
【0369】
10 制御部
11 入力部(タッチパネル)
12 表示部(タッチパネル)
13 操作部
14 外部インターフェース
15 通信部
16 無線通信部
17 音声出力部
18 音声入力部
19 記憶部
21 接触情報生成部(軌跡取得手段/接触動作取得手段)
22 オブジェクト特定部(オブジェクト特定手段)
23 関連項目抽出部(関連項目抽出手段)
24 操作画面処理部(操作画面処理手段)
25 ジェスチャ判定部(ジェスチャ判定手段)
30 環形状決定部(環形状決定手段/配置パターン決定手段)
31 アイコン順位決定部(アイコン順位決定手段)
32 アニメーション決定部(アニメーション決定手段)
33 アイコン配置決定部(アイコン配置決定手段)
41 フレームマップ記憶部
42 関連情報記憶部
43 アイコン記憶部
44 接触情報記憶部
100 タブレット端末(情報処理装置)
【技術分野】
【0001】
本発明は、入力部および表示部を備える情報処理装置のユーザインターフェース技術に関するものである。
【背景技術】
【0002】
近年、スマートフォン、タブレットPCなどの、いわゆるタブレット端末が急速に普及している。タブレット端末は、平板状の外形を有しており、表示部および入力部としてのタッチパネルを備えている。このタッチパネルに表示されたオブジェクトを、指やペン等でタッチすることにより、ユーザは、タブレット端末本体への各種操作を行うことができる。
【0003】
タブレット端末は、タッチパネルによってユーザの画面上での様々な接触動作を判別することができ、その接触動作に合わせたオブジェクト表示を行うことができる。例えば、接触動作には、画面に表示されたオブジェクトを、指(ペン)でタップする(軽くたたく)、フリックする(はじく、はらう)、ピンチする(指でつまむ)、ドラッグするなどの様々な動作がある。タブレット端末は、そうしたさまざまな接触動作を判別し、判別結果に応じて、オブジェクトの選択/移動、リストのスクロール、画像などの拡大/縮小を行う。タブレット端末は、上述のようにタッチパネルによってより直感的な操作を実現し、多くの人から支持されている。
【0004】
例えば、特許文献1には、タッチパネル式の表示部を備えた携帯通信端末が開示されている。特許文献1の携帯通信端末では、オブジェクト(URL、メールアドレス、文字列、画像など)を、指(ペン)でなぞるようにタッチしたり、囲むようにタッチしたりすることによって選択できるようになっている。そして、そのような動作で、オブジェクトが選択された場合には、携帯通信端末は、選択されたオブジェクトからキーワードを抽出して関連サイトへアクセスする。
【0005】
また、特許文献2には、タッチパネルディスプレイを備えた携帯機器が開示されている。特許文献2の携帯機器は、タッチパネルディスプレイにスルー画像(カメラに映った画像等)を表示し、囲むようにタッチして選択されたスルー画像内の特定対象を検出して、該特定対象の縮小画像をレリーズボタンとしてタッチパネルディスプレイの端部に表示することができる。
【0006】
また、特許文献3には、タッチパネルを用いたウェブサイト検索システムが開示されている。特許文献3のウェブサイト検索システムは、キーワード表示領域に表示されているキーワードが、手でタッチされると、それを検索キーワードとして受け付け、受け付けたキーワードに対応する第1マザーアイコンを表示する。そして、ウェブサイト検索システムは、キーワードに従って検索エンジンでウェブサイトを検索し、検索されたウェブサイトのサムネイル画像を上記第1マザーアイコンの周囲に表示する。
【0007】
また、特許文献4には、接触センサを有する表示パネルを備えた情報処理装置が開示されている。特許文献4の情報処理装置は、オブジェクトが選択されている状態で、操作体(指)の所定角度以上の回転を検知して、該オブジェクトに関連する操作項目を該オブジェクトの周辺に表示する。
【0008】
また、特許文献5には、タッチパネル部を備えた情報処理装置が開示されている。特許文献5の情報処理装置は、ユーザのタッチ位置の軌跡を取得して、軌跡によって選択されたオブジェクト画像を特定し、軌跡の端点に応じた位置に、その選択されたオブジェクト画像を移動させる。
【0009】
一方で、タブレット端末にかかわらず、また、装置の大小を問わず、情報処理装置一般において、メニューを表示し選択を受け付けるというユーザインターフェース技術は非常によく用いられている。この技術によれば、情報処理装置は、ユーザが所望の項目を選択可能なようにメニューを表示し、ユーザの選択を受け付ける。これにより、ユーザは所望の項目を選択することで装置を操作することができる。例えば、特許文献6〜9には、ユーザの利便性およぶ操作性を向上させることを目的として、メニュー表示を実現する情報処理装置が開示されている。
【0010】
具体的には、特許文献6には、表示画面においてカーソルの移動量を少なくし、利用者の視線の移動を軽減する情報表示装置が開示されている。具体的には、情報表示装置において、カーソルの位置を移動制御するポインティングデバイスによってカーソルが移動させられると、情報表示装置は、カーソルの軌跡形状を検出する。そして、情報表示装置は、軌跡形状に対応付けられたメニュー情報を検索し、検索されたメニュー情報をカーソルの軌跡の終端近傍に表示する。
【0011】
特許文献7には、マウスなどの移動の軌跡を検出し、その軌跡情報に対応付けられたポップアップメニューを選択して表示画面上に表示するウィンドウ表示制御装置が開示されている。具体的には、ウィンドウ表示制御装置は、マウスのカーソル位置を起点としてポップアップメニューを表示したり、予め決められた複数のポップアップメニューをマウスの軌跡上に配置したりする。
【0012】
特許文献8には、複数アイテムの選択の高速化を行うメニューディスプレイを提供する方法及び装置が開示されている。具体的には、装置は、角度マーキングメニューと直線メニューとを組み合わせて表示する。角度マーキングメニューでは、ペンなどにより作成されるストロークパターンによって選択されたアイテムが判別される。直線メニューでは、ペンなどで位置を選択することにより、アイテムの選択が行われる。
【0013】
特許文献9には、メニュー表示制御装置およびこれを適用した電子黒板システムが開示されている。具体的には、メニュー表示制御装置は、ユーザが座標入力面に指先で線などを描くことによって装置に入力される、複数の座標に関する入力履歴を認識する。メニュー表示制御装置は、入力履歴に基づいて処理メニューを表示すべきか否かを判断し、処理メニューを表示する。より具体的には、メニュー表示制御装置は、ユーザが人差し指で座標入力面に円を描いた後に、人差し指を画面にタッチしたまま、中指で座標入力面をタッチすると、中指がタッチされた付近に処理メニューを表示する。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】特開2010−218322号公報(2010年9月30日公開)
【特許文献2】特開2010−182023号公報(2010年8月19日公開)
【特許文献3】特開2009−134738号公報(2009年6月18日公開)
【特許文献4】特開2011−13980号公報(2011年1月20日公開)
【特許文献5】特開2006−244353号公報(2006年9月14日公開)
【特許文献6】特開平8−305535号公報(1996年11月22日公開)
【特許文献7】特開平10−307674号公報(1998年11月17日公開)
【特許文献8】特表平11−507455号公報(1999年6月29日公表)
【特許文献9】特開2001−265475号公報(2001年9月28日公開)
【発明の概要】
【発明が解決しようとする課題】
【0015】
タブレット端末の操作性の良さは、いかに簡易な接触動作で且ついかに少ない動作数でユーザの目的である最終結果物を表示させるかということ、および、いかにユーザの直感に反しない自然な流れで、該接触動作に基づく結果物の表示を行うかということにかかっている。
【0016】
こうした操作性の向上は、ユーザの目的、ユーザの状態、ユーザの傾向を適正に把握することによって実現される。タブレット端末は、例えば、ユーザは今何をどうしたいのか、その次に何がしたいのか、ユーザは今どうやって操作しているのか、今どこにいるのか、ユーザの動きに対してどのように表示することが自然であるのか、など、ユーザの意図をあらゆる観点から「察する」ことが求められている。
【0017】
上述の特許文献1〜9の各装置の構成では、ユーザの意図を察するには必ずしも十分とは言えない。
【0018】
より具体的には、特許文献1には、オブジェクトを囲うという動作によって、オブジェクトを選択することが開示されているが、上記動作によって、そのオブジェクトに関連する項目を抽出し表示することは開示されていない。また、特許文献2には、オブジェクトを囲うという動作によって、そのオブジェクトに対応するアイコンを表示することは開示されているが、上記動作によって、そのオブジェクトを選択し、該選択に伴って、オブジェクトに関連する項目を抽出し表示することは開示されていない。また、特許文献3には、オブジェクトが選択されると、オブジェクトを表示し、オブジェクトに関連するサムネイルをオブジェクトの周囲に表示することが開示されているが、オブジェクトを囲うという動作とサムネイルの表示とは結びついていない。また、特許文献4には、オブジェクトをタッチして選択すること、および、オブジェクトに関連するアイコンをオブジェクトの周囲に表示することが開示されているが、周囲にアイコンを表示させるために、オブジェクトの選択とは別に、煩雑な動作(指をタッチ面に押さえつけて指の角度を変えてひねるような動作)を行わなければならず、操作数が増え、目的の結果物(アイコン)を表示するまでの操作が非常に複雑なものとなる。
【0019】
特許文献6および7には、メニュー情報を表示する前に、オブジェクトを選択するという事象が発生することに言及されていないため、オブジェクトの選択に応じて、メニュー情報の各項目の配置位置を制御することができない。また、特許文献8の技術は、操作が非常に煩雑になるという問題がある。具体的には、特許文献8によれば、メニューリストが2種類あって、アイテムの選択の仕方がメニューの種類ごとに異なっている。結果として、ペンの動きとアイテムの選択の流れが、2パターンあり、ペン操作を種類ごとに使い分けなければならない。また、特許文献9の技術では、複数の指を使ってタッチパネルを操作しなければならず、操作が煩雑な上、ペンで操作を行う装置には適用できない。
【0020】
結果として、オブジェクトの選択、決定、結果物(関連する項目)の表示、結果物の選択、・・・最終結果物の表示、という一連の処理を、簡易な接触動作、少ない動作数、および、直感的な接触動作で装置に行わせるということができないという問題がある。
【0021】
上述の操作性の問題は、携帯性に優れた小型のタブレット端末のみならず、タッチパネル式の表示部兼入力部を備えた、あらゆるサイズの情報処理装置、ならびに、タッチパネルに限定されずあらゆる形態の表示部および入力部を備えた情報処理装置に共通して生じる問題である。
【0022】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することにある。
【課題を解決するための手段】
【0023】
本発明の情報処理装置は、上記課題を解決するために、表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、上記軌跡取得手段によって取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを特定の位置に配置して、上記表示部に表示する操作画面処理手段とを備え、上記操作画面処理手段は、上記抽出された関連項目の中で、優先順位が高い関連項目のアイコンほど、上記軌跡取得手段によって取得された軌跡の終点の近くに配置することを特徴としている。
【0024】
上記構成によれば、軌跡取得手段が、ユーザによって行われたオブジェクトを選択するための動作(指示体の移動)の軌跡を取得し、この軌跡に基づいて、オブジェクト特定手段が、上記動作によってユーザが選択したオブジェクトを特定する。続いて、関連項目抽出手段が、特定されたオブジェクトに関連する項目を抽出する。関連情報記憶部には、オブジェクトと該オブジェクトに関連する項目とが対応付けて記憶されているので、関連項目抽出手段によって抽出された関連項目は、ユーザによって選択されたオブジェクトに関連があるものばかりである。最後に、操作画面処理手段は、抽出された関連項目のアイコンを、それぞれ、上記表示部上の特定の配置位置に配置する。
【0025】
ここで、より詳細には、操作画面処理手段は、どの関連項目のアイコンをどの配置位置に配置するのかを、以下のようにして決定する。
【0026】
操作画面処理手段は、アイコンを配置するためにあらかじめ特定されているいくつかの配置位置と、上記軌跡取得手段によって取得された軌跡の終点の位置との間の距離を参考にして、抽出された関連項目の中で、優先順位が高い(例えば、ユーザに選択される可能性が高い)関連項目のアイコンほど、上記終点に近い配置位置に配置することを決定する。
【0027】
これにより、オブジェクトを選択するためのユーザの1つの動作に対して、タブレット端末100は、選択されたオブジェクトに関連する関連項目のアイコンを選択可能に表示するという結果を出力することができる。その上、ここで選択可能に表示されたアイコンの配置は、ユーザの動作が考慮された配置となっている。すなわち、優先順位が高いアイコンほど、ユーザが先の動作を終えた位置(軌跡の終点)の近くに表示されるという配置である。
【0028】
ユーザは、先のオブジェクトを選択する動作を行った後、すぐに、そのオブジェクトに関連する関連項目のアイコンを選択する動作を行うと予想され、これが操作の自然な流れである。この場合、ユーザは、先の動作が完了した位置から、次に目的のアイコンが表示された位置まで、指示体(指、ペン、あるいは、マウスで操作されるカーソルなど)を移動させることになる。
【0029】
ここで、先の動作が完了した位置から、目的のアイコンが表示された位置までの距離が長ければ長いほど、指示体を長く移動させなければならないので、ユーザにとって選択操作は煩わしいものとなる。このような煩わしさは、表示部の画面サイズが大きければ大きいほど顕著となり、また、ユーザが片手で操作していて、接触可能領域が限られる場合などには、特に深刻な問題となる。オブジェクトが階層で管理されていて、何度も続けて選択操作が行われる場合にも上記煩わしさはますます増大する。
【0030】
そこで、本発明のように、選択される可能性が高いアイコンほど、先の動作の完了位置の近くに表示されるような配置にすることにより、ユーザは、高い確率で先の動作の移動完了位置近くに表示されている所望のアイコンを選択することになる。結果として、高い確率で、上述の選択操作の煩わしさを回避することができる。
【0031】
したがって、ユーザは、指示体を画面上のあちらこちらに不自然に移動させる必要がなくなり、簡易な動作で目的の最終結果物にたどり着くことができる。また指示体の移動距離が短いほど、誤操作の誘発を抑えることも可能である。
【0032】
加えて、本発明の情報処理装置は、オブジェクトを選択した次にユーザが選択するであろう関連項目を予め察して、ユーザに選択可能に表示することができる。具体的には、本発明の上記構成によれば、操作画面処理手段によって操作画面に配置されるアイコンは、いずれも、ユーザが選択したオブジェクトに関連がある項目として抽出された関連項目のアイコンである。つまり、オブジェクトを選択したのち、次に選択されるであろう関連項目が、選択される可能性が高い順に動作の完了位置から近い位置にてアイコンで表示されるので、ユーザは次に目的とするアイコンを、指示体を大きく移動させることなく、即座に指定することができる。
【0033】
以上のことから、本発明の情報処理装置は、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0034】
本発明の情報処理装置では、上記関連情報記憶部には、関連項目のアイコンがユーザによって選択された回数が関連項目ごとに記憶されており、上記操作画面処理手段は、上記選択された回数が多い関連項目のアイコンほど、上記軌跡の終点の近くに配置してもよい。
【0035】
上記構成によれば、操作画面処理手段によって、抽出されたアイコンが特定の配置位置に配置されるとき、操作画面処理手段は、選択された回数が多い関連項目のアイコンほど、上記軌跡の終点の近くに配置する。
【0036】
選択された回数が多い関連項目は、そのアイコンがユーザによってよく選択されているということを示す。ユーザによって最も多く選択されているアイコン(関連項目)は、優先順位が高い、すなわち、この次に選択される可能性が最も高いアイコン(関連項目)であると考えられる。
【0037】
上述のように過去の選択回数に基づいて、操作画面処理手段がアイコンを配置することにより、ユーザに選択される可能性が高いアイコンほど、軌跡の終点近くに配置されるように、操作画面(結果物)をユーザに提供することが可能となる。
【0038】
したがって、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0039】
あるいは、本発明の情報処理装置では、上記関連情報記憶部には、関連項目の属性が関連項目ごとに記憶されており、上記操作画面処理手段は、上記選択されたオブジェクトの属性との類似度が高い属性を有する関連項目のアイコンほど、上記軌跡の終点の近くに配置してもよい。
【0040】
上記構成によれば、操作画面処理手段によって、抽出されたアイコンが特定の配置位置に配置されるとき、操作画面処理手段は、選択されたオブジェクトと属性が似ている関連項目のアイコンほど、上記軌跡の終点の近くに配置する。
【0041】
選択されたオブジェクトと属性との類似度が高い、すなわち、性質や分類が似ている関連項目は、その選択されたオブジェクトとより関係が深い、あるいは、性質が似ていると考えられる。
【0042】
ユーザは、属性(分類または性質など)が全く統一されていないオブジェクト(アイコン)を次々に選択するよりも、属性が、類似(または同一)のオブジェクト(アイコン)を、次々に選択して、閲覧したり、編集したりする傾向がある。
【0043】
つまり、先の動作でオブジェクトが選択された次には、そのオブジェクトと属性が類似している関連項目(のアイコン)が、優先順位がより高くなる、すなわち、選択される可能性がより高いと言える。
【0044】
このため、上述のように、オブジェクトの属性との類似度に基づいて、操作画面処理手段がアイコンを配置することにより、ユーザに選択される可能性が高いアイコンほど、軌跡の終点近くに配置されるように、操作画面(結果物)をユーザに提供することが可能となる。
【0045】
したがって、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0046】
さらに、本発明の情報処理装置では、上記選択されたオブジェクト、および、上記関連項目は、写真であって、上記関連情報記憶部には、写真の撮影日時が属性として記憶されており、上記操作画面処理手段は、上記選択されたオブジェクトである写真の撮影日時と近い撮影日時の写真のアイコンほど、上記軌跡の終点の近くに配置することができる。
【0047】
上記構成によれば、操作画面処理手段によって、抽出された写真のアイコンが特定の配置位置に配置されるとき、操作画面処理手段は、選択されたオブジェクトとしての写真と撮影日時が近い写真のアイコンほど、上記軌跡の終点の近くに配置する。
【0048】
つまり、先の動作で写真が選択された次には、その写真と属性が類似している(ここでは、撮影日時が近い)写真が、優先順位がより高くなる、すなわち、選択される可能性がより高いと言える。
【0049】
このため、上述のように、写真の撮影日時の類似度に基づいて、操作画面処理手段が写真のアイコンを配置することにより、ユーザに選択される可能性が高い写真ほど、軌跡の終点近くに配置されるように、操作画面(結果物)をユーザに提供することが可能となる。
【0050】
したがって、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0051】
あるいは、本発明の情報処理装置では、上記関連項目は、動画コンテンツであって、上記関連情報記憶部には、動画コンテンツをユーザに推奨する度合いを示す推奨度が属性として記憶されており、上記操作画面処理手段は、上記推奨度が高い動画コンテンツのアイコンほど、上記軌跡の終点の近くに配置してもよい。
【0052】
上記構成によれば、操作画面処理手段によって、抽出された動画コンテンツのアイコンが特定の配置位置に配置されるとき、操作画面処理手段は、各動画コンテンツに関連付けられている推奨度が高い動画コンテンツのアイコンほど、上記軌跡の終点の近くに配置する。
【0053】
ユーザが、推奨された動画コンテンツを選択する傾向が強いことは自然なことであり、推奨度が高い動画コンテンツほど、優先順位が高い、すなわち、ユーザに選択される可能性は高くなると考えられる。
【0054】
このため、上述のように、動画コンテンツの推奨度に基づいて、操作画面処理手段がアイコンを配置することにより、ユーザに選択される可能性が高いアイコンほど、軌跡の終点近くに配置されるように、操作画面(結果物)をユーザに提供することが可能となる。
【0055】
したがって、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0056】
あるいは、本発明の情報処理装置では、上記軌跡取得手段は、上記表示部に表示されたオブジェクトを囲うように上記表示部の画面を移動した上記指示体の移動の軌跡を取得し、上記オブジェクト特定手段は、上記軌跡により囲われた領域に、少なくとも一部が含まれるオブジェクトを、選択されたオブジェクトとして特定し、上記操作画面処理手段は、上記抽出された関連項目のアイコンを、環の輪郭線上に並べて配置することが好ましい。
【0057】
上記構成によれば、軌跡取得手段が囲う動作の軌跡を取得し、この軌跡に基づいて、オブジェクト特定手段が、囲う動作によってユーザが選択したオブジェクトを特定する。続いて、関連項目抽出手段が、特定されたオブジェクトに関連する項目を抽出する。関連情報記憶部には、オブジェクトと該オブジェクトに関連する項目とが対応付けて記憶されているので、関連項目抽出手段によって抽出された関連項目は、ユーザによって選択されたオブジェクトに関連があるものばかりである。最後に、操作画面処理手段は、抽出された関連項目のアイコンを、囲う動作から連想されやすい環の形状に並べて配置する。なお、操作画面処理手段は、各アイコンを環の輪郭線上に並べる場合でも、その輪郭線上の特定の配置位置と、上記軌跡の終点との距離を参照して、優先順位が高いアイコンほど、上記終点近くに配置することを決定する。
【0058】
これにより、上述のようにしてアイコンが配置され、生成された操作画面がユーザに提示される。このように、本発明の情報処理装置は、オブジェクトの周囲を指示体(ペン、指、または、マウスで制御するカーソルなど)で「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの動作を契機として、その選択されたオブジェクトに関連する関連項目のアイコンを、環の形状に配置した操作画面をユーザに提供することができる。
【0059】
「囲う」の軌跡は、何かを囲むような形状になっているので、環の形状と、囲う動作によって得られた指示体の移動の軌跡とは類似していると言える。よって、先の、ユーザの囲う動作から、結果物(環状に配置されたアイコン)は連想されやすい。
【0060】
つまり、「オブジェクトを『囲う』動作を起こす」という事象から、「アイコンを環状に配置した操作画面が表示される」という事象への遷移は、ユーザの直感に反しない自然な流れであると言える。
【0061】
また、関連項目のアイコンを環状に配置したメニューリストは、線状の一次元的なメニューリストと比較して、次のようなメリットがある。例えば、一次元的なメニューリストでは、例えば、上から下へ、または、左から右へアイコンが配置されるため、配置位置に応じて各アイコンに意図せず優先順位が付いてしまう。これに対し、環状のメニューリストによれば、環状に配置されるすべてのアイコンを対等に扱うことが可能となる。
【0062】
以上のことから、本発明の情報処理装置は、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しないより一層自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0063】
本発明の情報処理装置では、上記操作画面処理手段は、上記選択されたオブジェクトの周囲にアイコンが配置されるように上記環の位置およびサイズを決定することが好ましい。
【0064】
上記構成によれば、オブジェクトの周囲を「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの動作に対して、情報処理装置は、そのオブジェクトの周囲にアイコンを配置するという結果を出力することができる。
【0065】
ユーザは、先に自分が囲んで選択したオブジェクトを囲むように関連項目のアイコンが配置された操作画面を結果物として得ることができる。これらのアイコンとオブジェクトとの位置関係は、先にユーザが実行した動作による指示体の移動の軌跡とオブジェクトとの位置関係に合致する。また、オブジェクトを囲うようにして得られた指示体の移動の軌跡は、アイコンが配置される環の形状に類似する。
【0066】
つまり、「オブジェクトを『囲う』動作を起こす」という事象から、「オブジェクトの周囲にアイコンが配置された操作画面が表示される」という事象への遷移は、ユーザの直感に反しないより自然な流れであると言える。
【0067】
さらに、関連項目のアイコンをオブジェクトの周囲に環状に配置したメニューリストは、線状の一次元的なメニューリストと比較して、次のようなメリットがある。例えば、一次元的なメニューリストでは、例えば、上から下へ、または、左から右へアイコンが配置されるため、配置位置に応じて各アイコンに意図せず優先順位が付いてしまう。これに対し、環状のメニューリストによれば、環状に配置されるすべてのアイコンを対等に扱うことが可能となる。さらに、一次元的なメニューリストを先に選択されたオブジェクトの近くに表示したとしても、オブジェクトと各アイコンとの関連性を表現することは難しい。これに対し、先に選択されたオブジェクトの周囲に環状のメニューリストを表示させれば、先に選択された(囲われた)オブジェクトと、その周囲の各アイコンとの間に関連性があるということをユーザに自然に認識させることが可能となる。
【0068】
以上のことから、本発明の情報処理装置は、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0069】
本発明の情報処理装置では、上記操作画面処理手段は、上記軌跡取得手段によって取得された軌跡、もしくは、その相似形または近似形を、上記環の形状として決定することが好ましい。
【0070】
上記構成によれば、ユーザがフリーハンドで任意の形状でオブジェクトを囲うという動作を行うが、このときの軌跡が、軌跡取得手段によって保持される。そして、操作画面処理手段は、操作画面を作成する際、上記のようにして得られた軌跡と同じまたは相似形の環の輪郭線上に、所定の領域(あるいはオブジェクトそのもの)を囲むようにして各アイコンを配置する。
【0071】
これにより、オブジェクトの周囲を「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの動作を契機として、アイコンを環状に配置するという結果を出力することができる。つまり、ユーザは、所定の領域(あるいはオブジェクトそのもの)を囲むように関連項目のアイコンが配置された操作画面を結果物として得ることができる。
【0072】
さらに、アイコンが配置される環の形状は、オブジェクトを囲うようにして得られた操作体の移動の軌跡に一致するか、それと相似の関係にある状態で操作画面に表示される。
【0073】
つまり、ユーザがオブジェクトを囲うと、「ユーザがオブジェクトを囲ったとおりに」アイコンが配置された操作画面が得られる。この事象の遷移は、ユーザの直感に反しないより自然な流れであると言える。
【0074】
また、ユーザが囲ったとおりの形状でアイコンが配置されるので、ユーザは思い通りの形状でオブジェクトを囲うことにより、思い通りの形状にアイコンが配置された操作画面を得ることができる。これにより、操作画面を表示して情報処理装置を操作する際の遊戯性が高まる。
【0075】
その上、ユーザは、アイコンの配置を予測して、自分が希望するとおりにオブジェクトを囲い、関連項目のアイコンを表示させることができるため、操作性はさらに向上する。
【0076】
以上のことから、本発明の情報処理装置は、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0077】
さらに、本発明の情報処理装置では、上記操作画面処理手段は、優先順位が最も高い関連項目のアイコンを、上記環の輪郭線上の、上記軌跡の終点に最も近い点に配置し、残りの関連項目の各アイコンを、優先順位が最も高い上記アイコンの配置位置を基準にして、上記環の輪郭線上に配置してもよい。
【0078】
上記構成によれば、操作画面処理手段は、優先順位が1位のアイコンを、環の輪郭線上の、軌跡の終点からの最短距離に必ず配置することが可能となる。つまり、ユーザに選択される可能性が最も高いアイコンを、ユーザの指示体(指など)がある位置の最も近くに表示させることが可能となり、高い確率で、ユーザが指示体を大きく動かさずに目的のアイコンを選択できるようにすることができる。
【0079】
あるいは、本発明の情報処理装置では、上記軌跡取得手段は、上記表示部に表示されたオブジェクトを選択する上記指示体の移動が生じるまでの所定期間に生じた上記指示体の軌跡を取得し、上記操作画面処理手段は、上記所定期間に取得された軌跡が、上記表示部の画面における特定の領域に偏っていると判断した場合に、上記特定の領域にアイコンが配置されるようにアイコンの位置を決定してもよい。
【0080】
上記構成によれば、軌跡取得手段は、オブジェクトを選択する動作だけでなく、過去の所定期間に生じた動作について軌跡を取得する。続いて、操作画面処理手段は、取得された軌跡によって、過去の所定期間において、表示部のどの位置に動作(指示体の移動)が生じたのかを把握することが可能となり、指示体の移動の軌跡が、表示部の特定の領域に集中しているのであれば、それによって指示体の移動位置の偏りを検知することができる。
【0081】
このように移動位置が偏っているということは、その領域しかタッチできない(あるいは、それ以外の領域はタッチし難い、指示体を移動させられない)という特殊な使用状況下で当該情報処理装置を利用していると推測できる。
【0082】
そこで、操作画面処理手段は、偏りが検出された領域(すなわち、指示体を移動させることが可能な限られた領域)にアイコンが配置されるように環の位置を決定する。
【0083】
これにより、ユーザが選択可能な領域にアイコンが表示されることになり、次にユーザがアイコンを選択する動作を行う場合には、選択可能な領域からすぐさま所望のアイコンを選択することができる。
【0084】
具体例を用いてより詳細に説明すると以下のとおりである。例えば、片手で操作する場合には、接触位置は、タッチパネルの画面下部左側の領域(左手で操作する場合)、または、画面下部右側の領域(右手で操作する場合)に偏る傾向がある。ユーザがこのような状況で情報処理装置を使用しているときに、接触動作が必要なオブジェクトまたはアイコンを、画面上部や手と反対側の画面下部に表示すると操作が煩雑になるという問題がある。なぜなら、ユーザは、目的のオブジェクトをすぐさまタッチできず、接触可能な領域にたぐり寄せるという余計な動作を行わなければならないか、両手操作に切り替えなければならないからである。
【0085】
そこで、本発明の情報処理装置は、上記構成によってユーザの使用状況を察することにより、上記の問題を解決することができる。つまり、本発明の情報処理装置を、操作体の接触位置の偏りを検出し、ユーザの指示体がすぐさま届くと推測される領域内に、アイコンを配置する構成とすることができる。
【0086】
これにより、ユーザが片手で上記情報処理装置を操作する場合には、タッチパネルの画面下部左側(あるいは右側)の領域内に収まるように、アイコンが表示されるので、ユーザは、片手操作で目的のアイコンをたぐり寄せる必要はなく、すぐさま所望のアイコンを選択することができる。
【0087】
あるいは、本発明の情報処理装置では、上記操作画面処理手段は、上記表示部の画面における、上記オブジェクトを選択する上記指示体の移動の軌跡と重なる特定の領域にアイコンが配置されるようにアイコンの位置を決定してもよい。
【0088】
上記構成によれば、ユーザが指などの指示体で選択した位置、あるいは、その近辺にアイコンが配置されることになる。ユーザがオブジェクトを選択した位置は、ユーザにとって選択可能領域であると言える。よって、確実に、選択可能領域にアイコンを表示させることが可能となる。
【0089】
本発明の情報処理装置では、当該情報処理装置が備える入力部および上記表示部はタッチパネルを構成するものであり、上記軌跡取得手段は、上記タッチパネル上を移動した上記指示体の移動の軌跡を取得してもよい。
【0090】
上記構成によれば、ユーザがオブジェクトを選択するために行う接触動作と、その動作に応じて得られる結果物との関連性を高めることが可能となり、ユーザの直感に反しない自然な流れで操作画面を提供することができる。結果として、タッチパネルを備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0091】
本発明の情報処理装置では、当該情報処理装置が備える入力部は、上記表示部に表示されるカーソルを移動させる指示を当該情報処理装置に入力するものであり、上記軌跡取得手段は、上記指示体としてのカーソルの移動の軌跡を取得してもよい。
【0092】
上記構成によれば、ユーザが、入力部を操作して、オブジェクトを選択するために行う入力動作と、その動作に応じて得られる結果物との関連性を高めることが可能となり、ユーザの直感に反しない自然な流れで操作画面を提供することができる。結果として、表示部と入力部とを備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0093】
本発明の操作画面表示方法は、上記課題を解決するために、情報処理装置における操作画面表示方法であって、上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、上記軌跡取得ステップにて取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップにて抽出された関連項目のアイコンを特定の位置に配置して、上記表示部に表示する操作画面処理ステップとを含み、上記操作画面処理ステップでは、上記抽出された関連項目の中で、優先順位が高い関連項目のアイコンほど、上記軌跡取得ステップにて取得された軌跡の終点の近くに配置することを特徴としている。
【0094】
上記方法によれば、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および上記表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0095】
なお、上記情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0096】
本発明の情報処理装置は、上記課題を解決するために、タッチパネルを備えた情報処理装置において、表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、上記軌跡取得手段によって取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを特定の位置に配置して、上記表示部に表示する操作画面処理手段とを備え、上記操作画面処理手段は、上記抽出された関連項目の中で、優先順位が高い関連項目のアイコンほど、上記軌跡取得手段によって取得された軌跡の終点の近くに配置することを特徴としている。
【0097】
本発明の操作画面表示方法は、上記課題を解決するために、情報処理装置における操作画面表示方法であって、上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、上記軌跡取得ステップにて取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップにて抽出された関連項目のアイコンを特定の位置に配置して、上記表示部に表示する操作画面処理ステップとを含み、上記操作画面処理ステップでは、上記抽出された関連項目の中で、優先順位が高い関連項目のアイコンほど、上記軌跡取得ステップにて取得された軌跡の終点の近くに配置することを特徴としている。
【0098】
したがって、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【図面の簡単な説明】
【0099】
【図1】本発明の一実施形態におけるタブレット端末の要部構成を示す機能ブロック図である。
【図2】本発明の一実施形態におけるタブレット端末のハードウェア構成を示すブロック図である。
【図3】本発明の一実施形態におけるタブレット端末の外観を示す平面図である。
【図4】タブレット端末をユーザが把持および操作するときの様子を説明する図であり、(a)は、タブレット端末が片手で把持され、その手で操作される様子を説明する図であり、(b)は、タブレット端末が一方の手で把持され、もう一方の手で操作される様子を説明する図である。
【図5】タブレット端末のオブジェクト特定部の動作を説明する図であり、(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行った様子を示す図であり、(b)は、(a)に示す接触動作に伴って、接触情報生成部が生成した接触情報の一例を示す図であり、(c)は、接触が検知されたt0〜tnの期間に表示部に表示された映像フレームのマップ情報の一例を示す図である。
【図6】タブレット端末の関連情報記憶部に記憶される関連情報の一例を示す図である。
【図7】タブレット端末のアイコン記憶部に記憶されるアイコン画像の具体例を示す図である。
【図8】タブレット端末のアイコン順位決定部が、各アイコンに付与した優先順位の一例を示す図である。
【図9】タブレット端末のアイコン配置決定部の動作の具体例を説明する図であり、(a)は、アイコン配置決定部が取得するアイコン配置パターンの具体例を示す図であり、(b)は、アイコン配置決定部によって決定されたアイコンの配置の具体例を示す図である。
【図10】タブレット端末の操作画面処理部によって実行された操作画面生成処理の結果、得られた操作画面の具体例を示す図である。
【図11】タブレット端末による操作画面表示処理の流れを示すフローチャートである。
【図12】タブレット端末の接触情報生成部およびオブジェクト特定部の動作を説明する図であり、(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトをレ点で「チェックする」という接触動作を行ったことを示す図であり、(b)は、同図の(a)に示す接触動作に伴って、接触情報生成部が生成した接触情報の一例を示す図である。
【図13】タブレット端末のアイコン配置決定部が取得するアイコン配置パターンの他の具体例を示す図である。
【図14】タブレット端末の操作画面処理部によって実行された操作画面生成処理の結果、得られた操作画面の他の具体例を示す図である。
【図15】本発明の他の実施形態におけるタブレット端末の要部構成を示す機能ブロック図である。
【図16】タブレット端末の操作画面処理部の各部の処理内容を説明する図であり、(a)は、操作画面処理部によるオブジェクトの表示処理の一例を説明する図であり、(b)は、操作画面処理部の環形状決定部が決定した、環形状に特化したアイコン配置パターンの一例を示す図である。
【図17】タブレット端末の接触情報記憶部に記憶される接触情報の具体例を示す図であり、(a)は、ユーザが目的のオブジェクトを選択するために、オブジェクトを任意の形状で「囲う」接触動作を行った様子を示す図であり、(b)は、(a)に示す接触動作に伴って、接触情報生成部が生成した接触情報の一例を示す図である。
【図18】タブレット端末の環形状決定部によって決定された、アイコン配置パターンの他の例を示す図である。
【図19】タブレット端末の操作画面処理部が生成する操作画面における、オブジェクトおよび環状アイコン群の他の配置例を示している。
【図20】タブレット端末の操作画面処理部が生成する操作画面における、オブジェクトおよび環状アイコン群の他の配置例を示している。
【図21】関連項目のアイコン表示方法の一変形例を示す図であり、(a)は、最初にオブジェクトの周囲に小さく配置されたアイコンの環の様子を示し、(b)は、アイコンの環が拡大する途中の様子を示し、(c)は、(a)から(b)を経て、最終的にアイコンの環が画面中央に大きく配置された様子を示している。
【図22】関連項目のアイコン表示方法の一変形例を示す図であり、(a)は、接触情報の一具体例を示す図であり、(b)、(c)、(d)、(e)は、複数のアイコンが一定の間隔で順次表示される様子を示す図であり、(f)は、最終的に得られる操作画面の一具体例を示す図である。
【図23】関連項目のアイコン表示方法の一変形例を示す図であり、(a)は、接触情報の一具体例を示す図であり、(b)は、t0の時点の操作画面の一例を示す図であり、(c)は、taの時点の操作画面の一例を示す図であり、(d)は、tbの時点の操作画面の一例を示す図であり、(e)は、tcの時点の操作画面の一例を示す図であり、(f)は、tnの時点の操作画面の一例を示す図である。
【図24A】本発明の他の実施形態におけるタブレット端末による操作画面表示処理の流れを示すフローチャートである。
【図24B】本発明の他の実施形態におけるタブレット端末による操作画面表示処理の流れを示すフローチャートである。
【図25】ユーザの使用状況に応じて操作画面を提示することが可能な、本発明のタブレット端末の動作を説明する図であり、(a)は、ユーザが左手で操作しているという状況の一例を説明する図であり、(b)は、(a)の接触動作に伴って生成された接触情報の具体例を示す図である。
【図26】操作画面処理部の環形状決定部によって決定された環形状にしたがってアイコンが配置されたときの操作画面の一例を示す図である。
【図27】(a)〜(c)は、タブレット端末のアイコン配置決定部が行う、アイコン配置位置と優先順位との関連付けの具体例を示す図である。
【図28】(a)および(b)は、ユーザが、接触可能領域上でドラッグすることにより、アイコンの環を回転させる様子を説明する図である。
【図29】本発明の情報処理装置としてのタブレット端末を、タブレットPCで実現した場合の様子を示す図である。
【図30】(a)は、タブレット端末のアイコン配置決定部によって、指示体の軌跡および軌跡の終点tnがプロットされたアイコン配置パターンの具体例を示す図であり、(b)は、アイコン配置決定部によって、各アイコン配置位置に優先順位が関連付けられた結果を示す図である。
【図31】本発明の情報処理装置としてのタブレット端末を、タブレットPCで実現した場合の様子を示す図である。
【図32】(a)は、タブレット端末のアイコン配置決定部によって、指示体の軌跡および軌跡の終点tnがプロットされたアイコン配置パターンの具体例を示す図であり、(b)は、アイコン配置決定部によって、各アイコン配置位置に優先順位が関連付けられた結果を示す図である。
【図33】タブレット端末のアイコン配置決定部が決定したアイコン配置パターンの一例を示す図である。
【発明を実施するための形態】
【0100】
≪実施形態1≫
本発明の実施形態について、図1〜図14に基づいて説明すると以下の通りである。
【0101】
以下で説明する実施形態では、一例として、本発明の情報処理装置を、タブレット端末に適用した場合について説明する。本実施形態では、一例として、上記タブレット端末は、片手で操作することが可能な、小型で携帯性に優れたスマートフォンなどで実現される。
【0102】
しかし、本発明の情報処理装置は、上記の例に限定されず、あらゆるサイズの情報処理装置(例えば、ノートサイズのタブレットPC、または、大型のタッチパネルを備えた電子黒板など)に、本発明の情報処理装置を適用してもよい。
【0103】
〔タブレット端末のハードウェア構成〕
図2は、本実施形態におけるタブレット端末100のハードウェア構成を示すブロック図である。タブレット端末100は、図2に示すとおり、少なくとも、制御部10、入力部11、表示部12および記憶部19を備えている。さらに、タブレット端末100は、本来備わっている機能を実現するために、操作部13、外部インターフェース14、通信部15、無線通信部16、音声出力部17、音声入力部18を備えていてもよい。
【0104】
また、タブレット端末100がスマートフォンなどの多機能携帯通信端末である場合には、ここでは省略したが、タブレット端末100は、通話処理部、撮影を行う撮像部(レンズ・撮像素子など)、放送受像部(チューナ・復調部など)、GPS、および、センサ(加速度センサ、傾きセンサなど)他、スマートフォンが標準的に備えている各種部品を備えていてもよい。
【0105】
入力部11は、ユーザがタブレット端末100を操作するための指示信号を、タッチパネルを介して入力するためのものである。入力部11は、指示体(表示部12の画面位置を指示するもの、ここでは、例えば、指またはペンなど)の接触を受け付けるタッチ面と、指示体とタッチ面との間の接触/非接触(接近/非接近)、および、その接触(接近)位置を検知するためのタッチセンサとで構成されている。タッチセンサは、指示体とタッチ面との接触/非接触を検知できればどのようなセンサで実現されていてもかまわない。例えば、圧力センサ、静電容量センサ、光センサなどで実現される。
【0106】
表示部12は、タブレット端末100が情報処理するオブジェクト(アイコンなどのあらゆる表示対象物)、および、処理の結果物を表示したり、ユーザがタブレット端末100を操作するための操作画面をGUI(Graphical User Interface)画面として表示したりするものである。表示部12は、例えば、LCD(液晶ディスプレイ)などの表示装置で実現される。
【0107】
本実施形態では、入力部11と表示部12とは一体に成形されており、これらがタッチパネルを構成している。したがって、このような実施形態では、ユーザが画面位置を指示するために動かす(操作する)対象、すなわち、操作体(ここでは、指またはペンなど)は、同時に、表示部12の画面上の位置を指示する指示体でもある。
【0108】
例えば、本発明のタブレット端末100のタッチパネルを投影型静電容量方式のタッチパネルで実現する場合、具体的には、上記タッチセンサは、ITO(Indium Tin Oxide)などによるマトリクス状の透明電極パターンを、ガラス、プラスチックなどの透明基板上に形成したものとなる。タッチセンサに指示体(ユーザの指またはペン等)が接触または接近すると、その付近の複数の透明電極パターンにおける静電容量が変化する。従って、制御部10は、上記透明電極パターンの電流または電圧の変化を検出することにより、上記指示体が接触または接近した位置を検出することができる。
【0109】
以下では、「接触を検知する」、「接触動作」、「接触位置」などというときの「接触」という用語は、指示体とタッチ面とが完全に接する(接している)状態のみならず、指示体とタッチ面とが、タッチセンサが検知可能な程度に接近する(接近している)状態も含んでいる。
【0110】
操作部13は、ユーザがタブレット端末100に指示信号を直接入力するためのものである。例えば、操作部13は、ボタン、スイッチ、キー、ジョグダイアルなどの適宜の入力機構で実現される。例えば、操作部13は、タブレット端末100の電源のオン/オフを行うスイッチである。
【0111】
外部インターフェース14は、外部の装置をタブレット端末100に接続するためのインターフェースである。外部インターフェース14は、例えば、これに限定されないが、外付けの記録媒体(メモリカードなど)を挿し込むためのソケット、HDMI(High Definition Multimedia Interface)端子、USB(Universal Serial Bus)端子などで実現される。タブレット端末100の制御部10は、外部インターフェース14を介して、外部の装置とデータの送受信を行うことができる。
【0112】
通信部15は、通信網を介して外部の装置と通信を行うものである。通信部15は、通信網を介して、各種通信端末に接続し、タブレット端末100と通信端末との間でのデータの送受信を実現する。さらに、タブレット端末100が、スマートフォンなどの携帯通信端末である場合には、通信部15は、携帯電話回線網を介して、音声通話データ、電子メールデータなどを、他の装置との間で送受信する。
【0113】
無線通信部16は、無線で外部の装置と通信を行うものである。無線通信部16は、特に限定されないが、IrDA、IrSSなどの赤外線通信、Bluetooth通信、WiFi通信、非接触型ICカードのいずれかの無線通信手段を実現するものであってもよいし、これらの手段を複数実現するものであってもよい。タブレット端末100の制御部10は、無線通信部16を介して、タブレット端末100の周辺にある機器と通信し、それらの機器とデータの送受信を行うことができる。
【0114】
音声出力部17は、タブレット端末100が処理した音声データを、音声として出力するものであり、スピーカ、ヘッドフォン端子およびヘッドフォン等により実現される。
【0115】
音声入力部18は、タブレット端末100外部で発生した音声の入力を受け付けるものであり、マイク等により実現される。
【0116】
記憶部19は、タブレット端末100の制御部10が実行する(1)制御プログラム、(2)OSプログラム、(3)制御部10が、タブレット端末100が有する各種機能を実行するためのアプリケーションプログラム、および、(4)該アプリケーションプログラムを実行するときに読み出す各種データを記憶するものである。あるいは、(5)制御部10が各種機能を実行する過程で演算に使用するデータおよび演算結果等を記憶するものである。例えば、上記の(1)〜(4)のデータは、ROM(read only memory)、フラッシュメモリ、EPROM(Erasable ROM)、EEPROM(Electrically EPROM)、HDD(Hard Disc Drive)などの不揮発性記憶装置に記憶される。例えば、上記の(5)のデータは、RAM(Random Access Memory)などの揮発性記憶装置に記憶される。どのデータをどの記憶装置に記憶するのかについては、タブレット端末100の使用目的、利便性、コスト、物理的な制約などから適宜決定される。
【0117】
制御部10は、タブレット端末100が備える各部を統括制御するものである。制御部10は、例えば、CPU(central processing unit)などで実現され、タブレット端末100が備える機能は、制御部10としてのCPUが、ROMなどに記憶されているプログラムを、RAMなどに読み出して実行することで実現される。制御部10が実現する各種機能(特に、本発明の操作画面表示機能)については、別図を参照しながら後述する。
【0118】
〔タブレット端末の外観〕
図3は、タブレット端末100の外観を示す平面図である。図3に示すとおり、タブレット端末100は、タッチパネルとしての入力部11および表示部12を備えているものである。また、タブレット端末100には、これらは必須の構成ではないが、操作部13、外部インターフェース14、無線通信部16、音声出力部17、音声入力部18などが備えられている。例えば、無線通信部16が、赤外線通信手段で実現されている場合、タブレット端末100の側面には、無線通信部16として赤外線送受光部が設けられる。
【0119】
図4は、タブレット端末100をユーザが把持および操作するときの様子を説明する図である。より詳細には、図4の(a)は、タブレット端末100が片手で把持され、その手で操作される様子を説明する図であり、図4の(b)は、タブレット端末100が一方の手で把持され、もう一方の手で操作される様子を説明する図である。
【0120】
本実施形態では、タブレット端末100は、片手で把持可能な手のひらサイズの情報処理装置であり、図4の(a)に示すように、片手でタブレット端末100を把持したまま、その手の親指で入力部11のタッチ面を操作できるものである。そして、タブレット端末100は、例えば、親指が届かない位置に操作対象となるアイコンが存在する場合、フリック動作で、親指近辺にアイコンを引き寄せて、親指でアイコンを囲ったり、タップしたりすることにより、アイコンの選択を行うことができるものである。
【0121】
また、図4の(b)に示すように、ユーザは、一方の手でタブレット端末100を把持し、もう一方の手の指で入力部11のタッチ面を操作してもよい。あるいは、図示しないが、タブレット端末100を横長にして、その両脇を両手で把持し、両手の親指で入力部11のタッチ面を操作してもよい。
【0122】
〔タブレット端末の機能〕
次に、タブレット端末100の機能構成について説明する。図1は、本実施形態におけるタブレット端末100の要部構成を示す機能ブロック図である。
【0123】
図1に示すとおり、本実施形態にかかるタブレット端末100の制御部10は、本発明の操作画面表示機能を実現するための機能ブロックとして、少なくとも、接触情報生成部21、オブジェクト特定部22、関連項目抽出部23、および、操作画面処理部24を備えている。そして、より詳細には、操作画面処理部24は、アイコン順位決定部31およびアイコン配置決定部33を備えている。
【0124】
上述した制御部10の各機能ブロックは、CPU(central processing unit)が、ROM(read only memory)等で実現された不揮発性記憶装置に記憶されているプログラムを不図示のRAM(random access memory)等に読み出して実行することで実現できる。
【0125】
また、記憶部19は、制御部10の上記の各部が操作画面表示機能を実行する際に、データの読み出しまたは書き込みを行うための記憶部として、具体的には、フレームマップ記憶部41、関連情報記憶部42、アイコン記憶部43、および、接触情報記憶部44で構成されている。
【0126】
接触情報生成部21は、入力部11のタッチセンサから出力される信号を処理して、接触情報を生成するものである。接触情報とは、指示体(例えば指)の接触位置の座標位置を示す接触座標情報を少なくとも含んでいる。これにより、制御部10の各部は、上記接触情報から上記指示体の移動の軌跡を得ることができる。本実施形態では、さらに、上記軌跡を構成する各点に対して、接触が起こった時間を示す接触時間情報(指示体の移動時間を示す移動時間情報)が必要に応じて対応付けられていてもよい。
【0127】
接触情報記憶部44は、接触情報生成部21によって生成された接触情報を記憶するものである。接触情報は、オブジェクト特定部22が即時利用可能なように図示しない記憶部(キャッシュなど)に一時的に記憶されてもよい。さらに、本実施形態では、接触情報は、操作画面処理部24および操作画面処理部24の各部が、操作画面生成処理(アイコンを表示する処理を含む)を実行するときに利用可能なように、接触情報記憶部44に記憶される。接触情報記憶部44を不揮発性記憶装置で実現するか否か、すなわち、この接触情報を不揮発的に記憶するか否かは、操作画面処理部24が実行する操作画面表示機能の目的、想定利用環境、あるいは、タブレット端末100自体の使用目的、利便性、コスト、物理的な制約などから適宜決定される。
【0128】
接触情報生成部21が接触情報を生成する手順について、より詳細には、入力部11のタッチセンサが、タッチ面と指示体(本実施形態では、指)との接触を検知してから、その非接触を検知するまでの間、接触情報生成部21は、タッチセンサから出力される信号を取得する。この信号には、「接触」を検知した旨と、その接触位置を示す情報とが含まれており、接触情報生成部21は、この信号に基づいて、接触位置を座標で示す接触座標情報を生成する。さらに、接触情報生成部21は、接触が検知されてからそれが非接触となるまでの間の時間を測定し、接触時間情報を接触座標情報に対応付ける。接触情報生成部21は、タブレット端末100に搭載される時計部が保持する絶対的な時刻情報を取得して利用してもよいが、本実施形態では、接触情報生成部21は、接触が検知されてから計時を開始し、相対的な接触時間情報を得る。例えば、接触情報生成部21は、接触が最初に検知された時点(t0)を0.00秒として経過時刻を計測し、接触が最後に検知された時点(tn)まで、上記計測を継続させて、接触位置に対応する相対的な接触時間情報を取得すればよい。接触情報生成部21は、得られた接触時間情報を接触座標情報に対応付けて接触情報を生成する。本実施形態では、生成された接触情報は、オブジェクト特定部22に供給され、オブジェクト特定部22によって利用される。また、本実施形態では、接触情報生成部21は、少なくとも、接触動作が終了した位置の座標情報を取得しておき、この情報を含めて接触情報を生成する。さらに、接触情報生成部21は、接触動作が開始された位置の座標情報も取得してもよい。さらに、接触情報生成部21は、接触動作の開始および終了位置のそれぞれに対して、接触時間情報を対応付けてもよい。このようにして生成された接触情報は、操作画面処理部24に供給され、操作画面処理部24および操作画面処理部24に含まれる各部によって利用される。例えば、上記のデータ構造を有する接触情報により、操作画面処理部24は、少なくとも、軌跡の終点の位置を認識することができる。
【0129】
オブジェクト特定部22は、ユーザの接触動作によって選択されたオブジェクトを特定するものである。オブジェクト特定部22は、接触情報生成部21によって生成された接触情報と、その接触が起こっている間に表示部12に表示されていた映像フレームのマップ情報とを対比する。これにより、オブジェクト特定部22は、接触動作によって指し示されたオブジェクトを、表示部12に表示中のオブジェクトの中から特定することができる。
【0130】
フレームマップ記憶部41は、接触時の表示部12に出力されていた映像フレームのマップ情報を記憶するものである。マップ情報は、タッチパネルに表示されている映像フレームのレイアウトを示す情報である。具体的には、マップ情報は、表示されている各オブジェクトについて、それらを個々に識別する情報と、各オブジェクトの形状、大きさ、および、表示位置の情報を含む。つまり、マップ情報は、各オブジェクトをタッチパネルの座標系に対応させてプロットしたものである。
【0131】
図5は、オブジェクト特定部22の動作を説明する図である。より詳細には、図5の(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。図5の(b)は、同図の(a)に示す接触動作に伴って、接触情報生成部21が生成した接触情報の一例を示す図である。図5の(c)は、接触が検知されたt0〜tnの期間に表示部12に表示された映像フレームのマップ情報の一例を示す図である。
【0132】
図5の(a)に示すとおり、ユーザが、タブレット端末100のタッチパネルに表示されているオブジェクト80(ここでは、写真)のうちの1つを「囲う」という接触動作を実行したとする。接触動作は、例えば、接触点が同図の破線の位置を通過するようにt0〜tnの期間に実行されたとする。
【0133】
オブジェクト特定部22は、接触情報生成部21から、図5の(b)に示すような接触情報を取得する。本実施形態では、接触情報の座標系は、タブレット端末100のタッチパネルの座標系に対応し、パネルの最左上端を原点とするものである。図5の(b)において、ユーザの「囲う」接触動作の軌跡のうち、始点をt0、終点をtnとして示しているが、その間の各点にも接触時間情報が関連付けられていてもよい。
【0134】
オブジェクト特定部22は、フレームマップ記憶部41から、図5の(c)に示されるマップ情報(すなわち、t0〜tnの期間において表示部12に表示された映像フレームのレイアウト)を取得する。そして、オブジェクト特定部22は、上記接触情報と上記マップ情報とを対比して、接触情報から得られたユーザの指の軌跡によって特定される領域(選択領域)に全部あるいはほぼ重なるオブジェクト80を選択されたオブジェクトであるとして特定する。図5に示す例では、オブジェクト特定部22は、図5の(c)の「写真1」を選択されたオブジェクトとして特定する。オブジェクト特定部22は、特定したオブジェクトの情報を、関連項目抽出部23に供給する。
【0135】
なお、軌跡によって特定される選択領域について、オブジェクト特定部22は、軌跡が閉曲線の場合、その軌跡によって囲われる領域内(図5の(c)の太枠内斜線領域)を選択領域として特定してもよいし、あるいは、軌跡が閉曲線であってもそうでなくとも上記軌跡の外接矩形内を選択領域として特定してもよい。オブジェクト特定部22は、軌跡に基づいて、上記の例に限定されない所定の規則に基づいて特定の選択領域を求める。
【0136】
図5の(a)〜(c)は、一例として、ユーザがオブジェクトを選択するための接触動作が「囲う」である場合のオブジェクトの特定方法を示しているが、本発明のタブレット端末100の構成は上記に限定されない。例えば、ユーザは、所望のオブジェクトを指すときに、単に「タップする」という接触動作(シングルタップでもダブルタップでもよい)でオブジェクトを選択してもよいし、オブジェクトにチェックマーク(レ点または×印など)を入れるような「チェックする」という接触動作で選択してもよいし、オブジェクトを斜め上から斜め下に払うような「フリックする」という接触動作で選択してもよいし、オブジェクトを所定期間押し続ける「長押しする」という接触動作で選択してもよい。タブレット端末100は、上述のいずれの接触動作を「オブジェクトを選択するための動作」に割り当ててもよく、オブジェクト特定部22は、割り当てられた接触動作に応じて適切に、ユーザが指し示すオブジェクトを特定できる構成である。
【0137】
関連項目抽出部23は、オブジェクト特定部22によって特定されたオブジェクト、すなわち、ユーザによって選択されたオブジェクトに関連する関連項目を抽出するものである。オブジェクトが選択されたときに、その選択されたオブジェクトに関連性が深い項目が、関連項目抽出部23によって抽出されることになっている。
【0138】
例えば、オブジェクトが「写真」などのデータである場合、写真に対しては、「表示する」、「編集する」、「メールに添付して送信する」、「周辺機器(テレビなど)に転送する」、「印刷する」などの動作が実行されることが想定される。そこで、「動作対象」であるオブジェクトに対して実行される「動作」の関係にあたる項目がオブジェクトの関連項目として抽出されてもよい。
【0139】
あるいは、オブジェクトが「写真」などのデータである場合、その写真を特定の人に送ることが想定される。そこで、動作対象であるオブジェクトに対して動作が実行されるときの「動作相手」の関係にあたる項目が関連項目として抽出されてもよい。
【0140】
あるいは、オブジェクトが複数の写真またはその他のデータを含む「アルバム」または「フォルダ」である場合、そのオブジェクトに含まれる写真またはデータをユーザは所望していると考えられる。このように、オブジェクトの下位層に属する項目が関連項目として抽出されてもよい。
【0141】
関連情報記憶部42は、オブジェクトと項目との関連性を示す関連情報を記憶するものである。図6は、関連情報記憶部42に記憶される関連情報の一例を示す図である。
【0142】
関連情報は、図6に示すとおり、「オブジェクト」ごとに、少なくとも「関連項目」が対応付けられた情報である。関連情報は、この対応付けによって、オブジェクトと項目との関連性を示している。
【0143】
関連項目抽出部23は、オブジェクト特定部22によってオブジェクトが特定されると、関連情報記憶部42に記憶されている関連情報を参照し、特定されたオブジェクトに関連付けられている項目を関連項目として抽出する。
【0144】
例えば、図5の(a)〜(c)に示すとおり、オブジェクト特定部22が、選択されたオブジェクトは「写真1」であると特定したとする。この場合、関連項目抽出部23は、「写真1」はオブジェクトとしては「写真」に分類されるので、関連情報の中から、オブジェクト「写真」に関連付けられている関連項目群60を抽出する。
【0145】
関連項目抽出部23によって抽出された関連項目の情報は、操作画面処理部24に供給される。そして、抽出された関連項目は、先に選択されたオブジェクトに関連のある項目として、選択可能に(例えば、アイコンで)表示される。
【0146】
この構成には限定されないが、本実施形態では、図6に示すとおり、さらに「関連項目」ごとに、アイコンが割り当てられていてもよい。例えば、オブジェクト「写真」に関連付けられた、関連項目「テレビで表示する(テレビに転送する)」には、アイコン「1:テレビ」が関連付けられている。アイコン「1:テレビ」は、例えば、テレビのイラストなどが描かれたアイコンであって、「写真をテレビに送って表示させること」を想起させる絵柄であることが好ましい。その他の関連項目についても、その関連項目の内容を想起させる相応しい絵柄のアイコンがそれぞれ割り当てられている。
【0147】
このような関連情報に基づいて、関連項目抽出部23は、抽出した関連項目のそれぞれに対応するアイコン(あるいは、アイコンの識別情報)を、操作画面処理部24に供給してもよい。これにより操作画面処理部24は、関連項目抽出部23によって指定されたアイコンを表示するべく処理を進めることができる。
【0148】
なお、本実施形態では、関連情報は、関連項目のそれぞれについて、その関連項目の性質あるいは分類などを示す情報、すなわち、「属性」を保持している。本実施形態では、属性は、特に、関連項目がユーザに選択される可能性(の高さ)を求めるための指標となることが好ましい。本実施形態では、属性の一例として、「選択回数」の情報が、関連項目ごとに関連情報記憶部42に記憶されている。属性「選択回数」は、かつてのユーザ操作によって、その関連項目が、今まで何回選択されたのかを示す情報である。選択された回数は、タブレット端末100が使用され始めてから今までの累積回数がカウントされたものであってもよい。あるいは、選択された回数は、電源オフ、所定期間経過または履歴消去などのイベント発生の度にリセットされて、その度に一からカウントされたものであってもよい。関連項目の属性は上記に限定されず、関連情報は、関連項目の性質あるいは分類などを示す情報であれば、あらゆる種類の属性を保持していてもよい。関連項目の属性は、操作画面処理部24およびその各部によって必要に応じて読み出される。
【0149】
操作画面処理部24は、オブジェクト、および、選択されたオブジェクトに関連する関連項目(のアイコン)を、ユーザに選択可能に表示するための操作画面を生成する処理(操作画面生成処理)を行うものである。
【0150】
図7は、アイコン記憶部43に記憶されるアイコン画像の具体例を示す図である。図7に示すとおり、本実施形態では、各アイコン画像は、アイコン識別情報によって識別可能となっている。例えば、「1:テレビ」のアイコン識別情報には、テレビが描かれたアイコン画像が関連付けられている。また、図示していないが、よく通話する知人など、個人情報を表すアイコンとして、その人の似顔絵やアバターの画像が用いられてもよい。
【0151】
操作画面処理部24は、関連項目抽出部23によって抽出された関連項目に割り当てられたアイコン画像を、アイコン記憶部43から読み出して、これらが適切な位置および適切なタイミングで表示されるように操作画面を生成し、図示しない表示制御部を介して、表示部12に出力する。
【0152】
具体的には、本実施形態では、操作画面処理部24は、接触動作によって選択されたオブジェクトに関連する関連項目のアイコンを、所定のアイコン配置パターンに沿って表示させる機能を有している。
【0153】
操作画面処理部24は、本実施形態では、アイコン順位決定部31およびアイコン配置決定部33を少なくとも含む構成である。アイコン順位決定部31およびアイコン配置決定部33は、操作画面処理部24が実行する操作画面生成処理の一部の機能を担うものである。
【0154】
アイコン順位決定部31は、関連項目の属性に基づいて、関連項目抽出部23によって抽出された関連項目に優先順位を付与するものである。あるいは、アイコン順位決定部31は、抽出された関連項目に関連付けられたアイコンに優先順位を付与してもよい。
【0155】
本実施形態では、上述したとおり、関連情報には、関連項目の属性の1つとして、「選択回数」のフィールドが含まれている。そこで、アイコン順位決定部31は、抽出された関連項目の「選択回数」が多い順に、各関連項目または各アイコンに優先順位を付与する。ここでは、選択回数が多い関連項目ほど、そのアイコンがユーザに選択される可能性が高いと考えられ、したがって、高い優先順位が付与される。
【0156】
図8は、アイコン順位決定部31が、各アイコンに付与した優先順位の一例を示す図である。
【0157】
例えば、図5の(a)または(c)に示すとおり、オブジェクト80(すなわち、写真1)が、接触動作によって選択され、特定されたことにより、関連項目抽出部23が、図6に示す関連項目の中から、関連項目群60を抽出したとする。
【0158】
アイコン順位決定部31は、接触情報記憶部44に記憶されている、関連情報(図6)から、抽出された関連項目のそれぞれに対応付けられている、属性「選択回数」と、アイコン識別情報とを読み出す。そして、アイコン順位決定部31は、それぞれのアイコンに対して、対応する「選択回数」が示す選択回数順に、優先順位を付与する。図6および図8に示す例では、「選択回数」が多い順に各アイコンをソートすると、「2:プリンタ」、「4:写真表示」、「1:テレビ」、「8:メモリカード」、「3:メール」、「6:パレット」、「7:ゴミ箱」、「5:情報表示」となるので、これらに対して、順に、1位から8位までの優先順位を付与する。この優先順位の付与結果は、操作画面処理部24に返される。
【0159】
アイコン配置決定部33は、関連項目のアイコンの配置を決定するものである。アイコン配置決定部33の機能を図9を参照して説明する。図9は、アイコン配置決定部33の動作の具体例を説明する図であり、より詳細には、図9の(a)は、アイコン配置決定部33が取得するアイコン配置パターンの具体例を示す図であり、図9の(b)は、アイコン配置決定部33によって決定されたアイコンの配置の具体例を示す図である。
【0160】
本実施形態では、まず、アイコン配置決定部33は、アイコン配置パターンを取得し、アイコン配置パターンにおいて定義されたアイコン配置位置のそれぞれに、上述の優先順位を対応付ける。アイコン配置パターンとは、アイコンを何個、および、アイコンをタッチパネル上のどの位置に配置するのかをパターン化して定義したものである。本実施形態では、一例として、タブレット端末100は、記憶部19の図示しないいずれかの領域において、1つの固定されたアイコン配置パターンを保持しており、アイコン配置決定部33は、そのアイコン配置パターンを取得する。しかし、タブレット端末100は上記の構成に限定されず、記憶部19において、複数種類のアイコン配置パターンを保持していてもよく、アイコン配置決定部33が必要に応じてアイコン配置パターンを1つ選択する構成であってもよい。あるいは、図示しない配置パターン決定部が、入力された接触動作の移動の軌跡にしたがって動的にアイコン配置パターンを決定し、これをアイコン配置決定部33に供給する構成であってもよい。
【0161】
本実施形態では、図9の(a)に示すとおり、タッチパネルの画面いっぱいに配置された環(縦長の楕円)の輪郭線上に8個のアイコンを均等な間隔で配置することを定義したアイコン配置パターンが、一例として、記憶部19に保持されている。しかし、図9の(a)は、本発明のアイコン配置パターンをこの具体例に限定する意図は無い。
【0162】
本実施形態では、アイコン配置決定部33は、図9の(a)に示すアイコン配置パターンにおいて定義された8個のアイコンの配置位置に、優先順位を対応付ける。
【0163】
ここで、アイコン配置決定部33は、接触情報記憶部44に記憶された接触情報に基づいて、アイコンの配置位置と優先順位との関連付けを行う。
【0164】
詳細には、アイコン配置決定部33は、接触情報記憶部44から、先に生成されている接触情報を取得する。ここでは、アイコン配置決定部33は、接触情報のうち、軌跡の終点tnの接触座標情報のみを取得してもよい。次に、アイコン配置決定部33は、取得したアイコン配置パターンに軌跡の終点tnをプロットする。そして、アイコン配置決定部33は、終点tnとの距離が近い配置位置から順に、上位の優先順位を関連付ける。
【0165】
具体的には、図9の(a)に示すとおり、A〜Hの8個の配置位置が、終点tnとの距離が近い順に並べられた場合に、H、A、G、B、C、F、D、Eとなるとすると、アイコン配置決定部33は、この順に、1位から8位までの優先順位を関連付ける。
【0166】
結果として、アイコン配置決定部33は、図9の(b)に示す順位関連付け結果を生成することができる。図9の(b)に示す順位関連付け結果によれば、Aの位置に2位、Bの位置に4位、Cの位置に5位、Dの位置に7位、Eの位置に8位、Fの位置に6位、Gの位置に3位、Hの位置に1位が関連付けられる。
【0167】
次に、アイコン配置決定部33は、アイコン順位決定部31によって決定された各アイコンの優先順位と、自身が決定した優先順位ごとの配置位置とに従って、アイコンを配置する。例えば、アイコン配置決定部33は、優先順位「3位」が付与された「1:テレビ」のアイコンを、図9の(b)の3位(元はG)の位置に配置することを決定する。
【0168】
このようにしてアイコン配置決定部33によって決定されたアイコンの配置結果は、操作画面処理部24に返される。
【0169】
操作画面処理部24は、アイコン順位決定部31およびアイコン配置決定部33の決定にしたがって抽出された各アイコンを決まった位置に配置した操作画面を生成し、表示制御部を介して表示部12に出力する。
【0170】
なお、図9の(a)および(b)に示す、環の輪郭線を示す破線は、タブレット端末100が内部に情報として保持している環の形状であって、実際には、表示部12に表示されなくてもよい。これより以降に示す各図における環の輪郭線を示す破線も同様、実際には、表示部12に表示されなくてもよい。
【0171】
図10は、操作画面処理部24が実行した操作画面生成処理の結果、得られた操作画面の具体例を示す図である。図10に示す例は、図5〜図9と同様に、オブジェクト80(オブジェクト「写真1」)が選択されたことに対して得られた操作画面の具体例である。
【0172】
操作画面処理部24は、上述した手順に沿って抽出された「1:テレビ」、「2:プリンタ」、「3:メール」、「4:写真表示」、「5:情報表示」、「6:パレット」、「7:ゴミ箱」、および、「8:メモリカード」の各アイコン画像をアイコン記憶部43(図7)から読み出す。操作画面処理部24は、図8のとおり決定された優先順位および図9の(b)のとおり決定された配置位置にしたがって、操作画面を生成する。生成された操作画面は、表示部12へと出力されて、図10に示すとおり、表示部12に表示される。
【0173】
操作画面処理部24は、図10に示すとおり、選択されたオブジェクト80を画面の中央に配置してもよい。なお、上述の説明では、操作画面処理部24が、オブジェクト80を中央に配置する処理を行う構成としたが、これは必須の構成ではない。しかし、本実施形態では、操作画面処理部24は、アイコンをアイコン配置パターンに沿って環状に配置するため、アイコンがオブジェクトと重ならないようにして見易くするという観点から、オブジェクト80を中央に配置することが好ましい。
【0174】
〔操作画面表示フロー〕
次に、タブレット端末100が操作画面表示機能を実行したときの処理の流れについて説明する。図11は、タブレット端末100による操作画面表示処理の流れを示すフローチャートである。
【0175】
入力部11によって、タッチパネルのタッチ面に指示体(ユーザの指など)が接触したことが検知されると(S101においてYES)、接触情報生成部21は、そのとき(t=t0)から、指の接触位置を示す接触座標情報の取得を開始し、これを経時的に取得する(S102)。この接触位置の追尾は、タッチ面と指との間の接触が検知されなくなるまで継続される(S103においてNO)。入力部11において、接触が非検知になると(S103においてYES)、接触情報生成部21は、t=t0からこのとき(t=tn)までの間取得した接触座標情報と、接触時間情報とを対応付けて接触情報を生成する(S104)。なお、オブジェクトを選択する接触動作がダブルタップなどである場合、すなわち、1つの接触動作において、極めて短い時間、一時的に、非接触が生じるような場合には、短い時間に一時的に接触が検知されなくても接触動作は終わっていないとして追尾が継続されるように接触情報生成部21を構成すればよい。
【0176】
オブジェクト特定部22は、S104において生成された接触情報(例えば、図5の(b))と、フレームマップ記憶部41に記憶されているマップ情報(例えば、図5の(c))とを比較して、ユーザが接触した軌跡が存在する領域に重なるオブジェクトを選択されたオブジェクトとして特定する(S105)。図5の(c)に示す例では、「写真1」というオブジェクト80を特定する。
【0177】
関連項目抽出部23は、S105において特定されたオブジェクトに基づいて、関連情報記憶部42の関連情報(例えば、図6)を参照して、特定されたオブジェクトの関連項目を抽出する(S106)。あるいは、関連項目に割り当てられているアイコンの識別情報を抽出してもよい。
【0178】
続いて、操作画面処理部24は、操作画面生成処理を実行する。まず、アイコン順位決定部31は、S106において抽出された関連項目のそれぞれについて優先順位を決定する(S107)。アイコン順位決定部31は、決定した優先順位を、関連項目またはその関連項目のアイコンに、それぞれ関連付けておく(例えば、図8)。
【0179】
一方、アイコン配置決定部33は、所定のアイコン配置パターン(例えば、図9の(a))を記憶部19から読み出し、アイコン配置パターンにおいて定義されているいくつかのアイコン配置位置に、優先順位を関連付ける(S108)。アイコン配置決定部33は、S104にて得られた接触情報に基づいて、アイコンの配置位置と優先順位との関連付けを行う。より詳細には、アイコン配置決定部33は、指の軌跡の終点からの距離が短い各アイコンの配置位置ほど上位の順位が割り当てられるように関連付けを行う(例えば、図9の(a)および(b))。なお、S107およびS108は、並列的に実行されてもよいし、直列的に任意の順序で順次実行されてもよい。
【0180】
次に、アイコン配置決定部33は、アイコン順位決定部31によって決定された優先順位と、自身が決定した配置位置とにしたがって、抽出された各アイコンの配置を決定する(S109)。アイコン配置決定部33は、アイコンの配置結果を操作画面処理部24に返す。
【0181】
最後に、操作画面処理部24は、S106において抽出された関連項目のアイコン画像を、アイコン記憶部43(例えば、図7)から取得する。そして、S109の決定にしたがって、取得したアイコン画像が配置された操作画面を生成する(S110)。上述の例では、操作画面処理部24は、選択されたオブジェクトを中央に配置して、その周囲に各アイコンを環形状に配置した操作画面を生成する。
【0182】
以上のようにして生成された操作画面の映像信号は、表示部12に出力される。図10に示すように、上記操作画面は、タブレット端末100の表示部12に表示される。本実施形態のタブレット端末100によって生成される操作画面によれば、各アイコンは、優先順位すなわち「選択回数」が多いものほど、つまりは、ユーザに選択される可能性が高いアイコンほど、軌跡の終点tnの近くに配置される。
【0183】
本発明の上記構成および方法によれば、オブジェクトを選択するためのユーザの1つの接触動作に対して、タブレット端末100は、選択されたオブジェクトに関連する関連項目のアイコンを選択可能に表示するという結果を出力することができる。その上、ここで選択可能に表示されたアイコンの配置は、ユーザの接触動作が考慮された配置となっている。すなわち、ユーザに選択される可能性が高いアイコンほど、ユーザが先の接触動作を終えた位置(軌跡の終点tn)の近くに表示されるという配置である。
【0184】
ユーザは、先のオブジェクトを選択する接触動作を行った後、すぐに、そのオブジェクトに関連する関連項目のアイコンを選択する接触動作を行うと予想され、これが操作の自然な流れである。この場合、ユーザは、先の接触動作が完了した位置から、次に目的のアイコンが表示された位置まで、指示体(指など)を移動させることになる。
【0185】
ここで、先の接触動作が完了した位置から、目的のアイコンが表示された位置までの距離が長ければ長いほど、指示体を長く移動させなければならないので、ユーザにとって選択操作は煩わしいものとなる。このような煩わしさは、タッチパネルの画面サイズが大きければ大きいほど顕著となり、また、ユーザが図4の(a)に示すように片手で操作していて、接触可能領域が限られる場合などには、特に深刻な問題となる。オブジェクトが階層で管理されていて、何度も続けて選択操作が行われる場合にも煩わしさはますます増大する。
【0186】
そこで、本発明のように、選択される可能性が高いアイコンほど、先の接触動作の完了位置の近くに表示されるような配置にすることにより、ユーザは、高い確率で先の接触動作の完了位置近くに表示されている所望のアイコンを選択するだけでよくなる。結果として、高い確率で、上述の選択操作の煩わしさを回避することができる。
【0187】
以上のように、本発明のタブレット端末100によれば、ユーザは、指示体を画面上のあちらこちらに不自然に移動させる必要がなくなり、簡易な接触動作で目的の最終結果物にたどり着くことができる。また指示体の移動距離が短いほど、誤操作の誘発を抑えることも可能である。
【0188】
以上のことから、タブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0189】
(接触動作およびアイコン配置パターンの他の例)
本実施形態では、オブジェクトを選択するためのユーザの接触動作が「囲う」という動作である場合について説明した。また、固定されたアイコン配置パターンの具体例として、縦長の楕円の輪郭線上に8個のアイコンを均等な間隔で配置することを定義したアイコン配置パターンを用いる場合について説明した。
【0190】
しかし、本発明のタブレット端末100の構成は、上記に限定されない。タブレット端末100は、接触動作「囲う」以外を、オブジェクトを選択するためのジェスチャとして判別することができる。また、タブレット端末100は、図9の(a)に示すアイコン配置パターンとは別のアイコン配置パターンを保持してもよい。
【0191】
図12は、接触情報生成部21およびオブジェクト特定部22の動作を説明する図である。より詳細には、図12の(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトをレ点で「チェックする」という接触動作を行ったことを示す図である。図12の(b)は、同図の(a)に示す接触動作に伴って、接触情報生成部21が生成した接触情報の一例を示す図である。
【0192】
図12の(a)に示すとおり、ユーザが、タブレット端末100のタッチパネルに表示されているオブジェクト80(ここでは、写真2)をレ点で「チェックする」という接触動作を実行したとする。接触動作は、例えば、接触点が同図の破線の位置を通過するようにt0〜tnの期間に実行されたとする。
【0193】
接触情報生成部21は、図12の(b)に示す接触情報を生成する。ユーザの「チェックする」接触動作の軌跡のうち、始点をt0、終点をtnとして示しているが、接触情報生成部21は、その間の各点にも接触時間情報を関連付けてもよい。
【0194】
オブジェクト特定部22は、接触情報生成部21から、図12の(b)に示す接触情報を取得する。そして、オブジェクト特定部22は、フレームマップ記憶部41から、図5の(c)に示されるマップ情報を取得する。そして、オブジェクト特定部22は、上記接触情報と上記マップ情報とを対比して、接触情報から得られたユーザの指の軌跡が存在する領域と全部あるいはほぼ重なるオブジェクト80(ここでは、写真2)を選択されたオブジェクトであるとして特定する。あるいは、本変形例では、レ点の軌跡を構成する各点のうち、Y座標が最も大きい点(つまり、レ点の折り返し点)と重なるオブジェクトを、ユーザに選択されたオブジェクトとして特定してもよい。
【0195】
次に、関連項目抽出部23は、特定されたオブジェクト80(写真2)の関連項目を抽出する。ここでは、実施形態1と同様に関連項目群60(図6)が抽出されたものとし、アイコン順位決定部31は、実施形態1と同様に各関連項目に優先順位を付与(図8)したものとする。
【0196】
一方、アイコン配置決定部33は、図9の(a)に示すアイコン配置パターンの代わりに、図13に示すアイコン配置パターンを記憶部19から取得してもよい。図13は、アイコン配置決定部33が取得するアイコン配置パターンの他の具体例を示す図である。
【0197】
図13に示す例では、アイコン配置パターンは、タッチパネルの画面を、縦×横=4×3ブロックに均等に分割し、分割されたブロックのうち中心付近のブロックを除く周囲の10ブロックにアイコンを1つずつ配置することを定義している。
【0198】
続いて、アイコン配置決定部33は、軌跡の終点tnと、各ブロックの中央に定められたアイコン配置位置との距離を求める。そして、終点tnとの距離が短い配置位置ほど上位の優先順位が割り当てられるように、配置位置と優先順位との関連付けを行う。図13の各アイコン配置位置に示される数字は、本変形例においてアイコン配置決定部33が関連付けた優先順位を示す。図13に示すとおり、終点tnに最も近い、最右上のブロックの配置位置には、当然、優先順位「1位」が関連付けられる。
【0199】
図14は、操作画面処理部24が実行した操作画面生成処理の結果、得られた操作画面の他の具体例を示す図である。図14に示す例は、図12の(b)に示す接触情報および図13に示すアイコン配置パターンに基づいて、オブジェクト80(ここでは、写真2)が選択されたことに対して得られた操作画面の具体例である。
【0200】
操作画面処理部24は、上述した手順に沿って抽出された「1:テレビ」、「2:プリンタ」、「3:メール」、「4:写真表示」、「5:情報表示」、「6:パレット」、「7:ゴミ箱」、および、「8:メモリカード」の8個のアイコンと、アイコン順位決定部31によって決定された優先順位と、アイコン配置決定部33によって図13のとおり決定された配置位置とにしたがって、操作画面を生成する。生成された操作画面は、表示部12へと出力されて、図14に示すとおり、表示部12に表示される。
【0201】
以下は必須の構成ではないが、操作画面処理部24は、図14に示すとおり、選択されたオブジェクト80を画面の中央に配置してもよい。本実施形態では、操作画面処理部24は、アイコンを、図13に示すアイコン配置パターンに沿ってタッチパネルの画面周囲に配置するため、アイコンがオブジェクトと重ならないようにして見易くするという観点から、オブジェクト80を中央に配置することが好ましい。
【0202】
なお、図13に示すとおり、アイコン配置パターンが、10個分のアイコンの配置位置を定義する場合でも、関連項目抽出部23によって実際に抽出された関連項目が10個に満たない場合があってもよい。図14に示す例では、アイコン配置決定部33は、優先順位「9位」および「10位」が関連付けられたブロックには、何もアイコンを配置しないことを決定する。
【0203】
上述の例における本発明のタブレット端末100によれば、ユーザは、指示体を画面上のあちらこちらに不自然に移動させる必要がなくなり、簡易な接触動作で目的の最終結果物にたどり着くことができる。また指示体の移動距離が短いほど、誤操作の誘発を抑えることも可能である。
【0204】
以上のことから、タブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0205】
≪実施形態2≫
本発明の情報処理装置に関する他の実施形態について、図15〜図24Bに基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態1にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、実施形態1と重複する内容については説明を省略する。
【0206】
本実施形態では、タブレット端末100は、「囲う」接触動作を、オブジェクトを選択するための動作として受け付ける構成であり、操作画面処理部24は、上記「囲う」接触動作から連想される環の形状に沿ってアイコンを配置する構成である。これにより、ユーザの直感に沿って、接触動作からより直感的に想起される結果物を出力することができる。
【0207】
〔タブレット端末の機能〕
図15は、本実施形態におけるタブレット端末100の要部構成を示す機能ブロック図である。
【0208】
本実施形態にかかるタブレット端末100は、実施形態1のタブレット端末100(図1)と比較して、さらに、制御部10が、機能ブロックとして、環形状決定部30を備えている構成である。
【0209】
ここで、本実施形態では、タブレット端末100の制御部10は、必須ではないが、さらに、必要に応じて、機能ブロックとして、ジェスチャ判定部25、および、アニメーション決定部32を備えていてもよい。
【0210】
環形状決定部30は、操作画面処理部24がアイコンを配置するときのアイコン配置位置を決定するものであり、特に、アイコンを環の形状に並べて配置する場合に、その環の形状を決定するものである。
【0211】
実施形態1では、操作画面処理部24は、任意の固定されたアイコン配置パターンにしたがってアイコンを配置する構成であった。本実施形態では、接触動作「囲う」によってオブジェクトが選択されたときに、環形状決定部30が、アイコンを環の形状に並べて配置することを定義するアイコン配置パターンを決定し、操作画面処理部24が決定されたアイコン配置パターンにしたがって、各アイコンを環の形状に並べて配置し表示する。
【0212】
つまり、環形状決定部30は、実施形態1に記載した図示しない配置パターン決定部を、環の形状に特化してアイコン配置パターンを決定するように構成した機能ブロックである。
【0213】
環形状決定部30によって決定された環形状に基づくアイコン配置パターンにしたがって、操作画面処理部24は、抽出されたアイコンを配置する。なお、環形状決定部30によって決定される環形状の情報は、環のサイズの情報、および/または、環の位置の情報をさらに含んでいてもよい。
【0214】
上述したとおり、タブレット端末100の制御部10は、さらに、ジェスチャ判定部25を備えていることが好ましい。入力部11に対して行われる接触動作(ジェスチャ)が「囲う」以外にも様々な種類が想定されている場合には、「囲う」のジェスチャなのか、あるいは、別のどのジェスチャなのかを判別する必要があるからである。
【0215】
ジェスチャ判定部25は、入力部11に対して行われた接触動作について、それが何のジェスチャであるのかを判定するものである。例えば、ジェスチャ判定部25は、「タップ」、「フリック」、「ピンチ」、「ドラッグ」、「囲う」などのジェスチャを判別することができる。ジェスチャを判別するアルゴリズムは、公知の技術を適宜採用することができる。
【0216】
ジェスチャ判定部25は、判定結果に応じて、その判定されたジェスチャに対応する処理を実行するように制御部10の各部に対して指示する。
【0217】
本実施形態では、ジェスチャ判定部25は、検知された接触動作が、「囲う」というジェスチャであると判定した場合に、接触情報生成部21に対して、生成した接触情報を接触情報記憶部44に格納するように指示することが好ましい。これにより、「囲う」というジェスチャについての全ての情報(領域の位置、サイズ、軌跡、接触時間、接触点の移動タイミングなど)を、操作画面処理部24が参照できるようになるとともに、接触動作が「囲う」というジェスチャ以外であった場合には、不必要に接触情報記憶部44への書き込みが発生することを回避することができる。しかしながら、接触情報生成部21は、ジェスチャ判定部25の判定結果によらず、すべての接触情報を接触情報記憶部44に書き込む構成であってもよい。
【0218】
上述したとおり、タブレット端末100の制御部10は、さらに、アニメーション決定部32を備えていてもよい。アニメーション決定部32は、操作画面に配置されるすべての配置対象物、すなわち、オブジェクト、アイコン、環などに対して付与するアニメーションを決定するものである。これにより、オブジェクトおよびアイコンを表示させる際に、表示のさせ方に視覚的な効果(すなわち、アニメーション)を付けることができる。
【0219】
なお、アニメーション決定部32は、オブジェクト、アイコン、または、環の動きだけではなく、これらについて、フェードイン(透明度の変更)などの視覚的効果を付与してもよい。
【0220】
また、アニメーション決定部32は、環状に表示するアイコンを最初から環の輪郭線上に出現させるのではなく、異なる場所から最終的にアイコンが輪郭線上に終着するようにアイコンに動きをつけてもよい。例えば、アニメーション決定部32は、環の中央あたりアイコンを集約させた後、それぞれのアイコンが拡散するような動きをつけて、最終的に環の輪郭線上に配置されるように各アイコンに動きをつけてもよい。
【0221】
(オブジェクトと環形状の配置例1)
図16は、本実施形態における操作画面処理部24の各部の処理内容を説明する図である。より詳細には、図16の(a)は、操作画面処理部24によって実行された、オブジェクトの表示処理の一例を説明する図であり、図16の(b)は、操作画面処理部24の環形状決定部30が決定した、環形状に特化したアイコン配置パターンの一具体例を示す図である。
【0222】
本実施形態では、操作画面処理部24は、図16の(a)に示すとおり、先の「囲う」の接触動作によって選択されたオブジェクト80を、中央に配置しなおすことを決定する。このとき、アニメーション決定部32は、このオブジェクト80が元の位置から中央へと徐々に移動するアニメーションをオブジェクト80に対して付与してもよい。
【0223】
次に、本実施形態では、操作画面処理部24の環形状決定部30は、環の形状に基づくアイコン配置パターンを決定する。具体的には、環形状決定部30は、記憶部19に記憶されているアイコン配置パターンを取得することにより、アイコンを配置するための環の形状、位置、サイズ、アイコンの個数、アイコンの配置位置などを決定することができる。
【0224】
図16の(b)は、環形状決定部30が、オブジェクト80の周囲にある楕円の環の輪郭線に沿って、8個のアイコンを均等に配置することを定義したアイコン配置パターンを決定した例を示している。
【0225】
ここで、アイコン配置パターンにおいて定義される、アイコンの配置位置を特定する基準の「環」の形状について、これを楕円とした図16の(b)の例は、単なる一例であって、本発明の環の形状を限定する意図は無い。また、「環」とは、必ずしも曲線からなる形状を意味しない。例えば、環形状決定部30は、環の形状を、円形、正方形、長方形、その他多角形で定義してもよいし、複雑な形状、いびつな形状、幾何学的でない形状であっても、内と外とを分離するような輪郭線を有している図形を環として定義してもよい。また、「環」は、必ずしも閉曲線を意味しない。環の輪郭線の始点と終点が完全に一致しない場合であっても、内と外とを大方分離するような輪郭線が環として定義されてもよい。操作画面処理部24は、環形状決定部30の決定にしたがって上述のようにして定義されたあらゆる形状の環の輪郭線上にアイコンを配置することができる。
【0226】
(オブジェクトと環形状の配置例2)
本実施形態において、図16の(a)および(b)に示す例では、環形状決定部30は、アイコンを配置するための環について、所定形状、所定位置および所定サイズが定義されたアイコン配置パターンを記憶部19から取得することにより、アイコン配置パターンを決定していた。
【0227】
しかし、このような構成に限定されず、本実施形態にかかる環形状決定部30は、入力された接触動作「囲う」の移動の軌跡(接触情報記憶部44に記憶されている接触情報)に基づいて、動的に環の形状を決定して、アイコン配置パターンを決定してもよい。より具体的には、環形状決定部30は、「囲う」動作の軌跡の形状を、そのまま、アイコンを配置するための環形状とすることができる。また、「囲う」動作によって囲われた領域の大きさに基づいて環のサイズを決定することもできる。また、囲われた領域の位置に基づいて環の位置を決定することもできる。環形状決定部30は、さらに、フレームマップ記憶部41に記憶されているマップ情報に基づいて環形状を決定してもよい。すなわち、囲われたオブジェクトの表示位置、サイズなどに応じて、環のサイズおよび位置を決定してもよい。このような場合の操作画面処理部24の動作を、図17および図18を参照して説明する。
【0228】
図17は、接触情報記憶部44に記憶される接触情報の具体例を示す図である。より詳細には、図17の(a)は、ユーザが目的のオブジェクトを選択するために、オブジェクトを任意の形状で「囲う」という接触動作を行ったことを示す図である。図17の(b)は、同図の(a)に示す接触動作に伴って、接触情報生成部21が生成した接触情報の一例を示す図である。
【0229】
図17の(a)に示すとおり、ユーザが、タブレット端末100のタッチパネルに表示されているオブジェクト(ここでは、写真1)を、任意の形状(例えば、ハート型に「囲う」という接触動作を実行したとする。接触動作は、例えば、接触点が同図の破線の位置を通過するようにt0〜tnの期間に実行されたとする。
【0230】
ジェスチャ判定部25は、接触情報生成部21から、図17の(b)に示すような接触情報を取得する。図17の(b)において、ユーザがなぞった軌跡のうち、始点をt0、終点をtnとして示しているが、その間の各点にも接触時間情報が関連付けられていてもよい。
【0231】
ジェスチャ判定部25は、図17の(b)に示される接触情報に基づいて、この接触動作を、「囲う」というジェスチャであると判定する。ジェスチャ判定部25は、図17の(b)に示される上記接触情報を接触情報記憶部44に記憶するように、接触情報生成部21に対して指示する。これにより、操作画面処理部24の各部は、アイコンを表示する処理を実行するときに、接触情報記憶部44に記憶された、図17の(b)に示される接触情報を参照することができる。
【0232】
図18は、環形状決定部30によって決定された、アイコン配置パターンの他の例を示す図である。
【0233】
まず、操作画面処理部24は、選択されたオブジェクト80(ここでは、写真1)を、中央に配置することができる。次に、本実施形態では、環形状決定部30が、接触情報記憶部44に記憶された接触情報を取得する。環形状決定部30は、接触情報から得られた、指の先端(接触点)の移動の軌跡に基づいて、その軌跡と同一のまたは相似する形状を、アイコンを配置するための環形状として決定する。本実施形態では、一例として、環形状決定部30は、環を中心に配置し、タッチ画面に可能な限り大きく配置することを決定する。図17の(a)および(b)に示すとおり、オブジェクト80は、ハート型に囲われている。そこで、環形状決定部30は、図18の破線に示すとおり、そのハート型の軌跡の相似形が中央に画面いっぱい配置されるように環形状81を決定する。このとき、環形状81上の各アイコン配置位置について、環形状決定部30は、アイコンを等間隔に配置するように決定してもよいし、別の規則にしたがって輪郭線上の任意の位置にアイコンを配置するように決定してもよい。
【0234】
そして、操作画面処理部24のアイコン配置決定部33は、図17の(b)に示される軌跡の終点tnと、環形状決定部30によって決定された環形状81上の各アイコン配置位置との距離に応じて、各アイコン配置位置に優先順位を関連付ける。
【0235】
操作画面処理部24は、図18に示すように、環形状決定部30によって決定された環形状81の輪郭線上にアイコンを配置する。このとき、アイコン配置決定部33は、アイコン順位決定部31によって各アイコンに付与された優先順位と、配置位置に関連付けられている優先順位とが一致するようにアイコンの配置位置を決定する。
【0236】
なお、操作画面処理部24の環形状決定部30は、軌跡が極度に複雑な形状を有する場合には、軌跡の近似形を環の形状として決定してもよい。軌跡の細かくいびつな線を、直線または曲線で丸めることにより、環の形状を定義する情報量を少なくし、アイコンを配置する処理の負荷を低減することができる。
【0237】
(オブジェクトと環形状の配置例3)
上述の各配置例では、操作画面処理部24は、アイコンを配置する際に、選択されたオブジェクト(例えば、図16の(a)、(b)または図18のオブジェクト80)を、タッチパネルの画面の中央に配置する構成であり、環形状決定部30は、中央のオブジェクト80の周囲にアイコンを配置するよう環の位置を決定する構成であった。しかし、本発明の構成は、上記に限定されない。操作画面処理部24は、選択されたオブジェクト80の表示位置を、元のまま維持する構成であってもよく、この場合でも、環形状決定部30は、図19に示すとおり、環形状が画面中央で大きく表示されるように、環の位置およびサイズを決定してもよい。図19は、オブジェクトおよび環状アイコン群の他の配置例を示している。
【0238】
(オブジェクトと環形状の配置例4)
あるいは、選択されたオブジェクト80の表示位置が、元のまま維持される構成において、環形状決定部30は、図20に示すとおり、元の位置にあるオブジェクト80が環の中央になるように、環形状の位置およびサイズを決定してもよい。図20は、オブジェクトおよび環状アイコン群の他の配置例を示している。
【0239】
(オブジェクトと環形状の配置例5−アニメーション付)
選択されたオブジェクト80の表示位置が、元のまま維持される構成において、オブジェクト80とは無関係に環形状が画面中央で大きく配置される場合、「オブジェクト80を囲んでアイコンを表示させた」という事象と、最終的に得られる結果物(例えば、図19)との間の関連性が薄れるという問題がある。一方、オブジェクト80の表示位置が、元のまま維持される構成において、オブジェクト80の表示位置に関連させて周囲にアイコンを表示させる場合には、オブジェクト80が元々表示されている位置によっては、環形状が、十分なサイズで画面に収まるように配置されず、結果として、アイコンの視認性が低下するという問題がある(例えば、図20)。
【0240】
そこで、タブレット端末100がアニメーション決定部32を備えている場合には、アニメーション決定部32は、図21に示すとおり、アイコンを配置するための環にアニメーションを付与することによって、上記の問題を解決してもよい。具体的には、オブジェクト80の元の表示位置およびサイズに基づいて環形状決定部30が決定した環形状を、一定の時間をかけて、画面中央に大きく配置させるように、アニメーション決定部32が、アニメーションを環に対して付与する。これにより、一旦、オブジェクト80の周囲に小さく配置されたアイコンの環は、時間の経過に伴って徐々にその形状を変え、最終的に画面中央に大きく配置される。図21の(a)は、最初にオブジェクト80の周囲に小さく配置されたアイコンの環の様子を示し、図21の(b)は、アイコンの環が拡大する途中の様子を示し、図21の(c)は、同図の(a)から、同図の(b)を経て、最終的にアイコンの環が画面中央に大きく配置された様子を示している。
【0241】
上記構成によれば、ユーザの接触動作と表示される結果物との関連性を損なうことなく、アイコンを十分なサイズで表示させることが可能となる。
【0242】
なお、アニメーション決定部32は、環のサイズに合わせてアイコン1つ1つの大きさも徐々に大きくするようなアニメーションを付与してもよいし、環のサイズとアイコンのサイズとは独立させて、アイコンのサイズを一定とし、アイコンの配置間隔を徐々に広げるというアニメーションを付与してもよい。
【0243】
(アイコンの表示タイミング)
上述の各配置例では、操作画面処理部24は、選択されたオブジェクトの周囲に、複数のアイコンを同時に配置する構成であった。しかし、これに限らず、操作画面処理部24が、アニメーション決定部32を備えている場合には、アニメーション決定部32がそれぞれのアイコンの表示タイミングを決定する構成であってもよい。
【0244】
図22は、関連項目のアイコン表示方法の一変形例を示す図である。
【0245】
例えば、ユーザの「囲う」接触動作から、図22の(a)に示すような接触情報が得られたとする。アニメーション決定部32は、接触情報記憶部44に記憶された上記接触情報を参照し、この「囲う」のジェスチャは、t0からtnにかけて時計回りに発生したと認識する。アニメーション決定部32は、この動きを合うように、1番目から8番目までのアイコンを、1つずつ時計回りに一定の間隔で出現させることを決定する。例えば、アニメーション決定部32によって、図22の(b)、(c)、(d)、(e)、・・・と一定の間隔でアイコンを順に出現させ、最終的に、図22の(f)に示される操作画面に至るように、アイコンの表示タイミングが制御される。
【0246】
上記構成によれば、ユーザが囲ったときの動き(時計回り)とほぼ同じ動きを伴った結果物が得られるので、ユーザの接触動作と表示された結果物との関連性をより高めることが可能となり、結果として、ユーザの直感に反しない自然な流れで操作画面を提供することができる。
【0247】
ここで、アイコン配置決定部33は、1番目のアイコンの表示位置と、指の軌跡の始点(t0の時の接触位置)とをおおよそ一致させ、最後のアイコンの表示位置と、終点(tnの時の接触位置)とをおおよそ一致させることが好ましい。
【0248】
これにより、接触動作と結果物とをより一層連動させて、より自然な流れで操作画面を提供することができる。
【0249】
なお、ここでは、アイコンを出現させる順番と、アイコン順位決定部31によって付与されている優先順位とは一致していなくてもよい。例えば、図22に示す例では、優先順位「1位」のアイコンは、軌跡の終点tnに最も近いHの配置位置(図22の(f))に配置されるが、この配置例では、1番目に出現するのではなく、4番目に出現することになる(図22の(e))。
【0250】
(アイコンの表示タイミング2)
さらに、アニメーション決定部32は、指の動き(時計回りか、反時計回りか)だけでなく、オブジェクトが囲われたときの指が動く速度に合わせて、各アイコンを順次出現させることが好ましい。
【0251】
具体的には、図23の(a)に示すような接触情報が得られたとする。この接触情報は、t0の時点からtnの時点にかけて時計回りに囲われた軌跡を示している。そして、より詳細には、taの時点で接触位置(指の先端)がオブジェクトの左にあり、tbの時点で接触位置がオブジェクトの左上にあり、tcの時点で接触位置がオブジェクトの右上にあったことがこの接触情報から分かる。
【0252】
そこで、アニメーション決定部32は、8個のアイコンが楕円形上に均等な間隔で配置される場合に、1番目のアイコンをオブジェクトの真下にt0の時点に出現させ、その後、指の速度に一致させて、taの時点で、オブジェクトの左のところ(3番目)までアイコンを出現させ、tbの時点で、オブジェクトの左上のところ(4番目)までアイコンを出現させ、tcの時点で、オブジェクトの右上のところ(6番目)までアイコンを出現させ、最終的に、tnの時点で、全てのオブジェクトを出現させることを決定する。図23の(b)は、t0の時点の操作画面を示している。図23の(c)は、taの時点の操作画面を示している。図23の(d)は、tbの時点の操作画面を示している。図23の(e)は、tcの時点の操作画面を示している。図23の(f)は、tnの時点の操作画面を示している。
【0253】
上記構成によれば、ユーザが囲ったときの動き(時計回り)および動きの速度とほぼ同じ動きを伴った結果物が得られるので、ユーザの接触動作と表示された結果物との関連性をさらにより一層高めることが可能となり、結果として、ユーザの直感に反しない自然な流れで操作画面を提供することができる。
【0254】
ここでも、アイコンを出現させる順番と、アイコン順位決定部31によって付与されている優先順位とは一致していなくてもよい。図23に示す例では、優先順位「1位」のアイコンは、軌跡の終点tnに最も近いHの配置位置(図23の(f))に配置されるが、この配置例では、1番目に出現するのではなく、4番目に出現することになる(図23の(d))。
【0255】
〔操作画面表示フロー〕
図24Aおよび24Bは、本実施形態におけるタブレット端末100による操作画面表示処理の流れを示すフローチャートである。
【0256】
入力部11によって、タッチパネルのタッチ面に指示体(ユーザの指など)が接触したことが検知されると(S201においてYES)、接触情報生成部21は、そのとき(t=t0)から、指の接触位置を示す接触座標情報の取得を開始し、これを経時的に取得する(S202)。この接触位置の追尾は、タッチ面と指との間の接触が検知されなくなるまで継続される(S203においてNO)。入力部11において、接触が非検知になると(S203においてYES)、接触情報生成部21は、t=t0からこのとき(t=tn)までの間取得した接触座標情報と、接触時間情報とを対応付けて接触情報を生成する(S204)。
【0257】
ここで、ジェスチャ判定部25が、接触情報に基づいてこの接触動作のジェスチャを判定してもよい(S205)。本実施形態では、ジェスチャ判定部25は、判定したジェスチャが「囲う」でなければ(S206においてNO)、判定したそれ以外のジェスチャに応じた処理の実行を、制御部10の各部に指示する。その各部によって、判定されたジェスチャに応じた処理が実行される(S207)。
【0258】
一方、ジェスチャ判定部25は、判定したジェスチャが「囲う」であった場合には(S206においてYES)、接触情報生成部21に対して接触情報を接触情報記憶部44に格納するように指示する。接触情報生成部21は、S204にて生成した接触情報を、接触情報記憶部44に記憶する(S208)。
【0259】
オブジェクト特定部22は、接触情報記憶部44に記憶されている接触情報(例えば、図5の(b)または図17の(b))と、フレームマップ記憶部41に記憶されているマップ情報(例えば、図5の(c))とを比較して、ユーザによって囲われた領域に重なるオブジェクトを選択されたオブジェクトとして特定する(S209)。図5の(c)に示す例では、「写真1」というオブジェクト80を特定する。
【0260】
関連項目抽出部23は、S209において特定されたオブジェクトに基づいて、関連情報記憶部42の関連情報(例えば、図6)を参照して、特定されたオブジェクトの関連項目を抽出する(S210)。あるいは、関連項目に割り当てられているアイコンの識別情報を抽出してもよい。
【0261】
続いて、操作画面処理部24は、接触情報記憶部44から、S204にて生成された接触情報を必要に応じて取得してもよい(S211)。そして、操作画面処理部24の環形状決定部30は、上記接触情報に基づいて動的に、環形状に基づくアイコン配置パターンを決定する(S212)。あるいは、操作画面処理部24は、記憶部19に保持されたアイコン配置パターンを取得することにより、アイコン配置パターンを決定してもよい。ここで、環形状決定部30が、環形状に基づくアイコン配置パターンを決定することにより、環をオブジェクトに対してどの位置、および、どのサイズで配置するのか、アイコンを何個配置するのか、その各アイコンをどのような形状の環の輪郭線上に配置するのか、アイコンを輪郭線上のどこに配置するのか、などが決定される(例えば、図9の(a)、図16の(b)、図18〜図23など)。
【0262】
次に、操作画面処理部24は、操作画面生成処理を実行する。具体的には、操作画面処理部24のアイコン順位決定部31は、S210において抽出された関連項目それぞれに優先順位を付与する(S213)。具体的には、アイコン順位決定部31は、抽出された関連項目の属性(例えば、図6の「選択回数」)を、関連情報記憶部42から読み出す。そして、属性に基づいて判断されたユーザに選択される可能性の高さの順に、各関連項目の順位を決定する(例えば、図8)。アイコン順位決定部31は、関連項目に対応付けられたアイコン画像またはアイコン識別情報に対して優先順位を関連付けてもよい。
【0263】
一方、操作画面処理部24のアイコン配置決定部33は、S212にて決定されたアイコン配置パターンにおいて定義されている各アイコン配置位置と、優先順位との関連付けを実行する(S214)。具体的には、アイコン配置決定部33は、S211にて得られた接触情報の中から、軌跡の終点の座標を取得し、終点からの距離が短い配置位置から順に、優先順位を関連付ける。なお、S213およびS214は、並列的に実行されてもよいし、直列的に任意の順序で順次実行されてもよい。さらには、S213は、S210よりも後の工程であれば、S211またはS212よりも前に実行されても構わない。
【0264】
続いて、アイコン配置決定部33は、S213にてアイコン順位決定部31によって各アイコンに付与されている優先順位と、S214にて各アイコン配置位置に関連付けた優先順位とが一致するように、各アイコンを配置することを決定する(S215)。
【0265】
ここで、タブレット端末100が、さらに、アニメーション決定部32を備えている場合には、アニメーション決定部32は、上流の各工程で配置位置が決定された配置対象物(オブジェクト、環、および、各アイコンなど)に対して、必要に応じてアニメーションを付与してもよい(S216)。例えば、アニメーション決定部32は、各配置対象物の出現タイミングを決定したり、配置対象物の位置、形状、大きさを漸次的に変更することを決定したり、フェードイン(透明度の変更)などのその他視覚的効果を付与することを決定したりしてもよい。
【0266】
最後に、操作画面処理部24は、S210において抽出された関連項目のアイコン画像を、アイコン記憶部43(例えば、図7)から取得する。そして、上流の各工程で決定された内容にしたがって、S209において特定されたオブジェクトを配置し、上記オブジェクトの周囲またはオブジェクトに対して所定位置に配置された環の輪郭線上に、取得したアイコン画像を配置して操作画面を生成する(S217)。例えば、操作画面処理部24は、上記オブジェクトを中央に配置して、その周囲に配置された環形状、すなわち、S212にて決定された環形状の輪郭線上に各アイコンを配置する。しかも、この最終結果物において、配置された各アイコンは、選択される可能性が高いものほど、「囲う」接触動作の軌跡終点近くに配置されている。以上のようにして生成された操作画面の映像信号は、表示部12に出力される。
【0267】
本発明の上記構成および方法によれば、オブジェクトの周囲を「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの接触動作に対して、タブレット端末100は、オブジェクトの周囲にアイコンが配置された操作画面(最終結果物)を出力することができる。
【0268】
ユーザは、オブジェクトを囲むように関連項目のアイコンが配置された操作画面を結果物として得ることができる。これらのアイコンと、オブジェクトとの位置関係は、先にユーザが実行した先の接触動作による指の軌跡とオブジェクトとの位置関係に合致する。また、囲ったことにより得られる指の軌跡は、アイコンが配置される環形状に類似する。
【0269】
つまり、「オブジェクトを『囲う』接触動作を起こす」という事象から、「オブジェクトの周囲にアイコンが配置された操作画面を得られる」という事象への遷移は、ユーザの直感に反しない自然な遷移であると言える。
【0270】
加えて、タブレット端末100は、オブジェクトを選択した次にユーザが選択するであろう関連項目を予め察して、ユーザに選択可能に表示することができる。具体的には、本発明の上記構成によれば、オブジェクトの周囲に表示されるアイコンは、いずれも、オブジェクトに関連がある項目として抽出された関連項目のアイコンである。つまり、ユーザは、オブジェクトを囲って選択したのち、そのオブジェクトに関連する「動作」、「動作対象」、「動作相手」などを周囲のアイコンから即座に指定することができる。
【0271】
その上、上記最終結果物としての操作画面においては、選択される可能性が高いアイコンほど、先の接触動作の移動完了位置の近くに配置されている。これにより、ユーザは、高い確率で先の接触動作の移動完了位置近くに表示されているアイコンを所望のアイコンとして選択(タッチ)することになる。結果として、高い確率で、指示体を画面上のあちらこちらに不自然に移動させるという選択操作の煩わしさを回避することができる。
【0272】
以上のように、本発明のタブレット端末100によれば、ユーザは、指示体を画面上のあちらこちらに不自然に移動させる必要がなくなり、簡易な接触動作で目的の最終結果物にたどり着くことができる。また指示体の移動距離が短いほど、誤操作の誘発を抑えることも可能である。
【0273】
以上のことから、タブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0274】
さらに、環形状決定部30が、指示体の移動の軌跡に基づいて、動的にアイコン配置パターン(具体的には、環の形状)を決定する構成によれば、以下の効果を奏する。
【0275】
本発明の上記構成および方法によれば、オブジェクトの周囲を「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの接触動作に対して、タブレット端末100は、オブジェクトの周囲にアイコンを配置するという操作画面を最終結果物として出力することができる。つまり、ユーザは、オブジェクトを囲むように関連項目のアイコンが配置された操作画面を結果物として得ることができる。
【0276】
具体的には、ユーザは、フリーハンドで任意の形状でオブジェクトを囲うという動作を行うが、このときの軌跡がタブレット端末100において保持される。そして、タブレット端末100によって作成された操作画面において、得られた軌跡と同じまたは相似形の環形状の輪郭線上に、オブジェクトを囲むようにして各アイコンは配置される。
【0277】
これらのアイコンと、オブジェクトとの位置関係は、先にユーザが実行した接触動作による指の軌跡とオブジェクトとの位置関係と合致する。また、囲ったことにより得られる指の軌跡は、アイコンが配置される環形状と一致する。
【0278】
つまり、オブジェクトを囲うと、オブジェクトの周囲に「囲ったとおりに」アイコンが配置された操作画面を得られる。この事象の遷移は、ユーザの直感に反しないより自然な流れであると言える。また、ユーザが囲ったとおりの形状で、アイコンが配置されるので、操作画面を表示してタブレット端末100を操作する際の遊戯性が高まる。その上、ユーザは、アイコンの配置を予測して、自分が希望するとおりにオブジェクトを囲い、関連項目のアイコンを表示させることができるため、操作性はさらに向上する。
【0279】
そして、オブジェクトを選択した後に周囲に表示されるアイコンは、そのオブジェクトと関連が深く次に選択される可能性が高い関連項目を示している。
【0280】
以上のことから、タブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しないより一層自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0281】
≪変形例≫
上述の実施形態1、2を適宜組み合わせたタブレット端末100も本発明の範疇に入る。すなわち、各実施形態1、2に係るタブレット端末100の制御部10は、各々の実施形態において必須でない場合には、ジェスチャ判定部25、環形状決定部30、および、アニメーション決定部32を部分的に、あるいは、全て備えていてもよい。
【0282】
(優先順位の決定方法)
上述の各実施形態では、関連情報において関連項目に関連付けられている属性が「選択回数」であって、アイコン順位決定部31が、属性「選択回数」を参照し、ユーザに選択される可能性の高さにしたがって優先順位を付与するという構成について説明した。しかし、本発明のタブレット端末100の構成は、上記に限定されない。アイコン順位決定部31は、属性「選択回数」以外の様々な属性にしたがって、優先順位を付与してもよい。
【0283】
例えば、以下に説明するように、選択されたオブジェクトの属性と比較して、このオブジェクトとの相関性が高い関連項目ほど、ユーザに選択される可能性が高い関連項目であると決定してもよい。
【0284】
より具体的には、選択されたオブジェクトがある1枚の「写真」であって、関連情報において、その写真に関連する他の写真が複数枚関連項目として関連付けられている場合を想定する。この場合、関連情報において、関連項目のそれぞれには、さらに、属性として「撮影日時」、「撮影者」、「カメラ機種」、「写真タイトル」などの情報が関連付けて関連情報記憶部42に記憶されている。
【0285】
そこで、アイコン順位決定部31は、例えば、選択されたオブジェクトである「写真」の撮影日時と近い撮影日時にて撮影された関連項目(他の写真)ほど、優先順位が上位になるように関連項目の順位を決定してもよい。したがって、アイコン配置決定部33は、抽出された関連項目としての「複数の他の写真」について、選択されたオブジェクトとしての「写真」と撮影日時が近いものほど、軌跡の終点近くにそのアイコンを配置することを決定する。
【0286】
ユーザは、次々に関連する写真を選択することを望んでいると推測される。そして、撮影日時が近い写真同士は、より関連性が強いと考えられ、先に選択されたオブジェクトとしての「写真」の次には、それと関連する、すなわち、撮影日時の近い「他の写真」が選択される可能性が高い。
【0287】
そこで、本発明のように、撮影日時の近い、つまり、選択される可能性が高いアイコンほど、先の接触動作の移動完了位置の近くに表示されるような配置にすることにより、ユーザは、高い確率で先の接触動作の移動完了位置近くに表示されている所望のアイコンを選択することなる。結果として、高い確率で、指示体を画面上のあちらこちらに不自然に移動させるという選択操作の煩わしさを回避することができる。
【0288】
なお、アイコン順位決定部31は、1つの属性に基づいて、選択される可能性の高さを決定するのではなく、複数の属性(例えば、「撮影日時」、「撮影者」、「カメラ機種」、「写真タイトル」など)を総合的に用いて、選択される可能性の高さを決定してもよい。例えば、アイコン順位決定部31は、選択されたオブジェクトの複数の属性と、各関連項目の複数の属性とを比較して、類似度を総合的に求めて、類似度が高いものほど、選択される可能性が高いと判断してもよい。ここでは、選択されたオブジェクトと属性が類似する関連項目ほど、そのアイコンがユーザに選択される可能性が高いと考えられ、したがって、高い優先順位が付与される。
【0289】
あるいは、例えば、選択されたオブジェクトが「動画コンテンツを一覧表示する」というツールであって、関連項目として、複数の「動画コンテンツ」がアイコンで配置される場合を想定する。この場合、関連情報において、関連項目のそれぞれには、さらに、属性として、「オススメ度」、「ジャンル」、「出演者名」などの情報が関連付けて関連情報記憶部42に記憶されている。「オススメ度(推奨度)」とは、ここでは、ユーザに対して視聴を推奨する度合いを示す情報であり、ユーザの嗜好情報、視聴履歴などに基づいて、あるいは、動画コンテンツの提供者によって、予め定められているものである。
【0290】
そこで、アイコン順位決定部31は、「オススメ度」が高い関連項目(動画コンテンツ)ほど、優先順位が上位になるように関連項目の順位を決定してもよい。したがって、アイコン配置決定部33は、抽出された関連項目としての「動画コンテンツ」について、「オススメ度」が高いものほど、軌跡の終点近くにそのアイコンを配置することを決定する。ここでは、オススメ度が高い関連項目ほど、そのアイコンがユーザに選択される可能性が高いと考えられ、したがって、高い優先順位が付与される。
【0291】
このように、オススメ度が高い、つまり、選択される可能性が高いアイコンほど、先の接触動作の移動完了位置の近くに表示されるような配置にすることにより、ユーザは、高い確率で先の接触動作の移動完了位置近くに表示されている所望のアイコンを選択することになる。結果として、高い確率で、指示体を画面上のあちらこちらに不自然に移動させるという選択操作の煩わしさを回避することができる。
【0292】
また、アイコン順位決定部31は、予め設定されているユーザの嗜好情報と、各関連項目の属性(「ジャンル」および「出演者名」など)とを比較して、ユーザの嗜好との類似度を総合的に求めて、類似度が高いものほど、選択される可能性が高いと判断してもよい。ここでは、ユーザの好みに近い属性を持つ関連項目ほど、そのアイコンがユーザに選択される可能性が高いと考えられ、したがって、高い優先順位が付与される。
【0293】
あるいは、関連情報において、関連項目の属性の1つとして、最近選択された日時を示す「選択日時」が格納されていてもよい。アイコン順位決定部31は、属性「選択日時」を参照し、最後にその関連項目のアイコンが選択された日時が最近であるものほど、高い優先順位を付与してもよい。ここでは、ユーザが最近興味を持って選択している関連項目ほど、そのアイコンがユーザに選択される可能性が高いと考えられ、したがって、高い優先順位が付与される。反対に、最後にその関連項目のアイコンが選択された日時が古いほど、高い優先順位を付与してもよい。この構成によれば、最近選択されていない関連項目ほど、ユーザの指先の近くに配置することができるため、ユーザに選択される確率を上げることができる。
【0294】
(ユーザの使用状況を「察する」)
図4の(a)および(b)に示したとおり、タブレット端末100が小型の携帯端末であって、片手でも両手でも操作可能である場合、片手で操作しているとき、両手で操作しているときとでは、ユーザが画面に指を接触させる可能な領域は、異なることが想定される。図4の(b)に示すように、両手で操作する場合には、タッチパネルのどの領域にも触れることが可能である。一方、図4の(a)に示すように、片手で操作する場合には、接触位置は、画面下部左側の領域(左手で操作する場合)、または、画面下部右側の領域(右手で操作する場合)に偏る傾向がある。ユーザがこのような状況でタブレット端末100を使用しているときに、接触動作が必要なオブジェクトまたはアイコンを、画面上部や手と反対側の画面下部に表示すると操作が煩雑になるという問題がある。なぜなら、ユーザは、目的のオブジェクトをすぐさまタッチできず、接触可能な領域にたぐり寄せるという余計な動作を行わなければならないか、両手操作に切り替えなければならないからである。
【0295】
そこで、本発明のタブレット端末100は、ユーザの使用状況を察することにより、上記の問題を解決する。具体的には、本発明のタブレット端末100を、指の接触位置の偏りを検出し、ユーザの指がすぐさま届くと推測される領域内に、アイコンを配置する構成とすることができる。
【0296】
本変形例では、タブレット端末100の接触情報生成部21は、接触/非接触の切り替えに関わらず、さらに、接触動作が「囲う」のジェスチャであるか否かに関わらず、所定期間(例えば、数秒〜数分程度)に生じたユーザの接触動作を示す接触情報を生成し、接触情報記憶部44に記憶する構成である。
【0297】
図25は、ユーザの使用状況に応じて操作画面を提示することが可能な本発明のタブレット端末100の動作を説明する図である。より詳細には、図25の(a)は、ユーザが左手で操作しているという状況の一例を説明する図である。図25の(b)は、同図の(a)の接触動作に伴って生成された接触情報の具体例を示す図である。
【0298】
図25の(a)に示すとおり、例えば、ユーザが親指でフリック動作によって、目的のオブジェクトを接触可能な領域までたぐり寄せて、それを囲むという接触動作を実行したとする。
【0299】
接触情報生成部21は、所定期間(例えば、過去数秒〜数分間程度)、上述の一連の接触動作に対して、図25の(b)に示すような接触情報を生成し、接触情報記憶部44に記憶させている。なお、軌跡を記憶する接触情報記憶部44のメモリ容量に制約がある場合には、接触情報生成部21は、新しい軌跡を記憶する度に、最も古い軌跡から削除していく構成にすればよい。
【0300】
ここで、ジェスチャ判定部25によって、オブジェクトを選択する(例えば、「囲う」)のジェスチャが生じたと判定される。操作画面処理部24は、接触情報記憶部44に記憶されている、過去数秒〜数分間分の接触情報をさかのぼって参照して、指の接触位置に偏りが無いか否かを検出する。図25の(a)および(b)に示す例では、指の軌跡は画面下部左側の領域82に偏っている。操作画面処理部24は、この偏りを検知して、ユーザの接触可能領域を、画面下部左側の領域82であると特定する。なお、この画面下部左側の領域82と、画面下部右側の領域83とは、予め定義されているものとする。
【0301】
操作画面処理部24の環形状決定部30は、アイコンを配置するための環が、画面下部左側の領域82に収まるように、環の形状、サイズ、および、配置位置を決定する。
【0302】
図26は、配置パターン決定部(または環形状決定部30)によって決定されたアイコン配置パターン(または環形状)にしたがってアイコンが配置されたときの操作画面の一例を示す図である。図26に示すとおり、選択されたオブジェクト80の関連項目は、画面下部左側の領域82内に収まるように表示されているので、ユーザは、親指で目的のアイコンをたぐり寄せる必要はなく、すぐさま次のアイコンを選択することができる。
【0303】
さらに、操作画面処理部24は、抽出された各アイコンを、次にユーザに選択される可能性が高いものほど、オブジェクトを選択するための接触動作に基づく軌跡終点近くに配置するようになっている。このため、ユーザは、指を画面のあちらこちらに不自然に移動させるという操作上の煩わしさを高い確率で回避することができる。片手での操作は両手での操作よりも操作性が低下するので、操作上の煩わしさを上記のように回避できることは、片手で操作する場合に操作性を向上させる上で特に大きな効果を奏する。
【0304】
なお、タブレット端末100は、ユーザが片手で操作しているという使用状況を判別するために、指の軌跡の線の太さに基づいて、親指で操作されているのか否かを判定し、親指で操作されていると判定した場合に、片手で操作されていると判断し、画面下部にアイコンを表示する構成であってもよい。あるいは、タブレット端末100の筐体にセンサを設けて、タブレット端末100が、筐体が4本の指で把持されているのか、5本の指で把持されているのかを判別し、これに応じて片手操作、または、両手操作の判断を行ってもよい。
【0305】
また、タブレット端末100の操作画面処理部24は、指の軌跡によって囲まれた領域の接触座標情報を参照して、軌跡領域を特定し、その軌跡領域および近辺を、ユーザの接触可能領域であると特定して、そこにアイコンの環が配置されるように決定してもよい。
【0306】
(アイコン表示数の調整)
アイコン配置決定部33は、決定された環形状のサイズと、アイコンの大きさとを考慮して、関連項目抽出部23によって抽出されたすべてのアイコンを表示できないと判断した場合には、表示すべきアイコンの数を減らすことを決定してもよい。
【0307】
また、アイコン配置決定部33は、接触情報を参照して、指の軌跡(あるいは、囲われた領域)の絶対的な大きさに基づいて、表示するアイコンの数を決定してもよい。これにより、ユーザはオブジェクトを小さめの環で囲うか、大きめの環で囲うかを変えることによって、意図的に、次に表示させるアイコンの数を調節することが可能となる。
【0308】
ここで、アイコン配置決定部33は、表示すべきアイコンの数を減らす場合には、アイコン順位決定部31によって決定された優先順位の低いアイコンから順に減らすことができる。
【0309】
(アイコン配置位置と優先順位との関連付け方法)
上述の各実施形態では、アイコン配置決定部33は、所定のアイコン配置パターンにおいて定義されたいくつかのアイコンの配置位置に優先順位を関連付けるときに、軌跡の終点tnとの距離が近い配置位置から順に、上位の優先順位を関連付ける構成であった。
【0310】
しかし、本発明の情報処理装置(タブレット端末100)の構成は上記に限定されない。アイコン配置決定部33は、以下に示す方法で、アイコン配置位置と優先順位との関連付けを行ってもよい。
【0311】
図27の(a)〜(c)は、アイコン配置決定部33が行う、アイコン配置位置と優先順位との関連付けの具体例を示す図である。
【0312】
オブジェクトを選択したときの指の軌跡の終点が、図27に示す終点tnの位置にある場合であって、アイコン配置決定部33が参照する所定のアイコン配置パターンは、図9の(a)に示すとおり、8個のアイコンを楕円の輪の輪郭線上に等間隔に配置するものであるとする。
【0313】
図27の(a)に示す例では、アイコン配置決定部33は、上記環の輪郭線上の、上記軌跡の終点tnに最も近い点Pを特定する。そして、アイコン配置決定部33は、点Pから環の輪郭線をたどってアイコン配置位置A〜H(図9の(a))に到達するまでの距離が短い配置位置ほど上位の優先順位を関連付ける。
【0314】
すなわち、図27の(a)に示すとおり、アイコン配置決定部33は、アイコン配置位置Aに、優先順位8位を、Bに6位を、Cに4位を、Dに2位を、Eに1位を、Fに3位を、Gに5位を、Hに7位を関連付ける。
【0315】
上記の構成によれば、タブレット端末100が、図28の(a)および(b)に示すとおり、ユーザのドラッグ操作によって、アイコンの環を、時計回りおよび反時計回りに回転させることが可能な操作画面を表示する場合にメリットがある。
【0316】
具体的には、ユーザが、終点tnでオブジェクトを選択した後、それに伴って表示されたアイコンの環をドラッグ操作で回転させて、目的のアイコンを自分の指先がある位置(すなわち終点tn付近)にたぐり寄せる場合を想定する。この場合、終点tnからその輪郭線をたどる距離が短くなる位置にあるアイコンほど、少ないドラッグ操作(回転操作)で、目的のアイコンをたぐり寄せることができる。
【0317】
つまり、ユーザに選択される可能性が高いアイコンほど、輪郭線をたどる距離が短くなる位置にアイコンを配置すれば、ユーザは、高い確率で、より少ない回数のドラッグ操作で目的のアイコンをたぐり寄せることができる。
【0318】
したがって、ユーザは、少ない動作数で目的の最終結果物にたどり着くことができる。つまり、選択操作の煩わしさを回避することが可能である。
【0319】
あるいは、アイコンが楕円形に配置されていると、ユーザは、目的のアイコンを探して選択する際に、自然にその楕円形の輪郭線をなぞるように指を走らせていくことが想定される。そこで、アイコン配置決定部33は、終点tnからその輪郭線をたどる距離が短くなるアイコン配置位置に、優先順位の高いアイコンを配置することを決定する。
【0320】
これにより、ユーザに選択される可能性が高いアイコンほど、終点tnからの輪郭線上の距離が短いアイコン配置位置に配置させることができる。このため、ユーザは、指を、オブジェクトを選択し終わった位置から走らせて、高い確率で、より短い距離で目的のアイコンに到達することができる。
【0321】
したがって、ユーザは、操作体を画面上のあちらこちらに不自然に移動させる必要がなくなり、簡易な接触動作で目的の最終結果物にたどり着くことができる。つまり、選択操作の煩わしさを回避することが可能である。また操作体の移動距離が短いほど、誤操作の誘発を抑えることも可能である。
【0322】
図27の(b)に示す例では、アイコン配置決定部33は、所定のアイコン配置位置A〜Hのうち、軌跡の終点tnに最も近い配置位置に、最も高い優先順位を関連付ける。同図に示すとおり、アイコン配置位置Eに1位を関連付ける。そして、1位のEから反時計回りに、各配置位置に対して、2位以降の優先順位を順に関連付ける。すなわち、図27の(b)に示すとおり、Dに2位を、Cに3位を、Bに4位を、Aに5位を、Hに6位を、Gに7位を、Fに8位を関連付ける。
【0323】
上記の構成によれば、タブレット端末100が、図28の(a)に示すとおり、ユーザのドラッグ操作によって、アイコンの環を、時計回りに回転させることが可能な操作画面を表示する場合にメリットがある。
【0324】
具体的には、ユーザが、終点tnでオブジェクトを選択した後、それに伴って表示されたアイコンの環をドラッグ操作で時計回りに回転させて、目的のアイコンを自分の指先がある位置(すなわち終点tn付近)にたぐり寄せる場合を想定する。この場合、図27の(b)に示す各アイコンは、環が時計回りに回転するにつれて、1位のアイコンから、反時計回りの順で、ユーザの指先(終点tn付近)にたぐり寄せられる。
【0325】
すなわち、たぐり寄せられる順は、図27の(b)に示す優先順位(ユーザに選択される可能性が高い順)に一致している。このため、ユーザは、高い確率で、より少ない回数のドラッグ操作で目的のアイコンをたぐり寄せることができる。
【0326】
図27の(c)に示す例では、アイコン配置決定部33は、図27の(b)に示す例と同様に、アイコン配置位置Eに1位を関連付ける。そして、1位のEから時計回りに、各配置位置に対して、2位以降の優先順位を順に関連付ける。すなわち、図27の(c)に示すとおり、Fに2位を、Gに3位を、Hに4位を、Aに5位を、Bに6位を、Cに7位を、Dに8位を関連付ける。
【0327】
上記の構成によれば、タブレット端末100が、図28の(b)に示すとおり、ユーザのドラッグ操作によって、アイコンの環を、反時計回りに回転させることが可能な操作画面を表示する場合にメリットがある。
【0328】
具体的には、ユーザが、終点tnでオブジェクトを選択した後、それに伴って表示されたアイコンの環をドラッグ操作で反時計回りに回転させて、目的のアイコンを自分の指先がある位置(すなわち終点tn付近)にたぐり寄せる場合を想定する。この場合、図27の(c)に示す各アイコンは、環が反時計回りに回転するにつれて、1位のアイコンから、時計回りの順で、ユーザの指先(終点tn付近)にたぐり寄せられる。
【0329】
すなわち、たぐり寄せられる順は、図27の(c)に示す優先順位(ユーザに選択される可能性が高い順)に一致している。このため、ユーザは、高い確率で、より少ない回数のドラッグ操作で目的のアイコンをたぐり寄せることができる。
【0330】
(タブレットPCへの適用)
上述の各実施形態では、本発明の情報処理装置としてのタブレット端末100が、片手で操作することが可能な、小型で携帯性に優れたスマートフォンであることを想定して説明を行ったが、本発明の情報処理装置は、小型のスマートフォンに限定されず、ノートサイズ画面を有するタブレットPC、あるいは、それよりも大画面を有する電子黒板などにも適用可能である。
【0331】
タブレットPC、電子黒板などは、スマートフォンよりも大きい表示画面を有している。そのため、ユーザが所望のオブジェクトやアイコンを選択するために、指示体(指やペン)などを、スマートフォンを操作するときよりも、より大きく動かさなければならない。
【0332】
本発明の情報処理装置によれば、所望のオブジェクトやアイコンを選択する上で、指示体の動きをより小さくすることができる。つまり、大きな表示画面を有するタブレットPC、あるいは、電子黒板などにおいて、本発明の情報処理装置を用いれば、優れた操作性を実現するという本発明の利点を、より多く享受することができる。
【0333】
図29および図31は、本発明の情報処理装置としてのタブレット端末100aを、タブレットPCで実現した場合の様子を示す図である。
【0334】
図30および図32において、(a)は、アイコン配置決定部33によって、指示体の軌跡および軌跡の終点tnがプロットされたアイコン配置パターンの具体例を示す図であり、(b)は、アイコン配置決定部33によって、各アイコン配置位置に優先順位が関連付けられた結果を示す図である。
【0335】
図29および図31に示すとおり、例えば、タブレット端末100aの表示部12の画面いっぱいに、二つの写真オブジェクトが表示されており、その何れかを、ユーザが指示体を移動させて選択するとする。具体的には、ユーザは、目的の写真オブジェクトを囲うように、指(指示体)を動かして接触動作を実施したとする。
【0336】
まず、図29に示す例では、ユーザは、目的の写真オブジェクトの右下あたりから、該写真オブジェクトを囲うように円を描き、同じく右下あたりで円を描き終える。
【0337】
そして、接触情報生成部21によって取得された上記指の軌跡とその終点tnを、アイコン配置決定部33は取得して、図30の(a)に示すように、それを所定のアイコン配置パターンにプロットする。
【0338】
続いて、アイコン配置決定部33は、所定の規則(例えば、終点tnと直線距離が短いもの順に、上位の優先順位を関連付けるという規則)にしたがって、終点tnに基づいて、パターンに定義された各アイコン配置位置A〜Hに、優先順位1〜8位を関連付ける。例えば、アイコン配置決定部33が、上記規則にしたがって、アイコン配置位置に優先順位を関連付けると、図30の(b)に示すとおりとなる。各アイコン配置位置に付与された数字は関連付けられた優先順位を表す。
【0339】
操作画面処理部24は、アイコン配置決定部33の決定にしたがって、アイコン順位決定部31がアイコンに予め付与した優先順位と一致するように、各アイコンを配置位置に配置する。
【0340】
これにより、指先が位置していると考えられている終点tn付近に、優先順位が上位の(ユーザに選択される可能性が高い)アイコンが表示されることになる。よって、ユーザは、タブレット端末100aの大きめの画面であっても、高い確率で、指を大きく移動させずに目的のアイコンを選択する操作に移行することができる。
【0341】
一方、接触動作の仕方は、ユーザによってまちまちである。例えば、図31に示すとおり、ユーザは、目的の写真オブジェクトの左上あたりから、該写真オブジェクトを囲うように円を描き、同じく左上あたりで円を描き終える場合もある。
【0342】
この場合、アイコン配置決定部33は、上記指の軌跡とその終点tnを、図32の(a)に示すように、上記アイコン配置パターンにプロットする。
【0343】
続いて、アイコン配置決定部33は、上記規則にしたがって、終点tnと直線距離が短いアイコン配置位置ほど、上位の優先順位を関連付ける。ここでは、例えば、アイコン配置決定部33が、上記規則にしたがって、アイコン配置位置に優先順位を関連付けると、図32の(b)に示すとおりとなる。
【0344】
これにより、指先が位置していると考えられている終点tn付近に、優先順位が上位の(ユーザに選択される可能性が高い)アイコンが表示されることになる。よって、ユーザは、タブレット端末100aが備える大きめの画面であっても、高い確率で、指を大きく移動させずに目的のアイコンを選択する操作に移行することができる。
【0345】
上述のように、画面が大きめのタブレット端末(情報処理装置)100aにおいては、オブジェクトを選択するときの指示体の移動距離も長くなるので、終点(指先)の位置は、画面の至るところに到達する。そして、指先がある位置から離れたところに、次に選択したいアイコンが表示されることも有り得る。この場合、ユーザは、指示体を画面上のあちらこちらに不自然に移動させることになり、操作性が低下するという問題があった。なお、情報処理装置の画面が大画面であればあるほど、指示体を遠くに動かす操作は煩わしいものとなるので、上記の問題は深刻である。
【0346】
しかしながら、本発明のタブレット端末100aによれば、上述のとおり、終点(指先)の位置が、画面の至るところ、いずれの位置に到達しても、その終点の位置から近い位置ほど、ユーザに選択される可能性の高いアイコンが表示される構成であるので、ユーザは、高い確率で、指をあまり移動させずに目的のアイコンを選択することができる。例えば、上述の例に示すとおり、同じ写真オブジェクトを囲う場合でも、ユーザによって囲い方はまちまちであり、それに応じて異なる結果が得られる。図29に示す接触動作では、図30に示すとおり、アイコン配置位置Eに、最も上位の優先順位が関連付けられるし、図31に示す接触動作では、図32に示すとおり、アイコン配置位置Gに最も上位の優先順位が関連付けられる。このように、大画面を有する情報処理装置であるほど、ユーザの囲い方などによって、最終結果物は大きく異なり、上記の深刻な問題を解消することができる。
【0347】
以上のように、本発明のタブレット端末100aによれば、ユーザは、指示体を画面上のあちらこちらに不自然に移動させる必要がなくなり、簡易な接触動作で目的の最終結果物にたどり着くことができる。また指示体の移動距離が短いほど、誤操作の誘発を抑えることも可能である。結果として、優れた操作性を実現するという効果を奏する。上述したとおり、大きな表示画面を有するタブレットPC、あるいは、電子黒板などにおいて本発明の情報処理装置を用いれば、得られる効果は特に大きいものとなる。
【0348】
(アイコン配置パターンの変形例)
上述の各実施形態では、アイコン配置決定部33は、所定のアイコン配置パターン(例えば、図9、図30および図32の(a)など)に基づいて、アイコン配置位置を認識する構成であった。しかしこのような構成に限定されない。アイコン配置決定部33は、接触情報生成部21によって取得された、ユーザが接触動作を行ったときの指の軌跡に基づいて、アイコン配置パターンを自ら決定してもよい。
【0349】
図33は、アイコン配置決定部33が決定したアイコン配置パターンの一例を示す図である。
【0350】
本変形例では、所定のアイコン配置パターンは存在せず、環形状決定部30によって環の形状および配置位置が決定されているのみである。
【0351】
図33に示すとおり、まず、アイコン配置決定部33は、環形状決定部30が決定した環の形状と配置位置の情報を取得し、それに対して軌跡の終点tnをプロットする。次に、アイコン配置決定部33は、上記環の輪郭線上の、上記軌跡の終点に最も近い点Pを特定し、そこを、最も優先順位が高い(1位)のアイコン配置位置と決定する。1位のアイコンのより詳細なアイコンの配置位置は特に限定されないが、例えば、アイコンの中心が、上記点Pと一致する位置を1位のアイコン配置位置と決定してもよい。
【0352】
続いて、アイコン配置決定部33は、残りのアイコン配置位置を、先に決定した1位のアイコン配置位置を基準に決定する。例えば、残りの配置すべきアイコンが7個ある場合に、図33に示すとおり、1位のアイコン配置位置を基準にして、8個すべて輪郭線上で等間隔になるように、残りのアイコン配置位置A〜Gを決定する。そしての残りのアイコン配置位置A〜Gと、優先順位の関連付けは、上述したいずれかの規則に則って実施されればよい。
【0353】
上記構成によれば、操作画面処理部24は、優先順位が1位のアイコンを、必ず、環の輪郭線上の、終点tnからの最短距離に配置することが可能となる。
【0354】
あるいは、アイコン配置決定部33は、最も優先順位が高い(1位)のアイコンの配置位置を以下のように決定してもよい。
【0355】
具体的には、図30の(a)に示すとおり、アイコン配置決定部33は、まず、軌跡から、終点tnに加えて、点tn−1を取得する。そして、アイコン配置決定部33は、点tn−1から終点tnへ延びる直線の延長線が、環の輪郭線(ここでは、破線の楕円)と最初に交わる位置、すなわち、交点Qを特定する。そして、アイコン配置決定部33は、交点Qを、最も優先順位が高い(1位)のアイコン配置位置と決定してもよい。
【0356】
この構成は、終点tnが環の内側にある場合に有効である。この場合、交点Qは、ユーザが操作体(指やペン)を、オブジェクトを囲うように円形に動かしたときに、操作体が、環の輪郭線上で、最も自然に最も早く到達する点となると考えられる。
【0357】
このように交点Qの位置に、優先順位が1位のアイコンを配置することにより、操作体が最も自然に最も早く到達する位置に、優先順位が1位のアイコンを表示させることが可能となる。結果として、ユーザは、次の操作で、操作体によって、上記1位のアイコンをより選択しやすくなる。
【0358】
(表示部と入力部とを別体で備える情報処理装置への適用)
本発明の情報処理装置としてのタブレット端末100の構成、すなわち、指示体の移動の軌跡の終点近くに優先度の高いアイコンを配置して表示する構成について、これを、入力部11と表示部12とが別体として備わっている情報処理装置に適用してもよい。例えば、入力部11がマウスなどの入力装置で構成されており、表示部12が、LCDなどの表示装置で構成されている情報処理装置が考えられる。ここでは、表示部12に表示されているカーソルが、表示部12の画面上の位置を指示するものである。そして、ユーザがマウスを操作して入力動作を実施することによりカーソルが移動する。したがって、このような実施形態では、マウスが操作体であり、カーソルが指示体であって、操作体の移動に伴って表示部12に表示されている指示体が移動する。ユーザが、マウスを操作して表示部12の画面上のカーソルを動かすことによりオブジェクトを選択すると、情報処理装置は、内部であらかじめ保持しているカーソルの位置を上記マウスの動きと連動させて、その移動の軌跡を保持する。そして、アイコンを所定の位置に配置するとき、上記軌跡の終点に近い配置位置に、優先度の高い(ユーザが選択する可能性が高い)アイコンを配置する。上記構成によれば、ユーザがマウスを動かし終えた位置の近くによく選択されるアイコンが配置された操作画面が得られるので、マウスを動かす動作が大きくならずに、アイコンを選択するという次の動作に移ることが可能となる。
【0359】
なお、表示部12と別体で構成される入力部11としては、上記のマウス以外にも、例えば、キーボード、ジョイスティック、ディジタイザ、タブレットとスタイラスペンなどの各種入力装置を採用することができる。
【0360】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0361】
なお、本発明の情報処理装置および操作画面表示方法は、以下のようにも表現され得る。
【0362】
タッチパネルを備えた情報処理装置において、上記タッチパネル上を移動した指示体の移動の軌跡を取得する接触動作取得手段と、上記接触動作取得手段によって取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを特定の位置に配置して、上記タッチパネルに表示する操作画面処理手段とを備え、上記操作画面処理手段は、上記抽出された関連項目の中で、優先順位(ユーザに選択される可能性が高い順など)が高い関連項目のアイコンほど、上記接触動作取得手段によって取得された軌跡の終点の近くに配置することを特徴とする情報処理装置。
【0363】
タッチパネルを備えた情報処理装置における操作画面表示方法において、上記タッチパネル上を移動した指示体の移動の軌跡を取得する接触動作取得ステップと、上記接触動作取得ステップにて取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップによって抽出された関連項目のアイコン特定の位置に配置して、上記タッチパネルに表示する操作画面処理ステップとを含み、上記操作画面処理ステップでは、上記抽出された関連項目の中で、優先順位(ユーザに選択される可能性が高い順など)が高い関連項目のアイコンほど、上記接触動作取得ステップにて取得された軌跡の終点の近くに配置することを特徴とする操作画面表示方法。
【0364】
〔ソフトウェアによる実現例〕
最後に、タブレット端末100の各ブロック、特に、接触情報生成部21、オブジェクト特定部22、関連項目抽出部23、操作画面処理部24、ジェスチャ判定部25、環形状決定部30、アイコン順位決定部31、アニメーション決定部32、および、アイコン配置決定部33は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
【0365】
すなわち、タブレット端末100は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるタブレット端末100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記タブレット端末100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0366】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0367】
また、タブレット端末100を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【0368】
本発明は、入力部および表示部を備える情報処理装置に広く適用することが可能である。例えば、これには限定されないが、入力部および表示部を備える、デジタルテレビ、パーソナルコンピュータ、スマートフォン、タブレットPC、ノートパソコン、携帯電話、PDA(Personal Digital Assistant)、電子書籍リーダ、電子辞書、携帯用・家庭用ゲーム機、電子黒板などに好適に用いることができる。さらに、タッチパネルを備える情報処理装置に本発明を適用すれば、より一層優れた操作性を実現することができる。
【符号の説明】
【0369】
10 制御部
11 入力部(タッチパネル)
12 表示部(タッチパネル)
13 操作部
14 外部インターフェース
15 通信部
16 無線通信部
17 音声出力部
18 音声入力部
19 記憶部
21 接触情報生成部(軌跡取得手段/接触動作取得手段)
22 オブジェクト特定部(オブジェクト特定手段)
23 関連項目抽出部(関連項目抽出手段)
24 操作画面処理部(操作画面処理手段)
25 ジェスチャ判定部(ジェスチャ判定手段)
30 環形状決定部(環形状決定手段/配置パターン決定手段)
31 アイコン順位決定部(アイコン順位決定手段)
32 アニメーション決定部(アニメーション決定手段)
33 アイコン配置決定部(アイコン配置決定手段)
41 フレームマップ記憶部
42 関連情報記憶部
43 アイコン記憶部
44 接触情報記憶部
100 タブレット端末(情報処理装置)
【特許請求の範囲】
【請求項1】
表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、
上記軌跡取得手段によって取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定手段と、
オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、
上記関連項目抽出手段によって抽出された関連項目のアイコンを特定の位置に配置して、上記表示部に表示する操作画面処理手段とを備え、
上記操作画面処理手段は、
上記抽出された関連項目の中で、優先順位が高い関連項目のアイコンほど、上記軌跡取得手段によって取得された軌跡の終点の近くに配置することを特徴とする情報処理装置。
【請求項2】
上記関連情報記憶部には、関連項目のアイコンがユーザによって選択された回数が関連項目ごとに記憶されており、
上記操作画面処理手段は、
上記選択された回数が多い関連項目のアイコンほど、上記軌跡の終点の近くに配置することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
上記関連情報記憶部には、関連項目の属性が関連項目ごとに記憶されており、
上記操作画面処理手段は、
上記選択されたオブジェクトの属性との類似度が高い属性を有する関連項目のアイコンほど、上記軌跡の終点の近くに配置することを特徴とする請求項1に記載の情報処理装置。
【請求項4】
上記選択されたオブジェクト、および、上記関連項目は、写真であって、上記関連情報記憶部には、写真の撮影日時が属性として記憶されており、
上記操作画面処理手段は、
上記選択されたオブジェクトである写真の撮影日時と近い撮影日時の写真のアイコンほど、上記軌跡の終点の近くに配置することを特徴とする請求項3に記載の情報処理装置。
【請求項5】
上記関連項目は、動画コンテンツであって、上記関連情報記憶部には、動画コンテンツをユーザに推奨する度合いを示す推奨度が属性として記憶されており、
上記操作画面処理手段は、
上記推奨度が高い動画コンテンツのアイコンほど、上記軌跡の終点の近くに配置することを特徴とする請求項1に記載の情報処理装置。
【請求項6】
上記軌跡取得手段は、上記表示部に表示されたオブジェクトを囲うように上記表示部の画面を移動した上記指示体の移動の軌跡を取得し、
上記オブジェクト特定手段は、上記軌跡により囲われた領域に、少なくとも一部が含まれるオブジェクトを、選択されたオブジェクトとして特定し、
上記操作画面処理手段は、上記抽出された関連項目のアイコンを、環の輪郭線上に並べて配置することを特徴とする請求項1から5までのいずれか1項に記載の情報処理装置。
【請求項7】
上記操作画面処理手段は、
上記選択されたオブジェクトの周囲にアイコンが配置されるように上記環の位置およびサイズを決定することを特徴とする請求項6に記載の情報処理装置。
【請求項8】
上記操作画面処理手段は、
上記軌跡取得手段によって取得された軌跡、もしくは、その相似形または近似形を、上記環の形状として決定することを特徴とする請求項6または7に記載の情報処理装置。
【請求項9】
上記操作画面処理手段は、
優先順位が最も高い関連項目のアイコンを、上記環の輪郭線上の、上記軌跡の終点に最も近い点に配置し、
残りの関連項目の各アイコンを、優先順位が最も高い上記アイコンの配置位置を基準にして、上記環の輪郭線上に配置することを特徴とする請求項6から8までのいずれか1項に記載の情報処理装置。
【請求項10】
上記軌跡取得手段は、
上記表示部に表示されたオブジェクトを選択する上記指示体の移動が生じるまでの所定期間に生じた上記指示体の軌跡を取得し、
上記操作画面処理手段は、
上記所定期間に取得された軌跡が、上記表示部の画面における特定の領域に偏っていると判断した場合に、上記特定の領域にアイコンが配置されるようにアイコンの位置を決定することを特徴とする請求項1から9までのいずれか1項に記載の情報処理装置。
【請求項11】
上記操作画面処理手段は、
上記表示部の画面における、上記オブジェクトを選択する上記指示体の移動の軌跡と重なる特定の領域にアイコンが配置されるようにアイコンの位置を決定することを特徴とする請求項1から9までのいずれか1項に記載の情報処理装置。
【請求項12】
当該情報処理装置が備える入力部および上記表示部はタッチパネルを構成するものであり、
上記軌跡取得手段は、上記タッチパネル上を移動した上記指示体の移動の軌跡を取得することを特徴とする請求項1から11までのいずれか1項に記載の情報処理装置。
【請求項13】
当該情報処理装置が備える入力部は、上記表示部に表示されるカーソルを移動させる指示を当該情報処理装置に入力するものであり、
上記軌跡取得手段は、上記指示体としてのカーソルの移動の軌跡を取得することを特徴とする請求項1から11までのいずれか1項に記載の情報処理装置。
【請求項14】
情報処理装置における操作画面表示方法であって、
上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、
上記軌跡取得ステップにて取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、
オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、
上記関連項目抽出ステップにて抽出された関連項目のアイコンを特定の位置に配置して、上記表示部に表示する操作画面処理ステップとを含み、
上記操作画面処理ステップでは、
上記抽出された関連項目の中で、優先順位が高い関連項目のアイコンほど、上記軌跡取得ステップにて取得された軌跡の終点の近くに配置することを特徴とする操作画面表示方法。
【請求項15】
コンピュータを、請求項1から13までのいずれか1項に記載の情報処理装置の各手段として機能させるための制御プログラム。
【請求項16】
請求項15に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項1】
表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、
上記軌跡取得手段によって取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定手段と、
オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、
上記関連項目抽出手段によって抽出された関連項目のアイコンを特定の位置に配置して、上記表示部に表示する操作画面処理手段とを備え、
上記操作画面処理手段は、
上記抽出された関連項目の中で、優先順位が高い関連項目のアイコンほど、上記軌跡取得手段によって取得された軌跡の終点の近くに配置することを特徴とする情報処理装置。
【請求項2】
上記関連情報記憶部には、関連項目のアイコンがユーザによって選択された回数が関連項目ごとに記憶されており、
上記操作画面処理手段は、
上記選択された回数が多い関連項目のアイコンほど、上記軌跡の終点の近くに配置することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
上記関連情報記憶部には、関連項目の属性が関連項目ごとに記憶されており、
上記操作画面処理手段は、
上記選択されたオブジェクトの属性との類似度が高い属性を有する関連項目のアイコンほど、上記軌跡の終点の近くに配置することを特徴とする請求項1に記載の情報処理装置。
【請求項4】
上記選択されたオブジェクト、および、上記関連項目は、写真であって、上記関連情報記憶部には、写真の撮影日時が属性として記憶されており、
上記操作画面処理手段は、
上記選択されたオブジェクトである写真の撮影日時と近い撮影日時の写真のアイコンほど、上記軌跡の終点の近くに配置することを特徴とする請求項3に記載の情報処理装置。
【請求項5】
上記関連項目は、動画コンテンツであって、上記関連情報記憶部には、動画コンテンツをユーザに推奨する度合いを示す推奨度が属性として記憶されており、
上記操作画面処理手段は、
上記推奨度が高い動画コンテンツのアイコンほど、上記軌跡の終点の近くに配置することを特徴とする請求項1に記載の情報処理装置。
【請求項6】
上記軌跡取得手段は、上記表示部に表示されたオブジェクトを囲うように上記表示部の画面を移動した上記指示体の移動の軌跡を取得し、
上記オブジェクト特定手段は、上記軌跡により囲われた領域に、少なくとも一部が含まれるオブジェクトを、選択されたオブジェクトとして特定し、
上記操作画面処理手段は、上記抽出された関連項目のアイコンを、環の輪郭線上に並べて配置することを特徴とする請求項1から5までのいずれか1項に記載の情報処理装置。
【請求項7】
上記操作画面処理手段は、
上記選択されたオブジェクトの周囲にアイコンが配置されるように上記環の位置およびサイズを決定することを特徴とする請求項6に記載の情報処理装置。
【請求項8】
上記操作画面処理手段は、
上記軌跡取得手段によって取得された軌跡、もしくは、その相似形または近似形を、上記環の形状として決定することを特徴とする請求項6または7に記載の情報処理装置。
【請求項9】
上記操作画面処理手段は、
優先順位が最も高い関連項目のアイコンを、上記環の輪郭線上の、上記軌跡の終点に最も近い点に配置し、
残りの関連項目の各アイコンを、優先順位が最も高い上記アイコンの配置位置を基準にして、上記環の輪郭線上に配置することを特徴とする請求項6から8までのいずれか1項に記載の情報処理装置。
【請求項10】
上記軌跡取得手段は、
上記表示部に表示されたオブジェクトを選択する上記指示体の移動が生じるまでの所定期間に生じた上記指示体の軌跡を取得し、
上記操作画面処理手段は、
上記所定期間に取得された軌跡が、上記表示部の画面における特定の領域に偏っていると判断した場合に、上記特定の領域にアイコンが配置されるようにアイコンの位置を決定することを特徴とする請求項1から9までのいずれか1項に記載の情報処理装置。
【請求項11】
上記操作画面処理手段は、
上記表示部の画面における、上記オブジェクトを選択する上記指示体の移動の軌跡と重なる特定の領域にアイコンが配置されるようにアイコンの位置を決定することを特徴とする請求項1から9までのいずれか1項に記載の情報処理装置。
【請求項12】
当該情報処理装置が備える入力部および上記表示部はタッチパネルを構成するものであり、
上記軌跡取得手段は、上記タッチパネル上を移動した上記指示体の移動の軌跡を取得することを特徴とする請求項1から11までのいずれか1項に記載の情報処理装置。
【請求項13】
当該情報処理装置が備える入力部は、上記表示部に表示されるカーソルを移動させる指示を当該情報処理装置に入力するものであり、
上記軌跡取得手段は、上記指示体としてのカーソルの移動の軌跡を取得することを特徴とする請求項1から11までのいずれか1項に記載の情報処理装置。
【請求項14】
情報処理装置における操作画面表示方法であって、
上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、
上記軌跡取得ステップにて取得された軌跡に基づいて特定された選択領域に少なくとも一部が重なるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、
オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、
上記関連項目抽出ステップにて抽出された関連項目のアイコンを特定の位置に配置して、上記表示部に表示する操作画面処理ステップとを含み、
上記操作画面処理ステップでは、
上記抽出された関連項目の中で、優先順位が高い関連項目のアイコンほど、上記軌跡取得ステップにて取得された軌跡の終点の近くに配置することを特徴とする操作画面表示方法。
【請求項15】
コンピュータを、請求項1から13までのいずれか1項に記載の情報処理装置の各手段として機能させるための制御プログラム。
【請求項16】
請求項15に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24A】
【図24B】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24A】
【図24B】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【公開番号】特開2013−25410(P2013−25410A)
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願番号】特願2011−157168(P2011−157168)
【出願日】平成23年7月15日(2011.7.15)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願日】平成23年7月15日(2011.7.15)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]