情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
【課題】入力部および表示部を備えた情報処理装置において、優れた操作性を実現する。
【解決手段】本発明のタブレット端末100は、表示部12の画面の位置を指し示す指示体が移動した軌跡を取得する接触情報生成部21と、軌跡領域を特定し、軌跡領域に少なくとも一部が重なるオブジェクトを特定し、オブジェクトにおける、軌跡領域が占める割合に応じて、オブジェクト自体およびオブジェクトの一部のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定部22と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部42を参照して、選択されたオブジェクトに対応付けられた関連項目を抽出する関連項目抽出部23と、抽出された関連項目のアイコンを表示部12に表示する操作画面処理部24とを備えていることを特徴としている。
【解決手段】本発明のタブレット端末100は、表示部12の画面の位置を指し示す指示体が移動した軌跡を取得する接触情報生成部21と、軌跡領域を特定し、軌跡領域に少なくとも一部が重なるオブジェクトを特定し、オブジェクトにおける、軌跡領域が占める割合に応じて、オブジェクト自体およびオブジェクトの一部のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定部22と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部42を参照して、選択されたオブジェクトに対応付けられた関連項目を抽出する関連項目抽出部23と、抽出された関連項目のアイコンを表示部12に表示する操作画面処理部24とを備えていることを特徴としている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力部および表示部を備える情報処理装置のユーザインターフェース技術に関するものである。
【背景技術】
【0002】
近年、スマートフォン、タブレットPCなどの、いわゆるタブレット端末が急速に普及している。タブレット端末は、平板状の外形を有しており、表示部および入力部としてのタッチパネルを備えている。このタッチパネルに表示されたオブジェクトを、指やペン等でタッチすることにより、ユーザは、タブレット端末本体への各種操作を行うことができる。
【0003】
タブレット端末は、タッチパネルによってユーザの画面上での様々な接触動作を判別することができ、その接触動作に合わせたオブジェクト表示を行うことができる。例えば、接触動作には、画面に表示されたオブジェクトを、指(ペン)でタップする(軽くたたく)、フリックする(はじく、はらう)、ピンチする(指でつまむ)、ドラッグするなどの様々な動作がある。タブレット端末は、そうしたさまざまな接触動作を判別し、判別結果に応じて、オブジェクトの選択/移動、リストのスクロール、画像などの拡大/縮小を行う。タブレット端末は、上述のようにタッチパネルによってより直感的な操作を実現し、多くの人から支持されている。
【0004】
例えば、特許文献1には、タッチパネル式の表示部を備えた携帯通信端末が開示されている。特許文献1の携帯通信端末では、オブジェクト(URL、メールアドレス、文字列、画像など)を、指(ペン)でなぞるようにタッチしたり、囲むようにタッチしたりすることによって選択できるようになっている。そして、そのような動作で、オブジェクトが選択された場合には、携帯通信端末は、選択されたオブジェクトからキーワードを抽出して関連サイトへアクセスする。
【0005】
また、特許文献2には、タッチパネルディスプレイを備えた携帯機器が開示されている。特許文献2の携帯機器は、タッチパネルディスプレイにスルー画像(カメラに映った画像等)を表示し、囲むようにタッチして選択されたスルー画像内の特定対象を検出して、該特定対象の縮小画像をレリーズボタンとしてタッチパネルディスプレイの端部に表示することができる。そして、上記特定対象の縮小画像がタッチされると、携帯機器において、その特定対象に焦点を合わせて、撮影が実施される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−218322号公報(2010年9月30日公開)
【特許文献2】特開2010−182023号公報(2010年8月19日公開)
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上述した従来の技術では、ユーザによって、タッチパネルに表示された1または複数の選択対象物(オブジェクト)が何らかのジェスチャによって選択されたとき、オブジェクトそのものが選択されているのか、そのオブジェクトの一部が選択されているのかを判別することができない。このため、ユーザが真に選択したいと望んでいる内容を正確に特定できず、操作性が低下するという問題がある。
【0008】
より具体的には、特許文献1には、『バンドの画像』がタッチされると、携帯通信端末が『バンド』の情報サイトに接続するように動作することが記載されている。しかしながら、携帯通信端末は、画像そのものがタッチされたことを検出することができても、画像内に写っている何がタッチされたのかを検出することができない。したがって、ユーザは、例えば、上記『バンドの画像』に写っている特定のバンドメンバーに興味があって、その特定のバンドメンバーを部分的にタッチしたとしても、その特定のバンドメンバーの情報サイトにアクセスすることができない。
【0009】
あるいは、特許文献2には、ユーザのタッチ操作によって、ライブビュー画像中の特定の被写体が検出されることが記載されている。しかしながら、特許文献2の携帯機器においては、ライブビュー画像中の特定の被写体を選択することが前提である。すなわち、特許文献2に記載の技術は、ユーザの上記タッチ操作が、ライブビュー画像そのものを選択しているのか、画像の一部(特定の被写体)を選択しているのかを判別する技術ではない。
【0010】
上述の操作性の問題は、携帯性に優れた小型のタブレット端末のみならず、タッチパネル式の表示部兼入力部を備えた、あらゆるサイズの情報処理装置(例えば、大型のタッチパネルを備えた電子黒板など)、ならびに、タッチパネルに限定されずあらゆる形態の表示部および入力部を備えた情報処理装置においても、共通して生じる問題である。
【0011】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力部および表示部を備えた情報処理装置において、オブジェクトを選択可能に表示するとともに、オブジェクトを部分的に選択することも可能にすることによって、優れた操作性を実現することにある。
【課題を解決するための手段】
【0012】
本発明の情報処理装置は、上記課題を解決するために、表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、上記軌跡取得手段によって取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを上記表示部に表示する操作画面処理手段とを備えていることを特徴としている。
【0013】
上記構成によれば、オブジェクト特定手段は、まず、上記軌跡に基づいて軌跡領域を特定し、該軌跡領域少なくとも一部が重なるオブジェクトを特定し、次に、そのオブジェクトそのものが選択されたのか、そのオブジェクトの一部が部分的に選択されたのかを判定する。そして、オブジェクト特定手段は、オブジェクトそのものが選択されたと判定した場合には、先に特定したオブジェクトそれ自体を、また、オブジェクトの一部が選択されたと判定した場合には、その部分的に選択されたオブジェクトの一部分を、ユーザによって選択されたオブジェクトとして特定する。
【0014】
オブジェクトそれ自体、および、オブジェクトの一部、のいずれか一方が、ユーザによって選択されたオブジェクトとして特定されるので、関連項目抽出手段は、その特定されたオブジェクトに対応する関連項目を抽出する。
【0015】
操作画面処理手段は、抽出された関連項目の各アイコンを表示部に表示する。
【0016】
これにより、本発明の情報処理装置は、オブジェクトを選択するためのユーザの1つの動作(例えば、指示体を移動させる動作)に対して、選択されたオブジェクトに関連する関連項目のアイコンを選択可能に表示するという最終結果物を出力することができる。さらに、本発明の情報処理装置は、上記オブジェクトについて、それ自体が選択されたのか、その一部が選択されたのかを判別し、その判別結果に応じて、異なる最終結果物を出力することができる。
【0017】
具体的には、オブジェクト特定手段は、受け付けた指示体の移動の軌跡によって特定される軌跡領域の、特定されたオブジェクトの領域(オブジェクト領域)において占める割合に基づいて、上記オブジェクト自体が選択されたのか、上記オブジェクトの一部が選択されたのかを判定する。そして、操作画面処理手段は、オブジェクト自体が選択された場合の最終結果物(アイコン)、および、オブジェクトの一部が選択された場合の最終結果物(アイコン)のうちのいずれかを、上記の判定結果に応じて、出力する。
【0018】
このように、本発明の情報処理装置は、オブジェクトを選択するためのユーザの動作(指示体を移動させる動作)を受け付けるとき、オブジェクトを1つ提示するだけで、そのオブジェクトそのものを選択することも、そのオブジェクトを部分的に選択することも、両方可能なように、該オブジェクトを表示することができる。つまり、オブジェクト選択用の画像と、部分オブジェクト選択用の画像とを別々に提示せずとも、1つのオブジェクトを表す1つの画像を提示し、それをユーザに選択させるだけで、上述の2種類の選択を判別して受け付けることができる。このため、ユーザは、オブジェクト自体を選択するための画像(操作画面)と、オブジェクトの一部を選択するための画像(操作画面)とを、意図に合わせて別々に表示させる必要がなくなる。よって、本発明の情報処理装置は、ユーザに対して、シンプルで分かり易い操作画面を提示することができる。
【0019】
なおかつ、オブジェクト特定手段は、軌跡領域の大きさ(具体的には、オブジェクトの領域における軌跡領域が重なる割合)に基づいて、2種類の選択動作の判別を行っている。つまり、本発明の情報処理装置は、オブジェクト自体を選択するための動作と、オブジェクトの一部を選択するための動作とに対して、それぞれ異なる種類のジェスチャを割り当てなくても、1つの同じ種類のジェスチャを割り当てているだけである。
【0020】
例えば、オブジェクト自体を選択する動作も、オブジェクトを部分的に選択する動作も、「円で囲う」というジェスチャで統一されたり、「×印でチェックする」というジェスチャで統一されたり、「レ点でチェックする」というジェスチャで統一されたりしているという具合である。
【0021】
これにより、ユーザは、オブジェクト自体を選択するための動作と、オブジェクトを部分的に選択するための動作とのそれぞれに対して、異なるジェスチャを学習する必要がない。また、選択する対象が全部であれ、一部であれ、「何かを選択する」という1種類の動作に対しては、1種類のジェスチャが割り当てられていることがユーザにとって自然であり、直感的に理解されやすい。
【0022】
そして、上述のとおり、2種類の選択動作の判別は、軌跡領域の大きさに基づいて実行される。すなわち、オブジェクト全体に亘って選択動作が実行されれば、オブジェクトそのものが選択されたと判別され、オブジェクト上で局所的に選択動作が実行されれば、オブジェクトの一部が選択されたと判別される。このように、ユーザが関心を持っている範囲と、情報処理装置が選択されたと認識する範囲とを対応させることができるため、上述のような選択動作はユーザにとって自然であり、直感的に理解されやすい動作となっている。
【0023】
したがって、本発明の情報処理装置は、ユーザに対して、煩雑な操作を要求することなく、ユーザの直感に反しない自然な選択動作を行わせることが可能なユーザインターフェースを実現することができる。
【0024】
以上のことから、本発明の情報処理装置は、オブジェクトを選択可能に表示するとともに、オブジェクトを部分的に選択することも可能にすることによって、簡易な選択動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0025】
本発明の情報処理装置では、上記オブジェクトは画像データであり、上記オブジェクト特定手段は、特定した上記画像データ自体、および、上記画像データのうち上記軌跡領域と重なる部分画像が示す内容、のいずれかを、選択されたオブジェクトとして特定してもよい。
【0026】
上記構成によれば、画像データそのものがユーザによって選択された場合には、オブジェクト特定手段は、特定した画像データそのものを、選択されたオブジェクトとして特定し、画像データの中の一部の領域(すなわち、部分画像)が選択された場合には、オブジェクト特定手段は、上記部分画像が示す内容を、選択されたオブジェクトとして特定する。
【0027】
これにより、ユーザは、画像データ自体に対して関連項目(アイコン)を呼び出したい場合と、画像データに含まれている一部の内容に対して関連項目(アイコン)を呼び出したい場合とで、1種類のジェスチャについて選択範囲を使い分けるだけで、容易に、意図する最終結果物(アイコンが配置された操作画面)を得ることが可能となる。
【0028】
さらに、本発明の情報処理装置では、上記部分画像と照合するためのマッチング情報を記憶するマッチング情報記憶部を備え、上記オブジェクト特定手段は、上記部分画像と、上記マッチング情報とを照合することにより、上記部分画像が示す内容を特定してもよい。
【0029】
上記構成によれば、オブジェクト特定手段は、部分画像と、マッチング情報記憶部に記憶されている各マッチング情報とを照合し、マッチしたマッチング情報に基づいて、上記部分画像に示されている内容が何であるのかを特定することができる。
【0030】
さらに、本発明の情報処理装置では、上記マッチング情報は人物の顔画像であり、上記オブジェクト特定手段は、人物の顔を含む部分画像と、上記顔画像とを照合することにより、上記部分画像に映っている人物を、選択されたオブジェクトとして特定してもよい。
【0031】
上記構成によれば、オブジェクト特定手段は、部分画像と、マッチング情報記憶部に記憶されている各顔画像とを照合し、マッチした顔画像に基づいて、上記部分画像に示されている人物を特定することができる。
【0032】
あるいは、本発明の情報処理装置では、上記マッチング情報は文字の特徴量であり、上記オブジェクト特定手段は、文字または文字列を含む部分画像と、上記文字の特徴量とを照合することにより、上記部分画像に含まれる文字または文字列を、選択されたオブジェクトとして特定してもよい。
【0033】
上記構成によれば、オブジェクト特定手段は、部分画像と、マッチング情報記憶部に記憶されている各文字の特徴量とを照合し、マッチした文字の特徴量に基づいて、上記部分画像に示されている文字(または文字が複数の場合には文字列)を認識し、これを選択されたオブジェクトとして特定することができる。
【0034】
あるいは、本発明の情報処理装置では、上記オブジェクト特定手段は、特定した上記オブジェクトにおける、上記軌跡領域が占める割合が、閾値以上である場合に、上記オブジェクト自体を、選択されたオブジェクトとして特定し、上記閾値未満である場合に、上記オブジェクトの一部を、選択されたオブジェクトとして特定してもよい。
【0035】
上記構成によれば、オブジェクト特定手段は、オブジェクト全体に大方重なるように選択動作が起こった場合には、オブジェクトそのものが選択されたと判断し、オブジェクトの一部にしか選択動作が重なっていない場合には、オブジェクトの一部が選択されたと判断することができる。オブジェクト自体を選択する意図がある場合に、オブジェクト全体に大方重なるように選択動作を実施すること、および、オブジェクトの一部を選択する意図がある場合に、その一部分だけに選択動作を実施することは、ユーザにとって、理解し易い自然な動作である。
【0036】
したがって、本発明の情報処理装置は、ユーザに対して、煩雑な操作を要求することなく、ユーザの直感に反しない自然な選択動作を行わせることが可能なユーザインターフェースを実現することができる。
【0037】
結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0038】
さらに、本発明の情報処理装置では、上記軌跡取得手段によって取得された軌跡に基づいて、同種のジェスチャが繰り返された回数を判定するジェスチャ判定手段を備え、上記オブジェクト特定手段は、特定した上記オブジェクトにおける、上記軌跡領域が占める割合が閾値以上である場合であって、上記ジェスチャ判定手段によって判定された回数が、1回である場合に、上記オブジェクト自体を、選択されたオブジェクトとして特定し、複数回である場合に、上記オブジェクトの一部を、選択されたオブジェクトとして特定してもよい。
【0039】
上記構成によれば、本発明の情報処理装置は、ユーザの同種のジェスチャの繰返し回数に基づいて、より正確に、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを判定することができる。そして、ユーザは、その一部に興味があるということを示したい場合には、同種のジェスチャを繰り返すだけでよい。同じ動きを繰り返すという動作は、その部分をより強調しているという意味合いと自然に結びつく動作である。したがって、元々オブジェクトを選択するために割り当てられたジェスチャを2回以上繰り返すことによって、特に興味がある一部分を選択するということは、ユーザにとって自然に理解できることである。
【0040】
以上のことから、本発明の情報処理装置は、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、より正確に、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0041】
本発明の情報処理装置において、当該情報処理装置が備える入力部および上記表示部はタッチパネルを構成するものであり、上記軌跡取得手段は、上記タッチパネル上を移動した上記指示体の移動の軌跡を取得してもよい。
【0042】
上記構成によれば、ユーザがオブジェクトを選択するために行う接触動作と、その動作に応じて得られる結果物との関連性を高めることが可能となり、ユーザの直感に反しない自然な流れで操作画面を提供することができる。結果として、タッチパネルを備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0043】
あるいは、本発明の情報処理装置において、当該情報処理装置が備える入力部は、上記表示部に表示される、上記指示体としてのカーソルを移動させる指示を当該情報処理装置に入力するものであり、上記軌跡取得手段は、上記カーソルの移動の軌跡を取得してもよい。
【0044】
上記構成によれば、ユーザが、入力部を操作して、オブジェクトを選択するために行う入力動作と、その動作に応じて得られる結果物との関連性を高めることが可能となり、ユーザの直感に反しない自然な流れで操作画面を提供することができる。結果として、表示部と入力部とを備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0045】
本発明の操作画面表示方法は、上記課題を解決するために、情報処理装置における操作画面表示方法であって、上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、上記軌跡取得ステップにて取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップにて抽出された関連項目のアイコンを上記表示部に表示する操作画面処理ステップとを含むことを特徴としている。
【0046】
なお、上記情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0047】
本発明の情報処理装置は、上記課題を解決するために、表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、上記軌跡取得手段によって取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを上記表示部に表示する操作画面処理手段とを備えていることを特徴としている。
【0048】
本発明の操作画面表示方法は、上記課題を解決するために、情報処理装置における操作画面表示方法であって、上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、上記軌跡取得ステップにて取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップにて抽出された関連項目のアイコンを上記表示部に表示する操作画面処理ステップとを含むことを特徴としている。
【0049】
したがって、入力部および表示部を備えた情報処理装置において、オブジェクトを選択可能に表示するとともに、オブジェクトを部分的に選択することも可能にすることによって、優れた操作性を実現するという効果を奏する。
【図面の簡単な説明】
【0050】
【図1】本発明の一実施形態におけるタブレット端末の要部構成を示す機能ブロック図である。
【図2】本発明の一実施形態におけるタブレット端末のハードウェア構成を示すブロック図である。
【図3】本発明の一実施形態におけるタブレット端末の外観を示す平面図である。
【図4】タブレット端末をユーザが把持および操作するときの様子を説明する図であり、(a)は、タブレット端末が片手で把持され、その手で操作される様子を説明する図であり、(b)は、タブレット端末が一方の手で把持され、もう一方の手で操作される様子を説明する図である。
【図5】タブレット端末のオブジェクト特定部の動作を説明する図であり、(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行った様子を示す図であり、(b)は、(a)に示す接触動作に伴って、接触情報生成部が生成した接触情報の一例を示す図であり、(c)は、接触が検知されたt0〜tnの期間に表示部に表示された映像フレームのマップ情報の一例を示す図である。
【図6】(a)は、タブレット端末の部分選択判定部が、軌跡領域と特定されたオブジェクトの領域とを比較する動作を説明する図であり、(b)は、部分選択判定部が、オブジェクト領域における、軌跡領域と重なる面積の割合を求める動作を説明する図である。
【図7】(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行った他の例を示す図であり、(b)は、(a)に示す接触動作に伴って、接触情報生成部が生成した接触情報の他の例を示す図であり、(c)は、接触が検知されたt0〜tnの期間に表示部に表示された映像フレームのマップ情報の一例を示す図である。
【図8】タブレット端末の部分オブジェクト特定部の動作を説明する図である。
【図9】タブレット端末の関連情報記憶部に記憶される関連情報の一例を示す図である。
【図10】タブレット端末の関連情報記憶部に記憶される関連情報の他の例を示す図である。
【図11】タブレット端末のアイコン記憶部に記憶されるアイコン画像の具体例を示す図である。
【図12】タブレット端末の操作画面処理部の処理内容を説明する図であり、(a)は、操作画面処理部によるオブジェクトの表示処理の一例を説明する図であり、(b)は、操作画面処理部による関連項目のアイコン配置の一例を示す図である。
【図13】タブレット端末の操作画面処理部によって実行された操作画面生成処理の結果、得られた操作画面の具体例を示す図である。
【図14】タブレット端末の操作画面処理部によって実行された操作画面生成処理の結果、得られた操作画面の他の具体例を示す図である。
【図15】タブレット端末による操作画面表示処理の流れを示すフローチャートである。
【図16】ユーザが目的のオブジェクトそれ自体を選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。
【図17】図16に示す接触動作に応じて、操作画面処理部によって生成された操作画面の具体例を示す図である。
【図18】ユーザが目的のオブジェクトの一部を選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。
【図19】タブレット端末の関連情報記憶部に記憶される関連情報の他の例を示す図である。
【図20】図18に示す接触動作に応じて、操作画面処理部によって生成された操作画面の具体例を示す図である。
【図21】(a)は、ユーザが目的のオブジェクトの一部を選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図であり、(b)は、(a)に示す接触動作に伴って取得された軌跡によって特定される軌跡領域とオブジェクト領域との重なり具合を示す図である。
【図22】本発明の他の実施形態におけるタブレット端末の要部構成を示す機能ブロック図である。
【図23】(a)は、ユーザが目的のオブジェクトの一部を選択するためにオブジェクトを「繰返し囲う」という接触動作を行ったことを示す図であり、(b)は、(a)に示す接触動作に伴って取得された軌跡によって特定される軌跡領域とオブジェクト領域との重なり具合を示す図である。
【図24】本発明の他の実施形態におけるタブレット端末による操作画面表示処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0051】
≪実施形態1≫
本発明の実施形態について、図1〜図20に基づいて説明すると以下の通りである。
【0052】
以下で説明する実施形態では、一例として、本発明の情報処理装置を、タブレット端末に適用した場合について説明する。本実施形態では、一例として、上記タブレット端末は、片手で操作することが可能な、小型で携帯性に優れたスマートフォンなどで実現される。
【0053】
しかし、本発明の情報処理装置は、上記の例に限定されず、あらゆるサイズの情報処理装置(例えば、大型のタッチパネルを備えた電子黒板など)に、本発明の情報処理装置を適用してもよい。
【0054】
〔タブレット端末のハードウェア構成〕
図2は、本実施形態におけるタブレット端末100のハードウェア構成を示すブロック図である。タブレット端末100は、図2に示すとおり、少なくとも、制御部10、入力部11、表示部12および記憶部19を備えている。さらに、タブレット端末100は、本来備わっている機能を実現するために、操作部13、外部インターフェース14、通信部15、無線通信部16、音声出力部17、音声入力部18を備えていてもよい。
【0055】
また、タブレット端末100がスマートフォンなどの多機能携帯通信端末である場合には、ここでは省略したが、タブレット端末100は、通話処理部、撮影を行う撮像部(レンズ・撮像素子など)、放送受像部(チューナ・復調部など)、GPS、および、センサ(加速度センサ、傾きセンサなど)他、スマートフォンが標準的に備えている各種部品を備えていてもよい。
【0056】
入力部11は、ユーザがタブレット端末100を操作するための指示信号を、タッチパネルを介して入力するためのものである。入力部11は、指示体(表示部12の画面位置を指示するもの、ここでは、例えば、指またはペンなど)の接触を受け付けるタッチ面と、指示体とタッチ面との間の接触/非接触(接近/非接近)、および、その接触(接近)位置を検知するためのタッチセンサとで構成されている。タッチセンサは、指示体とタッチ面との接触/非接触を検知できればどのようなセンサで実現されていてもかまわない。例えば、圧力センサ、静電容量センサ、光センサなどで実現される。
【0057】
表示部12は、タブレット端末100が情報処理するオブジェクト(アイコンなどのあらゆる表示対象物)、および、処理の結果物を表示したり、ユーザがタブレット端末100を操作するための操作画面をGUI(Graphical User Interface)画面として表示したりするものである。表示部12は、例えば、LCD(液晶ディスプレイ)などの表示装置で実現される。
【0058】
本実施形態では、入力部11と表示部12とは一体に成形されており、これらがタッチパネルを構成している。したがって、このような実施形態では、ユーザが画面位置を指示するために動かす(操作する)対象、すなわち、操作体(ここでは、指またはペンなど)は、同時に、表示部12の画面上の位置を指示する指示体でもある。
【0059】
例えば、本発明のタブレット端末100のタッチパネルを投影型静電容量方式のタッチパネルで実現する場合、具体的には、上記タッチセンサは、ITO(Indium Tin Oxide)などによるマトリクス状の透明電極パターンを、ガラス、プラスチックなどの透明基板上に形成したものとなる。タッチセンサに指示体(ユーザの指またはペン等)が接触または接近すると、その付近の複数の透明電極パターンにおける静電容量が変化する。従って、制御部10は、上記透明電極パターンの電流または電圧の変化を検出することにより、上記指示体が接触または接近した位置を検出することができる。
【0060】
以下では、「接触を検知する」、「接触動作」、「接触位置」などというときの「接触」という用語は、指示体とタッチ面とが完全に接する(接している)状態のみならず、指示体とタッチ面とが、タッチセンサが検知可能な程度に接近する(接近している)状態も含んでいる。
【0061】
操作部13は、ユーザがタブレット端末100に指示信号を直接入力するためのものである。例えば、操作部13は、ボタン、スイッチ、キー、ジョグダイアルなどの適宜の入力機構で実現される。例えば、操作部13は、タブレット端末100の電源のオン/オフを行うスイッチである。
【0062】
外部インターフェース14は、外部の装置をタブレット端末100に接続するためのインターフェースである。外部インターフェース14は、例えば、これに限定されないが、外付けの記録媒体(メモリカードなど)を挿し込むためのソケット、HDMI(High Definition Multimedia Interface)端子、USB(Universal Serial Bus)端子などで実現される。タブレット端末100の制御部10は、外部インターフェース14を介して、外部の装置とデータの送受信を行うことができる。
【0063】
通信部15は、通信網を介して外部の装置と通信を行うものである。通信部15は、通信網を介して、各種通信端末に接続し、タブレット端末100と通信端末との間でのデータの送受信を実現する。さらに、タブレット端末100が、スマートフォンなどの携帯通信端末である場合には、通信部15は、携帯電話回線網を介して、音声通話データ、電子メールデータなどを、他の装置との間で送受信する。
【0064】
無線通信部16は、無線で外部の装置と通信を行うものである。無線通信部16は、特に限定されないが、IrDA、IrSSなどの赤外線通信、Bluetooth通信、WiFi通信、非接触型ICカードのいずれかの無線通信手段を実現するものであってもよいし、これらの手段を複数実現するものであってもよい。タブレット端末100の制御部10は、無線通信部16を介して、タブレット端末100の周辺にある機器と通信し、それらの機器とデータの送受信を行うことができる。
【0065】
音声出力部17は、タブレット端末100が処理した音声データを、音声として出力するものであり、スピーカ、ヘッドフォン端子およびヘッドフォン等により実現される。
【0066】
音声入力部18は、タブレット端末100外部で発生した音声の入力を受け付けるものであり、マイク等により実現される。
【0067】
記憶部19は、タブレット端末100の制御部10が実行する(1)制御プログラム、(2)OSプログラム、(3)制御部10が、タブレット端末100が有する各種機能を実行するためのアプリケーションプログラム、および、(4)該アプリケーションプログラムを実行するときに読み出す各種データを記憶するものである。あるいは、(5)制御部10が各種機能を実行する過程で演算に使用するデータおよび演算結果等を記憶するものである。例えば、上記の(1)〜(4)のデータは、ROM(read only memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)、HDD(Hard Disc Drive)などの不揮発性記憶装置に記憶される。例えば、上記の(5)のデータは、RAM(Random Access Memory)などの揮発性記憶装置に記憶される。どのデータをどの記憶装置に記憶するのかについては、タブレット端末100の使用目的、利便性、コスト、物理的な制約などから適宜決定される。
【0068】
制御部10は、タブレット端末100が備える各部を統括制御するものである。制御部10は、例えば、CPU(central processing unit)などで実現され、タブレット端末100が備える機能は、制御部10としてのCPUが、ROMなどに記憶されているプログラムを、RAMなどに読み出して実行することで実現される。制御部10が実現する各種機能(特に、本発明の操作画面表示機能)については、別図を参照しながら後述する。
【0069】
〔タブレット端末の外観〕
図3は、タブレット端末100の外観を示す平面図である。図3に示すとおり、タブレット端末100は、タッチパネルとしての入力部11および表示部12を備えているものである。また、タブレット端末100には、これらは必須の構成ではないが、操作部13、外部インターフェース14、無線通信部16、音声出力部17、音声入力部18などが備えられている。例えば、無線通信部16が、赤外線通信手段で実現されている場合、タブレット端末100の側面には、無線通信部16として赤外線送受光部が設けられる。
【0070】
図4は、タブレット端末100をユーザが把持および操作するときの様子を説明する図である。より詳細には、図4の(a)は、タブレット端末100が片手で把持され、その手で操作される様子を説明する図であり、図4の(b)は、タブレット端末100が一方の手で把持され、もう一方の手で操作される様子を説明する図である。
【0071】
本実施形態では、タブレット端末100は、片手で把持可能な手のひらサイズの情報処理装置であり、図4の(a)に示すように、片手でタブレット端末100を把持したまま、その手の親指で入力部11のタッチ面を操作できるものである。そして、タブレット端末100は、例えば、親指が届かない位置に操作対象となるアイコンが存在する場合、フリック動作で、親指近辺にアイコンを引き寄せて、親指でアイコンを囲ったり、タップしたりすることにより、アイコンの選択を行うことができるものである。
【0072】
また、図4の(b)に示すように、ユーザは、一方の手でタブレット端末100を把持し、もう一方の手の指で入力部11のタッチ面を操作してもよい。あるいは、図示しないが、タブレット端末100を横長にして、その両脇を両手で把持し、両手の親指で入力部11のタッチ面を操作してもよい。
【0073】
〔タブレット端末の機能〕
次に、タブレット端末100の機能構成について説明する。図1は、本実施形態におけるタブレット端末100の要部構成を示す機能ブロック図である。
【0074】
図1に示すとおり、本実施形態にかかるタブレット端末100の制御部10は、本発明の操作画面表示機能を実現するための機能ブロックとして、少なくとも、接触情報生成部21、オブジェクト特定部22、関連項目抽出部23、および、操作画面処理部24を備えている。そして、より詳細には、オブジェクト特定部22は、部分選択判定部34および部分オブジェクト特定部35を備えている。
【0075】
上述した制御部10の各機能ブロックは、CPU(central processing unit)が、ROM(read only memory)等で実現された不揮発性記憶装置に記憶されているプログラムを不図示のRAM(random access memory)等に読み出して実行することで実現できる。
【0076】
また、記憶部19は、制御部10の上記の各部が操作画面表示機能を実行する際に、データの読み出しまたは書き込みを行うための記憶部として、具体的には、フレームマップ記憶部41、関連情報記憶部42、アイコン記憶部43、および、マッチング情報記憶部46で構成されている。
【0077】
接触情報生成部21は、入力部11のタッチセンサから出力される信号を処理して、接触情報を生成するものである。接触情報とは、指示体(例えば指)の接触位置の座標位置を示す接触座標情報を少なくとも含んでいる。これにより、制御部10の各部は、上記接触情報から上記指示体の移動の軌跡を得ることができる。本実施形態では、さらに、上記軌跡を構成する各点に対して、接触が起こった時間を示す接触時間情報(指示体の移動時間を示す移動時間情報)が必要に応じて対応付けられていてもよい。
【0078】
接触情報は、オブジェクト特定部22が即時利用可能なように図示しない記憶部(キャッシュなど)に一時的に記憶されてもよい。あるいは、タブレット端末100は、さらに、記憶部19において図示しない接触情報記憶部を備え、接触情報記憶部が、接触情報生成部21によって生成された接触情報を記憶しておいてもよい。
【0079】
上記接触情報記憶部を不揮発性記憶装置で実現するか否か、すなわち、この接触情報を不揮発的に記憶するか否かは、操作画面処理部24が実行する操作画面表示機能の目的、想定利用環境、あるいは、タブレット端末100自体の使用目的、利便性、コスト、物理的な制約などから適宜決定される。
【0080】
接触情報生成部21が接触情報を生成する手順について、より詳細には、入力部11のタッチセンサが、タッチ面と指示体(本実施形態では、指)との接触を検知してから、その非接触を検知するまでの間、接触情報生成部21は、タッチセンサから出力される信号を取得する。この信号には、「接触」を検知した旨と、その接触位置を示す情報とが含まれており、接触情報生成部21は、この信号に基づいて、接触位置を座標で示す接触座標情報を生成する。
【0081】
なお、接触情報生成部21は、接触が検知されてからそれが非接触となるまでの間の時間を測定し、接触時間情報を接触座標情報に対応付けてもよい。接触情報生成部21は、タブレット端末100に搭載される時計部が保持する絶対的な時刻情報を取得して利用してもよいが、接触情報生成部21は、接触が検知されてから計時を開始し、相対的な接触時間情報を得てもよい。例えば、接触情報生成部21は、接触が最初に検知された時点(t0)を0.00秒として経過時刻を計測し、接触が最後に検知された時点(tn)まで、上記計測を継続させて、接触位置に対応する相対的な接触時間情報を取得すればよい。いずれにしても、接触情報生成部21は、得られた接触時間情報を接触座標情報に対応付けて接触情報を生成する。
【0082】
本実施形態では、生成された接触情報は、オブジェクト特定部22に供給され、オブジェクト特定部22によって利用される。
【0083】
接触情報生成部21は、接触動作が終了した位置の座標情報を取得しておき、この情報を含めて接触情報を生成してもよい。さらに、接触情報生成部21は、接触動作が開始された位置の座標情報も取得してもよい。さらに、接触情報生成部21は、接触動作の開始および終了位置のそれぞれに対して、接触時間情報を対応付けてもよい。上記のデータ構造を有する接触情報により、制御部10の各部は、軌跡の始点または終点の位置などを認識することができる。
【0084】
オブジェクト特定部22は、ユーザの接触動作によって選択されたオブジェクトを特定するものである。オブジェクト特定部22は、接触情報生成部21によって生成された接触情報と、その接触が起こっている間に表示部12に表示されていた映像フレームのマップ情報とを対比する。これにより、オブジェクト特定部22は、接触動作によって選択されたオブジェクトを、表示部12に表示中のオブジェクトの中から特定することができる。
【0085】
フレームマップ記憶部41は、接触時の表示部12に出力されていた映像フレームのマップ情報を記憶するものである。マップ情報は、タッチパネルに表示されている映像フレームのレイアウト示す情報である。具体的には、マップ情報は、表示されている各オブジェクトについて、それらを個々に識別する情報と、各オブジェクトの形状、大きさ、および、表示位置の情報を含む。つまり、マップ情報は、各オブジェクトをタッチパネルの座標系に対応させてプロットしたものである。
【0086】
さらに、本実施形態では、ユーザが意図してオブジェクトを部分的に選択したときに、オブジェクト特定部22は、オブジェクトが部分的に選択されたと判定することが可能である。そして、この場合、オブジェクト特定部22は、その選択された部分を、サブ要素として特定することができる。以下では、オブジェクトの一部を部分的に表す場合、すなわち、上記サブ要素のことを部分オブジェクトと称する。
【0087】
本実施形態では、オブジェクト特定部22は、部分選択判定部34および部分オブジェクト特定部35を含む構成である。
【0088】
部分選択判定部34は、ユーザの接触動作によって、オブジェクト全体が指定されたのか、あるいは、そのオブジェクトの一部が部分的に指定されたのかを判定するものである。
【0089】
本実施形態では、部分選択判定部34は、指の移動の軌跡によって特定される領域と、特定されたオブジェクトの領域とを比較する。なお、オブジェクト特定部22は、上記軌跡領域を、接触情報生成部21によって生成された接触情報から取得された軌跡に基づいて決定する。オブジェクト特定部22が軌跡領域を特定する方法は特に限定されないが、例えば、軌跡そのものが軌跡領域として特定されてもよいし、軌跡によって囲われる内側の領域が軌跡領域として特定されてもよいし、軌跡の外接矩形が軌跡領域として特定されてもよい。上記オブジェクトの領域は、オブジェクト特定部22が特定したオブジェクトの領域を、上記マップ情報から取得することによって決定される。
【0090】
続いて、部分選択判定部34は、オブジェクトの領域における、軌跡の領域と重なる面積の割合が、所定閾値未満の場合に、オブジェクトが部分的に選択されたと判定する。すなわち、部分選択判定部34は、オブジェクト全体に大方重なるように接触動作が起こった場合には、オブジェクトそのものが選択されたと判断し、オブジェクトの一部にしか接触動作が重なっていない場合には、オブジェクトの一部が選択されたと判断する。上記閾値は、ユーザのオブジェクトを選択する接触動作の種類(「囲う」なのか、タップなのか、など)、タブレット端末100のタッチパネルの面積、タッチパネルに表示されるオブジェクトの平均的な大きさなどに応じて適宜定めればよい。
【0091】
本実施形態では、具体例として、オブジェクトを選択する接触動作は、「囲う」接触動作と定められており、上記閾値が「80%」と定められているものとし、以下、オブジェクト特定部22の動作を説明する。しかし、上記は、一例に過ぎず、本発明のタブレット端末100を限定する意図はない。
【0092】
図5〜図8は、オブジェクト特定部22の動作を説明する図である。
【0093】
より詳細には、図5の(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。図5の(b)は、同図の(a)に示す接触動作に伴って、接触情報生成部21が生成した接触情報の一例を示す図である。図5の(c)は、接触が検知されたt0〜tnの期間に表示部12に表示された映像フレームのマップ情報の一例を示す図である。
【0094】
図5の(a)に示すとおり、ユーザが、タブレット端末100のタッチパネルに表示されているオブジェクト80(ここでは、写真)のうちの1つを「囲う」という接触動作を実行したとする。接触動作は、例えば、接触点が同図の破線の位置を通過するようにt0〜tnの期間に実行されたとする。
【0095】
オブジェクト特定部22は、接触情報生成部21から、図5の(b)に示すような接触情報を取得する。本実施形態では、接触情報の座標系は、タブレット端末100のタッチパネルの座標系に対応し、パネルの最左上端を原点とするものである。図5の(b)において、ユーザの「囲う」接触動作の軌跡のうち、始点をt0、終点をtnとして示しているが、その間の各点にも接触時間情報が関連付けられていてもよい。あるいは、本実施形態では、接触時間情報は上記接触情報に含まれていなくてもよい。
【0096】
オブジェクト特定部22は、フレームマップ記憶部41から、図5の(c)に示されるマップ情報(すなわち、t0〜tnの期間において表示部12に表示された映像フレームのレイアウト)を取得する。そして、オブジェクト特定部22は、上記接触情報と上記マップ情報とを対比して、接触情報から得られたユーザの指の軌跡によって囲われる領域内または該領域の外接矩形内に全部あるいはほぼ重なるオブジェクト80を選択されたオブジェクトであるとして特定する。図5に示す例では、オブジェクト特定部22は、図5の(c)の「写真1」を選択されたオブジェクトとして特定する。
【0097】
なお、図5の(a)〜(c)は、一例として、ユーザがオブジェクトを選択するための接触動作が「囲う」である場合のオブジェクトの特定方法を示しているが、本発明のタブレット端末100の構成は上記に限定されない。例えば、ユーザは、所望のオブジェクトを指すときに、オブジェクトにチェックマーク(レ点または×印など)を入れるような「チェックする」という接触動作で選択してもよいし、オブジェクトを斜め上から斜め下に払うような「フリックする」という接触動作で選択してもよい。タブレット端末100は、上述のような線状の軌跡を、範囲を指定する情報として扱う。したがって、タブレット端末100においては、接触動作が生じた場所を「面」で捉えることが可能な、上述のいずれの線状の接触動作を「オブジェクトを選択するための動作」に割り当ててもよい。オブジェクト特定部22は、割り当てられた接触動作に応じて適切に、ユーザが指し示すオブジェクトを特定できる構成である。
【0098】
例えば、オブジェクトを選択するための接触動作が、レ点で「チェックする」という接触動作であると定められている場合、オブジェクト特定部22は、レ点の軌跡の外接矩形を軌跡領域として決定し、この軌跡領域と重なるオブジェクトを、選択されたオブジェクトとして特定することができる。
【0099】
オブジェクト特定部22は、特定したオブジェクトの情報を、部分選択判定部34に引き渡す。次に、部分選択判定部34は、特定されたオブジェクトそのものが選択されたのか、そのオブジェクトの一部のみが選択されたのか判定する。
【0100】
図6の(a)は、部分選択判定部34が、軌跡領域と特定されたオブジェクトの領域とを比較する動作を説明する図であり、図6の(b)は、部分選択判定部34が、オブジェクトの領域における、軌跡領域と重なる面積の割合を求める動作を説明する図である。
【0101】
まず、部分選択判定部34は、図6の(a)に示すとおり、接触情報から得られた軌跡によって特定される軌跡領域61と、特定されたオブジェクト80(ここでは、写真1)が配置されている領域(オブジェクト領域62)とを比較する。そして、部分選択判定部34は、図6の(b)に示すとおり、オブジェクト領域62と軌跡領域61とが重なる領域(重畳領域63)を特定する。なお、図5の(b)および(c)に示すとおり、軌跡が、それ自身で交わらなかったり、また、始点と終点とが一致しなかったりして、閉じられた領域を特定できないような場合には、オブジェクト特定部22は、例えば、図6の(a)に示すとおり、軌跡の始点および終点を結ぶ線(例えば、直線など)を補って、軌跡領域61を特定してもよい。一方、オブジェクト特定部22は、軌跡が閉曲線の場合、その軌跡によって囲われる領域内を軌跡領域として特定すればよい。
【0102】
あるいは、オブジェクト特定部22は、軌跡が閉曲線であってもそうでなくとも上記線状の軌跡の外接矩形内を軌跡領域として特定してもよい。オブジェクト特定部22は、軌跡に基づいて、上記の例に限定されない所定の規則に基づいて、軌跡領域を特定することができる。
【0103】
最後に、部分選択判定部34は、オブジェクト領域62における、重畳領域63の面積の割合を求める。ここでは、例えば、部分選択判定部34は、「94%」と算出したとする。部分選択判定部34は、求めた割合「94%」を、所定の閾値(ここでは、「80%」)と比較する。そして、部分選択判定部34は、求めた割合が、閾値以上であることから、図5の(a)に示される接触動作によって、オブジェクトそのものが選択されたと判定する。部分選択判定部34は、この判定結果をオブジェクト特定部22に返す。
【0104】
オブジェクト特定部22は、部分選択判定部34によってオブジェクトそのものが選択されたと判定された場合には、自身が特定したオブジェクトの情報(ここでは、「写真1」)を、関連項目抽出部23に供給する。
【0105】
図7の(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行った他の例を示す図である。図7の(b)は、同図の(a)に示す接触動作に伴って、接触情報生成部21が生成した接触情報の他の例を示す図である。図7の(c)は、接触が検知されたt0〜tnの期間に表示部12に表示された映像フレームのマップ情報の一例を示す図である。
【0106】
図7の(a)に示すとおり、ユーザが、タブレット端末100のタッチパネルに表示されているオブジェクト80(ここでは、写真)のうちの1つを「囲う」という接触動作を実行したとする。ここでは、ユーザは、写真の中の人物に注目して、この人物を選択することを意図して接触動作を行っている。接触動作は、例えば、接触点が同図の破線の位置を通過するようにt0〜tnの期間に実行されたとする。
【0107】
図5に示す例と同様に、接触情報生成部21は、ユーザの指の移動の軌跡を含む接触情報を生成する(図7の(b))。そして、オブジェクト特定部22は、図7の(c)に示すとおり、得られた軌跡によって特定される軌跡領域と、マップ情報とを比較することにより、軌跡領域が重なるオブジェクト80(ここでは、写真1)を、ユーザが選択したオブジェクトとして特定する。
【0108】
続いて、部分選択判定部34は、図6に示す例と同様に、上記軌跡によって特定された軌跡領域(図7の(c)の斜線の領域)と、オブジェクト特定部22によって特定されたオブジェクト領域(図7の(c)の写真1の領域)とを比較する。図7の(c)に示す例では、部分選択判定部34は、オブジェクト領域における、軌跡領域と重なる重畳領域の面積の割合を「20%」と算出したとする。部分選択判定部34は、求めた割合「20%」を、所定の閾値(ここでは、「80%」)と比較する。そして、部分選択判定部34は、求めた割合が、閾値未満であることから、図7の(a)に示される接触動作によって、オブジェクト80が部分的に選択されたと判定する。部分選択判定部34は、この判定結果をオブジェクト特定部22に返す。
【0109】
部分選択判定部34によってオブジェクトが部分的に選択されたと判定された場合には、次に、オブジェクト特定部22は、ユーザによって選択された部分オブジェクトを特定する処理を部分オブジェクト特定部35に実行させる。
【0110】
図8は、部分オブジェクト特定部35の動作を説明する図である。より詳細には、図8の(a)は、ユーザが選択したオブジェクトとして特定された写真1の最左上端を原点とする座標系を示す図であり、図8の(b)は、部分オブジェクト特定部35が、同図の(a)に示す座標系に、上記軌跡によって特定される軌跡領域をプロットし、重畳領域を特定する動作を説明する図であり、図8の(c)は、部分オブジェクト特定部35が、同図の(b)に示す軌跡領域と、特定された写真1の画像データとに基づいて、部分オブジェクトを特定する動作を説明する図である。
【0111】
まず、部分オブジェクト特定部35は、特定されたオブジェクト80(ここでは写真1)のオブジェクト領域の座標系を生成する。図8の(a)に示す例では、部分オブジェクト特定部35は、オブジェクト領域の最左上端を原点とする座標系を生成する。次に、部分オブジェクト特定部35は、図8の(b)に示すとおり、上記軌跡によって特定された軌跡領域を上記座標系にプロットし、重畳領域64を特定する。図8の(b)に示す例では、軌跡領域はオブジェクト領域に完全に包含されるため、部分オブジェクト特定部35は、軌跡領域を、そのまま重畳領域64として特定した。しかし、この例に限定されず、軌跡領域は、オブジェクト領域の外の領域を含むことも想定される。この場合は、軌跡領域のうち、オブジェクト領域を重なる領域のみが重畳領域64として特定される。
【0112】
次に、部分オブジェクト特定部35は、記憶部19の図示しない画像記憶部から、オブジェクト80としての写真1の画像データを読み出す。部分オブジェクト特定部35は、取得した写真1の画像データに重畳領域64をプロットし、画像データの重畳領域64の部分(部分画像)が何を表しているのかを特定する。すなわち、部分オブジェクトを特定する。
【0113】
具体的には、選択されたオブジェクト(全体)が、写真などの画像データである場合、部分オブジェクト特定部35は、画像処理技術により、重畳領域64(部分画像)に写っている内容を特定する。ここで、画像処理技術とは、公知のマッチング技術であり、比較対象の部分画像から得られる特徴量と、既知のモデル画像の特徴量とを照合し、その一致率に基づいて、上記部分画像と上記既知のモデル画像の情報とを紐付けて、部分画像の内容を特定する技術である。例えば、顔検出、人物判定などに応用される技術である。また、光学式文字認識(OCR;optical character recognition)の技術も、この画像処理技術に含まれる。
【0114】
図1に示すとおり、タブレット端末100の記憶部19は、マッチング情報記憶部46を備えている。マッチング情報記憶部46は、マッチング情報を記憶するものである。マッチング情報とは、部分画像の内容を特定するために、部分画像と照合するための既知のモデル画像または特徴量である。
【0115】
本実施形態では、マッチング情報記憶部46は、少なくとも、顔認識を実現するために、マッチング情報として、既知の人物の顔画像を記憶している。顔画像には、人物を識別するための識別情報が関連付けられているので、タブレット端末100において、どの顔画像がどの人物のものであるのかが把握されるようになっている。例えば、マッチング情報記憶部46は、電話帳データベースを保持していてもよい。電話帳データベースは、人物ごとに、人物名、顔画像、電話番号、住所、メールアドレスなどを対応付けたデータ構造を有している。
【0116】
図8の(c)に示す例では、写真1の重畳領域64には、人物が含まれている。部分オブジェクト特定部35は、写真1の重畳領域64の画像を、マッチング情報記憶部46に記憶されている、既知の人物の顔画像のそれぞれと照合することにより、重畳領域64に含まれている人物を特定することができる。例えば、部分オブジェクト特定部35は、人物識別情報「Aさん」に関連付けられている顔画像と、重畳領域64の画像とを照合した結果、所定以上の高い一致率が得られた場合には、両者が「一致している」と判断し、写真1の重畳領域64は、「Aさん」の画像であると特定する。
【0117】
すなわち、部分オブジェクト特定部35は、図7の(a)に示す接触動作によって選択されたオブジェクトは、オブジェクト「写真1」の部分オブジェクト「Aさん」であると特定する。
【0118】
部分オブジェクト特定部35は、特定した部分オブジェクトの情報をオブジェクト特定部22に返す。
【0119】
オブジェクト特定部22は、選択されたのがオブジェクト全体である場合には、自身が特定したオブジェクト(ここでは、写真1)の情報を、選択されたのがオブジェクトの一部である場合には、部分オブジェクト特定部35によって特定された部分オブジェクト(ここでは、Aさん)の情報を、関連項目抽出部23に供給する。
【0120】
関連項目抽出部23は、オブジェクト特定部22によって特定されたオブジェクト、すなわち、ユーザによって選択されたオブジェクトに関連する関連項目を抽出するものである。オブジェクトが選択されたときに、その選択されたオブジェクトに関連性が深い項目が、関連項目抽出部23によって抽出されることになっている。関連項目抽出部23は、オブジェクト特定部22によって特定されたのが、オブジェクトの一部の部分オブジェクトである場合には、ユーザによって選択された部分オブジェクトに関連する関連項目を抽出する。しかし、関連項目抽出部23は、オブジェクトと部分オブジェクトとの間にある帰属関係を意識する必要はなく、オブジェクト特定部22から供給された情報が、オブジェクトそれ自体であっても、部分オブジェクトであっても、それらを、並列的に異なる「オブジェクト」として扱えばよい。すなわち、以下の関連項目抽出部23に係る説明において、「オブジェクト」について説明されていることは、「部分オブジェクト」についても当てはまるし、その逆も同様である。
【0121】
関連情報記憶部42は、オブジェクトと項目との関連性を示す関連情報を記憶するものである。図9および図10は、関連情報記憶部42に記憶される関連情報の一例を示す図である。より詳細には、図9に示す関連情報は、オブジェクトそれ自体と関連項目との対応関係を示し、図10に示す関連情報は、部分オブジェクトと関連項目との対応関係を示している。しかし、上述したとおり、関連項目抽出部23は、オブジェクトそれ自体と、部分オブジェクトとを、並列的に、別個のオブジェクトとして扱うので、関連情報記憶部42は、オブジェクトと部分オブジェクトとに分けて関連情報を保持していなくてもよい。つまり、図9に示すテーブルと、図10に示すテーブルとは、1つのテーブルとして構成されていてもよい。
【0122】
関連情報は、図9および図10に示すとおり、「オブジェクト」(または「部分オブジェクト」)ごとに、少なくとも「関連項目」が対応付けられた情報である。関連情報は、この対応付けによって、オブジェクトと項目との関連性を示している。
【0123】
例えば、図9に示すとおり、オブジェクトが「写真」などのデータである場合、写真に対しては、「表示する」、「編集する」、「メールに添付して送信する」、「周辺機器(テレビなど)に転送する」、「印刷する」などの動作が実行されることが想定される。そこで、「動作対象」であるオブジェクトに対して実行される「動作」の関係にあたる項目がオブジェクトの関連項目として関連付けられていてもよい。
【0124】
あるいは、図9に示すとおり、オブジェクトが「写真」などのデータである場合、その写真を特定の人に送ることが想定される。そこで、動作対象であるオブジェクトに対して動作が実行されるときの「動作相手」の関係にあたる項目が関連項目として関連付けられていてもよい。
【0125】
あるいは、図9に示すとおり、オブジェクトが複数の写真またはその他のデータを含む「アルバム」または「フォルダ」である場合、そのオブジェクトに含まれる写真またはデータをユーザは所望していると考えられる。このように、オブジェクトの下位層に属する項目が関連項目として関連付けられていてもよい。
【0126】
あるいは、図10に示すとおり、オブジェクト(または部分オブジェクト)が「Aさん」などの人物を示す情報である場合、Aさんという人物に対しては、「Aさんにメールを送信する」、「Aさんに電話をする」など、「人物」のオブジェクトに対して実行される「動作」の関係にあたる項目がオブジェクトの関連項目として関連付けられていてもよい。
【0127】
あるいは、図10に示すとおり、Aさんという人物に対しては、「Aさんの登録情報を表示する」、「Aさんの登録情報を編集する」、「Aさんからのメールボックスを表示する」など、「人物」に関連付けられた情報に対して何らかの処理を実行することを定義する項目が、「人物」のオブジェクトの関連項目として抽出されてもよい。
【0128】
あるいは、図10に示すとおり、「Aに関連付けられた写真」など、「人物」に関連付けられた情報そのものが、「人物」のオブジェクトの関連項目として関連付けられていてもよい。
【0129】
関連項目抽出部23は、オブジェクト特定部22によってオブジェクトが特定されると、関連情報記憶部42に記憶されている関連情報(図9および図10)を参照し、特定されたオブジェクトに関連付けられている項目を関連項目として抽出する。上記構成によれば、写真全体が選択された場合と、写真の中の人物が選択された場合とで、異なる関連項目が抽出される。
【0130】
例えば、図5の(a)〜(c)に示すとおり、オブジェクト特定部22が、選択されたオブジェクトは「写真1」そのものであると特定したとする。この場合、「写真1」はオブジェクトとしては「写真」に分類されるので、関連項目抽出部23は、図9に示すとおり、関連情報の中から、オブジェクト「写真」に関連付けられている関連項目群60を抽出する。
【0131】
一方、例えば、図7の(a)〜(c)および図8の(a)〜(c)に示すとおり、オブジェクト特定部22の部分オブジェクト特定部35が、選択されたオブジェクトは、写真1の中の「Aさん」という人物であると特定したとする。関連項目抽出部23は、図10に示すとおり、関連情報の中から、オブジェクト「Aさん」に関連付けられている関連項目群65を抽出する。
【0132】
関連項目抽出部23によって抽出された関連項目の情報は、操作画面処理部24に供給される。そして、抽出された関連項目は、先に選択されたオブジェクト(または部分オブジェクト)に関連のある項目として、選択可能に(例えば、アイコンで)表示される。
【0133】
この構成には限定されないが、本実施形態では、図9および図10に示すとおり、さらに「関連項目」ごとに、アイコンが割り当てられていてもよい。例えば、図9のオブジェクト「写真」に関連付けられた、関連項目「テレビで表示する(テレビに転送する)」には、アイコン「1:テレビ」が関連付けられている。アイコン「1:テレビ」は、例えば、テレビのイラストなどが描かれたアイコンであって、「写真をテレビに送って表示させること」を想起させる絵柄であることが好ましい。
【0134】
また、例えば、図10のオブジェクト「Aさん」に関連付けられた関連項目「Aさんの登録情報を表示する」には、アイコン「15:アバター」が関連付けられている。アイコン「15:アバター」は、その人物をイラストで表したアイコンであって、その人物を想起させる絵柄(似顔絵など)であり、人物ごとにあらかじめ用意されている。つまり、オブジェクト「Aさん」が選択された場合には、関連項目「Aさんの登録情報を表示する」という動作を象徴する、Aさんの「15:アバター」が表示されることになる。
【0135】
その他の関連項目についても、その関連項目の内容を想起させる相応しい絵柄のアイコンがそれぞれ割り当てられている。
【0136】
このような関連情報に基づいて、関連項目抽出部23は、抽出した関連項目のそれぞれに対応するアイコン(あるいは、アイコンの識別情報)を、操作画面処理部24に供給してもよい。これにより操作画面処理部24は、関連項目抽出部23によって指定されたアイコンを表示するべく処理を進めることができる。
【0137】
なお、本実施形態では、関連情報は、関連項目のそれぞれについて、その関連項目の性質あるいは分類などを示す情報、すなわち、「属性」を保持していてもよい。本実施形態の関連情報は、関連項目の属性の例として、図9に示す「条件」の情報を含んでいてもよい。関連項目の属性「条件」とは、その関連項目のアイコンを表示する条件を示す情報である。属性「条件」に示されている「あれば」という情報は、その関連項目が、「情報を表示する」という動作を意味するものである場合、その情報が存在すれば、アイコン表示を行い、その情報がなければアイコン表示を行わないことを規定するものである。
【0138】
具体的には、例えば、図9のオブジェクト「写真」について、関連項目群60のうち、関連項目「写真の付属情報を表示する」には、「条件」=「あれば」が関連付けられている。この関連項目は、写真の付属情報が実際に存在する場合だけ、アイコン表示されるのに対し、関連項目群60の残りの関連項目は、常にアイコン表示される。
【0139】
また、例えば、図10のオブジェクト「Aさん」について、関連項目群65のうち、関連項目「Aさんに関連付けられた写真」には、「条件」=「あれば(3枚まで)」が関連付けられている。この関連項目は、Aさんに関連する写真が存在する場合だけ、その写真のサムネイルがアイコン表示される。そして、Aさんに関連する写真が3枚以上存在する場合でも、アイコン表示されるのは、写真3枚分までに制限されている。このように枚数を制限すれば、表示領域が制限された比較的小型のタブレット端末100において、膨大な数の関連項目が表示しきれない状態に陥るという不都合を回避することができる。
【0140】
なお、関連項目の属性は上記に限定されず、関連情報は、関連項目の性質あるいは分類などを示す情報であれば、あらゆる種類の属性を保持していてもよい。関連項目の属性は、操作画面処理部24およびその各部によって必要に応じて読み出される。
【0141】
操作画面処理部24は、オブジェクト、および、選択されたオブジェクトに関連する関連項目(のアイコン)を、ユーザに選択可能に表示するための操作画面を生成する処理(操作画面生成処理)を行うものである。
【0142】
図11は、アイコン記憶部43に記憶されるアイコン画像の具体例を示す図である。図11に示すとおり、本実施形態では、各アイコン画像は、アイコン識別情報によって識別可能となっている。例えば、「1:テレビ」のアイコン識別情報には、テレビが描かれたアイコン画像が関連付けられている。また、図示していないが、よく通話する知人など、個人情報(上記の登録情報)を表すアイコンとして、その人の似顔絵やアバターの画像が用いられてもよい。
【0143】
操作画面処理部24は、関連項目抽出部23によって抽出された関連項目に割り当てられたアイコン画像を、アイコン記憶部43から読み出して、これらが適切な位置および適切なタイミングで表示されるように操作画面を生成し、図示しない表示制御部を介して、表示部12に出力する。
【0144】
具体的には、本実施形態では、操作画面処理部24は、接触動作「囲う」によって選択されたオブジェクトに関連する関連項目のアイコンを、その選択されたオブジェクトの周囲に表示させる機能を有していることが好ましいが、この機能は本発明のタブレット端末100において必須の機能ではない。
【0145】
図12は、操作画面処理部24の処理内容を説明する図である。より詳細には、図12の(a)は、操作画面処理部24によって実行された、オブジェクトの表示処理の一例を説明する図であり、図12の(b)は、操作画面処理部24によって実行された、関連項目のアイコン配置の一例を示す図である。
【0146】
本実施形態では、操作画面処理部24は、まず、図12の(a)に示すとおり、先の「囲う」の接触動作によって選択されたオブジェクト80を、中央に配置しなおす。次に、図12の(b)に示すとおり、操作画面処理部24は、抽出された関連項目の各アイコンをオブジェクト80の周囲に環形状によって均等に配置する。図12の(b)は、関連項目が8個抽出された場合に、操作画面処理部24が、楕円の環の輪郭線に沿って、8個のアイコンを均等に配置した例を示している。ここで、アイコンの配置位置を示す基準の「環」の形状について、これを楕円としたことは単なる一例であって、本発明の環の形状を限定する意図は無い。また、「環」とは、必ずしも曲線からなる形状を意味しない。例えば、操作画面処理部24は、環の形状を、円形、正方形、長方形、その他多角形で定義してもよいし、複雑な形状、いびつな形状、幾何学的でない形状であっても、内と外とを分離するような輪郭線を有している図形が環として定義される。また、「環」は、必ずしも閉曲線を意味しない。環の輪郭線の始点と終点が完全に一致しない場合であっても、内と外とを大方分離するような輪郭線を有している図形が環として定義されてもよい。操作画面処理部24は、そのようにして定義されたあらゆる形状の環の輪郭線上にアイコンを配置する。
【0147】
なお、図12の(b)に示す、環の輪郭線を示す破線は、タブレット端末100が内部に情報として保持している環の形状であって、実際には、表示部12に表示されなくてもよい。これより以降に示す各図における環の輪郭線を示す破線も同様、実際には、表示部12に表示されなくてもよい。
【0148】
なお、アイコンを配置する順番は、本実施形態では特に限定されないが、例えば、関連項目抽出部23によって抽出された順に、オブジェクト80の真上から時計回りに配置することなどが考えられる。
【0149】
図13は、操作画面処理部24が実行した操作画面生成処理の結果、得られた操作画面の具体例を示す図である。図13に示す例は、図5と同様に、オブジェクト80(オブジェクト「写真1」)が囲われたことに対して得られた操作画面の具体例である。
【0150】
関連項目抽出部23は、図9に示す関連情報を参照し、写真のオブジェクトに関連付けられたアイコン識別情報、すなわち、「1:テレビ」、「2:プリンタ」、「3:メール」、「4:写真表示」、「5:情報表示」、「6:パレット」、「7:ゴミ箱」、および、「8:メモリカード」を抽出する。
【0151】
操作画面処理部24は、関連項目抽出部23によって抽出されたアイコン識別情報に基づいて、図11に示すとおり、アイコン記憶部43から、対応するアイコン画像を読み出す。そして、選択されたオブジェクト80を中央に配置するとともに、その周囲に読み出したアイコン画像を配置する。
【0152】
なお、上述の説明では、操作画面処理部24が、オブジェクト80を中央に配置する処理を行う構成としたが、これは必須の構成ではない。しかし、本実施形態では、操作画面処理部24は、オブジェクト80の関連項目のアイコンを、オブジェクト80の周囲に配置するため、周囲にアイコンを配置するためのスペースをできるだけ広く均等に確保するという観点から、オブジェクト80を中央に配置することが好ましい。
【0153】
図14は、操作画面処理部24が実行した操作画面生成処理の結果、得られた操作画面の他の具体例を示す図である。図14に示す例は、図7と同様に、オブジェクト80の一部(「写真1」に写っている「Aさん」)が囲われたことに対して得られた操作画面の具体例である。
【0154】
関連項目抽出部23は、図10に示す関連情報を参照し、「Aさん」という人物のオブジェクトに関連付けられたアイコン識別情報、すなわち、「3:メール」、「17:電話」、「15:(Aさんの)アバター」、「19:鉛筆」、および、「20:ポスト」を抽出する。さらに、Aさんに関連付けられた写真が、例えば、2枚存在する(つまり、図示しない画像記憶部にAさんの写真が2枚記憶されている)場合には、関連項目抽出部23は、その2枚の写真のサムネイルを特定するためのアイコン識別情報「16:(1枚目の写真の)サムネイル」および「16:(2枚目の写真の)サムネイル」を抽出する。
【0155】
操作画面処理部24は、関連項目抽出部23によって抽出されたアイコン識別情報に基づいて、図11に示すアイコン記憶部43から、対応するアイコン画像を読み出す。なお、写真のサムネイルが、上記画像記憶部に記憶されている場合には、操作画面処理部24は、サムネイルについては、上記画像記憶部から読み出す。そして、選択されたオブジェクト80を中央に配置するとともに、その周囲に読み出したアイコン画像を配置する。
【0156】
なお、本実施形態では、操作画面処理部24は、環の中央に、かならず、選択されたオブジェクト80(ここでは、写真1)を配置する構成であってもよい。しかし、このような構成に限定されず、操作画面処理部24は、部分オブジェクト特定部35によって部分オブジェクトが特定された場合には、オブジェクトの中の選択された部分だけを拡大した部分オブジェクト80’を中央に配置する構成であってもよい。例えば、操作画面処理部24は、図8の(c)に示す重畳領域64または重畳領域64の外接矩形の領域に含まれる写真1の一部の領域をトリミングおよび拡大して、オブジェクト80(写真1)そのものの代わりに、部分オブジェクト80’として中央に配置してもよい。
【0157】
上述のようにして操作画面処理部24によって操作画面が生成された結果、図14に示すとおり、部分オブジェクト80’の周囲に、時計回りに、「3:メール」、「17:電話」、「15:(Aさんの)アバター」、「19:鉛筆」、「16:(1枚目の写真の)サムネイル」、「16:(2枚目の写真の)サムネイル」、および、「20:ポスト」のアイコン画像が表示部12に表示される。
【0158】
本発明のタブレット端末100によれば、ユーザが接触動作によって、写真全体を囲った場合と写真の一部を囲った場合とで、異なる最終結果物(図13に示す操作画面および図14に示す操作画面)を、ユーザに提供することができる。
【0159】
〔操作画面表示フロー〕
次に、タブレット端末100が操作画面表示機能を実行したときの処理の流れについて説明する。図15は、タブレット端末100による操作画面表示処理の流れを示すフローチャートである。
【0160】
入力部11によって、タッチパネルのタッチ面に指示体(ユーザの指など)が接触したことが検知されると(S101においてYES)、接触情報生成部21は、そのとき(t=t0)から、指の接触位置を示す接触座標情報の取得を開始し、これを経時的に取得する(S102)。この接触位置の追尾は、タッチ面と指との間の接触が検知されなくなるまで継続される(S103においてNO)。入力部11において、接触が非検知になると(S103においてYES)、接触情報生成部21は、t=t0からこのとき(t=tn)までの間取得した接触座標情報を少なくとも含む接触情報を生成する(S104)。上記接触情報には、必要に応じて接触時間情報が含まれていてもよい。オブジェクトを選択する接触動作が×印を「チェックする」などである場合、すなわち、1つの接触動作において、極めて短い時間、一時的に、非接触が生じるような場合には、短い時間に一時的に接触が検知されなくても接触動作は終わっていないとして追尾が継続されるように接触情報生成部21を構成すればよい。
【0161】
オブジェクト特定部22は、S104において生成された接触情報(例えば、図5の(b)または図7の(b))と、フレームマップ記憶部41に記憶されているマップ情報(例えば、図5の(c)または図7の(c))とを比較して、ユーザが接触した軌跡が存在する領域に重なるオブジェクトを選択されたオブジェクトとして特定する(S105)。図5の(c)または図7の(c)に示す例では、「写真1」というオブジェクト80を特定する。
【0162】
続いて、部分選択判定部34は、選択されたのが、S105において特定されたオブジェクトそれ自体であるのか、該オブジェクトの一部であるのかを判定する。具体的には、部分選択判定部34は、S104にて取得された軌跡によって特定された軌跡領域(例えば、図6の(a)の軌跡領域61)と、S105にて特定されたオブジェクト80のオブジェクト領域(例えば、図6の(a)のオブジェクト領域62)とを比較して、両方の領域が重なる重畳領域(例えば、図6の(b)の重畳領域63)を特定する。
【0163】
部分選択判定部34は、オブジェクト領域において、軌跡領域と重なる重畳領域の割合が所定閾値(例えば、80%など)以上である場合には(S106においてYES)、S105にて特定されたオブジェクトそのものが選択されたと判定する(S107)。そして、オブジェクト特定部22は、S105にて特定されたオブジェクトの情報を関連項目抽出部23に供給する。
【0164】
一方、部分選択判定部34は、オブジェクト領域において、上記重畳領域の割合が所定閾値未満である場合には(S106においてNO)、オブジェクト全体ではなく、その一部が部分的に選択されたと判定する(S108)。
【0165】
この場合、続いて、部分オブジェクト特定部35が、選択された部分オブジェクトを特定する(S109)。具体的には、部分オブジェクト特定部35は、S105において特定されたオブジェクトと軌跡領域とが重なる重畳領域(例えば、図8の(b)、(c)の重畳領域64)を取得する。そして、上記オブジェクト(写真1)の画像データを読み出して、この画像データの上記重畳領域の部分を、マッチング情報記憶部46に記憶されている既知のモデルと照合する。部分オブジェクト特定部35は、照合の結果、一致したモデルの情報を、上記画像データの上記重畳領域の部分に紐付けることにより、上記部分が何であるのかを特定する。すなわち、部分オブジェクトを特定する。部分オブジェクト特定部35は、この結果をオブジェクト特定部22に返し、オブジェクト特定部22は、S109にて特定された部分オブジェクトの情報を関連項目抽出部23に供給する。
【0166】
関連項目抽出部23は、S105において特定されたオブジェクト(またはS109において特定された部分オブジェクト)に基づいて、関連情報記憶部42の関連情報(例えば、図9および図10)を参照して、特定されたオブジェクトの関連項目を抽出する(S110)。あるいは、関連項目に割り当てられているアイコンの識別情報を抽出してもよい。
【0167】
操作画面処理部24は、S110において抽出された関連項目のアイコン画像を、アイコン記憶部43(例えば、図11)から取得する。そして、取得したアイコン画像を、S105において特定されたオブジェクトの周囲に配置して操作画面を生成する(S111)。例えば、S101〜S104において得られた軌跡が、接触動作「囲う」を指している場合には、操作画面処理部24は、上記オブジェクトを中央に配置して、その周囲に各アイコンを環形状に配置することが好ましい(図12の(a)および(b))。
【0168】
以上のようにして生成された操作画面の映像信号は、表示部12に出力される。図13または図14に示すように、上記操作画面は、タブレット端末100の表示部12に表示される。本実施形態のタブレット端末100によれば、オブジェクトが写真であって、ユーザが写真を大きく囲ったことにより、写真そのものが選択されたと判定された場合には、図13に示すように、オブジェクト「写真」に関連する関連項目のアイコンがオブジェクトの周囲に配置される。一方、ユーザが写真の中の関心がある部分を小さく囲ったことにより、写真の中の一部が選択されたと判定された場合には、部分的に選択されたものつまり部分オブジェクトが何であるのかが、まず特定される。そして、部分オブジェクトが「Aさん」という人物である場合、図14に示すように、部分オブジェクト「Aさん」に関連する関連項目のアイコンがオブジェクト(または、部分オブジェクト)の周囲に配置される。
【0169】
本発明の上記構成および方法によれば、オブジェクトを選択するためのユーザの1つの接触動作に対して、タブレット端末100は、選択されたオブジェクトに関連する関連項目のアイコンを選択可能に表示するという最終結果物を出力することができる。さらに、タブレット端末100は、上記オブジェクトについて、それ全体が選択されたのか、その一部が選択されたのかを判別し、その判別結果に応じて、異なる最終結果物を出力することができる。
【0170】
具体的には、タブレット端末100は、オブジェクトを表示部12に選択可能に表示し、ユーザによって実行された、上記オブジェクトを選択するための接触動作を受け付ける。タブレット端末100は、受け付けた接触動作の移動の軌跡によって特定される軌跡領域の大きさに基づいて、上記オブジェクト自体が選択されたのか、上記オブジェクトの一部が選択されたのかを判定する。
【0171】
そして、タブレット端末100は、オブジェクト自体が選択された場合の最終結果物、および、オブジェクトの一部が選択された場合の最終結果物のうちのいずれかを、上記の判定結果に応じて、出力する。
【0172】
このように、タブレット端末100は、オブジェクトを選択するためのユーザの接触動作を受け付けるとき、オブジェクトを1つ提示するだけで、そのオブジェクトそのものを選択することも、そのオブジェクトを部分的に選択することも、両方可能なように、該オブジェクトを表示部12に表示することができる。つまり、オブジェクト選択用の画像と、部分オブジェクト選択用の画像とを別々に提示せずに、1つのオブジェクトを表す1つの画像を提示し、それをユーザに選択させるだけで、上述の2種類の選択を判別して受け付けることができる。このため、ユーザは、オブジェクト自体を選択するための画像(操作画面)と、オブジェクトの一部を選択するための画像(操作画面)とを、意図に合わせて別々に表示させて選択する必要がなくなる。よって、タブレット端末100は、ユーザに対して、シンプルで分かり易い操作画面を提示することができる。
【0173】
なおかつ、タブレット端末100は、軌跡領域の大きさに基づいて、2種類の選択動作の判別を行っている。つまり、タブレット端末100は、オブジェクト自体を選択するための動作と、オブジェクトの一部を選択するための動作の2つの動作に対して、それぞれ異なる種類のジェスチャを割り当てなくても、1つの同じ種類のジェスチャを割り当てるだけで済む。例えば、オブジェクト自体を選択する動作も、部分オブジェクトを選択する動作も、「円で囲う」というジェスチャで統一されたり、「×印でチェックする」というジェスチャで統一されたり、「レ点でチェックする」というジェスチャで統一されたりしているという具合である。これにより、ユーザは、オブジェクト自体を選択するための動作と、オブジェクトを部分的に選択するための動作とのそれぞれに対して、異なるジェスチャを学習する必要がない。また、選択する対象が全部であれ、一部であれ、「何かを選択する」という1種類の動作に対しては、1種類のジェスチャが割り当てられていることがユーザにとって自然であり、直感的に理解されやすい。
【0174】
さらに、2種類の選択動作の判別は、軌跡領域の大きさに基づいて実行される。すなわち、オブジェクト全体に亘って接触動作が実行されれば、オブジェクトそのものが選択されたと判別され、オブジェクト上で局所的に接触動作が実行されれば、オブジェクトの一部が選択されたと判別される。このように、ユーザが関心を持っている範囲と、接触動作が実行される範囲とを対応させることができるため、ユーザにとって自然であり、直感的に理解されやすい。
【0175】
したがって、タブレット端末100は、ユーザに対して、煩雑な操作を要求することなく、ユーザの直感に反しない自然な接触動作を行わせることが可能なユーザインターフェースを実現することができる。
【0176】
以上のことから、タブレット端末100は、オブジェクトを選択可能に表示するとともに、オブジェクトを部分的に選択することも可能にすることによって、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0177】
(変形例−オブジェクトが地図データである場合)
上述の説明では、オブジェクトが写真(画像データ)である場合を例に挙げて、タブレット端末100の動作を明らかにした。次に、オブジェクトが地図データ(画像データ)である場合を例に挙げて、タブレット端末100の動作を説明する。なお、本変形例において、本発明のタブレット端末100が扱う上記地図データは、画像データそのものであってもよいし、地図上の場所ごとに関連付けられた様々な付加情報を含んだ、画像データと付加データとの複合データであってもよい。
【0178】
図16は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。より詳細には、ユーザが、オブジェクト「地図データ」それ自体を「囲う」という接触動作を実施した様子を示す図である。
【0179】
ユーザは、オブジェクト「地図データ」(ここでは、なんば周辺の地図)それ自体に対して、何らかの処理を実行したいと希望する場合には、図16に示すとおり、地図データ93の全体を囲う接触動作を行う。
【0180】
オブジェクト特定部22は、図16に示す接触動作の軌跡に基づいて、なんば周辺の地図データ93が選択されたと判断する。そして、図16に示すケースでは、部分選択判定部34は、実施形態1で説明した手順と同様に、地図データ93のほとんどの領域(例えば、80%以上)が囲われていることから、上記接触動作によって、地図データ93自体が囲われたと判定する。
【0181】
この場合、関連項目抽出部23は、関連情報記憶部42に記憶されている関連情報(例えば、図9)を参照し、オブジェクト「地図データ」に関連付けられている関連項目群67を抽出する。
【0182】
操作画面処理部24は、関連項目抽出部23によって抽出された関連項目群67のアイコン画像をそれぞれアイコン記憶部43から読み出し、これを、先に選択されたオブジェクト、地図データ93の周囲に環状に配置し、操作画面を生成する。操作画面処理部24によって生成された操作画面は、タブレット端末100の表示部12に表示される。
【0183】
図17は、図16に示す接触動作に応じて、操作画面処理部24によって生成された操作画面の具体例を示す図である。
【0184】
図9に示すとおり、地図データ93に関連する関連項目のアイコンとしては、「1:テレビ」、「2:プリンタ」、「3:メール」、「13:Webブラウザアプリ」、および、「8:メモリカード」のアイコンが取得される。そして、図17に示すとおり、これらのアイコンが選択された地図データ93の周囲に環状に表示される。
【0185】
図18は、ユーザが、オブジェクト「地図データ」の中の部分オブジェクト「文字列」(ここでは、『なんば』の文字)を「囲う」という接触動作を実施した様子を示す図である。
【0186】
図16に示した例とは反対に、ユーザが、オブジェクトである地図データ93に示される内容の一部(ここでは、「なんば」という地名)に関心があって、この「なんば」という地名をキーワードとして何らかの処理を実行したいと希望する場合には、図18に示すとおり、地図データ93のうちの、「なんば」という文字列の部分を局所的に囲う接触動作を行う。
【0187】
オブジェクト特定部22は、図18に示す接触動作の軌跡に基づいて、なんば周辺の地図データ93が選択されたと判断する。そして、図18に示すケースでは、部分選択判定部34は、実施形態1で説明した手順と同様に、地図データ93の一部の領域(例えば、80%未満)が局所的に囲われていることから、上記接触動作によって、地図データ93が部分的に囲われたと判定する。
【0188】
この場合、部分オブジェクト特定部35は、マッチング情報記憶部46を参照し、マッチング情報記憶部46に記憶されている既知のモデルの特徴量と、地図データ93の中の囲われた領域の特徴量とを比較して、囲われた領域が何であるのかを特定する。本変形例では、マッチング情報記憶部46には、マッチング情報として、文字ごとの特徴量が予め格納されており、部分オブジェクト特定部35は、公知の文字認識の機能を実行して、囲われた領域の文字列を認識することができる。図18に示す例では、部分オブジェクト特定部35は、文字列「なんば」を認識する。そして、このようにして地図データから認識した文字列、すなわち、「住所・地名文字列(なんば)」を、選択された部分オブジェクトとして特定する。
【0189】
なお、上述したように、タブレット端末100が扱う地図データが画像データだけではなく、場所ごとに付加データ(例えば、地名データなど)が埋め込まれた複合データである場合には、部分オブジェクト特定部35は、特徴量の比較を行わずとも、軌跡に基づいて選択された領域に対応する場所を特定し、その場所に埋め込まれている地名データを読み出して、文字列「なんば」を認識してもよい。
【0190】
本変形例では、図9に示す関連情報に加えて、図19に示す関連情報が、関連情報記憶部42に記憶されている。図19に示すとおり、部分オブジェクト「住所・地名文字列(○○○)」に対応づけて、5つの関連項目(関連項目群68)が関連付けられている。
【0191】
なお、実施形態1と同様に、関連項目抽出部23は、オブジェクトそれ自体と、部分オブジェクトとを、並列的に、別個のオブジェクトとして扱うので、関連情報記憶部42は、オブジェクトと部分オブジェクトとに分けて関連情報を保持していなくてもよい。つまり、図9に示すテーブルと、図10に示すテーブルと、図19に示すテーブルとは、1つのテーブルとして構成されていてもよい。
【0192】
図18に示すケースでは、関連項目抽出部23は、関連情報記憶部42に記憶されている関連情報(例えば、図9および図19)を参照し、部分オブジェクト「住所・地名文字列」に関連付けられている関連項目群68を抽出する。
【0193】
操作画面処理部24は、関連項目抽出部23によって抽出された関連項目群68のアイコン画像をそれぞれアイコン記憶部43から読み出し、これを、先に選択された地図データ93の周囲に環状に配置し、操作画面を生成する。操作画面処理部24によって生成された操作画面は、タブレット端末100の表示部12に表示される。
【0194】
図20は、図18に示す接触動作に応じて、操作画面処理部24によって生成された操作画面の具体例を示す図である。
【0195】
図19に示すとおり、地図データ93の一部である地名文字列に関連する関連項目のアイコンとしては、「21:郵便マーク」、「13:Webブラウザアプリ」および「22:電車」が、操作画面処理部24によって、少なくとも取得される。そして、「なんば」付近で撮影されたとして、認識された地名「なんば」と関連付けられた写真が、画像記憶部に記憶されていれば、操作画面処理部24は、上限4枚まで、その写真の「16:サムネイル」を取得する。さらに、「なんば」付近に住んでいるとして、認識された地名「なんば」を含む住所情報が登録された人物が予め電話帳データベースに登録されていれば、操作画面処理部24は、その人物の「15:アバター」を取得する。
【0196】
そして、図20に示すとおり、これらの取得されたアイコンが、選択されたオブジェクトの周囲に環状に表示される。なお、操作画面処理部24は、中央に配置するオブジェクトを、加工されていない地図データ93としてもよいが、図20に示すとおり、地図データ93から局所的に囲われた部分をトリミングして、部分オブジェクト、具体的には、部分地図データ93’を生成し、これを中央に配置してもよい。
【0197】
なお、図19に示す、部分オブジェクトの「○○○」の部分には、住所・地名文字列が認識された後に、操作画面処理部24によって、実際に認識された住所・地名文字列が埋め込まれる。ここでは、「なんば」の文字列が認識されたので、操作画面処理部24は、例えば、アイコン「21:郵便マーク」を、関連項目「なんばの郵便番号を表示する」と紐付けて操作画面に配置する。これにより、ユーザによって、次に、アイコン「21:郵便マーク」が選択された場合には、タブレット端末100は、「なんばの郵便番号を表示する」という動作を行うべきであると理解することができる。
【0198】
また、例えば、図20に示すアイコン94は、関連項目「なんば付近で撮影した写真」に紐付けられた、該当する写真のサムネイルを示す。アイコン95は、関連項目「なんば周辺に住む友達の登録情報を表示する」に紐付けられた、該当する人物のアバターを示す。アイコン96は、関連項目「なんばの最寄り駅情報を表示する」に紐付けられた、該当するアプリのアイコン(電車の画像)を示す。
【0199】
上記構成によれば、タブレット端末100は、地図データ全体が囲われたときには、地図データを1つの画像データとして取り扱うような動作を関連項目として抽出し、アイコン表示する一方、地図データの一部(住所・地名など)が囲われたときには、その地図データの中身が指している場所に関する関連項目を抽出し、アイコン表示することができる。
【0200】
以上のことから、タブレット端末100は、オブジェクトを選択可能に表示するとともに、オブジェクトを部分的に選択することも可能にすることによって、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0201】
≪実施形態2≫
本発明の情報処理装置に関する他の実施形態について、図21〜図24に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態1にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、実施形態1と重複する内容については説明を省略する。
【0202】
上述の実施形態1では、タブレット端末100は、オブジェクト全体のオブジェクト領域と、囲う接触動作によって定義される軌跡領域とが重なる重畳領域を特定し、オブジェクト領域における重畳領域が所定範囲(閾値)以上か否かによって、上記オブジェクトそのものが選択されたのか、オブジェクトの一部が選択されたのかを判定する構成であった。
【0203】
しかしながら、例えば、オブジェクトの大部分の領域を特定の部分オブジェクトが占めているようなオブジェクトが選択可能に表示部12に表示された場合、以下の不都合が生じる場合がある。すなわち、部分オブジェクトがオブジェクトの大部分を占めている場合には、オブジェクト全体が囲われたときの重畳領域の面積と、部分オブジェクトが囲われたときの面積とは大差がない。そのため、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを、重畳領域の面積だけに基づいて、常に正確に判定することが難しくなる。
【0204】
より具体的には、例えば、図21の(a)に示すような、写真の大部分の領域を特定の被写体(人物)が占めているような写真が選択可能に表示部12に表示されたとする。ここで、ユーザは、その写真に写っている人物に関心があって、図21の(a)に示す破線のとおりにその人物を選択するための接触動作を行ったとする。
【0205】
この場合、オブジェクト特定部22の部分選択判定部34は、図21の(b)に示すとおり、オブジェクト領域62と、重畳領域64とを特定することになる。そして、実施形態1で説明した手順に従えば、部分選択判定部34は、オブジェクト領域62において重畳領域64が80%以上を占めていることから、上記接触動作が、オブジェクト全体を選択したものであると判定してしまう。結果として、ユーザの意図とは異なる判定がなされるという不都合が生じる。
【0206】
本実施形態では、このような不都合を解消するために、タブレット端末100の部分選択判定部34が、同種の接触動作について、それが生じた範囲を参照するだけでなく、同種の接触動作が行われた繰返し回数を参照することにより、上記の判定を、ユーザの意図どおりにより正確に判定する構成である。
【0207】
〔タブレット端末の機能〕
図22は、本実施形態におけるタブレット端末100の要部構成を示す機能ブロック図である。
【0208】
本実施形態にかかるタブレット端末100は、実施形態1のタブレット端末100(図1)と比較して、さらに、制御部10が、機能ブロックとして、ジェスチャ判定部25を備えている構成である。
【0209】
ジェスチャ判定部25は、入力部11に対して行われた接触動作について、それが何のジェスチャであるのかを判定するものである。本実施形態では、特に、ジェスチャ判定部25は、同種のジェスチャについて、それが何回繰り返されたのか、その繰返し回数を判定するものである。
【0210】
より具体的には、ジェスチャ判定部25は、接触情報生成部21によって生成された接触情報(軌跡)に基づいて、接触動作「囲う」が何回繰り返されたのかを判定する。例えば、指示体(指)が、あるオブジェクトの周囲を2周した場合、軌跡領域がほぼ一緒の2重の円の軌跡が得られる。この場合、ジェスチャ判定部25は、接触動作「囲う」が2回繰り返されたと判定する。
【0211】
本実施形態では、一例として、ジェスチャ判定部25は、指示体がオブジェクトの周囲を何周しても、一律「2周以上」と判定して、「1周」と判別する構成とするが、これに限定されず、ジェスチャ判定部25は、指示体が回った回数に応じて、「n周」と判定する構成であってもよい。
【0212】
ジェスチャ判定部25は、判定結果、すなわち、検出された接触動作が、「1周囲う」であったのか「2周以上囲う」であったのかを示す情報、または、「何周囲う」であったかを示す情報(以下では、「繰返し回数情報」と称する)を生成し、これをオブジェクト特定部22に供給する。
【0213】
なお、入力部11に対して行われる接触動作(ジェスチャ)が「囲う」以外にも様々な種類が想定されている場合には、タブレット端末100は、「囲う」のジェスチャなのか、あるいは、別のどの種類のジェスチャなのかを判別する必要がある。そこで、ジェスチャ判定部25は、「囲う」以外の他の種類のジェスチャを判定することができるものであってもよい。例えば、ジェスチャ判定部25は、「タップ」、「フリック」、「ピンチ」、「ドラッグ」、「囲う」などのジェスチャを判別することができる。
【0214】
以上のジェスチャを判別するアルゴリズムは、公知の技術を適宜採用することができる。
【0215】
本実施形態では、部分選択判定部34は、選択された領域の面積に加えて、さらに、ジェスチャ判定部25から供給された繰返し回数情報にしたがって、オブジェクト全体が選択されたのか、オブジェクトの一部が選択されたのかを判定する。
【0216】
具体的には、まず、実施形態1と同様に、部分選択判定部34は、特定されたオブジェクトのオブジェクト領域と、指示体の移動の軌跡によって特定される軌跡領域とが重なる重畳領域を求める。そして、部分選択判定部34は、オブジェクト領域において重畳領域が占める割合が所定閾値(例えば、80%)未満の場合には、部分オブジェクトが選択されたと判定する。この場合は、実施形態1と同様に、部分オブジェクト特定部35によって部分オブジェクトが特定される。
【0217】
一方、上記重畳領域の割合が所定閾値(例えば、80%)以上の場合には、本実施形態では、部分選択判定部34は、オブジェクト全体が選択されたとただちに判定しない。次に、部分選択判定部34は、ジェスチャ判定部25から供給された繰返し回数情報に基づいて、オブジェクト自体が選択されたのか、部分オブジェクトが選択されたのか判定する。
【0218】
すなわち、繰返し回数情報が「1周囲う」を示している場合、部分選択判定部34は、ユーザの接触動作によってオブジェクト全体が囲われたと判定する。反対に、繰返し回数情報が、「2周以上囲う」を示している場合、部分選択判定部34は、上記接触動作によってオブジェクトが部分的に囲われたと判定する。また、この場合は、実施形態1と同様に、部分オブジェクト特定部35によって部分オブジェクトが特定される。
【0219】
上記構成によれば、上述した不都合を解消することができる。すなわち、部分選択判定部34は、オブジェクト領域の大部分が囲われた場合でも、その接触動作が、同種のジェスチャを複数回繰り返すような動作である場合には、部分オブジェクトが選択されたと判定することができる。
【0220】
したがって、例えば、図21の(a)に示す、写真の大部分の領域を特定の被写体(例えば、人物;Aさん)が占めているような写真において、ユーザが、写真そのものではなく、写真に写っている人物(Aさん)を選択したいという意図を持っている場合、ユーザは、そのことを強調する感覚で、自分を選択する動作を複数回繰り返せばよい。例えば、図23の(a)に示すとおり、「囲う」を繰り返して、写真に写っている人物を二重に囲えばよい。ジェスチャ判定部25は、このユーザの接触動作を、図23の(a)に示す軌跡(破線)に基づいて、「2周以上囲う」であると判定する。
【0221】
ここで、実施形態1では、重畳領域64の面積に基づいて、部分選択判定部34は、オブジェクト全体が選択されたと判定するところを、本実施形態では、部分選択判定部34は、繰返し回数情報(ここでは、「2周以上囲う」)に基づいて、重畳領域64が局所的に選択されたと判定することができる。なお、二重の軌跡である場合、部分選択判定部34は、例えば、図23の(b)に示すとおり、二重の軌跡の最も外側の線によって囲われる領域を軌跡領域61と特定し、重畳領域64を特定してもよい。図23の(a)および(b)の例では、軌跡領域61はそのまま重畳領域64となる。
【0222】
そして、部分オブジェクト特定部35が、重畳領域64の中身に基づいて部分オブジェクトを特定する。すなわち、上記接触動作によって選択された部分オブジェクトは、人物のオブジェクト「Aさん」であると特定する。
【0223】
これにより、操作画面処理部24は、ユーザの意図どおりに、オブジェクト「Aさん」に関連する関連項目のアイコンを配置した操作画面を生成し、表示部12に表示することができる。
【0224】
このとおり、タブレット端末100は、ユーザの同種のジェスチャの繰返し回数に基づいて、より正確に、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを判定することができる。そして、ユーザは、写真の中の一部に特に関心がある場合には、特にその一部に興味があるということを示すように、同種のジェスチャを繰り返すだけでよい。同じ動きを繰り返すという動作は、その部分をより強調しているという意味合いと自然に結びつく動作である。したがって、オブジェクトの大部分であるが、そのオブジェクトの一部だけを選択する場合に、元々オブジェクトを選択するために割り当てられたジェスチャ(例えば、「囲う」)を2回以上繰り返すということは、ユーザに特別な学習を強いることなく、ユーザにとって自然に理解できる操作方法であると言える。
【0225】
以上のことから、本実施形態のタブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、より正確に、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0226】
〔操作画面表示フロー〕
図24は、本実施形態におけるタブレット端末100による操作画面表示処理の流れを示すフローチャートである。
【0227】
入力部11によって、タッチパネルのタッチ面に指示体(ユーザの指など)が接触したことが検知されると(S201においてYES)、接触情報生成部21は、そのとき(t=t0)から、指の接触位置を示す接触座標情報の取得を開始し、これを経時的に取得する(S202)。この接触位置の追尾は、タッチ面と指との間の接触が検知されなくなるまで継続される(S203においてNO)。入力部11において、接触が非検知になると(S203においてYES)、接触情報生成部21は、t=t0からこのとき(t=tn)までの間取得した軌跡を少なくとも含む接触情報を生成する(S204)。
【0228】
ここで、ジェスチャ判定部25が、接触情報に基づいてこの接触動作のジェスチャを判定してもよい。例えば、ジェスチャ判定部25は、判定したジェスチャが「囲う」でなければ、判定したそれ以外のジェスチャに応じた処理の実行を、制御部10の各部に指示してもよい。この場合、その各部によって、判定されたジェスチャに応じた処理が実行されることになる。
【0229】
ジェスチャ判定部25は、上記軌跡に基づいて、接触動作が同じ「囲う」であっても、さらに詳細に、「1周囲う」であるのか、「2周以上囲う」であるのかを判定する(S205)。一方、オブジェクト特定部22は、上記軌跡と、フレームマップ記憶部41に記憶されているマップ情報(例えば、図5の(c)または図7の(c))とを比較して、ユーザによって囲われた領域に重なるオブジェクトを選択されたオブジェクトとして特定する(S206)。図7の(c)に示す例では、「写真1」というオブジェクト80を特定する。なお、S205およびS206の各ステップは、いずれの順番で実行されてもよいし、並列的に実行されてもよい。
【0230】
続いて、オブジェクト特定部22の部分選択判定部34は、S206で特定されたオブジェクトのオブジェクト領域と、上記軌跡によって特定された軌跡領域とが重なる重畳領域を特定する。そして、部分選択判定部34は、オブジェクト領域における、重畳領域の割合が、所定閾値(例えば、80%)以上か、未満かを判定する(S207)。
【0231】
ここで、重畳領域の割合が所定閾値未満である場合(S207においてYES)、部分選択判定部34は、上記オブジェクト(例えば、写真1)は、部分的に選択されたと判定する(S208)。
【0232】
一方、上記重畳領域の割合が所定閾値以上である場合(S207においてNO)、続いて、部分選択判定部34は、S205におけるジェスチャ判定部25の判定結果を参照する。判定結果、すなわち、繰返し回数情報が、「1周囲う」を示す場合には(S210においてNO)、部分選択判定部34は、上記オブジェクトそれ自体が選択されたと判定する(S211)。一方、繰返し回数情報が、「2周以上囲う」を示す場合には(S210においてYES)、部分選択判定部34は、上記オブジェクトは、部分的に選択されたと判定する(S208)。
【0233】
S208において、部分オブジェクトが選択されたと判定された場合には、続いて、部分オブジェクト特定部35が、上記接触動作によって囲われた部分オブジェクトを特定し(S209)、特定した情報を関連項目抽出部23に供給する。なお、S211において、オブジェクト自体が選択されたと判定された場合には、S206にて特定されたオブジェクト自体の情報が関連項目抽出部23に供給される。
【0234】
関連項目抽出部23は、S206またはS209において特定されたオブジェクト(部分オブジェクトも含む)に基づいて、関連情報記憶部42の関連情報(例えば、図9、図10および図19など)を参照して、特定されたオブジェクトの関連項目を抽出する(S212)。あるいは、関連項目に割り当てられているアイコンの識別情報を抽出してもよい。
【0235】
操作画面処理部24は、S212において抽出された関連項目のアイコン画像を、アイコン記憶部43(例えば、図11)から取得し、これらのアイコンを表示するための操作画面の生成する(S213)。例えば、操作画面処理部24は、S206またはS209において特定されたオブジェクトを中央に配置し、上記オブジェクトの周囲に配置された環の輪郭線上に、取得したアイコン画像を配置して操作画面を生成する。以上のようにして生成された操作画面の映像信号は、表示部12に出力され、ユーザが上記操作画面を目視できるようになる。
【0236】
本発明の上記方法によれば、タブレット端末100は、ユーザの同種のジェスチャの繰返し回数に基づいて、より正確に、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを判定することができる。そして、ユーザは、その一部に興味があるということを示したい場合には、同種のジェスチャを繰り返すだけでよい。同じ動きを繰り返すという動作は、その部分をより強調しているという意味合いと自然に結びつく動作である。したがって、元々オブジェクトを選択するために割り当てられたジェスチャを2回以上繰り返すということは、ユーザにとって自然に理解できる操作方法である。
【0237】
以上のことから、本発明のタブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、より正確に、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0238】
(変形例−部分オブジェクトの占有面積を考慮する)
あるいは、本発明のタブレット端末100を以下のように構成してもよい。まず、タブレット端末100の部分オブジェクト特定部35は、先に、オブジェクト全体を分析して、当該オブジェクトに含まれる部分オブジェクトを特定し、部分オブジェクト領域をマップ情報上に定義する。そして、部分選択判定部34は、軌跡によって特定される軌跡領域(例えば、図6の(a)の斜線の領域など)における、上記部分オブジェクト領域の占める割合を求める。ここで、部分オブジェクト領域が占める割合が、所定閾値%(例えば、80%)以上であるときは、部分選択判定部34は、その軌跡によって選択されたのは、オブジェクト全体ではなく、そのオブジェクトに含まれている、当該部分オブジェクトであると判定することができる。
【0239】
≪表示部と入力部とを別体で備える情報処理装置への適用≫
本発明の情報処理装置としてのタブレット端末100の構成、すなわち、指示体の移動の軌跡に基づいて、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかに応じて、異なるアイコン群を配置して表示する構成について、これを、入力部11と表示部12とが別体として備わっている情報処理装置に適用してもよい。例えば、入力部11がマウスなどの入力装置で構成されており、表示部12が、LCDなどの表示装置で構成されている情報処理装置が考えられる。ここでは、表示部12に表示されているカーソルが、表示部12の画面上の位置を指示するものである。そして、ユーザがマウスを操作して入力動作を実施することによりカーソルが移動する。したがって、このような実施形態では、マウスが操作体であり、カーソルが指示体であって、操作体の移動に伴って表示部12に表示されている指示体が移動する。ユーザが、マウスを操作して表示部12の画面上のカーソルを動かすことによりオブジェクトを選択すると、情報処理装置は、内部であらかじめ保持しているカーソルの位置を上記マウスの動きと連動させて、そのカーソル(指示体)の移動の軌跡を保持する。そして、その軌跡によって特定される軌跡領域とオブジェクト領域との重畳領域を特定し、オブジェクトにおける重畳領域の占める割合を求める。これにより、情報処理装置は、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを判断し、その判断結果に応じて適切な関連項目を抽出し、そのアイコンを表示することができる。
【0240】
なお、表示部12と別体で構成される入力部11としては、上記のマウス以外にも、例えば、キーボード、ジョイスティック、ディジタイザ、タブレットとスタイラスペンなどの各種入力装置を採用することができる。
【0241】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0242】
なお、本発明の情報処理装置および操作画面表示方法は、以下のようにも表現され得る。
【0243】
タッチパネルを備えた情報処理装置において、上記タッチパネル上を移動した指示体の移動の軌跡を取得する軌跡取得手段と、上記軌跡取得手段によって取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを上記タッチパネルに表示する操作画面処理手段とを備えていることを特徴とする情報処理装置。
【0244】
タッチパネルを備えた情報処理装置における操作画面表示方法において、上記タッチパネル上を移動した指示体の移動の軌跡を取得する軌跡取得ステップと、上記軌跡取得ステップにて取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップにて抽出された関連項目のアイコンを上記タッチパネルに表示する操作画面処理ステップとを含むことを特徴とする操作画面表示方法。
【0245】
〔ソフトウェアによる実現例〕
最後に、タブレット端末100の各ブロック、特に、接触情報生成部21、オブジェクト特定部22、関連項目抽出部23、操作画面処理部24、ジェスチャ判定部25、部分選択判定部34、および、部分オブジェクト特定部35は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
【0246】
すなわち、タブレット端末100は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるタブレット端末100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記タブレット端末100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0247】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0248】
また、タブレット端末100を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR(High Data Rate)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【0249】
本発明は、入力部および表示部を備える情報処理装置に広く適用することが可能である。例えば、これには限定されないが、入力部および表示部を備える、デジタルテレビ、パーソナルコンピュータ、スマートフォン、タブレットPC、ノートパソコン、携帯電話、PDA(Personal Digital Assistant)、電子書籍リーダ、電子辞書、携帯用・家庭用ゲーム機、電子黒板などに好適に用いることができる。さらに、タッチパネルを備える情報処理装置に本発明を適用すれば、より一層優れた操作性を実現することができる。
【符号の説明】
【0250】
10 制御部
11 入力部(タッチパネル)
12 表示部(タッチパネル)
13 操作部
14 外部インターフェース
15 通信部
16 無線通信部
17 音声出力部
18 音声入力部
19 記憶部
21 接触情報生成部(軌跡取得手段/接触動作取得手段)
22 オブジェクト特定部(オブジェクト特定手段)
23 関連項目抽出部(関連項目抽出手段)
24 操作画面処理部(操作画面処理手段)
25 ジェスチャ判定部(ジェスチャ判定手段)
34 部分選択判定部(部分選択判定手段)
35 部分オブジェクト特定部(部分オブジェクト特定手段)
41 フレームマップ記憶部
42 関連情報記憶部
43 アイコン記憶部
46 マッチング情報記憶部
100 タブレット端末(情報処理装置)
【技術分野】
【0001】
本発明は、入力部および表示部を備える情報処理装置のユーザインターフェース技術に関するものである。
【背景技術】
【0002】
近年、スマートフォン、タブレットPCなどの、いわゆるタブレット端末が急速に普及している。タブレット端末は、平板状の外形を有しており、表示部および入力部としてのタッチパネルを備えている。このタッチパネルに表示されたオブジェクトを、指やペン等でタッチすることにより、ユーザは、タブレット端末本体への各種操作を行うことができる。
【0003】
タブレット端末は、タッチパネルによってユーザの画面上での様々な接触動作を判別することができ、その接触動作に合わせたオブジェクト表示を行うことができる。例えば、接触動作には、画面に表示されたオブジェクトを、指(ペン)でタップする(軽くたたく)、フリックする(はじく、はらう)、ピンチする(指でつまむ)、ドラッグするなどの様々な動作がある。タブレット端末は、そうしたさまざまな接触動作を判別し、判別結果に応じて、オブジェクトの選択/移動、リストのスクロール、画像などの拡大/縮小を行う。タブレット端末は、上述のようにタッチパネルによってより直感的な操作を実現し、多くの人から支持されている。
【0004】
例えば、特許文献1には、タッチパネル式の表示部を備えた携帯通信端末が開示されている。特許文献1の携帯通信端末では、オブジェクト(URL、メールアドレス、文字列、画像など)を、指(ペン)でなぞるようにタッチしたり、囲むようにタッチしたりすることによって選択できるようになっている。そして、そのような動作で、オブジェクトが選択された場合には、携帯通信端末は、選択されたオブジェクトからキーワードを抽出して関連サイトへアクセスする。
【0005】
また、特許文献2には、タッチパネルディスプレイを備えた携帯機器が開示されている。特許文献2の携帯機器は、タッチパネルディスプレイにスルー画像(カメラに映った画像等)を表示し、囲むようにタッチして選択されたスルー画像内の特定対象を検出して、該特定対象の縮小画像をレリーズボタンとしてタッチパネルディスプレイの端部に表示することができる。そして、上記特定対象の縮小画像がタッチされると、携帯機器において、その特定対象に焦点を合わせて、撮影が実施される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−218322号公報(2010年9月30日公開)
【特許文献2】特開2010−182023号公報(2010年8月19日公開)
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上述した従来の技術では、ユーザによって、タッチパネルに表示された1または複数の選択対象物(オブジェクト)が何らかのジェスチャによって選択されたとき、オブジェクトそのものが選択されているのか、そのオブジェクトの一部が選択されているのかを判別することができない。このため、ユーザが真に選択したいと望んでいる内容を正確に特定できず、操作性が低下するという問題がある。
【0008】
より具体的には、特許文献1には、『バンドの画像』がタッチされると、携帯通信端末が『バンド』の情報サイトに接続するように動作することが記載されている。しかしながら、携帯通信端末は、画像そのものがタッチされたことを検出することができても、画像内に写っている何がタッチされたのかを検出することができない。したがって、ユーザは、例えば、上記『バンドの画像』に写っている特定のバンドメンバーに興味があって、その特定のバンドメンバーを部分的にタッチしたとしても、その特定のバンドメンバーの情報サイトにアクセスすることができない。
【0009】
あるいは、特許文献2には、ユーザのタッチ操作によって、ライブビュー画像中の特定の被写体が検出されることが記載されている。しかしながら、特許文献2の携帯機器においては、ライブビュー画像中の特定の被写体を選択することが前提である。すなわち、特許文献2に記載の技術は、ユーザの上記タッチ操作が、ライブビュー画像そのものを選択しているのか、画像の一部(特定の被写体)を選択しているのかを判別する技術ではない。
【0010】
上述の操作性の問題は、携帯性に優れた小型のタブレット端末のみならず、タッチパネル式の表示部兼入力部を備えた、あらゆるサイズの情報処理装置(例えば、大型のタッチパネルを備えた電子黒板など)、ならびに、タッチパネルに限定されずあらゆる形態の表示部および入力部を備えた情報処理装置においても、共通して生じる問題である。
【0011】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力部および表示部を備えた情報処理装置において、オブジェクトを選択可能に表示するとともに、オブジェクトを部分的に選択することも可能にすることによって、優れた操作性を実現することにある。
【課題を解決するための手段】
【0012】
本発明の情報処理装置は、上記課題を解決するために、表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、上記軌跡取得手段によって取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを上記表示部に表示する操作画面処理手段とを備えていることを特徴としている。
【0013】
上記構成によれば、オブジェクト特定手段は、まず、上記軌跡に基づいて軌跡領域を特定し、該軌跡領域少なくとも一部が重なるオブジェクトを特定し、次に、そのオブジェクトそのものが選択されたのか、そのオブジェクトの一部が部分的に選択されたのかを判定する。そして、オブジェクト特定手段は、オブジェクトそのものが選択されたと判定した場合には、先に特定したオブジェクトそれ自体を、また、オブジェクトの一部が選択されたと判定した場合には、その部分的に選択されたオブジェクトの一部分を、ユーザによって選択されたオブジェクトとして特定する。
【0014】
オブジェクトそれ自体、および、オブジェクトの一部、のいずれか一方が、ユーザによって選択されたオブジェクトとして特定されるので、関連項目抽出手段は、その特定されたオブジェクトに対応する関連項目を抽出する。
【0015】
操作画面処理手段は、抽出された関連項目の各アイコンを表示部に表示する。
【0016】
これにより、本発明の情報処理装置は、オブジェクトを選択するためのユーザの1つの動作(例えば、指示体を移動させる動作)に対して、選択されたオブジェクトに関連する関連項目のアイコンを選択可能に表示するという最終結果物を出力することができる。さらに、本発明の情報処理装置は、上記オブジェクトについて、それ自体が選択されたのか、その一部が選択されたのかを判別し、その判別結果に応じて、異なる最終結果物を出力することができる。
【0017】
具体的には、オブジェクト特定手段は、受け付けた指示体の移動の軌跡によって特定される軌跡領域の、特定されたオブジェクトの領域(オブジェクト領域)において占める割合に基づいて、上記オブジェクト自体が選択されたのか、上記オブジェクトの一部が選択されたのかを判定する。そして、操作画面処理手段は、オブジェクト自体が選択された場合の最終結果物(アイコン)、および、オブジェクトの一部が選択された場合の最終結果物(アイコン)のうちのいずれかを、上記の判定結果に応じて、出力する。
【0018】
このように、本発明の情報処理装置は、オブジェクトを選択するためのユーザの動作(指示体を移動させる動作)を受け付けるとき、オブジェクトを1つ提示するだけで、そのオブジェクトそのものを選択することも、そのオブジェクトを部分的に選択することも、両方可能なように、該オブジェクトを表示することができる。つまり、オブジェクト選択用の画像と、部分オブジェクト選択用の画像とを別々に提示せずとも、1つのオブジェクトを表す1つの画像を提示し、それをユーザに選択させるだけで、上述の2種類の選択を判別して受け付けることができる。このため、ユーザは、オブジェクト自体を選択するための画像(操作画面)と、オブジェクトの一部を選択するための画像(操作画面)とを、意図に合わせて別々に表示させる必要がなくなる。よって、本発明の情報処理装置は、ユーザに対して、シンプルで分かり易い操作画面を提示することができる。
【0019】
なおかつ、オブジェクト特定手段は、軌跡領域の大きさ(具体的には、オブジェクトの領域における軌跡領域が重なる割合)に基づいて、2種類の選択動作の判別を行っている。つまり、本発明の情報処理装置は、オブジェクト自体を選択するための動作と、オブジェクトの一部を選択するための動作とに対して、それぞれ異なる種類のジェスチャを割り当てなくても、1つの同じ種類のジェスチャを割り当てているだけである。
【0020】
例えば、オブジェクト自体を選択する動作も、オブジェクトを部分的に選択する動作も、「円で囲う」というジェスチャで統一されたり、「×印でチェックする」というジェスチャで統一されたり、「レ点でチェックする」というジェスチャで統一されたりしているという具合である。
【0021】
これにより、ユーザは、オブジェクト自体を選択するための動作と、オブジェクトを部分的に選択するための動作とのそれぞれに対して、異なるジェスチャを学習する必要がない。また、選択する対象が全部であれ、一部であれ、「何かを選択する」という1種類の動作に対しては、1種類のジェスチャが割り当てられていることがユーザにとって自然であり、直感的に理解されやすい。
【0022】
そして、上述のとおり、2種類の選択動作の判別は、軌跡領域の大きさに基づいて実行される。すなわち、オブジェクト全体に亘って選択動作が実行されれば、オブジェクトそのものが選択されたと判別され、オブジェクト上で局所的に選択動作が実行されれば、オブジェクトの一部が選択されたと判別される。このように、ユーザが関心を持っている範囲と、情報処理装置が選択されたと認識する範囲とを対応させることができるため、上述のような選択動作はユーザにとって自然であり、直感的に理解されやすい動作となっている。
【0023】
したがって、本発明の情報処理装置は、ユーザに対して、煩雑な操作を要求することなく、ユーザの直感に反しない自然な選択動作を行わせることが可能なユーザインターフェースを実現することができる。
【0024】
以上のことから、本発明の情報処理装置は、オブジェクトを選択可能に表示するとともに、オブジェクトを部分的に選択することも可能にすることによって、簡易な選択動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0025】
本発明の情報処理装置では、上記オブジェクトは画像データであり、上記オブジェクト特定手段は、特定した上記画像データ自体、および、上記画像データのうち上記軌跡領域と重なる部分画像が示す内容、のいずれかを、選択されたオブジェクトとして特定してもよい。
【0026】
上記構成によれば、画像データそのものがユーザによって選択された場合には、オブジェクト特定手段は、特定した画像データそのものを、選択されたオブジェクトとして特定し、画像データの中の一部の領域(すなわち、部分画像)が選択された場合には、オブジェクト特定手段は、上記部分画像が示す内容を、選択されたオブジェクトとして特定する。
【0027】
これにより、ユーザは、画像データ自体に対して関連項目(アイコン)を呼び出したい場合と、画像データに含まれている一部の内容に対して関連項目(アイコン)を呼び出したい場合とで、1種類のジェスチャについて選択範囲を使い分けるだけで、容易に、意図する最終結果物(アイコンが配置された操作画面)を得ることが可能となる。
【0028】
さらに、本発明の情報処理装置では、上記部分画像と照合するためのマッチング情報を記憶するマッチング情報記憶部を備え、上記オブジェクト特定手段は、上記部分画像と、上記マッチング情報とを照合することにより、上記部分画像が示す内容を特定してもよい。
【0029】
上記構成によれば、オブジェクト特定手段は、部分画像と、マッチング情報記憶部に記憶されている各マッチング情報とを照合し、マッチしたマッチング情報に基づいて、上記部分画像に示されている内容が何であるのかを特定することができる。
【0030】
さらに、本発明の情報処理装置では、上記マッチング情報は人物の顔画像であり、上記オブジェクト特定手段は、人物の顔を含む部分画像と、上記顔画像とを照合することにより、上記部分画像に映っている人物を、選択されたオブジェクトとして特定してもよい。
【0031】
上記構成によれば、オブジェクト特定手段は、部分画像と、マッチング情報記憶部に記憶されている各顔画像とを照合し、マッチした顔画像に基づいて、上記部分画像に示されている人物を特定することができる。
【0032】
あるいは、本発明の情報処理装置では、上記マッチング情報は文字の特徴量であり、上記オブジェクト特定手段は、文字または文字列を含む部分画像と、上記文字の特徴量とを照合することにより、上記部分画像に含まれる文字または文字列を、選択されたオブジェクトとして特定してもよい。
【0033】
上記構成によれば、オブジェクト特定手段は、部分画像と、マッチング情報記憶部に記憶されている各文字の特徴量とを照合し、マッチした文字の特徴量に基づいて、上記部分画像に示されている文字(または文字が複数の場合には文字列)を認識し、これを選択されたオブジェクトとして特定することができる。
【0034】
あるいは、本発明の情報処理装置では、上記オブジェクト特定手段は、特定した上記オブジェクトにおける、上記軌跡領域が占める割合が、閾値以上である場合に、上記オブジェクト自体を、選択されたオブジェクトとして特定し、上記閾値未満である場合に、上記オブジェクトの一部を、選択されたオブジェクトとして特定してもよい。
【0035】
上記構成によれば、オブジェクト特定手段は、オブジェクト全体に大方重なるように選択動作が起こった場合には、オブジェクトそのものが選択されたと判断し、オブジェクトの一部にしか選択動作が重なっていない場合には、オブジェクトの一部が選択されたと判断することができる。オブジェクト自体を選択する意図がある場合に、オブジェクト全体に大方重なるように選択動作を実施すること、および、オブジェクトの一部を選択する意図がある場合に、その一部分だけに選択動作を実施することは、ユーザにとって、理解し易い自然な動作である。
【0036】
したがって、本発明の情報処理装置は、ユーザに対して、煩雑な操作を要求することなく、ユーザの直感に反しない自然な選択動作を行わせることが可能なユーザインターフェースを実現することができる。
【0037】
結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0038】
さらに、本発明の情報処理装置では、上記軌跡取得手段によって取得された軌跡に基づいて、同種のジェスチャが繰り返された回数を判定するジェスチャ判定手段を備え、上記オブジェクト特定手段は、特定した上記オブジェクトにおける、上記軌跡領域が占める割合が閾値以上である場合であって、上記ジェスチャ判定手段によって判定された回数が、1回である場合に、上記オブジェクト自体を、選択されたオブジェクトとして特定し、複数回である場合に、上記オブジェクトの一部を、選択されたオブジェクトとして特定してもよい。
【0039】
上記構成によれば、本発明の情報処理装置は、ユーザの同種のジェスチャの繰返し回数に基づいて、より正確に、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを判定することができる。そして、ユーザは、その一部に興味があるということを示したい場合には、同種のジェスチャを繰り返すだけでよい。同じ動きを繰り返すという動作は、その部分をより強調しているという意味合いと自然に結びつく動作である。したがって、元々オブジェクトを選択するために割り当てられたジェスチャを2回以上繰り返すことによって、特に興味がある一部分を選択するということは、ユーザにとって自然に理解できることである。
【0040】
以上のことから、本発明の情報処理装置は、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、より正確に、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0041】
本発明の情報処理装置において、当該情報処理装置が備える入力部および上記表示部はタッチパネルを構成するものであり、上記軌跡取得手段は、上記タッチパネル上を移動した上記指示体の移動の軌跡を取得してもよい。
【0042】
上記構成によれば、ユーザがオブジェクトを選択するために行う接触動作と、その動作に応じて得られる結果物との関連性を高めることが可能となり、ユーザの直感に反しない自然な流れで操作画面を提供することができる。結果として、タッチパネルを備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0043】
あるいは、本発明の情報処理装置において、当該情報処理装置が備える入力部は、上記表示部に表示される、上記指示体としてのカーソルを移動させる指示を当該情報処理装置に入力するものであり、上記軌跡取得手段は、上記カーソルの移動の軌跡を取得してもよい。
【0044】
上記構成によれば、ユーザが、入力部を操作して、オブジェクトを選択するために行う入力動作と、その動作に応じて得られる結果物との関連性を高めることが可能となり、ユーザの直感に反しない自然な流れで操作画面を提供することができる。結果として、表示部と入力部とを備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
【0045】
本発明の操作画面表示方法は、上記課題を解決するために、情報処理装置における操作画面表示方法であって、上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、上記軌跡取得ステップにて取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップにて抽出された関連項目のアイコンを上記表示部に表示する操作画面処理ステップとを含むことを特徴としている。
【0046】
なお、上記情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0047】
本発明の情報処理装置は、上記課題を解決するために、表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、上記軌跡取得手段によって取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを上記表示部に表示する操作画面処理手段とを備えていることを特徴としている。
【0048】
本発明の操作画面表示方法は、上記課題を解決するために、情報処理装置における操作画面表示方法であって、上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、上記軌跡取得ステップにて取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップにて抽出された関連項目のアイコンを上記表示部に表示する操作画面処理ステップとを含むことを特徴としている。
【0049】
したがって、入力部および表示部を備えた情報処理装置において、オブジェクトを選択可能に表示するとともに、オブジェクトを部分的に選択することも可能にすることによって、優れた操作性を実現するという効果を奏する。
【図面の簡単な説明】
【0050】
【図1】本発明の一実施形態におけるタブレット端末の要部構成を示す機能ブロック図である。
【図2】本発明の一実施形態におけるタブレット端末のハードウェア構成を示すブロック図である。
【図3】本発明の一実施形態におけるタブレット端末の外観を示す平面図である。
【図4】タブレット端末をユーザが把持および操作するときの様子を説明する図であり、(a)は、タブレット端末が片手で把持され、その手で操作される様子を説明する図であり、(b)は、タブレット端末が一方の手で把持され、もう一方の手で操作される様子を説明する図である。
【図5】タブレット端末のオブジェクト特定部の動作を説明する図であり、(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行った様子を示す図であり、(b)は、(a)に示す接触動作に伴って、接触情報生成部が生成した接触情報の一例を示す図であり、(c)は、接触が検知されたt0〜tnの期間に表示部に表示された映像フレームのマップ情報の一例を示す図である。
【図6】(a)は、タブレット端末の部分選択判定部が、軌跡領域と特定されたオブジェクトの領域とを比較する動作を説明する図であり、(b)は、部分選択判定部が、オブジェクト領域における、軌跡領域と重なる面積の割合を求める動作を説明する図である。
【図7】(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行った他の例を示す図であり、(b)は、(a)に示す接触動作に伴って、接触情報生成部が生成した接触情報の他の例を示す図であり、(c)は、接触が検知されたt0〜tnの期間に表示部に表示された映像フレームのマップ情報の一例を示す図である。
【図8】タブレット端末の部分オブジェクト特定部の動作を説明する図である。
【図9】タブレット端末の関連情報記憶部に記憶される関連情報の一例を示す図である。
【図10】タブレット端末の関連情報記憶部に記憶される関連情報の他の例を示す図である。
【図11】タブレット端末のアイコン記憶部に記憶されるアイコン画像の具体例を示す図である。
【図12】タブレット端末の操作画面処理部の処理内容を説明する図であり、(a)は、操作画面処理部によるオブジェクトの表示処理の一例を説明する図であり、(b)は、操作画面処理部による関連項目のアイコン配置の一例を示す図である。
【図13】タブレット端末の操作画面処理部によって実行された操作画面生成処理の結果、得られた操作画面の具体例を示す図である。
【図14】タブレット端末の操作画面処理部によって実行された操作画面生成処理の結果、得られた操作画面の他の具体例を示す図である。
【図15】タブレット端末による操作画面表示処理の流れを示すフローチャートである。
【図16】ユーザが目的のオブジェクトそれ自体を選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。
【図17】図16に示す接触動作に応じて、操作画面処理部によって生成された操作画面の具体例を示す図である。
【図18】ユーザが目的のオブジェクトの一部を選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。
【図19】タブレット端末の関連情報記憶部に記憶される関連情報の他の例を示す図である。
【図20】図18に示す接触動作に応じて、操作画面処理部によって生成された操作画面の具体例を示す図である。
【図21】(a)は、ユーザが目的のオブジェクトの一部を選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図であり、(b)は、(a)に示す接触動作に伴って取得された軌跡によって特定される軌跡領域とオブジェクト領域との重なり具合を示す図である。
【図22】本発明の他の実施形態におけるタブレット端末の要部構成を示す機能ブロック図である。
【図23】(a)は、ユーザが目的のオブジェクトの一部を選択するためにオブジェクトを「繰返し囲う」という接触動作を行ったことを示す図であり、(b)は、(a)に示す接触動作に伴って取得された軌跡によって特定される軌跡領域とオブジェクト領域との重なり具合を示す図である。
【図24】本発明の他の実施形態におけるタブレット端末による操作画面表示処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0051】
≪実施形態1≫
本発明の実施形態について、図1〜図20に基づいて説明すると以下の通りである。
【0052】
以下で説明する実施形態では、一例として、本発明の情報処理装置を、タブレット端末に適用した場合について説明する。本実施形態では、一例として、上記タブレット端末は、片手で操作することが可能な、小型で携帯性に優れたスマートフォンなどで実現される。
【0053】
しかし、本発明の情報処理装置は、上記の例に限定されず、あらゆるサイズの情報処理装置(例えば、大型のタッチパネルを備えた電子黒板など)に、本発明の情報処理装置を適用してもよい。
【0054】
〔タブレット端末のハードウェア構成〕
図2は、本実施形態におけるタブレット端末100のハードウェア構成を示すブロック図である。タブレット端末100は、図2に示すとおり、少なくとも、制御部10、入力部11、表示部12および記憶部19を備えている。さらに、タブレット端末100は、本来備わっている機能を実現するために、操作部13、外部インターフェース14、通信部15、無線通信部16、音声出力部17、音声入力部18を備えていてもよい。
【0055】
また、タブレット端末100がスマートフォンなどの多機能携帯通信端末である場合には、ここでは省略したが、タブレット端末100は、通話処理部、撮影を行う撮像部(レンズ・撮像素子など)、放送受像部(チューナ・復調部など)、GPS、および、センサ(加速度センサ、傾きセンサなど)他、スマートフォンが標準的に備えている各種部品を備えていてもよい。
【0056】
入力部11は、ユーザがタブレット端末100を操作するための指示信号を、タッチパネルを介して入力するためのものである。入力部11は、指示体(表示部12の画面位置を指示するもの、ここでは、例えば、指またはペンなど)の接触を受け付けるタッチ面と、指示体とタッチ面との間の接触/非接触(接近/非接近)、および、その接触(接近)位置を検知するためのタッチセンサとで構成されている。タッチセンサは、指示体とタッチ面との接触/非接触を検知できればどのようなセンサで実現されていてもかまわない。例えば、圧力センサ、静電容量センサ、光センサなどで実現される。
【0057】
表示部12は、タブレット端末100が情報処理するオブジェクト(アイコンなどのあらゆる表示対象物)、および、処理の結果物を表示したり、ユーザがタブレット端末100を操作するための操作画面をGUI(Graphical User Interface)画面として表示したりするものである。表示部12は、例えば、LCD(液晶ディスプレイ)などの表示装置で実現される。
【0058】
本実施形態では、入力部11と表示部12とは一体に成形されており、これらがタッチパネルを構成している。したがって、このような実施形態では、ユーザが画面位置を指示するために動かす(操作する)対象、すなわち、操作体(ここでは、指またはペンなど)は、同時に、表示部12の画面上の位置を指示する指示体でもある。
【0059】
例えば、本発明のタブレット端末100のタッチパネルを投影型静電容量方式のタッチパネルで実現する場合、具体的には、上記タッチセンサは、ITO(Indium Tin Oxide)などによるマトリクス状の透明電極パターンを、ガラス、プラスチックなどの透明基板上に形成したものとなる。タッチセンサに指示体(ユーザの指またはペン等)が接触または接近すると、その付近の複数の透明電極パターンにおける静電容量が変化する。従って、制御部10は、上記透明電極パターンの電流または電圧の変化を検出することにより、上記指示体が接触または接近した位置を検出することができる。
【0060】
以下では、「接触を検知する」、「接触動作」、「接触位置」などというときの「接触」という用語は、指示体とタッチ面とが完全に接する(接している)状態のみならず、指示体とタッチ面とが、タッチセンサが検知可能な程度に接近する(接近している)状態も含んでいる。
【0061】
操作部13は、ユーザがタブレット端末100に指示信号を直接入力するためのものである。例えば、操作部13は、ボタン、スイッチ、キー、ジョグダイアルなどの適宜の入力機構で実現される。例えば、操作部13は、タブレット端末100の電源のオン/オフを行うスイッチである。
【0062】
外部インターフェース14は、外部の装置をタブレット端末100に接続するためのインターフェースである。外部インターフェース14は、例えば、これに限定されないが、外付けの記録媒体(メモリカードなど)を挿し込むためのソケット、HDMI(High Definition Multimedia Interface)端子、USB(Universal Serial Bus)端子などで実現される。タブレット端末100の制御部10は、外部インターフェース14を介して、外部の装置とデータの送受信を行うことができる。
【0063】
通信部15は、通信網を介して外部の装置と通信を行うものである。通信部15は、通信網を介して、各種通信端末に接続し、タブレット端末100と通信端末との間でのデータの送受信を実現する。さらに、タブレット端末100が、スマートフォンなどの携帯通信端末である場合には、通信部15は、携帯電話回線網を介して、音声通話データ、電子メールデータなどを、他の装置との間で送受信する。
【0064】
無線通信部16は、無線で外部の装置と通信を行うものである。無線通信部16は、特に限定されないが、IrDA、IrSSなどの赤外線通信、Bluetooth通信、WiFi通信、非接触型ICカードのいずれかの無線通信手段を実現するものであってもよいし、これらの手段を複数実現するものであってもよい。タブレット端末100の制御部10は、無線通信部16を介して、タブレット端末100の周辺にある機器と通信し、それらの機器とデータの送受信を行うことができる。
【0065】
音声出力部17は、タブレット端末100が処理した音声データを、音声として出力するものであり、スピーカ、ヘッドフォン端子およびヘッドフォン等により実現される。
【0066】
音声入力部18は、タブレット端末100外部で発生した音声の入力を受け付けるものであり、マイク等により実現される。
【0067】
記憶部19は、タブレット端末100の制御部10が実行する(1)制御プログラム、(2)OSプログラム、(3)制御部10が、タブレット端末100が有する各種機能を実行するためのアプリケーションプログラム、および、(4)該アプリケーションプログラムを実行するときに読み出す各種データを記憶するものである。あるいは、(5)制御部10が各種機能を実行する過程で演算に使用するデータおよび演算結果等を記憶するものである。例えば、上記の(1)〜(4)のデータは、ROM(read only memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)、HDD(Hard Disc Drive)などの不揮発性記憶装置に記憶される。例えば、上記の(5)のデータは、RAM(Random Access Memory)などの揮発性記憶装置に記憶される。どのデータをどの記憶装置に記憶するのかについては、タブレット端末100の使用目的、利便性、コスト、物理的な制約などから適宜決定される。
【0068】
制御部10は、タブレット端末100が備える各部を統括制御するものである。制御部10は、例えば、CPU(central processing unit)などで実現され、タブレット端末100が備える機能は、制御部10としてのCPUが、ROMなどに記憶されているプログラムを、RAMなどに読み出して実行することで実現される。制御部10が実現する各種機能(特に、本発明の操作画面表示機能)については、別図を参照しながら後述する。
【0069】
〔タブレット端末の外観〕
図3は、タブレット端末100の外観を示す平面図である。図3に示すとおり、タブレット端末100は、タッチパネルとしての入力部11および表示部12を備えているものである。また、タブレット端末100には、これらは必須の構成ではないが、操作部13、外部インターフェース14、無線通信部16、音声出力部17、音声入力部18などが備えられている。例えば、無線通信部16が、赤外線通信手段で実現されている場合、タブレット端末100の側面には、無線通信部16として赤外線送受光部が設けられる。
【0070】
図4は、タブレット端末100をユーザが把持および操作するときの様子を説明する図である。より詳細には、図4の(a)は、タブレット端末100が片手で把持され、その手で操作される様子を説明する図であり、図4の(b)は、タブレット端末100が一方の手で把持され、もう一方の手で操作される様子を説明する図である。
【0071】
本実施形態では、タブレット端末100は、片手で把持可能な手のひらサイズの情報処理装置であり、図4の(a)に示すように、片手でタブレット端末100を把持したまま、その手の親指で入力部11のタッチ面を操作できるものである。そして、タブレット端末100は、例えば、親指が届かない位置に操作対象となるアイコンが存在する場合、フリック動作で、親指近辺にアイコンを引き寄せて、親指でアイコンを囲ったり、タップしたりすることにより、アイコンの選択を行うことができるものである。
【0072】
また、図4の(b)に示すように、ユーザは、一方の手でタブレット端末100を把持し、もう一方の手の指で入力部11のタッチ面を操作してもよい。あるいは、図示しないが、タブレット端末100を横長にして、その両脇を両手で把持し、両手の親指で入力部11のタッチ面を操作してもよい。
【0073】
〔タブレット端末の機能〕
次に、タブレット端末100の機能構成について説明する。図1は、本実施形態におけるタブレット端末100の要部構成を示す機能ブロック図である。
【0074】
図1に示すとおり、本実施形態にかかるタブレット端末100の制御部10は、本発明の操作画面表示機能を実現するための機能ブロックとして、少なくとも、接触情報生成部21、オブジェクト特定部22、関連項目抽出部23、および、操作画面処理部24を備えている。そして、より詳細には、オブジェクト特定部22は、部分選択判定部34および部分オブジェクト特定部35を備えている。
【0075】
上述した制御部10の各機能ブロックは、CPU(central processing unit)が、ROM(read only memory)等で実現された不揮発性記憶装置に記憶されているプログラムを不図示のRAM(random access memory)等に読み出して実行することで実現できる。
【0076】
また、記憶部19は、制御部10の上記の各部が操作画面表示機能を実行する際に、データの読み出しまたは書き込みを行うための記憶部として、具体的には、フレームマップ記憶部41、関連情報記憶部42、アイコン記憶部43、および、マッチング情報記憶部46で構成されている。
【0077】
接触情報生成部21は、入力部11のタッチセンサから出力される信号を処理して、接触情報を生成するものである。接触情報とは、指示体(例えば指)の接触位置の座標位置を示す接触座標情報を少なくとも含んでいる。これにより、制御部10の各部は、上記接触情報から上記指示体の移動の軌跡を得ることができる。本実施形態では、さらに、上記軌跡を構成する各点に対して、接触が起こった時間を示す接触時間情報(指示体の移動時間を示す移動時間情報)が必要に応じて対応付けられていてもよい。
【0078】
接触情報は、オブジェクト特定部22が即時利用可能なように図示しない記憶部(キャッシュなど)に一時的に記憶されてもよい。あるいは、タブレット端末100は、さらに、記憶部19において図示しない接触情報記憶部を備え、接触情報記憶部が、接触情報生成部21によって生成された接触情報を記憶しておいてもよい。
【0079】
上記接触情報記憶部を不揮発性記憶装置で実現するか否か、すなわち、この接触情報を不揮発的に記憶するか否かは、操作画面処理部24が実行する操作画面表示機能の目的、想定利用環境、あるいは、タブレット端末100自体の使用目的、利便性、コスト、物理的な制約などから適宜決定される。
【0080】
接触情報生成部21が接触情報を生成する手順について、より詳細には、入力部11のタッチセンサが、タッチ面と指示体(本実施形態では、指)との接触を検知してから、その非接触を検知するまでの間、接触情報生成部21は、タッチセンサから出力される信号を取得する。この信号には、「接触」を検知した旨と、その接触位置を示す情報とが含まれており、接触情報生成部21は、この信号に基づいて、接触位置を座標で示す接触座標情報を生成する。
【0081】
なお、接触情報生成部21は、接触が検知されてからそれが非接触となるまでの間の時間を測定し、接触時間情報を接触座標情報に対応付けてもよい。接触情報生成部21は、タブレット端末100に搭載される時計部が保持する絶対的な時刻情報を取得して利用してもよいが、接触情報生成部21は、接触が検知されてから計時を開始し、相対的な接触時間情報を得てもよい。例えば、接触情報生成部21は、接触が最初に検知された時点(t0)を0.00秒として経過時刻を計測し、接触が最後に検知された時点(tn)まで、上記計測を継続させて、接触位置に対応する相対的な接触時間情報を取得すればよい。いずれにしても、接触情報生成部21は、得られた接触時間情報を接触座標情報に対応付けて接触情報を生成する。
【0082】
本実施形態では、生成された接触情報は、オブジェクト特定部22に供給され、オブジェクト特定部22によって利用される。
【0083】
接触情報生成部21は、接触動作が終了した位置の座標情報を取得しておき、この情報を含めて接触情報を生成してもよい。さらに、接触情報生成部21は、接触動作が開始された位置の座標情報も取得してもよい。さらに、接触情報生成部21は、接触動作の開始および終了位置のそれぞれに対して、接触時間情報を対応付けてもよい。上記のデータ構造を有する接触情報により、制御部10の各部は、軌跡の始点または終点の位置などを認識することができる。
【0084】
オブジェクト特定部22は、ユーザの接触動作によって選択されたオブジェクトを特定するものである。オブジェクト特定部22は、接触情報生成部21によって生成された接触情報と、その接触が起こっている間に表示部12に表示されていた映像フレームのマップ情報とを対比する。これにより、オブジェクト特定部22は、接触動作によって選択されたオブジェクトを、表示部12に表示中のオブジェクトの中から特定することができる。
【0085】
フレームマップ記憶部41は、接触時の表示部12に出力されていた映像フレームのマップ情報を記憶するものである。マップ情報は、タッチパネルに表示されている映像フレームのレイアウト示す情報である。具体的には、マップ情報は、表示されている各オブジェクトについて、それらを個々に識別する情報と、各オブジェクトの形状、大きさ、および、表示位置の情報を含む。つまり、マップ情報は、各オブジェクトをタッチパネルの座標系に対応させてプロットしたものである。
【0086】
さらに、本実施形態では、ユーザが意図してオブジェクトを部分的に選択したときに、オブジェクト特定部22は、オブジェクトが部分的に選択されたと判定することが可能である。そして、この場合、オブジェクト特定部22は、その選択された部分を、サブ要素として特定することができる。以下では、オブジェクトの一部を部分的に表す場合、すなわち、上記サブ要素のことを部分オブジェクトと称する。
【0087】
本実施形態では、オブジェクト特定部22は、部分選択判定部34および部分オブジェクト特定部35を含む構成である。
【0088】
部分選択判定部34は、ユーザの接触動作によって、オブジェクト全体が指定されたのか、あるいは、そのオブジェクトの一部が部分的に指定されたのかを判定するものである。
【0089】
本実施形態では、部分選択判定部34は、指の移動の軌跡によって特定される領域と、特定されたオブジェクトの領域とを比較する。なお、オブジェクト特定部22は、上記軌跡領域を、接触情報生成部21によって生成された接触情報から取得された軌跡に基づいて決定する。オブジェクト特定部22が軌跡領域を特定する方法は特に限定されないが、例えば、軌跡そのものが軌跡領域として特定されてもよいし、軌跡によって囲われる内側の領域が軌跡領域として特定されてもよいし、軌跡の外接矩形が軌跡領域として特定されてもよい。上記オブジェクトの領域は、オブジェクト特定部22が特定したオブジェクトの領域を、上記マップ情報から取得することによって決定される。
【0090】
続いて、部分選択判定部34は、オブジェクトの領域における、軌跡の領域と重なる面積の割合が、所定閾値未満の場合に、オブジェクトが部分的に選択されたと判定する。すなわち、部分選択判定部34は、オブジェクト全体に大方重なるように接触動作が起こった場合には、オブジェクトそのものが選択されたと判断し、オブジェクトの一部にしか接触動作が重なっていない場合には、オブジェクトの一部が選択されたと判断する。上記閾値は、ユーザのオブジェクトを選択する接触動作の種類(「囲う」なのか、タップなのか、など)、タブレット端末100のタッチパネルの面積、タッチパネルに表示されるオブジェクトの平均的な大きさなどに応じて適宜定めればよい。
【0091】
本実施形態では、具体例として、オブジェクトを選択する接触動作は、「囲う」接触動作と定められており、上記閾値が「80%」と定められているものとし、以下、オブジェクト特定部22の動作を説明する。しかし、上記は、一例に過ぎず、本発明のタブレット端末100を限定する意図はない。
【0092】
図5〜図8は、オブジェクト特定部22の動作を説明する図である。
【0093】
より詳細には、図5の(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。図5の(b)は、同図の(a)に示す接触動作に伴って、接触情報生成部21が生成した接触情報の一例を示す図である。図5の(c)は、接触が検知されたt0〜tnの期間に表示部12に表示された映像フレームのマップ情報の一例を示す図である。
【0094】
図5の(a)に示すとおり、ユーザが、タブレット端末100のタッチパネルに表示されているオブジェクト80(ここでは、写真)のうちの1つを「囲う」という接触動作を実行したとする。接触動作は、例えば、接触点が同図の破線の位置を通過するようにt0〜tnの期間に実行されたとする。
【0095】
オブジェクト特定部22は、接触情報生成部21から、図5の(b)に示すような接触情報を取得する。本実施形態では、接触情報の座標系は、タブレット端末100のタッチパネルの座標系に対応し、パネルの最左上端を原点とするものである。図5の(b)において、ユーザの「囲う」接触動作の軌跡のうち、始点をt0、終点をtnとして示しているが、その間の各点にも接触時間情報が関連付けられていてもよい。あるいは、本実施形態では、接触時間情報は上記接触情報に含まれていなくてもよい。
【0096】
オブジェクト特定部22は、フレームマップ記憶部41から、図5の(c)に示されるマップ情報(すなわち、t0〜tnの期間において表示部12に表示された映像フレームのレイアウト)を取得する。そして、オブジェクト特定部22は、上記接触情報と上記マップ情報とを対比して、接触情報から得られたユーザの指の軌跡によって囲われる領域内または該領域の外接矩形内に全部あるいはほぼ重なるオブジェクト80を選択されたオブジェクトであるとして特定する。図5に示す例では、オブジェクト特定部22は、図5の(c)の「写真1」を選択されたオブジェクトとして特定する。
【0097】
なお、図5の(a)〜(c)は、一例として、ユーザがオブジェクトを選択するための接触動作が「囲う」である場合のオブジェクトの特定方法を示しているが、本発明のタブレット端末100の構成は上記に限定されない。例えば、ユーザは、所望のオブジェクトを指すときに、オブジェクトにチェックマーク(レ点または×印など)を入れるような「チェックする」という接触動作で選択してもよいし、オブジェクトを斜め上から斜め下に払うような「フリックする」という接触動作で選択してもよい。タブレット端末100は、上述のような線状の軌跡を、範囲を指定する情報として扱う。したがって、タブレット端末100においては、接触動作が生じた場所を「面」で捉えることが可能な、上述のいずれの線状の接触動作を「オブジェクトを選択するための動作」に割り当ててもよい。オブジェクト特定部22は、割り当てられた接触動作に応じて適切に、ユーザが指し示すオブジェクトを特定できる構成である。
【0098】
例えば、オブジェクトを選択するための接触動作が、レ点で「チェックする」という接触動作であると定められている場合、オブジェクト特定部22は、レ点の軌跡の外接矩形を軌跡領域として決定し、この軌跡領域と重なるオブジェクトを、選択されたオブジェクトとして特定することができる。
【0099】
オブジェクト特定部22は、特定したオブジェクトの情報を、部分選択判定部34に引き渡す。次に、部分選択判定部34は、特定されたオブジェクトそのものが選択されたのか、そのオブジェクトの一部のみが選択されたのか判定する。
【0100】
図6の(a)は、部分選択判定部34が、軌跡領域と特定されたオブジェクトの領域とを比較する動作を説明する図であり、図6の(b)は、部分選択判定部34が、オブジェクトの領域における、軌跡領域と重なる面積の割合を求める動作を説明する図である。
【0101】
まず、部分選択判定部34は、図6の(a)に示すとおり、接触情報から得られた軌跡によって特定される軌跡領域61と、特定されたオブジェクト80(ここでは、写真1)が配置されている領域(オブジェクト領域62)とを比較する。そして、部分選択判定部34は、図6の(b)に示すとおり、オブジェクト領域62と軌跡領域61とが重なる領域(重畳領域63)を特定する。なお、図5の(b)および(c)に示すとおり、軌跡が、それ自身で交わらなかったり、また、始点と終点とが一致しなかったりして、閉じられた領域を特定できないような場合には、オブジェクト特定部22は、例えば、図6の(a)に示すとおり、軌跡の始点および終点を結ぶ線(例えば、直線など)を補って、軌跡領域61を特定してもよい。一方、オブジェクト特定部22は、軌跡が閉曲線の場合、その軌跡によって囲われる領域内を軌跡領域として特定すればよい。
【0102】
あるいは、オブジェクト特定部22は、軌跡が閉曲線であってもそうでなくとも上記線状の軌跡の外接矩形内を軌跡領域として特定してもよい。オブジェクト特定部22は、軌跡に基づいて、上記の例に限定されない所定の規則に基づいて、軌跡領域を特定することができる。
【0103】
最後に、部分選択判定部34は、オブジェクト領域62における、重畳領域63の面積の割合を求める。ここでは、例えば、部分選択判定部34は、「94%」と算出したとする。部分選択判定部34は、求めた割合「94%」を、所定の閾値(ここでは、「80%」)と比較する。そして、部分選択判定部34は、求めた割合が、閾値以上であることから、図5の(a)に示される接触動作によって、オブジェクトそのものが選択されたと判定する。部分選択判定部34は、この判定結果をオブジェクト特定部22に返す。
【0104】
オブジェクト特定部22は、部分選択判定部34によってオブジェクトそのものが選択されたと判定された場合には、自身が特定したオブジェクトの情報(ここでは、「写真1」)を、関連項目抽出部23に供給する。
【0105】
図7の(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行った他の例を示す図である。図7の(b)は、同図の(a)に示す接触動作に伴って、接触情報生成部21が生成した接触情報の他の例を示す図である。図7の(c)は、接触が検知されたt0〜tnの期間に表示部12に表示された映像フレームのマップ情報の一例を示す図である。
【0106】
図7の(a)に示すとおり、ユーザが、タブレット端末100のタッチパネルに表示されているオブジェクト80(ここでは、写真)のうちの1つを「囲う」という接触動作を実行したとする。ここでは、ユーザは、写真の中の人物に注目して、この人物を選択することを意図して接触動作を行っている。接触動作は、例えば、接触点が同図の破線の位置を通過するようにt0〜tnの期間に実行されたとする。
【0107】
図5に示す例と同様に、接触情報生成部21は、ユーザの指の移動の軌跡を含む接触情報を生成する(図7の(b))。そして、オブジェクト特定部22は、図7の(c)に示すとおり、得られた軌跡によって特定される軌跡領域と、マップ情報とを比較することにより、軌跡領域が重なるオブジェクト80(ここでは、写真1)を、ユーザが選択したオブジェクトとして特定する。
【0108】
続いて、部分選択判定部34は、図6に示す例と同様に、上記軌跡によって特定された軌跡領域(図7の(c)の斜線の領域)と、オブジェクト特定部22によって特定されたオブジェクト領域(図7の(c)の写真1の領域)とを比較する。図7の(c)に示す例では、部分選択判定部34は、オブジェクト領域における、軌跡領域と重なる重畳領域の面積の割合を「20%」と算出したとする。部分選択判定部34は、求めた割合「20%」を、所定の閾値(ここでは、「80%」)と比較する。そして、部分選択判定部34は、求めた割合が、閾値未満であることから、図7の(a)に示される接触動作によって、オブジェクト80が部分的に選択されたと判定する。部分選択判定部34は、この判定結果をオブジェクト特定部22に返す。
【0109】
部分選択判定部34によってオブジェクトが部分的に選択されたと判定された場合には、次に、オブジェクト特定部22は、ユーザによって選択された部分オブジェクトを特定する処理を部分オブジェクト特定部35に実行させる。
【0110】
図8は、部分オブジェクト特定部35の動作を説明する図である。より詳細には、図8の(a)は、ユーザが選択したオブジェクトとして特定された写真1の最左上端を原点とする座標系を示す図であり、図8の(b)は、部分オブジェクト特定部35が、同図の(a)に示す座標系に、上記軌跡によって特定される軌跡領域をプロットし、重畳領域を特定する動作を説明する図であり、図8の(c)は、部分オブジェクト特定部35が、同図の(b)に示す軌跡領域と、特定された写真1の画像データとに基づいて、部分オブジェクトを特定する動作を説明する図である。
【0111】
まず、部分オブジェクト特定部35は、特定されたオブジェクト80(ここでは写真1)のオブジェクト領域の座標系を生成する。図8の(a)に示す例では、部分オブジェクト特定部35は、オブジェクト領域の最左上端を原点とする座標系を生成する。次に、部分オブジェクト特定部35は、図8の(b)に示すとおり、上記軌跡によって特定された軌跡領域を上記座標系にプロットし、重畳領域64を特定する。図8の(b)に示す例では、軌跡領域はオブジェクト領域に完全に包含されるため、部分オブジェクト特定部35は、軌跡領域を、そのまま重畳領域64として特定した。しかし、この例に限定されず、軌跡領域は、オブジェクト領域の外の領域を含むことも想定される。この場合は、軌跡領域のうち、オブジェクト領域を重なる領域のみが重畳領域64として特定される。
【0112】
次に、部分オブジェクト特定部35は、記憶部19の図示しない画像記憶部から、オブジェクト80としての写真1の画像データを読み出す。部分オブジェクト特定部35は、取得した写真1の画像データに重畳領域64をプロットし、画像データの重畳領域64の部分(部分画像)が何を表しているのかを特定する。すなわち、部分オブジェクトを特定する。
【0113】
具体的には、選択されたオブジェクト(全体)が、写真などの画像データである場合、部分オブジェクト特定部35は、画像処理技術により、重畳領域64(部分画像)に写っている内容を特定する。ここで、画像処理技術とは、公知のマッチング技術であり、比較対象の部分画像から得られる特徴量と、既知のモデル画像の特徴量とを照合し、その一致率に基づいて、上記部分画像と上記既知のモデル画像の情報とを紐付けて、部分画像の内容を特定する技術である。例えば、顔検出、人物判定などに応用される技術である。また、光学式文字認識(OCR;optical character recognition)の技術も、この画像処理技術に含まれる。
【0114】
図1に示すとおり、タブレット端末100の記憶部19は、マッチング情報記憶部46を備えている。マッチング情報記憶部46は、マッチング情報を記憶するものである。マッチング情報とは、部分画像の内容を特定するために、部分画像と照合するための既知のモデル画像または特徴量である。
【0115】
本実施形態では、マッチング情報記憶部46は、少なくとも、顔認識を実現するために、マッチング情報として、既知の人物の顔画像を記憶している。顔画像には、人物を識別するための識別情報が関連付けられているので、タブレット端末100において、どの顔画像がどの人物のものであるのかが把握されるようになっている。例えば、マッチング情報記憶部46は、電話帳データベースを保持していてもよい。電話帳データベースは、人物ごとに、人物名、顔画像、電話番号、住所、メールアドレスなどを対応付けたデータ構造を有している。
【0116】
図8の(c)に示す例では、写真1の重畳領域64には、人物が含まれている。部分オブジェクト特定部35は、写真1の重畳領域64の画像を、マッチング情報記憶部46に記憶されている、既知の人物の顔画像のそれぞれと照合することにより、重畳領域64に含まれている人物を特定することができる。例えば、部分オブジェクト特定部35は、人物識別情報「Aさん」に関連付けられている顔画像と、重畳領域64の画像とを照合した結果、所定以上の高い一致率が得られた場合には、両者が「一致している」と判断し、写真1の重畳領域64は、「Aさん」の画像であると特定する。
【0117】
すなわち、部分オブジェクト特定部35は、図7の(a)に示す接触動作によって選択されたオブジェクトは、オブジェクト「写真1」の部分オブジェクト「Aさん」であると特定する。
【0118】
部分オブジェクト特定部35は、特定した部分オブジェクトの情報をオブジェクト特定部22に返す。
【0119】
オブジェクト特定部22は、選択されたのがオブジェクト全体である場合には、自身が特定したオブジェクト(ここでは、写真1)の情報を、選択されたのがオブジェクトの一部である場合には、部分オブジェクト特定部35によって特定された部分オブジェクト(ここでは、Aさん)の情報を、関連項目抽出部23に供給する。
【0120】
関連項目抽出部23は、オブジェクト特定部22によって特定されたオブジェクト、すなわち、ユーザによって選択されたオブジェクトに関連する関連項目を抽出するものである。オブジェクトが選択されたときに、その選択されたオブジェクトに関連性が深い項目が、関連項目抽出部23によって抽出されることになっている。関連項目抽出部23は、オブジェクト特定部22によって特定されたのが、オブジェクトの一部の部分オブジェクトである場合には、ユーザによって選択された部分オブジェクトに関連する関連項目を抽出する。しかし、関連項目抽出部23は、オブジェクトと部分オブジェクトとの間にある帰属関係を意識する必要はなく、オブジェクト特定部22から供給された情報が、オブジェクトそれ自体であっても、部分オブジェクトであっても、それらを、並列的に異なる「オブジェクト」として扱えばよい。すなわち、以下の関連項目抽出部23に係る説明において、「オブジェクト」について説明されていることは、「部分オブジェクト」についても当てはまるし、その逆も同様である。
【0121】
関連情報記憶部42は、オブジェクトと項目との関連性を示す関連情報を記憶するものである。図9および図10は、関連情報記憶部42に記憶される関連情報の一例を示す図である。より詳細には、図9に示す関連情報は、オブジェクトそれ自体と関連項目との対応関係を示し、図10に示す関連情報は、部分オブジェクトと関連項目との対応関係を示している。しかし、上述したとおり、関連項目抽出部23は、オブジェクトそれ自体と、部分オブジェクトとを、並列的に、別個のオブジェクトとして扱うので、関連情報記憶部42は、オブジェクトと部分オブジェクトとに分けて関連情報を保持していなくてもよい。つまり、図9に示すテーブルと、図10に示すテーブルとは、1つのテーブルとして構成されていてもよい。
【0122】
関連情報は、図9および図10に示すとおり、「オブジェクト」(または「部分オブジェクト」)ごとに、少なくとも「関連項目」が対応付けられた情報である。関連情報は、この対応付けによって、オブジェクトと項目との関連性を示している。
【0123】
例えば、図9に示すとおり、オブジェクトが「写真」などのデータである場合、写真に対しては、「表示する」、「編集する」、「メールに添付して送信する」、「周辺機器(テレビなど)に転送する」、「印刷する」などの動作が実行されることが想定される。そこで、「動作対象」であるオブジェクトに対して実行される「動作」の関係にあたる項目がオブジェクトの関連項目として関連付けられていてもよい。
【0124】
あるいは、図9に示すとおり、オブジェクトが「写真」などのデータである場合、その写真を特定の人に送ることが想定される。そこで、動作対象であるオブジェクトに対して動作が実行されるときの「動作相手」の関係にあたる項目が関連項目として関連付けられていてもよい。
【0125】
あるいは、図9に示すとおり、オブジェクトが複数の写真またはその他のデータを含む「アルバム」または「フォルダ」である場合、そのオブジェクトに含まれる写真またはデータをユーザは所望していると考えられる。このように、オブジェクトの下位層に属する項目が関連項目として関連付けられていてもよい。
【0126】
あるいは、図10に示すとおり、オブジェクト(または部分オブジェクト)が「Aさん」などの人物を示す情報である場合、Aさんという人物に対しては、「Aさんにメールを送信する」、「Aさんに電話をする」など、「人物」のオブジェクトに対して実行される「動作」の関係にあたる項目がオブジェクトの関連項目として関連付けられていてもよい。
【0127】
あるいは、図10に示すとおり、Aさんという人物に対しては、「Aさんの登録情報を表示する」、「Aさんの登録情報を編集する」、「Aさんからのメールボックスを表示する」など、「人物」に関連付けられた情報に対して何らかの処理を実行することを定義する項目が、「人物」のオブジェクトの関連項目として抽出されてもよい。
【0128】
あるいは、図10に示すとおり、「Aに関連付けられた写真」など、「人物」に関連付けられた情報そのものが、「人物」のオブジェクトの関連項目として関連付けられていてもよい。
【0129】
関連項目抽出部23は、オブジェクト特定部22によってオブジェクトが特定されると、関連情報記憶部42に記憶されている関連情報(図9および図10)を参照し、特定されたオブジェクトに関連付けられている項目を関連項目として抽出する。上記構成によれば、写真全体が選択された場合と、写真の中の人物が選択された場合とで、異なる関連項目が抽出される。
【0130】
例えば、図5の(a)〜(c)に示すとおり、オブジェクト特定部22が、選択されたオブジェクトは「写真1」そのものであると特定したとする。この場合、「写真1」はオブジェクトとしては「写真」に分類されるので、関連項目抽出部23は、図9に示すとおり、関連情報の中から、オブジェクト「写真」に関連付けられている関連項目群60を抽出する。
【0131】
一方、例えば、図7の(a)〜(c)および図8の(a)〜(c)に示すとおり、オブジェクト特定部22の部分オブジェクト特定部35が、選択されたオブジェクトは、写真1の中の「Aさん」という人物であると特定したとする。関連項目抽出部23は、図10に示すとおり、関連情報の中から、オブジェクト「Aさん」に関連付けられている関連項目群65を抽出する。
【0132】
関連項目抽出部23によって抽出された関連項目の情報は、操作画面処理部24に供給される。そして、抽出された関連項目は、先に選択されたオブジェクト(または部分オブジェクト)に関連のある項目として、選択可能に(例えば、アイコンで)表示される。
【0133】
この構成には限定されないが、本実施形態では、図9および図10に示すとおり、さらに「関連項目」ごとに、アイコンが割り当てられていてもよい。例えば、図9のオブジェクト「写真」に関連付けられた、関連項目「テレビで表示する(テレビに転送する)」には、アイコン「1:テレビ」が関連付けられている。アイコン「1:テレビ」は、例えば、テレビのイラストなどが描かれたアイコンであって、「写真をテレビに送って表示させること」を想起させる絵柄であることが好ましい。
【0134】
また、例えば、図10のオブジェクト「Aさん」に関連付けられた関連項目「Aさんの登録情報を表示する」には、アイコン「15:アバター」が関連付けられている。アイコン「15:アバター」は、その人物をイラストで表したアイコンであって、その人物を想起させる絵柄(似顔絵など)であり、人物ごとにあらかじめ用意されている。つまり、オブジェクト「Aさん」が選択された場合には、関連項目「Aさんの登録情報を表示する」という動作を象徴する、Aさんの「15:アバター」が表示されることになる。
【0135】
その他の関連項目についても、その関連項目の内容を想起させる相応しい絵柄のアイコンがそれぞれ割り当てられている。
【0136】
このような関連情報に基づいて、関連項目抽出部23は、抽出した関連項目のそれぞれに対応するアイコン(あるいは、アイコンの識別情報)を、操作画面処理部24に供給してもよい。これにより操作画面処理部24は、関連項目抽出部23によって指定されたアイコンを表示するべく処理を進めることができる。
【0137】
なお、本実施形態では、関連情報は、関連項目のそれぞれについて、その関連項目の性質あるいは分類などを示す情報、すなわち、「属性」を保持していてもよい。本実施形態の関連情報は、関連項目の属性の例として、図9に示す「条件」の情報を含んでいてもよい。関連項目の属性「条件」とは、その関連項目のアイコンを表示する条件を示す情報である。属性「条件」に示されている「あれば」という情報は、その関連項目が、「情報を表示する」という動作を意味するものである場合、その情報が存在すれば、アイコン表示を行い、その情報がなければアイコン表示を行わないことを規定するものである。
【0138】
具体的には、例えば、図9のオブジェクト「写真」について、関連項目群60のうち、関連項目「写真の付属情報を表示する」には、「条件」=「あれば」が関連付けられている。この関連項目は、写真の付属情報が実際に存在する場合だけ、アイコン表示されるのに対し、関連項目群60の残りの関連項目は、常にアイコン表示される。
【0139】
また、例えば、図10のオブジェクト「Aさん」について、関連項目群65のうち、関連項目「Aさんに関連付けられた写真」には、「条件」=「あれば(3枚まで)」が関連付けられている。この関連項目は、Aさんに関連する写真が存在する場合だけ、その写真のサムネイルがアイコン表示される。そして、Aさんに関連する写真が3枚以上存在する場合でも、アイコン表示されるのは、写真3枚分までに制限されている。このように枚数を制限すれば、表示領域が制限された比較的小型のタブレット端末100において、膨大な数の関連項目が表示しきれない状態に陥るという不都合を回避することができる。
【0140】
なお、関連項目の属性は上記に限定されず、関連情報は、関連項目の性質あるいは分類などを示す情報であれば、あらゆる種類の属性を保持していてもよい。関連項目の属性は、操作画面処理部24およびその各部によって必要に応じて読み出される。
【0141】
操作画面処理部24は、オブジェクト、および、選択されたオブジェクトに関連する関連項目(のアイコン)を、ユーザに選択可能に表示するための操作画面を生成する処理(操作画面生成処理)を行うものである。
【0142】
図11は、アイコン記憶部43に記憶されるアイコン画像の具体例を示す図である。図11に示すとおり、本実施形態では、各アイコン画像は、アイコン識別情報によって識別可能となっている。例えば、「1:テレビ」のアイコン識別情報には、テレビが描かれたアイコン画像が関連付けられている。また、図示していないが、よく通話する知人など、個人情報(上記の登録情報)を表すアイコンとして、その人の似顔絵やアバターの画像が用いられてもよい。
【0143】
操作画面処理部24は、関連項目抽出部23によって抽出された関連項目に割り当てられたアイコン画像を、アイコン記憶部43から読み出して、これらが適切な位置および適切なタイミングで表示されるように操作画面を生成し、図示しない表示制御部を介して、表示部12に出力する。
【0144】
具体的には、本実施形態では、操作画面処理部24は、接触動作「囲う」によって選択されたオブジェクトに関連する関連項目のアイコンを、その選択されたオブジェクトの周囲に表示させる機能を有していることが好ましいが、この機能は本発明のタブレット端末100において必須の機能ではない。
【0145】
図12は、操作画面処理部24の処理内容を説明する図である。より詳細には、図12の(a)は、操作画面処理部24によって実行された、オブジェクトの表示処理の一例を説明する図であり、図12の(b)は、操作画面処理部24によって実行された、関連項目のアイコン配置の一例を示す図である。
【0146】
本実施形態では、操作画面処理部24は、まず、図12の(a)に示すとおり、先の「囲う」の接触動作によって選択されたオブジェクト80を、中央に配置しなおす。次に、図12の(b)に示すとおり、操作画面処理部24は、抽出された関連項目の各アイコンをオブジェクト80の周囲に環形状によって均等に配置する。図12の(b)は、関連項目が8個抽出された場合に、操作画面処理部24が、楕円の環の輪郭線に沿って、8個のアイコンを均等に配置した例を示している。ここで、アイコンの配置位置を示す基準の「環」の形状について、これを楕円としたことは単なる一例であって、本発明の環の形状を限定する意図は無い。また、「環」とは、必ずしも曲線からなる形状を意味しない。例えば、操作画面処理部24は、環の形状を、円形、正方形、長方形、その他多角形で定義してもよいし、複雑な形状、いびつな形状、幾何学的でない形状であっても、内と外とを分離するような輪郭線を有している図形が環として定義される。また、「環」は、必ずしも閉曲線を意味しない。環の輪郭線の始点と終点が完全に一致しない場合であっても、内と外とを大方分離するような輪郭線を有している図形が環として定義されてもよい。操作画面処理部24は、そのようにして定義されたあらゆる形状の環の輪郭線上にアイコンを配置する。
【0147】
なお、図12の(b)に示す、環の輪郭線を示す破線は、タブレット端末100が内部に情報として保持している環の形状であって、実際には、表示部12に表示されなくてもよい。これより以降に示す各図における環の輪郭線を示す破線も同様、実際には、表示部12に表示されなくてもよい。
【0148】
なお、アイコンを配置する順番は、本実施形態では特に限定されないが、例えば、関連項目抽出部23によって抽出された順に、オブジェクト80の真上から時計回りに配置することなどが考えられる。
【0149】
図13は、操作画面処理部24が実行した操作画面生成処理の結果、得られた操作画面の具体例を示す図である。図13に示す例は、図5と同様に、オブジェクト80(オブジェクト「写真1」)が囲われたことに対して得られた操作画面の具体例である。
【0150】
関連項目抽出部23は、図9に示す関連情報を参照し、写真のオブジェクトに関連付けられたアイコン識別情報、すなわち、「1:テレビ」、「2:プリンタ」、「3:メール」、「4:写真表示」、「5:情報表示」、「6:パレット」、「7:ゴミ箱」、および、「8:メモリカード」を抽出する。
【0151】
操作画面処理部24は、関連項目抽出部23によって抽出されたアイコン識別情報に基づいて、図11に示すとおり、アイコン記憶部43から、対応するアイコン画像を読み出す。そして、選択されたオブジェクト80を中央に配置するとともに、その周囲に読み出したアイコン画像を配置する。
【0152】
なお、上述の説明では、操作画面処理部24が、オブジェクト80を中央に配置する処理を行う構成としたが、これは必須の構成ではない。しかし、本実施形態では、操作画面処理部24は、オブジェクト80の関連項目のアイコンを、オブジェクト80の周囲に配置するため、周囲にアイコンを配置するためのスペースをできるだけ広く均等に確保するという観点から、オブジェクト80を中央に配置することが好ましい。
【0153】
図14は、操作画面処理部24が実行した操作画面生成処理の結果、得られた操作画面の他の具体例を示す図である。図14に示す例は、図7と同様に、オブジェクト80の一部(「写真1」に写っている「Aさん」)が囲われたことに対して得られた操作画面の具体例である。
【0154】
関連項目抽出部23は、図10に示す関連情報を参照し、「Aさん」という人物のオブジェクトに関連付けられたアイコン識別情報、すなわち、「3:メール」、「17:電話」、「15:(Aさんの)アバター」、「19:鉛筆」、および、「20:ポスト」を抽出する。さらに、Aさんに関連付けられた写真が、例えば、2枚存在する(つまり、図示しない画像記憶部にAさんの写真が2枚記憶されている)場合には、関連項目抽出部23は、その2枚の写真のサムネイルを特定するためのアイコン識別情報「16:(1枚目の写真の)サムネイル」および「16:(2枚目の写真の)サムネイル」を抽出する。
【0155】
操作画面処理部24は、関連項目抽出部23によって抽出されたアイコン識別情報に基づいて、図11に示すアイコン記憶部43から、対応するアイコン画像を読み出す。なお、写真のサムネイルが、上記画像記憶部に記憶されている場合には、操作画面処理部24は、サムネイルについては、上記画像記憶部から読み出す。そして、選択されたオブジェクト80を中央に配置するとともに、その周囲に読み出したアイコン画像を配置する。
【0156】
なお、本実施形態では、操作画面処理部24は、環の中央に、かならず、選択されたオブジェクト80(ここでは、写真1)を配置する構成であってもよい。しかし、このような構成に限定されず、操作画面処理部24は、部分オブジェクト特定部35によって部分オブジェクトが特定された場合には、オブジェクトの中の選択された部分だけを拡大した部分オブジェクト80’を中央に配置する構成であってもよい。例えば、操作画面処理部24は、図8の(c)に示す重畳領域64または重畳領域64の外接矩形の領域に含まれる写真1の一部の領域をトリミングおよび拡大して、オブジェクト80(写真1)そのものの代わりに、部分オブジェクト80’として中央に配置してもよい。
【0157】
上述のようにして操作画面処理部24によって操作画面が生成された結果、図14に示すとおり、部分オブジェクト80’の周囲に、時計回りに、「3:メール」、「17:電話」、「15:(Aさんの)アバター」、「19:鉛筆」、「16:(1枚目の写真の)サムネイル」、「16:(2枚目の写真の)サムネイル」、および、「20:ポスト」のアイコン画像が表示部12に表示される。
【0158】
本発明のタブレット端末100によれば、ユーザが接触動作によって、写真全体を囲った場合と写真の一部を囲った場合とで、異なる最終結果物(図13に示す操作画面および図14に示す操作画面)を、ユーザに提供することができる。
【0159】
〔操作画面表示フロー〕
次に、タブレット端末100が操作画面表示機能を実行したときの処理の流れについて説明する。図15は、タブレット端末100による操作画面表示処理の流れを示すフローチャートである。
【0160】
入力部11によって、タッチパネルのタッチ面に指示体(ユーザの指など)が接触したことが検知されると(S101においてYES)、接触情報生成部21は、そのとき(t=t0)から、指の接触位置を示す接触座標情報の取得を開始し、これを経時的に取得する(S102)。この接触位置の追尾は、タッチ面と指との間の接触が検知されなくなるまで継続される(S103においてNO)。入力部11において、接触が非検知になると(S103においてYES)、接触情報生成部21は、t=t0からこのとき(t=tn)までの間取得した接触座標情報を少なくとも含む接触情報を生成する(S104)。上記接触情報には、必要に応じて接触時間情報が含まれていてもよい。オブジェクトを選択する接触動作が×印を「チェックする」などである場合、すなわち、1つの接触動作において、極めて短い時間、一時的に、非接触が生じるような場合には、短い時間に一時的に接触が検知されなくても接触動作は終わっていないとして追尾が継続されるように接触情報生成部21を構成すればよい。
【0161】
オブジェクト特定部22は、S104において生成された接触情報(例えば、図5の(b)または図7の(b))と、フレームマップ記憶部41に記憶されているマップ情報(例えば、図5の(c)または図7の(c))とを比較して、ユーザが接触した軌跡が存在する領域に重なるオブジェクトを選択されたオブジェクトとして特定する(S105)。図5の(c)または図7の(c)に示す例では、「写真1」というオブジェクト80を特定する。
【0162】
続いて、部分選択判定部34は、選択されたのが、S105において特定されたオブジェクトそれ自体であるのか、該オブジェクトの一部であるのかを判定する。具体的には、部分選択判定部34は、S104にて取得された軌跡によって特定された軌跡領域(例えば、図6の(a)の軌跡領域61)と、S105にて特定されたオブジェクト80のオブジェクト領域(例えば、図6の(a)のオブジェクト領域62)とを比較して、両方の領域が重なる重畳領域(例えば、図6の(b)の重畳領域63)を特定する。
【0163】
部分選択判定部34は、オブジェクト領域において、軌跡領域と重なる重畳領域の割合が所定閾値(例えば、80%など)以上である場合には(S106においてYES)、S105にて特定されたオブジェクトそのものが選択されたと判定する(S107)。そして、オブジェクト特定部22は、S105にて特定されたオブジェクトの情報を関連項目抽出部23に供給する。
【0164】
一方、部分選択判定部34は、オブジェクト領域において、上記重畳領域の割合が所定閾値未満である場合には(S106においてNO)、オブジェクト全体ではなく、その一部が部分的に選択されたと判定する(S108)。
【0165】
この場合、続いて、部分オブジェクト特定部35が、選択された部分オブジェクトを特定する(S109)。具体的には、部分オブジェクト特定部35は、S105において特定されたオブジェクトと軌跡領域とが重なる重畳領域(例えば、図8の(b)、(c)の重畳領域64)を取得する。そして、上記オブジェクト(写真1)の画像データを読み出して、この画像データの上記重畳領域の部分を、マッチング情報記憶部46に記憶されている既知のモデルと照合する。部分オブジェクト特定部35は、照合の結果、一致したモデルの情報を、上記画像データの上記重畳領域の部分に紐付けることにより、上記部分が何であるのかを特定する。すなわち、部分オブジェクトを特定する。部分オブジェクト特定部35は、この結果をオブジェクト特定部22に返し、オブジェクト特定部22は、S109にて特定された部分オブジェクトの情報を関連項目抽出部23に供給する。
【0166】
関連項目抽出部23は、S105において特定されたオブジェクト(またはS109において特定された部分オブジェクト)に基づいて、関連情報記憶部42の関連情報(例えば、図9および図10)を参照して、特定されたオブジェクトの関連項目を抽出する(S110)。あるいは、関連項目に割り当てられているアイコンの識別情報を抽出してもよい。
【0167】
操作画面処理部24は、S110において抽出された関連項目のアイコン画像を、アイコン記憶部43(例えば、図11)から取得する。そして、取得したアイコン画像を、S105において特定されたオブジェクトの周囲に配置して操作画面を生成する(S111)。例えば、S101〜S104において得られた軌跡が、接触動作「囲う」を指している場合には、操作画面処理部24は、上記オブジェクトを中央に配置して、その周囲に各アイコンを環形状に配置することが好ましい(図12の(a)および(b))。
【0168】
以上のようにして生成された操作画面の映像信号は、表示部12に出力される。図13または図14に示すように、上記操作画面は、タブレット端末100の表示部12に表示される。本実施形態のタブレット端末100によれば、オブジェクトが写真であって、ユーザが写真を大きく囲ったことにより、写真そのものが選択されたと判定された場合には、図13に示すように、オブジェクト「写真」に関連する関連項目のアイコンがオブジェクトの周囲に配置される。一方、ユーザが写真の中の関心がある部分を小さく囲ったことにより、写真の中の一部が選択されたと判定された場合には、部分的に選択されたものつまり部分オブジェクトが何であるのかが、まず特定される。そして、部分オブジェクトが「Aさん」という人物である場合、図14に示すように、部分オブジェクト「Aさん」に関連する関連項目のアイコンがオブジェクト(または、部分オブジェクト)の周囲に配置される。
【0169】
本発明の上記構成および方法によれば、オブジェクトを選択するためのユーザの1つの接触動作に対して、タブレット端末100は、選択されたオブジェクトに関連する関連項目のアイコンを選択可能に表示するという最終結果物を出力することができる。さらに、タブレット端末100は、上記オブジェクトについて、それ全体が選択されたのか、その一部が選択されたのかを判別し、その判別結果に応じて、異なる最終結果物を出力することができる。
【0170】
具体的には、タブレット端末100は、オブジェクトを表示部12に選択可能に表示し、ユーザによって実行された、上記オブジェクトを選択するための接触動作を受け付ける。タブレット端末100は、受け付けた接触動作の移動の軌跡によって特定される軌跡領域の大きさに基づいて、上記オブジェクト自体が選択されたのか、上記オブジェクトの一部が選択されたのかを判定する。
【0171】
そして、タブレット端末100は、オブジェクト自体が選択された場合の最終結果物、および、オブジェクトの一部が選択された場合の最終結果物のうちのいずれかを、上記の判定結果に応じて、出力する。
【0172】
このように、タブレット端末100は、オブジェクトを選択するためのユーザの接触動作を受け付けるとき、オブジェクトを1つ提示するだけで、そのオブジェクトそのものを選択することも、そのオブジェクトを部分的に選択することも、両方可能なように、該オブジェクトを表示部12に表示することができる。つまり、オブジェクト選択用の画像と、部分オブジェクト選択用の画像とを別々に提示せずに、1つのオブジェクトを表す1つの画像を提示し、それをユーザに選択させるだけで、上述の2種類の選択を判別して受け付けることができる。このため、ユーザは、オブジェクト自体を選択するための画像(操作画面)と、オブジェクトの一部を選択するための画像(操作画面)とを、意図に合わせて別々に表示させて選択する必要がなくなる。よって、タブレット端末100は、ユーザに対して、シンプルで分かり易い操作画面を提示することができる。
【0173】
なおかつ、タブレット端末100は、軌跡領域の大きさに基づいて、2種類の選択動作の判別を行っている。つまり、タブレット端末100は、オブジェクト自体を選択するための動作と、オブジェクトの一部を選択するための動作の2つの動作に対して、それぞれ異なる種類のジェスチャを割り当てなくても、1つの同じ種類のジェスチャを割り当てるだけで済む。例えば、オブジェクト自体を選択する動作も、部分オブジェクトを選択する動作も、「円で囲う」というジェスチャで統一されたり、「×印でチェックする」というジェスチャで統一されたり、「レ点でチェックする」というジェスチャで統一されたりしているという具合である。これにより、ユーザは、オブジェクト自体を選択するための動作と、オブジェクトを部分的に選択するための動作とのそれぞれに対して、異なるジェスチャを学習する必要がない。また、選択する対象が全部であれ、一部であれ、「何かを選択する」という1種類の動作に対しては、1種類のジェスチャが割り当てられていることがユーザにとって自然であり、直感的に理解されやすい。
【0174】
さらに、2種類の選択動作の判別は、軌跡領域の大きさに基づいて実行される。すなわち、オブジェクト全体に亘って接触動作が実行されれば、オブジェクトそのものが選択されたと判別され、オブジェクト上で局所的に接触動作が実行されれば、オブジェクトの一部が選択されたと判別される。このように、ユーザが関心を持っている範囲と、接触動作が実行される範囲とを対応させることができるため、ユーザにとって自然であり、直感的に理解されやすい。
【0175】
したがって、タブレット端末100は、ユーザに対して、煩雑な操作を要求することなく、ユーザの直感に反しない自然な接触動作を行わせることが可能なユーザインターフェースを実現することができる。
【0176】
以上のことから、タブレット端末100は、オブジェクトを選択可能に表示するとともに、オブジェクトを部分的に選択することも可能にすることによって、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0177】
(変形例−オブジェクトが地図データである場合)
上述の説明では、オブジェクトが写真(画像データ)である場合を例に挙げて、タブレット端末100の動作を明らかにした。次に、オブジェクトが地図データ(画像データ)である場合を例に挙げて、タブレット端末100の動作を説明する。なお、本変形例において、本発明のタブレット端末100が扱う上記地図データは、画像データそのものであってもよいし、地図上の場所ごとに関連付けられた様々な付加情報を含んだ、画像データと付加データとの複合データであってもよい。
【0178】
図16は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。より詳細には、ユーザが、オブジェクト「地図データ」それ自体を「囲う」という接触動作を実施した様子を示す図である。
【0179】
ユーザは、オブジェクト「地図データ」(ここでは、なんば周辺の地図)それ自体に対して、何らかの処理を実行したいと希望する場合には、図16に示すとおり、地図データ93の全体を囲う接触動作を行う。
【0180】
オブジェクト特定部22は、図16に示す接触動作の軌跡に基づいて、なんば周辺の地図データ93が選択されたと判断する。そして、図16に示すケースでは、部分選択判定部34は、実施形態1で説明した手順と同様に、地図データ93のほとんどの領域(例えば、80%以上)が囲われていることから、上記接触動作によって、地図データ93自体が囲われたと判定する。
【0181】
この場合、関連項目抽出部23は、関連情報記憶部42に記憶されている関連情報(例えば、図9)を参照し、オブジェクト「地図データ」に関連付けられている関連項目群67を抽出する。
【0182】
操作画面処理部24は、関連項目抽出部23によって抽出された関連項目群67のアイコン画像をそれぞれアイコン記憶部43から読み出し、これを、先に選択されたオブジェクト、地図データ93の周囲に環状に配置し、操作画面を生成する。操作画面処理部24によって生成された操作画面は、タブレット端末100の表示部12に表示される。
【0183】
図17は、図16に示す接触動作に応じて、操作画面処理部24によって生成された操作画面の具体例を示す図である。
【0184】
図9に示すとおり、地図データ93に関連する関連項目のアイコンとしては、「1:テレビ」、「2:プリンタ」、「3:メール」、「13:Webブラウザアプリ」、および、「8:メモリカード」のアイコンが取得される。そして、図17に示すとおり、これらのアイコンが選択された地図データ93の周囲に環状に表示される。
【0185】
図18は、ユーザが、オブジェクト「地図データ」の中の部分オブジェクト「文字列」(ここでは、『なんば』の文字)を「囲う」という接触動作を実施した様子を示す図である。
【0186】
図16に示した例とは反対に、ユーザが、オブジェクトである地図データ93に示される内容の一部(ここでは、「なんば」という地名)に関心があって、この「なんば」という地名をキーワードとして何らかの処理を実行したいと希望する場合には、図18に示すとおり、地図データ93のうちの、「なんば」という文字列の部分を局所的に囲う接触動作を行う。
【0187】
オブジェクト特定部22は、図18に示す接触動作の軌跡に基づいて、なんば周辺の地図データ93が選択されたと判断する。そして、図18に示すケースでは、部分選択判定部34は、実施形態1で説明した手順と同様に、地図データ93の一部の領域(例えば、80%未満)が局所的に囲われていることから、上記接触動作によって、地図データ93が部分的に囲われたと判定する。
【0188】
この場合、部分オブジェクト特定部35は、マッチング情報記憶部46を参照し、マッチング情報記憶部46に記憶されている既知のモデルの特徴量と、地図データ93の中の囲われた領域の特徴量とを比較して、囲われた領域が何であるのかを特定する。本変形例では、マッチング情報記憶部46には、マッチング情報として、文字ごとの特徴量が予め格納されており、部分オブジェクト特定部35は、公知の文字認識の機能を実行して、囲われた領域の文字列を認識することができる。図18に示す例では、部分オブジェクト特定部35は、文字列「なんば」を認識する。そして、このようにして地図データから認識した文字列、すなわち、「住所・地名文字列(なんば)」を、選択された部分オブジェクトとして特定する。
【0189】
なお、上述したように、タブレット端末100が扱う地図データが画像データだけではなく、場所ごとに付加データ(例えば、地名データなど)が埋め込まれた複合データである場合には、部分オブジェクト特定部35は、特徴量の比較を行わずとも、軌跡に基づいて選択された領域に対応する場所を特定し、その場所に埋め込まれている地名データを読み出して、文字列「なんば」を認識してもよい。
【0190】
本変形例では、図9に示す関連情報に加えて、図19に示す関連情報が、関連情報記憶部42に記憶されている。図19に示すとおり、部分オブジェクト「住所・地名文字列(○○○)」に対応づけて、5つの関連項目(関連項目群68)が関連付けられている。
【0191】
なお、実施形態1と同様に、関連項目抽出部23は、オブジェクトそれ自体と、部分オブジェクトとを、並列的に、別個のオブジェクトとして扱うので、関連情報記憶部42は、オブジェクトと部分オブジェクトとに分けて関連情報を保持していなくてもよい。つまり、図9に示すテーブルと、図10に示すテーブルと、図19に示すテーブルとは、1つのテーブルとして構成されていてもよい。
【0192】
図18に示すケースでは、関連項目抽出部23は、関連情報記憶部42に記憶されている関連情報(例えば、図9および図19)を参照し、部分オブジェクト「住所・地名文字列」に関連付けられている関連項目群68を抽出する。
【0193】
操作画面処理部24は、関連項目抽出部23によって抽出された関連項目群68のアイコン画像をそれぞれアイコン記憶部43から読み出し、これを、先に選択された地図データ93の周囲に環状に配置し、操作画面を生成する。操作画面処理部24によって生成された操作画面は、タブレット端末100の表示部12に表示される。
【0194】
図20は、図18に示す接触動作に応じて、操作画面処理部24によって生成された操作画面の具体例を示す図である。
【0195】
図19に示すとおり、地図データ93の一部である地名文字列に関連する関連項目のアイコンとしては、「21:郵便マーク」、「13:Webブラウザアプリ」および「22:電車」が、操作画面処理部24によって、少なくとも取得される。そして、「なんば」付近で撮影されたとして、認識された地名「なんば」と関連付けられた写真が、画像記憶部に記憶されていれば、操作画面処理部24は、上限4枚まで、その写真の「16:サムネイル」を取得する。さらに、「なんば」付近に住んでいるとして、認識された地名「なんば」を含む住所情報が登録された人物が予め電話帳データベースに登録されていれば、操作画面処理部24は、その人物の「15:アバター」を取得する。
【0196】
そして、図20に示すとおり、これらの取得されたアイコンが、選択されたオブジェクトの周囲に環状に表示される。なお、操作画面処理部24は、中央に配置するオブジェクトを、加工されていない地図データ93としてもよいが、図20に示すとおり、地図データ93から局所的に囲われた部分をトリミングして、部分オブジェクト、具体的には、部分地図データ93’を生成し、これを中央に配置してもよい。
【0197】
なお、図19に示す、部分オブジェクトの「○○○」の部分には、住所・地名文字列が認識された後に、操作画面処理部24によって、実際に認識された住所・地名文字列が埋め込まれる。ここでは、「なんば」の文字列が認識されたので、操作画面処理部24は、例えば、アイコン「21:郵便マーク」を、関連項目「なんばの郵便番号を表示する」と紐付けて操作画面に配置する。これにより、ユーザによって、次に、アイコン「21:郵便マーク」が選択された場合には、タブレット端末100は、「なんばの郵便番号を表示する」という動作を行うべきであると理解することができる。
【0198】
また、例えば、図20に示すアイコン94は、関連項目「なんば付近で撮影した写真」に紐付けられた、該当する写真のサムネイルを示す。アイコン95は、関連項目「なんば周辺に住む友達の登録情報を表示する」に紐付けられた、該当する人物のアバターを示す。アイコン96は、関連項目「なんばの最寄り駅情報を表示する」に紐付けられた、該当するアプリのアイコン(電車の画像)を示す。
【0199】
上記構成によれば、タブレット端末100は、地図データ全体が囲われたときには、地図データを1つの画像データとして取り扱うような動作を関連項目として抽出し、アイコン表示する一方、地図データの一部(住所・地名など)が囲われたときには、その地図データの中身が指している場所に関する関連項目を抽出し、アイコン表示することができる。
【0200】
以上のことから、タブレット端末100は、オブジェクトを選択可能に表示するとともに、オブジェクトを部分的に選択することも可能にすることによって、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0201】
≪実施形態2≫
本発明の情報処理装置に関する他の実施形態について、図21〜図24に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態1にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、実施形態1と重複する内容については説明を省略する。
【0202】
上述の実施形態1では、タブレット端末100は、オブジェクト全体のオブジェクト領域と、囲う接触動作によって定義される軌跡領域とが重なる重畳領域を特定し、オブジェクト領域における重畳領域が所定範囲(閾値)以上か否かによって、上記オブジェクトそのものが選択されたのか、オブジェクトの一部が選択されたのかを判定する構成であった。
【0203】
しかしながら、例えば、オブジェクトの大部分の領域を特定の部分オブジェクトが占めているようなオブジェクトが選択可能に表示部12に表示された場合、以下の不都合が生じる場合がある。すなわち、部分オブジェクトがオブジェクトの大部分を占めている場合には、オブジェクト全体が囲われたときの重畳領域の面積と、部分オブジェクトが囲われたときの面積とは大差がない。そのため、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを、重畳領域の面積だけに基づいて、常に正確に判定することが難しくなる。
【0204】
より具体的には、例えば、図21の(a)に示すような、写真の大部分の領域を特定の被写体(人物)が占めているような写真が選択可能に表示部12に表示されたとする。ここで、ユーザは、その写真に写っている人物に関心があって、図21の(a)に示す破線のとおりにその人物を選択するための接触動作を行ったとする。
【0205】
この場合、オブジェクト特定部22の部分選択判定部34は、図21の(b)に示すとおり、オブジェクト領域62と、重畳領域64とを特定することになる。そして、実施形態1で説明した手順に従えば、部分選択判定部34は、オブジェクト領域62において重畳領域64が80%以上を占めていることから、上記接触動作が、オブジェクト全体を選択したものであると判定してしまう。結果として、ユーザの意図とは異なる判定がなされるという不都合が生じる。
【0206】
本実施形態では、このような不都合を解消するために、タブレット端末100の部分選択判定部34が、同種の接触動作について、それが生じた範囲を参照するだけでなく、同種の接触動作が行われた繰返し回数を参照することにより、上記の判定を、ユーザの意図どおりにより正確に判定する構成である。
【0207】
〔タブレット端末の機能〕
図22は、本実施形態におけるタブレット端末100の要部構成を示す機能ブロック図である。
【0208】
本実施形態にかかるタブレット端末100は、実施形態1のタブレット端末100(図1)と比較して、さらに、制御部10が、機能ブロックとして、ジェスチャ判定部25を備えている構成である。
【0209】
ジェスチャ判定部25は、入力部11に対して行われた接触動作について、それが何のジェスチャであるのかを判定するものである。本実施形態では、特に、ジェスチャ判定部25は、同種のジェスチャについて、それが何回繰り返されたのか、その繰返し回数を判定するものである。
【0210】
より具体的には、ジェスチャ判定部25は、接触情報生成部21によって生成された接触情報(軌跡)に基づいて、接触動作「囲う」が何回繰り返されたのかを判定する。例えば、指示体(指)が、あるオブジェクトの周囲を2周した場合、軌跡領域がほぼ一緒の2重の円の軌跡が得られる。この場合、ジェスチャ判定部25は、接触動作「囲う」が2回繰り返されたと判定する。
【0211】
本実施形態では、一例として、ジェスチャ判定部25は、指示体がオブジェクトの周囲を何周しても、一律「2周以上」と判定して、「1周」と判別する構成とするが、これに限定されず、ジェスチャ判定部25は、指示体が回った回数に応じて、「n周」と判定する構成であってもよい。
【0212】
ジェスチャ判定部25は、判定結果、すなわち、検出された接触動作が、「1周囲う」であったのか「2周以上囲う」であったのかを示す情報、または、「何周囲う」であったかを示す情報(以下では、「繰返し回数情報」と称する)を生成し、これをオブジェクト特定部22に供給する。
【0213】
なお、入力部11に対して行われる接触動作(ジェスチャ)が「囲う」以外にも様々な種類が想定されている場合には、タブレット端末100は、「囲う」のジェスチャなのか、あるいは、別のどの種類のジェスチャなのかを判別する必要がある。そこで、ジェスチャ判定部25は、「囲う」以外の他の種類のジェスチャを判定することができるものであってもよい。例えば、ジェスチャ判定部25は、「タップ」、「フリック」、「ピンチ」、「ドラッグ」、「囲う」などのジェスチャを判別することができる。
【0214】
以上のジェスチャを判別するアルゴリズムは、公知の技術を適宜採用することができる。
【0215】
本実施形態では、部分選択判定部34は、選択された領域の面積に加えて、さらに、ジェスチャ判定部25から供給された繰返し回数情報にしたがって、オブジェクト全体が選択されたのか、オブジェクトの一部が選択されたのかを判定する。
【0216】
具体的には、まず、実施形態1と同様に、部分選択判定部34は、特定されたオブジェクトのオブジェクト領域と、指示体の移動の軌跡によって特定される軌跡領域とが重なる重畳領域を求める。そして、部分選択判定部34は、オブジェクト領域において重畳領域が占める割合が所定閾値(例えば、80%)未満の場合には、部分オブジェクトが選択されたと判定する。この場合は、実施形態1と同様に、部分オブジェクト特定部35によって部分オブジェクトが特定される。
【0217】
一方、上記重畳領域の割合が所定閾値(例えば、80%)以上の場合には、本実施形態では、部分選択判定部34は、オブジェクト全体が選択されたとただちに判定しない。次に、部分選択判定部34は、ジェスチャ判定部25から供給された繰返し回数情報に基づいて、オブジェクト自体が選択されたのか、部分オブジェクトが選択されたのか判定する。
【0218】
すなわち、繰返し回数情報が「1周囲う」を示している場合、部分選択判定部34は、ユーザの接触動作によってオブジェクト全体が囲われたと判定する。反対に、繰返し回数情報が、「2周以上囲う」を示している場合、部分選択判定部34は、上記接触動作によってオブジェクトが部分的に囲われたと判定する。また、この場合は、実施形態1と同様に、部分オブジェクト特定部35によって部分オブジェクトが特定される。
【0219】
上記構成によれば、上述した不都合を解消することができる。すなわち、部分選択判定部34は、オブジェクト領域の大部分が囲われた場合でも、その接触動作が、同種のジェスチャを複数回繰り返すような動作である場合には、部分オブジェクトが選択されたと判定することができる。
【0220】
したがって、例えば、図21の(a)に示す、写真の大部分の領域を特定の被写体(例えば、人物;Aさん)が占めているような写真において、ユーザが、写真そのものではなく、写真に写っている人物(Aさん)を選択したいという意図を持っている場合、ユーザは、そのことを強調する感覚で、自分を選択する動作を複数回繰り返せばよい。例えば、図23の(a)に示すとおり、「囲う」を繰り返して、写真に写っている人物を二重に囲えばよい。ジェスチャ判定部25は、このユーザの接触動作を、図23の(a)に示す軌跡(破線)に基づいて、「2周以上囲う」であると判定する。
【0221】
ここで、実施形態1では、重畳領域64の面積に基づいて、部分選択判定部34は、オブジェクト全体が選択されたと判定するところを、本実施形態では、部分選択判定部34は、繰返し回数情報(ここでは、「2周以上囲う」)に基づいて、重畳領域64が局所的に選択されたと判定することができる。なお、二重の軌跡である場合、部分選択判定部34は、例えば、図23の(b)に示すとおり、二重の軌跡の最も外側の線によって囲われる領域を軌跡領域61と特定し、重畳領域64を特定してもよい。図23の(a)および(b)の例では、軌跡領域61はそのまま重畳領域64となる。
【0222】
そして、部分オブジェクト特定部35が、重畳領域64の中身に基づいて部分オブジェクトを特定する。すなわち、上記接触動作によって選択された部分オブジェクトは、人物のオブジェクト「Aさん」であると特定する。
【0223】
これにより、操作画面処理部24は、ユーザの意図どおりに、オブジェクト「Aさん」に関連する関連項目のアイコンを配置した操作画面を生成し、表示部12に表示することができる。
【0224】
このとおり、タブレット端末100は、ユーザの同種のジェスチャの繰返し回数に基づいて、より正確に、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを判定することができる。そして、ユーザは、写真の中の一部に特に関心がある場合には、特にその一部に興味があるということを示すように、同種のジェスチャを繰り返すだけでよい。同じ動きを繰り返すという動作は、その部分をより強調しているという意味合いと自然に結びつく動作である。したがって、オブジェクトの大部分であるが、そのオブジェクトの一部だけを選択する場合に、元々オブジェクトを選択するために割り当てられたジェスチャ(例えば、「囲う」)を2回以上繰り返すということは、ユーザに特別な学習を強いることなく、ユーザにとって自然に理解できる操作方法であると言える。
【0225】
以上のことから、本実施形態のタブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、より正確に、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0226】
〔操作画面表示フロー〕
図24は、本実施形態におけるタブレット端末100による操作画面表示処理の流れを示すフローチャートである。
【0227】
入力部11によって、タッチパネルのタッチ面に指示体(ユーザの指など)が接触したことが検知されると(S201においてYES)、接触情報生成部21は、そのとき(t=t0)から、指の接触位置を示す接触座標情報の取得を開始し、これを経時的に取得する(S202)。この接触位置の追尾は、タッチ面と指との間の接触が検知されなくなるまで継続される(S203においてNO)。入力部11において、接触が非検知になると(S203においてYES)、接触情報生成部21は、t=t0からこのとき(t=tn)までの間取得した軌跡を少なくとも含む接触情報を生成する(S204)。
【0228】
ここで、ジェスチャ判定部25が、接触情報に基づいてこの接触動作のジェスチャを判定してもよい。例えば、ジェスチャ判定部25は、判定したジェスチャが「囲う」でなければ、判定したそれ以外のジェスチャに応じた処理の実行を、制御部10の各部に指示してもよい。この場合、その各部によって、判定されたジェスチャに応じた処理が実行されることになる。
【0229】
ジェスチャ判定部25は、上記軌跡に基づいて、接触動作が同じ「囲う」であっても、さらに詳細に、「1周囲う」であるのか、「2周以上囲う」であるのかを判定する(S205)。一方、オブジェクト特定部22は、上記軌跡と、フレームマップ記憶部41に記憶されているマップ情報(例えば、図5の(c)または図7の(c))とを比較して、ユーザによって囲われた領域に重なるオブジェクトを選択されたオブジェクトとして特定する(S206)。図7の(c)に示す例では、「写真1」というオブジェクト80を特定する。なお、S205およびS206の各ステップは、いずれの順番で実行されてもよいし、並列的に実行されてもよい。
【0230】
続いて、オブジェクト特定部22の部分選択判定部34は、S206で特定されたオブジェクトのオブジェクト領域と、上記軌跡によって特定された軌跡領域とが重なる重畳領域を特定する。そして、部分選択判定部34は、オブジェクト領域における、重畳領域の割合が、所定閾値(例えば、80%)以上か、未満かを判定する(S207)。
【0231】
ここで、重畳領域の割合が所定閾値未満である場合(S207においてYES)、部分選択判定部34は、上記オブジェクト(例えば、写真1)は、部分的に選択されたと判定する(S208)。
【0232】
一方、上記重畳領域の割合が所定閾値以上である場合(S207においてNO)、続いて、部分選択判定部34は、S205におけるジェスチャ判定部25の判定結果を参照する。判定結果、すなわち、繰返し回数情報が、「1周囲う」を示す場合には(S210においてNO)、部分選択判定部34は、上記オブジェクトそれ自体が選択されたと判定する(S211)。一方、繰返し回数情報が、「2周以上囲う」を示す場合には(S210においてYES)、部分選択判定部34は、上記オブジェクトは、部分的に選択されたと判定する(S208)。
【0233】
S208において、部分オブジェクトが選択されたと判定された場合には、続いて、部分オブジェクト特定部35が、上記接触動作によって囲われた部分オブジェクトを特定し(S209)、特定した情報を関連項目抽出部23に供給する。なお、S211において、オブジェクト自体が選択されたと判定された場合には、S206にて特定されたオブジェクト自体の情報が関連項目抽出部23に供給される。
【0234】
関連項目抽出部23は、S206またはS209において特定されたオブジェクト(部分オブジェクトも含む)に基づいて、関連情報記憶部42の関連情報(例えば、図9、図10および図19など)を参照して、特定されたオブジェクトの関連項目を抽出する(S212)。あるいは、関連項目に割り当てられているアイコンの識別情報を抽出してもよい。
【0235】
操作画面処理部24は、S212において抽出された関連項目のアイコン画像を、アイコン記憶部43(例えば、図11)から取得し、これらのアイコンを表示するための操作画面の生成する(S213)。例えば、操作画面処理部24は、S206またはS209において特定されたオブジェクトを中央に配置し、上記オブジェクトの周囲に配置された環の輪郭線上に、取得したアイコン画像を配置して操作画面を生成する。以上のようにして生成された操作画面の映像信号は、表示部12に出力され、ユーザが上記操作画面を目視できるようになる。
【0236】
本発明の上記方法によれば、タブレット端末100は、ユーザの同種のジェスチャの繰返し回数に基づいて、より正確に、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを判定することができる。そして、ユーザは、その一部に興味があるということを示したい場合には、同種のジェスチャを繰り返すだけでよい。同じ動きを繰り返すという動作は、その部分をより強調しているという意味合いと自然に結びつく動作である。したがって、元々オブジェクトを選択するために割り当てられたジェスチャを2回以上繰り返すということは、ユーザにとって自然に理解できる操作方法である。
【0237】
以上のことから、本発明のタブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、より正確に、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
【0238】
(変形例−部分オブジェクトの占有面積を考慮する)
あるいは、本発明のタブレット端末100を以下のように構成してもよい。まず、タブレット端末100の部分オブジェクト特定部35は、先に、オブジェクト全体を分析して、当該オブジェクトに含まれる部分オブジェクトを特定し、部分オブジェクト領域をマップ情報上に定義する。そして、部分選択判定部34は、軌跡によって特定される軌跡領域(例えば、図6の(a)の斜線の領域など)における、上記部分オブジェクト領域の占める割合を求める。ここで、部分オブジェクト領域が占める割合が、所定閾値%(例えば、80%)以上であるときは、部分選択判定部34は、その軌跡によって選択されたのは、オブジェクト全体ではなく、そのオブジェクトに含まれている、当該部分オブジェクトであると判定することができる。
【0239】
≪表示部と入力部とを別体で備える情報処理装置への適用≫
本発明の情報処理装置としてのタブレット端末100の構成、すなわち、指示体の移動の軌跡に基づいて、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかに応じて、異なるアイコン群を配置して表示する構成について、これを、入力部11と表示部12とが別体として備わっている情報処理装置に適用してもよい。例えば、入力部11がマウスなどの入力装置で構成されており、表示部12が、LCDなどの表示装置で構成されている情報処理装置が考えられる。ここでは、表示部12に表示されているカーソルが、表示部12の画面上の位置を指示するものである。そして、ユーザがマウスを操作して入力動作を実施することによりカーソルが移動する。したがって、このような実施形態では、マウスが操作体であり、カーソルが指示体であって、操作体の移動に伴って表示部12に表示されている指示体が移動する。ユーザが、マウスを操作して表示部12の画面上のカーソルを動かすことによりオブジェクトを選択すると、情報処理装置は、内部であらかじめ保持しているカーソルの位置を上記マウスの動きと連動させて、そのカーソル(指示体)の移動の軌跡を保持する。そして、その軌跡によって特定される軌跡領域とオブジェクト領域との重畳領域を特定し、オブジェクトにおける重畳領域の占める割合を求める。これにより、情報処理装置は、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを判断し、その判断結果に応じて適切な関連項目を抽出し、そのアイコンを表示することができる。
【0240】
なお、表示部12と別体で構成される入力部11としては、上記のマウス以外にも、例えば、キーボード、ジョイスティック、ディジタイザ、タブレットとスタイラスペンなどの各種入力装置を採用することができる。
【0241】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0242】
なお、本発明の情報処理装置および操作画面表示方法は、以下のようにも表現され得る。
【0243】
タッチパネルを備えた情報処理装置において、上記タッチパネル上を移動した指示体の移動の軌跡を取得する軌跡取得手段と、上記軌跡取得手段によって取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを上記タッチパネルに表示する操作画面処理手段とを備えていることを特徴とする情報処理装置。
【0244】
タッチパネルを備えた情報処理装置における操作画面表示方法において、上記タッチパネル上を移動した指示体の移動の軌跡を取得する軌跡取得ステップと、上記軌跡取得ステップにて取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップにて抽出された関連項目のアイコンを上記タッチパネルに表示する操作画面処理ステップとを含むことを特徴とする操作画面表示方法。
【0245】
〔ソフトウェアによる実現例〕
最後に、タブレット端末100の各ブロック、特に、接触情報生成部21、オブジェクト特定部22、関連項目抽出部23、操作画面処理部24、ジェスチャ判定部25、部分選択判定部34、および、部分オブジェクト特定部35は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
【0246】
すなわち、タブレット端末100は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるタブレット端末100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記タブレット端末100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0247】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0248】
また、タブレット端末100を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR(High Data Rate)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【0249】
本発明は、入力部および表示部を備える情報処理装置に広く適用することが可能である。例えば、これには限定されないが、入力部および表示部を備える、デジタルテレビ、パーソナルコンピュータ、スマートフォン、タブレットPC、ノートパソコン、携帯電話、PDA(Personal Digital Assistant)、電子書籍リーダ、電子辞書、携帯用・家庭用ゲーム機、電子黒板などに好適に用いることができる。さらに、タッチパネルを備える情報処理装置に本発明を適用すれば、より一層優れた操作性を実現することができる。
【符号の説明】
【0250】
10 制御部
11 入力部(タッチパネル)
12 表示部(タッチパネル)
13 操作部
14 外部インターフェース
15 通信部
16 無線通信部
17 音声出力部
18 音声入力部
19 記憶部
21 接触情報生成部(軌跡取得手段/接触動作取得手段)
22 オブジェクト特定部(オブジェクト特定手段)
23 関連項目抽出部(関連項目抽出手段)
24 操作画面処理部(操作画面処理手段)
25 ジェスチャ判定部(ジェスチャ判定手段)
34 部分選択判定部(部分選択判定手段)
35 部分オブジェクト特定部(部分オブジェクト特定手段)
41 フレームマップ記憶部
42 関連情報記憶部
43 アイコン記憶部
46 マッチング情報記憶部
100 タブレット端末(情報処理装置)
【特許請求の範囲】
【請求項1】
表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、
上記軌跡取得手段によって取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定手段と、
オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、
上記関連項目抽出手段によって抽出された関連項目のアイコンを上記表示部に表示する操作画面処理手段とを備えていることを特徴とする情報処理装置。
【請求項2】
上記オブジェクトは画像データであり、
上記オブジェクト特定手段は、
特定した上記画像データ自体、および、上記画像データのうち上記軌跡領域と重なる部分画像が示す内容、のいずれかを、選択されたオブジェクトとして特定することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
上記部分画像と照合するためのマッチング情報を記憶するマッチング情報記憶部を備え、
上記オブジェクト特定手段は、
上記部分画像と、上記マッチング情報とを照合することにより、上記部分画像が示す内容を特定することを特徴とする請求項2に記載の情報処理装置。
【請求項4】
上記マッチング情報は人物の顔画像であり、
上記オブジェクト特定手段は、
人物の顔を含む部分画像と、上記顔画像とを照合することにより、上記部分画像に映っている人物を、選択されたオブジェクトとして特定することを特徴とする請求項3に記載の情報処理装置。
【請求項5】
上記マッチング情報は文字の特徴量であり、
上記オブジェクト特定手段は、
文字または文字列を含む部分画像と、上記文字の特徴量とを照合することにより、上記部分画像に含まれる文字または文字列を、選択されたオブジェクトとして特定することを特徴とする請求項3に記載の情報処理装置。
【請求項6】
上記オブジェクト特定手段は、
特定した上記オブジェクトにおける、上記軌跡領域が占める割合が、閾値以上である場合に、上記オブジェクト自体を、選択されたオブジェクトとして特定し、上記閾値未満である場合に、上記オブジェクトの一部を、選択されたオブジェクトとして特定することを特徴とする請求項1から5までのいずれか1項に記載の情報処理装置。
【請求項7】
上記軌跡取得手段によって取得された軌跡に基づいて、同種のジェスチャが繰り返された回数を判定するジェスチャ判定手段を備え、
上記オブジェクト特定手段は、
特定した上記オブジェクトにおける、上記軌跡領域が占める割合が閾値以上である場合であって、
上記ジェスチャ判定手段によって判定された回数が、1回である場合に、上記オブジェクト自体を、選択されたオブジェクトとして特定し、複数回である場合に、上記オブジェクトの一部を、選択されたオブジェクトとして特定することを特徴とする請求項6に記載の情報処理装置。
【請求項8】
当該情報処理装置が備える入力部および上記表示部はタッチパネルを構成するものであり、
上記軌跡取得手段は、上記タッチパネル上を移動した上記指示体の移動の軌跡を取得することを特徴とする請求項1から7までのいずれか1項に記載の情報処理装置。
【請求項9】
当該情報処理装置が備える入力部は、上記表示部に表示される、上記指示体としてのカーソルを移動させる指示を当該情報処理装置に入力するものであり、
上記軌跡取得手段は、上記カーソルの移動の軌跡を取得することを特徴とする請求項1から7までのいずれか1項に記載の情報処理装置。
【請求項10】
情報処理装置における操作画面表示方法であって、
上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、
上記軌跡取得ステップにて取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、
オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、
上記関連項目抽出ステップにて抽出された関連項目のアイコンを上記表示部に表示する操作画面処理ステップとを含むことを特徴とする操作画面表示方法。
【請求項11】
コンピュータを、請求項1から9までのいずれか1項に記載の情報処理装置の各手段として機能させるための制御プログラム。
【請求項12】
請求項11に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項1】
表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、
上記軌跡取得手段によって取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定手段と、
オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、
上記関連項目抽出手段によって抽出された関連項目のアイコンを上記表示部に表示する操作画面処理手段とを備えていることを特徴とする情報処理装置。
【請求項2】
上記オブジェクトは画像データであり、
上記オブジェクト特定手段は、
特定した上記画像データ自体、および、上記画像データのうち上記軌跡領域と重なる部分画像が示す内容、のいずれかを、選択されたオブジェクトとして特定することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
上記部分画像と照合するためのマッチング情報を記憶するマッチング情報記憶部を備え、
上記オブジェクト特定手段は、
上記部分画像と、上記マッチング情報とを照合することにより、上記部分画像が示す内容を特定することを特徴とする請求項2に記載の情報処理装置。
【請求項4】
上記マッチング情報は人物の顔画像であり、
上記オブジェクト特定手段は、
人物の顔を含む部分画像と、上記顔画像とを照合することにより、上記部分画像に映っている人物を、選択されたオブジェクトとして特定することを特徴とする請求項3に記載の情報処理装置。
【請求項5】
上記マッチング情報は文字の特徴量であり、
上記オブジェクト特定手段は、
文字または文字列を含む部分画像と、上記文字の特徴量とを照合することにより、上記部分画像に含まれる文字または文字列を、選択されたオブジェクトとして特定することを特徴とする請求項3に記載の情報処理装置。
【請求項6】
上記オブジェクト特定手段は、
特定した上記オブジェクトにおける、上記軌跡領域が占める割合が、閾値以上である場合に、上記オブジェクト自体を、選択されたオブジェクトとして特定し、上記閾値未満である場合に、上記オブジェクトの一部を、選択されたオブジェクトとして特定することを特徴とする請求項1から5までのいずれか1項に記載の情報処理装置。
【請求項7】
上記軌跡取得手段によって取得された軌跡に基づいて、同種のジェスチャが繰り返された回数を判定するジェスチャ判定手段を備え、
上記オブジェクト特定手段は、
特定した上記オブジェクトにおける、上記軌跡領域が占める割合が閾値以上である場合であって、
上記ジェスチャ判定手段によって判定された回数が、1回である場合に、上記オブジェクト自体を、選択されたオブジェクトとして特定し、複数回である場合に、上記オブジェクトの一部を、選択されたオブジェクトとして特定することを特徴とする請求項6に記載の情報処理装置。
【請求項8】
当該情報処理装置が備える入力部および上記表示部はタッチパネルを構成するものであり、
上記軌跡取得手段は、上記タッチパネル上を移動した上記指示体の移動の軌跡を取得することを特徴とする請求項1から7までのいずれか1項に記載の情報処理装置。
【請求項9】
当該情報処理装置が備える入力部は、上記表示部に表示される、上記指示体としてのカーソルを移動させる指示を当該情報処理装置に入力するものであり、
上記軌跡取得手段は、上記カーソルの移動の軌跡を取得することを特徴とする請求項1から7までのいずれか1項に記載の情報処理装置。
【請求項10】
情報処理装置における操作画面表示方法であって、
上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、
上記軌跡取得ステップにて取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、
オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、
上記関連項目抽出ステップにて抽出された関連項目のアイコンを上記表示部に表示する操作画面処理ステップとを含むことを特徴とする操作画面表示方法。
【請求項11】
コンピュータを、請求項1から9までのいずれか1項に記載の情報処理装置の各手段として機能させるための制御プログラム。
【請求項12】
請求項11に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【公開番号】特開2013−41332(P2013−41332A)
【公開日】平成25年2月28日(2013.2.28)
【国際特許分類】
【出願番号】特願2011−176169(P2011−176169)
【出願日】平成23年8月11日(2011.8.11)
【特許番号】特許第5107453号(P5107453)
【特許公報発行日】平成24年12月26日(2012.12.26)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成25年2月28日(2013.2.28)
【国際特許分類】
【出願日】平成23年8月11日(2011.8.11)
【特許番号】特許第5107453号(P5107453)
【特許公報発行日】平成24年12月26日(2012.12.26)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]