説明

情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造

【課題】GUIの選択に係る操作性を、装置などの環境によらず維持する。
【解決手段】ディスプレイの画面40には第1GUI42a、第2GUI42b、第3GUI42cが表示されている。各GUIのヒット判定領域は、当該GUIの図形内部の領域とする。ユーザが接触点44に対しタッチ操作を行ったら、4つの仮想的な接触点46a、46b、46c、46dを画面内にV字状に生成する。その結果、1つの接触点46dが第2GUI42bのヒット判定領域内に、2つの接触点46a、46bが第3GUI42cのヒット判定領域内にある。各ヒット判定領域に内在する接触点の有無、個数、GUIごとに設定した優先度などに基づき、所定の規則によってユーザが選択対象としたGUIを特定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示を伴う情報処理を行う情報処理装置、および当該装置で用いられる情報処理方法、コンテンツファイルのデータ構造に関する。
【背景技術】
【0002】
近年、携帯ゲーム機、携帯電話、PDA(Personal Data Asistance)、タブレット端末など、携帯を想定した情報機器が普及している。このような機器はサイズ上の制約や携帯した際の利便性などの観点からその入力手段が制約される。結果として、これらの機器に特化した入力手段や機能が独自の発達を遂げてきた。
【0003】
その一端として近年では、ディスプレイにタッチパネルを搭載することにより表示と入力を同じ領域で行える装置が一般的になってきた。タッチパネルを導入すると、アイコンなどの対象物の選択や移動、ウェブページや文書の表示画面の拡大縮小、スクロール、ページめくりなどを、2次元平面にありながらあたかも現物があるかのように行うことができ、直感的な操作が可能となる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
タッチパネルを入力手段として用いるか否かに関わらず、アプリケーションプログラムを起動させたり、表示対象を選択したりするために、GUI(Graphical User Interface)を表示させることが一般的となっている。操作性や視認性の観点から、個々のGUIのサイズを縮小していくことにも限界があるため、画面サイズが小さくなるほど、また一度に表示するGUIの数が増えるほど、GUI同士の間隔が狭まる傾向が生じる。これにより、タッチパネルへの指による操作時には特に、ユーザの意図しないGUIを選択してしまうなどの誤操作を生みやすくなっていた。また装置に表示するコンテンツの作成者にとっては、各GUIのヒット判定領域の配分を表示環境などに応じて調整する必要が生じていた。
【0005】
本発明はこのような課題に鑑みてなされたものであり、その目的はGUIの選択に係る操作性を、装置などの環境によらず維持することのできる技術を提供することにある。
【課題を解決するための手段】
【0006】
本発明のある態様は情報処理装置に関する。この情報処理装置は、GUI(Graphical User Interface)を含む表示画像に対し、ユーザが示した指示点の位置を取得する入力情報取得部と、表示画像を構成する平面において、指示点の位置に基づき決定した位置に仮想的な指示点を配置し、当該仮想的な指示点を含む複数の指示点の位置と、GUIごとに設定されたヒット判定領域との位置関係に基づきGUIの比較を行うことにより、一のGUIを選出する操作内容特定部と、選出したGUIに対応する処理を実行する情報処理部と、を備えたことを特徴とする。
【0007】
本発明の別の態様は情報処理方法に関する。この情報処理方法は、情報処理装置において、GUI(Graphical User Interface)を含む表示画像に対し、ユーザが示した指示点の位置を取得するステップと、表示画像を構成する平面において、指示点の位置に基づき決定した位置に仮想的な指示点を配置し、当該仮想的な指示点を含む複数の指示点の位置と、前記GUIごとに設定されたヒット判定領域との位置関係に基づきGUIの比較を行うことにより、一のGUIを選出するステップと、選出したGUIに対応する情報処理を実行するステップと、を含むことを特徴とする。
【0008】
本発明のさらに別の態様はコンテンツファイルのデータ構造に関する。このコンテンツファイルのデータ構造は、情報処理装置において実行するコンテンツのプログラムと、当該情報処理装置においてコンテンツの実行中に表示されるGUI(Graphical User Interface)を含む表示画像を構成する平面において、ユーザが示した指示点の位置に基づき発生させる仮想的な指示点の配置規則を設定した接触点生成規則設定ファイルであって、情報処理装置が、コンテンツの実行中に参照することにより配置した仮想的な指示点を含む複数の指示点の位置と、GUIごとに設定されたヒット判定領域との位置関係に基づきGUIの比較を行うことにより、一のGUIを選出して当該GUIに対応する処理を実行するための接触点生成規則設定ファイルと、を対応づけたことを特徴とする。
【0009】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0010】
本発明によると、GUIを含むコンテンツ画像作成の容易さと選択入力の操作性を両立できる。
【図面の簡単な説明】
【0011】
【図1】本実施の形態における情報処理装置の外観例を示す図である。
【図2】本実施の形態における情報処理装置の構成を詳細に示す図である。
【図3】本実施の形態における情報処理装置がGUIの選択入力を受け付ける処理手順を示すフローチャートである。
【図4】本実施の形態において操作内容特定部がタッチ操作に応じて行う処理の例を説明するための図である。
【図5】本実施の形態において接触点が形成するV字形状の傾きを決定する一手法について説明するための図である。
【図6】本実施の形態において仮想的な接触点を生成するために接触点生成規則設定ファイルに記述されたデータ例を示す図である。
【図7】本実施の形態において仮想的な接触点を生成させる規則の別の例を示す図である。
【図8】本実施の形態において操作内容特定部が、ヒットした複数のGUIから1つを選出する際の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0012】
図1は本実施の形態における情報処理装置の外観例を示している。情報処理装置10は携帯電話、PDA、携帯ゲーム機、タブレット端末など、表示機能とその他の情報処理機能を一体的に備えた装置のいずれでもよい。あるいは図1で示した情報処理装置10の外観を有する装置を表示および入力のための装置とし、その他の情報処理機能は当該装置と接続した別の筐体に設けるようにしてもよい。情報処理装置10は機能に応じた様々な処理機構を備えてよいが、それらは一般的な技術を利用できるため適宜説明を省略する。
【0013】
情報処理装置10は、ディスプレイ14が本体前面に配置され、その上面をタッチパネル12が覆う構成を有する。ディスプレイ14の背面にはCPU、グラフィックプロセッサ、サウンドプロセッサ、メモリなど各種情報処理に必要な機構が内蔵されている(図示せず)。ディスプレイ14は液晶ディスプレイ、EL(Electronic Luminescence)ディスプレイ、プラズマディスプレイなど一般的なディスプレイのいずれかでよい。
【0014】
タッチパネル12は抵抗膜方式、光学式、静電容量結合式など実用化されている方式のいずれかで実現し、指7やタッチペンなどによる接触点を検知する。情報処理装置10はそのほか、音声を出力するスピーカ、イヤホン接続端子、他の装置との通信を行う赤外線ポートや無線LANの機構、電池ボックスなどを備えてよいが、ここでは図示を省略している。ディスプレイ14には、メニュー画面、アイコン配列などユーザの操作入力に必要な画面、情報処理の結果であるゲーム画面、動画再生画面、テキスト表示画面、静止画表示画面などを情報処理装置10の機能に応じて表示する。
【0015】
図2は情報処理装置10の構成を詳細に示している。情報処理装置10は上述したタッチパネル12、ディスプレイ14のほか、指の位置など必要な情報を取得するセンサ15、コンテンツのプログラムや各種データを記憶したコンテンツファイル記憶部16、タッチパネル12からの入力信号受信、画像データのディスプレイ14への出力を制御する入出力制御部20、タッチパネルからの入力信号を操作内容の情報に変換する操作内容特定部22、操作内容に応じてコンテンツを処理するコンテンツ処理部24、および表示画像を生成する表示画像生成部30を含む。
【0016】
図2において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU、メモリ、その他のLSIで構成することができ、ソフトウェア的には、コンテンツを処理したり画像処理を行うプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【0017】
センサ15は情報処理装置10の背面に搭載したタッチパネル、ディスプレイ14に搭載しディスプレイ14上面に存在する指などの物の影や像を画像として取得するセンサ、内部に搭載しディスプレイ14の傾きを取得する加速度センサやジャイロセンサなどのいずれかでよい。センサ15は後述するように、処理の精度を向上させるための補助的な情報を取得するために設けるものであり、場合によっては設けなくてもよい。
【0018】
入出力制御部20は既存の方法で、タッチパネル12、ディスプレイ14、センサ15と接続し、データの入出力を制御する。タッチパネル12から受信する入力信号は、タッチパネル12上でユーザが触れた接触点の座標、接触点が連続的に移動したときの座標の移動経路などを表す。タッチパネル12における接触点の検知手法はその方式によって異なるためここでは言及しない。タッチパネル12への接触操作は指以外の体の部位やタッチペンのような道具によって行われてもよいが、以後、指に代表させて説明する。入出力制御部20はまた、センサ15が取得したデータを受信したり、ディスプレイ14に表示画像のビデオ信号を出力したりする。
【0019】
コンテンツファイル記憶部16は、ユーザによるタッチパネル操作などに応じ、コンテンツ表示に係る情報処理を行うのに必要な各種データを格納する。ここで「コンテンツ」は、コンピュータゲーム、映画、音楽、小説、写真、地図、ウェブページ、それらを統括するメニュー画面など、電子的な処理により表現が可能な対象であればその種類やデータの格納経路は限定されない。なお本実施の形態は、一般的な「コンテンツ」以外に、通信、スケジュール管理、住所録、表計算など一般的な情報処理に対しても適用できるが、以下の説明ではそれらも含め全て「コンテンツ」とする。
【0020】
例えばコンテンツがゲームであれば、コンテンツファイル記憶部16はそのプログラム、プレイヤーの情報、前回のプレイ時の到達レベルなどの情報を記憶する。コンテンツが映画や音楽であれば、圧縮符号化されたビデオデータ、オーディオデータと、それを復号再生するためのプログラムなどを記憶する。またコンテンツ表示や処理に必要なGUI(Graphical User Interface)の画像データやGUI配置情報も記憶する。コンテンツファイル記憶部16は、ハードディスクドライブでもよいし、メモリカード、ROMディスク、光ディスク、光磁気ディスクなどのリムーバブル記録媒体とそれに対応した読み取り装置との組み合わせでもよい。
【0021】
操作内容特定部22は、タッチパネル12からの入力信号を入出力制御部20から取得し、当該信号に含まれる接触点の座標に基づき、ユーザが意図した操作内容を特定する。例えばタッチパネル12の一点に接触し、当該接触点を移動させる操作がなされたときは、それを画面スクロール操作とみなす。また表示画像中にGUIを表示している場合は、接触点とGUIとの位置関係に基づき選択対象のGUIを特定し、当該GUIに対応する操作内容を特定する。そして特定した操作内容、および接触点の移動経路など処理に必要な情報をコンテンツ処理部24に通知する。
【0022】
ここで、選択入力のためにユーザが選択対象のGUIへ触れる操作を「タッチ操作」と呼ぶ。「タッチ操作」は一般的には、タッチパネル12のうちGUIに対応する領域(以後、「ヒット判定領域」と呼ぶ)内に触れることを意味する。一方、本実施の形態では、実際の接触点の近傍に所定の規則で1つ以上の仮想的な接触点を発生させ、各GUIのヒット判定領域に含まれる接触点の数などに応じて選択対象のGUIを特定する。
【0023】
そのため以後の説明では、接触点が直接、ヒット判定領域内になくても、タッチ操作の対象たるGUIが画面内に存在し、当該画面内に一カ所の接触が発生したときを広義の「タッチ操作」とする。なお「タッチ操作」と認定する規則は様々考えられ、この例に限定する主旨ではない。また「GUI」は、タッチ操作によって指示することにより次の情報処理が決定づけられる対象であればその形態は限定されない。例えば、操作ボタンを模したGUIや、各メニュー項目を表す矩形、アイコンなどのほか、画面内に描画した仮想世界に存在するオブジェクトなどでもよい。
【0024】
選択対象のGUIを特定するため、操作内容特定部22は、接触点に基づき仮想的な接触点を発生させる規則を設定した接触点生成規則設定ファイル26と、選択対象のGUIを選出する規則を設定したGUI選出規則設定ファイル28とを、内部のメモリなどに記憶する。これらの設定ファイルは装置製造時に準備してもよいし、コンテンツファイル記憶部16が記憶するコンテンツファイルとともに提供されたものを読み出してもよい。
【0025】
コンテンツ処理部24は操作内容特定部22から通知された情報などに基づき、コンテンツファイル記憶部16が記憶するプログラムや画像データなどを用いてコンテンツ表示に必要な処理を行う。このとき、必要に応じて所定のGUIを所定位置に配置する。具体的な処理手順はコンテンツの内容によって既存の技術を適用できる。表示画像生成部30は、コンテンツ処理部24からの要求に従い、コンテンツファイル記憶部16から必要な画像データを読み出すなどして出力すべき画像のデータを生成し、入出力制御部20に出力する。生成した画像は入出力制御部20内のフレームバッファに格納され、入出力制御部20が適当なタイミングでディスプレイ14に出力することにより表示される。
【0026】
図3は情報処理装置10がGUIの選択入力を受け付ける処理手順を示すフローチャートである。まずユーザが、ディスプレイ14に表示されたメニュー画面からコンテンツを選択するなどして表示を開始する指示をタッチパネル12を介して入力すると(S10)、コンテンツ処理部24および表示画像生成部30は、コンテンツファイル記憶部16から必要なデータを読み出し、コンテンツの画像や必要なGUIの画像をディスプレイ14に表示させる(S12)。
【0027】
この状態で、ユーザがタッチパネル12に接触するのを待機する(S14のN)。このとき、ユーザの操作と独立に進捗可能なコンテンツに係る処理および表示更新が適宜行われていてよい。接触がなされたら、操作内容特定部22はそれを検知する(S14のY)。そして当該接触が、画面スクロールや画像の拡大、縮小操作など、タッチ操作と異なる場合(S16のN)、操作内容特定部22は当該操作に対応づけられた操作内容を特定し、接触点の経路など処理に必要な情報とともにコンテンツ処理部24に通知することにより、コンテンツ処理部24が適宜処理する(S24)。
【0028】
タッチ操作がなされた場合(S16のY)、操作内容特定部22は、接触点の位置と接触点生成規則設定ファイル26に設定された規則に基づき、画面内に仮想的な接触点を発生させる(S18)。接触点生成規則設定ファイル26には、発生させる仮想的な接触点の数、分布形状、分布領域のサイズなどが記載されている。そして実際の接触点か仮想的な接触点かに関わらず、GUIごとに設定されたヒット判定領域内にある接触点を抽出する。
【0029】
以後、接触点がいずれかのヒット判定領域に内在する状態を、対応するGUIに「ヒットした」と表現し、各GUIのヒット判定領域内にある接触点の数を、当該GUIの「ヒット点数」と呼ぶ。接触点が唯一のGUIのヒット判定領域内にある場合、すなわち1つのGUIのみがヒットした場合(S20のN)、当該GUIを選択対象として選出し、それに対応づけられた操作内容をコンテンツ処理部24に通知することにより、コンテンツ処理部24が適宜処理する(S24)。
【0030】
一方、複数のGUIがヒットした場合(S20のY)、操作内容特定部22は、GUI選出規則設定ファイル28に従い、一つのGUIを選択対象として選出する(S22)。GUI選出規則設定ファイル28には、ヒット点数、優先度、ヒット点数と優先度とを重み付け加算した得点など、GUIを選出するためのパラメータの定義や、当該パラメータから一つのGUIを選出する規則が記載されている。
【0031】
そして選出したGUIを選択対象として、それに対応づけられた操作内容をコンテンツ処理部24に通知することにより、コンテンツ処理部24が適宜処理する(S24)。ユーザがコンテンツの表示を終了する指示入力を行わない間は(S26のN)、S14からS24の処理を繰り返し、表示を終了する指示入力がなされたら処理を終了する(S26のY)。
【0032】
図4は操作内容特定部22がタッチ操作に応じて行う処理の例を説明するための図である。まずディスプレイ14の画面40には一例として、選択肢たる3つのGUI、すなわち第1GUI42a、第2GUI42b、第3GUI42cが表示されているとする。各GUIのヒット判定領域は、当該GUIの図形内部の領域とする。この状態でユーザが接触点44に対しタッチ操作を行うと、操作内容特定部22は、例えば4つの仮想的な接触点46a、46b、46c、46dを画面内に生成する。同図の場合、仮想的な接触点46a、46b、46c、46dを、実際の接触点44を頂点としたV字形状に分布させている。なお接触点44や仮想的な接触点46a、46b、46c、46dを示す丸印は、画面を構成する平面上の位置を示しており、画像として表示されるものではない。
【0033】
このように発生させた仮想的な接触点を含む合計5つの接触点のうち、1つの接触点46dが第2GUI42bのヒット判定領域内に、2つの接触点46a、46bが第3GUI42cのヒット判定領域内にある。すなわち第2GUI42bと第3GUI42cがヒットしており、第2GUI42bのヒット点数は「1」、第3GUI42cのヒット点数は「2」となる。ヒット点数が最大のGUIを選出する、という規則がGUI選出規則設定ファイル28に規定されている場合、操作内容特定部22は第3GUI42cを選択対象として選出する。
【0034】
同図の例で、仮想的な接触点を、実際の接触点を頂点とするV字形状に分布させたのは次の理由による。すなわちユーザが画面40の下方向から手を伸ばしてタッチ操作を行う場合、その指先は画面上側を向くことが多い。この指先で画面40を見ながらタッチ操作を行うとき、選択対象のGUIの図形の中心より下、場合によってはGUIの下端近傍に接触することが多い、という一般的な傾向がある。この傾向を利用し、このような指の向きが想定される装置では、実際の接触点より画面上側に仮想的な接触点を分布させる。
【0035】
さらに、右手の指で操作する場合はGUIの右下を、左手の指で操作する場合はGUIの左下をタッチする傾向となる。つまり、右手で操作する場合は実際の接触点より左上に、左手で操作する場合は実際の接触点より右上に、選択対象のGUIが存在する確率が高い。したがって接触点をV字形状に分布させると、操作する手が左右のどちらであっても選択対象のGUIを精度よく選出できる。この性質を一般化すると、接触点の周囲の領域のうち指の頂点側に仮想的な接触点を分布させることが望ましい、ということになる。
【0036】
図5は、図4で示した接触点が形成するV字形状の傾きを、上記性質を利用して決定する一手法について説明するための図である。この例は、情報処理装置10を左右から把持し、画面の上に出した親指および人差し指でタッチパネル12を操作することを想定したものである。同図右側には情報処理装置10を把持するユーザの右手50の様子を示している。親指に着目すると、一般的には親指の付け根が画面48右端の下部に位置する(例えば同図の位置52)。その位置を中心として指の方向や到達距離を調整することにより、親指によるタッチ操作がなされる。
【0037】
したがって親指の可動範囲は、付け根の位置52を中心とした扇形に近い領域となる(同図の領域54)。付け根の位置52をあらかじめ定義しておけば、親指の向きは、当該位置52を始点として実際の接触点56を終点とするベクトル58によって表される。上述のとおり選択対象のGUIは、指の頂点近傍にある確率が高いため、接触点56の周囲の領域のうち、指の頂点の方向、すなわちベクトル58の延長線60を中心に仮想的な接触点を分布させることにより、精度よくGUIを選出できる。
【0038】
同図の例では、延長線60に対し線対称のV字形状に分布させている。人差し指や左手で操作する場合も同様に付け根の位置を始点として定義することにより、指の頂点近傍に接触点を分布させることができる。領域54のような各手指の可動範囲などから、画面内の区画と、その内部に接触する手指とをあらかじめ対応づけておき、接触された区画に応じて付け根の位置を切り替えれば、どの指で操作しても同様の精度でGUIを選出できる。なお付け根の位置52は、装置の形状や画面の構成などから想定値を導出してもよいし、装置において付け根の位置52に印をつけることによりユーザが把持する位置を調整してもよい。
【0039】
図6は、図5に示した仮想的な接触点を生成するために接触点生成規則設定ファイル26に記述されたデータ例を示している。接触点生成規則設定ファイル26は形状欄72、サイズ欄74、個数欄76、および始点欄78を含む。形状欄72には接触点の分布形状を記載する。図5の例では「V字」である。サイズ欄74には、分布形状を基準方向で表したときの縦および横のサイズを記載する。同図の場合、傾きのないV字に対し縦を5mm、横を5mmとしている。
【0040】
個数欄76には、仮想的な接触点の生成数を記載する。図5の例では「4」である。また始点欄78には、操作する指の付け根の位置を表す情報、例えばスクリーン座標系における座標「(X1,Y1)」などを記載する。なおサイズや位置の設定単位や表現方法はこれに限定されない。複数の手や指での操作が想定される場合は、同様のデータをそれぞれに準備する。さらに付け根の位置を切り替えるための画面内の区画のいずれかを設定する欄を設けてもよい。
【0041】
図5、6で示した例のほか、仮想的な接触点の分布を装置や画面構成などに応じて最適化することにより、様々な環境に対しGUIの選出精度を維持することができる。最適な分布を決定づける要因として、情報処理装置を把持するか机などに置くか、画面の傾き、把持した手で操作するか否か、把持する手の状態、把持位置など、およそ装置の外観から決まるものと、GUIの配置、画面を縦に見るか横に見るかなどコンテンツによって決まるものがある。
【0042】
例えばテーブルの天板にディスプレイとタッチパネルを搭載し、ユーザが真上から画面をのぞき込むような場合、タッチ操作を行う指先は、ディスプレイにほぼ垂直な下向きとなることが一般的である。このときは画面の平面上では、接触点の周囲の領域において選択対象のGUIが存在する確率に偏りがないと考えられるため、実際の接触点の周囲に仮想的な接触点を円状かつ均等に分布させてもよい。この場合、図6における始点欄78は必要なくなる。また上記の要因によっては、分布形状をV字の代わりにY字としたり、実際の接触点を通る直線や曲線などとしてもよい。
【0043】
いずれにしろ上記要因によって決定する位置関係の傾向を踏まえ、高い精度で選択対象のGUIを選出できるような分布を決定することが望ましい。決定に際しては、上述のように、指の頂点側にGUIがある可能性が高い、といった想定に基づきベクトルなどを用いて算出するようにしてもよいし、実際に各条件でタッチ操作を行う実験を繰り返し最適な分布を統計的に導出してもよい。また、初回の装置操作時や、初回のコンテンツ実行時などに、ユーザにテスト画像へのタッチ操作を促すことでキャリブレーションを行い、ユーザごとの操作の傾向や指の長さ、利き手などを踏まえてさらに最適化してもよい。決定した分布によって、接触点生成規則設定ファイル26のデータ構造を適宜変化させてよい。
【0044】
さらに、センサ15によって実際に操作する手指に係る情報が別に得られる場合、操作内容特定部22は当該情報に基づき接触点生成規則設定ファイル26における設定を適応的に更新してもよい。例えば情報処理装置10の背面に別のタッチパネルが搭載され、装置を背面で支える中指の位置を取得できる場合は、中指の位置から一般的な手の大きさなどに基づき想定できる親指および人差し指の付け根の位置を導出し、接触点生成規則設定ファイル26の始点欄78を随時更新する。
【0045】
また情報処理装置10の内部に加速度センサやジャイロセンサを搭載することにより画面の傾きを取得できる場合は、画面の傾きによって接触点生成規則設定ファイル26の形状欄72を随時更新する。例えば画面が上向きになったときは上述の原理に従い、形状欄72の設定を「V字」から「円状」にする。この場合、画面の傾きと最適な分布形状とを別のファイルに対応づけておく。さらにディスプレイ14に、指の影や像を取得できるカメラやセンサを設け、操作する指が2次元画像として取得できる場合は、ベクトル計算をせずに指先の向きが判明するため、始点欄78は必要なくなる。この場合、ベクトルの代わりに指先の向きを用いればその後の処理は上述と同様である。
【0046】
図7は仮想的な接触点を生成させる規則の別の例を示している。同図において接触点の分布形状がV字である点は図5と同様である。一方、同図の例では、接触点と画面80の枠との関係によってV字の向きやサイズを決定している。例えば接触点が画面80の右下にある場合、指先の向きがどのようであろうと、画面80の下端近傍や右端近傍にGUIがなければ、その方向に仮想的な接触点を生成するのは効率的でない。
【0047】
この場合、V字分布82に示すように、接触点から左上方向の所定の角度を中心に仮想的な接触点を分布させる。このとき、GUIが画面端には存在しないなどGUIの配置によっては、V字の開きを小さくするなどしてもよい。接触点が画面80の左下にある場合も同様に、接触点から右上方向の所定の角度を中心に仮想的な接触点を分布させる(V字分布84)。また画面80の上端付近にGUIがあり、その下部近傍に実際の接触点がある場合、仮想的な接触点が画面80内に収まるようにV字の開きを大きくし、縦方向のサイズを小さくする(V字分布86)。同様に、画面の端やGUIの配置と接触点との位置関係によって、指先の向きより優先すべき規則がある場合は、そのような規則も装置やコンテンツに応じて決定し、接触点生成規則設定ファイル26に適宜設定する。
【0048】
図8は図3のS22において、操作内容特定部22が、ヒットした複数のGUIから1つを選出する際の処理手順を示すフローチャートである。なおこの処理手順はGUI選出規則設定ファイル28において設定できる様々な規則の一例である。まずヒットした複数のGUIを対象に、ヒット点数判定を行う(S30)。具体的には、当該複数のGUIごとにヒット点数、すなわち対応するヒット判定領域に内在する接触点の数を取得して、それらを比較する。いずれか1つのGUIのヒット点数が他より高かったら(S32のN)、当該GUIを選択対象のGUIとして選出する(S40)。
【0049】
なおS30のヒット点数判定処理に際し、各接触点に所定の規則で重み付けを行ってもよい。例えばユーザによる実際の接触点のみに所定の係数を乗算して仮想的な接触点の1個分(=1点)より点数を高くする。あるいは実際の接触点からの距離が増加するほど小さくなる係数を全ての接触点に乗算し、距離に応じて接触点の重みを変化させる。これにより実際の接触点を重要視したうえでGUIを選出できる。
【0050】
一方、最高ヒット点数で同点のGUIが複数あったら(S32のY)、当該GUIを対象に優先度判定を行う(S34)。なお仮想的な接触点の生成数によっては、所定のしきい値以下の点数差であれば「同点」とみなすようにしてもよい。優先度判定を行う場合、各GUIにはあらかじめ優先度を示す数値を設定しておく。例えば優先度を5段階に分け、GUIの内容などにより1から5までの数値を設定する。ファイルやデータの削除可否を確認するために「削除する」、「キャンセルする」なる2つのボタンのGUIを並べて表示する場合、「削除する」ボタンより「キャンセルする」ボタンの優先度を高く設定することにより、誤操作によるデータ削除を防止できる。
【0051】
そして対象のGUIの優先度を比較し、いずれか1つのGUIの優先度が他より高かったら(S36のN)、当該GUIを選択対象のGUIとして選出する(S40)。一方、最高優先度で同点のGUIが複数あったら(S36のY)、当該GUIを対象に処理順判定を行う(S38)。これはGUIを表示させるプログラム上の処理順を比較するものであり、最も早く処理されるGUIを選択対象のGUIとして選出する(S40)。このような処理手順により、少なくともいずれかの段階で1つのGUIが選出される。なおコンテンツの内容などに応じ、優先度判定とヒット点数判定の順序を逆にするなどしてもよい。いずれの場合も、GUI選出規則設定ファイル28に設定しておく。
【0052】
以上述べた本実施の形態によれば、画面に表示させたGUIへの選択入力を行う際、タッチ操作時の接触点に基づき仮想的な接触点を発生させ、各GUIのヒット判定領域に内在する接触点の有無や個数などによって選択対象のGUIを推定して選出する。GUIへのタッチ操作を受け付ける従来技術では、ユーザがGUIの図形から多少外れた位置に接触しても反応するように、GUIの図形の周囲のマージン領域を加えてヒット判定領域としていた。しかし多数のGUIを表示させたり表示スペースが小さかったりしてGUIが密集すると、ヒット判定領域を重ならせない工夫や、重なった領域へ接触したときの特別な処理が必要となる。
【0053】
GUIの密集の度合いは、コンテンツの画面構成やディスプレイの面積などにも依存するため、共通で利用できるGUIの部品であっても、コンテンツの作成時に様々な状況に応じてヒット判定領域を定義しなおす必要があり、作成者にとって負担となる。本実施の形態では、仮想的な接触点を発生させることにより、GUIから一定距離、離れた位置に接触しても、近傍のGUIがヒットしやすい。そのためマージン領域を含めず、GUIの図形と同じサイズでヒット判定領域を設定してもよくなる。結果として上記のようなヒット判定領域に係る調整作業が必要なくなり、コンテンツ作成者の負担が軽減される。
【0054】
また装置の形状や想定される持ち方など装置起因の条件や、GUIの配置や画面構成などコンテンツ起因の条件によって、生成する仮想的な接触点の個数、分布形状、分布領域のサイズを決定する。これにより選択対象のGUIを高い精度で特定することができ、ヒット判定領域からわずかに外れた接触により応答が得られなかったり、別のGUIへの選択入力とされてしまったり、といった不具合の発生を抑えることができる。結果として、コンテンツ作成の容易さとタッチ操作の操作性を両立できる。
【0055】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0056】
本実施の形態はタッチパネルに対するタッチ操作をきっかけとして対象となるGUIを特定したが、タッチパネル以外の入力手段であっても同様の処理を適用できる。例えば上述のように、指や指示棒の影を撮影するセンサなどをディスプレイに搭載した場合、それが指し示す位置を、本実施の形態における接触点の代わりに利用してもよい。さらに、プロジェクタを用いて壁や床などに画像を投影し、カメラや各種センサで画像の前に存在するユーザの影や像を取得することにより、ユーザの手や足の位置に応じた画像変化を演出するシステムへの応用も考えられる。この場合、ユーザの手先や足先として認識される位置の近傍に仮想的な指示点を発生させ、本実施の形態と同様に判定を行うことにより、変化を与える部分を特定する。手先や足先を点で認識する場合、そのわずかなずれで意図する変化が得られないことが考えられるが、仮想的な指示点を発生させることにより、当該ずれを吸収し、精度のよい処理を実現できる。
【0057】
また本実施の形態は、接触点がGUIの図形から多少外れていても、選択対象のGUIを精度よく特定する。この特徴を利用し、特定したGUIが実際の接触点から離れているとき、GUIの図形自体が指に吸い付くように移動する演出を加えてもよい。例えばタッチ操作によって選択したGUIをドラッグ操作によって画面内の別の位置へ移動させる場合、終始GUIが指についた状態でドラッグできるため、より自然な操作感が得られる。この場合、既存の技術により、選出したGUIの中心が実際の接触点に移動するようなアニメーションを表示すればよい。
【符号の説明】
【0058】
10 情報処理装置、 12 タッチパネル、 14 ディスプレイ、 15 センサ、 16 コンテンツファイル記憶部、 20 入出力制御部、 22 操作内容特定部、 24 コンテンツ処理部、 26 接触点生成規則設定ファイル、 28 GUI選出規則設定ファイル、 30 表示画像生成部。

【特許請求の範囲】
【請求項1】
GUI(Graphical User Interface)を含む表示画像に対し、ユーザが示した指示点の位置を取得する入力情報取得部と、
表示画像を構成する平面において、前記指示点の位置に基づき決定した位置に仮想的な指示点を配置し、当該仮想的な指示点を含む複数の指示点の位置と、前記GUIごとに設定されたヒット判定領域との位置関係に基づきGUIの比較を行うことにより、一のGUIを選出する操作内容特定部と、
選出したGUIに対応する処理を実行する情報処理部と、
を備えたことを特徴とする情報処理装置。
【請求項2】
前記入力情報取得部は、前記表示画像を表示したディスプレイ上に搭載したタッチパネルへのユーザの指の接触点を前記指示点として取得し、
前記操作内容特定部は、前記接触点の周囲の領域のうち、指先の頂点側の領域に前記仮想的な指示点を配置することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記操作内容特定部は、装置または表示画像に対応づけて準備された規則に従った位置に、前記仮想的な指示点を配置することを特徴とする請求項1または2に記載の情報処理装置。
【請求項4】
前記操作内容特定部は、前記指示点を頂点とするV字形状に、前記仮想的な指示点を分布させることを特徴とする請求項1または2のいずれかに記載の情報処理装置。
【請求項5】
前記入力情報取得部は、前記情報処理装置を把持する手の指による前記タッチパネルへの接触点を取得し、
前記操作内容特定部は、当該指の付け根の位置から前記接触点までのベクトルの方向を前記指先の頂点の方向として、当該方向を中心に前記仮想的な指示点を分布させることを特徴とする請求項2に記載の情報処理装置。
【請求項6】
前記情報処理装置を背面から支持する指の位置を検出する背面タッチパネルをさらに備え、
前記操作内容特定部は、前記背面タッチパネルが検出した位置に基づき、前記指の付け根の位置を特定することを特徴とする請求項5に記載の情報処理装置。
【請求項7】
前記ディスプレイの傾きを取得するセンサをさらに備え、
前記操作内容特定部は、前記ディスプレイの傾きに応じて前記仮想的な指示点を分布させる形状を変化させることを特徴とする請求項2に記載の情報処理装置。
【請求項8】
前記ディスプレイ上の指の像を画像として取得するセンサをさらに備え、
前記操作内容特定部は、前記指の像に基づき前記指先の頂点の方向を特定し、当該方向を中心に前記仮想的な指示点を分布させることを特徴とする請求項2に記載の情報処理装置。
【請求項9】
情報処理装置において、GUI(Graphical User Interface)を含む表示画像に対し、ユーザが示した指示点の位置を取得するステップと、
表示画像を構成する平面において、前記指示点の位置に基づき決定した位置に仮想的な指示点を配置し、当該仮想的な指示点を含む複数の指示点の位置と、前記GUIごとに設定されたヒット判定領域との位置関係に基づきGUIの比較を行うことにより、一のGUIを選出するステップと、
選出したGUIに対応する情報処理を実行するステップと、
を含むことを特徴とする情報処理方法。
【請求項10】
GUI(Graphical User Interface)を含む表示画像に対し、ユーザが示した指示点の位置を取得する機能と、
表示画像を構成する平面において、前記指示点の位置に基づき決定した位置に仮想的な指示点を配置し、当該仮想的な指示点を含む複数の指示点の位置と、前記GUIごとに設定されたヒット判定領域との位置関係に基づきGUIの比較を行うことにより、一のGUIを選出する機能と、
選出したGUIに対応する情報処理を実行する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項11】
GUI(Graphical User Interface)を含む表示画像に対し、ユーザが示した指示点の位置を取得する機能と、
表示画像を構成する平面において、前記指示点の位置に基づき決定した位置に仮想的な指示点を配置し、当該仮想的な指示点を含む複数の指示点の位置と、前記GUIごとに設定されたヒット判定領域との位置関係に基づきGUIの比較を行うことにより、一のGUIを選出する機能と、
選出したGUIに対応する情報処理を実行する機能と、
をコンピュータに実現させるコンピュータプログラムを記録したことを特徴とする記録媒体。
【請求項12】
情報処理装置において実行するコンテンツのプログラムと、
当該情報処理装置においてコンテンツの実行中に表示されるGUI(Graphical User Interface)を含む表示画像を構成する平面において、ユーザが示した指示点の位置に基づき発生させる仮想的な指示点の配置規則を設定した接触点生成規則設定ファイルであって、前記情報処理装置が、コンテンツの実行中に参照することにより発生させた前記仮想的な指示点を含む複数の指示点の位置と、前記GUIごとに設定されたヒット判定領域との位置関係に基づきGUIの比較を行うことにより、一のGUIを選出して当該GUIに対応する処理を実行するための接触点生成規則設定ファイルと、
を対応づけたことを特徴とするコンテンツファイルのデータ構造。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−114422(P2013−114422A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−259554(P2011−259554)
【出願日】平成23年11月28日(2011.11.28)
【出願人】(000002185)ソニー株式会社 (34,172)
【出願人】(310021766)株式会社ソニー・コンピュータエンタテインメント (417)
【Fターム(参考)】