情報処理装置及びその方法
【課題】タッチパネルを採用したアプリケーションプログラムであっても、マルチファンクションキーで操作できる情報処理装置及びその方法を提供する。
【解決手段】特徴範囲を抽出する特徴抽出部と、特徴範囲と特徴範囲の位置座標を関連付けて位置設定情報を生成して記憶部に記憶する位置設定部と、方向キーを用いて入力がされた場合、方向キーの示す方向にある特徴範囲を選択し、該特徴範囲に対応する表示箇所を示す選択範囲情報と表示箇所の表示の仕方を示す選択表示情報を表示制御部に出力し、決定キーを用いて現在選択されている特徴範囲に対応する表示箇所が選択された場合、タッチパネルを用いて表示箇所が選択されたのと同じことを示す決定情報を生成して入力制御部に出力する実行制御部と、を備えるアプリケーションプログラムを実行できる情報処理装置である。
【解決手段】特徴範囲を抽出する特徴抽出部と、特徴範囲と特徴範囲の位置座標を関連付けて位置設定情報を生成して記憶部に記憶する位置設定部と、方向キーを用いて入力がされた場合、方向キーの示す方向にある特徴範囲を選択し、該特徴範囲に対応する表示箇所を示す選択範囲情報と表示箇所の表示の仕方を示す選択表示情報を表示制御部に出力し、決定キーを用いて現在選択されている特徴範囲に対応する表示箇所が選択された場合、タッチパネルを用いて表示箇所が選択されたのと同じことを示す決定情報を生成して入力制御部に出力する実行制御部と、を備えるアプリケーションプログラムを実行できる情報処理装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のユーザインタフェースに対応可能な情報処理装置及びその方法に関する。
【背景技術】
【０００２】
ユーザインタフェースとしてタッチパネルを採用している情報処理装置では、タッチパネルから入力された情報を用いて操作を行うアプリケーションプログラムが採用されていることがある。このようなアプリケーションプログラムは、そもそもタッチインターフェースを想定して準備されたアプリケーションプログラムであるため、方向キーや決定キーなどのマルチファンクションキーをユーザインタフェースとして採用している情報処理装置には対応していないことがある。マルチファンクションキーをユーザインタフェースとして持つ情報処理装置に対応させるにはアプリケーションプログラムを変更することになる。そのため、アプリケーションプログラムの新たな開発を要する。そこで、タッチパネルを採用したアプリケーションプログラムであっても、マルチファンクションキーからの操作に対応することができる仕組みを情報処理装置に設けることが望まれている。
【０００３】
関連する技術として、複数の項目を含むメニュー選択画面上のタッチパネル、カーソルの移動方向を指示する方向キーおよび選択項目に対応する処理の実行を指示する実行キーを有する情報処理装置が知られている。その情報処理装置では、カーソルの表示は方向キーだけでなくタッチパネルで指示された位置に従って移動され、選択項目に対応する処理は実行キーの操作だけでなく、タッチオフ時に実行される。ただし、タッチオンから所定時間以上タッチ入力が継続された場合、タッチオフまでにタッチ開始時に指示された項目に対応する領域外でのタッチ入力があった場合には、選択項目に対応する処理は実行されない。あるいは、タッチオフまでにタッチ開始時に指示された位置から所定距離範囲外でのタッチ入力があった場合には、選択項目に対応する処理は実行されない。その結果、メニュー選択の際の操作性を向上できる。
【０００４】
また、関連する技術として、メニュー選択と入力を容易に実施する携帯電子機器の入力方法が知られている。この方法によれば、表示画面を複数の表示エリアに分割して、該分割された表示エリアに選択メニューを表示する。そして、操作者がメニュー選択を実施して入力する場合において、任意のメニュー画面で選択されたメニューに下位のメニュー項目が存在する場合に、選択されたメニュー項目を再度表示する。その結果、表示効率が高くメニュー構成の判りやすい入力方法を提供できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３１８３９３号公報
【特許文献２】特開平１０−３１２２６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、ユーザインタフェースとしてタッチパネルを採用したアプリケーションプログラムであっても、方向キーや決定キーなどのマルチファンクションキーで操作できる情報処理装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本形態の態様のひとつであるタッチパネルを用いて操作可能なアプリケーションプログラムを実行できる情報処理装置は、特徴抽出部、位置設定部、実行制御部を有している。
【０００８】
特徴抽出部は、表示パネルに表示されている画像に対して特徴抽出処理を行い、特徴範囲を抽出する。
【０００９】
位置設定部は、上記特徴範囲と上記特徴範囲の上記表示パネルの位置を示す位置座標を関連付けて位置設定情報を生成し、上記位置設定情報を記憶部に記憶する。
【００１０】
実行制御部は、方向キーを用いて入力がされた場合、上記方向キーの示す方向を用いて、上記位置設定情報を参照し、上記方向キーの示す方向にある位置座標の特徴範囲を選択する。そして、該特徴範囲に対応する表示パネルに表示される表示箇所を示す選択範囲情報と上記表示箇所の表示の仕方を示す選択表示情報とに基づき前記表示パネルの表示を制御する。
【００１１】
また、実行制御部は決定キーを用いて現在選択されている特徴範囲に対応する表示パネルの表示箇所が選択された場合、上記表示箇所が選択されたことを示す決定情報を生成する。そして、前記決定情報に基づいて前記アプリケーションプログラムの実行を制御する。
【発明の効果】
【００１２】
本実施の形態によれば、ユーザインタフェースとしてタッチパネルを採用したアプリケーションプログラムであっても、方向キーや決定キーなどのマルチファンクションキーで操作できるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】情報処理装置のハードウェアの一実施例を示す図である。
【図２】入出力部の一実施例を示す図である。
【図３】実施形態１の制御部の一実施例と、制御部と記憶部と入出力部の関係を示す図である。
【図４】表示パネルと表示パネルに表示された画像のドットの一実施例を示す図である。
【図５】特徴抽出の一実施例を示す図である。
【図６】表示パネルに表示された画像と該画像を特徴抽出した結果の一実施例を示す図である。
【図７】位置設定部の動作の一実施例を示すフロー図である。
【図８】選択範囲記憶情報と選択表示情報のデータ構造の一実施例を示す図である。
【図９】実行制御部の動作の一実施例を示すフロー図である。
【図１０】実行制御部の動作の一実施例を示すフロー図である。
【図１１】実行制御部の動作の一実施例を示すフロー図である。
【図１２】予め決められた検索の一実施例を示す図である。
【図１３】実施形態１のソフトウェアの一実施例を示す図である。
【図１４】実施形態２における情報処理装置の動作の一実施例を示すフロー図である。
【図１５】実施形態２における情報処理装置の動作の一実施例を示すフロー図である。
【図１６】実施形態２における情報処理装置の動作の一実施例を示すフロー図である。
【発明を実施するための形態】
【００１４】
以下図面に基づいて、実施形態について詳細を説明する。
実施形態１について説明する。
【００１５】
図１は、情報処理装置のハードウェアの一実施例を示す図である。図１に示す情報処理装置１は、制御部２、記憶部３、記録媒体読取装置４、入出力インタフェース５（入出力Ｉ／Ｆ）、通信インタフェース６（通信Ｉ／Ｆ）などをそれぞれ備えている。また、上記各構成部はバス７によってそれぞれ接続されている。例えば、情報処理装置１は携帯電話機、Personal Handy-phone System（ＰＨＳ）、スマートフォン、携帯情報端末、パーソナルコンピュータなどが考えられる。
【００１６】
制御部２はCentral Processing Unit（ＣＰＵ）、マルチコアＣＰＵ、プログラマブルなデバイス（Field Programmable Gate Array（ＦＰＧＡ）、Programmable Logic Device（ＰＬＤ）など）を用いることが考えられる。
【００１７】
記憶部３は、例えばRead Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）などのメモリやハードディスクなどが考えられる。なお、記憶部３にはパラメータ値、変数値などのデータを記録してもよいし、実行時のワークエリアとして用いてもよい。
【００１８】
記録媒体読取装置４は、制御部２の制御に従って記録媒体８に対するデータのリード／ライトを制御する。そして、記録媒体８に記録媒体読取装置４の制御で書き込まれたデータを記録させたり、記録媒体８に記録されたデータを読み取らせたりする。また、着脱可能な記録媒体８は、コンピュータで読み取り可能なnon-transitory（非一時的）な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）などがある。光ディスクには、Digital Versatile Disc（ＤＶＤ）、ＤＶＤ−ＲＡＭ、Compact Disc Read Only Memory（ＣＤ−ＲＯＭ）、ＣＤ−Ｒ(Recordable)／ＲＷ（ReWritable）などがある。光磁気記録媒体には、Magneto-Optical disk（ＭＯ）などがある。なお、記憶部３もnon-transitory（非一時的）な記録媒体に含まれる。
【００１９】
入出力インタフェース５には、入出力部９が接続され、入出力部９から入力された情報を受信し、バス７を介して制御部２に送信する。また、制御部２から送信されたデータに従って表示パネル（表示部）の画面上に情報などを表示する。
【００２０】
図２は、入出力部の一実施例を示す図である。図２の入出力部９は、キー制御Integrated Circuit（ＩＣ）２０１、各種キー２０２、タッチパネル制御Integrated Circuit（ＩＣ）２０３、タッチパネル２０４、表示制御Integrated Circuit（ＩＣ）２０５、表示パネル２０６、マイク２０７、スピーカ２０８、カメラ２０９、センサ２１０などが考えられる。表示パネル２０６は、例えば、液晶ディスプレイ、有機electroluminescence（ＥＬ）ディスプレイなどが考えられる。
【００２１】
ただし、情報処理装置１はタッチパネル制御ＩＣ２０３とタッチパネル２０４を備えない、キー入力だけに対応した情報処理装置１でもよい。
【００２２】
キー制御ＩＣ２０１は、各種キー２０２により入力された情報を制御部２に送信する。各種キー２０２は、方向キー、決定キーなどのマルチファンクションキー（ＭＦキー）、その他の入力キーなどを示している。タッチパネル制御ＩＣ２０３は、タッチパネル２０４から入力された情報を制御部２に送信する。例えば、タッチパネル専用ＩＣなどが考えられる。表示制御ＩＣ２０５は、制御部２から送信されたデータに従って表示パネル２０６に情報を表示する。例えば、表示パネル専用ＩＣなどが考えられる。
【００２３】
通信インタフェース６は、通信回線、Local Area Network（ＬＡＮ）接続やインターネット接続や無線接続を行うためのインタフェースである。また、通信インタフェース６は必要に応じ、他のコンピュータとの間のＬＡＮ接続やインターネット接続や無線接続を行うためのインタフェースである。
【００２４】
このようなハードウェア構成を有するコンピュータを用いることによって、後述する情報処理装置の各種処理機能が実現される。その場合情報処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、後述する処理機能（図７、図９〜１１、図１４〜１６など）がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体８に記録しておくことができる。
【００２５】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの記録媒体８が販売される。また、プログラムをサーバコンピュータの記憶装置に記録しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００２６】
プログラムを実行するコンピュータは、例えば、記録媒体８に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶部３に記憶する。そして、コンピュータは、自己の記憶部３からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、記録媒体８から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【００２７】
図３は、実施形態１の制御部の一実施例と、制御部と記憶部と入出力部の関係を示す図である。図３の制御部２には、特徴抽出部３０１、位置設定部３０２、実行制御部３０３、入力制御部３０４、表示制御部３０５が示されている。図３の入出力部９には、表示制御ＩＣ２０５、表示パネル２０６が示されている。
【００２８】
特徴抽出部について説明する。
特徴抽出部３０１は、特徴抽出を実行する指示を受信すると、表示パネル２０６に表示されている画像に対応する画像データを記憶部３から取得し、該画像データを解析して表示されている画像から特徴を抽出し、抽出した特徴を用いて特徴範囲を決定する。特徴範囲は、表示パネルに表示された図形に対応する。
【００２９】
特徴抽出の方法について説明する。
図４は、表示パネルと表示パネルに表示された画像のドットの一実施例を示す図である。図４のＢの画像のドットを示す図は、図４のＡの表示パネル４０１の一部を示している。本例では、図４のＡの表示パネル４０１に横方向のドットの座標Ａの位置を示す矢印と、縦方向のドットの座標１の位置を示す矢印が示されている。図４のＢは、横方向の座標Ａ、Ｂ、Ｃ〜を示す横座標４０２と、縦方向の座標１、２、３〜を示す縦座標４０３とが示されている。図４のＡの表示パネル４０１に示した横方向のドットの座標Ａと縦方向のドットの座標１は、図４のＢの横座標４０２の座標Ａと縦座標４０３の座標１と同じである。また、図４のＢは画像のドットが２色（白、黒）で表せる場合が示されている。２色に限定されるものではない。
【００３０】
図５は、特徴抽出処理の一実施例を示す図である。特徴抽出部３０１は、対象のドットの色素情報と対象のドットの左に隣接するドットの色素情報とを比較し、色素情報が違っているものを「１」とし、同じものを「０」とし、対象のドットに関連付ける。図５のＡの例では、座標Ａ１は隣接する左ドットがないので「０」が関連付けられている。座標Ｂ１の示すドットには隣接する座標Ａ１の示すドットがあり、座標Ｂ１と座標Ａ１の色素情報が違っているので、座標Ｂ１に「１」が関連付けられている。座標Ｃ１の示すドットには隣接する座標Ｂ１の示すドットがあり、座標Ｃ１と座標Ｂ１の色素情報が同じなので、座標Ｂ１に「０」が関連付けられている。本例では色素情報は白または黒を示す情報である。
【００３１】
次に、特徴抽出部３０１は、「１」が関連付けられているドットの左側の線分を抽出する。図５のＢでは、「１」が関連付けられているドット（斜線）の左側の線分（太線）を抽出したことが示されている。なお、抽出した線分の位置を示す情報は記憶部３に記憶される。
【００３２】
次に、特徴抽出部３０１は、対象のドットの色素情報と対象のドットの上に隣接するドットの色素情報とを比較し、色素情報が違っているものを「１」とし、同じものを「０」とし、対象のドットに関連付ける。図５のＣの例では、座標Ａ１は隣接する上ドットがないので「０」が関連付けられている。座標Ａ２の示すドットには隣接する座標Ａ１の示すドットがあり、座標Ａ２と座標Ａ１の色素情報が違っているので、座標Ａ２に「１」が関連付けられている。座標Ａ３の示すドットには隣接する座標Ａ２の示すドットがあり、座標Ａ３と座標Ａ２の色素情報が同じなので、座標Ａ３に「０」が関連付けられている。本例では色素情報は白または黒を示す情報である。
【００３３】
次に、特徴抽出部３０１は、「１」が関連付けられているドットの上側の線分を抽出する。図５のＤでは、「１」が関連付けられているドット（斜線）の上側の線分（太線）を抽出したことが示されている。なお、抽出した線分の位置を示す情報は記憶部３に記憶される。続いて、特徴抽出部３０１は左側の線分と上側の線分を合成する。図５のＥの例では、座標Ｃ３、Ｄ３、Ｅ３、Ｆ３、Ｃ４、Ｄ４、Ｅ４、Ｆ４で示されるドットにより構成される方形が、合成した線分により表されている。この方形を特徴範囲とする。なお、合成により求められた方形が一定の幅（左右の幅）で、かつ高さ（上下の幅）がない場合は特徴範囲としないことが考えられる。なお、特徴抽出は上記説明した以外の方法で抽出してもよい。
【００３４】
位置設定部について説明する。
位置設定部３０２は、特徴範囲と、特徴範囲の位置を示す表示パネルの位置座標とを関連付ける設定をし、記憶部３に記憶する。なお、特徴範囲とタッチパネルの座標を関連付けてもよい。
【００３５】
図６は、表示パネルに表示された画像と該画像を特徴抽出した結果の一実施例を示す図である。図６に示す表示パネル６０１には２０個のアイコンと１つのボタン（「ＯＫ」）が示されている。ただし、表示内容は表示パネル６０１に限定されるものではない。表示パネル６０１に表示されている画像に対して特徴抽出をした結果を示す図６０２には、２０個のアイコンに対応する特徴範囲Ａ〜Ｔが表示され、ボタンに対応する特徴範囲Ｕが表示されている。例えば、アイコン６０３は特徴範囲６０４に対応する。
【００３６】
位置設定部３０２は、例えば、図６の特徴範囲Ａ〜Ｕと特徴範囲Ａ〜Ｕの中央位置の座標を示す表示パネルの位置座標を対応付け、記憶部３に記憶する。図６は、位置設定情報のデータ構造の一実施例を示す図である。図６の位置設定情報６０５は、「特徴範囲ＩＤ」「中央位置座標」「タッチパネル座標」に記憶される情報を有する。「特徴範囲ＩＤ」には、特徴範囲を識別する情報が記憶される。本例では、図６に示した特徴範囲Ａ〜Ｕを識別する「Ａ」〜「Ｕ」が記憶されている。「中央位置座標」には、特徴範囲の中央位置を示す表示パネルの座標を示す情報が記憶される。本例では、図６に示した特徴範囲Ａ〜Ｕ各々の中央位置を示す表示パネルのＸ軸方向の座標を示す「ｘ１」〜「ｘ２１」が記憶されている。また、図６に示した特徴範囲Ａ〜Ｕ各々の中央位置を示す表示パネルのＹ軸方向の座標を示す「ｙ１」〜「ｙ２１」が記憶されている。「タッチパネル座標」には、中央位置座標に対応するタッチパネルの位置座標を示す情報が記憶される。本例では、図６に示した特徴範囲Ａ〜Ｕ各々のタッチパネルのＸ軸方向の座標を示す「ｘｔ１」〜「ｘｔ２１」が記憶されている。また、図６に示した特徴範囲Ａ〜Ｕ各々のタッチパネルのＹ軸方向の座標を示す「ｙｔ１」〜「ｙｔ２１」が記憶されている。
【００３７】
ただし、電源を投入した後の最初である場合、位置設定部３０２は、例えば表示パネルの左端上端に近い特徴範囲を選択する。図６の図６０２の場合であれば、電源を投入した後の最初は特徴範囲Ａが選択される。ただし、電源を投入した後の特徴範囲の選択は表示パネルの左端上端に限定されるものではない。
【００３８】
位置設定部の動作について説明する。
図７は、位置設定部の動作の一実施例を示すフロー図である。ステップＳ７０１では、特徴抽出の処理が終了すると、位置設定部３０２が特徴抽出部３０１により抽出された記憶部３に記憶されている特徴範囲を取得する。
【００３９】
ステップＳ７０２では、位置設定部３０２が選択範囲とすることができる特徴範囲があるか否かを判定し、選択範囲とすることができる特徴範囲がある場合にはステップＳ７０３（Ｙｅｓ）に移行し、ない場合には位置設定部の処理を終了する（Ｎｏ）。選択範囲とすることができる特徴範囲がある場合とは、表示パネルに現在表示されている画像から特徴範囲が抽出された場合である。ない場合とは、表示パネルに現在表示されている画像から特徴範囲が抽出されなかった場合である。
【００４０】
ステップＳ７０３では、位置設定部３０２が特徴抽出部３０１により抽出された特徴範囲と該特徴範囲の中央位置座標とを関連付けて位置設定情報を生成し、記憶部３に記憶する。また、該中央位置座標に対応するタッチパネル座標を関連付けてもよい。図６の位置設定情報６０５を参照。
【００４１】
ステップＳ７０４では、位置設定部３０２が前回の特徴範囲が記憶されているか否かを判定し、記憶されていればステップＳ７０５（Ｙｅｓ）に移行し、記憶されていなければステップＳ７０９（Ｎｏ）に移行する。記憶されていない場合とは、例えば、電源投入後の最初の処理などが考えられる。
【００４２】
ステップＳ７０５では、位置設定部３０２が特徴抽出をする前に選択されていた特徴範囲と該特徴範囲に対応する中央位置座標とを記憶部３から取得する。例えば、特徴範囲が変更されるごとに、特徴範囲と該特徴範囲に対応する中央位置座標とを関連付けて記憶部３の選択範囲記憶情報に記憶する。図８は、選択範囲記憶情報と選択表示情報のデータ構造の一実施例を示す図である。図８の選択範囲記憶情報８０１は、「特徴範囲ＩＤ」「中央位置座標」「タッチパネル座標」に記憶される情報を有する。「特徴範囲ＩＤ」には、特徴範囲を識別する情報が記憶される。本例では、図６に示した特徴範囲Ａを識別する「Ａ」が記憶されている。「中央位置座標」には、特徴範囲の中央位置を示す表示パネルの座標を示す情報が記憶される。本例では、図６に示した特徴範囲Ａの中央位置を示す表示パネルのＸ軸方向の座標を示す「ｘ１」が記憶されている。また、図６に示した特徴範囲Ａの中央位置を示す表示パネルのＹ軸方向の座標を示す「ｙ１」が記憶されている。
【００４３】
ステップＳ７０６では、位置設定部３０２が操作情報に含まれる方向キーの示す方向の特徴範囲を、位置設定情報を参照して選択する。例えば、選択範囲記憶情報に図６０２に示されている特徴範囲Ａに関する情報が記憶され、方向キーが右方向である場合、特徴範囲Ｆと特徴範囲Ｆに関連する情報が選択される。なお、ステップＳ７０６の処理はなくてもよい。
【００４４】
ステップＳ７０７では、位置設定部３０２がステップＳ７０５またはステップＳ７０６で選択された特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）などを表示させる選択範囲情報を生成する。
【００４５】
ステップＳ７０８では、位置設定部３０２が選択範囲情報を表示制御部３０５に出力する。また、位置設定部３０２は選択表示情報も表示制御部３０５に出力する。図８の選択表示情報８０２は、「特徴範囲ＩＤ」「表示形式」に記憶される情報を有する。「特徴範囲ＩＤ」には、特徴範囲を識別する情報が記憶される。本例では、図６に示した特徴範囲Ａを識別する「Ａ」が記憶されている。「表示形式」には、利用者が認識可能な効果を該表示に加える情報が記憶されている。本例では、表示制御部３０５を用いて該表示の色の変更、該表示の反転、該表示を囲む線を表示パネル２０６に表示させる情報として「image type1」が記憶されている。
【００４６】
ステップＳ７０９では、位置設定部３０２が所定の位置の特徴範囲を選択する。例えば、所定の位置として記憶部３に記憶されている表示パネルの左端上端の位置座標に近い特徴範囲の中央位置座標を、位置設定情報を参照して検出し、左端上端の位置座標に近い中央位置座標に対応する特徴範囲を選択する。図６の図６０２の場合であれば、電源を投入した後の最初は特徴範囲Ａが選択される。ただし、電源を投入した後の特徴範囲の選択は表示パネルの左端上端に限定されるものではない。
【００４７】
ステップＳ７１０では、位置設定部３０２がステップＳ７０９で選択された特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）などが選択されたことを示す選択範囲情報を生成する。
【００４８】
ステップＳ７１１では、位置設定部３０２が選択範囲情報を表示制御部３０５に出力する。また、位置設定部３０２は選択表示情報も表示制御部３０５に出力する。
【００４９】
実行制御部について説明する。
実行制御部３０３は、情報処理装置１のＭＦキー（方向キー、決定キーなど）が選択されたときに入力されるＭＦキーの操作各々に対応する操作情報を取得する。そして、実行制御部３０３は取得した操作情報を用いて、ＭＦキーの方向キーが選択されたか否かを判定する。方向キーが選択された場合、現在選択されている特徴範囲と操作情報の方向キーの示す方向とを用いて、方向キーの示す方向にある特徴範囲を選択する。
【００５０】
例えば、実行制御部３０３は特徴抽出をする前に選択されていた特徴範囲と該特徴範囲に対応する中央位置座標とを記憶部３から取得する。また、実行制御部３０３は情報処理装置１のＭＦキー（方向キー、決定キーなど）が選択されたときに入力されるＭＦキーの操作各々に対応する操作情報を取得する。そして、実行制御部３０３は、特徴抽出をする前に選択されていた特徴範囲と取得した操作情報を用いて、位置設定情報を参照し、次の特徴範囲を検出する。検出後、実行制御部３０３は検出した特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）などが選択されていることを示す選択範囲情報を生成する。
【００５１】
また、実行制御部３０３は、特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）が現在選択されていることを、利用者が認識可能な効果を該表示に加える選択表示情報を生成する。選択表示情報は、例えば、表示制御部３０５を用いて該表示の色の変更、該表示の反転、該表示を囲む線を表示パネル２０６に表示させる情報が考えられる。また、位置設定部３０２は選択範囲情報と選択表示情報とを表示制御部３０５に送信する。
【００５２】
ただし、方向キーの示す方向に特徴範囲がない場合には、後述する予め決められた検索をする。
【００５３】
また、ＭＦキーの決定キーが選択された場合は、現在選択されている特徴範囲に対応する表示パネルの表示を選択し実行されるための決定情報を入力制御部３０４に送信する。すなわち、表示パネルに表示されたアイコンなどを、タッチパネルを用いて選択（タッチ）する場合に、選択されたアイコンに対応するアプリケーションを実行させるための情報と、決定情報は同じである。
【００５４】
また、現在選択されている特徴範囲が現在表示されている表示パネルの端で、受信した操作情報の有する方向キーの示す方向が表示パネルの外側を示している場合には、現在表示されている画面をスクロールして他の画面を表示することを示す表示範囲情報を生成する。表示範囲情報は、例えば、タッチパネルの操作における表示画面を指でスクロールするイベントに対応する情報である。この表示範囲情報を入力制御部３０４に送信する。
【００５５】
また、ウェブなどの閲覧時は特徴範囲の移動とページスクロールを、方向キーをダブルクリックなどに割り付けてもよい。
【００５６】
なお、ＭＦキー以外のキーによる操作に対応する情報は、タッチパネルの操作に対応させる。例えば、１０キー、文字入力キーなどにより入力された情報は、タッチパネルを用いた場合に使用する情報に変換する。なお、ＭＦキー以外のキーによる操作に対応する情報は、実行制御部３０３を介して入力制御部３０４に入力される。また、ＭＦキー以外のキーによる操作に対応する情報が、タッチパネルを用いた場合に使用する情報と同じ情報を用いる場合には、実行制御部３０３を介さず入力制御部３０４に該情報を入力してもよい。
【００５７】
実行制御部の動作について説明する。
図９〜図１１は、実行制御部の動作の一実施例を示すフロー図である。ステップＳ９０１で実行制御部３０３は、情報処理装置１のＭＦキー（方向キー、決定キーなど）が選択されたときに入力されるＭＦキーの操作各々に対応する操作情報を取得する。
【００５８】
ステップＳ９０２では、実行制御部３０３が操作情報を参照して方向キーであるか否かを判定し、方向キーである場合にはステップＳ９０３（Ｙｅｓ）に移行し、決定キーである場合にはステップＳ９１３（Ｎｏ）に移行する。
【００５９】
ステップＳ９０３では、実行制御部３０３が表示パネルに現在表示されている画像に対応する位置設定情報を参照し、選択範囲にすることができる特徴範囲があるか否かを判定し、ある場合にはステップＳ９０４（Ｙｅｓ）に移行する。選択範囲にすることができる特徴範囲がない場合にはステップＳ９１６（Ｎｏ）に移行する。
【００６０】
ステップＳ９０４では、実行制御部３０３が操作情報に含まれる方向キーの示す方向と位置設定情報とを参照し、現在選択されている特徴範囲から方向キーの示す方向に他の特徴範囲があるか否かを判定する。方向キーの示す方向に他の特徴範囲がある場合はステップＳ９０５（Ｙｅｓ）に移行し、方向キーの示す方向に他の特徴範囲がない場合はステップＳ９０９（Ｎｏ）に移行する。方向キーの示す方向に他の特徴範囲がない場合とは、例えば、現在選択されている特徴範囲の上下方向と左右方向に他の特徴範囲がない場合などである。
【００６１】
ステップＳ９０５では、実行制御部３０３が現在選択されている特徴範囲の中央位置座標を、位置設定情報を参照して取得する。
【００６２】
ステップＳ９０６では、実行制御部３０３がステップＳ９０５で取得した特徴範囲の中央位置座標と方向キーの示す方向とを用いて、方向キーの示す特徴範囲を選択する。
【００６３】
ステップＳ９０７では、実行制御部３０３がステップＳ９０６で選択された特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）などが選択されたことを示す選択範囲情報を生成する。
【００６４】
ステップＳ９０５〜Ｓ９０７では、例えば、ＭＦキーの方向キーが選択された場合、操作情報に含まれる方向キーを示す情報を用いて、記憶部３に記憶されている位置設定情報を参照し、次に選択される特徴範囲（中央位置座標など）を検出する。
【００６５】
例えば、図６の図６０２の特徴範囲Ａが現在選択されている場合に、方向キーの右方向キーが選択されたことを示す操作情報を受信すると、該操作情報を用いて位置設定情報６０５を参照し、特徴範囲Ａの右方向にある特徴範囲Ｆを検出する。また、図６の図６０２の特徴範囲Ｋが現在選択されている場合に、方向キーの左方向キーが選択されたことを示す操作情報を受信すると、該操作情報を用いて位置設定情報６０５を参照し、特徴範囲Ｋの左方向にある特徴範囲Ｆを検出する。また、図６の図６０２の特徴範囲Ｊが現在選択されている場合に、方向キーの上方向キーが選択されたことを示す操作情報を受信すると、該操作情報を用いて位置設定情報６０５を参照し、特徴範囲Ｊの上方向にある特徴範囲Ｉを検出する。また、図６の図６０２の特徴範囲Ｉが現在選択されている場合に、方向キーの下方向キーが選択されたことを示す操作情報を受信すると、該操作情報を用いて位置設定情報６０５を参照し、特徴範囲Ｉの下方向にある特徴範囲Ｊを検出する。
【００６６】
ステップＳ９０８では、実行制御部３０３が選択範囲情報を表示制御部３０５に出力する。また、実行制御部３０３は選択表示情報も表示制御部３０５に出力する。
【００６７】
ステップＳ９０９では、実行制御部３０３が予め決められた検索する。すなわち、現在選択されている特徴範囲から次の特徴範囲を選択する際に、受信した操作情報の有する方向キーの示す方向に特徴範囲がない場合、予め決められた順序で位置設定情報を参照して特徴範囲を検出する。予め決められた検索について説明する。図１２は、予め決められた検索の一実施例を示す図である。図１２の図１２０１の特徴範囲Ａが選択されている場合に、下方向キーが選択されると下方向には特徴範囲がないため、選択する特徴範囲を検出できなくなる。そこで、図１２の矢印１２０２に示すように、下方向に検索をし、表示パネル１２０１の下端まで検索しても特徴範囲が検出できない場合は、予め決められた幅Ｗ１離れた表示パネル１２０１の上端から下方向に検索を行う。この動作を繰り返して特徴範囲を検索する。本例では、特徴範囲Ｉが検出される。なお、本例では上記説明したように検索をしたが、予め決められた検索は限定されるものではない。
【００６８】
ステップＳ９１０では、実行制御部３０３が検索で検出した特徴範囲を選択し、ステップＳ９１１では、実行制御部３０３がステップＳ９１０で選択された特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）などが選択されたことを示す選択範囲情報を生成する。
【００６９】
ステップＳ９１２では、実行制御部３０３が選択範囲情報を表示制御部３０５に出力する。また、実行制御部３０３は選択表示情報も表示制御部３０５に出力する。
【００７０】
ステップＳ９１３では、実行制御部３０３が現在選択されている特徴範囲の中央位置座標を、位置設定情報を参照して取得する。
【００７１】
ステップＳ９１４では、実行制御部３０３がステップＳ９１３で選択された特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）などが選択され、決定したことを示す決定情報を生成する。
【００７２】
ステップＳ９１５では、実行制御部３０３が現在選択されている特徴範囲が決定されたことを示す決定情報を入力制御部３０４に出力する。なお、決定情報は実行中のユーザインタフェースとしてタッチパネルを採用したアプリケーソンソフトウェアにも入力される。後述する図１３を参照。
【００７３】
図１３は、実施形態１のソフトウェアの一実施例を示す図である。図１３に示す実施形態１のソフトウェは、記憶部３に記憶され、制御部２により実行される。実施形態１のソフトウェアは、例えば、アプリケーションソフトウェアレイヤ１３０１、アプリケーションフレームワークレイヤ１３０２、ドライバレイヤ１３０３などを有する。
【００７４】
アプリケーションソフトウェアレイヤ１３０１には１つ以上のユーザインタフェースとしてタッチパネルを採用したアプリケーソンソフトウェア１３０４を有している。
【００７５】
アプリケーションフレームワークレイヤ１３０２には、実行制御モジュール１３０５、入力制御モジュール１３０６、表示制御モジュール１３０７などを有している。実行制御モジュール１３０５は上記実行制御部３０３の機能を有する。入力制御モジュール１３０６は上記入力制御部３０４の機能を有する。表示制御モジュール１３０７は、上記表示制御部３０５の機能を有するとともに、アプリケーソンソフトウェア１３０４、実行制御モジュール１３０５、入力制御モジュール１３０６などからの表示に関する情報を受信し、受信した情報を用いて表示パネルの制御を行う。
【００７６】
ドライバレイヤ１３０３は、キードライバ１３０８、タッチパネルドライバ１３０９、表示ドライバ１３１０などを有している。キードライバ１３０８はキー制御ＩＣ２０１から入力されたキー操作に関する情報を取得してアプリケーションフレームワークレイヤ１３０２に入力する。タッチパネルドライバ１３０９はタッチパネル制御ＩＣ２０３から入力されたタッチパネル操作に関する情報を取得してアプリケーションフレームワークレイヤ１３０２に入力する。なお、タッチパネルドライバ１３０９はなくてもよい。表示ドライバ１３１０は、表示制御ＩＣ２０５から入力された表示パネルへの表示に関する情報を取得してアプリケーションフレームワークレイヤ１３０２に入力する。
【００７７】
ステップＳ９１６で実行制御部３０３は、現在選択されている特徴範囲が表示パネルの端の位置で、かつ方向キーが表示パネルの外方向を向いている場合はステップＳ９１７（Ｙｅｓ）に移行する。現在表示されている表示パネルに特徴範囲がない場合には処理を終了する（Ｎｏ）。
【００７８】
ステップＳ９１７では、実行制御部３０３が画面をスクロールして他の画面を表示させる表示範囲情報を生成する。例えば、図６の図６０２において表示パネルの端の特徴範囲Ａ、Ｂ、Ｃ、Ｅのうちいずれか１つが選択されている場合に、左方向キーが選択されたときは、現在の表示されている画面を右にスクロールして他の画面を表示させる情報を入力制御部３０４に送信する。また、図６の図６０２において表示パネルの端の特徴範囲Ｐ、Ｑ、Ｒ、Ｓ、Ｔのいずれか１つが選択されている場合に、右方向キーが選択されたときは、現在の表示されている画面を左にスクロールして他の画面を表示する情報を入力制御部３０４に送信する。また、図６の図６０２において表示パネルの端の特徴範囲Ａ、Ｆ、Ｋ、Ｐのいずれか１つが選択されている場合に、上方向キーが選択されたときは、現在の表示されている画面を下にスクロールして他の画面を表示させる情報を入力制御部３０４に送信する。また、図６の図６０２において表示パネルの端の特徴範囲Ｅ、Ｕ、Ｔのいずれか１つが選択されている場合に、下方向キーが選択されたときは、現在の表示されている画面を上にスクロールして他の画面を表示させる情報を入力制御部３０４に送信する。
【００７９】
ステップＳ９１８では、実行制御部３０３が表示範囲情報を入力制御部３０４に出力する。
【００８０】
入力制御部について説明する。
入力制御部３０４は、実行制御部３０３より生成した決定情報、表示範囲情報などを受信する。また、入力制御部３０４は受信した決定情報をアプリケーションプログラムに入力し、表示範囲情報を表示制御部３０５に送信する。なお、決定情報を表示制御部３０５に送信し、決定されたことを示す表示をさせるようにしてもよい。
【００８１】
入力制御部３０４が決定情報を受信したときについて説明する。例えば、現在選択されている特徴範囲の中央位置座標に対応するアプリケーションのアイコンである場合、該アイコンに対応するアプリケーションを実行することを示す情報を表示制御部３０５に送信する。本例ではアイコンの場合について示したが、ボタン（図６のＵ）などを決定する場合なども考えられる。
【００８２】
表示制御部について説明する。
表示制御部３０５は、実行制御部３０３または入力制御部３０４から送信された情報を受信し、該情報を用いてタッチパネルの操作に対応する処理を行うための情報を生成し、生成した情報を表示制御ＩＣ２０５に送信する。また、表示制御部３０５は、選択範囲情報に関連する表示パネルの画像上の表示箇所（例えば、アイコンやボタンなど）の選択については選択範囲レイヤーを用い、表示パネルの本来の画像を表示するのに用いる画像合成レイヤーと分ける。すなわち、画像合成レイヤーに選択範囲レイヤーを重ね合わせる処理をする。その結果、表示パネルの本来の画像自体に改変をくわえないですむ。また、アプリケーションプログラムが作成した本来の画像に対し、差分書き換えなどの画像処理をする場合があるため、本来の画像が生成された後、選択された表示箇所（例えば、アイコンやボタンなど）に選択されたこと示す表示を重ね合わせることが望ましい。
【００８３】
実施形態１によれば、ユーザインタフェースとしてタッチパネルを採用したアプリケーションプログラムであっても、アプリケーションプログラムに方向キーや決定キーなどのＭＦキー操作に対応した処理を追加しなくともＭＦキーで操作できるという効果を奏する。
【００８４】
実施形態２について説明する。
実施形態２では、実施形態１に加え無操作（例えば、画面の変化なし）の時間が所定の期間続いた場合、現在選択されている表示の選択範囲であることを示す表示を非表示（選択範囲を非表示）にする。すなわち、所定の期間、キーにより入力がない場合には無操作（例えば、画面の変化なし）とし、選択範囲を非表示にして消費電力を抑える。
【００８５】
また、現在選択されている表示箇所（例えば、アイコンやボタンなど）を決定した後、表示パネルに表示されている画面の更新中の場合、ＭＦキーからの入力を無効にする。
【００８６】
実施形態２における情報処理装置の動作について説明する。
図１４〜図１６は、実施形態２における情報処理装置の動作の一実施例を示すフロー図である。情報処理装置１は、電源が投入され表示パネルに画像が表示される。ステップＳ１４０１（特徴抽出処理）では、特徴抽出部３０１が現在表示パネルに表示されている画像に対して特徴抽出処理を行う。
【００８７】
ステップＳ１４０２（位置設定処理）では、位置設定部３０２がステップＳ１で抽出された特徴範囲と、該特徴範囲の中央位置座標と、タッチパネルの座標とを関連付け、位置設定情報を生成し、記憶部３に記憶する。例えば、図６の位置設定情報６０５を参照。また、電源が投入された最初のステップＳ１４０２では、記憶部３に記憶されている所定の位置座標に近い特徴範囲を選択する。
【００８８】
ステップＳ１４０３では、表示制御部３０５が特徴抽出の実行回数を示す変数Ｃｎｔに１を設定する（Ｃｎｔ＝１）。また、表示制御部３０５が特徴抽出を実施したか否かを示すフラグＦｌｇに実施したことを示す設定をする（Ｆｌｇ＝１）を設定する。また、表示制御部３０５が所定の時間を計測する第２のタイマを起動する。
【００８９】
ステップＳ１４０４では、表示制御部３０５は、制御部２に各種キー２０２を用いてキー入力がされたか否かを検出し、キーを用いて入力された場合はステップＳ１４０７（Ｙｅｓ）に移行し、入力されない場合にはステップＳ１４０５（Ｎｏ）に移行する。
【００９０】
ステップＳ１４０５では、第２のタイマがタイムアウトした場合はステップＳ１４０６（Ｙｅｓ）に移行し、タイムアウトしていない場合はステップＳ１４０４（Ｎｏ）に移行する。
【００９１】
ステップＳ１４０６では、表示制御部３０５が現在選択されている表示の選択範囲であることを示す表示を非表示（選択範囲を非表示）にする。すなわち、所定の期間、キーにより入力がない場合には無操作（例えば、画面の変化なし）とし、選択範囲を非表示にして消費電力を抑える。
【００９２】
ステップＳ１４０７では、制御部２（または実行制御部３０３）がＭＦキーを用いて入力されたことを検出した場合にはステップＳ１４０８（Ｙｅｓ）に移行し、ＭＦキー以外のキーを用いて入力されたことを検出した場合にはステップＳ１４０９（Ｎｏ）に移行する。
【００９３】
ステップＳ１４０８では、実行制御部３０３が実行制御処理を行う。ステップＳ１４０９では、ＭＦキー以外の入力制御を行う。例えば、１０キー、文字入力キーなどにより入力された情報は、タッチパネルを用いた場合に使用する情報に変換する。なお、ＭＦキー以外のキーによる操作に対応する情報は、実行制御部３０３を介して入力制御部３０４に入力される。
【００９４】
ステップＳ１４１０では、表示制御部３０５がフラグＦｌｇに特徴抽出を実施していないことを示す設定をする（Ｆｌｇ＝０）。Ｆｌｇ＝０にする理由は、ステップＳ１４０７〜ステップＳ１４０９の処理により、表示パネルに表示されている画像が変化している可能性があるため、再度特徴抽出を行うからである。また、特徴抽出を行う間隔を決める第１のタイマを起動する。
【００９５】
ステップＳ１４１１〜ステップＳ１４２３では、現在選択されている特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）が決定キーで決定され、アプリケーションにより画面が更新中であるとき、ＭＦキーの入力を無効にする。例えば、ＭＦキーの連打がされた場合に、ＭＦキーの入力を無効にすることで、アプリケーションによる画面の意味のない更新を防止する。
【００９６】
ステップＳ１４１１では、表示制御部３０５が各種キー２０２を用いてキー入力がされたか否かを検出し、キーを用いて入力された場合はステップＳ１４１７（Ｙｅｓ）に移行し、入力されない場合にはステップＳ１４１２（Ｎｏ）に移行する。
【００９７】
ステップＳ１４１２では、第１のタイマがタイムアウトした場合はステップＳ１４１３（Ｙｅｓ）に移行し、タイムアウトしていない場合はステップＳ１４１１（Ｎｏ）に移行する。
【００９８】
ステップＳ１４１３では、表示制御部３０５が特徴抽出の実行回数を示す変数Ｃｎｔが閾値Ｎより特徴抽出されている場合（Ｃｎｔ＞Ｎ）にはステップＳ１４０１（Ｙｅｓ）に移行し、変数Ｃｎｔが閾値Ｎ以下である場合にはステップＳ１４１４（Ｎｏ）に移行する。
【００９９】
なお、第１のタイマがタイムアウトしたのちに、特徴抽出の実行回数が閾値Ｎを越えたときにステップＳ１４０１に移行し、ステップＳ１４０６までの処理により現在選択されている表示の選択範囲であることを示す表示を非表示（選択範囲を非表示）にする。例えば、動画、地上波ディジタルなどの視聴中に誤って特徴抽出をしたとしても、誤って表示された選択範囲の示す表示を非表示することができる。
【０１００】
ステップＳ１４１４では特徴抽出処理をし、ステップＳ１４１５では位置設定処理を行う。
【０１０１】
ステップＳ１４１６では、表示制御部３０５が変数Ｃｎｔに１を加える（Ｃｎｔ＝Ｃｎｔ＋１）、またフラグＦｌｇに特徴抽出を実施したことを示す設定をする（Ｆｌｇ＝１）。また、第１のタイマを起動する。
【０１０２】
ステップＳ１４１７では、制御部２（または実行制御部３０３）がＭＦキーを用いて入力されたことを検出した場合にはステップＳ１４１９（Ｙｅｓ）に移行し、ＭＦキー以外のキーを用いて入力されたことを検出した場合にはステップＳ１４１８（Ｎｏ）に移行する。
【０１０３】
ステップＳ１４１８では、ＭＦキー以外の入力制御を行う。例えば、１０キー、文字入力キーなどにより入力された情報は、タッチパネルを用いた場合に使用する情報に変換する。なお、ＭＦキー以外のキーによる操作に対応する情報は、実行制御部３０３を介して入力制御部３０４に入力される。ステップＳ１４１８の処理が終了するとステップＳ１４１１に移行する。
【０１０４】
ステップＳ１４１９では、表示制御部３０５がフラグＦｌｇに特徴抽出を実施したことを示す設定（Ｆｌｇ＝１）されているか否かを判定し、実施したことを示す設定がされている場合にはステップＳ１４２０（Ｙｅｓ）移行する。実施したことを示す設定がされていない場合にはステップＳ１４１１（Ｎｏ）移行する。
【０１０５】
ステップＳ１４２０では、実行制御部３０３が実行制御処理を行う。
ステップＳ１４２１で表示制御部３０５は、決定が選択されたことによる決定イベント（表示パネルの画面を更新するイベントなど）があるか否かを判定し、決定イベントがあればステップＳ１４２２に移行し、なければステップＳ１４２３に移行する。
【０１０６】
ステップＳ１４２２では、表示制御部３０５が特徴抽出の実行回数を示す変数Ｃｎｔに１を設定する（Ｃｎｔ＝１）。また、表示制御部３０５が特徴抽出を実施したか否かを示すフラグＦｌｇに実施していないことを示す設定をする（Ｆｌｇ＝０）を設定する。また、表示制御部３０５が第１のタイマを起動する。ステップＳ１４２３の処理が終了するとステップＳ１４１１に移行する。
【０１０７】
すなわち、現在選択されている特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）が決定キーで決定され、アプリケーションにより画面が更新中であるとき、ＭＦキーの入力を無効にする。
【０１０８】
ステップＳ１４２３では、表示制御部３０５が特徴抽出の実行回数を示す変数Ｃｎｔに１を設定する（Ｃｎｔ＝１）。また、表示制御部３０５が第１のタイマを起動する。ステップＳ１４２３の処理が終了するとステップＳ１４１１に移行する。
【０１０９】
実施形態２によれば、ユーザインタフェースとしてタッチパネルを採用したアプリケーションプログラムであっても、アプリケーションプログラムに方向キーや決定キーなどのＭＦキー操作に対応した処理を追加しなくともＭＦキーで操作できるという効果を奏する。
【０１１０】
また、実施形態２では所定の期間キーにより入力がない場合には無操作（例えば、画面の変化なし）とし、選択範囲を非表示にして消費電力を抑える。
【０１１１】
また、現在選択されている表示箇所（例えば、アイコンやボタンなど）を決定した後、表示パネルに表示されている画面の更新中の場合、ＭＦキーからの入力を無効にする。
【０１１２】
また、実施形態１、２に限定されるものでなく、本発明の要旨を逸脱しない範囲内で種々の改良、変更が可能である。
【０１１３】
以上実施形態１、２に関し、更に以下の付記を開示する。
（付記１）
アプリケーションプログラムを実行できる表示パネルを備える情報処理装置であって、
前記表示パネルに表示されている画像に対して特徴抽出処理を行い、特徴範囲を抽出する特徴抽出部と、
前記特徴範囲と前記特徴範囲の前記表示パネルの位置を示す位置座標を関連付けて位置設定情報を生成し、前記位置設定情報を記憶部に記憶する位置設定部と、
方向キーを用いて入力がされた場合、前記方向キーの示す方向を用いて、前記位置設定情報を参照し、前記方向キーの示す方向にある位置座標の特徴範囲を選択し、該特徴範囲に対応する前記表示パネルに表示される表示箇所を示す選択範囲情報と前記表示箇所の表示の仕方を示す選択表示情報とに基づき前記表示パネルの表示を制御し、決定キーを用いて現在選択されている特徴範囲に対応する表示パネルの表示箇所が選択された場合、前記表示箇所が選択されたことを示す決定情報を生成し、前記決定情報に基づいて前記アプリケーションプログラムの実行を制御する、実行制御部と、
を備えることを特徴とする情報処理装置。
（付記２）
前記位置設定部は、
前記記憶部に特徴範囲が記憶されていない場合、予め決められた前記表示パネル上の位置座標に近い特徴範囲を選択することを特徴とする付記１に記載の情報処理装置。
（付記３）
前記実行制御部は、
前記方向キーの示す方向に前記特徴範囲がない場合、予め決められた順序で前記位置設定情報を参照して特徴範囲を検出することを特徴とする付記１または２に記載の情報処理装置。
（付記４）
前記実行制御部は、
現在選択されている特徴範囲が前記表示パネルの端で、受信した方向キーの示す方向が表示パネルの外側を示している場合、現在表示されている画面をスクロールして他の画面を表示する表示範囲情報を生成することを特徴とする付記１〜３のいずれか１つに記載の情報処理装置。
（付記５）
決められた時間内に前記方向キーおよび前記決定キーからの入力がない場合、前記表示パネルに表示される表示箇所を選択していることを示す表示を非表示にすることを特徴とする付記１に記載の情報処理装置。
（付記６）
前記表示パネルの画面の更新中に新たに受信した決定情報を無効にすることを特徴とする付記１に記載の情報処理装置。
（付記７）
コンピュータによって実行される情報処理方法であって、
表示パネルに表示されている画像に対して特徴抽出処理を行い、特徴範囲を抽出し、
前記特徴範囲と前記特徴範囲の前記表示パネルの位置を示す位置座標を関連付けて位置設定情報を生成し、前記位置設定情報を記憶部に記憶し、
方向キーを用いて入力がされた場合、前記方向キーの示す方向を用いて、前記位置設定情報を参照し、前記方向キーの示す方向にある位置座標の特徴範囲を選択し、該特徴範囲に対応する表示パネルに表示される表示箇所を示す選択範囲情報と前記表示箇所の表示の仕方を示す選択表示情報とに基づき前記表示パネルの表示を制御し、
決定キーを用いて現在選択されている特徴範囲に対応する表示パネルの表示箇所が選択された場合、前記表示箇所が選択されたことを示す決定情報を生成し、前記決定情報に基づいて前記アプリケーションプログラムの実行を制御する、
こと特徴とする情報処理方法。
（付記８）
前記コンピュータは、
前記記憶部に特徴範囲が記憶されていない場合、予め決められた前記表示パネル上の位置座標に近い特徴範囲を選択すること特徴とする付記７に記載の情報処理方法。
（付記９）
前記コンピュータは、
前記方向キーの示す方向に前記特徴範囲がない場合、予め決められた順序で前記位置設定情報を参照して特徴範囲を検出すること特徴とする付記７または８に記載の情報処理方法。
（付記１０）
前記コンピュータは、
現在選択されている特徴範囲が前記表示パネルの端で、受信した方向キーの示す方向が表示パネルの外側を示している場合、現在表示されている画面をスクロールして他の画面を表示する表示範囲情報を生成すること特徴とする付記７〜９のいずれか１つに記載の情報処理方法。
（付記１１）
前記コンピュータは、
決められた時間内に前記方向キーおよび前記決定キーからの入力がない場合、前記表示パネルに表示される表示箇所を選択していることを示す表示を非表示にすること特徴とする付記７に記載の情報処理方法。
（付記１２）
前記コンピュータは、
前記表示パネルの画面の更新中に新たに受信した決定情報を無効にすること特徴とする付記７に記載の情報処理方法。
（付記１３）
表示パネルに表示されている画像に対して特徴抽出処理を行い、特徴範囲を抽出し、
前記特徴範囲と前記特徴範囲の前記表示パネルの位置を示す位置座標を関連付けて位置設定情報を生成し、前記位置設定情報を記憶部に記憶し、
方向キーを用いて入力がされた場合、前記方向キーの示す方向を用いて、前記位置設定情報を参照し、前記方向キーの示す方向にある位置座標の特徴範囲を選択し、該特徴範囲に対応する表示パネルに表示される表示箇所を示す選択範囲情報と前記表示箇所の表示の仕方を示す選択表示情報とに基づき前記表示パネルの表示を制御し、
決定キーを用いて現在選択されている特徴範囲に対応する表示パネルの表示箇所が選択された場合、前記表示箇所が選択されたことを示す決定情報を生成し、前記決定情報に基づいて前記アプリケーションプログラムの実行を制御する、
処理をコンピュータに実行させる情報処理プログラム。
（付記１４）
前記記憶部に特徴範囲が記憶されていない場合、予め決められた前記表示パネル上の位置座標に近い特徴範囲を選択する、処理を前記コンピュータに実行させることを特徴とする付記１３に記載の情報処理プログラム。
（付記１５）
前記方向キーの示す方向に前記特徴範囲がない場合、予め決められた順序で前記位置設定情報を参照して特徴範囲を検出する、処理を前記コンピュータに実行させることを特徴とする付記１３または１４に記載の情報処理プログラム。
（付記１６）
現在選択されている特徴範囲が前記表示パネルの端で、受信した方向キーの示す方向が表示パネルの外側を示している場合、現在表示されている画面をスクロールして他の画面を表示する表示範囲情報を生成する、処理を前記コンピュータに実行させることを特徴とする付記１３〜１５のいずれか１つに記載の情報処理プログラム。
（付記１７）
決められた時間内に前記方向キーおよび前記決定キーからの入力がない場合、前記表示パネルに表示される表示箇所を選択していることを示す表示を非表示にする、処理を前記コンピュータに実行させることを特徴とする付記１３に記載の情報処理プログラム。
（付記１８）
前記表示パネルの画面の更新中に新たに受信した決定情報を無効にする、処理を前記コンピュータに実行させることを特徴とする付記１３に記載の情報処理プログラム。
【符号の説明】
【０１１４】
１ 情報処理装置
２ 制御部
３ 記憶部
４ 記録媒体読取装置
５ 入出力インタフェース
６ 通信インタフェース
７ バス
８ 記録媒体
９ 入出力部
２０１ キー制御ＩＣ
２０２ 各種キー
２０３ タッチパネル制御ＩＣ
２０４ タッチパネル
２０５ 表示制御ＩＣ
２０６ 表示パネル
２０７ マイク
２０８ スピーカ
２０９ カメラ
２１０ センサ
３０１ 特徴抽出部
３０２ 位置設定部
３０３ 実行制御部
３０４ 入力制御部
３０５ 表示制御部
４０１、６０１ 表示パネル
６０３ アイコン
６０４ 特徴範囲
６０５ 位置設定情報
８０１ 選択範囲記憶情報
８０２ 選択表示情報
１３０１ アプリケーションソフトウェアレイヤ
１３０２ アプリケーションフレームワークレイヤ
１３０３ ドライバレイヤ
１３０４ アプリケーソンソフトウェア
１３０５ 実行制御モジュール
１３０６ 入力制御モジュール
１３０７ 表示制御モジュール
１３０８ キードライバ
１３０９ タッチパネルドライバ
１３１０ ドライバ
【技術分野】
【０００１】
本発明は、複数のユーザインタフェースに対応可能な情報処理装置及びその方法に関する。
【背景技術】
【０００２】
ユーザインタフェースとしてタッチパネルを採用している情報処理装置では、タッチパネルから入力された情報を用いて操作を行うアプリケーションプログラムが採用されていることがある。このようなアプリケーションプログラムは、そもそもタッチインターフェースを想定して準備されたアプリケーションプログラムであるため、方向キーや決定キーなどのマルチファンクションキーをユーザインタフェースとして採用している情報処理装置には対応していないことがある。マルチファンクションキーをユーザインタフェースとして持つ情報処理装置に対応させるにはアプリケーションプログラムを変更することになる。そのため、アプリケーションプログラムの新たな開発を要する。そこで、タッチパネルを採用したアプリケーションプログラムであっても、マルチファンクションキーからの操作に対応することができる仕組みを情報処理装置に設けることが望まれている。
【０００３】
関連する技術として、複数の項目を含むメニュー選択画面上のタッチパネル、カーソルの移動方向を指示する方向キーおよび選択項目に対応する処理の実行を指示する実行キーを有する情報処理装置が知られている。その情報処理装置では、カーソルの表示は方向キーだけでなくタッチパネルで指示された位置に従って移動され、選択項目に対応する処理は実行キーの操作だけでなく、タッチオフ時に実行される。ただし、タッチオンから所定時間以上タッチ入力が継続された場合、タッチオフまでにタッチ開始時に指示された項目に対応する領域外でのタッチ入力があった場合には、選択項目に対応する処理は実行されない。あるいは、タッチオフまでにタッチ開始時に指示された位置から所定距離範囲外でのタッチ入力があった場合には、選択項目に対応する処理は実行されない。その結果、メニュー選択の際の操作性を向上できる。
【０００４】
また、関連する技術として、メニュー選択と入力を容易に実施する携帯電子機器の入力方法が知られている。この方法によれば、表示画面を複数の表示エリアに分割して、該分割された表示エリアに選択メニューを表示する。そして、操作者がメニュー選択を実施して入力する場合において、任意のメニュー画面で選択されたメニューに下位のメニュー項目が存在する場合に、選択されたメニュー項目を再度表示する。その結果、表示効率が高くメニュー構成の判りやすい入力方法を提供できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３１８３９３号公報
【特許文献２】特開平１０−３１２２６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、ユーザインタフェースとしてタッチパネルを採用したアプリケーションプログラムであっても、方向キーや決定キーなどのマルチファンクションキーで操作できる情報処理装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本形態の態様のひとつであるタッチパネルを用いて操作可能なアプリケーションプログラムを実行できる情報処理装置は、特徴抽出部、位置設定部、実行制御部を有している。
【０００８】
特徴抽出部は、表示パネルに表示されている画像に対して特徴抽出処理を行い、特徴範囲を抽出する。
【０００９】
位置設定部は、上記特徴範囲と上記特徴範囲の上記表示パネルの位置を示す位置座標を関連付けて位置設定情報を生成し、上記位置設定情報を記憶部に記憶する。
【００１０】
実行制御部は、方向キーを用いて入力がされた場合、上記方向キーの示す方向を用いて、上記位置設定情報を参照し、上記方向キーの示す方向にある位置座標の特徴範囲を選択する。そして、該特徴範囲に対応する表示パネルに表示される表示箇所を示す選択範囲情報と上記表示箇所の表示の仕方を示す選択表示情報とに基づき前記表示パネルの表示を制御する。
【００１１】
また、実行制御部は決定キーを用いて現在選択されている特徴範囲に対応する表示パネルの表示箇所が選択された場合、上記表示箇所が選択されたことを示す決定情報を生成する。そして、前記決定情報に基づいて前記アプリケーションプログラムの実行を制御する。
【発明の効果】
【００１２】
本実施の形態によれば、ユーザインタフェースとしてタッチパネルを採用したアプリケーションプログラムであっても、方向キーや決定キーなどのマルチファンクションキーで操作できるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】情報処理装置のハードウェアの一実施例を示す図である。
【図２】入出力部の一実施例を示す図である。
【図３】実施形態１の制御部の一実施例と、制御部と記憶部と入出力部の関係を示す図である。
【図４】表示パネルと表示パネルに表示された画像のドットの一実施例を示す図である。
【図５】特徴抽出の一実施例を示す図である。
【図６】表示パネルに表示された画像と該画像を特徴抽出した結果の一実施例を示す図である。
【図７】位置設定部の動作の一実施例を示すフロー図である。
【図８】選択範囲記憶情報と選択表示情報のデータ構造の一実施例を示す図である。
【図９】実行制御部の動作の一実施例を示すフロー図である。
【図１０】実行制御部の動作の一実施例を示すフロー図である。
【図１１】実行制御部の動作の一実施例を示すフロー図である。
【図１２】予め決められた検索の一実施例を示す図である。
【図１３】実施形態１のソフトウェアの一実施例を示す図である。
【図１４】実施形態２における情報処理装置の動作の一実施例を示すフロー図である。
【図１５】実施形態２における情報処理装置の動作の一実施例を示すフロー図である。
【図１６】実施形態２における情報処理装置の動作の一実施例を示すフロー図である。
【発明を実施するための形態】
【００１４】
以下図面に基づいて、実施形態について詳細を説明する。
実施形態１について説明する。
【００１５】
図１は、情報処理装置のハードウェアの一実施例を示す図である。図１に示す情報処理装置１は、制御部２、記憶部３、記録媒体読取装置４、入出力インタフェース５（入出力Ｉ／Ｆ）、通信インタフェース６（通信Ｉ／Ｆ）などをそれぞれ備えている。また、上記各構成部はバス７によってそれぞれ接続されている。例えば、情報処理装置１は携帯電話機、Personal Handy-phone System（ＰＨＳ）、スマートフォン、携帯情報端末、パーソナルコンピュータなどが考えられる。
【００１６】
制御部２はCentral Processing Unit（ＣＰＵ）、マルチコアＣＰＵ、プログラマブルなデバイス（Field Programmable Gate Array（ＦＰＧＡ）、Programmable Logic Device（ＰＬＤ）など）を用いることが考えられる。
【００１７】
記憶部３は、例えばRead Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）などのメモリやハードディスクなどが考えられる。なお、記憶部３にはパラメータ値、変数値などのデータを記録してもよいし、実行時のワークエリアとして用いてもよい。
【００１８】
記録媒体読取装置４は、制御部２の制御に従って記録媒体８に対するデータのリード／ライトを制御する。そして、記録媒体８に記録媒体読取装置４の制御で書き込まれたデータを記録させたり、記録媒体８に記録されたデータを読み取らせたりする。また、着脱可能な記録媒体８は、コンピュータで読み取り可能なnon-transitory（非一時的）な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）などがある。光ディスクには、Digital Versatile Disc（ＤＶＤ）、ＤＶＤ−ＲＡＭ、Compact Disc Read Only Memory（ＣＤ−ＲＯＭ）、ＣＤ−Ｒ(Recordable)／ＲＷ（ReWritable）などがある。光磁気記録媒体には、Magneto-Optical disk（ＭＯ）などがある。なお、記憶部３もnon-transitory（非一時的）な記録媒体に含まれる。
【００１９】
入出力インタフェース５には、入出力部９が接続され、入出力部９から入力された情報を受信し、バス７を介して制御部２に送信する。また、制御部２から送信されたデータに従って表示パネル（表示部）の画面上に情報などを表示する。
【００２０】
図２は、入出力部の一実施例を示す図である。図２の入出力部９は、キー制御Integrated Circuit（ＩＣ）２０１、各種キー２０２、タッチパネル制御Integrated Circuit（ＩＣ）２０３、タッチパネル２０４、表示制御Integrated Circuit（ＩＣ）２０５、表示パネル２０６、マイク２０７、スピーカ２０８、カメラ２０９、センサ２１０などが考えられる。表示パネル２０６は、例えば、液晶ディスプレイ、有機electroluminescence（ＥＬ）ディスプレイなどが考えられる。
【００２１】
ただし、情報処理装置１はタッチパネル制御ＩＣ２０３とタッチパネル２０４を備えない、キー入力だけに対応した情報処理装置１でもよい。
【００２２】
キー制御ＩＣ２０１は、各種キー２０２により入力された情報を制御部２に送信する。各種キー２０２は、方向キー、決定キーなどのマルチファンクションキー（ＭＦキー）、その他の入力キーなどを示している。タッチパネル制御ＩＣ２０３は、タッチパネル２０４から入力された情報を制御部２に送信する。例えば、タッチパネル専用ＩＣなどが考えられる。表示制御ＩＣ２０５は、制御部２から送信されたデータに従って表示パネル２０６に情報を表示する。例えば、表示パネル専用ＩＣなどが考えられる。
【００２３】
通信インタフェース６は、通信回線、Local Area Network（ＬＡＮ）接続やインターネット接続や無線接続を行うためのインタフェースである。また、通信インタフェース６は必要に応じ、他のコンピュータとの間のＬＡＮ接続やインターネット接続や無線接続を行うためのインタフェースである。
【００２４】
このようなハードウェア構成を有するコンピュータを用いることによって、後述する情報処理装置の各種処理機能が実現される。その場合情報処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、後述する処理機能（図７、図９〜１１、図１４〜１６など）がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体８に記録しておくことができる。
【００２５】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの記録媒体８が販売される。また、プログラムをサーバコンピュータの記憶装置に記録しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００２６】
プログラムを実行するコンピュータは、例えば、記録媒体８に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶部３に記憶する。そして、コンピュータは、自己の記憶部３からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、記録媒体８から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【００２７】
図３は、実施形態１の制御部の一実施例と、制御部と記憶部と入出力部の関係を示す図である。図３の制御部２には、特徴抽出部３０１、位置設定部３０２、実行制御部３０３、入力制御部３０４、表示制御部３０５が示されている。図３の入出力部９には、表示制御ＩＣ２０５、表示パネル２０６が示されている。
【００２８】
特徴抽出部について説明する。
特徴抽出部３０１は、特徴抽出を実行する指示を受信すると、表示パネル２０６に表示されている画像に対応する画像データを記憶部３から取得し、該画像データを解析して表示されている画像から特徴を抽出し、抽出した特徴を用いて特徴範囲を決定する。特徴範囲は、表示パネルに表示された図形に対応する。
【００２９】
特徴抽出の方法について説明する。
図４は、表示パネルと表示パネルに表示された画像のドットの一実施例を示す図である。図４のＢの画像のドットを示す図は、図４のＡの表示パネル４０１の一部を示している。本例では、図４のＡの表示パネル４０１に横方向のドットの座標Ａの位置を示す矢印と、縦方向のドットの座標１の位置を示す矢印が示されている。図４のＢは、横方向の座標Ａ、Ｂ、Ｃ〜を示す横座標４０２と、縦方向の座標１、２、３〜を示す縦座標４０３とが示されている。図４のＡの表示パネル４０１に示した横方向のドットの座標Ａと縦方向のドットの座標１は、図４のＢの横座標４０２の座標Ａと縦座標４０３の座標１と同じである。また、図４のＢは画像のドットが２色（白、黒）で表せる場合が示されている。２色に限定されるものではない。
【００３０】
図５は、特徴抽出処理の一実施例を示す図である。特徴抽出部３０１は、対象のドットの色素情報と対象のドットの左に隣接するドットの色素情報とを比較し、色素情報が違っているものを「１」とし、同じものを「０」とし、対象のドットに関連付ける。図５のＡの例では、座標Ａ１は隣接する左ドットがないので「０」が関連付けられている。座標Ｂ１の示すドットには隣接する座標Ａ１の示すドットがあり、座標Ｂ１と座標Ａ１の色素情報が違っているので、座標Ｂ１に「１」が関連付けられている。座標Ｃ１の示すドットには隣接する座標Ｂ１の示すドットがあり、座標Ｃ１と座標Ｂ１の色素情報が同じなので、座標Ｂ１に「０」が関連付けられている。本例では色素情報は白または黒を示す情報である。
【００３１】
次に、特徴抽出部３０１は、「１」が関連付けられているドットの左側の線分を抽出する。図５のＢでは、「１」が関連付けられているドット（斜線）の左側の線分（太線）を抽出したことが示されている。なお、抽出した線分の位置を示す情報は記憶部３に記憶される。
【００３２】
次に、特徴抽出部３０１は、対象のドットの色素情報と対象のドットの上に隣接するドットの色素情報とを比較し、色素情報が違っているものを「１」とし、同じものを「０」とし、対象のドットに関連付ける。図５のＣの例では、座標Ａ１は隣接する上ドットがないので「０」が関連付けられている。座標Ａ２の示すドットには隣接する座標Ａ１の示すドットがあり、座標Ａ２と座標Ａ１の色素情報が違っているので、座標Ａ２に「１」が関連付けられている。座標Ａ３の示すドットには隣接する座標Ａ２の示すドットがあり、座標Ａ３と座標Ａ２の色素情報が同じなので、座標Ａ３に「０」が関連付けられている。本例では色素情報は白または黒を示す情報である。
【００３３】
次に、特徴抽出部３０１は、「１」が関連付けられているドットの上側の線分を抽出する。図５のＤでは、「１」が関連付けられているドット（斜線）の上側の線分（太線）を抽出したことが示されている。なお、抽出した線分の位置を示す情報は記憶部３に記憶される。続いて、特徴抽出部３０１は左側の線分と上側の線分を合成する。図５のＥの例では、座標Ｃ３、Ｄ３、Ｅ３、Ｆ３、Ｃ４、Ｄ４、Ｅ４、Ｆ４で示されるドットにより構成される方形が、合成した線分により表されている。この方形を特徴範囲とする。なお、合成により求められた方形が一定の幅（左右の幅）で、かつ高さ（上下の幅）がない場合は特徴範囲としないことが考えられる。なお、特徴抽出は上記説明した以外の方法で抽出してもよい。
【００３４】
位置設定部について説明する。
位置設定部３０２は、特徴範囲と、特徴範囲の位置を示す表示パネルの位置座標とを関連付ける設定をし、記憶部３に記憶する。なお、特徴範囲とタッチパネルの座標を関連付けてもよい。
【００３５】
図６は、表示パネルに表示された画像と該画像を特徴抽出した結果の一実施例を示す図である。図６に示す表示パネル６０１には２０個のアイコンと１つのボタン（「ＯＫ」）が示されている。ただし、表示内容は表示パネル６０１に限定されるものではない。表示パネル６０１に表示されている画像に対して特徴抽出をした結果を示す図６０２には、２０個のアイコンに対応する特徴範囲Ａ〜Ｔが表示され、ボタンに対応する特徴範囲Ｕが表示されている。例えば、アイコン６０３は特徴範囲６０４に対応する。
【００３６】
位置設定部３０２は、例えば、図６の特徴範囲Ａ〜Ｕと特徴範囲Ａ〜Ｕの中央位置の座標を示す表示パネルの位置座標を対応付け、記憶部３に記憶する。図６は、位置設定情報のデータ構造の一実施例を示す図である。図６の位置設定情報６０５は、「特徴範囲ＩＤ」「中央位置座標」「タッチパネル座標」に記憶される情報を有する。「特徴範囲ＩＤ」には、特徴範囲を識別する情報が記憶される。本例では、図６に示した特徴範囲Ａ〜Ｕを識別する「Ａ」〜「Ｕ」が記憶されている。「中央位置座標」には、特徴範囲の中央位置を示す表示パネルの座標を示す情報が記憶される。本例では、図６に示した特徴範囲Ａ〜Ｕ各々の中央位置を示す表示パネルのＸ軸方向の座標を示す「ｘ１」〜「ｘ２１」が記憶されている。また、図６に示した特徴範囲Ａ〜Ｕ各々の中央位置を示す表示パネルのＹ軸方向の座標を示す「ｙ１」〜「ｙ２１」が記憶されている。「タッチパネル座標」には、中央位置座標に対応するタッチパネルの位置座標を示す情報が記憶される。本例では、図６に示した特徴範囲Ａ〜Ｕ各々のタッチパネルのＸ軸方向の座標を示す「ｘｔ１」〜「ｘｔ２１」が記憶されている。また、図６に示した特徴範囲Ａ〜Ｕ各々のタッチパネルのＹ軸方向の座標を示す「ｙｔ１」〜「ｙｔ２１」が記憶されている。
【００３７】
ただし、電源を投入した後の最初である場合、位置設定部３０２は、例えば表示パネルの左端上端に近い特徴範囲を選択する。図６の図６０２の場合であれば、電源を投入した後の最初は特徴範囲Ａが選択される。ただし、電源を投入した後の特徴範囲の選択は表示パネルの左端上端に限定されるものではない。
【００３８】
位置設定部の動作について説明する。
図７は、位置設定部の動作の一実施例を示すフロー図である。ステップＳ７０１では、特徴抽出の処理が終了すると、位置設定部３０２が特徴抽出部３０１により抽出された記憶部３に記憶されている特徴範囲を取得する。
【００３９】
ステップＳ７０２では、位置設定部３０２が選択範囲とすることができる特徴範囲があるか否かを判定し、選択範囲とすることができる特徴範囲がある場合にはステップＳ７０３（Ｙｅｓ）に移行し、ない場合には位置設定部の処理を終了する（Ｎｏ）。選択範囲とすることができる特徴範囲がある場合とは、表示パネルに現在表示されている画像から特徴範囲が抽出された場合である。ない場合とは、表示パネルに現在表示されている画像から特徴範囲が抽出されなかった場合である。
【００４０】
ステップＳ７０３では、位置設定部３０２が特徴抽出部３０１により抽出された特徴範囲と該特徴範囲の中央位置座標とを関連付けて位置設定情報を生成し、記憶部３に記憶する。また、該中央位置座標に対応するタッチパネル座標を関連付けてもよい。図６の位置設定情報６０５を参照。
【００４１】
ステップＳ７０４では、位置設定部３０２が前回の特徴範囲が記憶されているか否かを判定し、記憶されていればステップＳ７０５（Ｙｅｓ）に移行し、記憶されていなければステップＳ７０９（Ｎｏ）に移行する。記憶されていない場合とは、例えば、電源投入後の最初の処理などが考えられる。
【００４２】
ステップＳ７０５では、位置設定部３０２が特徴抽出をする前に選択されていた特徴範囲と該特徴範囲に対応する中央位置座標とを記憶部３から取得する。例えば、特徴範囲が変更されるごとに、特徴範囲と該特徴範囲に対応する中央位置座標とを関連付けて記憶部３の選択範囲記憶情報に記憶する。図８は、選択範囲記憶情報と選択表示情報のデータ構造の一実施例を示す図である。図８の選択範囲記憶情報８０１は、「特徴範囲ＩＤ」「中央位置座標」「タッチパネル座標」に記憶される情報を有する。「特徴範囲ＩＤ」には、特徴範囲を識別する情報が記憶される。本例では、図６に示した特徴範囲Ａを識別する「Ａ」が記憶されている。「中央位置座標」には、特徴範囲の中央位置を示す表示パネルの座標を示す情報が記憶される。本例では、図６に示した特徴範囲Ａの中央位置を示す表示パネルのＸ軸方向の座標を示す「ｘ１」が記憶されている。また、図６に示した特徴範囲Ａの中央位置を示す表示パネルのＹ軸方向の座標を示す「ｙ１」が記憶されている。
【００４３】
ステップＳ７０６では、位置設定部３０２が操作情報に含まれる方向キーの示す方向の特徴範囲を、位置設定情報を参照して選択する。例えば、選択範囲記憶情報に図６０２に示されている特徴範囲Ａに関する情報が記憶され、方向キーが右方向である場合、特徴範囲Ｆと特徴範囲Ｆに関連する情報が選択される。なお、ステップＳ７０６の処理はなくてもよい。
【００４４】
ステップＳ７０７では、位置設定部３０２がステップＳ７０５またはステップＳ７０６で選択された特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）などを表示させる選択範囲情報を生成する。
【００４５】
ステップＳ７０８では、位置設定部３０２が選択範囲情報を表示制御部３０５に出力する。また、位置設定部３０２は選択表示情報も表示制御部３０５に出力する。図８の選択表示情報８０２は、「特徴範囲ＩＤ」「表示形式」に記憶される情報を有する。「特徴範囲ＩＤ」には、特徴範囲を識別する情報が記憶される。本例では、図６に示した特徴範囲Ａを識別する「Ａ」が記憶されている。「表示形式」には、利用者が認識可能な効果を該表示に加える情報が記憶されている。本例では、表示制御部３０５を用いて該表示の色の変更、該表示の反転、該表示を囲む線を表示パネル２０６に表示させる情報として「image type1」が記憶されている。
【００４６】
ステップＳ７０９では、位置設定部３０２が所定の位置の特徴範囲を選択する。例えば、所定の位置として記憶部３に記憶されている表示パネルの左端上端の位置座標に近い特徴範囲の中央位置座標を、位置設定情報を参照して検出し、左端上端の位置座標に近い中央位置座標に対応する特徴範囲を選択する。図６の図６０２の場合であれば、電源を投入した後の最初は特徴範囲Ａが選択される。ただし、電源を投入した後の特徴範囲の選択は表示パネルの左端上端に限定されるものではない。
【００４７】
ステップＳ７１０では、位置設定部３０２がステップＳ７０９で選択された特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）などが選択されたことを示す選択範囲情報を生成する。
【００４８】
ステップＳ７１１では、位置設定部３０２が選択範囲情報を表示制御部３０５に出力する。また、位置設定部３０２は選択表示情報も表示制御部３０５に出力する。
【００４９】
実行制御部について説明する。
実行制御部３０３は、情報処理装置１のＭＦキー（方向キー、決定キーなど）が選択されたときに入力されるＭＦキーの操作各々に対応する操作情報を取得する。そして、実行制御部３０３は取得した操作情報を用いて、ＭＦキーの方向キーが選択されたか否かを判定する。方向キーが選択された場合、現在選択されている特徴範囲と操作情報の方向キーの示す方向とを用いて、方向キーの示す方向にある特徴範囲を選択する。
【００５０】
例えば、実行制御部３０３は特徴抽出をする前に選択されていた特徴範囲と該特徴範囲に対応する中央位置座標とを記憶部３から取得する。また、実行制御部３０３は情報処理装置１のＭＦキー（方向キー、決定キーなど）が選択されたときに入力されるＭＦキーの操作各々に対応する操作情報を取得する。そして、実行制御部３０３は、特徴抽出をする前に選択されていた特徴範囲と取得した操作情報を用いて、位置設定情報を参照し、次の特徴範囲を検出する。検出後、実行制御部３０３は検出した特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）などが選択されていることを示す選択範囲情報を生成する。
【００５１】
また、実行制御部３０３は、特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）が現在選択されていることを、利用者が認識可能な効果を該表示に加える選択表示情報を生成する。選択表示情報は、例えば、表示制御部３０５を用いて該表示の色の変更、該表示の反転、該表示を囲む線を表示パネル２０６に表示させる情報が考えられる。また、位置設定部３０２は選択範囲情報と選択表示情報とを表示制御部３０５に送信する。
【００５２】
ただし、方向キーの示す方向に特徴範囲がない場合には、後述する予め決められた検索をする。
【００５３】
また、ＭＦキーの決定キーが選択された場合は、現在選択されている特徴範囲に対応する表示パネルの表示を選択し実行されるための決定情報を入力制御部３０４に送信する。すなわち、表示パネルに表示されたアイコンなどを、タッチパネルを用いて選択（タッチ）する場合に、選択されたアイコンに対応するアプリケーションを実行させるための情報と、決定情報は同じである。
【００５４】
また、現在選択されている特徴範囲が現在表示されている表示パネルの端で、受信した操作情報の有する方向キーの示す方向が表示パネルの外側を示している場合には、現在表示されている画面をスクロールして他の画面を表示することを示す表示範囲情報を生成する。表示範囲情報は、例えば、タッチパネルの操作における表示画面を指でスクロールするイベントに対応する情報である。この表示範囲情報を入力制御部３０４に送信する。
【００５５】
また、ウェブなどの閲覧時は特徴範囲の移動とページスクロールを、方向キーをダブルクリックなどに割り付けてもよい。
【００５６】
なお、ＭＦキー以外のキーによる操作に対応する情報は、タッチパネルの操作に対応させる。例えば、１０キー、文字入力キーなどにより入力された情報は、タッチパネルを用いた場合に使用する情報に変換する。なお、ＭＦキー以外のキーによる操作に対応する情報は、実行制御部３０３を介して入力制御部３０４に入力される。また、ＭＦキー以外のキーによる操作に対応する情報が、タッチパネルを用いた場合に使用する情報と同じ情報を用いる場合には、実行制御部３０３を介さず入力制御部３０４に該情報を入力してもよい。
【００５７】
実行制御部の動作について説明する。
図９〜図１１は、実行制御部の動作の一実施例を示すフロー図である。ステップＳ９０１で実行制御部３０３は、情報処理装置１のＭＦキー（方向キー、決定キーなど）が選択されたときに入力されるＭＦキーの操作各々に対応する操作情報を取得する。
【００５８】
ステップＳ９０２では、実行制御部３０３が操作情報を参照して方向キーであるか否かを判定し、方向キーである場合にはステップＳ９０３（Ｙｅｓ）に移行し、決定キーである場合にはステップＳ９１３（Ｎｏ）に移行する。
【００５９】
ステップＳ９０３では、実行制御部３０３が表示パネルに現在表示されている画像に対応する位置設定情報を参照し、選択範囲にすることができる特徴範囲があるか否かを判定し、ある場合にはステップＳ９０４（Ｙｅｓ）に移行する。選択範囲にすることができる特徴範囲がない場合にはステップＳ９１６（Ｎｏ）に移行する。
【００６０】
ステップＳ９０４では、実行制御部３０３が操作情報に含まれる方向キーの示す方向と位置設定情報とを参照し、現在選択されている特徴範囲から方向キーの示す方向に他の特徴範囲があるか否かを判定する。方向キーの示す方向に他の特徴範囲がある場合はステップＳ９０５（Ｙｅｓ）に移行し、方向キーの示す方向に他の特徴範囲がない場合はステップＳ９０９（Ｎｏ）に移行する。方向キーの示す方向に他の特徴範囲がない場合とは、例えば、現在選択されている特徴範囲の上下方向と左右方向に他の特徴範囲がない場合などである。
【００６１】
ステップＳ９０５では、実行制御部３０３が現在選択されている特徴範囲の中央位置座標を、位置設定情報を参照して取得する。
【００６２】
ステップＳ９０６では、実行制御部３０３がステップＳ９０５で取得した特徴範囲の中央位置座標と方向キーの示す方向とを用いて、方向キーの示す特徴範囲を選択する。
【００６３】
ステップＳ９０７では、実行制御部３０３がステップＳ９０６で選択された特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）などが選択されたことを示す選択範囲情報を生成する。
【００６４】
ステップＳ９０５〜Ｓ９０７では、例えば、ＭＦキーの方向キーが選択された場合、操作情報に含まれる方向キーを示す情報を用いて、記憶部３に記憶されている位置設定情報を参照し、次に選択される特徴範囲（中央位置座標など）を検出する。
【００６５】
例えば、図６の図６０２の特徴範囲Ａが現在選択されている場合に、方向キーの右方向キーが選択されたことを示す操作情報を受信すると、該操作情報を用いて位置設定情報６０５を参照し、特徴範囲Ａの右方向にある特徴範囲Ｆを検出する。また、図６の図６０２の特徴範囲Ｋが現在選択されている場合に、方向キーの左方向キーが選択されたことを示す操作情報を受信すると、該操作情報を用いて位置設定情報６０５を参照し、特徴範囲Ｋの左方向にある特徴範囲Ｆを検出する。また、図６の図６０２の特徴範囲Ｊが現在選択されている場合に、方向キーの上方向キーが選択されたことを示す操作情報を受信すると、該操作情報を用いて位置設定情報６０５を参照し、特徴範囲Ｊの上方向にある特徴範囲Ｉを検出する。また、図６の図６０２の特徴範囲Ｉが現在選択されている場合に、方向キーの下方向キーが選択されたことを示す操作情報を受信すると、該操作情報を用いて位置設定情報６０５を参照し、特徴範囲Ｉの下方向にある特徴範囲Ｊを検出する。
【００６６】
ステップＳ９０８では、実行制御部３０３が選択範囲情報を表示制御部３０５に出力する。また、実行制御部３０３は選択表示情報も表示制御部３０５に出力する。
【００６７】
ステップＳ９０９では、実行制御部３０３が予め決められた検索する。すなわち、現在選択されている特徴範囲から次の特徴範囲を選択する際に、受信した操作情報の有する方向キーの示す方向に特徴範囲がない場合、予め決められた順序で位置設定情報を参照して特徴範囲を検出する。予め決められた検索について説明する。図１２は、予め決められた検索の一実施例を示す図である。図１２の図１２０１の特徴範囲Ａが選択されている場合に、下方向キーが選択されると下方向には特徴範囲がないため、選択する特徴範囲を検出できなくなる。そこで、図１２の矢印１２０２に示すように、下方向に検索をし、表示パネル１２０１の下端まで検索しても特徴範囲が検出できない場合は、予め決められた幅Ｗ１離れた表示パネル１２０１の上端から下方向に検索を行う。この動作を繰り返して特徴範囲を検索する。本例では、特徴範囲Ｉが検出される。なお、本例では上記説明したように検索をしたが、予め決められた検索は限定されるものではない。
【００６８】
ステップＳ９１０では、実行制御部３０３が検索で検出した特徴範囲を選択し、ステップＳ９１１では、実行制御部３０３がステップＳ９１０で選択された特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）などが選択されたことを示す選択範囲情報を生成する。
【００６９】
ステップＳ９１２では、実行制御部３０３が選択範囲情報を表示制御部３０５に出力する。また、実行制御部３０３は選択表示情報も表示制御部３０５に出力する。
【００７０】
ステップＳ９１３では、実行制御部３０３が現在選択されている特徴範囲の中央位置座標を、位置設定情報を参照して取得する。
【００７１】
ステップＳ９１４では、実行制御部３０３がステップＳ９１３で選択された特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）などが選択され、決定したことを示す決定情報を生成する。
【００７２】
ステップＳ９１５では、実行制御部３０３が現在選択されている特徴範囲が決定されたことを示す決定情報を入力制御部３０４に出力する。なお、決定情報は実行中のユーザインタフェースとしてタッチパネルを採用したアプリケーソンソフトウェアにも入力される。後述する図１３を参照。
【００７３】
図１３は、実施形態１のソフトウェアの一実施例を示す図である。図１３に示す実施形態１のソフトウェは、記憶部３に記憶され、制御部２により実行される。実施形態１のソフトウェアは、例えば、アプリケーションソフトウェアレイヤ１３０１、アプリケーションフレームワークレイヤ１３０２、ドライバレイヤ１３０３などを有する。
【００７４】
アプリケーションソフトウェアレイヤ１３０１には１つ以上のユーザインタフェースとしてタッチパネルを採用したアプリケーソンソフトウェア１３０４を有している。
【００７５】
アプリケーションフレームワークレイヤ１３０２には、実行制御モジュール１３０５、入力制御モジュール１３０６、表示制御モジュール１３０７などを有している。実行制御モジュール１３０５は上記実行制御部３０３の機能を有する。入力制御モジュール１３０６は上記入力制御部３０４の機能を有する。表示制御モジュール１３０７は、上記表示制御部３０５の機能を有するとともに、アプリケーソンソフトウェア１３０４、実行制御モジュール１３０５、入力制御モジュール１３０６などからの表示に関する情報を受信し、受信した情報を用いて表示パネルの制御を行う。
【００７６】
ドライバレイヤ１３０３は、キードライバ１３０８、タッチパネルドライバ１３０９、表示ドライバ１３１０などを有している。キードライバ１３０８はキー制御ＩＣ２０１から入力されたキー操作に関する情報を取得してアプリケーションフレームワークレイヤ１３０２に入力する。タッチパネルドライバ１３０９はタッチパネル制御ＩＣ２０３から入力されたタッチパネル操作に関する情報を取得してアプリケーションフレームワークレイヤ１３０２に入力する。なお、タッチパネルドライバ１３０９はなくてもよい。表示ドライバ１３１０は、表示制御ＩＣ２０５から入力された表示パネルへの表示に関する情報を取得してアプリケーションフレームワークレイヤ１３０２に入力する。
【００７７】
ステップＳ９１６で実行制御部３０３は、現在選択されている特徴範囲が表示パネルの端の位置で、かつ方向キーが表示パネルの外方向を向いている場合はステップＳ９１７（Ｙｅｓ）に移行する。現在表示されている表示パネルに特徴範囲がない場合には処理を終了する（Ｎｏ）。
【００７８】
ステップＳ９１７では、実行制御部３０３が画面をスクロールして他の画面を表示させる表示範囲情報を生成する。例えば、図６の図６０２において表示パネルの端の特徴範囲Ａ、Ｂ、Ｃ、Ｅのうちいずれか１つが選択されている場合に、左方向キーが選択されたときは、現在の表示されている画面を右にスクロールして他の画面を表示させる情報を入力制御部３０４に送信する。また、図６の図６０２において表示パネルの端の特徴範囲Ｐ、Ｑ、Ｒ、Ｓ、Ｔのいずれか１つが選択されている場合に、右方向キーが選択されたときは、現在の表示されている画面を左にスクロールして他の画面を表示する情報を入力制御部３０４に送信する。また、図６の図６０２において表示パネルの端の特徴範囲Ａ、Ｆ、Ｋ、Ｐのいずれか１つが選択されている場合に、上方向キーが選択されたときは、現在の表示されている画面を下にスクロールして他の画面を表示させる情報を入力制御部３０４に送信する。また、図６の図６０２において表示パネルの端の特徴範囲Ｅ、Ｕ、Ｔのいずれか１つが選択されている場合に、下方向キーが選択されたときは、現在の表示されている画面を上にスクロールして他の画面を表示させる情報を入力制御部３０４に送信する。
【００７９】
ステップＳ９１８では、実行制御部３０３が表示範囲情報を入力制御部３０４に出力する。
【００８０】
入力制御部について説明する。
入力制御部３０４は、実行制御部３０３より生成した決定情報、表示範囲情報などを受信する。また、入力制御部３０４は受信した決定情報をアプリケーションプログラムに入力し、表示範囲情報を表示制御部３０５に送信する。なお、決定情報を表示制御部３０５に送信し、決定されたことを示す表示をさせるようにしてもよい。
【００８１】
入力制御部３０４が決定情報を受信したときについて説明する。例えば、現在選択されている特徴範囲の中央位置座標に対応するアプリケーションのアイコンである場合、該アイコンに対応するアプリケーションを実行することを示す情報を表示制御部３０５に送信する。本例ではアイコンの場合について示したが、ボタン（図６のＵ）などを決定する場合なども考えられる。
【００８２】
表示制御部について説明する。
表示制御部３０５は、実行制御部３０３または入力制御部３０４から送信された情報を受信し、該情報を用いてタッチパネルの操作に対応する処理を行うための情報を生成し、生成した情報を表示制御ＩＣ２０５に送信する。また、表示制御部３０５は、選択範囲情報に関連する表示パネルの画像上の表示箇所（例えば、アイコンやボタンなど）の選択については選択範囲レイヤーを用い、表示パネルの本来の画像を表示するのに用いる画像合成レイヤーと分ける。すなわち、画像合成レイヤーに選択範囲レイヤーを重ね合わせる処理をする。その結果、表示パネルの本来の画像自体に改変をくわえないですむ。また、アプリケーションプログラムが作成した本来の画像に対し、差分書き換えなどの画像処理をする場合があるため、本来の画像が生成された後、選択された表示箇所（例えば、アイコンやボタンなど）に選択されたこと示す表示を重ね合わせることが望ましい。
【００８３】
実施形態１によれば、ユーザインタフェースとしてタッチパネルを採用したアプリケーションプログラムであっても、アプリケーションプログラムに方向キーや決定キーなどのＭＦキー操作に対応した処理を追加しなくともＭＦキーで操作できるという効果を奏する。
【００８４】
実施形態２について説明する。
実施形態２では、実施形態１に加え無操作（例えば、画面の変化なし）の時間が所定の期間続いた場合、現在選択されている表示の選択範囲であることを示す表示を非表示（選択範囲を非表示）にする。すなわち、所定の期間、キーにより入力がない場合には無操作（例えば、画面の変化なし）とし、選択範囲を非表示にして消費電力を抑える。
【００８５】
また、現在選択されている表示箇所（例えば、アイコンやボタンなど）を決定した後、表示パネルに表示されている画面の更新中の場合、ＭＦキーからの入力を無効にする。
【００８６】
実施形態２における情報処理装置の動作について説明する。
図１４〜図１６は、実施形態２における情報処理装置の動作の一実施例を示すフロー図である。情報処理装置１は、電源が投入され表示パネルに画像が表示される。ステップＳ１４０１（特徴抽出処理）では、特徴抽出部３０１が現在表示パネルに表示されている画像に対して特徴抽出処理を行う。
【００８７】
ステップＳ１４０２（位置設定処理）では、位置設定部３０２がステップＳ１で抽出された特徴範囲と、該特徴範囲の中央位置座標と、タッチパネルの座標とを関連付け、位置設定情報を生成し、記憶部３に記憶する。例えば、図６の位置設定情報６０５を参照。また、電源が投入された最初のステップＳ１４０２では、記憶部３に記憶されている所定の位置座標に近い特徴範囲を選択する。
【００８８】
ステップＳ１４０３では、表示制御部３０５が特徴抽出の実行回数を示す変数Ｃｎｔに１を設定する（Ｃｎｔ＝１）。また、表示制御部３０５が特徴抽出を実施したか否かを示すフラグＦｌｇに実施したことを示す設定をする（Ｆｌｇ＝１）を設定する。また、表示制御部３０５が所定の時間を計測する第２のタイマを起動する。
【００８９】
ステップＳ１４０４では、表示制御部３０５は、制御部２に各種キー２０２を用いてキー入力がされたか否かを検出し、キーを用いて入力された場合はステップＳ１４０７（Ｙｅｓ）に移行し、入力されない場合にはステップＳ１４０５（Ｎｏ）に移行する。
【００９０】
ステップＳ１４０５では、第２のタイマがタイムアウトした場合はステップＳ１４０６（Ｙｅｓ）に移行し、タイムアウトしていない場合はステップＳ１４０４（Ｎｏ）に移行する。
【００９１】
ステップＳ１４０６では、表示制御部３０５が現在選択されている表示の選択範囲であることを示す表示を非表示（選択範囲を非表示）にする。すなわち、所定の期間、キーにより入力がない場合には無操作（例えば、画面の変化なし）とし、選択範囲を非表示にして消費電力を抑える。
【００９２】
ステップＳ１４０７では、制御部２（または実行制御部３０３）がＭＦキーを用いて入力されたことを検出した場合にはステップＳ１４０８（Ｙｅｓ）に移行し、ＭＦキー以外のキーを用いて入力されたことを検出した場合にはステップＳ１４０９（Ｎｏ）に移行する。
【００９３】
ステップＳ１４０８では、実行制御部３０３が実行制御処理を行う。ステップＳ１４０９では、ＭＦキー以外の入力制御を行う。例えば、１０キー、文字入力キーなどにより入力された情報は、タッチパネルを用いた場合に使用する情報に変換する。なお、ＭＦキー以外のキーによる操作に対応する情報は、実行制御部３０３を介して入力制御部３０４に入力される。
【００９４】
ステップＳ１４１０では、表示制御部３０５がフラグＦｌｇに特徴抽出を実施していないことを示す設定をする（Ｆｌｇ＝０）。Ｆｌｇ＝０にする理由は、ステップＳ１４０７〜ステップＳ１４０９の処理により、表示パネルに表示されている画像が変化している可能性があるため、再度特徴抽出を行うからである。また、特徴抽出を行う間隔を決める第１のタイマを起動する。
【００９５】
ステップＳ１４１１〜ステップＳ１４２３では、現在選択されている特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）が決定キーで決定され、アプリケーションにより画面が更新中であるとき、ＭＦキーの入力を無効にする。例えば、ＭＦキーの連打がされた場合に、ＭＦキーの入力を無効にすることで、アプリケーションによる画面の意味のない更新を防止する。
【００９６】
ステップＳ１４１１では、表示制御部３０５が各種キー２０２を用いてキー入力がされたか否かを検出し、キーを用いて入力された場合はステップＳ１４１７（Ｙｅｓ）に移行し、入力されない場合にはステップＳ１４１２（Ｎｏ）に移行する。
【００９７】
ステップＳ１４１２では、第１のタイマがタイムアウトした場合はステップＳ１４１３（Ｙｅｓ）に移行し、タイムアウトしていない場合はステップＳ１４１１（Ｎｏ）に移行する。
【００９８】
ステップＳ１４１３では、表示制御部３０５が特徴抽出の実行回数を示す変数Ｃｎｔが閾値Ｎより特徴抽出されている場合（Ｃｎｔ＞Ｎ）にはステップＳ１４０１（Ｙｅｓ）に移行し、変数Ｃｎｔが閾値Ｎ以下である場合にはステップＳ１４１４（Ｎｏ）に移行する。
【００９９】
なお、第１のタイマがタイムアウトしたのちに、特徴抽出の実行回数が閾値Ｎを越えたときにステップＳ１４０１に移行し、ステップＳ１４０６までの処理により現在選択されている表示の選択範囲であることを示す表示を非表示（選択範囲を非表示）にする。例えば、動画、地上波ディジタルなどの視聴中に誤って特徴抽出をしたとしても、誤って表示された選択範囲の示す表示を非表示することができる。
【０１００】
ステップＳ１４１４では特徴抽出処理をし、ステップＳ１４１５では位置設定処理を行う。
【０１０１】
ステップＳ１４１６では、表示制御部３０５が変数Ｃｎｔに１を加える（Ｃｎｔ＝Ｃｎｔ＋１）、またフラグＦｌｇに特徴抽出を実施したことを示す設定をする（Ｆｌｇ＝１）。また、第１のタイマを起動する。
【０１０２】
ステップＳ１４１７では、制御部２（または実行制御部３０３）がＭＦキーを用いて入力されたことを検出した場合にはステップＳ１４１９（Ｙｅｓ）に移行し、ＭＦキー以外のキーを用いて入力されたことを検出した場合にはステップＳ１４１８（Ｎｏ）に移行する。
【０１０３】
ステップＳ１４１８では、ＭＦキー以外の入力制御を行う。例えば、１０キー、文字入力キーなどにより入力された情報は、タッチパネルを用いた場合に使用する情報に変換する。なお、ＭＦキー以外のキーによる操作に対応する情報は、実行制御部３０３を介して入力制御部３０４に入力される。ステップＳ１４１８の処理が終了するとステップＳ１４１１に移行する。
【０１０４】
ステップＳ１４１９では、表示制御部３０５がフラグＦｌｇに特徴抽出を実施したことを示す設定（Ｆｌｇ＝１）されているか否かを判定し、実施したことを示す設定がされている場合にはステップＳ１４２０（Ｙｅｓ）移行する。実施したことを示す設定がされていない場合にはステップＳ１４１１（Ｎｏ）移行する。
【０１０５】
ステップＳ１４２０では、実行制御部３０３が実行制御処理を行う。
ステップＳ１４２１で表示制御部３０５は、決定が選択されたことによる決定イベント（表示パネルの画面を更新するイベントなど）があるか否かを判定し、決定イベントがあればステップＳ１４２２に移行し、なければステップＳ１４２３に移行する。
【０１０６】
ステップＳ１４２２では、表示制御部３０５が特徴抽出の実行回数を示す変数Ｃｎｔに１を設定する（Ｃｎｔ＝１）。また、表示制御部３０５が特徴抽出を実施したか否かを示すフラグＦｌｇに実施していないことを示す設定をする（Ｆｌｇ＝０）を設定する。また、表示制御部３０５が第１のタイマを起動する。ステップＳ１４２３の処理が終了するとステップＳ１４１１に移行する。
【０１０７】
すなわち、現在選択されている特徴範囲に対応する表示箇所（例えば、アイコンやボタンなど）が決定キーで決定され、アプリケーションにより画面が更新中であるとき、ＭＦキーの入力を無効にする。
【０１０８】
ステップＳ１４２３では、表示制御部３０５が特徴抽出の実行回数を示す変数Ｃｎｔに１を設定する（Ｃｎｔ＝１）。また、表示制御部３０５が第１のタイマを起動する。ステップＳ１４２３の処理が終了するとステップＳ１４１１に移行する。
【０１０９】
実施形態２によれば、ユーザインタフェースとしてタッチパネルを採用したアプリケーションプログラムであっても、アプリケーションプログラムに方向キーや決定キーなどのＭＦキー操作に対応した処理を追加しなくともＭＦキーで操作できるという効果を奏する。
【０１１０】
また、実施形態２では所定の期間キーにより入力がない場合には無操作（例えば、画面の変化なし）とし、選択範囲を非表示にして消費電力を抑える。
【０１１１】
また、現在選択されている表示箇所（例えば、アイコンやボタンなど）を決定した後、表示パネルに表示されている画面の更新中の場合、ＭＦキーからの入力を無効にする。
【０１１２】
また、実施形態１、２に限定されるものでなく、本発明の要旨を逸脱しない範囲内で種々の改良、変更が可能である。
【０１１３】
以上実施形態１、２に関し、更に以下の付記を開示する。
（付記１）
アプリケーションプログラムを実行できる表示パネルを備える情報処理装置であって、
前記表示パネルに表示されている画像に対して特徴抽出処理を行い、特徴範囲を抽出する特徴抽出部と、
前記特徴範囲と前記特徴範囲の前記表示パネルの位置を示す位置座標を関連付けて位置設定情報を生成し、前記位置設定情報を記憶部に記憶する位置設定部と、
方向キーを用いて入力がされた場合、前記方向キーの示す方向を用いて、前記位置設定情報を参照し、前記方向キーの示す方向にある位置座標の特徴範囲を選択し、該特徴範囲に対応する前記表示パネルに表示される表示箇所を示す選択範囲情報と前記表示箇所の表示の仕方を示す選択表示情報とに基づき前記表示パネルの表示を制御し、決定キーを用いて現在選択されている特徴範囲に対応する表示パネルの表示箇所が選択された場合、前記表示箇所が選択されたことを示す決定情報を生成し、前記決定情報に基づいて前記アプリケーションプログラムの実行を制御する、実行制御部と、
を備えることを特徴とする情報処理装置。
（付記２）
前記位置設定部は、
前記記憶部に特徴範囲が記憶されていない場合、予め決められた前記表示パネル上の位置座標に近い特徴範囲を選択することを特徴とする付記１に記載の情報処理装置。
（付記３）
前記実行制御部は、
前記方向キーの示す方向に前記特徴範囲がない場合、予め決められた順序で前記位置設定情報を参照して特徴範囲を検出することを特徴とする付記１または２に記載の情報処理装置。
（付記４）
前記実行制御部は、
現在選択されている特徴範囲が前記表示パネルの端で、受信した方向キーの示す方向が表示パネルの外側を示している場合、現在表示されている画面をスクロールして他の画面を表示する表示範囲情報を生成することを特徴とする付記１〜３のいずれか１つに記載の情報処理装置。
（付記５）
決められた時間内に前記方向キーおよび前記決定キーからの入力がない場合、前記表示パネルに表示される表示箇所を選択していることを示す表示を非表示にすることを特徴とする付記１に記載の情報処理装置。
（付記６）
前記表示パネルの画面の更新中に新たに受信した決定情報を無効にすることを特徴とする付記１に記載の情報処理装置。
（付記７）
コンピュータによって実行される情報処理方法であって、
表示パネルに表示されている画像に対して特徴抽出処理を行い、特徴範囲を抽出し、
前記特徴範囲と前記特徴範囲の前記表示パネルの位置を示す位置座標を関連付けて位置設定情報を生成し、前記位置設定情報を記憶部に記憶し、
方向キーを用いて入力がされた場合、前記方向キーの示す方向を用いて、前記位置設定情報を参照し、前記方向キーの示す方向にある位置座標の特徴範囲を選択し、該特徴範囲に対応する表示パネルに表示される表示箇所を示す選択範囲情報と前記表示箇所の表示の仕方を示す選択表示情報とに基づき前記表示パネルの表示を制御し、
決定キーを用いて現在選択されている特徴範囲に対応する表示パネルの表示箇所が選択された場合、前記表示箇所が選択されたことを示す決定情報を生成し、前記決定情報に基づいて前記アプリケーションプログラムの実行を制御する、
こと特徴とする情報処理方法。
（付記８）
前記コンピュータは、
前記記憶部に特徴範囲が記憶されていない場合、予め決められた前記表示パネル上の位置座標に近い特徴範囲を選択すること特徴とする付記７に記載の情報処理方法。
（付記９）
前記コンピュータは、
前記方向キーの示す方向に前記特徴範囲がない場合、予め決められた順序で前記位置設定情報を参照して特徴範囲を検出すること特徴とする付記７または８に記載の情報処理方法。
（付記１０）
前記コンピュータは、
現在選択されている特徴範囲が前記表示パネルの端で、受信した方向キーの示す方向が表示パネルの外側を示している場合、現在表示されている画面をスクロールして他の画面を表示する表示範囲情報を生成すること特徴とする付記７〜９のいずれか１つに記載の情報処理方法。
（付記１１）
前記コンピュータは、
決められた時間内に前記方向キーおよび前記決定キーからの入力がない場合、前記表示パネルに表示される表示箇所を選択していることを示す表示を非表示にすること特徴とする付記７に記載の情報処理方法。
（付記１２）
前記コンピュータは、
前記表示パネルの画面の更新中に新たに受信した決定情報を無効にすること特徴とする付記７に記載の情報処理方法。
（付記１３）
表示パネルに表示されている画像に対して特徴抽出処理を行い、特徴範囲を抽出し、
前記特徴範囲と前記特徴範囲の前記表示パネルの位置を示す位置座標を関連付けて位置設定情報を生成し、前記位置設定情報を記憶部に記憶し、
方向キーを用いて入力がされた場合、前記方向キーの示す方向を用いて、前記位置設定情報を参照し、前記方向キーの示す方向にある位置座標の特徴範囲を選択し、該特徴範囲に対応する表示パネルに表示される表示箇所を示す選択範囲情報と前記表示箇所の表示の仕方を示す選択表示情報とに基づき前記表示パネルの表示を制御し、
決定キーを用いて現在選択されている特徴範囲に対応する表示パネルの表示箇所が選択された場合、前記表示箇所が選択されたことを示す決定情報を生成し、前記決定情報に基づいて前記アプリケーションプログラムの実行を制御する、
処理をコンピュータに実行させる情報処理プログラム。
（付記１４）
前記記憶部に特徴範囲が記憶されていない場合、予め決められた前記表示パネル上の位置座標に近い特徴範囲を選択する、処理を前記コンピュータに実行させることを特徴とする付記１３に記載の情報処理プログラム。
（付記１５）
前記方向キーの示す方向に前記特徴範囲がない場合、予め決められた順序で前記位置設定情報を参照して特徴範囲を検出する、処理を前記コンピュータに実行させることを特徴とする付記１３または１４に記載の情報処理プログラム。
（付記１６）
現在選択されている特徴範囲が前記表示パネルの端で、受信した方向キーの示す方向が表示パネルの外側を示している場合、現在表示されている画面をスクロールして他の画面を表示する表示範囲情報を生成する、処理を前記コンピュータに実行させることを特徴とする付記１３〜１５のいずれか１つに記載の情報処理プログラム。
（付記１７）
決められた時間内に前記方向キーおよび前記決定キーからの入力がない場合、前記表示パネルに表示される表示箇所を選択していることを示す表示を非表示にする、処理を前記コンピュータに実行させることを特徴とする付記１３に記載の情報処理プログラム。
（付記１８）
前記表示パネルの画面の更新中に新たに受信した決定情報を無効にする、処理を前記コンピュータに実行させることを特徴とする付記１３に記載の情報処理プログラム。
【符号の説明】
【０１１４】
１ 情報処理装置
２ 制御部
３ 記憶部
４ 記録媒体読取装置
５ 入出力インタフェース
６ 通信インタフェース
７ バス
８ 記録媒体
９ 入出力部
２０１ キー制御ＩＣ
２０２ 各種キー
２０３ タッチパネル制御ＩＣ
２０４ タッチパネル
２０５ 表示制御ＩＣ
２０６ 表示パネル
２０７ マイク
２０８ スピーカ
２０９ カメラ
２１０ センサ
３０１ 特徴抽出部
３０２ 位置設定部
３０３ 実行制御部
３０４ 入力制御部
３０５ 表示制御部
４０１、６０１ 表示パネル
６０３ アイコン
６０４ 特徴範囲
６０５ 位置設定情報
８０１ 選択範囲記憶情報
８０２ 選択表示情報
１３０１ アプリケーションソフトウェアレイヤ
１３０２ アプリケーションフレームワークレイヤ
１３０３ ドライバレイヤ
１３０４ アプリケーソンソフトウェア
１３０５ 実行制御モジュール
１３０６ 入力制御モジュール
１３０７ 表示制御モジュール
１３０８ キードライバ
１３０９ タッチパネルドライバ
１３１０ ドライバ
【特許請求の範囲】
【請求項１】
アプリケーションプログラムを実行できる表示パネルを備える情報処理装置であって、
前記表示パネルに表示されている画像に対して特徴抽出処理を行い、特徴範囲を抽出する特徴抽出部と、
前記特徴範囲と前記特徴範囲の前記表示パネルの位置を示す位置座標を関連付けて位置設定情報を生成し、前記位置設定情報を記憶部に記憶する位置設定部と、
方向キーを用いて入力がされた場合、前記方向キーの示す方向を用いて、前記位置設定情報を参照し、前記方向キーの示す方向にある位置座標の特徴範囲を選択し、該特徴範囲に対応する前記表示パネルに表示される表示箇所を示す選択範囲情報と前記表示箇所の表示の仕方を示す選択表示情報とに基づき前記表示パネルの表示を制御し、決定キーを用いて現在選択されている特徴範囲に対応する表示パネルの表示箇所が選択された場合、前記表示箇所が選択されたことを示す決定情報を生成し、前記決定情報に基づいて前記アプリケーションプログラムの実行を制御する、実行制御部と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記位置設定部は、
前記記憶部に特徴範囲が記憶されていない場合、予め決められた前記表示パネル上の位置座標に近い特徴範囲を選択することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記実行制御部は、
前記方向キーの示す方向に前記特徴範囲がない場合、予め決められた順序で前記位置設定情報を参照して特徴範囲を検出することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記実行制御部は、
現在選択されている特徴範囲が前記表示パネルの端で、受信した方向キーの示す方向が表示パネルの外側を示している場合、現在表示されている画面をスクロールして他の画面を表示する表示範囲情報を生成することを特徴とする請求項１〜３のいずれか１つに記載の情報処理装置。
【請求項５】
決められた時間内に前記方向キーおよび前記決定キーからの入力がない場合、前記表示パネルに表示される表示箇所を選択していることを示す表示を非表示にすることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記表示パネルの画面の更新中に新たに受信した決定情報を無効にすることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
コンピュータによって実行される情報処理方法であって、
表示パネルに表示されている画像に対して特徴抽出処理を行い、特徴範囲を抽出し、
前記特徴範囲と前記特徴範囲の前記表示パネルの位置を示す位置座標を関連付けて位置設定情報を生成し、前記位置設定情報を記憶部に記憶し、
方向キーを用いて入力がされた場合、前記方向キーの示す方向を用いて、前記位置設定情報を参照し、前記方向キーの示す方向にある位置座標の特徴範囲を選択し、該特徴範囲に対応する表示パネルに表示される表示箇所を示す選択範囲情報と前記表示箇所の表示の仕方を示す選択表示情報とに基づき前記表示パネルの表示を制御し、
決定キーを用いて現在選択されている特徴範囲に対応する表示パネルの表示箇所が選択された場合、前記表示箇所が選択されたことを示す決定情報を生成し、前記決定情報に基づいて前記アプリケーションプログラムの実行を制御する、
こと特徴とする情報処理方法。
【請求項８】
表示パネルに表示されている画像に対して特徴抽出処理を行い、特徴範囲を抽出し、
前記特徴範囲と前記特徴範囲の前記表示パネルの位置を示す位置座標を関連付けて位置設定情報を生成し、前記位置設定情報を記憶部に記憶し、
方向キーを用いて入力がされた場合、前記方向キーの示す方向を用いて、前記位置設定情報を参照し、前記方向キーの示す方向にある位置座標の特徴範囲を選択し、該特徴範囲に対応する表示パネルに表示される表示箇所を示す選択範囲情報と前記表示箇所の表示の仕方を示す選択表示情報とに基づき前記表示パネルの表示を制御し、
決定キーを用いて現在選択されている特徴範囲に対応する表示パネルの表示箇所が選択された場合、前記表示箇所が選択されたことを示す決定情報を生成し、前記決定情報に基づいて前記アプリケーションプログラムの実行を制御する、
処理をコンピュータに実行させる情報処理プログラム。
【請求項１】
アプリケーションプログラムを実行できる表示パネルを備える情報処理装置であって、
前記表示パネルに表示されている画像に対して特徴抽出処理を行い、特徴範囲を抽出する特徴抽出部と、
前記特徴範囲と前記特徴範囲の前記表示パネルの位置を示す位置座標を関連付けて位置設定情報を生成し、前記位置設定情報を記憶部に記憶する位置設定部と、
方向キーを用いて入力がされた場合、前記方向キーの示す方向を用いて、前記位置設定情報を参照し、前記方向キーの示す方向にある位置座標の特徴範囲を選択し、該特徴範囲に対応する前記表示パネルに表示される表示箇所を示す選択範囲情報と前記表示箇所の表示の仕方を示す選択表示情報とに基づき前記表示パネルの表示を制御し、決定キーを用いて現在選択されている特徴範囲に対応する表示パネルの表示箇所が選択された場合、前記表示箇所が選択されたことを示す決定情報を生成し、前記決定情報に基づいて前記アプリケーションプログラムの実行を制御する、実行制御部と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記位置設定部は、
前記記憶部に特徴範囲が記憶されていない場合、予め決められた前記表示パネル上の位置座標に近い特徴範囲を選択することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記実行制御部は、
前記方向キーの示す方向に前記特徴範囲がない場合、予め決められた順序で前記位置設定情報を参照して特徴範囲を検出することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記実行制御部は、
現在選択されている特徴範囲が前記表示パネルの端で、受信した方向キーの示す方向が表示パネルの外側を示している場合、現在表示されている画面をスクロールして他の画面を表示する表示範囲情報を生成することを特徴とする請求項１〜３のいずれか１つに記載の情報処理装置。
【請求項５】
決められた時間内に前記方向キーおよび前記決定キーからの入力がない場合、前記表示パネルに表示される表示箇所を選択していることを示す表示を非表示にすることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記表示パネルの画面の更新中に新たに受信した決定情報を無効にすることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
コンピュータによって実行される情報処理方法であって、
表示パネルに表示されている画像に対して特徴抽出処理を行い、特徴範囲を抽出し、
前記特徴範囲と前記特徴範囲の前記表示パネルの位置を示す位置座標を関連付けて位置設定情報を生成し、前記位置設定情報を記憶部に記憶し、
方向キーを用いて入力がされた場合、前記方向キーの示す方向を用いて、前記位置設定情報を参照し、前記方向キーの示す方向にある位置座標の特徴範囲を選択し、該特徴範囲に対応する表示パネルに表示される表示箇所を示す選択範囲情報と前記表示箇所の表示の仕方を示す選択表示情報とに基づき前記表示パネルの表示を制御し、
決定キーを用いて現在選択されている特徴範囲に対応する表示パネルの表示箇所が選択された場合、前記表示箇所が選択されたことを示す決定情報を生成し、前記決定情報に基づいて前記アプリケーションプログラムの実行を制御する、
こと特徴とする情報処理方法。
【請求項８】
表示パネルに表示されている画像に対して特徴抽出処理を行い、特徴範囲を抽出し、
前記特徴範囲と前記特徴範囲の前記表示パネルの位置を示す位置座標を関連付けて位置設定情報を生成し、前記位置設定情報を記憶部に記憶し、
方向キーを用いて入力がされた場合、前記方向キーの示す方向を用いて、前記位置設定情報を参照し、前記方向キーの示す方向にある位置座標の特徴範囲を選択し、該特徴範囲に対応する表示パネルに表示される表示箇所を示す選択範囲情報と前記表示箇所の表示の仕方を示す選択表示情報とに基づき前記表示パネルの表示を制御し、
決定キーを用いて現在選択されている特徴範囲に対応する表示パネルの表示箇所が選択された場合、前記表示箇所が選択されたことを示す決定情報を生成し、前記決定情報に基づいて前記アプリケーションプログラムの実行を制御する、
処理をコンピュータに実行させる情報処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図５】
【図６】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図５】
【図６】
【公開番号】特開２０１３−９７６４６（Ｐ２０１３−９７６４６Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４０８７８（Ｐ２０１１−２４０８７８）
【出願日】平成２３年１１月２日（２０１１．１１．２）
【出願人】（３１００２２３７２）富士通モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月２日（２０１１．１１．２）
【出願人】（３１００２２３７２）富士通モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
[ Back to top ]