説明

GUI実行装置、GUI実行方法、及びGUI実行プログラム

【課題】タッチパネルを備える機器をGUIの操作機器とした場合において、GUIがキー操作のみに対応している場合であっても、タッチパネルでの操作を可能にする。
【解決手段】タッチイベント処理部102は、GUI201がタッチ操作不可である場合、タッチパネル101に表示された仮想リモコンGUI202に対するユーザからタッチ操作を検知し、検知したタッチ操作の内容を示すタッチイベントEV1をGUI表示制御部103に通知する。タッチイベント変換部106は、タッチイベント処理部102からGUI表示制御部103に通知されたタッチイベントEV1を、GUI201を操作するために予め対応付けられたキーイベントKEVに変換し、GUI表示制御部103に通知する。GUI表示制御部103は、キーイベントKEVの処理をGUI201に実行させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、赤外線リモコン等のリモコン装置のキー操作によって操作することが想定されたグラフィカルユーザインターフェイス(GUI)に対して、タッチパネルでのタッチ操作を可能とする技術に関するものである。
【背景技術】
【0002】
近年、テレビ(TV)や録画機などのAV(Audio Visual)機器、タブレットやスマートフォンなどの携帯型情報端末、及びパーソナルコンピュータなどの様々なデジタル機器を相互にネットワーク接続し、様々な機器の機能を互いに連携させることにより実現される機器連携サービスが提案されている。
【0003】
例えば、機器の相互接続方式を定めたDLNA(登録商標:Digital Living Network Alliance)の規格では、録画機に保存された動画や写真などのコンテンツをネットワーク接続された機器から選択し、選択したコンテンツをネットワーク接続されたTVで再生することができる。
【0004】
このような機器連携サービスの従来技術として、接続元の機器(例えば、TV)からネットワークを介して接続先(例えば、録画機)のコンテンツを取得し、再生するだけでなく、より使いやすいGUIをユーザに提供するために、接続先の録画機からコンテンツ操作に適したGUIを取得し、接続元の機器で実行するものが知られている(例えば、非特許文献1参照)。非特許文献1の技術によって、接続元の機器によらず、接続先の録画機と同じ見た目や操作感を持つGUIを接続元の機器でも利用できることが可能になる。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】松永繁樹他「お部屋ジャンプリンク」Panasonic Technical Journal Vol.56 No.1 Apr.2010 (P27-P29)
【発明の概要】
【発明が解決しようとする課題】
【0006】
非特許文献1の技術では、リモコン装置でのキー操作に対応した接続先の録画機のGUIを接続元のTVで取得し、TVのリモコン装置を用いてキー操作することが前提とされている。
【0007】
しかしながら、近年、普及が著しいタブレット端末やスマートフォンなどのタッチパネルを持つ機器をGUIの操作機器とする場合、操作機器が取得する録画機のGUIはリモコン装置でのキー操作のみに対応しており、タッチパネルで操作することができないという課題があった。
【0008】
本発明の目的は、タッチパネルを備える機器をGUIの操作機器とした場合、操作機器が接続先の機器から取得したGUIがキー操作のみに対応している場合であっても、そのGUIを操作機器のタッチパネルで操作することを可能にする技術を提供することである。
【課題を解決するための手段】
【0009】
(1)本発明によるGUI実行装置は、ネットワークを介して接続されたGUIサーバから取得したGUIを実行するGUI実行装置であって、タッチパネルと、前記GUIサーバからGUIを取得するGUI取得部と、前記GUI取得部により取得されたGUIがタッチ操作可能なGUIであるか否かを判定するタッチ操作可否判定部と、前記タッチ操作可否判定部によりタッチ操作不可と判定された場合、前記GUI取得部により取得されたGUIを前記タッチパネルに表示し、かつ、前記タッチパネルに表示されたGUIをタッチ操作するための仮想リモコンGUIを表示するGUI表示制御部と、前記仮想リモコンGUIへのタッチ操作を検知した場合、検知したタッチ操作の内容を示すタッチイベントを前記GUI表示制御部に通知するタッチイベント処理部と、前記タッチイベント処理部から前記GUI表示制御部に通知されたタッチイベントを、前記GUIを操作するために予め対応付けられたキーイベントに変換し、前記GUI表示制御部に通知するタッチイベント変換部とを備え、前記GUI表示制御部は、前記タッチイベント変換部から通知されたキーイベントの処理を前記GUIに実行させる。
【0010】
この構成によれば、GUIサーバからGUIが取得されると、そのGUIがタッチ操作可能なGUIであるか否かが判定され、タッチ操作不可のGUIである場合、このGUIに加えて、このGUIをタッチ操作するための仮想リモコンGUIが表示される。
【0011】
そのため、ユーザは仮想リモコンGUIをタッチ操作することで、タッチ操作不可のGUIを操作することができる。これにより、タブレット端末やスマートフォン等の機器を用いた機器連携サービスをユーザに提供することができる。
【0012】
また、本構成では、仮想リモコンGUIのタッチ操作が検知されてタッチ操作の内容を示すタッチイベントが発生すると、そのタッチイベントが対応するGUIを操作するためのキーイベントに変換され、そのキーイベントがGUIによって処理される。そのため、GUIを提供する機器側に特別な構成を設けなくても、GUI実行装置は仮想リモコンGUIを介してユーザにGUIを操作させることができる。なお、本発明のGUI実行方法及びGUI実行プログラムはGUI実行装置と同じ特徴を持っている。
【0013】
(2)前記タッチイベント処理部は、前記仮想リモコンGUIの表示領域外へのユーザのタッチ操作を検知した場合、前記仮想リモコンGUIの表示領域外がタッチ操作されたことを示すタッチイベントを前記GUI表示制御部に通知し、前記GUI表示制御部は、前記タッチイベント処理部から前記仮想リモコンGUIの表示領域外がタッチ操作されたことを示すタッチイベントが通知された場合、前記仮想リモコンGUIへのタッチ操作を促すガイド画像を表示することが好ましい。
【0014】
この構成によれば、ユーザに対してより確実に仮想リモコンGUIの存在を認識させることができ、せっかく仮想リモコンGUIを表示してもそれが全く使用されないという事態を回避することができる。
【0015】
(3)前記GUI表示制御部は、前記仮想リモコンGUIの表示領域外がタッチ操作されたことを示すタッチイベントが連続して所定回数通知された場合、前記ガイド画像を表示することが好ましい。
【0016】
この構成によれば、ユーザが誤ってタッチパネルをタッチした場合において、ガイド画像が表示されることが防止され、ユーザに煩わしさを与えることを防止することができる。
【0017】
(4)前記タッチ操作可否判定部は、前記GUI取得部により取得されたGUIにタッチ操作可能であるか否かを示すタッチ対応フラグが設定されているか否かにより、前記GUIがタッチ操作可能であるか否かを判定することが好ましい。
【0018】
この構成によれば、GUIがタッチ操作可能であるか否かを正確に判定することができる。
【0019】
(5)前記タッチ操作可否判定部は、前記GUI取得部により取得されたGUIがタッチ操作可能であるか否かを前記GUIサーバに問い合わせることにより、前記GUIがタッチ操作可能であるか否かを判定することが好ましい。
【0020】
この構成によれば、GUIに特別な情報を設定しなくても、GUIがタッチ操作可能か否かを判定することができる。
【0021】
(6)前記タッチ操作可否判定部は、前記GUI取得部により取得されたGUIがGUI表示制御部により実行された際、タッチイベントの処理プログラムが呼び出されるか否かにより、前記GUIがタッチ操作可能であるか否かを判定することが好ましい。
【0022】
この構成によれば、GUIに特別な情報を設定せず、かつ、GUIサーバにGUIがタッチ操作可能か否かを問い合わせる処理を実行しなくても、GUIがタッチ操作可能であるか否かを判定することができる。
【0023】
(7)前記GUI表示制御部は、前記タッチ操作可否判定部により前記GUI取得部により取得されたGUIがタッチ操作可能と判定された場合、前記GUIのみを前記タッチパネルに表示し、前記タッチイベント処理部は、前記タッチパネルに表示されたGUIへのタッチ操作を検知し、検知したタッチ操作の内容を示すタッチイベントをGUI表示制御部に通知し、前記GUI表示制御部は、前記タッチイベント処理部から通知されたタッチイベントの処理を前記GUIに実行させることが好ましい。
【0024】
この構成によれば、GUIがタッチ操作可能である場合、ユーザはタッチ操作によりGUIを直接的に操作することができる。
【0025】
(8)前記仮想リモコンGUIを予め記憶する記憶部を更に備えることが好ましい。
【0026】
この構成によれば、仮想リモコンGUIをネットワークを介して取得するような処理を行うことなく仮想リモコンGUIをタッチパネルに表示させることができる。
【0027】
(9)前記GUI取得部は、前記仮想リモコンGUIを前記GUIサーバから取得することが好ましい。
【0028】
この構成によれば、必要に応じて仮想リモコンGUIを取得することができ、GUI実行装置のメモリリソースを節約することができる。また、GUIに対応する仮想リモコンGUIをGUIサーバから送信させることで、GUIの操作に適した仮想リモコンGUIを取得することができる。
【発明の効果】
【0029】
本発明によれば、取得したGUIがタッチ操作不可のGUIであっても、仮想リモコンGUIをタッチ操作させることで、ユーザにGUIを操作させることができる。そのため、タブレット端末やスマートフォン等のタッチパネルを入力手段とする機器を操作機器として別の機器を操作する場合の機器連携サービスを実現することができる。
【図面の簡単な説明】
【0030】
【図1】本発明の実施の形態におけるGUI実行装置を備えた情報機器とネットワークで接続されたGUIサーバとの構成図である。
【図2】(A)はタッチパネルに表示されるGUIの一例を示す画面図である。(B)はタッチパネルに表示される仮想リモコンGUIの一例を示す画面図である。
【図3】イベント変換テーブルの一例を示した図である。
【図4】図1に示す情報機器の処理を示すフローチャートである。
【図5】ユーザがタッチパネルに表示されたGUI又は仮想リモコンGUIをタッチ操作した際の情報機器の処理を示すフローチャートである。
【図6】(A)はGUIに重畳表示された仮想リモコンGUIの画面図であり、(B)はタッチパネルに表示されたガイド画像の一例を示す画面図である。
【発明を実施するための形態】
【0031】
以下、本発明の実施の形態について、図面を参照しながら説明する。図1は、本発明の実施の形態におけるGUI実行装置を備えた情報機器100とネットワーク120で接続されたGUIサーバ110との構成図である。
【0032】
図1において、GUIサーバ110は、本発明の実施の形態によるGUI実行装置で実行可能なGUIを保持し、GUI取得部105からのGUIの取得要求に従いGUIを情報機器100に提供する。以下の説明では、GUIサーバ110は、例えば録画機等のデジタル機器を想定し、赤外線リモコン等のキー操作が可能なリモコン装置によって操作されるGUIを備え、このGUIを情報機器100に送信する。
【0033】
また、以下の説明では、情報機器100は、例えばタブレット端末やスマートフォン等のタッチパネルを入力手段とする情報装置を想定している。
【0034】
GUIサーバ110は、DNLA(登録商標)を拡張したRUI(Remote User Interface)技術に基づいて、自身が保存する動画や写真等のコンテンツを、ネットワークを介して情報機器100に送信することができる。一方、情報機器100も、RUI技術に対応している。RUI技術では、非特許文献1に示されるように、ネットワーク接続された異なる機器間において、コンテンツだけでなく、GUIも共有することができる。
【0035】
したがって、情報機器100は、GUIサーバ110から送信されたGUIがタッチ操作可能であれば、ユーザがGUIをタッチ操作したときに発生するイベントを、GUIに処理させることが可能となる。これにより、情報機器100はGUIサーバ110から取得した映像等のコンテンツをタッチパネル101上に表示することができる。
【0036】
ネットワーク120としては、例えば、有線又は無線LANを介して機器を相互に接続するホームネットワークが採用される。これにより、GUIサーバ110及び情報機器100はユーザの自宅のホームネットワークを介して相互に通信可能に接続されることになる。
【0037】
情報機器100は、タッチパネル101、タッチイベント処理部102、GUI表示制御部103、タッチ操作可否判定部104、GUI取得部105、タッチイベント変換部106、通信インターフェース(通信I/F)107、及び仮想リモコン記憶部108を備えている。
【0038】
GUI取得部105は、通信I/F107及びネットワーク120を介してGUIサーバ110からGUIを取得する。ここで、GUI取得部105がGUIサーバ110から取得するGUIは、例えば、XML(Extensible Markup Language)、HTML(HyperText Markup Language)などのマークアップ言語やJavaScript(登録商標)などのスクリプト言語といったプログラム言語を用いて記述されている。以下、GUIは、上記のプログラム言語で記述されたプログラムを指し、GUI表示制御部103がGUIを実行することでタッチパネル101にGUIの画像が表示される。
【0039】
タッチ操作可否判定部104は、GUI取得部105により取得されたGUIがタッチ操作可能なGUIであるか否かを判定し、GUI表示制御部103に判定結果を通知する。ここで、タッチ操作とは、ユーザがタッチパネル101をタッチする操作を指す。また、タッチ操作可能なGUIとは、ユーザがタッチ操作することができるGUIを指す。また、タッチ操作不可のGUIとは、ユーザがタッチ操作することができないGUIを指す。以下、タッチ操作不可のGUIは、ユーザが赤外線リモコン等のリモコン装置のキー操作により操作することができるものとする。なお、キー操作とは、ユーザがリモコン装置に設けられたボタンを押す操作のことを指す。
【0040】
GUI表示制御部103は、GUI取得部105により取得されたGUIがタッチ操作不可であることを示す判定結果がタッチ操作可否判定部104から通知された場合、取得されたGUIをタッチパネル101に表示し、かつ、タッチパネル101に表示されたGUIをタッチ操作するための仮想リモコンGUIを仮想リモコン記憶部108から読み出してタッチパネル101に表示する。
【0041】
なお、GUI表示制御部103は、プログラムであるGUI及び仮想リモコンGUIの定義に従ってGUI要素の画像データを描画バッファに書き込み、GUI及び仮想リモコンGUIの画像をタッチパネル101に表示する。
【0042】
図2(A)は、タッチパネル101に表示されるGUI201の一例を示す画面図である。図2(A)に示すGUI201は、例えば、GUIサーバ110が保存している動画像データを一覧表示するGUIであり、ユーザが動画像データを再生する際に表示される。図2(A)の例では、動画像データとして、例えば、動画カメラにより撮影された動画像データが採用されている。GUI201は、垂直方向に並べられた複数の動画像データ表示欄2011を備えている。動画像データ表示欄2011は、1つの動画像データに対応して1つ設けられ、動画像データの“タイトル”、“撮影日”、及び“撮影時間”を表示する。
【0043】
GUI201は、タッチ操作不可のGUIであり、リモコン装置でキー操作されるGUIである。例えば、このGUI201が情報機器100ではなく、GUIサーバ110のディスプレイに表示されている場合、ユーザはGUIサーバ110のリモコン装置のUPキー又はDOWNキーをキー操作することで、図略のカーソルを移動させて動画像データ表示欄2011を選択することができる。図2(A)の例では、1行目の動画像データ表示欄2011が網点で表示されており、この動画像データ表示欄2011にカーソルが位置決めされている。そして、ユーザはリモコン装置の決定キーを押すと、選択した動画像データ表示欄2011に対応する動画像データが再生される。
【0044】
図2(B)は、タッチパネル101に表示される仮想リモコンGUI202の一例を示す画面図である。図2(B)に示す仮想リモコンGUI202は、UPボタン2021、DOWNボタン2022、RIGHTボタン2023、LEFTボタン2024、決定ボタン2025、Menuボタン2026、戻るボタン2027、及び閉じるボタン2028を備えている。
【0045】
例えば、UPボタン2021、DOWNボタン2022、RIGHTボタン2023、LEFTボタン2024は、それぞれ、GUI201に表示されたカーソルを上、下、左、右に移動させるボタンであり、ユーザがGUI201上の種々の項目を選択するために使用される。図2(A)、(B)の例では、ユーザは、UPボタン2021又はDOWNボタン2022をタッチ操作することで、GUI201上のカーソルを上又は下に移動させて所望の動画像データ表示欄2011を選択することができる。
【0046】
決定ボタン2025は、例えば、UPボタン2021やDOWNボタン2022を用いてユーザにより選択されたGUI201の項目を実行するために使用されるボタンである。例えば、ユーザは、再生を希望する動画像データ表示欄2011にカーソルを位置決めし、決定ボタン2025をタッチ操作すると、カーソルが位置決めされた動画像データ表示欄2011に対応する動画像データが再生される。
【0047】
Menuボタン2026は、例えば、種々の項目が一覧表示されたメニューのGUIを表示する際に用いられる。戻るボタン2027は、例えば、現在表示されているGUIを直前に表示されていたGUIに戻す際に使用される。閉じるボタン2028は、仮想リモコンGUI202を非表示にする際に使用される。
【0048】
本実施の形態では、GUI表示制御部103は、図6(A)、(B)に示すように仮想リモコンGUI202をGUI201に重畳して表示させる。このように、仮想リモコンGUI202をGUI201に重畳して表示させることで、仮想リモコンGUI202の存在をより確実にユーザに認識させることができ、仮想リモコンGUI202を用いたGUI201の操作をユーザに促すことができる。
【0049】
図1に戻り、GUI表示制御部103は、タッチ操作可否判定部104からGUI201がタッチ操作可能であるとの判定結果が通知された場合、仮想リモコンGUI202を表示させず、GUI201のみ表示させる。この場合、ユーザは、GUI201を直接タッチ操作することができる。
【0050】
タッチイベント処理部102は、GUI201がタッチ操作不可である場合、タッチパネル101に表示された仮想リモコンGUI202に対するユーザからタッチ操作を検知し、検知したタッチ操作の内容を示すタッチイベントEV1をGUI表示制御部103に通知する。
【0051】
タッチイベントEV1は、GUI201がタッチ操作不可の場合に生成されるタッチイベントであり、例えば、仮想リモコンGUI202において、ユーザによりタッチ操作されたGUI要素の識別情報(例えば、GUI要素名)が含まれている。例えば、ユーザがUPボタン2021をタッチ操作したとすると、UPボタン2021のGUI要素名がタッチイベントEV1に含まれる。
【0052】
具体的には、タッチイベント処理部102は、ユーザがタッチしたタッチパネル101の座標を取得し、その座標が仮想リモコンGUI202の表示領域内にあれば、ユーザが仮想リモコンGUI202をタッチ操作したと判定する。このとき、タッチイベント処理部102は、ユーザがタッチした座標が仮想リモコンGUI202を構成するどのGUI要素の表示領域に存在するかを判定し、ユーザがタッチ操作したGUI要素を特定し、特定したGUI要素のGUI要素名を含むタッチイベントEV1を生成する。一方、タッチイベント処理部102は、ユーザがタッチしたタッチパネル101の座標が仮想リモコンGUI202の表示領域外にあれば、ユーザは仮想リモコンGUI202の表示領域外をタッチ操作したと判定し、その情報を含むタッチイベントEV1を生成する。
【0053】
また、タッチイベント処理部102は、タッチパネル101に仮想リモコンGUI202が表示されない場合、すなわち、GUI201がタッチ操作可能である場合、タッチパネル101に表示されたGUI201に対するユーザからのタッチ操作を検知し、検知したタッチ操作の内容を示すタッチイベントEV2をGUI表示制御部103に通知する。
【0054】
タッチイベントEV2は、GUI201がタッチ操作可能の場合に生成されるタッチイベントであり、例えば、GUI201において、ユーザによりタッチ操作されたGUI要素の識別情報(例えば、GUI要素名)が含まれている。
【0055】
具体的には、タッチイベント処理部102は、ユーザがタッチしたタッチパネルの座標がGUI201を構成するどのGUI要素の表示領域に存在するかを判定し、ユーザがタッチ操作したGUI201のGUI要素を特定し、特定したGUI要素のGUI要素名を含むタッチイベントEV2を生成する。
【0056】
タッチイベント変換部106は、タッチイベント処理部102からGUI表示制御部103に通知されたタッチイベントEV1を、GUI201を操作するために予め対応付けられたキーイベントKEVに変換し、GUI表示制御部103に通知する。
【0057】
具体的には、タッチイベント変換部106は、GUI表示制御部103からタッチイベントEV1の変換依頼が通知されると、図3に示すようなイベント変換テーブルを仮想リモコン記憶部108から読み出し、変換依頼がされたタッチイベントEV1に対応するキーイベントKEVを特定し、特定したキーイベントKEVをGUI表示制御部103に通知する。なお、変換依頼には、変換対象となるタッチイベントEV1の内容を示す情報(具体的には、GUI要素名)が含まれる。
【0058】
図3は、イベント変換テーブルの一例を示した図である。イベント変換テーブルは、GUI要素の欄とキーイベントの欄とを備えている。GUI要素の欄には、仮想リモコンGUI202を構成する各GUI要素のGUI要素名が記載されている。したがって、GUI要素の欄には、UPボタン2021、DOWNボタン2022、RIGHTボタン2023、LEFTボタン2024、決定ボタン2025、Menuボタン2026、及び戻るボタン2027が記載されている。
【0059】
キーイベントの欄には、各GUI要素に対応するキーイベントが記載されている。ここで、キーイベントとは、リモコン装置をキー操作してGUI201を操作する際に発生するイベントである。例えば、リモコン装置のUPキーがキー操作された場合、KEY_UPのキーイベントが発生し、リモコン装置の決定キーがキー操作された場合、KEY_ENTERのキーイベントが発生する。
【0060】
つまり、イベント変換テーブルは、タッチ操作に対応していないGUI201をリモコン装置を用いてキー操作する場合に発生する既存のキーイベントKEVと、仮想リモコンGUI202をタッチ操作した場合に発生するタッチイベントEV1とを対応付けたテーブルである。
【0061】
そして、このイベント変換テーブルが存在しているため、情報機器100は、GUI201を操作するためのリモコン装置をユーザに用意させることなく、仮想リモコンGUI202をユーザにタッチ操作させることで、既存のGUI201をユーザに操作させることが可能となるのである。
【0062】
図3の例では、UPボタン、DOWNボタン、RIGHTボタン、LEFTボタン、Menuボタン、戻るボタン、及び決定ボタンのGUI要素に対して、KEY_UP、KEY_DOWN、KEY_RIGHT、KEY_LEFT、KEY_F1、KEY_BACK、KEY_ENTERのキーイベントが対応付けられている。
【0063】
KEY_UP、KEY_DOWN、KEY_RIGHT、KEY_LEFTのキーイベントは、例えばGUI201のカーソルを上、下、左、右に移動させるキーイベントである。KEY_F1のキーイベントは、例えばタッチパネル101にMenuのGUIを表示させるキーイベントである。KEY_BACKのキーイベントは、タッチパネル101に表示されているGUIを1つ前に表示されていたGUIに戻すためのキーイベントである。KEY_ENTERのキーイベントは、例えば、GUI201においてカーソルで選択された動画像データ表示欄2011に対応する画像データを再生させるキーイベントである。
【0064】
例えば、仮想リモコンGUI202において、ユーザがUPボタン2021をタッチ操作すると、UPボタン2021のタッチイベントEV1がタッチイベント処理部102で発生し、GUI表示制御部103からタッチイベント変換部106にタッチイベントEV1の変換依頼が通知される。タッチイベント変換部106は、変換依頼がされたタッチイベントEV1をKEY_UPのキーイベントKEVに変換し、GUI表示制御部103に通知する。このキーイベントKEVが通知されたGUI表示制御部103は、このキーイベントKEVの処理をGUI201に実行させる。この場合、GUI表示制御部103は、例えば、GUI201のカーソルを1つ上の動画像データ表示欄2011に移動させる。
【0065】
また、仮想リモコンGUI202において、ユーザが決定ボタン2025をタッチ操作すると、決定ボタン2025のタッチイベントEV1がタッチイベント処理部102で発生し、GUI表示制御部103からタッチイベント変換部106にタッチイベントEV1の変換依頼が通知される。
【0066】
タッチイベント変換部106は、変換依頼がされたタッチイベントEV1をKEY_ENTERのキーイベントKEVに変換し、GUI表示制御部103に通知する。このキーイベントKEVが通知されたGUI表示制御部103は、GUI201にKEY_ENTERのキーイベントKEVの処理を実行させる。この場合、GUI表示制御部103は、例えば、ユーザにより選択された動画像データを再生させるための再生要求REQを通信I/F107及びネットワーク120を介してGUIサーバ110に送信し、GUIサーバ110に動画像データを再生させる。GUIサーバ110は、動画像データを情報機器100に送信し、情報機器100のタッチパネル101に動画像データを表示させる。これにより、ユーザは、例えば別の部屋に設置されたGUIサーバ110に保存された動画像データを手元の情報機器100に表示させることができる。
【0067】
なお、GUI表示制御部103は、タッチイベント処理部102からタッチイベントEV2が通知された場合、キーイベントKEVに変換させる必要がないため、通知されたタッチイベントEV2の処理をそのままGUI201に実行させる。
【0068】
通信I/F107は、例えば、通信回路により構成され、情報機器100で生成された種々のデータをネットワーク120に送信し、かつ、ネットワーク120を流れる情報機器100宛てのデータを受信する。本実施の形態では、通信I/F107は、GUIサーバ110から送信されるGUI201や動画像データを受信し、かつ、再生要求REQ等をGUIサーバ110に送信する。
【0069】
仮想リモコン記憶部108は、例えば、不揮発性の記憶装置により構成され、仮想リモコンGUI202を予め記憶している。このように仮想リモコンGUI202を予め情報機器100に持たせておくことで、情報機器100が仮想リモコンGUI202を取得する処理を実行する手間を省くことができる。
【0070】
また、仮想リモコンGUI202は図2(B)に示すようなUPボタン2021、DOWNボタン2022等の4方向ボタン、決定ボタン2025、Menuボタン2026、及び戻るボタン2027を備えている。
【0071】
録画機器等のデジタル機器で採用されるGUIは、これらのボタンがあれば操作可能にデザインされていることが一般的である。したがって、本実施の形態では、仮想リモコンGUI202を仮想リモコン記憶部108に予め記憶させている。そのため、GUIサーバ110から送信された様々なGUI201に対して、仮想リモコンGUI202はほぼ対応することが可能となる。
【0072】
また、仮想リモコン記憶部108は、図3に示すイベント変換テーブルも予め記憶している。このイベント変換テーブルは仮想リモコンGUI202に対応して予め設計されている。そのため、タッチイベント変換部106は、仮想リモコン記憶部108に記憶されたイベント変換テーブルを用いることで、全てのタッチイベントEV1を確実に対応するキーイベントKEVに変換することができる。
【0073】
図4は、図1に示す情報機器100の処理を示すフローチャートである。以下、図4に従って、GUI201及び仮想リモコンGUI202を表示する際の情報機器100の具体的な処理について説明する。
【0074】
まず、ステップS401において、GUI取得部105は、GUIサーバ110からGUI201を取得する。この場合、GUI取得部105は、GUIサーバ110のURL(Uniform Resource Locator)を予め保持しておき、情報機器100の電源がオンされたとき、このURLにアクセスすることで、GUI201を取得すればよい。なお、GUI取得部105は、例えば、“http://GUIサーバ110のIPアドレス:接続ポート/index.html”というようにURLを指定して、URLにアクセスすればよい。
【0075】
なお、GUIサーバ110は、UPnP(Universal Plug and Play)規格で定められたM−Search機能などを利用してネットワーク120に存在する機器を検索することも可能である。この場合、例えば、GUIサーバ110は、M−Search機能を利用して情報機器100を検知すると、情報機器100に対して自身のURLを通知して、情報機器100にGUIサーバ110のURLを取得させるようにしてもよい。
【0076】
ステップS402において、GUI表示制御部103は、GUI取得部105により取得されたGUI201を実行し、GUI201をタッチパネル101へ表示する。このとき、GUI表示制御部103は、GUI201がタッチ操作対応であるか否かの判断依頼をタッチ操作可否判定部104に要求する。
【0077】
ステップS403において、タッチ操作可否判定部104は、GUI表示制御部103から判定依頼を受けたGUI201がタッチ操作可能であるか否かを判定し、判定結果をGUI表示制御部103へ渡す。
【0078】
このとき、タッチ操作可否判定部104は、GUI201において予めタッチ操作可能であるか否かを示す情報(例えば、タッチ対応フラグ)が設定されている場合、このタッチ対応フラグの状態に基づいて、GUI201がタッチ操作可能であるか否かを判定すればよい。タッチ対応フラグの状態としては“オン”又は“オフ”が存在する。したがって、タッチ操作可否判定部104は、タッチ対応フラグの状態としてオンが設定されている場合、GUI201はタッチ操作可能と判定し、タッチ対応フラグの状態としてオフが設定されている場合、GUI201はタッチ操作不可と判定すればよい。
【0079】
また、タッチ操作可否判定部104は、GUI201がタッチ操作可能であるか否かをGUIサーバ110に問い合わせることで判定してもよい。この場合、タッチ操作可否判定部104は、GUI201がタッチ操作可能であるか否かの判定依頼を通信I/F107及びネットワーク120を介してGUIサーバ110に送信する。この判定依頼を受信したGUIサーバ110は、GUI201がタッチ操作可能であるか否かを示す判定結果を情報機器100に送信する。タッチ操作可否判定部104は、GUIサーバ110から送信された判定結果を通信I/F107を介して受信し、受信した判定結果がタッチ操作可能であることを示す場合、GUI201はタッチ操作可能と判定し、受信した判定結果がタッチ操作不可であることを示す場合、GUI201はタッチ操作不可と判定すればよい。
【0080】
或いは、タッチ操作可否判定部104は、GUI201がGUI表示制御部103により実行された際、タッチイベントの処理プログラムが呼び出されるか否かによりGUI201がタッチ操作可能であるか否かを判定してもよい。
【0081】
ここで、GUI201がタッチ操作可能である場合、タッチイベントを処理するための処理プログラムを呼び出すための命令が記述されている。なお、タッチイベントを処理するための処理プログラムは、情報機器100で実行されるOSやミドルウェアにより予め用意されている。したがって、GUI表示制御部103がGUI201を実行した際にこの処理プログラムが呼び出された場合、タッチ操作可否判定部104は、GUI201がタッチ操作可能と判定し、この処理プログラムが呼び出されなかった場合、タッチ操作可否判定部104は、GUI201がタッチ操作不可と判定すればよい。
【0082】
或いは、タッチ操作可否判定部104は、GUI201にタッチイベントの処理プログラムを呼び出す命令が記述されているか否かを判定し、この呼び出す命令がGUI201に記述されていれば、GUI201がタッチ操作可能と判定し、この呼び出す命令がGUI201に記述されていなければ、GUI201がタッチ操作不可であると判定してもよい。
【0083】
ステップS404において、GUI表示制御部103は、タッチ操作可否判定部104によりタッチ操作不可と判定された場合(ステップS404でYES)、仮想リモコンGUI202をタッチパネル101に表示し、処理を終了する。つまり、GUI201がタッチ操作不可である場合、GUI201に重畳して仮想リモコンGUI202がタッチパネル101に表示される(ステップS405)。
【0084】
一方、ステップS404において、GUI表示制御部103は、タッチ操作可否判定部104によりGUI201がタッチ操作可能と判定された場合(S404でNO)、仮想リモコンGUI202をタッチパネル101に表示することなく、処理を終了する。この場合、タッチパネル101にはGUI201のみが表示されることになる。
【0085】
図5は、ユーザがタッチパネル101へ表示されたGUI201又は仮想リモコンGUI202をタッチ操作した際の情報機器100の処理を示すフローチャートである。なお、図5のフローチャートは、例えば、ユーザがタッチパネル101をタッチ操作した際に開始される。
【0086】
まず、ステップS501において、GUI201がタッチ操作可能である場合(ステップS501のNO)、タッチイベント処理部102は、ユーザがGUI201をタッチ操作した際のタッチ操作に応じたタッチイベントEV2をGUI表示制御部103に通知し、GUI表示制御部103は、GUI201にタッチイベントEV2の処理を実行させる(ステップS509)。
【0087】
一方、ステップS501において、GUI201がタッチ操作不可である場合(ステップS501でYES)、タッチイベント処理部102は、仮想リモコンGUI202がタッチ操作されたか否かを判定する(ステップS502)。
【0088】
なお、ステップS501の処理は、図4のフローチャートにおいて、タッチ操作可否判定部104がGUI201をタッチ操作可能と判定した場合、NOと判定され、タッチ操作可否判定部104がGUI201をタッチ操作不可と判定した場合、YESと判定される。
【0089】
そして、タッチイベント処理部102は、仮想リモコンGUI202がタッチ操作されたと判定した場合(ステップS502でYES)、ユーザがタッチ操作したGUI要素のGUI名を含むタッチイベントEV1をGUI表示制御部103に通知し、GUI表示制御部103はタッチイベントEV1の変換依頼をタッチイベント変換部106に通知する(ステップS503)。
【0090】
ステップS504において、タッチイベント変換部106は、図3に示すイベント変換テーブルを参照し、変換依頼がされたタッチイベントEV1を対応するキーイベントKEVに変換する。例えば、図3において、DOWNボタン2022がタッチ操作された場合、タッチイベントEV1はKEY_DOWNのキーイベントKEVへ変換される。
【0091】
ステップS505において、タッチイベント変換部106は、変換したキーイベントKEVをGUI表示制御部103に通知する。例えば、DOWNボタン2022のタッチイベントEV1が発生したとすると、KEY_DOWNのキーイベントKEVがGUI表示制御部103に通知される。
【0092】
ステップS506において、GUI表示制御部103は、GUI201に通知されたキーイベントKEVの処理を実行させる。例えば、KEY_DOWNのキーイベントKEVの処理が実行されたとすると、GUI201のカーソルが1つ下の動画像データ表示欄2011にずらされる。
【0093】
一方、ステップS502において、タッチイベント処理部102は、仮想リモコンGUI202が表示されている場合であって、仮想リモコンGUI202の表示領域外がタッチ操作された場合(ステップS502のNO)、仮想リモコンGUI202の表示領域外がタッチ操作された情報を含むタッチイベントEV1をGUI表示制御部103に通知する(ステップS507)。
【0094】
ステップS508において、GUI表示制御部103は、ユーザのタッチ操作が無効であり、仮想リモコンGUI202へのタッチ操作を促すガイド画像を表示する。
【0095】
図6(A)はGUI201に重畳表示された仮想リモコンGUI202の画面図であり、図6(B)はタッチパネル101に表示されたガイド画像601の一例を示す画面図である。
【0096】
ユーザが仮想リモコンGUI202の表示領域内をタッチ操作した場合、図6(A)に示すように、ガイド画像601は表示されない。一方、ユーザが仮想リモコンGUI202の表示領域外をタッチ操作した場合、図6(B)に示すガイド画像601が表示される。
【0097】
図6(B)の例では、“リモコンGUIで操作できます”といった文言が記述されたガイド画像601が表示されている。これにより、ユーザに対してより確実に仮想リモコンGUI202の存在を認識させることができ、せっかく仮想リモコンGUI202を表示してもそれが全く使用されないという事態を回避することができる。
【0098】
但し、仮想リモコンGUI202の表示領域外をタッチ操作するたびに、ガイド画像601を表示させるとユーザに煩わしさを与えてしまう虞がある。仮想リモコンGUI202の存在を一旦ユーザに認識させれば、以後、仮想リモコンGUI202の存在を頻繁に通知する必要はない。また、仮想リモコンGUI202の存在を認識しているユーザであっても、タッチ操作のミス等により偶然に仮想リモコンGUI202の表示領域外をタッチする可能性もある。
【0099】
そこで、GUI表示制御部103は、ユーザが仮想リモコンGUI202の表示領域外を連続して所定回数タッチ操作した場合に、ガイド画像601を表示するようにしてもよい。具体的には、GUI表示制御部103は、表示領域外タッチ操作カウンタを設け、タッチイベント処理部102から仮想リモコンGUI202の表示領域外がタッチ操作されたことを示すタッチイベントEV1が通知された回数をカウントする。そして、GUI表示制御部103は、表示領域外タッチ操作カウンタのカウント数が所定回数に到達した場合、ガイド画像601を表示するようにしてもよい。
【0100】
ここで、仮想リモコンGUI202の表示領域外としては、例えば、図6(A)において、仮想リモコンGUI202が表示されている四角形の領域以外のタッチパネル101上の領域を採用してもよいし、仮想リモコンGUI202を構成するGUI要素の表示領域外のタッチパネル101上の領域を採用してもよい。
【0101】
なお、GUI表示制御部103は、表示領域外カウンタのカウント数が所定回数に到達するまでに仮想リモコンGUI202がタッチ操作されたことを示すタッチイベントEV1が通知された場合、表示領域外カウンタをリセットすればよい。
【0102】
ユーザはGUI201のダウンロードした直後は仮想リモコンGUI202の存在を認識していない可能性が高いが、GUI201を何回かダウンロードすると仮想リモコンGUI202の存在を十分に認識すると考えられる。したがって、GUI表示制御部103は、GUI201のダウンロード回数が増大するにつれて、所定回数を連続的又は段階的に増大させてもよい。
【0103】
図1に示す情報機器100によれば、キー操作のみに対応したGUI201を、タッチパネル101に表示された仮想リモコンGUI202をタッチ操作させることで、ユーザに操作させることができる。
【0104】
なお、GUI表示制御部103は、仮想リモコンGUI202をタッチパネル101に表示した後、表示が不必要だと判定した場合、仮想リモコンGUI202を非表示にしてもよい。
【0105】
ここで、表示が不必要であると判定する場合としては、例えば、仮想リモコンGUI202を表示した後、一定期間、ユーザからタッチ操作がされない場合や、仮想リモコンGUI202を操作して動画像データの再生指示がユーザにより行われ、動画像データの再生が情報機器100で開始された場合等が該当する。
【0106】
この場合、GUI表示制御部103は、仮想リモコンGUI202の再度表示する必要があると判定した場合は、非表示にした仮想リモコンGUI202を再度タッチパネル101に表示させればよい。
【0107】
再度表示する必要がある場合としては、ユーザが一定期間、仮想リモコンGUI202を操作しないために仮想リモコンGUI202を非表示にした場合においては、再び、ユーザがタッチパネル101にタッチした場合が挙げられる。また、動画像データの再生を開始したために仮想リモコンGUI202を非表示にした場合にあっては、動画像データの再生が終了し、再度、GUI201が表示された場合が挙げられる。
【0108】
また、本実施の形態において、ユーザはタッチパネル101に表示された仮想リモコンGUI202をタッチパネル上の任意の位置にスライドさせることが可能である。この場合、タッチイベント処理部102は、ユーザが仮想リモコンGUI202の表示領域内をタッチしてスライドさせた場合、仮想リモコンGUI202がスライド移動されていると判定し、その情報を含むタッチイベントEV1をGUI表示制御部103に通知する。そして、GUI表示制御部103は、このタッチイベントEV1にしたがって、仮想リモコンGUI202をユーザの指の動きと連動させてタッチパネル101上で移動表示させればよい。
【0109】
これにより、仮想リモコンGUI202によって隠れていたGUI201の領域が露出され、ユーザは隠れていたGUI201の領域の情報を認識することができる。
【0110】
なお、上記実施の形態では、仮想リモコン記憶部108は、1種類の仮想リモコンGUI202を記憶していたが、本発明はこれに限定されない。すなわち、仮想リモコン記憶部108は、複数種類の仮想リモコンGUI202を記憶してもよい。
【0111】
複数種類の仮想リモコンGUI202としては、例えばGUIサーバ110の種類に応じた仮想リモコンGUI202が挙げられる。情報機器100が取得するGUI201として、例えば、録画機器、テレビ、オーディオ等の機器のGUIが想定されるのであれば、仮想リモコン記憶部108は、これらの機器のGUI201の操作に適した種類別の仮想リモコンGUI202を予め記憶しておけばよい。
【0112】
この場合、GUIサーバ110からダウンロードされるGUI201に機器種類情報を含ませておき、GUI表示制御部103は、この機器種類情報に基づいて対応する仮想リモコンGUI202を仮想リモコン記憶部108から読み出して実行すればよい。また、イベント変換テーブルも各仮想リモコンGUI202に対応するイベント変換テーブルを予め用意して仮想リモコン記憶部108に記憶させておけばよい。
【0113】
また、上記実施の形態では、仮想リモコン記憶部108に予め記憶された仮想リモコンGUI202を使用するものとしたが、本発明はこれに限定されない。すなわち、GUIサーバ110からGUI201を取得する際、GUI取得部105は、このGUI201に対応する仮想リモコンGUI202及びイベント変換テーブルを取得すればよい。この場合、GUI取得部105は、GUI201、仮想リモコンGUI202及び仮想リモコンGUI202をGUI表示制御部103に渡し、イベント変換テーブルをタッチイベント変換部106に渡すようにすればよい。こうすることで、情報機器100はGUI201を確実に操作することができる仮想リモコンGUI202を取得することができる。
【0114】
また、上記実施の形態では、GUIサーバ110はGUI201を実行する録画機等のデジタル機器を想定したが、本発明はこれに限定されない。すなわち、GUIサーバ110として、GUI201を配信するインターネット上に設けられたGUI配信サーバを採用してもよい。この場合、GUI取得部105は、このGUI配信サーバのURLを予め保持しておき、インターネットを介してGUI配信サーバにアクセスしてもよい。
【0115】
この場合、情報機器100はGUI201を持つ機器からGUI201の配信先であるGUI配信サーバのURLを取得し、このURLにアクセスすることでGUI201を取得するようにしてもよい。ここで、GUI配信サーバは、GUI201を配信する際、対応する仮想リモコンGUI202及びイベント変換テーブルも情報機器100に送信すればよい。こうすることで、GUI201を実行する機器に仮想リモコンGUI202等を保持させることなく、情報機器100に仮想リモコンGUI202を取得させることができる。
【0116】
なお、上述した本発明の実施の形態にかかるGUI実行装置の処理手順は、記憶装置(ROM、RAM、ハードディスク等)に格納された上述した処理手順を実行可能な所定のプログラムデータが、CPUによって解釈実行されることで実現されてもよい。この場合、プログラムデータは、記憶媒体を介して記憶装置内に導入されてもよいし、記憶媒体上から直接実行されてもよい。なお、記憶媒体は、ROMやRAMやフラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、CD−ROMやDVDやBD等の光ディスクメモリ、及びメモリカード等をいう。また、記憶媒体は、電話回線や搬送路等の通信媒体を含む概念である。
【0117】
また、上述した本発明の実施形態に係るGUI実行装置の各構成は、それぞれ集積回路であるLSIとして実現することができる。これらは、個別に1チップ化されてもよいし、それぞれにおいて全てまたは一部を含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
【0118】
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応例が可能性としてありえる。
【産業上の利用可能性】
【0119】
本発明にかかるGUI実行装置は、GUIをネットワーク上のGUIサーバから取得し実行する情報機器において、取得したGUIがリモコン装置などのキー操作を想定したGUIであってもタッチパネルを備えた機器上で実行可能とする場合に有用である。
【符号の説明】
【0120】
100 情報機器
101 タッチパネル
102 タッチイベント処理部
103 GUI表示制御部
104 タッチ操作可否判定部
105 GUI取得部
106 タッチイベント変換部
107 通信I/F
108 仮想リモコン記憶部
110 GUIサーバ
201 GUI
202 仮想リモコンGUI
601 ガイド画像

【特許請求の範囲】
【請求項1】
ネットワークを介して接続されたGUIサーバから取得したGUIを実行するGUI実行装置であって、
タッチパネルと、
前記GUIサーバからGUIを取得するGUI取得部と、
前記GUI取得部により取得されたGUIがタッチ操作可能なGUIであるか否かを判定するタッチ操作可否判定部と、
前記タッチ操作可否判定部によりタッチ操作不可と判定された場合、前記GUI取得部により取得されたGUIを前記タッチパネルに表示し、かつ、前記タッチパネルに表示されたGUIをタッチ操作するための仮想リモコンGUIを表示するGUI表示制御部と、
前記仮想リモコンGUIへのタッチ操作を検知した場合、検知したタッチ操作の内容を示すタッチイベントを前記GUI表示制御部に通知するタッチイベント処理部と、
前記タッチイベント処理部から前記GUI表示制御部に通知されたタッチイベントを、前記GUIを操作するために予め対応付けられたキーイベントに変換し、前記GUI表示制御部に通知するタッチイベント変換部とを備え、
前記GUI表示制御部は、前記タッチイベント変換部から通知されたキーイベントの処理を前記GUIに実行させるGUI実行装置。
【請求項2】
前記タッチイベント処理部は、前記仮想リモコンGUIの表示領域外へのユーザのタッチ操作を検知した場合、前記仮想リモコンGUIの表示領域外がタッチ操作されたことを示すタッチイベントを前記GUI表示制御部に通知し、
前記GUI表示制御部は、前記タッチイベント処理部から前記仮想リモコンGUIの表示領域外がタッチ操作されたことを示すタッチイベントが通知された場合、前記仮想リモコンGUIへのタッチ操作を促すガイド画像を表示する請求項1記載のGUI実行装置。
【請求項3】
前記GUI表示制御部は、前記仮想リモコンGUIの表示領域外がタッチ操作されたことを示すタッチイベントが連続して所定回数通知された場合、前記ガイド画像を表示する請求項2記載のGUI実行装置。
【請求項4】
前記タッチ操作可否判定部は、前記GUI取得部により取得されたGUIにタッチ操作可能であるか否かを示すタッチ対応フラグが設定されているか否かにより、前記GUIがタッチ操作可能であるか否かを判定する請求項1〜3のいずれかに記載のGUI実行装置。
【請求項5】
前記タッチ操作可否判定部は、前記GUI取得部により取得されたGUIがタッチ操作可能であるか否かを前記GUIサーバに問い合わせることにより、前記GUIがタッチ操作可能であるか否かを判定する請求項1〜3のいずれかに記載のGUI実行装置。
【請求項6】
前記タッチ操作可否判定部は、前記GUI取得部により取得されたGUIがGUI表示制御部により実行された際、タッチイベントの処理プログラムが呼び出されるか否かにより、前記GUIがタッチ操作可能であるか否かを判定する請求項1〜3のいずれかに記載のGUI実行装置。
【請求項7】
前記GUI表示制御部は、前記タッチ操作可否判定部により前記GUI取得部により取得されたGUIがタッチ操作可能と判定された場合、前記GUIのみを前記タッチパネルに表示し、
前記タッチイベント処理部は、前記タッチパネルに表示されたGUIへのタッチ操作を検知し、検知したタッチ操作の内容を示すタッチイベントをGUI表示制御部に通知し、
前記GUI表示制御部は、前記タッチイベント処理部から通知されたタッチイベントの処理を前記GUIに実行させる請求項1〜6のいずれかに記載のGUI実行装置。
【請求項8】
前記仮想リモコンGUIを予め記憶する記憶部を更に備える請求項1〜7のいずれかに記載のGUI実行装置。
【請求項9】
前記GUI取得部は、前記仮想リモコンGUIを前記GUIサーバから取得する請求項1〜7のいずれかに記載のGUI実行装置。
【請求項10】
ネットワークを介して接続されたGUIサーバから取得したGUIを、タッチパネルを備えるGUI装置が実行するGUI実行方法であって、
GUI実行装置が、前記GUIサーバからGUIを取得するGUI取得ステップと、
GUI実行装置が、前記GUI取得ステップにより取得されたGUIがタッチ操作可能なGUIであるか否かを判定するタッチ操作可否判定ステップと、
GUI実行装置が、前記タッチ操作可否判定ステップによりタッチ操作不可と判定された場合、前記GUI取得部により取得されたGUIを前記タッチパネルに表示し、かつ、前記タッチパネルに表示されたGUIをタッチ操作するための仮想リモコンGUIを表示するGUI表示制御ステップと、
GUI実行装置が、前記仮想リモコンGUIへのタッチ操作を検知した場合、検知したタッチ操作の内容を示すタッチイベントを通知するタッチイベント処理ステップと、
GUI実行装置が、前記タッチイベント処理ステップにより通知されたタッチイベントを、前記GUIを操作するために予め対応付けられたキーイベントに変換するタッチイベント変換ステップとを備え、
前記GUI表示制御ステップは、前記タッチイベント変換ステップにより通知されたキーイベントの処理を前記GUIに実行させるGUI実行方法。
【請求項11】
ネットワークを介して接続されたGUIサーバから取得したGUIを実行するGUI実行装置としてコンピュータを機能させるGUI実行プログラムであって、
前記GUI実行装置は、タッチパネルを備え、
前記GUIサーバからGUIを取得するGUI取得部と、
前記GUI取得部により取得されたGUIがタッチ操作可能なGUIであるか否かを判定するタッチ操作可否判定部と、
前記タッチ操作可否判定部によりタッチ操作不可と判定された場合、前記GUI取得部により取得されたGUIを前記タッチパネルに表示し、かつ、前記タッチパネルに表示されたGUIをタッチ操作するための仮想リモコンGUIを表示するGUI表示制御部と、
前記仮想リモコンGUIへのタッチ操作を検知した場合、検知したタッチ操作の内容を示すタッチイベントを前記GUI表示制御部に通知するタッチイベント処理部と、
前記タッチイベント処理部から前記GUI表示制御部に通知されたタッチイベントを、前記GUIを操作するために予め対応付けられたキーイベントに変換し、前記GUI表示制御部に通知するタッチイベント変換部としてコンピュータを機能させ、
前記GUI表示制御部は、前記タッチイベント変換部から通知されたキーイベントの処理を前記GUIに実行させるGUI実行プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2013−97695(P2013−97695A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−241994(P2011−241994)
【出願日】平成23年11月4日(2011.11.4)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】