遠隔操作装置、その情報処理方法、およびプログラム
【課題】比較的簡単に被遠隔操作対象の外部装置に対して遠隔操作を行うことができる遠隔操作装置を提供すること。
【解決手段】遠隔操作装置１は、外部装置２を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクト５を画面に表示する表示部１１と、遠隔操作オブジェクト５と制御コードを関連付けて記憶する記憶部と、操作入力部１４と、操作入力部１４からの操作信号により遠隔操作オブジェクト５が指定されると、制御コードに応じた制御信号を送信する通信部と、操作入力部１４からの操作信号に基づいて遠隔操作オブジェクト５に関する手書きオブジェクト６を生成し、手書きオブジェクト６と遠隔操作オブジェクト５を関連付けて記憶部に記憶し、遠隔操作オブジェクト５又は手書きオブジェクト６の表示指示を受けた場合、それらオブジェクトを、規定の相対位置関係で関連付けて表示部１１の画面に表示させる制御部とを有する。
【解決手段】遠隔操作装置１は、外部装置２を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクト５を画面に表示する表示部１１と、遠隔操作オブジェクト５と制御コードを関連付けて記憶する記憶部と、操作入力部１４と、操作入力部１４からの操作信号により遠隔操作オブジェクト５が指定されると、制御コードに応じた制御信号を送信する通信部と、操作入力部１４からの操作信号に基づいて遠隔操作オブジェクト５に関する手書きオブジェクト６を生成し、手書きオブジェクト６と遠隔操作オブジェクト５を関連付けて記憶部に記憶し、遠隔操作オブジェクト５又は手書きオブジェクト６の表示指示を受けた場合、それらオブジェクトを、規定の相対位置関係で関連付けて表示部１１の画面に表示させる制御部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔操作装置、その情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
例えば、テレビジョン受像機、ハードディスクレコーダ、オーディオ装置、パーソナルコンピュータ（ＰＣ）、エアコン、冷蔵庫、ゲーム装置、等の電気製品に、無線信号（赤外線信号等を含む）を送信して、電気製品を遠隔操作する遠隔操作装置（リモートコントローラ）が知られている。
【０００３】
また、例えば、タッチパネルに描画された形に対応付けられた制御信号を送信して、テレビジョン受像機などを遠隔操作する遠隔操作装置が知られている（例えば、特許文献１参照）。
【０００４】
また、例えば、テレビジョン受像機、ＰＣ、エアコン、冷蔵庫、等の電気製品が、家庭内通信ネットワークに接続して相互に通信し、更に、いわゆるインターネットなどの通信ネットワークを介して外部のサーバやＰＣ等の通信情報処理装置とデータ通信を行う技術が知られている。
【０００５】
【特許文献１】特開２００５−２５２７０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
例えば、タッチパネルを備えた遠隔操作装置において、被遠隔操作対象の電気製品に対応した遠隔操作パネル画像（遠隔操作オブジェクト）を単純に画面表示させた場合、ユーザは、取扱い説明書を参照しながら操作を行う場合がある。また、例えば、遠隔操作パネルが多数の操作ボタンを備えている場合、ユーザは、その多数の操作ボタンについて、何回も取扱い説明書を参照ながらリモコン操作を覚えることを要する。
【０００７】
また、テレビやハードディスクレコーダーなどの複数の電気製品それぞれに対応する複数の遠隔操作パネルを表示可能な遠隔操作装置の場合、ユーザは、その複数の遠隔操作パネルそれぞれについて操作を覚えることを要する。
また、多数の電気製品が家庭内通信ネットワークに接続されている場合には、さらに多数の遠隔操作パネルについて操作を覚えることを要する。
【０００８】
例えば、子供や年配の方等にとっては、上述したような遠隔操作装置の操作を覚えることが困難な場合がある。このため、簡単に操作を行うことができる遠隔操作装置が望まれている。
【０００９】
本発明は、このような問題に対処することを課題の一例とするものである。すなわち、比較的簡単に被遠隔操作対象の外部装置に対して遠隔操作を行うことができる遠隔操作装置を提供すること、その遠隔操作装置の情報処理方法を提供すること、遠隔操作装置に実行されるプログラムを提供すること、等が本発明の目的である。
【課題を解決するための手段】
【００１０】
このような目的を達成するために、本発明は、以下の各独立請求項に係る構成を少なくとも具備するものである。
本発明に係る遠隔操作装置は、外部装置を遠隔操作する遠隔操作装置であって、少なくとも前記外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、前記遠隔操作オブジェクトと前記制御コードを関連付けて記憶する記憶部と、前記表示部の画面内の位置を指定する操作信号を入力する操作入力部と、前記操作入力部からの操作信号により前記遠隔操作オブジェクトが指定されると、前記制御コードに応じた制御信号を前記外部装置に送信する通信部と、前記操作入力部からの操作信号に基づいて前記遠隔操作オブジェクトに関する手書きオブジェクトを生成して、前記生成された手書きオブジェクトと前記遠隔操作オブジェクトを関連付けて前記記憶部に記憶する処理を行い、前記遠隔操作オブジェクト又は前記手書きオブジェクトの表示指示を受けた場合、前記記憶部から読み出した前記遠隔操作オブジェクトと前記手書きオブジェクトを、規定の相対位置関係で関連付けて前記表示部の画面に表示させる処理を行う制御部とを有することを特徴とする。
【００１１】
また、本発明に係る遠隔操作装置の情報処理方法は、少なくとも外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、前記遠隔操作オブジェクトと前記制御コードを関連付けて記憶する記憶部と、前記表示部の画面内の位置を指定する操作信号を入力する操作入力部と、前記操作入力部からの操作信号により前記遠隔操作オブジェクトが指定されると、前記制御コードに応じた制御信号を前記外部装置に送信する通信部とを有する遠隔操作装置の情報処理方法であって、前記操作入力部からの操作信号に基づいて前記遠隔操作オブジェクトに関する手書きオブジェクトを生成して、前記生成された手書きオブジェクトと前記遠隔操作オブジェクトを関連付けて前記記憶部に記憶する処理を行う第１のステップと、前記遠隔操作オブジェクト又は前記手書きオブジェクトの表示指示を受けた場合、前記記憶部から読み出した前記遠隔操作オブジェクトと前記手書きオブジェクトを、規定の相対位置関係で関連付けて前記表示部の画面に表示させる処理を行う第２のステップとを有することを特徴とする。
【００１２】
また、本発明に係るプログラムは、少なくとも外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、前記遠隔操作オブジェクトと前記制御コードを関連付けて記憶する記憶部と、前記表示部の画面内の位置を指定する操作信号を入力する操作入力部と、前記操作入力部からの操作信号により前記遠隔操作オブジェクトが指定されると、前記制御コードに応じた制御信号を前記外部装置に送信する通信部とを有する遠隔処理装置により実行されるプログラムであって、前記操作入力部からの操作信号に基づいて前記遠隔操作オブジェクトに関する手書きオブジェクトを生成して、前記生成された手書きオブジェクトと前記遠隔操作オブジェクトを関連付けて前記記憶部に記憶する処理を行う第１のステップと、前記遠隔操作オブジェクト又は前記手書きオブジェクトの表示指示を受けた場合、前記記憶部から読み出した前記遠隔操作オブジェクトと前記手書きオブジェクトを、規定の相対位置関係で関連付けて前記表示部の画面に表示させる処理を行う第２のステップとを前記遠隔操作装置に実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、比較的簡単に被遠隔操作対象の外部装置に対して遠隔操作を行うことができる遠隔操作装置を提供することができる。また、そのような機能を有する遠隔操作装置の情報処理方法、プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１４】
本発明に係る遠隔操作装置は、外部装置を遠隔操作する遠隔操作装置であって、少なくとも外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、遠隔操作オブジェクトと制御コードを関連付けて記憶する記憶部と、表示部の画面内の位置を指定する操作信号を入力する操作入力部と、操作入力部からの操作信号により遠隔操作オブジェクトが指定されると、制御コードに応じた制御信号を外部装置に送信する通信部と、操作入力部からの操作信号に基づいて遠隔操作オブジェクトに関する手書きオブジェクトを生成して、その生成された手書きオブジェクトと遠隔操作オブジェクトを関連付けて記憶部に記憶する処理を行い、遠隔操作オブジェクト又は手書きオブジェクトの表示指示を受けた場合、記憶部から読み出した遠隔操作オブジェクトと手書きオブジェクトを、規定の相対位置関係で関連付けて表示部の画面に表示させる処理を行う制御部とを有することを特徴とする。
【００１５】
上記構成の遠隔操作装置によれば、制御部が、操作入力部からの操作信号に基づいて遠隔操作オブジェクトに関する手書きオブジェクトを生成して、その生成された手書きオブジェクトと遠隔操作オブジェクトを関連付けて記憶部に記憶する処理を行い、遠隔操作オブジェクト又は手書きオブジェクトの表示指示を受けた場合、記憶部から読み出した遠隔操作オブジェクトと手書きオブジェクトを、規定の相対位置関係で関連付けて表示部の画面に表示させる処理を行うので、例えば、制御部が、遠隔操作オブジェクトに関する注釈や警告を示す内容の手書きオブジェクトと遠隔操作オブジェクトとを関連付けて記録部に記憶させておけば、その注釈や警告を示す内容の手書きオブジェクトを遠隔操作オブジェクトと関連付けて表示部に表示することで、ユーザに注釈や警告を示す内容を報知することができる。ユーザは手書きオブジェクトを見てその内容を把握することで、簡単に遠隔操作オブジェクトを操作することができる。
【００１６】
また、ユーザが、遠隔操作オブジェクトに関する注釈等の内容の手書きオブジェクトを予め遠隔操作装置に記憶させた場合、他のユー
ザが手書きオブジェクトを見て内容を把握して、その遠隔操作オブジェクトを操作して簡単に遠隔操作を行うことができる。
また、ユーザが、遠隔操作オブジェクトに関する警告等の内容の手書きオブジェクトを予め遠隔操作装置に記憶させた場合、他のユーザが手書きオブジェクトを見て警告内容を把握して、その遠隔操作オブジェクトを誤って操作することを抑止することができる。
【００１７】
また、本発明に係る遠隔操作装置は、遠隔操作オブジェクトおよび制御コードを記憶する外部装置から、当該遠隔操作オブジェクトおよび当該制御コードを通信部を介して取得する制御部を備える。
上記構成の遠隔操作装置では、例えば、外部装置に関する遠隔操作オブジェクトおよび制御コードを記憶部に記憶していなくとも、外部装置が通信路を介してデータ通信可能に接続された場合に、制御部は、通信部を介してその外部装置から遠隔操作オブジェクトおよび制御コードを受信して記憶部に記憶し、適宜、操作入力部から入力された操作信号に応じて、遠隔操作オブジェクトに関連付けられた制御コードに応じた制御信号をその外部装置に送信することができる。
また、制御部は、外部装置から取得した遠隔操作オブジェクトに対しても、上述した手書きオブジェクトを関連付けて記憶部に記憶する処理を行い、遠隔操作オブジェクト又は手書きオブジェクトの表示指示を受けた場合、記憶部から読み出した遠隔操作オブジェクトと手書きオブジェクトを、規定の相対位置関係で関連付けて表示部の画面に表示させる処理を行うことで、その外部装置に関しても同様な効果を得ることができる。
【００１８】
また本発明に係る外部装置は、通信路を介して他の外部装置とデータ通信を行い、遠隔操作装置は、通信部により通信路を介して外部装置に制御信号を送信して当該外部装置を遠隔操作する制御部を備える。
上記構成の遠隔操作装置では、例えば、複数の外部装置と遠隔操作装置が通信路により相互にデータ通信可能な場合に、手書きオブジェクトに関連付けられた遠隔操作オブジェクトが、操作入力部からの操作信号に応じて操作されると、制御コードに応じた制御信号を通信部により通信路を介して外部装置に送信して、遠隔操作を行うことができる。
【００１９】
また、本発明に係る遠隔操作装置は、操作入力部により指定された位置に基づいて、一つ又は複数の遠隔操作オブジェクトに対する操作の順番を、手書きオブジェクトに関連付けて記憶部に記憶する処理を行い、そして手書きオブジェクトが指示された場合、その記憶部に記憶された手書きオブジェクトに関連付けられた操作の順番に応じた制御信号を、通信部を介して外部装置に送信する制御部を有する。
【００２０】
上記構成の遠隔操作装置では、制御部が、手書きオブジェクトが指示された場合、記憶部に記憶された操作の順番に応じた制御信号を、通信部を介して外部装置に送信する処理を行うので、例えば、一つ又は複数の遠隔操作オブジェクトに対する操作の順番に応じた制御信号を自動的に送信することで、簡単に、一つ又は複数の外部装置に対して規定の順番で遠隔操作を行うことができる。
【００２１】
また、本発明に係る遠隔操作装置は、表示部に表示されている遠隔操作オブジェクトに対して画像認識処理を施し、当該画像認識処理の結果に基づいて遠隔操作オブジェクトと手書きオブジェクトの相対位置関係を規定する制御部を有する。
上記構成の遠隔操作装置では、制御部が、表示部に表示されている遠隔操作オブジェクトに対して画像認識処理を施し、当該画像認識処理の結果に基づいて遠隔操作オブジェクトと手書きオブジェクトの相対位置関係を規定するので、例えば、表示部に表示されている遠隔操作オブジェクトに対して画像認識処理を施して、遠隔操作オブジェジェクトの位置、大きさ、輪郭位置などを取得することで、簡単に遠隔操作オブジェクトと手書きオブジェクトの相対位置関係を規定することができ、その規定された相対位置関係で遠隔操作オブジェクトおよび手書きオブジェクトを表示部に表示することができる。
【００２２】
また、制御部は、予め準備した遠隔操作オブジェクトでなく、外部装置などから取得した遠隔操作オブジェクトに対しても、輪郭位置や大きさ等に関する情報がない場合であっても、画像認識処理により、遠隔操作オブジェクトに関する画面位置，大きさ，輪郭位置などを簡単に取得することができ、その取得した情報に基づいて、遠隔操作オブジェクトと手書きオブジェクトを最適な相対位置関係で表示部に表示することができる。
【００２３】
また、本発明に係る遠隔操作装置の情報処理方法は、少なくとも外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、遠隔操作オブジェクトと制御コードを関連付けて記憶する記憶部と、表示部の画面内の位置を指定する操作信号を入力する操作入力部と、操作入力部からの操作信号により遠隔操作オブジェクトが指定されると、制御コードに応じた制御信号を外部装置に送信する通信部とを有する遠隔操作装置の情報処理方法であって、操作入力部からの操作信号に基づいて遠隔操作オブジェクトに関する手書きオブジェクトを生成して、生成された手書きオブジェクトと遠隔操作オブジェクトを関連付けて記憶部に記憶する処理を行う第１のステップと、遠隔操作オブジェクト又は手書きオブジェクトの表示指示を受けた場合、記憶部から読み出した遠隔操作オブジェクトと手書きオブジェクトを、規定の相対位置関係で関連付けて表示部の画面に表示させる処理を行う第２のステップとを有することを特徴とする。
上記遠隔操作装置の情報処理方法では、手書きオブジェクトと遠隔操作オブジェクトを関連付けて記憶部に記憶し、例えば遠隔操作オブジェクト又は手書きオブジェクトの表示指示を受けた場合に、遠隔操作オブジェクトと手書きオブジェクトを記憶部から読み出して、その遠隔操作オブジェクトと手書きオブジェクトを規定の相対位置関係で関連付けて表示部の画面に表示させる処理を行うので、ユーザは、遠隔操作装置により、比較的簡単に被遠隔操作対象の外部装置に対して遠隔操作を行うことができる。
【００２４】
また、本発明に係るプログラムは、少なくとも外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、前記遠隔操作オブジェクトと前記制御コードを関連付けて記憶する記憶部と、前記表示部の画面内の位置を指定する操作信号を入力する操作入力部と、前記操作入力部からの操作信号により前記遠隔操作オブジェクトが指定されると、前記制御コードに応じた制御信号を前記外部装置に送信する通信部とを有する遠隔処理装置により実行されるプログラムであって、前記操作入力部からの操作信号に基づいて前記遠隔操作オブジェクトに関する手書きオブジェクトを生成して、前記生成された手書きオブジェクトと前記遠隔操作オブジェクトを関連付けて前記記憶部に記憶する処理を行う第１のステップと、前記遠隔操作オブジェクト又は前記手書きオブジェクトの表示指示を受けた場合、前記記憶部から読み出した前記遠隔操作オブジェクトと前記手書きオブジェクトを、規定の相対位置関係で関連付けて前記表示部の画面に表示させる処理を行う第２のステップとを前記遠隔操作装置に実行させることを特徴とする。
上記プログラムによれば、遠隔操作装置に上記機能を実現させることができ、ユーザは、遠隔操作装置により、比較的簡単に被遠隔操作対象の外部装置に対して遠隔操作を行うことができる。
【００２５】
以下、本発明の一実施形態に係る遠隔操作装置を採用した情報処理システムを図面を参照しながら説明する。
【００２６】
［第１実施形態］
図１は、本発明の第１実施形態に係る遠隔操作装置を採用した情報処理システムを説明するための全体図である。
本実施形態に係る情報処理システム１００は、図１に示すように、遠隔操作装置（リモートコントローラ）１、および、被遠隔操作対象の外部装置２を有する。
【００２７】
遠隔操作装置１、および外部装置２は、通信路３を介してデータ通信を行うことができる。また、遠隔操作装置１と外部装置２は、無線信号（赤外線信号）などの無線方式によりデータ通信を行ってもよいし、導電線などを介して有線方式によりデータ通信を行ってもよい。つまり通信路３は、無線方式および有線方式の通信路を含む。
【００２８】
本実施形態に係る情報処理システム１００では、図１に示すように、例えば、遠隔操作装置１および外部装置２が、家１００Ｈ内に配置されている。つまり、いわゆるホームネットワークが形成されている。
【００２９】
また、遠隔操作装置１および各外部装置２は、例えば通信路３、ルータ２９１、プロバイダ２９２等を介して、いわゆるインターネット等の通信ネットワーク２９０に接続されており、通信ネットワーク２９０を介して他の情報処理装置（サーバ）２９３等とデータ通信を行うことができる。
【００３０】
本実施形態に係る外部装置２としては、例えば図１に示すように、テレビジョン受像機２１，２２、オーディオ装置２３、サーバ２４、パーソナルコンピュータ（ＰＣ）２５、エアコン２６、冷蔵庫２７、ドアセンサや玄関用カメラやモニタ等を備えたセキュリティ装置２８などの電気製品を採用する。また、外部装置２は、この形態に限られるものではなく、例えば、ゲーム装置、ハードディスクレコーダ、携帯電話、ＰＤＡ（Personal Digital Assistant）などの所定の電気製品（電化製品）を外部装置２として採用してもよい。
【００３１】
遠隔操作装置１は、例えば、図１に示すように、表示部１１、およびタッチパネル１４１等の操作入力部１４を備える。ユーザは、表示部１１の画面に表示される遠隔操作オブジェクト５（遠隔操作パネル画像）に対応するタッチパネル１４１の位置を、指や入力ペン１０等で接触や押圧することにより外部装置２を遠隔操作する。
詳細には、遠隔操作装置１は、所定の外部装置２に遠隔操作を行わせる機能を有する制御コードを含む制御信号を、所定の外部装置２に送信する。
制御コードとしては、予め規定された形式、例えば、ＸＭＬ（Extensible Markup Language）などを採用することができる。
【００３２】
外部装置２は、遠隔操作装置１から制御信号を受信すると、その制御信号に含まれる制御コードに対応した処理、例えば、コンテンツ再生処理、チャンネル切替え処理、音量調整処理、等の規定処理を行う。つまり、外部装置２は、遠隔操作装置１からの制御信号により遠隔操作される。
【００３３】
また、遠隔操作装置１では、タッチパネル１４１の検知領域のうち複数の位置を連続して指定することで、その複数の位置が連結された形に基づいて、いわゆる手書き入力を行うことができる。
また、遠隔操作装置１では、手書き入力にて、遠隔操作オブジェクト５に関する内容を示す手書きオブジェクト６を生成することができ、その手書きオブジェクト６と遠隔操作オブジェクト５とを関連付けて記憶し、所定のタイミングで、その手書きオブジェクト６と遠隔操作オブジェクト５とを規定の相対位置関係で関連付けて表示部１１の画面に表示させることができる。
このため、例えば、遠隔操作オブジェクト５に関する注釈や警告を示す内容の手書きオブジェクト６と遠隔操作オブジェクト５とを関連付けて記録部に記憶させておけば、その注釈や警告を示す内容の手書きオブジェクト６を遠隔操作オブジェクト５と関連付けて表示部１１に表示することで、ユーザに注釈や警告を示す内容を報知することができる。ユーザは手書きオブジェクト６を見てその内容を把握することで、簡単に遠隔操作オブジェクトを操作することができる、又は警告内容に応じて遠隔操作オブジェクトへの操作を抑止することができる。
【００３４】
また、例えば、手書きオブジェクト６は、「ビデオ１には、いまプロジェクタが接続されている」、「このボタンは押してはいけない」などのユーザにより手書き入力された遠隔操作オブジェクト５に関する内容を有する。
【００３５】
また、本実施形態に係る情報処理システム１００として、例えば、ＤＬＮＡ（Digital Living Network Alliance）等の所定の規格を採用してもよい。
ＤＬＮＡでは、例えば、ＰＣ（パソコン）、ハードディスクレコーダ、オーディオシステム、コンテンツ表示装置、ハードディスクレコーダ、冷蔵庫、等の各外部装置（電気装置）を通信路（通信ネットワーク）３を介して接続し、各外部装置、音楽、静止画、動画等のコンテンツ等の所定のデータ、各装置を遠隔操作させる制御コードを含む制御信号を、容易に送受信することができる。
また、ＤＬＮＡでは、例えばIEEE（The Institute of Electrical and Electronics Engineers）802.1a, 802.1b, 802.1g無線ＬＡＮ規格、IEEE802.3i、802.3uなどの有線通信規格、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）などの所定の通信プロトコル、制御メッセージの交換やファイル転送にＨＴＴＰ（HyperText Transfer Protocol）、メッセージ交換にＸＭＬ、外部装置（デバイス）２の通信路３への接続にはＵＰｎＰ（Universal Plug & Play）、動画のデータ形式はＭＰＥＧ２（Moving Picture Expert Group）、静止画にはＪＰＥＧ（Joint Photograph Experts Group）などの所定の規格を採用し、各装置（遠隔操作装置１および外部装置２）が相互にデータ通信可能となっている。
【００３６】
また、本実施形態に係る情報処理システム１００では、例えば図１に示すように、比較的大画面のテレビジョン受像機（モニタ）２１が、テレビジョン放送によるコンテンツを表示したり、通信路３を介して接続されたサーバ２４，２９３等に記憶されているコンテンツを再生することができる。本実施形態に係る遠隔操作装置１では、上述したように、タッチパネル１４１を備えた携帯型情報端末装置（携帯端末）を採用したので、ユーザは手元にある遠隔操作装置１により、テレビジョン受像機２１などの複数の外部装置２を遠隔操作することができる。
【００３７】
次に、情報処理システム１００の各構成要素について、図面を参照しながら詳細に説明する。
【００３８】
［遠隔操作装置１］
図２は、図１に示した情報処理システム１００の遠隔操作装置１を説明するための図である。
遠隔操作装置１は、例えば図２に示すように、表示部１１、記憶部１２、通信部１３、操作入力部１４、インタフェース（Ｉ／Ｆ）１５、および制御部１６を有する。例えば各構成要素は、導電線等により接続されている。
【００３９】
表示部１１は、本発明に係る表示部の一実施形態に相当し、記憶部１２は、本発明に係る記憶部の一実施形態に相当し、通信部１３は本発明に係る通信部の一実施形態に相当する。操作入力部１４は、本発明に係る操作入力部の一実施形態に相当し、制御部１６は本発明に係る制御部の一実施形態に相当する。
【００４０】
表示部１１は、例えば、制御部１６の制御により、本発明に係る画像や遠隔操作オブジェクト５や手書きオブジェクト６、等を表示する。また、表示部１１は、例えば外部装置２を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクト５を画面に表示する。
本実施形態に係る表示部１１は、図１，２に示すように、規定の表示領域を備える表示パネル１１０を有する。表示部１１としては、液晶表示装置やＥＬ（Electroluminescence）等の表示装置を採用することができる。
【００４１】
操作入力部１４は、例えば、タッチパネル１４１やマウスなどのポインティングデバイスを有する。本実施形態に係る操作入力部１４は、タッチパネル１４１を備えており、例えばユーザの操作に応じた操作信号を制御部１６に出力する。
詳細には、タッチパネル１４１は、ユーザの操作により、タッチペン１０やユーザの指先などが検知領域の所定位置を接触、押圧等により指定された場合に、検知領域中のその指定された位置を検知して、その位置を示すデータを示す操作信号を制御部１６に入力する。制御部１６は、操作入力部１４から入力された操作信号に基づいて、例えば接触位置や、接触位置の軌跡などに応じた処理を行う。
【００４２】
タッチパネル１４１としては、例えば、マトリックススイッチ方式、抵抗膜方式、表面弾性波方式、光学入力方式、等の所定方式のタッチパネルを採用することができる。
【００４３】
また、操作入力部１４は、本体部スイッチ１４２、ペン側スイッチ１４３を有する。
本体部スイッチ１４２は、例えば図１に示すように、遠隔操作装置１の本体部に設けられており、ユーザの操作に応じた信号を制御部１６に出力する。
ペン側スイッチ１４３は、例えば図１に示すように、入力ペン１０に設けられている。例えば制御部１６は、ペン側スイッチ１４３から送信された無線信号（赤外線信号）等を受信して、ペン側スイッチ１４３の操作に応じた処理を行う。
【００４４】
制御部１６は、タッチパネル１４１、本体部スイッチ１４２、ペン側スイッチ１４３からの操作信号に基づいて、タッチパネル１４１、本体部スイッチ１４２、ペン側スイッチ１４３それぞれを、単独、又は、それらの組み合わせに応じた規定の処理を行ってもよい。
【００４５】
本実施形態に係るタッチパネル１４１と表示パネル１１０は、重ねて配置されており、表示パネル１１０に表示された画像が、タッチパネル１４１を透過して視認することができる。ユーザは、あたかも表示パネル１１０に表示されたオブジェクトを直接操作しているかのように遠隔操作や、本発明に係る手書きオブジェクト６を生成するための手書き入力を行うことができる。
【００４６】
記憶部１２は、プログラムＰＲＧ１、データ（ＤＴ）、詳細には遠隔操作オブジェクト５（遠隔操作パネル画像）、およびそれに関連付けられた外部装置２を制御するための制御コード、手書きオブジェクト６、等を記憶する。プログラ（ＰＲＧ１）は、本発に係る機能を有し、制御部１６により実行される。手書きオブジェクト６は、例えば、操作入力部１４から入力された操作信号に基づいて生成されたデータである。
【００４７】
また、記憶部１２は、制御部１６による作業領域としても用いられる。
記憶部１２としては、例えばＲＡＭ（Random access memory）やＲＯＭ（Read only memory）等の半導体メモリや、ハードディスク装置などの記憶装置を採用することができる。
【００４８】
通信部１３は、制御部１６の制御により、所定の通信方式により外部装置２とデータ通信を行う。通信部１３は、例えば無線信号（赤外線信号を含む）や有線方式によりデータ通信を行う。
【００４９】
インタフェース（Ｉ／Ｆ）１５は、他の装置とデータ通信を行うためのインタフェースである。このＩ／Ｆ１５は、例えばＵＳＢ（Universal serial bus）端子などの所定方式の端子を介して、他の装置と制御部１６とを接続する。
【００５０】
制御部１６は、各構成要素に対して統括的に制御を行う。また、例えば制御部１６は、本発明に係る機能を有するプログラム（ＰＲＧ１）を実行することにより、本発明に係る機能を実現する。
【００５１】
図３は、図１に示した遠隔操作装置の一実施形態に係る機能を説明するための図である。
制御部１６は、例えば図３に示すように、操作入力部１４からの操作信号に基づいて、遠隔操作オブジェクト５と、その遠隔操作オブジェクト５に関連付けられている手書きオブジェクト６に対して本発明に係る動作を行う。手書きオブジェクト６と遠隔操作オブジェクト５は、記憶部１２に関連付けられて記憶されている。
【００５２】
図４は、図１に示した遠隔操作装置１の一実施形態に係る機能を説明するための図である。
制御部１６は、例えば図４に示すように、オブジェクト処理部１６０、および画像処理部１６８を有する。
【００５３】
オブジェクト処理部１６０は、例えば、遠隔操作オブジェクト５や手書きオブジェクト６に関する処理を行う。
画像処理部１６８は、例えば、表示部１１の画面表示に関する画像処理を行う。また、画像処理部１６８は、例えば、表示部１１に表示されている遠隔操作オブジェクト５に対して画像認識処理を施し、例えば遠隔操作オブジェクト５の表示位置や、輪郭位置、中心位置、オブジェクト内のボタンやスイッチなどの各機能が割り当てられた領域の位置、等を取得し、その画像認識処理の結果に基づいて、遠隔操作オブジェクト５と手書きオブジェクト６の相対位置関係を規定することを特徴とする。
【００５４】
また、本実施形態に係る画像処理部１６８は、図４に示すように、複数のレイヤ（仮想的なシート）ＬＹ１，ＬＹ２，・・・，ＬＹＮを合成した画像を表示部１１に画面表示する処理を行う。例えば、レイヤＬＹＮに遠隔操作オブジェクト５、レイヤＬＹ２に手書きオブジェクト６、レイヤＬＹ３に手書きオブジェクト６と遠隔操作オブジェクト５の関連付けを示す所定形状、例えば線形状のオブジェクトそれぞれが割り当てられている。
上述したように、本発明の実施形態に係る制御部１６では、各オブジェクトを各レイヤ毎に分散して処理を行うので、例えば単純に一つのレイヤに複数のオブジェクトを割り当てて各処理を行う場合と比べて、処理負荷を低減することができる。
【００５５】
制御部１６は、遠隔操作オブジェクト５を、例えばレイヤＬＹＮに割り当てて、遠隔操作オブジェクト５に対して画像処理を施して、遠隔操作オブジェクト５の表示位置、大きさ、輪郭位置などの情報を取得し、その取得した情報に基づいて、例えばレイヤＬＹＮより上層のレイヤＬＹ１〜ＬＹ（Ｎ−１）等に、手書きオブジェクトを割り当てて、遠隔操作オブジェクト５と手書きオブジェクト６の相対位置関係を規定し、遠隔操作オブジェクト５と手書きオブジェクト６を、規定の相対位置関係で関連付けて表示部１１の画面に表示させる処理を行うので、処理の負荷を低減することができる。
また、制御部１６は、図４に示すように、手書きオブジェクト６を複数のオブジェクト６１〜６３に分けて、そのオブジェクト６１〜６３を例えば複数のレイヤＬＹ１〜ＬＹ３それぞれに割り当てて、各レイヤ毎に処理を行うことで、さらに処理の負荷を低減することができる。
【００５６】
上述した実施形態では複数のレイヤを用いて本発明に係る機能を実現したが、この形態に限られるものではない。例えば、一つのレイヤにより本発明に係る機能を実現してもよい。
【００５７】
また、オブジェクト処理部１６０は、詳細には、図４に示すように、遠隔操作オブジェクト処理部１６１、手書きオブジェクト生成部１６２、オブジェクト関連付部１６３、操作手順関連付部１６４、および操作手順実行部１６５を有する。
【００５８】
遠隔操作オブジェクト処理部１６１は、操作入力部１４からの操作信号に応じて、遠隔操作オブジェクト５に関する処理を行う。
詳細には、遠隔操作オブジェクト処理部１６１は、操作入力部１４からの操作信号により遠隔操作オブジェクト５が指定されると、その遠隔操作オブジェクト５に関連付けられている制御コードに応じた制御信号を通信部１３を介して外部装置２に送信する。
また、遠隔操作オブジェクト処理部１６１は、通信部１３を介して遠隔操作オブジェクト５および制御コードを取得する。詳細には、制御部１６は、通信部１３を介して外部装置２が接続されていると検出した場合に、その外部装置２を遠隔操作させるための遠隔操作オブジェクト５を受信する。
【００５９】
この遠隔操作オブジェクト５および制御コードは、遠隔操作オブジェクト５および制御コードを記憶している外部装置２から受信してもよいし、その外部装置２を遠隔操作させるための遠隔操作オブジェクト５を記憶する他の外部装置２から受信してもよい。また、遠隔操作オブジェクト処理部１６１は、インターネット等の通信路２９０を介して他の情報処理装置２９３から遠隔操作オブジェクト５を受信してもよい。
【００６０】
手書きオブジェクト生成部１６２は、操作入力部１４からの操作信号に基づいて遠隔操作オブジェクト５に関する手書きオブジェクト６を生成する。
【００６１】
オブジェクト関連付部１６３は、手書きオブジェクト生成部１６２により生成された手書きオブジェクト６と遠隔操作オブジェクト５を関連付けて記憶部１２に記憶する処理を行う。
詳細には、オブジェクト関連付部１６３は、例えば、表示部に表示されている遠隔操作を行わせる遠隔操作オブジェクトを画像認識して、その遠隔操作オブジェクトの表示位置、輪郭線の位置、中心位置、オブジェクト中のボタン位置、等を抽出して、その抽出されたデータと、手書きオブジェクトとを関連付けて記憶する。
【００６２】
また、オブジェクト関連付部１６３は、遠隔操作オブジェクト５又は手書きオブジェクト６の表示指示を受けた場合、詳細には、例えば操作入力部１４からの操作信号により遠隔操作オブジェクト５又は手書きオブジェクト６の表示指示を受けた場合や、予め規定されたタイミングでその表示指示を受けた場合などに、遠隔操作オブジェクト５および手書きオブジェクト６を記憶部１２から読み出し、その読み出した遠隔操作オブジェクト５、手書きオブジェクト６を、規定の相対位置関係で関連付けて表示部１１の画面に表示させる処理を行う。
【００６３】
操作手順関連付部１６４は、操作入力部１４により指定された位置に基づいて、一つ又は複数の遠隔操作オブジェクト５に対する操作の順番を、手書きオブジェクト６に関連付けて記憶部１２に記憶する処理を行う。
【００６４】
操作手順実行部１６５は、手書きオブジェクト６が指示された場合、記憶部１２に記憶されたその手書きオブジェクト６に関連付けられた操作の順番に応じた制御信号を、通信部１３を介して外部装置２に送信する処理を行う。
【００６５】
［外部装置２］
【００６６】
次に、外部装置２として、例えばテレビジョン受像装置２１を説明する。
図５は、図１に示した情報処理システムの外部装置２の機能ブロック図である。
【００６７】
外部装置２は、例えば図５に示すように、通信部２０１、表示部２０２、操作入力部２０３、記憶部２０４、チューナ２０５、Ｉ／Ｆ２０６、および制御部２０７を有する。各構成要素は、バスなどの導電線により接続されている。
【００６８】
通信部２０１は、例えば、制御部２０７の制御により、遠隔操作装置１とデータ通信を行う。詳細には、通信部２０１は、受信した信号を制御部２０７に出力する。
【００６９】
表示部２０２は、例えば、制御部２０７の制御により、遠隔操作により表示部を行う
操作入力部２０３、
【００７０】
記憶部２０４は、例えば遠隔操作オブジェクトを記憶する。例えば遠隔操作オブジェクトには、外部装置２を遠隔操作させる制御コードが関連付けられて記憶されている。
【００７１】
チューナ２０５は、例えば、制御部２０７の制御により、テレビジョン放送やラジオ放送などを受信して、例えば所定のコンテンツ等のデータを制御部２０７、表示部２０２、記憶部２０４等に出力する。制御部２０７は、受信したデータに基づいて、所定の画像（動画像）などを表示部２０２に表示させる。また、制御部２０７は、受信したデータを記憶部２０４に記憶してもよい。
【００７２】
インタフェース（Ｉ／Ｆ）２０６は、他の装置とデータ通信を行うためのインタフェースである。このＩ／Ｆ２０６は、例えばＵＳＢ端子などの所定方式の端子を介して、他の装置と制御部２０７が接続されている。
【００７３】
制御部２０７は、各構成要素を統括的に制御して、本発明に係る機能を実現する。詳細には、制御部２０７は、例えば記憶部２０４に記憶されているプログラム（ＰＲＧ２）を実行することにより、本発明に係る機能を実現する。
【００７４】
また、制御部２０７は、通信部２０１を介して遠隔操作装置１から遠隔操作を行わせる制御コードを受信すると、その制御コードに応じて所定の処理を行う。つまり制御部２０７は、遠隔操作装置１から受信した信号が示す内容を実行する。
また、制御部２０７は、通信部２０１を介して他の外部装置２とデータ通信を行い、所定の処理を行う。例えば外部装置２は、他の外部装置２とデータ通信を行い、分散処理を行ってもよいし、他の外部装置２とデータ通信を行うことにより、分散型の記憶処理を行ってもよい。
【００７５】
また、制御部２０７は、例えば通信部２０１を介して遠隔操作装置１から遠隔操作オブジェクトのダウンロード要求を受けると、記憶部２０４に記憶された遠隔操作オブジェクトおよび制御コードを読み出して、その遠隔操作オブジェクトおよび制御コードを通信部２０１を介して遠隔操作装置１に送信する。
【００７６】
また、制御部２０７は、通信路３を介して遠隔操作装置１とデータ通信可能な状態となった場合に、遠隔操作オブジェクトを、送信してもよい。
【００７７】
テレビジョン受像装置２０１を説明したが、外部装置２の構成は、上述したものに限られるものではない。外部装置２からの遠隔操作に応じた処理を行えれば上記構成に限られるものではない。
【００７８】
図６は、図１に示した情報処理システム１００の動作を説明するためのフローチャートである。図７（Ａ）〜（Ｃ）は、図１に示した遠隔操作装置１の動作を説明するための図である。
図面を参照しながら、本発明に係る情報処理システム１００の動作を、遠隔操作装置１の動作を中心に説明する。
【００７９】
まず、遠隔操作装置１の制御部１６は、例えば通信部１３により、通信路３を介して通信可能な外部装置２を検索する。
次に、遠隔操作装置１の制御部１６は、検索の結果、外部装置２がデータ通信可能であると判断した場合には、その外部装置２に関する遠隔操作オブジェクト５が、記憶部１２に記憶されているか否かを判別し、記憶されていないと判別した場合に、例えば外部装置２の遠隔操作に関する遠隔操作オブジェクト５および制御コードを、外部装置２や他の外部装置２、又は通信路２９０を介してサーバ２９３等から受信して記憶部１２に記憶し、表示部１１に遠隔操作オブジェクト５を表示する。
【００８０】
この際、制御部１６は、記憶部１２に、所定の遠隔操作オブジェクト５が記憶されている場合には、上述した遠隔操作オブジェクト５のダウンロードを行うことなく、記憶部１２に記憶されている遠隔操作オブジェクト５を読み出して、表示部１１に表示する。
【００８１】
ユーザは、操作入力部１４のタッチパネル１４１をタッチペン１０や指などで接触、押圧する等により、遠隔操作オブジェクト５の表示位置に対応する位置を指示する。制御部１６は、操作入力部１４から入力された操作信号に基づいて、その指示された位置の遠隔操作オブジェクト５に関連付けられた制御コードを含む制御信号を、通信部１３を介して外部装置２に送信する処理を行う。
【００８２】
外部装置２の制御部２７は、通信部２１を介して遠隔操作装置１から制御信号を受信すると、制御信号に含まれる制御コードに基づいて、その制御コードが示す処理を実行する。つまり、外部装置２が遠隔操作装置１により遠隔操作される。
【００８３】
次に、ユーザが、タッチパネル１４１を操作して手書き入力にて、遠隔操作オブジェクト５に関連した注釈（手書きオブジェクト６）を書き込む場合を説明する。
【００８４】
図６，図７（Ａ）〜（Ｃ）に示すように、ステップＳＴ１において、制御部１６は、記録モード時に、操作入力部１４から入力された信号に基づいて手書きオブジェクト６を生成する。
ステップＳＴ２において、制御部１６は、ステップＳＴ１にて生成された手書きオブジェクト６と遠隔操作オブジェクト５とを関連付けて記憶部１２に記憶する。
【００８５】
この際、制御部１６は、手書きオブジェクト５と遠隔操作オブジェクト６とを、相対位置や、基準座標による絶対位置（表示パネルの表示領域やタッチパネルの検知領域）、等に基づいて、手書きオブジェクト６と遠隔操作オブジェクト５とを関連付けて、記憶部１２に記憶する。
詳細には、制御部１６は、例えば、表示部１１に表示された遠隔操作オブジェクト５に画像認識処理を施して、遠隔操作オブジェクト５の位置を特定し、その特定された位置と、手書きオブジェクト６の位置との相対位置関係を記憶してもよい。そして、制御部１６は、記録モードを終了する。
【００８６】
ステップＳＴ３において、制御部１６は、再現モード時に、遠隔操作オブジェクト５又は手書きオブジェクト６の表示指示を受けた場合、遠隔操作オブジェクト５とその遠隔操作オブジェクト５に関連付けられている手書きオブジェクト６を記憶部１６から読み出し、その読み出した遠隔操作オブジェクト５および手書きオブジェクト６を、規定の相対位置関係で関連付けて、例えば図７（Ｃ）に示すように、表示部１１の画面に表示させる処理を行う。
例えば、制御部１６は、例えば予め規定されたボタンやスイッチなどを操作することを示す操作信号が操作入力部１４から入力された場合に、その操作信号に基づいて、記録モードや再現モードの選択を行う。
【００８７】
例えば、図７（Ｃ）に示すように、制御部１６は、遠隔操作オブジェクト５が表示部１１に表示されていない状態から、遠隔操作オブジェクト５を表示する場合に、遠隔操作オブジェクト５および手書きオブジェクト６を、規定の相対位置関係で関連付けて表示部１１の画面に表示させる処理を行う。
【００８８】
また、図７（Ｃ）に示すように、制御部１６は、例えば操作入力部１４から所定の信号が入力されたときに、遠隔操作オブジェクト５および手書きオブジェクト６を表示部１１に表示してもよいし、予め規定された時間に、遠隔操作オブジェクト５および手書きオブジェクト６を表示部１１に表示してもよい。
また、制御部１６は、他の情報処理を実行することにより、その処理により遠隔操作オブジェクト５の表示指示を受けた場合に、上記遠隔操作オブジェクト５および手書きオブジェクト６を表示部１１に表示してもよい。
【００８９】
上述したように、本発明に係る遠隔操作装置１では、制御部１６が、遠隔操作オブジェクト５又は手書きオブジェクト６の表示指示を受けた場合、遠隔操作オブジェクト５とその遠隔操作オブジェクト５に関連付けられている手書きオブジェクト６を記憶部１６から読み出し、その読み出した遠隔操作オブジェクト５および手書きオブジェクト６を、規定の相対位置関係で関連付けて表示部１１の画面に表示させる処理を行うので、例えば、ユーザが、予め遠隔操作オブジェクト５に対して、注釈等の内容を示す手書きオブジェクト６を関連付けて記憶させていたものを、再度、表示部１１に表示された遠隔操作オブジェクト５と注釈等の内容を示す手書きオブジェクト６を見ることで、遠隔操作オブジェクト５に対する注釈を把握することができる。
【００９０】
また、ユーザが、遠隔操作オブジェクト５に関する、他のユーザに対して注意を促す内容の手書きオブジェクト６を、その遠隔操作オブジェクト５に関連付けて記憶部１２に記憶させた場合、制御部１６は、他のユーザが操作入力部１４を操作したときに、遠隔操作オブジェクト５と手書きオブジェクト６を表示部１１に表示させることで、この他のユーザに対して注意を促す表示を行うことができる。
【００９１】
また、図７（Ｃ）に示すうように、ユーザが、予め遠隔操作オブジェクト５に対して警告等の内容を示す手書きオブジェクト６を関連付けて記憶させておくことで、再度、表示部１１に表示された遠隔操作オブジェクト５と手書きオブジェクト６をユーザ自身または他のユーザが見ることで、その遠隔操作オブジェクト５に対する警告、例えば「このボタンを押しちゃだめ」という警告を示すことにより、その遠隔操作オブジェクト５への操作の防止することができる。
【００９２】
［第２実施形態］
図８（Ａ），（Ｂ）は、本発明の第２実施形態に係る遠隔操作装置の動作を説明するための図である。
本実施形態に係る遠隔操作装置１では、制御部１６は、例えば図８（Ａ）に示すように、遠隔操作オブジェクト５の近傍に、コンテキスト選択画像６１を表示し、そのコンテキスト選択画像６１を選択指示する信号が操作入力部１４から入力されると記録モードとなり、その状態で、操作入力部１４からの操作信号により、遠隔操作オブジェクト５が指定されると、遠隔操作オブジェクト５と手書きオブジェクト６を関連付ける処理を行い、図８（Ｂ）に示すように、終了画像６２が操作されると記録モードを終了する。
上述したように、本実施形態に係る制御部１６では、上述したように動作を行うことで、より簡単に遠隔操作オブジェクト５と手書きオブジェクト６を関連付けることができる。
【００９３】
［第３実施形態］
図９（Ａ）〜（Ｃ）は、本発明の第３実施形態に係る遠隔操作装置の動作を説明するための図である。
本実施形態に係る遠隔操作装置１の制御部１６は、例えば図９（Ａ）に示すように、記録モード時に、操作入力部１４により指定された位置に基づいて、一つ又は複数の遠隔操作オブジェクト５に対する操作の順番が指定されると、手書きオブジェクト６に関連付けて記憶部１２に記憶する処理を行う。この際、例えば図９（Ａ）に示すように、操作入力部１４から操作信号により手入力の軌跡６５に基づいて、上記操作手順を指定する。そして制御部１６は、規定されたボタンが操作された場合に、記録モードを終了する。
【００９４】
そして、制御部１６は、図９（Ｂ）に示すように、再現モード時に、手書きオブジェクト６が指示された場合、記憶部１２に記憶された当該手書きオブジェクト６に関連付けられた操作の順番に応じた制御信号を、通信部１３を介して外部装置２に送信する処理を行う。
【００９５】
上述したように、本実施形態に係る制御部１６では、一つ又は複数の遠隔操作オブジェクト５に対して所望の手順を手書きオブジェクト６と関連付けて記憶し、手書きオブジェクト６が指示された場合、その操作の順番に応じた制御信号を順次、通信部１３を介して外部装置２に送信する処理を行うので、ユーザは、手書きオブジェクト６を操作するだけで、簡単に遠隔操作オブジェクト５に対して所望の一連の操作を簡単に実行することができる。
【００９６】
［第４実施形態］
図１０は、本発明の第４実施形態に係る遠隔操作装置の動作を説明するための図である。
本実施形態に係る遠隔操作装置１の制御部１６は、例えば図１０に示すように、操作入力部１４から操作信号により手入力のチェック６８の順番に基づいて、上記操作手順を指定する。その他の事項については、第３実施形態と同様であるので説明を省略する。
【００９７】
以上説明したように、本発明に係る遠隔操作装置１は、少なくとも外部装置２を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクト５を画面に表示する表示部１１と、遠隔操作オブジェクト５と制御コードを関連付けて記憶する記憶部１２と、表示部１１の画面内の位置を指定する操作信号を入力する操作入力部１４と、操作入力部１４からの操作信号により遠隔操作オブジェクト５が指定されると、制御コードに応じた制御信号を外部装置２に送信する通信部１１と、操作入力部１４からの操作信号に基づいて遠隔操作オブジェクト５に関する手書きオブジェクト６を生成して、その生成された手書きオブジェクト６と遠隔操作オブジェクト５を関連付けて記憶部１３に記憶する処理を行い、遠隔操作オブジェクト５又は手書きオブジェクト６の表示指示を受けた場合、記憶部１３から読み出した遠隔操作オブジェクト５と手書きオブジェクト６を、規定の相対位置関係で関連付けて表示部１１の画面に表示させる処理を行う制御部１６とを有するので、例えば、制御部１６が、遠隔操作オブジェクトに関する注釈や警告を示す内容の手書きオブジェクトと遠隔操作オブジェクトとを関連付けて記録部１３に記憶させておけば、その注釈や警告を示す内容の手書きオブジェクトを遠隔操作オブジェクトと関連付けて表示部に表示することで、ユーザに注釈や警告を示す内容を報知することができる。
つまり、ユーザは手書きオブジェクトを見てその内容を把握することで、簡単に遠隔操作オブジェクトを操作することができる。
【００９８】
本発明は、上記実施形態に限られるものではない。
例えば、通信路３や通信路２９０は、ホームネットワーク（家庭内ネットワーク）でなくてもよい。会社内の通信ネットワーク、等の所定のネットワークであってもよい。また、遠隔操作装置１は、遠隔地に配置された外部装置を操作してもよい。
【００９９】
また、第１実施形態に係る情報処理システム１００では、ＤＬＮＳを採用したがこの形態に限られるものではない。情報処理システム１００は、他の所定の通信規格を採用してもよい。
【０１００】
また、上述した実施形態では、外部装置２が接続されたときに、遠隔操作オブジェクト５と制御コードをダウンロードしたが、この形態に限られるものではない。
例えば、外部装置２の固有の識別情報（ＩＤ）を通信路３を介して取得した場合に、その識別情報（ＩＤ）に対応した遠隔操作オブジェクト５と制御コードを他の外部装置からダウンロードしてもよい。
【０１０１】
また、遠隔操作装置１は、無線信号や赤外線信号により外部装置２に対して遠隔操作を行ってもよい。
【０１０２】
また、制御部１６は、外部装置２等から規定の信号が入力された場合や所定のタイミングで自動的に手書きオブジェクト６に関連付けられた、遠隔操作オブジェクト５に対する操作の順番を実行してもよい。
【図面の簡単な説明】
【０１０３】
【図１】本発明の第１実施形態に係る遠隔操作装置を採用した情報処理システムを説明するための全体図である。
【図２】図１に示した情報処理システムの遠隔操作装置を説明するための図である。
【図３】図１に示した遠隔操作装置の一実施形態に係る機能を説明するための図である。
【図４】図１に示した遠隔操作装置の一実施形態に係る機能を説明するための図である。
【図５】図１に示した情報処理システムの外部装置の機能ブロック図である。
【図６】図１に示した情報処理システムの動作を説明するためのフローチャートである。
【図７】（Ａ）〜（Ｃ）は、図１に示した遠隔操作装置の動作を説明するための図である。
【図８】（Ａ），（Ｂ）は、本発明の第２実施形態に係る遠隔操作装置の動作を説明するための図である。
【図９】（Ａ）〜（Ｃ）は、本発明の第３実施形態に係る遠隔操作装置の動作を説明するための図である。
【図１０】本発明の第４実施形態に係る遠隔操作装置の動作を説明するための図である。
【符号の説明】
【０１０４】
１ 遠隔操作装置
２ 外部装置
３ 通信路
５ 遠隔操作オブジェクト
６ 手書きオブジェクト
１０ ペン（入力ペン）
１１ 表示部
１２ 記憶部
１３ 通信部
１４ 操作入力部１４、
１５ インタフェース（Ｉ／Ｆ）
１６ 制御部
１００ 情報処理システム
１４１ タッチパネル
１４２ 本体部スイッチ
１４３ ペン側スイッチ
１６０ オブジェクト処理部
１６１ 遠隔操作オブジェクト処理部
１６２ 手書きオブジェクト生成部
１６３ オブジェクト関連付部
１６４ 操作手順関連付部
１６５ 操作手順実行部
１６８ 画像処理部
２０１ 通信部
２０２ 表示部
２０３ 操作入力部
２０４ 記憶部
２０５ チューナ
２０６ Ｉ／Ｆ
２０７ 制御部
【技術分野】
【０００１】
本発明は、遠隔操作装置、その情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
例えば、テレビジョン受像機、ハードディスクレコーダ、オーディオ装置、パーソナルコンピュータ（ＰＣ）、エアコン、冷蔵庫、ゲーム装置、等の電気製品に、無線信号（赤外線信号等を含む）を送信して、電気製品を遠隔操作する遠隔操作装置（リモートコントローラ）が知られている。
【０００３】
また、例えば、タッチパネルに描画された形に対応付けられた制御信号を送信して、テレビジョン受像機などを遠隔操作する遠隔操作装置が知られている（例えば、特許文献１参照）。
【０００４】
また、例えば、テレビジョン受像機、ＰＣ、エアコン、冷蔵庫、等の電気製品が、家庭内通信ネットワークに接続して相互に通信し、更に、いわゆるインターネットなどの通信ネットワークを介して外部のサーバやＰＣ等の通信情報処理装置とデータ通信を行う技術が知られている。
【０００５】
【特許文献１】特開２００５−２５２７０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
例えば、タッチパネルを備えた遠隔操作装置において、被遠隔操作対象の電気製品に対応した遠隔操作パネル画像（遠隔操作オブジェクト）を単純に画面表示させた場合、ユーザは、取扱い説明書を参照しながら操作を行う場合がある。また、例えば、遠隔操作パネルが多数の操作ボタンを備えている場合、ユーザは、その多数の操作ボタンについて、何回も取扱い説明書を参照ながらリモコン操作を覚えることを要する。
【０００７】
また、テレビやハードディスクレコーダーなどの複数の電気製品それぞれに対応する複数の遠隔操作パネルを表示可能な遠隔操作装置の場合、ユーザは、その複数の遠隔操作パネルそれぞれについて操作を覚えることを要する。
また、多数の電気製品が家庭内通信ネットワークに接続されている場合には、さらに多数の遠隔操作パネルについて操作を覚えることを要する。
【０００８】
例えば、子供や年配の方等にとっては、上述したような遠隔操作装置の操作を覚えることが困難な場合がある。このため、簡単に操作を行うことができる遠隔操作装置が望まれている。
【０００９】
本発明は、このような問題に対処することを課題の一例とするものである。すなわち、比較的簡単に被遠隔操作対象の外部装置に対して遠隔操作を行うことができる遠隔操作装置を提供すること、その遠隔操作装置の情報処理方法を提供すること、遠隔操作装置に実行されるプログラムを提供すること、等が本発明の目的である。
【課題を解決するための手段】
【００１０】
このような目的を達成するために、本発明は、以下の各独立請求項に係る構成を少なくとも具備するものである。
本発明に係る遠隔操作装置は、外部装置を遠隔操作する遠隔操作装置であって、少なくとも前記外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、前記遠隔操作オブジェクトと前記制御コードを関連付けて記憶する記憶部と、前記表示部の画面内の位置を指定する操作信号を入力する操作入力部と、前記操作入力部からの操作信号により前記遠隔操作オブジェクトが指定されると、前記制御コードに応じた制御信号を前記外部装置に送信する通信部と、前記操作入力部からの操作信号に基づいて前記遠隔操作オブジェクトに関する手書きオブジェクトを生成して、前記生成された手書きオブジェクトと前記遠隔操作オブジェクトを関連付けて前記記憶部に記憶する処理を行い、前記遠隔操作オブジェクト又は前記手書きオブジェクトの表示指示を受けた場合、前記記憶部から読み出した前記遠隔操作オブジェクトと前記手書きオブジェクトを、規定の相対位置関係で関連付けて前記表示部の画面に表示させる処理を行う制御部とを有することを特徴とする。
【００１１】
また、本発明に係る遠隔操作装置の情報処理方法は、少なくとも外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、前記遠隔操作オブジェクトと前記制御コードを関連付けて記憶する記憶部と、前記表示部の画面内の位置を指定する操作信号を入力する操作入力部と、前記操作入力部からの操作信号により前記遠隔操作オブジェクトが指定されると、前記制御コードに応じた制御信号を前記外部装置に送信する通信部とを有する遠隔操作装置の情報処理方法であって、前記操作入力部からの操作信号に基づいて前記遠隔操作オブジェクトに関する手書きオブジェクトを生成して、前記生成された手書きオブジェクトと前記遠隔操作オブジェクトを関連付けて前記記憶部に記憶する処理を行う第１のステップと、前記遠隔操作オブジェクト又は前記手書きオブジェクトの表示指示を受けた場合、前記記憶部から読み出した前記遠隔操作オブジェクトと前記手書きオブジェクトを、規定の相対位置関係で関連付けて前記表示部の画面に表示させる処理を行う第２のステップとを有することを特徴とする。
【００１２】
また、本発明に係るプログラムは、少なくとも外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、前記遠隔操作オブジェクトと前記制御コードを関連付けて記憶する記憶部と、前記表示部の画面内の位置を指定する操作信号を入力する操作入力部と、前記操作入力部からの操作信号により前記遠隔操作オブジェクトが指定されると、前記制御コードに応じた制御信号を前記外部装置に送信する通信部とを有する遠隔処理装置により実行されるプログラムであって、前記操作入力部からの操作信号に基づいて前記遠隔操作オブジェクトに関する手書きオブジェクトを生成して、前記生成された手書きオブジェクトと前記遠隔操作オブジェクトを関連付けて前記記憶部に記憶する処理を行う第１のステップと、前記遠隔操作オブジェクト又は前記手書きオブジェクトの表示指示を受けた場合、前記記憶部から読み出した前記遠隔操作オブジェクトと前記手書きオブジェクトを、規定の相対位置関係で関連付けて前記表示部の画面に表示させる処理を行う第２のステップとを前記遠隔操作装置に実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、比較的簡単に被遠隔操作対象の外部装置に対して遠隔操作を行うことができる遠隔操作装置を提供することができる。また、そのような機能を有する遠隔操作装置の情報処理方法、プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１４】
本発明に係る遠隔操作装置は、外部装置を遠隔操作する遠隔操作装置であって、少なくとも外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、遠隔操作オブジェクトと制御コードを関連付けて記憶する記憶部と、表示部の画面内の位置を指定する操作信号を入力する操作入力部と、操作入力部からの操作信号により遠隔操作オブジェクトが指定されると、制御コードに応じた制御信号を外部装置に送信する通信部と、操作入力部からの操作信号に基づいて遠隔操作オブジェクトに関する手書きオブジェクトを生成して、その生成された手書きオブジェクトと遠隔操作オブジェクトを関連付けて記憶部に記憶する処理を行い、遠隔操作オブジェクト又は手書きオブジェクトの表示指示を受けた場合、記憶部から読み出した遠隔操作オブジェクトと手書きオブジェクトを、規定の相対位置関係で関連付けて表示部の画面に表示させる処理を行う制御部とを有することを特徴とする。
【００１５】
上記構成の遠隔操作装置によれば、制御部が、操作入力部からの操作信号に基づいて遠隔操作オブジェクトに関する手書きオブジェクトを生成して、その生成された手書きオブジェクトと遠隔操作オブジェクトを関連付けて記憶部に記憶する処理を行い、遠隔操作オブジェクト又は手書きオブジェクトの表示指示を受けた場合、記憶部から読み出した遠隔操作オブジェクトと手書きオブジェクトを、規定の相対位置関係で関連付けて表示部の画面に表示させる処理を行うので、例えば、制御部が、遠隔操作オブジェクトに関する注釈や警告を示す内容の手書きオブジェクトと遠隔操作オブジェクトとを関連付けて記録部に記憶させておけば、その注釈や警告を示す内容の手書きオブジェクトを遠隔操作オブジェクトと関連付けて表示部に表示することで、ユーザに注釈や警告を示す内容を報知することができる。ユーザは手書きオブジェクトを見てその内容を把握することで、簡単に遠隔操作オブジェクトを操作することができる。
【００１６】
また、ユーザが、遠隔操作オブジェクトに関する注釈等の内容の手書きオブジェクトを予め遠隔操作装置に記憶させた場合、他のユー
ザが手書きオブジェクトを見て内容を把握して、その遠隔操作オブジェクトを操作して簡単に遠隔操作を行うことができる。
また、ユーザが、遠隔操作オブジェクトに関する警告等の内容の手書きオブジェクトを予め遠隔操作装置に記憶させた場合、他のユーザが手書きオブジェクトを見て警告内容を把握して、その遠隔操作オブジェクトを誤って操作することを抑止することができる。
【００１７】
また、本発明に係る遠隔操作装置は、遠隔操作オブジェクトおよび制御コードを記憶する外部装置から、当該遠隔操作オブジェクトおよび当該制御コードを通信部を介して取得する制御部を備える。
上記構成の遠隔操作装置では、例えば、外部装置に関する遠隔操作オブジェクトおよび制御コードを記憶部に記憶していなくとも、外部装置が通信路を介してデータ通信可能に接続された場合に、制御部は、通信部を介してその外部装置から遠隔操作オブジェクトおよび制御コードを受信して記憶部に記憶し、適宜、操作入力部から入力された操作信号に応じて、遠隔操作オブジェクトに関連付けられた制御コードに応じた制御信号をその外部装置に送信することができる。
また、制御部は、外部装置から取得した遠隔操作オブジェクトに対しても、上述した手書きオブジェクトを関連付けて記憶部に記憶する処理を行い、遠隔操作オブジェクト又は手書きオブジェクトの表示指示を受けた場合、記憶部から読み出した遠隔操作オブジェクトと手書きオブジェクトを、規定の相対位置関係で関連付けて表示部の画面に表示させる処理を行うことで、その外部装置に関しても同様な効果を得ることができる。
【００１８】
また本発明に係る外部装置は、通信路を介して他の外部装置とデータ通信を行い、遠隔操作装置は、通信部により通信路を介して外部装置に制御信号を送信して当該外部装置を遠隔操作する制御部を備える。
上記構成の遠隔操作装置では、例えば、複数の外部装置と遠隔操作装置が通信路により相互にデータ通信可能な場合に、手書きオブジェクトに関連付けられた遠隔操作オブジェクトが、操作入力部からの操作信号に応じて操作されると、制御コードに応じた制御信号を通信部により通信路を介して外部装置に送信して、遠隔操作を行うことができる。
【００１９】
また、本発明に係る遠隔操作装置は、操作入力部により指定された位置に基づいて、一つ又は複数の遠隔操作オブジェクトに対する操作の順番を、手書きオブジェクトに関連付けて記憶部に記憶する処理を行い、そして手書きオブジェクトが指示された場合、その記憶部に記憶された手書きオブジェクトに関連付けられた操作の順番に応じた制御信号を、通信部を介して外部装置に送信する制御部を有する。
【００２０】
上記構成の遠隔操作装置では、制御部が、手書きオブジェクトが指示された場合、記憶部に記憶された操作の順番に応じた制御信号を、通信部を介して外部装置に送信する処理を行うので、例えば、一つ又は複数の遠隔操作オブジェクトに対する操作の順番に応じた制御信号を自動的に送信することで、簡単に、一つ又は複数の外部装置に対して規定の順番で遠隔操作を行うことができる。
【００２１】
また、本発明に係る遠隔操作装置は、表示部に表示されている遠隔操作オブジェクトに対して画像認識処理を施し、当該画像認識処理の結果に基づいて遠隔操作オブジェクトと手書きオブジェクトの相対位置関係を規定する制御部を有する。
上記構成の遠隔操作装置では、制御部が、表示部に表示されている遠隔操作オブジェクトに対して画像認識処理を施し、当該画像認識処理の結果に基づいて遠隔操作オブジェクトと手書きオブジェクトの相対位置関係を規定するので、例えば、表示部に表示されている遠隔操作オブジェクトに対して画像認識処理を施して、遠隔操作オブジェジェクトの位置、大きさ、輪郭位置などを取得することで、簡単に遠隔操作オブジェクトと手書きオブジェクトの相対位置関係を規定することができ、その規定された相対位置関係で遠隔操作オブジェクトおよび手書きオブジェクトを表示部に表示することができる。
【００２２】
また、制御部は、予め準備した遠隔操作オブジェクトでなく、外部装置などから取得した遠隔操作オブジェクトに対しても、輪郭位置や大きさ等に関する情報がない場合であっても、画像認識処理により、遠隔操作オブジェクトに関する画面位置，大きさ，輪郭位置などを簡単に取得することができ、その取得した情報に基づいて、遠隔操作オブジェクトと手書きオブジェクトを最適な相対位置関係で表示部に表示することができる。
【００２３】
また、本発明に係る遠隔操作装置の情報処理方法は、少なくとも外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、遠隔操作オブジェクトと制御コードを関連付けて記憶する記憶部と、表示部の画面内の位置を指定する操作信号を入力する操作入力部と、操作入力部からの操作信号により遠隔操作オブジェクトが指定されると、制御コードに応じた制御信号を外部装置に送信する通信部とを有する遠隔操作装置の情報処理方法であって、操作入力部からの操作信号に基づいて遠隔操作オブジェクトに関する手書きオブジェクトを生成して、生成された手書きオブジェクトと遠隔操作オブジェクトを関連付けて記憶部に記憶する処理を行う第１のステップと、遠隔操作オブジェクト又は手書きオブジェクトの表示指示を受けた場合、記憶部から読み出した遠隔操作オブジェクトと手書きオブジェクトを、規定の相対位置関係で関連付けて表示部の画面に表示させる処理を行う第２のステップとを有することを特徴とする。
上記遠隔操作装置の情報処理方法では、手書きオブジェクトと遠隔操作オブジェクトを関連付けて記憶部に記憶し、例えば遠隔操作オブジェクト又は手書きオブジェクトの表示指示を受けた場合に、遠隔操作オブジェクトと手書きオブジェクトを記憶部から読み出して、その遠隔操作オブジェクトと手書きオブジェクトを規定の相対位置関係で関連付けて表示部の画面に表示させる処理を行うので、ユーザは、遠隔操作装置により、比較的簡単に被遠隔操作対象の外部装置に対して遠隔操作を行うことができる。
【００２４】
また、本発明に係るプログラムは、少なくとも外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、前記遠隔操作オブジェクトと前記制御コードを関連付けて記憶する記憶部と、前記表示部の画面内の位置を指定する操作信号を入力する操作入力部と、前記操作入力部からの操作信号により前記遠隔操作オブジェクトが指定されると、前記制御コードに応じた制御信号を前記外部装置に送信する通信部とを有する遠隔処理装置により実行されるプログラムであって、前記操作入力部からの操作信号に基づいて前記遠隔操作オブジェクトに関する手書きオブジェクトを生成して、前記生成された手書きオブジェクトと前記遠隔操作オブジェクトを関連付けて前記記憶部に記憶する処理を行う第１のステップと、前記遠隔操作オブジェクト又は前記手書きオブジェクトの表示指示を受けた場合、前記記憶部から読み出した前記遠隔操作オブジェクトと前記手書きオブジェクトを、規定の相対位置関係で関連付けて前記表示部の画面に表示させる処理を行う第２のステップとを前記遠隔操作装置に実行させることを特徴とする。
上記プログラムによれば、遠隔操作装置に上記機能を実現させることができ、ユーザは、遠隔操作装置により、比較的簡単に被遠隔操作対象の外部装置に対して遠隔操作を行うことができる。
【００２５】
以下、本発明の一実施形態に係る遠隔操作装置を採用した情報処理システムを図面を参照しながら説明する。
【００２６】
［第１実施形態］
図１は、本発明の第１実施形態に係る遠隔操作装置を採用した情報処理システムを説明するための全体図である。
本実施形態に係る情報処理システム１００は、図１に示すように、遠隔操作装置（リモートコントローラ）１、および、被遠隔操作対象の外部装置２を有する。
【００２７】
遠隔操作装置１、および外部装置２は、通信路３を介してデータ通信を行うことができる。また、遠隔操作装置１と外部装置２は、無線信号（赤外線信号）などの無線方式によりデータ通信を行ってもよいし、導電線などを介して有線方式によりデータ通信を行ってもよい。つまり通信路３は、無線方式および有線方式の通信路を含む。
【００２８】
本実施形態に係る情報処理システム１００では、図１に示すように、例えば、遠隔操作装置１および外部装置２が、家１００Ｈ内に配置されている。つまり、いわゆるホームネットワークが形成されている。
【００２９】
また、遠隔操作装置１および各外部装置２は、例えば通信路３、ルータ２９１、プロバイダ２９２等を介して、いわゆるインターネット等の通信ネットワーク２９０に接続されており、通信ネットワーク２９０を介して他の情報処理装置（サーバ）２９３等とデータ通信を行うことができる。
【００３０】
本実施形態に係る外部装置２としては、例えば図１に示すように、テレビジョン受像機２１，２２、オーディオ装置２３、サーバ２４、パーソナルコンピュータ（ＰＣ）２５、エアコン２６、冷蔵庫２７、ドアセンサや玄関用カメラやモニタ等を備えたセキュリティ装置２８などの電気製品を採用する。また、外部装置２は、この形態に限られるものではなく、例えば、ゲーム装置、ハードディスクレコーダ、携帯電話、ＰＤＡ（Personal Digital Assistant）などの所定の電気製品（電化製品）を外部装置２として採用してもよい。
【００３１】
遠隔操作装置１は、例えば、図１に示すように、表示部１１、およびタッチパネル１４１等の操作入力部１４を備える。ユーザは、表示部１１の画面に表示される遠隔操作オブジェクト５（遠隔操作パネル画像）に対応するタッチパネル１４１の位置を、指や入力ペン１０等で接触や押圧することにより外部装置２を遠隔操作する。
詳細には、遠隔操作装置１は、所定の外部装置２に遠隔操作を行わせる機能を有する制御コードを含む制御信号を、所定の外部装置２に送信する。
制御コードとしては、予め規定された形式、例えば、ＸＭＬ（Extensible Markup Language）などを採用することができる。
【００３２】
外部装置２は、遠隔操作装置１から制御信号を受信すると、その制御信号に含まれる制御コードに対応した処理、例えば、コンテンツ再生処理、チャンネル切替え処理、音量調整処理、等の規定処理を行う。つまり、外部装置２は、遠隔操作装置１からの制御信号により遠隔操作される。
【００３３】
また、遠隔操作装置１では、タッチパネル１４１の検知領域のうち複数の位置を連続して指定することで、その複数の位置が連結された形に基づいて、いわゆる手書き入力を行うことができる。
また、遠隔操作装置１では、手書き入力にて、遠隔操作オブジェクト５に関する内容を示す手書きオブジェクト６を生成することができ、その手書きオブジェクト６と遠隔操作オブジェクト５とを関連付けて記憶し、所定のタイミングで、その手書きオブジェクト６と遠隔操作オブジェクト５とを規定の相対位置関係で関連付けて表示部１１の画面に表示させることができる。
このため、例えば、遠隔操作オブジェクト５に関する注釈や警告を示す内容の手書きオブジェクト６と遠隔操作オブジェクト５とを関連付けて記録部に記憶させておけば、その注釈や警告を示す内容の手書きオブジェクト６を遠隔操作オブジェクト５と関連付けて表示部１１に表示することで、ユーザに注釈や警告を示す内容を報知することができる。ユーザは手書きオブジェクト６を見てその内容を把握することで、簡単に遠隔操作オブジェクトを操作することができる、又は警告内容に応じて遠隔操作オブジェクトへの操作を抑止することができる。
【００３４】
また、例えば、手書きオブジェクト６は、「ビデオ１には、いまプロジェクタが接続されている」、「このボタンは押してはいけない」などのユーザにより手書き入力された遠隔操作オブジェクト５に関する内容を有する。
【００３５】
また、本実施形態に係る情報処理システム１００として、例えば、ＤＬＮＡ（Digital Living Network Alliance）等の所定の規格を採用してもよい。
ＤＬＮＡでは、例えば、ＰＣ（パソコン）、ハードディスクレコーダ、オーディオシステム、コンテンツ表示装置、ハードディスクレコーダ、冷蔵庫、等の各外部装置（電気装置）を通信路（通信ネットワーク）３を介して接続し、各外部装置、音楽、静止画、動画等のコンテンツ等の所定のデータ、各装置を遠隔操作させる制御コードを含む制御信号を、容易に送受信することができる。
また、ＤＬＮＡでは、例えばIEEE（The Institute of Electrical and Electronics Engineers）802.1a, 802.1b, 802.1g無線ＬＡＮ規格、IEEE802.3i、802.3uなどの有線通信規格、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）などの所定の通信プロトコル、制御メッセージの交換やファイル転送にＨＴＴＰ（HyperText Transfer Protocol）、メッセージ交換にＸＭＬ、外部装置（デバイス）２の通信路３への接続にはＵＰｎＰ（Universal Plug & Play）、動画のデータ形式はＭＰＥＧ２（Moving Picture Expert Group）、静止画にはＪＰＥＧ（Joint Photograph Experts Group）などの所定の規格を採用し、各装置（遠隔操作装置１および外部装置２）が相互にデータ通信可能となっている。
【００３６】
また、本実施形態に係る情報処理システム１００では、例えば図１に示すように、比較的大画面のテレビジョン受像機（モニタ）２１が、テレビジョン放送によるコンテンツを表示したり、通信路３を介して接続されたサーバ２４，２９３等に記憶されているコンテンツを再生することができる。本実施形態に係る遠隔操作装置１では、上述したように、タッチパネル１４１を備えた携帯型情報端末装置（携帯端末）を採用したので、ユーザは手元にある遠隔操作装置１により、テレビジョン受像機２１などの複数の外部装置２を遠隔操作することができる。
【００３７】
次に、情報処理システム１００の各構成要素について、図面を参照しながら詳細に説明する。
【００３８】
［遠隔操作装置１］
図２は、図１に示した情報処理システム１００の遠隔操作装置１を説明するための図である。
遠隔操作装置１は、例えば図２に示すように、表示部１１、記憶部１２、通信部１３、操作入力部１４、インタフェース（Ｉ／Ｆ）１５、および制御部１６を有する。例えば各構成要素は、導電線等により接続されている。
【００３９】
表示部１１は、本発明に係る表示部の一実施形態に相当し、記憶部１２は、本発明に係る記憶部の一実施形態に相当し、通信部１３は本発明に係る通信部の一実施形態に相当する。操作入力部１４は、本発明に係る操作入力部の一実施形態に相当し、制御部１６は本発明に係る制御部の一実施形態に相当する。
【００４０】
表示部１１は、例えば、制御部１６の制御により、本発明に係る画像や遠隔操作オブジェクト５や手書きオブジェクト６、等を表示する。また、表示部１１は、例えば外部装置２を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクト５を画面に表示する。
本実施形態に係る表示部１１は、図１，２に示すように、規定の表示領域を備える表示パネル１１０を有する。表示部１１としては、液晶表示装置やＥＬ（Electroluminescence）等の表示装置を採用することができる。
【００４１】
操作入力部１４は、例えば、タッチパネル１４１やマウスなどのポインティングデバイスを有する。本実施形態に係る操作入力部１４は、タッチパネル１４１を備えており、例えばユーザの操作に応じた操作信号を制御部１６に出力する。
詳細には、タッチパネル１４１は、ユーザの操作により、タッチペン１０やユーザの指先などが検知領域の所定位置を接触、押圧等により指定された場合に、検知領域中のその指定された位置を検知して、その位置を示すデータを示す操作信号を制御部１６に入力する。制御部１６は、操作入力部１４から入力された操作信号に基づいて、例えば接触位置や、接触位置の軌跡などに応じた処理を行う。
【００４２】
タッチパネル１４１としては、例えば、マトリックススイッチ方式、抵抗膜方式、表面弾性波方式、光学入力方式、等の所定方式のタッチパネルを採用することができる。
【００４３】
また、操作入力部１４は、本体部スイッチ１４２、ペン側スイッチ１４３を有する。
本体部スイッチ１４２は、例えば図１に示すように、遠隔操作装置１の本体部に設けられており、ユーザの操作に応じた信号を制御部１６に出力する。
ペン側スイッチ１４３は、例えば図１に示すように、入力ペン１０に設けられている。例えば制御部１６は、ペン側スイッチ１４３から送信された無線信号（赤外線信号）等を受信して、ペン側スイッチ１４３の操作に応じた処理を行う。
【００４４】
制御部１６は、タッチパネル１４１、本体部スイッチ１４２、ペン側スイッチ１４３からの操作信号に基づいて、タッチパネル１４１、本体部スイッチ１４２、ペン側スイッチ１４３それぞれを、単独、又は、それらの組み合わせに応じた規定の処理を行ってもよい。
【００４５】
本実施形態に係るタッチパネル１４１と表示パネル１１０は、重ねて配置されており、表示パネル１１０に表示された画像が、タッチパネル１４１を透過して視認することができる。ユーザは、あたかも表示パネル１１０に表示されたオブジェクトを直接操作しているかのように遠隔操作や、本発明に係る手書きオブジェクト６を生成するための手書き入力を行うことができる。
【００４６】
記憶部１２は、プログラムＰＲＧ１、データ（ＤＴ）、詳細には遠隔操作オブジェクト５（遠隔操作パネル画像）、およびそれに関連付けられた外部装置２を制御するための制御コード、手書きオブジェクト６、等を記憶する。プログラ（ＰＲＧ１）は、本発に係る機能を有し、制御部１６により実行される。手書きオブジェクト６は、例えば、操作入力部１４から入力された操作信号に基づいて生成されたデータである。
【００４７】
また、記憶部１２は、制御部１６による作業領域としても用いられる。
記憶部１２としては、例えばＲＡＭ（Random access memory）やＲＯＭ（Read only memory）等の半導体メモリや、ハードディスク装置などの記憶装置を採用することができる。
【００４８】
通信部１３は、制御部１６の制御により、所定の通信方式により外部装置２とデータ通信を行う。通信部１３は、例えば無線信号（赤外線信号を含む）や有線方式によりデータ通信を行う。
【００４９】
インタフェース（Ｉ／Ｆ）１５は、他の装置とデータ通信を行うためのインタフェースである。このＩ／Ｆ１５は、例えばＵＳＢ（Universal serial bus）端子などの所定方式の端子を介して、他の装置と制御部１６とを接続する。
【００５０】
制御部１６は、各構成要素に対して統括的に制御を行う。また、例えば制御部１６は、本発明に係る機能を有するプログラム（ＰＲＧ１）を実行することにより、本発明に係る機能を実現する。
【００５１】
図３は、図１に示した遠隔操作装置の一実施形態に係る機能を説明するための図である。
制御部１６は、例えば図３に示すように、操作入力部１４からの操作信号に基づいて、遠隔操作オブジェクト５と、その遠隔操作オブジェクト５に関連付けられている手書きオブジェクト６に対して本発明に係る動作を行う。手書きオブジェクト６と遠隔操作オブジェクト５は、記憶部１２に関連付けられて記憶されている。
【００５２】
図４は、図１に示した遠隔操作装置１の一実施形態に係る機能を説明するための図である。
制御部１６は、例えば図４に示すように、オブジェクト処理部１６０、および画像処理部１６８を有する。
【００５３】
オブジェクト処理部１６０は、例えば、遠隔操作オブジェクト５や手書きオブジェクト６に関する処理を行う。
画像処理部１６８は、例えば、表示部１１の画面表示に関する画像処理を行う。また、画像処理部１６８は、例えば、表示部１１に表示されている遠隔操作オブジェクト５に対して画像認識処理を施し、例えば遠隔操作オブジェクト５の表示位置や、輪郭位置、中心位置、オブジェクト内のボタンやスイッチなどの各機能が割り当てられた領域の位置、等を取得し、その画像認識処理の結果に基づいて、遠隔操作オブジェクト５と手書きオブジェクト６の相対位置関係を規定することを特徴とする。
【００５４】
また、本実施形態に係る画像処理部１６８は、図４に示すように、複数のレイヤ（仮想的なシート）ＬＹ１，ＬＹ２，・・・，ＬＹＮを合成した画像を表示部１１に画面表示する処理を行う。例えば、レイヤＬＹＮに遠隔操作オブジェクト５、レイヤＬＹ２に手書きオブジェクト６、レイヤＬＹ３に手書きオブジェクト６と遠隔操作オブジェクト５の関連付けを示す所定形状、例えば線形状のオブジェクトそれぞれが割り当てられている。
上述したように、本発明の実施形態に係る制御部１６では、各オブジェクトを各レイヤ毎に分散して処理を行うので、例えば単純に一つのレイヤに複数のオブジェクトを割り当てて各処理を行う場合と比べて、処理負荷を低減することができる。
【００５５】
制御部１６は、遠隔操作オブジェクト５を、例えばレイヤＬＹＮに割り当てて、遠隔操作オブジェクト５に対して画像処理を施して、遠隔操作オブジェクト５の表示位置、大きさ、輪郭位置などの情報を取得し、その取得した情報に基づいて、例えばレイヤＬＹＮより上層のレイヤＬＹ１〜ＬＹ（Ｎ−１）等に、手書きオブジェクトを割り当てて、遠隔操作オブジェクト５と手書きオブジェクト６の相対位置関係を規定し、遠隔操作オブジェクト５と手書きオブジェクト６を、規定の相対位置関係で関連付けて表示部１１の画面に表示させる処理を行うので、処理の負荷を低減することができる。
また、制御部１６は、図４に示すように、手書きオブジェクト６を複数のオブジェクト６１〜６３に分けて、そのオブジェクト６１〜６３を例えば複数のレイヤＬＹ１〜ＬＹ３それぞれに割り当てて、各レイヤ毎に処理を行うことで、さらに処理の負荷を低減することができる。
【００５６】
上述した実施形態では複数のレイヤを用いて本発明に係る機能を実現したが、この形態に限られるものではない。例えば、一つのレイヤにより本発明に係る機能を実現してもよい。
【００５７】
また、オブジェクト処理部１６０は、詳細には、図４に示すように、遠隔操作オブジェクト処理部１６１、手書きオブジェクト生成部１６２、オブジェクト関連付部１６３、操作手順関連付部１６４、および操作手順実行部１６５を有する。
【００５８】
遠隔操作オブジェクト処理部１６１は、操作入力部１４からの操作信号に応じて、遠隔操作オブジェクト５に関する処理を行う。
詳細には、遠隔操作オブジェクト処理部１６１は、操作入力部１４からの操作信号により遠隔操作オブジェクト５が指定されると、その遠隔操作オブジェクト５に関連付けられている制御コードに応じた制御信号を通信部１３を介して外部装置２に送信する。
また、遠隔操作オブジェクト処理部１６１は、通信部１３を介して遠隔操作オブジェクト５および制御コードを取得する。詳細には、制御部１６は、通信部１３を介して外部装置２が接続されていると検出した場合に、その外部装置２を遠隔操作させるための遠隔操作オブジェクト５を受信する。
【００５９】
この遠隔操作オブジェクト５および制御コードは、遠隔操作オブジェクト５および制御コードを記憶している外部装置２から受信してもよいし、その外部装置２を遠隔操作させるための遠隔操作オブジェクト５を記憶する他の外部装置２から受信してもよい。また、遠隔操作オブジェクト処理部１６１は、インターネット等の通信路２９０を介して他の情報処理装置２９３から遠隔操作オブジェクト５を受信してもよい。
【００６０】
手書きオブジェクト生成部１６２は、操作入力部１４からの操作信号に基づいて遠隔操作オブジェクト５に関する手書きオブジェクト６を生成する。
【００６１】
オブジェクト関連付部１６３は、手書きオブジェクト生成部１６２により生成された手書きオブジェクト６と遠隔操作オブジェクト５を関連付けて記憶部１２に記憶する処理を行う。
詳細には、オブジェクト関連付部１６３は、例えば、表示部に表示されている遠隔操作を行わせる遠隔操作オブジェクトを画像認識して、その遠隔操作オブジェクトの表示位置、輪郭線の位置、中心位置、オブジェクト中のボタン位置、等を抽出して、その抽出されたデータと、手書きオブジェクトとを関連付けて記憶する。
【００６２】
また、オブジェクト関連付部１６３は、遠隔操作オブジェクト５又は手書きオブジェクト６の表示指示を受けた場合、詳細には、例えば操作入力部１４からの操作信号により遠隔操作オブジェクト５又は手書きオブジェクト６の表示指示を受けた場合や、予め規定されたタイミングでその表示指示を受けた場合などに、遠隔操作オブジェクト５および手書きオブジェクト６を記憶部１２から読み出し、その読み出した遠隔操作オブジェクト５、手書きオブジェクト６を、規定の相対位置関係で関連付けて表示部１１の画面に表示させる処理を行う。
【００６３】
操作手順関連付部１６４は、操作入力部１４により指定された位置に基づいて、一つ又は複数の遠隔操作オブジェクト５に対する操作の順番を、手書きオブジェクト６に関連付けて記憶部１２に記憶する処理を行う。
【００６４】
操作手順実行部１６５は、手書きオブジェクト６が指示された場合、記憶部１２に記憶されたその手書きオブジェクト６に関連付けられた操作の順番に応じた制御信号を、通信部１３を介して外部装置２に送信する処理を行う。
【００６５】
［外部装置２］
【００６６】
次に、外部装置２として、例えばテレビジョン受像装置２１を説明する。
図５は、図１に示した情報処理システムの外部装置２の機能ブロック図である。
【００６７】
外部装置２は、例えば図５に示すように、通信部２０１、表示部２０２、操作入力部２０３、記憶部２０４、チューナ２０５、Ｉ／Ｆ２０６、および制御部２０７を有する。各構成要素は、バスなどの導電線により接続されている。
【００６８】
通信部２０１は、例えば、制御部２０７の制御により、遠隔操作装置１とデータ通信を行う。詳細には、通信部２０１は、受信した信号を制御部２０７に出力する。
【００６９】
表示部２０２は、例えば、制御部２０７の制御により、遠隔操作により表示部を行う
操作入力部２０３、
【００７０】
記憶部２０４は、例えば遠隔操作オブジェクトを記憶する。例えば遠隔操作オブジェクトには、外部装置２を遠隔操作させる制御コードが関連付けられて記憶されている。
【００７１】
チューナ２０５は、例えば、制御部２０７の制御により、テレビジョン放送やラジオ放送などを受信して、例えば所定のコンテンツ等のデータを制御部２０７、表示部２０２、記憶部２０４等に出力する。制御部２０７は、受信したデータに基づいて、所定の画像（動画像）などを表示部２０２に表示させる。また、制御部２０７は、受信したデータを記憶部２０４に記憶してもよい。
【００７２】
インタフェース（Ｉ／Ｆ）２０６は、他の装置とデータ通信を行うためのインタフェースである。このＩ／Ｆ２０６は、例えばＵＳＢ端子などの所定方式の端子を介して、他の装置と制御部２０７が接続されている。
【００７３】
制御部２０７は、各構成要素を統括的に制御して、本発明に係る機能を実現する。詳細には、制御部２０７は、例えば記憶部２０４に記憶されているプログラム（ＰＲＧ２）を実行することにより、本発明に係る機能を実現する。
【００７４】
また、制御部２０７は、通信部２０１を介して遠隔操作装置１から遠隔操作を行わせる制御コードを受信すると、その制御コードに応じて所定の処理を行う。つまり制御部２０７は、遠隔操作装置１から受信した信号が示す内容を実行する。
また、制御部２０７は、通信部２０１を介して他の外部装置２とデータ通信を行い、所定の処理を行う。例えば外部装置２は、他の外部装置２とデータ通信を行い、分散処理を行ってもよいし、他の外部装置２とデータ通信を行うことにより、分散型の記憶処理を行ってもよい。
【００７５】
また、制御部２０７は、例えば通信部２０１を介して遠隔操作装置１から遠隔操作オブジェクトのダウンロード要求を受けると、記憶部２０４に記憶された遠隔操作オブジェクトおよび制御コードを読み出して、その遠隔操作オブジェクトおよび制御コードを通信部２０１を介して遠隔操作装置１に送信する。
【００７６】
また、制御部２０７は、通信路３を介して遠隔操作装置１とデータ通信可能な状態となった場合に、遠隔操作オブジェクトを、送信してもよい。
【００７７】
テレビジョン受像装置２０１を説明したが、外部装置２の構成は、上述したものに限られるものではない。外部装置２からの遠隔操作に応じた処理を行えれば上記構成に限られるものではない。
【００７８】
図６は、図１に示した情報処理システム１００の動作を説明するためのフローチャートである。図７（Ａ）〜（Ｃ）は、図１に示した遠隔操作装置１の動作を説明するための図である。
図面を参照しながら、本発明に係る情報処理システム１００の動作を、遠隔操作装置１の動作を中心に説明する。
【００７９】
まず、遠隔操作装置１の制御部１６は、例えば通信部１３により、通信路３を介して通信可能な外部装置２を検索する。
次に、遠隔操作装置１の制御部１６は、検索の結果、外部装置２がデータ通信可能であると判断した場合には、その外部装置２に関する遠隔操作オブジェクト５が、記憶部１２に記憶されているか否かを判別し、記憶されていないと判別した場合に、例えば外部装置２の遠隔操作に関する遠隔操作オブジェクト５および制御コードを、外部装置２や他の外部装置２、又は通信路２９０を介してサーバ２９３等から受信して記憶部１２に記憶し、表示部１１に遠隔操作オブジェクト５を表示する。
【００８０】
この際、制御部１６は、記憶部１２に、所定の遠隔操作オブジェクト５が記憶されている場合には、上述した遠隔操作オブジェクト５のダウンロードを行うことなく、記憶部１２に記憶されている遠隔操作オブジェクト５を読み出して、表示部１１に表示する。
【００８１】
ユーザは、操作入力部１４のタッチパネル１４１をタッチペン１０や指などで接触、押圧する等により、遠隔操作オブジェクト５の表示位置に対応する位置を指示する。制御部１６は、操作入力部１４から入力された操作信号に基づいて、その指示された位置の遠隔操作オブジェクト５に関連付けられた制御コードを含む制御信号を、通信部１３を介して外部装置２に送信する処理を行う。
【００８２】
外部装置２の制御部２７は、通信部２１を介して遠隔操作装置１から制御信号を受信すると、制御信号に含まれる制御コードに基づいて、その制御コードが示す処理を実行する。つまり、外部装置２が遠隔操作装置１により遠隔操作される。
【００８３】
次に、ユーザが、タッチパネル１４１を操作して手書き入力にて、遠隔操作オブジェクト５に関連した注釈（手書きオブジェクト６）を書き込む場合を説明する。
【００８４】
図６，図７（Ａ）〜（Ｃ）に示すように、ステップＳＴ１において、制御部１６は、記録モード時に、操作入力部１４から入力された信号に基づいて手書きオブジェクト６を生成する。
ステップＳＴ２において、制御部１６は、ステップＳＴ１にて生成された手書きオブジェクト６と遠隔操作オブジェクト５とを関連付けて記憶部１２に記憶する。
【００８５】
この際、制御部１６は、手書きオブジェクト５と遠隔操作オブジェクト６とを、相対位置や、基準座標による絶対位置（表示パネルの表示領域やタッチパネルの検知領域）、等に基づいて、手書きオブジェクト６と遠隔操作オブジェクト５とを関連付けて、記憶部１２に記憶する。
詳細には、制御部１６は、例えば、表示部１１に表示された遠隔操作オブジェクト５に画像認識処理を施して、遠隔操作オブジェクト５の位置を特定し、その特定された位置と、手書きオブジェクト６の位置との相対位置関係を記憶してもよい。そして、制御部１６は、記録モードを終了する。
【００８６】
ステップＳＴ３において、制御部１６は、再現モード時に、遠隔操作オブジェクト５又は手書きオブジェクト６の表示指示を受けた場合、遠隔操作オブジェクト５とその遠隔操作オブジェクト５に関連付けられている手書きオブジェクト６を記憶部１６から読み出し、その読み出した遠隔操作オブジェクト５および手書きオブジェクト６を、規定の相対位置関係で関連付けて、例えば図７（Ｃ）に示すように、表示部１１の画面に表示させる処理を行う。
例えば、制御部１６は、例えば予め規定されたボタンやスイッチなどを操作することを示す操作信号が操作入力部１４から入力された場合に、その操作信号に基づいて、記録モードや再現モードの選択を行う。
【００８７】
例えば、図７（Ｃ）に示すように、制御部１６は、遠隔操作オブジェクト５が表示部１１に表示されていない状態から、遠隔操作オブジェクト５を表示する場合に、遠隔操作オブジェクト５および手書きオブジェクト６を、規定の相対位置関係で関連付けて表示部１１の画面に表示させる処理を行う。
【００８８】
また、図７（Ｃ）に示すように、制御部１６は、例えば操作入力部１４から所定の信号が入力されたときに、遠隔操作オブジェクト５および手書きオブジェクト６を表示部１１に表示してもよいし、予め規定された時間に、遠隔操作オブジェクト５および手書きオブジェクト６を表示部１１に表示してもよい。
また、制御部１６は、他の情報処理を実行することにより、その処理により遠隔操作オブジェクト５の表示指示を受けた場合に、上記遠隔操作オブジェクト５および手書きオブジェクト６を表示部１１に表示してもよい。
【００８９】
上述したように、本発明に係る遠隔操作装置１では、制御部１６が、遠隔操作オブジェクト５又は手書きオブジェクト６の表示指示を受けた場合、遠隔操作オブジェクト５とその遠隔操作オブジェクト５に関連付けられている手書きオブジェクト６を記憶部１６から読み出し、その読み出した遠隔操作オブジェクト５および手書きオブジェクト６を、規定の相対位置関係で関連付けて表示部１１の画面に表示させる処理を行うので、例えば、ユーザが、予め遠隔操作オブジェクト５に対して、注釈等の内容を示す手書きオブジェクト６を関連付けて記憶させていたものを、再度、表示部１１に表示された遠隔操作オブジェクト５と注釈等の内容を示す手書きオブジェクト６を見ることで、遠隔操作オブジェクト５に対する注釈を把握することができる。
【００９０】
また、ユーザが、遠隔操作オブジェクト５に関する、他のユーザに対して注意を促す内容の手書きオブジェクト６を、その遠隔操作オブジェクト５に関連付けて記憶部１２に記憶させた場合、制御部１６は、他のユーザが操作入力部１４を操作したときに、遠隔操作オブジェクト５と手書きオブジェクト６を表示部１１に表示させることで、この他のユーザに対して注意を促す表示を行うことができる。
【００９１】
また、図７（Ｃ）に示すうように、ユーザが、予め遠隔操作オブジェクト５に対して警告等の内容を示す手書きオブジェクト６を関連付けて記憶させておくことで、再度、表示部１１に表示された遠隔操作オブジェクト５と手書きオブジェクト６をユーザ自身または他のユーザが見ることで、その遠隔操作オブジェクト５に対する警告、例えば「このボタンを押しちゃだめ」という警告を示すことにより、その遠隔操作オブジェクト５への操作の防止することができる。
【００９２】
［第２実施形態］
図８（Ａ），（Ｂ）は、本発明の第２実施形態に係る遠隔操作装置の動作を説明するための図である。
本実施形態に係る遠隔操作装置１では、制御部１６は、例えば図８（Ａ）に示すように、遠隔操作オブジェクト５の近傍に、コンテキスト選択画像６１を表示し、そのコンテキスト選択画像６１を選択指示する信号が操作入力部１４から入力されると記録モードとなり、その状態で、操作入力部１４からの操作信号により、遠隔操作オブジェクト５が指定されると、遠隔操作オブジェクト５と手書きオブジェクト６を関連付ける処理を行い、図８（Ｂ）に示すように、終了画像６２が操作されると記録モードを終了する。
上述したように、本実施形態に係る制御部１６では、上述したように動作を行うことで、より簡単に遠隔操作オブジェクト５と手書きオブジェクト６を関連付けることができる。
【００９３】
［第３実施形態］
図９（Ａ）〜（Ｃ）は、本発明の第３実施形態に係る遠隔操作装置の動作を説明するための図である。
本実施形態に係る遠隔操作装置１の制御部１６は、例えば図９（Ａ）に示すように、記録モード時に、操作入力部１４により指定された位置に基づいて、一つ又は複数の遠隔操作オブジェクト５に対する操作の順番が指定されると、手書きオブジェクト６に関連付けて記憶部１２に記憶する処理を行う。この際、例えば図９（Ａ）に示すように、操作入力部１４から操作信号により手入力の軌跡６５に基づいて、上記操作手順を指定する。そして制御部１６は、規定されたボタンが操作された場合に、記録モードを終了する。
【００９４】
そして、制御部１６は、図９（Ｂ）に示すように、再現モード時に、手書きオブジェクト６が指示された場合、記憶部１２に記憶された当該手書きオブジェクト６に関連付けられた操作の順番に応じた制御信号を、通信部１３を介して外部装置２に送信する処理を行う。
【００９５】
上述したように、本実施形態に係る制御部１６では、一つ又は複数の遠隔操作オブジェクト５に対して所望の手順を手書きオブジェクト６と関連付けて記憶し、手書きオブジェクト６が指示された場合、その操作の順番に応じた制御信号を順次、通信部１３を介して外部装置２に送信する処理を行うので、ユーザは、手書きオブジェクト６を操作するだけで、簡単に遠隔操作オブジェクト５に対して所望の一連の操作を簡単に実行することができる。
【００９６】
［第４実施形態］
図１０は、本発明の第４実施形態に係る遠隔操作装置の動作を説明するための図である。
本実施形態に係る遠隔操作装置１の制御部１６は、例えば図１０に示すように、操作入力部１４から操作信号により手入力のチェック６８の順番に基づいて、上記操作手順を指定する。その他の事項については、第３実施形態と同様であるので説明を省略する。
【００９７】
以上説明したように、本発明に係る遠隔操作装置１は、少なくとも外部装置２を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクト５を画面に表示する表示部１１と、遠隔操作オブジェクト５と制御コードを関連付けて記憶する記憶部１２と、表示部１１の画面内の位置を指定する操作信号を入力する操作入力部１４と、操作入力部１４からの操作信号により遠隔操作オブジェクト５が指定されると、制御コードに応じた制御信号を外部装置２に送信する通信部１１と、操作入力部１４からの操作信号に基づいて遠隔操作オブジェクト５に関する手書きオブジェクト６を生成して、その生成された手書きオブジェクト６と遠隔操作オブジェクト５を関連付けて記憶部１３に記憶する処理を行い、遠隔操作オブジェクト５又は手書きオブジェクト６の表示指示を受けた場合、記憶部１３から読み出した遠隔操作オブジェクト５と手書きオブジェクト６を、規定の相対位置関係で関連付けて表示部１１の画面に表示させる処理を行う制御部１６とを有するので、例えば、制御部１６が、遠隔操作オブジェクトに関する注釈や警告を示す内容の手書きオブジェクトと遠隔操作オブジェクトとを関連付けて記録部１３に記憶させておけば、その注釈や警告を示す内容の手書きオブジェクトを遠隔操作オブジェクトと関連付けて表示部に表示することで、ユーザに注釈や警告を示す内容を報知することができる。
つまり、ユーザは手書きオブジェクトを見てその内容を把握することで、簡単に遠隔操作オブジェクトを操作することができる。
【００９８】
本発明は、上記実施形態に限られるものではない。
例えば、通信路３や通信路２９０は、ホームネットワーク（家庭内ネットワーク）でなくてもよい。会社内の通信ネットワーク、等の所定のネットワークであってもよい。また、遠隔操作装置１は、遠隔地に配置された外部装置を操作してもよい。
【００９９】
また、第１実施形態に係る情報処理システム１００では、ＤＬＮＳを採用したがこの形態に限られるものではない。情報処理システム１００は、他の所定の通信規格を採用してもよい。
【０１００】
また、上述した実施形態では、外部装置２が接続されたときに、遠隔操作オブジェクト５と制御コードをダウンロードしたが、この形態に限られるものではない。
例えば、外部装置２の固有の識別情報（ＩＤ）を通信路３を介して取得した場合に、その識別情報（ＩＤ）に対応した遠隔操作オブジェクト５と制御コードを他の外部装置からダウンロードしてもよい。
【０１０１】
また、遠隔操作装置１は、無線信号や赤外線信号により外部装置２に対して遠隔操作を行ってもよい。
【０１０２】
また、制御部１６は、外部装置２等から規定の信号が入力された場合や所定のタイミングで自動的に手書きオブジェクト６に関連付けられた、遠隔操作オブジェクト５に対する操作の順番を実行してもよい。
【図面の簡単な説明】
【０１０３】
【図１】本発明の第１実施形態に係る遠隔操作装置を採用した情報処理システムを説明するための全体図である。
【図２】図１に示した情報処理システムの遠隔操作装置を説明するための図である。
【図３】図１に示した遠隔操作装置の一実施形態に係る機能を説明するための図である。
【図４】図１に示した遠隔操作装置の一実施形態に係る機能を説明するための図である。
【図５】図１に示した情報処理システムの外部装置の機能ブロック図である。
【図６】図１に示した情報処理システムの動作を説明するためのフローチャートである。
【図７】（Ａ）〜（Ｃ）は、図１に示した遠隔操作装置の動作を説明するための図である。
【図８】（Ａ），（Ｂ）は、本発明の第２実施形態に係る遠隔操作装置の動作を説明するための図である。
【図９】（Ａ）〜（Ｃ）は、本発明の第３実施形態に係る遠隔操作装置の動作を説明するための図である。
【図１０】本発明の第４実施形態に係る遠隔操作装置の動作を説明するための図である。
【符号の説明】
【０１０４】
１ 遠隔操作装置
２ 外部装置
３ 通信路
５ 遠隔操作オブジェクト
６ 手書きオブジェクト
１０ ペン（入力ペン）
１１ 表示部
１２ 記憶部
１３ 通信部
１４ 操作入力部１４、
１５ インタフェース（Ｉ／Ｆ）
１６ 制御部
１００ 情報処理システム
１４１ タッチパネル
１４２ 本体部スイッチ
１４３ ペン側スイッチ
１６０ オブジェクト処理部
１６１ 遠隔操作オブジェクト処理部
１６２ 手書きオブジェクト生成部
１６３ オブジェクト関連付部
１６４ 操作手順関連付部
１６５ 操作手順実行部
１６８ 画像処理部
２０１ 通信部
２０２ 表示部
２０３ 操作入力部
２０４ 記憶部
２０５ チューナ
２０６ Ｉ／Ｆ
２０７ 制御部
【特許請求の範囲】
【請求項１】
外部装置を遠隔操作する遠隔操作装置であって、
少なくとも前記外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、
前記遠隔操作オブジェクトと前記制御コードを関連付けて記憶する記憶部と、
前記表示部の画面内の位置を指定する操作信号を入力する操作入力部と、
前記操作入力部からの操作信号により前記遠隔操作オブジェクトが指定されると、前記制御コードに応じた制御信号を前記外部装置に送信する通信部と、
前記操作入力部からの操作信号に基づいて前記遠隔操作オブジェクトに関する手書きオブジェクトを生成して、前記生成された手書きオブジェクトと前記遠隔操作オブジェクトを関連付けて前記記憶部に記憶する処理を行い、前記遠隔操作オブジェクト又は前記手書きオブジェクトの表示指示を受けた場合、前記記憶部から読み出した前記遠隔操作オブジェクトと前記手書きオブジェクトを、規定の相対位置関係で関連付けて前記表示部の画面に表示させる処理を行う制御部と
を有することを特徴とする遠隔操作装置。
【請求項２】
前記制御部は、前記遠隔操作オブジェクトおよび前記制御コードを記憶する外部装置から、当該遠隔操作オブジェクトおよび当該制御コードを前記通信部を介して取得することを特徴とする請求項１に記載の遠隔操作装置。
【請求項３】
前記外部装置は、通信路を介して他の外部装置とデータ通信を行い、
前記制御部は、前記通信部により前記通信路を介して前記外部装置に前記制御信号を送信して当該外部装置を遠隔操作することを特徴とする請求項１または請求項２に記載の遠隔操作装置。
【請求項４】
前記制御部は、前記操作入力部により指定された位置に基づいて、一つ又は複数の遠隔操作オブジェクトに対する操作の順番を、前記手書きオブジェクトに関連付けて前記記憶部に記憶する処理を行い、
前記手書きオブジェクトが指示された場合、前記記憶部に記憶された当該手書きオブジェクトに関連付けられた操作の順番に応じた制御信号を、前記通信部を介して前記外部装置に送信する処理を行うことを特徴とする請求項１から請求項３のいずれかに記載の遠隔操作装置。
【請求項５】
前記制御部は、前記表示部に表示されている前記遠隔操作オブジェクトに対して画像認識処理を施し、当該画像認識処理の結果に基づいて前記遠隔操作オブジェクトと前記手書きオブジェクトの前記相対位置関係を規定することを特徴とする請求項１から請求項４のいずれかに記載の遠隔操作装置。
【請求項６】
少なくとも外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、前記遠隔操作オブジェクトと前記制御コードを関連付けて記憶する記憶部と、前記表示部の画面内の位置を指定する操作信号を入力する操作入力部と、前記操作入力部からの操作信号により前記遠隔操作オブジェクトが指定されると、前記制御コードに応じた制御信号を前記外部装置に送信する通信部とを有する遠隔操作装置の情報処理方法であって、
前記操作入力部からの操作信号に基づいて前記遠隔操作オブジェクトに関する手書きオブジェクトを生成して、前記生成された手書きオブジェクトと前記遠隔操作オブジェクトを関連付けて前記記憶部に記憶する処理を行う第１のステップと、
前記遠隔操作オブジェクト又は前記手書きオブジェクトの表示指示を受けた場合、前記記憶部から読み出した前記遠隔操作オブジェクトと前記手書きオブジェクトを、規定の相対位置関係で関連付けて前記表示部の画面に表示させる処理を行う第２のステップと
を有することを特徴とする遠隔操作装置の情報処理方法。
【請求項７】
少なくとも外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、前記遠隔操作オブジェクトと前記制御コードを関連付けて記憶する記憶部と、前記表示部の画面内の位置を指定する操作信号を入力する操作入力部と、前記操作入力部からの操作信号により前記遠隔操作オブジェクトが指定されると、前記制御コードに応じた制御信号を前記外部装置に送信する通信部とを有する遠隔処理装置により実行されるプログラムであって、
前記操作入力部からの操作信号に基づいて前記遠隔操作オブジェクトに関する手書きオブジェクトを生成して、前記生成された手書きオブジェクトと前記遠隔操作オブジェクトを関連付けて前記記憶部に記憶する処理を行う第１のステップと、
前記遠隔操作オブジェクト又は前記手書きオブジェクトの表示指示を受けた場合、前記記憶部から読み出した前記遠隔操作オブジェクトと前記手書きオブジェクトを、規定の相対位置関係で関連付けて前記表示部の画面に表示させる処理を行う第２のステップと
を前記遠隔操作装置に実行させることを特徴とするプログラム。
【請求項１】
外部装置を遠隔操作する遠隔操作装置であって、
少なくとも前記外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、
前記遠隔操作オブジェクトと前記制御コードを関連付けて記憶する記憶部と、
前記表示部の画面内の位置を指定する操作信号を入力する操作入力部と、
前記操作入力部からの操作信号により前記遠隔操作オブジェクトが指定されると、前記制御コードに応じた制御信号を前記外部装置に送信する通信部と、
前記操作入力部からの操作信号に基づいて前記遠隔操作オブジェクトに関する手書きオブジェクトを生成して、前記生成された手書きオブジェクトと前記遠隔操作オブジェクトを関連付けて前記記憶部に記憶する処理を行い、前記遠隔操作オブジェクト又は前記手書きオブジェクトの表示指示を受けた場合、前記記憶部から読み出した前記遠隔操作オブジェクトと前記手書きオブジェクトを、規定の相対位置関係で関連付けて前記表示部の画面に表示させる処理を行う制御部と
を有することを特徴とする遠隔操作装置。
【請求項２】
前記制御部は、前記遠隔操作オブジェクトおよび前記制御コードを記憶する外部装置から、当該遠隔操作オブジェクトおよび当該制御コードを前記通信部を介して取得することを特徴とする請求項１に記載の遠隔操作装置。
【請求項３】
前記外部装置は、通信路を介して他の外部装置とデータ通信を行い、
前記制御部は、前記通信部により前記通信路を介して前記外部装置に前記制御信号を送信して当該外部装置を遠隔操作することを特徴とする請求項１または請求項２に記載の遠隔操作装置。
【請求項４】
前記制御部は、前記操作入力部により指定された位置に基づいて、一つ又は複数の遠隔操作オブジェクトに対する操作の順番を、前記手書きオブジェクトに関連付けて前記記憶部に記憶する処理を行い、
前記手書きオブジェクトが指示された場合、前記記憶部に記憶された当該手書きオブジェクトに関連付けられた操作の順番に応じた制御信号を、前記通信部を介して前記外部装置に送信する処理を行うことを特徴とする請求項１から請求項３のいずれかに記載の遠隔操作装置。
【請求項５】
前記制御部は、前記表示部に表示されている前記遠隔操作オブジェクトに対して画像認識処理を施し、当該画像認識処理の結果に基づいて前記遠隔操作オブジェクトと前記手書きオブジェクトの前記相対位置関係を規定することを特徴とする請求項１から請求項４のいずれかに記載の遠隔操作装置。
【請求項６】
少なくとも外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、前記遠隔操作オブジェクトと前記制御コードを関連付けて記憶する記憶部と、前記表示部の画面内の位置を指定する操作信号を入力する操作入力部と、前記操作入力部からの操作信号により前記遠隔操作オブジェクトが指定されると、前記制御コードに応じた制御信号を前記外部装置に送信する通信部とを有する遠隔操作装置の情報処理方法であって、
前記操作入力部からの操作信号に基づいて前記遠隔操作オブジェクトに関する手書きオブジェクトを生成して、前記生成された手書きオブジェクトと前記遠隔操作オブジェクトを関連付けて前記記憶部に記憶する処理を行う第１のステップと、
前記遠隔操作オブジェクト又は前記手書きオブジェクトの表示指示を受けた場合、前記記憶部から読み出した前記遠隔操作オブジェクトと前記手書きオブジェクトを、規定の相対位置関係で関連付けて前記表示部の画面に表示させる処理を行う第２のステップと
を有することを特徴とする遠隔操作装置の情報処理方法。
【請求項７】
少なくとも外部装置を遠隔操作させる機能を有する制御コードが関連付けられた遠隔操作オブジェクトを画面に表示する表示部と、前記遠隔操作オブジェクトと前記制御コードを関連付けて記憶する記憶部と、前記表示部の画面内の位置を指定する操作信号を入力する操作入力部と、前記操作入力部からの操作信号により前記遠隔操作オブジェクトが指定されると、前記制御コードに応じた制御信号を前記外部装置に送信する通信部とを有する遠隔処理装置により実行されるプログラムであって、
前記操作入力部からの操作信号に基づいて前記遠隔操作オブジェクトに関する手書きオブジェクトを生成して、前記生成された手書きオブジェクトと前記遠隔操作オブジェクトを関連付けて前記記憶部に記憶する処理を行う第１のステップと、
前記遠隔操作オブジェクト又は前記手書きオブジェクトの表示指示を受けた場合、前記記憶部から読み出した前記遠隔操作オブジェクトと前記手書きオブジェクトを、規定の相対位置関係で関連付けて前記表示部の画面に表示させる処理を行う第２のステップと
を前記遠隔操作装置に実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−５５５４４（Ｐ２００９−５５５４４Ａ）
【公開日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願番号】特願２００７−２２２５８８（Ｐ２００７−２２２５８８）
【出願日】平成１９年８月２９日（２００７．８．２９）
【出願人】（５０４１３３１１０）国立大学法人 電気通信大学 (383)
【出願人】（０００２０１１１３）船井電機株式会社 (7,855)
【Ｆターム（参考）】
【公開日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願日】平成１９年８月２９日（２００７．８．２９）
【出願人】（５０４１３３１１０）国立大学法人 電気通信大学 (383)
【出願人】（０００２０１１１３）船井電機株式会社 (7,855)
【Ｆターム（参考）】
[ Back to top ]