遠隔操作システム、および遠隔操作システムの動作方法
【課題】従来の遠隔操作の技術では、例えば命令端末において実行端末の画面情報を取得し表示する機能を別途導入する必要がある、という課題がある。つまり遠隔操作に対応するソフトウェアやハードウェアが特別に導入された端末を予め用意しなければ実現できない、という課題がある。
【解決手段】以上の課題を解決するために、本発明は、命令端末にて入力された例えば画面遷移を伴う操作による機能実行命令を通信網を介して遠隔操作サーバ装置に送信し、遠隔サーバ装置にてその命令を実行端末で実行させるための仮インターフェイス操作信号に変換し実行端末に転送することを特徴とする遠隔操作システムを提供する。
【解決手段】以上の課題を解決するために、本発明は、命令端末にて入力された例えば画面遷移を伴う操作による機能実行命令を通信網を介して遠隔操作サーバ装置に送信し、遠隔サーバ装置にてその命令を実行端末で実行させるための仮インターフェイス操作信号に変換し実行端末に転送することを特徴とする遠隔操作システムを提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔操作サーバ装置を介して、命令端末から実行端末を通信網経由で遠隔操作する技術に関する。
【背景技術】
【０００２】
従来、例えばユーザが出先で携帯電話を操作し、自宅のレコーダ装置の録画予約をしたり、ＰＣ（パーソナル・コンピュータ）メーカのユーザサポート担当のオペレータが顧客宅にあるＰＣを遠隔操作でメンテナンスしたりする、という具合に、ある端末Ａを利用して別の端末Ｂを操作することができる遠隔操作システムが各種提供されている。例えば通信網を介して２台の通信端末間で遠隔操作を行うために、例えば個別に機能キーなどが割り当てられている機能選択操作においては、映像入力キーのキーコードは２２Ｈという具合に異機種間であっても各キーに統一したコードを割り当てる構成としている。したがって映像入力の遠隔操作を行いたい場合、一方の端末で映像入力キーを押すことでキーコード２２Ｈが他方の端末に送信され、映像入力制御の遠隔操作を行うことができる。
【０００３】
その一方で、方向キー操作などでメニュー画面を遷移させ映像入力アイコンを決定キーで選択して遠隔操作を行うなどの場合、そのメニュー画面の遷移体系やアイコンの配置位置などが両機種間で異なっている場合もありうる。具体的には、一方の端末は「トップ」のメニュー画面内に「映像入力」のアイコンがあり、他方の端末は「トップ」のメニュー画面内の「マルチメディア」アイコンを選択すると表示される次の「マルチメディア」メニュー画面に「映像入力」アイコンがある、という具合である。
【０００４】
そこで特許文献１では、このような操作に対応するために、遠隔操作による動作実行後の端末の画面情報を操作側の端末に送信するといった技術が開示されている。このようにして遠隔操作においても一方の端末上に他方の画面情報が表示されるので、画面遷移を伴う操作や画面のメニュー表示に従った操作など遠隔操作で行うことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】平１１−３４１４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし上記従来の技術では、例えば命令端末（操作命令を出す側の端末）と実行端末（命令を実行する側の端末）における同一機能のキーコードを両端末間で統一させておく必要がある。また特許文献１などの技術では、命令端末において実行端末の画面情報を取得し表示する機能を別途導入する必要がある、という課題がある。つまり遠隔操作に対応するソフトウェアやハードウェアが特別に導入された端末を予め用意しなければ実現できない、という課題がある。
【課題を解決するための手段】
【０００７】
以上の課題を解決するために、本発明は、命令端末にて入力された機能実行命令を通信網を介して遠隔操作サーバ装置に送信し、遠隔サーバ装置にてその命令を実行端末で実行させるための仮インターフェイス操作信号に変換し実行端末に転送することを特徴とする遠隔操作システムを提供する。具体的に、通信網でつながれた実行端末と、命令端末と、遠隔操作サーバ装置と、からなる遠隔操作システムであって、実行端末は、ユーザ操作によって機能を選択し実行するためのユーザインターフェイスを有し、命令端末は、実行端末に実行させたい機能を選択させるための機能選択部と、選択された機能を遠隔操作サーバ装置に対して通知する通知部と、を有し、遠隔操作サーバ装置は、命令端末からの機能選択の通知を受け付ける機能選択受付部と、受け付けた機能選択に応じた機能を、仮に実行端末のユーザインターフェイスを介してユーザが実行していたならば生じていたであろう仮インターフェイス操作信号に変換する変換部と、仮インターフェイス操作信号を実行端末に対して通信網を介して送信する送信部と、を有する遠隔操作システムを提供する。
【０００８】
また、上記構成に加えて、実行端末が、遠隔操作サーバ装置の送信部から送信された仮インターフェイス操作信号を受信する受信部と、受信した仮インターフェイス操作信号をユーザインターフェイスからのユーザ操作信号として解釈する解釈部と、を有する遠隔操作システムも提供する。また上記構成に加えて、遠隔操作サーバ装置が、送信した仮インターフェイス操作信号による操作を、実行端末における所定の操作開始点からの操作とするための命令である開始点設定命令を送信する開始点設定命令送信部を有することを特徴とする遠隔操作システムも提供する。また、そのような遠隔操作システムの動作方法も提供する。
【発明の効果】
【０００９】
以上のような構成の本発明によって、例えば画面遷移を伴うような命令端末特有の（実行端末とは異なる手順などでの）操作による操作信号であっても、遠隔操作サーバ装置にて実行端末用の仮インターフェイス操作信号に変換され実行端末に転送される。そして、それによって命令端末からの操作による実行端末での所望機能の実行を実現することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の遠隔操作システムによる遠隔操作の一例を表す概念図
【図２】実施例１の遠隔操作システムにおける機能ブロックの一例を表す図
【図３】実施例１の遠隔操作システムを構成する命令端末の機能選択部における機能選択の一例を説明するための図
【図４】実施例１の遠隔操作システムを構成する命令端末の変換部における変換処理の一例を説明するための図
【図５】実施例１の遠隔操作システム全体における処理の流れの一例を表す概略図
【図６】実施例１の遠隔操作システムにおける処理の流れの一例を表すフローチャート
【図７】実施例２の遠隔操作システムにおける機能ブロックの一例を表す図
【図８】実施例２の遠隔操作システムにおける処理の流れの一例を表すフローチャート
【図９】実施例３の遠隔操作システムにおける機能ブロックの一例を表す図
【図１０】実施例３の遠隔操作システムにおける処理の流れの一例を表すフローチャート
【発明を実施するための形態】
【００１１】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、実施例１は、主に請求項１，４について説明する。また、実施例２は、主に請求項２について説明する。また、実施例３は、主に請求項３について説明する。
【００１２】
≪実施例１≫
<概要>
図１は、本実施例の遠隔操作システムによる遠隔操作の一例を表す概念図である。例えばユーザが実行端末を操作し、命令端末でカメラ撮影の機能を実行させようとする場合、図１（ａ）に示すように、例えばダウンロードなどして入手した操作リストの中から「カメラ撮影」を選択し、その選択情報を遠隔操作サーバ装置に送信する。あるいは、自身の操作する命令端末のメニュー画面にて矢印キーの「左」、「下」、「下」と操作して画面内のカメラ撮影アイコンにカーソルを合わせ「決定ボタン」を操作する手順を示す手順情報を遠隔操作サーバ装置に送信する。
【００１３】
すると図１（ｂ）にあるように、遠隔操作サーバ装置では自身が保持する実行端末の操作リストや命令端末の操作リストを参照し、実行端末でカメラ機能を実行するために入力される操作信号、例えば矢印キーの「下」、「決定」、「下」、「下」、「決定」といった操作手順を特定（変換）する。そして図１（ｃ）に示すように、その手順を示す仮インターフェイス操作信号を実行端末に送信することで、実行端末にてカメラ機能を実行させる、という具合である。
【００１４】
<機能的構成>
図２は、本実施例の遠隔操作システムを構成する各装置における機能ブロックの一例を表す図である。なお、以下に記載する本システムを構成する各装置の機能ブロックは、ハードウェア及びソフトウェアの組み合わせとして実現され得る。具体的には、コンピュータを利用するものであれば、ＣＰＵや主メモリ、バス、あるいは二次記憶装置（ハードディスクや不揮発性メモリ、ＣＤやＤＶＤなどの記憶メディアとそれらメディアの読取ドライブなど）、ユーザからの情報入力に利用される入力デバイス（ユーザインターフェイス）、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェイス、通信用インターフェイス、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザインターフェイス用アプリケーションなどが挙げられる。
【００１５】
そして主メモリ上に展開したプログラムをＣＰＵが解釈し、それに従った演算処理によって入力デバイスやその他インターフェイスなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本システムの機能ブロックは専用ハードウェアによって実現されてもよい。
【００１６】
また、この発明はシステムとして実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる（本明細書の全体を通じて同様である）。
【００１７】
そして、この図２にあるように、本実施例の遠隔操作システムは、通信網でつながれた「実行端末」（０２００）と、「命令端末」（０２１０）と、「遠隔操作サーバ装置」（０２２０）と、からなる。
【００１８】
そして、「実行端末」は「ユーザインターフェイス」（０２０１）を有する。「ユーザインターフェイス」（０２０１）とは、ユーザ操作によって機能を選択し実行するための構成要件であって、キーボードやマウス、操作パネルなどの入力デバイスやＣＰＵ（中央演算装置）などの演算装置、またＧＵＩ（グラフィカル・ユーザインターフェイス）を含むユーザインターフェイスプログラムなどで実現できる。
【００１９】
具体的には、例えばこの実行端末では、前述のようにカメラ撮影の機能を実行するために、「トップ」のメニュー画面内に「カメラ」のアイコンがあり、その「カメラ」アイコンを選択すると表示される次の「カメラ」メニュー画面内に「２次元バーコード読取」、「ビデオ撮影」、「カメラ（静止画）撮影」の操作項目が表示される。そこで、ユーザはＧＵＩとして表示されているトップのメニュー画面にて、「下」の矢印ボタンを操作しカメラアイコンにカーソルを合わせ「決定」ボタンを押す。そして表示されたカメラメニュー画面で「下」の矢印ボタンを２回押し、「カメラ撮影」の操作項目にカーソルを合わせ「決定」ボタンを押すことでカメラ撮影機能が実行される、という具合である。
【００２０】
このように、実行端末では、一般的な端末装置と同様に、ユーザインターフェイスを介して入力されたユーザ操作にしたがって各種機能を実行することができる。そして、本実施例の遠隔操作システムでは、後述する遠隔操作サーバ装置を利用することで、そのユーザインターフェイスへのユーザ操作で実行される各種機能を、通信網で接続された命令端末から実行させることができることを特徴とする。
【００２１】
そして、その「命令端末」（０２１０）は、「機能選択部」（０２１１）と、「通知部」（０２１２）と、を有する。「機能選択部」（０２１１）は、実行端末に実行させたい機能を選択させるための機能を有し、前述の各種入力デバイスや、ＧＵＩを含む機能選択用プログラムなどで実現できる。この機能選択部については、さまざまな手段で実現することができる。例えば、この命令端末のメニュー画面を表示し、「下」、「左」、「決定」という具合にそのメニュー画面の操作によって機能を選択する方法が挙げられる。なお、この場合の処理については後述するが、入力された操作手順などを示す情報が遠隔操作サーバ装置に送信され、そこでその操作手順などで示される命令端末での機能が何かの解釈、及び実行端末での機能実行のための情報への変換がなされる、という具合である。
【００２２】
あるいは、図３に示すような実行端末の機能リストを、後述する遠隔操作サーバ装置からダウンロードし、その中から所望の機能の選択を受付ける構成が挙げられる。この場合、その選択された機能の識別情報などが遠隔操作サーバ装置に送信され、その識別情報に基づいて実行端末での機能実行のための情報への変換がなされる、という具合である。
【００２３】
また、命令端末自身の機能リスト（あるいは汎用機能リスト）を予め保持し、そのリスト中からの選択を受付ける構成も挙げられる。この場合も後述する遠隔操作サーバ装置にその選択された機能の識別情報が送信され、そこで実行端末での機能実行のための情報への変換がなされると良い。また、もし選択された機能が実行端末に無いとの判断結果であれば、エラーである旨の通知を命令端末に返信すると良い。
【００２４】
「通知部」（０２１２）は、選択された機能を遠隔操作サーバ装置に対して通知する機能を有し、例えばＣＰＵなどの演算装置や通信回路、通知プログラムなどで実現することができる。具体的に、例えば命令端末の機能リスト（汎用リスト）や実行端末の機能リストの中から選択された所望の機能「カメラ撮影」を示す機能識別情報を、インターネット網などの通信回線を介して遠隔操作サーバ装置に送信する構成が挙げられる。
【００２５】
あるいは、「下」、「左」、「決定」という具合にメニュー画面のアイコン選択操作などで機能が選択された場合には、「決定ボタン」などを押されるまでに操作されたボタンの識別情報及びその順番を示す操作手順情報を、同様にインターネット網などの通信回線を介して遠隔操作サーバ装置に送信することで、選択された機能を通知する構成としても良い。
【００２６】
また、選択された機能を実行する実行端末やその機種などを特定するための実行端末識別情報も、通知部から合せて通知すると良い。なお、その実行端末識別情報の通知タイミングは、選択された機能の通知と同時でも良いし、予め実行端末識別情報を通知し、その後で選択された機能を通知するタイミングとしても良い。また、例えば端末装置のメーカごとに統一されたメニュー画面や操作体系が存在するのであれば、メーカ識別情報を実行端末識別情報の替わりに通知しても良い。また、選択された機能として（命令端末自身の）操作手順情報を通知する場合には、自身の識別情報である命令端末識別情報も合せて送信すると良い。
【００２７】
そして、このように通知された機能（および実行端末識別情報）が以下の構成を備える遠隔操作サーバ装置によって実行端末用の仮インターフェイス操作信号に変換され実行端末に送信されることで、命令端末による実行端末の遠隔操作が実現される。
【００２８】
すなわち、「遠隔操作サーバ装置」（０２２０）は、「機能選択受付部」（０２２１）と、「変換部」（０２２２）と、「送信部」（０２２３）と、を有する。
【００２９】
「機能選択受付部」（０２２１）は、命令端末からの機能選択の通知を受け付ける機能を有し、例えばＣＰＵなどの演算装置や通信回路、機能選択受付プログラムなどで実現することができる。具体的には、インターネット網などの通信回線を介して送信されてきた上述したような機能識別情報や操作手順情報などを受信する、という具合である。また、遠隔操作サーバ装置がウェブサーバ機能を有していれば、命令端末のアクセスに応じて機能選択受付用のウェブページを返信し、そのウェブページに入力された機能識別情報などを受付ける構成としても良い。また、選択機能と同時に、あるいはその前に通知された実行端末識別情報を受付けると良い。
【００３０】
「変換部」（０２２２）は、受け付けた機能選択を、仮インターフェイス操作信号に変換する機能を有し、例えばＣＰＵなどの演算装置や変換プログラムなどによって実現することができる。また「仮インターフェイス操作信号」とは、当該機能選択に応じた機能を仮に実行端末のユーザインターフェイスを介してユーザが実行していたならば生じていたであろう信号をいい、例えば選択機能がカメラ撮影であれば、実行端末にてカメラ撮影を実行するための信号が挙げられる。
【００３１】
そして、この変換部では、例えば以下のようにテーブルデータを参照することで機能選択の仮インターフェイス操作信号への変換処理を行うと良い。図４は、変換部が参照するテーブルデータの一例を表す図である。この図４（ａ）や（ｂ）にあるように、例えば実行端末の機種ごとに機能識別情報と、その機能を実行端末で実行するための仮インターフェイス操作信号とが関連付けられているテーブルデータが、遠隔操作サーバ装置の記録装置に保持されている。そして、まず受付けた実行端末識別情報（あるいは前述のメーカ識別情報）をキーとするＣＰＵの検索処理によって、参照するテーブルデータを特定する。つづいて、受付けた機能選択が「カメラ撮影」を示す機能識別情報であれば、ＣＰＵはその識別情報をキーとして前記特定したテーブルデータの検索処理を実行し、実行端末にてカメラ機能を実行するための仮インターフェイス操作信号である『下、「決定」、下、下、「決定」』を取得する。
【００３２】
あるいは、受付けた機能選択が（命令端末の）操作手順情報であれば、ＣＰＵはその操作手順情報で示されるボタンの識別情報及びその順番を命令端末における仮インターフェイス操作信号として解釈する。そして、前述のように通知された命令端末自身の識別情報をキーとするＣＰＵの検索処理によって、第一のテーブルデータを特定する。そして、前記仮インターフェイス操作信号として解釈した操作手順情報をキーとしてその第一のテーブルデータを対象とする検索処理を行い、その手順によって命令端末で実行される機能を特定する。そして、機能を特定した後は上記機能識別情報による処理と同様に、実行端末識別情報による（第二の）テーブルデータの特定、およびその特定したテーブルデータを参照した機能に応じた仮インターフェイス操作信号、例えば『下、「決定」、下、下、「決定」』の取得を実行する、という具合である。
また、このテーブルデータの各項目には端末ごとに遠隔操作の許可／不許可を示すフラグが設定されていてもよい。そして、変換部は上記変換処理に際して不許可のフラグが付加されている機能については変換を行わず、命令端末に対してその旨を通知するメッセージを返信するよう構成してもよい。また、このテーブルデータは、実行端末から「機能識別情報」とそれに紐付けられた「操作手順情報」などを受付けることによって項目を追加したり、あるいは削除したりするなどのカスタマイズが可能であるように構成しても良い。
【００３３】
「送信部」（０２２３）は、仮インターフェイス操作信号を実行端末に対して通信網を介して送信する機能を有し、例えばＣＰＵなどの演算装置や通信回路、送信プログラムによって実現することができる。そして前述の通り、変換部で変換された例えば『下、「決定」、下、下、「決定」』を示す信号が実行端末のユーザインターフェイスから入力されると、実行端末ではカメラ撮影機能が実行される。そこで、遠隔操作サーバ装置では、このように仮インターフェイス操作信号を通信回線を介して実行端末の通信インターフェイス（通信回路）に入力し、それを実行端末にて実行させて遠隔操作を実現する、という具合である。
【００３４】
<処理の流れ>
図５は、本実施例の遠隔操作システム全体における処理の流れの一例を表す概略図である。まず、ユーザが命令端末を操作し遠隔操作サーバ装置にアクセスするためのアプリケーションを起動する。すると当該アプリケーションがＣＰＵの演算処理によって実行され、命令端末が遠隔操作サーバ装置に通信網を介してアクセスする。また、遠隔操作の対象となる実行端末を指定するためのＧＵＩが命令端末のディスプレイに表示される。そして、（１）そのＧＵＩを利用して入力された実行端末識別情報がアクセス先の遠隔操作サーバ装置に送信される。
【００３５】
すると遠隔操作サーバ装置は、（２）受信した識別情報で識別される実行端末が操作可能か否か（起動しており通信網を介してアクセスできる環境にあるか）を問合せる信号を通信網を介して送信する。そして（３）問合せ信号に対する応答信号を実行端末から受信すると、遠隔操作サーバ装置は、（４）命令端末に対して遠隔操作可能である旨を示す信号を送信する。また、応答信号が送信されて来なければ、実行端末は遠隔操作できないとしてエラー通知を命令端末に対して送信する。
【００３６】
命令端末では、遠隔操作可能である旨を示す信号を受信すると、実行端末にて実行させる機能選択を受付けるために、例えば遠隔操作サーバ装置に対して図３に示すような実行端末の機能リストデータの送信を要求する。そして、その要求に応じて遠隔操作サーバ装置から返信された機能リストをディスプレイに表示する。あるいは実行端末の機能リストを表示する替わりに、自身のフラッシュメモリなどに保持されている自身の機能リストをディスプレイに表示したり、遠隔操作用の操作手順情報を受付けるためのＧＵＩ（アイコン選択による機能選択を行うメニュー画面など）を表示したりする。そして、（５）ディスプレイに表示された機能リストの中からユーザによって選択された機能の識別情報を、通信網を介して遠隔操作サーバ装置に送信する。あるいはディスプレイに表示されたＧＵＩを利用してアイコン選択のために入力された操作手順情報を、自身の識別情報と関連付けて、通信網を介して遠隔操作サーバ装置に送信する。
【００３７】
遠隔操作サーバ装置では、受信した機能識別情報や操作手順情報、また実行端末の識別情報や命令端末の識別情報をキーとして前述のような処理を実行し、図４にしめすようなテーブルデータを参照して（６）選択された機能を実行端末にて実行するための仮インターフェイス操作信号を特定する。そして、（７）特定した仮インターフェイス操作信号を実行端末に対して送信する。
【００３８】
実行端末では、（８）通信インターフェイスを介して受信した仮インターフェイス操作信号に従い、その信号で指定される機能を実行する。
【００３９】
図６は、上記処理の流れをフローチャートにて示したものである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、命令端末にて実行端末に実行させたい機能を選択する（ステップＳ０６０１）と、選択された機能を遠隔操作サーバ装置に対して通知する（ステップＳ０６０２）。すると遠隔操作サーバ装置にて、命令端末からの機能選択の通知を受け付け（ステップＳ０６０３）、その機能選択に応じた機能を、仮に実行端末のユーザインターフェイスを介してユーザが実行していたならば生じていたであろう仮インターフェイス操作信号に変換する（ステップＳ０６０４）。そして、その変換した仮インターフェイス操作信号を実行端末に対して通信網を介して送信する（ステップＳ０６０５）。そして、実行端末では、通信インターフェイスにてた仮インターフェイス操作信号を受信し（ステップＳ０６０６）、その示される機能を実行する（ステップＳ０６０７）。
【００４０】
<効果の簡単な説明>
以上のように、本実施例の遠隔操作システムによって、命令端末にて選択された機能が、遠隔操作サーバ装置にて実行端末用の仮インターフェイス操作信号に変換され実行端末に転送される。そしてそれによって実行端末で所望の機能を実行させることができる。
【００４１】
≪実施例２≫
<概要>
本実施例は、上記実施例を基本として、命令端末によって遠隔操作される実行端末において、通信網を介して通信インターフェイスから入力された仮インターフェイス操作信号を、実行端末自身のユーザインターフェイス（例えば操作パネルなど）から入力されたユーザ操作信号として解釈する機能をさらに有することを特徴とする遠隔操作システムである。これによって、実行端末において通常の操作入力と同じように遠隔操作による処理を実行させることができる。
【００４２】
<機能的構成>
図７は、本実施例の遠隔操作システムを構成する各装置における機能ブロックの一例を表す図である。そして、この図にあるように、本実施例の遠隔操作システムは上記実施例を基本として、通信網でつながれた「実行端末」（０７００）と、「命令端末」（０７１０）と、「遠隔操作サーバ装置」（０７２０）と、からなる。なお、「命令端末」と「遠隔操作サーバ装置」の構成要件については上記実施例で記載したものと同様であるのでその説明は省略する。
【００４３】
そして「実行端末」（０７００）は、上記実施例を基本として「ユーザインターフェイス」（０７０１）を有し、さらに本実施例では「受信部」（０７０２）と、「解釈部」（０７０３）と、を有することを特徴とする。
【００４４】
「受信部」（０７０２）は、遠隔操作サーバ装置の送信部から送信された仮インターフェイス操作信号を受信する機能を有し、例えばＣＰＵなどの演算装置や通信回路、受信プログラムによって実現することができる。つまり、この受信部は、いわゆる「通信インターフェイス」としての機能を実現する構成要件である。
【００４５】
「解釈部」（０７０３）は、受信した仮インターフェイス操作信号をユーザインターフェイスからのユーザ操作信号として解釈する機能を有し、例えばＣＰＵなどの演算装置や解釈プログラムによって実現することができる。具体的には、例えば通信インターフェイスからの所定の入力信号を、ユーザインターフェイスからの入力信号としてＯＳ（オペレーションシステム）や操作入力アプリケーションに引き渡すデバイスドライバプログラムが実行端末に導入されている。そして、そのデバイスドライバに従った演算装置の処理によって、例えば『下、「決定」、下、下、「決定」』を示す通信インターフェイスからの入力信号が、ユーザインターフェイスからの入力信号としてＯＳなどに引き渡される、という具合である。そしてＯＳでは、このように入力された仮インターフェイス操作信号を、自身のユーザインターフェイスからの操作信号として受取り、それに従った操作処理を実行する。
【００４６】
<処理の流れ>
図８は、本実施例の遠隔操作システムにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、命令端末にて実行端末に実行させたい機能を選択する（ステップＳ０８０１）と、選択された機能を遠隔操作サーバ装置に対して通知する（ステップＳ０８０２）。すると遠隔操作サーバ装置にて、命令端末からの機能選択の通知を受け付け（ステップＳ０８０３）、その機能選択に応じた機能を、仮に実行端末のユーザインターフェイスを介してユーザが実行していたならば生じていたであろう仮インターフェイス操作信号に変換する（ステップＳ０８０４）。そして、その変換した仮インターフェイス操作信号を実行端末に対して通信網を介して送信する（ステップＳ０８０５）。
【００４７】
そして、実行端末では、通信インターフェイスなどにて仮インターフェイス操作信号を受信し（ステップＳ０８０６）、その受信信号を自身のユーザインターフェイスを介したユーザ操作によって入力されたユーザインターフェイス信号として解釈する（ステップＳ０８０７）。そして、そのユーザインターフェイス信号に従って機能を実行する（ステップＳ０８０８）。
【００４８】
<効果の簡単な説明>
以上のように本実施例の遠隔操作システムによって、命令端末から実行端末への遠隔操作を、実行端末において通常の操作入力と同じように解釈させ実行させることができる。
【００４９】
≪実施例３≫
<概要>
本実施例は上記実施例を基本として、さらに以下のような機能を備えることを特徴とする遠隔操作システムである。すなわち、遠隔操作サーバ装置から送信された、例えば『下、「決定」、下、下、「決定」』を示す仮インターフェイス操作信号は、ＧＵＩのいわゆるホーム画面（トップ階層画面）からの操作手順を示している。また、そのホーム画面には例えば９つのアイコンがあり、その真ん中に操作カーソルがある状態からの操作手順を示している。したがって実行端末のＧＵＩがホーム画面とは別の階層にある場合や別のアイコンにカーソルが合わせられている場合には、当該仮インターフェイス操作信号に従った操作入力処理を実行すると、所望の機能とはまったく別の機能が実行されてしまうなどの可能性がある。
【００５０】
そこで本実施例の遠隔操作サーバ装置は、仮インターフェイス操作信号を実行端末に送信する際に、例えば実行端末のＧＵＩをホーム画面に強制的にセットするための命令信号を別途送信する機能をさらに備えている、という具合である。
【００５１】
<機能的構成>
図９は、本実施例の遠隔操作システムを構成する各装置における機能ブロックの一例を表す図である。そして、この図にあるように、本実施例の遠隔操作システムは上記実施例を基本として、通信網でつながれた「実行端末」（０９００）と、「命令端末」（０９１０）と、「遠隔操作サーバ装置」（０９２０）と、からなる。なお、「命令端末」と「実行端末」の構成要件については上記実施例１や２で記載したものと同様であるのでその説明は省略する。
【００５２】
そして「遠隔操作サーバ装置」（０９２０）は、上記実施例を基本として「機能選択受付部」（０９２１）と、「変換部」（０９２２）と、「送信部」（０９２３）を有し、さらに本実施例では「開始点設定命令送信部」（０９２４）を有することを特徴とする。
【００５３】
「開始点設定命令送信部」（０９２４）は、開始点設定命令を送信する機能を有し、例えばＣＰＵなどの演算装置や通信回路、開始点設定命令送信プログラムによって実現することができる。また「開始点設定命令」とは、送信した仮インターフェイス操作信号による操作を、実行端末における所定の操作開始点からの操作とするための命令をいう。
【００５４】
このように、遠隔操作サーバ装置から実行端末に開始点設定命令を送信することで、上記のように、例えばＧＵＩのホーム画面からカメラ機能を選択するための操作手順を示す仮インターフェイス操作信号を所望の機能を実行するための操作信号として実現させることができる、という具合である。なお、この開始点設定命令の送信タイミングは、基本的には仮インターフェイス操作信号と一緒、あるいはは仮インターフェイス操作信号の送信の直前であることが望ましい。
【００５５】
また、開始点設定命令は、例えば階層的なＧＵＩ画面の遷移による操作入力を受付けるＧＵＩであれば、そのトップ画面を開始点として設定する命令であることが一般的であるが、もちろんそれに限定されない。例えば、実行端末の各種機能のうち遠隔操作可能な操作が撮影機能のみであれば、撮影機能やメール機能を選択するトップ画面ではなく、撮影機能の中でカメラ（静止画）撮影、ビデオ撮影、二次元コード撮影などを選択するＧＵＩ画面を開始点として設定しても良い。また上述のように、当該画面内の複数の選択項目のうちの例えば真ん中をカーソルの開始点とするなどの設定命令であっても良い。
【００５６】
<処理の流れ>
図１０は、本実施例の遠隔操作システムにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、命令端末にて実行端末に実行させたい機能を選択する（ステップＳ１００１）と、選択された機能を遠隔操作サーバ装置に対して通知する（ステップＳ１００２）。すると遠隔操作サーバ装置にて、命令端末からの機能選択の通知を受け付け（ステップＳ１００３）、その機能選択に応じた機能を、仮に実行端末のユーザインターフェイスを介してユーザが実行していたならば生じていたであろう仮インターフェイス操作信号に変換する（ステップＳ１００４）。そして、その変換した仮インターフェイス操作信号を、開始点設定命令とともに実行端末に対して通信網を介して送信する（ステップＳ１００５）。あるいは、開始点設定命令を送信し、その直後に変換した仮インターフェイス操作信号を送信しても良い。そして、実行端末では、通信インターフェイスにて開始点設定命令と仮インターフェイス操作信号とを受信し（ステップＳ１００６）、それにしたがって、実行端末における所定の操作開始点からの操作処理を実行しその機能を実行する（ステップＳ１００７）。
【００５７】
<効果の簡単な説明>
以上のように、本実施例の遠隔操作システムによって、実行端末のＧＵＩが所定の階層にない場合やの所定のアイコンにカーソルが合わせられていない場合でも、開始点設定命令を仮インターフェイス操作信号と合せて送ることで、遠隔操作を入力したユーザが所望する機能を正しく実行させることができる。
【符号の説明】
【００５８】
０２００ 実行端末
０２０１ ユーザインターフェイス
０２１０ 命令端末
０２１１ 機能選択部
０２１２ 通知部
０２２０ 遠隔操作サーバ装置
０２２１ 機能選択受付部
０２２２ 変換部
０２２３ 送信部
【技術分野】
【０００１】
本発明は、遠隔操作サーバ装置を介して、命令端末から実行端末を通信網経由で遠隔操作する技術に関する。
【背景技術】
【０００２】
従来、例えばユーザが出先で携帯電話を操作し、自宅のレコーダ装置の録画予約をしたり、ＰＣ（パーソナル・コンピュータ）メーカのユーザサポート担当のオペレータが顧客宅にあるＰＣを遠隔操作でメンテナンスしたりする、という具合に、ある端末Ａを利用して別の端末Ｂを操作することができる遠隔操作システムが各種提供されている。例えば通信網を介して２台の通信端末間で遠隔操作を行うために、例えば個別に機能キーなどが割り当てられている機能選択操作においては、映像入力キーのキーコードは２２Ｈという具合に異機種間であっても各キーに統一したコードを割り当てる構成としている。したがって映像入力の遠隔操作を行いたい場合、一方の端末で映像入力キーを押すことでキーコード２２Ｈが他方の端末に送信され、映像入力制御の遠隔操作を行うことができる。
【０００３】
その一方で、方向キー操作などでメニュー画面を遷移させ映像入力アイコンを決定キーで選択して遠隔操作を行うなどの場合、そのメニュー画面の遷移体系やアイコンの配置位置などが両機種間で異なっている場合もありうる。具体的には、一方の端末は「トップ」のメニュー画面内に「映像入力」のアイコンがあり、他方の端末は「トップ」のメニュー画面内の「マルチメディア」アイコンを選択すると表示される次の「マルチメディア」メニュー画面に「映像入力」アイコンがある、という具合である。
【０００４】
そこで特許文献１では、このような操作に対応するために、遠隔操作による動作実行後の端末の画面情報を操作側の端末に送信するといった技術が開示されている。このようにして遠隔操作においても一方の端末上に他方の画面情報が表示されるので、画面遷移を伴う操作や画面のメニュー表示に従った操作など遠隔操作で行うことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】平１１−３４１４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし上記従来の技術では、例えば命令端末（操作命令を出す側の端末）と実行端末（命令を実行する側の端末）における同一機能のキーコードを両端末間で統一させておく必要がある。また特許文献１などの技術では、命令端末において実行端末の画面情報を取得し表示する機能を別途導入する必要がある、という課題がある。つまり遠隔操作に対応するソフトウェアやハードウェアが特別に導入された端末を予め用意しなければ実現できない、という課題がある。
【課題を解決するための手段】
【０００７】
以上の課題を解決するために、本発明は、命令端末にて入力された機能実行命令を通信網を介して遠隔操作サーバ装置に送信し、遠隔サーバ装置にてその命令を実行端末で実行させるための仮インターフェイス操作信号に変換し実行端末に転送することを特徴とする遠隔操作システムを提供する。具体的に、通信網でつながれた実行端末と、命令端末と、遠隔操作サーバ装置と、からなる遠隔操作システムであって、実行端末は、ユーザ操作によって機能を選択し実行するためのユーザインターフェイスを有し、命令端末は、実行端末に実行させたい機能を選択させるための機能選択部と、選択された機能を遠隔操作サーバ装置に対して通知する通知部と、を有し、遠隔操作サーバ装置は、命令端末からの機能選択の通知を受け付ける機能選択受付部と、受け付けた機能選択に応じた機能を、仮に実行端末のユーザインターフェイスを介してユーザが実行していたならば生じていたであろう仮インターフェイス操作信号に変換する変換部と、仮インターフェイス操作信号を実行端末に対して通信網を介して送信する送信部と、を有する遠隔操作システムを提供する。
【０００８】
また、上記構成に加えて、実行端末が、遠隔操作サーバ装置の送信部から送信された仮インターフェイス操作信号を受信する受信部と、受信した仮インターフェイス操作信号をユーザインターフェイスからのユーザ操作信号として解釈する解釈部と、を有する遠隔操作システムも提供する。また上記構成に加えて、遠隔操作サーバ装置が、送信した仮インターフェイス操作信号による操作を、実行端末における所定の操作開始点からの操作とするための命令である開始点設定命令を送信する開始点設定命令送信部を有することを特徴とする遠隔操作システムも提供する。また、そのような遠隔操作システムの動作方法も提供する。
【発明の効果】
【０００９】
以上のような構成の本発明によって、例えば画面遷移を伴うような命令端末特有の（実行端末とは異なる手順などでの）操作による操作信号であっても、遠隔操作サーバ装置にて実行端末用の仮インターフェイス操作信号に変換され実行端末に転送される。そして、それによって命令端末からの操作による実行端末での所望機能の実行を実現することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の遠隔操作システムによる遠隔操作の一例を表す概念図
【図２】実施例１の遠隔操作システムにおける機能ブロックの一例を表す図
【図３】実施例１の遠隔操作システムを構成する命令端末の機能選択部における機能選択の一例を説明するための図
【図４】実施例１の遠隔操作システムを構成する命令端末の変換部における変換処理の一例を説明するための図
【図５】実施例１の遠隔操作システム全体における処理の流れの一例を表す概略図
【図６】実施例１の遠隔操作システムにおける処理の流れの一例を表すフローチャート
【図７】実施例２の遠隔操作システムにおける機能ブロックの一例を表す図
【図８】実施例２の遠隔操作システムにおける処理の流れの一例を表すフローチャート
【図９】実施例３の遠隔操作システムにおける機能ブロックの一例を表す図
【図１０】実施例３の遠隔操作システムにおける処理の流れの一例を表すフローチャート
【発明を実施するための形態】
【００１１】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、実施例１は、主に請求項１，４について説明する。また、実施例２は、主に請求項２について説明する。また、実施例３は、主に請求項３について説明する。
【００１２】
≪実施例１≫
<概要>
図１は、本実施例の遠隔操作システムによる遠隔操作の一例を表す概念図である。例えばユーザが実行端末を操作し、命令端末でカメラ撮影の機能を実行させようとする場合、図１（ａ）に示すように、例えばダウンロードなどして入手した操作リストの中から「カメラ撮影」を選択し、その選択情報を遠隔操作サーバ装置に送信する。あるいは、自身の操作する命令端末のメニュー画面にて矢印キーの「左」、「下」、「下」と操作して画面内のカメラ撮影アイコンにカーソルを合わせ「決定ボタン」を操作する手順を示す手順情報を遠隔操作サーバ装置に送信する。
【００１３】
すると図１（ｂ）にあるように、遠隔操作サーバ装置では自身が保持する実行端末の操作リストや命令端末の操作リストを参照し、実行端末でカメラ機能を実行するために入力される操作信号、例えば矢印キーの「下」、「決定」、「下」、「下」、「決定」といった操作手順を特定（変換）する。そして図１（ｃ）に示すように、その手順を示す仮インターフェイス操作信号を実行端末に送信することで、実行端末にてカメラ機能を実行させる、という具合である。
【００１４】
<機能的構成>
図２は、本実施例の遠隔操作システムを構成する各装置における機能ブロックの一例を表す図である。なお、以下に記載する本システムを構成する各装置の機能ブロックは、ハードウェア及びソフトウェアの組み合わせとして実現され得る。具体的には、コンピュータを利用するものであれば、ＣＰＵや主メモリ、バス、あるいは二次記憶装置（ハードディスクや不揮発性メモリ、ＣＤやＤＶＤなどの記憶メディアとそれらメディアの読取ドライブなど）、ユーザからの情報入力に利用される入力デバイス（ユーザインターフェイス）、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェイス、通信用インターフェイス、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザインターフェイス用アプリケーションなどが挙げられる。
【００１５】
そして主メモリ上に展開したプログラムをＣＰＵが解釈し、それに従った演算処理によって入力デバイスやその他インターフェイスなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本システムの機能ブロックは専用ハードウェアによって実現されてもよい。
【００１６】
また、この発明はシステムとして実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる（本明細書の全体を通じて同様である）。
【００１７】
そして、この図２にあるように、本実施例の遠隔操作システムは、通信網でつながれた「実行端末」（０２００）と、「命令端末」（０２１０）と、「遠隔操作サーバ装置」（０２２０）と、からなる。
【００１８】
そして、「実行端末」は「ユーザインターフェイス」（０２０１）を有する。「ユーザインターフェイス」（０２０１）とは、ユーザ操作によって機能を選択し実行するための構成要件であって、キーボードやマウス、操作パネルなどの入力デバイスやＣＰＵ（中央演算装置）などの演算装置、またＧＵＩ（グラフィカル・ユーザインターフェイス）を含むユーザインターフェイスプログラムなどで実現できる。
【００１９】
具体的には、例えばこの実行端末では、前述のようにカメラ撮影の機能を実行するために、「トップ」のメニュー画面内に「カメラ」のアイコンがあり、その「カメラ」アイコンを選択すると表示される次の「カメラ」メニュー画面内に「２次元バーコード読取」、「ビデオ撮影」、「カメラ（静止画）撮影」の操作項目が表示される。そこで、ユーザはＧＵＩとして表示されているトップのメニュー画面にて、「下」の矢印ボタンを操作しカメラアイコンにカーソルを合わせ「決定」ボタンを押す。そして表示されたカメラメニュー画面で「下」の矢印ボタンを２回押し、「カメラ撮影」の操作項目にカーソルを合わせ「決定」ボタンを押すことでカメラ撮影機能が実行される、という具合である。
【００２０】
このように、実行端末では、一般的な端末装置と同様に、ユーザインターフェイスを介して入力されたユーザ操作にしたがって各種機能を実行することができる。そして、本実施例の遠隔操作システムでは、後述する遠隔操作サーバ装置を利用することで、そのユーザインターフェイスへのユーザ操作で実行される各種機能を、通信網で接続された命令端末から実行させることができることを特徴とする。
【００２１】
そして、その「命令端末」（０２１０）は、「機能選択部」（０２１１）と、「通知部」（０２１２）と、を有する。「機能選択部」（０２１１）は、実行端末に実行させたい機能を選択させるための機能を有し、前述の各種入力デバイスや、ＧＵＩを含む機能選択用プログラムなどで実現できる。この機能選択部については、さまざまな手段で実現することができる。例えば、この命令端末のメニュー画面を表示し、「下」、「左」、「決定」という具合にそのメニュー画面の操作によって機能を選択する方法が挙げられる。なお、この場合の処理については後述するが、入力された操作手順などを示す情報が遠隔操作サーバ装置に送信され、そこでその操作手順などで示される命令端末での機能が何かの解釈、及び実行端末での機能実行のための情報への変換がなされる、という具合である。
【００２２】
あるいは、図３に示すような実行端末の機能リストを、後述する遠隔操作サーバ装置からダウンロードし、その中から所望の機能の選択を受付ける構成が挙げられる。この場合、その選択された機能の識別情報などが遠隔操作サーバ装置に送信され、その識別情報に基づいて実行端末での機能実行のための情報への変換がなされる、という具合である。
【００２３】
また、命令端末自身の機能リスト（あるいは汎用機能リスト）を予め保持し、そのリスト中からの選択を受付ける構成も挙げられる。この場合も後述する遠隔操作サーバ装置にその選択された機能の識別情報が送信され、そこで実行端末での機能実行のための情報への変換がなされると良い。また、もし選択された機能が実行端末に無いとの判断結果であれば、エラーである旨の通知を命令端末に返信すると良い。
【００２４】
「通知部」（０２１２）は、選択された機能を遠隔操作サーバ装置に対して通知する機能を有し、例えばＣＰＵなどの演算装置や通信回路、通知プログラムなどで実現することができる。具体的に、例えば命令端末の機能リスト（汎用リスト）や実行端末の機能リストの中から選択された所望の機能「カメラ撮影」を示す機能識別情報を、インターネット網などの通信回線を介して遠隔操作サーバ装置に送信する構成が挙げられる。
【００２５】
あるいは、「下」、「左」、「決定」という具合にメニュー画面のアイコン選択操作などで機能が選択された場合には、「決定ボタン」などを押されるまでに操作されたボタンの識別情報及びその順番を示す操作手順情報を、同様にインターネット網などの通信回線を介して遠隔操作サーバ装置に送信することで、選択された機能を通知する構成としても良い。
【００２６】
また、選択された機能を実行する実行端末やその機種などを特定するための実行端末識別情報も、通知部から合せて通知すると良い。なお、その実行端末識別情報の通知タイミングは、選択された機能の通知と同時でも良いし、予め実行端末識別情報を通知し、その後で選択された機能を通知するタイミングとしても良い。また、例えば端末装置のメーカごとに統一されたメニュー画面や操作体系が存在するのであれば、メーカ識別情報を実行端末識別情報の替わりに通知しても良い。また、選択された機能として（命令端末自身の）操作手順情報を通知する場合には、自身の識別情報である命令端末識別情報も合せて送信すると良い。
【００２７】
そして、このように通知された機能（および実行端末識別情報）が以下の構成を備える遠隔操作サーバ装置によって実行端末用の仮インターフェイス操作信号に変換され実行端末に送信されることで、命令端末による実行端末の遠隔操作が実現される。
【００２８】
すなわち、「遠隔操作サーバ装置」（０２２０）は、「機能選択受付部」（０２２１）と、「変換部」（０２２２）と、「送信部」（０２２３）と、を有する。
【００２９】
「機能選択受付部」（０２２１）は、命令端末からの機能選択の通知を受け付ける機能を有し、例えばＣＰＵなどの演算装置や通信回路、機能選択受付プログラムなどで実現することができる。具体的には、インターネット網などの通信回線を介して送信されてきた上述したような機能識別情報や操作手順情報などを受信する、という具合である。また、遠隔操作サーバ装置がウェブサーバ機能を有していれば、命令端末のアクセスに応じて機能選択受付用のウェブページを返信し、そのウェブページに入力された機能識別情報などを受付ける構成としても良い。また、選択機能と同時に、あるいはその前に通知された実行端末識別情報を受付けると良い。
【００３０】
「変換部」（０２２２）は、受け付けた機能選択を、仮インターフェイス操作信号に変換する機能を有し、例えばＣＰＵなどの演算装置や変換プログラムなどによって実現することができる。また「仮インターフェイス操作信号」とは、当該機能選択に応じた機能を仮に実行端末のユーザインターフェイスを介してユーザが実行していたならば生じていたであろう信号をいい、例えば選択機能がカメラ撮影であれば、実行端末にてカメラ撮影を実行するための信号が挙げられる。
【００３１】
そして、この変換部では、例えば以下のようにテーブルデータを参照することで機能選択の仮インターフェイス操作信号への変換処理を行うと良い。図４は、変換部が参照するテーブルデータの一例を表す図である。この図４（ａ）や（ｂ）にあるように、例えば実行端末の機種ごとに機能識別情報と、その機能を実行端末で実行するための仮インターフェイス操作信号とが関連付けられているテーブルデータが、遠隔操作サーバ装置の記録装置に保持されている。そして、まず受付けた実行端末識別情報（あるいは前述のメーカ識別情報）をキーとするＣＰＵの検索処理によって、参照するテーブルデータを特定する。つづいて、受付けた機能選択が「カメラ撮影」を示す機能識別情報であれば、ＣＰＵはその識別情報をキーとして前記特定したテーブルデータの検索処理を実行し、実行端末にてカメラ機能を実行するための仮インターフェイス操作信号である『下、「決定」、下、下、「決定」』を取得する。
【００３２】
あるいは、受付けた機能選択が（命令端末の）操作手順情報であれば、ＣＰＵはその操作手順情報で示されるボタンの識別情報及びその順番を命令端末における仮インターフェイス操作信号として解釈する。そして、前述のように通知された命令端末自身の識別情報をキーとするＣＰＵの検索処理によって、第一のテーブルデータを特定する。そして、前記仮インターフェイス操作信号として解釈した操作手順情報をキーとしてその第一のテーブルデータを対象とする検索処理を行い、その手順によって命令端末で実行される機能を特定する。そして、機能を特定した後は上記機能識別情報による処理と同様に、実行端末識別情報による（第二の）テーブルデータの特定、およびその特定したテーブルデータを参照した機能に応じた仮インターフェイス操作信号、例えば『下、「決定」、下、下、「決定」』の取得を実行する、という具合である。
また、このテーブルデータの各項目には端末ごとに遠隔操作の許可／不許可を示すフラグが設定されていてもよい。そして、変換部は上記変換処理に際して不許可のフラグが付加されている機能については変換を行わず、命令端末に対してその旨を通知するメッセージを返信するよう構成してもよい。また、このテーブルデータは、実行端末から「機能識別情報」とそれに紐付けられた「操作手順情報」などを受付けることによって項目を追加したり、あるいは削除したりするなどのカスタマイズが可能であるように構成しても良い。
【００３３】
「送信部」（０２２３）は、仮インターフェイス操作信号を実行端末に対して通信網を介して送信する機能を有し、例えばＣＰＵなどの演算装置や通信回路、送信プログラムによって実現することができる。そして前述の通り、変換部で変換された例えば『下、「決定」、下、下、「決定」』を示す信号が実行端末のユーザインターフェイスから入力されると、実行端末ではカメラ撮影機能が実行される。そこで、遠隔操作サーバ装置では、このように仮インターフェイス操作信号を通信回線を介して実行端末の通信インターフェイス（通信回路）に入力し、それを実行端末にて実行させて遠隔操作を実現する、という具合である。
【００３４】
<処理の流れ>
図５は、本実施例の遠隔操作システム全体における処理の流れの一例を表す概略図である。まず、ユーザが命令端末を操作し遠隔操作サーバ装置にアクセスするためのアプリケーションを起動する。すると当該アプリケーションがＣＰＵの演算処理によって実行され、命令端末が遠隔操作サーバ装置に通信網を介してアクセスする。また、遠隔操作の対象となる実行端末を指定するためのＧＵＩが命令端末のディスプレイに表示される。そして、（１）そのＧＵＩを利用して入力された実行端末識別情報がアクセス先の遠隔操作サーバ装置に送信される。
【００３５】
すると遠隔操作サーバ装置は、（２）受信した識別情報で識別される実行端末が操作可能か否か（起動しており通信網を介してアクセスできる環境にあるか）を問合せる信号を通信網を介して送信する。そして（３）問合せ信号に対する応答信号を実行端末から受信すると、遠隔操作サーバ装置は、（４）命令端末に対して遠隔操作可能である旨を示す信号を送信する。また、応答信号が送信されて来なければ、実行端末は遠隔操作できないとしてエラー通知を命令端末に対して送信する。
【００３６】
命令端末では、遠隔操作可能である旨を示す信号を受信すると、実行端末にて実行させる機能選択を受付けるために、例えば遠隔操作サーバ装置に対して図３に示すような実行端末の機能リストデータの送信を要求する。そして、その要求に応じて遠隔操作サーバ装置から返信された機能リストをディスプレイに表示する。あるいは実行端末の機能リストを表示する替わりに、自身のフラッシュメモリなどに保持されている自身の機能リストをディスプレイに表示したり、遠隔操作用の操作手順情報を受付けるためのＧＵＩ（アイコン選択による機能選択を行うメニュー画面など）を表示したりする。そして、（５）ディスプレイに表示された機能リストの中からユーザによって選択された機能の識別情報を、通信網を介して遠隔操作サーバ装置に送信する。あるいはディスプレイに表示されたＧＵＩを利用してアイコン選択のために入力された操作手順情報を、自身の識別情報と関連付けて、通信網を介して遠隔操作サーバ装置に送信する。
【００３７】
遠隔操作サーバ装置では、受信した機能識別情報や操作手順情報、また実行端末の識別情報や命令端末の識別情報をキーとして前述のような処理を実行し、図４にしめすようなテーブルデータを参照して（６）選択された機能を実行端末にて実行するための仮インターフェイス操作信号を特定する。そして、（７）特定した仮インターフェイス操作信号を実行端末に対して送信する。
【００３８】
実行端末では、（８）通信インターフェイスを介して受信した仮インターフェイス操作信号に従い、その信号で指定される機能を実行する。
【００３９】
図６は、上記処理の流れをフローチャートにて示したものである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、命令端末にて実行端末に実行させたい機能を選択する（ステップＳ０６０１）と、選択された機能を遠隔操作サーバ装置に対して通知する（ステップＳ０６０２）。すると遠隔操作サーバ装置にて、命令端末からの機能選択の通知を受け付け（ステップＳ０６０３）、その機能選択に応じた機能を、仮に実行端末のユーザインターフェイスを介してユーザが実行していたならば生じていたであろう仮インターフェイス操作信号に変換する（ステップＳ０６０４）。そして、その変換した仮インターフェイス操作信号を実行端末に対して通信網を介して送信する（ステップＳ０６０５）。そして、実行端末では、通信インターフェイスにてた仮インターフェイス操作信号を受信し（ステップＳ０６０６）、その示される機能を実行する（ステップＳ０６０７）。
【００４０】
<効果の簡単な説明>
以上のように、本実施例の遠隔操作システムによって、命令端末にて選択された機能が、遠隔操作サーバ装置にて実行端末用の仮インターフェイス操作信号に変換され実行端末に転送される。そしてそれによって実行端末で所望の機能を実行させることができる。
【００４１】
≪実施例２≫
<概要>
本実施例は、上記実施例を基本として、命令端末によって遠隔操作される実行端末において、通信網を介して通信インターフェイスから入力された仮インターフェイス操作信号を、実行端末自身のユーザインターフェイス（例えば操作パネルなど）から入力されたユーザ操作信号として解釈する機能をさらに有することを特徴とする遠隔操作システムである。これによって、実行端末において通常の操作入力と同じように遠隔操作による処理を実行させることができる。
【００４２】
<機能的構成>
図７は、本実施例の遠隔操作システムを構成する各装置における機能ブロックの一例を表す図である。そして、この図にあるように、本実施例の遠隔操作システムは上記実施例を基本として、通信網でつながれた「実行端末」（０７００）と、「命令端末」（０７１０）と、「遠隔操作サーバ装置」（０７２０）と、からなる。なお、「命令端末」と「遠隔操作サーバ装置」の構成要件については上記実施例で記載したものと同様であるのでその説明は省略する。
【００４３】
そして「実行端末」（０７００）は、上記実施例を基本として「ユーザインターフェイス」（０７０１）を有し、さらに本実施例では「受信部」（０７０２）と、「解釈部」（０７０３）と、を有することを特徴とする。
【００４４】
「受信部」（０７０２）は、遠隔操作サーバ装置の送信部から送信された仮インターフェイス操作信号を受信する機能を有し、例えばＣＰＵなどの演算装置や通信回路、受信プログラムによって実現することができる。つまり、この受信部は、いわゆる「通信インターフェイス」としての機能を実現する構成要件である。
【００４５】
「解釈部」（０７０３）は、受信した仮インターフェイス操作信号をユーザインターフェイスからのユーザ操作信号として解釈する機能を有し、例えばＣＰＵなどの演算装置や解釈プログラムによって実現することができる。具体的には、例えば通信インターフェイスからの所定の入力信号を、ユーザインターフェイスからの入力信号としてＯＳ（オペレーションシステム）や操作入力アプリケーションに引き渡すデバイスドライバプログラムが実行端末に導入されている。そして、そのデバイスドライバに従った演算装置の処理によって、例えば『下、「決定」、下、下、「決定」』を示す通信インターフェイスからの入力信号が、ユーザインターフェイスからの入力信号としてＯＳなどに引き渡される、という具合である。そしてＯＳでは、このように入力された仮インターフェイス操作信号を、自身のユーザインターフェイスからの操作信号として受取り、それに従った操作処理を実行する。
【００４６】
<処理の流れ>
図８は、本実施例の遠隔操作システムにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、命令端末にて実行端末に実行させたい機能を選択する（ステップＳ０８０１）と、選択された機能を遠隔操作サーバ装置に対して通知する（ステップＳ０８０２）。すると遠隔操作サーバ装置にて、命令端末からの機能選択の通知を受け付け（ステップＳ０８０３）、その機能選択に応じた機能を、仮に実行端末のユーザインターフェイスを介してユーザが実行していたならば生じていたであろう仮インターフェイス操作信号に変換する（ステップＳ０８０４）。そして、その変換した仮インターフェイス操作信号を実行端末に対して通信網を介して送信する（ステップＳ０８０５）。
【００４７】
そして、実行端末では、通信インターフェイスなどにて仮インターフェイス操作信号を受信し（ステップＳ０８０６）、その受信信号を自身のユーザインターフェイスを介したユーザ操作によって入力されたユーザインターフェイス信号として解釈する（ステップＳ０８０７）。そして、そのユーザインターフェイス信号に従って機能を実行する（ステップＳ０８０８）。
【００４８】
<効果の簡単な説明>
以上のように本実施例の遠隔操作システムによって、命令端末から実行端末への遠隔操作を、実行端末において通常の操作入力と同じように解釈させ実行させることができる。
【００４９】
≪実施例３≫
<概要>
本実施例は上記実施例を基本として、さらに以下のような機能を備えることを特徴とする遠隔操作システムである。すなわち、遠隔操作サーバ装置から送信された、例えば『下、「決定」、下、下、「決定」』を示す仮インターフェイス操作信号は、ＧＵＩのいわゆるホーム画面（トップ階層画面）からの操作手順を示している。また、そのホーム画面には例えば９つのアイコンがあり、その真ん中に操作カーソルがある状態からの操作手順を示している。したがって実行端末のＧＵＩがホーム画面とは別の階層にある場合や別のアイコンにカーソルが合わせられている場合には、当該仮インターフェイス操作信号に従った操作入力処理を実行すると、所望の機能とはまったく別の機能が実行されてしまうなどの可能性がある。
【００５０】
そこで本実施例の遠隔操作サーバ装置は、仮インターフェイス操作信号を実行端末に送信する際に、例えば実行端末のＧＵＩをホーム画面に強制的にセットするための命令信号を別途送信する機能をさらに備えている、という具合である。
【００５１】
<機能的構成>
図９は、本実施例の遠隔操作システムを構成する各装置における機能ブロックの一例を表す図である。そして、この図にあるように、本実施例の遠隔操作システムは上記実施例を基本として、通信網でつながれた「実行端末」（０９００）と、「命令端末」（０９１０）と、「遠隔操作サーバ装置」（０９２０）と、からなる。なお、「命令端末」と「実行端末」の構成要件については上記実施例１や２で記載したものと同様であるのでその説明は省略する。
【００５２】
そして「遠隔操作サーバ装置」（０９２０）は、上記実施例を基本として「機能選択受付部」（０９２１）と、「変換部」（０９２２）と、「送信部」（０９２３）を有し、さらに本実施例では「開始点設定命令送信部」（０９２４）を有することを特徴とする。
【００５３】
「開始点設定命令送信部」（０９２４）は、開始点設定命令を送信する機能を有し、例えばＣＰＵなどの演算装置や通信回路、開始点設定命令送信プログラムによって実現することができる。また「開始点設定命令」とは、送信した仮インターフェイス操作信号による操作を、実行端末における所定の操作開始点からの操作とするための命令をいう。
【００５４】
このように、遠隔操作サーバ装置から実行端末に開始点設定命令を送信することで、上記のように、例えばＧＵＩのホーム画面からカメラ機能を選択するための操作手順を示す仮インターフェイス操作信号を所望の機能を実行するための操作信号として実現させることができる、という具合である。なお、この開始点設定命令の送信タイミングは、基本的には仮インターフェイス操作信号と一緒、あるいはは仮インターフェイス操作信号の送信の直前であることが望ましい。
【００５５】
また、開始点設定命令は、例えば階層的なＧＵＩ画面の遷移による操作入力を受付けるＧＵＩであれば、そのトップ画面を開始点として設定する命令であることが一般的であるが、もちろんそれに限定されない。例えば、実行端末の各種機能のうち遠隔操作可能な操作が撮影機能のみであれば、撮影機能やメール機能を選択するトップ画面ではなく、撮影機能の中でカメラ（静止画）撮影、ビデオ撮影、二次元コード撮影などを選択するＧＵＩ画面を開始点として設定しても良い。また上述のように、当該画面内の複数の選択項目のうちの例えば真ん中をカーソルの開始点とするなどの設定命令であっても良い。
【００５６】
<処理の流れ>
図１０は、本実施例の遠隔操作システムにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、命令端末にて実行端末に実行させたい機能を選択する（ステップＳ１００１）と、選択された機能を遠隔操作サーバ装置に対して通知する（ステップＳ１００２）。すると遠隔操作サーバ装置にて、命令端末からの機能選択の通知を受け付け（ステップＳ１００３）、その機能選択に応じた機能を、仮に実行端末のユーザインターフェイスを介してユーザが実行していたならば生じていたであろう仮インターフェイス操作信号に変換する（ステップＳ１００４）。そして、その変換した仮インターフェイス操作信号を、開始点設定命令とともに実行端末に対して通信網を介して送信する（ステップＳ１００５）。あるいは、開始点設定命令を送信し、その直後に変換した仮インターフェイス操作信号を送信しても良い。そして、実行端末では、通信インターフェイスにて開始点設定命令と仮インターフェイス操作信号とを受信し（ステップＳ１００６）、それにしたがって、実行端末における所定の操作開始点からの操作処理を実行しその機能を実行する（ステップＳ１００７）。
【００５７】
<効果の簡単な説明>
以上のように、本実施例の遠隔操作システムによって、実行端末のＧＵＩが所定の階層にない場合やの所定のアイコンにカーソルが合わせられていない場合でも、開始点設定命令を仮インターフェイス操作信号と合せて送ることで、遠隔操作を入力したユーザが所望する機能を正しく実行させることができる。
【符号の説明】
【００５８】
０２００ 実行端末
０２０１ ユーザインターフェイス
０２１０ 命令端末
０２１１ 機能選択部
０２１２ 通知部
０２２０ 遠隔操作サーバ装置
０２２１ 機能選択受付部
０２２２ 変換部
０２２３ 送信部
【特許請求の範囲】
【請求項１】
通信網でつながれた実行端末と、命令端末と、遠隔操作サーバ装置と、からなる遠隔操作システムであって、
実行端末は、
ユーザ操作によって機能を選択し実行するためのユーザインターフェイスを有し、
命令端末は、
実行端末に実行させたい機能を選択させるための機能選択部と、
選択された機能を遠隔操作サーバ装置に対して通知する通知部と、を有し、
遠隔操作サーバ装置は、
命令端末からの機能選択の通知を受け付ける機能選択受付部と、
受け付けた機能選択に応じた機能を、仮に実行端末のユーザインターフェイスを介してユーザが実行していたならば生じていたであろう仮インターフェイス操作信号に変換する変換部と、
仮インターフェイス操作信号を実行端末に対して通信網を介して送信する送信部と、を有する
遠隔操作システム。
【請求項２】
実行端末は、
遠隔操作サーバ装置の送信部から送信された仮インターフェイス操作信号を受信する受信部と、
受信した仮インターフェイス操作信号をユーザインターフェイスからのユーザ操作信号として解釈する解釈部と、を有する請求項１に記載の遠隔操作システム。
【請求項３】
遠隔操作サーバ装置は、送信した仮インターフェイス操作信号による操作を、実行端末における所定の操作開始点からの操作とするための命令である開始点設定命令を送信する開始点設定命令送信部を有する請求項１または２に記載の遠隔操作システム。
【請求項４】
通信網でつながれた実行端末と、命令端末と、遠隔操作サーバ装置と、からなる遠隔操作システムの動作方法であって、
実行端末は、ユーザ操作によって機能を選択し実行するためのユーザインターフェイスを有し、
命令端末にて
実行端末に実行させたい機能を選択する機能選択ステップと、
選択された機能を遠隔操作サーバ装置に対して通知する通知ステップと、を実行し、
遠隔操作サーバ装置にて、
命令端末からの機能選択の通知を受け付ける機能選択受付ステップと、
受け付けた機能選択に応じた機能を、仮に実行端末のユーザインターフェイスを介してユーザが実行していたならば生じていたであろう仮インターフェイス操作信号に変換する変換ステップと、
仮インターフェイス操作信号を実行端末に対して通信網を介して送信する送信ステップと、を実行する
遠隔操作システムの動作方法。
【請求項１】
通信網でつながれた実行端末と、命令端末と、遠隔操作サーバ装置と、からなる遠隔操作システムであって、
実行端末は、
ユーザ操作によって機能を選択し実行するためのユーザインターフェイスを有し、
命令端末は、
実行端末に実行させたい機能を選択させるための機能選択部と、
選択された機能を遠隔操作サーバ装置に対して通知する通知部と、を有し、
遠隔操作サーバ装置は、
命令端末からの機能選択の通知を受け付ける機能選択受付部と、
受け付けた機能選択に応じた機能を、仮に実行端末のユーザインターフェイスを介してユーザが実行していたならば生じていたであろう仮インターフェイス操作信号に変換する変換部と、
仮インターフェイス操作信号を実行端末に対して通信網を介して送信する送信部と、を有する
遠隔操作システム。
【請求項２】
実行端末は、
遠隔操作サーバ装置の送信部から送信された仮インターフェイス操作信号を受信する受信部と、
受信した仮インターフェイス操作信号をユーザインターフェイスからのユーザ操作信号として解釈する解釈部と、を有する請求項１に記載の遠隔操作システム。
【請求項３】
遠隔操作サーバ装置は、送信した仮インターフェイス操作信号による操作を、実行端末における所定の操作開始点からの操作とするための命令である開始点設定命令を送信する開始点設定命令送信部を有する請求項１または２に記載の遠隔操作システム。
【請求項４】
通信網でつながれた実行端末と、命令端末と、遠隔操作サーバ装置と、からなる遠隔操作システムの動作方法であって、
実行端末は、ユーザ操作によって機能を選択し実行するためのユーザインターフェイスを有し、
命令端末にて
実行端末に実行させたい機能を選択する機能選択ステップと、
選択された機能を遠隔操作サーバ装置に対して通知する通知ステップと、を実行し、
遠隔操作サーバ装置にて、
命令端末からの機能選択の通知を受け付ける機能選択受付ステップと、
受け付けた機能選択に応じた機能を、仮に実行端末のユーザインターフェイスを介してユーザが実行していたならば生じていたであろう仮インターフェイス操作信号に変換する変換ステップと、
仮インターフェイス操作信号を実行端末に対して通信網を介して送信する送信ステップと、を実行する
遠隔操作システムの動作方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１５６６００（Ｐ２０１２−１５６６００Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１１３６８（Ｐ２０１１−１１３６８）
【出願日】平成２３年１月２１日（２０１１．１．２１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２１日（２０１１．１．２１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]