遠隔操作システム
【課題】複数機能を有する端末の異なる機能同士を互いに干渉しあうことなく処理する。
【解決手段】被操作端末は、操作端末を検出する探索部と、割込み処理の発生を検知する検知部と、現在の操作状態を記憶する記憶部と、現在の操作状態に応じた操作情報を作成する操作情報制御部と、操作結果情報に応じて操作端末の操作状況と現在の操作状態とを同期させる第１同期部とを備え、操作端末は、操作情報を画面表示させるとともに操作結果情報を出力する操作情報解析部と、操作情報に応じて操作端末の操作状況と現在の操作状態とを同期させる第２同期部とを備え、検知部が所定の割込み処理を検知した場合に、探索部は操作端末の検出を行い、第１同期部は操作端末へ操作情報制御部が作成した操作情報を送信し、第２同期部は、操作情報解析部に画面表示を行わせるとともに、被操作端末に対して操作情報解析部が作成した操作結果情報を送信する。
【解決手段】被操作端末は、操作端末を検出する探索部と、割込み処理の発生を検知する検知部と、現在の操作状態を記憶する記憶部と、現在の操作状態に応じた操作情報を作成する操作情報制御部と、操作結果情報に応じて操作端末の操作状況と現在の操作状態とを同期させる第１同期部とを備え、操作端末は、操作情報を画面表示させるとともに操作結果情報を出力する操作情報解析部と、操作情報に応じて操作端末の操作状況と現在の操作状態とを同期させる第２同期部とを備え、検知部が所定の割込み処理を検知した場合に、探索部は操作端末の検出を行い、第１同期部は操作端末へ操作情報制御部が作成した操作情報を送信し、第２同期部は、操作情報解析部に画面表示を行わせるとともに、被操作端末に対して操作情報解析部が作成した操作結果情報を送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔操作システムに関し、更に詳しくは、複数の機能を有する機器においてある一つの機能を使用中に同一機器内の別機能を使用する際に、使用中の機器とは異なる機器を用いて、使用中の機器の内部の別機能を実現するための遠隔操作システムに関する。
【背景技術】
【０００２】
従来、複数の機能を有する機器においてそれらの複数の機能を同時に使用することを目的とした技術では、例えば携帯電話を対象としている技術としては、携帯電話の通話中に携帯電話に受信したメールを読む機能を使用するときに、使用中の携帯電話に付属する表示装置を用いてメール等のデータを表示する技術（例えば、特許文献１）、ナビゲーションシステム（被操作端末）の操作データを携帯電話（操作端末）の表示画面に表示し、携帯電話を用いてナビゲーションシステムの操作を行う（例えば、特許文献２）技術などがあった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２９１０５２号公報
【特許文献２】特開２００６−２４６１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の技術では携帯電話のキー操作が必要であるために、通話中等の状態のためにキー操作に制限がある、携帯電話の全てのメモリデータにアクセスすることを想定しておらず、また、通話等の主として使用している機能に支障をきたすという問題があった。
【０００５】
また、上記特許文献２に記載の技術では、操作端末が操作をしようとして初めて被操作端末が反応するという形態になっており、被操作端末で複数の機能を処理する必要が生じた場合に被操作端末からその指示を出すことは想定されておらず、被操作端末の状態とは無関係に被操作端末に何らかの割り込み処理が発生する状況には対応できないという問題があった。
【０００６】
本発明は、上記課題に鑑みてなされたものであって、複数の機能を有する機器の異なる機能同士をお互いに干渉しあうことなく処理することが可能な遠隔操作システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の遠隔操作システムは、複数の機能を有する被操作端末と、被操作端末の任意の機能を処理できる操作端末と、からなる遠隔操作システムであって、被操作端末は、操作端末を検出する対応端末探索部と、割込み処理の発生を検知する割込み発生検知部と、現在の操作状態を記憶する記憶部と、現在の操作状態に応じた操作情報を作成する操作情報制御部と、操作結果情報に基づいて、操作端末での操作状況と現在の操作状態とを同期させる第１端末間状態同期部と、を備え、操作端末は、操作情報を解釈して画面表示させるとともに、操作結果情報を作成して出力する操作情報解析部と、操作情報に基づいて、操作端末での操作状況と現在の操作状態とを同期させる第２端末間状態同期部と、を備え、割込み発生検知部が所定の割込み処理を検知した場合に、対応端末探索部は操作端末の検出を行い、第１端末間状態同期部は検出された操作端末に対して操作情報制御部が作成した操作情報を送信し、第２端末間状態同期部は、操作情報解析部に操作情報に応じた画面表示を行わせるとともに、被操作端末に対して操作情報解析部が作成した操作結果情報を送信する、ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数の機能を有する機器において複数機能を同時に使用する必要が生じた場合においても、複数機能同士で干渉しあうことなく処理することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１における遠隔操作システムの全体構成図
【図２】本発明の実施の形態１における携帯電話１０１の構成図
【図３】本発明の実施の形態１における映像装置１０２の構成図
【図４】本発明の実施の形態１における携帯電話１０１での処理の流れを示すフローチャート
【図５】本発明の実施の形態１における映像装置１０２での処理の流れを示すフローチャート
【図６】本発明の実施の形態１における携帯電話１０１の操作画面と映像装置１０２で表示される操作画面を示す図
【図７】本発明の実施の形態１における携帯電話１０１と映像装置１０２との間で送受信される情報の一覧例を示す図
【発明を実施するための形態】
【００１０】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１１】
（実施の形態１）
図１は、本発明の実施の形態１における遠隔操作システムの全体構成図である。図１に示すように、本発明における遠隔操作システムは、双方向通信が可能な携帯電話１０１（被操作端末）と、双方向通信が可能な映像装置（テレビジョン）１０２（操作端末）から構成される。映像装置１０２には、ユーザが操作するためのリモートコントローラーが付属している。
【００１２】
図２は、被操作端末である携帯電話１０１の構成図である。図２に示すように、携帯電話１０１は、端末間の通信を行う端末間通信部２０１、通信中の端末間の状態の同期をとる端末間状態同期部２０２、必要とする機能を備えた操作端末を探索する対応端末探索部２０３、被操作端末の割込み処理の発生を検知する割込み発生検知部２０４、画面のデータを保持している操作データ保持部２０５、被操作端末の操作状態を記憶するメモリ２０６、操作データ保持部２０５の情報及び被操作端末の操作状態に応じて操作情報を作成して操作端末に送信するための制御を行う操作情報制御部２０７、操作状態に応じた制御を実行するメモリ制御部２０８、ユーザの入力を受け付ける入力部２０９、ユーザに情報を出力する表示部２１０、通話処理を行う通話部２１１から構成される。２０５〜２１１については従来の携帯電話で実現されている基本機能である。
【００１３】
図３は、操作端末である映像装置１０２の構成図である。図３に示すように、映像装置１０２は、端末間の通信を行う端末間通信部３０１、操作端末の状態に基づき被操作端末からの要求を受け付けることが可能かどうかを通信網に通知する受信可能性通知部３０２、被操作端末からの接続要求・終了要求を受け付け、操作端末を接続可能状態・切断状態とする接続要求受信部３０３、通信中の端末間の状態の同期をとる端末間状態同期部３０４、被操作端末から受信した操作情報を解析したり、操作端末による操作結果を被操作端末に送信するための情報（操作結果情報）を作成したりする操作情報解析部３０５、操作端末の内部状態の把握や制御を行う内部状態制御部３０６、被操作端末をユーザが遠隔で操作するための装置であるリモコン部３０７、被操作端末がリモコン部３０７からの情報を受信するリモコン受信部３０８、操作情報等のインタフェースをユーザに提示する表示部３０９から構成される。３０６〜３０９については、従来の映像装置で実現されている基本機能である。
【００１４】
図４、図５は、被操作端末である携帯電話１０１と操作端末である映像装置１０２との間の処理の流れを示したフローチャートである。図４は被操作端末側処理、図５は操作端末側処理を示す。被操作端末に蓄積されている画像データの閲覧をしている最中に、被操作端末が通話を受信した場合を例に挙げて、以下にその処理の流れを説明する。
【００１５】
まず、被操作端末において画像データを閲覧している。図６の６０１は被操作端末で画像データを閲覧している段階での被操作端末の表示部２１０に表示されている画像データ閲覧画面（サムネイル表示画面）である。サムネイル表示画面を表示している状態で、被操作端末の通話部２１１が着信を受信すると、割込み発生検知部２０４は通話状態であることを検知する（ステップＳ４０１で「ＹＥＳ」）。メモリ制御部２０８は、通話状態が検知されると、通話状態を検知した時点での操作状態をメモリ２０６に記憶させる（ステップＳ４０２）。次に、対応端末探索部２０３は、通信可能なネットワーク上において、メモリ２０６に記憶している操作状態で使用する操作情報を転送するのに適した操作端末が存在するかどうかを探索する（ステップＳ４０３）。
【００１６】
対応端末探索部２０３は、操作端末を検出できなければ（ステップＳ４０３で「ＮＯ」）、通話終了まで何も行わず、通話を終了すると、メモリ制御部２０８は、記憶していた操作状態を回復させる処理を行う。一方、操作端末を検出できれば（ステップＳ４０３で「ＹＥＳ」）、端末間通信部２０１に検出した操作端末に対してアクセス要求を送信させる（ステップＳ４０４）。ここでアクセス要求は、ユーザによる入力操作により明示的に送信してもよい。
【００１７】
対応端末探索部２０３は、ステップＳ４０４で端末間通信部２０１に送信させたアクセス要求に対して、「アクセス拒否」の応答を受信した場合（ステップＳ４０５で「ＮＯ」）、他に通信可能な操作端末を発見するまで、ステップＳ４０３からステップＳ４０５の処理を繰り返す。通信可能な操作端末が存在しなければ（ステップＳ４０３で「ＮＯ」）、通話終了まで何も行わず、通話を終了すると、メモリ制御部２０８は、記憶していた操作状態を回復させる処理を行う。一方、「アクセス許可」の応答を受信した場合（ステップＳ４０５で「ＹＥＳ」）、端末間通信部２０１にＵＰｎＰ（Ｕｎｉｖｅｒｓａｌ Ｐｌｕｇ ａｎｄ Ｐｌａｙ）などの既存技術を用いて操作端末と接続させ、操作情報制御部２０７はステップＳ４０２でメモリ制御部２０８が記憶させた操作状態に基づき、端末間状態同期部２０２で同期を取りながら、操作情報を操作データ保持部２０５のデータに基づいて作成して接続状態になっている操作端末に送信する（ステップＳ４０６）。ここで、被操作端末から送信される操作情報の一例を図７の７０１に示す。７０１は操作状態としてサムネイル表示画面を表示している状態である場合の操作情報を示す。操作情報は操作画面構成データと内部メモリデータとから構成され、操作画面構成データには、現在表示している画面を生成するために必要となる、例えばＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔなどの言語で記述された現画面生成データと、現在表示している画面から遷移した先の画面を構成するために必要となる、現画面生成データと同種の情報からなる遷移画面生成データと、各画面を操作するために必要となるキー操作データと、バッテリ残量を示すバッテリ情報と、現在の日時を示す日時情報、などが含まれる。また、内部メモリデータには、現画面や遷移画面を表示するのに必要となる画像データや音声データ、動画データ、アドレス帳データなどが含まれる。ここで、遷移画面生成データは、現画面生成データから１操作で遷移する画面のみに限っても良いし、遷移できる全画面データであっても良い。また、画像や音声等の各種データはデータ本体であっても良いし、データ本体へのリンク情報であっても良い。
【００１８】
そして、操作情報制御部２０７は、操作端末から送信された操作結果情報（後ほど、詳述する）に基づきメモリ制御部２０８により被操作端末の操作状態を更新させ（ステップＳ４０８）、また次に操作端末に送信するための操作情報を生成し、通話が継続している間は（ステップＳ４０９で「ＮＯ」）、ステップＳ４０６からステップＳ４０９の処理を繰り返す。
【００１９】
ここで、割込み発生検知部２０４は、常に被操作端末の通話状態をチェックしており、通話状態が終了していることを検知した場合は（ステップＳ４０９で「ＹＥＳ」）、端末間状態同期部２０２を介して、終了要求を操作端末に送信するとともに、メモリ制御部２０８に操作端末における被操作端末内の機能の現時点での操作状態を再現させて被操作端末の表示部２１０に出力し、操作端末との接続を切断する（ステップＳ４１０）。以上が、被操作端末側の処理である。
【００２０】
次に、操作端末側処理について図５を用いて説明する。操作端末は、内部状態制御部３０５で操作端末が被操作端末からの接続要求を受信可能状態であるかどうかを判定し、受信可能性通知部３０２を通して受け状態（受信可能状態）であることをネットワーク上に通知する（ステップＳ５０１）。接続要求受信部３０３で被操作端末からのアクセス要求を受信した場合（ステップＳ５０２で「ＹＥＳ」）、表示部３０９に現在の表示に邪魔にならないように接続要求の発生を提示し、操作端末のユーザに被操作端末からのアクセスの可否の判断を促す（ステップＳ５０３）。表示に邪魔にならない提示とは、例えば、操作端末の表示部の四隅のいずれかに簡単な文字やアイコンを表示させる、あるいは点滅させる、または、短い警告音を鳴らす、などが考えられる。
ユーザは操作端末のリモコン部３０７を用いるなどにより、被操作端末からのアクセス要求に対する可否の判断（「アクセス許可」または「アクセス拒否」）を送信する（ステップＳ５０４からステップＳ５０６）。「アクセス拒否」を送信した場合（ステップＳ５０４が「ＮＯ」でステップＳ５０６へ進んだ場合）には、何も行わず終了する。この場合、操作端末の受信可能状態を解除してもよい。
また、「アクセス許可」を送信すると（ステップＳ５０４が「ＹＥＳ」でステップＳ５０５へ進んだ場合）、端末間状態同期部３０４が被操作端末から操作情報を受信するのを待ち（ステップＳ５０７）、受信した場合（ステップＳ５０７で「ＹＥＳ」）には、操作情報解析部３０５において操作端末上で表示し制御できる形態に修正し、表示部３０９に操作端末の表示部２１０上での表示と同等の操作インタフェースを出力する（ステップＳ５０８）。図６の６０２は、操作端末の表示部３０９上に被操作端末の表示部２１０上における画像データ閲覧画面（サムネイル表示画面）を出力した例である。
ユーザは、リモコン部３０７などを介して操作端末の表示部３０９上に出力された操作インタフェースを操作し、操作した結果は操作情報解析部３０５において解析され、操作結果情報として端末間状態同期部３０４を通じて被操作端末に送信される（ステップＳ５０９）。
図７の７０２は、操作結果情報の一例である。操作端末から被操作端末に対して新たに要求するデータである要求データと、被操作端末の情報の更新を要求する更新データから構成されている。要求データは、操作情報における操作画面生成データと同様の、遷移画面生成データ、キー操作データ、バッテリ情報、日時情報などと、それらに関連する内部メモリデータとからなる。また、更新データは、操作端末で削除や編集等の操作を行った内部メモリデータの情報からなる。
操作間状態同期部３０４は、接続要求受信部３０３が被操作端末からの終了要求を受信するまで（ステップＳ５１０で「ＮＯ」）、ステップＳ５０７からステップＳ５１０の処理を繰り返し、終了要求を受信した場合に（ステップＳ５１０で「ＹＥＳ」）、現時点での被操作端末の操作状態を操作情報解析部３０５、端末間状態同期部３０４を通じて被操作端末に送信し、被操作端末との接続を切断する（ステップＳ５１１）。
【００２１】
かかる構成によれば、携帯電話のユーザが携帯電話内のデータを閲覧・編集している最中に通話を受信した場合にも、携帯電話で行っていた作業を周辺に存在するテレビジョンで継続することができるので、通話により作業を干渉されることのない状態を実現できる。また、通話中に携帯電話内のデータにアクセスする必要が生じた場合にも、テレビジョンから携帯電話の機能を呼び出すことが可能であるため、通話を妨げることなる異なる作業ができる環境をできる。
【００２２】
なお、本発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。
【産業上の利用可能性】
【００２３】
本発明にかかる遠隔操作システムは、被操作機器の任意の機能を実現するための操作データやメモリデータを周辺の操作機器を検出して送信し、また操作機器から操作結果を被操作機器に送信することで、操作機器を用いて被操作機器の任意の機能を実行する特徴を有し、これにより、携帯電話の通話中等で携帯電話の画面やボタンを使用できない状態のときに、メールなどの携帯電話のメモリ内部のデータを周辺に存在するテレビジョンを使用して、携帯電話本体で使用している機能には干渉することなく全ての携帯電話内の機能を使用し、データを表示や編集することを可能となり、携帯電話とテレビジョンとの連携に有用である。
【００２４】
また携帯電話とテレビジョンとの連携の例以外にも、ビデオカメラで撮影中に機器の画面やボタンを使用できない状況で、撮影したデータを確認、あるいは編集等をするという要求に対して同様にビデオカメラとテレビジョン、あるいはビデオカメラと携帯電話、異なるビデオカメラ同士、などとを接続して制御機器（テレビ、携帯電話等）側から被制御機器（ビデオカメラ）の機能にアクセスする場合にも有用である。
【符号の説明】
【００２５】
１０１ 携帯電話
１０２ 映像装置
２０１ 端末間通信部
２０２ 端末間状態同期部
２０３ 対応端末探索部
２０４ 割込み発生検知部
２０５ 操作データ保持部
２０６ メモリ
２０７ 操作情報制御部
２０８ メモリ制御部
２０９ 入力部
２１０ 表示部
２１１ 通話部
３０１ 端末間通信部
３０２ 受信可能性通知部
３０３ 接続要求受信部
３０４ 端末間状態同期部
３０５ 操作情報解析部
３０６ 内部状態制御部
３０７ リモコン部
３０８ リモコン受信部
３０９ 表示部
【技術分野】
【０００１】
本発明は、遠隔操作システムに関し、更に詳しくは、複数の機能を有する機器においてある一つの機能を使用中に同一機器内の別機能を使用する際に、使用中の機器とは異なる機器を用いて、使用中の機器の内部の別機能を実現するための遠隔操作システムに関する。
【背景技術】
【０００２】
従来、複数の機能を有する機器においてそれらの複数の機能を同時に使用することを目的とした技術では、例えば携帯電話を対象としている技術としては、携帯電話の通話中に携帯電話に受信したメールを読む機能を使用するときに、使用中の携帯電話に付属する表示装置を用いてメール等のデータを表示する技術（例えば、特許文献１）、ナビゲーションシステム（被操作端末）の操作データを携帯電話（操作端末）の表示画面に表示し、携帯電話を用いてナビゲーションシステムの操作を行う（例えば、特許文献２）技術などがあった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２９１０５２号公報
【特許文献２】特開２００６−２４６１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の技術では携帯電話のキー操作が必要であるために、通話中等の状態のためにキー操作に制限がある、携帯電話の全てのメモリデータにアクセスすることを想定しておらず、また、通話等の主として使用している機能に支障をきたすという問題があった。
【０００５】
また、上記特許文献２に記載の技術では、操作端末が操作をしようとして初めて被操作端末が反応するという形態になっており、被操作端末で複数の機能を処理する必要が生じた場合に被操作端末からその指示を出すことは想定されておらず、被操作端末の状態とは無関係に被操作端末に何らかの割り込み処理が発生する状況には対応できないという問題があった。
【０００６】
本発明は、上記課題に鑑みてなされたものであって、複数の機能を有する機器の異なる機能同士をお互いに干渉しあうことなく処理することが可能な遠隔操作システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の遠隔操作システムは、複数の機能を有する被操作端末と、被操作端末の任意の機能を処理できる操作端末と、からなる遠隔操作システムであって、被操作端末は、操作端末を検出する対応端末探索部と、割込み処理の発生を検知する割込み発生検知部と、現在の操作状態を記憶する記憶部と、現在の操作状態に応じた操作情報を作成する操作情報制御部と、操作結果情報に基づいて、操作端末での操作状況と現在の操作状態とを同期させる第１端末間状態同期部と、を備え、操作端末は、操作情報を解釈して画面表示させるとともに、操作結果情報を作成して出力する操作情報解析部と、操作情報に基づいて、操作端末での操作状況と現在の操作状態とを同期させる第２端末間状態同期部と、を備え、割込み発生検知部が所定の割込み処理を検知した場合に、対応端末探索部は操作端末の検出を行い、第１端末間状態同期部は検出された操作端末に対して操作情報制御部が作成した操作情報を送信し、第２端末間状態同期部は、操作情報解析部に操作情報に応じた画面表示を行わせるとともに、被操作端末に対して操作情報解析部が作成した操作結果情報を送信する、ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数の機能を有する機器において複数機能を同時に使用する必要が生じた場合においても、複数機能同士で干渉しあうことなく処理することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１における遠隔操作システムの全体構成図
【図２】本発明の実施の形態１における携帯電話１０１の構成図
【図３】本発明の実施の形態１における映像装置１０２の構成図
【図４】本発明の実施の形態１における携帯電話１０１での処理の流れを示すフローチャート
【図５】本発明の実施の形態１における映像装置１０２での処理の流れを示すフローチャート
【図６】本発明の実施の形態１における携帯電話１０１の操作画面と映像装置１０２で表示される操作画面を示す図
【図７】本発明の実施の形態１における携帯電話１０１と映像装置１０２との間で送受信される情報の一覧例を示す図
【発明を実施するための形態】
【００１０】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１１】
（実施の形態１）
図１は、本発明の実施の形態１における遠隔操作システムの全体構成図である。図１に示すように、本発明における遠隔操作システムは、双方向通信が可能な携帯電話１０１（被操作端末）と、双方向通信が可能な映像装置（テレビジョン）１０２（操作端末）から構成される。映像装置１０２には、ユーザが操作するためのリモートコントローラーが付属している。
【００１２】
図２は、被操作端末である携帯電話１０１の構成図である。図２に示すように、携帯電話１０１は、端末間の通信を行う端末間通信部２０１、通信中の端末間の状態の同期をとる端末間状態同期部２０２、必要とする機能を備えた操作端末を探索する対応端末探索部２０３、被操作端末の割込み処理の発生を検知する割込み発生検知部２０４、画面のデータを保持している操作データ保持部２０５、被操作端末の操作状態を記憶するメモリ２０６、操作データ保持部２０５の情報及び被操作端末の操作状態に応じて操作情報を作成して操作端末に送信するための制御を行う操作情報制御部２０７、操作状態に応じた制御を実行するメモリ制御部２０８、ユーザの入力を受け付ける入力部２０９、ユーザに情報を出力する表示部２１０、通話処理を行う通話部２１１から構成される。２０５〜２１１については従来の携帯電話で実現されている基本機能である。
【００１３】
図３は、操作端末である映像装置１０２の構成図である。図３に示すように、映像装置１０２は、端末間の通信を行う端末間通信部３０１、操作端末の状態に基づき被操作端末からの要求を受け付けることが可能かどうかを通信網に通知する受信可能性通知部３０２、被操作端末からの接続要求・終了要求を受け付け、操作端末を接続可能状態・切断状態とする接続要求受信部３０３、通信中の端末間の状態の同期をとる端末間状態同期部３０４、被操作端末から受信した操作情報を解析したり、操作端末による操作結果を被操作端末に送信するための情報（操作結果情報）を作成したりする操作情報解析部３０５、操作端末の内部状態の把握や制御を行う内部状態制御部３０６、被操作端末をユーザが遠隔で操作するための装置であるリモコン部３０７、被操作端末がリモコン部３０７からの情報を受信するリモコン受信部３０８、操作情報等のインタフェースをユーザに提示する表示部３０９から構成される。３０６〜３０９については、従来の映像装置で実現されている基本機能である。
【００１４】
図４、図５は、被操作端末である携帯電話１０１と操作端末である映像装置１０２との間の処理の流れを示したフローチャートである。図４は被操作端末側処理、図５は操作端末側処理を示す。被操作端末に蓄積されている画像データの閲覧をしている最中に、被操作端末が通話を受信した場合を例に挙げて、以下にその処理の流れを説明する。
【００１５】
まず、被操作端末において画像データを閲覧している。図６の６０１は被操作端末で画像データを閲覧している段階での被操作端末の表示部２１０に表示されている画像データ閲覧画面（サムネイル表示画面）である。サムネイル表示画面を表示している状態で、被操作端末の通話部２１１が着信を受信すると、割込み発生検知部２０４は通話状態であることを検知する（ステップＳ４０１で「ＹＥＳ」）。メモリ制御部２０８は、通話状態が検知されると、通話状態を検知した時点での操作状態をメモリ２０６に記憶させる（ステップＳ４０２）。次に、対応端末探索部２０３は、通信可能なネットワーク上において、メモリ２０６に記憶している操作状態で使用する操作情報を転送するのに適した操作端末が存在するかどうかを探索する（ステップＳ４０３）。
【００１６】
対応端末探索部２０３は、操作端末を検出できなければ（ステップＳ４０３で「ＮＯ」）、通話終了まで何も行わず、通話を終了すると、メモリ制御部２０８は、記憶していた操作状態を回復させる処理を行う。一方、操作端末を検出できれば（ステップＳ４０３で「ＹＥＳ」）、端末間通信部２０１に検出した操作端末に対してアクセス要求を送信させる（ステップＳ４０４）。ここでアクセス要求は、ユーザによる入力操作により明示的に送信してもよい。
【００１７】
対応端末探索部２０３は、ステップＳ４０４で端末間通信部２０１に送信させたアクセス要求に対して、「アクセス拒否」の応答を受信した場合（ステップＳ４０５で「ＮＯ」）、他に通信可能な操作端末を発見するまで、ステップＳ４０３からステップＳ４０５の処理を繰り返す。通信可能な操作端末が存在しなければ（ステップＳ４０３で「ＮＯ」）、通話終了まで何も行わず、通話を終了すると、メモリ制御部２０８は、記憶していた操作状態を回復させる処理を行う。一方、「アクセス許可」の応答を受信した場合（ステップＳ４０５で「ＹＥＳ」）、端末間通信部２０１にＵＰｎＰ（Ｕｎｉｖｅｒｓａｌ Ｐｌｕｇ ａｎｄ Ｐｌａｙ）などの既存技術を用いて操作端末と接続させ、操作情報制御部２０７はステップＳ４０２でメモリ制御部２０８が記憶させた操作状態に基づき、端末間状態同期部２０２で同期を取りながら、操作情報を操作データ保持部２０５のデータに基づいて作成して接続状態になっている操作端末に送信する（ステップＳ４０６）。ここで、被操作端末から送信される操作情報の一例を図７の７０１に示す。７０１は操作状態としてサムネイル表示画面を表示している状態である場合の操作情報を示す。操作情報は操作画面構成データと内部メモリデータとから構成され、操作画面構成データには、現在表示している画面を生成するために必要となる、例えばＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔなどの言語で記述された現画面生成データと、現在表示している画面から遷移した先の画面を構成するために必要となる、現画面生成データと同種の情報からなる遷移画面生成データと、各画面を操作するために必要となるキー操作データと、バッテリ残量を示すバッテリ情報と、現在の日時を示す日時情報、などが含まれる。また、内部メモリデータには、現画面や遷移画面を表示するのに必要となる画像データや音声データ、動画データ、アドレス帳データなどが含まれる。ここで、遷移画面生成データは、現画面生成データから１操作で遷移する画面のみに限っても良いし、遷移できる全画面データであっても良い。また、画像や音声等の各種データはデータ本体であっても良いし、データ本体へのリンク情報であっても良い。
【００１８】
そして、操作情報制御部２０７は、操作端末から送信された操作結果情報（後ほど、詳述する）に基づきメモリ制御部２０８により被操作端末の操作状態を更新させ（ステップＳ４０８）、また次に操作端末に送信するための操作情報を生成し、通話が継続している間は（ステップＳ４０９で「ＮＯ」）、ステップＳ４０６からステップＳ４０９の処理を繰り返す。
【００１９】
ここで、割込み発生検知部２０４は、常に被操作端末の通話状態をチェックしており、通話状態が終了していることを検知した場合は（ステップＳ４０９で「ＹＥＳ」）、端末間状態同期部２０２を介して、終了要求を操作端末に送信するとともに、メモリ制御部２０８に操作端末における被操作端末内の機能の現時点での操作状態を再現させて被操作端末の表示部２１０に出力し、操作端末との接続を切断する（ステップＳ４１０）。以上が、被操作端末側の処理である。
【００２０】
次に、操作端末側処理について図５を用いて説明する。操作端末は、内部状態制御部３０５で操作端末が被操作端末からの接続要求を受信可能状態であるかどうかを判定し、受信可能性通知部３０２を通して受け状態（受信可能状態）であることをネットワーク上に通知する（ステップＳ５０１）。接続要求受信部３０３で被操作端末からのアクセス要求を受信した場合（ステップＳ５０２で「ＹＥＳ」）、表示部３０９に現在の表示に邪魔にならないように接続要求の発生を提示し、操作端末のユーザに被操作端末からのアクセスの可否の判断を促す（ステップＳ５０３）。表示に邪魔にならない提示とは、例えば、操作端末の表示部の四隅のいずれかに簡単な文字やアイコンを表示させる、あるいは点滅させる、または、短い警告音を鳴らす、などが考えられる。
ユーザは操作端末のリモコン部３０７を用いるなどにより、被操作端末からのアクセス要求に対する可否の判断（「アクセス許可」または「アクセス拒否」）を送信する（ステップＳ５０４からステップＳ５０６）。「アクセス拒否」を送信した場合（ステップＳ５０４が「ＮＯ」でステップＳ５０６へ進んだ場合）には、何も行わず終了する。この場合、操作端末の受信可能状態を解除してもよい。
また、「アクセス許可」を送信すると（ステップＳ５０４が「ＹＥＳ」でステップＳ５０５へ進んだ場合）、端末間状態同期部３０４が被操作端末から操作情報を受信するのを待ち（ステップＳ５０７）、受信した場合（ステップＳ５０７で「ＹＥＳ」）には、操作情報解析部３０５において操作端末上で表示し制御できる形態に修正し、表示部３０９に操作端末の表示部２１０上での表示と同等の操作インタフェースを出力する（ステップＳ５０８）。図６の６０２は、操作端末の表示部３０９上に被操作端末の表示部２１０上における画像データ閲覧画面（サムネイル表示画面）を出力した例である。
ユーザは、リモコン部３０７などを介して操作端末の表示部３０９上に出力された操作インタフェースを操作し、操作した結果は操作情報解析部３０５において解析され、操作結果情報として端末間状態同期部３０４を通じて被操作端末に送信される（ステップＳ５０９）。
図７の７０２は、操作結果情報の一例である。操作端末から被操作端末に対して新たに要求するデータである要求データと、被操作端末の情報の更新を要求する更新データから構成されている。要求データは、操作情報における操作画面生成データと同様の、遷移画面生成データ、キー操作データ、バッテリ情報、日時情報などと、それらに関連する内部メモリデータとからなる。また、更新データは、操作端末で削除や編集等の操作を行った内部メモリデータの情報からなる。
操作間状態同期部３０４は、接続要求受信部３０３が被操作端末からの終了要求を受信するまで（ステップＳ５１０で「ＮＯ」）、ステップＳ５０７からステップＳ５１０の処理を繰り返し、終了要求を受信した場合に（ステップＳ５１０で「ＹＥＳ」）、現時点での被操作端末の操作状態を操作情報解析部３０５、端末間状態同期部３０４を通じて被操作端末に送信し、被操作端末との接続を切断する（ステップＳ５１１）。
【００２１】
かかる構成によれば、携帯電話のユーザが携帯電話内のデータを閲覧・編集している最中に通話を受信した場合にも、携帯電話で行っていた作業を周辺に存在するテレビジョンで継続することができるので、通話により作業を干渉されることのない状態を実現できる。また、通話中に携帯電話内のデータにアクセスする必要が生じた場合にも、テレビジョンから携帯電話の機能を呼び出すことが可能であるため、通話を妨げることなる異なる作業ができる環境をできる。
【００２２】
なお、本発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。
【産業上の利用可能性】
【００２３】
本発明にかかる遠隔操作システムは、被操作機器の任意の機能を実現するための操作データやメモリデータを周辺の操作機器を検出して送信し、また操作機器から操作結果を被操作機器に送信することで、操作機器を用いて被操作機器の任意の機能を実行する特徴を有し、これにより、携帯電話の通話中等で携帯電話の画面やボタンを使用できない状態のときに、メールなどの携帯電話のメモリ内部のデータを周辺に存在するテレビジョンを使用して、携帯電話本体で使用している機能には干渉することなく全ての携帯電話内の機能を使用し、データを表示や編集することを可能となり、携帯電話とテレビジョンとの連携に有用である。
【００２４】
また携帯電話とテレビジョンとの連携の例以外にも、ビデオカメラで撮影中に機器の画面やボタンを使用できない状況で、撮影したデータを確認、あるいは編集等をするという要求に対して同様にビデオカメラとテレビジョン、あるいはビデオカメラと携帯電話、異なるビデオカメラ同士、などとを接続して制御機器（テレビ、携帯電話等）側から被制御機器（ビデオカメラ）の機能にアクセスする場合にも有用である。
【符号の説明】
【００２５】
１０１ 携帯電話
１０２ 映像装置
２０１ 端末間通信部
２０２ 端末間状態同期部
２０３ 対応端末探索部
２０４ 割込み発生検知部
２０５ 操作データ保持部
２０６ メモリ
２０７ 操作情報制御部
２０８ メモリ制御部
２０９ 入力部
２１０ 表示部
２１１ 通話部
３０１ 端末間通信部
３０２ 受信可能性通知部
３０３ 接続要求受信部
３０４ 端末間状態同期部
３０５ 操作情報解析部
３０６ 内部状態制御部
３０７ リモコン部
３０８ リモコン受信部
３０９ 表示部
【特許請求の範囲】
【請求項１】
複数の機能を有する被操作端末と、前記被操作端末の任意の機能を処理できる操作端末と、からなる遠隔操作システムであって、
前記被操作端末は、
前記操作端末を検出する対応端末探索部と、
割込み処理の発生を検知する割込み発生検知部と、
現在の操作状態を記憶する記憶部と、
前記現在の操作状態に応じた操作情報を作成する操作情報制御部と、
操作結果情報に基づいて、前記操作端末での操作状況と前記現在の操作状態とを同期させる第１端末間状態同期部と、を備え、
前記操作端末は、
前記操作情報を解釈して画面表示させるとともに、前記操作結果情報を作成して出力する操作情報解析部と、
前記操作情報に基づいて、前記操作端末での操作状況と前記現在の操作状態とを同期させる第２端末間状態同期部と、を備え、
前記割込み発生検知部が所定の割込み処理を検知した場合に、前記対応端末探索部は前記操作端末の検出を行い、前記第１端末間状態同期部は検出された前記操作端末に対して前記操作情報制御部が作成した前記操作情報を送信し、
前記第２端末間状態同期部は、前記操作情報解析部に前記操作情報に応じた画面表示を行わせるとともに、前記被操作端末に対して前記操作情報解析部が作成した前記操作結果情報を送信する、
ことを特徴とする遠隔操作システム。
【請求項２】
前記被操作端末は、通話部を更に備え、
前記所定の割込み処理は前記通話部に対する通話着信である、ことを特徴とする請求項１に記載の遠隔操作システム。
【請求項３】
前記所定の割込み処理が前記通話部に対する通話終了である場合は、
前記第１端末状態同期部は、前記操作端末に対して切断通知を送信するとともに、前記操作端末から受信した前記操作結果情報に応じた画面表示を行わせるとともに、
前記第２端末間状態同期部は、前記切断通知を受信した時点での前記操作結果情報を前記被操作端末へ送信する、ことを特徴とする請求項２に記載の遠隔操作システム。
【請求項４】
複数の機能を有する被操作端末と、前記被操作端末の任意の機能を処理できる操作端末と、からなる遠隔操作システムにおいて、
前記操作端末を検出する対応端末探索部と、
割込み処理の発生を検知する割込み発生検知部と、
現在の操作状態を記憶する記憶部と、
前記現在の操作状態に応じた操作情報を作成する操作情報制御部と、
前記操作端末から受信した操作結果情報に基づいて、前記操作端末での操作状況と前記現在の操作状態とを同期させる第１端末間状態同期部と、を備え、
前記割込み発生検知部が所定の割込み処理を検知した場合に、前記対応端末探索部は前記操作端末の検出を行い、前記第１端末間状態同期部は検出された前記操作端末に対して前記操作情報制御部が作成した前記操作情報を送信する、ことを特徴とする被操作端末。
【請求項５】
複数の機能を有する被操作端末と、前記被操作端末の任意の機能を処理できる操作端末と、からなる遠隔操作システムにおいて、
前記被操作端末から受信した操作情報を解釈して画面表示させるとともに、操作結果情報を作成して出力する操作情報解析部と、
前記操作情報に基づいて、前記操作端末での操作状況と前記被操作端末の操作状態とを同期させる第２端末間状態同期部と、を備え、
前記第２端末間状態同期部は、前記操作情報解析部に前記操作情報に応じた画面表示を行わせるとともに、前記被操作端末に対して前記操作情報解析部が作成した前記操作結果情報を送信する、ことを特徴とする操作端末。
【請求項１】
複数の機能を有する被操作端末と、前記被操作端末の任意の機能を処理できる操作端末と、からなる遠隔操作システムであって、
前記被操作端末は、
前記操作端末を検出する対応端末探索部と、
割込み処理の発生を検知する割込み発生検知部と、
現在の操作状態を記憶する記憶部と、
前記現在の操作状態に応じた操作情報を作成する操作情報制御部と、
操作結果情報に基づいて、前記操作端末での操作状況と前記現在の操作状態とを同期させる第１端末間状態同期部と、を備え、
前記操作端末は、
前記操作情報を解釈して画面表示させるとともに、前記操作結果情報を作成して出力する操作情報解析部と、
前記操作情報に基づいて、前記操作端末での操作状況と前記現在の操作状態とを同期させる第２端末間状態同期部と、を備え、
前記割込み発生検知部が所定の割込み処理を検知した場合に、前記対応端末探索部は前記操作端末の検出を行い、前記第１端末間状態同期部は検出された前記操作端末に対して前記操作情報制御部が作成した前記操作情報を送信し、
前記第２端末間状態同期部は、前記操作情報解析部に前記操作情報に応じた画面表示を行わせるとともに、前記被操作端末に対して前記操作情報解析部が作成した前記操作結果情報を送信する、
ことを特徴とする遠隔操作システム。
【請求項２】
前記被操作端末は、通話部を更に備え、
前記所定の割込み処理は前記通話部に対する通話着信である、ことを特徴とする請求項１に記載の遠隔操作システム。
【請求項３】
前記所定の割込み処理が前記通話部に対する通話終了である場合は、
前記第１端末状態同期部は、前記操作端末に対して切断通知を送信するとともに、前記操作端末から受信した前記操作結果情報に応じた画面表示を行わせるとともに、
前記第２端末間状態同期部は、前記切断通知を受信した時点での前記操作結果情報を前記被操作端末へ送信する、ことを特徴とする請求項２に記載の遠隔操作システム。
【請求項４】
複数の機能を有する被操作端末と、前記被操作端末の任意の機能を処理できる操作端末と、からなる遠隔操作システムにおいて、
前記操作端末を検出する対応端末探索部と、
割込み処理の発生を検知する割込み発生検知部と、
現在の操作状態を記憶する記憶部と、
前記現在の操作状態に応じた操作情報を作成する操作情報制御部と、
前記操作端末から受信した操作結果情報に基づいて、前記操作端末での操作状況と前記現在の操作状態とを同期させる第１端末間状態同期部と、を備え、
前記割込み発生検知部が所定の割込み処理を検知した場合に、前記対応端末探索部は前記操作端末の検出を行い、前記第１端末間状態同期部は検出された前記操作端末に対して前記操作情報制御部が作成した前記操作情報を送信する、ことを特徴とする被操作端末。
【請求項５】
複数の機能を有する被操作端末と、前記被操作端末の任意の機能を処理できる操作端末と、からなる遠隔操作システムにおいて、
前記被操作端末から受信した操作情報を解釈して画面表示させるとともに、操作結果情報を作成して出力する操作情報解析部と、
前記操作情報に基づいて、前記操作端末での操作状況と前記被操作端末の操作状態とを同期させる第２端末間状態同期部と、を備え、
前記第２端末間状態同期部は、前記操作情報解析部に前記操作情報に応じた画面表示を行わせるとともに、前記被操作端末に対して前記操作情報解析部が作成した前記操作結果情報を送信する、ことを特徴とする操作端末。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２６３５３５（Ｐ２０１０−２６３５３５Ａ）
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願番号】特願２００９−１１４２９７（Ｐ２００９−１１４２９７）
【出願日】平成２１年５月１１日（２００９．５．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願日】平成２１年５月１１日（２００９．５．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]