説明

分散機器相互制御システム

【課題】携帯電話機およびPCのように、本来互換性がない異なるプラットフォームを有する機器間での双方向ユーザインタラクションを行なうと共に、双方のアプリケーションの状態管理によって、効率的なユーザインタラクションを可能とする。
【解決手段】管理部13および管理部23は、端末A10に付随する入力部11からの入力信号1または端末Bに付随する入力部21からの入力信号2に基づいて、第1のアプリケーション15または第2のアプリケーション25を実行する際、端末A10並びに端末B20の処理能力および双方間の通信処理性能に基づいて、入力信号1または入力信号2に対する第1のアプリケーション(アプリ部)15または第2のアプリケーション(アプリ部)25の実行タイミングを制御する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信機能を有し、相互に信号の送受信を行なう複数の情報処理装置から構成される分散機器相互制御システムに関する。
【背景技術】
【0002】
近年、携帯電話機の高機能化、大容量化、高速化が進んでいる。その結果、電子メールやスケジュール帳などの基本的なアプリケーションに加え、PC用ウェブページの閲覧、地デジ(地上デジタル放送)映像の視聴などの高機能なアプリケーションが搭載されるのが一般的になってきている。また、携帯電話機の通信機能は、ウェブ閲覧や電子メールの送受信に利用するソケット通信機能に加え、赤外線通信機能、Bluetooth(登録商標)通信機能、Felica(登録商標)通信機能も搭載されるようになってきている。
【0003】
これにより、携帯電話機とPC、携帯電話機と携帯電話機、または携帯電話機と専用小型デバイスなど、携帯電話機と近接する他端末とローカルネットワークを構成して通信することによって、双方向でのデータ通信やユーザインタラクションが可能となる。
【0004】
特に、携帯電話機とPCが連携するシステムの代表的なものとして、PCの液晶画面表示内容を携帯電話機の画面に表示するシステムがある。最も有名なシステムは、VNC(Virtual Networking Computing)である。このシステムは、サーバ側の端末の画面を画像化し、その画像データをクライアント側の端末に転送するものである。これにより、ユーザは、遠隔地から携帯電話機でPCにアクセスし、PC上で動作するアプリケーションを起動したり、その表示画面を携帯電話機の画面上で確認したり、携帯電話機上のテンキーを利用して入力したテキストデータを、PC上で動作するアプリケーションのテキストボックス内に入力することができる。例えば、特許文献1、または特許文献2には、遠隔地からPCを動作させる技術が開示されている。
【0005】
また、携帯電話機の機能を制御するシステムがある。例えば、特許文献3に開示されている技術は、遠隔地に存在するPCから制御信号を携帯電話機に送信することにより、携帯電話機のキー操作の無効化や、電源供給の停止を行なうことができる。さらに、特許文献4に開示されているシステムでは、2つの無線携帯端末(例えば、携帯電話機とPDA)間で機能を共有し、双方からのユーザインタラクションを可能にする。このシステムでは、2つの端末がBluetooth(登録商標)などの無線通信手段によって接続している状態において、PDAのタッチパネルで入力することで、携帯電話機の電話呼を発信したり、PDA内の写真を携帯電話機のカラーディスプレイ上で携帯電話機のスクロールホイールを操作して閲覧したり、携帯電話機内の画像をPDA上で編集したりすることができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−251630号公報
【特許文献2】特開2001−103568号公報
【特許文献3】特開2000−041102号公報
【特許文献4】特表2007−522546号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1および特許文献2に記載されているシステムは、携帯電話機からPCに遠隔アクセスし、PCの液晶画面表示内容を画像化し、その画像データを携帯電話機に転送し、表示するものでしかなく、携帯電話機からPCへの一方向の制御でしかない。また、特許文献3に記載されているシステムは、PCから携帯電話機に制御信号を送信することで、携帯電話機の機能を制御するものでしかなく、PC側から一方的に携帯電話機を制御するものでしかない。特許文献4は、2つの携帯端末のうち、一方が持つ表示内容、機能、ユーザインタフェースを他方と共有するシステムについて記述している。しかし、特許文献4には、2つの装置が近接しており、スクリーン共有機能を開始すると1つの装置の機能や動作に関して、他方の装置からの操作が可能であるというシステム構成およびシーケンスチャートしか記載されておらず、具体性に欠ける。2つの装置が有する機能を効果的に活用して、1つの装置のみが有する機能を高める概念は記載しているが、各機能を利用する上で、各装置上での詳細なアルゴリズムは不明である。
【0008】
このように、これらのシステムでは、1つのアプリケーションに対して、相手側の端末に対して制御コマンドを送信し、その結果を受信するという固定的なシステム構成を採っているだけであり、1つのアプリケーションに対して、PCおよび携帯電話機の双方を利用することは想定されていない。そのため、これらのシステムでは、アプリケーションを利用する状況に応じて、操作する端末を切り替えることはできない。例えば、PC内のデータフォルダにあるテキストファイルを編集する1つのアプリケーションに対して、歩いているときや立っているときは、携帯電話機を利用して、座っているときはPCを利用することは想定されていない。
【0009】
近距離無線通信で接続されたPCおよび携帯電話機の双方を利用することを想定した場合、PCは、携帯電話機と比較して、液晶画面が大きく、計算処理能力が高く、多様な入力インタフェースを備えるなどのメリットがある。一方、携帯電話機は、PCと比較して、携帯電話通信網を利用でき、携帯電話機内蔵の機能(カメラ、GPS、赤外線、アドレス帳、個人認証)を備えるなどのメリットがある。このように、それぞれの端末は、本来互換性のない異なるプラットフォームであるが、双方の端末は、それぞれに効果的な機能を備えており、両方の機能を活用すれば、より多様なアプリケーション構築が可能になると考えられる。
【0010】
例えば、携帯電話機のカメラで撮影した写真をPCに転送し、PCのタッチパネル付き液晶画面上で写真を編集し、携帯電話機を経由して、友達に写真を送付することもできる。また、携帯電話機のGPSで取得したGPS情報をPCに転送し、PC内に蓄積した地図データの中から、該当する地図データをPCの液晶画面上に表示することもできる。既存のシステムのような固定的、限定的なプラットフォームではなく、双方に備わった機能や性能を効果的に活かして、双方の機器を相互に制御するプラットフォームを実現することで、1つの機器だけでは利用できなかったアプリケーション構築が可能になると考えられ、かつ、そのプラットフォームをより柔軟かつ汎用的に構築することで、アプリケーションの幅が広がる。
【0011】
ただし、上記のように、近距離無線通信で接続されたPCと携帯電話機の両方を利用して、1つのアプリケーションを操作できるようにした場合、近距離無線通信間のデータ伝送時間の遅延、各端末上でのデータ処理時間の遅延の影響で、一方の端末上で操作しているにも関わらず、他方の端末上での処理が遅くなり、入力操作性を低下させる問題がある。また、一方の端末での操作タイミングと、他方の端末上での処理タイミングが競合する問題がある。特に、携帯電話機とPCでは、オペレーティングシステムに加えて、入力操作インタフェース、処理能力が異なるため、一方での操作を行なっている間に、操作タイミングが早かったとしても、他方の処理結果を優先しなくてはならない場合も考えられる。
【0012】
本発明は、このような事情に鑑みてなされたものであり、例えば、携帯電話機およびPCのように、本来互換性がない異なるプラットフォームおよび入力インタフェースを有する機器間での双方向ユーザインタラクションを伴うアプリケーションを実行する際、双方の処理能力、通信処理性能、入力操作インタフェース性能に基づいて、双方の入力信号に対するアプリケーションの実行タイミングの制御を可能とする分散機器相互制御システムを提供することを目的とする。
【課題を解決するための手段】
【0013】
(1)上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明に係る分散機器相互制御システムは、通信機能を有し相互に信号の送受信を行なう第1の情報処理装置および第2の情報処理装置から構成される分散機器相互制御システムであって、前記第1の情報処理装置は、第1のオペレーティングシステム上で実行される第1のアプリケーションと、前記第2の情報処理装置から前記第1のアプリケーションを実行する旨の信号を受信したときは、前記第1のアプリケーションを実行させ、実行結果を前記第2の情報処理装置へ出力する第1の制御部と、を備え、前記第2の情報処理装置は、前記第1のオペレーティングシステムとは異なる第2のオペレーティングシステム上で実行される第2のアプリケーションと、前記第1の情報処理装置から前記第2のアプリケーションを実行する旨の信号を受信したときは、前記第2のアプリケーションを実行させ、実行結果を前記第1の情報処理装置へ出力する第2の制御部と、を備え、前記第1の制御部および前記第2の制御部は、前記第1の情報処理装置に付随する入力装置からの入力信号1または前記第2の情報処理装置に付随する入力装置からの入力信号2に基づいて、前記第1のアプリケーションまたは前記第2のアプリケーションを実行する際、前記第1の情報処理装置並びに前記第2の情報処理装置の処理能力および双方間の通信処理性能に基づいて、前記入力信号1または前記入力信号2に対する前記第1のアプリケーションまたは前記第2のアプリケーションの実行タイミングを制御することを特徴としている。
【0014】
この構成により、本来互換性がない異なるプラットフォームおよび入力インタフェースを有する機器間での双方向ユーザインタラクションを伴うアプリケーションを実行する際、双方の処理能力、通信処理性能、入力操作インタフェース性能を考慮して、双方の入力信号に対するアプリケーションの実行タイミングの制御が可能となる。
【0015】
(2)また、本発明の分散機器相互制御システムにおいて、前記第1の制御部および前記第2の制御部は、前記第1の情報処理装置若しくは前記第2の情報処理装置、入力信号1若しくは入力信号2、または入力操作内容に対して優先度を設け、前記第1の情報処理装置または前記第2の情報処理装置のいずれか一方に対する入力操作タイミングが早くても、いずれか他方に対する入力操作タイミングに応じて、前記第1のアプリケーションまたは前記第2のアプリケーションを動作させることを特徴としている。
【0016】
この構成により、本来互換性がない異なるプラットフォームおよび入力インタフェースを有する機器間での双方向ユーザインタラクションを伴うアプリケーションを実行する際、双方の処理能力、通信処理性能、入力操作インタフェース性能に関して総合的に算出した優先度に基づいて、双方の入力信号に対するアプリケーションの実行タイミングの制御が可能となる。
【0017】
(3)また、本発明の分散機器相互制御システムにおいて、前記第1の制御部および前記第2の制御部は、前記各アプリケーションの実行タイミングの制御および前記各アプリケーションの動作結果を随時更新情報として管理すると共に、前記優先度を適宜変更することによって前記各アプリケーションの動作を最適化することを特徴としている。
【0018】
この構成により、アプリケーションの動作経過に従って更新される制御結果とアプリケーション動作結果に基づいて、優先度を適宜変更することで最適化することが可能となる。
【0019】
(4)また、本発明の分散機器相互制御システムにおいて、前記第1の情報処理装置および第2の情報処理装置は、PCまたは携帯電話機のいずれかであることを特徴としている。
【0020】
この構成により、PCまたは携帯電話機によって分散機器相互制御システムを構成することが可能となる。
【発明の効果】
【0021】
本発明によれば、本来互換性がない異なるプラットフォームおよび入力インタフェースを有する機器間での双方向ユーザインタラクションを伴うアプリケーションを実行する際、双方の処理能力、通信処理性能、入力操作インタフェース性能に関して総合的に算出した優先度に基づいて、双方の入力信号に対するアプリケーションの実行タイミングの制御を可能とし、さらに、アプリケーションの動作経過に従って更新される制御結果とアプリケーション動作結果に基づいて、優先度を適宜変更することで最適化することが可能となる。
【図面の簡単な説明】
【0022】
【図1】本実施形態に係る分散機器相互制御システムの概念を示す図である。
【図2】本実施形態に係る分散機器相互制御システムの概略構成を示すブロック図である。
【図3】管理部の概略構成を示すブロック図である。
【図4】MTアプリ状態DB331bの構成を示す図である。
【図5】PCアプリ状態DB332bの構成を示す図である。
【図6】相手端末上のライブラリを利用する場合のシーケンスチャートである。
【発明を実施するための形態】
【0023】
次に、本発明に係る実施形態について、図面を参照しながら説明する。図1は、本実施形態に係る分散機器相互制御システムの概念を示す図である。図1に示すように、本実施形態の分散機器相互制御システムは、携帯電話機(MT)10とPC20とが、Bluetooth(登録商標)などの近距離無線通信により接続する。MT10およびPC20上では、それぞれソフトウェアが実行される。MT10上で行なった操作は、MT10上のソフトウェアおよび/またはPC20上のソフトウェアが動作して処理され、MT10上のソフトウェアおよび/またはPC20上のソフトウェアに処理結果が反映される。
【0024】
同様に、PC20上で行なった操作は、PC20上のソフトウェアおよび/またはMT10上のソフトウェアが動作して処理され、PC20上のソフトウェアおよび/またはMT10上のソフトウェアに処理結果が反映される。このとき、MT10および/またはPC20の画面更新が伴っても、画面更新が伴わなくても良い。MT10およびPC20は、さまざまなアプリケーションが動作するためのプラットフォームを有する。
【0025】
ここで、本実施形態では、2つの機器として、携帯電話機(MT)10およびPC20を用いて説明するが、その他の機器であっても良い。例えば、家電機器や車載端末などであってもよい。また、2つの機器が相互連携するための通信手段として、Bluetooth(登録商標)などの近距離無線通信手段を用いて説明するが、その他通信手段であってもよい。例えば、USB対応有線通信手段などであってもよい。
【0026】
図2は、本実施形態に係る分散機器相互制御システムの概略構成を示すブロック図である。MT10の入力部11は、テンキーパッドを有し、ユーザがテンキーパッドを操作することにより、信号を入力することができる。一方、PC20の入力部21は、タッチパネル、キーボード、マウスなどの入力デバイスを有し、ユーザがこれらのデバイスを操作することにより、信号を入力することができる。ユーザが入力部11または21で入力した操作情報は、管理部13または23に転送される。MT10の出力部12およびPC20の出力部22は、液晶画面を有し、情報を画面に表示する。管理部13、23とアプリ部15、25において、アプリケーションの画面表示内容が変更された場合、レンダリング処理結果を受け取って、画像として出力する。
【0027】
MT10の管理部13およびPC20の管理部23は、当該システム上で動作するアプリケーションの全体管理を行なう。入力部11または21でユーザが入力した操作情報を、該当するアプリ部15または25に転送する。また、アプリ部15または25にてレンダリング内容が変更された場合は、レンダリング処理結果を出力部12または22に転送する。また、管理部13または23は、アプリ部15または25から、対向するアプリ部15または25への転送データとして、「アプリ内データ」を受信した場合は、通信部14または24に転送する。なお、MT10の管理部13、PC20の管理部23は、それぞれ第1の制御部、第2の制御部を構成する。
【0028】
MT10の通信部14またはPC20の通信部24は、管理部13または23から受信した「アプリ内データ」を相手端末に伝送する。本実施形態では、Bluetooth(登録商標)などの近距離無線通信デバイスを利用したものを示し、かつ、Bluetooth(登録商標)の接続が確立しており、2つの端末でデータ伝送ができる状態にあることを前提とする。また、対向通信部から「アプリ内データ」を受信した場合は、管理部13または23に転送する。
【0029】
MT10のアプリ部15またはPC20のアプリ部25は、本システム上で動作する任意のアプリケーションである。本システムでは、1以上のアプリケーションが動作していても良い。MT10のインターネット通信部16は、アプリ部15がサーバと連携してデータをダウンロードしたり、データをアップロードしたりする。
【0030】
図3は、管理部13または23の概略構成を示すブロック図である。管理部13、23は、通信管理部30と、アプリ管理部310と、全体の制御を行なう主管理部320と、から構成される。通信管理部30は、送信データ制御部30a、受信データ制御部30bおよび通信連携部30cから構成され、アプリ管理部310は、アプリ制御用ライブラリ部31aおよびアプリ連携部310bから構成される。
【0031】
アプリ連携部310bは、上位のアプリ部15、25と連携するためのインタフェースの役目を果たす。アプリ部15、25からアプリ管理部310へ、あるいは、アプリ管理部310からアプリ部15、25へのデータ転送を行なう。アプリ管理部310は、アプリ情報32および機能情報33を参照しながら、アプリ部15、25から転送要求のあるアプリ内データを、相手端末へデータ転送するよう、送信データ制御部30aに通知する。また、受信データ制御部30bから転送要求のあるアプリ内データに関して、アプリ部15、25へデータ転送するよう、アプリ連携部310bに通知する。
【0032】
通信連携部30cは、通信部14、24と連携しながら、相手端末とのデータ送受信を制御する。送信データ制御部30aは、アプリ管理部310から転送要求のあるアプリ内データに関して、伝送制御しながら、通信連携部30cに伝送データを転送する。受信データ制御部30bは、通信連携部30cから転送要求のあるアプリ内データに関して、受信制御しながら、アプリ管理部310に伝送データを転送する。
【0033】
アプリ制御用ライブラリ部31aは、上位のアプリ部15、25に登録されたアプリケーションが、本システム上で他のアプリと連携動作するために必要な機能群である。端末間の無線通信接続機能、通信連携部を介したデータ送受信機能、2つの端末に共通なデータフォルダを利用したファイル操作機能、液晶画面への描画機能などを有する。また、機能情報33には、各端末が有する機能に関する情報があり、アプリケーションが動作する際、この情報を利用して、自端末上の機能を利用するか、対向端末上の機能を利用するかを決定する。
【0034】
状態管理部330は、自端末のアプリ部15、25上で動作する上位アプリケーションおよび相手端末上で動作する上位アプリケーションの現在の状態を管理する。状態管理部330は、MT10上のアプリケーションの状態を管理するMTアプリ状態管理部331aおよびPC20上のアプリケーションの状態を管理するPCアプリ状態管理部332aから構成される。この状態管理部330は、MT10およびPC20の両方の管理部内に存在し、MT10のアプリケーションの状態を保存するMTアプリ状態DB331bおよびPC20のアプリケーションの状態を保存するPCアプリ状態DB332bは、双方の端末で同じ内容であることが求められる。なお、MTアプリ状態管理部331aは、第1の更新情報管理部を構成し、PCアプリ状態管理部332aは、第2の更新情報管理部を構成する。
【0035】
図4は、MTアプリ状態DB331bの構成を示す図であり、図5は、PCアプリ状態DB332bの構成を示す図である。MTアプリ状態DB331bにおいては、アプリID、アプリケーション名、MTのアプリID、PCのアプリID、状態ID、更新日時およびMTアプリデータが管理される。一方、PCアプリ状態DB332bにおいては、アプリID、アプリケーション名、MTのアプリID、PCのアプリID、状態ID、更新日時およびPCアプリデータが管理される。
【0036】
次に、アプリケーションの状態管理方法について説明する。本実施形態では、例えば、相手端末の表示内容を自端末上に表示し、自端末上に表示した画像上で操作すると、その操作内容が相手端末に送信される。そして、その操作内容を端末上で実行し、その結果を自端末上に表示し直す。これにより、あたかも相手端末上で操作しているような振る舞いを実現する。あくまで、利用するアプリケーションは、相手端末上にあるアプリケーションであり、そのアプリケーションが持つコマンドを、外部から実行するというものである。双方の実行結果を相手端末に送り、その結果を利用して、相手端末上でも処理を行ない、改めて自端末にも送り、処理を行なう、というような、双方向のインタラクションを行なう。
【0037】
携帯電話機を利用して、このようなシステムを構築する際、携帯電話機の処理能力がPCに比べれば小さいことが課題である。無線通信の高速化が進み、携帯電話機の通信速度がPCと同程度になったとしても、携帯電話機における入出力インタフェースの制限、機能拡張の制限など、自由にはいかない。そこで、携帯電話機の操作性をより向上させるため、PCから携帯電話機を遠隔操作する、しかも、単にコマンドを実行して、携帯電話機の機能を実行して終了ではなく、携帯電話機上のアプリケーションを実行して、その結果をPCにも送りなおし、それを繰り返すようなシステムを構築する。
【0038】
次に、図3で示したアプリ制御用ライブラリ部31aについて説明する。本システムでは、以下のアプリ制御用ライブラリを想定している。
【0039】
(1)無線通信接続機能
無線通信接続機能は、双方の端末上で動作するアプリケーション間でデータの送受信を行なうために、近距離無線通信デバイスを利用した接続確立、データ送受信路の確立を行なう。
【0040】
(2)データ送受信機能
データ送受信機能は、双方の端末上で動作するアプリケーション間で、データの送受信を行なう。
【0041】
(3)ファイル操作機能
ファイル操作機能は、双方のアプリケーションからアクセス可能なデータフォルダ、およびデータファイルを備え、データファイルに対する編集などのファイル操作を行なう。
【0042】
(4)描画機能
描画機能は、一方の端末から、自端末の液晶画面への描画だけでなく、対向端末の液晶画面への描画をも行なう。
【0043】
(5)MT保有機能
MT保有機能は、MTが有する機能やデバイスを利用する。例えば、カメラを利用する(カメラを起動する、設定する、撮影する、終了する)、GPSを利用する(GPS機能を起動する、GPS情報を取得する、終了する)、アドレス帳を参照する(アドレス帳を起動する、アドレス帳を検索する、情報を取得する、終了する)、ネットワーク機能を利用する(Webサーバに接続する、Webサーバから該当情報をダウンロードする、通信接続を切断する)などがある。
【0044】
(6)PC保有機能
PC保有機能は、PCが有する機能やデバイスを利用する。例えば、計算能力を利用する機能(CPUを利用する、メモリを利用する)、入力インタフェースデバイスを利用する機能(タッチパネル、マウス、キーボードなどからの入力を受信する)などがある。
【0045】
次に、本実施形態におけるアプリケーションの制御方法について説明する。各アプリケーションは、利用したい機能をアプリ管理部310に要求する。このとき、アプリ管理部310は、自端末上に、当該機能を処理できるライブラリを保有しているかどうかをチェックする。自端末上で当該機能を処理できるライブラリを保有している場合、アプリ管理部310にてライブラリ処理した後、その結果を、アプリ部15、25に通知する。
【0046】
一方、自端末上に当該機能を処理できるライブラリを保有していない場合、対向のアプリ管理部310に、同じ要求を行なう。対向のアプリ管理部310は、自端末上に、当該機能を処理できるライブラリを保有しているかどうかをチェックする。アプリ部15、25を介して、該当するライブラリ処理した後、その結果を、同アプリ管理部310を介して、元アプリ管理部310、および、アプリ部15、25に通知する。
【0047】
図6は、相手端末上のライブラリを利用する場合のシーケンスチャートである。ここでは、MT10が、PC20のライブラリを利用する場合について説明する。まず、MT10のアプリ部15が、タスク処理を開始する(ステップS71)。次に、アプリ部15がアプリ管理部310(MT)に対してライブラリの呼び出しを要求する(ステップS72)。このとき、アプリ部15の更新情報も合わせて送信する。
【0048】
アプリ管理部310(MT)は、アプリ部15からのライブラリ呼び出しを受けて、呼び出しについて判定を行なう(ステップS73)。すなわち、呼び出しを受けたライブラリが自端末に存在するかどうかを判定する。アプリ管理部310(MT)は、呼び出しを受けたライブラリが自端末に存在しないため、PC20に対して呼び出し転送を行なう(ステップS74)。
【0049】
一方、PC20のアプリ管理部310(PC)は、MT10のアプリ管理部310(MT)から呼び出し転送を受信すると、呼び出し判定を行なう(ステップS75)。すなわち、アプリ管理部310(PC)は、呼び出しを受けたライブラリが自端末に存在するかどうかを判定する。アプリ管理部310(PC)は、呼び出しを受けたライブラリが自端末に存在するため、アプリ部25に対してライブラリを呼び出し(ステップS76、S77)、ライブラリ処理を行なう(ステップS78)。そして、ライブラリ処理結果をアプリ部25に通知する(ステップS79)。
【0050】
アプリ部25は、アプリ管理部310(PC)からライブラリ処理結果を受信すると(ステップS80)、結果通知を出力する(ステップS81)。このとき、アプリ部25の更新情報も合わせて出力する。この結果通知は、アプリ管理部310(PC)を経由して、MT10のアプリ管理部310(MT)に送信される(ステップS82)。MT10のアプリ管理部310(MT)は、PC20のアプリ管理部310(PC)からライブラリ処理結果通知を受信すると(ステップS83)、アプリ部15に対して結果通知を行なう。アプリ部15は、アプリ管理部310(MT)から結果通知を受信する(ステップS84)。このとき、アプリ部25の更新情報も合わせて受信し、アプリ部15で管理する。そして、タスク処理を終了する(ステップS85)。
【0051】
なお、以上のように双方で保有するライブラリを利用して処理した結果を、双方の液晶画面に出力表示する場合についても、同様にシーケンスチャートに表すことができる。すなわち、アプリ部15、25は、出力内容を作成した後、アプリ管理部310に表示要求を行なう。このとき、出力する端末が、自端末である場合は、アプリ管理部310は、自端末上に表示されるようにライブラリ処理を行なう。一方、対向端末に出力する場合は、アプリ管理部310は、ライブラリ処理を行ないながら、対向端末の液晶画面に出力する。
【0052】
さらに、携帯電話機からPC上にあるアプリケーションを操作する場合でも、PCから携帯電話機上にあるアプリケーションを操作する場合でも、携帯電話機の処理能力がPCに比べれば小さいこと、無線通信媒体上のデータ伝送時間を要すること、携帯電話機とPCの入力インタフェースが異なること、双方の端末が有する機能を有効活用したアプリケーションでもあることによって、同じアプリケーションの同じ操作内容であっても、バックグラウンドで動作しているアプリケーション、あるいは、利用する入力インタフェース、あるいは、入力操作内容そのものの影響で、入力内容に対するアプリケーションの動作を遅延させる、あるいは、正常に反映されない可能性がある。
【0053】
そこで、双方の処理能力、通信処理性能、入力操作インタフェース性能に関して総合的に算出した優先度に基づいて、双方の入力信号に対するアプリケーションの実行タイミングの制御を可能とする。
【0054】
本発明で想定するプラットフォームは、TPOに応じて、利用する端末を使い分けることができるため、場合によっては、携帯電話機からPCを遠隔操作するときもある。さらに、PCと携帯電話機を横に並べて、PCの画面を見ながら、携帯電話機上で操作しつつ、ある操作はPC上で行なうといったように、携帯電話機もPCも両方を利用して操作しながら、あるタスクを行なうことも考えられる。このように、1つのアプリケーションを双方の端末から同時に利用するような状況において、片方のデバイスを利用するときは、他方のデバイスの利用を制限するためにロックするようなことが考えられるが、利便性が悪い。つまり、双方のデバイス自体にロックをかけることなく、いつでも両方から入力できることが望ましい。
【0055】
その際、双方からの入力が可能なように、利用アプリケーションは、どちらからの入力操作も受け付けるようになっている必要がある。そのとき、双方からの入力操作のタイミング如何によっては、先に操作したにもかかわらず、他方の操作に関するイベントが先に反映される場合がある。これは、利用アプリケーションが動作する端末と同じ端末に対して行なった操作が優先されるのではなく、他方からの入力操作が優先される場合があってよいという考えに基づいている。以上より、双方の端末に対する操作に対して、Bluetooth(登録商標)伝送路上の転送時間、データ処理、入力インタフェース特性などによって、どちらの操作を反映させるかを決定するための処理が必要である。
【0056】
本実施例では、以下の手順で処理する。
(1)双方の時刻をあらかじめ同期しておく。これは、双方で時刻同期のための情報をBluetooth(登録商標)伝送路間で数回計測する。
(2)双方の端末で発生したイベントに対して、その発生時刻を付与する。
(3)各端末の状態管理部において、受信し続けるイベントを蓄積するイベントバッファにおいて、定期的にバッファ内のイベントを監視する。
(4)バッファ内のイベント群に対して優先度を算出し、優先度の大きい方から順番に処理する。
(5)基本的な優先度は、発生時刻を比較して、より早い時刻の方を優先する。
(6)(5)において、双方の処理能力、通信処理性能、入力操作インタフェース性能、入力内容に関して総合的に算出した優先度も考慮する。
(6−1)PCとMTの処理能力に関する優先度としてP1を考える。
自端末がPC、かつ、イベントの発生端末がPC:P1=α1
自端末がPC、かつ、イベントの発生端末がMT:P1=α2
自端末がMT、かつ、イベントの発生端末がMT:P1=α3
自端末がMT、かつ、イベントの発生端末がPC:P1=α4
例えば、α1≧α2≧α3≧α4とする。
(6−2)PCとMTの通信処理性能に関する優先度としてP2を考える。
イベントの発生時刻と現在時刻との差分に対して、
閾値βよりも大きい場合:P2=β1
閾値βよりも小さい場合:P2=β2
例えば、β1<β2とする。
(6−3)PCとMTの入力操作インタフェースに関する優先度としてP3を考える。
イベントの入力インタフェースがキーボードの場合:P3=γ1
イベントの入力インタフェースがマウスの場合:P3=γ2
イベントの入力インタフェースがタッチパネルの場合:P3=γ3
イベントの入力インタフェースがテンキーの場合:P3=γ4
例えば、γ1≧γ2≧γ3≧γ4とする。
(6−4)イベントの入力内容に関する優先度としてP4を考える。
入力内容が文字入力である場合:P4=θ1
入力内容がボタン押下である場合:P4=θ2
入力内容がカーソル移動である場合:P4=θ3
例えば、θ1≧θ2≧θ3とする。
(6−5)上記から、各イベントに対する優先度をPとする。
例えば、P=P1×P2×P3×P4とする。
【0057】
以上のような本発明に係る実施形態を用いて、新たなサービスを提供することができる。すなわち、ユーザが、2つの携帯電話機または、一つの携帯電話機と一つのPCを持ち歩くシーンが想定される。本実施形態によれば、2つの携帯端末の両方から、ユーザインタラクションを可能とするサービスを提供することが可能となる。すなわち、近時、Bluetooth(登録商標)等の近距離無線通信手段を搭載している携帯電話機のニーズが拡大している。このため、携帯電話機が持っている機能で、かつPCが持っていない機能を使う場合に、PCから携帯電話機の機能を用いる。
【0058】
一方、PCが持っている機能で、かつ携帯電話機が持っていない機能を携帯電話機から使う場合は、携帯電話機からPCの機能を用いる。本発明は、このような利用態様を実現するものである。さらに、近距離無線通信手段におけるセキュリティを強化するために、携帯電話機、PCおよびユーザの三者が揃ったときにのみ、携帯電話機およびPCが利用可能となる仕組みを提供する。ここでは、例えば、生体認証技術を用いる。また、近距離無線通信手段を用いたデータ伝送速度を確保し、特に、データ伝送の遅延を回避する仕組みを提供する。また、ユーザインタフェースに関するユーザビリティを向上させる。更に、近距離無線通信手段が常時起動することによる電池の消費量を削減する仕組みを提供する。
【0059】
これにより、ユーザのいわゆる“2台持ち”の状況となった場合に、ユーザのニーズに十分に応え得るサービスの提供が可能となる。
【0060】
以上説明したように、本実施形態によれば、MT10またはPC20のいずれか一方は、いずれか他方が有している機能を利用することが可能となる。また、1つのタスクを2つの携帯端末を用いて処理することが可能となる。ユーザは、TPOに応じて利用する携帯端末を自由に選択することが可能となる。
【符号の説明】
【0061】
10 携帯電話機(MT)
11、21 入力部
12、22 出力部
13、23 管理部
14、24 通信部
15、25 アプリ部
16 インターネット通信部
20 PC
30 通信管理部
30a 送信データ制御部
30b 受信データ制御部
30c 通信連携部
31a アプリ制御用ライブラリ部
32 アプリ情報
33 機能情報
310 アプリ管理部
310b アプリ連携部
320 主管理部
330 状態管理部
331a MTアプリ状態管理部
331b MTアプリ状態DB
332a PCアプリ状態管理部
332b PCアプリ状態DB

【特許請求の範囲】
【請求項1】
通信機能を有し相互に信号の送受信を行なう第1の情報処理装置および第2の情報処理装置から構成される分散機器相互制御システムであって、
前記第1の情報処理装置は、
第1のオペレーティングシステム上で実行される第1のアプリケーションと、
前記第2の情報処理装置から前記第1のアプリケーションを実行する旨の信号を受信したときは、前記第1のアプリケーションを実行させ、実行結果を前記第2の情報処理装置へ出力する第1の制御部と、を備え、
前記第2の情報処理装置は、
前記第1のオペレーティングシステムとは異なる第2のオペレーティングシステム上で実行される第2のアプリケーションと、
前記第1の情報処理装置から前記第2のアプリケーションを実行する旨の信号を受信したときは、前記第2のアプリケーションを実行させ、実行結果を前記第1の情報処理装置へ出力する第2の制御部と、を備え、
前記第1の制御部および前記第2の制御部は、前記第1の情報処理装置に付随する入力装置からの入力信号1または前記第2の情報処理装置に付随する入力装置からの入力信号2に基づいて、前記第1のアプリケーションまたは前記第2のアプリケーションを実行する際、前記第1の情報処理装置並びに前記第2の情報処理装置の処理能力および双方間の通信処理性能に基づいて、前記入力信号1または前記入力信号2に対する前記第1のアプリケーションまたは前記第2のアプリケーションの実行タイミングを制御することを特徴とする分散機器相互制御システム。
【請求項2】
前記第1の制御部および前記第2の制御部は、前記第1の情報処理装置若しくは前記第2の情報処理装置、入力信号1若しくは入力信号2、または入力操作内容に対して優先度を設け、前記第1の情報処理装置または前記第2の情報処理装置のいずれか一方に対する入力操作タイミングが早くても、いずれか他方に対する入力操作タイミングに応じて、前記第1のアプリケーションまたは前記第2のアプリケーションを動作させることを特徴とする請求項1記載の分散機器相互制御システム。
【請求項3】
前記第1の制御部および前記第2の制御部は、前記各アプリケーションの実行タイミングの制御および前記各アプリケーションの動作結果を随時更新情報として管理すると共に、前記優先度を適宜変更することによって前記各アプリケーションの動作を最適化することを特徴とする請求項2記載の分散機器相互制御システム。
【請求項4】
前記第1の情報処理装置および第2の情報処理装置は、PCまたは携帯電話機のいずれかであることを特徴とする請求項1から請求項3のいずれかに記載の分散機器相互制御システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2010−160650(P2010−160650A)
【公開日】平成22年7月22日(2010.7.22)
【国際特許分類】
【出願番号】特願2009−1910(P2009−1910)
【出願日】平成21年1月7日(2009.1.7)
【出願人】(000208891)KDDI株式会社 (2,700)
【Fターム(参考)】