情報処理システム、情報処理装置、情報処理方法、制御プログラム、記録媒体
【課題】支援者と被支援者が異なる操作デバイスを使用している場合、さらに被支援者側が様々な操作デバイスを使用している場合においても、被支援者側に操作方法を適切に伝えることは難しかった。
【解決手段】被支援者機器２の操作手段に関する情報である操作手段情報を取得する入力手段情報取得手段１０を備え、操作情報を、操作手段情報に基づき被支援者機器２の操作手段に沿った操作支援情報に変換する変換手段７０と、操作支援情報を被支援者機器２のユーザに提示する提示手段５０と、を備える。
【解決手段】被支援者機器２の操作手段に関する情報である操作手段情報を取得する入力手段情報取得手段１０を備え、操作情報を、操作手段情報に基づき被支援者機器２の操作手段に沿った操作支援情報に変換する変換手段７０と、操作支援情報を被支援者機器２のユーザに提示する提示手段５０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置のユーザ支援に関するものである。
【背景技術】
【０００２】
近年、薄型テレビ、デジタルビデオレコーダや携帯電話といった情報家電の操作は複雑化の一途を辿っており、一般ユーザにとって操作がわからなくなる場面が増え、ユーザサポートの重要性は以前にも増して高まっている。
【０００３】
ユーザサポートの方法として遠隔操作によるサポートが有用である。ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）上ではあるが、Ｗｉｎｄｏｗｓ（登録商標）のリモートアシスタンス機能がその代表例である。リモートアシスタンス機能とは、操作がわからなくなった場合、ユーザ（被支援者）が支援者をインスタントメッセージ機能で呼び出し、支援者にリモートから操作してもらうことが可能である。その際、支援者側のＰＣには被支援者のＰＣの画面が表示され、支援者側のＰＣでその画面上で操作が可能となる。
【０００４】
パソコンにＵＳＢカメラなどを接続して、手軽にＴＶ電話（ビデオ・コミュニケーション、ビデオチャットなどの名称でも呼ばれている）ができるようになってきている。遠隔地をＴＶ電話でつないで会議を行うビデオ会議システムでは、映像に加えてホワイトボードやアプリケーション共有などの機能が使用できる（例えば、特許文献２、非特許文献１参照）。これらは複数のコンピュータが画面やウィンドウを共有する機能であり、ネットワークを介してビデオ会議システムに接続している複数のコンピュータの画面に同一のウィンドウが表示され、共有アプリケーションへの入力（表示されたウィンドウへの入力）も各コンピュータから行うことができる。類似の機能として、コンピュータの操作を支援するために、支援者が遠隔地のパソコンから支援を必要とするパソコンの画面を見て操作できるリモート アシスタンスと呼ばれる機能もある（非特許文献２参照）。
【０００５】
このリモートアシスタンス機能は有用であるが支援者側でどのような操作を行ったかわからないため、被支援者は同じ場面に出くわす毎に支援者を呼び出す、あるいはそのような事態を避けるため、音声通話やインスタントメッセージなどで操作を教えてもらう必要が生じる。
【０００６】
この問題の対処のため、特許文献１では、支援者側のマウスやキーボード入力などの操作イベントを、マウス操作やキーボード入力の手順を示す文字やアニメーションに変換し、被支援者側の画面に表示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−３５５０５９号公報
【特許文献２】特開平６−３３７９１５号公報
【非特許文献】
【０００８】
【非特許文献１】ＮｅｔＭｅｅｔｉｎｇ Ｈｏｍｅ、ｈｔｔｐ：／／ｗｗｗ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｗｉｎｄｏｗｓ／ｎｅｔｍｅｅｔｉｎｇ／
【非特許文献２】Ｓｔｅｐ−ｂｙ−Ｓｔｅｐ Ｇｕｉｄｅ ｔｏ Ｒｅｍｏｔｅ Ａｓｓｉｓｔａｎｃｅ、ｈｔｔｐ：／／ｗｗｗ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｗｉｎｄｏｗｓｘｐ／ｐｒｏ／ｔｅｃｈｉｎｆｏ／ｄｅｐｌｏｙｍｅｎｔ／ｒｅｍｏｔｅｇｕｉｄｅ／
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、支援者と被支援者が同じ操作デバイスを使用していない場合、例えば被支援者がテレビやリモコンを使用している場合、マウスやキーボードで操作説明してもらったとしても役に立たない。
【００１０】
支援者側で被支援者側と同じ操作デバイスを用意することも考えられるが、ｉＰｈｏｎｅ（登録商標）に代表されるように、操作デバイスが商品価値を決め、斬新な操作デバイスが次から次へと現れる現在、コスト的に現実的ではない。
【００１１】
本発明は、上記の問題点を解決するためになされたものであり、その目的は、支援者と被支援者が異なる操作デバイスを使用している場合、さらに被支援者側が様々な操作デバイスを使用している場合においても、被支援者側に操作方法を適切に伝えることの可能な情報処理装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の一観点によれば、少なくとも第１の情報処理装置と第２の情報処理装置とを有し、前記第１の情報処理装置は操作情報を生成する操作情報生成手段を備え、前記第２の情報処理装置は操作手段を備え、前記第１の情報処理装置と第２の情報処理装置とは、ユーザに情報を提示する出力部をそれぞれ備え、前記第１の情報処理装置と前記第２の情報処理装置間とが接続された情報処理システムであって、前記第２の情報処理装置の操作手段に関する情報である操作手段情報を取得する入力手段情報取得手段を備え、前記操作情報生成手段で生成された操作情報を、前記操作手段情報に基づき前記第２の情報処理装置の操作手段に沿った操作支援情報に変換する変換手段と、前記操作支援情報を前記第２の情報処理装置のユーザに提示する提示手段と、を備えることを特徴とする情報処理システムが提供される。
【００１３】
これにより、第２の情報処理装置において、第１の情報処理装置に適した操作を行うための支援を受けることができる。支援者側の操作手段に関らず被支援者側の操作手段に沿った操作手順を提示できるため、支援者側機器のコストを低減が可能となる。
【００１４】
さらに、前記第２の情報処理装置で提示された前記操作支援情報の確認を促す手段を有することが好ましい。これにより、被支援者側の操作学習を確実にすることができる。
【００１５】
また、前記操作情報の確認を行うまで、前記第２の情報処理装置は前記第１の情報処理装置の入力手段からの入力を受け付けないことが好ましい。支援者側の操作が速すぎて被支援者側が操作手順を追いきれなくなるということを防ぐことができる。
【００１６】
前記第２の情報処理装置が使用可能な操作手段は複数あり、前記操作手段情報は前記複数の操作手段間の優先順位を示す情報を含み、前記変換手段は前記優先順位も加味して変換するようにしても良い。ユーザの好みやサービスプロバイダの意図（優先順位）に沿った操作デバイスに対する操作支援情報を提示することが可能となる。
【００１７】
前記第２の情報処理装置の操作手段はポインティングデバイスであり、前記第２の情報処理装置の提示手段は表示手段であり、前記変換手段は前記操作手段を前記表示手段上の座標を生成し、前記表示手段は前記座標近傍に操作支援情報を表示するようにしても良い。これにより、より直感的に操作支援が可能となる。
【００１８】
前記第２の情報処理装置の操作手段はキー入力手段を含み、前記キー入力手段の少なくとも１つのキーを前記第1の情報処理装置で入力し、前記操作情報に変換するためのアプリケーションを保持する入力アプリケーション保持手段を備えていても良い。これにより、被支援者機器独自のキーも入力することが可能となる。
【００１９】
前記操作情報は位置指定情報であって、前記変換手段は前記位置指定情報を前記第２の情報処理装置の操作手段に基づく操作支援情報に変換するようにしても良い。
【００２０】
前記操作手段はカーソルキーを含み、前記第２の情報処理装置は現選択アイテムを示すカレントアイテム情報とアイテム間の遷移関係を示すアイテム間遷移情報を管理し、前記操作支援情報は前記カーソルキーの押下情報を含み、前記変換手段は前記位置指定情報から前記カレントアイテム情報とアイテム間遷移情報に基づき、前記カーソルキーの押下情報を生成することが好ましい。
【００２１】
前記操作情報は文字入力情報であって、前記変換手段は前記文字入力情報を前記第２の情報処理装置の操作手段に基づく操作支援情報に変換するようにしても良い。
【００２２】
前記操作情報は文字入力情報であって、前記操作手段はテンキーを含み、前記第２の情報処理装置は文字入力情報とテンキーの押下情報との対応情報を管理し、前記操作支援情報は前記テンキーの押下情報を含み、前記変換手段は前記文字入力情報から前記文字入力情報とテンキーの押下情報との対応情報に基づき、前記テンキーの押下情報を生成するようにしても良い。前記変換手段は前記第２の情報処理装置に位置することが好ましい。
【００２３】
また、操作情報を生成する操作情報生成手段と、ユーザに情報を提示する第１の出力部と、を備える第1の情報処理装置と接続される第２の情報処理装置であって、操作手段と、ユーザに情報を提示する第２の出力部と、前記第２の情報処理装置の操作手段に関する情報である操作手段情報を取得する入力手段情報取得手段と、前記生成手段で生成された操作情報を、前記操作手段情報に基づき前記第２の情報処理装置の操作手段に沿った操作支援情報に変換する変換手段と、前記操作支援情報を第２の情報処理装置のユーザに提示する提示手段と、を備えることを特徴とする第２の情報処理装置が提供される。
【００２４】
本発明の他の観点によれば、操作情報を生成する操作情報生成手段と、ユーザに情報を提示する第１の出力部と、を備える第1の情報処理装置と接続され、操作手段と、ユーザに情報を提示する第２の出力部と、を備える第２の情報処理装置における制御方法であって、前記第２の情報処理装置の前記操作手段に関する情報である操作手段情報を取得する入力手段情報取得ステップと、前記生成手段で生成された操作情報を、前記操作手段情報に基づき前記第２の情報処理装置の操作手段に沿った操作支援情報に変換する変換ステップと、前記操作支援情報を第２の情報処理装置のユーザに提示する提示ステップと、を備えることを特徴とする第２の情報処理装置の制御方法が提供される。
【００２５】
本発明は上記に記載の情報処理方法をコンピュータに実行させることを特徴とする制御プログラムであっても良く、該制御プログラムを記録したコンピュータ読み取り可能な記録媒体であっても良い。プログラムは、インターネットなどの伝送媒体により取得されるものであっても良い。
【発明の効果】
【００２６】
本発明によれば、第２の情報処理装置において、第１の情報処理装置に適した操作を行うための支援を受けることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施の形態による情報処理システムの概略構成例を示す図である。
【図２】本実施の形態による情報処理システムにおける状態遷移の様子を示す説明図である。
【図３】本実施の形態による情報処理システムにおける表示例を示す図である。
【図４】本実施の形態による被支援者機器のリモコンの操作部を示す図である。
【図５】本実施の形態による被支援者機器側での操作手順提示エリアにおける表示例を示す図である。
【図６】本実施の形態による被支援者機器の一構成例を示す機能ブロック図である。
【図７】本実施の形態による被支援者機器の操作解釈部の状態遷移例を示す図である。
【図８】本実施の形態による操作解釈部の一構成例を示すブロック図である。
【図９】本実施の形態による被支援者機器の固有操作情報の一構成例を示す図である。
【図１０】本実施の形態による被支援者機器のコンテンツ常態管理部におけるアイテム間の遷移情報の例を示す図である。
【図１１】本実施の形態による被支援者機器の操作支援情報生成部における処理の流れを示すフローチャート図である。
【図１２】本実施の形態による被支援者機器の操作支援情報生成部における、操作コマンドから固有操作指示情報への変換テーブルを示す図である。
【図１３】本実施の形態による被支援者機器側での操作手順提示エリアにおける別の表示例を示す図である。
【図１４】本実施の形態による被支援者機器側での操作手順提示エリアを使用しない表示例を示す図である。
【図１５】本実施の形態による別の被支援者機器のリモコンキーの例と、対応する支援者機器の表示例を示す図である。
【発明を実施するための形態】
【００２８】
本発明の一実施の形態について図１から図１５に基づいて説明すれば、以下のとおりである。なお、本実施の形態では、情報処理装置について説明するが、本発明はこれに限定されず、ＰＣ（Personal Computer）、種々の情報家電等にも適用できる。尚、以下の明細書と特許請求の範囲との対応としては、第１の情報処理装置は、下記の支援者機器であり、第２の情報処理装置は、下記の被支援者機器である。
【００２９】
＜本発明の概略＞
図１は、本発明の概略を説明するための図である。
図１に示すように、本システムは、例えば、Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ（ＩＰ）に基づくインターネット、ＬＡＮなどの有線・無線のネットワーク１を介した、被支援者機器２と支援者機器５とアプリケーションサーバ６で構成される。
【００３０】
支援者機器５は、例えば、一般的なＰＣであり、キーボードやマウスなどの入力部５ａおよび表示部（ディスプレイ）５ｂが接続されている。このＰＣには、例えば、Ｗｉｎｄｏｗｓをオペレーティングシステム（ＯＳ）とし、後述するリモート支援機能を備えたアプリケーションがインストールされている。
【００３１】
アプリケーションサーバ６は一般的なウェブサーバであり、クライアントからの要求に応じて、ＨＴＭＬで記述された文書（ＨＴＭＬ文書）を送信したり、クライアントが入力した情報を図示しないデータベースに格納したりする。
【００３２】
被支援者機器２は、ウェブブラウザ機能を備えており、アプリケーションサーバ６からＨＴＭＬ文書をダウンロードする。ダウンロード文書を解釈して表示し、出力機器４に視覚情報として出力する。さらに、リモコン３から伝えられるユーザ操作を受け付け、前記文書中のリンクに該当する文書をアプリケーションサーバ６からダウンロードしたり、ユーザが入力した情報をアプリケーションサーバ６に送信する。
【００３３】
被支援者機器２には、図２に示すようにスタンドアローン状態Ｃ１と被支援状態Ｃ２という２種類の状態がある。スタンドアローン状態Ｃ１とは、支援者機器５とは何もやり取りを行わず、アプリケーションサーバ６を相手に一般的なウェブブラウジングを行っている状態であり、被支援状態Ｃ２とはスタンドアローン状態に支援者機器５が加わった状態である。電源投入した（Ｌ１）スタンドアローン状態Ｃ１でユーザが支援者機器５に支援を要請した場合（Ｌ２）、被支援状態Ｃ２に遷移し、被支援状態Ｃ２でユーザが支援の終了を指示した場合（Ｌ３）、スタンドアローン状態Ｃ１に戻る。被支援状態Ｃ２での動作については後述する。
【００３４】
また、支援者機器５と被支援者機器２の間でネットワーク１を介して音声通話を行う機能を備えるが、本発明の主旨とは関係しないためここでは説明を省略する。
【００３５】
＜被支援者機器のリモコン＞
リモコン３のキー配列例について図４を用いて説明する。
図４に示すように、リモコン３の上部にテンキー３ａが、下段にカーソルキー３ｂと決定キー３ｃと取り消しキー３ｄとが設けられている。
【００３６】
尚、テンキー３ａおよびカーソルキー３ｂのキーコードは支援者機器５のテンキーおよびカーソルキーを押下することで同じキーコードを発生させることが可能である。また、決定キー３ｃおよび取り消しキー３ｄは、それぞれ支援者機器５の図示しないリターンキーおよびエスケープキーで同じキーコードを発生させることが可能である。
【００３７】
＜被支援状態における動作概要＞
前述した被支援状態における動作について図３を用いて説明する。
図３（ａ）は被支援者機器に接続された出力機器４上の表示画面４ａの表示例を示す図であり、前述したようにアプリケーションサーバ６からダウンロードしたＨＴＭＬ文書を解釈して表示したものである。上部４ｂには被支援者機器上の表示例が設けられ、下部には操作手順提示部４ｃが設けられ、操作手順提示部４ｃには後述する操作手順情報が表示される。
【００３８】
図３（ｂ）は、図３（ａ）が表示されている際の、リモート支援を行っている支援者機器５のディスプレイ５ｂの表示例を示す図である。ここでは、Ｗｉｎｄｏｗｓのアプリケーションとしてリモート支援アプリケーションが起動しそのウィンドウが画面に表示されている。さらにそのウィンドウの内容は図３（ｂ）に示す内容と同期しており、同じ内容が表示されるように構成されている。
【００３９】
リモート支援実施中の動作は以下のとおりである。例えば、被支援者がリモコン３のカーソルキー３ｂを操作して、図３（ａ）の「男性」ラジオボタン上にカーソルを移動し、決定キーを押下すると、出力装置４に表示されている「男性」ラジオボタンがチェックされた状態に表示が変わり、それに同期して被支援者側機器５のディスプレイ表示も同じ内容に変わるようになっている。
【００４０】
次に、支援者側機器５に表示されたウィンドウ上で、例えば「女性」ラジオボタンをマウスでクリックすると、出力機器４に表示されている「男性」ラジオボタンが非チェック状態になり、「女性」ラジオボタンがチェックされた状態に表示が変わり、その表示が支援者側機器５のディスプレイ表示にも反映されるというものである。
【００４１】
このとき、前述の操作手順提示部４ｃには、支援者側の操作デバイス操作を被支援者の操作デバイスであるカーソルキーの操作に変換した図５（ａ）に示す表示がなされる。被支援者機器２においては、ユーザがその操作手順を確認したら決定キーを押す。なお、決定キーを押すまで支援者側機器５の操作および被支援者側機器２の決定キー以外の操作は受け付けないようになっている。
【００４２】
また、本実施の形態による技術は、単なる選択操作だけでなく文字入力にも対応する。例えば、支援者側機器５における操作がキーボードにより行われ、被支援者側機器２の操作が携帯電話でよく使われているテンキーによるマルチタップ入力で行われる場合に、支援者側機器５においてキーボードで「う」と入力された場合、前述の操作手順提示部４ｃには図５（ｂ）に示す表示がなされる。あるいは画面上にソフトキーボードを表示し、そこから選択させる場合は、ソフトキーボードの該当するキーまでの操作情報を表示する。
【００４３】
このように支援者側の操作デバイスに関らず被支援者側の操作デバイスに沿った操作手順を提示することができるため、支援者側機器のコストを低減可能となる。また、操作手順に関する被支援者側機器２に「よろしければ決定キーを押してください。」などの確認メッセージ表示を表示させてユーザの確認を促すことで、被支援者側機器２の操作学習を確実にし、さらに支援者側機器５の操作が速すぎて被支援者側機器２における操作手順を間に合わなくなる（追いきれなくなる）ということを防ぐことが可能となる。
【００４４】
＜被支援者機器のシステム構成＞
図６は、本実施の形態に係る被支援者機器２の概略構成例を示す機能ブロック図である。被支援者機器２は、ウェブブラウザ機能を提供する装置である。図６に示すように、操作受信部１０、操作解釈部２０、コンテンツ状態管理部３０、コンテンツ取得部４０、出力部５０、固有操作情報保持部６０、操作支援情報生成部７０、レンダリング部８０、合成部９０、送受信部１００、全体制御部１１０を備えて構成されている。以下、各処理部について説明する。
【００４５】
送受信部１００は、ネットワーク１を通じて、支援者機器５およびアプリケーションサーバ６と情報の送受信を行う。
【００４６】
コンテンツ取得部４０は、送受信部１００を介して、アプリケーションサーバ６に対して、ＨＴＭＬ文書の取得や、ユーザ入力情報の送信を行う。
【００４７】
コンテンツ状態管理部３０は、取得したＨＴＭＬを解釈し、その結果を保持する。また、項目間の遷移情報（アイテム間遷移情報。後述）や現在の選択項目（カレントアイテム）などを管理する。また後述する操作解釈部２０からの操作コマンドに従って、カレントアイテムを変更したり、活性化されたアイテムに記載されたリンク情報に基づき、コンテンツ取得部４０を通じてアプリケーションサーバ６に対してＨＴＭＬ文書を要求する。また、後述する固有操作情報に応じて、文字入力が必要なアイテムの場合に、ソフトキーボードを表示するよう、レンダリング部８０に指令を出す。
【００４８】
レンダリング部８０は、コンテンツ状態管理部３０の情報に従って、画面イメージを描画する。また、各アイテムが画面イメージ中のどの座標に描画されているか（アイテム座標情報）についても管理する。
【００４９】
操作受信部１０は、リモコン３から送信される操作情報を受信する。被支援状態においては、ネットワーク１および送受信部１００を介して、支援者機器５から送信される操作情報も受けつける。操作情報を受信したら、その操作のソース（源）がリモートかローカルかを区別する情報（ソース情報）を付与した上で、操作解釈部２０に送る。
【００５０】
操作解釈部２０は操作受信部１０から受け付けた操作情報を、コンテンツ状態管理部３０およびレンダリング部８０からの情報に基づき、操作デバイスに依存しないコマンド（操作コマンド）に変換し、コンテンツ状態管理部３０に送信する。その際、ソース情報を参照し操作の源がリモートだった場合、操作支援情報生成部７０に対し、操作支援情報の生成に必要となる各種情報を送信する。尚、操作解釈部２０の詳細については後述する。
【００５１】
固有操作情報保持部６０は、被支援者機器２が現在使用可能な操作デバイスおよびそれぞれの操作デバイスに対するユーザの嗜好情報（プリファレンス）を格納している。詳細は後述する。
【００５２】
操作支援情報生成部７０は、操作解釈部２０からの情報および固有操作情報保持部６０から提供される固有操作情報に基づき操作支援情報を生成する。具体的には、図５（ａ）（ｂ）のような画面である。
【００５３】
合成部９０はレンダリング部８０が描画したＨＴＭＬ文書の画面と操作支援情報生成部７０によって生成された操作手順提示部を合成し、図３（ａ）に記載の画像を生成する。生成された画像は、出力部５０に送出される。被支援状態において、同時に送受信部１００を通じて、生成された画像を被支援者機器２に送信する。
【００５４】
出力部５０は、合成部９０から出力される画像を出力機器４が受け付ける信号にエンコードして、出力機器４に送出する。
【００５５】
全体操作部１１０は、以上の処理部全体の制御を行う。
【００５６】
＜操作解釈部の構成＞
図７及び図８を用いて、本実施の形態に係る被支援者機器２の操作解釈部２０の構成について説明する。
図７に示すように操作解釈部２０はスタンドアローン操作状態Ｃ１１と被支援操作状態Ｃ１２と確認操作状態Ｃ１３という３種類の状態を取る。電源投入により（Ｌ１１）遷移するスタンドアローン操作状態Ｃ１１では被支援者の操作のみを受け付ける状態であり、被支援操作状態Ｃ１２は被支援者と支援者双方との操作を受け付ける状態であり、確認操作状態Ｃ１３は被支援者からの確認のための決定キーのみを受け付ける状態である。
【００５７】
スタンドアローン操作状態Ｃ１１において、前述のスタンドアローン状態Ｃ１（図２）から被支援状態Ｃ２への遷移が発生したら、被支援操作状態Ｃ１２に遷移する（Ｌ１２）。被支援操作状態Ｃ１２において、前述の被支援状態Ｃ２からスタンドアローン状態Ｃ１への遷移が発生した場合、スタンドアローン操作状態Ｃ１１に遷移し（Ｌ１５）、支援者からの操作情報が受理されたら確認操作状態Ｃ１３に遷移する（Ｌ１３）。確認操作状態Ｃ１３においては、被支援者の確認操作が行われたら（Ｌ１４）被支援操作状態Ｃ１２に遷移し、前述の被支援状態Ｃ２からスタンドアローン状態Ｃ１への遷移が発生した場合、スタンドアローン操作状態Ｃ１１に遷移する（Ｌ１５）。ユーザ（被支援者）が支援の終了を指示し、図２の状態遷移に図示する被支援状態Ｃ２からスタンドアローン状態Ｃ１に遷移した際、確認操作状態Ｃ１３から確認スタンドアローン操作状態Ｃ１１に遷移する（Ｌ１６）。
【００５８】
図８に示すように、操作解釈部２０は入力ディスパッチャ２０ａ、ポインティングデバイスハンドラ２０ｂ、キーデバイスハンドラ２０ｃ、制御部２０ｄで構成される。
【００５９】
入力ディスパッチャ２０ａは、操作受信部１０から受け付けた操作情報の操作の種類に応じてハンドラを振り分ける。具体的には、マウスやタッチパネルのようなポインティングデバイスからの操作情報であった場合、ポインティングデバイスハンドラ２０ｂに送信し、カーソルキーなどのキーボードデバイスからの操作情報であった場合、キーボードハンドラ２０ｃに送信する。なおその際、操作受信部１０によって付加されたソース情報もそのまま送る。
【００６０】
ポインティングデバイスハンドラ２０ｂは、入力ディスパッチャ２０ａを介して受け取った、ポインティングデバイスによる操作情報を操作コマンドに変換し、制御部２０ｄに送信する。なおその際、操作受信部１０によって付加されたソース情報もそのまま送る。操作情報は、ボタンのプレス/リリースといったアクション情報と、そのアクションが発生した座標情報で構成される。ポインティングデバイスハンドラ２０ｂは、座標情報をレンダリング部８０が保持するアイテム座標情報を参照して、アイテムＩＤに変換する。その結果を最終的に、操作コマンドｓｅｌｅｃｔ（ｉｔｅｍ）のいずれかにａｃｔｉｖａｔｅ（ｉｔｅｍ）に変換する。ここで、ｓｅｌｅｃｔ（ｉｔｅｍ）は、アイテムＩＤがｉｔｅｍのアイテムを選択するという意味であり、ａｃｔｉｖａｔｅ（ｉｔｅｍ）は、アイテムＩＤがｉｔｅｍのアイテムを活性化させるという意味を表す。
【００６１】
キーデバイスハンドラ２０ｃは、入力ディスパッチャ２０ａを介して受け取ったキーデバイスによる操作情報を操作コマンドに変換し、制御部２０ｄに送信する。なおその際、操作受信部１０によって付加されたソース情報もそのまま送る。操作情報は、入力されたキーに対応するキーコードで構成される。キーデバイスハンドラ２０ｃは、この操作情報を、ｋｅｙｉｎ（ｋｅｙｃｏｄｅ）というコマンドに変換する。ここでｋｅｙｃｏｄｅはキーコードに対応する。
【００６２】
制御部２０ｄは、前述の状態遷移を管理しており、状態に応じて操作解釈部２０と他の処理部との情報のやり取りを制御する。ポインティングデバイスハンドラ２０ｂおよびキーデバイスハンドラ２０ｃから送信された操作コマンドをコンテンツ状態管理部に送出する。被支援操作状態においては、同時に操作支援情報生成部７０に対して、操作コマンドおよび付加情報を送出する。ここで付加情報とは、カレントアイテムおよびアイテム遷移情報である。また、上述したように、制御部２０ｄは、ポインティングデバイスハンドラ２０ｂによるレンダリング部８０が保持するアイテム座標情報の参照を橋渡しする。
【００６３】
また、確認操作状態においては、前述のソース情報を参照することで、被支援者の操作の決定キーのみを受け付け、受け付けたら被支援操作状態に遷移する。
【００６４】
＜固有操作情報（操作手段情報）＞
図９を用いて、本実施の形態に係る被支援者機器２の固有操作情報保持部６０に保持されている固有操作情報について説明する。
図９に示すように、固有操作情報はテーブルで管理されており、本システムの被支援者機器に接続可能な操作デバイスすべてに対して、その関連情報を格納するレコードを用意する。各レコードは、操作デバイス、デバイス使用可否、文字入力操作プリファレンス、操作選択プリファレンスのフィールドを含む。以下各フィールドの説明を行う。
【００６５】
操作デバイスフィールドは、そのレコードに対応する操作デバイスのＩＤを格納する。デバイス使用可否フィールドは、このレコードに対応する操作デバイスがこの固有操作情報を保持する被支援者機器で現在使用可能かどうかを示す情報を格納する。なお、操作デバイスの脱着によりこのフィールドの値は動的に変わりうる。図９の例では、現在テンキーとカーソルキーが使えることになる。
【００６６】
文字入力操作プリファレンスフィールドは、文字入力に際してユーザがどの操作デバイスの使用を好むかに関する情報を格納するフィールドである。ここでは情報は「好む」「許容」「好まない」「使用不可」の４段階を定義し、それぞれ数値「２」「１」「０」「−１」を割り当てている。図９の例では、文字入力に関してテンキーを使うことを好むことになる。
【００６７】
選択操作プリファレンスフィールドは、アイテムの選択に際してユーザがどの操作デバイスの使用を好むか、別の言い方をすると操作デバイス選択の優先度（優先順位）に関する情報を格納するフィールドである。好むかどうかの情報についての定義は文字入力操作プリファレンスフィールドと同一である。図９の例では、選択操作に関してユーザはマウスとタッチパネルを好み、カーソルキーも許容していることになる。
【００６８】
以上のようにプリファレンスフィールドを用意することで、被支援者機器２で使用可能な操作デバイスで文字入力操作や選択操作を行う方法が複数ある場合、ユーザの好みに合った操作デバイスに合った操作支援情報を提示することが可能となる。
【００６９】
なお、このプリファレンスフィールドに格納する値についてはユーザ自身に設定させてもよいし、ユーザの使用履歴からよく使用されるものを自動的に設定してもよい。また、サービスプロバイダが使用を推奨する操作デバイスの値が高くなるようにネットワーク１を通じて外部から設定してもよい。
【００７０】
＜アイテム間遷移情報＞（図６の３０）
図１０を用いて、本実施の形態に係る被支援者機器２のコンテンツ状態管理部３０で管理されているアイテム間遷移情報について説明する。
アイテム間遷移情報とはＨＴＭＬ文書における、キー操作に対するカレントアイテムの遷移を表す情報に相当し、アイテム間の位置関係に基づきレンダリング部８０が自動生成し、画面描画が完了した際に、コンテンツ状態管理部３０に送信する。
【００７１】
図１０は、アイテム間遷移情報を図示したものである。ページ表示（Ｌ２１）を行うと、男女ラジオボタンＣ２１に遷移する。その他、郵便番号（上位桁）テキストボックスＣ２２、郵便番号（下位桁）テキストボックスＣ２３、住所テキストボックスＣ２４、送信ボタンＣ２５、取消ボタンＣ２６へ、Ｌ２１からＬ３６までの操作により遷移させることができる。例えば、カレントアイテムが「男」ラジオボタンあるいは「女」ラジオボタンであるとき、下キーを押下したら郵便番号１（上位桁）テキストボックスがカレントアイテムになる。
【００７２】
＜操作コマンド処理＞（図６の７０）
図１１乃至図１２を用いて、本実施の形態に係る操作支援情報生成部７０における操作コマンドの処理について説明する。
図１１（ａ）は操作支援情報生成部７０において、操作解釈部２０から操作コマンドを受け取った際の処理の流れを示す。まず、固有操作情報保持部６０から固有操作情報を取得し（Ｓ１０ａ）、操作デバイスの特定を行う（Ｓ１０ｂ）。この処理はどの操作デバイスに向けた操作指示情報を生成するかを決定するものであり、具体的な処理については後述する。
【００７３】
次に、特定した操作デバイスと操作コマンドから操作デバイス固有の操作指示情報を取得する。具体的には図１２（ａ）（ｂ）に例示する変換テーブルを参照し、固有操作指示情報に変換する。この変換テーブル中ＫＥＹＩＮ（ｋｅｙｃｏｄｅ）は、フルキーボードでｋｅｙｃｏｄｅに対応する文字を入力する操作指示情報を示し、ＭＵＬＴＩＴＡＰ（ｋｅｙｃｏｄｅ）はマルチタップ入力でｋｅｙｃｏｄｅに対応する文字入力の操作指示情報を意味する。また、ＳＥＬＥＣＴ（ｉｔｅｍ）は、ｉｔｅｍで指定されるアイテムをカレントアイテムに設定する操作指示情報を示す。ＰＯＩＮＴ（ｉｔｅｍ）はタッチパネルやマウスやトラックボールといったポインティングデバイスを用いてｉｔｅｍで指定されるアイテムを直接ポイントする操作指示情報を意味する。
【００７４】
例えば、操作デバイスとしてテンキーが選ばれ、操作コマンドがｋｅｙｉｎ（ｋｅｙｃｏｄｅ）の場合、ＭＵＬＴＩＴＡＰ（ｋｅｙｃｏｄｅ）という固有操作指示情報に変換する。
【００７５】
次に、固有操作指示情報から提示情報を生成する（Ｓ１０ｄ）。具体的には、固有操作指示情報を、操作を説明する文字情報や画像情報を生成し、合成部９０に送信する。この処理については先行技術に記載されているため詳細は説明しないが、図１２（ａ）（ｂ）がその代表例である。図１２（ａ）の場合には、ＳＥＬＥＣＴ(ｉｔｅｍ)に対して、カレントアイテムからターゲットとなるアイテムｉｔｅｍに到達するための最短キー操作を前述のアイテム間遷移情報から探索し表示する。図１２（ｂ）の場合には、ＭＵＬＴＩＴＡＰ（ｋｅｙｃｏｄｅ）に対して、図示しないテーブルを参照しｋｅｙｃｏｄｅに対応する文字を選択するのに必要なキー操作を表示する。
【００７６】
リモコン３の代わりにポインティングデバイス、例えばタッチパネルが接続された際には、図１４に示すように、操作支援情報をアプリケーション画面上に重畳表示することで、より直感的に操作支援が可能となる。この場合には、操作手順提示部を設けなくてもよい。
【００７７】
操作支援情報生成部７０は、ステップＳ１０ｄにおいて、操作指示情報ＰＯＩＮＴ（ｉｔｅｍ）で指定されるｉｔｅｍのアプリケーション画面上での座標をレンダリング部８０から取得して描画に反映することになる。より詳細には、例えば、接続されたタッチパネルにおいてタッチされた箇所が画面上において「ここをタッチしました。」というように明示されることで反映される。
【００７８】
最後に、先ほど説明を後回しにした操作デバイスの特定処理（Ｓ１０ｂ）について図１１（ｂ）を用いて説明する。まず、固有操作情報を参照し、使用可能なものを抽出する（Ｓ２０ａ）。次に、操作毎に使用可能なものをプリファレンス値の高い順にソートし（Ｓ２０ｂ）、先頭のデバイスを選択する（Ｓ２０ｃ）。
【００７９】
以上の処理により、被支援者側の機器で、現在使用可能であり、しかも、被支援者の嗜好にあった操作支援情報を生成することができる。
【００８０】
＜バリエーション＞
上記の実施の形態では、被支援者機器２の操作はキー操作を例にして説明しているが、キー操作に限定されるものではなく、実施の形態の説明中でも言及したように、タッチパネルやマウスやトラックボールのようなポインティングデバイスであってもよい。さらには、音声認識を利用した音声入力による操作であっても適用可能であることは言うまでもない。
【００８１】
また、本実施の形態では、支援者機器５は汎用ＰＣを例としているが、専用機器であってもよい。また、被支援者機器２に操作を伝えることができればよく、ディスプレイもキーボードも設けられていなくてもよい。
【００８２】
また、本実施の形態では、ネットワーク１は、ＩＰに基づくネットワークとしているが、支援者機器５での操作を被支援者機器２に伝えることができる構成であれば、どのような伝送手段であってもよい。
【００８３】
また、本実施の形態では、操作支援情報を提示した際に被支援者の確認を要求している例について説明したが、本発明はそれに限定されるものではない。例えば図１３（ａ）のように被支援者機器への確認処理をしないことでも本発明の主目的である被支援者機器の操作デバイスに応じた操作支援情報を提示するという効果を得ることができる。
【００８４】
また、本実施の形態では、被支援操作状態において、操作コマンドに変換した支援者機器の操作をコンテンツ状態管理部に送信している例を説明したが、、操作コマンドに変換した支援者機器の操作を送信せずに、図１３（ｂ）に示すように、操作支援情報をユーザに提示する表示を行うだけでも本発明の主目的を達成できることは言うまでもない。
【００８５】
さらに、本実施の形態では、被支援者が使用している操作デバイスに沿った操作支援情報の生成は被支援者側の機器で行っているが、本発明はその形態に限定されるものではない。例えば、支援者機器で行うようにしてもよいし、ネットワーク１上の図示しない変換サーバ等の別の機器で行うようにしもよい。
【００８６】
また、本実施の形態では、操作支援情報はアプリケーションと同じ表示画面に表示している例を示したが、操作支援情報をアプリケーションとは別の画面、例えばリモコン３上の表示画面に表示するようにしていてもよい。さらに、出力は、ユーザに操作方法を提示できるものであれば映像出力以外であってもよい。例えば、音声で読み上げてもよいし、リモコン上の該当するキーを光らせるようにしもよいことは言うまでもない。
【００８７】
また、本実施の形態では、被支援者機器２の操作手段および出力手段は被支援者機器とは別の筐体となっている例について説明したが、これらが一体となっている一体型であってもよい。
【００８８】
また、本実施の形態では、被支援者機器２で動作するアプリケーションは、アプリケーションサーバ６からネットワーク１を介してダウンロードしたものとしているが、アプリケーションは、被支援者機器２に予め組み込みまれていたものであっても、被支援者機器２で読み込み可能なリムーバブルメディアに格納されたものであってもよいことは言うまでもない。
【００８９】
また、本実施の形態では、支援者機器５に対して、被支援者機器２の画面イメージをそのまま送信する例について説明しているが、差分のみを送信するようにしてもよい。また、Ｘ−Ｗｉｎｄｏｗなどで定義されている描画コマンドを送信してもよい。
【００９０】
また、本実施の形態では、リモコン３のキーを支援者機器５のキーボードからすべて直接入力することを前提としているが、以下のようにすることで、被支援者機器２独自のキーを用いることも可能である。
【００９１】
例えば、リモコン３に、図１５（ａ）の中段に示す４色のカラーキー３ｆが設けられている場合に、支援者機器５の画面５ｂ上に図１５（ｂ）のようなソフトキーボード４ａ−１、４ｂ−１、４ｃ−１、及び３−１を表示させ、ソフトキーボード上のカラーキー３ｘ−１を押下した際、リモコン３のカラーキー３ｆを押したのと同じキーコードを発するようにすればよい。
【００９２】
この機能を実現するためには、ソフトキーボード用アプリケーションおよび被支援者機器２の操作手段を示すＩＤを本システム上の被支援者機器２、支援者機器５、ネットワーク1上の図示しないサーバのうちの少なくとも１つに格納しておき、被支援状態開始時に支援者機器５にロードするようにしておけばよい。このようにすることで、被支援者機器２独自のキーにも対応することが可能となる。
【００９３】
最後に、被支援者機器２および支援者機器５の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【００９４】
すなわち、被支援者機器２および支援者機器５は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである被支援者機器２および支援者機器５の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、記録再生装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００９５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００９６】
また、被支援者機器２および支援者機器５を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【００９７】
本発明の情報処理システムは、ユーザ操作を遠隔地から支援する際に有用であり、操作の複雑化したデジタル家電やＰＣソフトなどに好適に利用することができる。
【符号の説明】
【００９８】
１ ネットワーク
２ 被支援者機器
３ リモコン
４ 出力機器
５ 支援者機器
６ アプリケーションサーバ
１０ 操作受信部
２０ 操作解釈部
３０ コンテンツ状態管理部
４０ コンテンツ取得部
５０ 出力部
６０ 固有操作情報保持部
７０ 操作支援情報生成部
８０ レンダリング部
９０ 合成部
１００ 送受信部
１１０ 全体制御部
【技術分野】
【０００１】
本発明は、情報処理装置のユーザ支援に関するものである。
【背景技術】
【０００２】
近年、薄型テレビ、デジタルビデオレコーダや携帯電話といった情報家電の操作は複雑化の一途を辿っており、一般ユーザにとって操作がわからなくなる場面が増え、ユーザサポートの重要性は以前にも増して高まっている。
【０００３】
ユーザサポートの方法として遠隔操作によるサポートが有用である。ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）上ではあるが、Ｗｉｎｄｏｗｓ（登録商標）のリモートアシスタンス機能がその代表例である。リモートアシスタンス機能とは、操作がわからなくなった場合、ユーザ（被支援者）が支援者をインスタントメッセージ機能で呼び出し、支援者にリモートから操作してもらうことが可能である。その際、支援者側のＰＣには被支援者のＰＣの画面が表示され、支援者側のＰＣでその画面上で操作が可能となる。
【０００４】
パソコンにＵＳＢカメラなどを接続して、手軽にＴＶ電話（ビデオ・コミュニケーション、ビデオチャットなどの名称でも呼ばれている）ができるようになってきている。遠隔地をＴＶ電話でつないで会議を行うビデオ会議システムでは、映像に加えてホワイトボードやアプリケーション共有などの機能が使用できる（例えば、特許文献２、非特許文献１参照）。これらは複数のコンピュータが画面やウィンドウを共有する機能であり、ネットワークを介してビデオ会議システムに接続している複数のコンピュータの画面に同一のウィンドウが表示され、共有アプリケーションへの入力（表示されたウィンドウへの入力）も各コンピュータから行うことができる。類似の機能として、コンピュータの操作を支援するために、支援者が遠隔地のパソコンから支援を必要とするパソコンの画面を見て操作できるリモート アシスタンスと呼ばれる機能もある（非特許文献２参照）。
【０００５】
このリモートアシスタンス機能は有用であるが支援者側でどのような操作を行ったかわからないため、被支援者は同じ場面に出くわす毎に支援者を呼び出す、あるいはそのような事態を避けるため、音声通話やインスタントメッセージなどで操作を教えてもらう必要が生じる。
【０００６】
この問題の対処のため、特許文献１では、支援者側のマウスやキーボード入力などの操作イベントを、マウス操作やキーボード入力の手順を示す文字やアニメーションに変換し、被支援者側の画面に表示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−３５５０５９号公報
【特許文献２】特開平６−３３７９１５号公報
【非特許文献】
【０００８】
【非特許文献１】ＮｅｔＭｅｅｔｉｎｇ Ｈｏｍｅ、ｈｔｔｐ：／／ｗｗｗ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｗｉｎｄｏｗｓ／ｎｅｔｍｅｅｔｉｎｇ／
【非特許文献２】Ｓｔｅｐ−ｂｙ−Ｓｔｅｐ Ｇｕｉｄｅ ｔｏ Ｒｅｍｏｔｅ Ａｓｓｉｓｔａｎｃｅ、ｈｔｔｐ：／／ｗｗｗ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｗｉｎｄｏｗｓｘｐ／ｐｒｏ／ｔｅｃｈｉｎｆｏ／ｄｅｐｌｏｙｍｅｎｔ／ｒｅｍｏｔｅｇｕｉｄｅ／
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、支援者と被支援者が同じ操作デバイスを使用していない場合、例えば被支援者がテレビやリモコンを使用している場合、マウスやキーボードで操作説明してもらったとしても役に立たない。
【００１０】
支援者側で被支援者側と同じ操作デバイスを用意することも考えられるが、ｉＰｈｏｎｅ（登録商標）に代表されるように、操作デバイスが商品価値を決め、斬新な操作デバイスが次から次へと現れる現在、コスト的に現実的ではない。
【００１１】
本発明は、上記の問題点を解決するためになされたものであり、その目的は、支援者と被支援者が異なる操作デバイスを使用している場合、さらに被支援者側が様々な操作デバイスを使用している場合においても、被支援者側に操作方法を適切に伝えることの可能な情報処理装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の一観点によれば、少なくとも第１の情報処理装置と第２の情報処理装置とを有し、前記第１の情報処理装置は操作情報を生成する操作情報生成手段を備え、前記第２の情報処理装置は操作手段を備え、前記第１の情報処理装置と第２の情報処理装置とは、ユーザに情報を提示する出力部をそれぞれ備え、前記第１の情報処理装置と前記第２の情報処理装置間とが接続された情報処理システムであって、前記第２の情報処理装置の操作手段に関する情報である操作手段情報を取得する入力手段情報取得手段を備え、前記操作情報生成手段で生成された操作情報を、前記操作手段情報に基づき前記第２の情報処理装置の操作手段に沿った操作支援情報に変換する変換手段と、前記操作支援情報を前記第２の情報処理装置のユーザに提示する提示手段と、を備えることを特徴とする情報処理システムが提供される。
【００１３】
これにより、第２の情報処理装置において、第１の情報処理装置に適した操作を行うための支援を受けることができる。支援者側の操作手段に関らず被支援者側の操作手段に沿った操作手順を提示できるため、支援者側機器のコストを低減が可能となる。
【００１４】
さらに、前記第２の情報処理装置で提示された前記操作支援情報の確認を促す手段を有することが好ましい。これにより、被支援者側の操作学習を確実にすることができる。
【００１５】
また、前記操作情報の確認を行うまで、前記第２の情報処理装置は前記第１の情報処理装置の入力手段からの入力を受け付けないことが好ましい。支援者側の操作が速すぎて被支援者側が操作手順を追いきれなくなるということを防ぐことができる。
【００１６】
前記第２の情報処理装置が使用可能な操作手段は複数あり、前記操作手段情報は前記複数の操作手段間の優先順位を示す情報を含み、前記変換手段は前記優先順位も加味して変換するようにしても良い。ユーザの好みやサービスプロバイダの意図（優先順位）に沿った操作デバイスに対する操作支援情報を提示することが可能となる。
【００１７】
前記第２の情報処理装置の操作手段はポインティングデバイスであり、前記第２の情報処理装置の提示手段は表示手段であり、前記変換手段は前記操作手段を前記表示手段上の座標を生成し、前記表示手段は前記座標近傍に操作支援情報を表示するようにしても良い。これにより、より直感的に操作支援が可能となる。
【００１８】
前記第２の情報処理装置の操作手段はキー入力手段を含み、前記キー入力手段の少なくとも１つのキーを前記第1の情報処理装置で入力し、前記操作情報に変換するためのアプリケーションを保持する入力アプリケーション保持手段を備えていても良い。これにより、被支援者機器独自のキーも入力することが可能となる。
【００１９】
前記操作情報は位置指定情報であって、前記変換手段は前記位置指定情報を前記第２の情報処理装置の操作手段に基づく操作支援情報に変換するようにしても良い。
【００２０】
前記操作手段はカーソルキーを含み、前記第２の情報処理装置は現選択アイテムを示すカレントアイテム情報とアイテム間の遷移関係を示すアイテム間遷移情報を管理し、前記操作支援情報は前記カーソルキーの押下情報を含み、前記変換手段は前記位置指定情報から前記カレントアイテム情報とアイテム間遷移情報に基づき、前記カーソルキーの押下情報を生成することが好ましい。
【００２１】
前記操作情報は文字入力情報であって、前記変換手段は前記文字入力情報を前記第２の情報処理装置の操作手段に基づく操作支援情報に変換するようにしても良い。
【００２２】
前記操作情報は文字入力情報であって、前記操作手段はテンキーを含み、前記第２の情報処理装置は文字入力情報とテンキーの押下情報との対応情報を管理し、前記操作支援情報は前記テンキーの押下情報を含み、前記変換手段は前記文字入力情報から前記文字入力情報とテンキーの押下情報との対応情報に基づき、前記テンキーの押下情報を生成するようにしても良い。前記変換手段は前記第２の情報処理装置に位置することが好ましい。
【００２３】
また、操作情報を生成する操作情報生成手段と、ユーザに情報を提示する第１の出力部と、を備える第1の情報処理装置と接続される第２の情報処理装置であって、操作手段と、ユーザに情報を提示する第２の出力部と、前記第２の情報処理装置の操作手段に関する情報である操作手段情報を取得する入力手段情報取得手段と、前記生成手段で生成された操作情報を、前記操作手段情報に基づき前記第２の情報処理装置の操作手段に沿った操作支援情報に変換する変換手段と、前記操作支援情報を第２の情報処理装置のユーザに提示する提示手段と、を備えることを特徴とする第２の情報処理装置が提供される。
【００２４】
本発明の他の観点によれば、操作情報を生成する操作情報生成手段と、ユーザに情報を提示する第１の出力部と、を備える第1の情報処理装置と接続され、操作手段と、ユーザに情報を提示する第２の出力部と、を備える第２の情報処理装置における制御方法であって、前記第２の情報処理装置の前記操作手段に関する情報である操作手段情報を取得する入力手段情報取得ステップと、前記生成手段で生成された操作情報を、前記操作手段情報に基づき前記第２の情報処理装置の操作手段に沿った操作支援情報に変換する変換ステップと、前記操作支援情報を第２の情報処理装置のユーザに提示する提示ステップと、を備えることを特徴とする第２の情報処理装置の制御方法が提供される。
【００２５】
本発明は上記に記載の情報処理方法をコンピュータに実行させることを特徴とする制御プログラムであっても良く、該制御プログラムを記録したコンピュータ読み取り可能な記録媒体であっても良い。プログラムは、インターネットなどの伝送媒体により取得されるものであっても良い。
【発明の効果】
【００２６】
本発明によれば、第２の情報処理装置において、第１の情報処理装置に適した操作を行うための支援を受けることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施の形態による情報処理システムの概略構成例を示す図である。
【図２】本実施の形態による情報処理システムにおける状態遷移の様子を示す説明図である。
【図３】本実施の形態による情報処理システムにおける表示例を示す図である。
【図４】本実施の形態による被支援者機器のリモコンの操作部を示す図である。
【図５】本実施の形態による被支援者機器側での操作手順提示エリアにおける表示例を示す図である。
【図６】本実施の形態による被支援者機器の一構成例を示す機能ブロック図である。
【図７】本実施の形態による被支援者機器の操作解釈部の状態遷移例を示す図である。
【図８】本実施の形態による操作解釈部の一構成例を示すブロック図である。
【図９】本実施の形態による被支援者機器の固有操作情報の一構成例を示す図である。
【図１０】本実施の形態による被支援者機器のコンテンツ常態管理部におけるアイテム間の遷移情報の例を示す図である。
【図１１】本実施の形態による被支援者機器の操作支援情報生成部における処理の流れを示すフローチャート図である。
【図１２】本実施の形態による被支援者機器の操作支援情報生成部における、操作コマンドから固有操作指示情報への変換テーブルを示す図である。
【図１３】本実施の形態による被支援者機器側での操作手順提示エリアにおける別の表示例を示す図である。
【図１４】本実施の形態による被支援者機器側での操作手順提示エリアを使用しない表示例を示す図である。
【図１５】本実施の形態による別の被支援者機器のリモコンキーの例と、対応する支援者機器の表示例を示す図である。
【発明を実施するための形態】
【００２８】
本発明の一実施の形態について図１から図１５に基づいて説明すれば、以下のとおりである。なお、本実施の形態では、情報処理装置について説明するが、本発明はこれに限定されず、ＰＣ（Personal Computer）、種々の情報家電等にも適用できる。尚、以下の明細書と特許請求の範囲との対応としては、第１の情報処理装置は、下記の支援者機器であり、第２の情報処理装置は、下記の被支援者機器である。
【００２９】
＜本発明の概略＞
図１は、本発明の概略を説明するための図である。
図１に示すように、本システムは、例えば、Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ（ＩＰ）に基づくインターネット、ＬＡＮなどの有線・無線のネットワーク１を介した、被支援者機器２と支援者機器５とアプリケーションサーバ６で構成される。
【００３０】
支援者機器５は、例えば、一般的なＰＣであり、キーボードやマウスなどの入力部５ａおよび表示部（ディスプレイ）５ｂが接続されている。このＰＣには、例えば、Ｗｉｎｄｏｗｓをオペレーティングシステム（ＯＳ）とし、後述するリモート支援機能を備えたアプリケーションがインストールされている。
【００３１】
アプリケーションサーバ６は一般的なウェブサーバであり、クライアントからの要求に応じて、ＨＴＭＬで記述された文書（ＨＴＭＬ文書）を送信したり、クライアントが入力した情報を図示しないデータベースに格納したりする。
【００３２】
被支援者機器２は、ウェブブラウザ機能を備えており、アプリケーションサーバ６からＨＴＭＬ文書をダウンロードする。ダウンロード文書を解釈して表示し、出力機器４に視覚情報として出力する。さらに、リモコン３から伝えられるユーザ操作を受け付け、前記文書中のリンクに該当する文書をアプリケーションサーバ６からダウンロードしたり、ユーザが入力した情報をアプリケーションサーバ６に送信する。
【００３３】
被支援者機器２には、図２に示すようにスタンドアローン状態Ｃ１と被支援状態Ｃ２という２種類の状態がある。スタンドアローン状態Ｃ１とは、支援者機器５とは何もやり取りを行わず、アプリケーションサーバ６を相手に一般的なウェブブラウジングを行っている状態であり、被支援状態Ｃ２とはスタンドアローン状態に支援者機器５が加わった状態である。電源投入した（Ｌ１）スタンドアローン状態Ｃ１でユーザが支援者機器５に支援を要請した場合（Ｌ２）、被支援状態Ｃ２に遷移し、被支援状態Ｃ２でユーザが支援の終了を指示した場合（Ｌ３）、スタンドアローン状態Ｃ１に戻る。被支援状態Ｃ２での動作については後述する。
【００３４】
また、支援者機器５と被支援者機器２の間でネットワーク１を介して音声通話を行う機能を備えるが、本発明の主旨とは関係しないためここでは説明を省略する。
【００３５】
＜被支援者機器のリモコン＞
リモコン３のキー配列例について図４を用いて説明する。
図４に示すように、リモコン３の上部にテンキー３ａが、下段にカーソルキー３ｂと決定キー３ｃと取り消しキー３ｄとが設けられている。
【００３６】
尚、テンキー３ａおよびカーソルキー３ｂのキーコードは支援者機器５のテンキーおよびカーソルキーを押下することで同じキーコードを発生させることが可能である。また、決定キー３ｃおよび取り消しキー３ｄは、それぞれ支援者機器５の図示しないリターンキーおよびエスケープキーで同じキーコードを発生させることが可能である。
【００３７】
＜被支援状態における動作概要＞
前述した被支援状態における動作について図３を用いて説明する。
図３（ａ）は被支援者機器に接続された出力機器４上の表示画面４ａの表示例を示す図であり、前述したようにアプリケーションサーバ６からダウンロードしたＨＴＭＬ文書を解釈して表示したものである。上部４ｂには被支援者機器上の表示例が設けられ、下部には操作手順提示部４ｃが設けられ、操作手順提示部４ｃには後述する操作手順情報が表示される。
【００３８】
図３（ｂ）は、図３（ａ）が表示されている際の、リモート支援を行っている支援者機器５のディスプレイ５ｂの表示例を示す図である。ここでは、Ｗｉｎｄｏｗｓのアプリケーションとしてリモート支援アプリケーションが起動しそのウィンドウが画面に表示されている。さらにそのウィンドウの内容は図３（ｂ）に示す内容と同期しており、同じ内容が表示されるように構成されている。
【００３９】
リモート支援実施中の動作は以下のとおりである。例えば、被支援者がリモコン３のカーソルキー３ｂを操作して、図３（ａ）の「男性」ラジオボタン上にカーソルを移動し、決定キーを押下すると、出力装置４に表示されている「男性」ラジオボタンがチェックされた状態に表示が変わり、それに同期して被支援者側機器５のディスプレイ表示も同じ内容に変わるようになっている。
【００４０】
次に、支援者側機器５に表示されたウィンドウ上で、例えば「女性」ラジオボタンをマウスでクリックすると、出力機器４に表示されている「男性」ラジオボタンが非チェック状態になり、「女性」ラジオボタンがチェックされた状態に表示が変わり、その表示が支援者側機器５のディスプレイ表示にも反映されるというものである。
【００４１】
このとき、前述の操作手順提示部４ｃには、支援者側の操作デバイス操作を被支援者の操作デバイスであるカーソルキーの操作に変換した図５（ａ）に示す表示がなされる。被支援者機器２においては、ユーザがその操作手順を確認したら決定キーを押す。なお、決定キーを押すまで支援者側機器５の操作および被支援者側機器２の決定キー以外の操作は受け付けないようになっている。
【００４２】
また、本実施の形態による技術は、単なる選択操作だけでなく文字入力にも対応する。例えば、支援者側機器５における操作がキーボードにより行われ、被支援者側機器２の操作が携帯電話でよく使われているテンキーによるマルチタップ入力で行われる場合に、支援者側機器５においてキーボードで「う」と入力された場合、前述の操作手順提示部４ｃには図５（ｂ）に示す表示がなされる。あるいは画面上にソフトキーボードを表示し、そこから選択させる場合は、ソフトキーボードの該当するキーまでの操作情報を表示する。
【００４３】
このように支援者側の操作デバイスに関らず被支援者側の操作デバイスに沿った操作手順を提示することができるため、支援者側機器のコストを低減可能となる。また、操作手順に関する被支援者側機器２に「よろしければ決定キーを押してください。」などの確認メッセージ表示を表示させてユーザの確認を促すことで、被支援者側機器２の操作学習を確実にし、さらに支援者側機器５の操作が速すぎて被支援者側機器２における操作手順を間に合わなくなる（追いきれなくなる）ということを防ぐことが可能となる。
【００４４】
＜被支援者機器のシステム構成＞
図６は、本実施の形態に係る被支援者機器２の概略構成例を示す機能ブロック図である。被支援者機器２は、ウェブブラウザ機能を提供する装置である。図６に示すように、操作受信部１０、操作解釈部２０、コンテンツ状態管理部３０、コンテンツ取得部４０、出力部５０、固有操作情報保持部６０、操作支援情報生成部７０、レンダリング部８０、合成部９０、送受信部１００、全体制御部１１０を備えて構成されている。以下、各処理部について説明する。
【００４５】
送受信部１００は、ネットワーク１を通じて、支援者機器５およびアプリケーションサーバ６と情報の送受信を行う。
【００４６】
コンテンツ取得部４０は、送受信部１００を介して、アプリケーションサーバ６に対して、ＨＴＭＬ文書の取得や、ユーザ入力情報の送信を行う。
【００４７】
コンテンツ状態管理部３０は、取得したＨＴＭＬを解釈し、その結果を保持する。また、項目間の遷移情報（アイテム間遷移情報。後述）や現在の選択項目（カレントアイテム）などを管理する。また後述する操作解釈部２０からの操作コマンドに従って、カレントアイテムを変更したり、活性化されたアイテムに記載されたリンク情報に基づき、コンテンツ取得部４０を通じてアプリケーションサーバ６に対してＨＴＭＬ文書を要求する。また、後述する固有操作情報に応じて、文字入力が必要なアイテムの場合に、ソフトキーボードを表示するよう、レンダリング部８０に指令を出す。
【００４８】
レンダリング部８０は、コンテンツ状態管理部３０の情報に従って、画面イメージを描画する。また、各アイテムが画面イメージ中のどの座標に描画されているか（アイテム座標情報）についても管理する。
【００４９】
操作受信部１０は、リモコン３から送信される操作情報を受信する。被支援状態においては、ネットワーク１および送受信部１００を介して、支援者機器５から送信される操作情報も受けつける。操作情報を受信したら、その操作のソース（源）がリモートかローカルかを区別する情報（ソース情報）を付与した上で、操作解釈部２０に送る。
【００５０】
操作解釈部２０は操作受信部１０から受け付けた操作情報を、コンテンツ状態管理部３０およびレンダリング部８０からの情報に基づき、操作デバイスに依存しないコマンド（操作コマンド）に変換し、コンテンツ状態管理部３０に送信する。その際、ソース情報を参照し操作の源がリモートだった場合、操作支援情報生成部７０に対し、操作支援情報の生成に必要となる各種情報を送信する。尚、操作解釈部２０の詳細については後述する。
【００５１】
固有操作情報保持部６０は、被支援者機器２が現在使用可能な操作デバイスおよびそれぞれの操作デバイスに対するユーザの嗜好情報（プリファレンス）を格納している。詳細は後述する。
【００５２】
操作支援情報生成部７０は、操作解釈部２０からの情報および固有操作情報保持部６０から提供される固有操作情報に基づき操作支援情報を生成する。具体的には、図５（ａ）（ｂ）のような画面である。
【００５３】
合成部９０はレンダリング部８０が描画したＨＴＭＬ文書の画面と操作支援情報生成部７０によって生成された操作手順提示部を合成し、図３（ａ）に記載の画像を生成する。生成された画像は、出力部５０に送出される。被支援状態において、同時に送受信部１００を通じて、生成された画像を被支援者機器２に送信する。
【００５４】
出力部５０は、合成部９０から出力される画像を出力機器４が受け付ける信号にエンコードして、出力機器４に送出する。
【００５５】
全体操作部１１０は、以上の処理部全体の制御を行う。
【００５６】
＜操作解釈部の構成＞
図７及び図８を用いて、本実施の形態に係る被支援者機器２の操作解釈部２０の構成について説明する。
図７に示すように操作解釈部２０はスタンドアローン操作状態Ｃ１１と被支援操作状態Ｃ１２と確認操作状態Ｃ１３という３種類の状態を取る。電源投入により（Ｌ１１）遷移するスタンドアローン操作状態Ｃ１１では被支援者の操作のみを受け付ける状態であり、被支援操作状態Ｃ１２は被支援者と支援者双方との操作を受け付ける状態であり、確認操作状態Ｃ１３は被支援者からの確認のための決定キーのみを受け付ける状態である。
【００５７】
スタンドアローン操作状態Ｃ１１において、前述のスタンドアローン状態Ｃ１（図２）から被支援状態Ｃ２への遷移が発生したら、被支援操作状態Ｃ１２に遷移する（Ｌ１２）。被支援操作状態Ｃ１２において、前述の被支援状態Ｃ２からスタンドアローン状態Ｃ１への遷移が発生した場合、スタンドアローン操作状態Ｃ１１に遷移し（Ｌ１５）、支援者からの操作情報が受理されたら確認操作状態Ｃ１３に遷移する（Ｌ１３）。確認操作状態Ｃ１３においては、被支援者の確認操作が行われたら（Ｌ１４）被支援操作状態Ｃ１２に遷移し、前述の被支援状態Ｃ２からスタンドアローン状態Ｃ１への遷移が発生した場合、スタンドアローン操作状態Ｃ１１に遷移する（Ｌ１５）。ユーザ（被支援者）が支援の終了を指示し、図２の状態遷移に図示する被支援状態Ｃ２からスタンドアローン状態Ｃ１に遷移した際、確認操作状態Ｃ１３から確認スタンドアローン操作状態Ｃ１１に遷移する（Ｌ１６）。
【００５８】
図８に示すように、操作解釈部２０は入力ディスパッチャ２０ａ、ポインティングデバイスハンドラ２０ｂ、キーデバイスハンドラ２０ｃ、制御部２０ｄで構成される。
【００５９】
入力ディスパッチャ２０ａは、操作受信部１０から受け付けた操作情報の操作の種類に応じてハンドラを振り分ける。具体的には、マウスやタッチパネルのようなポインティングデバイスからの操作情報であった場合、ポインティングデバイスハンドラ２０ｂに送信し、カーソルキーなどのキーボードデバイスからの操作情報であった場合、キーボードハンドラ２０ｃに送信する。なおその際、操作受信部１０によって付加されたソース情報もそのまま送る。
【００６０】
ポインティングデバイスハンドラ２０ｂは、入力ディスパッチャ２０ａを介して受け取った、ポインティングデバイスによる操作情報を操作コマンドに変換し、制御部２０ｄに送信する。なおその際、操作受信部１０によって付加されたソース情報もそのまま送る。操作情報は、ボタンのプレス/リリースといったアクション情報と、そのアクションが発生した座標情報で構成される。ポインティングデバイスハンドラ２０ｂは、座標情報をレンダリング部８０が保持するアイテム座標情報を参照して、アイテムＩＤに変換する。その結果を最終的に、操作コマンドｓｅｌｅｃｔ（ｉｔｅｍ）のいずれかにａｃｔｉｖａｔｅ（ｉｔｅｍ）に変換する。ここで、ｓｅｌｅｃｔ（ｉｔｅｍ）は、アイテムＩＤがｉｔｅｍのアイテムを選択するという意味であり、ａｃｔｉｖａｔｅ（ｉｔｅｍ）は、アイテムＩＤがｉｔｅｍのアイテムを活性化させるという意味を表す。
【００６１】
キーデバイスハンドラ２０ｃは、入力ディスパッチャ２０ａを介して受け取ったキーデバイスによる操作情報を操作コマンドに変換し、制御部２０ｄに送信する。なおその際、操作受信部１０によって付加されたソース情報もそのまま送る。操作情報は、入力されたキーに対応するキーコードで構成される。キーデバイスハンドラ２０ｃは、この操作情報を、ｋｅｙｉｎ（ｋｅｙｃｏｄｅ）というコマンドに変換する。ここでｋｅｙｃｏｄｅはキーコードに対応する。
【００６２】
制御部２０ｄは、前述の状態遷移を管理しており、状態に応じて操作解釈部２０と他の処理部との情報のやり取りを制御する。ポインティングデバイスハンドラ２０ｂおよびキーデバイスハンドラ２０ｃから送信された操作コマンドをコンテンツ状態管理部に送出する。被支援操作状態においては、同時に操作支援情報生成部７０に対して、操作コマンドおよび付加情報を送出する。ここで付加情報とは、カレントアイテムおよびアイテム遷移情報である。また、上述したように、制御部２０ｄは、ポインティングデバイスハンドラ２０ｂによるレンダリング部８０が保持するアイテム座標情報の参照を橋渡しする。
【００６３】
また、確認操作状態においては、前述のソース情報を参照することで、被支援者の操作の決定キーのみを受け付け、受け付けたら被支援操作状態に遷移する。
【００６４】
＜固有操作情報（操作手段情報）＞
図９を用いて、本実施の形態に係る被支援者機器２の固有操作情報保持部６０に保持されている固有操作情報について説明する。
図９に示すように、固有操作情報はテーブルで管理されており、本システムの被支援者機器に接続可能な操作デバイスすべてに対して、その関連情報を格納するレコードを用意する。各レコードは、操作デバイス、デバイス使用可否、文字入力操作プリファレンス、操作選択プリファレンスのフィールドを含む。以下各フィールドの説明を行う。
【００６５】
操作デバイスフィールドは、そのレコードに対応する操作デバイスのＩＤを格納する。デバイス使用可否フィールドは、このレコードに対応する操作デバイスがこの固有操作情報を保持する被支援者機器で現在使用可能かどうかを示す情報を格納する。なお、操作デバイスの脱着によりこのフィールドの値は動的に変わりうる。図９の例では、現在テンキーとカーソルキーが使えることになる。
【００６６】
文字入力操作プリファレンスフィールドは、文字入力に際してユーザがどの操作デバイスの使用を好むかに関する情報を格納するフィールドである。ここでは情報は「好む」「許容」「好まない」「使用不可」の４段階を定義し、それぞれ数値「２」「１」「０」「−１」を割り当てている。図９の例では、文字入力に関してテンキーを使うことを好むことになる。
【００６７】
選択操作プリファレンスフィールドは、アイテムの選択に際してユーザがどの操作デバイスの使用を好むか、別の言い方をすると操作デバイス選択の優先度（優先順位）に関する情報を格納するフィールドである。好むかどうかの情報についての定義は文字入力操作プリファレンスフィールドと同一である。図９の例では、選択操作に関してユーザはマウスとタッチパネルを好み、カーソルキーも許容していることになる。
【００６８】
以上のようにプリファレンスフィールドを用意することで、被支援者機器２で使用可能な操作デバイスで文字入力操作や選択操作を行う方法が複数ある場合、ユーザの好みに合った操作デバイスに合った操作支援情報を提示することが可能となる。
【００６９】
なお、このプリファレンスフィールドに格納する値についてはユーザ自身に設定させてもよいし、ユーザの使用履歴からよく使用されるものを自動的に設定してもよい。また、サービスプロバイダが使用を推奨する操作デバイスの値が高くなるようにネットワーク１を通じて外部から設定してもよい。
【００７０】
＜アイテム間遷移情報＞（図６の３０）
図１０を用いて、本実施の形態に係る被支援者機器２のコンテンツ状態管理部３０で管理されているアイテム間遷移情報について説明する。
アイテム間遷移情報とはＨＴＭＬ文書における、キー操作に対するカレントアイテムの遷移を表す情報に相当し、アイテム間の位置関係に基づきレンダリング部８０が自動生成し、画面描画が完了した際に、コンテンツ状態管理部３０に送信する。
【００７１】
図１０は、アイテム間遷移情報を図示したものである。ページ表示（Ｌ２１）を行うと、男女ラジオボタンＣ２１に遷移する。その他、郵便番号（上位桁）テキストボックスＣ２２、郵便番号（下位桁）テキストボックスＣ２３、住所テキストボックスＣ２４、送信ボタンＣ２５、取消ボタンＣ２６へ、Ｌ２１からＬ３６までの操作により遷移させることができる。例えば、カレントアイテムが「男」ラジオボタンあるいは「女」ラジオボタンであるとき、下キーを押下したら郵便番号１（上位桁）テキストボックスがカレントアイテムになる。
【００７２】
＜操作コマンド処理＞（図６の７０）
図１１乃至図１２を用いて、本実施の形態に係る操作支援情報生成部７０における操作コマンドの処理について説明する。
図１１（ａ）は操作支援情報生成部７０において、操作解釈部２０から操作コマンドを受け取った際の処理の流れを示す。まず、固有操作情報保持部６０から固有操作情報を取得し（Ｓ１０ａ）、操作デバイスの特定を行う（Ｓ１０ｂ）。この処理はどの操作デバイスに向けた操作指示情報を生成するかを決定するものであり、具体的な処理については後述する。
【００７３】
次に、特定した操作デバイスと操作コマンドから操作デバイス固有の操作指示情報を取得する。具体的には図１２（ａ）（ｂ）に例示する変換テーブルを参照し、固有操作指示情報に変換する。この変換テーブル中ＫＥＹＩＮ（ｋｅｙｃｏｄｅ）は、フルキーボードでｋｅｙｃｏｄｅに対応する文字を入力する操作指示情報を示し、ＭＵＬＴＩＴＡＰ（ｋｅｙｃｏｄｅ）はマルチタップ入力でｋｅｙｃｏｄｅに対応する文字入力の操作指示情報を意味する。また、ＳＥＬＥＣＴ（ｉｔｅｍ）は、ｉｔｅｍで指定されるアイテムをカレントアイテムに設定する操作指示情報を示す。ＰＯＩＮＴ（ｉｔｅｍ）はタッチパネルやマウスやトラックボールといったポインティングデバイスを用いてｉｔｅｍで指定されるアイテムを直接ポイントする操作指示情報を意味する。
【００７４】
例えば、操作デバイスとしてテンキーが選ばれ、操作コマンドがｋｅｙｉｎ（ｋｅｙｃｏｄｅ）の場合、ＭＵＬＴＩＴＡＰ（ｋｅｙｃｏｄｅ）という固有操作指示情報に変換する。
【００７５】
次に、固有操作指示情報から提示情報を生成する（Ｓ１０ｄ）。具体的には、固有操作指示情報を、操作を説明する文字情報や画像情報を生成し、合成部９０に送信する。この処理については先行技術に記載されているため詳細は説明しないが、図１２（ａ）（ｂ）がその代表例である。図１２（ａ）の場合には、ＳＥＬＥＣＴ(ｉｔｅｍ)に対して、カレントアイテムからターゲットとなるアイテムｉｔｅｍに到達するための最短キー操作を前述のアイテム間遷移情報から探索し表示する。図１２（ｂ）の場合には、ＭＵＬＴＩＴＡＰ（ｋｅｙｃｏｄｅ）に対して、図示しないテーブルを参照しｋｅｙｃｏｄｅに対応する文字を選択するのに必要なキー操作を表示する。
【００７６】
リモコン３の代わりにポインティングデバイス、例えばタッチパネルが接続された際には、図１４に示すように、操作支援情報をアプリケーション画面上に重畳表示することで、より直感的に操作支援が可能となる。この場合には、操作手順提示部を設けなくてもよい。
【００７７】
操作支援情報生成部７０は、ステップＳ１０ｄにおいて、操作指示情報ＰＯＩＮＴ（ｉｔｅｍ）で指定されるｉｔｅｍのアプリケーション画面上での座標をレンダリング部８０から取得して描画に反映することになる。より詳細には、例えば、接続されたタッチパネルにおいてタッチされた箇所が画面上において「ここをタッチしました。」というように明示されることで反映される。
【００７８】
最後に、先ほど説明を後回しにした操作デバイスの特定処理（Ｓ１０ｂ）について図１１（ｂ）を用いて説明する。まず、固有操作情報を参照し、使用可能なものを抽出する（Ｓ２０ａ）。次に、操作毎に使用可能なものをプリファレンス値の高い順にソートし（Ｓ２０ｂ）、先頭のデバイスを選択する（Ｓ２０ｃ）。
【００７９】
以上の処理により、被支援者側の機器で、現在使用可能であり、しかも、被支援者の嗜好にあった操作支援情報を生成することができる。
【００８０】
＜バリエーション＞
上記の実施の形態では、被支援者機器２の操作はキー操作を例にして説明しているが、キー操作に限定されるものではなく、実施の形態の説明中でも言及したように、タッチパネルやマウスやトラックボールのようなポインティングデバイスであってもよい。さらには、音声認識を利用した音声入力による操作であっても適用可能であることは言うまでもない。
【００８１】
また、本実施の形態では、支援者機器５は汎用ＰＣを例としているが、専用機器であってもよい。また、被支援者機器２に操作を伝えることができればよく、ディスプレイもキーボードも設けられていなくてもよい。
【００８２】
また、本実施の形態では、ネットワーク１は、ＩＰに基づくネットワークとしているが、支援者機器５での操作を被支援者機器２に伝えることができる構成であれば、どのような伝送手段であってもよい。
【００８３】
また、本実施の形態では、操作支援情報を提示した際に被支援者の確認を要求している例について説明したが、本発明はそれに限定されるものではない。例えば図１３（ａ）のように被支援者機器への確認処理をしないことでも本発明の主目的である被支援者機器の操作デバイスに応じた操作支援情報を提示するという効果を得ることができる。
【００８４】
また、本実施の形態では、被支援操作状態において、操作コマンドに変換した支援者機器の操作をコンテンツ状態管理部に送信している例を説明したが、、操作コマンドに変換した支援者機器の操作を送信せずに、図１３（ｂ）に示すように、操作支援情報をユーザに提示する表示を行うだけでも本発明の主目的を達成できることは言うまでもない。
【００８５】
さらに、本実施の形態では、被支援者が使用している操作デバイスに沿った操作支援情報の生成は被支援者側の機器で行っているが、本発明はその形態に限定されるものではない。例えば、支援者機器で行うようにしてもよいし、ネットワーク１上の図示しない変換サーバ等の別の機器で行うようにしもよい。
【００８６】
また、本実施の形態では、操作支援情報はアプリケーションと同じ表示画面に表示している例を示したが、操作支援情報をアプリケーションとは別の画面、例えばリモコン３上の表示画面に表示するようにしていてもよい。さらに、出力は、ユーザに操作方法を提示できるものであれば映像出力以外であってもよい。例えば、音声で読み上げてもよいし、リモコン上の該当するキーを光らせるようにしもよいことは言うまでもない。
【００８７】
また、本実施の形態では、被支援者機器２の操作手段および出力手段は被支援者機器とは別の筐体となっている例について説明したが、これらが一体となっている一体型であってもよい。
【００８８】
また、本実施の形態では、被支援者機器２で動作するアプリケーションは、アプリケーションサーバ６からネットワーク１を介してダウンロードしたものとしているが、アプリケーションは、被支援者機器２に予め組み込みまれていたものであっても、被支援者機器２で読み込み可能なリムーバブルメディアに格納されたものであってもよいことは言うまでもない。
【００８９】
また、本実施の形態では、支援者機器５に対して、被支援者機器２の画面イメージをそのまま送信する例について説明しているが、差分のみを送信するようにしてもよい。また、Ｘ−Ｗｉｎｄｏｗなどで定義されている描画コマンドを送信してもよい。
【００９０】
また、本実施の形態では、リモコン３のキーを支援者機器５のキーボードからすべて直接入力することを前提としているが、以下のようにすることで、被支援者機器２独自のキーを用いることも可能である。
【００９１】
例えば、リモコン３に、図１５（ａ）の中段に示す４色のカラーキー３ｆが設けられている場合に、支援者機器５の画面５ｂ上に図１５（ｂ）のようなソフトキーボード４ａ−１、４ｂ−１、４ｃ−１、及び３−１を表示させ、ソフトキーボード上のカラーキー３ｘ−１を押下した際、リモコン３のカラーキー３ｆを押したのと同じキーコードを発するようにすればよい。
【００９２】
この機能を実現するためには、ソフトキーボード用アプリケーションおよび被支援者機器２の操作手段を示すＩＤを本システム上の被支援者機器２、支援者機器５、ネットワーク1上の図示しないサーバのうちの少なくとも１つに格納しておき、被支援状態開始時に支援者機器５にロードするようにしておけばよい。このようにすることで、被支援者機器２独自のキーにも対応することが可能となる。
【００９３】
最後に、被支援者機器２および支援者機器５の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【００９４】
すなわち、被支援者機器２および支援者機器５は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである被支援者機器２および支援者機器５の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、記録再生装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００９５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００９６】
また、被支援者機器２および支援者機器５を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【００９７】
本発明の情報処理システムは、ユーザ操作を遠隔地から支援する際に有用であり、操作の複雑化したデジタル家電やＰＣソフトなどに好適に利用することができる。
【符号の説明】
【００９８】
１ ネットワーク
２ 被支援者機器
３ リモコン
４ 出力機器
５ 支援者機器
６ アプリケーションサーバ
１０ 操作受信部
２０ 操作解釈部
３０ コンテンツ状態管理部
４０ コンテンツ取得部
５０ 出力部
６０ 固有操作情報保持部
７０ 操作支援情報生成部
８０ レンダリング部
９０ 合成部
１００ 送受信部
１１０ 全体制御部
【特許請求の範囲】
【請求項１】
少なくとも第1の情報処理装置と第２の情報処理装置とを有し、
前記第１の情報処理装置は操作情報を生成する操作情報生成手段を備え、
前記第２の情報処理装置は操作手段を備え、
前記第１の情報処理装置と第２の情報処理装置とは、ユーザに情報を提示する出力部をそれぞれ備え、
前記第１の情報処理装置と前記第２の情報処理装置間とが接続された情報処理システムであって、
前記第２の情報処理装置の操作手段に関する情報である操作手段情報を取得する入力手段情報取得手段を備え、
前記操作情報生成手段で生成された操作情報を、前記操作手段情報に基づき前記第２の情報処理装置の操作手段に沿った操作支援情報に変換する変換手段と、
前記操作支援情報を前記第２の情報処理装置のユーザに提示する提示手段と、を備えることを特徴とする情報処理システム。
【請求項２】
第２の情報処理装置で提示された操作支援情報の確認を促す手段を有することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記操作情報の確認を行うまで、前記第２の情報処理装置は前記第１の情報処理装置の入力手段からの入力を受け付けないことを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記第２の情報処理装置が使用可能な操作手段は複数あり、
前記操作手段情報は前記複数の操作手段間の優先順位を示す情報を含み、
前記変換手段は前記優先順位も加味して変換することを特徴とする請求項１に記載の情報処理システム。
【請求項５】
前記第２の情報処理装置の操作手段はポインティングデバイスであり、
前記第２の情報処理装置の提示手段は表示手段であり、
前記変換手段は前記操作手段を前記表示手段上の座標を生成し、
前記表示手段は前記座標近傍に操作支援情報を表示することを特徴とする請求項１に記載の情報システム。
【請求項６】
前記第２の情報処理装置の操作手段はキー入力手段を含み、
前記キー入力手段の少なくとも１つのキーを前記第１の情報処理装置で入力し、前記操作情報に変換するためのアプリケーションを保持する入力アプリケーション保持手段を備えることを特徴とする請求項１に記載の情報処理システム。
【請求項７】
前記操作情報は位置指定情報であって、
前記変換手段は前記位置指定情報を前記第２の情報処理装置の操作手段に基づく操作支援情報に変換することを特徴とする請求項１に記載の情報処理システム。
【請求項８】
前記操作手段はカーソルキーを含み、
前記第２の情報処理装置は現選択アイテムを示すカレントアイテム情報とアイテム間の遷移関係を示すアイテム間遷移情報を管理し、
前記操作支援情報は前記カーソルキーの押下情報を含み、
前記変換手段は前記位置指定情報から前記カレントアイテム情報とアイテム間遷移情報に基づき、前記カーソルキーの押下情報を生成することを特徴とする請求項７に記載の情報処理システム。
【請求項９】
前記操作情報は文字入力情報であって、
前記変換手段は前記文字入力情報を前記第２の情報処理装置の操作手段に基づく操作支援情報に変換することを特徴とする請求項１に記載の情報処理システム。
【請求項１０】
前記操作情報は文字入力情報であって、
前記操作手段はテンキーを含み、
前記第２の情報処理装置は文字入力情報とテンキーの押下情報との対応情報を管理し、
前記操作支援情報は前記テンキーの押下情報を含み
前記変換手段は前記文字入力情報から前記文字入力情報とテンキーの押下情報との対応情報に基づき、前記テンキーの押下情報を生成することを特徴とする請求項９に記載の情報処理システム。
【請求項１１】
前記変換手段は前記第２の情報処理装置に位置することを特徴とする請求項１に記載の情報処理システム。
【請求項１２】
操作情報を生成する操作情報生成手段と、ユーザに情報を提示する第１の出力部と、を備える第１の情報処理装置と接続される第２の情報処理装置であって、
操作手段と、ユーザに情報を提示する第２の出力部と、
前記第２の情報処理装置の操作手段に関する情報である操作手段情報を取得する入力手段情報取得手段と、
前記生成手段で生成された操作情報を、前記操作手段情報に基づき前記第２の情報処理装置の操作手段に沿った操作支援情報に変換する変換手段と、
前記操作支援情報を第２の情報処理装置のユーザに提示する提示手段と、を備えることを特徴とする第２の情報処理装置。
【請求項１３】
操作情報を生成する操作情報生成手段と、ユーザに情報を提示する第１の出力部と、を備える第１の情報処理装置と接続され、操作手段と、ユーザに情報を提示する第２の出力部と、を備える第２の情報処理装置における制御方法であって、
前記第２の情報処理装置の前記操作手段に関する情報である操作手段情報を取得する入力手段情報取得ステップと、
前記生成手段で生成された操作情報を、前記操作手段情報に基づき前記第２の情報処理装置の操作手段に沿った操作支援情報に変換する変換ステップと、
前記操作支援情報を第２の情報処理装置のユーザに提示する提示ステップと、を備えることを特徴とする第２の情報処理装置の制御方法。
【請求項１４】
請求項１３に記載の情報処理方法をコンピュータに実行させることを特徴とする制御プログラム。
【請求項１５】
請求項１４に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
少なくとも第1の情報処理装置と第２の情報処理装置とを有し、
前記第１の情報処理装置は操作情報を生成する操作情報生成手段を備え、
前記第２の情報処理装置は操作手段を備え、
前記第１の情報処理装置と第２の情報処理装置とは、ユーザに情報を提示する出力部をそれぞれ備え、
前記第１の情報処理装置と前記第２の情報処理装置間とが接続された情報処理システムであって、
前記第２の情報処理装置の操作手段に関する情報である操作手段情報を取得する入力手段情報取得手段を備え、
前記操作情報生成手段で生成された操作情報を、前記操作手段情報に基づき前記第２の情報処理装置の操作手段に沿った操作支援情報に変換する変換手段と、
前記操作支援情報を前記第２の情報処理装置のユーザに提示する提示手段と、を備えることを特徴とする情報処理システム。
【請求項２】
第２の情報処理装置で提示された操作支援情報の確認を促す手段を有することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記操作情報の確認を行うまで、前記第２の情報処理装置は前記第１の情報処理装置の入力手段からの入力を受け付けないことを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記第２の情報処理装置が使用可能な操作手段は複数あり、
前記操作手段情報は前記複数の操作手段間の優先順位を示す情報を含み、
前記変換手段は前記優先順位も加味して変換することを特徴とする請求項１に記載の情報処理システム。
【請求項５】
前記第２の情報処理装置の操作手段はポインティングデバイスであり、
前記第２の情報処理装置の提示手段は表示手段であり、
前記変換手段は前記操作手段を前記表示手段上の座標を生成し、
前記表示手段は前記座標近傍に操作支援情報を表示することを特徴とする請求項１に記載の情報システム。
【請求項６】
前記第２の情報処理装置の操作手段はキー入力手段を含み、
前記キー入力手段の少なくとも１つのキーを前記第１の情報処理装置で入力し、前記操作情報に変換するためのアプリケーションを保持する入力アプリケーション保持手段を備えることを特徴とする請求項１に記載の情報処理システム。
【請求項７】
前記操作情報は位置指定情報であって、
前記変換手段は前記位置指定情報を前記第２の情報処理装置の操作手段に基づく操作支援情報に変換することを特徴とする請求項１に記載の情報処理システム。
【請求項８】
前記操作手段はカーソルキーを含み、
前記第２の情報処理装置は現選択アイテムを示すカレントアイテム情報とアイテム間の遷移関係を示すアイテム間遷移情報を管理し、
前記操作支援情報は前記カーソルキーの押下情報を含み、
前記変換手段は前記位置指定情報から前記カレントアイテム情報とアイテム間遷移情報に基づき、前記カーソルキーの押下情報を生成することを特徴とする請求項７に記載の情報処理システム。
【請求項９】
前記操作情報は文字入力情報であって、
前記変換手段は前記文字入力情報を前記第２の情報処理装置の操作手段に基づく操作支援情報に変換することを特徴とする請求項１に記載の情報処理システム。
【請求項１０】
前記操作情報は文字入力情報であって、
前記操作手段はテンキーを含み、
前記第２の情報処理装置は文字入力情報とテンキーの押下情報との対応情報を管理し、
前記操作支援情報は前記テンキーの押下情報を含み
前記変換手段は前記文字入力情報から前記文字入力情報とテンキーの押下情報との対応情報に基づき、前記テンキーの押下情報を生成することを特徴とする請求項９に記載の情報処理システム。
【請求項１１】
前記変換手段は前記第２の情報処理装置に位置することを特徴とする請求項１に記載の情報処理システム。
【請求項１２】
操作情報を生成する操作情報生成手段と、ユーザに情報を提示する第１の出力部と、を備える第１の情報処理装置と接続される第２の情報処理装置であって、
操作手段と、ユーザに情報を提示する第２の出力部と、
前記第２の情報処理装置の操作手段に関する情報である操作手段情報を取得する入力手段情報取得手段と、
前記生成手段で生成された操作情報を、前記操作手段情報に基づき前記第２の情報処理装置の操作手段に沿った操作支援情報に変換する変換手段と、
前記操作支援情報を第２の情報処理装置のユーザに提示する提示手段と、を備えることを特徴とする第２の情報処理装置。
【請求項１３】
操作情報を生成する操作情報生成手段と、ユーザに情報を提示する第１の出力部と、を備える第１の情報処理装置と接続され、操作手段と、ユーザに情報を提示する第２の出力部と、を備える第２の情報処理装置における制御方法であって、
前記第２の情報処理装置の前記操作手段に関する情報である操作手段情報を取得する入力手段情報取得ステップと、
前記生成手段で生成された操作情報を、前記操作手段情報に基づき前記第２の情報処理装置の操作手段に沿った操作支援情報に変換する変換ステップと、
前記操作支援情報を第２の情報処理装置のユーザに提示する提示ステップと、を備えることを特徴とする第２の情報処理装置の制御方法。
【請求項１４】
請求項１３に記載の情報処理方法をコンピュータに実行させることを特徴とする制御プログラム。
【請求項１５】
請求項１４に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−２１１５８６（Ｐ２０１０−２１１５８６Ａ）
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願番号】特願２００９−５７８４７（Ｐ２００９−５７８４７）
【出願日】平成２１年３月１１日（２００９．３．１１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＥＰＲＯＭ
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願日】平成２１年３月１１日（２００９．３．１１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＥＰＲＯＭ
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]