機器操作支援システム、機器操作支援端末装置、機器操作支援サーバ装置、機器操作支援方法及び機器操作支援プログラム
【課題】様々な電子機器について、どのような言語を用いるユーザであっても、戸惑うことなく操作できるようにする。
【解決手段】端末装置４は、特定情報取得手段４２を通じて取得した操作対象機器の特定情報と、言語選択受付手段４１を通じて選択された使用言語種別とを含む操作案内情報の提供要求を、提供要求送信手段４３を通じてサーバ装置１に送信する。サーバ装置１の制御部１２０は、端末装置４からの提供要求を、通信部１０２を通じて受信し、当該提供要求に応じた操作案内情報を操作案内ＤＢから取得して、これを端末装置４に送信する。端末装置４は当該操作案内情報を、操作案内出力手段４４を通じて出力し、ユーザに提供する。
【解決手段】端末装置４は、特定情報取得手段４２を通じて取得した操作対象機器の特定情報と、言語選択受付手段４１を通じて選択された使用言語種別とを含む操作案内情報の提供要求を、提供要求送信手段４３を通じてサーバ装置１に送信する。サーバ装置１の制御部１２０は、端末装置４からの提供要求を、通信部１０２を通じて受信し、当該提供要求に応じた操作案内情報を操作案内ＤＢから取得して、これを端末装置４に送信する。端末装置４は当該操作案内情報を、操作案内出力手段４４を通じて出力し、ユーザに提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、スマートフォンなどと呼ばれる高機能携帯電話端末等の多言語対応端末装置を用いて、使用言語に応じた種々の機器の操作支援を行うシステム、装置、方法、プログラムに関する。
【背景技術】
【０００２】
例えば、事務機器、自動販売機、切符等の券売機、ＡＴＭ（Automatic teller machine）やＣＤ（Cash dispenser）、家電製品等、様々な電子機器が提供され、これらを利用することによって様々な利便性を享受することができるようになっている。しかし、初めて操作する電子機器の場合には、操作に戸惑うことがよくある。ましてや外国で電子機器を操作しなければならない場合、操作ガイダンスなどはその国の言語で提示されるので、目的とする操作がなかなかできなかったり、操作を間違えてしまったりすることがある。
【０００３】
このため、電子機器の中には多言語に対応し、選択された言語でガイダンス情報等を出力できるようにしているものもある。その一例として、特許文献１には、多言語対応ナビゲーション装置に関する発明が開示されている。このように、多言語対応の電子機器の場合には、自分の使い慣れた言語でガイダンス情報等が提供されるので、ユーザは戸惑うことなく操作することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０９６２８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、観光やビジネスで日本を訪れる外国人について考えてみると、コンビニエンスストアや会社ではコピー機などの事務機器を利用し、外出先などでは自動販売機を利用し、駅では券売機を利用する。また、銀行やコンビニエンスストア等ではＡＴＭやＣＤを利用し、ホテルなどの宿泊先ではテレビを始めとする家電製品を利用する。このように、種々の場面で操作対象となる電子機器は数多くある。
【０００６】
これらの種々の電子機器のそれぞれを多言語対応にするにはコストが掛かるし、また、既に利用されている電子機器を多言語対応にすることは容易ではない。現状においては、ごく一部の電子機器を除き、ほとんどの電子機器は多言語対応になっていない。このため、既に利用されている様々な電子機器について、外国人であっても戸惑うことなく操作できるようにすることが求められている。同様のことは、日本人が外国に出かけた場合にもいえることである。
【０００７】
以上のことに鑑み、様々な電子機器について、どのような言語を用いるユーザであっても、戸惑うことなく操作できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１に記載の発明の機器操作支援システムは、
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムであって、
前記端末装置は、
使用言語の選択入力を受け付ける言語選択受付手段と、
操作対象機器を特定するための特定情報を取得する特定情報取得手段と、
前記特定情報と選択された前記使用言語の種別を示す使用言語種別とを含む、操作案内情報の提供要求を前記サーバ装置に送信する提供要求送信手段と、
前記サーバ装置からの前記操作対象機器の前記使用言語に応じた操作案内情報を受信する案内情報受信手段と、
前記操作案内情報を出力する出力手段と
を備え、
前記サーバ装置は、
操作対象機器毎に、操作案内情報を記憶する記憶手段と、
前記端末装置からの前記操作案内情報の提供要求を受信する提供要求受信手段と、
前記記憶手段に記憶されている情報を用いて、前記提供要求の前記特定情報により特定される操作対象機器の前記使用言語種別に応じた操作案内情報を取得する案内情報取得手段と、
取得した前記案内情報を前記端末装置に送信する案内情報送信手段と
を備えることを特徴とする。
【０００９】
この請求項１に記載の発明の機器操作支援システムによれば、端末装置においては、提供要求送信手段を通じて、操作案内情報の提供要求がサーバ装置に送信される。当該提供要求は、特定情報取得手段を通じて取得された特定情報と、言語選択受付手段を通じて選択された使用言語についての種別を示す使用言語種別とを含むものである。
【００１０】
一方、サーバ装置では、提供要求受信手段により端末装置からの提供要求が受信される。そして、案内情報取得手段によって、記憶手段に記憶されている情報が用いられ、受信した提供要求に含まれる特定情報と使用言語種別に応じた操作案内情報が取得され、これが案内情報送信手段を通じて要求元の端末装置に対して送信される。
【００１１】
そして、サーバ装置からの操作案内情報は、端末装置の案内情報受信手段を通じて受信され、これが出力手段を通じて出力されて端末装置のユーザに提供される。当該操作案内情報は、端末装置からの特定情報により特定される操作対象機器についてのものであり、しかも端末装置からの使用言語手段により特定される使用言語に応じたものである。
【００１２】
これにより、当該端末装置のユーザは、出力される操作案内情報を利用して、操作対象機器を操作することができる。そして、上述したように、特定情報と使用言語種別とに応じて、種々の操作対象機器についての種々の使用言語で表現された操作案内情報を取得することができる。したがって、種々の操作対象機器を操作する場合に、どのような言語を用いるユーザに対しても、戸惑うことなく操作ができるように支援することができる。
【発明の効果】
【００１３】
この発明によれば、様々な電子機器について、どのような言語を用いるユーザであっても、戸惑うことなく操作できるように支援することができる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態の機器操作支援システムの概略構成を説明するための図である。
【図２】操作案内データベース１０３に格納される登録データの例を説明するための図である。
【図３】実施の形態の端末装置４の構成例を説明するためのブロック図である。
【図４】端末装置４で実行される操作案内情報の取得処理について説明するためのフローチャートである。
【図５】サーバ装置１で実行される操作案内情報の提供処理について説明するためのフローチャートである。
【図６】端末装置４で実行される操作案内情報の利用処理について説明するためのフローチャートである。
【図７】操作案内画面の一例について説明するための図である。
【図８】操作案内画面の一例について説明するための図である。
【図９】操作案内画面の一例について説明するための図である。
【発明を実施するための形態】
【００１５】
以下、図を参照しながら、この発明のシステム、装置、方法、プログラムの一実施の形態について説明する。
【００１６】
［システムの全体構成］
図１は、この発明のシステムの一実施の形態を実現する機器操作支援システムの概略構成を説明するための図である。図１に示すように、この実施の形態の機器操作支援システムは、操作案内提供サーバ装置１と携帯端末装置４とが、ネットワーク２を通じて接続されることにより形成される。すなわち、操作案内提供サーバ装置１は、この発明の機器操作支援サーバ装置の一実施の形態が適用されたものであり、携帯端末装置４は、この発明の機器操作支援端末装置が適用されたものである。
【００１７】
なお、図１においては携帯端末装置４を１つしか示していないが、実際には多数の携帯端末装置４がネットワーク２を通じて操作案内提供サーバ装置１に接続される。また、携帯端末装置４としては、スマートフォンなどと呼ばれる高機能携帯電話端末やタブレット型端末やパッド型端末などと呼ばれる情報端末など種々のものを用いることが可能である。しかし、この実施の形態において、携帯端末装置４は、広く利用されている高機能携帯電話端末であるものとして説明する。また、以下においては、説明を簡単にするため、操作案内提供サーバ装置１を単にサーバ装置１といい、また、高機能携帯電話端末である携帯端末装置４を単に端末装置４という。
【００１８】
サーバ装置１は、端末装置４からの要求に応じて、当該端末装置４に対して種々の電子機器についての操作案内情報を提供するものである。ネットワーク２は、主にインターネットを意味する。インターネットは、全世界規模で構築されている、インターネット・プロトコルによるネットワークを相互接続して構築されたネットワークである。
【００１９】
なお、ネットワーク２は、インターネットへの接続経路を提供する公衆交換電話網（ＰＳＴＮ（Public Switched Telephone Network））、デジタル回線網（ＩＳＤＮ（Integrated Services Digital Network））、光通信網などをも含む。また、ネットワーク２は、携帯電話網や、Ｗｉ−Ｆｉなどと呼ばれる無線ＬＡＮ（Local Area Network）、ＷｉＭＡＸなどと呼ばれる高速無線通信規格に準じた無線通信網などをも含む。このため、この実施の形態においては、図１に示すように、端末装置４は、携帯電話網の近隣の基地局３を通じてネットワーク２に接続できる。
【００２０】
そして、端末装置４は、上述もしたように、スマートフォンなど呼ばれる高機能携帯電話端末であり、対応可能な数十言語の中からユーザが目的とする使用言語（表示言語や入力言語）を選択して設定することができる。そして、端末装置４は、通信機能を備えると共に、操作及び操作説明に十分な大きさの表示画面と、当該表示画面上にはタッチパネルとを備え、柔軟な情報の表示と柔軟な情報の入力とが可能なものである。当該端末装置４は、例えば、空港などにおいて、外国からの旅行者やビジネスマンに対して貸し出され、ユーザは端末装置４の使用言語を自国の言語に設定して利用することができる。また、既にその滞在地で使用できる端末装置を所有している場合には機能を実現する操作支援アプリケーションをその端末装置で使えるようにすることで利用することができる。
【００２１】
そして、外国人である端末装置４のユーザが、何らかの電子機器を操作する場合を考える。この場合、操作しようとしている電子機器（操作対象機器）のガイダンス表示等は端末装置４のユーザが使用する言語で表示されていないのが通常である。この場合、端末装置４は、ユーザからの指示に応じて、操作対象機器を特定するための特定情報と当該ユーザが用いている言語を示す使用言語種別とをサーバ装置１に通知する。そして、端末装置４は、サーバ装置１から当該操作対象機器についての目的する使用言語に対応した操作案内情報の提供を受ける。端末装置４では、サーバ装置１からの操作案内情報に含まれるガイダンス情報等を表示するなどしてユーザに提供する。
【００２２】
このようにして、この実施の形態の機器操作支援システムは、端末装置４とサーバ装置１とが協働し、ユーザが操作しようとしている操作対象機器の当該ユーザの使用言語に応じたガイダンス情報等を提供する。これにより、どのような言語を使用するユーザが、どのような操作対象機器を操作する場合であっても戸惑うことなく、確実に操作できるようにしている。
【００２３】
［サーバ装置１の構成例］
サーバ装置１は、図１に示すように、制御部１２０に対して、通信部１０２、操作案内データベース（以下、操作案内ＤＢと略称する。）１０３、翻訳処理部１０４、ハードディスクドライブ（以下、ＨＤＤと略称する。）１１０が接続されて構成されている。
【００２４】
制御部１２０は、サーバ装置１の各部を制御するものであり、ＣＰＵ（Central Processing Unit）１２１とＲＯＭ（Read Only Memory）１２２とＲＡＭ（Random Access Memory）１２３とがＣＰＵバス１２４を通じて接続されて構成されたコンピュータ装置である。ＨＤＤ１１０はハードディスクを備え、種々のアプリケーションプログラム、多言語辞書、種々の処理により得られたデータ等のハードディスクへの書込み／記録保持／読み出し／削除を行う。
【００２５】
図１に示すように、通信部１０２は接続端子１０１を通じて、ネットワーク２に接続される。通信部１０２は、ネットワーク２からの信号を受信し、自機が処理可能なデータに変換し制御部１２０に供給する。また、通信部１０２は、制御部１２０を通じて供給される送信用の種々のデータを、プロトコルに準拠した信号に変換してネットワーク２に送出する。
【００２６】
操作案内ＤＢ１０３は、この実施の形態においては、メーカー別、製品（製品型番）別、言語別に、操作案内情報を記憶保持する。この実施の形態において、操作案内ＤＢ１０３は、記録媒体ドライブ装置のハードディスクや光磁気ディスクなどの大容量記録媒体に格納されている。
【００２７】
図２は、操作案内ＤＢ１０３に格納される登録データの例を説明するための図であり、コピー機能とファックス機能とを備えたいわゆる複合事務機についての登録データの例である。この複合事務機は、例えば、コンビニエンスストアなどに設置されて不特定多数のユーザによって利用されるものである。図２に示すように、操作案内ＤＢ１０３に格納される登録データは、メーカーＩＤ、製品型番、言語種別、操作部画像データ、操作案内画像データ及び操作支援アプリケーション、ガイダンス情報からなる。メーカーＩＤはメーカーの識別情報である。言語種別は、当該登録データがどの言語用のものかを示す情報であり、図２に示した例においては「英語」である。
【００２８】
そして、製品型番と操作部画像データとは、操作対象機器を特定するための情報である。この内、操作部画像データは、操作対象機器の製品型番が分からない場合に、撮影されて提供される操作対象機器の操作部の画像データとのマッチング対象となる情報である。したがって、端末装置４のユーザは、操作対象機器の製品型番が分からなくても、操作対象機器の操作部の画像データを撮影して得て、サーバ装置１に送信すれば、サーバ装置１において、操作案内ＤＢ１０３の操作部画像データに基づいて、操作対象機器を特定できる。
【００２９】
また、図２の登録データにおいて、操作案内画像データ及び操作支援アプリケーションと、ガイダンス情報とは、操作案内情報を構成する。操作案内画像データは、言語種別で特定される言語が用いられた操作案内画面を形成するものである。また、操作支援アプリケーションは、当該操作案内画面等を端末装置４において表示して利用できるようにするアプリケーションプログラムである。
【００３０】
図２に示した例において、操作案内画像データは、ＡＲ（Augmented Reality）技術（拡張現実感技術）を用いて、ユーザにガイダンスを提供するために用いられるＡＲ画像データＡＲ１を有する。ＡＲ技術は、カメラ等が捉える現実環境にコンピュータ等を用いて情報を付加して提示する技術である。具体的に、図２に示した例のＡＲ画像データＡＲ１は、後述する端末装置４のカメラ部が捉えた画像が、ＡＲ画像データＡＲ１と一致する場合に、当該複合事務機のコインの投入口を具体的に示すと共に、コインの投入を促すメッセージを表示するために用いられる。そして、ＡＲ画像データには、概念的に示すと図２のＡＲ画像データＡＲ１の部分に点線矢印で示したように、どの位置にガイダンス情報を付すかを示す指示情報（指示子）が付加されている。
【００３１】
また、図２に示した例において、操作案内画像データは、「Ｃｏｐｙ」ボタンと「Ｆａｘ」ボタンを有する初期操作画面を形成する画像データＤ１と、コピー用の操作案内画面を形成する画像データＤ２と、ファクス用の操作案内画面を形成する画像データＤ３をも有する。そして、各画像データＤ１、Ｄ２、Ｄ３等においては、端末装置４の表示部４１３の表示画面のどの位置にどのような操作ボタンを表示するかを端末装置４の制御部４２０において認識することができるようになっている。また、各画像データＤ１、Ｄ２、Ｄ３等においては、各操作ボタンに対応する他の表示画面がある場合には、当該他の表示画面を特定する情報や、リモコン用の操作案内画面の場合には、各操作ボタンに対応して、どのようなリモコン信号を発生させるかを示す情報も付加されている。また、操作案内画像データのそれぞれには、ＡＲ画像データかそれ以外の画像データかを区別するための情報も付加されている。
【００３２】
また、操作支援アプリケーションは、操作案内画像データに基づいて、操作案内画面を表示するものであるが、ユーザからの操作入力をも考慮して、操作案内画面を切り替えたり、リモコン信号を生成して送信するように制御したりすることができるものである。例えば、図２に示した例の場合、操作支援アプリケーションは、最初にＡＲ技術を用いて端末装置４のカメラ部を通じて撮影される操作対象機器の画像において、コインの投入口にコインを投入することを案内するガイダンス表示を行う。次に、画像データＤ１による初期操作画面を表示する。そして、当該操作支援アプリケーションは、「Ｃｏｐｙ」ボタンが操作されると画像データＤ２によるコピー用の操作案内画面を表示し、「Ｆａｘ」ボタンが操作されると画像データＤ３によるファックス用の操作案内画面を表示するといったことができるものである。
【００３３】
また、詳しくは後述もするが、リモコン用の操作案内画面を表示した操作支援アプリケーションは、ユーザにより操作された操作ボタンに対応するリモコン信号を生成するように各部を制御する機能をも実現する。また、操作支援アプリケーションは、必要に応じて、種々のガイダンス情報を出力する処理も行う。
【００３４】
ガイダンス情報は、ＡＲ技術を用いたガイダンス情報の他、対応する操作案内画面を表示したときに出力する表示用ガイダンス情報や音声ガイダンス情報をも含む。図２に示した例では、ＡＲ画像データには、「コイン投入口にコインを投入することを要求する英語のメッセージ」と「ＯＫ」ボタン用の表示情報が設けられている。また、画像データＤ１に対しては、表示用ガイダンス情報として、「操作前にコインを投入することを要求する英語のメッセージ」と「コピー機能とファックス機能とのいずれかを選択するように促す英語のメッセージ」とが設けられている場合を示している。
【００３５】
このような登録データが、上述もしたように、メーカー別、製品（製品型番）別、言語別に形成され、操作案内ＤＢ１０３に格納されている。すなわち、種々の事務機器、種々の自動販売機、種々の券売機、種々のＡＴＭやＣＤ、種々の家電製品についての種々の言語の登録データが形成され、これらが操作案内ＤＢ１０３に格納されている。なお、種々の事務機器、種々の自動販売機、種々の券売機、種々のＡＴＭやＣＤ、種々の家電製品についての操作案内情報は、図２に示した複合事務機の場合と同様に、種々の言語で表現された操作案内画像データ及び操作支援アプリケーションやガイダンス情報が含まれる。
【００３６】
なお、ガイダンス情報として、映像ガイダンス情報と音声ガイダンス情報との一方または両方を用いることができる。また、使用言語としては、英語、中国語、韓国語、フランス語、ドイツ語等、当該端末装置４において使用可能な言語に対応して用意しておくことが好ましい。また、上述もしたように、操作対象機器が、遠隔操作可能なものである場合、操作案内用画像データには、各操作ボタンに対応して、どのようなリモコン信号を発生させるかを示す情報も付加されている。したがって、遠隔操作可能な操作対象機器の操作案内情報は、その操作対象機器に応じたリモコン制御仕様情報を含んだものとなる。
【００３７】
また、翻訳処理部１０４は、端末装置４に提供する提供情報であって、当該提供情報が指示された使用言語に翻訳されていないものである場合に、当該提供情報をＨＤＤ１１０の多言語辞書の情報を用いて翻訳する機能を実現する。例えば、サーバ装置１から端末装置４に提供するＥＰＧ（Electric Program Guide）などは翻訳処理部１０４により翻訳されて形成されたものが提供される。
【００３８】
そして、サーバ装置１の制御部１２０は、端末装置４からの要求に応じて、操作案内ＤＢ１０３から操作案内情報を抽出して送信する。すなわち、要求された操作案内情報の取得（抽出）は、制御部１２０が行う。また、端末装置４との通信は、接続端子１０１及び通信部１０２を通じ行う。このように、サーバ装置１は、端末装置４からの要求に応じた操作案内情報を提供する機能を実現する。
【００３９】
［端末装置４の基本機能と具体的な構成例］
端末装置４は、図１に示すように、言語選択受付手段４１と、特定情報取得手段４２と、提供要求送信手段４３と、操作案内受信手段４４と、操作案内出力手段４５と、遠隔操作手段４６とを備える。言語選択受付手段４１は、ユーザからの当該端末装置４で用いる使用言語（表示言語や入力言語）の選択入力を受け付ける。特定情報取得手段４２は、端末装置４のユーザが操作しようとしている操作対象機器を特定するための特定情報を取得する。ここで、特定情報は、操作対象機器の製品型番や操作対象機器の操作部部分を撮影することにより得られる画像データである。
【００４０】
そして、選択された使用言語の種別を示す使用言語種別と取得された操作対象機器の特定情報とを含む操作対象機器の操作案内情報の提供要求を、提供要求送信手段４３がサーバ装置１に送信する。これに応じて、サーバ装置１から送信されてくる操作対象機器の操作案内情報を操作案内受信手段４４が受信する。操作案内情報は、上述もしたように、操作案内画像データ及び操作支援アプリケーションとガイダンス情報とを含む。
【００４１】
そして、操作案内出力手段４５は、サーバ装置１からの操作案内画像データ及び操作支援アプリケーションとガイダンス情報とに応じて、操作案内画面やガイダンス情報を出力し、端末装置４のユーザに提供する。これにより、端末装置４のユーザは、出力される操作案内画面やガイダンス情報に応じて、事務機器等５の操作対象機器を操作することができる。また、ユーザからの操作入力に応じて、操作支援アプリケーションが機能し、操作案内出力手段４５を通じて出力する操作案内画面の表示を切り替えたり、遠隔操作手段４６を通じてリモコン信号を生成して送出したりする。
【００４２】
このような機能を有する端末装置４の具体的な構成例を図３に示す。図３に示すように、この実施の形態の端末装置４は、ネットワーク２を通じて通信を行う部分として、送受信アンテナ４０１、無線通信部４０２、受話器（スピーカ）４０３、送話器（マイクロホン）４０４を備える。また、端末装置４は、ユーザインターフェースとしての機能を実現する部分として、キー操作部４１１、表示制御部４１２、表示部４１３、タッチパネル４１４、音声処理部４１５、スピーカ４１６を備える。さらに、端末装置４は、多言語辞書４３１、リモコン信号送信部４３２を備えると共に、端末装置４の各部を制御する制御部４２０を備える。
【００４３】
制御部４２０は、ＣＰＵ４２１、ＲＯＭ４２２、ＲＡＭ４２３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）４２４が、ＣＰＵバス４２５を通じて接続されて構成されたコンピュータ装置である。キー操作部４１１は、数字キーや各種のファンクションキーが設けられ、ユーザからの操作入力を受け付けるものである。
【００４４】
なお、制御部４２０は、キー操作４１１を通じて使用言語の選択入力を受け付けると、当該選択入力に応じた使用言語種別をＥＥＰＲＯＭ４２４に設定する。これにより、当該端末装置４は、以後、ＥＥＰＲＯＭ４２４に設定された使用言語種別により特定される言語を使用言語（表示言語、入力言語）とする。
【００４５】
表示制御部４１２と表示部４１３とは、種々の画像や表示メッセージなどの表示情報を表示するためのものである。表示部４１３は、例えば、有機ＥＬディスプレイ（organic electroluminescence display）やＬＣＤ（Liquid Crystal Display）等のいわゆる薄型の表示素子が用いられている。また、タッチパネル４１４は、表示部４１３の表示画面に貼付され、ユーザの指等の指示体による接触位置（接触座標）を検出し、これを制御部４２０に通知するものである。したがって、タッチパネル４１４は、制御部４２０によって表示位置が制御される表示部４１３の表示画面に表示される表示情報と共に入力インターフェースを構成する。また、音声処理部４１５とスピーカ４１６とは、種々の音声情報を出力するためのものである。
【００４６】
カメラ部４１７は、撮像レンズ、撮像素子、カメラ信号処理回路などからなる。この実施の形態においてカメラ部４１７は、操作対象機器の操作部部分を撮影する場合に用いられる。カメラ部４１７を通じて撮影されて得られた操作対象機器の操作部部分の画像データは、上述もしたように、操作機器を特定するための特定情報の１つとして用いられる。また、カメラ部４１７は、上述したＡＲ技術を用いてガイダンスを行う場合に、操作対象機器の画像を取り込む場合にも用いられる。
【００４７】
また、多言語辞書４３１は、端末装置４における多言語対応機能を実現するために設けられたものであり、端末装置４において対応している複数の言語のそれぞれについて、文字表示や文字入力を実現するために必要となる種々の情報を保持する。また、リモコン信号送信部４３２は、赤外線発光部と発光制御部とからなり、制御部４２０の制御に応じたリモコン信号（赤外線信号）を生成し、これを送出するものである。
【００４８】
そして、図３において、参照符号４１〜４６を付して示した部分が、図１に示した端末装置４の各手段の機能を実現する。すなわち、キー操作部４１１が言語選択受付手段４１としての機能を実現し、キー操作部４１１及びカメラ部４１７が特定情報取得手段４２としての機能を実現している。また、送受信アンテナ４０１及び無線通信部４０２が提供要求送信手段４３及び操作案内受信手段４４の機能を実現している。また、表示制御部４１２及び表示部４１３、音声処理部４１５及びスピーカ４１６が操作案内出力手段４５の機能を実現し、制御部４２０とリモコン信号送信部４３２とが遠隔操作手段４６の機能を実現している。
【００４９】
したがって、サーバ装置１との間の通信は、送受信アンテナ４０１及び無線通信部４０２を通じて行い、操作案内情報の出力は、表示制御部４１２及び表示部４１３、音声処理部４１５及びスピーカ４１６を通じて行う。なお、サーバ装置１から提供される操作案内情報は、ＥＥＰＲＯＭ４２４に格納し、これを利用する。また、言語選択入力は、キー操作部４１１を通じて受け付け、操作対象機器の特定情報の取得は、キー操作部４１１またはカメラ部４１７を通じて行う。また、遠隔操作が可能な機器に対しては、制御部４２０とリモコン信号送信部４３２とが協働して遠隔操作できるようにしている。
【００５０】
このような構成を有する端末装置４は、操作対象機器の特定情報と端末装置４の使用言語種別とを含む操作案内情報の提供要求をサーバ装置１に送信し、サーバ装置１から操作対象機器についての指示の使用言語に応じた操作案内情報の提供を受ける。そして、端末装置４は、当該操作案内情報を出力して、操作対象機器を操作するユーザをアシストする。また、操作対象機器が遠隔操作可能なものである場合には、端末装置４はリモコン信号を生成して送出することによって遠隔操作することもできる。
【００５１】
［サーバ装置１の処理と端末装置４の処理］
次に、図１、図２を用いて説明した構成を有するサーバ装置１での処理と、図１、図３を用いて説明した構成を有する端末装置４での処理とについて、フローチャートを参照しながら具体的に説明する。以下では、（１）端末装置４の操作案内情報の取得処理、（２）サーバ装置１の操作案内情報の提供処理、（３）端末装置４の操作案内情報の利用処理の順で説明する。
【００５２】
［（１）端末装置４の操作案内情報の取得処理］
図４は、端末装置４で実行される操作案内情報の取得処理について説明するためのフローチャートである。端末装置４の制御部４２０は、キー操作部４１１を通じて、操作対象機器の操作案内情報の提供を受けるための所定の操作入力を受け付けると、図４に示す処理を実行する。ここで、当該所定の操作入力は、例えば、当該処理に対応付けられたアイコンやメニュー項目等を選択するものである。そして、制御部４２０は、サーバ装置１の各種の機器の操作案内情報を提供するサイトのＵＲＬ（Uniform Resource Locator）を用いて、当該サイトにアクセスする（ステップＳ１０１）。
【００５３】
そして、制御部４２０は、サーバ装置１から操作対象機器の操作案内情報の提供を受けるための準備処理を実効する（ステップＳ１０２）。ステップＳ１０２では、制御部４２０は、サーバ装置１からサービスの提供を受けるためのサービスアプリケーションの提供を受けて、これを実行する処理を行う。
【００５４】
次に、制御部４２０は、ステップＳ１０２において実行したサービスアプリケーションにしたがって、まず、操作対象機器の特定情報を取得する（ステップＳ１０３）。このステップＳ１０３の処理は、キー操作部４１１を通じて操作対象機器の型番の入力を受け付けたり、あるいは、ユーザの操作に応じて、カメラ部４１７を通じて、操作対象機器の操作部部分の画像を撮影して画像データを取得したりする処理を行う。次に、制御部４２０は、上述もしたように、ＥＥＰＲＯＭ４２４に設定されている使用言語種別を取得する（ステップＳ１０４）。
【００５５】
この後、制御部４２０は、ステップＳ１０３で取得した操作対象機器の特定情報とステップＳ１０４で取得した使用言語種別とを含む、操作対象機器の操作案内情報の提供要求を生成し、これをサーバ装置１に送信する（ステップＳ１０５）。そして、制御部４２０は、ステップＳ１０５で送信した提供要求に応じてサーバ装置から送信されてくる操作案内情報を受信し（ステップＳ１０６）、操作案内情報が受信できたか否かを判別する（ステップＳ１０７）。
【００５６】
ステップＳ１０７において、操作案内情報が受信できたと判別したときには、制御部４２０は、サーバ装置１との間の接続を解放する（ステップＳ１０８）。そして、制御部４２０は、ステップＳ１０６において受信した操作支援アプリケーションを実行し（ステップＳ１０９）、この図４に示す処理を終了する。なお、ステップＳ１０９で操作支援アプリケーションが実行されることにより、後述する（３）端末装置４の操作案内情報の利用処理が行われる。
【００５７】
また、ステップＳ１０７の判別処理において、操作案内情報が受信できなかったと判別したときには、制御部４２０は、操作案内情報が受信できなかったことを示すメッセージを、表示制御部４１２を通じて表示部４１３に表示する（ステップＳ１１０）。例えば、サーバ装置１において、該当する操作案内情報が見つからなかったときには、サーバ装置１から「該当する操作案内情報が見つかりません。」といったメッセージが提供されるので、これを表示する。また、サーバ装置１からの応答自体が受信できなかったときには、制御部４２０は、「応答がありません。」といったメッセージを形成し、これを表示する。
【００５８】
そして、制御部４２０は、キー操作部４１１を通じて、再度、操作案内情報の提供を要求するか、あるいは、当該操作案内情報の取得処理を終了するかの選択入力を受け付ける（ステップＳ１１１）。この後、制御部４２０は、終了指示を受け付けたか否かを判別し（ステップＳ１１２）、終了指示を受け付けていないと判別したときには、ステップＳ１０３からの処理を行うようにして、再度、操作案内情報の提供を要求する処理を行う。また、ステップＳ１１２の判別処理で終了指示を受け付けたと判別したときには、制御部４２０は、サーバ装置１との間の接続を解放し（ステップＳ１１３）、この図４に示す処理を終了する。
【００５９】
このようにして、端末装置４は、サーバ装置１から操作対象機器の操作案内情報を取得して、これを利用することができる。
【００６０】
［（２）サーバ装置１の操作案内情報の提供処理］
図５は、サーバ装置１で実行される操作案内情報の提供処理について説明するためのフローチャートである。この図５に示す処理は、サーバ装置１の主に制御部１２０が、常時、実行している処理である。
【００６１】
まず、サーバ装置１の制御部１２０は、端末装置４からのアクセスを受け付ける（ステップＳ２０１）。ステップＳ２０１においては、端末装置４からのアクセスを受け付けるまで待ち状態にある。ステップＳ２０１において、端末装置４からのアクセスを受け付けたときには、制御部１２０は、操作案内情報を提供するための準備処理を行う（ステップＳ２０２）。このステップＳ２０２では、アクセス元の端末装置４がサーバ装置１からのサービスの提供を受けることができるようにするサービスアプリケーションの提供が行われる。
【００６２】
この後、サーバ装置１の制御部１２０は、端末装置４から送信されてくる操作案内情報の提供要求を受信する（ステップＳ２０３）。当該操作案内情報の提供要求は、上述もしたように、操作対象機器の特定情報と使用言語種別とが含まれるものである。このため、制御部１２０は、当該提供要求から特定情報と使用言語種別とを抽出し、これに基づいて操作案内ＤＢ１０３の登録データを参照し、該当する操作案内情報を検索する（ステップＳ２０４）。
【００６３】
ステップＳ２０４においては、特定情報が操作対象機器の製品型番であるときには、これをキー情報として用いて操作案内ＤＢ１０３を参照する。また、特定情報が操作対象機器の操作部部分の画像データであるときには、当該画像データと操作案内ＤＢ１０３の各登録データの操作部画像データとのマッチング処理を行って、目的とする登録データを検索する。
【００６４】
そして、制御部１２０は、該当する登録データが検索できたか否かを判別する（ステップＳ２０５）。ステップＳ２０５の判別処理において、該当する登録データが検索できたと判別したときには、制御部１２０は、当該登録データから操作案内情報を抽出する（ステップＳ２０６）。この後、制御部１２０は、ステップＳ２０６で抽出した情報をアクセス元の端末装置４に送信する（ステップＳ２０７）。また、ステップＳ２０５の判別処理において、該当する登録データが検索できなかったと判別したときには、制御部１２０は、登録データが検出できなかった旨の応答メッセージを形成する（ステップＳ２０８）。そして、制御部１２０は、ステップＳ２０８で形成した応答メッセージをアクセス元の端末装置４に送信する（ステップＳ２０９）。
【００６５】
そして、ステップＳ２０７、ステップＳ２０９の処理の後においては、制御部１２０は、アクセス元の端末装置４から自機との間の接続が解放するようにされたか否かを判別する（ステップＳ２１０）。ステップＳ２１０の判別処理において、解放されていないと判別したときには、ステップＳ２０３からの処理を繰り返し、操作案内情報の提供処理を続行する。ステップＳ２１０の判別処理において、解放されたと判別したときには、制御部１２０もまた、アクセス元の端末装置４との接続を解放するようにし（ステップＳ２１１）、ステップＳ２０１からの処理を繰り返し、新たなアクセスに対応できるようにする。
【００６６】
このように、サーバ装置１は、アクセス元の端末装置４からの提供要求に応じて、アクセス元の端末装置４のユーザが操作しようとしている操作対象機器の、アクセス元の端末装置４の使用言語に応じた操作案内情報を特定して、これを提供することができる。
【００６７】
［（３）端末装置４の操作案内情報の利用処理］
図６は、端末装置４で実行される操作案内情報の利用処理について説明するためのフローチャートである。この図６に示す処理は、図４に示したステップＳ１０９において実行される操作支援アプリケーションにより行われる処理である。
【００６８】
この場合、まず、端末装置４の制御部４２０は、表示制御部４１２を制御し、サーバ装置１から提供を受けた操作案内情報の最初に処理対象の操作案内画像データが、ＡＲ画像データか否かを判別する（ステップＳ３０１）。当該判別は上述もしたように、操作案内画像データに付加されている情報に基づいて判別することができる。ステップＳ３０１の判別処理において、処理すべき操作案内画像データがＡＲ画像データであると判別したときには、制御部４２０はカメラ部４１７を起動させる（ステップＳ３０２）。これにより、カメラ部４１７を通じて取り込んだ画像が、制御部４２０及び表示処理部４１２を通じて表示部４１３の表示画面に表示される。このとき、操作対象機器を撮影することを促す使用言語に応じたメッセージを表示部４１３の表示画面に表示させることにより、ユーザに端末装置４を通じて行うべき操作を適切に指示できる。
【００６９】
次に、制御部４２０は、カメラ部４１７を通じて取り込んだ操作対象機器の画像上に、ガイダンス情報を透過して表示させる処理を行う（ステップＳ３０３）。具体的に、ステップＳ３０３において制御部４２０は、カメラ部４１７を通じて取り込んだ操作対象機器の画像データと、サーバ装置１から提供を受けたＡＲ画像データとのマッチングを行う。そして、カメラ部４１７を通じて取り込んだ操作対象機器の画像上において、ガイダンス情報を表示させる目的位置を特定し、特定した目的位置にガイダンス情報を表示させる。
【００７０】
この後、制御部４２０は、タッチパネル４１４を通じて操作入力を受け付ける（ステップＳ３０４）。そして、ステップＳ３０４で受け付けた操作入力に応じて、サーバ装置１から提供を受けた操作案内情報の次に処理すべき操作案内画像データは、ＡＲ画像データか否かを判別する（ステップＳ３０５）。ステップＳ３０５において、次に処理すべき操作案内画像データがＡＲ画像データであると判別した時には、制御部４２０は、カメラ部４１７を既に起動済みか否かを判別する（ステップＳ３０６）。
【００７１】
ステップＳ３０６の判別処理において、カメラ部４１７が既に起動済みであると判別したときには、ステップＳ３０３からの処理を繰り返し、カメラ部４１７は起動されていないと判別したときには、ステップＳ３０２からの処理を繰り返す。これにより、ＡＲ技術を用い、カメラ部４１７を通じて取り込む操作対象機器の実際の画像を用いて、当該操作対象機器についての操作案内を使用言語に応じて行うことができる。
【００７２】
また、ステップＳ３０１の判別処理において、処理すべき操作案内画像データがＡＲ画像データではないと判別したときには、最初に処理すべき操作案内画像データに応じた画像（操作画面の画像）を表示画面に表示する処理を行う（ステップＳ３０７）。なお、出力すべき映像ガイダンス情報や音声ガイダンス情報が存在する場合には、これらも出力する。次に、制御部４２０は、ステップＳ３０７において表示部４１３に表示した操作案内画面に対する操作入力を、タッチパネル４１４を通じて受け付ける（ステップＳ３０８）。
【００７３】
この後、制御部４２０は、ステップＳ３０８において受け付けた操作入力は、どのような操作入力かを判別する。すなわち、上述したように、操作案内画面を形成する画像データにおいては、端末装置４の表示部４１３の表示画面のどの位置にどのような操作ボタンを表示するかを端末装置４の制御部４２０において認識することができるようになっている。また、各画像データにおいては、各操作ボタンに対応する他の表示画面がある場合には、当該他の表示画面を特定する情報や、リモコン用の操作案内画面の場合には、各操作ボタンに対応して、どのようなリモコン信号を発生させるかを示す情報も付加されている。このため、制御部４２０は、当該操作案内画面を形成する画像データの情報と、タッチパネル４１４からの座標データとに基づいて、どのような操作入力が行われたのかを判別することができる。
【００７４】
そこで、制御部４２０は、ステップＳ３０８において受け付けた操作入力は、リモコン操作に対応するものか否かを判別する（ステップＳ３０９）。ステップＳ３０９の判別処理において、リモコン操作に対応するものであると判別したときには、制御部４２０は、操作された操作ボタンに対応するリモコン信号を生成して送出する処理を行う（ステップＳ３１０）。すなわち、ステップＳ３１０において制御部４２０は、ユーザによって操作された操作ボタンに対応するリモコン信号を生成して送出するように、リモコン信号送信部４３２を制御する。この後、制御部４２０は、ステップＳ３０８からの処理を繰り返す。
【００７５】
また、ステップＳ３０９の判別処理において、受け付けた操作入力は、リモコン操作に対応するものではないと判別したときには、ステップＳ３０５の判別処理に進む。この場合には、ステップＳ３０８で受け付けた操作入力に応じて、サーバ装置１から提供を受けた操作案内情報の次に処理すべき操作案内画像データは、ＡＲ画像データか否かを判別する（ステップＳ３０５）。ステップＳ３０５において、次に処理すべき操作案内画像データがＡＲ画像データではないと判別した時には、操作された操作ボタンには対応する他の操作案内画面が存在するか否かを判別する（ステップＳ３１１）。ステップＳ３１１の判別処理は、ステップＳ３０４またはステップＳ３０８で受け付けた操作入力が判別の対象となる。
【００７６】
ステップＳ３１１の判別処理において、他の操作画面が存在すると判別したときには、制御部４２０は、操作された操作ボタンに対応付けられている他の表示画面を表示部４１３に表示する処理を行う（ステップＳ３１２）。この後、制御部４２０は、ステップＳ３０８からの処理を繰り返す。
【００７７】
また、ステップＳ３１１の判別処理において、他の操作画面が存在しないと判別したときには、制御部４２０は、受け付けた操作入力は、終了操作か否かを判別する（ステップＳ３１３）。ステップＳ３１３の判別処理において、受け付けた操作入力は終了操作ではないと判別したときには、ステップＳ３０８からの処理を繰り返し、操作案内画面に対する操作入力の受け付けを続行する。また、ステップＳ３１３の判別処理において、受け付けた操作入力は終了操作であると判別したときには、制御部４２０は、所定の終了処理を実行し（ステップＳ３１４）、この図６に示す処理を終了する。なお、所定の終了処理は、提供を受けた操作案内情報をＥＥＰＲＯＭから削除したり、表示部４１３の表示画面の表示を所定の表示に戻したり、カメラ部４１７が起動されているときにはこれを停止させたりする処理が含まれる。
【００７８】
このようにして、端末装置４のユーザは、端末装置４を通じて操作対象機器を操作するに当たって、ＡＲ技術を用いた実画像上のガイダンス情報や操作案内画面を通じて支援を受けることができる。また、操作対象機器が、遠隔操作が可能な機器である場合には、端末装置４を通じてリモコン信号を送信し、遠隔操作を行うこともできる。
【００７９】
次に、図６を用いて説明した操作案内情報の利用処理において、端末装置４の表示部４１３の表示画面に表示される操作案内画面の具体例について説明する。図７〜図９は、操作案内画面の一例について説明するための図である。この内、図７、図８は、例えば日本語対応の複合事務機の英語で表現された操作案内画面の例を示している。当該複合事務機は、遠隔操作されることはないが、操作案内画面が複数あるものである。なお、当該複合事務機については、図２を用いて説明した登録情報に応じた操作案内情報がサーバ装置１から端末装置４に提供されるものである。また、図９は、遠隔操作が可能な例えば日本語対応のテレビ受像機のリモートコントローラ（以下、リモコン装置という。）の英語で表現された操作案内画面について説明するための図である。
【００８０】
まず、図７、図８に示した複合事務機の操作案内画面について説明する。図７Ａは、ＡＲ技術が用いられて表示される操作案内画面を示している。この図７Ａに示す操作案内画面は、図６に示したステップＳ３０３において表示される。図７Ａに示すように、端末装置４の表示画面４１３Ｇには、カメラ部４１７を通じて取り込まれた複合事務機を含む画像（実画像）が表示される。そして、カメラ部４１７を通じて取り込まれた画像と、図２を用いて説明した操作案内情報の比較対象となるＡＲ画像データＡＲ１とのマッチング処理により、表示画像上においてガイダンス情報を表示すべき目的位置（コイン投入口の位置）を特定する。そして、この実施の形態においては、図７Ａに示したように、特定した目的位置からいわゆる吹き出しの態様で、「Ｐｕｔ ａ ｃｏｉｎ」というコイン投入口の位置を示すと共に、そこにコインを投入することを促すメッセージが表示されている例を示している。このように、ＡＲ技術を用いることにより、実画像を用いて具体的に操作案内を行うことができる。
【００８１】
そして、図７Ａの状態にあるときに、表示画面４１３の右下端部に表示されている「ＯＫ」ボタンが操作されたとする。この場合に、図２の例に示したように、複合事務機器の初期操作画面が存在していたとする。この場合、図７Ｂに示したように、当該複合事務機の初期操作画面に応じた操作案内画面が表示される。この図７Ｂに示す操作案内画面は、図６に示したステップＳ３１２あるいはステップＳ３０７において表示される。図７Ｂに示した操作案内画面においては、「Ｃｏｐｙ」ボタンと、「Ｆａｘ」ボタンとが表示されている。また、当該操作案内画面には、「操作前にコインを投入することを要求する英語のメッセージ」と「コピー機能とファックス機能とのいずれかを選択するように促す英語のメッセージ」とが表示されている。この図７Ｂに示した初期操作画面に対応する操作案内画面を参照して、ユーザは操作対象機器の操作部を実際に操作する。
【００８２】
そして、ユーザが操作対象機器の操作部の日本語表示された「コピー」ボタンを操作することにより、コピー機能を使うようにしたとする。この場合、ユーザによって実際に操作された操作対象機器（複合事務機）の操作画面には、日本語のコピー機能を使うための操作画面が表示される。そこで、端末装置４のユーザは、図７Ａにおいて、指（指示体）ｆｇが示すように、端末装置４に表示された操作案内画面の「Ｃｏｐｙ」ボタンを操作する。つまり、「Ｃｏｐｙ」ボタンが表示されている位置のタッチパネル４１４上に指等を接触させる。
【００８３】
すると、図６に示したステップＳ３１２の処理において、図８に示すように、コピー機能を使うための英語による操作案内画面が端末装置４の表示部４１３の表示画面に表示される。この時、音声情報としてのガイダンス情報がある場合には、端末装置４のスピーカ４１６から放音される。この場合、例えば、図８にも示したように、「用紙サイズを選択してください。」、「コピー枚数を入力してください。」、「コピーを濃くする場合には、左矢印キーを押してください。」、「コピーを淡くする場合には、右矢印キーを押してください。」といった英語のガイダンス音声が、端末装置４のスピーカ４１６から放音される。
【００８４】
また、図７Ｂの操作案内画面において、「Ｆａｘ」ボタンが操作されたときには、図示しないが、ファックス機能を使うための英語による操作案内画面が端末装置４の表示部４１３の表示画面に表示され、ファックス機能を用いる場合の支援を行う。
【００８５】
このように、操作対象機器が複合事務機などの場合には、端末装置４の操作案内画面やガイダンス情報にしたがって、目的とする操作対象機器を操作することができる。そして、操作対象機器の操作画面が変化する場合であっても、操作対象機器に対して行った操作を端末装置４側においても辿るように操作して、その操作画面の変化を端末装置４においても使用言語に対応した操作案内画面で再現することができる。したがって、複数の操作画面が変化する操作対象機器についても戸惑うことなく目的とする操作を行うことができる。
【００８６】
次に、図９に示したテレビ受像機のリモコンの操作案内画面について説明する。図９Ａは、所定のテレビ受像機のリモコン装置に応じた操作案内画面を示している。図９Ａは、日本語では「電源」、「音量」、「チャンネル」などと表記される部分が、使用言語である英語で「Ｐｏｗｒｅ」、「Ｖｏｌｕｍｅ」、「Ｃｈａｎｎｅｌ」などと表記されたものである。このようなリモコン装置の操作案内画面は、図６に示したステップＳ３０７あるいはステップＳ３１２において端末装置４の表示部４１３の表示画面に表示される。
【００８７】
そして、図９Ａに示したように、端末装置４の表示部４１３の表示画面に表示された操作案内画面に表示された操作ボタンに対して操作を行ったとする。図９Ａに示した操作案内画面のどの操作ボタンも、リモコン信号を送信するものである。このため、図６に示したステップＳ３１０の処理により、操作された操作ボタンに応じたリモコン信号が、制御部４２０に制御されるリモコン信号送信部４３２から送信され、操作対象機器である当該テレビ受像機を遠隔操作することができる。
【００８８】
また、図９Ｂに示したように、ＥＰＧに応じた使用言語対応の操作案内画面の提供を受けることができる場合には、図６に示したステップＳ３０７あるいはステップＳ３１２において、当該操作案内画面を端末装置４の表示部４１３の表示画面に表示する。当該ＥＰＧに応じた使用言語対応の操作案内画面は、上述もしたように、サーバ装置１の翻訳処理部１０４の機能が用いられ、サーバ装置１において形成され、端末装置４に提供される情報である。そして、ユーザが視聴したい番組を選択した場合には、図６のステップＳ３１０の処理において、選択された番組の選局を指示するリモコン信号を生成し、これを出力することもできる。
【００８９】
すなわち、操作案内画面は、操作対象機器に対して操作を行わなければならない場合には、当該操作対象機器の操作画面に対応したものとなる。しかし、操作対象機器を遠隔操作する場合には、ユーザの利便性を考慮し、操作しやすい態様とすることも可能である。
【００９０】
なお、図７〜図９に示した操作案内画面はあくまでも一例であり、種々の操作対象機器の種々の操作案内画面を形成し、これを用いることができる。したがって、ハードディスクレコーダなどの操作案内画面をサーバ装置１に用意しておくことにより、ユーザが使いなれた言語の操作案内画面を、端末装置４を通じて用いて、録画をおこなったり、録画予約を行ったりすることももちろんできる。
【００９１】
［実施の形態の効果］
外国で当該外国の言語で操作案内が表示されている種々の電子機器を操作する場合に、ユーザが使い慣れた言語で表現された操作案内画面やガイダンス情報をサーバ装置１から端末装置４が得て、これらをユーザに対して提供（表示や放音）する。これにより、ユーザは、提供された情報を参考にして、操作対象機器を戸惑うことなく操作できる。すなわち、操作対象機器を操作するユーザを適切に支援することができる。また、操作対象機器が、遠隔操作が可能なものである場合には、ユーザが使い慣れた言語で表現された操作案内画面を用い、端末装置４を通じて、当該操作対象機器を遠隔操作することができる。
【００９２】
［変形例等］
なお、操作対象機器に対応する登録情報が操作案内ＤＢ１０３に存在するが、使用言語種別に応じた言語のものが存在しなかったとする。この場合には、サーバ装置１は、当該登録情報の操作案内画像データに含まれる文字情報やガイダンス情報を、ネットワーク２上の翻訳サーバの翻訳機能を用いて、指示された使用言語種別の言語に翻訳し、これを提供することもできる。したがって、使用頻度の高い１つ以上の言語で、操作案内画像データやガイダンス情報を形成しておく。そして、サーバ装置１が、操作案内情報の提供要求を受信したときに、指示された使用言語種別に応じた操作案内情報が存在しない場合には、指示された使用言語種別に応じた言語に翻訳して提供することもできる。翻訳はサーバ装置１の翻訳処理部１０４の機能を用いて行ってもよいし、ネットワーク２上の翻訳サーバ装置の機能を用いて行ってもよい。
【００９３】
また、操作対象機器が自動販売機の場合には、操作案内情報として、使用言語で表現された商品説明や、商品の価格をカメラ映像から読み取り、自国の通貨に換算した情報を含めるようにすることができる。この場合には、上述したＡＲ技術を用いて、商品の価格の表示位置に自国の通貨に換算した情報を吹き出し表示させることで利便性を向上させることができる。なお、使用言語に応じて、ユーザの母国を特定できない場合もある。例えば、使用言語が英語であっても、母国は英国か米国か区別できない。このような場合には、使用言語を公用語として用いている複数の国の通貨換算情報を表示できるようにすればよい。また、端末装置４のユーザに出身国の入力を求め、これをサーバ装置１に通知するようにしてもよい。
【００９４】
また、電子機器の操作案内は、ＡＲ技術を用い、カメラ部４１７を通じて取り込む実画像にガイダンス情報を表示する手法だけを用いて操作案内を行うことができる。また、図７Ｂに示したような、操作対象機器の操作画面を模した案内画面だけで操作案内を行うこともできる。もちろん、上述した実施の形態のように、両方を用いて操作案内を行うこともできる。
【００９５】
また、音声ガイダンス情報をユーザからの操作に応じて繰り返し提供したり、また、表示ガイダンス情報についても、ユーザからの操作に応じて、表示を消去したり、再表示したりすることもできる。
【００９６】
また、操作案内画面は、ユーザが分かりやすいように、幾つかの部分に分割し、スクロールさせたり、改ページさせたりすることができるようにされ、端末装置４の表示部４１３の表示画面に対して、効果的に表示することができるようにされる。
【００９７】
また、端末装置の中には、リモコン信号の送信機能が搭載されていないものもある。この場合には、例えば、デジタルインターフェースを通じて接続可能なリモコン信号の送信装置を端末装置に接続すればよい。
【００９８】
また、図８Ｂでは記載を簡略化しているが、ＥＰＧには番組内容を示す情報なども含まれる。このため、図８Ｂを用いて説明したように、ＥＰＧに応じた操作案内情報の取得を可能にすれば、観光やビジネスで日本を訪れたユーザが、自国語音声で放送される日本語字幕番組や、言葉が分からなくても楽しめるスポーツ番組を確実に見つけて視聴することができる。すなわち、操作対象機器の操作以前に、必要な情報の選択にも貢献できる。
【００９９】
また、端末装置４自体が翻訳機能を有するものである場合には、サーバ装置１から所定の言語の操作案内情報を得て、操作案内画面やガイダンス情報については、端末装置４側で翻訳して利用することも可能である。
【０１００】
［その他］
上述した実施の形態の説明からも明らかなように、端末装置の言語選択受付手段としての機能は、端末装置４のキー操作部４１１が実現し、端末装置の特定情報取得手段としての機能は、キー操作部４１１及びカメラ部４１７が実現している。また、端末装置の提供要求送信手段及び操作案内受信手段としての機能は、端末装置４の送受信アンテナ４０１及び無線通信部４０２が実現している。また、操作案内出力手段としての機能は、端末装置４の表示制御部４１２及び表示部４１３、音声処理部４１５及びスピーカ４１６が実現し、端末装置の遠隔操作手段としての機能は、端末装置４の制御部４２０とリモコン信号送信部４３２とが実現している。
【０１０１】
また、サーバ装置の記憶手段としての機能は、サーバ装置１の操作案内ＤＢ１０３が実現し、サーバ装置の提供要求受信手段、案内情報送信手段としての機能は、サーバ装置１の接続端子１０１及び通信部１０２が実現している。また、サーバ装置の案内情報取得手段としての機能は、サーバ装置１の制御部１２０が実現している。
【０１０２】
また、図４、図６のフローチャートに示した処理は、端末装置側で用いられる機器操作支援方法に対応するものである。また、図５のフローチャートに示した処理は、サーバ装置側で用いられる機器操作支援方法に対応するものである。また、図４、図６のフローチャートに応じた処理を実行するプログラムが、端末装置側で実行される機器操作支援プログラムに対応するものである。また、図５のフローチャートに応じた処理を実行するプログラムが、サーバ装置側で実行される機器操作支援プログラムに対応するものである。
【０１０３】
したがって、図４、図６に示した処理を実行するプログラムを形成し、これを高機能携帯電話端末等に搭載して、当該装置において実行可能にしておくことにより、この発明の機器操作支援端末装置を容易に実現することができる。また、図５に示した処理を実行するプログラムを形成し、これをサーバ装置に搭載して、当該装置において実行可能にしておくことにより、この発明の機器操作支援サーバ装置を容易に実現することができる。
【符号の説明】
【０１０４】
１…操作案内提供サーバ装置、１０１…接続端子、１０２…通信部、１０３…操作案内ＤＢ、１１０…ＨＤＤ、１２０…制御部、２…ネットワーク、３…基地局、４…高機能携帯電話端末、４１…言語選択受付手段、４２…特定情報取得手段、４３…提供要求送信手段、４４…操作案内受信手段、４５…操作案内出力手段、４６…遠隔操作手段、４０１…送受信アンテナ、４０２…無線通信部、４０３…受話器（スピーカ）、４０４…送話器（マイクロホン）。４１１…キー操作部、４１２…表示制御部、４１３…表示部、４１４…タッチパネル、４１５…音声処理部、４１６…スピーカ、４２０…制御部、４３１…多言語辞書、４３２…リモコン信号送信部
【技術分野】
【０００１】
この発明は、例えば、スマートフォンなどと呼ばれる高機能携帯電話端末等の多言語対応端末装置を用いて、使用言語に応じた種々の機器の操作支援を行うシステム、装置、方法、プログラムに関する。
【背景技術】
【０００２】
例えば、事務機器、自動販売機、切符等の券売機、ＡＴＭ（Automatic teller machine）やＣＤ（Cash dispenser）、家電製品等、様々な電子機器が提供され、これらを利用することによって様々な利便性を享受することができるようになっている。しかし、初めて操作する電子機器の場合には、操作に戸惑うことがよくある。ましてや外国で電子機器を操作しなければならない場合、操作ガイダンスなどはその国の言語で提示されるので、目的とする操作がなかなかできなかったり、操作を間違えてしまったりすることがある。
【０００３】
このため、電子機器の中には多言語に対応し、選択された言語でガイダンス情報等を出力できるようにしているものもある。その一例として、特許文献１には、多言語対応ナビゲーション装置に関する発明が開示されている。このように、多言語対応の電子機器の場合には、自分の使い慣れた言語でガイダンス情報等が提供されるので、ユーザは戸惑うことなく操作することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０９６２８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、観光やビジネスで日本を訪れる外国人について考えてみると、コンビニエンスストアや会社ではコピー機などの事務機器を利用し、外出先などでは自動販売機を利用し、駅では券売機を利用する。また、銀行やコンビニエンスストア等ではＡＴＭやＣＤを利用し、ホテルなどの宿泊先ではテレビを始めとする家電製品を利用する。このように、種々の場面で操作対象となる電子機器は数多くある。
【０００６】
これらの種々の電子機器のそれぞれを多言語対応にするにはコストが掛かるし、また、既に利用されている電子機器を多言語対応にすることは容易ではない。現状においては、ごく一部の電子機器を除き、ほとんどの電子機器は多言語対応になっていない。このため、既に利用されている様々な電子機器について、外国人であっても戸惑うことなく操作できるようにすることが求められている。同様のことは、日本人が外国に出かけた場合にもいえることである。
【０００７】
以上のことに鑑み、様々な電子機器について、どのような言語を用いるユーザであっても、戸惑うことなく操作できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１に記載の発明の機器操作支援システムは、
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムであって、
前記端末装置は、
使用言語の選択入力を受け付ける言語選択受付手段と、
操作対象機器を特定するための特定情報を取得する特定情報取得手段と、
前記特定情報と選択された前記使用言語の種別を示す使用言語種別とを含む、操作案内情報の提供要求を前記サーバ装置に送信する提供要求送信手段と、
前記サーバ装置からの前記操作対象機器の前記使用言語に応じた操作案内情報を受信する案内情報受信手段と、
前記操作案内情報を出力する出力手段と
を備え、
前記サーバ装置は、
操作対象機器毎に、操作案内情報を記憶する記憶手段と、
前記端末装置からの前記操作案内情報の提供要求を受信する提供要求受信手段と、
前記記憶手段に記憶されている情報を用いて、前記提供要求の前記特定情報により特定される操作対象機器の前記使用言語種別に応じた操作案内情報を取得する案内情報取得手段と、
取得した前記案内情報を前記端末装置に送信する案内情報送信手段と
を備えることを特徴とする。
【０００９】
この請求項１に記載の発明の機器操作支援システムによれば、端末装置においては、提供要求送信手段を通じて、操作案内情報の提供要求がサーバ装置に送信される。当該提供要求は、特定情報取得手段を通じて取得された特定情報と、言語選択受付手段を通じて選択された使用言語についての種別を示す使用言語種別とを含むものである。
【００１０】
一方、サーバ装置では、提供要求受信手段により端末装置からの提供要求が受信される。そして、案内情報取得手段によって、記憶手段に記憶されている情報が用いられ、受信した提供要求に含まれる特定情報と使用言語種別に応じた操作案内情報が取得され、これが案内情報送信手段を通じて要求元の端末装置に対して送信される。
【００１１】
そして、サーバ装置からの操作案内情報は、端末装置の案内情報受信手段を通じて受信され、これが出力手段を通じて出力されて端末装置のユーザに提供される。当該操作案内情報は、端末装置からの特定情報により特定される操作対象機器についてのものであり、しかも端末装置からの使用言語手段により特定される使用言語に応じたものである。
【００１２】
これにより、当該端末装置のユーザは、出力される操作案内情報を利用して、操作対象機器を操作することができる。そして、上述したように、特定情報と使用言語種別とに応じて、種々の操作対象機器についての種々の使用言語で表現された操作案内情報を取得することができる。したがって、種々の操作対象機器を操作する場合に、どのような言語を用いるユーザに対しても、戸惑うことなく操作ができるように支援することができる。
【発明の効果】
【００１３】
この発明によれば、様々な電子機器について、どのような言語を用いるユーザであっても、戸惑うことなく操作できるように支援することができる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態の機器操作支援システムの概略構成を説明するための図である。
【図２】操作案内データベース１０３に格納される登録データの例を説明するための図である。
【図３】実施の形態の端末装置４の構成例を説明するためのブロック図である。
【図４】端末装置４で実行される操作案内情報の取得処理について説明するためのフローチャートである。
【図５】サーバ装置１で実行される操作案内情報の提供処理について説明するためのフローチャートである。
【図６】端末装置４で実行される操作案内情報の利用処理について説明するためのフローチャートである。
【図７】操作案内画面の一例について説明するための図である。
【図８】操作案内画面の一例について説明するための図である。
【図９】操作案内画面の一例について説明するための図である。
【発明を実施するための形態】
【００１５】
以下、図を参照しながら、この発明のシステム、装置、方法、プログラムの一実施の形態について説明する。
【００１６】
［システムの全体構成］
図１は、この発明のシステムの一実施の形態を実現する機器操作支援システムの概略構成を説明するための図である。図１に示すように、この実施の形態の機器操作支援システムは、操作案内提供サーバ装置１と携帯端末装置４とが、ネットワーク２を通じて接続されることにより形成される。すなわち、操作案内提供サーバ装置１は、この発明の機器操作支援サーバ装置の一実施の形態が適用されたものであり、携帯端末装置４は、この発明の機器操作支援端末装置が適用されたものである。
【００１７】
なお、図１においては携帯端末装置４を１つしか示していないが、実際には多数の携帯端末装置４がネットワーク２を通じて操作案内提供サーバ装置１に接続される。また、携帯端末装置４としては、スマートフォンなどと呼ばれる高機能携帯電話端末やタブレット型端末やパッド型端末などと呼ばれる情報端末など種々のものを用いることが可能である。しかし、この実施の形態において、携帯端末装置４は、広く利用されている高機能携帯電話端末であるものとして説明する。また、以下においては、説明を簡単にするため、操作案内提供サーバ装置１を単にサーバ装置１といい、また、高機能携帯電話端末である携帯端末装置４を単に端末装置４という。
【００１８】
サーバ装置１は、端末装置４からの要求に応じて、当該端末装置４に対して種々の電子機器についての操作案内情報を提供するものである。ネットワーク２は、主にインターネットを意味する。インターネットは、全世界規模で構築されている、インターネット・プロトコルによるネットワークを相互接続して構築されたネットワークである。
【００１９】
なお、ネットワーク２は、インターネットへの接続経路を提供する公衆交換電話網（ＰＳＴＮ（Public Switched Telephone Network））、デジタル回線網（ＩＳＤＮ（Integrated Services Digital Network））、光通信網などをも含む。また、ネットワーク２は、携帯電話網や、Ｗｉ−Ｆｉなどと呼ばれる無線ＬＡＮ（Local Area Network）、ＷｉＭＡＸなどと呼ばれる高速無線通信規格に準じた無線通信網などをも含む。このため、この実施の形態においては、図１に示すように、端末装置４は、携帯電話網の近隣の基地局３を通じてネットワーク２に接続できる。
【００２０】
そして、端末装置４は、上述もしたように、スマートフォンなど呼ばれる高機能携帯電話端末であり、対応可能な数十言語の中からユーザが目的とする使用言語（表示言語や入力言語）を選択して設定することができる。そして、端末装置４は、通信機能を備えると共に、操作及び操作説明に十分な大きさの表示画面と、当該表示画面上にはタッチパネルとを備え、柔軟な情報の表示と柔軟な情報の入力とが可能なものである。当該端末装置４は、例えば、空港などにおいて、外国からの旅行者やビジネスマンに対して貸し出され、ユーザは端末装置４の使用言語を自国の言語に設定して利用することができる。また、既にその滞在地で使用できる端末装置を所有している場合には機能を実現する操作支援アプリケーションをその端末装置で使えるようにすることで利用することができる。
【００２１】
そして、外国人である端末装置４のユーザが、何らかの電子機器を操作する場合を考える。この場合、操作しようとしている電子機器（操作対象機器）のガイダンス表示等は端末装置４のユーザが使用する言語で表示されていないのが通常である。この場合、端末装置４は、ユーザからの指示に応じて、操作対象機器を特定するための特定情報と当該ユーザが用いている言語を示す使用言語種別とをサーバ装置１に通知する。そして、端末装置４は、サーバ装置１から当該操作対象機器についての目的する使用言語に対応した操作案内情報の提供を受ける。端末装置４では、サーバ装置１からの操作案内情報に含まれるガイダンス情報等を表示するなどしてユーザに提供する。
【００２２】
このようにして、この実施の形態の機器操作支援システムは、端末装置４とサーバ装置１とが協働し、ユーザが操作しようとしている操作対象機器の当該ユーザの使用言語に応じたガイダンス情報等を提供する。これにより、どのような言語を使用するユーザが、どのような操作対象機器を操作する場合であっても戸惑うことなく、確実に操作できるようにしている。
【００２３】
［サーバ装置１の構成例］
サーバ装置１は、図１に示すように、制御部１２０に対して、通信部１０２、操作案内データベース（以下、操作案内ＤＢと略称する。）１０３、翻訳処理部１０４、ハードディスクドライブ（以下、ＨＤＤと略称する。）１１０が接続されて構成されている。
【００２４】
制御部１２０は、サーバ装置１の各部を制御するものであり、ＣＰＵ（Central Processing Unit）１２１とＲＯＭ（Read Only Memory）１２２とＲＡＭ（Random Access Memory）１２３とがＣＰＵバス１２４を通じて接続されて構成されたコンピュータ装置である。ＨＤＤ１１０はハードディスクを備え、種々のアプリケーションプログラム、多言語辞書、種々の処理により得られたデータ等のハードディスクへの書込み／記録保持／読み出し／削除を行う。
【００２５】
図１に示すように、通信部１０２は接続端子１０１を通じて、ネットワーク２に接続される。通信部１０２は、ネットワーク２からの信号を受信し、自機が処理可能なデータに変換し制御部１２０に供給する。また、通信部１０２は、制御部１２０を通じて供給される送信用の種々のデータを、プロトコルに準拠した信号に変換してネットワーク２に送出する。
【００２６】
操作案内ＤＢ１０３は、この実施の形態においては、メーカー別、製品（製品型番）別、言語別に、操作案内情報を記憶保持する。この実施の形態において、操作案内ＤＢ１０３は、記録媒体ドライブ装置のハードディスクや光磁気ディスクなどの大容量記録媒体に格納されている。
【００２７】
図２は、操作案内ＤＢ１０３に格納される登録データの例を説明するための図であり、コピー機能とファックス機能とを備えたいわゆる複合事務機についての登録データの例である。この複合事務機は、例えば、コンビニエンスストアなどに設置されて不特定多数のユーザによって利用されるものである。図２に示すように、操作案内ＤＢ１０３に格納される登録データは、メーカーＩＤ、製品型番、言語種別、操作部画像データ、操作案内画像データ及び操作支援アプリケーション、ガイダンス情報からなる。メーカーＩＤはメーカーの識別情報である。言語種別は、当該登録データがどの言語用のものかを示す情報であり、図２に示した例においては「英語」である。
【００２８】
そして、製品型番と操作部画像データとは、操作対象機器を特定するための情報である。この内、操作部画像データは、操作対象機器の製品型番が分からない場合に、撮影されて提供される操作対象機器の操作部の画像データとのマッチング対象となる情報である。したがって、端末装置４のユーザは、操作対象機器の製品型番が分からなくても、操作対象機器の操作部の画像データを撮影して得て、サーバ装置１に送信すれば、サーバ装置１において、操作案内ＤＢ１０３の操作部画像データに基づいて、操作対象機器を特定できる。
【００２９】
また、図２の登録データにおいて、操作案内画像データ及び操作支援アプリケーションと、ガイダンス情報とは、操作案内情報を構成する。操作案内画像データは、言語種別で特定される言語が用いられた操作案内画面を形成するものである。また、操作支援アプリケーションは、当該操作案内画面等を端末装置４において表示して利用できるようにするアプリケーションプログラムである。
【００３０】
図２に示した例において、操作案内画像データは、ＡＲ（Augmented Reality）技術（拡張現実感技術）を用いて、ユーザにガイダンスを提供するために用いられるＡＲ画像データＡＲ１を有する。ＡＲ技術は、カメラ等が捉える現実環境にコンピュータ等を用いて情報を付加して提示する技術である。具体的に、図２に示した例のＡＲ画像データＡＲ１は、後述する端末装置４のカメラ部が捉えた画像が、ＡＲ画像データＡＲ１と一致する場合に、当該複合事務機のコインの投入口を具体的に示すと共に、コインの投入を促すメッセージを表示するために用いられる。そして、ＡＲ画像データには、概念的に示すと図２のＡＲ画像データＡＲ１の部分に点線矢印で示したように、どの位置にガイダンス情報を付すかを示す指示情報（指示子）が付加されている。
【００３１】
また、図２に示した例において、操作案内画像データは、「Ｃｏｐｙ」ボタンと「Ｆａｘ」ボタンを有する初期操作画面を形成する画像データＤ１と、コピー用の操作案内画面を形成する画像データＤ２と、ファクス用の操作案内画面を形成する画像データＤ３をも有する。そして、各画像データＤ１、Ｄ２、Ｄ３等においては、端末装置４の表示部４１３の表示画面のどの位置にどのような操作ボタンを表示するかを端末装置４の制御部４２０において認識することができるようになっている。また、各画像データＤ１、Ｄ２、Ｄ３等においては、各操作ボタンに対応する他の表示画面がある場合には、当該他の表示画面を特定する情報や、リモコン用の操作案内画面の場合には、各操作ボタンに対応して、どのようなリモコン信号を発生させるかを示す情報も付加されている。また、操作案内画像データのそれぞれには、ＡＲ画像データかそれ以外の画像データかを区別するための情報も付加されている。
【００３２】
また、操作支援アプリケーションは、操作案内画像データに基づいて、操作案内画面を表示するものであるが、ユーザからの操作入力をも考慮して、操作案内画面を切り替えたり、リモコン信号を生成して送信するように制御したりすることができるものである。例えば、図２に示した例の場合、操作支援アプリケーションは、最初にＡＲ技術を用いて端末装置４のカメラ部を通じて撮影される操作対象機器の画像において、コインの投入口にコインを投入することを案内するガイダンス表示を行う。次に、画像データＤ１による初期操作画面を表示する。そして、当該操作支援アプリケーションは、「Ｃｏｐｙ」ボタンが操作されると画像データＤ２によるコピー用の操作案内画面を表示し、「Ｆａｘ」ボタンが操作されると画像データＤ３によるファックス用の操作案内画面を表示するといったことができるものである。
【００３３】
また、詳しくは後述もするが、リモコン用の操作案内画面を表示した操作支援アプリケーションは、ユーザにより操作された操作ボタンに対応するリモコン信号を生成するように各部を制御する機能をも実現する。また、操作支援アプリケーションは、必要に応じて、種々のガイダンス情報を出力する処理も行う。
【００３４】
ガイダンス情報は、ＡＲ技術を用いたガイダンス情報の他、対応する操作案内画面を表示したときに出力する表示用ガイダンス情報や音声ガイダンス情報をも含む。図２に示した例では、ＡＲ画像データには、「コイン投入口にコインを投入することを要求する英語のメッセージ」と「ＯＫ」ボタン用の表示情報が設けられている。また、画像データＤ１に対しては、表示用ガイダンス情報として、「操作前にコインを投入することを要求する英語のメッセージ」と「コピー機能とファックス機能とのいずれかを選択するように促す英語のメッセージ」とが設けられている場合を示している。
【００３５】
このような登録データが、上述もしたように、メーカー別、製品（製品型番）別、言語別に形成され、操作案内ＤＢ１０３に格納されている。すなわち、種々の事務機器、種々の自動販売機、種々の券売機、種々のＡＴＭやＣＤ、種々の家電製品についての種々の言語の登録データが形成され、これらが操作案内ＤＢ１０３に格納されている。なお、種々の事務機器、種々の自動販売機、種々の券売機、種々のＡＴＭやＣＤ、種々の家電製品についての操作案内情報は、図２に示した複合事務機の場合と同様に、種々の言語で表現された操作案内画像データ及び操作支援アプリケーションやガイダンス情報が含まれる。
【００３６】
なお、ガイダンス情報として、映像ガイダンス情報と音声ガイダンス情報との一方または両方を用いることができる。また、使用言語としては、英語、中国語、韓国語、フランス語、ドイツ語等、当該端末装置４において使用可能な言語に対応して用意しておくことが好ましい。また、上述もしたように、操作対象機器が、遠隔操作可能なものである場合、操作案内用画像データには、各操作ボタンに対応して、どのようなリモコン信号を発生させるかを示す情報も付加されている。したがって、遠隔操作可能な操作対象機器の操作案内情報は、その操作対象機器に応じたリモコン制御仕様情報を含んだものとなる。
【００３７】
また、翻訳処理部１０４は、端末装置４に提供する提供情報であって、当該提供情報が指示された使用言語に翻訳されていないものである場合に、当該提供情報をＨＤＤ１１０の多言語辞書の情報を用いて翻訳する機能を実現する。例えば、サーバ装置１から端末装置４に提供するＥＰＧ（Electric Program Guide）などは翻訳処理部１０４により翻訳されて形成されたものが提供される。
【００３８】
そして、サーバ装置１の制御部１２０は、端末装置４からの要求に応じて、操作案内ＤＢ１０３から操作案内情報を抽出して送信する。すなわち、要求された操作案内情報の取得（抽出）は、制御部１２０が行う。また、端末装置４との通信は、接続端子１０１及び通信部１０２を通じ行う。このように、サーバ装置１は、端末装置４からの要求に応じた操作案内情報を提供する機能を実現する。
【００３９】
［端末装置４の基本機能と具体的な構成例］
端末装置４は、図１に示すように、言語選択受付手段４１と、特定情報取得手段４２と、提供要求送信手段４３と、操作案内受信手段４４と、操作案内出力手段４５と、遠隔操作手段４６とを備える。言語選択受付手段４１は、ユーザからの当該端末装置４で用いる使用言語（表示言語や入力言語）の選択入力を受け付ける。特定情報取得手段４２は、端末装置４のユーザが操作しようとしている操作対象機器を特定するための特定情報を取得する。ここで、特定情報は、操作対象機器の製品型番や操作対象機器の操作部部分を撮影することにより得られる画像データである。
【００４０】
そして、選択された使用言語の種別を示す使用言語種別と取得された操作対象機器の特定情報とを含む操作対象機器の操作案内情報の提供要求を、提供要求送信手段４３がサーバ装置１に送信する。これに応じて、サーバ装置１から送信されてくる操作対象機器の操作案内情報を操作案内受信手段４４が受信する。操作案内情報は、上述もしたように、操作案内画像データ及び操作支援アプリケーションとガイダンス情報とを含む。
【００４１】
そして、操作案内出力手段４５は、サーバ装置１からの操作案内画像データ及び操作支援アプリケーションとガイダンス情報とに応じて、操作案内画面やガイダンス情報を出力し、端末装置４のユーザに提供する。これにより、端末装置４のユーザは、出力される操作案内画面やガイダンス情報に応じて、事務機器等５の操作対象機器を操作することができる。また、ユーザからの操作入力に応じて、操作支援アプリケーションが機能し、操作案内出力手段４５を通じて出力する操作案内画面の表示を切り替えたり、遠隔操作手段４６を通じてリモコン信号を生成して送出したりする。
【００４２】
このような機能を有する端末装置４の具体的な構成例を図３に示す。図３に示すように、この実施の形態の端末装置４は、ネットワーク２を通じて通信を行う部分として、送受信アンテナ４０１、無線通信部４０２、受話器（スピーカ）４０３、送話器（マイクロホン）４０４を備える。また、端末装置４は、ユーザインターフェースとしての機能を実現する部分として、キー操作部４１１、表示制御部４１２、表示部４１３、タッチパネル４１４、音声処理部４１５、スピーカ４１６を備える。さらに、端末装置４は、多言語辞書４３１、リモコン信号送信部４３２を備えると共に、端末装置４の各部を制御する制御部４２０を備える。
【００４３】
制御部４２０は、ＣＰＵ４２１、ＲＯＭ４２２、ＲＡＭ４２３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）４２４が、ＣＰＵバス４２５を通じて接続されて構成されたコンピュータ装置である。キー操作部４１１は、数字キーや各種のファンクションキーが設けられ、ユーザからの操作入力を受け付けるものである。
【００４４】
なお、制御部４２０は、キー操作４１１を通じて使用言語の選択入力を受け付けると、当該選択入力に応じた使用言語種別をＥＥＰＲＯＭ４２４に設定する。これにより、当該端末装置４は、以後、ＥＥＰＲＯＭ４２４に設定された使用言語種別により特定される言語を使用言語（表示言語、入力言語）とする。
【００４５】
表示制御部４１２と表示部４１３とは、種々の画像や表示メッセージなどの表示情報を表示するためのものである。表示部４１３は、例えば、有機ＥＬディスプレイ（organic electroluminescence display）やＬＣＤ（Liquid Crystal Display）等のいわゆる薄型の表示素子が用いられている。また、タッチパネル４１４は、表示部４１３の表示画面に貼付され、ユーザの指等の指示体による接触位置（接触座標）を検出し、これを制御部４２０に通知するものである。したがって、タッチパネル４１４は、制御部４２０によって表示位置が制御される表示部４１３の表示画面に表示される表示情報と共に入力インターフェースを構成する。また、音声処理部４１５とスピーカ４１６とは、種々の音声情報を出力するためのものである。
【００４６】
カメラ部４１７は、撮像レンズ、撮像素子、カメラ信号処理回路などからなる。この実施の形態においてカメラ部４１７は、操作対象機器の操作部部分を撮影する場合に用いられる。カメラ部４１７を通じて撮影されて得られた操作対象機器の操作部部分の画像データは、上述もしたように、操作機器を特定するための特定情報の１つとして用いられる。また、カメラ部４１７は、上述したＡＲ技術を用いてガイダンスを行う場合に、操作対象機器の画像を取り込む場合にも用いられる。
【００４７】
また、多言語辞書４３１は、端末装置４における多言語対応機能を実現するために設けられたものであり、端末装置４において対応している複数の言語のそれぞれについて、文字表示や文字入力を実現するために必要となる種々の情報を保持する。また、リモコン信号送信部４３２は、赤外線発光部と発光制御部とからなり、制御部４２０の制御に応じたリモコン信号（赤外線信号）を生成し、これを送出するものである。
【００４８】
そして、図３において、参照符号４１〜４６を付して示した部分が、図１に示した端末装置４の各手段の機能を実現する。すなわち、キー操作部４１１が言語選択受付手段４１としての機能を実現し、キー操作部４１１及びカメラ部４１７が特定情報取得手段４２としての機能を実現している。また、送受信アンテナ４０１及び無線通信部４０２が提供要求送信手段４３及び操作案内受信手段４４の機能を実現している。また、表示制御部４１２及び表示部４１３、音声処理部４１５及びスピーカ４１６が操作案内出力手段４５の機能を実現し、制御部４２０とリモコン信号送信部４３２とが遠隔操作手段４６の機能を実現している。
【００４９】
したがって、サーバ装置１との間の通信は、送受信アンテナ４０１及び無線通信部４０２を通じて行い、操作案内情報の出力は、表示制御部４１２及び表示部４１３、音声処理部４１５及びスピーカ４１６を通じて行う。なお、サーバ装置１から提供される操作案内情報は、ＥＥＰＲＯＭ４２４に格納し、これを利用する。また、言語選択入力は、キー操作部４１１を通じて受け付け、操作対象機器の特定情報の取得は、キー操作部４１１またはカメラ部４１７を通じて行う。また、遠隔操作が可能な機器に対しては、制御部４２０とリモコン信号送信部４３２とが協働して遠隔操作できるようにしている。
【００５０】
このような構成を有する端末装置４は、操作対象機器の特定情報と端末装置４の使用言語種別とを含む操作案内情報の提供要求をサーバ装置１に送信し、サーバ装置１から操作対象機器についての指示の使用言語に応じた操作案内情報の提供を受ける。そして、端末装置４は、当該操作案内情報を出力して、操作対象機器を操作するユーザをアシストする。また、操作対象機器が遠隔操作可能なものである場合には、端末装置４はリモコン信号を生成して送出することによって遠隔操作することもできる。
【００５１】
［サーバ装置１の処理と端末装置４の処理］
次に、図１、図２を用いて説明した構成を有するサーバ装置１での処理と、図１、図３を用いて説明した構成を有する端末装置４での処理とについて、フローチャートを参照しながら具体的に説明する。以下では、（１）端末装置４の操作案内情報の取得処理、（２）サーバ装置１の操作案内情報の提供処理、（３）端末装置４の操作案内情報の利用処理の順で説明する。
【００５２】
［（１）端末装置４の操作案内情報の取得処理］
図４は、端末装置４で実行される操作案内情報の取得処理について説明するためのフローチャートである。端末装置４の制御部４２０は、キー操作部４１１を通じて、操作対象機器の操作案内情報の提供を受けるための所定の操作入力を受け付けると、図４に示す処理を実行する。ここで、当該所定の操作入力は、例えば、当該処理に対応付けられたアイコンやメニュー項目等を選択するものである。そして、制御部４２０は、サーバ装置１の各種の機器の操作案内情報を提供するサイトのＵＲＬ（Uniform Resource Locator）を用いて、当該サイトにアクセスする（ステップＳ１０１）。
【００５３】
そして、制御部４２０は、サーバ装置１から操作対象機器の操作案内情報の提供を受けるための準備処理を実効する（ステップＳ１０２）。ステップＳ１０２では、制御部４２０は、サーバ装置１からサービスの提供を受けるためのサービスアプリケーションの提供を受けて、これを実行する処理を行う。
【００５４】
次に、制御部４２０は、ステップＳ１０２において実行したサービスアプリケーションにしたがって、まず、操作対象機器の特定情報を取得する（ステップＳ１０３）。このステップＳ１０３の処理は、キー操作部４１１を通じて操作対象機器の型番の入力を受け付けたり、あるいは、ユーザの操作に応じて、カメラ部４１７を通じて、操作対象機器の操作部部分の画像を撮影して画像データを取得したりする処理を行う。次に、制御部４２０は、上述もしたように、ＥＥＰＲＯＭ４２４に設定されている使用言語種別を取得する（ステップＳ１０４）。
【００５５】
この後、制御部４２０は、ステップＳ１０３で取得した操作対象機器の特定情報とステップＳ１０４で取得した使用言語種別とを含む、操作対象機器の操作案内情報の提供要求を生成し、これをサーバ装置１に送信する（ステップＳ１０５）。そして、制御部４２０は、ステップＳ１０５で送信した提供要求に応じてサーバ装置から送信されてくる操作案内情報を受信し（ステップＳ１０６）、操作案内情報が受信できたか否かを判別する（ステップＳ１０７）。
【００５６】
ステップＳ１０７において、操作案内情報が受信できたと判別したときには、制御部４２０は、サーバ装置１との間の接続を解放する（ステップＳ１０８）。そして、制御部４２０は、ステップＳ１０６において受信した操作支援アプリケーションを実行し（ステップＳ１０９）、この図４に示す処理を終了する。なお、ステップＳ１０９で操作支援アプリケーションが実行されることにより、後述する（３）端末装置４の操作案内情報の利用処理が行われる。
【００５７】
また、ステップＳ１０７の判別処理において、操作案内情報が受信できなかったと判別したときには、制御部４２０は、操作案内情報が受信できなかったことを示すメッセージを、表示制御部４１２を通じて表示部４１３に表示する（ステップＳ１１０）。例えば、サーバ装置１において、該当する操作案内情報が見つからなかったときには、サーバ装置１から「該当する操作案内情報が見つかりません。」といったメッセージが提供されるので、これを表示する。また、サーバ装置１からの応答自体が受信できなかったときには、制御部４２０は、「応答がありません。」といったメッセージを形成し、これを表示する。
【００５８】
そして、制御部４２０は、キー操作部４１１を通じて、再度、操作案内情報の提供を要求するか、あるいは、当該操作案内情報の取得処理を終了するかの選択入力を受け付ける（ステップＳ１１１）。この後、制御部４２０は、終了指示を受け付けたか否かを判別し（ステップＳ１１２）、終了指示を受け付けていないと判別したときには、ステップＳ１０３からの処理を行うようにして、再度、操作案内情報の提供を要求する処理を行う。また、ステップＳ１１２の判別処理で終了指示を受け付けたと判別したときには、制御部４２０は、サーバ装置１との間の接続を解放し（ステップＳ１１３）、この図４に示す処理を終了する。
【００５９】
このようにして、端末装置４は、サーバ装置１から操作対象機器の操作案内情報を取得して、これを利用することができる。
【００６０】
［（２）サーバ装置１の操作案内情報の提供処理］
図５は、サーバ装置１で実行される操作案内情報の提供処理について説明するためのフローチャートである。この図５に示す処理は、サーバ装置１の主に制御部１２０が、常時、実行している処理である。
【００６１】
まず、サーバ装置１の制御部１２０は、端末装置４からのアクセスを受け付ける（ステップＳ２０１）。ステップＳ２０１においては、端末装置４からのアクセスを受け付けるまで待ち状態にある。ステップＳ２０１において、端末装置４からのアクセスを受け付けたときには、制御部１２０は、操作案内情報を提供するための準備処理を行う（ステップＳ２０２）。このステップＳ２０２では、アクセス元の端末装置４がサーバ装置１からのサービスの提供を受けることができるようにするサービスアプリケーションの提供が行われる。
【００６２】
この後、サーバ装置１の制御部１２０は、端末装置４から送信されてくる操作案内情報の提供要求を受信する（ステップＳ２０３）。当該操作案内情報の提供要求は、上述もしたように、操作対象機器の特定情報と使用言語種別とが含まれるものである。このため、制御部１２０は、当該提供要求から特定情報と使用言語種別とを抽出し、これに基づいて操作案内ＤＢ１０３の登録データを参照し、該当する操作案内情報を検索する（ステップＳ２０４）。
【００６３】
ステップＳ２０４においては、特定情報が操作対象機器の製品型番であるときには、これをキー情報として用いて操作案内ＤＢ１０３を参照する。また、特定情報が操作対象機器の操作部部分の画像データであるときには、当該画像データと操作案内ＤＢ１０３の各登録データの操作部画像データとのマッチング処理を行って、目的とする登録データを検索する。
【００６４】
そして、制御部１２０は、該当する登録データが検索できたか否かを判別する（ステップＳ２０５）。ステップＳ２０５の判別処理において、該当する登録データが検索できたと判別したときには、制御部１２０は、当該登録データから操作案内情報を抽出する（ステップＳ２０６）。この後、制御部１２０は、ステップＳ２０６で抽出した情報をアクセス元の端末装置４に送信する（ステップＳ２０７）。また、ステップＳ２０５の判別処理において、該当する登録データが検索できなかったと判別したときには、制御部１２０は、登録データが検出できなかった旨の応答メッセージを形成する（ステップＳ２０８）。そして、制御部１２０は、ステップＳ２０８で形成した応答メッセージをアクセス元の端末装置４に送信する（ステップＳ２０９）。
【００６５】
そして、ステップＳ２０７、ステップＳ２０９の処理の後においては、制御部１２０は、アクセス元の端末装置４から自機との間の接続が解放するようにされたか否かを判別する（ステップＳ２１０）。ステップＳ２１０の判別処理において、解放されていないと判別したときには、ステップＳ２０３からの処理を繰り返し、操作案内情報の提供処理を続行する。ステップＳ２１０の判別処理において、解放されたと判別したときには、制御部１２０もまた、アクセス元の端末装置４との接続を解放するようにし（ステップＳ２１１）、ステップＳ２０１からの処理を繰り返し、新たなアクセスに対応できるようにする。
【００６６】
このように、サーバ装置１は、アクセス元の端末装置４からの提供要求に応じて、アクセス元の端末装置４のユーザが操作しようとしている操作対象機器の、アクセス元の端末装置４の使用言語に応じた操作案内情報を特定して、これを提供することができる。
【００６７】
［（３）端末装置４の操作案内情報の利用処理］
図６は、端末装置４で実行される操作案内情報の利用処理について説明するためのフローチャートである。この図６に示す処理は、図４に示したステップＳ１０９において実行される操作支援アプリケーションにより行われる処理である。
【００６８】
この場合、まず、端末装置４の制御部４２０は、表示制御部４１２を制御し、サーバ装置１から提供を受けた操作案内情報の最初に処理対象の操作案内画像データが、ＡＲ画像データか否かを判別する（ステップＳ３０１）。当該判別は上述もしたように、操作案内画像データに付加されている情報に基づいて判別することができる。ステップＳ３０１の判別処理において、処理すべき操作案内画像データがＡＲ画像データであると判別したときには、制御部４２０はカメラ部４１７を起動させる（ステップＳ３０２）。これにより、カメラ部４１７を通じて取り込んだ画像が、制御部４２０及び表示処理部４１２を通じて表示部４１３の表示画面に表示される。このとき、操作対象機器を撮影することを促す使用言語に応じたメッセージを表示部４１３の表示画面に表示させることにより、ユーザに端末装置４を通じて行うべき操作を適切に指示できる。
【００６９】
次に、制御部４２０は、カメラ部４１７を通じて取り込んだ操作対象機器の画像上に、ガイダンス情報を透過して表示させる処理を行う（ステップＳ３０３）。具体的に、ステップＳ３０３において制御部４２０は、カメラ部４１７を通じて取り込んだ操作対象機器の画像データと、サーバ装置１から提供を受けたＡＲ画像データとのマッチングを行う。そして、カメラ部４１７を通じて取り込んだ操作対象機器の画像上において、ガイダンス情報を表示させる目的位置を特定し、特定した目的位置にガイダンス情報を表示させる。
【００７０】
この後、制御部４２０は、タッチパネル４１４を通じて操作入力を受け付ける（ステップＳ３０４）。そして、ステップＳ３０４で受け付けた操作入力に応じて、サーバ装置１から提供を受けた操作案内情報の次に処理すべき操作案内画像データは、ＡＲ画像データか否かを判別する（ステップＳ３０５）。ステップＳ３０５において、次に処理すべき操作案内画像データがＡＲ画像データであると判別した時には、制御部４２０は、カメラ部４１７を既に起動済みか否かを判別する（ステップＳ３０６）。
【００７１】
ステップＳ３０６の判別処理において、カメラ部４１７が既に起動済みであると判別したときには、ステップＳ３０３からの処理を繰り返し、カメラ部４１７は起動されていないと判別したときには、ステップＳ３０２からの処理を繰り返す。これにより、ＡＲ技術を用い、カメラ部４１７を通じて取り込む操作対象機器の実際の画像を用いて、当該操作対象機器についての操作案内を使用言語に応じて行うことができる。
【００７２】
また、ステップＳ３０１の判別処理において、処理すべき操作案内画像データがＡＲ画像データではないと判別したときには、最初に処理すべき操作案内画像データに応じた画像（操作画面の画像）を表示画面に表示する処理を行う（ステップＳ３０７）。なお、出力すべき映像ガイダンス情報や音声ガイダンス情報が存在する場合には、これらも出力する。次に、制御部４２０は、ステップＳ３０７において表示部４１３に表示した操作案内画面に対する操作入力を、タッチパネル４１４を通じて受け付ける（ステップＳ３０８）。
【００７３】
この後、制御部４２０は、ステップＳ３０８において受け付けた操作入力は、どのような操作入力かを判別する。すなわち、上述したように、操作案内画面を形成する画像データにおいては、端末装置４の表示部４１３の表示画面のどの位置にどのような操作ボタンを表示するかを端末装置４の制御部４２０において認識することができるようになっている。また、各画像データにおいては、各操作ボタンに対応する他の表示画面がある場合には、当該他の表示画面を特定する情報や、リモコン用の操作案内画面の場合には、各操作ボタンに対応して、どのようなリモコン信号を発生させるかを示す情報も付加されている。このため、制御部４２０は、当該操作案内画面を形成する画像データの情報と、タッチパネル４１４からの座標データとに基づいて、どのような操作入力が行われたのかを判別することができる。
【００７４】
そこで、制御部４２０は、ステップＳ３０８において受け付けた操作入力は、リモコン操作に対応するものか否かを判別する（ステップＳ３０９）。ステップＳ３０９の判別処理において、リモコン操作に対応するものであると判別したときには、制御部４２０は、操作された操作ボタンに対応するリモコン信号を生成して送出する処理を行う（ステップＳ３１０）。すなわち、ステップＳ３１０において制御部４２０は、ユーザによって操作された操作ボタンに対応するリモコン信号を生成して送出するように、リモコン信号送信部４３２を制御する。この後、制御部４２０は、ステップＳ３０８からの処理を繰り返す。
【００７５】
また、ステップＳ３０９の判別処理において、受け付けた操作入力は、リモコン操作に対応するものではないと判別したときには、ステップＳ３０５の判別処理に進む。この場合には、ステップＳ３０８で受け付けた操作入力に応じて、サーバ装置１から提供を受けた操作案内情報の次に処理すべき操作案内画像データは、ＡＲ画像データか否かを判別する（ステップＳ３０５）。ステップＳ３０５において、次に処理すべき操作案内画像データがＡＲ画像データではないと判別した時には、操作された操作ボタンには対応する他の操作案内画面が存在するか否かを判別する（ステップＳ３１１）。ステップＳ３１１の判別処理は、ステップＳ３０４またはステップＳ３０８で受け付けた操作入力が判別の対象となる。
【００７６】
ステップＳ３１１の判別処理において、他の操作画面が存在すると判別したときには、制御部４２０は、操作された操作ボタンに対応付けられている他の表示画面を表示部４１３に表示する処理を行う（ステップＳ３１２）。この後、制御部４２０は、ステップＳ３０８からの処理を繰り返す。
【００７７】
また、ステップＳ３１１の判別処理において、他の操作画面が存在しないと判別したときには、制御部４２０は、受け付けた操作入力は、終了操作か否かを判別する（ステップＳ３１３）。ステップＳ３１３の判別処理において、受け付けた操作入力は終了操作ではないと判別したときには、ステップＳ３０８からの処理を繰り返し、操作案内画面に対する操作入力の受け付けを続行する。また、ステップＳ３１３の判別処理において、受け付けた操作入力は終了操作であると判別したときには、制御部４２０は、所定の終了処理を実行し（ステップＳ３１４）、この図６に示す処理を終了する。なお、所定の終了処理は、提供を受けた操作案内情報をＥＥＰＲＯＭから削除したり、表示部４１３の表示画面の表示を所定の表示に戻したり、カメラ部４１７が起動されているときにはこれを停止させたりする処理が含まれる。
【００７８】
このようにして、端末装置４のユーザは、端末装置４を通じて操作対象機器を操作するに当たって、ＡＲ技術を用いた実画像上のガイダンス情報や操作案内画面を通じて支援を受けることができる。また、操作対象機器が、遠隔操作が可能な機器である場合には、端末装置４を通じてリモコン信号を送信し、遠隔操作を行うこともできる。
【００７９】
次に、図６を用いて説明した操作案内情報の利用処理において、端末装置４の表示部４１３の表示画面に表示される操作案内画面の具体例について説明する。図７〜図９は、操作案内画面の一例について説明するための図である。この内、図７、図８は、例えば日本語対応の複合事務機の英語で表現された操作案内画面の例を示している。当該複合事務機は、遠隔操作されることはないが、操作案内画面が複数あるものである。なお、当該複合事務機については、図２を用いて説明した登録情報に応じた操作案内情報がサーバ装置１から端末装置４に提供されるものである。また、図９は、遠隔操作が可能な例えば日本語対応のテレビ受像機のリモートコントローラ（以下、リモコン装置という。）の英語で表現された操作案内画面について説明するための図である。
【００８０】
まず、図７、図８に示した複合事務機の操作案内画面について説明する。図７Ａは、ＡＲ技術が用いられて表示される操作案内画面を示している。この図７Ａに示す操作案内画面は、図６に示したステップＳ３０３において表示される。図７Ａに示すように、端末装置４の表示画面４１３Ｇには、カメラ部４１７を通じて取り込まれた複合事務機を含む画像（実画像）が表示される。そして、カメラ部４１７を通じて取り込まれた画像と、図２を用いて説明した操作案内情報の比較対象となるＡＲ画像データＡＲ１とのマッチング処理により、表示画像上においてガイダンス情報を表示すべき目的位置（コイン投入口の位置）を特定する。そして、この実施の形態においては、図７Ａに示したように、特定した目的位置からいわゆる吹き出しの態様で、「Ｐｕｔ ａ ｃｏｉｎ」というコイン投入口の位置を示すと共に、そこにコインを投入することを促すメッセージが表示されている例を示している。このように、ＡＲ技術を用いることにより、実画像を用いて具体的に操作案内を行うことができる。
【００８１】
そして、図７Ａの状態にあるときに、表示画面４１３の右下端部に表示されている「ＯＫ」ボタンが操作されたとする。この場合に、図２の例に示したように、複合事務機器の初期操作画面が存在していたとする。この場合、図７Ｂに示したように、当該複合事務機の初期操作画面に応じた操作案内画面が表示される。この図７Ｂに示す操作案内画面は、図６に示したステップＳ３１２あるいはステップＳ３０７において表示される。図７Ｂに示した操作案内画面においては、「Ｃｏｐｙ」ボタンと、「Ｆａｘ」ボタンとが表示されている。また、当該操作案内画面には、「操作前にコインを投入することを要求する英語のメッセージ」と「コピー機能とファックス機能とのいずれかを選択するように促す英語のメッセージ」とが表示されている。この図７Ｂに示した初期操作画面に対応する操作案内画面を参照して、ユーザは操作対象機器の操作部を実際に操作する。
【００８２】
そして、ユーザが操作対象機器の操作部の日本語表示された「コピー」ボタンを操作することにより、コピー機能を使うようにしたとする。この場合、ユーザによって実際に操作された操作対象機器（複合事務機）の操作画面には、日本語のコピー機能を使うための操作画面が表示される。そこで、端末装置４のユーザは、図７Ａにおいて、指（指示体）ｆｇが示すように、端末装置４に表示された操作案内画面の「Ｃｏｐｙ」ボタンを操作する。つまり、「Ｃｏｐｙ」ボタンが表示されている位置のタッチパネル４１４上に指等を接触させる。
【００８３】
すると、図６に示したステップＳ３１２の処理において、図８に示すように、コピー機能を使うための英語による操作案内画面が端末装置４の表示部４１３の表示画面に表示される。この時、音声情報としてのガイダンス情報がある場合には、端末装置４のスピーカ４１６から放音される。この場合、例えば、図８にも示したように、「用紙サイズを選択してください。」、「コピー枚数を入力してください。」、「コピーを濃くする場合には、左矢印キーを押してください。」、「コピーを淡くする場合には、右矢印キーを押してください。」といった英語のガイダンス音声が、端末装置４のスピーカ４１６から放音される。
【００８４】
また、図７Ｂの操作案内画面において、「Ｆａｘ」ボタンが操作されたときには、図示しないが、ファックス機能を使うための英語による操作案内画面が端末装置４の表示部４１３の表示画面に表示され、ファックス機能を用いる場合の支援を行う。
【００８５】
このように、操作対象機器が複合事務機などの場合には、端末装置４の操作案内画面やガイダンス情報にしたがって、目的とする操作対象機器を操作することができる。そして、操作対象機器の操作画面が変化する場合であっても、操作対象機器に対して行った操作を端末装置４側においても辿るように操作して、その操作画面の変化を端末装置４においても使用言語に対応した操作案内画面で再現することができる。したがって、複数の操作画面が変化する操作対象機器についても戸惑うことなく目的とする操作を行うことができる。
【００８６】
次に、図９に示したテレビ受像機のリモコンの操作案内画面について説明する。図９Ａは、所定のテレビ受像機のリモコン装置に応じた操作案内画面を示している。図９Ａは、日本語では「電源」、「音量」、「チャンネル」などと表記される部分が、使用言語である英語で「Ｐｏｗｒｅ」、「Ｖｏｌｕｍｅ」、「Ｃｈａｎｎｅｌ」などと表記されたものである。このようなリモコン装置の操作案内画面は、図６に示したステップＳ３０７あるいはステップＳ３１２において端末装置４の表示部４１３の表示画面に表示される。
【００８７】
そして、図９Ａに示したように、端末装置４の表示部４１３の表示画面に表示された操作案内画面に表示された操作ボタンに対して操作を行ったとする。図９Ａに示した操作案内画面のどの操作ボタンも、リモコン信号を送信するものである。このため、図６に示したステップＳ３１０の処理により、操作された操作ボタンに応じたリモコン信号が、制御部４２０に制御されるリモコン信号送信部４３２から送信され、操作対象機器である当該テレビ受像機を遠隔操作することができる。
【００８８】
また、図９Ｂに示したように、ＥＰＧに応じた使用言語対応の操作案内画面の提供を受けることができる場合には、図６に示したステップＳ３０７あるいはステップＳ３１２において、当該操作案内画面を端末装置４の表示部４１３の表示画面に表示する。当該ＥＰＧに応じた使用言語対応の操作案内画面は、上述もしたように、サーバ装置１の翻訳処理部１０４の機能が用いられ、サーバ装置１において形成され、端末装置４に提供される情報である。そして、ユーザが視聴したい番組を選択した場合には、図６のステップＳ３１０の処理において、選択された番組の選局を指示するリモコン信号を生成し、これを出力することもできる。
【００８９】
すなわち、操作案内画面は、操作対象機器に対して操作を行わなければならない場合には、当該操作対象機器の操作画面に対応したものとなる。しかし、操作対象機器を遠隔操作する場合には、ユーザの利便性を考慮し、操作しやすい態様とすることも可能である。
【００９０】
なお、図７〜図９に示した操作案内画面はあくまでも一例であり、種々の操作対象機器の種々の操作案内画面を形成し、これを用いることができる。したがって、ハードディスクレコーダなどの操作案内画面をサーバ装置１に用意しておくことにより、ユーザが使いなれた言語の操作案内画面を、端末装置４を通じて用いて、録画をおこなったり、録画予約を行ったりすることももちろんできる。
【００９１】
［実施の形態の効果］
外国で当該外国の言語で操作案内が表示されている種々の電子機器を操作する場合に、ユーザが使い慣れた言語で表現された操作案内画面やガイダンス情報をサーバ装置１から端末装置４が得て、これらをユーザに対して提供（表示や放音）する。これにより、ユーザは、提供された情報を参考にして、操作対象機器を戸惑うことなく操作できる。すなわち、操作対象機器を操作するユーザを適切に支援することができる。また、操作対象機器が、遠隔操作が可能なものである場合には、ユーザが使い慣れた言語で表現された操作案内画面を用い、端末装置４を通じて、当該操作対象機器を遠隔操作することができる。
【００９２】
［変形例等］
なお、操作対象機器に対応する登録情報が操作案内ＤＢ１０３に存在するが、使用言語種別に応じた言語のものが存在しなかったとする。この場合には、サーバ装置１は、当該登録情報の操作案内画像データに含まれる文字情報やガイダンス情報を、ネットワーク２上の翻訳サーバの翻訳機能を用いて、指示された使用言語種別の言語に翻訳し、これを提供することもできる。したがって、使用頻度の高い１つ以上の言語で、操作案内画像データやガイダンス情報を形成しておく。そして、サーバ装置１が、操作案内情報の提供要求を受信したときに、指示された使用言語種別に応じた操作案内情報が存在しない場合には、指示された使用言語種別に応じた言語に翻訳して提供することもできる。翻訳はサーバ装置１の翻訳処理部１０４の機能を用いて行ってもよいし、ネットワーク２上の翻訳サーバ装置の機能を用いて行ってもよい。
【００９３】
また、操作対象機器が自動販売機の場合には、操作案内情報として、使用言語で表現された商品説明や、商品の価格をカメラ映像から読み取り、自国の通貨に換算した情報を含めるようにすることができる。この場合には、上述したＡＲ技術を用いて、商品の価格の表示位置に自国の通貨に換算した情報を吹き出し表示させることで利便性を向上させることができる。なお、使用言語に応じて、ユーザの母国を特定できない場合もある。例えば、使用言語が英語であっても、母国は英国か米国か区別できない。このような場合には、使用言語を公用語として用いている複数の国の通貨換算情報を表示できるようにすればよい。また、端末装置４のユーザに出身国の入力を求め、これをサーバ装置１に通知するようにしてもよい。
【００９４】
また、電子機器の操作案内は、ＡＲ技術を用い、カメラ部４１７を通じて取り込む実画像にガイダンス情報を表示する手法だけを用いて操作案内を行うことができる。また、図７Ｂに示したような、操作対象機器の操作画面を模した案内画面だけで操作案内を行うこともできる。もちろん、上述した実施の形態のように、両方を用いて操作案内を行うこともできる。
【００９５】
また、音声ガイダンス情報をユーザからの操作に応じて繰り返し提供したり、また、表示ガイダンス情報についても、ユーザからの操作に応じて、表示を消去したり、再表示したりすることもできる。
【００９６】
また、操作案内画面は、ユーザが分かりやすいように、幾つかの部分に分割し、スクロールさせたり、改ページさせたりすることができるようにされ、端末装置４の表示部４１３の表示画面に対して、効果的に表示することができるようにされる。
【００９７】
また、端末装置の中には、リモコン信号の送信機能が搭載されていないものもある。この場合には、例えば、デジタルインターフェースを通じて接続可能なリモコン信号の送信装置を端末装置に接続すればよい。
【００９８】
また、図８Ｂでは記載を簡略化しているが、ＥＰＧには番組内容を示す情報なども含まれる。このため、図８Ｂを用いて説明したように、ＥＰＧに応じた操作案内情報の取得を可能にすれば、観光やビジネスで日本を訪れたユーザが、自国語音声で放送される日本語字幕番組や、言葉が分からなくても楽しめるスポーツ番組を確実に見つけて視聴することができる。すなわち、操作対象機器の操作以前に、必要な情報の選択にも貢献できる。
【００９９】
また、端末装置４自体が翻訳機能を有するものである場合には、サーバ装置１から所定の言語の操作案内情報を得て、操作案内画面やガイダンス情報については、端末装置４側で翻訳して利用することも可能である。
【０１００】
［その他］
上述した実施の形態の説明からも明らかなように、端末装置の言語選択受付手段としての機能は、端末装置４のキー操作部４１１が実現し、端末装置の特定情報取得手段としての機能は、キー操作部４１１及びカメラ部４１７が実現している。また、端末装置の提供要求送信手段及び操作案内受信手段としての機能は、端末装置４の送受信アンテナ４０１及び無線通信部４０２が実現している。また、操作案内出力手段としての機能は、端末装置４の表示制御部４１２及び表示部４１３、音声処理部４１５及びスピーカ４１６が実現し、端末装置の遠隔操作手段としての機能は、端末装置４の制御部４２０とリモコン信号送信部４３２とが実現している。
【０１０１】
また、サーバ装置の記憶手段としての機能は、サーバ装置１の操作案内ＤＢ１０３が実現し、サーバ装置の提供要求受信手段、案内情報送信手段としての機能は、サーバ装置１の接続端子１０１及び通信部１０２が実現している。また、サーバ装置の案内情報取得手段としての機能は、サーバ装置１の制御部１２０が実現している。
【０１０２】
また、図４、図６のフローチャートに示した処理は、端末装置側で用いられる機器操作支援方法に対応するものである。また、図５のフローチャートに示した処理は、サーバ装置側で用いられる機器操作支援方法に対応するものである。また、図４、図６のフローチャートに応じた処理を実行するプログラムが、端末装置側で実行される機器操作支援プログラムに対応するものである。また、図５のフローチャートに応じた処理を実行するプログラムが、サーバ装置側で実行される機器操作支援プログラムに対応するものである。
【０１０３】
したがって、図４、図６に示した処理を実行するプログラムを形成し、これを高機能携帯電話端末等に搭載して、当該装置において実行可能にしておくことにより、この発明の機器操作支援端末装置を容易に実現することができる。また、図５に示した処理を実行するプログラムを形成し、これをサーバ装置に搭載して、当該装置において実行可能にしておくことにより、この発明の機器操作支援サーバ装置を容易に実現することができる。
【符号の説明】
【０１０４】
１…操作案内提供サーバ装置、１０１…接続端子、１０２…通信部、１０３…操作案内ＤＢ、１１０…ＨＤＤ、１２０…制御部、２…ネットワーク、３…基地局、４…高機能携帯電話端末、４１…言語選択受付手段、４２…特定情報取得手段、４３…提供要求送信手段、４４…操作案内受信手段、４５…操作案内出力手段、４６…遠隔操作手段、４０１…送受信アンテナ、４０２…無線通信部、４０３…受話器（スピーカ）、４０４…送話器（マイクロホン）。４１１…キー操作部、４１２…表示制御部、４１３…表示部、４１４…タッチパネル、４１５…音声処理部、４１６…スピーカ、４２０…制御部、４３１…多言語辞書、４３２…リモコン信号送信部
【特許請求の範囲】
【請求項１】
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムであって、
前記端末装置は、
使用言語の選択入力を受け付ける言語選択受付手段と、
操作対象機器を特定するための特定情報を取得する特定情報取得手段と、
前記特定情報と選択された前記使用言語の種別を示す使用言語種別とを含む、操作案内情報の提供要求を前記サーバ装置に送信する提供要求送信手段と、
前記サーバ装置からの前記操作対象機器の前記使用言語に応じた操作案内情報を受信する案内情報受信手段と、
前記操作案内情報を出力する出力手段と
を備え、
前記サーバ装置は、
操作対象機器毎に、操作案内情報を記憶する記憶手段と、
前記端末装置からの前記操作案内情報の提供要求を受信する提供要求受信手段と、
前記記憶手段に記憶されている情報を用いて、前記提供要求の前記特定情報により特定される操作対象機器の前記使用言語種別に応じた操作案内情報を取得する案内情報取得手段と、
取得した前記案内情報を前記端末装置に送信する案内情報送信手段と
を備えることを特徴とする機器操作支援システム。
【請求項２】
請求項１に記載の機器操作支援システムであって、
前記サーバ装置の前記記憶手段には、操作対象機器毎に、１以上の使用言語に対応した操作案内情報が記憶されていることを特徴とする機器操作支援システム。
【請求項３】
請求項２に記載の機器操作支援システムであって、
前記記憶手段に記憶されている前記特定情報により特定される操作対象機器の前記操作案内情報が、前記提供要求に含まれる前記使用言語種別に応じた言語に対応するものでない場合に、前記取得手段は、当該操作案内情報を当該使用言語種別の言語に翻訳した操作案内情報を取得することを特徴とする機器操作支援システム。
【請求項４】
請求項１、請求項２または請求項３に記載の機器操作支援システムであって、
前記操作案内情報は、表示情報と、前記表示情報を利用するためのアプリケーションプログラムを含み、
前記端末装置は、
ユーザからの操作入力を受け付ける受付手段と
を備えることを特徴とする機器操作支援システム。
【請求項５】
請求項１、請求項２または請求項３に記載の機器操作支援システムであって、
前記操作案内情報は、前記操作対象機器が遠隔操作可能なものである場合には、表示情報、遠隔操作信号を形成するための情報、操作に応じた遠隔操作信号を形成して送信するためのアプリケーションソフトウェアを含み、
前記端末装置は、
ユーザからの操作入力を受け付ける受付手段と、
遠隔操作信号を生成して出力する遠隔操作信号生成手段と
を備えることを特徴とする機器操作支援システム。
【請求項６】
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムで用いられる前記端末装置であって、
使用言語の選択入力を受け付ける言語選択受付手段と、
操作対象機器を特定するための特定情報を取得する特定情報取得手段と、
前記特定情報と選択された前記使用言語の種別を示す使用言語種別とを含む操作案内情報の提供要求を前記サーバ装置に送信する提供要求送信手段と、
前記サーバ装置からの前記使用言語に応じた前記操作対象機器の操作案内情報を受信する案内情報受信手段と、
前記操作案内情報を出力する出力手段と
を備えることを特徴とする機器操作支援端末装置。
【請求項７】
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムで用いられる前記サーバ装置であって、
操作対象機器毎に、操作案内情報を記憶する記憶手段と、
前記端末装置からの前記操作案内情報の提供要求を受信する提供要求受信手段と、
前記記憶手段に記憶されている情報を用いて、前記提供要求の前記特定情報により特定される操作対象機器の前記使用言語種別に応じた操作案内情報を取得する案内情報取得手段と、
取得した前記案内情報を前記端末装置に送信する案内情報送信手段と
を備えることを特徴とする機器操作支援サーバ装置。
【請求項８】
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムの前記端末装置で用いられる機器操作支援方法あって、
言語選択受付手段を通じて使用言語の選択入力を受け付ける言語選択受付工程と、
特定情報取得手段を通じて操作対象機器を特定するための特定情報を取得する特定情報取得工程と、
前記特定情報と選択された前記使用言語の種別を示す使用言語種別とを含む操作案内情報の提供要求を、提供要求送信手段を通じて前記サーバ装置に送信する提供要求送信工程と、
前記サーバ装置からの前記使用言語に応じた前記操作対象機器の操作案内情報を、案内情報受信手段を通じて受信する案内情報受信工程と、
出力手段を通じて前記操作案内情報を出力する出力工程と
を有することを特徴とする機器操作支援方法。
【請求項９】
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムの前記サーバ装置で用いられる機器操作支援方法であって、
前記端末装置からの前記操作案内情報の提供要求を、提供要求受信手段を通じて受信する提供要求受信工程と、
操作対象機器毎に、操作案内情報を記憶する記憶手段に記憶されている情報を用いて、案内情報取得手段が前記提供要求の前記特定情報により特定される操作対象機器の前記使用言語種別に応じた操作案内情報を取得する案内情報取得工程と、
取得した前記案内情報を、案内情報送信手段を通じて前記端末装置に送信する案内情報送信工程と
を有することを特徴とする機器操作支援方法。
【請求項１０】
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムの前記端末装置に搭載されたコンピュータで実行されるプログラムあって、
言語選択受付手段を通じて使用言語の選択入力を受け付ける言語選択受付ステップと、
特定情報取得手段を通じて操作対象機器を特定するための特定情報を取得する特定情報取得ステップと、
前記特定情報と選択された前記使用言語の種別を示す使用言語種別とを含む操作案内情報の提供要求を、提供要求送信手段を通じて前記サーバ装置に送信する提供要求送信ステップと、
前記サーバ装置からの前記使用言語に応じた前記操作対象機器の操作案内情報を、案内情報受信手段を通じて受信する案内情報受信ステップと、
出力手段を通じて前記操作案内情報を出力する出力ステップと
を実行することを特徴とする端末装置側の機器操作支援プログラム。
【請求項１１】
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムの前記サーバ装置に搭載されたコンピュータで実行されるプログラムであって、
前記端末装置からの前記操作案内情報の提供要求を、提供要求受信手段を通じて受信する提供要求受信ステップと、
操作対象機器毎に、操作案内情報を記憶する記憶手段に記憶されている情報を用いて、案内情報取得手段が前記提供要求の前記特定情報により特定される操作対象機器の前記使用言語種別に応じた操作案内情報を取得する案内情報取得ステップと、
取得した前記案内情報を、案内情報送信手段を通じて前記端末装置に送信する案内情報送信ステップと
を有することを特徴とするサーバ装置側の機器操作支援プログラム。
【請求項１】
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムであって、
前記端末装置は、
使用言語の選択入力を受け付ける言語選択受付手段と、
操作対象機器を特定するための特定情報を取得する特定情報取得手段と、
前記特定情報と選択された前記使用言語の種別を示す使用言語種別とを含む、操作案内情報の提供要求を前記サーバ装置に送信する提供要求送信手段と、
前記サーバ装置からの前記操作対象機器の前記使用言語に応じた操作案内情報を受信する案内情報受信手段と、
前記操作案内情報を出力する出力手段と
を備え、
前記サーバ装置は、
操作対象機器毎に、操作案内情報を記憶する記憶手段と、
前記端末装置からの前記操作案内情報の提供要求を受信する提供要求受信手段と、
前記記憶手段に記憶されている情報を用いて、前記提供要求の前記特定情報により特定される操作対象機器の前記使用言語種別に応じた操作案内情報を取得する案内情報取得手段と、
取得した前記案内情報を前記端末装置に送信する案内情報送信手段と
を備えることを特徴とする機器操作支援システム。
【請求項２】
請求項１に記載の機器操作支援システムであって、
前記サーバ装置の前記記憶手段には、操作対象機器毎に、１以上の使用言語に対応した操作案内情報が記憶されていることを特徴とする機器操作支援システム。
【請求項３】
請求項２に記載の機器操作支援システムであって、
前記記憶手段に記憶されている前記特定情報により特定される操作対象機器の前記操作案内情報が、前記提供要求に含まれる前記使用言語種別に応じた言語に対応するものでない場合に、前記取得手段は、当該操作案内情報を当該使用言語種別の言語に翻訳した操作案内情報を取得することを特徴とする機器操作支援システム。
【請求項４】
請求項１、請求項２または請求項３に記載の機器操作支援システムであって、
前記操作案内情報は、表示情報と、前記表示情報を利用するためのアプリケーションプログラムを含み、
前記端末装置は、
ユーザからの操作入力を受け付ける受付手段と
を備えることを特徴とする機器操作支援システム。
【請求項５】
請求項１、請求項２または請求項３に記載の機器操作支援システムであって、
前記操作案内情報は、前記操作対象機器が遠隔操作可能なものである場合には、表示情報、遠隔操作信号を形成するための情報、操作に応じた遠隔操作信号を形成して送信するためのアプリケーションソフトウェアを含み、
前記端末装置は、
ユーザからの操作入力を受け付ける受付手段と、
遠隔操作信号を生成して出力する遠隔操作信号生成手段と
を備えることを特徴とする機器操作支援システム。
【請求項６】
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムで用いられる前記端末装置であって、
使用言語の選択入力を受け付ける言語選択受付手段と、
操作対象機器を特定するための特定情報を取得する特定情報取得手段と、
前記特定情報と選択された前記使用言語の種別を示す使用言語種別とを含む操作案内情報の提供要求を前記サーバ装置に送信する提供要求送信手段と、
前記サーバ装置からの前記使用言語に応じた前記操作対象機器の操作案内情報を受信する案内情報受信手段と、
前記操作案内情報を出力する出力手段と
を備えることを特徴とする機器操作支援端末装置。
【請求項７】
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムで用いられる前記サーバ装置であって、
操作対象機器毎に、操作案内情報を記憶する記憶手段と、
前記端末装置からの前記操作案内情報の提供要求を受信する提供要求受信手段と、
前記記憶手段に記憶されている情報を用いて、前記提供要求の前記特定情報により特定される操作対象機器の前記使用言語種別に応じた操作案内情報を取得する案内情報取得手段と、
取得した前記案内情報を前記端末装置に送信する案内情報送信手段と
を備えることを特徴とする機器操作支援サーバ装置。
【請求項８】
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムの前記端末装置で用いられる機器操作支援方法あって、
言語選択受付手段を通じて使用言語の選択入力を受け付ける言語選択受付工程と、
特定情報取得手段を通じて操作対象機器を特定するための特定情報を取得する特定情報取得工程と、
前記特定情報と選択された前記使用言語の種別を示す使用言語種別とを含む操作案内情報の提供要求を、提供要求送信手段を通じて前記サーバ装置に送信する提供要求送信工程と、
前記サーバ装置からの前記使用言語に応じた前記操作対象機器の操作案内情報を、案内情報受信手段を通じて受信する案内情報受信工程と、
出力手段を通じて前記操作案内情報を出力する出力工程と
を有することを特徴とする機器操作支援方法。
【請求項９】
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムの前記サーバ装置で用いられる機器操作支援方法であって、
前記端末装置からの前記操作案内情報の提供要求を、提供要求受信手段を通じて受信する提供要求受信工程と、
操作対象機器毎に、操作案内情報を記憶する記憶手段に記憶されている情報を用いて、案内情報取得手段が前記提供要求の前記特定情報により特定される操作対象機器の前記使用言語種別に応じた操作案内情報を取得する案内情報取得工程と、
取得した前記案内情報を、案内情報送信手段を通じて前記端末装置に送信する案内情報送信工程と
を有することを特徴とする機器操作支援方法。
【請求項１０】
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムの前記端末装置に搭載されたコンピュータで実行されるプログラムあって、
言語選択受付手段を通じて使用言語の選択入力を受け付ける言語選択受付ステップと、
特定情報取得手段を通じて操作対象機器を特定するための特定情報を取得する特定情報取得ステップと、
前記特定情報と選択された前記使用言語の種別を示す使用言語種別とを含む操作案内情報の提供要求を、提供要求送信手段を通じて前記サーバ装置に送信する提供要求送信ステップと、
前記サーバ装置からの前記使用言語に応じた前記操作対象機器の操作案内情報を、案内情報受信手段を通じて受信する案内情報受信ステップと、
出力手段を通じて前記操作案内情報を出力する出力ステップと
を実行することを特徴とする端末装置側の機器操作支援プログラム。
【請求項１１】
端末装置とサーバ装置とがネットワークを通じて接続されて形成される機器操作支援システムの前記サーバ装置に搭載されたコンピュータで実行されるプログラムであって、
前記端末装置からの前記操作案内情報の提供要求を、提供要求受信手段を通じて受信する提供要求受信ステップと、
操作対象機器毎に、操作案内情報を記憶する記憶手段に記憶されている情報を用いて、案内情報取得手段が前記提供要求の前記特定情報により特定される操作対象機器の前記使用言語種別に応じた操作案内情報を取得する案内情報取得ステップと、
取得した前記案内情報を、案内情報送信手段を通じて前記端末装置に送信する案内情報送信ステップと
を有することを特徴とするサーバ装置側の機器操作支援プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−１０５４０４（Ｐ２０１３−１０５４０４Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２５０２４４（Ｐ２０１１−２５０２４４）
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（５００５７８２１６）株式会社ゼンリンデータコム (231)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（５００５７８２１６）株式会社ゼンリンデータコム (231)
【Ｆターム（参考）】
[ Back to top ]