機器遠隔操作装置及びプログラム
【課題】ユーザーが操作したい機器を容易に選択することができる機器遠隔操作システムを提供する。
【解決手段】ユーザーに画像を視認させる画像生成部５２と、方位を検出する方位検出部２１と、機器と無線通信を行う無線通信部８２と、ユーザーの操作を検出する操作部８１と、方位検出部２１が検出した方位及び操作部８１が検出したユーザーの操作に基づき、各機器の機器識別情報と方位を対応付けさせた管理テーブルを生成する管理テーブル生成プログラム１２ｄと、方位検出部２１が検出した方位を、前記管理テーブルに参照させることにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作する機器を決定する操作機器決定プログラム１２ｅを有する。
【解決手段】ユーザーに画像を視認させる画像生成部５２と、方位を検出する方位検出部２１と、機器と無線通信を行う無線通信部８２と、ユーザーの操作を検出する操作部８１と、方位検出部２１が検出した方位及び操作部８１が検出したユーザーの操作に基づき、各機器の機器識別情報と方位を対応付けさせた管理テーブルを生成する管理テーブル生成プログラム１２ｄと、方位検出部２１が検出した方位を、前記管理テーブルに参照させることにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作する機器を決定する操作機器決定プログラム１２ｅを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の機器を遠隔操作する際に、遠隔操作する機器の操作方法情報が表示されるヘッドマウントディスプレイ型の機器遠隔操作装置に関するものである。
【背景技術】
【０００２】
従来、ヘッドマウントディスプレイを利用し、複数の機器を遠隔操作する機器遠隔操作システムが知られている。例えば、特許文献１には、操作する機器をバーコードリーダで認識し、ユーザーの頭部に装着されるヘッドマウントディスプレイに、前記認識した機器の操作方法情報を表示させ、前記認識した機器を遠隔操作する機器遠隔操作システムの発明が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１３０６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に示されるような機器遠隔操作システムでは、操作する機器に近接した位置までユーザーが移動して、機器のバーコードを読み取る必要があり、ユーザーが操作したい機器を選択するのに煩雑であった。
本発明は、上記問題を解決し、ユーザーが操作したい機器を容易に選択することができる機器遠隔操作システムを提供することを目的としてなされたものである。
【課題を解決するための手段】
【０００５】
上記課題を解決するためになされた請求項１に記載の発明は、
複数の機器を無線信号で遠隔操作する機器遠隔操作装置において、
ユーザーの頭部に装着され、前記ユーザーに画像を視認させる画像生成部と、
方位を検出する方位検出部と、
前記機器と無線通信を行う無線通信部と、
ユーザーの操作を検出する操作部と、
前記無線通信部を介して、前記機器の機器識別情報を取得する識別情報取得手段と、
前記方位検出部が検出した方位及び前記操作部が検出したユーザーの操作に基づき、前記機器識別情報と前記方位を対応付ける対応付け手段と、
前記方位検出部が検出した方位を、前記対応付け手段が対応付けさせた結果に参照させることにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作する機器を決定する操作機器決定手段と、
前記操作機器決定手段が選択した識別情報と関連する情報から画像を生成し、前記画像生成部に出力する画像生成手段と、
前記操作部が検出したユーザーの操作と、前記操作機器決定手段が決定した機器の前記操作方法情報に基づき、前記操作機器決定手段が決定した機器の操作内容を決定する操作内容決定手段と、
前記操作内容決定手段が決定した前記操作内容を、前記無線通信部を介して前記操作機器決定手段が決定した機器に送信する機器操作信号送信手段と、
を有することを特徴とする。
【０００６】
請求項２に記載の発明は、請求項１に記載の発明において、
前記対応付け手段は、前記方位検出部が検出した方位及び前記操作部が検出したユーザーの操作に基づき、機器識別情報及びユーザーが指定した方位の範囲を対応付けさせることを特徴とする。
これにより、ユーザーが、各機器について任意の方位の範囲指定を行うことができ、利便性が向上する。
【０００７】
請求項３に記載の発明は、請求項２に記載の発明において、
前記操作機器設定手段は、前記方位検出部が検出した方位が、前記対応付け手段が対応付けさせた結果の方位の範囲に所定時間以上ある場合に、前記方位の範囲に対応する機器識別情報の機器を選択することを特徴とする。
これにより、ユーザーが一瞬ある方位を向くことに起因する、機器の誤選択が防止され、ユーザーが操作を欲する機器のみが選択される。
【０００８】
請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
当該装置の位置情報を取得する位置情報取得部を有し、
前記対応付け手段は、前記位置取得部が取得した位置情報も更に前記機器識別情報に対応付けさせ、
前記操作機器決定手段は、前記位置情報取得部が取得した位置情報も加味して、ユーザーが操作する機器を決定することを特徴とする。
これにより、ユーザが存在する位置に合わせて、ユーザーが操作を欲する機器が適切に選択される。
【０００９】
請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、
画像生成部には、前記各機器に対応した各ドキュメントが表示され、
対応付け手段は、前記ドキュメントの識別情報も更に前記機器識別情報に対応付けさせ、
前記操作機器決定手段は、前記画像生成手段が前記画像生成部に出力しているドキュメントの識別情報も加味して、ユーザーが操作する機器を決定することを特徴とする。
これにより、各機器の方位範囲が重複する場合に、ユーザーが重複する方位を向いている場合であっても、ドキュメントの識別情報が一致する機器のみが選択するので、画像生成部に表示されたドキュメントに対応する機器、つまり、ユーザーが操作を欲する機器が選択される。
【００１０】
請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、
前記機器の前記操作部での操作方法を表した操作方法情報が記憶される記憶部を更に有し、
前記画像生成手段は、前記記憶部から、前記操作機器決定手段が選択した識別情報と関連する操作方法情報を取得し、当該操作方法情報から操作方法画像を生成し、画像生成部に出力することを特徴とする。
これにより、ユーザーは操作方法情報を視認することにより、操作する機器の操作部での操作方法を理解することが可能となる。
【００１１】
請求項７に記載の発明は、請求項１〜請求項６に記載の発明において、
前記画像生成手段はさらに、少なくとも前記対応付け手段が実行されるよりも前に、前記識別情報取得手段によって取得された前記機器の機器識別情報の一覧を、前記画像生成部に出力することを特徴とする。
これにより、ユーザーは、画像生成部で表示される機器リストを視認することにより、操作可能な機器を認識することが可能となる。
【００１２】
請求項８に記載の発明は、
ユーザーの頭部に装着され、前記ユーザーに画像を視認させる画像生成部と、
方位を検出する方位検出部と、
機器と無線通信を行う無線通信部と、
ユーザーの操作を検出する操作部とを備え、
前記機器を無線信号で遠隔操作する機器遠隔操作装置において実行されるプログラムであって、
前記無線通信部を介して、前記機器の識別情報を取得する識別情報取得ステップと、
前記方位検出部が検出した方位及び前記操作部が検出したユーザーの操作に基づき、前記識別情報と前記方位を対応付けさせる対応付けステップと、
前記方位検出部が検出した方位を、前記対応付けさせた結果に参照させることにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作する機器を決定する操作機器決定ステップと、
前記選択された識別情報と関連する情報から画像を生成し、前記画像生成部に出力するステップ画像生成ステップと、
前記操作部が検出したユーザーの操作に基づき、前記操作機器決定ステップにて決定された機器の操作内容を決定する操作内容決定ステップと、
前記操作内容決定ステップにて決定された前記操作内容を、前記無線通信部を介して前記操作機器決定ステップにて決定された機器に送信する機器操作信号送信ステップとを有することを特徴とする。
【発明の効果】
【００１３】
本発明の機器遠隔操作装置は、方位検出部が検出した方位及び操作部が検出したユーザーの操作に基づき、機器識別情報と方位を対応付けさせ、方位検出部が検出した方位を、前記対応付けさせた結果に参照させることにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作する機器を決定する。このため、ユーザーが、所定の方向を向くだけで、ユーザーが操作を欲する機器が自動的に選択され、ユーザーが操作したい機器を容易に選択することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の機器遠隔操作装置の概要図である。
【図２】ユーザーによる方位範囲設定の説明図である。
【図３】機器遠隔操作装置のブロック図である。
【図４】メイン処理のフロー図である。
【図５】機器登録処理のフロー図である。
【図６】管理テーブル生成処理のフロー図である。
【図７】管理テーブルの説明図である。
【図８】機器操作処理のフロー図である。
【図９】操作機器決定処理のフロー図である。
【図１０】ドキュメント識別情報と各機器の方位範囲を表した説明図である。
【発明を実施するための形態】
【００１５】
（本発明の概要）
図１に本発明の機器遠隔操作装置の概要図を示して、以下、本発明の概要を説明する。図１の（Ａ）に示されるように、本発明の機器遠隔装置１００は、機器９０１〜９０２を遠隔操作するためのコントローラ８０と、ユーザーの頭部に装着されユーザーに画像を視認させるヘッドマウントディスプレイ５０とから構成されている。
【００１６】
コントローラ８０は、ユーザーの操作を検出する操作部８１と、操作部８１により検出されたユーザーの操作内容を、機器９０１、９０２に送信する無線通信部８２を有している。
【００１７】
ヘッドマウントディスプレイ５０は、ユーザーの頭部に装着される頭部装着部５１と、頭部装着部５１に取り付けられ、ユーザーに視認させる画像を生成する画像生成部５２とから構成されている。画像生成部５２は、ＬＣＤや有機ＥＬなどを用いたものや、強度が画像に応じて変調されたレーザ光を２次元に走査した走査画像光をユーザーの眼球に直接照射する構造のものが含まれる。本実施形態では、図１に示されるように、画像生成部５２には、ハーフミラー５３が取り付けられている。そして、画像生成部５２は前記した走査画像光をハーフミラー５３に出射する。走査画像光は、ハーフミラー５３によって反射され、ユーザーの瞳孔に入射する。ユーザーは、画像生成部５２によって生成された画像を視認しつつ、ハーフミラー５３を通して外界を見ることができる。このようなヘッドマウントディスプレイ５０は、シースルー型のヘッドマウントディスプレイと呼ばれる。このような、シースルー型のヘッドマウントディスプレイであれば、以下に説明する実施形態のように、ユーザーが作業を行う際に、画像生成部５２が生成する画像を視認しつつ、外界を見ることができるので好ましい。
本発明では、ヘッドマウントディスプレイ５０は方位検出部２１を有していて、この方位検出部２１により、ユーザーが向いている方位が検出される。
【００１８】
本実施形態では、画像生成部５２には、組み立てマニュアル等のドキュメント（図１の（Ｂ）に示す）や、操作する機器９０１、９０２の操作方法情報（図１の（Ｃ）に示す）が表示され、ユーザーは、これらドキュメントや操作方法情報を見ることができる。なお、操作方法情報は、操作する機器９０１、９０２の操作部８１での操作方法を表した情報であり、操作部８１の各ボタンの操作内容が表された情報である。なお、ユーザーは操作部８１を操作することにより、任意のドキュメントを画像生成部５２で表示させることができる。本発明では、方位検出部２１によりユーザーが向いている方位が検出され、この検出された方位情報に基づいて、自動的に、ユーザーが操作を欲する機器９０１、９０２が選択されるようになっている。図２に示されるように、各機器９０１、９０２には、それぞれ方位の範囲が割り当てられ、例えば、方位検出部２１が検出した方位が、機器９０１の方位の範囲に合致した場合には、機器９０１が自動的に選択されるようになっている。以下に、機器遠隔操作装置１００の具体的な構造について詳細に説明する。
【００１９】
（機器遠隔操作装置のブロック図）
図３に機器遠隔操作装置１００のブロック図を示して、以下、当該ブロック図について説明をする。図３に示されるように、機器遠隔操作装置１００は、機器遠隔操作装置１００を構成する各要素を制御する制御部１０を有している。制御部１０は、ＣＰＵ１１、記憶部１２、コントローラ１３、インターフェース１５を有していて、これらは、バス１９で相互に接続されている。また、制御部１０は、ＶＲＡＭ１４を有していて、ＶＲＡＭ１４はコントローラ１３に接続している。
【００２０】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）１１は、記憶部１２と協動して、各種演算、処理を行う。
【００２１】
記憶部１２には、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）である主記憶装置、及び、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略）や不揮発性メモリー等の補助記憶装置とから構成されている。
ＲＡＭである主記憶装置は、ＣＰＵ１１で処理されるプログラムや、ＣＰＵ１１が処理するデータ、ＣＰＵにより処理されたデータを、そのアドレス空間に一時的に記憶する。つまり、主記憶装置は、ＣＰＵ１１のワーキングエリアとして作用する。
補助記憶装置には、各種パラメータやＣＰＵ１１で処理される各種プログラムが記憶され、ＣＰＵ１１で処理された後のデータが記憶される。
【００２２】
補助記憶装置には、画像生成プログラム１２ａ、識別情報取得プログラム１２ｂ、操作方法情報取得プログラム１２ｃ、管理テーブル生成プログラム１２ｄ、操作機器決定プログラム１２ｅ、操作内容決定プログラム１２ｆ、操作信号送信プログラム１２ｇが記憶されている。
画像生成プログラム１２ａは、画像生成部５２で表示する画像データを生成させる描画命令を、コントローラ１３に出力するプログラムである。
識別情報取得プログラム１２ｂは、無線通信部８２を介して、各機器の機器識別情報を取得するプログラムである。
操作方法情報取得プログラム１２ｃは、各機器の操作方法情報を取得するプログラムである。
管理テーブル生成プログラム１２ｄは、少なくとも各機器の識別情報と方位範囲情報が対応付けられた管理テーブル（図７に示す）を生成するプログラムである。
操作機器決定プログラム１２ｅは、少なくとも方位検出部２１が検出した方位を、管理テーブルを参照することにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作を欲する機器を決定するプログラムである。
操作内容決定プログラム１２ｆは、ユーザーの操作部８１の操作に基づいて、操作内容を決定するプログラムである。
操作信号送信プログラム１２ｇは、前記決定された操作内容を、無線通信部８２で機器に送信させるプログラムである。
【００２３】
補助記憶装置は、機器識別情報記憶領域１２ｈ、操作方法情報記憶領域１２ｉ、方位情報記憶領域１２ｊ、方位範囲情報記憶領域１２ｋ、位置情報記憶領域１２ｍ、ドキュメント記憶領域１２ｎ、ドキュメント識別情報記憶領域１２ｐ、管理テーブル記憶領域１２ｑ、操作機器決定情報記憶領域１２ｒを有している。
機器識別情報記憶領域１２ｈには、識別情報取得プログラム１２ｂにより取得された機器識別情報が記憶される。
操作方法情報記憶領域１２ｉには、各機器の操作方法情報が記憶される。
方位情報記憶領域１２ｊには、方位検出部２１で検出された方位情報が記憶される。
方位範囲情報記憶領域１２ｋには、ユーザーにより指定された方位範囲情報が記憶される。
位置情報記憶領域１２ｍには、位置情報取得部２２により取得された位置情報が記憶される。
ドキュメント記憶領域１２ｎには、画像生成部５２で表示されるドキュメントが記憶される。ドキュメントの例としては、図１の（Ａ）に示されるような組み立てマニュアルが含まれる。なお、各ドキュメントは、ドキュメント識別情報を有している。
ドキュメント識別情報記憶領域１２ｐには、ユーザーにより選択されたドキュメントの識別情報が記憶される。
管理テーブル記憶領域１２ｑには、管理テーブル生成プログラム１２ｄが生成した管理テーブル（図７に示す）が記憶される。
操作機器決定情報記憶領域１２ｒには、操作機器決定プログラム１２ｅにより決定された機器識別情報が記憶される。
【００２４】
コントローラ１３は、所謂ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。コントローラ１３は、画像生成プログラム１２ａの命令を受けて、ピクセルデータである画像データを生成し、ＶＲＡＭ１４に記憶させる。ＶＲＡＭ１４に記憶された画像データは画像信号として画像生成部５２に出力される。
【００２５】
インターフェース１５には、操作部８１、無線通信部８２、方位検出部２１、位置情報取得部２２が有線又は無線で接続されている。操作部８１、無線通信部８２、方位検出部２１、位置情報取得部２２で検出又は取得された各種情報は、入力インターフェース１４で、物理的・論理的な形式が変換されて、バス１９に出力される。
【００２６】
操作部８１は、ユーザーの操作を検出するものであり、物理的なボタン、タッチパネルが含まれる。
無線通信部８２は、電磁波を送受信することにより機器と無線信号で無線通信を行い、前記機器を遠隔操作するための装置である。
【００２７】
方位検出部２１は、ヘッドマウントディスプレイ５０に取り付けられ、地磁気を検出することにより、ユーザーの向いている方位の情報である方位情報を生成する装置である。生成された方位情報は、方位情報記憶領域１２ｊに記憶される。
位置情報取得部２２は、ＧＰＳ衛星等からの位置情報信号（ＧＰＳ信号を含む）を受信する装置である。受信された位置情報信号は、順次、位置情報記憶領域１２ｊに記憶される。
【００２８】
（メイン処理）
図４を用いて、以下、メイン処理について説明する。
機器遠隔操作装置１００に電源が投入されると、Ｓ１０「機器登録処理」が実行される。Ｓ１０の処理において、ユーザーが操作可能な機器が検出され、図７に示される管理テーブルが生成される。詳しくは、図５のフローを用いて後述する。Ｓ１０の処理が終了すると、Ｓ２０の処理に進む。
【００２９】
Ｓ２０「機器操作処理」において、ユーザーが操作する機器が決定され、この機器にユーザーによる操作内容を送信する処理が実行される。詳しくは、図８のフローを用いて後述する。Ｓ２０の処理が終了すると、Ｓ３０の判断処理に進む。
【００３０】
Ｓ３０「終了」の判断処理において、ＣＰＵ１１は、ユーザーの操作部８１の操作により、機器遠隔操作装置１００を終了させる終了信号が、バス１９に入力されたか否かを判断する。ＣＰＵ１１が、終了信号がバス１９に入力されたと判断した場合には（Ｓ３０がＹＥＳ）、メイン処理が終了する。一方で、ＣＰＵ１１が、終了信号がバス１９に入力されたと判断しない場合には（Ｓ３０がＮＯ）、Ｓ２０の処理に戻る。
【００３１】
（機器登録処理）
図５を用いて、以下、機器登録処理について説明する。
機器登録処理が開始すると、Ｓ１１「機器識別情報取得」の処理において、識別情報取得プログラム１２ｂは、無線通信部８２に各機器と通信させ、機器の機器識別情報を取得させる。取得された機器識別情報は、機器識別情報記憶領域１２ｈに記憶される。Ｓ１１の処理が終了すると、Ｓ１２の処理に進む。
【００３２】
Ｓ１２「機器リストを表示」の処理において、画像生成プログラム１２ａは、機器識別情報記憶領域１２ｈに記憶されている機器識別情報を参照し、操作可能な機器リストを画像生成部５２で表示させる描画命令を、コントローラ１３に出力する。画像生成部５２で、ユーザーが操作可能な機器リストが表示される。ユーザーは、画像生成部５２で表示される機器リストを視認することにより、操作可能な機器を認識することができる。Ｓ１２の処理が終了すると、Ｓ１３の判断処理に進む。
【００３３】
Ｓ１３「機器登録通知入力」の判断処理において、ＣＰＵ１１は、機器登録通知がバス１９に入力されたか否かを判断する。ユーザーは、操作部８１を操作することにより、S１２の処理において画像生成部５２で表示された機器リストの中から、登録したい機器を選択することができる。ユーザーが、操作部８１を操作して登録したい機器を選択すると、インターフェース１５からバス１９に機器登録通知が入力される。ＣＰＵ１１が、機器登録通知がバス１９に入力されたと判断した場合には（Ｓ１３がＹＥＳ）、Ｓ１４の処理に進む。一方で、ＣＰＵ１１が、機器登録通知がバス１９に入力されたと判断しない場合には（Ｓ１３がＮＯ）、Ｓ１４の処理に進まない。
【００３４】
Ｓ１４「操作方法情報取得」の処理において、操作方法情報取得プログラム１２ｃは、無線通信部８２に、S１３の処理において選択された機器と通信させ、当該機器の操作方法情報を取得させる。取得された操作方法情報は機器識別情報と対応付けされて、操作方法情報記憶領域１２ｉに記憶される。Ｓ１４の処理が終了すると、Ｓ１５の処理に進む。
【００３５】
Ｓ１５「管理テーブル生成」の処理において、図７に示されるような管理テーブルが生成される。詳しくは、図６のフローを用いて説明する。Ｓ１５の処理が終了すると、Ｓ１６の判断処理に進む。
【００３６】
Ｓ１６「登録完了通知入力」の判断処理において、ＣＰＵ１１は、ユーザーの操作部８１の操作により、登録完了通知がバス１９に入力されたか否かを判断する。ＣＰＵ１１が、登録完了通知がバス１９に入力されと判断した場合には（Ｓ１６がＹＥＳ）、機器登録処理が終了する。一方で、ＣＰＵ１１が、登録完了通知がバス１９に入力されと判断しない場合には（Ｓ１６がＮＯ）、Ｓ１３の判断処理に戻る。
【００３７】
以上説明した実施形態では、Ｓ１４の処理において、操作方法情報取得プログラム１２ｃは、無線通信部８２にS１３の処理において選択された機器と通信させて、操作方法情報を取得させているが、予め、操作方法情報記憶領域１２ｉに各機器の操作方法情報が記憶されている実施形態でも差し支えなく、この実施形態の場合には、Ｓ１４の処理は不要である。
或いは、操作情報を、ネットワークを介してサーバーから取得する実施形態でも差し支え無く、この場合には、Ｓ１４の処理において、操作方法情報取得プログラム１２ｃは、サーバー−にS１３の処理において選択された機器の機器識別情報を送信し、サーバーからその機器識別情報に対応する操作方法情報を取得する。
【００３８】
（管理テーブル生成処理）
図６を用いて、以下、管理テーブル生成処理について説明する。
管理テーブル生成処理が開始すると、Ｓ１５１「方位範囲指定」の判断処理において、管理テーブル生成プログラム１２ｄは、バス１９に方位範囲指定信号が入力されたか否かを判断する。ユーザーは、操作部８１を操作することにより、図２に示されるように、機器９０１、９０２に対応する方位範囲を指定することができる。なお、機器９０１、９０２に対応する方位範囲を指定は、実際に機器がある方位の範囲を指定してもいいし、実際に機器がある方位とは別の方位の範囲を指定しても差し支えない。管理テーブル生成プログラム１２ｄが、バス１９に方位範囲指定信号が入力されたと判断した場合には（Ｓ１５１がＹＥＳ）、Ｓ１５２の処理に進む。一方で、管理テーブル生成プログラム１２ｄが、バス１９に方位範囲指定信号が入力されたと判断しない場合には（Ｓ１５１がＮＯ）、Ｓ１５２の処理に進まない。
【００３９】
Ｓ１５２「方位範囲記憶」の処理において、管理テーブル生成プログラム１２ｄは、方位検出部２１で地磁気を検出させることにより、ユーザーが向いている方位を検出して、方位情報記憶領域１２ｊに記憶させる。そして、管理テーブル生成プログラム１２ｄは、方位情報記憶領域１２ｊに記憶されている方位情報及びＳ１５１の判断処理で入力された方位範囲指定信号に基づいて、方位範囲情報を生成し、方位範囲情報記憶領域１２ｋに記憶させる。例えば、方位情報記憶領域１２ｊに記憶されている方位情報を中心とした、方位範囲指定信号によって指定される方位範囲が、方位範囲情報として生成される。或いは、ユーザーが方位範囲の始点と終点を操作部８１で指定する実施形態であっても差し支え無い。この実施形態の場合には、Ｓ１５１及びＳ１５２の処理において、管理テーブル生成プログラム１２ｄは、バス１９入力された方位範囲指定信号が入力された際に、方位検出部２１で地磁気を検出させることにより、方位範囲の始点と終点を検出して、方位範囲情報を生成し、方位範囲情報記憶領域１２ｋに記憶させる。Ｓ１５２の処理が終了すると、Ｓ１５３の処理に進む。
【００４０】
Ｓ１５３「位置情報取得」の処理において、管理テーブル生成プログラム１２ｄは、位置情報取得部２２で位置情報を取得させる命令を出力する。位置情報取得部２２で取得された位置情報は、位置情報記憶領域１２ｍに記憶される。Ｓ１５３の処理が終了すると、Ｓ１５４の処理に進む。
【００４１】
Ｓ１５４「ドキュメント一覧表示」の処理において、画像生成プログラム１２ａは、ドキュメント記憶領域１２ｎを参照してドキュメントのデータを取得し、画像生成部５２でドキュメントの一覧を表示させる描画命令をコントローラ１３に出力する。画像生成部５２は、ドキュメント記憶領域１２ｎに記憶されているドキュメントの一覧を表示する。Ｓ１５４の処理が終了すると、Ｓ１５５の判断処理に進む。
【００４２】
Ｓ１５５「ドキュメント選択」の判断処理において、管理テーブル生成プログラム１２ｄは、バス１９にドキュメント選択信号が入力されたか否かを判断する。ユーザーは操作部８１を操作することにより、画像生成部５２で一覧表示されているドキュメントのうち、１のドキュメントを選択することができる。ユーザーの操作部８１の操作により、ドキュメント選択信号がバス１９に入力される。管理テーブル生成プログラム１２ｄが、バス１９にドキュメント選択信号が入力されたと判断した場合には（Ｓ１５５がＹＥＳ）、Ｓ１５６の処理に進む。一方で、管理テーブル生成プログラム１２ｄが、バス１９にドキュメント選択信号が入力されたと判断しない場合には（Ｓ１５５がＮＯ）、Ｓ１５６の処理に進まない。
【００４３】
Ｓ１５６「ドキュメント識別情報取得」の処理において、管理テーブル生成プログラム１２ｄは、Ｓ１５５の判断処理で選択されたドキュメントの識別情報を取得し、ドキュメント識別情報として、ドキュメント識別情報記憶領域１２ｐに記憶させる。ドキュメント識別情報は、例えば、ドキュメントのファイル名や、ドキュメントが記憶されるアドレス値などである。Ｓ１５６の処理が終了すると、Ｓ１５７の処理に進む。
【００４４】
Ｓ１５７「管理テーブル生成」の処理において、管理テーブル生成プログラム１２ｄは、機器識別情報記憶領域１２ｈ、操作方法情報記憶領域１２ｉ、方位範囲情報記憶領域１２ｋ、位置情報記憶領域１２ｍ、ドキュメント識別情報記憶領域１２ｐを参照することにより、機器識別情報、方位範囲情報、位置情報、ドキュメント識別情報を対応付けさせた管理テーブル（図７に示す）を生成し、管理テーブル記憶領域１２ｑに記憶させる。Ｓ１５７の処理が終了すると、管理テーブル生成処理が終了する。
【００４５】
このように本実施形態では、Ｓ１５４〜Ｓ１５７の処理において、画像生成部５２で表示されるドキュメント（図１の（Ｂ））と、このドキュメントに対応した機器を対応付けさせた管理テーブルが生成される。
【００４６】
（機器操作処理）
図８を用いて、以下、機器操作処理について説明する。
機器操作処理が開始されると、Ｓ２１「操作機器決定」の処理に進み、ユーザーが操作する機器が決定される。詳しくは、図９のフローを用いて後述する。Ｓ２１の処理が終了すると、Ｓ２２の判断処理に進む。
【００４７】
Ｓ２２「操作可能機器有り」の判断処理において、ＣＰＵ１１は、操作機器決定情報記憶領域１２ｒを参照して、操作情報記憶領域１２ｒに機器識別情報が記憶されているか判断することにより、操作可能な機器が有るか否かを判断する。ＣＰＵ１１が、操作可能な機器が有ると判断した場合には（Ｓ２２がＹＥＳ）、Ｓ２３の処理に進む。一方で、ＣＰＵ１１が、操作可能な機器が無いと判断した場合には（Ｓ２２がＮＯ）、機器操作処理が終了する。
【００４８】
Ｓ２３「操作内容合致」の処理において、ＣＰＵ１１は、操作機器決定情報記憶領域１２ｒを参照して、操作情報記憶領域１２ｒに記憶されている機器識別情報に対応する機器を認識し、操作部８１のボタンやタッチパネルを前記機器の操作内容に対応させる処理を行う。Ｓ２３の処理が終了すると、Ｓ２４の処理に進む。
【００４９】
Ｓ２４「操作方法情報表示」の処理において、画像生成プログラム１２ａは、操作機器決定情報記憶領域１２ｒを参照することにより、機器識別情報を取得し、ユーザーが操作する機器を認識する。そして、画像生成プログラム１２ａは、前記機器の操作方法情報を操作方法情報記憶領域１２ｉから取得し、当該操作方法情報を画像生成部５２で表示させる描画命令を、コントローラ１３に出力する。すると、図１の（Ｃ）に示されるような操作方法情報が画像生成部５２で表示され、ユーザーは操作方法情報を視認することにより、操作する機器の操作部８１での操作方法を理解することができる。Ｓ２４の処理が終了すると、Ｓ２５の判断処理に進む。
【００５０】
Ｓ２５「機器操作信号入力」の判断処理において、操作内容決定プログラム１２ｆは、バス１９に機器操作信号が入力されたか否かを判断する。ユーザーは、画像生成部５２に表示された操作方法情報（図１の（Ｃ）に示す）を見ながら、操作部８１を操作することにより、機器を遠隔操作することができる。ユーザーが操作部８１を操作すると、機器操作信号が、バス１９に入力される。操作内容決定プログラム１２ｆが、バス１９に機器操作信号が入力されたと判断した場合には（Ｓ２５がＹＥＳ）、Ｓ２６の処理に進む。一方で、操作内容決定プログラム１２ｆが、バス１９に機器操作信号が入力された判断しない場合には（Ｓ２５がＮＯ）、Ｓ２６の処理に進まない。
【００５１】
Ｓ２６「操作内容送信」の処理において、操作内容決定プログラム１２ｆは、Ｓ２５の判断処理においてバス１９に入力された機器操作信号に基づいて、操作内容を決定する。操作信号送信プログラム１２ｇは、前記決定された操作内容を、無線通信部８２で機器に送信させる。Ｓ２６の処理が終了すると、機器操作処理が終了する。
【００５２】
（操作機器決定処理）
図９を用いて、以下、操作機器決定処理について説明する。
操作機器決定処理が開始されると、Ｓ２１１「方位検出」の処理に進み、操作機器決定プログラム１２ｅは、方位検出部２１で地磁気を所定時間（例えば数ミリ秒）をおいて検出させることにより、ユーザーが向いている方位を検出して、順次、方位情報記憶領域１２ｊに記憶させる。Ｓ２１１の処理が終了すると、Ｓ２１２の判断処理に進む。
【００５３】
Ｓ２１２「一定時間同じ方位を向いているか」の判断処理において、操作機器決定プログラム１２ｅは、方位情報記憶領域１２ｊを参照することにより、一定時間（例えば数秒）以上、方位情報が所定の閾値の範囲内に有るか否かを判断し、ユーザーが同じ方位を向いているか否かを判断する。操作機器決定プログラム１２ｅが、一定時間以上、方位情報が所定の閾値の範囲内に有ると判断した場合には（Ｓ２１２がＹＳＥ）、Ｓ２１３の処理に進む。操作機器決定プログラム１２ｅが、一定時間以上、方位情報が所定の閾値の範囲内に有ると判断しない場合には（Ｓ２１２がＮＯ）、操作機器決定処理が終了する。
【００５４】
Ｓ２１３「位置情報取得」の処理において、操作機器決定プログラム１２ｅは、位置情報取得部２２で位置情報を取得させる命令を出力する。位置情報取得部２２で取得された位置情報は、位置情報記憶領域１２ｍに記憶される。Ｓ２１３の処理が終了すると、Ｓ２１４の処理に進む。
【００５５】
Ｓ２１４「現在表示中のドキュメントの識別情報を取得」の処理において、操作機器決定プログラム１２ｅは、現在、画像生成部５２で表示されているドキュメントのドキュメント識別情報を取得し、ドキュメント識別情報記憶領域１２ｐに記憶させる。Ｓ２１４の処理が終了すると、Ｓ２１５の処理に進む。
【００５６】
Ｓ２１５「機器識別情報選択」の処理において、操作機器決定プログラム１２ｅは、方位情報記憶領域１２ｊ、位置情報記憶領域１２ｍ、ドキュメント識別情報記憶領域１２ｐ、管理テーブル記憶領域１２ｑを参照することにより、方位情報、位置情報、ドキュメント識別情報が合致する機器識別情報を管理テーブル（図７に示す）の中から選択する。選択された機器識別情報は、操作機器決定情報記憶領域１２ｒに記憶される。なお、方位情報、位置情報、ドキュメント識別情報が合致する機器識別情報が管理テーブルに無い場合には、機器識別情報は選択されず、機器識別情報は操作機器決定情報記憶領域１２ｒに記憶されない。Ｓ２１５の処理が終了すると、操作機器決定処理が終了する。
【００５７】
（総括）
このように本発明では、管理テーブル生成プログラム１２ｄは、方位検出部２１が検出した方位及び操作部８１が検出したユーザーの操作に基づき、機器識別情報と方位を対応付けさせた管理テーブルを生成する。そして、操作機器決定プログラム１２ｅは、方位検出部が検出した方位を、前記管理テーブルに参照させることにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作する機器を決定する。このため、ユーザーが、所定の方向を向くだけで、ユーザーが操作を欲する機器が自動的に選択され、ユーザーが操作したい機器を容易に選択することが可能となる。
【００５８】
なお、Ｓ１５１の判断処理において、図１０の（Ｃ）に示されるように、ユーザーが異なる機器９０１〜９０４について、重複する範囲を指定することにしても差し支え無い。
この場合であって、ユーザーが重複する方位を向いている場合であっても、Ｓ２１５の処理において、
操作機器決定プログラム１２ｅは、位置情報やドキュメント識別情報も加味して機器識別情報を選択するので、画像生成部５２に表示されたドキュメント（図１０の（Ａ）や（Ｂ）に示す）に対応する機器、つまり、ユーザーが操作を欲する機器が適切に選択される。勿論、この実施形態は、管理テーブルにおいて、位置情報及びドキュメント識別情報の少なくとも一方が異なる場合のみ可能な実施形態である。
【００５９】
なお、本実施形態では、Ｓ２１２の判断処理において、ユーザーが一定時間以上同じ方位を向いている場合に限り、次の処理に進むので、ユーザーが一瞬ある方位を向くことに起因する、機器の誤選択が防止され、ユーザーが操作を欲する機器のみが選択される。
また本実施形態では、操作機器決定プログラム１２ｅは、ユーザーの位置情報も加味して、ユーザーが操作を欲する機器を選択するので、複数位置で機器登録処理（図５のフロー）を行うことができ、異なる位置であっても、ユーザーが操作を欲する機器が適切に選択される。
【００６０】
以上説明した実施形態では、操作機器決定プログラム１２ｅは、方位情報、位置情報、ドキュメント識別情報の３つの情報に基づいて、機器識別情報を選択しているが、操作機器決定プログラム１２ｅが、方位情報のみの情報に基づいて、方位情報が合致する機器識別情報を選択する実施形態であっても差し支え無い。或いは、操作機器決定プログラム１２ｅ、方位情報と、位置情報及びドキュメント識別情報のいずれか１の情報に基づいて、これら情報が合致する機器識別情報を選択する実施形態であっても差し支え無い。
【００６１】
以上説明した実施形態では、コントローラ８０とヘッドマウントディスプレイ５０は別体であるが、ヘッドマウントディスプレイ５０にコントローラ８０が設けられた実施形態であっても差し支え無い。
以上説明した実施形態では、操作部８１は物理的なボタンであるが、ヘッドマウントディスプレイ５０に撮像装置を設け、この撮像装置でユーザーの手の動きを認識して、ユーザーの操作を認識する構成であっても差し支え無い。この場合には、ユーザーが物理的なボタンに触れることなく、ユーザーが機器遠隔操作装置の操作を行うことができ、便利である。
【００６２】
以上、工作機械を操作する実施形態について本発明を説明したが、本発明の技術的思想は、パーソナルコンピュータ、テレビ、エアコンディショナー等の電化製品等を操作することにも適用可能なことは言うまでもない。
【００６３】
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う機器遠隔操作装置もまた技術的範囲に包含されるものとして理解されなければならない。
【符号の説明】
【００６４】
１０ 制御部
１１ ＣＰＵ
１２ 記憶部
１３ コントローラ
１４ ＶＲＡＭ
１５ インターフェース
１９ バス
２１ 方位検出部
２２ 位置情報取得部
５０ ヘッドマウントディスプレイ
５１ 頭部装着部
５２ 画像生成部
５３ ハーフミラー
８０ コントローラ
８１ 操作部
８２ 無線通信部
１００ 機器遠隔操作装置
９０１〜９０４ 機器
【技術分野】
【０００１】
本発明は、複数の機器を遠隔操作する際に、遠隔操作する機器の操作方法情報が表示されるヘッドマウントディスプレイ型の機器遠隔操作装置に関するものである。
【背景技術】
【０００２】
従来、ヘッドマウントディスプレイを利用し、複数の機器を遠隔操作する機器遠隔操作システムが知られている。例えば、特許文献１には、操作する機器をバーコードリーダで認識し、ユーザーの頭部に装着されるヘッドマウントディスプレイに、前記認識した機器の操作方法情報を表示させ、前記認識した機器を遠隔操作する機器遠隔操作システムの発明が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１３０６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に示されるような機器遠隔操作システムでは、操作する機器に近接した位置までユーザーが移動して、機器のバーコードを読み取る必要があり、ユーザーが操作したい機器を選択するのに煩雑であった。
本発明は、上記問題を解決し、ユーザーが操作したい機器を容易に選択することができる機器遠隔操作システムを提供することを目的としてなされたものである。
【課題を解決するための手段】
【０００５】
上記課題を解決するためになされた請求項１に記載の発明は、
複数の機器を無線信号で遠隔操作する機器遠隔操作装置において、
ユーザーの頭部に装着され、前記ユーザーに画像を視認させる画像生成部と、
方位を検出する方位検出部と、
前記機器と無線通信を行う無線通信部と、
ユーザーの操作を検出する操作部と、
前記無線通信部を介して、前記機器の機器識別情報を取得する識別情報取得手段と、
前記方位検出部が検出した方位及び前記操作部が検出したユーザーの操作に基づき、前記機器識別情報と前記方位を対応付ける対応付け手段と、
前記方位検出部が検出した方位を、前記対応付け手段が対応付けさせた結果に参照させることにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作する機器を決定する操作機器決定手段と、
前記操作機器決定手段が選択した識別情報と関連する情報から画像を生成し、前記画像生成部に出力する画像生成手段と、
前記操作部が検出したユーザーの操作と、前記操作機器決定手段が決定した機器の前記操作方法情報に基づき、前記操作機器決定手段が決定した機器の操作内容を決定する操作内容決定手段と、
前記操作内容決定手段が決定した前記操作内容を、前記無線通信部を介して前記操作機器決定手段が決定した機器に送信する機器操作信号送信手段と、
を有することを特徴とする。
【０００６】
請求項２に記載の発明は、請求項１に記載の発明において、
前記対応付け手段は、前記方位検出部が検出した方位及び前記操作部が検出したユーザーの操作に基づき、機器識別情報及びユーザーが指定した方位の範囲を対応付けさせることを特徴とする。
これにより、ユーザーが、各機器について任意の方位の範囲指定を行うことができ、利便性が向上する。
【０００７】
請求項３に記載の発明は、請求項２に記載の発明において、
前記操作機器設定手段は、前記方位検出部が検出した方位が、前記対応付け手段が対応付けさせた結果の方位の範囲に所定時間以上ある場合に、前記方位の範囲に対応する機器識別情報の機器を選択することを特徴とする。
これにより、ユーザーが一瞬ある方位を向くことに起因する、機器の誤選択が防止され、ユーザーが操作を欲する機器のみが選択される。
【０００８】
請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
当該装置の位置情報を取得する位置情報取得部を有し、
前記対応付け手段は、前記位置取得部が取得した位置情報も更に前記機器識別情報に対応付けさせ、
前記操作機器決定手段は、前記位置情報取得部が取得した位置情報も加味して、ユーザーが操作する機器を決定することを特徴とする。
これにより、ユーザが存在する位置に合わせて、ユーザーが操作を欲する機器が適切に選択される。
【０００９】
請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、
画像生成部には、前記各機器に対応した各ドキュメントが表示され、
対応付け手段は、前記ドキュメントの識別情報も更に前記機器識別情報に対応付けさせ、
前記操作機器決定手段は、前記画像生成手段が前記画像生成部に出力しているドキュメントの識別情報も加味して、ユーザーが操作する機器を決定することを特徴とする。
これにより、各機器の方位範囲が重複する場合に、ユーザーが重複する方位を向いている場合であっても、ドキュメントの識別情報が一致する機器のみが選択するので、画像生成部に表示されたドキュメントに対応する機器、つまり、ユーザーが操作を欲する機器が選択される。
【００１０】
請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、
前記機器の前記操作部での操作方法を表した操作方法情報が記憶される記憶部を更に有し、
前記画像生成手段は、前記記憶部から、前記操作機器決定手段が選択した識別情報と関連する操作方法情報を取得し、当該操作方法情報から操作方法画像を生成し、画像生成部に出力することを特徴とする。
これにより、ユーザーは操作方法情報を視認することにより、操作する機器の操作部での操作方法を理解することが可能となる。
【００１１】
請求項７に記載の発明は、請求項１〜請求項６に記載の発明において、
前記画像生成手段はさらに、少なくとも前記対応付け手段が実行されるよりも前に、前記識別情報取得手段によって取得された前記機器の機器識別情報の一覧を、前記画像生成部に出力することを特徴とする。
これにより、ユーザーは、画像生成部で表示される機器リストを視認することにより、操作可能な機器を認識することが可能となる。
【００１２】
請求項８に記載の発明は、
ユーザーの頭部に装着され、前記ユーザーに画像を視認させる画像生成部と、
方位を検出する方位検出部と、
機器と無線通信を行う無線通信部と、
ユーザーの操作を検出する操作部とを備え、
前記機器を無線信号で遠隔操作する機器遠隔操作装置において実行されるプログラムであって、
前記無線通信部を介して、前記機器の識別情報を取得する識別情報取得ステップと、
前記方位検出部が検出した方位及び前記操作部が検出したユーザーの操作に基づき、前記識別情報と前記方位を対応付けさせる対応付けステップと、
前記方位検出部が検出した方位を、前記対応付けさせた結果に参照させることにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作する機器を決定する操作機器決定ステップと、
前記選択された識別情報と関連する情報から画像を生成し、前記画像生成部に出力するステップ画像生成ステップと、
前記操作部が検出したユーザーの操作に基づき、前記操作機器決定ステップにて決定された機器の操作内容を決定する操作内容決定ステップと、
前記操作内容決定ステップにて決定された前記操作内容を、前記無線通信部を介して前記操作機器決定ステップにて決定された機器に送信する機器操作信号送信ステップとを有することを特徴とする。
【発明の効果】
【００１３】
本発明の機器遠隔操作装置は、方位検出部が検出した方位及び操作部が検出したユーザーの操作に基づき、機器識別情報と方位を対応付けさせ、方位検出部が検出した方位を、前記対応付けさせた結果に参照させることにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作する機器を決定する。このため、ユーザーが、所定の方向を向くだけで、ユーザーが操作を欲する機器が自動的に選択され、ユーザーが操作したい機器を容易に選択することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の機器遠隔操作装置の概要図である。
【図２】ユーザーによる方位範囲設定の説明図である。
【図３】機器遠隔操作装置のブロック図である。
【図４】メイン処理のフロー図である。
【図５】機器登録処理のフロー図である。
【図６】管理テーブル生成処理のフロー図である。
【図７】管理テーブルの説明図である。
【図８】機器操作処理のフロー図である。
【図９】操作機器決定処理のフロー図である。
【図１０】ドキュメント識別情報と各機器の方位範囲を表した説明図である。
【発明を実施するための形態】
【００１５】
（本発明の概要）
図１に本発明の機器遠隔操作装置の概要図を示して、以下、本発明の概要を説明する。図１の（Ａ）に示されるように、本発明の機器遠隔装置１００は、機器９０１〜９０２を遠隔操作するためのコントローラ８０と、ユーザーの頭部に装着されユーザーに画像を視認させるヘッドマウントディスプレイ５０とから構成されている。
【００１６】
コントローラ８０は、ユーザーの操作を検出する操作部８１と、操作部８１により検出されたユーザーの操作内容を、機器９０１、９０２に送信する無線通信部８２を有している。
【００１７】
ヘッドマウントディスプレイ５０は、ユーザーの頭部に装着される頭部装着部５１と、頭部装着部５１に取り付けられ、ユーザーに視認させる画像を生成する画像生成部５２とから構成されている。画像生成部５２は、ＬＣＤや有機ＥＬなどを用いたものや、強度が画像に応じて変調されたレーザ光を２次元に走査した走査画像光をユーザーの眼球に直接照射する構造のものが含まれる。本実施形態では、図１に示されるように、画像生成部５２には、ハーフミラー５３が取り付けられている。そして、画像生成部５２は前記した走査画像光をハーフミラー５３に出射する。走査画像光は、ハーフミラー５３によって反射され、ユーザーの瞳孔に入射する。ユーザーは、画像生成部５２によって生成された画像を視認しつつ、ハーフミラー５３を通して外界を見ることができる。このようなヘッドマウントディスプレイ５０は、シースルー型のヘッドマウントディスプレイと呼ばれる。このような、シースルー型のヘッドマウントディスプレイであれば、以下に説明する実施形態のように、ユーザーが作業を行う際に、画像生成部５２が生成する画像を視認しつつ、外界を見ることができるので好ましい。
本発明では、ヘッドマウントディスプレイ５０は方位検出部２１を有していて、この方位検出部２１により、ユーザーが向いている方位が検出される。
【００１８】
本実施形態では、画像生成部５２には、組み立てマニュアル等のドキュメント（図１の（Ｂ）に示す）や、操作する機器９０１、９０２の操作方法情報（図１の（Ｃ）に示す）が表示され、ユーザーは、これらドキュメントや操作方法情報を見ることができる。なお、操作方法情報は、操作する機器９０１、９０２の操作部８１での操作方法を表した情報であり、操作部８１の各ボタンの操作内容が表された情報である。なお、ユーザーは操作部８１を操作することにより、任意のドキュメントを画像生成部５２で表示させることができる。本発明では、方位検出部２１によりユーザーが向いている方位が検出され、この検出された方位情報に基づいて、自動的に、ユーザーが操作を欲する機器９０１、９０２が選択されるようになっている。図２に示されるように、各機器９０１、９０２には、それぞれ方位の範囲が割り当てられ、例えば、方位検出部２１が検出した方位が、機器９０１の方位の範囲に合致した場合には、機器９０１が自動的に選択されるようになっている。以下に、機器遠隔操作装置１００の具体的な構造について詳細に説明する。
【００１９】
（機器遠隔操作装置のブロック図）
図３に機器遠隔操作装置１００のブロック図を示して、以下、当該ブロック図について説明をする。図３に示されるように、機器遠隔操作装置１００は、機器遠隔操作装置１００を構成する各要素を制御する制御部１０を有している。制御部１０は、ＣＰＵ１１、記憶部１２、コントローラ１３、インターフェース１５を有していて、これらは、バス１９で相互に接続されている。また、制御部１０は、ＶＲＡＭ１４を有していて、ＶＲＡＭ１４はコントローラ１３に接続している。
【００２０】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）１１は、記憶部１２と協動して、各種演算、処理を行う。
【００２１】
記憶部１２には、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）である主記憶装置、及び、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略）や不揮発性メモリー等の補助記憶装置とから構成されている。
ＲＡＭである主記憶装置は、ＣＰＵ１１で処理されるプログラムや、ＣＰＵ１１が処理するデータ、ＣＰＵにより処理されたデータを、そのアドレス空間に一時的に記憶する。つまり、主記憶装置は、ＣＰＵ１１のワーキングエリアとして作用する。
補助記憶装置には、各種パラメータやＣＰＵ１１で処理される各種プログラムが記憶され、ＣＰＵ１１で処理された後のデータが記憶される。
【００２２】
補助記憶装置には、画像生成プログラム１２ａ、識別情報取得プログラム１２ｂ、操作方法情報取得プログラム１２ｃ、管理テーブル生成プログラム１２ｄ、操作機器決定プログラム１２ｅ、操作内容決定プログラム１２ｆ、操作信号送信プログラム１２ｇが記憶されている。
画像生成プログラム１２ａは、画像生成部５２で表示する画像データを生成させる描画命令を、コントローラ１３に出力するプログラムである。
識別情報取得プログラム１２ｂは、無線通信部８２を介して、各機器の機器識別情報を取得するプログラムである。
操作方法情報取得プログラム１２ｃは、各機器の操作方法情報を取得するプログラムである。
管理テーブル生成プログラム１２ｄは、少なくとも各機器の識別情報と方位範囲情報が対応付けられた管理テーブル（図７に示す）を生成するプログラムである。
操作機器決定プログラム１２ｅは、少なくとも方位検出部２１が検出した方位を、管理テーブルを参照することにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作を欲する機器を決定するプログラムである。
操作内容決定プログラム１２ｆは、ユーザーの操作部８１の操作に基づいて、操作内容を決定するプログラムである。
操作信号送信プログラム１２ｇは、前記決定された操作内容を、無線通信部８２で機器に送信させるプログラムである。
【００２３】
補助記憶装置は、機器識別情報記憶領域１２ｈ、操作方法情報記憶領域１２ｉ、方位情報記憶領域１２ｊ、方位範囲情報記憶領域１２ｋ、位置情報記憶領域１２ｍ、ドキュメント記憶領域１２ｎ、ドキュメント識別情報記憶領域１２ｐ、管理テーブル記憶領域１２ｑ、操作機器決定情報記憶領域１２ｒを有している。
機器識別情報記憶領域１２ｈには、識別情報取得プログラム１２ｂにより取得された機器識別情報が記憶される。
操作方法情報記憶領域１２ｉには、各機器の操作方法情報が記憶される。
方位情報記憶領域１２ｊには、方位検出部２１で検出された方位情報が記憶される。
方位範囲情報記憶領域１２ｋには、ユーザーにより指定された方位範囲情報が記憶される。
位置情報記憶領域１２ｍには、位置情報取得部２２により取得された位置情報が記憶される。
ドキュメント記憶領域１２ｎには、画像生成部５２で表示されるドキュメントが記憶される。ドキュメントの例としては、図１の（Ａ）に示されるような組み立てマニュアルが含まれる。なお、各ドキュメントは、ドキュメント識別情報を有している。
ドキュメント識別情報記憶領域１２ｐには、ユーザーにより選択されたドキュメントの識別情報が記憶される。
管理テーブル記憶領域１２ｑには、管理テーブル生成プログラム１２ｄが生成した管理テーブル（図７に示す）が記憶される。
操作機器決定情報記憶領域１２ｒには、操作機器決定プログラム１２ｅにより決定された機器識別情報が記憶される。
【００２４】
コントローラ１３は、所謂ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。コントローラ１３は、画像生成プログラム１２ａの命令を受けて、ピクセルデータである画像データを生成し、ＶＲＡＭ１４に記憶させる。ＶＲＡＭ１４に記憶された画像データは画像信号として画像生成部５２に出力される。
【００２５】
インターフェース１５には、操作部８１、無線通信部８２、方位検出部２１、位置情報取得部２２が有線又は無線で接続されている。操作部８１、無線通信部８２、方位検出部２１、位置情報取得部２２で検出又は取得された各種情報は、入力インターフェース１４で、物理的・論理的な形式が変換されて、バス１９に出力される。
【００２６】
操作部８１は、ユーザーの操作を検出するものであり、物理的なボタン、タッチパネルが含まれる。
無線通信部８２は、電磁波を送受信することにより機器と無線信号で無線通信を行い、前記機器を遠隔操作するための装置である。
【００２７】
方位検出部２１は、ヘッドマウントディスプレイ５０に取り付けられ、地磁気を検出することにより、ユーザーの向いている方位の情報である方位情報を生成する装置である。生成された方位情報は、方位情報記憶領域１２ｊに記憶される。
位置情報取得部２２は、ＧＰＳ衛星等からの位置情報信号（ＧＰＳ信号を含む）を受信する装置である。受信された位置情報信号は、順次、位置情報記憶領域１２ｊに記憶される。
【００２８】
（メイン処理）
図４を用いて、以下、メイン処理について説明する。
機器遠隔操作装置１００に電源が投入されると、Ｓ１０「機器登録処理」が実行される。Ｓ１０の処理において、ユーザーが操作可能な機器が検出され、図７に示される管理テーブルが生成される。詳しくは、図５のフローを用いて後述する。Ｓ１０の処理が終了すると、Ｓ２０の処理に進む。
【００２９】
Ｓ２０「機器操作処理」において、ユーザーが操作する機器が決定され、この機器にユーザーによる操作内容を送信する処理が実行される。詳しくは、図８のフローを用いて後述する。Ｓ２０の処理が終了すると、Ｓ３０の判断処理に進む。
【００３０】
Ｓ３０「終了」の判断処理において、ＣＰＵ１１は、ユーザーの操作部８１の操作により、機器遠隔操作装置１００を終了させる終了信号が、バス１９に入力されたか否かを判断する。ＣＰＵ１１が、終了信号がバス１９に入力されたと判断した場合には（Ｓ３０がＹＥＳ）、メイン処理が終了する。一方で、ＣＰＵ１１が、終了信号がバス１９に入力されたと判断しない場合には（Ｓ３０がＮＯ）、Ｓ２０の処理に戻る。
【００３１】
（機器登録処理）
図５を用いて、以下、機器登録処理について説明する。
機器登録処理が開始すると、Ｓ１１「機器識別情報取得」の処理において、識別情報取得プログラム１２ｂは、無線通信部８２に各機器と通信させ、機器の機器識別情報を取得させる。取得された機器識別情報は、機器識別情報記憶領域１２ｈに記憶される。Ｓ１１の処理が終了すると、Ｓ１２の処理に進む。
【００３２】
Ｓ１２「機器リストを表示」の処理において、画像生成プログラム１２ａは、機器識別情報記憶領域１２ｈに記憶されている機器識別情報を参照し、操作可能な機器リストを画像生成部５２で表示させる描画命令を、コントローラ１３に出力する。画像生成部５２で、ユーザーが操作可能な機器リストが表示される。ユーザーは、画像生成部５２で表示される機器リストを視認することにより、操作可能な機器を認識することができる。Ｓ１２の処理が終了すると、Ｓ１３の判断処理に進む。
【００３３】
Ｓ１３「機器登録通知入力」の判断処理において、ＣＰＵ１１は、機器登録通知がバス１９に入力されたか否かを判断する。ユーザーは、操作部８１を操作することにより、S１２の処理において画像生成部５２で表示された機器リストの中から、登録したい機器を選択することができる。ユーザーが、操作部８１を操作して登録したい機器を選択すると、インターフェース１５からバス１９に機器登録通知が入力される。ＣＰＵ１１が、機器登録通知がバス１９に入力されたと判断した場合には（Ｓ１３がＹＥＳ）、Ｓ１４の処理に進む。一方で、ＣＰＵ１１が、機器登録通知がバス１９に入力されたと判断しない場合には（Ｓ１３がＮＯ）、Ｓ１４の処理に進まない。
【００３４】
Ｓ１４「操作方法情報取得」の処理において、操作方法情報取得プログラム１２ｃは、無線通信部８２に、S１３の処理において選択された機器と通信させ、当該機器の操作方法情報を取得させる。取得された操作方法情報は機器識別情報と対応付けされて、操作方法情報記憶領域１２ｉに記憶される。Ｓ１４の処理が終了すると、Ｓ１５の処理に進む。
【００３５】
Ｓ１５「管理テーブル生成」の処理において、図７に示されるような管理テーブルが生成される。詳しくは、図６のフローを用いて説明する。Ｓ１５の処理が終了すると、Ｓ１６の判断処理に進む。
【００３６】
Ｓ１６「登録完了通知入力」の判断処理において、ＣＰＵ１１は、ユーザーの操作部８１の操作により、登録完了通知がバス１９に入力されたか否かを判断する。ＣＰＵ１１が、登録完了通知がバス１９に入力されと判断した場合には（Ｓ１６がＹＥＳ）、機器登録処理が終了する。一方で、ＣＰＵ１１が、登録完了通知がバス１９に入力されと判断しない場合には（Ｓ１６がＮＯ）、Ｓ１３の判断処理に戻る。
【００３７】
以上説明した実施形態では、Ｓ１４の処理において、操作方法情報取得プログラム１２ｃは、無線通信部８２にS１３の処理において選択された機器と通信させて、操作方法情報を取得させているが、予め、操作方法情報記憶領域１２ｉに各機器の操作方法情報が記憶されている実施形態でも差し支えなく、この実施形態の場合には、Ｓ１４の処理は不要である。
或いは、操作情報を、ネットワークを介してサーバーから取得する実施形態でも差し支え無く、この場合には、Ｓ１４の処理において、操作方法情報取得プログラム１２ｃは、サーバー−にS１３の処理において選択された機器の機器識別情報を送信し、サーバーからその機器識別情報に対応する操作方法情報を取得する。
【００３８】
（管理テーブル生成処理）
図６を用いて、以下、管理テーブル生成処理について説明する。
管理テーブル生成処理が開始すると、Ｓ１５１「方位範囲指定」の判断処理において、管理テーブル生成プログラム１２ｄは、バス１９に方位範囲指定信号が入力されたか否かを判断する。ユーザーは、操作部８１を操作することにより、図２に示されるように、機器９０１、９０２に対応する方位範囲を指定することができる。なお、機器９０１、９０２に対応する方位範囲を指定は、実際に機器がある方位の範囲を指定してもいいし、実際に機器がある方位とは別の方位の範囲を指定しても差し支えない。管理テーブル生成プログラム１２ｄが、バス１９に方位範囲指定信号が入力されたと判断した場合には（Ｓ１５１がＹＥＳ）、Ｓ１５２の処理に進む。一方で、管理テーブル生成プログラム１２ｄが、バス１９に方位範囲指定信号が入力されたと判断しない場合には（Ｓ１５１がＮＯ）、Ｓ１５２の処理に進まない。
【００３９】
Ｓ１５２「方位範囲記憶」の処理において、管理テーブル生成プログラム１２ｄは、方位検出部２１で地磁気を検出させることにより、ユーザーが向いている方位を検出して、方位情報記憶領域１２ｊに記憶させる。そして、管理テーブル生成プログラム１２ｄは、方位情報記憶領域１２ｊに記憶されている方位情報及びＳ１５１の判断処理で入力された方位範囲指定信号に基づいて、方位範囲情報を生成し、方位範囲情報記憶領域１２ｋに記憶させる。例えば、方位情報記憶領域１２ｊに記憶されている方位情報を中心とした、方位範囲指定信号によって指定される方位範囲が、方位範囲情報として生成される。或いは、ユーザーが方位範囲の始点と終点を操作部８１で指定する実施形態であっても差し支え無い。この実施形態の場合には、Ｓ１５１及びＳ１５２の処理において、管理テーブル生成プログラム１２ｄは、バス１９入力された方位範囲指定信号が入力された際に、方位検出部２１で地磁気を検出させることにより、方位範囲の始点と終点を検出して、方位範囲情報を生成し、方位範囲情報記憶領域１２ｋに記憶させる。Ｓ１５２の処理が終了すると、Ｓ１５３の処理に進む。
【００４０】
Ｓ１５３「位置情報取得」の処理において、管理テーブル生成プログラム１２ｄは、位置情報取得部２２で位置情報を取得させる命令を出力する。位置情報取得部２２で取得された位置情報は、位置情報記憶領域１２ｍに記憶される。Ｓ１５３の処理が終了すると、Ｓ１５４の処理に進む。
【００４１】
Ｓ１５４「ドキュメント一覧表示」の処理において、画像生成プログラム１２ａは、ドキュメント記憶領域１２ｎを参照してドキュメントのデータを取得し、画像生成部５２でドキュメントの一覧を表示させる描画命令をコントローラ１３に出力する。画像生成部５２は、ドキュメント記憶領域１２ｎに記憶されているドキュメントの一覧を表示する。Ｓ１５４の処理が終了すると、Ｓ１５５の判断処理に進む。
【００４２】
Ｓ１５５「ドキュメント選択」の判断処理において、管理テーブル生成プログラム１２ｄは、バス１９にドキュメント選択信号が入力されたか否かを判断する。ユーザーは操作部８１を操作することにより、画像生成部５２で一覧表示されているドキュメントのうち、１のドキュメントを選択することができる。ユーザーの操作部８１の操作により、ドキュメント選択信号がバス１９に入力される。管理テーブル生成プログラム１２ｄが、バス１９にドキュメント選択信号が入力されたと判断した場合には（Ｓ１５５がＹＥＳ）、Ｓ１５６の処理に進む。一方で、管理テーブル生成プログラム１２ｄが、バス１９にドキュメント選択信号が入力されたと判断しない場合には（Ｓ１５５がＮＯ）、Ｓ１５６の処理に進まない。
【００４３】
Ｓ１５６「ドキュメント識別情報取得」の処理において、管理テーブル生成プログラム１２ｄは、Ｓ１５５の判断処理で選択されたドキュメントの識別情報を取得し、ドキュメント識別情報として、ドキュメント識別情報記憶領域１２ｐに記憶させる。ドキュメント識別情報は、例えば、ドキュメントのファイル名や、ドキュメントが記憶されるアドレス値などである。Ｓ１５６の処理が終了すると、Ｓ１５７の処理に進む。
【００４４】
Ｓ１５７「管理テーブル生成」の処理において、管理テーブル生成プログラム１２ｄは、機器識別情報記憶領域１２ｈ、操作方法情報記憶領域１２ｉ、方位範囲情報記憶領域１２ｋ、位置情報記憶領域１２ｍ、ドキュメント識別情報記憶領域１２ｐを参照することにより、機器識別情報、方位範囲情報、位置情報、ドキュメント識別情報を対応付けさせた管理テーブル（図７に示す）を生成し、管理テーブル記憶領域１２ｑに記憶させる。Ｓ１５７の処理が終了すると、管理テーブル生成処理が終了する。
【００４５】
このように本実施形態では、Ｓ１５４〜Ｓ１５７の処理において、画像生成部５２で表示されるドキュメント（図１の（Ｂ））と、このドキュメントに対応した機器を対応付けさせた管理テーブルが生成される。
【００４６】
（機器操作処理）
図８を用いて、以下、機器操作処理について説明する。
機器操作処理が開始されると、Ｓ２１「操作機器決定」の処理に進み、ユーザーが操作する機器が決定される。詳しくは、図９のフローを用いて後述する。Ｓ２１の処理が終了すると、Ｓ２２の判断処理に進む。
【００４７】
Ｓ２２「操作可能機器有り」の判断処理において、ＣＰＵ１１は、操作機器決定情報記憶領域１２ｒを参照して、操作情報記憶領域１２ｒに機器識別情報が記憶されているか判断することにより、操作可能な機器が有るか否かを判断する。ＣＰＵ１１が、操作可能な機器が有ると判断した場合には（Ｓ２２がＹＥＳ）、Ｓ２３の処理に進む。一方で、ＣＰＵ１１が、操作可能な機器が無いと判断した場合には（Ｓ２２がＮＯ）、機器操作処理が終了する。
【００４８】
Ｓ２３「操作内容合致」の処理において、ＣＰＵ１１は、操作機器決定情報記憶領域１２ｒを参照して、操作情報記憶領域１２ｒに記憶されている機器識別情報に対応する機器を認識し、操作部８１のボタンやタッチパネルを前記機器の操作内容に対応させる処理を行う。Ｓ２３の処理が終了すると、Ｓ２４の処理に進む。
【００４９】
Ｓ２４「操作方法情報表示」の処理において、画像生成プログラム１２ａは、操作機器決定情報記憶領域１２ｒを参照することにより、機器識別情報を取得し、ユーザーが操作する機器を認識する。そして、画像生成プログラム１２ａは、前記機器の操作方法情報を操作方法情報記憶領域１２ｉから取得し、当該操作方法情報を画像生成部５２で表示させる描画命令を、コントローラ１３に出力する。すると、図１の（Ｃ）に示されるような操作方法情報が画像生成部５２で表示され、ユーザーは操作方法情報を視認することにより、操作する機器の操作部８１での操作方法を理解することができる。Ｓ２４の処理が終了すると、Ｓ２５の判断処理に進む。
【００５０】
Ｓ２５「機器操作信号入力」の判断処理において、操作内容決定プログラム１２ｆは、バス１９に機器操作信号が入力されたか否かを判断する。ユーザーは、画像生成部５２に表示された操作方法情報（図１の（Ｃ）に示す）を見ながら、操作部８１を操作することにより、機器を遠隔操作することができる。ユーザーが操作部８１を操作すると、機器操作信号が、バス１９に入力される。操作内容決定プログラム１２ｆが、バス１９に機器操作信号が入力されたと判断した場合には（Ｓ２５がＹＥＳ）、Ｓ２６の処理に進む。一方で、操作内容決定プログラム１２ｆが、バス１９に機器操作信号が入力された判断しない場合には（Ｓ２５がＮＯ）、Ｓ２６の処理に進まない。
【００５１】
Ｓ２６「操作内容送信」の処理において、操作内容決定プログラム１２ｆは、Ｓ２５の判断処理においてバス１９に入力された機器操作信号に基づいて、操作内容を決定する。操作信号送信プログラム１２ｇは、前記決定された操作内容を、無線通信部８２で機器に送信させる。Ｓ２６の処理が終了すると、機器操作処理が終了する。
【００５２】
（操作機器決定処理）
図９を用いて、以下、操作機器決定処理について説明する。
操作機器決定処理が開始されると、Ｓ２１１「方位検出」の処理に進み、操作機器決定プログラム１２ｅは、方位検出部２１で地磁気を所定時間（例えば数ミリ秒）をおいて検出させることにより、ユーザーが向いている方位を検出して、順次、方位情報記憶領域１２ｊに記憶させる。Ｓ２１１の処理が終了すると、Ｓ２１２の判断処理に進む。
【００５３】
Ｓ２１２「一定時間同じ方位を向いているか」の判断処理において、操作機器決定プログラム１２ｅは、方位情報記憶領域１２ｊを参照することにより、一定時間（例えば数秒）以上、方位情報が所定の閾値の範囲内に有るか否かを判断し、ユーザーが同じ方位を向いているか否かを判断する。操作機器決定プログラム１２ｅが、一定時間以上、方位情報が所定の閾値の範囲内に有ると判断した場合には（Ｓ２１２がＹＳＥ）、Ｓ２１３の処理に進む。操作機器決定プログラム１２ｅが、一定時間以上、方位情報が所定の閾値の範囲内に有ると判断しない場合には（Ｓ２１２がＮＯ）、操作機器決定処理が終了する。
【００５４】
Ｓ２１３「位置情報取得」の処理において、操作機器決定プログラム１２ｅは、位置情報取得部２２で位置情報を取得させる命令を出力する。位置情報取得部２２で取得された位置情報は、位置情報記憶領域１２ｍに記憶される。Ｓ２１３の処理が終了すると、Ｓ２１４の処理に進む。
【００５５】
Ｓ２１４「現在表示中のドキュメントの識別情報を取得」の処理において、操作機器決定プログラム１２ｅは、現在、画像生成部５２で表示されているドキュメントのドキュメント識別情報を取得し、ドキュメント識別情報記憶領域１２ｐに記憶させる。Ｓ２１４の処理が終了すると、Ｓ２１５の処理に進む。
【００５６】
Ｓ２１５「機器識別情報選択」の処理において、操作機器決定プログラム１２ｅは、方位情報記憶領域１２ｊ、位置情報記憶領域１２ｍ、ドキュメント識別情報記憶領域１２ｐ、管理テーブル記憶領域１２ｑを参照することにより、方位情報、位置情報、ドキュメント識別情報が合致する機器識別情報を管理テーブル（図７に示す）の中から選択する。選択された機器識別情報は、操作機器決定情報記憶領域１２ｒに記憶される。なお、方位情報、位置情報、ドキュメント識別情報が合致する機器識別情報が管理テーブルに無い場合には、機器識別情報は選択されず、機器識別情報は操作機器決定情報記憶領域１２ｒに記憶されない。Ｓ２１５の処理が終了すると、操作機器決定処理が終了する。
【００５７】
（総括）
このように本発明では、管理テーブル生成プログラム１２ｄは、方位検出部２１が検出した方位及び操作部８１が検出したユーザーの操作に基づき、機器識別情報と方位を対応付けさせた管理テーブルを生成する。そして、操作機器決定プログラム１２ｅは、方位検出部が検出した方位を、前記管理テーブルに参照させることにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作する機器を決定する。このため、ユーザーが、所定の方向を向くだけで、ユーザーが操作を欲する機器が自動的に選択され、ユーザーが操作したい機器を容易に選択することが可能となる。
【００５８】
なお、Ｓ１５１の判断処理において、図１０の（Ｃ）に示されるように、ユーザーが異なる機器９０１〜９０４について、重複する範囲を指定することにしても差し支え無い。
この場合であって、ユーザーが重複する方位を向いている場合であっても、Ｓ２１５の処理において、
操作機器決定プログラム１２ｅは、位置情報やドキュメント識別情報も加味して機器識別情報を選択するので、画像生成部５２に表示されたドキュメント（図１０の（Ａ）や（Ｂ）に示す）に対応する機器、つまり、ユーザーが操作を欲する機器が適切に選択される。勿論、この実施形態は、管理テーブルにおいて、位置情報及びドキュメント識別情報の少なくとも一方が異なる場合のみ可能な実施形態である。
【００５９】
なお、本実施形態では、Ｓ２１２の判断処理において、ユーザーが一定時間以上同じ方位を向いている場合に限り、次の処理に進むので、ユーザーが一瞬ある方位を向くことに起因する、機器の誤選択が防止され、ユーザーが操作を欲する機器のみが選択される。
また本実施形態では、操作機器決定プログラム１２ｅは、ユーザーの位置情報も加味して、ユーザーが操作を欲する機器を選択するので、複数位置で機器登録処理（図５のフロー）を行うことができ、異なる位置であっても、ユーザーが操作を欲する機器が適切に選択される。
【００６０】
以上説明した実施形態では、操作機器決定プログラム１２ｅは、方位情報、位置情報、ドキュメント識別情報の３つの情報に基づいて、機器識別情報を選択しているが、操作機器決定プログラム１２ｅが、方位情報のみの情報に基づいて、方位情報が合致する機器識別情報を選択する実施形態であっても差し支え無い。或いは、操作機器決定プログラム１２ｅ、方位情報と、位置情報及びドキュメント識別情報のいずれか１の情報に基づいて、これら情報が合致する機器識別情報を選択する実施形態であっても差し支え無い。
【００６１】
以上説明した実施形態では、コントローラ８０とヘッドマウントディスプレイ５０は別体であるが、ヘッドマウントディスプレイ５０にコントローラ８０が設けられた実施形態であっても差し支え無い。
以上説明した実施形態では、操作部８１は物理的なボタンであるが、ヘッドマウントディスプレイ５０に撮像装置を設け、この撮像装置でユーザーの手の動きを認識して、ユーザーの操作を認識する構成であっても差し支え無い。この場合には、ユーザーが物理的なボタンに触れることなく、ユーザーが機器遠隔操作装置の操作を行うことができ、便利である。
【００６２】
以上、工作機械を操作する実施形態について本発明を説明したが、本発明の技術的思想は、パーソナルコンピュータ、テレビ、エアコンディショナー等の電化製品等を操作することにも適用可能なことは言うまでもない。
【００６３】
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う機器遠隔操作装置もまた技術的範囲に包含されるものとして理解されなければならない。
【符号の説明】
【００６４】
１０ 制御部
１１ ＣＰＵ
１２ 記憶部
１３ コントローラ
１４ ＶＲＡＭ
１５ インターフェース
１９ バス
２１ 方位検出部
２２ 位置情報取得部
５０ ヘッドマウントディスプレイ
５１ 頭部装着部
５２ 画像生成部
５３ ハーフミラー
８０ コントローラ
８１ 操作部
８２ 無線通信部
１００ 機器遠隔操作装置
９０１〜９０４ 機器
【特許請求の範囲】
【請求項１】
複数の機器を無線信号で遠隔操作する機器遠隔操作装置において、
ユーザーの頭部に装着され、前記ユーザーに画像を視認させる画像生成部と、
方位を検出する方位検出部と、
前記機器と無線通信を行う無線通信部と、
ユーザーの操作を検出する操作部と、
前記無線通信部を介して、前記機器の機器識別情報を取得する識別情報取得手段と、
前記方位検出部が検出した方位及び前記操作部が検出したユーザーの操作に基づき、前記機器識別情報と前記方位を対応付ける対応付け手段と、
前記方位検出部が検出した方位を、前記対応付け手段が対応付けさせた結果に参照させることにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作する機器を決定する操作機器決定手段と、
前記操作機器決定手段が選択した識別情報と関連する情報から画像を生成し、前記画像生成部に出力する画像生成手段と、
前記操作部が検出したユーザーの操作と、前記操作機器決定手段が決定した機器の前記操作方法情報に基づき、前記操作機器決定手段が決定した機器の操作内容を決定する操作内容決定手段と、
前記操作内容決定手段が決定した前記操作内容を、前記無線通信部を介して前記操作機器決定手段が決定した機器に送信する機器操作信号送信手段と、
を有することを特徴とする機器遠隔操作装置。
【請求項２】
前記対応付け手段は、前記方位検出部が検出した方位及び前記操作部が検出したユーザーの操作に基づき、機器識別情報及びユーザーが指定した方位の範囲を対応付けさせることを特徴とする請求項１に記載の機器遠隔操作装置。
【請求項３】
前記操作機器決定手段は、前記方位検出部が検出した方位が、前記対応付け手段が対応付けさせた結果の方位の範囲に所定時間以上ある場合に、前記方位の範囲に対応する機器識別情報の機器を選択することを特徴とする請求項２に記載の機器遠隔操作装置。
【請求項４】
当該装置の位置情報を取得する位置情報取得部を有し、
前記対応付け手段は、前記位置取得部が取得した位置情報も更に前記機器識別情報に対応付けさせ、
前記操作機器決定手段は、前記位置情報取得部が取得した位置情報も加味して、ユーザーが操作する機器を決定することを特徴とする請求項１〜請求項３のいずれかに記載の機器遠隔操作装置。
【請求項５】
画像生成部には、前記各機器に対応した各ドキュメントが表示され、
対応付け手段は、前記ドキュメントの識別情報も更に前記機器識別情報に対応付けさせ、
前記操作機器決定手段は、前記画像生成手段が前記画像生成部に出力しているドキュメントの識別情報も加味して、ユーザーが操作する機器を決定することを特徴とする請求項１〜請求項４のいずれかに記載の機器遠隔操作装置。
【請求項６】
前記機器の前記操作部での操作方法を表した操作方法情報が記憶される記憶部を更に有し、
前記画像生成手段は、前記記憶部から、前記操作機器決定手段が選択した識別情報と関連する操作方法情報を取得し、当該操作方法情報から操作方法画像を生成し、画像生成部に出力することを特徴とする請求項１〜請求項５のいずれかに記載の機器遠隔操作装置。
【請求項７】
前記画像生成手段はさらに、少なくとも前記対応付け手段が実行されるよりも前に、前記識別情報取得手段によって取得された前記機器の機器識別情報の一覧を、前記画像生成部に出力することを特徴とする請求項１〜請求項６のいずれかに記載の機器遠隔操作装置。
【請求項８】
ユーザーの頭部に装着され、前記ユーザーに画像を視認させる画像生成部と、
方位を検出する方位検出部と、
機器と無線通信を行う無線通信部と、
ユーザーの操作を検出する操作部とを備え、
前記機器を無線信号で遠隔操作する機器遠隔操作装置において実行されるプログラムであって、
前記無線通信部を介して、前記機器の識別情報を取得する識別情報取得ステップと、
前記方位検出部が検出した方位及び前記操作部が検出したユーザーの操作に基づき、前記識別情報と前記方位を対応付けさせる対応付けステップと、
前記方位検出部が検出した方位を、前記対応付けさせた結果に参照させることにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作する機器を決定する操作機器決定ステップと、
前記選択された識別情報と関連する情報から画像を生成し、前記画像生成部に出力するステップ画像生成ステップと、
前記操作部が検出したユーザーの操作に基づき、前記操作機器決定ステップにて決定された機器の操作内容を決定する操作内容決定ステップと、
前記操作内容決定ステップにて決定された前記操作内容を、前記無線通信部を介して前記操作機器決定ステップにて決定された機器に送信する機器操作信号送信ステップとを有することを特徴とするプログラム。
【請求項１】
複数の機器を無線信号で遠隔操作する機器遠隔操作装置において、
ユーザーの頭部に装着され、前記ユーザーに画像を視認させる画像生成部と、
方位を検出する方位検出部と、
前記機器と無線通信を行う無線通信部と、
ユーザーの操作を検出する操作部と、
前記無線通信部を介して、前記機器の機器識別情報を取得する識別情報取得手段と、
前記方位検出部が検出した方位及び前記操作部が検出したユーザーの操作に基づき、前記機器識別情報と前記方位を対応付ける対応付け手段と、
前記方位検出部が検出した方位を、前記対応付け手段が対応付けさせた結果に参照させることにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作する機器を決定する操作機器決定手段と、
前記操作機器決定手段が選択した識別情報と関連する情報から画像を生成し、前記画像生成部に出力する画像生成手段と、
前記操作部が検出したユーザーの操作と、前記操作機器決定手段が決定した機器の前記操作方法情報に基づき、前記操作機器決定手段が決定した機器の操作内容を決定する操作内容決定手段と、
前記操作内容決定手段が決定した前記操作内容を、前記無線通信部を介して前記操作機器決定手段が決定した機器に送信する機器操作信号送信手段と、
を有することを特徴とする機器遠隔操作装置。
【請求項２】
前記対応付け手段は、前記方位検出部が検出した方位及び前記操作部が検出したユーザーの操作に基づき、機器識別情報及びユーザーが指定した方位の範囲を対応付けさせることを特徴とする請求項１に記載の機器遠隔操作装置。
【請求項３】
前記操作機器決定手段は、前記方位検出部が検出した方位が、前記対応付け手段が対応付けさせた結果の方位の範囲に所定時間以上ある場合に、前記方位の範囲に対応する機器識別情報の機器を選択することを特徴とする請求項２に記載の機器遠隔操作装置。
【請求項４】
当該装置の位置情報を取得する位置情報取得部を有し、
前記対応付け手段は、前記位置取得部が取得した位置情報も更に前記機器識別情報に対応付けさせ、
前記操作機器決定手段は、前記位置情報取得部が取得した位置情報も加味して、ユーザーが操作する機器を決定することを特徴とする請求項１〜請求項３のいずれかに記載の機器遠隔操作装置。
【請求項５】
画像生成部には、前記各機器に対応した各ドキュメントが表示され、
対応付け手段は、前記ドキュメントの識別情報も更に前記機器識別情報に対応付けさせ、
前記操作機器決定手段は、前記画像生成手段が前記画像生成部に出力しているドキュメントの識別情報も加味して、ユーザーが操作する機器を決定することを特徴とする請求項１〜請求項４のいずれかに記載の機器遠隔操作装置。
【請求項６】
前記機器の前記操作部での操作方法を表した操作方法情報が記憶される記憶部を更に有し、
前記画像生成手段は、前記記憶部から、前記操作機器決定手段が選択した識別情報と関連する操作方法情報を取得し、当該操作方法情報から操作方法画像を生成し、画像生成部に出力することを特徴とする請求項１〜請求項５のいずれかに記載の機器遠隔操作装置。
【請求項７】
前記画像生成手段はさらに、少なくとも前記対応付け手段が実行されるよりも前に、前記識別情報取得手段によって取得された前記機器の機器識別情報の一覧を、前記画像生成部に出力することを特徴とする請求項１〜請求項６のいずれかに記載の機器遠隔操作装置。
【請求項８】
ユーザーの頭部に装着され、前記ユーザーに画像を視認させる画像生成部と、
方位を検出する方位検出部と、
機器と無線通信を行う無線通信部と、
ユーザーの操作を検出する操作部とを備え、
前記機器を無線信号で遠隔操作する機器遠隔操作装置において実行されるプログラムであって、
前記無線通信部を介して、前記機器の識別情報を取得する識別情報取得ステップと、
前記方位検出部が検出した方位及び前記操作部が検出したユーザーの操作に基づき、前記識別情報と前記方位を対応付けさせる対応付けステップと、
前記方位検出部が検出した方位を、前記対応付けさせた結果に参照させることにより、前記方位に対応する機器識別情報を選択し、ユーザーが操作する機器を決定する操作機器決定ステップと、
前記選択された識別情報と関連する情報から画像を生成し、前記画像生成部に出力するステップ画像生成ステップと、
前記操作部が検出したユーザーの操作に基づき、前記操作機器決定ステップにて決定された機器の操作内容を決定する操作内容決定ステップと、
前記操作内容決定ステップにて決定された前記操作内容を、前記無線通信部を介して前記操作機器決定ステップにて決定された機器に送信する機器操作信号送信ステップとを有することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−６０２８５（Ｐ２０１２−６０２８５Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−１９９５１１（Ｐ２０１０−１９９５１１）
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]