遠隔作業支援システム、及びその表示方法
【課題】指示者や作業者に作業の指示の提示及びその受取りに対する負担を課することなく、容易に且つ正確に指示を伝達することが可能な遠隔作業支援システム、及びその表示方法を提供する。
【解決手段】作業対象物を撮影する電子カメラと、外界をシースルー可能な表示ユニットと、を備えた頭部装着式映像表示装置と、電子カメラで撮影された作業対象物の映像を表示するモニタを備えて、頭部装着式映像表示装置に、作業者による作業の部位を指示するための情報を提供する遠隔指示装置と、を有し、頭部装着式映像表示装置は、遠隔指示装置から提供された情報に基づいて表示ユニットに、作業者による作業の部位を指示する指標を表示する指標表示処理部を有し、指標表示処理部は、指標を、作業者が表示ユニットの画面を通して観察できる作業対象物の光学像における対象部位に重ねて表示する。
【解決手段】作業対象物を撮影する電子カメラと、外界をシースルー可能な表示ユニットと、を備えた頭部装着式映像表示装置と、電子カメラで撮影された作業対象物の映像を表示するモニタを備えて、頭部装着式映像表示装置に、作業者による作業の部位を指示するための情報を提供する遠隔指示装置と、を有し、頭部装着式映像表示装置は、遠隔指示装置から提供された情報に基づいて表示ユニットに、作業者による作業の部位を指示する指標を表示する指標表示処理部を有し、指標表示処理部は、指標を、作業者が表示ユニットの画面を通して観察できる作業対象物の光学像における対象部位に重ねて表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔作業支援システム、及びその表示方法に関し、特に頭部装着式映像表示装置を備えた遠隔作業支援システム、及びその表示方法に関する。
【背景技術】
【０００２】
従来、観察者の頭部や顔面に着脱自在に装着され、小型のＣＲＴや液晶表示素子等の映像表示素子から得られる映像（以下、画像とも称す。）を、接眼光学系によって観察者の眼球に直接投影させることで、恰も該映像が空中に拡大投影されているかの様な虚像の観察を可能にした頭部装着式映像表示装置、すなわちＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）が知られている。
【０００３】
ＨＭＤは、ＤＶＤ、ビデオ等のコンテンツ映像の観賞用や、産業機器若しくは医療機器等の遠隔操作用としての表示装置として利用され、その用途は多岐に渡っている。
【０００４】
遠隔操作用としては、作業者が電子カメラを備えたＨＭＤを装着し、指示者が電子カメラで撮影された作業対象物の映像を、遠隔地に設けられた例えばホストコンピュータ等のモニタで観察しながら、作業者に音声や映像による適切な情報を提供し作業指示を行う、といった遠隔作業支援システムが知られている。
【０００５】
ここで、この様な遠隔作業支援システムを用いて、指示者が作業者に対して、多数の同じ形のスイッチが並んだパネル（作業対象物）の操作方法を指示する場合を考えると、あるスイッチを押す作業を伝える場合、従来は、指示者が電子カメラで撮影された映像をモニタで観察しながら、例えば「上から４つ目で、左から３つ目のスイッチを・・・」と言う様に、操作すべきスイッチの場所、そのスイッチをどの様にするか等を、作業者に口頭で説明する。作業者は指示者からの指示を音声で受取り、その作業を実行する。
【０００６】
しかしながら、この様な従来の遠隔作業支援システムでは、指示者は作業の指示内容を「上から４つ目で、左から３つ目のスイッチを・・・」という様に具体的かつ詳細に言葉を用いて説明しなければならず、非常に負担がかかるという問題があった。また、作業者も指示者からの指示内容を注意深く聞く必要があり、指示者同様、非常に負担がかかるという問題があった。
【０００７】
そこで、この様な問題に対応する為に、種々の遠隔作業支援システムが検討されている。例えば、作業者がＨＭＤに設けられた電子カメラで撮影されてＨＭＤの映像表示部に表示される作業対象物の映像を観察しながら作業を行い、指示者が同じ映像を遠隔地に設けられたホストコンピュータのモニタで観察しながら、ホストコンピュータを操作して作業者に映像による作業指示を行う遠隔作業支援システムが知られている。
【０００８】
具体的には、モニタに表示されている作業対象物の映像において、指示者が作業者に操作して欲しい例えばスイッチをマウスアイコンで示すと、作業者が装着しているＨＭＤの映像表示部に表示されている作業対象物の映像におけるスイッチの場所に、マウスアイコンを表示させるものである（特許文献１参照）。
【特許文献１】特開２００２−１３２４８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
この様に、特許文献１に開示されている遠隔作業支援システムは、作業者が装着しているＨＭＤの映像表示部に表示されている作業対象物の映像に、作業者が操作すべきスイッチの場所を示すマウスアイコンを重ねて表示させることにより、作業者が操作すべきスイッチを容易に視認できる様にするものである。
【００１０】
しかしながら、映像としての作業対象物は、その大きさや位置が現実の作業対象物の光学像と異なることから、マウスアイコンにより操作すべきスイッチを映像上で確認できたとしても、現実の作業対象物におけるスイッチの場所に容易に手差し伸べることは困難なものであると考えられる。
【００１１】
本発明は、上記課題を鑑みてなされたもので、指示者や作業者に作業の指示の提示及びその受取りに対する負担を課することなく、容易に且つ正確に指示を伝達することが可能な遠隔作業支援システム、及びその表示方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的は、下記の１乃至５のいずれか１項に記載の発明によって達成される。
【００１３】
１．作業者による作業の対象となる作業対象物を撮影する電子カメラと、
映像を表示し、作業者が外界をシースルー可能な表示ユニットと、を備えた頭部装着式映像表示装置と、
前記電子カメラで撮影された前記作業対象物の映像を表示するモニタを備えて、前記頭部装着式映像表示装置に、作業者による作業の部位を指示するための情報を提供する遠隔指示装置と、を有し、
前記頭部装着式映像表示装置を装着した作業者に、指示者が前記モニタに表示される前記電子カメラによって撮影された前記作業対象物の映像に基づいて、前記遠隔指示装置により前記頭部装着式映像表示装置を介して作業指示を与える遠隔作業支援システムであって、
前記頭部装着式映像表示装置は、前記遠隔指示装置から提供された前記情報に基づいて前記表示ユニットに、作業者による作業の部位を指示する指標を表示する指標表示処理部を有し、
前記指標表示処理部は、前記指標を、作業者が前記表示ユニットの画面を通して観察できる前記作業対象物の光学像における対象部位に重ねて表示することを特徴とする遠隔作業支援システム。
【００１４】
２．前記遠隔指示装置は、前記電子カメラによって撮影され前記モニタに表示される前記作業対象物の映像に、前記表示ユニットのシースルー領域を表す視野枠を、重ねて表示する視野枠表示処理部と、
前記視野枠表示処理部によって前記モニタに表示される前記視野枠が表された前記作業対象物の映像において、前記視野枠の位置を基準とした、作業者が作業すべき部位の位置の座標を検出する座標検出部と、を有し、
前記遠隔指示装置は、前記座標検出部で検出された作業者が作業すべき部位の位置の座標を前記情報として前記頭部装着式映像表示装置に提供することを特徴とする前記１に記載の遠隔作業支援システム。
【００１５】
３．前記遠隔指示装置は、前記モニタに表示された前記作業対象物の映像上で、指示者の操作により、作業者が作業すべき部位を指定する操作部を有し、
前記座標検出部は、前記操作部によって指定された作業者が作業すべき部位の位置の座標を検出することを特徴とする前記２に記載の遠隔作業支援システム。
【００１６】
４．前記操作部は、ライトペンまたはマウスであることを特徴とする前記３に記載の遠隔作業支援システム。
【００１７】
５．使用者が外界をシースルー可能な表示ユニットを備えた頭部装着式映像表示装置に設けられた電子カメラによって撮影された映像に、前記表示ユニットのシースルー領域を表す視野枠を重ねて外部に設けられたモニタに表示する表示方法であって、
前記表示ユニットの画面の一隅に表示された第１の指標を、使用者が前記表示ユニットの画面を通して観察できる調整用の第２の指標の光学像に、一致させる第１の工程と、
前記第１の工程により、前記第１の指標と前記第２の指標が一致した時に、前記電子カメラで撮影され前記モニタに表示される前記第２の指標の位置を、前記表示ユニットの画面の前記一隅に対応する前記視野枠の一隅と決定する第２の工程と、
前記第２の工程を繰返し、前記視野枠の他の一隅の位置を決定する第３の工程と、
前記第２の工程および前記第３の工程で決定された前記視野枠の複数の隅の位置に基づいて視野枠生成し、前記電子カメラによって撮影された映像に重ねて表示する第４の工程と、を有することを特徴とする表示方法。
【発明の効果】
【００１８】
本発明によれば、作業者が作業すべき部位を指示する指標を、作業者が表示ユニットの画面を通して観察できる作業対象物の現実の光学像における対象部位に重ねて表示する様にした。すなわち、従来の様に、指標を作業対象物の映像における対象部位に重ねて表示するのではなく、現実の光学像における対象部位に重ねて表示する様にした。これにより、指示者や作業者に作業の指示の提示及びその受取りに対する負担を課することなく、容易に且つ正確に指示を伝達することができる。また、作業者は、指示された部位に容易に手差し伸べることができ、作業性を向上させることができる。
【発明を実施するための最良の形態】
【００１９】
以下図面に基づいて、本発明に係る遠隔作業支援システムの実施の形態を説明する。尚、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。
【００２０】
最初に、遠隔作業支援システム１の構成を図１を用いて説明する。図１は、本発明に係る遠隔作業支援システム１の全体構成の概要を示す模式図である。
【００２１】
遠隔作業支援システム１は、図１に示す様に、ＨＭＤ２、遠隔指示装置４等から構成される。遠隔指示装置４は、ホストコンピュータ５、映像・音声記録サーバ６、及びコンテンツサーバ７等から構成される。
【００２２】
ホストコンピュータ５と映像・音声記録サーバ６、コンテンツサーバ７は、イーサーネットＥＮを介して結ばれ、ホストコンピュータ５とＨＭＤ２は、インターネットＩＮや携帯、ＰＨＳ、無線ＬＡＮ等の公衆回線網ＰＮ等を介して結ばれている。
【００２３】
この様な構成の遠隔作業支援システム１は、作業者Ｂが後述のカメラユニット２８を備えたＨＭＤ２を装着し、カメラユニット２８が捕えた作業対象物の映像を、指示者Ａが遠隔地に設けられた遠隔指示装置４の後述のモニタ５３で観察しながら、遠隔指示装置４によりＨＭＤ２を介して作業者Ｂに映像や音声による適切な情報を提供し、作業指示を行うものである。
【００２４】
次に、本発明における頭部装着式映像表示装置に該当するＨＭＤ２の構成を図２を用いて説明する。図２は、本発明に係るＨＭＤ２の全体構成図である。
【００２５】
ＨＭＤ２は、図２に示す様に、テンプル２１Ｒ，２１Ｌ、ブリッジ２２、鼻当て２３Ｒ，２３Ｌ、透明基板２４Ｒ，２４Ｌ、表示ユニット２５（ＬＣＤ表示部２６、接眼光学系２７）、カメラユニット２８、イヤホン２９Ｒ，２９Ｌ、マイク３０、及び制御ユニット３１等を有している。
【００２６】
ＨＭＤ２は、カメラユニット２８で撮影された映像や、遠隔指示装置４から伝送された映像、及び遠隔指示装置４から提供された作業者Ｂによる作業の部位を指示するための情報に基づいた指標等を表示ユニット２５に設けられたＬＣＤ表示部２６に表示させ、該ＬＣＤ表示部２６から得らた映像を、接眼光学系２７によって装着者（以下、作業者Ｂとも称する。）の眼球に直接投影させることで、恰も該映像が空中に拡大投影されているかの様な虚像の観察を可能にしている。
【００２７】
テンプル２１Ｒ，２１Ｌは、可撓性を有する弾性材等により構成された長尺状の部材であり、装着者の耳や側頭部に掛止され、ＨＭＤ２の装着者に対する頭部への保持及び装着位置の調整を行う為のものである。尚、テンプル２１Ｒ，２１Ｌは、回動部２１Ｒａ，２１Ｌａにおいて矢印Ｐ，Ｑ方向に回動可能に構成されており、ＨＭＤ２を使用しない場合には、テンプル２１Ｒ，２１Ｌを矢印Ｐ，Ｑ方向に回動させて透明基板２４Ｒ，２４Ｌに沿わせることにより、コンパクト化することができる。
【００２８】
ブリッジ２２は、ＨＭＤ２の装着者に対する顔面への保持を行う鼻当て２３Ｒ，２３Ｌを備え、透明基板２４Ｒ，２４Ｌの互いに対向する所定位置に架け渡された短尺の棒状部材であり、透明基板２４Ｒと透明基板２４Ｌとを一定の間隙を介した相対位置関係に保持するものである。
【００２９】
透明基板２４Ｒ，２４Ｌは、一方の眼球に対応した位置にＵ字型のスペース２４Ｒｓを形成する略平板状の透明体である。また、透明基板２４Ｒに囲まれて形成されるＵ字型のスペース２４Ｒｓには、接眼光学系２７が嵌め込まれている。
【００３０】
表示ユニット２５は、ＬＣＤ表示部２６、及び接眼光学系２７等を有し、カメラユニット２８で撮影された映像や、制御ユニット３１に設けられた後述のネットワークＩ／Ｆ３６を介して遠隔指示装置４から伝送された映像、及び遠隔指示装置４から提供された作業者Ｂによる作業の部位を指示するための情報に基づいた指標等を表示する。
【００３１】
カメラユニット２８は、本発明における電子カメラに該当し、図示しない後述のズームレンズ２８１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２８２、及び画像処理部２８４等を有し、装着者の周囲の外界情景を撮影するものであり、ズームレンズ２８１によって結像された被写体光学像を、ＣＣＤ２８２によって光電変換して画像信号（映像信号）を生成し、画像処理部２８４等により画像信号に所定の画像処理を施し画像（映像）を生成する。
【００３２】
イヤホン２９Ｒ，２９Ｌは、装着者の耳に挿入され、装着者に音声を提供する。
【００３３】
マイク３０は、装着者の音声を音声信号に変換する。
【００３４】
制御ユニット３１は、マイクロコンピュータからなり、電源スイッチ３５１、操作スイッチ３５２等を有し、これら各種操作スイッチからの信号、及び遠隔指示装置４からの制御信号等を受けて、ＨＭＤ２で行われる表示動作や画像信号処理動作を統括的に制御するものである。
【００３５】
ここで、表示ユニット２５の構成を、図３を用いて説明する。図３は、本発明に係るＨＭＤ２における表示ユニット２５の左側面からの側断面図であり、主に表示ユニット２５の内部構成を示している。
【００３６】
図３に示す様に、表示ユニット２５は、筐体２６１、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）２６２、コリメータレンズ２６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２６４からなるＬＣＤ表示部２６、及びプリズム２７１、ＨＯＥ（Ｈｏｌｏｇｒａｐｈｉｃ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）２７２からなる接眼光学系２７等から構成される。
【００３７】
ＬＣＤ表示部２６の筐体２６１の内部には、ＬＥＤ２６２、コリメータレンズ２６３、及びＬＣＤ２６４が内蔵された状態で、該筐体２６１が接眼光学系２７のプリズム２７１の上端部において上斜め前方（図３では右斜め上方向）に突出する態様で取り付けられている。
【００３８】
ＬＥＤ２６２は、所定波長色を含む白色発光ダイオード（ＬＥＤ）からなる点光源である。
【００３９】
コリメータレンズ２６３は、ＬＥＤ２６２の光をほぼ平行光にしてＬＣＤ２６４に投光するものである。
【００４０】
ＬＣＤ２６４は、カメラユニット２８で撮影され生成された映像信号や、制御ユニット３１に設けられた後述のネットワークＩ／Ｆ３６を介して遠隔指示装置４から伝送された映像信号、及び遠隔指示装置４から提供された作業者Ｂによる作業の部位を指示するための情報等に基づき映像（画像）を生成するものであり、例えば透過型の液晶表示パネルである。
【００４１】
プリズム２７１は、ガラスや透明樹脂等からなる略板状の透明部材であり、ＬＣＤ２６４からの光を内部で複数回の反射を行わせるものである。プリズム２７１の上端部は、ＬＣＤ２６４からの光の大部分を内部に採光できるように、上方に向かってより肉厚となるように前面側（接眼面と反対側）が突き出るように楔形状に形成された肉厚部２７１ｂが形成されている。
【００４２】
また、プリズム２７１の下端部には、傾斜面２７１ａが形成されており、プリズム２７１は、透明基板２４Ｒに形成された傾斜面２４Ｒａに対しＨＯＥ２７２を介して接合（例えば接着）されている。また、プリズム２７１の表裏面は、透明基板２４Ｒの表裏面に対して面一とされている。これにより、プリズム２７１は、透明基板２４Ｒと一枚の板状に一体化されている。
【００４３】
ＨＯＥ２７２は、光学的に軸非対称な所謂自由曲面で構成されて正のパワーを有する体積位相型のホログラム光学素子であり、プリズム２７１の下端部において所定の傾斜角を有して支持されている。ＨＯＥ２７２は、プリズム２７１により導光された光が照射されることにより、光の干渉現象を用いてホログラム映像を眼球Ｅに提供する。
【００４４】
以上のような構成を有する表示ユニット２５においては、ＬＥＤ２６２から射出された光は、コリメータレンズ２６３を通してＬＣＤ２６４を照明し、この照明によりＬＣＤ２６４で生成された像光は、プリズム２７１内で複数回の全反射を行った後、ＨＯＥ２７２により回折し虚像として装着者の眼球Ｅに導かれる。
【００４５】
さらに、プリズム２７１は、前方から入射する光を装着者の眼球Ｅに導くようになっている。これにより、装着者は、外界（前方の被写体）をシースルー可能となり、カメラユニット２８で撮影され生成された映像や、制御ユニット３１に設けられた後述のネットワークＩ／Ｆ３６を介して遠隔指示装置４から伝送された映像、及び遠隔指示装置４から提供された作業者Ｂによる作業の部位を指示するための情報に基づいた指標等を外界（前方の被写体）と重畳して視認することとなる。
【００４６】
次に、図１に戻って、遠隔指示装置４の構成を説明する。遠隔指示装置４はホストコンピュータ５（以下、ホストＰＣ５と称する。）、音声・映像記録サーバ６、及びコンテンツサーバ７等から構成される。
【００４７】
ホストＰＣ５は、図１に示す様に、コンピュータ本体５１、モニタ５３、マウス５５、及びキーボード５７等を備えた、例えば、パーソナルコンピュータである。
【００４８】
ホストＰＣ５は、そのモニタ５３に、作業者Ｂに装着されたＨＭＤ２のカメラユニット２８が撮影した作業対象物の映像を表示する。指示者Ａは、モニタ５３に表示された作業対象物の映像を観察しながら、本発明における操作部に該当するマウス５５やキーボード５７、また図示しないライトペン等によりホストＰＣ５を操作し、ＨＭＤ２にコンテンツサーバ７に記録されている作業に必要な情報や、作業者Ｂによる作業の部位を指示するための情報等を提供し、作業者Ｂに作業指示を行うものである。
【００４９】
音声・映像記録サーバ６は、ＨＭＤ２のカメラユニット２８で撮影された映像や作業者Ｂと指示者Ａとの間で交信された音声等の作業記録を記憶する。
【００５０】
コンテンツサーバ７には、作業者Ｂが作業を行う際に必要な映像や音声等の作業支援情報が記録されている。
【００５１】
次に、遠隔支援システム１の電気回路構成について図４を用いて説明する。図４は、本発明に係わる遠隔支援システム１の電気回路のブロック構成図である。尚、図４では、図１乃至図３に示した部材と同じ部材には同一の番号を付与した。
【００５２】
ＨＭＤ２の要部電気回路ブロックは、表示ユニット２５、カメラユニット２８、及び制御ユニット３１等から構成される。
【００５３】
表示ユニット２５は、ＬＣＤ表示部２６、接眼光学系２７から構成され、各部位で行われる動作については前述したので説明は省略する。
【００５４】
カメラユニット２８は、ズームレンズ２８１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２８２、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）２８３、及び画像処理部２８４等を有する。
【００５５】
ＣＣＤ２８２は、Ｒ（赤）光、Ｇ（緑）光、Ｂ（青）光の各色透過フィルタをピクセル単位（画素単位）で市松模様状に配置させたカラーエリア撮像センサで、ズームレンズ２８１により結像された被写体光像を、Ｒ（赤）光、Ｇ（緑）光、Ｂ（青）光の各色成分の画像信号（各画素単位で受光された画素信号の信号列からなる信号）に光電変換するものである。
【００５６】
ＡＦＥ２８３は、制御ユニット３１から送信される基準クロックに基づいて、ＣＣＤ２８２の駆動を制御し、ＣＣＤ２８２から読み出された映像信号（画像信号）に周知のアナログ信号処理を施した後にデジタル映像信号に変換する。
【００５７】
この様に、ＣＣＤ２８２で読み出された映像信号は、ＡＦＥ２８３で所定の処理が施されて、デジタル映像信号に変換される。デジタル化された映像信号は、画像処理部２８４に取り込まれて所定の処理が行われる。以下、画像処理部２８４で行われるデジタル映像信号への処理について説明する。
【００５８】
最初に、画像処理部２８４に取り込まれたデジタル映像信号は、ＣＣＤ２８２から出力される映像信号の読出しに同期して後述の制御ユニット３１中の画像メモリ３３に書き込まれる。すなわち、画像処理部２８４で行われる処理に使用されるデジタル映像信号は、画像メモリ３３にいったん記録したものを画像メモリ３３から取り出し、画像処理部２８４中の各部位における処理に使用される。
【００５９】
画像処理部２８４は、図示しない例えば、黒レベル補正部、画素補間部、ホワイトバランス制御部、ガンマ補正部、マトリックス演算部、シェーディング補正部、及び画像圧縮部等を有し、画像メモリ３３より取り出したデジタル映像信号に周知の画像信号処理を施すものである。そして、これらの部位で所定の処理を施されたデジタル映像信号は、再度、画像メモリ３３に格納される。
【００６０】
制御ユニット３１は、制御部３２、画像メモリ３３、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４、スイッチ群３５、及びネットワークＩ／Ｆ３６等から構成される。
【００６１】
制御部３２は、図示しない各制御プログラム等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、演算処理や制御処理等のデータを一時的に格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及び制御プログラム等をＲＯＭから読み出して実行するＣＰＵ（中央演算処理装置）等からなり、電源スイッチ３５１及び各種操作スイッチ３５２等からの信号、及び遠隔指示装置４からの制御信号等を受けて、ＨＭＤ２で行われる表示動作や画像信号処理動作を統括的に制御するものである。
【００６２】
指標表示処理部３２１は、ホストＰＣ５中の後述の座標検出部５１２で検出された作業者Ｂが作業すべき部位の位置の座標に基づいて、表示ユニット２５に、作業者Ｂによる作業の部位を指示する指標を、作業者Ｂが表示ユニット２５の画面を通して観察できる作業対象物の光学像における対象部位に重ねて表示する。
【００６３】
画像メモリ３３は、制御ユニット３１中の制御部３２によりデジタル映像信号に対する各種処理を行う為の作業領域として用いられる一時メモリである。
【００６４】
ＶＲＡＭ３４は、ＬＣＤ表示部２６中のＬＣＤ２６４の画素数に対応した映像信号の記録容量を有し、ＬＣＤ２６４に再生表示される映像を構成する映像信号のバッファメモリである。
【００６５】
ネットワークＩ／Ｆ３６は、ＨＭＤ２を公衆回線網ＰＮに接続し、サーバ装置４との間で交信を行い、映像、音声、及び各種制御信号等の入出力を行う。
【００６６】
次に、ホストＰＣ５の要部電気回路ブロックは、コンピュータ本体５１、モニタ５３、及びマウス５５、キーボード５７等から構成される。
【００６７】
コンピュータ本体５１は、視野枠表示処理部５１１、及び座標検出部５１２等を有する。
【００６８】
視野枠表示処理部５１１は、ＨＭＤ２中の電子カメラ２８によって撮影されモニタ５３に表示される作業対象物の映像に、ＨＭＤ２中の表示ユニット２５のシースルー領域を表す視野枠を、重ねて表示する。尚、モニタ５３に表示される作業対象物の映像に重ねて表示する視野枠の表示方法については後述する。
【００６９】
座標検出部５１２は、視野枠表示処理部５１１によってモニタ５３に表示される視野枠が表された作業対象物の映像において、視野枠の位置を基準とした、作業者が作業すべき部位の位置の座標を検出する。具体的には、指示者Ａが、マウス５５やキーボード５７を操作して、モニタ５３上で作業者が作業すべき部位の位置を、アイコンで選択することにより、選択された位置の視野枠の位置を基準とした座標を算出する。
【００７０】
この様な構成の作業支援システム１において、本発明は、遠隔地にいる指示者Ａが作業者Ｂに作業して欲しい部位を指示する際に、作業者Ｂが指示者Ａの指示を容易に確認できる様に、作業者Ｂが作業すべき部位を指示する指標を、作業者Ｂが表示ユニット２５の画面を通して観察できる作業対象物の現実の光学像における対象部位に重ねて表示する様に制御するものである。
【００７１】
ここで、作業支援システム１で行われる指標表示動作の流れを図５、及び図６を用いて説明する。図５は、本発明に係る遠隔作業支援システム１で行われる指標表示動作の流れを示すフローチャートである。図６は、本発明に係る遠隔作業支援システムにおける指標表示動作の流れを示す模式図である。
【００７２】
最初に、作業者Ｂが装着したＨＭＤ２の表示ユニット２５の画面には、図６（ａ）に示す様に、作業対象物Ｘのシースルー像Ｓ（光学像）がＬＣＤ表示領域（シースルー視野）Ｄを通して観察されている（ステップＳ１）。
【００７３】
一方、遠隔地に設けられた遠隔指示装置４のモニタ５３には、図６（ｂ）に示す様に、ＨＭＤ２のカメラユニット２８で撮影された作業対象物Ｘの映像ＫＩが表示されている。また、映像ＫＩには、ＨＭＤ２の表示ユニット２５のＬＣＤ表示領域（シースルー視野）Ｄを表す視野枠Ｆが視野枠表示処理部５１１によって重ねて表示されている（ステップＳ２）。尚、モニタ５３に表示される作業対象物Ｘの映像ＫＩに重ねて表示される視野枠Ｆの表示方法については後述する。
【００７４】
次に、指示者Ａは、視野枠Ｆと作業対象物Ｘの映像ＫＩが表示されたモニタ５３上で、例えばマウス５５を操作して作業者Ｂが作業すべき部位、例えばスイッチＳＷの位置を、マウスアイコンで選択する（ステップＳ３）。スイッチＳＷが選択されると、座標検出部５１２は、視野枠Ｆの４隅Ｐ，Ｑ，Ｒ，Ｓの位置の座標を基準としたスイッチＳＷの位置の座標Ｔ０（Ｔ０ｘ，Ｔ０ｙ）を算出し（ステップＳ４）、算出した座標Ｔ０（Ｔ０ｘ，Ｔ０ｙ）をＨＭＤ２に送出する。
【００７５】
ここで、座標Ｔ０（Ｔ０ｘ，Ｔ０ｙ）の算出方法について説明する。モニタ５３の原点Ｏ（０，０）を基準とした、視野枠Ｆの４隅Ｐ，Ｑ，Ｒ，Ｓ、及びスイッチＳＷの位置の座標を、それぞれＰ（Ｐｘ，Ｐｙ），Ｑ（Ｑｘ，Ｑｙ），Ｒ（Ｒｘ，Ｒｙ），Ｓ（Ｓｘ，Ｓｙ）、及びＴ（Ｔｘ，Ｔｙ）とすると、視野枠Ｆの４隅Ｐ，Ｑ，Ｒ，Ｓの位置の座標を基準としたスイッチＳＷの位置の座標Ｔ０（Ｔ０ｘ，Ｔ０ｙ）は、下記（式１）、（式２）で求められる。
Ｔ０ｘ＝（Ｔｘ−Ｐｘ）／（Ｑｘ−Ｐｘ） （式１）
Ｔ０ｙ＝（Ｔｙ−Ｐｙ）／（Ｓｙ−Ｐｙ） （式２）
次に、ＨＭＤ２の指標表示処理部３２１は、座標検出部５１２から取得したスイッチＳＷの位置の座標Ｔ０（Ｔ０ｘ，Ｔ０ｙ）を、ＨＭＤ２の表示ユニット２５のＬＣＤ表示領域（シースルー視野）Ｄの４隅ｐ，ｑ，ｒ，ｓの位置の座標を基準とした座標ｔ（ｔｘ，ｔｙ）に変換する（ステップＳ５）。
【００７６】
ここで、座標ｔ（ｔｘ，ｔｙ）への変換方法について説明する。表示ユニット２５のＬＣＤ表示領域（シースルー視野）Ｄの４隅の座標をｐ（０，０），ｑ（ｑｘ，０），ｒ（ｒｘ，ｒｙ），ｓ（０，ｓｙ）とすると、座標ｔ（ｔｘ，ｔｙ）は下記（式３）、（式４）で求められる。
ｔｘ＝Ｔ０ｘ・ｑｘ （式３）
ｔｙ＝Ｔ０ｙ・ｓｙ （式４）
次に、指標表示処理部３２１は、図６（ｃ）に示す様に、表示ユニット２５のＬＣＤ表示領域（シースルー視野）Ｄの座標ｔ（ｔｘ，ｔｙ）の位置に作業者Ｂによる作業の部位を指示する指標、例えばポインターＰＩを、作業者Ｂが表示ユニット２５の画面を通して観察している作業対象物Ｘのシースルー像Ｓ（光学像）に重ねて表示する（ステップＳ６）。
【００７７】
この様にして、作業者Ｂが作業すべき部位を指示する指標（ポインターＰＩ）を、作業者ＢがＨＭＤ２の表示ユニット２５の画面を通して観察できる作業対象物Ｘのシースルー像Ｓ（光学像）における対象部位に重ねて表示することができる。
【００７８】
ここで、モニタ５３に表示される作業対象物Ｘの映像ＫＩに重ねて表示される視野枠Ｆの表示方法について図７、図８を用いて説明する。図７は、本発明に係るモニタ５３に表示される視野枠Ｆの表示方法の流れを示すフローチャートである。図８は、本発明に係るモニタ５３に表示される視野枠Ｆの表示方法の流れを示す模式図である。
【００７９】
最初に、図８（ａ１）に示す様に、ＨＭＤ２の表示ユニット２５のＬＣＤ表示領域（シースルー視野）Ｄの１隅ｓに、本発明における第１の指標に該当するマーカＭを表示させる（ステップＳ１）。また、図８（ｂ１）に示す様に、ホストＰＣ５のモニタ５３に暫定の視野枠Ｗを表示させる（ステップＳ２）。
【００８０】
次に、図８（ａ２）に示す様に、外界の任意の位置（例えば作業対象物Ｘ上）に、本発明における第２の指標に該当する調整の為の調整チャートＣを設置する（ステップＳ３）。そして、図８（ｂ２）に示す様に、設置された調整チャートＣをカメラユニット２８で撮影した映像ＣＩをモニタ５３に表示する（ステップＳ４）。
【００８１】
次に、ＨＭＤ２を装着した作業者Ｂは、図８（ａ３）に示す様に、頭の向きを変化させて、表示ユニット２５のＬＣＤ表示領域（シースルー視野）Ｄの１隅ｓに表示されているマーカＭと、表示ユニット２５の画面を通して観察できる調整チャートＣの光学像が重なって視認できる様にする（ステップＳ５；第１の工程）。このとき、図８（ｂ３）に示す様に、モニタ５３に表示されている調整チャートＣの映像ＣＩと、ＬＣＤ表示領域（シースルー視野）Ｄの１隅ｓに対応する暫定の視野枠Ｗの１隅Ｓの位置は、作業者毎の瞳の位置の違い等によりずれている場合がある。
【００８２】
そこで、指示者Ａは、図８（ｂ４）に示す様に、モニタ５３に表示されている暫定の視野枠Ｗの１隅Ｓの位置を、マウス５５やキーボード５７を操作して移動させ、調整チャートＣの映像ＣＩと一致させる（ステップＳ６）。そして、視野枠表示処理部５１１は、このときの暫定の視野枠Ｗの１隅Ｓの位置をＬＣＤ表示領域（シースルー視野）Ｄの１隅ｓに対応する位置として決定する（ステップＳ７：第２の工程）。同様にして、ＬＣＤ表示領域（シースルー視野）Ｄの他の３隅ｐ，ｑ，ｒにそれぞれ対応する暫定の視野枠Ｗの他の３隅Ｐ，Ｑ，Ｒの位置を決定する（ステップＳ８；第３の工程）。そして、視野枠表示処理部５１１は、決定した視野枠の座標Ｐ，Ｑ，Ｒ，Ｓを４隅とする視野枠Ｗを表示する（ステップＳ９；第４の工程）。尚、視野枠Ｆの位置に厳しい精度が要求されない場合は、視野枠Ｆの１隅、または、対角線上の２隅の位置のみに基づいて視野枠Ｆを表示する様にしても良い。
【００８３】
この様にして、モニタ５３に表示される作業対象物Ｘの映像ＫＩに、ＨＭＤ２の表示ユニット２５のＬＣＤ表示領域（シースルー視野）Ｄに対応する視野枠Ｆを重ねて表示することができる。
【００８４】
この様に、本発明の実施形態に係る遠隔作業支援システム１においては、作業者Ｂが作業すべき部位を指示する指標（ポインターＰＩ）を、作業者ＢがＨＭＤ２の表示ユニット２５の画面を通して観察できる作業対象物Ｘのシースルー像Ｓ（光学像）における対象部位に重ねて表示する様にした。すなわち、従来の様に、指標を作業対象物の映像における対象部位に重ねて表示するのではなく、現実の光学像における対象部位に重ねて表示する様にした。これにより、指示者や作業者に作業の指示の提示及びその受取りに対する負担を課することなく、容易に且つ正確に指示を伝達することができる。また、作業者は、指示された部位に容易に手差し伸べることができ、作業性を向上させることができる。
【００８５】
以上、本発明を実施の形態を参照して説明してきたが、本発明は前述の実施の形態に限定して解釈されるべきでなく、適宜変更、改良が可能であることは勿論である。例えば、前述の実施の形態においては、マウス５５やキーボード５７あるいはライトペン等を操作することにより、作業の部位を指示する指標を、表示ユニット２５の画面を通して観察できる作業対象物の光学像における対象部位に重ねて表示する様にしたが、矢印や「ここを押す」等の記号や文字をタブレットＰＣに手書きで入力し、入力した記号や文字を作業対象物の光学像における対象部位に重ねて表示する様にしても良い。これにより、より正確に且つ具体的な指示を伝達することができる。
【図面の簡単な説明】
【００８６】
【図１】本発明に係る遠隔作業支援システムの全体構成を示す模式図である。
【図２】本発明に係るＨＭＤの全体構成図である。
【図３】本発明に係るＨＭＤにおける表示ユニットの側断面図である。
【図４】本発明に係る遠隔作業支援システムの電気回路ブロック構成図である。
【図５】本発明に係る遠隔作業支援システムにおける指標表示動作の流れを示すフローチャートである。
【図６】本発明に係る遠隔作業支援システムにおける指標表示動作の流れを示す模式図である。
【図７】本発明に係るモニタに表示される視野枠の表示方法の流れを示すフローチャートである。
【図８】本発明に係るモニタに表示される視野枠の表示方法の流れを示す模式図である。
【符号の説明】
【００８７】
１ 遠隔作業支援システム
２ 頭部装着式映像表示装置（ＨＭＤ）
２１Ｒ，２１Ｌ テンプル
２２ ブリッジ
２３Ｒ，２３Ｌ 鼻当て
２４Ｒ，２４Ｌ 透明基板
２５ 表示ユニット
２６ ＬＣＤ表示部
２６１ 筐体
２６２ ＬＥＤ
２６３ コリメータレンズ
２６４ ＬＣＤ
２７ 接眼光学系
２７１ プリズム
２７２ ＨＯＥ
２８ カメラユニット
２８１ ズームレンズ
２８２ ＣＣＤ
２８３ ＡＦＥ
２８４ 画像処理部
２９Ｒ，２９Ｌ イヤホン
３０ マイク
３１ 制御ユニット
３２ 制御部
３２１ 指標表示処理部
３３ 画像メモリ
３４ ＶＲＡＭ
３５ スイッチ群
３５１ 電源スイッチ
３５２ 操作スイッチ
３６ ネットワークＩ／Ｆ
４ 遠隔指示装置
５ ホストコンピュータ（ホストＰＣ）
５１ コンピュータ本体
５１１ 視野枠表示処理部
５１２ 座標検出部
５３ モニタ
５５ マウス
５７ キーボード
６ 映像・音声記録サーバ
７ コンテンツサーバ
Ａ 指示者
Ｂ 作業者
Ｃ 調整チャート
ＥＮ イーサーネット
Ｅ 目
ＩＮ インターネット
ＰＮ 公衆回線網
Ｘ 作業対象物
【技術分野】
【０００１】
本発明は、遠隔作業支援システム、及びその表示方法に関し、特に頭部装着式映像表示装置を備えた遠隔作業支援システム、及びその表示方法に関する。
【背景技術】
【０００２】
従来、観察者の頭部や顔面に着脱自在に装着され、小型のＣＲＴや液晶表示素子等の映像表示素子から得られる映像（以下、画像とも称す。）を、接眼光学系によって観察者の眼球に直接投影させることで、恰も該映像が空中に拡大投影されているかの様な虚像の観察を可能にした頭部装着式映像表示装置、すなわちＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）が知られている。
【０００３】
ＨＭＤは、ＤＶＤ、ビデオ等のコンテンツ映像の観賞用や、産業機器若しくは医療機器等の遠隔操作用としての表示装置として利用され、その用途は多岐に渡っている。
【０００４】
遠隔操作用としては、作業者が電子カメラを備えたＨＭＤを装着し、指示者が電子カメラで撮影された作業対象物の映像を、遠隔地に設けられた例えばホストコンピュータ等のモニタで観察しながら、作業者に音声や映像による適切な情報を提供し作業指示を行う、といった遠隔作業支援システムが知られている。
【０００５】
ここで、この様な遠隔作業支援システムを用いて、指示者が作業者に対して、多数の同じ形のスイッチが並んだパネル（作業対象物）の操作方法を指示する場合を考えると、あるスイッチを押す作業を伝える場合、従来は、指示者が電子カメラで撮影された映像をモニタで観察しながら、例えば「上から４つ目で、左から３つ目のスイッチを・・・」と言う様に、操作すべきスイッチの場所、そのスイッチをどの様にするか等を、作業者に口頭で説明する。作業者は指示者からの指示を音声で受取り、その作業を実行する。
【０００６】
しかしながら、この様な従来の遠隔作業支援システムでは、指示者は作業の指示内容を「上から４つ目で、左から３つ目のスイッチを・・・」という様に具体的かつ詳細に言葉を用いて説明しなければならず、非常に負担がかかるという問題があった。また、作業者も指示者からの指示内容を注意深く聞く必要があり、指示者同様、非常に負担がかかるという問題があった。
【０００７】
そこで、この様な問題に対応する為に、種々の遠隔作業支援システムが検討されている。例えば、作業者がＨＭＤに設けられた電子カメラで撮影されてＨＭＤの映像表示部に表示される作業対象物の映像を観察しながら作業を行い、指示者が同じ映像を遠隔地に設けられたホストコンピュータのモニタで観察しながら、ホストコンピュータを操作して作業者に映像による作業指示を行う遠隔作業支援システムが知られている。
【０００８】
具体的には、モニタに表示されている作業対象物の映像において、指示者が作業者に操作して欲しい例えばスイッチをマウスアイコンで示すと、作業者が装着しているＨＭＤの映像表示部に表示されている作業対象物の映像におけるスイッチの場所に、マウスアイコンを表示させるものである（特許文献１参照）。
【特許文献１】特開２００２−１３２４８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
この様に、特許文献１に開示されている遠隔作業支援システムは、作業者が装着しているＨＭＤの映像表示部に表示されている作業対象物の映像に、作業者が操作すべきスイッチの場所を示すマウスアイコンを重ねて表示させることにより、作業者が操作すべきスイッチを容易に視認できる様にするものである。
【００１０】
しかしながら、映像としての作業対象物は、その大きさや位置が現実の作業対象物の光学像と異なることから、マウスアイコンにより操作すべきスイッチを映像上で確認できたとしても、現実の作業対象物におけるスイッチの場所に容易に手差し伸べることは困難なものであると考えられる。
【００１１】
本発明は、上記課題を鑑みてなされたもので、指示者や作業者に作業の指示の提示及びその受取りに対する負担を課することなく、容易に且つ正確に指示を伝達することが可能な遠隔作業支援システム、及びその表示方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的は、下記の１乃至５のいずれか１項に記載の発明によって達成される。
【００１３】
１．作業者による作業の対象となる作業対象物を撮影する電子カメラと、
映像を表示し、作業者が外界をシースルー可能な表示ユニットと、を備えた頭部装着式映像表示装置と、
前記電子カメラで撮影された前記作業対象物の映像を表示するモニタを備えて、前記頭部装着式映像表示装置に、作業者による作業の部位を指示するための情報を提供する遠隔指示装置と、を有し、
前記頭部装着式映像表示装置を装着した作業者に、指示者が前記モニタに表示される前記電子カメラによって撮影された前記作業対象物の映像に基づいて、前記遠隔指示装置により前記頭部装着式映像表示装置を介して作業指示を与える遠隔作業支援システムであって、
前記頭部装着式映像表示装置は、前記遠隔指示装置から提供された前記情報に基づいて前記表示ユニットに、作業者による作業の部位を指示する指標を表示する指標表示処理部を有し、
前記指標表示処理部は、前記指標を、作業者が前記表示ユニットの画面を通して観察できる前記作業対象物の光学像における対象部位に重ねて表示することを特徴とする遠隔作業支援システム。
【００１４】
２．前記遠隔指示装置は、前記電子カメラによって撮影され前記モニタに表示される前記作業対象物の映像に、前記表示ユニットのシースルー領域を表す視野枠を、重ねて表示する視野枠表示処理部と、
前記視野枠表示処理部によって前記モニタに表示される前記視野枠が表された前記作業対象物の映像において、前記視野枠の位置を基準とした、作業者が作業すべき部位の位置の座標を検出する座標検出部と、を有し、
前記遠隔指示装置は、前記座標検出部で検出された作業者が作業すべき部位の位置の座標を前記情報として前記頭部装着式映像表示装置に提供することを特徴とする前記１に記載の遠隔作業支援システム。
【００１５】
３．前記遠隔指示装置は、前記モニタに表示された前記作業対象物の映像上で、指示者の操作により、作業者が作業すべき部位を指定する操作部を有し、
前記座標検出部は、前記操作部によって指定された作業者が作業すべき部位の位置の座標を検出することを特徴とする前記２に記載の遠隔作業支援システム。
【００１６】
４．前記操作部は、ライトペンまたはマウスであることを特徴とする前記３に記載の遠隔作業支援システム。
【００１７】
５．使用者が外界をシースルー可能な表示ユニットを備えた頭部装着式映像表示装置に設けられた電子カメラによって撮影された映像に、前記表示ユニットのシースルー領域を表す視野枠を重ねて外部に設けられたモニタに表示する表示方法であって、
前記表示ユニットの画面の一隅に表示された第１の指標を、使用者が前記表示ユニットの画面を通して観察できる調整用の第２の指標の光学像に、一致させる第１の工程と、
前記第１の工程により、前記第１の指標と前記第２の指標が一致した時に、前記電子カメラで撮影され前記モニタに表示される前記第２の指標の位置を、前記表示ユニットの画面の前記一隅に対応する前記視野枠の一隅と決定する第２の工程と、
前記第２の工程を繰返し、前記視野枠の他の一隅の位置を決定する第３の工程と、
前記第２の工程および前記第３の工程で決定された前記視野枠の複数の隅の位置に基づいて視野枠生成し、前記電子カメラによって撮影された映像に重ねて表示する第４の工程と、を有することを特徴とする表示方法。
【発明の効果】
【００１８】
本発明によれば、作業者が作業すべき部位を指示する指標を、作業者が表示ユニットの画面を通して観察できる作業対象物の現実の光学像における対象部位に重ねて表示する様にした。すなわち、従来の様に、指標を作業対象物の映像における対象部位に重ねて表示するのではなく、現実の光学像における対象部位に重ねて表示する様にした。これにより、指示者や作業者に作業の指示の提示及びその受取りに対する負担を課することなく、容易に且つ正確に指示を伝達することができる。また、作業者は、指示された部位に容易に手差し伸べることができ、作業性を向上させることができる。
【発明を実施するための最良の形態】
【００１９】
以下図面に基づいて、本発明に係る遠隔作業支援システムの実施の形態を説明する。尚、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。
【００２０】
最初に、遠隔作業支援システム１の構成を図１を用いて説明する。図１は、本発明に係る遠隔作業支援システム１の全体構成の概要を示す模式図である。
【００２１】
遠隔作業支援システム１は、図１に示す様に、ＨＭＤ２、遠隔指示装置４等から構成される。遠隔指示装置４は、ホストコンピュータ５、映像・音声記録サーバ６、及びコンテンツサーバ７等から構成される。
【００２２】
ホストコンピュータ５と映像・音声記録サーバ６、コンテンツサーバ７は、イーサーネットＥＮを介して結ばれ、ホストコンピュータ５とＨＭＤ２は、インターネットＩＮや携帯、ＰＨＳ、無線ＬＡＮ等の公衆回線網ＰＮ等を介して結ばれている。
【００２３】
この様な構成の遠隔作業支援システム１は、作業者Ｂが後述のカメラユニット２８を備えたＨＭＤ２を装着し、カメラユニット２８が捕えた作業対象物の映像を、指示者Ａが遠隔地に設けられた遠隔指示装置４の後述のモニタ５３で観察しながら、遠隔指示装置４によりＨＭＤ２を介して作業者Ｂに映像や音声による適切な情報を提供し、作業指示を行うものである。
【００２４】
次に、本発明における頭部装着式映像表示装置に該当するＨＭＤ２の構成を図２を用いて説明する。図２は、本発明に係るＨＭＤ２の全体構成図である。
【００２５】
ＨＭＤ２は、図２に示す様に、テンプル２１Ｒ，２１Ｌ、ブリッジ２２、鼻当て２３Ｒ，２３Ｌ、透明基板２４Ｒ，２４Ｌ、表示ユニット２５（ＬＣＤ表示部２６、接眼光学系２７）、カメラユニット２８、イヤホン２９Ｒ，２９Ｌ、マイク３０、及び制御ユニット３１等を有している。
【００２６】
ＨＭＤ２は、カメラユニット２８で撮影された映像や、遠隔指示装置４から伝送された映像、及び遠隔指示装置４から提供された作業者Ｂによる作業の部位を指示するための情報に基づいた指標等を表示ユニット２５に設けられたＬＣＤ表示部２６に表示させ、該ＬＣＤ表示部２６から得らた映像を、接眼光学系２７によって装着者（以下、作業者Ｂとも称する。）の眼球に直接投影させることで、恰も該映像が空中に拡大投影されているかの様な虚像の観察を可能にしている。
【００２７】
テンプル２１Ｒ，２１Ｌは、可撓性を有する弾性材等により構成された長尺状の部材であり、装着者の耳や側頭部に掛止され、ＨＭＤ２の装着者に対する頭部への保持及び装着位置の調整を行う為のものである。尚、テンプル２１Ｒ，２１Ｌは、回動部２１Ｒａ，２１Ｌａにおいて矢印Ｐ，Ｑ方向に回動可能に構成されており、ＨＭＤ２を使用しない場合には、テンプル２１Ｒ，２１Ｌを矢印Ｐ，Ｑ方向に回動させて透明基板２４Ｒ，２４Ｌに沿わせることにより、コンパクト化することができる。
【００２８】
ブリッジ２２は、ＨＭＤ２の装着者に対する顔面への保持を行う鼻当て２３Ｒ，２３Ｌを備え、透明基板２４Ｒ，２４Ｌの互いに対向する所定位置に架け渡された短尺の棒状部材であり、透明基板２４Ｒと透明基板２４Ｌとを一定の間隙を介した相対位置関係に保持するものである。
【００２９】
透明基板２４Ｒ，２４Ｌは、一方の眼球に対応した位置にＵ字型のスペース２４Ｒｓを形成する略平板状の透明体である。また、透明基板２４Ｒに囲まれて形成されるＵ字型のスペース２４Ｒｓには、接眼光学系２７が嵌め込まれている。
【００３０】
表示ユニット２５は、ＬＣＤ表示部２６、及び接眼光学系２７等を有し、カメラユニット２８で撮影された映像や、制御ユニット３１に設けられた後述のネットワークＩ／Ｆ３６を介して遠隔指示装置４から伝送された映像、及び遠隔指示装置４から提供された作業者Ｂによる作業の部位を指示するための情報に基づいた指標等を表示する。
【００３１】
カメラユニット２８は、本発明における電子カメラに該当し、図示しない後述のズームレンズ２８１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２８２、及び画像処理部２８４等を有し、装着者の周囲の外界情景を撮影するものであり、ズームレンズ２８１によって結像された被写体光学像を、ＣＣＤ２８２によって光電変換して画像信号（映像信号）を生成し、画像処理部２８４等により画像信号に所定の画像処理を施し画像（映像）を生成する。
【００３２】
イヤホン２９Ｒ，２９Ｌは、装着者の耳に挿入され、装着者に音声を提供する。
【００３３】
マイク３０は、装着者の音声を音声信号に変換する。
【００３４】
制御ユニット３１は、マイクロコンピュータからなり、電源スイッチ３５１、操作スイッチ３５２等を有し、これら各種操作スイッチからの信号、及び遠隔指示装置４からの制御信号等を受けて、ＨＭＤ２で行われる表示動作や画像信号処理動作を統括的に制御するものである。
【００３５】
ここで、表示ユニット２５の構成を、図３を用いて説明する。図３は、本発明に係るＨＭＤ２における表示ユニット２５の左側面からの側断面図であり、主に表示ユニット２５の内部構成を示している。
【００３６】
図３に示す様に、表示ユニット２５は、筐体２６１、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）２６２、コリメータレンズ２６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２６４からなるＬＣＤ表示部２６、及びプリズム２７１、ＨＯＥ（Ｈｏｌｏｇｒａｐｈｉｃ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）２７２からなる接眼光学系２７等から構成される。
【００３７】
ＬＣＤ表示部２６の筐体２６１の内部には、ＬＥＤ２６２、コリメータレンズ２６３、及びＬＣＤ２６４が内蔵された状態で、該筐体２６１が接眼光学系２７のプリズム２７１の上端部において上斜め前方（図３では右斜め上方向）に突出する態様で取り付けられている。
【００３８】
ＬＥＤ２６２は、所定波長色を含む白色発光ダイオード（ＬＥＤ）からなる点光源である。
【００３９】
コリメータレンズ２６３は、ＬＥＤ２６２の光をほぼ平行光にしてＬＣＤ２６４に投光するものである。
【００４０】
ＬＣＤ２６４は、カメラユニット２８で撮影され生成された映像信号や、制御ユニット３１に設けられた後述のネットワークＩ／Ｆ３６を介して遠隔指示装置４から伝送された映像信号、及び遠隔指示装置４から提供された作業者Ｂによる作業の部位を指示するための情報等に基づき映像（画像）を生成するものであり、例えば透過型の液晶表示パネルである。
【００４１】
プリズム２７１は、ガラスや透明樹脂等からなる略板状の透明部材であり、ＬＣＤ２６４からの光を内部で複数回の反射を行わせるものである。プリズム２７１の上端部は、ＬＣＤ２６４からの光の大部分を内部に採光できるように、上方に向かってより肉厚となるように前面側（接眼面と反対側）が突き出るように楔形状に形成された肉厚部２７１ｂが形成されている。
【００４２】
また、プリズム２７１の下端部には、傾斜面２７１ａが形成されており、プリズム２７１は、透明基板２４Ｒに形成された傾斜面２４Ｒａに対しＨＯＥ２７２を介して接合（例えば接着）されている。また、プリズム２７１の表裏面は、透明基板２４Ｒの表裏面に対して面一とされている。これにより、プリズム２７１は、透明基板２４Ｒと一枚の板状に一体化されている。
【００４３】
ＨＯＥ２７２は、光学的に軸非対称な所謂自由曲面で構成されて正のパワーを有する体積位相型のホログラム光学素子であり、プリズム２７１の下端部において所定の傾斜角を有して支持されている。ＨＯＥ２７２は、プリズム２７１により導光された光が照射されることにより、光の干渉現象を用いてホログラム映像を眼球Ｅに提供する。
【００４４】
以上のような構成を有する表示ユニット２５においては、ＬＥＤ２６２から射出された光は、コリメータレンズ２６３を通してＬＣＤ２６４を照明し、この照明によりＬＣＤ２６４で生成された像光は、プリズム２７１内で複数回の全反射を行った後、ＨＯＥ２７２により回折し虚像として装着者の眼球Ｅに導かれる。
【００４５】
さらに、プリズム２７１は、前方から入射する光を装着者の眼球Ｅに導くようになっている。これにより、装着者は、外界（前方の被写体）をシースルー可能となり、カメラユニット２８で撮影され生成された映像や、制御ユニット３１に設けられた後述のネットワークＩ／Ｆ３６を介して遠隔指示装置４から伝送された映像、及び遠隔指示装置４から提供された作業者Ｂによる作業の部位を指示するための情報に基づいた指標等を外界（前方の被写体）と重畳して視認することとなる。
【００４６】
次に、図１に戻って、遠隔指示装置４の構成を説明する。遠隔指示装置４はホストコンピュータ５（以下、ホストＰＣ５と称する。）、音声・映像記録サーバ６、及びコンテンツサーバ７等から構成される。
【００４７】
ホストＰＣ５は、図１に示す様に、コンピュータ本体５１、モニタ５３、マウス５５、及びキーボード５７等を備えた、例えば、パーソナルコンピュータである。
【００４８】
ホストＰＣ５は、そのモニタ５３に、作業者Ｂに装着されたＨＭＤ２のカメラユニット２８が撮影した作業対象物の映像を表示する。指示者Ａは、モニタ５３に表示された作業対象物の映像を観察しながら、本発明における操作部に該当するマウス５５やキーボード５７、また図示しないライトペン等によりホストＰＣ５を操作し、ＨＭＤ２にコンテンツサーバ７に記録されている作業に必要な情報や、作業者Ｂによる作業の部位を指示するための情報等を提供し、作業者Ｂに作業指示を行うものである。
【００４９】
音声・映像記録サーバ６は、ＨＭＤ２のカメラユニット２８で撮影された映像や作業者Ｂと指示者Ａとの間で交信された音声等の作業記録を記憶する。
【００５０】
コンテンツサーバ７には、作業者Ｂが作業を行う際に必要な映像や音声等の作業支援情報が記録されている。
【００５１】
次に、遠隔支援システム１の電気回路構成について図４を用いて説明する。図４は、本発明に係わる遠隔支援システム１の電気回路のブロック構成図である。尚、図４では、図１乃至図３に示した部材と同じ部材には同一の番号を付与した。
【００５２】
ＨＭＤ２の要部電気回路ブロックは、表示ユニット２５、カメラユニット２８、及び制御ユニット３１等から構成される。
【００５３】
表示ユニット２５は、ＬＣＤ表示部２６、接眼光学系２７から構成され、各部位で行われる動作については前述したので説明は省略する。
【００５４】
カメラユニット２８は、ズームレンズ２８１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２８２、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）２８３、及び画像処理部２８４等を有する。
【００５５】
ＣＣＤ２８２は、Ｒ（赤）光、Ｇ（緑）光、Ｂ（青）光の各色透過フィルタをピクセル単位（画素単位）で市松模様状に配置させたカラーエリア撮像センサで、ズームレンズ２８１により結像された被写体光像を、Ｒ（赤）光、Ｇ（緑）光、Ｂ（青）光の各色成分の画像信号（各画素単位で受光された画素信号の信号列からなる信号）に光電変換するものである。
【００５６】
ＡＦＥ２８３は、制御ユニット３１から送信される基準クロックに基づいて、ＣＣＤ２８２の駆動を制御し、ＣＣＤ２８２から読み出された映像信号（画像信号）に周知のアナログ信号処理を施した後にデジタル映像信号に変換する。
【００５７】
この様に、ＣＣＤ２８２で読み出された映像信号は、ＡＦＥ２８３で所定の処理が施されて、デジタル映像信号に変換される。デジタル化された映像信号は、画像処理部２８４に取り込まれて所定の処理が行われる。以下、画像処理部２８４で行われるデジタル映像信号への処理について説明する。
【００５８】
最初に、画像処理部２８４に取り込まれたデジタル映像信号は、ＣＣＤ２８２から出力される映像信号の読出しに同期して後述の制御ユニット３１中の画像メモリ３３に書き込まれる。すなわち、画像処理部２８４で行われる処理に使用されるデジタル映像信号は、画像メモリ３３にいったん記録したものを画像メモリ３３から取り出し、画像処理部２８４中の各部位における処理に使用される。
【００５９】
画像処理部２８４は、図示しない例えば、黒レベル補正部、画素補間部、ホワイトバランス制御部、ガンマ補正部、マトリックス演算部、シェーディング補正部、及び画像圧縮部等を有し、画像メモリ３３より取り出したデジタル映像信号に周知の画像信号処理を施すものである。そして、これらの部位で所定の処理を施されたデジタル映像信号は、再度、画像メモリ３３に格納される。
【００６０】
制御ユニット３１は、制御部３２、画像メモリ３３、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４、スイッチ群３５、及びネットワークＩ／Ｆ３６等から構成される。
【００６１】
制御部３２は、図示しない各制御プログラム等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、演算処理や制御処理等のデータを一時的に格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及び制御プログラム等をＲＯＭから読み出して実行するＣＰＵ（中央演算処理装置）等からなり、電源スイッチ３５１及び各種操作スイッチ３５２等からの信号、及び遠隔指示装置４からの制御信号等を受けて、ＨＭＤ２で行われる表示動作や画像信号処理動作を統括的に制御するものである。
【００６２】
指標表示処理部３２１は、ホストＰＣ５中の後述の座標検出部５１２で検出された作業者Ｂが作業すべき部位の位置の座標に基づいて、表示ユニット２５に、作業者Ｂによる作業の部位を指示する指標を、作業者Ｂが表示ユニット２５の画面を通して観察できる作業対象物の光学像における対象部位に重ねて表示する。
【００６３】
画像メモリ３３は、制御ユニット３１中の制御部３２によりデジタル映像信号に対する各種処理を行う為の作業領域として用いられる一時メモリである。
【００６４】
ＶＲＡＭ３４は、ＬＣＤ表示部２６中のＬＣＤ２６４の画素数に対応した映像信号の記録容量を有し、ＬＣＤ２６４に再生表示される映像を構成する映像信号のバッファメモリである。
【００６５】
ネットワークＩ／Ｆ３６は、ＨＭＤ２を公衆回線網ＰＮに接続し、サーバ装置４との間で交信を行い、映像、音声、及び各種制御信号等の入出力を行う。
【００６６】
次に、ホストＰＣ５の要部電気回路ブロックは、コンピュータ本体５１、モニタ５３、及びマウス５５、キーボード５７等から構成される。
【００６７】
コンピュータ本体５１は、視野枠表示処理部５１１、及び座標検出部５１２等を有する。
【００６８】
視野枠表示処理部５１１は、ＨＭＤ２中の電子カメラ２８によって撮影されモニタ５３に表示される作業対象物の映像に、ＨＭＤ２中の表示ユニット２５のシースルー領域を表す視野枠を、重ねて表示する。尚、モニタ５３に表示される作業対象物の映像に重ねて表示する視野枠の表示方法については後述する。
【００６９】
座標検出部５１２は、視野枠表示処理部５１１によってモニタ５３に表示される視野枠が表された作業対象物の映像において、視野枠の位置を基準とした、作業者が作業すべき部位の位置の座標を検出する。具体的には、指示者Ａが、マウス５５やキーボード５７を操作して、モニタ５３上で作業者が作業すべき部位の位置を、アイコンで選択することにより、選択された位置の視野枠の位置を基準とした座標を算出する。
【００７０】
この様な構成の作業支援システム１において、本発明は、遠隔地にいる指示者Ａが作業者Ｂに作業して欲しい部位を指示する際に、作業者Ｂが指示者Ａの指示を容易に確認できる様に、作業者Ｂが作業すべき部位を指示する指標を、作業者Ｂが表示ユニット２５の画面を通して観察できる作業対象物の現実の光学像における対象部位に重ねて表示する様に制御するものである。
【００７１】
ここで、作業支援システム１で行われる指標表示動作の流れを図５、及び図６を用いて説明する。図５は、本発明に係る遠隔作業支援システム１で行われる指標表示動作の流れを示すフローチャートである。図６は、本発明に係る遠隔作業支援システムにおける指標表示動作の流れを示す模式図である。
【００７２】
最初に、作業者Ｂが装着したＨＭＤ２の表示ユニット２５の画面には、図６（ａ）に示す様に、作業対象物Ｘのシースルー像Ｓ（光学像）がＬＣＤ表示領域（シースルー視野）Ｄを通して観察されている（ステップＳ１）。
【００７３】
一方、遠隔地に設けられた遠隔指示装置４のモニタ５３には、図６（ｂ）に示す様に、ＨＭＤ２のカメラユニット２８で撮影された作業対象物Ｘの映像ＫＩが表示されている。また、映像ＫＩには、ＨＭＤ２の表示ユニット２５のＬＣＤ表示領域（シースルー視野）Ｄを表す視野枠Ｆが視野枠表示処理部５１１によって重ねて表示されている（ステップＳ２）。尚、モニタ５３に表示される作業対象物Ｘの映像ＫＩに重ねて表示される視野枠Ｆの表示方法については後述する。
【００７４】
次に、指示者Ａは、視野枠Ｆと作業対象物Ｘの映像ＫＩが表示されたモニタ５３上で、例えばマウス５５を操作して作業者Ｂが作業すべき部位、例えばスイッチＳＷの位置を、マウスアイコンで選択する（ステップＳ３）。スイッチＳＷが選択されると、座標検出部５１２は、視野枠Ｆの４隅Ｐ，Ｑ，Ｒ，Ｓの位置の座標を基準としたスイッチＳＷの位置の座標Ｔ０（Ｔ０ｘ，Ｔ０ｙ）を算出し（ステップＳ４）、算出した座標Ｔ０（Ｔ０ｘ，Ｔ０ｙ）をＨＭＤ２に送出する。
【００７５】
ここで、座標Ｔ０（Ｔ０ｘ，Ｔ０ｙ）の算出方法について説明する。モニタ５３の原点Ｏ（０，０）を基準とした、視野枠Ｆの４隅Ｐ，Ｑ，Ｒ，Ｓ、及びスイッチＳＷの位置の座標を、それぞれＰ（Ｐｘ，Ｐｙ），Ｑ（Ｑｘ，Ｑｙ），Ｒ（Ｒｘ，Ｒｙ），Ｓ（Ｓｘ，Ｓｙ）、及びＴ（Ｔｘ，Ｔｙ）とすると、視野枠Ｆの４隅Ｐ，Ｑ，Ｒ，Ｓの位置の座標を基準としたスイッチＳＷの位置の座標Ｔ０（Ｔ０ｘ，Ｔ０ｙ）は、下記（式１）、（式２）で求められる。
Ｔ０ｘ＝（Ｔｘ−Ｐｘ）／（Ｑｘ−Ｐｘ） （式１）
Ｔ０ｙ＝（Ｔｙ−Ｐｙ）／（Ｓｙ−Ｐｙ） （式２）
次に、ＨＭＤ２の指標表示処理部３２１は、座標検出部５１２から取得したスイッチＳＷの位置の座標Ｔ０（Ｔ０ｘ，Ｔ０ｙ）を、ＨＭＤ２の表示ユニット２５のＬＣＤ表示領域（シースルー視野）Ｄの４隅ｐ，ｑ，ｒ，ｓの位置の座標を基準とした座標ｔ（ｔｘ，ｔｙ）に変換する（ステップＳ５）。
【００７６】
ここで、座標ｔ（ｔｘ，ｔｙ）への変換方法について説明する。表示ユニット２５のＬＣＤ表示領域（シースルー視野）Ｄの４隅の座標をｐ（０，０），ｑ（ｑｘ，０），ｒ（ｒｘ，ｒｙ），ｓ（０，ｓｙ）とすると、座標ｔ（ｔｘ，ｔｙ）は下記（式３）、（式４）で求められる。
ｔｘ＝Ｔ０ｘ・ｑｘ （式３）
ｔｙ＝Ｔ０ｙ・ｓｙ （式４）
次に、指標表示処理部３２１は、図６（ｃ）に示す様に、表示ユニット２５のＬＣＤ表示領域（シースルー視野）Ｄの座標ｔ（ｔｘ，ｔｙ）の位置に作業者Ｂによる作業の部位を指示する指標、例えばポインターＰＩを、作業者Ｂが表示ユニット２５の画面を通して観察している作業対象物Ｘのシースルー像Ｓ（光学像）に重ねて表示する（ステップＳ６）。
【００７７】
この様にして、作業者Ｂが作業すべき部位を指示する指標（ポインターＰＩ）を、作業者ＢがＨＭＤ２の表示ユニット２５の画面を通して観察できる作業対象物Ｘのシースルー像Ｓ（光学像）における対象部位に重ねて表示することができる。
【００７８】
ここで、モニタ５３に表示される作業対象物Ｘの映像ＫＩに重ねて表示される視野枠Ｆの表示方法について図７、図８を用いて説明する。図７は、本発明に係るモニタ５３に表示される視野枠Ｆの表示方法の流れを示すフローチャートである。図８は、本発明に係るモニタ５３に表示される視野枠Ｆの表示方法の流れを示す模式図である。
【００７９】
最初に、図８（ａ１）に示す様に、ＨＭＤ２の表示ユニット２５のＬＣＤ表示領域（シースルー視野）Ｄの１隅ｓに、本発明における第１の指標に該当するマーカＭを表示させる（ステップＳ１）。また、図８（ｂ１）に示す様に、ホストＰＣ５のモニタ５３に暫定の視野枠Ｗを表示させる（ステップＳ２）。
【００８０】
次に、図８（ａ２）に示す様に、外界の任意の位置（例えば作業対象物Ｘ上）に、本発明における第２の指標に該当する調整の為の調整チャートＣを設置する（ステップＳ３）。そして、図８（ｂ２）に示す様に、設置された調整チャートＣをカメラユニット２８で撮影した映像ＣＩをモニタ５３に表示する（ステップＳ４）。
【００８１】
次に、ＨＭＤ２を装着した作業者Ｂは、図８（ａ３）に示す様に、頭の向きを変化させて、表示ユニット２５のＬＣＤ表示領域（シースルー視野）Ｄの１隅ｓに表示されているマーカＭと、表示ユニット２５の画面を通して観察できる調整チャートＣの光学像が重なって視認できる様にする（ステップＳ５；第１の工程）。このとき、図８（ｂ３）に示す様に、モニタ５３に表示されている調整チャートＣの映像ＣＩと、ＬＣＤ表示領域（シースルー視野）Ｄの１隅ｓに対応する暫定の視野枠Ｗの１隅Ｓの位置は、作業者毎の瞳の位置の違い等によりずれている場合がある。
【００８２】
そこで、指示者Ａは、図８（ｂ４）に示す様に、モニタ５３に表示されている暫定の視野枠Ｗの１隅Ｓの位置を、マウス５５やキーボード５７を操作して移動させ、調整チャートＣの映像ＣＩと一致させる（ステップＳ６）。そして、視野枠表示処理部５１１は、このときの暫定の視野枠Ｗの１隅Ｓの位置をＬＣＤ表示領域（シースルー視野）Ｄの１隅ｓに対応する位置として決定する（ステップＳ７：第２の工程）。同様にして、ＬＣＤ表示領域（シースルー視野）Ｄの他の３隅ｐ，ｑ，ｒにそれぞれ対応する暫定の視野枠Ｗの他の３隅Ｐ，Ｑ，Ｒの位置を決定する（ステップＳ８；第３の工程）。そして、視野枠表示処理部５１１は、決定した視野枠の座標Ｐ，Ｑ，Ｒ，Ｓを４隅とする視野枠Ｗを表示する（ステップＳ９；第４の工程）。尚、視野枠Ｆの位置に厳しい精度が要求されない場合は、視野枠Ｆの１隅、または、対角線上の２隅の位置のみに基づいて視野枠Ｆを表示する様にしても良い。
【００８３】
この様にして、モニタ５３に表示される作業対象物Ｘの映像ＫＩに、ＨＭＤ２の表示ユニット２５のＬＣＤ表示領域（シースルー視野）Ｄに対応する視野枠Ｆを重ねて表示することができる。
【００８４】
この様に、本発明の実施形態に係る遠隔作業支援システム１においては、作業者Ｂが作業すべき部位を指示する指標（ポインターＰＩ）を、作業者ＢがＨＭＤ２の表示ユニット２５の画面を通して観察できる作業対象物Ｘのシースルー像Ｓ（光学像）における対象部位に重ねて表示する様にした。すなわち、従来の様に、指標を作業対象物の映像における対象部位に重ねて表示するのではなく、現実の光学像における対象部位に重ねて表示する様にした。これにより、指示者や作業者に作業の指示の提示及びその受取りに対する負担を課することなく、容易に且つ正確に指示を伝達することができる。また、作業者は、指示された部位に容易に手差し伸べることができ、作業性を向上させることができる。
【００８５】
以上、本発明を実施の形態を参照して説明してきたが、本発明は前述の実施の形態に限定して解釈されるべきでなく、適宜変更、改良が可能であることは勿論である。例えば、前述の実施の形態においては、マウス５５やキーボード５７あるいはライトペン等を操作することにより、作業の部位を指示する指標を、表示ユニット２５の画面を通して観察できる作業対象物の光学像における対象部位に重ねて表示する様にしたが、矢印や「ここを押す」等の記号や文字をタブレットＰＣに手書きで入力し、入力した記号や文字を作業対象物の光学像における対象部位に重ねて表示する様にしても良い。これにより、より正確に且つ具体的な指示を伝達することができる。
【図面の簡単な説明】
【００８６】
【図１】本発明に係る遠隔作業支援システムの全体構成を示す模式図である。
【図２】本発明に係るＨＭＤの全体構成図である。
【図３】本発明に係るＨＭＤにおける表示ユニットの側断面図である。
【図４】本発明に係る遠隔作業支援システムの電気回路ブロック構成図である。
【図５】本発明に係る遠隔作業支援システムにおける指標表示動作の流れを示すフローチャートである。
【図６】本発明に係る遠隔作業支援システムにおける指標表示動作の流れを示す模式図である。
【図７】本発明に係るモニタに表示される視野枠の表示方法の流れを示すフローチャートである。
【図８】本発明に係るモニタに表示される視野枠の表示方法の流れを示す模式図である。
【符号の説明】
【００８７】
１ 遠隔作業支援システム
２ 頭部装着式映像表示装置（ＨＭＤ）
２１Ｒ，２１Ｌ テンプル
２２ ブリッジ
２３Ｒ，２３Ｌ 鼻当て
２４Ｒ，２４Ｌ 透明基板
２５ 表示ユニット
２６ ＬＣＤ表示部
２６１ 筐体
２６２ ＬＥＤ
２６３ コリメータレンズ
２６４ ＬＣＤ
２７ 接眼光学系
２７１ プリズム
２７２ ＨＯＥ
２８ カメラユニット
２８１ ズームレンズ
２８２ ＣＣＤ
２８３ ＡＦＥ
２８４ 画像処理部
２９Ｒ，２９Ｌ イヤホン
３０ マイク
３１ 制御ユニット
３２ 制御部
３２１ 指標表示処理部
３３ 画像メモリ
３４ ＶＲＡＭ
３５ スイッチ群
３５１ 電源スイッチ
３５２ 操作スイッチ
３６ ネットワークＩ／Ｆ
４ 遠隔指示装置
５ ホストコンピュータ（ホストＰＣ）
５１ コンピュータ本体
５１１ 視野枠表示処理部
５１２ 座標検出部
５３ モニタ
５５ マウス
５７ キーボード
６ 映像・音声記録サーバ
７ コンテンツサーバ
Ａ 指示者
Ｂ 作業者
Ｃ 調整チャート
ＥＮ イーサーネット
Ｅ 目
ＩＮ インターネット
ＰＮ 公衆回線網
Ｘ 作業対象物
【特許請求の範囲】
【請求項１】
作業者による作業の対象となる作業対象物を撮影する電子カメラと、
映像を表示し、作業者が外界をシースルー可能な表示ユニットと、を備えた頭部装着式映像表示装置と、
前記電子カメラで撮影された前記作業対象物の映像を表示するモニタを備えて、前記頭部装着式映像表示装置に、作業者による作業の部位を指示するための情報を提供する遠隔指示装置と、を有し、
前記頭部装着式映像表示装置を装着した作業者に、指示者が前記モニタに表示される前記電子カメラによって撮影された前記作業対象物の映像に基づいて、前記遠隔指示装置により前記頭部装着式映像表示装置を介して作業指示を与える遠隔作業支援システムであって、
前記頭部装着式映像表示装置は、前記遠隔指示装置から提供された前記情報に基づいて前記表示ユニットに、作業者による作業の部位を指示する指標を表示する指標表示処理部を有し、
前記指標表示処理部は、前記指標を、作業者が前記表示ユニットの画面を通して観察できる前記作業対象物の光学像における対象部位に重ねて表示することを特徴とする遠隔作業支援システム。
【請求項２】
前記遠隔指示装置は、前記電子カメラによって撮影され前記モニタに表示される前記作業対象物の映像に、前記表示ユニットのシースルー領域を表す視野枠を、重ねて表示する視野枠表示処理部と、
前記視野枠表示処理部によって前記モニタに表示される前記視野枠が表された前記作業対象物の映像において、前記視野枠の位置を基準とした、作業者が作業すべき部位の位置の座標を検出する座標検出部と、を有し、
前記遠隔指示装置は、前記座標検出部で検出された作業者が作業すべき部位の位置の座標を前記情報として前記頭部装着式映像表示装置に提供することを特徴とする請求項１に記載の遠隔作業支援システム。
【請求項３】
前記遠隔指示装置は、前記モニタに表示された前記作業対象物の映像上で、指示者の操作により、作業者が作業すべき部位を指定する操作部を有し、
前記座標検出部は、前記操作部によって指定された作業者が作業すべき部位の位置の座標を検出することを特徴とする請求項２に記載の遠隔作業支援システム。
【請求項４】
前記操作部は、ライトペンまたはマウスであることを特徴とする請求項３に記載の遠隔作業支援システム。
【請求項５】
使用者が外界をシースルー可能な表示ユニットを備えた頭部装着式映像表示装置に設けられた電子カメラによって撮影された映像に、前記表示ユニットのシースルー領域を表す視野枠を重ねて外部に設けられたモニタに表示する表示方法であって、
前記表示ユニットの画面の一隅に表示された第１の指標を、使用者が前記表示ユニットの画面を通して観察できる調整用の第２の指標の光学像に、一致させる第１の工程と、
前記第１の工程により、前記第１の指標と前記第２の指標が一致した時に、前記電子カメラで撮影され前記モニタに表示される前記第２の指標の位置を、前記表示ユニットの画面の前記一隅に対応する前記視野枠の一隅と決定する第２の工程と、
前記第２の工程を繰返し、前記視野枠の他の一隅の位置を決定する第３の工程と、
前記第２の工程および前記第３の工程で決定された前記視野枠の複数の隅の位置に基づいて視野枠生成し、前記電子カメラによって撮影された映像に重ねて表示する第４の工程と、を有することを特徴とする表示方法。
【請求項１】
作業者による作業の対象となる作業対象物を撮影する電子カメラと、
映像を表示し、作業者が外界をシースルー可能な表示ユニットと、を備えた頭部装着式映像表示装置と、
前記電子カメラで撮影された前記作業対象物の映像を表示するモニタを備えて、前記頭部装着式映像表示装置に、作業者による作業の部位を指示するための情報を提供する遠隔指示装置と、を有し、
前記頭部装着式映像表示装置を装着した作業者に、指示者が前記モニタに表示される前記電子カメラによって撮影された前記作業対象物の映像に基づいて、前記遠隔指示装置により前記頭部装着式映像表示装置を介して作業指示を与える遠隔作業支援システムであって、
前記頭部装着式映像表示装置は、前記遠隔指示装置から提供された前記情報に基づいて前記表示ユニットに、作業者による作業の部位を指示する指標を表示する指標表示処理部を有し、
前記指標表示処理部は、前記指標を、作業者が前記表示ユニットの画面を通して観察できる前記作業対象物の光学像における対象部位に重ねて表示することを特徴とする遠隔作業支援システム。
【請求項２】
前記遠隔指示装置は、前記電子カメラによって撮影され前記モニタに表示される前記作業対象物の映像に、前記表示ユニットのシースルー領域を表す視野枠を、重ねて表示する視野枠表示処理部と、
前記視野枠表示処理部によって前記モニタに表示される前記視野枠が表された前記作業対象物の映像において、前記視野枠の位置を基準とした、作業者が作業すべき部位の位置の座標を検出する座標検出部と、を有し、
前記遠隔指示装置は、前記座標検出部で検出された作業者が作業すべき部位の位置の座標を前記情報として前記頭部装着式映像表示装置に提供することを特徴とする請求項１に記載の遠隔作業支援システム。
【請求項３】
前記遠隔指示装置は、前記モニタに表示された前記作業対象物の映像上で、指示者の操作により、作業者が作業すべき部位を指定する操作部を有し、
前記座標検出部は、前記操作部によって指定された作業者が作業すべき部位の位置の座標を検出することを特徴とする請求項２に記載の遠隔作業支援システム。
【請求項４】
前記操作部は、ライトペンまたはマウスであることを特徴とする請求項３に記載の遠隔作業支援システム。
【請求項５】
使用者が外界をシースルー可能な表示ユニットを備えた頭部装着式映像表示装置に設けられた電子カメラによって撮影された映像に、前記表示ユニットのシースルー領域を表す視野枠を重ねて外部に設けられたモニタに表示する表示方法であって、
前記表示ユニットの画面の一隅に表示された第１の指標を、使用者が前記表示ユニットの画面を通して観察できる調整用の第２の指標の光学像に、一致させる第１の工程と、
前記第１の工程により、前記第１の指標と前記第２の指標が一致した時に、前記電子カメラで撮影され前記モニタに表示される前記第２の指標の位置を、前記表示ユニットの画面の前記一隅に対応する前記視野枠の一隅と決定する第２の工程と、
前記第２の工程を繰返し、前記視野枠の他の一隅の位置を決定する第３の工程と、
前記第２の工程および前記第３の工程で決定された前記視野枠の複数の隅の位置に基づいて視野枠生成し、前記電子カメラによって撮影された映像に重ねて表示する第４の工程と、を有することを特徴とする表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−１２４７９５（Ｐ２００８−１２４７９５Ａ）
【公開日】平成２０年５月２９日（２００８．５．２９）
【国際特許分類】
【出願番号】特願２００６−３０６４９４（Ｐ２００６−３０６４９４）
【出願日】平成１８年１１月１３日（２００６．１１．１３）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２０年５月２９日（２００８．５．２９）
【国際特許分類】
【出願日】平成１８年１１月１３日（２００６．１１．１３）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]