ヘッドマウントディスプレイ装置、及びヘッドマウントディスプレイ装置を用いた画像共有システム
【課題】ＨＭＤを装着したユーザが所定の作業を行っている際に、ＨＭＤに供給または記憶された複数の画像情報から、ユーザが行っている作業に関連したユーザにとって必要な情報のみを選定でき、該情報に基づいた画像のみをユーザにより視認されるように構成されたヘッドマウントディスプレイ装置、及びヘッドマウントディスプレイ装置を用いた画像共有システムを提供する。
【解決手段】撮像された外景画像ＢＧの撮像画像から撮像画像内の全ての特徴点が抽出される（ＳＡ２）。特徴点が抽出されると、マニュアル画像ＭＮが表示される（ＳＡ３）。マニュアル画像ＭＮが表示されると、複数の付属画像ＡＣの特徴点データがＤＢサーバ２００から取得される（ＳＡ４）。複数の付属画像ＡＣの特徴点の特徴点データが取得されると、複数の付属画像ＡＣの中にユーザが行っている作業と関連のある少なくとも１つの付属画像ＡＣがあるか否かが判断される（ＳＡ５）。
【解決手段】撮像された外景画像ＢＧの撮像画像から撮像画像内の全ての特徴点が抽出される（ＳＡ２）。特徴点が抽出されると、マニュアル画像ＭＮが表示される（ＳＡ３）。マニュアル画像ＭＮが表示されると、複数の付属画像ＡＣの特徴点データがＤＢサーバ２００から取得される（ＳＡ４）。複数の付属画像ＡＣの特徴点の特徴点データが取得されると、複数の付属画像ＡＣの中にユーザが行っている作業と関連のある少なくとも１つの付属画像ＡＣがあるか否かが判断される（ＳＡ５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの頭部及びその近辺に装着され、ユーザが画像情報に基づいた画像光による情報画像と外光による外景画像とを同時に視認しながら、外景画像を撮像できるヘッドマウントディスプレイ装置（以後、「ＨＭＤ」と記す。）、及びヘッドマウントディスプレイ装置を用いた画像共有システムに関する。
【背景技術】
【０００２】
従来より、画像情報に基づいた画像光による画像が外光による外景画像とともにユーザにより視認されるように構成された光学系を備えたＨＭＤが、特許文献１に提案されている。このようなＨＭＤを頭部に装着すれば、ユーザは、例えば、マニュアル画像を視認しながら、同時にマニュアル画像において指示されている内容の作業を行うことが可能となる。
【０００３】
マニュアル画像のうち特定箇所に関連した付属情報に基づいた付属画像をＰＣの画面などに表示するコンテンツ作成装置が、特許文献２に開示されている。このコンテンツ作成装置を、ＨＭＤに適用することで、ユーザは、付属情報に基づいた付属画像を間近に視認しながら、マニュアル画像において指示されている内容の作業を行うことができる。即ち、このようなＨＭＤを使用することにより、ユーザは、マニュアル画像のうちの特定箇所の作業を、特定箇所において指示されている通りに行っているかなどを表す付属画像を間近に視認することができる。従って、ユーザは、マニュアル画像において指示されている内容の作業を効率良く行うことができる。
【０００４】
上述のようなＨＭＤが、サーバやデータベースなどにより構成されるネットワークシステムに接続可能で、且つＨＭＤがユーザの視認範囲を撮像可能なカメラを搭載している場合、ユーザがマニュアルを視認しながら行っていた作業における失敗例などを、他のユーザと共有することが可能となる。例えば、ユーザが視認範囲のある領域にある物を置くという作業をしている際に、他の誤った領域にその物を置いてしまった場合、そのときのユーザの視認範囲を時間と対応付けてカメラにより撮像する。そして、撮像された画像をネットワークシステムを介して、他のユーザに供給する。他のユーザに供給された画像は、他のユーザにより視認されているマニュアル画像のうちの特定箇所に対応付けられてユーザに視認される。他のユーザは、作業をしながら、特定のユーザの失敗例に関する画像を視認することで、同様の失敗をしないように注意しながら作業を行うことが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−３０３０５３号公報
【特許文献２】特開２００６−５３６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ユーザにとって必ずしもネットワークシステムを介して供給される画像の全てが重要とは限らない。例えば、特定のユーザが他のユーザと全く異なる内容の作業を行っていた場合、特定のユーザの作業内容と関連のない画像が他のユーザから供給され、特定のユーザがそれらの画像全てを視認していると、作業に支障を来たすなどの問題が発生する。
【０００７】
本発明は、上述した問題点を解決するためになされたものであり、ＨＭＤを装着したユーザが所定の作業を行っている際に、ＨＭＤに供給または記憶された複数の画像情報から、ユーザが行っている作業に関連したユーザにとって必要な情報のみを選定でき、該情報に基づいた画像のみをユーザにより視認されるように構成されたヘッドマウントディスプレイ装置、及びヘッドマウントディスプレイ装置を用いた画像共有システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１記載の本発明は、ユーザの頭部及びその近辺に装着され、画像を形成するための画像情報に基づいた画像光による画像が外光による外景画像とともに前記ユーザにより視認されるように構成されたヘッドマウントディスプレイ装置であって、前記ユーザが所定の作業を行っている際に、前記ユーザの作業状況を表す前記外景画像を撮像する撮像部と、前記ユーザが行っている前記所定の作業を支援するために、前記撮像部により撮像された前記外景画像に関連した、前記所定の作業の内容、及び手順を表す第１画像を取得する第１画像取得部と、前記第１画像により表わされる前記所定の作業の内容、及び手順に付随した情報を前記ユーザに示すために、前記第１画像取得部により取得された前記第１画像のうちの特定箇所に関連した複数の第２画像を取得する第２画像取得部と、前記第２画像取得部により取得された前記複数の第２画像が前記ユーザが行っている作業と関連があるか否かを、前記撮像部により撮像された前記外景画像に基づいて判定する関連性判定部と、を備え、前記第１画像取得部により取得された第１画像と、前記複数の第２画像のうち、前記関連性判定部により前記ユーザが行っている作業と関連があると判定された少なくとも１つの前記第２画像とが前記ユーザにより視認されるように構成されたことを特徴とするものである。
【０００９】
請求項２記載の本発明は、請求項１に記載の発明において、前記第１画像取得部は、前記ユーザの作業状況に応じて前記ユーザに前記所定の作業の内容、及び手順を示すために、前記撮像部により順次撮像される前記外景画像が表す前記ユーザの作業状況に沿って、順次内容が切り換わるマニュアル画像である前記第１画像を取得し、前記第２画像取得部は、前記マニュアル画像である前記第１画像内に付されたインデックス、またはページ番号である前記特定箇所に関連した複数の第２画像を取得することを特徴とするものである。
【００１０】
請求項３記載の本発明は、請求項１または２に記載の発明において、前記撮像部により撮像された前記外景画像のうち前記ユーザの作業対象である対象画像を特定する特定部を備え、前記関連性判定部は、前記第２画像取得部により取得された前記複数の第２画像のうち、前記特定部により特定された前記対象画像に関連した前記第２画像が前記ユーザが行っている作業と関連があると判定することを特徴とするものである。
【００１１】
請求項４記載の本発明は、請求項３に記載の発明において、前記撮像部により撮像された前記外景画像のうちの一部の画像である複数の部分画像の部分形状を認識する形状認識部を備え、前記特定部は、前記形状認識部により認識された前記部分形状のうち、前記第２画像取得部により取得された前記複数の第２画像のうちのいずれかの形状と一致する前記部分形状の前記部分画像を前記対象画像として特定することを特徴とするものである。
【００１２】
請求項５記載の本発明は、請求項３に記載の発明において、前記ユーザの瞳を撮像する瞳撮像部と、前記瞳撮像部により撮像された前記ユーザの瞳が向いている方向と前記撮像部により撮像された前記外景画像との交点の位置を算出する位置算出部と、を備え、前記特定部は、前記外景画像のうちの一部の画像である複数の部分画像のうち前記位置算出部により算出された前記交点が位置する部分画像を前記対象画像として特定することを特徴とするものである。
【００１３】
請求項６記載の本発明は、請求項３に記載の発明において、前記撮像部により撮像された前記外景画像のうちの一部の画像である複数の部分画像のうちの前記ユーザの手指の画像である手指画像の手指形状を認識する手指認識部を備え、前記特定部は、前記複数の部分画像のうち前記手指認識部により認識された前記手指形状の前記手指画像が指し示す先の部分画像を前記対象画像として特定することを特徴とするものである。
【００１４】
請求項７記載の本発明は、請求項１〜６のいずれかに記載の発明の前記ヘッドマウントディスプレイ装置を複数備え、更に複数の前記ヘッドマウントディスプレイ装置に接続された情報処理部を備える画像共有システムであって、前記ヘッドマウントディスプレイ装置は、前記撮像部により撮像された前記外景画像を前記情報処理部に供給する画像供給部を備え、前記情報処理部は、前記第１画像をあらかじめ記憶している第１画像記憶部と、前記第２画像をあらかじめ記憶している第２画像記憶部と、複数の前記ヘッドマウントディスプレイの前記画像供給部より供給される複数の前記外景画像を新たな前記第２画像として前記第２画像記憶部に記憶させる制御部とを備え、前記第１画像取得部は、前記情報処理部により記憶されている前記第１画像を取得し、前記第２画像取得部は、前記情報処理部により記憶されている複数の前記第２画像を取得することを特徴とするものである。
【００１５】
請求項８記載の本発明は、ユーザの頭部及びその近辺に装着され、画像を形成するための画像情報に基づいた画像光による画像が外光による外景画像とともに前記ユーザにより視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像表示制御方法であって、前記ユーザが所定の作業を行っている際に、前記ユーザの作業状況を表す前記外景画像を撮像する撮像ステップと、前記ユーザが行っている前記所定の作業を支援するために、前記撮像ステップにより撮像された前記外景画像に関連した、前記所定の作業の内容、及び手順を表す第１画像を取得する第１画像取得ステップと、前記第１画像により表わされる前記所定の作業の内容、及び手順に付随した情報を前記ユーザに示すために、前記第１画像取得ステップにより取得された前記第１画像のうちの特定箇所に関連した複数の第２画像を取得する第２画像取得ステップと、前記第２画像取得ステップにより取得された前記複数の第２画像が前記ユーザが行っている作業と関連があるか否かを、前記撮像ステップにより撮像された前記外景画像に基づいて判定する関連性判定ステップと、を備え、前記第１画像取得ステップにより取得された第１画像と、前記複数の第２画像のうち、前記関連性判定ステップにより前記ユーザが行っている作業と関連があると判定された少なくとも１つの前記第２画像とが前記ユーザにより視認されることを特徴とするものである。
【００１６】
請求項９記載の本発明は、ユーザの頭部及びその近辺に装着され、画像を形成するための画像情報に基づいた画像光による画像が外光による外景画像とともに前記ユーザにより視認されるように構成されたヘッドマウントディスプレイ装置のコンピュータに実行させる画像表示制御プログラムであって、前記ユーザが所定の作業を行っている際に、前記ユーザの作業状況を表す前記外景画像を撮像する撮像ステップと、前記ユーザが行っている前記所定の作業を支援するために、前記撮像ステップにより撮像された前記外景画像に関連した、前記所定の作業の内容、及び手順を表す第１画像を取得する第１画像取得ステップと、前記第１画像により表わされる前記所定の作業の内容、及び手順に付随した情報を前記ユーザに示すために、前記第１画像取得ステップにより取得された前記第１画像のうちの特定箇所に関連した複数の第２画像を取得する第２画像取得ステップと、前記第２画像取得ステップにより取得された前記複数の第２画像が前記ユーザが行っている作業と関連があるか否かを、前記撮像ステップにより撮像された前記外景画像に基づいて判定する関連性判定ステップと、を前記コンピュータに実行させ、前記第１画像取得ステップにより取得された第１画像と、前記複数の第２画像のうち、前記関連性判定ステップにより前記ユーザが行っている作業と関連があると判定された少なくとも１つの前記第２画像とが前記ユーザにより視認されることを特徴とするものである。
【発明の効果】
【００１７】
請求項１記載のヘッドマウントディスプレイ装置によれば、関連性判定部により、複数の第２画像のうちユーザが行っている作業と関連があると判定された第２画像のみが第１画像取得部により取得された第１画像とともにユーザにより視認される。従って、ユーザは、複数の第２画像のうちユーザが行っている作業に関連したユーザにとって必要な情報に基づいた第２画像のみを視認することができる。
【００１８】
請求項２記載のヘッドマウントディスプレイ装置によれば、ユーザは、ユーザの作業状況に沿って順次内容が切り換わるマニュアル画像と、マニュアル画像内のインデックスまたはページ番号に関連した第２画像とを同時に視認できる。従って、ユーザは、作業内容、及び手順を十分に理解しながら、効率よく作業を行うことができる。また、マニュアル画像がユーザの作業状況に沿って順次内容が切り換わるため、ユーザが手入力でマニュアル画像のページや内容を切り換える必要がない。従って、ユーザは作業において両手を使うことができ、作業を可及的に効率よく行うことができる。
【００１９】
請求項３記載のヘッドマウントディスプレイ装置によれば、撮像部により撮像された外景画像のうちユーザの作業対象である対象画像を特定する特定部を備える。そして、複数の第２画像のうち、対象画像に関連した第１画像のうちの特定箇所に関連した第２画像が前記ユーザが行っている作業と関連があると判定される。従って、ユーザの作業対象が正確に特定されることで、ユーザは、自身が行っている作業に関連した第２画像のみを正確に視認することが可能となる。
【００２０】
請求項４記載のヘッドマウントディスプレイ装置によれば、形状認識部により認識された部分形状のうち、複数の第２画像のうちのいずれかの形状と一致する部分形状の部分画像が対象画像として特定される。従って、対象画像が画像の形状から特定されることで、ユーザの作業対象が正確に特定される。よって、ユーザは、ユーザが行っている作業に関連した第２画像のみを正確に視認できる。
【００２１】
請求項５記載のヘッドマウントディスプレイ装置によれば、瞳撮像部により撮像されたユーザの瞳が向いている方向と撮像部により撮像された外景画像との交点の位置が算出される。そして、外景画像のうちの一部の画像である複数の部分画像のうち位置算出部により算出された交点が位置する部分画像が対象画像として特定される。従って、ユーザの視線の先にあるユーザの作業対象が正確に特定される。よって、ユーザは、ユーザが行っている作業に関連した第２画像のみを正確に視認できる。
【００２２】
請求項６記載のヘッドマウントディスプレイ装置によれば、撮像部により撮像された外景画像のうちの一部の画像である複数の部分画像のうち手指認識部により認識された手指形状の手指画像が指し示す先の部分画像が対象画像として特定される。従って、ユーザが手指を作業対象に向けるという行動をするだけで、ユーザの作業対象が正確に特定される。よって、ユーザは、ユーザが行っている作業に関連した第２画像のみを正確に視認できる。
【００２３】
請求項７記載の画像共有システムによれば、特定のユーザが画像共有システムのネットワークにヘッドマウントディスプレイ装置を接続することにより、特定のユーザは、他のユーザが行っている作業に関連した第２画像を取得できる。そして、特定のユーザは、複数の第２画像のうち特定のユーザが行っている作業に関連した特定のユーザにとって必要な情報に基づいた第２画像のみを視認することができる。従って、特定のユーザは、他のユーザの作業に関連した複数の第２画像を取得しながらも、特定のユーザ自身が行っている作業に関連した第２画像のみを視認できる。
【００２４】
請求項８記載の画像表示制御方法、及び請求項９記載の画像表示制御プログラムによれば、関連性判定ステップにより、複数の第２画像のうちユーザが行っている作業と関連があると判定された第２画像のみが第１画像取得ステップにより取得された第１画像とともにユーザにより視認される。従って、ユーザは、複数の第２画像のうちユーザが行っている作業に関連したユーザにとって必要な情報に基づいた第２画像のみを視認することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係るＨＭＤ１をユーザＰＲが装着して作業を行っている状況を示す図である。
【図２】上記ＨＭＤ１の拡大上面図である。
【図３】上記ＨＭＤ１の電気的、及び光学的構成を示す説明図である。
【図４】上記ＨＭＤ１、及びＨＭＤ１と同様の構成を備えるＨＭＤ１Ａ、１Ｂ、１Ｃを備える画像共有システム１００を説明するための説明図である。
【図５Ａ】上記ＨＭＤ１のメイン処理を示すフローチャートである。
【図５Ｂ】図５Ａに示すＳＡ３における処理を示すフローチャートである。
【図５Ｃ】図５Ａに示すＳＡ４における処理を示すフローチャートである。
【図５Ｄ】図５Ａに示すＳＡ５における処理を示すフローチャートである。
【図５Ｅ】上記ＨＭＤ１の新たな付属画像ＡＣの判断テーブルＴＢ２への追加処理を示すフローチャートである。
【図６】上記ＨＭＤ１を装着したユーザＰＲが視認することとなる外景画像ＢＧとマニュアル画像ＭＮとが重畳した合成画像の一例である。
【図７】上記ＨＭＤ１により表示されるマニュアル画像ＭＮを説明するための説明図である。
【図８】上記ＤＢサーバ２００により記憶され、ＨＭＤ１により取得される判断テーブルＴＢ１の一例を示す図である。
【図９】上記ＤＢサーバ２００により記憶され、ＨＭＤ１により取得される判断テーブルＴＢ２の一例を示す図である。
【図１０Ａ】上記ＨＭＤ１により表示される付属画像ＡＣを説明するための説明図である。
【図１０Ｂ】上記ＨＭＤ１により表示される付属画像ＡＣを説明するための説明図である。
【図１１】上記ＨＭＤ１を装着したユーザＰＲが視認することとなる外景画像ＢＧとマニュアル画像ＭＮとが重畳した合成画像の一例である。
【図１２】図９において示した判断テーブルＴＢ２に識別番号Ｍ２Ａ４の付属画像ＡＣのデータが追加されることにより作成された判断テーブルＴＢ３を示す図である。
【図１３】本発明の変形例１において、上記ＨＭＤ１、及びＨＭＤ１と同様の構成を備えるＨＭＤ１Ａ、１Ｂ、１Ｃを備える画像共有システム９００を説明するための説明図である。
【図１４】本発明の変形例２において、図５Ａにおいて示したＳＡ２の代わりとなる処理を示すフローチャートである。
【図１５】図１４において示す処理を説明するための説明図である。
【図１６】本発明の変形例３において、図５Ａにおいて示したＳＡ２の代わりとなる処理を示すフローチャートである。
【図１７】図１６において示す処理を説明するための説明図である。
【発明を実施するための形態】
【００２６】
本発明の一実施形態について、図面を参照して説明する。本実施形態は本発明を網膜走査型ディスプレイ、及び網膜走査ディスプレイを用いた画像共有システムに具体化したものである。網膜走査型ディスプレイとは、ユーザの頭部近傍に装着され、画像光をユーザの網膜上で２次元走査するＨＭＤである。網膜走査型ディスプレイは、画像光をユーザの網膜上で２次元走査することで、コンテンツ情報に対応する画像（以後、「コンテンツ画像」と記す。）がユーザにより視認されるように構成されている。
【００２７】
なお、「視認」とは画像光がユーザの網膜上で２次元走査され、ユーザが画像を認識する態様と、画像が表示パネル等に表示され、ユーザが表示パネル等に表示された画像から発生する画像光による画像を認識する態様の２つの態様を含む意味である。以後、「表示」という用語を用いた場合、ユーザに対して画像光による画像を認識可能に動作することを意味するものとする。その点で上述のいずれの態様も画像光による画像を表示しているものと言える。
【００２８】
［ＨＭＤ外観］
図１は、ユーザＰＲが装着している本実施形態のＨＭＤ１の外観を示す図である。また、図１は、ユーザＰＲが対象画像ＯＢにより示される作業対象に対し、組み付け作業を行っている場面を示している。図２は、ＨＭＤ１を装着したユーザＰＲを上面から見た際の上面図である。図１、及び図２に示すように、ＨＭＤ１は、フレーム部２と、画像表示部３と、ハーフミラー４と、ＣＣＤ５と、システムボックス７と、伝送ケーブル８と、を備えている。
【００２９】
ＨＭＤ１は、ユーザＰＲがフレーム部２を頭部に装着した状態で、マニュアル、文書ファイル、画像ファイル、動画ファイル等の各種コンテンツ情報を画像としてそのユーザＰＲに視認可能に表示する網膜走査型ディスプレイである。
【００３０】
フレーム部２は、図１、及び図２に示す通り、眼鏡のフレーム形状をしており、フロント部２ａと、一対のテンプル部２ｂとからなる。
【００３１】
画像表示部３は、図１、及び図２に示す通り、ユーザＰＲから見て左側のテンプル部２ｂに取り付けられている。画像表示部３は、画像光を２次元走査することで、コンテンツ画像を表示するための画像光を生成する。
【００３２】
ハーフミラー４は、図１、及び図２に示す通り、フロント部２ａに設けられている。ハーフミラー４は、画像表示部３から発せられた画像光を反射し、ユーザＰＲの眼ＥＹの網膜に導く。また、ハーフミラー４は半透明であり、外光ＥＬを透過するため、ユーザＰＲは、ＨＭＤ１の装着時に、コンテンツ画像と同時に外光による外景画像を視認できる。従って、ユーザＰＲは、マニュアル等のコンテンツ画像を視認しながら、図１に示すように組み付け作業等の作業を行うことができる。
【００３３】
なお、画像表示部３は、後述のＲＯＭに記憶されたデータを基に、あらかじめ設定されたハーフミラー４の所定位置で、画像光を反射し、網膜に導く。ハーフミラー４の反射範囲及び設置位置により、ユーザＰＲがコンテンツ画像を視認する範囲と位置と方向とがあらかじめ決定される。
【００３４】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）５は、画像表示部３上に取り付けられている。ＣＣＤ５の光軸は、画像光がハーフミラーにて反射され、ユーザＰＲの網膜に導かれたとき、その画像光の網膜への入射方向と略一致するように設定されている。このように、ＣＣＤ５の光軸が設定されることで、ＣＣＤ５は、ユーザＰＲがコンテンツ画像を視認する範囲と略一致する範囲において、外景画像を撮像することが可能となる。本実施形態におけるＣＣＤ５が、本発明の撮像部の一例である。
【００３５】
システムボックス７は、画像表示部３と伝送ケーブル８を介して接続されている。システムボックス７は、ＨＭＤ１の全体の動作を統括制御する。また、システムボックス７は、図１、及び図２において図示しないデータベースサーバ等の外部装置と無線通信可能である。システムボックス７は、外部装置と通信することで、マニュアル画像等のコンテンツ画像を表わすコンテンツ情報を取得する。伝送ケーブル８は、光ファイバや各種信号を伝送するためのケーブルを備える。
【００３６】
［ＨＭＤ電気的構成］
ＨＭＤ１の電気的構成について、図３を参照して説明する。図３は、ＨＭＤ１の電気的及び光学的構成を示す説明図である。
【００３７】
ＨＭＤ１は、図３に示すように、統括制御部１０と、光生成部２０と、光走査部５０と、を備えている。統括制御部１０と、光生成部２０とは、システムボックス７に内蔵され、光走査部５０は、画像表示部３に内蔵されている。
【００３８】
統括制御部１０は、図３に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２と、プログラムＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、フラッシュＲＯＭ１４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５と、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１７と、バス１８と、を備えている。ＣＰＵ１２は、プログラムＲＯＭ１３に記憶されている各種情報処理プログラムを実行することにより、ＨＭＤ１が備える各種機能を実行する演算処理装置である。プログラムＲＯＭ１３は、不揮発性メモリであるフラッシュメモリにより構成されている。プログラムＲＯＭ１３は、ＨＭＤ１により表示するコンテンツの再生、停止、早送り、巻き戻し等の制御を行う際に光生成部２０、光走査部５０等を動作させるための情報処理プログラム等、ＣＰＵ１２により実行される各種情報処理プログラムを記憶している。フラッシュＲＯＭ１４は、不揮発性メモリであるフラッシュメモリにより構成されている。フラッシュＲＯＭ１４は、画像データや、統括制御部１０が各種表示制御を行う際に参照する複数種類のテーブル等を記憶可能である。ＲＡＭ１５は画像データ等の各種データを一時的に記憶する領域である。ＶＲＡＭ１６は、画像を表示する際に、表示される画像が表示前に一時的に描画される領域である。通信Ｉ／Ｆ１７は、ＨＭＤ１を他のユーザにより装着されたＨＭＤと画像を共有するためのシステムに無線ＬＡＮ接続するためのネットワークインターフェースである。ＣＰＵ１２、プログラムＲＯＭ１３、フラッシュＲＯＭ１４、ＲＡＭ１５、ＶＲＡＭ１６、及び通信Ｉ／Ｆ１７は、データ通信用のバス１８にそれぞれ接続されており、バス１８を介して各種情報の送受信を行う。統括制御部１０は、図３に示すように、ＨＭＤ１の電源スイッチＳＷ、更新スイッチＮＷ、及びＣＣＤ５と接続されている。ＣＰＵ１２と、プログラムＲＯＭ１３、及びＲＡＭ１５などのメモリとにより、ＨＭＤ１のマイクロコンピュータが構成される。更新スイッチＮＷがＯＮにされると、ＤＢサーバ２００に新たな撮像画像が供給される。本実施形態における統括制御部１０が、後述のフローチャートに示すプログラムに従う各処理機能とともに、本発明の第１画像取得部、第２画像取得部、関連性判定部、特定部、形状認識部、及び画像供給部の一例をそれぞれ構成する。
【００３９】
光生成部２０は、図３に示すように、信号処理回路２１と、光源部３０と、光合成部４０と、を備えている。光生成部は、統括制御部１０から供給された画像データを受け取る。
【００４０】
信号処理回路２１は、供給された画像データに基づいて、画像を合成するための要素となる青、緑、赤の各画像信号２２ａ〜２２ｃを生成し、光源部３０に供給する。信号処理回路２１は、水平走査部７０を駆動するための水平駆動信号を水平走査部７０に供給し、垂直走査部８０を駆動するための垂直駆動信号を垂直走査部８０に供給する。
【００４１】
光源部３０は、信号処理回路２１から供給される３つの画像信号２２ａ〜２２ｃに従って画像光を出力する画像光出力部として機能する。光源部３０は、青色の画像光を発生するＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の画像光を発生するＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の画像光を発生するＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。
【００４２】
光合成部４０は、光源部３０から出力された３つの画像光を供給され、３つの画像光を１つの画像光に合成して任意の画像光を生成する。光合成部４０は、光源部３０から入射する画像光を平行光にコリメートする。光合成部４０は、コリメート光学系４１、４２、４３と、このコリメートされた画像光を合成するためのダイクロイックミラー４４、４５、４６と、合成された画像光を伝送ケーブル８に導く結合光学系４７とを備えている。各レーザ３４、３５、３６から出射したレーザ光は、コリメート光学系４１、４２、４３によってそれぞれ平行光化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各画像光が波長に関して選択的に反射または透過される。
【００４３】
光走査部５０は、コリメート光学系６０と、水平走査部７０と、垂直走査部８０と、リレー光学系７５、９０と、を備えている。コリメート光学系６０は、伝送ケーブル８を介して出射される画像光を平行光化し、水平走査部７０に導く。水平走査部７０は、共振型偏向素子７１と、水平走査制御回路７２と、水平走査角検出回路７３と、を備えている。共振型偏向素子７１は、画像光を水平方向に走査するための反射面を有する。水平走査制御回路７２は、信号処理回路２１から供給される水平駆動信号２３に基づいて、共振型偏向素子７１を共振させる。水平走査角検出回路７３は、共振型偏向素子７１から供給される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する。水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を統括制御部１０へ供給する。リレー光学系７５は、水平走査部７０と垂直走査部８０との間で画像光を中継する。共振型偏向素子７１によって水平方向に走査された光は、リレー光学系７５によって垂直走査部８０内の偏向素子８１の反射面に収束される。垂直走査部８０は、偏向素子８１と、垂直走査制御回路８２と、を備えている。偏向素子８１は、リレー光学系７５により導かれた画像光を垂直方向に走査する。垂直走査制御回路８２は、信号処理回路２１から供給される垂直駆動信号２４に基づいて、偏向素子８１を揺動させる。共振型偏向素子７１により水平方向に走査され、偏向素子８１によって垂直方向に走査された画像光は、２次元的に走査された走査画像光としてリレー光学系９０へ出射される。リレー光学系９０は、共振型偏向素子７１と偏向素子８１とにより走査された各々の画像光を、各々の中心線が相互に略平行になるよう変換し、尚且つ、各々の画像光を、平行光化する。リレー光学系９０は、各々の画像光を、各々の中心線が撮影者の瞳孔Ｅａに収束するように、変換する。
【００４４】
リレー光学系９０から供給された画像光は、ハーフミラー４で一度反射された後、ユーザＰＲの瞳孔Ｅａに収束される。このようにして、ユーザＰＲはコンテンツ画像を視認することができる。
【００４５】
統括制御部１０は、共振型偏向素子７１の揺動状態に基づいた信号を、水平走査角検出回路７３から受け取る。そして、統括制御部１０は、受け取った信号に基づいて、信号処理回路２１の動作を制御する。信号処理回路２１は、水平走査制御回路７２へ水平駆動信号を供給し、垂直走査制御回路８２へ垂直駆動信号を供給する。水平走査制御回路７２は、供給された水平駆動信号に基づき、共振型偏向素子７１の動きを制御する。垂直走査制御回路８２は供給された垂直駆動信号に基づき、偏向素子８１の動きを制御する。以上の一連の流れにより、水平走査と垂直走査との同期が成される。
【００４６】
［画像共有システム構成］
図４は、ＨＭＤ１を用いた画像共有システム１００の構成を説明するための説明図である。図４において、ＨＭＤ１Ａ、１Ｂ、１Ｃは、図３などにおいて示したＨＭＤ１と同一の構成のＨＭＤである。図４において、ユーザＰＲにより装着されたＨＭＤ１と、他の３人のユーザにより各々装着されたＨＭＤ１Ａ、１Ｂ、１Ｃとが示されている。ＨＭＤ１Ａ、１Ｂ、１Ｃを各々装着した他の３人のユーザは、図１において示したユーザＰＲと同様に、組み付け作業を行っている。図４に示すように、ＨＭＤ１、及びＨＭＤ１Ａ、１Ｂ、１Ｃは、各々、通信Ｉ／Ｆ１７、１７Ａ、１７Ｂ、１７Ｃを介した無線通信により、データベースサーバ（以後、「ＤＢサーバ」と記す）２００に接続されている。ＤＢサーバ２００は、ＣＰＵ、ＲＯＭ、ＲＡＭなどにより構成される。ＤＢサーバ２００は、マニュアル画像をあらかじめ記憶しているマニュアル画像記憶部２１０を備える。ＤＢサーバ２００は、付属画像をあらかじめ記憶している付属画像記憶部２２０を備える。ＤＢサーバ２００は、ＨＭＤ１、１Ａ、１Ｂ、１Ｃから供給された外景画像を新たな付属画像として第２画像記憶部に記憶させる制御部２３０を備える。ＤＢサーバ２００は、記憶されている所定のデータをＨＭＤ１、１Ａ、１Ｂ、１Ｃのうちの複数のＨＭＤに同時に供給することができる。また、ＤＢサーバ２００は、記憶されている所定のデータをＨＭＤ１、１Ａ、１Ｂ、１Ｃのうちのいずれか１つのＨＭＤに供給することもできる。本実施形態におけるＨＭＤ１、１Ａ、１Ｂ、１Ｃが、本発明のヘッドマウントディスプレイ装置の一例である。本実施形態におけるＤＢサーバ２００が、本発明の情報処理部の一例である。本実施形態における画像共有システム１００が、本発明の画像共有システムの一例である。本実施形態におけるマニュアル画像記憶部２１０が、本発明の第１画像記憶部の一例である。本実施形態における付属画像記憶部２２０が、本発明の第２画像記憶部の一例である。本実施形態における制御部２３０が、本発明の制御部の一例である。
【００４７】
［ＨＭＤ動作制御］
次に、図５Ａ〜図５Ｄを参照して、ＨＭＤ１の動作制御について説明する。なお、図４において示したＨＭＤ１Ａ、１Ｂ、１Ｃも、以下に示すＨＭＤ１の動作制御と同様の動作制御を行う。
【００４８】
図５Ａは、ＨＭＤ１の動作制御処理を示すフローチャートである。一連の動作制御は、ＨＭＤ１のＣＰＵ１２により実行される。
【００４９】
ＨＭＤ１の制御処理では、先ず、ＣＣＤ５により外景画像ＢＧが撮像される（ステップＳＡ１、以下ＳＡ１と記す）。このとき、ＣＣＤ５は、図６に示すように、撮像範囲ＳＲにある外景画像ＢＧを撮像する。ＣＣＤ５により撮像された外景画像ＢＧの撮像画像のデータは、ＲＡＭ１５により記憶される。本実施形態におけるステップＳＡ１が、本発明の撮像ステップの一例である。
【００５０】
外景画像ＢＧが撮像されると、ＣＣＤ５により撮像された外景画像ＢＧの撮像画像から撮像画像内の全ての特徴点が抽出される（ＳＡ２）。撮像画像内の全ての特徴点が抽出されることで、外景画像ＢＧ内の全ての部分画像ＰＩの特徴点の座標データが得られる。従って、全ての部分画像ＰＩの特徴点の位置、及び各特徴点間の位置関係に関するデータが得られるため、図６に示す外景画像ＢＧ内の複数の部分画像ＰＩの形状が認識されることが可能となる。特徴点の抽出、及び部分画像ＰＩの形状認識には、Ｓｏｂｅｌオペレータなどによる周知のエッジ検出技術が応用される。
【００５１】
特徴点が抽出されると、図６、及び図７に示すようなマニュアル画像ＭＮが表示される（ＳＡ３）。図６、及び図７においてマニュアル画像ＭＮは、ページ番号ＰＧが２ページ目のマニュアル画像ＭＮである。ＳＡ３について、以下図５Ｂを用いて詳細に説明する。
【００５２】
図５Ｂは、ＳＡ３における処理を示すフローチャートである。ＳＡ２において特徴点が抽出されると、ＤＢサーバ２００により記憶されている判断テーブルＴＢ１が読み出される（ＳＢ１）。判断テーブルＴＢ１は、図８に示すように、特徴点データとページデータとが対応付けられてＤＢサーバ２００により記憶されているテーブルである。本実施形態において、特徴点データは、画像を構成する複数の特徴点の座標データの集合である。図８において、簡略化のため、各特徴点データとして複数の特徴点により構成される画像が示されている。図８に示すように、ハブの画像ＨＢを構成する特徴点データが判断テーブルＴＢ１の１項目に記憶されている。図８に示すように、ケーブル、スクリーン、及びスクリーンシートの画像を構成する特徴点データが、各々、判断テーブルＴＢ１の２項目、３項目、及び４項目に記憶されている。また、図８において、ページデータ「１，２，３」とは、表示されるマニュアル画像ＭＮのページ番号ＰＧが１ページと２ページと３ページとであることを示す。
【００５３】
判断テーブルＴＢ１が読み出されると、判断テーブルＴＢ１の特徴点データの項に、ＳＡ２において抽出された特徴点データに該当するものがあるか否かが判断される（ＳＢ２）。
【００５４】
判断テーブルＴＢ１の特徴点データの項に、ＳＡ２において抽出された特徴点データに該当するものがあると判断されると（ＳＢ２：Ｙｅｓ）、判断テーブルＴＢ１において該当する特徴点データに対応したページデータのマニュアルデータが図３において示したＤＢサーバ２００のマニュアル画像記憶部２１０から取得される。ＤＢサーバ２００から取得されるマニュアルデータは、ページデータに示されるページ番号ＰＧのマニュアル画像ＭＮを表示するための画像データである。取得されたマニュアルデータは、ＲＡＭ１５に供給される（ＳＢ３）。
【００５５】
ＲＡＭ１５にマニュアルデータが供給されると、供給されたマニュアルデータが次にＶＲＡＭ１６に供給され、ＶＲＡＭ１６上で展開される（ＳＢ４）。マニュアルデータがＶＲＡＭ１６上で展開されると、マニュアルデータに基づいたマニュアル画像ＭＮが表示される（ＳＢ５）。なお、例えばページデータが「１，２，３」の場合、マニュアル画像ＭＮの１ページ目、２ページ目、３ページ目が順に表示される。
【００５６】
ＳＢ２において、判断テーブルＴＢ１の特徴点データの項に、ＳＡ２において抽出された特徴点データに該当するものがないと判断されると（ＳＢ２：Ｎｏ）、「該当マニュアル無し」というメッセージが記されたマニュアル画像ＭＮのマニュアルデータがＤＢサーバ２００からＲＡＭ１５に供給される（ＳＢ６）。ＳＢ６においてＲＡＭ１５にマニュアルデータが供給されると、処理がＳＢ４に移り、その後「該当マニュアル無し」というメッセージのマニュアル画像ＭＮが表示される（ＳＢ５）。マニュアル画像ＭＮが表示されることで、ユーザＰＲは、図６に示すように、外景画像ＢＧとマニュアル画像ＭＮとが重畳した合成画像を視認することとなる。本実施形態におけるステップＳＡ３が、本発明の第１画像取得ステップの一例である。
【００５７】
ＳＡ３に示す処理について図６、及び図８を用いて説明する。図６に示すように、今、撮像範囲ＳＲにハブの画像ＨＢが入っている。撮像範囲ＳＲにハブの画像ＨＢが入ることで、図８に示す判断テーブルＴＢ１に従い、図５Ｂに示すＳＢ３において、ページデータ「１，２，３」のマニュアルデータが取得される。マニュアルデータ「１，２，３」が取得されることで、図５Ｂに示すＳＢ５において、マニュアル画像ＭＮの１ページ目、２ページ目、３ページ目が順に表示される。図６に示すように、既にマニュアル画像ＭＮの１ページ目は表示され、今、マニュアル画像ＭＮの２ページ目が表示されている。マニュアル画像ＭＮは、図６に示すように、作業において必要となる部品、及び工具や作業手順等の、作業の内容、及び手順を表す画像である。以上のようにして、ユーザＰＲは、マニュアル画像ＭＮを視認しながら、マニュアル画像ＭＮにおいて指示されている内容の作業を行うことができる。
【００５８】
マニュアル画像ＭＮが表示されると、表示されているマニュアル画像ＭＮのうちのページ番号ＰＧに関連した複数の付属画像ＡＣのデータがあるか否かが判断される（ＳＡ４）。付属画像ＡＣは、作業の内容、及び手順に付随した情報をユーザＰＲに示すための画像である。ＤＢサーバ２００により取得される付属画像ＡＣは、マニュアル画像ＭＮのうちのページ番号ＰＧに関連した図１０Ａ、及び図１０Ｂに示すような少なくとも２つの画像である。本実施形態において、ＤＢサーバ２００にあらかじめ記憶されている付属画像ＡＣは、図１０Ａに示すような成功例を示す画像である。図１０Ａに示す付属画像ＡＣは、対象画像ＯＢにより示される作業対象の所定の箇所にケーブルＣＢを挿入するという作業において、適切な箇所にケーブルＣＢが挿入され、正常ランプＬＰが点灯したという成功例を示す画像である。本実施形態において、ＤＢサーバ２００により記憶されている付属画像ＡＣは、図１０Ａに示すような成功例を示す画像の他に、図１０Ｂに示すような失敗例を示す画像がある。図１０Ｂに示す画像は、ユーザＰＲ、及びＨＭＤ１Ａ、１Ｂ、１Ｃを各々装着した３人の他のユーザにより更新スイッチＮＷがＯＮにされ、新規な付属画像ＡＣとしてＤＢサーバ２００により記憶された画像である。図１０Ｂに示す付属画像ＡＣは、対象画像ＯＢにより示される作業対象の所定の箇所にケーブルＣＢを挿入するという作業において、適切でない箇所にケーブルＣＢが挿入され、正常ランプＬＰが点灯しなかった失敗例を示す画像である。図１０Ａ、及び図１０Ｂに示すような付属画像ＡＣがユーザＰＲにより視認されることで、ユーザＰＲが行っている作業の内容、及び手順に付随した情報をユーザＰＲに示すことができる。
【００５９】
ＳＡ４について、以下図５Ｃを用いて詳細に説明する。図５Ｃは、ＳＡ４における処理を示すフローチャートである。
【００６０】
この処理では、先ず、ＤＢサーバ２００により記憶されている判断テーブルＴＢ２が通信Ｉ／Ｆ１７を介して読み出される（ＳＣ１）。判断テーブルＴＢ２は、図９に示すように、ページデータと付属画像ＡＣのデータとが対応付けられて図３において示したＤＢサーバ２００の付属画像記憶部２２０により記憶されているテーブルである。付属画像ＡＣのデータは、図９に示すように、Ｍ１Ａ１、及びＭ２Ａ１などの各付属画像の識別番号と図８において示した特徴点データと同様の各付属画像ＡＣの特徴点データとを備える。図９に示す識別番号がＭＸＡＹの場合、Ｘはページデータを示し、Ｙは各ページデータに対応付けられている各付属画像ＡＣに付与された番号を示す。図９に示す付属画像ＡＣの特徴点データは、例えば、識別番号Ｍ２Ａ１の付属画像ＡＣの場合、ハブの画像ＨＢとケーブルの画像ＣＢとを構成する複数の特徴点の座標データの集合を示す。
【００６１】
判断テーブルＴＢ２が読み出されると、判断テーブルＴＢ２のページデータの項に、現在表示されているマニュアル画像ＭＮ内のページ番号ＰＧに該当するものがあるか否かが判断される（ＳＣ２）。
【００６２】
現在表示されているマニュアル画像ＭＮ内のページ番号ＰＧに該当するものがあると判断されると（ＳＣ２：Ｙｅｓ）、ページデータに関連した複数の付属画像ＡＣのデータが取得される（ＳＣ３）。ＳＣ２において、現在表示されている画像内のページ番号ＰＧに該当するものがないと判断されると（ＳＣ２：Ｎｏ）、マニュアル画像ＭＮのうちのページ番号ＰＧに関連した付属画像ＡＣのデータがないため、処理はＳ２に移る。なお、図５Ｂにおいて示したＳＢ６において、「該当マニュアル無し」というメッセージのマニュアル画像ＭＮが表示された場合も、ＳＣ２において現在表示されている画像内のページ番号ＰＧに該当するものがないと判断され、処理はＳＡ２に移る。
【００６３】
ＳＡ４に示す処理を図６、及び図９を用いて説明する。図６に示すように、今、ページ番号ＰＧが２ページ目のマニュアル画像ＭＮが表示されている。従って、図９に示すページデータは「２」であるため、ＳＣ２において、現在表示されている画像内のページ番号ＰＧに該当するものがあると判断される。この判断処理が行われると、該当する特徴点データに対応した複数の付属画像ＡＣのデータが取得される。即ち、図９に示す判断テーブルＴＢ２内においてページデータ「２」に関連した識別番号Ｍ２Ａ１、Ｍ２Ａ２、及びＭ２Ａ３の３つの付属画像ＡＣのデータが取得される。本実施形態におけるステップＳＡ４が、本発明の第２画像取得ステップの一例である。
【００６４】
図５Ａに示すＳＡ４においてマニュアル画像ＭＮのうちのページ番号ＰＧに関連した付属画像ＡＣの特徴点データがあると判断され、ＳＣ３において複数の付属画像ＡＣのデータが取得されると、複数の付属画像ＡＣの中に作業と関連のある少なくとも１つの付属画像ＡＣがあるか否かが判断される（ＳＡ５）。ＳＡ５について、以下図５Ｄを用いて詳細に説明する。
【００６５】
図５Ｄは、ＳＡ５における処理を示すフローチャートである。この処理では、先ず、ＳＡ２において抽出された複数の部分画像ＰＩの各特徴点データの中で、ＳＢ２において判断テーブルＴＢ１の特徴点データの項に該当するものがあると判断された部分画像ＰＩの特徴点データ（以後、「部分画像ＰＩの特徴点データ」と記す。）とＳＡ４において取得された付属画像ＡＣのうちの１つの特徴点データとが比較される（ＳＤ１）。ＳＤ１において、部分画像ＰＩの特徴点データとして、図８に示す複数の部分画像ＰＩの特徴点データのうちの１つが選ばれる。本実施形態では、ＳＤ１において、部分画像ＰＩの特徴点データは、図８に示すＴＢ１における特徴点データのうち上から順に選ばれる。今、図６に示すように、撮像された外景画像ＢＧの複数の部分画像ＰＩのうちで、図８に示すテーブルＴＢ１における特徴点データにより構成される画像として、ハブの画像ＨＢに該当する部分画像ＰＩのみが存在する。従って、ＳＤ１において、ハブの画像ＨＢを構成する特徴点データが部分画像ＰＩの特徴点データとして選ばれる。ハブの画像ＨＢを構成する特徴点データが部分画像ＰＩの特徴点データとして選ばれると、ＳＤ１において、ハブの画像ＨＢを構成する特徴点データとＳＡ４において取得された識別番号Ｍ２Ａ１、Ｍ２Ａ２、及びＭ２Ａ３の各特徴点データとが比較される。
【００６６】
特徴点データの比較が行われると、部分画像ＰＩの形状と複数の付属画像ＡＣのうちの各付属画像ＡＣの形状との一致率が算出される（ＳＤ２）。即ち、ハブの画像ＨＢの形状と識別番号Ｍ２Ａ１の付属画像ＡＣの形状との一致率、ハブの画像ＨＢの形状と識別番号Ｍ２Ａ２の付属画像ＡＣの形状との一致率、及びハブの画像ＨＢの形状と識別番号Ｍ２Ａ３の付属画像ＡＣの形状との一致率が算出される。識別番号Ｍ２Ａ１、及びＭ２Ａ２の付属画像ＡＣは、図９に示すように、ハブの画像ＨＢの特徴点データを備える。従って、ハブの画像ＨＢの形状と識別番号Ｍ２Ａ１の付属画像ＡＣの形状との一致率、及びハブの画像ＨＢの形状と識別番号Ｍ２Ａ２の付属画像ＡＣの形状との一致率は最大値１．０として算出される。一方、識別番号Ｍ２Ａ３の付属画像ＡＣは、図９に示すように、ハブの画像ＨＢの特徴点データを備えない。従って、ハブの画像ＨＢの形状と識別番号Ｍ２Ａ３の付属画像ＡＣの形状との一致率は最小値０．０として算出される。
【００６７】
形状の一致率が算出されると、ユーザＰＲが行っている作業に関連している各付属画像ＡＣがあるか否かが判断される（ＳＤ３）。ＳＤ３において、部分画像ＰＩと各付属画像ＡＣとの形状の一致率が、プログラムＲＯＭ１３に記憶されている基準値０．８以上であると、付属画像ＡＣが作業に関連していると判定される。ＳＤ３において、部分画像ＰＩと各付属画像ＡＣとの形状の一致率がプログラムＲＯＭ１３に記憶されている基準値０．８未満であると、付属画像ＡＣは作業に関連していないと判定される。ハブの画像ＨＢの形状と識別番号Ｍ２Ａ１の付属画像ＡＣの形状との一致率、及びハブの画像ＨＢの形状と識別番号Ｍ２Ａ２の付属画像ＡＣの形状との一致率は１．０であるため、識別番号Ｍ２Ａ１の付属画像ＡＣ、及び識別番号Ｍ２Ａ２の付属画像ＡＣは、作業に関連していると判定される。ハブの画像ＨＢの形状と識別番号Ｍ２Ａ３の付属画像ＡＣの形状との一致率は０．０であるため、識別番号Ｍ２Ａ３の付属画像ＡＣは、作業に関連していないと判定される。
【００６８】
ユーザＰＲが行っている作業に関連している付属画像ＡＣがあると判断されると（ＳＤ３：Ｙｅｓ）、作業に関連していると判定された図９に示す付属画像ＡＣのデータがＲＡＭ１５に供給される（ＳＤ４）。本実施形態において、作業に関連している付属画像ＡＣがあると判断されるため、ＳＤ３の処理の後、処理はＳＤ４に移る。ＳＤ４において、ＲＡＭ１５に付属画像ＡＣのデータが供給される際、あわせてＲＡＭ１５に供給される付属画像ＡＣの数がカウントされる。本実施形態においてＲＡＭ１５に供給される付属画像ＡＣは、識別番号Ｍ２Ａ１の付属画像ＡＣ、及び識別番号Ｍ２Ａ２の付属画像ＡＣであるため、ＳＤ４においてカウントされる数は、「２」である。
【００６９】
付属画像ＡＣの画像データがＲＡＭ１５に供給されると、部分画像ＰＩが最後の部分画像ＰＩであるか否かが判断される（ＳＤ５）。また、ＳＤ３において、作業に関連している付属画像ＡＣがないと判断された場合（ＳＤ３：Ｎｏ）、処理はＳＤ５に移り、部分画像ＰＩが最後の部分画像ＰＩであるか否かが判断される。ＳＤ５において、部分画像ＰＩが最後の部分画像ＰＩであるか否かは、図８に示した判断テーブルＴＢ１において部分画像ＰＩの特徴点データが最下端のデータであるか否かによって判断される。前述のように、撮像された外景画像ＢＧ内に、図８に示すテーブルＴＢ１における特徴点データにより構成される画像として、ハブの画像ＨＢのみが存在する。従って、この場合、部分画像ＰＩが最後の部分画像ＰＩであると判断される。
【００７０】
ＳＤ５において、部分画像ＰＩが最後の部分画像ＰＩであると判断されると（ＳＤ５：Ｙｅｓ）、複数の付属画像ＡＣの中に作業と関連のある少なくとも１つの付属画像ＡＣがあるか否かが判断される（ＳＤ６）。ＳＤ６の判断処理は、ＳＤ４においてカウントされた付属画像ＡＣの数に基づいて行われる。部分画像ＰＩが最後の部分画像ＰＩでないと判断されると（ＳＤ５：Ｎｏ）、処理は、ＳＤ１に戻り、次の部分画像ＰＩに対して再びＳＤ１以降の処理が行われる。本実施形態において、ハブの画像ＨＢは、最初の部分画像であり、且つ最後の部分画像ＰＩである。従って、ＳＤ５において、部分画像ＰＩが最後の部分画像ＰＩでないと判断されず、処理は、ＳＤ６に移る。ＳＤ６において、作業と関連のある少なくとも１つの付属画像ＡＣがあると判断されると（ＳＤ６：Ｙｅｓ）、処理がＳＡ６に移る。ＳＤ６において、作業と関連のある少なくとも１つの付属画像ＡＣがないと判断されると（ＳＤ６：Ｎｏ）、処理がＳＡ２に戻る。以上、説明したように、図５Ａに示すＳＡ５の処理は、図５Ｄに示した一連の処理により実行される。本実施形態におけるステップＳＡ５が、本発明の関連性判定ステップの一例である。
【００７１】
複数の付属画像ＡＣの中に作業と関連のある少なくとも１つの付属画像ＡＣがあると判断されると（ＳＡ５：Ｙｅｓ）、該当する少なくとも１つの付属画像ＡＣが表示される（ＳＡ６）。複数の付属画像ＡＣの中に作業と関連のある少なくとも１つの付属画像ＡＣがないと判断されると（ＳＡ５：Ｎｏ）、処理がＳＡ２に戻る。
【００７２】
ＳＡ６において、該当する少なくとも１つの付属画像ＡＣが表示されると、電源スイッチＳＷから終了の指令が供給された否かが判断される（ＳＡ７）。終了の指令は、ユーザＰＲが電源スイッチＳＷをＯＦＦにした場合に、供給される。終了の指令が供給されていないと判断されると（ＳＡ７：Ｎｏ）、処理がＳＡ２に戻る。終了の指令が供給されていると判断されると（ＳＡ７：Ｙｅｓ）、図５Ａに示す処理が終了する。
【００７３】
次に、図５Ｅを参照して、ＨＭＤ１の付属画像ＡＣの判断テーブルＴＢ２への追加処理について説明する。図５Ｅに示す処理は、更新スイッチＮＷがＯＮにされ、更新の指令が供給された場合に、開始される。追加されるべき新たな付属画像ＡＣは、更新スイッチＮＷがＯＮにされた際にＣＣＤ５により撮像され、ＲＡＭ１５により記憶された外景画像ＢＧである。従って、ユーザＰＲが作業上で図１０Ｂに示すような失敗をした際に、更新スイッチＮＷをＯＮにすることで、図１０Ｂに示すような失敗例を示す外景画像ＢＧが新たな付属画像ＡＣとして判断テーブルＴＢ２に追加されるべきと判断される。図５Ｅに示す追加処理が開始されると、先ず、更新スイッチＮＷがＯＮにされた際にマニュアル画像ＭＮが表示されていたか否かが判断される（ＳＥ１）。マニュアル画像ＭＮが表示されていたと判断されると（ＳＥ１：Ｙｅｓ）、新たな付属画像ＡＣが表示されていたマニュアル画像ＭＮのページデータとともにＤＢサーバ２００に供給される（ＳＥ２）。ＤＢサーバ２００は、ＨＭＤ１、１Ａ、１Ｂ、１Ｃから逐次供給される新たな付属画像ＡＣとページデータとを対応付けて、新たな付属画像ＡＣとページデータとを判断テーブルＴＢ２に追加する。具体的には、図３において示した制御部２３０が、付属画像記憶部２２０に記憶されている判断テーブルＴＢ２に新たな付属画像ＡＣとページデータとを対応付けて記憶させる。ＳＥ２において示したように、本実施形態におけるＨＭＤ１の統括制御部１０は、ＣＣＤ５により撮像された全ての外景画像ＢＧをＤＢサーバ２００に供給するのではなく、判断テーブルＴＢ２に追加されるべきと判断された外景画像ＢＧを新たな付属画像ＡＣとして、ＤＢサーバ２００に供給している。従って、ＤＢサーバ２００に過度な情報処理負担をかけるといった問題が起きる可能性を軽減できる。本実施形態の統括制御部１０及びＳＥ２の処理機能は、本発明の画像供給部の一例である。ＳＥ２において新たな付属画像ＡＣがＤＢサーバ２００に供給されると、図５Ｅに示す処理が終了する。なお、ＳＥ１において、マニュアル画像ＭＮが表示されていなかったと判断されると（ＳＥ１：Ｎｏ）、図５Ｅに示す処理が終了する。
【００７４】
今、図１１に示すようにユーザＰＲが対象画像ＯＢにより示される作業対象の所定の接続口にケーブルＣＢを挿入するという作業において、誤って、蓋ＣＰを組み付けてしまったとする。このときユーザＰＲにより、更新スイッチＮＷがＯＮにされることで、ＳＡ８において、図１１に示す外景画像ＢＧが新たな付属画像ＡＣとしてマニュアル画像ＭＮのページデータである「２」という情報とともにＤＢサーバ２００に供給される。ＤＢサーバ２００は、新たな付属画像ＡＣとページデータとを対応付けて、新たな付属画像ＡＣのデータを図９において示した判断テーブルＴＢ２に追加する。ＤＢサーバ２００により新たな付属画像ＡＣのデータが追加されることにより、図１２に示す新たな判断テーブルＴＢ３が作成される。図１２に示すように、判断テーブルＴＢ３に新たな付属画像ＡＣのデータとして、識別番号Ｍ２Ａ４の付属画像ＡＣのデータが追加されている。識別番号Ｍ２Ａ４のような新たな識別番号は、更新時にＤＢサーバ２００により順次付与される。このように、画像共有システム１００において、ＨＭＤ１、１Ａ、１Ｂ、１ＣからＤＢサーバ２００に失敗例を示す新たな付属画像ＡＣが供給され、ＤＢサーバ２００により新たな付属画像ＡＣが記憶されることにより、ＨＭＤ１、１Ａ、１Ｂ、１Ｃの各々のＨＭＤが、他のＨＭＤと失敗例を示す付属画像ＡＣを共有することができる。尚且つ、ＳＡ５などに示した処理により、複数の付属画像ＡＣのうち各々のユーザが行っている作業と関連があると判定された付属画像ＡＣのみが各々のユーザに視認されることが可能である。
【００７５】
（変形例）
本実施形態において、図５Ａ〜５Ｅに示した処理は、全て図３において示したＨＭＤ１のＣＰＵ１２により行われていたが、これに限らず、これらの処理は図４において示したＤＢサーバ２００により行われてもよい。また、各種データの記憶に関しても、図３において示したＨＭＤ１のフラッシュＲＯＭ１４、及びＲＡＭ１５の代わりとして、図４において示したＤＢサーバ２００により行われてもよい。
【００７６】
本実施形態において、画像共有は図４において示したように、ＨＭＤ１、１Ａ、１Ｂ、１Ｃ、及びＤＢサーバ２００間の各種データのやりとりによりなされていた。しかし、これに限らず、例えば、図１３に示すようにパーソナルコンピュータ（以後、「ＰＣ」と記す）を介して画像共有がなされてもよい。図１３は、本発明の変形例１においてＨＭＤ１を用いた画像共有システム９００の構成を説明するための説明図である。図１２において、ＨＭ１、１Ａ、１Ｂ、１Ｃは、図１、図２、及び図３などにおいて示したＨＭＤ１と同一の構成のＨＭＤである。図１３において、ユーザＰＲにより装着されたＨＭＤ１と、他の３人のユーザにより各々装着されたＨＭＤ１Ａ、１Ｂ、１Ｃとが示されている。ＨＭＤ１、１Ａ、１Ｂ、１Ｃを各々装着した４人のユーザは、図１において示したユーザＰＲと同様に、組み付け作業を行っている。図１３に示すように、ＨＭＤ１、及びＨＭＤ１Ａ、１Ｂ、１Ｃは、各々、通信Ｉ／Ｆ１７、１７Ａ、１７Ｂ、１７Ｃを介した無線通信により、パーソナルコンピューターＰＣ１、ＰＣ２、ＰＣ３、ＰＣ４に接続可能である。パーソナルコンピューターＰＣ１、ＰＣ２、ＰＣ３、ＰＣ４は、ＤＢサーバ３００に無線通信により接続可能である。パーソナルコンピューターＰＣ１〜ＰＣ４は、ＤＢサーバ３００に接続されると、ＤＢサーバ３００からマニュアル画像ＭＮ、及び判断テーブルＴＢ１、ＴＢ２を取得する。パーソナルコンピューターＰＣ１〜ＰＣ４は、ＤＢサーバ３００から取得したマニュアル画像ＭＮ、及び判断テーブルＴＢ１、ＴＢ２を一時記憶する。ＨＭＤ１、１Ａ、１Ｂ、１Ｃが無線通信により、各々、パーソナルコンピューターＰＣ１〜ＰＣ４に接続されると、パーソナルコンピューターＰＣ１〜ＰＣ４は、各々、マニュアル画像ＭＮ、及び判断テーブルＴＢ１、ＴＢ２をＨＭＤ１、１Ａ、１Ｂ、１Ｃに供給する。マニュアル画像ＭＮ、及び付属画像ＡＣの表示処理は、図５Ａ〜図５Ｄにおいて示した処理と同様にして行われる。このように、パーソナルコンピューターＰＣ１〜ＰＣ４が、マニュアル画像ＭＮ、及び判断テーブルＴＢ１、ＴＢ２を一時記憶し、ＨＭＤ１、１Ａ、１Ｂ、１Ｃが無線通信により、各々、パーソナルコンピューターＰＣ１〜ＰＣ４に接続される場合のみマニュアル画像ＭＮ、及び判断テーブルＴＢ１、ＴＢ２がＨＭＤ１、１Ａ、１Ｂ、１Ｃに供給される。従って、ＨＭＤ１、１Ａ、１Ｂ、１Ｃは、常時ＤＢサーバ、及びパーソナルコンピューターＰＣ１〜ＰＣ４に接続される必要がなく、マニュアル画像ＭＮ、及び判断テーブルＴＢ１、ＴＢ２等のデータが必要となる場合のみ接続されるため、効率的な画像共有がなされる。
【００７７】
本実施形態において、付属画像ＡＣが作業に関連しているか否かは、部分画像ＰＩの形状と付属画像ＡＣの形状との一致率が基準値以上であるか否かにより判断されていた。この際、一致率が基準値以上であると判断され、付属画像ＡＣが作業に関連していると判定されると同時に、付属画像ＡＣと形状が一致する部分画像ＰＩが外景画像のうちのユーザの作業対象を表す対象画像ＯＢであると特定されていた。しかし、これに限らず、例えば、図１４及び図１５に示す本発明の変形例２の構成により対象画像が特定されてもよい。図１４に示す処理は、図５Ａにおいて示したＳＡ２の代わりとなる処理である。図１４に示す処理では、先ず図１５に示すユーザの注視点ＧＰが解析される（ＳＸ１）。具体的には、ユーザの瞳が向いている方向が検知され、検知された方向と外景画像との交点の位置、即ちユーザの注視点ＧＰの座標が算出される。そして、算出された交点の位置を中心とした所定の範囲内にある画像が対象画像であると特定される。ＳＸ１においてユーザの注視点が解析されると、図１５に示すように、注視点ＧＰから一定範囲ＧＲ内の特徴点が抽出される（ＳＸ２）。即ち、図５Ａにおいて示した本実施形態のＳＡ２においては撮像画像内の全ての特徴点が抽出されていたが、この変形例においては注視点ＧＰから一定範囲ＧＲ内の特徴点のみが抽出される。従って、図５Ａにおいて示すＳＡ２と比較して図１４に示すＳＸ２の方が速やかに特徴点の抽出を行える。この変形例の場合、ＨＭＤは、例えば、ユーザの瞳を撮像する瞳撮像部を備え、瞳撮像部により撮像されたユーザの瞳の画像の中心を算出することによって、ユーザの瞳が向いている方向を検知する。なお、瞳撮像部は、例えば、図１において示したフレーム部２に設置される。また、瞳撮像部により撮像された瞳の画像データは、図３において示したバス１８を介してＲＡＭ１５により記憶される。瞳の画像データがＲＡＭ１５に記憶されると、ＣＰＵ１２により、ＳＸ１においてユーザの注視点ＧＰが解析される。本変形例２における瞳撮像部が、本発明の瞳撮像部の一例である。本変形例２におけるＣＰＵ１２が、本発明の位置算出部の一例である。
【００７８】
本実施形態において、付属画像ＡＣが作業に関連しているか否かは、部分画像ＰＩの形状と付属画像ＡＣの形状との一致率が基準値以上であるか否かにより判断されていた。この際、一致率が基準値以上であると判断され、付属画像ＡＣが作業に関連していると判定されると同時に、付属画像ＡＣと形状が一致する部分画像ＰＩが対象画像であると特定されていた。しかし、これに限らず、例えば、図１６及び図１７に示す本発明の変形例３の構成により対象画像が特定されてもよい。図１６に示す処理は、図５Ａにおいて示したＳＡ２の代わりとなる処理である。図１６に示す処理では、先ず、撮像画像内の全ての特徴点が抽出される（ＳＹ１）。この処理は図５Ａにおいて示した処理と同様にして行われる。撮像画像内の全ての特徴点が抽出されると、指差し画像の特徴点が取得される（ＳＹ２）。指差し画像とは、ユーザの手指の画像として予め図３において示したフラッシュＲＯＭ１４により記憶されている画像である。指差し画像の特徴点が取得されると、ＳＹ１において抽出された特徴点とＳＹ２において取得された指差し画像の特徴点とに基づいて形状の一致率が算出される（ＳＹ３）。ＳＹ３の処理は、ＳＤ２において示した処理と同様に行われる。形状の一致率が算出されると、算出された一致率が基準値以上か否かが判断される（ＳＹ４）。ＳＹ４の処理は、ＳＤ３において示した処理と同様に行われる。一致率が基準値未満であると判断されると（ＳＹ４：Ｎｏ）、ユーザの手指が撮像画像内に存在しないと判断され、処理がＳＡ１に戻る。一致率が基準値以上であると判断されると（ＳＹ４：Ｙｅｓ）、ユーザの手指が撮像画像内に存在すると判断され、処理がＳＹ５に移る。一致率が基準値以上であると判断されると（ＳＹ４：Ｙｅｓ）、指差し画像のうちの指差し点の座標データに基づき、図１７に示す指差し点ＦＰが特定される（ＳＹ５）。指差し点ＦＰが特定されると、図１７に示す指差し点ＦＰから一定範囲ＦＲ内の特徴点が抽出される（ＳＹ６）。図１６に示す処理ではＳＹ１において一度撮像画像内の全ての特徴点が抽出された後、ＳＹ６において再度一定範囲ＦＲ内の特徴点が抽出される。従って、図５Ａにおいて示すＳＡ２と比較して図１６に示す抽出処理の方が正確に特徴点の抽出を行える。本変形例３におけるＣＰＵ１２が、本発明の手指認識部の一例である。
【００７９】
本実施形態において、図８において示した判断テーブルＴＢ１、及び図９において示した判断テーブルＴＢ２において、マニュアル画像ＭＮのページデータが、特徴点データと対応付けられていた。しかし、これに限らず、例えば、ページデータの代わりにマニュアル画像の章や項を示すインデックスのデータが、特徴点データと対応付けられて記憶されてもよい。
【００８０】
本実施形態においてマニュアル画像ＭＮ、判断テーブルＴＢ１、及び判断テーブルＴＢ２等はＤＢサーバ２００により記憶されていたが、これに限らず、例えば、ＨＭＤのフラッシュＲＯＭにより記憶されていてもよい。
【００８１】
本実施形態において、図５Ｅにおいて示したように、ＳＥ１において、マニュアル画像ＭＮが表示されていなかったと判断されると、図５Ｅに示す処理が終了していた。しかし、これに限らず、例えば、マニュアル画像ＭＮが表示されていなかった場合においても、ユーザが更新スイッチＮＷを押した後にＨＭＤに取り付けられたキーボード等を操作することにより、ユーザがマニュアル画像のページデータを指定し、新たな付属画像ＡＣがユーザにより指定されたマニュアル画像のページデータとともにＤＢサーバに供給されてもよい。この場合、図３において示した統括制御部に所定のＩ／Ｆを通すなどして所定のキーボード等のページ指定部が接続されていればよい。
【符号の説明】
【００８２】
１ ＨＭＤ
３ 画像表示部
４ ハーフミラー
５ ＣＣＤ
７ システムボックス
１０ 統括制御部
１２ ＣＰＵ
１３ プログラムＲＯＭ
１４ フラッシュＲＯＭ
１５ ＲＡＭ
１７ 通信Ｉ／Ｆ
１Ａ、１Ｂ、１Ｃ ＨＭＤ
１００ 画像共有システム
２００ ＤＢサーバ
２１０ マニュアル画像記憶部
２２０ 付属画像記憶部
２３０ 制御部
ＰＲ ユーザ
ＴＢ１ 判断テーブル
ＴＢ２ 判断テーブル
ＰＣ１、ＰＣ２、ＰＣ３、ＰＣ４ パーソナルコンピュータ
【技術分野】
【０００１】
本発明は、ユーザの頭部及びその近辺に装着され、ユーザが画像情報に基づいた画像光による情報画像と外光による外景画像とを同時に視認しながら、外景画像を撮像できるヘッドマウントディスプレイ装置（以後、「ＨＭＤ」と記す。）、及びヘッドマウントディスプレイ装置を用いた画像共有システムに関する。
【背景技術】
【０００２】
従来より、画像情報に基づいた画像光による画像が外光による外景画像とともにユーザにより視認されるように構成された光学系を備えたＨＭＤが、特許文献１に提案されている。このようなＨＭＤを頭部に装着すれば、ユーザは、例えば、マニュアル画像を視認しながら、同時にマニュアル画像において指示されている内容の作業を行うことが可能となる。
【０００３】
マニュアル画像のうち特定箇所に関連した付属情報に基づいた付属画像をＰＣの画面などに表示するコンテンツ作成装置が、特許文献２に開示されている。このコンテンツ作成装置を、ＨＭＤに適用することで、ユーザは、付属情報に基づいた付属画像を間近に視認しながら、マニュアル画像において指示されている内容の作業を行うことができる。即ち、このようなＨＭＤを使用することにより、ユーザは、マニュアル画像のうちの特定箇所の作業を、特定箇所において指示されている通りに行っているかなどを表す付属画像を間近に視認することができる。従って、ユーザは、マニュアル画像において指示されている内容の作業を効率良く行うことができる。
【０００４】
上述のようなＨＭＤが、サーバやデータベースなどにより構成されるネットワークシステムに接続可能で、且つＨＭＤがユーザの視認範囲を撮像可能なカメラを搭載している場合、ユーザがマニュアルを視認しながら行っていた作業における失敗例などを、他のユーザと共有することが可能となる。例えば、ユーザが視認範囲のある領域にある物を置くという作業をしている際に、他の誤った領域にその物を置いてしまった場合、そのときのユーザの視認範囲を時間と対応付けてカメラにより撮像する。そして、撮像された画像をネットワークシステムを介して、他のユーザに供給する。他のユーザに供給された画像は、他のユーザにより視認されているマニュアル画像のうちの特定箇所に対応付けられてユーザに視認される。他のユーザは、作業をしながら、特定のユーザの失敗例に関する画像を視認することで、同様の失敗をしないように注意しながら作業を行うことが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−３０３０５３号公報
【特許文献２】特開２００６−５３６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ユーザにとって必ずしもネットワークシステムを介して供給される画像の全てが重要とは限らない。例えば、特定のユーザが他のユーザと全く異なる内容の作業を行っていた場合、特定のユーザの作業内容と関連のない画像が他のユーザから供給され、特定のユーザがそれらの画像全てを視認していると、作業に支障を来たすなどの問題が発生する。
【０００７】
本発明は、上述した問題点を解決するためになされたものであり、ＨＭＤを装着したユーザが所定の作業を行っている際に、ＨＭＤに供給または記憶された複数の画像情報から、ユーザが行っている作業に関連したユーザにとって必要な情報のみを選定でき、該情報に基づいた画像のみをユーザにより視認されるように構成されたヘッドマウントディスプレイ装置、及びヘッドマウントディスプレイ装置を用いた画像共有システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１記載の本発明は、ユーザの頭部及びその近辺に装着され、画像を形成するための画像情報に基づいた画像光による画像が外光による外景画像とともに前記ユーザにより視認されるように構成されたヘッドマウントディスプレイ装置であって、前記ユーザが所定の作業を行っている際に、前記ユーザの作業状況を表す前記外景画像を撮像する撮像部と、前記ユーザが行っている前記所定の作業を支援するために、前記撮像部により撮像された前記外景画像に関連した、前記所定の作業の内容、及び手順を表す第１画像を取得する第１画像取得部と、前記第１画像により表わされる前記所定の作業の内容、及び手順に付随した情報を前記ユーザに示すために、前記第１画像取得部により取得された前記第１画像のうちの特定箇所に関連した複数の第２画像を取得する第２画像取得部と、前記第２画像取得部により取得された前記複数の第２画像が前記ユーザが行っている作業と関連があるか否かを、前記撮像部により撮像された前記外景画像に基づいて判定する関連性判定部と、を備え、前記第１画像取得部により取得された第１画像と、前記複数の第２画像のうち、前記関連性判定部により前記ユーザが行っている作業と関連があると判定された少なくとも１つの前記第２画像とが前記ユーザにより視認されるように構成されたことを特徴とするものである。
【０００９】
請求項２記載の本発明は、請求項１に記載の発明において、前記第１画像取得部は、前記ユーザの作業状況に応じて前記ユーザに前記所定の作業の内容、及び手順を示すために、前記撮像部により順次撮像される前記外景画像が表す前記ユーザの作業状況に沿って、順次内容が切り換わるマニュアル画像である前記第１画像を取得し、前記第２画像取得部は、前記マニュアル画像である前記第１画像内に付されたインデックス、またはページ番号である前記特定箇所に関連した複数の第２画像を取得することを特徴とするものである。
【００１０】
請求項３記載の本発明は、請求項１または２に記載の発明において、前記撮像部により撮像された前記外景画像のうち前記ユーザの作業対象である対象画像を特定する特定部を備え、前記関連性判定部は、前記第２画像取得部により取得された前記複数の第２画像のうち、前記特定部により特定された前記対象画像に関連した前記第２画像が前記ユーザが行っている作業と関連があると判定することを特徴とするものである。
【００１１】
請求項４記載の本発明は、請求項３に記載の発明において、前記撮像部により撮像された前記外景画像のうちの一部の画像である複数の部分画像の部分形状を認識する形状認識部を備え、前記特定部は、前記形状認識部により認識された前記部分形状のうち、前記第２画像取得部により取得された前記複数の第２画像のうちのいずれかの形状と一致する前記部分形状の前記部分画像を前記対象画像として特定することを特徴とするものである。
【００１２】
請求項５記載の本発明は、請求項３に記載の発明において、前記ユーザの瞳を撮像する瞳撮像部と、前記瞳撮像部により撮像された前記ユーザの瞳が向いている方向と前記撮像部により撮像された前記外景画像との交点の位置を算出する位置算出部と、を備え、前記特定部は、前記外景画像のうちの一部の画像である複数の部分画像のうち前記位置算出部により算出された前記交点が位置する部分画像を前記対象画像として特定することを特徴とするものである。
【００１３】
請求項６記載の本発明は、請求項３に記載の発明において、前記撮像部により撮像された前記外景画像のうちの一部の画像である複数の部分画像のうちの前記ユーザの手指の画像である手指画像の手指形状を認識する手指認識部を備え、前記特定部は、前記複数の部分画像のうち前記手指認識部により認識された前記手指形状の前記手指画像が指し示す先の部分画像を前記対象画像として特定することを特徴とするものである。
【００１４】
請求項７記載の本発明は、請求項１〜６のいずれかに記載の発明の前記ヘッドマウントディスプレイ装置を複数備え、更に複数の前記ヘッドマウントディスプレイ装置に接続された情報処理部を備える画像共有システムであって、前記ヘッドマウントディスプレイ装置は、前記撮像部により撮像された前記外景画像を前記情報処理部に供給する画像供給部を備え、前記情報処理部は、前記第１画像をあらかじめ記憶している第１画像記憶部と、前記第２画像をあらかじめ記憶している第２画像記憶部と、複数の前記ヘッドマウントディスプレイの前記画像供給部より供給される複数の前記外景画像を新たな前記第２画像として前記第２画像記憶部に記憶させる制御部とを備え、前記第１画像取得部は、前記情報処理部により記憶されている前記第１画像を取得し、前記第２画像取得部は、前記情報処理部により記憶されている複数の前記第２画像を取得することを特徴とするものである。
【００１５】
請求項８記載の本発明は、ユーザの頭部及びその近辺に装着され、画像を形成するための画像情報に基づいた画像光による画像が外光による外景画像とともに前記ユーザにより視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像表示制御方法であって、前記ユーザが所定の作業を行っている際に、前記ユーザの作業状況を表す前記外景画像を撮像する撮像ステップと、前記ユーザが行っている前記所定の作業を支援するために、前記撮像ステップにより撮像された前記外景画像に関連した、前記所定の作業の内容、及び手順を表す第１画像を取得する第１画像取得ステップと、前記第１画像により表わされる前記所定の作業の内容、及び手順に付随した情報を前記ユーザに示すために、前記第１画像取得ステップにより取得された前記第１画像のうちの特定箇所に関連した複数の第２画像を取得する第２画像取得ステップと、前記第２画像取得ステップにより取得された前記複数の第２画像が前記ユーザが行っている作業と関連があるか否かを、前記撮像ステップにより撮像された前記外景画像に基づいて判定する関連性判定ステップと、を備え、前記第１画像取得ステップにより取得された第１画像と、前記複数の第２画像のうち、前記関連性判定ステップにより前記ユーザが行っている作業と関連があると判定された少なくとも１つの前記第２画像とが前記ユーザにより視認されることを特徴とするものである。
【００１６】
請求項９記載の本発明は、ユーザの頭部及びその近辺に装着され、画像を形成するための画像情報に基づいた画像光による画像が外光による外景画像とともに前記ユーザにより視認されるように構成されたヘッドマウントディスプレイ装置のコンピュータに実行させる画像表示制御プログラムであって、前記ユーザが所定の作業を行っている際に、前記ユーザの作業状況を表す前記外景画像を撮像する撮像ステップと、前記ユーザが行っている前記所定の作業を支援するために、前記撮像ステップにより撮像された前記外景画像に関連した、前記所定の作業の内容、及び手順を表す第１画像を取得する第１画像取得ステップと、前記第１画像により表わされる前記所定の作業の内容、及び手順に付随した情報を前記ユーザに示すために、前記第１画像取得ステップにより取得された前記第１画像のうちの特定箇所に関連した複数の第２画像を取得する第２画像取得ステップと、前記第２画像取得ステップにより取得された前記複数の第２画像が前記ユーザが行っている作業と関連があるか否かを、前記撮像ステップにより撮像された前記外景画像に基づいて判定する関連性判定ステップと、を前記コンピュータに実行させ、前記第１画像取得ステップにより取得された第１画像と、前記複数の第２画像のうち、前記関連性判定ステップにより前記ユーザが行っている作業と関連があると判定された少なくとも１つの前記第２画像とが前記ユーザにより視認されることを特徴とするものである。
【発明の効果】
【００１７】
請求項１記載のヘッドマウントディスプレイ装置によれば、関連性判定部により、複数の第２画像のうちユーザが行っている作業と関連があると判定された第２画像のみが第１画像取得部により取得された第１画像とともにユーザにより視認される。従って、ユーザは、複数の第２画像のうちユーザが行っている作業に関連したユーザにとって必要な情報に基づいた第２画像のみを視認することができる。
【００１８】
請求項２記載のヘッドマウントディスプレイ装置によれば、ユーザは、ユーザの作業状況に沿って順次内容が切り換わるマニュアル画像と、マニュアル画像内のインデックスまたはページ番号に関連した第２画像とを同時に視認できる。従って、ユーザは、作業内容、及び手順を十分に理解しながら、効率よく作業を行うことができる。また、マニュアル画像がユーザの作業状況に沿って順次内容が切り換わるため、ユーザが手入力でマニュアル画像のページや内容を切り換える必要がない。従って、ユーザは作業において両手を使うことができ、作業を可及的に効率よく行うことができる。
【００１９】
請求項３記載のヘッドマウントディスプレイ装置によれば、撮像部により撮像された外景画像のうちユーザの作業対象である対象画像を特定する特定部を備える。そして、複数の第２画像のうち、対象画像に関連した第１画像のうちの特定箇所に関連した第２画像が前記ユーザが行っている作業と関連があると判定される。従って、ユーザの作業対象が正確に特定されることで、ユーザは、自身が行っている作業に関連した第２画像のみを正確に視認することが可能となる。
【００２０】
請求項４記載のヘッドマウントディスプレイ装置によれば、形状認識部により認識された部分形状のうち、複数の第２画像のうちのいずれかの形状と一致する部分形状の部分画像が対象画像として特定される。従って、対象画像が画像の形状から特定されることで、ユーザの作業対象が正確に特定される。よって、ユーザは、ユーザが行っている作業に関連した第２画像のみを正確に視認できる。
【００２１】
請求項５記載のヘッドマウントディスプレイ装置によれば、瞳撮像部により撮像されたユーザの瞳が向いている方向と撮像部により撮像された外景画像との交点の位置が算出される。そして、外景画像のうちの一部の画像である複数の部分画像のうち位置算出部により算出された交点が位置する部分画像が対象画像として特定される。従って、ユーザの視線の先にあるユーザの作業対象が正確に特定される。よって、ユーザは、ユーザが行っている作業に関連した第２画像のみを正確に視認できる。
【００２２】
請求項６記載のヘッドマウントディスプレイ装置によれば、撮像部により撮像された外景画像のうちの一部の画像である複数の部分画像のうち手指認識部により認識された手指形状の手指画像が指し示す先の部分画像が対象画像として特定される。従って、ユーザが手指を作業対象に向けるという行動をするだけで、ユーザの作業対象が正確に特定される。よって、ユーザは、ユーザが行っている作業に関連した第２画像のみを正確に視認できる。
【００２３】
請求項７記載の画像共有システムによれば、特定のユーザが画像共有システムのネットワークにヘッドマウントディスプレイ装置を接続することにより、特定のユーザは、他のユーザが行っている作業に関連した第２画像を取得できる。そして、特定のユーザは、複数の第２画像のうち特定のユーザが行っている作業に関連した特定のユーザにとって必要な情報に基づいた第２画像のみを視認することができる。従って、特定のユーザは、他のユーザの作業に関連した複数の第２画像を取得しながらも、特定のユーザ自身が行っている作業に関連した第２画像のみを視認できる。
【００２４】
請求項８記載の画像表示制御方法、及び請求項９記載の画像表示制御プログラムによれば、関連性判定ステップにより、複数の第２画像のうちユーザが行っている作業と関連があると判定された第２画像のみが第１画像取得ステップにより取得された第１画像とともにユーザにより視認される。従って、ユーザは、複数の第２画像のうちユーザが行っている作業に関連したユーザにとって必要な情報に基づいた第２画像のみを視認することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係るＨＭＤ１をユーザＰＲが装着して作業を行っている状況を示す図である。
【図２】上記ＨＭＤ１の拡大上面図である。
【図３】上記ＨＭＤ１の電気的、及び光学的構成を示す説明図である。
【図４】上記ＨＭＤ１、及びＨＭＤ１と同様の構成を備えるＨＭＤ１Ａ、１Ｂ、１Ｃを備える画像共有システム１００を説明するための説明図である。
【図５Ａ】上記ＨＭＤ１のメイン処理を示すフローチャートである。
【図５Ｂ】図５Ａに示すＳＡ３における処理を示すフローチャートである。
【図５Ｃ】図５Ａに示すＳＡ４における処理を示すフローチャートである。
【図５Ｄ】図５Ａに示すＳＡ５における処理を示すフローチャートである。
【図５Ｅ】上記ＨＭＤ１の新たな付属画像ＡＣの判断テーブルＴＢ２への追加処理を示すフローチャートである。
【図６】上記ＨＭＤ１を装着したユーザＰＲが視認することとなる外景画像ＢＧとマニュアル画像ＭＮとが重畳した合成画像の一例である。
【図７】上記ＨＭＤ１により表示されるマニュアル画像ＭＮを説明するための説明図である。
【図８】上記ＤＢサーバ２００により記憶され、ＨＭＤ１により取得される判断テーブルＴＢ１の一例を示す図である。
【図９】上記ＤＢサーバ２００により記憶され、ＨＭＤ１により取得される判断テーブルＴＢ２の一例を示す図である。
【図１０Ａ】上記ＨＭＤ１により表示される付属画像ＡＣを説明するための説明図である。
【図１０Ｂ】上記ＨＭＤ１により表示される付属画像ＡＣを説明するための説明図である。
【図１１】上記ＨＭＤ１を装着したユーザＰＲが視認することとなる外景画像ＢＧとマニュアル画像ＭＮとが重畳した合成画像の一例である。
【図１２】図９において示した判断テーブルＴＢ２に識別番号Ｍ２Ａ４の付属画像ＡＣのデータが追加されることにより作成された判断テーブルＴＢ３を示す図である。
【図１３】本発明の変形例１において、上記ＨＭＤ１、及びＨＭＤ１と同様の構成を備えるＨＭＤ１Ａ、１Ｂ、１Ｃを備える画像共有システム９００を説明するための説明図である。
【図１４】本発明の変形例２において、図５Ａにおいて示したＳＡ２の代わりとなる処理を示すフローチャートである。
【図１５】図１４において示す処理を説明するための説明図である。
【図１６】本発明の変形例３において、図５Ａにおいて示したＳＡ２の代わりとなる処理を示すフローチャートである。
【図１７】図１６において示す処理を説明するための説明図である。
【発明を実施するための形態】
【００２６】
本発明の一実施形態について、図面を参照して説明する。本実施形態は本発明を網膜走査型ディスプレイ、及び網膜走査ディスプレイを用いた画像共有システムに具体化したものである。網膜走査型ディスプレイとは、ユーザの頭部近傍に装着され、画像光をユーザの網膜上で２次元走査するＨＭＤである。網膜走査型ディスプレイは、画像光をユーザの網膜上で２次元走査することで、コンテンツ情報に対応する画像（以後、「コンテンツ画像」と記す。）がユーザにより視認されるように構成されている。
【００２７】
なお、「視認」とは画像光がユーザの網膜上で２次元走査され、ユーザが画像を認識する態様と、画像が表示パネル等に表示され、ユーザが表示パネル等に表示された画像から発生する画像光による画像を認識する態様の２つの態様を含む意味である。以後、「表示」という用語を用いた場合、ユーザに対して画像光による画像を認識可能に動作することを意味するものとする。その点で上述のいずれの態様も画像光による画像を表示しているものと言える。
【００２８】
［ＨＭＤ外観］
図１は、ユーザＰＲが装着している本実施形態のＨＭＤ１の外観を示す図である。また、図１は、ユーザＰＲが対象画像ＯＢにより示される作業対象に対し、組み付け作業を行っている場面を示している。図２は、ＨＭＤ１を装着したユーザＰＲを上面から見た際の上面図である。図１、及び図２に示すように、ＨＭＤ１は、フレーム部２と、画像表示部３と、ハーフミラー４と、ＣＣＤ５と、システムボックス７と、伝送ケーブル８と、を備えている。
【００２９】
ＨＭＤ１は、ユーザＰＲがフレーム部２を頭部に装着した状態で、マニュアル、文書ファイル、画像ファイル、動画ファイル等の各種コンテンツ情報を画像としてそのユーザＰＲに視認可能に表示する網膜走査型ディスプレイである。
【００３０】
フレーム部２は、図１、及び図２に示す通り、眼鏡のフレーム形状をしており、フロント部２ａと、一対のテンプル部２ｂとからなる。
【００３１】
画像表示部３は、図１、及び図２に示す通り、ユーザＰＲから見て左側のテンプル部２ｂに取り付けられている。画像表示部３は、画像光を２次元走査することで、コンテンツ画像を表示するための画像光を生成する。
【００３２】
ハーフミラー４は、図１、及び図２に示す通り、フロント部２ａに設けられている。ハーフミラー４は、画像表示部３から発せられた画像光を反射し、ユーザＰＲの眼ＥＹの網膜に導く。また、ハーフミラー４は半透明であり、外光ＥＬを透過するため、ユーザＰＲは、ＨＭＤ１の装着時に、コンテンツ画像と同時に外光による外景画像を視認できる。従って、ユーザＰＲは、マニュアル等のコンテンツ画像を視認しながら、図１に示すように組み付け作業等の作業を行うことができる。
【００３３】
なお、画像表示部３は、後述のＲＯＭに記憶されたデータを基に、あらかじめ設定されたハーフミラー４の所定位置で、画像光を反射し、網膜に導く。ハーフミラー４の反射範囲及び設置位置により、ユーザＰＲがコンテンツ画像を視認する範囲と位置と方向とがあらかじめ決定される。
【００３４】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）５は、画像表示部３上に取り付けられている。ＣＣＤ５の光軸は、画像光がハーフミラーにて反射され、ユーザＰＲの網膜に導かれたとき、その画像光の網膜への入射方向と略一致するように設定されている。このように、ＣＣＤ５の光軸が設定されることで、ＣＣＤ５は、ユーザＰＲがコンテンツ画像を視認する範囲と略一致する範囲において、外景画像を撮像することが可能となる。本実施形態におけるＣＣＤ５が、本発明の撮像部の一例である。
【００３５】
システムボックス７は、画像表示部３と伝送ケーブル８を介して接続されている。システムボックス７は、ＨＭＤ１の全体の動作を統括制御する。また、システムボックス７は、図１、及び図２において図示しないデータベースサーバ等の外部装置と無線通信可能である。システムボックス７は、外部装置と通信することで、マニュアル画像等のコンテンツ画像を表わすコンテンツ情報を取得する。伝送ケーブル８は、光ファイバや各種信号を伝送するためのケーブルを備える。
【００３６】
［ＨＭＤ電気的構成］
ＨＭＤ１の電気的構成について、図３を参照して説明する。図３は、ＨＭＤ１の電気的及び光学的構成を示す説明図である。
【００３７】
ＨＭＤ１は、図３に示すように、統括制御部１０と、光生成部２０と、光走査部５０と、を備えている。統括制御部１０と、光生成部２０とは、システムボックス７に内蔵され、光走査部５０は、画像表示部３に内蔵されている。
【００３８】
統括制御部１０は、図３に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２と、プログラムＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、フラッシュＲＯＭ１４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５と、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１７と、バス１８と、を備えている。ＣＰＵ１２は、プログラムＲＯＭ１３に記憶されている各種情報処理プログラムを実行することにより、ＨＭＤ１が備える各種機能を実行する演算処理装置である。プログラムＲＯＭ１３は、不揮発性メモリであるフラッシュメモリにより構成されている。プログラムＲＯＭ１３は、ＨＭＤ１により表示するコンテンツの再生、停止、早送り、巻き戻し等の制御を行う際に光生成部２０、光走査部５０等を動作させるための情報処理プログラム等、ＣＰＵ１２により実行される各種情報処理プログラムを記憶している。フラッシュＲＯＭ１４は、不揮発性メモリであるフラッシュメモリにより構成されている。フラッシュＲＯＭ１４は、画像データや、統括制御部１０が各種表示制御を行う際に参照する複数種類のテーブル等を記憶可能である。ＲＡＭ１５は画像データ等の各種データを一時的に記憶する領域である。ＶＲＡＭ１６は、画像を表示する際に、表示される画像が表示前に一時的に描画される領域である。通信Ｉ／Ｆ１７は、ＨＭＤ１を他のユーザにより装着されたＨＭＤと画像を共有するためのシステムに無線ＬＡＮ接続するためのネットワークインターフェースである。ＣＰＵ１２、プログラムＲＯＭ１３、フラッシュＲＯＭ１４、ＲＡＭ１５、ＶＲＡＭ１６、及び通信Ｉ／Ｆ１７は、データ通信用のバス１８にそれぞれ接続されており、バス１８を介して各種情報の送受信を行う。統括制御部１０は、図３に示すように、ＨＭＤ１の電源スイッチＳＷ、更新スイッチＮＷ、及びＣＣＤ５と接続されている。ＣＰＵ１２と、プログラムＲＯＭ１３、及びＲＡＭ１５などのメモリとにより、ＨＭＤ１のマイクロコンピュータが構成される。更新スイッチＮＷがＯＮにされると、ＤＢサーバ２００に新たな撮像画像が供給される。本実施形態における統括制御部１０が、後述のフローチャートに示すプログラムに従う各処理機能とともに、本発明の第１画像取得部、第２画像取得部、関連性判定部、特定部、形状認識部、及び画像供給部の一例をそれぞれ構成する。
【００３９】
光生成部２０は、図３に示すように、信号処理回路２１と、光源部３０と、光合成部４０と、を備えている。光生成部は、統括制御部１０から供給された画像データを受け取る。
【００４０】
信号処理回路２１は、供給された画像データに基づいて、画像を合成するための要素となる青、緑、赤の各画像信号２２ａ〜２２ｃを生成し、光源部３０に供給する。信号処理回路２１は、水平走査部７０を駆動するための水平駆動信号を水平走査部７０に供給し、垂直走査部８０を駆動するための垂直駆動信号を垂直走査部８０に供給する。
【００４１】
光源部３０は、信号処理回路２１から供給される３つの画像信号２２ａ〜２２ｃに従って画像光を出力する画像光出力部として機能する。光源部３０は、青色の画像光を発生するＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の画像光を発生するＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の画像光を発生するＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。
【００４２】
光合成部４０は、光源部３０から出力された３つの画像光を供給され、３つの画像光を１つの画像光に合成して任意の画像光を生成する。光合成部４０は、光源部３０から入射する画像光を平行光にコリメートする。光合成部４０は、コリメート光学系４１、４２、４３と、このコリメートされた画像光を合成するためのダイクロイックミラー４４、４５、４６と、合成された画像光を伝送ケーブル８に導く結合光学系４７とを備えている。各レーザ３４、３５、３６から出射したレーザ光は、コリメート光学系４１、４２、４３によってそれぞれ平行光化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各画像光が波長に関して選択的に反射または透過される。
【００４３】
光走査部５０は、コリメート光学系６０と、水平走査部７０と、垂直走査部８０と、リレー光学系７５、９０と、を備えている。コリメート光学系６０は、伝送ケーブル８を介して出射される画像光を平行光化し、水平走査部７０に導く。水平走査部７０は、共振型偏向素子７１と、水平走査制御回路７２と、水平走査角検出回路７３と、を備えている。共振型偏向素子７１は、画像光を水平方向に走査するための反射面を有する。水平走査制御回路７２は、信号処理回路２１から供給される水平駆動信号２３に基づいて、共振型偏向素子７１を共振させる。水平走査角検出回路７３は、共振型偏向素子７１から供給される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する。水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を統括制御部１０へ供給する。リレー光学系７５は、水平走査部７０と垂直走査部８０との間で画像光を中継する。共振型偏向素子７１によって水平方向に走査された光は、リレー光学系７５によって垂直走査部８０内の偏向素子８１の反射面に収束される。垂直走査部８０は、偏向素子８１と、垂直走査制御回路８２と、を備えている。偏向素子８１は、リレー光学系７５により導かれた画像光を垂直方向に走査する。垂直走査制御回路８２は、信号処理回路２１から供給される垂直駆動信号２４に基づいて、偏向素子８１を揺動させる。共振型偏向素子７１により水平方向に走査され、偏向素子８１によって垂直方向に走査された画像光は、２次元的に走査された走査画像光としてリレー光学系９０へ出射される。リレー光学系９０は、共振型偏向素子７１と偏向素子８１とにより走査された各々の画像光を、各々の中心線が相互に略平行になるよう変換し、尚且つ、各々の画像光を、平行光化する。リレー光学系９０は、各々の画像光を、各々の中心線が撮影者の瞳孔Ｅａに収束するように、変換する。
【００４４】
リレー光学系９０から供給された画像光は、ハーフミラー４で一度反射された後、ユーザＰＲの瞳孔Ｅａに収束される。このようにして、ユーザＰＲはコンテンツ画像を視認することができる。
【００４５】
統括制御部１０は、共振型偏向素子７１の揺動状態に基づいた信号を、水平走査角検出回路７３から受け取る。そして、統括制御部１０は、受け取った信号に基づいて、信号処理回路２１の動作を制御する。信号処理回路２１は、水平走査制御回路７２へ水平駆動信号を供給し、垂直走査制御回路８２へ垂直駆動信号を供給する。水平走査制御回路７２は、供給された水平駆動信号に基づき、共振型偏向素子７１の動きを制御する。垂直走査制御回路８２は供給された垂直駆動信号に基づき、偏向素子８１の動きを制御する。以上の一連の流れにより、水平走査と垂直走査との同期が成される。
【００４６】
［画像共有システム構成］
図４は、ＨＭＤ１を用いた画像共有システム１００の構成を説明するための説明図である。図４において、ＨＭＤ１Ａ、１Ｂ、１Ｃは、図３などにおいて示したＨＭＤ１と同一の構成のＨＭＤである。図４において、ユーザＰＲにより装着されたＨＭＤ１と、他の３人のユーザにより各々装着されたＨＭＤ１Ａ、１Ｂ、１Ｃとが示されている。ＨＭＤ１Ａ、１Ｂ、１Ｃを各々装着した他の３人のユーザは、図１において示したユーザＰＲと同様に、組み付け作業を行っている。図４に示すように、ＨＭＤ１、及びＨＭＤ１Ａ、１Ｂ、１Ｃは、各々、通信Ｉ／Ｆ１７、１７Ａ、１７Ｂ、１７Ｃを介した無線通信により、データベースサーバ（以後、「ＤＢサーバ」と記す）２００に接続されている。ＤＢサーバ２００は、ＣＰＵ、ＲＯＭ、ＲＡＭなどにより構成される。ＤＢサーバ２００は、マニュアル画像をあらかじめ記憶しているマニュアル画像記憶部２１０を備える。ＤＢサーバ２００は、付属画像をあらかじめ記憶している付属画像記憶部２２０を備える。ＤＢサーバ２００は、ＨＭＤ１、１Ａ、１Ｂ、１Ｃから供給された外景画像を新たな付属画像として第２画像記憶部に記憶させる制御部２３０を備える。ＤＢサーバ２００は、記憶されている所定のデータをＨＭＤ１、１Ａ、１Ｂ、１Ｃのうちの複数のＨＭＤに同時に供給することができる。また、ＤＢサーバ２００は、記憶されている所定のデータをＨＭＤ１、１Ａ、１Ｂ、１Ｃのうちのいずれか１つのＨＭＤに供給することもできる。本実施形態におけるＨＭＤ１、１Ａ、１Ｂ、１Ｃが、本発明のヘッドマウントディスプレイ装置の一例である。本実施形態におけるＤＢサーバ２００が、本発明の情報処理部の一例である。本実施形態における画像共有システム１００が、本発明の画像共有システムの一例である。本実施形態におけるマニュアル画像記憶部２１０が、本発明の第１画像記憶部の一例である。本実施形態における付属画像記憶部２２０が、本発明の第２画像記憶部の一例である。本実施形態における制御部２３０が、本発明の制御部の一例である。
【００４７】
［ＨＭＤ動作制御］
次に、図５Ａ〜図５Ｄを参照して、ＨＭＤ１の動作制御について説明する。なお、図４において示したＨＭＤ１Ａ、１Ｂ、１Ｃも、以下に示すＨＭＤ１の動作制御と同様の動作制御を行う。
【００４８】
図５Ａは、ＨＭＤ１の動作制御処理を示すフローチャートである。一連の動作制御は、ＨＭＤ１のＣＰＵ１２により実行される。
【００４９】
ＨＭＤ１の制御処理では、先ず、ＣＣＤ５により外景画像ＢＧが撮像される（ステップＳＡ１、以下ＳＡ１と記す）。このとき、ＣＣＤ５は、図６に示すように、撮像範囲ＳＲにある外景画像ＢＧを撮像する。ＣＣＤ５により撮像された外景画像ＢＧの撮像画像のデータは、ＲＡＭ１５により記憶される。本実施形態におけるステップＳＡ１が、本発明の撮像ステップの一例である。
【００５０】
外景画像ＢＧが撮像されると、ＣＣＤ５により撮像された外景画像ＢＧの撮像画像から撮像画像内の全ての特徴点が抽出される（ＳＡ２）。撮像画像内の全ての特徴点が抽出されることで、外景画像ＢＧ内の全ての部分画像ＰＩの特徴点の座標データが得られる。従って、全ての部分画像ＰＩの特徴点の位置、及び各特徴点間の位置関係に関するデータが得られるため、図６に示す外景画像ＢＧ内の複数の部分画像ＰＩの形状が認識されることが可能となる。特徴点の抽出、及び部分画像ＰＩの形状認識には、Ｓｏｂｅｌオペレータなどによる周知のエッジ検出技術が応用される。
【００５１】
特徴点が抽出されると、図６、及び図７に示すようなマニュアル画像ＭＮが表示される（ＳＡ３）。図６、及び図７においてマニュアル画像ＭＮは、ページ番号ＰＧが２ページ目のマニュアル画像ＭＮである。ＳＡ３について、以下図５Ｂを用いて詳細に説明する。
【００５２】
図５Ｂは、ＳＡ３における処理を示すフローチャートである。ＳＡ２において特徴点が抽出されると、ＤＢサーバ２００により記憶されている判断テーブルＴＢ１が読み出される（ＳＢ１）。判断テーブルＴＢ１は、図８に示すように、特徴点データとページデータとが対応付けられてＤＢサーバ２００により記憶されているテーブルである。本実施形態において、特徴点データは、画像を構成する複数の特徴点の座標データの集合である。図８において、簡略化のため、各特徴点データとして複数の特徴点により構成される画像が示されている。図８に示すように、ハブの画像ＨＢを構成する特徴点データが判断テーブルＴＢ１の１項目に記憶されている。図８に示すように、ケーブル、スクリーン、及びスクリーンシートの画像を構成する特徴点データが、各々、判断テーブルＴＢ１の２項目、３項目、及び４項目に記憶されている。また、図８において、ページデータ「１，２，３」とは、表示されるマニュアル画像ＭＮのページ番号ＰＧが１ページと２ページと３ページとであることを示す。
【００５３】
判断テーブルＴＢ１が読み出されると、判断テーブルＴＢ１の特徴点データの項に、ＳＡ２において抽出された特徴点データに該当するものがあるか否かが判断される（ＳＢ２）。
【００５４】
判断テーブルＴＢ１の特徴点データの項に、ＳＡ２において抽出された特徴点データに該当するものがあると判断されると（ＳＢ２：Ｙｅｓ）、判断テーブルＴＢ１において該当する特徴点データに対応したページデータのマニュアルデータが図３において示したＤＢサーバ２００のマニュアル画像記憶部２１０から取得される。ＤＢサーバ２００から取得されるマニュアルデータは、ページデータに示されるページ番号ＰＧのマニュアル画像ＭＮを表示するための画像データである。取得されたマニュアルデータは、ＲＡＭ１５に供給される（ＳＢ３）。
【００５５】
ＲＡＭ１５にマニュアルデータが供給されると、供給されたマニュアルデータが次にＶＲＡＭ１６に供給され、ＶＲＡＭ１６上で展開される（ＳＢ４）。マニュアルデータがＶＲＡＭ１６上で展開されると、マニュアルデータに基づいたマニュアル画像ＭＮが表示される（ＳＢ５）。なお、例えばページデータが「１，２，３」の場合、マニュアル画像ＭＮの１ページ目、２ページ目、３ページ目が順に表示される。
【００５６】
ＳＢ２において、判断テーブルＴＢ１の特徴点データの項に、ＳＡ２において抽出された特徴点データに該当するものがないと判断されると（ＳＢ２：Ｎｏ）、「該当マニュアル無し」というメッセージが記されたマニュアル画像ＭＮのマニュアルデータがＤＢサーバ２００からＲＡＭ１５に供給される（ＳＢ６）。ＳＢ６においてＲＡＭ１５にマニュアルデータが供給されると、処理がＳＢ４に移り、その後「該当マニュアル無し」というメッセージのマニュアル画像ＭＮが表示される（ＳＢ５）。マニュアル画像ＭＮが表示されることで、ユーザＰＲは、図６に示すように、外景画像ＢＧとマニュアル画像ＭＮとが重畳した合成画像を視認することとなる。本実施形態におけるステップＳＡ３が、本発明の第１画像取得ステップの一例である。
【００５７】
ＳＡ３に示す処理について図６、及び図８を用いて説明する。図６に示すように、今、撮像範囲ＳＲにハブの画像ＨＢが入っている。撮像範囲ＳＲにハブの画像ＨＢが入ることで、図８に示す判断テーブルＴＢ１に従い、図５Ｂに示すＳＢ３において、ページデータ「１，２，３」のマニュアルデータが取得される。マニュアルデータ「１，２，３」が取得されることで、図５Ｂに示すＳＢ５において、マニュアル画像ＭＮの１ページ目、２ページ目、３ページ目が順に表示される。図６に示すように、既にマニュアル画像ＭＮの１ページ目は表示され、今、マニュアル画像ＭＮの２ページ目が表示されている。マニュアル画像ＭＮは、図６に示すように、作業において必要となる部品、及び工具や作業手順等の、作業の内容、及び手順を表す画像である。以上のようにして、ユーザＰＲは、マニュアル画像ＭＮを視認しながら、マニュアル画像ＭＮにおいて指示されている内容の作業を行うことができる。
【００５８】
マニュアル画像ＭＮが表示されると、表示されているマニュアル画像ＭＮのうちのページ番号ＰＧに関連した複数の付属画像ＡＣのデータがあるか否かが判断される（ＳＡ４）。付属画像ＡＣは、作業の内容、及び手順に付随した情報をユーザＰＲに示すための画像である。ＤＢサーバ２００により取得される付属画像ＡＣは、マニュアル画像ＭＮのうちのページ番号ＰＧに関連した図１０Ａ、及び図１０Ｂに示すような少なくとも２つの画像である。本実施形態において、ＤＢサーバ２００にあらかじめ記憶されている付属画像ＡＣは、図１０Ａに示すような成功例を示す画像である。図１０Ａに示す付属画像ＡＣは、対象画像ＯＢにより示される作業対象の所定の箇所にケーブルＣＢを挿入するという作業において、適切な箇所にケーブルＣＢが挿入され、正常ランプＬＰが点灯したという成功例を示す画像である。本実施形態において、ＤＢサーバ２００により記憶されている付属画像ＡＣは、図１０Ａに示すような成功例を示す画像の他に、図１０Ｂに示すような失敗例を示す画像がある。図１０Ｂに示す画像は、ユーザＰＲ、及びＨＭＤ１Ａ、１Ｂ、１Ｃを各々装着した３人の他のユーザにより更新スイッチＮＷがＯＮにされ、新規な付属画像ＡＣとしてＤＢサーバ２００により記憶された画像である。図１０Ｂに示す付属画像ＡＣは、対象画像ＯＢにより示される作業対象の所定の箇所にケーブルＣＢを挿入するという作業において、適切でない箇所にケーブルＣＢが挿入され、正常ランプＬＰが点灯しなかった失敗例を示す画像である。図１０Ａ、及び図１０Ｂに示すような付属画像ＡＣがユーザＰＲにより視認されることで、ユーザＰＲが行っている作業の内容、及び手順に付随した情報をユーザＰＲに示すことができる。
【００５９】
ＳＡ４について、以下図５Ｃを用いて詳細に説明する。図５Ｃは、ＳＡ４における処理を示すフローチャートである。
【００６０】
この処理では、先ず、ＤＢサーバ２００により記憶されている判断テーブルＴＢ２が通信Ｉ／Ｆ１７を介して読み出される（ＳＣ１）。判断テーブルＴＢ２は、図９に示すように、ページデータと付属画像ＡＣのデータとが対応付けられて図３において示したＤＢサーバ２００の付属画像記憶部２２０により記憶されているテーブルである。付属画像ＡＣのデータは、図９に示すように、Ｍ１Ａ１、及びＭ２Ａ１などの各付属画像の識別番号と図８において示した特徴点データと同様の各付属画像ＡＣの特徴点データとを備える。図９に示す識別番号がＭＸＡＹの場合、Ｘはページデータを示し、Ｙは各ページデータに対応付けられている各付属画像ＡＣに付与された番号を示す。図９に示す付属画像ＡＣの特徴点データは、例えば、識別番号Ｍ２Ａ１の付属画像ＡＣの場合、ハブの画像ＨＢとケーブルの画像ＣＢとを構成する複数の特徴点の座標データの集合を示す。
【００６１】
判断テーブルＴＢ２が読み出されると、判断テーブルＴＢ２のページデータの項に、現在表示されているマニュアル画像ＭＮ内のページ番号ＰＧに該当するものがあるか否かが判断される（ＳＣ２）。
【００６２】
現在表示されているマニュアル画像ＭＮ内のページ番号ＰＧに該当するものがあると判断されると（ＳＣ２：Ｙｅｓ）、ページデータに関連した複数の付属画像ＡＣのデータが取得される（ＳＣ３）。ＳＣ２において、現在表示されている画像内のページ番号ＰＧに該当するものがないと判断されると（ＳＣ２：Ｎｏ）、マニュアル画像ＭＮのうちのページ番号ＰＧに関連した付属画像ＡＣのデータがないため、処理はＳ２に移る。なお、図５Ｂにおいて示したＳＢ６において、「該当マニュアル無し」というメッセージのマニュアル画像ＭＮが表示された場合も、ＳＣ２において現在表示されている画像内のページ番号ＰＧに該当するものがないと判断され、処理はＳＡ２に移る。
【００６３】
ＳＡ４に示す処理を図６、及び図９を用いて説明する。図６に示すように、今、ページ番号ＰＧが２ページ目のマニュアル画像ＭＮが表示されている。従って、図９に示すページデータは「２」であるため、ＳＣ２において、現在表示されている画像内のページ番号ＰＧに該当するものがあると判断される。この判断処理が行われると、該当する特徴点データに対応した複数の付属画像ＡＣのデータが取得される。即ち、図９に示す判断テーブルＴＢ２内においてページデータ「２」に関連した識別番号Ｍ２Ａ１、Ｍ２Ａ２、及びＭ２Ａ３の３つの付属画像ＡＣのデータが取得される。本実施形態におけるステップＳＡ４が、本発明の第２画像取得ステップの一例である。
【００６４】
図５Ａに示すＳＡ４においてマニュアル画像ＭＮのうちのページ番号ＰＧに関連した付属画像ＡＣの特徴点データがあると判断され、ＳＣ３において複数の付属画像ＡＣのデータが取得されると、複数の付属画像ＡＣの中に作業と関連のある少なくとも１つの付属画像ＡＣがあるか否かが判断される（ＳＡ５）。ＳＡ５について、以下図５Ｄを用いて詳細に説明する。
【００６５】
図５Ｄは、ＳＡ５における処理を示すフローチャートである。この処理では、先ず、ＳＡ２において抽出された複数の部分画像ＰＩの各特徴点データの中で、ＳＢ２において判断テーブルＴＢ１の特徴点データの項に該当するものがあると判断された部分画像ＰＩの特徴点データ（以後、「部分画像ＰＩの特徴点データ」と記す。）とＳＡ４において取得された付属画像ＡＣのうちの１つの特徴点データとが比較される（ＳＤ１）。ＳＤ１において、部分画像ＰＩの特徴点データとして、図８に示す複数の部分画像ＰＩの特徴点データのうちの１つが選ばれる。本実施形態では、ＳＤ１において、部分画像ＰＩの特徴点データは、図８に示すＴＢ１における特徴点データのうち上から順に選ばれる。今、図６に示すように、撮像された外景画像ＢＧの複数の部分画像ＰＩのうちで、図８に示すテーブルＴＢ１における特徴点データにより構成される画像として、ハブの画像ＨＢに該当する部分画像ＰＩのみが存在する。従って、ＳＤ１において、ハブの画像ＨＢを構成する特徴点データが部分画像ＰＩの特徴点データとして選ばれる。ハブの画像ＨＢを構成する特徴点データが部分画像ＰＩの特徴点データとして選ばれると、ＳＤ１において、ハブの画像ＨＢを構成する特徴点データとＳＡ４において取得された識別番号Ｍ２Ａ１、Ｍ２Ａ２、及びＭ２Ａ３の各特徴点データとが比較される。
【００６６】
特徴点データの比較が行われると、部分画像ＰＩの形状と複数の付属画像ＡＣのうちの各付属画像ＡＣの形状との一致率が算出される（ＳＤ２）。即ち、ハブの画像ＨＢの形状と識別番号Ｍ２Ａ１の付属画像ＡＣの形状との一致率、ハブの画像ＨＢの形状と識別番号Ｍ２Ａ２の付属画像ＡＣの形状との一致率、及びハブの画像ＨＢの形状と識別番号Ｍ２Ａ３の付属画像ＡＣの形状との一致率が算出される。識別番号Ｍ２Ａ１、及びＭ２Ａ２の付属画像ＡＣは、図９に示すように、ハブの画像ＨＢの特徴点データを備える。従って、ハブの画像ＨＢの形状と識別番号Ｍ２Ａ１の付属画像ＡＣの形状との一致率、及びハブの画像ＨＢの形状と識別番号Ｍ２Ａ２の付属画像ＡＣの形状との一致率は最大値１．０として算出される。一方、識別番号Ｍ２Ａ３の付属画像ＡＣは、図９に示すように、ハブの画像ＨＢの特徴点データを備えない。従って、ハブの画像ＨＢの形状と識別番号Ｍ２Ａ３の付属画像ＡＣの形状との一致率は最小値０．０として算出される。
【００６７】
形状の一致率が算出されると、ユーザＰＲが行っている作業に関連している各付属画像ＡＣがあるか否かが判断される（ＳＤ３）。ＳＤ３において、部分画像ＰＩと各付属画像ＡＣとの形状の一致率が、プログラムＲＯＭ１３に記憶されている基準値０．８以上であると、付属画像ＡＣが作業に関連していると判定される。ＳＤ３において、部分画像ＰＩと各付属画像ＡＣとの形状の一致率がプログラムＲＯＭ１３に記憶されている基準値０．８未満であると、付属画像ＡＣは作業に関連していないと判定される。ハブの画像ＨＢの形状と識別番号Ｍ２Ａ１の付属画像ＡＣの形状との一致率、及びハブの画像ＨＢの形状と識別番号Ｍ２Ａ２の付属画像ＡＣの形状との一致率は１．０であるため、識別番号Ｍ２Ａ１の付属画像ＡＣ、及び識別番号Ｍ２Ａ２の付属画像ＡＣは、作業に関連していると判定される。ハブの画像ＨＢの形状と識別番号Ｍ２Ａ３の付属画像ＡＣの形状との一致率は０．０であるため、識別番号Ｍ２Ａ３の付属画像ＡＣは、作業に関連していないと判定される。
【００６８】
ユーザＰＲが行っている作業に関連している付属画像ＡＣがあると判断されると（ＳＤ３：Ｙｅｓ）、作業に関連していると判定された図９に示す付属画像ＡＣのデータがＲＡＭ１５に供給される（ＳＤ４）。本実施形態において、作業に関連している付属画像ＡＣがあると判断されるため、ＳＤ３の処理の後、処理はＳＤ４に移る。ＳＤ４において、ＲＡＭ１５に付属画像ＡＣのデータが供給される際、あわせてＲＡＭ１５に供給される付属画像ＡＣの数がカウントされる。本実施形態においてＲＡＭ１５に供給される付属画像ＡＣは、識別番号Ｍ２Ａ１の付属画像ＡＣ、及び識別番号Ｍ２Ａ２の付属画像ＡＣであるため、ＳＤ４においてカウントされる数は、「２」である。
【００６９】
付属画像ＡＣの画像データがＲＡＭ１５に供給されると、部分画像ＰＩが最後の部分画像ＰＩであるか否かが判断される（ＳＤ５）。また、ＳＤ３において、作業に関連している付属画像ＡＣがないと判断された場合（ＳＤ３：Ｎｏ）、処理はＳＤ５に移り、部分画像ＰＩが最後の部分画像ＰＩであるか否かが判断される。ＳＤ５において、部分画像ＰＩが最後の部分画像ＰＩであるか否かは、図８に示した判断テーブルＴＢ１において部分画像ＰＩの特徴点データが最下端のデータであるか否かによって判断される。前述のように、撮像された外景画像ＢＧ内に、図８に示すテーブルＴＢ１における特徴点データにより構成される画像として、ハブの画像ＨＢのみが存在する。従って、この場合、部分画像ＰＩが最後の部分画像ＰＩであると判断される。
【００７０】
ＳＤ５において、部分画像ＰＩが最後の部分画像ＰＩであると判断されると（ＳＤ５：Ｙｅｓ）、複数の付属画像ＡＣの中に作業と関連のある少なくとも１つの付属画像ＡＣがあるか否かが判断される（ＳＤ６）。ＳＤ６の判断処理は、ＳＤ４においてカウントされた付属画像ＡＣの数に基づいて行われる。部分画像ＰＩが最後の部分画像ＰＩでないと判断されると（ＳＤ５：Ｎｏ）、処理は、ＳＤ１に戻り、次の部分画像ＰＩに対して再びＳＤ１以降の処理が行われる。本実施形態において、ハブの画像ＨＢは、最初の部分画像であり、且つ最後の部分画像ＰＩである。従って、ＳＤ５において、部分画像ＰＩが最後の部分画像ＰＩでないと判断されず、処理は、ＳＤ６に移る。ＳＤ６において、作業と関連のある少なくとも１つの付属画像ＡＣがあると判断されると（ＳＤ６：Ｙｅｓ）、処理がＳＡ６に移る。ＳＤ６において、作業と関連のある少なくとも１つの付属画像ＡＣがないと判断されると（ＳＤ６：Ｎｏ）、処理がＳＡ２に戻る。以上、説明したように、図５Ａに示すＳＡ５の処理は、図５Ｄに示した一連の処理により実行される。本実施形態におけるステップＳＡ５が、本発明の関連性判定ステップの一例である。
【００７１】
複数の付属画像ＡＣの中に作業と関連のある少なくとも１つの付属画像ＡＣがあると判断されると（ＳＡ５：Ｙｅｓ）、該当する少なくとも１つの付属画像ＡＣが表示される（ＳＡ６）。複数の付属画像ＡＣの中に作業と関連のある少なくとも１つの付属画像ＡＣがないと判断されると（ＳＡ５：Ｎｏ）、処理がＳＡ２に戻る。
【００７２】
ＳＡ６において、該当する少なくとも１つの付属画像ＡＣが表示されると、電源スイッチＳＷから終了の指令が供給された否かが判断される（ＳＡ７）。終了の指令は、ユーザＰＲが電源スイッチＳＷをＯＦＦにした場合に、供給される。終了の指令が供給されていないと判断されると（ＳＡ７：Ｎｏ）、処理がＳＡ２に戻る。終了の指令が供給されていると判断されると（ＳＡ７：Ｙｅｓ）、図５Ａに示す処理が終了する。
【００７３】
次に、図５Ｅを参照して、ＨＭＤ１の付属画像ＡＣの判断テーブルＴＢ２への追加処理について説明する。図５Ｅに示す処理は、更新スイッチＮＷがＯＮにされ、更新の指令が供給された場合に、開始される。追加されるべき新たな付属画像ＡＣは、更新スイッチＮＷがＯＮにされた際にＣＣＤ５により撮像され、ＲＡＭ１５により記憶された外景画像ＢＧである。従って、ユーザＰＲが作業上で図１０Ｂに示すような失敗をした際に、更新スイッチＮＷをＯＮにすることで、図１０Ｂに示すような失敗例を示す外景画像ＢＧが新たな付属画像ＡＣとして判断テーブルＴＢ２に追加されるべきと判断される。図５Ｅに示す追加処理が開始されると、先ず、更新スイッチＮＷがＯＮにされた際にマニュアル画像ＭＮが表示されていたか否かが判断される（ＳＥ１）。マニュアル画像ＭＮが表示されていたと判断されると（ＳＥ１：Ｙｅｓ）、新たな付属画像ＡＣが表示されていたマニュアル画像ＭＮのページデータとともにＤＢサーバ２００に供給される（ＳＥ２）。ＤＢサーバ２００は、ＨＭＤ１、１Ａ、１Ｂ、１Ｃから逐次供給される新たな付属画像ＡＣとページデータとを対応付けて、新たな付属画像ＡＣとページデータとを判断テーブルＴＢ２に追加する。具体的には、図３において示した制御部２３０が、付属画像記憶部２２０に記憶されている判断テーブルＴＢ２に新たな付属画像ＡＣとページデータとを対応付けて記憶させる。ＳＥ２において示したように、本実施形態におけるＨＭＤ１の統括制御部１０は、ＣＣＤ５により撮像された全ての外景画像ＢＧをＤＢサーバ２００に供給するのではなく、判断テーブルＴＢ２に追加されるべきと判断された外景画像ＢＧを新たな付属画像ＡＣとして、ＤＢサーバ２００に供給している。従って、ＤＢサーバ２００に過度な情報処理負担をかけるといった問題が起きる可能性を軽減できる。本実施形態の統括制御部１０及びＳＥ２の処理機能は、本発明の画像供給部の一例である。ＳＥ２において新たな付属画像ＡＣがＤＢサーバ２００に供給されると、図５Ｅに示す処理が終了する。なお、ＳＥ１において、マニュアル画像ＭＮが表示されていなかったと判断されると（ＳＥ１：Ｎｏ）、図５Ｅに示す処理が終了する。
【００７４】
今、図１１に示すようにユーザＰＲが対象画像ＯＢにより示される作業対象の所定の接続口にケーブルＣＢを挿入するという作業において、誤って、蓋ＣＰを組み付けてしまったとする。このときユーザＰＲにより、更新スイッチＮＷがＯＮにされることで、ＳＡ８において、図１１に示す外景画像ＢＧが新たな付属画像ＡＣとしてマニュアル画像ＭＮのページデータである「２」という情報とともにＤＢサーバ２００に供給される。ＤＢサーバ２００は、新たな付属画像ＡＣとページデータとを対応付けて、新たな付属画像ＡＣのデータを図９において示した判断テーブルＴＢ２に追加する。ＤＢサーバ２００により新たな付属画像ＡＣのデータが追加されることにより、図１２に示す新たな判断テーブルＴＢ３が作成される。図１２に示すように、判断テーブルＴＢ３に新たな付属画像ＡＣのデータとして、識別番号Ｍ２Ａ４の付属画像ＡＣのデータが追加されている。識別番号Ｍ２Ａ４のような新たな識別番号は、更新時にＤＢサーバ２００により順次付与される。このように、画像共有システム１００において、ＨＭＤ１、１Ａ、１Ｂ、１ＣからＤＢサーバ２００に失敗例を示す新たな付属画像ＡＣが供給され、ＤＢサーバ２００により新たな付属画像ＡＣが記憶されることにより、ＨＭＤ１、１Ａ、１Ｂ、１Ｃの各々のＨＭＤが、他のＨＭＤと失敗例を示す付属画像ＡＣを共有することができる。尚且つ、ＳＡ５などに示した処理により、複数の付属画像ＡＣのうち各々のユーザが行っている作業と関連があると判定された付属画像ＡＣのみが各々のユーザに視認されることが可能である。
【００７５】
（変形例）
本実施形態において、図５Ａ〜５Ｅに示した処理は、全て図３において示したＨＭＤ１のＣＰＵ１２により行われていたが、これに限らず、これらの処理は図４において示したＤＢサーバ２００により行われてもよい。また、各種データの記憶に関しても、図３において示したＨＭＤ１のフラッシュＲＯＭ１４、及びＲＡＭ１５の代わりとして、図４において示したＤＢサーバ２００により行われてもよい。
【００７６】
本実施形態において、画像共有は図４において示したように、ＨＭＤ１、１Ａ、１Ｂ、１Ｃ、及びＤＢサーバ２００間の各種データのやりとりによりなされていた。しかし、これに限らず、例えば、図１３に示すようにパーソナルコンピュータ（以後、「ＰＣ」と記す）を介して画像共有がなされてもよい。図１３は、本発明の変形例１においてＨＭＤ１を用いた画像共有システム９００の構成を説明するための説明図である。図１２において、ＨＭ１、１Ａ、１Ｂ、１Ｃは、図１、図２、及び図３などにおいて示したＨＭＤ１と同一の構成のＨＭＤである。図１３において、ユーザＰＲにより装着されたＨＭＤ１と、他の３人のユーザにより各々装着されたＨＭＤ１Ａ、１Ｂ、１Ｃとが示されている。ＨＭＤ１、１Ａ、１Ｂ、１Ｃを各々装着した４人のユーザは、図１において示したユーザＰＲと同様に、組み付け作業を行っている。図１３に示すように、ＨＭＤ１、及びＨＭＤ１Ａ、１Ｂ、１Ｃは、各々、通信Ｉ／Ｆ１７、１７Ａ、１７Ｂ、１７Ｃを介した無線通信により、パーソナルコンピューターＰＣ１、ＰＣ２、ＰＣ３、ＰＣ４に接続可能である。パーソナルコンピューターＰＣ１、ＰＣ２、ＰＣ３、ＰＣ４は、ＤＢサーバ３００に無線通信により接続可能である。パーソナルコンピューターＰＣ１〜ＰＣ４は、ＤＢサーバ３００に接続されると、ＤＢサーバ３００からマニュアル画像ＭＮ、及び判断テーブルＴＢ１、ＴＢ２を取得する。パーソナルコンピューターＰＣ１〜ＰＣ４は、ＤＢサーバ３００から取得したマニュアル画像ＭＮ、及び判断テーブルＴＢ１、ＴＢ２を一時記憶する。ＨＭＤ１、１Ａ、１Ｂ、１Ｃが無線通信により、各々、パーソナルコンピューターＰＣ１〜ＰＣ４に接続されると、パーソナルコンピューターＰＣ１〜ＰＣ４は、各々、マニュアル画像ＭＮ、及び判断テーブルＴＢ１、ＴＢ２をＨＭＤ１、１Ａ、１Ｂ、１Ｃに供給する。マニュアル画像ＭＮ、及び付属画像ＡＣの表示処理は、図５Ａ〜図５Ｄにおいて示した処理と同様にして行われる。このように、パーソナルコンピューターＰＣ１〜ＰＣ４が、マニュアル画像ＭＮ、及び判断テーブルＴＢ１、ＴＢ２を一時記憶し、ＨＭＤ１、１Ａ、１Ｂ、１Ｃが無線通信により、各々、パーソナルコンピューターＰＣ１〜ＰＣ４に接続される場合のみマニュアル画像ＭＮ、及び判断テーブルＴＢ１、ＴＢ２がＨＭＤ１、１Ａ、１Ｂ、１Ｃに供給される。従って、ＨＭＤ１、１Ａ、１Ｂ、１Ｃは、常時ＤＢサーバ、及びパーソナルコンピューターＰＣ１〜ＰＣ４に接続される必要がなく、マニュアル画像ＭＮ、及び判断テーブルＴＢ１、ＴＢ２等のデータが必要となる場合のみ接続されるため、効率的な画像共有がなされる。
【００７７】
本実施形態において、付属画像ＡＣが作業に関連しているか否かは、部分画像ＰＩの形状と付属画像ＡＣの形状との一致率が基準値以上であるか否かにより判断されていた。この際、一致率が基準値以上であると判断され、付属画像ＡＣが作業に関連していると判定されると同時に、付属画像ＡＣと形状が一致する部分画像ＰＩが外景画像のうちのユーザの作業対象を表す対象画像ＯＢであると特定されていた。しかし、これに限らず、例えば、図１４及び図１５に示す本発明の変形例２の構成により対象画像が特定されてもよい。図１４に示す処理は、図５Ａにおいて示したＳＡ２の代わりとなる処理である。図１４に示す処理では、先ず図１５に示すユーザの注視点ＧＰが解析される（ＳＸ１）。具体的には、ユーザの瞳が向いている方向が検知され、検知された方向と外景画像との交点の位置、即ちユーザの注視点ＧＰの座標が算出される。そして、算出された交点の位置を中心とした所定の範囲内にある画像が対象画像であると特定される。ＳＸ１においてユーザの注視点が解析されると、図１５に示すように、注視点ＧＰから一定範囲ＧＲ内の特徴点が抽出される（ＳＸ２）。即ち、図５Ａにおいて示した本実施形態のＳＡ２においては撮像画像内の全ての特徴点が抽出されていたが、この変形例においては注視点ＧＰから一定範囲ＧＲ内の特徴点のみが抽出される。従って、図５Ａにおいて示すＳＡ２と比較して図１４に示すＳＸ２の方が速やかに特徴点の抽出を行える。この変形例の場合、ＨＭＤは、例えば、ユーザの瞳を撮像する瞳撮像部を備え、瞳撮像部により撮像されたユーザの瞳の画像の中心を算出することによって、ユーザの瞳が向いている方向を検知する。なお、瞳撮像部は、例えば、図１において示したフレーム部２に設置される。また、瞳撮像部により撮像された瞳の画像データは、図３において示したバス１８を介してＲＡＭ１５により記憶される。瞳の画像データがＲＡＭ１５に記憶されると、ＣＰＵ１２により、ＳＸ１においてユーザの注視点ＧＰが解析される。本変形例２における瞳撮像部が、本発明の瞳撮像部の一例である。本変形例２におけるＣＰＵ１２が、本発明の位置算出部の一例である。
【００７８】
本実施形態において、付属画像ＡＣが作業に関連しているか否かは、部分画像ＰＩの形状と付属画像ＡＣの形状との一致率が基準値以上であるか否かにより判断されていた。この際、一致率が基準値以上であると判断され、付属画像ＡＣが作業に関連していると判定されると同時に、付属画像ＡＣと形状が一致する部分画像ＰＩが対象画像であると特定されていた。しかし、これに限らず、例えば、図１６及び図１７に示す本発明の変形例３の構成により対象画像が特定されてもよい。図１６に示す処理は、図５Ａにおいて示したＳＡ２の代わりとなる処理である。図１６に示す処理では、先ず、撮像画像内の全ての特徴点が抽出される（ＳＹ１）。この処理は図５Ａにおいて示した処理と同様にして行われる。撮像画像内の全ての特徴点が抽出されると、指差し画像の特徴点が取得される（ＳＹ２）。指差し画像とは、ユーザの手指の画像として予め図３において示したフラッシュＲＯＭ１４により記憶されている画像である。指差し画像の特徴点が取得されると、ＳＹ１において抽出された特徴点とＳＹ２において取得された指差し画像の特徴点とに基づいて形状の一致率が算出される（ＳＹ３）。ＳＹ３の処理は、ＳＤ２において示した処理と同様に行われる。形状の一致率が算出されると、算出された一致率が基準値以上か否かが判断される（ＳＹ４）。ＳＹ４の処理は、ＳＤ３において示した処理と同様に行われる。一致率が基準値未満であると判断されると（ＳＹ４：Ｎｏ）、ユーザの手指が撮像画像内に存在しないと判断され、処理がＳＡ１に戻る。一致率が基準値以上であると判断されると（ＳＹ４：Ｙｅｓ）、ユーザの手指が撮像画像内に存在すると判断され、処理がＳＹ５に移る。一致率が基準値以上であると判断されると（ＳＹ４：Ｙｅｓ）、指差し画像のうちの指差し点の座標データに基づき、図１７に示す指差し点ＦＰが特定される（ＳＹ５）。指差し点ＦＰが特定されると、図１７に示す指差し点ＦＰから一定範囲ＦＲ内の特徴点が抽出される（ＳＹ６）。図１６に示す処理ではＳＹ１において一度撮像画像内の全ての特徴点が抽出された後、ＳＹ６において再度一定範囲ＦＲ内の特徴点が抽出される。従って、図５Ａにおいて示すＳＡ２と比較して図１６に示す抽出処理の方が正確に特徴点の抽出を行える。本変形例３におけるＣＰＵ１２が、本発明の手指認識部の一例である。
【００７９】
本実施形態において、図８において示した判断テーブルＴＢ１、及び図９において示した判断テーブルＴＢ２において、マニュアル画像ＭＮのページデータが、特徴点データと対応付けられていた。しかし、これに限らず、例えば、ページデータの代わりにマニュアル画像の章や項を示すインデックスのデータが、特徴点データと対応付けられて記憶されてもよい。
【００８０】
本実施形態においてマニュアル画像ＭＮ、判断テーブルＴＢ１、及び判断テーブルＴＢ２等はＤＢサーバ２００により記憶されていたが、これに限らず、例えば、ＨＭＤのフラッシュＲＯＭにより記憶されていてもよい。
【００８１】
本実施形態において、図５Ｅにおいて示したように、ＳＥ１において、マニュアル画像ＭＮが表示されていなかったと判断されると、図５Ｅに示す処理が終了していた。しかし、これに限らず、例えば、マニュアル画像ＭＮが表示されていなかった場合においても、ユーザが更新スイッチＮＷを押した後にＨＭＤに取り付けられたキーボード等を操作することにより、ユーザがマニュアル画像のページデータを指定し、新たな付属画像ＡＣがユーザにより指定されたマニュアル画像のページデータとともにＤＢサーバに供給されてもよい。この場合、図３において示した統括制御部に所定のＩ／Ｆを通すなどして所定のキーボード等のページ指定部が接続されていればよい。
【符号の説明】
【００８２】
１ ＨＭＤ
３ 画像表示部
４ ハーフミラー
５ ＣＣＤ
７ システムボックス
１０ 統括制御部
１２ ＣＰＵ
１３ プログラムＲＯＭ
１４ フラッシュＲＯＭ
１５ ＲＡＭ
１７ 通信Ｉ／Ｆ
１Ａ、１Ｂ、１Ｃ ＨＭＤ
１００ 画像共有システム
２００ ＤＢサーバ
２１０ マニュアル画像記憶部
２２０ 付属画像記憶部
２３０ 制御部
ＰＲ ユーザ
ＴＢ１ 判断テーブル
ＴＢ２ 判断テーブル
ＰＣ１、ＰＣ２、ＰＣ３、ＰＣ４ パーソナルコンピュータ
【特許請求の範囲】
【請求項１】
ユーザの頭部及びその近辺に装着され、画像を形成するための画像情報に基づいた画像光による画像が外光による外景画像とともに前記ユーザにより視認されるように構成されたヘッドマウントディスプレイ装置であって、
前記ユーザが所定の作業を行っている際に、前記ユーザの作業状況を表す前記外景画像を撮像する撮像部と、
前記ユーザが行っている前記所定の作業を支援するために、前記撮像部により撮像された前記外景画像に関連した、前記所定の作業の内容、及び手順を表す第１画像を取得する第１画像取得部と、
前記第１画像により表わされる前記所定の作業の内容、及び手順に付随した情報を前記ユーザに示すために、前記第１画像取得部により取得された前記第１画像のうちの特定箇所に関連した複数の第２画像を取得する第２画像取得部と、
前記第２画像取得部により取得された前記複数の第２画像が前記ユーザが行っている作業と関連があるか否かを、前記撮像部により撮像された前記外景画像に基づいて判定する関連性判定部と、を備え、
前記第１画像取得部により取得された第１画像と、前記複数の第２画像のうち、前記関連性判定部により前記ユーザが行っている作業と関連があると判定された少なくとも１つの前記第２画像とが前記ユーザにより視認されるように構成されたことを特徴とするヘッドマウントディスプレイ装置。
【請求項２】
前記第１画像取得部は、前記ユーザの作業状況に応じて前記ユーザに前記所定の作業の内容、及び手順を示すために、前記撮像部により順次撮像される前記外景画像が表す前記ユーザの作業状況に沿って、順次内容が切り換わるマニュアル画像である前記第１画像を取得し、
前記第２画像取得部は、前記マニュアル画像である前記第１画像内に付されたインデックス、またはページ番号である前記特定箇所に関連した複数の第２画像を取得することを特徴とする請求項１に記載のヘッドマウントディスプレイ装置。
【請求項３】
前記撮像部により撮像された前記外景画像のうち前記ユーザの作業対象である対象画像を特定する特定部を備え、
前記関連性判定部は、前記第２画像取得部により取得された前記複数の第２画像のうち、前記特定部により特定された前記対象画像に関連した前記第２画像が前記ユーザが行っている作業と関連があると判定することを特徴とする請求項１または２に記載のヘッドマウントディスプレイ装置。
【請求項４】
前記撮像部により撮像された前記外景画像のうちの一部の画像である複数の部分画像の部分形状を認識する形状認識部を備え、
前記特定部は、前記形状認識部により認識された前記部分形状のうち、前記第２画像取得部により取得された前記複数の第２画像のうちのいずれかの形状と一致する前記部分形状の前記部分画像を前記対象画像として特定することを特徴とする請求項３に記載のヘッドマウントディスプレイ装置。
【請求項５】
前記ユーザの瞳を撮像する瞳撮像部と、
前記瞳撮像部により撮像された前記ユーザの瞳が向いている方向と前記撮像部により撮像された前記外景画像との交点の位置を算出する位置算出部と、を備え、
前記特定部は、前記外景画像のうちの一部の画像である複数の部分画像のうち前記位置算出部により算出された前記交点が位置する部分画像を前記対象画像として特定することを特徴とする請求項３に記載のヘッドマウントディスプレイ装置。
【請求項６】
前記撮像部により撮像された前記外景画像のうちの一部の画像である複数の部分画像のうちの前記ユーザの手指の画像である手指画像の手指形状を認識する手指認識部を備え、
前記特定部は、前記複数の部分画像のうち前記手指認識部により認識された前記手指形状の前記手指画像が指し示す先の部分画像を前記対象画像として特定することを特徴とする請求項３に記載のヘッドマウントディスプレイ装置。
【請求項７】
請求項１〜６のいずれかに記載の前記ヘッドマウントディスプレイ装置を複数備え、更に複数の前記ヘッドマウントディスプレイ装置に接続された情報処理部を備える画像共有システムであって、
前記ヘッドマウントディスプレイ装置は、
前記撮像部により撮像された前記外景画像を前記情報処理部に供給する画像供給部を備え、
前記情報処理部は、
前記第１画像をあらかじめ記憶している第１画像記憶部と、
前記第２画像をあらかじめ記憶している第２画像記憶部と、
複数の前記ヘッドマウントディスプレイの前記画像供給部より供給される複数の前記外景画像を新たな前記第２画像として前記第２画像記憶部に記憶させる制御部とを備え、
前記第１画像取得部は、前記情報処理部により記憶されている前記第１画像を取得し、
前記第２画像取得部は、前記情報処理部により記憶されている複数の前記第２画像を取得することを特徴とする画像共有システム。
【請求項８】
ユーザの頭部及びその近辺に装着され、画像を形成するための画像情報に基づいた画像光による画像が外光による外景画像とともに前記ユーザにより視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像表示制御方法であって、
前記ユーザが所定の作業を行っている際に、前記ユーザの作業状況を表す前記外景画像を撮像する撮像ステップと、
前記ユーザが行っている前記所定の作業を支援するために、前記撮像ステップにより撮像された前記外景画像に関連した、前記所定の作業の内容、及び手順を表す第１画像を取得する第１画像取得ステップと、
前記第１画像により表わされる前記所定の作業の内容、及び手順に付随した情報を前記ユーザに示すために、前記第１画像取得ステップにより取得された前記第１画像のうちの特定箇所に関連した複数の第２画像を取得する第２画像取得ステップと、
前記第２画像取得ステップにより取得された前記複数の第２画像が前記ユーザが行っている作業と関連があるか否かを、前記撮像ステップにより撮像された前記外景画像に基づいて判定する関連性判定ステップと、を備え、
前記第１画像取得ステップにより取得された第１画像と、前記複数の第２画像のうち、前記関連性判定ステップにより前記ユーザが行っている作業と関連があると判定された少なくとも１つの前記第２画像とが前記ユーザにより視認されることを特徴とする画像表示制御方法。
【請求項９】
ユーザの頭部及びその近辺に装着され、画像を形成するための画像情報に基づいた画像光による画像が外光による外景画像とともに前記ユーザにより視認されるように構成されたヘッドマウントディスプレイ装置のコンピュータに実行させる画像表示制御プログラムであって、
前記ユーザが所定の作業を行っている際に、前記ユーザの作業状況を表す前記外景画像を撮像する撮像ステップと、
前記ユーザが行っている前記所定の作業を支援するために、前記撮像ステップにより撮像された前記外景画像に関連した、前記所定の作業の内容、及び手順を表す第１画像を取得する第１画像取得ステップと、
前記第１画像により表わされる前記所定の作業の内容、及び手順に付随した情報を前記ユーザに示すために、前記第１画像取得ステップにより取得された前記第１画像のうちの特定箇所に関連した複数の第２画像を取得する第２画像取得ステップと、
前記第２画像取得ステップにより取得された前記複数の第２画像が前記ユーザが行っている作業と関連があるか否かを、前記撮像ステップにより撮像された前記外景画像に基づいて判定する関連性判定ステップと、を前記コンピュータに実行させ、
前記第１画像取得ステップにより取得された第１画像と、前記複数の第２画像のうち、前記関連性判定ステップにより前記ユーザが行っている作業と関連があると判定された少なくとも１つの前記第２画像とが前記ユーザにより視認されることを特徴とする画像表示制御プログラム。
【請求項１】
ユーザの頭部及びその近辺に装着され、画像を形成するための画像情報に基づいた画像光による画像が外光による外景画像とともに前記ユーザにより視認されるように構成されたヘッドマウントディスプレイ装置であって、
前記ユーザが所定の作業を行っている際に、前記ユーザの作業状況を表す前記外景画像を撮像する撮像部と、
前記ユーザが行っている前記所定の作業を支援するために、前記撮像部により撮像された前記外景画像に関連した、前記所定の作業の内容、及び手順を表す第１画像を取得する第１画像取得部と、
前記第１画像により表わされる前記所定の作業の内容、及び手順に付随した情報を前記ユーザに示すために、前記第１画像取得部により取得された前記第１画像のうちの特定箇所に関連した複数の第２画像を取得する第２画像取得部と、
前記第２画像取得部により取得された前記複数の第２画像が前記ユーザが行っている作業と関連があるか否かを、前記撮像部により撮像された前記外景画像に基づいて判定する関連性判定部と、を備え、
前記第１画像取得部により取得された第１画像と、前記複数の第２画像のうち、前記関連性判定部により前記ユーザが行っている作業と関連があると判定された少なくとも１つの前記第２画像とが前記ユーザにより視認されるように構成されたことを特徴とするヘッドマウントディスプレイ装置。
【請求項２】
前記第１画像取得部は、前記ユーザの作業状況に応じて前記ユーザに前記所定の作業の内容、及び手順を示すために、前記撮像部により順次撮像される前記外景画像が表す前記ユーザの作業状況に沿って、順次内容が切り換わるマニュアル画像である前記第１画像を取得し、
前記第２画像取得部は、前記マニュアル画像である前記第１画像内に付されたインデックス、またはページ番号である前記特定箇所に関連した複数の第２画像を取得することを特徴とする請求項１に記載のヘッドマウントディスプレイ装置。
【請求項３】
前記撮像部により撮像された前記外景画像のうち前記ユーザの作業対象である対象画像を特定する特定部を備え、
前記関連性判定部は、前記第２画像取得部により取得された前記複数の第２画像のうち、前記特定部により特定された前記対象画像に関連した前記第２画像が前記ユーザが行っている作業と関連があると判定することを特徴とする請求項１または２に記載のヘッドマウントディスプレイ装置。
【請求項４】
前記撮像部により撮像された前記外景画像のうちの一部の画像である複数の部分画像の部分形状を認識する形状認識部を備え、
前記特定部は、前記形状認識部により認識された前記部分形状のうち、前記第２画像取得部により取得された前記複数の第２画像のうちのいずれかの形状と一致する前記部分形状の前記部分画像を前記対象画像として特定することを特徴とする請求項３に記載のヘッドマウントディスプレイ装置。
【請求項５】
前記ユーザの瞳を撮像する瞳撮像部と、
前記瞳撮像部により撮像された前記ユーザの瞳が向いている方向と前記撮像部により撮像された前記外景画像との交点の位置を算出する位置算出部と、を備え、
前記特定部は、前記外景画像のうちの一部の画像である複数の部分画像のうち前記位置算出部により算出された前記交点が位置する部分画像を前記対象画像として特定することを特徴とする請求項３に記載のヘッドマウントディスプレイ装置。
【請求項６】
前記撮像部により撮像された前記外景画像のうちの一部の画像である複数の部分画像のうちの前記ユーザの手指の画像である手指画像の手指形状を認識する手指認識部を備え、
前記特定部は、前記複数の部分画像のうち前記手指認識部により認識された前記手指形状の前記手指画像が指し示す先の部分画像を前記対象画像として特定することを特徴とする請求項３に記載のヘッドマウントディスプレイ装置。
【請求項７】
請求項１〜６のいずれかに記載の前記ヘッドマウントディスプレイ装置を複数備え、更に複数の前記ヘッドマウントディスプレイ装置に接続された情報処理部を備える画像共有システムであって、
前記ヘッドマウントディスプレイ装置は、
前記撮像部により撮像された前記外景画像を前記情報処理部に供給する画像供給部を備え、
前記情報処理部は、
前記第１画像をあらかじめ記憶している第１画像記憶部と、
前記第２画像をあらかじめ記憶している第２画像記憶部と、
複数の前記ヘッドマウントディスプレイの前記画像供給部より供給される複数の前記外景画像を新たな前記第２画像として前記第２画像記憶部に記憶させる制御部とを備え、
前記第１画像取得部は、前記情報処理部により記憶されている前記第１画像を取得し、
前記第２画像取得部は、前記情報処理部により記憶されている複数の前記第２画像を取得することを特徴とする画像共有システム。
【請求項８】
ユーザの頭部及びその近辺に装着され、画像を形成するための画像情報に基づいた画像光による画像が外光による外景画像とともに前記ユーザにより視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像表示制御方法であって、
前記ユーザが所定の作業を行っている際に、前記ユーザの作業状況を表す前記外景画像を撮像する撮像ステップと、
前記ユーザが行っている前記所定の作業を支援するために、前記撮像ステップにより撮像された前記外景画像に関連した、前記所定の作業の内容、及び手順を表す第１画像を取得する第１画像取得ステップと、
前記第１画像により表わされる前記所定の作業の内容、及び手順に付随した情報を前記ユーザに示すために、前記第１画像取得ステップにより取得された前記第１画像のうちの特定箇所に関連した複数の第２画像を取得する第２画像取得ステップと、
前記第２画像取得ステップにより取得された前記複数の第２画像が前記ユーザが行っている作業と関連があるか否かを、前記撮像ステップにより撮像された前記外景画像に基づいて判定する関連性判定ステップと、を備え、
前記第１画像取得ステップにより取得された第１画像と、前記複数の第２画像のうち、前記関連性判定ステップにより前記ユーザが行っている作業と関連があると判定された少なくとも１つの前記第２画像とが前記ユーザにより視認されることを特徴とする画像表示制御方法。
【請求項９】
ユーザの頭部及びその近辺に装着され、画像を形成するための画像情報に基づいた画像光による画像が外光による外景画像とともに前記ユーザにより視認されるように構成されたヘッドマウントディスプレイ装置のコンピュータに実行させる画像表示制御プログラムであって、
前記ユーザが所定の作業を行っている際に、前記ユーザの作業状況を表す前記外景画像を撮像する撮像ステップと、
前記ユーザが行っている前記所定の作業を支援するために、前記撮像ステップにより撮像された前記外景画像に関連した、前記所定の作業の内容、及び手順を表す第１画像を取得する第１画像取得ステップと、
前記第１画像により表わされる前記所定の作業の内容、及び手順に付随した情報を前記ユーザに示すために、前記第１画像取得ステップにより取得された前記第１画像のうちの特定箇所に関連した複数の第２画像を取得する第２画像取得ステップと、
前記第２画像取得ステップにより取得された前記複数の第２画像が前記ユーザが行っている作業と関連があるか否かを、前記撮像ステップにより撮像された前記外景画像に基づいて判定する関連性判定ステップと、を前記コンピュータに実行させ、
前記第１画像取得ステップにより取得された第１画像と、前記複数の第２画像のうち、前記関連性判定ステップにより前記ユーザが行っている作業と関連があると判定された少なくとも１つの前記第２画像とが前記ユーザにより視認されることを特徴とする画像表示制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−１１４７８１（Ｐ２０１１−１１４７８１Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２７１５８４（Ｐ２００９−２７１５８４）
【出願日】平成２１年１１月３０日（２００９．１１．３０）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月３０日（２００９．１１．３０）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]