確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法およびプログラム
【課題】確認業務の精度を高めることができる確認業務支援システムを提供する。
【解決手段】本発明による確認業務支援システムは、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置と、前記ヘッドマウントディスプレイ装置に設けられた撮影手段と、前記撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定手段とを備えたことを特徴とする。
【解決手段】本発明による確認業務支援システムは、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置と、前記ヘッドマウントディスプレイ装置に設けられた撮影手段と、前記撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定手段とを備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、確認業務を支援する確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法および確認業務支援プログラムに関する。
【背景技術】
【０００２】
製造ラインで行われる検査作業や保守業務における点検作業等の各種確認作業を支援するために、さまざまな技術が用いられている。例えば、特許文献１には、ヘッドマウントディスプレイ装置を活用して、半導体ウェハの基板等の被検体の外観を検査者の目視によって検査する外観検査装置が記載されている。
【０００３】
また、特許文献２には、半導体プロセスにおいて、色の違いによって検査対象物を判別する検査方法や検査装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００７／１４１８５７号
【特許文献２】特開２００６−２３７５８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的に工場での目視検査は、検査員が自分の目で製品の品質を確認することによって行われている。しかし、人間が目視検査を行っているため、精度に課題があった。
【０００６】
また、特許文献１に記載された装置では、外観検査時の欠陥画像の共有化を図るにすぎず、個々の検査員の検査業務や保守作業員の点検業務における確認作業の精度を高めること等はできない。
【０００７】
また、特許文献２に記載された方法は、半導体向けであるため、検査員が目視で行うような検査や保守作業員の点検業務における確認作業を支援する用途には適用することはできない。
【０００８】
そこで、本発明は、各種確認作業の精度を高めることができる確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法および確認業務支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明による確認業務支援システムは、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置と、ヘッドマウントディスプレイ装置に設けられた撮影手段と、撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段とを備えたことを特徴とする。
【００１０】
本発明によるサーバ装置は、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段を備えたことを特徴とする。
【００１１】
本発明によるヘッドマウントディスプレイ装置は、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能な表示制御手段と、撮影手段と、撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段とを備えたことを特徴とする。
【００１２】
本発明によるウェアラブル端末は、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段を備えたことを特徴とする。
【００１３】
本発明による確認業務支援方法は、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報をヘッドマウントディスプレイ装置に表示し、ヘッドマウントディスプレイ装置に設けられた撮影手段が画像を撮影し、撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定することを特徴とする。
【００１４】
本発明による確認業務支援プログラムは、コンピュータに、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定処理を実行させるためのものである。
【発明の効果】
【００１５】
本発明によれば、各種確認作業の精度を高めることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明による確認業務支援システムの機能構成例を示す機能ブロック図である。
【図２】確認業務支援システムの動作例を示すシーケンス図である。
【図３】検査範囲判定処理の一例を示すフロー図である。
【図４】検査箇所判定処理の一例を示すフロー図である。
【図５】検査範囲判定処理の一例を示すフロー図である。
【図６】目視検査判定処理の一例を示すフロー図である。
【図７】ハンドジェスチャー判定処理の一例を示すフロー図である。
【図８】検査データの一例を示す説明図である。
【図９】映像表示手段１１が検査データを表示している状態での検査員の視界の一例を示す説明図である。
【図１０】動作前の画像例を示す説明図である。
【図１１】動作後の画像例を示す説明図である。
【図１２】確認業務支援システムの最小の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について図面を参照して説明する。図１は、本発明による確認業務支援システムの機能構成例を示す機能ブロック図である。図１に示すように、確認業務支援システムは、ヘッドマウントディスプレイ装置１０と、ウェアラブル端末２０と、サーバ装置３０とを含む。
【００１８】
なお、本実施形態では、確認業務支援システムが工場等の製造ラインにおける検査業務を支援する場合を示しているが、本実施形態で示したものに限られない。例えば、保守業務における点検作業を支援する用途に適用してもよい。すなわち、確認業務支援システムによって支援可能な確認作業には、製造ラインにおける検査作業に加えて、保守業務における点検作業等、様々な作業が含まれる。
【００１９】
ヘッドマウントディスプレイ装置１０とウェアラブル端末とは、有線または無線で相互に接続されている。また、ウェアラブル端末２０とサーバ装置３０とは、無線ＬＡＮ（８０２.１１ａ／ｂ／ｇ／ｎ）や３Ｇ、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等のネットワーク１００（図示せず）を介して相互に接続されている。
【００２０】
ヘッドマウントディスプレイ装置１０は、具体的には、メガネ型網膜走査ディスプレイ装置によって実現される。図１に示すように、ヘッドマウントディスプレイ装置１０は、映像表示手段１１、映像入力手段１２および音声入出力手段１３を含む。
【００２１】
なお、本実施形態では、メガネ型のヘッドマウントディスプレイ装置１０を用いるが、これに限らず、頭部に装着可能であれば、例えばヘルメット型であってもよい。また、本実施形態では、網膜上に映像を投影する方式のヘッドマウントディスプレイ装置１０を用いるが、これに限らず、例えば、ハーフミラーを用いた光学方式のものであってもよい。また、例えば、液晶ディスプレイ型等の網膜照射型以外のディスプレイを用いたものであってもよい。また、例えば、外部を直接見るのではなく、カメラで撮影した外部画像を投影するタイプのものでもよい。本実施形態では、一般的な表現に従い、メガネ型やヘルメット型、網膜照射型や光学方式型等を全て包括してヘッドマウントディスプレイ装置という。
【００２２】
映像表示手段１１は、安全な明るさの光を網膜に当て、高速で動かし、その残像効果を利用して直接網膜上に映像を投影する機能を備えている。映像表示手段１１が網膜上に映像を投影することによって、ユーザは、通常肉眼で認識する作業視界とともに、投影された検査データを認識可能となる。
【００２３】
映像入力手段１２は、作業現場の映像を撮影し、撮影データをウェアラブル端末２０に出力する機能を備えている。映像入力手段１２は、具体的には、ヘッドマウントディスプレイ装置１０が搭載するカメラによって実現される。そして、このカメラは、撮影する映像とヘッドマウントディスプレイ装置１０を装着する検査員の視界とがほぼ一致するように配置されている。例えば、メガネのブリッジ部分に配置されている。そのため、映像入力手段１２は、検査員の視界に近い映像を撮影することができる。ただし、検査員の視界と実際の撮影画像とは多少の位置の差があるので、本実施形態では、後述するように、映像入力手段１２によって撮影した映像に画像補正手段３３を用いて補正処理を施している。
【００２４】
音声入出力手段１３は、具体的には、マイクロフォン等の音声入力装置と入出力部とによって実現される。音声入出力手段１３は、作業現場の音声を収集し、音声データをウェアラブル端末２０に出力する機能を備えている。また、音声入出力手段１３は、ウェアラブル端末２０が出力する音声データを再生する機能を備えている。なお、音声入出力手段１３は、ヘッドマウントディスプレイ装置１０ではなく、ウェアラブル端末２０に含まれていてもよい。
【００２５】
ウェアラブル端末２０は、具体的には、検査員が体に身に付けられる小型の情報処理装置によって実現され、プログラムに従って動作する。ウェアラブル端末２０は、ＣＰＵ（Central Processing Unit ）やメモリ等の記憶装置を備え、データ送受信手段２１と、通信手段２２とを含む。
【００２６】
データ送受信手段２１は、具体的には、プログラムに従って動作するＣＰＵによって実現される。データ送受信手段２１は、通信手段２２を用いて、サーバ装置３０との間で検査データや撮影データ等を送受信する機能を備えている。データ送受信手段２１は、通信手段２２を用いて、サーバ装置３０からネットワーク１００を介して受信した検査データをヘッドマウントディスプレイ装置１０に出力する機能を備えている。また、データ送受信手段２１は、通信手段２２を用いて、映像入力手段１２が出力した撮影データを、ネットワーク１００を介して、サーバ装置３０に送信する機能を備えている。
【００２７】
通信手段２２は、有線通信や無線通信（無線ＬＡＮ（８０２.１１ａ／ｂ／ｇ／ｎ）、３Ｇ、ＷｉＭＡＸ、ＬＴＥ等）に対応可能なモジュールによって実現され、ネットワーク１００を介してサーバ装置３０と通信を行う機能を備えている。
【００２８】
サーバ装置３０は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。サーバ装置３０は、検査員が行う検査業務を支援し、管理する機能を備えている。
【００２９】
図１に示すように、サーバ装置３０は、検査データ記憶手段３１、データ送受信手段３２、画像補正手段３３、検査箇所判定手段３４、目視検査判定手段３５、ハンドジェスチャー判定手段３６、検査結果記憶手段３７および通信手段３８を含む。
【００３０】
検査データ記憶手段３１は、具体的には、光ディスク装置や磁気ディスク装置等の記憶装置によって実現される。検査データ記憶手段３１は、検査を行う対象製品の画像データや、検査に必要なデータ（例えば、検査項目や検査箇所、検査範囲等）、検査マニュアルのデータ、判定処理に用いるパターンデータ等を記憶する。なお、これらデータは、例えば、予め検査業務の管理者によって検査データ記憶手段３１に登録される。以下、これらのデータを検査データともいう。
【００３１】
データ送受信手段３２は、具体的には、プログラムに従って動作するＣＰＵによって実現される。データ送受信手段３２は、通信手段３８を用いて、検査データ記憶手段３１が記憶する検査データを、ネットワーク１００を介してウェアラブル端末２０に送信する機能を備えている。また、データ送受信手段３２は、通信手段３８を用いて、ウェアラブル端末２０がネットワーク１００を介して送信する撮影データを受信する機能を備えている。
【００３２】
画像補正手段３３は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。画像補正手段３３は、カメラで撮影した映像を検査員の視界により近づけるために、ウェアラブル端末２０から受信した撮影データを補正する機能を備えている。例えば、予めヘッドマウントディスプレイ装置１０に配置されたカメラの位置と、ヘッドマウントディスプレイ装置１０装着時の検査員の目の位置との誤差を補正するためのオフセット値を登録しておく。そして、画像補正手段３３は、撮影データにオフセット値を演算することにより、検査員の視界に近くなるように画像を補正する。以下、画像補正手段３３が補正した画像を視界画像データともいう。
【００３３】
検査箇所判定手段３４は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。検査箇所判定手段３４は、画像補正手段３３が補正した視界画像データと、パターンデータとに基づいて、検査員の作業視界と検査範囲とが一致しているか否かを判定する機能を備えている。すなわち、検査員が、対象製品のうちの検査対象の範囲を見ている状態となっているか否かを判断する。検査範囲とは、対象製品のうちの検査箇所を全て含む範囲（全ての検査箇所を一望する範囲）である。
【００３４】
例えば、検査箇所判定手段３４は、視界画像データと検査範囲判定用のパターンデータ（例えば、検査範囲の画像データ）とをマッチングし、類似度を算出する。そして、検査箇所判定手段３４は、算出した類似度が予め定められた検査範囲判定用の閾値以上である場合に、検査員の作業視界と検査範囲とが一致していると判定する。
【００３５】
また、検査箇所判定手段３４は、視界画像データと、検査項目判定用のパターンデータとに基づいて、検査箇所に問題（例えば、部品の有無や取り付け場所の間違い等）があるか否かを判定する機能を備えている。
【００３６】
例えば、検査箇所判定手段３４は、視界画像データから検査箇所付近の部分画像データを抽出する。そして、検査箇所判定手段３４は、抽出した部分画像データと検査項目判定用のパターンデータ（例えば、検査箇所に正しくビスが取り付けられている状態やシールが貼ってある状態を示す画像データ）とをマッチングし、類似度を算出する。そして、検査箇所判定手段３４は、算出した類似度が予め定められた検査項目判定用の閾値以上である場合に、検査箇所に問題がないと判定する。また、検査箇所判定手段３４は、算出した類似度が閾値未満である場合に、検査箇所に問題があると判定する。
【００３７】
また、逆に、例えば、検査箇所判定手段３４は、部分画像データと、問題がある状態を示す異常検査項目判定用のパターンデータ（例えば、検査箇所のビスが外れている状態やシールが貼っていない状態を示す画像データ）との類似度を算出するようにしてもよい。この場合、検査箇所判定手段３４は、算出した類似度が予め定められた異常検査項目判定用の閾値未満である場合に、検査箇所に問題がないと判定する。また、検査箇所判定手段３４は、算出した類似度が予め定められた異常検査項目判定用の閾値以上である場合に、検査箇所に問題があると判定する。
【００３８】
例えば、検査箇所判定手段３４は、いずれか一方または両方のパターンデータとの比較によって検査箇所に問題がないと判定した場合に、それを最終的な判定結果とするようにしてもよい。また、例えば、上記の２つのパターンデータを組み合わせて用いてもよい。この場合、例えば、いずれか一方または両方のパターンデータとの比較によって検査箇所に問題があると判定した場合に、それを最終的な判定結果とするようにしてもよい。
【００３９】
また、例えば、予め検査対象の製品等にバーコードを付しておくようにしてもよい。この場合、検査箇所判定手段３４は、視界画像データからバーコードを抽出し、抽出したバーコードと検査範囲判定用のバーコードとが一致するか否かを判断し、一致する場合に検査員の作業視界と検査範囲とが一致していると判定する。なお、予め検査対象の製品等に複数のバーコードを付しておき、検査箇所判定手段３４は、それぞれ検査範囲判定用のバーコードと一致するか否かを判断することで、検査員の作業視界と検査範囲とが一致しているか否かを判定してもよい。
【００４０】
また、例えば、予めビスやシール等にバーコードを付しておくようにしてもよい。この場合、検査箇所判定手段３４は、視界画像データからビスに付されたバーコードを抽出し、抽出したバーコードと、検査データ記憶手段３１が記憶する検査箇所に対応づけられたバーコードとが一致するか否かを判定する。そして、一致する場合には、検査箇所判定手段３４は、所定の検査箇所にビスが存在するため、検査箇所に問題がないと判定する。
【００４１】
なお、検査箇所判定手段３４は、検査箇所付近の部分画像データを抽出することなく、視界画像データ全体と検査項目判定用のパターンデータとの類似度を算出し、類似度が閾値以上である場合に、検査箇所に問題がないと判定するようにしてもよい。この場合、検査対象製品の各検査箇所の異常の有無を個別に検出することはできないが、検査対象製品全体として何らかの異常があるか否かを大まかに検出することができる。
【００４２】
また、検査箇所判定手段３４は、上記の判定結果をウェアラブル端末２０に送信する機能を備えている。また、検査箇所判定手段３４は、判定結果を検査結果記憶手段３７に記憶させる機能を備えている。
【００４３】
目視検査判定手段３５は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。目視検査判定手段３５は、視界画像データと検査箇所ごとに用意されている目視検査判定用のパターンデータとに基づいて、目視検査が正しく行われたか否かを判定する機能を備えている。なお、目視検査とは、検査員が所定の検査箇所を目視して問題があるか否かを確認するものである。
【００４４】
例えば、検査員が検査対象製品中の特定の検査箇所に視点を移すと、目視検査判定手段３５は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、目視検査判定用のパターンデータ（検査箇所ごとの画像データ）との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、目視検査判定手段３５は、検査員の視点と検査箇所とが一致していると判定する。
【００４５】
次いで、目視検査判定手段３５は、検査員の視点と検査箇所とが一致していると判定した後に、一致した状態のまま所定期間（例えば、３秒間）経過した場合に、目視検査が正しく行われたと判定する。例えば、目視検査判定手段３５は、所定期間経過後に再度視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと検査箇所の画像データとの類似度が閾値以上である場合に、一致した状態のままであると判定する。なお、一致した状態の所定期間については、３秒間に限らず、それ以上でも以下でもよい。また、例えば、本実施形態では、所定時間（例えば、３秒間）の計測開始時と計測終了時とにパターンデータを用いたマッチング処理を行う場合を示しているが、このような方法にかぎらず、例えば、計測開始から計測終了までの間に複数回マッチング処理を行ってもよい。
【００４６】
目視検査判定手段３５は、上記の処理を、検査員がきちんと製品の検査箇所を目視して確認しているかを判断し、記録するために行う。つまり、ヘッドマウントディスプレイ装置に搭載されたカメラが撮影した映像に検査データ記憶手段３１に登録されている検査箇所が数秒間映っているか否かを判断し、数秒間動かずに映っていれば、検査員が確実に目視検査を行っていると判断することができる。
【００４７】
目視検査判定手段３５は、判定結果をウェアラブル端末２０に送信する機能を備えている。また、目視検査判定手段３５は、判定結果を検査結果記憶手段３７に記憶させる機能を備えている。
【００４８】
ハンドジェスチャー判定手段３６は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。ハンドジェスチャー判定手段３６は、撮影データとハンドジェスチャー用のパターンデータとに基づいて、所定のハンドジェスチャーが行われたか否かを判定する機能を備えている。なお、所定のハンドジェスチャーとは、具体的には、検査対象製品の検査箇所を実際に指などで触って確認する接触検査のことである。
【００４９】
例えば、ハンドジェスチャー判定手段３６は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、予め定められたハンドジェスチャー判定用のパターンデータ（検査箇所ごとの画像データ）との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、ハンドジェスチャー判定手段３６は、検査員の視点と検査箇所とが一致していると判定する。
【００５０】
次いで、ハンドジェスチャー判定手段３６は、検査員の視点と検査箇所とが一致していると判定した後に、視界画像データから検査箇所周辺の部分画像データ（例えば、検査箇所に指で接触を開始した画像）を抽出する。
【００５１】
次いで、ハンドジェスチャー判定手段３６は、抽出した部分画像データと、動作前のハンドジェスチャーのパターンデータ（例えば、後述する図１０に示す検査員の手が検査箇所付近に伸びている状態の画像データ）とが一致するか否かを判定する。例えば、ハンドジェスチャー判定手段３６は、類似度を算出し、算出した類似度が閾値以上である場合に、一致すると判定する。
【００５２】
次いで、一致すると判定すると、ハンドジェスチャー判定手段３６は、所定期間経過後の視界画像データから検査箇所周辺の部分画像データ（例えば、検査箇所に指で接触しながら所定の検査動作をし終えた画像）を抽出する。
【００５３】
次いで、ハンドジェスチャー判定手段３６は、抽出した部分画像データと、動作後のハンドジェスチャーのパターンデータ（例えば、後述する図１１に示す検査員の指が検査箇所に触れている状態の画像データ）とが一致するか否かを判定する。例えば、ハンドジェスチャー判定手段３６は、類似度を算出し、算出した類似度が閾値以上である場合に、一致すると判定する。
【００５４】
なお、例えば、目視検査判定手段３５による目視検査判定と同様に、ハンドジェスチャー判定手段３６は、検査箇所に触れている状態が所定時間継続しているか否かも判定するようにしてもよい。そして、検査箇所に触れている状態が所定時間継続している場合に、正しくハンドジェスチャーによる検査が行われたと判定するようにしてもよい。
【００５５】
以上の処理により、ある時点とそこから所定期間経過後の時点とで、特定した部分の画像データとパターンデータとが一致すると判定した場合に、ハンドジェスチャー判定手段３６は、所定のハンドジェスチャーが行われたと判定する。
【００５６】
なお、判定処理の精度を高めるために、例えば、ハンドジェスチャーの動作前後に限らず、上記の処理を複数回繰り返し、動作の途中の形状についても判定するようにしてもよい。また、指等を用いた接触検査を行う場合に限らず、例えば、指等が入らないようなスペースの検査を行う場合には、指し棒等の検査用の治具を用いて接触検査を行う場合の判定に適用してもよい。なお、この場合には、判定を容易にするために、予め定められた治具を用いるようにすることが好ましい。
【００５７】
また、ハンドジェスチャー判定手段３６は、例えば、音声入出力手段１３が収集したジェスチャー時に検査員が発した声の音声データと、予め定められた音声データとに基づいて、所定のハンドジェスチャーが行われたか否かを判定するようにしてもよい。
【００５８】
ハンドジェスチャー判定手段３６は、判定結果をウェアラブル端末２０に送信する機能を備えている。また、ハンドジェスチャー判定手段３６は、判定結果を検査結果記憶手段３７に記憶させる機能を備えている。
【００５９】
検査結果記憶手段３７は、具体的には、光ディスク装置や磁気ディスク装置等の記憶装置によって実現される。検査結果記憶手段３７は、検査箇所判定手段３４、目視検査判定手段３５及びハンドジェスチャー判定手段３６の判定結果や、検査業務プロセスの履歴データを記憶する。検査結果記憶手段３７は、例えば、誰が、いつ、どこで、どの製品の検査をどれだけの時間をかけて、検査を行ったか否か等を示すデータや、画像データを記憶する。
【００６０】
通信手段３８は、有線通信や無線通信（無線ＬＡＮ（８０２.１１ａ／ｂ／ｇ／ｎ）、３Ｇ、ＷｉＭＡＸ、ＬＴＥ等）に対応可能なモジュールによって実現され、ネットワーク１００を介してウェアラブル端末２０と通信を行う機能を備えている。
【００６１】
検査結果管理手段３９は、具体的には、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。検査結果管理手段３９は、管理者の操作に従って、検査結果記憶手段３７から各種検査結果の情報を抽出し出力（例えば、ディスプレイ装置等の表示装置に表示）する機能を備える。例えば、検査結果管理手段３９は、検査結果記憶手段３７から、検査員が検査範囲全体を見ているときの画像データや、特定の検査箇所を目視検査しているときの画像データ、ハンドジェスチャーによる検査を行っているときの画像データを抽出し、表示装置に表示する。また、例えば、検査結果管理手段３９は、検査結果記憶手段３７から、検査箇所判定手段３４による判定結果（例えば、検査箇所毎の異常の有無の判定結果）や、目視検査判定手段３５による判定結果（例えば、検査員が検査箇所毎に正しく目視検査を行ったか否かの判定結果）、ハンドジェスチャー判定手段３７による判定結果（例えば、検査員が正しくハンドジェスチャーによる検査を行ったか否かの判定結果）を抽出し、表示装置に表示する。
【００６２】
また、検査結果管理手段３９は、検査結果記憶手段３７が記憶する情報に基づいて統計処理を行い、検査作業における各種統計データを求める機能を備える。例えば、検査結果管理手段３９は、検査結果記憶手段３７が記憶する検査箇所判定手段３４による判定結果を統計し、検査対象製品中の検査箇所毎の異常の発生頻度の統計値を求める。また、例えば、検査結果管理手段３９は、検査結果記憶手段３７が記憶する目視検査判定手段３５による判定結果やハンドジェスチャー判定手段３７による判定結果を統計し、作業員毎の目視検査やハンドジェスチャーによる検査の作業漏れの頻度の統計値を求める。
【００６３】
次に、確認業務支援システムの動作について説明する。図２は、確認業務支援システムが実行する処理例を示すシーケンス図である。なお、予め検査対象の製品情報をサーバ装置３０に登録しているものとする。
【００６４】
検査作業を開始するにあたって、検査員は、ヘッドマウントディスプレイ装置１０を装着し、ウェアラブル端末２０を用いて検査データを取得するための操作を行う。すると、ウェアラブル端末２０（データ送受信手段２１）は、検査員の操作に従って、ネットワーク１００を介してサーバ装置３０に検査用データの取得要求を送信する（ステップＳ１）。
【００６５】
次いで、サーバ装置３０（データ送受信手段３２）は、受信した取得要求に基づいて、検査データ記憶手段３１から検査データを抽出し、ネットワーク１００を介してウェアラブル端末２０に送信する（ステップＳ２）。本実施形態では、データ送受信手段３２が検査データ記憶手段３１から抽出する検査データには、図８に示すような検査対象の製品情報等を表示するための画像データが含まれているものとする。
【００６６】
図８は、検査データの一例を示す説明図である。図８の左側の領域には、検査範囲のサンプル画像が表示され、右側には、作業手順等のマニュアルデータが表示される。検査作業中を通じて、検査員は、表示される作業手順に従って検査を行う。
【００６７】
次いで、ウェアラブル端末２０（データ送受信手段２１）は、受信した検査データをヘッドマウントディスプレイ装置１０に出力する。すると、ヘッドマウントディスプレイ装置１０（映像表示手段１１）は、ウェアラブル端末２０が出力した検査データを検査員の網膜に照射して表示する（ステップＳ３）。
【００６８】
図９は、映像表示手段１１が検査データを表示している状態での検査員の視界の一例を示す説明図である。図９に示すように、検査員が実際に見ている視界内に、検査データを重ね合わせて表示する。そのため、検査員は、視界の一部に図８の画像データを認識することができる。
【００６９】
なお、非透過型のヘッドマウントディスプレイ装置の場合、外部画像と検査データとを重畳表示してもよい。また、このとき、音声入出力手段１３は、検査データに含まれる検査内容を示す音声データを再生するようにしてもよい。
【００７０】
次いで、検査員は、ヘッドマウントディスプレイ装置を用いて撮影開始の操作を行うとともに、表示された検査範囲に合うように、頭を動かして視野を調整する。すると、ヘッドマウントディスプレイ装置１０（映像入力手段１２）は、撮影を開始し、撮影データをウェアラブル端末２０に出力する（ステップＳ４）。そして、ウェアラブル端末２０（データ送受信手段２１）は、ネットワーク１００を介して、撮影データをサーバ装置３０に送信する。なお、これ以降、映像入力手段１２は、継続して撮影を行うものとする。また、ウェアラブル端末２０（データ送受信手段２１）は、継続して撮影データをサーバ装置３０に送信するものとする。
【００７１】
なお、ヘッドマウントディスプレイ装置は、検査データの表示を開始したことに基づいて、自動的に撮影を開始してもよいし、検査員が手動で操作することによって、任意のタイミングで撮影を開始するようにしてもよい。
【００７２】
次いで、画像補正手段３３は、受信した撮影データを補正する（ステップＳ５）。例えば、予めヘッドマウントディスプレイ装置１０に配置されたカメラの位置と、ヘッドマウントディスプレイ装置１０装着時の検査員の目の位置との誤差を補正するためのオフセット値を登録しておく。そして、画像補正手段３３は、撮影データにオフセット値を演算することにより、検査員の視界に近くなるように画像を補正する。
【００７３】
なお、ステップＳ５の処理については、本システムにおいて必須の処理ではないが、補正処理を実行することによって検査員の視界と検査範囲とを一致させることができ、後述する各判定処理の精度を高めることができる。
【００７４】
次いで、検査箇所判定手段３４は、補正した撮影データと、検査データ記憶手段３１が記憶する各種パターンデータとに基づいて、検査箇所に問題があるか否かを判定し、判定結果をウェアラブル端末２０に送信する（ステップＳ６）。なお、検査箇所の判定処理の詳細については後述する。
【００７５】
次いで、ウェアラブル端末２０のデータ送受信手段２１は、受信した判定結果をヘッドマウントディスプレイ装置１０に出力する。すると、ヘッドマウントディスプレイ装置１０の映像表示手段１１は、判定結果を検査員の網膜に照射して表示する（ステップＳ７）。
【００７６】
このように、サーバ装置３０は、受信した撮影データの画像認識・判定を行い、予め登録された画像と異なる点（例えば、図８に示す危険防止シールが貼ってない、左のネジが無い）があれば、検査箇所に問題があると判定する。そして、サーバ装置３０は、ネットワーク１００を介して、ウェアラブル端末２０に判定結果を送信する。
【００７７】
その後、ヘッドマウントディスプレイ装置１０は、ウェアラブル端末２０が受信した判定結果を検査員の網膜に照射して表示する。ヘッドマウントディスプレイ装置１０は、検査箇所に問題ないという判定結果の場合には、例えば、検査箇所に問題ないことを示すメッセージを表示する。
【００７８】
また、例えば、問題があるという判定結果の場合には、ヘッドマウントディスプレイ装置１０は、検査箇所に問題があることを示すメッセージとともに、問題がある検査箇所を検査範囲のサンプル画像中において点滅表示等で強調して表示する。そのようにすることで、異常表示された箇所について、検査員の注目を向けさせることができ、異常個所の見落としを防止できる。
【００７９】
検査員は、検査箇所に問題がないことをメッセージで確認すると、映像表示手段１１が表示する検査データの指示に従って、目視検査を行う。例えば、検査員は、ヘッドマウントディスプレイ装置１０に表示されているマニュアルの指示に従って、顔の向きを変えることで検査範囲のうちの製品の検査箇所（例えば、図８のＣｈｅｃｋ１、Ｃｈｅｃｋ２、Ｃｈｅｃｋ３）に順番に視点を移し、それぞれ３秒ずつ目視する。
【００８０】
このとき、映像入力手段１２は、検査員の視界に近い映像を撮影し、撮影データをウェアラブル端末２０に出力している。また、ウェアラブル端末２０は、ネットワーク１００を介して、サーバ装置３０に撮影データを送信している。これらの処理は、ステップＳ４の時点から継続して行われているものである。
【００８１】
サーバ装置３０の目視検査判定手段３５は、画像補正手段３３が補正した視界画像データと、検査データ記憶手段３１が記憶する目視検査判定用のパターンデータとに基づいて、目視検査が正しく行われているか否かを判定する。そして、目視検査判定手段３５は、判定結果をウェアラブル端末２０に送信する（ステップＳ８）。なお、目視検査の判定処理の詳細については後述する。
【００８２】
次いで、ウェアラブル端末２０（データ送受信手段２１）は、受信した判定結果をヘッドマウントディスプレイ装置１０に出力する。すると、ヘッドマウントディスプレイ装置１０（映像表示手段１１）は、判定結果を検査員の網膜に照射して表示する（ステップＳ９）。このとき、例えば、目視が正しく行われなかった場合には、映像表示手段１１は、目視検査をやり直す旨の表示を行う。
【００８３】
最後に、検査員は、映像表示手段１１が表示する検査データの指示（例えば、ヘッドマウントディスプレイ装置１０に表示されているマニュアルの指示）に従って、ハンドジェスチャーにより、検査箇所（Ｃｈｅｃｋ１、Ｃｈｅｃｋ２、Ｃｈｅｃｋ３）を指で指す。上述のように、このとき、映像入力手段１２は、検査員の視界に近い映像を撮影し、撮影データをウェアラブル端末２０に出力している。また、ウェアラブル端末２０は、ネットワーク１００を介して、サーバ装置３０に撮影データを送信している。
【００８４】
サーバ装置３０のハンドジェスチャー判定手段３６は、画像補正手段３３が補正した視界画像データと、検査データ記憶手段３１が記憶するハンドジェスチャー判定用のパターンデータとに基づいて、所定のハンドジェスチャーが正しく行われているか否かを判定する。そして、ハンドジェスチャー判定手段３６は、判定結果をウェアラブル端末２０に送信する（ステップＳ８）。なお、ハンドジェスチャーの判定処理の詳細については後述する。
【００８５】
次いで、ウェアラブル端末２０（データ送受信手段２１）は、受信した判定結果をヘッドマウントディスプレイ装置１０に出力する。その後、ヘッドマウントディスプレイ装置１０（映像表示手段１１）は、判定結果を検査員の網膜に照射して表示する（ステップＳ１１）。このとき、例えば、ハンドジェスチャーが正しく行われなかった場合には、映像表示手段１１は、ハンドジェスチャーをやり直す旨の表示を行う。
【００８６】
検査作業が完了すると、サーバ装置３０は、検査作業の結果（誰が、いつ、どこで、どの製品の目視検査をどれだけの時間をかけて、検査を行ったか等の情報や、撮影データ等）を検査結果記憶手段３７に記憶させる（ステップＳ１２）。なお、例えば、記憶する容量が大きくなることを回避するために、撮影データの代わりに所定の代表的な画像データのみを記憶するようにしてもよい。
【００８７】
例えば、検査員が予めウェアラブル端末２０に自身の名前や検査場所等を示す情報を登録しておき、ウェアラブル端末２０は、検査作業完了時にこれらの情報をサーバ装置３０に送信するようにしてもよい。また、例えば、検査開始時にこれらの情報をサーバ装置３０に登録しておき、サーバ装置３０が、各判定処理が完了する度に、検査員の名前や検査場所、判定処理を行った時間を示す情報とともに、判定結果を検査結果記憶手段３７に記憶させるようにしてもよい。
【００８８】
このように、検査作業の結果（誰が、いつ、どこで、どの製品の目視検査をどれだけの時間をかけて、検査を行ったか等の情報や、撮影データ等）を検査結果記憶手段３７に記憶させることで、検査結果を後で活用することができる。例えば、検査結果の統計データを用いて、見落としやすい検査箇所等を特定し、予め注意喚起することもできる。この場合、例えば、検査結果管理手段３９は、統計データとして、目視検査判定手段３５による判定結果やハンドジェスチャー判定手段３７による判定結果を統計して、検査員の検査の見落とし回数を求め、検査結果記憶手段３７に記憶させておく。そして、検査結果管理手段３９は、検査結果記憶手段３７が統計データとして記憶する見落とし回数が所定の閾値を超えたか否かを判定し、所定の閾値を超えた場合には、検査員が見落としやすい検査箇所であると判定する。そして、検査結果管理手段３９は、見落としやすい検査箇所である旨をヘッドマウントディスプレイ装置１０に映像表示させたり、音声出力させたりする制御を行うことによって、予め検査員に注意喚起させることもできる。
【００８９】
次いで、検査箇所の判定処理（図２のステップＳ６）について図３を用いて説明する。図３は、検査箇所判定手段３４が実行する検査範囲判定処理の一例を示すフロー図である。
【００９０】
図２のステップＳ５において画像補正手段３３が撮影データを補正すると、検査箇所判定手段３４は、画像補正手段３３が補正した視界画像データと、検査範囲判定用のパターンデータ（例えば、図８に示すような検査範囲の画像データ）とをマッチングし、類似度を算出する（図３のステップＳ１０１）。なお、検査範囲判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
【００９１】
次いで、検査箇所判定手段３４は、算出した類似度が予め定められた検査範囲判定用の閾値以上であるか否かを判定する（図３のステップＳ１０２）。
【００９２】
ステップＳ１０２において、検査範囲判定用の閾値以上であると判定すると、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致していると判定する（図３のステップＳ１０３）。
【００９３】
一方、ステップＳ１０２において、検査範囲判定用の閾値未満であると判定すると、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致していないと判定する（図３のステップＳ１０４）。そして、一致していなければ、検査箇所判定手段３４は、正確に検査範囲を見るように指示情報をウェアラブル端末２０に送信する。
【００９４】
次に、検査箇所に問題があるか否かを判定する処理について説明する。図４は、検査箇所判定手段３４が実行する検査箇所判定処理の一例を示すフロー図である。
【００９５】
検査箇所判定手段３４は、作業視界と検査範囲とが一致していると判定した後に、視界画像データから検査箇所付近の部分画像データを抽出する（図４のステップＳ１１１）。例えば、サーバ装置３０が検査範囲内における各検査箇所の位置を示す座標データを予め記憶しておき、検査箇所判定手段３４は、その座標データに従って、視界画像データから検査箇所付近の部分画像データを抽出する。
【００９６】
次いで、検査箇所判定手段３４は、抽出した部分画像データと、異常検査項目判定用のパターンデータ（例えば、検査箇所に正しく部品が取り付けられていない画像データ）とをマッチングし、類似度を算出する（図４のステップＳ１１２）。なお、異常検査項目判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
【００９７】
次いで、検査箇所判定手段３４は、算出した類似度が予め定められた異常検査項目判定用の閾値以上であるか否かを判定する（図４のステップＳ１１３）。
【００９８】
ステップＳ１１３において異常検査項目判定用の閾値未満であると判定した場合、検査箇所判定手段３４は、抽出した部分画像データと、検査項目判定用のパターンデータ（例えば、検査箇所に正しく部品が取り付けられている画像データ）とをマッチングし、類似度を算出する（図４のステップＳ１１４）。なお、検査項目判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
【００９９】
次いで、検査箇所判定手段３４は、算出した類似度が予め定められた検査項目判定用の閾値以上であるか否か（例えば、９０％以上であるか否か）を判定する（図４のステップＳ１１５）。
【０１００】
ステップＳ１１５において検査項目判定用の閾値以上であると判定した場合、検査箇所判定手段３４は、検査箇所に問題がないと判定する（図４のステップＳ１１６）。
【０１０１】
一方、ステップＳ１１３において異常検査項目判定用の閾値以上であると判定した場合、またはステップＳ１１５において検査項目判定用の閾値未満であると判定した場合には、検査箇所判定手段３４は、検査箇所に問題があると判定する（図４のステップＳ１１７）。
【０１０２】
上記の処理によって、検査箇所判定手段３４は、検査箇所に問題があるか否かを判定することができる。なお、ステップＳ１１２およびＳ１１３と、ステップＳ１１４およびステップＳ１１５の処理の順序を逆にしてもよい。また、本実施形態では、ステップＳ１１２，Ｓ１１３の判定処理とステップＳ１１４，Ｓ１１５の判定処理との両方を行う場合を説明したが、いずれか一方のみの判定処理を行ってもよい。また、本実施形態では、検査箇所判定手段３４は、異常検査項目判定用の閾値以上である場合、又は検査項目判定用の閾値未満である場合のうちのいずれか一方の条件でも満たせば、検査箇所に問題があると判定する場合を示したが、本実施形態で示した判定方法にかぎられない。例えば、検査箇所判定手段３４は、異常検査項目判定用の閾値以上である場合、及び検査項目判定用の閾値未満である場合の両方の条件を満たしたときに、検査箇所に問題があると判定するようにしてもよい。
【０１０３】
また、例えば、検査員が検査範囲を見ているか否かや、各検査箇所の異常の有無をバーコードやＱＲ（Quick Response）コード等のコード情報を用いて判定できるように構成してもよい。以下、図５を用いて予め検査対象の製品等にバーコードやＱＲコードを付しておく場合の処理について説明する。なお、バーコードやＱＲコードは、対象製品に取り付けられるべきビスやシール等の部品（検査箇所に相当）に予め付されているものとする。ただし、検査員が検査範囲を見ているか否かを判定するためだけに用いるために、検査箇所以外の場所にバーコードやＱＲコードが付されていてもよい。なお、ＱＲコードは、株式会社デンソーの登録商標である。
【０１０４】
この場合、検査箇所判定手段３４は、画像補正手段３３が補正した視界画像データから検査箇所の部分画像データ（正しく部品等が装着されていれば、バーコードやＱＲコードが含まれる画像）を抽出する（図５のステップＳ１２１）。
【０１０５】
次いで、検査箇所判定手段３４は、抽出した部分画像データと検査範囲判定用のバーコードやＱＲコードを含む画像データとを比較する（図５のステップＳ１２２）。なお、検査範囲判定用のバーコードやＱＲコードを含む画像データは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
【０１０６】
次いで、検査箇所判定手段３４は、抽出したバーコードやＱＲコードの数や種類が、検査範囲判定用のバーコードやＱＲコードと一致するか否かを判定する（図５のステップＳ１２３）。具体的には、検査箇所判定手段３４は、検査箇所毎に抽出した部分画像データと検査範囲判定用のバーコードやＱＲコードを含む画像データとの類似度を求め、類似度が所定の閾値以上であれば、その検査箇所に対応するバーコードやＱＲコードが検出されたと判定する。そして、検査箇所判定手段３４は、検査範囲に含まれる全ての検査箇所に対応するバーコードやＱＲコードを検出したか否かを判定する。
【０１０７】
ステップＳ１２３において一致すると判定した場合には、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致していると判定する（図５のステップＳ１２４）。また、ステップＳ１２３において一致すると判定した場合には、例えば、検査箇所判定手段３４は、検出したバーコードやＱＲコードに対応するビスやシール等の検査箇所に異常がないと判定する。
【０１０８】
ステップＳ１２４において一致しないと判定した場合には、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致していないと判定する（図５のステップＳ１２５）。また、ステップＳ１２４において一致しないと判定した場合には、例えば、検査箇所判定手段３４は、検出されなかったバーコードやＱＲコードに対応するビスやシール等の検査箇所に異常があると判定する。
【０１０９】
以上の処理によって、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致しているか否かを判定し、さらに、検査箇所に問題があるか否かを判定することができる。
【０１１０】
次に、目視検査の判定処理（図２のステップＳ８）について図６を用いて説明する。図６は、目視検査判定手段３５が実行する処理例を示すフロー図である。
【０１１１】
目視検査判定手段３５は、検査員が特定の検査箇所に視点を移した後の視界画像データ（例えば、特定の検査箇所が画面のほぼ中心に位置している画像）と目視検査判定用のパターンデータとに基づいて、検査員の視点と検査箇所とが一致しているか否かを判定する（図６のステップＳ２０１）。目視検査判定用のパターンデータには、例えば、検査箇所ごとの画像データや、特定の検査箇所を中心とする画像データ等を用いることができる。なお、目視検査判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
【０１１２】
例えば、目視検査判定手段３５は、視界画像データから検査員の視点となる部分の部分画像データ（例えば、視界画像データ中の中心付近の特定の検査箇所が含まれる部分の画像）を抽出し、抽出した部分画像データと、目視検査判定用のパターンデータ（検査箇所ごとの画像データ）との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、目視検査判定手段３５は、検査員の視点と検査箇所とが一致していると判定する。
【０１１３】
なお、この場合、目視検査判定手段３５は、部分画像データを抽出することなく、視界画像データ全体をパターンデータとマッチング処理して類似度を算出してもよい。ただし、検査員の視点が特定の検査箇所中心に移動した後であっても、視界画像データ中に他の検査箇所が含まれている場合もあるため、検査員が注視している検査箇所周辺の部分画像データを切り出してマッチング処理を行うことによって、より精度を高めることができる。
【０１１４】
ステップＳ２０１において一致していると判定した場合、目視検査判定手段３５は、検査員の視点と検査箇所とが一致した状態のまま、所定時間（例えば、３秒）経過したか否かを判定する（図６のステップＳ２０２）。
【０１１５】
具体的には、目視検査判定手段３５は、予め登録されている製品等の検査箇所Ｃｈｅｃｋ１、Ｃｈｅｃｋ２、Ｃｈｅｃｋ３が、それぞれ撮影データに所定時間記録されているか否かを判定する。例えば、目視検査判定手段３５は、所定期間経過後に再度視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと検査箇所の画像データとの類似度が閾値以上である場合に、一致した状態のままであると判定する。
【０１１６】
そして、所定時間経過したと判定すると、目視検査判定手段３５は、目視検査が行われたと判定する（図６のステップＳ２０３）。
【０１１７】
一方、ステップＳ２０１において検査員の視点と検査箇所とが一致していないと判定した場合、またはステップＳ２０２において所定期間経過しなかったと判定した場合には、目視検査判定手段３５は、目視検査が行われていないと判定する（図６のステップＳ２０４）。その後、目視検査判定手段３５は、上記の処理を検査箇所ごとに繰り返し行う。
【０１１８】
以上の処理によって、目視検査判定手段３５は、検査箇所ごとに目視検査が行われたか否かを判定することができる。つまり、目視検査判定手段３５は、ヘッドマウントディスプレイ装置１０に搭載されたカメラが撮影した映像に検査データ記憶手段３１に登録されている検査箇所が数秒間映っているか否かを判断し、数秒間動かずに映っていれば、検査員が確実に目視検査を行っていると判断することができる。
【０１１９】
次に、ハンドジェスチャーの判定処理（図２のステップＳ１０）について図７を用いて説明する。図７は、ハンドジェスチャー判定手段３６が実行する処理例を示すフロー図である。
【０１２０】
ハンドジェスチャー判定手段３６は、視界画像データとハンドジェスチャー用のパターンデータとに基づいて、検査員の視点と検査箇所とが一致しているか否かを判定する（図７のステップＳ３０１）。
【０１２１】
例えば、ハンドジェスチャー判定手段３６は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、ハンドジェスチャー判定用のパターンデータ（検査箇所ごとの画像データ）との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、ハンドジェスチャー判定手段３６は、検査員の視点と検査箇所とが一致していると判定する。なお、ハンドジェスチャー用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
【０１２２】
なお、この場合、ハンドジェスチャー判定手段３６は、部分画像データを抽出することなく、視界画像データ全体をパターンデータとマッチング処理して類似度を算出してもよい。ただし、検査員の視点が特定の検査箇所中心に移動した後であっても、視界画像データ中に他の検査箇所が含まれている場合もあるため、検査員が注視している検査箇所周辺の部分画像データを切り出してマッチング処理を行うことによって、より精度を高めることができる。
【０１２３】
ステップＳ３０１において一致していると判定すると、ハンドジェスチャー判定手段３６は、撮影データから、最新の視界画像データを抽出する（ステップＳ３０２）。
【０１２４】
次いで、ハンドジェスチャー判定手段３６は、抽出した視界画像データから検査箇所周辺の部分画像データ（例えば、検査員は検査箇所を注視している筈なので、視界画像データ中の中央付近の検査箇所が含まれている画像）を抽出する。そして、ハンドジェスチャー判定手段３６は、抽出した画像データと、動作前のハンドジェスチャーのパターンデータ（例えば、図１０の検査員の手が検査箇所付近に伸びている状態の画像データ）との類似度を算出する（図７のステップＳ３０３）。
【０１２５】
なお、本実施形態では、単に検査員が検査箇所を指等で触ったか否かを判定するだけではなく、検査員が検査箇所を触った状態で一連の検査動作を行ったか否か（例えば、検査箇所を指等でなぞって見たか否か）も判定する。そのため、本実施形態では、ハンドジェスチャー用のパターンデータとして、動作前のパターンデータと動作後のパターンデータとを用い、動作前のパターンデータとのマッチング処理をクリアした後に、さらに動作後のパターンデータとのマッチング処理もクリアしたことを条件に、一連の検査動作が行われたと判定する。
【０１２６】
次いで、ハンドジェスチャー判定手段３６は、算出した類似度が閾値以上であるか否かを判定する（図７のステップＳ３０４）。
【０１２７】
ステップＳ３０４において閾値以上であると判定した場合、ハンドジェスチャー判定手段３６は、所定期間後に、撮影データから最新の視界画像データを抽出する（ステップＳ３０５）。
【０１２８】
次いで、ハンドジェスチャー判定手段３６は、抽出した視界画像データから手の形状を特定し、特定した部分の画像データを抽出する。そして、ハンドジェスチャー判定手段３６は、抽出した画像データと、動作後のハンドジェスチャーのパターンデータ（例えば、図１１の検査員の指が検査箇所に触れている状態の画像データ）との類似度を算出する（図７のステップＳ３０６）。
【０１２９】
次いで、ハンドジェスチャー判定手段３６は、算出した類似度が閾値以上であるか否かを判定する（図７のステップＳ３０７）。
【０１３０】
ステップＳ３０８において閾値以上であると判定した場合、ハンドジェスチャー判定手段３６は、所定のハンドジェスチャーが行われたと判定する（図７のステップＳ３０８）。
【０１３１】
一方、ステップＳ３０４またはステップＳ３０８において閾値未満であると判定した場合、ハンドジェスチャー判定手段３６は、所定のハンドジェスチャーが行われていないと判定する（図７のステップＳ３０９）。
【０１３２】
以上の処理により、ハンドジェスチャー判定手段３６は、検査員が所定のハンドジェスチャーを行ったか否かを判定することができる。
【０１３３】
なお、判定処理の精度を高めるために、例えば、ハンドジェスチャーの前後に限らず、上記の処理を複数回繰り返し、動作の途中の形状についても判定するようにしてもよい。また、指等を用いた接触検査を行う場合に限らず、例えば、指等が入らないようなスペースの検査を行う場合には、指し棒等の検査用の治具を用いて接触検査を行う場合の判定に適用してもよい。
【０１３４】
なお、作業員による検査作業が行われた後、管理者等は、サーバ装置３０にアクセスして検査作業の各種管理業務を行う。例えば、サーバ装置３０の検査結果管理手段３９は、管理者等の操作に従って、検査結果記憶手段３７から各種検査結果の情報を抽出し、ディスプレイ装置等の表示装置に表示する。
【０１３５】
また、例えば、検査結果管理手段３９は、管理者等の操作に従って、検査結果記憶手段３７が記憶する情報に基づいて統計処理を行い、検査作業における各種統計データを求める。例えば、検査結果管理手段３９は、検査結果記憶手段３７が記憶する検査箇所判定手段３４による判定結果を統計し、検査対象製品中の検査箇所毎の異常の発生頻度の統計値を求める。また、例えば、検査結果管理手段３９は、検査結果記憶手段３７が記憶する目視検査判定手段３５による判定結果やハンドジェスチャー判定手段３７による判定結果を統計し、作業員毎の目視検査やハンドジェスチャーによる検査の作業漏れの頻度の統計値を求める。
【０１３６】
上記のように構成することによって、検査結果記憶手段３７に記憶した各種検査結果の情報に基づいて、検査作業の管理を支援できるとともに、検査作業に関する各種統計データを求めることができ、検査結果を有効活用して検査作業の効率化の支援に役立てることができる。
【０１３７】
以上のように、本実施形態では、確認業務支援システムは、予め登録された検査データと検査員の視界に近い映像とに基づいて、検査箇所に問題があるか否か、所定の検査が正しく行われているか否かを判定し、判定結果を検査員に対して表示する。従って、検査員は的確かつ迅速に検査業務を行うことができる。例えば、一般的な検査方法では、人間が目視検査を行っているため、検査員が掛かりきりになってコストがかかることや、検査の精度に個人差（バラツキ）があること、間違いが発生すること等、精度に課題があったが、本実施形態によれば、検査箇所に問題があるか否かや、所定の検査が正しく行われているか否かの判定結果を検査員に提示できるので、検査の精度を向上させることができる。
【０１３８】
また、一般的な検査方法では、目視検査の状況や結果が人間によって報告されているため、管理者にとっては目視検査の工程・プロセスを把握し、管理することが困難という課題がある。これに対して、本実施形態では、検査員を識別する情報等とともに検査結果の情報を記憶することができるため、上記課題を解決することができる。
【０１３９】
なお、本実施形態では、サーバ装置３０が検査データ記憶手段３１や検査結果記憶手段３７、各判定手段等を備えている例について説明したが、これらの手段をヘッドマウントディスプレイ装置１０またはウェアラブル端末２０が備えていてもよい。
【０１４０】
例えば、ヘッドマウントディスプレイ装置１０は、上記の構成要素に加えて、検査データ記憶手段３１、データ送受信手段３２、画像補正手段３３、検査箇所判定手段３４、目視検査判定手段３５、ハンドジェスチャー判定手段３６および検査結果記憶手段３７を含むようにしてもよい。
【０１４１】
この場合には、ヘッドマウントディスプレイ装置１０は、ウェアラブル装置２０やサーバ装置３０を必要とせず、単独で処理を完結することができる。
【０１４２】
また、例えば、ウェアラブル端末２０は、上記の構成要素に加えて、検査データ記憶手段３１、データ送受信手段３２、画像補正手段３３、検査箇所判定手段３４、目視検査判定手段３５、ハンドジェスチャー判定手段３６および検査結果記憶手段３７を含むようにしてもよい。
【０１４３】
この場合には、ウェアラブル端末２０が上述のサーバ装置３０の処理を実行することができ、ネットワーク１００を介してデータを送受信することなく、本実施形態と同等の効果を得ることができる。
【０１４４】
次に、本発明による確認業務支援システムの最小構成について説明する。図１２は、確認業務支援システムの最小の構成例を示すブロック図である。図１２に示すように、確認業務支援システムは、最小の構成要素として、ヘッドマウントディスプレイ装置１０に設けられた撮影手段１と、異常判定手段２とを備えている。
【０１４５】
図１２に示す最小構成の確認業務支援システムでは、ヘッドマウントディスプレイ装置１０は、少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示する。また、撮影手段１は、ヘッドマウントディスプレイ装置１０を装着して検査情報に従って検査を行う検査員の視界に近い画像を撮影する。そして、異常判定手段２は、撮影手段１が撮影した画像と検査範囲画像とに基づいて、検査範囲中の異常個所を判定する。
【０１４６】
従って、最小構成の確認業務支援システムによれば、各種確認作業の精度を高めることができる。
【０１４７】
なお、本実施形態では、以下の（１）〜（１３）に示すような確認業務支援システムの特徴的構成が示されている。
【０１４８】
（１）確認業務支援システムは、少なくとも確認範囲を特定可能な確認範囲画像（例えば、図８に示す画像）を含む確認情報を表示可能なヘッドマウントディスプレイ装置（例えば、ヘッドマウントディスプレイ装置１０によって実現される）と、ヘッドマウントディスプレイ装置に設けられた撮影手段（例えば、映像入力手段１２によって実現される）と、撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段（例えば、検査箇所判定手段３４によって実現される）とを備えたことを特徴とする。
【０１４９】
（２）確認業務支援システムにおいて、異常判定手段は、撮影手段が撮影した画像から確認箇所を含む部分画像（例えば、ステップＳ１１１で抽出する部分画像データ）を抽出し、抽出した部分画像と確認箇所のパターンデータとの照合処理を実行して、確認箇所に異常があるか否かを判定するように構成されていてもよい。
【０１５０】
（３）確認業務支援システムは、撮影手段が撮影した画像を用いた画像処理を行って、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所を所定期間以上目視したか否かを判定する目視確認判定手段（例えば、目視検査判定手段３５によって実現される）を備えるように構成されていてもよい。
【０１５１】
（４）確認業務支援システムは、撮影手段が撮影した画像を用いた画像処理を行って、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所の接触確認を行ったか否かを判定する接触確認判定手段（例えば、ハンドジェスチャー判定手段３６によって実現される）を備えるように構成されていてもよい。
【０１５２】
（５）確認業務支援システムにおいて、異常判定手段は、抽出した部分画像と確認箇所のパターンデータとの類似度を算出し、算出した類似度と所定の閾値との比較処理を行って、確認箇所に異常があるか否かを判定するように構成されていてもよい。
【０１５３】
（６）確認業務支援システムにおいて、異常判定手段は、抽出した部分画像と確認箇所が正常である場合のパターンデータとの類似度を算出し、算出した類似度が所定の正常時用閾値未満であると判定すると、確認箇所に異常があると判定するように構成されていてもよい。
【０１５４】
（７）確認業務支援システムにおいて、異常判定手段は、抽出した部分画像と確認箇所に異常がある場合のパターンデータとの類似度を算出し、算出した類似度が所定の異常時用閾値以上であると判定すると、確認箇所に異常があると判定するように構成されていてもよい。
【０１５５】
（８）確認業務支援システムにおいて、目視確認判定手段は、所定の時点で撮影手段が撮影した画像と所定の目視確認用のパターンデータとの類似度が所定の目視確認用閾値以上であるとともに、所定の時点から所定時間経過後に撮影手段が撮影した画像と所定の目視確認用のパターンデータとの類似度が所定の目視確認用閾値以上であると判定したことに基づいて、作業員が確認箇所を所定期間以上目視したと判定するように構成されていてもよい。
【０１５６】
（９）確認業務支援システムにおいて、接触確認判定手段は、撮影手段が撮影した画像を用いた画像処理を行って、接触確認として、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所に接触した状態で所定の確認動作を行ったか否かを判定するように構成されていてもよい。
【０１５７】
（１０）確認業務支援システムにおいて、接触確認判定手段は、所定の時点で撮影手段が撮影した画像と所定の確認動作中の第１の動作のパターンデータとの類似度が所定の閾値以上であり、かつ所定の時点以外の時点で撮影手段が撮影した画像と所定の確認動作中の第２の動作のパターンデータとの類似度が所定の閾値以上である場合に、作業員が所定の確認箇所に接触した状態で所定の確認動作を行ったと判定するように構成されていてもよい。
【０１５８】
（１１）確認業務支援システムにおいて、異常判定手段は、撮影手段が撮影した画像を用いた画像処理を行って、撮影手段が撮影した画像中に含まれる所定のコードデータ（例えば、バーコードやＱＲコード）を検出し、検出した所定のコードデータに基づいて、確変範囲中の異常箇所を判定するように構成されていてもよい。
【０１５９】
（１２）確認業務支援システムは、異常判定手段による判定結果を記憶する判定結果記憶手段（例えば、検査結果記憶手段３７によって実現される）と、判定結果記憶手段が記憶する判定結果を管理する判定結果管理手段（例えば、検査結果管理手段３９によって実現される）とを備えるように構成されていてもよい。
【０１６０】
（１３）確認業務支援システムにおいて、判定結果管理手段は、判定結果記憶手段が記憶する判定結果を用いた統計処理を行い、確認作業の統計データを求めるように構成されていてもよい。
【産業上の利用可能性】
【０１６１】
本発明は、製造ライン等での検査業務や保守業務における各種確認作業を支援する用途に適用可能である。
【符号の説明】
【０１６２】
１ 撮影手段
２ 異常判定手段
１０ ヘッドマウントディスプレイ装置
１１ 映像表示手段
１２ 映像入力手段
１３ 音声入出力手段
２０ ウェアラブル端末
２１ データ送受信手段
２２ 通信手段
３０ サーバ装置
３１ 検査データ記憶手段
３２ データ送受信手段
３３ 画像補正手段
３４ 検査箇所判定手段
３５ 目視検査判定手段
３６ ハンドジェスチャー判定手段
３７ 検査結果記憶手段
３８ 通信手段
３９ 検査結果管理手段
【技術分野】
【０００１】
本発明は、確認業務を支援する確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法および確認業務支援プログラムに関する。
【背景技術】
【０００２】
製造ラインで行われる検査作業や保守業務における点検作業等の各種確認作業を支援するために、さまざまな技術が用いられている。例えば、特許文献１には、ヘッドマウントディスプレイ装置を活用して、半導体ウェハの基板等の被検体の外観を検査者の目視によって検査する外観検査装置が記載されている。
【０００３】
また、特許文献２には、半導体プロセスにおいて、色の違いによって検査対象物を判別する検査方法や検査装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００７／１４１８５７号
【特許文献２】特開２００６−２３７５８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的に工場での目視検査は、検査員が自分の目で製品の品質を確認することによって行われている。しかし、人間が目視検査を行っているため、精度に課題があった。
【０００６】
また、特許文献１に記載された装置では、外観検査時の欠陥画像の共有化を図るにすぎず、個々の検査員の検査業務や保守作業員の点検業務における確認作業の精度を高めること等はできない。
【０００７】
また、特許文献２に記載された方法は、半導体向けであるため、検査員が目視で行うような検査や保守作業員の点検業務における確認作業を支援する用途には適用することはできない。
【０００８】
そこで、本発明は、各種確認作業の精度を高めることができる確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法および確認業務支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明による確認業務支援システムは、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置と、ヘッドマウントディスプレイ装置に設けられた撮影手段と、撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段とを備えたことを特徴とする。
【００１０】
本発明によるサーバ装置は、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段を備えたことを特徴とする。
【００１１】
本発明によるヘッドマウントディスプレイ装置は、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能な表示制御手段と、撮影手段と、撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段とを備えたことを特徴とする。
【００１２】
本発明によるウェアラブル端末は、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段を備えたことを特徴とする。
【００１３】
本発明による確認業務支援方法は、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報をヘッドマウントディスプレイ装置に表示し、ヘッドマウントディスプレイ装置に設けられた撮影手段が画像を撮影し、撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定することを特徴とする。
【００１４】
本発明による確認業務支援プログラムは、コンピュータに、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定処理を実行させるためのものである。
【発明の効果】
【００１５】
本発明によれば、各種確認作業の精度を高めることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明による確認業務支援システムの機能構成例を示す機能ブロック図である。
【図２】確認業務支援システムの動作例を示すシーケンス図である。
【図３】検査範囲判定処理の一例を示すフロー図である。
【図４】検査箇所判定処理の一例を示すフロー図である。
【図５】検査範囲判定処理の一例を示すフロー図である。
【図６】目視検査判定処理の一例を示すフロー図である。
【図７】ハンドジェスチャー判定処理の一例を示すフロー図である。
【図８】検査データの一例を示す説明図である。
【図９】映像表示手段１１が検査データを表示している状態での検査員の視界の一例を示す説明図である。
【図１０】動作前の画像例を示す説明図である。
【図１１】動作後の画像例を示す説明図である。
【図１２】確認業務支援システムの最小の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について図面を参照して説明する。図１は、本発明による確認業務支援システムの機能構成例を示す機能ブロック図である。図１に示すように、確認業務支援システムは、ヘッドマウントディスプレイ装置１０と、ウェアラブル端末２０と、サーバ装置３０とを含む。
【００１８】
なお、本実施形態では、確認業務支援システムが工場等の製造ラインにおける検査業務を支援する場合を示しているが、本実施形態で示したものに限られない。例えば、保守業務における点検作業を支援する用途に適用してもよい。すなわち、確認業務支援システムによって支援可能な確認作業には、製造ラインにおける検査作業に加えて、保守業務における点検作業等、様々な作業が含まれる。
【００１９】
ヘッドマウントディスプレイ装置１０とウェアラブル端末とは、有線または無線で相互に接続されている。また、ウェアラブル端末２０とサーバ装置３０とは、無線ＬＡＮ（８０２.１１ａ／ｂ／ｇ／ｎ）や３Ｇ、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等のネットワーク１００（図示せず）を介して相互に接続されている。
【００２０】
ヘッドマウントディスプレイ装置１０は、具体的には、メガネ型網膜走査ディスプレイ装置によって実現される。図１に示すように、ヘッドマウントディスプレイ装置１０は、映像表示手段１１、映像入力手段１２および音声入出力手段１３を含む。
【００２１】
なお、本実施形態では、メガネ型のヘッドマウントディスプレイ装置１０を用いるが、これに限らず、頭部に装着可能であれば、例えばヘルメット型であってもよい。また、本実施形態では、網膜上に映像を投影する方式のヘッドマウントディスプレイ装置１０を用いるが、これに限らず、例えば、ハーフミラーを用いた光学方式のものであってもよい。また、例えば、液晶ディスプレイ型等の網膜照射型以外のディスプレイを用いたものであってもよい。また、例えば、外部を直接見るのではなく、カメラで撮影した外部画像を投影するタイプのものでもよい。本実施形態では、一般的な表現に従い、メガネ型やヘルメット型、網膜照射型や光学方式型等を全て包括してヘッドマウントディスプレイ装置という。
【００２２】
映像表示手段１１は、安全な明るさの光を網膜に当て、高速で動かし、その残像効果を利用して直接網膜上に映像を投影する機能を備えている。映像表示手段１１が網膜上に映像を投影することによって、ユーザは、通常肉眼で認識する作業視界とともに、投影された検査データを認識可能となる。
【００２３】
映像入力手段１２は、作業現場の映像を撮影し、撮影データをウェアラブル端末２０に出力する機能を備えている。映像入力手段１２は、具体的には、ヘッドマウントディスプレイ装置１０が搭載するカメラによって実現される。そして、このカメラは、撮影する映像とヘッドマウントディスプレイ装置１０を装着する検査員の視界とがほぼ一致するように配置されている。例えば、メガネのブリッジ部分に配置されている。そのため、映像入力手段１２は、検査員の視界に近い映像を撮影することができる。ただし、検査員の視界と実際の撮影画像とは多少の位置の差があるので、本実施形態では、後述するように、映像入力手段１２によって撮影した映像に画像補正手段３３を用いて補正処理を施している。
【００２４】
音声入出力手段１３は、具体的には、マイクロフォン等の音声入力装置と入出力部とによって実現される。音声入出力手段１３は、作業現場の音声を収集し、音声データをウェアラブル端末２０に出力する機能を備えている。また、音声入出力手段１３は、ウェアラブル端末２０が出力する音声データを再生する機能を備えている。なお、音声入出力手段１３は、ヘッドマウントディスプレイ装置１０ではなく、ウェアラブル端末２０に含まれていてもよい。
【００２５】
ウェアラブル端末２０は、具体的には、検査員が体に身に付けられる小型の情報処理装置によって実現され、プログラムに従って動作する。ウェアラブル端末２０は、ＣＰＵ（Central Processing Unit ）やメモリ等の記憶装置を備え、データ送受信手段２１と、通信手段２２とを含む。
【００２６】
データ送受信手段２１は、具体的には、プログラムに従って動作するＣＰＵによって実現される。データ送受信手段２１は、通信手段２２を用いて、サーバ装置３０との間で検査データや撮影データ等を送受信する機能を備えている。データ送受信手段２１は、通信手段２２を用いて、サーバ装置３０からネットワーク１００を介して受信した検査データをヘッドマウントディスプレイ装置１０に出力する機能を備えている。また、データ送受信手段２１は、通信手段２２を用いて、映像入力手段１２が出力した撮影データを、ネットワーク１００を介して、サーバ装置３０に送信する機能を備えている。
【００２７】
通信手段２２は、有線通信や無線通信（無線ＬＡＮ（８０２.１１ａ／ｂ／ｇ／ｎ）、３Ｇ、ＷｉＭＡＸ、ＬＴＥ等）に対応可能なモジュールによって実現され、ネットワーク１００を介してサーバ装置３０と通信を行う機能を備えている。
【００２８】
サーバ装置３０は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。サーバ装置３０は、検査員が行う検査業務を支援し、管理する機能を備えている。
【００２９】
図１に示すように、サーバ装置３０は、検査データ記憶手段３１、データ送受信手段３２、画像補正手段３３、検査箇所判定手段３４、目視検査判定手段３５、ハンドジェスチャー判定手段３６、検査結果記憶手段３７および通信手段３８を含む。
【００３０】
検査データ記憶手段３１は、具体的には、光ディスク装置や磁気ディスク装置等の記憶装置によって実現される。検査データ記憶手段３１は、検査を行う対象製品の画像データや、検査に必要なデータ（例えば、検査項目や検査箇所、検査範囲等）、検査マニュアルのデータ、判定処理に用いるパターンデータ等を記憶する。なお、これらデータは、例えば、予め検査業務の管理者によって検査データ記憶手段３１に登録される。以下、これらのデータを検査データともいう。
【００３１】
データ送受信手段３２は、具体的には、プログラムに従って動作するＣＰＵによって実現される。データ送受信手段３２は、通信手段３８を用いて、検査データ記憶手段３１が記憶する検査データを、ネットワーク１００を介してウェアラブル端末２０に送信する機能を備えている。また、データ送受信手段３２は、通信手段３８を用いて、ウェアラブル端末２０がネットワーク１００を介して送信する撮影データを受信する機能を備えている。
【００３２】
画像補正手段３３は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。画像補正手段３３は、カメラで撮影した映像を検査員の視界により近づけるために、ウェアラブル端末２０から受信した撮影データを補正する機能を備えている。例えば、予めヘッドマウントディスプレイ装置１０に配置されたカメラの位置と、ヘッドマウントディスプレイ装置１０装着時の検査員の目の位置との誤差を補正するためのオフセット値を登録しておく。そして、画像補正手段３３は、撮影データにオフセット値を演算することにより、検査員の視界に近くなるように画像を補正する。以下、画像補正手段３３が補正した画像を視界画像データともいう。
【００３３】
検査箇所判定手段３４は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。検査箇所判定手段３４は、画像補正手段３３が補正した視界画像データと、パターンデータとに基づいて、検査員の作業視界と検査範囲とが一致しているか否かを判定する機能を備えている。すなわち、検査員が、対象製品のうちの検査対象の範囲を見ている状態となっているか否かを判断する。検査範囲とは、対象製品のうちの検査箇所を全て含む範囲（全ての検査箇所を一望する範囲）である。
【００３４】
例えば、検査箇所判定手段３４は、視界画像データと検査範囲判定用のパターンデータ（例えば、検査範囲の画像データ）とをマッチングし、類似度を算出する。そして、検査箇所判定手段３４は、算出した類似度が予め定められた検査範囲判定用の閾値以上である場合に、検査員の作業視界と検査範囲とが一致していると判定する。
【００３５】
また、検査箇所判定手段３４は、視界画像データと、検査項目判定用のパターンデータとに基づいて、検査箇所に問題（例えば、部品の有無や取り付け場所の間違い等）があるか否かを判定する機能を備えている。
【００３６】
例えば、検査箇所判定手段３４は、視界画像データから検査箇所付近の部分画像データを抽出する。そして、検査箇所判定手段３４は、抽出した部分画像データと検査項目判定用のパターンデータ（例えば、検査箇所に正しくビスが取り付けられている状態やシールが貼ってある状態を示す画像データ）とをマッチングし、類似度を算出する。そして、検査箇所判定手段３４は、算出した類似度が予め定められた検査項目判定用の閾値以上である場合に、検査箇所に問題がないと判定する。また、検査箇所判定手段３４は、算出した類似度が閾値未満である場合に、検査箇所に問題があると判定する。
【００３７】
また、逆に、例えば、検査箇所判定手段３４は、部分画像データと、問題がある状態を示す異常検査項目判定用のパターンデータ（例えば、検査箇所のビスが外れている状態やシールが貼っていない状態を示す画像データ）との類似度を算出するようにしてもよい。この場合、検査箇所判定手段３４は、算出した類似度が予め定められた異常検査項目判定用の閾値未満である場合に、検査箇所に問題がないと判定する。また、検査箇所判定手段３４は、算出した類似度が予め定められた異常検査項目判定用の閾値以上である場合に、検査箇所に問題があると判定する。
【００３８】
例えば、検査箇所判定手段３４は、いずれか一方または両方のパターンデータとの比較によって検査箇所に問題がないと判定した場合に、それを最終的な判定結果とするようにしてもよい。また、例えば、上記の２つのパターンデータを組み合わせて用いてもよい。この場合、例えば、いずれか一方または両方のパターンデータとの比較によって検査箇所に問題があると判定した場合に、それを最終的な判定結果とするようにしてもよい。
【００３９】
また、例えば、予め検査対象の製品等にバーコードを付しておくようにしてもよい。この場合、検査箇所判定手段３４は、視界画像データからバーコードを抽出し、抽出したバーコードと検査範囲判定用のバーコードとが一致するか否かを判断し、一致する場合に検査員の作業視界と検査範囲とが一致していると判定する。なお、予め検査対象の製品等に複数のバーコードを付しておき、検査箇所判定手段３４は、それぞれ検査範囲判定用のバーコードと一致するか否かを判断することで、検査員の作業視界と検査範囲とが一致しているか否かを判定してもよい。
【００４０】
また、例えば、予めビスやシール等にバーコードを付しておくようにしてもよい。この場合、検査箇所判定手段３４は、視界画像データからビスに付されたバーコードを抽出し、抽出したバーコードと、検査データ記憶手段３１が記憶する検査箇所に対応づけられたバーコードとが一致するか否かを判定する。そして、一致する場合には、検査箇所判定手段３４は、所定の検査箇所にビスが存在するため、検査箇所に問題がないと判定する。
【００４１】
なお、検査箇所判定手段３４は、検査箇所付近の部分画像データを抽出することなく、視界画像データ全体と検査項目判定用のパターンデータとの類似度を算出し、類似度が閾値以上である場合に、検査箇所に問題がないと判定するようにしてもよい。この場合、検査対象製品の各検査箇所の異常の有無を個別に検出することはできないが、検査対象製品全体として何らかの異常があるか否かを大まかに検出することができる。
【００４２】
また、検査箇所判定手段３４は、上記の判定結果をウェアラブル端末２０に送信する機能を備えている。また、検査箇所判定手段３４は、判定結果を検査結果記憶手段３７に記憶させる機能を備えている。
【００４３】
目視検査判定手段３５は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。目視検査判定手段３５は、視界画像データと検査箇所ごとに用意されている目視検査判定用のパターンデータとに基づいて、目視検査が正しく行われたか否かを判定する機能を備えている。なお、目視検査とは、検査員が所定の検査箇所を目視して問題があるか否かを確認するものである。
【００４４】
例えば、検査員が検査対象製品中の特定の検査箇所に視点を移すと、目視検査判定手段３５は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、目視検査判定用のパターンデータ（検査箇所ごとの画像データ）との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、目視検査判定手段３５は、検査員の視点と検査箇所とが一致していると判定する。
【００４５】
次いで、目視検査判定手段３５は、検査員の視点と検査箇所とが一致していると判定した後に、一致した状態のまま所定期間（例えば、３秒間）経過した場合に、目視検査が正しく行われたと判定する。例えば、目視検査判定手段３５は、所定期間経過後に再度視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと検査箇所の画像データとの類似度が閾値以上である場合に、一致した状態のままであると判定する。なお、一致した状態の所定期間については、３秒間に限らず、それ以上でも以下でもよい。また、例えば、本実施形態では、所定時間（例えば、３秒間）の計測開始時と計測終了時とにパターンデータを用いたマッチング処理を行う場合を示しているが、このような方法にかぎらず、例えば、計測開始から計測終了までの間に複数回マッチング処理を行ってもよい。
【００４６】
目視検査判定手段３５は、上記の処理を、検査員がきちんと製品の検査箇所を目視して確認しているかを判断し、記録するために行う。つまり、ヘッドマウントディスプレイ装置に搭載されたカメラが撮影した映像に検査データ記憶手段３１に登録されている検査箇所が数秒間映っているか否かを判断し、数秒間動かずに映っていれば、検査員が確実に目視検査を行っていると判断することができる。
【００４７】
目視検査判定手段３５は、判定結果をウェアラブル端末２０に送信する機能を備えている。また、目視検査判定手段３５は、判定結果を検査結果記憶手段３７に記憶させる機能を備えている。
【００４８】
ハンドジェスチャー判定手段３６は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。ハンドジェスチャー判定手段３６は、撮影データとハンドジェスチャー用のパターンデータとに基づいて、所定のハンドジェスチャーが行われたか否かを判定する機能を備えている。なお、所定のハンドジェスチャーとは、具体的には、検査対象製品の検査箇所を実際に指などで触って確認する接触検査のことである。
【００４９】
例えば、ハンドジェスチャー判定手段３６は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、予め定められたハンドジェスチャー判定用のパターンデータ（検査箇所ごとの画像データ）との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、ハンドジェスチャー判定手段３６は、検査員の視点と検査箇所とが一致していると判定する。
【００５０】
次いで、ハンドジェスチャー判定手段３６は、検査員の視点と検査箇所とが一致していると判定した後に、視界画像データから検査箇所周辺の部分画像データ（例えば、検査箇所に指で接触を開始した画像）を抽出する。
【００５１】
次いで、ハンドジェスチャー判定手段３６は、抽出した部分画像データと、動作前のハンドジェスチャーのパターンデータ（例えば、後述する図１０に示す検査員の手が検査箇所付近に伸びている状態の画像データ）とが一致するか否かを判定する。例えば、ハンドジェスチャー判定手段３６は、類似度を算出し、算出した類似度が閾値以上である場合に、一致すると判定する。
【００５２】
次いで、一致すると判定すると、ハンドジェスチャー判定手段３６は、所定期間経過後の視界画像データから検査箇所周辺の部分画像データ（例えば、検査箇所に指で接触しながら所定の検査動作をし終えた画像）を抽出する。
【００５３】
次いで、ハンドジェスチャー判定手段３６は、抽出した部分画像データと、動作後のハンドジェスチャーのパターンデータ（例えば、後述する図１１に示す検査員の指が検査箇所に触れている状態の画像データ）とが一致するか否かを判定する。例えば、ハンドジェスチャー判定手段３６は、類似度を算出し、算出した類似度が閾値以上である場合に、一致すると判定する。
【００５４】
なお、例えば、目視検査判定手段３５による目視検査判定と同様に、ハンドジェスチャー判定手段３６は、検査箇所に触れている状態が所定時間継続しているか否かも判定するようにしてもよい。そして、検査箇所に触れている状態が所定時間継続している場合に、正しくハンドジェスチャーによる検査が行われたと判定するようにしてもよい。
【００５５】
以上の処理により、ある時点とそこから所定期間経過後の時点とで、特定した部分の画像データとパターンデータとが一致すると判定した場合に、ハンドジェスチャー判定手段３６は、所定のハンドジェスチャーが行われたと判定する。
【００５６】
なお、判定処理の精度を高めるために、例えば、ハンドジェスチャーの動作前後に限らず、上記の処理を複数回繰り返し、動作の途中の形状についても判定するようにしてもよい。また、指等を用いた接触検査を行う場合に限らず、例えば、指等が入らないようなスペースの検査を行う場合には、指し棒等の検査用の治具を用いて接触検査を行う場合の判定に適用してもよい。なお、この場合には、判定を容易にするために、予め定められた治具を用いるようにすることが好ましい。
【００５７】
また、ハンドジェスチャー判定手段３６は、例えば、音声入出力手段１３が収集したジェスチャー時に検査員が発した声の音声データと、予め定められた音声データとに基づいて、所定のハンドジェスチャーが行われたか否かを判定するようにしてもよい。
【００５８】
ハンドジェスチャー判定手段３６は、判定結果をウェアラブル端末２０に送信する機能を備えている。また、ハンドジェスチャー判定手段３６は、判定結果を検査結果記憶手段３７に記憶させる機能を備えている。
【００５９】
検査結果記憶手段３７は、具体的には、光ディスク装置や磁気ディスク装置等の記憶装置によって実現される。検査結果記憶手段３７は、検査箇所判定手段３４、目視検査判定手段３５及びハンドジェスチャー判定手段３６の判定結果や、検査業務プロセスの履歴データを記憶する。検査結果記憶手段３７は、例えば、誰が、いつ、どこで、どの製品の検査をどれだけの時間をかけて、検査を行ったか否か等を示すデータや、画像データを記憶する。
【００６０】
通信手段３８は、有線通信や無線通信（無線ＬＡＮ（８０２.１１ａ／ｂ／ｇ／ｎ）、３Ｇ、ＷｉＭＡＸ、ＬＴＥ等）に対応可能なモジュールによって実現され、ネットワーク１００を介してウェアラブル端末２０と通信を行う機能を備えている。
【００６１】
検査結果管理手段３９は、具体的には、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。検査結果管理手段３９は、管理者の操作に従って、検査結果記憶手段３７から各種検査結果の情報を抽出し出力（例えば、ディスプレイ装置等の表示装置に表示）する機能を備える。例えば、検査結果管理手段３９は、検査結果記憶手段３７から、検査員が検査範囲全体を見ているときの画像データや、特定の検査箇所を目視検査しているときの画像データ、ハンドジェスチャーによる検査を行っているときの画像データを抽出し、表示装置に表示する。また、例えば、検査結果管理手段３９は、検査結果記憶手段３７から、検査箇所判定手段３４による判定結果（例えば、検査箇所毎の異常の有無の判定結果）や、目視検査判定手段３５による判定結果（例えば、検査員が検査箇所毎に正しく目視検査を行ったか否かの判定結果）、ハンドジェスチャー判定手段３７による判定結果（例えば、検査員が正しくハンドジェスチャーによる検査を行ったか否かの判定結果）を抽出し、表示装置に表示する。
【００６２】
また、検査結果管理手段３９は、検査結果記憶手段３７が記憶する情報に基づいて統計処理を行い、検査作業における各種統計データを求める機能を備える。例えば、検査結果管理手段３９は、検査結果記憶手段３７が記憶する検査箇所判定手段３４による判定結果を統計し、検査対象製品中の検査箇所毎の異常の発生頻度の統計値を求める。また、例えば、検査結果管理手段３９は、検査結果記憶手段３７が記憶する目視検査判定手段３５による判定結果やハンドジェスチャー判定手段３７による判定結果を統計し、作業員毎の目視検査やハンドジェスチャーによる検査の作業漏れの頻度の統計値を求める。
【００６３】
次に、確認業務支援システムの動作について説明する。図２は、確認業務支援システムが実行する処理例を示すシーケンス図である。なお、予め検査対象の製品情報をサーバ装置３０に登録しているものとする。
【００６４】
検査作業を開始するにあたって、検査員は、ヘッドマウントディスプレイ装置１０を装着し、ウェアラブル端末２０を用いて検査データを取得するための操作を行う。すると、ウェアラブル端末２０（データ送受信手段２１）は、検査員の操作に従って、ネットワーク１００を介してサーバ装置３０に検査用データの取得要求を送信する（ステップＳ１）。
【００６５】
次いで、サーバ装置３０（データ送受信手段３２）は、受信した取得要求に基づいて、検査データ記憶手段３１から検査データを抽出し、ネットワーク１００を介してウェアラブル端末２０に送信する（ステップＳ２）。本実施形態では、データ送受信手段３２が検査データ記憶手段３１から抽出する検査データには、図８に示すような検査対象の製品情報等を表示するための画像データが含まれているものとする。
【００６６】
図８は、検査データの一例を示す説明図である。図８の左側の領域には、検査範囲のサンプル画像が表示され、右側には、作業手順等のマニュアルデータが表示される。検査作業中を通じて、検査員は、表示される作業手順に従って検査を行う。
【００６７】
次いで、ウェアラブル端末２０（データ送受信手段２１）は、受信した検査データをヘッドマウントディスプレイ装置１０に出力する。すると、ヘッドマウントディスプレイ装置１０（映像表示手段１１）は、ウェアラブル端末２０が出力した検査データを検査員の網膜に照射して表示する（ステップＳ３）。
【００６８】
図９は、映像表示手段１１が検査データを表示している状態での検査員の視界の一例を示す説明図である。図９に示すように、検査員が実際に見ている視界内に、検査データを重ね合わせて表示する。そのため、検査員は、視界の一部に図８の画像データを認識することができる。
【００６９】
なお、非透過型のヘッドマウントディスプレイ装置の場合、外部画像と検査データとを重畳表示してもよい。また、このとき、音声入出力手段１３は、検査データに含まれる検査内容を示す音声データを再生するようにしてもよい。
【００７０】
次いで、検査員は、ヘッドマウントディスプレイ装置を用いて撮影開始の操作を行うとともに、表示された検査範囲に合うように、頭を動かして視野を調整する。すると、ヘッドマウントディスプレイ装置１０（映像入力手段１２）は、撮影を開始し、撮影データをウェアラブル端末２０に出力する（ステップＳ４）。そして、ウェアラブル端末２０（データ送受信手段２１）は、ネットワーク１００を介して、撮影データをサーバ装置３０に送信する。なお、これ以降、映像入力手段１２は、継続して撮影を行うものとする。また、ウェアラブル端末２０（データ送受信手段２１）は、継続して撮影データをサーバ装置３０に送信するものとする。
【００７１】
なお、ヘッドマウントディスプレイ装置は、検査データの表示を開始したことに基づいて、自動的に撮影を開始してもよいし、検査員が手動で操作することによって、任意のタイミングで撮影を開始するようにしてもよい。
【００７２】
次いで、画像補正手段３３は、受信した撮影データを補正する（ステップＳ５）。例えば、予めヘッドマウントディスプレイ装置１０に配置されたカメラの位置と、ヘッドマウントディスプレイ装置１０装着時の検査員の目の位置との誤差を補正するためのオフセット値を登録しておく。そして、画像補正手段３３は、撮影データにオフセット値を演算することにより、検査員の視界に近くなるように画像を補正する。
【００７３】
なお、ステップＳ５の処理については、本システムにおいて必須の処理ではないが、補正処理を実行することによって検査員の視界と検査範囲とを一致させることができ、後述する各判定処理の精度を高めることができる。
【００７４】
次いで、検査箇所判定手段３４は、補正した撮影データと、検査データ記憶手段３１が記憶する各種パターンデータとに基づいて、検査箇所に問題があるか否かを判定し、判定結果をウェアラブル端末２０に送信する（ステップＳ６）。なお、検査箇所の判定処理の詳細については後述する。
【００７５】
次いで、ウェアラブル端末２０のデータ送受信手段２１は、受信した判定結果をヘッドマウントディスプレイ装置１０に出力する。すると、ヘッドマウントディスプレイ装置１０の映像表示手段１１は、判定結果を検査員の網膜に照射して表示する（ステップＳ７）。
【００７６】
このように、サーバ装置３０は、受信した撮影データの画像認識・判定を行い、予め登録された画像と異なる点（例えば、図８に示す危険防止シールが貼ってない、左のネジが無い）があれば、検査箇所に問題があると判定する。そして、サーバ装置３０は、ネットワーク１００を介して、ウェアラブル端末２０に判定結果を送信する。
【００７７】
その後、ヘッドマウントディスプレイ装置１０は、ウェアラブル端末２０が受信した判定結果を検査員の網膜に照射して表示する。ヘッドマウントディスプレイ装置１０は、検査箇所に問題ないという判定結果の場合には、例えば、検査箇所に問題ないことを示すメッセージを表示する。
【００７８】
また、例えば、問題があるという判定結果の場合には、ヘッドマウントディスプレイ装置１０は、検査箇所に問題があることを示すメッセージとともに、問題がある検査箇所を検査範囲のサンプル画像中において点滅表示等で強調して表示する。そのようにすることで、異常表示された箇所について、検査員の注目を向けさせることができ、異常個所の見落としを防止できる。
【００７９】
検査員は、検査箇所に問題がないことをメッセージで確認すると、映像表示手段１１が表示する検査データの指示に従って、目視検査を行う。例えば、検査員は、ヘッドマウントディスプレイ装置１０に表示されているマニュアルの指示に従って、顔の向きを変えることで検査範囲のうちの製品の検査箇所（例えば、図８のＣｈｅｃｋ１、Ｃｈｅｃｋ２、Ｃｈｅｃｋ３）に順番に視点を移し、それぞれ３秒ずつ目視する。
【００８０】
このとき、映像入力手段１２は、検査員の視界に近い映像を撮影し、撮影データをウェアラブル端末２０に出力している。また、ウェアラブル端末２０は、ネットワーク１００を介して、サーバ装置３０に撮影データを送信している。これらの処理は、ステップＳ４の時点から継続して行われているものである。
【００８１】
サーバ装置３０の目視検査判定手段３５は、画像補正手段３３が補正した視界画像データと、検査データ記憶手段３１が記憶する目視検査判定用のパターンデータとに基づいて、目視検査が正しく行われているか否かを判定する。そして、目視検査判定手段３５は、判定結果をウェアラブル端末２０に送信する（ステップＳ８）。なお、目視検査の判定処理の詳細については後述する。
【００８２】
次いで、ウェアラブル端末２０（データ送受信手段２１）は、受信した判定結果をヘッドマウントディスプレイ装置１０に出力する。すると、ヘッドマウントディスプレイ装置１０（映像表示手段１１）は、判定結果を検査員の網膜に照射して表示する（ステップＳ９）。このとき、例えば、目視が正しく行われなかった場合には、映像表示手段１１は、目視検査をやり直す旨の表示を行う。
【００８３】
最後に、検査員は、映像表示手段１１が表示する検査データの指示（例えば、ヘッドマウントディスプレイ装置１０に表示されているマニュアルの指示）に従って、ハンドジェスチャーにより、検査箇所（Ｃｈｅｃｋ１、Ｃｈｅｃｋ２、Ｃｈｅｃｋ３）を指で指す。上述のように、このとき、映像入力手段１２は、検査員の視界に近い映像を撮影し、撮影データをウェアラブル端末２０に出力している。また、ウェアラブル端末２０は、ネットワーク１００を介して、サーバ装置３０に撮影データを送信している。
【００８４】
サーバ装置３０のハンドジェスチャー判定手段３６は、画像補正手段３３が補正した視界画像データと、検査データ記憶手段３１が記憶するハンドジェスチャー判定用のパターンデータとに基づいて、所定のハンドジェスチャーが正しく行われているか否かを判定する。そして、ハンドジェスチャー判定手段３６は、判定結果をウェアラブル端末２０に送信する（ステップＳ８）。なお、ハンドジェスチャーの判定処理の詳細については後述する。
【００８５】
次いで、ウェアラブル端末２０（データ送受信手段２１）は、受信した判定結果をヘッドマウントディスプレイ装置１０に出力する。その後、ヘッドマウントディスプレイ装置１０（映像表示手段１１）は、判定結果を検査員の網膜に照射して表示する（ステップＳ１１）。このとき、例えば、ハンドジェスチャーが正しく行われなかった場合には、映像表示手段１１は、ハンドジェスチャーをやり直す旨の表示を行う。
【００８６】
検査作業が完了すると、サーバ装置３０は、検査作業の結果（誰が、いつ、どこで、どの製品の目視検査をどれだけの時間をかけて、検査を行ったか等の情報や、撮影データ等）を検査結果記憶手段３７に記憶させる（ステップＳ１２）。なお、例えば、記憶する容量が大きくなることを回避するために、撮影データの代わりに所定の代表的な画像データのみを記憶するようにしてもよい。
【００８７】
例えば、検査員が予めウェアラブル端末２０に自身の名前や検査場所等を示す情報を登録しておき、ウェアラブル端末２０は、検査作業完了時にこれらの情報をサーバ装置３０に送信するようにしてもよい。また、例えば、検査開始時にこれらの情報をサーバ装置３０に登録しておき、サーバ装置３０が、各判定処理が完了する度に、検査員の名前や検査場所、判定処理を行った時間を示す情報とともに、判定結果を検査結果記憶手段３７に記憶させるようにしてもよい。
【００８８】
このように、検査作業の結果（誰が、いつ、どこで、どの製品の目視検査をどれだけの時間をかけて、検査を行ったか等の情報や、撮影データ等）を検査結果記憶手段３７に記憶させることで、検査結果を後で活用することができる。例えば、検査結果の統計データを用いて、見落としやすい検査箇所等を特定し、予め注意喚起することもできる。この場合、例えば、検査結果管理手段３９は、統計データとして、目視検査判定手段３５による判定結果やハンドジェスチャー判定手段３７による判定結果を統計して、検査員の検査の見落とし回数を求め、検査結果記憶手段３７に記憶させておく。そして、検査結果管理手段３９は、検査結果記憶手段３７が統計データとして記憶する見落とし回数が所定の閾値を超えたか否かを判定し、所定の閾値を超えた場合には、検査員が見落としやすい検査箇所であると判定する。そして、検査結果管理手段３９は、見落としやすい検査箇所である旨をヘッドマウントディスプレイ装置１０に映像表示させたり、音声出力させたりする制御を行うことによって、予め検査員に注意喚起させることもできる。
【００８９】
次いで、検査箇所の判定処理（図２のステップＳ６）について図３を用いて説明する。図３は、検査箇所判定手段３４が実行する検査範囲判定処理の一例を示すフロー図である。
【００９０】
図２のステップＳ５において画像補正手段３３が撮影データを補正すると、検査箇所判定手段３４は、画像補正手段３３が補正した視界画像データと、検査範囲判定用のパターンデータ（例えば、図８に示すような検査範囲の画像データ）とをマッチングし、類似度を算出する（図３のステップＳ１０１）。なお、検査範囲判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
【００９１】
次いで、検査箇所判定手段３４は、算出した類似度が予め定められた検査範囲判定用の閾値以上であるか否かを判定する（図３のステップＳ１０２）。
【００９２】
ステップＳ１０２において、検査範囲判定用の閾値以上であると判定すると、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致していると判定する（図３のステップＳ１０３）。
【００９３】
一方、ステップＳ１０２において、検査範囲判定用の閾値未満であると判定すると、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致していないと判定する（図３のステップＳ１０４）。そして、一致していなければ、検査箇所判定手段３４は、正確に検査範囲を見るように指示情報をウェアラブル端末２０に送信する。
【００９４】
次に、検査箇所に問題があるか否かを判定する処理について説明する。図４は、検査箇所判定手段３４が実行する検査箇所判定処理の一例を示すフロー図である。
【００９５】
検査箇所判定手段３４は、作業視界と検査範囲とが一致していると判定した後に、視界画像データから検査箇所付近の部分画像データを抽出する（図４のステップＳ１１１）。例えば、サーバ装置３０が検査範囲内における各検査箇所の位置を示す座標データを予め記憶しておき、検査箇所判定手段３４は、その座標データに従って、視界画像データから検査箇所付近の部分画像データを抽出する。
【００９６】
次いで、検査箇所判定手段３４は、抽出した部分画像データと、異常検査項目判定用のパターンデータ（例えば、検査箇所に正しく部品が取り付けられていない画像データ）とをマッチングし、類似度を算出する（図４のステップＳ１１２）。なお、異常検査項目判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
【００９７】
次いで、検査箇所判定手段３４は、算出した類似度が予め定められた異常検査項目判定用の閾値以上であるか否かを判定する（図４のステップＳ１１３）。
【００９８】
ステップＳ１１３において異常検査項目判定用の閾値未満であると判定した場合、検査箇所判定手段３４は、抽出した部分画像データと、検査項目判定用のパターンデータ（例えば、検査箇所に正しく部品が取り付けられている画像データ）とをマッチングし、類似度を算出する（図４のステップＳ１１４）。なお、検査項目判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
【００９９】
次いで、検査箇所判定手段３４は、算出した類似度が予め定められた検査項目判定用の閾値以上であるか否か（例えば、９０％以上であるか否か）を判定する（図４のステップＳ１１５）。
【０１００】
ステップＳ１１５において検査項目判定用の閾値以上であると判定した場合、検査箇所判定手段３４は、検査箇所に問題がないと判定する（図４のステップＳ１１６）。
【０１０１】
一方、ステップＳ１１３において異常検査項目判定用の閾値以上であると判定した場合、またはステップＳ１１５において検査項目判定用の閾値未満であると判定した場合には、検査箇所判定手段３４は、検査箇所に問題があると判定する（図４のステップＳ１１７）。
【０１０２】
上記の処理によって、検査箇所判定手段３４は、検査箇所に問題があるか否かを判定することができる。なお、ステップＳ１１２およびＳ１１３と、ステップＳ１１４およびステップＳ１１５の処理の順序を逆にしてもよい。また、本実施形態では、ステップＳ１１２，Ｓ１１３の判定処理とステップＳ１１４，Ｓ１１５の判定処理との両方を行う場合を説明したが、いずれか一方のみの判定処理を行ってもよい。また、本実施形態では、検査箇所判定手段３４は、異常検査項目判定用の閾値以上である場合、又は検査項目判定用の閾値未満である場合のうちのいずれか一方の条件でも満たせば、検査箇所に問題があると判定する場合を示したが、本実施形態で示した判定方法にかぎられない。例えば、検査箇所判定手段３４は、異常検査項目判定用の閾値以上である場合、及び検査項目判定用の閾値未満である場合の両方の条件を満たしたときに、検査箇所に問題があると判定するようにしてもよい。
【０１０３】
また、例えば、検査員が検査範囲を見ているか否かや、各検査箇所の異常の有無をバーコードやＱＲ（Quick Response）コード等のコード情報を用いて判定できるように構成してもよい。以下、図５を用いて予め検査対象の製品等にバーコードやＱＲコードを付しておく場合の処理について説明する。なお、バーコードやＱＲコードは、対象製品に取り付けられるべきビスやシール等の部品（検査箇所に相当）に予め付されているものとする。ただし、検査員が検査範囲を見ているか否かを判定するためだけに用いるために、検査箇所以外の場所にバーコードやＱＲコードが付されていてもよい。なお、ＱＲコードは、株式会社デンソーの登録商標である。
【０１０４】
この場合、検査箇所判定手段３４は、画像補正手段３３が補正した視界画像データから検査箇所の部分画像データ（正しく部品等が装着されていれば、バーコードやＱＲコードが含まれる画像）を抽出する（図５のステップＳ１２１）。
【０１０５】
次いで、検査箇所判定手段３４は、抽出した部分画像データと検査範囲判定用のバーコードやＱＲコードを含む画像データとを比較する（図５のステップＳ１２２）。なお、検査範囲判定用のバーコードやＱＲコードを含む画像データは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
【０１０６】
次いで、検査箇所判定手段３４は、抽出したバーコードやＱＲコードの数や種類が、検査範囲判定用のバーコードやＱＲコードと一致するか否かを判定する（図５のステップＳ１２３）。具体的には、検査箇所判定手段３４は、検査箇所毎に抽出した部分画像データと検査範囲判定用のバーコードやＱＲコードを含む画像データとの類似度を求め、類似度が所定の閾値以上であれば、その検査箇所に対応するバーコードやＱＲコードが検出されたと判定する。そして、検査箇所判定手段３４は、検査範囲に含まれる全ての検査箇所に対応するバーコードやＱＲコードを検出したか否かを判定する。
【０１０７】
ステップＳ１２３において一致すると判定した場合には、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致していると判定する（図５のステップＳ１２４）。また、ステップＳ１２３において一致すると判定した場合には、例えば、検査箇所判定手段３４は、検出したバーコードやＱＲコードに対応するビスやシール等の検査箇所に異常がないと判定する。
【０１０８】
ステップＳ１２４において一致しないと判定した場合には、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致していないと判定する（図５のステップＳ１２５）。また、ステップＳ１２４において一致しないと判定した場合には、例えば、検査箇所判定手段３４は、検出されなかったバーコードやＱＲコードに対応するビスやシール等の検査箇所に異常があると判定する。
【０１０９】
以上の処理によって、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致しているか否かを判定し、さらに、検査箇所に問題があるか否かを判定することができる。
【０１１０】
次に、目視検査の判定処理（図２のステップＳ８）について図６を用いて説明する。図６は、目視検査判定手段３５が実行する処理例を示すフロー図である。
【０１１１】
目視検査判定手段３５は、検査員が特定の検査箇所に視点を移した後の視界画像データ（例えば、特定の検査箇所が画面のほぼ中心に位置している画像）と目視検査判定用のパターンデータとに基づいて、検査員の視点と検査箇所とが一致しているか否かを判定する（図６のステップＳ２０１）。目視検査判定用のパターンデータには、例えば、検査箇所ごとの画像データや、特定の検査箇所を中心とする画像データ等を用いることができる。なお、目視検査判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
【０１１２】
例えば、目視検査判定手段３５は、視界画像データから検査員の視点となる部分の部分画像データ（例えば、視界画像データ中の中心付近の特定の検査箇所が含まれる部分の画像）を抽出し、抽出した部分画像データと、目視検査判定用のパターンデータ（検査箇所ごとの画像データ）との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、目視検査判定手段３５は、検査員の視点と検査箇所とが一致していると判定する。
【０１１３】
なお、この場合、目視検査判定手段３５は、部分画像データを抽出することなく、視界画像データ全体をパターンデータとマッチング処理して類似度を算出してもよい。ただし、検査員の視点が特定の検査箇所中心に移動した後であっても、視界画像データ中に他の検査箇所が含まれている場合もあるため、検査員が注視している検査箇所周辺の部分画像データを切り出してマッチング処理を行うことによって、より精度を高めることができる。
【０１１４】
ステップＳ２０１において一致していると判定した場合、目視検査判定手段３５は、検査員の視点と検査箇所とが一致した状態のまま、所定時間（例えば、３秒）経過したか否かを判定する（図６のステップＳ２０２）。
【０１１５】
具体的には、目視検査判定手段３５は、予め登録されている製品等の検査箇所Ｃｈｅｃｋ１、Ｃｈｅｃｋ２、Ｃｈｅｃｋ３が、それぞれ撮影データに所定時間記録されているか否かを判定する。例えば、目視検査判定手段３５は、所定期間経過後に再度視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと検査箇所の画像データとの類似度が閾値以上である場合に、一致した状態のままであると判定する。
【０１１６】
そして、所定時間経過したと判定すると、目視検査判定手段３５は、目視検査が行われたと判定する（図６のステップＳ２０３）。
【０１１７】
一方、ステップＳ２０１において検査員の視点と検査箇所とが一致していないと判定した場合、またはステップＳ２０２において所定期間経過しなかったと判定した場合には、目視検査判定手段３５は、目視検査が行われていないと判定する（図６のステップＳ２０４）。その後、目視検査判定手段３５は、上記の処理を検査箇所ごとに繰り返し行う。
【０１１８】
以上の処理によって、目視検査判定手段３５は、検査箇所ごとに目視検査が行われたか否かを判定することができる。つまり、目視検査判定手段３５は、ヘッドマウントディスプレイ装置１０に搭載されたカメラが撮影した映像に検査データ記憶手段３１に登録されている検査箇所が数秒間映っているか否かを判断し、数秒間動かずに映っていれば、検査員が確実に目視検査を行っていると判断することができる。
【０１１９】
次に、ハンドジェスチャーの判定処理（図２のステップＳ１０）について図７を用いて説明する。図７は、ハンドジェスチャー判定手段３６が実行する処理例を示すフロー図である。
【０１２０】
ハンドジェスチャー判定手段３６は、視界画像データとハンドジェスチャー用のパターンデータとに基づいて、検査員の視点と検査箇所とが一致しているか否かを判定する（図７のステップＳ３０１）。
【０１２１】
例えば、ハンドジェスチャー判定手段３６は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、ハンドジェスチャー判定用のパターンデータ（検査箇所ごとの画像データ）との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、ハンドジェスチャー判定手段３６は、検査員の視点と検査箇所とが一致していると判定する。なお、ハンドジェスチャー用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
【０１２２】
なお、この場合、ハンドジェスチャー判定手段３６は、部分画像データを抽出することなく、視界画像データ全体をパターンデータとマッチング処理して類似度を算出してもよい。ただし、検査員の視点が特定の検査箇所中心に移動した後であっても、視界画像データ中に他の検査箇所が含まれている場合もあるため、検査員が注視している検査箇所周辺の部分画像データを切り出してマッチング処理を行うことによって、より精度を高めることができる。
【０１２３】
ステップＳ３０１において一致していると判定すると、ハンドジェスチャー判定手段３６は、撮影データから、最新の視界画像データを抽出する（ステップＳ３０２）。
【０１２４】
次いで、ハンドジェスチャー判定手段３６は、抽出した視界画像データから検査箇所周辺の部分画像データ（例えば、検査員は検査箇所を注視している筈なので、視界画像データ中の中央付近の検査箇所が含まれている画像）を抽出する。そして、ハンドジェスチャー判定手段３６は、抽出した画像データと、動作前のハンドジェスチャーのパターンデータ（例えば、図１０の検査員の手が検査箇所付近に伸びている状態の画像データ）との類似度を算出する（図７のステップＳ３０３）。
【０１２５】
なお、本実施形態では、単に検査員が検査箇所を指等で触ったか否かを判定するだけではなく、検査員が検査箇所を触った状態で一連の検査動作を行ったか否か（例えば、検査箇所を指等でなぞって見たか否か）も判定する。そのため、本実施形態では、ハンドジェスチャー用のパターンデータとして、動作前のパターンデータと動作後のパターンデータとを用い、動作前のパターンデータとのマッチング処理をクリアした後に、さらに動作後のパターンデータとのマッチング処理もクリアしたことを条件に、一連の検査動作が行われたと判定する。
【０１２６】
次いで、ハンドジェスチャー判定手段３６は、算出した類似度が閾値以上であるか否かを判定する（図７のステップＳ３０４）。
【０１２７】
ステップＳ３０４において閾値以上であると判定した場合、ハンドジェスチャー判定手段３６は、所定期間後に、撮影データから最新の視界画像データを抽出する（ステップＳ３０５）。
【０１２８】
次いで、ハンドジェスチャー判定手段３６は、抽出した視界画像データから手の形状を特定し、特定した部分の画像データを抽出する。そして、ハンドジェスチャー判定手段３６は、抽出した画像データと、動作後のハンドジェスチャーのパターンデータ（例えば、図１１の検査員の指が検査箇所に触れている状態の画像データ）との類似度を算出する（図７のステップＳ３０６）。
【０１２９】
次いで、ハンドジェスチャー判定手段３６は、算出した類似度が閾値以上であるか否かを判定する（図７のステップＳ３０７）。
【０１３０】
ステップＳ３０８において閾値以上であると判定した場合、ハンドジェスチャー判定手段３６は、所定のハンドジェスチャーが行われたと判定する（図７のステップＳ３０８）。
【０１３１】
一方、ステップＳ３０４またはステップＳ３０８において閾値未満であると判定した場合、ハンドジェスチャー判定手段３６は、所定のハンドジェスチャーが行われていないと判定する（図７のステップＳ３０９）。
【０１３２】
以上の処理により、ハンドジェスチャー判定手段３６は、検査員が所定のハンドジェスチャーを行ったか否かを判定することができる。
【０１３３】
なお、判定処理の精度を高めるために、例えば、ハンドジェスチャーの前後に限らず、上記の処理を複数回繰り返し、動作の途中の形状についても判定するようにしてもよい。また、指等を用いた接触検査を行う場合に限らず、例えば、指等が入らないようなスペースの検査を行う場合には、指し棒等の検査用の治具を用いて接触検査を行う場合の判定に適用してもよい。
【０１３４】
なお、作業員による検査作業が行われた後、管理者等は、サーバ装置３０にアクセスして検査作業の各種管理業務を行う。例えば、サーバ装置３０の検査結果管理手段３９は、管理者等の操作に従って、検査結果記憶手段３７から各種検査結果の情報を抽出し、ディスプレイ装置等の表示装置に表示する。
【０１３５】
また、例えば、検査結果管理手段３９は、管理者等の操作に従って、検査結果記憶手段３７が記憶する情報に基づいて統計処理を行い、検査作業における各種統計データを求める。例えば、検査結果管理手段３９は、検査結果記憶手段３７が記憶する検査箇所判定手段３４による判定結果を統計し、検査対象製品中の検査箇所毎の異常の発生頻度の統計値を求める。また、例えば、検査結果管理手段３９は、検査結果記憶手段３７が記憶する目視検査判定手段３５による判定結果やハンドジェスチャー判定手段３７による判定結果を統計し、作業員毎の目視検査やハンドジェスチャーによる検査の作業漏れの頻度の統計値を求める。
【０１３６】
上記のように構成することによって、検査結果記憶手段３７に記憶した各種検査結果の情報に基づいて、検査作業の管理を支援できるとともに、検査作業に関する各種統計データを求めることができ、検査結果を有効活用して検査作業の効率化の支援に役立てることができる。
【０１３７】
以上のように、本実施形態では、確認業務支援システムは、予め登録された検査データと検査員の視界に近い映像とに基づいて、検査箇所に問題があるか否か、所定の検査が正しく行われているか否かを判定し、判定結果を検査員に対して表示する。従って、検査員は的確かつ迅速に検査業務を行うことができる。例えば、一般的な検査方法では、人間が目視検査を行っているため、検査員が掛かりきりになってコストがかかることや、検査の精度に個人差（バラツキ）があること、間違いが発生すること等、精度に課題があったが、本実施形態によれば、検査箇所に問題があるか否かや、所定の検査が正しく行われているか否かの判定結果を検査員に提示できるので、検査の精度を向上させることができる。
【０１３８】
また、一般的な検査方法では、目視検査の状況や結果が人間によって報告されているため、管理者にとっては目視検査の工程・プロセスを把握し、管理することが困難という課題がある。これに対して、本実施形態では、検査員を識別する情報等とともに検査結果の情報を記憶することができるため、上記課題を解決することができる。
【０１３９】
なお、本実施形態では、サーバ装置３０が検査データ記憶手段３１や検査結果記憶手段３７、各判定手段等を備えている例について説明したが、これらの手段をヘッドマウントディスプレイ装置１０またはウェアラブル端末２０が備えていてもよい。
【０１４０】
例えば、ヘッドマウントディスプレイ装置１０は、上記の構成要素に加えて、検査データ記憶手段３１、データ送受信手段３２、画像補正手段３３、検査箇所判定手段３４、目視検査判定手段３５、ハンドジェスチャー判定手段３６および検査結果記憶手段３７を含むようにしてもよい。
【０１４１】
この場合には、ヘッドマウントディスプレイ装置１０は、ウェアラブル装置２０やサーバ装置３０を必要とせず、単独で処理を完結することができる。
【０１４２】
また、例えば、ウェアラブル端末２０は、上記の構成要素に加えて、検査データ記憶手段３１、データ送受信手段３２、画像補正手段３３、検査箇所判定手段３４、目視検査判定手段３５、ハンドジェスチャー判定手段３６および検査結果記憶手段３７を含むようにしてもよい。
【０１４３】
この場合には、ウェアラブル端末２０が上述のサーバ装置３０の処理を実行することができ、ネットワーク１００を介してデータを送受信することなく、本実施形態と同等の効果を得ることができる。
【０１４４】
次に、本発明による確認業務支援システムの最小構成について説明する。図１２は、確認業務支援システムの最小の構成例を示すブロック図である。図１２に示すように、確認業務支援システムは、最小の構成要素として、ヘッドマウントディスプレイ装置１０に設けられた撮影手段１と、異常判定手段２とを備えている。
【０１４５】
図１２に示す最小構成の確認業務支援システムでは、ヘッドマウントディスプレイ装置１０は、少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示する。また、撮影手段１は、ヘッドマウントディスプレイ装置１０を装着して検査情報に従って検査を行う検査員の視界に近い画像を撮影する。そして、異常判定手段２は、撮影手段１が撮影した画像と検査範囲画像とに基づいて、検査範囲中の異常個所を判定する。
【０１４６】
従って、最小構成の確認業務支援システムによれば、各種確認作業の精度を高めることができる。
【０１４７】
なお、本実施形態では、以下の（１）〜（１３）に示すような確認業務支援システムの特徴的構成が示されている。
【０１４８】
（１）確認業務支援システムは、少なくとも確認範囲を特定可能な確認範囲画像（例えば、図８に示す画像）を含む確認情報を表示可能なヘッドマウントディスプレイ装置（例えば、ヘッドマウントディスプレイ装置１０によって実現される）と、ヘッドマウントディスプレイ装置に設けられた撮影手段（例えば、映像入力手段１２によって実現される）と、撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段（例えば、検査箇所判定手段３４によって実現される）とを備えたことを特徴とする。
【０１４９】
（２）確認業務支援システムにおいて、異常判定手段は、撮影手段が撮影した画像から確認箇所を含む部分画像（例えば、ステップＳ１１１で抽出する部分画像データ）を抽出し、抽出した部分画像と確認箇所のパターンデータとの照合処理を実行して、確認箇所に異常があるか否かを判定するように構成されていてもよい。
【０１５０】
（３）確認業務支援システムは、撮影手段が撮影した画像を用いた画像処理を行って、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所を所定期間以上目視したか否かを判定する目視確認判定手段（例えば、目視検査判定手段３５によって実現される）を備えるように構成されていてもよい。
【０１５１】
（４）確認業務支援システムは、撮影手段が撮影した画像を用いた画像処理を行って、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所の接触確認を行ったか否かを判定する接触確認判定手段（例えば、ハンドジェスチャー判定手段３６によって実現される）を備えるように構成されていてもよい。
【０１５２】
（５）確認業務支援システムにおいて、異常判定手段は、抽出した部分画像と確認箇所のパターンデータとの類似度を算出し、算出した類似度と所定の閾値との比較処理を行って、確認箇所に異常があるか否かを判定するように構成されていてもよい。
【０１５３】
（６）確認業務支援システムにおいて、異常判定手段は、抽出した部分画像と確認箇所が正常である場合のパターンデータとの類似度を算出し、算出した類似度が所定の正常時用閾値未満であると判定すると、確認箇所に異常があると判定するように構成されていてもよい。
【０１５４】
（７）確認業務支援システムにおいて、異常判定手段は、抽出した部分画像と確認箇所に異常がある場合のパターンデータとの類似度を算出し、算出した類似度が所定の異常時用閾値以上であると判定すると、確認箇所に異常があると判定するように構成されていてもよい。
【０１５５】
（８）確認業務支援システムにおいて、目視確認判定手段は、所定の時点で撮影手段が撮影した画像と所定の目視確認用のパターンデータとの類似度が所定の目視確認用閾値以上であるとともに、所定の時点から所定時間経過後に撮影手段が撮影した画像と所定の目視確認用のパターンデータとの類似度が所定の目視確認用閾値以上であると判定したことに基づいて、作業員が確認箇所を所定期間以上目視したと判定するように構成されていてもよい。
【０１５６】
（９）確認業務支援システムにおいて、接触確認判定手段は、撮影手段が撮影した画像を用いた画像処理を行って、接触確認として、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所に接触した状態で所定の確認動作を行ったか否かを判定するように構成されていてもよい。
【０１５７】
（１０）確認業務支援システムにおいて、接触確認判定手段は、所定の時点で撮影手段が撮影した画像と所定の確認動作中の第１の動作のパターンデータとの類似度が所定の閾値以上であり、かつ所定の時点以外の時点で撮影手段が撮影した画像と所定の確認動作中の第２の動作のパターンデータとの類似度が所定の閾値以上である場合に、作業員が所定の確認箇所に接触した状態で所定の確認動作を行ったと判定するように構成されていてもよい。
【０１５８】
（１１）確認業務支援システムにおいて、異常判定手段は、撮影手段が撮影した画像を用いた画像処理を行って、撮影手段が撮影した画像中に含まれる所定のコードデータ（例えば、バーコードやＱＲコード）を検出し、検出した所定のコードデータに基づいて、確変範囲中の異常箇所を判定するように構成されていてもよい。
【０１５９】
（１２）確認業務支援システムは、異常判定手段による判定結果を記憶する判定結果記憶手段（例えば、検査結果記憶手段３７によって実現される）と、判定結果記憶手段が記憶する判定結果を管理する判定結果管理手段（例えば、検査結果管理手段３９によって実現される）とを備えるように構成されていてもよい。
【０１６０】
（１３）確認業務支援システムにおいて、判定結果管理手段は、判定結果記憶手段が記憶する判定結果を用いた統計処理を行い、確認作業の統計データを求めるように構成されていてもよい。
【産業上の利用可能性】
【０１６１】
本発明は、製造ライン等での検査業務や保守業務における各種確認作業を支援する用途に適用可能である。
【符号の説明】
【０１６２】
１ 撮影手段
２ 異常判定手段
１０ ヘッドマウントディスプレイ装置
１１ 映像表示手段
１２ 映像入力手段
１３ 音声入出力手段
２０ ウェアラブル端末
２１ データ送受信手段
２２ 通信手段
３０ サーバ装置
３１ 検査データ記憶手段
３２ データ送受信手段
３３ 画像補正手段
３４ 検査箇所判定手段
３５ 目視検査判定手段
３６ ハンドジェスチャー判定手段
３７ 検査結果記憶手段
３８ 通信手段
３９ 検査結果管理手段
【特許請求の範囲】
【請求項１】
少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置と、
前記ヘッドマウントディスプレイ装置に設けられた撮影手段と、
前記撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定手段とを備えた
ことを特徴とする確認業務支援システム。
【請求項２】
異常判定手段は、撮影手段が撮影した画像から確認箇所を含む部分画像を抽出し、抽出した前記部分画像と前記確認箇所のパターンデータとの照合処理を実行して、前記確認箇所に異常があるか否かを判定する
請求項１記載の確認業務支援システム。
【請求項３】
撮影手段が撮影した画像を用いた画像処理を行って、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所を所定期間以上目視したか否かを判定する目視確認判定手段を備えた
請求項１又は請求項２記載の確認業務支援システム。
【請求項４】
撮影手段が撮影した画像を用いた画像処理を行って、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所の接触確認を行ったか否かを判定する接触確認判定手段を備えた
請求項１から請求項３のうちのいずれか１項に記載の確認業務支援システム。
【請求項５】
異常判定手段は、抽出した部分画像と確認箇所のパターンデータとの類似度を算出し、算出した類似度と所定の閾値との比較処理を行って、確認箇所に異常があるか否かを判定する
請求項２記載の確認業務支援システム。
【請求項６】
異常判定手段は、抽出した部分画像と確認箇所が正常である場合のパターンデータとの類似度を算出し、算出した類似度が所定の正常時用閾値未満であると判定すると、確認箇所に異常があると判定する
請求項５記載の確認業務支援システム。
【請求項７】
異常判定手段は、抽出した部分画像と確認箇所に異常がある場合のパターンデータとの類似度を算出し、算出した類似度が所定の異常時用閾値以上であると判定すると、確認箇所に異常があると判定する
請求項５又は請求項６記載の確認業務支援システム。
【請求項８】
目視確認判定手段は、所定の時点で撮影手段が撮影した画像と所定の目視確認用のパターンデータとの類似度が所定の目視確認用閾値以上であるとともに、前記所定の時点から所定時間経過後に前記撮影手段が撮影した画像と前記所定の目視確認用のパターンデータとの類似度が前記所定の目視確認用閾値以上であると判定したことに基づいて、作業員が前記確認箇所を所定期間以上目視したと判定する
請求項３記載の確認業務支援システム。
【請求項９】
接触確認判定手段は、撮影手段が撮影した画像を用いた画像処理を行って、接触確認として、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所に接触した状態で所定の確認動作を行ったか否かを判定する
請求項４記載の確認業務支援システム。
【請求項１０】
接触確認判定手段は、所定の時点で撮影手段が撮影した画像と所定の確認動作中の第１の動作のパターンデータとの類似度が所定の閾値以上であり、かつ前記所定の時点以外の時点で前記撮影手段が撮影した画像と前記所定の確認動作中の第２の動作のパターンデータとの類似度が所定の閾値以上である場合に、作業員が前記所定の確認箇所に接触した状態で前記所定の確認動作を行ったと判定する
請求項９記載の確認業務支援システム。
【請求項１１】
異常判定手段は、撮影手段が撮影した画像を用いた画像処理を行って、前記撮影手段が撮影した画像中に含まれる所定のコードデータを検出し、検出した前記所定のコードデータに基づいて、確変範囲中の異常箇所を判定する
請求項１から請求項１０のうちのいずれか１項に記載の確認業務支援システム。
【請求項１２】
異常判定手段による判定結果を記憶する判定結果記憶手段と、
前記判定結果記憶手段が記憶する判定結果を管理する判定結果管理手段とを備えた
請求項１から請求項１１のうちのいずれか１項に記載の確認業務支援システム。
【請求項１３】
判定結果管理手段は、判定結果記憶手段が記憶する判定結果を用いた統計処理を行い、確認作業の統計データを求める
請求項１２記載の確認業務支援システム。
【請求項１４】
少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定手段を備えた
ことを特徴とするサーバ装置。
【請求項１５】
異常判定手段は、撮影手段が撮影した画像から確認箇所を含む部分画像を抽出し、抽出した前記部分画像と前記確認箇所のパターンデータとの照合処理を実行して、前記確認箇所に異常があるか否かを判定する
請求項１４記載のサーバ装置。
【請求項１６】
少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能な表示制御手段と、
撮影手段と、
前記撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定手段とを備えた
ことを特徴とするヘッドマウントディスプレイ装置。
【請求項１７】
異常判定手段は、撮影手段が撮影した画像から確認箇所を含む部分画像を抽出し、抽出した前記部分画像と前記確認箇所のパターンデータとの照合処理を実行して、前記確認箇所に異常があるか否かを判定する
請求項１６記載のヘッドマウントディスプレイ装置。
【請求項１８】
少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定手段を備えた
ことを特徴とするウェアラブル端末。
【請求項１９】
異常判定手段は、撮影手段が撮影した画像から確認箇所を含む部分画像を抽出し、抽出した前記部分画像と前記確認箇所のパターンデータとの照合処理を実行して、前記確認箇所に異常があるか否かを判定する
請求項１８記載のウェアラブル端末。
【請求項２０】
少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報をヘッドマウントディスプレイ装置に表示し、
前記ヘッドマウントディスプレイ装置に設けられた撮影手段が画像を撮影し、
前記撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する
ことを特徴とする確認業務支援方法。
【請求項２１】
撮影手段が撮影した画像から確認箇所を含む部分画像を抽出し、抽出した前記部分画像と前記確認箇所のパターンデータとの照合処理を実行して、前記確認箇所に異常があるか否かを判定する
請求項２０記載の確認業務支援方法。
【請求項２２】
コンピュータに、
少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定処理を
実行させるための確認業務支援プログラム。
【請求項２３】
コンピュータに、
異常判定処理で、撮影手段が撮影した画像から確認箇所を含む部分画像を抽出し、抽出した前記部分画像と前記確認箇所のパターンデータとの照合処理を実行して、前記確認箇所に異常があるか否かを判定する処理を実行させるための
請求項２２記載の確認業務支援プログラム。
【請求項１】
少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置と、
前記ヘッドマウントディスプレイ装置に設けられた撮影手段と、
前記撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定手段とを備えた
ことを特徴とする確認業務支援システム。
【請求項２】
異常判定手段は、撮影手段が撮影した画像から確認箇所を含む部分画像を抽出し、抽出した前記部分画像と前記確認箇所のパターンデータとの照合処理を実行して、前記確認箇所に異常があるか否かを判定する
請求項１記載の確認業務支援システム。
【請求項３】
撮影手段が撮影した画像を用いた画像処理を行って、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所を所定期間以上目視したか否かを判定する目視確認判定手段を備えた
請求項１又は請求項２記載の確認業務支援システム。
【請求項４】
撮影手段が撮影した画像を用いた画像処理を行って、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所の接触確認を行ったか否かを判定する接触確認判定手段を備えた
請求項１から請求項３のうちのいずれか１項に記載の確認業務支援システム。
【請求項５】
異常判定手段は、抽出した部分画像と確認箇所のパターンデータとの類似度を算出し、算出した類似度と所定の閾値との比較処理を行って、確認箇所に異常があるか否かを判定する
請求項２記載の確認業務支援システム。
【請求項６】
異常判定手段は、抽出した部分画像と確認箇所が正常である場合のパターンデータとの類似度を算出し、算出した類似度が所定の正常時用閾値未満であると判定すると、確認箇所に異常があると判定する
請求項５記載の確認業務支援システム。
【請求項７】
異常判定手段は、抽出した部分画像と確認箇所に異常がある場合のパターンデータとの類似度を算出し、算出した類似度が所定の異常時用閾値以上であると判定すると、確認箇所に異常があると判定する
請求項５又は請求項６記載の確認業務支援システム。
【請求項８】
目視確認判定手段は、所定の時点で撮影手段が撮影した画像と所定の目視確認用のパターンデータとの類似度が所定の目視確認用閾値以上であるとともに、前記所定の時点から所定時間経過後に前記撮影手段が撮影した画像と前記所定の目視確認用のパターンデータとの類似度が前記所定の目視確認用閾値以上であると判定したことに基づいて、作業員が前記確認箇所を所定期間以上目視したと判定する
請求項３記載の確認業務支援システム。
【請求項９】
接触確認判定手段は、撮影手段が撮影した画像を用いた画像処理を行って、接触確認として、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所に接触した状態で所定の確認動作を行ったか否かを判定する
請求項４記載の確認業務支援システム。
【請求項１０】
接触確認判定手段は、所定の時点で撮影手段が撮影した画像と所定の確認動作中の第１の動作のパターンデータとの類似度が所定の閾値以上であり、かつ前記所定の時点以外の時点で前記撮影手段が撮影した画像と前記所定の確認動作中の第２の動作のパターンデータとの類似度が所定の閾値以上である場合に、作業員が前記所定の確認箇所に接触した状態で前記所定の確認動作を行ったと判定する
請求項９記載の確認業務支援システム。
【請求項１１】
異常判定手段は、撮影手段が撮影した画像を用いた画像処理を行って、前記撮影手段が撮影した画像中に含まれる所定のコードデータを検出し、検出した前記所定のコードデータに基づいて、確変範囲中の異常箇所を判定する
請求項１から請求項１０のうちのいずれか１項に記載の確認業務支援システム。
【請求項１２】
異常判定手段による判定結果を記憶する判定結果記憶手段と、
前記判定結果記憶手段が記憶する判定結果を管理する判定結果管理手段とを備えた
請求項１から請求項１１のうちのいずれか１項に記載の確認業務支援システム。
【請求項１３】
判定結果管理手段は、判定結果記憶手段が記憶する判定結果を用いた統計処理を行い、確認作業の統計データを求める
請求項１２記載の確認業務支援システム。
【請求項１４】
少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定手段を備えた
ことを特徴とするサーバ装置。
【請求項１５】
異常判定手段は、撮影手段が撮影した画像から確認箇所を含む部分画像を抽出し、抽出した前記部分画像と前記確認箇所のパターンデータとの照合処理を実行して、前記確認箇所に異常があるか否かを判定する
請求項１４記載のサーバ装置。
【請求項１６】
少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能な表示制御手段と、
撮影手段と、
前記撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定手段とを備えた
ことを特徴とするヘッドマウントディスプレイ装置。
【請求項１７】
異常判定手段は、撮影手段が撮影した画像から確認箇所を含む部分画像を抽出し、抽出した前記部分画像と前記確認箇所のパターンデータとの照合処理を実行して、前記確認箇所に異常があるか否かを判定する
請求項１６記載のヘッドマウントディスプレイ装置。
【請求項１８】
少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定手段を備えた
ことを特徴とするウェアラブル端末。
【請求項１９】
異常判定手段は、撮影手段が撮影した画像から確認箇所を含む部分画像を抽出し、抽出した前記部分画像と前記確認箇所のパターンデータとの照合処理を実行して、前記確認箇所に異常があるか否かを判定する
請求項１８記載のウェアラブル端末。
【請求項２０】
少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報をヘッドマウントディスプレイ装置に表示し、
前記ヘッドマウントディスプレイ装置に設けられた撮影手段が画像を撮影し、
前記撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する
ことを特徴とする確認業務支援方法。
【請求項２１】
撮影手段が撮影した画像から確認箇所を含む部分画像を抽出し、抽出した前記部分画像と前記確認箇所のパターンデータとの照合処理を実行して、前記確認箇所に異常があるか否かを判定する
請求項２０記載の確認業務支援方法。
【請求項２２】
コンピュータに、
少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定処理を
実行させるための確認業務支援プログラム。
【請求項２３】
コンピュータに、
異常判定処理で、撮影手段が撮影した画像から確認箇所を含む部分画像を抽出し、抽出した前記部分画像と前記確認箇所のパターンデータとの照合処理を実行して、前記確認箇所に異常があるか否かを判定する処理を実行させるための
請求項２２記載の確認業務支援プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−７９８５（Ｐ２０１２−７９８５Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４３６４２（Ｐ２０１０−１４３６４２）
【出願日】平成２２年６月２４日（２０１０．６．２４）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２４日（２０１０．６．２４）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]