異音診断システム
【課題】音を取得する測定範囲及びその測定範囲で異音が発生している場合にはそのことが容易に把握できる異音診断システムを提供すること。
【解決手段】実物に重畳して画像を表示するヘッドマウントディスプレイ１を備えている。指向性マイク５Ｒ、５Ｌは、装着者５１の頭部の動きに連動させることによって、装着者５１の視野に対応した測定範囲５０２から発生した音を測定音として取得する。また、管理サーバ３００には測定音が異音であるか否かを判断するための基準音が記憶されている。管理サーバ３００は、指向性マイク５Ｒ、５Ｌが取得した測定音と基準音とを比較することによって、測定音が異音であるか否かを判断する。ヘッドマウントディスプレイ１は、測定音の測定範囲５０２を示すとともに、管理サーバ３００が測定音を異音であると判断した場合には、異音が発生していることを示した異音画像を生成し表示する。
【解決手段】実物に重畳して画像を表示するヘッドマウントディスプレイ１を備えている。指向性マイク５Ｒ、５Ｌは、装着者５１の頭部の動きに連動させることによって、装着者５１の視野に対応した測定範囲５０２から発生した音を測定音として取得する。また、管理サーバ３００には測定音が異音であるか否かを判断するための基準音が記憶されている。管理サーバ３００は、指向性マイク５Ｒ、５Ｌが取得した測定音と基準音とを比較することによって、測定音が異音であるか否かを判断する。ヘッドマウントディスプレイ１は、測定音の測定範囲５０２を示すとともに、管理サーバ３００が測定音を異音であると判断した場合には、異音が発生していることを示した異音画像を生成し表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異音が発生しているか否かを診断する異音診断システムに関する。
【背景技術】
【０００２】
異音が発生する可能性がある検査対象物から異音が発生しているか否かを判断する方法として、検査者の聴覚で判断する方法がある。しかし、この方法では、検査者によって判断が異なる虞がある。すなわち、ある検査者は異音が発生していないと判断したが、他の検査者は異音が発生していると判断することがある。そこで、特許文献１に記載の発明では、指向性マイクを用いて、その指向性マイクで取得した音のデータと、予め記憶されている異音のデータとを比較することによって、指向性マイクで取得した音、すなわち検査対象物から異音が発生しているか否かを判断している。さらに、どの検査対象物から異音が発生しているのかを特定している。そして、異音が発生していると判断した場合には、ノート型パソコンのディスプレイに警告表示をする。これによって、検査者はどの検査対象物から異音が発生していることを把握でき、検査者ごとに異音が発生しているか否かの判断が異なることを防止できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１５１３３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の発明では、指向性マイクを用いているとはいえ、どの範囲の音を指向性マイクが取得しているのかを一見して把握できない。それにともない、異音が発生している範囲を特定するのに時間がかかってしまうという問題点があった。
【０００５】
本発明は以上の問題点に鑑みてなされたものであり、音を取得する測定範囲及びその測定範囲で異音が発生している場合には、そのことが容易に把握でき、且つ、手を使って作業をするのに支障がない異音診断システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１の異音診断システムは、実物に重畳して画像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイを装着した装着者の頭部の動きに連動させることによって、前記装着者の視野に対応した測定範囲から発生した音を測定音として取得する音取得手段と、前記測定音が異音であるか否かを判断するための基準音を記憶する基準音記憶手段と、前記音取得手段が取得した前記測定音と前記基準音記憶手段に記憶されている前記基準音とを比較することによって、前記測定音が異音であるか否かを判断する異音判断手段と、前記測定範囲を示すとともに、前記異音判断手段が前記測定音を異音であると判断した場合には、異音が発生していることを示した画像を生成する画像生成手段とを備え、前記ヘッドマウントディスプレイは、前記画像生成手段が生成した画像を表示することを特徴とする。
【０００７】
また、請求項２の異音診断システムは、請求項１に記載の発明の構成に加え、前記装着者の頭部の動きに連動させることによって、前記装着者の視野に対応した範囲を撮像する撮像手段と、前記測定音が異音である場合には、前記撮像手段が撮像した画像に含まれている物に対応付けて、前記画像生成手段が生成した画像を記憶する異音画像記憶手段と、その異音画像記憶手段に記憶されている画像を表示する表示手段とをさらに備えることを特徴とする。
【０００８】
また、請求項３の異音診断システムは、請求項１又は２に記載の発明の構成に加え、前記基準音記憶手段には、異音が発生する可能性がある部位が複数ある検査対象物について、前記基準音として、前記各部位に対する各異音が、それぞれの部位に対応付けて記憶されており、前記異音判断手段は、前記基準音記憶手段に記憶されている前記各異音と前記測定音とを比較することによって、前記測定音が異音であるか否かを判断するとともに、異音であると判断する場合には、その異音が前記検査対象物のどの部位から発生しているのかも判断し、前記画像生成手段は、前記異音判断手段によって異音が発生していると判断された部位に対応した画像を生成することを特徴とする。
【０００９】
また、請求項４の異音診断システムは、請求項２又は３に記載の発明の構成に加え、異音が発生する可能性がある部位が複数ある検査対象物におけるそれら部位の位置を示した目印画像を記憶する目印画像記憶手段をさらに備え、前記ヘッドマウントディスプレイは、前記撮像手段が撮像した画像における前記検査対象物に相当する画像の位置に基づいて、前記検査対象物と重なるように前記目印画像記憶手段に記憶されている前記目印画像を表示することを特徴とする。
【発明の効果】
【００１０】
請求項１の異音診断システムによれば、実物に重畳して画像を表示するヘッドマウントディスプレイを備えている。また、音取得手段は、ヘッドマウントディスプレイを装着した装着者の頭部の動きに連動させることによって、装着者の視野に対応した測定範囲から発生した音を測定音として取得する。また、基準音記憶手段には測定音が異音であるか否かを判断するための基準音が記憶されている。そして、異音判断手段は、音取得手段が取得した前記測定音と前記基準音記憶手段に記憶されている前記基準音とを比較することによって、前記測定音が異音であるか否かを判断する。画像生成手段は、測定音の測定範囲を示すとともに、異音判断手段が測定音を異音であると判断した場合には、異音が発生していることを示した画像を生成する。そして、ヘッドマウントディスプレイは、前記画像生成手段が生成した画像を表示する。
【００１１】
このように、測定音が取得されている測定範囲がヘッドマウントディスプレイの装着者の視野に重畳されて表示されるので、その装着者は、測定範囲を容易に把握できる。その測定範囲は、装着者の視野に対応したものである。すなわち、装着者が向いた方向が測定範囲となるので、装着者のどの方向を向いていたとしても、測定範囲を容易に把握できる。この際、異音判断手段によって、測定音が異音であると判断された場合には、そのことを示した画像が装着者の視野に重畳して表示されるので、異音がどの範囲で発生しているのかを容易に把握できる。さらに、測定範囲及び異音を示した画像はヘッドマウントディスプレイに実物に重畳して表示されるので、手を使って作業をするのに支障がない。
【００１２】
また、請求項２の異音診断システムによれば、撮像手段が、装着者の頭部の動きに連動させることによって、装着者の視野に対応した範囲を撮像する。そして、測定音が異音である場合には、撮像手段が撮像した画像に含まれている物に対応付けて、画像生成手段が生成した画像が異音画像記憶手段に記憶される。表示手段は、その異音画像記憶手段に記憶されている画像を表示する。その画像は、撮像手段が撮像した画像に含まれている物に対応付けられたものである。したがって、表示手段が表示する画像を視認することによって、いつでも、どの物から異音が発生していたのかを特定できる。
【００１３】
また、請求項３の異音診断システムによれば、基準音記憶手段には、異音が発生する可能性がある部位が複数ある検査対象物について、基準音として、各部位に対する各異音が、それぞれの部位に対応付けて記憶されている。また、異音判断手段は、基準音記憶手段に記憶されている各異音と測定音とを比較することによって、測定音が異音であるか否かを判断するとともに、異音であると判断する場合には、その異音が検査対象物のどの部位から発生しているのかも判断する。そして、画像生成手段は、異音判断手段によって異音が発生していると判断された部位に対応した画像を生成する。これにより、検査対象物のどの部位から異音が発生しているのかを容易に把握できる。
【００１４】
また、請求項４の異音診断システムによれば、目印画像記憶手段には、異音が発生する可能性がある部位が複数ある検査対象物におけるそれら部位の位置を示した目印画像が記憶されている。そして、ヘッドマウントディスプレイは、撮像手段が撮像した画像における検査対象物に相当する画像の位置に基づいて、検査対象物と重なるように目印画像記憶手段に記憶されている目印画像を表示する。したがって、検査対象物の異音が発生する可能性がある各部位を検査しようとする装着者は、部位の位置を示した目印画像が検査対象物に重畳されて表示されるので、どの部位を検査すればよいのか容易に把握できる。
【図面の簡単な説明】
【００１５】
【図１】異音診断システム５０の概略構成を示した図である。
【図２】第一実施形態の異音診断システム５０が適用される場面を説明するための図である。
【図３】ヘッドマウントディスプレイ１の電気的及び光学的構成を示す説明図である。
【図４】管理サーバ３００の電気的構成を示す説明図である。
【図５】ＨＤＤ３２４に記憶されている基準音を示した図である。
【図６】第一実施形態のヘッドマウントディスプレイ１の制御部１１０が実行する処理を示したフローチャートである。
【図７】第一実施形態の管理サーバ３００の制御部３２０が実行する処理を示したフローチャートである。
【図８】ヘッドマウントディスプレイ１に、測定範囲５０２を示した測定範囲画像６００が表示されていることを示した図である。
【図９】ヘッドマウントディスプレイ１に、正常画像６０１が検査対象物５０１と重なるように表示されていることを示した図である。
【図１０】ヘッドマウントディスプレイ１に、異音画像６０２が検査対象物５０１と重なるように表示されていることを示した図である。
【図１１】ＨＤＤ３２４に、検査対象物５０１ごとに正常品か不良品かが対応付けられて記憶されていることを示した図である。
【図１２】ＨＤＤ３２４に、各部位に対する各異音の周波数スペクトルをそれぞれ異音スペクトルとして記憶されていることを示した図である。
【図１３】第二実施形態の異音診断システム５０が適用される場面を説明するための図である。
【図１４】フラッシュメモリ１０２に記憶されている目印画像９００を示した図である。
【図１５】第二実施形態のヘッドマウントディスプレイ１の制御部１１０が実行する処理を示したフローチャートである。
【図１６】図１５のフローチャート中の目印画像表示処理のサブルーチンを示したフローチャートである。
【図１７】第二実施形態の管理サーバ３００の制御部３２０が実行する処理を示したフローチャートである。
【図１８】ヘッドマウントディスプレイ１に、ハンマー７００で叩くように指示する画像が表示されていることを示した図である。
【図１９】ヘッドマウントディスプレイ１に、叩かれたボルト８１１〜８１８の位置に正常画像６０１を重ねて表示されていることを示した図である。
【図２０】ヘッドマウントディスプレイ１に、叩かれたボルト８１１〜８１８の位置に異音画像６０２を重ねて表示されていることを示した図である。
【図２１】各ボルト８１１〜８１８が正常に締結されているか否かを示した画像である。
【発明を実施するための形態】
【００１６】
（第一実施形態）
以下、本発明に係る異音診断システムの第一実施形態について図面を参照して説明する。図１は、本実施形態の異音診断システム５０の概略構成を示した図である。図１に示すように、異音診断システム５０は、ヘッドマウントディスプレイ１と、管理サーバ３００とをネットワーク３０２を介して接続して構成している。そして、ヘッドマウントディスプレイ１は装着者５１に装着される。
【００１７】
図２は、本実施形態の異音診断システム５０が適用される場面を説明するための図である。図２に示すように、ベルト状の検査対象物製造ライン５００に自動車のエンジンなど同種の複数の検査対象物５０１ａ〜５０１ｄ・・・（以下、これらを総称するときは検査対象物５０１という。）が載せられている。検査対象物製造ライン５００は長手方向に可動し、それに伴って、検査対象物５０１が移動している。それら検査対象物５０１の各々には、外部に識別情報が付されているとともに、内部には可動部が備えられている。そして、その可動部が正常に可動するかを検査するために、その可動部が試験的に可動している。そして検査対象物製造ライン５００の脇において、ヘッドマウントディスプレイ１を装着した装着者５１が、検査員として、検査対象物５０１の可動部が正常に可動しているのかを検査している。その検査方法に関して、異音診断システム５０は、検査対象物５０１の可動部の可動音を測定音として取得し、その測定音が正常音であるか否かを判定し、その判定結果をヘッドマウントディスプレイ１に表示する。そして装着者５１は、測定音が異音であると判定された検査対象物５０１に対して、不良品であることを示したシールを貼付している。以下、異音診断システム５０の詳細について説明する。
【００１８】
先ずヘッドマウントディスプレイ１の外観構成について図２を参照して説明する。ヘッドマウントディスプレイ１は、内部又は外部に記憶されている各種情報を画像信号に変換し、この画像信号に基づいて生成した画像光（以下、「画像光」という。）を装着者５１の眼に導いて走査する光走査部１０（図３参照）を備え、装着者５１が頭部に装着した状態で光走査部１０を動作させることによって、画像光を装着者５１の網膜上で２次元方向に走査させることにより、装着者５１に情報に対応する画像を視認させることができるように構成している。なお、このヘッドマウントディスプレイ１の具体的構成については、後に詳述する。
【００１９】
また、このヘッドマウントディスプレイ１は、画像を表示している最中であっても装着者５１の視野の中で、その画像を表示している領域を含めて、装着者５１が外界を視認できるように構成している。すなわち、このヘッドマウントディスプレイ１は、実物に重畳して画像を表示するものであり、外光を透過しつつ、情報に応じた画像光を装着者５１の眼に投射するシースルー型のヘッドマウントディスプレイである。
【００２０】
また、本実施形態のヘッドマウントディスプレイ１は、そのフレームに装着者５１の視野に対応した範囲を撮像する撮像手段としてのＣＣＤセンサ２を備えている。このＣＣＤセンサ２は、不良品と判定された検査対象物５０１（識別情報）を撮像するためのものである。このＣＣＤセンサ２により装着者５１の頭部の動きに連動して装着者５１の視野に対応した範囲を撮像することができる。なお、図２に示すように、ヘッドマウントディスプレイ１は、外界の明るさを検出する輝度センサ８と、ＣＣＤセンサ２の撮像範囲を照らすＬＥＤ３とを備えており、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＬＥＤ３がＣＣＤセンサ２の撮像範囲を照らすこととなる。
【００２１】
また、ヘッドマウントディスプレイ１のフレームの左右には、指向性マイク５Ｒ、５Ｌが固定されている。その指向性マイク５Ｒ、５Ｌは、一定の範囲から発生した音を測定音として取得し、それ以外の範囲から発生した音については測定音の波形に影響が出ないように音圧レベルを下げて取得する。すなわち、所定の指向性を有している。上述したように指向性マイク５Ｒ、５Ｌは、ヘッドマウントディスプレイ１のフレームの左右に固定されているので、装着者５１の頭部の動きに連動される。このようにして、指向性マイク５Ｒ、５Ｌの二つ合わせた統合指向性（以下、測定範囲という。）は、装着者５１の視野に対応させている。具体的には、図２に示すように、装着者５１の正面に検査対象物５０１を置いたときに、その検査対象物５０１から発生した可動音を取得し、かつ、それ以外の検査対象物５０１から発生した可動音については、その音圧レベルを下げて取得するように、測定範囲５０２が定められている。すなわち、指向性マイク５Ｒ、５Ｌによって、装着者５１の正面にある検査対象物５０１からの可動音のみ取得するのと同等の効果がある。なお、上述したＣＣＤセンサ２の撮像範囲は測定範囲５０２と同等に設定されている。なお、指向性マイク５Ｒ、５Ｌは、本発明の「音取得手段」に相当する。
【００２２】
ここで、本実施形態に係るヘッドマウントディスプレイ１の電気的構成等について、図３を参照して説明する。図３は、本実施形態に係るヘッドマウントディスプレイ１の電気的及び光学的構成を示す説明図である。
【００２３】
図３に示すように、このヘッドマウントディスプレイ１は、当該ヘッドマウントディスプレイ１全体の動作を統括制御する制御部１１０と、この制御部１１０から供給される画像信号に基づいて生成した画像光を２次元的に走査することにより画像を表示することによって、画像信号に応じた画像を視認させる光走査部１０とを備えている。
【００２４】
光走査部１０は、この制御部１１０から供給される画像信号をドットクロック毎に読み出し、読み出した映像信号に応じて強度変調された画像光を生成して出射する画像光生成部２０を備えている。さらに、その画像光生成部２０と装着者５１の眼Ｅとの間には、画像光生成部２０で生成され、光ファイバ１００を介して出射されるレーザビーム（画像光）を平行光化するコリメート光学系６１と、このコリメート光学系６１で平行光化された画像光を画像表示のために水平方向（第１方向）に往復走査する第１光走査部として機能する水平走査部７０と、水平走査部７０で水平方向に走査された画像光を垂直方向（第１方向と略直交する第２方向）に往復走査する第２光走査部として機能する垂直走査部８０と、水平走査部７０と垂直走査部８０との間に設けられたリレー光学系７５と、このように水平方向と垂直方向に走査（２次元的に走査）された画像光をハーフミラー９５を介して瞳孔Ｅａへ出射するためのリレー光学系９０とが設けられている。
【００２５】
また、画像光生成部２０には、パーソナルコンピュータ（図示略）等の外部装置から供給される画像信号が、インターフェース１０４と制御部１１０とを介して入力され、それに基づいて画像を合成するための要素となる各信号等を発生する信号処理回路２１が設けられ、この信号処理回路２１において、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各画像信号２２ａ〜２２ｃが生成され、出力される。また、信号処理回路２１は、水平走査部７０で使用される水平駆動信号２３と、垂直走査部８０で使用される垂直駆動信号２４とをそれぞれ出力する。
【００２６】
さらに、画像光生成部２０は、信号処理回路２１からドットクロック毎に出力される３つの画像信号（Ｂ，Ｒ，Ｇ）２２ａ〜２２ｃをそれぞれ画像光にする画像光出力部として機能する光源部３０と、これらの３つの画像光を１つの画像光に結合して任意の画像光を生成するための光合成部４０を備えている。
【００２７】
光源部３０は、青色の画像光を発生させるＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の画像光を発生させるＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の画像光を発生させるＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。なお、各レーザ３４、３５、３６は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う必要がある。
【００２８】
光合成部４０は、光源部３０から入射する画像光を平行光にコリメートするように設けられたコリメート光学系４１、４２、４３と、このコリメートされた画像光を合成するためのダイクロイックミラー４４、４５、４６と、合成された画像光を光ファイバ１００に導く結合光学系４７とを備えている。
【００２９】
各レーザ３４、３５、３６から出射したレーザ光は、コリメート光学系４１、４２、４３によってそれぞれ平行化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各画像光が波長に関して選択的に反射・透過される。
【００３０】
具体的には、Ｂレーザ３４から出射した青色画像光は、コリメート光学系４１によって平行光化された後に、ダイクロイックミラー４４に入射される。Ｇレーザ３５から出射した緑色画像光は、コリメート光学系４２を経てダイクロイックミラー４５に入射される。Ｒレーザ３６から出射した赤色画像光は、コリメート光学系４３を経てダイクロイックミラー４６に入射される。
【００３１】
それら３つのダイクロイックミラー４４、４５、４６にそれぞれ入射した３原色の画像光は、波長選択的に反射または透過して結合光学系４７に達し、集光され光ファイバ１００へ出力される。
【００３２】
水平走査部７０及び垂直走査部８０は、光ファイバ１００から入射された画像光を画像として投影可能な状態にするために、水平方向と垂直方向に走査して走査画像光とするものである。
【００３３】
水平走査部７０は、画像光を水平方向に走査するための反射面を有する共振型偏向素子７１と、この共振型偏向素子７１を共振させ、共振型偏向素子７１の反射面を揺動させる駆動信号を発生する駆動信号発生器としての水平走査駆動回路７２と、共振型偏向素子７１から出力される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する水平走査角検出回路７３とを有している。
【００３４】
本実施形態において、水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を制御部１１０へ入力するようにしている。
【００３５】
垂直走査部８０は、画像光を垂直方向に走査するための偏向素子８１と、この偏向素子８１を駆動させる垂直走査制御回路８２と、この垂直走査制御回路８２による反射面の揺動範囲及び揺動周波数等の揺動状態を検出する垂直走査角検出回路８３とを備えている。
【００３６】
また、水平走査駆動回路７２と垂直走査制御回路８２は、信号処理回路２１から出力される水平駆動信号２３と垂直駆動信号２４に基づいてそれぞれ駆動し、垂直走査角検出回路８３は、検出した偏向素子８１の揺動状態を示す信号を制御部１１０へ入力するようにしている。
【００３７】
そして、後に詳述する制御部１１０は、信号処理回路２１の動作を制御することによって、これら水平駆動信号２３と垂直駆動信号２４とを調整することによって、水平走査部７０と垂直走査部８０に画像光の走査角を変更させて、表示する画像の輝度を調整するようにしている。
【００３８】
こうして変更された走査角度は水平走査角検出回路７３および垂直走査角検出回路８３からの検出信号に基づいて制御部１１０により検出され、信号処理回路２１と水平走査駆動回路７２とを介して水平駆動信号２３にフィードバックされると共に、信号処理回路２１と垂直走査制御回路８２とを介して垂直駆動信号２４にフィードバックされる。
【００３９】
また、水平走査部７０と垂直走査部８０との間での画像光を中継するリレー光学系７５を備えており、共振型偏向素子７１によって水平方向に走査された光は、リレー光学系７５によって偏向素子８１の反射面に収束され、偏向素子８１によって垂直方向に走査されて、２次元的に走査された走査画像光として、リレー光学系９０へ出射される。
【００４０】
リレー光学系９０は、正の屈折力を持つレンズ系９１、９４を有している。垂直走査部８０から出射された表示用の走査画像光は、レンズ系９１によって、それぞれの画像光がその画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。そして、レンズ系９４によってそれぞれほぼ平行な画像光となると共に、これらの画像光の中心線が装着者５１の瞳孔Ｅａに収束するように変換される。
【００４１】
なお、本実施形態においては、光ファイバ１００から入射された画像光を、水平走査部７０で水平方向に走査した後、垂直走査部８０によって垂直方向に走査することとしたが、水平走査部７０と垂直走査部８０との配置を入れ替え、垂直走査部８０によって垂直方向に走査した後、水平走査部７０で水平方向に走査するようにしてもよい。
【００４２】
また、制御部１１０は、ＣＰＵ１０１と、不揮発性メモリであるフラッシュメモリ（図中においてはＦｌａｓｈ Ｍｅｍｏｒｙと示す。）１０２と、ＲＡＭ１０３とを備えている。そして、これらＣＰＵ１０１、フラッシュメモリ１０２、ＲＡＭ１０３は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。
【００４３】
また、この制御部１１０は、当該ヘッドマウントディスプレイ１の電源スイッチＳＷ、検査対象物５０１を撮像するＣＣＤセンサ２、外界の明るさ（輝度）を検知する輝度センサ８、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＣＣＤセンサ２の撮像範囲を照らすＬＥＤ３、装着者５１によって操作可能な操作スイッチ７、他の装置との通信を制御するための通信制御回路９、パーソナルコンピュータ等の外部装置と接続可能なインターフェース１０４とも接続されている。
【００４４】
ＣＰＵ１０１は、フラッシュメモリ１０２に記憶されている各種情報処理プログラムを実行することにより、ヘッドマウントディスプレイ１を構成する図示しない各種回路を動作させて、ヘッドマウントディスプレイ１が備える各種機能を実行させる演算処理装置である。
【００４５】
フラッシュメモリ１０２は、ヘッドマウントディスプレイ１により表示する画像の表示制御を行う際に画像光生成部２０、水平走査部７０、垂直走査部８０等を動作させるための情報処理プログラム等、制御部１１０がヘッドマウントディスプレイ１全体の動作を統括制御するためにＣＰＵ１０１により実行される各種情報処理プログラムを記憶している。
【００４６】
ここで、本実施形態に係る管理サーバ３００の電気的構成等について、図４を参照して説明する。図４は、本実施形態に係る管理サーバ３００の電気的構成を示す説明図である。
【００４７】
図４に示すように、この管理サーバ３００は、当該管理サーバ３００全体の動作を統括制御する制御部３２０と、外部装置との通信を行うための通信制御回路３２５とを備えている。
【００４８】
制御部３２０は、ＣＰＵ３２１と、各種プログラム等が記憶されたＲＯＭ３２２と、ＲＡＭ３２３と、ハードディスクドライブ（図中においてはＨＤＤと示し、以下、ＨＤＤという。）３２４とを備えている。そして、これらＣＰＵ３２１、ＲＯＭ３２２、ＲＡＭ３２３、ＨＤＤ３２４は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。また、この制御部３２０は、他の装置との通信を制御するための通信制御回路３２５とも接続されている。そして制御部３２０は、通信制御回路３２５を介してヘッドマウントディスプレイ１と通信を行う。
【００４９】
ＣＰＵ３２１は、ＲＯＭ３２２に記憶されている各種情報処理プログラムを実行することにより、管理サーバ３００を構成する図示しない各種回路を動作させて、管理サーバ３００が備える各種機能を実行させる演算処理装置である。ＲＯＭ３２２は、制御部３２０が管理サーバ３００全体の動作を統括制御するためにＣＰＵ３２１により実行される各種情報処理プログラムを記憶している。
【００５０】
ＨＤＤ３２４は、各種のデータが記憶されている。具体的には、ＨＤＤ３２４には、検査対象物５０１の可動部の可動音が正常の場合におけるその可動音（以下、基準音という）が記憶されている。図５は、ＨＤＤ３２４に記憶されている基準音を示した図である。基準音は、複数の周波数の音が複合されている。そこで図５に示すように、基準音は、横軸が周波数で、縦軸が各周波数に対応した音圧レベルからなる周波数スペクトルとして記憶されている。なお図５では、一定の音圧レベル（以下、基準レベルという。）以上の周波数に対応したスペクトルが示している。図５に示すように、基準音は、周波数ｆａ、ｆｂ、ｆｃの音の音圧レベルが基準レベル以上となっている。この基準音は、指向性マイク５Ｒ、５Ｌが取得した測定音が正常音であるか否かを判定するために用いられる。なおＨＤＤ３２４は、本発明の「基準音記憶手段」に相当する。
【００５１】
続いて、検査対象物５０１が正常に可動するか否かを判定するための、ヘッドマウントディスプレイ１の制御部１１０と管理サーバ３００の制御部３２０が実行する正常判定処理について図面を参照して説明する。図６は、ヘッドマウントディスプレイ１の制御部１１０が実行する処理を示したフローチャートである。また、図７は、管理サーバ３００の制御部３２０が実行する処理を示したフローチャートである。なお、正常判定処理は装着者５１によって、ヘッドマウントディスプレイ１の操作スイッチ７に設けられたスタートスイッチが操作されたときに開始される。
【００５２】
先ず、図８に示すように、ヘッドマウントディスプレイ１の制御部１１０は、指向性マイク５Ｒ、５Ｌによる測定範囲５０２（図２参照）を示した測定範囲画像６００を表示する（図６のＳ１０）。装着者５１は検査対象物５０１に重畳して表示されている測定範囲画像６００を視認することによって、これからどの検査対象物５０１を検査するのかを把握できる。続いて制御部１１０は、ＣＣＤセンサ２によって測定範囲５０２にある検査対象物５０１を撮像する（図６のＳ１１）。続いて制御部１１０は、指向性マイク５Ｒ、５Ｌによって、測定範囲５０２にある検査対象物５０１から発生する可動音を測定音として取得する（図６のＳ１２）。そして制御部１１０は、ＣＣＤセンサ２による撮像画像と、測定音とをネットワーク３０２を介して管理サーバ３００に送信する（図６のＳ１３）。
【００５３】
管理サーバ３００の制御部３２０は、その撮像画像と測定音とを、通信制御回路３２５にて受信する（図７のＳ３０）。そして制御部３２０は、受信した測定音を高速フーリエ変換（ＦＦＴ）して、周波数スペクトルに変換する（図７のＳ３１）。制御部３２０は、その測定音の周波数スペクトルと、ＨＤＤ３２４に記憶されている基準音の周波数スペクトル（図５参照）とを比較して、測定音が正常音であるか否かを判定する（図７のＳ３２）。具体的には、測定音の周波数スペクトルにおいて、図５に示す周波数ｆａ、ｆｂ、ｆｃ以外の周波数で基準レベル以上の音圧レベル（以下、異音スペクトルという。）があるかを判定する。すなわち、異音スペクトルがない場合には測定音は正常音であると判定し、異音スペクトルがある場合には測定音は異音であると判定する（図７のＳ３２）。なお、Ｓ３２は本発明の「異音判断手段」に相当する処理である。そして制御部３２０はその判定結果を、ネットワーク３０２を介して、ヘッドマウントディスプレイ１の制御部１１０に送信する（図７のＳ３３）。
【００５４】
ヘッドマウントディスプレイ１の制御部１１０は、測定音が正常音であるか否かの判定結果を受信する（図６のＳ１４）。そして、その判定結果が正常音であることを示す結果である場合には（図６のＳ１５：ＹＥＳ）、正常であることを示す青色の正常画像６０１を生成して、図９に示すように、その正常画像６０１を検査対象物５０１と重なるように表示する（図６のＳ１６）。これによって、装着者５１はその検査対象物５０１が正常に可動することを容易に把握できる。一方制御部１１０は、判定結果が異音であることを示す結果である場合には（図６のＳ１５：ＮＯ）、異音であることを示す赤色の異音画像６０２を生成して、図１０に示すように、その異音画像６０２を検査対象物５０１と重なるように表示する（図６のＳ１７）。これによって、装着者５１はその検査対象物５０１から異音が発生していることを容易に把握でき、その検査対象物５０１は不良品であることを示すシールをその検査対象物５０１に貼付できる。そして、後にそのシールが貼付されている検査対象物５０１を回収、点検することができる。ヘッドマウントディスプレイ１の制御部１１０は、装着者５１によって操作スイッチ７に設けられた終了スイッチが操作されるまで、上述した処理（図６のＳ１０〜Ｓ１７）を実行する（図６のＳ１８：ＮＯ）。そして、終了スイッチが操作された場合には（図６のＳ１８：ＹＥＳ）、終了通知を管理サーバ３００に送信し（Ｓ１９）、図６のフローチャートに示した処理を終了する。なお、Ｓ１６及びＳ１７は本発明の「画像生成手段」に相当する処理である。
【００５５】
一方、管理サーバ３００の制御部３２０は、図７のＳ３３の処理の後、Ｓ３０にて受信した撮像画像を、Ｓ３２の判定結果と対応付けてＨＤＤ３２４に記憶する（図７のＳ３４）。図１１は、そのときのＨＤＤ３２４に記憶される内容を示した図である。図１１に示すように、検査対象物５０１ごとに正常品か不良品かが対応付けられて記憶されていることがわかる。そして、ディスプレイ等の表示手段にこの情報を表示させることによって、各検査対象物５０１が正常品か不良品であるかを、何時でも確認することができる。なお、Ｓ３４は本発明の「異音画像記憶手段」に相当する処理である。管理サーバ３００の制御部３２０は、装着者５１によって操作スイッチ７に設けられた終了スイッチが操作され終了通知が受信されるまで、上述した処理（図７のＳ３０〜Ｓ３４）を実行する（図７のＳ３５：ＮＯ）。そして、終了スイッチが操作され終了通知が受信された場合には（図７のＳ３５：ＹＥＳ）、図７のフローチャートに示した処理を終了する。
【００５６】
以上、本実施形態の異音診断システム５０によれば、測定音が取得されている測定範囲５０２がヘッドマウントディスプレイ１の装着者５１の視野に重畳されて表示されるので、その装着者５１は、測定範囲５０２を容易に把握できる。その測定範囲５０２は、装着者５１の視野に対応したものである。すなわち、装着者５１が向いた方向が測定範囲５０２となるので、装着者５１のどの方向を向いていたとしても、測定範囲５０２を容易に把握できる。この際、測定音が異音であると判断された場合には、そのことを示した異音画像６０２が装着者５１の視野に重畳して表示されるので、異音が検査対象物５０１で発生しているのかを容易に把握できる。さらに、測定範囲５０２及び異音画像６０２はヘッドマウントディスプレイ１に検査対象物５０１に重畳して表示されるので、装着者５１は、手を使って作業をするのに支障がない。
【００５７】
また、異音診断システム５０によれば、ＣＣＤセンサ２が撮像した撮像画像を、検査対象物５０１が正常品か不良品かを対応付けて記憶される。そして、ディスプレイ等の表示手段にこの撮像画像を表示させることによって、各検査対象物５０１が正常品か不良品であるかを、何時でも確認することができる。
【００５８】
（変形例）
第一実施形態では、検査対象物５０１が正常品か不良品かを判定していたが、不良品である場合に、その検査対象物５０１のどの部位が原因なのかまでは特定していなかった。検査対象物によっては、異音が発生する可能性がある部位が複数ある場合もある。そこで、このような検査対象物について、基準音として、各部位に対する各異音を、それぞれの部位に対応付けてＨＤＤ３２４に記憶する。例えば、図１２に示すように、各部位に対する各異音の周波数スペクトルをそれぞれ異音スペクトルとして記憶する。そして、管理サーバ３００の制御部３２０は、図７のＳ３２において、測定音の周波数スペクトルについて、ＨＤＤ３２４に記憶されている異音スペクトルを有しているかを判定する。異音スペクトルを有している場合には、その異音スペクトルがどの部位に対するものかを示した情報を、ヘッドマウントディスプレイ１の制御部１１０に送信する。ヘッドマウントディスプレイ１の制御部１１０は、図１３に示すように、異音が発生していると判断された部位に対応した画像を生成して表示する。これにより、検査対象物のどの部位から異音が発生しているのかを容易に把握できる。
【００５９】
（第二実施形態）
次に、本発明に係る異音診断システムの第二実施形態について図面を参照して説明する。本実施形態の異音診断システム５０の構成は、第一実施形態のそれと同じである（図１、図３、図４参照。）。ただし、ヘッドマウントディスプレイ１の制御部１１０が実行する処理、管理サーバ３００の制御部３２０が実行する処理、及び、管理サーバ３００のＨＤＤ３２４に記憶されている情報が第一実施形態とは異なっている。また、本実施形態の異音診断システム５０が適用される場面は、第一実施形態とは異なっている。以下、本実施形態の異音診断システム５０について、第一実施形態と異なる部分を中心にして説明する。
【００６０】
先ず、本実施形態の異音診断システム５０が適用される場面について図１３を参照して説明する。図１３に示すように、本実施形態の異音診断システム５０は、車両８００の車輪部分８１０のボルト８１１〜８１８が緩んでいないか否かを診断する際に適用される。具体的には、ヘッドマウントディスプレイ１を装着した装着者５１は、ハンマー７００にて、各ボルト８１１〜８１８を叩いていく。そして、異音診断システム５０は、そのときに発生する音を測定音として取得して、その測定音について、ボルトが緩んでいないことを示した正常音であるか否かを判定し、その判定結果をヘッドマウントディスプレイ１に表示する。以下、本実施形態の異音診断システム５０の詳細について説明する。
【００６１】
本実施形態のヘッドマウントディスプレイ１の構成は、図３に示す第一実施形態と同じである。ただし、図１３に示すように、装着者５１の正面に車輪部分８１０を置いたときに、その車輪部分８１０の方向から発生した音を取得し、かつ、それ以外の方向から発生した音については、その音圧レベルを下げて取得するように、指向性マイク５Ｒ、５Ｌの測定範囲５０２が定められている。すなわち、指向性マイク５Ｒ、５Ｌによって、装着者５１の正面にある車輪部分８１０からの音のみ取得するのと同等の効果がある。なお、ＣＣＤセンサ２の撮像範囲は測定範囲５０２と同等に設定されている。
【００６２】
また、制御部１１０のフラッシュメモリ１０２に記憶されている情報が第一実施形態のそれとは異なっている。具体的には、装着者５１が車輪部分８１０の叩く目印となる目印画像９００が記憶されている。図１４は、その目印画像９００を示した図である。なお、説明の便宜のために、図１４には目印画像９００の基準点Ｘ２と車輪部分８１０の基準点Ｘ１が一致するように車輪部分８１０も示している。図１４に示すように、目印画像９００は車輪部分８１０と重ねたときに、ボルト８１１〜８１８の位置を示したボルト位置画像９０１〜９０８を含んでいる。ボルト位置画像９０１はボルト８１１に対応し、ボルト位置画像９０２はボルト８１２に対応し、ボルト位置画像９０３はボルト８１３に対応し、ボルト位置画像９０４はボルト８１４に対応している。また、ボルト位置画像９０５はボルト８１５に対応し、ボルト位置画像９０６はボルト８１６に対応し、ボルト位置画像９０７はボルト８１７に対応し、ボルト位置画像９０８はボルト８１８に対応している。なお、フラッシュメモリ１０２は本発明の「目印画像記憶手段」に相当する。なお、ヘッドマウントディスプレイ１他の構成については、第一実施形態と同じなので説明を省略する。
【００６３】
一方、本実施形態の管理サーバ３００の構成は、図４に示す第一実施形態と同じである。ただし、ＨＤＤ３２４に記憶されている情報が第一実施形態のそれとは異なっている。具体的にＨＤＤ３２４には、車輪部分８１０の基準点Ｘ１に対する各ボルト８１１〜８１８の位置情報が記憶されている。また、ＨＤＤ３２４には、各ボルト８１１〜８１８に対して、正常に締結されているか否かが診断された場合に、診断済み情報が記憶される記憶領域が設けられている。なお、管理サーバ３００の他の構成については、第一実施形態と同じなので説明を省略する。
【００６４】
続いて、ボルト８１１〜８１８が正常に締結されているか否かを判定するための、ヘッドマウントディスプレイ１の制御部１１０と管理サーバ３００の制御部３２０が実行する正常判定処理について図面を参照して説明する。図１５は、ヘッドマウントディスプレイ１の制御部１１０が実行する処理を示したフローチャートである。また、図１６は、図１５のフローチャート中の目印画像表示処理のサブルーチンを示したフローチャートである。また、図１７は、管理サーバ３００の制御部３２０が実行する処理を示したフローチャートである。なお、正常判定処理は装着者５１によって、ヘッドマウントディスプレイ１の操作スイッチ７に設けられたスタートスイッチが操作されたときに開始される。
【００６５】
先ずヘッドマウントディスプレイ１の制御部１１０は、フラッシュメモリ１０２に記憶されている目印画像９００を車輪部分８１０に重ねて表示する目印画像表示処理を実行する（図１５のＳ４１）。詳細は図１６の目印画像表示処理のサブルーチンのフローチャートに従って実行する。以下、目印画像表示処理を説明する。
【００６６】
先ずＣＣＤセンサ２によって車輪部分８１０を撮像する（図１６のＳ４１１）。続いて、その撮像画像に写っている車輪部分８１０に相当する画像を抽出し、その抽出した画像から車輪部分８１０の基準点Ｘ１を検出する（図１６のＳ４１２）。そしてその基準点Ｘ１とフラッシュメモリ１０２に記憶されている目印画像９００の基準点Ｘ２とが一致するように、目印画像９００を表示し（図１６のＳ４１３）、このサブルーチンを終了する。これにより、目印画像９００が車輪部分８１０に重ねて表示されることになる。すなわち装着者５１は、自身の頭が多少動いたとしても、目印画像９００は車輪部分８１０に重ねて表示され続けるので、装着者５１が誤った位置をハンマー７００で叩いてしまうことを防止できる。尚、基準点Ｘ１は車輪に設けられたマーカでも良い。
【００６７】
説明を図１５のフローチャートの処理に戻り、Ｓ４１１にて撮像した撮像画像に目印画像９００を重ねて表示した画像（以下、重畳画像という。）を、管理サーバ３００の制御部３２０に送信する（図１５のＳ４２）。
【００６８】
管理サーバ３００の制御部３２０は、その重畳画像を受信する（図１７のＳ６１）。これにより制御部３２０は、装着者５１がボルト８１１〜８１８の締結状態を診断する準備ができていることを把握できる。続いて制御部３２０は、上記診断済み情報がＨＤＤ３２４に記憶されていないボルト８１１〜８１８のいずれかを選択する（図１７のＳ６２）。その選択方法は、ボルト８１１、ボルト８１２・・・というように予め定めた順番に従って選択しても良いし、乱数を用いてランダムに選択しても良い。続いて制御部３２０は、Ｓ６２にて選択したボルト８１１〜８１８の位置情報をＨＤＤ３２４から読み出す（測定点検出）（図１７のＳ６３）。そして、その位置情報をヘッドマウントディスプレイ１の制御部１１０に送信する（図１７のＳ６４）。
【００６９】
ヘッドマウントディスプレイ１の制御部１１０は、その位置情報を受信し（図１５のＳ４３）、図１８に示すように、その位置情報で示される位置をハンマー７００で叩くように指示する画像を表示する（図１５のＳ４４）。装着者５１は、その画像を視認することによって、どの位置をハンマー７００で叩けばよいのか把握できる。そして装着者５１によってボルト８１１〜８１８がハンマー７００で叩かれた場合には、そのときに発生した音を測定音として指向性マイク５Ｒ、５Ｌで取得する（図１５のＳ４５）。続いて、その測定音を管理サーバ３００の制御部３２０に送信する（図１５のＳ４６）。
【００７０】
管理サーバ３００の制御部３２０は、その測定音を通信制御回路３２５にて受信する（図１７のＳ６５）。そして制御部３２０は、受信した測定音を高速フーリエ変換（ＦＦＴ）して、周波数スペクトルに変換する（図１７のＳ６６）。制御部３２０は、その測定音の周波数スペクトルと、ＨＤＤ３２４に記憶されている基準音の周波数スペクトル（図５参照）とを比較して、測定音が正常音であるか否かを判定する（図１７のＳ６７）。具体的には、測定音の周波数スペクトルにおいて異音スペクトルがあるかを判定する。すなわち、異音スペクトルがない場合には測定音は正常音であると判定し、異音スペクトルがある場合には測定音は異音であると判定する（図１７のＳ６７）。なお、Ｓ６７は本発明の「異音判断手段」に相当する処理である。そして制御部３２０はその判定結果を、ネットワーク３０２を介して、ヘッドマウントディスプレイ１の制御部１１０に送信する（図１７のＳ６８）。
【００７１】
ヘッドマウントディスプレイ１の制御部１１０は、測定音が正常音であるか否かの判定結果を受信する（図１５のＳ４７）。そして、その判定結果が正常音であることを示す結果である場合には（図１５のＳ４８：ＹＥＳ）、正常であることを示す青色の正常画像６０１を生成して、図１９に示すように、その正常画像６０１を叩かれたボルト８１１〜８１８の位置に重ねて表示する（図１５のＳ４９）。これによって、装着者５１はそのボルト８１１〜８１８が正常に締結されていることを容易に把握できる。一方制御部１１０は、判定結果が異音であることを示す結果である場合には（図１５のＳ４８：ＮＯ）、異音であることを示す赤色の異音画像６０２を生成して、図２０に示すように、その異音画像６０２を叩かれたボルト８１１〜８１８の位置に重ねて表示する（図１５のＳ５０）。これによって、装着者５１はそのボルト８１１〜８１８から異音が発生していることを容易に把握でき、そのボルト８１１〜８１８は緩んでいることを把握できる。したがって、装着者５１は、ボルト８１１〜８１８を正常に締結し直すことができる。ヘッドマウントディスプレイ１の制御部１１０は、装着者５１によって操作スイッチ７に設けられた終了スイッチが操作されるまで、上述した処理（図１５のＳ４１〜Ｓ５０）を実行する（図１５のＳ５１：ＮＯ）。そして、終了スイッチが操作された場合には（図１５のＳ５１：ＹＥＳ）、終了通知を管理サーバ３００に送信し（Ｓ５２）、図１５のフローチャートに示した処理を終了する。なお、Ｓ４９及びＳ５０は本発明の「画像生成手段」に相当する処理である。
【００７２】
一方、管理サーバ３００の制御部３２０は、図１７のＳ６８の処理の後、Ｓ６１にて受信した重畳画像における叩かれたボルト８１１〜８１８の位置に、Ｓ６７の判定結果を重ねてＨＤＤ３２４に記憶する（図１７のＳ６９）。図２１は、そのときのＨＤＤ３２４に記憶される内容を示した図である。図２１に示すように、ボルト８１１〜８１８ごとに正常に締結されているか否かが対応付けられて記憶されていることがわかる。そして、ディスプレイ等の表示手段にこの情報を表示させることによって、各ボルト８１１〜８１８が正常に締結されているか否かを、何時でも確認することができる。なお、Ｓ６９は本発明の「異音画像記憶手段」に相当する処理である。続いて、Ｓ６２で選択したボルト８１１〜８１８に対して、診断済み情報をＨＤＤ３２４に記憶する（図１７のＳ６９）。管理サーバ３００の制御部３２０は、装着者５１によって操作スイッチ７に設けられた終了スイッチが操作されるまで、上述した処理（図１７のＳ６１〜Ｓ７０）を実行する（図１７のＳ７０：ＮＯ）。そして、終了スイッチが操作され終了通知が受信された場合には（図１７のＳ７０：ＹＥＳ）、図１７のフローチャートに示した処理を終了する。
【００７３】
以上、本実施形態の異音診断システム５０によれば、車輪部分８１０に重ねて目印画像９００がヘッドマウントディスプレイ１に表示される。その目印画像９００は、各ボルト８１１〜８１８に対応したボルト位置画像９０１〜９０８を含んでいる。したがって装着者５１は、どの部位をハンマー７００で叩けばすればよいのか容易に把握できる。また、装着者５１の頭が多少動いたとしても、目印画像９００は車輪部分８１０に重ねて表示され続けるので、装着者５１が誤った位置をハンマー７００で叩いてしまうことを防止できる。さらに、車輪部分８１０のハンマー７００で叩く位置を示した画像もヘッドマウントディスプレイ１に表示されるので、装着者５１は、どのボルト８１１〜８１８を叩けばよいのかを容易に把握できる。
【００７４】
また、ボルト８１１〜８１８を叩いたときに発生する測定音が異音であると判断された場合には、そのことを示した異音画像６０２が装着者５１の視野に重畳して表示されるので、ボルト８１１〜８１８が緩んでいることを容易に把握できる。さらに、目印画像９００及び異音画像６０２はヘッドマウントディスプレイ１に車輪部分８１０に重畳して表示されるので、装着者５１は、手を使って作業をするのに支障がない。
【００７５】
また、異音診断システム５０によれば、重畳画像における叩かれたボルト８１１〜８１８の位置に、Ｓ６７の判定結果が重ねて記憶される。そして、ディスプレイ等の表示手段にこの情報を表示させることによって、各ボルト８１１〜８１８が正常に締結されているか否かを、何時でも確認することができる。
【００７６】
なお、本発明に係る異音診断システムは、上記実施形態に限定されるわけではなく、その趣旨を逸脱しない範囲において種々変形してもよい。例えば、上記実施形態では、測定音が正常音か異音かを、測定音の周波数スペクトルに異音スペクトルの有無によって判断していた。さらに正確に測定音が正常音か異音かを判断するために、測定音の周波数スペクトルの基準レベル以上の周波数が、基準音のそれ（ｆａ、ｆｂ、ｆｃ）と近似しているかも判断してもよい。すなわち、測定音の周波数スペクトルの基準レベル以上の周波数が、基準音のそれ（ｆａ、ｆｂ、ｆｃ）と近似している場合且つ測定音の周波数スペクトルに異音スペクトルが無い場合に、測定音は正常音と判断する。それ以外は異音と判断する。また、上記実施形態では、正常音を基準音としていたが、反対に、異音を基準音としてもよい。この場合、異音の周波数スペクトルと、測定音の周波数スペクトルを比較して、測定音の周波数スペクトルが異音の周波数スペクトルと近似しているときに、測定音は異音と判断する。それ以外は正常音と判断する。
【００７７】
また、上記実施形態では、正常判定処理の一部を管理サーバ３００が実行していたが、ヘッドマウントディスプレイ１にて正常判定処理の全部を実行してもよい。
【符号の説明】
【００７８】
１ ヘッドマウントディスプレイ
２ ＣＣＤセンサ（撮像手段）
５Ｒ、５Ｌ 指向性マイク（音取得手段）
５０ 異音診断システム
５１ 装着者
１０２ フラッシュメモリ（目印画像記憶手段）
１１０ 制御部
３００ 管理サーバ
３２０ 制御部
３２４ ＨＤＤ（基準音記憶手段）
５０１ 検査対象物
５０２ 測定範囲
６００ 測定範囲画像
６０１ 正常画像
６０２ 異音画像
７００ ハンマー
８１０ 車輪部分
８１１〜８１８ ボルト
９００ 目印画像
Ｓ３２、Ｓ６７ 異音判断手段
Ｓ１６、Ｓ１７、Ｓ４９、Ｓ５０ 画像生成手段
Ｓ３４、Ｓ６９ 異音画像記憶手段
【技術分野】
【０００１】
本発明は、異音が発生しているか否かを診断する異音診断システムに関する。
【背景技術】
【０００２】
異音が発生する可能性がある検査対象物から異音が発生しているか否かを判断する方法として、検査者の聴覚で判断する方法がある。しかし、この方法では、検査者によって判断が異なる虞がある。すなわち、ある検査者は異音が発生していないと判断したが、他の検査者は異音が発生していると判断することがある。そこで、特許文献１に記載の発明では、指向性マイクを用いて、その指向性マイクで取得した音のデータと、予め記憶されている異音のデータとを比較することによって、指向性マイクで取得した音、すなわち検査対象物から異音が発生しているか否かを判断している。さらに、どの検査対象物から異音が発生しているのかを特定している。そして、異音が発生していると判断した場合には、ノート型パソコンのディスプレイに警告表示をする。これによって、検査者はどの検査対象物から異音が発生していることを把握でき、検査者ごとに異音が発生しているか否かの判断が異なることを防止できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１５１３３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の発明では、指向性マイクを用いているとはいえ、どの範囲の音を指向性マイクが取得しているのかを一見して把握できない。それにともない、異音が発生している範囲を特定するのに時間がかかってしまうという問題点があった。
【０００５】
本発明は以上の問題点に鑑みてなされたものであり、音を取得する測定範囲及びその測定範囲で異音が発生している場合には、そのことが容易に把握でき、且つ、手を使って作業をするのに支障がない異音診断システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１の異音診断システムは、実物に重畳して画像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイを装着した装着者の頭部の動きに連動させることによって、前記装着者の視野に対応した測定範囲から発生した音を測定音として取得する音取得手段と、前記測定音が異音であるか否かを判断するための基準音を記憶する基準音記憶手段と、前記音取得手段が取得した前記測定音と前記基準音記憶手段に記憶されている前記基準音とを比較することによって、前記測定音が異音であるか否かを判断する異音判断手段と、前記測定範囲を示すとともに、前記異音判断手段が前記測定音を異音であると判断した場合には、異音が発生していることを示した画像を生成する画像生成手段とを備え、前記ヘッドマウントディスプレイは、前記画像生成手段が生成した画像を表示することを特徴とする。
【０００７】
また、請求項２の異音診断システムは、請求項１に記載の発明の構成に加え、前記装着者の頭部の動きに連動させることによって、前記装着者の視野に対応した範囲を撮像する撮像手段と、前記測定音が異音である場合には、前記撮像手段が撮像した画像に含まれている物に対応付けて、前記画像生成手段が生成した画像を記憶する異音画像記憶手段と、その異音画像記憶手段に記憶されている画像を表示する表示手段とをさらに備えることを特徴とする。
【０００８】
また、請求項３の異音診断システムは、請求項１又は２に記載の発明の構成に加え、前記基準音記憶手段には、異音が発生する可能性がある部位が複数ある検査対象物について、前記基準音として、前記各部位に対する各異音が、それぞれの部位に対応付けて記憶されており、前記異音判断手段は、前記基準音記憶手段に記憶されている前記各異音と前記測定音とを比較することによって、前記測定音が異音であるか否かを判断するとともに、異音であると判断する場合には、その異音が前記検査対象物のどの部位から発生しているのかも判断し、前記画像生成手段は、前記異音判断手段によって異音が発生していると判断された部位に対応した画像を生成することを特徴とする。
【０００９】
また、請求項４の異音診断システムは、請求項２又は３に記載の発明の構成に加え、異音が発生する可能性がある部位が複数ある検査対象物におけるそれら部位の位置を示した目印画像を記憶する目印画像記憶手段をさらに備え、前記ヘッドマウントディスプレイは、前記撮像手段が撮像した画像における前記検査対象物に相当する画像の位置に基づいて、前記検査対象物と重なるように前記目印画像記憶手段に記憶されている前記目印画像を表示することを特徴とする。
【発明の効果】
【００１０】
請求項１の異音診断システムによれば、実物に重畳して画像を表示するヘッドマウントディスプレイを備えている。また、音取得手段は、ヘッドマウントディスプレイを装着した装着者の頭部の動きに連動させることによって、装着者の視野に対応した測定範囲から発生した音を測定音として取得する。また、基準音記憶手段には測定音が異音であるか否かを判断するための基準音が記憶されている。そして、異音判断手段は、音取得手段が取得した前記測定音と前記基準音記憶手段に記憶されている前記基準音とを比較することによって、前記測定音が異音であるか否かを判断する。画像生成手段は、測定音の測定範囲を示すとともに、異音判断手段が測定音を異音であると判断した場合には、異音が発生していることを示した画像を生成する。そして、ヘッドマウントディスプレイは、前記画像生成手段が生成した画像を表示する。
【００１１】
このように、測定音が取得されている測定範囲がヘッドマウントディスプレイの装着者の視野に重畳されて表示されるので、その装着者は、測定範囲を容易に把握できる。その測定範囲は、装着者の視野に対応したものである。すなわち、装着者が向いた方向が測定範囲となるので、装着者のどの方向を向いていたとしても、測定範囲を容易に把握できる。この際、異音判断手段によって、測定音が異音であると判断された場合には、そのことを示した画像が装着者の視野に重畳して表示されるので、異音がどの範囲で発生しているのかを容易に把握できる。さらに、測定範囲及び異音を示した画像はヘッドマウントディスプレイに実物に重畳して表示されるので、手を使って作業をするのに支障がない。
【００１２】
また、請求項２の異音診断システムによれば、撮像手段が、装着者の頭部の動きに連動させることによって、装着者の視野に対応した範囲を撮像する。そして、測定音が異音である場合には、撮像手段が撮像した画像に含まれている物に対応付けて、画像生成手段が生成した画像が異音画像記憶手段に記憶される。表示手段は、その異音画像記憶手段に記憶されている画像を表示する。その画像は、撮像手段が撮像した画像に含まれている物に対応付けられたものである。したがって、表示手段が表示する画像を視認することによって、いつでも、どの物から異音が発生していたのかを特定できる。
【００１３】
また、請求項３の異音診断システムによれば、基準音記憶手段には、異音が発生する可能性がある部位が複数ある検査対象物について、基準音として、各部位に対する各異音が、それぞれの部位に対応付けて記憶されている。また、異音判断手段は、基準音記憶手段に記憶されている各異音と測定音とを比較することによって、測定音が異音であるか否かを判断するとともに、異音であると判断する場合には、その異音が検査対象物のどの部位から発生しているのかも判断する。そして、画像生成手段は、異音判断手段によって異音が発生していると判断された部位に対応した画像を生成する。これにより、検査対象物のどの部位から異音が発生しているのかを容易に把握できる。
【００１４】
また、請求項４の異音診断システムによれば、目印画像記憶手段には、異音が発生する可能性がある部位が複数ある検査対象物におけるそれら部位の位置を示した目印画像が記憶されている。そして、ヘッドマウントディスプレイは、撮像手段が撮像した画像における検査対象物に相当する画像の位置に基づいて、検査対象物と重なるように目印画像記憶手段に記憶されている目印画像を表示する。したがって、検査対象物の異音が発生する可能性がある各部位を検査しようとする装着者は、部位の位置を示した目印画像が検査対象物に重畳されて表示されるので、どの部位を検査すればよいのか容易に把握できる。
【図面の簡単な説明】
【００１５】
【図１】異音診断システム５０の概略構成を示した図である。
【図２】第一実施形態の異音診断システム５０が適用される場面を説明するための図である。
【図３】ヘッドマウントディスプレイ１の電気的及び光学的構成を示す説明図である。
【図４】管理サーバ３００の電気的構成を示す説明図である。
【図５】ＨＤＤ３２４に記憶されている基準音を示した図である。
【図６】第一実施形態のヘッドマウントディスプレイ１の制御部１１０が実行する処理を示したフローチャートである。
【図７】第一実施形態の管理サーバ３００の制御部３２０が実行する処理を示したフローチャートである。
【図８】ヘッドマウントディスプレイ１に、測定範囲５０２を示した測定範囲画像６００が表示されていることを示した図である。
【図９】ヘッドマウントディスプレイ１に、正常画像６０１が検査対象物５０１と重なるように表示されていることを示した図である。
【図１０】ヘッドマウントディスプレイ１に、異音画像６０２が検査対象物５０１と重なるように表示されていることを示した図である。
【図１１】ＨＤＤ３２４に、検査対象物５０１ごとに正常品か不良品かが対応付けられて記憶されていることを示した図である。
【図１２】ＨＤＤ３２４に、各部位に対する各異音の周波数スペクトルをそれぞれ異音スペクトルとして記憶されていることを示した図である。
【図１３】第二実施形態の異音診断システム５０が適用される場面を説明するための図である。
【図１４】フラッシュメモリ１０２に記憶されている目印画像９００を示した図である。
【図１５】第二実施形態のヘッドマウントディスプレイ１の制御部１１０が実行する処理を示したフローチャートである。
【図１６】図１５のフローチャート中の目印画像表示処理のサブルーチンを示したフローチャートである。
【図１７】第二実施形態の管理サーバ３００の制御部３２０が実行する処理を示したフローチャートである。
【図１８】ヘッドマウントディスプレイ１に、ハンマー７００で叩くように指示する画像が表示されていることを示した図である。
【図１９】ヘッドマウントディスプレイ１に、叩かれたボルト８１１〜８１８の位置に正常画像６０１を重ねて表示されていることを示した図である。
【図２０】ヘッドマウントディスプレイ１に、叩かれたボルト８１１〜８１８の位置に異音画像６０２を重ねて表示されていることを示した図である。
【図２１】各ボルト８１１〜８１８が正常に締結されているか否かを示した画像である。
【発明を実施するための形態】
【００１６】
（第一実施形態）
以下、本発明に係る異音診断システムの第一実施形態について図面を参照して説明する。図１は、本実施形態の異音診断システム５０の概略構成を示した図である。図１に示すように、異音診断システム５０は、ヘッドマウントディスプレイ１と、管理サーバ３００とをネットワーク３０２を介して接続して構成している。そして、ヘッドマウントディスプレイ１は装着者５１に装着される。
【００１７】
図２は、本実施形態の異音診断システム５０が適用される場面を説明するための図である。図２に示すように、ベルト状の検査対象物製造ライン５００に自動車のエンジンなど同種の複数の検査対象物５０１ａ〜５０１ｄ・・・（以下、これらを総称するときは検査対象物５０１という。）が載せられている。検査対象物製造ライン５００は長手方向に可動し、それに伴って、検査対象物５０１が移動している。それら検査対象物５０１の各々には、外部に識別情報が付されているとともに、内部には可動部が備えられている。そして、その可動部が正常に可動するかを検査するために、その可動部が試験的に可動している。そして検査対象物製造ライン５００の脇において、ヘッドマウントディスプレイ１を装着した装着者５１が、検査員として、検査対象物５０１の可動部が正常に可動しているのかを検査している。その検査方法に関して、異音診断システム５０は、検査対象物５０１の可動部の可動音を測定音として取得し、その測定音が正常音であるか否かを判定し、その判定結果をヘッドマウントディスプレイ１に表示する。そして装着者５１は、測定音が異音であると判定された検査対象物５０１に対して、不良品であることを示したシールを貼付している。以下、異音診断システム５０の詳細について説明する。
【００１８】
先ずヘッドマウントディスプレイ１の外観構成について図２を参照して説明する。ヘッドマウントディスプレイ１は、内部又は外部に記憶されている各種情報を画像信号に変換し、この画像信号に基づいて生成した画像光（以下、「画像光」という。）を装着者５１の眼に導いて走査する光走査部１０（図３参照）を備え、装着者５１が頭部に装着した状態で光走査部１０を動作させることによって、画像光を装着者５１の網膜上で２次元方向に走査させることにより、装着者５１に情報に対応する画像を視認させることができるように構成している。なお、このヘッドマウントディスプレイ１の具体的構成については、後に詳述する。
【００１９】
また、このヘッドマウントディスプレイ１は、画像を表示している最中であっても装着者５１の視野の中で、その画像を表示している領域を含めて、装着者５１が外界を視認できるように構成している。すなわち、このヘッドマウントディスプレイ１は、実物に重畳して画像を表示するものであり、外光を透過しつつ、情報に応じた画像光を装着者５１の眼に投射するシースルー型のヘッドマウントディスプレイである。
【００２０】
また、本実施形態のヘッドマウントディスプレイ１は、そのフレームに装着者５１の視野に対応した範囲を撮像する撮像手段としてのＣＣＤセンサ２を備えている。このＣＣＤセンサ２は、不良品と判定された検査対象物５０１（識別情報）を撮像するためのものである。このＣＣＤセンサ２により装着者５１の頭部の動きに連動して装着者５１の視野に対応した範囲を撮像することができる。なお、図２に示すように、ヘッドマウントディスプレイ１は、外界の明るさを検出する輝度センサ８と、ＣＣＤセンサ２の撮像範囲を照らすＬＥＤ３とを備えており、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＬＥＤ３がＣＣＤセンサ２の撮像範囲を照らすこととなる。
【００２１】
また、ヘッドマウントディスプレイ１のフレームの左右には、指向性マイク５Ｒ、５Ｌが固定されている。その指向性マイク５Ｒ、５Ｌは、一定の範囲から発生した音を測定音として取得し、それ以外の範囲から発生した音については測定音の波形に影響が出ないように音圧レベルを下げて取得する。すなわち、所定の指向性を有している。上述したように指向性マイク５Ｒ、５Ｌは、ヘッドマウントディスプレイ１のフレームの左右に固定されているので、装着者５１の頭部の動きに連動される。このようにして、指向性マイク５Ｒ、５Ｌの二つ合わせた統合指向性（以下、測定範囲という。）は、装着者５１の視野に対応させている。具体的には、図２に示すように、装着者５１の正面に検査対象物５０１を置いたときに、その検査対象物５０１から発生した可動音を取得し、かつ、それ以外の検査対象物５０１から発生した可動音については、その音圧レベルを下げて取得するように、測定範囲５０２が定められている。すなわち、指向性マイク５Ｒ、５Ｌによって、装着者５１の正面にある検査対象物５０１からの可動音のみ取得するのと同等の効果がある。なお、上述したＣＣＤセンサ２の撮像範囲は測定範囲５０２と同等に設定されている。なお、指向性マイク５Ｒ、５Ｌは、本発明の「音取得手段」に相当する。
【００２２】
ここで、本実施形態に係るヘッドマウントディスプレイ１の電気的構成等について、図３を参照して説明する。図３は、本実施形態に係るヘッドマウントディスプレイ１の電気的及び光学的構成を示す説明図である。
【００２３】
図３に示すように、このヘッドマウントディスプレイ１は、当該ヘッドマウントディスプレイ１全体の動作を統括制御する制御部１１０と、この制御部１１０から供給される画像信号に基づいて生成した画像光を２次元的に走査することにより画像を表示することによって、画像信号に応じた画像を視認させる光走査部１０とを備えている。
【００２４】
光走査部１０は、この制御部１１０から供給される画像信号をドットクロック毎に読み出し、読み出した映像信号に応じて強度変調された画像光を生成して出射する画像光生成部２０を備えている。さらに、その画像光生成部２０と装着者５１の眼Ｅとの間には、画像光生成部２０で生成され、光ファイバ１００を介して出射されるレーザビーム（画像光）を平行光化するコリメート光学系６１と、このコリメート光学系６１で平行光化された画像光を画像表示のために水平方向（第１方向）に往復走査する第１光走査部として機能する水平走査部７０と、水平走査部７０で水平方向に走査された画像光を垂直方向（第１方向と略直交する第２方向）に往復走査する第２光走査部として機能する垂直走査部８０と、水平走査部７０と垂直走査部８０との間に設けられたリレー光学系７５と、このように水平方向と垂直方向に走査（２次元的に走査）された画像光をハーフミラー９５を介して瞳孔Ｅａへ出射するためのリレー光学系９０とが設けられている。
【００２５】
また、画像光生成部２０には、パーソナルコンピュータ（図示略）等の外部装置から供給される画像信号が、インターフェース１０４と制御部１１０とを介して入力され、それに基づいて画像を合成するための要素となる各信号等を発生する信号処理回路２１が設けられ、この信号処理回路２１において、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各画像信号２２ａ〜２２ｃが生成され、出力される。また、信号処理回路２１は、水平走査部７０で使用される水平駆動信号２３と、垂直走査部８０で使用される垂直駆動信号２４とをそれぞれ出力する。
【００２６】
さらに、画像光生成部２０は、信号処理回路２１からドットクロック毎に出力される３つの画像信号（Ｂ，Ｒ，Ｇ）２２ａ〜２２ｃをそれぞれ画像光にする画像光出力部として機能する光源部３０と、これらの３つの画像光を１つの画像光に結合して任意の画像光を生成するための光合成部４０を備えている。
【００２７】
光源部３０は、青色の画像光を発生させるＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の画像光を発生させるＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の画像光を発生させるＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。なお、各レーザ３４、３５、３６は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う必要がある。
【００２８】
光合成部４０は、光源部３０から入射する画像光を平行光にコリメートするように設けられたコリメート光学系４１、４２、４３と、このコリメートされた画像光を合成するためのダイクロイックミラー４４、４５、４６と、合成された画像光を光ファイバ１００に導く結合光学系４７とを備えている。
【００２９】
各レーザ３４、３５、３６から出射したレーザ光は、コリメート光学系４１、４２、４３によってそれぞれ平行化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各画像光が波長に関して選択的に反射・透過される。
【００３０】
具体的には、Ｂレーザ３４から出射した青色画像光は、コリメート光学系４１によって平行光化された後に、ダイクロイックミラー４４に入射される。Ｇレーザ３５から出射した緑色画像光は、コリメート光学系４２を経てダイクロイックミラー４５に入射される。Ｒレーザ３６から出射した赤色画像光は、コリメート光学系４３を経てダイクロイックミラー４６に入射される。
【００３１】
それら３つのダイクロイックミラー４４、４５、４６にそれぞれ入射した３原色の画像光は、波長選択的に反射または透過して結合光学系４７に達し、集光され光ファイバ１００へ出力される。
【００３２】
水平走査部７０及び垂直走査部８０は、光ファイバ１００から入射された画像光を画像として投影可能な状態にするために、水平方向と垂直方向に走査して走査画像光とするものである。
【００３３】
水平走査部７０は、画像光を水平方向に走査するための反射面を有する共振型偏向素子７１と、この共振型偏向素子７１を共振させ、共振型偏向素子７１の反射面を揺動させる駆動信号を発生する駆動信号発生器としての水平走査駆動回路７２と、共振型偏向素子７１から出力される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する水平走査角検出回路７３とを有している。
【００３４】
本実施形態において、水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を制御部１１０へ入力するようにしている。
【００３５】
垂直走査部８０は、画像光を垂直方向に走査するための偏向素子８１と、この偏向素子８１を駆動させる垂直走査制御回路８２と、この垂直走査制御回路８２による反射面の揺動範囲及び揺動周波数等の揺動状態を検出する垂直走査角検出回路８３とを備えている。
【００３６】
また、水平走査駆動回路７２と垂直走査制御回路８２は、信号処理回路２１から出力される水平駆動信号２３と垂直駆動信号２４に基づいてそれぞれ駆動し、垂直走査角検出回路８３は、検出した偏向素子８１の揺動状態を示す信号を制御部１１０へ入力するようにしている。
【００３７】
そして、後に詳述する制御部１１０は、信号処理回路２１の動作を制御することによって、これら水平駆動信号２３と垂直駆動信号２４とを調整することによって、水平走査部７０と垂直走査部８０に画像光の走査角を変更させて、表示する画像の輝度を調整するようにしている。
【００３８】
こうして変更された走査角度は水平走査角検出回路７３および垂直走査角検出回路８３からの検出信号に基づいて制御部１１０により検出され、信号処理回路２１と水平走査駆動回路７２とを介して水平駆動信号２３にフィードバックされると共に、信号処理回路２１と垂直走査制御回路８２とを介して垂直駆動信号２４にフィードバックされる。
【００３９】
また、水平走査部７０と垂直走査部８０との間での画像光を中継するリレー光学系７５を備えており、共振型偏向素子７１によって水平方向に走査された光は、リレー光学系７５によって偏向素子８１の反射面に収束され、偏向素子８１によって垂直方向に走査されて、２次元的に走査された走査画像光として、リレー光学系９０へ出射される。
【００４０】
リレー光学系９０は、正の屈折力を持つレンズ系９１、９４を有している。垂直走査部８０から出射された表示用の走査画像光は、レンズ系９１によって、それぞれの画像光がその画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。そして、レンズ系９４によってそれぞれほぼ平行な画像光となると共に、これらの画像光の中心線が装着者５１の瞳孔Ｅａに収束するように変換される。
【００４１】
なお、本実施形態においては、光ファイバ１００から入射された画像光を、水平走査部７０で水平方向に走査した後、垂直走査部８０によって垂直方向に走査することとしたが、水平走査部７０と垂直走査部８０との配置を入れ替え、垂直走査部８０によって垂直方向に走査した後、水平走査部７０で水平方向に走査するようにしてもよい。
【００４２】
また、制御部１１０は、ＣＰＵ１０１と、不揮発性メモリであるフラッシュメモリ（図中においてはＦｌａｓｈ Ｍｅｍｏｒｙと示す。）１０２と、ＲＡＭ１０３とを備えている。そして、これらＣＰＵ１０１、フラッシュメモリ１０２、ＲＡＭ１０３は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。
【００４３】
また、この制御部１１０は、当該ヘッドマウントディスプレイ１の電源スイッチＳＷ、検査対象物５０１を撮像するＣＣＤセンサ２、外界の明るさ（輝度）を検知する輝度センサ８、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＣＣＤセンサ２の撮像範囲を照らすＬＥＤ３、装着者５１によって操作可能な操作スイッチ７、他の装置との通信を制御するための通信制御回路９、パーソナルコンピュータ等の外部装置と接続可能なインターフェース１０４とも接続されている。
【００４４】
ＣＰＵ１０１は、フラッシュメモリ１０２に記憶されている各種情報処理プログラムを実行することにより、ヘッドマウントディスプレイ１を構成する図示しない各種回路を動作させて、ヘッドマウントディスプレイ１が備える各種機能を実行させる演算処理装置である。
【００４５】
フラッシュメモリ１０２は、ヘッドマウントディスプレイ１により表示する画像の表示制御を行う際に画像光生成部２０、水平走査部７０、垂直走査部８０等を動作させるための情報処理プログラム等、制御部１１０がヘッドマウントディスプレイ１全体の動作を統括制御するためにＣＰＵ１０１により実行される各種情報処理プログラムを記憶している。
【００４６】
ここで、本実施形態に係る管理サーバ３００の電気的構成等について、図４を参照して説明する。図４は、本実施形態に係る管理サーバ３００の電気的構成を示す説明図である。
【００４７】
図４に示すように、この管理サーバ３００は、当該管理サーバ３００全体の動作を統括制御する制御部３２０と、外部装置との通信を行うための通信制御回路３２５とを備えている。
【００４８】
制御部３２０は、ＣＰＵ３２１と、各種プログラム等が記憶されたＲＯＭ３２２と、ＲＡＭ３２３と、ハードディスクドライブ（図中においてはＨＤＤと示し、以下、ＨＤＤという。）３２４とを備えている。そして、これらＣＰＵ３２１、ＲＯＭ３２２、ＲＡＭ３２３、ＨＤＤ３２４は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。また、この制御部３２０は、他の装置との通信を制御するための通信制御回路３２５とも接続されている。そして制御部３２０は、通信制御回路３２５を介してヘッドマウントディスプレイ１と通信を行う。
【００４９】
ＣＰＵ３２１は、ＲＯＭ３２２に記憶されている各種情報処理プログラムを実行することにより、管理サーバ３００を構成する図示しない各種回路を動作させて、管理サーバ３００が備える各種機能を実行させる演算処理装置である。ＲＯＭ３２２は、制御部３２０が管理サーバ３００全体の動作を統括制御するためにＣＰＵ３２１により実行される各種情報処理プログラムを記憶している。
【００５０】
ＨＤＤ３２４は、各種のデータが記憶されている。具体的には、ＨＤＤ３２４には、検査対象物５０１の可動部の可動音が正常の場合におけるその可動音（以下、基準音という）が記憶されている。図５は、ＨＤＤ３２４に記憶されている基準音を示した図である。基準音は、複数の周波数の音が複合されている。そこで図５に示すように、基準音は、横軸が周波数で、縦軸が各周波数に対応した音圧レベルからなる周波数スペクトルとして記憶されている。なお図５では、一定の音圧レベル（以下、基準レベルという。）以上の周波数に対応したスペクトルが示している。図５に示すように、基準音は、周波数ｆａ、ｆｂ、ｆｃの音の音圧レベルが基準レベル以上となっている。この基準音は、指向性マイク５Ｒ、５Ｌが取得した測定音が正常音であるか否かを判定するために用いられる。なおＨＤＤ３２４は、本発明の「基準音記憶手段」に相当する。
【００５１】
続いて、検査対象物５０１が正常に可動するか否かを判定するための、ヘッドマウントディスプレイ１の制御部１１０と管理サーバ３００の制御部３２０が実行する正常判定処理について図面を参照して説明する。図６は、ヘッドマウントディスプレイ１の制御部１１０が実行する処理を示したフローチャートである。また、図７は、管理サーバ３００の制御部３２０が実行する処理を示したフローチャートである。なお、正常判定処理は装着者５１によって、ヘッドマウントディスプレイ１の操作スイッチ７に設けられたスタートスイッチが操作されたときに開始される。
【００５２】
先ず、図８に示すように、ヘッドマウントディスプレイ１の制御部１１０は、指向性マイク５Ｒ、５Ｌによる測定範囲５０２（図２参照）を示した測定範囲画像６００を表示する（図６のＳ１０）。装着者５１は検査対象物５０１に重畳して表示されている測定範囲画像６００を視認することによって、これからどの検査対象物５０１を検査するのかを把握できる。続いて制御部１１０は、ＣＣＤセンサ２によって測定範囲５０２にある検査対象物５０１を撮像する（図６のＳ１１）。続いて制御部１１０は、指向性マイク５Ｒ、５Ｌによって、測定範囲５０２にある検査対象物５０１から発生する可動音を測定音として取得する（図６のＳ１２）。そして制御部１１０は、ＣＣＤセンサ２による撮像画像と、測定音とをネットワーク３０２を介して管理サーバ３００に送信する（図６のＳ１３）。
【００５３】
管理サーバ３００の制御部３２０は、その撮像画像と測定音とを、通信制御回路３２５にて受信する（図７のＳ３０）。そして制御部３２０は、受信した測定音を高速フーリエ変換（ＦＦＴ）して、周波数スペクトルに変換する（図７のＳ３１）。制御部３２０は、その測定音の周波数スペクトルと、ＨＤＤ３２４に記憶されている基準音の周波数スペクトル（図５参照）とを比較して、測定音が正常音であるか否かを判定する（図７のＳ３２）。具体的には、測定音の周波数スペクトルにおいて、図５に示す周波数ｆａ、ｆｂ、ｆｃ以外の周波数で基準レベル以上の音圧レベル（以下、異音スペクトルという。）があるかを判定する。すなわち、異音スペクトルがない場合には測定音は正常音であると判定し、異音スペクトルがある場合には測定音は異音であると判定する（図７のＳ３２）。なお、Ｓ３２は本発明の「異音判断手段」に相当する処理である。そして制御部３２０はその判定結果を、ネットワーク３０２を介して、ヘッドマウントディスプレイ１の制御部１１０に送信する（図７のＳ３３）。
【００５４】
ヘッドマウントディスプレイ１の制御部１１０は、測定音が正常音であるか否かの判定結果を受信する（図６のＳ１４）。そして、その判定結果が正常音であることを示す結果である場合には（図６のＳ１５：ＹＥＳ）、正常であることを示す青色の正常画像６０１を生成して、図９に示すように、その正常画像６０１を検査対象物５０１と重なるように表示する（図６のＳ１６）。これによって、装着者５１はその検査対象物５０１が正常に可動することを容易に把握できる。一方制御部１１０は、判定結果が異音であることを示す結果である場合には（図６のＳ１５：ＮＯ）、異音であることを示す赤色の異音画像６０２を生成して、図１０に示すように、その異音画像６０２を検査対象物５０１と重なるように表示する（図６のＳ１７）。これによって、装着者５１はその検査対象物５０１から異音が発生していることを容易に把握でき、その検査対象物５０１は不良品であることを示すシールをその検査対象物５０１に貼付できる。そして、後にそのシールが貼付されている検査対象物５０１を回収、点検することができる。ヘッドマウントディスプレイ１の制御部１１０は、装着者５１によって操作スイッチ７に設けられた終了スイッチが操作されるまで、上述した処理（図６のＳ１０〜Ｓ１７）を実行する（図６のＳ１８：ＮＯ）。そして、終了スイッチが操作された場合には（図６のＳ１８：ＹＥＳ）、終了通知を管理サーバ３００に送信し（Ｓ１９）、図６のフローチャートに示した処理を終了する。なお、Ｓ１６及びＳ１７は本発明の「画像生成手段」に相当する処理である。
【００５５】
一方、管理サーバ３００の制御部３２０は、図７のＳ３３の処理の後、Ｓ３０にて受信した撮像画像を、Ｓ３２の判定結果と対応付けてＨＤＤ３２４に記憶する（図７のＳ３４）。図１１は、そのときのＨＤＤ３２４に記憶される内容を示した図である。図１１に示すように、検査対象物５０１ごとに正常品か不良品かが対応付けられて記憶されていることがわかる。そして、ディスプレイ等の表示手段にこの情報を表示させることによって、各検査対象物５０１が正常品か不良品であるかを、何時でも確認することができる。なお、Ｓ３４は本発明の「異音画像記憶手段」に相当する処理である。管理サーバ３００の制御部３２０は、装着者５１によって操作スイッチ７に設けられた終了スイッチが操作され終了通知が受信されるまで、上述した処理（図７のＳ３０〜Ｓ３４）を実行する（図７のＳ３５：ＮＯ）。そして、終了スイッチが操作され終了通知が受信された場合には（図７のＳ３５：ＹＥＳ）、図７のフローチャートに示した処理を終了する。
【００５６】
以上、本実施形態の異音診断システム５０によれば、測定音が取得されている測定範囲５０２がヘッドマウントディスプレイ１の装着者５１の視野に重畳されて表示されるので、その装着者５１は、測定範囲５０２を容易に把握できる。その測定範囲５０２は、装着者５１の視野に対応したものである。すなわち、装着者５１が向いた方向が測定範囲５０２となるので、装着者５１のどの方向を向いていたとしても、測定範囲５０２を容易に把握できる。この際、測定音が異音であると判断された場合には、そのことを示した異音画像６０２が装着者５１の視野に重畳して表示されるので、異音が検査対象物５０１で発生しているのかを容易に把握できる。さらに、測定範囲５０２及び異音画像６０２はヘッドマウントディスプレイ１に検査対象物５０１に重畳して表示されるので、装着者５１は、手を使って作業をするのに支障がない。
【００５７】
また、異音診断システム５０によれば、ＣＣＤセンサ２が撮像した撮像画像を、検査対象物５０１が正常品か不良品かを対応付けて記憶される。そして、ディスプレイ等の表示手段にこの撮像画像を表示させることによって、各検査対象物５０１が正常品か不良品であるかを、何時でも確認することができる。
【００５８】
（変形例）
第一実施形態では、検査対象物５０１が正常品か不良品かを判定していたが、不良品である場合に、その検査対象物５０１のどの部位が原因なのかまでは特定していなかった。検査対象物によっては、異音が発生する可能性がある部位が複数ある場合もある。そこで、このような検査対象物について、基準音として、各部位に対する各異音を、それぞれの部位に対応付けてＨＤＤ３２４に記憶する。例えば、図１２に示すように、各部位に対する各異音の周波数スペクトルをそれぞれ異音スペクトルとして記憶する。そして、管理サーバ３００の制御部３２０は、図７のＳ３２において、測定音の周波数スペクトルについて、ＨＤＤ３２４に記憶されている異音スペクトルを有しているかを判定する。異音スペクトルを有している場合には、その異音スペクトルがどの部位に対するものかを示した情報を、ヘッドマウントディスプレイ１の制御部１１０に送信する。ヘッドマウントディスプレイ１の制御部１１０は、図１３に示すように、異音が発生していると判断された部位に対応した画像を生成して表示する。これにより、検査対象物のどの部位から異音が発生しているのかを容易に把握できる。
【００５９】
（第二実施形態）
次に、本発明に係る異音診断システムの第二実施形態について図面を参照して説明する。本実施形態の異音診断システム５０の構成は、第一実施形態のそれと同じである（図１、図３、図４参照。）。ただし、ヘッドマウントディスプレイ１の制御部１１０が実行する処理、管理サーバ３００の制御部３２０が実行する処理、及び、管理サーバ３００のＨＤＤ３２４に記憶されている情報が第一実施形態とは異なっている。また、本実施形態の異音診断システム５０が適用される場面は、第一実施形態とは異なっている。以下、本実施形態の異音診断システム５０について、第一実施形態と異なる部分を中心にして説明する。
【００６０】
先ず、本実施形態の異音診断システム５０が適用される場面について図１３を参照して説明する。図１３に示すように、本実施形態の異音診断システム５０は、車両８００の車輪部分８１０のボルト８１１〜８１８が緩んでいないか否かを診断する際に適用される。具体的には、ヘッドマウントディスプレイ１を装着した装着者５１は、ハンマー７００にて、各ボルト８１１〜８１８を叩いていく。そして、異音診断システム５０は、そのときに発生する音を測定音として取得して、その測定音について、ボルトが緩んでいないことを示した正常音であるか否かを判定し、その判定結果をヘッドマウントディスプレイ１に表示する。以下、本実施形態の異音診断システム５０の詳細について説明する。
【００６１】
本実施形態のヘッドマウントディスプレイ１の構成は、図３に示す第一実施形態と同じである。ただし、図１３に示すように、装着者５１の正面に車輪部分８１０を置いたときに、その車輪部分８１０の方向から発生した音を取得し、かつ、それ以外の方向から発生した音については、その音圧レベルを下げて取得するように、指向性マイク５Ｒ、５Ｌの測定範囲５０２が定められている。すなわち、指向性マイク５Ｒ、５Ｌによって、装着者５１の正面にある車輪部分８１０からの音のみ取得するのと同等の効果がある。なお、ＣＣＤセンサ２の撮像範囲は測定範囲５０２と同等に設定されている。
【００６２】
また、制御部１１０のフラッシュメモリ１０２に記憶されている情報が第一実施形態のそれとは異なっている。具体的には、装着者５１が車輪部分８１０の叩く目印となる目印画像９００が記憶されている。図１４は、その目印画像９００を示した図である。なお、説明の便宜のために、図１４には目印画像９００の基準点Ｘ２と車輪部分８１０の基準点Ｘ１が一致するように車輪部分８１０も示している。図１４に示すように、目印画像９００は車輪部分８１０と重ねたときに、ボルト８１１〜８１８の位置を示したボルト位置画像９０１〜９０８を含んでいる。ボルト位置画像９０１はボルト８１１に対応し、ボルト位置画像９０２はボルト８１２に対応し、ボルト位置画像９０３はボルト８１３に対応し、ボルト位置画像９０４はボルト８１４に対応している。また、ボルト位置画像９０５はボルト８１５に対応し、ボルト位置画像９０６はボルト８１６に対応し、ボルト位置画像９０７はボルト８１７に対応し、ボルト位置画像９０８はボルト８１８に対応している。なお、フラッシュメモリ１０２は本発明の「目印画像記憶手段」に相当する。なお、ヘッドマウントディスプレイ１他の構成については、第一実施形態と同じなので説明を省略する。
【００６３】
一方、本実施形態の管理サーバ３００の構成は、図４に示す第一実施形態と同じである。ただし、ＨＤＤ３２４に記憶されている情報が第一実施形態のそれとは異なっている。具体的にＨＤＤ３２４には、車輪部分８１０の基準点Ｘ１に対する各ボルト８１１〜８１８の位置情報が記憶されている。また、ＨＤＤ３２４には、各ボルト８１１〜８１８に対して、正常に締結されているか否かが診断された場合に、診断済み情報が記憶される記憶領域が設けられている。なお、管理サーバ３００の他の構成については、第一実施形態と同じなので説明を省略する。
【００６４】
続いて、ボルト８１１〜８１８が正常に締結されているか否かを判定するための、ヘッドマウントディスプレイ１の制御部１１０と管理サーバ３００の制御部３２０が実行する正常判定処理について図面を参照して説明する。図１５は、ヘッドマウントディスプレイ１の制御部１１０が実行する処理を示したフローチャートである。また、図１６は、図１５のフローチャート中の目印画像表示処理のサブルーチンを示したフローチャートである。また、図１７は、管理サーバ３００の制御部３２０が実行する処理を示したフローチャートである。なお、正常判定処理は装着者５１によって、ヘッドマウントディスプレイ１の操作スイッチ７に設けられたスタートスイッチが操作されたときに開始される。
【００６５】
先ずヘッドマウントディスプレイ１の制御部１１０は、フラッシュメモリ１０２に記憶されている目印画像９００を車輪部分８１０に重ねて表示する目印画像表示処理を実行する（図１５のＳ４１）。詳細は図１６の目印画像表示処理のサブルーチンのフローチャートに従って実行する。以下、目印画像表示処理を説明する。
【００６６】
先ずＣＣＤセンサ２によって車輪部分８１０を撮像する（図１６のＳ４１１）。続いて、その撮像画像に写っている車輪部分８１０に相当する画像を抽出し、その抽出した画像から車輪部分８１０の基準点Ｘ１を検出する（図１６のＳ４１２）。そしてその基準点Ｘ１とフラッシュメモリ１０２に記憶されている目印画像９００の基準点Ｘ２とが一致するように、目印画像９００を表示し（図１６のＳ４１３）、このサブルーチンを終了する。これにより、目印画像９００が車輪部分８１０に重ねて表示されることになる。すなわち装着者５１は、自身の頭が多少動いたとしても、目印画像９００は車輪部分８１０に重ねて表示され続けるので、装着者５１が誤った位置をハンマー７００で叩いてしまうことを防止できる。尚、基準点Ｘ１は車輪に設けられたマーカでも良い。
【００６７】
説明を図１５のフローチャートの処理に戻り、Ｓ４１１にて撮像した撮像画像に目印画像９００を重ねて表示した画像（以下、重畳画像という。）を、管理サーバ３００の制御部３２０に送信する（図１５のＳ４２）。
【００６８】
管理サーバ３００の制御部３２０は、その重畳画像を受信する（図１７のＳ６１）。これにより制御部３２０は、装着者５１がボルト８１１〜８１８の締結状態を診断する準備ができていることを把握できる。続いて制御部３２０は、上記診断済み情報がＨＤＤ３２４に記憶されていないボルト８１１〜８１８のいずれかを選択する（図１７のＳ６２）。その選択方法は、ボルト８１１、ボルト８１２・・・というように予め定めた順番に従って選択しても良いし、乱数を用いてランダムに選択しても良い。続いて制御部３２０は、Ｓ６２にて選択したボルト８１１〜８１８の位置情報をＨＤＤ３２４から読み出す（測定点検出）（図１７のＳ６３）。そして、その位置情報をヘッドマウントディスプレイ１の制御部１１０に送信する（図１７のＳ６４）。
【００６９】
ヘッドマウントディスプレイ１の制御部１１０は、その位置情報を受信し（図１５のＳ４３）、図１８に示すように、その位置情報で示される位置をハンマー７００で叩くように指示する画像を表示する（図１５のＳ４４）。装着者５１は、その画像を視認することによって、どの位置をハンマー７００で叩けばよいのか把握できる。そして装着者５１によってボルト８１１〜８１８がハンマー７００で叩かれた場合には、そのときに発生した音を測定音として指向性マイク５Ｒ、５Ｌで取得する（図１５のＳ４５）。続いて、その測定音を管理サーバ３００の制御部３２０に送信する（図１５のＳ４６）。
【００７０】
管理サーバ３００の制御部３２０は、その測定音を通信制御回路３２５にて受信する（図１７のＳ６５）。そして制御部３２０は、受信した測定音を高速フーリエ変換（ＦＦＴ）して、周波数スペクトルに変換する（図１７のＳ６６）。制御部３２０は、その測定音の周波数スペクトルと、ＨＤＤ３２４に記憶されている基準音の周波数スペクトル（図５参照）とを比較して、測定音が正常音であるか否かを判定する（図１７のＳ６７）。具体的には、測定音の周波数スペクトルにおいて異音スペクトルがあるかを判定する。すなわち、異音スペクトルがない場合には測定音は正常音であると判定し、異音スペクトルがある場合には測定音は異音であると判定する（図１７のＳ６７）。なお、Ｓ６７は本発明の「異音判断手段」に相当する処理である。そして制御部３２０はその判定結果を、ネットワーク３０２を介して、ヘッドマウントディスプレイ１の制御部１１０に送信する（図１７のＳ６８）。
【００７１】
ヘッドマウントディスプレイ１の制御部１１０は、測定音が正常音であるか否かの判定結果を受信する（図１５のＳ４７）。そして、その判定結果が正常音であることを示す結果である場合には（図１５のＳ４８：ＹＥＳ）、正常であることを示す青色の正常画像６０１を生成して、図１９に示すように、その正常画像６０１を叩かれたボルト８１１〜８１８の位置に重ねて表示する（図１５のＳ４９）。これによって、装着者５１はそのボルト８１１〜８１８が正常に締結されていることを容易に把握できる。一方制御部１１０は、判定結果が異音であることを示す結果である場合には（図１５のＳ４８：ＮＯ）、異音であることを示す赤色の異音画像６０２を生成して、図２０に示すように、その異音画像６０２を叩かれたボルト８１１〜８１８の位置に重ねて表示する（図１５のＳ５０）。これによって、装着者５１はそのボルト８１１〜８１８から異音が発生していることを容易に把握でき、そのボルト８１１〜８１８は緩んでいることを把握できる。したがって、装着者５１は、ボルト８１１〜８１８を正常に締結し直すことができる。ヘッドマウントディスプレイ１の制御部１１０は、装着者５１によって操作スイッチ７に設けられた終了スイッチが操作されるまで、上述した処理（図１５のＳ４１〜Ｓ５０）を実行する（図１５のＳ５１：ＮＯ）。そして、終了スイッチが操作された場合には（図１５のＳ５１：ＹＥＳ）、終了通知を管理サーバ３００に送信し（Ｓ５２）、図１５のフローチャートに示した処理を終了する。なお、Ｓ４９及びＳ５０は本発明の「画像生成手段」に相当する処理である。
【００７２】
一方、管理サーバ３００の制御部３２０は、図１７のＳ６８の処理の後、Ｓ６１にて受信した重畳画像における叩かれたボルト８１１〜８１８の位置に、Ｓ６７の判定結果を重ねてＨＤＤ３２４に記憶する（図１７のＳ６９）。図２１は、そのときのＨＤＤ３２４に記憶される内容を示した図である。図２１に示すように、ボルト８１１〜８１８ごとに正常に締結されているか否かが対応付けられて記憶されていることがわかる。そして、ディスプレイ等の表示手段にこの情報を表示させることによって、各ボルト８１１〜８１８が正常に締結されているか否かを、何時でも確認することができる。なお、Ｓ６９は本発明の「異音画像記憶手段」に相当する処理である。続いて、Ｓ６２で選択したボルト８１１〜８１８に対して、診断済み情報をＨＤＤ３２４に記憶する（図１７のＳ６９）。管理サーバ３００の制御部３２０は、装着者５１によって操作スイッチ７に設けられた終了スイッチが操作されるまで、上述した処理（図１７のＳ６１〜Ｓ７０）を実行する（図１７のＳ７０：ＮＯ）。そして、終了スイッチが操作され終了通知が受信された場合には（図１７のＳ７０：ＹＥＳ）、図１７のフローチャートに示した処理を終了する。
【００７３】
以上、本実施形態の異音診断システム５０によれば、車輪部分８１０に重ねて目印画像９００がヘッドマウントディスプレイ１に表示される。その目印画像９００は、各ボルト８１１〜８１８に対応したボルト位置画像９０１〜９０８を含んでいる。したがって装着者５１は、どの部位をハンマー７００で叩けばすればよいのか容易に把握できる。また、装着者５１の頭が多少動いたとしても、目印画像９００は車輪部分８１０に重ねて表示され続けるので、装着者５１が誤った位置をハンマー７００で叩いてしまうことを防止できる。さらに、車輪部分８１０のハンマー７００で叩く位置を示した画像もヘッドマウントディスプレイ１に表示されるので、装着者５１は、どのボルト８１１〜８１８を叩けばよいのかを容易に把握できる。
【００７４】
また、ボルト８１１〜８１８を叩いたときに発生する測定音が異音であると判断された場合には、そのことを示した異音画像６０２が装着者５１の視野に重畳して表示されるので、ボルト８１１〜８１８が緩んでいることを容易に把握できる。さらに、目印画像９００及び異音画像６０２はヘッドマウントディスプレイ１に車輪部分８１０に重畳して表示されるので、装着者５１は、手を使って作業をするのに支障がない。
【００７５】
また、異音診断システム５０によれば、重畳画像における叩かれたボルト８１１〜８１８の位置に、Ｓ６７の判定結果が重ねて記憶される。そして、ディスプレイ等の表示手段にこの情報を表示させることによって、各ボルト８１１〜８１８が正常に締結されているか否かを、何時でも確認することができる。
【００７６】
なお、本発明に係る異音診断システムは、上記実施形態に限定されるわけではなく、その趣旨を逸脱しない範囲において種々変形してもよい。例えば、上記実施形態では、測定音が正常音か異音かを、測定音の周波数スペクトルに異音スペクトルの有無によって判断していた。さらに正確に測定音が正常音か異音かを判断するために、測定音の周波数スペクトルの基準レベル以上の周波数が、基準音のそれ（ｆａ、ｆｂ、ｆｃ）と近似しているかも判断してもよい。すなわち、測定音の周波数スペクトルの基準レベル以上の周波数が、基準音のそれ（ｆａ、ｆｂ、ｆｃ）と近似している場合且つ測定音の周波数スペクトルに異音スペクトルが無い場合に、測定音は正常音と判断する。それ以外は異音と判断する。また、上記実施形態では、正常音を基準音としていたが、反対に、異音を基準音としてもよい。この場合、異音の周波数スペクトルと、測定音の周波数スペクトルを比較して、測定音の周波数スペクトルが異音の周波数スペクトルと近似しているときに、測定音は異音と判断する。それ以外は正常音と判断する。
【００７７】
また、上記実施形態では、正常判定処理の一部を管理サーバ３００が実行していたが、ヘッドマウントディスプレイ１にて正常判定処理の全部を実行してもよい。
【符号の説明】
【００７８】
１ ヘッドマウントディスプレイ
２ ＣＣＤセンサ（撮像手段）
５Ｒ、５Ｌ 指向性マイク（音取得手段）
５０ 異音診断システム
５１ 装着者
１０２ フラッシュメモリ（目印画像記憶手段）
１１０ 制御部
３００ 管理サーバ
３２０ 制御部
３２４ ＨＤＤ（基準音記憶手段）
５０１ 検査対象物
５０２ 測定範囲
６００ 測定範囲画像
６０１ 正常画像
６０２ 異音画像
７００ ハンマー
８１０ 車輪部分
８１１〜８１８ ボルト
９００ 目印画像
Ｓ３２、Ｓ６７ 異音判断手段
Ｓ１６、Ｓ１７、Ｓ４９、Ｓ５０ 画像生成手段
Ｓ３４、Ｓ６９ 異音画像記憶手段
【特許請求の範囲】
【請求項１】
実物に重畳して画像を表示するヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを装着した装着者の頭部の動きに連動させることによって、前記装着者の視野に対応した測定範囲から発生した音を測定音として取得する音取得手段と、
前記測定音が異音であるか否かを判断するための基準音を記憶する基準音記憶手段と、
前記音取得手段が取得した前記測定音と前記基準音記憶手段に記憶されている前記基準音とを比較することによって、前記測定音が異音であるか否かを判断する異音判断手段と、
前記測定範囲を示すとともに、前記異音判断手段が前記測定音を異音であると判断した場合には、異音が発生していることを示した画像を生成する画像生成手段とを備え、
前記ヘッドマウントディスプレイは、前記画像生成手段が生成した画像を表示することを特徴とする異音診断システム。
【請求項２】
前記装着者の頭部の動きに連動させることによって、前記装着者の視野に対応した範囲を撮像する撮像手段と、
前記測定音が異音である場合には、前記撮像手段が撮像した画像に含まれている物に対応付けて、前記画像生成手段が生成した画像を記憶する異音画像記憶手段と、
その異音画像記憶手段に記憶されている画像を表示する表示手段とをさらに備えることを特徴とする請求項１に記載の異音診断システム。
【請求項３】
前記基準音記憶手段には、異音が発生する可能性がある部位が複数ある検査対象物について、前記基準音として、前記各部位に対する各異音が、それぞれの部位に対応付けて記憶されており、
前記異音判断手段は、前記基準音記憶手段に記憶されている前記各異音と前記測定音とを比較することによって、前記測定音が異音であるか否かを判断するとともに、異音であると判断する場合には、その異音が前記検査対象物のどの部位から発生しているのかも判断し、
前記画像生成手段は、前記異音判断手段によって異音が発生していると判断された部位に対応した画像を生成することを特徴とする請求項１又は２に記載の異音診断システム。
【請求項４】
異音が発生する可能性がある部位が複数ある検査対象物におけるそれら部位の位置を示した目印画像を記憶する目印画像記憶手段をさらに備え、
前記ヘッドマウントディスプレイは、前記撮像手段が撮像した画像における前記検査対象物に相当する画像の位置に基づいて、前記検査対象物と重なるように前記目印画像記憶手段に記憶されている前記目印画像を表示することを特徴とする請求項２又は３に記載の異音診断システム。
【請求項１】
実物に重畳して画像を表示するヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを装着した装着者の頭部の動きに連動させることによって、前記装着者の視野に対応した測定範囲から発生した音を測定音として取得する音取得手段と、
前記測定音が異音であるか否かを判断するための基準音を記憶する基準音記憶手段と、
前記音取得手段が取得した前記測定音と前記基準音記憶手段に記憶されている前記基準音とを比較することによって、前記測定音が異音であるか否かを判断する異音判断手段と、
前記測定範囲を示すとともに、前記異音判断手段が前記測定音を異音であると判断した場合には、異音が発生していることを示した画像を生成する画像生成手段とを備え、
前記ヘッドマウントディスプレイは、前記画像生成手段が生成した画像を表示することを特徴とする異音診断システム。
【請求項２】
前記装着者の頭部の動きに連動させることによって、前記装着者の視野に対応した範囲を撮像する撮像手段と、
前記測定音が異音である場合には、前記撮像手段が撮像した画像に含まれている物に対応付けて、前記画像生成手段が生成した画像を記憶する異音画像記憶手段と、
その異音画像記憶手段に記憶されている画像を表示する表示手段とをさらに備えることを特徴とする請求項１に記載の異音診断システム。
【請求項３】
前記基準音記憶手段には、異音が発生する可能性がある部位が複数ある検査対象物について、前記基準音として、前記各部位に対する各異音が、それぞれの部位に対応付けて記憶されており、
前記異音判断手段は、前記基準音記憶手段に記憶されている前記各異音と前記測定音とを比較することによって、前記測定音が異音であるか否かを判断するとともに、異音であると判断する場合には、その異音が前記検査対象物のどの部位から発生しているのかも判断し、
前記画像生成手段は、前記異音判断手段によって異音が発生していると判断された部位に対応した画像を生成することを特徴とする請求項１又は２に記載の異音診断システム。
【請求項４】
異音が発生する可能性がある部位が複数ある検査対象物におけるそれら部位の位置を示した目印画像を記憶する目印画像記憶手段をさらに備え、
前記ヘッドマウントディスプレイは、前記撮像手段が撮像した画像における前記検査対象物に相当する画像の位置に基づいて、前記検査対象物と重なるように前記目印画像記憶手段に記憶されている前記目印画像を表示することを特徴とする請求項２又は３に記載の異音診断システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１０−１９７３６１（Ｐ２０１０−１９７３６１Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−４６１０１（Ｐ２００９−４６１０１）
【出願日】平成２１年２月２７日（２００９．２．２７）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年２月２７日（２００９．２．２７）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]