作業支援装置及び作業支援システム
【課題】作業対象物のどの部品が異常な温度であるかを表示することで、肉眼だけではわかりにくい異常部品を知らせる作業支援装置を提供することである。
【解決手段】ヘッドマウントディスプレイを用いた作業支援装置７であって、可視光線を撮像する可視光線撮像部４と、赤外線を撮像する赤外線撮像部５と、異常を報知する報知部１と、赤外線撮像部で取得した赤外線像から温度分布画像を生成する温度分布画像生成部６１と、可視光線撮像部で取得した可視光線像から部品を検出する部品検出部６２と、各部品の適正温度を記憶する適正温度データベース６２と、温度分布画像と可視光線像から検出された部品と各部品の適正温度とに基づき温度が異常である部品を検知する温度異常検知部６４と、温度が異常である部品を検知した結果から報知する情報を生成する報知情報生成部６５とを備えた構成とする。
【解決手段】ヘッドマウントディスプレイを用いた作業支援装置７であって、可視光線を撮像する可視光線撮像部４と、赤外線を撮像する赤外線撮像部５と、異常を報知する報知部１と、赤外線撮像部で取得した赤外線像から温度分布画像を生成する温度分布画像生成部６１と、可視光線撮像部で取得した可視光線像から部品を検出する部品検出部６２と、各部品の適正温度を記憶する適正温度データベース６２と、温度分布画像と可視光線像から検出された部品と各部品の適正温度とに基づき温度が異常である部品を検知する温度異常検知部６４と、温度が異常である部品を検知した結果から報知する情報を生成する報知情報生成部６５とを備えた構成とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイ（以下、ＨＭＤとも称する）を用いた作業支援装置と、作業支援装置及びそれと通信可能なサーバ装置を含む作業支援システムとに関する。
【背景技術】
【０００２】
従来から、いわゆるＨＭＤと呼ばれる頭部搭載型の表示部が種々提案されている。近年、ＨＭＤは一般民生品としての利用だけでなく、様々な情報をユーザに提供することにより業務を円滑に行うことを支援する用途にも利用されはじめている。
【０００３】
例えば、装置や設備の保守作業を行う作業者は、多用な故障内容や保守方法を記憶し、状況に応じて対応する必要があるため、経験や熟練が必要とされる。また、作業者は作業現場の状況を正確に把握して対処しなければならないが、適切な対処方法が分からない場合は設計者などから必要なアドバイスを受けて迅速に対応しなければならない場合もある。しかし、電話などでは、的確なアドバイスを受けることが難しい場合もある。
【０００４】
そこでＨＭＤを使った作業支援システムが提案されており、例えば特許文献１には、ネットワークを介して作業手順や作業指示をＨＭＤに表示させ、作業者に指示を与える作業支援システムが開示されている。
【０００５】
また特許文献２には、赤外線像と可視光線像を表示することができるＨＭＤを用い、暗闇や火災時の煙の中などで人体や火元などの発熱をとらえるものが開示されている。同様なものとして、特許文献３〜５のような技術もある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１０２７２７号公報
【特許文献２】特開平８−５４２８２号公報
【特許文献３】特開２００７−２８６２６９号公報
【特許文献４】実開平５−３８５４１号公報
【特許文献５】実開平５−７５８９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、装置（例えば複写機）内部の修理や保守作業を行う場合を考える。作業の過程では、熱を帯びた危険な部品が存在したり、異常を検知するのに部品の温度が有用であったり、部品の温度を知ることが重要となる。しかし、作業者は、通常、両手が塞がるような作業を行っており、温度測定用の機器を持ちながら作業することは困難である。
【０００８】
そこで、上述したＨＭＤの利用が考えられるが、特許文献１には温度測定に関する記載はない。また、装置内部においては部品毎に適正な温度帯が異なるので、特許文献２〜５のように温度を検出するだけではどの部品が異常であるかはわからないという問題がある。
【０００９】
本発明は、作業対象物のどの部品が異常な温度であるかを報知することで、肉眼だけではわかりにくい異常部品を知らせる作業支援装置及び作業支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明は、ヘッドマウントディスプレイを用いた作業支援装置であって、可視光線を撮像する可視光線撮像部と、赤外線を撮像する赤外線撮像部と、異常を報知する報知部とを備え、前記報知部は、前記赤外線撮像部で取得した赤外線像から生成された温度分布画像と、前記可視光線撮像部で取得した可視光線像から検出された部品と、各部品の適正温度とに基づき、温度が異常である部品を検知した結果から生成された情報を報知することを特徴とする。
【００１１】
この構成によると、機器を修理している作業者の視界の中から温度が異常な部品を探し出し、ＨＭＤを通じてその異常を知らせることができる。
【００１２】
また本発明は、上記の作業支援装置と、該作業支援装置と通信可能なサーバ装置とを含む作業支援システムであって、前記赤外線撮像部で取得した赤外線像から温度分布画像を生成する温度分布画像生成部と、前記可視光線撮像部で取得した可視光線像から部品を検出する部品検出部と、各部品の適正温度を記憶する適正温度データベースと、前記温度分布画像と前記可視光線像から検出された部品と前記各部品の適正温度とに基づき温度が異常である部品を検知する温度異常検知部と、前記温度が異常である部品を検知した結果から報知する情報を生成する報知情報生成部とが、前記作業支援装置又は前記サーバ装置の何れかに備えられることを特徴とする。
【００１３】
この構成によると、サーバ装置側に多くの構成部材を設ければ、作業支援装置の小型化、低コスト化が可能となる。
【００１４】
また本発明は、 ヘッドマウントディスプレイを用いた作業支援装置であって、可視光線を撮像する可視光線撮像部と、赤外線を撮像する赤外線撮像部と、異常を報知する報知部と、前記赤外線撮像部で取得した赤外線像から温度分布画像を生成する温度分布画像生成部と、前記可視光線撮像部で取得した可視光線像から部品を検出する部品検出部と、各部品の適正温度を記憶する適正温度データベースと、前記温度分布画像と前記可視光線像から検出された部品と前記各部品の適正温度とに基づき温度が異常である部品を検知する温度異常検知部と、前記温度が異常である部品を検知した結果から報知する情報を生成する報知情報生成部とを備えることを特徴とする。
【００１５】
この構成によると、サーバ装置を用いず、作業支援装置だけで機器を修理している作業者の視界の中から温度が異常な部品を探し出し、ＨＭＤを通じてその異常を知らせることができる。
【００１６】
上記の報知部は、前記異常である部品の強調表示、異常を示す文字の表示、異常を示す記号の表示、音声メッセージ、ビープ音のうち少なくとも１つを用いて報知することで、作業者に注意を促すことができる。
【発明の効果】
【００１７】
本発明によると、作業対象物のどの部品が異常な温度であるかを報知することにより、肉眼だけではわかりにくい異常部品を知らせることができる。
【００１８】
また、高温の箇所を報知することで作業者に注意を促し、作業時の安全性を高めることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の作業支援装置を構成するＨＭＤの概略構成を示す斜視図である。
【図２】本発明のＨＭＤを作業者が装着した状態でのＨＭＤの側面図である。
【図３】本発明の表示部の概略構成を示す断面図である。
【図４】本発明の作業支援装置の概略構成を示すブロック図である。
【図５】複写機の定着部における加熱ローラが適正温度以上である場合の本発明の表示画像の一例である。
【図６】複写機の定着部における加熱ローラが適正温度以上である場合の本発明の表示画像の一例である。
【図７】複写機の定着部における加熱ローラが適正温度以上である場合の本発明の表示画像の一例である。
【図８】本発明の作業支援システムの概略構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
図１は、作業支援装置を構成するＨＭＤの概略構成を示す斜視図であり、図２は、ＨＭＤを作業者が装着した状態でのＨＭＤの側面図である。ＨＭＤは、表示部１と、支持部２と、ケーブル３と、可視光線撮像部４と、赤外線撮像部５とを有して構成されている。そして作業支援装置は、ＨＭＤと、ケーブル３に接続される制御部とから構成されている。なお、表示部１と後述するイヤホン２５とを合わせて報知部と呼ぶ。
【００２１】
表示部１は、映像を表示して作業者に提供するものであり、支持部２は、表示部１を作業者の眼前で支持するものである。図１及び図２では、支持部２は、表示部１を作業者の右眼の前に位置するように支持しているが、表示部１を２つ設け、これらを両眼の前に位置するように支持してもよい。いずれにしても、表示部１を支持部２で支持することにより、作業者は表示部１に表示される映像をハンズフリーで観察することが可能となる。ケーブル３は、制御部（不図示）と表示部１と可視光線撮像部４と赤外線撮像部５とを接続し、制御部からの少なくとも駆動電力および映像信号を表示部１と可視光線撮像部４と赤外線撮像部５とに供給する。
【００２２】
支持部２は、テンプル２１と、フレーム２２とを有している。テンプル２１は、作業者の側頭部に当接する左右一対のテンプル２１Ｒ・２１Ｌからなっている。フレーム２２は、各テンプル２１Ｒ・２１Ｌを回動可能に支持するとともに、上記した表示部１を支持するものであり、略Ｔ字形で形成されている。テンプル２１およびフレーム２２は、例えば樹脂で構成されており、可撓性を有している。また、フレーム２２には、作業者の鼻と当接する左右一対の鼻当て２３が設けられている。
【００２３】
テンプル２１Ｒは、第１テンプル部２１Ｒ1と、第２テンプル部２１Ｒ2とが一体化されて構成されている。同様に、テンプル２１Ｌは、第１テンプル部２１Ｌ1と、第２テンプル部２１Ｌ2とが一体化されて構成されている。第１テンプル部２１Ｒ1・２１Ｌ1および第２テンプル部２１Ｒ2・２１Ｌ2は、それぞれ、前後方向に長尺状に形成されており、第２テンプル部２１Ｒ2・２１Ｌ2は、第１テンプル部２１Ｒ1・２１Ｌ1よりも若干長く形成されている。
【００２４】
第１テンプル部２１Ｒ1・２１Ｌ1は、フレーム２２の左右端において、フレーム２２に対してそれぞれ回動可能に連結されているとともに、第２テンプル部２１Ｒ2・２１Ｌ2に対して前方にずれた状態でその上方に位置するように連結されている。
【００２５】
第２テンプル部２２Ｒ2・２１Ｌ2は、第１テンプル部２１Ｒ1・２１Ｌ1を介してフレーム２２に支持されている。第２テンプル部２１Ｒ2は、前後方向に移動可能にイヤホン２５を保持するイヤホン保持部２４を有しており、作業者はイヤホン保持部２４にイヤホン２５を保持させたまま（イヤホン２５を耳に差し込まなくても）、音声を聞くことが可能となっている。
【００２６】
また、第２テンプル部２２Ｒ2・２１Ｌ2は、フレーム２２に対する第１テンプル部２１Ｒ1・２１Ｌ1の支持位置とは異なる高さ位置で前方に露出する露出面２１ＲS・２１ＬSを有している。そして、上述したケーブル３は、例えば第２テンプル部２１Ｒ2の内部を通り、露出面２１ＲSから引き出されて表示部１に接続され、さらに表示部１を通って可視光線撮像部４と赤外線撮像部５とに接続されている。このような接続方式により、以下の第１〜第４の効果を得ることができる。
【００２７】
第１に、ケーブル３は、テンプル２１Ｒ（第２テンプル部２１Ｒ2）で一旦支持された状態で表示部１と接続されるので、ケーブル３が表示部１に直接接続される場合のように、ケーブル３の重量が表示部１に直接加わることがない。その結果、作業者がＨＭＤを長時間使用しても、疲労感や不快感が増大するのを回避することができ、長時間使用における作業者の使用負担を軽減することができる。
【００２８】
特に、本形態では、テンプル２１Ｒが第１テンプル部２１Ｒ1と第２テンプル部２１Ｒ2との２段構成であるので、テンプル２１Ｒにおいてフレーム２２で支持される位置（第１テンプル部２１Ｒ1とフレーム２２との連結位置）と、露出面２１ＲSの位置とを高さ方向に確実に異ならせることができる。これにより、フレーム２２と第１テンプル部２１Ｒ1とを回動可能に連結した状態で、ケーブル３を第２テンプル部２１Ｒ2の内部から露出面２１ＲSを介して外部に引き出すことが確実に可能となり、上記の接続方式を採用することが確実に可能となる。
【００２９】
第２に、テンプル２１Ｒは、作業者の側頭部との当接により、安定した状態でケーブル３を支持することができるので、本形態のように一方のテンプル２１Ｒでケーブル３を支持する場合でも、作業者は安定してＨＭＤを装着することが可能となる（ＨＭＤが前後左右にぐらつくことはない）。
【００３０】
第３に、ケーブル３は、テンプル２１Ｒの露出面２１ＲSを介してフレーム２２とは異なる高さ位置を通ることになるので、フレーム２２に対するテンプル２１Ｒの回動時に、ケーブル３が回動部分に巻き付き、テンプル２１Ｒの回動を阻害することはない。したがって、テンプル２１Ｒを容易に折りたたむことが可能となる。
【００３１】
第４に、ケーブル３がフレーム２２の内部を通らないので、フレーム２２を必要以上に太く形成しなくても済む。これにより、フレーム２２が作業者の頭部の大きさに合わせて変形しやすくなり、作業者はＨＭＤを安定して違和感なく装着することが可能となる。
【００３２】
また、ケーブル３は、図２に示すように、第２テンプル部２１Ｒ2において作業者の耳と接触する位置よりも後方の位置から、第２テンプル部２１Ｒ2の内部に進入している。これにより、ケーブル３は作業者の耳よりも後方で垂れ下がるので、作業者の耳を基準とした前後方向の重量バランスを良好にすることができ、作業者の使用負担を確実に軽減することができる。また、ケーブル３が作業者の側方の視界を遮って邪魔になることもなくなる。
【００３３】
また、第１テンプル部２１Ｒ1および第２テンプル部２１Ｒ2は、前後方向に長尺状に形成されており、かつ、第１テンプル部２１Ｒ1が第２テンプル部２１Ｒ2に対して前方にずれた状態で互いに連結されているので、第１テンプル部２１Ｒ1および第２テンプル部２１Ｒ2を、必要最小限の厚さ（高さ）でそれぞれ細く形成して、テンプル２１Ｒ全体を小型で軽量にすることができる。それに加えて、フレーム２２に対して第１テンプル部２１Ｒ1を回動させたときに、第２テンプル部２１Ｒ2が第１テンプル部２１Ｒ1よりも内側に折りたたまれ、第２テンプル部２１Ｒ2が外に張り出すことがなく、ＨＭＤをコンパクトに収納することが可能となる。
【００３４】
また、第１テンプル部２１Ｒ1は、第２テンプル部２１Ｒ2よりも上方に位置しているので、作業者の頭部へのＨＭＤの装着時には（第２テンプル部２１Ｒ2が作業者の耳の上部に位置するときには）、第１テンプル部２１Ｒ1は、作業者の眼よりも上方に位置することになる。したがって、少なくとも作業者の前方から側方にかけて、第１テンプル部２１Ｒ1と連結されるフレーム２２を作業者の眼よりも上方に位置させることができ、作業者の視界を広く確保することが可能となる。また、作業者が一般の眼鏡をかけた状態でも、ＨＭＤのフレーム２２が眼鏡のテンプルやフレームと干渉しにくくなり、ＨＭＤと眼鏡との併用が容易となる。
【００３５】
ところで、第２テンプル部２１Ｒ2・２１Ｌ2において、作業者の側頭部と当接する面は、平面または略平面であることが望ましい。図１に示すように、第２テンプル部２１Ｒ2・２１Ｌ2の外形に沿って縁取られた面が平面となっている。これにより、第２テンプル部２１Ｒ2・２１Ｌ2は、線接触の場合に比べて、作業者の側頭部との接触面積が大きくなるので、作業者はＨＭＤを安定して装着することが可能となる。また、左右の第２テンプル部２１Ｒ2・２１Ｌ2によって頭部を挟む力が分散し、作業者は違和感なくＨＭＤを長時間使用することが可能となる。
【００３６】
次に、表示部１の構成について説明する。図３は、表示部１の概略構成を示す断面図である。表示部１は、光源１１と、一方向拡散板１２と、集光レンズ１３と、表示素子１４と、接眼光学系１６とを有している。光源１１、一方向拡散板１２、集光レンズ１３および表示素子１４は、筐体１５内にユニット１０として収容されており、接眼光学系１６の一部（後述する接眼プリズム１７の一部）も筐体１５内に位置している。上記したケーブル３は、筐体１５を貫通して設けられ、光源１１や表示素子１４に駆動電力や映像信号が供給される。
【００３７】
なお、以下での説明の便宜上、方向を以下のように定義しておく。まず、表示素子１４の表示領域の中心と、接眼光学系１６によって形成される光学瞳Ｅの中心とを光学的に結ぶ軸を光軸とする。そして、光源１１から光学瞳Ｅまでの光路を展開したときの光軸方向をＺ方向とする。また、接眼光学系１６の後述するホログラム光学素子１９への光軸の入射面に垂直な方向をＸ方向とし、ＺＸ平面に垂直な方向をＹ方向とする。なお、ホログラム光学素子１９への光軸の入射面とは、ホログラム光学素子１９における入射光の光軸と反射光の光軸とを含む平面、すなわち、ＹＺ平面を指す。以下、上記入射面を単に入射面または光軸入射面と称する。なお、ＸＹＺの各方向において正負は問わないものとする。
【００３８】
光源１１は、表示素子１４を照明するものであり、例えば、光強度のピーク波長および光強度半値の波長幅で４６２±１２ｎｍ（Ｂ光）、５２５±１７ｎｍ（Ｇ光）、６３５±１１ｎｍ（Ｒ光）となる３つの波長帯域の光を発するＲＧＢ一体型のＬＥＤで構成されている。このように、光源１１が所定の波長幅の光を出射することにより、表示素子１４を照明して得られる映像光に所定の波長幅を持たせることができ、後述するホログラム光学素子１９にて映像光を回折させたときに、光学瞳Ｅの位置にて観察画角全域にわたって作業者に映像を観察させることができる。また、光源１１の各色についてのピーク波長は、ホログラム光学素子１９の後述する回折効率のピーク波長の近傍に設定されており、光利用効率の向上が図られている。
【００３９】
また、光源１１は、ＲＧＢの光を出射するＬＥＤで構成されているので、光源１１を安価に実現することができるとともに、表示素子１４を照明したときに、表示素子１４にてカラー映像を表示することが可能となり、そのカラー映像を作業者に提供することが可能となる。また、各ＬＥＤは、発光波長幅が狭いので、そのようなＬＥＤを複数用いることにより、色再現性が高く、明るい映像表示が可能となる。
【００４０】
一方向拡散板１２は、光源１１からの出射光を拡散させるものであるが、その拡散度は方向によって異なっている。より詳細には、一方向拡散板１２は、Ｘ方向には入射光を約４０゜拡散させ、Ｙ方向には入射光を約０．５゜拡散させる。なお、一方向拡散板１２の配置を省略することも可能である。
【００４１】
集光レンズ１３は、一方向拡散板１２にて拡散された光をＹ方向に集光するシリンダレンズで構成されており、その拡散光が効率よく光学瞳Ｅを形成するように配置されている。
【００４２】
表示素子１４は、光源１１からの出射光を画像データに応じて変調して映像を表示するものであり、光が透過する領域となる各画素をマトリクス状に有する透過型の液晶表示素子で構成されている。表示素子１４は、矩形の表示領域の長辺方向がＸ方向となり、短辺方向がＹ方向となるように配置されている。なお、表示素子１４は、反射型であってもよい。反射型の表示素子１４としては、例えば反射型の液晶表示素子や、ＤＭＤ（Digital Micromirror Device；米国テキサスインスツルメント社製）を用いることができる。
【００４３】
接眼光学系１６は、表示素子１４に表示された映像の光を光学瞳Ｅに導き、表示素子１４の表示映像の拡大虚像を作業者に提供する拡大光学系であり、接眼プリズム１７（第１の透明基板）と、偏向プリズム１８（第２の透明基板）と、ホログラム光学素子１９とを有して構成されている。
【００４４】
接眼プリズム１７は、面１７ａを介して入射する表示素子１４からの映像光を、対向する２つの面１７ｂ・１７ｃで全反射させ、ホログラム光学素子１９を介して作業者の瞳に導く一方、外光を透過させて作業者の瞳に導くものであり、偏向プリズム１８とともに、例えばアクリル系樹脂で構成されている。この接眼プリズム１７は、平行平板の下端部を下端に近くなるほど薄くして楔状にし、その上端部を上端に近くなるほど厚くした形状で構成されている。また、接眼プリズム１７は、その下端部に配置されるホログラム光学素子１９を挟むように、偏向プリズム１８と接着剤で接合されている。
【００４５】
偏向プリズム１８は、平面視で略Ｕ字型の平行平板で構成されており（図１参照）、接眼プリズム１７の下端部および両側面部（左右の各端面）と貼り合わされたときに、接眼プリズム１７と一体となって略平行平板となるものである。この偏向プリズム１８を接眼プリズム１７に接合することにより、作業者が接眼光学系１６を介して観察する外界像に歪みが生じるのを防止することができる。
【００４６】
つまり、例えば、接眼プリズム１７に偏向プリズム１８を接合させない場合、外光は接眼プリズム１７の楔状の下端部を透過するときに屈折するので、接眼プリズム１７を介して観察される外界像に歪みが生じる。しかし、接眼プリズム１７に偏向プリズム１８を接合させて一体的な略平行平板を形成することで、外光が接眼プリズム１７の楔状の下端部を透過するときの屈折を偏向プリズム１８でキャンセルすることができる。その結果、シースルーで観察される外界像に歪みが生じるのを防止することができる。
【００４７】
なお、接眼プリズム１７および偏向プリズム１８の互いに対向する２面は、平面であってもよいし、曲面であってもよい。後者の場合、接眼光学系１６に矯正眼鏡レンズとしての機能を持たせることができる。
【００４８】
ホログラム光学素子１９は、表示素子１４から出射される映像光（３原色に対応した波長の光）を回折反射して光学瞳Ｅに導き、表示素子１４に表示される映像を拡大して作業者の瞳に虚像として導く体積位相型の反射型ホログラムである。このホログラム光学素子１９は、例えば、回折効率のピーク波長および回折効率半値の波長幅で４６５±５ｎｍ（Ｂ光）、５２１±５ｎｍ（Ｇ光）、６３４±５ｎｍ（Ｒ光）の３つの波長域の光を回折（反射）させるように作製されている。ここで、回折効率のピーク波長とは、回折効率がピークとなるときの波長のことであり、回折効率半値の波長幅とは、回折効率が回折効率ピークの半値となるときの波長幅のことである。
【００４９】
反射型のホログラム光学素子１９は、高い波長選択性を有しており、上記波長域（露光波長近辺）の波長の光しか回折反射しないので、回折反射される波長以外の波長を含む外光はホログラム光学素子１９を透過することになり、高い外光透過率を実現することができる。
【００５０】
また、ホログラム光学素子１９は、軸非対称な正の光学パワーを有している。つまり、ホログラム光学素子１９は、正のパワーを持つ非球面凹面ミラーと同様の機能を持っている。これにより、装置を構成する各光学部材の配置の自由度を高めて装置を容易に小型化することができるとともに、良好に収差補正された映像を作業者に提供することができる。
【００５１】
次に、上記構成の表示部１の動作について説明する。光源１１から出射された光は、一方向拡散板１２にて拡散され、集光レンズ１３にて集光されて表示素子１４に入射する。表示素子１４に入射した光は、画像データに基づいて各画素ごとに変調され、映像光として出射される。つまり、表示素子１４には、カラー映像が表示される。
【００５２】
表示素子１４からの映像光は、接眼光学系１６の接眼プリズム１７の内部にその上端面（面１７ａ）から入射し、対向する２つの面１７ｂ・１７ｃで複数回全反射されて、ホログラム光学素子１９に入射する。ホログラム光学素子１９に入射した光は、そこで反射され、面１７ｂを透過して光学瞳Ｅに達する。光学瞳Ｅの位置では、作業者は、表示素子１４に表示された映像の拡大虚像を観察することができる。
【００５３】
一方、接眼プリズム１７、偏向プリズム１８およびホログラム光学素子１９は、外光をほとんど全て透過させるので、作業者はこれらを介して外界像を観察することができる。したがって、表示素子１４に表示された映像の虚像は、外界像の一部に重なって観察されることになる。
【００５４】
このように、表示部１では、表示素子１４から出射される映像光を接眼プリズム１７内での全反射によって導光し、ホログラム光学素子１９を介して作業者の瞳に導くので、通常の眼鏡レンズと同様に、接眼プリズム１７および偏向プリズム１８の厚さを３ｍｍ程度にすることができ、表示部１を小型化、軽量化することができる。また、表示素子１４からの映像光を内部で全反射させる接眼プリズム１７を用いることにより、高い外光の透過率を確保して、明るい外界像を作業者に提供することができる。
【００５５】
また、体積位相型の反射型のホログラム光学素子１９は、回折効率半値の波長幅が狭く、回折効率が高いので、このようなホログラム光学素子１９を用いることにより、色純度が高く、明るい映像を提供することができるとともに、外光の透過率が高くなるので、作業者は明るい外界像を観察することができる。
【００５６】
また、上記の説明からもわかるように、ホログラム光学素子１９は、表示素子１４からの映像光と外光とを同時に作業者の瞳に導くコンバイナとして機能している。これにより、作業者は、ホログラム光学素子１９を介して、表示素子１４から提供される映像と外界像とを同時に観察することができる。
【００５７】
次に、可視光線撮像部４及び赤外線撮像部５について説明する。可視光線撮像部４及び赤外線撮像部５は筐体１５の上部に設けられており、筐体１５内を通じてケーブル３に接続されている。可視光線撮像部４と赤外線撮像部５は作業者の視界とほぼ同じ撮像範囲を有している。可視光線撮像部４は可視光線を選択的に撮像して可視光線像を、赤外線撮像部５は赤外線を選択的に撮像して赤外線像を得る。
【００５８】
これら可視光線像及び赤外線像はケーブル３を通じて制御部へ送られ処理される。可視光線像はそのまま表示部１に表示することも可能である。可視光線撮像部４に備えられる撮像素子としては、例えばＣＣＤ（Charge Coupled Device）を用いることができる。また、赤外線撮像部５に備えられる撮像素子としては、例えば２次元に配列したボロメータ等の熱型赤外線検出素子を用いることができる。
【００５９】
（第１の実施形態）
第１の実施形態として、上記のＨＭＤを用いた作業支援装置について説明する。図４は、作業支援装置７の概略構成を示すブロック図である。制御部６は、温度分布画像生成部６１と、部品検出部６２と、適正温度データベース６３と、温度異常検知部６４と、報知情報生成部６５とを備えている。
【００６０】
温度分布画像生成部６１は、赤外線撮像部５で取得した赤外線像を可視光線像に変換して温度分布画像を生成する。この画像においては、例えば低温を青、中温を黄色、高温を赤色で表示することができる。この温度分布画像は後述する温度異常検知に用いられたり、作業者への技術情報として表示部１に表示されたりする。
【００６１】
部品検出部６２は、可視光線撮像部４で取得した可視光線像を画像処理することによって画像内の各部品を検出する。部品検出部６２には、部品の検出に必要な各部品の形状や名称や番号等の情報が必要に応じて記憶されている。
【００６２】
部品を検出する際の前提として、現在どの機種を修理しようとしているのかを予め入力しておくことが望ましい。これにより、その機種に絞って部品検出することができる。部品検出部６２での検出方法としては、例えば、部品毎に特徴的な色付けがされているような場合には、可視光線像の中から特徴的な色付けの部品を選び出し、記憶されている部品と色の関係からその部品を特定することができる。可視光線像の中のある部品が特定できれば、正規化によって他の部品も特定することができる。
【００６３】
他の検出方法としては、部品に品番などの文字列が記載されている場合には、可視光線像の中から識別可能な文字列を抽出し、記憶されている部品と文字列との関係からその部品を特定することができる。可視光線像の中のある部品が特定できれば、正規化によって他の部品も特定することができる。
【００６４】
また他の検出方法としては、マーカーを利用する方法がある。作業者はある程度決まった位置から修理対象の機械を目視することが想定される。そこで、作業開始初期の可視光線像の四隅と中央（奥行情報）とにマーカーを付け、その後は、この５点のマーカーの動きによって、作業者が見ている三次元的な情報を取得する。そして、可視光線像を、記憶されている部品毎の三次元情報と照合することで部品を特定することができる。
【００６５】
また他の検出方法としては、パターンマッチングやＨｏｕｇｈ変換などの図形検出処理も利用することができる。例えば、パターンマッチングを行うには、まず可視光線像を幾何学的変換する補正処理と幾何学的な特徴を抽出する特徴抽出処理とを行い、特徴データを生成する。そして、記憶されている各部品を各方向から形状化したパターンデータの中から、今抽出した特徴データに最も合致するものを選ぶことで部品を特定することができる。
【００６６】
適正温度データベース６３は、各部品の適正温度を記憶している。温度異常検知部６４は、温度分布画像と、可視光線像から検出された部品と、各部品の適正温度とに基づき、温度が異常である部品を検知する。具体的には、可視光線像内の部品について適正温度データベース６３から適正温度を読み出し、温度分布画像における各部品の位置に対応する温度を特定し、適正温度と測定した実際の温度とを比較し、実際の温度が適正温度の範囲内にない部品を温度異常部品として抽出する。
【００６７】
報知情報生成部６５は、温度異常部品を検知した結果から表示部１に表示する表示情報を生成し、表示部１に出力する。この表示情報は、温度異常部品の強調表示、異常を示す文字の表示、異常を示す記号の表示のうち少なくとも１つを含むものとする。例えば、図５〜図７に示す画像を表示情報として用いることができる。図５〜図７は、複写機の定着部における加熱ローラが適正温度以上である場合の表示画像の例であり、作業者の視界に重畳表示することで、作業者の目には、目視による加熱ローラに表示部１に表示された加熱ローラが重なって見える。
【００６８】
図５の画像８１では、温度異常部品である加熱ローラ８２を赤色等としたり、赤色等の点滅表示としたりすることで、加熱ローラ８２の温度が異常であることを強調し、作業者に異常な部品を知らせている。色は、適正温度との差に応じて黄色、橙色、赤色などと変化させてもよい。
【００６９】
図６の画像８３では、加熱ローラ８２の画像上に「！」の記号８４を表示することで、加熱ローラ８２の温度が異常であることを示し、作業者に異常な部品を知らせている。図７の画像８５では、加熱ローラ８２に向かって矢印を使って「異常あり！」という文字８６を表示することで、加熱ローラ８２の温度が異常であることを示し、作業者に異常な部品を知らせている。さらに、図５〜図７の表示に加え、又は表示に代えて、注意を促す音声メッセージやビープ音を出力してもよい。
【００７０】
このように、ＨＭＤを用いて温度異常部品を報知することにより、作業者は両手で自由に作業しながら、肉眼だけではわかりにくい修理が必要な異常な部品を容易に知ることができる。
【００７１】
また、上記のように温度が適正範囲にない部品だけを報知するのではなく、作業の安全性の観点から、適正温度であっても作業者に火傷の危険があるような高温の部品（例えば複写機の現像部や定着部の部品）が検出された場合にも上述の手法で報知するようにしてもよい。例えば、温度分布画像において６０℃以上であった部品を報知すれば火傷の危険性が低下する。
【００７２】
（第２の実施形態）
第２の実施形態として、上記のＨＭＤを用いた作業支援装置と、この作業支援装置と通信可能なサーバ装置とを含む作業支援システムについて説明する。図８は、作業支援システム９の概略構成を示すブロック図である。作業支援システム９は、作業支援装置７’と、ネットワーク１００と、サーバ装置１１０とを含んでいる。以下、第１の実施形態と同じ構成部材については同符号を付し、その詳細な説明は省略する。
【００７３】
作業支援装置７’は、表示部１と、可視光線撮像部４と、赤外線撮像部５と、制御部６’とを備えている。制御部６’は、温度分布画像生成部６１と、送信部６６と、受信部６７とを備えている。
【００７４】
送信部６６は、可視光線撮像部４で取得した可視光線像と、温度分布画像生成部６１で生成した温度分布画像とをネットワーク１００を介してサーバ装置１１０へ送信する。一方、受信部６７は、ネットワーク１００を介してサーバ装置１１０から表示部１に表示する表示情報を受信し、表示部１に出力する。
【００７５】
サーバ装置１１０は、受信部１１１と、送信部１１２と、部品検出部６２と、適正温度データベース６３と、報知情報生成部６５とを備えている。
【００７６】
受信部１１１は、ネットワーク１００を介して作業支援装置７’から可視光線像と温度分布画像とを受信し、可視光線像を部品検出部６２及び報知情報生成部６５へ、温度分布画像を温度異常検知部６４及び報知情報生成部６５へ、それぞれ出力する。一方、送信部１１２は、報知情報生成部６５で生成された表示情報をネットワーク１００を介して作業支援装置７’へ送信する。表示情報の生成方法は第１の実施形態と同様である。
【００７７】
このように、第２の実施形態では、第１の実施形態で作業支援装置７に備えられていた部品検出部６２、適正温度データベース６３、温度異常検知部６４、報知情報生成部６５をサーバ装置１１０に備えることにより、作業支援装置７の構成を簡略化することで、作業支援装置７の小型化、低コスト化を実現することができる。
【００７８】
なお、第２の実施形態においては、温度分布画像生成部６１と、部品検出部６２と、適正温度データベース６３と、温度異常検知部６４と、報知情報生成部６５とは、作業支援装置７’又はサーバ装置１１０の何れかに備えられていればよい。例えば、作業支援装置７’を最小の構成にする場合は、図８において、温度分布画像生成部６１をサーバ装置１１０側に移動させればよい。
【００７９】
なお、本発明の作業支援装置は、従来提案されているような通信によって外部から作業指示である画像や音声を受信する機能を備えるようにしても何ら問題はない。
【産業上の利用可能性】
【００８０】
本発明の作業支援装置及び作業支援システムは、装置や設備の保守作業を行う作業者の支援に利用することができる。
【符号の説明】
【００８１】
１ 表示部
４ 可視光線撮像部
５ 赤外線撮像部
７、７’ 作業支援装置
９ 作業支援システム
１１ サーバ装置
６１ 温度分布画像生成部
６２ 部品検出部
６３ 適正温度データベース
６４ 温度異常検知部
６５ 報知情報生成部
８４ 記号
８６ 文字
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイ（以下、ＨＭＤとも称する）を用いた作業支援装置と、作業支援装置及びそれと通信可能なサーバ装置を含む作業支援システムとに関する。
【背景技術】
【０００２】
従来から、いわゆるＨＭＤと呼ばれる頭部搭載型の表示部が種々提案されている。近年、ＨＭＤは一般民生品としての利用だけでなく、様々な情報をユーザに提供することにより業務を円滑に行うことを支援する用途にも利用されはじめている。
【０００３】
例えば、装置や設備の保守作業を行う作業者は、多用な故障内容や保守方法を記憶し、状況に応じて対応する必要があるため、経験や熟練が必要とされる。また、作業者は作業現場の状況を正確に把握して対処しなければならないが、適切な対処方法が分からない場合は設計者などから必要なアドバイスを受けて迅速に対応しなければならない場合もある。しかし、電話などでは、的確なアドバイスを受けることが難しい場合もある。
【０００４】
そこでＨＭＤを使った作業支援システムが提案されており、例えば特許文献１には、ネットワークを介して作業手順や作業指示をＨＭＤに表示させ、作業者に指示を与える作業支援システムが開示されている。
【０００５】
また特許文献２には、赤外線像と可視光線像を表示することができるＨＭＤを用い、暗闇や火災時の煙の中などで人体や火元などの発熱をとらえるものが開示されている。同様なものとして、特許文献３〜５のような技術もある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１０２７２７号公報
【特許文献２】特開平８−５４２８２号公報
【特許文献３】特開２００７−２８６２６９号公報
【特許文献４】実開平５−３８５４１号公報
【特許文献５】実開平５−７５８９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、装置（例えば複写機）内部の修理や保守作業を行う場合を考える。作業の過程では、熱を帯びた危険な部品が存在したり、異常を検知するのに部品の温度が有用であったり、部品の温度を知ることが重要となる。しかし、作業者は、通常、両手が塞がるような作業を行っており、温度測定用の機器を持ちながら作業することは困難である。
【０００８】
そこで、上述したＨＭＤの利用が考えられるが、特許文献１には温度測定に関する記載はない。また、装置内部においては部品毎に適正な温度帯が異なるので、特許文献２〜５のように温度を検出するだけではどの部品が異常であるかはわからないという問題がある。
【０００９】
本発明は、作業対象物のどの部品が異常な温度であるかを報知することで、肉眼だけではわかりにくい異常部品を知らせる作業支援装置及び作業支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明は、ヘッドマウントディスプレイを用いた作業支援装置であって、可視光線を撮像する可視光線撮像部と、赤外線を撮像する赤外線撮像部と、異常を報知する報知部とを備え、前記報知部は、前記赤外線撮像部で取得した赤外線像から生成された温度分布画像と、前記可視光線撮像部で取得した可視光線像から検出された部品と、各部品の適正温度とに基づき、温度が異常である部品を検知した結果から生成された情報を報知することを特徴とする。
【００１１】
この構成によると、機器を修理している作業者の視界の中から温度が異常な部品を探し出し、ＨＭＤを通じてその異常を知らせることができる。
【００１２】
また本発明は、上記の作業支援装置と、該作業支援装置と通信可能なサーバ装置とを含む作業支援システムであって、前記赤外線撮像部で取得した赤外線像から温度分布画像を生成する温度分布画像生成部と、前記可視光線撮像部で取得した可視光線像から部品を検出する部品検出部と、各部品の適正温度を記憶する適正温度データベースと、前記温度分布画像と前記可視光線像から検出された部品と前記各部品の適正温度とに基づき温度が異常である部品を検知する温度異常検知部と、前記温度が異常である部品を検知した結果から報知する情報を生成する報知情報生成部とが、前記作業支援装置又は前記サーバ装置の何れかに備えられることを特徴とする。
【００１３】
この構成によると、サーバ装置側に多くの構成部材を設ければ、作業支援装置の小型化、低コスト化が可能となる。
【００１４】
また本発明は、 ヘッドマウントディスプレイを用いた作業支援装置であって、可視光線を撮像する可視光線撮像部と、赤外線を撮像する赤外線撮像部と、異常を報知する報知部と、前記赤外線撮像部で取得した赤外線像から温度分布画像を生成する温度分布画像生成部と、前記可視光線撮像部で取得した可視光線像から部品を検出する部品検出部と、各部品の適正温度を記憶する適正温度データベースと、前記温度分布画像と前記可視光線像から検出された部品と前記各部品の適正温度とに基づき温度が異常である部品を検知する温度異常検知部と、前記温度が異常である部品を検知した結果から報知する情報を生成する報知情報生成部とを備えることを特徴とする。
【００１５】
この構成によると、サーバ装置を用いず、作業支援装置だけで機器を修理している作業者の視界の中から温度が異常な部品を探し出し、ＨＭＤを通じてその異常を知らせることができる。
【００１６】
上記の報知部は、前記異常である部品の強調表示、異常を示す文字の表示、異常を示す記号の表示、音声メッセージ、ビープ音のうち少なくとも１つを用いて報知することで、作業者に注意を促すことができる。
【発明の効果】
【００１７】
本発明によると、作業対象物のどの部品が異常な温度であるかを報知することにより、肉眼だけではわかりにくい異常部品を知らせることができる。
【００１８】
また、高温の箇所を報知することで作業者に注意を促し、作業時の安全性を高めることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の作業支援装置を構成するＨＭＤの概略構成を示す斜視図である。
【図２】本発明のＨＭＤを作業者が装着した状態でのＨＭＤの側面図である。
【図３】本発明の表示部の概略構成を示す断面図である。
【図４】本発明の作業支援装置の概略構成を示すブロック図である。
【図５】複写機の定着部における加熱ローラが適正温度以上である場合の本発明の表示画像の一例である。
【図６】複写機の定着部における加熱ローラが適正温度以上である場合の本発明の表示画像の一例である。
【図７】複写機の定着部における加熱ローラが適正温度以上である場合の本発明の表示画像の一例である。
【図８】本発明の作業支援システムの概略構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
図１は、作業支援装置を構成するＨＭＤの概略構成を示す斜視図であり、図２は、ＨＭＤを作業者が装着した状態でのＨＭＤの側面図である。ＨＭＤは、表示部１と、支持部２と、ケーブル３と、可視光線撮像部４と、赤外線撮像部５とを有して構成されている。そして作業支援装置は、ＨＭＤと、ケーブル３に接続される制御部とから構成されている。なお、表示部１と後述するイヤホン２５とを合わせて報知部と呼ぶ。
【００２１】
表示部１は、映像を表示して作業者に提供するものであり、支持部２は、表示部１を作業者の眼前で支持するものである。図１及び図２では、支持部２は、表示部１を作業者の右眼の前に位置するように支持しているが、表示部１を２つ設け、これらを両眼の前に位置するように支持してもよい。いずれにしても、表示部１を支持部２で支持することにより、作業者は表示部１に表示される映像をハンズフリーで観察することが可能となる。ケーブル３は、制御部（不図示）と表示部１と可視光線撮像部４と赤外線撮像部５とを接続し、制御部からの少なくとも駆動電力および映像信号を表示部１と可視光線撮像部４と赤外線撮像部５とに供給する。
【００２２】
支持部２は、テンプル２１と、フレーム２２とを有している。テンプル２１は、作業者の側頭部に当接する左右一対のテンプル２１Ｒ・２１Ｌからなっている。フレーム２２は、各テンプル２１Ｒ・２１Ｌを回動可能に支持するとともに、上記した表示部１を支持するものであり、略Ｔ字形で形成されている。テンプル２１およびフレーム２２は、例えば樹脂で構成されており、可撓性を有している。また、フレーム２２には、作業者の鼻と当接する左右一対の鼻当て２３が設けられている。
【００２３】
テンプル２１Ｒは、第１テンプル部２１Ｒ1と、第２テンプル部２１Ｒ2とが一体化されて構成されている。同様に、テンプル２１Ｌは、第１テンプル部２１Ｌ1と、第２テンプル部２１Ｌ2とが一体化されて構成されている。第１テンプル部２１Ｒ1・２１Ｌ1および第２テンプル部２１Ｒ2・２１Ｌ2は、それぞれ、前後方向に長尺状に形成されており、第２テンプル部２１Ｒ2・２１Ｌ2は、第１テンプル部２１Ｒ1・２１Ｌ1よりも若干長く形成されている。
【００２４】
第１テンプル部２１Ｒ1・２１Ｌ1は、フレーム２２の左右端において、フレーム２２に対してそれぞれ回動可能に連結されているとともに、第２テンプル部２１Ｒ2・２１Ｌ2に対して前方にずれた状態でその上方に位置するように連結されている。
【００２５】
第２テンプル部２２Ｒ2・２１Ｌ2は、第１テンプル部２１Ｒ1・２１Ｌ1を介してフレーム２２に支持されている。第２テンプル部２１Ｒ2は、前後方向に移動可能にイヤホン２５を保持するイヤホン保持部２４を有しており、作業者はイヤホン保持部２４にイヤホン２５を保持させたまま（イヤホン２５を耳に差し込まなくても）、音声を聞くことが可能となっている。
【００２６】
また、第２テンプル部２２Ｒ2・２１Ｌ2は、フレーム２２に対する第１テンプル部２１Ｒ1・２１Ｌ1の支持位置とは異なる高さ位置で前方に露出する露出面２１ＲS・２１ＬSを有している。そして、上述したケーブル３は、例えば第２テンプル部２１Ｒ2の内部を通り、露出面２１ＲSから引き出されて表示部１に接続され、さらに表示部１を通って可視光線撮像部４と赤外線撮像部５とに接続されている。このような接続方式により、以下の第１〜第４の効果を得ることができる。
【００２７】
第１に、ケーブル３は、テンプル２１Ｒ（第２テンプル部２１Ｒ2）で一旦支持された状態で表示部１と接続されるので、ケーブル３が表示部１に直接接続される場合のように、ケーブル３の重量が表示部１に直接加わることがない。その結果、作業者がＨＭＤを長時間使用しても、疲労感や不快感が増大するのを回避することができ、長時間使用における作業者の使用負担を軽減することができる。
【００２８】
特に、本形態では、テンプル２１Ｒが第１テンプル部２１Ｒ1と第２テンプル部２１Ｒ2との２段構成であるので、テンプル２１Ｒにおいてフレーム２２で支持される位置（第１テンプル部２１Ｒ1とフレーム２２との連結位置）と、露出面２１ＲSの位置とを高さ方向に確実に異ならせることができる。これにより、フレーム２２と第１テンプル部２１Ｒ1とを回動可能に連結した状態で、ケーブル３を第２テンプル部２１Ｒ2の内部から露出面２１ＲSを介して外部に引き出すことが確実に可能となり、上記の接続方式を採用することが確実に可能となる。
【００２９】
第２に、テンプル２１Ｒは、作業者の側頭部との当接により、安定した状態でケーブル３を支持することができるので、本形態のように一方のテンプル２１Ｒでケーブル３を支持する場合でも、作業者は安定してＨＭＤを装着することが可能となる（ＨＭＤが前後左右にぐらつくことはない）。
【００３０】
第３に、ケーブル３は、テンプル２１Ｒの露出面２１ＲSを介してフレーム２２とは異なる高さ位置を通ることになるので、フレーム２２に対するテンプル２１Ｒの回動時に、ケーブル３が回動部分に巻き付き、テンプル２１Ｒの回動を阻害することはない。したがって、テンプル２１Ｒを容易に折りたたむことが可能となる。
【００３１】
第４に、ケーブル３がフレーム２２の内部を通らないので、フレーム２２を必要以上に太く形成しなくても済む。これにより、フレーム２２が作業者の頭部の大きさに合わせて変形しやすくなり、作業者はＨＭＤを安定して違和感なく装着することが可能となる。
【００３２】
また、ケーブル３は、図２に示すように、第２テンプル部２１Ｒ2において作業者の耳と接触する位置よりも後方の位置から、第２テンプル部２１Ｒ2の内部に進入している。これにより、ケーブル３は作業者の耳よりも後方で垂れ下がるので、作業者の耳を基準とした前後方向の重量バランスを良好にすることができ、作業者の使用負担を確実に軽減することができる。また、ケーブル３が作業者の側方の視界を遮って邪魔になることもなくなる。
【００３３】
また、第１テンプル部２１Ｒ1および第２テンプル部２１Ｒ2は、前後方向に長尺状に形成されており、かつ、第１テンプル部２１Ｒ1が第２テンプル部２１Ｒ2に対して前方にずれた状態で互いに連結されているので、第１テンプル部２１Ｒ1および第２テンプル部２１Ｒ2を、必要最小限の厚さ（高さ）でそれぞれ細く形成して、テンプル２１Ｒ全体を小型で軽量にすることができる。それに加えて、フレーム２２に対して第１テンプル部２１Ｒ1を回動させたときに、第２テンプル部２１Ｒ2が第１テンプル部２１Ｒ1よりも内側に折りたたまれ、第２テンプル部２１Ｒ2が外に張り出すことがなく、ＨＭＤをコンパクトに収納することが可能となる。
【００３４】
また、第１テンプル部２１Ｒ1は、第２テンプル部２１Ｒ2よりも上方に位置しているので、作業者の頭部へのＨＭＤの装着時には（第２テンプル部２１Ｒ2が作業者の耳の上部に位置するときには）、第１テンプル部２１Ｒ1は、作業者の眼よりも上方に位置することになる。したがって、少なくとも作業者の前方から側方にかけて、第１テンプル部２１Ｒ1と連結されるフレーム２２を作業者の眼よりも上方に位置させることができ、作業者の視界を広く確保することが可能となる。また、作業者が一般の眼鏡をかけた状態でも、ＨＭＤのフレーム２２が眼鏡のテンプルやフレームと干渉しにくくなり、ＨＭＤと眼鏡との併用が容易となる。
【００３５】
ところで、第２テンプル部２１Ｒ2・２１Ｌ2において、作業者の側頭部と当接する面は、平面または略平面であることが望ましい。図１に示すように、第２テンプル部２１Ｒ2・２１Ｌ2の外形に沿って縁取られた面が平面となっている。これにより、第２テンプル部２１Ｒ2・２１Ｌ2は、線接触の場合に比べて、作業者の側頭部との接触面積が大きくなるので、作業者はＨＭＤを安定して装着することが可能となる。また、左右の第２テンプル部２１Ｒ2・２１Ｌ2によって頭部を挟む力が分散し、作業者は違和感なくＨＭＤを長時間使用することが可能となる。
【００３６】
次に、表示部１の構成について説明する。図３は、表示部１の概略構成を示す断面図である。表示部１は、光源１１と、一方向拡散板１２と、集光レンズ１３と、表示素子１４と、接眼光学系１６とを有している。光源１１、一方向拡散板１２、集光レンズ１３および表示素子１４は、筐体１５内にユニット１０として収容されており、接眼光学系１６の一部（後述する接眼プリズム１７の一部）も筐体１５内に位置している。上記したケーブル３は、筐体１５を貫通して設けられ、光源１１や表示素子１４に駆動電力や映像信号が供給される。
【００３７】
なお、以下での説明の便宜上、方向を以下のように定義しておく。まず、表示素子１４の表示領域の中心と、接眼光学系１６によって形成される光学瞳Ｅの中心とを光学的に結ぶ軸を光軸とする。そして、光源１１から光学瞳Ｅまでの光路を展開したときの光軸方向をＺ方向とする。また、接眼光学系１６の後述するホログラム光学素子１９への光軸の入射面に垂直な方向をＸ方向とし、ＺＸ平面に垂直な方向をＹ方向とする。なお、ホログラム光学素子１９への光軸の入射面とは、ホログラム光学素子１９における入射光の光軸と反射光の光軸とを含む平面、すなわち、ＹＺ平面を指す。以下、上記入射面を単に入射面または光軸入射面と称する。なお、ＸＹＺの各方向において正負は問わないものとする。
【００３８】
光源１１は、表示素子１４を照明するものであり、例えば、光強度のピーク波長および光強度半値の波長幅で４６２±１２ｎｍ（Ｂ光）、５２５±１７ｎｍ（Ｇ光）、６３５±１１ｎｍ（Ｒ光）となる３つの波長帯域の光を発するＲＧＢ一体型のＬＥＤで構成されている。このように、光源１１が所定の波長幅の光を出射することにより、表示素子１４を照明して得られる映像光に所定の波長幅を持たせることができ、後述するホログラム光学素子１９にて映像光を回折させたときに、光学瞳Ｅの位置にて観察画角全域にわたって作業者に映像を観察させることができる。また、光源１１の各色についてのピーク波長は、ホログラム光学素子１９の後述する回折効率のピーク波長の近傍に設定されており、光利用効率の向上が図られている。
【００３９】
また、光源１１は、ＲＧＢの光を出射するＬＥＤで構成されているので、光源１１を安価に実現することができるとともに、表示素子１４を照明したときに、表示素子１４にてカラー映像を表示することが可能となり、そのカラー映像を作業者に提供することが可能となる。また、各ＬＥＤは、発光波長幅が狭いので、そのようなＬＥＤを複数用いることにより、色再現性が高く、明るい映像表示が可能となる。
【００４０】
一方向拡散板１２は、光源１１からの出射光を拡散させるものであるが、その拡散度は方向によって異なっている。より詳細には、一方向拡散板１２は、Ｘ方向には入射光を約４０゜拡散させ、Ｙ方向には入射光を約０．５゜拡散させる。なお、一方向拡散板１２の配置を省略することも可能である。
【００４１】
集光レンズ１３は、一方向拡散板１２にて拡散された光をＹ方向に集光するシリンダレンズで構成されており、その拡散光が効率よく光学瞳Ｅを形成するように配置されている。
【００４２】
表示素子１４は、光源１１からの出射光を画像データに応じて変調して映像を表示するものであり、光が透過する領域となる各画素をマトリクス状に有する透過型の液晶表示素子で構成されている。表示素子１４は、矩形の表示領域の長辺方向がＸ方向となり、短辺方向がＹ方向となるように配置されている。なお、表示素子１４は、反射型であってもよい。反射型の表示素子１４としては、例えば反射型の液晶表示素子や、ＤＭＤ（Digital Micromirror Device；米国テキサスインスツルメント社製）を用いることができる。
【００４３】
接眼光学系１６は、表示素子１４に表示された映像の光を光学瞳Ｅに導き、表示素子１４の表示映像の拡大虚像を作業者に提供する拡大光学系であり、接眼プリズム１７（第１の透明基板）と、偏向プリズム１８（第２の透明基板）と、ホログラム光学素子１９とを有して構成されている。
【００４４】
接眼プリズム１７は、面１７ａを介して入射する表示素子１４からの映像光を、対向する２つの面１７ｂ・１７ｃで全反射させ、ホログラム光学素子１９を介して作業者の瞳に導く一方、外光を透過させて作業者の瞳に導くものであり、偏向プリズム１８とともに、例えばアクリル系樹脂で構成されている。この接眼プリズム１７は、平行平板の下端部を下端に近くなるほど薄くして楔状にし、その上端部を上端に近くなるほど厚くした形状で構成されている。また、接眼プリズム１７は、その下端部に配置されるホログラム光学素子１９を挟むように、偏向プリズム１８と接着剤で接合されている。
【００４５】
偏向プリズム１８は、平面視で略Ｕ字型の平行平板で構成されており（図１参照）、接眼プリズム１７の下端部および両側面部（左右の各端面）と貼り合わされたときに、接眼プリズム１７と一体となって略平行平板となるものである。この偏向プリズム１８を接眼プリズム１７に接合することにより、作業者が接眼光学系１６を介して観察する外界像に歪みが生じるのを防止することができる。
【００４６】
つまり、例えば、接眼プリズム１７に偏向プリズム１８を接合させない場合、外光は接眼プリズム１７の楔状の下端部を透過するときに屈折するので、接眼プリズム１７を介して観察される外界像に歪みが生じる。しかし、接眼プリズム１７に偏向プリズム１８を接合させて一体的な略平行平板を形成することで、外光が接眼プリズム１７の楔状の下端部を透過するときの屈折を偏向プリズム１８でキャンセルすることができる。その結果、シースルーで観察される外界像に歪みが生じるのを防止することができる。
【００４７】
なお、接眼プリズム１７および偏向プリズム１８の互いに対向する２面は、平面であってもよいし、曲面であってもよい。後者の場合、接眼光学系１６に矯正眼鏡レンズとしての機能を持たせることができる。
【００４８】
ホログラム光学素子１９は、表示素子１４から出射される映像光（３原色に対応した波長の光）を回折反射して光学瞳Ｅに導き、表示素子１４に表示される映像を拡大して作業者の瞳に虚像として導く体積位相型の反射型ホログラムである。このホログラム光学素子１９は、例えば、回折効率のピーク波長および回折効率半値の波長幅で４６５±５ｎｍ（Ｂ光）、５２１±５ｎｍ（Ｇ光）、６３４±５ｎｍ（Ｒ光）の３つの波長域の光を回折（反射）させるように作製されている。ここで、回折効率のピーク波長とは、回折効率がピークとなるときの波長のことであり、回折効率半値の波長幅とは、回折効率が回折効率ピークの半値となるときの波長幅のことである。
【００４９】
反射型のホログラム光学素子１９は、高い波長選択性を有しており、上記波長域（露光波長近辺）の波長の光しか回折反射しないので、回折反射される波長以外の波長を含む外光はホログラム光学素子１９を透過することになり、高い外光透過率を実現することができる。
【００５０】
また、ホログラム光学素子１９は、軸非対称な正の光学パワーを有している。つまり、ホログラム光学素子１９は、正のパワーを持つ非球面凹面ミラーと同様の機能を持っている。これにより、装置を構成する各光学部材の配置の自由度を高めて装置を容易に小型化することができるとともに、良好に収差補正された映像を作業者に提供することができる。
【００５１】
次に、上記構成の表示部１の動作について説明する。光源１１から出射された光は、一方向拡散板１２にて拡散され、集光レンズ１３にて集光されて表示素子１４に入射する。表示素子１４に入射した光は、画像データに基づいて各画素ごとに変調され、映像光として出射される。つまり、表示素子１４には、カラー映像が表示される。
【００５２】
表示素子１４からの映像光は、接眼光学系１６の接眼プリズム１７の内部にその上端面（面１７ａ）から入射し、対向する２つの面１７ｂ・１７ｃで複数回全反射されて、ホログラム光学素子１９に入射する。ホログラム光学素子１９に入射した光は、そこで反射され、面１７ｂを透過して光学瞳Ｅに達する。光学瞳Ｅの位置では、作業者は、表示素子１４に表示された映像の拡大虚像を観察することができる。
【００５３】
一方、接眼プリズム１７、偏向プリズム１８およびホログラム光学素子１９は、外光をほとんど全て透過させるので、作業者はこれらを介して外界像を観察することができる。したがって、表示素子１４に表示された映像の虚像は、外界像の一部に重なって観察されることになる。
【００５４】
このように、表示部１では、表示素子１４から出射される映像光を接眼プリズム１７内での全反射によって導光し、ホログラム光学素子１９を介して作業者の瞳に導くので、通常の眼鏡レンズと同様に、接眼プリズム１７および偏向プリズム１８の厚さを３ｍｍ程度にすることができ、表示部１を小型化、軽量化することができる。また、表示素子１４からの映像光を内部で全反射させる接眼プリズム１７を用いることにより、高い外光の透過率を確保して、明るい外界像を作業者に提供することができる。
【００５５】
また、体積位相型の反射型のホログラム光学素子１９は、回折効率半値の波長幅が狭く、回折効率が高いので、このようなホログラム光学素子１９を用いることにより、色純度が高く、明るい映像を提供することができるとともに、外光の透過率が高くなるので、作業者は明るい外界像を観察することができる。
【００５６】
また、上記の説明からもわかるように、ホログラム光学素子１９は、表示素子１４からの映像光と外光とを同時に作業者の瞳に導くコンバイナとして機能している。これにより、作業者は、ホログラム光学素子１９を介して、表示素子１４から提供される映像と外界像とを同時に観察することができる。
【００５７】
次に、可視光線撮像部４及び赤外線撮像部５について説明する。可視光線撮像部４及び赤外線撮像部５は筐体１５の上部に設けられており、筐体１５内を通じてケーブル３に接続されている。可視光線撮像部４と赤外線撮像部５は作業者の視界とほぼ同じ撮像範囲を有している。可視光線撮像部４は可視光線を選択的に撮像して可視光線像を、赤外線撮像部５は赤外線を選択的に撮像して赤外線像を得る。
【００５８】
これら可視光線像及び赤外線像はケーブル３を通じて制御部へ送られ処理される。可視光線像はそのまま表示部１に表示することも可能である。可視光線撮像部４に備えられる撮像素子としては、例えばＣＣＤ（Charge Coupled Device）を用いることができる。また、赤外線撮像部５に備えられる撮像素子としては、例えば２次元に配列したボロメータ等の熱型赤外線検出素子を用いることができる。
【００５９】
（第１の実施形態）
第１の実施形態として、上記のＨＭＤを用いた作業支援装置について説明する。図４は、作業支援装置７の概略構成を示すブロック図である。制御部６は、温度分布画像生成部６１と、部品検出部６２と、適正温度データベース６３と、温度異常検知部６４と、報知情報生成部６５とを備えている。
【００６０】
温度分布画像生成部６１は、赤外線撮像部５で取得した赤外線像を可視光線像に変換して温度分布画像を生成する。この画像においては、例えば低温を青、中温を黄色、高温を赤色で表示することができる。この温度分布画像は後述する温度異常検知に用いられたり、作業者への技術情報として表示部１に表示されたりする。
【００６１】
部品検出部６２は、可視光線撮像部４で取得した可視光線像を画像処理することによって画像内の各部品を検出する。部品検出部６２には、部品の検出に必要な各部品の形状や名称や番号等の情報が必要に応じて記憶されている。
【００６２】
部品を検出する際の前提として、現在どの機種を修理しようとしているのかを予め入力しておくことが望ましい。これにより、その機種に絞って部品検出することができる。部品検出部６２での検出方法としては、例えば、部品毎に特徴的な色付けがされているような場合には、可視光線像の中から特徴的な色付けの部品を選び出し、記憶されている部品と色の関係からその部品を特定することができる。可視光線像の中のある部品が特定できれば、正規化によって他の部品も特定することができる。
【００６３】
他の検出方法としては、部品に品番などの文字列が記載されている場合には、可視光線像の中から識別可能な文字列を抽出し、記憶されている部品と文字列との関係からその部品を特定することができる。可視光線像の中のある部品が特定できれば、正規化によって他の部品も特定することができる。
【００６４】
また他の検出方法としては、マーカーを利用する方法がある。作業者はある程度決まった位置から修理対象の機械を目視することが想定される。そこで、作業開始初期の可視光線像の四隅と中央（奥行情報）とにマーカーを付け、その後は、この５点のマーカーの動きによって、作業者が見ている三次元的な情報を取得する。そして、可視光線像を、記憶されている部品毎の三次元情報と照合することで部品を特定することができる。
【００６５】
また他の検出方法としては、パターンマッチングやＨｏｕｇｈ変換などの図形検出処理も利用することができる。例えば、パターンマッチングを行うには、まず可視光線像を幾何学的変換する補正処理と幾何学的な特徴を抽出する特徴抽出処理とを行い、特徴データを生成する。そして、記憶されている各部品を各方向から形状化したパターンデータの中から、今抽出した特徴データに最も合致するものを選ぶことで部品を特定することができる。
【００６６】
適正温度データベース６３は、各部品の適正温度を記憶している。温度異常検知部６４は、温度分布画像と、可視光線像から検出された部品と、各部品の適正温度とに基づき、温度が異常である部品を検知する。具体的には、可視光線像内の部品について適正温度データベース６３から適正温度を読み出し、温度分布画像における各部品の位置に対応する温度を特定し、適正温度と測定した実際の温度とを比較し、実際の温度が適正温度の範囲内にない部品を温度異常部品として抽出する。
【００６７】
報知情報生成部６５は、温度異常部品を検知した結果から表示部１に表示する表示情報を生成し、表示部１に出力する。この表示情報は、温度異常部品の強調表示、異常を示す文字の表示、異常を示す記号の表示のうち少なくとも１つを含むものとする。例えば、図５〜図７に示す画像を表示情報として用いることができる。図５〜図７は、複写機の定着部における加熱ローラが適正温度以上である場合の表示画像の例であり、作業者の視界に重畳表示することで、作業者の目には、目視による加熱ローラに表示部１に表示された加熱ローラが重なって見える。
【００６８】
図５の画像８１では、温度異常部品である加熱ローラ８２を赤色等としたり、赤色等の点滅表示としたりすることで、加熱ローラ８２の温度が異常であることを強調し、作業者に異常な部品を知らせている。色は、適正温度との差に応じて黄色、橙色、赤色などと変化させてもよい。
【００６９】
図６の画像８３では、加熱ローラ８２の画像上に「！」の記号８４を表示することで、加熱ローラ８２の温度が異常であることを示し、作業者に異常な部品を知らせている。図７の画像８５では、加熱ローラ８２に向かって矢印を使って「異常あり！」という文字８６を表示することで、加熱ローラ８２の温度が異常であることを示し、作業者に異常な部品を知らせている。さらに、図５〜図７の表示に加え、又は表示に代えて、注意を促す音声メッセージやビープ音を出力してもよい。
【００７０】
このように、ＨＭＤを用いて温度異常部品を報知することにより、作業者は両手で自由に作業しながら、肉眼だけではわかりにくい修理が必要な異常な部品を容易に知ることができる。
【００７１】
また、上記のように温度が適正範囲にない部品だけを報知するのではなく、作業の安全性の観点から、適正温度であっても作業者に火傷の危険があるような高温の部品（例えば複写機の現像部や定着部の部品）が検出された場合にも上述の手法で報知するようにしてもよい。例えば、温度分布画像において６０℃以上であった部品を報知すれば火傷の危険性が低下する。
【００７２】
（第２の実施形態）
第２の実施形態として、上記のＨＭＤを用いた作業支援装置と、この作業支援装置と通信可能なサーバ装置とを含む作業支援システムについて説明する。図８は、作業支援システム９の概略構成を示すブロック図である。作業支援システム９は、作業支援装置７’と、ネットワーク１００と、サーバ装置１１０とを含んでいる。以下、第１の実施形態と同じ構成部材については同符号を付し、その詳細な説明は省略する。
【００７３】
作業支援装置７’は、表示部１と、可視光線撮像部４と、赤外線撮像部５と、制御部６’とを備えている。制御部６’は、温度分布画像生成部６１と、送信部６６と、受信部６７とを備えている。
【００７４】
送信部６６は、可視光線撮像部４で取得した可視光線像と、温度分布画像生成部６１で生成した温度分布画像とをネットワーク１００を介してサーバ装置１１０へ送信する。一方、受信部６７は、ネットワーク１００を介してサーバ装置１１０から表示部１に表示する表示情報を受信し、表示部１に出力する。
【００７５】
サーバ装置１１０は、受信部１１１と、送信部１１２と、部品検出部６２と、適正温度データベース６３と、報知情報生成部６５とを備えている。
【００７６】
受信部１１１は、ネットワーク１００を介して作業支援装置７’から可視光線像と温度分布画像とを受信し、可視光線像を部品検出部６２及び報知情報生成部６５へ、温度分布画像を温度異常検知部６４及び報知情報生成部６５へ、それぞれ出力する。一方、送信部１１２は、報知情報生成部６５で生成された表示情報をネットワーク１００を介して作業支援装置７’へ送信する。表示情報の生成方法は第１の実施形態と同様である。
【００７７】
このように、第２の実施形態では、第１の実施形態で作業支援装置７に備えられていた部品検出部６２、適正温度データベース６３、温度異常検知部６４、報知情報生成部６５をサーバ装置１１０に備えることにより、作業支援装置７の構成を簡略化することで、作業支援装置７の小型化、低コスト化を実現することができる。
【００７８】
なお、第２の実施形態においては、温度分布画像生成部６１と、部品検出部６２と、適正温度データベース６３と、温度異常検知部６４と、報知情報生成部６５とは、作業支援装置７’又はサーバ装置１１０の何れかに備えられていればよい。例えば、作業支援装置７’を最小の構成にする場合は、図８において、温度分布画像生成部６１をサーバ装置１１０側に移動させればよい。
【００７９】
なお、本発明の作業支援装置は、従来提案されているような通信によって外部から作業指示である画像や音声を受信する機能を備えるようにしても何ら問題はない。
【産業上の利用可能性】
【００８０】
本発明の作業支援装置及び作業支援システムは、装置や設備の保守作業を行う作業者の支援に利用することができる。
【符号の説明】
【００８１】
１ 表示部
４ 可視光線撮像部
５ 赤外線撮像部
７、７’ 作業支援装置
９ 作業支援システム
１１ サーバ装置
６１ 温度分布画像生成部
６２ 部品検出部
６３ 適正温度データベース
６４ 温度異常検知部
６５ 報知情報生成部
８４ 記号
８６ 文字
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイを用いた作業支援装置であって、
可視光線を撮像する可視光線撮像部と、
赤外線を撮像する赤外線撮像部と、
異常を報知する報知部とを備え、
前記報知部は、前記赤外線撮像部で取得した赤外線像から生成された温度分布画像と、前記可視光線撮像部で取得した可視光線像から検出された部品と、各部品の適正温度とに基づき、温度が異常である部品を検知した結果から生成された情報を報知することを特徴とする作業支援装置。
【請求項２】
請求項１記載の作業支援装置と、該作業支援装置と通信可能なサーバ装置とを含む作業支援システムであって、
前記赤外線撮像部で取得した赤外線像から温度分布画像を生成する温度分布画像生成部と、前記可視光線撮像部で取得した可視光線像から部品を検出する部品検出部と、各部品の適正温度を記憶する適正温度データベースと、前記温度分布画像と前記可視光線像から検出された部品と前記各部品の適正温度とに基づき温度が異常である部品を検知する温度異常検知部と、前記温度が異常である部品を検知した結果から報知する情報を生成する報知情報生成部とが、前記作業支援装置又は前記サーバ装置の何れかに備えられることを特徴とする作業支援システム。
【請求項３】
ヘッドマウントディスプレイを用いた作業支援装置であって、
可視光線を撮像する可視光線撮像部と、
赤外線を撮像する赤外線撮像部と、
異常を報知する報知部と、
前記赤外線撮像部で取得した赤外線像から温度分布画像を生成する温度分布画像生成部と、
前記可視光線撮像部で取得した可視光線像から部品を検出する部品検出部と、
各部品の適正温度を記憶する適正温度データベースと、
前記温度分布画像と前記可視光線像から検出された部品と前記各部品の適正温度とに基づき温度が異常である部品を検知する温度異常検知部と、
前記温度が異常である部品を検知した結果から報知する情報を生成する報知情報生成部とを備えることを特徴とする作業支援装置。
【請求項４】
前記報知部は、前記異常である部品の強調表示、異常を示す文字の表示、異常を示す記号の表示、音声メッセージ、ビープ音のうち少なくとも１つを用いて報知することを特徴とする請求項１又は３記載の作業支援装置。
【請求項１】
ヘッドマウントディスプレイを用いた作業支援装置であって、
可視光線を撮像する可視光線撮像部と、
赤外線を撮像する赤外線撮像部と、
異常を報知する報知部とを備え、
前記報知部は、前記赤外線撮像部で取得した赤外線像から生成された温度分布画像と、前記可視光線撮像部で取得した可視光線像から検出された部品と、各部品の適正温度とに基づき、温度が異常である部品を検知した結果から生成された情報を報知することを特徴とする作業支援装置。
【請求項２】
請求項１記載の作業支援装置と、該作業支援装置と通信可能なサーバ装置とを含む作業支援システムであって、
前記赤外線撮像部で取得した赤外線像から温度分布画像を生成する温度分布画像生成部と、前記可視光線撮像部で取得した可視光線像から部品を検出する部品検出部と、各部品の適正温度を記憶する適正温度データベースと、前記温度分布画像と前記可視光線像から検出された部品と前記各部品の適正温度とに基づき温度が異常である部品を検知する温度異常検知部と、前記温度が異常である部品を検知した結果から報知する情報を生成する報知情報生成部とが、前記作業支援装置又は前記サーバ装置の何れかに備えられることを特徴とする作業支援システム。
【請求項３】
ヘッドマウントディスプレイを用いた作業支援装置であって、
可視光線を撮像する可視光線撮像部と、
赤外線を撮像する赤外線撮像部と、
異常を報知する報知部と、
前記赤外線撮像部で取得した赤外線像から温度分布画像を生成する温度分布画像生成部と、
前記可視光線撮像部で取得した可視光線像から部品を検出する部品検出部と、
各部品の適正温度を記憶する適正温度データベースと、
前記温度分布画像と前記可視光線像から検出された部品と前記各部品の適正温度とに基づき温度が異常である部品を検知する温度異常検知部と、
前記温度が異常である部品を検知した結果から報知する情報を生成する報知情報生成部とを備えることを特徴とする作業支援装置。
【請求項４】
前記報知部は、前記異常である部品の強調表示、異常を示す文字の表示、異常を示す記号の表示、音声メッセージ、ビープ音のうち少なくとも１つを用いて報知することを特徴とする請求項１又は３記載の作業支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−１９７１５３（Ｐ２０１０−１９７１５３Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−４１０３９（Ｐ２００９−４１０３９）
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]