危険回避システム、及びヘッドマウントディスプレイ
【課題】作業装置の操作者が危険領域を認識し易い危険回避システム、及びヘッドマウントディスプレイを提供する。
【解決手段】ヘッドマウントディスプレイを装着した工作機械の操作者の視野方向を特定する為の初期化処理（Ｓ３）が実行される。次いで、カメラにより撮影された像情報のうち、工作機械における危険領域に相当する領域の像情報が抽出され（Ｓ１７）、操作者の身体の一部が存在するか否かが判断される（Ｓ１９）。存在すると判断された場合には、工作機械の稼働部が稼働することにより事故が発生する可能性が高いので、進入した身体の一部を安全な領域に誘導する為の画像を表示して操作者に視認させ（Ｓ２１）、工作機械に対して稼働を緊急停止させる（Ｓ２３）。安全領域に身体の一部が進入している場合には（Ｓ２７：ＹＥＳ）、工作機械の稼働を許可する（Ｓ２９、Ｓ３１）。
【解決手段】ヘッドマウントディスプレイを装着した工作機械の操作者の視野方向を特定する為の初期化処理（Ｓ３）が実行される。次いで、カメラにより撮影された像情報のうち、工作機械における危険領域に相当する領域の像情報が抽出され（Ｓ１７）、操作者の身体の一部が存在するか否かが判断される（Ｓ１９）。存在すると判断された場合には、工作機械の稼働部が稼働することにより事故が発生する可能性が高いので、進入した身体の一部を安全な領域に誘導する為の画像を表示して操作者に視認させ（Ｓ２１）、工作機械に対して稼働を緊急停止させる（Ｓ２３）。安全領域に身体の一部が進入している場合には（Ｓ２７：ＹＥＳ）、工作機械の稼働を許可する（Ｓ２９、Ｓ３１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は危険回避システム、及びヘッドマウントディスプレイに関する。そしてより詳細には、作業装置の作業領域に操作者の身体の一部が進入した場合に、安全な領域に身体の一部を誘導するとともに、作業装置の駆動を停止させることが可能な危険回避システム、及びヘッドマウントディスプレイに関する。
【背景技術】
【０００２】
従来、作業装置の駆動時における危険防止のため、光電式の安全装置が取り付けられ使用されている（例えば特許文献１参照）。この装置では、発光素子と受光素子とが対向して配置される。そして操作者が危険領域に進入すると、操作者の身体の一部により発光素子からの光が遮られる。安全装置では、受光素子側で遮光を検知した場合に、作業装置の動作を緊急停止させる。これにより事故発生を防止している。
【特許文献１】特開２００４−４２１０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら上述の安全装置では、危険領域を操作者が直接視認することができない。このため、操作者が危険領域内に身体の一部を進入させてしまって作業装置が緊急停止した場合、操作者は、どの位置に身体の一部を動かせば危険状態が解消されて緊急停止が解除されるかを認識し難いという問題点があった。
【０００４】
本発明は上述の問題点を解決するためになされたものであり、作業装置の操作者が危険領域を認識し易い危険回避システム、及びヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述の問題点を解決するために、請求項１に係る発明の危険回避システムでは、作業装置と、前記作業装置を操作する操作者に装着されるヘッドマウントディスプレイとから構成される危険回避システムであって、前記ヘッドマウントディスプレイは、前記作業装置の作業領域を撮像する撮像手段と、前記撮像手段にて撮像された前記作業領域の像情報を記憶する像情報記憶手段と、前記撮像手段にて撮像される方向を特定する特定手段と、前記特定手段にて特定された前記方向と、前記撮像手段にて撮像される領域のうち所定の領域である第一領域を特定するための情報であり、領域記憶手段に記憶されている情報である第一特定情報とに基づいて、前記像情報記憶手段に記憶された前記像情報から、前記第一領域に相当する前記像情報である第一像情報を抽出する第一抽出手段と、前記第一抽出手段にて抽出された第一像情報に、前記操作者の身体の少なくとも一部に相当する像情報である身体像情報が含まれているか否かを判断する第一判断手段と、前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記操作者に対して前記第一領域外に身体の一部を移動させるように促すための情報を表示手段に表示させる表示制御手段と、前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第一通知を送信する第一送信手段と、前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていないと判断された場合に、前記作業装置に対して第二通知を送信する第二送信手段とを備え、前記作業装置は、所定の加工作業を行う作業手段と、前記第一通知又は第二通知を受信する第一二受信手段と、前記第一二受信手段にて前記第一通知が受信された場合に、前記作業手段による加工作業を停止させる第一停止手段と、前記第一二受信手段にて前記第二通知が受信された場合に、前記作業手段による加工作業を許可する第一許可手段とを備えている。
【０００６】
また、請求項２に係る発明の危険回避システムは、請求項１に記載の発明の構成に加えて、前記領域記憶手段には、前記撮像手段にて撮像可能な領域のうち前記第一領域以外の領域であって所定の領域である第二領域を特定する為の情報である第二特定情報が記憶されており、前記ヘッドマウントディスプレイは、前記像情報記憶手段に記憶された前記像情報から、前記第二特定情報にて特定される前記第二領域に相当する前記像情報である第二像情報を抽出する第二抽出手段と、前記第二抽出手段にて抽出された前記第二像情報に、前記身体像情報が含まれているか否かを判断する第二判断手段と、前記第二判断手段にて、前記第二像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第三通知を送信する第三送信手段とを備え、前記作業装置は、前記第三通知を受信する第三受信手段と、前記第三受信手段にて前記第三通知が受信された場合に、前記作業手段による加工作業を許可する第二許可手段とを備えている。
【０００７】
また、請求項３に係る発明の危険回避システムは、請求項１又は２に記載の発明の構成に加えて、前記領域記憶手段は、前記ヘッドマウントディスプレイに設けられることを特徴とする。
【０００８】
また、請求項４に係る発明の危険回避システムは、請求項１又は２に記載の発明の構成に加え、前記領域記憶手段は、前記作業装置に設けられることを特徴とする。
【０００９】
また、請求項５に係る発明のヘッドマウントディスプレイは、作業装置の作業領域を判断し、操作者の身体の少なくとも一部の前記作業領域内への侵入を監視するヘッドマウントディスプレイであって、前記作業装置の作業領域を撮像する撮像手段と、前記撮像手段にて撮像された前記作業領域の像情報を記憶する像情報記憶手段と、前記撮像手段にて撮像される方向を特定する特定手段と、前記特定手段にて特定された前記方向と、前記撮像手段にて撮像される領域のうち所定の領域である第一領域を特定するための情報であり、領域記憶手段に記憶されている情報である第一特定情報とに基づいて、前記像情報記憶手段に記憶された前記像情報から、前記第一領域に相当する前記像情報である第一像情報を抽出する第一抽出手段と、前記第一抽出手段にて抽出された第一像情報に、前記操作者の身体の少なくとも一部に相当する像情報である身体像情報が含まれているか否かを判断する第一判断手段と、前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記操作者に対して前記第一領域外に身体の一部を移動させるように促すための情報を表示手段に表示させる表示制御手段と、前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第一通知を送信する第一送信手段と、前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていないと判断された場合に、前記作業装置に対して第二通知を送信する第二送信手段とを備えている。
【００１０】
また、請求項６に係る発明のヘッドマウントディスプレイは、請求項５に記載の発明の構成に加えて、前記領域記憶手段には、前記撮像手段にて撮像可能な領域のうち前記第一領域以外の領域であって所定の領域である第二領域を特定する為の情報である第二特定情報が記憶されており、前記像情報記憶手段に記憶された前記像情報から、前記第二特定情報にて特定される前記第二領域に相当する前記像情報である第二像情報を抽出する第二抽出手段と、前記第二抽出手段にて抽出された前記第二像情報に、前記身体像情報が含まれているか否かを判断する第二判断手段と、前記第二判断手段にて、前記第二像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第三通知を送信する第三送信手段とを備えている。
【発明の効果】
【００１１】
請求項１に係る発明の危険回避システムでは、作業装置において作業手段が駆動する危険領域（第一領域）に操作者の身体の一部が進入した場合には、ヘッドマウントディスプレイは、進入した身体の一部を危険領域の外に誘導する為の表示を行う。これにより、誤って操作者が作業中に作業装置の危険領域に身体の一部を進入させた場合、安全な領域に身体の一部を確実に誘導させることが可能となる。また作業装置では、作業装置の危険領域に身体の一部が進入した場合には、作業装置の作業を停止させ、危険領域外に移動した場合に、作業を許可するので、事故発生を防止することが可能となり、操作者は安全に作業を実行することが可能となる。
【００１２】
また、請求項２に係る発明の危険回避システムでは、請求項１に記載の発明の効果に加えて、作業手段の駆動時であっても安全な領域（第二領域）に操作者の身体の一部が配置されていることを確認した場合に、作業装置の駆動を許可する。操作者は、第二領域に手や腕を進入させた状態でのみ作業装置の駆動を開始させることができる。これにより、作業装置の駆動に伴う事故発生を防止することが可能となる。
【００１３】
また、請求項３に係る発明の危険回避システムでは、請求項１又は２に記載の発明の効果に加えて、第一特定情報や第二特定情報が記憶される領域記憶手段はヘッドマウントディスプレイに設けられる。従って操作者は、異なる作業装置を操作する場合においても、共通の第一特定情報及び第二特定情報に基づいて操作を行うことが可能となる。
【００１４】
また、請求項４に係る発明の危険回避システムでは、請求項１又は２に記載の発明の効果に加えて、第一特定情報や第二特定情報が記憶される領域記憶手段は作業装置に設けられる。従って、ヘッドマウントディスプレイ２に必要となる記憶手段の記憶容量を抑制でき、ヘッドマウントディスプレイ２の小型化が可能となる。また、操作者は、異なる作業装置を操作する場合において、作業装置毎に固有の第一特定情報及び第二特定情報に基づいて操作を行うことが可能となる。
【００１５】
また、請求項５に係る発明のヘッドマウントディスプレイでは、作業装置において作業手段が駆動する危険領域（第一領域）に操作者の身体の一部が進入した場合には、ヘッドマウントディスプレイは、進入した身体の一部を危険領域の外に誘導する為の表示を行う。これにより、誤って操作者が作業中に作業装置の危険領域に身体の一部を進入させた場合、安全な領域に身体の一部を確実に誘導させることが可能となる。また、操作者の身体の一部が第一領域内に存在するか否かの情報を作業装置に通知することが可能となるので、作業装置にて、操作者の操作状況に応じた制御を行わせることが可能となる。
【００１６】
また、請求項６に係る発明のヘッドマウントディスプレイでは、請求項５に記載の発明の効果に加えて、作業手段の駆動時であっても安全領域（第二領域）に操作者の身体の一部が配置されていることを作業装置に通知する。これにより、操作者が安全な状態であることを確認した場合にのみ、作業装置の駆動を開始させることができる。これにより、作業装置の駆動に伴う事故発生を防止することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の危険回避システム及びヘッドマウントディスプレイの実施の形態について、図面を参照して説明する。なお、これらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、特に特定的な記載がない限り、それのみに限定する趣旨ではなく、単なる説明例である。
【００１８】
はじめに、図１を参照し、危険回避システム１の概要について説明する。図１は、危険回避システム１の概要を示す模式図である。
【００１９】
図１に示すように、危険回避システム１は、作業装置である工作機械１０、工作機械１０を操作する操作者３、及び操作者３に装着されるヘッドマウントディスプレイ２にて構成される。工作機械１０とヘッドマウントディスプレイ２とは通信ケーブル８にて接続されており、相互に通信を行うことが可能となっている。工作機械１０は、略直方体形状の本体部６と、本体部６の側面に支持され上下方向に稼働可能な稼働部７と、稼働部７の下方に配置され、被加工物が上面に載置される台部９とを少なくとも備えた、所謂プレス加工機である。稼働部７は、本体部６に内蔵されたモータ１１１（図６参照）と接続されている。そして操作者３の操作に基づきモータ１１１が回転駆動することにより、上下方向に稼働する。これにより工作機械１０は、所定のプレス加工作業を実行することが可能となっている。
【００２０】
なお本実施の形態の作業装置である工作機械１０は、本発明の作業装置を具現化した一例であり、上述のプレス加工機に限定されない。従って例えば、旋盤、歯切り盤、ボール盤、中ぐり盤、フライス盤、研削盤等などが使用可能である。
【００２１】
操作者３には、予めヘッドマウントディスプレイ２が装着される。本実施の形態では、シースルータイプのヘッドマウントディスプレイを想定している。ヘッドマウントディスプレイ２には、工作機械１０の作業領域のうち、操作者３の身体の一部が進入した場合にけがや事故等の発生につながる恐れのある危険な領域（例えば、稼働部７の近傍領域など。以下「危険領域」という。）を示す映像と、身体の一部が進入した場合でも事故等が発生する恐れのない安全な領域（例えば、稼働部７より離隔した領域など。「安全領域」という。）を示す映像とが、実際の視界に重ね合わせられ映し出される。この映像は正規の作業位置に操作者３が着いた時に実際の危険領域や安全領域と映像で示される危険領域や安全領域と一致するように映し出される。このため、後述する識別マーク２１により重ね合わせるための基準を取得する。これにより操作者３は、ヘッドマウントディスプレイ２に映し出される危険領域及び安全領域の映像を確認しながら工作機械１０の操作を行うことができる。従って操作者３は、工作機械１０の稼働部７の稼働中には身体の一部を危険領域に進入させることなく、安全に作業を実行することが可能となる。
【００２２】
ヘッドマウントディスプレイ２にはカメラ１１（図２参照）が取り付けられる。カメラ１１は、操作者３にヘッドマウントディスプレイ２が装着された状態で、操作者３の視界方向を撮影することが可能な位置に配置される。そのため、操作者３の作業中には、カメラ１１では工作機械１０の作業領域が撮影される。
【００２３】
カメラ１１により撮影された像の情報（以下「像情報」という。）は画像認識される。そして、操作者３の身体の一部（手や腕など）が像情報に含まれているか否かが認識される。そして、工作機械１０の稼働部７が稼働している最中に、操作者３の身体の一部が危険領域内に進入していると判断された場合には、ヘッドマウントディスプレイ２は、工作機械１０における稼働部７の稼働を緊急停止させる。これにより、稼働部７の稼働中に誤って操作者３が危険領域に手や腕などを進入させてしまった場合であっても、事故を未然に防止することが可能となる。
【００２４】
加えて、工作機械１０の稼働部７が停止中に、安全領域内に操作者３の身体の一部が進入していると判断された場合には、ヘッドマウントディスプレイ２は、工作機械１０における稼働部７の稼働開始を許可する。一方、安全領域内に操作者３の身体の一部が進入していないと判断された場合には、ヘッドマウントディスプレイ２は、工作機械１０における稼働部７の稼働開始を禁止する。これにより、操作者３の安全が確認された場合にのみ、工作機械１０の稼働部７の稼働を開始させることが可能となる。
【００２５】
工作機械１０の本体部６側面であって、稼働部７の下方には、ヘッドマウントディスプレイ２において実行される初期化処理時において使用される識別マーク２１が貼付されている。識別マーク２１の使用方法等詳細は後述する。
【００２６】
図２を参照し、ヘッドマウントディスプレイ２の概略構成について説明する。図２は、ヘッドマウントディスプレイ２の外観構成を示した図である。
【００２７】
図２に示すように、ヘッドマウントディスプレイ２は、画像信号に応じて変調されたレーザ光（以下「画像光４」という。）を走査させて出射させ、操作者３の少なくとも一方の眼の網膜に画像を直接投影する。これにより、操作者３に画像を視認させる。図２に示すように、ヘッドマウントディスプレイ２は、画像信号に応じて画像光４を出射する出射装置１００と、その出射装置１００から出射された画像光４を導くと共に、その画像光４を操作者３の眼に向かって反射させるプリズム１５０と、出射装置１００及びプリズム１５０を支持する支持部材２００とを少なくとも備えている。
【００２８】
出射装置１００は、画像光４をプリズム１５０に対し出射させる。プリズム１５０は、出射装置１００に対して固定的な位置にあり、その出射装置１００から出射された画像光４を導き、その画像光４を操作者３の眼に向かって反射させる。プリズム１５０は、図示しないビームスプリッタ部を備えており、外界からの外光５を透過させ、操作者３の眼に導く。プリズム１５０は、操作者３の側方から入射された画像光４を操作者３の眼に入射させると共に、外界からの外光５を操作者３の眼に入射させる。これにより、実際の視界はもちろん、出射装置１００から出射された画像光４に基づく画像が視認可能となる。
【００２９】
なお本実施形態においては、プリズム１５０によって外光５と画像光４とを同時に視認することができるような構成とした。しかしながら本発明はこの構成に限定されず、例えば、プリズム１５０に代えてハーフミラーを用いることもできる。これにより、出射装置１００からの画像光４はハーフミラーに反射させて操作者３の眼に入射させると共に、外光５はハーフミラーを透過させて操作者３の眼に入射させることが可能となる。
【００３０】
また本実施形態においては、ヘッドマウントディスプレイとして、網膜走査を用いたシースルーのヘッドマウントディスプレイを例に挙げて説明したが、本発明はこの例に限定されず、例えば、反射型ＬＣＤを利用したヘッドマウントディスプレイであってもよい。
【００３１】
図３を参照し、ヘッドマウントディスプレイ２の電気的構成について説明する。図３は、ヘッドマウントディスプレイ２の電気的構成を示す模式図である。
【００３２】
図３に示すように、ヘッドマウントディスプレイ２は、操作者３に画像（危険領域、安全領域等）を視認させる表示部４０、各種操作やデータの入力を行うための入力部４１、工作機械１０との通信を行うための通信部４３、カメラ１１、カメラ１１にて撮像された像情報のうち、危険領域及び安全領域を特定するための情報が記憶されるフラッシュメモリ４９、操作者３の視覚方向を認識するための加速度センサ１４、ヘッドマウントディスプレイ２全体を制御する制御部４６、及び電源部４７を備えている。
【００３３】
表示部４０は、操作者３に視認させるための映像の情報（以下「映像情報」という。）を制御部４６より受信し、操作者３の網膜に直接投影させるために必要な各信号に変換する為の映像信号処理部７０、レーザ光を出力するレーザ群７２（青色出力レーザ（Ｂレーザ）７２１、緑色出力レーザ（Ｇレーザ）７２２、赤色出力レーザ（Ｒレーザ）７２３）、及び、レーザよりレーザ光を出力させるための制御を行うレーザドライバ群７１を備えている。そして、映像信号処理部７０の制御により、所望のレーザ光を所望のタイミングで出力させることが可能なように、映像信号処理部７０はレーザドライバ群７１と電気的に接続されている。またレーザドライバ群７１は、Ｂレーザ７２１、Ｇレーザ７２２、及びＲレーザ７２３と其々電気的に接続されている。また、映像信号処理部７０が制御部４６より映像信号を受信することが可能なように、映像信号処理部７０と制御部４６とはバスを介して電気的に接続されている。
【００３４】
また表示部４０は、レーザより出力されたレーザ光を垂直方向に反射させることによって走査を行うガルバノミラー８１２及びガルバノミラー８１２の駆動制御を行う垂直走査制御回路８１１、レーザより出力されたレーザ光を水平方向に反射させることによって走査を行うガルバノミラー７９２及びガルバノミラー７９２の駆動制御を行う水平走査制御回路７９１を備えている。そして、映像信号処理部７０の制御により、所望の方向にレーザ光を反射させることが可能なように、映像信号処理部７０と垂直走査制御回路８１１及び水平走査制御回路７９１とは其々電気的に接続されている。また、垂直走査制御回路８１１はガルバノミラー８１２と電気的に接続されている。また、水平走査制御回路７９１はガルバノミラー７９２と電気的に接続されている。
【００３５】
入力部４１は、各種機能キーなどからなる操作ボタン群５０、操作ボタン群５０のキーが操作されたことを検出し、制御部４６に通知する入力制御回路５１を備えている。そして、操作ボタン群５０のキーに入力された情報を制御部４６にて認識することが可能なように、操作ボタン群５０は入力制御回路５１と電気的に接続されている。また入力制御回路５１は制御部４６と電気的に接続されている。
【００３６】
通信部４３は、通信ケーブル８（図１参照）を介し、工作機械１０との間で所定の通信プロトコルに基づき通信を行う通信モジュール５７と、この通信モジュール５７を制御し、工作機械１０との間で実行される通信を制御する通信制御回路５８とを備えている。そして、制御部４６が通信部４３を介して工作機械１０と通信を行うことが可能なように、制御部４６と通信制御回路５８とはバスを介して電気的に接続されている。また、通信モジュール５７と通信制御回路５８とは電気的に接続されている。
【００３７】
なお、ヘッドマウントディスプレイ２と工作機械１０の間に接続される通信ケーブル８としては特に限定されず、従来周知の通信媒体が使用される。例えばイーサネット（登録商標）ケーブル、ＵＳＢ（登録商標）ケーブル、ＲＳ−２３２Ｃケーブル等が使用可能である。また、無線を使用した通信を行うこととしてもよい。
【００３８】
カメラ１１は、操作者３の視野方向を撮像することが可能な素子である。撮像された結果の像情報は、フラッシュメモリ４９に記憶され、画像認識処理の元データとされる（詳細は後述する。）。そして、撮像された結果の像情報を制御部４６にて認識することが可能なように、カメラ１１と制御部４６とは電気的に接続されている。
【００３９】
加速度センサ１４は、ヘッドマウントディスプレイ２が備えるカメラ１１の撮影方向を特定するために使用される。ヘッドマウントディスプレイ２では、初期化時において、予め工作機械１０の作業領域のうち特定の部位（本体部６側面、稼働部７の下方）に設けられた識別マーク２１がカメラ１１により撮影されて認識される。次いで、得られる像情報中における識別マーク２１の位置が確定される。これにより、カメラ１１の撮影方向、つまり操作者３の視覚方向が特定される。その後は、加速度センサ１４により特定される移動角度に基づき、特定されたカメラ１１の撮影方向が補正される。これによりヘッドマウントディスプレイ２では、操作者３が工作機械１０の作業領域のうちどの部分を視覚しているかを詳細に特定することが可能となっている（詳細は後述する）。
【００４０】
電源部４７は、ヘッドマウントディスプレイ２を駆動させるための電源となる電池５９、及び、電池５９の電力をヘッドマウントディスプレイ２に供給すると共に、充電用アダプタ（図示せず）から供給される電力を電池５９へ供給して電池５９の充電を行う充電制御回路６０を備えている。
【００４１】
フラッシュメモリ４９には、カメラ１１により撮影された結果の像情報、操作者３に視認させる画像（危険領域や安全領域を特定するための表示画像など）の情報が記憶される。そして、フラッシュメモリ４９に記憶されている情報を制御部４６より参照することが可能なように、フラッシュメモリ４９と制御部４６とはバスを介して電気的に接続されている。
【００４２】
制御部４６は、ヘッドマウントディスプレイ２にて実行される各種処理（画像認識処理、画像表示処理など）を制御する機能を有している。制御部４６は、ＣＰＵ６１、プログラムを格納したＲＯＭ６２、各種データが一時的に記憶されるＲＡＭ４８などから構成される。制御部４６では、ＣＰＵ６１がＲＯＭ６２に格納されたプログラムを読み出すことにより、各処理が実行される。ＲＡＭ４８には、ＣＰＵ６１が各処理を実行する場合に必要な各種フラグやデータが記憶される。
【００４３】
表示部４０にて画像光４が形成される過程の概要について、図４を参照して詳説する。図４は、表示部４０の光学的及び電気的構成を示す模式図である。表示部４０は、図４に示すように、光源ユニット部６５、コリメート光学系７７、水平走査系７９、第一リレー光学系８０、垂直走査系８１、第二リレー光学系８２を備えている。光源ユニット部６５は、映像信号処理部７０、レーザドライバ群７１、レーザ群７２、コリメート光学系７３、ダイクロイックミラー群７４、及び結合光学系７５を備えている。水平走査系７９は、水平走査制御回路７９１及びガルバノミラー７９２を備えている。垂直走査系８１は、垂直走査制御回路８１１及びガルバノミラー８１２を備えている。
【００４４】
光源ユニット部６５の構成について詳説する。映像信号処理部７０は、既述のように、制御部４６と電気的に接続されている。そして、制御部４６にて形成された映像情報が入力される。映像信号処理部７０には、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）、垂直同期信号６７及び水平同期信号６８が其々電気的に接続されている。映像信号処理部７０では、入力された映像情報を網膜に投影させるための要素となる各信号（輝度信号、垂直同期信号、水平同期信号）が生成される。生成された各信号は、輝度信号６６、垂直同期信号６７、及び水平同期信号６８に対して画素毎に出力される。
【００４５】
輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）は、レーザドライバ群７１（Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３）に其々電気的に接続されている。水平同期信号６８は、水平走査系７９の水平走査制御回路７９１に接続されている。垂直同期信号６７は、垂直走査系８１の垂直走査制御回路８１１に接続されている。
【００４６】
レーザドライバ群７１は、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）に其々電気的に接続されている。レーザドライバ群７１は、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）を介して伝達された各信号の各輝度信号に基づいて、強度変調されたレーザ光をレーザ群７２より出射させるために、レーザ群７２を駆動する。
【００４７】
光源ユニット部６５には、レーザドライバ群７１の制御に基づきレーザ群７２より出射された３色（青色、緑色、赤色）のレーザ光を平行光にコリメートさせることが可能なコリメート光学系７３（７３１〜７３３）、コリメート光学系７３にてコリメートされたレーザ光を合波させることが可能なダイクロイックミラー群７４（７４１〜７４３）、合波されたレーザ光を光ファイバ７６に導くための結合光学系７５が其々設けられる。
【００４８】
尚、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）として、レーザダイオード等の半導体レーザや固体レーザを利用してもよい。
【００４９】
表示部４０のうち光源ユニット部６５を除く部分の構成について詳説する。光源ユニット部６５より光ファイバ７６に対して導かれたレーザ光を水平走査系７９のガルバノミラー７９２に導くためのコリメート光学系７７が設けられる。ガルバノミラー７９２は、レーザ光を、水平方向に走査させる。ガルバノミラー７９２の偏向面７９３に入射されたレーザ光は、水平走査制御回路７９１の制御により、映像信号処理部７０より受信される水平同期信号６８に同期して水平方向に走査される。本実施の形態の水平走査系７９は、表示すべき画像の１走査線毎に、レーザ光を水平方向に水平走査（１次走査の一例）させるための光学系である。
【００５０】
また、水平走査されたレーザ光を垂直走査系８１に導くための第一リレー光学系８０と、第一リレー光学系８０により導かれたレーザ光を垂直方向に走査させるためのガルバノミラー８１２が設けられる。ガルバノミラー８１２の偏向面８１３に入射されたレーザ光は、垂直走査制御回路８１１の制御により、映像信号処理部７０より受信される垂直同期信号６７に同期して垂直方向に走査される。本実施の形態の垂直走査系８１は、表示すべき画像の１フレーム毎に、レーザ光を最初の走査線から最後の走査線に向かって垂直に垂直走査（２次走査の一例）する光学系である。
【００５１】
また、垂直走査されたレーザ光（画像光４（図１参照））をプリズム１５０に導くための第二リレー光学系８２が設けられる。第二リレー光学系８２にて導かれた画像光４は、プリズム１５０に入射される。プリズム１５０は、第二リレー光学系８２と操作者３の瞳孔９０との間に配置される。プリズム１５０は、画像光４を全反射させるなどして、ユーザの瞳孔９０に導く。
【００５２】
上述の表示部４０では、水平走査系７９は、垂直走査系８１より高速にすなわち高周波数でレーザ光を走査するように設計される。また、第一リレー光学系８０は、水平走査系７９のガルバノミラー７９２と、垂直走査系８１のガルバノミラー８１２とが共役となるように設けられる。第二リレー光学系８２は、ガルバノミラー８１２と、ユーザの瞳孔９０とが共役となるように設けられる。
【００５３】
本発明の一実施形態のヘッドマウントディスプレイ２が、外部からの映像信号を受けてから、ユーザの網膜上に映像を投影するまでの過程について、図４を参照して説明する。
【００５４】
本実施形態のヘッドマウントディスプレイ２では、光源ユニット部６５に設けられた映像信号処理部７０が映像信号を受信する。次いで映像信号処理部７０より、赤、緑、青の各色のレーザ光を出力させるためのＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３からなる輝度信号６６と、水平同期信号６８と、垂直同期信号６７とが出力される。
【００５５】
Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３は、各々入力されたＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３に基づき、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３に対してそれぞれの駆動信号を出力する。
【００５６】
上述の駆動信号に基づいて、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３は、それぞれ強度変調されたレーザ光を発生させる。発生されたレーザ光は、コリメート光学系７３に出力される。レーザ光は、コリメート光学系７３によってそれぞれが平行光にコリメートされ、更に、ダイクロイックミラー群７４に入射されて１つのレーザ光となるよう合成される。合成されたレーザ光は、結合光学系７５によって光ファイバ７６に入射されるよう導かれる。
【００５７】
光ファイバ７６を伝達したレーザ光は、光ファイバ７６からコリメート光学系７７に導かれる。そして水平走査系７９に出射される。
【００５８】
水平走査系７９に入射されたレーザ光は、ガルバノミラー７９２の偏向面７９３にて、水平同期信号６８に同期して水平方向に走査される。ガルバノミラー７９２は、水平同期信号６８に同期して、その偏向面７９３が入射光を水平方向に反射するように往復振動をしている。このガルバノミラー７９２によってレーザ光は水平方向に走査される。水平走査されたレーザ光は、第一リレー光学系８０を介し、垂直走査系８１に出射される。
【００５９】
第一リレー光学系８０では、ガルバノミラー７９２の偏向面７９３とガルバノミラー８１２の偏向面８１３とが共役の関係となるように調整され、また、ガルバノミラー７９２の面倒れが補正される。
【００６０】
垂直走査系８１に入射されたレーザ光は、ガルバノミラー８１２の偏向面８１３にて、垂直同期信号６７に同期して垂直方向に走査される。ガルバノミラー８１２は、ガルバノミラー７９２が水平同期信号６８に同期することと同様に垂直同期信号６７に同期して、その偏向面８１３が入射光を垂直方向に反射するように往復振動をしている。このガルバノミラー８１２によってレーザ光は垂直方向に走査される。
【００６１】
水平走査系７９及び垂直走査系８１によって垂直方向及び水平方向に２次元に走査されたレーザ光（画像光４）は、ガルバノミラー８１２の偏向面８１３と、ユーザの瞳孔９０とが共役の関係となるように設けられた第二リレー光学系８２、プリズム１５０により操作者３の瞳孔９０へ入射され、網膜上に投影される。
【００６２】
以上説明した過程を経ることにより、操作者３は、２次元走査されて網膜上に投影されたレーザ光による画像を認識することが可能となる。なお、水平走査系７９のガルバノミラー７９２と、垂直走査系８１のガルバノミラー８１２とは、名称を同じように説明したが、光を走査するように其の反射面が揺動（回転）させられるものであれば、共振タイプ、非共振タイプ等、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよいことは言うまでもない。
【００６３】
フラッシュメモリ４９に設けられている記憶領域について、図５を参照して説明する。図５は、フラッシュメモリ４９に設けられている記憶領域を示す模式図である。図５に示すように、フラッシュメモリ４９には、第一記憶領域４９１、第二記憶領域４９２、第三記憶領域４９３、第四記憶領域４９４、及びその他の領域が設けられている。第一記憶領域４９１には、カメラ１１にて撮影された結果の像情報が記憶される。第二記憶領域４９２には、得られる像情報のうち危険領域を特定するための情報（危険領域特定情報）が複数記憶される。第三記憶領域４９３には、得られる像情報のうち安全領域を特定するための情報（安全領域特定情報）が複数記憶される。第四記憶領域４９４には、ヘッドマウントディスプレイ２の操作ボタン群５０を介して操作者３により入力された設定情報が記憶される。
【００６４】
危険領域特定情報として、カメラ１１にて撮影された結果の像情報のうち危険領域の像情報を特定するために使用される座標情報が第二記憶領域４９２に記憶される。ＣＰＵ６１は、危険領域特定情報を参照することにより、像情報より危険領域の像情報を抽出することが可能となる。また、安全領域特定情報として、カメラ１１にて撮影された結果の像情報のうち安全領域の像情報を特定するために使用される座標情報が第三記憶領域４９３に記憶される。ＣＰＵ６１は、安全領域特定情報を参照することにより、像情報より安全領域の像情報を抽出することが可能となる。第四記憶領域に記憶される設定情報としては、第二記憶領域４９２及び第三記憶領域４９３に記憶されている複数の危険領域特定情報及び安全領域特定情報のうち、特定の危険領域特定情報及び安全領域特定情報を選択する為の設定情報等が記憶される。
【００６５】
工作機械１０の電気的構成について、図６を参照して説明する。図６は、工作機械１０の電気的構成を示す模式図である。図６に示すように、工作機械１０は、稼働部７の稼働制御やヘッドマウントディスプレイ２との通信制御を司るＣＰＵ１０１、ＣＰＵ１０１において実行される各種処理プログラムが記憶されるＲＯＭ１０２、ＣＰＵ１０１が処理を行う場合において必要となる記憶領域を提供するＲＡＭ１０３をそれぞれ備えている。そして、ＣＰＵ１０１がＲＯＭ１０２、ＲＡＭ１０３の記憶領域にアクセスすることが可能なように、ＣＰＵ１０１とＲＯＭ１０２、ＲＡＭ１０３はそれぞれバスを介して電気的に接続されている。
【００６６】
工作機械１０は、入力信号全体を統括し、ＣＰＵ１０１にて入力信号を認識可能なようにインピーダンス変換やタイミング調整を行うための入力インタフェース１０４、ＣＰ１０１からの出力信号全体を統括し、ＣＰＵ１０１より出力される出力信号を各種出力デバイスにて認識することが可能なようにインピーダンス変換やタイミング調整を行うための出力インタフェース１０５を其々備えている。ＣＰＵ１０１と入力インタフェース１０４及び出力インタフェース１０５とは、其々バスを介して電気的に接続されている。
【００６７】
工作機械１０は、ユーザによる工作機械１０への入力操作を受け付ける操作パネル１０６を備えている。そしてユーザにより操作パネル１０６を介して実施された操作内容をＣＰＵ１０１にて検出することが可能なように、操作パネル１０６と入力インタフェース１０４とは電気的に接続されている。
【００６８】
工作機械１０は、上下動する稼働部７の駆動位置を検出する為の上昇センサ１０７及び下降センサ１０８をそれぞれ備えている。そして、稼働部７の駆動位置をＣＰＵ１０１にて認識することが可能なように、上昇センサ１０７及び下降センサ１０８と入力インタフェース１０４とは電気的に接続されている。
【００６９】
工作機械１０は、ユーザに対して工作機械１０の稼働状況等の情報を視認させるための液晶パネル１０９を備えている。そして、ＣＰＵ１０１より所望の画像を液晶パネル１０９に表示させることが可能なように、液晶パネル１０９と出力インタフェース１０５とは電気的に接続されている。
【００７０】
工作機械１０は、稼働部７を上下方向に稼働させるためのモータ１１１と、モータ１１１の回転制御を行うモータドライバ１１０とを備えている。そして、ＣＰＵ１０１の制御に基づきモータ１１１を稼働させることが可能なように、モータ１１１とモータドライバ１１０とは電気的に接続されている。またモータドライバ１１０は出力インタフェース１０５と電気的に接続されている。
【００７１】
通信制御部１１２は、工作機械１０が通信ケーブル８を介してヘッドマウントディスプレイ２と通信を行うために設けられている。通信制御部１１２には通信ケーブル８が接続される。そして、所定の通信プロトコルに基づいてヘッドマウントディスプレイ２と通信を行うことが可能なように、通信制御部１１２はＣＰＵ１０１と電気的に接続されている。
【００７２】
なお工作機械１０は、上述の電気的構成のうちモータ１１１のみ別電源となっており、その他の部分とは独立に電源のＯＮ／ＯＦＦ制御を行うことが可能となっている。操作者３が工作機械１０を操作して加工作業を始める場合には、はじめに工作機械全体（モータ１１１以外）の電源をＯＮし、次いでモータ１１１の電源をＯＮする。これにより稼働部７が稼働可能となり、加工操作が実行可能となる。モータ１１１を別電源とすることにより、不用意に稼働部７が稼働して事故が発生してしまうことを防止している。また、モータ１１１の電源をＯＦＦさせることにより稼働部７を緊急停止させることが可能となっている。
【００７３】
ヘッドマウントディスプレイ２のＣＰＵ６１にて実行される処理について、図７を参照して説明する。図７は、ヘッドマウントディスプレイ２にて実行される危険監視処理のフローチャートである。危険監視処理は、ヘッドマウントディスプレイ２の電源が投入された場合に、ＣＰＵ６１により起動され実行開始される。
【００７４】
ヘッドマウントディスプレイ２より工作機械１０に対して送信される通知について概説する。「ＯＦＦ指示通知」は、工作機械１０に対して稼働部７の稼働を緊急停止させる旨を通知する場合に送信される。「駆動許可通知」は、工作機械１０に対して稼働部７の稼働を許可する旨を通知する場合に送信される。「ＯＮ許可通知」は、工作機械１０に対してモータ１１１の電源ＯＮを許可する旨を通知する場合に送信される。「ＯＮ禁止通知」は、工作機械１０に対してモータ１１１の電源ＯＮを禁止する旨を通知する場合に送信される。
【００７５】
図７に示すように、ヘッドマウントディスプレイ２の電源が投入されると、カメラ１１による撮影が開始される（Ｓ１）。撮影された像情報は、フラッシュメモリ４９の第一記憶領域４９１に記憶される。次いで初期化処理が実行される（Ｓ３）。初期化処理では、カメラ１１の撮影方向が特定される。具体的には、はじめに第一記憶領域４９１に記憶された像情報が画像処理される。そして、像情報内に、工作機械１０の作業領域に予め設けられている識別マーク２１が存在するかどうかが判断される。存在しないと判断された場合（Ｓ３：ＮＯ）、カメラ１１の撮影方向が特定できない状態であるので、初期化エラー通知を表示させ（Ｓ７）操作者３に視認させる。そしてＳ３に戻り、繰り返し初期化処理が実行される。
【００７６】
初期化エラーを視認した操作者３は、この状態では工作機械１０を稼働させることが不可能であるので、ヘッドマウントディスプレイ２を装着した状態で工作機械１０の作業領域方向を視認する。これにより、視野内に識別マーク２１が入る。この状態でカメラ１１により撮影された結果の像情報内には識別マーク２１が存在する状態となる。この状態で初期化処理が行われた場合、画像処理により識別マーク２１が認識されるので（Ｓ３：ＹＥＳ）、初期化成功通知を表示させて操作者３に視認させ（Ｓ５）、Ｓ１１に移行される。初期化処理により認識された識別マーク２１の位置情報（座標情報）は、カメラ１１の撮影方向を特定する場合における基準座標とされる。そして基準座標が像情報全体のどの部分に位置するかを認識することによって、カメラ１１の撮影方向が特定される。以後、特定されたカメラ１１の撮影方向は、加速度センサ１４にて検出される移動角度に基づいて補正される。これにより、初期化処理以後、操作者３の視野方向が変化した場合であっても、カメラ１１が工作機械１０の作業領域のうちどの部分を撮影しているかを特定することが可能となる。
【００７７】
次いで、予め第四記憶領域４９４に記憶されている設定情報が参照され、特定の危険領域特定情報及び安全領域特定情報（テンプレート情報）がフラッシュメモリ４９の第二記憶領域４９２及び第三記憶領域４９３より読み出される（Ｓ１１）。読み出されたテンプレート情報は、初期化処理にて特定された基準座標と、加速度センサ１４にて検出される移動角度に基づいて補正される。そして、補正された結果の座標情報に基づき、操作者３の視界のうち危険領域と安全領域とを区別するための画像を表示させ、操作者３に視認させる（Ｓ１３）。
【００７８】
図８を参照し、ヘッドマウントディスプレイ２を介し操作者３にて視認される像の概略を示す。図８は、ヘッドマウントディスプレイ２を介し操作者３にて視認される像の一例を示す模式図である。図８に示すように、ヘッドマウントディスプレイ２には、危険領域と安全領域との境界線２２が表示される。境界線は、Ｓ１１にて読み出され、補正された結果のテンプレート情報に基づいて表示される。また本実施の形態のヘッドマウントディスプレイ２はシースルータイプであるので、表示された境界線２２は視界中の稼働部７や自身の腕１９、２０に重ね合わされた状態となる。ここで、危険領域１６内は赤色で、安全領域１７、１８内は緑色で表示される。これにより操作者３は、視界のうち危険領域１６と安全領域１７、１８とを認識することが可能となる。
【００７９】
次いで図７に示すように、第二記憶領域４９２に記憶されている危険領域特定情報に基づいて、像情報のうち危険領域に相当する像情報（図８中１６にて示される領域の像情報）が抽出される（Ｓ１７）。そして抽出された像情報の画像認識が実行され、操作者３の身体の少なくとも一部が危険領域の像情報内に存在するかが判断される（Ｓ１９）。
【００８０】
身体の少なくとも一部を認識する為の画像認識処理の一例としては、例えば、像情報について歪みやノイズが除去された後、拡大、縮小、回転など補正処理が施される。次いで、特徴抽出を行って、特徴パラメータあるいは特徴ベクトルが求められる。こうして得られた特徴量の中から手や腕の標準パターンに合致した特徴量、あるいは近い特徴量が決定された場合に、身体の少なくとも一部が存在すると判断される。
【００８１】
危険領域は、工作機械１０の稼働部７の稼働領域であるため、この領域に操作者３の身体の一部が進入している状態では、事故が発生してしまう可能性が高い。そこで危険領域の像情報に身体の少なくとも一部が検出された場合（Ｓ１９：ＹＥＳ）、操作者３に対して危険回避のための情報を通知する為の画像を表示させる（Ｓ２１）。具体的には、危険領域内に身体の一部が進入してしまっている状態である旨の通知と、身体をどの方向にどの位移動させれば、危険な状態を回避することができるかという情報とが表示される。
【００８２】
次いで、稼働部７の稼働を緊急停止させるための指示の通知であるＯＦＦ指示通知が、通信ケーブル８を介し工作機械１０に対して送信される（Ｓ２３）。そしてＳ１１に戻り、上述の処理が繰り返し実行される。
【００８３】
一方、危険領域の像情報に操作者３の身体の一部が検出されなかった場合には（Ｓ１９：ＮＯ）、次いで、第三記憶領域４９３に記憶されている安全領域特定情報に基づいて、像情報のうち安全領域に相当する像情報（図８中１７、１８にて示される領域の像情報）が抽出される（Ｓ２５）。そして抽出された像情報の画像認識が実行され、操作者３の身体の少なくとも一部が安全領域の像情報に存在するかが判断される（Ｓ２７）。
【００８４】
安全領域は、工作機械１０の稼働部７の稼働領域外であるので、この領域に操作者３の身体の一部が進入している状態では、安全に作業が進められる状態であると判断される。そこで安全領域の像情報に身体の少なくとも一部が検出された場合には（Ｓ２７：ＹＥＳ）、工作機械１０に対して稼働部７の稼働を許可する通知である駆動許可通知が送信される（Ｓ２９）。次いで、工作機械１０に対してモータ１１１の電源ＯＮを許可する通知であるＯＮ許可通知が送信される（Ｓ３１）。そしてＳ１１に戻り、上述の処理が繰り返し実行される。
【００８５】
一方、安全領域の像情報に身体の少なくとも一部が検出されなかった場合には（Ｓ２７：ＮＯ）、操作者３が工作機械１０から離れていたり、正規の作業位置に着いていなかったりする可能性があるので工作機械１０に対してモータ１１１の電源ＯＮを禁止する通知であるＯＮ禁止通知が送信される（Ｓ３３）。そしてＳ１１に戻り、上述の処理が繰り返し実行される。
【００８６】
以上説明したように、ヘッドマウントディスプレイ２では、作業領域のうち危険領域に操作者３の身体の一部が進入してしまっている状態であると判断された場合には、進入した身体の一部を危険領域の外に誘導させるための画像を表示させる。これにより、誤って操作者３が作業中に工作機械１０の危険領域に身体の一部を進入させてしまった場合であっても、安全な領域に身体の一部を確実に誘導させることが可能となる。
【００８７】
また、工作機械１０に対して稼働部７の稼働停止を指示する為のＯＦＦ指示通知を送信するので、工作機械１０の稼働部７の稼働を速やかに停止させることが可能となり、事故発生を防止することが可能となる。
【００８８】
さらに、操作者３の身体の一部が安全領域に配置されていることを確認した場合に、工作機械１０に対して稼働部７の稼働を許可する為の駆動許可通知を送信することが可能となるので、操作者３はより安全に作業を実行することが可能となる。
【００８９】
工作機械１０のＣＰＵ１０１にて実行される各処理について、図９及び図１０を参照して説明する。図９は、通信処理を示すフローチャートである。図１０は、駆動制御処理を示すフローチャートである。通信処理は、ヘッドマウントディスプレイ２よりなんらかのデータを受信した場合において、ＣＰＵ１０１により起動され実行開始される。駆動制御処理は、操作パネル１０６に対して何らかの入力操作がなされた場合において、ＣＰＵ１０１により起動され実行開始される。
【００９０】
ＣＰＵ１０１にて実行される処理において使用されるフラグについて説明する。駆動許可フラグは、ヘッドマウントディスプレイ２より稼働部７の稼働が許可されている状態であるかを示すために使用される。そして、稼働が許可されている状態にて「１」が記憶され、稼働が禁止されている状態にて「０」が記憶される。ＯＮ許可フラグは、ヘッドマウントディスプレイ２よりモータ１１１の電源のＯＮが許可されている状態であるかを示すために使用される。そして、電源ＯＮが許可されている状態にて「１」が記憶され、電源ＯＮが禁止されている状態にて「０」が記憶される。これらのフラグは、工作機械１０の電源が投入され、ＣＰＵ１０１が起動開始された場合において「０」が記憶され初期化される。以下フラグに「１」が記憶されることを「ＯＮされる」といい、「０」が記憶されることを「ＯＦＦされる」という。
【００９１】
図９を参照し、通信処理について説明する。ヘッドマウントディスプレイ２よりなんらかのデータが受信された場合、はじめに、受信されたデータがＯＦＦ指示通知であるかが判断される（Ｓ４１）。ＯＦＦ指示通知である場合には（Ｓ４１：ＹＥＳ）、ヘッドマウントディスプレイ２よりモータ１１１の電源をＯＦＦし、稼働部７の稼働を緊急させる旨の指示がなされたものと判断される。この場合、速やかにモータ１１１の電源がＯＦＦされる（Ｓ４３）。稼働部７が稼働中である場合には稼働が緊急停止される。そして、稼働部７の稼働が許可されていないことを示すために駆動許可フラグがＯＦＦされ（Ｓ４５）、通信処理は終了される。
【００９２】
ヘッドマウントディスプレイ２より受信したデータがＯＦＦ指示通知でない場合（Ｓ４１：ＮＯ）、駆動許可通知であるかが判断される（Ｓ４７）。駆動許可通知である場合には（Ｓ４７：ＹＥＳ）、稼働部７の稼働が許可されたことを示すために駆動許可フラグがＯＮされ（Ｓ４９）、通信処理は終了される。
【００９３】
ヘッドマウントディスプレイ２より受信されたデータが駆動許可通知でない場合（Ｓ４７：ＮＯ）、ＯＮ許可通知であるかが判断される（Ｓ５１）。ＯＮ許可通知である場合には（Ｓ５１：ＹＥＳ）、モータ１１１の電源ＯＮが許可されたことを示すためにＯＮ許可フラグがＯＮされる（Ｓ５３）。そして通信処理は終了される。
【００９４】
ヘッドマウントディスプレイ２より受信されたデータがＯＮ許可フラグでない場合（Ｓ５１：ＮＯ）、ＯＮ禁止通知であるかが判断される（Ｓ５５）。ＯＮ禁止通知であった場合には（Ｓ５５：ＹＥＳ）、モータ１１１の電源ＯＮが禁止されたことを示すためにＯＮ許可フラグがＯＦＦされる（Ｓ５７）。そして通信処理は終了される。一方、上述以外のデータが受信された場合には（Ｓ５５：ＮＯ）、特段処理を行うことなく通信処理が終了される。
【００９５】
図１０を参照し、駆動制御処理について説明する。操作パネル１０６を介し操作者３よりなんらかの入力操作がなされた場合、はじめに、操作者３によりモータ１１１の電源をＯＮする操作がされたかどうかが判断される（Ｓ６１）。モータ１１１の電源をＯＮする操作がされた場合には（Ｓ６１：ＹＥＳ）、次いでＯＮ許可フラグがＯＮされている状態であるかが判断される（Ｓ６３）。ＯＮ許可フラグがＯＮされている場合には（Ｓ６３：ＹＥＳ）、モータ１１１の電源ＯＮが許可された状態であると判断されるので、モータ１１１の電源がＯＮされ（Ｓ６５）、駆動制御処理は終了される。一方、ＯＮ許可フラグがＯＦＦされている場合には（Ｓ６３：ＮＯ）、モータ１１１の電源ＯＮが禁止された状態であると判断されるので、モータ１１１の電源はＯＮされることなく、駆動制御処理は終了される。
【００９６】
操作者３よりモータ１１１の電源をＯＮする操作がされていない場合には（Ｓ６１：ＮＯ）、モータ１１１の電源をＯＦＦする操作がされたかどうかが判断される（Ｓ６７）。モータ１１１の電源をＯＦＦする操作がされた場合には（Ｓ６７：ＹＥＳ）、モータ１１１の電源がＯＦＦされる（Ｓ６９）。次いで、ＯＮ許可フラグがＯＦＦされる（Ｓ７１）。そして駆動制御処理は終了される。
【００９７】
操作者３よりモータ１１１の電源をＯＦＦする操作がされていない場合には（Ｓ６７：ＮＯ）、次いで、操作者３により稼働部７を稼働させるための操作がなされたかが判断される（Ｓ７３）。稼働指示がなされていない場合には（Ｓ７３：ＮＯ）、以下特段処理を行うことなく駆動制御処理は終了される。
【００９８】
稼働部７を稼働させるための操作がなされている場合には（Ｓ７３：ＹＥＳ）、モータ１１１の電源がＯＮされている状態であるかが判断される（Ｓ７５）。モータ１１１の電源がＯＦＦされている状態では（Ｓ７５：ＮＯ）、稼働部７は稼働不可能な状態であるため、稼働部７を稼働させることなく駆動制御処理は終了される。
【００９９】
モータ１１１の電源がＯＮされている状態では（Ｓ７５：ＹＥＳ）、次いで稼働部７の稼働が許可されている状態であるかどうかが判断される（Ｓ７７）。駆動許可フラグがＯＦＦされており、稼働部７の稼働が禁止されている場合には（Ｓ７７：ＮＯ）、稼働部７の稼働が禁止されている状態であるので、モータ１１１を制御して稼働部７を稼働させることなく、駆動制御処理は終了される。駆動許可フラグがＯＮされている場合には（Ｓ７７：ＹＥＳ）、稼働部７の稼働は許可されているので、モータドライバ１１０が制御されてモータ１１１が回転し、稼働部７が稼働して作業が実行される（Ｓ７９）。そして駆動制御処理は終了される。
【０１００】
以上説明したように工作機械１０では、ヘッドマウントディスプレイ２より稼働が許可されている場合にのみ、稼働部７の稼働を開始させることが可能となっている。ヘッドマウントディスプレイ２では、作業領域の安全領域に操作者３の身体の一部が存在していると判断された場合に、駆動許可が送信されるので、稼働部７の稼働により操作者３に危害が及んでしまうことを防止することが可能となる。
【０１０１】
工作機械１０は、ヘッドマウントディスプレイ２よりＯＦＦ指示通知を受信した場合、モータ１１１の電源をＯＦＦして稼働中の稼働部７を緊急停止させる。ヘッドマウントディスプレイ２では、作業領域の危険領域に操作者３の身体の一部が進入した場合にＯＦＦ指示通知を送信するので、稼働部７の稼働に伴い危険領域に進入した身体の一部に危害が及ぶ事故を未然に防止することが可能となる。
【０１０２】
また、工作機械１０の電源は、ヘッドマウントディスプレイ２よりＯＮ許可通知を受信した状態である場合にのみ、モータ１１１の電源をＯＮさせることが可能となっている。ヘッドマウントディスプレイ２では、作業領域の安全領域の操作者の身体の少なくとも一部が存在していると判断された場合に、工作機械１０に対してＯＮ許可通知を送信する。従って工作機械１０では、操作者３の身体の一部が安全領域に存在している場合にのみ、モータ１１１の電源をＯＮさせることが可能となる。これにより、モータ１１１の電源が不用意にＯＮしてしまい、工作機械１０の稼働部７が稼働してしまって事故が発生してしまうことを防止することが可能となる。
【０１０３】
なお、図１に示す工作機械１０が本発明の「作業装置」に相当する。図２のカメラ１１が本発明の「撮像手段」に相当する。図５のフラッシュメモリ４９の第一記憶領域が本発明の「第一記憶領域」に相当する。図７のＳ３にて実行される初期化処理を行うＣＰＵ６１が本発明の「特定手段」に相当する。図８の１６にて示される危険領域が本発明の「第一領域」に相当し、図５のフラッシュメモリ４９の第二記憶領域４９２に記憶されている危険領域特定情報が本発明の「第一特定情報」に相当する。図７のＳ１７にて抽出される像情報が本発明の「第一像情報」に相当し、Ｓ１７の処理を行うＣＰＵ６１が本発明の「第一抽出手段」に相当し、Ｓ１９の処理を行うＣＰＵ６１が本発明の「第一判断手段」に相当し、Ｓ２１の処理を行うＣＰＵ６１が本発明の「表示制御手段」に相当し、図４に示す各構成を経て操作者３の網膜に画像光４を出射させる処理を行う表示部４０が本発明の「表示手段」に相当する。図７のＳ２３の処理を行うＣＰＵ６１が本発明の「第一送信手段」に相当し、Ｓ２３にて送信されるＯＦＦ指示通知が本発明の「第一通知」に相当する。
【０１０４】
図１の稼働部７が本発明の「作業手段」に相当する。図９にてＯＦＦ指示通知を受信する制御を行うＣＰＵ１０１が本発明の「第一二受信手段」に相当する。図１０のＳ６９の処理を行うＣＰＵ１０１が本発明の「第一停止手段」に相当する。
【０１０５】
図８の１７、１８にて示される領域が本発明の「第二領域」に相当する。図５のフラッシュメモリ４９の第三記憶領域４９３に記憶される安全領域特定情報が本発明の「第二特定情報」に相当する。図７のＳ２５にて抽出される像情報が本発明の「第二像情報」に相当し、Ｓ２５の処理を行うＣＰＵ６１が本発明の「第二抽出手段」に相当し、Ｓ２７の処理を行うＣＰＵ６１が本発明の「第二判断手段」に相当し、Ｓ２９及びＳ３１にて送信される駆動許可通知及びＯＮ許可通知が本発明の「第三通知」に相当し、Ｓ２９及びＳ３１にて駆動許可通知及びＯＮ許可通知を送信する処理を行うＣＰＵ１０１が本発明の「第三送信手段」に相当する。
【０１０６】
図９にて、駆動許可通知及びＯＮ許可通知を受信する処理を行うＣＰＵ１０１が本発明の「第三受信手段」に相当し、Ｓ４９にて稼働部７の稼働を許可する処理を行うＣＰＵ１０１が本発明の「第二許可手段」に相当する。
【０１０７】
なお、本発明は上記実施の形態に限定されるものではなく、種々の変更が可能である。上述の実施の形態では、作業領域の危険領域及び安全領域を特定する為の情報である危険領域特定情報及び安全領域特定情報は、ヘッドマウントディスプレイ２のフラッシュメモリ４９に記憶されていた。しかしながら本発明はこの構成に限定されない。従って、これらの情報は工作機械１０のＲＡＭ１０３やＲＯＭ１０２に記憶される構成であってもよい。このような構成とした場合、ヘッドマウントディスプレイ２は、危険監視処理が実行される前に、あらかじめ工作機械１０より通信ケーブル８を介して危険領域特定情報及び安全領域特定情報を受信しフラッシュメモリ４９に記憶する。そして記憶された危険領域特定情報及び安全領域特定情報に基づき、上述の処理が実行される。本構成とすることにより、ヘッドマウントディスプレイ２に必要な記憶容量を削減でき、小型化が可能となる。また、操作者３が共通のヘッドマウントディスプレイ２を用いて複数の工作機械１０を操作した場合に、工作機械１０毎に共通の領域設定（危険領域、安全領域）が異なっても操作を行うことが可能となる。
【０１０８】
また、上述の実施の形態では、安全領域特定情報をフラッシュメモリ４９の第三記憶領域４９３に記憶し、安全領域に操作者３の身体の一部が存在すると判断された場合に、工作機械１０の駆動を許可していたが、本発明はこの方法に限定されない。例えば、危険領域特定情報にて特定される危険領域に操作者３の身体の一部が存在しないと判断された場合に、工作機械１０の駆動を許可しても、上述の実施の形態と同様に、操作者３に危害が及ぶことを防止することができる。なおこの例において、像情報のうち危険領域に操作者３の身体の一部が存在しないと判断された場合に、工作機械１０に駆動を許可する旨の通知を送信する処理を行うＣＰＵ６１が本発明の「第二送信手段」に相当し、この通知を受信し、稼働部７の稼働を許可する処理を行うＣＰＵ１０１が本発明の「第一許可手段」に相当する。
【図面の簡単な説明】
【０１０９】
【図１】危険回避システム１の概要を示す模式図である。
【図２】ヘッドマウントディスプレイ２の外観構成を示した図である。
【図３】ヘッドマウントディスプレイ２の電気的構成を示す模式図である。
【図４】表示部４０の光学的及び電気的構成を示す模式図である。
【図５】フラッシュメモリ４９に設けられている記憶領域を示す模式図である。
【図６】工作機械１０の電気的構成を示す模式図である。
【図７】危険監視処理のフローチャートである。
【図８】ヘッドマウントディスプレイ２を介し操作者３にて視認される像の一例を示す模式図である。
【図９】通信処理を示すフローチャートである。
【図１０】駆動制御処理を示すフローチャートである。
【符号の説明】
【０１１０】
１ 危険回避システム
２ ヘッドマウントディスプレイ
３ 操作者
７ 稼働部
１０ 工作機械
１１ カメラ
１４ 加速度センサ
１６ 危険領域
１７ 安全領域
４０ 表示部
４３ 通信部
４６ 制御部
４９ フラッシュメモリ
５７ 通信モジュール
５８ 通信制御回路
６１ ＣＰＵ
１０１ ＣＰＵ
１１１ モータ
４９１ 第一記憶領域
４９２ 第二記憶領域
４９３ 第三記憶領域
【技術分野】
【０００１】
本発明は危険回避システム、及びヘッドマウントディスプレイに関する。そしてより詳細には、作業装置の作業領域に操作者の身体の一部が進入した場合に、安全な領域に身体の一部を誘導するとともに、作業装置の駆動を停止させることが可能な危険回避システム、及びヘッドマウントディスプレイに関する。
【背景技術】
【０００２】
従来、作業装置の駆動時における危険防止のため、光電式の安全装置が取り付けられ使用されている（例えば特許文献１参照）。この装置では、発光素子と受光素子とが対向して配置される。そして操作者が危険領域に進入すると、操作者の身体の一部により発光素子からの光が遮られる。安全装置では、受光素子側で遮光を検知した場合に、作業装置の動作を緊急停止させる。これにより事故発生を防止している。
【特許文献１】特開２００４−４２１０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら上述の安全装置では、危険領域を操作者が直接視認することができない。このため、操作者が危険領域内に身体の一部を進入させてしまって作業装置が緊急停止した場合、操作者は、どの位置に身体の一部を動かせば危険状態が解消されて緊急停止が解除されるかを認識し難いという問題点があった。
【０００４】
本発明は上述の問題点を解決するためになされたものであり、作業装置の操作者が危険領域を認識し易い危険回避システム、及びヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述の問題点を解決するために、請求項１に係る発明の危険回避システムでは、作業装置と、前記作業装置を操作する操作者に装着されるヘッドマウントディスプレイとから構成される危険回避システムであって、前記ヘッドマウントディスプレイは、前記作業装置の作業領域を撮像する撮像手段と、前記撮像手段にて撮像された前記作業領域の像情報を記憶する像情報記憶手段と、前記撮像手段にて撮像される方向を特定する特定手段と、前記特定手段にて特定された前記方向と、前記撮像手段にて撮像される領域のうち所定の領域である第一領域を特定するための情報であり、領域記憶手段に記憶されている情報である第一特定情報とに基づいて、前記像情報記憶手段に記憶された前記像情報から、前記第一領域に相当する前記像情報である第一像情報を抽出する第一抽出手段と、前記第一抽出手段にて抽出された第一像情報に、前記操作者の身体の少なくとも一部に相当する像情報である身体像情報が含まれているか否かを判断する第一判断手段と、前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記操作者に対して前記第一領域外に身体の一部を移動させるように促すための情報を表示手段に表示させる表示制御手段と、前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第一通知を送信する第一送信手段と、前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていないと判断された場合に、前記作業装置に対して第二通知を送信する第二送信手段とを備え、前記作業装置は、所定の加工作業を行う作業手段と、前記第一通知又は第二通知を受信する第一二受信手段と、前記第一二受信手段にて前記第一通知が受信された場合に、前記作業手段による加工作業を停止させる第一停止手段と、前記第一二受信手段にて前記第二通知が受信された場合に、前記作業手段による加工作業を許可する第一許可手段とを備えている。
【０００６】
また、請求項２に係る発明の危険回避システムは、請求項１に記載の発明の構成に加えて、前記領域記憶手段には、前記撮像手段にて撮像可能な領域のうち前記第一領域以外の領域であって所定の領域である第二領域を特定する為の情報である第二特定情報が記憶されており、前記ヘッドマウントディスプレイは、前記像情報記憶手段に記憶された前記像情報から、前記第二特定情報にて特定される前記第二領域に相当する前記像情報である第二像情報を抽出する第二抽出手段と、前記第二抽出手段にて抽出された前記第二像情報に、前記身体像情報が含まれているか否かを判断する第二判断手段と、前記第二判断手段にて、前記第二像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第三通知を送信する第三送信手段とを備え、前記作業装置は、前記第三通知を受信する第三受信手段と、前記第三受信手段にて前記第三通知が受信された場合に、前記作業手段による加工作業を許可する第二許可手段とを備えている。
【０００７】
また、請求項３に係る発明の危険回避システムは、請求項１又は２に記載の発明の構成に加えて、前記領域記憶手段は、前記ヘッドマウントディスプレイに設けられることを特徴とする。
【０００８】
また、請求項４に係る発明の危険回避システムは、請求項１又は２に記載の発明の構成に加え、前記領域記憶手段は、前記作業装置に設けられることを特徴とする。
【０００９】
また、請求項５に係る発明のヘッドマウントディスプレイは、作業装置の作業領域を判断し、操作者の身体の少なくとも一部の前記作業領域内への侵入を監視するヘッドマウントディスプレイであって、前記作業装置の作業領域を撮像する撮像手段と、前記撮像手段にて撮像された前記作業領域の像情報を記憶する像情報記憶手段と、前記撮像手段にて撮像される方向を特定する特定手段と、前記特定手段にて特定された前記方向と、前記撮像手段にて撮像される領域のうち所定の領域である第一領域を特定するための情報であり、領域記憶手段に記憶されている情報である第一特定情報とに基づいて、前記像情報記憶手段に記憶された前記像情報から、前記第一領域に相当する前記像情報である第一像情報を抽出する第一抽出手段と、前記第一抽出手段にて抽出された第一像情報に、前記操作者の身体の少なくとも一部に相当する像情報である身体像情報が含まれているか否かを判断する第一判断手段と、前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記操作者に対して前記第一領域外に身体の一部を移動させるように促すための情報を表示手段に表示させる表示制御手段と、前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第一通知を送信する第一送信手段と、前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていないと判断された場合に、前記作業装置に対して第二通知を送信する第二送信手段とを備えている。
【００１０】
また、請求項６に係る発明のヘッドマウントディスプレイは、請求項５に記載の発明の構成に加えて、前記領域記憶手段には、前記撮像手段にて撮像可能な領域のうち前記第一領域以外の領域であって所定の領域である第二領域を特定する為の情報である第二特定情報が記憶されており、前記像情報記憶手段に記憶された前記像情報から、前記第二特定情報にて特定される前記第二領域に相当する前記像情報である第二像情報を抽出する第二抽出手段と、前記第二抽出手段にて抽出された前記第二像情報に、前記身体像情報が含まれているか否かを判断する第二判断手段と、前記第二判断手段にて、前記第二像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第三通知を送信する第三送信手段とを備えている。
【発明の効果】
【００１１】
請求項１に係る発明の危険回避システムでは、作業装置において作業手段が駆動する危険領域（第一領域）に操作者の身体の一部が進入した場合には、ヘッドマウントディスプレイは、進入した身体の一部を危険領域の外に誘導する為の表示を行う。これにより、誤って操作者が作業中に作業装置の危険領域に身体の一部を進入させた場合、安全な領域に身体の一部を確実に誘導させることが可能となる。また作業装置では、作業装置の危険領域に身体の一部が進入した場合には、作業装置の作業を停止させ、危険領域外に移動した場合に、作業を許可するので、事故発生を防止することが可能となり、操作者は安全に作業を実行することが可能となる。
【００１２】
また、請求項２に係る発明の危険回避システムでは、請求項１に記載の発明の効果に加えて、作業手段の駆動時であっても安全な領域（第二領域）に操作者の身体の一部が配置されていることを確認した場合に、作業装置の駆動を許可する。操作者は、第二領域に手や腕を進入させた状態でのみ作業装置の駆動を開始させることができる。これにより、作業装置の駆動に伴う事故発生を防止することが可能となる。
【００１３】
また、請求項３に係る発明の危険回避システムでは、請求項１又は２に記載の発明の効果に加えて、第一特定情報や第二特定情報が記憶される領域記憶手段はヘッドマウントディスプレイに設けられる。従って操作者は、異なる作業装置を操作する場合においても、共通の第一特定情報及び第二特定情報に基づいて操作を行うことが可能となる。
【００１４】
また、請求項４に係る発明の危険回避システムでは、請求項１又は２に記載の発明の効果に加えて、第一特定情報や第二特定情報が記憶される領域記憶手段は作業装置に設けられる。従って、ヘッドマウントディスプレイ２に必要となる記憶手段の記憶容量を抑制でき、ヘッドマウントディスプレイ２の小型化が可能となる。また、操作者は、異なる作業装置を操作する場合において、作業装置毎に固有の第一特定情報及び第二特定情報に基づいて操作を行うことが可能となる。
【００１５】
また、請求項５に係る発明のヘッドマウントディスプレイでは、作業装置において作業手段が駆動する危険領域（第一領域）に操作者の身体の一部が進入した場合には、ヘッドマウントディスプレイは、進入した身体の一部を危険領域の外に誘導する為の表示を行う。これにより、誤って操作者が作業中に作業装置の危険領域に身体の一部を進入させた場合、安全な領域に身体の一部を確実に誘導させることが可能となる。また、操作者の身体の一部が第一領域内に存在するか否かの情報を作業装置に通知することが可能となるので、作業装置にて、操作者の操作状況に応じた制御を行わせることが可能となる。
【００１６】
また、請求項６に係る発明のヘッドマウントディスプレイでは、請求項５に記載の発明の効果に加えて、作業手段の駆動時であっても安全領域（第二領域）に操作者の身体の一部が配置されていることを作業装置に通知する。これにより、操作者が安全な状態であることを確認した場合にのみ、作業装置の駆動を開始させることができる。これにより、作業装置の駆動に伴う事故発生を防止することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の危険回避システム及びヘッドマウントディスプレイの実施の形態について、図面を参照して説明する。なお、これらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、特に特定的な記載がない限り、それのみに限定する趣旨ではなく、単なる説明例である。
【００１８】
はじめに、図１を参照し、危険回避システム１の概要について説明する。図１は、危険回避システム１の概要を示す模式図である。
【００１９】
図１に示すように、危険回避システム１は、作業装置である工作機械１０、工作機械１０を操作する操作者３、及び操作者３に装着されるヘッドマウントディスプレイ２にて構成される。工作機械１０とヘッドマウントディスプレイ２とは通信ケーブル８にて接続されており、相互に通信を行うことが可能となっている。工作機械１０は、略直方体形状の本体部６と、本体部６の側面に支持され上下方向に稼働可能な稼働部７と、稼働部７の下方に配置され、被加工物が上面に載置される台部９とを少なくとも備えた、所謂プレス加工機である。稼働部７は、本体部６に内蔵されたモータ１１１（図６参照）と接続されている。そして操作者３の操作に基づきモータ１１１が回転駆動することにより、上下方向に稼働する。これにより工作機械１０は、所定のプレス加工作業を実行することが可能となっている。
【００２０】
なお本実施の形態の作業装置である工作機械１０は、本発明の作業装置を具現化した一例であり、上述のプレス加工機に限定されない。従って例えば、旋盤、歯切り盤、ボール盤、中ぐり盤、フライス盤、研削盤等などが使用可能である。
【００２１】
操作者３には、予めヘッドマウントディスプレイ２が装着される。本実施の形態では、シースルータイプのヘッドマウントディスプレイを想定している。ヘッドマウントディスプレイ２には、工作機械１０の作業領域のうち、操作者３の身体の一部が進入した場合にけがや事故等の発生につながる恐れのある危険な領域（例えば、稼働部７の近傍領域など。以下「危険領域」という。）を示す映像と、身体の一部が進入した場合でも事故等が発生する恐れのない安全な領域（例えば、稼働部７より離隔した領域など。「安全領域」という。）を示す映像とが、実際の視界に重ね合わせられ映し出される。この映像は正規の作業位置に操作者３が着いた時に実際の危険領域や安全領域と映像で示される危険領域や安全領域と一致するように映し出される。このため、後述する識別マーク２１により重ね合わせるための基準を取得する。これにより操作者３は、ヘッドマウントディスプレイ２に映し出される危険領域及び安全領域の映像を確認しながら工作機械１０の操作を行うことができる。従って操作者３は、工作機械１０の稼働部７の稼働中には身体の一部を危険領域に進入させることなく、安全に作業を実行することが可能となる。
【００２２】
ヘッドマウントディスプレイ２にはカメラ１１（図２参照）が取り付けられる。カメラ１１は、操作者３にヘッドマウントディスプレイ２が装着された状態で、操作者３の視界方向を撮影することが可能な位置に配置される。そのため、操作者３の作業中には、カメラ１１では工作機械１０の作業領域が撮影される。
【００２３】
カメラ１１により撮影された像の情報（以下「像情報」という。）は画像認識される。そして、操作者３の身体の一部（手や腕など）が像情報に含まれているか否かが認識される。そして、工作機械１０の稼働部７が稼働している最中に、操作者３の身体の一部が危険領域内に進入していると判断された場合には、ヘッドマウントディスプレイ２は、工作機械１０における稼働部７の稼働を緊急停止させる。これにより、稼働部７の稼働中に誤って操作者３が危険領域に手や腕などを進入させてしまった場合であっても、事故を未然に防止することが可能となる。
【００２４】
加えて、工作機械１０の稼働部７が停止中に、安全領域内に操作者３の身体の一部が進入していると判断された場合には、ヘッドマウントディスプレイ２は、工作機械１０における稼働部７の稼働開始を許可する。一方、安全領域内に操作者３の身体の一部が進入していないと判断された場合には、ヘッドマウントディスプレイ２は、工作機械１０における稼働部７の稼働開始を禁止する。これにより、操作者３の安全が確認された場合にのみ、工作機械１０の稼働部７の稼働を開始させることが可能となる。
【００２５】
工作機械１０の本体部６側面であって、稼働部７の下方には、ヘッドマウントディスプレイ２において実行される初期化処理時において使用される識別マーク２１が貼付されている。識別マーク２１の使用方法等詳細は後述する。
【００２６】
図２を参照し、ヘッドマウントディスプレイ２の概略構成について説明する。図２は、ヘッドマウントディスプレイ２の外観構成を示した図である。
【００２７】
図２に示すように、ヘッドマウントディスプレイ２は、画像信号に応じて変調されたレーザ光（以下「画像光４」という。）を走査させて出射させ、操作者３の少なくとも一方の眼の網膜に画像を直接投影する。これにより、操作者３に画像を視認させる。図２に示すように、ヘッドマウントディスプレイ２は、画像信号に応じて画像光４を出射する出射装置１００と、その出射装置１００から出射された画像光４を導くと共に、その画像光４を操作者３の眼に向かって反射させるプリズム１５０と、出射装置１００及びプリズム１５０を支持する支持部材２００とを少なくとも備えている。
【００２８】
出射装置１００は、画像光４をプリズム１５０に対し出射させる。プリズム１５０は、出射装置１００に対して固定的な位置にあり、その出射装置１００から出射された画像光４を導き、その画像光４を操作者３の眼に向かって反射させる。プリズム１５０は、図示しないビームスプリッタ部を備えており、外界からの外光５を透過させ、操作者３の眼に導く。プリズム１５０は、操作者３の側方から入射された画像光４を操作者３の眼に入射させると共に、外界からの外光５を操作者３の眼に入射させる。これにより、実際の視界はもちろん、出射装置１００から出射された画像光４に基づく画像が視認可能となる。
【００２９】
なお本実施形態においては、プリズム１５０によって外光５と画像光４とを同時に視認することができるような構成とした。しかしながら本発明はこの構成に限定されず、例えば、プリズム１５０に代えてハーフミラーを用いることもできる。これにより、出射装置１００からの画像光４はハーフミラーに反射させて操作者３の眼に入射させると共に、外光５はハーフミラーを透過させて操作者３の眼に入射させることが可能となる。
【００３０】
また本実施形態においては、ヘッドマウントディスプレイとして、網膜走査を用いたシースルーのヘッドマウントディスプレイを例に挙げて説明したが、本発明はこの例に限定されず、例えば、反射型ＬＣＤを利用したヘッドマウントディスプレイであってもよい。
【００３１】
図３を参照し、ヘッドマウントディスプレイ２の電気的構成について説明する。図３は、ヘッドマウントディスプレイ２の電気的構成を示す模式図である。
【００３２】
図３に示すように、ヘッドマウントディスプレイ２は、操作者３に画像（危険領域、安全領域等）を視認させる表示部４０、各種操作やデータの入力を行うための入力部４１、工作機械１０との通信を行うための通信部４３、カメラ１１、カメラ１１にて撮像された像情報のうち、危険領域及び安全領域を特定するための情報が記憶されるフラッシュメモリ４９、操作者３の視覚方向を認識するための加速度センサ１４、ヘッドマウントディスプレイ２全体を制御する制御部４６、及び電源部４７を備えている。
【００３３】
表示部４０は、操作者３に視認させるための映像の情報（以下「映像情報」という。）を制御部４６より受信し、操作者３の網膜に直接投影させるために必要な各信号に変換する為の映像信号処理部７０、レーザ光を出力するレーザ群７２（青色出力レーザ（Ｂレーザ）７２１、緑色出力レーザ（Ｇレーザ）７２２、赤色出力レーザ（Ｒレーザ）７２３）、及び、レーザよりレーザ光を出力させるための制御を行うレーザドライバ群７１を備えている。そして、映像信号処理部７０の制御により、所望のレーザ光を所望のタイミングで出力させることが可能なように、映像信号処理部７０はレーザドライバ群７１と電気的に接続されている。またレーザドライバ群７１は、Ｂレーザ７２１、Ｇレーザ７２２、及びＲレーザ７２３と其々電気的に接続されている。また、映像信号処理部７０が制御部４６より映像信号を受信することが可能なように、映像信号処理部７０と制御部４６とはバスを介して電気的に接続されている。
【００３４】
また表示部４０は、レーザより出力されたレーザ光を垂直方向に反射させることによって走査を行うガルバノミラー８１２及びガルバノミラー８１２の駆動制御を行う垂直走査制御回路８１１、レーザより出力されたレーザ光を水平方向に反射させることによって走査を行うガルバノミラー７９２及びガルバノミラー７９２の駆動制御を行う水平走査制御回路７９１を備えている。そして、映像信号処理部７０の制御により、所望の方向にレーザ光を反射させることが可能なように、映像信号処理部７０と垂直走査制御回路８１１及び水平走査制御回路７９１とは其々電気的に接続されている。また、垂直走査制御回路８１１はガルバノミラー８１２と電気的に接続されている。また、水平走査制御回路７９１はガルバノミラー７９２と電気的に接続されている。
【００３５】
入力部４１は、各種機能キーなどからなる操作ボタン群５０、操作ボタン群５０のキーが操作されたことを検出し、制御部４６に通知する入力制御回路５１を備えている。そして、操作ボタン群５０のキーに入力された情報を制御部４６にて認識することが可能なように、操作ボタン群５０は入力制御回路５１と電気的に接続されている。また入力制御回路５１は制御部４６と電気的に接続されている。
【００３６】
通信部４３は、通信ケーブル８（図１参照）を介し、工作機械１０との間で所定の通信プロトコルに基づき通信を行う通信モジュール５７と、この通信モジュール５７を制御し、工作機械１０との間で実行される通信を制御する通信制御回路５８とを備えている。そして、制御部４６が通信部４３を介して工作機械１０と通信を行うことが可能なように、制御部４６と通信制御回路５８とはバスを介して電気的に接続されている。また、通信モジュール５７と通信制御回路５８とは電気的に接続されている。
【００３７】
なお、ヘッドマウントディスプレイ２と工作機械１０の間に接続される通信ケーブル８としては特に限定されず、従来周知の通信媒体が使用される。例えばイーサネット（登録商標）ケーブル、ＵＳＢ（登録商標）ケーブル、ＲＳ−２３２Ｃケーブル等が使用可能である。また、無線を使用した通信を行うこととしてもよい。
【００３８】
カメラ１１は、操作者３の視野方向を撮像することが可能な素子である。撮像された結果の像情報は、フラッシュメモリ４９に記憶され、画像認識処理の元データとされる（詳細は後述する。）。そして、撮像された結果の像情報を制御部４６にて認識することが可能なように、カメラ１１と制御部４６とは電気的に接続されている。
【００３９】
加速度センサ１４は、ヘッドマウントディスプレイ２が備えるカメラ１１の撮影方向を特定するために使用される。ヘッドマウントディスプレイ２では、初期化時において、予め工作機械１０の作業領域のうち特定の部位（本体部６側面、稼働部７の下方）に設けられた識別マーク２１がカメラ１１により撮影されて認識される。次いで、得られる像情報中における識別マーク２１の位置が確定される。これにより、カメラ１１の撮影方向、つまり操作者３の視覚方向が特定される。その後は、加速度センサ１４により特定される移動角度に基づき、特定されたカメラ１１の撮影方向が補正される。これによりヘッドマウントディスプレイ２では、操作者３が工作機械１０の作業領域のうちどの部分を視覚しているかを詳細に特定することが可能となっている（詳細は後述する）。
【００４０】
電源部４７は、ヘッドマウントディスプレイ２を駆動させるための電源となる電池５９、及び、電池５９の電力をヘッドマウントディスプレイ２に供給すると共に、充電用アダプタ（図示せず）から供給される電力を電池５９へ供給して電池５９の充電を行う充電制御回路６０を備えている。
【００４１】
フラッシュメモリ４９には、カメラ１１により撮影された結果の像情報、操作者３に視認させる画像（危険領域や安全領域を特定するための表示画像など）の情報が記憶される。そして、フラッシュメモリ４９に記憶されている情報を制御部４６より参照することが可能なように、フラッシュメモリ４９と制御部４６とはバスを介して電気的に接続されている。
【００４２】
制御部４６は、ヘッドマウントディスプレイ２にて実行される各種処理（画像認識処理、画像表示処理など）を制御する機能を有している。制御部４６は、ＣＰＵ６１、プログラムを格納したＲＯＭ６２、各種データが一時的に記憶されるＲＡＭ４８などから構成される。制御部４６では、ＣＰＵ６１がＲＯＭ６２に格納されたプログラムを読み出すことにより、各処理が実行される。ＲＡＭ４８には、ＣＰＵ６１が各処理を実行する場合に必要な各種フラグやデータが記憶される。
【００４３】
表示部４０にて画像光４が形成される過程の概要について、図４を参照して詳説する。図４は、表示部４０の光学的及び電気的構成を示す模式図である。表示部４０は、図４に示すように、光源ユニット部６５、コリメート光学系７７、水平走査系７９、第一リレー光学系８０、垂直走査系８１、第二リレー光学系８２を備えている。光源ユニット部６５は、映像信号処理部７０、レーザドライバ群７１、レーザ群７２、コリメート光学系７３、ダイクロイックミラー群７４、及び結合光学系７５を備えている。水平走査系７９は、水平走査制御回路７９１及びガルバノミラー７９２を備えている。垂直走査系８１は、垂直走査制御回路８１１及びガルバノミラー８１２を備えている。
【００４４】
光源ユニット部６５の構成について詳説する。映像信号処理部７０は、既述のように、制御部４６と電気的に接続されている。そして、制御部４６にて形成された映像情報が入力される。映像信号処理部７０には、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）、垂直同期信号６７及び水平同期信号６８が其々電気的に接続されている。映像信号処理部７０では、入力された映像情報を網膜に投影させるための要素となる各信号（輝度信号、垂直同期信号、水平同期信号）が生成される。生成された各信号は、輝度信号６６、垂直同期信号６７、及び水平同期信号６８に対して画素毎に出力される。
【００４５】
輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）は、レーザドライバ群７１（Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３）に其々電気的に接続されている。水平同期信号６８は、水平走査系７９の水平走査制御回路７９１に接続されている。垂直同期信号６７は、垂直走査系８１の垂直走査制御回路８１１に接続されている。
【００４６】
レーザドライバ群７１は、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）に其々電気的に接続されている。レーザドライバ群７１は、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）を介して伝達された各信号の各輝度信号に基づいて、強度変調されたレーザ光をレーザ群７２より出射させるために、レーザ群７２を駆動する。
【００４７】
光源ユニット部６５には、レーザドライバ群７１の制御に基づきレーザ群７２より出射された３色（青色、緑色、赤色）のレーザ光を平行光にコリメートさせることが可能なコリメート光学系７３（７３１〜７３３）、コリメート光学系７３にてコリメートされたレーザ光を合波させることが可能なダイクロイックミラー群７４（７４１〜７４３）、合波されたレーザ光を光ファイバ７６に導くための結合光学系７５が其々設けられる。
【００４８】
尚、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）として、レーザダイオード等の半導体レーザや固体レーザを利用してもよい。
【００４９】
表示部４０のうち光源ユニット部６５を除く部分の構成について詳説する。光源ユニット部６５より光ファイバ７６に対して導かれたレーザ光を水平走査系７９のガルバノミラー７９２に導くためのコリメート光学系７７が設けられる。ガルバノミラー７９２は、レーザ光を、水平方向に走査させる。ガルバノミラー７９２の偏向面７９３に入射されたレーザ光は、水平走査制御回路７９１の制御により、映像信号処理部７０より受信される水平同期信号６８に同期して水平方向に走査される。本実施の形態の水平走査系７９は、表示すべき画像の１走査線毎に、レーザ光を水平方向に水平走査（１次走査の一例）させるための光学系である。
【００５０】
また、水平走査されたレーザ光を垂直走査系８１に導くための第一リレー光学系８０と、第一リレー光学系８０により導かれたレーザ光を垂直方向に走査させるためのガルバノミラー８１２が設けられる。ガルバノミラー８１２の偏向面８１３に入射されたレーザ光は、垂直走査制御回路８１１の制御により、映像信号処理部７０より受信される垂直同期信号６７に同期して垂直方向に走査される。本実施の形態の垂直走査系８１は、表示すべき画像の１フレーム毎に、レーザ光を最初の走査線から最後の走査線に向かって垂直に垂直走査（２次走査の一例）する光学系である。
【００５１】
また、垂直走査されたレーザ光（画像光４（図１参照））をプリズム１５０に導くための第二リレー光学系８２が設けられる。第二リレー光学系８２にて導かれた画像光４は、プリズム１５０に入射される。プリズム１５０は、第二リレー光学系８２と操作者３の瞳孔９０との間に配置される。プリズム１５０は、画像光４を全反射させるなどして、ユーザの瞳孔９０に導く。
【００５２】
上述の表示部４０では、水平走査系７９は、垂直走査系８１より高速にすなわち高周波数でレーザ光を走査するように設計される。また、第一リレー光学系８０は、水平走査系７９のガルバノミラー７９２と、垂直走査系８１のガルバノミラー８１２とが共役となるように設けられる。第二リレー光学系８２は、ガルバノミラー８１２と、ユーザの瞳孔９０とが共役となるように設けられる。
【００５３】
本発明の一実施形態のヘッドマウントディスプレイ２が、外部からの映像信号を受けてから、ユーザの網膜上に映像を投影するまでの過程について、図４を参照して説明する。
【００５４】
本実施形態のヘッドマウントディスプレイ２では、光源ユニット部６５に設けられた映像信号処理部７０が映像信号を受信する。次いで映像信号処理部７０より、赤、緑、青の各色のレーザ光を出力させるためのＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３からなる輝度信号６６と、水平同期信号６８と、垂直同期信号６７とが出力される。
【００５５】
Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３は、各々入力されたＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３に基づき、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３に対してそれぞれの駆動信号を出力する。
【００５６】
上述の駆動信号に基づいて、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３は、それぞれ強度変調されたレーザ光を発生させる。発生されたレーザ光は、コリメート光学系７３に出力される。レーザ光は、コリメート光学系７３によってそれぞれが平行光にコリメートされ、更に、ダイクロイックミラー群７４に入射されて１つのレーザ光となるよう合成される。合成されたレーザ光は、結合光学系７５によって光ファイバ７６に入射されるよう導かれる。
【００５７】
光ファイバ７６を伝達したレーザ光は、光ファイバ７６からコリメート光学系７７に導かれる。そして水平走査系７９に出射される。
【００５８】
水平走査系７９に入射されたレーザ光は、ガルバノミラー７９２の偏向面７９３にて、水平同期信号６８に同期して水平方向に走査される。ガルバノミラー７９２は、水平同期信号６８に同期して、その偏向面７９３が入射光を水平方向に反射するように往復振動をしている。このガルバノミラー７９２によってレーザ光は水平方向に走査される。水平走査されたレーザ光は、第一リレー光学系８０を介し、垂直走査系８１に出射される。
【００５９】
第一リレー光学系８０では、ガルバノミラー７９２の偏向面７９３とガルバノミラー８１２の偏向面８１３とが共役の関係となるように調整され、また、ガルバノミラー７９２の面倒れが補正される。
【００６０】
垂直走査系８１に入射されたレーザ光は、ガルバノミラー８１２の偏向面８１３にて、垂直同期信号６７に同期して垂直方向に走査される。ガルバノミラー８１２は、ガルバノミラー７９２が水平同期信号６８に同期することと同様に垂直同期信号６７に同期して、その偏向面８１３が入射光を垂直方向に反射するように往復振動をしている。このガルバノミラー８１２によってレーザ光は垂直方向に走査される。
【００６１】
水平走査系７９及び垂直走査系８１によって垂直方向及び水平方向に２次元に走査されたレーザ光（画像光４）は、ガルバノミラー８１２の偏向面８１３と、ユーザの瞳孔９０とが共役の関係となるように設けられた第二リレー光学系８２、プリズム１５０により操作者３の瞳孔９０へ入射され、網膜上に投影される。
【００６２】
以上説明した過程を経ることにより、操作者３は、２次元走査されて網膜上に投影されたレーザ光による画像を認識することが可能となる。なお、水平走査系７９のガルバノミラー７９２と、垂直走査系８１のガルバノミラー８１２とは、名称を同じように説明したが、光を走査するように其の反射面が揺動（回転）させられるものであれば、共振タイプ、非共振タイプ等、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよいことは言うまでもない。
【００６３】
フラッシュメモリ４９に設けられている記憶領域について、図５を参照して説明する。図５は、フラッシュメモリ４９に設けられている記憶領域を示す模式図である。図５に示すように、フラッシュメモリ４９には、第一記憶領域４９１、第二記憶領域４９２、第三記憶領域４９３、第四記憶領域４９４、及びその他の領域が設けられている。第一記憶領域４９１には、カメラ１１にて撮影された結果の像情報が記憶される。第二記憶領域４９２には、得られる像情報のうち危険領域を特定するための情報（危険領域特定情報）が複数記憶される。第三記憶領域４９３には、得られる像情報のうち安全領域を特定するための情報（安全領域特定情報）が複数記憶される。第四記憶領域４９４には、ヘッドマウントディスプレイ２の操作ボタン群５０を介して操作者３により入力された設定情報が記憶される。
【００６４】
危険領域特定情報として、カメラ１１にて撮影された結果の像情報のうち危険領域の像情報を特定するために使用される座標情報が第二記憶領域４９２に記憶される。ＣＰＵ６１は、危険領域特定情報を参照することにより、像情報より危険領域の像情報を抽出することが可能となる。また、安全領域特定情報として、カメラ１１にて撮影された結果の像情報のうち安全領域の像情報を特定するために使用される座標情報が第三記憶領域４９３に記憶される。ＣＰＵ６１は、安全領域特定情報を参照することにより、像情報より安全領域の像情報を抽出することが可能となる。第四記憶領域に記憶される設定情報としては、第二記憶領域４９２及び第三記憶領域４９３に記憶されている複数の危険領域特定情報及び安全領域特定情報のうち、特定の危険領域特定情報及び安全領域特定情報を選択する為の設定情報等が記憶される。
【００６５】
工作機械１０の電気的構成について、図６を参照して説明する。図６は、工作機械１０の電気的構成を示す模式図である。図６に示すように、工作機械１０は、稼働部７の稼働制御やヘッドマウントディスプレイ２との通信制御を司るＣＰＵ１０１、ＣＰＵ１０１において実行される各種処理プログラムが記憶されるＲＯＭ１０２、ＣＰＵ１０１が処理を行う場合において必要となる記憶領域を提供するＲＡＭ１０３をそれぞれ備えている。そして、ＣＰＵ１０１がＲＯＭ１０２、ＲＡＭ１０３の記憶領域にアクセスすることが可能なように、ＣＰＵ１０１とＲＯＭ１０２、ＲＡＭ１０３はそれぞれバスを介して電気的に接続されている。
【００６６】
工作機械１０は、入力信号全体を統括し、ＣＰＵ１０１にて入力信号を認識可能なようにインピーダンス変換やタイミング調整を行うための入力インタフェース１０４、ＣＰ１０１からの出力信号全体を統括し、ＣＰＵ１０１より出力される出力信号を各種出力デバイスにて認識することが可能なようにインピーダンス変換やタイミング調整を行うための出力インタフェース１０５を其々備えている。ＣＰＵ１０１と入力インタフェース１０４及び出力インタフェース１０５とは、其々バスを介して電気的に接続されている。
【００６７】
工作機械１０は、ユーザによる工作機械１０への入力操作を受け付ける操作パネル１０６を備えている。そしてユーザにより操作パネル１０６を介して実施された操作内容をＣＰＵ１０１にて検出することが可能なように、操作パネル１０６と入力インタフェース１０４とは電気的に接続されている。
【００６８】
工作機械１０は、上下動する稼働部７の駆動位置を検出する為の上昇センサ１０７及び下降センサ１０８をそれぞれ備えている。そして、稼働部７の駆動位置をＣＰＵ１０１にて認識することが可能なように、上昇センサ１０７及び下降センサ１０８と入力インタフェース１０４とは電気的に接続されている。
【００６９】
工作機械１０は、ユーザに対して工作機械１０の稼働状況等の情報を視認させるための液晶パネル１０９を備えている。そして、ＣＰＵ１０１より所望の画像を液晶パネル１０９に表示させることが可能なように、液晶パネル１０９と出力インタフェース１０５とは電気的に接続されている。
【００７０】
工作機械１０は、稼働部７を上下方向に稼働させるためのモータ１１１と、モータ１１１の回転制御を行うモータドライバ１１０とを備えている。そして、ＣＰＵ１０１の制御に基づきモータ１１１を稼働させることが可能なように、モータ１１１とモータドライバ１１０とは電気的に接続されている。またモータドライバ１１０は出力インタフェース１０５と電気的に接続されている。
【００７１】
通信制御部１１２は、工作機械１０が通信ケーブル８を介してヘッドマウントディスプレイ２と通信を行うために設けられている。通信制御部１１２には通信ケーブル８が接続される。そして、所定の通信プロトコルに基づいてヘッドマウントディスプレイ２と通信を行うことが可能なように、通信制御部１１２はＣＰＵ１０１と電気的に接続されている。
【００７２】
なお工作機械１０は、上述の電気的構成のうちモータ１１１のみ別電源となっており、その他の部分とは独立に電源のＯＮ／ＯＦＦ制御を行うことが可能となっている。操作者３が工作機械１０を操作して加工作業を始める場合には、はじめに工作機械全体（モータ１１１以外）の電源をＯＮし、次いでモータ１１１の電源をＯＮする。これにより稼働部７が稼働可能となり、加工操作が実行可能となる。モータ１１１を別電源とすることにより、不用意に稼働部７が稼働して事故が発生してしまうことを防止している。また、モータ１１１の電源をＯＦＦさせることにより稼働部７を緊急停止させることが可能となっている。
【００７３】
ヘッドマウントディスプレイ２のＣＰＵ６１にて実行される処理について、図７を参照して説明する。図７は、ヘッドマウントディスプレイ２にて実行される危険監視処理のフローチャートである。危険監視処理は、ヘッドマウントディスプレイ２の電源が投入された場合に、ＣＰＵ６１により起動され実行開始される。
【００７４】
ヘッドマウントディスプレイ２より工作機械１０に対して送信される通知について概説する。「ＯＦＦ指示通知」は、工作機械１０に対して稼働部７の稼働を緊急停止させる旨を通知する場合に送信される。「駆動許可通知」は、工作機械１０に対して稼働部７の稼働を許可する旨を通知する場合に送信される。「ＯＮ許可通知」は、工作機械１０に対してモータ１１１の電源ＯＮを許可する旨を通知する場合に送信される。「ＯＮ禁止通知」は、工作機械１０に対してモータ１１１の電源ＯＮを禁止する旨を通知する場合に送信される。
【００７５】
図７に示すように、ヘッドマウントディスプレイ２の電源が投入されると、カメラ１１による撮影が開始される（Ｓ１）。撮影された像情報は、フラッシュメモリ４９の第一記憶領域４９１に記憶される。次いで初期化処理が実行される（Ｓ３）。初期化処理では、カメラ１１の撮影方向が特定される。具体的には、はじめに第一記憶領域４９１に記憶された像情報が画像処理される。そして、像情報内に、工作機械１０の作業領域に予め設けられている識別マーク２１が存在するかどうかが判断される。存在しないと判断された場合（Ｓ３：ＮＯ）、カメラ１１の撮影方向が特定できない状態であるので、初期化エラー通知を表示させ（Ｓ７）操作者３に視認させる。そしてＳ３に戻り、繰り返し初期化処理が実行される。
【００７６】
初期化エラーを視認した操作者３は、この状態では工作機械１０を稼働させることが不可能であるので、ヘッドマウントディスプレイ２を装着した状態で工作機械１０の作業領域方向を視認する。これにより、視野内に識別マーク２１が入る。この状態でカメラ１１により撮影された結果の像情報内には識別マーク２１が存在する状態となる。この状態で初期化処理が行われた場合、画像処理により識別マーク２１が認識されるので（Ｓ３：ＹＥＳ）、初期化成功通知を表示させて操作者３に視認させ（Ｓ５）、Ｓ１１に移行される。初期化処理により認識された識別マーク２１の位置情報（座標情報）は、カメラ１１の撮影方向を特定する場合における基準座標とされる。そして基準座標が像情報全体のどの部分に位置するかを認識することによって、カメラ１１の撮影方向が特定される。以後、特定されたカメラ１１の撮影方向は、加速度センサ１４にて検出される移動角度に基づいて補正される。これにより、初期化処理以後、操作者３の視野方向が変化した場合であっても、カメラ１１が工作機械１０の作業領域のうちどの部分を撮影しているかを特定することが可能となる。
【００７７】
次いで、予め第四記憶領域４９４に記憶されている設定情報が参照され、特定の危険領域特定情報及び安全領域特定情報（テンプレート情報）がフラッシュメモリ４９の第二記憶領域４９２及び第三記憶領域４９３より読み出される（Ｓ１１）。読み出されたテンプレート情報は、初期化処理にて特定された基準座標と、加速度センサ１４にて検出される移動角度に基づいて補正される。そして、補正された結果の座標情報に基づき、操作者３の視界のうち危険領域と安全領域とを区別するための画像を表示させ、操作者３に視認させる（Ｓ１３）。
【００７８】
図８を参照し、ヘッドマウントディスプレイ２を介し操作者３にて視認される像の概略を示す。図８は、ヘッドマウントディスプレイ２を介し操作者３にて視認される像の一例を示す模式図である。図８に示すように、ヘッドマウントディスプレイ２には、危険領域と安全領域との境界線２２が表示される。境界線は、Ｓ１１にて読み出され、補正された結果のテンプレート情報に基づいて表示される。また本実施の形態のヘッドマウントディスプレイ２はシースルータイプであるので、表示された境界線２２は視界中の稼働部７や自身の腕１９、２０に重ね合わされた状態となる。ここで、危険領域１６内は赤色で、安全領域１７、１８内は緑色で表示される。これにより操作者３は、視界のうち危険領域１６と安全領域１７、１８とを認識することが可能となる。
【００７９】
次いで図７に示すように、第二記憶領域４９２に記憶されている危険領域特定情報に基づいて、像情報のうち危険領域に相当する像情報（図８中１６にて示される領域の像情報）が抽出される（Ｓ１７）。そして抽出された像情報の画像認識が実行され、操作者３の身体の少なくとも一部が危険領域の像情報内に存在するかが判断される（Ｓ１９）。
【００８０】
身体の少なくとも一部を認識する為の画像認識処理の一例としては、例えば、像情報について歪みやノイズが除去された後、拡大、縮小、回転など補正処理が施される。次いで、特徴抽出を行って、特徴パラメータあるいは特徴ベクトルが求められる。こうして得られた特徴量の中から手や腕の標準パターンに合致した特徴量、あるいは近い特徴量が決定された場合に、身体の少なくとも一部が存在すると判断される。
【００８１】
危険領域は、工作機械１０の稼働部７の稼働領域であるため、この領域に操作者３の身体の一部が進入している状態では、事故が発生してしまう可能性が高い。そこで危険領域の像情報に身体の少なくとも一部が検出された場合（Ｓ１９：ＹＥＳ）、操作者３に対して危険回避のための情報を通知する為の画像を表示させる（Ｓ２１）。具体的には、危険領域内に身体の一部が進入してしまっている状態である旨の通知と、身体をどの方向にどの位移動させれば、危険な状態を回避することができるかという情報とが表示される。
【００８２】
次いで、稼働部７の稼働を緊急停止させるための指示の通知であるＯＦＦ指示通知が、通信ケーブル８を介し工作機械１０に対して送信される（Ｓ２３）。そしてＳ１１に戻り、上述の処理が繰り返し実行される。
【００８３】
一方、危険領域の像情報に操作者３の身体の一部が検出されなかった場合には（Ｓ１９：ＮＯ）、次いで、第三記憶領域４９３に記憶されている安全領域特定情報に基づいて、像情報のうち安全領域に相当する像情報（図８中１７、１８にて示される領域の像情報）が抽出される（Ｓ２５）。そして抽出された像情報の画像認識が実行され、操作者３の身体の少なくとも一部が安全領域の像情報に存在するかが判断される（Ｓ２７）。
【００８４】
安全領域は、工作機械１０の稼働部７の稼働領域外であるので、この領域に操作者３の身体の一部が進入している状態では、安全に作業が進められる状態であると判断される。そこで安全領域の像情報に身体の少なくとも一部が検出された場合には（Ｓ２７：ＹＥＳ）、工作機械１０に対して稼働部７の稼働を許可する通知である駆動許可通知が送信される（Ｓ２９）。次いで、工作機械１０に対してモータ１１１の電源ＯＮを許可する通知であるＯＮ許可通知が送信される（Ｓ３１）。そしてＳ１１に戻り、上述の処理が繰り返し実行される。
【００８５】
一方、安全領域の像情報に身体の少なくとも一部が検出されなかった場合には（Ｓ２７：ＮＯ）、操作者３が工作機械１０から離れていたり、正規の作業位置に着いていなかったりする可能性があるので工作機械１０に対してモータ１１１の電源ＯＮを禁止する通知であるＯＮ禁止通知が送信される（Ｓ３３）。そしてＳ１１に戻り、上述の処理が繰り返し実行される。
【００８６】
以上説明したように、ヘッドマウントディスプレイ２では、作業領域のうち危険領域に操作者３の身体の一部が進入してしまっている状態であると判断された場合には、進入した身体の一部を危険領域の外に誘導させるための画像を表示させる。これにより、誤って操作者３が作業中に工作機械１０の危険領域に身体の一部を進入させてしまった場合であっても、安全な領域に身体の一部を確実に誘導させることが可能となる。
【００８７】
また、工作機械１０に対して稼働部７の稼働停止を指示する為のＯＦＦ指示通知を送信するので、工作機械１０の稼働部７の稼働を速やかに停止させることが可能となり、事故発生を防止することが可能となる。
【００８８】
さらに、操作者３の身体の一部が安全領域に配置されていることを確認した場合に、工作機械１０に対して稼働部７の稼働を許可する為の駆動許可通知を送信することが可能となるので、操作者３はより安全に作業を実行することが可能となる。
【００８９】
工作機械１０のＣＰＵ１０１にて実行される各処理について、図９及び図１０を参照して説明する。図９は、通信処理を示すフローチャートである。図１０は、駆動制御処理を示すフローチャートである。通信処理は、ヘッドマウントディスプレイ２よりなんらかのデータを受信した場合において、ＣＰＵ１０１により起動され実行開始される。駆動制御処理は、操作パネル１０６に対して何らかの入力操作がなされた場合において、ＣＰＵ１０１により起動され実行開始される。
【００９０】
ＣＰＵ１０１にて実行される処理において使用されるフラグについて説明する。駆動許可フラグは、ヘッドマウントディスプレイ２より稼働部７の稼働が許可されている状態であるかを示すために使用される。そして、稼働が許可されている状態にて「１」が記憶され、稼働が禁止されている状態にて「０」が記憶される。ＯＮ許可フラグは、ヘッドマウントディスプレイ２よりモータ１１１の電源のＯＮが許可されている状態であるかを示すために使用される。そして、電源ＯＮが許可されている状態にて「１」が記憶され、電源ＯＮが禁止されている状態にて「０」が記憶される。これらのフラグは、工作機械１０の電源が投入され、ＣＰＵ１０１が起動開始された場合において「０」が記憶され初期化される。以下フラグに「１」が記憶されることを「ＯＮされる」といい、「０」が記憶されることを「ＯＦＦされる」という。
【００９１】
図９を参照し、通信処理について説明する。ヘッドマウントディスプレイ２よりなんらかのデータが受信された場合、はじめに、受信されたデータがＯＦＦ指示通知であるかが判断される（Ｓ４１）。ＯＦＦ指示通知である場合には（Ｓ４１：ＹＥＳ）、ヘッドマウントディスプレイ２よりモータ１１１の電源をＯＦＦし、稼働部７の稼働を緊急させる旨の指示がなされたものと判断される。この場合、速やかにモータ１１１の電源がＯＦＦされる（Ｓ４３）。稼働部７が稼働中である場合には稼働が緊急停止される。そして、稼働部７の稼働が許可されていないことを示すために駆動許可フラグがＯＦＦされ（Ｓ４５）、通信処理は終了される。
【００９２】
ヘッドマウントディスプレイ２より受信したデータがＯＦＦ指示通知でない場合（Ｓ４１：ＮＯ）、駆動許可通知であるかが判断される（Ｓ４７）。駆動許可通知である場合には（Ｓ４７：ＹＥＳ）、稼働部７の稼働が許可されたことを示すために駆動許可フラグがＯＮされ（Ｓ４９）、通信処理は終了される。
【００９３】
ヘッドマウントディスプレイ２より受信されたデータが駆動許可通知でない場合（Ｓ４７：ＮＯ）、ＯＮ許可通知であるかが判断される（Ｓ５１）。ＯＮ許可通知である場合には（Ｓ５１：ＹＥＳ）、モータ１１１の電源ＯＮが許可されたことを示すためにＯＮ許可フラグがＯＮされる（Ｓ５３）。そして通信処理は終了される。
【００９４】
ヘッドマウントディスプレイ２より受信されたデータがＯＮ許可フラグでない場合（Ｓ５１：ＮＯ）、ＯＮ禁止通知であるかが判断される（Ｓ５５）。ＯＮ禁止通知であった場合には（Ｓ５５：ＹＥＳ）、モータ１１１の電源ＯＮが禁止されたことを示すためにＯＮ許可フラグがＯＦＦされる（Ｓ５７）。そして通信処理は終了される。一方、上述以外のデータが受信された場合には（Ｓ５５：ＮＯ）、特段処理を行うことなく通信処理が終了される。
【００９５】
図１０を参照し、駆動制御処理について説明する。操作パネル１０６を介し操作者３よりなんらかの入力操作がなされた場合、はじめに、操作者３によりモータ１１１の電源をＯＮする操作がされたかどうかが判断される（Ｓ６１）。モータ１１１の電源をＯＮする操作がされた場合には（Ｓ６１：ＹＥＳ）、次いでＯＮ許可フラグがＯＮされている状態であるかが判断される（Ｓ６３）。ＯＮ許可フラグがＯＮされている場合には（Ｓ６３：ＹＥＳ）、モータ１１１の電源ＯＮが許可された状態であると判断されるので、モータ１１１の電源がＯＮされ（Ｓ６５）、駆動制御処理は終了される。一方、ＯＮ許可フラグがＯＦＦされている場合には（Ｓ６３：ＮＯ）、モータ１１１の電源ＯＮが禁止された状態であると判断されるので、モータ１１１の電源はＯＮされることなく、駆動制御処理は終了される。
【００９６】
操作者３よりモータ１１１の電源をＯＮする操作がされていない場合には（Ｓ６１：ＮＯ）、モータ１１１の電源をＯＦＦする操作がされたかどうかが判断される（Ｓ６７）。モータ１１１の電源をＯＦＦする操作がされた場合には（Ｓ６７：ＹＥＳ）、モータ１１１の電源がＯＦＦされる（Ｓ６９）。次いで、ＯＮ許可フラグがＯＦＦされる（Ｓ７１）。そして駆動制御処理は終了される。
【００９７】
操作者３よりモータ１１１の電源をＯＦＦする操作がされていない場合には（Ｓ６７：ＮＯ）、次いで、操作者３により稼働部７を稼働させるための操作がなされたかが判断される（Ｓ７３）。稼働指示がなされていない場合には（Ｓ７３：ＮＯ）、以下特段処理を行うことなく駆動制御処理は終了される。
【００９８】
稼働部７を稼働させるための操作がなされている場合には（Ｓ７３：ＹＥＳ）、モータ１１１の電源がＯＮされている状態であるかが判断される（Ｓ７５）。モータ１１１の電源がＯＦＦされている状態では（Ｓ７５：ＮＯ）、稼働部７は稼働不可能な状態であるため、稼働部７を稼働させることなく駆動制御処理は終了される。
【００９９】
モータ１１１の電源がＯＮされている状態では（Ｓ７５：ＹＥＳ）、次いで稼働部７の稼働が許可されている状態であるかどうかが判断される（Ｓ７７）。駆動許可フラグがＯＦＦされており、稼働部７の稼働が禁止されている場合には（Ｓ７７：ＮＯ）、稼働部７の稼働が禁止されている状態であるので、モータ１１１を制御して稼働部７を稼働させることなく、駆動制御処理は終了される。駆動許可フラグがＯＮされている場合には（Ｓ７７：ＹＥＳ）、稼働部７の稼働は許可されているので、モータドライバ１１０が制御されてモータ１１１が回転し、稼働部７が稼働して作業が実行される（Ｓ７９）。そして駆動制御処理は終了される。
【０１００】
以上説明したように工作機械１０では、ヘッドマウントディスプレイ２より稼働が許可されている場合にのみ、稼働部７の稼働を開始させることが可能となっている。ヘッドマウントディスプレイ２では、作業領域の安全領域に操作者３の身体の一部が存在していると判断された場合に、駆動許可が送信されるので、稼働部７の稼働により操作者３に危害が及んでしまうことを防止することが可能となる。
【０１０１】
工作機械１０は、ヘッドマウントディスプレイ２よりＯＦＦ指示通知を受信した場合、モータ１１１の電源をＯＦＦして稼働中の稼働部７を緊急停止させる。ヘッドマウントディスプレイ２では、作業領域の危険領域に操作者３の身体の一部が進入した場合にＯＦＦ指示通知を送信するので、稼働部７の稼働に伴い危険領域に進入した身体の一部に危害が及ぶ事故を未然に防止することが可能となる。
【０１０２】
また、工作機械１０の電源は、ヘッドマウントディスプレイ２よりＯＮ許可通知を受信した状態である場合にのみ、モータ１１１の電源をＯＮさせることが可能となっている。ヘッドマウントディスプレイ２では、作業領域の安全領域の操作者の身体の少なくとも一部が存在していると判断された場合に、工作機械１０に対してＯＮ許可通知を送信する。従って工作機械１０では、操作者３の身体の一部が安全領域に存在している場合にのみ、モータ１１１の電源をＯＮさせることが可能となる。これにより、モータ１１１の電源が不用意にＯＮしてしまい、工作機械１０の稼働部７が稼働してしまって事故が発生してしまうことを防止することが可能となる。
【０１０３】
なお、図１に示す工作機械１０が本発明の「作業装置」に相当する。図２のカメラ１１が本発明の「撮像手段」に相当する。図５のフラッシュメモリ４９の第一記憶領域が本発明の「第一記憶領域」に相当する。図７のＳ３にて実行される初期化処理を行うＣＰＵ６１が本発明の「特定手段」に相当する。図８の１６にて示される危険領域が本発明の「第一領域」に相当し、図５のフラッシュメモリ４９の第二記憶領域４９２に記憶されている危険領域特定情報が本発明の「第一特定情報」に相当する。図７のＳ１７にて抽出される像情報が本発明の「第一像情報」に相当し、Ｓ１７の処理を行うＣＰＵ６１が本発明の「第一抽出手段」に相当し、Ｓ１９の処理を行うＣＰＵ６１が本発明の「第一判断手段」に相当し、Ｓ２１の処理を行うＣＰＵ６１が本発明の「表示制御手段」に相当し、図４に示す各構成を経て操作者３の網膜に画像光４を出射させる処理を行う表示部４０が本発明の「表示手段」に相当する。図７のＳ２３の処理を行うＣＰＵ６１が本発明の「第一送信手段」に相当し、Ｓ２３にて送信されるＯＦＦ指示通知が本発明の「第一通知」に相当する。
【０１０４】
図１の稼働部７が本発明の「作業手段」に相当する。図９にてＯＦＦ指示通知を受信する制御を行うＣＰＵ１０１が本発明の「第一二受信手段」に相当する。図１０のＳ６９の処理を行うＣＰＵ１０１が本発明の「第一停止手段」に相当する。
【０１０５】
図８の１７、１８にて示される領域が本発明の「第二領域」に相当する。図５のフラッシュメモリ４９の第三記憶領域４９３に記憶される安全領域特定情報が本発明の「第二特定情報」に相当する。図７のＳ２５にて抽出される像情報が本発明の「第二像情報」に相当し、Ｓ２５の処理を行うＣＰＵ６１が本発明の「第二抽出手段」に相当し、Ｓ２７の処理を行うＣＰＵ６１が本発明の「第二判断手段」に相当し、Ｓ２９及びＳ３１にて送信される駆動許可通知及びＯＮ許可通知が本発明の「第三通知」に相当し、Ｓ２９及びＳ３１にて駆動許可通知及びＯＮ許可通知を送信する処理を行うＣＰＵ１０１が本発明の「第三送信手段」に相当する。
【０１０６】
図９にて、駆動許可通知及びＯＮ許可通知を受信する処理を行うＣＰＵ１０１が本発明の「第三受信手段」に相当し、Ｓ４９にて稼働部７の稼働を許可する処理を行うＣＰＵ１０１が本発明の「第二許可手段」に相当する。
【０１０７】
なお、本発明は上記実施の形態に限定されるものではなく、種々の変更が可能である。上述の実施の形態では、作業領域の危険領域及び安全領域を特定する為の情報である危険領域特定情報及び安全領域特定情報は、ヘッドマウントディスプレイ２のフラッシュメモリ４９に記憶されていた。しかしながら本発明はこの構成に限定されない。従って、これらの情報は工作機械１０のＲＡＭ１０３やＲＯＭ１０２に記憶される構成であってもよい。このような構成とした場合、ヘッドマウントディスプレイ２は、危険監視処理が実行される前に、あらかじめ工作機械１０より通信ケーブル８を介して危険領域特定情報及び安全領域特定情報を受信しフラッシュメモリ４９に記憶する。そして記憶された危険領域特定情報及び安全領域特定情報に基づき、上述の処理が実行される。本構成とすることにより、ヘッドマウントディスプレイ２に必要な記憶容量を削減でき、小型化が可能となる。また、操作者３が共通のヘッドマウントディスプレイ２を用いて複数の工作機械１０を操作した場合に、工作機械１０毎に共通の領域設定（危険領域、安全領域）が異なっても操作を行うことが可能となる。
【０１０８】
また、上述の実施の形態では、安全領域特定情報をフラッシュメモリ４９の第三記憶領域４９３に記憶し、安全領域に操作者３の身体の一部が存在すると判断された場合に、工作機械１０の駆動を許可していたが、本発明はこの方法に限定されない。例えば、危険領域特定情報にて特定される危険領域に操作者３の身体の一部が存在しないと判断された場合に、工作機械１０の駆動を許可しても、上述の実施の形態と同様に、操作者３に危害が及ぶことを防止することができる。なおこの例において、像情報のうち危険領域に操作者３の身体の一部が存在しないと判断された場合に、工作機械１０に駆動を許可する旨の通知を送信する処理を行うＣＰＵ６１が本発明の「第二送信手段」に相当し、この通知を受信し、稼働部７の稼働を許可する処理を行うＣＰＵ１０１が本発明の「第一許可手段」に相当する。
【図面の簡単な説明】
【０１０９】
【図１】危険回避システム１の概要を示す模式図である。
【図２】ヘッドマウントディスプレイ２の外観構成を示した図である。
【図３】ヘッドマウントディスプレイ２の電気的構成を示す模式図である。
【図４】表示部４０の光学的及び電気的構成を示す模式図である。
【図５】フラッシュメモリ４９に設けられている記憶領域を示す模式図である。
【図６】工作機械１０の電気的構成を示す模式図である。
【図７】危険監視処理のフローチャートである。
【図８】ヘッドマウントディスプレイ２を介し操作者３にて視認される像の一例を示す模式図である。
【図９】通信処理を示すフローチャートである。
【図１０】駆動制御処理を示すフローチャートである。
【符号の説明】
【０１１０】
１ 危険回避システム
２ ヘッドマウントディスプレイ
３ 操作者
７ 稼働部
１０ 工作機械
１１ カメラ
１４ 加速度センサ
１６ 危険領域
１７ 安全領域
４０ 表示部
４３ 通信部
４６ 制御部
４９ フラッシュメモリ
５７ 通信モジュール
５８ 通信制御回路
６１ ＣＰＵ
１０１ ＣＰＵ
１１１ モータ
４９１ 第一記憶領域
４９２ 第二記憶領域
４９３ 第三記憶領域
【特許請求の範囲】
【請求項１】
作業装置と、前記作業装置を操作する操作者に装着されるヘッドマウントディスプレイとから構成される危険回避システムであって、
前記ヘッドマウントディスプレイは、
前記作業装置の作業領域を撮像する撮像手段と、
前記撮像手段にて撮像された前記作業領域の像情報を記憶する像情報記憶手段と、
前記撮像手段にて撮像される方向を特定する特定手段と、
前記特定手段にて特定された前記方向と、前記撮像手段にて撮像される領域のうち所定の領域である第一領域を特定するための情報であり、領域記憶手段に記憶されている情報である第一特定情報とに基づいて、前記像情報記憶手段に記憶された前記像情報から、前記第一領域に相当する前記像情報である第一像情報を抽出する第一抽出手段と、
前記第一抽出手段にて抽出された第一像情報に、前記操作者の身体の少なくとも一部に相当する像情報である身体像情報が含まれているか否かを判断する第一判断手段と、
前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記操作者に対して前記第一領域外に身体の一部を移動させるように促すための情報を表示手段に表示させる表示制御手段と、
前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第一通知を送信する第一送信手段と、
前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていないと判断された場合に、前記作業装置に対して第二通知を送信する第二送信手段と
を備え、
前記作業装置は、
所定の加工作業を行う作業手段と、
前記第一通知又は第二通知を受信する第一二受信手段と、
前記第一二受信手段にて前記第一通知が受信された場合に、前記作業手段による加工作業を停止させる第一停止手段と、
前記第一二受信手段にて前記第二通知が受信された場合に、前記作業手段による加工作業を許可する第一許可手段と
を備えた危険回避システム。
【請求項２】
前記領域記憶手段には、
前記撮像手段にて撮像可能な領域のうち前記第一領域以外の領域であって所定の領域である第二領域を特定する為の情報である第二特定情報が記憶されており、
前記ヘッドマウントディスプレイは、
前記像情報記憶手段に記憶された前記像情報から、前記第二特定情報にて特定される前記第二領域に相当する前記像情報である第二像情報を抽出する第二抽出手段と、
前記第二抽出手段にて抽出された前記第二像情報に、前記身体像情報が含まれているか否かを判断する第二判断手段と、
前記第二判断手段にて、前記第二像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第三通知を送信する第三送信手段と
を備え、
前記作業装置は、
前記第三通知を受信する第三受信手段と、
前記第三受信手段にて前記第三通知が受信された場合に、前記作業手段による加工作業を許可する第二許可手段と、
を備えたことを特徴とする請求項１に記載の危険回避システム。
【請求項３】
前記領域記憶手段は、前記ヘッドマウントディスプレイに設けられることを特徴とする請求項１又は２に記載の危険回避システム。
【請求項４】
前記領域記憶手段は、前記作業装置に設けられることを特徴とする請求項１又は２に記載の危険回避システム。
【請求項５】
作業装置の作業領域を判断し、操作者の身体の少なくとも一部の前記作業領域内への侵入を監視するヘッドマウントディスプレイであって、
前記作業装置の作業領域を撮像する撮像手段と、
前記撮像手段にて撮像された前記作業領域の像情報を記憶する像情報記憶手段と、
前記撮像手段にて撮像される方向を特定する特定手段と、
前記特定手段にて特定された前記方向と、前記撮像手段にて撮像される領域のうち所定の領域である第一領域を特定するための情報であり、領域記憶手段に記憶されている情報である第一特定情報とに基づいて、前記像情報記憶手段に記憶された前記像情報から、前記第一領域に相当する前記像情報である第一像情報を抽出する第一抽出手段と、
前記第一抽出手段にて抽出された第一像情報に、前記操作者の身体の少なくとも一部に相当する像情報である身体像情報が含まれているか否かを判断する第一判断手段と、
前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記操作者に対して前記第一領域外に身体の一部を移動させるように促すための情報を表示手段に表示させる表示制御手段と、
前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第一通知を送信する第一送信手段と、
前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていないと判断された場合に、前記作業装置に対して第二通知を送信する第二送信手段と
を備えたことを特徴とするヘッドマウントディスプレイ。
【請求項６】
前記領域記憶手段には、
前記撮像手段にて撮像可能な領域のうち前記第一領域以外の領域であって所定の領域である第二領域を特定する為の情報である第二特定情報が記憶されており、
前記像情報記憶手段に記憶された前記像情報から、前記第二特定情報にて特定される前記第二領域に相当する前記像情報である第二像情報を抽出する第二抽出手段と、
前記第二抽出手段にて抽出された前記第二像情報に、前記身体像情報が含まれているか否かを判断する第二判断手段と、
前記第二判断手段にて、前記第二像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第三通知を送信する第三送信手段と
を備えたことを特徴とする請求項５に記載のヘッドマウントディスプレイ。
【請求項１】
作業装置と、前記作業装置を操作する操作者に装着されるヘッドマウントディスプレイとから構成される危険回避システムであって、
前記ヘッドマウントディスプレイは、
前記作業装置の作業領域を撮像する撮像手段と、
前記撮像手段にて撮像された前記作業領域の像情報を記憶する像情報記憶手段と、
前記撮像手段にて撮像される方向を特定する特定手段と、
前記特定手段にて特定された前記方向と、前記撮像手段にて撮像される領域のうち所定の領域である第一領域を特定するための情報であり、領域記憶手段に記憶されている情報である第一特定情報とに基づいて、前記像情報記憶手段に記憶された前記像情報から、前記第一領域に相当する前記像情報である第一像情報を抽出する第一抽出手段と、
前記第一抽出手段にて抽出された第一像情報に、前記操作者の身体の少なくとも一部に相当する像情報である身体像情報が含まれているか否かを判断する第一判断手段と、
前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記操作者に対して前記第一領域外に身体の一部を移動させるように促すための情報を表示手段に表示させる表示制御手段と、
前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第一通知を送信する第一送信手段と、
前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていないと判断された場合に、前記作業装置に対して第二通知を送信する第二送信手段と
を備え、
前記作業装置は、
所定の加工作業を行う作業手段と、
前記第一通知又は第二通知を受信する第一二受信手段と、
前記第一二受信手段にて前記第一通知が受信された場合に、前記作業手段による加工作業を停止させる第一停止手段と、
前記第一二受信手段にて前記第二通知が受信された場合に、前記作業手段による加工作業を許可する第一許可手段と
を備えた危険回避システム。
【請求項２】
前記領域記憶手段には、
前記撮像手段にて撮像可能な領域のうち前記第一領域以外の領域であって所定の領域である第二領域を特定する為の情報である第二特定情報が記憶されており、
前記ヘッドマウントディスプレイは、
前記像情報記憶手段に記憶された前記像情報から、前記第二特定情報にて特定される前記第二領域に相当する前記像情報である第二像情報を抽出する第二抽出手段と、
前記第二抽出手段にて抽出された前記第二像情報に、前記身体像情報が含まれているか否かを判断する第二判断手段と、
前記第二判断手段にて、前記第二像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第三通知を送信する第三送信手段と
を備え、
前記作業装置は、
前記第三通知を受信する第三受信手段と、
前記第三受信手段にて前記第三通知が受信された場合に、前記作業手段による加工作業を許可する第二許可手段と、
を備えたことを特徴とする請求項１に記載の危険回避システム。
【請求項３】
前記領域記憶手段は、前記ヘッドマウントディスプレイに設けられることを特徴とする請求項１又は２に記載の危険回避システム。
【請求項４】
前記領域記憶手段は、前記作業装置に設けられることを特徴とする請求項１又は２に記載の危険回避システム。
【請求項５】
作業装置の作業領域を判断し、操作者の身体の少なくとも一部の前記作業領域内への侵入を監視するヘッドマウントディスプレイであって、
前記作業装置の作業領域を撮像する撮像手段と、
前記撮像手段にて撮像された前記作業領域の像情報を記憶する像情報記憶手段と、
前記撮像手段にて撮像される方向を特定する特定手段と、
前記特定手段にて特定された前記方向と、前記撮像手段にて撮像される領域のうち所定の領域である第一領域を特定するための情報であり、領域記憶手段に記憶されている情報である第一特定情報とに基づいて、前記像情報記憶手段に記憶された前記像情報から、前記第一領域に相当する前記像情報である第一像情報を抽出する第一抽出手段と、
前記第一抽出手段にて抽出された第一像情報に、前記操作者の身体の少なくとも一部に相当する像情報である身体像情報が含まれているか否かを判断する第一判断手段と、
前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記操作者に対して前記第一領域外に身体の一部を移動させるように促すための情報を表示手段に表示させる表示制御手段と、
前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第一通知を送信する第一送信手段と、
前記第一判断手段にて、前記第一像情報に前記身体像情報が含まれていないと判断された場合に、前記作業装置に対して第二通知を送信する第二送信手段と
を備えたことを特徴とするヘッドマウントディスプレイ。
【請求項６】
前記領域記憶手段には、
前記撮像手段にて撮像可能な領域のうち前記第一領域以外の領域であって所定の領域である第二領域を特定する為の情報である第二特定情報が記憶されており、
前記像情報記憶手段に記憶された前記像情報から、前記第二特定情報にて特定される前記第二領域に相当する前記像情報である第二像情報を抽出する第二抽出手段と、
前記第二抽出手段にて抽出された前記第二像情報に、前記身体像情報が含まれているか否かを判断する第二判断手段と、
前記第二判断手段にて、前記第二像情報に前記身体像情報が含まれていると判断された場合に、前記作業装置に対して第三通知を送信する第三送信手段と
を備えたことを特徴とする請求項５に記載のヘッドマウントディスプレイ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−１４４７７３（Ｐ２０１０−１４４７７３Ａ）
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願番号】特願２００８−３２０６１４（Ｐ２００８−３２０６１４）
【出願日】平成２０年１２月１７日（２００８．１２．１７）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願日】平成２０年１２月１７日（２００８．１２．１７）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]