作業支援システム、装置、方法及びプログラム
【課題】作業者が作業対象から視線を外すことなく、遠隔地から与えられた視覚的な指示を確認することができる作業支援システム提供する。
【解決手段】所定の情報を表示可能なヘッドマウントディスプレイ装置１と、ヘッドマウントディスプレイ装置１を装着した作業者の視線方向を撮影可能な撮影手段２と、情報処理装置３とを備え、情報処理装置３は、作業者に指示を与えるオペレータの操作に従って、撮影手段２が撮影した作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成する指示画像生成手段５を含み、ヘッドマウントディスプレイ装置１は、指示画像生成手段５が生成した指示画像を表示する際に、指示画像が作業者の視界と重なるように制御する制御手段４を含む。
【解決手段】所定の情報を表示可能なヘッドマウントディスプレイ装置１と、ヘッドマウントディスプレイ装置１を装着した作業者の視線方向を撮影可能な撮影手段２と、情報処理装置３とを備え、情報処理装置３は、作業者に指示を与えるオペレータの操作に従って、撮影手段２が撮影した作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成する指示画像生成手段５を含み、ヘッドマウントディスプレイ装置１は、指示画像生成手段５が生成した指示画像を表示する際に、指示画像が作業者の視界と重なるように制御する制御手段４を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業支援システム、ヘッドマウントディスプレイ装置、作業支援方法及び作業支援プログラムに関する。
【背景技術】
【０００２】
通信ネットワークに障害が発生した際には、障害を引き起こしていると考えられる被疑装置を即座に特定し、特定した装置を良好な代替品と交換してしまうことでユーザへの影響を最小に留めることが求められる。このような機器の保守交換の作業においては、一般に、通信ネットワークの監視部門が遠隔地からリモートで被疑装置を特定し、実際に交換作業を行う現地の作業者が監視部門のオペレータからの指示に従って作業を行うという工程が実施される。
【０００３】
この工程では、オペレータが電話などを用いて口頭で作業者に指示を伝達することが一般的である。そのため、コミュニケーションミスを誘発する可能性や、作業者が正確に指示通りに作業を行っているかオペレータから判断することが難しいといった課題が存在している。
【０００４】
このような課題を解決可能な技術として、例えば特許文献１には、作業を支援することを目的とした技術が記載されている。また、例えば特許文献２には、これらに関連する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０１３７２号公報
【特許文献２】特開２００９−２７９１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実際に、遠隔地のオペレータが指示を出す際のコミュニケーションミスや、作業者の不注意などの原因により、故障している装置でなく誤って正常な装置に対して交換作業を行ってしまうことがある。その結果、新たに余計な通信障害を招いてしまうというヒューマンエラーが発生するケースがある。
【０００７】
また、装置の実装状況がイレギュラーであるために、通常の手順では作業遂行が困難なケースが存在する。この場合には、対象装置の周辺の作業環境をオペレータが全て把握しているとは限らないため、作業者がそれを口頭で伝達してもオペレータに正確に伝えることができないことがある。そのため、作業手順の調整が付かないまま通常の手順で作業を実行してしまい、その結果周辺装置に影響を与えてしまう、という作業エラー発生のリスクも存在している。
【０００８】
さらに、障害対象装置の原因切り分け作業を遂行していく過程で、当初被疑装置と見られていた装置以外が作業対象となり、作業環境や作業場所が変化するケースが存在する。この場合には、改めて対象装置の交換手順書を作業者に送付し、装置の特定など口頭での指示を最初からやり直す必要がある。そのため、予定を変更するための口頭指示が必要となり、コミュニケーションミスが発生する原因が増えることとなる。それに加え、変更された被疑装置に別途専門の知識を求められる場合には、当初の被疑装置の知識しか有しない作業者が作業に従事していたとすると、変更後の装置の専門知識を有する作業者を別途アサインし駆け付けさせなければならない。
【０００９】
特許文献１に記載された方法では、監督者が作業支援装置から受信した撮影画像と音声とを監視し、異常な出来事があれば監督者端末を用いて指示を作業支援装置に配信する。そして、作業支援装置は、受信した指示をヘッドマウントディスプレイに表示し、またはイヤホンに音声出力する。そのため、特許文献１に記載された方法を用いれば、オペレータは遠隔地にいながら現場の状態を把握できるとともに、口頭のみで行っていた指示に加え、視覚的に指示を与えることができる。しかしながら、このようにヘッドマウントディスプレイに指示を単純に表示する方法では、指示内容が小さく表示される場合などにうまく視界と重なるように表示できるとは限らず、作業者が確実に認識できるとは限らない。
【００１０】
また、同等の作業工程となる保全作業において、作業映像を取得し、作業対象を３次元リアルタイムシミュレーション画像内に明示して、作業映像と重畳させることにより差分を表示させ作業対象の明示、および手順を遵守した作業遂行を支援する技術がある。例えば、特許文献２にはこれに関連する技術が記載されている。
【００１１】
しかし、特許文献２に記載された技術では、事前にシミュレーション画像のモデルデータベースの準備、および作業対象の明記が必要である。また、特許文献２には視覚的な指示を与える旨の開示はない。そのため、通信障害対象の切り分けを行いながら逐次作業対象装置や作業環境の変化する保守作業には適用が難しい。
【００１２】
そこで、本発明は、作業者が作業対象から視線を外すことなく、遠隔地から与えられた視覚的な指示をより確実に確認することができる作業支援システム、ヘッドマウントディスプレイ装置、作業支援方法及び作業支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明による作業支援システムは、所定の情報を表示可能なヘッドマウントディスプレイ装置と、ヘッドマウントディスプレイ装置を装着した作業者の視線方向を撮影可能な撮影手段と、情報処理装置とを備え、情報処理装置は、作業者に指示を与えるオペレータの操作に従って、撮影手段が撮影した作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成する指示画像生成手段を含み、ヘッドマウントディスプレイ装置は、指示画像生成手段が生成した指示画像を表示する際に、指示画像が作業者の視界と重なるように制御する制御手段を含むことを特徴とする。
【００１４】
本発明によるヘッドマウントディスプレイ装置は、ヘッドマウントディスプレイ装置を装着した作業者の視線方向を撮影した撮影画像に所定の画像を重畳した指示画像を表示する際に、指示画像が作業者の視界と重なるように制御する制御手段を備えたことを特徴とする。
【００１５】
本発明による作業支援方法は、ヘッドマウントディスプレイ装置を装着した作業者に指示を与えるオペレータの操作に従って、撮影手段が撮影した作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成し、生成した指示画像をヘッドマウントディスプレイ装置で表示する際に、指示画像が作業者の視界と重なるように制御することを特徴とする。
【００１６】
本発明による作業支援プログラムは、コンピュータに、ヘッドマウントディスプレイ装置を装着した作業者に指示を与えるオペレータの操作に従って、撮影手段が撮影した作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成する指示画像生成処理と、生成した指示画像をヘッドマウントディスプレイ装置で表示する際に、指示画像が作業者の視界と重なるように制御する制御処理とを実行させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、作業者が作業対象から視線を外すことなく、遠隔地から与えられた視覚的な指示をより確実に確認することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明による作業支援システムの構成の一例を示すブロック図である。
【図２】指示付きの作業視野３１の一例を示す説明図である。
【図３】作業支援システムが実行する処理例を示す流れ図である。
【図４】作業者およびオペレータの視界の一例を示す説明図である。
【図５】作業支援システムの最小の構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について図面を参照して説明する。図１は、本発明による作業支援システムの構成の一例を示すブロック図である。図１に示すように、作業支援システムは、片眼ゴーグル型のヘッドマウントディスプレイ装置１００（以下、単にヘッドマウントディスプレイ装置１００という）と、ウェアラブル端末２００と、オペレータ用情報処理装置３００とを含む。なお、本実施形態では、作業者が体に身に付けられるウェアラブル端末を用いるが、ウェアラブル端末に代えて、例えば、ノート型のパーソナルコンピュータ等を用いられてもよい。
【００２０】
ヘッドマウントディスプレイ装置１００とウェアラブル端末２００とは、作業者によって装着され、有線または無線で相互に接続されている。また、ウェアラブル端末２００とオペレータ用情報処理装置３００とは、ＬＡＮやインターネット等の通信ネットワーク４００を介して相互に接続されている。
【００２１】
本実施形態では、ヘッドマウントディスプレイ装置１００は、作業者が作業中に装着するものであり、具体的には、眼鏡型のディスプレイ装置によって実現される。また、ヘッドマウントディスプレイ装置１００は、眼鏡の片側のレンズに相当する部分に半透過ディスプレイ装置１２０を備えている。
【００２２】
なお、本実施形態では眼鏡型のヘッドマウントディスプレイ装置１００を用いるが、これに限らず、頭部に装着可能であれば、例えばヘルメット型のディスプレイ装置が用いられてもよい。また、本実施形態では、光学方式のヘッドマウントディスプレイ装置１００を用いるが、これに限らず、例えば、網膜上に画像を投影する方式の装置が用いられてもよい。また、例えば、外部を直接見るのではなく、カメラで撮影した外部画像を投影するタイプのものでもよい。本実施形態では、一般的な用法に従い、眼鏡型やヘルメット型、光学方式型や網膜照射型等を全て包括してヘッドマウントディスプレイ装置という。また、本実施形態では、画像とは、動画像または静止画像のことである。
【００２３】
ヘッドマウントディスプレイ装置１００の半透過ディスプレイ装置１２０については、装着した作業者の焦点距離に合わせた位置に調節可能である。例えば、ヘッドマウントディスプレイ装置１００の制御手段１３０は、作業者の調節操作に従って、半透過ディスプレイ装置１２０を前後に移動させるように制御する。また、本実施形態では、半透過ディスプレイ装置１２０に表示される画像については、その拡大率を手元で調節可能である。例えば、ヘッドマウントディスプレイ装置１００の制御手段１３０は、作業者の調節操作に従って、半透過ディスプレイ装置１２０が表示する画像の拡大率を変更するように制御する。なお、制御手段１３０は、拡大率に限らず、表示する画像の位置や角度、色彩等を補正するようにしてもよい。
【００２４】
また、ヘッドマウントディスプレイ装置１００は、作業者の視界をさえぎらない箇所に、作業者の視界を正確に撮影できる角度でＷｅｂカメラ１１０を搭載している。Ｗｅｂカメラ１１０は、作業者の視界を撮影し、作業者の視界画像１０をウェアラブル端末２００に送信する。なお、本実施形態では、ヘッドマウントディスプレイ装置１００がＷｅｂカメラ１１０を搭載する構成になっているが、これに限らず、それぞれ別に作業者が装着するようにしてもよい。
【００２５】
ウェアラブル端末２００は、具体的には、作業者が体に身に付けられる小型の情報処理装置によって実現され、プログラムに従って動作する。また、ウェアラブル端末２００は、ヘッドマウントディスプレイ装置１００またはオペレータ用情報処理装置３００とデータの送受信を行う機能を備えている。
【００２６】
オペレータ用情報処理装置３００は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。オペレータ用情報処理装置３００は、ウェアラブル端末２００から受信した作業者の視界画像１０を表示するディスプレイ装置３１０と、表示された作業者の視界画像１０をリアルタイムで編集可能なリアルタイム画像編集ツール３２０とを備えている。
【００２７】
リアルタイム画像編集ツール３２０は、具体的には、オペレータ用情報処理装置３００が搭載する画像編集用のソフトウェアである。以下、リアルタイム画像編集ツール３２０が、作業者の視界画像１０を編集し、オペレータの指示画像１２を作成する等の表現を用いるが、具体的には、オペレータ用情報処理装置３００のＣＰＵがリアルタイム画像編集ツール３２０に従ってそれらの処理を実行している。
【００２８】
リアルタイム画像編集ツール３２０は、例えば、オペレータの操作（図１に示すオペレータの指示操作２０）に従って、作業者の視界画像１０にポインタの動作などで動的な指示画像を重畳したり、輪郭検出により特定部位に着色をしたりする。本実施形態では、オペレータ用情報処理装置３００は、ディスプレイ装置３１０に表示された作業者の視界画像１０にリアルタイム画像編集ツール３２０によってオペレータの指示操作２０を反映させることで、指示ポインタ画像１１を重畳したオペレータの指示画像１２を作成する。
【００２９】
また、オペレータ用情報処理装置３００は、作成したオペレータの指示画像１２を、通信ネットワーク４００を介してウェアラブル端末２００に送信する。そして、ウェアラブル端末２００は、受信したオペレータの指示画像１２をヘッドマウントディスプレイ装置１００に送信する。すると、ヘッドマウントディスプレイ装置１００の半透過ディスプレイ装置１２０は、受信したオペレータの指示画像１２を表示する。
【００３０】
図１に示される作業者の視界３０は、半透過ディスプレイ装置１２０に何も表示されていない状態でのものである。また、図１に示される作業者の指示付きの作業視野３１は、半透過ディスプレイ装置１２０にオペレータの指示画像１２が表示されている状態のものである。すなわち、作業者の指示付きの作業視野３１は、作業者が片方の眼で半透過ディスプレイ装置１２０に表示されたオペレータの指示画像１２を見て、もう片方の眼で通常通り作業対象等を見ることによって実現される。
【００３１】
図２は、指示付きの作業視野の一例を示す説明図である。図２に示されるように、半透過ディスプレイ装置１２０は、Ｗｅｂカメラ１１０よって撮影された作業者の右目の視界に相当する視界画像１０に指示ポインタ画像１１を重畳したオペレータの指示画像１２を表示している。作業者は、この半透過ディスプレイ装置１２０に表示されたオペレータの指示画像１２を右目で見ることによって、通常の視界に指示画像を加えたように見ることができる。
【００３２】
また、半透過ディスプレイ装置１２０が半透過型であるので、作業者は、オペレータの指示画像１２を見ながら半透過ディスプレイ装置１２０越しに対象機器等を視認することができる。例えば、作業者は、オペレータの指示画像１２が半透過ディスプレイ装置１２０越しの視界と重なるように、画像の拡大率や表示位置、角度などを変更する調節操作を行う。このように調節操作を行うことによって、作業者は片方の眼でオペレータの指示画像１２を見ることの違和感を抑えることができる。
【００３３】
次に、作業支援システムの動作について図面を参照して説明する。図３は、作業支援システムが実行する処理例を示す流れ図である。
【００３４】
ここでは、作業者は、片眼ゴーグル型のヘッドマウントディスプレイ装置１００を装着し、ウェアラブル端末２００を使用しながら通信装置等に対する作業を行うとする。また、オペレータは通信装置のネットワーク監視を行っているため、作業対象である被疑装置に関する情報を持っているとする。さらに、オペレータと作業者とは、Skype（登録商標）などの通信サービスを用いて会話可能であるとする。
【００３５】
作業者が対象装置を特定するに当たり、オペレータから口頭での指示を受けながら対象装置の周辺を視界に捉える。すると、作業者が装着したヘッドマウントディスプレイ装置１００に搭載されたＷｅｂカメラ１１０は、作業者の視線方向を撮影する（ステップＳ１）。また、Ｗｅｂカメラ１１０は、作業者の視線方向を撮影した作業者の視界画像１０をウェアラブル端末２００に送信する。すると、ウェアラブル端末２００は、インターネット等の通信ネットワーク４００を介して、オペレータ用情報処理装置３００に作業者の視界画像１０を送信する（ステップＳ２）。
【００３６】
次いで、オペレータ用情報処理装置３００のディスプレイ装置３１０は、受信した作業者の視界画像１０を表示する（ステップＳ３）。そして、オペレータは、作業者の視界画像１０をディスプレイ装置３１０上で確認し、会話の内容と合わせて作業者が現状でどの装置を対象と認識しているかを把握する。
【００３７】
次いで、オペレータは、作業者に対して口頭で対象装置に関する指示を出すと共に、リアルタイム画像編集ツール３２０を用いて、ポインタで対象を指差す操作、またはポインタを動かし対象を円で囲む等の操作（図１に示すオペレータの指示操作２０）を行う。すると、リアルタイム画像編集ツール３２０は、オペレータの指示操作２０に従って、指示ポインタ画像１１を作業者の視界画像１０に重畳し、オペレータの指示画像１２を生成する（ステップＳ４）。
【００３８】
次いで、リアルタイム画像編集ツール３２０は、生成したオペレータの指示画像１２を、通信ネットワーク４００を介してウェアラブル端末２００に送信する。すると、ウェアラブル端末２００は、オペレータの指示画像１２をヘッドマウントディスプレイ装置１００に送信する（ステップＳ５）。
【００３９】
次いで、ヘッドマウントディスプレイ装置１００の半透過ディスプレイ装置１２０は、受信したオペレータの指示画像１２を表示する（ステップＳ６）。
【００４０】
ここで、作業者の焦点距離に合わせて半透過ディスプレイ装置１２０を調整することが可能である。また、半透過ディスプレイ装置１２０が表示する画像の拡大率についても手元の操作で調整が可能である。そのため、作業者は、半透過ディスプレイ装置１２０を半透過して見える視野と、半透過ディスプレイ装置１２０に表示されるオペレータの指示画像１２の視野（具体的には、作業者の視界画像１０）とが重なるように調節することができる。ヘッドマウントディスプレイ装置１００の制御手段１３０は、作業者の調節操作に従って、オペレータの指示画像１２が作業者の視界３０と重なるように制御する（ステップＳ７）。
【００４１】
具体的には、ヘッドマウントディスプレイ装置１００の制御手段１３０は、作業者の調節操作に従って、作業者の焦点距離に合わせるように半透過ディスプレイ装置１２０の位置を前後に移動させるように制御する。また、例えば、ヘッドマウントディスプレイ装置１００の制御手段１３０は、作業者の調節操作に従って、半透過ディスプレイ装置１２０が表示する画像の拡大率を変更するように制御する。このように調節することにより、作業者は、図２に示す様に、片方の眼では通常の自分の視野を、もう片方の眼でオペレータがリアルタイムで指示を付加した視野（具体的には指示ポインタ画像１１を付加した作業者の視界画像１０（すなわちオペレータの指示画像１２））を見ることになる。本実施形態では、この状態の視野を指示付きの作業視野３１という。このような指示付きの作業視野３１によって、作業者は、作業対象の特定および作業実施時にオペレータから口頭による指示と視覚的な指示とを受けて作業を行うことができる。また、作業者は作業対象から視線を動かすことなく、オペレータからの視覚的な指示を見ることができる。
【００４２】
次に、作業者およびオペレータの視界について図４を参照して説明する。図４は、作業者およびオペレータの視界の一例を示す説明図である。
【００４３】
作業者は、ウェアラブル端末２００と、作業者の片方の眼に対して画像を映し出す半透過ディスプレイ装置１２０および作業者の視界を撮影するＷｅｂカメラ１１０を備えた片眼ゴーグル型のヘッドマウントディスプレイ装置１００とを装着して作業を行っているとする。また、作業者が装着しているウェアラブル端末２００とオペレータ用情報処理装置３００とは、リアルタイムで画像データを送受信しているとする。
【００４４】
Ｗｅｂカメラ１１０は、作業者の視界３０を撮影し（図４のａ１）、撮影した作業者の視界画像１０をオペレータ用情報処理装置３００に送信する（図４のａ２）。
【００４５】
ディスプレイ装置３１０は、受信した作業者の視界画像１０を表示する。オペレータは、ディスプレイ装置３１０が表示する作業者の視界画像１０を確認する。そして、オペレータは、作業者の視界画像１０に対して、リアルタイムで画像編集可能なツールにより、マウスやタッチパネル操作によるポインタなどの指標の動作、または画像からの輪郭取得による対象の着色などの選択表示を行い、作業者の視界画像に指示を付加する。ディスプレイ装置３１０は、作業者の視界画像に指示を付加したオペレータの指示画像１２を表示する（図４のａ３）。
【００４６】
半透過ディスプレイ装置１２０は、オペレータ用情報処理装置３００から受信したオペレータの指示画像１２を表示する（図４のａ４）。作業者は、自分の視界（作業者の視界３０）とリアルタイムで重畳されたオペレータの指示画像１２とを見ることで指示付きの作業視野３１を手に入れ、オペレータと口頭で確認を行いながら正確な作業実施が実現可能となる。
【００４７】
また、情報処理端末などで指示書や指示画像を表示する場合には、作業者は指示を見るために作業対象から情報処理端末などに視線を一度動かさなければならない。そのため、視界を戻した際に作業対象を見間違ってしまうリスクが発生する。しかし、本実施形態では、自身の視界（具体的には、視界に相当する視界画像）に指示画像を重畳させて視認できるので、指示を見るために視線を動かす必要がない。そのため、作業対象を見間違ってしまうリスクが低減されると共に、作業を中断する事無く円滑な作業遂行が実現可能となる。
【００４８】
以上のように、本実施形態では、口頭のみで行っていた遠隔作業指示に視覚的な指示を加えることが可能となる。そのため、作業者の行動に対して作業者自身とオペレータとのダブルチェックが働くこととなり、指示に対する誤解釈や誤った作業のリスクを大きく削減するという効果がある。
【００４９】
また、作業者の視界にオペレータの指示画像を重ねるように遠隔地から視覚的な指示を与えることで、作業者が指示を見る為に逐一作業対象から視線を外す必要が無く、作業対象を見間違えるリスクを軽減する効果がある。さらに、オペレータの指示画像が半透過ディスプレイ装置越しの視界と重なるように調節操作を行うことによって、作業者は片方の眼でオペレータの指示画像を見ることの違和感を抑えることができる。
【００５０】
また、随時変化する作業者の視界に対しリアルタイムにオペレータが指示を出すことが可能なため、障害箇所の切り分けなどにより当初の被疑装置から作業環境や対象装置が変更になった場合にも円滑に作業を継続対応することが可能である。この際に作業者の対象装置に対する専門知識が不足している場合でも、オペレータが専門知識を持ち随時詳細な指示を出すことで、作業者の知識不足を補い、作業者を交代することなく作業を遂行することができる。
【００５１】
また、作業環境がイレギュラーな場合にも、作業者の視界画像を通してオペレータが環境を把握することができ、通常の作業手順から作業環境の状況に応じた手順へ変更することが可能となる。
【００５２】
なお、本発明の適用形態は、以上に示した形態に限られない。例えば、以下に示すような宅内作業を内製化するための形態に適用することもできる。
【００５３】
通信回線の終端装置は設置場所が電話会社の局舎でなく顧客の事務所であることが大多数である。この顧客へ納入している通信回線に障害が発生した場合には、顧客事務所へ保守会社作業者が駆け付けて終端装置の交換保守作業（宅内作業）を行うこととなるが、その発生回数は膨大な数となっている。
【００５４】
上記の効果説明に挙げた通り、本発明を適用すれば作業者の専門知識不足を補うことが可能なため、保守会社要員でなく装置の納入先の顧客が自分で作業することができる。
【００５５】
具体的には、宅内で障害が発生した際に、通常は監視部門から保守会社へ出動要請があり、作業者のアサインと予備部材の配送手配をするが、本発明を適用する場合には、本発明に係る装置と予備部材の配送手配だけで済む。受け取った顧客はヘッドマウントディスプレイ装置等を装着し、オペレータの指示を受けて終端装置の交換作業を行う。その後、故障部材とヘッドマウントディスプレイ装置等とを返送すれば作業が完了する。
【００５６】
上記の適用形態では、作業者の駆け付けに要する時間を削減することによる障害復旧時間の短縮、作業者リソースの削減という効果が期待できる。常時駆け付けられるよう作業者のリソースは常に一定量確保しているため、この削減効果は保守会社にとって大きなものである。
【００５７】
また、本実施形態では、作業者が自身の視界を確保しつつ片眼ゴーグル型のヘッドマウントディスプレイ装置の半透過ディスプレイ装置に指示付き画像を映し作業を行う場合について説明した。しかしながら、本発明の適用形態は、片眼ゴーグル型のヘッドマウントディスプレイ装置を用いるものに限られない。例えば、半透過ディスプレイ装置に映る指示付き画像を限りなく時間的にリアルタイム画像に近づけることで、半透過ディスプレイ装置を供えた両眼ゴーグル型、または非透過ディスプレイ装置を備えた両眼ゴーグル型のヘッドマウントディスプレイ装置に置き換え、作業者が自身の視界でなく画像のみを視認して作業をすることも可能である。
【００５８】
その場合においては、カメラを両眼それぞれの位置に設置し片眼ずつの画像を取得することで、両眼視差による３Ｄ画像をゴーグルに映し出すことも可能である。例えば、複数のＷｅｂカメラをヘッドマウントディスプレイ装置に搭載させ、オペレータ用情報処理装置は、複数のＷｅｂカメラがそれぞれ撮影した作業者の視界画像に基づいて３Ｄ画像を生成し、ヘッドマウントディスプレイ装置に送信して表示させる。また、その際には３Ｄ画像に対する指示の付加方法として、ポインタの代わりに手の立体画像を用いてもよい。また、その指示ポインタ画像や、手の立体画像を作業者の視界画像に重畳する際のオペレータ用情報処理装置の入力インターフェースとして、直感的な指示出しを行うため、タッチパネル機能を備えたディスプレイ装置を用いてもよい。また、オペレータがモーションセンサ付きのグローブを動かすことで手の立体画像を動かすインターフェースも用いてもよい。
【００５９】
さらに、本発明を、通信装置に対する作業のみならず、絵を描く、陶芸、医療手術等、実際の作業者にある程度の技術的素養を必要としつつも遠隔地から専門者の指示による知識的支援により向上を図れる作業にも適用可能である。また、電話会社の局舎内で機械室および作業対象ラックを見つける等、複雑な経路に対する遠隔地からの道案内や誘導にも適用可能である。
【００６０】
次に、本発明による作業支援システムの最小構成について説明する。図５は、作業支援システムの最小の構成例を示すブロック図である。図５に示すように、作業支援システムは、最小の構成要素として、所定の情報を表示可能なヘッドマウントディスプレイ装置１と、ヘッドマウントディスプレイ装置１を装着した作業者の視線方向を撮影可能な撮影手段２と、情報処理装置３とを備えている。また、ヘッドマウントディスプレイ装置１は、制御手段４を含む。また、情報処理装置３は、指示画像生成手段５を含む。
【００６１】
図５に示す最小構成の作業支援システムでは、指示画像生成手段５は、作業者に指示を与えるオペレータの操作に従って、撮影手段２が撮影した作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成する。そして、制御手段４は、指示画像生成手段５が生成した指示画像をヘッドマウントディスプレイ装置１で表示する際に、指示画像が作業者の視界と重なるように制御する。
【００６２】
従って、最小構成の作業支援システムによれば、作業者が作業対象から視線を外すことなく、遠隔地から与えられた視覚的な指示をより確実に確認することができる。
【００６３】
なお、本実施形態では、以下の（１）〜（５）に示すような作業支援システムの特徴的構成が示されている。
【００６４】
（１）作業支援システムは、所定の情報を表示可能（例えば、半透過ディスプレイ装置１２０によって実現される）なヘッドマウントディスプレイ装置（例えば、ヘッドマウントディスプレイ装置１００）と、ヘッドマウントディスプレイ装置を装着した作業者の視線方向を撮影可能な撮影手段（例えば、Ｗｅｂカメラ１１０によって実現される）と、情報処理装置（例えば、オペレータ用情報処理装置３００によって実現される）とを備え、情報処理装置は、作業者に指示を与えるオペレータの操作（例えば、オペレータの指示操作２０）に従って、撮影手段が撮影した作業者の視線方向の撮影画像（例えば、作業者の視界画像１０）に所定の画像（例えば、指示ポインタ画像１１）を重畳し指示画像（例えば、オペレータの指示画像１２）を生成する指示画像生成手段（例えば、リアルタイム画像編集ツール３２０によって実現される）を含み、ヘッドマウントディスプレイ装置は、指示画像生成手段が生成した指示画像を表示する際に、指示画像が作業者の視界（例えば、作業者の視界３０）と重なるように制御する制御手段（例えば、制御手段１３０によって実現される）を含むことを特徴とする。
【００６５】
（２）作業支援システムにおいて、制御手段は、ヘッドマウントディスプレイ装置に設けられた表示部（例えば、半透過ディスプレイ装置１２０）に指示画像生成手段が生成した指示画像を表示する際に、作業者の焦点距離に合わせて表示部の位置を変更するように制御するように構成されていてもよい。
【００６６】
（３）作業支援システムにおいて、制御手段は、指示画像生成手段が生成した指示画像を表示する際に、指示画像の拡大率を変更するように制御するように構成されていてもよい。
【００６７】
（４）作業支援システムにおいて、複数の撮影手段を備え、情報処理装置は、複数の撮影手段がそれぞれ撮影した作業者の視線方向の撮影画像に基づいて立体画像を生成し、ヘッドマウントディスプレイ装置は、生成した立体画像を表示するように構成されていてもよい。
【００６８】
（５）作業支援システムにおいて、指示画像生成手段は、生成した立体画像に所定の立体画像を重畳し（例えば、モーションセンサ付きのグローブを用いて実現される）指示画像を生成するように構成されていてもよい。
【産業上の利用可能性】
【００６９】
本発明は、遠隔地にいるオペレータの指示に基づく作業や、作業環境や作業対象が随時変化する作業を支援する用途に適用可能である。
【符号の説明】
【００７０】
１ ヘッドマウントディスプレイ装置
２ 撮影手段
３ 情報処理装置
４ 制御手段
５ 指示画像生成手段
１００ ヘッドマウントディスプレイ装置
１１０ Ｗｅｂカメラ
１２０ 半透過ディスプレイ装置
１３０ 制御手段
２００ ウェアラブル端末
３００ オペレータ用情報処理装置
３１０ ディスプレイ装置
３２０ リアルタイム画像編集ツール
【技術分野】
【０００１】
本発明は、作業支援システム、ヘッドマウントディスプレイ装置、作業支援方法及び作業支援プログラムに関する。
【背景技術】
【０００２】
通信ネットワークに障害が発生した際には、障害を引き起こしていると考えられる被疑装置を即座に特定し、特定した装置を良好な代替品と交換してしまうことでユーザへの影響を最小に留めることが求められる。このような機器の保守交換の作業においては、一般に、通信ネットワークの監視部門が遠隔地からリモートで被疑装置を特定し、実際に交換作業を行う現地の作業者が監視部門のオペレータからの指示に従って作業を行うという工程が実施される。
【０００３】
この工程では、オペレータが電話などを用いて口頭で作業者に指示を伝達することが一般的である。そのため、コミュニケーションミスを誘発する可能性や、作業者が正確に指示通りに作業を行っているかオペレータから判断することが難しいといった課題が存在している。
【０００４】
このような課題を解決可能な技術として、例えば特許文献１には、作業を支援することを目的とした技術が記載されている。また、例えば特許文献２には、これらに関連する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０１３７２号公報
【特許文献２】特開２００９−２７９１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実際に、遠隔地のオペレータが指示を出す際のコミュニケーションミスや、作業者の不注意などの原因により、故障している装置でなく誤って正常な装置に対して交換作業を行ってしまうことがある。その結果、新たに余計な通信障害を招いてしまうというヒューマンエラーが発生するケースがある。
【０００７】
また、装置の実装状況がイレギュラーであるために、通常の手順では作業遂行が困難なケースが存在する。この場合には、対象装置の周辺の作業環境をオペレータが全て把握しているとは限らないため、作業者がそれを口頭で伝達してもオペレータに正確に伝えることができないことがある。そのため、作業手順の調整が付かないまま通常の手順で作業を実行してしまい、その結果周辺装置に影響を与えてしまう、という作業エラー発生のリスクも存在している。
【０００８】
さらに、障害対象装置の原因切り分け作業を遂行していく過程で、当初被疑装置と見られていた装置以外が作業対象となり、作業環境や作業場所が変化するケースが存在する。この場合には、改めて対象装置の交換手順書を作業者に送付し、装置の特定など口頭での指示を最初からやり直す必要がある。そのため、予定を変更するための口頭指示が必要となり、コミュニケーションミスが発生する原因が増えることとなる。それに加え、変更された被疑装置に別途専門の知識を求められる場合には、当初の被疑装置の知識しか有しない作業者が作業に従事していたとすると、変更後の装置の専門知識を有する作業者を別途アサインし駆け付けさせなければならない。
【０００９】
特許文献１に記載された方法では、監督者が作業支援装置から受信した撮影画像と音声とを監視し、異常な出来事があれば監督者端末を用いて指示を作業支援装置に配信する。そして、作業支援装置は、受信した指示をヘッドマウントディスプレイに表示し、またはイヤホンに音声出力する。そのため、特許文献１に記載された方法を用いれば、オペレータは遠隔地にいながら現場の状態を把握できるとともに、口頭のみで行っていた指示に加え、視覚的に指示を与えることができる。しかしながら、このようにヘッドマウントディスプレイに指示を単純に表示する方法では、指示内容が小さく表示される場合などにうまく視界と重なるように表示できるとは限らず、作業者が確実に認識できるとは限らない。
【００１０】
また、同等の作業工程となる保全作業において、作業映像を取得し、作業対象を３次元リアルタイムシミュレーション画像内に明示して、作業映像と重畳させることにより差分を表示させ作業対象の明示、および手順を遵守した作業遂行を支援する技術がある。例えば、特許文献２にはこれに関連する技術が記載されている。
【００１１】
しかし、特許文献２に記載された技術では、事前にシミュレーション画像のモデルデータベースの準備、および作業対象の明記が必要である。また、特許文献２には視覚的な指示を与える旨の開示はない。そのため、通信障害対象の切り分けを行いながら逐次作業対象装置や作業環境の変化する保守作業には適用が難しい。
【００１２】
そこで、本発明は、作業者が作業対象から視線を外すことなく、遠隔地から与えられた視覚的な指示をより確実に確認することができる作業支援システム、ヘッドマウントディスプレイ装置、作業支援方法及び作業支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明による作業支援システムは、所定の情報を表示可能なヘッドマウントディスプレイ装置と、ヘッドマウントディスプレイ装置を装着した作業者の視線方向を撮影可能な撮影手段と、情報処理装置とを備え、情報処理装置は、作業者に指示を与えるオペレータの操作に従って、撮影手段が撮影した作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成する指示画像生成手段を含み、ヘッドマウントディスプレイ装置は、指示画像生成手段が生成した指示画像を表示する際に、指示画像が作業者の視界と重なるように制御する制御手段を含むことを特徴とする。
【００１４】
本発明によるヘッドマウントディスプレイ装置は、ヘッドマウントディスプレイ装置を装着した作業者の視線方向を撮影した撮影画像に所定の画像を重畳した指示画像を表示する際に、指示画像が作業者の視界と重なるように制御する制御手段を備えたことを特徴とする。
【００１５】
本発明による作業支援方法は、ヘッドマウントディスプレイ装置を装着した作業者に指示を与えるオペレータの操作に従って、撮影手段が撮影した作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成し、生成した指示画像をヘッドマウントディスプレイ装置で表示する際に、指示画像が作業者の視界と重なるように制御することを特徴とする。
【００１６】
本発明による作業支援プログラムは、コンピュータに、ヘッドマウントディスプレイ装置を装着した作業者に指示を与えるオペレータの操作に従って、撮影手段が撮影した作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成する指示画像生成処理と、生成した指示画像をヘッドマウントディスプレイ装置で表示する際に、指示画像が作業者の視界と重なるように制御する制御処理とを実行させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、作業者が作業対象から視線を外すことなく、遠隔地から与えられた視覚的な指示をより確実に確認することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明による作業支援システムの構成の一例を示すブロック図である。
【図２】指示付きの作業視野３１の一例を示す説明図である。
【図３】作業支援システムが実行する処理例を示す流れ図である。
【図４】作業者およびオペレータの視界の一例を示す説明図である。
【図５】作業支援システムの最小の構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について図面を参照して説明する。図１は、本発明による作業支援システムの構成の一例を示すブロック図である。図１に示すように、作業支援システムは、片眼ゴーグル型のヘッドマウントディスプレイ装置１００（以下、単にヘッドマウントディスプレイ装置１００という）と、ウェアラブル端末２００と、オペレータ用情報処理装置３００とを含む。なお、本実施形態では、作業者が体に身に付けられるウェアラブル端末を用いるが、ウェアラブル端末に代えて、例えば、ノート型のパーソナルコンピュータ等を用いられてもよい。
【００２０】
ヘッドマウントディスプレイ装置１００とウェアラブル端末２００とは、作業者によって装着され、有線または無線で相互に接続されている。また、ウェアラブル端末２００とオペレータ用情報処理装置３００とは、ＬＡＮやインターネット等の通信ネットワーク４００を介して相互に接続されている。
【００２１】
本実施形態では、ヘッドマウントディスプレイ装置１００は、作業者が作業中に装着するものであり、具体的には、眼鏡型のディスプレイ装置によって実現される。また、ヘッドマウントディスプレイ装置１００は、眼鏡の片側のレンズに相当する部分に半透過ディスプレイ装置１２０を備えている。
【００２２】
なお、本実施形態では眼鏡型のヘッドマウントディスプレイ装置１００を用いるが、これに限らず、頭部に装着可能であれば、例えばヘルメット型のディスプレイ装置が用いられてもよい。また、本実施形態では、光学方式のヘッドマウントディスプレイ装置１００を用いるが、これに限らず、例えば、網膜上に画像を投影する方式の装置が用いられてもよい。また、例えば、外部を直接見るのではなく、カメラで撮影した外部画像を投影するタイプのものでもよい。本実施形態では、一般的な用法に従い、眼鏡型やヘルメット型、光学方式型や網膜照射型等を全て包括してヘッドマウントディスプレイ装置という。また、本実施形態では、画像とは、動画像または静止画像のことである。
【００２３】
ヘッドマウントディスプレイ装置１００の半透過ディスプレイ装置１２０については、装着した作業者の焦点距離に合わせた位置に調節可能である。例えば、ヘッドマウントディスプレイ装置１００の制御手段１３０は、作業者の調節操作に従って、半透過ディスプレイ装置１２０を前後に移動させるように制御する。また、本実施形態では、半透過ディスプレイ装置１２０に表示される画像については、その拡大率を手元で調節可能である。例えば、ヘッドマウントディスプレイ装置１００の制御手段１３０は、作業者の調節操作に従って、半透過ディスプレイ装置１２０が表示する画像の拡大率を変更するように制御する。なお、制御手段１３０は、拡大率に限らず、表示する画像の位置や角度、色彩等を補正するようにしてもよい。
【００２４】
また、ヘッドマウントディスプレイ装置１００は、作業者の視界をさえぎらない箇所に、作業者の視界を正確に撮影できる角度でＷｅｂカメラ１１０を搭載している。Ｗｅｂカメラ１１０は、作業者の視界を撮影し、作業者の視界画像１０をウェアラブル端末２００に送信する。なお、本実施形態では、ヘッドマウントディスプレイ装置１００がＷｅｂカメラ１１０を搭載する構成になっているが、これに限らず、それぞれ別に作業者が装着するようにしてもよい。
【００２５】
ウェアラブル端末２００は、具体的には、作業者が体に身に付けられる小型の情報処理装置によって実現され、プログラムに従って動作する。また、ウェアラブル端末２００は、ヘッドマウントディスプレイ装置１００またはオペレータ用情報処理装置３００とデータの送受信を行う機能を備えている。
【００２６】
オペレータ用情報処理装置３００は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。オペレータ用情報処理装置３００は、ウェアラブル端末２００から受信した作業者の視界画像１０を表示するディスプレイ装置３１０と、表示された作業者の視界画像１０をリアルタイムで編集可能なリアルタイム画像編集ツール３２０とを備えている。
【００２７】
リアルタイム画像編集ツール３２０は、具体的には、オペレータ用情報処理装置３００が搭載する画像編集用のソフトウェアである。以下、リアルタイム画像編集ツール３２０が、作業者の視界画像１０を編集し、オペレータの指示画像１２を作成する等の表現を用いるが、具体的には、オペレータ用情報処理装置３００のＣＰＵがリアルタイム画像編集ツール３２０に従ってそれらの処理を実行している。
【００２８】
リアルタイム画像編集ツール３２０は、例えば、オペレータの操作（図１に示すオペレータの指示操作２０）に従って、作業者の視界画像１０にポインタの動作などで動的な指示画像を重畳したり、輪郭検出により特定部位に着色をしたりする。本実施形態では、オペレータ用情報処理装置３００は、ディスプレイ装置３１０に表示された作業者の視界画像１０にリアルタイム画像編集ツール３２０によってオペレータの指示操作２０を反映させることで、指示ポインタ画像１１を重畳したオペレータの指示画像１２を作成する。
【００２９】
また、オペレータ用情報処理装置３００は、作成したオペレータの指示画像１２を、通信ネットワーク４００を介してウェアラブル端末２００に送信する。そして、ウェアラブル端末２００は、受信したオペレータの指示画像１２をヘッドマウントディスプレイ装置１００に送信する。すると、ヘッドマウントディスプレイ装置１００の半透過ディスプレイ装置１２０は、受信したオペレータの指示画像１２を表示する。
【００３０】
図１に示される作業者の視界３０は、半透過ディスプレイ装置１２０に何も表示されていない状態でのものである。また、図１に示される作業者の指示付きの作業視野３１は、半透過ディスプレイ装置１２０にオペレータの指示画像１２が表示されている状態のものである。すなわち、作業者の指示付きの作業視野３１は、作業者が片方の眼で半透過ディスプレイ装置１２０に表示されたオペレータの指示画像１２を見て、もう片方の眼で通常通り作業対象等を見ることによって実現される。
【００３１】
図２は、指示付きの作業視野の一例を示す説明図である。図２に示されるように、半透過ディスプレイ装置１２０は、Ｗｅｂカメラ１１０よって撮影された作業者の右目の視界に相当する視界画像１０に指示ポインタ画像１１を重畳したオペレータの指示画像１２を表示している。作業者は、この半透過ディスプレイ装置１２０に表示されたオペレータの指示画像１２を右目で見ることによって、通常の視界に指示画像を加えたように見ることができる。
【００３２】
また、半透過ディスプレイ装置１２０が半透過型であるので、作業者は、オペレータの指示画像１２を見ながら半透過ディスプレイ装置１２０越しに対象機器等を視認することができる。例えば、作業者は、オペレータの指示画像１２が半透過ディスプレイ装置１２０越しの視界と重なるように、画像の拡大率や表示位置、角度などを変更する調節操作を行う。このように調節操作を行うことによって、作業者は片方の眼でオペレータの指示画像１２を見ることの違和感を抑えることができる。
【００３３】
次に、作業支援システムの動作について図面を参照して説明する。図３は、作業支援システムが実行する処理例を示す流れ図である。
【００３４】
ここでは、作業者は、片眼ゴーグル型のヘッドマウントディスプレイ装置１００を装着し、ウェアラブル端末２００を使用しながら通信装置等に対する作業を行うとする。また、オペレータは通信装置のネットワーク監視を行っているため、作業対象である被疑装置に関する情報を持っているとする。さらに、オペレータと作業者とは、Skype（登録商標）などの通信サービスを用いて会話可能であるとする。
【００３５】
作業者が対象装置を特定するに当たり、オペレータから口頭での指示を受けながら対象装置の周辺を視界に捉える。すると、作業者が装着したヘッドマウントディスプレイ装置１００に搭載されたＷｅｂカメラ１１０は、作業者の視線方向を撮影する（ステップＳ１）。また、Ｗｅｂカメラ１１０は、作業者の視線方向を撮影した作業者の視界画像１０をウェアラブル端末２００に送信する。すると、ウェアラブル端末２００は、インターネット等の通信ネットワーク４００を介して、オペレータ用情報処理装置３００に作業者の視界画像１０を送信する（ステップＳ２）。
【００３６】
次いで、オペレータ用情報処理装置３００のディスプレイ装置３１０は、受信した作業者の視界画像１０を表示する（ステップＳ３）。そして、オペレータは、作業者の視界画像１０をディスプレイ装置３１０上で確認し、会話の内容と合わせて作業者が現状でどの装置を対象と認識しているかを把握する。
【００３７】
次いで、オペレータは、作業者に対して口頭で対象装置に関する指示を出すと共に、リアルタイム画像編集ツール３２０を用いて、ポインタで対象を指差す操作、またはポインタを動かし対象を円で囲む等の操作（図１に示すオペレータの指示操作２０）を行う。すると、リアルタイム画像編集ツール３２０は、オペレータの指示操作２０に従って、指示ポインタ画像１１を作業者の視界画像１０に重畳し、オペレータの指示画像１２を生成する（ステップＳ４）。
【００３８】
次いで、リアルタイム画像編集ツール３２０は、生成したオペレータの指示画像１２を、通信ネットワーク４００を介してウェアラブル端末２００に送信する。すると、ウェアラブル端末２００は、オペレータの指示画像１２をヘッドマウントディスプレイ装置１００に送信する（ステップＳ５）。
【００３９】
次いで、ヘッドマウントディスプレイ装置１００の半透過ディスプレイ装置１２０は、受信したオペレータの指示画像１２を表示する（ステップＳ６）。
【００４０】
ここで、作業者の焦点距離に合わせて半透過ディスプレイ装置１２０を調整することが可能である。また、半透過ディスプレイ装置１２０が表示する画像の拡大率についても手元の操作で調整が可能である。そのため、作業者は、半透過ディスプレイ装置１２０を半透過して見える視野と、半透過ディスプレイ装置１２０に表示されるオペレータの指示画像１２の視野（具体的には、作業者の視界画像１０）とが重なるように調節することができる。ヘッドマウントディスプレイ装置１００の制御手段１３０は、作業者の調節操作に従って、オペレータの指示画像１２が作業者の視界３０と重なるように制御する（ステップＳ７）。
【００４１】
具体的には、ヘッドマウントディスプレイ装置１００の制御手段１３０は、作業者の調節操作に従って、作業者の焦点距離に合わせるように半透過ディスプレイ装置１２０の位置を前後に移動させるように制御する。また、例えば、ヘッドマウントディスプレイ装置１００の制御手段１３０は、作業者の調節操作に従って、半透過ディスプレイ装置１２０が表示する画像の拡大率を変更するように制御する。このように調節することにより、作業者は、図２に示す様に、片方の眼では通常の自分の視野を、もう片方の眼でオペレータがリアルタイムで指示を付加した視野（具体的には指示ポインタ画像１１を付加した作業者の視界画像１０（すなわちオペレータの指示画像１２））を見ることになる。本実施形態では、この状態の視野を指示付きの作業視野３１という。このような指示付きの作業視野３１によって、作業者は、作業対象の特定および作業実施時にオペレータから口頭による指示と視覚的な指示とを受けて作業を行うことができる。また、作業者は作業対象から視線を動かすことなく、オペレータからの視覚的な指示を見ることができる。
【００４２】
次に、作業者およびオペレータの視界について図４を参照して説明する。図４は、作業者およびオペレータの視界の一例を示す説明図である。
【００４３】
作業者は、ウェアラブル端末２００と、作業者の片方の眼に対して画像を映し出す半透過ディスプレイ装置１２０および作業者の視界を撮影するＷｅｂカメラ１１０を備えた片眼ゴーグル型のヘッドマウントディスプレイ装置１００とを装着して作業を行っているとする。また、作業者が装着しているウェアラブル端末２００とオペレータ用情報処理装置３００とは、リアルタイムで画像データを送受信しているとする。
【００４４】
Ｗｅｂカメラ１１０は、作業者の視界３０を撮影し（図４のａ１）、撮影した作業者の視界画像１０をオペレータ用情報処理装置３００に送信する（図４のａ２）。
【００４５】
ディスプレイ装置３１０は、受信した作業者の視界画像１０を表示する。オペレータは、ディスプレイ装置３１０が表示する作業者の視界画像１０を確認する。そして、オペレータは、作業者の視界画像１０に対して、リアルタイムで画像編集可能なツールにより、マウスやタッチパネル操作によるポインタなどの指標の動作、または画像からの輪郭取得による対象の着色などの選択表示を行い、作業者の視界画像に指示を付加する。ディスプレイ装置３１０は、作業者の視界画像に指示を付加したオペレータの指示画像１２を表示する（図４のａ３）。
【００４６】
半透過ディスプレイ装置１２０は、オペレータ用情報処理装置３００から受信したオペレータの指示画像１２を表示する（図４のａ４）。作業者は、自分の視界（作業者の視界３０）とリアルタイムで重畳されたオペレータの指示画像１２とを見ることで指示付きの作業視野３１を手に入れ、オペレータと口頭で確認を行いながら正確な作業実施が実現可能となる。
【００４７】
また、情報処理端末などで指示書や指示画像を表示する場合には、作業者は指示を見るために作業対象から情報処理端末などに視線を一度動かさなければならない。そのため、視界を戻した際に作業対象を見間違ってしまうリスクが発生する。しかし、本実施形態では、自身の視界（具体的には、視界に相当する視界画像）に指示画像を重畳させて視認できるので、指示を見るために視線を動かす必要がない。そのため、作業対象を見間違ってしまうリスクが低減されると共に、作業を中断する事無く円滑な作業遂行が実現可能となる。
【００４８】
以上のように、本実施形態では、口頭のみで行っていた遠隔作業指示に視覚的な指示を加えることが可能となる。そのため、作業者の行動に対して作業者自身とオペレータとのダブルチェックが働くこととなり、指示に対する誤解釈や誤った作業のリスクを大きく削減するという効果がある。
【００４９】
また、作業者の視界にオペレータの指示画像を重ねるように遠隔地から視覚的な指示を与えることで、作業者が指示を見る為に逐一作業対象から視線を外す必要が無く、作業対象を見間違えるリスクを軽減する効果がある。さらに、オペレータの指示画像が半透過ディスプレイ装置越しの視界と重なるように調節操作を行うことによって、作業者は片方の眼でオペレータの指示画像を見ることの違和感を抑えることができる。
【００５０】
また、随時変化する作業者の視界に対しリアルタイムにオペレータが指示を出すことが可能なため、障害箇所の切り分けなどにより当初の被疑装置から作業環境や対象装置が変更になった場合にも円滑に作業を継続対応することが可能である。この際に作業者の対象装置に対する専門知識が不足している場合でも、オペレータが専門知識を持ち随時詳細な指示を出すことで、作業者の知識不足を補い、作業者を交代することなく作業を遂行することができる。
【００５１】
また、作業環境がイレギュラーな場合にも、作業者の視界画像を通してオペレータが環境を把握することができ、通常の作業手順から作業環境の状況に応じた手順へ変更することが可能となる。
【００５２】
なお、本発明の適用形態は、以上に示した形態に限られない。例えば、以下に示すような宅内作業を内製化するための形態に適用することもできる。
【００５３】
通信回線の終端装置は設置場所が電話会社の局舎でなく顧客の事務所であることが大多数である。この顧客へ納入している通信回線に障害が発生した場合には、顧客事務所へ保守会社作業者が駆け付けて終端装置の交換保守作業（宅内作業）を行うこととなるが、その発生回数は膨大な数となっている。
【００５４】
上記の効果説明に挙げた通り、本発明を適用すれば作業者の専門知識不足を補うことが可能なため、保守会社要員でなく装置の納入先の顧客が自分で作業することができる。
【００５５】
具体的には、宅内で障害が発生した際に、通常は監視部門から保守会社へ出動要請があり、作業者のアサインと予備部材の配送手配をするが、本発明を適用する場合には、本発明に係る装置と予備部材の配送手配だけで済む。受け取った顧客はヘッドマウントディスプレイ装置等を装着し、オペレータの指示を受けて終端装置の交換作業を行う。その後、故障部材とヘッドマウントディスプレイ装置等とを返送すれば作業が完了する。
【００５６】
上記の適用形態では、作業者の駆け付けに要する時間を削減することによる障害復旧時間の短縮、作業者リソースの削減という効果が期待できる。常時駆け付けられるよう作業者のリソースは常に一定量確保しているため、この削減効果は保守会社にとって大きなものである。
【００５７】
また、本実施形態では、作業者が自身の視界を確保しつつ片眼ゴーグル型のヘッドマウントディスプレイ装置の半透過ディスプレイ装置に指示付き画像を映し作業を行う場合について説明した。しかしながら、本発明の適用形態は、片眼ゴーグル型のヘッドマウントディスプレイ装置を用いるものに限られない。例えば、半透過ディスプレイ装置に映る指示付き画像を限りなく時間的にリアルタイム画像に近づけることで、半透過ディスプレイ装置を供えた両眼ゴーグル型、または非透過ディスプレイ装置を備えた両眼ゴーグル型のヘッドマウントディスプレイ装置に置き換え、作業者が自身の視界でなく画像のみを視認して作業をすることも可能である。
【００５８】
その場合においては、カメラを両眼それぞれの位置に設置し片眼ずつの画像を取得することで、両眼視差による３Ｄ画像をゴーグルに映し出すことも可能である。例えば、複数のＷｅｂカメラをヘッドマウントディスプレイ装置に搭載させ、オペレータ用情報処理装置は、複数のＷｅｂカメラがそれぞれ撮影した作業者の視界画像に基づいて３Ｄ画像を生成し、ヘッドマウントディスプレイ装置に送信して表示させる。また、その際には３Ｄ画像に対する指示の付加方法として、ポインタの代わりに手の立体画像を用いてもよい。また、その指示ポインタ画像や、手の立体画像を作業者の視界画像に重畳する際のオペレータ用情報処理装置の入力インターフェースとして、直感的な指示出しを行うため、タッチパネル機能を備えたディスプレイ装置を用いてもよい。また、オペレータがモーションセンサ付きのグローブを動かすことで手の立体画像を動かすインターフェースも用いてもよい。
【００５９】
さらに、本発明を、通信装置に対する作業のみならず、絵を描く、陶芸、医療手術等、実際の作業者にある程度の技術的素養を必要としつつも遠隔地から専門者の指示による知識的支援により向上を図れる作業にも適用可能である。また、電話会社の局舎内で機械室および作業対象ラックを見つける等、複雑な経路に対する遠隔地からの道案内や誘導にも適用可能である。
【００６０】
次に、本発明による作業支援システムの最小構成について説明する。図５は、作業支援システムの最小の構成例を示すブロック図である。図５に示すように、作業支援システムは、最小の構成要素として、所定の情報を表示可能なヘッドマウントディスプレイ装置１と、ヘッドマウントディスプレイ装置１を装着した作業者の視線方向を撮影可能な撮影手段２と、情報処理装置３とを備えている。また、ヘッドマウントディスプレイ装置１は、制御手段４を含む。また、情報処理装置３は、指示画像生成手段５を含む。
【００６１】
図５に示す最小構成の作業支援システムでは、指示画像生成手段５は、作業者に指示を与えるオペレータの操作に従って、撮影手段２が撮影した作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成する。そして、制御手段４は、指示画像生成手段５が生成した指示画像をヘッドマウントディスプレイ装置１で表示する際に、指示画像が作業者の視界と重なるように制御する。
【００６２】
従って、最小構成の作業支援システムによれば、作業者が作業対象から視線を外すことなく、遠隔地から与えられた視覚的な指示をより確実に確認することができる。
【００６３】
なお、本実施形態では、以下の（１）〜（５）に示すような作業支援システムの特徴的構成が示されている。
【００６４】
（１）作業支援システムは、所定の情報を表示可能（例えば、半透過ディスプレイ装置１２０によって実現される）なヘッドマウントディスプレイ装置（例えば、ヘッドマウントディスプレイ装置１００）と、ヘッドマウントディスプレイ装置を装着した作業者の視線方向を撮影可能な撮影手段（例えば、Ｗｅｂカメラ１１０によって実現される）と、情報処理装置（例えば、オペレータ用情報処理装置３００によって実現される）とを備え、情報処理装置は、作業者に指示を与えるオペレータの操作（例えば、オペレータの指示操作２０）に従って、撮影手段が撮影した作業者の視線方向の撮影画像（例えば、作業者の視界画像１０）に所定の画像（例えば、指示ポインタ画像１１）を重畳し指示画像（例えば、オペレータの指示画像１２）を生成する指示画像生成手段（例えば、リアルタイム画像編集ツール３２０によって実現される）を含み、ヘッドマウントディスプレイ装置は、指示画像生成手段が生成した指示画像を表示する際に、指示画像が作業者の視界（例えば、作業者の視界３０）と重なるように制御する制御手段（例えば、制御手段１３０によって実現される）を含むことを特徴とする。
【００６５】
（２）作業支援システムにおいて、制御手段は、ヘッドマウントディスプレイ装置に設けられた表示部（例えば、半透過ディスプレイ装置１２０）に指示画像生成手段が生成した指示画像を表示する際に、作業者の焦点距離に合わせて表示部の位置を変更するように制御するように構成されていてもよい。
【００６６】
（３）作業支援システムにおいて、制御手段は、指示画像生成手段が生成した指示画像を表示する際に、指示画像の拡大率を変更するように制御するように構成されていてもよい。
【００６７】
（４）作業支援システムにおいて、複数の撮影手段を備え、情報処理装置は、複数の撮影手段がそれぞれ撮影した作業者の視線方向の撮影画像に基づいて立体画像を生成し、ヘッドマウントディスプレイ装置は、生成した立体画像を表示するように構成されていてもよい。
【００６８】
（５）作業支援システムにおいて、指示画像生成手段は、生成した立体画像に所定の立体画像を重畳し（例えば、モーションセンサ付きのグローブを用いて実現される）指示画像を生成するように構成されていてもよい。
【産業上の利用可能性】
【００６９】
本発明は、遠隔地にいるオペレータの指示に基づく作業や、作業環境や作業対象が随時変化する作業を支援する用途に適用可能である。
【符号の説明】
【００７０】
１ ヘッドマウントディスプレイ装置
２ 撮影手段
３ 情報処理装置
４ 制御手段
５ 指示画像生成手段
１００ ヘッドマウントディスプレイ装置
１１０ Ｗｅｂカメラ
１２０ 半透過ディスプレイ装置
１３０ 制御手段
２００ ウェアラブル端末
３００ オペレータ用情報処理装置
３１０ ディスプレイ装置
３２０ リアルタイム画像編集ツール
【特許請求の範囲】
【請求項１】
所定の情報を表示可能なヘッドマウントディスプレイ装置と、
前記ヘッドマウントディスプレイ装置を装着した作業者の視線方向を撮影可能な撮影手段と、
情報処理装置とを備え、
前記情報処理装置は、
前記作業者に指示を与えるオペレータの操作に従って、前記撮影手段が撮影した前記作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成する指示画像生成手段を含み、
前記ヘッドマウントディスプレイ装置は、
前記指示画像生成手段が生成した前記指示画像を表示する際に、前記指示画像が前記作業者の視界と重なるように制御する制御手段を含む
ことを特徴とする作業支援システム。
【請求項２】
制御手段は、ヘッドマウントディスプレイ装置に設けられている表示部に指示画像生成手段が生成した指示画像を表示する際に、作業者の焦点距離に合わせて前記表示部の位置を変更するように制御する
請求項１記載の作業支援システム。
【請求項３】
制御手段は、指示画像生成手段が生成した指示画像を表示する際に、前記指示画像の拡大率を変更するように制御する
請求項１又は請求項２記載の作業支援システム。
【請求項４】
複数の撮影手段を備え、
情報処理装置は、前記複数の撮影手段がそれぞれ撮影した作業者の視線方向の撮影画像に基づいて立体画像を生成し、
ヘッドマウントディスプレイ装置は、前記情報処理装置が生成した立体画像を表示する
請求項１から請求項３のうちのいずれか１項に記載の作業支援システム。
【請求項５】
指示画像生成手段は、生成した立体画像に所定の立体画像を重畳し指示画像を生成する
請求項４記載の作業支援システム。
【請求項６】
ヘッドマウントディスプレイ装置を装着した作業者の視線方向を撮影した撮影画像に所定の画像を重畳した指示画像を表示する際に、前記指示画像が前記作業者の視界と重なるように制御する制御手段を
備えたことを特徴とするヘッドマウントディスプレイ装置。
【請求項７】
ヘッドマウントディスプレイ装置を装着した作業者に指示を与えるオペレータの操作に従って、撮影手段が撮影した前記作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成し、
生成した前記指示画像を前記ヘッドマウントディスプレイ装置で表示する際に、前記指示画像が前記作業者の視界と重なるように制御する
ことを特徴とする作業支援方法。
【請求項８】
コンピュータに、
ヘッドマウントディスプレイ装置を装着した作業者に指示を与えるオペレータの操作に従って、撮影手段が撮影した前記作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成する指示画像生成処理と、
生成した前記指示画像を前記ヘッドマウントディスプレイ装置で表示する際に、前記指示画像が前記作業者の視界と重なるように制御する制御処理とを
実行させるための作業支援プログラム。
【請求項１】
所定の情報を表示可能なヘッドマウントディスプレイ装置と、
前記ヘッドマウントディスプレイ装置を装着した作業者の視線方向を撮影可能な撮影手段と、
情報処理装置とを備え、
前記情報処理装置は、
前記作業者に指示を与えるオペレータの操作に従って、前記撮影手段が撮影した前記作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成する指示画像生成手段を含み、
前記ヘッドマウントディスプレイ装置は、
前記指示画像生成手段が生成した前記指示画像を表示する際に、前記指示画像が前記作業者の視界と重なるように制御する制御手段を含む
ことを特徴とする作業支援システム。
【請求項２】
制御手段は、ヘッドマウントディスプレイ装置に設けられている表示部に指示画像生成手段が生成した指示画像を表示する際に、作業者の焦点距離に合わせて前記表示部の位置を変更するように制御する
請求項１記載の作業支援システム。
【請求項３】
制御手段は、指示画像生成手段が生成した指示画像を表示する際に、前記指示画像の拡大率を変更するように制御する
請求項１又は請求項２記載の作業支援システム。
【請求項４】
複数の撮影手段を備え、
情報処理装置は、前記複数の撮影手段がそれぞれ撮影した作業者の視線方向の撮影画像に基づいて立体画像を生成し、
ヘッドマウントディスプレイ装置は、前記情報処理装置が生成した立体画像を表示する
請求項１から請求項３のうちのいずれか１項に記載の作業支援システム。
【請求項５】
指示画像生成手段は、生成した立体画像に所定の立体画像を重畳し指示画像を生成する
請求項４記載の作業支援システム。
【請求項６】
ヘッドマウントディスプレイ装置を装着した作業者の視線方向を撮影した撮影画像に所定の画像を重畳した指示画像を表示する際に、前記指示画像が前記作業者の視界と重なるように制御する制御手段を
備えたことを特徴とするヘッドマウントディスプレイ装置。
【請求項７】
ヘッドマウントディスプレイ装置を装着した作業者に指示を与えるオペレータの操作に従って、撮影手段が撮影した前記作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成し、
生成した前記指示画像を前記ヘッドマウントディスプレイ装置で表示する際に、前記指示画像が前記作業者の視界と重なるように制御する
ことを特徴とする作業支援方法。
【請求項８】
コンピュータに、
ヘッドマウントディスプレイ装置を装着した作業者に指示を与えるオペレータの操作に従って、撮影手段が撮影した前記作業者の視線方向の撮影画像に所定の画像を重畳し指示画像を生成する指示画像生成処理と、
生成した前記指示画像を前記ヘッドマウントディスプレイ装置で表示する際に、前記指示画像が前記作業者の視界と重なるように制御する制御処理とを
実行させるための作業支援プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−１６０２０（Ｐ２０１３−１６０２０Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４８３０６（Ｐ２０１１−１４８３０６）
【出願日】平成２３年７月４日（２０１１．７．４）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月４日（２０１１．７．４）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]