説明

ヘッドマウントディスプレイ

【課題】複数のユーザが作業を行っている場合に、各ユーザに他のユーザの作業状況を容易に把握させて作業全体の効率を向上させることができるヘッドマウントディスプレイを提供する。
【解決手段】ヘッドマウントディスプレイは、ユーザが作業を実行する際に視認する作業用コンテンツのリストのデータをサーバから取得し(S23)、リストを表示する(S24)。リスト中の作業用コンテンツをユーザが選択すると(S25:YES)、ヘッドマウントディスプレイは、作業用コンテンツの表示状況をサーバに通知し(S26)、選択された作業用コンテンツを表示する(S28)。ヘッドマウントディスプレイは、ユーザの視野方向に存在するヘッドマウントディスプレイを識別すると(S36:YES、S37)、識別したヘッドマウントディスプレイにおける作業用コンテンツの表示状況を表示する(S38、S40)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業中のユーザに作業内容を把握させることができるヘッドマウントディスプレイに関する。
【背景技術】
【0002】
従来、ユーザの頭部に装着されるヘッドマウントディスプレイを用いて作業中のユーザの作業効率を向上させる技術が知られている。例えば、特許文献1が開示しているヘッドマウントディスプレイは、ユーザの視野方向を撮影するCCDセンサを備える。作業対象(例えば、車)に設けられたバーコードをCCDセンサが撮影すると、ヘッドマウントディスプレイは、撮影したバーコードに対応した画像(例えば、車の内部画像)を表示する。その結果、ユーザは、通常の視野では視認できない画像を視認しながら作業を行うことができる。また、特許文献2が開示しているヘッドマウントディスプレイは、作業手順を表示することでユーザの作業効率の向上を図っている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−200209号公報
【特許文献2】特開2004−101372号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術では、ユーザは自分の作業対象・作業手順を確認することはできるが、同時に作業を行っている他のユーザの作業状況をヘッドマウントディスプレイによって確認することはできない。従って、次に行う作業を選択する際に、他のユーザの作業の遅れ等を考慮して最適な判断を行うためには、各ユーザは他のユーザとの会話等を通じて作業状況を自ら確認する必要があった。つまり、複数のユーザが作業を行っている場合に、各ユーザに他のユーザの作業状況を容易に把握させて作業全体の効率を向上させることは、従来の技術では困難であった。
【0005】
本発明は、複数のユーザが作業を行っている場合に、各ユーザに他のユーザの作業状況を容易に把握させて作業全体の効率を向上させることができるヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明のヘッドマウントディスプレイは、ユーザの頭部に装着され、前記ユーザの目に画像を表示する表示手段を有する複数のヘッドマウントディスプレイと、前記複数のヘッドマウントディスプレイの各々との間でデータを送受信することが可能なサーバとを備えた画像表示システムで用いられる前記ヘッドマウントディスプレイであって、前記ユーザが作業を実行する際に視認する作業用コンテンツのリストのデータを前記サーバから取得するリスト取得手段と、前記リスト取得手段によって取得されたデータに従って前記リストを前記表示手段に表示させるリスト表示手段と、前記リスト表示手段によって表示された前記リスト中の作業用コンテンツを選択するための前記ユーザからの指示を受け付ける指示受付手段と、前記指示受付手段によって指示が受け付けられた場合に、前記指示によって選択された作業用コンテンツを前記表示手段に表示させる作業用コンテンツ表示手段と、前記作業用コンテンツ表示手段によって前記表示手段に表示されている作業用コンテンツの表示状況を前記サーバに通知する表示状況通知手段と、前記ユーザの視野方向を撮影する撮影手段から画像データを取得する画像取得手段と、前記画像取得手段によって取得された画像データから、前記視野方向に存在するヘッドマウントディスプレイを識別する識別手段と、前記識別手段によって識別されたヘッドマウントディスプレイの作業用コンテンツの表示状況を示すデータを前記サーバから取得する状況取得手段と、前記状況取得手段によって取得されたデータに従って、前記識別手段によって識別されたヘッドマウントディスプレイの作業用コンテンツの表示状況を前記表示手段に表示させる状況表示手段とを備える。
【0007】
本発明のヘッドマウントディスプレイは、ユーザによって選択された作業用コンテンツを表示する際に、表示状況をサーバに通知する。さらに、ヘッドマウントディスプレイは、ユーザの視野方向に存在する他のヘッドマウントディスプレイを識別する。識別したヘッドマウントディスプレイにおける作業用コンテンツの表示状況を、サーバから取得したデータに従って表示する。従って、各ユーザは自分が選択した作業用コンテンツを確認できるだけでなく、視野方向にあるヘッドマウントディスプレイの表示状況を容易に把握することができる。ユーザは、視野方向にあるヘッドマウントディスプレイの表示状況を把握することで、他のユーザの作業状況を把握できる。よって、ヘッドマウントディスプレイは、複数のユーザが作業を行っている場合に作業全体の効率を向上させることができる。
【0008】
前記状況表示手段は、前記識別手段によって識別されたヘッドマウントディスプレイで表示中の作業用コンテンツが示す作業の進捗状況を前記表示手段に表示させてもよい。この場合、ユーザは、他のユーザの作業の進捗状況を容易に把握して的確な判断を行うことができる。その結果、作業全体の効率がさらに向上する。
【0009】
前記状況取得手段は、前記識別手段によって識別されたヘッドマウントディスプレイで表示されている作業用コンテンツのページ数の情報、および動画の進行割合を示す情報の少なくともいずれかに応じたデータを、作業の進捗状況を示すデータとして前記サーバから取得してもよい。ヘッドマウントディスプレイは、ページ数の情報または動画の進行割合を示す情報に応じて、作業の進捗状況を的確に表示することができる。
【0010】
前記状況表示手段は、前記状況取得手段によって取得されたデータであり、作業用コンテンツのページ数の情報、および動画の進行割合を示す情報の少なくともいずれかに応じたデータに従って、作業の進捗状況を表示してもよい。ユーザは、他のユーザの作業の進捗状況を、ページ数の情報または動画の進行割合を示す情報に応じたデータによって詳細に把握することができる。
【0011】
前記状況表示手段は、前記識別手段によって識別されたヘッドマウントディスプレイにおいて表示される全ての作業用コンテンツにおける表示中の作業用コンテンツを示す一覧画像を、作業の進捗状況として表示してもよい。この場合、ユーザは、実行されるべき全ての作業のうちどれだけの作業を他のユーザが完了させたのかを容易に把握することができる。
【0012】
前記ヘッドマウントディスプレイは、前記作業用コンテンツ表示手段によって作業用コンテンツが前記表示手段に表示されているか否かを判断する表示判断手段と、前記表示判断手段の判断結果に応じて、前記画像取得手段によって取得された画像データに対する処理を切り替える処理切替手段とをさらに備えてもよい。前記処理切替手段は、前記表示判断手段によって作業用コンテンツが表示されていると判断された場合には、前記画像取得手段によって取得された視野方向の画像の画像データを前記サーバに送信する処理を実行し、前記表示判断手段によって作業用コンテンツが表示されていないと判断された場合には、前記識別手段によるヘッドマウントディスプレイの識別処理を実行してもよい。
【0013】
作業用コンテンツが表示手段に表示されている場合、ユーザは作業中である。作業用コンテンツが表示されていない場合、ユーザは次に行う作業を選択する必要がある。ヘッドマウントディスプレイは、作業用コンテンツが表示されているか否かに応じて画像データに対する処理を切り替えることで、ユーザの状況に応じた適切な処理を行うことができる。詳細には、ヘッドマウントディスプレイは、ユーザが作業中であれば、ユーザの視野方向の画像をサーバに送信する。その結果、他のユーザに視野方向の画像を確認させることができる。一方、ユーザが次に行う作業を選択する場合には、他のヘッドマウントディスプレイを識別して作業の進捗状況をユーザに把握させることができる。従って、無駄な処理が実行されることを防止しユーザの状況に応じた適切な処理を行うことができる。
【0014】
前記ヘッドマウントディスプレイは、前記識別手段によって識別されたヘッドマウントディスプレイから前記サーバに送信された画像データを前記サーバから取得する送信画像取得手段をさらに備えてもよい。前記状況表示手段は、前記送信画像取得手段によって取得された画像データに従って、前記識別手段によって識別されたヘッドマウントディスプレイの視野方向の画像を前記表示手段に表示させてもよい。この場合、ユーザは他のユーザの視野方向の画像を確認することで、他のユーザの作業の進捗状況をより容易に把握することができる。
【0015】
各ユーザが装着する装着物には識別情報が付されていてもよい。前記識別手段は、前記画像データに含まれる識別情報を用いてヘッドマウントディスプレイを識別してもよい。ヘッドマウントディスプレイは、識別情報を用いることで、他のヘッドマウントディスプレイを容易且つ確実に識別することができる。
【図面の簡単な説明】
【0016】
【図1】画像表示システム100のシステム構成を示す図である。
【図2】ヘッドマウントディスプレイ1の斜視図である。
【図3】ヘッドマウントディスプレイ1の電気的構成を示すブロック図である。
【図4】制御装置33の電気的構成を示すブロック図である。
【図5】サーバ6の電気的構成を示すブロック図である。
【図6】サーバ6のHDD64に記憶される表示状況管理データのデータ構成を説明するための説明図である。
【図7】サーバ6が実行するサーバ処理のフローチャートである。
【図8】ヘッドマウントディスプレイ1が実行する作業中処理のフローチャートである。
【図9】リスト画像71の一例を示す図である。
【図10】作業用コンテンツ75の一例を示す図である。
【図11】撮影画像表示部87を含む状況画像81の一例を示す図である。
【図12】撮影画像を含まない状況画像91の一例を示す図である。
【発明を実施するための形態】
【0017】
以下、本発明を具現化した一実施の形態について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【0018】
図1を参照して、本実施の形態に係る画像表示システム100の全体構成について説明する。画像表示システム100は、作業中のユーザの作業効率を向上させるための各種画像をユーザに視認させるシステムである。画像表示システム100は、複数のヘッドマウントディスプレイ1と、サーバ6とを備える。ヘッドマウントディスプレイ1およびサーバ6の各々はネットワーク8に接続している。
【0019】
ヘッドマウントディスプレイ1は、画像表示システム100を利用するユーザが頭部に装着する画像表示装置である。ヘッドマウントディスプレイ1は、画像信号に応じて変調されたレーザ光を走査させて画像光として射出し、ユーザの少なくとも一方の眼の網膜に画像を直接投影する網膜走査型ディスプレイである。しかし、本発明が適用できるのは、網膜走査型のヘッドマウントディスプレイに限られない。例えば、ユーザの眼の前方に位置するレンズ上に画像を投影するスクリーン型のヘッドマウントディスプレイにも、本発明は適用できる。ユーザは、ヘッドマウントディスプレイ1が表示した画像と実際の視界とを共に視認することができる。
【0020】
ヘッドマウントディスプレイ1は、作業用コンテンツを表示することができる。作業用コンテンツは、ユーザが作業を実行する際に視認するコンテンツであり、作業対象・作業手順等を示す文章、図面、写真、グラフ等からなる。ユーザは、作業用コンテンツを視認しながら作業を行うことで効率よく作業を進めることができる。ヘッドマウントディスプレイ1は、ネットワーク8を介してサーバ6から作業用コンテンツのリストのデータを取得し、リストを表示する。ユーザは、表示されたリストに含まれる作業用コンテンツのうち、実行する作業の作業用コンテンツを選択する。ヘッドマウントディスプレイ1は、選択された作業用コンテンツを表示する。その結果、ユーザは、実行する作業の作業用コンテンツを容易に選択して視認することができる。なお、ヘッドマウントディスプレイ1で表示されるリストでは、各作業について、未着手、完了済、および着手中のいずれであるかが明示される。作業が着手中の場合、作業に着手しているユーザが明示される(図9参照)。
【0021】
さらに、ヘッドマウントディスプレイ1は、ユーザの視野方向に存在する他のヘッドマウントディスプレイ1を識別することができる。ヘッドマウントディスプレイ1は、識別した他のヘッドマウントディスプレイ1(以下、「識別機器」という。)における作業用コンテンツの表示状況を示すデータを、ネットワーク8を介してサーバ6から取得する。ヘッドマウントディスプレイ1は、識別機器における作業用コンテンツの表示状況を表示することができる。ユーザは、識別機器における作業用コンテンツの表示状況を認識することで、識別機器を使用しているユーザの作業状況を容易に把握した上で次に行う作業を選択することができる。その結果、複数のユーザによって行われている作業全体の効率が向上する。
【0022】
サーバ6は、リストのデータ、および作業用コンテンツのデータを各ヘッドマウントディスプレイ1に送信する。さらに、サーバ6は、画像表示システム100内の全てのヘッドマウントディスプレイ1における作業用コンテンツの表示状況(作業状況)を管理する。ヘッドマウントディスプレイ1が他のヘッドマウントディスプレイ1を識別すると、サーバ6は、識別機器における表示状況を示すデータをヘッドマウントディスプレイ1に送信する。
【0023】
図2を参照して、ヘッドマウントディスプレイ1の物理的構成について説明する。ヘッドマウントディスプレイ1は眼鏡型の表示装置であり、ユーザの網膜に画像を直接投影して画像を視認させることができる。ヘッドマウントディスプレイ1は、頭部装着部2と、出射装置3と、ハーフミラー4とを少なくとも備える。頭部装着部2は、出射装置3を支持し、且つヘッドマウントディスプレイ1をユーザの頭部に固定する。ハーフミラー4は、出射装置3の光出射口に配置される。
【0024】
出射装置3は、画像信号に応じた画像光をハーフミラー4に出射する。ハーフミラー4は、出射装置3に対して固定的な位置にある。ハーフミラー4は、出射装置3が出射した画像光をユーザの眼に向かって反射させる。ハーフミラー4は、例えば所定の反射率(例えば50%)となるように、透明樹脂板に金属薄膜を蒸着することで形成される。その結果、ハーフミラー4は外界からの外光の一部を透過してユーザの眼に導く。つまり、ハーフミラー4は、ユーザの側方から入射した画像光と、外界からの外光とをユーザの眼に入射させる。従って、ユーザは実際の視界と画像光に基づく画像とを視認できる。
【0025】
出射装置3を備える枠部の正面(図2の紙面左下側)には、カメラ5が設置されている。カメラ5はユーザの視野方向を撮影する。カメラ5はヘッドマウントディスプレイ1に内蔵されている必要は無く、小型のカメラをヘッドマウントディスプレイ1に装着して使用してもよい。
【0026】
ヘッドマウントディスプレイ1は、ケーブル7によって制御装置33に接続される。制御装置は小型・軽量の電子機器であり、ボタンおよび十字キー等からなる操作部38を備える。制御装置は、サーバ6との間の通信、ユーザからの操作入力の受け付け等を行う。
【0027】
図3を参照して、ヘッドマウントディスプレイ1の電気的構成について説明する。ヘッドマウントディスプレイ1は、制御部10、ビデオRAM14、フォントROM15、およびフラッシュメモリ16を備える。制御部10は、CPU11、ROM12、およびRAM13を備える。CPU11はヘッドマウントディスプレイ1の制御を司る。ROM12は、後述する作業中処理(図8参照)を実行するための制御プログラムおよび初期値等を記憶している。RAM13は、制御プログラムで使用される各種情報を一時的に記憶する。ビデオRAM14、フォントROM15、およびフラッシュメモリ16は、バスを介して制御部10と電気的に接続されている。制御部10は、ビデオRAM14、フォントROM15、およびフラッシュメモリ16に記憶された情報を適宜参照できる。
【0028】
ヘッドマウントディスプレイ1は、カメラ制御回路17、充電制御回路18、および機器接続インタフェイス19を備える。カメラ制御回路17はカメラ5を制御する。カメラ制御回路17は、バスを介して制御部10と電気的に接続している。従って、制御部10はカメラ5に撮影を実行させて、カメラ5が撮影した画像データを取得することができる。充電制御回路18は、ヘッドマウントディスプレイ1を駆動する電源となる電池9に接続し、電池9の充電を制御する。機器接続インタフェイス19は、ケーブル7(図2参照)を介したデータ通信を制御する。機器接続インタフェイス19は、バスを介して制御部10と電気的に接続している。従って、制御部10は、制御装置33との間でデータの入出力を行うことができる。
【0029】
ヘッドマウントディスプレイ1は、ユーザに画像を視認させる表示部20を備える。表示部20は、画像信号処理部21、レーザ群26、およびレーザドライバ群30を備える。画像信号処理部21は、画像信号を制御部10から受信する。画像信号処理部21は、受信した画像信号を、ユーザの網膜に直接投影するために必要な各信号に変換する。レーザ群26は、青色出力レーザ(Bレーザ)27、緑色出力レーザ(Gレーザ)28、赤色出力レーザ(Rレーザ)29を含む。レーザ群26は、青色、緑色、および赤色のレーザ光を出力する。レーザドライバ群30は、画像信号処理部21から入力した信号に応じてレーザ群26を制御する。
【0030】
表示部20は、垂直走査ミラー22、垂直走査制御回路23、水平走査ミラー24、および水平走査制御回路25を備えている。垂直走査ミラー22は、レーザ群26から出力されたレーザ光を垂直方向に反射させることで走査を行う。垂直走査制御回路23は、画像信号処理部21から入力した信号に応じて垂直走査ミラー22の駆動制御を行う。水平走査ミラー24は、レーザ群26から出力されたレーザ光を水平方向に反射させることで走査を行う。水平走査制御回路25は、画像信号処理部21から入力した信号に応じて水平走査ミラー24の駆動制御を行う。
【0031】
画像信号処理部21は、バスを介して制御部10と電気的に接続している。従って、画像信号処理部21は、制御部10から受信した画像信号に応じた色およびタイミングで、レーザ群26の各レーザ27〜29からレーザ光を出力させることができる。さらに、画像信号処理部21は、制御部10から受信した画像信号に応じた方向へレーザ光を反射させることができる。その結果、ヘッドマウントディスプレイ1は、画像信号に応じた光束を2次元方向に走査し、走査した光をユーザの眼に導いて網膜上に画像を形成することができる。
【0032】
図4を参照して、制御装置33の電気的構成について説明する。制御装置33は、ヘッドマウントディスプレイ1をネットワーク8に接続し、且つユーザからの操作入力を受け付ける機器である。制御装置33では、CPU34、ROM35、RAM36、およびI/Oインタフェイス40がバスを介して接続されている。CPU34は、制御装置33の通信処理等を司る。ROM35は各種制御プログラムおよび初期値等を記憶している。RAM36は情報を一時的に記憶する。I/Oインタフェイス40には、外部通信インタフェイス37、操作部38、および機器接続インタフェイス39が接続されている。外部通信インタフェイス37は制御装置33をネットワーク8に接続する。操作部38はユーザによって操作され、操作信号をI/Oインタフェイス40に出力する。機器接続インタフェイス39は、ケーブル7を介して制御装置33をヘッドマウントディスプレイ1に接続する。なお、操作部38の代わりに、ユーザが発した指示音声を入力するマイクを備えてもよい。この場合、ヘッドマウントディスプレイ1は、マイクから入力された指示音声に対して周知の音声認識処理を実行し、指示内容を判断すればよい。
【0033】
図5を参照して、サーバ6の電気的構成について説明する。サーバ6では、CPU61、ROM62、およびRAM63がI/Oインタフェイス66に接続されている。I/Oインタフェイス66には、ハードディスクドライブ(以下、「HDD」という。)64および外部通信インタフェイス65が接続されている。CPU61は、サーバ6の制御を司る。ROM62は各種制御プログラムおよび初期値等を記憶している。RAM63は情報を一時的に記憶する。HDD64は不揮発性の記憶装置であり、後述するサーバ処理(図7参照)を実行するためのサーバプログラム、表示状況管理データ(図6参照)等を記憶する。なお、サーバプログラムは、ネットワーク8を経由してダウンロードしてもよいし、CD−ROMドライブ等の読取装置(図示外)を用いて記憶媒体から読み取ってもよい。外部通信インタフェイス65は、サーバ6をネットワーク8に接続する。
【0034】
図6を参照して、サーバ6がHDD64に記憶する表示状況管理データについて説明する。表示状況管理データは、各作業用コンテンツの表示状況に関するデータである。ヘッドマウントディスプレイ1は、表示状況管理データに基づいて画像を表示することで、各作業の進捗状況をユーザに把握させることができる。図6に示す例では、作業番号「1」から「6」の6つの作業用コンテンツが用意されている。1つの作業は、1または複数の工程からなる。各作業用コンテンツには1または複数のページが含まれており、1つのページが1つの工程に対応する。
【0035】
各作業用コンテンツに対して記憶されるデータには、「ページ数」、「ページの表示時間」、「担当したユーザ」、および「進捗状況」のデータがある。「ページ数」は、1つの作業用コンテンツに含まれる全ページのうち表示中のページを示すデータである。例えば、作業番号「2」の「工程3/5」は、全ページ数(全工程)が5であり、且つ表示中のページ数が3ページ目(実行中の工程が3番目の工程)であることを示す。最後まで表示が完了した作業用コンテンツについては、「ページ数」のデータは消去される(作業番号「1」参照)。
【0036】
「ページの表示時間」は、表示中のページが表示されている時間である。作業用コンテンツが動画である場合、「ページの表示時間」は動画の進行割合を示すことになる。つまり、あらかじめ設定された動画の再生時間を「ページの表示時間」で割ることで、動画の進行割合を算出できる。
【0037】
「担当したユーザ」は、作業用コンテンツを表示したヘッドマウントディスプレイ1のユーザを示すデータである。つまり、「担当したユーザ」は、作業用コンテンツを視認しながら作業を実行した、または実行しているユーザとなる。なお、各ヘッドマウントディスプレイ1にはIDが付されている。サーバ6は、各ヘッドマウントディスプレイ1のIDと、登録されたユーザ名とを対応付けて、HDD64に記憶している。従って、ヘッドマウントディスプレイ1のIDが判明すれば、そのヘッドマウントディスプレイ1を使用するユーザも判明する。
【0038】
「進捗状況」は、作業の進捗状況を示すデータである。「進捗状況」のデータは、「ページ数」および「ページの表示時間」の少なくともいずれかのデータから作成される。図6に示す例では、サーバ6のCPU61は作業番号「2」の作業について、全5ページからなる作業用コンテンツのうち3ページ目が表示されている段階であるため、進捗状況を60%としている。また、CPU61は、作業番号「4」の作業について、1分40秒の動画からなる作業用コンテンツの表示が開始されてから5秒が経過した段階であるため、進捗状況を5%としている。なお、表示が完了した作業用コンテンツには「済」、未だ表示されていない作業用コンテンツには「未着手」が記憶される。
【0039】
図7を参照して、サーバ6が実行するサーバ処理について説明する。サーバ6のHDD64には、サーバ処理を実行するためのサーバプログラムが記憶されている。サーバ6のCPU61は、作業を開始する指示をヘッドマウントディスプレイ1から入力すると、図7に示すサーバ処理を実行する。
【0040】
サーバ処理が開始されると、作業用コンテンツのリストの送信要求をいずれかのヘッドマウントディスプレイ1から受信したか否かが判断される(S11)。受信していなければ(S11:NO)、処理はそのままS13の判断へ移行する。リストの送信要求を受信した場合(S11:YES)、表示状況管理データ(図6参照)に基づいて、作業用コンテンツのリストのデータが作成される。作成されたリストのデータが、リストを要求したヘッドマウントディスプレイ1に送信される(S12)。処理はS13へ移行する。ヘッドマウントディスプレイ1は、サーバ6から受信したデータに基づいてリスト画像71(図9参照)を表示するが、この詳細は後述する。
【0041】
次いで、いずれかのヘッドマウントディスプレイ1から表示状況を受信したか否かが判断される(S13)。詳細は後述するが、ヘッドマウントディスプレイ1は、表示中の作業用コンテンツおよびそのページ数を、作業用コンテンツの表示状況として、ページの表示開始時にサーバ6に送信(通知)する。表示状況を受信していなければ(S13:NO)、処理はそのままS17の判断へ移行する。表示状況を受信した場合(S13:YES)、表示状況管理データ(図6参照)のうち該当する作業用コンテンツのデータが更新される。詳細には、表示状況の送信元のヘッドマウントディスプレイ1のID、およびユーザ名が記憶される(S14)。表示中のページ数が記憶される(S15)。ページの表示時間の計測が開始される(S16)。
【0042】
次いで、いずれかのヘッドマウントディスプレイ1から、識別機器についての表示状況データの送信要求を受信したか否かが判断される(S17)。詳細は後述するが、ヘッドマウントディスプレイ1は、他のヘッドマウントディスプレイ1を識別すると、識別機器についての表示状況データの送信をサーバ6に要求する。表示状況データは、作業用コンテンツの表示状況を示す状況画像81、91(図11および図12参照)を表示するためのデータである。送信要求を受信していなければ(S17:NO)、処理はそのままS19の判断へ移行する。表示状況データの送信要求を受信すると(S17:YES)、表示状況管理データ(図6参照)に基づいて、識別機器の表示状況データが作成される。作成された表示状況データが、データの送信を要求したヘッドマウントディスプレイ1に送信される(S18)。処理はS19へ移行する。リストに含まれる全ての作業が終了していなければ(S19:NO)、処理はS11の判断へ戻り、S11〜S19の処理が繰り返される。全ての作業が終了すると(S19:YES)、サーバ処理は終了する。
【0043】
図8から図12を参照して、ヘッドマウントディスプレイ1が実行する作業中処理について説明する。ヘッドマウントディスプレイ1のROM12には、作業中処理を実行するための制御プログラムが記憶されている。ヘッドマウントディスプレイ1のCPU11は、作業中処理を開始する指示を操作部38から入力すると、図8に示す作業中処理を実行する。
【0044】
作業中処理が開始されると、起動処理が実行される(S21)。操作部38から電源オフの指示を入力したか否かが判断される(S22)。電源オフの指示を入力していなければ(S22:NO)、作業用コンテンツのリストの送信要求がサーバ6に送信され、リストのデータがサーバ6から取得される(S23)。取得されたリストのデータに基づいて、リスト画像71が表示される(S24)。
【0045】
図9に示すように、リスト画像71は、ユーザが作業を実行する際に視認する作業用コンテンツのリストを示す画像である。前述したように、リストのデータは表示状況管理データ(図6参照)に基づいて作成される。よって、ヘッドマウントディスプレイ1は、完了した作業、着手中の作業、および未着手の作業を把握できるように、リスト画像71を表示することができる。本実施の形態のリスト画像71には、6個の作業用コンテンツの各々の表示状況(作業の進行状況)を示す詳細リスト72と、6個の作業の進行手順を示す手順リスト73とが表示される。従って、ユーザは、各作業の進行状況の詳細と作業全体の手順とを共に容易に把握することができる。
【0046】
図8の説明に戻る。リスト画像71が表示されると、リスト画像71に表示された作業用コンテンツが選択されたか否かが判断される(S25)。選択されていなければ(S25:NO)、処理はS22の判断へ戻る。従って、リスト画像71には常に最新の表示状況管理データ(図6参照)が反映される。ユーザは作業を開始する場合、制御装置33の操作部38(図2および図4参照)を操作し、リスト画像71において「未着手」と表示された作業用コンテンツを選択する。作業用コンテンツが選択されると(S25:YES)、作業用コンテンツの表示状況がサーバ6に通知される(S26)。詳細には、選択されて表示される作業用コンテンツおよびページ数の情報がサーバ6へ送信される。カメラ5が撮影した画像データのサーバ6への送信が開始される(S27)。選択された作業用コンテンツが表示される(S28)。なお、詳細は後述するが、サーバ6へ送信された画像データは、次に実行する作業を選択する他のユーザのヘッドマウントディスプレイ1に転送される。
【0047】
次いで、操作部38に対してページ送り操作が行われたか否かが判断される(S29)。操作が行われていなければ(S29:NO)、同一の作業用コンテンツの表示が継続される(S28)。ページ送り操作が行われると(S29:YES)、ページが更新されることを示す情報がサーバ6へ送信される(S30)。CPU11は、表示中の作業用コンテンツ内の全てのページの表示が終了したか否かを判断することで、作業が完了したか否かを判断する(S31)。全てのページの表示が未だ終了していなければ(S31:NO)、処理はS28へ戻り、更新されたページが表示される。全てのページの表示が終了すると(S31:YES)、次に実行する作業をユーザに選択させるための処理が行われる(S34〜S41)。
【0048】
図10に示すように、作業用コンテンツ75は、ユーザが選択した作業の作業対象・作業手順等をユーザに把握させるためのコンテンツであり、文章、図面、写真、グラフ等からなる。図10に例示する作業用コンテンツ75は、作業情報76、工程情報77、および手順説明図面78を含む。作業情報76は、表示中の作業用コンテンツ75の作業番号および作業名の情報である。工程情報77は、1または複数の工程の概要と実行中の工程とを示す情報である。太枠で囲まれた工程「1」が実行中の工程である。手順説明図面78は、実行中の工程の手順を説明するための図面である。手順説明図面78は静止画および動画のいずれであってもよい。図10に示す状態でユーザがページ送り操作を行うと、実行中の工程が工程「2」に移行し、手順説明図面78は工程「2」の図面に更新される。ユーザは、作業用コンテンツ75を視認しながら作業を行うことで、作業対象・作業手順等を容易に把握して円滑に作業を行うことができる。なお、作業用コンテンツ75は、ユーザの視野方向の一部(図10に示す例では上部)に表示される。従って、ユーザは、作業用コンテンツ75が表示されない部分では実際の視界79を視認することができる。
【0049】
図8の説明に戻る。選択された作業用コンテンツの全てのページの表示が終了し、1つの作業が完了したと判断すると(S31:YES)、カメラ5が撮影した画像データのサーバ6への送信が停止される(S34)。カメラ5が撮影した画像データが取得され、取得された画像データに対して画像処理が行われて、画像内の識別コード51が探索される(S35)。図11および図12に示すように、本実施の形態では、各ユーザが装着するヘルメット50に識別コード51が付されている。識別コード51は、それぞれのヘッドマウントディスプレイ1に割り当てられており、識別コード51の各々にヘッドマウントディスプレイ1のIDが対応付けられてフラッシュメモリ16に記憶されている。従って、ヘッドマウントディスプレイ1は、識別コード51を識別することで、カメラ5の撮影範囲(ユーザの視野方向)に存在するヘッドマウントディスプレイ1および装着するユーザを識別することができる。なお、識別コード51が付されるのは、ユーザが装着する装着物であればよく。ヘルメット50に限られない。例えば、ヘッドマウントディスプレイ1の枠部、服、帽子等に識別コード51を付してもよい。また、識別コード51は図11および図12に示すものに限られず、バーコード等の他の識別コードを用いても良い。
【0050】
カメラ5が撮影した画像内に識別コード51が存在しなければ(S36:NO)、処理はそのままS41の判断へ移行する。識別コード51が存在する場合(S36:YES)、識別コード51に割り当てられているヘッドマウントディスプレイ1のIDが識別される(S37)。その結果、カメラ5の撮像範囲に存在するヘッドマウントディスプレイ1が識別される。次いで、識別されたヘッドマウントディスプレイ1(識別機器)の表示状況データの送信要求がサーバ6に送信され、表示状況データが取得される(S38)。前述したように、表示状況データは、作業用コンテンツの表示状況を示す状況画像81、91(図11および図12参照)を表示するためのデータである。さらに、識別機器のカメラ5が撮影した画像を表示させる場合には、識別機器からサーバ6に送信された画像データがサーバ6から取得される(S39)。S38およびS39の処理で取得されたデータに基づいて、識別機器の状況画像81、91が表示される(S40)。
【0051】
図11を参照して、状況画像81について説明する。状況画像81は、識別機器のカメラ5の撮影画像を表示する場合の一例である。図11に例示する状況画像81は、プログレスバー82および進行割合表示部83を含む。プログレスバー82および進行割合表示部83は、識別機器で表示中の作業用コンテンツが示す作業の進捗状況を表示する。前述したように、作業の進捗状況は、表示されているページのページ数およびページの表示時間の少なくともいずれかによって判断できる(図6参照)。プログレスバー82は進捗状況を棒グラフで表すものであり、進行割合表示部83は進捗状況を数値で表すものである。ユーザは、識別機器を使用しているユーザの作業の進捗状況を、プログレスバー82および進行割合表示部83によって容易に把握することができる。
【0052】
また、図11に例示する状況画像81は、作業内容表示部84およびコメント表示部85を含む。作業内容表示部84は、識別機器を使用するユーザの現在の作業内容を表示する。作業内容表示部84に表示される作業内容は、作業用コンテンツに対応付けてあらかじめ記憶されている。コメント表示部85は各種コメントを表示する。図11に示す例では、各作業用コンテンツを表示する標準時間があらかじめ定められている。1つの作業用コンテンツの表示時間が標準時間未満であれば、ヘッドマウントディスプレイ1は、図11に示す「順調、手伝不要」のコメントを表示する。作業用コンテンツの表示時間が標準時間以上となれば、ヘッドマウントディスプレイは「作業遅延中」等のコメントをコメント表示部85に表示することができる。コメント表示部85に表示するコメントの内容は、サーバ6が決定してヘッドマウントディスプレイ1に通知してもよいし、ヘッドマウントディスプレイ1が「ページの表示時間(図6参照)」の情報をサーバ6から取得して決定してもよい。さらに、図11に例示する状況画像81は、識別機器のカメラ5が撮影した画像を表示する撮影画像表示部87を含む。ユーザは、撮影画像表示部87を視認することで、識別機器を使用するユーザの視線方向の画像を確認することができる。よって、識別機器を使用するユーザの作業の進捗状況をより的確に把握することができる。
【0053】
図12を参照して、状況画像91について説明する。状況画像91は、識別機器のカメラ5の撮影画像を表示しない場合の一例である。図12に例示する状況画像91は、作業内容表示部92、作業一覧画像表示部93、および工程一覧画像表示部94を含む。作業内容表示部92は、識別機器で表示中の作業用コンテンツが示す作業の内容を表示する。作業一覧画像表示部93では、リスト画像71(図9参照)に含まれる全ての作業用コンテンツの一覧画像が表示され、且つ識別機器で表示されている作業用コンテンツが太枠で示される。従って、ユーザは、識別機器を使用しているユーザが作業全体のうちのどの作業を担当しているのかを容易に把握することができる。工程一覧画像表示部94では、識別機器において表示される1または複数のページ(工程)からなる作業用コンテンツの一覧画像が表示され、且つ識別機器で表示されているページ(工程)が太枠で示される。従って、ユーザは、実行されるべき工程のうちどれだけの工程を識別機器のユーザが完了させたのかを容易に把握することができる。なお、図12に示す状況画像91に撮影画像表示部87(図11参照)を設けてもよいことは言うまでもない。
【0054】
図8の説明に戻る。状況画像81、91を表示させる処理(S36〜S40)が終了すると、作業を移行するための操作が操作部38に入力されたか否かが判断される(S41)。入力されていなければ(S41:NO)、処理はS35へ戻り、S35〜S41の処理が繰り返される。作業を移行するための操作が入力されると(S41:YES)、処理はS22の判断へ戻る。その後に電源がオフされなければ(S22:NO)、リスト画像71が再び表示されて、作業者は新たな作業に移行する。電源がオフとされると(S22:YES)、処理は終了する。
【0055】
以上説明したように、本実施の形態のヘッドマウントディスプレイ1は、ユーザによって選択された作業用コンテンツを表示する際に、表示状況をサーバに通知する。さらに、ヘッドマウントディスプレイ1は、ユーザの視野方向に存在する他のヘッドマウントディスプレイ1を識別する。識別機器における作業用コンテンツの表示状況を、サーバから取得した表示状況データに従って表示する。従って、各ユーザは自分が選択した作業用コンテンツを確認できるだけでなく、視野方向にある識別機器における作業用コンテンツの表示状況を容易に把握することができる。ユーザは、識別機器における作業用コンテンツの表示状況を把握することで、識別機器を使用しているユーザの作業状況を把握できる。よって、ヘッドマウントディスプレイ1は、複数のユーザが作業を行っている場合に作業全体の効率を向上させることができる。
【0056】
ヘッドマウントディスプレイ1は、各ユーザが装着する装着物に付されている識別コード51を識別することで、視野方向に存在する他のヘッドマウントディスプレイ1を容易に識別することができる。
【0057】
ヘッドマウントディスプレイ1は、識別機器で表示中の作業用コンテンツが示す作業の進捗状況を、状況画像81、91によって表示することができる。従って、ユーザは他のユーザの作業の進捗状況を容易に把握して的確な判断を行うことができ、作業全体の効率がさらに向上する。ヘッドマウントディスプレイ1は、作業用コンテンツのページ数の情報および動画の進行割合(表示時間)の情報の少なくともいずれかに応じた表示状況データを、作業の進捗状況を示すデータとしてサーバ6から取得する。ヘッドマウントディスプレイ1は、取得した表示状況データに従って状況画像81、91を表示する。従って、ユーザは、他のユーザの作業の進捗状況を詳細且つ的確に把握することができる。さらに、ヘッドマウントディスプレイ1は、識別機器で表示される全ての作用用コンテンツにおける表示中の作業用コンテンツ(ページ)を示す一覧画像を、作業の進捗状況として表示させることができる。従って、ユーザは、実行されるべき全ての作業のうちどれだけの作業(工程)を他のユーザが完了させたのかを容易に把握することができる。
【0058】
作業用コンテンツが表示されている場合、ユーザは作業中である。作業用コンテンツが表示されていない場合、ユーザは次に行う作業(次に表示させる作業用コンテンツ)を選択する必要がある。ヘッドマウントディスプレイ1は、作業用コンテンツを表示しているか否かに応じて、カメラ5が撮像した画像データに対する処理を切り替える。よって、ユーザの状況に応じた適切な処理を行うことができる。詳細には、ヘッドマウントディスプレイ1は、ユーザが作業中であれば、ユーザの視野方向の画像データをサーバ6に送信する。その結果、他のユーザに視野方向の画像を確認させることができる。一方、ユーザが次に行う作業を選択する場合には、ヘッドマウントディスプレイ1は、画像内の他のヘッドマウントディスプレイ1を識別し、識別機器を使用しているユーザの作業の進捗状況を表示することができる。従って、ヘッドマウントディスプレイ1は無駄な処理が実行されることを防止し、ユーザの状況に応じた適切な処理を行うことができる。ヘッドマウントディスプレイ1は、他のユーザの視野方向の画像を表示することができるため、他のユーザの作業の進捗状況をより容易に把握することができる。
【0059】
上記実施の形態において、表示部20が本発明の「表示手段」に相当する。図8のS23で作業用コンテンツのリストのデータを取得するCPU11が「リスト取得手段」として機能する。図8のS24でリスト画像71を表示させるCPU11が「リスト表示手段」として機能する。図8のS25で作業用コンテンツの選択指示を受け付けるCPU11が「指示受付手段」として機能する。図8のS28で、選択された作業用コンテンツを表示させるCPU11が「作業用コンテンツ表示手段」として機能する。図8のS26、S30で作業用コンテンツの表示状況をサーバ6に通知するCPU11が「表示状況通知手段」として機能する。図8のS35で画像データをカメラ5から取得するCPU11が「画像取得手段」として機能する。図8のS35でヘッドマウントディスプレイ1を識別するCPU11が「識別手段」として機能する。図8のS38で表示状況データをサーバ6から取得するCPU11が「状況取得手段」として機能する。図8のS40で状況画像81、91を表示させるCPU11が「状況表示手段」として機能する。
【0060】
識別コード51が本発明の「識別情報」に相当する。図8のS25で作業用コンテンツの表示を開始させるか否かを判断するCPU11、および、S31で表示中の作業用コンテンツ内の全てのページの表示が終了したか否かを判断するCPU11が「表示判断手段」として機能する。図8のS27、S34、S35で画像データに対する処理を切り替えるCPU11が「処理切替手段」として機能する。図8のS39で識別機器の画像データをサーバ6から取得するCPU11が「送信画像取得手段」として機能する。
【0061】
本発明は上記実施の形態に限定されることはなく、様々な変形が可能であることは言うまでもない。例えば、上記実施の形態のヘッドマウントディスプレイ1は、識別機器のユーザの作業の進捗状況を、状況画像81、91によって表示する。しかし、ヘッドマウントディスプレイ1が表示できる画像は、図11および図12に例示した画像に限られない。例えば、ヘッドマウントディスプレイ1は、作業の進捗状況(具体的には、プログレスバー82の表示、進行割合表示部83の表示、工程一覧画像表示部94の表示等)を表示せずに、識別機器で表示されている作業用コンテンツのみを表示してもよい。ユーザは、識別機器で表示されている作業用コンテンツを把握することで、識別機器のユーザが実行している作業を把握することができる。よって、ユーザは、他のユーザが実行している作業を把握した上で、次に自分が実行する作業を円滑に選択することができる。
【0062】
上記実施の形態では、ヘッドマウントディスプレイ1が状況画像81、91を表示するための表示状況データをサーバ6が作成する。ヘッドマウントディスプレイ1は、表示状況データをサーバ6から取得して状況画像81、91を表示する。しかし、状況画像81.91を表示するヘッドマウントディスプレイ1自身が表示状況データを作成してもよい。この場合、ヘッドマウントディスプレイ1は、識別機器において表示されている作業用コンテンツのページ数の情報、およびページの表示時間の情報をサーバ6から取得し、取得した情報に基づいて表示状況データを作成すればよい。
【符号の説明】
【0063】
1 ヘッドマウントディスプレイ
5 カメラ
6 サーバ
11 CPU
12 ROM
16 フラッシュメモリ
20 表示部
33 制御装置
38 操作部
51 識別コード
61 CPU
64 HDD
71 リスト画像
75 作業用コンテンツ
81 状況画像
87 撮影画像表示部
91 状況画像
93 作業一覧画像表示部
94 工程一覧画像表示部
100 画像表示システム

【特許請求の範囲】
【請求項1】
ユーザの頭部に装着され、前記ユーザの目に画像を表示する表示手段を有する複数のヘッドマウントディスプレイと、前記複数のヘッドマウントディスプレイの各々との間でデータを送受信することが可能なサーバとを備えた画像表示システムで用いられる前記ヘッドマウントディスプレイであって、
前記ユーザが作業を実行する際に視認する作業用コンテンツのリストのデータを前記サーバから取得するリスト取得手段と、
前記リスト取得手段によって取得されたデータに従って前記リストを前記表示手段に表示させるリスト表示手段と、
前記リスト表示手段によって表示された前記リスト中の作業用コンテンツを選択するための前記ユーザからの指示を受け付ける指示受付手段と、
前記指示受付手段によって指示が受け付けられた場合に、前記指示によって選択された作業用コンテンツを前記表示手段に表示させる作業用コンテンツ表示手段と、
前記作業用コンテンツ表示手段によって前記表示手段に表示されている作業用コンテンツの表示状況を前記サーバに通知する表示状況通知手段と、
前記ユーザの視野方向を撮影する撮影手段から画像データを取得する画像取得手段と、
前記画像取得手段によって取得された画像データから、前記視野方向に存在するヘッドマウントディスプレイを識別する識別手段と、
前記識別手段によって識別されたヘッドマウントディスプレイの作業用コンテンツの表示状況を示すデータを前記サーバから取得する状況取得手段と、
前記状況取得手段によって取得されたデータに従って、前記識別手段によって識別されたヘッドマウントディスプレイの作業用コンテンツの表示状況を前記表示手段に表示させる状況表示手段と
を備えたことを特徴とするヘッドマウントディスプレイ。
【請求項2】
前記状況表示手段は、前記識別手段によって識別されたヘッドマウントディスプレイで表示中の作業用コンテンツが示す作業の進捗状況を前記表示手段に表示させることを特徴とする請求項1に記載のヘッドマウントディスプレイ。
【請求項3】
前記状況取得手段は、前記識別手段によって識別されたヘッドマウントディスプレイで表示されている作業用コンテンツのページ数の情報、および動画の進行割合を示す情報の少なくともいずれかに応じたデータを、作業の進捗状況を示すデータとして前記サーバから取得することを特徴とする請求項2に記載のヘッドマウントディスプレイ。
【請求項4】
前記状況表示手段は、前記状況取得手段によって取得されたデータであり、作業用コンテンツのページ数の情報、および動画の進行割合を示す情報の少なくともいずれかに応じたデータに従って、作業の進捗状況を表示することを特徴とする請求項3に記載のヘッドマウントディスプレイ。
【請求項5】
前記状況表示手段は、前記識別手段によって識別されたヘッドマウントディスプレイにおいて表示される全ての作業用コンテンツにおける表示中の作業用コンテンツを示す一覧画像を、作業の進捗状況として表示させることを特徴とする請求項2から4のいずれかに記載のヘッドマウントディスプレイ。
【請求項6】
前記作業用コンテンツ表示手段によって作業用コンテンツが前記表示手段に表示されているか否かを判断する表示判断手段と、
前記表示判断手段の判断結果に応じて、前記画像取得手段によって取得された画像データに対する処理を切り替える処理切替手段とをさらに備え、
前記処理切替手段は、
前記表示判断手段によって作業用コンテンツが表示されていると判断された場合には、前記画像取得手段によって取得された視野方向の画像の画像データを前記サーバに送信する処理を実行し、
前記表示判断手段によって作業用コンテンツが表示されていないと判断された場合には、前記識別手段によるヘッドマウントディスプレイの識別処理を実行することを特徴とする請求項2から5のいずれかに記載のヘッドマウントディスプレイ。
【請求項7】
前記識別手段によって識別されたヘッドマウントディスプレイから前記サーバに送信された画像データを前記サーバから取得する送信画像取得手段をさらに備え、
前記状況表示手段は、前記送信画像取得手段によって取得された画像データに従って、前記識別手段によって識別されたヘッドマウントディスプレイの視野方向の画像を前記表示手段に表示させることを特徴とする請求項2から6のいずれかに記載のヘッドマウントディスプレイ。
【請求項8】
各ユーザが装着する装着物には識別情報が付されており、
前記識別手段は、前記画像データに含まれる識別情報を用いてヘッドマウントディスプレイを識別することを特徴とする請求項1から7のいずれかに記載のヘッドマウントディスプレイ。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2012−212991(P2012−212991A)
【公開日】平成24年11月1日(2012.11.1)
【国際特許分類】
【出願番号】特願2011−76773(P2011−76773)
【出願日】平成23年3月30日(2011.3.30)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】