ヘッドマウントディスプレイおよびこのヘッドマウントディスプレイを含む撮像データ利用システム
【課題】ユーザに、コンテンツデータによって示されるコンテンツ画像を視認させつつ、コンテンツ画像に関連する内容を適切に提供することができるヘッドマウントディスプレイおよびこのヘッドマウントディスプレイを含む撮像データ利用システムを提供することを目的とする。
【解決手段】ヘッドマウントディスプレイの制御ボックスのＣＰＵは、マニュアル画像（コンテンツ画像）の開始指示が入力された場合（Ｓ１００：Ｙｅｓ）、これの提示と、ＣＣＤセンサによる撮像と、マイクによる音声の取得とを開始する（Ｓ１０４，Ｓ１０６）。ＣＰＵは、取得された音声の音声データに予め定められた特定の特徴を有する音声が含まれているか判断し（Ｓ１１０）、含まれる場合（Ｓ１１０：Ｙｅｓ）、提示中のマニュアル画像のページ番号と、特定の特徴を有する音声が発せられたタイミングに関する第１時間位置情報とを第１関連付けテーブルに登録する（Ｓ１１２）。
【解決手段】ヘッドマウントディスプレイの制御ボックスのＣＰＵは、マニュアル画像（コンテンツ画像）の開始指示が入力された場合（Ｓ１００：Ｙｅｓ）、これの提示と、ＣＣＤセンサによる撮像と、マイクによる音声の取得とを開始する（Ｓ１０４，Ｓ１０６）。ＣＰＵは、取得された音声の音声データに予め定められた特定の特徴を有する音声が含まれているか判断し（Ｓ１１０）、含まれる場合（Ｓ１１０：Ｙｅｓ）、提示中のマニュアル画像のページ番号と、特定の特徴を有する音声が発せられたタイミングに関する第１時間位置情報とを第１関連付けテーブルに登録する（Ｓ１１２）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの眼にコンテンツデータによって示されるコンテンツ画像を視認可能に提示するヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
従来から、ユーザの眼にコンテンツデータにより示されるコンテンツ画像を視認可能に提示するシースルー型のヘッドマウントディスプレイに関する技術が提案されている。例えば、画像を表示する透光型の液晶表示パネルを有し、これが目の直前にくるように頭部に装着されるめがね部を持つヘッドマウント型のＡＶ装置と、各作業過程の作業対象物を象って予め作成された各種アニメーション画像を記憶する記憶部と、各作業過程の順番にしたがって、ＡＶ装置を装着する装着者によって液晶表示パネルを通して視認される作業対象物そのものに対して、記憶部に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を液晶表示パネルに表示するアニメーション表示処理機能とを備え、各作業過程の順番にしたがって、アニメーション画像を液晶表示パネルに表示することにより、作業対象物に対して行われるべき作業内容を装着者に示すようにした技術が提案されている（例えば、特許文献１参照）。
【０００３】
なお、被写体の撮影により得られた画像信号から、撮影状態の変化を表す画像特徴量を抽出する画像処理部と、音声を取得して得られた音声信号から、撮影状態の変化を表す音声特徴量を抽出する音声処理部と、撮影者の生理変化を示す情報に基づいて、撮影状態の変化を表す状態特徴量を抽出する固有識別情報処理部とを備え、抽出された特徴量を予め設定されている検出強度と比較して、この特徴量の発生した撮影タイミングが編集点として妥当であるか否かを判定する撮像装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２１９３１号公報
【特許文献２】特開２００６−１５７８９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、各種の作業現場において、実行される作業の各工程を説明する複数のページからなるマニュアル（作業指図書）を、ヘッドマウントディスプレイでユーザに提示しつつ、実行中の作業状況を撮像しておき、後に、撮像された撮像データを用いて、この作業に慣れていない者などに対し、その作業の説明を行うことができると便利である。そして、出願人は、その際、マニュアルの各ページに関連した内容が再生されると、さらに、有効なもの（ツール）になると考えた。すなわち、出願人は、作業用のマニュアルなどのコンテンツデータによって示されるコンテンツ画像に関連した内容を再生可能な技術は、有効な技術であると考えた。
【０００６】
本発明は、ユーザに、コンテンツデータによって示されるコンテンツ画像を視認させつつ、コンテンツ画像に関連する内容を適切に提供することができるヘッドマウントディスプレイおよびこのヘッドマウントディスプレイを含む撮像データ利用システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記従来の課題に鑑みなされた本発明の第１の課題解決手段は、コンテンツデータによって示されるコンテンツ画像それぞれを、順次、ユーザの眼に視認可能に提示するヘッドマウントディスプレイであって、前記コンテンツ画像を提示するコンテンツ画像提示手段と、前記コンテンツ画像提示手段によって前記コンテンツ画像が提示されている際に、被写体を撮像する撮像手段と、前記撮像手段によって撮像された前記被写体を含む撮像データを、撮像された時間に関する撮像時間位置情報とともに、自装置がアクセス可能な記憶手段に記憶する記憶制御手段と、前記ヘッドマウントディスプレイの外部で生じた事象を取得する事象取得手段と、前記事象情報取得手段によって取得された前記事象が、特定の特徴を有するかについて判断する判断手段と、前記判断手段によって前記特定の特徴を有すると判断された前記事象が生じたタイミングに関する第１時間位置情報を特定する第１時間位置情報特定手段と、前記判断手段によって前記事象が前記特定の特徴を有すると判断された場合、前記コンテンツ画像提示手段によって提示されている前記コンテンツ画像を識別可能な提示中識別情報と、前記第１時間位置情報とを関連付けて、自装置がアクセス可能な第１関連付け手段に登録する第１関連付け登録手段とを備えることを特徴とするヘッドマウントディスプレイである。
【０００８】
これによれば、コンテンツ画像が提示されている際に、被写体を撮像し、かつ提示されているコンテンツ画像を識別可能な提示中識別情報と、第１時間位置情報とを関連付けて、自装置がアクセス可能な第１関連付け手段に登録することができる。
【０００９】
第２の課題解決手段は、第１の課題解決手段のヘッドマウントディスプレイであって、前記事象取得手段は、取得した前記事象を含む事象データを作成し、前記第１関連付け登録手段は、さらに、前記特定の特徴を有すると判断された前記事象を含む前記事象データを関連付けて、前記第１関連付け手段に登録することを特徴とする。これによれば、事象データを第１関連付け手段に登録することができる。
【００１０】
第３の課題解決手段は、第１または第２の課題解決手段のヘッドマウントディスプレイであって、前記コンテンツ画像提示手段によって提示されている一のコンテンツ画像を、他のコンテンツ画像に切り替える指令を取得する指令取得手段と、前記指令取得手段によって取得された前記指令の取得のタイミングに関する第２時間位置情報と、前記指令によって新たに提示されることとなった前記他のコンテンツ画像を識別可能な他の提示中識別情報とを関連付けて、自装置がアクセス可能な第２関連付け手段に登録する第２関連付け登録手段とを備えることを特徴とする。これによれば、新たに提示されることになった他のコンテンツ画像について、提示の指令が取得されたタイミングに関する第２時間位置情報と、他のコンテンツ画像を識別可能な他の提示中識別情報とを関連付けて第２関連付け手段に登録することができる。
【００１１】
第４の課題解決手段は、第１から第３の課題解決手段のいずれか１つのヘッドマウントディスプレイであって、前記事象取得手段は、音声入力機能を有し、前記事象を音声として取得し、前記判断手段は、前記事象取得手段が取得した前記音声を解析し、解析した結果、前記事象取得手段が取得した前記音声に予め定められた特徴が認められた場合、前記特定の特徴を有すると判断することを特徴とする。これによれば、事象取得手段が取得した音声に予め定められた特徴が認められた場合、特定の特徴を有すると判断することができる。
【００１２】
第５の課題解決手段は、第１から第４の課題解決手段のいずれか１つのヘッドマウントディスプレイと、前記記憶手段に記憶された前記撮像データと前記第１関連付け手段とにアクセス可能であるとともに、前記コンテンツデータにアクセスし、前記コンテンツ画像を表示可能な情報処理装置とを含む撮像データ利用システムであって、前記情報処理装置は、自装置で前記コンテンツ画像を表示しているとき前記第１関連付け手段にアクセスし、自装置で表示している前記コンテンツ画像を識別可能な表示中識別情報に一致する前記提示中識別情報が、前記第１関連付け手段に登録されていると判断される場合、前記表示中識別情報に一致する前記提示中識別情報に関連付けられた前記第１時間位置情報を取得する第１時間位置情報取得手段と、前記第１時間位置情報に対応する前記撮像時間位置情報とともに前記記憶手段に記憶されている前記撮像データにアクセスし、前記第１時間位置情報取得手段によって取得された前記第１時間位置情報に対応する所定の時点に撮像された前記撮像データの部分を、前記撮像時間位置情報により特定し、特定された前記撮像データの部分を再生する再生手段とを備えることを特徴とする撮像データ利用システムである。
【００１３】
これによれば、ヘッドマウントディスプレイによって撮像された撮像データについて、第１時間位置情報に対応する所定の時点に撮像された撮像データの部分を、撮像時間位置情報により特定し、特定された撮像データの部分を再生することができる。
【００１４】
第６の課題解決手段は、第５の課題解決手段の撮像データ利用システムであって、前記撮像データ利用システムは、複数の前記ヘッドマウントディスプレイを含み、前記記憶手段には、前記撮像データが、複数の前記ヘッドマウントディスプレイそれぞれが備える前記記憶制御手段によって、複数記憶され、前記第１関連付け手段には、前記提示中識別情報と前記第１時間位置情報とが、複数のヘッドマウントディスプレイそれぞれが備える前記第１関連付け登録手段によって、複数関連付けて登録され、前記情報処理装置において、前記第１時間位置情報取得手段は、前記第１関連付け手段に登録されている、前記表示中識別情報に一致する前記提示中識別情報に関連付けられた全ての前記第１時間位置情報を取得し、前記再生手段は、前記第１時間位置情報それぞれに対応する前記撮像時間位置情報とともに前記記憶手段に記憶されている前記撮像データにアクセスし、前記第１時間位置情報取得手段によって取得された前記第１時間位置情報それぞれに対応する所定の時点に撮像された前記撮像データの部分を、前記撮像時間位置情報により特定し、特定された前記撮像データの部分を再生することを特徴とする。これによれば、複数のヘッドマウントディスプレイを含む撮像データ利用システムとすることができる。
【発明の効果】
【００１５】
本発明によれば、ユーザに、コンテンツデータによって示されるコンテンツ画像を視認させつつ、コンテンツ画像に関連する内容を適切に提供することができるヘッドマウントディスプレイおよびこのヘッドマウントディスプレイを含む撮像データ利用システムを得ることができる。
【図面の簡単な説明】
【００１６】
【図１】撮像データ利用システムを示す図である。
【図２】ヘッドマウントディスプレイを示す図である。
【図３】制御ボックスの機能ブロックを示す図である。
【図４】録画時処理のフローチャートを示す図である。
【図５】ヘッドマウントディスプレイを利用しているユーザによる作業状態を示す図である。
【図６】第１関連付けテーブルを示す図である。
【図７】第１処理形態の再生時処理のフローチャートを示す図である。
【図８】第２処理形態の再生時処理のフローチャートを示す図である。
【図９】提示画像切替処理のフローチャートを示す図である。
【図１０】第２関連付けテーブルを示す図である。
【発明を実施するための形態】
【００１７】
本発明を反映した上記課題解決手段を実施するための実施形態について、図面を用いて以下に詳細に説明する。上記課題解決手段は以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に説明する各構成において、所定の構成を省略することができる。また、以下に説明する各処理において、所定のステップを省略することができる。
【００１８】
（撮像データ利用システム）
撮像データ利用システム１００について、図１を参照して説明する。撮像データ利用システム１００は、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ／以下、「ＨＭＤ」ともいう。）２００Ａ，２００Ｂ，２００Ｃ（以下、ＨＭＤ２００Ａ，２００Ｂ，２００Ｃを区別しない場合、単に「ＨＭＤ２００」という。）と、コンテンツデータ記憶領域５００と、撮像データ記憶領域５１０と、テーブル記憶領域５２０と、音声データ記憶領域５３０と、情報処理装置６００とを含み、各構成は、通信可能に接続されている。例えば、これらは、ＬＡＮまたはＷＡＮのようなネットワーク７００を介して接続されている。なお、ＨＭＤ２００とコンテンツデータ記憶領域５００と撮像データ記憶領域５１０とテーブル記憶領域５２０と音声データ記憶領域５３０とについては、ネットワーク７００を介した接続の他、これらをメモリバスによって接続した構成、換言すれば、これらを一体として形成した構成とすることもできる。
【００１９】
コンテンツデータ記憶領域５００は、ＨＭＤ２００で視認されるコンテンツデータを記憶する領域である。コンテンツデータ記憶領域５００には、例えば所定の作業のマニュアルに関するマニュアルデータが、コンテンツデータとして記憶されている。撮像データ記憶領域５１０は、ＨＭＤ２００で撮像された撮像データを記憶する領域である。テーブル記憶領域５２０は、第１関連付けテーブル５２２と第２関連付けテーブル５２４（後述する変形例（２）の構成において採用）とを記憶する領域である。第１関連付けテーブル５２２と第２関連付けテーブル５２４とについては、後述する。音声データ記憶領域５３０は、ＨＭＤ２００で録音された音声データを記憶する領域である。なお、コンテンツデータ記憶領域５００と撮像データ記憶領域５１０とテーブル記憶領域５２０と音声データ記憶領域５３０とは、ハードウェア的に、複数の記憶領域または１つの記憶領域のいずれであってもよい。
【００２０】
情報処理装置６００は、従来から利用されている、例えばパーソナルコンピュータによって構成される。情報処理装置６００は、ＣＰＵ６０２とＲＯＭ６０４とＲＡＭ６０６と記憶部（例えば、ハードディスクまたはＳＳＤ（Solid State Drive）で構成）６０８と表示部６１０と操作部６１２とネットワークインターフェース（ネットワークＩ／Ｆ）６１４とを備える。記憶部６０８には、後述する再生時処理（図７，図８参照）のためのプログラムが記憶されており、ＣＰＵ６０２は、記憶部６０８からこのプログラムを読み出し、これをＲＡＭ６０６上で実行する。表示部６１０は、各種の情報を表示する。操作部６１２は、キーボードおよびマウスなどから構成される。ネットワークＩ／Ｆ６１４は、ネットワーク７００を介した通信を実行する。なお、ＨＭＤ２００については、次にその詳細を説明する。
【００２１】
（ヘッドマウントディスプレイ）
ＨＭＤ２００の構成について、図２を参照して説明する。ＨＭＤ２００は、ＨＭＤ本体２２０と制御ボックス２６０とＣＣＤセンサ３００とマイク３２０とを含む。ＨＭＤ本体２２０とＣＣＤセンサ３００とマイク３２０とは、信号ケーブル２８０を介して制御ボックス２６０に接続されており、ＨＭＤ本体２２０などと制御ボックス２６０との間では各種信号の入出力が実行される。ＨＭＤ本体２２０はユーザの顔に装着され、また、制御ボックス２６０はユーザの腰などに取り付けられて利用される。
【００２２】
ＨＭＤ本体２２０は、通常の眼鏡と同様のフレーム構造２２２を有し、これによって、ユーザの顔に支持される。フレーム構造２２２の所定の位置には、ユーザが視認するコンテンツ画像（コンテンツ画像）を、ユーザの眼（図２の構成に基づけば、左眼）に提示（投影、表示を含む）する画像提示部２２４が取り付けられている。画像提示部２２４は、フレーム構造２２２に取り付けられた状態において、ＨＭＤ本体２２０を装着したユーザの左眼と略同一の高さとなる位置に配置されている。画像提示部２２４の上面にはＣＣＤセンサ３００が取り付けられている。また、フレーム構造２２２には、ユーザの口元に伸びたマイクステーが取り付けられ、マイク３２０がマイクステーの先端に取り付けられている。
【００２３】
画像提示部２２４は、制御ボックス２６０から出力される画像信号に応じた画像光を２次元方向に走査し、その走査された画像光をユーザの左眼に導き網膜上にコンテンツ画像を形成する網膜走査型のディスプレイによって構成される。画像提示部２２４から出射された画像光は、画像提示部２２４に固定され、ユーザの左眼前方の位置に配置されたハーフミラー（図２で図示を省略）で反射して、左眼に導かれる（入射する）。なお、画像提示部２２４は、網膜走査型のディスプレイによる構成の他、液晶ディスプレイ、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイその他の装置を用いた構成とすることもできる。
【００２４】
制御ボックス２６０の機能ブロックについて、図３を参照して説明する。制御ボックス２６０は、自装置の制御を司るＣＰＵ２６２と、以下に説明する録画時処理を含む各種処理のためのプログラムを記憶するプログラムＲＯＭ２６４と、各種データを記憶可能な不揮発性のフラッシュＲＯＭ２６６と、作業領域としてのＲＡＭ２６８とを備える。例えば、ＣＰＵ２６２は、プログラムＲＯＭ２６４から、録画時処理（図４参照）のためのプログラムを読み出し、これをＲＡＭ２６８上で実行する。また、ＣＰＵ２６２は、プログラムＲＯＭ２６４から、コンテンツデータ記憶領域５００から取得したコンテンツデータに対する再生処理のためのプログラムを読み出し、これをＲＡＭ２６８上で実行する。再生処理によって、コンテンツ画像が形成される。なお、後述する変形例（２）の構成の場合、ＣＰＵ２６２は、プログラムＲＯＭ２６４から、提示画像切替処理（図９参照）のためのプログラムを読み出し、これをＲＡＭ２６８上で実行する。
【００２５】
ＣＰＵ２６２が、プログラムＲＯＭ２６４に記憶された各種プログラムをＲＡＭ２６８上で実行することにより、各種機能手段が構成される。なお、ＨＭＤ２００とコンテンツデータ記憶領域５００と撮像データ記憶領域５１０とテーブル記憶領域５２０と音声データ記憶領域５３０とを、例えば図３に示すような構成で、一体として形成した場合、フラッシュＲＯＭ２６６が、コンテンツデータ記憶領域５００と撮像データ記憶領域５１０とテーブル記憶領域５２０と音声データ記憶領域５３０として機能する。すなわち、図３の構成に基づけば、これら各記憶領域５００，５１０，５２０，５３０は、ハードウェア的に１つのフラッシュＲＯＭ２６６（１つの記憶領域）で構成される。
【００２６】
制御ボックス２６０は、ビデオＲＡＭ２７０と、ＨＭＤ接続Ｉ／Ｆコントローラ２７２とネットワークＩ／Ｆ２７４と周辺Ｉ／Ｆ２７６とを備える。ビデオＲＡＭ２７０は、コンテンツデータに対する再生処理によって形成されたコンテンツ画像などを記憶する。ＨＭＤ接続Ｉ／Ｆコントローラ２７２は、信号ケーブル２８０を介してＨＭＤ本体２２０に接続され、ＣＰＵ２６２からの指令に基づき、ＨＭＤ本体２２０の画像提示部２２４との間で行われる各種信号の入出力を制御する。具体的に、ＨＭＤ接続Ｉ／Ｆコントローラ２７２は、コンテンツ画像を含む画像信号および画像提示部２２４に対する制御信号などを、画像提示部２２４に出力する。
【００２７】
ネットワークＩ／Ｆ２７４は、ネットワーク７００を介した通信を実行する。周辺Ｉ／Ｆ２７６は、ＣＣＤセンサ３００、マイク３２０、電源スイッチ３４０および電源ランプ３４２などが接続される接続Ｉ／Ｆである。ＣＰＵ２６２は、ＣＣＤセンサ３００によって撮像された被写体を含む撮像データを周辺Ｉ／Ｆ２７６を介して取得する。また、マイク３２０によって入力された音声を示す音声データを周辺Ｉ／Ｆ２７６を介して取得する。ユーザは、電源スイッチ３４０を介して画像提示部２２４および制御ボックス２６０のオン、オフを操作するためのスイッチである。電源ランプ３４２は、電源スイッチ３４０がオンされたとき点灯し、オフされたとき消灯する。
【００２８】
（撮像データ利用システムで実行される処理）
以下、撮像データ利用システム１００のＨＭＤ２００と情報処理装置６００とで実行される各種処理について説明する。以下では、コンテンツデータが、所定の作業のマニュアルに関するマニュアルデータであり、コンテンツデータによって示されるコンテンツ画像が、このマニュアルを構成する複数のマニュアル画像それぞれである場合を例に説明する。したがって、以下では、コンテンツデータをマニュアルデータといい、コンテンツ画像をマニュアル画像ともいう。
【００２９】
（録画時処理）
ＨＭＤ２００の制御ボックス２６０のＣＰＵ２６２によって実行される録画時処理について、図４〜図６を参照して説明する。この処理を開始したＣＰＵ２６２は、マニュアル画像の提示の開始指示が入力されたかを判断する（Ｓ１００）。開始指示は、ユーザが、例えば制御ボックス２６０に設けられた開始ボタン（図２，図３で図示を省略）を操作することで入力される。判断の結果、開始指示が入力されていない場合（Ｓ１００：Ｎｏ）、ＣＰＵ２６２は、開始指示が入力されるまで待機する。
【００３０】
これに対し、開始指示が入力された場合（Ｓ１００：Ｙｅｓ）、ＣＰＵ２６２は、コンテンツ画像の提示を開始する。例えば、ユーザは、図５に示すような所定の作業（運搬作業）を開始するに際し、この作業のマニュアルを視認すべく、開始ボタンを操作する。ＣＰＵ２６２は、マニュアルデータを、ネットワークＩ／Ｆ２７４を介してコンテンツデータ記憶領域５００から取得し、これに対して再生処理を実行し、再生処理によって形成されたマニュアル画像をビデオＲＡＭ２７０に記憶する。そして、ＣＰＵ２６２は、ビデオＲＡＭ２７０に記憶されているマニュアル画像を含む画像信号と、マニュアル画像の提示についての制御信号とを、ＨＭＤ接続Ｉ／Ｆコントローラ２７２を介して画像提示部２２４に出力し、画像提示部２２４からのマニュアル画像の提示を実行する。これによって、ユーザは、マニュアル画像を視認する（図５に示す荷物を搬送していない一のユーザ参照）。
【００３１】
マニュアル画像の提示を開始したＣＰＵ２６２は、続けて、ＣＣＤセンサ３００による撮像を開始する（Ｓ１０４）。ここで、ＣＣＤセンサ３００は画像提示部２２４の上面に設置されているため、ユーザの視線方向に存在する被写体がＣＣＤセンサ３００によって撮像される。なお、ＣＣＤセンサ３００による撮像は、例えば動画録画の手法によって行われる。ＣＣＤセンサ３００によって撮像された撮像データは、ＲＡＭ２６８上にバッファされる。ＣＰＵ２６２は、後述する終了指示が入力されるまで（Ｓ１１４参照）、撮像データをネットワークＩ／Ｆ２７４を介して撮像データ記憶領域５１０に記憶し続ける。撮像データは、撮像された時間（日時）に関する撮像時間位置情報を含む。
【００３２】
ＣＰＵ２６２は、Ｓ１０４の実行とともに、マイク３２０によって集音される音声（事象）、具体的には、ＨＭＤ本体２２０を装着しているユーザが発する音声の取得を開始する（Ｓ１０６）。取得された音声データは、時間（日時）に関する取得時間位置情報を含み、これとともに逐次ＲＡＭ２６８上にバッファされていく。Ｓ１０８でＣＰＵ２６２は、ＲＡＭ２６８上の音声データに対して音声特徴認識解析を実行し、音声データに、予め定められた特定の特徴を有する音声、具体的には、所定の作業の開始時に発せられるスタート合図（例えば「スタート」）、危険時に発せられる音声（例えば「アッ」）、合図（例えば「ＯＫ」）などが含まれているか判断する（Ｓ１１０）。
【００３３】
Ｓ１１０の判断の結果、Ｓ１０６で取得されＲＡＭ２６８上にバッファされている音声データに特定の特徴を有する音声が含まれていない場合（Ｓ１１０：Ｎｏ）、ＣＰＵ２６２は、処理をＳ１０６に戻し、Ｓ１０６〜Ｓ１１０を繰り返して実行する。一方、特定の特徴を有する音声が含まれている場合（Ｓ１１０：Ｙｅｓ）、ＣＰＵ２６２は、特定の特徴を有する音声が発せられたタイミングを特定するとともに、特定の特徴を有する音声の部分を含む前後所定時間の範囲の音声データを切り出し、切り出した音声データを、ネットワークＩ／Ｆ２７４を介して音声データ記憶領域５３０に記憶する。そして、ＣＰＵ２６２は、特定の特徴と、特定の特徴を有する音声が発せられたタイミングに関する第１時間位置情報と、現在提示中のマニュアル画像の識別情報（ページ番号）と、音声データ（詳細には、音声データの記憶先アドレス）とを含むレコードを、第１関連付けテーブル５２２に登録（追加登録）する（Ｓ１１２）。
【００３４】
具体的に、ＣＰＵ２６２は、例えば「ＯＫ」との合図に関する特徴「合図」と、「ＯＫ」との合図が発せられたタイミングに関する第１時間位置情報と、提示中のマニュアル（マニュアル画像）のページ番号と、「ＯＫ」との合図が含まれるように切り出された音声データの記憶先アドレスとを含むレコード（図６のレコード「Ｔａｇ３」参照）を、テーブル記憶領域５２０に記憶されている第１関連付けテーブル５２２に追加登録する。なお、図６に示す第１関連付けテーブル５２２は、既にレコード「Ｔａｇ１」とレコード「Ｔａｇ２」とが登録された状態にある。
【００３５】
Ｓ１１２を実行した後、ＣＰＵ２６２は、終了指示が入力されたかを判断する。終了指示は、ユーザが、例えば制御ボックス２６０に設けられた終了ボタン（図２，図３で図示を省略）を操作することで入力される。判断の結果、終了指示が入力されていない場合（Ｓ１１４：Ｎｏ）、ＣＰＵ２６２は、処理をＳ１０６に戻し、Ｓ１０６〜Ｓ１１４を繰り返して実行する。一方、終了指示が入力された場合（Ｓ１１４：Ｙｅｓ），ＣＰＵ２６２は、この処理を終了する。
【００３６】
（再生時処理）
情報処理装置６００のＣＰＵ６０２によって実行される再生時処理について、２つの処理形態を説明する。ここで、第１処理形態の再生時処理は、撮像データ利用システム１００に含まれるＨＭＤ２００が単数である場合、例えば、図１でＨＭＤ２００Ａのみが存在している場合に実行される処理である。第２処理形態の再生時処理は、撮像データ利用システム１００に含まれるＨＭＤ２００が複数である場合、例えば、所定の作業を図５に示すように３人で行っている場合において、それぞれのユーザがＨＭＤ２００Ａ，２００Ｂ，２００Ｃ（図１参照）を利用し、ＨＭＤ２００Ａ，２００Ｂ，２００Ｃそれぞれで、図４に示す録画時処理が実行された場合の処理である。なお、この場合、全てのユーザは、それぞれ図１に示すようにＨＭＤ本体２２０を装着し、制御ボックス２６０を例えば腰に取り付け、さらに全員、所定のマニュアル画像を視認している。再生時処理は、ユーザが、情報処理装置６００の操作部６１２を操作し、コンテンツデータ記憶領域５００に記憶されているマニュアルデータの表示を指示した場合に開始される。ＣＰＵ６０２は、記憶部６０８に記憶されたこの処理のためのプログラムを読み出し、これをＲＡＭ６０６上で実行する。
【００３７】
（第１処理形態）
第１処理形態の再生時処理について、図７を参照して説明する。この処理を開始したＣＰＵ６０２は、マニュアルデータによって示される特定のページのマニュアル画像を表示部６１０に表示する（Ｓ２００）。そして、ＣＰＵ６０２は、テーブル記憶領域５２０に記憶されている第１関連付けテーブル５２２にアクセスし、表示中のマニュアル画像のページ番号に一致するページ番号を含むレコードが存在するかを判断する（Ｓ２０２）。判断の結果、一致するページ番号を含むレコードが存在しない場合（Ｓ２０２：Ｎｏ）、ＣＰＵ６０２は処理をＳ２００に戻す。一方、一致するページ番号を含むレコードが存在する場合（Ｓ２０２：Ｙｅｓ）、ＣＰＵ６０２は、処理をＳ２０４に移行する。
【００３８】
Ｓ２０４でＣＰＵ６０２は、一致するページ番号のレコードに含まれる第１時間位置情報を第１関連付けテーブル５２２から取得する。また、Ｓ２０４でＣＰＵ６０２は、撮像データ記憶領域５１０に記憶されている撮像データにアクセスし、取得した第１時間位置情報によって示される日時を含む撮像データを、撮像データに含まれる撮像時間位置情報で特定し、ネットワークＩ／Ｆ６１４を介して特定した撮像データをＲＡＭ６０６上に取得する。そして、Ｓ２０４でＣＰＵ６０２は、この処理で取得した撮像データに対して、同じく取得した第１時間位置情報によって示される日時から所定時間前の日時を再生開始点として設定する。Ｓ２０４を実行した後、ＣＰＵ６０２は、Ｓ２０４で設定した再生開始点に対応する位置から撮像データの再生を開始する（Ｓ２０６）。
【００３９】
なお、Ｓ２０６の再生の際、ＣＰＵ６０２は、音声データ記憶領域５３０にアクセスし、再生対象の撮像データが撮像されたときに取得された音声データを、撮像データに同期させて再生する構成とすることもできる。この場合、ＣＰＵ６０２は、例えば、撮像データに含まれる撮像時間位置情報と、音声データに含まれる時間（日時）に関する取得時間位置情報とに基づき両者を同期させる。これによれば、ユーザが発した音声についても、情報処理装置６００で確認することができる。
【００４０】
Ｓ２０６を実行した後、ＣＰＵ６０２は、撮像データの再生がセグメント終点まで再生が完了したか、例えば、再生開始後、５分後の位置（セグメント終点）まで再生が完了したかを判断する（Ｓ２０８）。判断の結果、セグメント終点までの再生が完了していない場合（Ｓ２０８：Ｎｏ）、ＣＰＵ６０２は、撮像データの再生を継続する。一方、セグメント終点までの再生が完了した場合（Ｓ２０８：Ｙｅｓ）、ＣＰＵ６０２は、撮像データの再生を停止し、そして、この処理の終了指示が入力されたかを判断する（Ｓ２１０）。終了指示は、操作部６１２を介したユーザ操作によって入力される。判断の結果、終了指示が入力されていない場合（Ｓ２１０：Ｎｏ）、ＣＰＵ６０２は、処理をＳ２００に戻す一方、終了指示が入力された場合（Ｓ２１０：Ｙｅｓ）、この処理を終了する。
【００４１】
（第２処理形態）
第２処理形態の再生時処理について、図８を参照して説明する。この処理を開始したＣＰＵ６０２は、Ｓ３００およびＳ３０２を実行する。ここで、Ｓ３００およびＳ３０２は、図７に示す第１処理形態の再生時処理のＳ２００およびＳ２０２に対応する処理である。したがって、これら処理についての詳細は、省略する。
【００４２】
Ｓ３０４でＣＰＵ６０２は、一致するページ番号のレコードに含まれる第１時間位置情報を第１関連付けテーブル５２２から取得する。例えば、図５に示すように３人のユーザによって所定の作業が行われていた場合、Ｓ３０４では、最大で３個の第１時間位置情報が取得されることがある。すなわち、同一のページ番号のマニュアル画像が提示されている状態で、一のユーザが、特徴「危険時発生」の対象となる一の音声を発し、他のユーザが、特徴「危険時発生」の対象となる他の音声を発し、さらに他のユーザが、特徴「合図」の対象となるさらに他の音声を発した場合、各ユーザのＨＭＤ２００Ａ，２００Ｂ，２００Ｃの制御ボックス２６０のＣＰＵ２６２は、それぞれ第１関連付けテーブル５２２にレコードを登録（追加登録）する（図４のＳ１１２参照）。
【００４３】
また、Ｓ３０４でＣＰＵ６０２は、撮像データ記憶領域５１０に記憶されている撮像データにアクセスし、取得した第１時間位置情報によって示される日時を含む撮像データを、撮像データに含まれる撮像時間位置情報で特定し、ネットワークＩ／Ｆ６１４を介して特定した撮像データをＲＡＭ６０６上に取得する。この場合についても、複数の撮像データ、すなわち、図５に基づけば、一のユーザと他のユーザとさらに他のユーザそれぞれのＨＭＤ２００Ａ，２００Ｂ，２００ＣのＣＣＤセンサ３００によって撮像された３つの撮像データが取得される。
【００４４】
そして、Ｓ３０４でＣＰＵ６０２は、この処理で取得した撮像データそれぞれに対して、同じく取得した第１時間位置情報によって示される日時から所定時間前の日時それぞれを再生開始点として設定するとともに、撮像データそれぞれに対して、第１時間位置情報によって示される日時から所定時間前の日時それぞれを再生開始点として設定したかを判断する（Ｓ３０６）。判断の結果、撮像データそれぞれに対して、第１時間位置情報によって示される日時から所定時間前の日時それぞれを再生開始点として設定していない場合（Ｓ３０６：Ｎｏ）、ＣＰＵ６０２は、処理をＳ３０４に戻し、未設定の撮像データに対して未設定の第１時間位置情報によって示される日時から所定時間前の日時を設定する一方、全てを設定した場合（Ｓ３０６：Ｙｅｓ）、ＣＰＵ６０２は、処理をＳ３０８に移行する。
【００４５】
Ｓ３０８でＣＰＵ６０２は、撮像データの再生指示が入力されたかを判断する。再生指示は、操作部６１２を介したユーザ操作によって入力される。なお、Ｓ３０４で複数の撮像データが取得されている場合、複数の撮像データのうち再生されるデータと再生されないデータとを、再生指示が入力される際に合わせて指示することができる。判断の結果、再生指示が入力されていない場合（Ｓ３０８：Ｎｏ）、ＣＰＵ６０２は、再生指示が入力されるまで待機する。一方、再生指示が入力された場合（Ｓ３０８：Ｙｅｓ）、ＣＰＵ６０２は、撮像データそれぞれについて、順次、設定された再生開始点からの再生を開始し（Ｓ３０９）、処理をＳ３１０に移行する。
【００４６】
Ｓ３１０でＣＰＵ６０２は、Ｓ３０６で設定した再生開始点それぞれについて、セグメント終点までの再生が完了したかを判断する。判断の結果、セグメント終点までの再生が完了していない場合（Ｓ３１０：Ｎｏ）、ＣＰＵ６０２は、撮像データの再生を継続する。一方、セグメント終点までの再生が完了した場合（Ｓ３１０：Ｙｅｓ）、ＣＰＵ６０２は、撮像データの再生を停止する。なお、Ｓ３０４で複数の撮像データが取得され、かつＳ３０８で複数の撮像データが再生されると指示されている場合、ＣＰＵ６０２は、未再生の撮像データの存在を判断し、未再生の撮像データがなくなるまで、繰り返して撮像データの再生と、Ｓ３１０の判断を実行する。そして、全ての撮像データについて、セグメント終点までの再生が完了した場合、ＣＰＵ６０２は、この処理の終了指示が入力されたかを判断する（Ｓ３１２）。終了指示は、操作部６１２を介したユーザ操作によって入力される。判断の結果、終了指示が入力されていない場合（Ｓ３１２：Ｎｏ）、ＣＰＵ６０２は、処理をＳ３００に戻す一方、終了指示が入力された場合（Ｓ３１２：Ｙｅｓ）、この処理を終了する。
【００４７】
ここで、Ｓ３１０に関連したセグメント終点までの再生完了の判断について、説明を加える。この第２処理形態では、１つの撮像データに複数の再生開始点が設定されることがある。例えば、セグメントの終点を再生開始点から、例えば５分後の位置とする場合、一の再生開始点から５分以内に、さらに他の再生開始点が設定されることがあり得る。このような場合、ＣＰＵ６０２は、一の再生開始点からの再生が実行された場合、他の再生開始点から５分経過した位置まで、連続して撮像データを再生する。その上で、ＣＰＵ６０２は、他の再生開始点からの再生が他のセグメント終点まで完了したと判断するとともに、一の再生開始点からの再生についても完了したものと判断する。
【００４８】
なお、ＣＰＵ６０２は、この第２処理形態の再生時処理においても、第１処理形態の再生時処理の説明で記載したとおり、音声データ記憶領域５３０にアクセスし、再生中の撮像データに同期して、この撮像データに関連付けられた音声データ（第１関連付けテーブル５２２参照）を再生する構成としてもよい。
【００４９】
（変形例）
上述した本実施形態の構成は、次のようにすることもできる。
【００５０】
（１）上記では、ＨＭＤ本体２２０と制御ボックス２６０とが別体のＨＭＤ２００を例に説明したが、ＨＭＤ本体２２０と制御ボックス２６０とを一体で構成したＨＭＤとすることもできる。この場合、制御ボックス２６０の各構成（図３参照）は、例えば画像提示部２２４を形成する筐体（カバー）内に収容される。
【００５１】
（２）上記では、図４に示す録画時処理のＳ１１２で、第１関連付けテーブル５２２に第１時間位置情報を登録する構成とし、図９に示す第１処理形態の再生時処理のＳ２０４と、図８の第２処理形態の再生時処理のＳ３０４とで、この第１時間位置情報によって示される日時から所定時間前の日時を再生開始点として設定し、設定した再生開始点から撮像データを再生する構成とした。
【００５２】
ところで、このように、後に情報処理装置６００で、特定の特徴を有する音声が発せられた部分を確認するための構成としては、次のようにすることもできる。すなわち、図９に示す画像切替処理を、例えば、図４に示す録画時処理のＳ１００とＳ１０４との間で開始し、この処理によって、第２関連付けテーブル５２４に、順次レコードを登録（追加登録）する。その上で、情報処理装置６００のＣＰＵ６０２は、図７に示す第１処理形態の再生時処理のＳ２０４または図８の第２処理形態の再生時処理のＳ３０４において、第１関連付けテーブル５２２の第１時間位置情報によって示される日時に基づき撮像データを特定して取得し、また、テーブル記憶領域５２０に記憶された第２関連付けテーブル５２４にアクセスし、対応するページ番号に関連付けて登録された第２時間位置情報を取得し、この第２時間位置情報によって示される日時を再生開始点として設定する（図７のＳ２０４，図８のＳ３０４参照）構成とすることもできる。ＣＰＵ６０２は、第２関連付けテーブル５２４で、取得した第２時間位置情報を含むレコードの次のレコードに含まれる第２時間位置情報によって示される時間をセグメント終点とし（図７のＳ２０８，図８のＳ３１０参照）、撮像データの再生を停止する（図７のＳ２０８，図８のＳ３１０：Ｙｅｓ）。
【００５３】
この変形例（２）の提示画像切替処理について、図９および図１０を参照して説明する。この処理を開始したＨＭＤ２００の制御ボックス２６０のＣＰＵ２６２は、提示中のマニュアル画像を、他のマニュアル画像（次のページのマニュアル画像）へ切り替えるための切替指示が入力されたかを判断する（Ｓ４００）。切替指示は、ユーザが、例えば制御ボックス２６０に設けられた切替ボタン（図２，図３で図示を省略）を操作することで入力される。例えば、ユーザは、運搬作業（図５参照）の第８工程を終了した時点で、第９工程のマニュアル画像を視認するために、制御ボックス２６０の切替ボタンを操作する。判断の結果、切替指示が入力されていない場合（Ｓ４００：Ｎｏ）ＣＰＵ２６２は、切替指示が入力されるまで待機する。
【００５４】
これに対して、切替指示が入力された場合（Ｓ４００：Ｙｅｓ）、ＣＰＵ２６２は、切替指示によって新たに提示された他のマニュアル画像を識別する識別情報、すなわち、ページ番号と、他のマニュアル画像への切替指示が入力されたタイミング（他のマニュアル画像の提示が開始されたタイミングは、これに同一（略同一））に関する第２時間位置情報とを取得し（Ｓ４０２）、これらを関連付けて、テーブル記憶領域５２０に記憶されている第２関連付けテーブル５２４（図１０参照）に登録（追加登録）する（Ｓ４０４）。
【００５５】
例えば、第８ページ目に配置されている第８工程のマニュアル画像から、第９ページ目に配置されている第９工程のマニュアル画像に切り替えられた場合、第９工程にマニュアル画像のページ番号「９」と、切替指示が入力された日時、例えば「２００９／０９／９０ １８：５２：４７」とを取得し（Ｓ４０２）、これらを含むレコードを、第２関連付けテーブル５２４に追加登録する（Ｓ４０４）（図１０参照）。
【００５６】
Ｓ４０４を実行した後、ＣＰＵ２６２は、終了指示が入力されたかを判断する。なお、終了指示は、図４のＳ１１４で入力された終了指示と同一のものである。判断の結果、終了指示が入力されていない場合（Ｓ４０８：Ｎｏ）、ＣＰＵ２６２は、処理をＳ４００に戻し、Ｓ４００〜Ｓ４０６を繰り返して実行する。一方、終了指示が入力された場合（Ｓ４０６：Ｙｅｓ）、ＣＰＵ２６２は、図４に示す録画時処理とともに、提示画像切替処理を終了する。なお、変形例（２）の構成によれば、第１関連付けテーブル５２２への第１時間位置情報の登録を省略することもできる。この場合、ＣＰＵ６０２は、第２関連付けテーブル５２４の第２時間位置情報に基づき、撮像データを特定して取得する。
【００５７】
（３）上記では、「年月日時分秒」などを特定可能な日時による第１時間位置情報を、第１関連付けテーブル５２２に登録し（図４のＳ１１２参照）、第１時間位置情報と、撮像データに含まれる撮像時間位置情報とに基づき、第１関連付けテーブル５２２に登録された第１時間位置情報によって示される時点に撮像された撮像データを特定することとした（図７のＳ２０４，図８のＳ３０４参照）。
【００５８】
しかし、撮像データの特定については、これと異なる構成とすることもできる。例えば、第１関連付けテーブル５２２の各レコードとの関連付けを特定可能な識別子を、撮像データに付与する構成を採用すれば、この識別子によって、上述した構成などと同様に所定の撮像データを特定することができる。なお、変形例（３）の構成を採用した場合、マニュアルデータの再生の開始に合わせ（Ｓ１００：Ｙｅｓ）、順次（略同一のタイミングで）、撮像が開始され（図４のＳ１０４）、さらに音声が取得される（図４のＳ１０４）ため、第１関連付けテーブル５２２に、例えばマニュアルデータの再生開始後の経過時間を、第１時間位置情報として登録する構成とすることもできる。変形例（３）の構成は、変形例（２）の構成による場合も採用可能で、この場合についても、第２関連付けテーブル５２４に第２時間位置情報として、マニュアルデータの再生開始後の経過時間を登録することができる。
【００５９】
（４）上記では、ＣＣＤセンサ３００による撮像として、例えば動画録画の手法を例示したが、これ以外の手法とすることもできる。例えば、コマ撮り静止画とすることもできる。この場合、所定の間隔で繰り返し撮像が実行されるため、撮像回数を撮像時間位置情報として取り扱うこともできる。例えば、１秒に１回の割合で撮像する場合、撮像回数が１００回目であれば、最初の撮像から１００秒経過した時点の撮像データ（静止画）であると判断することができる。
【００６０】
（５）上記では、図８に示す第２処理形態の再生時処理のＳ３０８で、撮像データの再生指示が入力されたかを判断する構成を採用し、また、Ｓ３０４で複数の撮像データが取得されている場合、複数の撮像データのうち再生されるデータと再生されないデータとを、再生指示が入力される際に合わせて指示することができる構成を採用した。このような構成によれば、ユーザが意図しない撮像データの再生を防止することができる。ここで、Ｓ３０４で取得された撮像データが１つである場合には、ユーザの操作による再生指示の入力の有無を具体的に判断（図８のＳ３０８参照）することなく、再生指示が入力されたものとして（図８のＳ３０８：Ｙｅｓ参照）、図７に示す第１処理形態の再生時処理のＳ２０６と同様に、取得した撮像データの再生開始点からの再生を開始（図８のＳ３０９参照）するようにしてもよい。これによれば、再生される撮像データが確定しているに等しい状況において、再生指示の入力といったユーザの操作を省略することが可能で、撮像データの再生開始点からの再生を迅速に開始させることができる。
【００６１】
（本実施形態の構成による有利な効果）
本実施形態の構成（上記変形例の構成を含む）によれば、ＨＭＤ２００を利用してマニュアル画像を確認しつつ行われた所定の作業に関し、ＣＣＤセンサ３００で、実行された作業の状態を撮像する（図４のＳ１０４参照）こととしたため、後に、撮像データを再生し、作業の状態を確認することができる。そして、その際、本実施形態の構成によれば、図６に示す第１関連付けテーブル５２２に登録された第１時間位置情報、または、図１０に示す第２関連付けテーブル５２４に登録された第２時間位置情報に対応する所定の時点を再生開始点として設定し（図７のＳ２０４，図８のＳ３０４参照）、設定された再生開始点から再生することができるため、作業中に特定の特徴を有する音声が発せられた（図４のＳ１１０：Ｙｅｓ）部分を、効率よく確認することができる。例えば、所定の作業の各工程およびその進行に関し、この作業に慣れていない者などに対し、その作業の説明を行うような場面、または、各工程およびその進行に関する検討を行うような場面において、特にその効果を発揮することができる。
【符号の説明】
【００６２】
２００ ヘッドマウントディスプレイ（ＨＭＤ）
２２０ ヘッドマウントディスプレイ本体（ＨＭＤ本体）
２２４ 画像提示部
２６０ 制御ボックス
２６２ ＣＰＵ
２６４ プログラムＲＯＭ
２６６ フラッシュＲＯＭ
２６８ ＲＡＭ
２７４ ネットワークＩ／Ｆ
３００ ＣＣＤセンサ
３２０ マイク
５００ コンテンツデータ記憶領域
５１０ 撮像データ記憶領域
５２０ テーブル記憶領域
５２２ 第１関連付けテーブル
【技術分野】
【０００１】
本発明は、ユーザの眼にコンテンツデータによって示されるコンテンツ画像を視認可能に提示するヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
従来から、ユーザの眼にコンテンツデータにより示されるコンテンツ画像を視認可能に提示するシースルー型のヘッドマウントディスプレイに関する技術が提案されている。例えば、画像を表示する透光型の液晶表示パネルを有し、これが目の直前にくるように頭部に装着されるめがね部を持つヘッドマウント型のＡＶ装置と、各作業過程の作業対象物を象って予め作成された各種アニメーション画像を記憶する記憶部と、各作業過程の順番にしたがって、ＡＶ装置を装着する装着者によって液晶表示パネルを通して視認される作業対象物そのものに対して、記憶部に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を液晶表示パネルに表示するアニメーション表示処理機能とを備え、各作業過程の順番にしたがって、アニメーション画像を液晶表示パネルに表示することにより、作業対象物に対して行われるべき作業内容を装着者に示すようにした技術が提案されている（例えば、特許文献１参照）。
【０００３】
なお、被写体の撮影により得られた画像信号から、撮影状態の変化を表す画像特徴量を抽出する画像処理部と、音声を取得して得られた音声信号から、撮影状態の変化を表す音声特徴量を抽出する音声処理部と、撮影者の生理変化を示す情報に基づいて、撮影状態の変化を表す状態特徴量を抽出する固有識別情報処理部とを備え、抽出された特徴量を予め設定されている検出強度と比較して、この特徴量の発生した撮影タイミングが編集点として妥当であるか否かを判定する撮像装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２１９３１号公報
【特許文献２】特開２００６−１５７８９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、各種の作業現場において、実行される作業の各工程を説明する複数のページからなるマニュアル（作業指図書）を、ヘッドマウントディスプレイでユーザに提示しつつ、実行中の作業状況を撮像しておき、後に、撮像された撮像データを用いて、この作業に慣れていない者などに対し、その作業の説明を行うことができると便利である。そして、出願人は、その際、マニュアルの各ページに関連した内容が再生されると、さらに、有効なもの（ツール）になると考えた。すなわち、出願人は、作業用のマニュアルなどのコンテンツデータによって示されるコンテンツ画像に関連した内容を再生可能な技術は、有効な技術であると考えた。
【０００６】
本発明は、ユーザに、コンテンツデータによって示されるコンテンツ画像を視認させつつ、コンテンツ画像に関連する内容を適切に提供することができるヘッドマウントディスプレイおよびこのヘッドマウントディスプレイを含む撮像データ利用システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記従来の課題に鑑みなされた本発明の第１の課題解決手段は、コンテンツデータによって示されるコンテンツ画像それぞれを、順次、ユーザの眼に視認可能に提示するヘッドマウントディスプレイであって、前記コンテンツ画像を提示するコンテンツ画像提示手段と、前記コンテンツ画像提示手段によって前記コンテンツ画像が提示されている際に、被写体を撮像する撮像手段と、前記撮像手段によって撮像された前記被写体を含む撮像データを、撮像された時間に関する撮像時間位置情報とともに、自装置がアクセス可能な記憶手段に記憶する記憶制御手段と、前記ヘッドマウントディスプレイの外部で生じた事象を取得する事象取得手段と、前記事象情報取得手段によって取得された前記事象が、特定の特徴を有するかについて判断する判断手段と、前記判断手段によって前記特定の特徴を有すると判断された前記事象が生じたタイミングに関する第１時間位置情報を特定する第１時間位置情報特定手段と、前記判断手段によって前記事象が前記特定の特徴を有すると判断された場合、前記コンテンツ画像提示手段によって提示されている前記コンテンツ画像を識別可能な提示中識別情報と、前記第１時間位置情報とを関連付けて、自装置がアクセス可能な第１関連付け手段に登録する第１関連付け登録手段とを備えることを特徴とするヘッドマウントディスプレイである。
【０００８】
これによれば、コンテンツ画像が提示されている際に、被写体を撮像し、かつ提示されているコンテンツ画像を識別可能な提示中識別情報と、第１時間位置情報とを関連付けて、自装置がアクセス可能な第１関連付け手段に登録することができる。
【０００９】
第２の課題解決手段は、第１の課題解決手段のヘッドマウントディスプレイであって、前記事象取得手段は、取得した前記事象を含む事象データを作成し、前記第１関連付け登録手段は、さらに、前記特定の特徴を有すると判断された前記事象を含む前記事象データを関連付けて、前記第１関連付け手段に登録することを特徴とする。これによれば、事象データを第１関連付け手段に登録することができる。
【００１０】
第３の課題解決手段は、第１または第２の課題解決手段のヘッドマウントディスプレイであって、前記コンテンツ画像提示手段によって提示されている一のコンテンツ画像を、他のコンテンツ画像に切り替える指令を取得する指令取得手段と、前記指令取得手段によって取得された前記指令の取得のタイミングに関する第２時間位置情報と、前記指令によって新たに提示されることとなった前記他のコンテンツ画像を識別可能な他の提示中識別情報とを関連付けて、自装置がアクセス可能な第２関連付け手段に登録する第２関連付け登録手段とを備えることを特徴とする。これによれば、新たに提示されることになった他のコンテンツ画像について、提示の指令が取得されたタイミングに関する第２時間位置情報と、他のコンテンツ画像を識別可能な他の提示中識別情報とを関連付けて第２関連付け手段に登録することができる。
【００１１】
第４の課題解決手段は、第１から第３の課題解決手段のいずれか１つのヘッドマウントディスプレイであって、前記事象取得手段は、音声入力機能を有し、前記事象を音声として取得し、前記判断手段は、前記事象取得手段が取得した前記音声を解析し、解析した結果、前記事象取得手段が取得した前記音声に予め定められた特徴が認められた場合、前記特定の特徴を有すると判断することを特徴とする。これによれば、事象取得手段が取得した音声に予め定められた特徴が認められた場合、特定の特徴を有すると判断することができる。
【００１２】
第５の課題解決手段は、第１から第４の課題解決手段のいずれか１つのヘッドマウントディスプレイと、前記記憶手段に記憶された前記撮像データと前記第１関連付け手段とにアクセス可能であるとともに、前記コンテンツデータにアクセスし、前記コンテンツ画像を表示可能な情報処理装置とを含む撮像データ利用システムであって、前記情報処理装置は、自装置で前記コンテンツ画像を表示しているとき前記第１関連付け手段にアクセスし、自装置で表示している前記コンテンツ画像を識別可能な表示中識別情報に一致する前記提示中識別情報が、前記第１関連付け手段に登録されていると判断される場合、前記表示中識別情報に一致する前記提示中識別情報に関連付けられた前記第１時間位置情報を取得する第１時間位置情報取得手段と、前記第１時間位置情報に対応する前記撮像時間位置情報とともに前記記憶手段に記憶されている前記撮像データにアクセスし、前記第１時間位置情報取得手段によって取得された前記第１時間位置情報に対応する所定の時点に撮像された前記撮像データの部分を、前記撮像時間位置情報により特定し、特定された前記撮像データの部分を再生する再生手段とを備えることを特徴とする撮像データ利用システムである。
【００１３】
これによれば、ヘッドマウントディスプレイによって撮像された撮像データについて、第１時間位置情報に対応する所定の時点に撮像された撮像データの部分を、撮像時間位置情報により特定し、特定された撮像データの部分を再生することができる。
【００１４】
第６の課題解決手段は、第５の課題解決手段の撮像データ利用システムであって、前記撮像データ利用システムは、複数の前記ヘッドマウントディスプレイを含み、前記記憶手段には、前記撮像データが、複数の前記ヘッドマウントディスプレイそれぞれが備える前記記憶制御手段によって、複数記憶され、前記第１関連付け手段には、前記提示中識別情報と前記第１時間位置情報とが、複数のヘッドマウントディスプレイそれぞれが備える前記第１関連付け登録手段によって、複数関連付けて登録され、前記情報処理装置において、前記第１時間位置情報取得手段は、前記第１関連付け手段に登録されている、前記表示中識別情報に一致する前記提示中識別情報に関連付けられた全ての前記第１時間位置情報を取得し、前記再生手段は、前記第１時間位置情報それぞれに対応する前記撮像時間位置情報とともに前記記憶手段に記憶されている前記撮像データにアクセスし、前記第１時間位置情報取得手段によって取得された前記第１時間位置情報それぞれに対応する所定の時点に撮像された前記撮像データの部分を、前記撮像時間位置情報により特定し、特定された前記撮像データの部分を再生することを特徴とする。これによれば、複数のヘッドマウントディスプレイを含む撮像データ利用システムとすることができる。
【発明の効果】
【００１５】
本発明によれば、ユーザに、コンテンツデータによって示されるコンテンツ画像を視認させつつ、コンテンツ画像に関連する内容を適切に提供することができるヘッドマウントディスプレイおよびこのヘッドマウントディスプレイを含む撮像データ利用システムを得ることができる。
【図面の簡単な説明】
【００１６】
【図１】撮像データ利用システムを示す図である。
【図２】ヘッドマウントディスプレイを示す図である。
【図３】制御ボックスの機能ブロックを示す図である。
【図４】録画時処理のフローチャートを示す図である。
【図５】ヘッドマウントディスプレイを利用しているユーザによる作業状態を示す図である。
【図６】第１関連付けテーブルを示す図である。
【図７】第１処理形態の再生時処理のフローチャートを示す図である。
【図８】第２処理形態の再生時処理のフローチャートを示す図である。
【図９】提示画像切替処理のフローチャートを示す図である。
【図１０】第２関連付けテーブルを示す図である。
【発明を実施するための形態】
【００１７】
本発明を反映した上記課題解決手段を実施するための実施形態について、図面を用いて以下に詳細に説明する。上記課題解決手段は以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に説明する各構成において、所定の構成を省略することができる。また、以下に説明する各処理において、所定のステップを省略することができる。
【００１８】
（撮像データ利用システム）
撮像データ利用システム１００について、図１を参照して説明する。撮像データ利用システム１００は、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ／以下、「ＨＭＤ」ともいう。）２００Ａ，２００Ｂ，２００Ｃ（以下、ＨＭＤ２００Ａ，２００Ｂ，２００Ｃを区別しない場合、単に「ＨＭＤ２００」という。）と、コンテンツデータ記憶領域５００と、撮像データ記憶領域５１０と、テーブル記憶領域５２０と、音声データ記憶領域５３０と、情報処理装置６００とを含み、各構成は、通信可能に接続されている。例えば、これらは、ＬＡＮまたはＷＡＮのようなネットワーク７００を介して接続されている。なお、ＨＭＤ２００とコンテンツデータ記憶領域５００と撮像データ記憶領域５１０とテーブル記憶領域５２０と音声データ記憶領域５３０とについては、ネットワーク７００を介した接続の他、これらをメモリバスによって接続した構成、換言すれば、これらを一体として形成した構成とすることもできる。
【００１９】
コンテンツデータ記憶領域５００は、ＨＭＤ２００で視認されるコンテンツデータを記憶する領域である。コンテンツデータ記憶領域５００には、例えば所定の作業のマニュアルに関するマニュアルデータが、コンテンツデータとして記憶されている。撮像データ記憶領域５１０は、ＨＭＤ２００で撮像された撮像データを記憶する領域である。テーブル記憶領域５２０は、第１関連付けテーブル５２２と第２関連付けテーブル５２４（後述する変形例（２）の構成において採用）とを記憶する領域である。第１関連付けテーブル５２２と第２関連付けテーブル５２４とについては、後述する。音声データ記憶領域５３０は、ＨＭＤ２００で録音された音声データを記憶する領域である。なお、コンテンツデータ記憶領域５００と撮像データ記憶領域５１０とテーブル記憶領域５２０と音声データ記憶領域５３０とは、ハードウェア的に、複数の記憶領域または１つの記憶領域のいずれであってもよい。
【００２０】
情報処理装置６００は、従来から利用されている、例えばパーソナルコンピュータによって構成される。情報処理装置６００は、ＣＰＵ６０２とＲＯＭ６０４とＲＡＭ６０６と記憶部（例えば、ハードディスクまたはＳＳＤ（Solid State Drive）で構成）６０８と表示部６１０と操作部６１２とネットワークインターフェース（ネットワークＩ／Ｆ）６１４とを備える。記憶部６０８には、後述する再生時処理（図７，図８参照）のためのプログラムが記憶されており、ＣＰＵ６０２は、記憶部６０８からこのプログラムを読み出し、これをＲＡＭ６０６上で実行する。表示部６１０は、各種の情報を表示する。操作部６１２は、キーボードおよびマウスなどから構成される。ネットワークＩ／Ｆ６１４は、ネットワーク７００を介した通信を実行する。なお、ＨＭＤ２００については、次にその詳細を説明する。
【００２１】
（ヘッドマウントディスプレイ）
ＨＭＤ２００の構成について、図２を参照して説明する。ＨＭＤ２００は、ＨＭＤ本体２２０と制御ボックス２６０とＣＣＤセンサ３００とマイク３２０とを含む。ＨＭＤ本体２２０とＣＣＤセンサ３００とマイク３２０とは、信号ケーブル２８０を介して制御ボックス２６０に接続されており、ＨＭＤ本体２２０などと制御ボックス２６０との間では各種信号の入出力が実行される。ＨＭＤ本体２２０はユーザの顔に装着され、また、制御ボックス２６０はユーザの腰などに取り付けられて利用される。
【００２２】
ＨＭＤ本体２２０は、通常の眼鏡と同様のフレーム構造２２２を有し、これによって、ユーザの顔に支持される。フレーム構造２２２の所定の位置には、ユーザが視認するコンテンツ画像（コンテンツ画像）を、ユーザの眼（図２の構成に基づけば、左眼）に提示（投影、表示を含む）する画像提示部２２４が取り付けられている。画像提示部２２４は、フレーム構造２２２に取り付けられた状態において、ＨＭＤ本体２２０を装着したユーザの左眼と略同一の高さとなる位置に配置されている。画像提示部２２４の上面にはＣＣＤセンサ３００が取り付けられている。また、フレーム構造２２２には、ユーザの口元に伸びたマイクステーが取り付けられ、マイク３２０がマイクステーの先端に取り付けられている。
【００２３】
画像提示部２２４は、制御ボックス２６０から出力される画像信号に応じた画像光を２次元方向に走査し、その走査された画像光をユーザの左眼に導き網膜上にコンテンツ画像を形成する網膜走査型のディスプレイによって構成される。画像提示部２２４から出射された画像光は、画像提示部２２４に固定され、ユーザの左眼前方の位置に配置されたハーフミラー（図２で図示を省略）で反射して、左眼に導かれる（入射する）。なお、画像提示部２２４は、網膜走査型のディスプレイによる構成の他、液晶ディスプレイ、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイその他の装置を用いた構成とすることもできる。
【００２４】
制御ボックス２６０の機能ブロックについて、図３を参照して説明する。制御ボックス２６０は、自装置の制御を司るＣＰＵ２６２と、以下に説明する録画時処理を含む各種処理のためのプログラムを記憶するプログラムＲＯＭ２６４と、各種データを記憶可能な不揮発性のフラッシュＲＯＭ２６６と、作業領域としてのＲＡＭ２６８とを備える。例えば、ＣＰＵ２６２は、プログラムＲＯＭ２６４から、録画時処理（図４参照）のためのプログラムを読み出し、これをＲＡＭ２６８上で実行する。また、ＣＰＵ２６２は、プログラムＲＯＭ２６４から、コンテンツデータ記憶領域５００から取得したコンテンツデータに対する再生処理のためのプログラムを読み出し、これをＲＡＭ２６８上で実行する。再生処理によって、コンテンツ画像が形成される。なお、後述する変形例（２）の構成の場合、ＣＰＵ２６２は、プログラムＲＯＭ２６４から、提示画像切替処理（図９参照）のためのプログラムを読み出し、これをＲＡＭ２６８上で実行する。
【００２５】
ＣＰＵ２６２が、プログラムＲＯＭ２６４に記憶された各種プログラムをＲＡＭ２６８上で実行することにより、各種機能手段が構成される。なお、ＨＭＤ２００とコンテンツデータ記憶領域５００と撮像データ記憶領域５１０とテーブル記憶領域５２０と音声データ記憶領域５３０とを、例えば図３に示すような構成で、一体として形成した場合、フラッシュＲＯＭ２６６が、コンテンツデータ記憶領域５００と撮像データ記憶領域５１０とテーブル記憶領域５２０と音声データ記憶領域５３０として機能する。すなわち、図３の構成に基づけば、これら各記憶領域５００，５１０，５２０，５３０は、ハードウェア的に１つのフラッシュＲＯＭ２６６（１つの記憶領域）で構成される。
【００２６】
制御ボックス２６０は、ビデオＲＡＭ２７０と、ＨＭＤ接続Ｉ／Ｆコントローラ２７２とネットワークＩ／Ｆ２７４と周辺Ｉ／Ｆ２７６とを備える。ビデオＲＡＭ２７０は、コンテンツデータに対する再生処理によって形成されたコンテンツ画像などを記憶する。ＨＭＤ接続Ｉ／Ｆコントローラ２７２は、信号ケーブル２８０を介してＨＭＤ本体２２０に接続され、ＣＰＵ２６２からの指令に基づき、ＨＭＤ本体２２０の画像提示部２２４との間で行われる各種信号の入出力を制御する。具体的に、ＨＭＤ接続Ｉ／Ｆコントローラ２７２は、コンテンツ画像を含む画像信号および画像提示部２２４に対する制御信号などを、画像提示部２２４に出力する。
【００２７】
ネットワークＩ／Ｆ２７４は、ネットワーク７００を介した通信を実行する。周辺Ｉ／Ｆ２７６は、ＣＣＤセンサ３００、マイク３２０、電源スイッチ３４０および電源ランプ３４２などが接続される接続Ｉ／Ｆである。ＣＰＵ２６２は、ＣＣＤセンサ３００によって撮像された被写体を含む撮像データを周辺Ｉ／Ｆ２７６を介して取得する。また、マイク３２０によって入力された音声を示す音声データを周辺Ｉ／Ｆ２７６を介して取得する。ユーザは、電源スイッチ３４０を介して画像提示部２２４および制御ボックス２６０のオン、オフを操作するためのスイッチである。電源ランプ３４２は、電源スイッチ３４０がオンされたとき点灯し、オフされたとき消灯する。
【００２８】
（撮像データ利用システムで実行される処理）
以下、撮像データ利用システム１００のＨＭＤ２００と情報処理装置６００とで実行される各種処理について説明する。以下では、コンテンツデータが、所定の作業のマニュアルに関するマニュアルデータであり、コンテンツデータによって示されるコンテンツ画像が、このマニュアルを構成する複数のマニュアル画像それぞれである場合を例に説明する。したがって、以下では、コンテンツデータをマニュアルデータといい、コンテンツ画像をマニュアル画像ともいう。
【００２９】
（録画時処理）
ＨＭＤ２００の制御ボックス２６０のＣＰＵ２６２によって実行される録画時処理について、図４〜図６を参照して説明する。この処理を開始したＣＰＵ２６２は、マニュアル画像の提示の開始指示が入力されたかを判断する（Ｓ１００）。開始指示は、ユーザが、例えば制御ボックス２６０に設けられた開始ボタン（図２，図３で図示を省略）を操作することで入力される。判断の結果、開始指示が入力されていない場合（Ｓ１００：Ｎｏ）、ＣＰＵ２６２は、開始指示が入力されるまで待機する。
【００３０】
これに対し、開始指示が入力された場合（Ｓ１００：Ｙｅｓ）、ＣＰＵ２６２は、コンテンツ画像の提示を開始する。例えば、ユーザは、図５に示すような所定の作業（運搬作業）を開始するに際し、この作業のマニュアルを視認すべく、開始ボタンを操作する。ＣＰＵ２６２は、マニュアルデータを、ネットワークＩ／Ｆ２７４を介してコンテンツデータ記憶領域５００から取得し、これに対して再生処理を実行し、再生処理によって形成されたマニュアル画像をビデオＲＡＭ２７０に記憶する。そして、ＣＰＵ２６２は、ビデオＲＡＭ２７０に記憶されているマニュアル画像を含む画像信号と、マニュアル画像の提示についての制御信号とを、ＨＭＤ接続Ｉ／Ｆコントローラ２７２を介して画像提示部２２４に出力し、画像提示部２２４からのマニュアル画像の提示を実行する。これによって、ユーザは、マニュアル画像を視認する（図５に示す荷物を搬送していない一のユーザ参照）。
【００３１】
マニュアル画像の提示を開始したＣＰＵ２６２は、続けて、ＣＣＤセンサ３００による撮像を開始する（Ｓ１０４）。ここで、ＣＣＤセンサ３００は画像提示部２２４の上面に設置されているため、ユーザの視線方向に存在する被写体がＣＣＤセンサ３００によって撮像される。なお、ＣＣＤセンサ３００による撮像は、例えば動画録画の手法によって行われる。ＣＣＤセンサ３００によって撮像された撮像データは、ＲＡＭ２６８上にバッファされる。ＣＰＵ２６２は、後述する終了指示が入力されるまで（Ｓ１１４参照）、撮像データをネットワークＩ／Ｆ２７４を介して撮像データ記憶領域５１０に記憶し続ける。撮像データは、撮像された時間（日時）に関する撮像時間位置情報を含む。
【００３２】
ＣＰＵ２６２は、Ｓ１０４の実行とともに、マイク３２０によって集音される音声（事象）、具体的には、ＨＭＤ本体２２０を装着しているユーザが発する音声の取得を開始する（Ｓ１０６）。取得された音声データは、時間（日時）に関する取得時間位置情報を含み、これとともに逐次ＲＡＭ２６８上にバッファされていく。Ｓ１０８でＣＰＵ２６２は、ＲＡＭ２６８上の音声データに対して音声特徴認識解析を実行し、音声データに、予め定められた特定の特徴を有する音声、具体的には、所定の作業の開始時に発せられるスタート合図（例えば「スタート」）、危険時に発せられる音声（例えば「アッ」）、合図（例えば「ＯＫ」）などが含まれているか判断する（Ｓ１１０）。
【００３３】
Ｓ１１０の判断の結果、Ｓ１０６で取得されＲＡＭ２６８上にバッファされている音声データに特定の特徴を有する音声が含まれていない場合（Ｓ１１０：Ｎｏ）、ＣＰＵ２６２は、処理をＳ１０６に戻し、Ｓ１０６〜Ｓ１１０を繰り返して実行する。一方、特定の特徴を有する音声が含まれている場合（Ｓ１１０：Ｙｅｓ）、ＣＰＵ２６２は、特定の特徴を有する音声が発せられたタイミングを特定するとともに、特定の特徴を有する音声の部分を含む前後所定時間の範囲の音声データを切り出し、切り出した音声データを、ネットワークＩ／Ｆ２７４を介して音声データ記憶領域５３０に記憶する。そして、ＣＰＵ２６２は、特定の特徴と、特定の特徴を有する音声が発せられたタイミングに関する第１時間位置情報と、現在提示中のマニュアル画像の識別情報（ページ番号）と、音声データ（詳細には、音声データの記憶先アドレス）とを含むレコードを、第１関連付けテーブル５２２に登録（追加登録）する（Ｓ１１２）。
【００３４】
具体的に、ＣＰＵ２６２は、例えば「ＯＫ」との合図に関する特徴「合図」と、「ＯＫ」との合図が発せられたタイミングに関する第１時間位置情報と、提示中のマニュアル（マニュアル画像）のページ番号と、「ＯＫ」との合図が含まれるように切り出された音声データの記憶先アドレスとを含むレコード（図６のレコード「Ｔａｇ３」参照）を、テーブル記憶領域５２０に記憶されている第１関連付けテーブル５２２に追加登録する。なお、図６に示す第１関連付けテーブル５２２は、既にレコード「Ｔａｇ１」とレコード「Ｔａｇ２」とが登録された状態にある。
【００３５】
Ｓ１１２を実行した後、ＣＰＵ２６２は、終了指示が入力されたかを判断する。終了指示は、ユーザが、例えば制御ボックス２６０に設けられた終了ボタン（図２，図３で図示を省略）を操作することで入力される。判断の結果、終了指示が入力されていない場合（Ｓ１１４：Ｎｏ）、ＣＰＵ２６２は、処理をＳ１０６に戻し、Ｓ１０６〜Ｓ１１４を繰り返して実行する。一方、終了指示が入力された場合（Ｓ１１４：Ｙｅｓ），ＣＰＵ２６２は、この処理を終了する。
【００３６】
（再生時処理）
情報処理装置６００のＣＰＵ６０２によって実行される再生時処理について、２つの処理形態を説明する。ここで、第１処理形態の再生時処理は、撮像データ利用システム１００に含まれるＨＭＤ２００が単数である場合、例えば、図１でＨＭＤ２００Ａのみが存在している場合に実行される処理である。第２処理形態の再生時処理は、撮像データ利用システム１００に含まれるＨＭＤ２００が複数である場合、例えば、所定の作業を図５に示すように３人で行っている場合において、それぞれのユーザがＨＭＤ２００Ａ，２００Ｂ，２００Ｃ（図１参照）を利用し、ＨＭＤ２００Ａ，２００Ｂ，２００Ｃそれぞれで、図４に示す録画時処理が実行された場合の処理である。なお、この場合、全てのユーザは、それぞれ図１に示すようにＨＭＤ本体２２０を装着し、制御ボックス２６０を例えば腰に取り付け、さらに全員、所定のマニュアル画像を視認している。再生時処理は、ユーザが、情報処理装置６００の操作部６１２を操作し、コンテンツデータ記憶領域５００に記憶されているマニュアルデータの表示を指示した場合に開始される。ＣＰＵ６０２は、記憶部６０８に記憶されたこの処理のためのプログラムを読み出し、これをＲＡＭ６０６上で実行する。
【００３７】
（第１処理形態）
第１処理形態の再生時処理について、図７を参照して説明する。この処理を開始したＣＰＵ６０２は、マニュアルデータによって示される特定のページのマニュアル画像を表示部６１０に表示する（Ｓ２００）。そして、ＣＰＵ６０２は、テーブル記憶領域５２０に記憶されている第１関連付けテーブル５２２にアクセスし、表示中のマニュアル画像のページ番号に一致するページ番号を含むレコードが存在するかを判断する（Ｓ２０２）。判断の結果、一致するページ番号を含むレコードが存在しない場合（Ｓ２０２：Ｎｏ）、ＣＰＵ６０２は処理をＳ２００に戻す。一方、一致するページ番号を含むレコードが存在する場合（Ｓ２０２：Ｙｅｓ）、ＣＰＵ６０２は、処理をＳ２０４に移行する。
【００３８】
Ｓ２０４でＣＰＵ６０２は、一致するページ番号のレコードに含まれる第１時間位置情報を第１関連付けテーブル５２２から取得する。また、Ｓ２０４でＣＰＵ６０２は、撮像データ記憶領域５１０に記憶されている撮像データにアクセスし、取得した第１時間位置情報によって示される日時を含む撮像データを、撮像データに含まれる撮像時間位置情報で特定し、ネットワークＩ／Ｆ６１４を介して特定した撮像データをＲＡＭ６０６上に取得する。そして、Ｓ２０４でＣＰＵ６０２は、この処理で取得した撮像データに対して、同じく取得した第１時間位置情報によって示される日時から所定時間前の日時を再生開始点として設定する。Ｓ２０４を実行した後、ＣＰＵ６０２は、Ｓ２０４で設定した再生開始点に対応する位置から撮像データの再生を開始する（Ｓ２０６）。
【００３９】
なお、Ｓ２０６の再生の際、ＣＰＵ６０２は、音声データ記憶領域５３０にアクセスし、再生対象の撮像データが撮像されたときに取得された音声データを、撮像データに同期させて再生する構成とすることもできる。この場合、ＣＰＵ６０２は、例えば、撮像データに含まれる撮像時間位置情報と、音声データに含まれる時間（日時）に関する取得時間位置情報とに基づき両者を同期させる。これによれば、ユーザが発した音声についても、情報処理装置６００で確認することができる。
【００４０】
Ｓ２０６を実行した後、ＣＰＵ６０２は、撮像データの再生がセグメント終点まで再生が完了したか、例えば、再生開始後、５分後の位置（セグメント終点）まで再生が完了したかを判断する（Ｓ２０８）。判断の結果、セグメント終点までの再生が完了していない場合（Ｓ２０８：Ｎｏ）、ＣＰＵ６０２は、撮像データの再生を継続する。一方、セグメント終点までの再生が完了した場合（Ｓ２０８：Ｙｅｓ）、ＣＰＵ６０２は、撮像データの再生を停止し、そして、この処理の終了指示が入力されたかを判断する（Ｓ２１０）。終了指示は、操作部６１２を介したユーザ操作によって入力される。判断の結果、終了指示が入力されていない場合（Ｓ２１０：Ｎｏ）、ＣＰＵ６０２は、処理をＳ２００に戻す一方、終了指示が入力された場合（Ｓ２１０：Ｙｅｓ）、この処理を終了する。
【００４１】
（第２処理形態）
第２処理形態の再生時処理について、図８を参照して説明する。この処理を開始したＣＰＵ６０２は、Ｓ３００およびＳ３０２を実行する。ここで、Ｓ３００およびＳ３０２は、図７に示す第１処理形態の再生時処理のＳ２００およびＳ２０２に対応する処理である。したがって、これら処理についての詳細は、省略する。
【００４２】
Ｓ３０４でＣＰＵ６０２は、一致するページ番号のレコードに含まれる第１時間位置情報を第１関連付けテーブル５２２から取得する。例えば、図５に示すように３人のユーザによって所定の作業が行われていた場合、Ｓ３０４では、最大で３個の第１時間位置情報が取得されることがある。すなわち、同一のページ番号のマニュアル画像が提示されている状態で、一のユーザが、特徴「危険時発生」の対象となる一の音声を発し、他のユーザが、特徴「危険時発生」の対象となる他の音声を発し、さらに他のユーザが、特徴「合図」の対象となるさらに他の音声を発した場合、各ユーザのＨＭＤ２００Ａ，２００Ｂ，２００Ｃの制御ボックス２６０のＣＰＵ２６２は、それぞれ第１関連付けテーブル５２２にレコードを登録（追加登録）する（図４のＳ１１２参照）。
【００４３】
また、Ｓ３０４でＣＰＵ６０２は、撮像データ記憶領域５１０に記憶されている撮像データにアクセスし、取得した第１時間位置情報によって示される日時を含む撮像データを、撮像データに含まれる撮像時間位置情報で特定し、ネットワークＩ／Ｆ６１４を介して特定した撮像データをＲＡＭ６０６上に取得する。この場合についても、複数の撮像データ、すなわち、図５に基づけば、一のユーザと他のユーザとさらに他のユーザそれぞれのＨＭＤ２００Ａ，２００Ｂ，２００ＣのＣＣＤセンサ３００によって撮像された３つの撮像データが取得される。
【００４４】
そして、Ｓ３０４でＣＰＵ６０２は、この処理で取得した撮像データそれぞれに対して、同じく取得した第１時間位置情報によって示される日時から所定時間前の日時それぞれを再生開始点として設定するとともに、撮像データそれぞれに対して、第１時間位置情報によって示される日時から所定時間前の日時それぞれを再生開始点として設定したかを判断する（Ｓ３０６）。判断の結果、撮像データそれぞれに対して、第１時間位置情報によって示される日時から所定時間前の日時それぞれを再生開始点として設定していない場合（Ｓ３０６：Ｎｏ）、ＣＰＵ６０２は、処理をＳ３０４に戻し、未設定の撮像データに対して未設定の第１時間位置情報によって示される日時から所定時間前の日時を設定する一方、全てを設定した場合（Ｓ３０６：Ｙｅｓ）、ＣＰＵ６０２は、処理をＳ３０８に移行する。
【００４５】
Ｓ３０８でＣＰＵ６０２は、撮像データの再生指示が入力されたかを判断する。再生指示は、操作部６１２を介したユーザ操作によって入力される。なお、Ｓ３０４で複数の撮像データが取得されている場合、複数の撮像データのうち再生されるデータと再生されないデータとを、再生指示が入力される際に合わせて指示することができる。判断の結果、再生指示が入力されていない場合（Ｓ３０８：Ｎｏ）、ＣＰＵ６０２は、再生指示が入力されるまで待機する。一方、再生指示が入力された場合（Ｓ３０８：Ｙｅｓ）、ＣＰＵ６０２は、撮像データそれぞれについて、順次、設定された再生開始点からの再生を開始し（Ｓ３０９）、処理をＳ３１０に移行する。
【００４６】
Ｓ３１０でＣＰＵ６０２は、Ｓ３０６で設定した再生開始点それぞれについて、セグメント終点までの再生が完了したかを判断する。判断の結果、セグメント終点までの再生が完了していない場合（Ｓ３１０：Ｎｏ）、ＣＰＵ６０２は、撮像データの再生を継続する。一方、セグメント終点までの再生が完了した場合（Ｓ３１０：Ｙｅｓ）、ＣＰＵ６０２は、撮像データの再生を停止する。なお、Ｓ３０４で複数の撮像データが取得され、かつＳ３０８で複数の撮像データが再生されると指示されている場合、ＣＰＵ６０２は、未再生の撮像データの存在を判断し、未再生の撮像データがなくなるまで、繰り返して撮像データの再生と、Ｓ３１０の判断を実行する。そして、全ての撮像データについて、セグメント終点までの再生が完了した場合、ＣＰＵ６０２は、この処理の終了指示が入力されたかを判断する（Ｓ３１２）。終了指示は、操作部６１２を介したユーザ操作によって入力される。判断の結果、終了指示が入力されていない場合（Ｓ３１２：Ｎｏ）、ＣＰＵ６０２は、処理をＳ３００に戻す一方、終了指示が入力された場合（Ｓ３１２：Ｙｅｓ）、この処理を終了する。
【００４７】
ここで、Ｓ３１０に関連したセグメント終点までの再生完了の判断について、説明を加える。この第２処理形態では、１つの撮像データに複数の再生開始点が設定されることがある。例えば、セグメントの終点を再生開始点から、例えば５分後の位置とする場合、一の再生開始点から５分以内に、さらに他の再生開始点が設定されることがあり得る。このような場合、ＣＰＵ６０２は、一の再生開始点からの再生が実行された場合、他の再生開始点から５分経過した位置まで、連続して撮像データを再生する。その上で、ＣＰＵ６０２は、他の再生開始点からの再生が他のセグメント終点まで完了したと判断するとともに、一の再生開始点からの再生についても完了したものと判断する。
【００４８】
なお、ＣＰＵ６０２は、この第２処理形態の再生時処理においても、第１処理形態の再生時処理の説明で記載したとおり、音声データ記憶領域５３０にアクセスし、再生中の撮像データに同期して、この撮像データに関連付けられた音声データ（第１関連付けテーブル５２２参照）を再生する構成としてもよい。
【００４９】
（変形例）
上述した本実施形態の構成は、次のようにすることもできる。
【００５０】
（１）上記では、ＨＭＤ本体２２０と制御ボックス２６０とが別体のＨＭＤ２００を例に説明したが、ＨＭＤ本体２２０と制御ボックス２６０とを一体で構成したＨＭＤとすることもできる。この場合、制御ボックス２６０の各構成（図３参照）は、例えば画像提示部２２４を形成する筐体（カバー）内に収容される。
【００５１】
（２）上記では、図４に示す録画時処理のＳ１１２で、第１関連付けテーブル５２２に第１時間位置情報を登録する構成とし、図９に示す第１処理形態の再生時処理のＳ２０４と、図８の第２処理形態の再生時処理のＳ３０４とで、この第１時間位置情報によって示される日時から所定時間前の日時を再生開始点として設定し、設定した再生開始点から撮像データを再生する構成とした。
【００５２】
ところで、このように、後に情報処理装置６００で、特定の特徴を有する音声が発せられた部分を確認するための構成としては、次のようにすることもできる。すなわち、図９に示す画像切替処理を、例えば、図４に示す録画時処理のＳ１００とＳ１０４との間で開始し、この処理によって、第２関連付けテーブル５２４に、順次レコードを登録（追加登録）する。その上で、情報処理装置６００のＣＰＵ６０２は、図７に示す第１処理形態の再生時処理のＳ２０４または図８の第２処理形態の再生時処理のＳ３０４において、第１関連付けテーブル５２２の第１時間位置情報によって示される日時に基づき撮像データを特定して取得し、また、テーブル記憶領域５２０に記憶された第２関連付けテーブル５２４にアクセスし、対応するページ番号に関連付けて登録された第２時間位置情報を取得し、この第２時間位置情報によって示される日時を再生開始点として設定する（図７のＳ２０４，図８のＳ３０４参照）構成とすることもできる。ＣＰＵ６０２は、第２関連付けテーブル５２４で、取得した第２時間位置情報を含むレコードの次のレコードに含まれる第２時間位置情報によって示される時間をセグメント終点とし（図７のＳ２０８，図８のＳ３１０参照）、撮像データの再生を停止する（図７のＳ２０８，図８のＳ３１０：Ｙｅｓ）。
【００５３】
この変形例（２）の提示画像切替処理について、図９および図１０を参照して説明する。この処理を開始したＨＭＤ２００の制御ボックス２６０のＣＰＵ２６２は、提示中のマニュアル画像を、他のマニュアル画像（次のページのマニュアル画像）へ切り替えるための切替指示が入力されたかを判断する（Ｓ４００）。切替指示は、ユーザが、例えば制御ボックス２６０に設けられた切替ボタン（図２，図３で図示を省略）を操作することで入力される。例えば、ユーザは、運搬作業（図５参照）の第８工程を終了した時点で、第９工程のマニュアル画像を視認するために、制御ボックス２６０の切替ボタンを操作する。判断の結果、切替指示が入力されていない場合（Ｓ４００：Ｎｏ）ＣＰＵ２６２は、切替指示が入力されるまで待機する。
【００５４】
これに対して、切替指示が入力された場合（Ｓ４００：Ｙｅｓ）、ＣＰＵ２６２は、切替指示によって新たに提示された他のマニュアル画像を識別する識別情報、すなわち、ページ番号と、他のマニュアル画像への切替指示が入力されたタイミング（他のマニュアル画像の提示が開始されたタイミングは、これに同一（略同一））に関する第２時間位置情報とを取得し（Ｓ４０２）、これらを関連付けて、テーブル記憶領域５２０に記憶されている第２関連付けテーブル５２４（図１０参照）に登録（追加登録）する（Ｓ４０４）。
【００５５】
例えば、第８ページ目に配置されている第８工程のマニュアル画像から、第９ページ目に配置されている第９工程のマニュアル画像に切り替えられた場合、第９工程にマニュアル画像のページ番号「９」と、切替指示が入力された日時、例えば「２００９／０９／９０ １８：５２：４７」とを取得し（Ｓ４０２）、これらを含むレコードを、第２関連付けテーブル５２４に追加登録する（Ｓ４０４）（図１０参照）。
【００５６】
Ｓ４０４を実行した後、ＣＰＵ２６２は、終了指示が入力されたかを判断する。なお、終了指示は、図４のＳ１１４で入力された終了指示と同一のものである。判断の結果、終了指示が入力されていない場合（Ｓ４０８：Ｎｏ）、ＣＰＵ２６２は、処理をＳ４００に戻し、Ｓ４００〜Ｓ４０６を繰り返して実行する。一方、終了指示が入力された場合（Ｓ４０６：Ｙｅｓ）、ＣＰＵ２６２は、図４に示す録画時処理とともに、提示画像切替処理を終了する。なお、変形例（２）の構成によれば、第１関連付けテーブル５２２への第１時間位置情報の登録を省略することもできる。この場合、ＣＰＵ６０２は、第２関連付けテーブル５２４の第２時間位置情報に基づき、撮像データを特定して取得する。
【００５７】
（３）上記では、「年月日時分秒」などを特定可能な日時による第１時間位置情報を、第１関連付けテーブル５２２に登録し（図４のＳ１１２参照）、第１時間位置情報と、撮像データに含まれる撮像時間位置情報とに基づき、第１関連付けテーブル５２２に登録された第１時間位置情報によって示される時点に撮像された撮像データを特定することとした（図７のＳ２０４，図８のＳ３０４参照）。
【００５８】
しかし、撮像データの特定については、これと異なる構成とすることもできる。例えば、第１関連付けテーブル５２２の各レコードとの関連付けを特定可能な識別子を、撮像データに付与する構成を採用すれば、この識別子によって、上述した構成などと同様に所定の撮像データを特定することができる。なお、変形例（３）の構成を採用した場合、マニュアルデータの再生の開始に合わせ（Ｓ１００：Ｙｅｓ）、順次（略同一のタイミングで）、撮像が開始され（図４のＳ１０４）、さらに音声が取得される（図４のＳ１０４）ため、第１関連付けテーブル５２２に、例えばマニュアルデータの再生開始後の経過時間を、第１時間位置情報として登録する構成とすることもできる。変形例（３）の構成は、変形例（２）の構成による場合も採用可能で、この場合についても、第２関連付けテーブル５２４に第２時間位置情報として、マニュアルデータの再生開始後の経過時間を登録することができる。
【００５９】
（４）上記では、ＣＣＤセンサ３００による撮像として、例えば動画録画の手法を例示したが、これ以外の手法とすることもできる。例えば、コマ撮り静止画とすることもできる。この場合、所定の間隔で繰り返し撮像が実行されるため、撮像回数を撮像時間位置情報として取り扱うこともできる。例えば、１秒に１回の割合で撮像する場合、撮像回数が１００回目であれば、最初の撮像から１００秒経過した時点の撮像データ（静止画）であると判断することができる。
【００６０】
（５）上記では、図８に示す第２処理形態の再生時処理のＳ３０８で、撮像データの再生指示が入力されたかを判断する構成を採用し、また、Ｓ３０４で複数の撮像データが取得されている場合、複数の撮像データのうち再生されるデータと再生されないデータとを、再生指示が入力される際に合わせて指示することができる構成を採用した。このような構成によれば、ユーザが意図しない撮像データの再生を防止することができる。ここで、Ｓ３０４で取得された撮像データが１つである場合には、ユーザの操作による再生指示の入力の有無を具体的に判断（図８のＳ３０８参照）することなく、再生指示が入力されたものとして（図８のＳ３０８：Ｙｅｓ参照）、図７に示す第１処理形態の再生時処理のＳ２０６と同様に、取得した撮像データの再生開始点からの再生を開始（図８のＳ３０９参照）するようにしてもよい。これによれば、再生される撮像データが確定しているに等しい状況において、再生指示の入力といったユーザの操作を省略することが可能で、撮像データの再生開始点からの再生を迅速に開始させることができる。
【００６１】
（本実施形態の構成による有利な効果）
本実施形態の構成（上記変形例の構成を含む）によれば、ＨＭＤ２００を利用してマニュアル画像を確認しつつ行われた所定の作業に関し、ＣＣＤセンサ３００で、実行された作業の状態を撮像する（図４のＳ１０４参照）こととしたため、後に、撮像データを再生し、作業の状態を確認することができる。そして、その際、本実施形態の構成によれば、図６に示す第１関連付けテーブル５２２に登録された第１時間位置情報、または、図１０に示す第２関連付けテーブル５２４に登録された第２時間位置情報に対応する所定の時点を再生開始点として設定し（図７のＳ２０４，図８のＳ３０４参照）、設定された再生開始点から再生することができるため、作業中に特定の特徴を有する音声が発せられた（図４のＳ１１０：Ｙｅｓ）部分を、効率よく確認することができる。例えば、所定の作業の各工程およびその進行に関し、この作業に慣れていない者などに対し、その作業の説明を行うような場面、または、各工程およびその進行に関する検討を行うような場面において、特にその効果を発揮することができる。
【符号の説明】
【００６２】
２００ ヘッドマウントディスプレイ（ＨＭＤ）
２２０ ヘッドマウントディスプレイ本体（ＨＭＤ本体）
２２４ 画像提示部
２６０ 制御ボックス
２６２ ＣＰＵ
２６４ プログラムＲＯＭ
２６６ フラッシュＲＯＭ
２６８ ＲＡＭ
２７４ ネットワークＩ／Ｆ
３００ ＣＣＤセンサ
３２０ マイク
５００ コンテンツデータ記憶領域
５１０ 撮像データ記憶領域
５２０ テーブル記憶領域
５２２ 第１関連付けテーブル
【特許請求の範囲】
【請求項１】
コンテンツデータによって示されるコンテンツ画像それぞれを、順次、ユーザの眼に視認可能に提示するヘッドマウントディスプレイであって、
前記コンテンツ画像を提示するコンテンツ画像提示手段と、
前記コンテンツ画像提示手段によって前記コンテンツ画像が提示されている際に、被写体を撮像する撮像手段と、
前記撮像手段によって撮像された前記被写体を含む撮像データを、撮像された時間に関する撮像時間位置情報とともに、自装置がアクセス可能な記憶手段に記憶する記憶制御手段と、
前記ヘッドマウントディスプレイの外部で生じた事象を取得する事象取得手段と、
前記事象情報取得手段によって取得された前記事象が、特定の特徴を有するかについて判断する判断手段と、
前記判断手段によって前記特定の特徴を有すると判断された前記事象が生じたタイミングに関する第１時間位置情報を特定する第１時間位置情報特定手段と、
前記判断手段によって前記事象が前記特定の特徴を有すると判断された場合、前記コンテンツ画像提示手段によって提示されている前記コンテンツ画像を識別可能な提示中識別情報と、前記第１時間位置情報とを関連付けて、自装置がアクセス可能な第１関連付け手段に登録する第１関連付け登録手段とを備えることを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記事象取得手段は、取得した前記事象を含む事象データを作成し、
前記第１関連付け登録手段は、さらに、前記特定の特徴を有すると判断された前記事象を含む前記事象データを関連付けて、前記第１関連付け手段に登録することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記コンテンツ画像提示手段によって提示されている一のコンテンツ画像を、他のコンテンツ画像に切り替える指令を取得する指令取得手段と、
前記指令取得手段によって取得された前記指令の取得のタイミングに関する第２時間位置情報と、前記指令によって新たに提示されることとなった前記他のコンテンツ画像を識別可能な他の提示中識別情報とを関連付けて、自装置がアクセス可能な第２関連付け手段に登録する第２関連付け登録手段とを備えることを特徴とする請求項１または請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
前記事象取得手段は、音声入力機能を有し、前記事象を音声として取得し、
前記判断手段は、前記事象取得手段が取得した前記音声を解析し、解析した結果、前記事象取得手段が取得した前記音声に予め定められた特徴が認められた場合、前記特定の特徴を有すると判断することを特徴とする請求項１から請求項３のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項５】
請求項１から請求項４のいずれか１項に記載のヘッドマウントディスプレイと、前記記憶手段に記憶された前記撮像データと前記第１関連付け手段とにアクセス可能であるとともに、前記コンテンツデータにアクセスし、前記コンテンツ画像を表示可能な情報処理装置とを含む撮像データ利用システムであって、
前記情報処理装置は、
自装置で前記コンテンツ画像を表示しているとき前記第１関連付け手段にアクセスし、自装置で表示している前記コンテンツ画像を識別可能な表示中識別情報に一致する前記提示中識別情報が、前記第１関連付け手段に登録されていると判断される場合、前記表示中識別情報に一致する前記提示中識別情報に関連付けられた前記第１時間位置情報を取得する第１時間位置情報取得手段と、
前記第１時間位置情報に対応する前記撮像時間位置情報とともに前記記憶手段に記憶されている前記撮像データにアクセスし、前記第１時間位置情報取得手段によって取得された前記第１時間位置情報に対応する所定の時点に撮像された前記撮像データの部分を、前記撮像時間位置情報により特定し、特定された前記撮像データの部分を再生する再生手段とを備えることを特徴とする撮像データ利用システム。
【請求項６】
前記撮像データ利用システムは、複数の前記ヘッドマウントディスプレイを含み、
前記記憶手段には、前記撮像データが、複数の前記ヘッドマウントディスプレイそれぞれが備える前記記憶制御手段によって、複数記憶され、
前記第１関連付け手段には、前記提示中識別情報と前記第１時間位置情報とが、複数のヘッドマウントディスプレイそれぞれが備える前記第１関連付け登録手段によって、複数関連付けて登録され、
前記情報処理装置において、
前記第１時間位置情報取得手段は、前記第１関連付け手段に登録されている、前記表示中識別情報に一致する前記提示中識別情報に関連付けられた全ての前記第１時間位置情報を取得し、
前記再生手段は、前記第１時間位置情報それぞれに対応する前記撮像時間位置情報とともに前記記憶手段に記憶されている前記撮像データにアクセスし、前記第１時間位置情報取得手段によって取得された前記第１時間位置情報それぞれに対応する所定の時点に撮像された前記撮像データの部分を、前記撮像時間位置情報により特定し、特定された前記撮像データの部分を再生することを特徴とする請求項５に記載の撮像データ利用システム。
【請求項１】
コンテンツデータによって示されるコンテンツ画像それぞれを、順次、ユーザの眼に視認可能に提示するヘッドマウントディスプレイであって、
前記コンテンツ画像を提示するコンテンツ画像提示手段と、
前記コンテンツ画像提示手段によって前記コンテンツ画像が提示されている際に、被写体を撮像する撮像手段と、
前記撮像手段によって撮像された前記被写体を含む撮像データを、撮像された時間に関する撮像時間位置情報とともに、自装置がアクセス可能な記憶手段に記憶する記憶制御手段と、
前記ヘッドマウントディスプレイの外部で生じた事象を取得する事象取得手段と、
前記事象情報取得手段によって取得された前記事象が、特定の特徴を有するかについて判断する判断手段と、
前記判断手段によって前記特定の特徴を有すると判断された前記事象が生じたタイミングに関する第１時間位置情報を特定する第１時間位置情報特定手段と、
前記判断手段によって前記事象が前記特定の特徴を有すると判断された場合、前記コンテンツ画像提示手段によって提示されている前記コンテンツ画像を識別可能な提示中識別情報と、前記第１時間位置情報とを関連付けて、自装置がアクセス可能な第１関連付け手段に登録する第１関連付け登録手段とを備えることを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記事象取得手段は、取得した前記事象を含む事象データを作成し、
前記第１関連付け登録手段は、さらに、前記特定の特徴を有すると判断された前記事象を含む前記事象データを関連付けて、前記第１関連付け手段に登録することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記コンテンツ画像提示手段によって提示されている一のコンテンツ画像を、他のコンテンツ画像に切り替える指令を取得する指令取得手段と、
前記指令取得手段によって取得された前記指令の取得のタイミングに関する第２時間位置情報と、前記指令によって新たに提示されることとなった前記他のコンテンツ画像を識別可能な他の提示中識別情報とを関連付けて、自装置がアクセス可能な第２関連付け手段に登録する第２関連付け登録手段とを備えることを特徴とする請求項１または請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
前記事象取得手段は、音声入力機能を有し、前記事象を音声として取得し、
前記判断手段は、前記事象取得手段が取得した前記音声を解析し、解析した結果、前記事象取得手段が取得した前記音声に予め定められた特徴が認められた場合、前記特定の特徴を有すると判断することを特徴とする請求項１から請求項３のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項５】
請求項１から請求項４のいずれか１項に記載のヘッドマウントディスプレイと、前記記憶手段に記憶された前記撮像データと前記第１関連付け手段とにアクセス可能であるとともに、前記コンテンツデータにアクセスし、前記コンテンツ画像を表示可能な情報処理装置とを含む撮像データ利用システムであって、
前記情報処理装置は、
自装置で前記コンテンツ画像を表示しているとき前記第１関連付け手段にアクセスし、自装置で表示している前記コンテンツ画像を識別可能な表示中識別情報に一致する前記提示中識別情報が、前記第１関連付け手段に登録されていると判断される場合、前記表示中識別情報に一致する前記提示中識別情報に関連付けられた前記第１時間位置情報を取得する第１時間位置情報取得手段と、
前記第１時間位置情報に対応する前記撮像時間位置情報とともに前記記憶手段に記憶されている前記撮像データにアクセスし、前記第１時間位置情報取得手段によって取得された前記第１時間位置情報に対応する所定の時点に撮像された前記撮像データの部分を、前記撮像時間位置情報により特定し、特定された前記撮像データの部分を再生する再生手段とを備えることを特徴とする撮像データ利用システム。
【請求項６】
前記撮像データ利用システムは、複数の前記ヘッドマウントディスプレイを含み、
前記記憶手段には、前記撮像データが、複数の前記ヘッドマウントディスプレイそれぞれが備える前記記憶制御手段によって、複数記憶され、
前記第１関連付け手段には、前記提示中識別情報と前記第１時間位置情報とが、複数のヘッドマウントディスプレイそれぞれが備える前記第１関連付け登録手段によって、複数関連付けて登録され、
前記情報処理装置において、
前記第１時間位置情報取得手段は、前記第１関連付け手段に登録されている、前記表示中識別情報に一致する前記提示中識別情報に関連付けられた全ての前記第１時間位置情報を取得し、
前記再生手段は、前記第１時間位置情報それぞれに対応する前記撮像時間位置情報とともに前記記憶手段に記憶されている前記撮像データにアクセスし、前記第１時間位置情報取得手段によって取得された前記第１時間位置情報それぞれに対応する所定の時点に撮像された前記撮像データの部分を、前記撮像時間位置情報により特定し、特定された前記撮像データの部分を再生することを特徴とする請求項５に記載の撮像データ利用システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−７０４５８（Ｐ２０１１−７０４５８Ａ）
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願番号】特願２００９−２２１６７９（Ｐ２００９−２２１６７９）
【出願日】平成２１年９月２５日（２００９．９．２５）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願日】平成２１年９月２５日（２００９．９．２５）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]