ヘッドマウントディスプレイ
【課題】事後的な編集作業を要することがなく所望の動画を生成することができるヘッドマウントディスプレイを提供する。
【解決手段】マニュアル７０１〜７０３が画像生成部で表示されると、同時にユーザーの視界方向が撮像され、マニュアル７０１〜７０３と対応する単位動画Ａ１、Ｂ１、Ｃ１が生成される。もし、ユーザーがマニュアル７０２に対応する単位動画を撮り直したい場合には、再び、マニュアル７０２を画像生成部５２で表示させることにより、マニュアル７０２と対応付けられた単位動画Ｂ２が生成される。そして、単位動画Ｂ１を撮り直した単位動画Ｂ２に差し替えるか否かの判断がなされ、単位動画Ｂ１を撮り直した単位動画Ｂ２に差し替えると判断された場合には、単位動画Ｂ１が撮り直した単位動画Ｂ２に差し替えられ、単位動画Ａ１、Ｂ２、Ｃ１が繋ぎ合わされて、「連続動画」が生成される。
【解決手段】マニュアル７０１〜７０３が画像生成部で表示されると、同時にユーザーの視界方向が撮像され、マニュアル７０１〜７０３と対応する単位動画Ａ１、Ｂ１、Ｃ１が生成される。もし、ユーザーがマニュアル７０２に対応する単位動画を撮り直したい場合には、再び、マニュアル７０２を画像生成部５２で表示させることにより、マニュアル７０２と対応付けられた単位動画Ｂ２が生成される。そして、単位動画Ｂ１を撮り直した単位動画Ｂ２に差し替えるか否かの判断がなされ、単位動画Ｂ１を撮り直した単位動画Ｂ２に差し替えると判断された場合には、単位動画Ｂ１が撮り直した単位動画Ｂ２に差し替えられ、単位動画Ａ１、Ｂ２、Ｃ１が繋ぎ合わされて、「連続動画」が生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーに情報を提供するとともに、同時にユーザーの視界方向を撮像することができるヘッドマウントディスプレイに関する。
【背景技術】
【０００２】
従来から特許文献１に示されるように、作業者の頭部に装着され、作業者にマニュアル等を視認させるヘッドマウントディスプレイが知られている。このようなヘッドマウントディスプレイは、作業者の視界にマニュアルが表示されるので、作業をしながら常にマニュアルを確認することができ、作業の確実性を向上させることができる。また、手にマニュアルを持つ必要が無いので、作業効率を向上させることもできる。
【０００３】
また、特許文献２には、記憶された動画の検索や編集を高速に行うために、記録開始ポイント及び記録終了ポイントを記録するビデオデータ記録装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２４９５８７号公報
【特許文献２】特開平９−２００６８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、習熟を必要とする技術の指導のための作業記録動画や、一定の作業を繰り返し行う作業者のための手本となる作業記録動画を撮影したい場合がある。
しかしながら、作業記録動画を撮影中に、作業者が作業を失敗してしまったり、作業をもっと分かり易く説明したりするために、作業者が部分的に撮り直したいと思うことがある。従来の方法では、撮影終了後に、作業者が編集箇所を探し、失敗した箇所の動画を切り取り、成功した箇所の動画同士をつなぎ合わせるという編集作業が必要となり、多大な労力と時間を費やさなければならないという問題があった。
【０００６】
特許文献２に示される技術を用いれば、記録開始ポイント及び記録終了ポイントが記録されるため、作業者が編集箇所を探す労力は軽減される。しかしながら、特許文献２に示される技術では、事後的な編集作業を要するため、依然として、編集作業に労力と時間を費やさなければならないという問題があった。
本発明は、上記問題を解決し、事後的な編集作業を要することがなく所望の動画を生成することができるヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するためになされた請求項１に記載の発明は、
ユーザーの頭部に装着され、ユーザーに画像を視認させる画像生成部と、
前記画像生成部で表示する単位表示画像データを取得する単位表示画像データ取得手段と、
ユーザーの視界方向を撮像し、撮像動画を生成する撮像手段と、
前記撮像手段が生成した撮像動画から、前記画像生成部で表示される単位表示画像毎に、前記単位表示画像と対応付けられた単位動画を生成する単位動画生成手段と、
１の単位動画と対応する同一単位表示画像と対応付けられた他の単位動画が生成された場合に、前記１の単位動画を前記他の単位動画に差し替えるか否かの判断を行い、差し替えると判断した場合に、前記１の単位動画を前記他の単位動画と差し替え、これら差し替えた単位動画を１まとまりの連続動画として生成する連続動画生成手段と、
を有することを特徴とする。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、
単位動画生成手段は、撮像時間が所定時間以上である場合に限り、単位動画を生成することを特徴とする。
これにより、撮像時間が数秒のような撮像動画からは単位動画が生成されない。このため、短時間で、記憶しておく価値が無い単位動画が無意味に記憶されることがない。
【０００９】
請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、
ユーザーからの操作を受け付ける操作部を更に備え、
連続動画生成手段は、単位動画を差し替えるか否かの判断を、前記操作部へのユーザーの操作により決定することを特徴とする。
これにより、ユーザーが操作部を操作することにより、ユーザーが望む単位動画を選択することが可能となる。
【００１０】
請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
連続動画生成手段によって前記他の単位動画に差し替えられた前記１の単位動画を記憶する予備単位動画記憶手段を更に有することを特徴とする。
これにより、連続動画として使用されなかった単位動画を利用することが可能となる。
【００１１】
請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、
連続動画生成手段は、前記他の単位動画の撮像時間が前記１の単位動画の撮像時間よりも長い場合、前記１の単位動画を前記他の単位動画に差し替えることを特徴とする。
これにより、同一の対象についての単位動画が、より撮像時間が長い単位動画に自動的に差し替えられる。これにより、より撮像時間が長く、より記録する価値が高い単位動画から構成される連続動画を、自動的に生成することが可能となる。
【００１２】
請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、
単位動画生成手段は、
画像生成部によって表示される単位表示画像データが変更された時に、新たな単位動画を生成することを特徴とする。
これにより、画像生成部によって表示される単位表示画像と対応付けされた単位動画が順次自動的に作成される。このため、ユーザーが前記単位表示画像データと撮像された単位動画との対応付けを事後的に行う必要がない。
【００１３】
請求項７に記載の発明は、請求項１〜請求項５に記載の発明において、
撮像動画と画像生成部で表示される単位表示画像との関連性を認識する関連認識手段を更に備え、
単位表示画像データ取得手段は、前記関連認識手段が認識した撮像動画と関連性のある単位表示画像データを取得し、
画像生成部は、前記取得された単位表示画像データを表示し、
単位動画生成手段は、
前記関連認識手段が前記関連性を認識した時に、新たな単位動画を生成し、
前記関連認識手段が前記関連性の消滅を認識した時に、前記新たな単位動画の生成を終了することを特徴とする。
これにより、撮像画像と関連性のある単位表示画像が自動的に画像表示部で表示されるとともに、前記単位表示画像と対応付けされた単位動画が自動的に作成される。このため、ユーザーが画像生成部で表示させる単位表示画像を選択する選択操作を行う必要がない。例えば、作業対象物の作業についての作業記録動画を作成する場合に、ユーザーが前記作業対象物を自己の視界に入れるだけで、作業記録動画である単位動画が生成され、作業記録動画の作成に手間がかからない。
【００１４】
請求項８に記載の発明は、請求項１〜請求項７に記載の発明において、
連続動画と、連続動画を構成する単位動画に対応する単位表示画像を、画像生成部で表示させる連続動画再生手段を更に有することを特徴とする。
これにより、ユーザーが、完成した連続動画の出来映えを確認することが可能となる。
【発明の効果】
【００１５】
本発明によれば、事後的な編集作業を要することがなく、画像表示部で表示されるファイルと関連性のある所望の動画を生成することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態を示すヘッドマウントディスプレイの概要図である。
【図２】ユーザーの視界を表した図である。（第１の実施形態）
【図３】単位動画から連続動画が生成される過程を表した説明図である。
【図４】第１の実施形態のヘッドマウントディスプレイのブロック図である。
【図５】第１の実施形態の連続動画生成処理のフロー図である。
【図６】第２の実施形態のヘッドマウントディスプレイのブロック図である。
【図７】第２の実施形態の連続動画生成処理のフロー図である。
【図８】ユーザーの視界を表した図である。（第２の実施形態）
【図９】第３の実施形態の概要を示した説明図である。
【図１０】第３の実施形態のヘッドマウントディスプレイのブロック図である。
【図１１】第３の実施形態の連続動画生成処理にフロー図である。
【図１２】開始終了ポイントファイルの説明図である。
【発明を実施するための形態】
【００１７】
（第１の実施形態のヘッドマウントディスプレイの概要）
以下に図面を参照しつつ、本発明の好ましい実施の形態を示す。第１の実施形態のヘッドマウントディスプレイ１００は、ユーザーの頭部に装着されるヘッドマウントディスプレイ部５０と、このヘッドマウントディスプレイ部５０を制御する制御部３１とから構成されている。ヘッドマウントディスプレイ部５０は、頭部装着部５１、画像生成部５２、撮像部５３とから構成されている。頭部装着部５１は、図１に示される実施形態では、眼鏡のフレーム形状であるが、ヘルメット形状等であってもよく、ユーザーの頭部に装着される構造のものであればよい。
【００１８】
画像生成部５２は、頭部装着部５１の側前部に取り付けられている。画像生成部５２は、画像を生成し、当該画像をユーザーに視認させるものである。本実施形態では、画像生成部５２は、レーザ光を直接ユーザーの眼球に走査することにより、ユーザーに画像を視認させる網膜走査型ディスプレイを用いて構成される。しかし、画像生成部５２は、液晶ディスプレイ、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなど、その他の装置を用いた構成であっても差し支えない。前記画像は本実施形態では、マニュアル７０１（図２に示す）である。図２に示されるように、ユーザーは、画像生成部５２で表示するマニュアル７０１を視認することができると同時に、外界に存在する作業対象物８０１を視認することができるようになっている。
【００１９】
撮像部５３は、頭部装着部５１の前部に取り付けられている。撮像部５３は、ユーザーの視界方向を撮像する装置である。撮像部５３は、イメージセンサー、結像光学系を有している。イメージセンサーは、２次元配列されたフォトダイオードを有している。各フォトダイオードは、入射光の強度を電荷に変換し、電荷を「信号電圧」として出力する。イメージセンサーには、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ ＳｅｎＳｏｒ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｗｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）が含まれる。結像光学系は、単一又は複数のレンズで構成され、入光した像を、イメージセンサー上で結像させるものである。
【００２０】
制御部３１は、画像生成部５２、撮像部５３と接続している。制御部３１は、例えば、ユーザーの腰に装着される。制御部３１は、操作部２１、電源ランプ２２を有している。操作部２１は、ヘッドマウントディスプレイ１００を操作するためのものであり、複数のボタン、或いは、タッチパネルで構成されている。電源ランプ２２は、例えば、ＬＥＤで構成されていて、ヘッドマウントディスプレイ１００に電源が投入されると、発光するようになっている。
【００２１】
図３を用いて、本発明のヘッドマウントディスプレイ１００の概要について説明する。ユーザーが、操作部２１を操作することにより、マニュアル７０１〜７０３を順次選択し、これらのマニュアル７０１〜７０３が画像生成部５２で表示されると、同時に撮像部５３でユーザーの視界方向が撮像される。そして、マニュアル７０１〜７０３と対応する単位動画Ａ１、Ｂ１、Ｃ１が生成され、制御部３１に記憶される。
もし、ユーザーがマニュアル７０２に対応する単位動画を撮り直したい場合には、ユーザーが操作部２１を操作することにより、再び、マニュアル７０２を画像生成部５２で表示させる。すると、マニュアル７０２が画像生成部５２で表示されると同時に、撮像部５３での撮像が開始される。そして、ユーザーが操作部２１を操作することにより、画像生成部５２でのマニュアル７０２の表示を停止させると同時に、撮像部５３での撮像が終了し、マニュアル７０２と対応付けられた単位動画Ｂ２が生成され、制御部３１に記憶される。そして、単位動画Ｂ１を撮り直した単位動画Ｂ２に差し替えるか否かの判断がなされ、単位動画Ｂ１を撮り直した単位動画Ｂ２に差し替えると判断された場合には、単位動画Ｂ１が撮り直した単位動画Ｂ２に差し替えられ、単位動画Ａ１、Ｂ２、Ｃ１が繋ぎ合わされて、「連続動画」が生成される。
以下、このような機能を実現するヘッドマウントディスプレイ１００の構成について詳細に説明する。
【００２２】
（第１の実施形態のヘッドマウントディスプレイのブロック図）
図４を用いて、第１の実施形態のヘッドマウントディスプレイ１００のブロック図を説明する。制御部３１は、ＣＰＵ１０、ＲＡＭ１１、ＲＯＭ１２、補助記憶装置１３、撮像部用コントローラ１４、撮像部用ＶＲＡＭ１５、画像生成部用コントローラ１６、画像生成部用ＶＲＡＭ１７、外部接続インターフェース１８、周辺インターフェース１９を有していて、これらは相互にバス９で接続されている。撮像部用コントローラ１４と撮像部用ＶＲＡＭ１５は相互に接続している。画像生成部用コントローラ１６と画像生成部用ＶＲＡＭ１７も相互に接続している。撮像部用コントローラ１４と撮像部５３は、相互に接続している。画像生成部用ＶＲＡＭ１７と画像生成部５２は相互に接続している。
【００２３】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）１０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略）１２と協動して、各種演算、処理を行うものである。
【００２４】
ＲＡＭ１１は、ＣＰＵ１０で処理されるプログラムや、ＣＰＵ１０が処理するデータを、そのアドレス空間に一時的に記憶するものである。
【００２５】
ＲＯＭ１２には、ヘッドマウントディスプレイ１００を制御する各種プログラムやパラメータが記憶されている。当該各種プログラムが、ＣＰＵ１０で処理されることにより、各種機能を実現している。ＲＯＭ１２には、マニュアルファイル取得プログラム１２ａ、画像生成プログラム１２ｂ、単位動画生成プログラム１２ｃ、単位動画差替プログラム１２ｄ、連続動画生成プログラム１２ｅ、連続動画再生プログラム１２ｆが記憶されている。なお、補助記憶装置１３に、これらプログラムやデータを記憶させることにしても差し支えない。
【００２６】
マニュアルファイル取得プログラム１２ａは、ユーザーの選択操作により、マニュアルファイル記憶領域１３ａに記憶されている「マニュアルファイル」を取得するプログラムである。
画像生成プログラム１２ｂは、「マニュアルファイル」から「表示画像データ」を生成させる描画命令を、画像生成部用コントローラ１６に出力するプログラムである。
単位動画生成プログラム１２ｃは、撮像部用コントローラ１４が生成した「撮像動画」から、画像生成部５２で表示される「マニュアルファイル」毎に、前記「マニュアルファイル」と対応付けられた「単位動画」を生成するプログラムである。生成された「単位動画」は、補助記憶装置１３の単位動画記憶領域１３ｂに記憶される。
単位動画差替プログラム１２ｄは、単位動画記憶領域１３ｂに記憶されている１の「単位動画」と対応する同一の「マニュアルファイル」と対応付けられた他の「単位動画」が新たに生成された場合に、前記１の「単位動画」を前記他の「単位動画」に差し替えるか否かの判断を行い、差し替えると判断した場合に、前記１の「単位動画」を前記「他の単位動画」と差し替えるプログラムである。
連続動画生成プログラム１２ｅは、「単位動画」から、１まとまりの「連続動画」を生成するプログラムである。
連続動画再生プログラム１２ｆは、「連続動画」と、この「連続動画」を構成する「単位動画」に対応する「マニュアルファイル」を並列させて画像生成部５２で表示させる描画命令を、画像生成部用コントローラ１６に出力するプログラムである。
なお、マニュアルファイル取得プログラム１２ａ、画像生成プログラム１２ｂ、単位動画生成プログラム１２ｃ、単位動画差替プログラム１２ｄ、連続動画生成プログラム１２ｅ、連続動画再生プログラム１２ｆを、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成することとしても差し支えない。
【００２７】
補助記憶装置１３は、例えば、不揮発性メモリーやハードディスクである。補助記憶装置１３は、マニュアルファイル記憶領域１３ａ、単位動画記憶領域１３ｂ、予備単位動画記憶領域１３ｃ、連続動画記憶領域１３ｄを有している。
【００２８】
マニュアルファイル記憶領域１３ａには、各種「マニュアルファイル」が記憶されている。この「マニュアルファイル」のファイル形式には、静止画像ファイル、動画ファイル、文章ファイル等の各種ファイルが含まれる。
単位動画記憶領域１３ｂには、「マニュアルファイル」に対応付けられた「単位動画」が記憶されるようになっている。
予備単位動画記憶領域１３ｃには、「旧単位動画」が記憶されるようになっている。「旧単位動画」とは、単位動画記憶領域１３ｂに記憶されている「単位動画」に対応する「マニュアルファイル」について、新たに撮り直しが行われた場合に、新たに撮り直された「単位動画」と差し替えられる「単位動画」のことである。
【００２９】
撮像部用コントローラ１４は、Ａ／Ｄコンバータ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｓｅｓｓｏｒ）を有している。Ａ／Ｄコンバータは、撮像部５３のイメージセンサーが出力する「信号電圧」を、「デジタル信号」に変換する。ＤＳＰは、Ａ／Ｄコンバータが生成した「デジタル信号」から、ＲＧＢそれぞれの色について階調表現して、「撮像動画」を生成し、撮像部用ＶＲＡＭ１５に記憶させる。
【００３０】
画像生成部用コントローラ１６は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、画像生成プログラム１２ｂの命令を受けて、マニュアルファイル記憶領域１３ａに記憶されている「マニュアルファイル」から、画像生成部５２で表示する「表示画像データ」を生成し、画像生成部用ＶＲＡＭ１７に記憶させる。画像生成部用ＶＲＡＭ１７に記憶された「表示画像データ」は、「画像信号」として画像生成部５２に出力される。
【００３１】
外部接続インターフェース１８は、コンピュータ装置９９９接続している。コンピュータ装置９９９には、パーソナルコンピュータやＰＤＡが含まれる。外部接続インターフェース１８には、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＵＳＢ（Ｕｎｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略、）、その他通信インターフェースが含まれる。
【００３２】
周辺インターフェース１９は、信号の物理的、論理的な形式を変換するものである。周辺インターフェース１９は、操作部２１や電源ランプ２２と接続している。操作部２１は、ユーザーの操作により、ヘッドマウントディスプレイ１００をＯＮ状態（電源が投入された状態）やＯＦＦ状態（電源が遮断された状態）にしたり、画像生成部５２で表示される「マニュアルファイル」を切り替えたりするためのものである。電源ランプ２２は、ヘッドマウントディスプレイ１００がＯＮ状態の時に点灯するようになっている。
【００３３】
（第１の実施形態の連続動画生成処理のフローの説明）
図５を参照して、以下に、第１の実施形態の「連続動画生成処理」のフローの説明をする。第１の実施形態の連続動画生成処理では、ユーザーが操作部２１を操作することにより、画像生成部５２で表示される「マニュアルファイル」が切り替わる度に、この「マニュアルファイル」と対応付けられた「単位動画」が生成される。以下、詳細に説明する。
【００３４】
ユーザーが操作部２１を操作することにより、ヘッドマウントディスプレイ１００に電源が投入されると、Ｓ１１１の判断処理に進む。
Ｓ１１１「マニュアル表示操作有り？」の処理において、マニュアルファイル取得プログラム１２ａが、ユーザーが操作部２１を操作することにより、画像生成部５２で「マニュアルファイル」を表示させる「操作信号」を検知した場合には（Ｓ１１１の判断処理がＹＥＳ）、Ｓ１１２の処理に進む。
【００３５】
Ｓ１１２「マニュアルを表示」の処理において、マニュアルファイル取得プログラム１２ａは、Ｓ１１１の判断処理で検知した「操作信号」に基づいて、マニュアルファイル記憶領域１３ａに記憶されている「マニュアルファイル」を取得する。次に、画像生成プログラム１２ｂは、マニュアルファイル取得プログラム１２ａが取得した「マニュアルファイル」から、「表示画像データ」を生成する描画命令を、画像生成部用コントローラ１６に出力する。生成された「表示画像データ」は、「画像信号」として画像生成部５２に出力されて、画像生成部５２でマニュアル７０１が表示される（図２に示す）。Ｓ１１２の処理が終了すると、Ｓ１１３の処理に進む。
【００３６】
Ｓ１１３「撮像開始」の処理において、ＣＰＵ１０は、撮像部用コントローラ１４に、撮像部５３での撮像を開始させる命令を出力する。撮像部用コントローラ１４は「撮像動画」を生成し、撮像部用ＶＲＡＭ１５に記憶させる。Ｓ１１３の処理が終了すると、Ｓ１１４の判断処理に進む。
【００３７】
Ｓ１１４「マニュアル変更操作有り？」の判断処理において、マニュアルファイル取得プログラム１２ａは、ユーザーの操作部２１の入力操作により「操作信号」が出力されたか否かを判断し、画像生成部５２で表示される「マニュアルファイル」の変更操作があったか否かを判断する。マニュアルファイル取得プログラム１２ａが、画像生成部５２で表示される「マニュアルファイル」の変更操作があったと判断した場合には（Ｓ１１４の判断処理がＹＥＳ）、画像生成プログラム１２ｂは、ユーザーが選択した「マニュアルファイル」から、「表示画像データ」を生成する描画命令を、画像生成部用コントローラ１６に出力し、Ｓ１２１の判断処理に処理が移行される。
【００３８】
Ｓ１２１「所定時間以上マニュアルが表示されたか？」の判断処理において、単位動画生成プログラム１２ｃは、変更後の「マニュアルファイル」が画像生成部５２で所定時間以上表示されたか否かを判断する。単位動画生成プログラム１２ｃが、変更後の「マニュアルファイル」が画像生成部５２で所定時間以上表示されたと判断した場合には（Ｓ１２１の判断処理がＹＥＳ）、Ｓ１２２の処理に進む。一方で、単位動画生成プログラム１２ｃが、変更前の「マニュアルファイル」が画像生成部５２で所定時間よりも短くしか表示されていないと判断した場合には（Ｓ１２１の判断処理がＮＯ）、Ｓ１３１の判断処理に進む。
つまり、ユーザーが操作部２１を操作することにより、画像生成部５２で表示させたい「マニュアルファイル」を検索している場合には、短時間しか「マニュアルファイル」が画像生成部５２で表示されず（言い換えると、短時間しか撮像されず）、この場合には「撮像動画」を「単位動画」として記憶する必要が無いことから、生成された「撮像動画」は破棄される。
【００３９】
Ｓ１２２「変更前のマニュアルに対応する単位動画が記憶されているか？」の判断処理において、単位動画生成プログラム１２ｃは、変更前の「マニュアルファイル」に対応する「単位動画」が、単位動画記憶領域１３ｂに記憶されているか否かを判断する。単位動画生成プログラム１２ｃが、変更前の「マニュアルファイル」に対応する「単位動画」が、単位動画記憶領域１３ｂに記憶されていると判断した場合には（Ｓ１２２の判断処理がＹＥＳ）、Ｓ１２４の処理に進む。一方で、単位動画生成プログラム１２ｃが、変更前の「マニュアルファイル」に対応する「単位動画」が単位動画記憶領域１３ｂに記憶されていないと判断した場合には（Ｓ１２２の判断処理がＮＯ）、Ｓ１２３の処理に進む。
【００４０】
Ｓ１２３「撮像動画を変更前のマニュアルと対応する単位動画として記憶」の処理において、単位動画生成プログラム１２ｃは、「マニュアルファイル」が変更されるまでに生成された「撮像動画」を、変更前の「マニュアルファイル」と対応する「単位動画」として生成し、単位動画記憶領域１３ｂに記憶させる。Ｓ１２３の処理が終了すると、Ｓ１３１の判断処理に進む。
【００４１】
Ｓ１２４「既に記憶されている単位動画の撮像時間よりも長いか？」の判断処理において、単位動画差替プログラム１２ｄは、単位動画記憶領域１３ｂ記憶されている同一の「マニュアルファイル」に対応する「単位動画」の撮像時間よりも、新たに生成される「単位動画」の撮像時間のほうが長いか否かを判断する。単位動画差替プログラム１２ｄが、新たに生成される「単位動画」の撮像時間のほうが長いと判断した場合には（Ｓ１２４の判断処理がＹＥＳ）、Ｓ１２５の処理に進む。一方で、単位動画差替プログラム１２ｄが、新たに生成される「単位動画」の撮像時間のほうが短いと判断した場合には（Ｓ１２４の判断処理がＮＯ）、Ｓ１２７の処理に進む。図３に示される例では、単位動画記憶領域１３ｂ記憶されているマニュアル７０２に対応する単位動画Ｂ１の撮像時間よりも、新たに生成される単位動画Ｂ２の撮像時間のほうが長いので、Ｓ１２５の処理に進む。
【００４２】
Ｓ１２５「既に記憶されている単位動画を予備単位動画記憶領域に記憶」の処理において、単位動画差替プログラム１２ｄは、Ｓ１２４の処理で比較された、既に単位動画記憶領域１３ｂに記憶されている「単位動画」を、予備単位動画記憶領域１３ｃに記憶するとともに、単位動画記憶領域１３ｂから消去する。図３に示される例では、単位動画差替プログラム１２ｄは、単位動画Ｂ１を、予備単位動画記憶領域１３ｃに記憶するとともに、単位動画記憶領域１３ｂから消去する。Ｓ１２５の処理が終了すると、Ｓ１２６の処理に進む。
【００４３】
Ｓ１２６「撮像動画を変更前のマニュアルと対応する単位動画として記憶」の処理において、単位動画生成プログラム１２ｃは、「マニュアルファイル」が変更されるまで生成された「撮像動画」を、変更前の「マニュアルファイル」と対応する「単位動画」として生成する。そして、単位動画差替プログラム１２ｄは、前記生成された「単位動画」を単位動画記憶領域１３ｂに記憶させる。図３に示される例では、単位動画生成プログラム１２ｃはマニュアル７０２に対応する単位動画Ｂ２を生成し、単位動画差替プログラム１２ｄは単位動画Ｂ２を、単位動画記憶領域１３ｂに記憶させる。Ｓ１２６の処理が終了すると、Ｓ１３１の判断処理に進む。
【００４４】
Ｓ１２７「差替通知を表示」の処理において、単位動画差替プログラム１２ｄは、画像生成部５２で「差替通知」を表示させる描画命令を、画像生成部用コントローラ１６に出力する。Ｓ１２７の処理が終了すると、Ｓ１２８の判断処理に進む。
【００４５】
Ｓ１２８「差替指示信号を受信？」の判断処理において、単位動画差替プログラム１２ｄは、「差替指示信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、単位動画差替プログラム１２ｄが、「差替指示信号」を、受信したと判断した場合には（Ｓ１２８の判断処理がＹＥＳ）、Ｓ１２５の処理に進む。一方で、単位動画差替プログラム１２ｄが、「差替指示信号」を、所定時間（数秒）の有効期間内に受信していないと判断した場合には（Ｓ１２８の判断処理がＮＯ）、Ｓ１２９の処理に進む。
【００４６】
Ｓ１２９「撮像動画を予備単位動画記憶領域に記憶」の処理において、単位動画生成プログラム１２ｂは、「マニュアルファイル」が変更されるまで生成された「撮像動画」を、「単位動画」として、予備単位動画記憶領域１３ｃに記憶させる。Ｓ１２９の処理が終了すると、Ｓ１３１の処理に進む。
【００４７】
Ｓ１３１「撮像終了？」の判断処理において、ＣＰＵ１０は、「撮像終了信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、ＣＰＵ１０が、「撮像終了信号」を受信したと判断した場合には（Ｓ１３１の判断処理がＹＥＳ）、Ｓ１３２の処理に進む。一方で、ＣＰＵ１０が、「撮像終了信号」を受信していないと判断した場合には（Ｓ１３１の判断処理がＮＯ）、Ｓ１１４の判断処理に戻る。
【００４８】
Ｓ１３２「撮像終了」の処理において、ＣＰＵ１０は、撮像部用コントローラ１４に、撮像部５３での撮像を中止させる命令を出力する。Ｓ１３２の処理が終了すると、Ｓ１３３の処理に進む。
【００４９】
Ｓ１３３「連続動画生成」の処理において、連続動画生成プログラム１２ｅは、単位動画記憶領域１３ｂに記憶されている各「単位動画」を、繋ぎ合わせて、１まとまりの（１ファイルの）「連続動画」を生成し、連続動画記憶領域１３ｄに記憶させる。図３に示される例では、連続動画生成プログラム１２ｅは、単位動画Ａ1、差し替えられた単位動画Ｂ２、単位動画Ｃ１を、１ファイルに繋ぎ合わせて「連続動画」を生成し、連続動画記憶領域１３ｄに記憶させる。Ｓ１３３の処理が終了すると、Ｓ１３４の判断処理に進む。
【００５０】
Ｓ１３４「連続動画再生？」の判断処理において、ＣＰＵ１０は、「連続動画再生信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、ＣＰＵ１０が、「連続動画再生信号」を受信したと判断した場合には（Ｓ１３４の判断処理がＹＥＳ）、Ｓ１３５の処理に進む。一方で、ＣＰＵ１０が、「連続動画再生信号」を受信していないと判断した場合には（Ｓ１３４の判断処理がＮＯ）、Ｓ１３６の判断処理に戻る。
【００５１】
Ｓ１３５「連続動画再生」の処理において、連続動画再生プログラム１２ｆは、連続動画記憶領域１３ｄに記憶されている「連続動画」と、この「連続動画」を構成する「単位動画」に対応する「マニュアルファイル」を、並列させて画像生成部５２で表示させる描画命令を、画像生成部用コントローラ１６に出力する。ユーザーは、画像生成部５２で並列表示される「連続動画」と、「マニュアルファイル」を同時に見ることにより、完成した「連続動画」の出来映えを確認することができる。Ｓ１３５の処理が終了すると、Ｓ１３６の判断処理に進む。
【００５２】
Ｓ１３６「撮り直し？」の判断処理において、ＣＰＵ１０は、「撮り直し指示信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、ＣＰＵ１０が、「撮り直し指示信号」を受信したと判断した場合には（Ｓ１３６の判断処理がＹＥＳ）、Ｓ１１４の判断処理に戻る。一方で、ＣＰＵ１０が、「撮り直し指示信号」を受信していないと判断した場合には（Ｓ１３６の判断処理がＮＯ）、Ｓ１３７の処理に進む。
【００５３】
Ｓ１３７「連続動画をコンピュータ装置に出力」の処理において、連続動画記憶領域１３ｄに記憶された「連続動画」は、外部接続インターフェース１８を介して、コンピュータ装置９９９に出力される。Ｓ１３７の処理が終了すると、「連続動画生成処理」が終了し、ヘッドマウントディスプレイ１００の電源が遮断される。
【００５４】
なお、Ｓ１２４の判断処理において、単位動画差替プログラム１２ｄが、単位動画記憶領域１３ｂ記憶されている同一の「マニュアルファイル」に対応する「単位動画」の撮像時間よりも、新たに生成される「単位動画」の撮像時間のほうが長いか否かを判断しているのは、同一の「マニュアルファイル」について撮像し直した場合に、撮り直した「単位動画」のほうが既に記憶されている「単位動画」よりも長い場合には、撮り直した「単位動画」のほうがより詳細に作業を説明していると考えられ、より記憶する価値のある「単位動画」であるからである。
【００５５】
（第２の実施形態のヘッドマウントディスプレイの概要）
以下に、第１の実施形態のヘッドマウントディスプレイ１００と異なる点について、第２の実施形態のヘッドマウントディスプレイ２００を説明する。第２の実施形態では、ユーザーが作業対象物８０１（図８に示す）方向を見ると、撮像部５３が作業対象物８０１を撮像し、後述する関連認識プログラム１２ｇが（図６に示す）、撮像された作業対象物８０１をパターンマッチングにより認識して、作業対象物８０１の作業を行うためのマニュアル７０１を選択する。そして、前記マニュアル７０１が画像生成部５２で表示されるとともに、前記マニュアル７０１に対応する「単位動画」が生成される。以下、このような機能を実現するヘッドマウントディスプレイ２００の構成について、詳細に説明する。
【００５６】
（第２の実施形態のヘッドマウントディスプレイのブロック図）
図６を用いて、第２の実施形態のヘッドマウントディスプレイ２００のブロック図について、第１の実施形態と異なる点について説明する。
【００５７】
第２の実施形態では、マニュアルファイル記憶領域１３aに記憶されている「マニュアルファイル」は、画像生成部５２で表示される「画像データ」と、「特徴点座標データ」とから構成されている。「特徴点座標データ」は、前記各「画像データ」と相互に関連性がある「作業対象物」の「特徴点」の座標を記憶したデータである。
【００５８】
第２の実施形態では、ＲＯＭ１２には、更に、関連認識プログラム１２ｇが記憶されている。関連認識プログラム１２ｇは、撮像された作業対象物８０１（図８に示す）と画像生成部５２で表示される「マニュアルファイル」との関連性を認識するプログラムである。具体的には、関連認識プログラム１２ｇは、作業対象物８０１が撮像された「撮像動画」から１フレームを取得し、作業対象物８０１のエッジ等の特徴点８５０（図８に示す）を抽出し、当該特徴点８５０の「撮像動画」の１フレーム中の座標と、前記「マニュアルファイル」の「特徴点座標データ」とを比較することにより、作業対象物８０１に対応する「マニュアルファイル」を認識する。
【００５９】
第２の実施形態では、ＲＡＭ１１は、撮像データ特徴点座標記憶領域１１ａ、マニュアルファイル特徴点座標記憶領域１１ｂ、紐付け情報記憶領域１１ｃを有している。
撮像データ特徴点座標記憶領域１１ａには、関連認識プログラム１２ｇが、算出した「撮像動画」から１フレーム中の「作業対象物」の「特徴点」の座標が記憶される。
マニュアルファイル特徴点座標記憶領域１１ｂには、「マニュアルファイル」の「特徴点座標データ」が記憶される。
紐付け情報記憶領域１１ｃには、関連認識プログラム１２ｇにより、「作業対象物」と関連性が認識された「マニュアルファイル」との「紐付け情報」が記憶される。
【００６０】
（第２の実施形態の連続動画生成処理のフローの説明）
図７を参照して、以下に、第２の実施形態の「連続動画生成処理」のフローについて説明する。
【００６１】
ユーザーが操作部２１を操作することにより、ヘッドマウントディスプレイ１００に電源が投入されると、Ｓ２１１の判断処理に進む。
Ｓ２１１「作業対象物撮像開始操作有り？」の判断処理において、ＣＰＵ１０は、ユーザーが操作部２１を操作することにより、撮像部５３で「作業対象物」の撮像を開始することを選択したか否かを判断する。ＣＰＵ１０が、撮像部５３で「作業対象物」の撮像を開始することを選択したと判断した場合には（Ｓ２１１の判断処理がＹＥＳ）、Ｓ２１２の処理に進む。
【００６２】
Ｓ２１２「撮像開始」の処理において、単位動画生成プログラム１２ｃは、撮像部用コントローラ１４に、撮像部５３で撮像を開始させる命令を出力する。第２の実施形態では、ユーザーの視界方向には、作業対象物８０１（図８に示す）があることから、撮像部５３で作業対象物８０１が撮像される。撮像部用コントローラ１４は「撮像動画」を生成し、撮像部用ＶＲＡＭ１５に記憶させる。Ｓ２１２の処理が終了すると、Ｓ２１３の処理に進む。
【００６３】
Ｓ２１３「撮像動画から特徴点座標を抽出」の処理において、関連認識プログラム１２ｇは、撮像部用ＶＲＡＭ１５に記憶されている「撮像動画」から、１フレームを取得し、図８に示されるように、エッジ等の特徴点８５０を抽出し、当該各特徴点８５０の「撮像動画」内の座標を算出し、ＲＡＭ１１の撮像データ特徴点記憶領域１１ａに記憶させる。Ｓ２１３の処理が終了すると、Ｓ２１４の処理に進む。
【００６４】
Ｓ２１４「マニュアルファイルの特徴点座標データを取得」の処理において、関連認識プログラム１２ｇは、マニュアルファイル記憶領域１３ａから、「マニュアルファイル」の「特徴点座標データ」を取得し、ＲＡＭ１１のマニュアルファイル特徴点座標記憶領域１１ｂに記憶させる。Ｓ２１４の処理が終了すると、Ｓ２１５の判断処理に進む。
【００６５】
Ｓ２１５「特徴点座標の一致率が一定以上？」の判断処理において、関連認識プログラム１２ｇは、撮像データ特徴点座標記憶領域１１ａに記憶されている「作業対象物」の各「特徴点」の座標と、マニュアルファイル特徴点座標記憶領域１１ｂに記憶されている各「特徴点座標データ」を順次照合させることにより、「特徴点座標」の一致率が一定以上の「特徴点座標データ」があるか否かを判断する。具体的には、関連認識プログラム１２ｇは、隣接する「特徴点」の相対座標を算出することにより形状を認識し、撮像された「作業対象物」の形状と、「マニュアルファイル」の「特徴点座標データ」から認識される形状が一致するか否かを判断している。言い換えると、関連認識プログラム１２ｇは、「作業対象物」の隣接する「特徴点」の相対座標と、「マニュアルファイル」の「特徴点座標データ」の隣接する「特徴点」の相対座標を比較し、当該相対座標の一致率が一定以上か否かを判断している。
なお、関連認識プログラム１２ｇは、「作業対象物」の隣接する「特徴点」の相対座標と、「マニュアルファイル」の「特徴点座標データ」の隣接する「特徴点」の相対座標を比較することにより、「作業対象物」と「マニュアルファイル」の「特徴点座標データ」から認識される形状が、相似形であるか否かを判断しても差し支えない。
また、関連認識プログラム１２ｇは、「作業対象物」の隣接する「特徴点」の相対座標と、「マニュアルファイル」の「特徴点座標データ」の隣接する「特徴点」の相対座標を比較し、周知の三角マッチング法により、「作業対象物」と「マニュアルファイル」の「特徴点座標データ」から認識される形状が、一致するか否かを判断しても差し支えない。
なお、三角マッチング法では、下記の方法により比較する「特徴点」を算出する。
１．関連認識プログラム１２ｇが、「特徴点座標データ」及び「作業対象物」の「特徴点」において、すべての可能な三角形の組を選ぶ。
２．関連認識プログラム１２ｇが、三辺a,b,c (a≧b≧c) よりx=b/a, y=c/a を求め、x-y 平面上にプロットする。
３．関連認識プログラム１２ｇが、x-y平面上の位置から、対応する特徴点を決定する。
このような、三角マッチング法によれば、「作業対象物」とユーザーとの位置関係（距離、向き）によって、作業対象物の特徴点の位置が変化し、座標系が異なっても（シフト、拡大／縮小、回転で「作業対象物」が変形していても）、「作業対象物」と相似なパターンを同定することが可能となる。
関連認識プログラム１２ｇが、「特徴点座標」の一致率が一定以上の「特徴点座標データ」があると判断した場合には（Ｓ２１５の判断処理がＹＥＳ）、撮像された「作業対象物」と比較した「マニュアルファイル」とが関連性があると認識し、前記「作業対象物」と前記「マニュアルファイル」との「紐付け情報」を、紐付け情報記憶領域１１ｃに記憶し、Ｓ２１７の判断処理に進む。一方で、関連認識プログラム１２ｇが、「特徴点座標」の一致率が一定以上の「特徴点座標データ」がないと判断した場合には（Ｓ２１５の判断処理がＮＯ）、Ｓ２１３の処理に戻る。
【００６６】
Ｓ２１７「新たな作業対象物を認識」の判断処理において、関連画像認識プログラム１２ｇは、紐付け情報記憶領域１１ｃに記憶されている「紐付け情報」を参照することにより、Ｓ２１５の処理で認識された「作業対象物」が、新たに認識された「作業対象物」であるか否かを判断する。関連画像認識プログラム１２ｇが、Ｓ２１５の処理で認識された「作業対象物」が、新たに認識された「作業対象物」であると判断した場合には（Ｓ２１７の判断処理がＹＥＳ）、Ｓ２１８の処理に進む。一方で、関連画像認識プログラム１２ｇが、Ｓ２１５の処理で認識された「作業対象物」が、新たに認識された「作業対象物」でないと判断した場合には（Ｓ２１７の判断処理がＮＯ）、Ｓ２１３の処理に戻る
【００６７】
Ｓ２１８「新たに認識された作業対象物に対応するマニュアルを表示」の処理において、マニュアルファイル取得プログラム１２ａは、紐付け情報記憶領域１１ｃに記憶されている「紐付け情報」を参照することにより、Ｓ２１５の処理で新たに認識された「作業対象物」に対応する「マニュアルファイル」の「画像データ」を取得する。次に、画像生成プログラム１２ｂは、マニュアルファイル取得プログラム１２ａが取得した「マニュアルファイル」から、「表示画像データ」を生成する描画命令を、画像生成部用コントローラ１６に出力する。生成された「表示画像データ」は、「画像信号」として画像生成部５２に出力されて、画像生成部５２でマニュアル７０１が表示される（図８に示す）。Ｓ２１８の処理が終了すると、Ｓ２２１の判断処理に進む。
【００６８】
以下、第２の実施形態の「連続動画生成処理」のS２２１、S２２２、S２２３、Ｓ２２４、Ｓ２２５、Ｓ２２６、Ｓ２２７、Ｓ２２８、Ｓ２２９、Ｓ２３１、Ｓ２３２、Ｓ２３３、Ｓ２３４、Ｓ２３５、Ｓ２３６、Ｓ２３７の処理は、それぞれ、第１の実施形態の「連測動画生成処理」のS１２１、S１２２、S１２３、Ｓ１２４、Ｓ１２５、Ｓ１２６、Ｓ１２７、Ｓ１２８、Ｓ１２９、Ｓ１３１、Ｓ１３２、Ｓ１３３、Ｓ１３４、Ｓ１３５、Ｓ１３６、Ｓ１３７の処理と同一の処理である。
なお、Ｓ２３１「撮像終了？」の判断処理において、ＣＰＵ１０が、「撮像終了信号」を受信していないと判断した場合には（Ｓ２３１の判断処理がＮＯ）、Ｓ２１３の判断処理に戻る。
また、Ｓ２３６「撮り直し？」の判断処理において、ＣＰＵ１０が、「撮り直し指示信号」を受信した場合には（Ｓ２３６の判断処理がＹＥＳ）、Ｓ２１３の判断処理に戻る。
【００６９】
このように第２の実施形態では、ユーザーの視界方向にある「作業対象物」が自動的に認識され、当該認識された「作業対象物」に対応する「マニュアルファイル」が画像生成部５２で表示されるとともに、当該「マニュアルファイル」に対応する「単位動画」が順次生成されるようになっている。
【００７０】
（第３の実施形態の概要）
図９に第３の実施形態の概要図を示して、以下に、第１の実施形態と異なる点について、第３に実施形態のヘッドマウントディスプレイ３００を説明する。第３の実施形態では、図９に示されるように、マニュアル７０１〜７０４が画像生成部５２で表示されると、「撮像動画」が連続的に生成されるとともに、マニュアル７０１〜７０４が切り替わる度に、「開始ポイント」及び「終了ポイント」が記憶される。そして、前記「開始ポイント」及び「終了ポイント」に基づいて、連続的に生成された「撮像動画」から、各マニュアル７０１〜７０４に対応する「単位動画」が生成され、これら「単位動画」が繋ぎ合わされて、１まとまりの「連続動画」が生成される。図９に示される実施形態では、マニュアル７０２に対応する「単位動画」として、単位動画Ｂ２を採用しているので、単位動画Ｂ１は、実際には生成されない。以下、このような機能を実現するヘッドマウントディスプレイ３００の構成について、詳細に説明する。
（第３の実施形態のヘッドマウントディスプレイのブロック図）
【００７１】
図１０を用いて、第１の実施形態と異なる点について、第３の実施形態のヘッドマウントディスプレイ３００のブロック図を説明する。第３の実施形態では、補助記憶装置１３は、撮像動画記憶領域１３ｅ、開始終了ポイント記憶領域１３ｆを、更に有している。なお、第３の実施形態では、単位動画記憶領域１３ｂ及び予備単位動画記憶領域１３ｃは必須ではない。
撮像動画記憶領域１３ｅには、撮像部用コントローラ１４で生成された「撮像動画」が記憶される。なお、画像生成部５２で表示される「マニュアルファイル」が切り替わったとしても、連続的に「撮像動画」が撮像動画記憶領域１３ｅに記憶されるようになっている。
開始終了ポイント記憶領域１３ｆには、「マニュアルファイル」と、この「マニュアルファイル」と対応付けられた「開始ポイント」、「終了ポイント」及び「優先度」が記憶された「開始終了ポイントファイル」（図１２に示す）が記憶される。
【００７２】
第３の実施形態では、ＲＡＭ１１は、生成された「単位動画」が一時的に記憶される単位動画記憶領域１１ｄを有している。
第３の実施形態では、ＲＯＭ１２には、ポイント記憶プログラム１２ｈが記憶されている。ポイント記憶プログラム１２ｈは、「マニュアルファイル」の画像生成部５２での表示が開始された時間を、前記「マニュアルファイル」に対応する「開始ポイント」の欄に記憶させる。また、ポイント記憶プログラム１２ｈは、画像生成部５２で表示されている「マニュアルファイル」の表示が終了した時間を、前記「マニュアルファイル」に対応する「終了ポイント」の欄に記憶させる。具体的には、ポイント記憶プログラム１２ｈは、ユーザーが操作部２１を操作することにより、画像生成部５２で表示される「マニュアルファイル」を切り替える際に出力される「操作信号」を読み取り、「マニュアルファイル」に対応する「開始ポイント」及び「終了ポイント」の時間を認識する。
第３の実施形態では、単位動画差替プログラム１２ｄは必須ではない。
【００７３】
第３の実施形態では、単位動画生成プログラム１２ｃは、開始終了ポイント記憶領域１３ｆに記憶されている「開始終了ポイントファイル」の「開始ポイント」及び「終了ポイント」を参照することにより、「撮像動画」の開始時期及び終了時期を認識して、各「マニュアルファイル」に対応する「単位動画」を生成する。生成された「単位動画」は、一時的にＲＡＭ１１の単位動画記憶領域１１ｄに記憶される。
【００７４】
（第３の実施形態の連続動画生成処理のフローの説明）
図１１を参照して、以下に、第３の実施形態の「連続動画生成処理」のフローの説明をする。ユーザーが操作部２１を操作することにより、ヘッドマウントディスプレイ３００に電源が投入されると、Ｓ３１１の判断処理に進む。
Ｓ３１１「マニュアル表示操作有り？」の処理において、マニュアルファイル取得プログラム１２ａが、ユーザーが操作部２１を操作することにより、画像生成部５２で「マニュアルファイル」を表示させる「操作信号」を検知した場合には（Ｓ３１１の判断処理がＹＥＳ）、Ｓ３１２の処理に進む。この際に、ポイント記憶プログラム１２ｈは、前記「検知信号」を読み取ることにより、画像生成部５２で表示される「マニュアルファイル」の「開始ポイント」の時間を認識する。
【００７５】
Ｓ３１２「マニュアルを表示」の処理において、マニュアルファイル取得プログラム１２ａは、Ｓ３１１の判断処理で検知した「操作信号」に基づいて、マニュアルファイル記憶領域１３ａに記憶されている「マニュアルファイル」を取得する。次に、画像生成プログラム１２ｂは、マニュアルファイル取得プログラム１２ａが取得した「マニュアルファイル」から、「表示画像データ」を生成する描画命令を、画像生成部用コントローラ１６に出力する。生成された「表示画像データ」は、「画像信号」として画像生成部５２に出力されて、画像生成部５２で「マニュアル」が表示される。Ｓ３１２の処理が終了すると、Ｓ３１３の処理に進む。
【００７６】
Ｓ３１３「撮像開始」の処理において、ＣＰＵ１０は、撮像部用コントローラ１４に、撮像部５３で撮像を開始させる命令を出力する。撮像部用コントローラ１４は「撮像動画」を生成し、撮像部用ＶＲＡＭ１５に記憶させる。撮像部用ＶＲＡＭ１５に記憶された「撮像動画」は、順次、撮像動画記憶領域１３ｅに記憶される。Ｓ３１３の処理が終了すると、Ｓ３１４の判断処理に進む。
【００７７】
Ｓ３１４「マニュアル変更操作有り？」の判断処理において、マニュアルファイル取得プログラム１２ａは、ユーザーの操作部２１の入力操作により「操作信号」が出力されたか否かを判断し、画像生成部５２で表示される「マニュアルファイル」の変更操作があったか否かを判断する。マニュアルファイル取得プログラム１２ａが、画像生成部５２で表示される「マニュアルファイル」の変更操作があったと判断した場合には（Ｓ３１４の判断処理がＹＥＳ）、画像生成プログラム１２ｂは、ユーザーが選択した「マニュアルファイル」から、「表示画像データ」を生成する描画命令を、画像生成部用コントローラ１６に出力し、Ｓ３２２の判断処理に処理が移行される。この際に、ポイント記憶プログラム１２ｈは、前記「操作信号」を読み取ることにより、今まで画像生成部５２で表示されていた「マニュアルファイル」の「終了ポイント」の時間及び、変更後に画像生成部５２で表示される「マニュアルファイル」の「開始ポイント」の時間を認識する。
【００７８】
Ｓ３２２「変更前のマニュアルに対応する開始ポイント及び終了ポイントを記憶」の処理において、ポイント記憶プログラム１２ｈは、「開始ポイント」及び「終了ポイント」を変更前の「マニュアルファイル」に対応させて、開始終了ポイント記憶領域１３ｆに記憶されている「開始終了ポイントファイル」に更新記憶させる。Ｓ３２２の処理が終了すると、Ｓ３２３の判断処理に進む。
【００７９】
Ｓ３２３「変更前のマニュアルに対応する開始ポイント及び終了ポイントが記憶されているか？」の判断処理において、ＣＰＵ１０は、開始終了ポイント記憶領域１３ｆを参照することにより、変更前の「マニュアルファイル」に対応する「開始ポイント」及び「終了ポイント」が既に「開始終了ポイントファイル」に記憶されているか否かを判断する。ＣＰＵ１０が、変更前の「マニュアルファイル」に対応する「開始ポイント」及び「終了ポイント」が既に「開始終了ポイントファイル」に記憶されていると判断した場合には（Ｓ３２３の判断処理がＹＥＳ）、Ｓ３２４の判断処理に進む。一方で、ＣＰＵ１０が、変更前の「マニュアルファイル」に対応する「開始ポイント」及び「終了ポイント」が「開始終了ポイントファイル」に記憶されていない判断した場合には（Ｓ３２３の判断処理がＮＯ）、Ｓ３３１の判断処理に進む。
【００８０】
Ｓ３２４「既に記憶されている開始ポイントから終了ポイントまでの時間よりも長いか？」の判断処理において、ＣＰＵ１０は、変更前の「マニュアルファイル」に対応する「開始ポイント」から「終了ポイント」までの時間が、同一の「マニュアルファイル」について、既に「開始終了ポイントファイル」に記憶されている「開始ポイント」から「終了ポイント」までの時間よりも長いか否かを判断する。ＣＰＵ１０が、変更前の「マニュアルファイル」に対応する「開始ポイント」から「終了ポイント」までの時間が、同一の「マニュアルファイル」について、既に「開始終了ポイントファイル」に記憶されている「開始ポイント」から「終了ポイント」までの時間よりも長いと判断した場合には（Ｓ３２４の判断処理がＹＥＳ）、Ｓ３２７の処理に進む。一方で、ＣＰＵ１０が、変更前の「マニュアルファイル」に対応する「開始ポイント」から「終了ポイント」までの時間が、同一の「マニュアルファイル」について、既に「開始終了ポイントファイル」に記憶されている「開始ポイント」から「終了ポイント」までの時間よりも短いと判断した場合には（Ｓ３２４の判断処理がＮＯ）、Ｓ３２５の処理に進む。
【００８１】
Ｓ３２５「差替通知を表示」の処理において、ＣＰＵ１０は、画像生成部５２で「差替通知」を表示させる描画命令を、画像生成部用コントローラ１６に出力する。Ｓ３２５の処理が終了すると、Ｓ３２６の判断処理に進む。
【００８２】
Ｓ３２６「差替指示信号を受信？」の判断処理において、ＣＰＵ１０は、「差替指示信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、ＣＰＵ１０が、「差替指示信号」を、受信したと判断した場合には（Ｓ３２６の判断処理がＹＥＳ）、Ｓ３２７の処理に進む。一方で、ＣＰＵ１０が、「差替指示信号」を、所定時間（数秒）の有効期間内に受信していないと判断した場合には（Ｓ３２６の判断処理がＮＯ）、Ｓ３３１の処理に進む。
【００８３】
Ｓ３２７「変更前のマニュアルに対応する開始ポイント及び終了ポイントの優先度を上げる」の処理において、ポイント記憶プログラム１２ｈは、Ｓ３２２の処理で更新記憶された、変更前の「マニュアルファイル」に対応する「優先度」を上げて「開始終了ポイントファイル」に更新記憶させる。Ｓ３２７の処理が終了すると、Ｓ３３１の判断処理に進む。
【００８４】
Ｓ３３１「撮像終了？」の判断処理において、ＣＰＵ１０は、「撮像終了信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、ＣＰＵ１０が、「撮像終了信号」を受信したと判断した場合には（Ｓ３３１の判断処理がＹＥＳ）、Ｓ３３２の処理に進む。一方で、ＣＰＵ１０が、「撮像終了信号」を受信していないと判断した場合には（Ｓ３３１の判断処理がＮＯ）、Ｓ３１４の判断処理に戻る。
【００８５】
Ｓ３３２「撮像終了」の処理において、ＣＰＵ１０は、撮像部用コントローラ１４に、撮像部５３での撮像を中止させる命令を出力する。Ｓ３３２の処理が終了すると、Ｓ３３３の処理に進む。
【００８６】
Ｓ３３３「連続動画生成」の処理において、単位動画生成プログラム１２ｂは、開始終了ポイント記憶領域１３ｆに記憶されている「開始終了ポイントファイル」を参照することにより、各「マニュアルファイル」に対応する「開始ポイント」及び「終了ポイント」を認識することにより、撮像動画記憶領域１３ｅに記憶されている「撮像動画」から前記各「マニュアルファイル」に対応する「単位動画」を生成し、ＲＡＭ１１の単位動画記憶領域１１ｄに記憶させる。なお、単位動画生成プログラム１２ｂは、図９に示されるように、所定時間（数秒）以下の「単位動画」は生成しない。これは、Ｓ３１４の判断処理において、ユーザーが操作部２１を操作することにより、画像生成部５２で表示させたい「マニュアルファイル」を検索している場合には、「単位動画」として生成する必要がないからである。また、同一の「マニュアルファイル」について、複数の「開始ポイント」及び「終了ポイント」が「開始終了ポイントファイル」に記憶されている場合には、単位動画生成プログラム１２ｂは、「優先度」が一番高い「開始ポイント」及び「終了ポイント」を認識し、当該「開始ポイント」及び「終了ポイント」に基づいて、「単位動画」を生成する。
そして、連続動画生成プログラム１２ｅは、単位動画記憶領域１１ｄに記憶されている各「単位動画」を、繋ぎ合わせて、１まとまりの（１ファイルの）「連続動画」を生成し（図９に示す）、連続動画記憶領域１３ｄに記憶させる。Ｓ３３３の処理が終了すると、Ｓ３３４の判断処理に進む。
【００８７】
Ｓ３３４「連続動画再生？」の判断処理において、ＣＰＵ１０は、「連続動画再生信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、ＣＰＵ１０が、「連続動画再生信号」を受信したと判断した場合には（Ｓ３３４の判断処理がＹＥＳ）、Ｓ１３５の処理に進む。一方で、ＣＰＵ１０が、「連続動画再生信号」を受信していないと判断した場合には（Ｓ３３４の判断処理がＮＯ）、Ｓ３３６の判断処理に戻る。
【００８８】
Ｓ３３５「連続動画再生」の処理において、連続動画再生プログラム１２ｆは、連続動画記憶領域１３ｄに記憶されている「連続動画」と、この「連続動画」を構成する「単位動画」に対応する「マニュアルファイル」を、並列させて画像生成部５２で表示させる描画命令を、画像生成部用コントローラ１６に出力する。ユーザーは、画像生成部５２で並列表示される「連続動画」と、「マニュアルファイル」を同時に見ることにより、完成した「連続動画」の出来映えを確認することができる。Ｓ３３５の処理が終了すると、Ｓ３３６の判断処理に進む。
【００８９】
Ｓ３３６「撮り直し？」の判断処理において、ＣＰＵ１０は、「撮り直し指示信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、ＣＰＵ１０が、「撮り直し指示信号」を受信したと判断した場合には（Ｓ３３６の判断処理がＹＥＳ）、Ｓ３１４の判断処理に戻る。一方で、ＣＰＵ１０が、「撮り直し指示信号」を受信していないと判断した場合には（Ｓ３３６の判断処理がＮＯ）、Ｓ３３７の処理に進む。
【００９０】
Ｓ３３７「連続動画をコンピュータ装置に出力」の処理において、連続動画記憶領域１３ｄに記憶された「連続動画」は、外部接続インターフェース１８を介して、コンピュータ装置９９９に出力される。Ｓ３３７の処理が終了すると、「連続動画生成処理」が終了し、ヘッドマウントディスプレイ３００の電源が遮断される。
【００９１】
以上説明した第３の実施形態の技術的思想と、第２の実施形態の技術的思想を組み合わせることが可能なことは言うまでもない。
【００９２】
（総括）
以上説明した実施形態では、ヘッドマウントディスプレイ１００〜３００は、頭部装着部５０と制御部３１〜３３とからなる２体構造であるが、１体構造としたヘッドマウントディスプレイであっても差し支えない。
以上説明した実施形態では、「マニュアルファイル」は、補助記憶装置１３のマニュアルファイル記憶領域１３ａに記憶されているが、「マニュアルファイル」をコンピュータ装置９９９等の外部に記憶させておき、「マニュアルファイル」を、外部接続インターフェース１８を介して取得することにしても差し支えない。
以上説明した実施形態では、「マニュアルファイル」と対応付けられた「単位動画」から「連続動画」が生成され、当該「連続動画」がコンピュータ装置９９９に出力されるが、再生順序が指定された状態で、前記「単位動画」がコンピュータ装置９９９に出力されるようにしても差し支えない。
以上説明した実施形態では、画像生成部５２で「マニュアルファイル」が表示され、当該「マニュアルファイル」と相互に対応付けられた「単位動画」から「連続動画」が生成されるが、画像生成部５２で表示される画像は「マニュアルファイル」に限定されず、所謂ビジネスソフトの「文書ファイル」、「静止画像ファイル」、「動画像ファイル」、或いは、複数のページからなる前記「文書ファイル」、「静止画像ファイル」、「動画像ファイル」等の「単位表示画像データ」であっても差し支えなく、「単位表示画像」と相互に対応付けられた「単位動画」から「連続動画」が生成される実施形態であっても差し支えない。「単位表示画像データ」が複数のページから構成されている場合には、ページが切り替わる度に「単位動画」が生成されるように構成にしても差し支えない。
【００９３】
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うヘッドマウントディスプレイもまた技術的範囲に包含されるものとして理解されなければならない。
【符号の説明】
【００９４】
９ バス
１０ ＣＰＵ
１１ ＲＡＭ
１１ａ 撮像データ特徴点座標記憶領域（第２の実施形態）
１１ｂ マニュアルファイル特徴点座標記憶領域（第２の実施形態）
１１ｃ 紐付け情報記憶領域（第２の実施形態）
１１ｄ 単位動画記憶領域（第３の実施形態）
１２ ＲＯＭ
１２ａ マニュアルファイル取得プログラム
１２ｂ 画像生成プログラム
１２ｃ 単位動画生成プログラム
１２ｄ 単位動画差替プログラム
１２ｅ 連続動画生成プログラム
１２ｆ 連続動画再生プログラム
１２ｇ 関連認識プログラム（第２の実施形態）
１２ｈ ポイント記憶プログラム（第３の実施形態）
１３ 補助記憶装置
１３ａ マニュアルファイル記憶領域
１３ｂ 単位動画記憶領域
１３ｃ 予備単位動画記憶領域
１３ｄ 連続動画記憶領域
１３ｅ 撮像動画記憶領域（第３の実施形態）
１３ｆ 開始終了ポイント記憶領域（第３の実施形態）
１４ 撮像部用コントローラ
１５ 撮像部用ＶＲＡＭ
１６ 画像生成部用コントローラ
１７ 画像生成部用ＶＲＡＭ
１８ 外部接続インターフェース
１９ 周辺インターフェース
２１ 操作部
２２ 電源ランプ
３１ 制御部（第１の実施形態）
３２ 制御部（第２の実施形態）
３３ 制御部（第３の実施形態）
５０ ヘッドマウントディスプレイ部
５１ 頭部装着部
５２ 画像生成部
５３ 撮像部
１００ 第１の実施形態のヘッドマウントディスプレイ
２００ 第２の実施形態のヘッドマウントディスプレイ
３００ 第３の実施形態のヘッドマウントディスプレイ
７０１〜７０４ マニュアル
８０１ 作業対象物
８５０ 特徴点
９９９ コンピュータ装置
【技術分野】
【０００１】
本発明は、ユーザーに情報を提供するとともに、同時にユーザーの視界方向を撮像することができるヘッドマウントディスプレイに関する。
【背景技術】
【０００２】
従来から特許文献１に示されるように、作業者の頭部に装着され、作業者にマニュアル等を視認させるヘッドマウントディスプレイが知られている。このようなヘッドマウントディスプレイは、作業者の視界にマニュアルが表示されるので、作業をしながら常にマニュアルを確認することができ、作業の確実性を向上させることができる。また、手にマニュアルを持つ必要が無いので、作業効率を向上させることもできる。
【０００３】
また、特許文献２には、記憶された動画の検索や編集を高速に行うために、記録開始ポイント及び記録終了ポイントを記録するビデオデータ記録装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２４９５８７号公報
【特許文献２】特開平９−２００６８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、習熟を必要とする技術の指導のための作業記録動画や、一定の作業を繰り返し行う作業者のための手本となる作業記録動画を撮影したい場合がある。
しかしながら、作業記録動画を撮影中に、作業者が作業を失敗してしまったり、作業をもっと分かり易く説明したりするために、作業者が部分的に撮り直したいと思うことがある。従来の方法では、撮影終了後に、作業者が編集箇所を探し、失敗した箇所の動画を切り取り、成功した箇所の動画同士をつなぎ合わせるという編集作業が必要となり、多大な労力と時間を費やさなければならないという問題があった。
【０００６】
特許文献２に示される技術を用いれば、記録開始ポイント及び記録終了ポイントが記録されるため、作業者が編集箇所を探す労力は軽減される。しかしながら、特許文献２に示される技術では、事後的な編集作業を要するため、依然として、編集作業に労力と時間を費やさなければならないという問題があった。
本発明は、上記問題を解決し、事後的な編集作業を要することがなく所望の動画を生成することができるヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するためになされた請求項１に記載の発明は、
ユーザーの頭部に装着され、ユーザーに画像を視認させる画像生成部と、
前記画像生成部で表示する単位表示画像データを取得する単位表示画像データ取得手段と、
ユーザーの視界方向を撮像し、撮像動画を生成する撮像手段と、
前記撮像手段が生成した撮像動画から、前記画像生成部で表示される単位表示画像毎に、前記単位表示画像と対応付けられた単位動画を生成する単位動画生成手段と、
１の単位動画と対応する同一単位表示画像と対応付けられた他の単位動画が生成された場合に、前記１の単位動画を前記他の単位動画に差し替えるか否かの判断を行い、差し替えると判断した場合に、前記１の単位動画を前記他の単位動画と差し替え、これら差し替えた単位動画を１まとまりの連続動画として生成する連続動画生成手段と、
を有することを特徴とする。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、
単位動画生成手段は、撮像時間が所定時間以上である場合に限り、単位動画を生成することを特徴とする。
これにより、撮像時間が数秒のような撮像動画からは単位動画が生成されない。このため、短時間で、記憶しておく価値が無い単位動画が無意味に記憶されることがない。
【０００９】
請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、
ユーザーからの操作を受け付ける操作部を更に備え、
連続動画生成手段は、単位動画を差し替えるか否かの判断を、前記操作部へのユーザーの操作により決定することを特徴とする。
これにより、ユーザーが操作部を操作することにより、ユーザーが望む単位動画を選択することが可能となる。
【００１０】
請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
連続動画生成手段によって前記他の単位動画に差し替えられた前記１の単位動画を記憶する予備単位動画記憶手段を更に有することを特徴とする。
これにより、連続動画として使用されなかった単位動画を利用することが可能となる。
【００１１】
請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、
連続動画生成手段は、前記他の単位動画の撮像時間が前記１の単位動画の撮像時間よりも長い場合、前記１の単位動画を前記他の単位動画に差し替えることを特徴とする。
これにより、同一の対象についての単位動画が、より撮像時間が長い単位動画に自動的に差し替えられる。これにより、より撮像時間が長く、より記録する価値が高い単位動画から構成される連続動画を、自動的に生成することが可能となる。
【００１２】
請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、
単位動画生成手段は、
画像生成部によって表示される単位表示画像データが変更された時に、新たな単位動画を生成することを特徴とする。
これにより、画像生成部によって表示される単位表示画像と対応付けされた単位動画が順次自動的に作成される。このため、ユーザーが前記単位表示画像データと撮像された単位動画との対応付けを事後的に行う必要がない。
【００１３】
請求項７に記載の発明は、請求項１〜請求項５に記載の発明において、
撮像動画と画像生成部で表示される単位表示画像との関連性を認識する関連認識手段を更に備え、
単位表示画像データ取得手段は、前記関連認識手段が認識した撮像動画と関連性のある単位表示画像データを取得し、
画像生成部は、前記取得された単位表示画像データを表示し、
単位動画生成手段は、
前記関連認識手段が前記関連性を認識した時に、新たな単位動画を生成し、
前記関連認識手段が前記関連性の消滅を認識した時に、前記新たな単位動画の生成を終了することを特徴とする。
これにより、撮像画像と関連性のある単位表示画像が自動的に画像表示部で表示されるとともに、前記単位表示画像と対応付けされた単位動画が自動的に作成される。このため、ユーザーが画像生成部で表示させる単位表示画像を選択する選択操作を行う必要がない。例えば、作業対象物の作業についての作業記録動画を作成する場合に、ユーザーが前記作業対象物を自己の視界に入れるだけで、作業記録動画である単位動画が生成され、作業記録動画の作成に手間がかからない。
【００１４】
請求項８に記載の発明は、請求項１〜請求項７に記載の発明において、
連続動画と、連続動画を構成する単位動画に対応する単位表示画像を、画像生成部で表示させる連続動画再生手段を更に有することを特徴とする。
これにより、ユーザーが、完成した連続動画の出来映えを確認することが可能となる。
【発明の効果】
【００１５】
本発明によれば、事後的な編集作業を要することがなく、画像表示部で表示されるファイルと関連性のある所望の動画を生成することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態を示すヘッドマウントディスプレイの概要図である。
【図２】ユーザーの視界を表した図である。（第１の実施形態）
【図３】単位動画から連続動画が生成される過程を表した説明図である。
【図４】第１の実施形態のヘッドマウントディスプレイのブロック図である。
【図５】第１の実施形態の連続動画生成処理のフロー図である。
【図６】第２の実施形態のヘッドマウントディスプレイのブロック図である。
【図７】第２の実施形態の連続動画生成処理のフロー図である。
【図８】ユーザーの視界を表した図である。（第２の実施形態）
【図９】第３の実施形態の概要を示した説明図である。
【図１０】第３の実施形態のヘッドマウントディスプレイのブロック図である。
【図１１】第３の実施形態の連続動画生成処理にフロー図である。
【図１２】開始終了ポイントファイルの説明図である。
【発明を実施するための形態】
【００１７】
（第１の実施形態のヘッドマウントディスプレイの概要）
以下に図面を参照しつつ、本発明の好ましい実施の形態を示す。第１の実施形態のヘッドマウントディスプレイ１００は、ユーザーの頭部に装着されるヘッドマウントディスプレイ部５０と、このヘッドマウントディスプレイ部５０を制御する制御部３１とから構成されている。ヘッドマウントディスプレイ部５０は、頭部装着部５１、画像生成部５２、撮像部５３とから構成されている。頭部装着部５１は、図１に示される実施形態では、眼鏡のフレーム形状であるが、ヘルメット形状等であってもよく、ユーザーの頭部に装着される構造のものであればよい。
【００１８】
画像生成部５２は、頭部装着部５１の側前部に取り付けられている。画像生成部５２は、画像を生成し、当該画像をユーザーに視認させるものである。本実施形態では、画像生成部５２は、レーザ光を直接ユーザーの眼球に走査することにより、ユーザーに画像を視認させる網膜走査型ディスプレイを用いて構成される。しかし、画像生成部５２は、液晶ディスプレイ、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなど、その他の装置を用いた構成であっても差し支えない。前記画像は本実施形態では、マニュアル７０１（図２に示す）である。図２に示されるように、ユーザーは、画像生成部５２で表示するマニュアル７０１を視認することができると同時に、外界に存在する作業対象物８０１を視認することができるようになっている。
【００１９】
撮像部５３は、頭部装着部５１の前部に取り付けられている。撮像部５３は、ユーザーの視界方向を撮像する装置である。撮像部５３は、イメージセンサー、結像光学系を有している。イメージセンサーは、２次元配列されたフォトダイオードを有している。各フォトダイオードは、入射光の強度を電荷に変換し、電荷を「信号電圧」として出力する。イメージセンサーには、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ ＳｅｎＳｏｒ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｗｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）が含まれる。結像光学系は、単一又は複数のレンズで構成され、入光した像を、イメージセンサー上で結像させるものである。
【００２０】
制御部３１は、画像生成部５２、撮像部５３と接続している。制御部３１は、例えば、ユーザーの腰に装着される。制御部３１は、操作部２１、電源ランプ２２を有している。操作部２１は、ヘッドマウントディスプレイ１００を操作するためのものであり、複数のボタン、或いは、タッチパネルで構成されている。電源ランプ２２は、例えば、ＬＥＤで構成されていて、ヘッドマウントディスプレイ１００に電源が投入されると、発光するようになっている。
【００２１】
図３を用いて、本発明のヘッドマウントディスプレイ１００の概要について説明する。ユーザーが、操作部２１を操作することにより、マニュアル７０１〜７０３を順次選択し、これらのマニュアル７０１〜７０３が画像生成部５２で表示されると、同時に撮像部５３でユーザーの視界方向が撮像される。そして、マニュアル７０１〜７０３と対応する単位動画Ａ１、Ｂ１、Ｃ１が生成され、制御部３１に記憶される。
もし、ユーザーがマニュアル７０２に対応する単位動画を撮り直したい場合には、ユーザーが操作部２１を操作することにより、再び、マニュアル７０２を画像生成部５２で表示させる。すると、マニュアル７０２が画像生成部５２で表示されると同時に、撮像部５３での撮像が開始される。そして、ユーザーが操作部２１を操作することにより、画像生成部５２でのマニュアル７０２の表示を停止させると同時に、撮像部５３での撮像が終了し、マニュアル７０２と対応付けられた単位動画Ｂ２が生成され、制御部３１に記憶される。そして、単位動画Ｂ１を撮り直した単位動画Ｂ２に差し替えるか否かの判断がなされ、単位動画Ｂ１を撮り直した単位動画Ｂ２に差し替えると判断された場合には、単位動画Ｂ１が撮り直した単位動画Ｂ２に差し替えられ、単位動画Ａ１、Ｂ２、Ｃ１が繋ぎ合わされて、「連続動画」が生成される。
以下、このような機能を実現するヘッドマウントディスプレイ１００の構成について詳細に説明する。
【００２２】
（第１の実施形態のヘッドマウントディスプレイのブロック図）
図４を用いて、第１の実施形態のヘッドマウントディスプレイ１００のブロック図を説明する。制御部３１は、ＣＰＵ１０、ＲＡＭ１１、ＲＯＭ１２、補助記憶装置１３、撮像部用コントローラ１４、撮像部用ＶＲＡＭ１５、画像生成部用コントローラ１６、画像生成部用ＶＲＡＭ１７、外部接続インターフェース１８、周辺インターフェース１９を有していて、これらは相互にバス９で接続されている。撮像部用コントローラ１４と撮像部用ＶＲＡＭ１５は相互に接続している。画像生成部用コントローラ１６と画像生成部用ＶＲＡＭ１７も相互に接続している。撮像部用コントローラ１４と撮像部５３は、相互に接続している。画像生成部用ＶＲＡＭ１７と画像生成部５２は相互に接続している。
【００２３】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）１０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略）１２と協動して、各種演算、処理を行うものである。
【００２４】
ＲＡＭ１１は、ＣＰＵ１０で処理されるプログラムや、ＣＰＵ１０が処理するデータを、そのアドレス空間に一時的に記憶するものである。
【００２５】
ＲＯＭ１２には、ヘッドマウントディスプレイ１００を制御する各種プログラムやパラメータが記憶されている。当該各種プログラムが、ＣＰＵ１０で処理されることにより、各種機能を実現している。ＲＯＭ１２には、マニュアルファイル取得プログラム１２ａ、画像生成プログラム１２ｂ、単位動画生成プログラム１２ｃ、単位動画差替プログラム１２ｄ、連続動画生成プログラム１２ｅ、連続動画再生プログラム１２ｆが記憶されている。なお、補助記憶装置１３に、これらプログラムやデータを記憶させることにしても差し支えない。
【００２６】
マニュアルファイル取得プログラム１２ａは、ユーザーの選択操作により、マニュアルファイル記憶領域１３ａに記憶されている「マニュアルファイル」を取得するプログラムである。
画像生成プログラム１２ｂは、「マニュアルファイル」から「表示画像データ」を生成させる描画命令を、画像生成部用コントローラ１６に出力するプログラムである。
単位動画生成プログラム１２ｃは、撮像部用コントローラ１４が生成した「撮像動画」から、画像生成部５２で表示される「マニュアルファイル」毎に、前記「マニュアルファイル」と対応付けられた「単位動画」を生成するプログラムである。生成された「単位動画」は、補助記憶装置１３の単位動画記憶領域１３ｂに記憶される。
単位動画差替プログラム１２ｄは、単位動画記憶領域１３ｂに記憶されている１の「単位動画」と対応する同一の「マニュアルファイル」と対応付けられた他の「単位動画」が新たに生成された場合に、前記１の「単位動画」を前記他の「単位動画」に差し替えるか否かの判断を行い、差し替えると判断した場合に、前記１の「単位動画」を前記「他の単位動画」と差し替えるプログラムである。
連続動画生成プログラム１２ｅは、「単位動画」から、１まとまりの「連続動画」を生成するプログラムである。
連続動画再生プログラム１２ｆは、「連続動画」と、この「連続動画」を構成する「単位動画」に対応する「マニュアルファイル」を並列させて画像生成部５２で表示させる描画命令を、画像生成部用コントローラ１６に出力するプログラムである。
なお、マニュアルファイル取得プログラム１２ａ、画像生成プログラム１２ｂ、単位動画生成プログラム１２ｃ、単位動画差替プログラム１２ｄ、連続動画生成プログラム１２ｅ、連続動画再生プログラム１２ｆを、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成することとしても差し支えない。
【００２７】
補助記憶装置１３は、例えば、不揮発性メモリーやハードディスクである。補助記憶装置１３は、マニュアルファイル記憶領域１３ａ、単位動画記憶領域１３ｂ、予備単位動画記憶領域１３ｃ、連続動画記憶領域１３ｄを有している。
【００２８】
マニュアルファイル記憶領域１３ａには、各種「マニュアルファイル」が記憶されている。この「マニュアルファイル」のファイル形式には、静止画像ファイル、動画ファイル、文章ファイル等の各種ファイルが含まれる。
単位動画記憶領域１３ｂには、「マニュアルファイル」に対応付けられた「単位動画」が記憶されるようになっている。
予備単位動画記憶領域１３ｃには、「旧単位動画」が記憶されるようになっている。「旧単位動画」とは、単位動画記憶領域１３ｂに記憶されている「単位動画」に対応する「マニュアルファイル」について、新たに撮り直しが行われた場合に、新たに撮り直された「単位動画」と差し替えられる「単位動画」のことである。
【００２９】
撮像部用コントローラ１４は、Ａ／Ｄコンバータ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｓｅｓｓｏｒ）を有している。Ａ／Ｄコンバータは、撮像部５３のイメージセンサーが出力する「信号電圧」を、「デジタル信号」に変換する。ＤＳＰは、Ａ／Ｄコンバータが生成した「デジタル信号」から、ＲＧＢそれぞれの色について階調表現して、「撮像動画」を生成し、撮像部用ＶＲＡＭ１５に記憶させる。
【００３０】
画像生成部用コントローラ１６は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、画像生成プログラム１２ｂの命令を受けて、マニュアルファイル記憶領域１３ａに記憶されている「マニュアルファイル」から、画像生成部５２で表示する「表示画像データ」を生成し、画像生成部用ＶＲＡＭ１７に記憶させる。画像生成部用ＶＲＡＭ１７に記憶された「表示画像データ」は、「画像信号」として画像生成部５２に出力される。
【００３１】
外部接続インターフェース１８は、コンピュータ装置９９９接続している。コンピュータ装置９９９には、パーソナルコンピュータやＰＤＡが含まれる。外部接続インターフェース１８には、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＵＳＢ（Ｕｎｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略、）、その他通信インターフェースが含まれる。
【００３２】
周辺インターフェース１９は、信号の物理的、論理的な形式を変換するものである。周辺インターフェース１９は、操作部２１や電源ランプ２２と接続している。操作部２１は、ユーザーの操作により、ヘッドマウントディスプレイ１００をＯＮ状態（電源が投入された状態）やＯＦＦ状態（電源が遮断された状態）にしたり、画像生成部５２で表示される「マニュアルファイル」を切り替えたりするためのものである。電源ランプ２２は、ヘッドマウントディスプレイ１００がＯＮ状態の時に点灯するようになっている。
【００３３】
（第１の実施形態の連続動画生成処理のフローの説明）
図５を参照して、以下に、第１の実施形態の「連続動画生成処理」のフローの説明をする。第１の実施形態の連続動画生成処理では、ユーザーが操作部２１を操作することにより、画像生成部５２で表示される「マニュアルファイル」が切り替わる度に、この「マニュアルファイル」と対応付けられた「単位動画」が生成される。以下、詳細に説明する。
【００３４】
ユーザーが操作部２１を操作することにより、ヘッドマウントディスプレイ１００に電源が投入されると、Ｓ１１１の判断処理に進む。
Ｓ１１１「マニュアル表示操作有り？」の処理において、マニュアルファイル取得プログラム１２ａが、ユーザーが操作部２１を操作することにより、画像生成部５２で「マニュアルファイル」を表示させる「操作信号」を検知した場合には（Ｓ１１１の判断処理がＹＥＳ）、Ｓ１１２の処理に進む。
【００３５】
Ｓ１１２「マニュアルを表示」の処理において、マニュアルファイル取得プログラム１２ａは、Ｓ１１１の判断処理で検知した「操作信号」に基づいて、マニュアルファイル記憶領域１３ａに記憶されている「マニュアルファイル」を取得する。次に、画像生成プログラム１２ｂは、マニュアルファイル取得プログラム１２ａが取得した「マニュアルファイル」から、「表示画像データ」を生成する描画命令を、画像生成部用コントローラ１６に出力する。生成された「表示画像データ」は、「画像信号」として画像生成部５２に出力されて、画像生成部５２でマニュアル７０１が表示される（図２に示す）。Ｓ１１２の処理が終了すると、Ｓ１１３の処理に進む。
【００３６】
Ｓ１１３「撮像開始」の処理において、ＣＰＵ１０は、撮像部用コントローラ１４に、撮像部５３での撮像を開始させる命令を出力する。撮像部用コントローラ１４は「撮像動画」を生成し、撮像部用ＶＲＡＭ１５に記憶させる。Ｓ１１３の処理が終了すると、Ｓ１１４の判断処理に進む。
【００３７】
Ｓ１１４「マニュアル変更操作有り？」の判断処理において、マニュアルファイル取得プログラム１２ａは、ユーザーの操作部２１の入力操作により「操作信号」が出力されたか否かを判断し、画像生成部５２で表示される「マニュアルファイル」の変更操作があったか否かを判断する。マニュアルファイル取得プログラム１２ａが、画像生成部５２で表示される「マニュアルファイル」の変更操作があったと判断した場合には（Ｓ１１４の判断処理がＹＥＳ）、画像生成プログラム１２ｂは、ユーザーが選択した「マニュアルファイル」から、「表示画像データ」を生成する描画命令を、画像生成部用コントローラ１６に出力し、Ｓ１２１の判断処理に処理が移行される。
【００３８】
Ｓ１２１「所定時間以上マニュアルが表示されたか？」の判断処理において、単位動画生成プログラム１２ｃは、変更後の「マニュアルファイル」が画像生成部５２で所定時間以上表示されたか否かを判断する。単位動画生成プログラム１２ｃが、変更後の「マニュアルファイル」が画像生成部５２で所定時間以上表示されたと判断した場合には（Ｓ１２１の判断処理がＹＥＳ）、Ｓ１２２の処理に進む。一方で、単位動画生成プログラム１２ｃが、変更前の「マニュアルファイル」が画像生成部５２で所定時間よりも短くしか表示されていないと判断した場合には（Ｓ１２１の判断処理がＮＯ）、Ｓ１３１の判断処理に進む。
つまり、ユーザーが操作部２１を操作することにより、画像生成部５２で表示させたい「マニュアルファイル」を検索している場合には、短時間しか「マニュアルファイル」が画像生成部５２で表示されず（言い換えると、短時間しか撮像されず）、この場合には「撮像動画」を「単位動画」として記憶する必要が無いことから、生成された「撮像動画」は破棄される。
【００３９】
Ｓ１２２「変更前のマニュアルに対応する単位動画が記憶されているか？」の判断処理において、単位動画生成プログラム１２ｃは、変更前の「マニュアルファイル」に対応する「単位動画」が、単位動画記憶領域１３ｂに記憶されているか否かを判断する。単位動画生成プログラム１２ｃが、変更前の「マニュアルファイル」に対応する「単位動画」が、単位動画記憶領域１３ｂに記憶されていると判断した場合には（Ｓ１２２の判断処理がＹＥＳ）、Ｓ１２４の処理に進む。一方で、単位動画生成プログラム１２ｃが、変更前の「マニュアルファイル」に対応する「単位動画」が単位動画記憶領域１３ｂに記憶されていないと判断した場合には（Ｓ１２２の判断処理がＮＯ）、Ｓ１２３の処理に進む。
【００４０】
Ｓ１２３「撮像動画を変更前のマニュアルと対応する単位動画として記憶」の処理において、単位動画生成プログラム１２ｃは、「マニュアルファイル」が変更されるまでに生成された「撮像動画」を、変更前の「マニュアルファイル」と対応する「単位動画」として生成し、単位動画記憶領域１３ｂに記憶させる。Ｓ１２３の処理が終了すると、Ｓ１３１の判断処理に進む。
【００４１】
Ｓ１２４「既に記憶されている単位動画の撮像時間よりも長いか？」の判断処理において、単位動画差替プログラム１２ｄは、単位動画記憶領域１３ｂ記憶されている同一の「マニュアルファイル」に対応する「単位動画」の撮像時間よりも、新たに生成される「単位動画」の撮像時間のほうが長いか否かを判断する。単位動画差替プログラム１２ｄが、新たに生成される「単位動画」の撮像時間のほうが長いと判断した場合には（Ｓ１２４の判断処理がＹＥＳ）、Ｓ１２５の処理に進む。一方で、単位動画差替プログラム１２ｄが、新たに生成される「単位動画」の撮像時間のほうが短いと判断した場合には（Ｓ１２４の判断処理がＮＯ）、Ｓ１２７の処理に進む。図３に示される例では、単位動画記憶領域１３ｂ記憶されているマニュアル７０２に対応する単位動画Ｂ１の撮像時間よりも、新たに生成される単位動画Ｂ２の撮像時間のほうが長いので、Ｓ１２５の処理に進む。
【００４２】
Ｓ１２５「既に記憶されている単位動画を予備単位動画記憶領域に記憶」の処理において、単位動画差替プログラム１２ｄは、Ｓ１２４の処理で比較された、既に単位動画記憶領域１３ｂに記憶されている「単位動画」を、予備単位動画記憶領域１３ｃに記憶するとともに、単位動画記憶領域１３ｂから消去する。図３に示される例では、単位動画差替プログラム１２ｄは、単位動画Ｂ１を、予備単位動画記憶領域１３ｃに記憶するとともに、単位動画記憶領域１３ｂから消去する。Ｓ１２５の処理が終了すると、Ｓ１２６の処理に進む。
【００４３】
Ｓ１２６「撮像動画を変更前のマニュアルと対応する単位動画として記憶」の処理において、単位動画生成プログラム１２ｃは、「マニュアルファイル」が変更されるまで生成された「撮像動画」を、変更前の「マニュアルファイル」と対応する「単位動画」として生成する。そして、単位動画差替プログラム１２ｄは、前記生成された「単位動画」を単位動画記憶領域１３ｂに記憶させる。図３に示される例では、単位動画生成プログラム１２ｃはマニュアル７０２に対応する単位動画Ｂ２を生成し、単位動画差替プログラム１２ｄは単位動画Ｂ２を、単位動画記憶領域１３ｂに記憶させる。Ｓ１２６の処理が終了すると、Ｓ１３１の判断処理に進む。
【００４４】
Ｓ１２７「差替通知を表示」の処理において、単位動画差替プログラム１２ｄは、画像生成部５２で「差替通知」を表示させる描画命令を、画像生成部用コントローラ１６に出力する。Ｓ１２７の処理が終了すると、Ｓ１２８の判断処理に進む。
【００４５】
Ｓ１２８「差替指示信号を受信？」の判断処理において、単位動画差替プログラム１２ｄは、「差替指示信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、単位動画差替プログラム１２ｄが、「差替指示信号」を、受信したと判断した場合には（Ｓ１２８の判断処理がＹＥＳ）、Ｓ１２５の処理に進む。一方で、単位動画差替プログラム１２ｄが、「差替指示信号」を、所定時間（数秒）の有効期間内に受信していないと判断した場合には（Ｓ１２８の判断処理がＮＯ）、Ｓ１２９の処理に進む。
【００４６】
Ｓ１２９「撮像動画を予備単位動画記憶領域に記憶」の処理において、単位動画生成プログラム１２ｂは、「マニュアルファイル」が変更されるまで生成された「撮像動画」を、「単位動画」として、予備単位動画記憶領域１３ｃに記憶させる。Ｓ１２９の処理が終了すると、Ｓ１３１の処理に進む。
【００４７】
Ｓ１３１「撮像終了？」の判断処理において、ＣＰＵ１０は、「撮像終了信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、ＣＰＵ１０が、「撮像終了信号」を受信したと判断した場合には（Ｓ１３１の判断処理がＹＥＳ）、Ｓ１３２の処理に進む。一方で、ＣＰＵ１０が、「撮像終了信号」を受信していないと判断した場合には（Ｓ１３１の判断処理がＮＯ）、Ｓ１１４の判断処理に戻る。
【００４８】
Ｓ１３２「撮像終了」の処理において、ＣＰＵ１０は、撮像部用コントローラ１４に、撮像部５３での撮像を中止させる命令を出力する。Ｓ１３２の処理が終了すると、Ｓ１３３の処理に進む。
【００４９】
Ｓ１３３「連続動画生成」の処理において、連続動画生成プログラム１２ｅは、単位動画記憶領域１３ｂに記憶されている各「単位動画」を、繋ぎ合わせて、１まとまりの（１ファイルの）「連続動画」を生成し、連続動画記憶領域１３ｄに記憶させる。図３に示される例では、連続動画生成プログラム１２ｅは、単位動画Ａ1、差し替えられた単位動画Ｂ２、単位動画Ｃ１を、１ファイルに繋ぎ合わせて「連続動画」を生成し、連続動画記憶領域１３ｄに記憶させる。Ｓ１３３の処理が終了すると、Ｓ１３４の判断処理に進む。
【００５０】
Ｓ１３４「連続動画再生？」の判断処理において、ＣＰＵ１０は、「連続動画再生信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、ＣＰＵ１０が、「連続動画再生信号」を受信したと判断した場合には（Ｓ１３４の判断処理がＹＥＳ）、Ｓ１３５の処理に進む。一方で、ＣＰＵ１０が、「連続動画再生信号」を受信していないと判断した場合には（Ｓ１３４の判断処理がＮＯ）、Ｓ１３６の判断処理に戻る。
【００５１】
Ｓ１３５「連続動画再生」の処理において、連続動画再生プログラム１２ｆは、連続動画記憶領域１３ｄに記憶されている「連続動画」と、この「連続動画」を構成する「単位動画」に対応する「マニュアルファイル」を、並列させて画像生成部５２で表示させる描画命令を、画像生成部用コントローラ１６に出力する。ユーザーは、画像生成部５２で並列表示される「連続動画」と、「マニュアルファイル」を同時に見ることにより、完成した「連続動画」の出来映えを確認することができる。Ｓ１３５の処理が終了すると、Ｓ１３６の判断処理に進む。
【００５２】
Ｓ１３６「撮り直し？」の判断処理において、ＣＰＵ１０は、「撮り直し指示信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、ＣＰＵ１０が、「撮り直し指示信号」を受信したと判断した場合には（Ｓ１３６の判断処理がＹＥＳ）、Ｓ１１４の判断処理に戻る。一方で、ＣＰＵ１０が、「撮り直し指示信号」を受信していないと判断した場合には（Ｓ１３６の判断処理がＮＯ）、Ｓ１３７の処理に進む。
【００５３】
Ｓ１３７「連続動画をコンピュータ装置に出力」の処理において、連続動画記憶領域１３ｄに記憶された「連続動画」は、外部接続インターフェース１８を介して、コンピュータ装置９９９に出力される。Ｓ１３７の処理が終了すると、「連続動画生成処理」が終了し、ヘッドマウントディスプレイ１００の電源が遮断される。
【００５４】
なお、Ｓ１２４の判断処理において、単位動画差替プログラム１２ｄが、単位動画記憶領域１３ｂ記憶されている同一の「マニュアルファイル」に対応する「単位動画」の撮像時間よりも、新たに生成される「単位動画」の撮像時間のほうが長いか否かを判断しているのは、同一の「マニュアルファイル」について撮像し直した場合に、撮り直した「単位動画」のほうが既に記憶されている「単位動画」よりも長い場合には、撮り直した「単位動画」のほうがより詳細に作業を説明していると考えられ、より記憶する価値のある「単位動画」であるからである。
【００５５】
（第２の実施形態のヘッドマウントディスプレイの概要）
以下に、第１の実施形態のヘッドマウントディスプレイ１００と異なる点について、第２の実施形態のヘッドマウントディスプレイ２００を説明する。第２の実施形態では、ユーザーが作業対象物８０１（図８に示す）方向を見ると、撮像部５３が作業対象物８０１を撮像し、後述する関連認識プログラム１２ｇが（図６に示す）、撮像された作業対象物８０１をパターンマッチングにより認識して、作業対象物８０１の作業を行うためのマニュアル７０１を選択する。そして、前記マニュアル７０１が画像生成部５２で表示されるとともに、前記マニュアル７０１に対応する「単位動画」が生成される。以下、このような機能を実現するヘッドマウントディスプレイ２００の構成について、詳細に説明する。
【００５６】
（第２の実施形態のヘッドマウントディスプレイのブロック図）
図６を用いて、第２の実施形態のヘッドマウントディスプレイ２００のブロック図について、第１の実施形態と異なる点について説明する。
【００５７】
第２の実施形態では、マニュアルファイル記憶領域１３aに記憶されている「マニュアルファイル」は、画像生成部５２で表示される「画像データ」と、「特徴点座標データ」とから構成されている。「特徴点座標データ」は、前記各「画像データ」と相互に関連性がある「作業対象物」の「特徴点」の座標を記憶したデータである。
【００５８】
第２の実施形態では、ＲＯＭ１２には、更に、関連認識プログラム１２ｇが記憶されている。関連認識プログラム１２ｇは、撮像された作業対象物８０１（図８に示す）と画像生成部５２で表示される「マニュアルファイル」との関連性を認識するプログラムである。具体的には、関連認識プログラム１２ｇは、作業対象物８０１が撮像された「撮像動画」から１フレームを取得し、作業対象物８０１のエッジ等の特徴点８５０（図８に示す）を抽出し、当該特徴点８５０の「撮像動画」の１フレーム中の座標と、前記「マニュアルファイル」の「特徴点座標データ」とを比較することにより、作業対象物８０１に対応する「マニュアルファイル」を認識する。
【００５９】
第２の実施形態では、ＲＡＭ１１は、撮像データ特徴点座標記憶領域１１ａ、マニュアルファイル特徴点座標記憶領域１１ｂ、紐付け情報記憶領域１１ｃを有している。
撮像データ特徴点座標記憶領域１１ａには、関連認識プログラム１２ｇが、算出した「撮像動画」から１フレーム中の「作業対象物」の「特徴点」の座標が記憶される。
マニュアルファイル特徴点座標記憶領域１１ｂには、「マニュアルファイル」の「特徴点座標データ」が記憶される。
紐付け情報記憶領域１１ｃには、関連認識プログラム１２ｇにより、「作業対象物」と関連性が認識された「マニュアルファイル」との「紐付け情報」が記憶される。
【００６０】
（第２の実施形態の連続動画生成処理のフローの説明）
図７を参照して、以下に、第２の実施形態の「連続動画生成処理」のフローについて説明する。
【００６１】
ユーザーが操作部２１を操作することにより、ヘッドマウントディスプレイ１００に電源が投入されると、Ｓ２１１の判断処理に進む。
Ｓ２１１「作業対象物撮像開始操作有り？」の判断処理において、ＣＰＵ１０は、ユーザーが操作部２１を操作することにより、撮像部５３で「作業対象物」の撮像を開始することを選択したか否かを判断する。ＣＰＵ１０が、撮像部５３で「作業対象物」の撮像を開始することを選択したと判断した場合には（Ｓ２１１の判断処理がＹＥＳ）、Ｓ２１２の処理に進む。
【００６２】
Ｓ２１２「撮像開始」の処理において、単位動画生成プログラム１２ｃは、撮像部用コントローラ１４に、撮像部５３で撮像を開始させる命令を出力する。第２の実施形態では、ユーザーの視界方向には、作業対象物８０１（図８に示す）があることから、撮像部５３で作業対象物８０１が撮像される。撮像部用コントローラ１４は「撮像動画」を生成し、撮像部用ＶＲＡＭ１５に記憶させる。Ｓ２１２の処理が終了すると、Ｓ２１３の処理に進む。
【００６３】
Ｓ２１３「撮像動画から特徴点座標を抽出」の処理において、関連認識プログラム１２ｇは、撮像部用ＶＲＡＭ１５に記憶されている「撮像動画」から、１フレームを取得し、図８に示されるように、エッジ等の特徴点８５０を抽出し、当該各特徴点８５０の「撮像動画」内の座標を算出し、ＲＡＭ１１の撮像データ特徴点記憶領域１１ａに記憶させる。Ｓ２１３の処理が終了すると、Ｓ２１４の処理に進む。
【００６４】
Ｓ２１４「マニュアルファイルの特徴点座標データを取得」の処理において、関連認識プログラム１２ｇは、マニュアルファイル記憶領域１３ａから、「マニュアルファイル」の「特徴点座標データ」を取得し、ＲＡＭ１１のマニュアルファイル特徴点座標記憶領域１１ｂに記憶させる。Ｓ２１４の処理が終了すると、Ｓ２１５の判断処理に進む。
【００６５】
Ｓ２１５「特徴点座標の一致率が一定以上？」の判断処理において、関連認識プログラム１２ｇは、撮像データ特徴点座標記憶領域１１ａに記憶されている「作業対象物」の各「特徴点」の座標と、マニュアルファイル特徴点座標記憶領域１１ｂに記憶されている各「特徴点座標データ」を順次照合させることにより、「特徴点座標」の一致率が一定以上の「特徴点座標データ」があるか否かを判断する。具体的には、関連認識プログラム１２ｇは、隣接する「特徴点」の相対座標を算出することにより形状を認識し、撮像された「作業対象物」の形状と、「マニュアルファイル」の「特徴点座標データ」から認識される形状が一致するか否かを判断している。言い換えると、関連認識プログラム１２ｇは、「作業対象物」の隣接する「特徴点」の相対座標と、「マニュアルファイル」の「特徴点座標データ」の隣接する「特徴点」の相対座標を比較し、当該相対座標の一致率が一定以上か否かを判断している。
なお、関連認識プログラム１２ｇは、「作業対象物」の隣接する「特徴点」の相対座標と、「マニュアルファイル」の「特徴点座標データ」の隣接する「特徴点」の相対座標を比較することにより、「作業対象物」と「マニュアルファイル」の「特徴点座標データ」から認識される形状が、相似形であるか否かを判断しても差し支えない。
また、関連認識プログラム１２ｇは、「作業対象物」の隣接する「特徴点」の相対座標と、「マニュアルファイル」の「特徴点座標データ」の隣接する「特徴点」の相対座標を比較し、周知の三角マッチング法により、「作業対象物」と「マニュアルファイル」の「特徴点座標データ」から認識される形状が、一致するか否かを判断しても差し支えない。
なお、三角マッチング法では、下記の方法により比較する「特徴点」を算出する。
１．関連認識プログラム１２ｇが、「特徴点座標データ」及び「作業対象物」の「特徴点」において、すべての可能な三角形の組を選ぶ。
２．関連認識プログラム１２ｇが、三辺a,b,c (a≧b≧c) よりx=b/a, y=c/a を求め、x-y 平面上にプロットする。
３．関連認識プログラム１２ｇが、x-y平面上の位置から、対応する特徴点を決定する。
このような、三角マッチング法によれば、「作業対象物」とユーザーとの位置関係（距離、向き）によって、作業対象物の特徴点の位置が変化し、座標系が異なっても（シフト、拡大／縮小、回転で「作業対象物」が変形していても）、「作業対象物」と相似なパターンを同定することが可能となる。
関連認識プログラム１２ｇが、「特徴点座標」の一致率が一定以上の「特徴点座標データ」があると判断した場合には（Ｓ２１５の判断処理がＹＥＳ）、撮像された「作業対象物」と比較した「マニュアルファイル」とが関連性があると認識し、前記「作業対象物」と前記「マニュアルファイル」との「紐付け情報」を、紐付け情報記憶領域１１ｃに記憶し、Ｓ２１７の判断処理に進む。一方で、関連認識プログラム１２ｇが、「特徴点座標」の一致率が一定以上の「特徴点座標データ」がないと判断した場合には（Ｓ２１５の判断処理がＮＯ）、Ｓ２１３の処理に戻る。
【００６６】
Ｓ２１７「新たな作業対象物を認識」の判断処理において、関連画像認識プログラム１２ｇは、紐付け情報記憶領域１１ｃに記憶されている「紐付け情報」を参照することにより、Ｓ２１５の処理で認識された「作業対象物」が、新たに認識された「作業対象物」であるか否かを判断する。関連画像認識プログラム１２ｇが、Ｓ２１５の処理で認識された「作業対象物」が、新たに認識された「作業対象物」であると判断した場合には（Ｓ２１７の判断処理がＹＥＳ）、Ｓ２１８の処理に進む。一方で、関連画像認識プログラム１２ｇが、Ｓ２１５の処理で認識された「作業対象物」が、新たに認識された「作業対象物」でないと判断した場合には（Ｓ２１７の判断処理がＮＯ）、Ｓ２１３の処理に戻る
【００６７】
Ｓ２１８「新たに認識された作業対象物に対応するマニュアルを表示」の処理において、マニュアルファイル取得プログラム１２ａは、紐付け情報記憶領域１１ｃに記憶されている「紐付け情報」を参照することにより、Ｓ２１５の処理で新たに認識された「作業対象物」に対応する「マニュアルファイル」の「画像データ」を取得する。次に、画像生成プログラム１２ｂは、マニュアルファイル取得プログラム１２ａが取得した「マニュアルファイル」から、「表示画像データ」を生成する描画命令を、画像生成部用コントローラ１６に出力する。生成された「表示画像データ」は、「画像信号」として画像生成部５２に出力されて、画像生成部５２でマニュアル７０１が表示される（図８に示す）。Ｓ２１８の処理が終了すると、Ｓ２２１の判断処理に進む。
【００６８】
以下、第２の実施形態の「連続動画生成処理」のS２２１、S２２２、S２２３、Ｓ２２４、Ｓ２２５、Ｓ２２６、Ｓ２２７、Ｓ２２８、Ｓ２２９、Ｓ２３１、Ｓ２３２、Ｓ２３３、Ｓ２３４、Ｓ２３５、Ｓ２３６、Ｓ２３７の処理は、それぞれ、第１の実施形態の「連測動画生成処理」のS１２１、S１２２、S１２３、Ｓ１２４、Ｓ１２５、Ｓ１２６、Ｓ１２７、Ｓ１２８、Ｓ１２９、Ｓ１３１、Ｓ１３２、Ｓ１３３、Ｓ１３４、Ｓ１３５、Ｓ１３６、Ｓ１３７の処理と同一の処理である。
なお、Ｓ２３１「撮像終了？」の判断処理において、ＣＰＵ１０が、「撮像終了信号」を受信していないと判断した場合には（Ｓ２３１の判断処理がＮＯ）、Ｓ２１３の判断処理に戻る。
また、Ｓ２３６「撮り直し？」の判断処理において、ＣＰＵ１０が、「撮り直し指示信号」を受信した場合には（Ｓ２３６の判断処理がＹＥＳ）、Ｓ２１３の判断処理に戻る。
【００６９】
このように第２の実施形態では、ユーザーの視界方向にある「作業対象物」が自動的に認識され、当該認識された「作業対象物」に対応する「マニュアルファイル」が画像生成部５２で表示されるとともに、当該「マニュアルファイル」に対応する「単位動画」が順次生成されるようになっている。
【００７０】
（第３の実施形態の概要）
図９に第３の実施形態の概要図を示して、以下に、第１の実施形態と異なる点について、第３に実施形態のヘッドマウントディスプレイ３００を説明する。第３の実施形態では、図９に示されるように、マニュアル７０１〜７０４が画像生成部５２で表示されると、「撮像動画」が連続的に生成されるとともに、マニュアル７０１〜７０４が切り替わる度に、「開始ポイント」及び「終了ポイント」が記憶される。そして、前記「開始ポイント」及び「終了ポイント」に基づいて、連続的に生成された「撮像動画」から、各マニュアル７０１〜７０４に対応する「単位動画」が生成され、これら「単位動画」が繋ぎ合わされて、１まとまりの「連続動画」が生成される。図９に示される実施形態では、マニュアル７０２に対応する「単位動画」として、単位動画Ｂ２を採用しているので、単位動画Ｂ１は、実際には生成されない。以下、このような機能を実現するヘッドマウントディスプレイ３００の構成について、詳細に説明する。
（第３の実施形態のヘッドマウントディスプレイのブロック図）
【００７１】
図１０を用いて、第１の実施形態と異なる点について、第３の実施形態のヘッドマウントディスプレイ３００のブロック図を説明する。第３の実施形態では、補助記憶装置１３は、撮像動画記憶領域１３ｅ、開始終了ポイント記憶領域１３ｆを、更に有している。なお、第３の実施形態では、単位動画記憶領域１３ｂ及び予備単位動画記憶領域１３ｃは必須ではない。
撮像動画記憶領域１３ｅには、撮像部用コントローラ１４で生成された「撮像動画」が記憶される。なお、画像生成部５２で表示される「マニュアルファイル」が切り替わったとしても、連続的に「撮像動画」が撮像動画記憶領域１３ｅに記憶されるようになっている。
開始終了ポイント記憶領域１３ｆには、「マニュアルファイル」と、この「マニュアルファイル」と対応付けられた「開始ポイント」、「終了ポイント」及び「優先度」が記憶された「開始終了ポイントファイル」（図１２に示す）が記憶される。
【００７２】
第３の実施形態では、ＲＡＭ１１は、生成された「単位動画」が一時的に記憶される単位動画記憶領域１１ｄを有している。
第３の実施形態では、ＲＯＭ１２には、ポイント記憶プログラム１２ｈが記憶されている。ポイント記憶プログラム１２ｈは、「マニュアルファイル」の画像生成部５２での表示が開始された時間を、前記「マニュアルファイル」に対応する「開始ポイント」の欄に記憶させる。また、ポイント記憶プログラム１２ｈは、画像生成部５２で表示されている「マニュアルファイル」の表示が終了した時間を、前記「マニュアルファイル」に対応する「終了ポイント」の欄に記憶させる。具体的には、ポイント記憶プログラム１２ｈは、ユーザーが操作部２１を操作することにより、画像生成部５２で表示される「マニュアルファイル」を切り替える際に出力される「操作信号」を読み取り、「マニュアルファイル」に対応する「開始ポイント」及び「終了ポイント」の時間を認識する。
第３の実施形態では、単位動画差替プログラム１２ｄは必須ではない。
【００７３】
第３の実施形態では、単位動画生成プログラム１２ｃは、開始終了ポイント記憶領域１３ｆに記憶されている「開始終了ポイントファイル」の「開始ポイント」及び「終了ポイント」を参照することにより、「撮像動画」の開始時期及び終了時期を認識して、各「マニュアルファイル」に対応する「単位動画」を生成する。生成された「単位動画」は、一時的にＲＡＭ１１の単位動画記憶領域１１ｄに記憶される。
【００７４】
（第３の実施形態の連続動画生成処理のフローの説明）
図１１を参照して、以下に、第３の実施形態の「連続動画生成処理」のフローの説明をする。ユーザーが操作部２１を操作することにより、ヘッドマウントディスプレイ３００に電源が投入されると、Ｓ３１１の判断処理に進む。
Ｓ３１１「マニュアル表示操作有り？」の処理において、マニュアルファイル取得プログラム１２ａが、ユーザーが操作部２１を操作することにより、画像生成部５２で「マニュアルファイル」を表示させる「操作信号」を検知した場合には（Ｓ３１１の判断処理がＹＥＳ）、Ｓ３１２の処理に進む。この際に、ポイント記憶プログラム１２ｈは、前記「検知信号」を読み取ることにより、画像生成部５２で表示される「マニュアルファイル」の「開始ポイント」の時間を認識する。
【００７５】
Ｓ３１２「マニュアルを表示」の処理において、マニュアルファイル取得プログラム１２ａは、Ｓ３１１の判断処理で検知した「操作信号」に基づいて、マニュアルファイル記憶領域１３ａに記憶されている「マニュアルファイル」を取得する。次に、画像生成プログラム１２ｂは、マニュアルファイル取得プログラム１２ａが取得した「マニュアルファイル」から、「表示画像データ」を生成する描画命令を、画像生成部用コントローラ１６に出力する。生成された「表示画像データ」は、「画像信号」として画像生成部５２に出力されて、画像生成部５２で「マニュアル」が表示される。Ｓ３１２の処理が終了すると、Ｓ３１３の処理に進む。
【００７６】
Ｓ３１３「撮像開始」の処理において、ＣＰＵ１０は、撮像部用コントローラ１４に、撮像部５３で撮像を開始させる命令を出力する。撮像部用コントローラ１４は「撮像動画」を生成し、撮像部用ＶＲＡＭ１５に記憶させる。撮像部用ＶＲＡＭ１５に記憶された「撮像動画」は、順次、撮像動画記憶領域１３ｅに記憶される。Ｓ３１３の処理が終了すると、Ｓ３１４の判断処理に進む。
【００７７】
Ｓ３１４「マニュアル変更操作有り？」の判断処理において、マニュアルファイル取得プログラム１２ａは、ユーザーの操作部２１の入力操作により「操作信号」が出力されたか否かを判断し、画像生成部５２で表示される「マニュアルファイル」の変更操作があったか否かを判断する。マニュアルファイル取得プログラム１２ａが、画像生成部５２で表示される「マニュアルファイル」の変更操作があったと判断した場合には（Ｓ３１４の判断処理がＹＥＳ）、画像生成プログラム１２ｂは、ユーザーが選択した「マニュアルファイル」から、「表示画像データ」を生成する描画命令を、画像生成部用コントローラ１６に出力し、Ｓ３２２の判断処理に処理が移行される。この際に、ポイント記憶プログラム１２ｈは、前記「操作信号」を読み取ることにより、今まで画像生成部５２で表示されていた「マニュアルファイル」の「終了ポイント」の時間及び、変更後に画像生成部５２で表示される「マニュアルファイル」の「開始ポイント」の時間を認識する。
【００７８】
Ｓ３２２「変更前のマニュアルに対応する開始ポイント及び終了ポイントを記憶」の処理において、ポイント記憶プログラム１２ｈは、「開始ポイント」及び「終了ポイント」を変更前の「マニュアルファイル」に対応させて、開始終了ポイント記憶領域１３ｆに記憶されている「開始終了ポイントファイル」に更新記憶させる。Ｓ３２２の処理が終了すると、Ｓ３２３の判断処理に進む。
【００７９】
Ｓ３２３「変更前のマニュアルに対応する開始ポイント及び終了ポイントが記憶されているか？」の判断処理において、ＣＰＵ１０は、開始終了ポイント記憶領域１３ｆを参照することにより、変更前の「マニュアルファイル」に対応する「開始ポイント」及び「終了ポイント」が既に「開始終了ポイントファイル」に記憶されているか否かを判断する。ＣＰＵ１０が、変更前の「マニュアルファイル」に対応する「開始ポイント」及び「終了ポイント」が既に「開始終了ポイントファイル」に記憶されていると判断した場合には（Ｓ３２３の判断処理がＹＥＳ）、Ｓ３２４の判断処理に進む。一方で、ＣＰＵ１０が、変更前の「マニュアルファイル」に対応する「開始ポイント」及び「終了ポイント」が「開始終了ポイントファイル」に記憶されていない判断した場合には（Ｓ３２３の判断処理がＮＯ）、Ｓ３３１の判断処理に進む。
【００８０】
Ｓ３２４「既に記憶されている開始ポイントから終了ポイントまでの時間よりも長いか？」の判断処理において、ＣＰＵ１０は、変更前の「マニュアルファイル」に対応する「開始ポイント」から「終了ポイント」までの時間が、同一の「マニュアルファイル」について、既に「開始終了ポイントファイル」に記憶されている「開始ポイント」から「終了ポイント」までの時間よりも長いか否かを判断する。ＣＰＵ１０が、変更前の「マニュアルファイル」に対応する「開始ポイント」から「終了ポイント」までの時間が、同一の「マニュアルファイル」について、既に「開始終了ポイントファイル」に記憶されている「開始ポイント」から「終了ポイント」までの時間よりも長いと判断した場合には（Ｓ３２４の判断処理がＹＥＳ）、Ｓ３２７の処理に進む。一方で、ＣＰＵ１０が、変更前の「マニュアルファイル」に対応する「開始ポイント」から「終了ポイント」までの時間が、同一の「マニュアルファイル」について、既に「開始終了ポイントファイル」に記憶されている「開始ポイント」から「終了ポイント」までの時間よりも短いと判断した場合には（Ｓ３２４の判断処理がＮＯ）、Ｓ３２５の処理に進む。
【００８１】
Ｓ３２５「差替通知を表示」の処理において、ＣＰＵ１０は、画像生成部５２で「差替通知」を表示させる描画命令を、画像生成部用コントローラ１６に出力する。Ｓ３２５の処理が終了すると、Ｓ３２６の判断処理に進む。
【００８２】
Ｓ３２６「差替指示信号を受信？」の判断処理において、ＣＰＵ１０は、「差替指示信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、ＣＰＵ１０が、「差替指示信号」を、受信したと判断した場合には（Ｓ３２６の判断処理がＹＥＳ）、Ｓ３２７の処理に進む。一方で、ＣＰＵ１０が、「差替指示信号」を、所定時間（数秒）の有効期間内に受信していないと判断した場合には（Ｓ３２６の判断処理がＮＯ）、Ｓ３３１の処理に進む。
【００８３】
Ｓ３２７「変更前のマニュアルに対応する開始ポイント及び終了ポイントの優先度を上げる」の処理において、ポイント記憶プログラム１２ｈは、Ｓ３２２の処理で更新記憶された、変更前の「マニュアルファイル」に対応する「優先度」を上げて「開始終了ポイントファイル」に更新記憶させる。Ｓ３２７の処理が終了すると、Ｓ３３１の判断処理に進む。
【００８４】
Ｓ３３１「撮像終了？」の判断処理において、ＣＰＵ１０は、「撮像終了信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、ＣＰＵ１０が、「撮像終了信号」を受信したと判断した場合には（Ｓ３３１の判断処理がＹＥＳ）、Ｓ３３２の処理に進む。一方で、ＣＰＵ１０が、「撮像終了信号」を受信していないと判断した場合には（Ｓ３３１の判断処理がＮＯ）、Ｓ３１４の判断処理に戻る。
【００８５】
Ｓ３３２「撮像終了」の処理において、ＣＰＵ１０は、撮像部用コントローラ１４に、撮像部５３での撮像を中止させる命令を出力する。Ｓ３３２の処理が終了すると、Ｓ３３３の処理に進む。
【００８６】
Ｓ３３３「連続動画生成」の処理において、単位動画生成プログラム１２ｂは、開始終了ポイント記憶領域１３ｆに記憶されている「開始終了ポイントファイル」を参照することにより、各「マニュアルファイル」に対応する「開始ポイント」及び「終了ポイント」を認識することにより、撮像動画記憶領域１３ｅに記憶されている「撮像動画」から前記各「マニュアルファイル」に対応する「単位動画」を生成し、ＲＡＭ１１の単位動画記憶領域１１ｄに記憶させる。なお、単位動画生成プログラム１２ｂは、図９に示されるように、所定時間（数秒）以下の「単位動画」は生成しない。これは、Ｓ３１４の判断処理において、ユーザーが操作部２１を操作することにより、画像生成部５２で表示させたい「マニュアルファイル」を検索している場合には、「単位動画」として生成する必要がないからである。また、同一の「マニュアルファイル」について、複数の「開始ポイント」及び「終了ポイント」が「開始終了ポイントファイル」に記憶されている場合には、単位動画生成プログラム１２ｂは、「優先度」が一番高い「開始ポイント」及び「終了ポイント」を認識し、当該「開始ポイント」及び「終了ポイント」に基づいて、「単位動画」を生成する。
そして、連続動画生成プログラム１２ｅは、単位動画記憶領域１１ｄに記憶されている各「単位動画」を、繋ぎ合わせて、１まとまりの（１ファイルの）「連続動画」を生成し（図９に示す）、連続動画記憶領域１３ｄに記憶させる。Ｓ３３３の処理が終了すると、Ｓ３３４の判断処理に進む。
【００８７】
Ｓ３３４「連続動画再生？」の判断処理において、ＣＰＵ１０は、「連続動画再生信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、ＣＰＵ１０が、「連続動画再生信号」を受信したと判断した場合には（Ｓ３３４の判断処理がＹＥＳ）、Ｓ１３５の処理に進む。一方で、ＣＰＵ１０が、「連続動画再生信号」を受信していないと判断した場合には（Ｓ３３４の判断処理がＮＯ）、Ｓ３３６の判断処理に戻る。
【００８８】
Ｓ３３５「連続動画再生」の処理において、連続動画再生プログラム１２ｆは、連続動画記憶領域１３ｄに記憶されている「連続動画」と、この「連続動画」を構成する「単位動画」に対応する「マニュアルファイル」を、並列させて画像生成部５２で表示させる描画命令を、画像生成部用コントローラ１６に出力する。ユーザーは、画像生成部５２で並列表示される「連続動画」と、「マニュアルファイル」を同時に見ることにより、完成した「連続動画」の出来映えを確認することができる。Ｓ３３５の処理が終了すると、Ｓ３３６の判断処理に進む。
【００８９】
Ｓ３３６「撮り直し？」の判断処理において、ＣＰＵ１０は、「撮り直し指示信号」を、周辺インターフェース１９を介して受信したか否かを判断する。ユーザーが操作部２１を操作することにより、ＣＰＵ１０が、「撮り直し指示信号」を受信したと判断した場合には（Ｓ３３６の判断処理がＹＥＳ）、Ｓ３１４の判断処理に戻る。一方で、ＣＰＵ１０が、「撮り直し指示信号」を受信していないと判断した場合には（Ｓ３３６の判断処理がＮＯ）、Ｓ３３７の処理に進む。
【００９０】
Ｓ３３７「連続動画をコンピュータ装置に出力」の処理において、連続動画記憶領域１３ｄに記憶された「連続動画」は、外部接続インターフェース１８を介して、コンピュータ装置９９９に出力される。Ｓ３３７の処理が終了すると、「連続動画生成処理」が終了し、ヘッドマウントディスプレイ３００の電源が遮断される。
【００９１】
以上説明した第３の実施形態の技術的思想と、第２の実施形態の技術的思想を組み合わせることが可能なことは言うまでもない。
【００９２】
（総括）
以上説明した実施形態では、ヘッドマウントディスプレイ１００〜３００は、頭部装着部５０と制御部３１〜３３とからなる２体構造であるが、１体構造としたヘッドマウントディスプレイであっても差し支えない。
以上説明した実施形態では、「マニュアルファイル」は、補助記憶装置１３のマニュアルファイル記憶領域１３ａに記憶されているが、「マニュアルファイル」をコンピュータ装置９９９等の外部に記憶させておき、「マニュアルファイル」を、外部接続インターフェース１８を介して取得することにしても差し支えない。
以上説明した実施形態では、「マニュアルファイル」と対応付けられた「単位動画」から「連続動画」が生成され、当該「連続動画」がコンピュータ装置９９９に出力されるが、再生順序が指定された状態で、前記「単位動画」がコンピュータ装置９９９に出力されるようにしても差し支えない。
以上説明した実施形態では、画像生成部５２で「マニュアルファイル」が表示され、当該「マニュアルファイル」と相互に対応付けられた「単位動画」から「連続動画」が生成されるが、画像生成部５２で表示される画像は「マニュアルファイル」に限定されず、所謂ビジネスソフトの「文書ファイル」、「静止画像ファイル」、「動画像ファイル」、或いは、複数のページからなる前記「文書ファイル」、「静止画像ファイル」、「動画像ファイル」等の「単位表示画像データ」であっても差し支えなく、「単位表示画像」と相互に対応付けられた「単位動画」から「連続動画」が生成される実施形態であっても差し支えない。「単位表示画像データ」が複数のページから構成されている場合には、ページが切り替わる度に「単位動画」が生成されるように構成にしても差し支えない。
【００９３】
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うヘッドマウントディスプレイもまた技術的範囲に包含されるものとして理解されなければならない。
【符号の説明】
【００９４】
９ バス
１０ ＣＰＵ
１１ ＲＡＭ
１１ａ 撮像データ特徴点座標記憶領域（第２の実施形態）
１１ｂ マニュアルファイル特徴点座標記憶領域（第２の実施形態）
１１ｃ 紐付け情報記憶領域（第２の実施形態）
１１ｄ 単位動画記憶領域（第３の実施形態）
１２ ＲＯＭ
１２ａ マニュアルファイル取得プログラム
１２ｂ 画像生成プログラム
１２ｃ 単位動画生成プログラム
１２ｄ 単位動画差替プログラム
１２ｅ 連続動画生成プログラム
１２ｆ 連続動画再生プログラム
１２ｇ 関連認識プログラム（第２の実施形態）
１２ｈ ポイント記憶プログラム（第３の実施形態）
１３ 補助記憶装置
１３ａ マニュアルファイル記憶領域
１３ｂ 単位動画記憶領域
１３ｃ 予備単位動画記憶領域
１３ｄ 連続動画記憶領域
１３ｅ 撮像動画記憶領域（第３の実施形態）
１３ｆ 開始終了ポイント記憶領域（第３の実施形態）
１４ 撮像部用コントローラ
１５ 撮像部用ＶＲＡＭ
１６ 画像生成部用コントローラ
１７ 画像生成部用ＶＲＡＭ
１８ 外部接続インターフェース
１９ 周辺インターフェース
２１ 操作部
２２ 電源ランプ
３１ 制御部（第１の実施形態）
３２ 制御部（第２の実施形態）
３３ 制御部（第３の実施形態）
５０ ヘッドマウントディスプレイ部
５１ 頭部装着部
５２ 画像生成部
５３ 撮像部
１００ 第１の実施形態のヘッドマウントディスプレイ
２００ 第２の実施形態のヘッドマウントディスプレイ
３００ 第３の実施形態のヘッドマウントディスプレイ
７０１〜７０４ マニュアル
８０１ 作業対象物
８５０ 特徴点
９９９ コンピュータ装置
【特許請求の範囲】
【請求項１】
ユーザーの頭部に装着され、ユーザーに画像を視認させる画像生成部と、
前記画像生成部で表示する単位表示画像データを取得する単位表示画像データ取得手段と、
ユーザーの視界方向を撮像し、撮像動画を生成する撮像手段と、
前記撮像手段が生成した撮像動画から、前記画像生成部で表示される単位表示画像毎に、前記単位表示画像と対応付けられた単位動画を生成する単位動画生成手段と、
１の単位動画と対応する同一の単位表示画像と対応付けられた他の単位動画が生成された場合に、前記１の単位動画を前記他の単位動画に差し替えるか否かの判断を行い、差し替えると判断した場合に、前記１の単位動画を前記他の単位動画と差し替え、これら差し替えた単位動画を１まとまりの連続動画として生成する連続動画生成手段と、
を有することを特徴とするヘッドマウントディスプレイ。
【請求項２】
単位動画生成手段は、撮像時間が所定時間以上である場合に限り、単位動画を生成することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
ユーザーからの操作を受け付ける操作部を更に備え、
連続動画生成手段は、単位動画を差し替えるか否かの判断を、前記操作部へのユーザーの操作により決定することを特徴とする請求項１又は請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
連続動画生成手段によって前記他の単位動画に差し替えた前記１の単位動画を記憶する予備単位動画記憶手段を更に有することを特徴とする請求項１〜請求項３のいずれかに記載のヘッドマウントディスプレイ。
【請求項５】
連続動画生成手段は、前記他の単位動画の撮像時間が前記１の単位動画の撮像時間よりも長い場合、前記１の単位動画を前記他の単位動画に差し替えることを特徴とする請求項１〜請求項４のいずれかに記載のヘッドマウントディスプレイ。
【請求項６】
単位動画生成手段は、
画像生成部によって表示される単位表示画像が変更された時に、新たな単位動画を生成することを特徴とする請求項１〜請求項５のいずれかに記載のヘッドマウントディスプレイ。
【請求項７】
撮像動画と画像生成部で表示される単位表示画像との関連性を認識する関連認識手段を更に備え、
単位表示画像データ取得手段は、前記関連認識手段が認識した撮像動画と関連性のある単位表示画像データを取得し、
画像生成部は、前記取得された単位表示画像データを表示し、
単位動画生成手段は、
前記関連認識手段が前記関連性を認識した時に、新たな単位動画を生成し、
前記関連認識手段が前記関連性の消滅を認識した時に、前記新たな単位動画の生成を終了することを特徴とする請求項１〜請求項５のいずれかに記載のヘッドマウントディスプレイ。
【請求項８】
連続動画と、連続動画を構成する単位動画に対応する単位表示画像を、画像生成部で表示させる連続動画再生手段を更に有することを特徴とする請求項１〜請求項７のいずれかに記載のヘッドマウントディスプレイ。
【請求項１】
ユーザーの頭部に装着され、ユーザーに画像を視認させる画像生成部と、
前記画像生成部で表示する単位表示画像データを取得する単位表示画像データ取得手段と、
ユーザーの視界方向を撮像し、撮像動画を生成する撮像手段と、
前記撮像手段が生成した撮像動画から、前記画像生成部で表示される単位表示画像毎に、前記単位表示画像と対応付けられた単位動画を生成する単位動画生成手段と、
１の単位動画と対応する同一の単位表示画像と対応付けられた他の単位動画が生成された場合に、前記１の単位動画を前記他の単位動画に差し替えるか否かの判断を行い、差し替えると判断した場合に、前記１の単位動画を前記他の単位動画と差し替え、これら差し替えた単位動画を１まとまりの連続動画として生成する連続動画生成手段と、
を有することを特徴とするヘッドマウントディスプレイ。
【請求項２】
単位動画生成手段は、撮像時間が所定時間以上である場合に限り、単位動画を生成することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
ユーザーからの操作を受け付ける操作部を更に備え、
連続動画生成手段は、単位動画を差し替えるか否かの判断を、前記操作部へのユーザーの操作により決定することを特徴とする請求項１又は請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
連続動画生成手段によって前記他の単位動画に差し替えた前記１の単位動画を記憶する予備単位動画記憶手段を更に有することを特徴とする請求項１〜請求項３のいずれかに記載のヘッドマウントディスプレイ。
【請求項５】
連続動画生成手段は、前記他の単位動画の撮像時間が前記１の単位動画の撮像時間よりも長い場合、前記１の単位動画を前記他の単位動画に差し替えることを特徴とする請求項１〜請求項４のいずれかに記載のヘッドマウントディスプレイ。
【請求項６】
単位動画生成手段は、
画像生成部によって表示される単位表示画像が変更された時に、新たな単位動画を生成することを特徴とする請求項１〜請求項５のいずれかに記載のヘッドマウントディスプレイ。
【請求項７】
撮像動画と画像生成部で表示される単位表示画像との関連性を認識する関連認識手段を更に備え、
単位表示画像データ取得手段は、前記関連認識手段が認識した撮像動画と関連性のある単位表示画像データを取得し、
画像生成部は、前記取得された単位表示画像データを表示し、
単位動画生成手段は、
前記関連認識手段が前記関連性を認識した時に、新たな単位動画を生成し、
前記関連認識手段が前記関連性の消滅を認識した時に、前記新たな単位動画の生成を終了することを特徴とする請求項１〜請求項５のいずれかに記載のヘッドマウントディスプレイ。
【請求項８】
連続動画と、連続動画を構成する単位動画に対応する単位表示画像を、画像生成部で表示させる連続動画再生手段を更に有することを特徴とする請求項１〜請求項７のいずれかに記載のヘッドマウントディスプレイ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１１８５３０（Ｐ２０１１−１１８５３０Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７３６１２（Ｐ２００９−２７３６１２）
【出願日】平成２１年１２月１日（２００９．１２．１）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月１日（２００９．１２．１）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]