情報入力装置
【課題】ＨＭＤを用いた情報入力装置において、仮想表示された映像に、容易に、且つ正確に情報を入力することが可能な情報入力装置を提供する。
【解決手段】頭部や顔面に装着され映像を表示し外界をシースルー可能な表示手段と、映像が仮想表示される仮想表示枠と、仮想表示された映像に情報を入力するポインターと、を備えた情報入力装置であって、仮想表示枠の位置およびポインターの位置を検出する位置検出手段と、位置検出手段で検出されたポインターの位置の軌跡を映像に合成する合成手段と、位置検出手段で検出された仮想表示枠の位置に応じて映像が仮想表示される位置を制御する表示位置制御手段と、を備える。
【解決手段】頭部や顔面に装着され映像を表示し外界をシースルー可能な表示手段と、映像が仮想表示される仮想表示枠と、仮想表示された映像に情報を入力するポインターと、を備えた情報入力装置であって、仮想表示枠の位置およびポインターの位置を検出する位置検出手段と、位置検出手段で検出されたポインターの位置の軌跡を映像に合成する合成手段と、位置検出手段で検出された仮想表示枠の位置に応じて映像が仮想表示される位置を制御する表示位置制御手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報入力装置に関し、特に頭部装着式映像表示装置を用いた情報入力装置に関する。
【背景技術】
【０００２】
従来、ＶＲ（Ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ：仮想現実）の分野においては、頭部装着式映像表示装置、すなわちＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）を用いた情報入力装置が知られている。
【０００３】
情報入力装置は、ＨＭＤによって仮想表示されたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等に対して、例えばタッチパネルやポインター等の入力装置を用いて、文字等の情報を入力することができるようになされている。これにより現実世界における操作と同様の操作で仮想現実の世界において所望の情報を入力することが可能となる。そして、近年このような情報入力装置が種々提案されている。
【０００４】
例えば、情報入力を行う指の位置を３次元座標測定装置を用いて検出し、検出した座標に基づいて仮想表示された映像に情報入力を行う様にした情報入力装置の技術（特許文献１参照）、また、入力装置にタッチパネルを用い、タッチパネルの位置を検出する為にタッチパネルの周縁に複数の光源を設け、各光源を異なる点滅パターンで点滅制御することにより、タッチパネルを流し撮りした場合においても光源の位置、すなわちタッチパネルの位置を容易に検出することができる様にした情報入力装置の技術（特許文献２参照）が知られている。
【特許文献１】特開平７−５９７８号公報
【特許文献２】特開２０００−１７２４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている情報入力装置においては、情報入力を行う指の位置を３次元座標測定装置を用いて検出する様にしているので、装置の複雑化と高価格化を招く恐れがあり、また、高い精度で指の位置を検出することは困難なものと考えられる。また、特許文献２に開示されている情報入力装置においては、入力装置としてのタッチパネルや、タッチパネルの位置を検出する為にタッチパネルの周縁に設けられた複数の光源を異なる点滅パターンで点滅制御を行う点滅制御装置を必要とする。したがって、装置の複雑化と高価格化を招く恐れがある。また、ＨＭＤは外界をシースルー不能であり、装着者の頭の動きといっしょに仮想表示された映像も移動することから、現実世界と仮想世界との位置にずれが生じる。これにより適切な位置に情報を入力することができなくなる。
【０００６】
本発明は、上記課題を鑑みてなされたもので、ＨＭＤを用いた情報入力装置において、装置の複雑化と高価格化を招くことなく、仮想表示された映像に、容易に、且つ正確に情報を入力することが可能な情報入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的は、下記の１乃至９のいずれか１項に記載の発明によって達成される。
【０００８】
１．頭部や顔面に装着され映像を表示し外界をシースルー可能な表示手段と、前記映像が仮想表示される仮想表示枠と、仮想表示された前記映像に情報を入力するポインターと、を備えた情報入力装置であって、
前記仮想表示枠の位置および前記ポインターの位置を検出する位置検出手段と、
前記位置検出手段で検出された前記ポインターの位置の軌跡を前記映像に合成する合成手段と、
前記位置検出手段で検出された前記仮想表示枠の位置に応じて前記映像が仮想表示される位置を制御する表示位置制御手段と、を有することを特徴とする情報入力装置。
【０００９】
２．前記位置検出手段は、外界を撮影しズーム機能を備えたカメラユニットを有することを特徴とする前記１に記載の情報入力装置。
【００１０】
３．前記位置検出手段は、前記カメラユニットで撮影された映像のコントラストに基づいて前記仮想表示枠の位置および前記ポインターの位置を検出することを特徴とする前記１または２に記載の情報入力装置。
【００１１】
４．前記仮想表示枠は、その面上に枠が設けられたシートであり、
前記枠と前記シートの光の反射率は異なることを特徴とする前記１乃至３のいずれか１項に記載の情報入力装置。
【００１２】
５．前記合成手段は、前記位置検出手段で検出された前記仮想表示枠の位置に基づいて、所定の映像や情報を前記表示手段に出力することを特徴とする前記１乃至４のいずれか１項に記載の情報入力装置。
【００１３】
６．前記ポインターは、ペン型形状に形成されていることを特徴とする前記１に記載の情報入力装置。
【００１４】
７．前記ポインターは、一方の端に光源を備え、
前記光源が対象物に加圧接触されると該光源は点灯することを特徴とする前記６に記載の情報入力装置。
【００１５】
８．前記合成手段で前記ポインターの位置の軌跡を前記映像に合成する入力モードと前記映像に合成された前記ポインターの位置の軌跡の全てを消去する全消去モードとその一部を消去する部分消去モードのいずれかを選択するモード切替えスイッチを有することを特徴とする前記１乃至７のいずれか１項に記載の情報入力装置。
【００１６】
９．前記モード切替えスイッチによって、前記部分消去モードが選択されている場合、前記合成手段によって前記映像に合成され前記仮想表示枠に仮想表示された前記ポインターの位置の軌跡を前記ポインターでトレースすることにより、該軌跡のトレースされた部位が消去されることを特徴とする前記１乃至８のいずれか１項に記載の情報入力装置。
【発明の効果】
【００１７】
本発明によれば、表示位置制御手段は、位置検出手段で検出された仮想表示枠の位置に応じて映像が仮想表示される位置を制御する様にした。すなわち、装着者が頭部を動かすことにより、仮想表示枠の位置と仮想表示される映像の位置にずれが生じた場合においても、表示位置制御手段は、位置検出手段で検出された仮想表示枠の位置に応じて映像が仮想表示される位置を移動させることができる。したがって、装着者の頭部の移動に影響されることなく、仮想表示枠の位置と仮想表示される映像の位置を一致させることができる。これにより、現実世界と仮想世界との位置のずれがなくなり、装着者は、仮想表示された映像に、容易に、且つ正確に情報を入力することができる。
【００１８】
また、位置検出手段は、外界を撮影しズーム機能を備えたカメラユニットを備える様にした。したがって、カメラユニットで撮影された映像データに基づいて仮想表示枠の位置およびポインターの位置を容易に検出することができる。また、装着者の頭部の位置と仮想表示枠の距離に係らず光学ズームや電子ズーム等のズーム機能により、シースルーで観察できる仮想表示枠の大きさと仮想表示枠をカメラユニットで撮影し仮想表示する映像表示枠の大きさを一致させることができる。
【００１９】
また、位置検出手段は、カメラユニットで撮影された映像のコントラストに基づいて仮想表示枠の位置およびポインターの位置を検出する様にした。したがって、高い精度で容易に対象物を検出することができる。
【００２０】
また、仮想表示枠の枠とシートの光の反射率は異なる様にしたので、コントラストを設けることができる。
【００２１】
また、合成手段は、前記位置検出手段で検出された仮想表示枠の位置に基づいて、所定の映像や情報を表示手段に出力する様にした。したがって、例えば、位置検出手段が仮想表示枠を検出した場合、仮想表示される映像表示枠を点滅させたり、ズーミングによりシースルーで観察できる仮想表示枠の大きさに仮想表示枠をカメラユニットで撮影し仮想表示する映像表示枠の大きさが一致した場合、仮想表示される映像表示枠を点灯させたりすることにより、装着者は容易に撮影画角を最適化することができる。また、シースルーで観察できる仮想表示枠がカメラユニットの撮影画角からはみ出した場合、警告を表示させることにより、装着者は撮影画角の調整が不適切であり、位置検出精度が低下することを認知することができる。
【００２２】
また、ポインターは、ペン型形状に形成されているので、容易に保持することができ操作性に優れている。
【００２３】
また、ポインターの光源は、対象物に加圧接触されると点灯する様にした。すなわち、情報入力動作を行わずポインターが対象物に接触していない場合は、光源を点灯させない様にしているので、位置検出手段は、ポインターの位置を検出することなく誤入力を防止することができる。
【００２４】
また、入力モード、全消去モード、部分消去モードのいずれかを選択するモード切替えスイッチを備える様にした。したがって、装着者は、目的に応じて所望の動作モードを選択することができる。
【００２５】
また、部分消去モードが選択されている場合、仮想表示されたポインターの位置の軌跡をポインターでトレースすることにより、該軌跡のトレースされた部位が消去される様にした。したがって、装着者は目的に応じて所望の情報のみを容易に消去することができる。
【発明を実施するための最良の形態】
【００２６】
以下図面に基づいて、本発明に係る情報入力装置の実施の形態を説明する。
【００２７】
最初に、情報入力装置１の構成を図１を用いて説明する。図１は、本発明に係る情報入力装置１の全体構成の概要を示す図である。
【００２８】
情報入力装置１は、図１に示す様に、ＨＭＤ２、制御ユニット３、仮想表示シート４、及びポインター５等を有し、ＨＭＤ２に設けられた後述の表示ユニット２５に表示され仮想表示シート４に仮想表示された映像に、ポインター５を用いて文字等の情報を入力するものである。
【００２９】
最初に、ＨＭＤ２の外観を説明する。ＨＭＤ２は、使用者の眼球の近傍に配置されて使用される頭部装着式映像表示装置であり、図１に示す様に、テンプル２１Ｒ，２１Ｌ、ブリッジ２２、鼻当て２３Ｒ，２３Ｌ、透明基板２４Ｒ，２４Ｌ、表示ユニット２５（ＬＣＤ表示部２６、接眼光学系２７）、カメラユニット２８、及びイヤホン２９Ｒ、２９Ｌ等を有している。ＨＭＤ２は、制御ユニット３に装填された後述のメモリカード３９から取り込まれたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等を、表示ユニット２５に設けられたＬＣＤ表示部２６に表示させ、該ＬＣＤ表示部２６から得らた映像を、接眼光学系２７によって装着者の眼球に直接投影させることで、恰も該映像が空中に拡大投影されているかの様な虚像の観察を可能にしている。そして、本発明においては、該虚像が仮想表示シート４に仮想表示される様にしている。
【００３０】
テンプル２１Ｒ，２１Ｌは、可撓性を有する弾性材等により構成された長尺状の部材であり、装着者の耳や側頭部に掛止され、ＨＭＤ２の装着者に対する頭部への保持及び装着位置の調整を行うためのものである。尚、テンプル２１Ｒ，２１Ｌは、回動部２１Ｒａ，ａ，２１Ｌａにおいて矢印Ｐ，Ｑ方向に回動可能に構成されており、ＨＭＤ２を使用しない場合には、テンプル２１Ｒ，２１Ｌを矢印Ｐ，Ｑ方向に回動させて透明基板２４Ｒ，２４Ｌに沿わせることにより、コンパクト化することができる。
【００３１】
ブリッジ２２は、ＨＭＤ２の装着者に対する顔面への保持を行う鼻当て２３Ｒ，２３Ｌを備え、透明基板２４Ｒ，２４Ｌの互いに対向する所定位置に架け渡された短尺の棒状部材であり、透明基板２４Ｒと透明基板２４Ｌとを一定の間隙を介した相対位置関係に保持するものである。
【００３２】
透明基板２４Ｒ，２４Ｌは、一方の眼球に対応した位置にＵ字型のスペース２４Ｒｓを形成する略平板状の透明体である。また、透明基板２４Ｒに囲まれて形成されるＵ字型のスペース２４Ｒｓには、接眼光学系２７が嵌め込まれている。
【００３３】
表示ユニット２５は、本発明における表示手段に該当し、ＬＣＤ表示部２６、及び接眼光学系２７等を有し、制御ユニット３に装填された後述のメモリカード３９から取り込まれたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等を表示する。
【００３４】
カメラユニット２８は、図示しない後述のズームレンズ２８１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２８２、及び画像処理部２８４等を有し、装着者の周囲の外界情景を撮影するものであり、ズームレンズ２８１によって結像された被写体光学像を、ＣＣＤ２８２によって光電変換して画像信号（映像信号）を生成し、画像処理部２８４等により画像信号に所定の画像処理を施し画像（映像）を生成する。
【００３５】
イヤホン２９Ｒ，２９Ｌは、装着者の耳に挿入され、装着者に音声を提供する。
【００３６】
ここで、表示ユニット２５の構成を、図２を用いて説明する。図２は、本発明に係る情報入力装置２における表示ユニット２５の左側面からの側断面図であり、主に表示ユニット２５の内部構成を示している。
【００３７】
図２に示す様に、表示ユニット２５は、筐体２６１、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）２６２、コリメータレンズ２６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２６４からなるＬＣＤ表示部２６、及びプリズム２７１、ＨＯＥ（Ｈｏｌｏｇｒａｐｈｉｃ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）２７２からなる接眼光学系２７から構成される。
【００３８】
ＬＣＤ表示部２６の筐体２６１の内部には、ＬＥＤ２６２、コリメータレンズ２６３、及びＬＣＤ２６４が内蔵された状態で、該筐体２６１が接眼光学系２７のプリズム２７１の上端部において上斜め前方（図２では右斜め上方向）に突出する態様で取り付けられている。
【００３９】
ＬＥＤ２６２は、所定波長色を含む白色発光ダイオード（ＬＥＤ）からなる点光源である。
【００４０】
コリメータレンズ２６３は、ＬＥＤ２６２の光をほぼ平行光にしてＬＣＤ２６４に投光するものである。
【００４１】
ＬＣＤ２６４は、制御ユニット３に装填された後述のメモリカード３９から取り込まれたＤＶＤ、ビデオ等のコンテンツ映像信号やテキスト映像信号等に基づき映像を生成するものであり、例えば透過型の液晶表示パネルである。
【００４２】
プリズム２７１は、ガラスや透明樹脂等からなる略板状の透明部材であり、ＬＣＤ２６４からの光を内部で複数回の反射を行わせるものである。プリズム２７１の上端部は、ＬＣＤ２６４からの光の大部分を内部に採光できるように、上方に向かってより肉厚となるように前面側（接眼面と反対側）が突き出るように楔形状に形成された肉厚部２７１ｂが形成されている。
【００４３】
また、プリズム２７１の下端部には、傾斜面２７１ａが形成されており、プリズム２７１は、透明基板２４Ｒに形成された傾斜面２４Ｒａに対しＨＯＥ２７２を介して接合（例えば接着）されている。また、プリズム２７１の表裏面は、透明基板２４Ｒの表裏面に対して面一とされている。これにより、プリズム２７１は、透明基板２４Ｒと一枚の板状に一体化されている。
【００４４】
ＨＯＥ２７２は、光学的に軸非対称な所謂自由曲面で構成されて正のパワーを有する体積位相型のホログラム光学素子であり、プリズム２７１の下端部において所定の傾斜角を有して支持されている。ＨＯＥ２７２は、プリズム２７１により導光された光が照射されることにより、光の干渉現象を用いてホログラム映像を眼球Ｅに提供する。
【００４５】
以上のような構成を有する表示ユニット２５においては、ＬＥＤ２６２から射出された光は、コリメータレンズ２６３を通してＬＣＤ２６４を照明し、この照明によりＬＣＤ２６４で生成された像光は、プリズム２７１内で複数回の全反射を行った後、ＨＯＥ２７２により回折し虚像として使用者の眼球Ｅに導かれる。
【００４６】
さらに、プリズム２７１は、前方から入射する光を使用者の眼球Ｅに導くようになっている。これにより、使用者は、外界（前方の被写体）をシースルー可能となり、後述のメモリカード３９から取り込まれたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等を外界（前方の被写体）と重畳して視認することとなる。
【００４７】
尚、透明基板２４Ｒに形成された傾斜面２４Ｒａは、プリズム２７１の傾斜面２７１ａでの光の屈折をキャンセル（相殺）する、すなわち、傾斜面２７１ａにおけるプリズム効果により矢印Ｗ側からの光が上方に屈曲するのを防止する為、装着者は、プリズム２７１、透明基板２４Ｒ、及びＨＯＥ２７２を通して、外界光を歪むことなく観察することができる。
【００４８】
図１に戻って、制御ユニット３は、マイクロコンピュータからなり、電源スイッチ３１、ズームスイッチ３２、音声ボリューム３３、初期設定スイッチ３４、及びモード切替えスイッチ３５等を有し、これら各種操作スイッチからの信号を受けて、表示ユニット２５の表示動作やカメラユニット２８の撮影動作、及び画像信号処理動作を統括的に制御するものである。
【００４９】
初期設定スイッチ３４は、仮想表示シート４に仮想表示された映像に、ポインター５を用いて文字等の情報の入力動作を行うに先立ち、シースルーで観察できる仮想表示枠４１の大きさに対し仮想表示枠４１をカメラユニット２８で撮影し仮想表示する映像表示枠の大きさを適正化させる動作を行う際に用いるものである。
【００５０】
モード切替えスイッチ３５は、ポインター５の位置の軌跡を仮想表示された映像に合成する入力モード、合成された映像からポインター５の位置の軌跡の全てを消去する全消去モード、及びその一部を消去する部分消去モードのいずれかを選択するものである。尚、初期設定スイッチ３４、及びモード切替えスイッチ３５による動作の詳細は後述する。
【００５１】
仮想表示シート４は、その面上に例えば黒色で矩形状の仮想表示枠４１が描かれた白色のシートであり、表示ユニット２５に表示された映像が仮想表示される。
【００５２】
ポインター５は、その先端に、本発明における光源に該当するＬＥＤ５１を備えたペン型形状の情報入力器であり、仮想表示シート４にＬＥＤ５１を加圧接触させると、ＬＥＤ５１は点灯する。尚、後述の制御部３７中の仮想表示枠・ポインター座標検出部３７１は、カメラユニット２８で撮影された映像データにおける被写体のコントラスト（輝度差）に基づいて、仮想表示枠４１やポインター５の座標を検出する。
【００５３】
次に、情報入力装置１の電気回路構成について図３を用いて説明する。図３は、本発明に係わる情報入力装置１の電気回路のブロック図である。尚、図３では、図１乃至図２に示した部材と同じ部材には同一の番号を付与した。
【００５４】
情報入力装置１の要部電気回路ブロックは、表示ユニット２５、カメラユニット２８、及び制御ユニット３等から構成される。
【００５５】
表示ユニット２５は、ＬＣＤ表示部２６、接眼光学系２７から構成され、各部位で行われる動作については前述したので説明は省略する。
【００５６】
カメラユニット２８は、ズームレンズ２８１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２８２、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）２８３、及び画像処理部２８４等を有する。
【００５７】
ＣＣＤ２８２は、Ｒ（赤）光、Ｇ（緑）光、Ｂ（青）光の各色透過フィルタをピクセル単位（画素単位）で市松模様状に配置させたカラーエリア撮像センサで、ズームレンズ２８１により結像された被写体光像を、Ｒ（赤）光、Ｇ（緑）光、Ｂ（青）光の各色成分の画像信号（各画素単位で受光された画素信号の信号列からなる信号）に光電変換するものである。
【００５８】
ＡＦＥ２８３は、制御ユニット３から送信される基準クロックに基づいて、ＣＣＤ２８２の駆動を制御し、ＣＣＤ２８２から読み出された映像信号（画像信号）に周知のアナログ信号処理を施した後にデジタル映像信号に変換する。
【００５９】
この様に、ＣＣＤ２８２で読み出された映像信号は、ＡＦＥ２８３で所定の処理が施されて、デジタル映像信号に変換される。デジタル化された映像信号は、画像処理部２８４に取り込まれて所定の処理が行われる。以下、画像処理部２８４で行われるデジタル映像信号への処理について説明する。
【００６０】
最初に、画像処理部２８４に取り込まれたデジタル映像信号は、ＣＣＤ２８２から出力される映像信号の読出しに同期して後述の制御ユニット３中の画像メモリ３８１に書き込まれる。すなわち、画像処理部２８４で行われる処理に使用されるデジタル映像信号は、画像メモリ３８１にいったん記録したものを画像メモリ３８１から取り出し、画像処理部２８４中の各部位における処理に使用される。
【００６１】
画像処理部２８４は、図示しない例えば、黒レベル補正部、画素補間部、ホワイトバランス制御部、ガンマ補正部、マトリックス演算部、シェーディング補正部、及び画像圧縮部等を有し、画像メモリ３８１より取り出したデジタル映像信号に周知の画像信号処理を施すものである。そして、これらの部位で所定の処理を施されたデジタル映像信号は、再度、画像メモリ３８１に格納される。
【００６２】
尚、撮影待機状態では、デジタル映像信号が例えば１／３０秒毎等の所定間隔でカメラユニット２８より画像メモリ３８１に取り込まれている。すなわち、画像メモリ３８１に書き込まれる映像データ（デジタル映像信号）は例えば１／３０秒毎に更新されている。
【００６３】
次に、制御ユニット３は、制御部３７、画像メモリ３８１、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３８２等から構成される。
【００６４】
制御部３７は、図示しない各制御プログラム等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、演算処理や制御処理等のデータを一時的に格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及び制御プログラム等をＲＯＭから読み出して実行するＣＰＵ（中央演算処理装置）等からなり、前述の各操作スイッチからの信号を受けて、表示ユニット２５の表示動作やカメラユニット２８の撮影動作、及び画像信号処理動作を統括的に制御するものである。
【００６５】
制御部３７の要部は、図３に示す様に、仮想表示枠・ポインター座標検出部３７１、映像生成部３７２、映像合成部３７３、枠位置変動量検出部３７４、ポインター相対位置座標算出部３７５、バッファメモリ３７６、及び表示エリア補正部３７７等から構成される。
【００６６】
仮想表示枠・ポインター座標検出部３７１は、カメラユニット２８で取り込まれて画像メモリ３８１に書き込まれた映像データを読出し、読み出した映像データにおける被写体のコントラスト（輝度差）に基づいて、仮想表示枠４１やポインター５の座標を検出する。
【００６７】
映像生成部３７２は、仮想表示枠・ポインター座標検出部３７１で検出された仮想表示枠４１の座標や後述のバッファメモリ３７６に書き込まれたポインター５の座標の軌跡に基づいて仮想表示枠４１を示す映像（映像表示枠）やポインター５の軌跡を示す映像を生成する。
【００６８】
映像合成部３７３は、メモリカード３９から取り込まれたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等と映像生成部３７２で生成された仮想表示枠４１を示す映像（映像表示枠）やポインター５の軌跡を示す映像とを合成する。
【００６９】
枠位置変動量算出部３７４は、仮想表示枠・ポインター座標検出部３７１で検出されて例えば１／３０秒毎に更新される仮想表示枠４１の座標を所定間隔で読出し、前回読み出した座標からの変動量を算出する。この様に、枠位置変動量算出部３７４、及び前述のカメラユニット２８、仮想表示枠・ポインター座標検出部３７１は、本発明に係る情報入力装置における位置検出手段として機能する。
【００７０】
ポインター相対位置座標算出部３７５は、仮想表示枠・ポインター座標検出部３７１で検出された仮想表示枠４１の座標とポインター５の座標よりポインター５の仮想表示枠４１に対する相対座標を算出する。
【００７１】
バッファメモリ３７６は、ポインター相対位置座標算出部３７５で算出され、ポインター５の移動に伴い時間的に変化するポインター５の座標の軌跡を記憶する。この様に、バッファメモリ３７６、及び前述の映像生成部３７２、映像合成部３７３は、本発明に係る情報入力装置における合成手段として機能する。
【００７２】
表示エリア補正部３７７は、メモリカード３９から取り込まれたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等がＬＣＤ表示部２６に表示される位置を、枠位置変動量算出部３７４で算出された仮想表示枠４１の座標の変動量に応じて移動させる。この様に、表示エリア補正部３７７、及び前述の枠位置変動量算出部３７４は、本発明に係る情報入力装置における表示位置制御手段として機能する。
【００７３】
次に、画像メモリ３８１は、カメラユニット２８中の画像処理部２８４や制御ユニット３中の制御部３７によりデジタル映像信号に対する各種処理を行う為の作業領域として用いられる一時メモリである。
【００７４】
ＶＲＡＭ３８２は、ＬＣＤ表示部２６中のＬＣＤ２６４の画素数に対応した映像信号の記録容量を有し、ＬＣＤ２６４に再生表示される映像を構成する映像信号のバッファメモリである。
【００７５】
この様な構成の情報入力装置１において、本発明は、仮想表示枠４１に仮想表示されたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等に、容易に、且つ正確に情報を入力することを可能にするものである。具体的には、装着者が頭部を動かすことにより、仮想表示枠４１の位置と仮想表示される映像の位置にずれが生じた場合においても、位置検出手段で検出された仮想表示枠４１の位置に応じて映像が仮想表示される位置を移動させて仮想表示枠４１の位置に仮想表示される映像の位置を一致させる様に、情報入力装置１で行われる映像表示動作を制御するものである。これにより、現実世界と仮想世界との位置のずれがなくなり、仮想表示された映像に、容易に、且つ正確に情報を入力することができる様になる。
【００７６】
ここで、情報入力装置１で行われる映像表示動作の詳細を説明する。本発明は、試験やアンケート等周囲の人に対する秘匿性を考慮する必要がある書類へ文字等の情報を入力する場合に好適である。ここでは試験問題を仮想表示し、仮想表示された映像に解答を記入する場合に情報入力装置１で行われる映像表示動作制御の流れを説明する。
【００７７】
最初に、初期設定動作について図４、及び図８を用いて説明する。図４（ａ）は、カメラユニット２８の撮影画角と各表示領域との関係を示す模式図である。図４（ｂ１）乃至（ｄ２）は、カメラユニット２８の撮影画角による表示領域を示す模式図である。また、図８は、初期設定動作の流れを示すフローチャートである。
【００７８】
初期設定動作は、仮想表示シート４に仮想表示された映像に、ポインター５を用いて文字等の情報の入力動作を行うに先立ち、シースルーで観察できる仮想表示枠４１の大きさに対し仮想表示枠４１をカメラユニット２８で撮影し仮想表示する映像表示枠の大きさを適正化させる為に行う動作である。
【００７９】
まず、机の上に、メモリカード３９に保存された試験問題を示す映像が仮想表示される仮想表示枠４１が描かれた仮想表示シート４を用意する。
【００８０】
図４（ａ）において、ＬＣＤ表示領域Ｌは、机上に仮想表示される映像の最大表示領域（最大表示範囲）を示す。撮影画角Ｋは、カメラユニット２８の撮影画角（撮影範囲）を示す。仮想表示枠Ｗはシースルーで観察できる仮想表示枠４１を示す。映像表示枠Ｄは、映像が仮想表示される領域（範囲）を示す。
【００８１】
ここで初期設定動作の流れを図８に示すフローチャートを用いて説明する。
【００８２】
最初に、装着者は椅子に座って通常に試験を受ける姿勢で机上の仮想表示シート４に描かれた仮想表示枠Ｗ（仮想表示枠４１）を見て初期設定スイッチ３４を押す（ステップＳ１）。初期設定スイッチ３４がＯＮされると、カメラユニット２８はライブビュー撮影動作を開始し映像を画像メモリ３８１に取り込む（ステップＳ２）。映像が画像メモリ３８１に取り込まれると、仮想表示枠・ポインター座標検出部３７１は、画像メモリ３８１に書き込まれた映像データを読出し、読み出した映像データにおける被写体のコントラスト（輝度差）に基づいて、仮想表示枠Ｗの座標を検出する（ステップＳ３）。仮想表示枠Ｗの座標が検出されると、映像生成部３７２は、検出された仮想表示枠Ｗの座標に基づいて仮想表示枠Ｗを示す映像（映像表示枠Ｄ）を生成し、ＬＣＤ２６４に点滅表示させる（ステップＳ４）。次に、映像生成部３７２は、予め生成しておいた「ズームスイッチを操作して点滅している映像表示枠をシースルーで観察できる仮想表示枠に合わせた後に初期設定スイッチを押して下さい。」とのメッセージをＬＣＤ２６４に表示させる（ステップＳ５）。装着者は、シースルーで観察できる仮想表示枠Ｗと点滅している映像による映像表示枠Ｄを比較し、ズームスイッチ３２を操作することにより両者の位置（大きさ）を一致させ、ほぼ一致したところで再度初期設定スイッチ３４を押す。再度初期設定スイッチ３４が押されると（ステップＳ６；Ｙｅｓ）、枠位置変動量算出部３７４は、仮想表示枠・ポインター座標検出部３７１で検出された仮想表示枠Ｗの４隅の座標を記憶する（ステップＳ７）。そして、映像生成部３７２は、点滅させている映像表示枠Ｄを点灯表示させる（ステップＳ８）。映像表示枠Ｄが点灯表示に変わると、映像合成部３７３は、メモリカード３９に保存された試験問題を示す映像を読出し映像表示枠Ｄに合わせてＬＣＤ２６４に表示させる。一方、所定の時間初期設定スイッチ３４の入力がない場合（ステップＳ１０；Ｙｅｓ）は、映像生成部３７２は、点滅させている映像表示枠Ｄを消灯させ（ステップＳ１１）エラー表示または再度初期設定を促すメッセージをＬＣＤ２６４に表示させて初期設定動作を終了する。
【００８３】
ここで、ズームスイッチ３２の操作によるカメラユニット２８の撮影画角Ｋと映像表示枠Ｄに表示される映像の関係を図４（ｂ１）乃至（ｄ２）を用いて説明する。
【００８４】
図４（ｂ１）に示す様に、カメラユニット２８の撮影画角ＫがＬＣＤ表示領域Ｌよりも大きい場合、映像表示枠Ｄは相対的に小さくなり、図４（ｂ２）に示す様に、映像表示枠Ｄに表示される試験問題の映像は小さくなる。一方、図４（ｄ１）に示す様に、カメラユニット２８の撮影画角Ｋが仮想表示枠Ｗよりも小さい場合、仮想表示枠Ｗを検出することができず、図４（ｄ２）に示す様に、映像を表示することができない。図４（ｃ１）に示す様に、カメラユニット２８の撮影画角ＫとＬＣＤ表示領域Ｌが一致した場合、すなわち仮想表示枠Ｗと映像表示枠Ｄが一致した場合は、図４（ｃ２）に示す様に、映像表示枠Ｄに表示される試験問題の映像の大きさは最適化される。
【００８５】
また、初期設定動作によってカメラユニット２８の撮影画角Ｋが適正化された後に、装着者の頭部と机（仮想表示枠４１）との距離が変化した場合に表示される映像の状態を図５を用いて説明する。図５（ａ）は、装着者の頭部が机（仮想表示枠Ｗ）に近づいた場合の映像、図５（ｂ）は、装着者の頭部と机（仮想表示枠Ｗ）との距離が適切である場合の映像、図５（ｃ）は、装着者の頭部が机（仮想表示枠Ｗ）から遠ざかった場合の映像を示す模式図である。
【００８６】
図５（ａ）乃至（ｃ）に示す様に、初期設定を適正に行った後に、装着者の頭部と机（仮想表示枠Ｗ）との距離が変化するとＬＣＤ表示領域Ｌ（カメラユニット２８の撮影画角Ｋ）の大きさは変わらずに机上の仮想表示枠Ｗの大きさが近づくと大きく、遠ざかると小さく変化する。カメラユニット２８は装着者の頭部に固定されている為、図５（ａ）に示す様に、頭部が机（仮想表示枠Ｗ）に近づくとカメラユニット２８の撮影画角Ｋに対して机上の仮想表示枠Ｗが大きくなり、仮想表示枠Ｗがカメラユニット２８の撮影画角Ｋ（撮影範囲）を超えると仮想表示枠Ｗを検出できなくなる。一方、図５（ｃ）に示す様に、頭部が机（仮想表示枠Ｗ）から遠ざかるとカメラユニット２８の撮影画角Ｋに対して机上の仮想表示枠Ｗが小さくなる。仮想表示される映像の位置はカメラユニット２８が検出した仮想表示枠Ｗの座標に基づいて制御される為、この机上の仮想表示枠Ｗに応じて大きさが変わる。したがって、試験問題はあたかも机上に表示されたままのように見えるため現実感が得られる。
【００８７】
次に、情報入力動作について図６、図７、及び図９を用いて説明する。図６（ａ）乃至（ｄ）は、情報入力動作に伴う映像の変化の様子を示す模式図である。図７（ａ）乃至（ｃ）は、装着者の頭部動きと仮想表示枠Ｗ、映像表示枠Ｄの関係を示す模式図である。また、図９は、情報入力動作の流れを示すフローチャートである。
【００８８】
本発明は、図７（ａ）に示す様に、適正化されていた仮想表示枠Ｗの位置に対する映像表示枠Ｄの位置が、例えば、装着者が頭部を動かすことにより、図７（ｂ）に示す様に、ずれた場合においても、図７（ｃ）に示す様に、位置検出手段で検出された仮想表示枠Ｗの位置に応じて映像表示枠Ｄの位置を移動させて仮想表示枠Ｗの位置に映像表示枠Ｄの位置を一致させる様に、情報入力装置１で行われる映像表示動作を制御するものである。
【００８９】
ここで情報入力動作の流れを図９に示すフローチャートを用いて説明する。
【００９０】
最初に、モード切替えスイッチ３５を操作して入力モードに設定する（ステップＳ１）。モード切替えスイッチ３５が入力モードに設定されると、カメラユニット２８はライブビュー撮影動作を開始し映像を画像メモリ３８１に取り込む（ステップＳ２）。映像が画像メモリ３８１に取り込まれると、仮想表示枠・ポインター座標検出部３７１は、画像メモリ３８１に書き込まれた映像データを読出し、読み出した映像データにおける被写体のコントラスト（輝度差）に基づいて、仮想表示枠Ｗの４隅の座標（Ｐ，Ｑ，Ｒ，Ｓ）を検出する（ステップＳ３）。仮想表示枠Ｗの座標が検出されると、映像生成部３７２は、図６（ａ）に示す様に、検出された仮想表示枠Ｗの４隅の座標に基づいて仮想表示枠Ｗを示す映像（映像表示枠Ｄ）を生成し、ＬＣＤ２６４に表示させる（ステップＳ４）。そして、映像合成部３７３は、図６（ｂ）に示す様に、メモリカード３９に保存された試験問題を示す映像を読出し映像表示枠Ｄに合わせてＬＣＤ２６４に表示させる（ステップＳ５）。
【００９１】
次に、仮想表示枠・ポインター座標検出部３７１は、画像メモリ３８１に書き込まれた映像データを読出し、読み出した映像データにおける被写体のコントラスト（輝度差）に基づいて、図６（ｃ）に示す様に、ポインター５のペン先の座標（Ｔ）を検出する（ステップＳ６）。尚、前述の様に、画像メモリ３８１に書き込まれる映像データ（デジタル映像信号）は例えば１／３０秒毎に更新されていることから、仮想表示枠・ポインター座標検出部３７１によって検出される仮想表示枠Ｗの４隅の座標（Ｐ，Ｑ，Ｒ，Ｓ）、及びポインター５のペン先の座標（Ｔ）も１／３０秒毎に更新されている。
【００９２】
次に、枠位置変動量算出部３７４は、検出された仮想表示枠Ｗの４隅の座標（Ｐ，Ｑ，Ｒ，Ｓ）と前回検出された座標を比較し、比較した結果、座標が変動していない場合（ステップＳ７；ＮＯ）、表示エリア補正部３７７は、映像表示枠Ｄの位置を移動させない（ステップＳ１０）。そして、映像合成部３７３は、メモリカード３９に保存された試験問題を示す映像を読出し映像表示枠Ｄに合わせてＬＣＤ２６４に表示させる（ステップＳ１１）。映像が映像表示枠Ｄに合わせてＬＣＤ２６４に表示されると、映像生成部３７２は、ポインター相対位置座標算出部３７５で算出され（ステップＳ１２）、ポインター５の移動に伴い時間的に変化するポインター５の座標の軌跡をバッファメモリ３７６から読出し、ポインター５の軌跡を示す映像ＰＴを生成する。そして映像合成部３７３は、図６（ｄ）に示す様に、生成されたポインター５の軌跡を示す映像ＰＴを映像表示枠Ｄに表示されている試験問題を示す映像に合成しＬＣＤ２６４に表示させる（ステップＳ１３）。
【００９３】
一方、ステップＳ７において、枠位置変動量算出部３７４は、検出された仮想表示枠Ｗの４隅の座標Ｐ，Ｑ，Ｒ，Ｓと前回検出された座標を比較し、比較した結果、座標が変動している場合（ステップＳ７；Ｙｅｓ）、その変動量を算出する（ステップＳ８）。具体的には、仮想表示枠Ｗの４隅の座標Ｐ，Ｑ，Ｒ，Ｓの変動量をΔＰ，ΔＱ，ΔＲ，ΔＳとし、頭部が仮想表示枠Ｗに対し右に、例えば、Ｘ座標で１０動いた場合、ΔＰ，ΔＱ，ΔＲ，ΔＳのＸ座標の変動量、Ｙ座標の変動量は、それぞれ下記（式１）、（式２）の値となる。
ΔＰｘ＝ΔＱｘ＝ΔＲｘ＝ΔＳｘ＝−１０ （式１）
ΔＰｙ＝ΔＱｙ＝ΔＲｙ＝ΔＳｙ＝０ （式２）
変動量が算出されると、表示エリア補正部３７７は、算出された変動量に応じて、映像表示枠Ｄの位置を移動させる（ステップＳ９）。ここでは、映像表示枠Ｄの位置を左に、（Ｘ座標で−１０）移動させる。そして、映像合成部３７３は、メモリカード３９に保存された試験問題を示す映像を読出し映像表示枠Ｄに合わせてＬＣＤ２６４に表示させる（ステップＳ１１）。
【００９４】
また、頭部が仮想表示枠Ｗから遠ざかる方向に動いた場合、例えば、仮想表示枠Ｗの面に対して垂直に遠ざかる場合は、カメラユニット２８が認識する仮想表示枠Ｗは小さくなり、前回に対して内側の方向に移動する。この時Ｘ座標、Ｙ座標の変動量をそれぞれ５とすると、ΔＰ，ΔＱ，ΔＲ，ΔＳのＸ座標の変動量、Ｙ座標の変動量は、それぞれ下記（式３）乃至（式６）の値となる。
ΔＰｘ＝ΔＲｘ＝５ （式３）
ΔＱｘ＝ΔＳｘ＝−５ （式４）
ΔＰｙ＝ΔＱｙ＝−５ （式５）
ΔＲｙ＝ΔＳｙ＝５ （式６）
試験問題の映像は常に座標Ｐ、Ｑ、Ｒ、Ｓを４隅として表示されるので、この場合は前回に比べて縮小されることになる。
【００９５】
次に、ポインター相対位置座標算出部３７５はポインター５の表示位置を算出する（ステップＳ１２）。映像表示枠Ｄは、上述の様に、並行移動であったり、拡大／縮小であったり、またそれらの組合せであったり複雑な変化をするが、その動きはカメラユニット２８と連動するため大きな誤差は生じない。しかしながら、ポインター５は装着者の手の動きに連動しており、頭部の動きとは独立している。従って、ポインター５の位置の認識は座標Ｔの絶対値で認識すると補正が難しく、精度も悪くなる。つまり、絶対値ではなく仮想表示枠Ｗの４隅の座標Ｐ，Ｑ，Ｒ，Ｓに対する相対位置を求めることでこの問題を解決できる。
【００９６】
具体的には、カメラユニット２８で認識された仮想表示枠Ｗの４隅の座標Ｐ，Ｑ，Ｒ，Ｓから以下のように求める。
【００９７】
最初に、仮想表示枠Ｗの４隅の座標Ｐ（Ｐｘ，Ｐｙ），Ｑ（Ｑｘ，Ｑｙ），Ｒ（Ｒｘ，Ｒｙ），Ｓ（Ｓｘ，Ｓｙ）に対するポインター５の座標Ｔ（Ｔｘ，Ｔｙ）の左右方向（Ｘ軸方向）の比α、上下方向（Ｙ軸方向）の比βを下記（式７）、（式８）より算出する。
α：（Ｔｘ−Ｐｘ）／（Ｑｘ−Ｐｘ） （式７）
β：（Ｔｙ−Ｒｙ）／（Ｐｙ−Ｒｙ） （式８）
（式７）、（式８）より算出されたポインター５の座標Ｔ（Ｔｘ，Ｔｙ）の左右方向（Ｘ軸方向）の比α、上下方向（Ｙ軸方向）の比βより、ポインター５の仮想表示枠Ｗの４隅の座標Ｐ，Ｑ，Ｒ，Ｓに対する相対位置座標Ｔ’（Ｔｘ’，Ｔｙ’）は、下記（式９）、（式１０）で求められる。
Ｔｘ’＝α｛（Ｑｘ＋ΔＱｘ）−（Ｐｘ＋ΔＰｘ）｝＋Ｐｘ＋ΔＰｘ （式９）
Ｔｙ’＝β｛（Ｐｙ＋ΔＰｙ）−（Ｒｙ＋ΔＲｙ）｝＋Ｒｙ＋ΔＲｙ （式１０）
ポインター相対位置座標算出部３７５は、この様にして求めた、相対位置座標Ｔ’をバッファメモリ３７６に記録する。映像生成部３７２は、ポインター５の相対位置座標Ｔ’をバッファメモリ３７６から読出し、相対位置座標Ｔ’の位置にポインター５の軌跡を示す映像ＰＴを生成する。そして映像合成部３７３は、生成されたポインター５の軌跡を示す映像ＰＴを映像表示枠Ｄに表示されている試験問題を示す映像に合成しＬＣＤ２６４に表示表示させる（ステップＳ１３）。カメラユニットは前述の様に、例えば１／３０秒毎映像を取り込んでいることから、図９を用いて説明したフローを繰り返すことにより、ポインター５の座標Ｔ’が軌跡として表示される。
【００９８】
この様に、本発明においては、仮想表示枠Ｗに仮想表示されたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等に、容易に、且つ正確に情報を入力することができる。すなわち、装着者が頭部を動かすことにより、仮想表示枠Ｗの位置と映像表示枠Ｄの位置にずれが生じた場合においても、位置検出手段で検出された仮想表示枠Ｗの位置に応じて映像表示枠Ｄの位置を移動させて仮想表示枠４１の位置に映像表示枠Ｄの位置を一致させることができる。これにより、現実世界と仮想世界との位置のずれがなくなり、仮想表示された映像に、容易に、且つ正確に情報を入力することができる様になる。
【００９９】
尚、本発明における情報入力装置１おいては、ＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等に入力された文字等の情報の全てを消去したり、また、その一部を消去することもできる。具体的には、モード切替えスイッチ３５を操作して全消去モードに設定すると、バッファメモリ３７６に記憶されているポインター５の座標の軌跡が全て消去され、映像に合成されている文字等の情報は全て消去される。また、モード切替えスイッチ３５を操作して部分消去モードに設定し、仮想表示されているポインター５の位置の軌跡を示す映像ＰＴをポインター５でトレースすることにより、該映像のトレースされた部位に相当するバッファメモリ３７６に記憶されているポインター５の座標の軌跡が消去され、映像に合成されている文字等の情報は、その一部が消去される。これにより、装着者は目的に応じて所望の情報のみを容易に消去することができる。
【０１００】
以上、本発明を実施の形態を参照して説明してきたが、本発明は前述の実施の形態に限定して解釈されるべきでなく、適宜変更、改良が可能であることは勿論である。例えば、前述の実施の形態においては、ズームレンズ２８１を用いてカメラユニット２８の撮影画角Ｋを調整する様にしたが、ズームレンズ２８１の替わりに広角レンズを用い、広角レンズによって広角撮影された映像を、電子ズーム（デジタルズーム）により拡大する等して画角調整を行う様にしてもよい。
【図面の簡単な説明】
【０１０１】
【図１】本発明に係る情報入力装置の全体構成図である。
【図２】本発明に係る情報入力装置における表示ユニットの側断面図である。
【図３】本発明に係る情報入力装置の電気回路ブロック構成図である。
【図４】本発明に係る情報入力装置におけるカメラユニットの撮影画角と各表示領域との関係を示す模式図である。
【図５】装着者の頭部から仮想表示シートまで距離と仮想表示される映像の関係を示す模式図である。
【図６】情報入力動作に伴う映像の変化の様子を示す模式図である。
【図７】装着者の頭部動きと仮想表示枠、映像表示枠の関係を示す模式図である。
【図８】初期設定動作の流れを示すフローチャートである。
【図９】情報入力動作の流れを示すフローチャートである。
【符号の説明】
【０１０２】
１ 情報入力装置
２ ＨＭＤ
２１Ｒ，２１Ｌ テンプル
２２ ブリッジ
２３Ｒ，２３Ｌ 鼻当て
２４Ｒ，２４Ｌ 透明基板
２５ 表示ユニット
２６ ＬＣＤ表示部
２６１ 筐体
２６２ ＬＥＤ
２６３ コリメータレンズ
２６４ ＬＣＤ
２７ 接眼光学系
２７１ プリズム
２７２ ＨＯＥ
２８ カメラユニット
２８１ ズームレンズ
２８２ ＣＣＤエリアセンサ
２８３ ＡＦＥ
２８４ 画像処理部
２８７ ズームモータ
２９Ｒ，２９Ｌ イヤホン
３ 制御ユニット
３１ 電源スイッチ
３２ ズームスイッチ
３３ 音声ボリューム
３４ 初期設定スイッチ
３５ モード切替えスイッチ
３６ ケーブル
３７ 制御部
３７１ 仮想表示枠・ポインター座標検出部
３７２ 映像生成部
３７３ 映像合成部
３７４ 枠位置変動量算出部
３７５ ポインター相対位置座標算出部
３７６ バッファメモリ
３７７ 表示エリア補正部
３７８ ズームモータ駆動回路
３７９ 音声出力回路
３８１ 画像メモリ
３８２ ＶＲＡＭ
３９ メモリカード
４ 仮想表示シート
４１ 仮想表示枠
５ ポインター
５１ ＬＥＤ
Ｅ 目
【技術分野】
【０００１】
本発明は、情報入力装置に関し、特に頭部装着式映像表示装置を用いた情報入力装置に関する。
【背景技術】
【０００２】
従来、ＶＲ（Ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ：仮想現実）の分野においては、頭部装着式映像表示装置、すなわちＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）を用いた情報入力装置が知られている。
【０００３】
情報入力装置は、ＨＭＤによって仮想表示されたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等に対して、例えばタッチパネルやポインター等の入力装置を用いて、文字等の情報を入力することができるようになされている。これにより現実世界における操作と同様の操作で仮想現実の世界において所望の情報を入力することが可能となる。そして、近年このような情報入力装置が種々提案されている。
【０００４】
例えば、情報入力を行う指の位置を３次元座標測定装置を用いて検出し、検出した座標に基づいて仮想表示された映像に情報入力を行う様にした情報入力装置の技術（特許文献１参照）、また、入力装置にタッチパネルを用い、タッチパネルの位置を検出する為にタッチパネルの周縁に複数の光源を設け、各光源を異なる点滅パターンで点滅制御することにより、タッチパネルを流し撮りした場合においても光源の位置、すなわちタッチパネルの位置を容易に検出することができる様にした情報入力装置の技術（特許文献２参照）が知られている。
【特許文献１】特開平７−５９７８号公報
【特許文献２】特開２０００−１７２４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている情報入力装置においては、情報入力を行う指の位置を３次元座標測定装置を用いて検出する様にしているので、装置の複雑化と高価格化を招く恐れがあり、また、高い精度で指の位置を検出することは困難なものと考えられる。また、特許文献２に開示されている情報入力装置においては、入力装置としてのタッチパネルや、タッチパネルの位置を検出する為にタッチパネルの周縁に設けられた複数の光源を異なる点滅パターンで点滅制御を行う点滅制御装置を必要とする。したがって、装置の複雑化と高価格化を招く恐れがある。また、ＨＭＤは外界をシースルー不能であり、装着者の頭の動きといっしょに仮想表示された映像も移動することから、現実世界と仮想世界との位置にずれが生じる。これにより適切な位置に情報を入力することができなくなる。
【０００６】
本発明は、上記課題を鑑みてなされたもので、ＨＭＤを用いた情報入力装置において、装置の複雑化と高価格化を招くことなく、仮想表示された映像に、容易に、且つ正確に情報を入力することが可能な情報入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的は、下記の１乃至９のいずれか１項に記載の発明によって達成される。
【０００８】
１．頭部や顔面に装着され映像を表示し外界をシースルー可能な表示手段と、前記映像が仮想表示される仮想表示枠と、仮想表示された前記映像に情報を入力するポインターと、を備えた情報入力装置であって、
前記仮想表示枠の位置および前記ポインターの位置を検出する位置検出手段と、
前記位置検出手段で検出された前記ポインターの位置の軌跡を前記映像に合成する合成手段と、
前記位置検出手段で検出された前記仮想表示枠の位置に応じて前記映像が仮想表示される位置を制御する表示位置制御手段と、を有することを特徴とする情報入力装置。
【０００９】
２．前記位置検出手段は、外界を撮影しズーム機能を備えたカメラユニットを有することを特徴とする前記１に記載の情報入力装置。
【００１０】
３．前記位置検出手段は、前記カメラユニットで撮影された映像のコントラストに基づいて前記仮想表示枠の位置および前記ポインターの位置を検出することを特徴とする前記１または２に記載の情報入力装置。
【００１１】
４．前記仮想表示枠は、その面上に枠が設けられたシートであり、
前記枠と前記シートの光の反射率は異なることを特徴とする前記１乃至３のいずれか１項に記載の情報入力装置。
【００１２】
５．前記合成手段は、前記位置検出手段で検出された前記仮想表示枠の位置に基づいて、所定の映像や情報を前記表示手段に出力することを特徴とする前記１乃至４のいずれか１項に記載の情報入力装置。
【００１３】
６．前記ポインターは、ペン型形状に形成されていることを特徴とする前記１に記載の情報入力装置。
【００１４】
７．前記ポインターは、一方の端に光源を備え、
前記光源が対象物に加圧接触されると該光源は点灯することを特徴とする前記６に記載の情報入力装置。
【００１５】
８．前記合成手段で前記ポインターの位置の軌跡を前記映像に合成する入力モードと前記映像に合成された前記ポインターの位置の軌跡の全てを消去する全消去モードとその一部を消去する部分消去モードのいずれかを選択するモード切替えスイッチを有することを特徴とする前記１乃至７のいずれか１項に記載の情報入力装置。
【００１６】
９．前記モード切替えスイッチによって、前記部分消去モードが選択されている場合、前記合成手段によって前記映像に合成され前記仮想表示枠に仮想表示された前記ポインターの位置の軌跡を前記ポインターでトレースすることにより、該軌跡のトレースされた部位が消去されることを特徴とする前記１乃至８のいずれか１項に記載の情報入力装置。
【発明の効果】
【００１７】
本発明によれば、表示位置制御手段は、位置検出手段で検出された仮想表示枠の位置に応じて映像が仮想表示される位置を制御する様にした。すなわち、装着者が頭部を動かすことにより、仮想表示枠の位置と仮想表示される映像の位置にずれが生じた場合においても、表示位置制御手段は、位置検出手段で検出された仮想表示枠の位置に応じて映像が仮想表示される位置を移動させることができる。したがって、装着者の頭部の移動に影響されることなく、仮想表示枠の位置と仮想表示される映像の位置を一致させることができる。これにより、現実世界と仮想世界との位置のずれがなくなり、装着者は、仮想表示された映像に、容易に、且つ正確に情報を入力することができる。
【００１８】
また、位置検出手段は、外界を撮影しズーム機能を備えたカメラユニットを備える様にした。したがって、カメラユニットで撮影された映像データに基づいて仮想表示枠の位置およびポインターの位置を容易に検出することができる。また、装着者の頭部の位置と仮想表示枠の距離に係らず光学ズームや電子ズーム等のズーム機能により、シースルーで観察できる仮想表示枠の大きさと仮想表示枠をカメラユニットで撮影し仮想表示する映像表示枠の大きさを一致させることができる。
【００１９】
また、位置検出手段は、カメラユニットで撮影された映像のコントラストに基づいて仮想表示枠の位置およびポインターの位置を検出する様にした。したがって、高い精度で容易に対象物を検出することができる。
【００２０】
また、仮想表示枠の枠とシートの光の反射率は異なる様にしたので、コントラストを設けることができる。
【００２１】
また、合成手段は、前記位置検出手段で検出された仮想表示枠の位置に基づいて、所定の映像や情報を表示手段に出力する様にした。したがって、例えば、位置検出手段が仮想表示枠を検出した場合、仮想表示される映像表示枠を点滅させたり、ズーミングによりシースルーで観察できる仮想表示枠の大きさに仮想表示枠をカメラユニットで撮影し仮想表示する映像表示枠の大きさが一致した場合、仮想表示される映像表示枠を点灯させたりすることにより、装着者は容易に撮影画角を最適化することができる。また、シースルーで観察できる仮想表示枠がカメラユニットの撮影画角からはみ出した場合、警告を表示させることにより、装着者は撮影画角の調整が不適切であり、位置検出精度が低下することを認知することができる。
【００２２】
また、ポインターは、ペン型形状に形成されているので、容易に保持することができ操作性に優れている。
【００２３】
また、ポインターの光源は、対象物に加圧接触されると点灯する様にした。すなわち、情報入力動作を行わずポインターが対象物に接触していない場合は、光源を点灯させない様にしているので、位置検出手段は、ポインターの位置を検出することなく誤入力を防止することができる。
【００２４】
また、入力モード、全消去モード、部分消去モードのいずれかを選択するモード切替えスイッチを備える様にした。したがって、装着者は、目的に応じて所望の動作モードを選択することができる。
【００２５】
また、部分消去モードが選択されている場合、仮想表示されたポインターの位置の軌跡をポインターでトレースすることにより、該軌跡のトレースされた部位が消去される様にした。したがって、装着者は目的に応じて所望の情報のみを容易に消去することができる。
【発明を実施するための最良の形態】
【００２６】
以下図面に基づいて、本発明に係る情報入力装置の実施の形態を説明する。
【００２７】
最初に、情報入力装置１の構成を図１を用いて説明する。図１は、本発明に係る情報入力装置１の全体構成の概要を示す図である。
【００２８】
情報入力装置１は、図１に示す様に、ＨＭＤ２、制御ユニット３、仮想表示シート４、及びポインター５等を有し、ＨＭＤ２に設けられた後述の表示ユニット２５に表示され仮想表示シート４に仮想表示された映像に、ポインター５を用いて文字等の情報を入力するものである。
【００２９】
最初に、ＨＭＤ２の外観を説明する。ＨＭＤ２は、使用者の眼球の近傍に配置されて使用される頭部装着式映像表示装置であり、図１に示す様に、テンプル２１Ｒ，２１Ｌ、ブリッジ２２、鼻当て２３Ｒ，２３Ｌ、透明基板２４Ｒ，２４Ｌ、表示ユニット２５（ＬＣＤ表示部２６、接眼光学系２７）、カメラユニット２８、及びイヤホン２９Ｒ、２９Ｌ等を有している。ＨＭＤ２は、制御ユニット３に装填された後述のメモリカード３９から取り込まれたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等を、表示ユニット２５に設けられたＬＣＤ表示部２６に表示させ、該ＬＣＤ表示部２６から得らた映像を、接眼光学系２７によって装着者の眼球に直接投影させることで、恰も該映像が空中に拡大投影されているかの様な虚像の観察を可能にしている。そして、本発明においては、該虚像が仮想表示シート４に仮想表示される様にしている。
【００３０】
テンプル２１Ｒ，２１Ｌは、可撓性を有する弾性材等により構成された長尺状の部材であり、装着者の耳や側頭部に掛止され、ＨＭＤ２の装着者に対する頭部への保持及び装着位置の調整を行うためのものである。尚、テンプル２１Ｒ，２１Ｌは、回動部２１Ｒａ，ａ，２１Ｌａにおいて矢印Ｐ，Ｑ方向に回動可能に構成されており、ＨＭＤ２を使用しない場合には、テンプル２１Ｒ，２１Ｌを矢印Ｐ，Ｑ方向に回動させて透明基板２４Ｒ，２４Ｌに沿わせることにより、コンパクト化することができる。
【００３１】
ブリッジ２２は、ＨＭＤ２の装着者に対する顔面への保持を行う鼻当て２３Ｒ，２３Ｌを備え、透明基板２４Ｒ，２４Ｌの互いに対向する所定位置に架け渡された短尺の棒状部材であり、透明基板２４Ｒと透明基板２４Ｌとを一定の間隙を介した相対位置関係に保持するものである。
【００３２】
透明基板２４Ｒ，２４Ｌは、一方の眼球に対応した位置にＵ字型のスペース２４Ｒｓを形成する略平板状の透明体である。また、透明基板２４Ｒに囲まれて形成されるＵ字型のスペース２４Ｒｓには、接眼光学系２７が嵌め込まれている。
【００３３】
表示ユニット２５は、本発明における表示手段に該当し、ＬＣＤ表示部２６、及び接眼光学系２７等を有し、制御ユニット３に装填された後述のメモリカード３９から取り込まれたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等を表示する。
【００３４】
カメラユニット２８は、図示しない後述のズームレンズ２８１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２８２、及び画像処理部２８４等を有し、装着者の周囲の外界情景を撮影するものであり、ズームレンズ２８１によって結像された被写体光学像を、ＣＣＤ２８２によって光電変換して画像信号（映像信号）を生成し、画像処理部２８４等により画像信号に所定の画像処理を施し画像（映像）を生成する。
【００３５】
イヤホン２９Ｒ，２９Ｌは、装着者の耳に挿入され、装着者に音声を提供する。
【００３６】
ここで、表示ユニット２５の構成を、図２を用いて説明する。図２は、本発明に係る情報入力装置２における表示ユニット２５の左側面からの側断面図であり、主に表示ユニット２５の内部構成を示している。
【００３７】
図２に示す様に、表示ユニット２５は、筐体２６１、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）２６２、コリメータレンズ２６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２６４からなるＬＣＤ表示部２６、及びプリズム２７１、ＨＯＥ（Ｈｏｌｏｇｒａｐｈｉｃ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）２７２からなる接眼光学系２７から構成される。
【００３８】
ＬＣＤ表示部２６の筐体２６１の内部には、ＬＥＤ２６２、コリメータレンズ２６３、及びＬＣＤ２６４が内蔵された状態で、該筐体２６１が接眼光学系２７のプリズム２７１の上端部において上斜め前方（図２では右斜め上方向）に突出する態様で取り付けられている。
【００３９】
ＬＥＤ２６２は、所定波長色を含む白色発光ダイオード（ＬＥＤ）からなる点光源である。
【００４０】
コリメータレンズ２６３は、ＬＥＤ２６２の光をほぼ平行光にしてＬＣＤ２６４に投光するものである。
【００４１】
ＬＣＤ２６４は、制御ユニット３に装填された後述のメモリカード３９から取り込まれたＤＶＤ、ビデオ等のコンテンツ映像信号やテキスト映像信号等に基づき映像を生成するものであり、例えば透過型の液晶表示パネルである。
【００４２】
プリズム２７１は、ガラスや透明樹脂等からなる略板状の透明部材であり、ＬＣＤ２６４からの光を内部で複数回の反射を行わせるものである。プリズム２７１の上端部は、ＬＣＤ２６４からの光の大部分を内部に採光できるように、上方に向かってより肉厚となるように前面側（接眼面と反対側）が突き出るように楔形状に形成された肉厚部２７１ｂが形成されている。
【００４３】
また、プリズム２７１の下端部には、傾斜面２７１ａが形成されており、プリズム２７１は、透明基板２４Ｒに形成された傾斜面２４Ｒａに対しＨＯＥ２７２を介して接合（例えば接着）されている。また、プリズム２７１の表裏面は、透明基板２４Ｒの表裏面に対して面一とされている。これにより、プリズム２７１は、透明基板２４Ｒと一枚の板状に一体化されている。
【００４４】
ＨＯＥ２７２は、光学的に軸非対称な所謂自由曲面で構成されて正のパワーを有する体積位相型のホログラム光学素子であり、プリズム２７１の下端部において所定の傾斜角を有して支持されている。ＨＯＥ２７２は、プリズム２７１により導光された光が照射されることにより、光の干渉現象を用いてホログラム映像を眼球Ｅに提供する。
【００４５】
以上のような構成を有する表示ユニット２５においては、ＬＥＤ２６２から射出された光は、コリメータレンズ２６３を通してＬＣＤ２６４を照明し、この照明によりＬＣＤ２６４で生成された像光は、プリズム２７１内で複数回の全反射を行った後、ＨＯＥ２７２により回折し虚像として使用者の眼球Ｅに導かれる。
【００４６】
さらに、プリズム２７１は、前方から入射する光を使用者の眼球Ｅに導くようになっている。これにより、使用者は、外界（前方の被写体）をシースルー可能となり、後述のメモリカード３９から取り込まれたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等を外界（前方の被写体）と重畳して視認することとなる。
【００４７】
尚、透明基板２４Ｒに形成された傾斜面２４Ｒａは、プリズム２７１の傾斜面２７１ａでの光の屈折をキャンセル（相殺）する、すなわち、傾斜面２７１ａにおけるプリズム効果により矢印Ｗ側からの光が上方に屈曲するのを防止する為、装着者は、プリズム２７１、透明基板２４Ｒ、及びＨＯＥ２７２を通して、外界光を歪むことなく観察することができる。
【００４８】
図１に戻って、制御ユニット３は、マイクロコンピュータからなり、電源スイッチ３１、ズームスイッチ３２、音声ボリューム３３、初期設定スイッチ３４、及びモード切替えスイッチ３５等を有し、これら各種操作スイッチからの信号を受けて、表示ユニット２５の表示動作やカメラユニット２８の撮影動作、及び画像信号処理動作を統括的に制御するものである。
【００４９】
初期設定スイッチ３４は、仮想表示シート４に仮想表示された映像に、ポインター５を用いて文字等の情報の入力動作を行うに先立ち、シースルーで観察できる仮想表示枠４１の大きさに対し仮想表示枠４１をカメラユニット２８で撮影し仮想表示する映像表示枠の大きさを適正化させる動作を行う際に用いるものである。
【００５０】
モード切替えスイッチ３５は、ポインター５の位置の軌跡を仮想表示された映像に合成する入力モード、合成された映像からポインター５の位置の軌跡の全てを消去する全消去モード、及びその一部を消去する部分消去モードのいずれかを選択するものである。尚、初期設定スイッチ３４、及びモード切替えスイッチ３５による動作の詳細は後述する。
【００５１】
仮想表示シート４は、その面上に例えば黒色で矩形状の仮想表示枠４１が描かれた白色のシートであり、表示ユニット２５に表示された映像が仮想表示される。
【００５２】
ポインター５は、その先端に、本発明における光源に該当するＬＥＤ５１を備えたペン型形状の情報入力器であり、仮想表示シート４にＬＥＤ５１を加圧接触させると、ＬＥＤ５１は点灯する。尚、後述の制御部３７中の仮想表示枠・ポインター座標検出部３７１は、カメラユニット２８で撮影された映像データにおける被写体のコントラスト（輝度差）に基づいて、仮想表示枠４１やポインター５の座標を検出する。
【００５３】
次に、情報入力装置１の電気回路構成について図３を用いて説明する。図３は、本発明に係わる情報入力装置１の電気回路のブロック図である。尚、図３では、図１乃至図２に示した部材と同じ部材には同一の番号を付与した。
【００５４】
情報入力装置１の要部電気回路ブロックは、表示ユニット２５、カメラユニット２８、及び制御ユニット３等から構成される。
【００５５】
表示ユニット２５は、ＬＣＤ表示部２６、接眼光学系２７から構成され、各部位で行われる動作については前述したので説明は省略する。
【００５６】
カメラユニット２８は、ズームレンズ２８１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２８２、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）２８３、及び画像処理部２８４等を有する。
【００５７】
ＣＣＤ２８２は、Ｒ（赤）光、Ｇ（緑）光、Ｂ（青）光の各色透過フィルタをピクセル単位（画素単位）で市松模様状に配置させたカラーエリア撮像センサで、ズームレンズ２８１により結像された被写体光像を、Ｒ（赤）光、Ｇ（緑）光、Ｂ（青）光の各色成分の画像信号（各画素単位で受光された画素信号の信号列からなる信号）に光電変換するものである。
【００５８】
ＡＦＥ２８３は、制御ユニット３から送信される基準クロックに基づいて、ＣＣＤ２８２の駆動を制御し、ＣＣＤ２８２から読み出された映像信号（画像信号）に周知のアナログ信号処理を施した後にデジタル映像信号に変換する。
【００５９】
この様に、ＣＣＤ２８２で読み出された映像信号は、ＡＦＥ２８３で所定の処理が施されて、デジタル映像信号に変換される。デジタル化された映像信号は、画像処理部２８４に取り込まれて所定の処理が行われる。以下、画像処理部２８４で行われるデジタル映像信号への処理について説明する。
【００６０】
最初に、画像処理部２８４に取り込まれたデジタル映像信号は、ＣＣＤ２８２から出力される映像信号の読出しに同期して後述の制御ユニット３中の画像メモリ３８１に書き込まれる。すなわち、画像処理部２８４で行われる処理に使用されるデジタル映像信号は、画像メモリ３８１にいったん記録したものを画像メモリ３８１から取り出し、画像処理部２８４中の各部位における処理に使用される。
【００６１】
画像処理部２８４は、図示しない例えば、黒レベル補正部、画素補間部、ホワイトバランス制御部、ガンマ補正部、マトリックス演算部、シェーディング補正部、及び画像圧縮部等を有し、画像メモリ３８１より取り出したデジタル映像信号に周知の画像信号処理を施すものである。そして、これらの部位で所定の処理を施されたデジタル映像信号は、再度、画像メモリ３８１に格納される。
【００６２】
尚、撮影待機状態では、デジタル映像信号が例えば１／３０秒毎等の所定間隔でカメラユニット２８より画像メモリ３８１に取り込まれている。すなわち、画像メモリ３８１に書き込まれる映像データ（デジタル映像信号）は例えば１／３０秒毎に更新されている。
【００６３】
次に、制御ユニット３は、制御部３７、画像メモリ３８１、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３８２等から構成される。
【００６４】
制御部３７は、図示しない各制御プログラム等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、演算処理や制御処理等のデータを一時的に格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及び制御プログラム等をＲＯＭから読み出して実行するＣＰＵ（中央演算処理装置）等からなり、前述の各操作スイッチからの信号を受けて、表示ユニット２５の表示動作やカメラユニット２８の撮影動作、及び画像信号処理動作を統括的に制御するものである。
【００６５】
制御部３７の要部は、図３に示す様に、仮想表示枠・ポインター座標検出部３７１、映像生成部３７２、映像合成部３７３、枠位置変動量検出部３７４、ポインター相対位置座標算出部３７５、バッファメモリ３７６、及び表示エリア補正部３７７等から構成される。
【００６６】
仮想表示枠・ポインター座標検出部３７１は、カメラユニット２８で取り込まれて画像メモリ３８１に書き込まれた映像データを読出し、読み出した映像データにおける被写体のコントラスト（輝度差）に基づいて、仮想表示枠４１やポインター５の座標を検出する。
【００６７】
映像生成部３７２は、仮想表示枠・ポインター座標検出部３７１で検出された仮想表示枠４１の座標や後述のバッファメモリ３７６に書き込まれたポインター５の座標の軌跡に基づいて仮想表示枠４１を示す映像（映像表示枠）やポインター５の軌跡を示す映像を生成する。
【００６８】
映像合成部３７３は、メモリカード３９から取り込まれたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等と映像生成部３７２で生成された仮想表示枠４１を示す映像（映像表示枠）やポインター５の軌跡を示す映像とを合成する。
【００６９】
枠位置変動量算出部３７４は、仮想表示枠・ポインター座標検出部３７１で検出されて例えば１／３０秒毎に更新される仮想表示枠４１の座標を所定間隔で読出し、前回読み出した座標からの変動量を算出する。この様に、枠位置変動量算出部３７４、及び前述のカメラユニット２８、仮想表示枠・ポインター座標検出部３７１は、本発明に係る情報入力装置における位置検出手段として機能する。
【００７０】
ポインター相対位置座標算出部３７５は、仮想表示枠・ポインター座標検出部３７１で検出された仮想表示枠４１の座標とポインター５の座標よりポインター５の仮想表示枠４１に対する相対座標を算出する。
【００７１】
バッファメモリ３７６は、ポインター相対位置座標算出部３７５で算出され、ポインター５の移動に伴い時間的に変化するポインター５の座標の軌跡を記憶する。この様に、バッファメモリ３７６、及び前述の映像生成部３７２、映像合成部３７３は、本発明に係る情報入力装置における合成手段として機能する。
【００７２】
表示エリア補正部３７７は、メモリカード３９から取り込まれたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等がＬＣＤ表示部２６に表示される位置を、枠位置変動量算出部３７４で算出された仮想表示枠４１の座標の変動量に応じて移動させる。この様に、表示エリア補正部３７７、及び前述の枠位置変動量算出部３７４は、本発明に係る情報入力装置における表示位置制御手段として機能する。
【００７３】
次に、画像メモリ３８１は、カメラユニット２８中の画像処理部２８４や制御ユニット３中の制御部３７によりデジタル映像信号に対する各種処理を行う為の作業領域として用いられる一時メモリである。
【００７４】
ＶＲＡＭ３８２は、ＬＣＤ表示部２６中のＬＣＤ２６４の画素数に対応した映像信号の記録容量を有し、ＬＣＤ２６４に再生表示される映像を構成する映像信号のバッファメモリである。
【００７５】
この様な構成の情報入力装置１において、本発明は、仮想表示枠４１に仮想表示されたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等に、容易に、且つ正確に情報を入力することを可能にするものである。具体的には、装着者が頭部を動かすことにより、仮想表示枠４１の位置と仮想表示される映像の位置にずれが生じた場合においても、位置検出手段で検出された仮想表示枠４１の位置に応じて映像が仮想表示される位置を移動させて仮想表示枠４１の位置に仮想表示される映像の位置を一致させる様に、情報入力装置１で行われる映像表示動作を制御するものである。これにより、現実世界と仮想世界との位置のずれがなくなり、仮想表示された映像に、容易に、且つ正確に情報を入力することができる様になる。
【００７６】
ここで、情報入力装置１で行われる映像表示動作の詳細を説明する。本発明は、試験やアンケート等周囲の人に対する秘匿性を考慮する必要がある書類へ文字等の情報を入力する場合に好適である。ここでは試験問題を仮想表示し、仮想表示された映像に解答を記入する場合に情報入力装置１で行われる映像表示動作制御の流れを説明する。
【００７７】
最初に、初期設定動作について図４、及び図８を用いて説明する。図４（ａ）は、カメラユニット２８の撮影画角と各表示領域との関係を示す模式図である。図４（ｂ１）乃至（ｄ２）は、カメラユニット２８の撮影画角による表示領域を示す模式図である。また、図８は、初期設定動作の流れを示すフローチャートである。
【００７８】
初期設定動作は、仮想表示シート４に仮想表示された映像に、ポインター５を用いて文字等の情報の入力動作を行うに先立ち、シースルーで観察できる仮想表示枠４１の大きさに対し仮想表示枠４１をカメラユニット２８で撮影し仮想表示する映像表示枠の大きさを適正化させる為に行う動作である。
【００７９】
まず、机の上に、メモリカード３９に保存された試験問題を示す映像が仮想表示される仮想表示枠４１が描かれた仮想表示シート４を用意する。
【００８０】
図４（ａ）において、ＬＣＤ表示領域Ｌは、机上に仮想表示される映像の最大表示領域（最大表示範囲）を示す。撮影画角Ｋは、カメラユニット２８の撮影画角（撮影範囲）を示す。仮想表示枠Ｗはシースルーで観察できる仮想表示枠４１を示す。映像表示枠Ｄは、映像が仮想表示される領域（範囲）を示す。
【００８１】
ここで初期設定動作の流れを図８に示すフローチャートを用いて説明する。
【００８２】
最初に、装着者は椅子に座って通常に試験を受ける姿勢で机上の仮想表示シート４に描かれた仮想表示枠Ｗ（仮想表示枠４１）を見て初期設定スイッチ３４を押す（ステップＳ１）。初期設定スイッチ３４がＯＮされると、カメラユニット２８はライブビュー撮影動作を開始し映像を画像メモリ３８１に取り込む（ステップＳ２）。映像が画像メモリ３８１に取り込まれると、仮想表示枠・ポインター座標検出部３７１は、画像メモリ３８１に書き込まれた映像データを読出し、読み出した映像データにおける被写体のコントラスト（輝度差）に基づいて、仮想表示枠Ｗの座標を検出する（ステップＳ３）。仮想表示枠Ｗの座標が検出されると、映像生成部３７２は、検出された仮想表示枠Ｗの座標に基づいて仮想表示枠Ｗを示す映像（映像表示枠Ｄ）を生成し、ＬＣＤ２６４に点滅表示させる（ステップＳ４）。次に、映像生成部３７２は、予め生成しておいた「ズームスイッチを操作して点滅している映像表示枠をシースルーで観察できる仮想表示枠に合わせた後に初期設定スイッチを押して下さい。」とのメッセージをＬＣＤ２６４に表示させる（ステップＳ５）。装着者は、シースルーで観察できる仮想表示枠Ｗと点滅している映像による映像表示枠Ｄを比較し、ズームスイッチ３２を操作することにより両者の位置（大きさ）を一致させ、ほぼ一致したところで再度初期設定スイッチ３４を押す。再度初期設定スイッチ３４が押されると（ステップＳ６；Ｙｅｓ）、枠位置変動量算出部３７４は、仮想表示枠・ポインター座標検出部３７１で検出された仮想表示枠Ｗの４隅の座標を記憶する（ステップＳ７）。そして、映像生成部３７２は、点滅させている映像表示枠Ｄを点灯表示させる（ステップＳ８）。映像表示枠Ｄが点灯表示に変わると、映像合成部３７３は、メモリカード３９に保存された試験問題を示す映像を読出し映像表示枠Ｄに合わせてＬＣＤ２６４に表示させる。一方、所定の時間初期設定スイッチ３４の入力がない場合（ステップＳ１０；Ｙｅｓ）は、映像生成部３７２は、点滅させている映像表示枠Ｄを消灯させ（ステップＳ１１）エラー表示または再度初期設定を促すメッセージをＬＣＤ２６４に表示させて初期設定動作を終了する。
【００８３】
ここで、ズームスイッチ３２の操作によるカメラユニット２８の撮影画角Ｋと映像表示枠Ｄに表示される映像の関係を図４（ｂ１）乃至（ｄ２）を用いて説明する。
【００８４】
図４（ｂ１）に示す様に、カメラユニット２８の撮影画角ＫがＬＣＤ表示領域Ｌよりも大きい場合、映像表示枠Ｄは相対的に小さくなり、図４（ｂ２）に示す様に、映像表示枠Ｄに表示される試験問題の映像は小さくなる。一方、図４（ｄ１）に示す様に、カメラユニット２８の撮影画角Ｋが仮想表示枠Ｗよりも小さい場合、仮想表示枠Ｗを検出することができず、図４（ｄ２）に示す様に、映像を表示することができない。図４（ｃ１）に示す様に、カメラユニット２８の撮影画角ＫとＬＣＤ表示領域Ｌが一致した場合、すなわち仮想表示枠Ｗと映像表示枠Ｄが一致した場合は、図４（ｃ２）に示す様に、映像表示枠Ｄに表示される試験問題の映像の大きさは最適化される。
【００８５】
また、初期設定動作によってカメラユニット２８の撮影画角Ｋが適正化された後に、装着者の頭部と机（仮想表示枠４１）との距離が変化した場合に表示される映像の状態を図５を用いて説明する。図５（ａ）は、装着者の頭部が机（仮想表示枠Ｗ）に近づいた場合の映像、図５（ｂ）は、装着者の頭部と机（仮想表示枠Ｗ）との距離が適切である場合の映像、図５（ｃ）は、装着者の頭部が机（仮想表示枠Ｗ）から遠ざかった場合の映像を示す模式図である。
【００８６】
図５（ａ）乃至（ｃ）に示す様に、初期設定を適正に行った後に、装着者の頭部と机（仮想表示枠Ｗ）との距離が変化するとＬＣＤ表示領域Ｌ（カメラユニット２８の撮影画角Ｋ）の大きさは変わらずに机上の仮想表示枠Ｗの大きさが近づくと大きく、遠ざかると小さく変化する。カメラユニット２８は装着者の頭部に固定されている為、図５（ａ）に示す様に、頭部が机（仮想表示枠Ｗ）に近づくとカメラユニット２８の撮影画角Ｋに対して机上の仮想表示枠Ｗが大きくなり、仮想表示枠Ｗがカメラユニット２８の撮影画角Ｋ（撮影範囲）を超えると仮想表示枠Ｗを検出できなくなる。一方、図５（ｃ）に示す様に、頭部が机（仮想表示枠Ｗ）から遠ざかるとカメラユニット２８の撮影画角Ｋに対して机上の仮想表示枠Ｗが小さくなる。仮想表示される映像の位置はカメラユニット２８が検出した仮想表示枠Ｗの座標に基づいて制御される為、この机上の仮想表示枠Ｗに応じて大きさが変わる。したがって、試験問題はあたかも机上に表示されたままのように見えるため現実感が得られる。
【００８７】
次に、情報入力動作について図６、図７、及び図９を用いて説明する。図６（ａ）乃至（ｄ）は、情報入力動作に伴う映像の変化の様子を示す模式図である。図７（ａ）乃至（ｃ）は、装着者の頭部動きと仮想表示枠Ｗ、映像表示枠Ｄの関係を示す模式図である。また、図９は、情報入力動作の流れを示すフローチャートである。
【００８８】
本発明は、図７（ａ）に示す様に、適正化されていた仮想表示枠Ｗの位置に対する映像表示枠Ｄの位置が、例えば、装着者が頭部を動かすことにより、図７（ｂ）に示す様に、ずれた場合においても、図７（ｃ）に示す様に、位置検出手段で検出された仮想表示枠Ｗの位置に応じて映像表示枠Ｄの位置を移動させて仮想表示枠Ｗの位置に映像表示枠Ｄの位置を一致させる様に、情報入力装置１で行われる映像表示動作を制御するものである。
【００８９】
ここで情報入力動作の流れを図９に示すフローチャートを用いて説明する。
【００９０】
最初に、モード切替えスイッチ３５を操作して入力モードに設定する（ステップＳ１）。モード切替えスイッチ３５が入力モードに設定されると、カメラユニット２８はライブビュー撮影動作を開始し映像を画像メモリ３８１に取り込む（ステップＳ２）。映像が画像メモリ３８１に取り込まれると、仮想表示枠・ポインター座標検出部３７１は、画像メモリ３８１に書き込まれた映像データを読出し、読み出した映像データにおける被写体のコントラスト（輝度差）に基づいて、仮想表示枠Ｗの４隅の座標（Ｐ，Ｑ，Ｒ，Ｓ）を検出する（ステップＳ３）。仮想表示枠Ｗの座標が検出されると、映像生成部３７２は、図６（ａ）に示す様に、検出された仮想表示枠Ｗの４隅の座標に基づいて仮想表示枠Ｗを示す映像（映像表示枠Ｄ）を生成し、ＬＣＤ２６４に表示させる（ステップＳ４）。そして、映像合成部３７３は、図６（ｂ）に示す様に、メモリカード３９に保存された試験問題を示す映像を読出し映像表示枠Ｄに合わせてＬＣＤ２６４に表示させる（ステップＳ５）。
【００９１】
次に、仮想表示枠・ポインター座標検出部３７１は、画像メモリ３８１に書き込まれた映像データを読出し、読み出した映像データにおける被写体のコントラスト（輝度差）に基づいて、図６（ｃ）に示す様に、ポインター５のペン先の座標（Ｔ）を検出する（ステップＳ６）。尚、前述の様に、画像メモリ３８１に書き込まれる映像データ（デジタル映像信号）は例えば１／３０秒毎に更新されていることから、仮想表示枠・ポインター座標検出部３７１によって検出される仮想表示枠Ｗの４隅の座標（Ｐ，Ｑ，Ｒ，Ｓ）、及びポインター５のペン先の座標（Ｔ）も１／３０秒毎に更新されている。
【００９２】
次に、枠位置変動量算出部３７４は、検出された仮想表示枠Ｗの４隅の座標（Ｐ，Ｑ，Ｒ，Ｓ）と前回検出された座標を比較し、比較した結果、座標が変動していない場合（ステップＳ７；ＮＯ）、表示エリア補正部３７７は、映像表示枠Ｄの位置を移動させない（ステップＳ１０）。そして、映像合成部３７３は、メモリカード３９に保存された試験問題を示す映像を読出し映像表示枠Ｄに合わせてＬＣＤ２６４に表示させる（ステップＳ１１）。映像が映像表示枠Ｄに合わせてＬＣＤ２６４に表示されると、映像生成部３７２は、ポインター相対位置座標算出部３７５で算出され（ステップＳ１２）、ポインター５の移動に伴い時間的に変化するポインター５の座標の軌跡をバッファメモリ３７６から読出し、ポインター５の軌跡を示す映像ＰＴを生成する。そして映像合成部３７３は、図６（ｄ）に示す様に、生成されたポインター５の軌跡を示す映像ＰＴを映像表示枠Ｄに表示されている試験問題を示す映像に合成しＬＣＤ２６４に表示させる（ステップＳ１３）。
【００９３】
一方、ステップＳ７において、枠位置変動量算出部３７４は、検出された仮想表示枠Ｗの４隅の座標Ｐ，Ｑ，Ｒ，Ｓと前回検出された座標を比較し、比較した結果、座標が変動している場合（ステップＳ７；Ｙｅｓ）、その変動量を算出する（ステップＳ８）。具体的には、仮想表示枠Ｗの４隅の座標Ｐ，Ｑ，Ｒ，Ｓの変動量をΔＰ，ΔＱ，ΔＲ，ΔＳとし、頭部が仮想表示枠Ｗに対し右に、例えば、Ｘ座標で１０動いた場合、ΔＰ，ΔＱ，ΔＲ，ΔＳのＸ座標の変動量、Ｙ座標の変動量は、それぞれ下記（式１）、（式２）の値となる。
ΔＰｘ＝ΔＱｘ＝ΔＲｘ＝ΔＳｘ＝−１０ （式１）
ΔＰｙ＝ΔＱｙ＝ΔＲｙ＝ΔＳｙ＝０ （式２）
変動量が算出されると、表示エリア補正部３７７は、算出された変動量に応じて、映像表示枠Ｄの位置を移動させる（ステップＳ９）。ここでは、映像表示枠Ｄの位置を左に、（Ｘ座標で−１０）移動させる。そして、映像合成部３７３は、メモリカード３９に保存された試験問題を示す映像を読出し映像表示枠Ｄに合わせてＬＣＤ２６４に表示させる（ステップＳ１１）。
【００９４】
また、頭部が仮想表示枠Ｗから遠ざかる方向に動いた場合、例えば、仮想表示枠Ｗの面に対して垂直に遠ざかる場合は、カメラユニット２８が認識する仮想表示枠Ｗは小さくなり、前回に対して内側の方向に移動する。この時Ｘ座標、Ｙ座標の変動量をそれぞれ５とすると、ΔＰ，ΔＱ，ΔＲ，ΔＳのＸ座標の変動量、Ｙ座標の変動量は、それぞれ下記（式３）乃至（式６）の値となる。
ΔＰｘ＝ΔＲｘ＝５ （式３）
ΔＱｘ＝ΔＳｘ＝−５ （式４）
ΔＰｙ＝ΔＱｙ＝−５ （式５）
ΔＲｙ＝ΔＳｙ＝５ （式６）
試験問題の映像は常に座標Ｐ、Ｑ、Ｒ、Ｓを４隅として表示されるので、この場合は前回に比べて縮小されることになる。
【００９５】
次に、ポインター相対位置座標算出部３７５はポインター５の表示位置を算出する（ステップＳ１２）。映像表示枠Ｄは、上述の様に、並行移動であったり、拡大／縮小であったり、またそれらの組合せであったり複雑な変化をするが、その動きはカメラユニット２８と連動するため大きな誤差は生じない。しかしながら、ポインター５は装着者の手の動きに連動しており、頭部の動きとは独立している。従って、ポインター５の位置の認識は座標Ｔの絶対値で認識すると補正が難しく、精度も悪くなる。つまり、絶対値ではなく仮想表示枠Ｗの４隅の座標Ｐ，Ｑ，Ｒ，Ｓに対する相対位置を求めることでこの問題を解決できる。
【００９６】
具体的には、カメラユニット２８で認識された仮想表示枠Ｗの４隅の座標Ｐ，Ｑ，Ｒ，Ｓから以下のように求める。
【００９７】
最初に、仮想表示枠Ｗの４隅の座標Ｐ（Ｐｘ，Ｐｙ），Ｑ（Ｑｘ，Ｑｙ），Ｒ（Ｒｘ，Ｒｙ），Ｓ（Ｓｘ，Ｓｙ）に対するポインター５の座標Ｔ（Ｔｘ，Ｔｙ）の左右方向（Ｘ軸方向）の比α、上下方向（Ｙ軸方向）の比βを下記（式７）、（式８）より算出する。
α：（Ｔｘ−Ｐｘ）／（Ｑｘ−Ｐｘ） （式７）
β：（Ｔｙ−Ｒｙ）／（Ｐｙ−Ｒｙ） （式８）
（式７）、（式８）より算出されたポインター５の座標Ｔ（Ｔｘ，Ｔｙ）の左右方向（Ｘ軸方向）の比α、上下方向（Ｙ軸方向）の比βより、ポインター５の仮想表示枠Ｗの４隅の座標Ｐ，Ｑ，Ｒ，Ｓに対する相対位置座標Ｔ’（Ｔｘ’，Ｔｙ’）は、下記（式９）、（式１０）で求められる。
Ｔｘ’＝α｛（Ｑｘ＋ΔＱｘ）−（Ｐｘ＋ΔＰｘ）｝＋Ｐｘ＋ΔＰｘ （式９）
Ｔｙ’＝β｛（Ｐｙ＋ΔＰｙ）−（Ｒｙ＋ΔＲｙ）｝＋Ｒｙ＋ΔＲｙ （式１０）
ポインター相対位置座標算出部３７５は、この様にして求めた、相対位置座標Ｔ’をバッファメモリ３７６に記録する。映像生成部３７２は、ポインター５の相対位置座標Ｔ’をバッファメモリ３７６から読出し、相対位置座標Ｔ’の位置にポインター５の軌跡を示す映像ＰＴを生成する。そして映像合成部３７３は、生成されたポインター５の軌跡を示す映像ＰＴを映像表示枠Ｄに表示されている試験問題を示す映像に合成しＬＣＤ２６４に表示表示させる（ステップＳ１３）。カメラユニットは前述の様に、例えば１／３０秒毎映像を取り込んでいることから、図９を用いて説明したフローを繰り返すことにより、ポインター５の座標Ｔ’が軌跡として表示される。
【００９８】
この様に、本発明においては、仮想表示枠Ｗに仮想表示されたＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等に、容易に、且つ正確に情報を入力することができる。すなわち、装着者が頭部を動かすことにより、仮想表示枠Ｗの位置と映像表示枠Ｄの位置にずれが生じた場合においても、位置検出手段で検出された仮想表示枠Ｗの位置に応じて映像表示枠Ｄの位置を移動させて仮想表示枠４１の位置に映像表示枠Ｄの位置を一致させることができる。これにより、現実世界と仮想世界との位置のずれがなくなり、仮想表示された映像に、容易に、且つ正確に情報を入力することができる様になる。
【００９９】
尚、本発明における情報入力装置１おいては、ＤＶＤ、ビデオ等のコンテンツ映像やテキスト映像等に入力された文字等の情報の全てを消去したり、また、その一部を消去することもできる。具体的には、モード切替えスイッチ３５を操作して全消去モードに設定すると、バッファメモリ３７６に記憶されているポインター５の座標の軌跡が全て消去され、映像に合成されている文字等の情報は全て消去される。また、モード切替えスイッチ３５を操作して部分消去モードに設定し、仮想表示されているポインター５の位置の軌跡を示す映像ＰＴをポインター５でトレースすることにより、該映像のトレースされた部位に相当するバッファメモリ３７６に記憶されているポインター５の座標の軌跡が消去され、映像に合成されている文字等の情報は、その一部が消去される。これにより、装着者は目的に応じて所望の情報のみを容易に消去することができる。
【０１００】
以上、本発明を実施の形態を参照して説明してきたが、本発明は前述の実施の形態に限定して解釈されるべきでなく、適宜変更、改良が可能であることは勿論である。例えば、前述の実施の形態においては、ズームレンズ２８１を用いてカメラユニット２８の撮影画角Ｋを調整する様にしたが、ズームレンズ２８１の替わりに広角レンズを用い、広角レンズによって広角撮影された映像を、電子ズーム（デジタルズーム）により拡大する等して画角調整を行う様にしてもよい。
【図面の簡単な説明】
【０１０１】
【図１】本発明に係る情報入力装置の全体構成図である。
【図２】本発明に係る情報入力装置における表示ユニットの側断面図である。
【図３】本発明に係る情報入力装置の電気回路ブロック構成図である。
【図４】本発明に係る情報入力装置におけるカメラユニットの撮影画角と各表示領域との関係を示す模式図である。
【図５】装着者の頭部から仮想表示シートまで距離と仮想表示される映像の関係を示す模式図である。
【図６】情報入力動作に伴う映像の変化の様子を示す模式図である。
【図７】装着者の頭部動きと仮想表示枠、映像表示枠の関係を示す模式図である。
【図８】初期設定動作の流れを示すフローチャートである。
【図９】情報入力動作の流れを示すフローチャートである。
【符号の説明】
【０１０２】
１ 情報入力装置
２ ＨＭＤ
２１Ｒ，２１Ｌ テンプル
２２ ブリッジ
２３Ｒ，２３Ｌ 鼻当て
２４Ｒ，２４Ｌ 透明基板
２５ 表示ユニット
２６ ＬＣＤ表示部
２６１ 筐体
２６２ ＬＥＤ
２６３ コリメータレンズ
２６４ ＬＣＤ
２７ 接眼光学系
２７１ プリズム
２７２ ＨＯＥ
２８ カメラユニット
２８１ ズームレンズ
２８２ ＣＣＤエリアセンサ
２８３ ＡＦＥ
２８４ 画像処理部
２８７ ズームモータ
２９Ｒ，２９Ｌ イヤホン
３ 制御ユニット
３１ 電源スイッチ
３２ ズームスイッチ
３３ 音声ボリューム
３４ 初期設定スイッチ
３５ モード切替えスイッチ
３６ ケーブル
３７ 制御部
３７１ 仮想表示枠・ポインター座標検出部
３７２ 映像生成部
３７３ 映像合成部
３７４ 枠位置変動量算出部
３７５ ポインター相対位置座標算出部
３７６ バッファメモリ
３７７ 表示エリア補正部
３７８ ズームモータ駆動回路
３７９ 音声出力回路
３８１ 画像メモリ
３８２ ＶＲＡＭ
３９ メモリカード
４ 仮想表示シート
４１ 仮想表示枠
５ ポインター
５１ ＬＥＤ
Ｅ 目
【特許請求の範囲】
【請求項１】
頭部や顔面に装着され映像を表示し外界をシースルー可能な表示手段と、前記映像が仮想表示される仮想表示枠と、仮想表示された前記映像に情報を入力するポインターと、を備えた情報入力装置であって、
前記仮想表示枠の位置および前記ポインターの位置を検出する位置検出手段と、
前記位置検出手段で検出された前記ポインターの位置の軌跡を前記映像に合成する合成手段と、
前記位置検出手段で検出された前記仮想表示枠の位置に応じて前記映像が仮想表示される位置を制御する表示位置制御手段と、を有することを特徴とする情報入力装置。
【請求項２】
前記位置検出手段は、外界を撮影しズーム機能を備えたカメラユニットを有することを特徴とする請求項１に記載の情報入力装置。
【請求項３】
前記位置検出手段は、前記カメラユニットで撮影された映像のコントラストに基づいて前記仮想表示枠の位置および前記ポインターの位置を検出することを特徴とする請求項１または２に記載の情報入力装置。
【請求項４】
前記仮想表示枠は、その面上に枠が設けられたシートであり、
前記枠と前記シートの光の反射率は異なることを特徴とする請求項１乃至３のいずれか１項に記載の情報入力装置。
【請求項５】
前記合成手段は、前記位置検出手段で検出された前記仮想表示枠の位置に基づいて、所定の映像や情報を前記表示手段に出力することを特徴とする請求項１乃至４のいずれか１項に記載の情報入力装置。
【請求項６】
前記ポインターは、ペン型形状に形成されていることを特徴とする請求項１に記載の情報入力装置。
【請求項７】
前記ポインターは、一方の端に光源を備え、
前記光源が対象物に加圧接触されると該光源は点灯することを特徴とする請求項６に記載の情報入力装置。
【請求項８】
前記合成手段で前記ポインターの位置の軌跡を前記映像に合成する入力モードと前記映像に合成された前記ポインターの位置の軌跡の全てを消去する全消去モードとその一部を消去する部分消去モードのいずれかを選択するモード切替えスイッチを有することを特徴とする請求項１乃至７のいずれか１項に記載の情報入力装置。
【請求項９】
前記モード切替えスイッチによって、前記部分消去モードが選択されている場合、前記合成手段によって前記映像に合成され前記仮想表示枠に仮想表示された前記ポインターの位置の軌跡を前記ポインターでトレースすることにより、該軌跡のトレースされた部位が消去されることを特徴とする請求項１乃至８のいずれか１項に記載の情報入力装置。
【請求項１】
頭部や顔面に装着され映像を表示し外界をシースルー可能な表示手段と、前記映像が仮想表示される仮想表示枠と、仮想表示された前記映像に情報を入力するポインターと、を備えた情報入力装置であって、
前記仮想表示枠の位置および前記ポインターの位置を検出する位置検出手段と、
前記位置検出手段で検出された前記ポインターの位置の軌跡を前記映像に合成する合成手段と、
前記位置検出手段で検出された前記仮想表示枠の位置に応じて前記映像が仮想表示される位置を制御する表示位置制御手段と、を有することを特徴とする情報入力装置。
【請求項２】
前記位置検出手段は、外界を撮影しズーム機能を備えたカメラユニットを有することを特徴とする請求項１に記載の情報入力装置。
【請求項３】
前記位置検出手段は、前記カメラユニットで撮影された映像のコントラストに基づいて前記仮想表示枠の位置および前記ポインターの位置を検出することを特徴とする請求項１または２に記載の情報入力装置。
【請求項４】
前記仮想表示枠は、その面上に枠が設けられたシートであり、
前記枠と前記シートの光の反射率は異なることを特徴とする請求項１乃至３のいずれか１項に記載の情報入力装置。
【請求項５】
前記合成手段は、前記位置検出手段で検出された前記仮想表示枠の位置に基づいて、所定の映像や情報を前記表示手段に出力することを特徴とする請求項１乃至４のいずれか１項に記載の情報入力装置。
【請求項６】
前記ポインターは、ペン型形状に形成されていることを特徴とする請求項１に記載の情報入力装置。
【請求項７】
前記ポインターは、一方の端に光源を備え、
前記光源が対象物に加圧接触されると該光源は点灯することを特徴とする請求項６に記載の情報入力装置。
【請求項８】
前記合成手段で前記ポインターの位置の軌跡を前記映像に合成する入力モードと前記映像に合成された前記ポインターの位置の軌跡の全てを消去する全消去モードとその一部を消去する部分消去モードのいずれかを選択するモード切替えスイッチを有することを特徴とする請求項１乃至７のいずれか１項に記載の情報入力装置。
【請求項９】
前記モード切替えスイッチによって、前記部分消去モードが選択されている場合、前記合成手段によって前記映像に合成され前記仮想表示枠に仮想表示された前記ポインターの位置の軌跡を前記ポインターでトレースすることにより、該軌跡のトレースされた部位が消去されることを特徴とする請求項１乃至８のいずれか１項に記載の情報入力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−９４９０（Ｐ２００８−９４９０Ａ）
【公開日】平成２０年１月１７日（２００８．１．１７）
【国際特許分類】
【出願番号】特願２００６−１７６２９４（Ｐ２００６−１７６２９４）
【出願日】平成１８年６月２７日（２００６．６．２７）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２０年１月１７日（２００８．１．１７）
【国際特許分類】
【出願日】平成１８年６月２７日（２００６．６．２７）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]