仮想映像表示システム及び仮想映像表示方法
【課題】マーカや姿勢センサを用いることなく、簡易的に拡張現実感を作り出す仮想映像表示システムを提供する。
【解決手段】撮像部２０と、前記撮像部２０と所定の位置関係で配置されたスクリーン２１と、映像オブジェクトが記憶された映像オブジェクト記憶部３０と、撮像部２０で撮影された実映像に対応して、前記映像オブジェクト記憶部３０から所定の映像オブジェクトを読み出し、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する仮想映像生成部３１と、仮想映像を前記スクリーン２１に表示する仮想映像表示部３２を備えた仮想映像表示システム１で、所定の時点で前記撮像部２０の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部２０の視点の変位に対応した仮想映像を生成するように前記仮想映像生成部３１を構成する。
【解決手段】撮像部２０と、前記撮像部２０と所定の位置関係で配置されたスクリーン２１と、映像オブジェクトが記憶された映像オブジェクト記憶部３０と、撮像部２０で撮影された実映像に対応して、前記映像オブジェクト記憶部３０から所定の映像オブジェクトを読み出し、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する仮想映像生成部３１と、仮想映像を前記スクリーン２１に表示する仮想映像表示部３２を備えた仮想映像表示システム１で、所定の時点で前記撮像部２０の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部２０の視点の変位に対応した仮想映像を生成するように前記仮想映像生成部３１を構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像部により撮影された実映像に対応して仮想映像を生成し、当該仮想映像をスクリーンに表示する仮想映像表示システム及び仮想映像表示方法に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置で撮影した映像に、コンピュータ等の仮想映像生成装置で生成した仮想映像を合成してヘッドマウントディスプレイ（Head Mounted Display）等の表示装置に表示する仮想映像表示システムが提案されている。このような技術は、複合現実感（Mixed Reality）や拡張現実感（Augmented Reality）と呼ばれる。
【０００３】
仮想映像表示システムでは、撮像装置により撮影された映像に映し出される実在のオブジェクトと、仮想映像生成装置により生成された仮想映像は、多くの場合、従属的な位置関係を有している。当該仮想映像は、当該実在のオブジェクトに対して密接な位置関係で合成され、表示装置に表示される。
【０００４】
特許文献１には、このような仮想映像表示システムとして、既知の位置に配置された第１の複数のマーカを有する作業台と、作業者の頭部姿勢を検出するために作業者に装着される姿勢センサと、前記第１の複数のマーカのうちの少なくとも１つが視野に入るように設定されたカメラと、前記カメラからの画像信号を処理して、前記第１の複数のマーカの中の任意のマーカを追跡し、この追跡マーカの座標値を検出する検出手段と、前記検出手段によって得られた前記追跡マーカの座標値と前記位置姿勢センサからの頭部位置姿勢信号とに基づいて、前記作業者の視点の位置姿勢を表す視点の位置姿勢信号を演算する演算手段と、前記視点の位置姿勢信号に応じた視点位置に、複合現実感を提示するための仮想画像を生成する生成手段とを具備することを特徴とする複合現実感提示装置が開示されている。
【０００５】
特許文献１に開示された複合現実感提示装置では、演算手段により求められた位置姿勢信号に応じた作業台上の作業者の視点位置に、生成手段により仮想画像が生成される。
【特許文献１】特開平１１−１３６７０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示された複合現実感提示装置を用いるには、カメラで撮影する作業台などの実在のオブジェクトにマーカを備え、作業者に姿勢センサを備えることが必要になる。しかし、実在のオブジェクトと仮想映像が従属的な位置関係を有さないとき、換言すると、当該オブジェクトと仮想映像の位置関係に厳しい拘束が要求されないとき、当該マーカや当該姿勢センサは不要である。
【０００７】
実在のオブジェクトに仮想映像を密接な位置関係で合成して表示する必要がなく、当該オブジェクトの少なくとも所定の範囲内の位置に仮想映像が表示されればよいときには、不要なマーカやセンサを必要とする当該複合現実感提示装置は、オーバスペックであり好ましくない。また、美観の観点からも、不要なマーカをオブジェクトに備えることは好ましくない。
【０００８】
本発明の目的は、上述した従来の問題点に鑑み、マーカや姿勢センサを用いることなく、簡易的に拡張現実感を作り出す仮想映像表示システム及び仮想映像表示方法を提供する点にある。
【課題を解決するための手段】
【０００９】
上述の目的を達成するため、本発明による仮想映像表示システムの第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、撮像部と、前記撮像部と所定の位置関係で配置され、仮想的な映像を表示するスクリーンと、仮想的な映像の基準データで定義される映像オブジェクトが記憶された映像オブジェクト記憶部と、前記撮像部により撮影された実映像に対応して、前記映像オブジェクト記憶部に記憶された所定の映像オブジェクトを読み出して、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する仮想映像生成部と、前記仮想映像生成部により生成された仮想映像を前記スクリーンに表示する仮想映像表示部を備えている仮想映像表示システムであって、前記仮想映像生成部は、所定の時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する点にある。
【００１０】
仮想映像生成部は、撮像部により撮影された実在の映像で検出された特徴点の変位に基づいて算出される撮像部の視点の変位に対応して、所定の時点で撮像部の視点から基準仮想映像を眺めた仮想映像を変化させて生成する。従って、現実の映像に基づいて検出される撮像部の視点の変位に応じて、仮想映像生成部により仮想映像の位置は姿勢が変化するようになる。
【００１１】
同第二の特徴構成は、同請求項２に記載した通り、上述の第一の特徴構成に加えて、前記仮想映像生成部は、仮想映像の表示を起動するスイッチ信号を検出した時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する点にある。
【００１２】
所定の視点から眺めた映像オブジェクトの仮想映像を、所定の時点で撮像部の視点から眺めた基準仮想映像として表示する時点が、仮想映像の表示を起動するスイッチ信号を検出した時点として設定される。
【００１３】
本発明による仮想映像表示方法の第一の特徴構成は、同請求項３に記載した通り、撮像部で実映像を撮影する撮影ステップと、前記撮影ステップで撮影された実映像に対応して、映像オブジェクト記憶部に記憶された所定の映像オブジェクトを読み出して、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する仮想映像生成ステップと、前記仮想映像生成ステップで生成された仮想映像をスクリーンに表示する仮想映像表示ステップを備えている仮想映像表示方法であって、前記仮想映像生成ステップで、所定の時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する点にある。
【００１４】
同第二の特徴構成は、同請求項４に記載した通り、上述の第一の特徴構成に加えて、前記仮想映像生成ステップで、仮想映像の表示を起動するスイッチ信号を検出した時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する点にある。
【発明の効果】
【００１５】
以上説明した通り、本発明によれば、マーカや姿勢センサを用いることなく、簡易的に拡張現実感を作り出す仮想映像表示システム及び仮想映像表示方法を提供することができるようになった。
【発明を実施するための最良の形態】
【００１６】
以下に、本発明による仮想映像表示システムについて説明する。
図１に示すように、仮想映像表示システム１は、ヘッドマウントディスプレイ（以下、「ＨＭＤ」と記載する。）２とコンピュータ端末３を備えている。
【００１７】
ＨＭＤ２には、撮像装置２０と、スクリーン２１と、投影装置２２が備えられている。撮像装置２０は本発明の撮像部である。撮像装置２０は、例えば、小型ビデオカメラで構成され、撮影した実在の空間の映像（以下、「実映像」と記載する。）をコンピュータ端末３に入力する。スクリーン２１は、撮像装置２０と所定の位置関係で配置され、仮想的な映像（以下、「仮想映像」と記載する。）を表示する。投影装置２２は、コンピュータ端末３から入力された仮想映像をスクリーン２１に表示する。
【００１８】
投影装置２２によりスクリーン２１に表示された仮想映像には、二次元または三次元の仮想物体でなる映像オブジェクトが映し出されている。当該仮想映像は、スクリーン２１を透過した実映像と合成された映像として、ＨＭＤ２の装着者の目に到達する。従って、当該装着者には、映像オブジェクトが実在の空間に存在しているように見える。
【００１９】
コンピュータ端末３には、映像処理部３４と視点変位算出部３３と映像オブジェクト記憶部３０と仮想映像生成部３１と仮想映像表示部３２が備えられている。
【００２０】
映像オブジェクト記憶部３０は、コンピュータ端末３に備えられたハードディスクなどの記憶部に区画された領域で構成されている。映像オブジェクト記憶部３０には、仮想的な映像の基準データで定義される映像オブジェクトが記憶されている。具体的に、映像オブジェクトは、ベクタデータの形式で映像オブジェクト記憶部３０に記憶されている。
【００２１】
映像処理部３４と視点変位算出部３３と仮想映像生成部３１と仮想映像表示部３２は、記憶部に格納された画像処理用アプリケーションなどの動作プログラムを実行するＣＰＵと、当該ＣＰＵにより制御されるメモリと記憶部と画像処理用ハードウェア装置（例えば、画像処理用回路が搭載された画像処理ボードなど）などにより具現化される本発明に関する機能ブロックである。
【００２２】
仮想映像生成部３１は、撮像装置２０により撮影された実映像に対応して、映像オブジェクト記憶部３０に記憶された所定の映像オブジェクトを読み出して、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する。
【００２３】
具体的に、ＨＭＤ２に設けられた仮想映像の表示を起動するスイッチ（不図示）が操作されると、当該スイッチ信号がコンピュータ端末３に入力される。当該スイッチ信号を検出すると、仮想映像生成部３１は、撮像装置２０により撮影された実映像に対応する所定の映像オブジェクトを映像オブジェクト記憶部３０から読み出し、所定の視点から眺めた当該映像オブジェクトをレンダリングして仮想映像を生成し、当該仮想映像を撮像装置２０の視点に対する基準仮想映像とする。例えば、正面を向いた姿勢の映像オブジェクトに対応した仮想映像を生成し、当該仮想映像を当該スイッチ信号検出時点での撮像装置２０の視点に対する基準仮想映像とする。
【００２４】
仮想映像表示部３２により、生成された基準仮想映像がスクリーン２１の中央部、或は右下方など予め設定されている位置に表示される。
【００２５】
撮像装置２０の視点が変位すると、仮想映像生成部３１は、仮想映像の表示を起動するスイッチ信号を検出した時点で撮像装置２０の視点から眺めた基準仮想映像に基づいて、当該実映像の特徴点から算出される撮像装置２０の視点の変位に対応した仮想映像を生成する。
【００２６】
つまり、仮想映像生成部３１は、撮像装置２０の視点の変位に対応して、当該スイッチ信号を検出した時点の撮像装置２０の視点から眺めた基準仮想映像に表示された位置及び姿勢の映像オブジェクトを、現時点の撮像装置２０の視点から眺めた仮想映像を生成する。
【００２７】
仮想映像表示部３２は、仮想映像生成部３１により生成された仮想映像を、投影装置２２を介してスクリーン２１に表示する。
【００２８】
従って、仮想映像の表示を起動するスイッチが操作されると、仮想映像表示部３２によりスクリーン２１の中央に正面を向いた姿勢で映像オブジェクトが表示される仮想映像が表示され、その後、撮像装置２０の視点が変位すると、スイッチ信号を検出した時点で撮像装置２０の視点から眺めた位置及び姿勢の映像オブジェクトを当該変位した視点から眺めた仮想映像が表示される。
【００２９】
撮像装置２０の視点の変位は、視点変位算出部３３により算出される。以下、詳述する。
【００３０】
映像処理部３４は、撮像装置２０から入力された実映像からコンピュータ端末３で処理可能な映像データを生成する。具体的に、映像処理部３４は入力された実映像に基づいて、ビットマップデータでなるフレーム画像を生成する。
【００３１】
視点変位算出部３３は、映像処理部３４から入力されたフレーム画像から特徴点を抽出して当該特徴点の変位を求め、当該変位に基づいて、撮像装置２０の視点の変位を算出する。具体的に、視点変位算出部３３は、フレーム画像を微分処理してエッジ抽出し、エッジの交点を特徴点として抽出し、各特徴点の位置情報を記憶する。
【００３２】
例えば、視点変位算出部３３は、図２（ａ）に示すフレーム画像から抽出した各特徴点の位置情報を、フレーム画像の左下の画素を基準として取得し、メモリなどの一時記憶装置に記憶する。また、当該フレーム画像（以下、「前回フレーム画像」と記載する。）の次に入力された図２（ｂ）に示すフレーム画像（以下、「今回フレーム画像」と記載する。）についても同様に、各特徴点の位置情報を取得して記憶する。当該前回フレーム画像と当該今回フレーム画像には、同一の４つの特徴点（Ｐ０、Ｐ１、Ｐ２、Ｐ３）が含まれている。
【００３３】
視点変位検出部３３は、今回フレーム画像と前回フレーム画像に含まれる各特徴点の位置情報を、夫々の特徴点について比較し、各特徴点の変位及び全特徴点の相関関係の変化を求める。そして、当該変位及び当該相関関係の変化に基づいて撮像装置２０の視点の変位、即ち、撮像装置２０の視点の縦横斜め方向の移動、前後方向の移動、回転移動及び移動距離を算出する。
【００３４】
図２（ｂ）に示す今回フレーム画像と図２（ａ）に示す前回フレーム画像に基づいて、視点変位検出部３３により求められた各特徴点の変位は、水平方向に「＋Δｘ」と垂直方向に「＋Δｙ」である。また、各特徴点の位置関係及び特徴点間距離は同一であり、相関関係は維持されている。
【００３５】
従って、視点変位検出部３３は、撮像装置２０の視点は、当該前回フレーム画像を撮影したときから、当該今回フレーム画像を撮影したときに水平方向に「−Δｘ」と垂直方向に「−Δｙ」移動したと算出する。
【００３６】
以下に、仮想映像表示システム１による仮想映像表示動作について、図３に示すフローチャートを用いて説明する。
【００３７】
仮想映像表示を開始するスイッチが操作されると、撮像装置２０により実映像の撮影が開始され、仮想映像生成部３１により当該実映像に対応して、映像オブジェクト記憶部３０に記憶された所定の映像オブジェクトが読み出される（ＳＡ１〜ＳＡ３）。
【００３８】
仮想映像生成部３１により、当該映像オブジェクトがレンダリングされて基準仮想映像が生成され、仮想映像表示部３２により、当該基準仮想映像がスクリーン２１に表示される（ＳＡ４、ＳＡ５）。
【００３９】
映像処理部３４により、撮像装置２０で撮影された実映像からビットマップデータでなるフレーム画像が生成され（ＳＡ６）、視点変位算出部３３により、フレーム画像から特徴点が抽出され、当該特徴点の位置情報が記憶される（ＳＡ７、ＳＡ８）。
【００４０】
視点変位算出部３３により、今回フレーム画像と前回フレーム画像の特徴点の位置情報が比較されて各特徴点の変位及び相関関係が求められ、当該変位及び当該相関関係に基づいて、撮像装置２０の視点の変位が算出される（ＳＡ９、ＳＡ１０）。
【００４１】
撮像装置の視点の変位があれば（ＳＡ１１）、仮想映像生成部３１により、変位前の視点から眺めた位置及び姿勢の映像オブジェクトを、現在の撮像装置２０の視点から眺めた仮想映像が生成され（ＳＡ４）、仮想映像表示部３２により、スクリーン２１に当該仮想映像が表示される（ＳＡ５）。
【００４２】
以下に、当該仮想映像表示システムが採用された情報案内装置について説明する。
【００４３】
情報案内装置４は、美術館などに展示された作品の作品情報や作者情報などを案内するＨＭＤである。図４（ａ）、図４（ｂ）に示すように、情報案内装置４は、撮像装置４０とスクリーン４１と投影装置４２と情報案内制御装置４３を備えている。
【００４４】
情報案内制御装置４３には、映像処理部４８と視点変位算出部４７と映像オブジェクト記憶部４４と仮想映像生成部４５と仮想映像表示部４６と映像オブジェクト選択部４９が備えられている。
【００４５】
映像オブジェクト記憶部４４は、情報案内制御装置４３に備えられたフラッシュＲＯＭなどの記憶部に区画された領域で構成されている。映像オブジェクト記憶部４４には、情報案内を行う作品の作品情報や作者情報に対応する映像オブジェクトが作品毎に記憶されている。
【００４６】
映像処理部４８と視点変位算出部４７と仮想映像生成部４５と仮想映像表示部４６と映像オブジェクト選択部４９は、情報案内制御装置４３に備えられたマイクロコンピュータと、当該マイクロコンピュータにより制御される記憶部と受信アンテナと画像処理回路や受信回路などの周辺回路などにより具現化される機能ブロックである。
【００４７】
映像オブジェクト選択部４９は、情報案内を行う各作品の近傍に設置された不図示の送信部から送信される無線電波でなる作品選択信号（例えば、各作品に個別に付与されたコード番号を示す信号など）を受信する。
【００４８】
そして、映像オブジェクト選択部４９は、当該作品選択信号で示される作品に対応する映像オブジェクトを、スクリーン４１に表示する仮想映像に対応する映像オブジェクトとして選択する。
【００４９】
作品選択信号は、情報を案内すべき作品を示す信号であり、映像オブジェクトに対応する仮想映像の表示を起動するスイッチ信号である。
【００５０】
映像オブジェクト選択部４９は、受信した作品選択信号が複数あるときには、受信レベルの最も高い作品選択信号で示される映像オブジェクトを選択する。
【００５１】
以下に、映像オブジェクト選択部４９による映像オブジェクト選択動作について、図５に示すフローチャートを用いて説明する。
【００５２】
作品選択信号が複数入力されると、映像オブジェクト選択部４９により、夫々の受信レベルが確認され、受信レベルの最も高い作品選択信号に対応する作品の映像オブジェクトがスクリーン４１に表示する仮想映像に対応する映像オブジェクトとして選択される（ＳＢ１〜ＳＢ４）。
【００５３】
作品選択信号が１つ入力されると、映像オブジェクト選択部４９により、当該作品選択信号に対応する作品の映像オブジェクトが選択される（ＳＢ１、ＳＢ２、ＳＢ５）。
【００５４】
仮想映像生成部４５は、映像オブジェクト選択部４９により新たな映像オブジェクトが選択されると、撮像装置４０により撮影された実映像に対応する映像オブジェクトとして、映像オブジェクト記憶部４４から当該映像オブジェクトを読み出して、スクリーン４１の所定の位置に、所定の姿勢の当該映像オブジェクトが表示される仮想映像を基準仮想映像として生成する。
【００５５】
また、撮像装置４０の視点が変位すると、仮想映像生成部４５は、映像オブジェクト選択部４９により作品選択信号が検出された時点で撮像装置４０の視点から眺めた基準仮想映像に基づいて、当該実映像の特徴点から算出される撮像装置４０の視点の変位に対応した仮想映像を生成する。
【００５６】
つまり、仮想映像生成部４５は、視点変位算出部４７により算出された撮像装置４０の視点の変位に対応して、撮像装置４０の視点から眺めた位置や姿勢が変化した映像オブジェクトに対応する仮想映像を生成する。
【００５７】
以下に、情報案内装置４による情報案内となる仮想映像表示動作について、図６に示すフローチャートを用いて説明する。
【００５８】
映像オブジェクト選択部４９により、最初の映像オブジェクトが選択されると、撮像装置４０により撮影が開始され、仮想映像生成部４５により、撮像装置４０で撮影された実映像に対応して、当該映像オブジェクトが映像オブジェクト記憶部４４から読み出される（ＳＣ１〜ＳＣ３）。
【００５９】
仮想映像生成部４５により、スクリーン４１の所定の位置に所定の姿勢で当該映像オブジェクトが表示される基準仮想映像が生成され、仮想映像表示部４６により当該基準仮想映像が投影装置４２を介して、スクリーン４１に表示される（ＳＣ４、ＳＣ５）。
【００６０】
撮像装置４０により撮影された実映像に基づき、映像処理部４８によりビットマップデータでなるフレーム画像が生成され、視点変位算出部４７により、フレーム画像の特徴点から撮像装置４０の視点の変位が算出される（ＳＣ６、ＳＣ７）。
【００６１】
撮像装置４０の視点に移動がなければ、仮想映像表示部４６によりスクリーン４１に表示される仮想映像は変化しない（ＳＣ８）。
【００６２】
撮像装置４０の視点に移動があり（ＳＣ８）、映像オブジェクト選択部４９により、新たな映像オブジェクトが選択されると（ＳＣ９）、仮想映像生成部４５により、撮像装置４０で撮影された実映像に対応して、当該映像オブジェクトが映像オブジェクト記憶部４４から読み出され、基準仮想映像が生成され、仮想映像表示部４６により当該基準仮想映像が表示される（ＳＣ３〜ＳＣ５）。
【００６３】
撮像装置４０の視点に移動があり（ＳＣ８）、映像オブジェクト選択部４９により、新たな映像オブジェクトが選択されなければ（ＳＣ９）、仮想映像生成部４５により、撮像装置４０の視点から眺めた位置や姿勢が変化した映像オブジェクトに対応する仮想映像が生成され、仮想映像表示部４６により当該仮想映像が表示される（ＳＣ４、ＳＣ５）。
【００６４】
情報案内装置４は、美術館などに展示された作品の作品情報や作者情報を案内にのみ用いられるものではない。例えば、複写機などの画像形成装置の操作パネルの操作方法や、当該装置に生じたトラブル（紙詰まり、紙切れ、トナーやインクなどの印刷部材切れ等）の案内及びトラブル対処方法を案内するものとして用いることができる。
【００６５】
この場合、操作パネルに配置されたハードウェアキーや、液晶パネル上に表示される操作画面上のソフトウェアキーに対応する説明文などや、各トラブルの内容説明文や対処方法の説明文などに対応する映像オブジェクトが映像オブジェクト記憶部４４に記憶される。
【００６６】
仮想映像生成部４５は、情報案内装置４に取り付けられた案内開始要求キーの操作に基づくキー操作信号、または、画像形成装置で生じたトラブルに対応するトラブル信号に基づいて、撮像装置４０で撮影された実映像に対応する映像オブジェクトを映像オブジェクト記憶部４４から読み出して基準仮想映像を生成し、また、撮像装置４０の視点の変位に対応した仮想映像を生成する。
【００６７】
以下に、当該仮想映像表示システムが採用された携帯電話機について説明する。図７に示すように、携帯電話機５は、撮像部５０とスクリーン５１と映像処理部５６と視点変位算出部５５と映像オブジェクト記憶部５２と仮想映像生成部５３と仮想映像表示部５４と映像オブジェクト選択部５７を備えている。
【００６８】
撮像部５０は携帯電話機５に内蔵された小型カメラで構成され、スクリーン５１は液晶表示パネルで構成され、映像オブジェクト記憶部５２はフラッシュＲＯＭなどの記憶部に区画された領域で構成されている。
【００６９】
映像オブジェクト記憶部５２には、電子出版書籍などの文書が表示された仮想的な用紙（以下、「仮想用紙」と記載する。）に対応する映像オブジェクトが仮想用紙毎に記憶されている。
【００７０】
映像処理部５６と視点変位算出部５５と仮想映像生成部５３と仮想映像表示部５４と映像オブジェクト選択部５７は、携帯電話機５に備えられたマイクロコンピュータと、当該マイクロコンピュータにより制御される記憶部と画像処理回路などの周辺回路などにより具現化される機能ブロックである。
【００７１】
映像オブジェクト選択部５７は、携帯電話機５に備えられた数値キーなどの操作に応じて入力されるキー操作信号に対応する仮想用紙（映像オブジェクト）をスクリーン５１に表示する仮想映像に対応する映像オブジェクトとして選択する。当該キー操作信号は、仮想用紙を選択する用紙選択信号であり、映像オブジェクトに対応する仮想映像の表示を起動するスイッチ信号である。
【００７２】
仮想映像生成部５３は、映像オブジェクト選択部５７によりキー操作信号が検出されて映像オブジェクトが選択されると、撮像部５０により撮影された実映像に対応する映像オブジェクトとして映像オブジェクト記憶部５２から当該映像オブジェクトを読み出して、スクリーン５１の所定の位置に所定の姿勢で仮想用紙が表示されるように、基準仮想映像を生成する。
【００７３】
また、仮想映像生成部５３は、映像オブジェクト選択部５７により用紙選択信号が検出された時点で撮像部５０の視点から仮想用紙を眺めた基準仮想映像に基づいて、当該実映像の特徴点から算出される撮像部５０の視点の変位に対応した仮想映像を生成する。
【００７４】
つまり、仮想映像生成部５３は、視点変位算出部５５により算出された撮像部５０の視点の変位に対応して、撮像装置５０の視点から眺めた位置や姿勢が変化した仮想用紙に対応する仮想映像を生成する。
【００７５】
以下に、携帯電話機５による仮想文書表示動作について、図８に示すフローチャートを用いて説明する。
【００７６】
映像オブジェクト選択部５７により、最初の映像オブジェクトが選択されると、撮像部５０により撮影が開始され、仮想映像生成部５３により、撮像部５０で撮影された実映像に対応して、当該映像オブジェクトが映像オブジェクト記憶部５２から読み出される（ＳＤ１〜ＳＤ３）。
【００７７】
仮想映像生成部５３により、スクリーン５１の所定の位置に所定の姿勢で当該映像オブジェクトが表示される基準仮想映像が生成され、仮想映像表示部５４により当該基準仮想映像がスクリーン５１に表示される（ＳＤ４、ＳＤ５）。
【００７８】
映像オブジェクト選択部５７により、新たな映像オブジェクトが選択されると（ＳＤ６）、仮想映像生成部５３により、撮像部５０で撮影された実映像に対応して、当該映像オブジェクトが映像オブジェクト記憶部５２から読み出され、基準仮想映像が生成され、仮想映像表示部５４により当該基準仮想映像が表示される（ＳＤ３〜ＳＤ５）。
【００７９】
映像オブジェクト選択部５７により、新たな映像オブジェクトが選択されないとき（ＳＤ６）、撮像部５０により撮影された実映像に基づき、映像処理部５６によりビットマップデータでなるフレーム画像が生成され、視点変位算出部５５により、撮像部５０の視点の変位が算出される（ＳＤ７、ＳＤ８）。
【００８０】
撮像部５０の視点が移動していなければ、仮想映像表示部５４によりスクリーン５１に表示される仮想映像は変化しない（ＳＤ９）。
【００８１】
撮像部５０の視点が移動していれば（ＳＤ９）、仮想映像生成部５３により、撮像部５０の視点から眺めた位置や姿勢が変化した映像オブジェクトに対応する仮想映像が生成され、仮想映像表示部５４により当該仮想映像が表示される（ＳＤ４、ＳＤ５）。
【００８２】
以下、別実施形態を説明する。
【００８３】
上述の仮想映像表示システム１に、撮像装置２０の視点の変位に対応した仮想映像の生成を許容する第一モード、または、撮像装置２０の視点の変位に対応した仮想映像の生成を許容しない第二モードの何れかに、仮想映像生成部３１の仮想映像生成モードを切り替えるモード切替部を備えた際の実施形態について説明する。
【００８４】
モード切替部は、コンピュータ端末３に備えられたハードディスクなどの記憶部に格納された画像処理用アプリケーションなどの動作プログラムを実行するＣＰＵと、当該ＣＰＵにより制御されるメモリと記憶部と画像処理用ハードウェア装置（例えば、画像処理用回路が搭載された画像処理ボードなど）などの協働により具現化される機能ブロックである。
【００８５】
ＨＭＤ２に設けられた仮想映像生成モードを切り替えるスイッチが操作されると、当該操作に応じてモード切替信号がコンピュータ端末３に入力される。
【００８６】
モード切替部は、モード切替信号を検出すると、第一モードから第二モード、または、第二モードから第一モードに仮想映像生成モードを切り替える。
【００８７】
モード切替部は、仮想映像生成モードが第一モードのとき、視点変位算出部３３が算出した撮像装置２０の視点の変位の値を変更することなく、仮想映像生成部３１に出力する。従って、仮想映像生成部３１は、撮像装置２０の視点の変位に対応して仮想映像を生成する。
【００８８】
モード切替部は、仮想映像生成モードが第二モードのとき、視点変位算出部３３が算出した撮像装置２０の視点の変位の値を当該変位がないときの値に変更して、仮想映像生成部３１に出力する。従って、仮想映像生成部３１は、撮像装置２０の視点は移動していないと判断し、新たな仮想映像は生成されない。
【００８９】
スクリーン２１に表示可能な空間の範囲は有限である為、大きく移動した移動先の撮像装置２０の視点から映像オブジェクトを眺めた仮想映像に映像オブジェクトが表示されないことがある。
【００９０】
このような場合、撮像装置２０の視点を移動する前に、モード切替部により、仮想映像生成モードを第一モードから第二モードに切り替え、移動後に、第二モードから第一モードに切り替えることで、仮想映像生成部３１は、移動後の撮像装置の視点を移動前の撮像装置２０の視点と同じ視点として判断する。
【００９１】
従って、撮像装置２０の視点が大きく移動するようなときであっても、仮想映像に映像オブジェクトを確実に表示することができるため、当該仮想映像表示システム１の操作性が向上する。
【００９２】
このような構成は、仮想用紙を表示する携帯電話機などに好適に採用することができる。具体的に、モード切替部は、携帯電話機に備えられた数値キーなどの操作に応じて、仮想映像表示モードを切り替えるように構成される。
【００９３】
携帯電話機を用いて仮想用紙を閲覧している操作者が姿勢を変えたいとき、例えば、机に向かった状態からソファーなどに横になって当該仮想用紙を閲覧しようとするとき、操作者により数値キーが操作されると、当該キー操作に応じて、モード切替部により仮想映像生成モードが第一モードから第二モードに切り替えられる。
【００９４】
そして、操作者により数値キーが新たに操作され、モード切替部により仮想映像生成モードが第二モードから第一モードに切り替えられると、仮想映像生成部は、移動後の撮像部の視点を移動前の撮像部の視点と同じ視点として判断する。
【００９５】
上述の実施形態では、仮想映像生成部３１が仮想映像を生成する際に基準とする基準仮想映像の映像オブジェクトを眺める撮像装置２０の視点は、仮想映像の表示を起動するスイッチ信号を検出した時点の撮像装置２０の視点であるものとしたが、これに限定するものではない。
【００９６】
例えば、当該視点は、仮想映像表示システム１を起動した時点の撮像装置２０の視点や、前回に仮想映像表示システム１を終了した時点の撮像装置２０の視点など、所定の時点の撮像装置２０の視点であってよい。
【００９７】
上述の実施形態は何れも本発明の一実施例に過ぎず、当該記載により本発明の範囲が限定されるものではなく、各部の具体的構成は本発明による作用効果を奏する範囲において適宜変更することができることは言うまでもない。
【図面の簡単な説明】
【００９８】
【図１】仮想映像表示システムの説明図
【図２】（ａ）は前回フレーム画像の説明図、（ｂ）は今回フレーム画像の説明図
【図３】仮想映像表示システムによる仮想映像表示動作を説明するフローチャート
【図４】（ａ）本発明を採用した情報案内装置の外観図、（ｂ）は本発明を採用した情報案内装置の機能ブロック図
【図５】映像オブジェクト選択部による映像オブジェクト選択動作を説明するフローチャート
【図６】本発明を採用した情報案内装置による仮想映像表示動作を説明するフローチャート
【図７】本発明を採用した携帯電話機の機能ブロック図
【図８】本発明を採用した携帯電話機による仮想映像表示動作を説明するフローチャート
【符号の説明】
【００９９】
１：仮想映像表示システム
２：ＨＭＤ（ヘッドマウントディスプレイ）
３：コンピュータ端末
４：仮想映像表示システム（情報案内装置）
５：仮想映像表示システム（携帯電話機）
２０：撮像部（撮像装置）
２１：スクリーン
３０：映像オブジェクト記憶部
３１：仮想映像生成部
３２：仮想映像表示部
４０：撮像部（撮像装置）
４１：スクリーン
４４：映像オブジェクト記憶部
４５：仮想映像生成部
４６：仮想映像表示部
５０：撮像部
５１：スクリーン
５２：映像オブジェクト記憶部
５３：仮想映像生成部
５４：仮想映像表示部
【技術分野】
【０００１】
本発明は、撮像部により撮影された実映像に対応して仮想映像を生成し、当該仮想映像をスクリーンに表示する仮想映像表示システム及び仮想映像表示方法に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置で撮影した映像に、コンピュータ等の仮想映像生成装置で生成した仮想映像を合成してヘッドマウントディスプレイ（Head Mounted Display）等の表示装置に表示する仮想映像表示システムが提案されている。このような技術は、複合現実感（Mixed Reality）や拡張現実感（Augmented Reality）と呼ばれる。
【０００３】
仮想映像表示システムでは、撮像装置により撮影された映像に映し出される実在のオブジェクトと、仮想映像生成装置により生成された仮想映像は、多くの場合、従属的な位置関係を有している。当該仮想映像は、当該実在のオブジェクトに対して密接な位置関係で合成され、表示装置に表示される。
【０００４】
特許文献１には、このような仮想映像表示システムとして、既知の位置に配置された第１の複数のマーカを有する作業台と、作業者の頭部姿勢を検出するために作業者に装着される姿勢センサと、前記第１の複数のマーカのうちの少なくとも１つが視野に入るように設定されたカメラと、前記カメラからの画像信号を処理して、前記第１の複数のマーカの中の任意のマーカを追跡し、この追跡マーカの座標値を検出する検出手段と、前記検出手段によって得られた前記追跡マーカの座標値と前記位置姿勢センサからの頭部位置姿勢信号とに基づいて、前記作業者の視点の位置姿勢を表す視点の位置姿勢信号を演算する演算手段と、前記視点の位置姿勢信号に応じた視点位置に、複合現実感を提示するための仮想画像を生成する生成手段とを具備することを特徴とする複合現実感提示装置が開示されている。
【０００５】
特許文献１に開示された複合現実感提示装置では、演算手段により求められた位置姿勢信号に応じた作業台上の作業者の視点位置に、生成手段により仮想画像が生成される。
【特許文献１】特開平１１−１３６７０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示された複合現実感提示装置を用いるには、カメラで撮影する作業台などの実在のオブジェクトにマーカを備え、作業者に姿勢センサを備えることが必要になる。しかし、実在のオブジェクトと仮想映像が従属的な位置関係を有さないとき、換言すると、当該オブジェクトと仮想映像の位置関係に厳しい拘束が要求されないとき、当該マーカや当該姿勢センサは不要である。
【０００７】
実在のオブジェクトに仮想映像を密接な位置関係で合成して表示する必要がなく、当該オブジェクトの少なくとも所定の範囲内の位置に仮想映像が表示されればよいときには、不要なマーカやセンサを必要とする当該複合現実感提示装置は、オーバスペックであり好ましくない。また、美観の観点からも、不要なマーカをオブジェクトに備えることは好ましくない。
【０００８】
本発明の目的は、上述した従来の問題点に鑑み、マーカや姿勢センサを用いることなく、簡易的に拡張現実感を作り出す仮想映像表示システム及び仮想映像表示方法を提供する点にある。
【課題を解決するための手段】
【０００９】
上述の目的を達成するため、本発明による仮想映像表示システムの第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、撮像部と、前記撮像部と所定の位置関係で配置され、仮想的な映像を表示するスクリーンと、仮想的な映像の基準データで定義される映像オブジェクトが記憶された映像オブジェクト記憶部と、前記撮像部により撮影された実映像に対応して、前記映像オブジェクト記憶部に記憶された所定の映像オブジェクトを読み出して、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する仮想映像生成部と、前記仮想映像生成部により生成された仮想映像を前記スクリーンに表示する仮想映像表示部を備えている仮想映像表示システムであって、前記仮想映像生成部は、所定の時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する点にある。
【００１０】
仮想映像生成部は、撮像部により撮影された実在の映像で検出された特徴点の変位に基づいて算出される撮像部の視点の変位に対応して、所定の時点で撮像部の視点から基準仮想映像を眺めた仮想映像を変化させて生成する。従って、現実の映像に基づいて検出される撮像部の視点の変位に応じて、仮想映像生成部により仮想映像の位置は姿勢が変化するようになる。
【００１１】
同第二の特徴構成は、同請求項２に記載した通り、上述の第一の特徴構成に加えて、前記仮想映像生成部は、仮想映像の表示を起動するスイッチ信号を検出した時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する点にある。
【００１２】
所定の視点から眺めた映像オブジェクトの仮想映像を、所定の時点で撮像部の視点から眺めた基準仮想映像として表示する時点が、仮想映像の表示を起動するスイッチ信号を検出した時点として設定される。
【００１３】
本発明による仮想映像表示方法の第一の特徴構成は、同請求項３に記載した通り、撮像部で実映像を撮影する撮影ステップと、前記撮影ステップで撮影された実映像に対応して、映像オブジェクト記憶部に記憶された所定の映像オブジェクトを読み出して、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する仮想映像生成ステップと、前記仮想映像生成ステップで生成された仮想映像をスクリーンに表示する仮想映像表示ステップを備えている仮想映像表示方法であって、前記仮想映像生成ステップで、所定の時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する点にある。
【００１４】
同第二の特徴構成は、同請求項４に記載した通り、上述の第一の特徴構成に加えて、前記仮想映像生成ステップで、仮想映像の表示を起動するスイッチ信号を検出した時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する点にある。
【発明の効果】
【００１５】
以上説明した通り、本発明によれば、マーカや姿勢センサを用いることなく、簡易的に拡張現実感を作り出す仮想映像表示システム及び仮想映像表示方法を提供することができるようになった。
【発明を実施するための最良の形態】
【００１６】
以下に、本発明による仮想映像表示システムについて説明する。
図１に示すように、仮想映像表示システム１は、ヘッドマウントディスプレイ（以下、「ＨＭＤ」と記載する。）２とコンピュータ端末３を備えている。
【００１７】
ＨＭＤ２には、撮像装置２０と、スクリーン２１と、投影装置２２が備えられている。撮像装置２０は本発明の撮像部である。撮像装置２０は、例えば、小型ビデオカメラで構成され、撮影した実在の空間の映像（以下、「実映像」と記載する。）をコンピュータ端末３に入力する。スクリーン２１は、撮像装置２０と所定の位置関係で配置され、仮想的な映像（以下、「仮想映像」と記載する。）を表示する。投影装置２２は、コンピュータ端末３から入力された仮想映像をスクリーン２１に表示する。
【００１８】
投影装置２２によりスクリーン２１に表示された仮想映像には、二次元または三次元の仮想物体でなる映像オブジェクトが映し出されている。当該仮想映像は、スクリーン２１を透過した実映像と合成された映像として、ＨＭＤ２の装着者の目に到達する。従って、当該装着者には、映像オブジェクトが実在の空間に存在しているように見える。
【００１９】
コンピュータ端末３には、映像処理部３４と視点変位算出部３３と映像オブジェクト記憶部３０と仮想映像生成部３１と仮想映像表示部３２が備えられている。
【００２０】
映像オブジェクト記憶部３０は、コンピュータ端末３に備えられたハードディスクなどの記憶部に区画された領域で構成されている。映像オブジェクト記憶部３０には、仮想的な映像の基準データで定義される映像オブジェクトが記憶されている。具体的に、映像オブジェクトは、ベクタデータの形式で映像オブジェクト記憶部３０に記憶されている。
【００２１】
映像処理部３４と視点変位算出部３３と仮想映像生成部３１と仮想映像表示部３２は、記憶部に格納された画像処理用アプリケーションなどの動作プログラムを実行するＣＰＵと、当該ＣＰＵにより制御されるメモリと記憶部と画像処理用ハードウェア装置（例えば、画像処理用回路が搭載された画像処理ボードなど）などにより具現化される本発明に関する機能ブロックである。
【００２２】
仮想映像生成部３１は、撮像装置２０により撮影された実映像に対応して、映像オブジェクト記憶部３０に記憶された所定の映像オブジェクトを読み出して、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する。
【００２３】
具体的に、ＨＭＤ２に設けられた仮想映像の表示を起動するスイッチ（不図示）が操作されると、当該スイッチ信号がコンピュータ端末３に入力される。当該スイッチ信号を検出すると、仮想映像生成部３１は、撮像装置２０により撮影された実映像に対応する所定の映像オブジェクトを映像オブジェクト記憶部３０から読み出し、所定の視点から眺めた当該映像オブジェクトをレンダリングして仮想映像を生成し、当該仮想映像を撮像装置２０の視点に対する基準仮想映像とする。例えば、正面を向いた姿勢の映像オブジェクトに対応した仮想映像を生成し、当該仮想映像を当該スイッチ信号検出時点での撮像装置２０の視点に対する基準仮想映像とする。
【００２４】
仮想映像表示部３２により、生成された基準仮想映像がスクリーン２１の中央部、或は右下方など予め設定されている位置に表示される。
【００２５】
撮像装置２０の視点が変位すると、仮想映像生成部３１は、仮想映像の表示を起動するスイッチ信号を検出した時点で撮像装置２０の視点から眺めた基準仮想映像に基づいて、当該実映像の特徴点から算出される撮像装置２０の視点の変位に対応した仮想映像を生成する。
【００２６】
つまり、仮想映像生成部３１は、撮像装置２０の視点の変位に対応して、当該スイッチ信号を検出した時点の撮像装置２０の視点から眺めた基準仮想映像に表示された位置及び姿勢の映像オブジェクトを、現時点の撮像装置２０の視点から眺めた仮想映像を生成する。
【００２７】
仮想映像表示部３２は、仮想映像生成部３１により生成された仮想映像を、投影装置２２を介してスクリーン２１に表示する。
【００２８】
従って、仮想映像の表示を起動するスイッチが操作されると、仮想映像表示部３２によりスクリーン２１の中央に正面を向いた姿勢で映像オブジェクトが表示される仮想映像が表示され、その後、撮像装置２０の視点が変位すると、スイッチ信号を検出した時点で撮像装置２０の視点から眺めた位置及び姿勢の映像オブジェクトを当該変位した視点から眺めた仮想映像が表示される。
【００２９】
撮像装置２０の視点の変位は、視点変位算出部３３により算出される。以下、詳述する。
【００３０】
映像処理部３４は、撮像装置２０から入力された実映像からコンピュータ端末３で処理可能な映像データを生成する。具体的に、映像処理部３４は入力された実映像に基づいて、ビットマップデータでなるフレーム画像を生成する。
【００３１】
視点変位算出部３３は、映像処理部３４から入力されたフレーム画像から特徴点を抽出して当該特徴点の変位を求め、当該変位に基づいて、撮像装置２０の視点の変位を算出する。具体的に、視点変位算出部３３は、フレーム画像を微分処理してエッジ抽出し、エッジの交点を特徴点として抽出し、各特徴点の位置情報を記憶する。
【００３２】
例えば、視点変位算出部３３は、図２（ａ）に示すフレーム画像から抽出した各特徴点の位置情報を、フレーム画像の左下の画素を基準として取得し、メモリなどの一時記憶装置に記憶する。また、当該フレーム画像（以下、「前回フレーム画像」と記載する。）の次に入力された図２（ｂ）に示すフレーム画像（以下、「今回フレーム画像」と記載する。）についても同様に、各特徴点の位置情報を取得して記憶する。当該前回フレーム画像と当該今回フレーム画像には、同一の４つの特徴点（Ｐ０、Ｐ１、Ｐ２、Ｐ３）が含まれている。
【００３３】
視点変位検出部３３は、今回フレーム画像と前回フレーム画像に含まれる各特徴点の位置情報を、夫々の特徴点について比較し、各特徴点の変位及び全特徴点の相関関係の変化を求める。そして、当該変位及び当該相関関係の変化に基づいて撮像装置２０の視点の変位、即ち、撮像装置２０の視点の縦横斜め方向の移動、前後方向の移動、回転移動及び移動距離を算出する。
【００３４】
図２（ｂ）に示す今回フレーム画像と図２（ａ）に示す前回フレーム画像に基づいて、視点変位検出部３３により求められた各特徴点の変位は、水平方向に「＋Δｘ」と垂直方向に「＋Δｙ」である。また、各特徴点の位置関係及び特徴点間距離は同一であり、相関関係は維持されている。
【００３５】
従って、視点変位検出部３３は、撮像装置２０の視点は、当該前回フレーム画像を撮影したときから、当該今回フレーム画像を撮影したときに水平方向に「−Δｘ」と垂直方向に「−Δｙ」移動したと算出する。
【００３６】
以下に、仮想映像表示システム１による仮想映像表示動作について、図３に示すフローチャートを用いて説明する。
【００３７】
仮想映像表示を開始するスイッチが操作されると、撮像装置２０により実映像の撮影が開始され、仮想映像生成部３１により当該実映像に対応して、映像オブジェクト記憶部３０に記憶された所定の映像オブジェクトが読み出される（ＳＡ１〜ＳＡ３）。
【００３８】
仮想映像生成部３１により、当該映像オブジェクトがレンダリングされて基準仮想映像が生成され、仮想映像表示部３２により、当該基準仮想映像がスクリーン２１に表示される（ＳＡ４、ＳＡ５）。
【００３９】
映像処理部３４により、撮像装置２０で撮影された実映像からビットマップデータでなるフレーム画像が生成され（ＳＡ６）、視点変位算出部３３により、フレーム画像から特徴点が抽出され、当該特徴点の位置情報が記憶される（ＳＡ７、ＳＡ８）。
【００４０】
視点変位算出部３３により、今回フレーム画像と前回フレーム画像の特徴点の位置情報が比較されて各特徴点の変位及び相関関係が求められ、当該変位及び当該相関関係に基づいて、撮像装置２０の視点の変位が算出される（ＳＡ９、ＳＡ１０）。
【００４１】
撮像装置の視点の変位があれば（ＳＡ１１）、仮想映像生成部３１により、変位前の視点から眺めた位置及び姿勢の映像オブジェクトを、現在の撮像装置２０の視点から眺めた仮想映像が生成され（ＳＡ４）、仮想映像表示部３２により、スクリーン２１に当該仮想映像が表示される（ＳＡ５）。
【００４２】
以下に、当該仮想映像表示システムが採用された情報案内装置について説明する。
【００４３】
情報案内装置４は、美術館などに展示された作品の作品情報や作者情報などを案内するＨＭＤである。図４（ａ）、図４（ｂ）に示すように、情報案内装置４は、撮像装置４０とスクリーン４１と投影装置４２と情報案内制御装置４３を備えている。
【００４４】
情報案内制御装置４３には、映像処理部４８と視点変位算出部４７と映像オブジェクト記憶部４４と仮想映像生成部４５と仮想映像表示部４６と映像オブジェクト選択部４９が備えられている。
【００４５】
映像オブジェクト記憶部４４は、情報案内制御装置４３に備えられたフラッシュＲＯＭなどの記憶部に区画された領域で構成されている。映像オブジェクト記憶部４４には、情報案内を行う作品の作品情報や作者情報に対応する映像オブジェクトが作品毎に記憶されている。
【００４６】
映像処理部４８と視点変位算出部４７と仮想映像生成部４５と仮想映像表示部４６と映像オブジェクト選択部４９は、情報案内制御装置４３に備えられたマイクロコンピュータと、当該マイクロコンピュータにより制御される記憶部と受信アンテナと画像処理回路や受信回路などの周辺回路などにより具現化される機能ブロックである。
【００４７】
映像オブジェクト選択部４９は、情報案内を行う各作品の近傍に設置された不図示の送信部から送信される無線電波でなる作品選択信号（例えば、各作品に個別に付与されたコード番号を示す信号など）を受信する。
【００４８】
そして、映像オブジェクト選択部４９は、当該作品選択信号で示される作品に対応する映像オブジェクトを、スクリーン４１に表示する仮想映像に対応する映像オブジェクトとして選択する。
【００４９】
作品選択信号は、情報を案内すべき作品を示す信号であり、映像オブジェクトに対応する仮想映像の表示を起動するスイッチ信号である。
【００５０】
映像オブジェクト選択部４９は、受信した作品選択信号が複数あるときには、受信レベルの最も高い作品選択信号で示される映像オブジェクトを選択する。
【００５１】
以下に、映像オブジェクト選択部４９による映像オブジェクト選択動作について、図５に示すフローチャートを用いて説明する。
【００５２】
作品選択信号が複数入力されると、映像オブジェクト選択部４９により、夫々の受信レベルが確認され、受信レベルの最も高い作品選択信号に対応する作品の映像オブジェクトがスクリーン４１に表示する仮想映像に対応する映像オブジェクトとして選択される（ＳＢ１〜ＳＢ４）。
【００５３】
作品選択信号が１つ入力されると、映像オブジェクト選択部４９により、当該作品選択信号に対応する作品の映像オブジェクトが選択される（ＳＢ１、ＳＢ２、ＳＢ５）。
【００５４】
仮想映像生成部４５は、映像オブジェクト選択部４９により新たな映像オブジェクトが選択されると、撮像装置４０により撮影された実映像に対応する映像オブジェクトとして、映像オブジェクト記憶部４４から当該映像オブジェクトを読み出して、スクリーン４１の所定の位置に、所定の姿勢の当該映像オブジェクトが表示される仮想映像を基準仮想映像として生成する。
【００５５】
また、撮像装置４０の視点が変位すると、仮想映像生成部４５は、映像オブジェクト選択部４９により作品選択信号が検出された時点で撮像装置４０の視点から眺めた基準仮想映像に基づいて、当該実映像の特徴点から算出される撮像装置４０の視点の変位に対応した仮想映像を生成する。
【００５６】
つまり、仮想映像生成部４５は、視点変位算出部４７により算出された撮像装置４０の視点の変位に対応して、撮像装置４０の視点から眺めた位置や姿勢が変化した映像オブジェクトに対応する仮想映像を生成する。
【００５７】
以下に、情報案内装置４による情報案内となる仮想映像表示動作について、図６に示すフローチャートを用いて説明する。
【００５８】
映像オブジェクト選択部４９により、最初の映像オブジェクトが選択されると、撮像装置４０により撮影が開始され、仮想映像生成部４５により、撮像装置４０で撮影された実映像に対応して、当該映像オブジェクトが映像オブジェクト記憶部４４から読み出される（ＳＣ１〜ＳＣ３）。
【００５９】
仮想映像生成部４５により、スクリーン４１の所定の位置に所定の姿勢で当該映像オブジェクトが表示される基準仮想映像が生成され、仮想映像表示部４６により当該基準仮想映像が投影装置４２を介して、スクリーン４１に表示される（ＳＣ４、ＳＣ５）。
【００６０】
撮像装置４０により撮影された実映像に基づき、映像処理部４８によりビットマップデータでなるフレーム画像が生成され、視点変位算出部４７により、フレーム画像の特徴点から撮像装置４０の視点の変位が算出される（ＳＣ６、ＳＣ７）。
【００６１】
撮像装置４０の視点に移動がなければ、仮想映像表示部４６によりスクリーン４１に表示される仮想映像は変化しない（ＳＣ８）。
【００６２】
撮像装置４０の視点に移動があり（ＳＣ８）、映像オブジェクト選択部４９により、新たな映像オブジェクトが選択されると（ＳＣ９）、仮想映像生成部４５により、撮像装置４０で撮影された実映像に対応して、当該映像オブジェクトが映像オブジェクト記憶部４４から読み出され、基準仮想映像が生成され、仮想映像表示部４６により当該基準仮想映像が表示される（ＳＣ３〜ＳＣ５）。
【００６３】
撮像装置４０の視点に移動があり（ＳＣ８）、映像オブジェクト選択部４９により、新たな映像オブジェクトが選択されなければ（ＳＣ９）、仮想映像生成部４５により、撮像装置４０の視点から眺めた位置や姿勢が変化した映像オブジェクトに対応する仮想映像が生成され、仮想映像表示部４６により当該仮想映像が表示される（ＳＣ４、ＳＣ５）。
【００６４】
情報案内装置４は、美術館などに展示された作品の作品情報や作者情報を案内にのみ用いられるものではない。例えば、複写機などの画像形成装置の操作パネルの操作方法や、当該装置に生じたトラブル（紙詰まり、紙切れ、トナーやインクなどの印刷部材切れ等）の案内及びトラブル対処方法を案内するものとして用いることができる。
【００６５】
この場合、操作パネルに配置されたハードウェアキーや、液晶パネル上に表示される操作画面上のソフトウェアキーに対応する説明文などや、各トラブルの内容説明文や対処方法の説明文などに対応する映像オブジェクトが映像オブジェクト記憶部４４に記憶される。
【００６６】
仮想映像生成部４５は、情報案内装置４に取り付けられた案内開始要求キーの操作に基づくキー操作信号、または、画像形成装置で生じたトラブルに対応するトラブル信号に基づいて、撮像装置４０で撮影された実映像に対応する映像オブジェクトを映像オブジェクト記憶部４４から読み出して基準仮想映像を生成し、また、撮像装置４０の視点の変位に対応した仮想映像を生成する。
【００６７】
以下に、当該仮想映像表示システムが採用された携帯電話機について説明する。図７に示すように、携帯電話機５は、撮像部５０とスクリーン５１と映像処理部５６と視点変位算出部５５と映像オブジェクト記憶部５２と仮想映像生成部５３と仮想映像表示部５４と映像オブジェクト選択部５７を備えている。
【００６８】
撮像部５０は携帯電話機５に内蔵された小型カメラで構成され、スクリーン５１は液晶表示パネルで構成され、映像オブジェクト記憶部５２はフラッシュＲＯＭなどの記憶部に区画された領域で構成されている。
【００６９】
映像オブジェクト記憶部５２には、電子出版書籍などの文書が表示された仮想的な用紙（以下、「仮想用紙」と記載する。）に対応する映像オブジェクトが仮想用紙毎に記憶されている。
【００７０】
映像処理部５６と視点変位算出部５５と仮想映像生成部５３と仮想映像表示部５４と映像オブジェクト選択部５７は、携帯電話機５に備えられたマイクロコンピュータと、当該マイクロコンピュータにより制御される記憶部と画像処理回路などの周辺回路などにより具現化される機能ブロックである。
【００７１】
映像オブジェクト選択部５７は、携帯電話機５に備えられた数値キーなどの操作に応じて入力されるキー操作信号に対応する仮想用紙（映像オブジェクト）をスクリーン５１に表示する仮想映像に対応する映像オブジェクトとして選択する。当該キー操作信号は、仮想用紙を選択する用紙選択信号であり、映像オブジェクトに対応する仮想映像の表示を起動するスイッチ信号である。
【００７２】
仮想映像生成部５３は、映像オブジェクト選択部５７によりキー操作信号が検出されて映像オブジェクトが選択されると、撮像部５０により撮影された実映像に対応する映像オブジェクトとして映像オブジェクト記憶部５２から当該映像オブジェクトを読み出して、スクリーン５１の所定の位置に所定の姿勢で仮想用紙が表示されるように、基準仮想映像を生成する。
【００７３】
また、仮想映像生成部５３は、映像オブジェクト選択部５７により用紙選択信号が検出された時点で撮像部５０の視点から仮想用紙を眺めた基準仮想映像に基づいて、当該実映像の特徴点から算出される撮像部５０の視点の変位に対応した仮想映像を生成する。
【００７４】
つまり、仮想映像生成部５３は、視点変位算出部５５により算出された撮像部５０の視点の変位に対応して、撮像装置５０の視点から眺めた位置や姿勢が変化した仮想用紙に対応する仮想映像を生成する。
【００７５】
以下に、携帯電話機５による仮想文書表示動作について、図８に示すフローチャートを用いて説明する。
【００７６】
映像オブジェクト選択部５７により、最初の映像オブジェクトが選択されると、撮像部５０により撮影が開始され、仮想映像生成部５３により、撮像部５０で撮影された実映像に対応して、当該映像オブジェクトが映像オブジェクト記憶部５２から読み出される（ＳＤ１〜ＳＤ３）。
【００７７】
仮想映像生成部５３により、スクリーン５１の所定の位置に所定の姿勢で当該映像オブジェクトが表示される基準仮想映像が生成され、仮想映像表示部５４により当該基準仮想映像がスクリーン５１に表示される（ＳＤ４、ＳＤ５）。
【００７８】
映像オブジェクト選択部５７により、新たな映像オブジェクトが選択されると（ＳＤ６）、仮想映像生成部５３により、撮像部５０で撮影された実映像に対応して、当該映像オブジェクトが映像オブジェクト記憶部５２から読み出され、基準仮想映像が生成され、仮想映像表示部５４により当該基準仮想映像が表示される（ＳＤ３〜ＳＤ５）。
【００７９】
映像オブジェクト選択部５７により、新たな映像オブジェクトが選択されないとき（ＳＤ６）、撮像部５０により撮影された実映像に基づき、映像処理部５６によりビットマップデータでなるフレーム画像が生成され、視点変位算出部５５により、撮像部５０の視点の変位が算出される（ＳＤ７、ＳＤ８）。
【００８０】
撮像部５０の視点が移動していなければ、仮想映像表示部５４によりスクリーン５１に表示される仮想映像は変化しない（ＳＤ９）。
【００８１】
撮像部５０の視点が移動していれば（ＳＤ９）、仮想映像生成部５３により、撮像部５０の視点から眺めた位置や姿勢が変化した映像オブジェクトに対応する仮想映像が生成され、仮想映像表示部５４により当該仮想映像が表示される（ＳＤ４、ＳＤ５）。
【００８２】
以下、別実施形態を説明する。
【００８３】
上述の仮想映像表示システム１に、撮像装置２０の視点の変位に対応した仮想映像の生成を許容する第一モード、または、撮像装置２０の視点の変位に対応した仮想映像の生成を許容しない第二モードの何れかに、仮想映像生成部３１の仮想映像生成モードを切り替えるモード切替部を備えた際の実施形態について説明する。
【００８４】
モード切替部は、コンピュータ端末３に備えられたハードディスクなどの記憶部に格納された画像処理用アプリケーションなどの動作プログラムを実行するＣＰＵと、当該ＣＰＵにより制御されるメモリと記憶部と画像処理用ハードウェア装置（例えば、画像処理用回路が搭載された画像処理ボードなど）などの協働により具現化される機能ブロックである。
【００８５】
ＨＭＤ２に設けられた仮想映像生成モードを切り替えるスイッチが操作されると、当該操作に応じてモード切替信号がコンピュータ端末３に入力される。
【００８６】
モード切替部は、モード切替信号を検出すると、第一モードから第二モード、または、第二モードから第一モードに仮想映像生成モードを切り替える。
【００８７】
モード切替部は、仮想映像生成モードが第一モードのとき、視点変位算出部３３が算出した撮像装置２０の視点の変位の値を変更することなく、仮想映像生成部３１に出力する。従って、仮想映像生成部３１は、撮像装置２０の視点の変位に対応して仮想映像を生成する。
【００８８】
モード切替部は、仮想映像生成モードが第二モードのとき、視点変位算出部３３が算出した撮像装置２０の視点の変位の値を当該変位がないときの値に変更して、仮想映像生成部３１に出力する。従って、仮想映像生成部３１は、撮像装置２０の視点は移動していないと判断し、新たな仮想映像は生成されない。
【００８９】
スクリーン２１に表示可能な空間の範囲は有限である為、大きく移動した移動先の撮像装置２０の視点から映像オブジェクトを眺めた仮想映像に映像オブジェクトが表示されないことがある。
【００９０】
このような場合、撮像装置２０の視点を移動する前に、モード切替部により、仮想映像生成モードを第一モードから第二モードに切り替え、移動後に、第二モードから第一モードに切り替えることで、仮想映像生成部３１は、移動後の撮像装置の視点を移動前の撮像装置２０の視点と同じ視点として判断する。
【００９１】
従って、撮像装置２０の視点が大きく移動するようなときであっても、仮想映像に映像オブジェクトを確実に表示することができるため、当該仮想映像表示システム１の操作性が向上する。
【００９２】
このような構成は、仮想用紙を表示する携帯電話機などに好適に採用することができる。具体的に、モード切替部は、携帯電話機に備えられた数値キーなどの操作に応じて、仮想映像表示モードを切り替えるように構成される。
【００９３】
携帯電話機を用いて仮想用紙を閲覧している操作者が姿勢を変えたいとき、例えば、机に向かった状態からソファーなどに横になって当該仮想用紙を閲覧しようとするとき、操作者により数値キーが操作されると、当該キー操作に応じて、モード切替部により仮想映像生成モードが第一モードから第二モードに切り替えられる。
【００９４】
そして、操作者により数値キーが新たに操作され、モード切替部により仮想映像生成モードが第二モードから第一モードに切り替えられると、仮想映像生成部は、移動後の撮像部の視点を移動前の撮像部の視点と同じ視点として判断する。
【００９５】
上述の実施形態では、仮想映像生成部３１が仮想映像を生成する際に基準とする基準仮想映像の映像オブジェクトを眺める撮像装置２０の視点は、仮想映像の表示を起動するスイッチ信号を検出した時点の撮像装置２０の視点であるものとしたが、これに限定するものではない。
【００９６】
例えば、当該視点は、仮想映像表示システム１を起動した時点の撮像装置２０の視点や、前回に仮想映像表示システム１を終了した時点の撮像装置２０の視点など、所定の時点の撮像装置２０の視点であってよい。
【００９７】
上述の実施形態は何れも本発明の一実施例に過ぎず、当該記載により本発明の範囲が限定されるものではなく、各部の具体的構成は本発明による作用効果を奏する範囲において適宜変更することができることは言うまでもない。
【図面の簡単な説明】
【００９８】
【図１】仮想映像表示システムの説明図
【図２】（ａ）は前回フレーム画像の説明図、（ｂ）は今回フレーム画像の説明図
【図３】仮想映像表示システムによる仮想映像表示動作を説明するフローチャート
【図４】（ａ）本発明を採用した情報案内装置の外観図、（ｂ）は本発明を採用した情報案内装置の機能ブロック図
【図５】映像オブジェクト選択部による映像オブジェクト選択動作を説明するフローチャート
【図６】本発明を採用した情報案内装置による仮想映像表示動作を説明するフローチャート
【図７】本発明を採用した携帯電話機の機能ブロック図
【図８】本発明を採用した携帯電話機による仮想映像表示動作を説明するフローチャート
【符号の説明】
【００９９】
１：仮想映像表示システム
２：ＨＭＤ（ヘッドマウントディスプレイ）
３：コンピュータ端末
４：仮想映像表示システム（情報案内装置）
５：仮想映像表示システム（携帯電話機）
２０：撮像部（撮像装置）
２１：スクリーン
３０：映像オブジェクト記憶部
３１：仮想映像生成部
３２：仮想映像表示部
４０：撮像部（撮像装置）
４１：スクリーン
４４：映像オブジェクト記憶部
４５：仮想映像生成部
４６：仮想映像表示部
５０：撮像部
５１：スクリーン
５２：映像オブジェクト記憶部
５３：仮想映像生成部
５４：仮想映像表示部
【特許請求の範囲】
【請求項１】
撮像部と、前記撮像部と所定の位置関係で配置され、仮想的な映像を表示するスクリーンと、仮想的な映像の基準データで定義される映像オブジェクトが記憶された映像オブジェクト記憶部と、前記撮像部により撮影された実映像に対応して、前記映像オブジェクト記憶部に記憶された所定の映像オブジェクトを読み出して、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する仮想映像生成部と、前記仮想映像生成部により生成された仮想映像を前記スクリーンに表示する仮想映像表示部を備えている仮想映像表示システムであって、
前記仮想映像生成部は、所定の時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する仮想映像表示システム。
【請求項２】
前記仮想映像生成部は、仮想映像の表示を起動するスイッチ信号を検出した時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する請求項１記載の仮想映像表示システム。
【請求項３】
撮像部で実映像を撮影する撮影ステップと、前記撮影ステップで撮影された実映像に対応して、映像オブジェクト記憶部に記憶された所定の映像オブジェクトを読み出して、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する仮想映像生成ステップと、前記仮想映像生成ステップで生成された仮想映像をスクリーンに表示する仮想映像表示ステップを備えている仮想映像表示方法であって、
前記仮想映像生成ステップで、所定の時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する仮想映像表示方法。
【請求項４】
前記仮想映像生成ステップで、仮想映像の表示を起動するスイッチ信号を検出した時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する請求項３記載の仮想映像表示方法。
【請求項１】
撮像部と、前記撮像部と所定の位置関係で配置され、仮想的な映像を表示するスクリーンと、仮想的な映像の基準データで定義される映像オブジェクトが記憶された映像オブジェクト記憶部と、前記撮像部により撮影された実映像に対応して、前記映像オブジェクト記憶部に記憶された所定の映像オブジェクトを読み出して、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する仮想映像生成部と、前記仮想映像生成部により生成された仮想映像を前記スクリーンに表示する仮想映像表示部を備えている仮想映像表示システムであって、
前記仮想映像生成部は、所定の時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する仮想映像表示システム。
【請求項２】
前記仮想映像生成部は、仮想映像の表示を起動するスイッチ信号を検出した時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する請求項１記載の仮想映像表示システム。
【請求項３】
撮像部で実映像を撮影する撮影ステップと、前記撮影ステップで撮影された実映像に対応して、映像オブジェクト記憶部に記憶された所定の映像オブジェクトを読み出して、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する仮想映像生成ステップと、前記仮想映像生成ステップで生成された仮想映像をスクリーンに表示する仮想映像表示ステップを備えている仮想映像表示方法であって、
前記仮想映像生成ステップで、所定の時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する仮想映像表示方法。
【請求項４】
前記仮想映像生成ステップで、仮想映像の表示を起動するスイッチ信号を検出した時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する請求項３記載の仮想映像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−３０１３５０（Ｐ２００９−３０１３５０Ａ）
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願番号】特願２００８−１５５６３７（Ｐ２００８−１５５６３７）
【出願日】平成２０年６月１３日（２００８．６．１３）
【出願人】（０００００６１５０）京セラミタ株式会社 (13,173)
【Ｆターム（参考）】
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願日】平成２０年６月１３日（２００８．６．１３）
【出願人】（０００００６１５０）京セラミタ株式会社 (13,173)
【Ｆターム（参考）】
[ Back to top ]