映像の歪みを補正する方法、映像の歪みを補正する装置、模擬視界表示装置及び操縦訓練のためのシミュレータ
【課題】スクリーンに投影された映像を見る観察者の目の位置の変位により生じる観察者が認識する映像の歪みを補正する方法を提供する。
【解決手段】本明細書に開示する方法は、スクリーン２１に投影された映像を見る観察者の目の位置Ｐの変位により生じる観察者が認識する映像の歪みを補正する方法であって、目の位置Ｐの変位量を取得し、この変位量に基づいて、スクリーン２１に映像を投影するプロジェクタ２２の投影中心を原点Ｏ１とする第１座標系Ｓ１から、目の位置Ｐを原点とする第２座標系Ｓ２への座標変換を行うマッピング関数を変更し、変更されたマッピング関数を用いて、スクリーン２１に投影される原映像に対して目の位置Ｐの変位により生じる観察者が認識する映像の歪みを補正する。
【解決手段】本明細書に開示する方法は、スクリーン２１に投影された映像を見る観察者の目の位置Ｐの変位により生じる観察者が認識する映像の歪みを補正する方法であって、目の位置Ｐの変位量を取得し、この変位量に基づいて、スクリーン２１に映像を投影するプロジェクタ２２の投影中心を原点Ｏ１とする第１座標系Ｓ１から、目の位置Ｐを原点とする第２座標系Ｓ２への座標変換を行うマッピング関数を変更し、変更されたマッピング関数を用いて、スクリーン２１に投影される原映像に対して目の位置Ｐの変位により生じる観察者が認識する映像の歪みを補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の歪みを補正する方法、映像の歪みを補正する装置、模擬視界表示装置及び操縦訓練のためのシミュレータに関する。
【背景技術】
【０００２】
従来、飛行機又は車両等の操縦を訓練するためのシミュレータが使用されている。
【０００３】
このようなシミュレータでは、実際に操縦している状態の臨場感を得るために広い視野を有するスクリーンに映像が投影される。シミュレータの操縦者は、スクリーンに映される映像を見ながら操縦を訓練する。
【０００４】
スクリーンには、プロジェクタ等を用いて映像が投影される。操縦者の視点と映像を投影するプロジェクタの投影中心とが一致する場合には、スクリーンに映される映像には歪みが生じない。しかし、一般に操縦者の視点と投影中心とは一致しないので、操縦者から見たスクリーン上の映像には歪みが生じる。この映像の歪みは、スクリーンが平面の時よりも、曲面の場合に大きい。
【０００５】
そこで、スクリーンに投影される原映像に対してスクリーンに映された時に生じる操縦者が認識する映像の歪みがあらかじめ補正された映像を作成し、この補正された映像をスクリーンに投影することが行われている。この映像の補正について、図を参照しながら、以下に説明する。
【０００６】
図１は、スクリーンに投影された映像の歪みを補正することを説明する図である。
【０００７】
図１（Ａ）に示す原映像がスクリーンに投影された映像が、図１（Ｂ）に示されている。操縦者の視点と投影中心とが一致しない場合には、スクリーンを見る操縦者は、図１（Ｂ）に示すように歪んだ映像を見ることになる。ここで、この原映像の投影は、図１（Ａ）に示す原映像を、図１（Ｂ）に示す歪んだ映像に関連付ける一種の写像と考えることができる。この写像を関数Ｆで表す。
【０００８】
そこで、関数Ｆの逆関数Ｆ−１を用いて、原画像に対して逆歪みをかけた映像を作成し、この逆歪みをかけた映像をスクリーンに投影すれば、関数Ｆ（Ｆ−１）によって、投影される映像が原映像の状態に戻るので、操縦者が認識する歪みのない映像をスクリーンに投影することができる。
【０００９】
図１（Ｃ）は、逆関数Ｆ−１を用いて、図１（Ａ）に示す原映像に対してスクリーンに映された時に生じる歪みが補正された映像を示している。図１（Ｄ）は、図１（Ｃ）に示す補正された映像がスクリーンに映された状態を示している。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１１−５３６２８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
また、シミュレータには、操縦者の操縦操作に応じて、操縦者が位置する操縦部を動揺又は回転させて操縦の模擬体験を提供するものがある。操縦部の動揺と共に、操縦者の位置が変化することにより、操縦者の目の位置も変化するので、視点の位置も同様に変化する。
【００１２】
一方、上述したスクリーンに投影された映像の歪みを補正することは、操縦者の目が所定の基準点に位置する場合に固定されて行われている。
【００１３】
しかし、操縦者の位置が動揺によって変化すれば、操縦者の目の位置も変化するので、視点の位置も変化する。また、操縦者が、操縦中に頭を動かせば、操縦者の目の位置も変化するので、視点の位置も変化する。
【００１４】
このように、操縦者の目の位置が変化すると、操縦者が認識する映像の歪みの状態が変化するので、映像の補正が操縦者の目の位置に合わなくなり、操縦者が認識するスクリーンに投影された映像に歪みが生じることになる。
【００１５】
そこで、本明細書では、スクリーンに投影された映像の歪みを補正する方法を提供することを目的とする。
【００１６】
また、本明細書では、スクリーンに投影された映像の歪みを補正する装置を提供することを目的とする。
【００１７】
また、本明細書では、スクリーンに投影された映像の歪みを補正する模擬視界表示装置を提供することを目的とする。
【００１８】
更に、本明細書では、スクリーンに投影された映像の歪みを補正する操縦訓練のためのシミュレータを提供することを目的とする。
【課題を解決するための手段】
【００１９】
本明細書に開示する方法によれば、スクリーンに投影された映像を見る観察者の目の位置の変位により生じる観察者が認識する映像の歪みを補正する方法であって、上記目の位置の変位量を取得し、上記変位量に基づいて、スクリーンに投影される原映像に対して上記目の位置の変位により生じる映像の歪みを補正する。
【００２０】
また、本明細書に開示する装置によれば、スクリーンに投影された映像を見る観察者の目の位置の変位により生じる観察者が認識する映像の歪みを補正する装置であって、上記目の位置の変位量を入力する変位量入力部と、上記スクリーンに投影される原映像を入力する映像入力部と、入力した上記変位量に基づいて、上記原映像に対して上記目の位置の変位により生じる映像の歪みを補正して、補正された映像を生成する歪み補正部と、補正された映像を出力する映像出力部と、を備える。
【００２１】
また、本明細書に開示する模擬視界表示装置によれば、スクリーンと、入力した映像を上記スクリーンに投影するプロジェクタと、上記スクリーンに投影された映像を見る観察者の目の位置の変位量を取得する変位量取得部と、上記スクリーンに投影された映像を見る上記目の位置の変位により生じる観察者が認識する映像の歪みを補正する補正装置であって、上記変位量取得部から上記変位量を入力する変位量入力部と、上記スクリーンに投影される原映像を入力する映像入力部と、入力した上記変位量に基づいて、上記原映像に対して上記目の位置の変位により生じる映像の歪みを補正して、補正された映像を生成する歪み補正部と、補正された映像を上記プロジェクタに出力する映像出力部と、を有する補正装置と、を備える。
【００２２】
更に、本明細書に開示するシミュレータによれば、映像を生成する映像生成部と、スクリーンと、上記映像生成部から入力した映像を上記スクリーンに投影するプロジェクタと、上記スクリーンに投影された映像を見る操縦者の目の位置の変位量を取得する変位量取得部と、上記スクリーンに投影された映像を見る上記目の位置の変位により生じる操縦者が認識する映像の歪みを補正する補正装置であって、上記変位量取得部から上記変位量を入力する変位量入力部と、上記映像生成部から上記スクリーンに投影される原映像を入力する映像入力部と、入力した上記変位量に基づいて、上記原映像に対して上記目の位置の変位により生じる映像の歪みを補正して、補正された映像を生成する歪み補正部と、補正された映像を上記プロジェクタに出力する映像出力部と、を含む補正装置と、を有する模擬視界表示装置と、操縦者が位置し操縦を行う操縦部と、操縦部に動揺を与える動揺装置と、を備える。
【発明の効果】
【００２３】
上述した本明細書に開示する方法によれば、目の位置の変位に応じて、スクリーンに投影された映像の歪みを補正することができる。
【００２４】
また、上述した本明細書に開示する装置によれば、目の位置の変位に応じて、スクリーンに投影された映像の歪みを補正することができる。
【００２５】
また、上述した本明細書に開示する模擬視界表示装置によれば、目の位置の変位に応じて、歪みが補正された映像がスクリーンに投影される。
【００２６】
更に、上述した本明細書に開示するシミュレータによれば、目の位置の変位に応じて、歪みが補正された映像がスクリーンに投影される。
【図面の簡単な説明】
【００２７】
【図１】スクリーンに投影された映像の歪みを補正することを説明する図である。
【図２】本明細書に開示する操縦訓練のためのシミュレータの一実施形態を示す図である。
【図３】補正装置の機能ブロック図である。
【図４】補正装置のハードウェアを説明する図である。
【図５】原映像に対して映像の歪みを補正することを説明する図である。
【図６】目の位置の変位量に基づいて、スクリーンに投影される原映像に対して目の位置の変位により生じる映像の歪みを補正することを説明する図である。
【図７】（Ａ）はピンホール・カメラモデルを説明する図であり、（Ｂ）は、光学中心を原点とする座標系を説明する図である。
【図８】シミュレータの動作例を説明するフローチャートである。
【図９】変型例のシミュレータにおいて、目の位置の変位量に基づいて、スクリーンに投影される原映像に対して目の位置の変位により生じる映像の歪みを補正することを説明する図である。
【図１０】変型例のシミュレータにおいて、原映像に対して目の位置の変位により生じる映像の歪みを補正することを説明する図である。
【発明を実施するための形態】
【００２８】
以下、本明細書で開示する操縦訓練のためのシミュレータの好ましい一実施形態を、図を参照して説明する。但し、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。
【００２９】
図２は、本明細書に開示する操縦訓練のためのシミュレータの一実施形態を示す図である。
【００３０】
シミュレータ１０は、例えば、ヘリコプター、飛行機又は車両等の操縦訓練のためのシミュレータである。
【００３１】
シミュレータ１０は、操縦者５０が位置し操縦操作を行う操縦部１１と、操縦部１１に動揺を与える動揺装置１２と、映像を生成する映像生成部１４とを備える。操縦部１１は、操縦者５０が着席する操縦席１１ａ及びシミュレータを操作するための操縦桿１１ｂを有する。映像生成部１４は、後述するスクリーン２１に投影するための原映像を生成する。映像は、複数の画像により構成される。
【００３２】
また、シミュレータ１０は、スクリーン２１と、映像生成部１４から入力した映像をスクリーン２１に投影するプロジェクタ２２とを有する模擬視界表示装置２０を備える。
【００３３】
模擬視界表示装置２０は、操縦部１１における操縦者５０の操縦操作に応じて映像生成部１４が生成する映像を入力し、操縦者５０が認識する映像の歪みを補正して、プロジェクタ２２から歪みが補正された映像をスクリーン２１に投影する。
【００３４】
更に、シミュレータ１０は、操縦部１１、動揺装置１２、映像生成部１４及び模擬視界表示装置２０を制御する制御装置１３を備える。
【００３５】
制御装置１３は、操縦者５０の操縦に応じて、動揺装置１２の動揺を制御する。動揺装置１２は、操縦部１１を、縦方向、水平方向又は斜め方向に動揺させる。また、動揺装置１２は、操縦部１１を回転させても良い。更に、制御装置１３は、操縦者５０の操縦に応じて、スクリーンに投影される原映像を映像生成部１４に生成させる。
【００３６】
操縦者５０は、スクリーンに映し出される映像を目で見ながら操縦桿１１ｂを操作して、操縦の訓練を行う。
【００３７】
シミュレータ１０では、スクリーン２１は２次曲面形状を有する。操縦者５０に広い視野を与える２次曲面形状のスクリーンは、操縦者５０に対して、実際に操縦している状態の臨場感をもたらす。
【００３８】
操縦訓練では、操縦者５０の操縦に応じて、操縦者５０が位置する操縦部１１は動揺装置１２の動揺によって変位する。このように、操縦者５０の位置が変化すると、操縦者５０の目の位置Ｐも変化するので、操縦者５０のスクリーン２１上の視点の位置も変化する。また、操縦者５０が、操縦中に頭を動かせば、操縦者の目の位置Ｐも変化するので、操縦者５０の視点が変化する。
【００３９】
シミュレータ１０は、操縦者５０の目の位置Ｐの変位量を取得し、この変位量に基づいて、スクリーン２１に投影される原映像に対して目の位置Ｐの変位により生じる操縦者５０が認識する映像の歪みを補正する。従って、シミュレータ１０を操縦する操縦者５０は、目の位置Ｐが変化しても、歪みのない映像を見ることができる。
【００４０】
シミュレータ１０では、模擬視界表示装置２０が、映像の歪みを補正する。以下、この模擬視界表示装置２０について、図を参照しながら、以下に説明する。
【００４１】
模擬視界表示装置２０は、上述したスクリーン２１及びプロジェクタ２２と、スクリーン２１に投影された映像を見る操縦者５０の目の位置Ｐの変位量を取得する変位量取得部２６と、スクリーン２１に投影された映像を見る目の位置Ｐの変位により生じる映像の歪みを補正する補正装置２５とを有する。
【００４２】
変位量取得装置２６及び補正装置２５は、制御装置１３によって制御される。
【００４３】
変位量取得部２６は、操縦者５０の目の位置Ｐの変位量を、以下の２通りの方法で取得することができる。
【００４４】
第１の方法では、変位量取得部２６は、制御装置１３が動揺装置１２を動揺させる制御信号を入力して、操縦者５０の目の位置Ｐの変位量を取得する。動揺装置１２によって操縦部１１が動揺すると、操縦席１１ａに着座している操縦者５０の位置は、動揺部１１と同じ様に変位する。操縦者の目の位置Ｐの変位は、操縦者５０の位置の変位と同じである考えることができる。そこで、第１の方法では、制御装置１３が動揺装置１２を動揺させる制御信号を入力して、操縦者５０の目の位置Ｐの変位量を取得する。
【００４５】
操縦者５０の目の位置Ｐの変位量は、目の位置Ｐの平行移動量及び／又は姿勢の変化量である回転量として表される。
【００４６】
第２の方法では、変位量取得部２６は、操縦者５０の頭部の位置が変位した量を取得して、目の位置Ｐの変位量とする。変位量取得部２６は、操縦者５０の頭部の変位量を測定するセンサ２６ａを有する。センサ２６ａは、操縦者５０の頭部に装着される。センサ２６ａとしては、例えば、３次元加速度センサを用いることができる。センサ２６ａは、操縦者５０の頭部の位置の変化により生じる３次元の加速度成分を検出し、各成分を信号として出力する。変位量取得部２６は、センサ２６ａの出力信号を入力して、操縦者５０の頭部の位置の変位量を取得する。変位量取得部２６は、入力した加速度成分を時間に関して２回積分することにより変位量を求める。操縦者の目の位置Ｐの変位は、操縦者５０の頭部の変位と同じである考えることができる。そこで、第２の方法では、変位量取得部２６は、操縦者５０の頭部が変位した量を取得して、目の位置Ｐの変位量とする。
【００４７】
変位量取得部２６は、上述した第１の方法又は第２の方法の何れかを用いて、操縦者５０の目の位置の変位量を取得し得る。
【００４８】
例えば、スクリーン２１が操縦部１１と一体に形成される場合には、スクリーン２１は、操縦部１１と一体に動揺する。このような場合には、上述した第１の方法では、操縦者５０の目の位置の変位量を正確に取得することができないので、第２の方法が用いられる。
【００４９】
変位量取得部２６は、取得した目の位置Ｐの変位量を補正装置２５に出力する。
【００５０】
次に、補正装置２５について、図を参照しながら、以下に説明する。
【００５１】
図３は、補正装置の機能ブロック図である。
【００５２】
図３に示すように、補正装置２５は、変位量取得部２６から目の位置Ｐの変位量を入力する変位量入力部２５ａと、映像生成装置１４からスクリーン２１に投影される原映像を入力する映像入力部２５ｂと、入力した変位量に基づいて、原映像に対して目の位置Ｐの変位により生じる操縦者５０が認識する映像の歪みを補正して、補正された映像を生成する歪み補正部２５ｃと、補正された映像をプロジェクタ２２に出力する映像出力部２５ｄと、を有する。
【００５３】
図４は、補正装置のハードウェアを説明する図である。
【００５４】
補正装置２５は、上述した各機能を実現するためのハードウェアとして、演算部３１と、記憶部３２と、表示部３３と、入力部３４と、出力部３５と、通信部３６とを有する。演算部３１は、記憶部３２に記憶された所定のプログラムを実行することにより、上述した補正装置２５の各機能を実現する。
【００５５】
具体的には、入力した目の位置Ｐの変位量に基づいて、原映像に対して目の位置Ｐの変位により生じる操縦者５０が認識する映像の歪みを補正することは、演算部３１が、記憶部３２に記憶された所定のプログラムを実行することにより実現される。
【００５６】
所定のプログラムは、例えば通信部３６を用いて、ネットワーク（図示しない）を介して記憶部３２に記憶することができる。また、補正装置３１の通信部３６と、映像生成装置１４、変位量取得装置２６及び制御装置１３とをネットワークを介して接続することにより、変位量又は原映像を、通信部３６を用いて入力しても良い。
【００５７】
補正装置２５は、例えば、サーバ又はパーソナルコンピュータ等のコンピュータ、若しくはステートマシン等を用いて形成され得る。制御装置１３及び映像生成装置１４及び後述するマッピング関数生成装置２７も、図４に示すのと同様のハードウェアを用いて実現され得る。
【００５８】
また、補正装置２５は、回路等のハードウェアを用いて形成しても良い。
【００５９】
次に、補正装置２５が、目の位置Ｐの変位量に基づいて、スクリーン２１に投影される原映像に対して目の位置Ｐの変位により生じる操縦者５０が認識する映像の歪みを補正する処理を、図を参照しながら、以下に説明する。
【００６０】
まず、図１を用いて説明したように、映像生成装置１４により生成された原映像に対しては、スクリーンに映された時に生じる操縦者５０が認識する歪みが補正される。この歪み補正は、シミュレータ１０が動作を開始した最初の状態では、操縦者の目の位置Ｐが所定の基準点にあるものとして行われる。
【００６１】
図５は、原映像に対して映像の歪みを補正することを説明する図である。
【００６２】
画像４０ａは、映像生成装置１４により生成された原映像の一コマを示す。画像４０ｂは、プロジェクタ２２からスクリーン２１に投影される歪みが補正された映像の一コマを示す。プロジェクタ２２の画素Ｑｂの画素情報（輝度情報）として、歪み補正テーブル４１のテーブル要素４１ａを参照して、画像４０ａの画素Ｑａの画素情報が読み取られる。即ち、歪み補正テーブル４１は、プロジェクタ２２の各画素Ｑｂの位置と、原映像の画像４０ａの画素Ｑａの位置と対応づけるテーブルである。
【００６３】
プロジェクタ２２から投影される画像４０ｂは、スクリーンに映された時に生じる操縦者５０が認識する歪みが補正された画像（図１（Ｃ）に対応する）となっているので、画像４０ｂがプロジェクタ２２からスクリーン２１に投影された画像（図１（Ｄ）に対応する）は、目の位置が所定の基準点にある操縦者５０には、歪みのない画像に見える。プロジェクタ２２から投影される画像４０ｂ（矩形ＡＢＣＤ）は、例えば、原映像の画像４０ａの鎖線で示された領域ＡＢＣＤの画素情報を用いて生成される。
【００６４】
このように、補正装置２５は、映像生成装置１４により生成された原映像の一コマを入力し、歪み補正テーブル４１を参照して、プロジェクタ２２に出力される各画素Ｑｂの画素情報を、対応する原映像の画像４０ａの画素Ｑａから読み取って、補正された画像を生成する。このようにして、補正装置２５が、映像生成装置１４により生成された原映像の各コマに対して補正された画像をプロジェクタ２２に次々と出力することにより、操縦者５０が認識する歪みが補正された映像がスクリーン２１に投影される。
【００６５】
上述した歪み補正テーブル４１は、図５の式（１）に示すマッピング関数ｆｐｅによって作成される。マッピング関数ｆｐｅは、プロジェクタ２２のある画素Ｑｂの位置を、原映像の画像４０ａの画素Ｑａの位置に対応づける関数である。図５の式（１）における±の符号は、２次曲面であるスクリーン２１が、操縦者５０に向かって凸の場合と、操縦者５０とは反対側に向かって凸の場合とのそれぞれに対応する。
【００６６】
図６は、目の位置の変位量に基づいて、スクリーンに投影される原映像に対して目の位置の変位により生じる映像の歪みを補正することを説明する図である。
【００６７】
マッピング関数ｆｐｅは、プロジェクタ２２がスクリーン２１に映像を投影する投影中心を原点Ｏ１とする第１座標系Ｓ１から、操縦者５０の目の位置Ｐを原点とする第２座標系Ｓ２への座標変換を行う関数である。
【００６８】
マッピング関数ｆｐｅは、最初は目の位置Ｐが所定の基準点にあるとして生成されたものであり、操縦者５０が操縦訓練を開始した後には、目の位置Ｐの変位量に基づいて変更される。
【００６９】
最初、操縦者５０の目の位置Ｐが、第１座標系Ｓ１における所定の基準点にあるものとする。そして、当初のマッピング関数ｆｐｅは、プロジェクタ２２がスクリーン２１に映像を投影する投影中心を原点Ｏ１とする第１座標系Ｓ１から、操縦者５０の目の位置Ｐである基準点を原点とする第２座標系Ｓ２への座標変換を行う関数として生成される。ここで、シミュレータ１０においてプロジェクタ２２の位置は固定されているので、プロジェクタ２２がスクリーン２１に映像を投影する投影中心を原点Ｏ１の位置は固定されている。
【００７０】
そして、図６に示すように、操縦部１１の動揺等により、操縦者５０の目の位置が、位置Ｐから位置Ｐ’に変位したとする。すると、操縦者５０の目の位置が、第１座標系Ｓ１における点Ｐ’に移動する。
【００７１】
操縦者５０の目の位置が、第１座標系Ｓ１において点Ｐから点Ｐ’に移動する変位量は行列Ｒで表すことができる。この変位量を表す行列Ｒは、点Ｐの移動に基づく平行移動量を表す成分及び回転量を表す成分を有する。
【００７２】
そして、補正装置２５は、目の位置Ｐの変位量に基づいて、プロジェクタ２２がスクリーン２１に映像を投影する投影中心を原点Ｏ１とする第１座標系Ｓ１から目の位置Ｐを原点とする第２座標系Ｓ２への座標変換を行うマッピング関数ｆｐｅを、第１座標系Ｓ１から目の位置Ｐ’を原点とする第２座標系Ｓ２’への座標変換を行うマッピング関数ｆｐｅ’に変更し、変更されたマッピング関数ｆｐｅ’を用いて、原映像に対して目の位置の変位により生じる操縦者５０が認識する映像の歪みを補正する。
【００７３】
次に、シミュレータ１０が動作を開始した最初の状態において、即ち操縦者の目の位置Ｐが所定の基準点にある状態におけるマッピング関数を以下に説明する。その後、目の位置Ｐの変位量に基づいて、マッピング関数がどのように変更されるのかを説明する。
【００７４】
シミュレータ１０が動作を開始した最初の状態において、マッピング関数は、模擬視界表示装置２０が有するマッピング関数生成装置２７によって生成される。マッピング関数生成装置２７は、スクリーン２１の形状等を計測するための計測カメラ２３を有する。マッピング関数生成装置２７は、制御装置１３によって制御される。
【００７５】
マッピング関数生成装置２７は、以下に説明するシステムデータに基づいて、マッピング関数を生成する。システムデータは、マッピング関数生成装置２７内の記憶部に記憶される。マッピング関数生成装置２７は、その演算部が、システムデータを用いて所定のプログラムを実行することにより、マッピング関数を生成する。
【００７６】
システムデータは、プロジェクタ２２に関するデータと、操縦者５０の目を仮想的にカメラに置き換えた仮想カメラ２４（図６参照）に関するデータと、スクリーン２１に関するデータとを有する。計測用カメラ２３は、一部のシステムデータを取得する際に用いられる。
【００７７】
プロジェクタ２２に関するデータには、投影角（画角）、解像度及び第１座標系Ｓ１で表された画像中心の位置が含まれる。この画像中心の説明については後述する。
【００７８】
仮想カメラ２４に関するデータには、視野角（画角）、解像度、第２座標系Ｓ２で表された画像中心の位置及び第１座標系Ｓ１で表された仮想カメラ２４の位置及び姿勢が含まれる。仮想カメラ２４の位置は、第１座標系Ｓ１で表された原点Ｏ１からの平行移動量で表され、仮想カメラ２４の姿勢は、第１座標系Ｓ１で表された所定の基準の方向から仮想カメラ２４の光軸の方向への回転量で表される。シミュレータ１０が動作を開始した最初の状態においては、仮想カメラ２４の位置は、第１座標系Ｓ１で表された所定の基準点にある。また、最初の状態における仮想カメラ２４の姿勢は、所定の基準点に位置する操縦者５０の目からスクリーン２１の正面方向を見た視点の方向と一致する光軸の方向を意味する。仮想カメラ２４の位置及び姿勢は、計測用カメラ２３を用いて計測される。
【００７９】
スクリーン２１に関するデータには、スクリーン２１の形状を表す２次曲面係数行列（４行４列）が含まれる。２次曲面係数行列は、第１座標系Ｓ１で表される。この２次曲面係数行列は、２次曲面と共に平面形状を表すことができるので、２次曲面係数行列で表されるスクリーンには平面スクリーンが含まれる。２次曲面係数行列は、計測カメラ２３を用いて計測される。
【００８０】
なお、システムデータの内、計測カメラ２３を用いて計測されないデータに関しては、あらかじめマッピング関数生成装置２７内に記憶されている。
【００８１】
次に、上述したプロジェクタ２２の画像中心及び仮想カメラ２４の画像中心並びに第１座標系Ｓ１及び第２座標系Ｓ２について、図７を参照して、以下に説明する。
【００８２】
図７（Ａ）はピンホール・カメラモデルを説明する図であり、図７（Ｂ）は、光学中心を原点とする座標系を説明する図である。
【００８３】
図７（Ａ）には、プロジェクタ２２及び仮想カメラ２４の幾何学的性質が、ピンホール・カメラモデルを用いて示されている。
【００８４】
図７（Ａ）では、カメラの撮像素子（プロジェクタの場合には、投影される画像素子）が配置される画像面πと、カメラの光学系の光軸Ｌと、画像面πに映された像とが示されている。ピンホール・カメラモデルでは、カメラの画像面πに至る光の全ては、光軸上の一点Ｃを通過すると考える。この点Ｃは光学中心と呼ばれる。また、この光学中心Ｃを通る光軸Ｌは、画像面πと垂直に交わっており、光軸Ｌと画像面πとの交点は、画像中心ｘｃと呼ばれる。そして、光学中心Ｃと画像中心ｘｃとの間の距離は焦点距離と呼ばれる。
【００８５】
また、図７（Ｂ）に示すように、画像面π内では、光軸Ｌと直交し且つ互いに垂直な関係にあるｘ軸及びｙ軸が示されている。画像面π内の画素の位置は、ｘ座標及びｙ座標により表される。そして、ピンホール・カメラモデルにおいて、光学中心Ｃを原点としたカメラ座標系を考える。このカメラ座標系では、Ｚ軸を光軸Ｌと一致させて、Ｘ軸を画像面π内のｘ軸と平行になるように且つＹ軸を画像面π内のｙ軸と平行になるようにとる。上述した第１座標系Ｓ１及び第２座標系Ｓ２は、このカメラ座標系の一つである。
【００８６】
第１座標系Ｓ１では、プロジェクタ２２がスクリーン２１に映像を投影する投影中心である原点Ｏ１は、プロジェクタ２２の画像中心である。
【００８７】
また、第２座標系Ｓ２では、操縦者５０の目の位置である原点Ｐは、仮想カメラ２４の画像中心である。
【００８８】
図５の式（１）に示すマッピング関数ｆｐｅは、第１座標系Ｓ１において３行１列の齋次座標で表されるプロジェクタの画像における画素の位置を表す行列Ｘ１と、第２座標系Ｓ２において３行１列の齋次座標で表される仮想カメラ２４の画像における画素の位置を表す行列Ｘ２とを対応づける。齋次座標では、図７（Ｂ）におけるカメラ座標系のＺ成分が１に固定されて、画像面π上の位置を表わす座標である。
【００８９】
図５の式（１）における行列Ａは、３行３列の行列であり、（１）プロジェクタ２２の投影角、解像度及び画像中心の位置に基づいて作成された３行３列の内部パラメータ行列と、（２）視点カメラ２４の視野角、解像度、画像中心の位置、及び第１座標系Ｓ１で表された所定の基準点に位置する視点カメラ２４の平行移動量及び回転量に基づいて作成された３行４列の射影行列Ｔと、（３）スクリーン２１の形状を表す４行４列の２次曲面係数行列と、を用いて作成される。
【００９０】
上述した射影行列Ｔは、視点カメラの視野角、解像度及び画像中心位置に基づいて作成される行列Ｔ１と、第１座標系Ｓ１で表された所定の基準点に位置する視点カメラ２４の平行移動量及び回転量に基づいて作成される行列Ｔ２との積で表される。
【００９１】
図５の式（１）における行列Ｅは、第１座標系Ｓ１で表された２次曲面係数行列に基づいて作成される３行３列の行列である。
【００９２】
図５の式（１）における行列ｅは、エピポールと呼ばれ、射影行列Ｔを元にして作成される３行１列の行列である。行列ｅは、視点カメラの視野角、解像度及び画像中心の位置に基づいて作成される行列ｅ１と、第１座標系Ｓ１で表された所定の基準点に位置する視点カメラ２４の平行移動量及び回転量に基づいて作成される行列ｅ２との積で表される。
【００９３】
マッピング関数生成装置２７は、生成したマッピング関数及びシステムデータを補正装置２５に出力する。補正装置２５は、入力したマッピング関数及びシステムデータを記憶部３２に記憶する。
【００９４】
上述したマッピング関数に関する詳細な説明については、例えば、特開２００６−２２１５９９号明細書及び特開２００９−５０４４号明細書等を参照されたい。
【００９５】
次に、目の位置Ｐの変位量に基づいて、マッピング関数を変更することを以下に説明する。
【００９６】
目の位置が変位すると、即ち、視点カメラ２４の位置が変位すると、第１座標系Ｓ１で表された第２座標系Ｓ２の原点Ｐの平行移動量及び回転量が変化する。図６には、目の位置が点Ｐから点Ｐ’に移動することにより、点Ｐを原点とする第２座標系Ｓ２が、点Ｐ’を原点とする第２座標系Ｓ２’に移動した状態が示されている。
【００９７】
そして、移動後の第１座標系Ｓ１で表された視点カメラ２４の平行移動量及び回転量は、目の位置が変位する前の第１座標系Ｓ１で表された視点カメラ２４の平行移動量及び回転量と、視点カメラ２４の位置の変位量とに基づいて求められる。ここで、視点カメラ２４の位置の変位量は、目の位置Ｐの変位量として、変位量取得装置２６によって取得された行列Ｒで表される。
【００９８】
最初の状態において、視点カメラ２４の平行移動量は、第１座標系Ｓ１における所定の基準点の位置に対応しており、視点カメラ２４の回転量は、第１座標系Ｓ１で表された所定の基準の方向から仮想カメラ２４の光軸の方向への回転量である。従って、移動後の第１座標系Ｓ１で表された視点カメラ２４の平行移動量及び回転量それぞれは、第１座標系Ｓ１における所定の基準点からの位置の変位量である平行移動量と、第１座標系Ｓ１における初期姿勢からの変位量である回転量とにより表されることになる。
【００９９】
補正装置２５は、演算部３１が記憶部３２に記憶された所定のプログラムを実行することにより、第１座標系Ｓ１で表された現在の視点カメラ２４の平行移動量及び回転量を用いて、射影行列Ｔを構成する行列Ｔ２を新たに求める。また、補正装置２５は、演算部３１が記憶部３２に記憶された所定のプログラムを実行することにより、求めた現在の第１座標系Ｓ１で表された視点カメラ２４の平行移動量及び回転量を用いて、行列ｅを構成する行列ｅ２を新たに求める。そして、補正装置２５は、演算部３１が記憶部３２に記憶された所定のプログラムを実行することにより、新たに求めた行列Ｔ２を用いて射影行列Ｔを変更し且つ新たに求めた行列ｅ２を用いて行列ｅを変更して、変更された射影行列Ｔ及び行列ｅ及びシステムデータを用いて、マッピング関数を変更する。
【０１００】
このように、補正装置２５は、目の位置Ｐの変位量に基づいて、マッピング関数を変更する機能を有する。
【０１０１】
図６には、目の位置の変位に伴って、第１座標系Ｓ１から第２座標系Ｓ２への座標変換を行うマッピング関数がｆｐｅからｆｐｅ’に変更されることが示されている。
【０１０２】
以上が、目の位置Ｐの変位量に基づいて、補正装置２５がマッピング関数を変更することの説明である。
【０１０３】
次に、上述したシミュレータ１０の動作例を、図８を参照して以下に説明する。
【０１０４】
まず、ステップＳ１０に示すように、シミュレータ１０が起動すると、制御部１３は、計測用カメラ２３を用いてシステムデータを取得した後、マッピング関数生成装置２７を用いてマッピング関数を生成する。生成されたマッピング関数は、補正装置２５に記憶される。そして、操縦部１１に位置した操縦者５０が操縦訓練を開始する。
【０１０５】
次に、ステップＳ１２に示すように、補正装置２５は、変位量取得部２６が取得した操縦者５０の目の位置の変位量を入力する。また、補正装置２５は、映像生成装置１４が生成したスクリーンに投影するための原映像を入力する。
【０１０６】
次に、ステップＳ１４に示すように、補正装置２５は、目の位置の変位量に基づいて、マッピング関数を変更する。
【０１０７】
次に、ステップＳ１６に示すように、補正装置２５は、変更されたマッピング関数を用いて、歪み補正テーブル４１を変更する。補正装置２５は、プロジェクタ２２の各画素Ｑｂの位置に対応する原映像を構成する画像４０ａの画素Ｑａの位置について、変更されたマッピング関数を用いて、歪み補正テーブル４１を書き換える。
【０１０８】
次に、ステップＳ１８に示すように、補正装置２５は、歪み補正テーブル４１を用いて、原映像に対して目の位置の変位により生じる操縦者５０が認識する映像の歪みを補正して、補正された映像を生成する。
【０１０９】
そして、ステップＳ２０に示すように、補正装置２５は、補正された映像をプロジェクタ２２に出力する。プロジェクタ２２は、補正された映像をスクリーン２１に投影する。スクリーン２１には、操縦者が認識する歪みのない映像が投影される。
【０１１０】
上述した本実施形態のシミュレータ１０によれば、操縦者５０の目の位置の変位に応じて、操縦者５０が認識する歪みが補正された映像がスクリーンに投影される。操縦者５０は、訓練中に歪みのない映像を見ながら操縦できるので、訓練の精度を高めることができる。
【０１１１】
次に、上述したシミュレータの変型例を、図９及び図１０を参照しながら以下に説明する。この変型例について特に説明しない点については、上述の実施形態に関して詳述した説明が適宜適用される。また、同一の構成要素には同一の符号を付してある。
【０１１２】
図９は、変型例のシミュレータにおいて、目の位置の変位量に基づいて、スクリーンに投影される原映像に対して目の位置の変位により生じる映像の歪みを補正することを説明する図である。図１０は、変型例のシミュレータにおいて、原映像に対して目の位置の変位により生じる映像の歪みを補正することを説明する図である。
【０１１３】
本変型例のシミュレータ１０では、マッピング関数が、スクリーン２１に映像を投影するプロジェクタ２２の投影中心を原点Ｏ１とする第１座標系Ｓ１から、スクリーン２１を撮影する計測用カメラ２３の位置を原点Ｏ３とする第３座標系Ｓ３への座標変換を行う第１マッピング関数ｆｐｃと、第３座標系Ｓ３から、操縦者５０の目の位置Ｐを原点とする第２座標系Ｓ２への座標変換を行う第２マッピング関数ｆｃｅとから構成される。
【０１１４】
シミュレータ１０では、プロジェクタ２２及び計測用カメラ２３の位置は固定されているので、操縦者５０の目の位置Ｐが変位しても第１マッピング関数ｆｐｃは変化しない。
【０１１５】
図９には、操縦者５０の目の位置が点Ｐから点Ｐ’に移動することにより、点Ｐを原点とする第２座標系Ｓ２が、点Ｐ’を原点とする第２座標系Ｓ２’に移動した状態が示されている。補正装置２５は、操縦者５０の目の位置の変位量に基づいて、第３座標系Ｓ３から目の位置Ｐを原点とする第２座標系Ｓ２への座標変換を行うマッピング関数ｆｃｅを、第３座標系Ｓ３から目の位置Ｐ’を原点とする第２座標系Ｓ２’への座標変換を行うマッピング関数ｆｃｅ’に変更する。
【０１１６】
補正装置２５は、目の位置の変位量に基づいて、第２マッピング関数ｆｃｅを変更し、第１マッピング関数ｆｐｃ及び変更された第２マッピング関数ｆｃｅ’を用いて、原映像に対して目の位置の変位により生じる操縦者５０が認識する映像の歪みを補正する。
【０１１７】
次に、本変型例が、マッピング関数を第１マッピング関数ｆｐｃ及び第２マッピング関数ｆｃｅという２つの関数に分ける理由を以下に説明する。
【０１１８】
上述した図５の式（１）に示すマッピング関数ｆｐｅは、行列Ａ及び行列Ｅ及び行列ｅを有しているが、これらの行列Ａ及び行列Ｅ及び行列ｅには誤差が含まれている。誤差を含む行列Ａ及び行列Ｅ及び行列ｅを用いたマッピング関数によって補正された映像には、操縦者が認識し得る歪みが残り、映像を構成する画像と画像との間にずれが生じる場合がある。そこで、マッピング関数ｆｐｅに対して、これらの誤差を修正する最適化処理を行うことが好ましい。しかし、この最適化処理には多くの時間を要するので、操縦者の目の位置の変位に応じて、マッピング関数を最適化処理した上で、映像を構成する各画像の補正を行うことは困難な場合がある。
【０１１９】
そこで、本変型例では、第１マッピング関数ｆｐｃに対しては最適化処理を行うが、第２マッピング関数ｆｃｅに対しては最適化処理を行わないこととした。第１マッピング関数ｆｐｃは、操縦者５０の目の位置Ｐが変位しても変更されないので、最初に第１マッピング関数ｆｐｃを生成した後に最適化処理を一度行えばその後の最適化処理は不要となる。
【０１２０】
このように、本変型例では、操縦者の目の位置の変位に応じて、部分的に最適化処理されたマッピング関数を用いて映像の補正を行う。第２マッピング関数ｆｃｅに対しては最適化処理を行ないが、第１マッピング関数ｆｐｃに対しては最適化処理が行われているので、操縦者が認識し得る映像の歪み補正に対する不具合の程度を許容範囲に収めることができる。
【０１２１】
本変型例では、所定の演算速度を有する補正装置２５を用いることにより、目の位置の変位により生じる操縦者が認識する映像の歪みを補正した上で、例えば、６０Ｈｚで画像が更新される映像をスクリーンに投影することも可能である。
【０１２２】
次に、上述した第１マッピング関数ｆｐｃ及び第２マッピング関数ｆｃｅを用いて、画像を補正する処理について、図１０を参照して更に説明する。
【０１２３】
図１０に示すように、プロジェクタ２２から投影される画像４０ｂの各画素Ｑｂは、第１歪み補正テーブル４２及び第２歪み補正テーブル４３を介して、映像生成装置１４により生成された原映像の一コマである画像４０ａの画素Ｑａと対応付けられている。
【０１２４】
第２歪み補正テーブル４３は、プロジェクタ２２の画素Ｑｂの位置と第１歪み補正テーブル４２のテーブル要素４２ａとを対応づけるテーブルである。第２歪み補正テーブル４３のテーブル要素４３ａには、プロジェクタ２２の画素Ｑｂの画素情報（輝度情報）が読み取られる原映像の画像４０ａの画素Ｑａの位置が、第１歪み補正テーブル４２のどのテーブル要素に記載されているのかが収められている。第２歪み補正テーブル４３は、図１０の式（３）に示す第２マッピング関数ｆｃｅを用いて作成される。
【０１２５】
第１歪み補正テーブル４２は、第２歪み補正テーブル４３のテーブル要素４３ａと原映像の画像４０ａの画素Ｑａとを対応づけるテーブルである。第１歪み補正テーブル４２のテーブル要素４２ａには、第２歪みテーブル４３のテーブル要素４３ａで特定されるプロジェクタ２２の画素Ｑｂの画素情報（輝度情報）が読み取られる原映像の画像４０ａの画素Ｑａの位置が収められている。第１歪み補正テーブル４２は、図１０の式（２）に示す第１マッピング関数ｆｐｃを用いて作成される。
【０１２６】
補正装置２５は、映像生成装置１４により生成された原映像の一コマを入力し、第１歪み補正テーブル４２及び第２歪み補正テーブル４３を参照して、プロジェクタ２２に出力される各画素Ｑｂの画素情報を、対応する原映像の画像４０ａの画素Ｑａから読み取って、補正された画像４０ｂを生成する。このようにして、補正装置２５が、映像生成装置１４により生成された原映像の各コマに対して、補正された画像をプロジェクタ２２に次々と出力することにより、操縦者５０が認識する歪みが補正された映像がスクリーン２１に投影される。
【０１２７】
図１０の式（２）に示す第１マッピング関数ｆｐｃは、第１座標系Ｓ１において３行１列の齋次座標で表されるプロジェクタ２２の画像における画素の位置を表す行列Ｘ１と、第３座標系Ｓ３において３行１列の齋次座標で表される計測用カメラ２３の画像における画素の位置を表す行列Ｘ３とを対応づける。
【０１２８】
マッピング関数生成装置２７は、以下に説明するシステムデータに基づいて、第１マッピング関数ｆｐｃを生成する。
【０１２９】
システムデータは、プロジェクタ２２に関するデータと、計測用カメラ２３に関するデータと、スクリーン２１に関するデータとを有する。
【０１３０】
プロジェクタ２２に関するデータには、投影角（画角）、解像度及び第１座標系Ｓ１で表された画像中心の位置が含まれる。
【０１３１】
計測用カメラ２３に関するデータには、視野角（画角）、解像度、第３座標系Ｓ３で表された画像中心の位置及び第１座標系Ｓ１で表された計測用カメラ２３の位置及び姿勢が含まれる。ここで、第３座標系Ｓ３では、計測用カメラ２３の位置である原点Ｏ３が、計測用カメラ２３の画像中心である。また、計測用カメラ２３の位置は、第１座標系Ｓ１で表された原点Ｏ１からの平行移動量で表され、計測用カメラ２３の姿勢は、第１座標系Ｓ１で表された所定の基準の方向から計測用カメラ２３の光軸の方向への回転量で表される。シミュレータ１０において、計測用カメラ２３は固定されているので、計測用カメラ２３の位置及び姿勢は、あらかじめ決定されている。
【０１３２】
スクリーン２１に関するデータには、スクリーン２１の形状を表す２次曲面係数行列（４行４列）が含まれる。２次曲面係数行列は、第１座標系Ｓ１で表される。この２次曲面係数行列は、計測カメラ２３を用いて計測される。
【０１３３】
図１０の式（２）における行列Ｅａは、２次曲面係数行列に基づいて作成される３行３列の行列である。
【０１３４】
図１０の式（２）における行列Ａａは、３行３列の行列であり、（１）プロジェクタ２２の投影角、解像度、及び画像中心の位置に基づいて作成された３行３列の内部パラメータ行列と、（２）計測用カメラ２３の視野角、解像度、画像中心の位置及び第１座標系Ｓ１で表された計測用カメラ２３の平行移動量及び回転量に基づいて作成された３行４列の射影行列Ｔａと、（３）スクリーン２１の形状を表す４行４列の２次曲面係数行列と、を用いて作成される。
【０１３５】
上述した射影行列Ｔａは、計測用カメラ２３の視野角、解像度、画像中心の位置に基づいて作成される行列Ｔａ１と、第１座標系Ｓ１で表された計測用カメラ２３の平行移動量及び回転量に基づいて作成される行列Ｔａ２との積で表される。
【０１３６】
図１０の式（２）における行列ｅａは、エピポールと呼ばれ、射影行列Ｔａを元にして作成される３行１列の行列である。行列ｅａは、計測用カメラ２３の視野角、解像度、画像中心の位置に基づいて作成される行列ｅａ１と、第１座標系Ｓ１で表された計測用カメラ２３の平行移動量及び回転量に基づいて作成される行列ｅａ２との積で表される。
【０１３７】
図１０の式（３）に示す第２マッピング関数ｆｃｅは、第３座標系Ｓ３において３行１列の齋次座標で表される計測カメラ２３の画像における画素の位置を表す行列Ｘ３と、第２座標系Ｓ２において３行１列の齋次座標で表される仮想カメラ２４の画像における画素の位置を表す行列Ｘ２とを対応づける。
【０１３８】
マッピング関数生成装置２７は、以下に説明するシステムデータに基づいて、第２マッピング関数ｆｃｅを生成する。
【０１３９】
システムデータは、計測用カメラ２３に関するデータと、視点カメラ２４に関するデータと、スクリーン２１に関するデータとを有する。
【０１４０】
計測用カメラ２３に関するデータには、視野角（画角）、解像度、及び第３座標系Ｓ３で表された画像中心の位置が含まれる。
【０１４１】
仮想カメラ２４に関するデータには、視野角（画角）、解像度、第２座標系Ｓ２で表された画像中心の位置及び第３座標系Ｓ３で表された仮想カメラ２４の位置及び姿勢が含まれる。仮想カメラ２４の位置は、第３座標系Ｓ３で表された原点Ｏ３からの平行移動量で表され、仮想カメラ２４の姿勢は、第３座標系Ｓ３で表された所定の基準の方向から仮想カメラ２４の光軸の方向への回転量で表される。ミュレータ１０が動作を開始した最初の状態においては、仮想カメラ２４の位置は、第３座標系Ｓ３で表された所定の基準点にあり、即ち第３座標系Ｓ３で表された第２座標系Ｓ２の原点の位置Ｐとなる。また、最初の状態における仮想カメラ２４の姿勢は、所定の基準点に位置する操縦者５０の目からスクリーン２１の正面方向を見た視点の方向と一致する光軸の方向を意味する。仮想カメラ２４の位置及び姿勢は、計測用カメラ２３を用いて計測される。
【０１４２】
スクリーン２１に関するデータには、スクリーン２１の形状を表す２次曲面係数行列（４行４列）が含まれる。２次曲面係数行列は、第３座標系Ｓ３で表される。２次曲面係数行列は、計測用カメラ２３を用いて計測される。
【０１４３】
図１０の式（３）における行列Ａｂは、３行３列の行列であり、（１）計測用カメラ２３の視野角、解像度、及び画像中心の位置から作成された３行３列の内部パラメータ行列と、（２）視点カメラ２４の視野角、解像度、画像中心の位置、及び第３座標系Ｓ３で表された視点カメラ２４の平行移動量及び回転量に基づいて作成された３行４列の射影行列Ｔｂと、（３）スクリーン２１の形状を表す４行４列の２次曲面係数行列と、を用いて作成される。
【０１４４】
上述した射影行列Ｔｂは、視点カメラの視野角、解像度、画像中心の位置に基づいて作成される行列Ｔｂ１と、第３座標系Ｓ３で表された視点カメラ２４の平行移動量及び回転量に基づいて作成される行列Ｔｂ２との積で表される。
【０１４５】
図１０の式（３）における行列Ｅｂは、第３座標系Ｓ３で表される２次曲面係数行列に基づいて作成される３行３列の行列である。
【０１４６】
図１０の式（３）における行列ｅｂは、エピポールと呼ばれ、射影行列Ｔｂを元にして作成される３行１列の行列である。行列ｅｂは、視点カメラ２４の視野角、解像度、画像中心の位置に基づいて作成される行列Ｅｂ１と、第３座標系Ｓ３で表された視点カメラ２４の平行移動量及び回転量に基づいて作成される行列ｅｂ２との積で表される。
【０１４７】
第２マッピング関数ｆｃｅは、最初は目の位置Ｐが所定の基準点にあるとして生成されたものであり、操縦者５０が操縦訓練を開始した後には、目の位置Ｐの変位量に基づいて変更される。
【０１４８】
そして、現在の第３座標系Ｓ１で表された視点カメラ２４の平行移動量及び回転量は、目の位置が変位する前の第３座標系Ｓ３で表された視点カメラ２４の平行移動量及び回転量と、視点カメラ２４の位置の変位量とに基づいて求められる。
【０１４９】
補正装置２５は、現在の第３座標系Ｓ３で表された視点カメラ２４の平行移動量及び回転量を用いて、射影行列Ｔｂを構成する行列Ｔｂ２を新たに求める。また、補正装置２５は、第３座標系Ｓ３で表された現在の視点カメラ２４の平行移動量及び回転量を用いて、行列ｅｂを構成する行列ｅｂ２を新たに求める。そして、補正装置２５は、新たに求めた行列Ｔｂ２を用いて射影行列Ｔｂを変更し且つ新たに求めた行列ｅｂ２を用いて行列ｅｂを変更し、変更された射影行列Ｔｂ及び行列ｅｂを用いて、第２マッピング関数ｆｃｅを変更する。
【０１５０】
図９には、目の位置の変位に伴って、第３座標系Ｓ３から第２座標系Ｓ２への座標変換を行う第２マッピング関数がｆｃｅからｆｃｅ’に変更されることが示されている。
【０１５１】
本発明では、上述した実施形態の映像の歪みを補正する方法、映像の歪みを補正する装置、模擬視界表示装置及び操縦訓練のためのシミュレータは、本発明の趣旨を逸脱しない限り適宜変更が可能である。
【０１５２】
例えば、上述した実施形態では、頭部の変位量を測定するセンサ又は動揺装置への制御信号を用いて、目の位置の変位量の取得をしていた。しかし、目の位置の変位量を取得することは、これらに限定されず他の方法又は手段を用いても良い。例えば、加速度センサを、操縦者の目の近傍に配置して、目の位置の変位量を取得しても良い。
【０１５３】
また、上述した実施形態では、スクリーンに映像を投影するプロジェクタの数が１つであったが、複数のプロジェクタを使用して、それぞれのプロジェクタから分割した映像をスクリーンに投影しても良い。
【０１５４】
また上述した説明では、システムデータは、計測用カメラを用いて計測されていたが、スクリーンの２次曲面計数行列が既知であり、且つスクリーンに光ファイバ等のマーカを付けることによりプロジェクタの位置及び姿勢を計測可能な場合には、計測用カメラを設置せずに、仮想的に仮想計測用カメラを配置して、マッピング関数を生成しても良い。
【０１５５】
また上述した説明では、スクリーンは、２次曲面であったが、スクリーンの形状は、２次曲面以外の形状であっても良い。
【符号の説明】
【０１５６】
１０ シミュレータ
１１ 操縦部
１１ａ 操縦席
１１ｂ 操縦桿
１２ 動揺装置
１３ 制御装置
１４ 映像生成装置
２０ 模擬視界表示装置
２１ スクリーン
２２ プロジェクタ
２３ 計測用カメラ
２４ 仮想視点カメラ
２５ 補正装置
２５ａ 変位量入力部
２５ｂ 映像入力部
２５ｃ 歪み補正部
２５ｄ 映像出力部
２６ 変位量取得部
２６ａ センサ
２７ マッピング関数生成装置
３１ 演算部
３２ 記憶部
３３ 表示部
３４ 入力部
３５ 出力部
３６ 通信部
４０ａ 原画像
４０ｂ 補正された映像
４１ 歪み補正テーブル
４２ 第１歪み補正テーブル
４３ 第２歪み補正テーブル
５０ 操縦者
Ｐ 目の位置、第２座標系の原点
Ｓ１ 第１座標系
Ｓ２ 第２座標系
Ｓ３ 第３座標系
Ｏ１ 第１座標系の原点
Ｏ３ 第３座標系の原点
【技術分野】
【０００１】
本発明は、映像の歪みを補正する方法、映像の歪みを補正する装置、模擬視界表示装置及び操縦訓練のためのシミュレータに関する。
【背景技術】
【０００２】
従来、飛行機又は車両等の操縦を訓練するためのシミュレータが使用されている。
【０００３】
このようなシミュレータでは、実際に操縦している状態の臨場感を得るために広い視野を有するスクリーンに映像が投影される。シミュレータの操縦者は、スクリーンに映される映像を見ながら操縦を訓練する。
【０００４】
スクリーンには、プロジェクタ等を用いて映像が投影される。操縦者の視点と映像を投影するプロジェクタの投影中心とが一致する場合には、スクリーンに映される映像には歪みが生じない。しかし、一般に操縦者の視点と投影中心とは一致しないので、操縦者から見たスクリーン上の映像には歪みが生じる。この映像の歪みは、スクリーンが平面の時よりも、曲面の場合に大きい。
【０００５】
そこで、スクリーンに投影される原映像に対してスクリーンに映された時に生じる操縦者が認識する映像の歪みがあらかじめ補正された映像を作成し、この補正された映像をスクリーンに投影することが行われている。この映像の補正について、図を参照しながら、以下に説明する。
【０００６】
図１は、スクリーンに投影された映像の歪みを補正することを説明する図である。
【０００７】
図１（Ａ）に示す原映像がスクリーンに投影された映像が、図１（Ｂ）に示されている。操縦者の視点と投影中心とが一致しない場合には、スクリーンを見る操縦者は、図１（Ｂ）に示すように歪んだ映像を見ることになる。ここで、この原映像の投影は、図１（Ａ）に示す原映像を、図１（Ｂ）に示す歪んだ映像に関連付ける一種の写像と考えることができる。この写像を関数Ｆで表す。
【０００８】
そこで、関数Ｆの逆関数Ｆ−１を用いて、原画像に対して逆歪みをかけた映像を作成し、この逆歪みをかけた映像をスクリーンに投影すれば、関数Ｆ（Ｆ−１）によって、投影される映像が原映像の状態に戻るので、操縦者が認識する歪みのない映像をスクリーンに投影することができる。
【０００９】
図１（Ｃ）は、逆関数Ｆ−１を用いて、図１（Ａ）に示す原映像に対してスクリーンに映された時に生じる歪みが補正された映像を示している。図１（Ｄ）は、図１（Ｃ）に示す補正された映像がスクリーンに映された状態を示している。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１１−５３６２８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
また、シミュレータには、操縦者の操縦操作に応じて、操縦者が位置する操縦部を動揺又は回転させて操縦の模擬体験を提供するものがある。操縦部の動揺と共に、操縦者の位置が変化することにより、操縦者の目の位置も変化するので、視点の位置も同様に変化する。
【００１２】
一方、上述したスクリーンに投影された映像の歪みを補正することは、操縦者の目が所定の基準点に位置する場合に固定されて行われている。
【００１３】
しかし、操縦者の位置が動揺によって変化すれば、操縦者の目の位置も変化するので、視点の位置も変化する。また、操縦者が、操縦中に頭を動かせば、操縦者の目の位置も変化するので、視点の位置も変化する。
【００１４】
このように、操縦者の目の位置が変化すると、操縦者が認識する映像の歪みの状態が変化するので、映像の補正が操縦者の目の位置に合わなくなり、操縦者が認識するスクリーンに投影された映像に歪みが生じることになる。
【００１５】
そこで、本明細書では、スクリーンに投影された映像の歪みを補正する方法を提供することを目的とする。
【００１６】
また、本明細書では、スクリーンに投影された映像の歪みを補正する装置を提供することを目的とする。
【００１７】
また、本明細書では、スクリーンに投影された映像の歪みを補正する模擬視界表示装置を提供することを目的とする。
【００１８】
更に、本明細書では、スクリーンに投影された映像の歪みを補正する操縦訓練のためのシミュレータを提供することを目的とする。
【課題を解決するための手段】
【００１９】
本明細書に開示する方法によれば、スクリーンに投影された映像を見る観察者の目の位置の変位により生じる観察者が認識する映像の歪みを補正する方法であって、上記目の位置の変位量を取得し、上記変位量に基づいて、スクリーンに投影される原映像に対して上記目の位置の変位により生じる映像の歪みを補正する。
【００２０】
また、本明細書に開示する装置によれば、スクリーンに投影された映像を見る観察者の目の位置の変位により生じる観察者が認識する映像の歪みを補正する装置であって、上記目の位置の変位量を入力する変位量入力部と、上記スクリーンに投影される原映像を入力する映像入力部と、入力した上記変位量に基づいて、上記原映像に対して上記目の位置の変位により生じる映像の歪みを補正して、補正された映像を生成する歪み補正部と、補正された映像を出力する映像出力部と、を備える。
【００２１】
また、本明細書に開示する模擬視界表示装置によれば、スクリーンと、入力した映像を上記スクリーンに投影するプロジェクタと、上記スクリーンに投影された映像を見る観察者の目の位置の変位量を取得する変位量取得部と、上記スクリーンに投影された映像を見る上記目の位置の変位により生じる観察者が認識する映像の歪みを補正する補正装置であって、上記変位量取得部から上記変位量を入力する変位量入力部と、上記スクリーンに投影される原映像を入力する映像入力部と、入力した上記変位量に基づいて、上記原映像に対して上記目の位置の変位により生じる映像の歪みを補正して、補正された映像を生成する歪み補正部と、補正された映像を上記プロジェクタに出力する映像出力部と、を有する補正装置と、を備える。
【００２２】
更に、本明細書に開示するシミュレータによれば、映像を生成する映像生成部と、スクリーンと、上記映像生成部から入力した映像を上記スクリーンに投影するプロジェクタと、上記スクリーンに投影された映像を見る操縦者の目の位置の変位量を取得する変位量取得部と、上記スクリーンに投影された映像を見る上記目の位置の変位により生じる操縦者が認識する映像の歪みを補正する補正装置であって、上記変位量取得部から上記変位量を入力する変位量入力部と、上記映像生成部から上記スクリーンに投影される原映像を入力する映像入力部と、入力した上記変位量に基づいて、上記原映像に対して上記目の位置の変位により生じる映像の歪みを補正して、補正された映像を生成する歪み補正部と、補正された映像を上記プロジェクタに出力する映像出力部と、を含む補正装置と、を有する模擬視界表示装置と、操縦者が位置し操縦を行う操縦部と、操縦部に動揺を与える動揺装置と、を備える。
【発明の効果】
【００２３】
上述した本明細書に開示する方法によれば、目の位置の変位に応じて、スクリーンに投影された映像の歪みを補正することができる。
【００２４】
また、上述した本明細書に開示する装置によれば、目の位置の変位に応じて、スクリーンに投影された映像の歪みを補正することができる。
【００２５】
また、上述した本明細書に開示する模擬視界表示装置によれば、目の位置の変位に応じて、歪みが補正された映像がスクリーンに投影される。
【００２６】
更に、上述した本明細書に開示するシミュレータによれば、目の位置の変位に応じて、歪みが補正された映像がスクリーンに投影される。
【図面の簡単な説明】
【００２７】
【図１】スクリーンに投影された映像の歪みを補正することを説明する図である。
【図２】本明細書に開示する操縦訓練のためのシミュレータの一実施形態を示す図である。
【図３】補正装置の機能ブロック図である。
【図４】補正装置のハードウェアを説明する図である。
【図５】原映像に対して映像の歪みを補正することを説明する図である。
【図６】目の位置の変位量に基づいて、スクリーンに投影される原映像に対して目の位置の変位により生じる映像の歪みを補正することを説明する図である。
【図７】（Ａ）はピンホール・カメラモデルを説明する図であり、（Ｂ）は、光学中心を原点とする座標系を説明する図である。
【図８】シミュレータの動作例を説明するフローチャートである。
【図９】変型例のシミュレータにおいて、目の位置の変位量に基づいて、スクリーンに投影される原映像に対して目の位置の変位により生じる映像の歪みを補正することを説明する図である。
【図１０】変型例のシミュレータにおいて、原映像に対して目の位置の変位により生じる映像の歪みを補正することを説明する図である。
【発明を実施するための形態】
【００２８】
以下、本明細書で開示する操縦訓練のためのシミュレータの好ましい一実施形態を、図を参照して説明する。但し、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。
【００２９】
図２は、本明細書に開示する操縦訓練のためのシミュレータの一実施形態を示す図である。
【００３０】
シミュレータ１０は、例えば、ヘリコプター、飛行機又は車両等の操縦訓練のためのシミュレータである。
【００３１】
シミュレータ１０は、操縦者５０が位置し操縦操作を行う操縦部１１と、操縦部１１に動揺を与える動揺装置１２と、映像を生成する映像生成部１４とを備える。操縦部１１は、操縦者５０が着席する操縦席１１ａ及びシミュレータを操作するための操縦桿１１ｂを有する。映像生成部１４は、後述するスクリーン２１に投影するための原映像を生成する。映像は、複数の画像により構成される。
【００３２】
また、シミュレータ１０は、スクリーン２１と、映像生成部１４から入力した映像をスクリーン２１に投影するプロジェクタ２２とを有する模擬視界表示装置２０を備える。
【００３３】
模擬視界表示装置２０は、操縦部１１における操縦者５０の操縦操作に応じて映像生成部１４が生成する映像を入力し、操縦者５０が認識する映像の歪みを補正して、プロジェクタ２２から歪みが補正された映像をスクリーン２１に投影する。
【００３４】
更に、シミュレータ１０は、操縦部１１、動揺装置１２、映像生成部１４及び模擬視界表示装置２０を制御する制御装置１３を備える。
【００３５】
制御装置１３は、操縦者５０の操縦に応じて、動揺装置１２の動揺を制御する。動揺装置１２は、操縦部１１を、縦方向、水平方向又は斜め方向に動揺させる。また、動揺装置１２は、操縦部１１を回転させても良い。更に、制御装置１３は、操縦者５０の操縦に応じて、スクリーンに投影される原映像を映像生成部１４に生成させる。
【００３６】
操縦者５０は、スクリーンに映し出される映像を目で見ながら操縦桿１１ｂを操作して、操縦の訓練を行う。
【００３７】
シミュレータ１０では、スクリーン２１は２次曲面形状を有する。操縦者５０に広い視野を与える２次曲面形状のスクリーンは、操縦者５０に対して、実際に操縦している状態の臨場感をもたらす。
【００３８】
操縦訓練では、操縦者５０の操縦に応じて、操縦者５０が位置する操縦部１１は動揺装置１２の動揺によって変位する。このように、操縦者５０の位置が変化すると、操縦者５０の目の位置Ｐも変化するので、操縦者５０のスクリーン２１上の視点の位置も変化する。また、操縦者５０が、操縦中に頭を動かせば、操縦者の目の位置Ｐも変化するので、操縦者５０の視点が変化する。
【００３９】
シミュレータ１０は、操縦者５０の目の位置Ｐの変位量を取得し、この変位量に基づいて、スクリーン２１に投影される原映像に対して目の位置Ｐの変位により生じる操縦者５０が認識する映像の歪みを補正する。従って、シミュレータ１０を操縦する操縦者５０は、目の位置Ｐが変化しても、歪みのない映像を見ることができる。
【００４０】
シミュレータ１０では、模擬視界表示装置２０が、映像の歪みを補正する。以下、この模擬視界表示装置２０について、図を参照しながら、以下に説明する。
【００４１】
模擬視界表示装置２０は、上述したスクリーン２１及びプロジェクタ２２と、スクリーン２１に投影された映像を見る操縦者５０の目の位置Ｐの変位量を取得する変位量取得部２６と、スクリーン２１に投影された映像を見る目の位置Ｐの変位により生じる映像の歪みを補正する補正装置２５とを有する。
【００４２】
変位量取得装置２６及び補正装置２５は、制御装置１３によって制御される。
【００４３】
変位量取得部２６は、操縦者５０の目の位置Ｐの変位量を、以下の２通りの方法で取得することができる。
【００４４】
第１の方法では、変位量取得部２６は、制御装置１３が動揺装置１２を動揺させる制御信号を入力して、操縦者５０の目の位置Ｐの変位量を取得する。動揺装置１２によって操縦部１１が動揺すると、操縦席１１ａに着座している操縦者５０の位置は、動揺部１１と同じ様に変位する。操縦者の目の位置Ｐの変位は、操縦者５０の位置の変位と同じである考えることができる。そこで、第１の方法では、制御装置１３が動揺装置１２を動揺させる制御信号を入力して、操縦者５０の目の位置Ｐの変位量を取得する。
【００４５】
操縦者５０の目の位置Ｐの変位量は、目の位置Ｐの平行移動量及び／又は姿勢の変化量である回転量として表される。
【００４６】
第２の方法では、変位量取得部２６は、操縦者５０の頭部の位置が変位した量を取得して、目の位置Ｐの変位量とする。変位量取得部２６は、操縦者５０の頭部の変位量を測定するセンサ２６ａを有する。センサ２６ａは、操縦者５０の頭部に装着される。センサ２６ａとしては、例えば、３次元加速度センサを用いることができる。センサ２６ａは、操縦者５０の頭部の位置の変化により生じる３次元の加速度成分を検出し、各成分を信号として出力する。変位量取得部２６は、センサ２６ａの出力信号を入力して、操縦者５０の頭部の位置の変位量を取得する。変位量取得部２６は、入力した加速度成分を時間に関して２回積分することにより変位量を求める。操縦者の目の位置Ｐの変位は、操縦者５０の頭部の変位と同じである考えることができる。そこで、第２の方法では、変位量取得部２６は、操縦者５０の頭部が変位した量を取得して、目の位置Ｐの変位量とする。
【００４７】
変位量取得部２６は、上述した第１の方法又は第２の方法の何れかを用いて、操縦者５０の目の位置の変位量を取得し得る。
【００４８】
例えば、スクリーン２１が操縦部１１と一体に形成される場合には、スクリーン２１は、操縦部１１と一体に動揺する。このような場合には、上述した第１の方法では、操縦者５０の目の位置の変位量を正確に取得することができないので、第２の方法が用いられる。
【００４９】
変位量取得部２６は、取得した目の位置Ｐの変位量を補正装置２５に出力する。
【００５０】
次に、補正装置２５について、図を参照しながら、以下に説明する。
【００５１】
図３は、補正装置の機能ブロック図である。
【００５２】
図３に示すように、補正装置２５は、変位量取得部２６から目の位置Ｐの変位量を入力する変位量入力部２５ａと、映像生成装置１４からスクリーン２１に投影される原映像を入力する映像入力部２５ｂと、入力した変位量に基づいて、原映像に対して目の位置Ｐの変位により生じる操縦者５０が認識する映像の歪みを補正して、補正された映像を生成する歪み補正部２５ｃと、補正された映像をプロジェクタ２２に出力する映像出力部２５ｄと、を有する。
【００５３】
図４は、補正装置のハードウェアを説明する図である。
【００５４】
補正装置２５は、上述した各機能を実現するためのハードウェアとして、演算部３１と、記憶部３２と、表示部３３と、入力部３４と、出力部３５と、通信部３６とを有する。演算部３１は、記憶部３２に記憶された所定のプログラムを実行することにより、上述した補正装置２５の各機能を実現する。
【００５５】
具体的には、入力した目の位置Ｐの変位量に基づいて、原映像に対して目の位置Ｐの変位により生じる操縦者５０が認識する映像の歪みを補正することは、演算部３１が、記憶部３２に記憶された所定のプログラムを実行することにより実現される。
【００５６】
所定のプログラムは、例えば通信部３６を用いて、ネットワーク（図示しない）を介して記憶部３２に記憶することができる。また、補正装置３１の通信部３６と、映像生成装置１４、変位量取得装置２６及び制御装置１３とをネットワークを介して接続することにより、変位量又は原映像を、通信部３６を用いて入力しても良い。
【００５７】
補正装置２５は、例えば、サーバ又はパーソナルコンピュータ等のコンピュータ、若しくはステートマシン等を用いて形成され得る。制御装置１３及び映像生成装置１４及び後述するマッピング関数生成装置２７も、図４に示すのと同様のハードウェアを用いて実現され得る。
【００５８】
また、補正装置２５は、回路等のハードウェアを用いて形成しても良い。
【００５９】
次に、補正装置２５が、目の位置Ｐの変位量に基づいて、スクリーン２１に投影される原映像に対して目の位置Ｐの変位により生じる操縦者５０が認識する映像の歪みを補正する処理を、図を参照しながら、以下に説明する。
【００６０】
まず、図１を用いて説明したように、映像生成装置１４により生成された原映像に対しては、スクリーンに映された時に生じる操縦者５０が認識する歪みが補正される。この歪み補正は、シミュレータ１０が動作を開始した最初の状態では、操縦者の目の位置Ｐが所定の基準点にあるものとして行われる。
【００６１】
図５は、原映像に対して映像の歪みを補正することを説明する図である。
【００６２】
画像４０ａは、映像生成装置１４により生成された原映像の一コマを示す。画像４０ｂは、プロジェクタ２２からスクリーン２１に投影される歪みが補正された映像の一コマを示す。プロジェクタ２２の画素Ｑｂの画素情報（輝度情報）として、歪み補正テーブル４１のテーブル要素４１ａを参照して、画像４０ａの画素Ｑａの画素情報が読み取られる。即ち、歪み補正テーブル４１は、プロジェクタ２２の各画素Ｑｂの位置と、原映像の画像４０ａの画素Ｑａの位置と対応づけるテーブルである。
【００６３】
プロジェクタ２２から投影される画像４０ｂは、スクリーンに映された時に生じる操縦者５０が認識する歪みが補正された画像（図１（Ｃ）に対応する）となっているので、画像４０ｂがプロジェクタ２２からスクリーン２１に投影された画像（図１（Ｄ）に対応する）は、目の位置が所定の基準点にある操縦者５０には、歪みのない画像に見える。プロジェクタ２２から投影される画像４０ｂ（矩形ＡＢＣＤ）は、例えば、原映像の画像４０ａの鎖線で示された領域ＡＢＣＤの画素情報を用いて生成される。
【００６４】
このように、補正装置２５は、映像生成装置１４により生成された原映像の一コマを入力し、歪み補正テーブル４１を参照して、プロジェクタ２２に出力される各画素Ｑｂの画素情報を、対応する原映像の画像４０ａの画素Ｑａから読み取って、補正された画像を生成する。このようにして、補正装置２５が、映像生成装置１４により生成された原映像の各コマに対して補正された画像をプロジェクタ２２に次々と出力することにより、操縦者５０が認識する歪みが補正された映像がスクリーン２１に投影される。
【００６５】
上述した歪み補正テーブル４１は、図５の式（１）に示すマッピング関数ｆｐｅによって作成される。マッピング関数ｆｐｅは、プロジェクタ２２のある画素Ｑｂの位置を、原映像の画像４０ａの画素Ｑａの位置に対応づける関数である。図５の式（１）における±の符号は、２次曲面であるスクリーン２１が、操縦者５０に向かって凸の場合と、操縦者５０とは反対側に向かって凸の場合とのそれぞれに対応する。
【００６６】
図６は、目の位置の変位量に基づいて、スクリーンに投影される原映像に対して目の位置の変位により生じる映像の歪みを補正することを説明する図である。
【００６７】
マッピング関数ｆｐｅは、プロジェクタ２２がスクリーン２１に映像を投影する投影中心を原点Ｏ１とする第１座標系Ｓ１から、操縦者５０の目の位置Ｐを原点とする第２座標系Ｓ２への座標変換を行う関数である。
【００６８】
マッピング関数ｆｐｅは、最初は目の位置Ｐが所定の基準点にあるとして生成されたものであり、操縦者５０が操縦訓練を開始した後には、目の位置Ｐの変位量に基づいて変更される。
【００６９】
最初、操縦者５０の目の位置Ｐが、第１座標系Ｓ１における所定の基準点にあるものとする。そして、当初のマッピング関数ｆｐｅは、プロジェクタ２２がスクリーン２１に映像を投影する投影中心を原点Ｏ１とする第１座標系Ｓ１から、操縦者５０の目の位置Ｐである基準点を原点とする第２座標系Ｓ２への座標変換を行う関数として生成される。ここで、シミュレータ１０においてプロジェクタ２２の位置は固定されているので、プロジェクタ２２がスクリーン２１に映像を投影する投影中心を原点Ｏ１の位置は固定されている。
【００７０】
そして、図６に示すように、操縦部１１の動揺等により、操縦者５０の目の位置が、位置Ｐから位置Ｐ’に変位したとする。すると、操縦者５０の目の位置が、第１座標系Ｓ１における点Ｐ’に移動する。
【００７１】
操縦者５０の目の位置が、第１座標系Ｓ１において点Ｐから点Ｐ’に移動する変位量は行列Ｒで表すことができる。この変位量を表す行列Ｒは、点Ｐの移動に基づく平行移動量を表す成分及び回転量を表す成分を有する。
【００７２】
そして、補正装置２５は、目の位置Ｐの変位量に基づいて、プロジェクタ２２がスクリーン２１に映像を投影する投影中心を原点Ｏ１とする第１座標系Ｓ１から目の位置Ｐを原点とする第２座標系Ｓ２への座標変換を行うマッピング関数ｆｐｅを、第１座標系Ｓ１から目の位置Ｐ’を原点とする第２座標系Ｓ２’への座標変換を行うマッピング関数ｆｐｅ’に変更し、変更されたマッピング関数ｆｐｅ’を用いて、原映像に対して目の位置の変位により生じる操縦者５０が認識する映像の歪みを補正する。
【００７３】
次に、シミュレータ１０が動作を開始した最初の状態において、即ち操縦者の目の位置Ｐが所定の基準点にある状態におけるマッピング関数を以下に説明する。その後、目の位置Ｐの変位量に基づいて、マッピング関数がどのように変更されるのかを説明する。
【００７４】
シミュレータ１０が動作を開始した最初の状態において、マッピング関数は、模擬視界表示装置２０が有するマッピング関数生成装置２７によって生成される。マッピング関数生成装置２７は、スクリーン２１の形状等を計測するための計測カメラ２３を有する。マッピング関数生成装置２７は、制御装置１３によって制御される。
【００７５】
マッピング関数生成装置２７は、以下に説明するシステムデータに基づいて、マッピング関数を生成する。システムデータは、マッピング関数生成装置２７内の記憶部に記憶される。マッピング関数生成装置２７は、その演算部が、システムデータを用いて所定のプログラムを実行することにより、マッピング関数を生成する。
【００７６】
システムデータは、プロジェクタ２２に関するデータと、操縦者５０の目を仮想的にカメラに置き換えた仮想カメラ２４（図６参照）に関するデータと、スクリーン２１に関するデータとを有する。計測用カメラ２３は、一部のシステムデータを取得する際に用いられる。
【００７７】
プロジェクタ２２に関するデータには、投影角（画角）、解像度及び第１座標系Ｓ１で表された画像中心の位置が含まれる。この画像中心の説明については後述する。
【００７８】
仮想カメラ２４に関するデータには、視野角（画角）、解像度、第２座標系Ｓ２で表された画像中心の位置及び第１座標系Ｓ１で表された仮想カメラ２４の位置及び姿勢が含まれる。仮想カメラ２４の位置は、第１座標系Ｓ１で表された原点Ｏ１からの平行移動量で表され、仮想カメラ２４の姿勢は、第１座標系Ｓ１で表された所定の基準の方向から仮想カメラ２４の光軸の方向への回転量で表される。シミュレータ１０が動作を開始した最初の状態においては、仮想カメラ２４の位置は、第１座標系Ｓ１で表された所定の基準点にある。また、最初の状態における仮想カメラ２４の姿勢は、所定の基準点に位置する操縦者５０の目からスクリーン２１の正面方向を見た視点の方向と一致する光軸の方向を意味する。仮想カメラ２４の位置及び姿勢は、計測用カメラ２３を用いて計測される。
【００７９】
スクリーン２１に関するデータには、スクリーン２１の形状を表す２次曲面係数行列（４行４列）が含まれる。２次曲面係数行列は、第１座標系Ｓ１で表される。この２次曲面係数行列は、２次曲面と共に平面形状を表すことができるので、２次曲面係数行列で表されるスクリーンには平面スクリーンが含まれる。２次曲面係数行列は、計測カメラ２３を用いて計測される。
【００８０】
なお、システムデータの内、計測カメラ２３を用いて計測されないデータに関しては、あらかじめマッピング関数生成装置２７内に記憶されている。
【００８１】
次に、上述したプロジェクタ２２の画像中心及び仮想カメラ２４の画像中心並びに第１座標系Ｓ１及び第２座標系Ｓ２について、図７を参照して、以下に説明する。
【００８２】
図７（Ａ）はピンホール・カメラモデルを説明する図であり、図７（Ｂ）は、光学中心を原点とする座標系を説明する図である。
【００８３】
図７（Ａ）には、プロジェクタ２２及び仮想カメラ２４の幾何学的性質が、ピンホール・カメラモデルを用いて示されている。
【００８４】
図７（Ａ）では、カメラの撮像素子（プロジェクタの場合には、投影される画像素子）が配置される画像面πと、カメラの光学系の光軸Ｌと、画像面πに映された像とが示されている。ピンホール・カメラモデルでは、カメラの画像面πに至る光の全ては、光軸上の一点Ｃを通過すると考える。この点Ｃは光学中心と呼ばれる。また、この光学中心Ｃを通る光軸Ｌは、画像面πと垂直に交わっており、光軸Ｌと画像面πとの交点は、画像中心ｘｃと呼ばれる。そして、光学中心Ｃと画像中心ｘｃとの間の距離は焦点距離と呼ばれる。
【００８５】
また、図７（Ｂ）に示すように、画像面π内では、光軸Ｌと直交し且つ互いに垂直な関係にあるｘ軸及びｙ軸が示されている。画像面π内の画素の位置は、ｘ座標及びｙ座標により表される。そして、ピンホール・カメラモデルにおいて、光学中心Ｃを原点としたカメラ座標系を考える。このカメラ座標系では、Ｚ軸を光軸Ｌと一致させて、Ｘ軸を画像面π内のｘ軸と平行になるように且つＹ軸を画像面π内のｙ軸と平行になるようにとる。上述した第１座標系Ｓ１及び第２座標系Ｓ２は、このカメラ座標系の一つである。
【００８６】
第１座標系Ｓ１では、プロジェクタ２２がスクリーン２１に映像を投影する投影中心である原点Ｏ１は、プロジェクタ２２の画像中心である。
【００８７】
また、第２座標系Ｓ２では、操縦者５０の目の位置である原点Ｐは、仮想カメラ２４の画像中心である。
【００８８】
図５の式（１）に示すマッピング関数ｆｐｅは、第１座標系Ｓ１において３行１列の齋次座標で表されるプロジェクタの画像における画素の位置を表す行列Ｘ１と、第２座標系Ｓ２において３行１列の齋次座標で表される仮想カメラ２４の画像における画素の位置を表す行列Ｘ２とを対応づける。齋次座標では、図７（Ｂ）におけるカメラ座標系のＺ成分が１に固定されて、画像面π上の位置を表わす座標である。
【００８９】
図５の式（１）における行列Ａは、３行３列の行列であり、（１）プロジェクタ２２の投影角、解像度及び画像中心の位置に基づいて作成された３行３列の内部パラメータ行列と、（２）視点カメラ２４の視野角、解像度、画像中心の位置、及び第１座標系Ｓ１で表された所定の基準点に位置する視点カメラ２４の平行移動量及び回転量に基づいて作成された３行４列の射影行列Ｔと、（３）スクリーン２１の形状を表す４行４列の２次曲面係数行列と、を用いて作成される。
【００９０】
上述した射影行列Ｔは、視点カメラの視野角、解像度及び画像中心位置に基づいて作成される行列Ｔ１と、第１座標系Ｓ１で表された所定の基準点に位置する視点カメラ２４の平行移動量及び回転量に基づいて作成される行列Ｔ２との積で表される。
【００９１】
図５の式（１）における行列Ｅは、第１座標系Ｓ１で表された２次曲面係数行列に基づいて作成される３行３列の行列である。
【００９２】
図５の式（１）における行列ｅは、エピポールと呼ばれ、射影行列Ｔを元にして作成される３行１列の行列である。行列ｅは、視点カメラの視野角、解像度及び画像中心の位置に基づいて作成される行列ｅ１と、第１座標系Ｓ１で表された所定の基準点に位置する視点カメラ２４の平行移動量及び回転量に基づいて作成される行列ｅ２との積で表される。
【００９３】
マッピング関数生成装置２７は、生成したマッピング関数及びシステムデータを補正装置２５に出力する。補正装置２５は、入力したマッピング関数及びシステムデータを記憶部３２に記憶する。
【００９４】
上述したマッピング関数に関する詳細な説明については、例えば、特開２００６−２２１５９９号明細書及び特開２００９−５０４４号明細書等を参照されたい。
【００９５】
次に、目の位置Ｐの変位量に基づいて、マッピング関数を変更することを以下に説明する。
【００９６】
目の位置が変位すると、即ち、視点カメラ２４の位置が変位すると、第１座標系Ｓ１で表された第２座標系Ｓ２の原点Ｐの平行移動量及び回転量が変化する。図６には、目の位置が点Ｐから点Ｐ’に移動することにより、点Ｐを原点とする第２座標系Ｓ２が、点Ｐ’を原点とする第２座標系Ｓ２’に移動した状態が示されている。
【００９７】
そして、移動後の第１座標系Ｓ１で表された視点カメラ２４の平行移動量及び回転量は、目の位置が変位する前の第１座標系Ｓ１で表された視点カメラ２４の平行移動量及び回転量と、視点カメラ２４の位置の変位量とに基づいて求められる。ここで、視点カメラ２４の位置の変位量は、目の位置Ｐの変位量として、変位量取得装置２６によって取得された行列Ｒで表される。
【００９８】
最初の状態において、視点カメラ２４の平行移動量は、第１座標系Ｓ１における所定の基準点の位置に対応しており、視点カメラ２４の回転量は、第１座標系Ｓ１で表された所定の基準の方向から仮想カメラ２４の光軸の方向への回転量である。従って、移動後の第１座標系Ｓ１で表された視点カメラ２４の平行移動量及び回転量それぞれは、第１座標系Ｓ１における所定の基準点からの位置の変位量である平行移動量と、第１座標系Ｓ１における初期姿勢からの変位量である回転量とにより表されることになる。
【００９９】
補正装置２５は、演算部３１が記憶部３２に記憶された所定のプログラムを実行することにより、第１座標系Ｓ１で表された現在の視点カメラ２４の平行移動量及び回転量を用いて、射影行列Ｔを構成する行列Ｔ２を新たに求める。また、補正装置２５は、演算部３１が記憶部３２に記憶された所定のプログラムを実行することにより、求めた現在の第１座標系Ｓ１で表された視点カメラ２４の平行移動量及び回転量を用いて、行列ｅを構成する行列ｅ２を新たに求める。そして、補正装置２５は、演算部３１が記憶部３２に記憶された所定のプログラムを実行することにより、新たに求めた行列Ｔ２を用いて射影行列Ｔを変更し且つ新たに求めた行列ｅ２を用いて行列ｅを変更して、変更された射影行列Ｔ及び行列ｅ及びシステムデータを用いて、マッピング関数を変更する。
【０１００】
このように、補正装置２５は、目の位置Ｐの変位量に基づいて、マッピング関数を変更する機能を有する。
【０１０１】
図６には、目の位置の変位に伴って、第１座標系Ｓ１から第２座標系Ｓ２への座標変換を行うマッピング関数がｆｐｅからｆｐｅ’に変更されることが示されている。
【０１０２】
以上が、目の位置Ｐの変位量に基づいて、補正装置２５がマッピング関数を変更することの説明である。
【０１０３】
次に、上述したシミュレータ１０の動作例を、図８を参照して以下に説明する。
【０１０４】
まず、ステップＳ１０に示すように、シミュレータ１０が起動すると、制御部１３は、計測用カメラ２３を用いてシステムデータを取得した後、マッピング関数生成装置２７を用いてマッピング関数を生成する。生成されたマッピング関数は、補正装置２５に記憶される。そして、操縦部１１に位置した操縦者５０が操縦訓練を開始する。
【０１０５】
次に、ステップＳ１２に示すように、補正装置２５は、変位量取得部２６が取得した操縦者５０の目の位置の変位量を入力する。また、補正装置２５は、映像生成装置１４が生成したスクリーンに投影するための原映像を入力する。
【０１０６】
次に、ステップＳ１４に示すように、補正装置２５は、目の位置の変位量に基づいて、マッピング関数を変更する。
【０１０７】
次に、ステップＳ１６に示すように、補正装置２５は、変更されたマッピング関数を用いて、歪み補正テーブル４１を変更する。補正装置２５は、プロジェクタ２２の各画素Ｑｂの位置に対応する原映像を構成する画像４０ａの画素Ｑａの位置について、変更されたマッピング関数を用いて、歪み補正テーブル４１を書き換える。
【０１０８】
次に、ステップＳ１８に示すように、補正装置２５は、歪み補正テーブル４１を用いて、原映像に対して目の位置の変位により生じる操縦者５０が認識する映像の歪みを補正して、補正された映像を生成する。
【０１０９】
そして、ステップＳ２０に示すように、補正装置２５は、補正された映像をプロジェクタ２２に出力する。プロジェクタ２２は、補正された映像をスクリーン２１に投影する。スクリーン２１には、操縦者が認識する歪みのない映像が投影される。
【０１１０】
上述した本実施形態のシミュレータ１０によれば、操縦者５０の目の位置の変位に応じて、操縦者５０が認識する歪みが補正された映像がスクリーンに投影される。操縦者５０は、訓練中に歪みのない映像を見ながら操縦できるので、訓練の精度を高めることができる。
【０１１１】
次に、上述したシミュレータの変型例を、図９及び図１０を参照しながら以下に説明する。この変型例について特に説明しない点については、上述の実施形態に関して詳述した説明が適宜適用される。また、同一の構成要素には同一の符号を付してある。
【０１１２】
図９は、変型例のシミュレータにおいて、目の位置の変位量に基づいて、スクリーンに投影される原映像に対して目の位置の変位により生じる映像の歪みを補正することを説明する図である。図１０は、変型例のシミュレータにおいて、原映像に対して目の位置の変位により生じる映像の歪みを補正することを説明する図である。
【０１１３】
本変型例のシミュレータ１０では、マッピング関数が、スクリーン２１に映像を投影するプロジェクタ２２の投影中心を原点Ｏ１とする第１座標系Ｓ１から、スクリーン２１を撮影する計測用カメラ２３の位置を原点Ｏ３とする第３座標系Ｓ３への座標変換を行う第１マッピング関数ｆｐｃと、第３座標系Ｓ３から、操縦者５０の目の位置Ｐを原点とする第２座標系Ｓ２への座標変換を行う第２マッピング関数ｆｃｅとから構成される。
【０１１４】
シミュレータ１０では、プロジェクタ２２及び計測用カメラ２３の位置は固定されているので、操縦者５０の目の位置Ｐが変位しても第１マッピング関数ｆｐｃは変化しない。
【０１１５】
図９には、操縦者５０の目の位置が点Ｐから点Ｐ’に移動することにより、点Ｐを原点とする第２座標系Ｓ２が、点Ｐ’を原点とする第２座標系Ｓ２’に移動した状態が示されている。補正装置２５は、操縦者５０の目の位置の変位量に基づいて、第３座標系Ｓ３から目の位置Ｐを原点とする第２座標系Ｓ２への座標変換を行うマッピング関数ｆｃｅを、第３座標系Ｓ３から目の位置Ｐ’を原点とする第２座標系Ｓ２’への座標変換を行うマッピング関数ｆｃｅ’に変更する。
【０１１６】
補正装置２５は、目の位置の変位量に基づいて、第２マッピング関数ｆｃｅを変更し、第１マッピング関数ｆｐｃ及び変更された第２マッピング関数ｆｃｅ’を用いて、原映像に対して目の位置の変位により生じる操縦者５０が認識する映像の歪みを補正する。
【０１１７】
次に、本変型例が、マッピング関数を第１マッピング関数ｆｐｃ及び第２マッピング関数ｆｃｅという２つの関数に分ける理由を以下に説明する。
【０１１８】
上述した図５の式（１）に示すマッピング関数ｆｐｅは、行列Ａ及び行列Ｅ及び行列ｅを有しているが、これらの行列Ａ及び行列Ｅ及び行列ｅには誤差が含まれている。誤差を含む行列Ａ及び行列Ｅ及び行列ｅを用いたマッピング関数によって補正された映像には、操縦者が認識し得る歪みが残り、映像を構成する画像と画像との間にずれが生じる場合がある。そこで、マッピング関数ｆｐｅに対して、これらの誤差を修正する最適化処理を行うことが好ましい。しかし、この最適化処理には多くの時間を要するので、操縦者の目の位置の変位に応じて、マッピング関数を最適化処理した上で、映像を構成する各画像の補正を行うことは困難な場合がある。
【０１１９】
そこで、本変型例では、第１マッピング関数ｆｐｃに対しては最適化処理を行うが、第２マッピング関数ｆｃｅに対しては最適化処理を行わないこととした。第１マッピング関数ｆｐｃは、操縦者５０の目の位置Ｐが変位しても変更されないので、最初に第１マッピング関数ｆｐｃを生成した後に最適化処理を一度行えばその後の最適化処理は不要となる。
【０１２０】
このように、本変型例では、操縦者の目の位置の変位に応じて、部分的に最適化処理されたマッピング関数を用いて映像の補正を行う。第２マッピング関数ｆｃｅに対しては最適化処理を行ないが、第１マッピング関数ｆｐｃに対しては最適化処理が行われているので、操縦者が認識し得る映像の歪み補正に対する不具合の程度を許容範囲に収めることができる。
【０１２１】
本変型例では、所定の演算速度を有する補正装置２５を用いることにより、目の位置の変位により生じる操縦者が認識する映像の歪みを補正した上で、例えば、６０Ｈｚで画像が更新される映像をスクリーンに投影することも可能である。
【０１２２】
次に、上述した第１マッピング関数ｆｐｃ及び第２マッピング関数ｆｃｅを用いて、画像を補正する処理について、図１０を参照して更に説明する。
【０１２３】
図１０に示すように、プロジェクタ２２から投影される画像４０ｂの各画素Ｑｂは、第１歪み補正テーブル４２及び第２歪み補正テーブル４３を介して、映像生成装置１４により生成された原映像の一コマである画像４０ａの画素Ｑａと対応付けられている。
【０１２４】
第２歪み補正テーブル４３は、プロジェクタ２２の画素Ｑｂの位置と第１歪み補正テーブル４２のテーブル要素４２ａとを対応づけるテーブルである。第２歪み補正テーブル４３のテーブル要素４３ａには、プロジェクタ２２の画素Ｑｂの画素情報（輝度情報）が読み取られる原映像の画像４０ａの画素Ｑａの位置が、第１歪み補正テーブル４２のどのテーブル要素に記載されているのかが収められている。第２歪み補正テーブル４３は、図１０の式（３）に示す第２マッピング関数ｆｃｅを用いて作成される。
【０１２５】
第１歪み補正テーブル４２は、第２歪み補正テーブル４３のテーブル要素４３ａと原映像の画像４０ａの画素Ｑａとを対応づけるテーブルである。第１歪み補正テーブル４２のテーブル要素４２ａには、第２歪みテーブル４３のテーブル要素４３ａで特定されるプロジェクタ２２の画素Ｑｂの画素情報（輝度情報）が読み取られる原映像の画像４０ａの画素Ｑａの位置が収められている。第１歪み補正テーブル４２は、図１０の式（２）に示す第１マッピング関数ｆｐｃを用いて作成される。
【０１２６】
補正装置２５は、映像生成装置１４により生成された原映像の一コマを入力し、第１歪み補正テーブル４２及び第２歪み補正テーブル４３を参照して、プロジェクタ２２に出力される各画素Ｑｂの画素情報を、対応する原映像の画像４０ａの画素Ｑａから読み取って、補正された画像４０ｂを生成する。このようにして、補正装置２５が、映像生成装置１４により生成された原映像の各コマに対して、補正された画像をプロジェクタ２２に次々と出力することにより、操縦者５０が認識する歪みが補正された映像がスクリーン２１に投影される。
【０１２７】
図１０の式（２）に示す第１マッピング関数ｆｐｃは、第１座標系Ｓ１において３行１列の齋次座標で表されるプロジェクタ２２の画像における画素の位置を表す行列Ｘ１と、第３座標系Ｓ３において３行１列の齋次座標で表される計測用カメラ２３の画像における画素の位置を表す行列Ｘ３とを対応づける。
【０１２８】
マッピング関数生成装置２７は、以下に説明するシステムデータに基づいて、第１マッピング関数ｆｐｃを生成する。
【０１２９】
システムデータは、プロジェクタ２２に関するデータと、計測用カメラ２３に関するデータと、スクリーン２１に関するデータとを有する。
【０１３０】
プロジェクタ２２に関するデータには、投影角（画角）、解像度及び第１座標系Ｓ１で表された画像中心の位置が含まれる。
【０１３１】
計測用カメラ２３に関するデータには、視野角（画角）、解像度、第３座標系Ｓ３で表された画像中心の位置及び第１座標系Ｓ１で表された計測用カメラ２３の位置及び姿勢が含まれる。ここで、第３座標系Ｓ３では、計測用カメラ２３の位置である原点Ｏ３が、計測用カメラ２３の画像中心である。また、計測用カメラ２３の位置は、第１座標系Ｓ１で表された原点Ｏ１からの平行移動量で表され、計測用カメラ２３の姿勢は、第１座標系Ｓ１で表された所定の基準の方向から計測用カメラ２３の光軸の方向への回転量で表される。シミュレータ１０において、計測用カメラ２３は固定されているので、計測用カメラ２３の位置及び姿勢は、あらかじめ決定されている。
【０１３２】
スクリーン２１に関するデータには、スクリーン２１の形状を表す２次曲面係数行列（４行４列）が含まれる。２次曲面係数行列は、第１座標系Ｓ１で表される。この２次曲面係数行列は、計測カメラ２３を用いて計測される。
【０１３３】
図１０の式（２）における行列Ｅａは、２次曲面係数行列に基づいて作成される３行３列の行列である。
【０１３４】
図１０の式（２）における行列Ａａは、３行３列の行列であり、（１）プロジェクタ２２の投影角、解像度、及び画像中心の位置に基づいて作成された３行３列の内部パラメータ行列と、（２）計測用カメラ２３の視野角、解像度、画像中心の位置及び第１座標系Ｓ１で表された計測用カメラ２３の平行移動量及び回転量に基づいて作成された３行４列の射影行列Ｔａと、（３）スクリーン２１の形状を表す４行４列の２次曲面係数行列と、を用いて作成される。
【０１３５】
上述した射影行列Ｔａは、計測用カメラ２３の視野角、解像度、画像中心の位置に基づいて作成される行列Ｔａ１と、第１座標系Ｓ１で表された計測用カメラ２３の平行移動量及び回転量に基づいて作成される行列Ｔａ２との積で表される。
【０１３６】
図１０の式（２）における行列ｅａは、エピポールと呼ばれ、射影行列Ｔａを元にして作成される３行１列の行列である。行列ｅａは、計測用カメラ２３の視野角、解像度、画像中心の位置に基づいて作成される行列ｅａ１と、第１座標系Ｓ１で表された計測用カメラ２３の平行移動量及び回転量に基づいて作成される行列ｅａ２との積で表される。
【０１３７】
図１０の式（３）に示す第２マッピング関数ｆｃｅは、第３座標系Ｓ３において３行１列の齋次座標で表される計測カメラ２３の画像における画素の位置を表す行列Ｘ３と、第２座標系Ｓ２において３行１列の齋次座標で表される仮想カメラ２４の画像における画素の位置を表す行列Ｘ２とを対応づける。
【０１３８】
マッピング関数生成装置２７は、以下に説明するシステムデータに基づいて、第２マッピング関数ｆｃｅを生成する。
【０１３９】
システムデータは、計測用カメラ２３に関するデータと、視点カメラ２４に関するデータと、スクリーン２１に関するデータとを有する。
【０１４０】
計測用カメラ２３に関するデータには、視野角（画角）、解像度、及び第３座標系Ｓ３で表された画像中心の位置が含まれる。
【０１４１】
仮想カメラ２４に関するデータには、視野角（画角）、解像度、第２座標系Ｓ２で表された画像中心の位置及び第３座標系Ｓ３で表された仮想カメラ２４の位置及び姿勢が含まれる。仮想カメラ２４の位置は、第３座標系Ｓ３で表された原点Ｏ３からの平行移動量で表され、仮想カメラ２４の姿勢は、第３座標系Ｓ３で表された所定の基準の方向から仮想カメラ２４の光軸の方向への回転量で表される。ミュレータ１０が動作を開始した最初の状態においては、仮想カメラ２４の位置は、第３座標系Ｓ３で表された所定の基準点にあり、即ち第３座標系Ｓ３で表された第２座標系Ｓ２の原点の位置Ｐとなる。また、最初の状態における仮想カメラ２４の姿勢は、所定の基準点に位置する操縦者５０の目からスクリーン２１の正面方向を見た視点の方向と一致する光軸の方向を意味する。仮想カメラ２４の位置及び姿勢は、計測用カメラ２３を用いて計測される。
【０１４２】
スクリーン２１に関するデータには、スクリーン２１の形状を表す２次曲面係数行列（４行４列）が含まれる。２次曲面係数行列は、第３座標系Ｓ３で表される。２次曲面係数行列は、計測用カメラ２３を用いて計測される。
【０１４３】
図１０の式（３）における行列Ａｂは、３行３列の行列であり、（１）計測用カメラ２３の視野角、解像度、及び画像中心の位置から作成された３行３列の内部パラメータ行列と、（２）視点カメラ２４の視野角、解像度、画像中心の位置、及び第３座標系Ｓ３で表された視点カメラ２４の平行移動量及び回転量に基づいて作成された３行４列の射影行列Ｔｂと、（３）スクリーン２１の形状を表す４行４列の２次曲面係数行列と、を用いて作成される。
【０１４４】
上述した射影行列Ｔｂは、視点カメラの視野角、解像度、画像中心の位置に基づいて作成される行列Ｔｂ１と、第３座標系Ｓ３で表された視点カメラ２４の平行移動量及び回転量に基づいて作成される行列Ｔｂ２との積で表される。
【０１４５】
図１０の式（３）における行列Ｅｂは、第３座標系Ｓ３で表される２次曲面係数行列に基づいて作成される３行３列の行列である。
【０１４６】
図１０の式（３）における行列ｅｂは、エピポールと呼ばれ、射影行列Ｔｂを元にして作成される３行１列の行列である。行列ｅｂは、視点カメラ２４の視野角、解像度、画像中心の位置に基づいて作成される行列Ｅｂ１と、第３座標系Ｓ３で表された視点カメラ２４の平行移動量及び回転量に基づいて作成される行列ｅｂ２との積で表される。
【０１４７】
第２マッピング関数ｆｃｅは、最初は目の位置Ｐが所定の基準点にあるとして生成されたものであり、操縦者５０が操縦訓練を開始した後には、目の位置Ｐの変位量に基づいて変更される。
【０１４８】
そして、現在の第３座標系Ｓ１で表された視点カメラ２４の平行移動量及び回転量は、目の位置が変位する前の第３座標系Ｓ３で表された視点カメラ２４の平行移動量及び回転量と、視点カメラ２４の位置の変位量とに基づいて求められる。
【０１４９】
補正装置２５は、現在の第３座標系Ｓ３で表された視点カメラ２４の平行移動量及び回転量を用いて、射影行列Ｔｂを構成する行列Ｔｂ２を新たに求める。また、補正装置２５は、第３座標系Ｓ３で表された現在の視点カメラ２４の平行移動量及び回転量を用いて、行列ｅｂを構成する行列ｅｂ２を新たに求める。そして、補正装置２５は、新たに求めた行列Ｔｂ２を用いて射影行列Ｔｂを変更し且つ新たに求めた行列ｅｂ２を用いて行列ｅｂを変更し、変更された射影行列Ｔｂ及び行列ｅｂを用いて、第２マッピング関数ｆｃｅを変更する。
【０１５０】
図９には、目の位置の変位に伴って、第３座標系Ｓ３から第２座標系Ｓ２への座標変換を行う第２マッピング関数がｆｃｅからｆｃｅ’に変更されることが示されている。
【０１５１】
本発明では、上述した実施形態の映像の歪みを補正する方法、映像の歪みを補正する装置、模擬視界表示装置及び操縦訓練のためのシミュレータは、本発明の趣旨を逸脱しない限り適宜変更が可能である。
【０１５２】
例えば、上述した実施形態では、頭部の変位量を測定するセンサ又は動揺装置への制御信号を用いて、目の位置の変位量の取得をしていた。しかし、目の位置の変位量を取得することは、これらに限定されず他の方法又は手段を用いても良い。例えば、加速度センサを、操縦者の目の近傍に配置して、目の位置の変位量を取得しても良い。
【０１５３】
また、上述した実施形態では、スクリーンに映像を投影するプロジェクタの数が１つであったが、複数のプロジェクタを使用して、それぞれのプロジェクタから分割した映像をスクリーンに投影しても良い。
【０１５４】
また上述した説明では、システムデータは、計測用カメラを用いて計測されていたが、スクリーンの２次曲面計数行列が既知であり、且つスクリーンに光ファイバ等のマーカを付けることによりプロジェクタの位置及び姿勢を計測可能な場合には、計測用カメラを設置せずに、仮想的に仮想計測用カメラを配置して、マッピング関数を生成しても良い。
【０１５５】
また上述した説明では、スクリーンは、２次曲面であったが、スクリーンの形状は、２次曲面以外の形状であっても良い。
【符号の説明】
【０１５６】
１０ シミュレータ
１１ 操縦部
１１ａ 操縦席
１１ｂ 操縦桿
１２ 動揺装置
１３ 制御装置
１４ 映像生成装置
２０ 模擬視界表示装置
２１ スクリーン
２２ プロジェクタ
２３ 計測用カメラ
２４ 仮想視点カメラ
２５ 補正装置
２５ａ 変位量入力部
２５ｂ 映像入力部
２５ｃ 歪み補正部
２５ｄ 映像出力部
２６ 変位量取得部
２６ａ センサ
２７ マッピング関数生成装置
３１ 演算部
３２ 記憶部
３３ 表示部
３４ 入力部
３５ 出力部
３６ 通信部
４０ａ 原画像
４０ｂ 補正された映像
４１ 歪み補正テーブル
４２ 第１歪み補正テーブル
４３ 第２歪み補正テーブル
５０ 操縦者
Ｐ 目の位置、第２座標系の原点
Ｓ１ 第１座標系
Ｓ２ 第２座標系
Ｓ３ 第３座標系
Ｏ１ 第１座標系の原点
Ｏ３ 第３座標系の原点
【特許請求の範囲】
【請求項１】
スクリーンに投影された映像を見る観察者の目の位置の変位により生じる観察者が認識する映像の歪みを補正する方法であって、
前記目の位置の変位量を取得し、
前記変位量に基づいて、スクリーンに投影される原映像に対して前記目の位置の変位により生じる映像の歪みを補正する方法。
【請求項２】
前記変位量に基づいて、
前記スクリーンに映像を投影する投影中心を原点とする第１座標系から、前記目の位置を原点とする第２座標系への座標変換を行うマッピング関数を変更し、
変更された前記マッピング関数を用いて、前記原映像に対して前記目の位置の変位により生じる映像の歪みを補正する請求項１に記載の方法。
【請求項３】
前記マッピング関数は、
前記第1座標系から、前記スクリーンを撮影する計測用カメラの位置を原点とする第３座標系への座標変換を行う第１マッピング関数と、
前記第３座標系から、前記第２座標系への座標変換を行うマッピング関数とから構成されており、
前記変位量に基づいて、前記第２マッピング関数を変更し、
前記第１マッピング関数及び変更された前記第２マッピング関数を用いて、前記原映像に対して前記目の位置の変位により生じる映像の歪みを補正する請求項２に記載の方法。
【請求項４】
前記マッピング関数は、最初は前記目の位置が所定の基準点にあるとして生成されたものであり、その後、前記変位量に基づいて変更される請求項２又は３に記載の方法。
【請求項５】
前記変位量は、前記目の位置の平行移動量又は回転量である請求項１〜４の何れか一項に記載の方法。
【請求項６】
前記スクリーンは２次曲面形状を有する請求項１〜５の何れか一項に記載の方法。
【請求項７】
スクリーンに投影された映像を見る観察者の目の位置の変位により生じる観察者が認識する映像の歪みを補正する装置であって、
前記目の位置の変位量を入力する変位量入力部と、
前記スクリーンに投影される原映像を入力する映像入力部と、
入力した前記変位量に基づいて、前記原映像に対して前記目の位置の変位により生じる映像の歪みを補正して、補正された映像を生成する歪み補正部と、
補正された映像を出力する映像出力部と、
を備える装置。
【請求項８】
スクリーンと、
入力した映像を前記スクリーンに投影するプロジェクタと、
前記スクリーンに投影された映像を見る観察者の目の位置の変位量を取得する変位量取得部と、
前記スクリーンに投影された映像を見る前記目の位置の変位により生じる観察者が認識する映像の歪みを補正する補正装置であって、
前記変位量取得部から前記変位量を入力する変位量入力部と、
前記スクリーンに投影される原映像を入力する映像入力部と、
入力した前記変位量に基づいて、前記原映像に対して前記目の位置の変位により生じる映像の歪みを補正して、補正された映像を生成する歪み補正部と、
補正された映像を前記プロジェクタに出力する映像出力部と、
を有する補正装置と、
を備える模擬視界表示装置。
【請求項９】
映像を生成する映像生成部と、
スクリーンと、
前記映像生成部から入力した映像を前記スクリーンに投影するプロジェクタと、
前記スクリーンに投影された映像を見る操縦者の目の位置の変位量を取得する変位量取得部と、
前記スクリーンに投影された映像を見る前記目の位置の変位により生じる操縦者が認識する映像の歪みを補正する補正装置であって、
前記変位量取得部から前記変位量を入力する変位量入力部と、
前記映像生成部から前記スクリーンに投影される原映像を入力する映像入力部と、
入力した前記変位量に基づいて、前記原映像に対して前記目の位置の変位により生じる映像の歪みを補正して、補正された映像を生成する歪み補正部と、
補正された映像を前記プロジェクタに出力する映像出力部と、
を含む補正装置と、
を有する模擬視界表示装置と、
操縦者が位置し操縦を行う操縦部と、
操縦部に動揺を与える動揺装置と、
を備える操縦訓練のためのシミュレータ。
【請求項１０】
前記変位量取得部は、操縦者の頭部の位置が変位した量を取得して、前記目の位置の前記変位量とする請求項９に記載のシミュレータ。
【請求項１１】
前記動揺装置の動揺を制御する制御部を備え、
前記変位量取得部は、前記制御部が動揺装置を動揺させる制御信号を入力して、前記目の位置の前記変位量を取得する請求項９又は１０に記載のシミュレータ。
【請求項１】
スクリーンに投影された映像を見る観察者の目の位置の変位により生じる観察者が認識する映像の歪みを補正する方法であって、
前記目の位置の変位量を取得し、
前記変位量に基づいて、スクリーンに投影される原映像に対して前記目の位置の変位により生じる映像の歪みを補正する方法。
【請求項２】
前記変位量に基づいて、
前記スクリーンに映像を投影する投影中心を原点とする第１座標系から、前記目の位置を原点とする第２座標系への座標変換を行うマッピング関数を変更し、
変更された前記マッピング関数を用いて、前記原映像に対して前記目の位置の変位により生じる映像の歪みを補正する請求項１に記載の方法。
【請求項３】
前記マッピング関数は、
前記第1座標系から、前記スクリーンを撮影する計測用カメラの位置を原点とする第３座標系への座標変換を行う第１マッピング関数と、
前記第３座標系から、前記第２座標系への座標変換を行うマッピング関数とから構成されており、
前記変位量に基づいて、前記第２マッピング関数を変更し、
前記第１マッピング関数及び変更された前記第２マッピング関数を用いて、前記原映像に対して前記目の位置の変位により生じる映像の歪みを補正する請求項２に記載の方法。
【請求項４】
前記マッピング関数は、最初は前記目の位置が所定の基準点にあるとして生成されたものであり、その後、前記変位量に基づいて変更される請求項２又は３に記載の方法。
【請求項５】
前記変位量は、前記目の位置の平行移動量又は回転量である請求項１〜４の何れか一項に記載の方法。
【請求項６】
前記スクリーンは２次曲面形状を有する請求項１〜５の何れか一項に記載の方法。
【請求項７】
スクリーンに投影された映像を見る観察者の目の位置の変位により生じる観察者が認識する映像の歪みを補正する装置であって、
前記目の位置の変位量を入力する変位量入力部と、
前記スクリーンに投影される原映像を入力する映像入力部と、
入力した前記変位量に基づいて、前記原映像に対して前記目の位置の変位により生じる映像の歪みを補正して、補正された映像を生成する歪み補正部と、
補正された映像を出力する映像出力部と、
を備える装置。
【請求項８】
スクリーンと、
入力した映像を前記スクリーンに投影するプロジェクタと、
前記スクリーンに投影された映像を見る観察者の目の位置の変位量を取得する変位量取得部と、
前記スクリーンに投影された映像を見る前記目の位置の変位により生じる観察者が認識する映像の歪みを補正する補正装置であって、
前記変位量取得部から前記変位量を入力する変位量入力部と、
前記スクリーンに投影される原映像を入力する映像入力部と、
入力した前記変位量に基づいて、前記原映像に対して前記目の位置の変位により生じる映像の歪みを補正して、補正された映像を生成する歪み補正部と、
補正された映像を前記プロジェクタに出力する映像出力部と、
を有する補正装置と、
を備える模擬視界表示装置。
【請求項９】
映像を生成する映像生成部と、
スクリーンと、
前記映像生成部から入力した映像を前記スクリーンに投影するプロジェクタと、
前記スクリーンに投影された映像を見る操縦者の目の位置の変位量を取得する変位量取得部と、
前記スクリーンに投影された映像を見る前記目の位置の変位により生じる操縦者が認識する映像の歪みを補正する補正装置であって、
前記変位量取得部から前記変位量を入力する変位量入力部と、
前記映像生成部から前記スクリーンに投影される原映像を入力する映像入力部と、
入力した前記変位量に基づいて、前記原映像に対して前記目の位置の変位により生じる映像の歪みを補正して、補正された映像を生成する歪み補正部と、
補正された映像を前記プロジェクタに出力する映像出力部と、
を含む補正装置と、
を有する模擬視界表示装置と、
操縦者が位置し操縦を行う操縦部と、
操縦部に動揺を与える動揺装置と、
を備える操縦訓練のためのシミュレータ。
【請求項１０】
前記変位量取得部は、操縦者の頭部の位置が変位した量を取得して、前記目の位置の前記変位量とする請求項９に記載のシミュレータ。
【請求項１１】
前記動揺装置の動揺を制御する制御部を備え、
前記変位量取得部は、前記制御部が動揺装置を動揺させる制御信号を入力して、前記目の位置の前記変位量を取得する請求項９又は１０に記載のシミュレータ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−２６８２４（Ｐ２０１３−２６８２４Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５９７８３（Ｐ２０１１−１５９７８３）
【出願日】平成２３年７月２１日（２０１１．７．２１）
【出願人】（０００１７６７３０）三菱プレシジョン株式会社 (97)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２１日（２０１１．７．２１）
【出願人】（０００１７６７３０）三菱プレシジョン株式会社 (97)
【Ｆターム（参考）】
[ Back to top ]