三次元像表示装置の座標校正方法
【課題】
、表示系装置、計測系装置を組立て設置した後に、簡便に表示系装置及び計測系装置の座標校正を行うことができる三次元像表示装置の座標校正方法を提供する。
【解決手段】
三次元像表示装置の座標校正方法は、プロジェクタの基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求める第１段階Ａと、三次元スクリーンの基準座標系に対する軸回りのオフセット及び軸方向のオフセットを求める第２段階Ｂと、光学系観察者位置計測手段の基準座標系の位置、及び姿勢行列を求める第３段階Ｃを含む。
、表示系装置、計測系装置を組立て設置した後に、簡便に表示系装置及び計測系装置の座標校正を行うことができる三次元像表示装置の座標校正方法を提供する。
【解決手段】
三次元像表示装置の座標校正方法は、プロジェクタの基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求める第１段階Ａと、三次元スクリーンの基準座標系に対する軸回りのオフセット及び軸方向のオフセットを求める第２段階Ｂと、光学系観察者位置計測手段の基準座標系の位置、及び姿勢行列を求める第３段階Ｃを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元像表示装置の座標校正方法に関し、特に、プロジェクタ・カメラ・スクリーン間の座標校正法に関する。
【背景技術】
【０００２】
自由な形状をもつスクリーンに画像を投影し、投影されたスクリーン上の画像を見る視点や、或いはスクリーン物体の位置姿勢を考慮して画像を生成することにより、仮想物体が、あたかもスクリーン内部に埋め込まれたかのような状況を作り上げる自由曲面投影型ディスプレイは、特許文献１、特許文献２、及び非特許文献１により公知である。
【０００３】
特許文献１及び特許文献２では、対象物の形状に対応した形状を有する実物体をスクリーンとして用い、この対象物に関連した情報を実物体スクリーン上に表示することにより、実物体（実空間）に仮想物体（三次元像）を挿入するようにされている。例えば、対象物を人体とし、実物体をスクリーンとして人体形状の実物体（人体模型）を用いて、この人体模型上に対象物の人体内部のデータである人体内部情報（三次元構造物）を表示することにより、好適に人体内部情報の提供が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２６５０６１号公報
【特許文献２】特開２００８−８５６４１号公報
【非特許文献】
【０００５】
【非特許文献１】“人型への投影を用いた医学教育システム”, 日本バーチャルリアリティ学会, 第９回大会論文抄録集, pp.101, 2004, VRSJ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、前述のような技術では、スクリーンと、該スクリーンに画像を投影するプロジェクタと、スクリーンに投影された画像を見る人の視点の位置は、最終的には、一つの共通座標系上に記述される必要がある。
【０００７】
しかしながら、プロジェクタとスクリーンの表示系装置、視点等の位置計測等を含む計測系装置を設置する際に、物理的、機械的な精度を持たせておき、それを長く保つという方法には、コスト及び物理的、機械的な精度保持するための装置の重量がかさむという欠点がある。
【０００８】
そこで、表示系装置、計測系装置等の設置には、ある程度の誤差を許容し、事後的に簡単にその間の座標変換を求めることができれば、上記の欠点は解消される。
この問題の解決を理論的、或いは数学的な解を求めことは可能である、しかしながら、一般的な解法ではなく、どのようなシステムに対し、どのような治具と手順を用いて校正を行えばよいかという具体的な問題に対しては、良い解決方法が得られていない。
【０００９】
自由曲面投影型ディスプレイは、表示系装置及び計測系装置等の座標系間の関係が精度良く求められていないと実現はできないものであり、機構的、物理的にその関係を定義しておく方法は、装置全体の重量や剛性が増し、組立分解、或いは経年変化を押さえ込むことも配慮する必要がある。
【００１０】
本発明の目的は、表示系装置、計測系装置を組立て設置した後に、簡便に表示系装置及び計測系装置の座標校正を行うことができる三次元像表示装置の座標校正方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、請求項１に記載の発明は、一つの軸回りで回転姿勢が変化自在に支持された三次元スクリーンと、前記三次元スクリーンの回転姿勢を計測する姿勢計測手段と、前記三次元スクリーンを観察する観察者の視点位置を計測する光学系観察者位置計測手段と、対象物の三次元構造及び前記三次元スクリーンの位置を記憶する記憶手段と、前記姿勢計測手段にて計測される三次元スクリーンの回転姿勢並びに前記記憶手段に記憶された前記三次元スクリーンの位置、前記光学系観察者位置計測手段に計測される三次元スクリーンを観察する観察者の視点位置の相対関係に基づいて、前記記憶手段に記憶された三次元構造から、三次元画像データを生成する生成手段と、前記生成手段により生成された三次元画像データに基づいて三次元画像を前記三次元スクリーンに投影するプロジェクタを備える三次元像表示装置の座標校正方法において、前記プロジェクタの基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求める第１段階と、前記三次元スクリーンの基準座標系に対する軸回りのオフセット及び軸方向のオフセットを求める第２段階と、前記光学系観察者位置計測手段の基準座標系の位置、及び姿勢行列を求める第３段階を含むことを特徴とする三次元像表示装置の座標校正方法を要旨とするものである。
【００１２】
請求項２の発明は、請求項１において、前記第１段階が、既知の複数の位置にマーカを付け、前記プロジェクタからマーカ合わせ用の画像を投影して、該画像を前記各マーカに合致させて、前記プロジェクタの２次元画面座標と、前記各マーカの基準座標系の３次元座標との対応関係を取ることにより、プロジェクタの基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求めるものであることを特徴とする。
【００１３】
請求項３の発明は、請求項１又は請求項において、第３段階は、光学治具に対し、前記プロジェクタパラメータを用いて該光学治具の形状をレンダリングした像を前記プロジェクタから投影して、前記光学治具の位置姿勢を一致させ、前記光学治具に付設したマーカの位置姿勢を前記光学系観察者位置計測手段にて計測し、その計測結果に基づいて、前記光学系観察者位置計測手段の基準座標系の位置、及び、姿勢行列を求めることを特徴とする。
【発明の効果】
【００１４】
請求項１の発明によれば、三次元スクリーン、プロジェクタの表示系装置、光学系観察者位置計測手段等を含む計測系装置を組立て設置した後に、簡便に表示系装置及び計測系装置の座標校正を行うことができる。仮に、表示系装置であるプロジェクタ、三次元スクリーンや、計測系装置である光学系観察者位置計測手段を機械的に連結することにより物理的に両者の関係を一体化し、その両者の関係を固定的にする場合は、装置全体の重量や剛性が増し、各系の組立分解や、経年変化等によって、表示系装置及び計測系装置の両者の相対的な位置関係、姿勢を押さえ込む配慮が必要となり、このための工夫及びコストがかかるが、請求項１の方法によれば、装置を組立した後、簡便に行うことができ、組立コストや、装置全体のコストを抑制することができる。
【００１５】
請求項２の発明によれば、第１段階において、プロジェクタパラメータを簡単に求めることができる。
請求項３の発明によれば、プロジェクタパラメータを用いて光学治具の形状をレンダリングした像を前記プロジェクタから光学治具に投影して、該光学治具の位置姿勢を一致させ、光学治具に付設したマーカの位置姿勢を前記光学系観察者位置計測手段にて計測することにより、該計測結果に基づいて、前記光学系観察者位置計測手段の基準座標系の位置、及び、姿勢行列を求めることができる。
【図面の簡単な説明】
【００１６】
【図１】三次元像表示装置の概略図。
【図２】三次元像表示装置の座標校正方法の第３段階の説明図。
【図３】三次元像表示装置の計算機が処理するフローチャート。
【図４】座標校正方法の手順のフローチャート。
【発明を実施するための形態】
【００１７】
以下、本発明の三次元像表示装置の座標校正方法を具体化した一実施形態を図１〜４を参照して説明する。
まず、本実施形態の座標校正法の対象となる自由曲面投影型ディスプレイ（以下、単に三次元像表示装置という）の概要について説明する。なお、本実施形態では、内部を表示する対象物として人体(胴部)を用いる。
【００１８】
図１に示すように、三次元像表示装置１０は、コンピュータからなる計算機２０と、プロジェクタ３０と、三次元スクリーン４０、光学系観察者位置計測手段（以下、単に観察者位置計測手段６０という）とを備える。計算機２０は、記憶手段２２、及び生成手段２４を有し、三次元像表示装置１０の全体的な制御を行なっている。
【００１９】
ここで記憶手段２２は、対象物としての人体の三次元構造(人体内部情報)と、三次元スクリーン４０の表面形状データと、三次元スクリーン４０の位置座標とを記憶している。
前記人体内部情報は、ボクセルデータやポリゴンデータで構成されており、少なくとも人体内の各種臓器より構成されている例を示す。
【００２０】
観察者位置計測手段６０は、計算機２０に接続され、三次元像表示装置１０を使用する観察者Ｖを、三次元スクリーン４０を観察する観察者Ｖの視点位置を計測する。具体的には、観察者位置計測手段６０は、ビデオカメラからなり、観察者Ｖの頭部に装着された器具（例えば眼鏡、帽子）等にマーキングされた複数のマーカＭを撮像することにより、前記マーカＭを含んだ撮像画像に基づいて、計算機２０は観察者Ｖの三次元の視点位置を計測することが可能である。なお、図１では、説明の便宜上、１つのマーカＭのみが図示されている。
【００２１】
各マーカＭには、赤外線発光部を有する。なお、マーカＭの個数は互いに異なる位置に位置して複数個設けられ、各マーカＭの位置と視点位置の相対位置関係は既知となっている。従って、各マーカＭを観察者位置計測手段６０により検出することにより、視点位置の三次元座標が計算機２０により算出される。
【００２２】
そして、三次元像表示装置１０を構成する各要素は、計算機２０に対して有線、又は、無線を介して、計測に必要とされる信号を伝送可能である。
前記三次元スクリーン４０は、プロジェクタ３０により三次元画像ＡＤが投影・表示されるディスプレイであり、自由曲面、すなわち、三次元の曲面を有し、立体的な胴体形状物が使用されている。
【００２３】
本実施形態では、三次元スクリーン４０は、図１に示すように、支持体としての枠体４２に対して回転自在に支持された回転軸４４に取付け固定されている。すなわち、三次元スクリーン４０は、自身の長手方向に延びる中心軸が回転軸４４の軸心と一致するように取付けされている。回転軸４４には、姿勢計測手段としてのロータリエンコーダ４６が取り付けされ、三次元スクリーン４０の回転の検出、すなわち、姿勢（回転姿勢）が可能である。ロータリエンコーダ４６の検出信号は、計算機２０に出力される。
【００２４】
このロータリエンコーダ４６によって、三次元スクリーン４０の回転姿勢が分かり、観察者位置計測手段６０で計測される観察者Ｖの視点位置に対する三次元スクリーン４０の相対的な位置及び姿勢を計算機２０が常に把握可能となっている。すなわち、ロータリエンコーダ４６は、一自由度の回転計測系であり、三次元スクリーン４０の回転を計測することにより、三次元スクリーン４０の姿勢が分かる。なお、三次元スクリーン４０の位置（位置座標）は、世界座標系で予め記憶手段２２に格納されている。
【００２５】
生成手段２４は、記憶手段２２に記憶された各種情報と、前記ロータリエンコーダ４６に計測される前記三次元スクリーン４０の姿勢、記憶手段２２に格納された既知の三次元スクリーン４０の位置、並びに観察者位置計測手段６０に計測される観察者Ｖの視点位置の相対関係とに基づいて、三次元スクリーン４０に表示する三次元画像ＡＤの基となる三次元画像データを生成する。
【００２６】
ここで、生成手段２４が利用する記憶手段２２に記憶された各種情報とは、人体内部情報、プロジェクタ３０の配置位置、三次元スクリーン４０の位置、三次元スクリーン４０の表面形状データである。
【００２７】
又、三次元画像データは、三次元スクリーン４０の位置・姿勢に対応して表示される人体内の各種臓器及び骨格の画像に係る情報である。そして、前記三次元スクリーン４０に対して、前記プロジェクタ３０が生成手段２４により生成された三次元画像データに基づいた三次元画像ＡＤを投影することにより、該三次元スクリーン４０に三次元画像ＡＤが表示される。
【００２８】
又、生成手段２４は、前記既知の三次元スクリーン４０の位置と、観察者位置計測手段６０に計測される観察者Ｖの視点位置と、記憶手段２２に記憶されているプロジェクタ３０の配置位置との相対関係の確定により、非特許文献１に開示されている双対レンダリングによって三次元画像データを生成している。
【００２９】
この双対レンダリングによって生成された三次元画像データは、胴体形状物である三次元スクリーン４０に、観察者Ｖから歪みのない三次元画像ＡＤとして認識されるように表示される。すなわち、前記三次元スクリーン４０に人体内部情報を三次元的に表示した画像と人体とを一体的に関連付けた表示を可能とし、人体の内部構造の三次元的な位置及び三次元的な大きさ等を直感的に認識し得るようになっている。
【００３０】
この生成手段２４は、ロータリエンコーダ４６及び観察者位置計測手段６０で夫々計測される三次元スクリーン４０及び観察者Ｖの相対的な位置及び姿勢に対応して、プロジェクタ３０によって三次元スクリーン４０に投影・表示される三次元画像ＡＤの基となる三次元画像データを常に生成するよう構成されている。すなわち、ロータリエンコーダ４６及び観察者位置計測手段６０で夫々計測される三次元スクリーン４０及び観察者Ｖの相対的な位置及び姿勢を常に把握することで、三次元スクリーン４０の姿勢の変化や観察者Ｖの視線位置の変化に対応した三次元画像データが生成手段２４によって生成される。
【００３１】
ここで、三次元スクリーン４０の相対的な姿勢に対応する三次元画像データとは、観察者Ｖが三次元スクリーン４０に表示される三次元画像ＡＤを観察した際に、該三次元画像ＡＤが三次元スクリーン４０内に人体内部情報を埋め込んだ三次元的な画像として、現実に形成されている人体の内部構造のように認識できるデータを指す。
【００３２】
次に、前記三次元像表示装置１０の動作を説明する。なお、三次元スクリーン４０はプロジェクタ３０の投影範囲に配置されるとともに、観察者Ｖは観察者位置計測手段６０から観察できる位置、及び、該三次元スクリーン４０を観察できる位置にいるものとする。又、記憶手段２２には、ボクセルデータやポリゴンデータで構成された対象物である人体についての人体内部情報と、三次元スクリーン４０の表面形状データと、プロジェクタ３０の配置位置等の情報が予め入力されているものとする。
【００３３】
三次元像表示装置１０の作動は、図３に示すように、基本的に三次元画像データに関係する三次元画像データ生成段階Ｓ１及び三次元画像表示段階Ｓ２とからなる。そして、これら三次元画像データ生成段階Ｓ１及び三次元画像表示段階Ｓ２は、夫々繰り返し実施されている。
【００３４】
三次元像表示装置１０では、前記三次元画像データ生成段階Ｓ１において、記憶手段２２に記憶された各種情報を基本とし、更にロータリエンコーダ４６、観察者位置計測手段６０からの夫々の情報を加えて、生成手段２４が、三次元スクリーン４０に表示すべき三次元画像ＡＤの基となる三次元画像データを生成する。
【００３５】
ここで、前記三次元画像データ生成段階Ｓ１において用いられる記憶手段２２に記憶された各種情報とは、人体内部情報、プロジェクタ３０の配置位置、及び三次元スクリーン４０の表面形状データである。
【００３６】
このように生成手段２４で生成された三次元画像データは、三次元画像表示段階Ｓ２の実行によってプロジェクタ３０に送られ、この三次元画像データに基づいた三次元画像ＡＤが三次元スクリーン４０に向けて投影される。この結果、三次元スクリーン４０に、三次元画像ＡＤが投影・表示される。そして、ロータリエンコーダ４６で計測される三次元スクリーン４０の姿勢や、観察者位置計測手段６０で計測される観察者Ｖの視線位置が変化すれば、これに伴って三次元スクリーン４０に投影・表示される三次元画像ＡＤが変化して、常に観察者Ｖが観察したい三次元画像ＡＤが提供される。
【００３７】
（三次元像表示装置の座標校正法）
次に、上記のように校正された三次元像表示装置の座標校正法を図４を参照して説明する。
【００３８】
（第１段階Ａ：プロジェクタ３０と枠体４２）
まず、プロジェクタ３０と、三次元スクリーン４０を支持する支持体である枠体４２間の関係について校正する。
【００３９】
三次元スクリーン４０を支持している枠体４２上の複数の箇所に、少なくとも６箇所以上の位置であって、互いに同一平面とならない部位にマーカＭｎ（ｎ≧６）を分散してつけておく。なお、これらのマーカの位置は予め計測されて既知となっており、世界座標系で記憶手段２２に記憶されている。
【００４０】
次に、プロジェクタ３０から、前記マーカＭｎに合わせるための画像を投影する。マーカＭｎに合わせるための画像は、例えば、マウスカーソル画像であるが、限定されるものではなく、例えば、白丸、黒丸等の画像でもよい。以下、マーカＭｎに合わせるための画像をポインタという。プロジェクタ３０から三次元スクリーン４０に向かって投影される画像（すなわち、ポインタを含む全体画像）は、計算機２０に接続された表示装置２６にも表示される。
【００４１】
そして、オペレータは表示装置２６の画面を見ながら、前記ポインタを、図示しないキーボード等の入力装置を操作することにより、枠体４２のマーカＭｎに対して、投影されたポインタを合わせる。前記マーカＭｎに対し合わせた後、前記キーボード等の入力装置で、ポインタの表示装置２６での画面上の位置を登録する。そして、以後、同様にして、残りの全部のマーカに対して同様にポインタを合わせた後、ポインタの表示装置２６での画面上の位置を２次元画面座標で登録する。
【００４２】
この後、計算機２０で、既知である各マーカ点の世界座標系の３次元座標（Ｘ，Ｙ，Ｚ）と、各マーカに合わせたポインタの画像上（画面上）での画像座標（２次元画面座標）（ｕ，ｖ）との組み合わせから世界座標系と画像座標系との射影関係として射影変換行列を演算し、演算した後述する射影変換行列Ｐからプロジェクタ３０の内部変数と外部変数を求める。
【００４３】
ここで、プロジェクタ３０の内部変数には、焦点距離、アスペクト比、画像中心、レンズ歪みが含まれる。又、外部変数には、位置（世界座標系に対するレンズ中心の座標）、姿勢（光軸の方向）が含まれる。以下、内部変数、及び外部変数をプロジェクタパラメータという。なお、このプロジェクタのキャリブレーションは、いわゆるストロングキャリブレーションにより行われている。
【００４４】
ここで、プロジェクタパラメータの求め方について説明する。
プロジェクタ座標系は、画像面上に２次元座標系としてとり、画素の位置（Ｘｃ，Ｙｃ）として表わすものとする。又、基準座標系としての世界座標系は、３次元空間中の任意の場所に原点と座標軸を固定しているものとする。
【００４５】
この場合、枠体４２上の既知のマーカ点（Ｘ，Ｙ，Ｚ）とその点の像（Ｘｐ，Ｙｐ）の間の関係は、式（１）の通り３行４列の射影変換行列Ｐによって表現できる。
【００４６】
【数１】
上記式（１）の行列Ｐを構成する１２個のパラメータがプロジェクタパラメータである。枠体４２上のマーカ点は（Ｘ，Ｙ，Ｚ，１）、画像上の点は（Ｘｐ，Ｙｐ，１）という同次座標系で表現している。なお、Ｈｐは媒介変数である。
【００４７】
式（１）を展開すると式（２）となる。
【００４８】
【数２】
このパラメータを求めるには、基準座標系である世界座標系が既知なマーカ点について、その像のプロジェクタ座標を求め、得られた既知のマーカ点（Ｘ，Ｙ，Ｚ）と、該マーカ点と合致させた像のプロジェクタ座標（Ｘｐ，Ｙｐ）の組を、既知の組として式（３）の２つの式に代入し、Ｐを未知数とみなした連立法定式を作成して解く。射影変換行列Ｐは１２個の未知数を含むため、最低１２個の方程式を作る。この場合、前記６組の既知のマーカ点を使う。なお、精度を向上させるためには、さらに多くの既知のマーカ点と、像の組を作り、最小２乗法を用いる。
【００４９】
【数３】
（第２段階Ｂ：三次元スクリーン４０の校正）
次に、三次元スクリーン４０が枠体４２に対してどのように取付けられているかを校正する。
【００５０】
三次元スクリーン４０は、枠体４２に対して回転自在に支持された回転軸４４に対して取付けされており、三次元スクリーン４０の姿勢はロータリエンコーダ４６による一自由度の回転計測系により測定される。
【００５１】
ここで、枠体４２に対して、校正するのは、三次元スクリーン４０の回転軸４４の軸回りの回転のオフセットと、回転軸４４の軸方向において、どの位置に三次元スクリーン４０が取付けられているかである。ここで、回転軸４４の軸回りの回転のオフセットは、三次元スクリーン４０の回転位置における基準位置から外れた量である。
【００５２】
なお、予め計測しておいた三次元スクリーン４０の三次元の表面形状データは、記憶手段２２に格納されている。この三次元スクリーン４０の三次元の表面形状データを、前記第１段階Ａで求めたプロジェクタパラメータに従ってレンダリング（画像化）し、三次元スクリーン４０に投影する。
【００５３】
次に、オペレータは計算機２０の中で、回転軸４４の軸回りに投影画像を回転させて、該投影画像が、三次元スクリーン４０に正確に一致するように、入力装置（図示しない）を操作する。一致したら、オペレータは、その時の投影画像における基準位置からの回転量を記憶手段２２に登録（記憶）させるべく、入力装置（図示しない）を登録操作する。このように投影画像を画像の基準位置から回転させる場合、投影画像が、三次元スクリーン４０の表面形状に合致するまで回転させ、このときの、投影画像の回転量を、オフセットとする。
【００５４】
なお、投影画像の基準位置は、三次元スクリーン４０の回転位置である基準位置と理論上一致させてあるが、実際には、三次元スクリーン４０の基準位置がずれていることが多い。
【００５５】
或いは、三次元スクリーン４０の方を投影画像と一致するまで回転させ、ロータリエンコーダ４６で、三次元スクリーン４０の回転位置である基準位置からの回転を検出する。そして、一致するまでの三次元スクリーン４０の基準位置からの回転量を、入力装置（図示しない）を操作することにより、その時の投影画像の基準位置からの回転量を記憶手段２２に登録（記憶）させるべく、入力装置（図示しない）を登録操作する。
【００５６】
このように三次元スクリーン４０を回転させる場合、三次元スクリーン４０の投影画像の形状に三次元スクリーン４０の形状が一致するまで回転させ、この基準位置から一致するまでのロータリエンコーダ４６によって検出された回転量をオフセットとする。
【００５７】
次に、三次元スクリーン４０の回転軸４４に対する軸方向（長手方向）のオフセットを計測する。具体的には、オペレータは計算機２０の中で、回転軸４４の軸方向に投影画像を移動させて、該投影画像が、三次元スクリーン４０に正確に一致するように、入力装置（図示しない）を操作する。一致したら、オペレータは、その時の投影画像における軸方向における基準位置からの移動量を記憶手段２２に登録（記憶）させるべく、入力装置（図示しない）を登録操作する。
【００５８】
このようにして、三次元スクリーン４０の回転軸４４に対する回転方向のオフセット（回転角）、及び軸方向におけるオフセット量（すなわち、軸方向における基準位置からの取付け位置）が求められる。
【００５９】
（第３段階Ｃ：観察者位置計測手段６０の校正）
次に、観察者位置計測手段６０の校正、すなわち、観察者Ｖの視点位置を計測するビデオカメラの校正を行う。なお、プロジェクタ３０の位置姿勢は、（１．プロジェクタ３０と枠体４２）で校正したときと同じ状態である。
【００６０】
ここでは、三次元位置姿勢を計測する光学式計測システムを用いる。この光学式計測システムは、例えば、Optitrak（製品名：Natural Point社製）などの、複数の光学マーカーを用いて観察者位置計測手段６０に対する三次元位置姿勢を計測するものである。
【００６１】
まず、既知の三次元形状をもった光学治具７０に光学マーカー８０を、プロジェクタ３０の投影可能な領域に設置する。なお、光学治具７０の既知の三次元形状データは、記憶手段２２に予め記憶されている。光学治具７０は、例えば、透明な三角錐（図２参照）を挙げることができるが、光学治具７０の三次元形状は限定されるものではない。
【００６２】
次に、（１．プロジェクタ３０と枠体４２）で得られたプロジェクタパラメータを用いて、光学治具７０の既知の形状を前記記憶手段２２に記憶した光学治具７０の既知の三次元形状データに基づいてレンダリング（画像化）し、投影する。
【００６３】
この投影画像に、光学治具７０が合致するようにオペレータは、該光学治具７０の位置姿勢を合わせる。
そして、オペレータは、観察者位置計測手段６０を用いて、光学治具７０上にある光学マーカー８０の位置姿勢を計測する。この計測を３回繰り返す。
【００６４】
上記の計測結果から、観察者位置計測手段６０の姿勢行列、位置を求める。
下記の式（４）〜（６）は、観察者位置計測手段６０の姿勢行列、光学マーカの位置等に関連する式である。
【００６５】
【数４】
２回の計測を行い、式（４）を引き算すると、
【００６６】
【数５】
【００６７】
【数６】
【００６８】
【数７】
となる。３回の計測結果を同様にまとめると、下記式（８）となる。
【００６９】
【数８】
すなわち、観察者位置計測手段６０の姿勢行列が、式（９）に示すように、
【００７０】
【数９】
と求められる。この演算は、計算機２０で処理される。
【００７１】
なお、３回を越える計測を行い、その計測結果を用いて、２次式の最小化を用いれば、より精度が高い、観察者位置計測手段６０の姿勢行列を求めることができる。
一方の観察者位置計測手段６０の位置は、
【００７２】
【数１０】
として求める。この演算処理も計算機２０で行われる。
【００７３】
なお、観察者位置計測手段６０の位置についても、複数回の計測結果から平均を算出することにより、より精度が高い結果が得られる。
このようにして、第１段階Ａではプロジェクタ３０と枠体４２と間の各座標系の相関関係が、第２段階Ｂでは、三次元スクリーン４０の位置、及び姿勢のオフセットが、第３段階Ｃでは、観察者位置計測手段６０の姿勢行列、及び基準座標系での位置が求められ、校正が完了する。
【００７４】
本実施形態によって発揮される効果について、以下に記載する。
（１） 本実施形態の三次元像表示装置の座標校正方法では、プロジェクタ３０の世界座標系（基準座標系）に対する内部変数と外部変数を含むプロジェクタパラメータを求める第１段階Ａと、三次元スクリーン４０世界座標系に対する軸回りのオフセット及び軸方向のオフセットを求める第２段階Ｂと、観察者位置計測手段６０の世界座標系の位置、及び、姿勢行列を求める第３段階Ｃを行う。この結果、三次元スクリーン４０、プロジェクタ３０の表示系装置、観察者位置計測手段６０等を含む計測系装置を組立て設置した後に、簡便に表示系装置及び計測系装置の座標校正を行うことができる。
【００７５】
なお、特許文献１等では、高額な磁気を使用した三次元位置センサを使用している。これに対して、本実施形態の三次元像表示装置は、安価な光学系観察者位置計測手段６０により、観察者Ｖの三次元座標の視点位置の計測ができるが、本方法ではこのような三次元像表示装置に特に適した座標校正方法となる。
【００７６】
（２） 本実施形態の三次元像表示装置の座標校正方法では、既知の複数の位置にマーカＭｎを付け、プロジェクタ３０からマーカ合わせ用の画像を投影して、該画像を各マーカＭｎに合致させて、プロジェクタ３０の２次元画面座標と、各マーカの基準座標系の３次元座標との対応関係を取ることにより、プロジェクタ３０の基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求める。この結果、第１段階Ａにおいて、プロジェクタパラメータを簡単に求めることができる。
【００７７】
（３） 本実施形態の三次元像表示装置の座標校正方法では、第３段階Ｃは、光学治具７０に対し、プロジェクタパラメータを用いて該光学治具７０の形状をレンダリングした像をプロジェクタ３０から投影して、光学治具７０の位置姿勢を一致させ、光学治具７０に付設したマーカの位置姿勢を観察者位置計測手段６０にて計測し、その計測結果に基づいて、観察者位置計測手段６０の基準座標系の位置、及び、姿勢行列を求めることができる。
【００７８】
なお、本発明の実施形態は前記実施形態に限定されるものではなく、前記実施形態を次のように変更して構成してもよい。
○ 前記実施形態では、マーカＭ毎に赤外線発光部を有していたが、再帰反射材で形成していてもよい。この場合は、観察者位置計測手段６０のカメラに近接してＬＥＤからなる赤外線発光部を備え、マーカＭに対して投光させるように構成する。
【００７９】
○ 前記実施形態の座標校正方法では、マーカＭｎの数は、プロジェクタ３０の光軸が法軸（すなわち、鉛直線）にあるので有れば、異なる位置に位置するように２個でよい。又、枠体４２の位置が分かっている場合は、最低３箇所にマーカを付けておけばよい。
【００８０】
○ 前記実施形態では、内部を表示する対象物として人体を用いた例を挙げたが、例えば、多数の構成要素が三次元的に組み合わさり、分解等しなければ外部からの内部構造の把握が困難であって、分解が困難なもの、例えばエンジンや、三次元的に構成された基板等を対象物としてもよい。
【００８１】
○ 前記実施形態では、枠体４２上にマーカＭｎをつけるようにしたが、枠体４２上に既知の複数の位置にマーカを必ずつける必要はなく、枠体４２周辺の既知の位置、すなわち、基準座標系の座標位置が既知の位置にマーカを着けても良い。
【００８２】
○ 前記実施形態では、基準座標系として世界座標系としたが、他の座標系であってもよい。
【符号の説明】
【００８３】
１０…三次元像表示装置、
２０…計算機、
２２…記憶手段、
２４…生成手段、
２６…表示装置、
３０…プロジェクタ、
４０…三次元スクリーン、
４６…ロータリエンコーダ（姿勢計測手段）、
６０…観察者位置計測手段（光学系観察者位置計測手段）、
７０…光学治具、
８０…光学マーカー。
【技術分野】
【０００１】
本発明は、三次元像表示装置の座標校正方法に関し、特に、プロジェクタ・カメラ・スクリーン間の座標校正法に関する。
【背景技術】
【０００２】
自由な形状をもつスクリーンに画像を投影し、投影されたスクリーン上の画像を見る視点や、或いはスクリーン物体の位置姿勢を考慮して画像を生成することにより、仮想物体が、あたかもスクリーン内部に埋め込まれたかのような状況を作り上げる自由曲面投影型ディスプレイは、特許文献１、特許文献２、及び非特許文献１により公知である。
【０００３】
特許文献１及び特許文献２では、対象物の形状に対応した形状を有する実物体をスクリーンとして用い、この対象物に関連した情報を実物体スクリーン上に表示することにより、実物体（実空間）に仮想物体（三次元像）を挿入するようにされている。例えば、対象物を人体とし、実物体をスクリーンとして人体形状の実物体（人体模型）を用いて、この人体模型上に対象物の人体内部のデータである人体内部情報（三次元構造物）を表示することにより、好適に人体内部情報の提供が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２６５０６１号公報
【特許文献２】特開２００８−８５６４１号公報
【非特許文献】
【０００５】
【非特許文献１】“人型への投影を用いた医学教育システム”, 日本バーチャルリアリティ学会, 第９回大会論文抄録集, pp.101, 2004, VRSJ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、前述のような技術では、スクリーンと、該スクリーンに画像を投影するプロジェクタと、スクリーンに投影された画像を見る人の視点の位置は、最終的には、一つの共通座標系上に記述される必要がある。
【０００７】
しかしながら、プロジェクタとスクリーンの表示系装置、視点等の位置計測等を含む計測系装置を設置する際に、物理的、機械的な精度を持たせておき、それを長く保つという方法には、コスト及び物理的、機械的な精度保持するための装置の重量がかさむという欠点がある。
【０００８】
そこで、表示系装置、計測系装置等の設置には、ある程度の誤差を許容し、事後的に簡単にその間の座標変換を求めることができれば、上記の欠点は解消される。
この問題の解決を理論的、或いは数学的な解を求めことは可能である、しかしながら、一般的な解法ではなく、どのようなシステムに対し、どのような治具と手順を用いて校正を行えばよいかという具体的な問題に対しては、良い解決方法が得られていない。
【０００９】
自由曲面投影型ディスプレイは、表示系装置及び計測系装置等の座標系間の関係が精度良く求められていないと実現はできないものであり、機構的、物理的にその関係を定義しておく方法は、装置全体の重量や剛性が増し、組立分解、或いは経年変化を押さえ込むことも配慮する必要がある。
【００１０】
本発明の目的は、表示系装置、計測系装置を組立て設置した後に、簡便に表示系装置及び計測系装置の座標校正を行うことができる三次元像表示装置の座標校正方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、請求項１に記載の発明は、一つの軸回りで回転姿勢が変化自在に支持された三次元スクリーンと、前記三次元スクリーンの回転姿勢を計測する姿勢計測手段と、前記三次元スクリーンを観察する観察者の視点位置を計測する光学系観察者位置計測手段と、対象物の三次元構造及び前記三次元スクリーンの位置を記憶する記憶手段と、前記姿勢計測手段にて計測される三次元スクリーンの回転姿勢並びに前記記憶手段に記憶された前記三次元スクリーンの位置、前記光学系観察者位置計測手段に計測される三次元スクリーンを観察する観察者の視点位置の相対関係に基づいて、前記記憶手段に記憶された三次元構造から、三次元画像データを生成する生成手段と、前記生成手段により生成された三次元画像データに基づいて三次元画像を前記三次元スクリーンに投影するプロジェクタを備える三次元像表示装置の座標校正方法において、前記プロジェクタの基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求める第１段階と、前記三次元スクリーンの基準座標系に対する軸回りのオフセット及び軸方向のオフセットを求める第２段階と、前記光学系観察者位置計測手段の基準座標系の位置、及び姿勢行列を求める第３段階を含むことを特徴とする三次元像表示装置の座標校正方法を要旨とするものである。
【００１２】
請求項２の発明は、請求項１において、前記第１段階が、既知の複数の位置にマーカを付け、前記プロジェクタからマーカ合わせ用の画像を投影して、該画像を前記各マーカに合致させて、前記プロジェクタの２次元画面座標と、前記各マーカの基準座標系の３次元座標との対応関係を取ることにより、プロジェクタの基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求めるものであることを特徴とする。
【００１３】
請求項３の発明は、請求項１又は請求項において、第３段階は、光学治具に対し、前記プロジェクタパラメータを用いて該光学治具の形状をレンダリングした像を前記プロジェクタから投影して、前記光学治具の位置姿勢を一致させ、前記光学治具に付設したマーカの位置姿勢を前記光学系観察者位置計測手段にて計測し、その計測結果に基づいて、前記光学系観察者位置計測手段の基準座標系の位置、及び、姿勢行列を求めることを特徴とする。
【発明の効果】
【００１４】
請求項１の発明によれば、三次元スクリーン、プロジェクタの表示系装置、光学系観察者位置計測手段等を含む計測系装置を組立て設置した後に、簡便に表示系装置及び計測系装置の座標校正を行うことができる。仮に、表示系装置であるプロジェクタ、三次元スクリーンや、計測系装置である光学系観察者位置計測手段を機械的に連結することにより物理的に両者の関係を一体化し、その両者の関係を固定的にする場合は、装置全体の重量や剛性が増し、各系の組立分解や、経年変化等によって、表示系装置及び計測系装置の両者の相対的な位置関係、姿勢を押さえ込む配慮が必要となり、このための工夫及びコストがかかるが、請求項１の方法によれば、装置を組立した後、簡便に行うことができ、組立コストや、装置全体のコストを抑制することができる。
【００１５】
請求項２の発明によれば、第１段階において、プロジェクタパラメータを簡単に求めることができる。
請求項３の発明によれば、プロジェクタパラメータを用いて光学治具の形状をレンダリングした像を前記プロジェクタから光学治具に投影して、該光学治具の位置姿勢を一致させ、光学治具に付設したマーカの位置姿勢を前記光学系観察者位置計測手段にて計測することにより、該計測結果に基づいて、前記光学系観察者位置計測手段の基準座標系の位置、及び、姿勢行列を求めることができる。
【図面の簡単な説明】
【００１６】
【図１】三次元像表示装置の概略図。
【図２】三次元像表示装置の座標校正方法の第３段階の説明図。
【図３】三次元像表示装置の計算機が処理するフローチャート。
【図４】座標校正方法の手順のフローチャート。
【発明を実施するための形態】
【００１７】
以下、本発明の三次元像表示装置の座標校正方法を具体化した一実施形態を図１〜４を参照して説明する。
まず、本実施形態の座標校正法の対象となる自由曲面投影型ディスプレイ（以下、単に三次元像表示装置という）の概要について説明する。なお、本実施形態では、内部を表示する対象物として人体(胴部)を用いる。
【００１８】
図１に示すように、三次元像表示装置１０は、コンピュータからなる計算機２０と、プロジェクタ３０と、三次元スクリーン４０、光学系観察者位置計測手段（以下、単に観察者位置計測手段６０という）とを備える。計算機２０は、記憶手段２２、及び生成手段２４を有し、三次元像表示装置１０の全体的な制御を行なっている。
【００１９】
ここで記憶手段２２は、対象物としての人体の三次元構造(人体内部情報)と、三次元スクリーン４０の表面形状データと、三次元スクリーン４０の位置座標とを記憶している。
前記人体内部情報は、ボクセルデータやポリゴンデータで構成されており、少なくとも人体内の各種臓器より構成されている例を示す。
【００２０】
観察者位置計測手段６０は、計算機２０に接続され、三次元像表示装置１０を使用する観察者Ｖを、三次元スクリーン４０を観察する観察者Ｖの視点位置を計測する。具体的には、観察者位置計測手段６０は、ビデオカメラからなり、観察者Ｖの頭部に装着された器具（例えば眼鏡、帽子）等にマーキングされた複数のマーカＭを撮像することにより、前記マーカＭを含んだ撮像画像に基づいて、計算機２０は観察者Ｖの三次元の視点位置を計測することが可能である。なお、図１では、説明の便宜上、１つのマーカＭのみが図示されている。
【００２１】
各マーカＭには、赤外線発光部を有する。なお、マーカＭの個数は互いに異なる位置に位置して複数個設けられ、各マーカＭの位置と視点位置の相対位置関係は既知となっている。従って、各マーカＭを観察者位置計測手段６０により検出することにより、視点位置の三次元座標が計算機２０により算出される。
【００２２】
そして、三次元像表示装置１０を構成する各要素は、計算機２０に対して有線、又は、無線を介して、計測に必要とされる信号を伝送可能である。
前記三次元スクリーン４０は、プロジェクタ３０により三次元画像ＡＤが投影・表示されるディスプレイであり、自由曲面、すなわち、三次元の曲面を有し、立体的な胴体形状物が使用されている。
【００２３】
本実施形態では、三次元スクリーン４０は、図１に示すように、支持体としての枠体４２に対して回転自在に支持された回転軸４４に取付け固定されている。すなわち、三次元スクリーン４０は、自身の長手方向に延びる中心軸が回転軸４４の軸心と一致するように取付けされている。回転軸４４には、姿勢計測手段としてのロータリエンコーダ４６が取り付けされ、三次元スクリーン４０の回転の検出、すなわち、姿勢（回転姿勢）が可能である。ロータリエンコーダ４６の検出信号は、計算機２０に出力される。
【００２４】
このロータリエンコーダ４６によって、三次元スクリーン４０の回転姿勢が分かり、観察者位置計測手段６０で計測される観察者Ｖの視点位置に対する三次元スクリーン４０の相対的な位置及び姿勢を計算機２０が常に把握可能となっている。すなわち、ロータリエンコーダ４６は、一自由度の回転計測系であり、三次元スクリーン４０の回転を計測することにより、三次元スクリーン４０の姿勢が分かる。なお、三次元スクリーン４０の位置（位置座標）は、世界座標系で予め記憶手段２２に格納されている。
【００２５】
生成手段２４は、記憶手段２２に記憶された各種情報と、前記ロータリエンコーダ４６に計測される前記三次元スクリーン４０の姿勢、記憶手段２２に格納された既知の三次元スクリーン４０の位置、並びに観察者位置計測手段６０に計測される観察者Ｖの視点位置の相対関係とに基づいて、三次元スクリーン４０に表示する三次元画像ＡＤの基となる三次元画像データを生成する。
【００２６】
ここで、生成手段２４が利用する記憶手段２２に記憶された各種情報とは、人体内部情報、プロジェクタ３０の配置位置、三次元スクリーン４０の位置、三次元スクリーン４０の表面形状データである。
【００２７】
又、三次元画像データは、三次元スクリーン４０の位置・姿勢に対応して表示される人体内の各種臓器及び骨格の画像に係る情報である。そして、前記三次元スクリーン４０に対して、前記プロジェクタ３０が生成手段２４により生成された三次元画像データに基づいた三次元画像ＡＤを投影することにより、該三次元スクリーン４０に三次元画像ＡＤが表示される。
【００２８】
又、生成手段２４は、前記既知の三次元スクリーン４０の位置と、観察者位置計測手段６０に計測される観察者Ｖの視点位置と、記憶手段２２に記憶されているプロジェクタ３０の配置位置との相対関係の確定により、非特許文献１に開示されている双対レンダリングによって三次元画像データを生成している。
【００２９】
この双対レンダリングによって生成された三次元画像データは、胴体形状物である三次元スクリーン４０に、観察者Ｖから歪みのない三次元画像ＡＤとして認識されるように表示される。すなわち、前記三次元スクリーン４０に人体内部情報を三次元的に表示した画像と人体とを一体的に関連付けた表示を可能とし、人体の内部構造の三次元的な位置及び三次元的な大きさ等を直感的に認識し得るようになっている。
【００３０】
この生成手段２４は、ロータリエンコーダ４６及び観察者位置計測手段６０で夫々計測される三次元スクリーン４０及び観察者Ｖの相対的な位置及び姿勢に対応して、プロジェクタ３０によって三次元スクリーン４０に投影・表示される三次元画像ＡＤの基となる三次元画像データを常に生成するよう構成されている。すなわち、ロータリエンコーダ４６及び観察者位置計測手段６０で夫々計測される三次元スクリーン４０及び観察者Ｖの相対的な位置及び姿勢を常に把握することで、三次元スクリーン４０の姿勢の変化や観察者Ｖの視線位置の変化に対応した三次元画像データが生成手段２４によって生成される。
【００３１】
ここで、三次元スクリーン４０の相対的な姿勢に対応する三次元画像データとは、観察者Ｖが三次元スクリーン４０に表示される三次元画像ＡＤを観察した際に、該三次元画像ＡＤが三次元スクリーン４０内に人体内部情報を埋め込んだ三次元的な画像として、現実に形成されている人体の内部構造のように認識できるデータを指す。
【００３２】
次に、前記三次元像表示装置１０の動作を説明する。なお、三次元スクリーン４０はプロジェクタ３０の投影範囲に配置されるとともに、観察者Ｖは観察者位置計測手段６０から観察できる位置、及び、該三次元スクリーン４０を観察できる位置にいるものとする。又、記憶手段２２には、ボクセルデータやポリゴンデータで構成された対象物である人体についての人体内部情報と、三次元スクリーン４０の表面形状データと、プロジェクタ３０の配置位置等の情報が予め入力されているものとする。
【００３３】
三次元像表示装置１０の作動は、図３に示すように、基本的に三次元画像データに関係する三次元画像データ生成段階Ｓ１及び三次元画像表示段階Ｓ２とからなる。そして、これら三次元画像データ生成段階Ｓ１及び三次元画像表示段階Ｓ２は、夫々繰り返し実施されている。
【００３４】
三次元像表示装置１０では、前記三次元画像データ生成段階Ｓ１において、記憶手段２２に記憶された各種情報を基本とし、更にロータリエンコーダ４６、観察者位置計測手段６０からの夫々の情報を加えて、生成手段２４が、三次元スクリーン４０に表示すべき三次元画像ＡＤの基となる三次元画像データを生成する。
【００３５】
ここで、前記三次元画像データ生成段階Ｓ１において用いられる記憶手段２２に記憶された各種情報とは、人体内部情報、プロジェクタ３０の配置位置、及び三次元スクリーン４０の表面形状データである。
【００３６】
このように生成手段２４で生成された三次元画像データは、三次元画像表示段階Ｓ２の実行によってプロジェクタ３０に送られ、この三次元画像データに基づいた三次元画像ＡＤが三次元スクリーン４０に向けて投影される。この結果、三次元スクリーン４０に、三次元画像ＡＤが投影・表示される。そして、ロータリエンコーダ４６で計測される三次元スクリーン４０の姿勢や、観察者位置計測手段６０で計測される観察者Ｖの視線位置が変化すれば、これに伴って三次元スクリーン４０に投影・表示される三次元画像ＡＤが変化して、常に観察者Ｖが観察したい三次元画像ＡＤが提供される。
【００３７】
（三次元像表示装置の座標校正法）
次に、上記のように校正された三次元像表示装置の座標校正法を図４を参照して説明する。
【００３８】
（第１段階Ａ：プロジェクタ３０と枠体４２）
まず、プロジェクタ３０と、三次元スクリーン４０を支持する支持体である枠体４２間の関係について校正する。
【００３９】
三次元スクリーン４０を支持している枠体４２上の複数の箇所に、少なくとも６箇所以上の位置であって、互いに同一平面とならない部位にマーカＭｎ（ｎ≧６）を分散してつけておく。なお、これらのマーカの位置は予め計測されて既知となっており、世界座標系で記憶手段２２に記憶されている。
【００４０】
次に、プロジェクタ３０から、前記マーカＭｎに合わせるための画像を投影する。マーカＭｎに合わせるための画像は、例えば、マウスカーソル画像であるが、限定されるものではなく、例えば、白丸、黒丸等の画像でもよい。以下、マーカＭｎに合わせるための画像をポインタという。プロジェクタ３０から三次元スクリーン４０に向かって投影される画像（すなわち、ポインタを含む全体画像）は、計算機２０に接続された表示装置２６にも表示される。
【００４１】
そして、オペレータは表示装置２６の画面を見ながら、前記ポインタを、図示しないキーボード等の入力装置を操作することにより、枠体４２のマーカＭｎに対して、投影されたポインタを合わせる。前記マーカＭｎに対し合わせた後、前記キーボード等の入力装置で、ポインタの表示装置２６での画面上の位置を登録する。そして、以後、同様にして、残りの全部のマーカに対して同様にポインタを合わせた後、ポインタの表示装置２６での画面上の位置を２次元画面座標で登録する。
【００４２】
この後、計算機２０で、既知である各マーカ点の世界座標系の３次元座標（Ｘ，Ｙ，Ｚ）と、各マーカに合わせたポインタの画像上（画面上）での画像座標（２次元画面座標）（ｕ，ｖ）との組み合わせから世界座標系と画像座標系との射影関係として射影変換行列を演算し、演算した後述する射影変換行列Ｐからプロジェクタ３０の内部変数と外部変数を求める。
【００４３】
ここで、プロジェクタ３０の内部変数には、焦点距離、アスペクト比、画像中心、レンズ歪みが含まれる。又、外部変数には、位置（世界座標系に対するレンズ中心の座標）、姿勢（光軸の方向）が含まれる。以下、内部変数、及び外部変数をプロジェクタパラメータという。なお、このプロジェクタのキャリブレーションは、いわゆるストロングキャリブレーションにより行われている。
【００４４】
ここで、プロジェクタパラメータの求め方について説明する。
プロジェクタ座標系は、画像面上に２次元座標系としてとり、画素の位置（Ｘｃ，Ｙｃ）として表わすものとする。又、基準座標系としての世界座標系は、３次元空間中の任意の場所に原点と座標軸を固定しているものとする。
【００４５】
この場合、枠体４２上の既知のマーカ点（Ｘ，Ｙ，Ｚ）とその点の像（Ｘｐ，Ｙｐ）の間の関係は、式（１）の通り３行４列の射影変換行列Ｐによって表現できる。
【００４６】
【数１】
上記式（１）の行列Ｐを構成する１２個のパラメータがプロジェクタパラメータである。枠体４２上のマーカ点は（Ｘ，Ｙ，Ｚ，１）、画像上の点は（Ｘｐ，Ｙｐ，１）という同次座標系で表現している。なお、Ｈｐは媒介変数である。
【００４７】
式（１）を展開すると式（２）となる。
【００４８】
【数２】
このパラメータを求めるには、基準座標系である世界座標系が既知なマーカ点について、その像のプロジェクタ座標を求め、得られた既知のマーカ点（Ｘ，Ｙ，Ｚ）と、該マーカ点と合致させた像のプロジェクタ座標（Ｘｐ，Ｙｐ）の組を、既知の組として式（３）の２つの式に代入し、Ｐを未知数とみなした連立法定式を作成して解く。射影変換行列Ｐは１２個の未知数を含むため、最低１２個の方程式を作る。この場合、前記６組の既知のマーカ点を使う。なお、精度を向上させるためには、さらに多くの既知のマーカ点と、像の組を作り、最小２乗法を用いる。
【００４９】
【数３】
（第２段階Ｂ：三次元スクリーン４０の校正）
次に、三次元スクリーン４０が枠体４２に対してどのように取付けられているかを校正する。
【００５０】
三次元スクリーン４０は、枠体４２に対して回転自在に支持された回転軸４４に対して取付けされており、三次元スクリーン４０の姿勢はロータリエンコーダ４６による一自由度の回転計測系により測定される。
【００５１】
ここで、枠体４２に対して、校正するのは、三次元スクリーン４０の回転軸４４の軸回りの回転のオフセットと、回転軸４４の軸方向において、どの位置に三次元スクリーン４０が取付けられているかである。ここで、回転軸４４の軸回りの回転のオフセットは、三次元スクリーン４０の回転位置における基準位置から外れた量である。
【００５２】
なお、予め計測しておいた三次元スクリーン４０の三次元の表面形状データは、記憶手段２２に格納されている。この三次元スクリーン４０の三次元の表面形状データを、前記第１段階Ａで求めたプロジェクタパラメータに従ってレンダリング（画像化）し、三次元スクリーン４０に投影する。
【００５３】
次に、オペレータは計算機２０の中で、回転軸４４の軸回りに投影画像を回転させて、該投影画像が、三次元スクリーン４０に正確に一致するように、入力装置（図示しない）を操作する。一致したら、オペレータは、その時の投影画像における基準位置からの回転量を記憶手段２２に登録（記憶）させるべく、入力装置（図示しない）を登録操作する。このように投影画像を画像の基準位置から回転させる場合、投影画像が、三次元スクリーン４０の表面形状に合致するまで回転させ、このときの、投影画像の回転量を、オフセットとする。
【００５４】
なお、投影画像の基準位置は、三次元スクリーン４０の回転位置である基準位置と理論上一致させてあるが、実際には、三次元スクリーン４０の基準位置がずれていることが多い。
【００５５】
或いは、三次元スクリーン４０の方を投影画像と一致するまで回転させ、ロータリエンコーダ４６で、三次元スクリーン４０の回転位置である基準位置からの回転を検出する。そして、一致するまでの三次元スクリーン４０の基準位置からの回転量を、入力装置（図示しない）を操作することにより、その時の投影画像の基準位置からの回転量を記憶手段２２に登録（記憶）させるべく、入力装置（図示しない）を登録操作する。
【００５６】
このように三次元スクリーン４０を回転させる場合、三次元スクリーン４０の投影画像の形状に三次元スクリーン４０の形状が一致するまで回転させ、この基準位置から一致するまでのロータリエンコーダ４６によって検出された回転量をオフセットとする。
【００５７】
次に、三次元スクリーン４０の回転軸４４に対する軸方向（長手方向）のオフセットを計測する。具体的には、オペレータは計算機２０の中で、回転軸４４の軸方向に投影画像を移動させて、該投影画像が、三次元スクリーン４０に正確に一致するように、入力装置（図示しない）を操作する。一致したら、オペレータは、その時の投影画像における軸方向における基準位置からの移動量を記憶手段２２に登録（記憶）させるべく、入力装置（図示しない）を登録操作する。
【００５８】
このようにして、三次元スクリーン４０の回転軸４４に対する回転方向のオフセット（回転角）、及び軸方向におけるオフセット量（すなわち、軸方向における基準位置からの取付け位置）が求められる。
【００５９】
（第３段階Ｃ：観察者位置計測手段６０の校正）
次に、観察者位置計測手段６０の校正、すなわち、観察者Ｖの視点位置を計測するビデオカメラの校正を行う。なお、プロジェクタ３０の位置姿勢は、（１．プロジェクタ３０と枠体４２）で校正したときと同じ状態である。
【００６０】
ここでは、三次元位置姿勢を計測する光学式計測システムを用いる。この光学式計測システムは、例えば、Optitrak（製品名：Natural Point社製）などの、複数の光学マーカーを用いて観察者位置計測手段６０に対する三次元位置姿勢を計測するものである。
【００６１】
まず、既知の三次元形状をもった光学治具７０に光学マーカー８０を、プロジェクタ３０の投影可能な領域に設置する。なお、光学治具７０の既知の三次元形状データは、記憶手段２２に予め記憶されている。光学治具７０は、例えば、透明な三角錐（図２参照）を挙げることができるが、光学治具７０の三次元形状は限定されるものではない。
【００６２】
次に、（１．プロジェクタ３０と枠体４２）で得られたプロジェクタパラメータを用いて、光学治具７０の既知の形状を前記記憶手段２２に記憶した光学治具７０の既知の三次元形状データに基づいてレンダリング（画像化）し、投影する。
【００６３】
この投影画像に、光学治具７０が合致するようにオペレータは、該光学治具７０の位置姿勢を合わせる。
そして、オペレータは、観察者位置計測手段６０を用いて、光学治具７０上にある光学マーカー８０の位置姿勢を計測する。この計測を３回繰り返す。
【００６４】
上記の計測結果から、観察者位置計測手段６０の姿勢行列、位置を求める。
下記の式（４）〜（６）は、観察者位置計測手段６０の姿勢行列、光学マーカの位置等に関連する式である。
【００６５】
【数４】
２回の計測を行い、式（４）を引き算すると、
【００６６】
【数５】
【００６７】
【数６】
【００６８】
【数７】
となる。３回の計測結果を同様にまとめると、下記式（８）となる。
【００６９】
【数８】
すなわち、観察者位置計測手段６０の姿勢行列が、式（９）に示すように、
【００７０】
【数９】
と求められる。この演算は、計算機２０で処理される。
【００７１】
なお、３回を越える計測を行い、その計測結果を用いて、２次式の最小化を用いれば、より精度が高い、観察者位置計測手段６０の姿勢行列を求めることができる。
一方の観察者位置計測手段６０の位置は、
【００７２】
【数１０】
として求める。この演算処理も計算機２０で行われる。
【００７３】
なお、観察者位置計測手段６０の位置についても、複数回の計測結果から平均を算出することにより、より精度が高い結果が得られる。
このようにして、第１段階Ａではプロジェクタ３０と枠体４２と間の各座標系の相関関係が、第２段階Ｂでは、三次元スクリーン４０の位置、及び姿勢のオフセットが、第３段階Ｃでは、観察者位置計測手段６０の姿勢行列、及び基準座標系での位置が求められ、校正が完了する。
【００７４】
本実施形態によって発揮される効果について、以下に記載する。
（１） 本実施形態の三次元像表示装置の座標校正方法では、プロジェクタ３０の世界座標系（基準座標系）に対する内部変数と外部変数を含むプロジェクタパラメータを求める第１段階Ａと、三次元スクリーン４０世界座標系に対する軸回りのオフセット及び軸方向のオフセットを求める第２段階Ｂと、観察者位置計測手段６０の世界座標系の位置、及び、姿勢行列を求める第３段階Ｃを行う。この結果、三次元スクリーン４０、プロジェクタ３０の表示系装置、観察者位置計測手段６０等を含む計測系装置を組立て設置した後に、簡便に表示系装置及び計測系装置の座標校正を行うことができる。
【００７５】
なお、特許文献１等では、高額な磁気を使用した三次元位置センサを使用している。これに対して、本実施形態の三次元像表示装置は、安価な光学系観察者位置計測手段６０により、観察者Ｖの三次元座標の視点位置の計測ができるが、本方法ではこのような三次元像表示装置に特に適した座標校正方法となる。
【００７６】
（２） 本実施形態の三次元像表示装置の座標校正方法では、既知の複数の位置にマーカＭｎを付け、プロジェクタ３０からマーカ合わせ用の画像を投影して、該画像を各マーカＭｎに合致させて、プロジェクタ３０の２次元画面座標と、各マーカの基準座標系の３次元座標との対応関係を取ることにより、プロジェクタ３０の基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求める。この結果、第１段階Ａにおいて、プロジェクタパラメータを簡単に求めることができる。
【００７７】
（３） 本実施形態の三次元像表示装置の座標校正方法では、第３段階Ｃは、光学治具７０に対し、プロジェクタパラメータを用いて該光学治具７０の形状をレンダリングした像をプロジェクタ３０から投影して、光学治具７０の位置姿勢を一致させ、光学治具７０に付設したマーカの位置姿勢を観察者位置計測手段６０にて計測し、その計測結果に基づいて、観察者位置計測手段６０の基準座標系の位置、及び、姿勢行列を求めることができる。
【００７８】
なお、本発明の実施形態は前記実施形態に限定されるものではなく、前記実施形態を次のように変更して構成してもよい。
○ 前記実施形態では、マーカＭ毎に赤外線発光部を有していたが、再帰反射材で形成していてもよい。この場合は、観察者位置計測手段６０のカメラに近接してＬＥＤからなる赤外線発光部を備え、マーカＭに対して投光させるように構成する。
【００７９】
○ 前記実施形態の座標校正方法では、マーカＭｎの数は、プロジェクタ３０の光軸が法軸（すなわち、鉛直線）にあるので有れば、異なる位置に位置するように２個でよい。又、枠体４２の位置が分かっている場合は、最低３箇所にマーカを付けておけばよい。
【００８０】
○ 前記実施形態では、内部を表示する対象物として人体を用いた例を挙げたが、例えば、多数の構成要素が三次元的に組み合わさり、分解等しなければ外部からの内部構造の把握が困難であって、分解が困難なもの、例えばエンジンや、三次元的に構成された基板等を対象物としてもよい。
【００８１】
○ 前記実施形態では、枠体４２上にマーカＭｎをつけるようにしたが、枠体４２上に既知の複数の位置にマーカを必ずつける必要はなく、枠体４２周辺の既知の位置、すなわち、基準座標系の座標位置が既知の位置にマーカを着けても良い。
【００８２】
○ 前記実施形態では、基準座標系として世界座標系としたが、他の座標系であってもよい。
【符号の説明】
【００８３】
１０…三次元像表示装置、
２０…計算機、
２２…記憶手段、
２４…生成手段、
２６…表示装置、
３０…プロジェクタ、
４０…三次元スクリーン、
４６…ロータリエンコーダ（姿勢計測手段）、
６０…観察者位置計測手段（光学系観察者位置計測手段）、
７０…光学治具、
８０…光学マーカー。
【特許請求の範囲】
【請求項１】
一つの軸回りで回転姿勢が変化自在に支持された三次元スクリーンと、前記三次元スクリーンの回転姿勢を計測する姿勢計測手段と、前記三次元スクリーンを観察する観察者の視点位置を計測する光学系観察者位置計測手段と、対象物の三次元構造及び前記三次元スクリーンの位置を記憶する記憶手段と、前記姿勢計測手段にて計測される三次元スクリーンの回転姿勢並びに前記記憶手段に記憶された前記三次元スクリーンの位置、前記光学系観察者位置計測手段に計測される三次元スクリーンを観察する観察者の視点位置の相対関係に基づいて、前記記憶手段に記憶された三次元構造から、三次元画像データを生成する生成手段と、前記生成手段により生成された三次元画像データに基づいて三次元画像を前記三次元スクリーンに投影するプロジェクタを備える三次元像表示装置の座標校正方法において、前記プロジェクタの基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求める第１段階と、前記三次元スクリーンの基準座標系に対する軸回りのオフセット及び軸方向のオフセットを求める第２段階と、前記光学系観察者位置計測手段の基準座標系の位置、及び姿勢行列を求める第３段階を含むことを特徴とする三次元像表示装置の座標校正方法。
【請求項２】
前記第１段階が、既知の複数の位置にマーカを付け、前記プロジェクタからマーカ合わせ用の画像を投影して、該画像を前記各マーカに合致させて、前記プロジェクタの２次元画面座標と、前記各マーカの基準座標系の３次元座標との対応関係を取ることにより、プロジェクタの基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求めるものであることを特徴とする請求項１に記載の三次元像表示装置の座標校正方法。
【請求項３】
第３段階は、光学治具に対し、前記プロジェクタパラメータを用いて該光学治具の形状をレンダリングした像を前記プロジェクタから投影して、前記光学治具の位置姿勢を一致させ、前記光学治具に付設したマーカの位置姿勢を前記光学系観察者位置計測手段にて計測し、その計測結果に基づいて、前記光学系観察者位置計測手段の基準座標系の位置、及び、姿勢行列を求めることを特徴とする請求項１又は請求項２に記載の三次元像表示装置の座標校正方法。
【請求項１】
一つの軸回りで回転姿勢が変化自在に支持された三次元スクリーンと、前記三次元スクリーンの回転姿勢を計測する姿勢計測手段と、前記三次元スクリーンを観察する観察者の視点位置を計測する光学系観察者位置計測手段と、対象物の三次元構造及び前記三次元スクリーンの位置を記憶する記憶手段と、前記姿勢計測手段にて計測される三次元スクリーンの回転姿勢並びに前記記憶手段に記憶された前記三次元スクリーンの位置、前記光学系観察者位置計測手段に計測される三次元スクリーンを観察する観察者の視点位置の相対関係に基づいて、前記記憶手段に記憶された三次元構造から、三次元画像データを生成する生成手段と、前記生成手段により生成された三次元画像データに基づいて三次元画像を前記三次元スクリーンに投影するプロジェクタを備える三次元像表示装置の座標校正方法において、前記プロジェクタの基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求める第１段階と、前記三次元スクリーンの基準座標系に対する軸回りのオフセット及び軸方向のオフセットを求める第２段階と、前記光学系観察者位置計測手段の基準座標系の位置、及び姿勢行列を求める第３段階を含むことを特徴とする三次元像表示装置の座標校正方法。
【請求項２】
前記第１段階が、既知の複数の位置にマーカを付け、前記プロジェクタからマーカ合わせ用の画像を投影して、該画像を前記各マーカに合致させて、前記プロジェクタの２次元画面座標と、前記各マーカの基準座標系の３次元座標との対応関係を取ることにより、プロジェクタの基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求めるものであることを特徴とする請求項１に記載の三次元像表示装置の座標校正方法。
【請求項３】
第３段階は、光学治具に対し、前記プロジェクタパラメータを用いて該光学治具の形状をレンダリングした像を前記プロジェクタから投影して、前記光学治具の位置姿勢を一致させ、前記光学治具に付設したマーカの位置姿勢を前記光学系観察者位置計測手段にて計測し、その計測結果に基づいて、前記光学系観察者位置計測手段の基準座標系の位置、及び、姿勢行列を求めることを特徴とする請求項１又は請求項２に記載の三次元像表示装置の座標校正方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−２０４７５９（Ｐ２０１０−２０４７５９Ａ）
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願番号】特願２００９−４７２０７（Ｐ２００９−４７２０７）
【出願日】平成２１年２月２７日（２００９．２．２７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６〜２０年度、文部科学省、地域科学技術振興施策、委託研究（知的クラスター創成事業、岐阜・大垣地域ロボティック先端医療クラスター）、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０４０１９３９９）国立大学法人岐阜大学 (289)
【Ｆターム（参考）】
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願日】平成２１年２月２７日（２００９．２．２７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６〜２０年度、文部科学省、地域科学技術振興施策、委託研究（知的クラスター創成事業、岐阜・大垣地域ロボティック先端医療クラスター）、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０４０１９３９９）国立大学法人岐阜大学 (289)
【Ｆターム（参考）】
[ Back to top ]