マルチプロジェクションシステムにおける幾何補正方法
【課題】短時間で簡単かつ正確に幾何補正でき、メンテナンスの効率を大幅に向上できる幾何補正方法を提供する。
【解決手段】各プロジェクタから複数個の特徴点からなるプレパターン画像を投射して、それを撮像して得たプレパターン撮像画像から特徴点の位置を検出し、更に、各プロジェクタからプレパターン画像よりも多い特徴点からなるテストパターン画像を投射して、そのテストパターン撮像画像を得、このテストパターン撮像画像中の特徴点の位置をプレパターン撮像画像中の特徴点の位置に基づいて検出し、その検出されたテストパターン撮像画像中の特徴点の位置と、予め与えられているテストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像とテストパターン撮像画像との座標位置関係とに基づいて各プロジェクタによる画像の位置合わせを行う画像補正データを算出する。
【解決手段】各プロジェクタから複数個の特徴点からなるプレパターン画像を投射して、それを撮像して得たプレパターン撮像画像から特徴点の位置を検出し、更に、各プロジェクタからプレパターン画像よりも多い特徴点からなるテストパターン画像を投射して、そのテストパターン撮像画像を得、このテストパターン撮像画像中の特徴点の位置をプレパターン撮像画像中の特徴点の位置に基づいて検出し、その検出されたテストパターン撮像画像中の特徴点の位置と、予め与えられているテストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像とテストパターン撮像画像との座標位置関係とに基づいて各プロジェクタによる画像の位置合わせを行う画像補正データを算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台のプロジェクタを用いてスクリーン上に画像を重ねて投射するマルチプロジェクションシステムにおいて、各プロジェクタ間の位置ずれや歪みをカメラにより検出して自動的に補正するマルチプロジェクションシステムにおける幾何補正方法に関するものである。
【背景技術】
【０００２】
近年、博物館や展示会等におけるショールーム用ディスプレイ、シアター、或いは車や建築物、都市景観等のシミュレーションに用いるＶＲシステム等においては、大画面・高精細のディスプレイを構築するために、複数台のプロジェクタによりスクリーン上に画像を貼り合わせて表示するマルチプロジェクションシステムが広く適用されている。
【０００３】
このようなマルチプロジェクションシステムにおいては、個々のプロジェクタによる画像の位置ずれや色ずれを調整してスクリーン上にきれいに貼り合わせることが重要であり、その方法として、従来、プロジェクタの投射位置を算出して、各プロジェクタから投射された複数の映像をスクリーン上で一枚の映像にするための画像補正データを算出する方法が提案されている（例えば、特許文献１参照）。
【０００４】
特許文献１に開示の従来の画像補正データ算出方法では、プロジェクタからスクリーン上にテストパターン画像を表示し、そのテストパターン画像をデジタルカメラで撮像して、撮像した画像からプロジェクタの投射位置を算出している。すなわち、テストパターン撮像画像中の複数の特徴点をパターンマッチング等の手法を採用して検出し、その検出した特徴点の位置に基づいて投射位置のパラメータを算出して、プロジェクタの投射位置を補正させるための画像補正データを算出している。
【０００５】
しかし、かかる画像補正データ算出方法にあっては、スクリーン形状が複雑であったり、また、プロジェクタの配置が複雑で投射画像の向きが著しく回転していたりすると、撮像画像において検出された各特徴点が、元のテストパターン画像において複数ある特徴点のうちの一体どの特徴点に対応するか見分けがつかなくなってしまうことがある。
【０００６】
このような問題を回避する方法として、各特徴点を一つずつ表示して撮像することで、特徴点一個ごとを正確に検出したり、プロジェクタやカメラの配置およびスクリーン形状に応じて予め特徴点毎に大まかな検出範囲を設定しておき、各々の検出範囲に従って各特徴点を順番に対応つけて検出したりする方法が提案されている（例えば、特許文献２参照）。
【特許文献１】特開平９−３２６９８１号公報
【特許文献２】特開２００３−２１９３２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２に開示の方法にあっては、特徴点を一点毎に単独で投射して撮像する場合には、撮像時間が膨大になり、また、検出範囲を予め設定する場合には、カメラの配置が予め設定された位置から少しでもずれると、再び検出範囲を設定し直す必要がある。このため、特に、スクリーン形状がドームやアーチ状の場合には、投射画像の複雑な歪みを正確に補正するために、テストパターン画像として特徴点を多数設ける必要があることから、特徴点数の増大による撮像時間の増大、若しくは検出範囲の再設定にかかる時間の増大がより深刻となり、メンテナンスの効率低下が懸念されている。
【０００８】
したがって、かかる事情に鑑みてなされた本発明の目的は、複雑な形状のスクリーンや、複雑に配置されたプロジェクタで構成されたマルチプロジェクションシステムにおいても、短時間で簡単かつ正確に幾何補正でき、メンテナンスの効率を大幅に向上できるマルチプロジェクションシステムにおける幾何補正方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成する請求項１に係るマルチプロジェクションシステムにおける幾何補正方法の発明は、
複数台のプロジェクタから投射される画像を貼り合せてスクリーン上に一枚のコンテンツ画像を表示するマルチプロジェクションシステムにおいて、上記各プロジェクタの画像の位置合わせを行うための幾何補正データを算出するにあたり、
上記各プロジェクタから複数個の特徴点からなるプレパターン画像を上記スクリーン上に投射させるプレ投射ステップと、
上記プレ投射ステップで上記スクリーン上に投射された上記プレパターン画像を撮像手段により撮像してプレパターン撮像画像として取り込むプレ取込ステップと、
上記プレ取込ステップで取り込まれた上記プレパターン撮像画像の特徴点の位置を検出するプレ検出ステップと、
上記各プロジェクタから上記プレパターン画像よりも多い特徴点からなるテストパターン画像を上記スクリーン上に投射させる投射ステップと、
上記投射ステップで上記スクリーン上に投射された上記テストパターン画像を上記撮像手段により撮像してテストパターン撮像画像として取り込む取込ステップと、
上記プレ検出ステップで検出された上記プレパターン撮像画像中の特徴点の位置に基づいて上記取込ステップで取り込まれた上記テストパターン撮像画像中の特徴点の位置を検出する検出ステップと、
上記検出ステップで検出された上記テストパターン撮像画像中の特徴点の位置と、予め与えられている上記テストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像と上記テストパターン撮像画像との座標位置関係とに基づいて、上記各プロジェクタによる画像の位置合わせを行う画像補正データを算出する演算ステップと、
を含むことを特徴とするものである。
【００１０】
請求項２に係る発明は、請求項１に記載のマルチプロジェクションシステムにおける幾何補正方法において、
上記プレ検出ステップは、
上記プレ取込ステップで取り込まれた上記プレパターン撮像画像をモニタ上に提示する提示ステップと、
上記提示ステップで提示された上記プレパターン撮像画像を参照しながら上記プレパターン画像中の各特徴点の概略位置を指定して入力する入力ステップとを有し、
上記入力ステップで入力された上記プレパターン画像中の各特徴点の概略位置に基づいて正確な位置を検出することを特徴とするものである。
【００１１】
請求項３に係る発明は、請求項１または２に記載のマルチプロジェクションシステムにおける幾何補正方法において、
上記検出ステップは、
上記プレ検出ステップで検出された上記プレパターン撮像画像の特徴点の位置に基づいて導出された２次以上の多項式を用いて上記テストパターン撮像画像中の各特徴点の概略位置を算出し、さらに上記算出された概略位置から上記テストパターン撮像画像中の各特徴点の正確な位置を検出することを特徴とするものである。
【００１２】
請求項４に係る発明は、請求項１または２に記載のマルチプロジェクションシステムにおける幾何補正方法において、
上記検出ステップは、
上記プレ検出ステップで検出された上記プレパターン撮像画像の特徴点の位置に基づいて導出された２次以上の多項式および座標回転演算を用いて上記テストパターン撮像画像中の各特徴点の概略位置を算出し、さらに上記算出された概略位置から上記テストパターン撮像画像中の各特徴点の正確な位置を検出することを特徴とするものである。
【発明の効果】
【００１３】
本発明によれば、マルチプロジェクションシステムの位置合わせにおける初期設定である特徴点の検出範囲の設定を、ユーザによるある程度手軽な操作で設定することが可能となり、これにより複雑な形状のスクリーンを用いる場合でも、またプロジェクタや撮像手段の配置が頻繁に変わっても、簡単かつ短時間で正確に幾何補正することができ、マルチプロジェクションシステムにおけるメンテナンスの効率を大幅に向上することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００１５】
図１〜図７は、本発明とともに開発したマルチプロジェクションシステムにおける幾何補正方法の参考例を示すものである。
【００１６】
このマルチプロジェクションシステムは、図１に全体構成を示すように、複数のプロジェクタ（ここでは、プロジェクタ１Ａおよびプロジェクタ１Ｂ）、ドーム状のスクリーン２、デジタルカメラ３、パーソナルコンピュータ（ＰＣ）４、モニタ５、画像分割／幾何補正装置６を有しており、プロジェクタ１Ａおよびプロジェクタ１Ｂによりスクリーン２へ画像の投射を行い、投射される画像を貼り合わせてスクリーン２上に一枚の大きな画像を表示するものである。
【００１７】
このようなマルチプロジェクションシステムにおいて、プロジェクタ１Ａおよびプロジェクタ１Ｂから単に画像を投射しただけでは、投射された各々の画像は、個々のプロジェクタの色特性や投射位置のずれ、歪みにより、きれいに貼り合わされない。
【００１８】
そこで本参考例では、まず、プロジェクタ１Ａおよびプロジェクタ１Ｂに、ＰＣ４から送信されたテストパターン画像信号を入力（画像分割／幾何補正は行わない）して、スクリーン２上に投射されたテストパターン画像をデジタルカメラ３により撮像してテストパターン撮像画像を取得する。この際、スクリーン２に投射するテストパターン画像としては、図２（ａ）に示すように、画面上に規則的に特徴点（マーカ）が並んだ画像とする。
【００１９】
デジタルカメラ３により取得されたテストパターン撮像画像は、ＰＣ４に送られ、各プロジェクタの位置合わせを行う幾何補正データを算出するために使用される。この際、テストパターン撮像画像は、ＰＣ４に付随したモニタ５により画像表示されて、制御者７に提示される。
【００２０】
次に、制御者７は、提示された画像を参照しながら、ＰＣ４によりテストパターン画像中の特徴点の概略位置を指定する。特徴点の概略位置が指定されると、ＰＣ４において、まず、指定された概略位置に基づいて、図２（ｂ）に示すような各特徴点の検出範囲が設定され、その設定された検出範囲に基づいて正確な特徴点位置が検出される。その後、検出された特徴点位置に基づいて各プロジェクタの位置合わせを行うための幾何補正データが算出され、その算出された幾何補正データが画像分割／幾何補正装置６に送られる。
【００２１】
また、画像分割／幾何補正装置６では、別途ＰＣ４より送信されたコンテンツ画像の分割および幾何補正を上記幾何補正データに基づいて実行して、プロジェクタ１Ａおよびプロジェクタ１Ｂへ出力する。これにより、スクリーン２上には、複数台（ここでは、２台）のプロジェクタ１Ａ，１Ｂにより、つなぎ目のないきれいに貼りあわされた一枚のコンテンツ画像を表示することができる。
【００２２】
次に、図３を参照して、本参考例に係る幾何補正手段の構成について説明する。
【００２３】
本参考例における幾何補正手段は、テストパターン画像作成手段１１、画像投射手段１２、画像撮像手段１３、画像提示手段１４、特徴点位置情報入力手段１５、検出範囲設定手段１６、幾何補正データ算出手段１７、画像分割／幾何補正手段１８、コンテンツ表示範囲情報入力手段１９、コンテンツ表示範囲設定手段２０により構成される。
【００２４】
ここで、テストパターン画像作成手段１１、特徴点位置情報入力手段１５、検出範囲設定手段１６、コンテンツ表示範囲情報入力手段１９およびコンテンツ表示範囲設定手段２０はＰＣ４で構成され、画像投射手段１２はプロジェクタ１Ａおよびプロジェクタ１Ｂで構成され、画像撮像手段１３はデジタルカメラ３で構成され、画像提示手段１４はモニタ５で構成され、幾何補正データ算出手段１７および画像分割／幾何補正手段１８は画像分割／幾何補正装置６で構成される。
【００２５】
テストパターン画像作成手段１１は、図２（ａ）に示したような複数の特徴点からなるテストパターン画像を作成し、画像投射手段１２は、テストパターン画像作成手段１１により作成されたテストパターン画像を入力してスクリーン２に投射する。なお、画像投射手段１２は、後述する一連の幾何補正のための演算を行った後は、画像分割／幾何補正装置６より出力された分割および幾何補正処理されたコンテンツ画像を入力して、スクリーン２への投射を行う。
【００２６】
画像撮像手段１３は、画像投射手段１２によりスクリーン２上に投射されたテストパターン画像を撮像し、画像提示手段１４は、画像撮像手段１３により撮像されたテストパターン撮像画像を表示して制御者７へテストパターン撮像画像の提示を行う。
【００２７】
特徴点位置情報入力手段１５は、制御者７により画像提示手段１４に提示されたテストパターン撮像画像を参照しながら指定されたテストパターン撮像画像中の特徴点の概略位置を入力し、検出範囲設定手段１６は、特徴点位置情報入力手段１５から入力された概略位置に基づいてテストパターン撮像画像中の各特徴点の検出範囲を設定する。
【００２８】
コンテンツ表示範囲情報入力手段１９は、制御者７により画像提示手段１４に別途提示されたスクリーン２全体の撮像画像を参照しながら指定されるコンテンツの表示範囲に関する情報を入力し、コンテンツ表示範囲設定手段２０は、コンテンツ表示範囲情報入力手段１９からのコンテンツの表示範囲に関する情報を入力して、撮像画像に対するコンテンツ表示範囲を設定し、その設定したコンテンツ表示範囲情報を幾何補正データ算出手段１７へ出力する。
【００２９】
幾何補正データ算出手段１７は、画像撮像手段１３により撮像されたテストパターン撮像画像および検出範囲設定手段１６により設定されたテストパターン撮像画像の各特徴点の検出範囲に基づいて、テストパターン撮像画像における各特徴点の正確な位置を検出すると共に、検出された各特徴点の正確な位置およびコンテンツ表示範囲設定手段２０により設定されたコンテンツ表示範囲情報に基づいて幾何補正データを算出して、画像分割／幾何補正手段１８へ送信する。
【００３０】
画像分割／幾何補正手段１８は、幾何補正データ算出手段１７により入力された幾何補正データに基づいて、外部より入力されたコンテンツ画像の分割および幾何補正処理を行い、画像投射手段１２へ出力する。
【００３１】
以上のようにして、外部から入力されたコンテンツ画像は、各プロジェクタの表示範囲に対応して正確な画像分割および幾何補正が行われ、スクリーン２上にきれいに貼り合わせされて一枚の画像として表示されることになる。
【００３２】
次に、図４を参照しながら前述した幾何補正データ算出手段１７の詳細ブロック構成について説明する。
【００３３】
幾何補正データ算出手段１７は、画像撮像手段１３により撮像されたテストパターン撮像画像を入力して記憶するテストパターン撮像画像記憶部２１と、検出範囲設定手段１６により設定されたテストパターン撮像画像の各特徴点の検出範囲を入力して記憶するテストパターン特徴点検出範囲記憶部２２と、特徴点位置検出部２３と、プロジェクタ画像−撮像画像座標変換データ作成部２４と、コンテンツ画像−プロジェクタ画像座標変換データ作成部２５と、コンテンツ画像−撮像画像座標変換データ作成部２６と、コンテンツ表示範囲設定手段２０により設定されたコンテンツ表示範囲情報を入力して記憶するコンテンツ画像表示範囲記憶部２７とを有している。
【００３４】
特徴点位置検出部２３は、テストパターン撮像画像記憶部２１に記憶されたテストパターン撮像画像中から、テストパターン特徴点検出範囲記憶部２２に記憶された各特徴点の検出範囲に基づいて各特徴点の正確な位置を検出する。その具体的な検出方法については、上記の特許文献２に開示されているように、各々の特徴点の正確な中心位置（重心位置）を、対応する検出範囲内での画像の最大相関値として検出する方法が適用可能である。
【００３５】
プロジェクタ画像−撮像画像座標変換データ作成部２４は、特徴点位置検出部２３により検出されたテストパターン撮像画像中の各特徴点の位置と、予め与えられた元の（プロジェクタに入力する前の）テストパターン画像の特徴点の位置情報とに基づいて、プロジェクタ画像の座標およびデジタルカメラ３によるテストパターン撮像画像の座標間の座標変換データを作成する。ここで、座標変換データは、プロジェクタ画像の画素毎に、対応するプロジェクタ撮像画像の座標を埋め込んだルックアップテーブル（ＬＵＴ）として作成してもよいし、両者の座標変換式を２次元高次多項式として作成してもよい。なお、ＬＵＴとして作成する場合には、特徴点が設けられた画素位置以外の座標については、隣接する複数の各特徴点の座標位置関係に基づいて線形補間またはスプライン補間等で導出すればよい。また、２次元高次多項式として作成する場合には、複数個の特徴点位置における座標関係から、最小二乗法もしくはニュートン法、最急降下法等を用いて多項式近似を行うとよい。
【００３６】
コンテンツ画像−撮像画像座標変換データ作成部２６は、コンテンツ画像表示範囲記憶部２７に記憶されたコンテンツ表示範囲情報に基づいて、コンテンツ画像の座標とスクリーン全体の撮像画像の座標間の座標変換データを作成する。この際、コンテンツ表示範囲情報として、例えば後述するような撮像画像上におけるコンテンツ表示範囲の４角の座標情報が適用される場合には、コンテンツ画像−撮像画像座標変換データ作成部２６では上記４角の座標対応関係に基づいて、４角内部の補間演算もしくは多項式近似により全てのコンテンツ画像の座標に対するスクリーン撮像画像の座標の変換テーブルもしくは変換式が与えられることになる。
【００３７】
最後に、コンテンツ画像−プロジェクタ画像座標変換データ作成部２５は、以上のように作成されたプロジェクタ画像−撮像画像座標変換データおよびコンテンツ画像−撮像画像座標変換データを用いて、コンテンツ画像からプロジェクタ画像への座標変換テーブルもしくは座標変換式を作成し、それを幾何補正データとして画像分割／幾何補正手段１８へ出力する。
【００３８】
図５は、以上説明した本参考例に係る幾何補正方法の処理手順を示すフローチャートで、ステップＳ１〜ステップＳ１０からなるが、その概要は上記の説明と重複するので、ここではステップＳ２の検出範囲の設定処理およびステップＳ７のコンテンツ表示範囲の設定処理について詳細に説明し、その他の処理については説明を省略する。
【００３９】
先ず、図６（ａ）および図６（ｂ）を参照して、図５のステップＳ２における検出範囲の設定処理の詳細について説明する。
【００４０】
ここでは、まず、画像撮像手段１３（デジタルカメラ３）で撮像されたテストパターン撮像画像を画像提示手段１４（ＰＣ４上のモニタ５）に表示する（ステップＳ１１）。次に、制御者７が画像提示手段１４に表示されたテストパターン撮像画像中において、図６（ｂ）に示されるような特徴点の４角の位置を、ＰＣ４のウィンドウ上でマウス等により指定する（ステップＳ１２）。この際、４角の位置の指定順番は、例えば左上−右上−右下−左下のように、予め決められた順番で指定を行う。
【００４１】
４角全ての指定が終わったら、指定された４角の位置に基づいてテストパターン撮像画像中の全ての特徴点に対する検出範囲を設定し、画像提示手段１４（モニタ５）に表示する（ステップＳ１３）。この際、４角以外の特徴点に関しては、４角の指定位置と特徴点のＸ方向およびＹ方向の数に基づいて等間隔に配置して設定すればよい。
【００４２】
最後に、必要に応じて、例えば検出範囲が特徴点から外れてしまっている場合には、表示された検出範囲を制御者７によりマウス等でドラッグして位置の微調整を行い（ステップＳ１４）、全ての検出範囲の調整後、検出範囲位置を設定して処理を終了する。
【００４３】
なお、図６（ａ）に示した検出範囲の設定処理では、特徴点の４角を指定してその内部の検出範囲を等間隔に設定しているが、これに限らず、例えば特徴点４角だけでなくその中間点も含めた４点以上の外郭の点を指定してもよいし、極端に言えば特徴点全ての位置（概略位置）を指定してもよい。指定する点の数が多いほど、制御者７の最初の指定作業が困難になるが、その分、その後の検出範囲を等間隔に設定したときに特徴点からはずれる可能性が低くなり、微調整が不要になる可能性がある。また、４点以上の指定を行った場合には、検出範囲の設定を等間隔でなく、多項式近似により中間の検出範囲の位置を算出して設定すれば、スクリーン２が曲面の場合など、撮像された特徴点の位置がある程度歪んでいても精度よく検出範囲を設定できる可能性がある。
【００４４】
次に、図７（ａ）および図７（ｂ）を参照して、図５のステップＳ７におけるコンテンツ表示範囲の設定処理の詳細について説明する。
【００４５】
ここでは、まず、画像撮像手段１３（デジタルカメラ３）により撮像されたスクリーン全体の画像を画像提示手段１４（ＰＣ４上のモニタ５）に表示する。この際、画像撮像手段１３（デジタルカメラ３）により撮像される画像には、カメラレンズによる画像歪みが発生するため、ここでは予め設定されたレンズ歪み補正係数により撮像画像の歪補正を行った上でモニタ５に表示する（ステップＳ２１）。
【００４６】
次に、制御者７がモニタ表示された歪補正済みのスクリーン撮像画像中において、図６（ｂ）に示したように、所望のコンテンツ画像表示範囲を矩形４角の点としてマウス等により指定する（ステップＳ２２）。その後、指定された４角の点によりコンテンツ表示範囲を矩形表示しながら、必要に応じて、制御者７により４角の点の微調整をマウス等のドラッグ操作により行う（ステップＳ２３）。微調整が終わったら、撮像画像中の４角の座標位置をコンテンツ表示範囲情報として設定して処理を終了する。
【００４７】
なお、ステップＳ２１で用いる歪み補正係数は、例えば画像中心からの距離の３乗に比例した係数を用いてもよいし、より精度を高めるために、高次多項式による複数の係数を用いてもよい。また、図７（ｂ）に示されるように、モニタ表示中のスクリーン撮像画像を見ながら、スクリーン２の画像の歪みがなくなるまで制御者７が繰り返し手入力により歪み補正係数を入力して設定してもよい。このような歪補正を正確に行わないと、撮像画像中でコンテンツ表示範囲を矩形で選択しても、実際のスクリーン２上では矩形に表示されなくなってしまうため、できるだけ正確な歪み補正を行うことが望ましい。
【００４８】
以上説明した本参考例によれば、制御者７によりモニタ５を見ながら簡便に幾何補正のための特徴点の検出範囲を設定することが可能となり、マルチプロジェクションシステムにおいてスクリーン２、プロジェクタ１Ａ，１Ｂおよびデジタルカメラ３の配置が頻繁に変わっても、短時間で正確かつ確実にプロジェクタ１Ａ，１Ｂによる表示画像の位置合わせを行うことができる。また、スクリーン全体に対してコンテンツをどの範囲で表示するかということも、モニタ５を見ながら制御者７により自由に、しかも簡便に設定することが可能となるので、マルチプロジェクションシステムにおけるメンテナンス効率を向上することができる。
【００４９】
図８〜図１２は、本発明に係るマルチプロジェクションシステムにおける幾何補正方法の一実施の形態を示すものである。
【００５０】
本実施の形態では、図８（ａ）に示すように前述した参考例と同様、特徴点が複数個並んだテストパターン画像を投射および撮像するとともに、図８（ｂ）に示すようなテストパターン画像よりも少ない特徴点数によるプレパターン画像も投射および撮像する。制御者７は、図８（ｃ）に示すようなプレパターン撮像画像中で、特徴点の概略位置を指定して検出範囲を設定する。この設定された検出範囲に基づいて、プレパターン画像の特徴点の正確な位置を検出することにより、それより細かく設定されたテストパターン画像の特徴点の概略位置を、プレパターンの特徴点の位置に基づいて推定する。これにより、図８（ｄ）に示されるように、テストパターン撮像画像中の特徴点の検出範囲が自動的に算出されることになる。
【００５１】
以上のように、特徴点の少ないプレパターン画像を撮像して制御者７により概略位置を設定し、それに基づいてテストパターン画像の特徴点の概略位置を推定することで、スクリーン形状が複雑で、テストパターン画像の特徴点数が著しく多い場合でも、制御者７による概略位置指定の作業を軽減することができる。
【００５２】
図９は、本実施の形態に係る幾何補正手段の構成を示すブロック図である。この幾何補正手段は、前述した参考例（図３参照）に比べ、特に、テストパターン画像作成手段１１および検出範囲設定手段１６の構成が異なるものである。
【００５３】
すなわち、テストパターン画像作成手段１１は、図８（ａ）に示したような参考例と同様なテストパターン画像を作成するテストパターン画像作成部３１と、図８（ｂ）に示したようなテストパターン画像に対して特徴点数を少なく間引いたプレパターン画像を作成するプレパターン画像作成部３２とで構成される。これらテストパターン画像作成部３１およびプレパターン画像作成部３２でそれぞれ作成されたテストパターン画像およびプレパターン画像は、画像投射手段１２に入力されてスクリーン２上に投射され、画像撮像手段１３により撮像される。
【００５４】
画像撮像手段１３で撮像されたテストパターン撮像画像は、幾何補正データ算出手段１７へ入力される。一方、画像撮像手段１３で撮像されたプレパターン撮像画像は、画像提示手段１４および検出範囲設定手段１６へ入力される。
【００５５】
制御者７は、画像提示手段１４により提示されたプレパターン撮像画像を参照しながら、プレパターンの特徴点の概略位置を特徴点位置情報入力手段１５により入力する。検出範囲設定手段１６は、特徴点位置情報入力手段１５により入力されたプレパターン撮像画像の特徴点概略位置と画像撮像手段１３により入力されたプレパターン撮像画像に基づいて、後述する方法により、特徴点数の多いテストパターン撮像画像の特徴点概略位置（検出範囲）を推定して幾何補正データ算出手段１７へ出力する。なお、幾何補正データ算出手段１７、コンテンツ表示範囲情報入力手段１９、コンテンツ表示範囲設定手段２０、画像分割／幾何補正手段１８については、前述した参考例と同等であるので説明を省略する。
【００５６】
次に、図１０を参照して本実施の形態における検出範囲設定手段１６の詳細構成について説明する。本実施の形態における検出範囲設定手段１６は、プレパターン特徴点検出範囲設定部４１、プレパターン撮像画像記憶部４２、プレパターン特徴点位置検出部４３、プロジェクタ画像−撮像画像座標変換式算出部４４およびテストパターン検出範囲設定部４５を有している。
【００５７】
プレパターン特徴点検出範囲設定部４１は、特徴点位置情報入力手段１５から入力されたプレパターン撮像画像中の特徴点の概略位置より、プレパターン撮像画像中の特徴点の検出範囲を設定する。プレパターン撮像画像記憶部４２は、画像撮像手段１３で撮像されたプレパターン撮像画像を記憶する。プレパターン特徴点位置検出部４３は、プレパターン撮像画像記憶部４２に記憶されたプレパターン撮像画像から、プレパターン特徴点検出範囲設定部４１で設定された各特徴点の検出範囲に基づいて特徴点の正確な位置を検出する。なお、このときの検出方法は、図４における幾何補正データ算出手段１７内の特徴点位置検出部２３と同様に行えばよい。
【００５８】
プロジェクタ画像−撮像画像座標変換式算出部４４は、プレパターン特徴点位置検出部４３で検出されたプレパターン撮像画像中の特徴点の位置と、予め与えられた元の（プロジェクタに入力する前の）プレパターン画像の特徴点の位置情報とに基づいて、プロジェクタ画像の座標およびデジタルカメラ３による撮像画像の座標間の座標変換式を近似式として算出する。最後に、テストパターン検出範囲設定部４５では、プロジェクタ画像−撮像画像座標変換式算出部４４において算出されたプロジェクタ画像−撮像画像間の座標変換式、および予め与えられた元の（プロジェクタに入力する前の）テストパターン画像の特徴点の位置情報に基づいて、テストパターン撮像画像における各特徴点の概略位置（検出範囲位置）を算出して、後段の幾何補正データ算出手段１７に出力する。
【００５９】
以下、プロジェクタ画像−撮像画像座標変換式算出部４４におけるプロジェクタ画像および撮像画像間の座標変換式（近似式）の導出方法の一例について説明する。なお、ここでは図１１（ａ）〜（ｃ）を参照しながら、プレパターン画像の特徴点数が横方向に７点、縦方向に４点ある場合について説明する。
【００６０】
先ず、プレパターン撮像画像における座標を（ｘＣ，ｙＣ）とし、前処理として下記の（１）式により撮像画像の座標系の回転を行う。
【００６１】
【数１】
【００６２】
ここで、回転角θは、図１１（ａ）に示すような特徴点の４辺のなす角の平均値であり、下記の（２）で与えられる。
【００６３】
【数２】
【００６４】
次に、上記回転された撮像画像座標系において、図１１（ｂ）に示されるような横方向および縦方向に特徴点の列をつなぎ合わせた曲線の式を２次曲線として、以下のように定義する。
【００６５】
【数３】
【００６６】
ここで、ｘ’Ｃ（ｉ，ｈ）およびｙ’Ｃ（ｉ，ｈ）は、それぞれ座標回転後の撮像画像における横方向ｉ番目、縦方向ｈ番目の特徴点のｘ座標およびｙ座標である。なお、各々肩についた数字は累乗を表す。また、（３）式におけるαｙ（ｈ），βｙ（ｈ），γｙ（ｈ）は、ｈ番目の横に長い２次曲線における多項式係数であり、（４）式におけるαｘ（ｉ），βｘ（ｉ），γｘ（ｉ）は、ｉ番目の縦に長い２次曲線における多項式係数である。
【００６７】
次に、（３）式および（４）式に基づいて、プレパターン撮像画像中で検出された各特徴点の座標を用いて、横に長い２次曲線４本（ｈ＝１〜４）、縦に長い２次曲線７本（ｉ＝１〜７）の多項式係数αｙ（ｈ），βｙ（ｈ），γｙ（ｈ）、およびαｘ（ｉ），βｘ（ｉ），γｘ（ｉ）を導出する。この際、例えばｈ＝１の曲線の多項式係数αｙ（１），βｙ（１），γｙ（１）を求める場合には、図１１（ｂ）においてｈ＝１の曲線上に並んだ７点の特徴点の座標ｘ’Ｃ（ｉ，１），ｙ’Ｃ（ｉ，１），（ｉ＝１〜７）を（３）式に代入し、最小二乗法等により算出すればよい。
【００６８】
次に、上記多項式係数とプロジェクタ画像の座標系との対応関係を導出する。ここで、図１１（ｃ）に示されるように、特徴点はプロジェクタ画像において格子状に並んでいるものとし、プロジェクタ画像（元のプレパターン画像）の座標系におけるｉ列目の特徴点におけるｘ座標をｘＰ（ｉ）、ｈ行目の特徴点におけるｙ座標をｙＰ（ｈ）としたとき、各々の座標に対する上記多項式係数の対応関係を、以下のように３次多項式として定義する。
【００６９】
【数４】
【００７０】
なお、（５）式および（６）式において、各々肩についた数字は累乗を表す。ここで、ｋ１〜ｋ１２およびｊ１〜ｊ１２は、３次多項式における係数で、これら係数は、上記プロジェクタ画像における各特徴点のｘ座標ｘＰ（ｉ）およびｙ座標ｙＰ（ｈ）が予め与えられていて既知であるので、先に導出した各特徴点における２次曲線の係数αｙ（ｈ），βｙ（ｈ），γｙ（ｈ），αｘ（ｉ），βｘ（ｉ），γｘ（ｉ）を用いて最小二乗法等により導出することができる。
【００７１】
以上のようにして導出された係数ｋ１〜ｋ１２およびｊ１〜ｊ１２を用いて、プロジェクタ画像における特徴点の位置以外の任意の座標（ｘＰ，ｙＰ）に対する撮像画像の座標（ｘＣ，ｙＣ）への変換式を、以下のような複数の式により表すことができる。
【００７２】
【数５】
【００７３】
上記の変換式を用いて、テストパターン画像（プロジェクタ画像）において予め決められた多数の特徴点の座標位置より、テストパターン画像を撮像したときのテストパターン撮像画像における特徴点の座標を近似的に求め、この近似的に求めた座標位置をテストパターン撮像画像における特徴点の概略位置（検出範囲位置）として設定して、後段の幾何補正データ算出手段１７へ出力する。
【００７４】
以上説明した本実施の形態に係る幾何補正方法の概略手順およびコンテンツ表示範囲の設定手順については、図５および図７に示した参考例の場合と同様であり、プレパターン画像の作成からテストパターン撮像画像の検出範囲設定までの処理手順については、図１２のステップＳ３１〜Ｓ３８に示す通りであるが、その概要は上記の説明と重複するので、ここでは説明を省略する。
【００７５】
本実施の形態によれば、特徴点の少ないプレパターン画像を撮像して、制御者７により概略位置を設定し、それに基づいてテストパターン画像の特徴点の概略位置を推定するようにしたので、スクリーン形状が複雑でテストパターン画像の特徴点数が著しく多い場合でも、制御者７による概略位置指定の作業を軽減することができる。
【００７６】
なお、本発明は、上記実施の形態に限定されるものではなく、幾多の変形または変更が可能である。例えば、スクリーン２はドーム状のものに限らず、例えば図１３に示すようなアーチ型スクリーン２や、図１４に示すような平面リア型スクリーン２を用いた場合でも同様に適用可能である。なお、図１３および図１４は、３つのプロジェクタ１Ａ，１Ｂ，１Ｃを用いる場合を示している。
【図面の簡単な説明】
【００７７】
【図１】本発明とともに開発した幾何補正方法の参考例を実施するマルチプロジェクションシステムの全体構成を示す図である。
【図２】図１の参考例においてプロジェクタに入力するテストパターン画像とデジタルカメラにより撮像されたテストパターン撮像画像との一例を示す図である。
【図３】同じく、参考例における幾何補正手段の構成を示すブロック図である。
【図４】図３に示す幾何補正データ算出手段の構成を示すブロック図である。
【図５】参考例の幾何補正方法による処理手順を示すフローチャートである。
【図６】図５のステップＳ２における検出範囲の設定処理の詳細を説明するための図である。
【図７】図５のステップＳ７におけるコンテンツ表示範囲の設定処理の詳細を説明するための図である。
【図８】本発明に係るマルチプロジェクションシステムにおける幾何補正方法の一実施の形態を説明するための図である。
【図９】本実施の形態における幾何補正手段の構成を示すブロック図である。
【図１０】図９に示す検出範囲設定手段の構成を示すブロック図である。
【図１１】図１０に示すプロジェクタ画像−撮像画像座標変換式算出部における座標変換式の算出方法を説明するための図である。
【図１２】本実施の形態の幾何補正方法による特徴点の概略位置（検出範囲）設定処理手順を示すフローチャートである。
【図１３】本発明の一変形例を説明するための図である。
【図１４】同じく、本発明の他の変形例を説明するための図である。
【符号の説明】
【００７８】
１，１Ａ，１Ｂ，１Ｃ プロジェクタ
２ スクリーン
３ デジタルカメラ
４ パーソナルコンピュータ（ＰＣ）
５ モニタ
６ 画像分割／幾何補正装置
７ 制御者
１１ テストパターン画像作成手段
１２ 画像投射手段
１３ 画像撮像手段
１４ 画像提示手段
１５ 特徴点位置情報入力手段
１６ 検出範囲設定手段
１７ 幾何補正データ算出手段
１８ 画像分割／幾何補正手段
１９ コンテンツ表示範囲情報入力手段
２０ コンテンツ表示範囲設定手段
２１ テストパターン撮像画像記憶部
２２ テストパターン特徴点検出範囲記憶部
２３ 特徴点位置検出部
２４ プロジェクタ画像−撮像画像座標変換データ作成部
２５ コンテンツ画像−プロジェクタ画像座標変換データ作成部
２６ コンテンツ画像−撮像画像座標変換データ作成部
２７ コンテンツ画像表示範囲記憶部
３１ テストパターン画像作成部
３２ プレパターン画像作成部
４１ プレパターン特徴点検出範囲設定部
４２ プレパターン撮像画像記憶部
４３ プレパターン特徴点位置検出部
４４ プロジェクタ画像−撮像画像座標変換式算出部
４５ テストパターン検出範囲設定部
【技術分野】
【０００１】
本発明は、複数台のプロジェクタを用いてスクリーン上に画像を重ねて投射するマルチプロジェクションシステムにおいて、各プロジェクタ間の位置ずれや歪みをカメラにより検出して自動的に補正するマルチプロジェクションシステムにおける幾何補正方法に関するものである。
【背景技術】
【０００２】
近年、博物館や展示会等におけるショールーム用ディスプレイ、シアター、或いは車や建築物、都市景観等のシミュレーションに用いるＶＲシステム等においては、大画面・高精細のディスプレイを構築するために、複数台のプロジェクタによりスクリーン上に画像を貼り合わせて表示するマルチプロジェクションシステムが広く適用されている。
【０００３】
このようなマルチプロジェクションシステムにおいては、個々のプロジェクタによる画像の位置ずれや色ずれを調整してスクリーン上にきれいに貼り合わせることが重要であり、その方法として、従来、プロジェクタの投射位置を算出して、各プロジェクタから投射された複数の映像をスクリーン上で一枚の映像にするための画像補正データを算出する方法が提案されている（例えば、特許文献１参照）。
【０００４】
特許文献１に開示の従来の画像補正データ算出方法では、プロジェクタからスクリーン上にテストパターン画像を表示し、そのテストパターン画像をデジタルカメラで撮像して、撮像した画像からプロジェクタの投射位置を算出している。すなわち、テストパターン撮像画像中の複数の特徴点をパターンマッチング等の手法を採用して検出し、その検出した特徴点の位置に基づいて投射位置のパラメータを算出して、プロジェクタの投射位置を補正させるための画像補正データを算出している。
【０００５】
しかし、かかる画像補正データ算出方法にあっては、スクリーン形状が複雑であったり、また、プロジェクタの配置が複雑で投射画像の向きが著しく回転していたりすると、撮像画像において検出された各特徴点が、元のテストパターン画像において複数ある特徴点のうちの一体どの特徴点に対応するか見分けがつかなくなってしまうことがある。
【０００６】
このような問題を回避する方法として、各特徴点を一つずつ表示して撮像することで、特徴点一個ごとを正確に検出したり、プロジェクタやカメラの配置およびスクリーン形状に応じて予め特徴点毎に大まかな検出範囲を設定しておき、各々の検出範囲に従って各特徴点を順番に対応つけて検出したりする方法が提案されている（例えば、特許文献２参照）。
【特許文献１】特開平９−３２６９８１号公報
【特許文献２】特開２００３−２１９３２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２に開示の方法にあっては、特徴点を一点毎に単独で投射して撮像する場合には、撮像時間が膨大になり、また、検出範囲を予め設定する場合には、カメラの配置が予め設定された位置から少しでもずれると、再び検出範囲を設定し直す必要がある。このため、特に、スクリーン形状がドームやアーチ状の場合には、投射画像の複雑な歪みを正確に補正するために、テストパターン画像として特徴点を多数設ける必要があることから、特徴点数の増大による撮像時間の増大、若しくは検出範囲の再設定にかかる時間の増大がより深刻となり、メンテナンスの効率低下が懸念されている。
【０００８】
したがって、かかる事情に鑑みてなされた本発明の目的は、複雑な形状のスクリーンや、複雑に配置されたプロジェクタで構成されたマルチプロジェクションシステムにおいても、短時間で簡単かつ正確に幾何補正でき、メンテナンスの効率を大幅に向上できるマルチプロジェクションシステムにおける幾何補正方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成する請求項１に係るマルチプロジェクションシステムにおける幾何補正方法の発明は、
複数台のプロジェクタから投射される画像を貼り合せてスクリーン上に一枚のコンテンツ画像を表示するマルチプロジェクションシステムにおいて、上記各プロジェクタの画像の位置合わせを行うための幾何補正データを算出するにあたり、
上記各プロジェクタから複数個の特徴点からなるプレパターン画像を上記スクリーン上に投射させるプレ投射ステップと、
上記プレ投射ステップで上記スクリーン上に投射された上記プレパターン画像を撮像手段により撮像してプレパターン撮像画像として取り込むプレ取込ステップと、
上記プレ取込ステップで取り込まれた上記プレパターン撮像画像の特徴点の位置を検出するプレ検出ステップと、
上記各プロジェクタから上記プレパターン画像よりも多い特徴点からなるテストパターン画像を上記スクリーン上に投射させる投射ステップと、
上記投射ステップで上記スクリーン上に投射された上記テストパターン画像を上記撮像手段により撮像してテストパターン撮像画像として取り込む取込ステップと、
上記プレ検出ステップで検出された上記プレパターン撮像画像中の特徴点の位置に基づいて上記取込ステップで取り込まれた上記テストパターン撮像画像中の特徴点の位置を検出する検出ステップと、
上記検出ステップで検出された上記テストパターン撮像画像中の特徴点の位置と、予め与えられている上記テストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像と上記テストパターン撮像画像との座標位置関係とに基づいて、上記各プロジェクタによる画像の位置合わせを行う画像補正データを算出する演算ステップと、
を含むことを特徴とするものである。
【００１０】
請求項２に係る発明は、請求項１に記載のマルチプロジェクションシステムにおける幾何補正方法において、
上記プレ検出ステップは、
上記プレ取込ステップで取り込まれた上記プレパターン撮像画像をモニタ上に提示する提示ステップと、
上記提示ステップで提示された上記プレパターン撮像画像を参照しながら上記プレパターン画像中の各特徴点の概略位置を指定して入力する入力ステップとを有し、
上記入力ステップで入力された上記プレパターン画像中の各特徴点の概略位置に基づいて正確な位置を検出することを特徴とするものである。
【００１１】
請求項３に係る発明は、請求項１または２に記載のマルチプロジェクションシステムにおける幾何補正方法において、
上記検出ステップは、
上記プレ検出ステップで検出された上記プレパターン撮像画像の特徴点の位置に基づいて導出された２次以上の多項式を用いて上記テストパターン撮像画像中の各特徴点の概略位置を算出し、さらに上記算出された概略位置から上記テストパターン撮像画像中の各特徴点の正確な位置を検出することを特徴とするものである。
【００１２】
請求項４に係る発明は、請求項１または２に記載のマルチプロジェクションシステムにおける幾何補正方法において、
上記検出ステップは、
上記プレ検出ステップで検出された上記プレパターン撮像画像の特徴点の位置に基づいて導出された２次以上の多項式および座標回転演算を用いて上記テストパターン撮像画像中の各特徴点の概略位置を算出し、さらに上記算出された概略位置から上記テストパターン撮像画像中の各特徴点の正確な位置を検出することを特徴とするものである。
【発明の効果】
【００１３】
本発明によれば、マルチプロジェクションシステムの位置合わせにおける初期設定である特徴点の検出範囲の設定を、ユーザによるある程度手軽な操作で設定することが可能となり、これにより複雑な形状のスクリーンを用いる場合でも、またプロジェクタや撮像手段の配置が頻繁に変わっても、簡単かつ短時間で正確に幾何補正することができ、マルチプロジェクションシステムにおけるメンテナンスの効率を大幅に向上することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００１５】
図１〜図７は、本発明とともに開発したマルチプロジェクションシステムにおける幾何補正方法の参考例を示すものである。
【００１６】
このマルチプロジェクションシステムは、図１に全体構成を示すように、複数のプロジェクタ（ここでは、プロジェクタ１Ａおよびプロジェクタ１Ｂ）、ドーム状のスクリーン２、デジタルカメラ３、パーソナルコンピュータ（ＰＣ）４、モニタ５、画像分割／幾何補正装置６を有しており、プロジェクタ１Ａおよびプロジェクタ１Ｂによりスクリーン２へ画像の投射を行い、投射される画像を貼り合わせてスクリーン２上に一枚の大きな画像を表示するものである。
【００１７】
このようなマルチプロジェクションシステムにおいて、プロジェクタ１Ａおよびプロジェクタ１Ｂから単に画像を投射しただけでは、投射された各々の画像は、個々のプロジェクタの色特性や投射位置のずれ、歪みにより、きれいに貼り合わされない。
【００１８】
そこで本参考例では、まず、プロジェクタ１Ａおよびプロジェクタ１Ｂに、ＰＣ４から送信されたテストパターン画像信号を入力（画像分割／幾何補正は行わない）して、スクリーン２上に投射されたテストパターン画像をデジタルカメラ３により撮像してテストパターン撮像画像を取得する。この際、スクリーン２に投射するテストパターン画像としては、図２（ａ）に示すように、画面上に規則的に特徴点（マーカ）が並んだ画像とする。
【００１９】
デジタルカメラ３により取得されたテストパターン撮像画像は、ＰＣ４に送られ、各プロジェクタの位置合わせを行う幾何補正データを算出するために使用される。この際、テストパターン撮像画像は、ＰＣ４に付随したモニタ５により画像表示されて、制御者７に提示される。
【００２０】
次に、制御者７は、提示された画像を参照しながら、ＰＣ４によりテストパターン画像中の特徴点の概略位置を指定する。特徴点の概略位置が指定されると、ＰＣ４において、まず、指定された概略位置に基づいて、図２（ｂ）に示すような各特徴点の検出範囲が設定され、その設定された検出範囲に基づいて正確な特徴点位置が検出される。その後、検出された特徴点位置に基づいて各プロジェクタの位置合わせを行うための幾何補正データが算出され、その算出された幾何補正データが画像分割／幾何補正装置６に送られる。
【００２１】
また、画像分割／幾何補正装置６では、別途ＰＣ４より送信されたコンテンツ画像の分割および幾何補正を上記幾何補正データに基づいて実行して、プロジェクタ１Ａおよびプロジェクタ１Ｂへ出力する。これにより、スクリーン２上には、複数台（ここでは、２台）のプロジェクタ１Ａ，１Ｂにより、つなぎ目のないきれいに貼りあわされた一枚のコンテンツ画像を表示することができる。
【００２２】
次に、図３を参照して、本参考例に係る幾何補正手段の構成について説明する。
【００２３】
本参考例における幾何補正手段は、テストパターン画像作成手段１１、画像投射手段１２、画像撮像手段１３、画像提示手段１４、特徴点位置情報入力手段１５、検出範囲設定手段１６、幾何補正データ算出手段１７、画像分割／幾何補正手段１８、コンテンツ表示範囲情報入力手段１９、コンテンツ表示範囲設定手段２０により構成される。
【００２４】
ここで、テストパターン画像作成手段１１、特徴点位置情報入力手段１５、検出範囲設定手段１６、コンテンツ表示範囲情報入力手段１９およびコンテンツ表示範囲設定手段２０はＰＣ４で構成され、画像投射手段１２はプロジェクタ１Ａおよびプロジェクタ１Ｂで構成され、画像撮像手段１３はデジタルカメラ３で構成され、画像提示手段１４はモニタ５で構成され、幾何補正データ算出手段１７および画像分割／幾何補正手段１８は画像分割／幾何補正装置６で構成される。
【００２５】
テストパターン画像作成手段１１は、図２（ａ）に示したような複数の特徴点からなるテストパターン画像を作成し、画像投射手段１２は、テストパターン画像作成手段１１により作成されたテストパターン画像を入力してスクリーン２に投射する。なお、画像投射手段１２は、後述する一連の幾何補正のための演算を行った後は、画像分割／幾何補正装置６より出力された分割および幾何補正処理されたコンテンツ画像を入力して、スクリーン２への投射を行う。
【００２６】
画像撮像手段１３は、画像投射手段１２によりスクリーン２上に投射されたテストパターン画像を撮像し、画像提示手段１４は、画像撮像手段１３により撮像されたテストパターン撮像画像を表示して制御者７へテストパターン撮像画像の提示を行う。
【００２７】
特徴点位置情報入力手段１５は、制御者７により画像提示手段１４に提示されたテストパターン撮像画像を参照しながら指定されたテストパターン撮像画像中の特徴点の概略位置を入力し、検出範囲設定手段１６は、特徴点位置情報入力手段１５から入力された概略位置に基づいてテストパターン撮像画像中の各特徴点の検出範囲を設定する。
【００２８】
コンテンツ表示範囲情報入力手段１９は、制御者７により画像提示手段１４に別途提示されたスクリーン２全体の撮像画像を参照しながら指定されるコンテンツの表示範囲に関する情報を入力し、コンテンツ表示範囲設定手段２０は、コンテンツ表示範囲情報入力手段１９からのコンテンツの表示範囲に関する情報を入力して、撮像画像に対するコンテンツ表示範囲を設定し、その設定したコンテンツ表示範囲情報を幾何補正データ算出手段１７へ出力する。
【００２９】
幾何補正データ算出手段１７は、画像撮像手段１３により撮像されたテストパターン撮像画像および検出範囲設定手段１６により設定されたテストパターン撮像画像の各特徴点の検出範囲に基づいて、テストパターン撮像画像における各特徴点の正確な位置を検出すると共に、検出された各特徴点の正確な位置およびコンテンツ表示範囲設定手段２０により設定されたコンテンツ表示範囲情報に基づいて幾何補正データを算出して、画像分割／幾何補正手段１８へ送信する。
【００３０】
画像分割／幾何補正手段１８は、幾何補正データ算出手段１７により入力された幾何補正データに基づいて、外部より入力されたコンテンツ画像の分割および幾何補正処理を行い、画像投射手段１２へ出力する。
【００３１】
以上のようにして、外部から入力されたコンテンツ画像は、各プロジェクタの表示範囲に対応して正確な画像分割および幾何補正が行われ、スクリーン２上にきれいに貼り合わせされて一枚の画像として表示されることになる。
【００３２】
次に、図４を参照しながら前述した幾何補正データ算出手段１７の詳細ブロック構成について説明する。
【００３３】
幾何補正データ算出手段１７は、画像撮像手段１３により撮像されたテストパターン撮像画像を入力して記憶するテストパターン撮像画像記憶部２１と、検出範囲設定手段１６により設定されたテストパターン撮像画像の各特徴点の検出範囲を入力して記憶するテストパターン特徴点検出範囲記憶部２２と、特徴点位置検出部２３と、プロジェクタ画像−撮像画像座標変換データ作成部２４と、コンテンツ画像−プロジェクタ画像座標変換データ作成部２５と、コンテンツ画像−撮像画像座標変換データ作成部２６と、コンテンツ表示範囲設定手段２０により設定されたコンテンツ表示範囲情報を入力して記憶するコンテンツ画像表示範囲記憶部２７とを有している。
【００３４】
特徴点位置検出部２３は、テストパターン撮像画像記憶部２１に記憶されたテストパターン撮像画像中から、テストパターン特徴点検出範囲記憶部２２に記憶された各特徴点の検出範囲に基づいて各特徴点の正確な位置を検出する。その具体的な検出方法については、上記の特許文献２に開示されているように、各々の特徴点の正確な中心位置（重心位置）を、対応する検出範囲内での画像の最大相関値として検出する方法が適用可能である。
【００３５】
プロジェクタ画像−撮像画像座標変換データ作成部２４は、特徴点位置検出部２３により検出されたテストパターン撮像画像中の各特徴点の位置と、予め与えられた元の（プロジェクタに入力する前の）テストパターン画像の特徴点の位置情報とに基づいて、プロジェクタ画像の座標およびデジタルカメラ３によるテストパターン撮像画像の座標間の座標変換データを作成する。ここで、座標変換データは、プロジェクタ画像の画素毎に、対応するプロジェクタ撮像画像の座標を埋め込んだルックアップテーブル（ＬＵＴ）として作成してもよいし、両者の座標変換式を２次元高次多項式として作成してもよい。なお、ＬＵＴとして作成する場合には、特徴点が設けられた画素位置以外の座標については、隣接する複数の各特徴点の座標位置関係に基づいて線形補間またはスプライン補間等で導出すればよい。また、２次元高次多項式として作成する場合には、複数個の特徴点位置における座標関係から、最小二乗法もしくはニュートン法、最急降下法等を用いて多項式近似を行うとよい。
【００３６】
コンテンツ画像−撮像画像座標変換データ作成部２６は、コンテンツ画像表示範囲記憶部２７に記憶されたコンテンツ表示範囲情報に基づいて、コンテンツ画像の座標とスクリーン全体の撮像画像の座標間の座標変換データを作成する。この際、コンテンツ表示範囲情報として、例えば後述するような撮像画像上におけるコンテンツ表示範囲の４角の座標情報が適用される場合には、コンテンツ画像−撮像画像座標変換データ作成部２６では上記４角の座標対応関係に基づいて、４角内部の補間演算もしくは多項式近似により全てのコンテンツ画像の座標に対するスクリーン撮像画像の座標の変換テーブルもしくは変換式が与えられることになる。
【００３７】
最後に、コンテンツ画像−プロジェクタ画像座標変換データ作成部２５は、以上のように作成されたプロジェクタ画像−撮像画像座標変換データおよびコンテンツ画像−撮像画像座標変換データを用いて、コンテンツ画像からプロジェクタ画像への座標変換テーブルもしくは座標変換式を作成し、それを幾何補正データとして画像分割／幾何補正手段１８へ出力する。
【００３８】
図５は、以上説明した本参考例に係る幾何補正方法の処理手順を示すフローチャートで、ステップＳ１〜ステップＳ１０からなるが、その概要は上記の説明と重複するので、ここではステップＳ２の検出範囲の設定処理およびステップＳ７のコンテンツ表示範囲の設定処理について詳細に説明し、その他の処理については説明を省略する。
【００３９】
先ず、図６（ａ）および図６（ｂ）を参照して、図５のステップＳ２における検出範囲の設定処理の詳細について説明する。
【００４０】
ここでは、まず、画像撮像手段１３（デジタルカメラ３）で撮像されたテストパターン撮像画像を画像提示手段１４（ＰＣ４上のモニタ５）に表示する（ステップＳ１１）。次に、制御者７が画像提示手段１４に表示されたテストパターン撮像画像中において、図６（ｂ）に示されるような特徴点の４角の位置を、ＰＣ４のウィンドウ上でマウス等により指定する（ステップＳ１２）。この際、４角の位置の指定順番は、例えば左上−右上−右下−左下のように、予め決められた順番で指定を行う。
【００４１】
４角全ての指定が終わったら、指定された４角の位置に基づいてテストパターン撮像画像中の全ての特徴点に対する検出範囲を設定し、画像提示手段１４（モニタ５）に表示する（ステップＳ１３）。この際、４角以外の特徴点に関しては、４角の指定位置と特徴点のＸ方向およびＹ方向の数に基づいて等間隔に配置して設定すればよい。
【００４２】
最後に、必要に応じて、例えば検出範囲が特徴点から外れてしまっている場合には、表示された検出範囲を制御者７によりマウス等でドラッグして位置の微調整を行い（ステップＳ１４）、全ての検出範囲の調整後、検出範囲位置を設定して処理を終了する。
【００４３】
なお、図６（ａ）に示した検出範囲の設定処理では、特徴点の４角を指定してその内部の検出範囲を等間隔に設定しているが、これに限らず、例えば特徴点４角だけでなくその中間点も含めた４点以上の外郭の点を指定してもよいし、極端に言えば特徴点全ての位置（概略位置）を指定してもよい。指定する点の数が多いほど、制御者７の最初の指定作業が困難になるが、その分、その後の検出範囲を等間隔に設定したときに特徴点からはずれる可能性が低くなり、微調整が不要になる可能性がある。また、４点以上の指定を行った場合には、検出範囲の設定を等間隔でなく、多項式近似により中間の検出範囲の位置を算出して設定すれば、スクリーン２が曲面の場合など、撮像された特徴点の位置がある程度歪んでいても精度よく検出範囲を設定できる可能性がある。
【００４４】
次に、図７（ａ）および図７（ｂ）を参照して、図５のステップＳ７におけるコンテンツ表示範囲の設定処理の詳細について説明する。
【００４５】
ここでは、まず、画像撮像手段１３（デジタルカメラ３）により撮像されたスクリーン全体の画像を画像提示手段１４（ＰＣ４上のモニタ５）に表示する。この際、画像撮像手段１３（デジタルカメラ３）により撮像される画像には、カメラレンズによる画像歪みが発生するため、ここでは予め設定されたレンズ歪み補正係数により撮像画像の歪補正を行った上でモニタ５に表示する（ステップＳ２１）。
【００４６】
次に、制御者７がモニタ表示された歪補正済みのスクリーン撮像画像中において、図６（ｂ）に示したように、所望のコンテンツ画像表示範囲を矩形４角の点としてマウス等により指定する（ステップＳ２２）。その後、指定された４角の点によりコンテンツ表示範囲を矩形表示しながら、必要に応じて、制御者７により４角の点の微調整をマウス等のドラッグ操作により行う（ステップＳ２３）。微調整が終わったら、撮像画像中の４角の座標位置をコンテンツ表示範囲情報として設定して処理を終了する。
【００４７】
なお、ステップＳ２１で用いる歪み補正係数は、例えば画像中心からの距離の３乗に比例した係数を用いてもよいし、より精度を高めるために、高次多項式による複数の係数を用いてもよい。また、図７（ｂ）に示されるように、モニタ表示中のスクリーン撮像画像を見ながら、スクリーン２の画像の歪みがなくなるまで制御者７が繰り返し手入力により歪み補正係数を入力して設定してもよい。このような歪補正を正確に行わないと、撮像画像中でコンテンツ表示範囲を矩形で選択しても、実際のスクリーン２上では矩形に表示されなくなってしまうため、できるだけ正確な歪み補正を行うことが望ましい。
【００４８】
以上説明した本参考例によれば、制御者７によりモニタ５を見ながら簡便に幾何補正のための特徴点の検出範囲を設定することが可能となり、マルチプロジェクションシステムにおいてスクリーン２、プロジェクタ１Ａ，１Ｂおよびデジタルカメラ３の配置が頻繁に変わっても、短時間で正確かつ確実にプロジェクタ１Ａ，１Ｂによる表示画像の位置合わせを行うことができる。また、スクリーン全体に対してコンテンツをどの範囲で表示するかということも、モニタ５を見ながら制御者７により自由に、しかも簡便に設定することが可能となるので、マルチプロジェクションシステムにおけるメンテナンス効率を向上することができる。
【００４９】
図８〜図１２は、本発明に係るマルチプロジェクションシステムにおける幾何補正方法の一実施の形態を示すものである。
【００５０】
本実施の形態では、図８（ａ）に示すように前述した参考例と同様、特徴点が複数個並んだテストパターン画像を投射および撮像するとともに、図８（ｂ）に示すようなテストパターン画像よりも少ない特徴点数によるプレパターン画像も投射および撮像する。制御者７は、図８（ｃ）に示すようなプレパターン撮像画像中で、特徴点の概略位置を指定して検出範囲を設定する。この設定された検出範囲に基づいて、プレパターン画像の特徴点の正確な位置を検出することにより、それより細かく設定されたテストパターン画像の特徴点の概略位置を、プレパターンの特徴点の位置に基づいて推定する。これにより、図８（ｄ）に示されるように、テストパターン撮像画像中の特徴点の検出範囲が自動的に算出されることになる。
【００５１】
以上のように、特徴点の少ないプレパターン画像を撮像して制御者７により概略位置を設定し、それに基づいてテストパターン画像の特徴点の概略位置を推定することで、スクリーン形状が複雑で、テストパターン画像の特徴点数が著しく多い場合でも、制御者７による概略位置指定の作業を軽減することができる。
【００５２】
図９は、本実施の形態に係る幾何補正手段の構成を示すブロック図である。この幾何補正手段は、前述した参考例（図３参照）に比べ、特に、テストパターン画像作成手段１１および検出範囲設定手段１６の構成が異なるものである。
【００５３】
すなわち、テストパターン画像作成手段１１は、図８（ａ）に示したような参考例と同様なテストパターン画像を作成するテストパターン画像作成部３１と、図８（ｂ）に示したようなテストパターン画像に対して特徴点数を少なく間引いたプレパターン画像を作成するプレパターン画像作成部３２とで構成される。これらテストパターン画像作成部３１およびプレパターン画像作成部３２でそれぞれ作成されたテストパターン画像およびプレパターン画像は、画像投射手段１２に入力されてスクリーン２上に投射され、画像撮像手段１３により撮像される。
【００５４】
画像撮像手段１３で撮像されたテストパターン撮像画像は、幾何補正データ算出手段１７へ入力される。一方、画像撮像手段１３で撮像されたプレパターン撮像画像は、画像提示手段１４および検出範囲設定手段１６へ入力される。
【００５５】
制御者７は、画像提示手段１４により提示されたプレパターン撮像画像を参照しながら、プレパターンの特徴点の概略位置を特徴点位置情報入力手段１５により入力する。検出範囲設定手段１６は、特徴点位置情報入力手段１５により入力されたプレパターン撮像画像の特徴点概略位置と画像撮像手段１３により入力されたプレパターン撮像画像に基づいて、後述する方法により、特徴点数の多いテストパターン撮像画像の特徴点概略位置（検出範囲）を推定して幾何補正データ算出手段１７へ出力する。なお、幾何補正データ算出手段１７、コンテンツ表示範囲情報入力手段１９、コンテンツ表示範囲設定手段２０、画像分割／幾何補正手段１８については、前述した参考例と同等であるので説明を省略する。
【００５６】
次に、図１０を参照して本実施の形態における検出範囲設定手段１６の詳細構成について説明する。本実施の形態における検出範囲設定手段１６は、プレパターン特徴点検出範囲設定部４１、プレパターン撮像画像記憶部４２、プレパターン特徴点位置検出部４３、プロジェクタ画像−撮像画像座標変換式算出部４４およびテストパターン検出範囲設定部４５を有している。
【００５７】
プレパターン特徴点検出範囲設定部４１は、特徴点位置情報入力手段１５から入力されたプレパターン撮像画像中の特徴点の概略位置より、プレパターン撮像画像中の特徴点の検出範囲を設定する。プレパターン撮像画像記憶部４２は、画像撮像手段１３で撮像されたプレパターン撮像画像を記憶する。プレパターン特徴点位置検出部４３は、プレパターン撮像画像記憶部４２に記憶されたプレパターン撮像画像から、プレパターン特徴点検出範囲設定部４１で設定された各特徴点の検出範囲に基づいて特徴点の正確な位置を検出する。なお、このときの検出方法は、図４における幾何補正データ算出手段１７内の特徴点位置検出部２３と同様に行えばよい。
【００５８】
プロジェクタ画像−撮像画像座標変換式算出部４４は、プレパターン特徴点位置検出部４３で検出されたプレパターン撮像画像中の特徴点の位置と、予め与えられた元の（プロジェクタに入力する前の）プレパターン画像の特徴点の位置情報とに基づいて、プロジェクタ画像の座標およびデジタルカメラ３による撮像画像の座標間の座標変換式を近似式として算出する。最後に、テストパターン検出範囲設定部４５では、プロジェクタ画像−撮像画像座標変換式算出部４４において算出されたプロジェクタ画像−撮像画像間の座標変換式、および予め与えられた元の（プロジェクタに入力する前の）テストパターン画像の特徴点の位置情報に基づいて、テストパターン撮像画像における各特徴点の概略位置（検出範囲位置）を算出して、後段の幾何補正データ算出手段１７に出力する。
【００５９】
以下、プロジェクタ画像−撮像画像座標変換式算出部４４におけるプロジェクタ画像および撮像画像間の座標変換式（近似式）の導出方法の一例について説明する。なお、ここでは図１１（ａ）〜（ｃ）を参照しながら、プレパターン画像の特徴点数が横方向に７点、縦方向に４点ある場合について説明する。
【００６０】
先ず、プレパターン撮像画像における座標を（ｘＣ，ｙＣ）とし、前処理として下記の（１）式により撮像画像の座標系の回転を行う。
【００６１】
【数１】
【００６２】
ここで、回転角θは、図１１（ａ）に示すような特徴点の４辺のなす角の平均値であり、下記の（２）で与えられる。
【００６３】
【数２】
【００６４】
次に、上記回転された撮像画像座標系において、図１１（ｂ）に示されるような横方向および縦方向に特徴点の列をつなぎ合わせた曲線の式を２次曲線として、以下のように定義する。
【００６５】
【数３】
【００６６】
ここで、ｘ’Ｃ（ｉ，ｈ）およびｙ’Ｃ（ｉ，ｈ）は、それぞれ座標回転後の撮像画像における横方向ｉ番目、縦方向ｈ番目の特徴点のｘ座標およびｙ座標である。なお、各々肩についた数字は累乗を表す。また、（３）式におけるαｙ（ｈ），βｙ（ｈ），γｙ（ｈ）は、ｈ番目の横に長い２次曲線における多項式係数であり、（４）式におけるαｘ（ｉ），βｘ（ｉ），γｘ（ｉ）は、ｉ番目の縦に長い２次曲線における多項式係数である。
【００６７】
次に、（３）式および（４）式に基づいて、プレパターン撮像画像中で検出された各特徴点の座標を用いて、横に長い２次曲線４本（ｈ＝１〜４）、縦に長い２次曲線７本（ｉ＝１〜７）の多項式係数αｙ（ｈ），βｙ（ｈ），γｙ（ｈ）、およびαｘ（ｉ），βｘ（ｉ），γｘ（ｉ）を導出する。この際、例えばｈ＝１の曲線の多項式係数αｙ（１），βｙ（１），γｙ（１）を求める場合には、図１１（ｂ）においてｈ＝１の曲線上に並んだ７点の特徴点の座標ｘ’Ｃ（ｉ，１），ｙ’Ｃ（ｉ，１），（ｉ＝１〜７）を（３）式に代入し、最小二乗法等により算出すればよい。
【００６８】
次に、上記多項式係数とプロジェクタ画像の座標系との対応関係を導出する。ここで、図１１（ｃ）に示されるように、特徴点はプロジェクタ画像において格子状に並んでいるものとし、プロジェクタ画像（元のプレパターン画像）の座標系におけるｉ列目の特徴点におけるｘ座標をｘＰ（ｉ）、ｈ行目の特徴点におけるｙ座標をｙＰ（ｈ）としたとき、各々の座標に対する上記多項式係数の対応関係を、以下のように３次多項式として定義する。
【００６９】
【数４】
【００７０】
なお、（５）式および（６）式において、各々肩についた数字は累乗を表す。ここで、ｋ１〜ｋ１２およびｊ１〜ｊ１２は、３次多項式における係数で、これら係数は、上記プロジェクタ画像における各特徴点のｘ座標ｘＰ（ｉ）およびｙ座標ｙＰ（ｈ）が予め与えられていて既知であるので、先に導出した各特徴点における２次曲線の係数αｙ（ｈ），βｙ（ｈ），γｙ（ｈ），αｘ（ｉ），βｘ（ｉ），γｘ（ｉ）を用いて最小二乗法等により導出することができる。
【００７１】
以上のようにして導出された係数ｋ１〜ｋ１２およびｊ１〜ｊ１２を用いて、プロジェクタ画像における特徴点の位置以外の任意の座標（ｘＰ，ｙＰ）に対する撮像画像の座標（ｘＣ，ｙＣ）への変換式を、以下のような複数の式により表すことができる。
【００７２】
【数５】
【００７３】
上記の変換式を用いて、テストパターン画像（プロジェクタ画像）において予め決められた多数の特徴点の座標位置より、テストパターン画像を撮像したときのテストパターン撮像画像における特徴点の座標を近似的に求め、この近似的に求めた座標位置をテストパターン撮像画像における特徴点の概略位置（検出範囲位置）として設定して、後段の幾何補正データ算出手段１７へ出力する。
【００７４】
以上説明した本実施の形態に係る幾何補正方法の概略手順およびコンテンツ表示範囲の設定手順については、図５および図７に示した参考例の場合と同様であり、プレパターン画像の作成からテストパターン撮像画像の検出範囲設定までの処理手順については、図１２のステップＳ３１〜Ｓ３８に示す通りであるが、その概要は上記の説明と重複するので、ここでは説明を省略する。
【００７５】
本実施の形態によれば、特徴点の少ないプレパターン画像を撮像して、制御者７により概略位置を設定し、それに基づいてテストパターン画像の特徴点の概略位置を推定するようにしたので、スクリーン形状が複雑でテストパターン画像の特徴点数が著しく多い場合でも、制御者７による概略位置指定の作業を軽減することができる。
【００７６】
なお、本発明は、上記実施の形態に限定されるものではなく、幾多の変形または変更が可能である。例えば、スクリーン２はドーム状のものに限らず、例えば図１３に示すようなアーチ型スクリーン２や、図１４に示すような平面リア型スクリーン２を用いた場合でも同様に適用可能である。なお、図１３および図１４は、３つのプロジェクタ１Ａ，１Ｂ，１Ｃを用いる場合を示している。
【図面の簡単な説明】
【００７７】
【図１】本発明とともに開発した幾何補正方法の参考例を実施するマルチプロジェクションシステムの全体構成を示す図である。
【図２】図１の参考例においてプロジェクタに入力するテストパターン画像とデジタルカメラにより撮像されたテストパターン撮像画像との一例を示す図である。
【図３】同じく、参考例における幾何補正手段の構成を示すブロック図である。
【図４】図３に示す幾何補正データ算出手段の構成を示すブロック図である。
【図５】参考例の幾何補正方法による処理手順を示すフローチャートである。
【図６】図５のステップＳ２における検出範囲の設定処理の詳細を説明するための図である。
【図７】図５のステップＳ７におけるコンテンツ表示範囲の設定処理の詳細を説明するための図である。
【図８】本発明に係るマルチプロジェクションシステムにおける幾何補正方法の一実施の形態を説明するための図である。
【図９】本実施の形態における幾何補正手段の構成を示すブロック図である。
【図１０】図９に示す検出範囲設定手段の構成を示すブロック図である。
【図１１】図１０に示すプロジェクタ画像−撮像画像座標変換式算出部における座標変換式の算出方法を説明するための図である。
【図１２】本実施の形態の幾何補正方法による特徴点の概略位置（検出範囲）設定処理手順を示すフローチャートである。
【図１３】本発明の一変形例を説明するための図である。
【図１４】同じく、本発明の他の変形例を説明するための図である。
【符号の説明】
【００７８】
１，１Ａ，１Ｂ，１Ｃ プロジェクタ
２ スクリーン
３ デジタルカメラ
４ パーソナルコンピュータ（ＰＣ）
５ モニタ
６ 画像分割／幾何補正装置
７ 制御者
１１ テストパターン画像作成手段
１２ 画像投射手段
１３ 画像撮像手段
１４ 画像提示手段
１５ 特徴点位置情報入力手段
１６ 検出範囲設定手段
１７ 幾何補正データ算出手段
１８ 画像分割／幾何補正手段
１９ コンテンツ表示範囲情報入力手段
２０ コンテンツ表示範囲設定手段
２１ テストパターン撮像画像記憶部
２２ テストパターン特徴点検出範囲記憶部
２３ 特徴点位置検出部
２４ プロジェクタ画像−撮像画像座標変換データ作成部
２５ コンテンツ画像−プロジェクタ画像座標変換データ作成部
２６ コンテンツ画像−撮像画像座標変換データ作成部
２７ コンテンツ画像表示範囲記憶部
３１ テストパターン画像作成部
３２ プレパターン画像作成部
４１ プレパターン特徴点検出範囲設定部
４２ プレパターン撮像画像記憶部
４３ プレパターン特徴点位置検出部
４４ プロジェクタ画像−撮像画像座標変換式算出部
４５ テストパターン検出範囲設定部
【特許請求の範囲】
【請求項１】
複数台のプロジェクタから投射される画像を貼り合せてスクリーン上に一枚のコンテンツ画像を表示するマルチプロジェクションシステムにおいて、上記各プロジェクタの画像の位置合わせを行うための幾何補正データを算出するにあたり、
上記各プロジェクタから複数個の特徴点からなるプレパターン画像を上記スクリーン上に投射させるプレ投射ステップと、
上記プレ投射ステップで上記スクリーン上に投射された上記プレパターン画像を撮像手段により撮像してプレパターン撮像画像として取り込むプレ取込ステップと、
上記プレ取込ステップで取り込まれた上記プレパターン撮像画像の特徴点の位置を検出するプレ検出ステップと、
上記各プロジェクタから上記プレパターン画像よりも多い特徴点からなるテストパターン画像を上記スクリーン上に投射させる投射ステップと、
上記投射ステップで上記スクリーン上に投射された上記テストパターン画像を上記撮像手段により撮像してテストパターン撮像画像として取り込む取込ステップと、
上記プレ検出ステップで検出された上記プレパターン撮像画像中の特徴点の位置に基づいて上記取込ステップで取り込まれた上記テストパターン撮像画像中の特徴点の位置を検出する検出ステップと、
上記検出ステップで検出された上記テストパターン撮像画像中の特徴点の位置と、予め与えられている上記テストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像と上記テストパターン撮像画像との座標位置関係とに基づいて、上記各プロジェクタによる画像の位置合わせを行う画像補正データを算出する演算ステップと、
を含むことを特徴とするマルチプロジェクションシステムにおける幾何補正方法。
【請求項２】
上記プレ検出ステップは、
上記プレ取込ステップで取り込まれた上記プレパターン撮像画像をモニタ上に提示する提示ステップと、
上記提示ステップで提示された上記プレパターン撮像画像を参照しながら上記プレパターン画像中の各特徴点の概略位置を指定して入力する入力ステップとを有し、
上記入力ステップで入力された上記プレパターン画像中の各特徴点の概略位置に基づいて正確な位置を検出することを特徴とする請求項１に記載のマルチプロジェクションシステムにおける幾何補正方法。
【請求項３】
上記検出ステップは、
上記プレ検出ステップで検出された上記プレパターン撮像画像の特徴点の位置に基づいて導出された２次以上の多項式を用いて上記テストパターン撮像画像中の各特徴点の概略位置を算出し、さらに上記算出された概略位置から上記テストパターン撮像画像中の各特徴点の正確な位置を検出することを特徴とする請求項１または２に記載のマルチプロジェクションシステムにおける幾何補正方法。
【請求項４】
上記検出ステップは、
上記プレ検出ステップで検出された上記プレパターン撮像画像の特徴点の位置に基づいて導出された２次以上の多項式および座標回転演算を用いて上記テストパターン撮像画像中の各特徴点の概略位置を算出し、さらに上記算出された概略位置から上記テストパターン撮像画像中の各特徴点の正確な位置を検出することを特徴とする請求項１または２に記載のマルチプロジェクションシステムにおける幾何補正方法。
【請求項１】
複数台のプロジェクタから投射される画像を貼り合せてスクリーン上に一枚のコンテンツ画像を表示するマルチプロジェクションシステムにおいて、上記各プロジェクタの画像の位置合わせを行うための幾何補正データを算出するにあたり、
上記各プロジェクタから複数個の特徴点からなるプレパターン画像を上記スクリーン上に投射させるプレ投射ステップと、
上記プレ投射ステップで上記スクリーン上に投射された上記プレパターン画像を撮像手段により撮像してプレパターン撮像画像として取り込むプレ取込ステップと、
上記プレ取込ステップで取り込まれた上記プレパターン撮像画像の特徴点の位置を検出するプレ検出ステップと、
上記各プロジェクタから上記プレパターン画像よりも多い特徴点からなるテストパターン画像を上記スクリーン上に投射させる投射ステップと、
上記投射ステップで上記スクリーン上に投射された上記テストパターン画像を上記撮像手段により撮像してテストパターン撮像画像として取り込む取込ステップと、
上記プレ検出ステップで検出された上記プレパターン撮像画像中の特徴点の位置に基づいて上記取込ステップで取り込まれた上記テストパターン撮像画像中の特徴点の位置を検出する検出ステップと、
上記検出ステップで検出された上記テストパターン撮像画像中の特徴点の位置と、予め与えられている上記テストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像と上記テストパターン撮像画像との座標位置関係とに基づいて、上記各プロジェクタによる画像の位置合わせを行う画像補正データを算出する演算ステップと、
を含むことを特徴とするマルチプロジェクションシステムにおける幾何補正方法。
【請求項２】
上記プレ検出ステップは、
上記プレ取込ステップで取り込まれた上記プレパターン撮像画像をモニタ上に提示する提示ステップと、
上記提示ステップで提示された上記プレパターン撮像画像を参照しながら上記プレパターン画像中の各特徴点の概略位置を指定して入力する入力ステップとを有し、
上記入力ステップで入力された上記プレパターン画像中の各特徴点の概略位置に基づいて正確な位置を検出することを特徴とする請求項１に記載のマルチプロジェクションシステムにおける幾何補正方法。
【請求項３】
上記検出ステップは、
上記プレ検出ステップで検出された上記プレパターン撮像画像の特徴点の位置に基づいて導出された２次以上の多項式を用いて上記テストパターン撮像画像中の各特徴点の概略位置を算出し、さらに上記算出された概略位置から上記テストパターン撮像画像中の各特徴点の正確な位置を検出することを特徴とする請求項１または２に記載のマルチプロジェクションシステムにおける幾何補正方法。
【請求項４】
上記検出ステップは、
上記プレ検出ステップで検出された上記プレパターン撮像画像の特徴点の位置に基づいて導出された２次以上の多項式および座標回転演算を用いて上記テストパターン撮像画像中の各特徴点の概略位置を算出し、さらに上記算出された概略位置から上記テストパターン撮像画像中の各特徴点の正確な位置を検出することを特徴とする請求項１または２に記載のマルチプロジェクションシステムにおける幾何補正方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００６−１０９０８８（Ｐ２００６−１０９０８８Ａ）
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願番号】特願２００４−２９２８７０（Ｐ２００４−２９２８７０）
【出願日】平成１６年１０月５日（２００４．１０．５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（３０４０２１８３１）国立大学法人 千葉大学 (601)
【Ｆターム（参考）】
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願日】平成１６年１０月５日（２００４．１０．５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（３０４０２１８３１）国立大学法人 千葉大学 (601)
【Ｆターム（参考）】
[ Back to top ]