補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
【課題】画像歪や画像の相対位置のずれの補正に用いる補正情報を効率よく取得する。
【解決手段】第１及び第２のプロジェクターにより被投写面上に投写された第１及び第２の測定用パターンＤ１１、Ｄ１２を撮影した撮影パターンに占める複数の前記特徴点の位置と、第１及び第２の測定用パターンＤ１１、Ｄ１２の元データ上の複数の特徴点の位置とを比較して、補正情報を算出する算出部とを備える。第１及び第２の測定用パターンＤ１１、Ｄ１２は、第１配列方向のうちで他の測定用パターンとの重畳側の端に配置された２以上の特徴図形について、第１の測定用パターンＤ１１に属する各特徴図形列Ｄ１１２の第２配列方向の位置が、第２の測定用パターンＤ１２に属する各特徴図形Ｄ１２２の第２配列方向の位置と異なる。
【解決手段】第１及び第２のプロジェクターにより被投写面上に投写された第１及び第２の測定用パターンＤ１１、Ｄ１２を撮影した撮影パターンに占める複数の前記特徴点の位置と、第１及び第２の測定用パターンＤ１１、Ｄ１２の元データ上の複数の特徴点の位置とを比較して、補正情報を算出する算出部とを備える。第１及び第２の測定用パターンＤ１１、Ｄ１２は、第１配列方向のうちで他の測定用パターンとの重畳側の端に配置された２以上の特徴図形について、第１の測定用パターンＤ１１に属する各特徴図形列Ｄ１１２の第２配列方向の位置が、第２の測定用パターンＤ１２に属する各特徴図形Ｄ１２２の第２配列方向の位置と異なる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法に関する。
【背景技術】
【０００２】
従来から、画像表示装置の１つとしてプロジェクターが知られている。プロジェクターは、設置が容易であることや、大画面の画像を表示可能であること等の特長を有している。近年、複数のプロジェクターを用いて１つの画像を表示する画像表示システムが提案されている（例えば、特許文献１）。
【０００３】
特許文献１の画像表示システムは、複数のプロジェクターの各々に部分画像を投写させ、複数の部分画像の全体で１つの画像を表示するものである。隣り合う部分画像で互いの周縁部を重ね合わせることにより、部分画像の継ぎ目を認識されにくくなっている。また、被投写面上の部分画像の幾何変形を補正しており、画像歪が低減されている。
【０００４】
特許文献１では部分画像の幾何補正を行うために、以下の処理を行っている。まず、マーカーを含んだテスト画像を表示させ、表示されたテスト画像を撮影する。そして、テスト画像を示す画像データ上でのマーカーの位置と、テスト画像を撮影した撮影画像の中のマーカーの位置との対応関係に基づいて、画素の位置の補正量を示す補正情報をプロジェクターごとに求める。視聴者向けの画像（以下、コンテンツ画像という）を表示するときに、コンテンツ画像を示す画像データを上記の補正情報に基づいて補正し、補正後の画像データに基づいて部分画像を表示させる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−７２３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術にあっては、上記の補正情報を求めるまでの手間や時間を減らす上で改善の余地がある。詳しくは、特許文献１において、複数のプロジェクターから同時にテスト画像を投写させると、隣り合うテスト画像で互いのマーカーが重なり合うことがある。すると、重なり合ったマーカーの位置を高精度に検出することが難しくなり、補正情報を高精度に求めることが難しくなる。
【０００７】
この不都合を解消するには、例えば各プロジェクターの投写のタイミングを複数のプロジェクターでずらしてテスト画像を投写させ、各プロジェクターによるテスト画像を個別に撮影する方法が考えられる。この方法では、プロジェクターの数が増えるほど、テスト画像の投写や撮影に要する手間や時間が増えるという不都合がある。また、先の撮影から次の撮影までに撮影装置が移動することもありえる。撮影装置が移動すると、撮影画像の中でのマーカーの位置に誤差を生じてしまう。すると、複数の部分画像の位置が互いにずれる条件で補正情報が算出され、この補正情報により補正された画像データに基づいて投写された部分画像に歪や位置ずれを生じてしまう。
【０００８】
本発明は、上記の事情に鑑み成されたものであって、コンテンツ画像の一部をなす各部分画像の歪や、複数の部分画像での相対位置のずれの補正に用いる補正情報を効率よく取得可能な補正情報算出装置、画像処理装置、画像表示システム、および画像処理方法を提供することを目的の１つとする。
【課題を解決するための手段】
【０００９】
本発明では、上記の目的を達成するために以下の手段を採用している。
【００１０】
本発明の補正情報算出装置は、画像形成素子を有するプロジェクターによって被投写面上に投写される画像における画素の位置と、前記画像形成素子における画素の位置との対応関係を示す補正情報を算出する補正情報算出装置であって、特徴点を規定する特徴図形を複数含んだ第１の測定用パターンを示す第１の測定用画像データを前記被投写面上の第１投写領域に投写する第１のプロジェクターに供給するとともに、特徴点を規定する特徴図形を複数含んだ第２の測定用パターンを示す第２の測定用画像データを前記第１投写領域と重なり合う重畳領域を含んだ第２投写領域に投写する第２のプロジェクターに供給する供給部と、前記第１及び第２の測定用画像データに基づいて前記第１及び第２のプロジェクターにより被投写面上に投写された前記第１及び第２の測定用パターンを撮影した撮影パターンにおける複数の前記特徴点の位置と、前記第１及び第２の測定用画像データに規定された複数の前記特徴点の位置とを比較して、前記補正情報を算出する算出部と、を備え、前記第１投写領域と前記第２投写領域とが並ぶ方向に相当する前記第１及び第２の測定用パターンの画素の配列方向を第１配列方向とし、前記第１配列方向の交差方向を第２配列方向としたときに、前記第１及び第２の測定用パターンは、前記複数の特徴図形のうちで前記第１配列方向における他の測定用パターンとの重畳側の端に配置された２以上の前記特徴図形により構成される特徴図形列を含み、前記第１の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置が、前記第２の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置と異なることを特徴とする。
【００１１】
本発明においては、上記のように、特徴点列に属する各特徴点の第２配列方向の位置が、第１の測定用画像データと第２の測定用画像データとで異なる。したがって、第１のプロジェクターにより投写された測定用パターンと、第２のプロジェクターにより投写された測定用パターンとで、第１投写領域と第２投写領域とが並ぶ方向の交差方向に特徴点の位置がずれやすくなる。よって、第１のプロジェクターと第２のプロジェクターとで並行して測定用パターンを投写させた場合でも、被投写面上で特徴点が重なり合うことが回避される。すなわち、複数のプロジェクターで並行して測定用パターンを投写させつつ、投写された特徴点の位置を高精度に検出することができる。このように、本発明によれば、被投写面上での画素の位置と画像データに規定された画素の位置との対応関係を示す補正情報を効率よく取得可能になる。
【００１２】
本発明の補正情報算出装置としては、前記第１の測定用パターンにおける前記複数の特徴図形の配置が、前記第２の測定用パターンにおける前記複数の特徴図形の配置と同じであって、該測定用パターンは、前記第１配列方向の一端に配置された第１の前記特徴図形列と、他端に配置された第２の前記特徴図形列とを含み、前記第１の特徴図形列に属する各特徴図形の前記第２配列方向の位置が、前記第２の特徴図形列に属する各特徴図形の前記第２配列方向の位置と異なるものであってもよい。
【００１３】
このようにすれば、第１の測定用画像データと第２の測定用画像データで、測定用パターンにおける複数の特徴点の配置を同じしつつ、被投写面上で特徴点が重なり合うことを回避可能になる。したがって、測定用画像データの作成等に要する手間を減らすことや、投写された測定用パターンから特徴点を検出するのに要する手間を減らすことができる。
【００１４】
本発明の画像処理装置は、本発明に係る補正情報算出装置と、前記補正情報算出装置により算出された前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正する画像補正部と、を備えていることを特徴とする。
【００１５】
本発明の補正情報算出装置によれば、補正情報を効率よく取得可能であるので、本発明の画像処理装置は、補正情報を取得する上での手間を省きつつ、部分画像の歪や相対位置のずれを補正可能なものになる。
【００１６】
本発明の画像表示システムは、本発明に係る画像処理装置と、記画像処理装置により補正された前記補正後の画像データに基づいて画像を投写する複数のプロジェクターと、を備えていることを特徴とする。
【００１７】
本発明の画像処理装置によれば、補正情報を取得する上での手間省きつつ、部分画像の歪や相対位置のずれを高精度に補正可能になるので、本発明の画像表示システムは、利便性が高く、しかも高品質な画像を表示可能なものになる。
【００１８】
本発明に係る画像表示システムは、前記測定用パターンが投写された前記第１投写領域および前記第２投写領域を含む領域を撮影する撮影装置を備え、前記補正情報算出装置は、前記撮影装置により撮影された撮影画像のうちの前記撮影パターンを用いて前記補正情報を算出するものであってもよい。
【００１９】
このようにすれば、第１投写領域と第２投写領域とを独立して撮影するよりも、撮影回数を減らすことができ、補正情報を効率よく取得可能になる。また、撮影と撮影との間に撮影装置の位置ずれを生じる確率が低くなるので、撮影装置の位置ずれに起因する特徴図形の位置の誤差を減らすことができる。
【００２０】
本発明の画像処理方法は、特徴点を規定する特徴図形を複数含んだ第１の測定用パターンを示す第１の測定用画像データを前記被投写面上の第１投写領域に投写する第１のプロジェクターに供給するとともに、特徴点を規定する特徴図形を複数含んだ第２の測定用パターンを示す第２の測定用画像データを前記第１投写領域と重なり合う重畳領域を含んだ第２投写領域に投写する第２のプロジェクターに供給する測定用データ供給ステップと、前記測定用画像データに基づいて前記プロジェクターにより被投写面上に投写された測定用パターンを撮影した撮影パターンにおける複数の前記特徴点の位置と、前記測定用画像データに規定された複数の前記特徴点の位置とを比較して、前記被投写面上での画素の位置と前記プロジェクターの画像形成素子での画素の位置との対応関係を示す補正情報を算出するステップと、前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正するステップと、を有し、前記第１投写領域と前記第２投写領域とが並ぶ方向に相当する前記測定用パターンの画素の配列方向を第１配列方向とし、前記第１配列方向の交差方向を第２配列方向としたときに、前記測定用パターンは、前記複数の特徴図形のうちで前記第１配列方向における他の測定用パターンとの重畳側の端に配置された２以上の前記特徴図形により構成される特徴図形列を含み、前記第１の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置を、前記第２の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置と異ならせること特徴とする。
【００２１】
このようにすれば、各部分画像の歪や複数の部分画像での相対位置のずれを高精度に補正になる補正情報を効率よく取得可能になり、補正情報を取得する上での手間を省きつつ、部分画像の歪や相対位置のずれを高精度に補正可能になる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る画像表示システムを示す概略図である。
【図２】被投写面上の投写領域の位置関係を示す説明図である。
【図３】画像表示システムの構成を示す図である。
【図４】コンテンツ画像を表示するまでの処理フローを示す図である。
【図５】第１の例の測定用パターンを示す説明図である。
【図６】投写された第１の例の測定用パターンの組合せを示す説明図である。
【図７】補正情報の算出方法の一例を示す説明図である。
【図８】（ａ）は第２の例の測定用パターンの説明図、（ｂ）は投写された第２例の測定用パターンを示す説明図である。
【図９】第３の例の測定用パターンの説明図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照しつつ本発明の実施形態を説明する。説明に用いる図面において、特徴的な部分を分かりやすく示すために、図面中の構造の寸法や縮尺を実際の構造に対して異ならせている場合がある。また、実施形態において同様の構成要素については、同じ符号を付して図示し、その詳細な説明を省略する場合がある。
【００２４】
図１は、本発明の一実施形態である画像表示システムの概念図、図２は被投写面に投写された画像と投写領域との関係を示す説明図である。
【００２５】
図１に示すように画像表示システム１は、複数のプロジェクター２、画像処理装置３、および撮影装置４を備えている。画像表示システム１は、例えば信号源８から入力された画像データが示すコンテンツ画像Ｐを複数のプロジェクター２で分担して、スクリーンや壁等の被投写面９に投写する。ここでは、複数のプロジェクター２として第１のプロジェクター２１、第２のプロジェクター２２、第３のプロジェクター２３、および第４のプロジェクター２４が設けられているとして説明する。本発明の適用範囲は、複数のプロジェクターを用いるものであれば、プロジェクターの数や配置に限定されない。なお、以下の説明では、複数のプロジェクターの各々から投写された画像を、「部分画像」と称することがある。また、以下の説明では、部分画像を示す画像データを「部分画像データ」と称することがある。
【００２６】
プロジェクター２は、供給された画像データ（ここでは部分画像データ）に基づいて画像（ここでは部分画像）を表示可能である。本発明の適用範囲は、プロジェクター２の構成に限定されない。例えば、プロジェクター２は、単板式のプロジェクターであってもよいし、三板式のプロジェクター等の複数の画像形成素子を含んだものであってもよい。また、プロジェクター２は、被投写面９に対して視聴者と同じ側から投写するフロント投写型のものであってもよいし、被投写面９を挟んで視聴者と反対側から投写するリア投写型のものであってもよい。
【００２７】
本実施形態の複数のプロジェクター２は、光源、画像形成素子、および投写光学系を有している。画像形成素子は、二次元的に配列された複数の画素を有するものである。画像形成素子としては、例えば透過型または反射型の液晶ライトバルブや、デジタルミラーデバイス（ＤＭＤ）等が挙げられる。各プロジェクターにおいて、光源から射出された光は、画像形成素子に入射する。画像形成素子は、このプロジェクターへ入力された部分画像データの画素ごとのデータ（以下、画素データという）に基づいて、複数の画素を互いに独立して制御する。画素に入射した光は、画素ごとに変調されて画素データに規定された光量の光になる。複数の画素により変調された光が全体として光学像（画像）になり、この光学像が投写光学系により被投写面９に投写される。ここでは、複数のプロジェクターで、画像形成素子の画素数および画素の配列が一致している。
【００２８】
各プロジェクターが被投写面９上に投写可能な領域である投写領域は、複数のプロジェクター２で異ならせて設定されている。図２に示すように、第１〜第４投写領域Ａ１〜Ａ４は、互いの周縁部が重なり合うように設定されており、全体として全体投写領域を構成している。すなわち、第１〜第４投写領域Ａ１〜Ａ４の各々は、隣接する他の投写領域と重畳された重畳領域Ｐ５を含んでいる。
【００２９】
第１のプロジェクター２１の投写領域（第１投写領域Ａ１）は、第２のプロジェクター２２の投写領域（第２投写領域Ａ２）と被投写面９上の水平方向に並んでいる。この水平方向において、第１投写領域Ａ１の端部は、第２投写領域Ａ２の端部と重ね合わされている。第３のプロジェクター２３による投写領域（第３投写領域Ａ３）と、第４のプロジェクター２４による投写領域（第４投写領域Ａ４）との水平方向の位置関係については、第１、第２投写領域Ａ１、Ａ２の水平方向の位置関係と同様になっている。
【００３０】
第１投写領域Ａ１は、被投写面９上の水平方向と直交する垂直方向に第３投写領域Ａ３と並んでいる。この垂直方向において、第１投写領域Ａ１の端部（周縁部）は第３投写領域Ａ３の端部（周縁部）と重ね合わされている。第２投写領域Ａ２と第４投写領域Ａ４との垂直方向の位置関係については、第１、第３投写領域Ａ１、Ａ３の垂直方向の位置関係と同様になっている。
【００３１】
ところで、通常は全体投写領域Ａ０の外形が矩形にならない。これは、第１〜第４のプロジェクター２１〜２４の配置に起因して、第１〜第４投写領域Ａ１〜Ａ４の歪や相対位置のずれを生じるからである。ここでは、全体投写領域Ａ０に収まる略矩形の領域を実際に画像の投写に用いる領域（有効投写領域Ａ）としている。第１〜第４のプロジェクター２１〜２４は、各投写領域のうちで有効投写領域Ａに収まる領域に対して部分画像を投写するようになっている。
【００３２】
例えば、第１のプロジェクター２１から投写された光により、第１投写領域Ａ１のうちで有効投写領域Ａに収まる領域に、第１の部分画像Ｐ１が表示される。以下同様に、第２〜第４のプロジェクター２２〜２４により、第２〜第４の部分画像Ｐ２〜Ｐ４が表示される。第１〜第４の部分画像Ｐ１〜Ｐ４は、互いに端部を重ね合わされて被投写面９上に表示され、全体としてコンテンツ画像Ｐを構成する。
【００３３】
図１の説明に戻り、画像処理装置３は、コンテンツ画像Ｐを示す画像データを例えば信号源８から受け取る。画像処理装置３は、画像データに各種処理（後述する）を施すとともに、画像データに基づいて複数の部分画像データを生成する。各部分画像データは、第１〜第４の部分画像Ｐ１〜Ｐ４のいずれかを示すデータである。画像処理装置３は、第１〜第４のプロジェクター２１〜２４の各々に、各プロジェクターが担当する部分画像を示す部分画像データを供給する。第１〜第４のプロジェクター２１〜２４は、画像処理装置３から入力された部分画像データに基づいて、被投写面９上に第１〜第４の部分画像Ｐ１〜Ｐ４を投写する。
【００３４】
画像処理装置３は、上記の各種処理の１つとして、第１〜第４の部分画像Ｐ１〜Ｐ４の各々の画像歪を補正するとともに、第１〜第４の部分画像Ｐ１〜Ｐ４の相対位置のずれを補正する処理（以下、位置補正処理という）を行う。画像処理装置３は、画像表示システム１の設置時や、画像表示システム１の設置時から所定期間が経過したメンテナンス時等の適宜選択されるタイミングに、位置補正処理に用いる補正情報を算出する。
【００３５】
上記の画像歪の１例として、例えば被投写面９に対する第１〜第４のプロジェクター２１〜２４の各々の投写方向、すなわち垂直方向の仰角や俯角、水平方向の煽り角等に応じて発生する画像歪（例えばキーストン歪）が挙げられる。画像歪の他の例として、例えば布状のスクリーンのたわみ等により、被投写面９が局所的に歪んでいることにより発生する画像歪が挙げられる。上記の第１〜第４の部分画像Ｐ１〜Ｐ４の相対位置のずれは、第１〜第４のプロジェクター２１〜２４で、例えば、投写方向が一致しないことや相対位置のずれること等に起因する。
【００３６】
本発明に係る画像処理装置は、例えば下記の第１〜第３の態様のように、多様な態様を取りうる。
第１の態様の画像処理装置として、各種処理を行うＡＳＩＣ等の１以上のロジック回路による構成が挙げられる。第１の態様の画像処理装置は、その一部または全部が、第１〜第４のプロジェクター２１〜２４、撮影装置４、信号源８のいずれかと一体化されていてもよい。
第２の態様の画像処理装置として、プログラムが実装されたコンピューターによる構成が挙げられる。すなわち、プログラムにより各種処理をコンピューターに実行させることにより、画像処理装置３の機能を実現することができる。例えば、メモリーやＣＰＵを協働させて各処理における演算を実行させ、演算結果をハードディスクやメモリー等の記憶部に保存しておき、必要に応じて演算結果を読出して他の処理に供することにより、ロジック回路等を用いる場合と同様の処理結果が得られる。なお、第２の態様の画像処理装置３において、各種処理を複数のコンピューターに分担させて行わせるようにしてもよい。 第３の態様の画像処理装置として、各種処理の一部の処理を行うロジック回路と、プログラムにより各種処理の他の処理を行うコンピューターとを組み合わせた構成が挙げられる。
【００３７】
このように、本発明に係る画像処理装置は、各種処理を行う独立した装置としての態様の他に、各種処理の一部を行う複数の機能部の集合としての態様もとりえる。すなわち、複数の機能部が、別体の複数の装置に分かれて設けられており、互いに協働して処理を行う態様であってもよい。
【００３８】
本実施形態の撮影装置４は、全体投写領域Ａ０の全体を含む被投写面９上の領域を撮影可能なものである。撮影装置４は、例えばＣＣＤカメラ等の二次元イメージセンサーにより構成される。二次元イメージセンサーは、フォトダイオード等からなる複数の受光素子が二次元的に配列された構造を有している。上記の補正情報を算出するときに、撮影装置４により撮影された撮影画像を示す撮影画像データは、画像処理装置３へ出力される。
【００３９】
以上のように複数のプロジェクター２によりコンテンツ画像Ｐを表示すると、コンテンツ画像Ｐを大画面、高解像度、高輝度で表示にすることができる。例えば、一台のプロジェクターにより表示する場合と比較して、プロジェクターあたりの画素数が同じである条件では、解像度を下げることなく大画面でコンテンツ画像Ｐを表示することができる。また、同じ画面サイズでコンテンツ画像Ｐを表示する条件で比較すると、プロジェクターの数に応じて画素数を増すことができ、高解像度でコンテンツ画像を表示することができる。プロジェクターあたりの出力光量が同じである条件で比較すると、表示に寄与する光の光量をプロジェクターの数に応じて増すことができ、高輝度でコンテンツ画像Ｐを表示することができる。
【００４０】
これらの効果を得るためにプロジェクターの画素数や出力を増す手法と比較すると、各プロジェクターのコストを飛躍的に下げることができるので、プロジェクターの数を加味しても装置コストを低減する効果が期待できる。また、通常時はプロジェクターごとに例えば別の場所（例えば小会議室）に設置して使用し、用途に応じて、例えば大会議室に画像表示システムを構築して、コンテンツ画像を大画面、高解像度、高輝度で表示することも可能である。このように、プロジェクターを単独で使用するか、複数のプロジェクターを組み合わせて使用するかを用途に応じて選択可能になるので、１台のプロジェクターで上記の効果を得ようとする場合と比較して、利便性が高くなる。
【００４１】
また、画像処理装置３により位置補正処理が施された画像データに基づいてコンテンツ画像Ｐが表示されるので、各部分画像の画像歪や複数の部分画像での相対位置のずれが低減される。したがって、画像歪が少なく、しかも部分画像の継ぎ目が認識されにくい状態でコンテンツ画像Ｐを表示することができ、コンテンツ画像Ｐを高品質な画像として表示可能になる。本発明では、部分画像の画像歪や相対位置のずれを高精度に補正することができ、しかも補正情報を効率よく算出することが可能になっている。これにより、例えば画像表示システムの設置に要する手間や時間を減らすことができ、画像表示システムの利便性を高めることができる。
【００４２】
次に、図３を参照しつつ、本発明に係る画像処理装置３の構成要素について詳しく説明する。図３は、画像処理装置３の機能構成を示す図である。
図３に示すように画像処理装置３は、画像制御装置５および補正情報算出装置６を有している。補正情報算出装置６は、主として補正情報を算出する。画像制御装置５は、各種処理を行うとともに、補正情報を用いて各種処理の１つとして画像データに位置補正処理を施す。本実施形態では、画像制御装置５が、第１のコンピューターの一部として構成されており、補正情報算出装置６が第１のコンピューターと別体の第２のコンピューターのＣＰＵや記憶部等を利用して構成されている。
【００４３】
画像制御装置５は、画像入力部５１、画像保存部５２、画像補正部５３、および画像出力部５４を有している。画像入力部５１は、例えばビデオキャプチャーボード等により構成される。画像入力部５１は、必要に応じて画像制御装置５の外部のＤＶＤプレイヤーや通信機器等の信号源８からコンテンツ画像を受け取る。画像保存部５２は、例えばコンピューターに内蔵あるいは外付されたハードディスク等の記憶装置により構成され、コンテンツ画像Ｐを示す画像データを保存可能なものである。画像入力部５１へ入力された画像データや、画像保存部５２に保存されている画像データは、コンテンツ画像Ｐを表示するときに画像補正部５３へ出力される。
【００４４】
なお、画像制御装置５は、画像入力部５１と画像保存部５２の一方のみが設けられた構成であってもよい。画像入力部５１から入力された画像データを画像保存部５２に保存しておき、この画像データを適宜読出して画像補正部５３へ入力する構成であってもよい。
【００４５】
画像補正部５３は、その詳細な構成を図示しないが、演算部および記憶部を含んでいる。演算部は、例えばグラフィックス・プロセッシング・ユニット（ＧＰＵ）等により構成される。記憶部は、ビデオメモリー（ＶＲＡＭ）や不揮発メモリー等により構成される。画像補正部５３は、補正情報を参照して、補正後の画像データに基づいてプロジェクター２１〜２４により被投写面９上に投写される画像が補正前の画像データが示す画像と略一致するように、信号源８から入力された画像データを補正する。
【００４６】
演算部は、記憶部を画像バッファ等に利用しつつ、演算部へ入力された画像データにガンマ補正や色調補正等の各種処理を行う。プログラムを用いて、上記のＧＰＵに代えてコンピューターのＣＰＵに演算させることにより、各種処理を行わせるようにしてもよい。なお、画像入力部５１や画像保存部５２から入力された画像データ上での画素の配列が、プロジェクター２の画像形成素子の画素の配列と整合していない場合、例えば、画像データに含まれる画素数が画像形成素子の画素数と異なる場合もありえる。この場合に演算部は、入力された画像データに対して補間処理やレンダリング処理等を施して、補正後の画像データが画像形成素子の画素の配列に整合するように画像データを補正する。これらの処理については、各プロジェクターに処理部を設けておき、プロジェクターごとにこの処理部に処理させてもよい。
【００４７】
演算部は、補正情報を参照して画像データに位置補正処理を施すとともに部分画像データを生成する。補正情報は、上記の記憶部（例えば不揮発メモリー）に記憶されている。補正情報は、被投写面９上での全体投写領域Ａ０（図２参照）に占める各画素の位置と、複数のプロジェクター２の各々の画像形成素子における画素の配列に占める各画素の位置との対応関係を示す情報である。
【００４８】
補正情報は、例えば画像形成素子の画素ごとの値としてテーブル形式で記憶されている。すなわち、テーブル（補正情報）を参照すれば、全体投写領域Ａ０の所定の位置に所定の画素が表示されるようにする上で、各画素データを画像形成素子のいずれの画素へ入力すればよいのか分かる。
【００４９】
演算部は、位置補正処理による補正前の画像データが示す画像、すなわち表示すべきコンテンツ画像が有効投写領域Ａに表示されるように、例えば以下のような処理を行う。演算部は、全体投写領域Ａ０の内側であって有効投写領域Ａの外側の各画素（以下、非表示画素という）について、補正情報により各非表示画素と対応付けられた画像形成素子の各画素に供給するデータを、非表示用のマスクデータ（例えば黒を示すデータ）にする。また、有効投写領域Ａの内側の各画素（以下、表示画素という）について、補正情報により表示画素と対応付けられた画像形成素子の画素に供給するデータを、この表示画素用の画素データとして画像データに規定されたデータにする。
【００５０】
表示画素の位置が格子状の画素配列の格子点位置からずれている場合には、必要に応じて補間処理を行う。例えば、表示画素に対応する画像データ上の画素の周囲の画素の画素データを用いて、表示画素の位置に応じた画素データを補間により求める。補間のときに参照する周囲の画素の位置や、補間のときに周囲の画素の画素データに乗じる重み付けの係数（補間係数）等は、補正情報の一部として予め求めておくとよい。このような処理を、各投写領域に含まれる表示画素および非表示画素について行うことにより、各投写領域を担当するプロジェクター用の部分画像データが得られる。
【００５１】
画像補正部５３は、演算部により生成された部分画像データを画像出力部５４へ出力する。画像出力部５４は、画像補正部５３から出力された部分画像データを、各部分画像データを担当するプロジェクターへ出力する。例えば、画像出力部５４は、図１に示した第１の部分画像Ｐ１を示す部分画像データを第１のプロジェクター２１へ出力する。画像出力部５４は、以下同様に、第２〜第４の部分画像Ｐ２〜Ｐ４を示す部分画像データを第２〜第４のプロジェクター２２〜２４へ出力する。
【００５２】
本実施形態の補正情報算出装置６は、プログラムを用いて上記の第２のコンピューターに所定の処理（後述する）を行わせることにより、その機能を実現するものである。第１のコンピューターは、画像制御装置５が実装されている第１のコンピューターと別体になっており、例えばバスケーブル等により第１のコンピューターと電気的に接続されている。補正情報算出装置６により補正情報を算出した後に、バスケーブルを介して補正情報を画像制御装置５へ出力した上で、第１のコンピューター（補正情報算出装置６）および撮影装置４を取外した状態で、複数のプロジェクター２および画像制御装置５によりコンテンツ画像Ｐを表示させることも可能である。また、プロジェクター２に位置ずれを生じたときに、第１のコンピューター（補正情報算出装置６）および撮影装置４を再度設置して、補正情報を再度算出し、補正情報を更新することも可能である。
【００５３】
補正情報算出装置６は、機能ブロックとして補正情報演算部（算出部）６１、画像解析部６２、および記憶部６３を有している。
記憶部６３は、第２のコンピューターのハードディスクやメモリーにより構成される。記憶部６３には、補正情報の算出に用いる測定用パターンを示す測定用画像データが記憶されている。測定用パターンは、エッジ検出処理やパターン認証処理等の画像処理技術により検出可能な形状や輝度分布の図形である特徴図形が複数配列された画像である。被投写面９上での特徴図形の位置および形状を検出することにより、被投写面９上での特徴点の位置を求めることができる。特徴点は、測定用画像データ上で特徴図形との位置関係が既知である点、例えば特徴図形の角や中心点である。
【００５４】
補正情報演算部６１および画像解析部６２は、第２のコンピューターのＣＰＵおよびメモリー等により構成される。補正情報演算部６１は、補正情報を算出するときに、記憶部６３に記憶されている測定用画像データを読出して直接的にまたは間接的に各プロジェクターへ出力（供給）する。すなわち、補正情報演算部６１と記憶部６３とにより、各プロジェクターに測定用画像データを供給する供給部が構成されている。ここでは、補正情報演算部６１が、測定用画像データを画像制御装置５の画像補正部５３へ出力する。測定用画像データは、画像制御装置５を介して間接的に各プロジェクターへ出力される。画像制御装置５は、必要に応じて、測定用画像データを画像形成素子の画素の配列に整合する形成に補正する。
【００５５】
画像解析部６２は、撮影装置４により撮影された撮影画像を示す撮影画像データを受け取る。画像解析部６２は、例えばエッジ処理やパターン認証処理等を撮影画像データに施して、撮影画像の中の測定用パターン（撮影パターン）を検出する。画像解析部６２は、撮影パターンを示す画像データとして、撮影測定データを補正情報演算部６１へ出力する。
【００５６】
補正情報演算部６１は、測定用画像データに基づいてプロジェクター２１〜２４により被投写面９上に投写された測定用パターンを撮影した撮影パターンにおける複数の特徴点の位置と、測定用画像データに規定された複数の特徴点の位置とを比較して、補正情報を算出する。具体的には、補正情報演算部６１は、撮影測定データの元になった測定用パターンを示す測定用画像データ上での特徴点の位置と、この特徴点の撮影測定データ上での位置とを比較し、補正情報を算出する。補正情報演算部６１は、算出した補正情報を画像制御装置５へ出力する。画像制御装置５は、補正情報算出装置６から出力された補正情報を画像補正部５３の記憶部に格納し、補正情報を更新する。
【００５７】
図４は、コンテンツ画像Ｐを表示するまでの処理フローを示すフローチャートである。ここでは、画像表示システム１の設置時に補正情報を算出する例について説明する。なお、下記のステップＳ２、Ｓ５〜Ｓ７の処理を行うことにより、本発明に係る画像処理方法の一態様を行うことができる。また、ステップＳ２、ステップＳ５およびステップＳ６の処理をコンピューターに行わせるプログラムを用いることにより、本発明に係る補正情報算出装置の機能を実現することができる。ステップＳ２、Ｓ５〜Ｓ７の処理をコンピューターに行わせるプログラムを用いることにより、本発明に係る画像処理装置の機能を実現することもできる。
【００５８】
図４に示すように、まず、被投写面９に対して複数のプロジェクター２を配置し、必要に応じて各プロジェクターの配置を粗調整する（ステップＳ１）。ステップＳ１では、例えば、第１〜第４のプロジェクター２１〜２４の各々から、各プロジェクターの投写領域（以下、部分投写領域という）の輪郭を示す配置用ガイドを被投写面９に投写させる。そして、配置用ガイドを参照しつつ各プロジェクターを移動させて、全体投写領域Ａ０に占める各部分投写領域の位置を粗調整する。
【００５９】
ここで、目視によりプロジェクターの位置を粗調整する場合を考える。複数の投写領域で相対位置のずれ量は、投写領域の実寸等に影響されるが、概ね数ピクセル程度であると考えられる。例えば、投写領域のサイズが対角１００インチであり、投写領域に配置される画素数（表示画素および非表示画素を含む）が１９２０×１０８０個であるとすると、被投写領域における画素ピッチが１．１５ｍｍ程度となる。例えば、１０ピクセル相当の位置ずれであれば被投写面９上の実寸で１．１５ｃｍの位置ずれとなり、この位置ずれを被投写面９から数メートル離れた位置から目視により識別可能であると考えられる。このことから、投写領域の相対位置のずれ量を数ピクセル程度にすることが可能であると考えられる。
【００６０】
なお、二次元的に配列された部分画像を表示させる場合に、図１では部分画像の配列と同様にプロジェクター２を二次元的に配列する例を図示しているが、プロジェクターの配列が部分画像の配列と異なっていてもよい。例えば、プロジェクターを一次元的に配列し、各プロジェクターの投写方向を調整することにより、部分画像を二次元的に配列することも可能である。ただし、プロジェクターの配列を部分画像の配列と同様にすることにより、プロジェクターと部分画像との対応関係を把握しやすくなり、また投写方向の違いに起因する部分画像の歪を減らすこともできる。また、２以上の部分画像を一次元的に配列してコンテンツ画像を表示させてもよいし、二次元的に部分画像を配列する場合に、各配列方向の部分画像の数を３以上にしてもよい。また、画像表示システム１の設置後、例えば画像表示システム１のメンテナンス時に補正情報を算出する場合には、上記のステップＳ１を省くこともできる。
【００６１】
次いで、補正情報算出装置６の補正情報演算部６１は、各プロジェクター用の測定用パターンを示す測定用画像データを対象となるプロジェクターに供給する（ステップＳ２）。第１〜第４のプロジェクター２１〜２４の各々に、供給された測定用画像データに基づいて測定用パターンを被投写面９に投写させる（ステップＳ３）。ここでは、第１〜第４のプロジェクター２１〜２４で並行して測定用パターンを投写させる。
【００６２】
図５は、第１の例の測定用パターンを示す説明図、図６は投写された第１の例の測定用パターンの組合せを示す説明図である。図５には、被投写面上で互いに隣り合う一対の測定用パターンを図示している。一対の測定用パターンで特徴図形の区別を分かりやすく示すために、便宜上、測定用パターンごとに特徴図形を異なるマークで示している。
【００６３】
本発明では、被投写面９上で互いに重なり合う一対の投写領域に投写される一対の測定用パターンについて、一方の測定用パターンの特徴点が他方の測定用パターンの特徴点と重なり合わないように、各測定用パターンを示す測定用画像データ上での特徴点の位置が設定されている。
【００６４】
各測定用パターンは、ｉ方向およびｊ方向に配列された画素の配列により構成されている。測定用画像データは、各プロジェクターに供給された段階で画像形成素子の画素の配列に整合した形成になっている。例えば、画像形成素子の画素の配列が１９２０×１０８０個である場合に、測定用画像データは、ｉ方向に１９２０個の画素が並び、ｊ方向に１０８０の画素が並ぶ画像の画像データとしてプロジェクターに供給される。
【００６５】
第１のプロジェクター用の第１の測定用画像データが示す第１の測定用パターンＤ１１は、規則的に配列された複数の特徴図形Ｄ１１１を含んでいる。本例の特徴図形Ｄ１１１は、１または２以上の画素により構成されるドット形状（スポット形状）になっており、その中心点が特徴点として用いられる。特徴図形については、その形状を検出可能であり、その形状と関連づけられた位置を特徴点の位置として特定可能な形状であれば、特に限定されない。特徴図形の形状としては、例えば互いに交差した線分（クロスハッチ）や正方形等であってもよい。クロスハッチを用いる場合には、例えばハフ変換等により２つの線分を検出し、その交差点の位置を一意に求めることができ、交差点を特徴点として用いることができる。正方形を用いる場合には、特徴図形の重心を特徴点とすることや、４つの角となる点をそれぞれ特徴点とすることができる。
【００６６】
複数の特徴図形Ｄ１１１は、ｉ方向に所定のピッチで配列されており、また、ｊ方向にも所定のピッチで配列されている。すなわち、直交格子の格子点上に各特徴図形の特徴点が位置するように、複数の特徴図形Ｄ１１１が規則的に配列されている。複数の特徴図形Ｄ１２１は、特徴図形Ｄ１１１と同様に、ｉ方向とｊ方向の各々において所定のピッチで配列されている。
【００６７】
本例の第１、第２の測定用パターンＤ１１、Ｄ１２に含まれる特徴図形Ｄ１１１、Ｄ１２１は、いずれも形状およびサイズが同一になっている。ここで、各測定用パターンにおける特徴図形の配列において最外周に配置された特徴図形の特徴点を結んだ線を輪郭とする領域を特徴図形の配置領域とする。第１、第２の測定用パターンＤ１１、Ｄ１２は、配置領域の大きさ、すなわち配置領域のｉ方向の画素数が互いに一致しており、配置領域のｊ方向の画素数が互いに一致している。また、第１、第２の測定用パターンＤ１１、Ｄ１２は、各測定用パターンを基準とした配置領域の位置、例えば各測定用パターンの１つ角（図示では左上の角）の座標である（ｉ，ｊ）＝（０，０）を基準とした配置領域の角の座標が互いに異なっている。詳しくは、第２の測定用パターンＤ１２における配列領域の位置は、第１の測定用パターンＤ１１における配列領域の位置に対して、ｉ方向およびｊ方向にそれぞれ特徴点のピッチの半分だけシフトさせた位置になっている。第１、第２の測定用パターンＤ１１、Ｄ１２の各配置領域内での特徴点の配置は、互いに一致している。言い換えると、仮に第１、第２の測定用パターンＤ１１、Ｄ１２の配置領域をずれなく重ね合わせたとすると、特徴点が互いの測定用パターンでずれることなく重ね合わされる。
【００６８】
本例では、第１の測定用パターンＤ１１において特徴図形Ｄ１１１以外の領域の色調・階調値が、第２の測定用パターンＤ１２において特徴図形Ｄ１２１以外の領域の色調・階調値と同じ値に設定されている。また、特徴図形Ｄ１１１の色調・階調値の分布が、特徴図形Ｄ１２１の色調・階調値の分布と同じに設定されている。
【００６９】
以上のような第１の測定用パターンＤ１１は第１投写領域Ａ１に投写され、第２の測定用パターンＤ１２は第２投写領域Ａ２に投写される。第１、第２投写領域Ａ１、Ａ２が並ぶ方向（水平方向）での表示画素の配列方向は、測定用パターンでの画素の配列方向のうちのｉ方向に相当する。第１、第２投写領域Ａ１、Ａ２が並ぶ方向の交差方向（垂直方向）での表示画素の配列方向は、測定用パターンでの画素の配列方向のうちのｊ方向に相当する。すなわち、第１、第２投写領域Ａ１、Ａ２の位置関係では、ｉ方向が第１配列方向になり、ｊ方向が第２配列方向になる。
【００７０】
ここで、第１の測定用パターンＤ１１の特徴図形Ｄ１１１のうちで、第２配列方向（ｊ方向）に並ぶ特徴図形Ｄ１１１からなる特徴図形列Ｄ１１２に着目する。特徴図形列Ｄ１１２に属する特徴図形Ｄ１１１は、第１の測定用パターンＤ１１の特徴図形Ｄ１１１のうちで、第１配列方向（ｉ方向）において第２の測定用パターンＤ１２との重畳側の端に配置されている。
【００７１】
特徴図形列Ｄ１１２に属する特徴図形Ｄ１１１の各々が示す特徴点（以下、単に特徴図形列Ｄ１１２の特徴点という）のｉｊ座標系での座標は、（ｉ，ｊ）＝（ａ、ｂ＋ｃＮ）で表される。ａは、特徴図形列Ｄ１１２の特徴点が属する画素列のうちで、第２配列方向（ｊ方向）の端に位置する画素（以下、基準画素という）のｉ方向の座標を示す。ｂは、特徴図形列Ｄ１１２の特徴点のうちで基準画素と最も近い位置の特徴点のｊ方向の座標を示す。ｃは、特徴点のピッチを示し、Ｎは０以上の整数（特徴図形列Ｄ１１２の特徴点の数はＮ＋１個）を示す。
【００７２】
同様に、第２の測定用パターンＤ１２の特徴図形列Ｄ１２２に着目する。特徴図形列Ｄ１２２に属する特徴図形Ｄ１２１は、第２の測定用パターンＤ１２の特徴図形Ｄ１２１のうちで、第２配列方向（ｊ方向）において第１の測定用パターンＤ１１との重畳側の端に配置されている。
【００７３】
特徴図形列Ｄ１２２の特徴点のｉｊ座標系での座標は、（ｉ，ｊ）＝（ｄ、ｅ＋ｃＭ）で表される。ｄは、特徴図形列Ｄ１２２に対する基準画素のｉ方向の座標を示す。ｅは、特徴図形列Ｄ１２２の特徴点のうちで基準画素に最も近い位置の特徴点のｊ方向の座標を示す。ｃは、特徴点のピッチを示し、Ｍは０以上の整数（特徴図形列Ｄ１２２の特徴点の数はＭ＋１個）を示す。
【００７４】
上記のａ〜ｅ、Ｎ、Ｍは下記の条件を満たすように設定されている。
ａ、ｄについては、自由に選択可能な値である。例えば第１、第２の測定用パターンＤ１１、Ｄ１２が互いに重ね合わされる領域に特徴点が配置されるように、ａ、ｄの値が設定される。
【００７５】
ｂ、ｅの値については、互いに異なっていれば特に限定されない。ただし、ｂとｅの差の絶対値が、上述したプロジェクターを設置するときの、第１、第２投写領域Ａ１、Ａ２の相対位置のずれ量の推定値（例えば、数ピクセル）よりも大きく（例えば、１０ピクセル以上）になるように、ｂ、ｅの値を設定するとよい。また、ｂとｅの差の絶対値が、ｃの略半分、すなわちｃ／２を四捨五入等により丸めた値の±１ピクセル程度になるように、ｂ、ｅの値を設定するとよい。
【００７６】
ｃは、第１、第２の測定用パターンＤ１１、Ｄ１２で共通の値であればよく、複数の特徴点で同じであってもよいし、異なってもよい。例えばＮ（またはＭ）が大きくなるにつれてｃが小さくなるようなＮ（またはＭ）の関数としてｃが設定されていてもよい。ｃの値を小さくするほど特徴点の数を増やすことができ、各プロジェクターの画像形成素子の画素の配列に占める画素の位置と、全体投写領域Ａ０に占める表示画素の位置との対応関係を高精度に求めることができる。ｃの値を大きくすると、測定用パターンの広範にわたり特徴点を配置しつつ特徴点の数を減らすことができ、上記の対応関係を求める上での演算の計算負荷を減らすことができるので、対応関係を効率よく求めることができる。以上の２つの観点の兼ね合いから、ｃの値としては、例えば数十ピクセル、一例として２０ピクセル以上１００ピクセル以下程度に設定するとよい。
【００７７】
以上の条件を、第１の測定用パターンＤ１１の特徴図形Ｄ１１１のうちで少なくとも、第２の測定用パターンＤ１２との重畳側の端に並ぶ特徴図形Ｄ１１１が満たすとともに、第２の測定用パターンＤ１２の特徴図形Ｄ１２１のうちで少なくとも、第１の測定用パターンＤ１１との重畳側の端に並ぶ特徴図形Ｄ１２１が満たすようになっていればよい。
【００７８】
被投写面９には、第１の測定用パターンＤ１１に相当する第１の投写測定用パターンＴ１１が表示される。第１の投写測定用パターンＴ１１には、特徴図形Ｄ１１１に相当する投写特徴図形Ｔ１１１が含まれる。同様に、被投写面９上に、第２の測定用パターンＤ１２に相当する第２の投写測定用パターンＴ１２が表示される。第２の投写測定用パターンＴ１２には、特徴図形Ｄ１２１に相当する投写特徴図形Ｔ１２１が含まれる。
【００７９】
ここで、第１、第２の投写測定用パターンＴ１１、Ｔ１２において、特徴図形列Ｄ１１２に相当する投写特徴図形列Ｔ１１２、および特徴図形列Ｄ１２２に相当する投写特徴図形列Ｔ１２２に着目する。上記の条件を満たすように第１、第２の測定用パターンＤ１１、Ｄ１２が設定されているので、投写特徴図形Ｔ１１１の位置と投写特徴図形Ｔ１２１の位置とが、第２配列方向（ｊ方向）に相当する被投写面９上での方向（垂直方向）で、ずれやすくなる。すなわち、投写特徴図形Ｔ１１１、Ｔ１２１が互いに重なり合う確率が低くなるので、第１、第２の測定用パターンＤ１１、Ｄ１２を並行して投写した場合でも、投写特徴図形Ｔ１１１および投写特徴図形Ｔ１２１を高精度に検出することが可能になる。
【００８０】
また、第１、第２投写領域Ａ１、Ａ２が並ぶ方向（水平方向）の交差方向（垂直方向）にて、投写特徴図形Ｔ１１１、Ｔ１２１の位置が互いにずれやすくなるので、第１、第２投写領域Ａ１、Ａ２の水平方向のオーバーラップ量に関らず、投写特徴図形Ｔ１１１、Ｔ１２１が互いに重なり合う確率が低くなる。水平方向のオーバーラップ量は、一対の投写領域を水平方向に並べたときに、１つの投写領域の水平方向の幅と、一対の投写領域が互いに重なり合う領域の水平方向の幅との比率等により表される。
【００８１】
特に、上述したように第１、第２投写領域Ａ１、Ａ２の相対位置のずれ量の推定値に基づいて、上記のｂ、ｅの値を例えば１０ピクセル以上に設定すると、第１、第２投写領域Ａ１、Ａ２の相対位置のずれを生じていても投写特徴図形Ｔ１１１、Ｔ１２１が互いに重なり合う確率が低くなる。また、ｂとｅの差の絶対値がｃの略半分になるようにｂ、ｅの値を設定すると、第１投写領域Ａ１が第２投写領域Ａ２に対して水平方向の正方向にずれる場合と負方向にずれる場合のいずれの場合においても、投写特徴図形Ｔ１１１、Ｔ１２１が互いに重なり合う確率が低くなる。
【００８２】
図６に示すように、補正情報演算部６１は、第１、第２の測定用パターンＤ１１、Ｄ１２の他に、第３の測定用パターンＤ１３を第３のプロジェクター２３に供給し、第４の測定用パターンＤ１４を第４のプロジェクター２４に供給する。第３の測定用パターンＤ１３は第３投写領域Ａ３に投写され、第４の測定用パターンＤ１４は第４投写領域Ａ４に投写される。
【００８３】
ここで、第３、第４投写領域Ａ３、Ａ４が並ぶ方向（水平方向）に相当する測定用画像データ上での画素の配列方向（ｉ方向）を第１配列方向とし、第１配列方向と直交する方向を第２配列方向（ｊ方向）とする。第３の測定用パターンＤ１３の特徴図形Ｄ１３１、第４の測定用パターンＤ１４の特徴図形Ｄ１４１のうちで、第１配列方向において第３、第４の測定用パターンＤ１３、Ｄ１４が互いに重畳される側の端に配置された特徴図形Ｄ１３１、Ｄ１４１（特徴図形列）に着目する。着目対象の各特徴点について、特徴図形Ｄ１３１が示す特徴点の第２配列方向の位置は、特徴図形Ｄ１４１が示すいずれの特徴点の第２配列方向の位置とも異なっている。
【００８４】
次に、第１、第３投写領域Ａ１、Ａ３が並ぶ方向（垂直方向）に相当する測定用パターンでの画素の配列方向（ｊ方向）を第１配列方向とし、第１配列方向と直交する方向を第２配列方向（ｉ方向）とする。第１の測定用パターンＤ１１の特徴図形Ｄ１１１、第３の測定用パターンＤ１３の特徴図形Ｄ１３１のうちで、第１、第３の測定用パターンＤ１１、Ｄ１３が互いに重畳される側の端に配置された特徴図形Ｄ１１１、Ｄ１３１（特徴図形列）に着目する。着目対象の各特徴図形について、特徴図形Ｄ１１１が示す特徴点の第２配列方向（ｉ方向）の位置は、特徴図形Ｄ１３１が示すいずれの特徴点の第２配列方向（ｉ方向）の位置とも異なっている。このような特徴点の位置の対応関係は、第２、第４の測定用パターンＤ１２、Ｄ１４についても成り立っている。
【００８５】
被投写面９には、第３の測定用パターンＤ１３に相当する第３の投写測定用パターンＴ１３が表示される。第３の投写測定用パターンＴ１３には、特徴図形Ｄ１３１に相当する投写特徴図形Ｔ１３１が含まれる。同様に、被投写面９上に、第４の測定用パターンＤ１４に相当する第４の投写測定用パターンＴ１４が表示される。第４の投写測定用パターンＴ１４には、特徴図形Ｄ１４１に相当する投写特徴図形Ｔ１４１が含まれる。上述の関係を満たすように、第１〜第４の測定用画像データが設定されているので、投写特徴図形Ｔ１１１〜Ｔ１１４のいずれについても、互いに重なり合う確率が低くなる。
【００８６】
図４の説明に戻り、撮影装置４は、被投写面９上の第１〜第４の投写測定用パターンＴ１１〜Ｔ１４を含んだ領域を撮影する（ステップＳ４）。
次いで、補正情報算出装置６の画像解析部６２は、撮影装置４により撮影された撮影画像の中の測定用パターン（撮影パターン）を検出する（ステップＳ５）。
【００８７】
ところで、投写測定用パターンごとに撮影を行い、複数回数の撮影を行う場合には、撮影と撮影の間に撮影装置が移動することがありえる。撮影装置が移動すると、撮影画像に占める投写測定用パターンの位置が撮影画像ごとに異なってしまい、特徴点を検出するための処理が複雑になる不都合や、検出した特徴点の位置の誤差が増す不都合がある。２以上のプロジェクターから投写された測定用パターンの全体を含む領域を撮影することにより、撮影回数を減らすことができ、撮影に要する手間や時間を減らすことや上記の不都合を回避することができる。
【００８８】
次いで、補正情報算出装置６の補正情報演算部６１は、撮影パターンと、測定用画像データが示す測定用パターンとを比較して、補正情報を算出する（ステップＳ６）。補正情報の算出方法としては、各プロジェクターの画像形成素子での画素の位置と、被投写面９上での画素の位置との対応関係を示す情報が得られる方法であれば、特に限定されない。例えば、補正情報の算出方法として下記の２つの方法が挙げられる。
【００８９】
第１の方法では、補正情報演算部６１が撮影パターンに含まれる特徴図形を検出し、撮影パターンにおける特徴図形ごとの特徴点の位置を求める。そして、測定用画像データに規定された測定用パターンを撮影パターンに変換する射影変換を求める。この射影変換により画像データ上の各画素の座標（ｉ，ｊ）を変換して、画素ごとのデータのテーブルとして補正情報を算出する。なお、撮影パターンを測定用画像データに規定された測定用パターンに変換する射影変換を求める場合でも、画像形成素子上での画素の座標と、被投写面での画素の位置との対応関係を示す補正情報が得られる。
【００９０】
図７は、補正情報の算出方法の一例を示す説明図である。図７には、測定画像用データに規定された測定用パターンＤの一部と、画像データ上での撮影パターンＴとを概念的に図示している。図７において、符号Ｄ１〜Ｄ４は、測定用パターンＤに含まれる特徴点を示す。特徴点Ｄ１〜Ｄ４は、各特徴点を順に結んだ線が領域Ｄ５の輪郭をなすように選択される。図７において、符号Ｔ１〜Ｔ４は、撮影パターンＴに含まれる特徴点を示す。特徴点Ｔ１〜Ｔ４は、投写された測定用パターンＤにおける特徴点Ｄ１〜Ｄ４に相当する特徴点である。特徴点Ｔ１〜Ｔ４を順に結んだ線は領域Ｔ５の輪郭をなしている。
【００９１】
射影変換の変換式は、下記の式（１）、式（２）で表すことができる。式（１）、式（２）において、（ｘ，ｙ）は変換前の任意の点のｉｊ座標（ｉ，ｊ）を示し、（Ｘ，Ｙ）はこの点の変換先のｉｊ座標（ｉ，ｊ）を示す。ａ〜ｈは変換係数を示し、ａ〜ｈを求めることにより、１つの射影変換が求まる。
Ｘ＝（ａｘ＋ｂｙ＋ｃ）／（ｇｘ＋ｈｙ＋１）・・・（１）
Ｙ＝（ｄｘ＋ｅｙ＋ｆ）／（ｇｘ＋ｈｙ＋１）・・・（２）
【００９２】
特徴点Ｄ１〜Ｄ４の各々の座標は、測定用画像データに規定されるので既知である。特徴点Ｔ１〜Ｔ４の各々の座標は、撮影パターンＴから特徴点を検出することにより、既知になっている。式（１）、式（２）の（ｘ，ｙ）に特徴点Ｄ１の座標を代入し、（Ｘ，Ｙ）に特徴点Ｔ１の座標を代入すると、ａ〜ｈの関係式が２つ得られる。同様に特徴点Ｄ２、Ｔ２の組、特徴点Ｄ３、Ｔ３の組、特徴点Ｄ４、Ｔ４の組のそれぞれの座標を代入することにより、ａ〜ｈの８つの未知数に対して８つの関係式が得られる。この８元１次方程式を解くことにより、領域Ｄ５を領域Ｔ５に変換する射影変換のａ〜ｈが得られる。得られた射影変換に対して、領域Ｄ５の周上および内側に含まれる各画素の座標を（ｘ，ｙ）に代入することにより、領域Ｄ５の各画素と１対１で対応する領域Ｔ５での各画素の座標が求まる。
【００９３】
ここでは、測定用パターンに含まれる特徴点から特徴点Ｄ１〜Ｄ４を選択して、測定用パターンＤの一部をなす領域Ｄ５に対する射影変換を求める。そして、異なる特徴点を特徴点Ｄ１〜Ｄ４として選択することにより、領域Ｄ５を異ならせて射影変換を求める。得られた射影変換を用いて、上述のようにして領域Ｄ５の各画素と１対１で対応する領域Ｔ５での各画素の座標を求める。以下同様にして測定用パターンの部分ごとの射影変換を求め、測定用パターンの各画素の座標と、画素ごとに対応する撮影パターンの画素の座標を求める。測定用パターンの各画素の座標は、プロジェクターの画像形成素子における画素の位置と対応関係がある。また、撮影パターンの画素の座標は、被投写面での画素の位置と対応関係がある。したがって、結果的に画像形成素子上での画素の座標と、被投写面での画素の位置との対応関係を示す補正情報が得られる。
【００９４】
例えば、画像形成素子の各画素の座標に対して上記の射影変換を行うことにより、被投写面９上での画素（以下、変換画素という）の座標が求まる。変換画素の座標の最大値や最小値を参照することにより、有効投写領域Ａの範囲が自動または手動で設定される。そして、有効投写領域Ａの中に、コンテンツ画像の形式や画素数に応じた画素（表示画素）の配列を配置するものとして、被投写面９上での各表示画素の座標を上記の有効投写領域Ａの範囲の設定値から求める。表示画素の座標が変換画素の座標からずれる場合には、表示画素の周囲に位置する変換画素に供給される画素データを用いて表示画素の画素データを補間により求めるべく、周囲の変換画素と表示画素との距離に応じた補間の重み付けを示す補間係数を求めておいてもよい。この補間係数は表示画素ごとの固定値になるので、補正情報の一部として保存しておくとよい。
【００９５】
第２の方法では、第１の方法と同様に撮影パターンにおける特徴図形ごとの特徴点の位置を求める。そして、撮影パターンを測定用画像データに規定された測定用パターンに変換する射影変換（第１の方法での射影変換の逆変換）を求める。また、例えば撮影パターンに含まれる特徴点の位置を用いて全体投写領域Ａ０の範囲を推定し、有効投写領域Ａの範囲を自動または手動で設定する。そして、有効投写領域Ａの中に、コンテンツ画像の形式や画素数に応じた表示画素の配列を配置するものとして、被投写面９上での各表示画素の座標を上記の有効投写領域Ａの範囲の設定値から求める。得られた各表示画素の座標を射影変換により変換することにより、被投写面９上での各表示画素に対応する画像形成素子上の画素（以下、変調単位という）の位置が求まる。得られた変調単位の位置が、実際の変調単位の位置と整合しない場合、すなわち変調単位に２以上の表示画素が対応する場合には、必要に応じて各変調単位に入力される画素データを補間により求めるべく、補間係数を求めておいてもよい。上述のように、求めた補間係数は補正情報の一部として保存しておくとよい。
【００９６】
図４の説明に戻り、コンテンツ画像Ｐを表示するときに画像制御装置５は、コンテンツ画像Ｐを示す画像データに基づいて各プロジェクター用の部分画像データを作成するとともに、画像データに対して補正情報を用いて位置補正処理を施す（ステップＳ７）。
【００９７】
次いで、画像処理装置３は、位置補正処理の補正後の部分画像データを、対象となるプロジェクターに供給する。第１〜第４のプロジェクター２１〜２４の各々は、供給された部分画像データに基づいて部分画像を投写する（ステップＳ８）。このようにして、第１〜第４の部分画像Ｐ１〜Ｐ４からなるコンテンツ画像Ｐが表示される。
【００９８】
本実施形態の補正情報算出装置によれば、複数のプロジェクター２で並行して測定用パターンＤ１１〜Ｄ１４を投写させた場合でも、被投写面９上で投写特徴図形Ｔ１１１、Ｔ１２１、Ｔ１３１、Ｔ１４１が重なり合うことを回避可能になる。したがって、複数のプロジェクターで並行して測定用パターンを投写させつつ、投写された特徴図形の位置を高精度に検出することができる。よって、被投写面上での画素の位置と画像データに規定された画素の位置との対応関係を示す補正情報を効率よく取得可能になる。
【００９９】
また、第１〜第４の測定用パターンＤ１１〜１４で、特徴図形の形状や寸法が同じになっているので、特徴図形を検出する処理の複雑化を回避することができる。また、第１〜第４の測定用パターンＤ１１〜１４で、特徴図形の外部および内部の色調が略同じになっているので、色ムラなどによる特徴図形の検出精度の低下を回避することができる。
【０１００】
本実施形態の画像処理装置や画像処理方法によれば、補正情報を取得するのに要する手間や時間を省きつつ、部分画像の歪や相対位置のずれを高精度に補正可能になる。
本実施形態の画像表示システムによれば、補正情報を取得する上での手間や時間を省くことができるので利便性が高くなり、また部分画像の歪や相対位置のずれが高精度に補正されるので、コンテンツ画像を大画面、高解像度、あるいは高輝度で表示可能になる。
【０１０１】
なお、本発明の技術範囲は上記の実施形態に限定されるものではない。例えば、本発明に適用可能な測定用パターンについては多様な変形が考えられる。以下、測定用パターンの例について説明する。
【０１０２】
図８（ａ）は第２の例の測定用パターンの説明図、図８（ｂ）は投写された第２例の測定用パターンを示す説明図である。第２の例の測定用パターンは、複数のプロジェクターに共通して用いることができる測定用パターンの一例である。図８（ｂ）では、隣り合う測定用パターンで特徴図形の区別を分かりやすく示すために、便宜上、測定用パターンごとに特徴図形を異なるマークで示している。
【０１０３】
図８（ａ）に示す第２の例の測定用パターンＤ１５は、複数の特徴図形Ｄ１５１を含んでいる。複数の特徴図形Ｄ１５１は、第１〜第４の配置領域Ｄ１５２〜Ｄ１５５に分かれて配置されている。各配置領域で特徴図形Ｄ１５１は、ｉ方向およびｊ方向の各々において所定のピッチで規則的に並んでいる。
【０１０４】
第１の配置領域Ｄ１５２と第２の配置領域Ｄ１５３はｉ方向に並んでおり、第３の配置領域Ｄ１５４と第４の配置領域Ｄ１５５はｉ方向に並んでいる。ｉ方向に並ぶ一対の配置領域、例えば第１の配置領域Ｄ１５２と第２の配置領域Ｄ１５３に着目する。一対の配置領域において、ｉ方向の最も外側に配置された特徴図形Ｄ１５１は、ｊ方向に規則的に並んでおり、特徴図形列を構成している。
【０１０５】
第１の配置領域Ｄ１５２の第１の特徴図形列Ｄ１５６に属する各特徴図形が示す特徴点のｊ方向の座標は、第２の配置領域Ｄ１５３の第２の特徴図形列Ｄ１５７に属するいずれの特徴図形が示す特徴点のｊ方向の座標とも異なっている。ここでは、第１の配置領域Ｄ１５２の特徴図形Ｄ１５１の位置をｉ方向に平行シフトした場合に、そのシフト量に関らず、第１の配置領域Ｄ１５２の各特徴図形の位置が、第２の配置領域Ｄ１５３のいずれの特徴図形Ｄ１５１の位置とも一致しないようになっている。第３の配置領域Ｄ１５４の特徴図形Ｄ１５１の配置と、第４の配置領域Ｄ１５５の特徴図形の配置との関係も同様になっている。
【０１０６】
第１の配置領域Ｄ１５２と第３の配置領域Ｄ１５４はｊ方向に並んでおり、第２の配置領域Ｄ１５３と第４の配置領域Ｄ１５５はｊ方向に並んでいる。ｊ方向に並ぶ一対の配置領域、例えば第１の配置領域Ｄ１５２と第３の配置領域Ｄ１５４に着目する。一対の配置領域において、ｊ方向の最も外側に配置された特徴図形Ｄ１５１は、ｉ方向に規則的に並んでおり、特徴図形列を構成している。
【０１０７】
第１の配置領域Ｄ１５２の第３の特徴図形列Ｄ１５８に属する各特徴図形が示す特徴点のｉ方向の座標は、第３の配置領域Ｄ１５４の第４の特徴図形列Ｄ１５９に属するいずれの特徴図形が示す特徴点のｉ方向の座標とも異なっている。ここでは、第１の配置領域Ｄ１５２の特徴図形Ｄ１５１の位置をｊ方向に平行シフトした場合に、そのシフト量に関らず、第１の配置領域Ｄ１５２の各特徴図形の位置が、第３の配置領域Ｄ１５４のいずれの特徴図形Ｄ１５１の位置とも一致しないようになっている。第２の配置領域Ｄ１５３の特徴図形Ｄ１５１の配置と、第４の配置領域Ｄ１５５の特徴図形Ｄ１５１の配置との関係も同様になっている。
【０１０８】
図８（ｂ）に示すように、第１のプロジェクター２１から投写された測定用パターンＤ１５は、被投写面９上に第１の投写測定用パターンＴ１６が表示される。第１の投写測定用パターンＴ１６は、特徴図形Ｄ１５１に相当する投写特徴図形Ｔ１６１を含んでいる。同様に、第２〜第４のプロジェクター２２〜２４により第２〜第４の投写測定用パターンＴ１７〜Ｔ１９が表示される。第２〜第４の投写測定用パターンＴ１７〜Ｔ１９は、それぞれ、特徴図形Ｄ１５１に相当する投写特徴図形Ｔ１７１、Ｔ１８１、Ｔ１９１を含んでいる。
【０１０９】
第１の投写測定用パターンＴ１６は、第２の投写測定用パターンＴ１７と水平方向に並んでいる。第１、第２の投写測定用パターンＴ１６、Ｔ１７の水平方向に並ぶ表示画素は、測定用パターンＤ１５のｉ方向に並ぶ画素に相当する。第１、第２の投写測定用パターンＴ１６、Ｔ１７が並ぶ方向に相当するｉ方向を第１配列方向とし、ｊ方向を第２配列方向としたときに、第１の特徴図形列Ｄ１５６の各特徴点の第２配列方向（ｊ方向）の座標が、第２の特徴図形列Ｄ１５７のいずれの特徴点のｊ方向の座標とも異なっている。したがって、投写特徴図形Ｔ１６１の垂直方向の位置が、投写特徴図形Ｔ１７１の垂直方向の位置とずれやすくなり、第１、第２の投写測定用パターンＴ１６、Ｔ１７の水平方向のオーバーラップ量に関らず、投写特徴図形Ｔ１６１、Ｔ１７１が重なり合うことが回避される。第３の投写測定用パターンＴ１８は、第４の投写測定用パターンＴ１９と水平方向に並んでおり、同様の理由により、第３、第４の投写測定用パターンＴ１８、Ｔ１９の水平方向のオーバーラップ量に関らず、投写特徴図形Ｔ１８１、Ｔ１９１が重なり合うことが回避される。
【０１１０】
第１の投写測定用パターンＴ１６は、第３の投写測定用パターンＴ１８と垂直方向に並んでいる。第１、第３の投写測定用パターンＴ１６、Ｔ１８の垂直方向に並ぶ表示画素は、測定用パターンＤ１５のｊ方向に並ぶ画素に相当する。第１、第２の投写測定用パターンＴ１６、Ｔ１８が並ぶ方向に相当するｊ方向を第１配列方向とし、ｉ方向を第２配列方向としたときに、第３の特徴図形列Ｄ１５８の各特徴点の第２配列方向（ｉ方向）の座標が、第４の特徴図形列Ｄ１５９のいずれの特徴点のｉ方向の座標とも異なっている。したがって、投写特徴図形Ｔ１５１の水平方向の位置が、投写特徴図形Ｔ１８１の水平方向の位置とずれやすくなり、第１、第３の投写測定用パターンＴ１６、Ｔ１８の垂直方向のオーバーラップ量に関らず、投写特徴図形Ｔ１６１、Ｔ１８１が重なり合うことが回避される。第２の投写測定用パターンＴ１７は、第４の投写測定用パターンＴ１９と垂直方向に並んでおり、同様の理由により、第２、第４の投写測定用パターンＴ１７、Ｔ１９の水平方向のオーバーラップ量に関らず、投写特徴図形Ｔ１７１、Ｔ１９１が重なり合うことが回避される。
【０１１１】
以上のように第２の例の測定用パターンによれば、特徴図形Ｄ１５１の配置が同じである測定用パターンを複数のプロジェクター２で並行して投写させた場合でも、被投写面９上で投写特徴図形Ｔ１６１、Ｔ１７１、Ｔ１８１、Ｔ１９１が重なり合うことを回避可能になる。したがって、上記の実施形態と同様の理由により、被投写面上での画素の位置と画像データに規定された画素の位置との対応関係を示す補正情報を効率よく取得可能になる。
複数のプロジェクター２で特徴図形Ｄ１５１の配置が同じである測定用パターンを用いるので、測定用画像データの作成等に要する手間を減らすことができる、また、いずれのプロジェクターに投写された測定用パターンも特徴図形の配置が同様であるので、いずれの投写測定用パターンの特徴点も同様のアルゴリズムにより検出可能になり、特徴点の検出に要する手間を減らすことができる。
【０１１２】
図９は、第３の例の測定用パターンの説明図である。
図９に示すように、第３の例の測定用パターンとしての第５〜第８の測定用パターンＤ２１〜Ｄ２４は、上記の実施形態で説明した第１の例における特徴図形（以下、第１の特徴図形という）に加えて、第２の特徴図形を含んでいる。
【０１１３】
詳しくは、第５の測定用パターンＤ２１は、第１の特徴図形Ｄ１１１に加えて第２の特徴図形Ｄ２１１を含んでいる。第２の特徴図形Ｄ２１１は、第１の特徴図形Ｄ１１１よりも大面積のものであり、例えば矩形や円形等の単純形状のものである。本例では、略矩形の第２の特徴図形Ｄ２１１が、第５の測定用パターンＤ２１の概ね中央に配置されている。ここでは、第２の特徴図形Ｄ２１１の内側に第５の測定用パターンＤ２１の中心位置が含まれる位置関係になっている。同様に、第６の測定用パターンＤ２２は第２の特徴図形Ｄ２２１を含んでおり、第７の測定用パターンＤ２３は第２の特徴図形Ｄ２３１を、第８の測定用パターンＤ２４は第２の特徴図形Ｄ２４１をそれぞれ含んでいる。
【０１１４】
第５の測定用パターンＤ２１は、第１のプロジェクター２１により投写され、被投写面９上に第５の投写測定用パターンＴ２１として表示される。第５の投写測定用パターンＴ２１は、第１の特徴図形Ｄ１１１に相当する第１の投写特徴図形Ｔ１１１と、第２の特徴図形Ｄ２１１に相当する第２の投写特徴図形Ｔ２１１とを含んでいる。同様に、第６〜第８の測定用パターンＤ２２〜Ｄ２４は、第２〜第４のプロジェクター２２〜２４により投写され、被投写面９上に第６〜第８の投写測定用パターンＴ２２〜Ｔ２４として表示される。第６〜第８の投写測定用パターンＴ２２〜Ｔ２４は、第２の投写特徴図形Ｔ２２１、Ｔ２３１、Ｔ２４１を含んでいる。
【０１１５】
第５〜第８の投写測定用パターンＴ２１〜Ｔ２４を撮影した撮影画像から第１の特徴図形を検出するには、まず第２の特徴図形を検出する。第２の特徴図形は、第１の特徴図形よりも大面積であるとともに単純形状であるので、例えばハフ変換等により容易に検出することができる。測定用パターンに占める第１、第２の特徴図形の位置は、測定用画像データに規定されており既知であるので、検出された第２の特徴図形の位置情報を用いると、撮影投写パターンに占める第１の特徴図形の概位置を推定することができる。この概位置を用いて、例えば概位置周りの所定の領域を探索して第１の特徴図形を検出する。これにより、第１の特徴図形の検出に要する演算負荷を減らすことができ、補正情報を効率よく得ることが可能になる。また、演算負荷を増すことなく、第１の特徴図形を探索するときの領域の刻み幅を細かくすることが可能になり、第１の特徴図形の検出の失敗数を減らすことができる。また、第１の特徴図形の検出の失敗を生じたときに、例えば第１の特徴図形の概位置の推定値を検出結果として代用することが可能になり、処理のロバスト性を高めることができる。
【符号の説明】
【０１１６】
１・・・画像表示システム、２・・・プロジェクター、３・・・画像処理装置、
４・・・撮影装置、５・・・画像制御装置、６・・・補正情報算出装置、
８・・・信号源、９・・・被投写面、２１・・・第１のプロジェクター、
２２・・・第２のプロジェクター、２３・・・第３のプロジェクター、
２４・・・第４のプロジェクター、５１・・・画像入力部、５２・・・画像保存部、
５３・・・画像補正部、５４・・・画像出力部、６１・・・補正情報演算部、
６２・・・画像解析部、６３・・・記憶部、Ａ・・・有効投写領域、
Ａ０・・・全体投写領域、Ａ１・・・第１投写領域、Ａ２・・・第２投写領域、
Ａ３・・・第３投写領域、Ａ４・・・第４投写領域、Ｄ・・・測定用パターン、
Ｄ１〜Ｄ４・・・特徴点、Ｄ５・・・領域、
Ｄ１１〜Ｄ１５、Ｄ２１〜Ｄ２４・・・測定用パターン、
Ｄ１１１・・・特徴図形（第１の特徴図形）、Ｄ１１２・・・特徴図形列、
Ｄ１２１・・・特徴図形、Ｄ１２２・・・特徴図形列、
Ｄ１３１、Ｄ１４１、Ｄ１５１・・・特徴図形、Ｄ１５２・・・第１の配置領域、
Ｄ１５３・・・第２の配置領域、Ｄ１５４・・・第３の配置領域、
Ｄ１５５・・・第４の配置領域、Ｄ１５６・・・第１の特徴図形列、
Ｄ１５７・・・第２の特徴図形列、Ｄ１５８・・・第３の特徴図形列、
Ｄ１５９・・・第４の特徴図形列、
Ｄ２１１、Ｄ２２１、Ｄ２３１、Ｄ２４１・・・第２の特徴図形、
Ｐ・・・コンテンツ画像（画像）、Ｐ１・・・第１の部分画像、
Ｐ２・・・第２の部分画像、Ｐ３・・・第３の部分画像、Ｐ４・・・第４の部分画像、
Ｐ５・・・重畳領域、Ｓ１〜Ｓ８・・・ステップ、Ｔ・・・撮影パターン、
Ｔ１〜Ｔ４・・・特徴点、Ｔ５・・・領域、
Ｔ１１〜Ｔ１４、Ｔ１６〜Ｔ１９、Ｔ２１〜Ｔ２４・・・投写測定用パターン、
Ｔ１１１・・・投写特徴図形（第１の投写特徴図形）、
Ｔ１１２、Ｔ１２１・・・投写特徴図形、Ｔ１２２・・・投写特徴図形列、
Ｔ１３１、Ｔ１４１、Ｔ１５１、Ｔ１６１、Ｔ１７１、Ｔ１８１・・・投写特徴図形、
Ｔ２１１、Ｔ２２１、Ｔ２３１、Ｔ２４１・・・第２の投写特徴図形
【技術分野】
【０００１】
本発明は、補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法に関する。
【背景技術】
【０００２】
従来から、画像表示装置の１つとしてプロジェクターが知られている。プロジェクターは、設置が容易であることや、大画面の画像を表示可能であること等の特長を有している。近年、複数のプロジェクターを用いて１つの画像を表示する画像表示システムが提案されている（例えば、特許文献１）。
【０００３】
特許文献１の画像表示システムは、複数のプロジェクターの各々に部分画像を投写させ、複数の部分画像の全体で１つの画像を表示するものである。隣り合う部分画像で互いの周縁部を重ね合わせることにより、部分画像の継ぎ目を認識されにくくなっている。また、被投写面上の部分画像の幾何変形を補正しており、画像歪が低減されている。
【０００４】
特許文献１では部分画像の幾何補正を行うために、以下の処理を行っている。まず、マーカーを含んだテスト画像を表示させ、表示されたテスト画像を撮影する。そして、テスト画像を示す画像データ上でのマーカーの位置と、テスト画像を撮影した撮影画像の中のマーカーの位置との対応関係に基づいて、画素の位置の補正量を示す補正情報をプロジェクターごとに求める。視聴者向けの画像（以下、コンテンツ画像という）を表示するときに、コンテンツ画像を示す画像データを上記の補正情報に基づいて補正し、補正後の画像データに基づいて部分画像を表示させる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−７２３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術にあっては、上記の補正情報を求めるまでの手間や時間を減らす上で改善の余地がある。詳しくは、特許文献１において、複数のプロジェクターから同時にテスト画像を投写させると、隣り合うテスト画像で互いのマーカーが重なり合うことがある。すると、重なり合ったマーカーの位置を高精度に検出することが難しくなり、補正情報を高精度に求めることが難しくなる。
【０００７】
この不都合を解消するには、例えば各プロジェクターの投写のタイミングを複数のプロジェクターでずらしてテスト画像を投写させ、各プロジェクターによるテスト画像を個別に撮影する方法が考えられる。この方法では、プロジェクターの数が増えるほど、テスト画像の投写や撮影に要する手間や時間が増えるという不都合がある。また、先の撮影から次の撮影までに撮影装置が移動することもありえる。撮影装置が移動すると、撮影画像の中でのマーカーの位置に誤差を生じてしまう。すると、複数の部分画像の位置が互いにずれる条件で補正情報が算出され、この補正情報により補正された画像データに基づいて投写された部分画像に歪や位置ずれを生じてしまう。
【０００８】
本発明は、上記の事情に鑑み成されたものであって、コンテンツ画像の一部をなす各部分画像の歪や、複数の部分画像での相対位置のずれの補正に用いる補正情報を効率よく取得可能な補正情報算出装置、画像処理装置、画像表示システム、および画像処理方法を提供することを目的の１つとする。
【課題を解決するための手段】
【０００９】
本発明では、上記の目的を達成するために以下の手段を採用している。
【００１０】
本発明の補正情報算出装置は、画像形成素子を有するプロジェクターによって被投写面上に投写される画像における画素の位置と、前記画像形成素子における画素の位置との対応関係を示す補正情報を算出する補正情報算出装置であって、特徴点を規定する特徴図形を複数含んだ第１の測定用パターンを示す第１の測定用画像データを前記被投写面上の第１投写領域に投写する第１のプロジェクターに供給するとともに、特徴点を規定する特徴図形を複数含んだ第２の測定用パターンを示す第２の測定用画像データを前記第１投写領域と重なり合う重畳領域を含んだ第２投写領域に投写する第２のプロジェクターに供給する供給部と、前記第１及び第２の測定用画像データに基づいて前記第１及び第２のプロジェクターにより被投写面上に投写された前記第１及び第２の測定用パターンを撮影した撮影パターンにおける複数の前記特徴点の位置と、前記第１及び第２の測定用画像データに規定された複数の前記特徴点の位置とを比較して、前記補正情報を算出する算出部と、を備え、前記第１投写領域と前記第２投写領域とが並ぶ方向に相当する前記第１及び第２の測定用パターンの画素の配列方向を第１配列方向とし、前記第１配列方向の交差方向を第２配列方向としたときに、前記第１及び第２の測定用パターンは、前記複数の特徴図形のうちで前記第１配列方向における他の測定用パターンとの重畳側の端に配置された２以上の前記特徴図形により構成される特徴図形列を含み、前記第１の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置が、前記第２の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置と異なることを特徴とする。
【００１１】
本発明においては、上記のように、特徴点列に属する各特徴点の第２配列方向の位置が、第１の測定用画像データと第２の測定用画像データとで異なる。したがって、第１のプロジェクターにより投写された測定用パターンと、第２のプロジェクターにより投写された測定用パターンとで、第１投写領域と第２投写領域とが並ぶ方向の交差方向に特徴点の位置がずれやすくなる。よって、第１のプロジェクターと第２のプロジェクターとで並行して測定用パターンを投写させた場合でも、被投写面上で特徴点が重なり合うことが回避される。すなわち、複数のプロジェクターで並行して測定用パターンを投写させつつ、投写された特徴点の位置を高精度に検出することができる。このように、本発明によれば、被投写面上での画素の位置と画像データに規定された画素の位置との対応関係を示す補正情報を効率よく取得可能になる。
【００１２】
本発明の補正情報算出装置としては、前記第１の測定用パターンにおける前記複数の特徴図形の配置が、前記第２の測定用パターンにおける前記複数の特徴図形の配置と同じであって、該測定用パターンは、前記第１配列方向の一端に配置された第１の前記特徴図形列と、他端に配置された第２の前記特徴図形列とを含み、前記第１の特徴図形列に属する各特徴図形の前記第２配列方向の位置が、前記第２の特徴図形列に属する各特徴図形の前記第２配列方向の位置と異なるものであってもよい。
【００１３】
このようにすれば、第１の測定用画像データと第２の測定用画像データで、測定用パターンにおける複数の特徴点の配置を同じしつつ、被投写面上で特徴点が重なり合うことを回避可能になる。したがって、測定用画像データの作成等に要する手間を減らすことや、投写された測定用パターンから特徴点を検出するのに要する手間を減らすことができる。
【００１４】
本発明の画像処理装置は、本発明に係る補正情報算出装置と、前記補正情報算出装置により算出された前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正する画像補正部と、を備えていることを特徴とする。
【００１５】
本発明の補正情報算出装置によれば、補正情報を効率よく取得可能であるので、本発明の画像処理装置は、補正情報を取得する上での手間を省きつつ、部分画像の歪や相対位置のずれを補正可能なものになる。
【００１６】
本発明の画像表示システムは、本発明に係る画像処理装置と、記画像処理装置により補正された前記補正後の画像データに基づいて画像を投写する複数のプロジェクターと、を備えていることを特徴とする。
【００１７】
本発明の画像処理装置によれば、補正情報を取得する上での手間省きつつ、部分画像の歪や相対位置のずれを高精度に補正可能になるので、本発明の画像表示システムは、利便性が高く、しかも高品質な画像を表示可能なものになる。
【００１８】
本発明に係る画像表示システムは、前記測定用パターンが投写された前記第１投写領域および前記第２投写領域を含む領域を撮影する撮影装置を備え、前記補正情報算出装置は、前記撮影装置により撮影された撮影画像のうちの前記撮影パターンを用いて前記補正情報を算出するものであってもよい。
【００１９】
このようにすれば、第１投写領域と第２投写領域とを独立して撮影するよりも、撮影回数を減らすことができ、補正情報を効率よく取得可能になる。また、撮影と撮影との間に撮影装置の位置ずれを生じる確率が低くなるので、撮影装置の位置ずれに起因する特徴図形の位置の誤差を減らすことができる。
【００２０】
本発明の画像処理方法は、特徴点を規定する特徴図形を複数含んだ第１の測定用パターンを示す第１の測定用画像データを前記被投写面上の第１投写領域に投写する第１のプロジェクターに供給するとともに、特徴点を規定する特徴図形を複数含んだ第２の測定用パターンを示す第２の測定用画像データを前記第１投写領域と重なり合う重畳領域を含んだ第２投写領域に投写する第２のプロジェクターに供給する測定用データ供給ステップと、前記測定用画像データに基づいて前記プロジェクターにより被投写面上に投写された測定用パターンを撮影した撮影パターンにおける複数の前記特徴点の位置と、前記測定用画像データに規定された複数の前記特徴点の位置とを比較して、前記被投写面上での画素の位置と前記プロジェクターの画像形成素子での画素の位置との対応関係を示す補正情報を算出するステップと、前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正するステップと、を有し、前記第１投写領域と前記第２投写領域とが並ぶ方向に相当する前記測定用パターンの画素の配列方向を第１配列方向とし、前記第１配列方向の交差方向を第２配列方向としたときに、前記測定用パターンは、前記複数の特徴図形のうちで前記第１配列方向における他の測定用パターンとの重畳側の端に配置された２以上の前記特徴図形により構成される特徴図形列を含み、前記第１の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置を、前記第２の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置と異ならせること特徴とする。
【００２１】
このようにすれば、各部分画像の歪や複数の部分画像での相対位置のずれを高精度に補正になる補正情報を効率よく取得可能になり、補正情報を取得する上での手間を省きつつ、部分画像の歪や相対位置のずれを高精度に補正可能になる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る画像表示システムを示す概略図である。
【図２】被投写面上の投写領域の位置関係を示す説明図である。
【図３】画像表示システムの構成を示す図である。
【図４】コンテンツ画像を表示するまでの処理フローを示す図である。
【図５】第１の例の測定用パターンを示す説明図である。
【図６】投写された第１の例の測定用パターンの組合せを示す説明図である。
【図７】補正情報の算出方法の一例を示す説明図である。
【図８】（ａ）は第２の例の測定用パターンの説明図、（ｂ）は投写された第２例の測定用パターンを示す説明図である。
【図９】第３の例の測定用パターンの説明図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照しつつ本発明の実施形態を説明する。説明に用いる図面において、特徴的な部分を分かりやすく示すために、図面中の構造の寸法や縮尺を実際の構造に対して異ならせている場合がある。また、実施形態において同様の構成要素については、同じ符号を付して図示し、その詳細な説明を省略する場合がある。
【００２４】
図１は、本発明の一実施形態である画像表示システムの概念図、図２は被投写面に投写された画像と投写領域との関係を示す説明図である。
【００２５】
図１に示すように画像表示システム１は、複数のプロジェクター２、画像処理装置３、および撮影装置４を備えている。画像表示システム１は、例えば信号源８から入力された画像データが示すコンテンツ画像Ｐを複数のプロジェクター２で分担して、スクリーンや壁等の被投写面９に投写する。ここでは、複数のプロジェクター２として第１のプロジェクター２１、第２のプロジェクター２２、第３のプロジェクター２３、および第４のプロジェクター２４が設けられているとして説明する。本発明の適用範囲は、複数のプロジェクターを用いるものであれば、プロジェクターの数や配置に限定されない。なお、以下の説明では、複数のプロジェクターの各々から投写された画像を、「部分画像」と称することがある。また、以下の説明では、部分画像を示す画像データを「部分画像データ」と称することがある。
【００２６】
プロジェクター２は、供給された画像データ（ここでは部分画像データ）に基づいて画像（ここでは部分画像）を表示可能である。本発明の適用範囲は、プロジェクター２の構成に限定されない。例えば、プロジェクター２は、単板式のプロジェクターであってもよいし、三板式のプロジェクター等の複数の画像形成素子を含んだものであってもよい。また、プロジェクター２は、被投写面９に対して視聴者と同じ側から投写するフロント投写型のものであってもよいし、被投写面９を挟んで視聴者と反対側から投写するリア投写型のものであってもよい。
【００２７】
本実施形態の複数のプロジェクター２は、光源、画像形成素子、および投写光学系を有している。画像形成素子は、二次元的に配列された複数の画素を有するものである。画像形成素子としては、例えば透過型または反射型の液晶ライトバルブや、デジタルミラーデバイス（ＤＭＤ）等が挙げられる。各プロジェクターにおいて、光源から射出された光は、画像形成素子に入射する。画像形成素子は、このプロジェクターへ入力された部分画像データの画素ごとのデータ（以下、画素データという）に基づいて、複数の画素を互いに独立して制御する。画素に入射した光は、画素ごとに変調されて画素データに規定された光量の光になる。複数の画素により変調された光が全体として光学像（画像）になり、この光学像が投写光学系により被投写面９に投写される。ここでは、複数のプロジェクターで、画像形成素子の画素数および画素の配列が一致している。
【００２８】
各プロジェクターが被投写面９上に投写可能な領域である投写領域は、複数のプロジェクター２で異ならせて設定されている。図２に示すように、第１〜第４投写領域Ａ１〜Ａ４は、互いの周縁部が重なり合うように設定されており、全体として全体投写領域を構成している。すなわち、第１〜第４投写領域Ａ１〜Ａ４の各々は、隣接する他の投写領域と重畳された重畳領域Ｐ５を含んでいる。
【００２９】
第１のプロジェクター２１の投写領域（第１投写領域Ａ１）は、第２のプロジェクター２２の投写領域（第２投写領域Ａ２）と被投写面９上の水平方向に並んでいる。この水平方向において、第１投写領域Ａ１の端部は、第２投写領域Ａ２の端部と重ね合わされている。第３のプロジェクター２３による投写領域（第３投写領域Ａ３）と、第４のプロジェクター２４による投写領域（第４投写領域Ａ４）との水平方向の位置関係については、第１、第２投写領域Ａ１、Ａ２の水平方向の位置関係と同様になっている。
【００３０】
第１投写領域Ａ１は、被投写面９上の水平方向と直交する垂直方向に第３投写領域Ａ３と並んでいる。この垂直方向において、第１投写領域Ａ１の端部（周縁部）は第３投写領域Ａ３の端部（周縁部）と重ね合わされている。第２投写領域Ａ２と第４投写領域Ａ４との垂直方向の位置関係については、第１、第３投写領域Ａ１、Ａ３の垂直方向の位置関係と同様になっている。
【００３１】
ところで、通常は全体投写領域Ａ０の外形が矩形にならない。これは、第１〜第４のプロジェクター２１〜２４の配置に起因して、第１〜第４投写領域Ａ１〜Ａ４の歪や相対位置のずれを生じるからである。ここでは、全体投写領域Ａ０に収まる略矩形の領域を実際に画像の投写に用いる領域（有効投写領域Ａ）としている。第１〜第４のプロジェクター２１〜２４は、各投写領域のうちで有効投写領域Ａに収まる領域に対して部分画像を投写するようになっている。
【００３２】
例えば、第１のプロジェクター２１から投写された光により、第１投写領域Ａ１のうちで有効投写領域Ａに収まる領域に、第１の部分画像Ｐ１が表示される。以下同様に、第２〜第４のプロジェクター２２〜２４により、第２〜第４の部分画像Ｐ２〜Ｐ４が表示される。第１〜第４の部分画像Ｐ１〜Ｐ４は、互いに端部を重ね合わされて被投写面９上に表示され、全体としてコンテンツ画像Ｐを構成する。
【００３３】
図１の説明に戻り、画像処理装置３は、コンテンツ画像Ｐを示す画像データを例えば信号源８から受け取る。画像処理装置３は、画像データに各種処理（後述する）を施すとともに、画像データに基づいて複数の部分画像データを生成する。各部分画像データは、第１〜第４の部分画像Ｐ１〜Ｐ４のいずれかを示すデータである。画像処理装置３は、第１〜第４のプロジェクター２１〜２４の各々に、各プロジェクターが担当する部分画像を示す部分画像データを供給する。第１〜第４のプロジェクター２１〜２４は、画像処理装置３から入力された部分画像データに基づいて、被投写面９上に第１〜第４の部分画像Ｐ１〜Ｐ４を投写する。
【００３４】
画像処理装置３は、上記の各種処理の１つとして、第１〜第４の部分画像Ｐ１〜Ｐ４の各々の画像歪を補正するとともに、第１〜第４の部分画像Ｐ１〜Ｐ４の相対位置のずれを補正する処理（以下、位置補正処理という）を行う。画像処理装置３は、画像表示システム１の設置時や、画像表示システム１の設置時から所定期間が経過したメンテナンス時等の適宜選択されるタイミングに、位置補正処理に用いる補正情報を算出する。
【００３５】
上記の画像歪の１例として、例えば被投写面９に対する第１〜第４のプロジェクター２１〜２４の各々の投写方向、すなわち垂直方向の仰角や俯角、水平方向の煽り角等に応じて発生する画像歪（例えばキーストン歪）が挙げられる。画像歪の他の例として、例えば布状のスクリーンのたわみ等により、被投写面９が局所的に歪んでいることにより発生する画像歪が挙げられる。上記の第１〜第４の部分画像Ｐ１〜Ｐ４の相対位置のずれは、第１〜第４のプロジェクター２１〜２４で、例えば、投写方向が一致しないことや相対位置のずれること等に起因する。
【００３６】
本発明に係る画像処理装置は、例えば下記の第１〜第３の態様のように、多様な態様を取りうる。
第１の態様の画像処理装置として、各種処理を行うＡＳＩＣ等の１以上のロジック回路による構成が挙げられる。第１の態様の画像処理装置は、その一部または全部が、第１〜第４のプロジェクター２１〜２４、撮影装置４、信号源８のいずれかと一体化されていてもよい。
第２の態様の画像処理装置として、プログラムが実装されたコンピューターによる構成が挙げられる。すなわち、プログラムにより各種処理をコンピューターに実行させることにより、画像処理装置３の機能を実現することができる。例えば、メモリーやＣＰＵを協働させて各処理における演算を実行させ、演算結果をハードディスクやメモリー等の記憶部に保存しておき、必要に応じて演算結果を読出して他の処理に供することにより、ロジック回路等を用いる場合と同様の処理結果が得られる。なお、第２の態様の画像処理装置３において、各種処理を複数のコンピューターに分担させて行わせるようにしてもよい。 第３の態様の画像処理装置として、各種処理の一部の処理を行うロジック回路と、プログラムにより各種処理の他の処理を行うコンピューターとを組み合わせた構成が挙げられる。
【００３７】
このように、本発明に係る画像処理装置は、各種処理を行う独立した装置としての態様の他に、各種処理の一部を行う複数の機能部の集合としての態様もとりえる。すなわち、複数の機能部が、別体の複数の装置に分かれて設けられており、互いに協働して処理を行う態様であってもよい。
【００３８】
本実施形態の撮影装置４は、全体投写領域Ａ０の全体を含む被投写面９上の領域を撮影可能なものである。撮影装置４は、例えばＣＣＤカメラ等の二次元イメージセンサーにより構成される。二次元イメージセンサーは、フォトダイオード等からなる複数の受光素子が二次元的に配列された構造を有している。上記の補正情報を算出するときに、撮影装置４により撮影された撮影画像を示す撮影画像データは、画像処理装置３へ出力される。
【００３９】
以上のように複数のプロジェクター２によりコンテンツ画像Ｐを表示すると、コンテンツ画像Ｐを大画面、高解像度、高輝度で表示にすることができる。例えば、一台のプロジェクターにより表示する場合と比較して、プロジェクターあたりの画素数が同じである条件では、解像度を下げることなく大画面でコンテンツ画像Ｐを表示することができる。また、同じ画面サイズでコンテンツ画像Ｐを表示する条件で比較すると、プロジェクターの数に応じて画素数を増すことができ、高解像度でコンテンツ画像を表示することができる。プロジェクターあたりの出力光量が同じである条件で比較すると、表示に寄与する光の光量をプロジェクターの数に応じて増すことができ、高輝度でコンテンツ画像Ｐを表示することができる。
【００４０】
これらの効果を得るためにプロジェクターの画素数や出力を増す手法と比較すると、各プロジェクターのコストを飛躍的に下げることができるので、プロジェクターの数を加味しても装置コストを低減する効果が期待できる。また、通常時はプロジェクターごとに例えば別の場所（例えば小会議室）に設置して使用し、用途に応じて、例えば大会議室に画像表示システムを構築して、コンテンツ画像を大画面、高解像度、高輝度で表示することも可能である。このように、プロジェクターを単独で使用するか、複数のプロジェクターを組み合わせて使用するかを用途に応じて選択可能になるので、１台のプロジェクターで上記の効果を得ようとする場合と比較して、利便性が高くなる。
【００４１】
また、画像処理装置３により位置補正処理が施された画像データに基づいてコンテンツ画像Ｐが表示されるので、各部分画像の画像歪や複数の部分画像での相対位置のずれが低減される。したがって、画像歪が少なく、しかも部分画像の継ぎ目が認識されにくい状態でコンテンツ画像Ｐを表示することができ、コンテンツ画像Ｐを高品質な画像として表示可能になる。本発明では、部分画像の画像歪や相対位置のずれを高精度に補正することができ、しかも補正情報を効率よく算出することが可能になっている。これにより、例えば画像表示システムの設置に要する手間や時間を減らすことができ、画像表示システムの利便性を高めることができる。
【００４２】
次に、図３を参照しつつ、本発明に係る画像処理装置３の構成要素について詳しく説明する。図３は、画像処理装置３の機能構成を示す図である。
図３に示すように画像処理装置３は、画像制御装置５および補正情報算出装置６を有している。補正情報算出装置６は、主として補正情報を算出する。画像制御装置５は、各種処理を行うとともに、補正情報を用いて各種処理の１つとして画像データに位置補正処理を施す。本実施形態では、画像制御装置５が、第１のコンピューターの一部として構成されており、補正情報算出装置６が第１のコンピューターと別体の第２のコンピューターのＣＰＵや記憶部等を利用して構成されている。
【００４３】
画像制御装置５は、画像入力部５１、画像保存部５２、画像補正部５３、および画像出力部５４を有している。画像入力部５１は、例えばビデオキャプチャーボード等により構成される。画像入力部５１は、必要に応じて画像制御装置５の外部のＤＶＤプレイヤーや通信機器等の信号源８からコンテンツ画像を受け取る。画像保存部５２は、例えばコンピューターに内蔵あるいは外付されたハードディスク等の記憶装置により構成され、コンテンツ画像Ｐを示す画像データを保存可能なものである。画像入力部５１へ入力された画像データや、画像保存部５２に保存されている画像データは、コンテンツ画像Ｐを表示するときに画像補正部５３へ出力される。
【００４４】
なお、画像制御装置５は、画像入力部５１と画像保存部５２の一方のみが設けられた構成であってもよい。画像入力部５１から入力された画像データを画像保存部５２に保存しておき、この画像データを適宜読出して画像補正部５３へ入力する構成であってもよい。
【００４５】
画像補正部５３は、その詳細な構成を図示しないが、演算部および記憶部を含んでいる。演算部は、例えばグラフィックス・プロセッシング・ユニット（ＧＰＵ）等により構成される。記憶部は、ビデオメモリー（ＶＲＡＭ）や不揮発メモリー等により構成される。画像補正部５３は、補正情報を参照して、補正後の画像データに基づいてプロジェクター２１〜２４により被投写面９上に投写される画像が補正前の画像データが示す画像と略一致するように、信号源８から入力された画像データを補正する。
【００４６】
演算部は、記憶部を画像バッファ等に利用しつつ、演算部へ入力された画像データにガンマ補正や色調補正等の各種処理を行う。プログラムを用いて、上記のＧＰＵに代えてコンピューターのＣＰＵに演算させることにより、各種処理を行わせるようにしてもよい。なお、画像入力部５１や画像保存部５２から入力された画像データ上での画素の配列が、プロジェクター２の画像形成素子の画素の配列と整合していない場合、例えば、画像データに含まれる画素数が画像形成素子の画素数と異なる場合もありえる。この場合に演算部は、入力された画像データに対して補間処理やレンダリング処理等を施して、補正後の画像データが画像形成素子の画素の配列に整合するように画像データを補正する。これらの処理については、各プロジェクターに処理部を設けておき、プロジェクターごとにこの処理部に処理させてもよい。
【００４７】
演算部は、補正情報を参照して画像データに位置補正処理を施すとともに部分画像データを生成する。補正情報は、上記の記憶部（例えば不揮発メモリー）に記憶されている。補正情報は、被投写面９上での全体投写領域Ａ０（図２参照）に占める各画素の位置と、複数のプロジェクター２の各々の画像形成素子における画素の配列に占める各画素の位置との対応関係を示す情報である。
【００４８】
補正情報は、例えば画像形成素子の画素ごとの値としてテーブル形式で記憶されている。すなわち、テーブル（補正情報）を参照すれば、全体投写領域Ａ０の所定の位置に所定の画素が表示されるようにする上で、各画素データを画像形成素子のいずれの画素へ入力すればよいのか分かる。
【００４９】
演算部は、位置補正処理による補正前の画像データが示す画像、すなわち表示すべきコンテンツ画像が有効投写領域Ａに表示されるように、例えば以下のような処理を行う。演算部は、全体投写領域Ａ０の内側であって有効投写領域Ａの外側の各画素（以下、非表示画素という）について、補正情報により各非表示画素と対応付けられた画像形成素子の各画素に供給するデータを、非表示用のマスクデータ（例えば黒を示すデータ）にする。また、有効投写領域Ａの内側の各画素（以下、表示画素という）について、補正情報により表示画素と対応付けられた画像形成素子の画素に供給するデータを、この表示画素用の画素データとして画像データに規定されたデータにする。
【００５０】
表示画素の位置が格子状の画素配列の格子点位置からずれている場合には、必要に応じて補間処理を行う。例えば、表示画素に対応する画像データ上の画素の周囲の画素の画素データを用いて、表示画素の位置に応じた画素データを補間により求める。補間のときに参照する周囲の画素の位置や、補間のときに周囲の画素の画素データに乗じる重み付けの係数（補間係数）等は、補正情報の一部として予め求めておくとよい。このような処理を、各投写領域に含まれる表示画素および非表示画素について行うことにより、各投写領域を担当するプロジェクター用の部分画像データが得られる。
【００５１】
画像補正部５３は、演算部により生成された部分画像データを画像出力部５４へ出力する。画像出力部５４は、画像補正部５３から出力された部分画像データを、各部分画像データを担当するプロジェクターへ出力する。例えば、画像出力部５４は、図１に示した第１の部分画像Ｐ１を示す部分画像データを第１のプロジェクター２１へ出力する。画像出力部５４は、以下同様に、第２〜第４の部分画像Ｐ２〜Ｐ４を示す部分画像データを第２〜第４のプロジェクター２２〜２４へ出力する。
【００５２】
本実施形態の補正情報算出装置６は、プログラムを用いて上記の第２のコンピューターに所定の処理（後述する）を行わせることにより、その機能を実現するものである。第１のコンピューターは、画像制御装置５が実装されている第１のコンピューターと別体になっており、例えばバスケーブル等により第１のコンピューターと電気的に接続されている。補正情報算出装置６により補正情報を算出した後に、バスケーブルを介して補正情報を画像制御装置５へ出力した上で、第１のコンピューター（補正情報算出装置６）および撮影装置４を取外した状態で、複数のプロジェクター２および画像制御装置５によりコンテンツ画像Ｐを表示させることも可能である。また、プロジェクター２に位置ずれを生じたときに、第１のコンピューター（補正情報算出装置６）および撮影装置４を再度設置して、補正情報を再度算出し、補正情報を更新することも可能である。
【００５３】
補正情報算出装置６は、機能ブロックとして補正情報演算部（算出部）６１、画像解析部６２、および記憶部６３を有している。
記憶部６３は、第２のコンピューターのハードディスクやメモリーにより構成される。記憶部６３には、補正情報の算出に用いる測定用パターンを示す測定用画像データが記憶されている。測定用パターンは、エッジ検出処理やパターン認証処理等の画像処理技術により検出可能な形状や輝度分布の図形である特徴図形が複数配列された画像である。被投写面９上での特徴図形の位置および形状を検出することにより、被投写面９上での特徴点の位置を求めることができる。特徴点は、測定用画像データ上で特徴図形との位置関係が既知である点、例えば特徴図形の角や中心点である。
【００５４】
補正情報演算部６１および画像解析部６２は、第２のコンピューターのＣＰＵおよびメモリー等により構成される。補正情報演算部６１は、補正情報を算出するときに、記憶部６３に記憶されている測定用画像データを読出して直接的にまたは間接的に各プロジェクターへ出力（供給）する。すなわち、補正情報演算部６１と記憶部６３とにより、各プロジェクターに測定用画像データを供給する供給部が構成されている。ここでは、補正情報演算部６１が、測定用画像データを画像制御装置５の画像補正部５３へ出力する。測定用画像データは、画像制御装置５を介して間接的に各プロジェクターへ出力される。画像制御装置５は、必要に応じて、測定用画像データを画像形成素子の画素の配列に整合する形成に補正する。
【００５５】
画像解析部６２は、撮影装置４により撮影された撮影画像を示す撮影画像データを受け取る。画像解析部６２は、例えばエッジ処理やパターン認証処理等を撮影画像データに施して、撮影画像の中の測定用パターン（撮影パターン）を検出する。画像解析部６２は、撮影パターンを示す画像データとして、撮影測定データを補正情報演算部６１へ出力する。
【００５６】
補正情報演算部６１は、測定用画像データに基づいてプロジェクター２１〜２４により被投写面９上に投写された測定用パターンを撮影した撮影パターンにおける複数の特徴点の位置と、測定用画像データに規定された複数の特徴点の位置とを比較して、補正情報を算出する。具体的には、補正情報演算部６１は、撮影測定データの元になった測定用パターンを示す測定用画像データ上での特徴点の位置と、この特徴点の撮影測定データ上での位置とを比較し、補正情報を算出する。補正情報演算部６１は、算出した補正情報を画像制御装置５へ出力する。画像制御装置５は、補正情報算出装置６から出力された補正情報を画像補正部５３の記憶部に格納し、補正情報を更新する。
【００５７】
図４は、コンテンツ画像Ｐを表示するまでの処理フローを示すフローチャートである。ここでは、画像表示システム１の設置時に補正情報を算出する例について説明する。なお、下記のステップＳ２、Ｓ５〜Ｓ７の処理を行うことにより、本発明に係る画像処理方法の一態様を行うことができる。また、ステップＳ２、ステップＳ５およびステップＳ６の処理をコンピューターに行わせるプログラムを用いることにより、本発明に係る補正情報算出装置の機能を実現することができる。ステップＳ２、Ｓ５〜Ｓ７の処理をコンピューターに行わせるプログラムを用いることにより、本発明に係る画像処理装置の機能を実現することもできる。
【００５８】
図４に示すように、まず、被投写面９に対して複数のプロジェクター２を配置し、必要に応じて各プロジェクターの配置を粗調整する（ステップＳ１）。ステップＳ１では、例えば、第１〜第４のプロジェクター２１〜２４の各々から、各プロジェクターの投写領域（以下、部分投写領域という）の輪郭を示す配置用ガイドを被投写面９に投写させる。そして、配置用ガイドを参照しつつ各プロジェクターを移動させて、全体投写領域Ａ０に占める各部分投写領域の位置を粗調整する。
【００５９】
ここで、目視によりプロジェクターの位置を粗調整する場合を考える。複数の投写領域で相対位置のずれ量は、投写領域の実寸等に影響されるが、概ね数ピクセル程度であると考えられる。例えば、投写領域のサイズが対角１００インチであり、投写領域に配置される画素数（表示画素および非表示画素を含む）が１９２０×１０８０個であるとすると、被投写領域における画素ピッチが１．１５ｍｍ程度となる。例えば、１０ピクセル相当の位置ずれであれば被投写面９上の実寸で１．１５ｃｍの位置ずれとなり、この位置ずれを被投写面９から数メートル離れた位置から目視により識別可能であると考えられる。このことから、投写領域の相対位置のずれ量を数ピクセル程度にすることが可能であると考えられる。
【００６０】
なお、二次元的に配列された部分画像を表示させる場合に、図１では部分画像の配列と同様にプロジェクター２を二次元的に配列する例を図示しているが、プロジェクターの配列が部分画像の配列と異なっていてもよい。例えば、プロジェクターを一次元的に配列し、各プロジェクターの投写方向を調整することにより、部分画像を二次元的に配列することも可能である。ただし、プロジェクターの配列を部分画像の配列と同様にすることにより、プロジェクターと部分画像との対応関係を把握しやすくなり、また投写方向の違いに起因する部分画像の歪を減らすこともできる。また、２以上の部分画像を一次元的に配列してコンテンツ画像を表示させてもよいし、二次元的に部分画像を配列する場合に、各配列方向の部分画像の数を３以上にしてもよい。また、画像表示システム１の設置後、例えば画像表示システム１のメンテナンス時に補正情報を算出する場合には、上記のステップＳ１を省くこともできる。
【００６１】
次いで、補正情報算出装置６の補正情報演算部６１は、各プロジェクター用の測定用パターンを示す測定用画像データを対象となるプロジェクターに供給する（ステップＳ２）。第１〜第４のプロジェクター２１〜２４の各々に、供給された測定用画像データに基づいて測定用パターンを被投写面９に投写させる（ステップＳ３）。ここでは、第１〜第４のプロジェクター２１〜２４で並行して測定用パターンを投写させる。
【００６２】
図５は、第１の例の測定用パターンを示す説明図、図６は投写された第１の例の測定用パターンの組合せを示す説明図である。図５には、被投写面上で互いに隣り合う一対の測定用パターンを図示している。一対の測定用パターンで特徴図形の区別を分かりやすく示すために、便宜上、測定用パターンごとに特徴図形を異なるマークで示している。
【００６３】
本発明では、被投写面９上で互いに重なり合う一対の投写領域に投写される一対の測定用パターンについて、一方の測定用パターンの特徴点が他方の測定用パターンの特徴点と重なり合わないように、各測定用パターンを示す測定用画像データ上での特徴点の位置が設定されている。
【００６４】
各測定用パターンは、ｉ方向およびｊ方向に配列された画素の配列により構成されている。測定用画像データは、各プロジェクターに供給された段階で画像形成素子の画素の配列に整合した形成になっている。例えば、画像形成素子の画素の配列が１９２０×１０８０個である場合に、測定用画像データは、ｉ方向に１９２０個の画素が並び、ｊ方向に１０８０の画素が並ぶ画像の画像データとしてプロジェクターに供給される。
【００６５】
第１のプロジェクター用の第１の測定用画像データが示す第１の測定用パターンＤ１１は、規則的に配列された複数の特徴図形Ｄ１１１を含んでいる。本例の特徴図形Ｄ１１１は、１または２以上の画素により構成されるドット形状（スポット形状）になっており、その中心点が特徴点として用いられる。特徴図形については、その形状を検出可能であり、その形状と関連づけられた位置を特徴点の位置として特定可能な形状であれば、特に限定されない。特徴図形の形状としては、例えば互いに交差した線分（クロスハッチ）や正方形等であってもよい。クロスハッチを用いる場合には、例えばハフ変換等により２つの線分を検出し、その交差点の位置を一意に求めることができ、交差点を特徴点として用いることができる。正方形を用いる場合には、特徴図形の重心を特徴点とすることや、４つの角となる点をそれぞれ特徴点とすることができる。
【００６６】
複数の特徴図形Ｄ１１１は、ｉ方向に所定のピッチで配列されており、また、ｊ方向にも所定のピッチで配列されている。すなわち、直交格子の格子点上に各特徴図形の特徴点が位置するように、複数の特徴図形Ｄ１１１が規則的に配列されている。複数の特徴図形Ｄ１２１は、特徴図形Ｄ１１１と同様に、ｉ方向とｊ方向の各々において所定のピッチで配列されている。
【００６７】
本例の第１、第２の測定用パターンＤ１１、Ｄ１２に含まれる特徴図形Ｄ１１１、Ｄ１２１は、いずれも形状およびサイズが同一になっている。ここで、各測定用パターンにおける特徴図形の配列において最外周に配置された特徴図形の特徴点を結んだ線を輪郭とする領域を特徴図形の配置領域とする。第１、第２の測定用パターンＤ１１、Ｄ１２は、配置領域の大きさ、すなわち配置領域のｉ方向の画素数が互いに一致しており、配置領域のｊ方向の画素数が互いに一致している。また、第１、第２の測定用パターンＤ１１、Ｄ１２は、各測定用パターンを基準とした配置領域の位置、例えば各測定用パターンの１つ角（図示では左上の角）の座標である（ｉ，ｊ）＝（０，０）を基準とした配置領域の角の座標が互いに異なっている。詳しくは、第２の測定用パターンＤ１２における配列領域の位置は、第１の測定用パターンＤ１１における配列領域の位置に対して、ｉ方向およびｊ方向にそれぞれ特徴点のピッチの半分だけシフトさせた位置になっている。第１、第２の測定用パターンＤ１１、Ｄ１２の各配置領域内での特徴点の配置は、互いに一致している。言い換えると、仮に第１、第２の測定用パターンＤ１１、Ｄ１２の配置領域をずれなく重ね合わせたとすると、特徴点が互いの測定用パターンでずれることなく重ね合わされる。
【００６８】
本例では、第１の測定用パターンＤ１１において特徴図形Ｄ１１１以外の領域の色調・階調値が、第２の測定用パターンＤ１２において特徴図形Ｄ１２１以外の領域の色調・階調値と同じ値に設定されている。また、特徴図形Ｄ１１１の色調・階調値の分布が、特徴図形Ｄ１２１の色調・階調値の分布と同じに設定されている。
【００６９】
以上のような第１の測定用パターンＤ１１は第１投写領域Ａ１に投写され、第２の測定用パターンＤ１２は第２投写領域Ａ２に投写される。第１、第２投写領域Ａ１、Ａ２が並ぶ方向（水平方向）での表示画素の配列方向は、測定用パターンでの画素の配列方向のうちのｉ方向に相当する。第１、第２投写領域Ａ１、Ａ２が並ぶ方向の交差方向（垂直方向）での表示画素の配列方向は、測定用パターンでの画素の配列方向のうちのｊ方向に相当する。すなわち、第１、第２投写領域Ａ１、Ａ２の位置関係では、ｉ方向が第１配列方向になり、ｊ方向が第２配列方向になる。
【００７０】
ここで、第１の測定用パターンＤ１１の特徴図形Ｄ１１１のうちで、第２配列方向（ｊ方向）に並ぶ特徴図形Ｄ１１１からなる特徴図形列Ｄ１１２に着目する。特徴図形列Ｄ１１２に属する特徴図形Ｄ１１１は、第１の測定用パターンＤ１１の特徴図形Ｄ１１１のうちで、第１配列方向（ｉ方向）において第２の測定用パターンＤ１２との重畳側の端に配置されている。
【００７１】
特徴図形列Ｄ１１２に属する特徴図形Ｄ１１１の各々が示す特徴点（以下、単に特徴図形列Ｄ１１２の特徴点という）のｉｊ座標系での座標は、（ｉ，ｊ）＝（ａ、ｂ＋ｃＮ）で表される。ａは、特徴図形列Ｄ１１２の特徴点が属する画素列のうちで、第２配列方向（ｊ方向）の端に位置する画素（以下、基準画素という）のｉ方向の座標を示す。ｂは、特徴図形列Ｄ１１２の特徴点のうちで基準画素と最も近い位置の特徴点のｊ方向の座標を示す。ｃは、特徴点のピッチを示し、Ｎは０以上の整数（特徴図形列Ｄ１１２の特徴点の数はＮ＋１個）を示す。
【００７２】
同様に、第２の測定用パターンＤ１２の特徴図形列Ｄ１２２に着目する。特徴図形列Ｄ１２２に属する特徴図形Ｄ１２１は、第２の測定用パターンＤ１２の特徴図形Ｄ１２１のうちで、第２配列方向（ｊ方向）において第１の測定用パターンＤ１１との重畳側の端に配置されている。
【００７３】
特徴図形列Ｄ１２２の特徴点のｉｊ座標系での座標は、（ｉ，ｊ）＝（ｄ、ｅ＋ｃＭ）で表される。ｄは、特徴図形列Ｄ１２２に対する基準画素のｉ方向の座標を示す。ｅは、特徴図形列Ｄ１２２の特徴点のうちで基準画素に最も近い位置の特徴点のｊ方向の座標を示す。ｃは、特徴点のピッチを示し、Ｍは０以上の整数（特徴図形列Ｄ１２２の特徴点の数はＭ＋１個）を示す。
【００７４】
上記のａ〜ｅ、Ｎ、Ｍは下記の条件を満たすように設定されている。
ａ、ｄについては、自由に選択可能な値である。例えば第１、第２の測定用パターンＤ１１、Ｄ１２が互いに重ね合わされる領域に特徴点が配置されるように、ａ、ｄの値が設定される。
【００７５】
ｂ、ｅの値については、互いに異なっていれば特に限定されない。ただし、ｂとｅの差の絶対値が、上述したプロジェクターを設置するときの、第１、第２投写領域Ａ１、Ａ２の相対位置のずれ量の推定値（例えば、数ピクセル）よりも大きく（例えば、１０ピクセル以上）になるように、ｂ、ｅの値を設定するとよい。また、ｂとｅの差の絶対値が、ｃの略半分、すなわちｃ／２を四捨五入等により丸めた値の±１ピクセル程度になるように、ｂ、ｅの値を設定するとよい。
【００７６】
ｃは、第１、第２の測定用パターンＤ１１、Ｄ１２で共通の値であればよく、複数の特徴点で同じであってもよいし、異なってもよい。例えばＮ（またはＭ）が大きくなるにつれてｃが小さくなるようなＮ（またはＭ）の関数としてｃが設定されていてもよい。ｃの値を小さくするほど特徴点の数を増やすことができ、各プロジェクターの画像形成素子の画素の配列に占める画素の位置と、全体投写領域Ａ０に占める表示画素の位置との対応関係を高精度に求めることができる。ｃの値を大きくすると、測定用パターンの広範にわたり特徴点を配置しつつ特徴点の数を減らすことができ、上記の対応関係を求める上での演算の計算負荷を減らすことができるので、対応関係を効率よく求めることができる。以上の２つの観点の兼ね合いから、ｃの値としては、例えば数十ピクセル、一例として２０ピクセル以上１００ピクセル以下程度に設定するとよい。
【００７７】
以上の条件を、第１の測定用パターンＤ１１の特徴図形Ｄ１１１のうちで少なくとも、第２の測定用パターンＤ１２との重畳側の端に並ぶ特徴図形Ｄ１１１が満たすとともに、第２の測定用パターンＤ１２の特徴図形Ｄ１２１のうちで少なくとも、第１の測定用パターンＤ１１との重畳側の端に並ぶ特徴図形Ｄ１２１が満たすようになっていればよい。
【００７８】
被投写面９には、第１の測定用パターンＤ１１に相当する第１の投写測定用パターンＴ１１が表示される。第１の投写測定用パターンＴ１１には、特徴図形Ｄ１１１に相当する投写特徴図形Ｔ１１１が含まれる。同様に、被投写面９上に、第２の測定用パターンＤ１２に相当する第２の投写測定用パターンＴ１２が表示される。第２の投写測定用パターンＴ１２には、特徴図形Ｄ１２１に相当する投写特徴図形Ｔ１２１が含まれる。
【００７９】
ここで、第１、第２の投写測定用パターンＴ１１、Ｔ１２において、特徴図形列Ｄ１１２に相当する投写特徴図形列Ｔ１１２、および特徴図形列Ｄ１２２に相当する投写特徴図形列Ｔ１２２に着目する。上記の条件を満たすように第１、第２の測定用パターンＤ１１、Ｄ１２が設定されているので、投写特徴図形Ｔ１１１の位置と投写特徴図形Ｔ１２１の位置とが、第２配列方向（ｊ方向）に相当する被投写面９上での方向（垂直方向）で、ずれやすくなる。すなわち、投写特徴図形Ｔ１１１、Ｔ１２１が互いに重なり合う確率が低くなるので、第１、第２の測定用パターンＤ１１、Ｄ１２を並行して投写した場合でも、投写特徴図形Ｔ１１１および投写特徴図形Ｔ１２１を高精度に検出することが可能になる。
【００８０】
また、第１、第２投写領域Ａ１、Ａ２が並ぶ方向（水平方向）の交差方向（垂直方向）にて、投写特徴図形Ｔ１１１、Ｔ１２１の位置が互いにずれやすくなるので、第１、第２投写領域Ａ１、Ａ２の水平方向のオーバーラップ量に関らず、投写特徴図形Ｔ１１１、Ｔ１２１が互いに重なり合う確率が低くなる。水平方向のオーバーラップ量は、一対の投写領域を水平方向に並べたときに、１つの投写領域の水平方向の幅と、一対の投写領域が互いに重なり合う領域の水平方向の幅との比率等により表される。
【００８１】
特に、上述したように第１、第２投写領域Ａ１、Ａ２の相対位置のずれ量の推定値に基づいて、上記のｂ、ｅの値を例えば１０ピクセル以上に設定すると、第１、第２投写領域Ａ１、Ａ２の相対位置のずれを生じていても投写特徴図形Ｔ１１１、Ｔ１２１が互いに重なり合う確率が低くなる。また、ｂとｅの差の絶対値がｃの略半分になるようにｂ、ｅの値を設定すると、第１投写領域Ａ１が第２投写領域Ａ２に対して水平方向の正方向にずれる場合と負方向にずれる場合のいずれの場合においても、投写特徴図形Ｔ１１１、Ｔ１２１が互いに重なり合う確率が低くなる。
【００８２】
図６に示すように、補正情報演算部６１は、第１、第２の測定用パターンＤ１１、Ｄ１２の他に、第３の測定用パターンＤ１３を第３のプロジェクター２３に供給し、第４の測定用パターンＤ１４を第４のプロジェクター２４に供給する。第３の測定用パターンＤ１３は第３投写領域Ａ３に投写され、第４の測定用パターンＤ１４は第４投写領域Ａ４に投写される。
【００８３】
ここで、第３、第４投写領域Ａ３、Ａ４が並ぶ方向（水平方向）に相当する測定用画像データ上での画素の配列方向（ｉ方向）を第１配列方向とし、第１配列方向と直交する方向を第２配列方向（ｊ方向）とする。第３の測定用パターンＤ１３の特徴図形Ｄ１３１、第４の測定用パターンＤ１４の特徴図形Ｄ１４１のうちで、第１配列方向において第３、第４の測定用パターンＤ１３、Ｄ１４が互いに重畳される側の端に配置された特徴図形Ｄ１３１、Ｄ１４１（特徴図形列）に着目する。着目対象の各特徴点について、特徴図形Ｄ１３１が示す特徴点の第２配列方向の位置は、特徴図形Ｄ１４１が示すいずれの特徴点の第２配列方向の位置とも異なっている。
【００８４】
次に、第１、第３投写領域Ａ１、Ａ３が並ぶ方向（垂直方向）に相当する測定用パターンでの画素の配列方向（ｊ方向）を第１配列方向とし、第１配列方向と直交する方向を第２配列方向（ｉ方向）とする。第１の測定用パターンＤ１１の特徴図形Ｄ１１１、第３の測定用パターンＤ１３の特徴図形Ｄ１３１のうちで、第１、第３の測定用パターンＤ１１、Ｄ１３が互いに重畳される側の端に配置された特徴図形Ｄ１１１、Ｄ１３１（特徴図形列）に着目する。着目対象の各特徴図形について、特徴図形Ｄ１１１が示す特徴点の第２配列方向（ｉ方向）の位置は、特徴図形Ｄ１３１が示すいずれの特徴点の第２配列方向（ｉ方向）の位置とも異なっている。このような特徴点の位置の対応関係は、第２、第４の測定用パターンＤ１２、Ｄ１４についても成り立っている。
【００８５】
被投写面９には、第３の測定用パターンＤ１３に相当する第３の投写測定用パターンＴ１３が表示される。第３の投写測定用パターンＴ１３には、特徴図形Ｄ１３１に相当する投写特徴図形Ｔ１３１が含まれる。同様に、被投写面９上に、第４の測定用パターンＤ１４に相当する第４の投写測定用パターンＴ１４が表示される。第４の投写測定用パターンＴ１４には、特徴図形Ｄ１４１に相当する投写特徴図形Ｔ１４１が含まれる。上述の関係を満たすように、第１〜第４の測定用画像データが設定されているので、投写特徴図形Ｔ１１１〜Ｔ１１４のいずれについても、互いに重なり合う確率が低くなる。
【００８６】
図４の説明に戻り、撮影装置４は、被投写面９上の第１〜第４の投写測定用パターンＴ１１〜Ｔ１４を含んだ領域を撮影する（ステップＳ４）。
次いで、補正情報算出装置６の画像解析部６２は、撮影装置４により撮影された撮影画像の中の測定用パターン（撮影パターン）を検出する（ステップＳ５）。
【００８７】
ところで、投写測定用パターンごとに撮影を行い、複数回数の撮影を行う場合には、撮影と撮影の間に撮影装置が移動することがありえる。撮影装置が移動すると、撮影画像に占める投写測定用パターンの位置が撮影画像ごとに異なってしまい、特徴点を検出するための処理が複雑になる不都合や、検出した特徴点の位置の誤差が増す不都合がある。２以上のプロジェクターから投写された測定用パターンの全体を含む領域を撮影することにより、撮影回数を減らすことができ、撮影に要する手間や時間を減らすことや上記の不都合を回避することができる。
【００８８】
次いで、補正情報算出装置６の補正情報演算部６１は、撮影パターンと、測定用画像データが示す測定用パターンとを比較して、補正情報を算出する（ステップＳ６）。補正情報の算出方法としては、各プロジェクターの画像形成素子での画素の位置と、被投写面９上での画素の位置との対応関係を示す情報が得られる方法であれば、特に限定されない。例えば、補正情報の算出方法として下記の２つの方法が挙げられる。
【００８９】
第１の方法では、補正情報演算部６１が撮影パターンに含まれる特徴図形を検出し、撮影パターンにおける特徴図形ごとの特徴点の位置を求める。そして、測定用画像データに規定された測定用パターンを撮影パターンに変換する射影変換を求める。この射影変換により画像データ上の各画素の座標（ｉ，ｊ）を変換して、画素ごとのデータのテーブルとして補正情報を算出する。なお、撮影パターンを測定用画像データに規定された測定用パターンに変換する射影変換を求める場合でも、画像形成素子上での画素の座標と、被投写面での画素の位置との対応関係を示す補正情報が得られる。
【００９０】
図７は、補正情報の算出方法の一例を示す説明図である。図７には、測定画像用データに規定された測定用パターンＤの一部と、画像データ上での撮影パターンＴとを概念的に図示している。図７において、符号Ｄ１〜Ｄ４は、測定用パターンＤに含まれる特徴点を示す。特徴点Ｄ１〜Ｄ４は、各特徴点を順に結んだ線が領域Ｄ５の輪郭をなすように選択される。図７において、符号Ｔ１〜Ｔ４は、撮影パターンＴに含まれる特徴点を示す。特徴点Ｔ１〜Ｔ４は、投写された測定用パターンＤにおける特徴点Ｄ１〜Ｄ４に相当する特徴点である。特徴点Ｔ１〜Ｔ４を順に結んだ線は領域Ｔ５の輪郭をなしている。
【００９１】
射影変換の変換式は、下記の式（１）、式（２）で表すことができる。式（１）、式（２）において、（ｘ，ｙ）は変換前の任意の点のｉｊ座標（ｉ，ｊ）を示し、（Ｘ，Ｙ）はこの点の変換先のｉｊ座標（ｉ，ｊ）を示す。ａ〜ｈは変換係数を示し、ａ〜ｈを求めることにより、１つの射影変換が求まる。
Ｘ＝（ａｘ＋ｂｙ＋ｃ）／（ｇｘ＋ｈｙ＋１）・・・（１）
Ｙ＝（ｄｘ＋ｅｙ＋ｆ）／（ｇｘ＋ｈｙ＋１）・・・（２）
【００９２】
特徴点Ｄ１〜Ｄ４の各々の座標は、測定用画像データに規定されるので既知である。特徴点Ｔ１〜Ｔ４の各々の座標は、撮影パターンＴから特徴点を検出することにより、既知になっている。式（１）、式（２）の（ｘ，ｙ）に特徴点Ｄ１の座標を代入し、（Ｘ，Ｙ）に特徴点Ｔ１の座標を代入すると、ａ〜ｈの関係式が２つ得られる。同様に特徴点Ｄ２、Ｔ２の組、特徴点Ｄ３、Ｔ３の組、特徴点Ｄ４、Ｔ４の組のそれぞれの座標を代入することにより、ａ〜ｈの８つの未知数に対して８つの関係式が得られる。この８元１次方程式を解くことにより、領域Ｄ５を領域Ｔ５に変換する射影変換のａ〜ｈが得られる。得られた射影変換に対して、領域Ｄ５の周上および内側に含まれる各画素の座標を（ｘ，ｙ）に代入することにより、領域Ｄ５の各画素と１対１で対応する領域Ｔ５での各画素の座標が求まる。
【００９３】
ここでは、測定用パターンに含まれる特徴点から特徴点Ｄ１〜Ｄ４を選択して、測定用パターンＤの一部をなす領域Ｄ５に対する射影変換を求める。そして、異なる特徴点を特徴点Ｄ１〜Ｄ４として選択することにより、領域Ｄ５を異ならせて射影変換を求める。得られた射影変換を用いて、上述のようにして領域Ｄ５の各画素と１対１で対応する領域Ｔ５での各画素の座標を求める。以下同様にして測定用パターンの部分ごとの射影変換を求め、測定用パターンの各画素の座標と、画素ごとに対応する撮影パターンの画素の座標を求める。測定用パターンの各画素の座標は、プロジェクターの画像形成素子における画素の位置と対応関係がある。また、撮影パターンの画素の座標は、被投写面での画素の位置と対応関係がある。したがって、結果的に画像形成素子上での画素の座標と、被投写面での画素の位置との対応関係を示す補正情報が得られる。
【００９４】
例えば、画像形成素子の各画素の座標に対して上記の射影変換を行うことにより、被投写面９上での画素（以下、変換画素という）の座標が求まる。変換画素の座標の最大値や最小値を参照することにより、有効投写領域Ａの範囲が自動または手動で設定される。そして、有効投写領域Ａの中に、コンテンツ画像の形式や画素数に応じた画素（表示画素）の配列を配置するものとして、被投写面９上での各表示画素の座標を上記の有効投写領域Ａの範囲の設定値から求める。表示画素の座標が変換画素の座標からずれる場合には、表示画素の周囲に位置する変換画素に供給される画素データを用いて表示画素の画素データを補間により求めるべく、周囲の変換画素と表示画素との距離に応じた補間の重み付けを示す補間係数を求めておいてもよい。この補間係数は表示画素ごとの固定値になるので、補正情報の一部として保存しておくとよい。
【００９５】
第２の方法では、第１の方法と同様に撮影パターンにおける特徴図形ごとの特徴点の位置を求める。そして、撮影パターンを測定用画像データに規定された測定用パターンに変換する射影変換（第１の方法での射影変換の逆変換）を求める。また、例えば撮影パターンに含まれる特徴点の位置を用いて全体投写領域Ａ０の範囲を推定し、有効投写領域Ａの範囲を自動または手動で設定する。そして、有効投写領域Ａの中に、コンテンツ画像の形式や画素数に応じた表示画素の配列を配置するものとして、被投写面９上での各表示画素の座標を上記の有効投写領域Ａの範囲の設定値から求める。得られた各表示画素の座標を射影変換により変換することにより、被投写面９上での各表示画素に対応する画像形成素子上の画素（以下、変調単位という）の位置が求まる。得られた変調単位の位置が、実際の変調単位の位置と整合しない場合、すなわち変調単位に２以上の表示画素が対応する場合には、必要に応じて各変調単位に入力される画素データを補間により求めるべく、補間係数を求めておいてもよい。上述のように、求めた補間係数は補正情報の一部として保存しておくとよい。
【００９６】
図４の説明に戻り、コンテンツ画像Ｐを表示するときに画像制御装置５は、コンテンツ画像Ｐを示す画像データに基づいて各プロジェクター用の部分画像データを作成するとともに、画像データに対して補正情報を用いて位置補正処理を施す（ステップＳ７）。
【００９７】
次いで、画像処理装置３は、位置補正処理の補正後の部分画像データを、対象となるプロジェクターに供給する。第１〜第４のプロジェクター２１〜２４の各々は、供給された部分画像データに基づいて部分画像を投写する（ステップＳ８）。このようにして、第１〜第４の部分画像Ｐ１〜Ｐ４からなるコンテンツ画像Ｐが表示される。
【００９８】
本実施形態の補正情報算出装置によれば、複数のプロジェクター２で並行して測定用パターンＤ１１〜Ｄ１４を投写させた場合でも、被投写面９上で投写特徴図形Ｔ１１１、Ｔ１２１、Ｔ１３１、Ｔ１４１が重なり合うことを回避可能になる。したがって、複数のプロジェクターで並行して測定用パターンを投写させつつ、投写された特徴図形の位置を高精度に検出することができる。よって、被投写面上での画素の位置と画像データに規定された画素の位置との対応関係を示す補正情報を効率よく取得可能になる。
【００９９】
また、第１〜第４の測定用パターンＤ１１〜１４で、特徴図形の形状や寸法が同じになっているので、特徴図形を検出する処理の複雑化を回避することができる。また、第１〜第４の測定用パターンＤ１１〜１４で、特徴図形の外部および内部の色調が略同じになっているので、色ムラなどによる特徴図形の検出精度の低下を回避することができる。
【０１００】
本実施形態の画像処理装置や画像処理方法によれば、補正情報を取得するのに要する手間や時間を省きつつ、部分画像の歪や相対位置のずれを高精度に補正可能になる。
本実施形態の画像表示システムによれば、補正情報を取得する上での手間や時間を省くことができるので利便性が高くなり、また部分画像の歪や相対位置のずれが高精度に補正されるので、コンテンツ画像を大画面、高解像度、あるいは高輝度で表示可能になる。
【０１０１】
なお、本発明の技術範囲は上記の実施形態に限定されるものではない。例えば、本発明に適用可能な測定用パターンについては多様な変形が考えられる。以下、測定用パターンの例について説明する。
【０１０２】
図８（ａ）は第２の例の測定用パターンの説明図、図８（ｂ）は投写された第２例の測定用パターンを示す説明図である。第２の例の測定用パターンは、複数のプロジェクターに共通して用いることができる測定用パターンの一例である。図８（ｂ）では、隣り合う測定用パターンで特徴図形の区別を分かりやすく示すために、便宜上、測定用パターンごとに特徴図形を異なるマークで示している。
【０１０３】
図８（ａ）に示す第２の例の測定用パターンＤ１５は、複数の特徴図形Ｄ１５１を含んでいる。複数の特徴図形Ｄ１５１は、第１〜第４の配置領域Ｄ１５２〜Ｄ１５５に分かれて配置されている。各配置領域で特徴図形Ｄ１５１は、ｉ方向およびｊ方向の各々において所定のピッチで規則的に並んでいる。
【０１０４】
第１の配置領域Ｄ１５２と第２の配置領域Ｄ１５３はｉ方向に並んでおり、第３の配置領域Ｄ１５４と第４の配置領域Ｄ１５５はｉ方向に並んでいる。ｉ方向に並ぶ一対の配置領域、例えば第１の配置領域Ｄ１５２と第２の配置領域Ｄ１５３に着目する。一対の配置領域において、ｉ方向の最も外側に配置された特徴図形Ｄ１５１は、ｊ方向に規則的に並んでおり、特徴図形列を構成している。
【０１０５】
第１の配置領域Ｄ１５２の第１の特徴図形列Ｄ１５６に属する各特徴図形が示す特徴点のｊ方向の座標は、第２の配置領域Ｄ１５３の第２の特徴図形列Ｄ１５７に属するいずれの特徴図形が示す特徴点のｊ方向の座標とも異なっている。ここでは、第１の配置領域Ｄ１５２の特徴図形Ｄ１５１の位置をｉ方向に平行シフトした場合に、そのシフト量に関らず、第１の配置領域Ｄ１５２の各特徴図形の位置が、第２の配置領域Ｄ１５３のいずれの特徴図形Ｄ１５１の位置とも一致しないようになっている。第３の配置領域Ｄ１５４の特徴図形Ｄ１５１の配置と、第４の配置領域Ｄ１５５の特徴図形の配置との関係も同様になっている。
【０１０６】
第１の配置領域Ｄ１５２と第３の配置領域Ｄ１５４はｊ方向に並んでおり、第２の配置領域Ｄ１５３と第４の配置領域Ｄ１５５はｊ方向に並んでいる。ｊ方向に並ぶ一対の配置領域、例えば第１の配置領域Ｄ１５２と第３の配置領域Ｄ１５４に着目する。一対の配置領域において、ｊ方向の最も外側に配置された特徴図形Ｄ１５１は、ｉ方向に規則的に並んでおり、特徴図形列を構成している。
【０１０７】
第１の配置領域Ｄ１５２の第３の特徴図形列Ｄ１５８に属する各特徴図形が示す特徴点のｉ方向の座標は、第３の配置領域Ｄ１５４の第４の特徴図形列Ｄ１５９に属するいずれの特徴図形が示す特徴点のｉ方向の座標とも異なっている。ここでは、第１の配置領域Ｄ１５２の特徴図形Ｄ１５１の位置をｊ方向に平行シフトした場合に、そのシフト量に関らず、第１の配置領域Ｄ１５２の各特徴図形の位置が、第３の配置領域Ｄ１５４のいずれの特徴図形Ｄ１５１の位置とも一致しないようになっている。第２の配置領域Ｄ１５３の特徴図形Ｄ１５１の配置と、第４の配置領域Ｄ１５５の特徴図形Ｄ１５１の配置との関係も同様になっている。
【０１０８】
図８（ｂ）に示すように、第１のプロジェクター２１から投写された測定用パターンＤ１５は、被投写面９上に第１の投写測定用パターンＴ１６が表示される。第１の投写測定用パターンＴ１６は、特徴図形Ｄ１５１に相当する投写特徴図形Ｔ１６１を含んでいる。同様に、第２〜第４のプロジェクター２２〜２４により第２〜第４の投写測定用パターンＴ１７〜Ｔ１９が表示される。第２〜第４の投写測定用パターンＴ１７〜Ｔ１９は、それぞれ、特徴図形Ｄ１５１に相当する投写特徴図形Ｔ１７１、Ｔ１８１、Ｔ１９１を含んでいる。
【０１０９】
第１の投写測定用パターンＴ１６は、第２の投写測定用パターンＴ１７と水平方向に並んでいる。第１、第２の投写測定用パターンＴ１６、Ｔ１７の水平方向に並ぶ表示画素は、測定用パターンＤ１５のｉ方向に並ぶ画素に相当する。第１、第２の投写測定用パターンＴ１６、Ｔ１７が並ぶ方向に相当するｉ方向を第１配列方向とし、ｊ方向を第２配列方向としたときに、第１の特徴図形列Ｄ１５６の各特徴点の第２配列方向（ｊ方向）の座標が、第２の特徴図形列Ｄ１５７のいずれの特徴点のｊ方向の座標とも異なっている。したがって、投写特徴図形Ｔ１６１の垂直方向の位置が、投写特徴図形Ｔ１７１の垂直方向の位置とずれやすくなり、第１、第２の投写測定用パターンＴ１６、Ｔ１７の水平方向のオーバーラップ量に関らず、投写特徴図形Ｔ１６１、Ｔ１７１が重なり合うことが回避される。第３の投写測定用パターンＴ１８は、第４の投写測定用パターンＴ１９と水平方向に並んでおり、同様の理由により、第３、第４の投写測定用パターンＴ１８、Ｔ１９の水平方向のオーバーラップ量に関らず、投写特徴図形Ｔ１８１、Ｔ１９１が重なり合うことが回避される。
【０１１０】
第１の投写測定用パターンＴ１６は、第３の投写測定用パターンＴ１８と垂直方向に並んでいる。第１、第３の投写測定用パターンＴ１６、Ｔ１８の垂直方向に並ぶ表示画素は、測定用パターンＤ１５のｊ方向に並ぶ画素に相当する。第１、第２の投写測定用パターンＴ１６、Ｔ１８が並ぶ方向に相当するｊ方向を第１配列方向とし、ｉ方向を第２配列方向としたときに、第３の特徴図形列Ｄ１５８の各特徴点の第２配列方向（ｉ方向）の座標が、第４の特徴図形列Ｄ１５９のいずれの特徴点のｉ方向の座標とも異なっている。したがって、投写特徴図形Ｔ１５１の水平方向の位置が、投写特徴図形Ｔ１８１の水平方向の位置とずれやすくなり、第１、第３の投写測定用パターンＴ１６、Ｔ１８の垂直方向のオーバーラップ量に関らず、投写特徴図形Ｔ１６１、Ｔ１８１が重なり合うことが回避される。第２の投写測定用パターンＴ１７は、第４の投写測定用パターンＴ１９と垂直方向に並んでおり、同様の理由により、第２、第４の投写測定用パターンＴ１７、Ｔ１９の水平方向のオーバーラップ量に関らず、投写特徴図形Ｔ１７１、Ｔ１９１が重なり合うことが回避される。
【０１１１】
以上のように第２の例の測定用パターンによれば、特徴図形Ｄ１５１の配置が同じである測定用パターンを複数のプロジェクター２で並行して投写させた場合でも、被投写面９上で投写特徴図形Ｔ１６１、Ｔ１７１、Ｔ１８１、Ｔ１９１が重なり合うことを回避可能になる。したがって、上記の実施形態と同様の理由により、被投写面上での画素の位置と画像データに規定された画素の位置との対応関係を示す補正情報を効率よく取得可能になる。
複数のプロジェクター２で特徴図形Ｄ１５１の配置が同じである測定用パターンを用いるので、測定用画像データの作成等に要する手間を減らすことができる、また、いずれのプロジェクターに投写された測定用パターンも特徴図形の配置が同様であるので、いずれの投写測定用パターンの特徴点も同様のアルゴリズムにより検出可能になり、特徴点の検出に要する手間を減らすことができる。
【０１１２】
図９は、第３の例の測定用パターンの説明図である。
図９に示すように、第３の例の測定用パターンとしての第５〜第８の測定用パターンＤ２１〜Ｄ２４は、上記の実施形態で説明した第１の例における特徴図形（以下、第１の特徴図形という）に加えて、第２の特徴図形を含んでいる。
【０１１３】
詳しくは、第５の測定用パターンＤ２１は、第１の特徴図形Ｄ１１１に加えて第２の特徴図形Ｄ２１１を含んでいる。第２の特徴図形Ｄ２１１は、第１の特徴図形Ｄ１１１よりも大面積のものであり、例えば矩形や円形等の単純形状のものである。本例では、略矩形の第２の特徴図形Ｄ２１１が、第５の測定用パターンＤ２１の概ね中央に配置されている。ここでは、第２の特徴図形Ｄ２１１の内側に第５の測定用パターンＤ２１の中心位置が含まれる位置関係になっている。同様に、第６の測定用パターンＤ２２は第２の特徴図形Ｄ２２１を含んでおり、第７の測定用パターンＤ２３は第２の特徴図形Ｄ２３１を、第８の測定用パターンＤ２４は第２の特徴図形Ｄ２４１をそれぞれ含んでいる。
【０１１４】
第５の測定用パターンＤ２１は、第１のプロジェクター２１により投写され、被投写面９上に第５の投写測定用パターンＴ２１として表示される。第５の投写測定用パターンＴ２１は、第１の特徴図形Ｄ１１１に相当する第１の投写特徴図形Ｔ１１１と、第２の特徴図形Ｄ２１１に相当する第２の投写特徴図形Ｔ２１１とを含んでいる。同様に、第６〜第８の測定用パターンＤ２２〜Ｄ２４は、第２〜第４のプロジェクター２２〜２４により投写され、被投写面９上に第６〜第８の投写測定用パターンＴ２２〜Ｔ２４として表示される。第６〜第８の投写測定用パターンＴ２２〜Ｔ２４は、第２の投写特徴図形Ｔ２２１、Ｔ２３１、Ｔ２４１を含んでいる。
【０１１５】
第５〜第８の投写測定用パターンＴ２１〜Ｔ２４を撮影した撮影画像から第１の特徴図形を検出するには、まず第２の特徴図形を検出する。第２の特徴図形は、第１の特徴図形よりも大面積であるとともに単純形状であるので、例えばハフ変換等により容易に検出することができる。測定用パターンに占める第１、第２の特徴図形の位置は、測定用画像データに規定されており既知であるので、検出された第２の特徴図形の位置情報を用いると、撮影投写パターンに占める第１の特徴図形の概位置を推定することができる。この概位置を用いて、例えば概位置周りの所定の領域を探索して第１の特徴図形を検出する。これにより、第１の特徴図形の検出に要する演算負荷を減らすことができ、補正情報を効率よく得ることが可能になる。また、演算負荷を増すことなく、第１の特徴図形を探索するときの領域の刻み幅を細かくすることが可能になり、第１の特徴図形の検出の失敗数を減らすことができる。また、第１の特徴図形の検出の失敗を生じたときに、例えば第１の特徴図形の概位置の推定値を検出結果として代用することが可能になり、処理のロバスト性を高めることができる。
【符号の説明】
【０１１６】
１・・・画像表示システム、２・・・プロジェクター、３・・・画像処理装置、
４・・・撮影装置、５・・・画像制御装置、６・・・補正情報算出装置、
８・・・信号源、９・・・被投写面、２１・・・第１のプロジェクター、
２２・・・第２のプロジェクター、２３・・・第３のプロジェクター、
２４・・・第４のプロジェクター、５１・・・画像入力部、５２・・・画像保存部、
５３・・・画像補正部、５４・・・画像出力部、６１・・・補正情報演算部、
６２・・・画像解析部、６３・・・記憶部、Ａ・・・有効投写領域、
Ａ０・・・全体投写領域、Ａ１・・・第１投写領域、Ａ２・・・第２投写領域、
Ａ３・・・第３投写領域、Ａ４・・・第４投写領域、Ｄ・・・測定用パターン、
Ｄ１〜Ｄ４・・・特徴点、Ｄ５・・・領域、
Ｄ１１〜Ｄ１５、Ｄ２１〜Ｄ２４・・・測定用パターン、
Ｄ１１１・・・特徴図形（第１の特徴図形）、Ｄ１１２・・・特徴図形列、
Ｄ１２１・・・特徴図形、Ｄ１２２・・・特徴図形列、
Ｄ１３１、Ｄ１４１、Ｄ１５１・・・特徴図形、Ｄ１５２・・・第１の配置領域、
Ｄ１５３・・・第２の配置領域、Ｄ１５４・・・第３の配置領域、
Ｄ１５５・・・第４の配置領域、Ｄ１５６・・・第１の特徴図形列、
Ｄ１５７・・・第２の特徴図形列、Ｄ１５８・・・第３の特徴図形列、
Ｄ１５９・・・第４の特徴図形列、
Ｄ２１１、Ｄ２２１、Ｄ２３１、Ｄ２４１・・・第２の特徴図形、
Ｐ・・・コンテンツ画像（画像）、Ｐ１・・・第１の部分画像、
Ｐ２・・・第２の部分画像、Ｐ３・・・第３の部分画像、Ｐ４・・・第４の部分画像、
Ｐ５・・・重畳領域、Ｓ１〜Ｓ８・・・ステップ、Ｔ・・・撮影パターン、
Ｔ１〜Ｔ４・・・特徴点、Ｔ５・・・領域、
Ｔ１１〜Ｔ１４、Ｔ１６〜Ｔ１９、Ｔ２１〜Ｔ２４・・・投写測定用パターン、
Ｔ１１１・・・投写特徴図形（第１の投写特徴図形）、
Ｔ１１２、Ｔ１２１・・・投写特徴図形、Ｔ１２２・・・投写特徴図形列、
Ｔ１３１、Ｔ１４１、Ｔ１５１、Ｔ１６１、Ｔ１７１、Ｔ１８１・・・投写特徴図形、
Ｔ２１１、Ｔ２２１、Ｔ２３１、Ｔ２４１・・・第２の投写特徴図形
【特許請求の範囲】
【請求項１】
画像形成素子を有するプロジェクターによって被投写面上に投写される画像における画素の位置と、前記画像形成素子における画素の位置との対応関係を示す補正情報を算出する補正情報算出装置であって、
特徴点を規定する特徴図形を複数含んだ第１の測定用パターンを示す第１の測定用画像データを前記被投写面上の第１投写領域に投写する第１のプロジェクターに供給するとともに、特徴点を規定する特徴図形を複数含んだ第２の測定用パターンを示す第２の測定用画像データを前記第１投写領域と重なり合う重畳領域を含んだ第２投写領域に投写する第２のプロジェクターに供給する供給部と、
前記第１及び第２の測定用画像データに基づいて前記第１及び第２のプロジェクターにより被投写面上に投写された前記第１及び第２の測定用パターンを撮影した撮影パターンにおける複数の前記特徴点の位置と、前記第１及び第２の測定用画像データに規定された複数の前記特徴点の位置とを比較して、前記補正情報を算出する算出部と、を備え、
前記第１投写領域と前記第２投写領域とが並ぶ方向に相当する前記第１及び第２の測定用パターンの画素の配列方向を第１配列方向とし、前記第１配列方向の交差方向を第２配列方向としたときに、前記第１及び第２の測定用パターンは、前記複数の特徴図形のうちで前記第１配列方向における他の測定用パターンとの重畳側の端に配置された２以上の前記特徴図形により構成される特徴図形列を含み、前記第１の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置が、前記第２の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置と異なることを特徴とする補正情報算出装置。
【請求項２】
前記第１の測定用パターンにおける前記複数の特徴図形の配置が、前記第２の測定用パターンにおける前記複数の特徴図形の配置と同じであって、該測定用パターンは、前記第１配列方向の一端に配置された第１の前記特徴図形列と、他端に配置された第２の前記特徴図形列とを含み、前記第１の特徴図形列に属する各特徴図形の前記第２配列方向の位置が、前記第２の特徴図形列に属する各特徴図形の前記第２配列方向の位置と異なることを特徴とする請求項１に記載の補正情報算出装置。
【請求項３】
請求項１または請求項２に記載の補正情報算出装置と、
前記補正情報算出装置により算出された前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正する画像補正部と、
を備えていることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置と、
前記画像処理装置により補正された前記補正後の画像データに基づいて画像を投写する複数のプロジェクターと、
を備えていることを特徴とする画像表示システム。
【請求項５】
前記測定用パターンが投写された前記第１投写領域および前記第２投写領域を含む領域を撮影する撮影装置を備え、
前記補正情報算出装置は、前記撮影装置により撮影された撮影画像のうちの前記撮影パターンを用いて前記補正情報を算出することを特徴とする請求項４に記載の画像表示ステム。
【請求項６】
特徴点を規定する特徴図形を複数含んだ第１の測定用パターンを示す第１の測定用画像データを前記被投写面上の第１投写領域に投写する第１のプロジェクターに供給するとともに、特徴点を規定する特徴図形を複数含んだ第２の測定用パターンを示す第２の測定用画像データを前記第１投写領域と重なり合う重畳領域を含んだ第２投写領域に投写する第２のプロジェクターに供給する測定用データ供給ステップと、
前記測定用画像データに基づいて前記プロジェクターにより被投写面上に投写された測定用パターンを撮影した撮影パターンにおける複数の前記特徴点の位置と、前記測定用画像データに規定された複数の前記特徴点の位置とを比較して、前記被投写面上での画素の位置と前記プロジェクターの画像形成素子での画素の位置との対応関係を示す補正情報を算出するステップと、
前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正するステップと、
を有し、
前記第１投写領域と前記第２投写領域とが並ぶ方向に相当する前記測定用パターンの画素の配列方向を第１配列方向とし、前記第１配列方向の交差方向を第２配列方向としたときに、前記測定用パターンは、前記複数の特徴図形のうちで前記第１配列方向における他の測定用パターンとの重畳側の端に配置された２以上の前記特徴図形により構成される特徴図形列を含み、
前記第１の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置を、前記第２の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置と異ならせること特徴とする画像処理方法。
【請求項１】
画像形成素子を有するプロジェクターによって被投写面上に投写される画像における画素の位置と、前記画像形成素子における画素の位置との対応関係を示す補正情報を算出する補正情報算出装置であって、
特徴点を規定する特徴図形を複数含んだ第１の測定用パターンを示す第１の測定用画像データを前記被投写面上の第１投写領域に投写する第１のプロジェクターに供給するとともに、特徴点を規定する特徴図形を複数含んだ第２の測定用パターンを示す第２の測定用画像データを前記第１投写領域と重なり合う重畳領域を含んだ第２投写領域に投写する第２のプロジェクターに供給する供給部と、
前記第１及び第２の測定用画像データに基づいて前記第１及び第２のプロジェクターにより被投写面上に投写された前記第１及び第２の測定用パターンを撮影した撮影パターンにおける複数の前記特徴点の位置と、前記第１及び第２の測定用画像データに規定された複数の前記特徴点の位置とを比較して、前記補正情報を算出する算出部と、を備え、
前記第１投写領域と前記第２投写領域とが並ぶ方向に相当する前記第１及び第２の測定用パターンの画素の配列方向を第１配列方向とし、前記第１配列方向の交差方向を第２配列方向としたときに、前記第１及び第２の測定用パターンは、前記複数の特徴図形のうちで前記第１配列方向における他の測定用パターンとの重畳側の端に配置された２以上の前記特徴図形により構成される特徴図形列を含み、前記第１の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置が、前記第２の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置と異なることを特徴とする補正情報算出装置。
【請求項２】
前記第１の測定用パターンにおける前記複数の特徴図形の配置が、前記第２の測定用パターンにおける前記複数の特徴図形の配置と同じであって、該測定用パターンは、前記第１配列方向の一端に配置された第１の前記特徴図形列と、他端に配置された第２の前記特徴図形列とを含み、前記第１の特徴図形列に属する各特徴図形の前記第２配列方向の位置が、前記第２の特徴図形列に属する各特徴図形の前記第２配列方向の位置と異なることを特徴とする請求項１に記載の補正情報算出装置。
【請求項３】
請求項１または請求項２に記載の補正情報算出装置と、
前記補正情報算出装置により算出された前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正する画像補正部と、
を備えていることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置と、
前記画像処理装置により補正された前記補正後の画像データに基づいて画像を投写する複数のプロジェクターと、
を備えていることを特徴とする画像表示システム。
【請求項５】
前記測定用パターンが投写された前記第１投写領域および前記第２投写領域を含む領域を撮影する撮影装置を備え、
前記補正情報算出装置は、前記撮影装置により撮影された撮影画像のうちの前記撮影パターンを用いて前記補正情報を算出することを特徴とする請求項４に記載の画像表示ステム。
【請求項６】
特徴点を規定する特徴図形を複数含んだ第１の測定用パターンを示す第１の測定用画像データを前記被投写面上の第１投写領域に投写する第１のプロジェクターに供給するとともに、特徴点を規定する特徴図形を複数含んだ第２の測定用パターンを示す第２の測定用画像データを前記第１投写領域と重なり合う重畳領域を含んだ第２投写領域に投写する第２のプロジェクターに供給する測定用データ供給ステップと、
前記測定用画像データに基づいて前記プロジェクターにより被投写面上に投写された測定用パターンを撮影した撮影パターンにおける複数の前記特徴点の位置と、前記測定用画像データに規定された複数の前記特徴点の位置とを比較して、前記被投写面上での画素の位置と前記プロジェクターの画像形成素子での画素の位置との対応関係を示す補正情報を算出するステップと、
前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正するステップと、
を有し、
前記第１投写領域と前記第２投写領域とが並ぶ方向に相当する前記測定用パターンの画素の配列方向を第１配列方向とし、前記第１配列方向の交差方向を第２配列方向としたときに、前記測定用パターンは、前記複数の特徴図形のうちで前記第１配列方向における他の測定用パターンとの重畳側の端に配置された２以上の前記特徴図形により構成される特徴図形列を含み、
前記第１の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置を、前記第２の測定用画像データに規定された前記特徴図形列に属する各特徴図形の前記第２配列方向の位置と異ならせること特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１８２０７６（Ｐ２０１１−１８２０７６Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４２４６３（Ｐ２０１０−４２４６３）
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]