校正済みの投写像を生成する方法および装置
【課題】単一平面に沿った平面状ではない形状の被投写面に対し、歪みが極めて少ない投写を可能にする方法および装置を提供する。
【解決手段】校正用構造５を被投写面１の空間的広がりに追従するように配する過程と、校正用構造５の画像５’を生成する過程と、被投写面１の空間的広がりを再構成する過程とを含む。この再構成過程では、画像５’から、実際の校正用構造５における第１および第２のポイントに対応するポイント対Ａ〜Ｆを複数決定し、ポイント対Ａ〜Ｆから消失点Ｇに向かって延びる補助ビーム対を複数生成し、補助ビーム対のそれぞれについて支持路を生成し、支持路の長さおよび／または向きを同一アングルの共通平面上において長さが互いに同一になるまで変化させて発見した所望の支持路を用いて所望の被投写面のモデルを生成する。このモデルを用いて、校正済み投写像を生成する。
【解決手段】校正用構造５を被投写面１の空間的広がりに追従するように配する過程と、校正用構造５の画像５’を生成する過程と、被投写面１の空間的広がりを再構成する過程とを含む。この再構成過程では、画像５’から、実際の校正用構造５における第１および第２のポイントに対応するポイント対Ａ〜Ｆを複数決定し、ポイント対Ａ〜Ｆから消失点Ｇに向かって延びる補助ビーム対を複数生成し、補助ビーム対のそれぞれについて支持路を生成し、支持路の長さおよび／または向きを同一アングルの共通平面上において長さが互いに同一になるまで変化させて発見した所望の支持路を用いて所望の被投写面のモデルを生成する。このモデルを用いて、校正済み投写像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、請求項１および請求項１５に記載された校正済み投写像の生成方法、ならびに請求項１７および請求項１８に記載された校正済み投写像の生成装置に関する。
【背景技術】
【０００２】
プロジェクタシステムを用いて画像を被投写面に投写することは、産業、研究および教育などの数多くの分野で日常的に行われている。画像が投写されるのは、典型的に、平面状の被投写面、例えば、スクリーンや建物の外壁または内壁などである。また、複数のプロジェクタを用いて全体画像のうちの部分的画像を各プロジェクタから投写する技術が先行技術から知られている。このようなマルチプロジェクタシステムは、例えば特許文献１に記載されている。
【０００３】
マルチプロジェクタシステムは、重ね合わせ効果による光度の増加または解像度の向上の目的でも使用される。このようなプロジェクタシステムの用途は、例えば、建築分野および／または一般的にＣＡＤの分野であり、特に、細部および／または巨大なモデルを表現することができる。しかし、マルチプロジェクタシステムの各プロジェクタは、正しく見える歪みのない画像を生成するために、他のプロジェクタおよび／または被投写面に対して整合（「校正」）される必要がある。詳細には、各プロジェクタから投写される部分的画像は、高精細な画素が得られるように他のプロジェクタおよび／または被投写面に合わせて調整（「スティッチング」や「ワーピング」）が施される。また、隣合う部分的画像同士の重複領域の輝度を、その領域における全体画像の輝度が過剰にならないように低減することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】独国特許発明第１０２５１２１７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の根底をなす課題は、単一平面に沿った平面状ではない形状の被投写面に対し、歪みが極めて少ない投写を可能にする方法および装置を提供することである。
【課題を解決するための手段】
【０００６】
上記課題は、請求項１または１５の構成を含む方法、および請求項１７または１８の構成を備える装置によって解決される。本発明の改良形態は、従属請求項に記載されている。
【０００７】
以上を踏まえて、被投写面上に校正済みの投写像を生成する方法を提供する。この校正済み投写像の生成方法は、
ａ）第１の側部（輪郭線）および第１の側部に対して平行に延びる第２の側部（輪郭線）を有し、かつ、前記第１または第２の側部の方向に沿って高さが一様に設定された校正用構造（構成用のパターン）を、前記被投写面の空間的広がり（形態）に追従する（従う、辿る）ように配置および／または生成する過程と、
ｂ）カメラの結像面に前記校正用構造の画像を生成する過程と、
ｃ）前記校正用構造の領域に前記被投写面の空間的広がりを再構成する過程と、
を含み、前記ｃ）再構成過程が、
ｄ）前記校正用構造の前記画像において、実際の校正用構造における第１のポイントに対応する第１のポイントと実際の校正用構造における第２のポイントに対応する第２のポイントとで構成されたポイント対を複数決定する過程であって、これら第１のポイントおよび第２のポイントは、前記校正用構造の前記第１または第２の側部において互いに反対側に位置する（第１または第２の側部の両端に位置する）過程と、
ｅ）前記ポイント対における前記第１および第２のポイントから前記結像面の前方に位置する仮想的な消失点に向かってそれぞれ延びる２つの補助ビームで構成された補助ビーム対を複数生成する過程と、
ｆ）前記補助ビーム対のそれぞれについて、当該補助ビーム対における一方の補助ビームを始端とし当該補助ビーム対における他方の補助ビームを終端とする支持路を生成する過程であって、これら複数の支持路は互いに平行である過程と、
ｇ）前記支持路の長さおよび／または向きを、全ての支持路の長さが互いに同一になり、これら支持路が共通平面に対して同一角度をなすまで変化させる過程と、
ｈ）前記ｇ）過程で発見した支持路を用いて前記被投写面の（仮想的な）モデルを生成する過程であって、これらの支持路は、所望の被投写面の一部をなし、かつ、前記校正用構造の前記第１および第２の側部に対して平行に延びる経路である過程と、を有し、
当該校正済み投写像の生成方法は、さらに、
ｉ）前記ｈ）過程で生成した前記モデル（すなわち、前記被投写面の空間的広がりを再構成したもの）を用いて、校正済み投写像、特には、前記校正用構造を基準として校正された投写像を生成する過程を含む。
【０００８】
この方法により、校正用構造の領域に延在する被投写面の部位に関して、この部位が単一平面に沿った連続平面状ではなく、例えば１つの湾曲部（または複数の湾曲部）および／または１つの屈曲部（または複数の屈曲部）を有するものであったとしても、当該部位について投写像を校正することができ、すなわち、歪みの極めて少ない投写が可能となる。
【０００９】
このような校正済みの投写像を生成するにあたっては、被投写面の空間的広がりを、校正用構造を用いて判定する。前記方法では、校正用構造の領域における被投写面が特定の形状であると想定する。詳細には、校正用構造の領域における被投写面が、校正用構造の第１の側部の端点と第２の側部の端点との間の連結線を当該校正用構造の第１および第２の側部に沿ってシフトさせた際に描かれる表面とほぼ一致することを前提とする。この「連結線」は、原則的に、任意の形状を有する３次元の曲線であり、すなわち、必ずしも直線状に延びるものである必要はなく、例えば１つの湾曲部（または複数の湾曲部）および／または１つの屈曲部（または複数の屈曲部）を有してもよい。詳細な一実施形態において、前記方法は、これに対応した形状を有する被投写面を設けることを含む。
【００１０】
詳細には、前記連結線は、校正用構造の第１および第２の側部において当該校正用構造の第１または第２の側部に垂直な方向おいて互いに反対側に位置する２つの端点、すなわち、第１および第２の側部の２つの「上」端を結ぶ線または２つの「下」端を結ぶ線である。この連結線を第１および第２の側部に沿ってシフトさせる（すなわち、上方または下方に変位させる）ことによって描かれる軌跡は、被投写面が延在する表面に沿う。換言すれば、被投写面は、校正用構造の第１および第２の側部に沿った方向（例えば、垂直方向）における掃引によって、校正用構造の領域に生成される。すなわち、このような被投写面の特性は、次のことを意味する：校正用構造の領域における被投写面には、当該校正用構造の第１および第２の側部に平行に延びる直線に沿って屈曲部および／または湾曲部が有るものの、凹凸は校正用構造によって画定される残りの表面に比べて存在しないに等しいか、または、凹凸が有ったとしたとしても小さい凹凸である。ただし、そのような小さい凹凸が被投写面に有ったとしても、これら凹凸が原因で生じる歪みは校正用パターンの投写で補正可能である。歪みの補正については後述する。
【００１１】
校正用構造を含む被投写面を、記録手段（カメラ）、特には、デジタルカメラ、ビデオカメラ、ハイスピードカメラなどで撮影する。つまり、校正用構造の画像を、カメラの結像面に生成する。そして、校正用構造の領域における被投写面が、前記連結線を校正用構造の第１または第２の側部に沿って掃引することによって生成されることを前提としたうえで、その校正用構造の画像から、校正用構造の領域における被投写面の空間的広がりの再構成を実行する。
【００１２】
再構成過程は、校正用構造の画像において、実際の校正用構造における各ポイント（すなわち、被投写面上に存在する各ポイント）に対応するポイント対を複数決定する過程を有する。例えば、実際の校正用構造を４つの角（隅）を有するもの（すなわち、「空間的な四辺形」）とした場合、この四辺形状の校正用構造の２対のコーナーポイントは、それぞれ、第１の側部の両端と第２の側部の両端に位置する。校正用構造の画像に、例えばカメラの向きに応じて被投写面に対する歪みおよび／または捩れが生じたとしてもる、当該校正用構造の画像から上記コーナーポイントを特定することは可能である。
【００１３】
例えば、この四辺形（すなわち、実際の校正用構造）のコーナーポイントを基準として、校正用構造の画像における他のポイント対を、実際の校正用構造におけるポイント対と関連付けることができる。これは、例えば、第１の側部における第１のコーナーポイントと第２の側部における第１のコーナーポイントとを結ぶ第１の連結線（すなわち、校正用構造の第３の側部（輪郭線））上に位置するポイントと、第１の側部における第２のコーナーポイントと第２の側部における第２のコーナーポイントとを結ぶ第２の連結線（すなわち、校正用構造の第４の側部（輪郭線））上に位置するポイントとで構成されるポイント対であって、校正用構造の第１の側部からの離間距離と第２の側部からの離間距離とがどちらのポイントについても同一であるポイント対を特定することによって実行できる。このように校正用構造の画像において他のポイント対を特定する方法については後述する。なお、校正用構造は必ずしも４つの角を有するものでなくてもよい。他の形状の校正用構造、例えば、第１の側部および第２の側部が含まれる平面に投写した際の投写像が５つ以上の角を有する校正用構造であってもよい。
【００１４】
決定した各ポイント対の各ポイントに対して、（特に、コンピュータプログラムを用いて）（仮想的な）補助ビームを生成する。各補助ビームは、対応するポイント対における第１および第２のポイントからカメラの結像面（概して言えば、校正用構造の画像が延在する平面）の前方に位置する共通の消失点に向かって延びる。つまり、カメラによって校正用構造を表現することのモデル化を、いわばピンホールカメラモデルで実行する。
【００１５】
前述したように、被投写面を再構成するにあたっては、被投写面を、校正用構造の第１および第２の側部に沿って掃引することにより生成されると見なす。これにより、校正用構造の領域における被投写面を、当該校正用構造の高さと同じ高さを有する、複数（多数）の互いに平行な（直線状の）経路を空間内に並べて構成したものと考えることができる。このようにして、補助ビーム対の各対について、当該補助ビーム対における一方の補助ビームを始端とし当該補助ビーム対における他方の補助ビームを終端とした支持路を（特に、コンピュータプログラムによって）生成する。なお、これら複数の支持路は互いに平行である。
【００１６】
次に、これらの支持路の長さおよび／または向きを、全ての支持路が同一の長さで共通平面に対して同一角度をなすまで（すなわち、全ての支持路がこの共通平面上で終端するまで）、（特に、コンピュータ支援最適化アルゴリズムを用いて）変化させる。そして、このようにして発見した支持路を、校正用構造の領域における被投写面の所望の再構成の経路の一部をなすものとする。各経路は、校正用構造の第１および第２の側部に対して平行に延び、その両端は、それぞれ、校正用構造の第１の側部と第２の側部とを結ぶ第１の連結線（すなわち、校正用構造の第３の側部）上のポイント、校正用構造の第１の側部と第２の側部とを結ぶ第２の連結線（すなわち、校正用構造の第４の側部）上のポイントに相当する。
【００１７】
このようにして再構成した被投写面を用いて、校正用構造に対して校正された投写画像を生成する。当然ながら、この校正済みの投写画像は、複数のプロジェクタを用いて生成してもよく、すなわち、個々の投写像を複数組み合わせて生成してもよい。「校正用構造に対して」校正された画像は、特に、校正用構造における被投写面に沿った領域において歪みが少なく（すなわち、ほとんど補正されており）、例えば、校正用構造の第１および第２の側部に沿った方向の歪みならびに当該方向に対して垂直な方向の歪みが少ない。複数のプロジェクタを使用する場合には、投写像の部分画像を、干渉が極めて少なくなるように複数互いに接合する。このような投写画像は、いわば被投写面上に広げられた壁紙のように見える。以下では、校正済みの映像を生成する方法、特に、投写画像を補正する方法について説明する。
【００１８】
本発明の一改良形態では、前記ｄ）〜ｈ）過程による被投写面の再構成よりも先に、校正用構造の画像を生成するためのカメラのレンズ歪みを補正するか、または、前記ｈ）過程で再構成済みの被投写面の広がりを、カメラのレンズ誤差（レンズ収差）を考慮しながら補正する。この目的のために、例えば、キャリブレーションボディまたはキャリブレーション面を用いたレンズ補正方法を利用してもよく、画像内容から補正パラメータを求めるレンズ補正方法を利用してもよい。
【００１９】
他の（アドホックな）レンズ補正の方法は、校正用構造の第１および第２の側部の既知の広がりを利用する。詳細な一実施形態において、校正用構造の第１および第２の側部は直線状に延びている。カメラで撮影した校正用構造の第１および第２の側部の広がりと、実際の校正用構造の第１および第２の側部（例えば、直線形状の側部）の広がりとのずれから、レンズ補正パラメータを決定することができる。この他にも、例えば、校正用構造の領域における被投写面に対し、さらなる校正用パターンを投写してもよい。詳細には、当該さらなる校正用パターンは、校正用構造の第１および第２の側部と例えば直交するように（例えば、水平および／または垂直に）当接もしくは交差するか、または任意の角度で当接もしくは交差する、（直線状の）校正用帯線を有する。このような当接または交差で得られた交差点は、カメラ画像で認識され、互いに連結される。このようにして得られた交差点を結ぶ連結線は直線となるはずである。なぜなら、直線は斜め方向から撮影された画像でも直線として映るからである。もし（レンズ歪みが原因で）直線ない場合には、レンズ歪みの影響を補正するためのパラメータを決定することができる。当然ながら、直線状の帯線の代わりに、プロジェクタ空間における広がり（すなわち、投写像の物体面上の広がり）が判明している他の校正用パターンを使用してよい。
【００２０】
詳細な一実施形態において、レンズ歪みパラメータは、最適化法によって決定される。この最適化法は、校正用構造の第１および第２の側部の（シミュレーション）画像と投写された校正用帯線の（シミュレーション）画像とのいずれか一方または両方に基づく画像の広がりが実際の校正用構造の第１および第２の側部の広がりと一致するまで（例えば、校正用構造の直線状の第１および第２の側部が２本の対応する直線となるまで）、補正パラメータを調整することを含む。
【００２１】
詳細な一実施形態において、校正用構造は、第１の側部、第２の側部に対して垂直で、互いに平行に延びる第３の側部および第４の側部によって画定される。換言すれば、この校正用構造は、被投写面上に「展開された」直方形の形状を有する。
【００２２】
本発明にかかる方法の一改良形態では、前記ｄ）過程が、
−前記校正用構造の前記画像の第１の縁部（第１の側部）であって、前記実際の校正用構造の前記第１の側部に対応する第１の縁部（第１の側部）に位置する第１のポイント対を決定し、
−前記校正用構造の前記画像の第２の縁部（第２の側部）であって、前記実際の校正用構造の前記第２の側部に対応する第２の縁部（第２の側部）に位置する第２のポイント対を決定し、
−前記校正用構造の前記第１および第２の側部が含まれる平面から最も離れた前記被投写面の領域（すなわち、被投写面において最大の空間的湾曲または空間的深さを有する領域）に位置し、前記実際の校正用構造のポイントに対応する、第３のポイント対を決定し、
−例えば、まず、前記ｆ）〜ｈ）過程を前記第１、第２および第３のポイント対について実行する。
【００２３】
被投写面において最大の空間的湾曲または空間的深さを有する領域の第３のポイント対を選択することは、必ずしも必要ではない。詳細な一実施形態において、このような選択は、カメラ画像（被投写面の「画像」）または当該カメラ画像をホモグラフィ変換によって変換したものから、被投写面のどの領域が校正用構造の第１および第２の側面が含まれる平面から最も離れているか（すなわち、被投写面のどの領域が最大の空間的深さを有しているか）を明らかにすることで実行する。しかし、被投写面において最大の空間的深さを有する領域の近傍に位置するポイント対または当該領域からほんの僅か離れたポイント対を、第３のポイント対として選択してもよい。
【００２４】
当然ながら、前記第１、第２および第３のポイント対を決定するのに加えて、さらなるポイント対を選択してもよい。当該さらなるポイント対について、（例えば、第１、第２および第３のポイント対についてｆ）〜ｈ）過程を実行した後に、）同じく支持路を決定する。特に、当該さらなるポイント対に由来する支持路の長さおよび向きは、先に最適化によって決定した第１、第２および第３のポイント対に由来する支持路の長さおよび向きである。これにより、当該さらなる支持路を補助経路の関連対にいわば「嵌め込む」。すなわち、さらなる支持路は、第１の端部が当該補助ビーム対のうちの第１の補助ビームに当接し第２の端部が当該補助ビーム対のうちの第２の補助ビームに当接する。
【００２５】
本発明の他の構成では、前記校正用構造の前記第１および第２の側部を、前記被投写面の第１および第２の縁部によって構成する。換言すれば、被投写面の一部または被投写面の全体が、校正用構造によって画定される。例えば、校正用構造の第１および第２の側部は、被投写面の２つの互いに反対側の側縁、または被投写面を画定する他の構造によって構成される。校正用構造は、例えば、被投写面を画定する側縁または他の構造によって専ら構成される。被投写面の第１および第２の縁部を認識する方法の一変形例では、被投写面の縁部と重なる画像（少なくとも１つのプロジェクタによって生成される、例えば、白色画像または灰色画像）を投写する。
【００２６】
代替として、または、上記の構成に加えて、前記校正用構造の少なくとも一部を、前記被投写面に配置するか、または前記被投写面に投写してもよい。例えば、校正用構造は、帯体の形態で被投写面に固定（例えば、貼付け）されたものであってもよく、レーザビームによって被投写面に投写されたものであってもよい。詳細な一実施形態において、校正用構造は、その第１および／または第２の側部が被投写面の縁部に対して垂直または水平に延びるか、または、被投写面を画定する他の構造に対して垂直または水平に延びるように配置される。
【００２７】
校正用構造の少なくとも一部を、被投写面に配置せずに、被投写面の画像に後で（例えば、対応する画像処理によって）追加してもよい。特に、被投写面の縁部構造またはその他の特徴的な構造が利用される。このような構造は、例えば、カメラ画像からは一部しか見えないか、あるいは、全く見えないが、カメラのファインダではその広がりを捉えることができるので、カメラ画像内に含まれる他の構造（例えば、内部空間の側壁の縁部）と関連付けることができる。すなわち、この変形例では、校正用構造は、全部または少なくとも一部が被投写面に生成または配置されず、むしろ、（上述のように、）被投写面に生成または配置された校正用構造の画像に相当するように、被投写面のカメラ画像に単に追加される。本発明にかかる方法の既述の変形例および後述の変形例は、このように単にカメラ画像に追加される校正用構造（例えば、手入力または自動で追加される校正用構造）の場合にも同様に適用可能である。当然ながら、校正用構造の一部分をレーザで生成するかまたは被投写面に配置し、校正用構造の他の部分を後で追加してもよい。
【００２８】
既述したように、被投写面は、校正用構造の領域における垂直方向の掃引によって生成されることが想定されることを条件としたうえで、原則的には、空間内にどのような広がりを有してもよい。この前提条件は、ｄ）〜ｈ）過程の再構成アルゴリズムによる解決手段を明らかにする。ｇ）過程の条件、すなわち、共通平面上において長さが互いに同一である支持路を発見するという条件を満足する解決手段は他にも複数存在するが、これらの解決手段では、被投写面を再構成した際に、縮尺や位置関係にずれが生じてしまう。
【００２９】
本発明にかかる方法は、特に、前記校正用構造の領域において第１の部位および第１の部位に対して角度または湾曲を持って延びる第２の部位を有する被投写面に対して実行することができる。例えば、校正用構造の領域における被投写面は、少なくとも一部が円筒の側面もしくは円筒の一部の側面として形成されたものでもよく、または、例えば波状に延在するものであってもよい。
【００３０】
前記被投写面の前記第１の部位が第１の平面に沿って延在し、かつ、前記被投写面の前記第２の部位が第２の平面に沿って延在してもよい。換言すれば、第１の部位および第２の部位は、それぞれ平面上に延在するものである一方、これら第１の平面および第２の平面は互いにある角度をなす。すなわち、被投写面は、屈曲部または角を有する。当然ながら、被投写面は、複数の屈曲部を有してもよく、すなわち、少なくともほぼ平面状である複数の部位を互いに傾くように有してもよい。当然ながら、校正用構造の領域における被投写面は、湾曲部と屈曲部の両方を有してもよい。一変形例では、内部空間において角（隅）をまたいで延びる側壁、または家具が、被投写面の役割を果たす。後者の場合の投写画像は、家具を越えて家具の外側（例えば、壁）にまで及ぶ。
【００３１】
本発明のさらなる構成では、さらに、
i）前記校正用構造の変換後の画像のエッジが互いに平行に延びる第１および第２の側部を有するように、前記校正用構造の前記画像を前記カメラの前記結像面から補助平面に変換することによって前記校正用構造の変換画像を生成する過程と、
ii）前記校正用構造の前記変換画像において、当該変換された校正用構造のエッジにおける第１のポイントと第２のポイントとで構成されたポイント対を複数選択する過程であって、これら第１のポイントおよび第２のポイントは、前記校正用構造の前記変換画像の第１または第２の側部において互いに反対側に位置する（第１または第２の側部の両端に位置する）ものである過程と、
iii）前記校正用構造の前記変換画像において選択された前記ポイント対に対応する、前記校正用構造の前記画像におけるポイント対を特定することにより、前記ｄ）過程におけるポイント対選択を実行する。
【００３２】
詳細な一実施形態では、前記iii）におけるポイント対の特定を、前記変換画像において前記選択されたポイント対の座標の、前記結像面への逆変換によって実行する。例えば、校正用構造が、第１および第２の側部と第３および第４の側部とが直角で接する４つの頂点を構成する場合、前記補助平面上に変換された校正用構造は直方形を形成する。この情報に基づいて、校正用構造の変換画像を生成する変換則（特には、ホモグラフィ行列の形態の変換則）を決定することができる。後述する投写像の補正においては、被投写面を縮尺どおりに再構成する必要がないので、上記の生成された直方形状の校正用構造の変換画像の側部の長さは重要ではない。
【００３３】
上述したように、前記校正用構造の前記画像の、前記結像面から前記補助平面への変換は、ホモグラフィ行列で実行し、前記逆変換は、逆ホモグラフィ変換行列で実行する。逆ホモグラフィ行列を算出できない場合（逆変換されていない行列の行列式がゼロの場合）、始域と終域を取り替えて逆変換用の新たなホモグラフィ行列を求めてもよい。
【００３４】
本発明の他の改良形態では、校正済みの投写像を生成するために、
ａ）少なくとも１つの校正用パターンを前記被投写面に投写し、
ｂ）前記カメラで前記校正用パターンの画像を生成し、
ｃ）前記校正用パターンの前記画像と前記校正用構造の前記領域における前記被投写面の再構成後の広がりとに基づき、投写像を校正するための歪みパラメータを決定する。
【００３５】
例えば、投写像の物体面における投写校正用パターン（すなわち、プロジェクタから投写される校正用パターン）は、一様なラスタを形成する格子点を有する。投写される格子点間の、第１および第２の側部に沿った離間距離、および／または第１の側部および第２の側部の垂直方向に沿った離間距離が少なくとも実質上一定となるように、投写像を校正用構造に対して校正する。複数のプロジェクタの場合、各プロジェクタは、（それぞれ、その投写像の物体面における格子点同士が一定の離間距離を有する）個々の校正用パターンを含む。例えば、校正は、個々のプロジェクタの校正用パターンの重複領域に相当する領域において、校正後、同一の画像内容が表示されるように実行される。
【００３６】
このような校正により、カメラの位置や見る人の位置に対してではなく、被投写面の広がりに対して、校正された投写像を生成することができる。詳細には、被投写面に対して補正された画像を投写することができ、つまり、投写画像は、（湾曲部および／または屈曲部を有する）被投写面上に展開された壁紙のように見える。特に、投写像の向きを、投写画像の側縁が被投写面の側縁に対して平行に延びるように設定することができる。このような被投写面に対する校正、すなわち、見る人の位置に依存しない校正は、正しく見える。なぜなら、ヒトの知覚は、空間内に存在する構造のコーナー（角）およびエッジ（例えば、被投写面の側縁）の向きに影響されるからである。
【００３７】
本発明のさらなる構成では、前記校正用パターンが、投写像の前記物体面において、複数の互いに平行な第１の帯線（例えば、水平な帯線）および／または複数の互いに平行な第２の帯線（例えば、垂直な帯線）を有しており、前記第１の帯線は前記第２の帯線に対して垂直に延びており、前記第１の帯線と前記第２の帯線との交差点が当該校正用パターンの前記格子点を形成する。当然ながら、他種の校正用パターン、例えば、正弦波状のパターンおよび／またはマーカおよび／または色付きの校正用帯線などを使用してもよい。例えば、第１の帯線と第２の帯線とを交互に投写し、投写された帯線の画像を１つずつ記録するようにしてもよい。ただし、第１の帯線と第２の帯線とを一緒に投写してもよい。
【００３８】
詳細な一実施形態では、前記カメラの前記結像面における前記格子点の各位置を、投写像を校正するために使用し、
ｂ）前記校正用構造の領域における前記被投写面に対する、前記カメラによる前記格子点の結像（マッピング）を、前記校正用構造の領域において再構成された前記被投写面を用いてモデル化し、
ｃ）前記歪みパラメータを決定することが、前記被投写面上にマッピングされた前記格子点の各位置を、ＵＶ座標の形態で求めることを含み、
ｄ）前記ＵＶ座標に基づいて、投写像の校正を実行する。
【００３９】
詳細な一実施形態では、前記ＵＶ座標を求めるにあたって、カメラの結像面における格子点と再構成された被投写面とを交差させ、その交差点のＵＶ座標を決定する。例えば、校正用構造の第１の角（例えば、左下の角）が座標（0.0；0.0）に対応し第１の角の対角線上に位置する第２の角（例えば、右上の角）が座標（1.0；1.0）に対応するように、ＵＶ座標系を選択する。
【００４０】
前記交差点のＵＶ座標を、（被投写面の再構成されたモデルにおける）交差点と校正用構造の縁部との間の距離に基づいて求める。次に、既知の方法である画像ワーピング（本例では、ＵＶテクスチャルックアップ）によって補正を実行する。詳細には、前記求められた交差点のＵＶ座標（始域（元の領域））校正用パターンの格子点の座標（終域（目標の領域））との間の写像を、と投写像の物体面において求める。つまり、始域から終域への写像を実行して、始域が終域で表示される。このような写像を、交差点で構成された全ての終域（例えば、三角形状または直方形状の終域）および対応する始域について実行することにより、校正済みの投写像が得られる。
【００４１】
被投写面に投写画像を生成するにあたって複数（数台）のプロジェクタを使用する場合、個々の投写画像の重複領域における画像も補正することができる。この目的のために、全ての個々の補正された（予め画像ワーピングによって補正された）投写画像を、ブレンド画像によって調整する。補正およびブレンディング（合成）はリアルタイムで実行してもよい。このリアルタイムの補正（リアルタイムの校正）は、例えばコンピュータプログラムまたはプログラムされたマイクロプロセッサによって実行してもよく、例えばドライバ側で実行してもよい。このように複数のプロジェクタを使用した場合、個々の投写画像は、空間内に広がる被投写面に対して校正されると同時に、他の投写画像に対しても校正される。
【００４２】
リアルタイムの校正は、１つのプロジェクタの場合でも複数のプロジェクタの場合でも実行可能である。例えば、対応するプログラムを備えた電子構成品をプロジェクタに装備してもよく、プロジェクタに装備された電子構成品でそのような対応するソフトウェアプログラムを実行してもよい。当然ながら、このような校正は、プロジェクタとは別の、プログラムされた装置を用いて実行してもよい。
【００４３】
さらに、本発明は、被投写面上に校正済みの投写像を生成する装置に関する。この校正済み投写像の生成装置は、
ａ）前記校正用構造の領域における前記被投写面の空間的広がりを再構成する再構成手段を備え、この再構成手段が、
ｂ）前記被投写面の広がりに追従する校正用構造および／または前記被投写面に校正用構造を生成する手段を含み、当該校正用構造は、第１の側部（輪郭線）および第１の側部に対して平行に延びる第２の側部（輪郭線）を有し、かつ、前記第１または第２の側部の方向に沿って高さが一様に設定されており、これら第１の側部（５１）および第２の側部（５２）は、前記校正用構造（５）の画像から形成され、
また、前記再構成手段は、
ｃ）前記校正用構造の画像において、実際の校正用構造における第１のポイントに対応する第１のポイントと実際の校正用構造における第２のポイントに対応する第２のポイントとで構成されたポイント対を複数決定し、これら第１のポイントおよび第２のポイントは、前記校正用構造の前記第１または第２の側部において互いに反対側に位置しており（第１または第２の側部の両端に位置しており）、
ｄ）前記ポイント対における前記第１および第２のポイントから結像面の前方に位置する仮想的な消失点に向かってそれぞれ延びる２つの補助ビームで構成された補助ビーム対を複数生成し、
ｅ）前記補助ビーム対のそれぞれについて、当該補助ビーム対における一方の補助ビームを始端とし当該補助ビーム対における他方の補助ビームを終端とする支持路を生成し、これら複数の支持路は互いに平行であり、
ｆ）前記支持路の長さおよび／または向きを、全ての支持路の長さが互いに同一になり、これら支持路が共通平面に対して同一角度をなすまで変化させ、
ｇ）前記ｆ）で発見した支持路を用いて前記被投写面のモデルを生成するように構成されており、これらの支持路は、所望の被投写面の一部をなし、かつ、前記校正用構造の前記第１および第２の側部に対して平行に延びる経路であり、
当該校正済み投写像の生成装置は、さらに、
ｈ）前記再構成手段によって再構成された前記被投写面の空間的広がりを用いて、校正済み投写像、特には、前記校正用構造を基準として校正された投写像を生成する校正手段を備える。
【００４４】
詳細な一実施形態において、本発明にかかる装置は、さらに、被投写面に投写像を生成する少なくとも１つの（校正対象の投写像を投写する）プロジェクタおよび／または結像面に校正用構造の画像を生成する少なくとも１つのカメラを備える。ただし、本発明にかかる装置は、既存のプロジェクタおよび／または既存のカメラをそのまま使用しても申し分なく、すなわち、プロジェクタおよび／またはカメラは必ずしも本発明にかかる装置の一部をなさない。
【００４５】
詳細な一実施形態において、前記校正手段は、本発明にかかる方法に関して既述したように、被投写面に校正用パターンを投写する手段を含む。また、前記校正手段は、再構成手段および前記投写された校正用パターンによって再構成された、校正用構造の領域における被投写面の空間的広がりに基づいて、歪みパラメータを生成する手段を含んでもよい。詳細な一実施形態において、前記校正手段は、既述した本発明にかかる校正済み投写像の生成方法を実行するように構成されており、具体的には、校正用パターンの生成とＵＶ座標を用いた歪みパラメータの決定とを実行するように構成されている。例えば、前記再構成手段および／または前記校正手段は、ソフトウェアプログラムまたはプログラムされた装置の形態で実現され、例えば、少なくとも１つのプロジェクタと協働することによって校正済みパターンを投写する（前記再構成手段および／または前記校正手段は、例えば、プロジェクタに組み込まれていてもよい）。
【００４６】
前記校正済み投写像の生成装置は、さらに、被投写面の画像に校正用構造を生成する手段（例えば、画像処理ソフトウェア、画像処理装置など）を備えてもよい。つまり、被投写面に存在する不完全な（一部の）校正用構造または被投写面上に投写された不完全な（一部の）校正用構造に対し、後で残りの部分を挿入する（引き込む）ことによって完全な校正用構造とすることができる。
【００４７】
さらに、本発明は、前述した校正済み投写像の生成装置を備えるシステム、および被投写面に関する。
【００４８】
本発明のさらなる構成は、被投写面上に校正済みの投写像を生成する装置に関する。この校正済み投写像の生成装置は、
ａ）前記校正用構造の領域における前記被投写面の空間的広がりを再構成する再構成手段を備え、前記再構成手段が、
ｂ）校正用構造を前記被投写面の画像に生成する手段（例えば、画像処理ソフトウェア、画像処理装置など）を含み、当該生成される校正用構造は、前記被投写面上に配置されて（ただし、実際には存在しない）、第１の側部（輪郭線）および第１の側部に対して平行に延びる第２の側部（輪郭線）を有し、かつ、前記第１または第２の側部の方向に沿って高さが一様に設定された校正用構造の画像に前記被投写面が一致するように、前記被投写面の特徴的な構造に、前記生成された校正用構造が合わせられ、
また、前記再構成手段は、
ｃ）前記生成された校正用構造において、前記被投写面上に配置された校正用構造のポイントに対応する第１のポイントと第２のポイントとで構成されたポイント対を複数決定し、これら第１のポイントおよび第２のポイントは、前記校正用構造の前記第１または第２の側部において互いに反対側に位置しており（第１または第２の側部の両端に位置しており）、
ｄ）前記ポイント対における前記第１および第２のポイントから結像面の前方に位置する仮想的な消失点に向かって延びる２つの補助ビームで構成された補助ビーム対を複数生成し、
ｅ）前記補助ビーム対のそれぞれについて、当該補助ビーム対における一方の補助ビームを始端とし当該補助ビーム対における他方の補助ビームを終端とする支持路を生成し、
ｆ）前記支持路の長さおよび／または向きを、全ての支持路の長さが互いに同一になり、これら支持路が共通平面に対して同一角度をなすまで変化させ、
ｇ）前記ｆ）で発見した支持路を用いて前記被投写面のモデルを生成するように構成されており、これらの支持路は、所望の被投写面の一部をなし、かつ、前記校正用構造の前記第１および第２の側部に対して平行に延びる経路であり、
当該校正済み投写像の生成装置は、さらに、
ｈ）前記再構成手段によって再構成された前記被投写面の空間的広がりを用いて、投写済み投写像を生成する校正手段を備える。
【図面の簡単な説明】
【００４９】
【図１Ａ】被投写面の前方に配置されたカメラからみた従来の投写画像を示す図である。
【図１Ｂ】前記カメラの位置とは異なる位置からみた図１Ａの投写像を示す図である。
【図２Ａ】図１Ａおよび図１Ｂの投写像について、前記カメラの位置で校正された投写像を示す図である。
【図２Ｂ】図１Ｂの位置からみた図２Ａの校正後の投写像を示す図である。
【図３Ａ】本発明の第１の例示的な実施形態に従って生成された校正済み投写像を前記カメラからみた図である。
【図３Ｂ】図１Ｂおよび図２Ｂの位置からみた図３Ａの校正済み投写像を示す図である。
【図４】本発明にかかる方法の第２の例示的な実施形態に従って生成された校正済み投写像を示す図である。
【図５Ａ】プロジェクタの垂直な校正用帯線の投写像を示す図である。
【図５Ｂ】図５Ａのプロジェクタの垂直な参照用帯線の投写像を示す図である。
【図５Ｃ】さらなるプロジェクタの水平な校正用帯線の投写像を示す図である。
【図５Ｄ】図５Ｃのプロジェクタの水平な参照用帯線の投写像を示す図である。
【図６】本発明にかかる方法の一過程を示す概略図である。
【図７】本発明にかかる方法のさらなる例示的な実施形態を示すフローチャートである。
【図８Ａ】ＵＶ座標を用いて校正済み投写像を生成する様子を示す概略図である。
【図８Ｂ】ＵＶ座標を用いて校正済み投写像を生成する様子を示す他の概略図である。
【発明を実施するための形態】
【００５０】
以下では、本発明を、例示的な実施形態によって図面を参照しながら詳細に説明する。
【００５１】
図１Ａおよび図１Ｂには、それぞれ、プロジェクタ３を用いて被投写面１に投写された校正（キャリブレーション）前の投写画像２が示されている。具体的に述べると、図１Ａには、被投写面の前方に配置されたカメラ４の視点からみた投写画像が示されており、図１Ｂには、カメラと異なる位置の視点からみた投写画像２が示されている。投写画像２には、被投写面１に対するプロジェクタ３の位置に応じて歪みが生じる。特に、図１Ａおよび１Ｂの被投写面１は内壁の角（隅）をまたいで広がる空間の一部をなしているため、投写画像に大きな歪みが確実に生じる。
【００５２】
図２Ａおよび図２Ｂに、校正済み投写像の生成方法の一例を示す。この例の投写画像２の校正は、投写画像をカメラの視点を基準として補正している。換言すれば、この例の投写画像２の校正は、当該投写画像２をカメラ画像の側縁（外端）方向に沿って補正することにより、投写像の側縁がカメラ画像の側縁に対して平行に延びるようにする。しかし、このように校正された投写画像は、カメラの視点からみた場合に限って正しく見え、被投写面１を別の位置からみると、図２Ｂのように歪んで見える。特に、このような投写像は、向きが内部空間（壁などで囲まれた空間）の境界縁（境界線）（例えば、床および／または天井と側壁との境界縁）に対して平行でないため、知覚心理学的な理由により正しく認識されない。
【００５３】
本発明にかかる方法では、被投写面１（図１Ａ〜図３Ｂの例では、屈曲部（非ストレート部）を有する被投写面）の広がりを再構成し、この被投写面の再構成された広がりを用いて投写画像を校正する。具体的には、これにより、投写画像を被投写面の側縁を基準として校正することができる。図３Ａでは、投写画像２に、その上縁２１および下縁２２が被投写面１の上側の側縁１１および下側の側縁１２に対してそれぞれ平行に延びるように校正が施されている。なお、この例では、被投写面を形成する内部空間の側壁と当該内部空間の天井または床との間の角部により、前記側縁１１，１２が形成されている。
【００５４】
投写画像２は、投写の物体面において一様な離間距離で互いに離間した構造が、被投写面１においても、当該被投写面１の側縁１１，１２の水平方向および垂直方向に一様な離間距離で離間するように、被投写面に対して校正（補正）される。これにより、投写画像２は、被投写面１上に壁紙のように「密着」しているように見える。このような校正により、投写画像２は、見る人の位置に関わらず正しく見える。図３Ｂを参照されたい。
【００５５】
図３Ａおよび図３Ｂに示すような被投写面に対する校正を行うにあたっては、最初の手順として、既述のとおり被投写面１の広がりを再構成する。この目的のために、被投写面１は、第１の輪郭線５１と、第１の輪郭線５１に対して平行な第２の輪郭線５２をと備える校正用構造５を含む。校正用構造５は、さらに、第１の側部５１の第１端（下端）５１１と第２の側部５２の第１端（下端）５２１とを結ぶ、第３の輪郭線（下側の輪郭線）５３の形態の連結線を有する。さらに、校正用構造５は、第３の輪郭線５３に対して平行に延びる第４の輪郭線５４を有する。
【００５６】
校正用構造５の領域（この例では、校正用構造５内の領域）における被投写面１は、前記第３の輪郭線５３を前記第１および第２の輪郭線５１，５２に沿ってシフトさせる（すなわち、上方に変位させる）ことによって描かれる表面の形態で延在する。換言すれば、校正用構造５の領域における被投写面１は、従来の被投写面のような平面状の単一表面ではなく、第１の部位１２がライン（側壁の角）１１１に沿って第２の部位１３から屈曲していることから、空間において広がりを有する。例えば、校正用構造５は、レーザによって被投写面１に投写される。そして、特に、校正用構造５は、前記第３および第４の輪郭線５３，５４が被投写面１の上側の側縁１１および下側の側縁１２に対して平行となるように延在する。当然ながら、校正用構造５は、投写画像の表面と同等サイズの表面を形成するものであってもよいし、投写画像の表面よりも小さいものであってもよい。後者の場合、投写像２は校正用構造５を越えて広がる。
【００５７】
一変形例では、校正用構造の少なくとも一部が、カメラで記録された被投写面の画像に後で追加される。例えば、被投写面の特徴的な構造に対して平行なライン（例えば、側壁の縁部１１，１２および／または屈曲部１１１に対して平行なライン）が、被投写面の画像に（手入力でまたは自動で）追加される。
【００５８】
校正済みの投写像２は、さらに、複数の第１の（水平な）帯線６１および複数の第２の（垂直な）帯線６２で構成されるテスト用構造６を含む。投写像の物体面におけるこれら第１の帯線６１と第２の帯線６２との交差点は、均一な格子の格子点を形成する。投写画像には、これらの格子点間の、校正用構造５の前記第１および第２の輪郭線５１，５２に沿った離間距離（被投写面１に沿った離間距離）、および／または前記第３および第４の輪郭線５３，５４に沿った離間距離（被投写面に沿った離間距離）が一定になるように校正が施されている。
【００５９】
図４に、本発明にかかる方法によって校正された投写像のさらなる他の例を示す。この投写画像２は、湾曲した被投写面１に壁紙のように追従している。この被投写面１は、（水平な）側縁１１，１２および（垂直な）側縁１４，１５によって画定されている。
【００６０】
この例においても、そのような校正を実現するにあたって、被投写面の広がりを校正用構造５を用いて再構成する。図４の例では、被投写面１の側縁１１，１２，１４，１５が校正用構造としての役割を果たす。第１の垂直な側縁１４が校正用構造の第１の輪郭線５１を構成し、第２の垂直な側縁１５が校正用構造５の第２の輪郭線５２を構成する。これら２つの輪郭線５１，５２は第１の（下側の）連結線５３および第２の（上側の）連結線５４によって互いに連結されている。（下側の）連結線５３が被投写面の（下側の）水平な側縁１２に一致し、第２の（上側の）連結線５４が被投写面の（上側の）側縁１１に一致する。被投写面は、凹凸を有さずに延在している。換言すれば、被投写面は、鉛直軸（すなわち、校正用構造の輪郭線５１，５２に平行に延びる軸）周りに湾曲および／または屈曲した表面（角度が付けられた表面）の形態で形成されている。
【００６１】
つまり、被投写面１は、前記下側の連結線５３を輪郭線５１，５２に沿って垂直方向にシフトさせた際に描かれる表面に相当する。この例では、被投写面１の部位１２は第２の部位１３に対して湾曲を持って延在しており、被投写面は複数の湾曲部を有する（正負の曲率が混在しているものとする）。当然ながら、本発明にかかる方法には、原則的に、あらゆる組合せの湾曲部および屈曲部を含む被投写面が包含される。
【００６２】
なお、図３Ａ，図３Ｂおよび図４における表示はいずれも、被投写面および校正用構造を撮影したカメラ画像に相当する。そのため、例えば図４において輪郭線１４が反対側の輪郭線１５よりも長く見える。既述のとおり、被投写面の側縁の実際の広がり（したがって、校正用構造の側縁の広がり）が判明しているので、校正用構造の画像と校正用構造の実際の広がりとの違いから、校正用構造の領域における被投写面の空間的広がりを決定することができる。
【００６３】
図５Ａ〜図５Ｄは、本発明にかかる方法に従って校正済み投写像を生成するための校正用パターンの投写像を示す図である。例えば、図５Ａには、２つの屈曲部１１１，１１２を有する被投写面１（スクリーンの形態の被投写面）が示されている。つまり、同図の被投写面１は、それぞれ隣接する部位に対して傾いた３つの部位１５，１６，１７を有する。この例では、被投写面１の縁部により、被投写面の空間的広がりを再構成するための校正用構造５が画定されている。
【００６４】
複数の第１の（垂直な）校正用帯線９１を有する校正用パターン９を被投写面に投写し、これをカメラで記録する。これらの校正用帯線はカメラレンズ歪み（この時点では補正されていない）が原因で歪みを生じる。（投写像の物体面に存在する）全ての校正用帯線が被投写面上に投写される可能性は少ない（つまり、一部の校正用帯線は被投写面の外側に投写される）ので、どの校正用帯線が被投写面上に投写されているかを決定するために参照用パターンを投写する。例えば、参照用パターンは、図５Ｂに示すように、投写された校正用帯線のうちの１本と合致する単一の参照用帯線９５で構成される。この参照用帯線９５については、残りの校正用帯線に対する（投写像の物体面における）位置が判明している。被投写面上の参照用帯線９５の位置（被投写面の側縁に対する相対位置）から、どの校正用帯線９１が被投写面１上に投写されているのかを決定することができる。
【００６５】
図５Ｃは水平な校正用帯線９２を示す図であり、図５Ｄは水平な参照用帯線９６を示す図である。当然ながら、垂直な帯線９１と水平な帯線９２は一緒に投写されてもよい。参照用帯線９５と参照用帯線９６も校正用パターンと一緒に投写されてよい。また、例えば、参照用帯線９５，９６は、実際の校正用パターンと区別するための付加的な構造を有するものであってもよい。特に、複数のプロジェクタを使用する場合、各プロジェクタが１つまたは複数の校正用パターンを投写する。
【００６６】
図６に、本発明にかかる方法において被投写面を再構成する際の一過程を示す。校正用構造の画像５’（カメラ画像）を（カメラの結像面（図中の破線）に）生成する。この校正用構造の画像５’は輪郭線５１’〜５４’を有する。直線状に延びる輪郭線５１’および輪郭線５２’（しかしながら、必ずしもカメラ画像の縁部に対して平行でなくともよい）は、例えば、それぞれ、図３Ａの校正用構造５の輪郭線５１の画像、輪郭線５２の画像に相当する。下側の輪郭線５３’および上側の輪郭線５４’は、それぞれ、図３Ａの校正用構造５の下側の輪郭線５３と、上側の輪郭線５４に対応する。輪郭線５３’，５４’は、被投写面に屈曲部（図３Ａの屈曲部１１１に相当）が存在しているので直線状に延びず、被投写面が最大の空間的広がりを有する箇所で屈曲している。
【００６７】
校正用構造の画像５’からポイント対を複数選択する。図６には３つのポイント対が示されている。第１のポイント対に含まれるポイントＡ，Ｂは、撮影された（マッピングされた）校正用構造５’におけるコーナーポイントであると同時に校正用構造の画像５’における第１の輪郭線５１’の両端を構成する。第２のポイント対に含まれるポイントＣ，Ｄは、校正用構造の画像５’における第２の側部５２’の両端を構成する。これら選択されたポイントＡ，ＢとポイントＣ，Ｄは、撮像された（マッピングされた）校正用構造５’におけるコーナーポイントであるため、実際の校正用構造（図示せず）においても、それぞれ、第１の輪郭線に沿って両側に位置するポイント（コーナーポイント）、第２の輪郭線に沿って両側に位置するポイント（コーナーポイント）に相当する。さらに、ポイント対Ｅ，Ｆが、輪郭線５３’，５４’の屈曲部において選択される。
【００６８】
ポイント対（Ａ，Ｂ），（Ｃ，Ｄ），（Ｅ，Ｆ）から３つの補助ビーム対を形成する。各補助ビーム対は、前記ポイント対における第１および第２のポイントＡ，Ｂ；Ｃ，Ｄ；Ｅ，Ｆからカメラの結像面の前方（概して述べると、校正用構造の画像５’が延在する平面よりも前方）に位置する仮想的な消失点Ｇに向かって延びる、２本の補助ビーム８１ａ，８１ｂ；８２ａ，８２ｂ；８３ａ，８３ｂで構成される。さらに、補助ビーム対のうちの一方の補助ビーム８１ａ，８２ａ，８３ａを始端とし他方の補助ビーム８１ｂ，８２ｂ，８３ｂを終端として、複数の互いに平行な支持路７１，７２，７３を生成する。
【００６９】
支持路７１，７２，７３の長さおよび向きを、同一角度のもとで共通平面（図示せず）上において長さが互いに同一になるまで（最適化法を用いて）変化させる。このようにして発見した支持路を用いて、校正用構造の領域における被投写面を再構成する。具体的に述べると、前記発見した支持路は、所望の被投写面の一部をなし、かつ、校正用構造の第１および第２の輪郭線に対して平行である。このようにして発見した所望の被投写面は、必ずしも実際の被投写面の縮尺どおりでなくてもよく、そのままで十分に校正済み投写像の生成に役立てることができる。
【００７０】
当然ながら、被投写面を再構成するにあたって、４つ以上のポイント対を選択してもよい。また、図６に示すポイント対とは異なるポイント対を選択してもよい。特に、第３のポイント対は、必ずしも被投写面の空間的湾曲または空間的深さが最大となる領域から選択されなくてもよい。
【００７１】
図７は、本発明にかかる方法のさらなる例示的な実施形態を示すプロセス図である。第１のステップ１００では、各種校正用画像を被投写面に投写する。これらの校正用画像には、他の校正用画像から取り出された黒色画像１０１が含まれており、特に、背景の物体やバックグラウンドノイズを除去するために使用される。
【００７２】
また、白色画像１０２を投写する。白色画像１０２は、特に、被投写面の縁部および角を決定し、当該縁部および角を被投写面の空間的広がりを再構成するための校正用構造として利用するのに役立つ。
【００７３】
さらに、複数の垂直な帯線を有する第１の校正用パターン１０３、および複数の水平な帯線を有する第２の校正用パターン１０４を投写する。また、校正用パターン１０３，１０４の帯線を明確に特定するための参照用帯線１０５を投写する。
【００７４】
投写された校正用画像１０１〜１０５をデジタルカメラで記録する。例えば、各校正用画像を別々に記録する。しかし、一部の校正用画像（例えば、校正用パターン１０３〜１０５）を同時に投写して一緒に記録してもよい。当然ながら、投写画像を生成するにあたって複数のプロジェクタを使用してもよく、この場合、各プロジェクタごとに、ステップ１００で投写される校正用画像を１つずつ投写および記録してもよい。
【００７５】
なお、校正用パターン１０３，１０４の投写された帯線（投写帯線）の一部がカメラで撮像されない場合、および／または投写帯線の一部が被投写面の外側に位置する場合などが考えられる。そのような場合、カメラ画像では、投写帯線のうちのどの帯線が被投写面の領域に存在するのかを明確に判断することができない。しかし、投写される校正画像のための歪みパラメータを決定する際には、カメラで撮影した投写帯線を明確に区別できた方が好都合である。校正用帯線を明確に区別できるように、参照用帯線１０５を投写する。この参照用帯線１０５は、投写された校正用帯線を明確に識別できるように構成されており、特に、校正用帯線に対する相対位置によって、校正用帯線を明確に識別できるように構成されている。例えば、参照用パターンとして、帯線とは異なる他の形状のものを使用してもよく、符号化された光スライス法（kodierte Lichtschnitttechnik）を適用してもよい。
【００７６】
記録した校正用パターン１０３〜１０５を二値化する。例えば、ステップ２００では、特にサンプリング、レンズ歪み、ズーム、ブルーミング、アンチエイリアスなどによる誤差を補正する。具体的に述べると、ヒストグラムによってバイナリフィルタの閾値を決定する。ここでは、ビネッティングの影響が考慮されてもよい。このようにバイナリフィルタの閾値を設定することにより、校正用パターン１０３〜１０５の画像の黒−白のフィルタリング処理を実現することができる。フィルタリング処理後に残った帯線の誤差は、モフォロジー処理でフィルタリングされてもよい。
【００７７】
特に、このように処理した各校正用パターン（例えば、幅が数画素であるパターン）を、垂直の２方向（互いに反対方向）のオフセットフィルタおよび／または水平の２方向（互いに反対方向）のオフセットフィルタを用いて処理することにより、各投写帯線のエッジ（垂直な帯線の左側および右側のエッジ、ならびに水平な帯線の上側および下側のエッジ）を抽出することができる。このようにして判定した帯線のエッジは、垂直な帯線と水平な帯線との交差点を決定するための後のステップで使用する。
【００７８】
投写された校正用帯線のフィルタリング処理は、勾配法を用いて実行してもよい。
【００７９】
さらなるステップ３００では、アドホックな（特定の目的のための）レンズの補正用のパラメータを決定する。具体的に述べると、そのようなパラメータの決定は、校正用構造における既知の広がりを用いて実行する。この例では、既述したように、被投写面の直線状の側縁の広がりに基づいて実行する。
【００８０】
投写された白色画像１０２に基づき、被投写面の縁部（外縁）認識を実行する（ステップ４００）。例として、この白色画像に、２方向の垂直および／または水平のオフセットフィルタを適用する。例えば、このフィルタリング処理した白色画像において、縁部の２つの隣接するセグメントの終点または開始点を平均することにより、（カメラの結像面における）被投写面のコーナーポイントを決定することができる。さらに、ステップ５００では、投写された第１の（垂直な）校正用帯線１０３と第２の（水平な）校正用帯線１０４との交差点を決定する。校正用帯線１０３，１０４の二値化された画像から、校正用帯線１０３，１０４のエッジ間の交差点を決定する。つまり、垂直な帯線と水平な帯線との１つの交差点につき、帯線のエッジ間の交差点が４つ得られる。このエッジ間の交差点を平均することにより、校正用帯線の所望の交差点を決定する。このようにして発見した（校正用格子の格子点を構成する）交差点の位置を、前記決定したレンズ歪みを特に用いて補正することにより、カメラ由来の歪みについて調整を施した交差点が得られる。
【００８１】
校正用帯線を勾配法でフィルタリング処理した場合、これら校正用帯線は１本の直線のみで表現される。したがって、交差点は１つだけとなり、後はレンズ歪みを補正するだけとなる。
【００８２】
上記のようにして決定した校正用帯線１０３と校正用帯線１０４との交差点は、投写画像内に存在するものであり、すなわち、被投写面の側縁から内側に向かってある程度離間している。校正の範囲を投写画像の縁部（外縁）領域にまで拡大させるために、投写画像の外周に位置する交差点のエッジを外挿で求める。このために、例えば、校正用帯線同士の間隔が比較的小さいと仮定し、カメラの結像面において隣合う校正用帯線によって画定される四辺形が、結像面に対して傾いた平面上の四辺形とほぼ合致すると仮定する。このような仮定のもと、投写画像の縁部（外縁）に位置する格子点四辺形に適用される変換則を決定し、この変換則により、前記格子点四辺形の一辺（すなわち、被投写面の内側にあるラスタ点と被投写面の外側にあるラスタ点とを結ぶ線）と被投写面の縁との交差点を決定する。
【００８３】
さらなるステップ６００，７００では、ホモグラフィ変換を実行して校正用構造の変換画像を補助平面に生成する。このようにして、既述のようにポイント対を選択し、逆ホモグラフィ変換を行うことにより、校正用構造の画像における当該ポイント対を特定する。このようにして特定したポイント対は、図６を参照して説明した支持路の構築に利用される。
【００８４】
最後に、校正用構造の特性（「制約」）、および校正用構造の領域における被投写面の特性（「制約」）を用いて、被投写面の再構成を実行する（ステップ８００）。詳細には、これらの特性（「制約」）は、校正用構造の第１の輪郭線と第２の輪郭線とは互いに平行に延びるものであり、かつ、詳細に既述したように、被投写面が垂直方向に描いた軌跡に相当する平面であるというものである。一変形例では、校正用構造の領域における被投写面の広がりを、ワイヤグリッドモデルによって再構成する。
【００８５】
ステップ８００で再構成した被投写面を用いて、投写像の校正を実行する。ステップ９００では、歪みパラメータをＵＶ座標およびブレンド画像の形式で生成する。詳細な一実施形態では、各プロジェクタの校正用パターンにおける格子点または帯線の位置と、それらのＵＶ座標とに基づき、投写像のどの領域が視認領域（ブレンド画像における白色領域）であるのか、どの領域が被投写面の外側に位置する領域（ブレンド画像における黒色領域）であるのか、および各プロジェクタから投写される画像の重複領域（ブレンド画像におけるグレースケール領域）がどこに位置するのかを決定することができる。
【００８６】
ステップ１０００では、複数（数台）のプロジェクタを使用する場合の各部分的画像をリアルタイムで補正および接合する。例えば、あるプロジェクタの画像を、前記決定したＵＶ座標を用いて変換し（「ＵＶテクスチャルックアップ」）、対応するブレンド画像を用いて調整する。これにより、被投写面に対してのみでなく、（複数のプロジェクタを使用する場合には）他の部分的画像に相対的な個々の部分的画像に対しても、校正された画像（校正済み画像）を生成することができる。
【００８７】
なお、図７の例示的な実施形態では、図７を参照しながら説明した過程の全てを必ずしも使用しなくてもよい。一部の過程を省略してもよいし、一部の過程を変更してもよい。例えば、図７の例示的な実施形態において、必ずしも被投写面の側縁を校正用構造として使用しなくてもよく、異なる校正用構造を使用してもよい。その場合、例えば、白色画像１０２が省略される。
【００８８】
図８Ａおよび図８Ｂに図７のステップ１０００を示す。図８Ａでは、校正用パターンが投写されており、この校正用パターンは格子点ラスタ９，９’の形態である。格子点ラスタ９’，９は、それぞれ、４つの格子点９９ａ’〜９９ｄ’，９９ａ〜９９ｄからなるセグメントを含む。図８Ａの左側には投写像の物体面（すなわちプロジェクタのフレームバッファ）における格子点ラスタ９’が示されており、図８Ａの右側には被投写面に投写された格子点ラスタの投写像９が示されている。投写された格子点９９ａ〜９９ｄの位置を、既述した方法に従い、被投写面の再構成された（ＵＶ座標の形態の）広がりを用いて決定し、プロジェクタのフレームバッファにおける格子点９９ａ’〜９９ｄ’の座標と投写された格子点９９ａ〜９９ｄの座標との間の（矢印で図示する）マッピング則を決定する。校正用パターンの他の格子点についても同様の方法を適用する。図８Ｂを参照されたい。当然ながら、既述の方法は、格子点ラスタが直方形状のセグメントである場合だけでなく、例えば、３つの格子点で画定される三角形状のセグメントの場合にも実現できる。
【符号の説明】
【００８９】
１ 被投写面
２ 投写画像
３ プロジェクタ
４ カメラ
５ 校正用構造
５’ 校正用構造の画像
６ テスト用パターン
９、９’ 校正用パターン
１１〜１４ 被投写面の側縁
１２，１３，１５〜１７ 被投写面の部位
２１，２２ 投写画像の側縁
５１ 校正用構造の第１の側部（輪郭線）
５１’ 校正用構造の第１の側部の画像
５２ 校正用構造の第２の側部（輪郭線）
５２’ 校正用構造の第２の側部の画像
５３ 校正用構造の第３の側部（輪郭線）
５３’ 校正用構造の第３の側部の画像
５４ 校正用構造の第４の側部（輪郭線）
５４’ 校正用構造の第４の側部の画像
６１ 第１のテスト用帯線
６２ 第２のテスト用帯線
７１，７２，７３ 支持路
８１ａ，８１ｂ，８２ａ，８２ｂ，８３ａ，８３ｂ 補助ビーム
９１ 第１の校正用帯線
９２ 第２の校正用帯線
９５，９６ 参照用帯線
９９ａ〜９９ｄ，９９ａ’〜９９ｄ’ 格子点
１１１，１１２ 屈曲部
５１１ 校正用構造の第１の側部の端
５２１ 校正用構造の第２の側部の端
Ａ〜Ｆ 校正用構造の画像のコーナーポイント
Ｇ 消失点
【技術分野】
【０００１】
本発明は、請求項１および請求項１５に記載された校正済み投写像の生成方法、ならびに請求項１７および請求項１８に記載された校正済み投写像の生成装置に関する。
【背景技術】
【０００２】
プロジェクタシステムを用いて画像を被投写面に投写することは、産業、研究および教育などの数多くの分野で日常的に行われている。画像が投写されるのは、典型的に、平面状の被投写面、例えば、スクリーンや建物の外壁または内壁などである。また、複数のプロジェクタを用いて全体画像のうちの部分的画像を各プロジェクタから投写する技術が先行技術から知られている。このようなマルチプロジェクタシステムは、例えば特許文献１に記載されている。
【０００３】
マルチプロジェクタシステムは、重ね合わせ効果による光度の増加または解像度の向上の目的でも使用される。このようなプロジェクタシステムの用途は、例えば、建築分野および／または一般的にＣＡＤの分野であり、特に、細部および／または巨大なモデルを表現することができる。しかし、マルチプロジェクタシステムの各プロジェクタは、正しく見える歪みのない画像を生成するために、他のプロジェクタおよび／または被投写面に対して整合（「校正」）される必要がある。詳細には、各プロジェクタから投写される部分的画像は、高精細な画素が得られるように他のプロジェクタおよび／または被投写面に合わせて調整（「スティッチング」や「ワーピング」）が施される。また、隣合う部分的画像同士の重複領域の輝度を、その領域における全体画像の輝度が過剰にならないように低減することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】独国特許発明第１０２５１２１７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の根底をなす課題は、単一平面に沿った平面状ではない形状の被投写面に対し、歪みが極めて少ない投写を可能にする方法および装置を提供することである。
【課題を解決するための手段】
【０００６】
上記課題は、請求項１または１５の構成を含む方法、および請求項１７または１８の構成を備える装置によって解決される。本発明の改良形態は、従属請求項に記載されている。
【０００７】
以上を踏まえて、被投写面上に校正済みの投写像を生成する方法を提供する。この校正済み投写像の生成方法は、
ａ）第１の側部（輪郭線）および第１の側部に対して平行に延びる第２の側部（輪郭線）を有し、かつ、前記第１または第２の側部の方向に沿って高さが一様に設定された校正用構造（構成用のパターン）を、前記被投写面の空間的広がり（形態）に追従する（従う、辿る）ように配置および／または生成する過程と、
ｂ）カメラの結像面に前記校正用構造の画像を生成する過程と、
ｃ）前記校正用構造の領域に前記被投写面の空間的広がりを再構成する過程と、
を含み、前記ｃ）再構成過程が、
ｄ）前記校正用構造の前記画像において、実際の校正用構造における第１のポイントに対応する第１のポイントと実際の校正用構造における第２のポイントに対応する第２のポイントとで構成されたポイント対を複数決定する過程であって、これら第１のポイントおよび第２のポイントは、前記校正用構造の前記第１または第２の側部において互いに反対側に位置する（第１または第２の側部の両端に位置する）過程と、
ｅ）前記ポイント対における前記第１および第２のポイントから前記結像面の前方に位置する仮想的な消失点に向かってそれぞれ延びる２つの補助ビームで構成された補助ビーム対を複数生成する過程と、
ｆ）前記補助ビーム対のそれぞれについて、当該補助ビーム対における一方の補助ビームを始端とし当該補助ビーム対における他方の補助ビームを終端とする支持路を生成する過程であって、これら複数の支持路は互いに平行である過程と、
ｇ）前記支持路の長さおよび／または向きを、全ての支持路の長さが互いに同一になり、これら支持路が共通平面に対して同一角度をなすまで変化させる過程と、
ｈ）前記ｇ）過程で発見した支持路を用いて前記被投写面の（仮想的な）モデルを生成する過程であって、これらの支持路は、所望の被投写面の一部をなし、かつ、前記校正用構造の前記第１および第２の側部に対して平行に延びる経路である過程と、を有し、
当該校正済み投写像の生成方法は、さらに、
ｉ）前記ｈ）過程で生成した前記モデル（すなわち、前記被投写面の空間的広がりを再構成したもの）を用いて、校正済み投写像、特には、前記校正用構造を基準として校正された投写像を生成する過程を含む。
【０００８】
この方法により、校正用構造の領域に延在する被投写面の部位に関して、この部位が単一平面に沿った連続平面状ではなく、例えば１つの湾曲部（または複数の湾曲部）および／または１つの屈曲部（または複数の屈曲部）を有するものであったとしても、当該部位について投写像を校正することができ、すなわち、歪みの極めて少ない投写が可能となる。
【０００９】
このような校正済みの投写像を生成するにあたっては、被投写面の空間的広がりを、校正用構造を用いて判定する。前記方法では、校正用構造の領域における被投写面が特定の形状であると想定する。詳細には、校正用構造の領域における被投写面が、校正用構造の第１の側部の端点と第２の側部の端点との間の連結線を当該校正用構造の第１および第２の側部に沿ってシフトさせた際に描かれる表面とほぼ一致することを前提とする。この「連結線」は、原則的に、任意の形状を有する３次元の曲線であり、すなわち、必ずしも直線状に延びるものである必要はなく、例えば１つの湾曲部（または複数の湾曲部）および／または１つの屈曲部（または複数の屈曲部）を有してもよい。詳細な一実施形態において、前記方法は、これに対応した形状を有する被投写面を設けることを含む。
【００１０】
詳細には、前記連結線は、校正用構造の第１および第２の側部において当該校正用構造の第１または第２の側部に垂直な方向おいて互いに反対側に位置する２つの端点、すなわち、第１および第２の側部の２つの「上」端を結ぶ線または２つの「下」端を結ぶ線である。この連結線を第１および第２の側部に沿ってシフトさせる（すなわち、上方または下方に変位させる）ことによって描かれる軌跡は、被投写面が延在する表面に沿う。換言すれば、被投写面は、校正用構造の第１および第２の側部に沿った方向（例えば、垂直方向）における掃引によって、校正用構造の領域に生成される。すなわち、このような被投写面の特性は、次のことを意味する：校正用構造の領域における被投写面には、当該校正用構造の第１および第２の側部に平行に延びる直線に沿って屈曲部および／または湾曲部が有るものの、凹凸は校正用構造によって画定される残りの表面に比べて存在しないに等しいか、または、凹凸が有ったとしたとしても小さい凹凸である。ただし、そのような小さい凹凸が被投写面に有ったとしても、これら凹凸が原因で生じる歪みは校正用パターンの投写で補正可能である。歪みの補正については後述する。
【００１１】
校正用構造を含む被投写面を、記録手段（カメラ）、特には、デジタルカメラ、ビデオカメラ、ハイスピードカメラなどで撮影する。つまり、校正用構造の画像を、カメラの結像面に生成する。そして、校正用構造の領域における被投写面が、前記連結線を校正用構造の第１または第２の側部に沿って掃引することによって生成されることを前提としたうえで、その校正用構造の画像から、校正用構造の領域における被投写面の空間的広がりの再構成を実行する。
【００１２】
再構成過程は、校正用構造の画像において、実際の校正用構造における各ポイント（すなわち、被投写面上に存在する各ポイント）に対応するポイント対を複数決定する過程を有する。例えば、実際の校正用構造を４つの角（隅）を有するもの（すなわち、「空間的な四辺形」）とした場合、この四辺形状の校正用構造の２対のコーナーポイントは、それぞれ、第１の側部の両端と第２の側部の両端に位置する。校正用構造の画像に、例えばカメラの向きに応じて被投写面に対する歪みおよび／または捩れが生じたとしてもる、当該校正用構造の画像から上記コーナーポイントを特定することは可能である。
【００１３】
例えば、この四辺形（すなわち、実際の校正用構造）のコーナーポイントを基準として、校正用構造の画像における他のポイント対を、実際の校正用構造におけるポイント対と関連付けることができる。これは、例えば、第１の側部における第１のコーナーポイントと第２の側部における第１のコーナーポイントとを結ぶ第１の連結線（すなわち、校正用構造の第３の側部（輪郭線））上に位置するポイントと、第１の側部における第２のコーナーポイントと第２の側部における第２のコーナーポイントとを結ぶ第２の連結線（すなわち、校正用構造の第４の側部（輪郭線））上に位置するポイントとで構成されるポイント対であって、校正用構造の第１の側部からの離間距離と第２の側部からの離間距離とがどちらのポイントについても同一であるポイント対を特定することによって実行できる。このように校正用構造の画像において他のポイント対を特定する方法については後述する。なお、校正用構造は必ずしも４つの角を有するものでなくてもよい。他の形状の校正用構造、例えば、第１の側部および第２の側部が含まれる平面に投写した際の投写像が５つ以上の角を有する校正用構造であってもよい。
【００１４】
決定した各ポイント対の各ポイントに対して、（特に、コンピュータプログラムを用いて）（仮想的な）補助ビームを生成する。各補助ビームは、対応するポイント対における第１および第２のポイントからカメラの結像面（概して言えば、校正用構造の画像が延在する平面）の前方に位置する共通の消失点に向かって延びる。つまり、カメラによって校正用構造を表現することのモデル化を、いわばピンホールカメラモデルで実行する。
【００１５】
前述したように、被投写面を再構成するにあたっては、被投写面を、校正用構造の第１および第２の側部に沿って掃引することにより生成されると見なす。これにより、校正用構造の領域における被投写面を、当該校正用構造の高さと同じ高さを有する、複数（多数）の互いに平行な（直線状の）経路を空間内に並べて構成したものと考えることができる。このようにして、補助ビーム対の各対について、当該補助ビーム対における一方の補助ビームを始端とし当該補助ビーム対における他方の補助ビームを終端とした支持路を（特に、コンピュータプログラムによって）生成する。なお、これら複数の支持路は互いに平行である。
【００１６】
次に、これらの支持路の長さおよび／または向きを、全ての支持路が同一の長さで共通平面に対して同一角度をなすまで（すなわち、全ての支持路がこの共通平面上で終端するまで）、（特に、コンピュータ支援最適化アルゴリズムを用いて）変化させる。そして、このようにして発見した支持路を、校正用構造の領域における被投写面の所望の再構成の経路の一部をなすものとする。各経路は、校正用構造の第１および第２の側部に対して平行に延び、その両端は、それぞれ、校正用構造の第１の側部と第２の側部とを結ぶ第１の連結線（すなわち、校正用構造の第３の側部）上のポイント、校正用構造の第１の側部と第２の側部とを結ぶ第２の連結線（すなわち、校正用構造の第４の側部）上のポイントに相当する。
【００１７】
このようにして再構成した被投写面を用いて、校正用構造に対して校正された投写画像を生成する。当然ながら、この校正済みの投写画像は、複数のプロジェクタを用いて生成してもよく、すなわち、個々の投写像を複数組み合わせて生成してもよい。「校正用構造に対して」校正された画像は、特に、校正用構造における被投写面に沿った領域において歪みが少なく（すなわち、ほとんど補正されており）、例えば、校正用構造の第１および第２の側部に沿った方向の歪みならびに当該方向に対して垂直な方向の歪みが少ない。複数のプロジェクタを使用する場合には、投写像の部分画像を、干渉が極めて少なくなるように複数互いに接合する。このような投写画像は、いわば被投写面上に広げられた壁紙のように見える。以下では、校正済みの映像を生成する方法、特に、投写画像を補正する方法について説明する。
【００１８】
本発明の一改良形態では、前記ｄ）〜ｈ）過程による被投写面の再構成よりも先に、校正用構造の画像を生成するためのカメラのレンズ歪みを補正するか、または、前記ｈ）過程で再構成済みの被投写面の広がりを、カメラのレンズ誤差（レンズ収差）を考慮しながら補正する。この目的のために、例えば、キャリブレーションボディまたはキャリブレーション面を用いたレンズ補正方法を利用してもよく、画像内容から補正パラメータを求めるレンズ補正方法を利用してもよい。
【００１９】
他の（アドホックな）レンズ補正の方法は、校正用構造の第１および第２の側部の既知の広がりを利用する。詳細な一実施形態において、校正用構造の第１および第２の側部は直線状に延びている。カメラで撮影した校正用構造の第１および第２の側部の広がりと、実際の校正用構造の第１および第２の側部（例えば、直線形状の側部）の広がりとのずれから、レンズ補正パラメータを決定することができる。この他にも、例えば、校正用構造の領域における被投写面に対し、さらなる校正用パターンを投写してもよい。詳細には、当該さらなる校正用パターンは、校正用構造の第１および第２の側部と例えば直交するように（例えば、水平および／または垂直に）当接もしくは交差するか、または任意の角度で当接もしくは交差する、（直線状の）校正用帯線を有する。このような当接または交差で得られた交差点は、カメラ画像で認識され、互いに連結される。このようにして得られた交差点を結ぶ連結線は直線となるはずである。なぜなら、直線は斜め方向から撮影された画像でも直線として映るからである。もし（レンズ歪みが原因で）直線ない場合には、レンズ歪みの影響を補正するためのパラメータを決定することができる。当然ながら、直線状の帯線の代わりに、プロジェクタ空間における広がり（すなわち、投写像の物体面上の広がり）が判明している他の校正用パターンを使用してよい。
【００２０】
詳細な一実施形態において、レンズ歪みパラメータは、最適化法によって決定される。この最適化法は、校正用構造の第１および第２の側部の（シミュレーション）画像と投写された校正用帯線の（シミュレーション）画像とのいずれか一方または両方に基づく画像の広がりが実際の校正用構造の第１および第２の側部の広がりと一致するまで（例えば、校正用構造の直線状の第１および第２の側部が２本の対応する直線となるまで）、補正パラメータを調整することを含む。
【００２１】
詳細な一実施形態において、校正用構造は、第１の側部、第２の側部に対して垂直で、互いに平行に延びる第３の側部および第４の側部によって画定される。換言すれば、この校正用構造は、被投写面上に「展開された」直方形の形状を有する。
【００２２】
本発明にかかる方法の一改良形態では、前記ｄ）過程が、
−前記校正用構造の前記画像の第１の縁部（第１の側部）であって、前記実際の校正用構造の前記第１の側部に対応する第１の縁部（第１の側部）に位置する第１のポイント対を決定し、
−前記校正用構造の前記画像の第２の縁部（第２の側部）であって、前記実際の校正用構造の前記第２の側部に対応する第２の縁部（第２の側部）に位置する第２のポイント対を決定し、
−前記校正用構造の前記第１および第２の側部が含まれる平面から最も離れた前記被投写面の領域（すなわち、被投写面において最大の空間的湾曲または空間的深さを有する領域）に位置し、前記実際の校正用構造のポイントに対応する、第３のポイント対を決定し、
−例えば、まず、前記ｆ）〜ｈ）過程を前記第１、第２および第３のポイント対について実行する。
【００２３】
被投写面において最大の空間的湾曲または空間的深さを有する領域の第３のポイント対を選択することは、必ずしも必要ではない。詳細な一実施形態において、このような選択は、カメラ画像（被投写面の「画像」）または当該カメラ画像をホモグラフィ変換によって変換したものから、被投写面のどの領域が校正用構造の第１および第２の側面が含まれる平面から最も離れているか（すなわち、被投写面のどの領域が最大の空間的深さを有しているか）を明らかにすることで実行する。しかし、被投写面において最大の空間的深さを有する領域の近傍に位置するポイント対または当該領域からほんの僅か離れたポイント対を、第３のポイント対として選択してもよい。
【００２４】
当然ながら、前記第１、第２および第３のポイント対を決定するのに加えて、さらなるポイント対を選択してもよい。当該さらなるポイント対について、（例えば、第１、第２および第３のポイント対についてｆ）〜ｈ）過程を実行した後に、）同じく支持路を決定する。特に、当該さらなるポイント対に由来する支持路の長さおよび向きは、先に最適化によって決定した第１、第２および第３のポイント対に由来する支持路の長さおよび向きである。これにより、当該さらなる支持路を補助経路の関連対にいわば「嵌め込む」。すなわち、さらなる支持路は、第１の端部が当該補助ビーム対のうちの第１の補助ビームに当接し第２の端部が当該補助ビーム対のうちの第２の補助ビームに当接する。
【００２５】
本発明の他の構成では、前記校正用構造の前記第１および第２の側部を、前記被投写面の第１および第２の縁部によって構成する。換言すれば、被投写面の一部または被投写面の全体が、校正用構造によって画定される。例えば、校正用構造の第１および第２の側部は、被投写面の２つの互いに反対側の側縁、または被投写面を画定する他の構造によって構成される。校正用構造は、例えば、被投写面を画定する側縁または他の構造によって専ら構成される。被投写面の第１および第２の縁部を認識する方法の一変形例では、被投写面の縁部と重なる画像（少なくとも１つのプロジェクタによって生成される、例えば、白色画像または灰色画像）を投写する。
【００２６】
代替として、または、上記の構成に加えて、前記校正用構造の少なくとも一部を、前記被投写面に配置するか、または前記被投写面に投写してもよい。例えば、校正用構造は、帯体の形態で被投写面に固定（例えば、貼付け）されたものであってもよく、レーザビームによって被投写面に投写されたものであってもよい。詳細な一実施形態において、校正用構造は、その第１および／または第２の側部が被投写面の縁部に対して垂直または水平に延びるか、または、被投写面を画定する他の構造に対して垂直または水平に延びるように配置される。
【００２７】
校正用構造の少なくとも一部を、被投写面に配置せずに、被投写面の画像に後で（例えば、対応する画像処理によって）追加してもよい。特に、被投写面の縁部構造またはその他の特徴的な構造が利用される。このような構造は、例えば、カメラ画像からは一部しか見えないか、あるいは、全く見えないが、カメラのファインダではその広がりを捉えることができるので、カメラ画像内に含まれる他の構造（例えば、内部空間の側壁の縁部）と関連付けることができる。すなわち、この変形例では、校正用構造は、全部または少なくとも一部が被投写面に生成または配置されず、むしろ、（上述のように、）被投写面に生成または配置された校正用構造の画像に相当するように、被投写面のカメラ画像に単に追加される。本発明にかかる方法の既述の変形例および後述の変形例は、このように単にカメラ画像に追加される校正用構造（例えば、手入力または自動で追加される校正用構造）の場合にも同様に適用可能である。当然ながら、校正用構造の一部分をレーザで生成するかまたは被投写面に配置し、校正用構造の他の部分を後で追加してもよい。
【００２８】
既述したように、被投写面は、校正用構造の領域における垂直方向の掃引によって生成されることが想定されることを条件としたうえで、原則的には、空間内にどのような広がりを有してもよい。この前提条件は、ｄ）〜ｈ）過程の再構成アルゴリズムによる解決手段を明らかにする。ｇ）過程の条件、すなわち、共通平面上において長さが互いに同一である支持路を発見するという条件を満足する解決手段は他にも複数存在するが、これらの解決手段では、被投写面を再構成した際に、縮尺や位置関係にずれが生じてしまう。
【００２９】
本発明にかかる方法は、特に、前記校正用構造の領域において第１の部位および第１の部位に対して角度または湾曲を持って延びる第２の部位を有する被投写面に対して実行することができる。例えば、校正用構造の領域における被投写面は、少なくとも一部が円筒の側面もしくは円筒の一部の側面として形成されたものでもよく、または、例えば波状に延在するものであってもよい。
【００３０】
前記被投写面の前記第１の部位が第１の平面に沿って延在し、かつ、前記被投写面の前記第２の部位が第２の平面に沿って延在してもよい。換言すれば、第１の部位および第２の部位は、それぞれ平面上に延在するものである一方、これら第１の平面および第２の平面は互いにある角度をなす。すなわち、被投写面は、屈曲部または角を有する。当然ながら、被投写面は、複数の屈曲部を有してもよく、すなわち、少なくともほぼ平面状である複数の部位を互いに傾くように有してもよい。当然ながら、校正用構造の領域における被投写面は、湾曲部と屈曲部の両方を有してもよい。一変形例では、内部空間において角（隅）をまたいで延びる側壁、または家具が、被投写面の役割を果たす。後者の場合の投写画像は、家具を越えて家具の外側（例えば、壁）にまで及ぶ。
【００３１】
本発明のさらなる構成では、さらに、
i）前記校正用構造の変換後の画像のエッジが互いに平行に延びる第１および第２の側部を有するように、前記校正用構造の前記画像を前記カメラの前記結像面から補助平面に変換することによって前記校正用構造の変換画像を生成する過程と、
ii）前記校正用構造の前記変換画像において、当該変換された校正用構造のエッジにおける第１のポイントと第２のポイントとで構成されたポイント対を複数選択する過程であって、これら第１のポイントおよび第２のポイントは、前記校正用構造の前記変換画像の第１または第２の側部において互いに反対側に位置する（第１または第２の側部の両端に位置する）ものである過程と、
iii）前記校正用構造の前記変換画像において選択された前記ポイント対に対応する、前記校正用構造の前記画像におけるポイント対を特定することにより、前記ｄ）過程におけるポイント対選択を実行する。
【００３２】
詳細な一実施形態では、前記iii）におけるポイント対の特定を、前記変換画像において前記選択されたポイント対の座標の、前記結像面への逆変換によって実行する。例えば、校正用構造が、第１および第２の側部と第３および第４の側部とが直角で接する４つの頂点を構成する場合、前記補助平面上に変換された校正用構造は直方形を形成する。この情報に基づいて、校正用構造の変換画像を生成する変換則（特には、ホモグラフィ行列の形態の変換則）を決定することができる。後述する投写像の補正においては、被投写面を縮尺どおりに再構成する必要がないので、上記の生成された直方形状の校正用構造の変換画像の側部の長さは重要ではない。
【００３３】
上述したように、前記校正用構造の前記画像の、前記結像面から前記補助平面への変換は、ホモグラフィ行列で実行し、前記逆変換は、逆ホモグラフィ変換行列で実行する。逆ホモグラフィ行列を算出できない場合（逆変換されていない行列の行列式がゼロの場合）、始域と終域を取り替えて逆変換用の新たなホモグラフィ行列を求めてもよい。
【００３４】
本発明の他の改良形態では、校正済みの投写像を生成するために、
ａ）少なくとも１つの校正用パターンを前記被投写面に投写し、
ｂ）前記カメラで前記校正用パターンの画像を生成し、
ｃ）前記校正用パターンの前記画像と前記校正用構造の前記領域における前記被投写面の再構成後の広がりとに基づき、投写像を校正するための歪みパラメータを決定する。
【００３５】
例えば、投写像の物体面における投写校正用パターン（すなわち、プロジェクタから投写される校正用パターン）は、一様なラスタを形成する格子点を有する。投写される格子点間の、第１および第２の側部に沿った離間距離、および／または第１の側部および第２の側部の垂直方向に沿った離間距離が少なくとも実質上一定となるように、投写像を校正用構造に対して校正する。複数のプロジェクタの場合、各プロジェクタは、（それぞれ、その投写像の物体面における格子点同士が一定の離間距離を有する）個々の校正用パターンを含む。例えば、校正は、個々のプロジェクタの校正用パターンの重複領域に相当する領域において、校正後、同一の画像内容が表示されるように実行される。
【００３６】
このような校正により、カメラの位置や見る人の位置に対してではなく、被投写面の広がりに対して、校正された投写像を生成することができる。詳細には、被投写面に対して補正された画像を投写することができ、つまり、投写画像は、（湾曲部および／または屈曲部を有する）被投写面上に展開された壁紙のように見える。特に、投写像の向きを、投写画像の側縁が被投写面の側縁に対して平行に延びるように設定することができる。このような被投写面に対する校正、すなわち、見る人の位置に依存しない校正は、正しく見える。なぜなら、ヒトの知覚は、空間内に存在する構造のコーナー（角）およびエッジ（例えば、被投写面の側縁）の向きに影響されるからである。
【００３７】
本発明のさらなる構成では、前記校正用パターンが、投写像の前記物体面において、複数の互いに平行な第１の帯線（例えば、水平な帯線）および／または複数の互いに平行な第２の帯線（例えば、垂直な帯線）を有しており、前記第１の帯線は前記第２の帯線に対して垂直に延びており、前記第１の帯線と前記第２の帯線との交差点が当該校正用パターンの前記格子点を形成する。当然ながら、他種の校正用パターン、例えば、正弦波状のパターンおよび／またはマーカおよび／または色付きの校正用帯線などを使用してもよい。例えば、第１の帯線と第２の帯線とを交互に投写し、投写された帯線の画像を１つずつ記録するようにしてもよい。ただし、第１の帯線と第２の帯線とを一緒に投写してもよい。
【００３８】
詳細な一実施形態では、前記カメラの前記結像面における前記格子点の各位置を、投写像を校正するために使用し、
ｂ）前記校正用構造の領域における前記被投写面に対する、前記カメラによる前記格子点の結像（マッピング）を、前記校正用構造の領域において再構成された前記被投写面を用いてモデル化し、
ｃ）前記歪みパラメータを決定することが、前記被投写面上にマッピングされた前記格子点の各位置を、ＵＶ座標の形態で求めることを含み、
ｄ）前記ＵＶ座標に基づいて、投写像の校正を実行する。
【００３９】
詳細な一実施形態では、前記ＵＶ座標を求めるにあたって、カメラの結像面における格子点と再構成された被投写面とを交差させ、その交差点のＵＶ座標を決定する。例えば、校正用構造の第１の角（例えば、左下の角）が座標（0.0；0.0）に対応し第１の角の対角線上に位置する第２の角（例えば、右上の角）が座標（1.0；1.0）に対応するように、ＵＶ座標系を選択する。
【００４０】
前記交差点のＵＶ座標を、（被投写面の再構成されたモデルにおける）交差点と校正用構造の縁部との間の距離に基づいて求める。次に、既知の方法である画像ワーピング（本例では、ＵＶテクスチャルックアップ）によって補正を実行する。詳細には、前記求められた交差点のＵＶ座標（始域（元の領域））校正用パターンの格子点の座標（終域（目標の領域））との間の写像を、と投写像の物体面において求める。つまり、始域から終域への写像を実行して、始域が終域で表示される。このような写像を、交差点で構成された全ての終域（例えば、三角形状または直方形状の終域）および対応する始域について実行することにより、校正済みの投写像が得られる。
【００４１】
被投写面に投写画像を生成するにあたって複数（数台）のプロジェクタを使用する場合、個々の投写画像の重複領域における画像も補正することができる。この目的のために、全ての個々の補正された（予め画像ワーピングによって補正された）投写画像を、ブレンド画像によって調整する。補正およびブレンディング（合成）はリアルタイムで実行してもよい。このリアルタイムの補正（リアルタイムの校正）は、例えばコンピュータプログラムまたはプログラムされたマイクロプロセッサによって実行してもよく、例えばドライバ側で実行してもよい。このように複数のプロジェクタを使用した場合、個々の投写画像は、空間内に広がる被投写面に対して校正されると同時に、他の投写画像に対しても校正される。
【００４２】
リアルタイムの校正は、１つのプロジェクタの場合でも複数のプロジェクタの場合でも実行可能である。例えば、対応するプログラムを備えた電子構成品をプロジェクタに装備してもよく、プロジェクタに装備された電子構成品でそのような対応するソフトウェアプログラムを実行してもよい。当然ながら、このような校正は、プロジェクタとは別の、プログラムされた装置を用いて実行してもよい。
【００４３】
さらに、本発明は、被投写面上に校正済みの投写像を生成する装置に関する。この校正済み投写像の生成装置は、
ａ）前記校正用構造の領域における前記被投写面の空間的広がりを再構成する再構成手段を備え、この再構成手段が、
ｂ）前記被投写面の広がりに追従する校正用構造および／または前記被投写面に校正用構造を生成する手段を含み、当該校正用構造は、第１の側部（輪郭線）および第１の側部に対して平行に延びる第２の側部（輪郭線）を有し、かつ、前記第１または第２の側部の方向に沿って高さが一様に設定されており、これら第１の側部（５１）および第２の側部（５２）は、前記校正用構造（５）の画像から形成され、
また、前記再構成手段は、
ｃ）前記校正用構造の画像において、実際の校正用構造における第１のポイントに対応する第１のポイントと実際の校正用構造における第２のポイントに対応する第２のポイントとで構成されたポイント対を複数決定し、これら第１のポイントおよび第２のポイントは、前記校正用構造の前記第１または第２の側部において互いに反対側に位置しており（第１または第２の側部の両端に位置しており）、
ｄ）前記ポイント対における前記第１および第２のポイントから結像面の前方に位置する仮想的な消失点に向かってそれぞれ延びる２つの補助ビームで構成された補助ビーム対を複数生成し、
ｅ）前記補助ビーム対のそれぞれについて、当該補助ビーム対における一方の補助ビームを始端とし当該補助ビーム対における他方の補助ビームを終端とする支持路を生成し、これら複数の支持路は互いに平行であり、
ｆ）前記支持路の長さおよび／または向きを、全ての支持路の長さが互いに同一になり、これら支持路が共通平面に対して同一角度をなすまで変化させ、
ｇ）前記ｆ）で発見した支持路を用いて前記被投写面のモデルを生成するように構成されており、これらの支持路は、所望の被投写面の一部をなし、かつ、前記校正用構造の前記第１および第２の側部に対して平行に延びる経路であり、
当該校正済み投写像の生成装置は、さらに、
ｈ）前記再構成手段によって再構成された前記被投写面の空間的広がりを用いて、校正済み投写像、特には、前記校正用構造を基準として校正された投写像を生成する校正手段を備える。
【００４４】
詳細な一実施形態において、本発明にかかる装置は、さらに、被投写面に投写像を生成する少なくとも１つの（校正対象の投写像を投写する）プロジェクタおよび／または結像面に校正用構造の画像を生成する少なくとも１つのカメラを備える。ただし、本発明にかかる装置は、既存のプロジェクタおよび／または既存のカメラをそのまま使用しても申し分なく、すなわち、プロジェクタおよび／またはカメラは必ずしも本発明にかかる装置の一部をなさない。
【００４５】
詳細な一実施形態において、前記校正手段は、本発明にかかる方法に関して既述したように、被投写面に校正用パターンを投写する手段を含む。また、前記校正手段は、再構成手段および前記投写された校正用パターンによって再構成された、校正用構造の領域における被投写面の空間的広がりに基づいて、歪みパラメータを生成する手段を含んでもよい。詳細な一実施形態において、前記校正手段は、既述した本発明にかかる校正済み投写像の生成方法を実行するように構成されており、具体的には、校正用パターンの生成とＵＶ座標を用いた歪みパラメータの決定とを実行するように構成されている。例えば、前記再構成手段および／または前記校正手段は、ソフトウェアプログラムまたはプログラムされた装置の形態で実現され、例えば、少なくとも１つのプロジェクタと協働することによって校正済みパターンを投写する（前記再構成手段および／または前記校正手段は、例えば、プロジェクタに組み込まれていてもよい）。
【００４６】
前記校正済み投写像の生成装置は、さらに、被投写面の画像に校正用構造を生成する手段（例えば、画像処理ソフトウェア、画像処理装置など）を備えてもよい。つまり、被投写面に存在する不完全な（一部の）校正用構造または被投写面上に投写された不完全な（一部の）校正用構造に対し、後で残りの部分を挿入する（引き込む）ことによって完全な校正用構造とすることができる。
【００４７】
さらに、本発明は、前述した校正済み投写像の生成装置を備えるシステム、および被投写面に関する。
【００４８】
本発明のさらなる構成は、被投写面上に校正済みの投写像を生成する装置に関する。この校正済み投写像の生成装置は、
ａ）前記校正用構造の領域における前記被投写面の空間的広がりを再構成する再構成手段を備え、前記再構成手段が、
ｂ）校正用構造を前記被投写面の画像に生成する手段（例えば、画像処理ソフトウェア、画像処理装置など）を含み、当該生成される校正用構造は、前記被投写面上に配置されて（ただし、実際には存在しない）、第１の側部（輪郭線）および第１の側部に対して平行に延びる第２の側部（輪郭線）を有し、かつ、前記第１または第２の側部の方向に沿って高さが一様に設定された校正用構造の画像に前記被投写面が一致するように、前記被投写面の特徴的な構造に、前記生成された校正用構造が合わせられ、
また、前記再構成手段は、
ｃ）前記生成された校正用構造において、前記被投写面上に配置された校正用構造のポイントに対応する第１のポイントと第２のポイントとで構成されたポイント対を複数決定し、これら第１のポイントおよび第２のポイントは、前記校正用構造の前記第１または第２の側部において互いに反対側に位置しており（第１または第２の側部の両端に位置しており）、
ｄ）前記ポイント対における前記第１および第２のポイントから結像面の前方に位置する仮想的な消失点に向かって延びる２つの補助ビームで構成された補助ビーム対を複数生成し、
ｅ）前記補助ビーム対のそれぞれについて、当該補助ビーム対における一方の補助ビームを始端とし当該補助ビーム対における他方の補助ビームを終端とする支持路を生成し、
ｆ）前記支持路の長さおよび／または向きを、全ての支持路の長さが互いに同一になり、これら支持路が共通平面に対して同一角度をなすまで変化させ、
ｇ）前記ｆ）で発見した支持路を用いて前記被投写面のモデルを生成するように構成されており、これらの支持路は、所望の被投写面の一部をなし、かつ、前記校正用構造の前記第１および第２の側部に対して平行に延びる経路であり、
当該校正済み投写像の生成装置は、さらに、
ｈ）前記再構成手段によって再構成された前記被投写面の空間的広がりを用いて、投写済み投写像を生成する校正手段を備える。
【図面の簡単な説明】
【００４９】
【図１Ａ】被投写面の前方に配置されたカメラからみた従来の投写画像を示す図である。
【図１Ｂ】前記カメラの位置とは異なる位置からみた図１Ａの投写像を示す図である。
【図２Ａ】図１Ａおよび図１Ｂの投写像について、前記カメラの位置で校正された投写像を示す図である。
【図２Ｂ】図１Ｂの位置からみた図２Ａの校正後の投写像を示す図である。
【図３Ａ】本発明の第１の例示的な実施形態に従って生成された校正済み投写像を前記カメラからみた図である。
【図３Ｂ】図１Ｂおよび図２Ｂの位置からみた図３Ａの校正済み投写像を示す図である。
【図４】本発明にかかる方法の第２の例示的な実施形態に従って生成された校正済み投写像を示す図である。
【図５Ａ】プロジェクタの垂直な校正用帯線の投写像を示す図である。
【図５Ｂ】図５Ａのプロジェクタの垂直な参照用帯線の投写像を示す図である。
【図５Ｃ】さらなるプロジェクタの水平な校正用帯線の投写像を示す図である。
【図５Ｄ】図５Ｃのプロジェクタの水平な参照用帯線の投写像を示す図である。
【図６】本発明にかかる方法の一過程を示す概略図である。
【図７】本発明にかかる方法のさらなる例示的な実施形態を示すフローチャートである。
【図８Ａ】ＵＶ座標を用いて校正済み投写像を生成する様子を示す概略図である。
【図８Ｂ】ＵＶ座標を用いて校正済み投写像を生成する様子を示す他の概略図である。
【発明を実施するための形態】
【００５０】
以下では、本発明を、例示的な実施形態によって図面を参照しながら詳細に説明する。
【００５１】
図１Ａおよび図１Ｂには、それぞれ、プロジェクタ３を用いて被投写面１に投写された校正（キャリブレーション）前の投写画像２が示されている。具体的に述べると、図１Ａには、被投写面の前方に配置されたカメラ４の視点からみた投写画像が示されており、図１Ｂには、カメラと異なる位置の視点からみた投写画像２が示されている。投写画像２には、被投写面１に対するプロジェクタ３の位置に応じて歪みが生じる。特に、図１Ａおよび１Ｂの被投写面１は内壁の角（隅）をまたいで広がる空間の一部をなしているため、投写画像に大きな歪みが確実に生じる。
【００５２】
図２Ａおよび図２Ｂに、校正済み投写像の生成方法の一例を示す。この例の投写画像２の校正は、投写画像をカメラの視点を基準として補正している。換言すれば、この例の投写画像２の校正は、当該投写画像２をカメラ画像の側縁（外端）方向に沿って補正することにより、投写像の側縁がカメラ画像の側縁に対して平行に延びるようにする。しかし、このように校正された投写画像は、カメラの視点からみた場合に限って正しく見え、被投写面１を別の位置からみると、図２Ｂのように歪んで見える。特に、このような投写像は、向きが内部空間（壁などで囲まれた空間）の境界縁（境界線）（例えば、床および／または天井と側壁との境界縁）に対して平行でないため、知覚心理学的な理由により正しく認識されない。
【００５３】
本発明にかかる方法では、被投写面１（図１Ａ〜図３Ｂの例では、屈曲部（非ストレート部）を有する被投写面）の広がりを再構成し、この被投写面の再構成された広がりを用いて投写画像を校正する。具体的には、これにより、投写画像を被投写面の側縁を基準として校正することができる。図３Ａでは、投写画像２に、その上縁２１および下縁２２が被投写面１の上側の側縁１１および下側の側縁１２に対してそれぞれ平行に延びるように校正が施されている。なお、この例では、被投写面を形成する内部空間の側壁と当該内部空間の天井または床との間の角部により、前記側縁１１，１２が形成されている。
【００５４】
投写画像２は、投写の物体面において一様な離間距離で互いに離間した構造が、被投写面１においても、当該被投写面１の側縁１１，１２の水平方向および垂直方向に一様な離間距離で離間するように、被投写面に対して校正（補正）される。これにより、投写画像２は、被投写面１上に壁紙のように「密着」しているように見える。このような校正により、投写画像２は、見る人の位置に関わらず正しく見える。図３Ｂを参照されたい。
【００５５】
図３Ａおよび図３Ｂに示すような被投写面に対する校正を行うにあたっては、最初の手順として、既述のとおり被投写面１の広がりを再構成する。この目的のために、被投写面１は、第１の輪郭線５１と、第１の輪郭線５１に対して平行な第２の輪郭線５２をと備える校正用構造５を含む。校正用構造５は、さらに、第１の側部５１の第１端（下端）５１１と第２の側部５２の第１端（下端）５２１とを結ぶ、第３の輪郭線（下側の輪郭線）５３の形態の連結線を有する。さらに、校正用構造５は、第３の輪郭線５３に対して平行に延びる第４の輪郭線５４を有する。
【００５６】
校正用構造５の領域（この例では、校正用構造５内の領域）における被投写面１は、前記第３の輪郭線５３を前記第１および第２の輪郭線５１，５２に沿ってシフトさせる（すなわち、上方に変位させる）ことによって描かれる表面の形態で延在する。換言すれば、校正用構造５の領域における被投写面１は、従来の被投写面のような平面状の単一表面ではなく、第１の部位１２がライン（側壁の角）１１１に沿って第２の部位１３から屈曲していることから、空間において広がりを有する。例えば、校正用構造５は、レーザによって被投写面１に投写される。そして、特に、校正用構造５は、前記第３および第４の輪郭線５３，５４が被投写面１の上側の側縁１１および下側の側縁１２に対して平行となるように延在する。当然ながら、校正用構造５は、投写画像の表面と同等サイズの表面を形成するものであってもよいし、投写画像の表面よりも小さいものであってもよい。後者の場合、投写像２は校正用構造５を越えて広がる。
【００５７】
一変形例では、校正用構造の少なくとも一部が、カメラで記録された被投写面の画像に後で追加される。例えば、被投写面の特徴的な構造に対して平行なライン（例えば、側壁の縁部１１，１２および／または屈曲部１１１に対して平行なライン）が、被投写面の画像に（手入力でまたは自動で）追加される。
【００５８】
校正済みの投写像２は、さらに、複数の第１の（水平な）帯線６１および複数の第２の（垂直な）帯線６２で構成されるテスト用構造６を含む。投写像の物体面におけるこれら第１の帯線６１と第２の帯線６２との交差点は、均一な格子の格子点を形成する。投写画像には、これらの格子点間の、校正用構造５の前記第１および第２の輪郭線５１，５２に沿った離間距離（被投写面１に沿った離間距離）、および／または前記第３および第４の輪郭線５３，５４に沿った離間距離（被投写面に沿った離間距離）が一定になるように校正が施されている。
【００５９】
図４に、本発明にかかる方法によって校正された投写像のさらなる他の例を示す。この投写画像２は、湾曲した被投写面１に壁紙のように追従している。この被投写面１は、（水平な）側縁１１，１２および（垂直な）側縁１４，１５によって画定されている。
【００６０】
この例においても、そのような校正を実現するにあたって、被投写面の広がりを校正用構造５を用いて再構成する。図４の例では、被投写面１の側縁１１，１２，１４，１５が校正用構造としての役割を果たす。第１の垂直な側縁１４が校正用構造の第１の輪郭線５１を構成し、第２の垂直な側縁１５が校正用構造５の第２の輪郭線５２を構成する。これら２つの輪郭線５１，５２は第１の（下側の）連結線５３および第２の（上側の）連結線５４によって互いに連結されている。（下側の）連結線５３が被投写面の（下側の）水平な側縁１２に一致し、第２の（上側の）連結線５４が被投写面の（上側の）側縁１１に一致する。被投写面は、凹凸を有さずに延在している。換言すれば、被投写面は、鉛直軸（すなわち、校正用構造の輪郭線５１，５２に平行に延びる軸）周りに湾曲および／または屈曲した表面（角度が付けられた表面）の形態で形成されている。
【００６１】
つまり、被投写面１は、前記下側の連結線５３を輪郭線５１，５２に沿って垂直方向にシフトさせた際に描かれる表面に相当する。この例では、被投写面１の部位１２は第２の部位１３に対して湾曲を持って延在しており、被投写面は複数の湾曲部を有する（正負の曲率が混在しているものとする）。当然ながら、本発明にかかる方法には、原則的に、あらゆる組合せの湾曲部および屈曲部を含む被投写面が包含される。
【００６２】
なお、図３Ａ，図３Ｂおよび図４における表示はいずれも、被投写面および校正用構造を撮影したカメラ画像に相当する。そのため、例えば図４において輪郭線１４が反対側の輪郭線１５よりも長く見える。既述のとおり、被投写面の側縁の実際の広がり（したがって、校正用構造の側縁の広がり）が判明しているので、校正用構造の画像と校正用構造の実際の広がりとの違いから、校正用構造の領域における被投写面の空間的広がりを決定することができる。
【００６３】
図５Ａ〜図５Ｄは、本発明にかかる方法に従って校正済み投写像を生成するための校正用パターンの投写像を示す図である。例えば、図５Ａには、２つの屈曲部１１１，１１２を有する被投写面１（スクリーンの形態の被投写面）が示されている。つまり、同図の被投写面１は、それぞれ隣接する部位に対して傾いた３つの部位１５，１６，１７を有する。この例では、被投写面１の縁部により、被投写面の空間的広がりを再構成するための校正用構造５が画定されている。
【００６４】
複数の第１の（垂直な）校正用帯線９１を有する校正用パターン９を被投写面に投写し、これをカメラで記録する。これらの校正用帯線はカメラレンズ歪み（この時点では補正されていない）が原因で歪みを生じる。（投写像の物体面に存在する）全ての校正用帯線が被投写面上に投写される可能性は少ない（つまり、一部の校正用帯線は被投写面の外側に投写される）ので、どの校正用帯線が被投写面上に投写されているかを決定するために参照用パターンを投写する。例えば、参照用パターンは、図５Ｂに示すように、投写された校正用帯線のうちの１本と合致する単一の参照用帯線９５で構成される。この参照用帯線９５については、残りの校正用帯線に対する（投写像の物体面における）位置が判明している。被投写面上の参照用帯線９５の位置（被投写面の側縁に対する相対位置）から、どの校正用帯線９１が被投写面１上に投写されているのかを決定することができる。
【００６５】
図５Ｃは水平な校正用帯線９２を示す図であり、図５Ｄは水平な参照用帯線９６を示す図である。当然ながら、垂直な帯線９１と水平な帯線９２は一緒に投写されてもよい。参照用帯線９５と参照用帯線９６も校正用パターンと一緒に投写されてよい。また、例えば、参照用帯線９５，９６は、実際の校正用パターンと区別するための付加的な構造を有するものであってもよい。特に、複数のプロジェクタを使用する場合、各プロジェクタが１つまたは複数の校正用パターンを投写する。
【００６６】
図６に、本発明にかかる方法において被投写面を再構成する際の一過程を示す。校正用構造の画像５’（カメラ画像）を（カメラの結像面（図中の破線）に）生成する。この校正用構造の画像５’は輪郭線５１’〜５４’を有する。直線状に延びる輪郭線５１’および輪郭線５２’（しかしながら、必ずしもカメラ画像の縁部に対して平行でなくともよい）は、例えば、それぞれ、図３Ａの校正用構造５の輪郭線５１の画像、輪郭線５２の画像に相当する。下側の輪郭線５３’および上側の輪郭線５４’は、それぞれ、図３Ａの校正用構造５の下側の輪郭線５３と、上側の輪郭線５４に対応する。輪郭線５３’，５４’は、被投写面に屈曲部（図３Ａの屈曲部１１１に相当）が存在しているので直線状に延びず、被投写面が最大の空間的広がりを有する箇所で屈曲している。
【００６７】
校正用構造の画像５’からポイント対を複数選択する。図６には３つのポイント対が示されている。第１のポイント対に含まれるポイントＡ，Ｂは、撮影された（マッピングされた）校正用構造５’におけるコーナーポイントであると同時に校正用構造の画像５’における第１の輪郭線５１’の両端を構成する。第２のポイント対に含まれるポイントＣ，Ｄは、校正用構造の画像５’における第２の側部５２’の両端を構成する。これら選択されたポイントＡ，ＢとポイントＣ，Ｄは、撮像された（マッピングされた）校正用構造５’におけるコーナーポイントであるため、実際の校正用構造（図示せず）においても、それぞれ、第１の輪郭線に沿って両側に位置するポイント（コーナーポイント）、第２の輪郭線に沿って両側に位置するポイント（コーナーポイント）に相当する。さらに、ポイント対Ｅ，Ｆが、輪郭線５３’，５４’の屈曲部において選択される。
【００６８】
ポイント対（Ａ，Ｂ），（Ｃ，Ｄ），（Ｅ，Ｆ）から３つの補助ビーム対を形成する。各補助ビーム対は、前記ポイント対における第１および第２のポイントＡ，Ｂ；Ｃ，Ｄ；Ｅ，Ｆからカメラの結像面の前方（概して述べると、校正用構造の画像５’が延在する平面よりも前方）に位置する仮想的な消失点Ｇに向かって延びる、２本の補助ビーム８１ａ，８１ｂ；８２ａ，８２ｂ；８３ａ，８３ｂで構成される。さらに、補助ビーム対のうちの一方の補助ビーム８１ａ，８２ａ，８３ａを始端とし他方の補助ビーム８１ｂ，８２ｂ，８３ｂを終端として、複数の互いに平行な支持路７１，７２，７３を生成する。
【００６９】
支持路７１，７２，７３の長さおよび向きを、同一角度のもとで共通平面（図示せず）上において長さが互いに同一になるまで（最適化法を用いて）変化させる。このようにして発見した支持路を用いて、校正用構造の領域における被投写面を再構成する。具体的に述べると、前記発見した支持路は、所望の被投写面の一部をなし、かつ、校正用構造の第１および第２の輪郭線に対して平行である。このようにして発見した所望の被投写面は、必ずしも実際の被投写面の縮尺どおりでなくてもよく、そのままで十分に校正済み投写像の生成に役立てることができる。
【００７０】
当然ながら、被投写面を再構成するにあたって、４つ以上のポイント対を選択してもよい。また、図６に示すポイント対とは異なるポイント対を選択してもよい。特に、第３のポイント対は、必ずしも被投写面の空間的湾曲または空間的深さが最大となる領域から選択されなくてもよい。
【００７１】
図７は、本発明にかかる方法のさらなる例示的な実施形態を示すプロセス図である。第１のステップ１００では、各種校正用画像を被投写面に投写する。これらの校正用画像には、他の校正用画像から取り出された黒色画像１０１が含まれており、特に、背景の物体やバックグラウンドノイズを除去するために使用される。
【００７２】
また、白色画像１０２を投写する。白色画像１０２は、特に、被投写面の縁部および角を決定し、当該縁部および角を被投写面の空間的広がりを再構成するための校正用構造として利用するのに役立つ。
【００７３】
さらに、複数の垂直な帯線を有する第１の校正用パターン１０３、および複数の水平な帯線を有する第２の校正用パターン１０４を投写する。また、校正用パターン１０３，１０４の帯線を明確に特定するための参照用帯線１０５を投写する。
【００７４】
投写された校正用画像１０１〜１０５をデジタルカメラで記録する。例えば、各校正用画像を別々に記録する。しかし、一部の校正用画像（例えば、校正用パターン１０３〜１０５）を同時に投写して一緒に記録してもよい。当然ながら、投写画像を生成するにあたって複数のプロジェクタを使用してもよく、この場合、各プロジェクタごとに、ステップ１００で投写される校正用画像を１つずつ投写および記録してもよい。
【００７５】
なお、校正用パターン１０３，１０４の投写された帯線（投写帯線）の一部がカメラで撮像されない場合、および／または投写帯線の一部が被投写面の外側に位置する場合などが考えられる。そのような場合、カメラ画像では、投写帯線のうちのどの帯線が被投写面の領域に存在するのかを明確に判断することができない。しかし、投写される校正画像のための歪みパラメータを決定する際には、カメラで撮影した投写帯線を明確に区別できた方が好都合である。校正用帯線を明確に区別できるように、参照用帯線１０５を投写する。この参照用帯線１０５は、投写された校正用帯線を明確に識別できるように構成されており、特に、校正用帯線に対する相対位置によって、校正用帯線を明確に識別できるように構成されている。例えば、参照用パターンとして、帯線とは異なる他の形状のものを使用してもよく、符号化された光スライス法（kodierte Lichtschnitttechnik）を適用してもよい。
【００７６】
記録した校正用パターン１０３〜１０５を二値化する。例えば、ステップ２００では、特にサンプリング、レンズ歪み、ズーム、ブルーミング、アンチエイリアスなどによる誤差を補正する。具体的に述べると、ヒストグラムによってバイナリフィルタの閾値を決定する。ここでは、ビネッティングの影響が考慮されてもよい。このようにバイナリフィルタの閾値を設定することにより、校正用パターン１０３〜１０５の画像の黒−白のフィルタリング処理を実現することができる。フィルタリング処理後に残った帯線の誤差は、モフォロジー処理でフィルタリングされてもよい。
【００７７】
特に、このように処理した各校正用パターン（例えば、幅が数画素であるパターン）を、垂直の２方向（互いに反対方向）のオフセットフィルタおよび／または水平の２方向（互いに反対方向）のオフセットフィルタを用いて処理することにより、各投写帯線のエッジ（垂直な帯線の左側および右側のエッジ、ならびに水平な帯線の上側および下側のエッジ）を抽出することができる。このようにして判定した帯線のエッジは、垂直な帯線と水平な帯線との交差点を決定するための後のステップで使用する。
【００７８】
投写された校正用帯線のフィルタリング処理は、勾配法を用いて実行してもよい。
【００７９】
さらなるステップ３００では、アドホックな（特定の目的のための）レンズの補正用のパラメータを決定する。具体的に述べると、そのようなパラメータの決定は、校正用構造における既知の広がりを用いて実行する。この例では、既述したように、被投写面の直線状の側縁の広がりに基づいて実行する。
【００８０】
投写された白色画像１０２に基づき、被投写面の縁部（外縁）認識を実行する（ステップ４００）。例として、この白色画像に、２方向の垂直および／または水平のオフセットフィルタを適用する。例えば、このフィルタリング処理した白色画像において、縁部の２つの隣接するセグメントの終点または開始点を平均することにより、（カメラの結像面における）被投写面のコーナーポイントを決定することができる。さらに、ステップ５００では、投写された第１の（垂直な）校正用帯線１０３と第２の（水平な）校正用帯線１０４との交差点を決定する。校正用帯線１０３，１０４の二値化された画像から、校正用帯線１０３，１０４のエッジ間の交差点を決定する。つまり、垂直な帯線と水平な帯線との１つの交差点につき、帯線のエッジ間の交差点が４つ得られる。このエッジ間の交差点を平均することにより、校正用帯線の所望の交差点を決定する。このようにして発見した（校正用格子の格子点を構成する）交差点の位置を、前記決定したレンズ歪みを特に用いて補正することにより、カメラ由来の歪みについて調整を施した交差点が得られる。
【００８１】
校正用帯線を勾配法でフィルタリング処理した場合、これら校正用帯線は１本の直線のみで表現される。したがって、交差点は１つだけとなり、後はレンズ歪みを補正するだけとなる。
【００８２】
上記のようにして決定した校正用帯線１０３と校正用帯線１０４との交差点は、投写画像内に存在するものであり、すなわち、被投写面の側縁から内側に向かってある程度離間している。校正の範囲を投写画像の縁部（外縁）領域にまで拡大させるために、投写画像の外周に位置する交差点のエッジを外挿で求める。このために、例えば、校正用帯線同士の間隔が比較的小さいと仮定し、カメラの結像面において隣合う校正用帯線によって画定される四辺形が、結像面に対して傾いた平面上の四辺形とほぼ合致すると仮定する。このような仮定のもと、投写画像の縁部（外縁）に位置する格子点四辺形に適用される変換則を決定し、この変換則により、前記格子点四辺形の一辺（すなわち、被投写面の内側にあるラスタ点と被投写面の外側にあるラスタ点とを結ぶ線）と被投写面の縁との交差点を決定する。
【００８３】
さらなるステップ６００，７００では、ホモグラフィ変換を実行して校正用構造の変換画像を補助平面に生成する。このようにして、既述のようにポイント対を選択し、逆ホモグラフィ変換を行うことにより、校正用構造の画像における当該ポイント対を特定する。このようにして特定したポイント対は、図６を参照して説明した支持路の構築に利用される。
【００８４】
最後に、校正用構造の特性（「制約」）、および校正用構造の領域における被投写面の特性（「制約」）を用いて、被投写面の再構成を実行する（ステップ８００）。詳細には、これらの特性（「制約」）は、校正用構造の第１の輪郭線と第２の輪郭線とは互いに平行に延びるものであり、かつ、詳細に既述したように、被投写面が垂直方向に描いた軌跡に相当する平面であるというものである。一変形例では、校正用構造の領域における被投写面の広がりを、ワイヤグリッドモデルによって再構成する。
【００８５】
ステップ８００で再構成した被投写面を用いて、投写像の校正を実行する。ステップ９００では、歪みパラメータをＵＶ座標およびブレンド画像の形式で生成する。詳細な一実施形態では、各プロジェクタの校正用パターンにおける格子点または帯線の位置と、それらのＵＶ座標とに基づき、投写像のどの領域が視認領域（ブレンド画像における白色領域）であるのか、どの領域が被投写面の外側に位置する領域（ブレンド画像における黒色領域）であるのか、および各プロジェクタから投写される画像の重複領域（ブレンド画像におけるグレースケール領域）がどこに位置するのかを決定することができる。
【００８６】
ステップ１０００では、複数（数台）のプロジェクタを使用する場合の各部分的画像をリアルタイムで補正および接合する。例えば、あるプロジェクタの画像を、前記決定したＵＶ座標を用いて変換し（「ＵＶテクスチャルックアップ」）、対応するブレンド画像を用いて調整する。これにより、被投写面に対してのみでなく、（複数のプロジェクタを使用する場合には）他の部分的画像に相対的な個々の部分的画像に対しても、校正された画像（校正済み画像）を生成することができる。
【００８７】
なお、図７の例示的な実施形態では、図７を参照しながら説明した過程の全てを必ずしも使用しなくてもよい。一部の過程を省略してもよいし、一部の過程を変更してもよい。例えば、図７の例示的な実施形態において、必ずしも被投写面の側縁を校正用構造として使用しなくてもよく、異なる校正用構造を使用してもよい。その場合、例えば、白色画像１０２が省略される。
【００８８】
図８Ａおよび図８Ｂに図７のステップ１０００を示す。図８Ａでは、校正用パターンが投写されており、この校正用パターンは格子点ラスタ９，９’の形態である。格子点ラスタ９’，９は、それぞれ、４つの格子点９９ａ’〜９９ｄ’，９９ａ〜９９ｄからなるセグメントを含む。図８Ａの左側には投写像の物体面（すなわちプロジェクタのフレームバッファ）における格子点ラスタ９’が示されており、図８Ａの右側には被投写面に投写された格子点ラスタの投写像９が示されている。投写された格子点９９ａ〜９９ｄの位置を、既述した方法に従い、被投写面の再構成された（ＵＶ座標の形態の）広がりを用いて決定し、プロジェクタのフレームバッファにおける格子点９９ａ’〜９９ｄ’の座標と投写された格子点９９ａ〜９９ｄの座標との間の（矢印で図示する）マッピング則を決定する。校正用パターンの他の格子点についても同様の方法を適用する。図８Ｂを参照されたい。当然ながら、既述の方法は、格子点ラスタが直方形状のセグメントである場合だけでなく、例えば、３つの格子点で画定される三角形状のセグメントの場合にも実現できる。
【符号の説明】
【００８９】
１ 被投写面
２ 投写画像
３ プロジェクタ
４ カメラ
５ 校正用構造
５’ 校正用構造の画像
６ テスト用パターン
９、９’ 校正用パターン
１１〜１４ 被投写面の側縁
１２，１３，１５〜１７ 被投写面の部位
２１，２２ 投写画像の側縁
５１ 校正用構造の第１の側部（輪郭線）
５１’ 校正用構造の第１の側部の画像
５２ 校正用構造の第２の側部（輪郭線）
５２’ 校正用構造の第２の側部の画像
５３ 校正用構造の第３の側部（輪郭線）
５３’ 校正用構造の第３の側部の画像
５４ 校正用構造の第４の側部（輪郭線）
５４’ 校正用構造の第４の側部の画像
６１ 第１のテスト用帯線
６２ 第２のテスト用帯線
７１，７２，７３ 支持路
８１ａ，８１ｂ，８２ａ，８２ｂ，８３ａ，８３ｂ 補助ビーム
９１ 第１の校正用帯線
９２ 第２の校正用帯線
９５，９６ 参照用帯線
９９ａ〜９９ｄ，９９ａ’〜９９ｄ’ 格子点
１１１，１１２ 屈曲部
５１１ 校正用構造の第１の側部の端
５２１ 校正用構造の第２の側部の端
Ａ〜Ｆ 校正用構造の画像のコーナーポイント
Ｇ 消失点
【特許請求の範囲】
【請求項１】
被投写面（１）上に校正済みの投写像を生成する方法であって、
ａ）第１の側部（５１）と、当該第１の側部（５１）に対して平行に延びる第２の側部（５２）とを有し、かつ、前記第１または第２の側部（５１，５２）の方向の高さが一定である校正用構造（５）を、前記被投写面（１）の空間的広がりに追従するように配置および／または生成する工程と、
ｂ）カメラ（４）の結像面に前記校正用構造（５）の画像（５’）を生成する工程と、
ｃ）前記校正用構造（５）の領域に前記被投写面（１）の空間的広がりを再構成する工程であって、
ｄ）前記校正用構造（５）の前記画像（５’）の複数のポイント対（Ａ〜Ｆ）であって、前記校正用構造（５）の前記画像（５’）の第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）をそれぞれ有するポイント対（Ａ〜Ｆ）を決定する工程であって、前記第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）は、それぞれ、実際の校正用構造（５）の第１のポイントおよび第２のポイントに対応し、前記校正用構造（５）の前記画像（５’）の前記複数のポイント対のうちの１つのポイント対の第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）は、前記校正用構造（５）の前記第１または第２の側部（５１，５２）において互いに反対側に位置する、工程、
ｅ）複数の補助ビーム対を生成する工程であって、これら補助ビーム対は、それぞれ、前記ポイント対の前記第１および第２のポイント（Ａ〜Ｆ）から前記結像面の前方に位置する仮想的な消失点（Ｇ）に向かって延びる２つの補助ビーム（８１ａ，８１ｂ，８２ａ，８２ｂ，８３ａ，８３ｂ）を含む、工程、
ｆ）互いに平行である複数の支持路（７１，７２，７３）を生成する工程であって、これら支持路（７１，７２，７３）は、それぞれ、前記補助ビーム対の一方の補助ビーム（８１ａ，８２ａ，８３ａ）を始端とし、他方の補助ビーム（８１ｂ，８２ｂ，８３ｂ）を終端とする、工程、
ｇ）全ての支持路（７１，７２，７３）の長さが同一で、かつ、これら支持路（７１，７２，７３）が同一角度で共通平面に衝突するまで、前記支持路（７１，７２，７３）の長さおよび／または向きを変化させる工程、および
ｈ）前記工程ｇで発見した支持路を用いて前記被投写面（１）のモデルを生成する工程であって、これらの支持路は、所望の被投写面の一部をなし、かつ、前記校正用構造（５）の前記第１および第２の側部（５１，５２）に対して平行に延びる経路である、工程を有する再構成工程と、
ｉ）前記工程ｈで生成した前記被投写面の前記モデルを用いて校正済み投写像を生成する工程とを備えた、校正済み投写像の生成方法。
【請求項２】
請求項１において、前記工程ｄ〜ｈによる前記再構成工程よりも前に、前記実際の校正用構造（５）の前記第１の側部（５１）および／または前記第２の側部（５２）の広がりに対する、前記校正用構造の前記画像（５’）の第１の側部（５１’）および／または第２の側部（５２’）の広がりのずれを求めることで決定された補正パラメータに基づき、前記カメラ（４）のレンズ誤差が補正される、校正済み投写像の生成方法。
【請求項３】
請求項１または２において、前記工程ｄによって、
前記校正用構造の前記画像（５’）の第１の縁部に位置する第１のポイント対であって、前記実際の校正用構造（５）の前記第１の側部（５１）に対応する第１のポイント対が決定され、
前記校正用構造の前記画像（５’）の第２の縁部に位置する第２のポイント対であって、前記実際の校正用構造（５）の前記第２の側部（５２）に対応する第２のポイント対が決定され、
前記校正用構造の前記第１および第２の側部（５１，５２）が含まれる平面から最も離れた前記被投写面（１）の領域に位置したポイントであって、前記実際の校正用構造（５）のポイントに対応する、第３のポイント対が決定され、
最初に、前記工程ｆ〜ｈが、前記第１、第２および第３のポイント対について実行される、校正済み投写像の生成方法。
【請求項４】
請求項１から３のいずれか一項において、前記校正用構造（５）の前記第１および第２の側部（５１，５２）は、少なくとも一部が、前記被投写面（１）の第１および第２の縁部（１４，１５）によって構成される、校正済み投写像の生成方法。
【請求項５】
請求項１から４のいずれか一項において、前記校正用構造（５）は、少なくとも一部が、前記被投写面（１）に配置されるか、または前記被投写面（１）に投写される、校正済み投写像の生成方法。
【請求項６】
請求項１から５のいずれか一項において、前記校正用構造（５）の領域において、前記被投写面（１）は、第１の部位（１２）と、当該第１の部位（１２）に対して傾斜しているか湾曲している第２の部位（１３）を有する、校正済み投写像の生成方法。
【請求項７】
請求項６において、
前記被投写面（１）は、その少なくとも一部が、円筒の側面もしくは円筒の一部の側面として形成されているか、または、波状に延在し、および／または
前記被投写面（１）の前記第１の部位（１２）が第１の平面に沿って延在し、かつ、前記被投写面の前記第２の部位（１３）が第２の平面に沿って延在し、これら第１の平面および第２の平面は互いに傾いている、校正済み投写像の生成方法。
【請求項８】
請求項１から７のいずれか一項において、さらに、
i）前記校正用構造（５）の変換画像を生成する工程であって、前記変換画像のエッジが互いに平行に延びる第１および第２の側部を有するように、前記校正用構造（５）の前記画像（５’）を前記カメラ（４）の前記結像面から補助平面に変換することによって前記校正用構造（５）の変換画像を生成する工程と、
ii）前記校正用構造の前記変換画像の複数のポイント対を選択する工程であって、前記複数のポイント対は、それぞれ、前記変換された校正用構造のエッジの第１および第２のポイントを含み、これら第１のポイントおよび第２のポイントは、前記校正用構造の前記変換画像の第１または第２の側部に沿った方向において互いに反対側に位置する、工程と、
iii）前記校正用構造の前記変換画像において選択された前記ポイント対に対応する、前記校正用構造の前記画像におけるポイント対を特定することにより、前記工程ｄでポイント対を選択する工程とを備えた、校正済み投写像の生成方法。
【請求項９】
請求項８において、前記工程iiiにおいてポイント対を特定することは、前記変換画像における前記選択されたポイント対の座標を、前記結像面に逆変換することによって実行される、校正済み投写像の生成方法。
【請求項１０】
請求項９において、前記結像面から前記補助平面に前記校正用構造の前記画像を変換することは、ホモグラフィ行列で実行され、前記逆変換は、逆ホモグラフィ行列で実行される、校正済み投写像の生成方法。
【請求項１１】
請求項１から１０のいずれか一項において、
ａ）少なくとも１つの校正用パターン（６）が前記被投写面（１）に投写され、
ｂ）前記校正用パターン（６）の画像は前記カメラ（４）で生成され、
ｃ）前記校正用パターン（６）の前記画像と、前記校正用構造（５）の領域における前記被投写面の前記再構成された広がりとに基づき、投写像を校正するための歪みパラメータが決定される、校正済み投写像の生成方法。
【請求項１２】
請求項１１において、
前記校正用パターン（６）は、前記投写像の物体面において、格子点の一様なラスタを有し、
前記第１もしくは第２の側部（５１，５２）に沿って、および／または、前記第１および第２の側部（５１，５２）に対して垂直な方向において、前記投写された格子点が、互いに一定の距離で離間するように、前記投写像が前記校正用構造（５）に対して校正される、校正済み投写像の生成方法。
【請求項１３】
請求項１２において、前記校正用パターン（６）は、前記投写像の物体面において、複数の互いに平行な第１の帯線（６１）および／または複数の互いに平行な第２の帯線（６２）を有し、前記第１の帯線（６１）は前記第２の帯線（６２）に対して垂直に延びており、前記第１の帯線と前記第２の帯線との交差点が当該校正用パターンの前記格子点を構成する、校正済み投写像の生成方法。
【請求項１４】
請求項１２または１３において、前記カメラの前記結像面における前記格子点の各位置が、前記投写像を校正するために使用され、
ａ）前記校正用構造（５）の領域における前記被投写面（１）上への、前記カメラによる前記格子点のマッピングが、前記校正用構造の領域における前記再構成された前記被投写面を用いてモデル化され、
ｂ）前記歪みパラメータを決定することが、前記被投写面上にマッピングされた前記格子点の各位置を、前記マッピングされた格子点のＵＶ座標の形態で求めることを含み、
ｃ）前記ＵＶ座標に基づいて、前記投写像の前記校正が実行される、校正済み投写像の生成方法。
【請求項１５】
被投写面（１）上に校正済みの投写像を生成する方法であって、
ａ）カメラ（４）の結像面に前記被投写面（１）の画像（５’）を生成する工程と、
ｂ）前記被投写面（１）の空間的広がりを再構成する工程であって、
ｃ）校正用構造（５’）を前記被投写面（１）の前記画像に生成する工程であって、前記被投写面上に配置されて、第１の側部（５１）と、当該第１の側部に対して平行に延びる第２の側部（５２）とを有し、かつ、前記第１または第２の側部（５１，５２）の方向の高さが一定である校正用構造（５）の画像に対応するように、前記生成される校正用構造（５’）が前記被投写面の特徴的な構造に合わせられる、工程、
ｄ）前記生成された校正用構造（５’）の複数のポイント対（Ａ〜Ｆ）を決定する工程であって、前記ポイント対（Ａ〜Ｆ）は、それぞれ、前記被投写面上に配置された校正用構造（５）のポイントに対応する、第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）を有し、これら第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）は、前記校正用構造（５）の前記第１または第２の側部（５１，５２）において反対側に位置する工程、
ｅ）複数の補助ビーム対を生成する工程であって、これら補助ビームは、それぞれ、前記ポイント対の前記第１および第２のポイント（Ａ〜Ｆ）から前記結像面の前方に位置する仮想的な消失点（Ｇ）に向かって延びる２つの補助ビーム（８１ａ，８１ｂ，８２ａ，８２ｂ，８３ａ，８３ｂ）を含む、工程、
ｆ）互いに平行である複数の支持路（７１，７２，７３）を生成する工程であって、これら支持路（７１，７２，７３）は、それぞれ、前記補助ビーム対の一方の補助ビーム（８１ａ，８２ａ，８３ａ）を始端とし、他方の補助ビーム（８１ｂ，８２ｂ，８３ｂ）を終端とする、工程、
ｇ）全ての支持路（７１，７２，７３）の長さが同一で、かつ、これら支持路（７１，７２，７３）が同一角度で共通平面に衝突するまで、前記支持路（７１，７２，７３）の長さおよび／または向きを変化させる工程、および
ｈ）前記工程ｇで発見した支持路を用いて前記被投写面（１）のモデルを生成する工程であって、これらの支持路は、所望の被投写面の一部をなし、かつ、前記校正用構造（５）の前記第１および第２の側部（５１，５２）に対して平行に延びる経路である、工程を有する再構成工程と、
ｉ）前記工程ｈで生成した前記被投写面の前記モデルを用いて投写済み投写像を生成する工程とを備えた、校正済み投写像の生成方法。
【請求項１６】
請求項１５において、前記校正用構造（５）が、画像処理ソフトウェアを用いて前記被投写面（１）の前記画像に追加することによって生成される、校正済み投写像の生成方法。
【請求項１７】
被投写面（１）上に校正済みの投写像を生成する装置（特に、請求項１から１４のいずれか一項に記載の投写済み投写像の生成方法を実行する装置）であって、
ａ）前記被投写面（１）の空間的広がりを再構成する再構成手段であって、
ｂ）前記被投写面の広がりに追従する校正用構造（５）、および／または、前記被投写面に校正用構造（５）を生成する手段を有し、当該校正用構造（５）は、第１の側部（５１）と、当該第１の側部（５１）に対して平行に延びる第２の側部（５２）とを有し、かつ、前記第１または第２の側部（５１，５２）の方向の高さが一定であり、これら第１の側部（５１）および第２の側部（５２）は、前記校正用構造（５）の画像から形成され、
ｃ）前記校正用構造（５）の前記画像（５’）の複数のポイント対（Ａ〜Ｆ）であって、前記校正用構造（５）の前記画像（５’）の第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）をそれぞれ有するポイント対（Ａ〜Ｆ）を決定し、前記第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）は、それぞれ、実際の校正用構造（５）の第１のポイントおよび第２のポイントに対応し、前記校正用構造（５）の前記画像（５’）の前記複数のポイント対のうちの１つのポイント対の第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）は、前記校正用構造（５）の前記第１または第２の側部（５１，５２）において互いに反対側に位置し、
ｄ）複数の補助ビーム対を生成し、これら補助ビーム対は、それぞれ、前記ポイント対の前記第１および第２のポイント（Ａ〜Ｆ）から前記結像面の前方に位置する仮想的な消失点（Ｇ）に向かって延びる２つの補助ビーム（８１ａ，８１ｂ，８２ａ，８２ｂ，８３ａ，８３ｂ）を含み、
ｅ）それぞれ、前記補助ビーム対の一方の補助ビーム（８１ａ，８２ａ，８３ａ）を始端とし、他方の補助ビーム（８１ｂ，８２ｂ，８３ｂ）を終端とする、複数の支持路（７１，７２，７３）を生成し、
ｆ）全ての支持路（７１，７２，７３）の長さが同一で、かつ、これら支持路（７１，７２，７３）が同一角度で共通平面に衝突するまで、前記支持路（７１，７２，７３）の長さおよび／または向きを変化させ、
ｇ）前記ｆで発見した支持路を用いて前記被投写面のモデルを生成するように構成されており、これらの支持路は、所望の被投写面の一部をなし、かつ、前記校正用構造の前記第１および第２の側部に対して平行に延びる経路である、再構成手段と、
ｈ）前記再構成手段によって再構成された前記被投写面の空間的広がりを用いて、校正済み投写像を生成する校正手段とを備えた、校正済み投写像の生成装置。
【請求項１８】
被投写面（１）上に校正済みの投写像を生成する装置（特に、請求項１５または１６に記載の投写済み投写像の生成方法を実行する装置）であって、
ａ）前記被投写面（１）の空間的広がりを再構成する再構成手段であって、
ｂ）校正用構造（５’）を前記被投写面の画像に生成する手段を有し、前記被投写面上に配置されて、第１の側部（５１）と、当該第１の側部に対して平行に延びる第２の側部（５２）とを有し、かつ、前記第１または第２の側部（５１，５２）の方向の高さが一定である校正用構造（５）の画像に対応するように、前記校正用構造（５）が前記被投写面の特徴的な構造に合わせられ、
ｃ）前記生成された校正用構造（５’）の複数のポイント対（Ａ〜Ｆ）を決定し、前記ポイント対（Ａ〜Ｆ）は、それぞれ、前記被投写面上に配置された校正用構造（５）のポイントに対応する、第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）を有し、これら第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）は、前記校正用構造の前記第１または第２の側部（５１，５２）において反対側に位置し、
ｄ）複数の補助ビーム対を生成し、これら補助ビーム対は、それぞれ、前記ポイント対における前記第１および第２のポイント（Ａ〜Ｆ）から結像面の前方に位置する仮想的な消失点（Ｇ）に向かって延びる２つの補助ビーム（８１ａ，８１ｂ，８２ａ，８２ｂ，８３ａ，８３ｂ）を含み、
ｅ）それぞれ、前記補助ビーム対の一方の補助ビーム（８１ａ，８２ａ，８３ａ）を始端とし、他方の補助ビーム（８１ｂ，８２ｂ，８３ｂ）を終端とする、複数の支持路（７１，７２，７３）を生成し、
ｆ）全ての支持路（７１，７２，７３）の長さが同一で、かつ、これら支持路（７１，７２，７３）が同一角度で共通平面に衝突するまで、前記支持路（７１，７２，７３）の長さおよび／または向きを変化させ、
ｇ）前記ｆで発見した支持路を用いて前記被投写面のモデルを生成するように構成されており、これらの支持路は、所望の被投写面の一部をなし、かつ、前記校正用構造の前記第１および第２の側部に対して平行に延びる経路である、再構成手段と、
ｈ）前記再構成手段によって再構成された前記被投写面の空間的広がりを用いて、投写済み投写像を生成する校正手段とを備えた、校正済み投写像の生成装置。
【請求項１】
被投写面（１）上に校正済みの投写像を生成する方法であって、
ａ）第１の側部（５１）と、当該第１の側部（５１）に対して平行に延びる第２の側部（５２）とを有し、かつ、前記第１または第２の側部（５１，５２）の方向の高さが一定である校正用構造（５）を、前記被投写面（１）の空間的広がりに追従するように配置および／または生成する工程と、
ｂ）カメラ（４）の結像面に前記校正用構造（５）の画像（５’）を生成する工程と、
ｃ）前記校正用構造（５）の領域に前記被投写面（１）の空間的広がりを再構成する工程であって、
ｄ）前記校正用構造（５）の前記画像（５’）の複数のポイント対（Ａ〜Ｆ）であって、前記校正用構造（５）の前記画像（５’）の第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）をそれぞれ有するポイント対（Ａ〜Ｆ）を決定する工程であって、前記第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）は、それぞれ、実際の校正用構造（５）の第１のポイントおよび第２のポイントに対応し、前記校正用構造（５）の前記画像（５’）の前記複数のポイント対のうちの１つのポイント対の第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）は、前記校正用構造（５）の前記第１または第２の側部（５１，５２）において互いに反対側に位置する、工程、
ｅ）複数の補助ビーム対を生成する工程であって、これら補助ビーム対は、それぞれ、前記ポイント対の前記第１および第２のポイント（Ａ〜Ｆ）から前記結像面の前方に位置する仮想的な消失点（Ｇ）に向かって延びる２つの補助ビーム（８１ａ，８１ｂ，８２ａ，８２ｂ，８３ａ，８３ｂ）を含む、工程、
ｆ）互いに平行である複数の支持路（７１，７２，７３）を生成する工程であって、これら支持路（７１，７２，７３）は、それぞれ、前記補助ビーム対の一方の補助ビーム（８１ａ，８２ａ，８３ａ）を始端とし、他方の補助ビーム（８１ｂ，８２ｂ，８３ｂ）を終端とする、工程、
ｇ）全ての支持路（７１，７２，７３）の長さが同一で、かつ、これら支持路（７１，７２，７３）が同一角度で共通平面に衝突するまで、前記支持路（７１，７２，７３）の長さおよび／または向きを変化させる工程、および
ｈ）前記工程ｇで発見した支持路を用いて前記被投写面（１）のモデルを生成する工程であって、これらの支持路は、所望の被投写面の一部をなし、かつ、前記校正用構造（５）の前記第１および第２の側部（５１，５２）に対して平行に延びる経路である、工程を有する再構成工程と、
ｉ）前記工程ｈで生成した前記被投写面の前記モデルを用いて校正済み投写像を生成する工程とを備えた、校正済み投写像の生成方法。
【請求項２】
請求項１において、前記工程ｄ〜ｈによる前記再構成工程よりも前に、前記実際の校正用構造（５）の前記第１の側部（５１）および／または前記第２の側部（５２）の広がりに対する、前記校正用構造の前記画像（５’）の第１の側部（５１’）および／または第２の側部（５２’）の広がりのずれを求めることで決定された補正パラメータに基づき、前記カメラ（４）のレンズ誤差が補正される、校正済み投写像の生成方法。
【請求項３】
請求項１または２において、前記工程ｄによって、
前記校正用構造の前記画像（５’）の第１の縁部に位置する第１のポイント対であって、前記実際の校正用構造（５）の前記第１の側部（５１）に対応する第１のポイント対が決定され、
前記校正用構造の前記画像（５’）の第２の縁部に位置する第２のポイント対であって、前記実際の校正用構造（５）の前記第２の側部（５２）に対応する第２のポイント対が決定され、
前記校正用構造の前記第１および第２の側部（５１，５２）が含まれる平面から最も離れた前記被投写面（１）の領域に位置したポイントであって、前記実際の校正用構造（５）のポイントに対応する、第３のポイント対が決定され、
最初に、前記工程ｆ〜ｈが、前記第１、第２および第３のポイント対について実行される、校正済み投写像の生成方法。
【請求項４】
請求項１から３のいずれか一項において、前記校正用構造（５）の前記第１および第２の側部（５１，５２）は、少なくとも一部が、前記被投写面（１）の第１および第２の縁部（１４，１５）によって構成される、校正済み投写像の生成方法。
【請求項５】
請求項１から４のいずれか一項において、前記校正用構造（５）は、少なくとも一部が、前記被投写面（１）に配置されるか、または前記被投写面（１）に投写される、校正済み投写像の生成方法。
【請求項６】
請求項１から５のいずれか一項において、前記校正用構造（５）の領域において、前記被投写面（１）は、第１の部位（１２）と、当該第１の部位（１２）に対して傾斜しているか湾曲している第２の部位（１３）を有する、校正済み投写像の生成方法。
【請求項７】
請求項６において、
前記被投写面（１）は、その少なくとも一部が、円筒の側面もしくは円筒の一部の側面として形成されているか、または、波状に延在し、および／または
前記被投写面（１）の前記第１の部位（１２）が第１の平面に沿って延在し、かつ、前記被投写面の前記第２の部位（１３）が第２の平面に沿って延在し、これら第１の平面および第２の平面は互いに傾いている、校正済み投写像の生成方法。
【請求項８】
請求項１から７のいずれか一項において、さらに、
i）前記校正用構造（５）の変換画像を生成する工程であって、前記変換画像のエッジが互いに平行に延びる第１および第２の側部を有するように、前記校正用構造（５）の前記画像（５’）を前記カメラ（４）の前記結像面から補助平面に変換することによって前記校正用構造（５）の変換画像を生成する工程と、
ii）前記校正用構造の前記変換画像の複数のポイント対を選択する工程であって、前記複数のポイント対は、それぞれ、前記変換された校正用構造のエッジの第１および第２のポイントを含み、これら第１のポイントおよび第２のポイントは、前記校正用構造の前記変換画像の第１または第２の側部に沿った方向において互いに反対側に位置する、工程と、
iii）前記校正用構造の前記変換画像において選択された前記ポイント対に対応する、前記校正用構造の前記画像におけるポイント対を特定することにより、前記工程ｄでポイント対を選択する工程とを備えた、校正済み投写像の生成方法。
【請求項９】
請求項８において、前記工程iiiにおいてポイント対を特定することは、前記変換画像における前記選択されたポイント対の座標を、前記結像面に逆変換することによって実行される、校正済み投写像の生成方法。
【請求項１０】
請求項９において、前記結像面から前記補助平面に前記校正用構造の前記画像を変換することは、ホモグラフィ行列で実行され、前記逆変換は、逆ホモグラフィ行列で実行される、校正済み投写像の生成方法。
【請求項１１】
請求項１から１０のいずれか一項において、
ａ）少なくとも１つの校正用パターン（６）が前記被投写面（１）に投写され、
ｂ）前記校正用パターン（６）の画像は前記カメラ（４）で生成され、
ｃ）前記校正用パターン（６）の前記画像と、前記校正用構造（５）の領域における前記被投写面の前記再構成された広がりとに基づき、投写像を校正するための歪みパラメータが決定される、校正済み投写像の生成方法。
【請求項１２】
請求項１１において、
前記校正用パターン（６）は、前記投写像の物体面において、格子点の一様なラスタを有し、
前記第１もしくは第２の側部（５１，５２）に沿って、および／または、前記第１および第２の側部（５１，５２）に対して垂直な方向において、前記投写された格子点が、互いに一定の距離で離間するように、前記投写像が前記校正用構造（５）に対して校正される、校正済み投写像の生成方法。
【請求項１３】
請求項１２において、前記校正用パターン（６）は、前記投写像の物体面において、複数の互いに平行な第１の帯線（６１）および／または複数の互いに平行な第２の帯線（６２）を有し、前記第１の帯線（６１）は前記第２の帯線（６２）に対して垂直に延びており、前記第１の帯線と前記第２の帯線との交差点が当該校正用パターンの前記格子点を構成する、校正済み投写像の生成方法。
【請求項１４】
請求項１２または１３において、前記カメラの前記結像面における前記格子点の各位置が、前記投写像を校正するために使用され、
ａ）前記校正用構造（５）の領域における前記被投写面（１）上への、前記カメラによる前記格子点のマッピングが、前記校正用構造の領域における前記再構成された前記被投写面を用いてモデル化され、
ｂ）前記歪みパラメータを決定することが、前記被投写面上にマッピングされた前記格子点の各位置を、前記マッピングされた格子点のＵＶ座標の形態で求めることを含み、
ｃ）前記ＵＶ座標に基づいて、前記投写像の前記校正が実行される、校正済み投写像の生成方法。
【請求項１５】
被投写面（１）上に校正済みの投写像を生成する方法であって、
ａ）カメラ（４）の結像面に前記被投写面（１）の画像（５’）を生成する工程と、
ｂ）前記被投写面（１）の空間的広がりを再構成する工程であって、
ｃ）校正用構造（５’）を前記被投写面（１）の前記画像に生成する工程であって、前記被投写面上に配置されて、第１の側部（５１）と、当該第１の側部に対して平行に延びる第２の側部（５２）とを有し、かつ、前記第１または第２の側部（５１，５２）の方向の高さが一定である校正用構造（５）の画像に対応するように、前記生成される校正用構造（５’）が前記被投写面の特徴的な構造に合わせられる、工程、
ｄ）前記生成された校正用構造（５’）の複数のポイント対（Ａ〜Ｆ）を決定する工程であって、前記ポイント対（Ａ〜Ｆ）は、それぞれ、前記被投写面上に配置された校正用構造（５）のポイントに対応する、第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）を有し、これら第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）は、前記校正用構造（５）の前記第１または第２の側部（５１，５２）において反対側に位置する工程、
ｅ）複数の補助ビーム対を生成する工程であって、これら補助ビームは、それぞれ、前記ポイント対の前記第１および第２のポイント（Ａ〜Ｆ）から前記結像面の前方に位置する仮想的な消失点（Ｇ）に向かって延びる２つの補助ビーム（８１ａ，８１ｂ，８２ａ，８２ｂ，８３ａ，８３ｂ）を含む、工程、
ｆ）互いに平行である複数の支持路（７１，７２，７３）を生成する工程であって、これら支持路（７１，７２，７３）は、それぞれ、前記補助ビーム対の一方の補助ビーム（８１ａ，８２ａ，８３ａ）を始端とし、他方の補助ビーム（８１ｂ，８２ｂ，８３ｂ）を終端とする、工程、
ｇ）全ての支持路（７１，７２，７３）の長さが同一で、かつ、これら支持路（７１，７２，７３）が同一角度で共通平面に衝突するまで、前記支持路（７１，７２，７３）の長さおよび／または向きを変化させる工程、および
ｈ）前記工程ｇで発見した支持路を用いて前記被投写面（１）のモデルを生成する工程であって、これらの支持路は、所望の被投写面の一部をなし、かつ、前記校正用構造（５）の前記第１および第２の側部（５１，５２）に対して平行に延びる経路である、工程を有する再構成工程と、
ｉ）前記工程ｈで生成した前記被投写面の前記モデルを用いて投写済み投写像を生成する工程とを備えた、校正済み投写像の生成方法。
【請求項１６】
請求項１５において、前記校正用構造（５）が、画像処理ソフトウェアを用いて前記被投写面（１）の前記画像に追加することによって生成される、校正済み投写像の生成方法。
【請求項１７】
被投写面（１）上に校正済みの投写像を生成する装置（特に、請求項１から１４のいずれか一項に記載の投写済み投写像の生成方法を実行する装置）であって、
ａ）前記被投写面（１）の空間的広がりを再構成する再構成手段であって、
ｂ）前記被投写面の広がりに追従する校正用構造（５）、および／または、前記被投写面に校正用構造（５）を生成する手段を有し、当該校正用構造（５）は、第１の側部（５１）と、当該第１の側部（５１）に対して平行に延びる第２の側部（５２）とを有し、かつ、前記第１または第２の側部（５１，５２）の方向の高さが一定であり、これら第１の側部（５１）および第２の側部（５２）は、前記校正用構造（５）の画像から形成され、
ｃ）前記校正用構造（５）の前記画像（５’）の複数のポイント対（Ａ〜Ｆ）であって、前記校正用構造（５）の前記画像（５’）の第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）をそれぞれ有するポイント対（Ａ〜Ｆ）を決定し、前記第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）は、それぞれ、実際の校正用構造（５）の第１のポイントおよび第２のポイントに対応し、前記校正用構造（５）の前記画像（５’）の前記複数のポイント対のうちの１つのポイント対の第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）は、前記校正用構造（５）の前記第１または第２の側部（５１，５２）において互いに反対側に位置し、
ｄ）複数の補助ビーム対を生成し、これら補助ビーム対は、それぞれ、前記ポイント対の前記第１および第２のポイント（Ａ〜Ｆ）から前記結像面の前方に位置する仮想的な消失点（Ｇ）に向かって延びる２つの補助ビーム（８１ａ，８１ｂ，８２ａ，８２ｂ，８３ａ，８３ｂ）を含み、
ｅ）それぞれ、前記補助ビーム対の一方の補助ビーム（８１ａ，８２ａ，８３ａ）を始端とし、他方の補助ビーム（８１ｂ，８２ｂ，８３ｂ）を終端とする、複数の支持路（７１，７２，７３）を生成し、
ｆ）全ての支持路（７１，７２，７３）の長さが同一で、かつ、これら支持路（７１，７２，７３）が同一角度で共通平面に衝突するまで、前記支持路（７１，７２，７３）の長さおよび／または向きを変化させ、
ｇ）前記ｆで発見した支持路を用いて前記被投写面のモデルを生成するように構成されており、これらの支持路は、所望の被投写面の一部をなし、かつ、前記校正用構造の前記第１および第２の側部に対して平行に延びる経路である、再構成手段と、
ｈ）前記再構成手段によって再構成された前記被投写面の空間的広がりを用いて、校正済み投写像を生成する校正手段とを備えた、校正済み投写像の生成装置。
【請求項１８】
被投写面（１）上に校正済みの投写像を生成する装置（特に、請求項１５または１６に記載の投写済み投写像の生成方法を実行する装置）であって、
ａ）前記被投写面（１）の空間的広がりを再構成する再構成手段であって、
ｂ）校正用構造（５’）を前記被投写面の画像に生成する手段を有し、前記被投写面上に配置されて、第１の側部（５１）と、当該第１の側部に対して平行に延びる第２の側部（５２）とを有し、かつ、前記第１または第２の側部（５１，５２）の方向の高さが一定である校正用構造（５）の画像に対応するように、前記校正用構造（５）が前記被投写面の特徴的な構造に合わせられ、
ｃ）前記生成された校正用構造（５’）の複数のポイント対（Ａ〜Ｆ）を決定し、前記ポイント対（Ａ〜Ｆ）は、それぞれ、前記被投写面上に配置された校正用構造（５）のポイントに対応する、第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）を有し、これら第１のポイント（Ａ、Ｃ，Ｅ）および第２のポイント（Ｂ，Ｄ，Ｆ）は、前記校正用構造の前記第１または第２の側部（５１，５２）において反対側に位置し、
ｄ）複数の補助ビーム対を生成し、これら補助ビーム対は、それぞれ、前記ポイント対における前記第１および第２のポイント（Ａ〜Ｆ）から結像面の前方に位置する仮想的な消失点（Ｇ）に向かって延びる２つの補助ビーム（８１ａ，８１ｂ，８２ａ，８２ｂ，８３ａ，８３ｂ）を含み、
ｅ）それぞれ、前記補助ビーム対の一方の補助ビーム（８１ａ，８２ａ，８３ａ）を始端とし、他方の補助ビーム（８１ｂ，８２ｂ，８３ｂ）を終端とする、複数の支持路（７１，７２，７３）を生成し、
ｆ）全ての支持路（７１，７２，７３）の長さが同一で、かつ、これら支持路（７１，７２，７３）が同一角度で共通平面に衝突するまで、前記支持路（７１，７２，７３）の長さおよび／または向きを変化させ、
ｇ）前記ｆで発見した支持路を用いて前記被投写面のモデルを生成するように構成されており、これらの支持路は、所望の被投写面の一部をなし、かつ、前記校正用構造の前記第１および第２の側部に対して平行に延びる経路である、再構成手段と、
ｈ）前記再構成手段によって再構成された前記被投写面の空間的広がりを用いて、投写済み投写像を生成する校正手段とを備えた、校正済み投写像の生成装置。
【図１Ａ】
【図１Ｂ】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図１Ｂ】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【公表番号】特表２０１３−５０９７６７（Ｐ２０１３−５０９７６７Ａ）
【公表日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１２−５３５７８５（Ｐ２０１２−５３５７８５）
【出願日】平成２２年１０月２６日（２０１０．１０．２６）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０６６１５５
【国際公開番号】ＷＯ２０１１／０５１２８１
【国際公開日】平成２３年５月５日（２０１１．５．５）
【出願人】（５０７２１０２８１）フラウンホファー‐ゲゼルシャフト・ツア・フェルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ (5)
【Ｆターム（参考）】
【公表日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２２年１０月２６日（２０１０．１０．２６）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０６６１５５
【国際公開番号】ＷＯ２０１１／０５１２８１
【国際公開日】平成２３年５月５日（２０１１．５．５）
【出願人】（５０７２１０２８１）フラウンホファー‐ゲゼルシャフト・ツア・フェルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ (5)
【Ｆターム（参考）】
[ Back to top ]