非中央カタディオプトリック光学系において投影を求める方法およびシステム
【課題】カタディオプトリック系が鏡等の反射器を含む場合の光線の経路を計算する式を提供する。
【解決手段】シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションが求められる。カタディオプトリック系は非中央式であり、カメラおよび反射器を含み、該反射器の表面は対称軸の周りに回転対称な２次曲面である。反射法則、反射器の式、およびＣＯＰと、ＰＳと、反射点における反射器に対する法線の、対称軸との交点とによって規定される反射面を示す式に基づいて反射点の３Ｄロケーションが求められる。
【解決手段】シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションが求められる。カタディオプトリック系は非中央式であり、カメラおよび反射器を含み、該反射器の表面は対称軸の周りに回転対称な２次曲面である。反射法則、反射器の式、およびＣＯＰと、ＰＳと、反射点における反射器に対する法線の、対称軸との交点とによって規定される反射面を示す式に基づいて反射点の３Ｄロケーションが求められる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、包括的にはカタディオプトリック光学系に関し、より詳細には、非中央カタディオプトリック光学系において投影を求めることに関する。
【背景技術】
【０００２】
カタディオプトリック光学系は、通常はレンズ（屈折光学）と曲面鏡（反射光学）とにより屈折原理と反射原理とを組み合わせる。カタディオプトリック系は、広い視野（ＦＯＶ）の撮像を可能にするカメラの撮像用反射器または屈折器を含む。カタディオプトリック系は、パノラマ撮像および可視化、広角再構成、監視、並びに携帯ロボットおよびカーナビゲーションを含む幅広い用途に用いられてきた。カタディオプトリック系には、中央式（ｃｅｎｔｒａｌ）と非中央式（ｎｏｎ−ｃｅｎｔｒａｌ）とがあり得る。
【０００３】
中央カタディオプトリック系
中央カタディオプトリック系は、単一の有効視点を可能にするように配置された単一のカメラ−鏡の対を用いる。すなわち、カメラセンサによって取得された画像を形成する全ての光線は、１点で交わる。中央カタディオプトリック系の例には、双曲面鏡または楕円面鏡の焦点のうちの１つに配置された透視投影カメラと、放物面鏡の軸上に配置された正投影カメラとが含まれる。
【０００４】
非中央カタディオプトリック系
非中央カタディオプトリック系は、コンピュータビジョン用途で広く用いられている。非中央カタディオプトリック系の例には、球面鏡の外側に配置された透視投影カメラと、カメラが双曲面鏡または楕円面鏡の焦点に配置されない構成とが含まれる。中央カタディオプトリック系と対照的に、非中央カタディオプトリック系では、光線は１点で交わらない。その代わりに、光線は線に沿って交わる場合もあるし、円またはより複雑な形状に接する場合もある。
【０００５】
多くの用途において、非中央カタディオプトリック系をモデル化することが重要であり、非中央カタディオプトリック系は、シーン内の点（ＰＳ）の、カタディオプトリック系のカメラの投影中心（ＣＯＰ）に対する３次元（３Ｄ）投影を求めることを必要とする。非中央カタディオプトリック系は、有効な投影中心を持たない。ＣＯＰは、カタディオプトリック系において用いられる物理的な透視投影カメラの投影中心を指す。
【０００６】
この投影は、３次元（３Ｄ）のＰＳをカタディオプトリック系のカメラの像面の２次元（２Ｄ）の画素にマッピングする。
【０００７】
たとえば、カタディオプトリック系が鏡等の反射器を含む場合、ＰＳをカメラの像面に投影するには、鏡面反射を介したＰＳからＣＯＰまでの光線の経路を計算する必要がある。したがって、鏡の表面の反射点を求める必要がある。同様に、カタディオプトリック系が屈折器、たとえば屈折率球体を含む場合、投影をモデル化するには、２つの屈折点を求める必要がある。
【０００８】
中央カタディオプトリック系の投影の解析解は知られている。しかし、カメラが反射器または屈折器に対して任意の位置に配置されているときに、一般的な非中央カタディオプトリック系の投影の解析解はない。
【０００９】
いくつかの従来の方法が、非中央カタディオプトリック系を、投影の解析解を可能にする中央カタディオプトリック系として近似している。しかし、これらの方法は、歪んだ３Ｄ推定値等、不正確なものとなる。
【００１０】
代替的な方法は、中央の近似を用いて反射点または屈折点を初期化することにより反復による非線形最適化を用いる。しかし、これらの方法は、時間がかかり、不適切な初期化により不正確な解となる。さらに別の方法は、一般的な線形カメラ表現を用いて、解析投影を可能にするアフィンモデルにより非中央カタディオプトリックカメラを局所的に近似するが、この方法も近似を導入する。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
したがって、非中央カタディオプトリック系の投影の解析解を提供することが望ましい。また、ＰＳから非中央カタディオプトリック系のＣＯＰへの光線の少なくとも１つの反射点の３次元（３Ｄ）ロケーションを解析的に求めることが望ましい。
【００１２】
この発明の目的は、非中央カタディオプトリック系の投影を解析的に求める方法を提供することである。
【００１３】
この発明の更なる目的は、シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点を求める方法を提供することである。
【００１４】
この発明の更なる目的は、ＣＯＰが反射器の対称軸の外側に配置されているカタディオプトリック系の反射点を求める方法を提供することである。
【課題を解決するための手段】
【００１５】
この発明のいくつかの実施の形態は、ＣＯＰと、ＰＳと、反射点の法線の、反射器の対称軸との交点とによって規定される反射面を用いて、解析式を導出することができるという認識に基づいている。解析式を、反射法則および反射器の式と併せて用いて、反射点のロケーションを求めることができる。
【００１６】
１つの実施の形態は、カタディオプトリック系の反射器が回転対称である場合、座標系全体を回転して、ＣＯＰを少なくとも１つの軸上に位置決めすることができるという別の認識に基づいている。これを実現することによって、実施の形態が１つの未知数の順投影式（ＦＰＥ）の次数を低減することが可能となり、ここで、未知数は反射点の座標である。たとえば、１つの実施の形態は８次のＦＰＥを求めて解く。
【００１７】
したがって、この発明の１つの実施の形態は、シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションを求める方法であって、カタディオプトリック系は非中央式であり、カメラおよび反射器を含み、該反射器の表面は対称軸の周りに回転対称な２次曲面であり、反射点は、表面上の光線の反射点であり、カタディオプトリック系の構成は、３Ｄロケーションによって特定されるＰＳおよびＣＯＰを含む。本方法は、
ＣＯＰと、ＰＳと、反射点の法線の、対称軸との交点によって規定された反射面を示す第１の式を求めることと、
反射点において反射法則に基づいて第２の式を求めることと、
反射器の式として第３の式を求めることと、
第１の式、第２の式、および第３の式を解くことであって、反射点の３Ｄロケーションを求める、解くことと、
を含み、該方法のステップはプロセッサによって実行される。
【００１８】
本方法は、任意選択で、以下のうちの１つまたは複数を含むことができる。たとえば、カタディオプトリック系の構成は第１の座標系において取得することができ、本方法は、第１の座標系を、ＣＯＰの少なくとも１つの座標が第２の座標系における軸上にあるように、対称軸の周りに第２の座標系まで回転させることと、反射点の３Ｄロケーションを第１の座標系にマッピングすることとを含むことができる。
【００１９】
たとえば、１つの変形形態は、第１の式、第２の式、および第３の式に基づいて、１つの未知数の８次の順投影式（ＦＰＥ）を構成することであって、該未知数は、第２の座標系における反射点の３Ｄロケーションの第１の座標である、構成することと、
ＦＰＥを解くことであって、第１の座標を求める、解くことと、
第１の座標と、第１の式、第２の式、および第３の式とに基づいて、第２の座標系における反射点の３Ｄロケーションの第２の座標および第３の座標を求めることであって、第２の座標系における反射点の３Ｄロケーションを得る、求めることと、
反射点の３Ｄロケーションを第１の座標系にマッピングすることと、
をさらに含むことができる。
【００２０】
様々な実施の形態は、反射点の３Ｄロケーションを用いて、カメラに対する反射器の姿勢を、バンドル調整を用いて求め、シーン内のスパースな３Ｄ点を求め、かつ／またはシーンの密な深さマップを求めることができる。
【００２１】
別の実施の形態は、シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点Ｍの３次元（３Ｄ）ロケーションを求める方法であって、カタディオプトリック系は非中央式であり、カメラおよび鏡を含み、該鏡の表面は対称軸の周りに回転対称な２次曲面であり、反射点は、表面上の光線の反射点であり、光線を入射光線と反射光線とに分割し、ＰＳおよびＣＯＰは３Ｄロケーションによって特定される。本方法は、
ｘ軸、ｙ軸、およびｚ軸の第１の座標系においてカタディオプトリック系の構成を取得することであって、鏡はｚ軸の周りに回転対称である、取得することと、
回転行列Ｒを求めることと、
第１の座標系を、第２の座標系におけるＣＯＰのｘ座標がゼロになるように、該第２の座標系まで回転させることと、
第２の座標系において、１つの未知数の８次の順投影式（ＦＰＥ）を求めることであって、該未知数は反射点の座標であり、該ＦＰＥを求めることは、鏡の式、ＣＯＰと、ＰＳと、法線ｎの、対称軸との交点とによって規定される反射面を示す式、および反射法則を示す式に基づく、ＦＰＥを求めることと、
ＦＰＥに基づいて第２の座標系における反射点の３Ｄロケーションを求めることと、
回転行列の逆行列を用いて、反射点の３Ｄロケーションを第１の座標系にマッピングすることと、
を含む。
【００２２】
さらに別の実施の形態は、カタディオプトリック系であって、シーン内の点（ＰＳ）と、該カタディオプトリック系の投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションを求めるように構成され、ＰＳおよびＣＯＰは３Ｄロケーションによって特定され、該カタディオプトリック系は非中央式であり、
反射器であって、反射点は該反射器の表面上の光線の反射によって生じ、該表面は対称軸の周りに回転対称な２次曲面である、反射器と、
表面から或る距離に配置されたカメラであって、カタディオプトリック系のＣＯＰは該カメラのＣＯＰである、カメラと、
反射法則、反射器の式、およびＣＯＰと、ＰＳと、反射点における反射器に対する法線の、対称軸との交点とによって規定される反射面を示す式に基づいて反射点の３Ｄロケーションを求めるプロセッサと、
を備える、カタディオプトリック系を開示する。
【発明の効果】
【００２３】
この発明の実施の形態は、カタディオプトリック撮像の分野を理論的かつ実用的に進化させる。実施の形態は、多様な非中央カタディオプトリック系の順投影の解析式を提供する。この発明のいくつかの実施の形態は、カメラが鏡の対称軸外側に位置決めされているカタディオプトリック系において反射点を解析的に求めることを可能にする。
【図面の簡単な説明】
【００２４】
【図１】この発明の実施の形態１によるカタディオプトリック系の概略図である。
【図２】この発明のいくつかの実施の形態による反射点を求める方法のブロック図である。
【図３】この発明のいくつかの実施の形態によるカタディオプトリック系の座標系の回転の概略図である。
【図４】この発明の１つの実施の形態による反射点を求める方法のブロック図である。
【発明を実施するための形態】
【００２５】
方法およびシステムの概観
この発明の実施の形態は、シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションは、該カタディオプトリック系の３Ｄ構造を、ＣＯＰと、ＰＳと、反射点の法線の、カタディオプトリック系の反射器の対称軸との交点とによって規定される２次元（２Ｄ）平面上にマッピングすることを用いて解析的に求めることができるという認識に基づく。
【００２６】
そのような構成は、反射器の表面から或る距離に配置されたカメラを有する非中央カタディオプトリック系を含む。反射器の表面は２次曲面であり、対称軸の周りに回転対称である。重要なことには、いくつかの実施の形態の場合、カタディオプトリック系において用いられるカメラの投影中心（ＣＯＰ）の位置に制限がない。たとえば、ＣＯＰを対称軸の外側に配置することができる。
【００２７】
図１は、カタディオプトリック系１００の構成の一例を示している。カタディオプトリック系１００は非中央式であり、反射器の表面は、対称軸、たとえば軸１１０の周りに回転対称な２次曲面である。ＣＯＰ１２０は対称軸上に、または対称軸から離して位置決めされる。１つの実施の形態では、カメラはピンホールカメラである。
【００２８】
いくつかの実施の形態は、或るＰＳ、たとえばＰＳ１３０と、光学折り返し素子の或る表面、たとえば表面１０５の表面から或る距離に配置された或るカメラ、たとえばカメラ１２１を有するカタディオプトリック系の或るＣＯＰ、たとえばＣＯＰ１２０との間の光線の１つの反射点１６０の３次元（３Ｄ）ロケーションを求める。反射点は、表面からの光線の反射点であり、折り返し点が光線を入射光線１３１と反射光線１３２とに分割するようになっている。ＰＳおよびＣＯＰは３Ｄロケーションによって特定される。
【００２９】
この発明のいくつかの実施の形態は、ＣＯＰ１２０と、ＰＳ１３０と、反射点１６０の法線１３５の、対称軸ｚ１１０との交点とによって規定される反射面１４０を求める。
【００３０】
本明細書において、３Ｄ座標系のｚ軸は、対称軸、たとえば鏡の軸である。１つの実施の形態では反射器は球面鏡であり、対称軸は球面鏡の中心を通り、反射器の式は球面鏡の式である。
【００３１】
カタディオプトリック系の構成は、ｘ軸、ｙ軸、およびｚ軸を有するワールド座標系において取得することができる。この座標系において、ＣＯＰはＣＯＰ＝［ｃｘ，ｃｙ，ｃｚ］Ｔであり、ここで、Ｔは転置演算子であり、ＰＳはＰＳ＝［Ｘ，Ｙ，Ｚ］Ｔである。入射光線ｖｉはｖｉ＝Ｍ−ＣＯＰとして表され、ここで、Ｍは反射点を表し、法線ｎは反射点Ｍにおける鏡に対する法線を表し、反射光線ｖｒはｖｒ＝Ｐ−Ｍとして表される。２次曲面の回転対称の鏡は、
【数１】
にしたがって示すことができる。ここで、Ａ、Ｂ、Ｃは鏡の表面のパラメータである。
【００３２】
反射法則から、以下の制約を導出することができる。
（ａ）平面性：光線ｖｉ、ｖｒ、および法線ｎは同じ平面上に位置する。
（ｂ）角度制約：入射光線ｖｉと法線ｎとの間の角度は、反射光線ｖｒと法線ｎとの間の角度に等しい。
【００３３】
これらの２つの制約は、以下の反射式で表される。
【数２】
【００３４】
また、反射点Ｍは鏡の表面上にあり、このため、反射点の座標は鏡の式（１）を満たす。
【００３５】
図２は、この発明の実施の形態による方法のブロック図を示している。本方法は、カタディオプトリック系１００の取得された（１７０）構成１７５にしたがって、シーン内の点（ＰＳ）と、カタディオプトリック系１００のカメラの投影中心（ＣＯＰ）との間の光線の少なくとも１つの反射点の３次元（３Ｄ）ロケーション１９９を求める。様々な実施の形態において、構成１７５は、既存のカタディオプトリック系またはカタディオプトリック系のモデルの構成である。本方法のステップはプロセッサ１０１によって実行される。
【００３６】
反射面は第１の式１８６を用いて示される。第２の式は反射点における反射法則を用いて定義され、第３の式１８５は反射器の式を用いて定義される。第１の式、第２の式、および第３の式を用いて、１つの未知数の順投影式（ＦＰＥ）を求めて解く（１９０）。ここで、未知数は第１の座標１９１である。次に、第１の座標と、第１の式、第２の式、および第３の式とに基づいて、第１の座標、第２の座標、および第３の座標を含む３Ｄロケーション１９９を求めることができる（１９５）。
【００３７】
この発明の１つの実施の形態は、カタディオプトリック系の構成が第１の座標系において取得される場合、第１の座標系は、ＣＯＰの少なくとも１つの座標が第２の座標系における軸上にあるように第２の座標系まで回転させる（１７６）ことができるという別の認識に基づく。この実施の形態では、第１の式、第２の式、および第３の式は、第２の座標系において定義されて解かれ、それによって、反射点の３Ｄロケーションは該第２の座標系において求められ、その後、第１の座標系にマッピングして戻される。
【００３８】
図３は、例示の目的でのみ提供される、回転１７６の概略図を示している。鏡はｚ軸の周りに回転対称であるので、図３（右）に示すように、座標系全体を、ｚ軸の周りに回転させ、ＣＯＰをｙ軸上に位置決めすることができる。
【００３９】
いくつかの実施の形態は、
【数３】
にしたがって回転行列Ｒを求め、第１の座標系を、たとえば第２の座標系におけるＣＯＰのｘ座標がゼロになるように、第２の座標系まで回転させる。ここで、
【数４】
である。ＣＯＰ３２０の新たな座標は
【数５】
によって与えられ、ここで、演算子＊は乗算である。
【００４０】
ＣＯＰのｘ座標をゼロに設定することによって、後続の式、たとえばＦＰＥ式の次数が低減される。重要なことには、回転１７６はＰＳから独立している。回転後のＰＳ３３０の新たな座標は、ＰＳＲ＝Ｒ＊ＰＳ＝［ｕ，ｖ，ｓ］Ｔによって与えられる。いくつかの実施の形態は、第２の座標系におけるＣＯＰＲ３２０および交点３５０を用いて該第２の座標系における反射点ＭＲ３６０の３Ｄロケーションを求め、次に回転行列の逆行列Ｒ−１を用いて、反射点の３Ｄロケーションを第１の座標系にマッピングする。
【００４１】
図４は、１つの実施の形態による方法のフローチャートを示している。ステップ４１０は、ＣＯＰの少なくとも１つの座標が第２の座標系における軸上にあるように、第１の座標系を第２の座標系に回転させることを含む。ステップ４２０は、第１の式、第２の式、および第３の式に基づいて、１つの未知数の８次の順投影式（ＦＰＥ）を求めることであって、ここで、未知数は第２の座標系における反射点の３Ｄロケーションの第１の座標である、求めることと、ＦＰＥを解いて該第１の座標を求めることとを含む。
【００４２】
ステップ４３０は、第１の座標と、第１の式、第２の式、および第３の式とに基づいて、第２の座標系における反射点の３Ｄロケーションの第２の座標および第３の座標を求めて、第２の座標系における反射点の３Ｄロケーションを得ることを含む。最後に、ステップ４４０は、第２の座標系における反射点の３Ｄロケーションを第１の座標系にマッピングすることを含む。
【００４３】
反射面に基づいて第１の式を求める
第２の座標系における反射点はＭＲ＝［ｘ，ｙ，ｚ］Ｔである。反射平面πは、光線ｖｉ、ｖｒおよび法線ｎを含む。反射点ＭＲにおける法線は、鏡の式から以下のように求めることができる。
【数６】
【００４４】
鏡は、たとえばｚ軸の周りに回転対称であるので、法線は点Ｋ＝［０，０，ｚ−Ａｚ−Ｂ／２］Ｔにおいてｚ軸と交差する。この点は反射面上にも位置する。このため、反射面の式は、点Ｋ３５０、ＣＯＰＲ３２０、およびＰＳＲ３３０を用いて求めることができ、その結果、
【数７】
となる。ここで、
【数８】
である。
【００４５】
式（４）は、座標ｘおよびｙについて線形である。この式（４）を用いて、座標ｘは
【数９】
にしたがって、座標ｙおよびｚの観点で定義することができる。
【００４６】
鏡の式に座標ｘを代入することによって、
【数１０】
にしたがう第１の式ＩＥ１が得られる。
【００４７】
第１の式は座標ｙの２次式であるが、係数は座標ｚの関数である。この式は、反射面の、鏡との交線によって与えられる曲線Γ３１０を示している。この曲線上の反射点は、角度制約を満たさなくてはならない。後述するように、反射法則の式に基づいて求められた第２の式ＩＥ２も、座標ｙの２次式である。第１の式ＩＥ１と、第２の式ＩＥ２との間でｙを消去することによって、ｚの単一の８次式、すなわちＦＰＥを求めることができる。
【００４８】
反射法則に基づいて第２の式を求める
反射光線ｖｒはシーン内の点ＰＳＲを通過し、
【数１１】
が得られる。ここで、演算子×は外積である。入射光線ｖｉは
【数１２】
である。
【００４９】
反射光線ｖｒは、反射式（２）にｖｉおよびｎを代入することによって求めることもできる。次に、式（７）に、反射光線ｖｒ、並びにＰＳＲおよびＭＲの値を代入することによって、以下の３つの式（外積が３Ｄであるため）が得られる。
【数１３】
【００５０】
多項式ｋ３１、ｋ３２、ｋ３３は
【数１４】
にしたがって求められる。
【００５１】
３つの式（９）は独立しておらず、このため、これらの式のいずれも第２の式として選択することができる。たとえば、１つの実施の形態は、式Ｅ３がｘから独立しているので、式Ｅ３を選択する。
【００５２】
順投影式
順投影式（ＦＰＥ）は、たとえば第１の式および第２の式からｙを消去して１つのみの未知数、たとえば（ｚ）のみの単一の式を得ることによって求めることができる。たとえば、１つの実施の形態は、第１の式および第２の式を以下のように書き換える。
【数１５】
ここで、ｋ４１（ｚ）＝ｃ１２（ｚ）＋ｃ２２（ｚ）、ｋ４２（ｚ）＝２ｃ２（ｚ）ｃ３（ｚ）、およびｋ４３（ｚ）＝ｃ３２（ｚ）＋ｃ１２（ｚ）（Ａｚ２＋Ｂｚ−Ｃ）である。
【００５３】
ｙ２を消去することによって、以下が得られる。
【数１６】
【００５４】
次に、第１の式および第２の式にｙを代入することによって、
【数１７】
にしたがってＦＰＥが得られる。ここで、ｋ４１（ｚ）＝ｃ１２（ｚ）＋ｃ２２（ｚ）、ｋ４２（ｚ）＝２ｃ２２（ｚ）ｃ３２（ｚ）、およびｋ４３（ｚ）＝ｃ３２（ｚ）＋ｃ１２（ｚ）（Ａｚ２＋Ｂｚ−Ｃ）＝０はｚの多項式である。
【００５５】
この実施の形態によれば、ＦＰＥはｚの８次多項式である。ＦＰＥの係数は既知の鏡パラメータ（Ａ，Ｂ，Ｃ）、ＣＯＰＲの既知のロケーション（０，ｄｙ，ｄｚ）、およびＰＳＲの既知のロケーション（ｕ，ｖ，ｗ）に依拠する。回転１７６が実行されない場合、ＦＰＥは１２次多項式である。
【００５６】
表１は、様々な鏡の形状およびカメラの配置についてのＦＰＥの次数を列挙している。符号「−」は、その特定の鏡および該鏡の対称軸上に配置されたカメラを用いて中央構成を達成するのが実際的でない場合があることを示している。
【００５７】
【表１】
【００５８】
一般的な２次曲面および軸外カメラ配置の場合、ＦＰＥは次数８を有する。放物面鏡（Ａ＝０、Ｃ＝０）の場合、次数は７に低減する。外側を研磨された円筒形鏡（Ａ＝０、Ｂ＝０、Ｃ＞０）の場合において、軸外カメラ配置のとき、次数は４に低減する。円筒形鏡を用いた軸上カメラ構成は、鏡が内側を研磨されているときに実際的であり、これによって、ＦＰＥ式の次数が２に低減する。パラメータＡ≠０の場合、鏡をｚ軸に沿ってシフトすることによってパラメータＢをゼロに設定することができる。表１は、円錐形鏡（Ｃ＝０、Ａ＜０）、双曲線形鏡（Ａ＜０、Ｃ＜０）、および楕円形鏡（Ａ＞０、Ｃ＞０）の場合のＦＰＥの次数も示している。
【００５９】
順投影式の適用
いくつかの実施の形態は、バンドル調整アルゴリズムを用いてシーン内の３Ｄ点およびカタディオプトリック系のパラメータを同時に求めるために順投影式を用いる。シーン内の３Ｄ点を求めることは、スパースな３Ｄ再構成に対応するのに対し、カタディオプトリック系のパラメータを求めることは、系の較正に対応する。
【００６０】
１つの実施の形態では、カタディオプトリック系は、複数の放物面鏡を撮像する単一の透視投影カメラを備える。カメラの内部パラメータはオフラインで別個に計算され、鏡の形状のパラメータは既知である。初期解から始めて誤差を最小にすることによってバンドル調整を実行することができる。カメラに対する鏡の初期姿勢は、取得された画像内の鏡の境界に基づいて取得することができる。３Ｄ点の初期ロケーションは、複数の鏡に対応するそれぞれの後方投影光線の最短横断線の中心として取得することができる。順投影は、誤差を、バンドル調整における各反復での再投影誤差の和として計算する必要がある。このため、解析順投影式は、反復順投影を用いた既存の手法と比較してバンドル調整の処理時間を大幅に低減する。
【００６１】
いくつかの実施の形態は、対応する画像点が、スケール不変の特徴変換（ＳＩＦＴ）等の特徴マッチングアルゴリズムを用いて推定され、異常値および誤一致を常に含むことを考慮する。これらの実施の形態は、異常値除去とともにバンドル調整を反復することによって、スパースな３Ｄ再構成と較正とを同時に実行する。各バンドル調整ステップの後、再投影誤差が平均再投影誤差の２倍より大きい３Ｄ点が除去される。順投影式に起因して、異常値除去は効率的に複数回繰り返すことができる。
【００６２】
別の実施の形態は、順投影式を、シーンの密な深さマップを再構成するのに用いる。密な深さマップは、複数の鏡を介してシーン内の密な３Ｄロケーションを画像に投影し、対応する画像ピクセルの中で、色濃度コスト、たとえば色の差分２乗和（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅ）を計算することによって再構成することができる。順投影式は、密な深さ再構成プロセスが効率的に実行されることを可能にする。
【技術分野】
【０００１】
この発明は、包括的にはカタディオプトリック光学系に関し、より詳細には、非中央カタディオプトリック光学系において投影を求めることに関する。
【背景技術】
【０００２】
カタディオプトリック光学系は、通常はレンズ（屈折光学）と曲面鏡（反射光学）とにより屈折原理と反射原理とを組み合わせる。カタディオプトリック系は、広い視野（ＦＯＶ）の撮像を可能にするカメラの撮像用反射器または屈折器を含む。カタディオプトリック系は、パノラマ撮像および可視化、広角再構成、監視、並びに携帯ロボットおよびカーナビゲーションを含む幅広い用途に用いられてきた。カタディオプトリック系には、中央式（ｃｅｎｔｒａｌ）と非中央式（ｎｏｎ−ｃｅｎｔｒａｌ）とがあり得る。
【０００３】
中央カタディオプトリック系
中央カタディオプトリック系は、単一の有効視点を可能にするように配置された単一のカメラ−鏡の対を用いる。すなわち、カメラセンサによって取得された画像を形成する全ての光線は、１点で交わる。中央カタディオプトリック系の例には、双曲面鏡または楕円面鏡の焦点のうちの１つに配置された透視投影カメラと、放物面鏡の軸上に配置された正投影カメラとが含まれる。
【０００４】
非中央カタディオプトリック系
非中央カタディオプトリック系は、コンピュータビジョン用途で広く用いられている。非中央カタディオプトリック系の例には、球面鏡の外側に配置された透視投影カメラと、カメラが双曲面鏡または楕円面鏡の焦点に配置されない構成とが含まれる。中央カタディオプトリック系と対照的に、非中央カタディオプトリック系では、光線は１点で交わらない。その代わりに、光線は線に沿って交わる場合もあるし、円またはより複雑な形状に接する場合もある。
【０００５】
多くの用途において、非中央カタディオプトリック系をモデル化することが重要であり、非中央カタディオプトリック系は、シーン内の点（ＰＳ）の、カタディオプトリック系のカメラの投影中心（ＣＯＰ）に対する３次元（３Ｄ）投影を求めることを必要とする。非中央カタディオプトリック系は、有効な投影中心を持たない。ＣＯＰは、カタディオプトリック系において用いられる物理的な透視投影カメラの投影中心を指す。
【０００６】
この投影は、３次元（３Ｄ）のＰＳをカタディオプトリック系のカメラの像面の２次元（２Ｄ）の画素にマッピングする。
【０００７】
たとえば、カタディオプトリック系が鏡等の反射器を含む場合、ＰＳをカメラの像面に投影するには、鏡面反射を介したＰＳからＣＯＰまでの光線の経路を計算する必要がある。したがって、鏡の表面の反射点を求める必要がある。同様に、カタディオプトリック系が屈折器、たとえば屈折率球体を含む場合、投影をモデル化するには、２つの屈折点を求める必要がある。
【０００８】
中央カタディオプトリック系の投影の解析解は知られている。しかし、カメラが反射器または屈折器に対して任意の位置に配置されているときに、一般的な非中央カタディオプトリック系の投影の解析解はない。
【０００９】
いくつかの従来の方法が、非中央カタディオプトリック系を、投影の解析解を可能にする中央カタディオプトリック系として近似している。しかし、これらの方法は、歪んだ３Ｄ推定値等、不正確なものとなる。
【００１０】
代替的な方法は、中央の近似を用いて反射点または屈折点を初期化することにより反復による非線形最適化を用いる。しかし、これらの方法は、時間がかかり、不適切な初期化により不正確な解となる。さらに別の方法は、一般的な線形カメラ表現を用いて、解析投影を可能にするアフィンモデルにより非中央カタディオプトリックカメラを局所的に近似するが、この方法も近似を導入する。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
したがって、非中央カタディオプトリック系の投影の解析解を提供することが望ましい。また、ＰＳから非中央カタディオプトリック系のＣＯＰへの光線の少なくとも１つの反射点の３次元（３Ｄ）ロケーションを解析的に求めることが望ましい。
【００１２】
この発明の目的は、非中央カタディオプトリック系の投影を解析的に求める方法を提供することである。
【００１３】
この発明の更なる目的は、シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点を求める方法を提供することである。
【００１４】
この発明の更なる目的は、ＣＯＰが反射器の対称軸の外側に配置されているカタディオプトリック系の反射点を求める方法を提供することである。
【課題を解決するための手段】
【００１５】
この発明のいくつかの実施の形態は、ＣＯＰと、ＰＳと、反射点の法線の、反射器の対称軸との交点とによって規定される反射面を用いて、解析式を導出することができるという認識に基づいている。解析式を、反射法則および反射器の式と併せて用いて、反射点のロケーションを求めることができる。
【００１６】
１つの実施の形態は、カタディオプトリック系の反射器が回転対称である場合、座標系全体を回転して、ＣＯＰを少なくとも１つの軸上に位置決めすることができるという別の認識に基づいている。これを実現することによって、実施の形態が１つの未知数の順投影式（ＦＰＥ）の次数を低減することが可能となり、ここで、未知数は反射点の座標である。たとえば、１つの実施の形態は８次のＦＰＥを求めて解く。
【００１７】
したがって、この発明の１つの実施の形態は、シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションを求める方法であって、カタディオプトリック系は非中央式であり、カメラおよび反射器を含み、該反射器の表面は対称軸の周りに回転対称な２次曲面であり、反射点は、表面上の光線の反射点であり、カタディオプトリック系の構成は、３Ｄロケーションによって特定されるＰＳおよびＣＯＰを含む。本方法は、
ＣＯＰと、ＰＳと、反射点の法線の、対称軸との交点によって規定された反射面を示す第１の式を求めることと、
反射点において反射法則に基づいて第２の式を求めることと、
反射器の式として第３の式を求めることと、
第１の式、第２の式、および第３の式を解くことであって、反射点の３Ｄロケーションを求める、解くことと、
を含み、該方法のステップはプロセッサによって実行される。
【００１８】
本方法は、任意選択で、以下のうちの１つまたは複数を含むことができる。たとえば、カタディオプトリック系の構成は第１の座標系において取得することができ、本方法は、第１の座標系を、ＣＯＰの少なくとも１つの座標が第２の座標系における軸上にあるように、対称軸の周りに第２の座標系まで回転させることと、反射点の３Ｄロケーションを第１の座標系にマッピングすることとを含むことができる。
【００１９】
たとえば、１つの変形形態は、第１の式、第２の式、および第３の式に基づいて、１つの未知数の８次の順投影式（ＦＰＥ）を構成することであって、該未知数は、第２の座標系における反射点の３Ｄロケーションの第１の座標である、構成することと、
ＦＰＥを解くことであって、第１の座標を求める、解くことと、
第１の座標と、第１の式、第２の式、および第３の式とに基づいて、第２の座標系における反射点の３Ｄロケーションの第２の座標および第３の座標を求めることであって、第２の座標系における反射点の３Ｄロケーションを得る、求めることと、
反射点の３Ｄロケーションを第１の座標系にマッピングすることと、
をさらに含むことができる。
【００２０】
様々な実施の形態は、反射点の３Ｄロケーションを用いて、カメラに対する反射器の姿勢を、バンドル調整を用いて求め、シーン内のスパースな３Ｄ点を求め、かつ／またはシーンの密な深さマップを求めることができる。
【００２１】
別の実施の形態は、シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点Ｍの３次元（３Ｄ）ロケーションを求める方法であって、カタディオプトリック系は非中央式であり、カメラおよび鏡を含み、該鏡の表面は対称軸の周りに回転対称な２次曲面であり、反射点は、表面上の光線の反射点であり、光線を入射光線と反射光線とに分割し、ＰＳおよびＣＯＰは３Ｄロケーションによって特定される。本方法は、
ｘ軸、ｙ軸、およびｚ軸の第１の座標系においてカタディオプトリック系の構成を取得することであって、鏡はｚ軸の周りに回転対称である、取得することと、
回転行列Ｒを求めることと、
第１の座標系を、第２の座標系におけるＣＯＰのｘ座標がゼロになるように、該第２の座標系まで回転させることと、
第２の座標系において、１つの未知数の８次の順投影式（ＦＰＥ）を求めることであって、該未知数は反射点の座標であり、該ＦＰＥを求めることは、鏡の式、ＣＯＰと、ＰＳと、法線ｎの、対称軸との交点とによって規定される反射面を示す式、および反射法則を示す式に基づく、ＦＰＥを求めることと、
ＦＰＥに基づいて第２の座標系における反射点の３Ｄロケーションを求めることと、
回転行列の逆行列を用いて、反射点の３Ｄロケーションを第１の座標系にマッピングすることと、
を含む。
【００２２】
さらに別の実施の形態は、カタディオプトリック系であって、シーン内の点（ＰＳ）と、該カタディオプトリック系の投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションを求めるように構成され、ＰＳおよびＣＯＰは３Ｄロケーションによって特定され、該カタディオプトリック系は非中央式であり、
反射器であって、反射点は該反射器の表面上の光線の反射によって生じ、該表面は対称軸の周りに回転対称な２次曲面である、反射器と、
表面から或る距離に配置されたカメラであって、カタディオプトリック系のＣＯＰは該カメラのＣＯＰである、カメラと、
反射法則、反射器の式、およびＣＯＰと、ＰＳと、反射点における反射器に対する法線の、対称軸との交点とによって規定される反射面を示す式に基づいて反射点の３Ｄロケーションを求めるプロセッサと、
を備える、カタディオプトリック系を開示する。
【発明の効果】
【００２３】
この発明の実施の形態は、カタディオプトリック撮像の分野を理論的かつ実用的に進化させる。実施の形態は、多様な非中央カタディオプトリック系の順投影の解析式を提供する。この発明のいくつかの実施の形態は、カメラが鏡の対称軸外側に位置決めされているカタディオプトリック系において反射点を解析的に求めることを可能にする。
【図面の簡単な説明】
【００２４】
【図１】この発明の実施の形態１によるカタディオプトリック系の概略図である。
【図２】この発明のいくつかの実施の形態による反射点を求める方法のブロック図である。
【図３】この発明のいくつかの実施の形態によるカタディオプトリック系の座標系の回転の概略図である。
【図４】この発明の１つの実施の形態による反射点を求める方法のブロック図である。
【発明を実施するための形態】
【００２５】
方法およびシステムの概観
この発明の実施の形態は、シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションは、該カタディオプトリック系の３Ｄ構造を、ＣＯＰと、ＰＳと、反射点の法線の、カタディオプトリック系の反射器の対称軸との交点とによって規定される２次元（２Ｄ）平面上にマッピングすることを用いて解析的に求めることができるという認識に基づく。
【００２６】
そのような構成は、反射器の表面から或る距離に配置されたカメラを有する非中央カタディオプトリック系を含む。反射器の表面は２次曲面であり、対称軸の周りに回転対称である。重要なことには、いくつかの実施の形態の場合、カタディオプトリック系において用いられるカメラの投影中心（ＣＯＰ）の位置に制限がない。たとえば、ＣＯＰを対称軸の外側に配置することができる。
【００２７】
図１は、カタディオプトリック系１００の構成の一例を示している。カタディオプトリック系１００は非中央式であり、反射器の表面は、対称軸、たとえば軸１１０の周りに回転対称な２次曲面である。ＣＯＰ１２０は対称軸上に、または対称軸から離して位置決めされる。１つの実施の形態では、カメラはピンホールカメラである。
【００２８】
いくつかの実施の形態は、或るＰＳ、たとえばＰＳ１３０と、光学折り返し素子の或る表面、たとえば表面１０５の表面から或る距離に配置された或るカメラ、たとえばカメラ１２１を有するカタディオプトリック系の或るＣＯＰ、たとえばＣＯＰ１２０との間の光線の１つの反射点１６０の３次元（３Ｄ）ロケーションを求める。反射点は、表面からの光線の反射点であり、折り返し点が光線を入射光線１３１と反射光線１３２とに分割するようになっている。ＰＳおよびＣＯＰは３Ｄロケーションによって特定される。
【００２９】
この発明のいくつかの実施の形態は、ＣＯＰ１２０と、ＰＳ１３０と、反射点１６０の法線１３５の、対称軸ｚ１１０との交点とによって規定される反射面１４０を求める。
【００３０】
本明細書において、３Ｄ座標系のｚ軸は、対称軸、たとえば鏡の軸である。１つの実施の形態では反射器は球面鏡であり、対称軸は球面鏡の中心を通り、反射器の式は球面鏡の式である。
【００３１】
カタディオプトリック系の構成は、ｘ軸、ｙ軸、およびｚ軸を有するワールド座標系において取得することができる。この座標系において、ＣＯＰはＣＯＰ＝［ｃｘ，ｃｙ，ｃｚ］Ｔであり、ここで、Ｔは転置演算子であり、ＰＳはＰＳ＝［Ｘ，Ｙ，Ｚ］Ｔである。入射光線ｖｉはｖｉ＝Ｍ−ＣＯＰとして表され、ここで、Ｍは反射点を表し、法線ｎは反射点Ｍにおける鏡に対する法線を表し、反射光線ｖｒはｖｒ＝Ｐ−Ｍとして表される。２次曲面の回転対称の鏡は、
【数１】
にしたがって示すことができる。ここで、Ａ、Ｂ、Ｃは鏡の表面のパラメータである。
【００３２】
反射法則から、以下の制約を導出することができる。
（ａ）平面性：光線ｖｉ、ｖｒ、および法線ｎは同じ平面上に位置する。
（ｂ）角度制約：入射光線ｖｉと法線ｎとの間の角度は、反射光線ｖｒと法線ｎとの間の角度に等しい。
【００３３】
これらの２つの制約は、以下の反射式で表される。
【数２】
【００３４】
また、反射点Ｍは鏡の表面上にあり、このため、反射点の座標は鏡の式（１）を満たす。
【００３５】
図２は、この発明の実施の形態による方法のブロック図を示している。本方法は、カタディオプトリック系１００の取得された（１７０）構成１７５にしたがって、シーン内の点（ＰＳ）と、カタディオプトリック系１００のカメラの投影中心（ＣＯＰ）との間の光線の少なくとも１つの反射点の３次元（３Ｄ）ロケーション１９９を求める。様々な実施の形態において、構成１７５は、既存のカタディオプトリック系またはカタディオプトリック系のモデルの構成である。本方法のステップはプロセッサ１０１によって実行される。
【００３６】
反射面は第１の式１８６を用いて示される。第２の式は反射点における反射法則を用いて定義され、第３の式１８５は反射器の式を用いて定義される。第１の式、第２の式、および第３の式を用いて、１つの未知数の順投影式（ＦＰＥ）を求めて解く（１９０）。ここで、未知数は第１の座標１９１である。次に、第１の座標と、第１の式、第２の式、および第３の式とに基づいて、第１の座標、第２の座標、および第３の座標を含む３Ｄロケーション１９９を求めることができる（１９５）。
【００３７】
この発明の１つの実施の形態は、カタディオプトリック系の構成が第１の座標系において取得される場合、第１の座標系は、ＣＯＰの少なくとも１つの座標が第２の座標系における軸上にあるように第２の座標系まで回転させる（１７６）ことができるという別の認識に基づく。この実施の形態では、第１の式、第２の式、および第３の式は、第２の座標系において定義されて解かれ、それによって、反射点の３Ｄロケーションは該第２の座標系において求められ、その後、第１の座標系にマッピングして戻される。
【００３８】
図３は、例示の目的でのみ提供される、回転１７６の概略図を示している。鏡はｚ軸の周りに回転対称であるので、図３（右）に示すように、座標系全体を、ｚ軸の周りに回転させ、ＣＯＰをｙ軸上に位置決めすることができる。
【００３９】
いくつかの実施の形態は、
【数３】
にしたがって回転行列Ｒを求め、第１の座標系を、たとえば第２の座標系におけるＣＯＰのｘ座標がゼロになるように、第２の座標系まで回転させる。ここで、
【数４】
である。ＣＯＰ３２０の新たな座標は
【数５】
によって与えられ、ここで、演算子＊は乗算である。
【００４０】
ＣＯＰのｘ座標をゼロに設定することによって、後続の式、たとえばＦＰＥ式の次数が低減される。重要なことには、回転１７６はＰＳから独立している。回転後のＰＳ３３０の新たな座標は、ＰＳＲ＝Ｒ＊ＰＳ＝［ｕ，ｖ，ｓ］Ｔによって与えられる。いくつかの実施の形態は、第２の座標系におけるＣＯＰＲ３２０および交点３５０を用いて該第２の座標系における反射点ＭＲ３６０の３Ｄロケーションを求め、次に回転行列の逆行列Ｒ−１を用いて、反射点の３Ｄロケーションを第１の座標系にマッピングする。
【００４１】
図４は、１つの実施の形態による方法のフローチャートを示している。ステップ４１０は、ＣＯＰの少なくとも１つの座標が第２の座標系における軸上にあるように、第１の座標系を第２の座標系に回転させることを含む。ステップ４２０は、第１の式、第２の式、および第３の式に基づいて、１つの未知数の８次の順投影式（ＦＰＥ）を求めることであって、ここで、未知数は第２の座標系における反射点の３Ｄロケーションの第１の座標である、求めることと、ＦＰＥを解いて該第１の座標を求めることとを含む。
【００４２】
ステップ４３０は、第１の座標と、第１の式、第２の式、および第３の式とに基づいて、第２の座標系における反射点の３Ｄロケーションの第２の座標および第３の座標を求めて、第２の座標系における反射点の３Ｄロケーションを得ることを含む。最後に、ステップ４４０は、第２の座標系における反射点の３Ｄロケーションを第１の座標系にマッピングすることを含む。
【００４３】
反射面に基づいて第１の式を求める
第２の座標系における反射点はＭＲ＝［ｘ，ｙ，ｚ］Ｔである。反射平面πは、光線ｖｉ、ｖｒおよび法線ｎを含む。反射点ＭＲにおける法線は、鏡の式から以下のように求めることができる。
【数６】
【００４４】
鏡は、たとえばｚ軸の周りに回転対称であるので、法線は点Ｋ＝［０，０，ｚ−Ａｚ−Ｂ／２］Ｔにおいてｚ軸と交差する。この点は反射面上にも位置する。このため、反射面の式は、点Ｋ３５０、ＣＯＰＲ３２０、およびＰＳＲ３３０を用いて求めることができ、その結果、
【数７】
となる。ここで、
【数８】
である。
【００４５】
式（４）は、座標ｘおよびｙについて線形である。この式（４）を用いて、座標ｘは
【数９】
にしたがって、座標ｙおよびｚの観点で定義することができる。
【００４６】
鏡の式に座標ｘを代入することによって、
【数１０】
にしたがう第１の式ＩＥ１が得られる。
【００４７】
第１の式は座標ｙの２次式であるが、係数は座標ｚの関数である。この式は、反射面の、鏡との交線によって与えられる曲線Γ３１０を示している。この曲線上の反射点は、角度制約を満たさなくてはならない。後述するように、反射法則の式に基づいて求められた第２の式ＩＥ２も、座標ｙの２次式である。第１の式ＩＥ１と、第２の式ＩＥ２との間でｙを消去することによって、ｚの単一の８次式、すなわちＦＰＥを求めることができる。
【００４８】
反射法則に基づいて第２の式を求める
反射光線ｖｒはシーン内の点ＰＳＲを通過し、
【数１１】
が得られる。ここで、演算子×は外積である。入射光線ｖｉは
【数１２】
である。
【００４９】
反射光線ｖｒは、反射式（２）にｖｉおよびｎを代入することによって求めることもできる。次に、式（７）に、反射光線ｖｒ、並びにＰＳＲおよびＭＲの値を代入することによって、以下の３つの式（外積が３Ｄであるため）が得られる。
【数１３】
【００５０】
多項式ｋ３１、ｋ３２、ｋ３３は
【数１４】
にしたがって求められる。
【００５１】
３つの式（９）は独立しておらず、このため、これらの式のいずれも第２の式として選択することができる。たとえば、１つの実施の形態は、式Ｅ３がｘから独立しているので、式Ｅ３を選択する。
【００５２】
順投影式
順投影式（ＦＰＥ）は、たとえば第１の式および第２の式からｙを消去して１つのみの未知数、たとえば（ｚ）のみの単一の式を得ることによって求めることができる。たとえば、１つの実施の形態は、第１の式および第２の式を以下のように書き換える。
【数１５】
ここで、ｋ４１（ｚ）＝ｃ１２（ｚ）＋ｃ２２（ｚ）、ｋ４２（ｚ）＝２ｃ２（ｚ）ｃ３（ｚ）、およびｋ４３（ｚ）＝ｃ３２（ｚ）＋ｃ１２（ｚ）（Ａｚ２＋Ｂｚ−Ｃ）である。
【００５３】
ｙ２を消去することによって、以下が得られる。
【数１６】
【００５４】
次に、第１の式および第２の式にｙを代入することによって、
【数１７】
にしたがってＦＰＥが得られる。ここで、ｋ４１（ｚ）＝ｃ１２（ｚ）＋ｃ２２（ｚ）、ｋ４２（ｚ）＝２ｃ２２（ｚ）ｃ３２（ｚ）、およびｋ４３（ｚ）＝ｃ３２（ｚ）＋ｃ１２（ｚ）（Ａｚ２＋Ｂｚ−Ｃ）＝０はｚの多項式である。
【００５５】
この実施の形態によれば、ＦＰＥはｚの８次多項式である。ＦＰＥの係数は既知の鏡パラメータ（Ａ，Ｂ，Ｃ）、ＣＯＰＲの既知のロケーション（０，ｄｙ，ｄｚ）、およびＰＳＲの既知のロケーション（ｕ，ｖ，ｗ）に依拠する。回転１７６が実行されない場合、ＦＰＥは１２次多項式である。
【００５６】
表１は、様々な鏡の形状およびカメラの配置についてのＦＰＥの次数を列挙している。符号「−」は、その特定の鏡および該鏡の対称軸上に配置されたカメラを用いて中央構成を達成するのが実際的でない場合があることを示している。
【００５７】
【表１】
【００５８】
一般的な２次曲面および軸外カメラ配置の場合、ＦＰＥは次数８を有する。放物面鏡（Ａ＝０、Ｃ＝０）の場合、次数は７に低減する。外側を研磨された円筒形鏡（Ａ＝０、Ｂ＝０、Ｃ＞０）の場合において、軸外カメラ配置のとき、次数は４に低減する。円筒形鏡を用いた軸上カメラ構成は、鏡が内側を研磨されているときに実際的であり、これによって、ＦＰＥ式の次数が２に低減する。パラメータＡ≠０の場合、鏡をｚ軸に沿ってシフトすることによってパラメータＢをゼロに設定することができる。表１は、円錐形鏡（Ｃ＝０、Ａ＜０）、双曲線形鏡（Ａ＜０、Ｃ＜０）、および楕円形鏡（Ａ＞０、Ｃ＞０）の場合のＦＰＥの次数も示している。
【００５９】
順投影式の適用
いくつかの実施の形態は、バンドル調整アルゴリズムを用いてシーン内の３Ｄ点およびカタディオプトリック系のパラメータを同時に求めるために順投影式を用いる。シーン内の３Ｄ点を求めることは、スパースな３Ｄ再構成に対応するのに対し、カタディオプトリック系のパラメータを求めることは、系の較正に対応する。
【００６０】
１つの実施の形態では、カタディオプトリック系は、複数の放物面鏡を撮像する単一の透視投影カメラを備える。カメラの内部パラメータはオフラインで別個に計算され、鏡の形状のパラメータは既知である。初期解から始めて誤差を最小にすることによってバンドル調整を実行することができる。カメラに対する鏡の初期姿勢は、取得された画像内の鏡の境界に基づいて取得することができる。３Ｄ点の初期ロケーションは、複数の鏡に対応するそれぞれの後方投影光線の最短横断線の中心として取得することができる。順投影は、誤差を、バンドル調整における各反復での再投影誤差の和として計算する必要がある。このため、解析順投影式は、反復順投影を用いた既存の手法と比較してバンドル調整の処理時間を大幅に低減する。
【００６１】
いくつかの実施の形態は、対応する画像点が、スケール不変の特徴変換（ＳＩＦＴ）等の特徴マッチングアルゴリズムを用いて推定され、異常値および誤一致を常に含むことを考慮する。これらの実施の形態は、異常値除去とともにバンドル調整を反復することによって、スパースな３Ｄ再構成と較正とを同時に実行する。各バンドル調整ステップの後、再投影誤差が平均再投影誤差の２倍より大きい３Ｄ点が除去される。順投影式に起因して、異常値除去は効率的に複数回繰り返すことができる。
【００６２】
別の実施の形態は、順投影式を、シーンの密な深さマップを再構成するのに用いる。密な深さマップは、複数の鏡を介してシーン内の密な３Ｄロケーションを画像に投影し、対応する画像ピクセルの中で、色濃度コスト、たとえば色の差分２乗和（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅ）を計算することによって再構成することができる。順投影式は、密な深さ再構成プロセスが効率的に実行されることを可能にする。
【特許請求の範囲】
【請求項１】
シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションを求める方法であって、前記カタディオプトリック系は非中央式であり、前記カメラおよび反射器を含み、該反射器の表面は対称軸の周りに回転対称な２次曲面であり、前記反射点は、前記表面上の前記光線の反射点であり、前記カタディオプトリック系の構成は、３Ｄロケーションによって特定される前記ＰＳおよび前記ＣＯＰを含み、該方法は、
前記ＣＯＰと、前記ＰＳと、前記反射点の法線の、前記対称軸との交点によって規定された反射面を示す第１の式を求めるステップと、
前記反射点において反射法則に基づいて第２の式を求めるステップと、
前記反射器の式として第３の式を求めるステップと、
前記第１の式、前記第２の式、および前記第３の式を解き、前記反射点の３Ｄロケーションを求める、解くステップと、
を含み、該方法の前記ステップはプロセッサによって実行される、シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションを求める方法。
【請求項２】
前記反射点の前記３Ｄロケーションは、第１の座標、第２の座標、および第３の座標を含み、前記方法は、
前記第１の式、前記第２の式、および前記第３の式から、１つの未知数の順投影式（ＦＰＥ）を構成するステップであって、ここで、該未知数は前記第１の座標である、構成するステップと、
前記ＦＰＥを解いて前記第１の座標を求める、解くステップと、
前記第１の座標と、前記第１の式、前記第２の式、および前記第３の式とに基づいて前記第２の座標および前記第３の座標を求めるステップと、
をさらに含む、請求項１に記載の方法。
【請求項３】
前記ＦＰＥは８次式である、請求項２に記載の方法。
【請求項４】
前記反射器は球面鏡であり、前記対称軸は該球面鏡の中心を通り、前記反射器の前記式は前記球面鏡の式である、請求項１に記載の方法。
【請求項５】
前記カタディオプトリック系の前記構成は第１の座標系において取得され、前記方法は、
前記第１の座標系を、前記ＣＯＰの少なくとも１つの座標が第２の座標系における軸上にあるように、前記対称軸の周りに前記第２の座標系まで回転させるステップ、
をさらに含む、請求項１に記載の方法。
【請求項６】
前記第１の式、前記第２の式、および前記第３の式は、前記第２の座標系において、前記反射点の前記３Ｄロケーションが該第２の座標系内で求められるように定義され、解かれ、前記方法は、
前記反射点の前記３Ｄロケーションを前記第１の座標系にマッピングするステップをさらに含む、請求項５に記載の方法。
【請求項７】
前記第１の式、前記第２の式、および前記第３の式に基づいて、１つの未知数の８次の順投影式（ＦＰＥ）を構成するステップであって、該未知数は、前記第２の座標系における前記反射点の前記３Ｄロケーションの第１の座標である、構成するステップと、
前記ＦＰＥを解いて前記第１の座標を求める、解くステップと、
前記第１の座標と、前記第１の式、前記第２の式、および前記第３の式とに基づいて、前記第２の座標系における前記反射点の前記３Ｄロケーションの第２の座標および第３の座標を求め、前記第２の座標系における前記反射点の前記３Ｄロケーションを得る、求めるステップと、
前記反射点の前記３Ｄロケーションを前記第１の座標系にマッピングするステップと、
をさらに含む、請求項５に記載の方法。
【請求項８】
前記反射点の前記３Ｄロケーションを用いて、前記カメラに対する前記反射器の姿勢を、バンドル調整を用いて求めるステップ、
をさらに含む、請求項１に記載の方法。
【請求項９】
前記反射点の前記３Ｄロケーションを用いて、シーン内のスパースな３Ｄ点を求めるステップ、
をさらに含む、請求項１に記載の方法。
【請求項１０】
前記反射点の前記前記３Ｄロケーションを用いて、シーンの密な深さマップを求めるステップ、
をさらに含む、請求項１に記載の方法。
【請求項１１】
シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点Ｍの３次元（３Ｄ）ロケーションを求める方法であって、前記カタディオプトリック系は非中央式であり、前記カメラおよび鏡を含み、該鏡の表面は対称軸の周りに回転対称な２次曲面であり、前記反射点は、前記表面上の前記光線の反射点であり、前記光線を入射光線と反射光線とに分割し、前記ＰＳおよび前記ＣＯＰは３Ｄロケーションによって特定され、該方法は、
ｘ軸、ｙ軸、およびｚ軸の第１の座標系において前記カタディオプトリック系の構成を取得するステップであって、前記鏡はｚ軸の周りに回転対称であり、前記ＣＯＰはＣＯＰ＝［ｃｘ，ｃｙ，ｃｚ］Ｔであり、ここで、Ｔは転置演算子であり、ＰＳはＰＳ＝［Ｘ，Ｙ，Ｚ］Ｔであり、前記入射光線ｖｉはｖｉ＝Ｍ−ＣＯＰであり、法線ｎは前記反射点Ｍにおける前記鏡に対する法線であり、前記反射光線ｖｒはｖｒ＝Ｐ−Ｍである、取得するステップと、
【数１】
にしたがって回転行列Ｒを求めるステップであって、ここで、
【数２】
である、回転行列Ｒを求めるステップと、
【数３】
にしたがって、前記第１の座標系を、第２の座標系における前記ＣＯＰのｘ座標がゼロになるように、該第２の座標系まで回転させるステップであって、ここで、演算子＊は乗算である、回転させるステップと、
前記第２の座標系において、１つの未知数の８次の順投影式（ＦＰＥ）を求めるステップであって、該未知数は前記反射点の座標であり、該ＦＰＥを求めるステップは、前記鏡の式、前記ＣＯＰと、前記ＰＳと、前記法線ｎの、前記対称軸との交点とによって規定される反射面を示す式、および反射法則を示す式に基づく、ＦＰＥを求めるステップと、
前記ＦＰＥに基づいて前記第２の座標系における前記反射点の前記３Ｄロケーションを求めるステップと、
前記回転行列の逆行列Ｒ−１を用いて、前記反射点の前記３Ｄロケーションを前記第１の座標系にマッピングするステップと、
を含む、シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションを求める方法。
【請求項１２】
【数４】
にしたがって、第３の式を前記鏡の式として求めるステップであって、ここで、Ａ、Ｂ、およびＣは前記鏡の前記表面のパラメータである、第３の式を求めるステップと、
【数５】
にしたがって、前記反射面を示す第１の式を求めるステップであって、ここで、ｚおよびｙは前記反射点の座標であり、
【数６】
であり、ここで、ｕ、ｖ、およびｗは前記第２の座標系における前記ＰＳの座標であり、［ｕ，ｖ，ｓ］Ｔ＝Ｒ＊ＰＳである、第１の式を求めるステップと、
【数７】
にしたがって、反射法則に基づいて第２の式を求めるステップであって、ここで、多項式ｋ３１、ｋ３２、ｋ３３は
【数８】
にしたがって求められる、第２の式を求めるステップと、
前記第１の式、前記第２の式、および前記第３の式に基づいて前記ＦＰＥを求めるステップと、
をさらに含む、請求項１１に記載の方法。
【請求項１３】
【数９】
にしたがって前記ＦＰＥを求めるステップであって、ここで、ｋ４１（ｚ）＝ｃ１２（ｚ）＋ｃ２２（ｚ）、ｋ４２（ｚ）＝２ｃ２（ｚ）ｃ３（ｚ）、およびｋ４３（ｚ）＝ｃ３２（ｚ）＋ｃ１２（ｚ）（Ａｚ２＋Ｂｚ−Ｃ）＝０はｚの多項式である、求めるステップ、
をさらに含む、請求項１２に記載の方法。
【請求項１４】
前記鏡の形状は、球形、楕円形、双曲形、放物形、円錐形、および円筒形からなる群から選択される、請求項１１に記載の方法。
【請求項１５】
カタディオプトリック系であって、シーン内の点（ＰＳ）と、該カタディオプトリック系の投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションを求めるように構成され、前記ＰＳおよび前記ＣＯＰは３Ｄロケーションによって特定され、該カタディオプトリック系は非中央式であり、
反射器であって、前記反射点は該反射器の表面上の前記光線の反射によって生じ、該表面は対称軸の周りに回転対称な２次曲面である、反射器と、
前記表面から或る距離に配置されたカメラであって、前記カタディオプトリック系の前記ＣＯＰは該カメラのＣＯＰである、カメラと、
反射法則、前記反射器の式、および前記ＣＯＰと、前記ＰＳと、前記反射点における前記反射器に対する法線の、前記対称軸との交点とによって規定される反射面を示す式に基づいて前記反射点の前記３Ｄロケーションを求めるプロセッサと、
を備える、カタディオプトリック系。
【請求項１６】
前記反射器は球面鏡であり、前記対称軸は該球面鏡の中心を通り、前記反射器の式は前記球面鏡の式である、請求項１５に記載のカタディオプトリック系。
【請求項１７】
前記プロセッサは、前記カタディオプトリック系の座標系を、前記対称軸の周りに回転させ、該座標系の軸上に前記ＣＯＰの少なくとも１つの座標を位置決めし、前記反射点の前記３Ｄロケーションが求められた後に前記回転を逆に行う、請求項１に記載の方法。
【請求項１】
シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションを求める方法であって、前記カタディオプトリック系は非中央式であり、前記カメラおよび反射器を含み、該反射器の表面は対称軸の周りに回転対称な２次曲面であり、前記反射点は、前記表面上の前記光線の反射点であり、前記カタディオプトリック系の構成は、３Ｄロケーションによって特定される前記ＰＳおよび前記ＣＯＰを含み、該方法は、
前記ＣＯＰと、前記ＰＳと、前記反射点の法線の、前記対称軸との交点によって規定された反射面を示す第１の式を求めるステップと、
前記反射点において反射法則に基づいて第２の式を求めるステップと、
前記反射器の式として第３の式を求めるステップと、
前記第１の式、前記第２の式、および前記第３の式を解き、前記反射点の３Ｄロケーションを求める、解くステップと、
を含み、該方法の前記ステップはプロセッサによって実行される、シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションを求める方法。
【請求項２】
前記反射点の前記３Ｄロケーションは、第１の座標、第２の座標、および第３の座標を含み、前記方法は、
前記第１の式、前記第２の式、および前記第３の式から、１つの未知数の順投影式（ＦＰＥ）を構成するステップであって、ここで、該未知数は前記第１の座標である、構成するステップと、
前記ＦＰＥを解いて前記第１の座標を求める、解くステップと、
前記第１の座標と、前記第１の式、前記第２の式、および前記第３の式とに基づいて前記第２の座標および前記第３の座標を求めるステップと、
をさらに含む、請求項１に記載の方法。
【請求項３】
前記ＦＰＥは８次式である、請求項２に記載の方法。
【請求項４】
前記反射器は球面鏡であり、前記対称軸は該球面鏡の中心を通り、前記反射器の前記式は前記球面鏡の式である、請求項１に記載の方法。
【請求項５】
前記カタディオプトリック系の前記構成は第１の座標系において取得され、前記方法は、
前記第１の座標系を、前記ＣＯＰの少なくとも１つの座標が第２の座標系における軸上にあるように、前記対称軸の周りに前記第２の座標系まで回転させるステップ、
をさらに含む、請求項１に記載の方法。
【請求項６】
前記第１の式、前記第２の式、および前記第３の式は、前記第２の座標系において、前記反射点の前記３Ｄロケーションが該第２の座標系内で求められるように定義され、解かれ、前記方法は、
前記反射点の前記３Ｄロケーションを前記第１の座標系にマッピングするステップをさらに含む、請求項５に記載の方法。
【請求項７】
前記第１の式、前記第２の式、および前記第３の式に基づいて、１つの未知数の８次の順投影式（ＦＰＥ）を構成するステップであって、該未知数は、前記第２の座標系における前記反射点の前記３Ｄロケーションの第１の座標である、構成するステップと、
前記ＦＰＥを解いて前記第１の座標を求める、解くステップと、
前記第１の座標と、前記第１の式、前記第２の式、および前記第３の式とに基づいて、前記第２の座標系における前記反射点の前記３Ｄロケーションの第２の座標および第３の座標を求め、前記第２の座標系における前記反射点の前記３Ｄロケーションを得る、求めるステップと、
前記反射点の前記３Ｄロケーションを前記第１の座標系にマッピングするステップと、
をさらに含む、請求項５に記載の方法。
【請求項８】
前記反射点の前記３Ｄロケーションを用いて、前記カメラに対する前記反射器の姿勢を、バンドル調整を用いて求めるステップ、
をさらに含む、請求項１に記載の方法。
【請求項９】
前記反射点の前記３Ｄロケーションを用いて、シーン内のスパースな３Ｄ点を求めるステップ、
をさらに含む、請求項１に記載の方法。
【請求項１０】
前記反射点の前記前記３Ｄロケーションを用いて、シーンの密な深さマップを求めるステップ、
をさらに含む、請求項１に記載の方法。
【請求項１１】
シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点Ｍの３次元（３Ｄ）ロケーションを求める方法であって、前記カタディオプトリック系は非中央式であり、前記カメラおよび鏡を含み、該鏡の表面は対称軸の周りに回転対称な２次曲面であり、前記反射点は、前記表面上の前記光線の反射点であり、前記光線を入射光線と反射光線とに分割し、前記ＰＳおよび前記ＣＯＰは３Ｄロケーションによって特定され、該方法は、
ｘ軸、ｙ軸、およびｚ軸の第１の座標系において前記カタディオプトリック系の構成を取得するステップであって、前記鏡はｚ軸の周りに回転対称であり、前記ＣＯＰはＣＯＰ＝［ｃｘ，ｃｙ，ｃｚ］Ｔであり、ここで、Ｔは転置演算子であり、ＰＳはＰＳ＝［Ｘ，Ｙ，Ｚ］Ｔであり、前記入射光線ｖｉはｖｉ＝Ｍ−ＣＯＰであり、法線ｎは前記反射点Ｍにおける前記鏡に対する法線であり、前記反射光線ｖｒはｖｒ＝Ｐ−Ｍである、取得するステップと、
【数１】
にしたがって回転行列Ｒを求めるステップであって、ここで、
【数２】
である、回転行列Ｒを求めるステップと、
【数３】
にしたがって、前記第１の座標系を、第２の座標系における前記ＣＯＰのｘ座標がゼロになるように、該第２の座標系まで回転させるステップであって、ここで、演算子＊は乗算である、回転させるステップと、
前記第２の座標系において、１つの未知数の８次の順投影式（ＦＰＥ）を求めるステップであって、該未知数は前記反射点の座標であり、該ＦＰＥを求めるステップは、前記鏡の式、前記ＣＯＰと、前記ＰＳと、前記法線ｎの、前記対称軸との交点とによって規定される反射面を示す式、および反射法則を示す式に基づく、ＦＰＥを求めるステップと、
前記ＦＰＥに基づいて前記第２の座標系における前記反射点の前記３Ｄロケーションを求めるステップと、
前記回転行列の逆行列Ｒ−１を用いて、前記反射点の前記３Ｄロケーションを前記第１の座標系にマッピングするステップと、
を含む、シーン内の点（ＰＳ）と、カタディオプトリック系のカメラの投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションを求める方法。
【請求項１２】
【数４】
にしたがって、第３の式を前記鏡の式として求めるステップであって、ここで、Ａ、Ｂ、およびＣは前記鏡の前記表面のパラメータである、第３の式を求めるステップと、
【数５】
にしたがって、前記反射面を示す第１の式を求めるステップであって、ここで、ｚおよびｙは前記反射点の座標であり、
【数６】
であり、ここで、ｕ、ｖ、およびｗは前記第２の座標系における前記ＰＳの座標であり、［ｕ，ｖ，ｓ］Ｔ＝Ｒ＊ＰＳである、第１の式を求めるステップと、
【数７】
にしたがって、反射法則に基づいて第２の式を求めるステップであって、ここで、多項式ｋ３１、ｋ３２、ｋ３３は
【数８】
にしたがって求められる、第２の式を求めるステップと、
前記第１の式、前記第２の式、および前記第３の式に基づいて前記ＦＰＥを求めるステップと、
をさらに含む、請求項１１に記載の方法。
【請求項１３】
【数９】
にしたがって前記ＦＰＥを求めるステップであって、ここで、ｋ４１（ｚ）＝ｃ１２（ｚ）＋ｃ２２（ｚ）、ｋ４２（ｚ）＝２ｃ２（ｚ）ｃ３（ｚ）、およびｋ４３（ｚ）＝ｃ３２（ｚ）＋ｃ１２（ｚ）（Ａｚ２＋Ｂｚ−Ｃ）＝０はｚの多項式である、求めるステップ、
をさらに含む、請求項１２に記載の方法。
【請求項１４】
前記鏡の形状は、球形、楕円形、双曲形、放物形、円錐形、および円筒形からなる群から選択される、請求項１１に記載の方法。
【請求項１５】
カタディオプトリック系であって、シーン内の点（ＰＳ）と、該カタディオプトリック系の投影中心（ＣＯＰ）との間の光線の反射点の３次元（３Ｄ）ロケーションを求めるように構成され、前記ＰＳおよび前記ＣＯＰは３Ｄロケーションによって特定され、該カタディオプトリック系は非中央式であり、
反射器であって、前記反射点は該反射器の表面上の前記光線の反射によって生じ、該表面は対称軸の周りに回転対称な２次曲面である、反射器と、
前記表面から或る距離に配置されたカメラであって、前記カタディオプトリック系の前記ＣＯＰは該カメラのＣＯＰである、カメラと、
反射法則、前記反射器の式、および前記ＣＯＰと、前記ＰＳと、前記反射点における前記反射器に対する法線の、前記対称軸との交点とによって規定される反射面を示す式に基づいて前記反射点の前記３Ｄロケーションを求めるプロセッサと、
を備える、カタディオプトリック系。
【請求項１６】
前記反射器は球面鏡であり、前記対称軸は該球面鏡の中心を通り、前記反射器の式は前記球面鏡の式である、請求項１５に記載のカタディオプトリック系。
【請求項１７】
前記プロセッサは、前記カタディオプトリック系の座標系を、前記対称軸の周りに回転させ、該座標系の軸上に前記ＣＯＰの少なくとも１つの座標を位置決めし、前記反射点の前記３Ｄロケーションが求められた後に前記回転を逆に行う、請求項１に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−２１５８５５（Ｐ２０１２−２１５８５５Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−６４６９８（Ｐ２０１２−６４６９８）
【出願日】平成２４年３月２２日（２０１２．３．２２）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１２−６４６９８（Ｐ２０１２−６４６９８）
【出願日】平成２４年３月２２日（２０１２．３．２２）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]