非固定ズームカメラを用いた自由視点映像の合成画質高精度化方法およびプログラム
【課題】固定カメラ映像に加えて、パン・チルトおよびズーム・フォーカス値の変更を伴う非固定ズームカメラより取得される映像を併せて用いることで、特定の被写体に関する合成画質を向上させる。
【解決手段】自由視点画像を生成する方法は、１台以上の固定カメラが撮影した固定カメラ画像と、３次元位置およびパン・チルト・フォーカスの変更を伴う１台以上の非固定ズームカメラが撮影した非固定ズームカメラ画像から、非固定ズームカメラの中心射影行列を推定し、非固定ズームカメラ画像に含まれる被写体の３次元モデルを構築し、固定カメラ画像から自由視点画像を生成し、被写体の３次元モデルのテクスチャを、自由視点画像にマッピングする。
【解決手段】自由視点画像を生成する方法は、１台以上の固定カメラが撮影した固定カメラ画像と、３次元位置およびパン・チルト・フォーカスの変更を伴う１台以上の非固定ズームカメラが撮影した非固定ズームカメラ画像から、非固定ズームカメラの中心射影行列を推定し、非固定ズームカメラ画像に含まれる被写体の３次元モデルを構築し、固定カメラ画像から自由視点画像を生成し、被写体の３次元モデルのテクスチャを、自由視点画像にマッピングする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自由視点映像の合成画質高精度化に関するものである。より詳細には、非固定ズームカメラを用いて、大規模な空間で行われるイベントを撮影した視点画像から、生成した自由視点映像の合成画質高精度化方法およびプログラムに関する。
【背景技術】
【０００２】
自由視点画像を生成する代表的な合成方法であるモデルベース手法は、３次元のボクセルモデルを作成することにより行われる。この方法は、空間内のユークリッド座標系とカメラ座標系との射影関係を推定するカメラの強校正を予め行う必要がある。しかしながら、大規模な空間において、カメラの強校正を正確に行うことは極めて困難である。
【０００３】
このため、非特許文献１および特願２０１０−０３２１３６では、カメラの強校正を前提としない、画像情報のみを用いた合成方式として、対象フィールドの幾何的情報をもとに、対象フィールドに座標空間を構築し、各カメラ画像の射影行列を推定し、移動領域の位置情報を算出し、仮想視点における射影行列により、移動領域の位置に移動領域の画像を作成することで仮想視点の画像を高精度に生成する方法が提案された。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】三功浩嗣他「簡易カメラ校正に基づく大空間自由視点映像の高精度合成方式」 FIT2010I-054 2010年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の自由視点映像の合成方式では、各撮影カメラは固定されており、画角内にフィールド全体を含めていることを前提としていたため、人物等の被写体領域のテクスチャ解像度が不十分であるという問題があった。その結果、フィールド内部等、被写体に接近するような自由視点の合成画質を十分に獲得できず、自由視点映像の臨場感が損なわれていた。
【０００６】
そこで本発明は、固定カメラ映像に加えて、パン・チルトおよびズーム・フォーカス値の変更を伴う非固定ズームカメラより取得される映像を併せて用いることで、特定の被写体に関する合成画質を向上させる合成画質高精度化方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を実現するため本発明による自由視点画像を生成する方法、１台以上の固定カメラが撮影した固定カメラ画像と、３次元位置およびパン・チルト・フォーカスの変更を伴う１台以上の非固定ズームカメラが撮影した非固定ズームカメラ画像から、自由視点画像を生成する方法であって、前記非固定ズームカメラの中心射影行列を推定するステップと、前記非固定ズームカメラ画像に含まれる被写体の３次元モデルを構築するステップと、前記固定カメラ画像から自由視点画像を生成するステップと、前記被写体の３次元モデルのテクスチャを、前記自由視点画像にマッピングするステップとを含む。
【０００８】
また、前記非固定ズームカメラの中心射影行列を推定するステップは、前記非固定ズームカメラ画像内の特定オブジェクトの３次元位置情報をもとに推定することも好ましい。
【０００９】
また、前記非固定ズームカメラの中心射影行列を推定するステップは、前記特定オブジェクトが固定物の場合、該固定物の３次元座標と前記非固定ズームカメラ画像内の画素座標との組を６つ以上与えることにより推定することも好ましい。
【００１０】
また、前記非固定ズームカメラの中心射影行列を推定するステップは、前記特定オブジェクトが動的物体の場合、前記非固定ズームカメラの３次元位置および焦点距離を推定するサブステップと、前記非固定ズームカメラの方位角および仰角を推定するサブステップとを含むことも好ましい。
【００１１】
また、前記非固定ズームカメラ画像に含まれる被写体の３次元モデルを構築するステップは、前記被写体の被写体マスク領域を抽出し、前記被写体マスク領域の外接長方形領域を抽出し、前記外接長方形領域の底辺の中心点座標および縦横比をもとに、３次元空間における当該外接長方形領域を３次元ビルボード領域としてモデル化することも好ましい。
【００１２】
また、前記被写体の３次元モデルのテクスチャを、前記自由視点画像にマッピングするステップは、前記被写体の３次元ビルボード領域に対して、前記外接長方形領域のテクスチャを対応付けることも好ましい。
【００１３】
また、前記非固定ズームカメラの３次元位置および焦点距離を推定するサブステップは、前記固定カメラの中心射影行列をもとに前記固定カメラの３次元位置および焦点距離を推定し、前記特定オブジェクトとして固定物を含む第２の非固定ズームカメラ画像に、該固定物の３次元座標と前記第２の非固定ズームカメラ画像内の画素座標との組を６つ以上与えることにより、第２の中心射影行列を推定し、該第２の中心射影行列をもとに、前記非固定ズームカメラの３次元位置を推定し、前記固定カメラ画像内の特定オブジェクトのフィールド平面上３次元座標を、前記固定カメラの平面射影行列でマッピングすることで、当該特定オブジェクトのフィールド平面上３次元座標を推定し、前記固定カメラから前記特定オブジェクトまでの３次元距離と、前記固定カメラ画像中での前記特定オブジェクトの領域の大きさの比率を算出し、前記非固定ズームカメラから前記特定オブジェクトまでの３次元距離と、前記非固定ズームカメラ画像中での前記特定オブジェクトの領域の大きさの比率を算出し、前記比率をもとに前記非固定ズームカメラの焦点距離を推定することも好ましい。
【００１４】
また、前記非固定ズームカメラの方位角および仰角を推定するサブステップは、前記特定オブジェクトのフィールド平面上３次元座標を、前記第２の中心射影行列を用いて射影し、画像中心からの偏差を算出し、前記特定オブジェクトの前記非固定ズームカメラ画像の画像中心からのパン・チルト偏差を算出し、前記偏差および前記パン・チルト偏差から、方位角変位および仰角変位を算出し、前記第２の非固定ズームカメラ画像から推定された方位角および仰角に、前記方位角変位および仰角変位を足し合わせることで、前記非固定ズームカメラの方位角および仰角を推定することも好ましい。
【００１５】
上記目的を実現するため本発明によるプログラムは、１台以上の固定カメラが撮影した固定カメラ画像と、３次元位置およびパン・チルト・フォーカスの変更を伴う１台以上の非固定ズームカメラが撮影した非固定ズームカメラ画像から、自由視点画像を生成するためのコンピュータを、前記非固定ズームカメラの中心射影行列を推定する手段と、前記非固定ズームカメラ画像に含まれる被写体の３次元モデルを構築する手段と、前記固定カメラ画像から自由視点画像を生成する手段と、前記被写体の３次元モデルのテクスチャを、前記自由視点画像にマッピングする手段として機能させ、自由視点画像を生成する。
【発明の効果】
【００１６】
本発明により、被写体に接近するような自由視点の合成画質を大幅に改善することができ、自由視点映像の臨場感を向上することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明による自由視点画像を構築する方法を示すフローチャートである。
【図２】基準フレームでの偏差および対象フレームでのパン・チルト偏差を示す。
【図３】ズームカメラ画像と被写体マスク領域を示す。
【図４】対象フレームでの固定カメラ画像の例を示す。
【図５】対象フレームでのズームカメラ画像の例を示す。
【図６】既存技術により生成された自由視点画像の例を示す。
【図７】図６と同じ視点での本発明による自由視点画像の例を示す。
【発明を実施するための形態】
【００１８】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は、本発明による自由視点画像を構築する方法を示すフローチャートである。以下、本フローチャートに基づいて説明する。
【００１９】
本発明は、カメラの強校正を前提としない、画像情報のみを用いた合成方式として、対象フィールドの幾何的情報をもとに、対象フィールドに座標空間を構築し、ズームカメラ画像の射影行列を推定し、人物領域の位置情報を算出し、射影行列により、自由視点画像の人物領域の位置にズームカメラ画像による人物画像を作成することで、自由視点の画像を高精度に生成する。
【００２０】
本発明は、１フレーム分の固定カメラ画像とズームカメラ画像（対象フレームの画像）を入力として、自由視点画像を出力する。固定カメラ画像は、固定カメラにより撮影された画像であり、視点画像と背景画像とが取得される。ズームカメラ画像は、ズームカメラ撮影された画像であり、視点画像が取得される。なお、背景画像は、移動領域が写っていない画像である。固定カメラおよびズームカメラの強校正は予め行う必要はない。なお、固定カメラは、３次元位置が固定であり、パン・チルトおよびズーム・フォーカスを行わない。ズームカメラは、パン・チルトおよびズーム・フォーカスは行うことが可能で、さらに、３次元位置を変化することも可能である。ただし、ズームカメラの３次元位置が変化した場合は、以下に示す基準フレームを撮影する必要がある。つまり、基準フレームを撮影した位置から、ズームカメラの位置は変わらない。
【００２１】
また、対象フィールドの幾何的情報として、対象フィールド内の線分の長さ、対応点を予め測定しておく。少なくとも、視点画像毎に４点以上の平面座標、２点以上の空間座標が分かるように測定しておく。ズームカメラについては、４点以上の平面座標、２点以上の空間座標が含まれるように、フィールド全体が収まるような画角で撮影した画像を基準フレームとして取得しておく。また、対象フィールドの幾何的情報として、視点画像内に平行線が２組以上含まれるように撮影することも可能である。平行線とは、例えば、競技コートのラインである。この場合、平行線から対応点を求める。
【００２２】
ステップ１：固定カメラの中心射影行列・平面射影行列を推定。対象フィールドの幾何的情報として、予め３次元座標が既知の特徴点について、カメラ画像中での画素座標を複数組与えることで、中心射影行列Ｐｃおよび平面射影行列Ｈｃを推定する。この推定は、例えば、非特許文献１および特願２０１０−０３２１３６に記載された方法で行う。
【００２３】
中心射影行列Ｐｃは、３行４列の行列であり、対象フィールドの３次元空間中の点（Ｘ、Ｙ、Ｚ）を画素座標（ｕ、ｖ）に射影する。つまり、
s（ｕ、ｖ、１）Ｔ＝Ｐｃ（Ｘ、Ｙ、Ｚ、１）Ｔ
である。ここで、Ｔは転置を表す。つまり、列ベクトルであることを表す。
【００２４】
平面射影行列Ｈｃは、３行３列の行列であり、対象フィールドの２次元座標中の点（Ｘ、Ｙ）を画素座標（ｕ’、ｖ’）に射影する。つまり、
s’（ｕ’、ｖ’、１）Ｔ＝Ｈｃ（Ｘ、Ｙ、１）Ｔ
である。
【００２５】
ステップ２：基準フレームでのズームカメラの中心射影行列を推定。ステップ１と同様の方法で、基準フレームでの幾何的情報から、基準フレームでの中心射影行列Ｐｚｏｏｍを推定する。
【００２６】
ステップ３：固定カメラの焦点距離および３次元位置を推定。ステップ１で推定した中心射影行列Ｐｃは、３行３列の内部パラメータ行列Ａｃ、３行３列の回転行列Ｒｃ、３行１列の並進ベクトルｔｃから、
Ｐｃ＝Ａｃ［Ｒｃ｜ｔｃ］
で求められる。ここで、［Ｒｃ｜ｔｃ］は、３行３列の行列Ｒｃと１行３列のベクトルｔｃを、あわせた３行４列の行列を示す。
【００２７】
内部パラメータ行列Ａｃは、
【数１】
と表されるため、固定カメラの焦点距離ｆｆｉｘｅｄは、内部パラメータ行列Ａｃの１行１列要素、または２行２列要素から求めることができる。３次元位置Ｍｃは、回転行列Ｒｃと並進ベクトルｔｃとから、
Ｍｃ＝−Ｒｃ−１ｔｃ
と求まる。なお、Ｒｃ−１は、Ｒｃの逆行列を表す。
【００２８】
ステップ４：基準フレームでのズームカメラの焦点距離および３次元位置を推定。ステップ３と同様の方法で、中心射影行列Ｐｚｏｏｍから基準フレームでのズームカメラの焦点距離ｆ’ｚｏｏｍおよび３次元位置Ｍｚｏｏｍを推定する。
【００２９】
ステップ５：特定人物の３次元位置を推定。対象フレームにおける固定カメラ画像およびズームカメラ画像の両方に写っている人物を特定する。この人物の足下の固定カメラ画像中での画素座標を、固定カメラの中心射影行列Ｐｃにより変換し、対象フィールドでの特定人物の３次元位置を推定する。
【００３０】
ステップ６：ズームカメラの焦点距離を推定。対象フレームでは、ズームカメラのズーム・フォーカスが行われているため、基準フレームでの焦点距離と異なるため、対象フレームでのズームカメラの焦点距離を推定する。ステップ５の特定人物の位置に長方形領域（ビルボード）を設定する。この長方形の高さを特定人物の身長と推定する。固定カメラ画像での特定人物の身長をｈｆｉｘｅｄとし、ズームカメラ画像での特定人物の身長をｈｚｏｏｍとする。ステップ３で求めた固定カメラの３次元位置Ｍｃとステップ５で求めた特定人物の３次元位置から、固定カメラから特定人物までの距離ｘｆｉｘｅｄを求め、同様に、基準フレームでのズームカメラの３次元位置Ｍｚｏｏｍと特定人物の３次元位置から、ズームカメラから特定人物までの距離ｘｚｏｏｍを求める。
【００３１】
各カメラから特定人物までの３次元距離と身長の比率を算出し、固定カメラの焦点距離ｆｆｉｘｅｄと上記比率をもとに、対象フレームにおけるズームカメラの焦点距離ｆｚｏｏｍを式
ｆｚｏｏｍ＝ｆｆｉｘｅｄ×（ｈｚｏｏｍ／ｈｆｉｘｅｄ）×（ｘｚｏｏｍ／ｘｆｉｘｅｄ）
より算出する。
【００３２】
ステップ７：ズームカメラのパン・チルト偏差を推定。対象フレームでは、ズームカメラのパン・チルトが行われているため、基準フレームでの方位角（パン）、仰角（チルト）と異なるため、基準フレームとのパン・チルト偏差を推定する。対象フレームにおける特定人物のフィールド平面上の足下点３次元座標（ステップ５で求めた特定人物の３次元位置）を、基準フレームで推定された中心射影行列Ｐｚｏｏｍにより、基準フレームでのズームカメラ画像に射影し、画像中心（光軸）からの偏差（ｕｒｅｆ，ｖｒｅｆ）を算出する。対象フレームにおける特定人物の足下点画素について、画像中心からのパン・チルト偏差（ｕｚｏｏｍ，ｖｚｏｏｍ）を算出する。図２は、基準フレームでの偏差および対象フレームでのパン・チルト偏差を示す。
【００３３】
対象フレームにおけるズームカメラの方位角（パン）変位Δθおよび仰角（チルト）変位Δφを以下の式により算出する。
Δθ＝ａｒｃｔａｎ（ｕｚｏｏｍ／ｆｚｏｏｍ）−ａｒｃｔａｎ（ｕｒｅｆ／ｆｒｅｆ）
Δφ＝ａｒｃｔａｎ（ｖｚｏｏｍ／ｆｚｏｏｍ）−ａｒｃｔａｎ（ｖｒｅｆ／ｆｒｅｆ）
【００３４】
ステップ８：ズームカメラの中心射影行列を推定。ステップ６で推定した対象フレームにおけるズームカメラ焦点距離ｆｚｏｏｍおよびステップ７で推定したパン・チルト偏差Δθ、Δφから対象フレームでの中心射影行列Ｐｚｏｏｍを算出する。
最初に、内部パラメータ行列Ａｚｏｏｍを、
【数２】
より求める。なお、ｗｉｄｔｈ、ｈｅｉｇｈｔは、それぞれ、ステップ６で設定した対象フレームにおけるズームカメラ画像の長方形領域の幅、高さである。
次に、パン・チルト値を、
θｚｏｏｍ＝θｒｅｆ＋Δθ、φｚｏｏｍ＝φｒｅｆ＋Δφ
で求める。なお、θｒｅｆおよびφｒｅｆは、基準フレームでのパン・チルト値を表す。これらは、ステップ２で基準フレームでのズームカメラの中心射影行列を推定する際に求められる。次に、回転行列Ｒｚｏｏｍを、
【数３】
より求める。
最後に、並進ベクトルｔｚｏｏｍを、
ｔｚｏｏｍ＝−ＲｚｏｏｍＭｚｏｏｍ
より求める。なお、Ｍｚｏｏｍは、ステップ４で求めたズームカメラの３次元位置Ｍｚｏｏｍである。
これらの内部パラメータ行列Ａｚｏｏｍ、回転行列Ｒｚｏｏｍ、および並進ベクトルｔｚｏｏｍから、中心射影行列Ｐｚｏｏｍを、式
Ｐｚｏｏｍ＝Ａｚｏｏｍ［Ｒｚｏｏｍ｜ｔｚｏｏｍ］
から算出する。
【００３５】
ステップ９：ズームカメラの被写体テクスチャをマッピング。既存技術の手法で固定カメラ画像から作成された自由視点映像に、ズームカメラの被写体テクスチャを貼り付ける。ズームカメラ画像に含まれる被写体について、図３のように被写体マスク領域および被写体マスク領域の外接長方形領域を抽出する。外接長方形領域の底辺中心座標を中心射影行列Ｐｚｏｏｍによりマッピングし、縦横比を基に被写体の３次元ビルボードモデルを構築する。構築された３次元ビルボードモデルを固定カメラから生成した自由視点画像に貼り付ける。ここで貼り付けられたテクスチャは、ズームカメラにより撮影されたものであるため、元の固定カメラ画像より、画像の精度が高く、高精度の人物画像が得られる。
【００３６】
最後に、本発明の効果を実際に生成された自由視点での画像により示す。図４は、対象フレームでの固定カメラ画像の例を示す。図５は、対象フレームでのズームカメラ画像の例を示す。図６は、既存技術により生成された自由視点画像の例を示す。図４の画像のような固定カメラ画像のみから作成された自由視点画像である。図７は、図６と同じ視点での本発明による自由視点画像の例を示す。固定カメラ画像に加え、図５の画像から作成された自由視点画像である。図６と図７を比較すると、ズームカメラのテクスチャを用いているため、図７の人物の方が解像度が高く、合成画質が向上していることが分かる。
【００３７】
なお、上記実施形態は１台のズームカメラから撮影された画像から作成された被写体テクスチャを貼り付けたが、複数台のズームカメラから撮影された画像を貼り付けることも可能である。この場合、複数台のズームカメラの中心射影行列Ｐｚｏｏｍを求め、複数の構築された３次元ビルボードモデルを求めて、これらの平均を取ることにより、１つの３次元ビルボードモデルを作成して、それを貼り付ける。
【００３８】
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。
【技術分野】
【０００１】
本発明は、自由視点映像の合成画質高精度化に関するものである。より詳細には、非固定ズームカメラを用いて、大規模な空間で行われるイベントを撮影した視点画像から、生成した自由視点映像の合成画質高精度化方法およびプログラムに関する。
【背景技術】
【０００２】
自由視点画像を生成する代表的な合成方法であるモデルベース手法は、３次元のボクセルモデルを作成することにより行われる。この方法は、空間内のユークリッド座標系とカメラ座標系との射影関係を推定するカメラの強校正を予め行う必要がある。しかしながら、大規模な空間において、カメラの強校正を正確に行うことは極めて困難である。
【０００３】
このため、非特許文献１および特願２０１０−０３２１３６では、カメラの強校正を前提としない、画像情報のみを用いた合成方式として、対象フィールドの幾何的情報をもとに、対象フィールドに座標空間を構築し、各カメラ画像の射影行列を推定し、移動領域の位置情報を算出し、仮想視点における射影行列により、移動領域の位置に移動領域の画像を作成することで仮想視点の画像を高精度に生成する方法が提案された。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】三功浩嗣他「簡易カメラ校正に基づく大空間自由視点映像の高精度合成方式」 FIT2010I-054 2010年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の自由視点映像の合成方式では、各撮影カメラは固定されており、画角内にフィールド全体を含めていることを前提としていたため、人物等の被写体領域のテクスチャ解像度が不十分であるという問題があった。その結果、フィールド内部等、被写体に接近するような自由視点の合成画質を十分に獲得できず、自由視点映像の臨場感が損なわれていた。
【０００６】
そこで本発明は、固定カメラ映像に加えて、パン・チルトおよびズーム・フォーカス値の変更を伴う非固定ズームカメラより取得される映像を併せて用いることで、特定の被写体に関する合成画質を向上させる合成画質高精度化方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を実現するため本発明による自由視点画像を生成する方法、１台以上の固定カメラが撮影した固定カメラ画像と、３次元位置およびパン・チルト・フォーカスの変更を伴う１台以上の非固定ズームカメラが撮影した非固定ズームカメラ画像から、自由視点画像を生成する方法であって、前記非固定ズームカメラの中心射影行列を推定するステップと、前記非固定ズームカメラ画像に含まれる被写体の３次元モデルを構築するステップと、前記固定カメラ画像から自由視点画像を生成するステップと、前記被写体の３次元モデルのテクスチャを、前記自由視点画像にマッピングするステップとを含む。
【０００８】
また、前記非固定ズームカメラの中心射影行列を推定するステップは、前記非固定ズームカメラ画像内の特定オブジェクトの３次元位置情報をもとに推定することも好ましい。
【０００９】
また、前記非固定ズームカメラの中心射影行列を推定するステップは、前記特定オブジェクトが固定物の場合、該固定物の３次元座標と前記非固定ズームカメラ画像内の画素座標との組を６つ以上与えることにより推定することも好ましい。
【００１０】
また、前記非固定ズームカメラの中心射影行列を推定するステップは、前記特定オブジェクトが動的物体の場合、前記非固定ズームカメラの３次元位置および焦点距離を推定するサブステップと、前記非固定ズームカメラの方位角および仰角を推定するサブステップとを含むことも好ましい。
【００１１】
また、前記非固定ズームカメラ画像に含まれる被写体の３次元モデルを構築するステップは、前記被写体の被写体マスク領域を抽出し、前記被写体マスク領域の外接長方形領域を抽出し、前記外接長方形領域の底辺の中心点座標および縦横比をもとに、３次元空間における当該外接長方形領域を３次元ビルボード領域としてモデル化することも好ましい。
【００１２】
また、前記被写体の３次元モデルのテクスチャを、前記自由視点画像にマッピングするステップは、前記被写体の３次元ビルボード領域に対して、前記外接長方形領域のテクスチャを対応付けることも好ましい。
【００１３】
また、前記非固定ズームカメラの３次元位置および焦点距離を推定するサブステップは、前記固定カメラの中心射影行列をもとに前記固定カメラの３次元位置および焦点距離を推定し、前記特定オブジェクトとして固定物を含む第２の非固定ズームカメラ画像に、該固定物の３次元座標と前記第２の非固定ズームカメラ画像内の画素座標との組を６つ以上与えることにより、第２の中心射影行列を推定し、該第２の中心射影行列をもとに、前記非固定ズームカメラの３次元位置を推定し、前記固定カメラ画像内の特定オブジェクトのフィールド平面上３次元座標を、前記固定カメラの平面射影行列でマッピングすることで、当該特定オブジェクトのフィールド平面上３次元座標を推定し、前記固定カメラから前記特定オブジェクトまでの３次元距離と、前記固定カメラ画像中での前記特定オブジェクトの領域の大きさの比率を算出し、前記非固定ズームカメラから前記特定オブジェクトまでの３次元距離と、前記非固定ズームカメラ画像中での前記特定オブジェクトの領域の大きさの比率を算出し、前記比率をもとに前記非固定ズームカメラの焦点距離を推定することも好ましい。
【００１４】
また、前記非固定ズームカメラの方位角および仰角を推定するサブステップは、前記特定オブジェクトのフィールド平面上３次元座標を、前記第２の中心射影行列を用いて射影し、画像中心からの偏差を算出し、前記特定オブジェクトの前記非固定ズームカメラ画像の画像中心からのパン・チルト偏差を算出し、前記偏差および前記パン・チルト偏差から、方位角変位および仰角変位を算出し、前記第２の非固定ズームカメラ画像から推定された方位角および仰角に、前記方位角変位および仰角変位を足し合わせることで、前記非固定ズームカメラの方位角および仰角を推定することも好ましい。
【００１５】
上記目的を実現するため本発明によるプログラムは、１台以上の固定カメラが撮影した固定カメラ画像と、３次元位置およびパン・チルト・フォーカスの変更を伴う１台以上の非固定ズームカメラが撮影した非固定ズームカメラ画像から、自由視点画像を生成するためのコンピュータを、前記非固定ズームカメラの中心射影行列を推定する手段と、前記非固定ズームカメラ画像に含まれる被写体の３次元モデルを構築する手段と、前記固定カメラ画像から自由視点画像を生成する手段と、前記被写体の３次元モデルのテクスチャを、前記自由視点画像にマッピングする手段として機能させ、自由視点画像を生成する。
【発明の効果】
【００１６】
本発明により、被写体に接近するような自由視点の合成画質を大幅に改善することができ、自由視点映像の臨場感を向上することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明による自由視点画像を構築する方法を示すフローチャートである。
【図２】基準フレームでの偏差および対象フレームでのパン・チルト偏差を示す。
【図３】ズームカメラ画像と被写体マスク領域を示す。
【図４】対象フレームでの固定カメラ画像の例を示す。
【図５】対象フレームでのズームカメラ画像の例を示す。
【図６】既存技術により生成された自由視点画像の例を示す。
【図７】図６と同じ視点での本発明による自由視点画像の例を示す。
【発明を実施するための形態】
【００１８】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は、本発明による自由視点画像を構築する方法を示すフローチャートである。以下、本フローチャートに基づいて説明する。
【００１９】
本発明は、カメラの強校正を前提としない、画像情報のみを用いた合成方式として、対象フィールドの幾何的情報をもとに、対象フィールドに座標空間を構築し、ズームカメラ画像の射影行列を推定し、人物領域の位置情報を算出し、射影行列により、自由視点画像の人物領域の位置にズームカメラ画像による人物画像を作成することで、自由視点の画像を高精度に生成する。
【００２０】
本発明は、１フレーム分の固定カメラ画像とズームカメラ画像（対象フレームの画像）を入力として、自由視点画像を出力する。固定カメラ画像は、固定カメラにより撮影された画像であり、視点画像と背景画像とが取得される。ズームカメラ画像は、ズームカメラ撮影された画像であり、視点画像が取得される。なお、背景画像は、移動領域が写っていない画像である。固定カメラおよびズームカメラの強校正は予め行う必要はない。なお、固定カメラは、３次元位置が固定であり、パン・チルトおよびズーム・フォーカスを行わない。ズームカメラは、パン・チルトおよびズーム・フォーカスは行うことが可能で、さらに、３次元位置を変化することも可能である。ただし、ズームカメラの３次元位置が変化した場合は、以下に示す基準フレームを撮影する必要がある。つまり、基準フレームを撮影した位置から、ズームカメラの位置は変わらない。
【００２１】
また、対象フィールドの幾何的情報として、対象フィールド内の線分の長さ、対応点を予め測定しておく。少なくとも、視点画像毎に４点以上の平面座標、２点以上の空間座標が分かるように測定しておく。ズームカメラについては、４点以上の平面座標、２点以上の空間座標が含まれるように、フィールド全体が収まるような画角で撮影した画像を基準フレームとして取得しておく。また、対象フィールドの幾何的情報として、視点画像内に平行線が２組以上含まれるように撮影することも可能である。平行線とは、例えば、競技コートのラインである。この場合、平行線から対応点を求める。
【００２２】
ステップ１：固定カメラの中心射影行列・平面射影行列を推定。対象フィールドの幾何的情報として、予め３次元座標が既知の特徴点について、カメラ画像中での画素座標を複数組与えることで、中心射影行列Ｐｃおよび平面射影行列Ｈｃを推定する。この推定は、例えば、非特許文献１および特願２０１０−０３２１３６に記載された方法で行う。
【００２３】
中心射影行列Ｐｃは、３行４列の行列であり、対象フィールドの３次元空間中の点（Ｘ、Ｙ、Ｚ）を画素座標（ｕ、ｖ）に射影する。つまり、
s（ｕ、ｖ、１）Ｔ＝Ｐｃ（Ｘ、Ｙ、Ｚ、１）Ｔ
である。ここで、Ｔは転置を表す。つまり、列ベクトルであることを表す。
【００２４】
平面射影行列Ｈｃは、３行３列の行列であり、対象フィールドの２次元座標中の点（Ｘ、Ｙ）を画素座標（ｕ’、ｖ’）に射影する。つまり、
s’（ｕ’、ｖ’、１）Ｔ＝Ｈｃ（Ｘ、Ｙ、１）Ｔ
である。
【００２５】
ステップ２：基準フレームでのズームカメラの中心射影行列を推定。ステップ１と同様の方法で、基準フレームでの幾何的情報から、基準フレームでの中心射影行列Ｐｚｏｏｍを推定する。
【００２６】
ステップ３：固定カメラの焦点距離および３次元位置を推定。ステップ１で推定した中心射影行列Ｐｃは、３行３列の内部パラメータ行列Ａｃ、３行３列の回転行列Ｒｃ、３行１列の並進ベクトルｔｃから、
Ｐｃ＝Ａｃ［Ｒｃ｜ｔｃ］
で求められる。ここで、［Ｒｃ｜ｔｃ］は、３行３列の行列Ｒｃと１行３列のベクトルｔｃを、あわせた３行４列の行列を示す。
【００２７】
内部パラメータ行列Ａｃは、
【数１】
と表されるため、固定カメラの焦点距離ｆｆｉｘｅｄは、内部パラメータ行列Ａｃの１行１列要素、または２行２列要素から求めることができる。３次元位置Ｍｃは、回転行列Ｒｃと並進ベクトルｔｃとから、
Ｍｃ＝−Ｒｃ−１ｔｃ
と求まる。なお、Ｒｃ−１は、Ｒｃの逆行列を表す。
【００２８】
ステップ４：基準フレームでのズームカメラの焦点距離および３次元位置を推定。ステップ３と同様の方法で、中心射影行列Ｐｚｏｏｍから基準フレームでのズームカメラの焦点距離ｆ’ｚｏｏｍおよび３次元位置Ｍｚｏｏｍを推定する。
【００２９】
ステップ５：特定人物の３次元位置を推定。対象フレームにおける固定カメラ画像およびズームカメラ画像の両方に写っている人物を特定する。この人物の足下の固定カメラ画像中での画素座標を、固定カメラの中心射影行列Ｐｃにより変換し、対象フィールドでの特定人物の３次元位置を推定する。
【００３０】
ステップ６：ズームカメラの焦点距離を推定。対象フレームでは、ズームカメラのズーム・フォーカスが行われているため、基準フレームでの焦点距離と異なるため、対象フレームでのズームカメラの焦点距離を推定する。ステップ５の特定人物の位置に長方形領域（ビルボード）を設定する。この長方形の高さを特定人物の身長と推定する。固定カメラ画像での特定人物の身長をｈｆｉｘｅｄとし、ズームカメラ画像での特定人物の身長をｈｚｏｏｍとする。ステップ３で求めた固定カメラの３次元位置Ｍｃとステップ５で求めた特定人物の３次元位置から、固定カメラから特定人物までの距離ｘｆｉｘｅｄを求め、同様に、基準フレームでのズームカメラの３次元位置Ｍｚｏｏｍと特定人物の３次元位置から、ズームカメラから特定人物までの距離ｘｚｏｏｍを求める。
【００３１】
各カメラから特定人物までの３次元距離と身長の比率を算出し、固定カメラの焦点距離ｆｆｉｘｅｄと上記比率をもとに、対象フレームにおけるズームカメラの焦点距離ｆｚｏｏｍを式
ｆｚｏｏｍ＝ｆｆｉｘｅｄ×（ｈｚｏｏｍ／ｈｆｉｘｅｄ）×（ｘｚｏｏｍ／ｘｆｉｘｅｄ）
より算出する。
【００３２】
ステップ７：ズームカメラのパン・チルト偏差を推定。対象フレームでは、ズームカメラのパン・チルトが行われているため、基準フレームでの方位角（パン）、仰角（チルト）と異なるため、基準フレームとのパン・チルト偏差を推定する。対象フレームにおける特定人物のフィールド平面上の足下点３次元座標（ステップ５で求めた特定人物の３次元位置）を、基準フレームで推定された中心射影行列Ｐｚｏｏｍにより、基準フレームでのズームカメラ画像に射影し、画像中心（光軸）からの偏差（ｕｒｅｆ，ｖｒｅｆ）を算出する。対象フレームにおける特定人物の足下点画素について、画像中心からのパン・チルト偏差（ｕｚｏｏｍ，ｖｚｏｏｍ）を算出する。図２は、基準フレームでの偏差および対象フレームでのパン・チルト偏差を示す。
【００３３】
対象フレームにおけるズームカメラの方位角（パン）変位Δθおよび仰角（チルト）変位Δφを以下の式により算出する。
Δθ＝ａｒｃｔａｎ（ｕｚｏｏｍ／ｆｚｏｏｍ）−ａｒｃｔａｎ（ｕｒｅｆ／ｆｒｅｆ）
Δφ＝ａｒｃｔａｎ（ｖｚｏｏｍ／ｆｚｏｏｍ）−ａｒｃｔａｎ（ｖｒｅｆ／ｆｒｅｆ）
【００３４】
ステップ８：ズームカメラの中心射影行列を推定。ステップ６で推定した対象フレームにおけるズームカメラ焦点距離ｆｚｏｏｍおよびステップ７で推定したパン・チルト偏差Δθ、Δφから対象フレームでの中心射影行列Ｐｚｏｏｍを算出する。
最初に、内部パラメータ行列Ａｚｏｏｍを、
【数２】
より求める。なお、ｗｉｄｔｈ、ｈｅｉｇｈｔは、それぞれ、ステップ６で設定した対象フレームにおけるズームカメラ画像の長方形領域の幅、高さである。
次に、パン・チルト値を、
θｚｏｏｍ＝θｒｅｆ＋Δθ、φｚｏｏｍ＝φｒｅｆ＋Δφ
で求める。なお、θｒｅｆおよびφｒｅｆは、基準フレームでのパン・チルト値を表す。これらは、ステップ２で基準フレームでのズームカメラの中心射影行列を推定する際に求められる。次に、回転行列Ｒｚｏｏｍを、
【数３】
より求める。
最後に、並進ベクトルｔｚｏｏｍを、
ｔｚｏｏｍ＝−ＲｚｏｏｍＭｚｏｏｍ
より求める。なお、Ｍｚｏｏｍは、ステップ４で求めたズームカメラの３次元位置Ｍｚｏｏｍである。
これらの内部パラメータ行列Ａｚｏｏｍ、回転行列Ｒｚｏｏｍ、および並進ベクトルｔｚｏｏｍから、中心射影行列Ｐｚｏｏｍを、式
Ｐｚｏｏｍ＝Ａｚｏｏｍ［Ｒｚｏｏｍ｜ｔｚｏｏｍ］
から算出する。
【００３５】
ステップ９：ズームカメラの被写体テクスチャをマッピング。既存技術の手法で固定カメラ画像から作成された自由視点映像に、ズームカメラの被写体テクスチャを貼り付ける。ズームカメラ画像に含まれる被写体について、図３のように被写体マスク領域および被写体マスク領域の外接長方形領域を抽出する。外接長方形領域の底辺中心座標を中心射影行列Ｐｚｏｏｍによりマッピングし、縦横比を基に被写体の３次元ビルボードモデルを構築する。構築された３次元ビルボードモデルを固定カメラから生成した自由視点画像に貼り付ける。ここで貼り付けられたテクスチャは、ズームカメラにより撮影されたものであるため、元の固定カメラ画像より、画像の精度が高く、高精度の人物画像が得られる。
【００３６】
最後に、本発明の効果を実際に生成された自由視点での画像により示す。図４は、対象フレームでの固定カメラ画像の例を示す。図５は、対象フレームでのズームカメラ画像の例を示す。図６は、既存技術により生成された自由視点画像の例を示す。図４の画像のような固定カメラ画像のみから作成された自由視点画像である。図７は、図６と同じ視点での本発明による自由視点画像の例を示す。固定カメラ画像に加え、図５の画像から作成された自由視点画像である。図６と図７を比較すると、ズームカメラのテクスチャを用いているため、図７の人物の方が解像度が高く、合成画質が向上していることが分かる。
【００３７】
なお、上記実施形態は１台のズームカメラから撮影された画像から作成された被写体テクスチャを貼り付けたが、複数台のズームカメラから撮影された画像を貼り付けることも可能である。この場合、複数台のズームカメラの中心射影行列Ｐｚｏｏｍを求め、複数の構築された３次元ビルボードモデルを求めて、これらの平均を取ることにより、１つの３次元ビルボードモデルを作成して、それを貼り付ける。
【００３８】
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。
【特許請求の範囲】
【請求項１】
１台以上の固定カメラが撮影した固定カメラ画像と、３次元位置およびパン・チルト・フォーカスの変更を伴う１台以上の非固定ズームカメラが撮影した非固定ズームカメラ画像から、自由視点画像を生成する方法であって、
前記非固定ズームカメラの中心射影行列を推定するステップと、
前記非固定ズームカメラ画像に含まれる被写体の３次元モデルを構築するステップと、
前記固定カメラ画像から自由視点画像を生成するステップと、
前記被写体の３次元モデルのテクスチャを、前記自由視点画像にマッピングするステップと、
を含むことを特徴とする自由視点画像を生成する方法。
【請求項２】
前記非固定ズームカメラの中心射影行列を推定するステップは、
前記非固定ズームカメラ画像内の特定オブジェクトの３次元位置情報をもとに推定することを特徴とする請求項１に記載の自由視点画像を生成する方法。
【請求項３】
前記非固定ズームカメラの中心射影行列を推定するステップは、
前記特定オブジェクトが固定物の場合、該固定物の３次元座標と前記非固定ズームカメラ画像内の画素座標との組を６つ以上与えることにより推定することを特徴とする請求項２に記載の自由視点画像を生成する方法。
【請求項４】
前記非固定ズームカメラの中心射影行列を推定するステップは、
前記特定オブジェクトが動的物体の場合、
前記非固定ズームカメラの３次元位置および焦点距離を推定するサブステップと、
前記非固定ズームカメラの方位角および仰角を推定するサブステップと、
を含むことを特徴とする請求項２に記載の自由視点画像を生成する方法。
【請求項５】
前記非固定ズームカメラ画像に含まれる被写体の３次元モデルを構築するステップは、
前記被写体の被写体マスク領域を抽出し、
前記被写体マスク領域の外接長方形領域を抽出し、
前記外接長方形領域の底辺の中心点座標および縦横比をもとに、３次元空間における当該外接長方形領域を３次元ビルボード領域としてモデル化することを特徴とする請求項１から４のいずれか１項に記載の自由視点画像を生成する方法。
【請求項６】
前記被写体の３次元モデルのテクスチャを、前記自由視点画像にマッピングするステップは、
前記被写体の３次元ビルボード領域に対して、前記外接長方形領域のテクスチャを対応付けることを特徴とする請求項５に記載の自由視点画像を生成する方法。
【請求項７】
前記非固定ズームカメラの３次元位置および焦点距離を推定するサブステップは、
前記固定カメラの中心射影行列をもとに前記固定カメラの３次元位置および焦点距離を推定し、
前記特定オブジェクトとして固定物を含む第２の非固定ズームカメラ画像に、該固定物の３次元座標と前記第２の非固定ズームカメラ画像内の画素座標との組を６つ以上与えることにより、第２の中心射影行列を推定し、該第２の中心射影行列をもとに、前記非固定ズームカメラの３次元位置を推定し、
前記固定カメラ画像内の特定オブジェクトのフィールド平面上３次元座標を、前記固定カメラの平面射影行列でマッピングすることで、当該特定オブジェクトのフィールド平面上３次元座標を推定し、
前記固定カメラから前記特定オブジェクトまでの３次元距離と、前記固定カメラ画像中での前記特定オブジェクトの領域の大きさの比率を算出し、
前記非固定ズームカメラから前記特定オブジェクトまでの３次元距離と、前記非固定ズームカメラ画像中での前記特定オブジェクトの領域の大きさの比率を算出し、
前記比率をもとに前記非固定ズームカメラの焦点距離を推定することを特徴とする請求項４に記載の自由視点画像を生成する方法。
【請求項８】
前記非固定ズームカメラの方位角および仰角を推定するサブステップは、
前記特定オブジェクトのフィールド平面上３次元座標を、前記第２の中心射影行列を用いて射影し、画像中心からの偏差を算出し、
前記特定オブジェクトの前記非固定ズームカメラ画像の画像中心からのパン・チルト偏差を算出し、
前記偏差および前記パン・チルト偏差から、方位角変位および仰角変位を算出し、
前記第２の非固定ズームカメラ画像から推定された方位角および仰角に、前記方位角変位および仰角変位を足し合わせることで、前記非固定ズームカメラの方位角および仰角を推定することを特徴とする請求項７に記載の自由視点画像を生成する方法。
【請求項９】
１台以上の固定カメラが撮影した固定カメラ画像と、３次元位置およびパン・チルト・フォーカスの変更を伴う１台以上の非固定ズームカメラが撮影した非固定ズームカメラ画像から、自由視点画像を生成するためのコンピュータを、
前記非固定ズームカメラの中心射影行列を推定する手段と、
前記非固定ズームカメラ画像に含まれる被写体の３次元モデルを構築する手段と、
前記固定カメラ画像から自由視点画像を生成する手段と、
前記被写体の３次元モデルのテクスチャを、前記自由視点画像にマッピングする手段と、
して機能させ、自由視点画像を生成することを特徴とするプログラム。
【請求項１】
１台以上の固定カメラが撮影した固定カメラ画像と、３次元位置およびパン・チルト・フォーカスの変更を伴う１台以上の非固定ズームカメラが撮影した非固定ズームカメラ画像から、自由視点画像を生成する方法であって、
前記非固定ズームカメラの中心射影行列を推定するステップと、
前記非固定ズームカメラ画像に含まれる被写体の３次元モデルを構築するステップと、
前記固定カメラ画像から自由視点画像を生成するステップと、
前記被写体の３次元モデルのテクスチャを、前記自由視点画像にマッピングするステップと、
を含むことを特徴とする自由視点画像を生成する方法。
【請求項２】
前記非固定ズームカメラの中心射影行列を推定するステップは、
前記非固定ズームカメラ画像内の特定オブジェクトの３次元位置情報をもとに推定することを特徴とする請求項１に記載の自由視点画像を生成する方法。
【請求項３】
前記非固定ズームカメラの中心射影行列を推定するステップは、
前記特定オブジェクトが固定物の場合、該固定物の３次元座標と前記非固定ズームカメラ画像内の画素座標との組を６つ以上与えることにより推定することを特徴とする請求項２に記載の自由視点画像を生成する方法。
【請求項４】
前記非固定ズームカメラの中心射影行列を推定するステップは、
前記特定オブジェクトが動的物体の場合、
前記非固定ズームカメラの３次元位置および焦点距離を推定するサブステップと、
前記非固定ズームカメラの方位角および仰角を推定するサブステップと、
を含むことを特徴とする請求項２に記載の自由視点画像を生成する方法。
【請求項５】
前記非固定ズームカメラ画像に含まれる被写体の３次元モデルを構築するステップは、
前記被写体の被写体マスク領域を抽出し、
前記被写体マスク領域の外接長方形領域を抽出し、
前記外接長方形領域の底辺の中心点座標および縦横比をもとに、３次元空間における当該外接長方形領域を３次元ビルボード領域としてモデル化することを特徴とする請求項１から４のいずれか１項に記載の自由視点画像を生成する方法。
【請求項６】
前記被写体の３次元モデルのテクスチャを、前記自由視点画像にマッピングするステップは、
前記被写体の３次元ビルボード領域に対して、前記外接長方形領域のテクスチャを対応付けることを特徴とする請求項５に記載の自由視点画像を生成する方法。
【請求項７】
前記非固定ズームカメラの３次元位置および焦点距離を推定するサブステップは、
前記固定カメラの中心射影行列をもとに前記固定カメラの３次元位置および焦点距離を推定し、
前記特定オブジェクトとして固定物を含む第２の非固定ズームカメラ画像に、該固定物の３次元座標と前記第２の非固定ズームカメラ画像内の画素座標との組を６つ以上与えることにより、第２の中心射影行列を推定し、該第２の中心射影行列をもとに、前記非固定ズームカメラの３次元位置を推定し、
前記固定カメラ画像内の特定オブジェクトのフィールド平面上３次元座標を、前記固定カメラの平面射影行列でマッピングすることで、当該特定オブジェクトのフィールド平面上３次元座標を推定し、
前記固定カメラから前記特定オブジェクトまでの３次元距離と、前記固定カメラ画像中での前記特定オブジェクトの領域の大きさの比率を算出し、
前記非固定ズームカメラから前記特定オブジェクトまでの３次元距離と、前記非固定ズームカメラ画像中での前記特定オブジェクトの領域の大きさの比率を算出し、
前記比率をもとに前記非固定ズームカメラの焦点距離を推定することを特徴とする請求項４に記載の自由視点画像を生成する方法。
【請求項８】
前記非固定ズームカメラの方位角および仰角を推定するサブステップは、
前記特定オブジェクトのフィールド平面上３次元座標を、前記第２の中心射影行列を用いて射影し、画像中心からの偏差を算出し、
前記特定オブジェクトの前記非固定ズームカメラ画像の画像中心からのパン・チルト偏差を算出し、
前記偏差および前記パン・チルト偏差から、方位角変位および仰角変位を算出し、
前記第２の非固定ズームカメラ画像から推定された方位角および仰角に、前記方位角変位および仰角変位を足し合わせることで、前記非固定ズームカメラの方位角および仰角を推定することを特徴とする請求項７に記載の自由視点画像を生成する方法。
【請求項９】
１台以上の固定カメラが撮影した固定カメラ画像と、３次元位置およびパン・チルト・フォーカスの変更を伴う１台以上の非固定ズームカメラが撮影した非固定ズームカメラ画像から、自由視点画像を生成するためのコンピュータを、
前記非固定ズームカメラの中心射影行列を推定する手段と、
前記非固定ズームカメラ画像に含まれる被写体の３次元モデルを構築する手段と、
前記固定カメラ画像から自由視点画像を生成する手段と、
前記被写体の３次元モデルのテクスチャを、前記自由視点画像にマッピングする手段と、
して機能させ、自由視点画像を生成することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１８５７７２（Ｐ２０１２−１８５７７２Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−５００８１（Ｐ２０１１−５００８１）
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]