仮想視点画像生成方法および仮想視点画像生成装置
【課題】被写体にオクルージョン（遮蔽）がある場合でも、極端な画像の劣化を防止し、かつ、短時間で画像を生成する。
【解決手段】各投影点毎に、各投影点に対応する被写体の複数の画像の対応点間の相関度を算出するステップＤと、前記各投影点における相関度に基づいて、前記各投影点に物体の表面が存在する確率である存在確率を決定するステップＥとを有し、ステップＤは、被写体の複数の画像の中から選んだいくつかの画像の組み合わせであるカメラセットを複数組用意し、各カメラセットに含まれる画像の各投影点に対応する対応点から各投影点について相関度を求め、前記ステップＥは、前記カメラセット毎に求めた前記各投影点の相関度に基づき、カメラセットの代表となる１つの視点位置である代表視点を通る直線上の値の合計が一定値となる正規化処理を施した部分存在確率を算出し、カメラセット毎に決定した部分存在確率の統合処理をして前記各投影点の存在確率を決定する。
【解決手段】各投影点毎に、各投影点に対応する被写体の複数の画像の対応点間の相関度を算出するステップＤと、前記各投影点における相関度に基づいて、前記各投影点に物体の表面が存在する確率である存在確率を決定するステップＥとを有し、ステップＤは、被写体の複数の画像の中から選んだいくつかの画像の組み合わせであるカメラセットを複数組用意し、各カメラセットに含まれる画像の各投影点に対応する対応点から各投影点について相関度を求め、前記ステップＥは、前記カメラセット毎に求めた前記各投影点の相関度に基づき、カメラセットの代表となる１つの視点位置である代表視点を通る直線上の値の合計が一定値となる正規化処理を施した部分存在確率を算出し、カメラセット毎に決定した部分存在確率の統合処理をして前記各投影点の存在確率を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点画像生成方法および仮想視点画像生成装置に係り、特に、被写体にオクルージョン（遮蔽）がある場合に有効な技術に関する。
【背景技術】
【０００２】
近年、コンピュータグラフィックス（ＣＧ）やバーチャルリアリティ（ＶＲ）の分野では、複数の視点位置のカメラで撮影された画像（多視点画像）をもとに、カメラが設置された視点位置からだけでなく、利用者が望む視点位置（目的視点）から見た被写体の画像（目的画像）をコンピュータにより生成する技術が盛んに研究されている。
これらの技術の多くでは、多視点画像を入力として、まず被写体の３次元幾何的モデルを推定し、次にモデルの表面の色（モノクロ画像の場合は輝度）を推定し、最後に３次元モデルに対し透視射影や正射影などの２次元変換を行って２次元の目的画像を出力するという大きく３つのプロセスを経る。
このうち、最後の３次元モデルから２次元画像への変換処理は、多くの方式において共通のアルゴリズムを用いられているため、幾何的なモデルの推定および色の推定のアルゴリズムが、生成される画質に影響すると言える。
特に、撮影された多視点画像において、ある視点位置から撮影された画像において見えている被写体の部分が、ある他の視点位置からは隠れて撮影されていない場合、すなわち元となる多視点画像がオクルージョン（遮蔽）を含む場合、幾何的なモデルの推定と色の推定が共に難しいことが知られている。
【０００３】
なお、本願発明に関連する先行技術文献としては以下のものがある。
【非特許文献１】Okutomi，M．and Kanade，T．：”A multiple-baseline stereo，”Pattern Analysis and Machine Intelligence，IEEE Transactions on，Vol.15，no.4pp.353-363，Apr 1993.
【非特許文献２】Michael Potmesil，”Generating octree models of 3D objects from their Silhouettes in a sequence of images，”Computer Vision，Graphics，and Image Processing，v.40n.1，p.1-29，Oct.1987.
【非特許文献３】Richard Szeliski：”A Multi-View Approach to Motion and Stereo，”In CVPR’99.Vol.1，PP.157-163，Fort Collins，June 1999.
【非特許文献３】C.L.Zitnick，S.B.Kang，M.Uyttendaele,S.Winder，and R.Szeliski.：”High-quality video view interpolation using a layered representation.”In Proceedings of SIGGRAPH 2004，pp.600-608，2004.
【非特許文献５】P.E.Debevec，C.J.Taylor，and J.Malik：”Modeling and Rendering Architecture from Photographs：A Hybrid Geometry-and Image-Based Approach，”SIGGRAPH’96，pp.11-20，1996.
【非特許文献６】Gregory G.Slabaugh，Ronald W.Schafer，and Mat C.Hans：”Image-Based Photo Hulls for Fast and Photo-Realistic New View Synthesis，”Real-Time Imaging,Vol.9，No.5，October 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
以下では、既存の手法における幾何的なモデルの推定方法と色の推定方法について、先行研究が採用している手法を述べる。
まず、幾何モデルを推定する方法の代表的なものとして、ステレオ法がある。ステレオ法においては、多視点画像で撮影されている被写体上の同一の点（対応点）を特定し（対応点マッチング）、三角測量の原理でその距離を求める。
多くの対応点マッチングにおいては、想定する奥行きにおける各画像の対応点および周辺領域の色（または輝度）の差により評価関数を設定し、この評価関数を最小となる奥行きを推定値とする。
しかし、ステレオ法を利用した多くの手法においては、すべてのカメラにより対応点が見えていることを仮定している。
よって、対応点がいくつかの画像において隠れている領域（以下、オクルージョン領域）においては、幾何モデルの推定の信頼性（存在確率）は著しく低下する。
カメラの数を多くすることで、オクルージョンが生じているカメラの画像の影響を相対的に小さくするマルチベースライン法（前記非特許文献１参照）も考案されているが、オクルージョン領域付近では効果が十分とは言えず、推定の信頼性が低下する傾向がある。
【０００５】
また、幾何モデルの推定法としてステレオ法と並んで代表的な方法に、視体積交差法（Shape from Silhouette）と呼ばれる方法（前記非特許文献２参照）がある。視体積交差法においては、多視点画像における被写体の輪郭をもとに、３次元空間中で被写体が占める領域を求める。
しかし、この方法は原理的に被写体が凸形状であることを仮定しているため、凹形状の被写体に対しては正しくモデルを取得することができない。また、そもそも背景画像と被写体の輪郭を正確に抽出する最初の過程自体が難しく、未だコンピュータ・ビジョン分野における主要な研究課題となっている。
よって、映画の特撮などでよく使われるブルーバックと呼ばれる単色の背景を用いる必要があるなど、撮影条件は限定されることが多い。
【０００６】
さて、撮影画像がオクルージョンを含むということは、ある方向からは見ることができ、ある方向からは見ることのできない状況であると言える。よって、位置の近いカメラにおいては被写体を見る方向が類似し、結果として撮影される被写体の遮蔽関係も類似することが多い。
そのため、すべてのカメラからの画像を同等に用いて奥行きを推定するのではなく、位置の近いカメラだけで奥行きを推定した方がオクルージョンの影響を受けにくく、推定の信頼性が向上する場合がある。
このことを利用し、まず位置が近いカメラを用いて部分的な評価関数を設定し、そして部分的な評価関数の合成関数として全体的な評価関数を設定し、その全体的な評価関数を最小とするような奥行きを推定する方法が提案されている（前記非特許文献３参照）。
しかし、合成された評価関数を最小とする最適解を求めるには、繰り返し演算により非常に時間のかかる処理を必要とするため、実時間処理には向かない。
【０００７】
一方、複数の位置からの奥行きマップを求め、統合する研究例（前記非特許文献４参照）がある。
しかし、一旦、各視点にて奥行きマップを求めたあと、それらを統合する処理においては、複数の奥行きマップのブレンディングにおいて、推定の信頼性を考慮に入れていない。よって、推定の信頼性の低い奥行きマップの推定値が統合後の奥行きマップに反映される恐れがある。
次に、色の推定としては、視点依存テクスチャマッピング（前記非持許文献５参照）という方法がよく用いられる。
視点依存テクスチャマッピングでは、被写体の着目する点の色を決定する際、複数のカメラの対応点における色を重み付きブレンディングすることで決定し、その重み係数は、着目点から目的視点までの直線およびカメラの視点までの直線のなす角により決定され、その角度が小さいほど重みが大きく設定される。すると、被写体の着目点から目的視点に飛来する光線と角度が近い光線ほど、大きな比重で色がブレンディングされる。
しかし、オクルージョンが生じている場合、光線の角度が近いからといって、目的視点とカメラ視点において、被写体表面上の同一の点を撮影しているとは限らない。すなわち、色の正確な推定のためには、隠れていない色のみを用いて色のブレンディングを行う必要がある。
【０００８】
よって、どのカメラで隠れが生じているかを被写体形状より判断する可視性判断（Visibility Check）を行う先行研究がある（前記非特許文献６参照）。
しかし、可視性判断のためには幾何モデルが必要である一方で、そもそも幾何モデルの推定には、カメラの対応点間における色の一致度を用いるため、隠れが生じているカメラを除外するための可視性判断が必要となる。すなわち、可視性判断のためには正確な幾何モデルが必要であり、幾何モデルの推定のためには可視性判断が必要となり、両者は相互に依存している。
そのため、幾何モデルの推定を収束するまで繰り返すという処理が行われることが多いが、そうすると計算機負荷が高くなり、結果として処理速度が遅くなるという欠点がある。
また、可視性判断として、見えているか・見えていないかの２者択一であるため、収束に時間がかかり、また、誤りが生じたときに画像に与える影響が大きいと言える。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、複数の視点位置で撮影された被写体の画像を元にして所望の視点から見た画像を生成する画像生成方法および画像生成装置において、被写体にオクルージョン（遮蔽）がある場合でも、極端な画像の劣化を防止し、かつ、短時間で画像を生成することが可能となる技術を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【課題を解決するための手段】
【０００９】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
（１）複数の異なる視点から被写体を撮影した被写体の複数の画像に基づき、任意の仮想位置の基準視点から見た前記被写体の画像を生成する仮想視点画像生成方法であって、前記複数の異なる視点から被写体を撮影した前記被写体の複数の画像を取得するステップＡと、仮想的な３次元空間中に前記基準視点から見て奥行き位置の異なる多層構造の投影面を設定するステップＢと、前記複数の投影面上の前記基準視点から見て重なり合う複数の投影点と対応する前記取得した前記被写体の複数の画像の対応点の色情報または輝度情報から、前記各投影点の色情報または輝度情報を決定するステップＣと、前記各投影点毎に、前記被写体の複数の画像の前記各投影点に対応する対応点間の相関度を算出するステップＤと、前記各投影点における相関度に基づいて、前記各投影点に物体の表面が存在する確率を表す存在確率を決定するステップＥと、前記各投影点の色情報または輝度情報と、前記各投影点での存在確率に基づいて、前記基準視点から見た前記被写体の画像を生成するステップＦとを有し、前記ステップＤは、前記被写体の複数の画像の中から選んだいくつかの画像の組み合わせであるカメラセットを複数組用意するステップＤ１と、前記各カメラセットに含まれる各被写体の画像上の前記各投影点に対応する対応点から、前記各投影点について相関度を求めるステップＤ２とを有し、前記ステップＥは、前記カメラセット毎に求めた前記各投影点の相関度に基づき、カメラセットの代表となる１つの視点位置である代表視点を通る直線上の値の合計が一定値となる正規化処理を施した部分存在確率を算出するステップＥ１と、前記カメラセット毎に決定した部分存在確率の統合処理をして前記各投影点の存在確率を決定するステップＥ２とを有する。
【００１０】
（２）（１）において、前記ステップＦは、前記各投影点の色情報または輝度情報を前記存在確率の高さに応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、１枚の２次元画像を生成するステップである。
（３）（１）において、前記ステップＦは、前記各投影点の色情報または輝度情報を、前記存在確率の高さと投影面の基準視点からの距離に応じた割合で混合して、生成する画像上の色情報または輝度情報を決定し、２枚以上の２次元画像を生成するステップである。
（４）（１）ないし（３）の何れかにおいて、前記ステップＣは、それぞれのカメラセットに属する各被写体の画像の対応点の色情報または輝度情報から、前記各投影点におけるカメラセットごとの投影点の色情報または輝度情報を決定するステップＣ１と、前記各投影点におけるカメラセットごとの部分存在確率の高さに応じてカメラセットごとの寄与率を決定するステップＣ２と、前記各投影点におけるカメラセットごとの色情報または輝度情報を、カメラセットごとの寄与率の高さに応じた割合で混合し、前記各投影点の色情報または輝度情報を決定するステップＣ３とを有する。
【００１１】
（５）（４）において、前記ステップＣは、前記カメラセットごとの寄与率に対し、前記各投影点と前記カメラセットの代表視点とを結ぶ線分上にある他の投影点の存在確率に応じた係数を更に乗じ、新たなカメラセットごとの寄与率を決定するステップＣ４を有する。
（６）（１）ないし（５）の何れかにおいて、前記ステップＥ２は、着目する投影点において異なるカメラセットから算出された複数の部分存在確率に、バイアス値を加算し、加算後の部分存在確率に投影面ごとに定めた係数を乗算して統合した存在確率を算出するステップＥ２１と、前記各投影点において統合した存在確率を正規化処理するステップＥ２２とを有する。
（７）（６）において、前記バイアス値あるいは投影面ごとの係数は、着目する投影点と前記基準視点とを結ぶ線分上の他の投影点の存在確率に依存し、それらが大きいほど抑制される。
また、本発明は、（１）ないし（７）の仮想視点画像生成方法を実施する仮想視点画像生成装置である。
【発明の効果】
【００１２】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、複数の視点位置で撮影された被写体の画像を元にして所望の視点から見た画像を生成する画像生成方法および画像生成装置において、被写体にオクルージョン（遮蔽）がある場合でも、極端な画像の防止し、かつ、短時間で画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
本発明の画像生成方法は、撮影視点が異なる複数枚の画像から、前記画像に写っている物体の３次元情報を取得し、前記物体の３次元像を提示する画像、あるいは任意の視点から前記物体を見たときの画像を生成する方法である。
このとき、前記物体の３次元情報は、テクスチャマッピングの手法を用い、多層構造の投影面を設定して、前記観察者の視点（基準視点）から見たときの物体の表面上の各点が存在する確率を推定する。
前記物体の表面が存在する確率を推定するときには、例えば、前記観察者の視点（基準視点）から見て重なり合う各投影面上の点（以下、投影点という）に対して、前記投影点と対応する各画像上の点（以下、対応点という）の相関度を求める。
そして、前記観察者の視点（基準視点）から見て重なり合う各投影点の相関度の高さから、前記重なり合う投影点のうち、どの投影点の近傍に前記物体の表面が存在するか推定する。
【００１４】
ただし、本発明の画像生成方法では、前記観察者の視点（基準視点）から見て重なり合う複数の投影点のうち、どの投影点の近傍に前記物体の表面が存在するかということを考えるのではなく、前記各投影点の近傍に、前記各投影点の相関度の大きさに応じた割合で物体の表面が存在すると考える。
このとき、本発明の画像生成方法では、複数の視点で撮影した画像の中から選んだいくつかの画像の組み合わせ（カメラセット）ごとに前記投影点の相開度を求め、それをもとに各投影点、もしくはその近傍に物体の表面が存在する確率（部分存在確率）をカメラセット毎に決定する。そして、前記カメラセット毎に決定した部分存在確率の統合処理をして、観察者の視点（基準視点）における前記各投影点の存在確率を決定する。
この際、着目する投影点と観察者の視点（基準視点）を結ぶ線分上にある他の投影点の存在確率に依存した統合処理を施し、観察者の視点（基準視点）から見て着目する投影点の手前で高い存在確率を持つ場合には、着目する投影点における存在確率が高くなることを抑止する。
【００１５】
このようにして、前記投影面を観察している観察者から見て、前記物体表面までの距離の推定が難しい部分を曖昧に描画し、不連続なノイズ等を目立ちにくくするとともに、オクルージョン（遮蔽）により前記投影点を撮影していないカメラの画像の影響を少なくすることで、前記相関度の高さの信頼性が向上し、前記存在確率の信頼性も向上する。
さらに、前記被写体の３次元情報に基づいて画像を生成するときに、前記投影点の色情報を前記生成する画像上の各点の色情報に割り当てるときに、前記統合された存在確率の高さに応じた寄与率で割り当てる。
ここで、投影点の色情報は、部分存在確率の高さに応じた寄与率でカメラセットに含まれるカメラの対応点を混色することや、さらに前記のカメラセット毎の寄与率に対し、着目する投影点とカメラセットの代表視点とを結ぶ線分上にある他の投影点の存在確率に応じた係数を更に乗じ、新たなカメラセットごとの寄与率とすることで、投影点を撮影していないカメラの対応点の色の寄与を少なくすることができ、色の再現性が向上する。
【００１６】
＜原理説明＞
図１乃至図９は、本発明の画像表示方法の原理を説明するための模式図であり、図１は画像生成の座標設定の一例を示す図、図２は被写体表面の色情報および存在確率情報を求める多層の投影面の一例を示す図、図３は複数のカメラ間の対応点を説明した図、図４はカメラで撮影された画像を投影面上に透視投影した一例を示す図、図５は観察者の視点（基準視点）とカメラのなす角度によりカメラ毎の色の寄与率（重み）を決定する一例を示す図、図６は従来法による画像生成の処理フローの一例を示した図、図７はオクルージョンが発生している状況の一例を示す図、図８は着目する投影点よりも手前の投影点の存在確率の累計を説明した図、図９は本発明の実施例の画像生成の処理フローの一例を示した図である。
【００１７】
【００１８】
【００１９】
【数１】
ここで、αｕ、αｖはカメラの焦点距離および画素ピッチにより規定されるパラメータ、ｕ０，ｖ０は画像の中心位置を表すパラメータである。
また、回転行列Ｒｉは３×３の行列であり、その成分を下記（３）式とおくと、ベクトルｒｉ（１）、ｒｉ（２）、ｒｉ（３）は互いに直行する単位ベクトルとなる。
【００２０】
【数２】
また、並進ベクトルｔｉは３次元の列ベクトルであり、下記（４）式のように表される。
【００２１】
【数３】
【００２２】
【００２３】
【数４】
【００２４】
ここで、投影点が同一の投影面に存在する場合、投影点Ｍと観察者の視点（基準視点）における点ｍは一対一写像となり、観察者の視点（基準視点）の画像座標により投影面Ｌｊ上の投影点の位置を一意に示すことができる。
そこで、以下では、ある特定の投影面に着目した際の投影点を観察者の視点（基準視点）の画像座標ｍにより表すことにする。また一方で、異なる投影面に存在するいくつかの投影点が観察者の視点（基準視点）を通る同一直線上にある場合、観察者の視点（基準視点）の画像座標では同一の座標で表される。
すなわち、図２に示すとおり、前述の（５）式により、ｍに写像される投影点の集合
{Ｍｊ|ｊ∈Ｊ}は観察者の視点（基準視点）Ｖを通る同一直線上にある。
【００２５】
＜画像生成原理＞
ここで、投影面上Ｌｊの座標ｍにおける色をＴｖｊ（ｍ）、被写体表面の存在確率をｑＶｊ（ｍ）とおく。添え字Ｖは、観察者の視点（基準視点）Ｖの画像座標系で表していることを示す。
すると、{ＴＶｊ（ｍ）|ｊ∈Ｊ}と{ｑＶｊ（ｍ）|ｊ∈Ｊ}はそれぞれ観察者の視点（基準視点）Ｖを通る直線上の色の集合および存在確率の集合となる。
そして、本発明において、観察者の視点（基準視点）Ｖにおける画像を生成する基本となる処理は、下記（６）式に示す演算により表される。
【００２６】
【数５】
【００２７】
すなわち、観察者の視点（基準視点）Ｖから見て同一直線上にある投影点の色にその存在確率を乗算したものを加算していくことで、同一直線上にある投影点の色を期待値として取得し、画像を生成する。
このように、観察者の視点（基準視点）における画像生成法は、前述の（６）式により表されるが、（６）式中のｑｖｊ（ｍ）およびＴｖｊ（ｍ）をいかにして推定するかが、生成画像の品質を決定する大きな要因となり、本発明の特徴となる。
そこで以下では、対比としてまた出発点として、従来の推定法の一例について述べる。
＜従来法による存在確率と色マップの推定＞
まず、存在確率ｑｖｊ（ｍ）は投影面Ｌｊ上の観察者の視点（基準視点）座標ｍの位置に被写体表面が存在する確率を表す関数であり、次の条件を満たす。
【００２８】
【数６】
【００２９】
すなわち、観察者の視点（基準視点）Ｖを通る直線上の投影点における存在確率は０から１の間の値をとり、その合計が１となっている。ただし、本発明は合計値が厳密に１となっている場合のみに限定されるものではなく、何らかの正規化処理がされていることをその本旨とする。
この存在確率の推定法は、複数のカメラ{Ｃｉ|ｉ∈Ｉ}の複数の対応点における色もしくは輝度の相関により求める。
対応点とは、図３に示すように、同一の投影点が、前述の（５）式により写像されたとき、それぞれのカメラの画像上で対応する点とする。このとき、対応点同士が近い色（もしくは輝度）をもつほど、対応点のもととなる投影点上に被写体の表面が存在する確率が高い。
すなわち、図３において、投影点Ｐ上に被写体表面が存在する場合、同一の被写体表面上の点が各カメラで対応点にて結像されている。この場合、異なるカメラの対応点同士が近い色（もしくは輝度）をもつ可能性が高い。
一方、投影点Ｑ上に被写体表面が存在しない場合、各カメラの対応点では、異なる被写体表面上の点Ｑｉ，Ｑｉ＋１が結像されている。
この場合は、異なるカメラの対応点同士が近い色（もしくは輝度）をもつ可能性は低い。
ここで、観察者の視点（基準視点）の画像座標においてｍにある投影面Ｌｊ上の投影点の対応点の集合は、それぞれのカメラの画像座標において、下記（８）で与えられる。
【００３０】
【００３１】
【数９】
【００３２】
ここで、ｄｊは観察者の視点（基準視点）から投影面Ｌｊまでの距離、ｎは観察者の視点（基準視点）座標系における法線ベクトルである。
すると、投影面Ｌｊで関連づけられる対応点の色の集合は、下記（１０）式で表される。
【００３３】
[数１０]
｛Ｉｉ（ｍｉｊ）|ｉ∈Ｎ} ・・・・・・・・・・ （１０）
ここで、図４に示すように、各カメラの視点を中心として各カメラの画像を投影面Ｌｊ上に透視投影し、観察者の視点（基準視点）Ｖの画像座標系で表したものをＩＶｉｊ（ｍ）とすると、下記（１１）式の関係がある。
【００３４】
【数１１】
ここで、ＨｉＶｊは、投影面Ｌｊを介してカメラＣｉの画像座標から観察者の視点（基準視点）Ｖの画像座標に変換するホモグラフィ行列である。よって、（１０）式の対応点の色の集合は、観察者の視点（基準視点）Ｖの画像座標系で、下記（１２）式として表すことができる。
【００３５】
[数１２]
｛ＩＶｉｊ（ｍ）|ｉ∈Ｎ} ・・・・・・・・・（１２）
【００３６】
前述の（１０）式が、それぞれのカメラの座標系の異なる位置ｍｉｊによる表現であるのに対し、（１２）式は観察者の視点（基準視点）の座標系の共通の位置ｍにおける表現となり、前述の（１１）式の処理をすることで異なるカメラの対応点を参照する際に共通の座標を用いることができ、効率が向上する。
ただし、本発明は対応点の参照としてこのような形態に限定されるものではない。
ここで、{ＩＶij（ｍ）|ｉ∈Ｎ}の各色成分（例えば［Ｒ，Ｇ，Ｂ］値）の分散値を合計したものをσ２（ｍ）とおく。
すると、投影面Ｌｊの位置ｍにおける対応点の相関の度合いは、例えば、下記（１３）式と表すことができる。また別の例としては下記（１４）式のように表すことができる。
【００３７】
【数１３】
【００３８】
【数１４】
【００３９】
ここで、ｎ，ε，τは調整用のパラメータである。
ＳＶｊ（ｍ）の値が大きいほど画像間の相関が高い。また、ここでは対応点の一画素ごとに相関値をとったが、対応点付近の領域に含まれる画素の相関値の合計値をとることで、平滑化の効果を持たせることもできる。
このようにして計算した相関の度合いを用いると、前述の（７）式の条件を満たす存在確率は、例えば、下記（１５）式のように算出することができる。
【００４０】
【数１５】
【００４１】
以上が、観察者の視点（基準視点）から見た投影面上の投影点の存在確率ｑｖｊ（ｍ）を求める手法の一例である。
次に、観察者の視点（基準視点）Ｖから見た投影点の色Ｔｖｊ（ｍ）は、下記（１６）式に示すように、各カメラの対応点の色を適切な重みをつけて混合することにより設定することができる。
【００４２】
【数１６】
【００４３】
ここで、Ｉｖij（ｍ）はカメラＣｊの画像を投影面Ｌｊに投影した画像であり、ｗｖij（ｍ）は投影面ＬｊにおけるカメラＣｊの重み係数である。
Ｉｖij（ｍ）は前述の（１１）式により求めることができるため、ｗｖij（ｍ）を推定することで、Ｔｖｊ（ｍ）も求めることができる。
ｗｖｉｊ（ｍ）の推定は、従来法においては、図５において、近接する光線ほどその色情報が近いという前提により、ＰＶとＰＣｉのなす角度θｉｊにより、重みｗｖｉｊ（ｍ）を決定していた。
その一例として、下記（１７）式、（１８）式で決定することができる。
【００４４】
【数１７】
【００４５】
【数１８】
【００４６】
ここで、κは調整用のパラメータである。
例えば、図５では、角度θｉｊ＜θ（ｉ＋１）ｊとなり、重みｗｖｉｊ（ｍ）＞ｗｖ（ｉ＋１）ｊ（ｍ）となる。
以上、従来法において観察者の視点（基準視点）の画像を生成する方法および、そこで必要となる投影点の存在確率および色（もしくは輝度）情報の求め方について述べた。
上記の処理フローを示した一例を図６に示す。図６中、処理を長方形で、データを角丸長方形で表している。
途中、左右にフローが分かれる箇所があるが、左側のフローで色情報を算出し、右側のフローで存在確率の情報を算出し、最終的に両者を用いて目的となる画像を生成している。
即ち、ステップ１０において、カメラパラメータ{Ａｉ，Ｒｉ，ｔｉ|ｉ∈Ｎ}、{ＡＶ，ＲＶ，ｔＶ}に基づき、前述の（１７）式、あるいは（１８）式に示す計算式により、重みマップ{ｗＶｉｊ（ｍ）|ｉ∈Ｎ，ｊ∈Ｊ}を計算する。
また、ステップ１１において、カメラパラメータ{Ａｉ，Ｒｉ，ｔｉ|ｉ∈Ｎ}、{ＡＶ，ＲＶ，ｔＶ}と、カメラ画像{Ｉｉ（ｍ）|ｉ∈Ｎ}とに基づき、前述の（１１）式に示す計算式により、基準視点Ｖを中心としたカメラ画像の投影画像{ＩＶｉｊ（ｍ）|ｉ∈Ｎ}を生成する。
また、ステップ１２において、重みマップ{ｗＶｉｊ（ｍ）|ｉ∈Ｎ，ｊ∈Ｊ}と、投影画像{ＩＶｉｊ（ｍ）|ｉ∈Ｎ}とに基づき、前述の（１６）式に示す計算式により、色マップ{ＴＶｊ（ｍ）|ｊ∈Ｊ}を生成する。
また、ステップ１３において、投影画像{ＩＶｉｊ（ｍ）|ｉ∈Ｎ}に基づき、前述の（１３）式、（１４）式、（１５）式に示す計算式により、存在確率{ｑＶｊ（ｍ）|ｊ∈Ｊ}を生成する。
最後に、ステップ１４において、色マップ{ＴＶｊ（ｍ）|ｊ∈Ｊ}と、存在確率{ｑＶｊ（ｍ）|ｊ∈Ｊ}とに基づき、前述の（６）式に示す計算式により、基準視点Ｖから見た画像{ＩＶ（ｍ）}を生成する。
【００４７】
＜オクルージョンのあるシーンでの従来法の不具合＞
さて、シーンが不連続な奥行きを持つ場合、あるカメラからは撮影できて、あるカメラからは撮影できない箇所があり、このような現象は一般にオクルージョンと呼ばれる。
本発明で開示する手法は、このような場合においても、存在確率および色の推定の精度を高めることにその特徴のひとつがある。
例えば、図７において、いちどにすべてのカメラ集合｛Ｃｌ，Ｃ２，Ｃ３，Ｃ４｝を用いて従来法で存在確率の推定を行うと、隠れている部分も含めて対応点の相関度を計算してしまうので、それを元に求められる存在確率の信頼性が低下してしまう。
それに対し、カメラ部分集合ごとに分けて存在確率を求めることで、あるカメラ部分集合においては構成するカメラの多くが着目する被写体表面上の点を撮影し、その箇所において高い部分存在確率を算出することになる。
逆に、あるカメラ部分集合においては構成するカメラの多くが着目する被写体表面上の点を撮影していないこともあり、この場合は算出される部分存在確率は低くなる。
しかし、その後の統合処理において、高い部分存在確率の影響が大きく、低い部分存在確率の影響が低くなる演算を行うことで、前者が後者を補う働きをし、結果として統合された存在確率の信頼性は高くなる効果がある。
既存技術に見られるように、個々のカメラセットにおいて奥行きの情報のみを求め、それらを取捨選択や平均するなどして奥行き情報を統合する方法に比べ、本発明ではカメラセットごとの推定の信頼性の情報も考慮して統合することにより、より確度の高い被写体の３次元情報を算出する効果があると言える。
例えば、図７において、Ｐ１はカメラ部分集合｛Ｃ１，Ｃ２｝を用いて推定すると存在確率の信頼度が低いが、カメラ部分集合｛Ｃ３，Ｃ４｝を用いると存在確率の信頼度が高まる。逆に、Ｐ２はカメラ部分集合｛Ｃ１，Ｃ２｝を用いて推定すると存在確率の信頼度が高く、カメラ部分集合｛Ｃ３，Ｃ４｝を用いると存在確率の信頼度が低い。
そして、仮想視点Ｖからの存在確率の信頼度に統合し、それぞれのカメラ部分集合の推定のうち、信頼度の高い部分の影響が大きくなるようにする。
【００４８】
＜本発明による画像生成法＞
以下では、カメラ部分集合ごとの存在確率の推定法について述べる。
カメラ部分集合はそのメンバの中に基準となるカメラ（基準カメラ）を持ち、そこがカメラ部分集合を代表する視点（以下、代表視点）となる。
そして、代表視点の座標系において投影面Ｌｊにおける部分存在確率ｑｋｍ（ｍ）の推定を行う。
まず、カメラ部分集合をΞｋ＝｛Ｃｉ|ｉ∈Ｎｋ}とおく。ここでｋはカメラ部分集合を示す添え字である。
また、カメラ部分集合のうち基準カメラを｛Ｃｉ（ｋ），ｉ（ｋ）∈Ｎｋ｝とおく。例えば、図７の場合、Ξ１＝｛Ｃ１，Ｃ２}と、Ξ２＝｛Ｃ３，Ｃ４}となる２つのカメラ部分集合があり、Ｃ１とＣ３がそれぞれ基準カメラの場合、Ｃｉ（1）＝Ｃ１，Ｃｉ（２）＝Ｃ３となる。
ここでは簡単のため、すべての部分集合における存在確率は共通のレイヤＬｊ上で推定するものとする。
まず、カメラ部分集合Ξｋにおける基準カメラと他のカメラとの不一致度は、ＳＳＡＤ（Sum of Square Absolute Differences）により、下記（１９）式のように計算される。
【００４９】
【数１９】
【００５０】
ここで、Ｉｋ（ｍ）は基準カメラＣｉ（ｋ）における画像、Ｉｋｉｊ（ｍ）は平面Ｌｊを投影面として、カメラＣｉの画像を基準カメラＣｉ（ｋ）の座標系に投影変換した画像を示す。すなわち、下記（２０）式となる。
【００５１】
【数２０】
【００５２】
ここで、Ｈｉｋｊは平面Ｌｊを介してカメラＣｉから基準カメラＣｉ（ｋ）の画像座標に変換するホモグラフィ行列である。
また、｜ｘ｜はｘのＬ１ノルムを表し、Ｂは対応点付近のブロック領域を表す。
そして、カメラ部分集合Ξｋにより推定される基準カメラＣｉ（ｋ）における部分存在確率ｑｋｊ（ｍ）は、例えば、下記（２１）式のように計算される。
【００５３】
【数２１】
【００５４】
【００５５】
【数２２】
【００５６】
ここで、Ｈｋｖｊは、投影面Ｌｊを介して基準カメラＣｋから観察者の視点（基準視点）Ｖの画像座標に変換するホモグラフィ行列である。
次に、カメラ部分集合毎の存在確率ｑｖｋｊ（ｍ）を統合処理し、観察者の視点（基準視点）からの存在確率を求める。
その一例としては、下記（２３）式、（２４）式のとおり、全ての部分集合の存在確率ｑｖｋｊ（ｍ）を掛け合わせて、さらにすべての投影面について正規化処理を行い、統合的な存在確率ｑｖｊ（ｍ）を得ることができる。
【００５７】
【数２３】
【００５８】
【００５９】
また、投影面の奥行きに応じてバイアス値を変化させ、例えば、奥の投影面ほど小さく、手前の投影面ほど大きく設定すると、手前の投影点の存在確率の方が大きく算出される傾向がある。
このことで、観察者の視点（基準視点）から見て複数の被写体の表面が重なっている場合でも、手前の被写体が優位に描画され、奥の被写体が透けて描画されてしまうことを抑止することができる。
また、特定の領域のバイアス値のみ０以上の値、その他を０と設定した場合、特定の領域にある被写体を強調した画像を生成することができる。
また、手前の存在確率に依存して、例えば、下記（２５）式のバイアス値とすると、着目する投影点よりも手前の投影点の存在確率の累計が大きいほどバイアス値が小さくなり、結果として着目する投影点においては存在確率が抑制されて推定される。
【００６０】
【数２５】
ここでｆ（ｘ）は正の値を返す単調減少の関数であり、例えば以下のように与えられる。
【００６１】
【数２６】
【００６２】
【００６３】
【数２７】
【００６４】
【００６５】
【００６６】
以上、カメラの部分集合ごとの部分存在確率を統合することにより、観察者の視点（基準視点）からの存在確率ｑＶj（ｍ）の推定を行った。
なお、カメラセットはなるべく近傍同士のカメラで構成するのが効果的であり、そうすることで、撮影画像に映っている被写体のオクルージョン傾向が類似し、相関値の計算の信頼性が高くなる。
また、代表視点の位置は任意でもよいが、代表視点の選び方の例としては、カメラセットを構成するカメラのうち、中心に位置するカメラ位置を代表視点する方法がある。
さらに、後述するカメラセットごとの寄与率は、基準視点を与えたときに計算される。すなわち、カメラセットの寄与率は、基準視点とカメラセットとの相対的な位置に依存する。そして、寄与率はカメラセットごとに与えられ、属するカメラごとには算出されない。
【００６７】
また、本実施例では、カメラの部分集合ごとの部分存在確率をもとにして、カメラ寄与率マップｗｉｊ（ｍ）を求める。
従来技術では、前述の（１７）式、（１８）式に示したように、光線の角度をもとにして求めているが、オクルージョンのあるシーンの場合、２つの光線ＣｉＰとＣｖＰのなす角度が小さくても、２つの光線の間に遮蔽物がない保証はない。
例えば、図７においては、θ１ｊ＜θ３ｊであるが、Ｃ１の視点位置からはＰ１はＱに遮られており、Ｐ１の画像を撮影できていないため、Ｗ１ｊを大きくしてＣ１の画像の寄与を高くすると、Ｐ１の代わりにＱの色の寄与が大きくなってしまい、画質が低下する。
そこで、本発明では以下のように、色の寄与率を部分存在確率に連動させ、着目する投影点において高い部分存在確率を持つカメラ部分集合の基準カメラほど高い寄与率を割り振るようにする。
例えば、簡易な形態としては、下記（２９）式に示すものがある。
【００６８】
【数２９】
【００６９】
このようにすれば、存在確率が高くなるカメラ部分集合の基準カメラの重みが大きくなる。存在確率が大きくなるということはそのカメラ部分集合にて、多くのカメラで被写体表面を撮影していることであるから、着目する部位でオクルージョンのないカメラ部分集合ほど、重みが大きくなることになる。
ただし、前述の（２４）式は、カメラ部分集合毎の寄与率であるため、これを個々のカメラ毎の寄与率として表すと、下記（３０）式と表され、前述の（６）式の画像生成式に用いることができる。
【００７０】
【数３０】
【００７１】
また、前述の（１７）式、（１８）式のように、幾何的な位置関係により決定する重みと、前述の（２９）式のようにカメラ部分集合ごとの存在確率により決定する重みとを、両方を考慮し、両者の関数として最終的な重みを決定するともできる。
さらに、（３０）式に基準カメラから見て手前の投影面にある存在確率の累計を反映させた項をさらに乗じて、下記（３１）式とすることで、基準カメラから見て着目する投影点がどの程度の隠れているかを考慮して、カメラ部分集合カメラ毎の寄与率を決定することができる。
【００７２】
【数３１】
【００７３】
【００７４】
＜画像生成の手順（フロー図）＞
以上で述べた画像生成原理を用いて画像を生成する手順を図９に示す。
図中、処理を長方形で、データを角丸長方形で表している。
投影面の色情報と存在確率情報に、前述の（６）式で表される演算を用い、最終的に基準カメラから見た画像を生成するところは従来法と同様である。
しかし、従来法がすべてのカメラＣｉ（ｉ∈Ｎ）をいちどに用いて存在確率情報を求めるとともに、各カメラの色の寄与率（重みマップ）はカメラと観察者の視点（基準視点）の位置関係により決定しているのに対し、本発明の手法においては、カメラを部分集合に分け、部分集合毎に部分存在確率を求め、当該情報をもとにして統合された存在確率および色マップを計算するところが大きな違いとなっている。
即ち、ステップ２０において、カメラパラメータ{Ａｉ，Ｒｉ，ｔｉ|ｉ∈Ｎ}、{ＡＶ，ＲＶ，ｔＶ}と、カメラ画像{Ｉｉ（ｍ）|ｉ∈Ｎ}とに基づき、前述の（１１）式に示す計算式により、基準視点Ｖを中心としたカメラ画像の投影画像{ＩＶｉｊ（ｍ）|ｉ∈Ｎ}を生成する。
またステップ２１において、カメラパラメータ{Ａｉ，Ｒｉ，ｔｉ|ｉ∈Ｎ}、{ＡＶ，ＲＶ，ｔＶ}と、カメラ画像{Ｉｉ（ｍ）|ｉ∈Ｎ}、カメラ部分集合{Ξｋ|ｋ∈Ｋ}とに基づき、前述の（２０）式に示す計算式により、基準カメラＣｉ（ｋ）を中心としたカメラ画像の投影画像{Ｉｋｉｊ（ｍ）}を生成する。
また、ステップ２２において、投影画像{Ｉｋｉｊ（ｍ）}に基づき、前述の（１９）式、（２１）式に示す計算式により、基準カメラＣｉ（ｋ）を中心とした部分存在確率{ｑｋｊ（ｍ）}を生成する。
【００７５】
また、ステップ２３において、基準カメラＣｉ（ｋ）を中心とした部分存在確率{ｑｋｊ（ｍ）}に基づき、前述の（２２）式に示す計算式により、基準視点Ｖを中心とした部分存在確率{ｑＶｋｊ（ｍ）}を生成する。
また、ステップ２４において、カメラパラメータ{Ａｉ，Ｒｉ，ｔｉ|ｉ∈Ｎ}、{ＡＶ，ＲＶ，ｔＶ}と、基準視点Ｖを中心とした部分存在確率{ｑＶｋｊ（ｍ）}とに基づき、前述の（２９）式、（３０）式、（３１）に示す計算式により、寄与率（重み）マップ{ｗＶｉｊ（ｍ）|ｉ∈Ｎ，ｊ∈Ｊ}を生成する。
また、ステップ２５において、寄与率（重み）マップ{ｗＶｉｊ（ｍ）|ｉ∈Ｎ，ｊ∈Ｊ}と、投影画像{ＩＶｉｊ（ｍ）|ｉ∈Ｎ}とに基づき、前述の（１６）式に示す計算式により、色マップ{ＴＶｊ（ｍ）|ｊ∈Ｊ}を生成する。
また、ステップ２６において、基準視点Ｖを中心とした部分存在確率{ｑＶｋｊ（ｍ）}に基づき、前述の（３３）式、（２４）式、（２５）式、（２６）式、（２７）式、（２８）式に示す計算式により、統合された存在確率{ｑＶｊ（ｍ）|ｊ∈Ｊ}を生成する。
最後に、ステップ２７において、色マップ{ＴＶｊ（ｍ）|ｊ∈Ｊ}と、統合された存在確率{ｑＶｊ（ｍ）|ｊ∈Ｊ}とに基づき、前述の（６）式に示す計算式により、基準視点Ｖから見た画像{ＩＶ（ｍ）}を生成する。
なお、本実施例において、それぞれのカメラセットに属する画像の対応点の色情報または輝度情報を選択、あるいは混色し、各投影点におけるカメラセットごとの投影点の色情報または輝度情報を決定した後、各投影点におけるカメラセットごとの部分存在確率の高さに応じてカメラセットごとの寄与率を決定し、各投影点におけるカメラセットごとの色情報または輝度情報を、カメラセットごとの寄与率の高さに応じた割合で混合することで、前記各投影点の色情報または輝度情報を決定することも可能である。
また、本実施例において、各投影点の色情報または輝度情報を、存在確率の高さと投影面の基準視点からの距離に応じた割合で混合して、生成する画像上の色情報または輝度情報を決定し、２枚以上の２次元画像を生成することも可能である。この２次元画像を、ＤＦＤ方式の３次元表示装置の各表示面に表示することにより、３次元立体像を得ることができる。
【００７６】
図１０は、本発明の実施例の仮想視点画像生成方法を実現するための仮想視点画像生成装置の一例の概略構成を示すブロック図であり、図１１は、図１０に示す仮想視点画像生成装置を用いたシステムの構成例を示す図である。
図１０において、１は仮想視点画像生成装置、１０１は基準視点決定手段、１０２はカメラ画像取得手段、１０３は画像生成手段、１０３ａは投影処理手段Ａ、１０３ｂは投影処理手段Ｂ、１０３ｃは寄与率（重み）マップ計算手段、１０３ｄは部分相関・存在確率計算手段、１０３ｅは色情報・輝度情報決定手段、１０３ｆは部分存在確率統合手段、１０３ｇはレンダリング手段、１０４は生成画像出力手段、２は視点位置入力手段、３は被写体撮影手段、４は画像表示手段である。また、図１１において、Ｕｓｅｒは仮想視点画像生成装置の利用者、Ｏｂｊは被写体である。
本実施例１の仮想視点画像生成装置１は、図１０及び図１１に示すように、利用者Ｕｓｅｒが視点位置入力手段２を用いて入力したデータに基づき基準視点を決定する基準視点決定手段１０１と、複数の視点位置Ｃｉにある被写体撮影手段（カメラ）３で撮影された被写体Ｏｂｊの画像を取得する被写体画像取得手段１０２と、前記取得した被写体Ｏｂｊの画像をもとに、基準視点から前記被写体Ｏｂｊを見た画像を生成する画像生成手段１０３と、前記画像生成手段１０３で生成した仮想視点画像を画像表示手段４に表示させるための生成画像出力手段１０４とにより構成される。
【００７７】
このとき、基準視点決定手段１０１では、視点位置入力手段２から入力された基準視点の位置に基づき、仮想位置の基準視点と、仮想的な３次元空間中に前記基準視点から見て奥行き位置の異なる多層構造の投影面を設定する。また、視点位置入力手段２からは、カメラパラメータ{Ａｉ，Ｒｉ，ｔｉ|ｉ∈Ｎ}、{ＡＶ，ＲＶ，ｔＶ}と、カメラ画像{Ｉｉ（ｍ）|ｉ∈Ｎ}、カメラ部分集合{Ξｋ|ｋ∈Ｋ}も入力される。
前記視点位置入力手段２は、例えば、図１１に示したように、マウス等の利用者Ｕｓｅｒが操作して選択するデバイスであってもよいし、キーボード等の利用者Ｕｓｅｒが直接数値として入力するデバイスでもよいし、前記利用者Ｕｓｅｒが装着する位置・姿勢検出センサでもよい。また、他のプログラムにより与えられるものでも、ネットワークを介して与えられるものでも可能である。
また、前記被写体画像取得手段１０２は、刻々と変化する被写体の位置・姿勢を一定の間隔、例えば、３０Ｈｚの間隔で逐次的に取得することも、任意の時刻における被写体の静止画像を取得することも可能であるし、あらかじめ撮影した被写体画像を記録装置から読み出すことで取得することも可能である。なお、複数の視点位置からの被写体画像は、すべてのカメラ間の同期をとることにより同一時刻に撮影したものであることが望ましいが、被写体の位置・姿勢の変化が十分に遅く、静止物と見なせる場合にはこの限りではない。
【００７８】
また、前記画像生成手段１０３は、投影処理手段Ａ（１０３ａ）と、投影処理手段Ｂ（１０３ｂ）と、寄与率（重み）マップ計算手段１０３ｃと、部分相関・存在確率計算手段１０３ｄと、色情報・輝度情報決定手段１０３ｅと、部分存在確率統合手段１０３ｆと、レンダリング処理手段１０３ｇとで構成される。
投影処理手段Ａ（１０３ａ）は、図９のステップ２０の処理を実行する。投影処理手段Ｂ（１０３ｂ）は、図９のステップ２１の処理を実行する。
部分相関・存在確率計算手段１０３ｄは、図９のステップ２２と、ステップ２３の処理を実行する。
寄与率（重み）マップ計算手段１０３ｃは、図９のステップ２４の処理を実行する。色情報・輝度情報決定手段１０３ｅは、図９のステップ２５の処理を実行する。
部分存在確率統合手段１０３ｆは、図９のステップ２６の処理を実行する。レンダリング処理手段１０３ｇは、図９のステップ２７の処理を実行する。
また、前記画像表示手段４は、例えば、ディスプレイ端子等の生成画像出力手段１０４に接続されたＣＲＴ(Cathode Ray Tube)，ＬＣＤ(Liquid Crystal Display)，ＰＤＰ(Plasma Display Panel)等の表示装置である。このとき、前記画像表示手段４は、例えば、２次元平面状の表示装置でもよいし、利用者Ｕｓｅｒを取り囲むような曲面状の表示装置であってもよい。
【００７９】
また、前記画像表示手段４として、例えば、ＤＦＤ方式の立体表示が可能な表示装置を用いるときには、奥行き位置の異なる２つの表示面に、画像生成手段１０３で生成したそれぞれの２次元像を表示することにより、利用者に３次元立体像を提示することも可能である。
また、前記仮想視点画像生成装置１を用いたシステムは、例えば、図１１に示したような構成になっており、利用者Ｕｓｅｒは前記視点位置入力手段２を介して仮想視点画像生成装置１に所望の視点位置・方向・画角を指定すると、前記仮想視点画像生成装置１は被写体Ｏｂｊを前記被写体撮影手段（カメラ）３で撮影し、その画像を取得した後、前記取得した被写体の画像をもとに指示された視点における画像（仮想視点画像）を生成する。前記生成された仮想視点画像は、前記画像表示手段４により利用者Ｕｓｅｒに提示する。
なお、図１１のシスデム構成は本発明における画像生成装置の実装の一例を示すものであり、本発明の請求範囲は必ずしもこのような構成に限定されるものではなく、個々の装置の配置、形態、実装は本発明の趣旨を逸脱しない範囲において任意である。
【００８０】
以上説明したように、本実施例によれば、従来の方法のように、あらゆる場合及びあらゆる箇所で被写体の正確な幾何モデルを得ようとするのではなく、被写体の撮影条件や部位によっては距離推定で、十分な信頼性の存在確率をもつ推定値が得られないことを前提として、存在確率の信頼性が低い推定値が得られた箇所については曖昧に描画して画像生成への寄与を低くし、極端な画像の劣化を防止するとともに、信頼性が高い存在確率が得られた箇所については明瞭に描画して画像生成への寄与を高くする。そのため、推定の信頼性（存在確率）が低い箇所の画像の劣化が目立たなくなる。
また、正確な幾何モデルを求めるために、最適化問題等、計算機負荷の高い処理を経る必要がないため、インタラクティブ性が要求される条件においても、短い処理時間で映像生成が可能となる。
【００８１】
また、本実施例によれば、カメラセットごとの存在確率（部分存在確率）を算出し、それらを統合した存在確率を求めることで、例えば、オクルージョン（遮蔽領域）が生じ、被写体表面のある点が、あるカメラからは見えない場合に、存在確率の推定の信頼性を向上させることができる。
すなわち、いちどにすべてのカメラの画像を用いると、隠れている部分も含めて対応点の相関度を計算してしまうので、それを元に求められる存在確率の信頼性が低下してしまうのに対し、カメラセットごとに分けて存在確率を求めることで、あるカメラセットにおいては構成するカメラの多くが着目する被写体表面上の点を撮影し、その箇所において高い部分存在確率を算出することになる。
逆に、あるカメラセットにおいては構成するカメラの多くが着目する被写体表面上の点を撮影していないこともあり、この場合は算出される部分存在確率は低くなる。
しかし、その後の統合処理において、高い部分存在確率の影響が大きく、低い部分存在確率の影響が低くなる演算を行うことで、前者が後者を補う働きをし、結果として統合された存在確率の信頼性は高くなる効果がある。
先行研究に見られるように、個々のカメラセットにおいて奥行きの情報のみを求め、それらを取捨選択や平均するなどして奥行き情報を統合する方法に比べ、本発明では奥行きの情報だけでなくカメラセットごとの推定の信頼性の情報も考慮して統合する。すなわち、カメラセットごとに相反する奥行き情報を統合する際にも、信頼性の高い奥行き情報に重きを置いた統合がなされる。そうすることにより、本発明はより確度の高い被写体の３次元情報を算出する効果があると言える。
【００８２】
また、本実施例によれば、カメラセット毎の部分存在確率を算出するにあたり、対応点間の相関度に基づいて、カメラセットの代表となる１つの視点位置（代表視点）を通る直線上の値の合計が１となる処理（正規化処理）をする。
一般的に、相関度の算出においては対応点間の色情報（もしくは輝度）の差分が小さいほど相関が高いという前提を利用するため、対応点が暗い部分は差分が小さく相関度が高くなり、逆に明るい部分は差分が大きく相関度が低くなる傾向がある。しかし、前述の正規化処理を経ることで、部分存在確率の算出にあたり対応点における撮影画像の明暗の影響を受けず、それらを統合した存在確率の信頼性が高くなる効果がある。
【００８３】
また、本実施例によれば、生成される画像の各画素の色は、投影面上の投影点に対応するカメラの画像上の対応点をもとにして決定する。しかし、オクルージョン（遮蔽）等により、あるカメラからはこの投影点における被写体表面上の点が撮影されず、その撮影画像上の対応点の色情報（または輝度情報）を用いると、投影点の位置に存在する被写体表面の色（または輝度）とは異なる色を用いることになり、生成画像の画質が低下する。
ここで、被写体表面が存在している任意の投影点に着目すると、その位置においてカメラセットごとに算出される部分存在確率の違いは、投影点における被写体表面が撮影されているカメラの数に依存する。すなわち、ある投影点において部分存在確率が高く算出されたカメラセットでは、そのカメラセットを構成する多くのカメラにより、着目する投影点における被写体表面が撮影されている可能性が高く、逆に部分存在確率が低く算出されたカメラセットにおいては、そのカメラセットを構成する一部もしくはすべてのカメラから、着目する投影点における被写体表面が撮影されていない可能性が高い。
そこで、投影点の色情報（または輝度情報）を決定する際に、カメラセットごとの対応点の色情報（または輝度情報）を、カメラセットごとの部分存在確率の高さに応じた割合で混合することにより、投影点が撮影できているカメラが多いカメラセットの色の寄与を大きく、投影点が撮影できているカメラが少ないカメラセットの色の寄与を小さくし、投影点の色はその位置に存在する被写体表面の色（または輝度）と近い値が推定され、結果として生成画像の画質を向上させる効果がある。
【００８４】
また、本実施例によれば、投影点の色情報を決定する際に、遮蔽により投影点を撮影していないカメラによる寄与を抑制し、結果として生成画像の画質を向上させる効果がある。
あるカメラセットの代表視点から見て着目する投影点よりも手前の他の投影点の存在確率の合計が高い場合には、代表視点と着目する投影点の間に被写体表面が存在している可能性が高い。すなわち、着目する投影点は代表視点から見てそれよりも手前の被写体により遮蔽されている可能性が高いため、その代表視点における対応点の色は、投影点を撮影した色でない可能性が高い。
このようなとき、そのカメラセットによる色の寄与率を低くし、逆に、代表視点から見て手前の存在確率の合計が低いようなカメラサブセットの色の寄与率を高くすることで、投影点において被写体を撮影しているカメラの色の寄与率を高めることができる。
【００８５】
また、本実施例によれば、カメラセットごとに算出された部分的な存在確率を乗算して統合された存在確率を算出することで、より多くのカメラセットにより存在確率が高く算出された投影点において、統合された存在確率が高く算出され、その推定精度が向上する。
また、バイアス値を加算することで、あるカメラセットにより算出された部分存在確率が０に近い場合でも、他のカメラセットによる部分存在確率が高い場合には、統合された存在確率が０に近くなることを防止する効果がある。そのため、統合された存在確率の推定がよりロバストになる効果がある。
また、そのバイアス値の大きさを投影面ごとに異なる設定にすることより、統合処理後の存在確率において、投影面ごとに存在確率の分布傾向を調整することができる。例えば、奥の投影面から手前の投影面に向かうにつれて加算するバイアスの値を大きくすることで、手前のものほど存在確率が高くなる傾向になり、奥に存在するものが透けて画像生成することを防止することができる。
また、ある範囲にある投影面のバイアスを高く設定することで、ある特定の奥行きの範囲にある被写体を強調して画像生成する効果がある。
また、投影面上で特定の領域にあるバイアスを、他の領域に比べて高く設定することで、ある特定の範囲にある被写体を強調して画像生成する効果がある。また、ある奥行きの投影面上のある領域にあるバイアスを、他の領域に比べて低く設定することで、ある特定の範囲にある被写体が目立たぬよう画像生成する効果がある。
【００８６】
また、本実施例によれば、基準視点から見て隠れている被写体表面を誤って描画することによる画像の劣化を防ぐことができる。
すなわち、基準視点を通る直線上に、複数の被写体表面が存在する場合、複数の位置にて存在確率が高く推定される可能性があり、この場合は基準視点から見て手前の被写体を透けて、奥の被写体を描画してしまうことになる。そこで、手前の存在確率が高い場合、その程度に応じてそれよりも奥の投影面のバイアス値を低く設定することで、存在確率の統合処理時に奥の投影点の存在確率が高くなることを抑制し、結果として生成画像において奥の被写体表面が透けて見えることを防ぐことが出来る。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【００８７】
【図１】画像生成の座標設定の一例を示す図である。
【図２】被写体表面の色情報および存在確率情報を求める多層の投影面の一例を示す図である。
【図３】複数のカメラ間の対応点を説明した図である。
【図４】はカメラで撮影された画像を投影面上に透視投影した一例を示す図である。
【図５】観察者の視点（基準視点）とカメラのなす角度によりカメラ毎の色の寄与率（重み）を決定する一例を示す図である。
【図６】従来法による画像生成の処理フローの一例を示す図である。
【図７】オクルージョンが発生している状況の一例を示す図である。
【図８】着目する投影点よりも手前の投影点の存在確率の累計を説明した図である。
【図９】本発明の実施例の画像生成の処理フローの一例を示す図である。
【図１０】本発明の実施例の仮想視点画像生成装置の概略構成を示すブロック図である。
【図１１】図１０に示す画像生成装置を用いたシステムの構成例を示す図である。
【符号の説明】
【００８８】
１ 仮想視点画像生成装置
２ 視点位置入力手段
３ 被写体撮影手段
４ 画像表示手段
１０１ 基準視点決定手段
１０２ 被写体画像取得手段
１０３ 画像生成手段
１０３ａ 投影処理手段Ａ
１０３ｂ 投影処理手段Ｂ
１０３ｃ 寄与率（重み）マップ計算手段
１０３ｄ 部分相関・存在確率計算手段
１０３ｅ 色情報・輝度情報決定手段
１０３ｆ 部分存在確率統合手段
１０３ｇ レンダリング処理手段
１０４ 生成画像出力手段
【技術分野】
【０００１】
本発明は、仮想視点画像生成方法および仮想視点画像生成装置に係り、特に、被写体にオクルージョン（遮蔽）がある場合に有効な技術に関する。
【背景技術】
【０００２】
近年、コンピュータグラフィックス（ＣＧ）やバーチャルリアリティ（ＶＲ）の分野では、複数の視点位置のカメラで撮影された画像（多視点画像）をもとに、カメラが設置された視点位置からだけでなく、利用者が望む視点位置（目的視点）から見た被写体の画像（目的画像）をコンピュータにより生成する技術が盛んに研究されている。
これらの技術の多くでは、多視点画像を入力として、まず被写体の３次元幾何的モデルを推定し、次にモデルの表面の色（モノクロ画像の場合は輝度）を推定し、最後に３次元モデルに対し透視射影や正射影などの２次元変換を行って２次元の目的画像を出力するという大きく３つのプロセスを経る。
このうち、最後の３次元モデルから２次元画像への変換処理は、多くの方式において共通のアルゴリズムを用いられているため、幾何的なモデルの推定および色の推定のアルゴリズムが、生成される画質に影響すると言える。
特に、撮影された多視点画像において、ある視点位置から撮影された画像において見えている被写体の部分が、ある他の視点位置からは隠れて撮影されていない場合、すなわち元となる多視点画像がオクルージョン（遮蔽）を含む場合、幾何的なモデルの推定と色の推定が共に難しいことが知られている。
【０００３】
なお、本願発明に関連する先行技術文献としては以下のものがある。
【非特許文献１】Okutomi，M．and Kanade，T．：”A multiple-baseline stereo，”Pattern Analysis and Machine Intelligence，IEEE Transactions on，Vol.15，no.4pp.353-363，Apr 1993.
【非特許文献２】Michael Potmesil，”Generating octree models of 3D objects from their Silhouettes in a sequence of images，”Computer Vision，Graphics，and Image Processing，v.40n.1，p.1-29，Oct.1987.
【非特許文献３】Richard Szeliski：”A Multi-View Approach to Motion and Stereo，”In CVPR’99.Vol.1，PP.157-163，Fort Collins，June 1999.
【非特許文献３】C.L.Zitnick，S.B.Kang，M.Uyttendaele,S.Winder，and R.Szeliski.：”High-quality video view interpolation using a layered representation.”In Proceedings of SIGGRAPH 2004，pp.600-608，2004.
【非特許文献５】P.E.Debevec，C.J.Taylor，and J.Malik：”Modeling and Rendering Architecture from Photographs：A Hybrid Geometry-and Image-Based Approach，”SIGGRAPH’96，pp.11-20，1996.
【非特許文献６】Gregory G.Slabaugh，Ronald W.Schafer，and Mat C.Hans：”Image-Based Photo Hulls for Fast and Photo-Realistic New View Synthesis，”Real-Time Imaging,Vol.9，No.5，October 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
以下では、既存の手法における幾何的なモデルの推定方法と色の推定方法について、先行研究が採用している手法を述べる。
まず、幾何モデルを推定する方法の代表的なものとして、ステレオ法がある。ステレオ法においては、多視点画像で撮影されている被写体上の同一の点（対応点）を特定し（対応点マッチング）、三角測量の原理でその距離を求める。
多くの対応点マッチングにおいては、想定する奥行きにおける各画像の対応点および周辺領域の色（または輝度）の差により評価関数を設定し、この評価関数を最小となる奥行きを推定値とする。
しかし、ステレオ法を利用した多くの手法においては、すべてのカメラにより対応点が見えていることを仮定している。
よって、対応点がいくつかの画像において隠れている領域（以下、オクルージョン領域）においては、幾何モデルの推定の信頼性（存在確率）は著しく低下する。
カメラの数を多くすることで、オクルージョンが生じているカメラの画像の影響を相対的に小さくするマルチベースライン法（前記非特許文献１参照）も考案されているが、オクルージョン領域付近では効果が十分とは言えず、推定の信頼性が低下する傾向がある。
【０００５】
また、幾何モデルの推定法としてステレオ法と並んで代表的な方法に、視体積交差法（Shape from Silhouette）と呼ばれる方法（前記非特許文献２参照）がある。視体積交差法においては、多視点画像における被写体の輪郭をもとに、３次元空間中で被写体が占める領域を求める。
しかし、この方法は原理的に被写体が凸形状であることを仮定しているため、凹形状の被写体に対しては正しくモデルを取得することができない。また、そもそも背景画像と被写体の輪郭を正確に抽出する最初の過程自体が難しく、未だコンピュータ・ビジョン分野における主要な研究課題となっている。
よって、映画の特撮などでよく使われるブルーバックと呼ばれる単色の背景を用いる必要があるなど、撮影条件は限定されることが多い。
【０００６】
さて、撮影画像がオクルージョンを含むということは、ある方向からは見ることができ、ある方向からは見ることのできない状況であると言える。よって、位置の近いカメラにおいては被写体を見る方向が類似し、結果として撮影される被写体の遮蔽関係も類似することが多い。
そのため、すべてのカメラからの画像を同等に用いて奥行きを推定するのではなく、位置の近いカメラだけで奥行きを推定した方がオクルージョンの影響を受けにくく、推定の信頼性が向上する場合がある。
このことを利用し、まず位置が近いカメラを用いて部分的な評価関数を設定し、そして部分的な評価関数の合成関数として全体的な評価関数を設定し、その全体的な評価関数を最小とするような奥行きを推定する方法が提案されている（前記非特許文献３参照）。
しかし、合成された評価関数を最小とする最適解を求めるには、繰り返し演算により非常に時間のかかる処理を必要とするため、実時間処理には向かない。
【０００７】
一方、複数の位置からの奥行きマップを求め、統合する研究例（前記非特許文献４参照）がある。
しかし、一旦、各視点にて奥行きマップを求めたあと、それらを統合する処理においては、複数の奥行きマップのブレンディングにおいて、推定の信頼性を考慮に入れていない。よって、推定の信頼性の低い奥行きマップの推定値が統合後の奥行きマップに反映される恐れがある。
次に、色の推定としては、視点依存テクスチャマッピング（前記非持許文献５参照）という方法がよく用いられる。
視点依存テクスチャマッピングでは、被写体の着目する点の色を決定する際、複数のカメラの対応点における色を重み付きブレンディングすることで決定し、その重み係数は、着目点から目的視点までの直線およびカメラの視点までの直線のなす角により決定され、その角度が小さいほど重みが大きく設定される。すると、被写体の着目点から目的視点に飛来する光線と角度が近い光線ほど、大きな比重で色がブレンディングされる。
しかし、オクルージョンが生じている場合、光線の角度が近いからといって、目的視点とカメラ視点において、被写体表面上の同一の点を撮影しているとは限らない。すなわち、色の正確な推定のためには、隠れていない色のみを用いて色のブレンディングを行う必要がある。
【０００８】
よって、どのカメラで隠れが生じているかを被写体形状より判断する可視性判断（Visibility Check）を行う先行研究がある（前記非特許文献６参照）。
しかし、可視性判断のためには幾何モデルが必要である一方で、そもそも幾何モデルの推定には、カメラの対応点間における色の一致度を用いるため、隠れが生じているカメラを除外するための可視性判断が必要となる。すなわち、可視性判断のためには正確な幾何モデルが必要であり、幾何モデルの推定のためには可視性判断が必要となり、両者は相互に依存している。
そのため、幾何モデルの推定を収束するまで繰り返すという処理が行われることが多いが、そうすると計算機負荷が高くなり、結果として処理速度が遅くなるという欠点がある。
また、可視性判断として、見えているか・見えていないかの２者択一であるため、収束に時間がかかり、また、誤りが生じたときに画像に与える影響が大きいと言える。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、複数の視点位置で撮影された被写体の画像を元にして所望の視点から見た画像を生成する画像生成方法および画像生成装置において、被写体にオクルージョン（遮蔽）がある場合でも、極端な画像の劣化を防止し、かつ、短時間で画像を生成することが可能となる技術を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【課題を解決するための手段】
【０００９】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
（１）複数の異なる視点から被写体を撮影した被写体の複数の画像に基づき、任意の仮想位置の基準視点から見た前記被写体の画像を生成する仮想視点画像生成方法であって、前記複数の異なる視点から被写体を撮影した前記被写体の複数の画像を取得するステップＡと、仮想的な３次元空間中に前記基準視点から見て奥行き位置の異なる多層構造の投影面を設定するステップＢと、前記複数の投影面上の前記基準視点から見て重なり合う複数の投影点と対応する前記取得した前記被写体の複数の画像の対応点の色情報または輝度情報から、前記各投影点の色情報または輝度情報を決定するステップＣと、前記各投影点毎に、前記被写体の複数の画像の前記各投影点に対応する対応点間の相関度を算出するステップＤと、前記各投影点における相関度に基づいて、前記各投影点に物体の表面が存在する確率を表す存在確率を決定するステップＥと、前記各投影点の色情報または輝度情報と、前記各投影点での存在確率に基づいて、前記基準視点から見た前記被写体の画像を生成するステップＦとを有し、前記ステップＤは、前記被写体の複数の画像の中から選んだいくつかの画像の組み合わせであるカメラセットを複数組用意するステップＤ１と、前記各カメラセットに含まれる各被写体の画像上の前記各投影点に対応する対応点から、前記各投影点について相関度を求めるステップＤ２とを有し、前記ステップＥは、前記カメラセット毎に求めた前記各投影点の相関度に基づき、カメラセットの代表となる１つの視点位置である代表視点を通る直線上の値の合計が一定値となる正規化処理を施した部分存在確率を算出するステップＥ１と、前記カメラセット毎に決定した部分存在確率の統合処理をして前記各投影点の存在確率を決定するステップＥ２とを有する。
【００１０】
（２）（１）において、前記ステップＦは、前記各投影点の色情報または輝度情報を前記存在確率の高さに応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、１枚の２次元画像を生成するステップである。
（３）（１）において、前記ステップＦは、前記各投影点の色情報または輝度情報を、前記存在確率の高さと投影面の基準視点からの距離に応じた割合で混合して、生成する画像上の色情報または輝度情報を決定し、２枚以上の２次元画像を生成するステップである。
（４）（１）ないし（３）の何れかにおいて、前記ステップＣは、それぞれのカメラセットに属する各被写体の画像の対応点の色情報または輝度情報から、前記各投影点におけるカメラセットごとの投影点の色情報または輝度情報を決定するステップＣ１と、前記各投影点におけるカメラセットごとの部分存在確率の高さに応じてカメラセットごとの寄与率を決定するステップＣ２と、前記各投影点におけるカメラセットごとの色情報または輝度情報を、カメラセットごとの寄与率の高さに応じた割合で混合し、前記各投影点の色情報または輝度情報を決定するステップＣ３とを有する。
【００１１】
（５）（４）において、前記ステップＣは、前記カメラセットごとの寄与率に対し、前記各投影点と前記カメラセットの代表視点とを結ぶ線分上にある他の投影点の存在確率に応じた係数を更に乗じ、新たなカメラセットごとの寄与率を決定するステップＣ４を有する。
（６）（１）ないし（５）の何れかにおいて、前記ステップＥ２は、着目する投影点において異なるカメラセットから算出された複数の部分存在確率に、バイアス値を加算し、加算後の部分存在確率に投影面ごとに定めた係数を乗算して統合した存在確率を算出するステップＥ２１と、前記各投影点において統合した存在確率を正規化処理するステップＥ２２とを有する。
（７）（６）において、前記バイアス値あるいは投影面ごとの係数は、着目する投影点と前記基準視点とを結ぶ線分上の他の投影点の存在確率に依存し、それらが大きいほど抑制される。
また、本発明は、（１）ないし（７）の仮想視点画像生成方法を実施する仮想視点画像生成装置である。
【発明の効果】
【００１２】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、複数の視点位置で撮影された被写体の画像を元にして所望の視点から見た画像を生成する画像生成方法および画像生成装置において、被写体にオクルージョン（遮蔽）がある場合でも、極端な画像の防止し、かつ、短時間で画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
本発明の画像生成方法は、撮影視点が異なる複数枚の画像から、前記画像に写っている物体の３次元情報を取得し、前記物体の３次元像を提示する画像、あるいは任意の視点から前記物体を見たときの画像を生成する方法である。
このとき、前記物体の３次元情報は、テクスチャマッピングの手法を用い、多層構造の投影面を設定して、前記観察者の視点（基準視点）から見たときの物体の表面上の各点が存在する確率を推定する。
前記物体の表面が存在する確率を推定するときには、例えば、前記観察者の視点（基準視点）から見て重なり合う各投影面上の点（以下、投影点という）に対して、前記投影点と対応する各画像上の点（以下、対応点という）の相関度を求める。
そして、前記観察者の視点（基準視点）から見て重なり合う各投影点の相関度の高さから、前記重なり合う投影点のうち、どの投影点の近傍に前記物体の表面が存在するか推定する。
【００１４】
ただし、本発明の画像生成方法では、前記観察者の視点（基準視点）から見て重なり合う複数の投影点のうち、どの投影点の近傍に前記物体の表面が存在するかということを考えるのではなく、前記各投影点の近傍に、前記各投影点の相関度の大きさに応じた割合で物体の表面が存在すると考える。
このとき、本発明の画像生成方法では、複数の視点で撮影した画像の中から選んだいくつかの画像の組み合わせ（カメラセット）ごとに前記投影点の相開度を求め、それをもとに各投影点、もしくはその近傍に物体の表面が存在する確率（部分存在確率）をカメラセット毎に決定する。そして、前記カメラセット毎に決定した部分存在確率の統合処理をして、観察者の視点（基準視点）における前記各投影点の存在確率を決定する。
この際、着目する投影点と観察者の視点（基準視点）を結ぶ線分上にある他の投影点の存在確率に依存した統合処理を施し、観察者の視点（基準視点）から見て着目する投影点の手前で高い存在確率を持つ場合には、着目する投影点における存在確率が高くなることを抑止する。
【００１５】
このようにして、前記投影面を観察している観察者から見て、前記物体表面までの距離の推定が難しい部分を曖昧に描画し、不連続なノイズ等を目立ちにくくするとともに、オクルージョン（遮蔽）により前記投影点を撮影していないカメラの画像の影響を少なくすることで、前記相関度の高さの信頼性が向上し、前記存在確率の信頼性も向上する。
さらに、前記被写体の３次元情報に基づいて画像を生成するときに、前記投影点の色情報を前記生成する画像上の各点の色情報に割り当てるときに、前記統合された存在確率の高さに応じた寄与率で割り当てる。
ここで、投影点の色情報は、部分存在確率の高さに応じた寄与率でカメラセットに含まれるカメラの対応点を混色することや、さらに前記のカメラセット毎の寄与率に対し、着目する投影点とカメラセットの代表視点とを結ぶ線分上にある他の投影点の存在確率に応じた係数を更に乗じ、新たなカメラセットごとの寄与率とすることで、投影点を撮影していないカメラの対応点の色の寄与を少なくすることができ、色の再現性が向上する。
【００１６】
＜原理説明＞
図１乃至図９は、本発明の画像表示方法の原理を説明するための模式図であり、図１は画像生成の座標設定の一例を示す図、図２は被写体表面の色情報および存在確率情報を求める多層の投影面の一例を示す図、図３は複数のカメラ間の対応点を説明した図、図４はカメラで撮影された画像を投影面上に透視投影した一例を示す図、図５は観察者の視点（基準視点）とカメラのなす角度によりカメラ毎の色の寄与率（重み）を決定する一例を示す図、図６は従来法による画像生成の処理フローの一例を示した図、図７はオクルージョンが発生している状況の一例を示す図、図８は着目する投影点よりも手前の投影点の存在確率の累計を説明した図、図９は本発明の実施例の画像生成の処理フローの一例を示した図である。
【００１７】
【００１８】
【００１９】
【数１】
ここで、αｕ、αｖはカメラの焦点距離および画素ピッチにより規定されるパラメータ、ｕ０，ｖ０は画像の中心位置を表すパラメータである。
また、回転行列Ｒｉは３×３の行列であり、その成分を下記（３）式とおくと、ベクトルｒｉ（１）、ｒｉ（２）、ｒｉ（３）は互いに直行する単位ベクトルとなる。
【００２０】
【数２】
また、並進ベクトルｔｉは３次元の列ベクトルであり、下記（４）式のように表される。
【００２１】
【数３】
【００２２】
【００２３】
【数４】
【００２４】
ここで、投影点が同一の投影面に存在する場合、投影点Ｍと観察者の視点（基準視点）における点ｍは一対一写像となり、観察者の視点（基準視点）の画像座標により投影面Ｌｊ上の投影点の位置を一意に示すことができる。
そこで、以下では、ある特定の投影面に着目した際の投影点を観察者の視点（基準視点）の画像座標ｍにより表すことにする。また一方で、異なる投影面に存在するいくつかの投影点が観察者の視点（基準視点）を通る同一直線上にある場合、観察者の視点（基準視点）の画像座標では同一の座標で表される。
すなわち、図２に示すとおり、前述の（５）式により、ｍに写像される投影点の集合
{Ｍｊ|ｊ∈Ｊ}は観察者の視点（基準視点）Ｖを通る同一直線上にある。
【００２５】
＜画像生成原理＞
ここで、投影面上Ｌｊの座標ｍにおける色をＴｖｊ（ｍ）、被写体表面の存在確率をｑＶｊ（ｍ）とおく。添え字Ｖは、観察者の視点（基準視点）Ｖの画像座標系で表していることを示す。
すると、{ＴＶｊ（ｍ）|ｊ∈Ｊ}と{ｑＶｊ（ｍ）|ｊ∈Ｊ}はそれぞれ観察者の視点（基準視点）Ｖを通る直線上の色の集合および存在確率の集合となる。
そして、本発明において、観察者の視点（基準視点）Ｖにおける画像を生成する基本となる処理は、下記（６）式に示す演算により表される。
【００２６】
【数５】
【００２７】
すなわち、観察者の視点（基準視点）Ｖから見て同一直線上にある投影点の色にその存在確率を乗算したものを加算していくことで、同一直線上にある投影点の色を期待値として取得し、画像を生成する。
このように、観察者の視点（基準視点）における画像生成法は、前述の（６）式により表されるが、（６）式中のｑｖｊ（ｍ）およびＴｖｊ（ｍ）をいかにして推定するかが、生成画像の品質を決定する大きな要因となり、本発明の特徴となる。
そこで以下では、対比としてまた出発点として、従来の推定法の一例について述べる。
＜従来法による存在確率と色マップの推定＞
まず、存在確率ｑｖｊ（ｍ）は投影面Ｌｊ上の観察者の視点（基準視点）座標ｍの位置に被写体表面が存在する確率を表す関数であり、次の条件を満たす。
【００２８】
【数６】
【００２９】
すなわち、観察者の視点（基準視点）Ｖを通る直線上の投影点における存在確率は０から１の間の値をとり、その合計が１となっている。ただし、本発明は合計値が厳密に１となっている場合のみに限定されるものではなく、何らかの正規化処理がされていることをその本旨とする。
この存在確率の推定法は、複数のカメラ{Ｃｉ|ｉ∈Ｉ}の複数の対応点における色もしくは輝度の相関により求める。
対応点とは、図３に示すように、同一の投影点が、前述の（５）式により写像されたとき、それぞれのカメラの画像上で対応する点とする。このとき、対応点同士が近い色（もしくは輝度）をもつほど、対応点のもととなる投影点上に被写体の表面が存在する確率が高い。
すなわち、図３において、投影点Ｐ上に被写体表面が存在する場合、同一の被写体表面上の点が各カメラで対応点にて結像されている。この場合、異なるカメラの対応点同士が近い色（もしくは輝度）をもつ可能性が高い。
一方、投影点Ｑ上に被写体表面が存在しない場合、各カメラの対応点では、異なる被写体表面上の点Ｑｉ，Ｑｉ＋１が結像されている。
この場合は、異なるカメラの対応点同士が近い色（もしくは輝度）をもつ可能性は低い。
ここで、観察者の視点（基準視点）の画像座標においてｍにある投影面Ｌｊ上の投影点の対応点の集合は、それぞれのカメラの画像座標において、下記（８）で与えられる。
【００３０】
【００３１】
【数９】
【００３２】
ここで、ｄｊは観察者の視点（基準視点）から投影面Ｌｊまでの距離、ｎは観察者の視点（基準視点）座標系における法線ベクトルである。
すると、投影面Ｌｊで関連づけられる対応点の色の集合は、下記（１０）式で表される。
【００３３】
[数１０]
｛Ｉｉ（ｍｉｊ）|ｉ∈Ｎ} ・・・・・・・・・・ （１０）
ここで、図４に示すように、各カメラの視点を中心として各カメラの画像を投影面Ｌｊ上に透視投影し、観察者の視点（基準視点）Ｖの画像座標系で表したものをＩＶｉｊ（ｍ）とすると、下記（１１）式の関係がある。
【００３４】
【数１１】
ここで、ＨｉＶｊは、投影面Ｌｊを介してカメラＣｉの画像座標から観察者の視点（基準視点）Ｖの画像座標に変換するホモグラフィ行列である。よって、（１０）式の対応点の色の集合は、観察者の視点（基準視点）Ｖの画像座標系で、下記（１２）式として表すことができる。
【００３５】
[数１２]
｛ＩＶｉｊ（ｍ）|ｉ∈Ｎ} ・・・・・・・・・（１２）
【００３６】
前述の（１０）式が、それぞれのカメラの座標系の異なる位置ｍｉｊによる表現であるのに対し、（１２）式は観察者の視点（基準視点）の座標系の共通の位置ｍにおける表現となり、前述の（１１）式の処理をすることで異なるカメラの対応点を参照する際に共通の座標を用いることができ、効率が向上する。
ただし、本発明は対応点の参照としてこのような形態に限定されるものではない。
ここで、{ＩＶij（ｍ）|ｉ∈Ｎ}の各色成分（例えば［Ｒ，Ｇ，Ｂ］値）の分散値を合計したものをσ２（ｍ）とおく。
すると、投影面Ｌｊの位置ｍにおける対応点の相関の度合いは、例えば、下記（１３）式と表すことができる。また別の例としては下記（１４）式のように表すことができる。
【００３７】
【数１３】
【００３８】
【数１４】
【００３９】
ここで、ｎ，ε，τは調整用のパラメータである。
ＳＶｊ（ｍ）の値が大きいほど画像間の相関が高い。また、ここでは対応点の一画素ごとに相関値をとったが、対応点付近の領域に含まれる画素の相関値の合計値をとることで、平滑化の効果を持たせることもできる。
このようにして計算した相関の度合いを用いると、前述の（７）式の条件を満たす存在確率は、例えば、下記（１５）式のように算出することができる。
【００４０】
【数１５】
【００４１】
以上が、観察者の視点（基準視点）から見た投影面上の投影点の存在確率ｑｖｊ（ｍ）を求める手法の一例である。
次に、観察者の視点（基準視点）Ｖから見た投影点の色Ｔｖｊ（ｍ）は、下記（１６）式に示すように、各カメラの対応点の色を適切な重みをつけて混合することにより設定することができる。
【００４２】
【数１６】
【００４３】
ここで、Ｉｖij（ｍ）はカメラＣｊの画像を投影面Ｌｊに投影した画像であり、ｗｖij（ｍ）は投影面ＬｊにおけるカメラＣｊの重み係数である。
Ｉｖij（ｍ）は前述の（１１）式により求めることができるため、ｗｖij（ｍ）を推定することで、Ｔｖｊ（ｍ）も求めることができる。
ｗｖｉｊ（ｍ）の推定は、従来法においては、図５において、近接する光線ほどその色情報が近いという前提により、ＰＶとＰＣｉのなす角度θｉｊにより、重みｗｖｉｊ（ｍ）を決定していた。
その一例として、下記（１７）式、（１８）式で決定することができる。
【００４４】
【数１７】
【００４５】
【数１８】
【００４６】
ここで、κは調整用のパラメータである。
例えば、図５では、角度θｉｊ＜θ（ｉ＋１）ｊとなり、重みｗｖｉｊ（ｍ）＞ｗｖ（ｉ＋１）ｊ（ｍ）となる。
以上、従来法において観察者の視点（基準視点）の画像を生成する方法および、そこで必要となる投影点の存在確率および色（もしくは輝度）情報の求め方について述べた。
上記の処理フローを示した一例を図６に示す。図６中、処理を長方形で、データを角丸長方形で表している。
途中、左右にフローが分かれる箇所があるが、左側のフローで色情報を算出し、右側のフローで存在確率の情報を算出し、最終的に両者を用いて目的となる画像を生成している。
即ち、ステップ１０において、カメラパラメータ{Ａｉ，Ｒｉ，ｔｉ|ｉ∈Ｎ}、{ＡＶ，ＲＶ，ｔＶ}に基づき、前述の（１７）式、あるいは（１８）式に示す計算式により、重みマップ{ｗＶｉｊ（ｍ）|ｉ∈Ｎ，ｊ∈Ｊ}を計算する。
また、ステップ１１において、カメラパラメータ{Ａｉ，Ｒｉ，ｔｉ|ｉ∈Ｎ}、{ＡＶ，ＲＶ，ｔＶ}と、カメラ画像{Ｉｉ（ｍ）|ｉ∈Ｎ}とに基づき、前述の（１１）式に示す計算式により、基準視点Ｖを中心としたカメラ画像の投影画像{ＩＶｉｊ（ｍ）|ｉ∈Ｎ}を生成する。
また、ステップ１２において、重みマップ{ｗＶｉｊ（ｍ）|ｉ∈Ｎ，ｊ∈Ｊ}と、投影画像{ＩＶｉｊ（ｍ）|ｉ∈Ｎ}とに基づき、前述の（１６）式に示す計算式により、色マップ{ＴＶｊ（ｍ）|ｊ∈Ｊ}を生成する。
また、ステップ１３において、投影画像{ＩＶｉｊ（ｍ）|ｉ∈Ｎ}に基づき、前述の（１３）式、（１４）式、（１５）式に示す計算式により、存在確率{ｑＶｊ（ｍ）|ｊ∈Ｊ}を生成する。
最後に、ステップ１４において、色マップ{ＴＶｊ（ｍ）|ｊ∈Ｊ}と、存在確率{ｑＶｊ（ｍ）|ｊ∈Ｊ}とに基づき、前述の（６）式に示す計算式により、基準視点Ｖから見た画像{ＩＶ（ｍ）}を生成する。
【００４７】
＜オクルージョンのあるシーンでの従来法の不具合＞
さて、シーンが不連続な奥行きを持つ場合、あるカメラからは撮影できて、あるカメラからは撮影できない箇所があり、このような現象は一般にオクルージョンと呼ばれる。
本発明で開示する手法は、このような場合においても、存在確率および色の推定の精度を高めることにその特徴のひとつがある。
例えば、図７において、いちどにすべてのカメラ集合｛Ｃｌ，Ｃ２，Ｃ３，Ｃ４｝を用いて従来法で存在確率の推定を行うと、隠れている部分も含めて対応点の相関度を計算してしまうので、それを元に求められる存在確率の信頼性が低下してしまう。
それに対し、カメラ部分集合ごとに分けて存在確率を求めることで、あるカメラ部分集合においては構成するカメラの多くが着目する被写体表面上の点を撮影し、その箇所において高い部分存在確率を算出することになる。
逆に、あるカメラ部分集合においては構成するカメラの多くが着目する被写体表面上の点を撮影していないこともあり、この場合は算出される部分存在確率は低くなる。
しかし、その後の統合処理において、高い部分存在確率の影響が大きく、低い部分存在確率の影響が低くなる演算を行うことで、前者が後者を補う働きをし、結果として統合された存在確率の信頼性は高くなる効果がある。
既存技術に見られるように、個々のカメラセットにおいて奥行きの情報のみを求め、それらを取捨選択や平均するなどして奥行き情報を統合する方法に比べ、本発明ではカメラセットごとの推定の信頼性の情報も考慮して統合することにより、より確度の高い被写体の３次元情報を算出する効果があると言える。
例えば、図７において、Ｐ１はカメラ部分集合｛Ｃ１，Ｃ２｝を用いて推定すると存在確率の信頼度が低いが、カメラ部分集合｛Ｃ３，Ｃ４｝を用いると存在確率の信頼度が高まる。逆に、Ｐ２はカメラ部分集合｛Ｃ１，Ｃ２｝を用いて推定すると存在確率の信頼度が高く、カメラ部分集合｛Ｃ３，Ｃ４｝を用いると存在確率の信頼度が低い。
そして、仮想視点Ｖからの存在確率の信頼度に統合し、それぞれのカメラ部分集合の推定のうち、信頼度の高い部分の影響が大きくなるようにする。
【００４８】
＜本発明による画像生成法＞
以下では、カメラ部分集合ごとの存在確率の推定法について述べる。
カメラ部分集合はそのメンバの中に基準となるカメラ（基準カメラ）を持ち、そこがカメラ部分集合を代表する視点（以下、代表視点）となる。
そして、代表視点の座標系において投影面Ｌｊにおける部分存在確率ｑｋｍ（ｍ）の推定を行う。
まず、カメラ部分集合をΞｋ＝｛Ｃｉ|ｉ∈Ｎｋ}とおく。ここでｋはカメラ部分集合を示す添え字である。
また、カメラ部分集合のうち基準カメラを｛Ｃｉ（ｋ），ｉ（ｋ）∈Ｎｋ｝とおく。例えば、図７の場合、Ξ１＝｛Ｃ１，Ｃ２}と、Ξ２＝｛Ｃ３，Ｃ４}となる２つのカメラ部分集合があり、Ｃ１とＣ３がそれぞれ基準カメラの場合、Ｃｉ（1）＝Ｃ１，Ｃｉ（２）＝Ｃ３となる。
ここでは簡単のため、すべての部分集合における存在確率は共通のレイヤＬｊ上で推定するものとする。
まず、カメラ部分集合Ξｋにおける基準カメラと他のカメラとの不一致度は、ＳＳＡＤ（Sum of Square Absolute Differences）により、下記（１９）式のように計算される。
【００４９】
【数１９】
【００５０】
ここで、Ｉｋ（ｍ）は基準カメラＣｉ（ｋ）における画像、Ｉｋｉｊ（ｍ）は平面Ｌｊを投影面として、カメラＣｉの画像を基準カメラＣｉ（ｋ）の座標系に投影変換した画像を示す。すなわち、下記（２０）式となる。
【００５１】
【数２０】
【００５２】
ここで、Ｈｉｋｊは平面Ｌｊを介してカメラＣｉから基準カメラＣｉ（ｋ）の画像座標に変換するホモグラフィ行列である。
また、｜ｘ｜はｘのＬ１ノルムを表し、Ｂは対応点付近のブロック領域を表す。
そして、カメラ部分集合Ξｋにより推定される基準カメラＣｉ（ｋ）における部分存在確率ｑｋｊ（ｍ）は、例えば、下記（２１）式のように計算される。
【００５３】
【数２１】
【００５４】
【００５５】
【数２２】
【００５６】
ここで、Ｈｋｖｊは、投影面Ｌｊを介して基準カメラＣｋから観察者の視点（基準視点）Ｖの画像座標に変換するホモグラフィ行列である。
次に、カメラ部分集合毎の存在確率ｑｖｋｊ（ｍ）を統合処理し、観察者の視点（基準視点）からの存在確率を求める。
その一例としては、下記（２３）式、（２４）式のとおり、全ての部分集合の存在確率ｑｖｋｊ（ｍ）を掛け合わせて、さらにすべての投影面について正規化処理を行い、統合的な存在確率ｑｖｊ（ｍ）を得ることができる。
【００５７】
【数２３】
【００５８】
【００５９】
また、投影面の奥行きに応じてバイアス値を変化させ、例えば、奥の投影面ほど小さく、手前の投影面ほど大きく設定すると、手前の投影点の存在確率の方が大きく算出される傾向がある。
このことで、観察者の視点（基準視点）から見て複数の被写体の表面が重なっている場合でも、手前の被写体が優位に描画され、奥の被写体が透けて描画されてしまうことを抑止することができる。
また、特定の領域のバイアス値のみ０以上の値、その他を０と設定した場合、特定の領域にある被写体を強調した画像を生成することができる。
また、手前の存在確率に依存して、例えば、下記（２５）式のバイアス値とすると、着目する投影点よりも手前の投影点の存在確率の累計が大きいほどバイアス値が小さくなり、結果として着目する投影点においては存在確率が抑制されて推定される。
【００６０】
【数２５】
ここでｆ（ｘ）は正の値を返す単調減少の関数であり、例えば以下のように与えられる。
【００６１】
【数２６】
【００６２】
【００６３】
【数２７】
【００６４】
【００６５】
【００６６】
以上、カメラの部分集合ごとの部分存在確率を統合することにより、観察者の視点（基準視点）からの存在確率ｑＶj（ｍ）の推定を行った。
なお、カメラセットはなるべく近傍同士のカメラで構成するのが効果的であり、そうすることで、撮影画像に映っている被写体のオクルージョン傾向が類似し、相関値の計算の信頼性が高くなる。
また、代表視点の位置は任意でもよいが、代表視点の選び方の例としては、カメラセットを構成するカメラのうち、中心に位置するカメラ位置を代表視点する方法がある。
さらに、後述するカメラセットごとの寄与率は、基準視点を与えたときに計算される。すなわち、カメラセットの寄与率は、基準視点とカメラセットとの相対的な位置に依存する。そして、寄与率はカメラセットごとに与えられ、属するカメラごとには算出されない。
【００６７】
また、本実施例では、カメラの部分集合ごとの部分存在確率をもとにして、カメラ寄与率マップｗｉｊ（ｍ）を求める。
従来技術では、前述の（１７）式、（１８）式に示したように、光線の角度をもとにして求めているが、オクルージョンのあるシーンの場合、２つの光線ＣｉＰとＣｖＰのなす角度が小さくても、２つの光線の間に遮蔽物がない保証はない。
例えば、図７においては、θ１ｊ＜θ３ｊであるが、Ｃ１の視点位置からはＰ１はＱに遮られており、Ｐ１の画像を撮影できていないため、Ｗ１ｊを大きくしてＣ１の画像の寄与を高くすると、Ｐ１の代わりにＱの色の寄与が大きくなってしまい、画質が低下する。
そこで、本発明では以下のように、色の寄与率を部分存在確率に連動させ、着目する投影点において高い部分存在確率を持つカメラ部分集合の基準カメラほど高い寄与率を割り振るようにする。
例えば、簡易な形態としては、下記（２９）式に示すものがある。
【００６８】
【数２９】
【００６９】
このようにすれば、存在確率が高くなるカメラ部分集合の基準カメラの重みが大きくなる。存在確率が大きくなるということはそのカメラ部分集合にて、多くのカメラで被写体表面を撮影していることであるから、着目する部位でオクルージョンのないカメラ部分集合ほど、重みが大きくなることになる。
ただし、前述の（２４）式は、カメラ部分集合毎の寄与率であるため、これを個々のカメラ毎の寄与率として表すと、下記（３０）式と表され、前述の（６）式の画像生成式に用いることができる。
【００７０】
【数３０】
【００７１】
また、前述の（１７）式、（１８）式のように、幾何的な位置関係により決定する重みと、前述の（２９）式のようにカメラ部分集合ごとの存在確率により決定する重みとを、両方を考慮し、両者の関数として最終的な重みを決定するともできる。
さらに、（３０）式に基準カメラから見て手前の投影面にある存在確率の累計を反映させた項をさらに乗じて、下記（３１）式とすることで、基準カメラから見て着目する投影点がどの程度の隠れているかを考慮して、カメラ部分集合カメラ毎の寄与率を決定することができる。
【００７２】
【数３１】
【００７３】
【００７４】
＜画像生成の手順（フロー図）＞
以上で述べた画像生成原理を用いて画像を生成する手順を図９に示す。
図中、処理を長方形で、データを角丸長方形で表している。
投影面の色情報と存在確率情報に、前述の（６）式で表される演算を用い、最終的に基準カメラから見た画像を生成するところは従来法と同様である。
しかし、従来法がすべてのカメラＣｉ（ｉ∈Ｎ）をいちどに用いて存在確率情報を求めるとともに、各カメラの色の寄与率（重みマップ）はカメラと観察者の視点（基準視点）の位置関係により決定しているのに対し、本発明の手法においては、カメラを部分集合に分け、部分集合毎に部分存在確率を求め、当該情報をもとにして統合された存在確率および色マップを計算するところが大きな違いとなっている。
即ち、ステップ２０において、カメラパラメータ{Ａｉ，Ｒｉ，ｔｉ|ｉ∈Ｎ}、{ＡＶ，ＲＶ，ｔＶ}と、カメラ画像{Ｉｉ（ｍ）|ｉ∈Ｎ}とに基づき、前述の（１１）式に示す計算式により、基準視点Ｖを中心としたカメラ画像の投影画像{ＩＶｉｊ（ｍ）|ｉ∈Ｎ}を生成する。
またステップ２１において、カメラパラメータ{Ａｉ，Ｒｉ，ｔｉ|ｉ∈Ｎ}、{ＡＶ，ＲＶ，ｔＶ}と、カメラ画像{Ｉｉ（ｍ）|ｉ∈Ｎ}、カメラ部分集合{Ξｋ|ｋ∈Ｋ}とに基づき、前述の（２０）式に示す計算式により、基準カメラＣｉ（ｋ）を中心としたカメラ画像の投影画像{Ｉｋｉｊ（ｍ）}を生成する。
また、ステップ２２において、投影画像{Ｉｋｉｊ（ｍ）}に基づき、前述の（１９）式、（２１）式に示す計算式により、基準カメラＣｉ（ｋ）を中心とした部分存在確率{ｑｋｊ（ｍ）}を生成する。
【００７５】
また、ステップ２３において、基準カメラＣｉ（ｋ）を中心とした部分存在確率{ｑｋｊ（ｍ）}に基づき、前述の（２２）式に示す計算式により、基準視点Ｖを中心とした部分存在確率{ｑＶｋｊ（ｍ）}を生成する。
また、ステップ２４において、カメラパラメータ{Ａｉ，Ｒｉ，ｔｉ|ｉ∈Ｎ}、{ＡＶ，ＲＶ，ｔＶ}と、基準視点Ｖを中心とした部分存在確率{ｑＶｋｊ（ｍ）}とに基づき、前述の（２９）式、（３０）式、（３１）に示す計算式により、寄与率（重み）マップ{ｗＶｉｊ（ｍ）|ｉ∈Ｎ，ｊ∈Ｊ}を生成する。
また、ステップ２５において、寄与率（重み）マップ{ｗＶｉｊ（ｍ）|ｉ∈Ｎ，ｊ∈Ｊ}と、投影画像{ＩＶｉｊ（ｍ）|ｉ∈Ｎ}とに基づき、前述の（１６）式に示す計算式により、色マップ{ＴＶｊ（ｍ）|ｊ∈Ｊ}を生成する。
また、ステップ２６において、基準視点Ｖを中心とした部分存在確率{ｑＶｋｊ（ｍ）}に基づき、前述の（３３）式、（２４）式、（２５）式、（２６）式、（２７）式、（２８）式に示す計算式により、統合された存在確率{ｑＶｊ（ｍ）|ｊ∈Ｊ}を生成する。
最後に、ステップ２７において、色マップ{ＴＶｊ（ｍ）|ｊ∈Ｊ}と、統合された存在確率{ｑＶｊ（ｍ）|ｊ∈Ｊ}とに基づき、前述の（６）式に示す計算式により、基準視点Ｖから見た画像{ＩＶ（ｍ）}を生成する。
なお、本実施例において、それぞれのカメラセットに属する画像の対応点の色情報または輝度情報を選択、あるいは混色し、各投影点におけるカメラセットごとの投影点の色情報または輝度情報を決定した後、各投影点におけるカメラセットごとの部分存在確率の高さに応じてカメラセットごとの寄与率を決定し、各投影点におけるカメラセットごとの色情報または輝度情報を、カメラセットごとの寄与率の高さに応じた割合で混合することで、前記各投影点の色情報または輝度情報を決定することも可能である。
また、本実施例において、各投影点の色情報または輝度情報を、存在確率の高さと投影面の基準視点からの距離に応じた割合で混合して、生成する画像上の色情報または輝度情報を決定し、２枚以上の２次元画像を生成することも可能である。この２次元画像を、ＤＦＤ方式の３次元表示装置の各表示面に表示することにより、３次元立体像を得ることができる。
【００７６】
図１０は、本発明の実施例の仮想視点画像生成方法を実現するための仮想視点画像生成装置の一例の概略構成を示すブロック図であり、図１１は、図１０に示す仮想視点画像生成装置を用いたシステムの構成例を示す図である。
図１０において、１は仮想視点画像生成装置、１０１は基準視点決定手段、１０２はカメラ画像取得手段、１０３は画像生成手段、１０３ａは投影処理手段Ａ、１０３ｂは投影処理手段Ｂ、１０３ｃは寄与率（重み）マップ計算手段、１０３ｄは部分相関・存在確率計算手段、１０３ｅは色情報・輝度情報決定手段、１０３ｆは部分存在確率統合手段、１０３ｇはレンダリング手段、１０４は生成画像出力手段、２は視点位置入力手段、３は被写体撮影手段、４は画像表示手段である。また、図１１において、Ｕｓｅｒは仮想視点画像生成装置の利用者、Ｏｂｊは被写体である。
本実施例１の仮想視点画像生成装置１は、図１０及び図１１に示すように、利用者Ｕｓｅｒが視点位置入力手段２を用いて入力したデータに基づき基準視点を決定する基準視点決定手段１０１と、複数の視点位置Ｃｉにある被写体撮影手段（カメラ）３で撮影された被写体Ｏｂｊの画像を取得する被写体画像取得手段１０２と、前記取得した被写体Ｏｂｊの画像をもとに、基準視点から前記被写体Ｏｂｊを見た画像を生成する画像生成手段１０３と、前記画像生成手段１０３で生成した仮想視点画像を画像表示手段４に表示させるための生成画像出力手段１０４とにより構成される。
【００７７】
このとき、基準視点決定手段１０１では、視点位置入力手段２から入力された基準視点の位置に基づき、仮想位置の基準視点と、仮想的な３次元空間中に前記基準視点から見て奥行き位置の異なる多層構造の投影面を設定する。また、視点位置入力手段２からは、カメラパラメータ{Ａｉ，Ｒｉ，ｔｉ|ｉ∈Ｎ}、{ＡＶ，ＲＶ，ｔＶ}と、カメラ画像{Ｉｉ（ｍ）|ｉ∈Ｎ}、カメラ部分集合{Ξｋ|ｋ∈Ｋ}も入力される。
前記視点位置入力手段２は、例えば、図１１に示したように、マウス等の利用者Ｕｓｅｒが操作して選択するデバイスであってもよいし、キーボード等の利用者Ｕｓｅｒが直接数値として入力するデバイスでもよいし、前記利用者Ｕｓｅｒが装着する位置・姿勢検出センサでもよい。また、他のプログラムにより与えられるものでも、ネットワークを介して与えられるものでも可能である。
また、前記被写体画像取得手段１０２は、刻々と変化する被写体の位置・姿勢を一定の間隔、例えば、３０Ｈｚの間隔で逐次的に取得することも、任意の時刻における被写体の静止画像を取得することも可能であるし、あらかじめ撮影した被写体画像を記録装置から読み出すことで取得することも可能である。なお、複数の視点位置からの被写体画像は、すべてのカメラ間の同期をとることにより同一時刻に撮影したものであることが望ましいが、被写体の位置・姿勢の変化が十分に遅く、静止物と見なせる場合にはこの限りではない。
【００７８】
また、前記画像生成手段１０３は、投影処理手段Ａ（１０３ａ）と、投影処理手段Ｂ（１０３ｂ）と、寄与率（重み）マップ計算手段１０３ｃと、部分相関・存在確率計算手段１０３ｄと、色情報・輝度情報決定手段１０３ｅと、部分存在確率統合手段１０３ｆと、レンダリング処理手段１０３ｇとで構成される。
投影処理手段Ａ（１０３ａ）は、図９のステップ２０の処理を実行する。投影処理手段Ｂ（１０３ｂ）は、図９のステップ２１の処理を実行する。
部分相関・存在確率計算手段１０３ｄは、図９のステップ２２と、ステップ２３の処理を実行する。
寄与率（重み）マップ計算手段１０３ｃは、図９のステップ２４の処理を実行する。色情報・輝度情報決定手段１０３ｅは、図９のステップ２５の処理を実行する。
部分存在確率統合手段１０３ｆは、図９のステップ２６の処理を実行する。レンダリング処理手段１０３ｇは、図９のステップ２７の処理を実行する。
また、前記画像表示手段４は、例えば、ディスプレイ端子等の生成画像出力手段１０４に接続されたＣＲＴ(Cathode Ray Tube)，ＬＣＤ(Liquid Crystal Display)，ＰＤＰ(Plasma Display Panel)等の表示装置である。このとき、前記画像表示手段４は、例えば、２次元平面状の表示装置でもよいし、利用者Ｕｓｅｒを取り囲むような曲面状の表示装置であってもよい。
【００７９】
また、前記画像表示手段４として、例えば、ＤＦＤ方式の立体表示が可能な表示装置を用いるときには、奥行き位置の異なる２つの表示面に、画像生成手段１０３で生成したそれぞれの２次元像を表示することにより、利用者に３次元立体像を提示することも可能である。
また、前記仮想視点画像生成装置１を用いたシステムは、例えば、図１１に示したような構成になっており、利用者Ｕｓｅｒは前記視点位置入力手段２を介して仮想視点画像生成装置１に所望の視点位置・方向・画角を指定すると、前記仮想視点画像生成装置１は被写体Ｏｂｊを前記被写体撮影手段（カメラ）３で撮影し、その画像を取得した後、前記取得した被写体の画像をもとに指示された視点における画像（仮想視点画像）を生成する。前記生成された仮想視点画像は、前記画像表示手段４により利用者Ｕｓｅｒに提示する。
なお、図１１のシスデム構成は本発明における画像生成装置の実装の一例を示すものであり、本発明の請求範囲は必ずしもこのような構成に限定されるものではなく、個々の装置の配置、形態、実装は本発明の趣旨を逸脱しない範囲において任意である。
【００８０】
以上説明したように、本実施例によれば、従来の方法のように、あらゆる場合及びあらゆる箇所で被写体の正確な幾何モデルを得ようとするのではなく、被写体の撮影条件や部位によっては距離推定で、十分な信頼性の存在確率をもつ推定値が得られないことを前提として、存在確率の信頼性が低い推定値が得られた箇所については曖昧に描画して画像生成への寄与を低くし、極端な画像の劣化を防止するとともに、信頼性が高い存在確率が得られた箇所については明瞭に描画して画像生成への寄与を高くする。そのため、推定の信頼性（存在確率）が低い箇所の画像の劣化が目立たなくなる。
また、正確な幾何モデルを求めるために、最適化問題等、計算機負荷の高い処理を経る必要がないため、インタラクティブ性が要求される条件においても、短い処理時間で映像生成が可能となる。
【００８１】
また、本実施例によれば、カメラセットごとの存在確率（部分存在確率）を算出し、それらを統合した存在確率を求めることで、例えば、オクルージョン（遮蔽領域）が生じ、被写体表面のある点が、あるカメラからは見えない場合に、存在確率の推定の信頼性を向上させることができる。
すなわち、いちどにすべてのカメラの画像を用いると、隠れている部分も含めて対応点の相関度を計算してしまうので、それを元に求められる存在確率の信頼性が低下してしまうのに対し、カメラセットごとに分けて存在確率を求めることで、あるカメラセットにおいては構成するカメラの多くが着目する被写体表面上の点を撮影し、その箇所において高い部分存在確率を算出することになる。
逆に、あるカメラセットにおいては構成するカメラの多くが着目する被写体表面上の点を撮影していないこともあり、この場合は算出される部分存在確率は低くなる。
しかし、その後の統合処理において、高い部分存在確率の影響が大きく、低い部分存在確率の影響が低くなる演算を行うことで、前者が後者を補う働きをし、結果として統合された存在確率の信頼性は高くなる効果がある。
先行研究に見られるように、個々のカメラセットにおいて奥行きの情報のみを求め、それらを取捨選択や平均するなどして奥行き情報を統合する方法に比べ、本発明では奥行きの情報だけでなくカメラセットごとの推定の信頼性の情報も考慮して統合する。すなわち、カメラセットごとに相反する奥行き情報を統合する際にも、信頼性の高い奥行き情報に重きを置いた統合がなされる。そうすることにより、本発明はより確度の高い被写体の３次元情報を算出する効果があると言える。
【００８２】
また、本実施例によれば、カメラセット毎の部分存在確率を算出するにあたり、対応点間の相関度に基づいて、カメラセットの代表となる１つの視点位置（代表視点）を通る直線上の値の合計が１となる処理（正規化処理）をする。
一般的に、相関度の算出においては対応点間の色情報（もしくは輝度）の差分が小さいほど相関が高いという前提を利用するため、対応点が暗い部分は差分が小さく相関度が高くなり、逆に明るい部分は差分が大きく相関度が低くなる傾向がある。しかし、前述の正規化処理を経ることで、部分存在確率の算出にあたり対応点における撮影画像の明暗の影響を受けず、それらを統合した存在確率の信頼性が高くなる効果がある。
【００８３】
また、本実施例によれば、生成される画像の各画素の色は、投影面上の投影点に対応するカメラの画像上の対応点をもとにして決定する。しかし、オクルージョン（遮蔽）等により、あるカメラからはこの投影点における被写体表面上の点が撮影されず、その撮影画像上の対応点の色情報（または輝度情報）を用いると、投影点の位置に存在する被写体表面の色（または輝度）とは異なる色を用いることになり、生成画像の画質が低下する。
ここで、被写体表面が存在している任意の投影点に着目すると、その位置においてカメラセットごとに算出される部分存在確率の違いは、投影点における被写体表面が撮影されているカメラの数に依存する。すなわち、ある投影点において部分存在確率が高く算出されたカメラセットでは、そのカメラセットを構成する多くのカメラにより、着目する投影点における被写体表面が撮影されている可能性が高く、逆に部分存在確率が低く算出されたカメラセットにおいては、そのカメラセットを構成する一部もしくはすべてのカメラから、着目する投影点における被写体表面が撮影されていない可能性が高い。
そこで、投影点の色情報（または輝度情報）を決定する際に、カメラセットごとの対応点の色情報（または輝度情報）を、カメラセットごとの部分存在確率の高さに応じた割合で混合することにより、投影点が撮影できているカメラが多いカメラセットの色の寄与を大きく、投影点が撮影できているカメラが少ないカメラセットの色の寄与を小さくし、投影点の色はその位置に存在する被写体表面の色（または輝度）と近い値が推定され、結果として生成画像の画質を向上させる効果がある。
【００８４】
また、本実施例によれば、投影点の色情報を決定する際に、遮蔽により投影点を撮影していないカメラによる寄与を抑制し、結果として生成画像の画質を向上させる効果がある。
あるカメラセットの代表視点から見て着目する投影点よりも手前の他の投影点の存在確率の合計が高い場合には、代表視点と着目する投影点の間に被写体表面が存在している可能性が高い。すなわち、着目する投影点は代表視点から見てそれよりも手前の被写体により遮蔽されている可能性が高いため、その代表視点における対応点の色は、投影点を撮影した色でない可能性が高い。
このようなとき、そのカメラセットによる色の寄与率を低くし、逆に、代表視点から見て手前の存在確率の合計が低いようなカメラサブセットの色の寄与率を高くすることで、投影点において被写体を撮影しているカメラの色の寄与率を高めることができる。
【００８５】
また、本実施例によれば、カメラセットごとに算出された部分的な存在確率を乗算して統合された存在確率を算出することで、より多くのカメラセットにより存在確率が高く算出された投影点において、統合された存在確率が高く算出され、その推定精度が向上する。
また、バイアス値を加算することで、あるカメラセットにより算出された部分存在確率が０に近い場合でも、他のカメラセットによる部分存在確率が高い場合には、統合された存在確率が０に近くなることを防止する効果がある。そのため、統合された存在確率の推定がよりロバストになる効果がある。
また、そのバイアス値の大きさを投影面ごとに異なる設定にすることより、統合処理後の存在確率において、投影面ごとに存在確率の分布傾向を調整することができる。例えば、奥の投影面から手前の投影面に向かうにつれて加算するバイアスの値を大きくすることで、手前のものほど存在確率が高くなる傾向になり、奥に存在するものが透けて画像生成することを防止することができる。
また、ある範囲にある投影面のバイアスを高く設定することで、ある特定の奥行きの範囲にある被写体を強調して画像生成する効果がある。
また、投影面上で特定の領域にあるバイアスを、他の領域に比べて高く設定することで、ある特定の範囲にある被写体を強調して画像生成する効果がある。また、ある奥行きの投影面上のある領域にあるバイアスを、他の領域に比べて低く設定することで、ある特定の範囲にある被写体が目立たぬよう画像生成する効果がある。
【００８６】
また、本実施例によれば、基準視点から見て隠れている被写体表面を誤って描画することによる画像の劣化を防ぐことができる。
すなわち、基準視点を通る直線上に、複数の被写体表面が存在する場合、複数の位置にて存在確率が高く推定される可能性があり、この場合は基準視点から見て手前の被写体を透けて、奥の被写体を描画してしまうことになる。そこで、手前の存在確率が高い場合、その程度に応じてそれよりも奥の投影面のバイアス値を低く設定することで、存在確率の統合処理時に奥の投影点の存在確率が高くなることを抑制し、結果として生成画像において奥の被写体表面が透けて見えることを防ぐことが出来る。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【００８７】
【図１】画像生成の座標設定の一例を示す図である。
【図２】被写体表面の色情報および存在確率情報を求める多層の投影面の一例を示す図である。
【図３】複数のカメラ間の対応点を説明した図である。
【図４】はカメラで撮影された画像を投影面上に透視投影した一例を示す図である。
【図５】観察者の視点（基準視点）とカメラのなす角度によりカメラ毎の色の寄与率（重み）を決定する一例を示す図である。
【図６】従来法による画像生成の処理フローの一例を示す図である。
【図７】オクルージョンが発生している状況の一例を示す図である。
【図８】着目する投影点よりも手前の投影点の存在確率の累計を説明した図である。
【図９】本発明の実施例の画像生成の処理フローの一例を示す図である。
【図１０】本発明の実施例の仮想視点画像生成装置の概略構成を示すブロック図である。
【図１１】図１０に示す画像生成装置を用いたシステムの構成例を示す図である。
【符号の説明】
【００８８】
１ 仮想視点画像生成装置
２ 視点位置入力手段
３ 被写体撮影手段
４ 画像表示手段
１０１ 基準視点決定手段
１０２ 被写体画像取得手段
１０３ 画像生成手段
１０３ａ 投影処理手段Ａ
１０３ｂ 投影処理手段Ｂ
１０３ｃ 寄与率（重み）マップ計算手段
１０３ｄ 部分相関・存在確率計算手段
１０３ｅ 色情報・輝度情報決定手段
１０３ｆ 部分存在確率統合手段
１０３ｇ レンダリング処理手段
１０４ 生成画像出力手段
【特許請求の範囲】
【請求項１】
複数の異なる視点から被写体を撮影した被写体の複数の画像に基づき、任意の仮想位置の基準視点から見た前記被写体の画像を生成する仮想視点画像生成方法であって、
前記複数の異なる視点から被写体を撮影した前記被写体の複数の画像を取得するステップＡと、
仮想的な３次元空間中に前記基準視点から見て奥行き位置の異なる多層構造の投影面を設定するステップＢと、
前記複数の投影面上の前記基準視点から見て重なり合う複数の投影点と対応する前記取得した前記被写体の複数の画像の対応点の色情報または輝度情報から、前記各投影点の色情報または輝度情報を決定するステップＣと、
前記各投影点毎に、前記被写体の複数の画像の前記各投影点に対応する対応点間の相関度を算出するステップＤと、
前記各投影点における相関度に基づいて、前記各投影点に物体の表面が存在する確率を表す存在確率を決定するステップＥと、
前記各投影点の色情報または輝度情報と、前記各投影点での存在確率に基づいて、前記基準視点から見た前記被写体の画像を生成するステップＦとを有し、
前記ステップＤは、前記被写体の複数の画像の中から選んだいくつかの画像の組み合わせであるカメラセットを複数組用意するステップＤ１と、
前記各カメラセットに含まれる各被写体の画像上の前記各投影点に対応する対応点から、前記各投影点について相関度を求めるステップＤ２とを有し、
前記ステップＥは、前記カメラセット毎に求めた前記各投影点の相関度に基づき、カメラセットの代表となる１つの視点位置である代表視点を通る直線上の値の合計が一定値となる正規化処理を施した部分存在確率を算出するステップＥ１と、
前記カメラセット毎に決定した部分存在確率の統合処理をして前記各投影点の存在確率を決定するステップＥ２とを有することを特徴とする仮想視点画像生成方法。
【請求項２】
前記ステップＦは、前記各投影点の色情報または輝度情報を前記存在確率の高さに応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、１枚の２次元画像を生成するステップであることを特徴とする請求項１に記載の仮想視点画像生成方法。
【請求項３】
前記ステップＦは、前記各投影点の色情報または輝度情報を、前記存在確率の高さと投影面の基準視点からの距離に応じた割合で混合して、生成する画像上の色情報または輝度情報を決定し、２枚以上の２次元画像を生成するステップであることを特徴とする請求項１に記載の仮想視点画像生成方法。
【請求項４】
前記ステップＣは、それぞれのカメラセットに属する各被写体の画像の対応点の色情報または輝度情報から、前記各投影点におけるカメラセットごとの投影点の色情報または輝度情報を決定するステップＣ１と、
前記各投影点におけるカメラセットごとの部分存在確率の高さに応じてカメラセットごとの寄与率を決定するステップＣ２と、
前記各投影点におけるカメラセットごとの色情報または輝度情報を、カメラセットごとの寄与率の高さに応じた割合で混合し、前記各投影点の色情報または輝度情報を決定するステップＣ３とを有することを特徴とする請求項１ないし請求項３のいずれか１項に記載の仮想視点画像生成方法。
【請求項５】
前記ステップＣは、前記カメラセットごとの寄与率に対し、前記各投影点と前記カメラセットの代表視点とを結ぶ線分上にある他の投影点の存在確率に応じた係数を更に乗じ、新たなカメラセットごとの寄与率を決定するステップＣ４を有することを特徴とする請求項４に記載の仮想視点画像生成方法。
【請求項６】
前記ステップＥ２は、着目する投影点において異なるカメラセットから算出された複数の部分存在確率に、バイアス値を加算し、加算後の部分存在確率に投影面ごとに定めた係数を乗算して統合した存在確率を算出するステップＥ２１と、
前記各投影点において統合した存在確率を正規化処理するステップＥ２２とを有することを特徴とする請求項１ないし請求項５のいずれか１項に記載の仮想視点画像生成方法。
【請求項７】
前記バイアス値あるいは投影面ごとの係数は、着目する投影点と前記基準視点とを結ぶ線分上の他の投影点の存在確率に依存し、それらが大きいほど抑制されることを特徴とする請求項６に記載の仮想視点画像生成方法。
【請求項８】
複数の異なる視点から被写体を撮影した被写体の複数の画像に基づき、任意の仮想位置の基準視点から見た前記被写体の画像を生成する仮想視点画像生成装置であって、
任意の仮想位置の基準視点と、仮想的な３次元空間中に前記基準視点から見て奥行き位置の異なる多層構造の投影面を設定する基準視点決定手段と、
前記複数の異なる視点から被写体を撮影した前記被写体の複数の画像を取得する画像取得手段と、
前記基準視点決定手段で決定された前記基準視点と、前記画像取得手段で取得した前記被写体の複数の画像とに基づき、前記基準視点から見た前記被写体の画像を生成する画像生成手段とを有し、
前記画像生成手段は、前記被写体の複数の画像の中から選んだいくつかの画像の組み合わせである複数組のカメラセットを用意し、それぞれのカメラセットに属する各被写体の画像における、前記複数の投影面上の前記基準視点から見て重なり合う複数の投影点と対応する対応点の相関度を求め、前記カメラセットの代表となる１つの視点位置である代表視点を通る直線上の値の合計が一定値となる正規化処理を施した部分存在確率を算出する部分相関・存在確率計算手段と、
前記部分相関・存在確率計算手段で算出した前記カメラセット毎の部分存在確率を統合処理して前記各投影点の存在確率を算出する部分存在確率統合手段と、
前記部分相関・存在確率計算手段で算出した前記カメラセット毎の部分存在確率に基づき、前記カメラセット毎の寄与率を計算する寄与率計算手段と、
前記取得した前記被写体の複数の画像の対応点の色情報または輝度情報と、前記寄与率計算手段で算出した前記カメラセット毎の寄与率に基づき、前記各投影点の色情報または輝度情報を決定する色情報・輝度情報決定手段と、
前記部分存在確率統合手段で決定された前記各投影点の存在確率と、前記色情報・輝度情報決定手段で決定した前記各投影点の色情報または輝度情報とに基づき、前記基準視点から見た前記被写体の画像を生成するレンダリング手段とを有することを特徴とする仮想視点画像生成装置。
【請求項９】
前記画像生成手段は、前記取得した前記被写体の複数の画像を基準視点を中心とした投影画像に変換する投影処理手段Ａと、
前記被写体の複数の画像の中から選んだいくつかの画像の組み合わせである複数組のカメラセット毎に、それぞれのカメラセットに属する画像を、カメラセットの代表となる１つの視点位置である代表視点を中心とした投影画像に変換する投影処理手段Ｂとを有し、
前記部分相関・存在確率計算手段は、カメラセット毎に、前記投影処理手段Ｂで決定された投影画像における、前記複数の投影面上の前記基準視点から見て重なり合う複数の投影点に対応する対応点の相関度を求め、前記カメラセットの代表となる１つの視点位置である代表視点を通る直線上の値の合計が一定値となる正規化処理を施した部分存在確率を算出し、
前記色情報・輝度情報決定手段は、前記投影処理手段Ａで変換された前記被写体の複数の画像の対応点の色情報または輝度情報と、前記寄与率計算手段で算出した前記カメラセット毎の寄与率に基づき、前記各投影点の色情報または輝度情報を決定することを特徴とする請求項８に記載の仮想視点画像生成装置。
【請求項１０】
前記レンダリング手段は、前記各投影点の色情報または輝度情報を前記存在確率の高さに応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、１枚の２次元画像を生成することを特徴とする請求項８または請求項９に記載の仮想視点画像生成装置。
【請求項１１】
前記レンダリング手段は、前記各投影点の色情報または輝度情報を、前記存在確率の高さと投影面の基準視点からの距離に応じた割合で混合して、生成する画像上の色情報または輝度情報を決定し、２枚以上の２次元画像を生成することを特徴とする請求項８または請求項９に記載の仮想視点画像生成装置。
【請求項１２】
前記色情報・輝度情報決定手段は、それぞれのカメラセットに属する各被写体の画像の対応点の色情報または輝度情報から、前記各投影点におけるカメラセットごとの投影点の色情報または輝度情報を決定するとともに、前記各投影点におけるカメラセットごとの色情報または輝度情報を、カメラセットごとの寄与率の高さに応じた割合で混合して、前記各投影点の色情報または輝度情報を決定することを特徴とする請求項８ないし請求項１１のいずれか１項に記載の仮想視点画像生成装置。
【請求項１３】
前記寄与率計算手段は、前記カメラセットごとの寄与率に対し、前記各投影点と前記カメラセットの代表視点とを結ぶ線分上にある他の投影点の存在確率に応じた係数を更に乗じ、新たなカメラセットごとの寄与率を決定することを特徴とする請求項８ないし請求項１２のいずれか１項に記載の仮想視点画像生成装置。
【請求項１４】
前記部分存在確率統合手段は、各投影点において異なるカメラセットから算出された複数の部分存在確率に、バイアス値を加算し、加算後の部分存在確率に投影面ごとに定めた係数を乗算して統合した存在確率を算出し、前記各投影点において統合した存在確率を正規化処理することを特徴とする請求項８ないし請求項１３のいずれか１項に記載の仮想視点画像生成装置。
【請求項１】
複数の異なる視点から被写体を撮影した被写体の複数の画像に基づき、任意の仮想位置の基準視点から見た前記被写体の画像を生成する仮想視点画像生成方法であって、
前記複数の異なる視点から被写体を撮影した前記被写体の複数の画像を取得するステップＡと、
仮想的な３次元空間中に前記基準視点から見て奥行き位置の異なる多層構造の投影面を設定するステップＢと、
前記複数の投影面上の前記基準視点から見て重なり合う複数の投影点と対応する前記取得した前記被写体の複数の画像の対応点の色情報または輝度情報から、前記各投影点の色情報または輝度情報を決定するステップＣと、
前記各投影点毎に、前記被写体の複数の画像の前記各投影点に対応する対応点間の相関度を算出するステップＤと、
前記各投影点における相関度に基づいて、前記各投影点に物体の表面が存在する確率を表す存在確率を決定するステップＥと、
前記各投影点の色情報または輝度情報と、前記各投影点での存在確率に基づいて、前記基準視点から見た前記被写体の画像を生成するステップＦとを有し、
前記ステップＤは、前記被写体の複数の画像の中から選んだいくつかの画像の組み合わせであるカメラセットを複数組用意するステップＤ１と、
前記各カメラセットに含まれる各被写体の画像上の前記各投影点に対応する対応点から、前記各投影点について相関度を求めるステップＤ２とを有し、
前記ステップＥは、前記カメラセット毎に求めた前記各投影点の相関度に基づき、カメラセットの代表となる１つの視点位置である代表視点を通る直線上の値の合計が一定値となる正規化処理を施した部分存在確率を算出するステップＥ１と、
前記カメラセット毎に決定した部分存在確率の統合処理をして前記各投影点の存在確率を決定するステップＥ２とを有することを特徴とする仮想視点画像生成方法。
【請求項２】
前記ステップＦは、前記各投影点の色情報または輝度情報を前記存在確率の高さに応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、１枚の２次元画像を生成するステップであることを特徴とする請求項１に記載の仮想視点画像生成方法。
【請求項３】
前記ステップＦは、前記各投影点の色情報または輝度情報を、前記存在確率の高さと投影面の基準視点からの距離に応じた割合で混合して、生成する画像上の色情報または輝度情報を決定し、２枚以上の２次元画像を生成するステップであることを特徴とする請求項１に記載の仮想視点画像生成方法。
【請求項４】
前記ステップＣは、それぞれのカメラセットに属する各被写体の画像の対応点の色情報または輝度情報から、前記各投影点におけるカメラセットごとの投影点の色情報または輝度情報を決定するステップＣ１と、
前記各投影点におけるカメラセットごとの部分存在確率の高さに応じてカメラセットごとの寄与率を決定するステップＣ２と、
前記各投影点におけるカメラセットごとの色情報または輝度情報を、カメラセットごとの寄与率の高さに応じた割合で混合し、前記各投影点の色情報または輝度情報を決定するステップＣ３とを有することを特徴とする請求項１ないし請求項３のいずれか１項に記載の仮想視点画像生成方法。
【請求項５】
前記ステップＣは、前記カメラセットごとの寄与率に対し、前記各投影点と前記カメラセットの代表視点とを結ぶ線分上にある他の投影点の存在確率に応じた係数を更に乗じ、新たなカメラセットごとの寄与率を決定するステップＣ４を有することを特徴とする請求項４に記載の仮想視点画像生成方法。
【請求項６】
前記ステップＥ２は、着目する投影点において異なるカメラセットから算出された複数の部分存在確率に、バイアス値を加算し、加算後の部分存在確率に投影面ごとに定めた係数を乗算して統合した存在確率を算出するステップＥ２１と、
前記各投影点において統合した存在確率を正規化処理するステップＥ２２とを有することを特徴とする請求項１ないし請求項５のいずれか１項に記載の仮想視点画像生成方法。
【請求項７】
前記バイアス値あるいは投影面ごとの係数は、着目する投影点と前記基準視点とを結ぶ線分上の他の投影点の存在確率に依存し、それらが大きいほど抑制されることを特徴とする請求項６に記載の仮想視点画像生成方法。
【請求項８】
複数の異なる視点から被写体を撮影した被写体の複数の画像に基づき、任意の仮想位置の基準視点から見た前記被写体の画像を生成する仮想視点画像生成装置であって、
任意の仮想位置の基準視点と、仮想的な３次元空間中に前記基準視点から見て奥行き位置の異なる多層構造の投影面を設定する基準視点決定手段と、
前記複数の異なる視点から被写体を撮影した前記被写体の複数の画像を取得する画像取得手段と、
前記基準視点決定手段で決定された前記基準視点と、前記画像取得手段で取得した前記被写体の複数の画像とに基づき、前記基準視点から見た前記被写体の画像を生成する画像生成手段とを有し、
前記画像生成手段は、前記被写体の複数の画像の中から選んだいくつかの画像の組み合わせである複数組のカメラセットを用意し、それぞれのカメラセットに属する各被写体の画像における、前記複数の投影面上の前記基準視点から見て重なり合う複数の投影点と対応する対応点の相関度を求め、前記カメラセットの代表となる１つの視点位置である代表視点を通る直線上の値の合計が一定値となる正規化処理を施した部分存在確率を算出する部分相関・存在確率計算手段と、
前記部分相関・存在確率計算手段で算出した前記カメラセット毎の部分存在確率を統合処理して前記各投影点の存在確率を算出する部分存在確率統合手段と、
前記部分相関・存在確率計算手段で算出した前記カメラセット毎の部分存在確率に基づき、前記カメラセット毎の寄与率を計算する寄与率計算手段と、
前記取得した前記被写体の複数の画像の対応点の色情報または輝度情報と、前記寄与率計算手段で算出した前記カメラセット毎の寄与率に基づき、前記各投影点の色情報または輝度情報を決定する色情報・輝度情報決定手段と、
前記部分存在確率統合手段で決定された前記各投影点の存在確率と、前記色情報・輝度情報決定手段で決定した前記各投影点の色情報または輝度情報とに基づき、前記基準視点から見た前記被写体の画像を生成するレンダリング手段とを有することを特徴とする仮想視点画像生成装置。
【請求項９】
前記画像生成手段は、前記取得した前記被写体の複数の画像を基準視点を中心とした投影画像に変換する投影処理手段Ａと、
前記被写体の複数の画像の中から選んだいくつかの画像の組み合わせである複数組のカメラセット毎に、それぞれのカメラセットに属する画像を、カメラセットの代表となる１つの視点位置である代表視点を中心とした投影画像に変換する投影処理手段Ｂとを有し、
前記部分相関・存在確率計算手段は、カメラセット毎に、前記投影処理手段Ｂで決定された投影画像における、前記複数の投影面上の前記基準視点から見て重なり合う複数の投影点に対応する対応点の相関度を求め、前記カメラセットの代表となる１つの視点位置である代表視点を通る直線上の値の合計が一定値となる正規化処理を施した部分存在確率を算出し、
前記色情報・輝度情報決定手段は、前記投影処理手段Ａで変換された前記被写体の複数の画像の対応点の色情報または輝度情報と、前記寄与率計算手段で算出した前記カメラセット毎の寄与率に基づき、前記各投影点の色情報または輝度情報を決定することを特徴とする請求項８に記載の仮想視点画像生成装置。
【請求項１０】
前記レンダリング手段は、前記各投影点の色情報または輝度情報を前記存在確率の高さに応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、１枚の２次元画像を生成することを特徴とする請求項８または請求項９に記載の仮想視点画像生成装置。
【請求項１１】
前記レンダリング手段は、前記各投影点の色情報または輝度情報を、前記存在確率の高さと投影面の基準視点からの距離に応じた割合で混合して、生成する画像上の色情報または輝度情報を決定し、２枚以上の２次元画像を生成することを特徴とする請求項８または請求項９に記載の仮想視点画像生成装置。
【請求項１２】
前記色情報・輝度情報決定手段は、それぞれのカメラセットに属する各被写体の画像の対応点の色情報または輝度情報から、前記各投影点におけるカメラセットごとの投影点の色情報または輝度情報を決定するとともに、前記各投影点におけるカメラセットごとの色情報または輝度情報を、カメラセットごとの寄与率の高さに応じた割合で混合して、前記各投影点の色情報または輝度情報を決定することを特徴とする請求項８ないし請求項１１のいずれか１項に記載の仮想視点画像生成装置。
【請求項１３】
前記寄与率計算手段は、前記カメラセットごとの寄与率に対し、前記各投影点と前記カメラセットの代表視点とを結ぶ線分上にある他の投影点の存在確率に応じた係数を更に乗じ、新たなカメラセットごとの寄与率を決定することを特徴とする請求項８ないし請求項１２のいずれか１項に記載の仮想視点画像生成装置。
【請求項１４】
前記部分存在確率統合手段は、各投影点において異なるカメラセットから算出された複数の部分存在確率に、バイアス値を加算し、加算後の部分存在確率に投影面ごとに定めた係数を乗算して統合した存在確率を算出し、前記各投影点において統合した存在確率を正規化処理することを特徴とする請求項８ないし請求項１３のいずれか１項に記載の仮想視点画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−１１６５３２（Ｐ２００９−１１６５３２Ａ）
【公開日】平成２１年５月２８日（２００９．５．２８）
【国際特許分類】
【出願番号】特願２００７−２８７５８３（Ｐ２００７−２８７５８３）
【出願日】平成１９年１１月５日（２００７．１１．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年５月２８日（２００９．５．２８）
【国際特許分類】
【出願日】平成１９年１１月５日（２００７．１１．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]