複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法
【課題】本方法は、複数の入力イメージをブレンディングして任意のビューに対する出力イメージを生成する。
【解決手段】出力イメージ内で、単一入力ピクセルのみから生成されるピクセルを識別する。その単一ピクセルの加重を１に設定する。入力イメージ内で加重が割り当てられていない残りの各ピクセルについて、イメージ境界および深度境界までの距離を測定し、これらの残りのピクセルに対する比例加重を、０から１までの範囲で、２つの距離の最小値に比例するように設定する。その後、ブレンディングフィールドに従って、各入力イメージを出力イメージへとレンダリングする。
【解決手段】出力イメージ内で、単一入力ピクセルのみから生成されるピクセルを識別する。その単一ピクセルの加重を１に設定する。入力イメージ内で加重が割り当てられていない残りの各ピクセルについて、イメージ境界および深度境界までの距離を測定し、これらの残りのピクセルに対する比例加重を、０から１までの範囲で、２つの距離の最小値に比例するように設定する。その後、ブレンディングフィールドに従って、各入力イメージを出力イメージへとレンダリングする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはイメージのレンダリングに関し、特に、重複イメージをブレンディングして単一ビュー出力イメージを生成することに関する。
【背景技術】
【０００２】
シーンの外観は、シーン内のあらゆる３Ｄ点から放射されるすべての光線（２Ｄ）を通じて記述することができる。これは、「プレノプティック(plenoptic)」関数とも呼ばれる５Ｄラジアンス関数を生成する。透明媒質中では、プレノプティック関数は４次元に簡約される。実際には、プレノプティック関数は別々の較正カメラビューからサンプリングされる。サンプリングされないラジアンス値は、記録された値を補間することにより表現されなければならない。これには、物理的制限に関する情報が追加されることもある。
【０００３】
多くの場合、シーン内のオブジェクトはランベルト的(Lambertian)であると仮定される。これは、オブジェクト上の各点がすべての可能な方向において同じラジアンス値を有することを意味する。このことは、２つの視線光線(viewing ray)がサーフェイス点で交わる場合に同じカラー値を有することを含意する。鏡面効果が生じる場合には、これはもはや正しくない。その場合、２つの視線光線は、それらの方向が類似しそれらの交点が実際のサーフェイス点に近い場合に限って、類似のカラー値を有する。仮想カメラ、すなわち任意のビューに対するシーンの新しいイメージを構成するには、上記の意味で仮想カメラの入力光線に最も近い入力光線を求めなければならない。入力光線が所望の光線に近いほど、出力カラー値へのその寄与が大きくなる。
【０００４】
イメージベースのレンダリング（ＩＢＲ）は、従来の３次元グラフィクスに代わるよく知られた代替法である。ＩＢＲによれば、入力イメージの一部でない新しいビューから出力イメージを生成することが可能である。効果的なＩＢＲ法の２つの例として、ビュー依存テクスチャマッピング（ＶＤＴＭ）およびライトフィールド／ルミグラフ(lumigraph)手法がある。ライトフィールド、ルミグラフおよび同心モザイクは、複数のカメラからの多数の入力イメージを必要とするが、シーンの形状に関する仮定は、あるとしてもわずかである。
【０００５】
これに対して、ＶＤＴＭは、シーンの比較的精密な形状モデルを仮定するが、任意の位置にあり得る入力カメラからの少数のイメージしか必要としない。いずれの方法も、入力ピクセルの何らかの加重結合として、出力ピクセルに対するカラー値を補間する。
【０００６】
ＶＤＴＭでは、この補間は、幾何プロキシモデルを用いて実行され、各入力イメージからのどのピクセルが出力イメージ内の所望のピクセルに「対応」するかを決定する。これらの対応するピクセルのうち、角が所望のピクセルに最も近いピクセルが、補間結果への最大寄与をなすように加重される。
【０００７】
ブレンディング操作は、最終レンダリングへの単一入力イメージの影響が出力イメージ平面全体で、または同じことであるが、シーンを表現する形状全体で、滑らかに変動する関数であることを保証する。これらの滑らかな加重関数を結合して、各入力イメージ内のピクセルが出力イメージ内の各ピクセルにどの程度の寄与をするかを指定する「ブレンディングフィールド」を形成する。そして、再構成されたブレンディングフィールドを用いて、入力イメージからのピクセルをブレンディングして、出力イメージのピクセルを形成する。
【０００８】
イメージをブレンディングする主な理由としては、カメラ応答の変化やシーンのビュー依存外観により引き起こされる入力イメージにおける光度の不一致、ならびに位置合わせおよび深度マップ、すなわちシーンの形状における小さい誤差がある。ブレンディングは、出力イメージにぼけを生じ得る。しかし、ブレンディングは、入力イメージにおける不一致に起因する避けられない誤差を隠蔽するために必要である。
【０００９】
ブレンディング法は、イメージ空間でピクセルフラグメントに作用してもよく、またはオブジェクト空間で、幾何プロキシ内の各ポリゴンを扱ってもよい。
【００１０】
従来のブレンディング法は、「最近接ビューからの偏差」のような局所情報のみを用いてブレンディング加重を求める。それらの方法は、ビュー依存テクスチャマッピングや、非構造化ルミグラフレンダリングで使用されるブレンディングフィールドのような手法を含む。これらおよびその他の方法はいずれも、出力イメージにおける滑らかな空間的および時間的遷移を生成する。
【００１１】
理想的なＩＢＲ法の望ましい目標は以下の通りである。所望の光線が入力カメラの投影中心を通る場合、十分に高解像度の入力イメージと、光線がカメラの視野に入ることを仮定すれば、その光線は光線データベースから直ちに再構成することができる。この場合、理想的なプロセスは、入力イメージからの光線を返すべきである。エピポール整合性を用いたアルゴリズムが、形状情報なしにこの光線を正確に再構成するであろう。一般に、所望の光線を再構成するためにどの入力イメージを使用するかの選択は、自然で整合性のある近接性の尺度に基づくべきである。特に、可能な場合には、所望の光線と類似の角をなす入力イメージ光線を使用すべきである。幾何プロキシ上の近くの点を通る前の光線から無限小距離にある光線を求める場合、それに対応して、再構成される光線は、前に再構成されたカラーに近いカラー値を有すべきである。再構成連続性は、時間的および空間的双方のアーティファクトを避けるために重要である。例えば、いかなる特定のカメラによる寄与も、その視野の境界に近づくにつれて、または可視性オクルージョンによりカメラから見えないサーフェイスの部分に近づくにつれて、ゼロに低下すべきである。
【００１２】
以下で説明するように、局所情報のみに基づく方法は、深度境界全体にわたる滑らかさを達成することができない。ＶＤＴＭ法は、入力カメラへの方向の三角分割を用いて「最近接３点」を選び出す。たとえプロキシのテッセレーションが精密であっても、近くの点は、「入力カメラビューマップ」の非常に異なる三角分割を有することがあるため、非常に異なる再構成を生じ得る。この目標は細かいことであるが、それにもかかわらず重要である。というのは、このような連続性が欠けると、目立つアーティファクトが取り込まれ得るからである。
【００１３】
いくつかの方法は非常に多数のビューを使用し、非常に類似した、同一カメラによりキャプチャされたビューを用いてピクセルがブレンディングされる。このような高密度のサンプリングでは、たとえ出力ピクセルが少数の入力ピクセルからブレンディングされても、ほとんどのアーティファクトが避けられる。
【００１４】
ブレンディング問題の正式な承認にもかかわらず、従来のＩＢＲ法は、一度に１フラグメントを考慮することによって問題を解決しようとしている。これがうまく働くのは以下の場合だけである：サーフェイスがディフューズであるため、ラジアンスが全方向で同一であり、対応するピクセルが非常に類似した強度を有する；そして、オクルージョン境界がないため、いかなる局所近傍内の対応するピクセルの相対順序も同一であり、それにより、ギャップのない連続関数が得られる。
【００１５】
空間的滑らかさは、出力イメージ内の入力イメージの加重の変動に関係する。深度境界がない場合、出力イメージ内の隣接ピクセルは類似の加重を有すべきである。深度境界は、深度勾配が非常に大きい領域、例えばシーン内の前景と背景のオブジェクトの間の不連続点として定義される。時間的滑らかさは、近くの新しいビューにおけるシーン内の３Ｄ特徴点での入力イメージの加重の変動に関係する。ビューが滑らかに変化する場合、シーン特徴における加重は滑らかに変化すべきである。寄与加重の空間的および時間的滑らかさを達成するための指針は次のように述べることができる：
【００１６】
対応する入力イメージピクセルの強度加重の和を１とすることにより、出力イメージ内の強度が正規化されるようにする。カメラ間強度差が出力イメージ内に目に見える不連続点を作り出さないように、物理サーフェイスに沿った入力イメージの加重は、重複部分の内部および近くで滑らかに変化すべきである。深度不連続点がない場合、入力イメージ内の強度加重の分布は滑らかであるべきである。エピポール整合性があるべきであり、角偏差は最小限にすべきである。ぼけを少なくするため、遷移領域の数を制限することにより不要なブレンディングを避けるべきである。
【００１７】
これらの指針は、深度不連続点およびシャドウ境界における加重制約に反することなくブレンディング問題を解決すべきことを提案している。注意すべき重要なことであるが、ある特定の条件の下では、これらの指針の一部は矛盾するかもしれないし、それらのすべてを満たすことは不可能かもしれない。例えば、重複領域と非重複領域の間の境界が特異点に一致する場合、その特異点の局所近傍内のブレンディング加重は連続ではない。
【発明の開示】
【発明が解決しようとする課題】
【００１８】
したがって、上記の問題のない、イメージをブレンディングすることができる方法が必要とされている。
【課題を解決するための手段】
【００１９】
本方法は、複数の入力イメージをブレンディングして任意のビューに対する出力イメージを生成する。出力イメージ内で、単一入力ピクセルのみから生成されるピクセルを識別する。その単一ピクセルの加重を１に設定する。
【００２０】
入力イメージ内で加重が割り当てられていない残りの各ピクセルについて、イメージ境界および深度境界までの距離を測定し、これらの残りのピクセルに対する比例加重を、０から１までの範囲で、２つの距離の最小値に比例するように設定する。その後、ブレンディングフィールドに従って、各入力イメージを出力イメージへとレンダリングする。
【発明を実施するための最良の形態】
【００２１】
シーンの複数の重複する入力イメージをレンダリングして、おそらくは任意の視点からの出力イメージをレンダリングする場合、空間的滑らかさは、出力イメージを生成するための入力イメージの加重の変動に関係する。したがって、深度不連続点がない場合、出力イメージ内の隣接するピクセルは類似の加重を有すべきである。時間的滑らかさは、近くの新しいビューにおけるシーン内の３Ｄ特徴点での加重の変動に関係する。ビューが滑らかに変化する場合、シーン特徴における加重は滑らかに変化すべきである。寄与加重の空間的および時間的滑らかさを達成するための指針は次のように述べることができる。
【００２２】
入力イメージの対応するピクセルの強度加重の和を１とすることにより、出力イメージ内の強度が正規化されるようにする。カメラ間強度差が出力イメージ内で目に見える不連続点を作り出さないように、物理サーフェイスに沿った入力イメージの加重は、イメージ重複部分の内部および近くで滑らかに変化すべきである。深度不連続点がない場合、入力イメージ内の強度加重の分布は滑らかであるべきである。したがって、エピポール整合性がなければならず、角偏差は最小限でなければならない。ぼけを少なくするため、遷移領域の数を制限することにより不要なブレンディングを避けるべきである。
【００２３】
これらの指針は、深度境界またはシャドウ境界における加重制約に反することなくブレンディング問題を解決すべきことを意味している。注意すべき重要なことであるが、ある特定の条件の下では、これらの指針の一部は矛盾するかもしれないし、それらのすべてを満たすことは不可能かもしれない。
【００２４】
例えば、重複領域と非重複領域の間の境界が特異点に一致する場合、その特異点の局所近傍内のブレンディング加重は連続ではない。
【００２５】
図１に示すように、本発明によるブレンディングおよびレンダリング方法１００は、イメージ空間手法を使用する。方法１００は、入力イメージ１０７および形状１０４に作用して、ビュー非依存であるかビュー依存であるかを問わず、所望の出力イメージ１０６を生成する。なお、入力イメージは、現実のシーンであっても合成シーンであってもよい。形状１０４は、入力イメージ１０７のピクセルが互いに幾何学的にどのように関係しているかを示す。例えば、形状は、入力イメージ内の種々のピクセルについてのイメージ位置合わせまたは深度情報を含む。形状は、いかなるカラー情報も含まない。
【００２６】
本発明によるブレンディングフィールド１０１は、ビュー非依存加重ｗｉ（ｘ）１０２に対してはビュー非依存計算３００から、および任意に、ビュー依存加重ｗｄ（ｘ）１０３に対してはビュー依存計算２００から、求められる。
【００２７】
各入力イメージごとに１つのブレンディングフィールドがある。レンダリング中に、各入力イメージは、それに対応するブレンディングフィールド内の加重に従って「ブレンディング」されて出力イメージが生成される。
【００２８】
ビュー非依存加重１０２の計算３００は、入力イメージとシーン特徴の間の大域的関係、すなわち形状１０４のみに基づく。ビュー依存加重ｗｄ（ｘ）１０３の計算３００は主として、出力イメージに対する視点１０５と、形状１０４により規定される可視性パラメータを考慮する。含まれ得る他のパラメータには、解像度、またはサンプリング密度がある。視点依存パラメータは、出力イメージ１０６と入力イメージ１０７の間の関係に起因する。
【００２９】
以下で説明するように、ブレンディングフィールド１０１は、正規化内積を用いてビュー非依存加重とビュー依存加重を結合する（１４０）ことができる。ビュー非依存計算３００は大域的可視性制約を考慮に入れる一方、ビュー依存計算２００は出力イメージのフラグメントごとに実行される。フラグメントは、イメージピクセルであっても、幾何プロキシのポリゴンであってもよい。
【００３０】
顕著な深度不連続点、すなわち深度境界を有するシーンでは、ビュー非依存計算３００はビュー依存計算２００より複雑である。静的シーンでは、ビュー非依存寄与を前処理することができる。
【００３１】
上記のように、従来のブレンディング法は、最も近い不可視または境界ピクセルまでの距離を用いてブレンディング加重を求める。通常、いかなる特定の入力イメージによる寄与も、その視野の境界に近づくにつれてゼロに減少する。
【００３２】
これに対して、本発明は、最も近いイメージ境界または最も近い深度境界までの距離の概念を用いて、これらの２つの距離の最小を選択する。深度境界は、深度不連続点と呼んでもよい。
【００３３】
まず、いずれかの入力イメージ内の単一入力ピクセルのみで見える領域に対応する出力ピクセルを識別する。これらの単一入力ピクセルのビュー非依存加重には、対応するブレンディングフィールド内で１．０の値を割り当てる。次に、入力イメージ内の残りの各ピクセル、すなわちビュー非依存加重が割り当てられていないピクセルについて、そのピクセルからイメージ境界または深度境界までの経路の最短距離を測定する。このステップで、重複境界を横切る経路は無視する。これらの残りのピクセルには、これらの２つの距離の最小距離に比例するビュー非依存加重を割り当てる。ビュー依存強度の下でも、これは、シャドウや断片化した重複部分の存在下で滑らかな遷移を生成する。
【００３４】
図２に、ビュー依存加重ｗｄ（ｘ）１０３を求めるための擬似コード２００を示す。ビュー依存計算２００は、出力光線からの入力光線の最大角偏差に依存する。各出力ピクセルについて、出力ピクセルが見えるｋ最近接カメラビューの入力イメージ内の対応するピクセルを選択する。ビュー依存加重ｗｄ（ｘ）１０３の割当ては、ｋ最近接近傍に対する最大角偏差に基づく。
【００３５】
ビュー依存ブレンディング加重ｗｄ（ｘ）は、必ずしも入力イメージ全体で正規化される必要はない。というのは、加重は、ビュー非依存加重との内積１４０の後で正規化されるからである。この加重方式はまた、上記の近接ビューエピポール整合性指針も保証する。偏差がゼロ（すなわち出力光線がエピポールである）に近づくにつれて、ビュー依存加重は１に近づく。光線が１次ｋ最近接ビューのイメージ境界に近づくにつれて、ビュー依存加重は次第にゼロに近づく。ａｎｇｌｅｋはｋ個の隣接点の間の最大角を表す。
【００３６】
図３に、ビュー非依存加重計算３００を、メインステップ３０５とともに、さらに詳細に示す。実際のリアルタイム実施態様では、各入力イメージ１０７ごとに以下の５個のバッファを使用する：イメージバッファＩｍａｇｅ（ｘ）３０１、深度バッファＤｅｐｔｈ（ｘ）３０２、重複を記録するための重複バッファｖ（ｘ）３０３、距離バッファｄ（ｘ）３０４、およびピクセルｘに対する加重値を格納するための加重バッファｗｉ（ｘ）。
【００３７】
深度バッファ３０２は、入力イメージに対する深度値の２Ｄ配列である。幾何プロキシが使用される場合、深度バッファは、カメラの視点から幾何プロキシをレンダリングし、レンダリングされた深度バッファを読み戻すことによって計算することができる。重複バッファ３０３は、各ピクセルごとに重複するイメージビューの数を示す整数値を含む。重複領域、すなわち２個以上のピクセルカウントが、従来のシャドウバッファ技法を用いて求められる。ステップ３１０は、深度バッファ３０２内で深度境界を求める方法を示している。
【００３８】
その不等式により、深度境界ピクセルは、最近接サーフェイス上のみにあるため、深度不連続点において二重境界を生じない。深度精度の欠如による誤差を除去するためにしきい値Ｄｅｐｔｈｉ（＋）を用いる。
【００３９】
非依存加重計算３００は、「境界までの最短経路」に基づく滑らかな関数を生成する。ここで境界はイメージ境界または深度境界のいずれかである。深度不連続点がない場合、この関数は入力イメージ全体で滑らかとなる。重複境界を横切る経路を無視することにより、シーン滑らかさ条件が強制される。したがって、非依存ブレンディング加重は、イメージ空間内の深度境界でのみ不連続であるが、シーン形状に沿って連続である。ビュー依存出力イメージが所望される場合、ビュー非依存加重ｗｉ（ｘ）１０２を、同じく滑らかである対応するビュー依存加重ｗｄ（ｘ）１０３と結合する（１４０）。これらの２つの加重関数の内積もまた、深度境界を除いては滑らかである。
【００４０】
ビュー非依存加重割当ての困難な部分は、最短経路に沿った距離の測定である。というのは、経路は常に直線に沿っているとは限らないからである。
【００４１】
最短経路問題は、計算幾何学の分野でよく研究されている。１つの手法は、一般化ボロノイ図に基づくものである。ボロノイ図は、ポテンシャル場内の経路計画のような応用や障害物ノードの回避に一般に用いられている。
【００４２】
動作計画は、デジタルアクターのアニメーション、仮想プロトタイピングにおける保守性調査、およびロボット支援外科手術への応用を有する基本的問題である。古典的な「ピアノ移動者」の問題("Piano Mover" problem)は、障害物の多い環境でロボットがある位置および向きから別の位置および向きに移動する無衝突経路を求めることに関わる。基礎となる考え方は、障害物を斥力ノードとして扱うことである。その場合、ボロノイ境界は、障害物間の極大クリアランスの経路を提供する。一般化ボロノイ図を計算する実際の複雑さに起因して、このような計画器の応用は、少数の単純な障害物からなる環境に限定されている。
【００４３】
最近では、勾配手法を用いた貪欲経路計画プロセスにハードウェアベースの手法が使用されている。比較的高速ではあるが、引力ノードおよび斥力ノードに関してすべての点について最短経路を符号化することは困難である。本発明との関連では、引力ノードは重複境界となり、斥力ノードはイメージ境界および深度境界となるであろう。
【００４４】
これに対して、本発明は、最短経路に沿った距離の近似を使用する。この近似は以下の３つの目標を満たす：重複領域内の重複境界付近の加重は１に近い、重複領域内の深度境界付近の加重は０に近い、およびそれらの間の領域内のピクセルに対する加重は滑らかに遷移する。
【００４５】
本発明は、グラフィクスハードウェアを用いてボロノイ図を計算する。考え方は、コーンをレンダリングして各ノードの距離関数を近似するというものである。ノードは、イメージ境界または深度境界上のピクセルとすることができる。各ノードには、固有のカラーＩＤが割り当てられ、対応するコーンが、平行投影を用いてそのカラーでレンダリングされる。ポリゴン化されたコーンをレンダリングする場合、グラフィクスハードウェアでのポリゴンラスタ化が、ポリゴン全体にわたる深度の線形補間およびＺバッファ深度比較演算を用いて、イメージ平面にわたるすべての距離を再構成する。
【００４６】
Ｚバッファ深度テストは、新しい深度値を前に格納された値と比較する。新しい値のほうが小さい場合、Ｚバッファは新しい距離を記録し、カラーバッファはそのサイトのＩＤを記録する。このようにして、フレームバッファ内の各ピクセルはそれに最も近いサイトに対応するカラーを有し、深度バッファはそのサイトまでの距離を有することになる。単一ピクセル精度のボロノイ図を維持するため、精細なテッセレーションを有するコーンをレンダリングする必要がある。
【００４７】
Ｚ（ｘ）およびｚ（ｘ）を、ピクセルｘに対する最近接深度境界ノードおよびそのノードまでの距離とする。なお、これらのユークリッド距離は、ボロノイ図により規定される直線に沿っていることに留意されたい。深度バッファ値は、オブジェクト空間深度距離に変換される。この場合、この距離は、境界ピクセルからのピクセル単位での距離に対応する。
【００４８】
深度境界ノードを回避するため、深度値ｚ（ｘ）を更新する必要がある。ｄ（ｘ）を、更新されたｚ（ｘ）、すなわち、最も近いイメージ境界または深度境界までの距離に比例する近似距離とする。各入力イメージごとにビュー非依存加重に対する距離を計算するための擬似コードをステップ３２０に示す。
【００４９】
レンダリングのステップ４００を図４に示す。ｘｉで、入力イメージｉ内のピクセルｘに対する対応するピクセルを表す。上記のように、このステップは、いかなるタイプのフラグメントを使用するように修正することも可能である。ピクセルの代わりに、幾何プロキシからのポリゴンを使用することができる。この手続きは、ピクセルごとに複数の加重を割り当てた後で深度値に応じてそれらの加重を区別しなければならない方法よりはやや単純である。スプラッティングの前に、不可視の寄与を除去するため、好ましい実施形態は、幾何プロキシを単にレンダリングして、出力イメージ内の深度バッファを更新する。ステップの最終行における内積後の総和は、グラフィクスハードウェア内のアキュムレーションバッファを用いて達成される。この場合のスプラッティングは従来通りであり、通常は、ピクセルのカラー値のガウス分布の投影である。他のスプラッティング技法を使用してもよい。
【００５０】
本発明は、任意の視点に対して、複数の入力イメージを併合して出力イメージを生成するためにピクセル強度に作用するための新しいブレンディング方法を効果的に提供する。本発明は、深度境界を横切るフェザリングを扱うために大域的制約を使用する。本方法では、各ブレンディング加重は、ビュー非依存成分と、任意のビュー依存成分とからなる。所望のビュー非依存加重の近似が、従来のレンダリングハードウェアを用いて計算される。本方法は、多くのタイプの補間におけるブレンディング操作のために使用されるほど十分に一般的である。これらの操作には、サーフェイスライトフィールドからの合成、イメージベースのシーンのリライティング(re-lighting)、およびサンプリングされたＢＲＤＦ値からの新規ビュー生成がある。
【００５１】
以上、本発明について、好ましい実施形態を例として説明したが、本発明の精神および範囲内で種々の他の適応および変更が可能であることはいうまでもない。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内に入るすべてのそのような変形および変更を包含することである。
【図面の簡単な説明】
【００５２】
【図１】本発明による、複数のイメージをブレンディングして単一出力イメージを生成する方法の流れ図である。
【図２】本発明によるブレンディング方法のための、ビュー依存ブレンディング加重を求めるステップの擬似コードである。
【図３】本発明によるブレンディング方法のための、ビュー非依存ブレンディング加重を求めるステップの擬似コードである。
【図４】本発明によるブレンディング方法のレンダリングステップの擬似コードである。
【技術分野】
【０００１】
本発明は、包括的にはイメージのレンダリングに関し、特に、重複イメージをブレンディングして単一ビュー出力イメージを生成することに関する。
【背景技術】
【０００２】
シーンの外観は、シーン内のあらゆる３Ｄ点から放射されるすべての光線（２Ｄ）を通じて記述することができる。これは、「プレノプティック(plenoptic)」関数とも呼ばれる５Ｄラジアンス関数を生成する。透明媒質中では、プレノプティック関数は４次元に簡約される。実際には、プレノプティック関数は別々の較正カメラビューからサンプリングされる。サンプリングされないラジアンス値は、記録された値を補間することにより表現されなければならない。これには、物理的制限に関する情報が追加されることもある。
【０００３】
多くの場合、シーン内のオブジェクトはランベルト的(Lambertian)であると仮定される。これは、オブジェクト上の各点がすべての可能な方向において同じラジアンス値を有することを意味する。このことは、２つの視線光線(viewing ray)がサーフェイス点で交わる場合に同じカラー値を有することを含意する。鏡面効果が生じる場合には、これはもはや正しくない。その場合、２つの視線光線は、それらの方向が類似しそれらの交点が実際のサーフェイス点に近い場合に限って、類似のカラー値を有する。仮想カメラ、すなわち任意のビューに対するシーンの新しいイメージを構成するには、上記の意味で仮想カメラの入力光線に最も近い入力光線を求めなければならない。入力光線が所望の光線に近いほど、出力カラー値へのその寄与が大きくなる。
【０００４】
イメージベースのレンダリング（ＩＢＲ）は、従来の３次元グラフィクスに代わるよく知られた代替法である。ＩＢＲによれば、入力イメージの一部でない新しいビューから出力イメージを生成することが可能である。効果的なＩＢＲ法の２つの例として、ビュー依存テクスチャマッピング（ＶＤＴＭ）およびライトフィールド／ルミグラフ(lumigraph)手法がある。ライトフィールド、ルミグラフおよび同心モザイクは、複数のカメラからの多数の入力イメージを必要とするが、シーンの形状に関する仮定は、あるとしてもわずかである。
【０００５】
これに対して、ＶＤＴＭは、シーンの比較的精密な形状モデルを仮定するが、任意の位置にあり得る入力カメラからの少数のイメージしか必要としない。いずれの方法も、入力ピクセルの何らかの加重結合として、出力ピクセルに対するカラー値を補間する。
【０００６】
ＶＤＴＭでは、この補間は、幾何プロキシモデルを用いて実行され、各入力イメージからのどのピクセルが出力イメージ内の所望のピクセルに「対応」するかを決定する。これらの対応するピクセルのうち、角が所望のピクセルに最も近いピクセルが、補間結果への最大寄与をなすように加重される。
【０００７】
ブレンディング操作は、最終レンダリングへの単一入力イメージの影響が出力イメージ平面全体で、または同じことであるが、シーンを表現する形状全体で、滑らかに変動する関数であることを保証する。これらの滑らかな加重関数を結合して、各入力イメージ内のピクセルが出力イメージ内の各ピクセルにどの程度の寄与をするかを指定する「ブレンディングフィールド」を形成する。そして、再構成されたブレンディングフィールドを用いて、入力イメージからのピクセルをブレンディングして、出力イメージのピクセルを形成する。
【０００８】
イメージをブレンディングする主な理由としては、カメラ応答の変化やシーンのビュー依存外観により引き起こされる入力イメージにおける光度の不一致、ならびに位置合わせおよび深度マップ、すなわちシーンの形状における小さい誤差がある。ブレンディングは、出力イメージにぼけを生じ得る。しかし、ブレンディングは、入力イメージにおける不一致に起因する避けられない誤差を隠蔽するために必要である。
【０００９】
ブレンディング法は、イメージ空間でピクセルフラグメントに作用してもよく、またはオブジェクト空間で、幾何プロキシ内の各ポリゴンを扱ってもよい。
【００１０】
従来のブレンディング法は、「最近接ビューからの偏差」のような局所情報のみを用いてブレンディング加重を求める。それらの方法は、ビュー依存テクスチャマッピングや、非構造化ルミグラフレンダリングで使用されるブレンディングフィールドのような手法を含む。これらおよびその他の方法はいずれも、出力イメージにおける滑らかな空間的および時間的遷移を生成する。
【００１１】
理想的なＩＢＲ法の望ましい目標は以下の通りである。所望の光線が入力カメラの投影中心を通る場合、十分に高解像度の入力イメージと、光線がカメラの視野に入ることを仮定すれば、その光線は光線データベースから直ちに再構成することができる。この場合、理想的なプロセスは、入力イメージからの光線を返すべきである。エピポール整合性を用いたアルゴリズムが、形状情報なしにこの光線を正確に再構成するであろう。一般に、所望の光線を再構成するためにどの入力イメージを使用するかの選択は、自然で整合性のある近接性の尺度に基づくべきである。特に、可能な場合には、所望の光線と類似の角をなす入力イメージ光線を使用すべきである。幾何プロキシ上の近くの点を通る前の光線から無限小距離にある光線を求める場合、それに対応して、再構成される光線は、前に再構成されたカラーに近いカラー値を有すべきである。再構成連続性は、時間的および空間的双方のアーティファクトを避けるために重要である。例えば、いかなる特定のカメラによる寄与も、その視野の境界に近づくにつれて、または可視性オクルージョンによりカメラから見えないサーフェイスの部分に近づくにつれて、ゼロに低下すべきである。
【００１２】
以下で説明するように、局所情報のみに基づく方法は、深度境界全体にわたる滑らかさを達成することができない。ＶＤＴＭ法は、入力カメラへの方向の三角分割を用いて「最近接３点」を選び出す。たとえプロキシのテッセレーションが精密であっても、近くの点は、「入力カメラビューマップ」の非常に異なる三角分割を有することがあるため、非常に異なる再構成を生じ得る。この目標は細かいことであるが、それにもかかわらず重要である。というのは、このような連続性が欠けると、目立つアーティファクトが取り込まれ得るからである。
【００１３】
いくつかの方法は非常に多数のビューを使用し、非常に類似した、同一カメラによりキャプチャされたビューを用いてピクセルがブレンディングされる。このような高密度のサンプリングでは、たとえ出力ピクセルが少数の入力ピクセルからブレンディングされても、ほとんどのアーティファクトが避けられる。
【００１４】
ブレンディング問題の正式な承認にもかかわらず、従来のＩＢＲ法は、一度に１フラグメントを考慮することによって問題を解決しようとしている。これがうまく働くのは以下の場合だけである：サーフェイスがディフューズであるため、ラジアンスが全方向で同一であり、対応するピクセルが非常に類似した強度を有する；そして、オクルージョン境界がないため、いかなる局所近傍内の対応するピクセルの相対順序も同一であり、それにより、ギャップのない連続関数が得られる。
【００１５】
空間的滑らかさは、出力イメージ内の入力イメージの加重の変動に関係する。深度境界がない場合、出力イメージ内の隣接ピクセルは類似の加重を有すべきである。深度境界は、深度勾配が非常に大きい領域、例えばシーン内の前景と背景のオブジェクトの間の不連続点として定義される。時間的滑らかさは、近くの新しいビューにおけるシーン内の３Ｄ特徴点での入力イメージの加重の変動に関係する。ビューが滑らかに変化する場合、シーン特徴における加重は滑らかに変化すべきである。寄与加重の空間的および時間的滑らかさを達成するための指針は次のように述べることができる：
【００１６】
対応する入力イメージピクセルの強度加重の和を１とすることにより、出力イメージ内の強度が正規化されるようにする。カメラ間強度差が出力イメージ内に目に見える不連続点を作り出さないように、物理サーフェイスに沿った入力イメージの加重は、重複部分の内部および近くで滑らかに変化すべきである。深度不連続点がない場合、入力イメージ内の強度加重の分布は滑らかであるべきである。エピポール整合性があるべきであり、角偏差は最小限にすべきである。ぼけを少なくするため、遷移領域の数を制限することにより不要なブレンディングを避けるべきである。
【００１７】
これらの指針は、深度不連続点およびシャドウ境界における加重制約に反することなくブレンディング問題を解決すべきことを提案している。注意すべき重要なことであるが、ある特定の条件の下では、これらの指針の一部は矛盾するかもしれないし、それらのすべてを満たすことは不可能かもしれない。例えば、重複領域と非重複領域の間の境界が特異点に一致する場合、その特異点の局所近傍内のブレンディング加重は連続ではない。
【発明の開示】
【発明が解決しようとする課題】
【００１８】
したがって、上記の問題のない、イメージをブレンディングすることができる方法が必要とされている。
【課題を解決するための手段】
【００１９】
本方法は、複数の入力イメージをブレンディングして任意のビューに対する出力イメージを生成する。出力イメージ内で、単一入力ピクセルのみから生成されるピクセルを識別する。その単一ピクセルの加重を１に設定する。
【００２０】
入力イメージ内で加重が割り当てられていない残りの各ピクセルについて、イメージ境界および深度境界までの距離を測定し、これらの残りのピクセルに対する比例加重を、０から１までの範囲で、２つの距離の最小値に比例するように設定する。その後、ブレンディングフィールドに従って、各入力イメージを出力イメージへとレンダリングする。
【発明を実施するための最良の形態】
【００２１】
シーンの複数の重複する入力イメージをレンダリングして、おそらくは任意の視点からの出力イメージをレンダリングする場合、空間的滑らかさは、出力イメージを生成するための入力イメージの加重の変動に関係する。したがって、深度不連続点がない場合、出力イメージ内の隣接するピクセルは類似の加重を有すべきである。時間的滑らかさは、近くの新しいビューにおけるシーン内の３Ｄ特徴点での加重の変動に関係する。ビューが滑らかに変化する場合、シーン特徴における加重は滑らかに変化すべきである。寄与加重の空間的および時間的滑らかさを達成するための指針は次のように述べることができる。
【００２２】
入力イメージの対応するピクセルの強度加重の和を１とすることにより、出力イメージ内の強度が正規化されるようにする。カメラ間強度差が出力イメージ内で目に見える不連続点を作り出さないように、物理サーフェイスに沿った入力イメージの加重は、イメージ重複部分の内部および近くで滑らかに変化すべきである。深度不連続点がない場合、入力イメージ内の強度加重の分布は滑らかであるべきである。したがって、エピポール整合性がなければならず、角偏差は最小限でなければならない。ぼけを少なくするため、遷移領域の数を制限することにより不要なブレンディングを避けるべきである。
【００２３】
これらの指針は、深度境界またはシャドウ境界における加重制約に反することなくブレンディング問題を解決すべきことを意味している。注意すべき重要なことであるが、ある特定の条件の下では、これらの指針の一部は矛盾するかもしれないし、それらのすべてを満たすことは不可能かもしれない。
【００２４】
例えば、重複領域と非重複領域の間の境界が特異点に一致する場合、その特異点の局所近傍内のブレンディング加重は連続ではない。
【００２５】
図１に示すように、本発明によるブレンディングおよびレンダリング方法１００は、イメージ空間手法を使用する。方法１００は、入力イメージ１０７および形状１０４に作用して、ビュー非依存であるかビュー依存であるかを問わず、所望の出力イメージ１０６を生成する。なお、入力イメージは、現実のシーンであっても合成シーンであってもよい。形状１０４は、入力イメージ１０７のピクセルが互いに幾何学的にどのように関係しているかを示す。例えば、形状は、入力イメージ内の種々のピクセルについてのイメージ位置合わせまたは深度情報を含む。形状は、いかなるカラー情報も含まない。
【００２６】
本発明によるブレンディングフィールド１０１は、ビュー非依存加重ｗｉ（ｘ）１０２に対してはビュー非依存計算３００から、および任意に、ビュー依存加重ｗｄ（ｘ）１０３に対してはビュー依存計算２００から、求められる。
【００２７】
各入力イメージごとに１つのブレンディングフィールドがある。レンダリング中に、各入力イメージは、それに対応するブレンディングフィールド内の加重に従って「ブレンディング」されて出力イメージが生成される。
【００２８】
ビュー非依存加重１０２の計算３００は、入力イメージとシーン特徴の間の大域的関係、すなわち形状１０４のみに基づく。ビュー依存加重ｗｄ（ｘ）１０３の計算３００は主として、出力イメージに対する視点１０５と、形状１０４により規定される可視性パラメータを考慮する。含まれ得る他のパラメータには、解像度、またはサンプリング密度がある。視点依存パラメータは、出力イメージ１０６と入力イメージ１０７の間の関係に起因する。
【００２９】
以下で説明するように、ブレンディングフィールド１０１は、正規化内積を用いてビュー非依存加重とビュー依存加重を結合する（１４０）ことができる。ビュー非依存計算３００は大域的可視性制約を考慮に入れる一方、ビュー依存計算２００は出力イメージのフラグメントごとに実行される。フラグメントは、イメージピクセルであっても、幾何プロキシのポリゴンであってもよい。
【００３０】
顕著な深度不連続点、すなわち深度境界を有するシーンでは、ビュー非依存計算３００はビュー依存計算２００より複雑である。静的シーンでは、ビュー非依存寄与を前処理することができる。
【００３１】
上記のように、従来のブレンディング法は、最も近い不可視または境界ピクセルまでの距離を用いてブレンディング加重を求める。通常、いかなる特定の入力イメージによる寄与も、その視野の境界に近づくにつれてゼロに減少する。
【００３２】
これに対して、本発明は、最も近いイメージ境界または最も近い深度境界までの距離の概念を用いて、これらの２つの距離の最小を選択する。深度境界は、深度不連続点と呼んでもよい。
【００３３】
まず、いずれかの入力イメージ内の単一入力ピクセルのみで見える領域に対応する出力ピクセルを識別する。これらの単一入力ピクセルのビュー非依存加重には、対応するブレンディングフィールド内で１．０の値を割り当てる。次に、入力イメージ内の残りの各ピクセル、すなわちビュー非依存加重が割り当てられていないピクセルについて、そのピクセルからイメージ境界または深度境界までの経路の最短距離を測定する。このステップで、重複境界を横切る経路は無視する。これらの残りのピクセルには、これらの２つの距離の最小距離に比例するビュー非依存加重を割り当てる。ビュー依存強度の下でも、これは、シャドウや断片化した重複部分の存在下で滑らかな遷移を生成する。
【００３４】
図２に、ビュー依存加重ｗｄ（ｘ）１０３を求めるための擬似コード２００を示す。ビュー依存計算２００は、出力光線からの入力光線の最大角偏差に依存する。各出力ピクセルについて、出力ピクセルが見えるｋ最近接カメラビューの入力イメージ内の対応するピクセルを選択する。ビュー依存加重ｗｄ（ｘ）１０３の割当ては、ｋ最近接近傍に対する最大角偏差に基づく。
【００３５】
ビュー依存ブレンディング加重ｗｄ（ｘ）は、必ずしも入力イメージ全体で正規化される必要はない。というのは、加重は、ビュー非依存加重との内積１４０の後で正規化されるからである。この加重方式はまた、上記の近接ビューエピポール整合性指針も保証する。偏差がゼロ（すなわち出力光線がエピポールである）に近づくにつれて、ビュー依存加重は１に近づく。光線が１次ｋ最近接ビューのイメージ境界に近づくにつれて、ビュー依存加重は次第にゼロに近づく。ａｎｇｌｅｋはｋ個の隣接点の間の最大角を表す。
【００３６】
図３に、ビュー非依存加重計算３００を、メインステップ３０５とともに、さらに詳細に示す。実際のリアルタイム実施態様では、各入力イメージ１０７ごとに以下の５個のバッファを使用する：イメージバッファＩｍａｇｅ（ｘ）３０１、深度バッファＤｅｐｔｈ（ｘ）３０２、重複を記録するための重複バッファｖ（ｘ）３０３、距離バッファｄ（ｘ）３０４、およびピクセルｘに対する加重値を格納するための加重バッファｗｉ（ｘ）。
【００３７】
深度バッファ３０２は、入力イメージに対する深度値の２Ｄ配列である。幾何プロキシが使用される場合、深度バッファは、カメラの視点から幾何プロキシをレンダリングし、レンダリングされた深度バッファを読み戻すことによって計算することができる。重複バッファ３０３は、各ピクセルごとに重複するイメージビューの数を示す整数値を含む。重複領域、すなわち２個以上のピクセルカウントが、従来のシャドウバッファ技法を用いて求められる。ステップ３１０は、深度バッファ３０２内で深度境界を求める方法を示している。
【００３８】
その不等式により、深度境界ピクセルは、最近接サーフェイス上のみにあるため、深度不連続点において二重境界を生じない。深度精度の欠如による誤差を除去するためにしきい値Ｄｅｐｔｈｉ（＋）を用いる。
【００３９】
非依存加重計算３００は、「境界までの最短経路」に基づく滑らかな関数を生成する。ここで境界はイメージ境界または深度境界のいずれかである。深度不連続点がない場合、この関数は入力イメージ全体で滑らかとなる。重複境界を横切る経路を無視することにより、シーン滑らかさ条件が強制される。したがって、非依存ブレンディング加重は、イメージ空間内の深度境界でのみ不連続であるが、シーン形状に沿って連続である。ビュー依存出力イメージが所望される場合、ビュー非依存加重ｗｉ（ｘ）１０２を、同じく滑らかである対応するビュー依存加重ｗｄ（ｘ）１０３と結合する（１４０）。これらの２つの加重関数の内積もまた、深度境界を除いては滑らかである。
【００４０】
ビュー非依存加重割当ての困難な部分は、最短経路に沿った距離の測定である。というのは、経路は常に直線に沿っているとは限らないからである。
【００４１】
最短経路問題は、計算幾何学の分野でよく研究されている。１つの手法は、一般化ボロノイ図に基づくものである。ボロノイ図は、ポテンシャル場内の経路計画のような応用や障害物ノードの回避に一般に用いられている。
【００４２】
動作計画は、デジタルアクターのアニメーション、仮想プロトタイピングにおける保守性調査、およびロボット支援外科手術への応用を有する基本的問題である。古典的な「ピアノ移動者」の問題("Piano Mover" problem)は、障害物の多い環境でロボットがある位置および向きから別の位置および向きに移動する無衝突経路を求めることに関わる。基礎となる考え方は、障害物を斥力ノードとして扱うことである。その場合、ボロノイ境界は、障害物間の極大クリアランスの経路を提供する。一般化ボロノイ図を計算する実際の複雑さに起因して、このような計画器の応用は、少数の単純な障害物からなる環境に限定されている。
【００４３】
最近では、勾配手法を用いた貪欲経路計画プロセスにハードウェアベースの手法が使用されている。比較的高速ではあるが、引力ノードおよび斥力ノードに関してすべての点について最短経路を符号化することは困難である。本発明との関連では、引力ノードは重複境界となり、斥力ノードはイメージ境界および深度境界となるであろう。
【００４４】
これに対して、本発明は、最短経路に沿った距離の近似を使用する。この近似は以下の３つの目標を満たす：重複領域内の重複境界付近の加重は１に近い、重複領域内の深度境界付近の加重は０に近い、およびそれらの間の領域内のピクセルに対する加重は滑らかに遷移する。
【００４５】
本発明は、グラフィクスハードウェアを用いてボロノイ図を計算する。考え方は、コーンをレンダリングして各ノードの距離関数を近似するというものである。ノードは、イメージ境界または深度境界上のピクセルとすることができる。各ノードには、固有のカラーＩＤが割り当てられ、対応するコーンが、平行投影を用いてそのカラーでレンダリングされる。ポリゴン化されたコーンをレンダリングする場合、グラフィクスハードウェアでのポリゴンラスタ化が、ポリゴン全体にわたる深度の線形補間およびＺバッファ深度比較演算を用いて、イメージ平面にわたるすべての距離を再構成する。
【００４６】
Ｚバッファ深度テストは、新しい深度値を前に格納された値と比較する。新しい値のほうが小さい場合、Ｚバッファは新しい距離を記録し、カラーバッファはそのサイトのＩＤを記録する。このようにして、フレームバッファ内の各ピクセルはそれに最も近いサイトに対応するカラーを有し、深度バッファはそのサイトまでの距離を有することになる。単一ピクセル精度のボロノイ図を維持するため、精細なテッセレーションを有するコーンをレンダリングする必要がある。
【００４７】
Ｚ（ｘ）およびｚ（ｘ）を、ピクセルｘに対する最近接深度境界ノードおよびそのノードまでの距離とする。なお、これらのユークリッド距離は、ボロノイ図により規定される直線に沿っていることに留意されたい。深度バッファ値は、オブジェクト空間深度距離に変換される。この場合、この距離は、境界ピクセルからのピクセル単位での距離に対応する。
【００４８】
深度境界ノードを回避するため、深度値ｚ（ｘ）を更新する必要がある。ｄ（ｘ）を、更新されたｚ（ｘ）、すなわち、最も近いイメージ境界または深度境界までの距離に比例する近似距離とする。各入力イメージごとにビュー非依存加重に対する距離を計算するための擬似コードをステップ３２０に示す。
【００４９】
レンダリングのステップ４００を図４に示す。ｘｉで、入力イメージｉ内のピクセルｘに対する対応するピクセルを表す。上記のように、このステップは、いかなるタイプのフラグメントを使用するように修正することも可能である。ピクセルの代わりに、幾何プロキシからのポリゴンを使用することができる。この手続きは、ピクセルごとに複数の加重を割り当てた後で深度値に応じてそれらの加重を区別しなければならない方法よりはやや単純である。スプラッティングの前に、不可視の寄与を除去するため、好ましい実施形態は、幾何プロキシを単にレンダリングして、出力イメージ内の深度バッファを更新する。ステップの最終行における内積後の総和は、グラフィクスハードウェア内のアキュムレーションバッファを用いて達成される。この場合のスプラッティングは従来通りであり、通常は、ピクセルのカラー値のガウス分布の投影である。他のスプラッティング技法を使用してもよい。
【００５０】
本発明は、任意の視点に対して、複数の入力イメージを併合して出力イメージを生成するためにピクセル強度に作用するための新しいブレンディング方法を効果的に提供する。本発明は、深度境界を横切るフェザリングを扱うために大域的制約を使用する。本方法では、各ブレンディング加重は、ビュー非依存成分と、任意のビュー依存成分とからなる。所望のビュー非依存加重の近似が、従来のレンダリングハードウェアを用いて計算される。本方法は、多くのタイプの補間におけるブレンディング操作のために使用されるほど十分に一般的である。これらの操作には、サーフェイスライトフィールドからの合成、イメージベースのシーンのリライティング(re-lighting)、およびサンプリングされたＢＲＤＦ値からの新規ビュー生成がある。
【００５１】
以上、本発明について、好ましい実施形態を例として説明したが、本発明の精神および範囲内で種々の他の適応および変更が可能であることはいうまでもない。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内に入るすべてのそのような変形および変更を包含することである。
【図面の簡単な説明】
【００５２】
【図１】本発明による、複数のイメージをブレンディングして単一出力イメージを生成する方法の流れ図である。
【図２】本発明によるブレンディング方法のための、ビュー依存ブレンディング加重を求めるステップの擬似コードである。
【図３】本発明によるブレンディング方法のための、ビュー非依存ブレンディング加重を求めるステップの擬似コードである。
【図４】本発明によるブレンディング方法のレンダリングステップの擬似コードである。
【特許請求の範囲】
【請求項１】
複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法であって、
いずれかの入力イメージ内の単一入力ピクセルのみから生成される出力イメージ内の各出力ピクセルを識別するステップと、
それぞれの単一入力ピクセルのビュー非依存加重を、前記単一入力ピクセルを含む入力イメージに関連するブレンディングフィールドにおいて、１に設定するステップと、
各入力イメージ内のそれぞれの残りの出力ピクセルについて、イメージ境界までの距離および深度境界までの距離を測定するステップと、
前記２つの距離の最小を選択するステップと、
それぞれの残りの入力ピクセルのビュー非依存加重を、前記残りの入力ピクセルに関連するブレンディングフィールドにおいて、０から１までの範囲で、前記最小距離に比例するように設定するステップと、
ビュー非依存出力イメージを生成するように、前記関連するブレンディングフィールドに従って各入力イメージをレンダリングするステップと
を含む複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項２】
前記出力イメージの視点が任意である
請求項１記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項３】
前記出力イメージの視点はいずれの入力イメージの視点とも異なる
請求項２記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項４】
前記ブレンディングフィールド内のビュー非依存加重を正規化するステップをさらに含む
請求項１記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項５】
前記ビュー非依存加重は前記入力イメージの間の大域的関係に基づく
請求項４記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項６】
各入力イメージ内の入力ピクセル毎にビュー依存加重を設定するステップをさらに含む
請求項４記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項７】
前記ビュー依存加重は前記出力イメージの視野を考慮する
請求項６記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項８】
前記ビュー非依存加重および前記ビュー依存加重は、前記ブレンディングフィールド内で正規化内積によって結合される
請求項６記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項９】
前記ビュー依存加重は、入力ピクセルの入力光線と、対応する出力ピクセルの出力光線との間の最大角偏差に依存する
請求項６記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項１０】
前記距離はボロノイ図を用いて測定される
請求項１記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項１１】
グラフィクスハードウェアを用いてピクセル毎にコーンがレンダリングされ、距離関数が近似される
請求項１０記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項１２】
ビュー依存出力イメージを生成するように、前記結合された加重を有する前記関連するブレンディングフィールドに従って各入力イメージをレンダリングするステップをさらに含む
請求項８記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項１】
複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法であって、
いずれかの入力イメージ内の単一入力ピクセルのみから生成される出力イメージ内の各出力ピクセルを識別するステップと、
それぞれの単一入力ピクセルのビュー非依存加重を、前記単一入力ピクセルを含む入力イメージに関連するブレンディングフィールドにおいて、１に設定するステップと、
各入力イメージ内のそれぞれの残りの出力ピクセルについて、イメージ境界までの距離および深度境界までの距離を測定するステップと、
前記２つの距離の最小を選択するステップと、
それぞれの残りの入力ピクセルのビュー非依存加重を、前記残りの入力ピクセルに関連するブレンディングフィールドにおいて、０から１までの範囲で、前記最小距離に比例するように設定するステップと、
ビュー非依存出力イメージを生成するように、前記関連するブレンディングフィールドに従って各入力イメージをレンダリングするステップと
を含む複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項２】
前記出力イメージの視点が任意である
請求項１記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項３】
前記出力イメージの視点はいずれの入力イメージの視点とも異なる
請求項２記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項４】
前記ブレンディングフィールド内のビュー非依存加重を正規化するステップをさらに含む
請求項１記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項５】
前記ビュー非依存加重は前記入力イメージの間の大域的関係に基づく
請求項４記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項６】
各入力イメージ内の入力ピクセル毎にビュー依存加重を設定するステップをさらに含む
請求項４記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項７】
前記ビュー依存加重は前記出力イメージの視野を考慮する
請求項６記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項８】
前記ビュー非依存加重および前記ビュー依存加重は、前記ブレンディングフィールド内で正規化内積によって結合される
請求項６記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項９】
前記ビュー依存加重は、入力ピクセルの入力光線と、対応する出力ピクセルの出力光線との間の最大角偏差に依存する
請求項６記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項１０】
前記距離はボロノイ図を用いて測定される
請求項１記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項１１】
グラフィクスハードウェアを用いてピクセル毎にコーンがレンダリングされ、距離関数が近似される
請求項１０記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【請求項１２】
ビュー依存出力イメージを生成するように、前記結合された加重を有する前記関連するブレンディングフィールドに従って各入力イメージをレンダリングするステップをさらに含む
請求項８記載の複数の入力イメージをブレンディングして出力イメージを生成するブレンディング方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２００６−５０２４７９（Ｐ２００６−５０２４７９Ａ）
【公表日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願番号】特願２００４−５４１２５５（Ｐ２００４−５４１２５５）
【出願日】平成１５年９月３０日（２００３．９．３０）
【国際出願番号】ＰＣＴ／ＪＰ２００３／０１２５４２
【国際公開番号】ＷＯ２００４／０３２０６３
【国際公開日】平成１６年４月１５日（２００４．４．１５）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公表日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願日】平成１５年９月３０日（２００３．９．３０）
【国際出願番号】ＰＣＴ／ＪＰ２００３／０１２５４２
【国際公開番号】ＷＯ２００４／０３２０６３
【国際公開日】平成１６年４月１５日（２００４．４．１５）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]