仮想画像を生成する方法
【課題】奥行き画像に基づくレンダリングにおいて、奥行きマップ画像におけるエラーに対処する。
【解決手段】シーンの仮想ビューの画像が、そのシーンから取得されたテクスチャ画像のセット及び奥行き画像の対応するセットに基づいて生成される。選択された画像の各ピクセルに関連付けられた候補奥行きのセットが求められる。候補奥行きごとに、仮想画像の合成品質を推定するコストが求められる。最小コストを有する候補奥行きが選択され、ピクセルの最適奥行きが得られる。次に、各ピクセルの最適奥行き及びテクスチャ画像に基づいて仮想画像が合成される。本方法は、ビュー合成の前及びビュー合成中に第１の奥行き強調及び第２の奥行き強調を適用し、誤りを補正するか、又は密な奥行き画像及び疎な奥行き特徴の推定若しくは取得に起因したノイズを抑制する。
【解決手段】シーンの仮想ビューの画像が、そのシーンから取得されたテクスチャ画像のセット及び奥行き画像の対応するセットに基づいて生成される。選択された画像の各ピクセルに関連付けられた候補奥行きのセットが求められる。候補奥行きごとに、仮想画像の合成品質を推定するコストが求められる。最小コストを有する候補奥行きが選択され、ピクセルの最適奥行きが得られる。次に、各ピクセルの最適奥行き及びテクスチャ画像に基づいて仮想画像が合成される。本方法は、ビュー合成の前及びビュー合成中に第１の奥行き強調及び第２の奥行き強調を適用し、誤りを補正するか、又は密な奥行き画像及び疎な奥行き特徴の推定若しくは取得に起因したノイズを抑制する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には奥行き画像に基づくレンダリング（ＤＩＢＲ）に関し、より詳細には、トレリス構造を用いて奥行き画像を強調する方法に関する。
【背景技術】
【０００２】
３Ｄディスプレイは、各眼の３Ｄシーンの異なるビューの画像を提示する。従来のステレオシステムでは、左のビュー及び右のビューの画像が取得され、符号化され、格納又は送信され、その後、復号化され表示される。より進んだシステムでは、既存の入力ビューとは異なる視点を有する仮想画像を合成して、向上した（または強調した（enhanced））３Ｄ特徴、例えば、３Ｄステレオ表示の知覚奥行きの調整、及びシーンの新規の仮想ビューのための多数の仮想画像の生成を可能にし、マルチビュー自動立体ディスプレイをサポートすることができる。
【０００３】
奥行き画像に基づくレンダリング（ＤＩＢＲ）は、仮想画像を合成する方法であり、通常、シーンの奥行き画像を必要とする。奥行き画像はノイズを含む可能性があり、これによってレンダリング画像内にアーティファクト（artifacts）が生じる可能性があり、ピクセルレベルの奥行き画像は、通常、オブジェクト境界において発生する奥行き不連続部を必ずしも表すことができず、これはレンダリング画像内のアーティファクトの別の発生源となる。
【０００４】
図１に示すように、従来技術によるビュー合成はワーピングステップ１１０を含み、このワーピングステップ１１０において、仮想位置に対応するピクセルが、シーンのジオメトリに基づいて、基準入力画像１０１及び１０２、すなわち基準画像のテクスチャ画像及び奥行き画像から、ワーピング画像にワーピング（warping）される。テクスチャ画像において、各ピクセル（サンプル）は２Ｄロケーション及び輝度を有し、輝度は、３（ＲＧＢ）チャネルが用いられる場合、色とすることができる。奥行き画像において、２Ｄロケーションにある各ピクセルは、カメラからシーンの最近点への奥行きである。
【０００５】
ブレンディング（blending）１２０の間、入力視点ごとに、ワーピング画像が単一の画像に結合される。穴埋め１３０は、ブレンディング画像内の任意の残った穴を埋め、合成された仮想画像１０３を生成する。ブレンディングは、そこから合成仮想画像が生成される入力視点が複数存在するときのみ実行される。
【０００６】
ワーピングステップは、前方ワーピング及び後方ワーピングを含むことができる。前方ワーピングでは、基準画像内のピクセルは、３Ｄ射影を介して仮想画像にマッピングされる。後方ワーピングでは、基準画像内のピクセルは仮想画像に直接マッピングされない。代わりに、奥行きが仮想画像にマッピングされ、次にワーピングされた奥行き画像を用いて、仮想画像内のピクセルロケーションごとに基準画像内の対応するピクセルを求める。
【０００７】
仮想画像内のピクセルのほとんどは、ワーピングプロセス後にマッピングされる。しかしながら、幾つかのピクセルは対応するマッピングされた奥行きを一切有しない。これは、或る視点から別の視点へのディスオクルージョン（disocclusion：非遮蔽）によって生じる。マッピングされた奥行きのないピクセルは、仮想画像内の穴として知られている。
【０００８】
複数の入力基準画像が存在するとき、ブレンディングを用いてワーピング結果を単一の画像に統合（merge）する。幾つかの穴は、このステップ中に補完的に埋めることができる。すなわち、左の基準画像の穴は、右の基準画像からマッピングされた値を有することができる。加えて、ブレンディングによって、異なる基準画像からの異なるマッピング値が存在するときに生じるマッピング衝突（mapping conflicts）を解消することもできる。例えば、加重平均を適用することができるか、又は基準画像に対する仮想視点ロケーションの近接度に依拠してマッピング値のうちの１つが選択される。
【０００９】
ブレンディングプロセスの後、幾つかの穴が残っている。このため、最終的な穴埋めが必要となる。例えば、インペインティングを用いて周囲のピクセル値を残りの穴の中に広げる（propagate）ことができる。１つの実施態様（implementation）では、背景ピクセルを小さな穴の中に広げる。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来技術の方法は、奥行きマップ画像におけるエラーに対処することができない。したがって、合成画像に境界アーティファクトがなくなり、かつ合成画像が、入力画像内に存在する画像特徴と幾何学的に一致するように、合成画像の品質を改善するためのより正確なビュー合成が必要とされている。
【００１１】
ビュー合成は、自由視点ナビゲーション、及び自動立体ディスプレイ用の画像生成を含む、複数の３Ｄビデオ用途に不可欠な機能である。この目的では通常、奥行き画像に基づくレンダリング（ＤＩＢＲ）法が適用される。
【００１２】
しかしながら、レンダリング画像の品質は奥行き画像の品質に非常に敏感であり、奥行き画像は通常、エラーを起こしやすい傾向のあるプロセスによって推定される。さらに、ピクセルごとの奥行き画像は、特に奥行き境界に沿った３Ｄシーンの理想的表現ではない。この表現によって、オクルージョン領域を有するシーンの合成結果が不自然になる可能性がある。
【課題を解決するための手段】
【００１３】
本発明の実施の形態は、奥行き画像における上記の限界を克服し、レンダリング画像内のアーティファクトを低減することができる、トレリスに基づくビュー合成方法を提供する。この方法により、ワーピングされる必要があるピクセルごとに、奥行きの候補セットが、そのピクセルの推定奥行き及び近傍の奥行きに基づいて特定される。各候補奥行きのコストが、合成品質の推定値に基づいて定量化される。次に、最適期待品質を有する候補奥行きが選択される。
【００１４】
本方法は、ビュー合成の前及びビュー合成中に第１の奥行き強調及び第２の奥行き強調を適用し、誤りを補正するか、又は密な奥行き画像及び疎な奥行き特徴の推定若しくは取得に起因したノイズを抑制する。
【図面の簡単な説明】
【００１５】
【図１】従来技術のビュー合成方法のブロック図である。
【図２】本発明の実施形態に従って構築されたビュー合成のトレリスの概略図である。
【図３】本発明の実施形態による、次のピクセルの奥行きを予測するのに用いられる近傍のピクセルの概略図である。
【図４】本発明の実施形態による、次のピクセルの奥行きを予測するのに用いられる近傍のピクセルの別の概略図である。
【図５】本発明の実施形態による、次のピクセルの奥行きを予測するのに用いられる近傍のピクセルの別の概略図である。
【図６】本発明の実施形態による、異なるコスト関数を割り当てられた奥行き境界を増減することの概略図である。
【図７】本発明の実施形態による、トレリスに基づくビュー合成の方法のフローチャートである。
【図８】本発明の実施形態による、トレリスに基づくビュー合成の非反復的方法のフローチャートである。
【図９】本発明の実施形態による、トレリスに基づくビュー合成の反復的方法のフローチャートである。
【図１０】本発明の実施形態による、密な奥行き推定と、疎な奥行き推定と、トレリスに基づくビュー合成とを含むシステムのブロック図である。
【図１１】本発明の実施形態による、密な奥行き画像と、疎な奥行き特徴とに基づいた、トレリスに基づくビュー合成のブロック図である。
【図１２】本発明の実施形態による、奥行き強調方法を用いた、トレリスに基づくビュー合成のブロック図である。
【図１３】色差コスト計算に用いられるピクセルの図である。
【発明を実施するための形態】
【００１６】
奥行き画像は、推定プロセス又は取得プロセスによって生じたエラーを有する可能性がある。加えて、ピクセルごとの奥行き画像の表現は、奥行き不連続部では必ずしも正確であるとは限らない。
【００１７】
したがって、本発明の実施形態は、奥行き画像の表現及び推定における限界を克服するトレリスに基づくビュー合成方法を提供する。奥行き画像は、レンジカメラによって取得することもできるし、左テクスチャ画像及び右テクスチャ画像における立体表示対応（stereo disparity correspondences）から推定することもできる。本方法は、奥行き画像に基づくレンダリング（ＤＩＢＲ）のワーピングプロセス中に適用される。
【００１８】
図２は、本発明の実施形態によるビュー合成のために構築されたトレリス２０１の一例を示している。トレリス２０１は、所定の数のピクセルについて構築される。１つの実施形態では、画像ピクセルの１つのラインがトレリスに構成され、ワーピングプロセスはラインごとに実行される。すなわち、トレリスの各列は異なる奥行きＡ〜Ｄを有する１つの画像ピクセルを表す。トレリスの各列内のノードは、仮想画像内のそのピクセルの候補奥行きマッピングを表す。
【００１９】
第１のステップにおいて、候補奥行きのセット（Ａ、Ｂ、Ｃ、Ｄ）２０２がピクセルごとに特定される。セットは、入力奥行き画像から推定奥行き、及び近傍の奥行きに基づく幾つかの他の候補奥行きを含む。候補奥行きの数は、トレリス内の行数に対応する。図２では、各ピクセルはトレリス内の４つの行に対応する４つの奥行きＡ〜Ｄを有する。
【００２０】
第２のステップにおいて、コスト関数を用いて合成品質を推定する。合成品質は最適候補奥行きを選択する判断基準である。
【００２１】
候補奥行きのセットを求める
第１のステップにおいて、入力奥行き画像からの推定奥行きを含む候補奥行きのセットが特定される。この値に加えて、幾つかの他の候補奥行きが近傍の奥行きから特定される。候補奥行きは、入力奥行き画像からの推定奥行きが正しくないとき、すなわち奥行きによってアーティファクト又は入力画像との不一致が生じるときに用いることができる。以下で、最適候補奥行きを求める幾つかの方法を説明する。
【００２２】
候補奥行きのセットを求める１つの方法は、入力奥行き画像からの推定奥行きに対する所定の増加及び／又は減少を用いる方法である。例えば、推定奥行きが５０である場合、奥行きの候補セットは、｛４９，５０，５１｝を含むことができる。１以外の係数によるインクリメントも検討することができる。奥行きの数は可変とすることもでき、必ずしも推定奥行きを中心に対称である必要はなく、例えばセットは｛４６，４８，５０，５２，５４｝とすることもできるし、｛４８，４９，５０，５２，５４｝とすることもできる。候補奥行きは、ルックアップテーブルによって求めることもできる。ルックアップテーブルでは、候補奥行きは場合によっては推定奥行きごとに変動することができる。
【００２３】
候補奥行きのセットを求める第２の方法は、近傍のピクセルからの奥行きに基づく予測値を用いる方法である。例えば、近傍の奥行きからの平均奥行き又は中央奥行きを用いることができる。所定のウィンドウサイズを用いて、予測において検討する近傍ピクセルの数を確定することもできる。
【００２４】
好ましい方法は、ウィンドウ内に、同じラインからの前のピクセルを含める。図３では、左からの同じライン内の４つのピクセル３０１がウィンドウ内にある。図４では、上のラインからの同じ列内の４つのピクセル４０１がウィンドウ内にある。図５では、ピクセル５０１の４×４のウィンドウが特定される。別の実施形態では、ピクセルは任意の形状に適合することができる。候補奥行きの数が増加する結果として、計算複雑度が増加する。なぜなら、各候補がチェックされ、比較されるためである。
【００２５】
図２では、ピクセルごとに候補奥行きの数が４に設定されている。１つの例では、奥行きＡ（下から１行目）は入力奥行き画像からの推定奥行きを表す。奥行きＢ及びＣ（中央の行２及び３）は、それぞれ奥行きＡを１だけ増加又は減少した奥行きである。奥行きＤ（最上行）は、図３に示すように近傍のピクセルからの中央奥行きを用いることによって予測された奥行きを示す。
【００２６】
動的プログラミングを用いたビュー合成
候補奥行きのセットが求められた後、トレリス内の各ノードは、合成品質を推定するコスト関数に従ってメトリックを割り当てられる。次に、ビュー合成問題は、トレリスにわたって奥行きの最適なセットを求めることによって解決される。例えば、動的プログラミングを用いて最適化問題を解決する。
【００２７】
合成品質を推定するために、コスト関数として評価関数が定義される。コスト関数は、ワーピングプロセスが前方ワーピングであるか、又は後方ワーピングであるかに依拠することができる。一般性を損なうことなく、本発明の好ましい実施形態について後方ワーピングを仮定してコスト関数の定義を説明する。この定義は前方ワーピングに適用される。
【００２８】
１つの実施態様では、コスト関数はピクセルの２つの正方形ブロック間の平均二乗誤差（ＭＳＥ）を評価する。これらのブロックはピクセルロケーションに対し左上のブロックである。（ｘ，ｙ）が現在のピクセルロケーションを表すものとし、（ｘ’，ｙ’）が候補奥行きを用いてワーピングされた位置を表すものとする。
【００２９】
第１のブロックは合成仮想画像内の（ｘ−ｓ，ｙ−ｓ）〜（ｘ，ｙ）に位置し、第２のブロックは基準画像内の（ｘ’−ｓ，ｙ’−ｓ）〜（ｘ’，ｙ’）に位置する。ここで、ｓはブロックサイズである。ブロックの一部分が画像エリアを越えている場合、クロッピングが適用される。
【００３０】
ＭＳＥ以外のエネルギー関数もコスト関数として用いることができる。例えば、平均絶対誤差は、合成品質を推定する有効なコスト関数である。また、画像特徴又は構造類似度（structural similarity measure）もブロックから抽出することができ、整合プロセスを用いてブロックが幾何学的に一致しているか否かを判断することができる。
【００３１】
前景オブジェクトにおけるどのアーティファクトも、人間の眼によって、より容易に知覚されるので、前景のオブジェクトを一貫した方式で合成する方法が必要とされている。このため、本方法では、コストメトリックを求めるのに左上のブロックが必ずしも用いられるとは限らない。
【００３２】
図６に示すように、ピクセルは３つのタイプのエリア、すなわち、図６に示すようなフラットエリア６０１、奥行き減少エリア６０２、及び奥行き増加エリア６０３に分類される。奥行き減少境界（図６の右境界）又はフラットエリアにあるピクセルの場合、左上ブロックが用いられる。奥行き増加境界（図６の左境界）にあるピクセルの場合、右上ブロックが用いられる。
【００３３】
幾つかの応用形態では、合成プロセスへの入力として、推定奥行き画像に加えて信頼マップも用いることができる。奥行き推定器が高い信頼度を示すとき、奥行き画像からの奥行きのコスト関数を係数によって重み付けすることができる。
【００３４】
システム実施形態
以下において、トレリスに基づく画像合成について図７〜図９に示す３つの実施形態を説明する。これらの実施形態は、複雑度の昇順で並べられる。これらの図において、「サンプル」は様々な画像内のピクセルである。
【００３５】
図７に示すような第１の実施形態において、限られた複雑度で局所最適化が実行される。この実施形態では、候補奥行き選択は前のピクセルからの最適奥行き候補の選択に依拠しない。したがって、候補奥行き割当て及びピクセルの評価を並行に実行することができる。この実施態様のステップごとの説明を以下に記載する。
【００３６】
様々な図に示す各ステップは、当該技術分野において既知のメモリ及び入力／出力インターフェースに接続されたプロセッサにおいて実行することができる。仮想画像を表示デバイスにレンダリング及び出力することができる。代替的に、各ステップは、ビデオ符号化器又は復号化器（コーデック）内の分離した別個の（discrete）電子部品を含む手段を用いてシステム内に実装することができる。より具体的には、ビデオ符号化／復号化システム（コーデック）に関しては、本発明において説明される仮想画像を生成する方法を用いて、他のビューの画像を予測することもできる。例えば、参照により本明細書に援用される、米国特許第７，７２８，８７７号「Method and system for synthesizing multiview videos」を参照されたい。
【００３７】
ステップ７０１：トレリス内の全てのピクセルの候補奥行きを特定する。このステップにおいて、以下の候補が求められる。
ａ．奥行きＡ：現在のピクセルの奥行き画像においてシグナリングされている奥行きを選択する。ピクセルがそのライン内の第１のピクセルでない場合、以下のように２つの更なる奥行き候補が選択される。
ｂ．奥行きＢ：同じラインの前の複数のピクセルの奥行き画像においてシグナリングされた奥行きのセットにおいて、奥行きＡと最も異なる奥行きを選択する。前のピクセルは図３に示すものである。４つの前のピクセルが好ましい。
ｃ．奥行きＣ：奥行きＣは奥行きＢと異なり、同じラインから選択され、図４に示すように上のラインからの同じ列内の奥行き間で選択され、奥行きＡと最も異なる。
ｄ．奥行きＤ：この実施形態ではそのような候補奥行きはない。
【００３８】
ステップ７０２：各ピクセルの候補奥行きごとのコストを評価する。
【００３９】
ステップ７０３：ピクセルごとの全ての候補奥行きのコストを比較し、最小コストを有する候補奥行きを求める。ピクセルごとに対応する奥行きを選択する。
【００４０】
図８は、複雑度が制限された局所最適化でもある第２の実施形態を示している。この実施態様では、トレリスの列内の候補奥行き割当ては、トレリス内の直前のピクセル又は列の最適奥行き選択に依拠する。以下は、この実施態様のステップごとの説明である。
【００４１】
ステップ８０１：インデックスｉを初期化する。
【００４２】
ステップ８０２：ピクセルｉの候補奥行きを特定する。このステップにおいて、図７に示す実施形態と同様にして選択された３つの奥行き候補を含む。しかしながら、奥行きＢ及びＣを導出するとき、前のピクセルからの最適奥行きが用いられ、これは奥行き画像においてシグナリングされるものと異なることができる。
【００４３】
ステップ８０３：ピクセルｉの奥行き候補ごとのコストを評価する。
【００４４】
ステップ８０４：全ての奥行き候補のコストを比較し、ピクセルｉの最小コストを求める。
【００４５】
ステップ８０５：トレリス内で処理されていない更なるピクセルが存在する場合、ｉを１だけ増加し（８０６）、反復する。
【００４６】
第１の２つの実施形態では、最適奥行き候補は局所コスト関数を評価することによってトレリス内で行ごとに選択される。第３の実施形態では、列からの奥行き候補を結合したものである、トレリスにわたる最適経路が求められる。経路コストは、経路内のノードコストの和として定義される。
【００４７】
ノードは異なる経路内で異なるコストを有することができる。この実施形態は図９に示されている。手順は、ｉ及びｐにわたって反復する２つのループを有する。外側のループは全ての可能な経路にわたるものである一方、内側のループは１つの可能な経路内の全てのノードについてのものである。
【００４８】
潜在的な経路ごとに、経路内で順次、ノードの候補奥行きを特定し（９０１）評価する（９０２）。奥行き候補割当ては以下のように求められる。経路内に更なるピクセルがあるか否かを判断する（９０３）。
【００４９】
次のノードが行「奥行きＡ」に位置する場合、ノードは奥行き画像内でシグナリングされた通りの奥行きに設定される。ノードが行「奥行きＢ」に位置する場合、同じライン内の前のピクセルの所与の奥行きのセットからの中央値である奥行きを選択する。前のピクセルの所与の奥行きが現在の経路について指定される。ノードが行「奥行きＣ」に位置する場合、ノードは、画像内の上のラインの同じ列からの奥行きの中央値として選択される。
【００５０】
異なる経路が同じノードと交差している場合、その同じノードについて奥行きＢに異なる奥行きを割り当てることができる。奥行きＡ及びＣは異なる経路について同じままにされる。
【００５１】
経路内の全てのノードが評価された後、ノードコストの合計として経路コストが求められ（９０４）、更なる経路がない場合（９０５）、最小コストを有する経路が最終合成結果のために用いられる（９０６）。
【００５２】
疎な奥行きを用いたビュー合成
本発明の関連出願である、米国特許出願第１３／０２６，７５０号において、ビュー合成プロセスへの入力として奥行き画像を用い、ここで、推定奥行きは、トレリスに基づくビュー合成プロセスにおける幾つかの候補奥行きのうちの１つとみなされる。このようにして、入力画像内の各ピクセルは対応する奥行きと関連付けられ、奥行き画像が形成される。これらの奥行き画像は、密な奥行き画像と呼ばれる。
【００５３】
対照的に、疎な奥行き特徴は、入力テクスチャ画像内のピクセルの小さなサブセットと関連付けられた奥行きの集まりを指す。既知の金出−ルーカス−トマシ（ＫＬＴ）特徴追跡器を含む、複数の既知の技法を用いて疎な奥行き特徴を求めることができる。ＫＬＴ特徴追跡器は、まず、画像、例えば左のビューの隅角点又は顕著な特徴を検出し、次に、もう１つの画像、例えば右のビュー内の対応する特徴を見つける。
【００５４】
図１０に示すように、入力ステレオビデオ画像（ビデオ）１００１から、密な奥行き推定１０１０が実行され、ステレオ対の左のビュー及び右のビューに対応する密な奥行き画像１０１１が生成される。同様に、入力ステレオビデオから疎な奥行き推定１０２０が実行され、ステレオ対の左のビュー及び右のビューにおける対応関係に基づいて、疎な奥行き特徴のセット１０２１が生成される。
【００５５】
次に、図７〜図９を参照して上述したように、密な奥行き画像と、疎な奥行き特徴と、入力ステレオビデオとを用いて、トレリスに基づくビュー合成１０３０が実行され、仮想画像１００２が生成される。
【００５６】
この説明の便宜上、疎な奥行き特徴はいわゆる疎な奥行き画像を形成する。
【００５７】
図１１に示すように、密な奥行き画像１０１１は密な奥行きワーピング１１１０を受ける。密な奥行きワーピング１１１０は、仮想ビューの位置に対応する、ワーピングされた密な奥行き画像を生成する。ワーピングは、仮想ビュー位置と、シーンのジオメトリのパラメーターとに従って、各奥行きを仮想ビュー内の対応する奥行きにマッピングすることによって達成される。
【００５８】
本発明の好ましい実施形態では、２つのワーピングされた密な奥行き画像が存在する。一方は、左のビューの密な奥行き画像のワーピングに対応し、もう一方は、右のビューの密な奥行き画像のワーピングに対応する。ワーピングされた密な奥行き画像の奥行きは、トレリスに基づくビュー合成の候補奥行きである。
【００５９】
さらに、疎な奥行き特徴１０２１は、疎な奥行きワーピング１１２０を受ける。疎な奥行きワーピング１１２０はまず、仮想ビュー内に、ワーピングされた疎な奥行き特徴を生成する。疎な奥行き特徴のワーピングは、密な奥行き画像のワーピングと類似しているが、入力画像内のピクセル位置の完全なセットと比べて、特徴のより小さなサブセットに対して実行される。次に、最近接点割当て、線形補間、双三次補間等の既知の従来技術による技法を用いて、ワーピングされた疎な特徴のセットから奥行きの密なセットが求められる。
【００６０】
代替的に、まず、疎な奥行き特徴に対して補間を実行し、次に仮想ビューにマッピングすることができる。疎な奥行きマッピングプロセスの出力は、トレリスに基づくビュー合成のための追加の候補奥行きを生成する。
【００６１】
図２に示すように、仮想ビュー内の各ピクセルのビュー合成について複数の候補奥行きを評価することができる。本発明の好ましい実施形態において、密な奥行き画像及び疎な奥行き特徴から候補奥行きが求められる。
【００６２】
図１１内のトレリス構造１１３０は、図２に示すようなトレリスを生成し、ここで各列は仮想ビュー内の１つのピクセル位置に対応し、１つの列内の各ノードは合成に用いられる１つの候補奥行きに対応する。
【００６３】
トレリスは、仮想ビュー画像の１つの行について構築される。各ノードは、視差候補を用いて、１つの候補奥行き及び推定された合成品質メトリックと関連付けられる。上記で説明した、候補奥行きを生成する全ての方法を用いることができる。加えて、疎な奥行き特徴から求められた候補奥行きを、トレリスを作成する際に用いることができる。
【００６４】
トレリスが構築された後、図７〜図９に関して説明した実施形態に従って、トレリスを通る最小コスト経路が求められる（１１４０）。結果として得られた奥行きのセットを用いて、入力画像を仮想ビュー位置にワーピングする（１１５０）。このプロセスは、左の入力ビュー及び右の入力ビューの双方について行われる。
【００６５】
最後に、ブレンディングするステップ１１６０が、基準ビューからの左のビュー及び右のビューの距離によって決まる重み付け係数によって、左のビュー及び右のビューを平均する。仮想ビュー位置が左のビューにより近い場合、左のビューからワーピングされたビューは、右のビューからワーピングされたビューよりも大きな重み付け係数を有する。一方のワーピングされたビュー内の穴ピクセルは、他方のワーピングされたビュー内で穴ではない場合、その他方のワーピングされたビューを用いて埋められる。ブレンディングした後、最終的な仮想ビュー画像が表示される。
【００６６】
トレリス及び疎な奥行きを用いた奥行き強調
明確にするために、図１２に関して左のビューの処理のみを示して説明する。右のビューの処理は同様である。オプションの項目は破線で示す。
【００６７】
本発明の上記の実施形態は、密な奥行き画像１０１１及び疎な奥行き特徴１０２１を利用するビュー合成方法を説明した。この方法では、推定奥行き及び疎な奥行き特徴を用いて、トレリスに基づくビュー合成プロセスの一部として、幾つかの候補奥行きが求められる。
【００６８】
本発明のこの実施形態では、密な奥行き画像及び疎な奥行き特徴に基づいて密な奥行き画像の品質を強調する方法が用いられる。この文脈では、強調とは、誤りの訂正、又は密な奥行き画像の推定若しくは取得に起因したノイズの抑制を指す。強調された奥行き画像は、後続のビュー合成において用いられる。
【００６９】
図１２に示すように、奥行き強調１２０１は、取得された左のビュー及び右のビューに対応する、密な奥行き画像１０１１及び疎な奥行き特徴１０２１に適用することができる。第２の奥行き強調１２０３は、ビュー合成１２３０中の仮想ビューに対応する。第１の奥行き強調が左のビューに適用され、第１の強調された密な奥行き画像が生成される（１２０２）。第１の奥行き強調は、右のビューにも独立して適用することができる。
【００７０】
この実施形態において、奥行き候補のセット２０２は、第１の強調された奥行き画像から選択される。トレリスを通る最小コストを有する経路が選択される前に、各奥行き候補のコストが求められる。
【００７１】
奥行き強調の後に、オクルージョンハンドリング１３０、すなわち、単一のビューが用いられる場合、穴埋め、及び、ワーピング１１０、又は、外挿が、続く。これは第１の強調された奥行き画像（複数の場合もあり）にのみ適用される。このとき、テクスチャ画像は用いられない。
【００７２】
ビュー合成１２３０の間、仮想ビューに対するオクルージョンハンドリング・ワーピング・外挿の後、第１の強調された奥行き画像に第２の奥行き強調１２０３が適用され、仮想ビュー位置において第２の強調された奥行き画像が生成される。次に、第２の強調された奥行き画像は、第２のワーピング・外挿の間、テクスチャ画像（複数の場合もあり）とともに用いられる。
【００７３】
第１の奥行き強調及び第２の奥行き強調の双方の間、密な奥行き画像内で特定された入力奥行きは、常に第１の候補として選択される。この奥行きは不正確である可能性があり、このため、アーティファクト又は入力画像に対する不一致につながる可能性がある。したがって、追加の候補が検討される。
【００７４】
第１の奥行き強調の間、テクスチャ画像内の同じ行の前のピクセルの最小連結（色）輝度差（minimal collocated (color) intensity difference）に基づいて代替的な奥行き候補が選択される。また、最も近い疎な奥行き特徴の奥行きも、代替的な候補として選択される。
【００７５】
第２の奥行き強調の間、同じ行及び同じ列の前の５つの奥行きからの奥行きの中央値が代替的な候補として選択される。
【００７６】
第２の奥行き強調に続いて、テクスチャ画像１２２１及び１２２２をワーピングし（１２４０）、ブレンディング・外挿を行い（１２５０）、仮想画像１００２を生成することができる。
【００７７】
第１の奥行き強調の間、奥行き候補のコスト関数のために、３つの測定値、すなわち、ステレオコスト、すなわち２つのビュー間の色輝度整合性と、色差コスト、すなわち現在のロケーションと候補ピクセルロケーションとの間の色輝度差と、奥行き差コスト、すなわち現在のピクセルと代替的な候補との間の奥行き差とが検討される。
【００７８】
図１３に示すように、ステレオコストは、現在のピクセルロケーション及び奥行きにロケーションが依存する、左の色（テクスチャ）画像及び右の色（テクスチャ）画像内の２つの窓（Ａ、Ｂ）間の平均値分離平均絶対差（ｍｒＭＡＤ）によって定義される。
【００７９】
図１３は、色差コストの例を示している。左の色画像１３０１は上部に示され、奥行き（視差）画像は下部に示されている。色差コストは、現在のピクセル位置１３１１及び候補ピクセル位置１３１２の２つの周囲ウィンドウ１３０３のＭＡＤとして定義される。右の画像も同様に処理される。
【００８０】
奥行き強調Ｂにおいて、ステレオコスト及び奥行き差コストのみが検討される。ステレオコストを求めるために、基準ビュー内の２つのウィンドウのロケーションが求められる。これは、現在のピクセルロケーションと、候補奥行きと、基準ビューに対する仮想ビューの位置とに依拠して求められる。
【００８１】
候補視差のコストが求められた後、このコストは、現在の視差のコストと比較される。候補視差のコストが現在の視差のコストよりも低い場合、現在の視差は候補視差に更新される。全てのピクセルが処理された後、後続のステップにおいて強調された奥行きマップが出力される。
【技術分野】
【０００１】
本発明は、包括的には奥行き画像に基づくレンダリング（ＤＩＢＲ）に関し、より詳細には、トレリス構造を用いて奥行き画像を強調する方法に関する。
【背景技術】
【０００２】
３Ｄディスプレイは、各眼の３Ｄシーンの異なるビューの画像を提示する。従来のステレオシステムでは、左のビュー及び右のビューの画像が取得され、符号化され、格納又は送信され、その後、復号化され表示される。より進んだシステムでは、既存の入力ビューとは異なる視点を有する仮想画像を合成して、向上した（または強調した（enhanced））３Ｄ特徴、例えば、３Ｄステレオ表示の知覚奥行きの調整、及びシーンの新規の仮想ビューのための多数の仮想画像の生成を可能にし、マルチビュー自動立体ディスプレイをサポートすることができる。
【０００３】
奥行き画像に基づくレンダリング（ＤＩＢＲ）は、仮想画像を合成する方法であり、通常、シーンの奥行き画像を必要とする。奥行き画像はノイズを含む可能性があり、これによってレンダリング画像内にアーティファクト（artifacts）が生じる可能性があり、ピクセルレベルの奥行き画像は、通常、オブジェクト境界において発生する奥行き不連続部を必ずしも表すことができず、これはレンダリング画像内のアーティファクトの別の発生源となる。
【０００４】
図１に示すように、従来技術によるビュー合成はワーピングステップ１１０を含み、このワーピングステップ１１０において、仮想位置に対応するピクセルが、シーンのジオメトリに基づいて、基準入力画像１０１及び１０２、すなわち基準画像のテクスチャ画像及び奥行き画像から、ワーピング画像にワーピング（warping）される。テクスチャ画像において、各ピクセル（サンプル）は２Ｄロケーション及び輝度を有し、輝度は、３（ＲＧＢ）チャネルが用いられる場合、色とすることができる。奥行き画像において、２Ｄロケーションにある各ピクセルは、カメラからシーンの最近点への奥行きである。
【０００５】
ブレンディング（blending）１２０の間、入力視点ごとに、ワーピング画像が単一の画像に結合される。穴埋め１３０は、ブレンディング画像内の任意の残った穴を埋め、合成された仮想画像１０３を生成する。ブレンディングは、そこから合成仮想画像が生成される入力視点が複数存在するときのみ実行される。
【０００６】
ワーピングステップは、前方ワーピング及び後方ワーピングを含むことができる。前方ワーピングでは、基準画像内のピクセルは、３Ｄ射影を介して仮想画像にマッピングされる。後方ワーピングでは、基準画像内のピクセルは仮想画像に直接マッピングされない。代わりに、奥行きが仮想画像にマッピングされ、次にワーピングされた奥行き画像を用いて、仮想画像内のピクセルロケーションごとに基準画像内の対応するピクセルを求める。
【０００７】
仮想画像内のピクセルのほとんどは、ワーピングプロセス後にマッピングされる。しかしながら、幾つかのピクセルは対応するマッピングされた奥行きを一切有しない。これは、或る視点から別の視点へのディスオクルージョン（disocclusion：非遮蔽）によって生じる。マッピングされた奥行きのないピクセルは、仮想画像内の穴として知られている。
【０００８】
複数の入力基準画像が存在するとき、ブレンディングを用いてワーピング結果を単一の画像に統合（merge）する。幾つかの穴は、このステップ中に補完的に埋めることができる。すなわち、左の基準画像の穴は、右の基準画像からマッピングされた値を有することができる。加えて、ブレンディングによって、異なる基準画像からの異なるマッピング値が存在するときに生じるマッピング衝突（mapping conflicts）を解消することもできる。例えば、加重平均を適用することができるか、又は基準画像に対する仮想視点ロケーションの近接度に依拠してマッピング値のうちの１つが選択される。
【０００９】
ブレンディングプロセスの後、幾つかの穴が残っている。このため、最終的な穴埋めが必要となる。例えば、インペインティングを用いて周囲のピクセル値を残りの穴の中に広げる（propagate）ことができる。１つの実施態様（implementation）では、背景ピクセルを小さな穴の中に広げる。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来技術の方法は、奥行きマップ画像におけるエラーに対処することができない。したがって、合成画像に境界アーティファクトがなくなり、かつ合成画像が、入力画像内に存在する画像特徴と幾何学的に一致するように、合成画像の品質を改善するためのより正確なビュー合成が必要とされている。
【００１１】
ビュー合成は、自由視点ナビゲーション、及び自動立体ディスプレイ用の画像生成を含む、複数の３Ｄビデオ用途に不可欠な機能である。この目的では通常、奥行き画像に基づくレンダリング（ＤＩＢＲ）法が適用される。
【００１２】
しかしながら、レンダリング画像の品質は奥行き画像の品質に非常に敏感であり、奥行き画像は通常、エラーを起こしやすい傾向のあるプロセスによって推定される。さらに、ピクセルごとの奥行き画像は、特に奥行き境界に沿った３Ｄシーンの理想的表現ではない。この表現によって、オクルージョン領域を有するシーンの合成結果が不自然になる可能性がある。
【課題を解決するための手段】
【００１３】
本発明の実施の形態は、奥行き画像における上記の限界を克服し、レンダリング画像内のアーティファクトを低減することができる、トレリスに基づくビュー合成方法を提供する。この方法により、ワーピングされる必要があるピクセルごとに、奥行きの候補セットが、そのピクセルの推定奥行き及び近傍の奥行きに基づいて特定される。各候補奥行きのコストが、合成品質の推定値に基づいて定量化される。次に、最適期待品質を有する候補奥行きが選択される。
【００１４】
本方法は、ビュー合成の前及びビュー合成中に第１の奥行き強調及び第２の奥行き強調を適用し、誤りを補正するか、又は密な奥行き画像及び疎な奥行き特徴の推定若しくは取得に起因したノイズを抑制する。
【図面の簡単な説明】
【００１５】
【図１】従来技術のビュー合成方法のブロック図である。
【図２】本発明の実施形態に従って構築されたビュー合成のトレリスの概略図である。
【図３】本発明の実施形態による、次のピクセルの奥行きを予測するのに用いられる近傍のピクセルの概略図である。
【図４】本発明の実施形態による、次のピクセルの奥行きを予測するのに用いられる近傍のピクセルの別の概略図である。
【図５】本発明の実施形態による、次のピクセルの奥行きを予測するのに用いられる近傍のピクセルの別の概略図である。
【図６】本発明の実施形態による、異なるコスト関数を割り当てられた奥行き境界を増減することの概略図である。
【図７】本発明の実施形態による、トレリスに基づくビュー合成の方法のフローチャートである。
【図８】本発明の実施形態による、トレリスに基づくビュー合成の非反復的方法のフローチャートである。
【図９】本発明の実施形態による、トレリスに基づくビュー合成の反復的方法のフローチャートである。
【図１０】本発明の実施形態による、密な奥行き推定と、疎な奥行き推定と、トレリスに基づくビュー合成とを含むシステムのブロック図である。
【図１１】本発明の実施形態による、密な奥行き画像と、疎な奥行き特徴とに基づいた、トレリスに基づくビュー合成のブロック図である。
【図１２】本発明の実施形態による、奥行き強調方法を用いた、トレリスに基づくビュー合成のブロック図である。
【図１３】色差コスト計算に用いられるピクセルの図である。
【発明を実施するための形態】
【００１６】
奥行き画像は、推定プロセス又は取得プロセスによって生じたエラーを有する可能性がある。加えて、ピクセルごとの奥行き画像の表現は、奥行き不連続部では必ずしも正確であるとは限らない。
【００１７】
したがって、本発明の実施形態は、奥行き画像の表現及び推定における限界を克服するトレリスに基づくビュー合成方法を提供する。奥行き画像は、レンジカメラによって取得することもできるし、左テクスチャ画像及び右テクスチャ画像における立体表示対応（stereo disparity correspondences）から推定することもできる。本方法は、奥行き画像に基づくレンダリング（ＤＩＢＲ）のワーピングプロセス中に適用される。
【００１８】
図２は、本発明の実施形態によるビュー合成のために構築されたトレリス２０１の一例を示している。トレリス２０１は、所定の数のピクセルについて構築される。１つの実施形態では、画像ピクセルの１つのラインがトレリスに構成され、ワーピングプロセスはラインごとに実行される。すなわち、トレリスの各列は異なる奥行きＡ〜Ｄを有する１つの画像ピクセルを表す。トレリスの各列内のノードは、仮想画像内のそのピクセルの候補奥行きマッピングを表す。
【００１９】
第１のステップにおいて、候補奥行きのセット（Ａ、Ｂ、Ｃ、Ｄ）２０２がピクセルごとに特定される。セットは、入力奥行き画像から推定奥行き、及び近傍の奥行きに基づく幾つかの他の候補奥行きを含む。候補奥行きの数は、トレリス内の行数に対応する。図２では、各ピクセルはトレリス内の４つの行に対応する４つの奥行きＡ〜Ｄを有する。
【００２０】
第２のステップにおいて、コスト関数を用いて合成品質を推定する。合成品質は最適候補奥行きを選択する判断基準である。
【００２１】
候補奥行きのセットを求める
第１のステップにおいて、入力奥行き画像からの推定奥行きを含む候補奥行きのセットが特定される。この値に加えて、幾つかの他の候補奥行きが近傍の奥行きから特定される。候補奥行きは、入力奥行き画像からの推定奥行きが正しくないとき、すなわち奥行きによってアーティファクト又は入力画像との不一致が生じるときに用いることができる。以下で、最適候補奥行きを求める幾つかの方法を説明する。
【００２２】
候補奥行きのセットを求める１つの方法は、入力奥行き画像からの推定奥行きに対する所定の増加及び／又は減少を用いる方法である。例えば、推定奥行きが５０である場合、奥行きの候補セットは、｛４９，５０，５１｝を含むことができる。１以外の係数によるインクリメントも検討することができる。奥行きの数は可変とすることもでき、必ずしも推定奥行きを中心に対称である必要はなく、例えばセットは｛４６，４８，５０，５２，５４｝とすることもできるし、｛４８，４９，５０，５２，５４｝とすることもできる。候補奥行きは、ルックアップテーブルによって求めることもできる。ルックアップテーブルでは、候補奥行きは場合によっては推定奥行きごとに変動することができる。
【００２３】
候補奥行きのセットを求める第２の方法は、近傍のピクセルからの奥行きに基づく予測値を用いる方法である。例えば、近傍の奥行きからの平均奥行き又は中央奥行きを用いることができる。所定のウィンドウサイズを用いて、予測において検討する近傍ピクセルの数を確定することもできる。
【００２４】
好ましい方法は、ウィンドウ内に、同じラインからの前のピクセルを含める。図３では、左からの同じライン内の４つのピクセル３０１がウィンドウ内にある。図４では、上のラインからの同じ列内の４つのピクセル４０１がウィンドウ内にある。図５では、ピクセル５０１の４×４のウィンドウが特定される。別の実施形態では、ピクセルは任意の形状に適合することができる。候補奥行きの数が増加する結果として、計算複雑度が増加する。なぜなら、各候補がチェックされ、比較されるためである。
【００２５】
図２では、ピクセルごとに候補奥行きの数が４に設定されている。１つの例では、奥行きＡ（下から１行目）は入力奥行き画像からの推定奥行きを表す。奥行きＢ及びＣ（中央の行２及び３）は、それぞれ奥行きＡを１だけ増加又は減少した奥行きである。奥行きＤ（最上行）は、図３に示すように近傍のピクセルからの中央奥行きを用いることによって予測された奥行きを示す。
【００２６】
動的プログラミングを用いたビュー合成
候補奥行きのセットが求められた後、トレリス内の各ノードは、合成品質を推定するコスト関数に従ってメトリックを割り当てられる。次に、ビュー合成問題は、トレリスにわたって奥行きの最適なセットを求めることによって解決される。例えば、動的プログラミングを用いて最適化問題を解決する。
【００２７】
合成品質を推定するために、コスト関数として評価関数が定義される。コスト関数は、ワーピングプロセスが前方ワーピングであるか、又は後方ワーピングであるかに依拠することができる。一般性を損なうことなく、本発明の好ましい実施形態について後方ワーピングを仮定してコスト関数の定義を説明する。この定義は前方ワーピングに適用される。
【００２８】
１つの実施態様では、コスト関数はピクセルの２つの正方形ブロック間の平均二乗誤差（ＭＳＥ）を評価する。これらのブロックはピクセルロケーションに対し左上のブロックである。（ｘ，ｙ）が現在のピクセルロケーションを表すものとし、（ｘ’，ｙ’）が候補奥行きを用いてワーピングされた位置を表すものとする。
【００２９】
第１のブロックは合成仮想画像内の（ｘ−ｓ，ｙ−ｓ）〜（ｘ，ｙ）に位置し、第２のブロックは基準画像内の（ｘ’−ｓ，ｙ’−ｓ）〜（ｘ’，ｙ’）に位置する。ここで、ｓはブロックサイズである。ブロックの一部分が画像エリアを越えている場合、クロッピングが適用される。
【００３０】
ＭＳＥ以外のエネルギー関数もコスト関数として用いることができる。例えば、平均絶対誤差は、合成品質を推定する有効なコスト関数である。また、画像特徴又は構造類似度（structural similarity measure）もブロックから抽出することができ、整合プロセスを用いてブロックが幾何学的に一致しているか否かを判断することができる。
【００３１】
前景オブジェクトにおけるどのアーティファクトも、人間の眼によって、より容易に知覚されるので、前景のオブジェクトを一貫した方式で合成する方法が必要とされている。このため、本方法では、コストメトリックを求めるのに左上のブロックが必ずしも用いられるとは限らない。
【００３２】
図６に示すように、ピクセルは３つのタイプのエリア、すなわち、図６に示すようなフラットエリア６０１、奥行き減少エリア６０２、及び奥行き増加エリア６０３に分類される。奥行き減少境界（図６の右境界）又はフラットエリアにあるピクセルの場合、左上ブロックが用いられる。奥行き増加境界（図６の左境界）にあるピクセルの場合、右上ブロックが用いられる。
【００３３】
幾つかの応用形態では、合成プロセスへの入力として、推定奥行き画像に加えて信頼マップも用いることができる。奥行き推定器が高い信頼度を示すとき、奥行き画像からの奥行きのコスト関数を係数によって重み付けすることができる。
【００３４】
システム実施形態
以下において、トレリスに基づく画像合成について図７〜図９に示す３つの実施形態を説明する。これらの実施形態は、複雑度の昇順で並べられる。これらの図において、「サンプル」は様々な画像内のピクセルである。
【００３５】
図７に示すような第１の実施形態において、限られた複雑度で局所最適化が実行される。この実施形態では、候補奥行き選択は前のピクセルからの最適奥行き候補の選択に依拠しない。したがって、候補奥行き割当て及びピクセルの評価を並行に実行することができる。この実施態様のステップごとの説明を以下に記載する。
【００３６】
様々な図に示す各ステップは、当該技術分野において既知のメモリ及び入力／出力インターフェースに接続されたプロセッサにおいて実行することができる。仮想画像を表示デバイスにレンダリング及び出力することができる。代替的に、各ステップは、ビデオ符号化器又は復号化器（コーデック）内の分離した別個の（discrete）電子部品を含む手段を用いてシステム内に実装することができる。より具体的には、ビデオ符号化／復号化システム（コーデック）に関しては、本発明において説明される仮想画像を生成する方法を用いて、他のビューの画像を予測することもできる。例えば、参照により本明細書に援用される、米国特許第７，７２８，８７７号「Method and system for synthesizing multiview videos」を参照されたい。
【００３７】
ステップ７０１：トレリス内の全てのピクセルの候補奥行きを特定する。このステップにおいて、以下の候補が求められる。
ａ．奥行きＡ：現在のピクセルの奥行き画像においてシグナリングされている奥行きを選択する。ピクセルがそのライン内の第１のピクセルでない場合、以下のように２つの更なる奥行き候補が選択される。
ｂ．奥行きＢ：同じラインの前の複数のピクセルの奥行き画像においてシグナリングされた奥行きのセットにおいて、奥行きＡと最も異なる奥行きを選択する。前のピクセルは図３に示すものである。４つの前のピクセルが好ましい。
ｃ．奥行きＣ：奥行きＣは奥行きＢと異なり、同じラインから選択され、図４に示すように上のラインからの同じ列内の奥行き間で選択され、奥行きＡと最も異なる。
ｄ．奥行きＤ：この実施形態ではそのような候補奥行きはない。
【００３８】
ステップ７０２：各ピクセルの候補奥行きごとのコストを評価する。
【００３９】
ステップ７０３：ピクセルごとの全ての候補奥行きのコストを比較し、最小コストを有する候補奥行きを求める。ピクセルごとに対応する奥行きを選択する。
【００４０】
図８は、複雑度が制限された局所最適化でもある第２の実施形態を示している。この実施態様では、トレリスの列内の候補奥行き割当ては、トレリス内の直前のピクセル又は列の最適奥行き選択に依拠する。以下は、この実施態様のステップごとの説明である。
【００４１】
ステップ８０１：インデックスｉを初期化する。
【００４２】
ステップ８０２：ピクセルｉの候補奥行きを特定する。このステップにおいて、図７に示す実施形態と同様にして選択された３つの奥行き候補を含む。しかしながら、奥行きＢ及びＣを導出するとき、前のピクセルからの最適奥行きが用いられ、これは奥行き画像においてシグナリングされるものと異なることができる。
【００４３】
ステップ８０３：ピクセルｉの奥行き候補ごとのコストを評価する。
【００４４】
ステップ８０４：全ての奥行き候補のコストを比較し、ピクセルｉの最小コストを求める。
【００４５】
ステップ８０５：トレリス内で処理されていない更なるピクセルが存在する場合、ｉを１だけ増加し（８０６）、反復する。
【００４６】
第１の２つの実施形態では、最適奥行き候補は局所コスト関数を評価することによってトレリス内で行ごとに選択される。第３の実施形態では、列からの奥行き候補を結合したものである、トレリスにわたる最適経路が求められる。経路コストは、経路内のノードコストの和として定義される。
【００４７】
ノードは異なる経路内で異なるコストを有することができる。この実施形態は図９に示されている。手順は、ｉ及びｐにわたって反復する２つのループを有する。外側のループは全ての可能な経路にわたるものである一方、内側のループは１つの可能な経路内の全てのノードについてのものである。
【００４８】
潜在的な経路ごとに、経路内で順次、ノードの候補奥行きを特定し（９０１）評価する（９０２）。奥行き候補割当ては以下のように求められる。経路内に更なるピクセルがあるか否かを判断する（９０３）。
【００４９】
次のノードが行「奥行きＡ」に位置する場合、ノードは奥行き画像内でシグナリングされた通りの奥行きに設定される。ノードが行「奥行きＢ」に位置する場合、同じライン内の前のピクセルの所与の奥行きのセットからの中央値である奥行きを選択する。前のピクセルの所与の奥行きが現在の経路について指定される。ノードが行「奥行きＣ」に位置する場合、ノードは、画像内の上のラインの同じ列からの奥行きの中央値として選択される。
【００５０】
異なる経路が同じノードと交差している場合、その同じノードについて奥行きＢに異なる奥行きを割り当てることができる。奥行きＡ及びＣは異なる経路について同じままにされる。
【００５１】
経路内の全てのノードが評価された後、ノードコストの合計として経路コストが求められ（９０４）、更なる経路がない場合（９０５）、最小コストを有する経路が最終合成結果のために用いられる（９０６）。
【００５２】
疎な奥行きを用いたビュー合成
本発明の関連出願である、米国特許出願第１３／０２６，７５０号において、ビュー合成プロセスへの入力として奥行き画像を用い、ここで、推定奥行きは、トレリスに基づくビュー合成プロセスにおける幾つかの候補奥行きのうちの１つとみなされる。このようにして、入力画像内の各ピクセルは対応する奥行きと関連付けられ、奥行き画像が形成される。これらの奥行き画像は、密な奥行き画像と呼ばれる。
【００５３】
対照的に、疎な奥行き特徴は、入力テクスチャ画像内のピクセルの小さなサブセットと関連付けられた奥行きの集まりを指す。既知の金出−ルーカス−トマシ（ＫＬＴ）特徴追跡器を含む、複数の既知の技法を用いて疎な奥行き特徴を求めることができる。ＫＬＴ特徴追跡器は、まず、画像、例えば左のビューの隅角点又は顕著な特徴を検出し、次に、もう１つの画像、例えば右のビュー内の対応する特徴を見つける。
【００５４】
図１０に示すように、入力ステレオビデオ画像（ビデオ）１００１から、密な奥行き推定１０１０が実行され、ステレオ対の左のビュー及び右のビューに対応する密な奥行き画像１０１１が生成される。同様に、入力ステレオビデオから疎な奥行き推定１０２０が実行され、ステレオ対の左のビュー及び右のビューにおける対応関係に基づいて、疎な奥行き特徴のセット１０２１が生成される。
【００５５】
次に、図７〜図９を参照して上述したように、密な奥行き画像と、疎な奥行き特徴と、入力ステレオビデオとを用いて、トレリスに基づくビュー合成１０３０が実行され、仮想画像１００２が生成される。
【００５６】
この説明の便宜上、疎な奥行き特徴はいわゆる疎な奥行き画像を形成する。
【００５７】
図１１に示すように、密な奥行き画像１０１１は密な奥行きワーピング１１１０を受ける。密な奥行きワーピング１１１０は、仮想ビューの位置に対応する、ワーピングされた密な奥行き画像を生成する。ワーピングは、仮想ビュー位置と、シーンのジオメトリのパラメーターとに従って、各奥行きを仮想ビュー内の対応する奥行きにマッピングすることによって達成される。
【００５８】
本発明の好ましい実施形態では、２つのワーピングされた密な奥行き画像が存在する。一方は、左のビューの密な奥行き画像のワーピングに対応し、もう一方は、右のビューの密な奥行き画像のワーピングに対応する。ワーピングされた密な奥行き画像の奥行きは、トレリスに基づくビュー合成の候補奥行きである。
【００５９】
さらに、疎な奥行き特徴１０２１は、疎な奥行きワーピング１１２０を受ける。疎な奥行きワーピング１１２０はまず、仮想ビュー内に、ワーピングされた疎な奥行き特徴を生成する。疎な奥行き特徴のワーピングは、密な奥行き画像のワーピングと類似しているが、入力画像内のピクセル位置の完全なセットと比べて、特徴のより小さなサブセットに対して実行される。次に、最近接点割当て、線形補間、双三次補間等の既知の従来技術による技法を用いて、ワーピングされた疎な特徴のセットから奥行きの密なセットが求められる。
【００６０】
代替的に、まず、疎な奥行き特徴に対して補間を実行し、次に仮想ビューにマッピングすることができる。疎な奥行きマッピングプロセスの出力は、トレリスに基づくビュー合成のための追加の候補奥行きを生成する。
【００６１】
図２に示すように、仮想ビュー内の各ピクセルのビュー合成について複数の候補奥行きを評価することができる。本発明の好ましい実施形態において、密な奥行き画像及び疎な奥行き特徴から候補奥行きが求められる。
【００６２】
図１１内のトレリス構造１１３０は、図２に示すようなトレリスを生成し、ここで各列は仮想ビュー内の１つのピクセル位置に対応し、１つの列内の各ノードは合成に用いられる１つの候補奥行きに対応する。
【００６３】
トレリスは、仮想ビュー画像の１つの行について構築される。各ノードは、視差候補を用いて、１つの候補奥行き及び推定された合成品質メトリックと関連付けられる。上記で説明した、候補奥行きを生成する全ての方法を用いることができる。加えて、疎な奥行き特徴から求められた候補奥行きを、トレリスを作成する際に用いることができる。
【００６４】
トレリスが構築された後、図７〜図９に関して説明した実施形態に従って、トレリスを通る最小コスト経路が求められる（１１４０）。結果として得られた奥行きのセットを用いて、入力画像を仮想ビュー位置にワーピングする（１１５０）。このプロセスは、左の入力ビュー及び右の入力ビューの双方について行われる。
【００６５】
最後に、ブレンディングするステップ１１６０が、基準ビューからの左のビュー及び右のビューの距離によって決まる重み付け係数によって、左のビュー及び右のビューを平均する。仮想ビュー位置が左のビューにより近い場合、左のビューからワーピングされたビューは、右のビューからワーピングされたビューよりも大きな重み付け係数を有する。一方のワーピングされたビュー内の穴ピクセルは、他方のワーピングされたビュー内で穴ではない場合、その他方のワーピングされたビューを用いて埋められる。ブレンディングした後、最終的な仮想ビュー画像が表示される。
【００６６】
トレリス及び疎な奥行きを用いた奥行き強調
明確にするために、図１２に関して左のビューの処理のみを示して説明する。右のビューの処理は同様である。オプションの項目は破線で示す。
【００６７】
本発明の上記の実施形態は、密な奥行き画像１０１１及び疎な奥行き特徴１０２１を利用するビュー合成方法を説明した。この方法では、推定奥行き及び疎な奥行き特徴を用いて、トレリスに基づくビュー合成プロセスの一部として、幾つかの候補奥行きが求められる。
【００６８】
本発明のこの実施形態では、密な奥行き画像及び疎な奥行き特徴に基づいて密な奥行き画像の品質を強調する方法が用いられる。この文脈では、強調とは、誤りの訂正、又は密な奥行き画像の推定若しくは取得に起因したノイズの抑制を指す。強調された奥行き画像は、後続のビュー合成において用いられる。
【００６９】
図１２に示すように、奥行き強調１２０１は、取得された左のビュー及び右のビューに対応する、密な奥行き画像１０１１及び疎な奥行き特徴１０２１に適用することができる。第２の奥行き強調１２０３は、ビュー合成１２３０中の仮想ビューに対応する。第１の奥行き強調が左のビューに適用され、第１の強調された密な奥行き画像が生成される（１２０２）。第１の奥行き強調は、右のビューにも独立して適用することができる。
【００７０】
この実施形態において、奥行き候補のセット２０２は、第１の強調された奥行き画像から選択される。トレリスを通る最小コストを有する経路が選択される前に、各奥行き候補のコストが求められる。
【００７１】
奥行き強調の後に、オクルージョンハンドリング１３０、すなわち、単一のビューが用いられる場合、穴埋め、及び、ワーピング１１０、又は、外挿が、続く。これは第１の強調された奥行き画像（複数の場合もあり）にのみ適用される。このとき、テクスチャ画像は用いられない。
【００７２】
ビュー合成１２３０の間、仮想ビューに対するオクルージョンハンドリング・ワーピング・外挿の後、第１の強調された奥行き画像に第２の奥行き強調１２０３が適用され、仮想ビュー位置において第２の強調された奥行き画像が生成される。次に、第２の強調された奥行き画像は、第２のワーピング・外挿の間、テクスチャ画像（複数の場合もあり）とともに用いられる。
【００７３】
第１の奥行き強調及び第２の奥行き強調の双方の間、密な奥行き画像内で特定された入力奥行きは、常に第１の候補として選択される。この奥行きは不正確である可能性があり、このため、アーティファクト又は入力画像に対する不一致につながる可能性がある。したがって、追加の候補が検討される。
【００７４】
第１の奥行き強調の間、テクスチャ画像内の同じ行の前のピクセルの最小連結（色）輝度差（minimal collocated (color) intensity difference）に基づいて代替的な奥行き候補が選択される。また、最も近い疎な奥行き特徴の奥行きも、代替的な候補として選択される。
【００７５】
第２の奥行き強調の間、同じ行及び同じ列の前の５つの奥行きからの奥行きの中央値が代替的な候補として選択される。
【００７６】
第２の奥行き強調に続いて、テクスチャ画像１２２１及び１２２２をワーピングし（１２４０）、ブレンディング・外挿を行い（１２５０）、仮想画像１００２を生成することができる。
【００７７】
第１の奥行き強調の間、奥行き候補のコスト関数のために、３つの測定値、すなわち、ステレオコスト、すなわち２つのビュー間の色輝度整合性と、色差コスト、すなわち現在のロケーションと候補ピクセルロケーションとの間の色輝度差と、奥行き差コスト、すなわち現在のピクセルと代替的な候補との間の奥行き差とが検討される。
【００７８】
図１３に示すように、ステレオコストは、現在のピクセルロケーション及び奥行きにロケーションが依存する、左の色（テクスチャ）画像及び右の色（テクスチャ）画像内の２つの窓（Ａ、Ｂ）間の平均値分離平均絶対差（ｍｒＭＡＤ）によって定義される。
【００７９】
図１３は、色差コストの例を示している。左の色画像１３０１は上部に示され、奥行き（視差）画像は下部に示されている。色差コストは、現在のピクセル位置１３１１及び候補ピクセル位置１３１２の２つの周囲ウィンドウ１３０３のＭＡＤとして定義される。右の画像も同様に処理される。
【００８０】
奥行き強調Ｂにおいて、ステレオコスト及び奥行き差コストのみが検討される。ステレオコストを求めるために、基準ビュー内の２つのウィンドウのロケーションが求められる。これは、現在のピクセルロケーションと、候補奥行きと、基準ビューに対する仮想ビューの位置とに依拠して求められる。
【００８１】
候補視差のコストが求められた後、このコストは、現在の視差のコストと比較される。候補視差のコストが現在の視差のコストよりも低い場合、現在の視差は候補視差に更新される。全てのピクセルが処理された後、後続のステップにおいて強調された奥行きマップが出力される。
【特許請求の範囲】
【請求項１】
テクスチャ画像及び奥行画像に基づいて３Ｄシーンの仮想ビューの仮想画像を生成する方法であって、前記奥行き画像は、関連付けられた密な奥行き画像と、関連付けられた疎な奥行き特徴とを含み、該方法は、
前記密な奥行き画像及び前記疎な奥行き特徴に第１の奥行き強調を適用して、第１の強調された奥行き画像を得る、ステップと、
前記第１の強調された奥行き画像のピクセルごとに複数の候補奥行きを求めるステップと、
候補奥行きごとに、前記仮想画像の合成品質を推定するコストを求めるステップと、
最小コストを有する前記候補奥行きを選択して、前記第１の強調された奥行き画像内の前記ピクセルの強調された奥行きを生成する、ステップと、
前記第１の強調された奥行き画像及び対応する前記テクスチャ画像にビュー合成を適用して前記仮想画像を生成する、ステップと
を含み、
各前記ステップはプロセッサにおいて実行される、
仮想画像を生成する方法。
【請求項２】
前記仮想ビューについて、前記第１の強調された奥行き画像に第２の奥行き強調を適用して、前記ビュー合成中に用いられる第２の強調された奥行き画像を得る、ステップを更に含む、請求項１に記載の方法。
【請求項３】
各前記ステップは、前記３Ｄシーンの左のビュー及び右のビューについて同様に実行される、請求項１に記載の方法。
【請求項４】
前記第１の奥行き強調及び前記第２の奥行き強調は、誤りを補正し、前記密な奥行き画像及び前記疎な奥行き特徴の推定又は取得に起因したノイズを抑制する、請求項１に記載の方法。
【請求項５】
前記第１の奥行き強調の後に、前記第１の強調された奥行き画像に対するオクルージョンハンドリングを行う、請求項１に記載の方法。
【請求項６】
トレリスを通る最小コストを有する経路が選択される前に、前記最少コストが求められる、請求項１に記載の方法。
【請求項７】
前記候補奥行きは、前記テクスチャ画像の同じ行の前のピクセルの最小連結輝度差に基づく、請求項６に記載の方法。
【請求項８】
前記候補奥行きは最も近い疎な奥行き特徴を含む、請求項１に記載の方法。
【請求項９】
前記最少コストは、ステレオコスト、すなわち２つのビュー間の色輝度整合性と、色差コストとに基づく、請求項１に記載の方法。
【請求項１０】
前記ステレオコストは、左のテクスチャ画像及び右のテクスチャ画像内の２つのウィンドウ間の平均値分離平均絶対差によって定義される、請求項９に記載の方法。
【請求項１１】
前記候補奥行きの視差のコストを求めるステップを更に含む、請求項９に記載の方法。
【請求項１】
テクスチャ画像及び奥行画像に基づいて３Ｄシーンの仮想ビューの仮想画像を生成する方法であって、前記奥行き画像は、関連付けられた密な奥行き画像と、関連付けられた疎な奥行き特徴とを含み、該方法は、
前記密な奥行き画像及び前記疎な奥行き特徴に第１の奥行き強調を適用して、第１の強調された奥行き画像を得る、ステップと、
前記第１の強調された奥行き画像のピクセルごとに複数の候補奥行きを求めるステップと、
候補奥行きごとに、前記仮想画像の合成品質を推定するコストを求めるステップと、
最小コストを有する前記候補奥行きを選択して、前記第１の強調された奥行き画像内の前記ピクセルの強調された奥行きを生成する、ステップと、
前記第１の強調された奥行き画像及び対応する前記テクスチャ画像にビュー合成を適用して前記仮想画像を生成する、ステップと
を含み、
各前記ステップはプロセッサにおいて実行される、
仮想画像を生成する方法。
【請求項２】
前記仮想ビューについて、前記第１の強調された奥行き画像に第２の奥行き強調を適用して、前記ビュー合成中に用いられる第２の強調された奥行き画像を得る、ステップを更に含む、請求項１に記載の方法。
【請求項３】
各前記ステップは、前記３Ｄシーンの左のビュー及び右のビューについて同様に実行される、請求項１に記載の方法。
【請求項４】
前記第１の奥行き強調及び前記第２の奥行き強調は、誤りを補正し、前記密な奥行き画像及び前記疎な奥行き特徴の推定又は取得に起因したノイズを抑制する、請求項１に記載の方法。
【請求項５】
前記第１の奥行き強調の後に、前記第１の強調された奥行き画像に対するオクルージョンハンドリングを行う、請求項１に記載の方法。
【請求項６】
トレリスを通る最小コストを有する経路が選択される前に、前記最少コストが求められる、請求項１に記載の方法。
【請求項７】
前記候補奥行きは、前記テクスチャ画像の同じ行の前のピクセルの最小連結輝度差に基づく、請求項６に記載の方法。
【請求項８】
前記候補奥行きは最も近い疎な奥行き特徴を含む、請求項１に記載の方法。
【請求項９】
前記最少コストは、ステレオコスト、すなわち２つのビュー間の色輝度整合性と、色差コストとに基づく、請求項１に記載の方法。
【請求項１０】
前記ステレオコストは、左のテクスチャ画像及び右のテクスチャ画像内の２つのウィンドウ間の平均値分離平均絶対差によって定義される、請求項９に記載の方法。
【請求項１１】
前記候補奥行きの視差のコストを求めるステップを更に含む、請求項９に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−１１４６８２（Ｐ２０１３−１１４６８２Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２５１４５５（Ｐ２０１２−２５１４５５）
【出願日】平成２４年１１月１５日（２０１２．１１．１５）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１２−２５１４５５（Ｐ２０１２−２５１４５５）
【出願日】平成２４年１１月１５日（２０１２．１１．１５）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]