2.5Dグラフックスをレンダリングするためのゴースト・アーチファクト削減
入力視点に関連した入力画像の、出力視点に関連した出力画像への変換を行う画像処理システム。入力画像は、入力視点から見た場合の3D物体の、予めフィルタリングされた2D表現であり、入力画素毎に関連入力画素値及び関連入力画素深度を備える。入力画像に加えて、隠れた画像(3D物体の別の2D表現であり、情報(入力視点から遮断された)を備える)が受信される。システムは、各入力画素を変換入力画素に変換することによって出力画像を作成するよう動作するビデオ・プロセッサを備える。変換は、入力画素深度の関数である。出力画像が、変換された入力画素に基づいて、遮断解除領域を埋めるために、かつ、遮断解除領域に隣接した少なくとも1つの画素位置について、隠れた画像画素を用いて作成される。その結果、プレフィルタリングされた入力画像の変換によって生じるゴースト線アーチファクトが阻止される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、出力視点に関連した少なくとも1つの出力画像を入力視点に関連した入力画像から深度依存性変換によって生成する画像処理システムに関し、画像は、入力画素アレイ及び出力画素アレイのそれぞれとして表す。
【0002】
本発明は更に、方法及びコンピュータ・プログラムに関する。
【背景技術】
【0003】
2Dディスプレイ上に画像を表示する際に深度の感覚を備えることの関心は、特にバーチャル・リアリティ・アプリケーション及びコンピュータ・ゲームにおいて急速に伸びている。深度キュー(物体の輝度レベル又は寸法に影響を及ぼすなど)を提供する種々の形態が知られている。特に、立体視又は立体視力は、深度の感覚を提供するための手法としてかなり注目されている。立体視は、少し離れた2つの位置から観察される、同じシーンの2Dの2つの画像を個人に表示することによって呼び起こされる。これらの画像のうちの一方は左眼に表示され、他方は右眼に表示される。2つの画像は、視差が関連している。「視差」という語は、物体と一直線上にない別々の2点から見た場合の、物体の見かけ上の変位、又は物体の見かけ上の方向における差を表す。視差によって、風景における物体の深度を個人が認識することが可能になる。
【0004】
実体像を表示するための多くの表示手法が知られている。時間並列手法を用いれば、何れの出力画像も1つ又は2つのディスプレイに同時に表示される。例えば、何れの画像も、補色によってフィルタリングし、1つのディスプレイ上に重ね合わせることができる。観察者は、投影フィルタに一致するフィルタを備えたメガネをかける。あるいは、何れの画像も、一ディスプレイ上に並行して表示し、各画像を正しい眼に指し向けるビューアーを用いて視ることができる。別の例として、2つのディスプレイを用いて、相応に偏光されたメガネを通して視る、違ったふうに偏光された2つのピクチャを表示することができる。あるいは、何れの画像も、各眼に別個のディスプレイを備えたヘッドマウント装置を用いて表示することができる。更に、時間多重化手法を用いることができる。この手法では、左画像及び右画像が一ディスプレイ上に交互に表示される。例として、一方の画像がモニタの偶数走査線に書き込まれ、他方の画像が奇数走査線に書き込まれる。シャッタ・システムを用いて、右眼画像が表示される際に左眼が遮断され、左眼画像が表示される際に右眼が遮断される。シャッタ・システムは、観察者がかけるメガネ内に搭載することができる。あるいは、制御可能な偏光子を備えたシャッタをディスプレイの前に配置し、観察者は、偏光メガネを備えたヘッドマウント装置を身につける。
【0005】
別々の視点からの2D画像をレンダリングするのに適した、考えられるビデオ形式は、深度情報によって拡充された2Dビデオ形式である。通常、2D入力画像は、画素アレイの形式で表される。それは例えば、カメラ又はコンピュータ・グラフィクスを用いて得られている場合がある。入力画像の画素毎に更なる深度情報を入手可能であり、又は、同様に、シーン内の点毎に、カメラまでの、点からの距離(、又は別の基準点、基準線、若しくは基準平面(投影画面など)までの、点からの距離)が与えられる。そうした形式は通常、2.5Dビデオ形式として表す。深度情報によって、平坦な画像のサンプル群としての元の画像のモデリングが可能になる一方、地形上に投影された画像のサンプル群としての元の画像のモデリングも可能になる。図2Aは、サンプリングされた地形の断面を示す。カメラ位置から、光線が画面の各画素に投げかけられる。光線に沿った矢印の長さは、テクセル(テクスチャ要素)としても表す画素サンプルの深度値を示す。2.5Dビデオ形式は、世界の完全な3Dモデルの部分集合を表す。他の視点からのレンダリングは、所望の視点から画像平面上に地形を投影することによって達成することが可能である。眼の視点から、かつカメラ・ポイントから同じ物体を観察する場合の視差に基づいて、左眼画像の画素及び右眼画像の画素を、画素をシフトさせることによって入力画像の画素から得ることが可能である。両方の眼を接続する線に平行な、座標系の水平軸を選ぶことによって、水平シフトのみが生じる。画素のシフトの量は、深度情報によって変わってくる。図2Bは、視点変換の後、投影入力画素の密度は出力領域において一様でない。よって、再サンプリング手順が必要である。放送ビデオ信号を処理するために設計された既存のビデオ処理ハードウェア/ソフトウェアは、高品質出力画像をもたらすことができる。そうしたハードウェア/ソフトウェアは、別々の表示形式(4:3や16:9など)に画像をスケーリングし、そうした変換のために信号の再サンプリング及び帯域制限を行うことができる。ビデオ処理は通常、画像の水平走査線毎に行う。
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明の目的は、視覚アーチファクトをもたらすことなく視点変換を行うことができるビデオ処理のシステム及び方法を提供することである。
【課題を解決するための手段】
【0007】
本発明の目的を満たすために、最初の段落において説明した画像処理システムを提供する。このシステムは、入力画像及び隠れた画像を受信する入力と、出力画像の出力画素を作成するよう動作するビデオ・プロセッサと、後のレンダリングのために出力画像を供給する出力とを備える。入力画像は、入力視点から見た場合の、3D物体の、プレフィルタリングされた2D表現であり、入力画素毎に関連入力画素値及び関連入力画素深度を備える。隠れた画像は、3D物体の別の2D表現であり、入力視点から少なくとも部分的に遮断された情報を備える。ビデオ・プロセッサは、出力視点に関連した変換入力画素に各入力画素を変換し、変換された入力画素に基づいて、遮断解除された領域を埋めるために、かつ、プレフィルタリングされた入力画像の変換によって生じるゴースト線アーチファクトを阻止するために、遮断解除された領域に隣接した少なくとも1つの画素位置について、隠れた画像画素を用いて出力画像を作成することによって出力画素を作成するよう動作する。
【0008】
入力画像は、例えば、ビデオ・カメラによって入力視点から得ることができ、隠れた画像は次いで、別のカメラによって、入力視点とは別の視点から得ることができる。入力画像及び隠れた画像は、例えば、特定のシーンの3Dモデルに基づいてコンピュータ生成することもできる。隠れた画像は、特定の視点から見た場合の、3Dシーンの、完全な2D表現であり得る。隠れた画像は、出力視点から遮断された情報のみを備える場合もあり、1つ又は少数の所定の変換についてのみ必要である。
【0009】
遮断解除は、入力画像内の深度不連続点で生じ得る。元のビデオを記録するカメラのプレフィルタリングによって、深度不連続点の付近における画素は、入力画像内のフォアグラウンド物体及びバックグラウンド物体からの色を有する。したがって、単に、隠れた層からの遮断解除画素によって穴を埋めることによって、目に見えるゴースト線アーチファクトが生じることになる。本発明による画像処理システムの利点は、遮断解除された隠れた画像画素付近のゴースト線アーチファクトが阻止されることである。この利点は、隠れた層の遮断解除部分に隣接した変換入力画素を置き換えるために、隠れた層のより大きな部分をレンダリングすることによって得られる。相当する変換入力画素ではなく、隠れた層のより大きな部分内の隠れた画像画素が、出力画素に挿入される。
【0010】
本発明の一実施例では、深度依存性変換は入力視点から所定の出力視点への変換であり、隠れた画像は出力視点と関連付けられる。所定の距離は例えば、深度感覚をもたらすための、左眼と右眼との間の距離であり得る。入力画像は左眼の視点の位置における第1のカメラによって得ることができ、隠れた画像は右眼の視点の位置における第2のカメラによって得ることができる。第2のカメラによって記録された情報全てを、隠れた画像に記憶しなければならない訳でない。左眼入力視点から右眼出力視点への変換によって遮断解除された領域における情報、及びその領域に隣接した情報のみが、隠れた画像に記憶されなければならない。入力画像の変換後、この情報を用いて、出力画像内の遮断解除領域を埋め、遮断解除領域付近のゴースト線アーチファクトを阻止する。
【0011】
別の実施例では、隠れた画像が入力視点と関連付けられ、隠れた画像画素は、隠れた画像画素値及び隠れた画像画素深度と関連付けられ、ビデオ・プロセッサは、隠れた画像画素深度の関数として、出力視点に関連した、変換された隠れた画像画素に、隠れた画像画素それぞれを変換し、遮断解除された領域を埋めるために、かつ、遮断解除された領域に隣接した少なくとも1つの画素位置について、変換された隠れた画像画素を用いて、出力画像を作成するよう動作する。この実施例は、種々の距離にわたって種々の変換を行う可能性を提供するのに特に有用である。入力画像は、第1のカメラによって第1の視点から得ることができ、第2のカメラによって第2の視点から得ることができる。好ましくは、第2のカメラによって記録された情報は次いで、第1の視点に変換される。その結果、入力画像及び隠れた画像はよって、同じ視点に関連付けられる。この視点から、何れの画像も、任意の出力視点への同じ変換を受けることができる。
【0012】
好ましい実施例では、画像処理システムは、行毎に入力画素を順次選択する画素選択手段を備える。画素選択手段は、遮断解除領域内の画素位置についてと、遮断解除領域の前の第1の数の画素位置についてと、遮断解除領域の後の第2の数の画素位置について、隠れた画像画素を選択するよう構成される。表示行上の他の画素位置については、変換された入力画素が選択される。第1の数の画素位置及び/又は第2の数の画素位置は、入力画像の記録中に用いられた水平プレフィルタの幅によって変わってくるものであり得るか、又は、入力画像の解析に基づいて判定し得る。
【0013】
入力視点から出力視点までの変位の逆方向に行毎に画素を順次処理することによって、オクルージョン(遮断)を検出することが容易になる。このことは、画素の最遠x座標、及びそれほど遠くに変換されたそのフットプリントを示すx座標範囲を維持することによって行うことができる。次のフットプリントの変換が上記範囲の増加をもたらす場合、変換される次のフットプリントは、少なくとも部分的に非遮断状態である。このようにして、出力画像から画素を除外するか否かを容易に決定することが可能である。好ましくは、x軸は水平であり、カメラの変位も同様である。望まれる場合、他の方向も可能である。ビデオ・プロセッサは、所定の閾値を超えて、変換入力画素がx座標範囲を増加させた場合に、隠れた画像画素が遮断解除状態であることを判定するよう動作する。好ましくは、変換後の入力画素のx座標が、出力画像内の最後の画素位置から、1.5を超える画素、離れている場合、穴は大きすぎるものであり、隠れた層からの少なくとも1つの画素によって埋められるものである。遮断解除領域の前の画素位置の場合に隠れた層からの画素を用いることが望ましいので、入力画像の変換入力画素が出力画像内に収まる前に遮断解除を検出する必要がある。バックトラッキングは通常可能でないが、それはカラー値がビデオ・フィルタ内に蓄積されるからである。遮断解除領域の早期検出のために、ビデオ処理は、ルックアヘッド範囲の維持を備え得る。
【発明を実施するための最良の形態】
【0014】
図1乃至図5を参照しながら本発明によるシステムを説明するために、深度依存性変換を説明する。この一般的な説明では、画素は点(無次元)とみなす。
【実施例】
【0015】
図1は、本発明による画像処理システムを効果的に用いることができる従来のシステムの構成図を示す。従来のシステムは、2D入力画像101を記憶するメモリ100(グラフィックス・メモリなど)を備える。入力画像101は、行及び列に分割された画素アレイを備える。画素毎に画素値が与えられる。画素値を表す種々のやり方(RGB(赤色、緑色、青色)符号化やYUV符号化など)が周知である。画素値は、完全に(例えば、画素毎に16ビット又は24ビットを用いて)記憶することができる。あるいは、カラールックアップテーブル(CLUT)手法を用いて、より少ないビット(例えば、8ビット)を用いて画素値を符号化することができる。画素値に加えて、画素毎に深度値がメモリ100内に入力深度102として記憶される。深度値は、例えば、画素毎に16ビットを用いて記憶することができる。必要な場合、別個のメモリを、入力深度102の記憶に用いることができる。入力画像101及び入力深度102は何れかの適切なやり方で生成することができる。例として、別々の位置に配置された2つのカメラ(好ましくは、それぞれが別々の眼を表す)を用いることができる。カメラによって得られる2つの2D画像から、画像に深度を加えた1つの情報を形成することが可能である。深度情報は次いで、従来の、1つの2D画像のみの供給に加えて、かつ、好ましくはそうした供給と互換に供給し、それによって、従来の2D表示システム又はステレオ視表示システムを用いてシーンを観察することを可能にすることができる。ゲーム・コンピュータ上又はパソコン上では、入力画像101及び入力深度102は通常、メモリに記憶された3Dモデルから情報を得る3Dレンダリング処理によって生成される。通常、メモリは、コンピュータの主メモリの一部である。通信手段(電気通信手段、オーディオ/ビデオ放送又はケーブル・ネットワークなど)を用いて入力画像101及び入力深度102を画像処理システムに供給することができる。
【0016】
プロセッサ106は、入力画像101及び入力深度102を用いて少なくとも1つの出力画像を生成する。図1に示す例では、左画像107及び右画像108が生成される。左画像107は、観察者の左眼に一致する観察点から観察された場合の3Dシーンの2D表現を表す。同様に、右画像108は、観察者の右眼に一致する観察点から観察された場合の3Dシーンの2D表現を表す。プロセッサ106は、グラフィックス・メモリなどのメモリ109内に出力画像を構築することができる。本発明によるシステムによって、画素行毎の処理が可能になり、それによってメモリ要件が削減される。メモリはよって、画像の一走査線のみを記憶するための線バッファを用いて構成することが可能である。そういうものとして、画像データはストリームとして処理することが可能である。垂直フィルタリングが施される場合、いくつかの行を記憶する必要がある。通常、D/A変換器110は、ステレオ視表示などの適切なディスプレイ111上に出力画像を表示する。放送受信器では、プロセッサ106は、この情報の供給に画素レベルで時間同期化された入力画像及び入力深度を処理することができる。同期化は、入力画像101及び入力深度102の個別の複製である入力画像104及び入力深度105を記憶するメモリ103を用いることによって弱くすることができる。プロセッサ106は次いで、入力画像101及び入力深度102の供給とは無関係に、入力画像104及び入力深度105を処理する。適切な時点で(例えば、完全な新たな画像が作成されると)、入力画像101及び入力深度102が入力画像104及び入力深度105それぞれに複製される。一メモリ・ブロックにメモリ100及びメモリ103が物理的に合成される場合には、データを物理的に複製することなく(例えば、ポインタ・レジスタの再割り当てを行うことによって)複製を行うことができる。なお、完全な画像複製を維持する代わりに、1つ又はいくつかの行のいくつかの画素を、施されるフィルタに応じて記憶することもできることが認識されよう。
【0017】
入力画像の出力画像への深度依存性変換は、3D物体のお互いに対する変位に関連する。本明細書及び特許請求の範囲記載の変換は、視差変換としても表される。変位は、例えば、シーンに対する観察者の位置の変動、シーンに対する観察者の向きの変動、複数の物体のお互いに対する、それらの相対速度による位置の変動、又はこうした変動の組み合わせの結果として生じる。
【0018】
図2Aは、カメラ視点201からみたものであり、画像平面204上に投影された地形203を示す。通常、画像平面は、(場合によっては、x方向及びy方向において異なる密度を備えた)一様な画素によって形成される。この例では、画像平面の画素毎に、地形の相当するテクセル(テクスチャ要素)が判定される(地形を通じた、カメラからの画素への光線の交点)。深度は、何れかの適切な形式で表すことができる(例えば、テクセルから画素までの長さ、テクセルからカメラまでの距離、テクセルから投影平面までの距離等)。深度は、何れかの適切な形式で符号化することもできる。例えば、線形スケール上での16ビット符号化を用いることができる(最小許容深度を備えた物体の深度が0000H(16進)として符号化され、最大許容深度を備えた物体の深度がFFFFHとして符号化される。当業者は、そのように望む場合、適切な他の表現を選択することができるであろう。図2Bは、同じ地形を視点202から視た場合に生じることを示す。明らかとなるように、オクルージョン(遮断)206(テクセルはもう目に見えない)、縮小205及び拡大207が生じ得る。元の物体が地形ではなかったが真の3D物体であった場合に同じことがあてはまる。
【0019】
図3Aは透視投影図を示す。x軸30、y軸31及びz軸32を備えた3D座標系を示す。2D画像は、行及び列に配置された離散画素アレイを備える。この前後関係における画素は、本発明による画像処理によって考慮される最小エンティティである。画像内の特定行の個別の画素それぞれは、一連の離散位置のうちの個別の1つのみを呈することが可能である。画像内の各画素行はx軸30に平行に延びているので、行内の個々の画素は、そのそれぞれのx座標に基づいて識別される。各画素列は、x軸30に対して垂直の方向を指し示すy軸31に平行に延びている。シーンの深度はz軸32に沿って測定される。z軸32はx軸30にもy軸31にも垂直である。個別のz値は、その特定の画素の風景の深度を表すために各特定の画素に割り当てられる。画素の視差シフトを説明するために、座標系の原点O=(0,0,0)及び向きが、点P=(x,y,z)によって表す3D物体が観察点O1=(D,0,0)から観察されるように選ばれる。平面z=zpが、焦平面33(観察者の眼によって焦点が当てられる平面)として選ばれる。通常、ディスプレイの平面は、焦平面と一致するよう選ばれる。観察点O1から観察される2D画像は、投影平面としても表す、焦平面上の3D物体の投影によって形成される。点PはP1=(xp,yp,zp)上に投影される。
【0020】
図3Bは、平面y=0上への図3Aの投影を示す。PがP'=(x,0,z)上に投影されている。P''=(D,0,z)は、平面x=D上へのP'の投影である。三角形O1、P'、P''から、zp/z=(xp−D)/(x−D)になり、xp=D+(x−D).zp/zが得られることになる。
【0021】
図3Cは、平面x=0上への図3Aの投影を示す。PがP'=(D,y,z)上に投影されている。P''=(D,0,z)は、平面y=0上へのP'の投影である。三角形O1、P'、P''から、zp/z=yp/yになり、yp=y.zp/zが得られる。
【0022】
これによって、P1=(D+(x−D).zp/z,y.zp/z,zp)が得られる。同様に、
P2=(−D+(x+D).zpz,y.zp/z,zp)が得られる。同様な公式は、「IEEE Computer graphics & Applications, Tutorial: Time-Multiplexed Stereoscopic Computer Graphics, March 1992」に記載されている。上記公式から、観察点を通る線に対して平行になるようにx軸を選ぶことによって、P1のy座標及びP2のy座標が同じであることになる。よって、O1から観察される画像から、O2から観察される画像を得る場合、垂直視差は何ら生じない。一般に、このようにしてx軸を選ぶことによって、視差の算出が単純化される。出力画像の画素は入力画像から得ることが可能である。O1から観察される画像に入力画像が相当し、02から観察される画像に出力画像が相当するものとする。更に、入力画素pi=(xi,yi)の場合、画素値、並びに、piが得られる3D点P(x,yi,zi)の深度ziが得られるものとする。相当する出力画素p0=(x0,y0)(y0=y1)は、同じ3D点P(x,yi,zi)に関係する。これによって、
xi=D+(x−D).zp/ziであり、
x0=-D+(x+D).zp/ziであることが得られる。
【0023】
このことは、xoをxiから以下のやり方で得ることが可能であることを示唆している。
【0024】
x0=xi−2.D+2.D.zp/zi=xi+2.D.(zp/zi−1)。よって、出力画像は、
D=2.D.(zp/z−1) (1)
の水平シフトd(x方向のみ)を行うことによって入力画像から得ることが可能である。
【0025】
この公式から、シフトが深度の逆数に比例することが分かり得る。上記公式では、2.Dは、観察点O1と観察点O2との間のズレに相当する。
【0026】
図4Aは、入力画像に相当する、観察点O3から観察されたシーンを示す。近傍物体40は別の物体41に部分的に重なっている。明瞭にするために、y座標は図示していない。上記重なりによって、入力画像は、観察された画像42によって示すように、近傍物体40の画素全て、及び別の物体41の一部の画素のみを備える。図4Bは、出力画像43に相当する、観察点O4から観察される同じシーンを示す。図4Bから明らかなように、重なりが増えている。図4Bの出力画像43が図4Aの入力画像42から得られる場合、このように増加された重なりは、フォアグラウンド物体40に相当する入力画素によって部分的又は全面的に遮断されたバックグラウンド物体41に相当する少なくとも1つの入力画素によって反映されることになる。重なりの領域では、出力画像内の画素値にはいくつかの候補が存在する。本発明によるシステムは、再構築フィルタを用いて、変換後、出力画素位置に寄与する入力画素を出力画素位置について(すなわち、出力画像のグリッドによって)判定する。
【0027】
図5は、入力画像の別々の画素が同じ画素位置にシフトされるのに対して、出力画像53内の位置を埋める入力画素が何ら存在していないことによって「穴」が出力画像53に生じている例を示す。図5Aは、入力画像52では、バックグラウンド物体51がフォアグラウンド物体50によって部分的に覆い隠されることを示す。図5Bでは、観察点O6から見ると、出力画像53から観察することが可能であるように物体50と物体51との間に重なりが何ら生じていない。
【0028】
図6を参照すれば、隠れた層からの画素が出力画像に備えられる場合のゴースト線アーチファクトの生起を説明する。画像処理システムは、入力で入力画像601及び隠れた画像602を受信する。入力画像601は入力視点と関連付けられ、例えば、暗いフォアグラウンド物体606及び明るいバックグラウンド物体607を示す。元のビデオを記録するカメラのプレフィルタリングによって、深度境界608の画素は、暗いフォアグラウンド物体及び明るいフォアグラウンド物体の両方の特定の色を備える。選ばれる実施例によって、隠れた画像602は、入力視点又は出力視点と関連付けられる。入力画像601の出力視点への変換によって、視点が変換された入力画像603において遮断解除領域612が生じ得る。この遮断解除領域612は、隠れた画像602からの画素によって埋められ、フィルタが施される。遮断解除領域612を埋めるために、隠れた画像画素を用いることができる前に、隠れた画像602を変換するものとするか否かは、隠れた画像602が関連付けられた視点によって変わってくる。プレフィルタリングによって、入力画像内の元の深度境界に変換がそれまで位置していた特定の画素はなお、フォアグラウンド物体及びバックグラウンド物体の特定の色を備えることになる。変換によって、出力画像605における新たな深度境界が生じる。その結果、出力画像605は、別々の2つの深度境界を備え、ゴースト線アーチファクト610が生起する。
【0029】
図7を参照すれば、本発明による画像処理システムによって行われる、ゴースト線アーチファクト610の阻止を説明する。このシステムでは、隠れた画像602からの画素によって埋められるのは、遮断解除領域609内の画素位置だけでない。遮断解除領域に隣接した1つ又は複数の画素も、隠れた画像602から得られる。その結果、拡大された遮断解除領域614が作成され、フォアグラウンド及びバックグラウンドからの色を備えた画素はもう、出力画像の一部でなくなる。フィルタリング処理が変換画素に施され、ゴースト・アーチファクトなしの出力画像613が生じる。
【0030】
図8は、x座標範囲80を用いた、オクルージョン(遮断)の検出を示す。オクルージョンは、例えば、以下のように検出される。ビデオ・プロセッサ106は、入力視点vo81から出力視点v182までの変位とは逆方向に走査線(すなわち、入力画素を備えた行)を順次処理するよう動作する。処理は、関連した入力画素深度の関数としての出力画素への入力画素の変換を備える。画素a83、b84及びc85の投影画素は、視点vo81に関連した入力画像の一部である。視点v182に関連した出力画像86への変換によって、画素a83が遮断される。画素b84及び画素c85は遮断されず、出力画像86上にマッピングされる。処理は、少なくとも1つの変換入力画素によって既に遮断された最遠のx座標を、既に処理された入力画素について、所定の開始位置に対して示すx座標範囲80を維持することを備え得る。更に、変換される画素は、上記範囲を延ばさない場合、先行して処理された画素によって遮断されているはずであることを結論付けることが可能である。この場合、画素a83から変換される画素は、上記範囲を延ばさないが、それは、画素b84から変換される画素によって遮断されるからである。よって、画素a83は出力画像86に備えられない。視点変換(v1<v0)の場合、論拠は同様である。その場合、x座標の増加に伴って、走査線を横断する。同様に、変換された画素が、所定の閾値(例えば、1.5画素)を超えて上記範囲を延ばす場合、隠れた画像の一部が遮断解除され、少なくとも、隠れた1つの画像画素が出力画素86に挿入される。
【0031】
隠れた層からの寄与を効率的に埋めることができるために、ベース画像層及び隠れた層の処理のインタリーブを行うことが好ましい。何れの走査の場合も、出力走査線における範囲を維持することができる。このようにして、ベース画像走査線にわたる単一の走査のみが、隠れた画像の走査線にわたる単一の走査とインタリーブされて行われる。ベース画像の座標フレームにおける隠れた層の画素を規定することによって、変換入力画像、及び変換された隠れた画像の容易な統合が可能になる。
【0032】
本発明による画像処理システムの一実施例によれば、ゴースト線アーチファクトは、図9に示すように検出される。図9は、図8に示す入力画像の変換(視点v2(v2>v1)に関連した出力画像への変換)を示す。画像処理システムのこの実施例では、遮断解除はルックアヘッド範囲91を用いて検出される。x座標範囲80は入力画素を維持する。変換後、この入力画素はフィルタに供給される。このフィルタは画面分解能で出力走査線をプレフィルタリングし、サンプリングする。x座標範囲の先のルックアヘッド範囲91は、考えられる遮断領域、縮小領域、拡大領域、及び/又は遮断解除領域を検出する。変換後、画素が、所定の閾値(好ましくは1.5画素)を超えてルックアヘッド範囲91を延ばす場合、遮断解除領域が検出される。例えば、図9に示す、視点v0から視点v2への視点変換後、遮断領域92が画素b84と画素c85との間に生じる。まず、遮断解除がルックアヘッド範囲91によって検出される。後に、x座標範囲80が遮断解除領域に達し、隠れた層94からの遮断解除画素d93が出力画像86に挿入される。ゴースト線アーチファクトを阻止するために、隠れた層94に対する優先度が、遮断解除された隠れた画像画素に隣接した画素位置に対して与えられる。好ましくは、遮断解除領域に、先行する、かつ/又は後続する1つ乃至4つの画素位置が、隠れた画像94からの画素によって埋められる。フィルタにおいては、画素のカラー値が蓄積され、それによって、既に処理された画素を置き換えることが極めて難しくなる。よって、遮断解除領域の検出は、置き換える対象の入力サンプルがフィルタに供給される前に行われなければならない。ルックアヘッド範囲91を用いることによって、遮断解除領域の早期検出が可能になる。
【0033】
図10は、本発明による画像処理システムの実施例1000の概略図を示す。上記システムは別々の4つの範囲を用いる。ベースx座標範囲1001及びベース・ルックアヘッド範囲1002はそれぞれ、入力画素の変換、及び変換入力画像1010内の遮断解除領域の検出に用いる。隠れたx座標の範囲1003及び隠れたルックアヘッド範囲1004は同時に同様のことを隠れた画像1012について行う。好ましくは、余分な隠れた層が取得可能であり、x座標範囲及びルックアヘッド範囲が、隠れた層毎に供給される。遮断解除領域を予め検出する以外に、隠れたルックアヘッド範囲を、遮断解除領域内の領域、又は遮断解除領域に隣接した領域に挿入するうえで、隠れた画像画素が利用可能かを判定するのに用いることができる。遮断解除領域を埋めるうえで、隠れた画像画素が何ら利用可能でない場合、上記領域は、線形補間などの既知の手法を用いて埋めることができる。ビデオ・プロセッサ106は、入力画像1010の入力画素1011毎に、変換後にベース・ルックアヘッド範囲1002を画素がどの程度延ばすかを検出するよう動作する。変換後、画素が、所定の閾値(例えば、1.5画素)を超えて、ルックアヘッド範囲を延ばす場合、遮断解除が検出される。入力画像1010及び隠れた画像1012からの変換画素が入力画素選択装置1005に供給される。入力画素選択装置1005は、ビデオ・プロセッサ内の、ソフトウェア構成部分として、又はハードウェア構成部分において実施することができる。入力画素選択装置1005は、ルックアヘッド範囲からの情報に基づいて、どの変換画素が出力画像の一部になるかを選択する。選択された画素は、適切なディスプレイ上に表示される前にビデオ・フィルタ・ブロック1006に供給される。本発明によれば、遮断解除領域がルックアヘッド範囲1002によって遮断解除領域付近で検出された場合、入力画素選択装置1005が画素をビデオ・フィルタ・ブロック1006に供給すると、隠れた画像1012の変換画素に与えられる。これによって、深度不連続点付近のゴースト・アーチファクトが阻止される。画素選択装置1005は、出力画像に挿入するために、隠れた画像画素が利用可能かを判定するよう動作することができる。否定の場合、変換入力画素の既知の手法(線形補間など)を用いて、遮断解除領域及び隣接画素位置を満たすことができる。
【0034】
図11は、本発明の画像処理システムを効果的に用いるシステムの構成図を示す。図11に示すシステムは、図1に示す従来のシステムの拡張バージョンである。入力画像101及び入力深度102に加えて、メモリ100は、隠れた画像1101を受信し、任意的には、隠れた画像画素深度値を受信する。入力画像101の複製104及び入力深度102の複製104を記憶するのにメモリ103を用いる場合、このメモリは、隠れた画像画素1101及び隠れた画像画素深度1102の複製1104及び1105を更に記憶する。プロセッサ1106は、出力画像の出力画素を作成するよう動作する。出力画素が、前述のように作成される。プロセッサ1106は、所定の出力視点に関連した出力画像に入力画像を変換するよう動作することができる。その場合、隠れた画像は、変換しなくてよい場合がある。本発明によるシステムの一実施例では、出力視点がエンド・ユーザによって選ばれ、入力画像画素も隠れた画像画素も、出力視点に関連した変換画素に変換される。
【0035】
なお、上記実施例は本発明を限定するよりも例証するものであり、特許請求の範囲記載の範囲から逸脱することなく別の多くの実施例を当業者が企図することができるであろう。特許請求の範囲では、括弧内にある参照符号は何れも、本特許請求の範囲を限定するものとして解釈されないものとする。「comprise」の動詞及びその活用形を用いていることは、特許請求の範囲記載のもの以外の構成要素又は工程が存在することを排除するものでない。構成要素に冠詞「a」又は「an」が先行していることは、前述の構成要素が複数存在することを排除するものでない。本発明は、別個のいくつかの構成要素を備えるハードウェアによって、かつ、適切にプログラムされるコンピュータによって実施することができる。いくつかの手段を列挙した装置クレームでは、これらの手段のいくつかを、同一のハードウェア・アイテムによって実施することができる。単に特定の方策が互いに別々の従属請求項に列挙されていることは、こうした方策の組み合わせを利用することができないことを示すものでない。
【図面の簡単な説明】
【0036】
【図1】画像処理システムを組み入れた従来のシステムの構成図である。
【図2A】別々の視点から視た地形を示す図である。
【図2B】別々の視点から視た地形を示す図である。
【図3A】透視投影図である。
【図3B】透視投影図である。
【図3C】透視投影図である。
【図4A】別々の視点から視た場合の物体の重なりの増加を示す図である。
【図4B】別々の視点から視た場合の物体の重なりの増加を示す図である。
【図5A】物体を別々の視点から視た場合の遮断解除領域の出現を示す図である。
【図5B】物体を別々の視点から視た場合の遮断解除領域の出現を示す図である。
【図6】ゴースト・アーチファクトの生起の概略図である。
【図7】ゴースト・アーチファクトの阻止の概略図である。
【図8】x座標範囲を用いた、遮断の検出を示す図である。
【図9】ルックアヘッド範囲を用いた、遮断解除の検出を示す図である。
【図10】本発明によるビデオ処理システムの一部を示す構成図である。
【図11】本発明の画像処理システムを効果的に用いるシステムを示す構成図である。
【技術分野】
【0001】
本発明は、出力視点に関連した少なくとも1つの出力画像を入力視点に関連した入力画像から深度依存性変換によって生成する画像処理システムに関し、画像は、入力画素アレイ及び出力画素アレイのそれぞれとして表す。
【0002】
本発明は更に、方法及びコンピュータ・プログラムに関する。
【背景技術】
【0003】
2Dディスプレイ上に画像を表示する際に深度の感覚を備えることの関心は、特にバーチャル・リアリティ・アプリケーション及びコンピュータ・ゲームにおいて急速に伸びている。深度キュー(物体の輝度レベル又は寸法に影響を及ぼすなど)を提供する種々の形態が知られている。特に、立体視又は立体視力は、深度の感覚を提供するための手法としてかなり注目されている。立体視は、少し離れた2つの位置から観察される、同じシーンの2Dの2つの画像を個人に表示することによって呼び起こされる。これらの画像のうちの一方は左眼に表示され、他方は右眼に表示される。2つの画像は、視差が関連している。「視差」という語は、物体と一直線上にない別々の2点から見た場合の、物体の見かけ上の変位、又は物体の見かけ上の方向における差を表す。視差によって、風景における物体の深度を個人が認識することが可能になる。
【0004】
実体像を表示するための多くの表示手法が知られている。時間並列手法を用いれば、何れの出力画像も1つ又は2つのディスプレイに同時に表示される。例えば、何れの画像も、補色によってフィルタリングし、1つのディスプレイ上に重ね合わせることができる。観察者は、投影フィルタに一致するフィルタを備えたメガネをかける。あるいは、何れの画像も、一ディスプレイ上に並行して表示し、各画像を正しい眼に指し向けるビューアーを用いて視ることができる。別の例として、2つのディスプレイを用いて、相応に偏光されたメガネを通して視る、違ったふうに偏光された2つのピクチャを表示することができる。あるいは、何れの画像も、各眼に別個のディスプレイを備えたヘッドマウント装置を用いて表示することができる。更に、時間多重化手法を用いることができる。この手法では、左画像及び右画像が一ディスプレイ上に交互に表示される。例として、一方の画像がモニタの偶数走査線に書き込まれ、他方の画像が奇数走査線に書き込まれる。シャッタ・システムを用いて、右眼画像が表示される際に左眼が遮断され、左眼画像が表示される際に右眼が遮断される。シャッタ・システムは、観察者がかけるメガネ内に搭載することができる。あるいは、制御可能な偏光子を備えたシャッタをディスプレイの前に配置し、観察者は、偏光メガネを備えたヘッドマウント装置を身につける。
【0005】
別々の視点からの2D画像をレンダリングするのに適した、考えられるビデオ形式は、深度情報によって拡充された2Dビデオ形式である。通常、2D入力画像は、画素アレイの形式で表される。それは例えば、カメラ又はコンピュータ・グラフィクスを用いて得られている場合がある。入力画像の画素毎に更なる深度情報を入手可能であり、又は、同様に、シーン内の点毎に、カメラまでの、点からの距離(、又は別の基準点、基準線、若しくは基準平面(投影画面など)までの、点からの距離)が与えられる。そうした形式は通常、2.5Dビデオ形式として表す。深度情報によって、平坦な画像のサンプル群としての元の画像のモデリングが可能になる一方、地形上に投影された画像のサンプル群としての元の画像のモデリングも可能になる。図2Aは、サンプリングされた地形の断面を示す。カメラ位置から、光線が画面の各画素に投げかけられる。光線に沿った矢印の長さは、テクセル(テクスチャ要素)としても表す画素サンプルの深度値を示す。2.5Dビデオ形式は、世界の完全な3Dモデルの部分集合を表す。他の視点からのレンダリングは、所望の視点から画像平面上に地形を投影することによって達成することが可能である。眼の視点から、かつカメラ・ポイントから同じ物体を観察する場合の視差に基づいて、左眼画像の画素及び右眼画像の画素を、画素をシフトさせることによって入力画像の画素から得ることが可能である。両方の眼を接続する線に平行な、座標系の水平軸を選ぶことによって、水平シフトのみが生じる。画素のシフトの量は、深度情報によって変わってくる。図2Bは、視点変換の後、投影入力画素の密度は出力領域において一様でない。よって、再サンプリング手順が必要である。放送ビデオ信号を処理するために設計された既存のビデオ処理ハードウェア/ソフトウェアは、高品質出力画像をもたらすことができる。そうしたハードウェア/ソフトウェアは、別々の表示形式(4:3や16:9など)に画像をスケーリングし、そうした変換のために信号の再サンプリング及び帯域制限を行うことができる。ビデオ処理は通常、画像の水平走査線毎に行う。
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明の目的は、視覚アーチファクトをもたらすことなく視点変換を行うことができるビデオ処理のシステム及び方法を提供することである。
【課題を解決するための手段】
【0007】
本発明の目的を満たすために、最初の段落において説明した画像処理システムを提供する。このシステムは、入力画像及び隠れた画像を受信する入力と、出力画像の出力画素を作成するよう動作するビデオ・プロセッサと、後のレンダリングのために出力画像を供給する出力とを備える。入力画像は、入力視点から見た場合の、3D物体の、プレフィルタリングされた2D表現であり、入力画素毎に関連入力画素値及び関連入力画素深度を備える。隠れた画像は、3D物体の別の2D表現であり、入力視点から少なくとも部分的に遮断された情報を備える。ビデオ・プロセッサは、出力視点に関連した変換入力画素に各入力画素を変換し、変換された入力画素に基づいて、遮断解除された領域を埋めるために、かつ、プレフィルタリングされた入力画像の変換によって生じるゴースト線アーチファクトを阻止するために、遮断解除された領域に隣接した少なくとも1つの画素位置について、隠れた画像画素を用いて出力画像を作成することによって出力画素を作成するよう動作する。
【0008】
入力画像は、例えば、ビデオ・カメラによって入力視点から得ることができ、隠れた画像は次いで、別のカメラによって、入力視点とは別の視点から得ることができる。入力画像及び隠れた画像は、例えば、特定のシーンの3Dモデルに基づいてコンピュータ生成することもできる。隠れた画像は、特定の視点から見た場合の、3Dシーンの、完全な2D表現であり得る。隠れた画像は、出力視点から遮断された情報のみを備える場合もあり、1つ又は少数の所定の変換についてのみ必要である。
【0009】
遮断解除は、入力画像内の深度不連続点で生じ得る。元のビデオを記録するカメラのプレフィルタリングによって、深度不連続点の付近における画素は、入力画像内のフォアグラウンド物体及びバックグラウンド物体からの色を有する。したがって、単に、隠れた層からの遮断解除画素によって穴を埋めることによって、目に見えるゴースト線アーチファクトが生じることになる。本発明による画像処理システムの利点は、遮断解除された隠れた画像画素付近のゴースト線アーチファクトが阻止されることである。この利点は、隠れた層の遮断解除部分に隣接した変換入力画素を置き換えるために、隠れた層のより大きな部分をレンダリングすることによって得られる。相当する変換入力画素ではなく、隠れた層のより大きな部分内の隠れた画像画素が、出力画素に挿入される。
【0010】
本発明の一実施例では、深度依存性変換は入力視点から所定の出力視点への変換であり、隠れた画像は出力視点と関連付けられる。所定の距離は例えば、深度感覚をもたらすための、左眼と右眼との間の距離であり得る。入力画像は左眼の視点の位置における第1のカメラによって得ることができ、隠れた画像は右眼の視点の位置における第2のカメラによって得ることができる。第2のカメラによって記録された情報全てを、隠れた画像に記憶しなければならない訳でない。左眼入力視点から右眼出力視点への変換によって遮断解除された領域における情報、及びその領域に隣接した情報のみが、隠れた画像に記憶されなければならない。入力画像の変換後、この情報を用いて、出力画像内の遮断解除領域を埋め、遮断解除領域付近のゴースト線アーチファクトを阻止する。
【0011】
別の実施例では、隠れた画像が入力視点と関連付けられ、隠れた画像画素は、隠れた画像画素値及び隠れた画像画素深度と関連付けられ、ビデオ・プロセッサは、隠れた画像画素深度の関数として、出力視点に関連した、変換された隠れた画像画素に、隠れた画像画素それぞれを変換し、遮断解除された領域を埋めるために、かつ、遮断解除された領域に隣接した少なくとも1つの画素位置について、変換された隠れた画像画素を用いて、出力画像を作成するよう動作する。この実施例は、種々の距離にわたって種々の変換を行う可能性を提供するのに特に有用である。入力画像は、第1のカメラによって第1の視点から得ることができ、第2のカメラによって第2の視点から得ることができる。好ましくは、第2のカメラによって記録された情報は次いで、第1の視点に変換される。その結果、入力画像及び隠れた画像はよって、同じ視点に関連付けられる。この視点から、何れの画像も、任意の出力視点への同じ変換を受けることができる。
【0012】
好ましい実施例では、画像処理システムは、行毎に入力画素を順次選択する画素選択手段を備える。画素選択手段は、遮断解除領域内の画素位置についてと、遮断解除領域の前の第1の数の画素位置についてと、遮断解除領域の後の第2の数の画素位置について、隠れた画像画素を選択するよう構成される。表示行上の他の画素位置については、変換された入力画素が選択される。第1の数の画素位置及び/又は第2の数の画素位置は、入力画像の記録中に用いられた水平プレフィルタの幅によって変わってくるものであり得るか、又は、入力画像の解析に基づいて判定し得る。
【0013】
入力視点から出力視点までの変位の逆方向に行毎に画素を順次処理することによって、オクルージョン(遮断)を検出することが容易になる。このことは、画素の最遠x座標、及びそれほど遠くに変換されたそのフットプリントを示すx座標範囲を維持することによって行うことができる。次のフットプリントの変換が上記範囲の増加をもたらす場合、変換される次のフットプリントは、少なくとも部分的に非遮断状態である。このようにして、出力画像から画素を除外するか否かを容易に決定することが可能である。好ましくは、x軸は水平であり、カメラの変位も同様である。望まれる場合、他の方向も可能である。ビデオ・プロセッサは、所定の閾値を超えて、変換入力画素がx座標範囲を増加させた場合に、隠れた画像画素が遮断解除状態であることを判定するよう動作する。好ましくは、変換後の入力画素のx座標が、出力画像内の最後の画素位置から、1.5を超える画素、離れている場合、穴は大きすぎるものであり、隠れた層からの少なくとも1つの画素によって埋められるものである。遮断解除領域の前の画素位置の場合に隠れた層からの画素を用いることが望ましいので、入力画像の変換入力画素が出力画像内に収まる前に遮断解除を検出する必要がある。バックトラッキングは通常可能でないが、それはカラー値がビデオ・フィルタ内に蓄積されるからである。遮断解除領域の早期検出のために、ビデオ処理は、ルックアヘッド範囲の維持を備え得る。
【発明を実施するための最良の形態】
【0014】
図1乃至図5を参照しながら本発明によるシステムを説明するために、深度依存性変換を説明する。この一般的な説明では、画素は点(無次元)とみなす。
【実施例】
【0015】
図1は、本発明による画像処理システムを効果的に用いることができる従来のシステムの構成図を示す。従来のシステムは、2D入力画像101を記憶するメモリ100(グラフィックス・メモリなど)を備える。入力画像101は、行及び列に分割された画素アレイを備える。画素毎に画素値が与えられる。画素値を表す種々のやり方(RGB(赤色、緑色、青色)符号化やYUV符号化など)が周知である。画素値は、完全に(例えば、画素毎に16ビット又は24ビットを用いて)記憶することができる。あるいは、カラールックアップテーブル(CLUT)手法を用いて、より少ないビット(例えば、8ビット)を用いて画素値を符号化することができる。画素値に加えて、画素毎に深度値がメモリ100内に入力深度102として記憶される。深度値は、例えば、画素毎に16ビットを用いて記憶することができる。必要な場合、別個のメモリを、入力深度102の記憶に用いることができる。入力画像101及び入力深度102は何れかの適切なやり方で生成することができる。例として、別々の位置に配置された2つのカメラ(好ましくは、それぞれが別々の眼を表す)を用いることができる。カメラによって得られる2つの2D画像から、画像に深度を加えた1つの情報を形成することが可能である。深度情報は次いで、従来の、1つの2D画像のみの供給に加えて、かつ、好ましくはそうした供給と互換に供給し、それによって、従来の2D表示システム又はステレオ視表示システムを用いてシーンを観察することを可能にすることができる。ゲーム・コンピュータ上又はパソコン上では、入力画像101及び入力深度102は通常、メモリに記憶された3Dモデルから情報を得る3Dレンダリング処理によって生成される。通常、メモリは、コンピュータの主メモリの一部である。通信手段(電気通信手段、オーディオ/ビデオ放送又はケーブル・ネットワークなど)を用いて入力画像101及び入力深度102を画像処理システムに供給することができる。
【0016】
プロセッサ106は、入力画像101及び入力深度102を用いて少なくとも1つの出力画像を生成する。図1に示す例では、左画像107及び右画像108が生成される。左画像107は、観察者の左眼に一致する観察点から観察された場合の3Dシーンの2D表現を表す。同様に、右画像108は、観察者の右眼に一致する観察点から観察された場合の3Dシーンの2D表現を表す。プロセッサ106は、グラフィックス・メモリなどのメモリ109内に出力画像を構築することができる。本発明によるシステムによって、画素行毎の処理が可能になり、それによってメモリ要件が削減される。メモリはよって、画像の一走査線のみを記憶するための線バッファを用いて構成することが可能である。そういうものとして、画像データはストリームとして処理することが可能である。垂直フィルタリングが施される場合、いくつかの行を記憶する必要がある。通常、D/A変換器110は、ステレオ視表示などの適切なディスプレイ111上に出力画像を表示する。放送受信器では、プロセッサ106は、この情報の供給に画素レベルで時間同期化された入力画像及び入力深度を処理することができる。同期化は、入力画像101及び入力深度102の個別の複製である入力画像104及び入力深度105を記憶するメモリ103を用いることによって弱くすることができる。プロセッサ106は次いで、入力画像101及び入力深度102の供給とは無関係に、入力画像104及び入力深度105を処理する。適切な時点で(例えば、完全な新たな画像が作成されると)、入力画像101及び入力深度102が入力画像104及び入力深度105それぞれに複製される。一メモリ・ブロックにメモリ100及びメモリ103が物理的に合成される場合には、データを物理的に複製することなく(例えば、ポインタ・レジスタの再割り当てを行うことによって)複製を行うことができる。なお、完全な画像複製を維持する代わりに、1つ又はいくつかの行のいくつかの画素を、施されるフィルタに応じて記憶することもできることが認識されよう。
【0017】
入力画像の出力画像への深度依存性変換は、3D物体のお互いに対する変位に関連する。本明細書及び特許請求の範囲記載の変換は、視差変換としても表される。変位は、例えば、シーンに対する観察者の位置の変動、シーンに対する観察者の向きの変動、複数の物体のお互いに対する、それらの相対速度による位置の変動、又はこうした変動の組み合わせの結果として生じる。
【0018】
図2Aは、カメラ視点201からみたものであり、画像平面204上に投影された地形203を示す。通常、画像平面は、(場合によっては、x方向及びy方向において異なる密度を備えた)一様な画素によって形成される。この例では、画像平面の画素毎に、地形の相当するテクセル(テクスチャ要素)が判定される(地形を通じた、カメラからの画素への光線の交点)。深度は、何れかの適切な形式で表すことができる(例えば、テクセルから画素までの長さ、テクセルからカメラまでの距離、テクセルから投影平面までの距離等)。深度は、何れかの適切な形式で符号化することもできる。例えば、線形スケール上での16ビット符号化を用いることができる(最小許容深度を備えた物体の深度が0000H(16進)として符号化され、最大許容深度を備えた物体の深度がFFFFHとして符号化される。当業者は、そのように望む場合、適切な他の表現を選択することができるであろう。図2Bは、同じ地形を視点202から視た場合に生じることを示す。明らかとなるように、オクルージョン(遮断)206(テクセルはもう目に見えない)、縮小205及び拡大207が生じ得る。元の物体が地形ではなかったが真の3D物体であった場合に同じことがあてはまる。
【0019】
図3Aは透視投影図を示す。x軸30、y軸31及びz軸32を備えた3D座標系を示す。2D画像は、行及び列に配置された離散画素アレイを備える。この前後関係における画素は、本発明による画像処理によって考慮される最小エンティティである。画像内の特定行の個別の画素それぞれは、一連の離散位置のうちの個別の1つのみを呈することが可能である。画像内の各画素行はx軸30に平行に延びているので、行内の個々の画素は、そのそれぞれのx座標に基づいて識別される。各画素列は、x軸30に対して垂直の方向を指し示すy軸31に平行に延びている。シーンの深度はz軸32に沿って測定される。z軸32はx軸30にもy軸31にも垂直である。個別のz値は、その特定の画素の風景の深度を表すために各特定の画素に割り当てられる。画素の視差シフトを説明するために、座標系の原点O=(0,0,0)及び向きが、点P=(x,y,z)によって表す3D物体が観察点O1=(D,0,0)から観察されるように選ばれる。平面z=zpが、焦平面33(観察者の眼によって焦点が当てられる平面)として選ばれる。通常、ディスプレイの平面は、焦平面と一致するよう選ばれる。観察点O1から観察される2D画像は、投影平面としても表す、焦平面上の3D物体の投影によって形成される。点PはP1=(xp,yp,zp)上に投影される。
【0020】
図3Bは、平面y=0上への図3Aの投影を示す。PがP'=(x,0,z)上に投影されている。P''=(D,0,z)は、平面x=D上へのP'の投影である。三角形O1、P'、P''から、zp/z=(xp−D)/(x−D)になり、xp=D+(x−D).zp/zが得られることになる。
【0021】
図3Cは、平面x=0上への図3Aの投影を示す。PがP'=(D,y,z)上に投影されている。P''=(D,0,z)は、平面y=0上へのP'の投影である。三角形O1、P'、P''から、zp/z=yp/yになり、yp=y.zp/zが得られる。
【0022】
これによって、P1=(D+(x−D).zp/z,y.zp/z,zp)が得られる。同様に、
P2=(−D+(x+D).zpz,y.zp/z,zp)が得られる。同様な公式は、「IEEE Computer graphics & Applications, Tutorial: Time-Multiplexed Stereoscopic Computer Graphics, March 1992」に記載されている。上記公式から、観察点を通る線に対して平行になるようにx軸を選ぶことによって、P1のy座標及びP2のy座標が同じであることになる。よって、O1から観察される画像から、O2から観察される画像を得る場合、垂直視差は何ら生じない。一般に、このようにしてx軸を選ぶことによって、視差の算出が単純化される。出力画像の画素は入力画像から得ることが可能である。O1から観察される画像に入力画像が相当し、02から観察される画像に出力画像が相当するものとする。更に、入力画素pi=(xi,yi)の場合、画素値、並びに、piが得られる3D点P(x,yi,zi)の深度ziが得られるものとする。相当する出力画素p0=(x0,y0)(y0=y1)は、同じ3D点P(x,yi,zi)に関係する。これによって、
xi=D+(x−D).zp/ziであり、
x0=-D+(x+D).zp/ziであることが得られる。
【0023】
このことは、xoをxiから以下のやり方で得ることが可能であることを示唆している。
【0024】
x0=xi−2.D+2.D.zp/zi=xi+2.D.(zp/zi−1)。よって、出力画像は、
D=2.D.(zp/z−1) (1)
の水平シフトd(x方向のみ)を行うことによって入力画像から得ることが可能である。
【0025】
この公式から、シフトが深度の逆数に比例することが分かり得る。上記公式では、2.Dは、観察点O1と観察点O2との間のズレに相当する。
【0026】
図4Aは、入力画像に相当する、観察点O3から観察されたシーンを示す。近傍物体40は別の物体41に部分的に重なっている。明瞭にするために、y座標は図示していない。上記重なりによって、入力画像は、観察された画像42によって示すように、近傍物体40の画素全て、及び別の物体41の一部の画素のみを備える。図4Bは、出力画像43に相当する、観察点O4から観察される同じシーンを示す。図4Bから明らかなように、重なりが増えている。図4Bの出力画像43が図4Aの入力画像42から得られる場合、このように増加された重なりは、フォアグラウンド物体40に相当する入力画素によって部分的又は全面的に遮断されたバックグラウンド物体41に相当する少なくとも1つの入力画素によって反映されることになる。重なりの領域では、出力画像内の画素値にはいくつかの候補が存在する。本発明によるシステムは、再構築フィルタを用いて、変換後、出力画素位置に寄与する入力画素を出力画素位置について(すなわち、出力画像のグリッドによって)判定する。
【0027】
図5は、入力画像の別々の画素が同じ画素位置にシフトされるのに対して、出力画像53内の位置を埋める入力画素が何ら存在していないことによって「穴」が出力画像53に生じている例を示す。図5Aは、入力画像52では、バックグラウンド物体51がフォアグラウンド物体50によって部分的に覆い隠されることを示す。図5Bでは、観察点O6から見ると、出力画像53から観察することが可能であるように物体50と物体51との間に重なりが何ら生じていない。
【0028】
図6を参照すれば、隠れた層からの画素が出力画像に備えられる場合のゴースト線アーチファクトの生起を説明する。画像処理システムは、入力で入力画像601及び隠れた画像602を受信する。入力画像601は入力視点と関連付けられ、例えば、暗いフォアグラウンド物体606及び明るいバックグラウンド物体607を示す。元のビデオを記録するカメラのプレフィルタリングによって、深度境界608の画素は、暗いフォアグラウンド物体及び明るいフォアグラウンド物体の両方の特定の色を備える。選ばれる実施例によって、隠れた画像602は、入力視点又は出力視点と関連付けられる。入力画像601の出力視点への変換によって、視点が変換された入力画像603において遮断解除領域612が生じ得る。この遮断解除領域612は、隠れた画像602からの画素によって埋められ、フィルタが施される。遮断解除領域612を埋めるために、隠れた画像画素を用いることができる前に、隠れた画像602を変換するものとするか否かは、隠れた画像602が関連付けられた視点によって変わってくる。プレフィルタリングによって、入力画像内の元の深度境界に変換がそれまで位置していた特定の画素はなお、フォアグラウンド物体及びバックグラウンド物体の特定の色を備えることになる。変換によって、出力画像605における新たな深度境界が生じる。その結果、出力画像605は、別々の2つの深度境界を備え、ゴースト線アーチファクト610が生起する。
【0029】
図7を参照すれば、本発明による画像処理システムによって行われる、ゴースト線アーチファクト610の阻止を説明する。このシステムでは、隠れた画像602からの画素によって埋められるのは、遮断解除領域609内の画素位置だけでない。遮断解除領域に隣接した1つ又は複数の画素も、隠れた画像602から得られる。その結果、拡大された遮断解除領域614が作成され、フォアグラウンド及びバックグラウンドからの色を備えた画素はもう、出力画像の一部でなくなる。フィルタリング処理が変換画素に施され、ゴースト・アーチファクトなしの出力画像613が生じる。
【0030】
図8は、x座標範囲80を用いた、オクルージョン(遮断)の検出を示す。オクルージョンは、例えば、以下のように検出される。ビデオ・プロセッサ106は、入力視点vo81から出力視点v182までの変位とは逆方向に走査線(すなわち、入力画素を備えた行)を順次処理するよう動作する。処理は、関連した入力画素深度の関数としての出力画素への入力画素の変換を備える。画素a83、b84及びc85の投影画素は、視点vo81に関連した入力画像の一部である。視点v182に関連した出力画像86への変換によって、画素a83が遮断される。画素b84及び画素c85は遮断されず、出力画像86上にマッピングされる。処理は、少なくとも1つの変換入力画素によって既に遮断された最遠のx座標を、既に処理された入力画素について、所定の開始位置に対して示すx座標範囲80を維持することを備え得る。更に、変換される画素は、上記範囲を延ばさない場合、先行して処理された画素によって遮断されているはずであることを結論付けることが可能である。この場合、画素a83から変換される画素は、上記範囲を延ばさないが、それは、画素b84から変換される画素によって遮断されるからである。よって、画素a83は出力画像86に備えられない。視点変換(v1<v0)の場合、論拠は同様である。その場合、x座標の増加に伴って、走査線を横断する。同様に、変換された画素が、所定の閾値(例えば、1.5画素)を超えて上記範囲を延ばす場合、隠れた画像の一部が遮断解除され、少なくとも、隠れた1つの画像画素が出力画素86に挿入される。
【0031】
隠れた層からの寄与を効率的に埋めることができるために、ベース画像層及び隠れた層の処理のインタリーブを行うことが好ましい。何れの走査の場合も、出力走査線における範囲を維持することができる。このようにして、ベース画像走査線にわたる単一の走査のみが、隠れた画像の走査線にわたる単一の走査とインタリーブされて行われる。ベース画像の座標フレームにおける隠れた層の画素を規定することによって、変換入力画像、及び変換された隠れた画像の容易な統合が可能になる。
【0032】
本発明による画像処理システムの一実施例によれば、ゴースト線アーチファクトは、図9に示すように検出される。図9は、図8に示す入力画像の変換(視点v2(v2>v1)に関連した出力画像への変換)を示す。画像処理システムのこの実施例では、遮断解除はルックアヘッド範囲91を用いて検出される。x座標範囲80は入力画素を維持する。変換後、この入力画素はフィルタに供給される。このフィルタは画面分解能で出力走査線をプレフィルタリングし、サンプリングする。x座標範囲の先のルックアヘッド範囲91は、考えられる遮断領域、縮小領域、拡大領域、及び/又は遮断解除領域を検出する。変換後、画素が、所定の閾値(好ましくは1.5画素)を超えてルックアヘッド範囲91を延ばす場合、遮断解除領域が検出される。例えば、図9に示す、視点v0から視点v2への視点変換後、遮断領域92が画素b84と画素c85との間に生じる。まず、遮断解除がルックアヘッド範囲91によって検出される。後に、x座標範囲80が遮断解除領域に達し、隠れた層94からの遮断解除画素d93が出力画像86に挿入される。ゴースト線アーチファクトを阻止するために、隠れた層94に対する優先度が、遮断解除された隠れた画像画素に隣接した画素位置に対して与えられる。好ましくは、遮断解除領域に、先行する、かつ/又は後続する1つ乃至4つの画素位置が、隠れた画像94からの画素によって埋められる。フィルタにおいては、画素のカラー値が蓄積され、それによって、既に処理された画素を置き換えることが極めて難しくなる。よって、遮断解除領域の検出は、置き換える対象の入力サンプルがフィルタに供給される前に行われなければならない。ルックアヘッド範囲91を用いることによって、遮断解除領域の早期検出が可能になる。
【0033】
図10は、本発明による画像処理システムの実施例1000の概略図を示す。上記システムは別々の4つの範囲を用いる。ベースx座標範囲1001及びベース・ルックアヘッド範囲1002はそれぞれ、入力画素の変換、及び変換入力画像1010内の遮断解除領域の検出に用いる。隠れたx座標の範囲1003及び隠れたルックアヘッド範囲1004は同時に同様のことを隠れた画像1012について行う。好ましくは、余分な隠れた層が取得可能であり、x座標範囲及びルックアヘッド範囲が、隠れた層毎に供給される。遮断解除領域を予め検出する以外に、隠れたルックアヘッド範囲を、遮断解除領域内の領域、又は遮断解除領域に隣接した領域に挿入するうえで、隠れた画像画素が利用可能かを判定するのに用いることができる。遮断解除領域を埋めるうえで、隠れた画像画素が何ら利用可能でない場合、上記領域は、線形補間などの既知の手法を用いて埋めることができる。ビデオ・プロセッサ106は、入力画像1010の入力画素1011毎に、変換後にベース・ルックアヘッド範囲1002を画素がどの程度延ばすかを検出するよう動作する。変換後、画素が、所定の閾値(例えば、1.5画素)を超えて、ルックアヘッド範囲を延ばす場合、遮断解除が検出される。入力画像1010及び隠れた画像1012からの変換画素が入力画素選択装置1005に供給される。入力画素選択装置1005は、ビデオ・プロセッサ内の、ソフトウェア構成部分として、又はハードウェア構成部分において実施することができる。入力画素選択装置1005は、ルックアヘッド範囲からの情報に基づいて、どの変換画素が出力画像の一部になるかを選択する。選択された画素は、適切なディスプレイ上に表示される前にビデオ・フィルタ・ブロック1006に供給される。本発明によれば、遮断解除領域がルックアヘッド範囲1002によって遮断解除領域付近で検出された場合、入力画素選択装置1005が画素をビデオ・フィルタ・ブロック1006に供給すると、隠れた画像1012の変換画素に与えられる。これによって、深度不連続点付近のゴースト・アーチファクトが阻止される。画素選択装置1005は、出力画像に挿入するために、隠れた画像画素が利用可能かを判定するよう動作することができる。否定の場合、変換入力画素の既知の手法(線形補間など)を用いて、遮断解除領域及び隣接画素位置を満たすことができる。
【0034】
図11は、本発明の画像処理システムを効果的に用いるシステムの構成図を示す。図11に示すシステムは、図1に示す従来のシステムの拡張バージョンである。入力画像101及び入力深度102に加えて、メモリ100は、隠れた画像1101を受信し、任意的には、隠れた画像画素深度値を受信する。入力画像101の複製104及び入力深度102の複製104を記憶するのにメモリ103を用いる場合、このメモリは、隠れた画像画素1101及び隠れた画像画素深度1102の複製1104及び1105を更に記憶する。プロセッサ1106は、出力画像の出力画素を作成するよう動作する。出力画素が、前述のように作成される。プロセッサ1106は、所定の出力視点に関連した出力画像に入力画像を変換するよう動作することができる。その場合、隠れた画像は、変換しなくてよい場合がある。本発明によるシステムの一実施例では、出力視点がエンド・ユーザによって選ばれ、入力画像画素も隠れた画像画素も、出力視点に関連した変換画素に変換される。
【0035】
なお、上記実施例は本発明を限定するよりも例証するものであり、特許請求の範囲記載の範囲から逸脱することなく別の多くの実施例を当業者が企図することができるであろう。特許請求の範囲では、括弧内にある参照符号は何れも、本特許請求の範囲を限定するものとして解釈されないものとする。「comprise」の動詞及びその活用形を用いていることは、特許請求の範囲記載のもの以外の構成要素又は工程が存在することを排除するものでない。構成要素に冠詞「a」又は「an」が先行していることは、前述の構成要素が複数存在することを排除するものでない。本発明は、別個のいくつかの構成要素を備えるハードウェアによって、かつ、適切にプログラムされるコンピュータによって実施することができる。いくつかの手段を列挙した装置クレームでは、これらの手段のいくつかを、同一のハードウェア・アイテムによって実施することができる。単に特定の方策が互いに別々の従属請求項に列挙されていることは、こうした方策の組み合わせを利用することができないことを示すものでない。
【図面の簡単な説明】
【0036】
【図1】画像処理システムを組み入れた従来のシステムの構成図である。
【図2A】別々の視点から視た地形を示す図である。
【図2B】別々の視点から視た地形を示す図である。
【図3A】透視投影図である。
【図3B】透視投影図である。
【図3C】透視投影図である。
【図4A】別々の視点から視た場合の物体の重なりの増加を示す図である。
【図4B】別々の視点から視た場合の物体の重なりの増加を示す図である。
【図5A】物体を別々の視点から視た場合の遮断解除領域の出現を示す図である。
【図5B】物体を別々の視点から視た場合の遮断解除領域の出現を示す図である。
【図6】ゴースト・アーチファクトの生起の概略図である。
【図7】ゴースト・アーチファクトの阻止の概略図である。
【図8】x座標範囲を用いた、遮断の検出を示す図である。
【図9】ルックアヘッド範囲を用いた、遮断解除の検出を示す図である。
【図10】本発明によるビデオ処理システムの一部を示す構成図である。
【図11】本発明の画像処理システムを効果的に用いるシステムを示す構成図である。
【特許請求の範囲】
【請求項1】
出力視点に関連した少なくとも1つの出力画像を入力視点に関連した入力画像から深度依存性変換によって生成する画像処理システムであって、画像は、入力画素アレイ及び出力画素アレイのそれぞれとして表され、前記画像処理システムは、
前記入力画像と、隠れた画像とを受信する入力であって、前記入力画像は、前記入力視点から見た場合の3D物体のプレフィルタリングされた2D表現であり、かつ、入力画素毎に関連入力画素値及び関連入力画素深度を備え、前記隠れた画像は前記3D物体の別の2D表現であり、かつ、情報を備え、該情報が、前記入力視点から少なくとも部分的に遮断されている入力と、
ビデオ・プロセッサであって、
前記入力画素深度の関数として、前記出力視点に関連した変換入力画素に各入力画素を変換し、
前記変換された入力画素に基づいて、遮断解除された領域を満たすために、かつ、前記プレフィルタリングされた入力画像の変換によって生じるゴースト線アーチファクトを阻止するために、前記遮断解除された領域に隣接した少なくとも1つの画素位置について隠れた画像画素を用いて前記出力画像を作成することによって前記出力画像の出力画素を作成するよう動作するビデオ・プロセッサと、
後にレンダリングするために前記出力画像を供給する出力とを備えることを特徴とする画像処理システム。
【請求項2】
請求項1記載の画像処理システムであって、前記深度依存性変換は前記入力視点から所定の出力視点への変換であり、前記隠れた画像は前記出力視点と関連付けられることを特徴とする画像処理システム。
【請求項3】
請求項1記載の画像処理システムであり、前記隠れた画像は前記入力視点と関連付けられ、前記隠れた画像画素は、隠れた画像画素値及び隠れた画像画素深度と関連付けられ、前記ビデオ・プロセッサは、
前記隠れた画像画素深度の関数として、前記出力視点に関連した、変換された隠れた画像画素に、隠れた画像画素それぞれを変換し、
遮断解除領域を埋めるために、かつ、前記遮断解除領域に隣接した少なくとも1つの画素位置について、変換された隠れた画像画素を用いて前記出力画像を作成するよう動作可能であることを特徴とする画像処理システム。
【請求項4】
請求項1記載の画像処理システムであって、前記画素アレイの画素の行を、連続した表示行上の水平表示に用い、前記ビデオ・プロセッサは、行毎に入力画素を順次処理するよう動作することを特徴とする画像処理システム。
【請求項5】
請求項4記載の画像処理システムであって、
遮断解除領域内の画素位置と、
前記遮断解除領域前の第1の数の画素位置と、
前記遮断解除領域後の第2の数の画素位置とについて、隠れた画像画素であって、前記第1の数及び/又は前記第2の数がゼロよりも大きい隠れた画像画素を選択し、かつ、
前記表示行上の他の画素位置について、変換入力画素を選択して、行毎に入力画素を順次選択する画素選択手段を更に備えることを特徴とする画像処理システム。
【請求項6】
請求項5記載の画像処理システムであって、前記第1の数及び/又は前記第2の数の画素位置は、前記入力画像の記録中に用いられる水平プレフィルタの幅によって変わってくることを特徴とする画像処理システム。
【請求項7】
請求項5記載の画像処理システムであって、前記第1の数及び/又は前記第2の数の画素位置が、前記入力画像の更なる情報として前記入力で受信されることを特徴とする画像処理システム。
【請求項8】
請求項5記載の画像処理システムであって、前記第1の数及び/又は前記第2の数の画素位置は前記入力画像の解析に基づいて判定されることを特徴とする画像処理システム。
【請求項9】
請求項5記載の画像処理システムであって、各入力画素はx座標及びy座標によって示され、前記ビデオ・プロセッサは、x軸に沿った前記入力視点から前記出力視点までの変位の逆方向において行の入力画素を順次処理するよう動作可能であり、処理は、
少なくとも1つの変換入力画素によって既に遮断された最遠x座標を、所定の開始位置に対して、既に処理された入力画素について示すx座標範囲を維持する処理であって、前記最遠x座標は、処理方向が左から右に向かう場合には最高x座標であり、処理方向が右から左に向かう場合には最低x座標である処理と、
所定の閾値を超えて、ルックアヘッド範囲を変換入力画素が増加させた場合に、隠れた画像画素が遮断解除状態にあることを前記x座標範囲の先で判定するようルックアヘッド範囲を維持して、前記遮断解除領域の位置の前の前記第1の数の画素位置について、隠れた画像画素を前記画素選択手段が選択することを可能にする処理とを備えることを特徴とする画像処理システム。
【請求項10】
請求項3及び9に記載の画像処理システムであって、前記ビデオ・プロセッサは、少なくとも1つの変換された隠れた画像画素によって既に遮断された最遠x座標を、所定の開始位置に対して、既に処理された隠れた画像画素について示すために、隠れた画像のx座標範囲を維持するよう動作し、処理方向が左から右に向かう場合には最高x座標であり、処理方向が右から左に向かう場合には最低x座標であることを特徴とする画像処理システム。
【請求項11】
請求項9又は10記載の画像処理システムであって、前記ルックアヘッド範囲は、前記x座標範囲の先の画素数であり、該数は、前記遮断解除領域の位置の前に挿入される対象の変換された隠れた画像画素の数に等しいことを特徴とする画像処理システム。
【請求項12】
請求項1記載の画像処理システムであって、前記入力は、少なくとも1つの更なる隠れた画像を受信するよう構成され、前記更なる隠れた画像は情報を備え、該情報は、他の隠れた画像内の物体によって少なくとも部分的に隠されており、前記ビデオ・プロセッサは、前記深度依存性情報、前記入力画像、前記隠れた画像、及び前記少なくとも1つの更なる隠れた画像に応じて前記出力画像の出力画素を作成するよう動作することを特徴とする画像処理システム。
【請求項13】
出力視点に関連した少なくとも1つの出力画像を入力視点に関連した入力画像から深度依存性変換によって生成する方法であって、画像は、入力画素アレイ及び出力画素アレイのそれぞれとして表され、前記方法は、
前記入力画像と、隠れた画像とを受信する工程であって、前記入力画像は、前記入力視点から見た場合の3D物体のプレフィルタリングされた2D表現であり、かつ、入力画素毎に関連入力画素値及び関連入力画素深度を備え、前記隠れた画像は前記3D物体の別の2D表現であり、かつ、情報を備え、該情報が、前記入力視点から少なくとも部分的に遮断されている工程と、
前記入力画素深度の関数として、前記出力視点に関連した変換入力画素に各入力画素を変換し、
前記変換された入力画素に基づいて、遮断解除された領域を満たすために、かつ、前記プレフィルタリングされた入力画像の変換によって生じるゴースト線アーチファクトを阻止するために、前記遮断解除された領域に隣接した少なくとも1つの画素位置について隠れた画像画素を用いて前記出力画像を作成し、
後にレンダリングするために前記出力画像を供給することによって前記出力画像の出力画素を作成する工程とを備えることを特徴とする方法。
【請求項14】
コンピュータ・プログラムであって、請求項13記載の方法をプロセッサに行わせるよう動作することを特徴とするコンピュータ・プログラム。
【請求項1】
出力視点に関連した少なくとも1つの出力画像を入力視点に関連した入力画像から深度依存性変換によって生成する画像処理システムであって、画像は、入力画素アレイ及び出力画素アレイのそれぞれとして表され、前記画像処理システムは、
前記入力画像と、隠れた画像とを受信する入力であって、前記入力画像は、前記入力視点から見た場合の3D物体のプレフィルタリングされた2D表現であり、かつ、入力画素毎に関連入力画素値及び関連入力画素深度を備え、前記隠れた画像は前記3D物体の別の2D表現であり、かつ、情報を備え、該情報が、前記入力視点から少なくとも部分的に遮断されている入力と、
ビデオ・プロセッサであって、
前記入力画素深度の関数として、前記出力視点に関連した変換入力画素に各入力画素を変換し、
前記変換された入力画素に基づいて、遮断解除された領域を満たすために、かつ、前記プレフィルタリングされた入力画像の変換によって生じるゴースト線アーチファクトを阻止するために、前記遮断解除された領域に隣接した少なくとも1つの画素位置について隠れた画像画素を用いて前記出力画像を作成することによって前記出力画像の出力画素を作成するよう動作するビデオ・プロセッサと、
後にレンダリングするために前記出力画像を供給する出力とを備えることを特徴とする画像処理システム。
【請求項2】
請求項1記載の画像処理システムであって、前記深度依存性変換は前記入力視点から所定の出力視点への変換であり、前記隠れた画像は前記出力視点と関連付けられることを特徴とする画像処理システム。
【請求項3】
請求項1記載の画像処理システムであり、前記隠れた画像は前記入力視点と関連付けられ、前記隠れた画像画素は、隠れた画像画素値及び隠れた画像画素深度と関連付けられ、前記ビデオ・プロセッサは、
前記隠れた画像画素深度の関数として、前記出力視点に関連した、変換された隠れた画像画素に、隠れた画像画素それぞれを変換し、
遮断解除領域を埋めるために、かつ、前記遮断解除領域に隣接した少なくとも1つの画素位置について、変換された隠れた画像画素を用いて前記出力画像を作成するよう動作可能であることを特徴とする画像処理システム。
【請求項4】
請求項1記載の画像処理システムであって、前記画素アレイの画素の行を、連続した表示行上の水平表示に用い、前記ビデオ・プロセッサは、行毎に入力画素を順次処理するよう動作することを特徴とする画像処理システム。
【請求項5】
請求項4記載の画像処理システムであって、
遮断解除領域内の画素位置と、
前記遮断解除領域前の第1の数の画素位置と、
前記遮断解除領域後の第2の数の画素位置とについて、隠れた画像画素であって、前記第1の数及び/又は前記第2の数がゼロよりも大きい隠れた画像画素を選択し、かつ、
前記表示行上の他の画素位置について、変換入力画素を選択して、行毎に入力画素を順次選択する画素選択手段を更に備えることを特徴とする画像処理システム。
【請求項6】
請求項5記載の画像処理システムであって、前記第1の数及び/又は前記第2の数の画素位置は、前記入力画像の記録中に用いられる水平プレフィルタの幅によって変わってくることを特徴とする画像処理システム。
【請求項7】
請求項5記載の画像処理システムであって、前記第1の数及び/又は前記第2の数の画素位置が、前記入力画像の更なる情報として前記入力で受信されることを特徴とする画像処理システム。
【請求項8】
請求項5記載の画像処理システムであって、前記第1の数及び/又は前記第2の数の画素位置は前記入力画像の解析に基づいて判定されることを特徴とする画像処理システム。
【請求項9】
請求項5記載の画像処理システムであって、各入力画素はx座標及びy座標によって示され、前記ビデオ・プロセッサは、x軸に沿った前記入力視点から前記出力視点までの変位の逆方向において行の入力画素を順次処理するよう動作可能であり、処理は、
少なくとも1つの変換入力画素によって既に遮断された最遠x座標を、所定の開始位置に対して、既に処理された入力画素について示すx座標範囲を維持する処理であって、前記最遠x座標は、処理方向が左から右に向かう場合には最高x座標であり、処理方向が右から左に向かう場合には最低x座標である処理と、
所定の閾値を超えて、ルックアヘッド範囲を変換入力画素が増加させた場合に、隠れた画像画素が遮断解除状態にあることを前記x座標範囲の先で判定するようルックアヘッド範囲を維持して、前記遮断解除領域の位置の前の前記第1の数の画素位置について、隠れた画像画素を前記画素選択手段が選択することを可能にする処理とを備えることを特徴とする画像処理システム。
【請求項10】
請求項3及び9に記載の画像処理システムであって、前記ビデオ・プロセッサは、少なくとも1つの変換された隠れた画像画素によって既に遮断された最遠x座標を、所定の開始位置に対して、既に処理された隠れた画像画素について示すために、隠れた画像のx座標範囲を維持するよう動作し、処理方向が左から右に向かう場合には最高x座標であり、処理方向が右から左に向かう場合には最低x座標であることを特徴とする画像処理システム。
【請求項11】
請求項9又は10記載の画像処理システムであって、前記ルックアヘッド範囲は、前記x座標範囲の先の画素数であり、該数は、前記遮断解除領域の位置の前に挿入される対象の変換された隠れた画像画素の数に等しいことを特徴とする画像処理システム。
【請求項12】
請求項1記載の画像処理システムであって、前記入力は、少なくとも1つの更なる隠れた画像を受信するよう構成され、前記更なる隠れた画像は情報を備え、該情報は、他の隠れた画像内の物体によって少なくとも部分的に隠されており、前記ビデオ・プロセッサは、前記深度依存性情報、前記入力画像、前記隠れた画像、及び前記少なくとも1つの更なる隠れた画像に応じて前記出力画像の出力画素を作成するよう動作することを特徴とする画像処理システム。
【請求項13】
出力視点に関連した少なくとも1つの出力画像を入力視点に関連した入力画像から深度依存性変換によって生成する方法であって、画像は、入力画素アレイ及び出力画素アレイのそれぞれとして表され、前記方法は、
前記入力画像と、隠れた画像とを受信する工程であって、前記入力画像は、前記入力視点から見た場合の3D物体のプレフィルタリングされた2D表現であり、かつ、入力画素毎に関連入力画素値及び関連入力画素深度を備え、前記隠れた画像は前記3D物体の別の2D表現であり、かつ、情報を備え、該情報が、前記入力視点から少なくとも部分的に遮断されている工程と、
前記入力画素深度の関数として、前記出力視点に関連した変換入力画素に各入力画素を変換し、
前記変換された入力画素に基づいて、遮断解除された領域を満たすために、かつ、前記プレフィルタリングされた入力画像の変換によって生じるゴースト線アーチファクトを阻止するために、前記遮断解除された領域に隣接した少なくとも1つの画素位置について隠れた画像画素を用いて前記出力画像を作成し、
後にレンダリングするために前記出力画像を供給することによって前記出力画像の出力画素を作成する工程とを備えることを特徴とする方法。
【請求項14】
コンピュータ・プログラムであって、請求項13記載の方法をプロセッサに行わせるよう動作することを特徴とするコンピュータ・プログラム。
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公表番号】特表2007−533022(P2007−533022A)
【公表日】平成19年11月15日(2007.11.15)
【国際特許分類】
【出願番号】特願2007−507898(P2007−507898)
【出願日】平成17年4月8日(2005.4.8)
【国際出願番号】PCT/IB2005/051164
【国際公開番号】WO2005/101324
【国際公開日】平成17年10月27日(2005.10.27)
【出願人】(590000248)コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Fターム(参考)】
【公表日】平成19年11月15日(2007.11.15)
【国際特許分類】
【出願日】平成17年4月8日(2005.4.8)
【国際出願番号】PCT/IB2005/051164
【国際公開番号】WO2005/101324
【国際公開日】平成17年10月27日(2005.10.27)
【出願人】(590000248)コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Fターム(参考)】
[ Back to top ]