３次元モデルをスケーリングする方法及びスケーリングユニット
３次元入力モデル（２００乃至２０８）を、スケーリングされた３次元出力モデル（２１０乃至２１４）にスケーリングする方法が開示される。本方法は、３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングする方法であって、前記方法は、前記３次元入力モデルの各部分について、前記スケーリングされた３次元出力モデルの対応する部分が、前記スケーリングされた３次元出力モデルの２次元のビューにおいて可視であるそれぞれの確率を決定するステップと、前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換するステップとを有する。可視性の確率の決定は、ビュー方向における前記３次元入力モデルの投射に基づく。可視でない幾つかの部分を考慮に入れることにより、深度範囲が無駄にされない。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングする方法に関する。
【０００２】
本発明は更に、３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングするスケーリングユニットに関する。
【０００３】
本発明は更に、
３次元入力モデルを表す信号を受信する受信手段と、
前記３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングするスケーリングユニットと、
前記スケーリングされた３次元出力モデルのビューを可視化する表示手段と、
を有する画像表示装置に関する。
【背景技術】
【０００４】
３次元の場面のサイズが画像表示装置の表示能力と合致しない可能性は、高い。それ故、スケーリング（scaling）操作が必要とされる。スケーリングが必要とされる他の理由は、３次元の場面を表す３次元モデル（three-dimensional model）の幾何配置を伝送チャネルに適合させること、及び３次元モデルを観測者の好みに適合させることである。
【０００５】
３次元の場面を表す３次元モデルに対する線形のスケーリング操作は、良く知られている。最初のパラグラフにおいて記載された種類の画像表示装置の例は、米国特許US6,313,866より知られている。該画像表示装置は、第１の画像信号から深度（depth）情報最大値を取得するための回路を有する。前記画像表示装置は更に、前記第１の画像信号及び第２の画像信号に含まれる深度情報に基づき、前記第２の画像信号の視差の量を制御する視差制御回路を有する。これにより、前記第２の画像信号に対応する画像が、前記第１の画像信号に対応する画像の前に、３次元的に表示されることができる。３次元画像合成器は、各前記画像信号の視差の量に基づき、前記視差制御回路によって制御された前記第１及び第２の画像信号を合成し、画像が３次元表示空間における当該第１及び第２の画像信号に対応するようにする。深度情報のスケーリングは、表示能力の限界を超えた深度情報を除いて、原則的に深度情報の線形の適合によって実行される。後者の値は切り落とされる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
深度の適合又はスケーリングの不利な点は、深度の印象の減少に帰着し得る点である。特に線形の深度のスケーリングは、スケーリングされた３次元モデルの深度の印象に対して不利になり得る。
【０００７】
本発明の目的は、最初のパラグラフにおいて記載された種類の方法であって、知覚的に３次元入力モデルを類似し、快適な３次元の印象を持つ、スケーリングされた３次元出力モデルに帰着する方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の本目的は、本方法が、
前記３次元入力モデルの各部分について、前記スケーリングされた３次元出力モデルの対応する部分が、前記スケーリングされた３次元出力モデルの２次元のビューにおいて可視であるそれぞれの確率を決定するステップを有し、該決定は、ビュー方向における前記３次元入力モデルの投射に基づき、前記方法が更に、
前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換するステップを有することによって達成される。上述したように、スケーリングは、３次元入力モデルを、例えば表示装置の表示能力に適合させるために必要とされる。３次元入力モデルの、スケーリングされた３次元出力モデルへのスケーリングの後、前記スケーリングされた３次元出力モデルに基づき、複数のビユーが生成される。着想は、前記スケーリングされた３次元出力モデルの最終的に可視でない部分についてのスケーリングにおいて、例えば表示装置のどの深度範囲も無駄にされるべきではないということである。このことは、ビューの１つにおいて可視とならない前記スケーリングされた３次元出力モデルの部分に対応する、３次元入力モデルの部分が、スケーリングについて無視されるべきであることを意味する。ビュー方向に３次元入力モデルを投射することによって、表示装置により適用される３次元入力モデルの特定のビューを作成することにより、当該特定のビューにおける３次元入力モデルの前記部分の可視性（visibility）を決定することが可能となる。このことに基づき、前記スケーリングされた３次元出力モデルの部分の可視性の確率を決定することが可能となる。特定のビューにおいて可視である３次元入力モデルの部分に対応する、スケーリングされた３次元出力のモデルの部分も、前記スケーリングされた３次元出力モデルに基づくビユーにおいて一般に可視である。特定のビューにおいて可視でない３次元入力モデルの他の部分に対応する、スケーリングされた３次元出力モデルの他の部分は、前記スケーリングされた３次元出力モデルに基づくビューにおいて可視である比較的低い可能性を持つ。それぞれビュー方向に対応する方向に３次元入力モデルの複数の投射を作成することにより、可視となる確率が適合されることができる。しかしながら、これらの投射を実際に作成しなくても、例えば表示装置の既知の能力に関するパラメータのような他のパラメータに基づいて、可視性の確率が決定されることができる。代替として、前記確率は、伝送チャネルのパラメータに基づいて決定される。
【０００９】
本発明による方法の実施例においては、前記部分のうちの第１のものが可視である確率の決定が、前記部分のうちの第１のものの第１の座標の第１の値と、前記部分の第２のものの第１の座標の第２の値との比較に基づく。３次元入力モデルの部分が、ビューの方向において互いを遮るか否かの決定は、３次元入力の前記部分の座標の値を比較することにより、容易に為され得る。好ましくは、第１の座標がビユー方向に対応する。
【００１０】
本発明による方法の実施例においては、前記部分のうちの第１のものが可視である確率の決定が、前記スケーリングされた３次元出力モデルが表示される表示装置の能力に基づく。前記表示装置の能力は、前記表示装置の最大視野角及び深度範囲に対応しても良い。表示装置のこれらのプロパティが、どのビューが生成され得るか、即ち異なるビュー間の最大の差を決定する。適切なビュー即ち３次元入力の投射と組み合わせ、表示装置のこれらのプロパティに基づいて、いずれのとり得るビューにおける部分の可視性の確率もが、容易に決定されることができる。
【００１１】
本発明による方法の実施例においては、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換するステップは、平行移動、回転又は変形のうちの１つを有する。これらの幾何配置の変換のため、前記部分のトポロジは変更されない。
【００１２】
本発明の他の目的は、最初のパラグラフにおいて記載された種類のスケーリングユニットであって、知覚的に３次元入力モデルと類似し、快適な３次元の印象を持つ、スケーリングされた３次元出力モデルを提供するスケーリングユニットを提供することにある。
【００１３】
本発明の本目的は、スケーリングユニットが、
前記３次元入力モデルの各部分について、前記スケーリングされた３次元出力モデルの対応する部分が、前記スケーリングされた３次元出力モデルの２次元のビューにおいて可視であるそれぞれの確率を決定する確率決定手段を有し、該決定は、ビュー方向における前記３次元入力モデルの投射に基づき、前記スケーリングユニットは更に、
前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換する変換手段を有することによって達成される。
【００１４】
本発明の他の目的は、最初のパラグラフにおいて記載された種類の画像表示装置であって、知覚的に３次元入力モデルと類似し、快適な３次元の印象を持つ、スケーリングされた３次元出力モデルを提供する画像表示装置を提供することにある。
【００１５】
本発明の本目的は、スケーリングユニットが、
前記３次元入力モデルの各部分について、前記スケーリングされた３次元出力モデルの対応する部分が、前記スケーリングされた３次元出力モデルの２次元のビューにおいて可視であるそれぞれの確率を決定する確率決定手段を有し、該決定は、ビュー方向における前記３次元入力モデルの投射に基づき、前記スケーリングユニットは更に、
前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換する変換手段を有することによって達成される。
【００１６】
前記スケーリングユニット及び前記画像表示装置の変更、並びにそれらの変形例は、説明される方法の変更及び変形例に対応し得る。
【００１７】
本発明による方法、スケーリングユニット及び画像表示装置のこれらの及び他の態様は、以下に説明される実装及び実施例により並びに添付する図を参照しながら説明され、明らかとなるであろう。図を通して、同一の参照番号は類似の部分を示すために利用される。
【発明を実施するための最良の形態】
【００１８】
３次元情報の記憶のための幾つかのタイプのモデルがある。
−例えばＶＲＭＬ用に規定されるような、ワイヤフレーム。これらのモデルは、線と面との構造を有する。
−体積データ構造即ちボクセルマップ（ボクセルは体積要素を意味する）。これらの体積データ構造は、３次元の要素の配列を有する。各要素は３つの次元を持ち、プロパティの値を表す。例えば、ＣＴ（computer tomography）データは、各要素がそれぞれのハウンズフィールド値に対応するような体積データ構造として保存される。
−深度マップを持つ２次元画像。例えば、ＲＧＢＺ値を持つ２次元画像。このことは、各画素が、３つの色コンポーネント値と深度値とを有することを意味する。３つのカラーコンポーネント値はまた、輝度値を表す。
−画像ベースのモデル。例えば、立体画像対又はマルチビュー画像。３つのタイプの画像はライトフィールド（light field）とも呼ばれる。
或るタイプの３次元モデルにより表されたデータの、他の３次元モデルへの変換が可能である。例えば、ワイヤフレームを用いて表されたデータ又は深度マップを持つ２次元画像は、レンダリングによって、体積データ構造を用いて表されたデータ又は画像ベースのモデルに変換されることができる。
【００１９】
３次元画像表示装置によって実現されることができる深度の量は、表示装置のタイプに依存する。体積表示装置を用いては、深度の量は、該表示装置の大きさによって完全に決定される。例えば眼鏡を用いる立体ディスプレイは、観測者に依存する、深度の量についての柔軟な限界を持つ。レンズ調節と相互の眼の集束との間の「不一致」によって引き起こされる深度の量が大き過ぎると、観測者は疲労し得る。例えば複数のビューのためのレンチキュラ画面を持つＬＣＤに基づくような自動立体表示装置は、ビューに量によって決定される、理論的に最大の深度範囲ｄを持つ。図１は、自動立体表示装置１００を模式的に示す。物理的な表示装置１００の外側で且つ仮想的な四辺形１０２の内部に、特定の深度範囲内のオブジェクトを、特定の視野角α内の観測者に呈示することができる。これら２つは合わせて、画素における定数ｋを定義する。定数ｋは、表示装置１００における水平方向の画素の数Ｎの百分率である。該ｋは、前記表示装置が呈示することができる最大の視差に等しい。最大の深度範囲が超過されシャープネスの損失に帰着し得る。
【００２０】
図２（Ａ）は、３次元入力モデルの上面図を模式的に示す。前記３次元入力モデルは、サイズ及び形状の異なる幾つかのオブジェクト２００乃至２０８を有する。図２（Ｂ）は、図２（Ａ）の３次元入力モデルの前面図を模式的に示す。幾つかのオブジェクトが、完全に又は部分的に、他のオブジェクトを遮っていることが明らかに分かる。このことは、前記３次元入力モデルの幾つかの部分が、前面図において可視でないことを意味する。例えば、前記オブジェクトの１つ、即ちオブジェクト２００が、前記前面図において完全に不可視である。
【００２１】
図２（Ｃ）は、図２（Ａ）の３次元入力モデルに基づく、スケーリングされた３次元出力モデルの上面図を模式的に示す。前記３次元入力モデルのオブジェクトのうちの第１のもの２００に対応する、前記スケーリングされた３次元入力モデルのオブジェクトのうちの第１のものは、深度範囲の境界に切り落とされている。前記３次元入力モデルのオブジェクトのうちの第２のもの２０８に対応する、前記スケーリングされた３次元入力モデルのオブジェクトのうちの第２のもの２２４は、深度範囲の他方の境界の近傍に位置している。前記３次元入力モデルのオブジェクトのうちの第３のもの２０２に対応する、前記スケーリングされた３次元入力モデルのオブジェクトのうちの第３のものは、３つの部分２１０乃至２１４を有する。該３つの部分のうちの２つは可視であり、第３のもの２１２はいずれのとり得るビューにおいても可視でない。前記３次元入力モデルのオブジェクトのうちの第４のもの２０４に対応する、前記スケーリングされた３次元入力モデルのオブジェクトのうちの第４のものは、２つの部分２１６及び２１８を有する。該２つの部分のうちの第１のもの２１６は可視であり、第２のもの２１８はいずれのとり得るビューにおいても可視でない。前記３次元入力モデルのオブジェクトのうちの第５のもの２０６に対応する、前記スケーリングされた３次元入力モデルのオブジェクトのうちの第５のものは、２つの部分２２０及び２２２を有する。該２つの部分のうちの第１のもの２１０は可視であり、第２のもの２２２はいずれのとり得るビューにおいても可視でない。
【００２２】
図３（Ａ）乃至３（Ｃ）と関連して、幾つかのオブジェクト１乃至８を有する３次元入力モデルの各部分について、どのように可視性の確率が決定されるかが説明される。このことは、
ｚ−バッファスタックにより前記３次元入力モデルの投射を計算するステップと、
相互に等しいｘ値及び相互に等しいｙ値を持つ前記ｚ−バッファスタックのエレメントの対のｚ値を比較することにより、前記投射において前記ｚ−バッファスタックのエレメントのうちどれが可視であるかを示すステップと、
前記ｚ−バッファスタックのエレメントのセグメンテーションにより、ｚ−バッファスタックのエレメントのどの群が、前記３次元入力モデルのそれぞれの部分を形成するかを決定するステップと、
表示装置の能力に基づき、可視である別のｚ−バッファスタックのエレメントを有するｚ−バッファスタックのエレメントの群の一部である、ｚ−バッファスタックの各エレメントの可視性の可能性を示すステップと、
を有する本発明による方法に基づく。本例においては、ｚ−バッファスタックは、３次元入力モデルの一部に対応する。
【００２３】
図３（Ａ）は、前記３次元入力モデルに基づくビュー３０２の計算の後のｚ−バッファスタック３００の内容を模式的に示す。ｚ−バッファスタック３００は、前記３次元入力モデルの各部分を表すデータを保存するための幾つかのデータセル３０４乃至３２２を有する。該ｚ−バッファスタック３００は、３つのレベルｉ＝１、ｉ＝２及びｉ＝３を有する。ｚ−バッファスタック３００のデータセル３０４乃至３２２において示される数字１乃至８は、３次元入力モデルの種々のオブジェクト１乃至８に対応する。例えば、第１のデータセル３１２には、第２のオブジェクト２の一部に関連するデータが保存されている。ｚ−バッファスタック３００においては、３次元入力モデルの各部分のｚ値即ち深度値が保存される。加えて、対応する色及び輝度値が保存される。図３（Ａ）乃至３（Ｃ）においては、ｙ軸の１つの値についてのみ、幾つかのデータセル３０４乃至３２２が図示されている。
【００２４】
ｚ−バッファスタック３００に基づく投射の生成は、先行技術において良く知られている。ｚ−バッファスタックの性質のため、どのｚ−バッファスタックのエレメントがビュー３０２において可視であるかを決定することは非常に容易である。本例においては、最高のレベル即ちｉ＝３を持つものである。かくして、ビュー３０２においては、例えば最高のレベルｉ＝３の３０４乃至３１０のようなデータセル中にデータが保存された部分のみが存在する。図３（Ａ）において、当該ビューにおいて可視である部分に対応するデータセルが網掛けされている。本例において、第２のオブジェクト２の一部だけが可視であり、第８のオブジェクト８の一部だけが可視であることが分かる。第４のオブジェクトの大部分は可視であるが、第５のオブジェクト５によって遮られた部分を除く。
【００２５】
図３（Ｂ）は、セグメンテーションの後の、図３（Ａ）のｚ−バッファスタックの内容を模式的に示す。セグメンテーションは、ｚ−バッファスタックのエレメントのうちのどれが、３次元入力モデルのそれぞれのオブジェクト１乃至８を形成するかを決定するために適用される。この目的のため、データセルのどの群が、３次元入力モデルの種々のオブジェクトに属するデータを保存するかを決定するために、ｚ−バッファスタック３００のデータセル３０４乃至３２２の内容が分析される。該セグメンテーション、即ちオブジェクト抽出は、ｚ−バッファスタック３００の種々のデータセル３０４乃至３２２間の距離と組み合わせた、例えば色、輝度及び深度のような保存された値に基づくものである。図３（Ｂ）においては、データセルの種々の群は、端に点を持つ曲線によって示されている。
【００２６】
輝度、色及び深度に加えて、可視性の確率もまたメモリに保存される。データセル毎に、該量の値が保存される。典型的には、以下のタイプが区別され得る。
１：投射の１つにおいて、確実に可視である。
２：投射の１つにおいて、おそらく可視である。
３：投射の１つにおいて、おそらく可視でない。
４：投射の１つにおいて、確実に可視でない。
第１の投射の後、幾つかのｚ−バッファスタックのエレメント（例えば３０４及び３０６）にタイプ１が割り当てられる。他のｚ−バッファスタックのエレメントは、タイプ４又は３で初期化される。
【００２７】
セグメンテーションの後、幾つかのｚ−バッファスタックのエレメントの可視性の確率は、表示装置の能力に基づいて更新される。典型的には、可視である（タイプ１）別のｚ−バッファスタックのエレメントを有するｚ−バッファスタックのエレメントの群の一部である、各ｚ−バッファスタックのエレメントの可視性の確率が適合される。例えば、第１のデータセル３１２において、第２のオブジェクト２の一部に関するデータが保存されている。セグメンテーションの後、第１のデータセル３１２が、第２のデータセル３０４もが属するデータセルの群に属することが明らかとなった。第２のデータセル３０４は、可視であるオブジェクト２の一部に属するデータを保存していることが既知である。このことに基づき、及び既知の視野角及び深度範囲に基づき、第２のデータセル３１２の可視性の確率をタイプ２に更新することが決定される。図３（Ｃ）において、矢印３２４により、該ｚ−バッファスタックのエレメントが、他のビューにおいて可視であり得ることが示される。他のデータセル３１４乃至３２２の可視性の確率も、同様に更新される。図３（Ｃ）は、可視性の確率を更新した後の、図３（Ｂ）のｚ−バッファスタックの内容を模式的に示す。タイプ１又は２の可視性の確率が割り当てられているｚ−バッファスタックのエレメントが網掛けされている。
【００２８】
図３（Ａ）乃至３（Ｃ）に関して説明された例においては、全てのオブジェクトが透明ではなく不透明である。本発明による方法は、透明なオブジェクトに対しても適用され得ることは留意されるべきである。その場合には、ｚ−バッファスタックのエレメントのそれぞれ、即ち３次元入力モデルの各部分の透明度を表す値も、それぞれのデータセル３０４乃至３２２に保存されるべきである。
【００２９】
図４は、３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングする、本発明によるスケーリングユニット４００を模式的に示す。スケーリングユニット４００は、
前記３次元入力モデルの各部分について、前記スケーリングされた３次元出力モデルの対応する部分が、前記スケーリングされた３次元出力モデルの２次元のビューにおいて可視であるそれぞれの確率を決定する確率決定ユニット４０２と、
前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換する幾何変換ユニット４０８を有する。３次元入力モデルを表すデータは、スケーリングユニット４００の入力コネクタ４１０に供給される。スケーリングユニット４００は、スケーリングされた３次元出力モデルを表すデータを、出力コネクタ４１２において供給する。制御インタフェース４１４を介して、例えば深度範囲及び最大視野角のような、表示装置に関連する制御データが供給される。
【００３０】
確率決定ユニット４０２の動作が、図３（Ａ）乃至３（Ｃ）と共に説明される。幾何変換ユニット４０８は、最小及び最大検出ユニット４０４と、ゲイン制御ユニット４０６とを有する。最小及び最大検出ユニット４０４は、相互に等しいｘ値及び相互に等しいｙ値を持つｚ−バッファスタックのエレメントの各配列について、対応する最小ｚ値及び最大ｚ値を決定するように構成される。ゲイン制御ユニット４０６は、それぞれの最小ｚ値及び最大ｚ値と、表示装置の深度範囲とに基づいて、前記ｚ−バッファスタックのエレメントについてのスケーリングされたｚ値を計算するように構成される。本発明による幾何変換ユニット４０８の動作は、図４と共により詳細に説明される。
【００３１】
確率決定ユニット４０２、最小及び最大検出ユニット４０４並びにゲイン制御ユニット４０６は、１つのプロセッサを用い実装されても良い。通常、これらの機能は、ソフトウェアプログラムの制御の下で実行される。実行の間、前記ソフトウェアプログラムは通常ＲＡＭのようなメモリにロードされ、該メモリから実行される。前記プログラムは、ＲＯＭのようなバックグラウンドメモリ、ハードディスク、又は磁気及び／又は光記憶装置からロードされても良いし、又はインターネットのようなネットワークを介してロードされても良い。任意に、特定アプリケーション向け集積回路が、開示された機能を提供する。
【００３２】
図５は、本発明によるスケーリングユニット４００の幾何変換ユニット４０８を模式的に示す。幾何変換ユニット４０８は、図３と共に説明されたようなｚ−バッファスタック３００中のデータを処理するように設計される。
【００３３】
ｚ−バッファスタック３００に保存されているデータは、各ｘ，ｙ対について供給される。図３（Ｃ）と共に説明された例においては、配列毎に３つのレベルｉ＝１、ｉ＝２又はｉ＝３がある。前記レベルのそれぞれについてｚ値及び可視性の確率が供給される。該ｚ−バッファのエレメントがタイプ４のものである場合、即ち投射の１つにおいて確実に可視でない場合、対応するデータがクリッピングユニット５１８に供給される。そうでなければ、前記データは最大検出器５０２及び最小検出器５０４に供給される。最大検出器５０２は、ｘ，ｙ座標毎に最大のｚ値を抽出するように構成され、最小検出器５０４は、ｘ，ｙ座標毎に最小のｚ値を抽出するように構成される。各ｘ，ｙ座標についての最大ｚ値は、第１のフィルタユニット５０６に供給される。各ｘ，ｙ座標についての最小ｚ値は、第２のフィルタユニット５０８に供給される。好ましくは、第１のフィルタユニット５０６及び第２のフィルタユニット５０８は、モルフォロジック（morphologic）フィルタである。モルフォロジックフィルタは、一般的な非線形画像処理ユニットである。例えば、P.W. Verbeek、H.A. Vrooman及びL.J. van Vlietによる「Low-level image processing by max-min filters」（「Signal Processing」vol. 15、no. 3、249-258頁、1988年）と題された論文を参照されたい。第１のフィルタユニット５０６及び第２のフィルタユニット５０８として、例えばローパスフィルタのような他のタイプのフィルタが利用されても良い。第１のフィルタユニット５０６の出力は、最大ｚ値の一種のレリーフ（relief）であり、第２のフィルタユニット５０８の出力は、最小ｚ値の一種のレリーフである。
【００３４】
第１のフィルタユニット５０６及び第２のフィルタユニット５０８の出力は、第１の結合手段５１０によって組み合わせられる。第１の結合手段５１０は、２つの信号を加算し、合計を２で除算する。第１の結合手段５１０の出力は、一種の平均値、即ち平均のレリーフである。該出力は、減算ユニット５１４によって入力データから減算される。該減算は、一種のオフセット訂正として解釈され得る。
【００３５】
第１のフィルタユニット５０６及び第２のフィルタユニット５０８の出力はまた、第２の結合手段５１２によって組み合わせられる。第２の結合手段５１２は、２つの信号を減算し、合計を２で除算する。第２の結合手段５１２の出力は、減算ユニット５１４の出力データを正規化するために利用される、一種の範囲値である。該正規化は、正規化ユニット５１６によって実行される。正規化ユニット５１６の出力は、乗算器５２０に供給される。乗算器５２０は、データを利用可能な深度範囲に、又は任意に好適な深度範囲にマッピングする。本例においては、ｋは利用可能な表示深度範囲と視野角との関数である。
【００３６】
図６は、３次元入力モデルの、スケーリングされた３次元出力モデルへのスケーリングを模式的に示す。前記スケーリングは、図５と共に説明されたような伸張方法によって実行される。前記３次元入力モデルは、表示装置に利用可能な投射に対応するビューにおいて可視である、３つのオブジェクト６０２乃至６０６を有する。前記表示装置は、深度範囲ｄを持つ。伸張は、利用可能な深度範囲の利用が最適となるようにされる。このことは、特定のｘ，ｙ対について２つのオブジェクトだけがある場合には、該オブジェクトのうちの一方又はその一部が深度範囲ｄの前の境界まで移動させられ、他方のオブジェクト又はその一部が深度範囲ｄの後の境界まで移動させられることを意味する。例えば、第１の入力オブジェクト６０２は、第２の入力オブジェクト６０４と部分的にオーバラップする。即ち、第１の入力オブジェクト６０２は、第２の入力オブジェクト６０４によって部分的に遮られる。結果として、第１の入力オブジェクト６０２に対応する第１の部分６１２が深度範囲ｄの後の境界にマッピングされ、第２の入力オブジェクト６０４に対応する第１の部分６１４が深度範囲ｄの前の境界にマッピングされる。
【００３７】
特定のｘ，ｙ対について１つのオブジェクトだけがある場合には、該オブジェクト又はその一部が、深度範囲ｄの中央に移動させられる。例えば、第３の入力オブジェクト６０６に対応する第１の部分６２０が、深度範囲ｄの中央にマッピングされる。同様に、第２の入力オブジェクト６０４に対応する第２の部分６１８が深度範囲ｄの中央にマッピングされ、第１の入力オブジェクト６０２に対応する第２の部分６０８が深度範囲ｄの中央にマッピングされる。
【００３８】
同一の入力オブジェクトの部分からのマッピングをスムーズにするため、遷移部分がある。このスムージングは、第１のフィルタユニット５０６及び第２のフィルタユニット５０８によって引き起こされる。例えば、第１の入力オブジェクト６０２に対応する第３の部分６１０は、深度範囲ｄの中央から後の境界まで遷移部分を形成し、第１の入力オブジェクト６０２に対応する第１の部分６１２と第２の部分とを接続する。同様に、第２の入力オブジェクト６０４に対応する第３の部分６１６は、深度範囲ｄの中央から前の境界まで遷移部分を形成し、第２のオブジェクト６０４に対応する第１の部分６１４と第２の部分６１８とを接続する。
【００３９】
図７は、
３次元入力モデルを表す信号を受信する受信器７０２と、
前記３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングする、図４と共に説明されたようなスケーリングユニット４００と、
前記スケーリングされた３次元出力モデルのビューを可視化する表示装置１００と、
を有する、本発明による画像表示装置７００を模式的に示す。前記信号は、アンテナ又はケーブルを介して受信された放送信号であっても良いが、ＶＣＲ（Video Cassette Recorder）又はＤＶＤ（Digital Versatile Dick）のような記憶装置からの信号であっても良い。前記信号は、入力コネクタ７１０に供給される。画像表示装置７００は、例えばＴＶであっても良い。任意に、画像表示装置７００は、ハードディスクのような記憶手段、又は例えば光ディスクのような着脱可能な媒体への記憶のための手段を有する。画像表示装置７００は、映画スタジオ又は放送会社によって利用されるシステムであっても良い。
【００４０】
上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付される請求項の範囲から逸脱することなく代替の実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧の間に配置されたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprising）」なる語は、請求項に列記されていない要素又はステップの存在を除外するものではない。要素に先行する「１つの（a又はan）」なる語は、複数のかような要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記しているユニットの請求項において、これらの手段の幾つかは、同一のハードウェアのアイテムによって実施化されても良い。
【図面の簡単な説明】
【００４１】
【図１】先行技術による自動立体表示装置を模式的に示す。
【図２（Ａ）】３次元入力モデル上面図を模式的に示す。
【図２（Ｂ）】図２（Ａ）の３次元入力モデルの前面図を模式的に示す。
【図２（Ｃ）】図２（Ａ）の３次元入力モデルに基づく、スケーリングされた３次元出力モデルの上面図を模式的に示す。
【図３（Ａ）】３次元入力モデルに基づくビューの計算の後の、ｚ−バッファスタックの内容を模式的に示す。
【図３（Ｂ）】セグメンテーションの後の、図３（Ａ）のｚ−バッファスタックの内容を模式的に示す。
【図３（Ｃ）】可視性の確率を更新した後の、図３（Ｂ）のｚ−バッファスタックの内容を模式的に示す。
【図４】本発明によるスケーリングユニットを模式的に示す。
【図５】本発明によるスケーリングユニットの幾何配置変換ユニットを模式的に示す。
【図６】３次元入力モデルの、スケーリングされた３次元出力モデルへのスケーリングを模式的に示す。
【図７】本発明による画像表示装置を模式的に示す。
【技術分野】
【０００１】
本発明は、３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングする方法に関する。
【０００２】
本発明は更に、３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングするスケーリングユニットに関する。
【０００３】
本発明は更に、
３次元入力モデルを表す信号を受信する受信手段と、
前記３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングするスケーリングユニットと、
前記スケーリングされた３次元出力モデルのビューを可視化する表示手段と、
を有する画像表示装置に関する。
【背景技術】
【０００４】
３次元の場面のサイズが画像表示装置の表示能力と合致しない可能性は、高い。それ故、スケーリング（scaling）操作が必要とされる。スケーリングが必要とされる他の理由は、３次元の場面を表す３次元モデル（three-dimensional model）の幾何配置を伝送チャネルに適合させること、及び３次元モデルを観測者の好みに適合させることである。
【０００５】
３次元の場面を表す３次元モデルに対する線形のスケーリング操作は、良く知られている。最初のパラグラフにおいて記載された種類の画像表示装置の例は、米国特許US6,313,866より知られている。該画像表示装置は、第１の画像信号から深度（depth）情報最大値を取得するための回路を有する。前記画像表示装置は更に、前記第１の画像信号及び第２の画像信号に含まれる深度情報に基づき、前記第２の画像信号の視差の量を制御する視差制御回路を有する。これにより、前記第２の画像信号に対応する画像が、前記第１の画像信号に対応する画像の前に、３次元的に表示されることができる。３次元画像合成器は、各前記画像信号の視差の量に基づき、前記視差制御回路によって制御された前記第１及び第２の画像信号を合成し、画像が３次元表示空間における当該第１及び第２の画像信号に対応するようにする。深度情報のスケーリングは、表示能力の限界を超えた深度情報を除いて、原則的に深度情報の線形の適合によって実行される。後者の値は切り落とされる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
深度の適合又はスケーリングの不利な点は、深度の印象の減少に帰着し得る点である。特に線形の深度のスケーリングは、スケーリングされた３次元モデルの深度の印象に対して不利になり得る。
【０００７】
本発明の目的は、最初のパラグラフにおいて記載された種類の方法であって、知覚的に３次元入力モデルを類似し、快適な３次元の印象を持つ、スケーリングされた３次元出力モデルに帰着する方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の本目的は、本方法が、
前記３次元入力モデルの各部分について、前記スケーリングされた３次元出力モデルの対応する部分が、前記スケーリングされた３次元出力モデルの２次元のビューにおいて可視であるそれぞれの確率を決定するステップを有し、該決定は、ビュー方向における前記３次元入力モデルの投射に基づき、前記方法が更に、
前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換するステップを有することによって達成される。上述したように、スケーリングは、３次元入力モデルを、例えば表示装置の表示能力に適合させるために必要とされる。３次元入力モデルの、スケーリングされた３次元出力モデルへのスケーリングの後、前記スケーリングされた３次元出力モデルに基づき、複数のビユーが生成される。着想は、前記スケーリングされた３次元出力モデルの最終的に可視でない部分についてのスケーリングにおいて、例えば表示装置のどの深度範囲も無駄にされるべきではないということである。このことは、ビューの１つにおいて可視とならない前記スケーリングされた３次元出力モデルの部分に対応する、３次元入力モデルの部分が、スケーリングについて無視されるべきであることを意味する。ビュー方向に３次元入力モデルを投射することによって、表示装置により適用される３次元入力モデルの特定のビューを作成することにより、当該特定のビューにおける３次元入力モデルの前記部分の可視性（visibility）を決定することが可能となる。このことに基づき、前記スケーリングされた３次元出力モデルの部分の可視性の確率を決定することが可能となる。特定のビューにおいて可視である３次元入力モデルの部分に対応する、スケーリングされた３次元出力のモデルの部分も、前記スケーリングされた３次元出力モデルに基づくビユーにおいて一般に可視である。特定のビューにおいて可視でない３次元入力モデルの他の部分に対応する、スケーリングされた３次元出力モデルの他の部分は、前記スケーリングされた３次元出力モデルに基づくビューにおいて可視である比較的低い可能性を持つ。それぞれビュー方向に対応する方向に３次元入力モデルの複数の投射を作成することにより、可視となる確率が適合されることができる。しかしながら、これらの投射を実際に作成しなくても、例えば表示装置の既知の能力に関するパラメータのような他のパラメータに基づいて、可視性の確率が決定されることができる。代替として、前記確率は、伝送チャネルのパラメータに基づいて決定される。
【０００９】
本発明による方法の実施例においては、前記部分のうちの第１のものが可視である確率の決定が、前記部分のうちの第１のものの第１の座標の第１の値と、前記部分の第２のものの第１の座標の第２の値との比較に基づく。３次元入力モデルの部分が、ビューの方向において互いを遮るか否かの決定は、３次元入力の前記部分の座標の値を比較することにより、容易に為され得る。好ましくは、第１の座標がビユー方向に対応する。
【００１０】
本発明による方法の実施例においては、前記部分のうちの第１のものが可視である確率の決定が、前記スケーリングされた３次元出力モデルが表示される表示装置の能力に基づく。前記表示装置の能力は、前記表示装置の最大視野角及び深度範囲に対応しても良い。表示装置のこれらのプロパティが、どのビューが生成され得るか、即ち異なるビュー間の最大の差を決定する。適切なビュー即ち３次元入力の投射と組み合わせ、表示装置のこれらのプロパティに基づいて、いずれのとり得るビューにおける部分の可視性の確率もが、容易に決定されることができる。
【００１１】
本発明による方法の実施例においては、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換するステップは、平行移動、回転又は変形のうちの１つを有する。これらの幾何配置の変換のため、前記部分のトポロジは変更されない。
【００１２】
本発明の他の目的は、最初のパラグラフにおいて記載された種類のスケーリングユニットであって、知覚的に３次元入力モデルと類似し、快適な３次元の印象を持つ、スケーリングされた３次元出力モデルを提供するスケーリングユニットを提供することにある。
【００１３】
本発明の本目的は、スケーリングユニットが、
前記３次元入力モデルの各部分について、前記スケーリングされた３次元出力モデルの対応する部分が、前記スケーリングされた３次元出力モデルの２次元のビューにおいて可視であるそれぞれの確率を決定する確率決定手段を有し、該決定は、ビュー方向における前記３次元入力モデルの投射に基づき、前記スケーリングユニットは更に、
前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換する変換手段を有することによって達成される。
【００１４】
本発明の他の目的は、最初のパラグラフにおいて記載された種類の画像表示装置であって、知覚的に３次元入力モデルと類似し、快適な３次元の印象を持つ、スケーリングされた３次元出力モデルを提供する画像表示装置を提供することにある。
【００１５】
本発明の本目的は、スケーリングユニットが、
前記３次元入力モデルの各部分について、前記スケーリングされた３次元出力モデルの対応する部分が、前記スケーリングされた３次元出力モデルの２次元のビューにおいて可視であるそれぞれの確率を決定する確率決定手段を有し、該決定は、ビュー方向における前記３次元入力モデルの投射に基づき、前記スケーリングユニットは更に、
前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換する変換手段を有することによって達成される。
【００１６】
前記スケーリングユニット及び前記画像表示装置の変更、並びにそれらの変形例は、説明される方法の変更及び変形例に対応し得る。
【００１７】
本発明による方法、スケーリングユニット及び画像表示装置のこれらの及び他の態様は、以下に説明される実装及び実施例により並びに添付する図を参照しながら説明され、明らかとなるであろう。図を通して、同一の参照番号は類似の部分を示すために利用される。
【発明を実施するための最良の形態】
【００１８】
３次元情報の記憶のための幾つかのタイプのモデルがある。
−例えばＶＲＭＬ用に規定されるような、ワイヤフレーム。これらのモデルは、線と面との構造を有する。
−体積データ構造即ちボクセルマップ（ボクセルは体積要素を意味する）。これらの体積データ構造は、３次元の要素の配列を有する。各要素は３つの次元を持ち、プロパティの値を表す。例えば、ＣＴ（computer tomography）データは、各要素がそれぞれのハウンズフィールド値に対応するような体積データ構造として保存される。
−深度マップを持つ２次元画像。例えば、ＲＧＢＺ値を持つ２次元画像。このことは、各画素が、３つの色コンポーネント値と深度値とを有することを意味する。３つのカラーコンポーネント値はまた、輝度値を表す。
−画像ベースのモデル。例えば、立体画像対又はマルチビュー画像。３つのタイプの画像はライトフィールド（light field）とも呼ばれる。
或るタイプの３次元モデルにより表されたデータの、他の３次元モデルへの変換が可能である。例えば、ワイヤフレームを用いて表されたデータ又は深度マップを持つ２次元画像は、レンダリングによって、体積データ構造を用いて表されたデータ又は画像ベースのモデルに変換されることができる。
【００１９】
３次元画像表示装置によって実現されることができる深度の量は、表示装置のタイプに依存する。体積表示装置を用いては、深度の量は、該表示装置の大きさによって完全に決定される。例えば眼鏡を用いる立体ディスプレイは、観測者に依存する、深度の量についての柔軟な限界を持つ。レンズ調節と相互の眼の集束との間の「不一致」によって引き起こされる深度の量が大き過ぎると、観測者は疲労し得る。例えば複数のビューのためのレンチキュラ画面を持つＬＣＤに基づくような自動立体表示装置は、ビューに量によって決定される、理論的に最大の深度範囲ｄを持つ。図１は、自動立体表示装置１００を模式的に示す。物理的な表示装置１００の外側で且つ仮想的な四辺形１０２の内部に、特定の深度範囲内のオブジェクトを、特定の視野角α内の観測者に呈示することができる。これら２つは合わせて、画素における定数ｋを定義する。定数ｋは、表示装置１００における水平方向の画素の数Ｎの百分率である。該ｋは、前記表示装置が呈示することができる最大の視差に等しい。最大の深度範囲が超過されシャープネスの損失に帰着し得る。
【００２０】
図２（Ａ）は、３次元入力モデルの上面図を模式的に示す。前記３次元入力モデルは、サイズ及び形状の異なる幾つかのオブジェクト２００乃至２０８を有する。図２（Ｂ）は、図２（Ａ）の３次元入力モデルの前面図を模式的に示す。幾つかのオブジェクトが、完全に又は部分的に、他のオブジェクトを遮っていることが明らかに分かる。このことは、前記３次元入力モデルの幾つかの部分が、前面図において可視でないことを意味する。例えば、前記オブジェクトの１つ、即ちオブジェクト２００が、前記前面図において完全に不可視である。
【００２１】
図２（Ｃ）は、図２（Ａ）の３次元入力モデルに基づく、スケーリングされた３次元出力モデルの上面図を模式的に示す。前記３次元入力モデルのオブジェクトのうちの第１のもの２００に対応する、前記スケーリングされた３次元入力モデルのオブジェクトのうちの第１のものは、深度範囲の境界に切り落とされている。前記３次元入力モデルのオブジェクトのうちの第２のもの２０８に対応する、前記スケーリングされた３次元入力モデルのオブジェクトのうちの第２のもの２２４は、深度範囲の他方の境界の近傍に位置している。前記３次元入力モデルのオブジェクトのうちの第３のもの２０２に対応する、前記スケーリングされた３次元入力モデルのオブジェクトのうちの第３のものは、３つの部分２１０乃至２１４を有する。該３つの部分のうちの２つは可視であり、第３のもの２１２はいずれのとり得るビューにおいても可視でない。前記３次元入力モデルのオブジェクトのうちの第４のもの２０４に対応する、前記スケーリングされた３次元入力モデルのオブジェクトのうちの第４のものは、２つの部分２１６及び２１８を有する。該２つの部分のうちの第１のもの２１６は可視であり、第２のもの２１８はいずれのとり得るビューにおいても可視でない。前記３次元入力モデルのオブジェクトのうちの第５のもの２０６に対応する、前記スケーリングされた３次元入力モデルのオブジェクトのうちの第５のものは、２つの部分２２０及び２２２を有する。該２つの部分のうちの第１のもの２１０は可視であり、第２のもの２２２はいずれのとり得るビューにおいても可視でない。
【００２２】
図３（Ａ）乃至３（Ｃ）と関連して、幾つかのオブジェクト１乃至８を有する３次元入力モデルの各部分について、どのように可視性の確率が決定されるかが説明される。このことは、
ｚ−バッファスタックにより前記３次元入力モデルの投射を計算するステップと、
相互に等しいｘ値及び相互に等しいｙ値を持つ前記ｚ−バッファスタックのエレメントの対のｚ値を比較することにより、前記投射において前記ｚ−バッファスタックのエレメントのうちどれが可視であるかを示すステップと、
前記ｚ−バッファスタックのエレメントのセグメンテーションにより、ｚ−バッファスタックのエレメントのどの群が、前記３次元入力モデルのそれぞれの部分を形成するかを決定するステップと、
表示装置の能力に基づき、可視である別のｚ−バッファスタックのエレメントを有するｚ−バッファスタックのエレメントの群の一部である、ｚ−バッファスタックの各エレメントの可視性の可能性を示すステップと、
を有する本発明による方法に基づく。本例においては、ｚ−バッファスタックは、３次元入力モデルの一部に対応する。
【００２３】
図３（Ａ）は、前記３次元入力モデルに基づくビュー３０２の計算の後のｚ−バッファスタック３００の内容を模式的に示す。ｚ−バッファスタック３００は、前記３次元入力モデルの各部分を表すデータを保存するための幾つかのデータセル３０４乃至３２２を有する。該ｚ−バッファスタック３００は、３つのレベルｉ＝１、ｉ＝２及びｉ＝３を有する。ｚ−バッファスタック３００のデータセル３０４乃至３２２において示される数字１乃至８は、３次元入力モデルの種々のオブジェクト１乃至８に対応する。例えば、第１のデータセル３１２には、第２のオブジェクト２の一部に関連するデータが保存されている。ｚ−バッファスタック３００においては、３次元入力モデルの各部分のｚ値即ち深度値が保存される。加えて、対応する色及び輝度値が保存される。図３（Ａ）乃至３（Ｃ）においては、ｙ軸の１つの値についてのみ、幾つかのデータセル３０４乃至３２２が図示されている。
【００２４】
ｚ−バッファスタック３００に基づく投射の生成は、先行技術において良く知られている。ｚ−バッファスタックの性質のため、どのｚ−バッファスタックのエレメントがビュー３０２において可視であるかを決定することは非常に容易である。本例においては、最高のレベル即ちｉ＝３を持つものである。かくして、ビュー３０２においては、例えば最高のレベルｉ＝３の３０４乃至３１０のようなデータセル中にデータが保存された部分のみが存在する。図３（Ａ）において、当該ビューにおいて可視である部分に対応するデータセルが網掛けされている。本例において、第２のオブジェクト２の一部だけが可視であり、第８のオブジェクト８の一部だけが可視であることが分かる。第４のオブジェクトの大部分は可視であるが、第５のオブジェクト５によって遮られた部分を除く。
【００２５】
図３（Ｂ）は、セグメンテーションの後の、図３（Ａ）のｚ−バッファスタックの内容を模式的に示す。セグメンテーションは、ｚ−バッファスタックのエレメントのうちのどれが、３次元入力モデルのそれぞれのオブジェクト１乃至８を形成するかを決定するために適用される。この目的のため、データセルのどの群が、３次元入力モデルの種々のオブジェクトに属するデータを保存するかを決定するために、ｚ−バッファスタック３００のデータセル３０４乃至３２２の内容が分析される。該セグメンテーション、即ちオブジェクト抽出は、ｚ−バッファスタック３００の種々のデータセル３０４乃至３２２間の距離と組み合わせた、例えば色、輝度及び深度のような保存された値に基づくものである。図３（Ｂ）においては、データセルの種々の群は、端に点を持つ曲線によって示されている。
【００２６】
輝度、色及び深度に加えて、可視性の確率もまたメモリに保存される。データセル毎に、該量の値が保存される。典型的には、以下のタイプが区別され得る。
１：投射の１つにおいて、確実に可視である。
２：投射の１つにおいて、おそらく可視である。
３：投射の１つにおいて、おそらく可視でない。
４：投射の１つにおいて、確実に可視でない。
第１の投射の後、幾つかのｚ−バッファスタックのエレメント（例えば３０４及び３０６）にタイプ１が割り当てられる。他のｚ−バッファスタックのエレメントは、タイプ４又は３で初期化される。
【００２７】
セグメンテーションの後、幾つかのｚ−バッファスタックのエレメントの可視性の確率は、表示装置の能力に基づいて更新される。典型的には、可視である（タイプ１）別のｚ−バッファスタックのエレメントを有するｚ−バッファスタックのエレメントの群の一部である、各ｚ−バッファスタックのエレメントの可視性の確率が適合される。例えば、第１のデータセル３１２において、第２のオブジェクト２の一部に関するデータが保存されている。セグメンテーションの後、第１のデータセル３１２が、第２のデータセル３０４もが属するデータセルの群に属することが明らかとなった。第２のデータセル３０４は、可視であるオブジェクト２の一部に属するデータを保存していることが既知である。このことに基づき、及び既知の視野角及び深度範囲に基づき、第２のデータセル３１２の可視性の確率をタイプ２に更新することが決定される。図３（Ｃ）において、矢印３２４により、該ｚ−バッファスタックのエレメントが、他のビューにおいて可視であり得ることが示される。他のデータセル３１４乃至３２２の可視性の確率も、同様に更新される。図３（Ｃ）は、可視性の確率を更新した後の、図３（Ｂ）のｚ−バッファスタックの内容を模式的に示す。タイプ１又は２の可視性の確率が割り当てられているｚ−バッファスタックのエレメントが網掛けされている。
【００２８】
図３（Ａ）乃至３（Ｃ）に関して説明された例においては、全てのオブジェクトが透明ではなく不透明である。本発明による方法は、透明なオブジェクトに対しても適用され得ることは留意されるべきである。その場合には、ｚ−バッファスタックのエレメントのそれぞれ、即ち３次元入力モデルの各部分の透明度を表す値も、それぞれのデータセル３０４乃至３２２に保存されるべきである。
【００２９】
図４は、３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングする、本発明によるスケーリングユニット４００を模式的に示す。スケーリングユニット４００は、
前記３次元入力モデルの各部分について、前記スケーリングされた３次元出力モデルの対応する部分が、前記スケーリングされた３次元出力モデルの２次元のビューにおいて可視であるそれぞれの確率を決定する確率決定ユニット４０２と、
前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換する幾何変換ユニット４０８を有する。３次元入力モデルを表すデータは、スケーリングユニット４００の入力コネクタ４１０に供給される。スケーリングユニット４００は、スケーリングされた３次元出力モデルを表すデータを、出力コネクタ４１２において供給する。制御インタフェース４１４を介して、例えば深度範囲及び最大視野角のような、表示装置に関連する制御データが供給される。
【００３０】
確率決定ユニット４０２の動作が、図３（Ａ）乃至３（Ｃ）と共に説明される。幾何変換ユニット４０８は、最小及び最大検出ユニット４０４と、ゲイン制御ユニット４０６とを有する。最小及び最大検出ユニット４０４は、相互に等しいｘ値及び相互に等しいｙ値を持つｚ−バッファスタックのエレメントの各配列について、対応する最小ｚ値及び最大ｚ値を決定するように構成される。ゲイン制御ユニット４０６は、それぞれの最小ｚ値及び最大ｚ値と、表示装置の深度範囲とに基づいて、前記ｚ−バッファスタックのエレメントについてのスケーリングされたｚ値を計算するように構成される。本発明による幾何変換ユニット４０８の動作は、図４と共により詳細に説明される。
【００３１】
確率決定ユニット４０２、最小及び最大検出ユニット４０４並びにゲイン制御ユニット４０６は、１つのプロセッサを用い実装されても良い。通常、これらの機能は、ソフトウェアプログラムの制御の下で実行される。実行の間、前記ソフトウェアプログラムは通常ＲＡＭのようなメモリにロードされ、該メモリから実行される。前記プログラムは、ＲＯＭのようなバックグラウンドメモリ、ハードディスク、又は磁気及び／又は光記憶装置からロードされても良いし、又はインターネットのようなネットワークを介してロードされても良い。任意に、特定アプリケーション向け集積回路が、開示された機能を提供する。
【００３２】
図５は、本発明によるスケーリングユニット４００の幾何変換ユニット４０８を模式的に示す。幾何変換ユニット４０８は、図３と共に説明されたようなｚ−バッファスタック３００中のデータを処理するように設計される。
【００３３】
ｚ−バッファスタック３００に保存されているデータは、各ｘ，ｙ対について供給される。図３（Ｃ）と共に説明された例においては、配列毎に３つのレベルｉ＝１、ｉ＝２又はｉ＝３がある。前記レベルのそれぞれについてｚ値及び可視性の確率が供給される。該ｚ−バッファのエレメントがタイプ４のものである場合、即ち投射の１つにおいて確実に可視でない場合、対応するデータがクリッピングユニット５１８に供給される。そうでなければ、前記データは最大検出器５０２及び最小検出器５０４に供給される。最大検出器５０２は、ｘ，ｙ座標毎に最大のｚ値を抽出するように構成され、最小検出器５０４は、ｘ，ｙ座標毎に最小のｚ値を抽出するように構成される。各ｘ，ｙ座標についての最大ｚ値は、第１のフィルタユニット５０６に供給される。各ｘ，ｙ座標についての最小ｚ値は、第２のフィルタユニット５０８に供給される。好ましくは、第１のフィルタユニット５０６及び第２のフィルタユニット５０８は、モルフォロジック（morphologic）フィルタである。モルフォロジックフィルタは、一般的な非線形画像処理ユニットである。例えば、P.W. Verbeek、H.A. Vrooman及びL.J. van Vlietによる「Low-level image processing by max-min filters」（「Signal Processing」vol. 15、no. 3、249-258頁、1988年）と題された論文を参照されたい。第１のフィルタユニット５０６及び第２のフィルタユニット５０８として、例えばローパスフィルタのような他のタイプのフィルタが利用されても良い。第１のフィルタユニット５０６の出力は、最大ｚ値の一種のレリーフ（relief）であり、第２のフィルタユニット５０８の出力は、最小ｚ値の一種のレリーフである。
【００３４】
第１のフィルタユニット５０６及び第２のフィルタユニット５０８の出力は、第１の結合手段５１０によって組み合わせられる。第１の結合手段５１０は、２つの信号を加算し、合計を２で除算する。第１の結合手段５１０の出力は、一種の平均値、即ち平均のレリーフである。該出力は、減算ユニット５１４によって入力データから減算される。該減算は、一種のオフセット訂正として解釈され得る。
【００３５】
第１のフィルタユニット５０６及び第２のフィルタユニット５０８の出力はまた、第２の結合手段５１２によって組み合わせられる。第２の結合手段５１２は、２つの信号を減算し、合計を２で除算する。第２の結合手段５１２の出力は、減算ユニット５１４の出力データを正規化するために利用される、一種の範囲値である。該正規化は、正規化ユニット５１６によって実行される。正規化ユニット５１６の出力は、乗算器５２０に供給される。乗算器５２０は、データを利用可能な深度範囲に、又は任意に好適な深度範囲にマッピングする。本例においては、ｋは利用可能な表示深度範囲と視野角との関数である。
【００３６】
図６は、３次元入力モデルの、スケーリングされた３次元出力モデルへのスケーリングを模式的に示す。前記スケーリングは、図５と共に説明されたような伸張方法によって実行される。前記３次元入力モデルは、表示装置に利用可能な投射に対応するビューにおいて可視である、３つのオブジェクト６０２乃至６０６を有する。前記表示装置は、深度範囲ｄを持つ。伸張は、利用可能な深度範囲の利用が最適となるようにされる。このことは、特定のｘ，ｙ対について２つのオブジェクトだけがある場合には、該オブジェクトのうちの一方又はその一部が深度範囲ｄの前の境界まで移動させられ、他方のオブジェクト又はその一部が深度範囲ｄの後の境界まで移動させられることを意味する。例えば、第１の入力オブジェクト６０２は、第２の入力オブジェクト６０４と部分的にオーバラップする。即ち、第１の入力オブジェクト６０２は、第２の入力オブジェクト６０４によって部分的に遮られる。結果として、第１の入力オブジェクト６０２に対応する第１の部分６１２が深度範囲ｄの後の境界にマッピングされ、第２の入力オブジェクト６０４に対応する第１の部分６１４が深度範囲ｄの前の境界にマッピングされる。
【００３７】
特定のｘ，ｙ対について１つのオブジェクトだけがある場合には、該オブジェクト又はその一部が、深度範囲ｄの中央に移動させられる。例えば、第３の入力オブジェクト６０６に対応する第１の部分６２０が、深度範囲ｄの中央にマッピングされる。同様に、第２の入力オブジェクト６０４に対応する第２の部分６１８が深度範囲ｄの中央にマッピングされ、第１の入力オブジェクト６０２に対応する第２の部分６０８が深度範囲ｄの中央にマッピングされる。
【００３８】
同一の入力オブジェクトの部分からのマッピングをスムーズにするため、遷移部分がある。このスムージングは、第１のフィルタユニット５０６及び第２のフィルタユニット５０８によって引き起こされる。例えば、第１の入力オブジェクト６０２に対応する第３の部分６１０は、深度範囲ｄの中央から後の境界まで遷移部分を形成し、第１の入力オブジェクト６０２に対応する第１の部分６１２と第２の部分とを接続する。同様に、第２の入力オブジェクト６０４に対応する第３の部分６１６は、深度範囲ｄの中央から前の境界まで遷移部分を形成し、第２のオブジェクト６０４に対応する第１の部分６１４と第２の部分６１８とを接続する。
【００３９】
図７は、
３次元入力モデルを表す信号を受信する受信器７０２と、
前記３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングする、図４と共に説明されたようなスケーリングユニット４００と、
前記スケーリングされた３次元出力モデルのビューを可視化する表示装置１００と、
を有する、本発明による画像表示装置７００を模式的に示す。前記信号は、アンテナ又はケーブルを介して受信された放送信号であっても良いが、ＶＣＲ（Video Cassette Recorder）又はＤＶＤ（Digital Versatile Dick）のような記憶装置からの信号であっても良い。前記信号は、入力コネクタ７１０に供給される。画像表示装置７００は、例えばＴＶであっても良い。任意に、画像表示装置７００は、ハードディスクのような記憶手段、又は例えば光ディスクのような着脱可能な媒体への記憶のための手段を有する。画像表示装置７００は、映画スタジオ又は放送会社によって利用されるシステムであっても良い。
【００４０】
上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付される請求項の範囲から逸脱することなく代替の実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧の間に配置されたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprising）」なる語は、請求項に列記されていない要素又はステップの存在を除外するものではない。要素に先行する「１つの（a又はan）」なる語は、複数のかような要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記しているユニットの請求項において、これらの手段の幾つかは、同一のハードウェアのアイテムによって実施化されても良い。
【図面の簡単な説明】
【００４１】
【図１】先行技術による自動立体表示装置を模式的に示す。
【図２（Ａ）】３次元入力モデル上面図を模式的に示す。
【図２（Ｂ）】図２（Ａ）の３次元入力モデルの前面図を模式的に示す。
【図２（Ｃ）】図２（Ａ）の３次元入力モデルに基づく、スケーリングされた３次元出力モデルの上面図を模式的に示す。
【図３（Ａ）】３次元入力モデルに基づくビューの計算の後の、ｚ−バッファスタックの内容を模式的に示す。
【図３（Ｂ）】セグメンテーションの後の、図３（Ａ）のｚ−バッファスタックの内容を模式的に示す。
【図３（Ｃ）】可視性の確率を更新した後の、図３（Ｂ）のｚ−バッファスタックの内容を模式的に示す。
【図４】本発明によるスケーリングユニットを模式的に示す。
【図５】本発明によるスケーリングユニットの幾何配置変換ユニットを模式的に示す。
【図６】３次元入力モデルの、スケーリングされた３次元出力モデルへのスケーリングを模式的に示す。
【図７】本発明による画像表示装置を模式的に示す。
【特許請求の範囲】
【請求項１】
３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングする方法であって、前記方法は、
前記３次元入力モデルの各部分について、前記スケーリングされた３次元出力モデルの対応する部分が、前記スケーリングされた３次元出力モデルの２次元のビューにおいて可視であるそれぞれの確率を決定するステップを有し、該決定は、ビュー方向における前記３次元入力モデルの投射に基づき、前記方法は更に、
前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換するステップを有する方法。
【請求項２】
前記部分のうちの第１のものが可視である確率の決定が、前記部分のうちの第１のものの第１の座標の第１の値と、前記部分の第２のものの第１の座標の第２の値との比較に基づく、請求項１に記載の３次元入力モデルをスケーリングする方法。
【請求項３】
前記部分のうちの第１のものが可視である確率の決定が、前記スケーリングされた３次元出力モデルが表示される表示装置の能力に基づく、請求項２に記載の３次元入力モデルをスケーリングする方法。
【請求項４】
前記表示装置の能力は、前記表示装置の最大視野角及び深度範囲に対応する、請求項３に記載の３次元入力モデルをスケーリングする方法。
【請求項５】
前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換するステップは、平行移動、回転又は変形のうちの１つを有する、請求項１に記載の３次元入力モデルをスケーリングする方法。
【請求項６】
ｚ−バッファスタックにより前記３次元入力モデルの投射を計算するステップと、
相互に等しいｘ値及び相互に等しいｙ値を持つ前記ｚ−バッファスタックのエレメントの対のｚ値を比較することにより、前記投射において前記ｚ−バッファスタックのエレメントのうちどれが可視であるかを示すステップと、
前記ｚ−バッファスタックのエレメントのセグメンテーションにより、ｚ−バッファスタックのエレメントのどの群が、前記３次元入力モデルのそれぞれの部分を形成するかを決定するステップと、
可視である別のｚ−バッファスタックのエレメントを有するｚ−バッファスタックのエレメントの群の一部である、ｚ−バッファスタックの各エレメントの可視性の可能性を示すステップと、
を有する、請求項１に記載の３次元入力モデルをスケーリングする方法。
【請求項７】
相互に等しいｘ値及び相互に等しいｙ値を持つｚ−バッファスタックのエレメントの各配列について、対応する最小ｚ値及び最大ｚ値を決定するステップと、
それぞれの前記最小ｚ値及び最大ｚ値、並びに表示装置の深度範囲に基づいて、前記ｚ−バッファスタックのエレメントについてスケーリングされたｚ値を計算するステップと、
を更に有する、請求項６に記載の３次元入力モデルをスケーリングする方法。
【請求項８】
前記最小ｚ値の決定はモルフォロジック演算に基づく、請求項７に記載の３次元入力モデルをスケーリングする方法。
【請求項９】
３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングするスケーリングユニットであって、前記スケーリングユニットは、
前記３次元入力モデルの各部分について、前記スケーリングされた３次元出力モデルの対応する部分が、前記スケーリングされた３次元出力モデルの２次元のビューにおいて可視であるそれぞれの確率を決定する確率決定手段を有し、該決定は、ビュー方向における前記３次元入力モデルの投射に基づき、前記スケーリングユニットは更に、
前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換する変換手段を有するスケーリングユニット。
【請求項１０】
３次元入力モデルを表す信号を受信する受信手段と、
前記３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングする、請求項９に記載のスケーリングユニットと、
前記スケーリングされた３次元出力モデルのビューを可視化する表示手段と、
を有する画像表示装置。
【請求項１】
３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングする方法であって、前記方法は、
前記３次元入力モデルの各部分について、前記スケーリングされた３次元出力モデルの対応する部分が、前記スケーリングされた３次元出力モデルの２次元のビューにおいて可視であるそれぞれの確率を決定するステップを有し、該決定は、ビュー方向における前記３次元入力モデルの投射に基づき、前記方法は更に、
前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換するステップを有する方法。
【請求項２】
前記部分のうちの第１のものが可視である確率の決定が、前記部分のうちの第１のものの第１の座標の第１の値と、前記部分の第２のものの第１の座標の第２の値との比較に基づく、請求項１に記載の３次元入力モデルをスケーリングする方法。
【請求項３】
前記部分のうちの第１のものが可視である確率の決定が、前記スケーリングされた３次元出力モデルが表示される表示装置の能力に基づく、請求項２に記載の３次元入力モデルをスケーリングする方法。
【請求項４】
前記表示装置の能力は、前記表示装置の最大視野角及び深度範囲に対応する、請求項３に記載の３次元入力モデルをスケーリングする方法。
【請求項５】
前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換するステップは、平行移動、回転又は変形のうちの１つを有する、請求項１に記載の３次元入力モデルをスケーリングする方法。
【請求項６】
ｚ−バッファスタックにより前記３次元入力モデルの投射を計算するステップと、
相互に等しいｘ値及び相互に等しいｙ値を持つ前記ｚ−バッファスタックのエレメントの対のｚ値を比較することにより、前記投射において前記ｚ−バッファスタックのエレメントのうちどれが可視であるかを示すステップと、
前記ｚ−バッファスタックのエレメントのセグメンテーションにより、ｚ−バッファスタックのエレメントのどの群が、前記３次元入力モデルのそれぞれの部分を形成するかを決定するステップと、
可視である別のｚ−バッファスタックのエレメントを有するｚ−バッファスタックのエレメントの群の一部である、ｚ−バッファスタックの各エレメントの可視性の可能性を示すステップと、
を有する、請求項１に記載の３次元入力モデルをスケーリングする方法。
【請求項７】
相互に等しいｘ値及び相互に等しいｙ値を持つｚ−バッファスタックのエレメントの各配列について、対応する最小ｚ値及び最大ｚ値を決定するステップと、
それぞれの前記最小ｚ値及び最大ｚ値、並びに表示装置の深度範囲に基づいて、前記ｚ−バッファスタックのエレメントについてスケーリングされたｚ値を計算するステップと、
を更に有する、請求項６に記載の３次元入力モデルをスケーリングする方法。
【請求項８】
前記最小ｚ値の決定はモルフォロジック演算に基づく、請求項７に記載の３次元入力モデルをスケーリングする方法。
【請求項９】
３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングするスケーリングユニットであって、前記スケーリングユニットは、
前記３次元入力モデルの各部分について、前記スケーリングされた３次元出力モデルの対応する部分が、前記スケーリングされた３次元出力モデルの２次元のビューにおいて可視であるそれぞれの確率を決定する確率決定手段を有し、該決定は、ビュー方向における前記３次元入力モデルの投射に基づき、前記スケーリングユニットは更に、
前記それぞれの確率に基づいて、前記３次元入力モデルの各部分を、前記スケーリングされた３次元出力モデルのそれぞれの部分に幾何的に変換する変換手段を有するスケーリングユニット。
【請求項１０】
３次元入力モデルを表す信号を受信する受信手段と、
前記３次元入力モデルを、スケーリングされた３次元出力モデルにスケーリングする、請求項９に記載のスケーリングユニットと、
前記スケーリングされた３次元出力モデルのビューを可視化する表示手段と、
を有する画像表示装置。
【図１】
【図４】
【図５】
【図６】
【図７】
【図４】
【図５】
【図６】
【図７】
【公表番号】特表２００７−５２８０４９（Ｐ２００７−５２８０４９Ａ）
【公表日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願番号】特願２００６−５１８４７５（Ｐ２００６−５１８４７５）
【出願日】平成１６年７月５日（２００４．７．５）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５１１２４
【国際公開番号】ＷＯ２００５／００６１８１
【国際公開日】平成１７年１月２０日（２００５．１．２０）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願日】平成１６年７月５日（２００４．７．５）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５１１２４
【国際公開番号】ＷＯ２００５／００６１８１
【国際公開日】平成１７年１月２０日（２００５．１．２０）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]