画像レンダリングのための動き制御
３Ｄ視覚情報に基づいて出力画像を表示するためのディスプレイ装置（１００）が開示される。ディスプレイ装置（１００）は：３Ｄ視覚情報を表現する第一の信号（３ＤＶ）を受け取る第一の受領手段（１０１）と、出力画像の観察者の位置情報を時間の関数として表す第二の信号（Ｐ）を受け取る第二の受領手段（１１６）と、前記第二の信号（Ｐ）を高域通過フィルタ処理して第三の信号（ＰＦ）を生じるフィルタ処理手段（１２２）と、前記第一の信号（３ＤＶ）および前記第三の信号（ＰＦ）に基づいて前記出力画像をレンダリングするレンダリング手段（１１８）と、前記出力画像を表示するための表示手段（１１２）、とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ視覚情報に基づいて出力画像を表示するためのディスプレイ装置に関する。
【０００２】
本発明は、３Ｄ視覚情報に基づいて出力画像を表示する方法に関する。
【０００３】
本発明はさらに、３Ｄ視覚情報に基づいて出力画像をレンダリングする命令を有する、処理手段およびメモリをもつコンピュータ装置によって読み込まれるコンピュータプログラムプロダクトに関する。
【背景技術】
【０００４】
３Ｄ可視化の分野では、３Ｄ知覚に寄与するいくつかの奥行き情報が知られている。そのうちの二つが両眼立体視（stereoscopy）とインタラクティブ運動視差（interactive motion parallax）である。両眼立体視では、観察者の両眼は可視化されている場面についてわずかに異なる透視視点をもつ画像が呈示される。インタラクティブ運動視差では、可視化されている透視視点が観察者の頭の位置に関して適応する。
【０００５】
次に、これらの奥行き情報を観察者に呈示する二つの例を手短に述べる。第一の例では、三次元（３Ｄ）視覚情報は幾何学的な３Ｄモデルによって表現される。応用領域は、ゲームやコンピュータ援用設計（CAD: Computer Aided Design）などの合成されたコンテンツすなわちコンピュータグラフィックを含む。ここで、可視化されるべき場面は、VRML（Virtual Reality Modeling Language［仮想現実感モデル化言語］）などの幾何学的な３Ｄモデルによって記述される。観察者の頭の位置についての情報は、いわゆるヘッドトラッカーを用いて測定されるが、これが立体画像合成（レンダリング）において視点をパラメータとして設定するのに使われる。左と右のビューはたとえばCRTベースのモニター上で時間的に多重化され、電気光学式スイッチを受動的眼鏡と組み合わせたものが偏光に基づいて３Ｄ可視化を可能にする。この種の可視化は単に説明のためのものであり、裸眼立体視（auto-stereoscopy）を含む代替を使うこともできる。
【０００６】
第二の例は画像ベースのコンテンツの３Ｄ可視化に適用される。３Ｄ視覚情報は画像および対応する奥行きマップによって表現される。このフォーマットでのデータは、たとえば赤、緑、青、奥行き（RGBD: Red, Green, Blue and Depth）として保存され、交換される。これは、各ピクセルが、その対応する場面内の点からカメラまでの距離を示す奥行き値を付されているということを意味する。この表現の奥行き部分を得る方法はいくつかある。たとえば、奥行き範囲カメラを使って画像データと一緒に直接記録されたり、あるいは視差推定（disparity estimation）を使った立体記録から得たりされたものでありうる。この入力材料からの新しい視点での画像を適応的に合成するのは、いわゆる画像変形法（image warping techniques）を使って実現される。これはたとえば、Shenchang Eric Chen and Lance Williamsによる「画像合成のためのビュー補間（View interpolation for image synthesis）」Computer Graphics Annual Conference Series, Proceedings of SIGGRAPH 93, pp. 279-288において記載されている。この変形は基本的には、もとの入力画像のピクセルを奥行き値に反比例する度合いで再サンプリングし、その後その得られたデータを再サンプリングすることに帰着する。この方法の使用では、画像は変形プロセスによってゆがみを受けるので問題が生じる。ゆがみの度合いは適用される視点オフセットだけでなく、画像内容にも依存する：奥行き表現すなわち奥行きマップが比較的多くの不連続を含んでいる場合、新しい画像のある領域でオブジェクトが再出現するようなデオクルージョン（de-occlusion）がしばしば起こるのである。そのオブジェクトはもとの画像ではオクルージョンにより隠れされていたのでその情報は得られない。これは合成された画像に穴を残すことになり、何らかの方法で埋めなければならないのだが、いずれにしても画質を劣化させることになる。この劣化が観察者によって知覚される程度は、やはり内容に依存する。当該オブジェクトのまわりの背景が均一な性質であれば、穴をほかの背景情報を使って埋めてもそれほど画質を乱さない。インタラクティブ運動視差に適用されるときには、たとえば観察者が椅子を動かすなどした場合に頭の動きが比較的大きいとゆがみは深刻なものになりうる。
【発明の開示】
【課題を解決するための手段】
【０００７】
本発明の目的の一つは、冒頭で述べた種類のディスプレイ装置であって、追跡される観察者がある特定の時間の間ほとんど動かない場合に３Ｄ視覚情報のあらかじめ定義されたビューに対応するデフォルト画像をレンダリングするよう構成されたものを提供することである。
【０００８】
本発明のこの目的は、前記ディスプレイ装置が：
・３Ｄ視覚情報を表現する第一の信号を受け取る第一の受領手段と、
・出力画像の観察者の当該ディスプレイ装置に対する位置情報を時間の関数として表す第二の信号を受け取る第二の受領手段と、
・前記第二の信号を高域通過フィルタ処理して第三の信号を生じるフィルタ処理手段と、
・前記第一の信号および前記第三の信号に基づいて前記出力画像をレンダリングするレンダリング手段と、
・前記出力画像を表示するための表示手段、
とを有することによって達成される。本発明の重要な側面は画像の観察者の位置情報を表す第二の信号のフィルタ処理である。第二の信号をフィルタ処理することによって、実際の位置情報とレンダリング手段の出力との間に線形関係がなくなるが、実際の位置情報の単位時間の変化とレンダリング手段の出力との間には関係がある。それは、ある特定の時間の間の実際の位置情報の変化が０であれば、すなわち観察者の速度が０であれば、フィルタ処理手段の出力は０に等しくなるということを意味している。結果として、レンダリング手段はデフォルトの位置情報に対応するデフォルト画像をレンダリングする。これが３Ｄ視覚情報のあらかじめ定義されたビューである。他方、ある特定の時間の間の実際の位置情報の変化が比較的大きい場合には、すなわち観察者の速度および／または加速が比較的大きければ、フィルタ処理手段の出力は比較的大きく、出力画像のシーケンスはデフォルト画像に関する比較的大きな角度に対応してレンダリングされる結果となる。本発明に基づくディスプレイ装置の利点は、インタラクティブ運動視差を観察するよう意図された動きに対応しては観察者の頭のすばやい動きに基づいて反応するよう構成されており、他方、最近の動きがそのようなものとして意図されておらずたとえばただ別の位置をとったりあるいは観察者が座っている椅子を動かしたりすることによって引き起こされたものである場合には好ましいデフォルト画像を表示するよう構成されているということである。後者の場合、当該ディスプレイ装置は、前記最近の動きののちに観察者がしばらくの間ほとんど動かない場合には、結局は前記デフォルト画像が表示される状態に収束することになる。
【０００９】
３Ｄ視覚情報を表現する方法はいくつかありうる：ＶＲＭＬでの３Ｄモデルとして、三次元的なボクセルの集合として、表面の記述の集合として、あるいは画像に奥行きマップを加えたものとして。
【００１０】
本発明に基づくディスプレイ装置のある実施形態では、３Ｄ視覚情報は入力画像と対応する奥行きマップとを有しており、入力画像と出力画像とは、第三の信号のある所定の値について実質的に相互に等しい。他方、前記第三の信号のさらなる値については出力画像は入力画像に対応する場面に対する第一のビューとは異なる当該場面に対するビューを表現する。換言すれば、本発明に基づくディスプレイ装置は、最小のゆがみで出力画像を表示する。よって、観察者がしばらくの間動いていない場合には画質は最適である。入力画像と出力画像との間には些細な相違はありうる、つまり、前記画像は実質的に相互に等しいのであって、必ずしも厳密に等しいのではない。こうした相違は、たとえば、些細なゆがみ操作、量子化または入力画像に基づいて出力画像を計算するために実行されるその他の画像処理操作によって引き起こされうるものである。
【００１１】
本発明に基づくディスプレイ装置のある実施形態はさらに、前記第三の信号をある下限と上限の間に制限するためのクリッピング手段を有する。ヘッドトラッカーに起源をもつ前記第三の信号は、比較的大きな視点のオフセットが防止されるようフィルタ処理される。これは、比較的大きな頭の動きについては視点の適応性を犠牲にすることによって、付随するゆがみを防止するものである。
【００１２】
本発明に基づくディスプレイ装置のある実施形態はさらに、３Ｄ視覚情報および／または出力画像を解析するため、ならびに前記フィルタ処理手段および／またはクリッピング手段を制御するための内容解析手段を有する。好ましくは内容解析手段は、奥行きマップにおける不連続の数に対応する第一の測度、入力画像の背景の均質性に対応する第二の測度および出力画像における穴の数に対応する第三の測度を含む一組の測度の測定値を決定するよう構成されている。適用される制御は好ましくは次のようなものである：
・内容解析手段は、第一の測度が比較的大きいか、あるいは第二の測度が比較的小さいか、あるいは第三の測度が比較的大きい場合に、前記下限を上げ、および／または前記上限を下げるよう構成されており、かつ、
・内容解析手段は、第一の測度が比較的大きいか、あるいは第二の測度が比較的小さいか、あるいは第三の測度が比較的大きい場合に、フィルタ処理手段のカットオフ周波数を下げるよう構成される。
あるいはまた、制御信号がオフラインで決定され、３Ｄ視覚情報にメタデータとして埋め込まれてもよい。
【００１３】
好ましくは、当該ディスプレイ装置はマルチビューディスプレイ装置であり、さらなる出力画像をレンダリングし、前記出力画像を第一の方向に表示し、前記さらなる出力画像を第二の方向に表示するよう構成される。換言すれば、本発明を３Ｄディスプレイ装置あるいは立体ディスプレイ装置とも呼ばれるディスプレイ装置において適用することが有益である。
【００１４】
本発明のさらなる目的の一つは、冒頭で述べた種類の方法であって、追跡される観察者がある特定の時間の間ほとんど動かない場合に３Ｄ視覚情報のあらかじめ定義されたビューに対応するデフォルト画像をレンダリングする方法を提供することである。
【００１５】
本発明のこの目的は、当該方法が：
・３Ｄ視覚情報を表現する第一の信号を受け取り、
・出力画像の観察者のあるディスプレイ装置に対する位置情報を時間の関数として表す第二の信号を受け取り、
・前記第二の信号を高域通過フィルタ処理して第三の信号を生じ、
・前記第一の信号および前記第三の信号に基づいて前記出力画像をレンダリングし、
・前記出力画像を表示する、
ことを含むことによって達成される。
【００１６】
本発明のさらなる目的は、冒頭で述べた種類のコンピュータプログラムプロダクトであって、追跡される観察者がある特定の時間の間ほとんど動かない場合に３Ｄ視覚情報のあらかじめ定義されたビューに対応するデフォルト画像をレンダリングするようなものを提供することである。
【００１７】
本発明のこの目的は、前記コンピュータプログラムプロダクトが、ロードされたのち、前記処理手段に：
・３Ｄ視覚情報を表現する第一の信号を受け取り、
・出力画像の観察者のあるディスプレイ装置に対する位置情報を時間の関数として表す第二の信号を受け取り、
・前記第二の信号を高域通過フィルタ処理して第三の信号を生じ、
・前記第一の信号および前記第三の信号に基づいて前記出力画像をレンダリングする、
ことを実行する機能を与えることによって達成される。
【００１８】
前記ディスプレイ装置の修正およびその変形が記載されている前記方法および前記コンピュータプログラムプロダクトの修正および変形に対応することがある。
【００１９】
これらのことを含む、本発明に基づくディスプレイ装置、方法およびコンピュータプログラムプロダクトのさまざまな側面は、付属の図面を参照しつつ以下に述べる実装および実施形態から明らかとなり、またそれに関連して明快に説明されるであろう。
【００２０】
同じ参照符号は各図面を通じて同様の部分を示すのに使っている。
【発明を実施するための最良の形態】
【００２１】
図１は、本発明に基づくディスプレイ装置１００の実施形態を概略的に示している。ディスプレイ装置１００は、３Ｄ視覚情報および与えられる位置情報に基づいて出力画像を表示するよう構成されている。典型的には、ディスプレイ装置１００は、観察者１０４すなわち見る者の当該ディスプレイ装置１００に対する位置１０２を決定するよう構成されたヘッドトラッカー１０８に接続されている。あるいはまた、ディスプレイ装置はそのようなヘッドトラッカー１０８を含んでいる。観察者１０４の位置１０２は超音波トラッキングシステムによって検知されてもよいし、あるいは観察者１０４が磁石を身につけて自分の位置１０２を磁気トラッキングシステムに示すようになっていてもよい。あるさらなる実施形態では、一つまたは複数のカメラが観察者の位置を決定するために観察者の領域を走査してもよい。たとえば、観察者の目を認識するシステムに画像データを供給するなどである。さらにいま一つの実施形態では、観察者１０４は赤外線エネルギーのような電磁エネルギーを反射する反射器を身につけてもよい。走査赤外線源と赤外線検出器、または広角赤外線源と走査赤外線検出器が、好ましくは観察者１０４の両目の間に付けられた反射器の位置を決定する。
【００２２】
当該ディスプレイ装置１００は：
・３Ｄ視覚（visual）情報を表す第一の信号３ＤＶを受け取るための第一の入力ユニット１０１と、
・観察者の位置（positional）情報を時間の関数として表す第二の信号Ｐを受け取る第二の入力ユニット１１６と、
・前記第二の信号Ｐを高域通過フィルタ処理して第三の信号ＰＦを生じる高域通過フィルタ（filter）ユニット１２２と、
・前記第一の信号３ＤＶおよび前記第三の信号ＰＦに基づいて出力画像をレンダリングするレンダリングユニット１１８と、
・前記出力画像を表示する表示デバイス１１２、
とを有する。
【００２３】
ディスプレイ装置１００は任意的に、前記第三の信号ＰＦをある下限と上限との間に制限（clip）して第四の信号ＰＦＣを生じるためのクリッピングユニット１２４を有する。
【００２４】
ディスプレイ装置１００は任意的に、前記第四の信号ＰＦＣを変換してレンダリングに適切な値をもつ第五の信号ＰＰにする信号変換ユニット１２６を有する。この変換は、スケーリングまたは座標系の間のマッピングを含みうる。座標系の間のマッピングとはたとえば、観察者の世界座標から３Ｄ視覚情報のビュー座標へ、あるいはデカルト座標から極座標へといったものである。
【００２５】
ディスプレイ装置１００の動作について以下に図１および図２との関連で述べる。図２は、本発明に基づくディスプレイ装置１００によって生成される３つの異なる出力画像２００〜２０４を示している。第一の信号３ＤＶは入力画像および対応する奥行きマップを含んでいるものとする。観察者１０４はある特定の時刻に、表示デバイス１１２の前のある特定の位置１０２に位置しているとする。この特定の位置１０２はヘッドトラッカー１０８の座標系の空間的な原点に一致する。ディスプレイ装置１００は出力画像の第一のもの２００を表示する。この出力画像の第一のもの２００は人物の一部分、すなわち頭２０８、肩２１０および右腕２１２を表している。観察者１０４がまっすぐにこの人物の目２０６を見つめることができるように見える。出力画像のこの第一のもの２００はディスプレイ装置１００に与えられている入力画像と実質等しい。
【００２６】
次に、観察者１０４は第一の矢印１０５で示されている方向にすばやく移動する。ヘッドトラッカー１０８はその動きを検出して、第二の信号Ｐをしかるべく出力する。第二の信号は高域通過フィルタユニット１２２によって高域通過フィルタ処理される。高域通過フィルタユニット１２２の出力は任意的にクリッピングされ、変換され、結果的にレンダリングユニット１１８に与えられる。結果として、レンダリングユニット１１８は入力画像、奥行きマップおよびフィルタ処理された位置情報に基づいて一連の出力画像の計算を開始する。出力画像のそれぞれは、前記位置情報に対応する処理済み信号の異なる値に基づいたものである。出力画像は好ましくはShenchang Eric Chen and Lance Williamsによる「画像合成のためのビュー補間（View interpolation for image synthesis）」Computer Graphics Annual Conference Series, Proceedings of SIGGRAPH 93, pp. 279-288に記載されているように計算される。図２には、前記表示デバイス１１２上に表示されている、前記一連の出力の第二のもの２０４が描かれている。この前記出力画像の第二のもの２０４は前記人物の同じ部分、すなわち頭２０８、肩２１０および右腕２１２を表している。しかし、今回は観察者１０４がまっすぐにこの人物の目２０６を見つめられないようであり、当該人物が頭２０８をやや左に回したように見える。
【００２７】
観察者１０４がその後比較的すばやく逆方向、すなわち第二の矢印１０３で示されている方向に移動した場合、同様のプロセスが実行される。その結果は、観察者１０４は出力画像の第三のもの２０２を見せられる。出力画像のこの第三のもの２０２もやはり前記人物の同じ部分、すなわち頭２０８、肩２１０および右腕２１２を表している。ここでも観察者１０４がまっすぐにこの人物の目２０６を見つめられないように見えている。ただし、今回は当該人物は頭２０８をやや右に回したように見える。
【００２８】
クリッピングユニット１２４は前記第三の高域通過フィルタ処理された信号ＰＦを、所定の閾値を超えている場合に制限する。その結果、観察者１０４は、原点１０２に対する距離ｄ１およびｄ２にそれぞれ対応する位置１０７および１０９のいずれについても、出力画像の同じ第三のもの２０２を呈示される。
【００２９】
上述したように、動きのために、観察者１０４はある場面についての異なるビューに対応する異なる出力画像２００〜２０４を呈示される。こうした画像呈示現象はインタラクティブ運動視差と呼ばれる。
【００３０】
観察者が第二の位置１０７に位置しており、しばらくの間、たとえば１ないし５秒間動いていないとする。その結果、高域通過フィルタ処理した第三の信号ＰＦの値は０に等しくなる。レンダリングユニット１１８はデフォルトの出力画像、すなわち出力画像のうちの第一のもの２００を生成することになる。
【００３１】
観察者が第二の位置１０７から第二の矢印１０３で示される方向に動き始める場合、観察者は出力画像の第三のもの２０２を呈示されることになる。観察者が第二の位置１０７から第一の矢印１０５で示される逆の方向に動き始める場合、観察者は出力画像の第二のもの２０４を呈示されることになる。
【００３２】
第一の入力ユニット１０１、第二の入力ユニット１１６、高域通過フィルタユニット１２２、クリッピングユニット１２４、レンダリングユニット１１８および信号変換ユニット１２６は、一つのプロセッサを使って実装してもよい。通常はこれらの機能はソフトウェアプログラムプロダクトの制御のもとに実行される。実行の間、通常は前記ソフトウェアプログラムプロダクトはＲＡＭのようなメモリにロードされ、そこから実行される。前記プログラムはＲＯＭ，ハードディスクまたは磁気および／もしくは光学式記憶のようなバックグラウンドメモリからロードされてもよいし、あるいはインターネットのようなネットワークを通じてロードされてもよい。任意的に、アプリケーション固有の集積回路が前記開示された機能を提供する。
【実施例】
【００３３】
図３は、本発明に基づく立体視ディスプレイ装置３００を概略的に示している。この実施形態３００の動作は、図１および図２との関連で述べた実施形態１００の動作と実質等しい。いくつかの相違点について以下に述べる。
【００３４】
立体視ディスプレイ装置３００は左目の出力画像をレンダリングするためのレンダリングユニット１１８と、右目の出力画像をレンダリングするためのさらなるレンダリングユニット１２０を有しており、左目の出力画像と右目の出力画像はステレオ対を形成している。ステレオ対の両方の出力画像は図１との関連で述べたように計算される。ただし、レンダリングユニット１１８とさらなるレンダリングユニット１２０については、異なる位置情報信号ＰＰＬおよびＰＰＲが与えられる。これら二つの信号ＰＰＬおよびＰＰＲの間の相違は、観察者１０４の両目の間の距離（または想定される距離）に関係している。左目の出力画像と右目の出力画像はマルチプレクサユニット１１４によって時間的に多重化され、ＣＲＴベースの表示デバイス１１２上に表示される。電気光学式スイッチ１１０を受動的眼鏡１０６と組み合わせたものが偏光に基づいて立体的な可視化を可能にする。この種の可視化は単に説明のためのものであり、裸眼立体視を含めさまざまな代替を使うこともできる。
【００３５】
立体視ディスプレイ装置３００はさらに、クリッピングユニット１２４と高域通過フィルタユニット１２２を制御するよう構成された画像内容解析器１２８を有している。ディスプレイ装置３００の挙動は、出力信号の適切な画質を目標とするようなものである。それは、クリッピングユニット１２４が、より低い画質が予想される出力画像の場合には変換特性４００の線形部分４０６を狭めるということを意味する。線形部分を狭めることは、最大出力値Cmax４０２を下げるか、および／または最小出力値Cmin４０４を上げることに対応する。前記予想は、入力画像を出力画像に変形させる間に数えられた穴の数または入力画像の背景の解析に基づいてできる。背景の解析は好ましくはテクスチャー解析を含む。たとえば、入力画像の高域通過フィルタ処理に続けて任意的に閾値処理を行うことによるものである。比較的多くの高周波成分の存在は、詳細構造のある背景の指標である。
【００３６】
好ましくは、変形の間に背景についての情報も利用される。ゆがみ問題を軽減するある既知の方法は、前記の画像と奥行きとを、オクルージョンで隠された領域についての情報を用いて補うことである。そのような情報は、ステレオ記録から得られる画像と奥行き情報について得ることができる。さらに、ますます多くの映画がクロマキーを利用するようになっている。これは、映画出演者が映画スタジオ内の青または緑の背景の前で演技をしてあとで編集段階でもとの青または緑の背景が所望の背景で置き換えられる（キー・アウトされる）という方法である。所望の背景というのは、たとえば屋外撮影、ミニチュア撮影あるいはＣＧ素材など、あらゆる種類の映画素材に基づくものでありうる。そのような場合については、俳優によって隠される部分も含めた完全な背景が利用可能であり、前記の画像および奥行き情報との組み合わせにおいて交換されうる。ビデオ符号化規格ＭＰＥＧ−４はそのような補足をいわゆる高機能層（enhancement layers）を使うことによってサポートしている。
【００３７】
前述したように、ディスプレイ装置３００の挙動は、出力信号の適切な画質を目標とするようなものである。それは、高域通過フィルタユニット１２２が、より低い画質が予想される出力画像の場合にはデフォルトの出力画像２００に戻るようより速く反応するということを意味する。前記予想は、入力画像を出力画像に変形させる間に数えられた穴の数または入力画像の背景の解析に基づいてできる。奥行きマップにおける不連続の数の推定も、予想される画質を定量化する一つの方法である。
【００３８】
図１および図３との関連でそれぞれ述べたディスプレイ装置１００および３００の実施形態においては、３Ｄ視覚情報は画像および奥行きマップとして与えられているが、代替的な実施形態は表現されている３Ｄ視覚情報を異なる方法で受け取ることができることは明らかであろう。たとえば、ＶＲＭＬでの３Ｄモデルとして、三次元的なボクセルの集合として、あるいは表面の記述の集合として受け取るのである。そのような場合、レンダリングユニット１１８および１２０によって実行されるレンダリングは他の種類のものになる。
【００３９】
任意的に、高域通過フィルタユニット１２２のフィルタ特性はクリッピングユニット１２４に基づいて制御される。クリッピングユニット１２４の入力ＰＦがクリッピングされるか否かの事実に依存してカットオフ周波数が適応されるのである。それに加えて、高域通過フィルタユニット１２２がいわゆる非対称な挙動をもつことが好ましい。たとえば、動きに対しては高速に応答し、静止に対しては緩慢に応答するのである。
【００４０】
本ディスプレイ装置はビデオ会議システム、テレビのような消費者デバイスまたはゲームデバイスの一部でもよい。
【００４１】
図５は、ヘッドトラッカー１０８によって与えられる（入力の）ヘッドトラッカー信号Ｐとそのヘッドトラッカー信号Ｐから導出される（出力の）高域通過フィルタ処理信号ＰＦとを示している。適用されたフィルタは、カットオフ周波数０．０５Ｈｚをもつ一次の高域通過フィルタである。図５では、高域通過フィルタ処理された信号ＰＦがヘッドトラッカー信号Ｐと時刻＝０から時刻＝５秒までについては比較的よく一致していることがはっきり見て取れる。時刻＝６秒よりあとでは、高域通過フィルタ処理された信号ＰＦはゆっくりと、ヘッドトラッカー１０８の座標系の空間的な原点に一致する特定の位置１０２に属するデフォルト値へと収束していくことがわかる。換言すれば、約０．２〜０．２５メートルの空間的オフセットに対応するヘッドトラッカー信号Ｐにおける低周波部分が抑制されているのである。
【００４２】
上述した実施形態は本発明を限定するというよりは説明するものであって、当業者は付属の特許請求の範囲から外れることなく代替的な実施形態を考案することができるであろうことを注意しておく。請求項において、括弧内に置かれた参照符号があったとしてもそれが当該請求項を限定するものと解釈してはならない。「有する」の語は請求項に挙げられていない要素またはステップの存在を排除するものではない。要素の単数形の表現はそのような要素が複数存在することを排除するものではない。本発明は、いくつかの相異なる要素を有するハードウェアによって、および好適にプログラムされたコンピュータによって実装できる。いくつかの手段を列挙しているユニット請求項においては、それらの手段のいくつかが同一のハードウェア項目によって具現されることもできる。第一、第二、第三などの語の使用はいかなる順序も示すものではない。これらの語は名称と解釈されるべきものである。
【図面の簡単な説明】
【００４３】
【図１】本発明に基づくディスプレイ装置の実施形態を概略的に示す図である。
【図２】図１のディスプレイ装置によって生成される３つの異なる出力画像を示す図である。
【図３】本発明に基づく立体視ディスプレイ装置のある実施形態を概略的に示す図である。
【図４】クリッピングユニットの転送特性を概略的に示す図である。
【図５】ヘッドトラッカーによって与えられるヘッドトラッカー信号およびそのヘッドトラッカー信号から導出された高域通過信号を示す図である。
【技術分野】
【０００１】
本発明は、３Ｄ視覚情報に基づいて出力画像を表示するためのディスプレイ装置に関する。
【０００２】
本発明は、３Ｄ視覚情報に基づいて出力画像を表示する方法に関する。
【０００３】
本発明はさらに、３Ｄ視覚情報に基づいて出力画像をレンダリングする命令を有する、処理手段およびメモリをもつコンピュータ装置によって読み込まれるコンピュータプログラムプロダクトに関する。
【背景技術】
【０００４】
３Ｄ可視化の分野では、３Ｄ知覚に寄与するいくつかの奥行き情報が知られている。そのうちの二つが両眼立体視（stereoscopy）とインタラクティブ運動視差（interactive motion parallax）である。両眼立体視では、観察者の両眼は可視化されている場面についてわずかに異なる透視視点をもつ画像が呈示される。インタラクティブ運動視差では、可視化されている透視視点が観察者の頭の位置に関して適応する。
【０００５】
次に、これらの奥行き情報を観察者に呈示する二つの例を手短に述べる。第一の例では、三次元（３Ｄ）視覚情報は幾何学的な３Ｄモデルによって表現される。応用領域は、ゲームやコンピュータ援用設計（CAD: Computer Aided Design）などの合成されたコンテンツすなわちコンピュータグラフィックを含む。ここで、可視化されるべき場面は、VRML（Virtual Reality Modeling Language［仮想現実感モデル化言語］）などの幾何学的な３Ｄモデルによって記述される。観察者の頭の位置についての情報は、いわゆるヘッドトラッカーを用いて測定されるが、これが立体画像合成（レンダリング）において視点をパラメータとして設定するのに使われる。左と右のビューはたとえばCRTベースのモニター上で時間的に多重化され、電気光学式スイッチを受動的眼鏡と組み合わせたものが偏光に基づいて３Ｄ可視化を可能にする。この種の可視化は単に説明のためのものであり、裸眼立体視（auto-stereoscopy）を含む代替を使うこともできる。
【０００６】
第二の例は画像ベースのコンテンツの３Ｄ可視化に適用される。３Ｄ視覚情報は画像および対応する奥行きマップによって表現される。このフォーマットでのデータは、たとえば赤、緑、青、奥行き（RGBD: Red, Green, Blue and Depth）として保存され、交換される。これは、各ピクセルが、その対応する場面内の点からカメラまでの距離を示す奥行き値を付されているということを意味する。この表現の奥行き部分を得る方法はいくつかある。たとえば、奥行き範囲カメラを使って画像データと一緒に直接記録されたり、あるいは視差推定（disparity estimation）を使った立体記録から得たりされたものでありうる。この入力材料からの新しい視点での画像を適応的に合成するのは、いわゆる画像変形法（image warping techniques）を使って実現される。これはたとえば、Shenchang Eric Chen and Lance Williamsによる「画像合成のためのビュー補間（View interpolation for image synthesis）」Computer Graphics Annual Conference Series, Proceedings of SIGGRAPH 93, pp. 279-288において記載されている。この変形は基本的には、もとの入力画像のピクセルを奥行き値に反比例する度合いで再サンプリングし、その後その得られたデータを再サンプリングすることに帰着する。この方法の使用では、画像は変形プロセスによってゆがみを受けるので問題が生じる。ゆがみの度合いは適用される視点オフセットだけでなく、画像内容にも依存する：奥行き表現すなわち奥行きマップが比較的多くの不連続を含んでいる場合、新しい画像のある領域でオブジェクトが再出現するようなデオクルージョン（de-occlusion）がしばしば起こるのである。そのオブジェクトはもとの画像ではオクルージョンにより隠れされていたのでその情報は得られない。これは合成された画像に穴を残すことになり、何らかの方法で埋めなければならないのだが、いずれにしても画質を劣化させることになる。この劣化が観察者によって知覚される程度は、やはり内容に依存する。当該オブジェクトのまわりの背景が均一な性質であれば、穴をほかの背景情報を使って埋めてもそれほど画質を乱さない。インタラクティブ運動視差に適用されるときには、たとえば観察者が椅子を動かすなどした場合に頭の動きが比較的大きいとゆがみは深刻なものになりうる。
【発明の開示】
【課題を解決するための手段】
【０００７】
本発明の目的の一つは、冒頭で述べた種類のディスプレイ装置であって、追跡される観察者がある特定の時間の間ほとんど動かない場合に３Ｄ視覚情報のあらかじめ定義されたビューに対応するデフォルト画像をレンダリングするよう構成されたものを提供することである。
【０００８】
本発明のこの目的は、前記ディスプレイ装置が：
・３Ｄ視覚情報を表現する第一の信号を受け取る第一の受領手段と、
・出力画像の観察者の当該ディスプレイ装置に対する位置情報を時間の関数として表す第二の信号を受け取る第二の受領手段と、
・前記第二の信号を高域通過フィルタ処理して第三の信号を生じるフィルタ処理手段と、
・前記第一の信号および前記第三の信号に基づいて前記出力画像をレンダリングするレンダリング手段と、
・前記出力画像を表示するための表示手段、
とを有することによって達成される。本発明の重要な側面は画像の観察者の位置情報を表す第二の信号のフィルタ処理である。第二の信号をフィルタ処理することによって、実際の位置情報とレンダリング手段の出力との間に線形関係がなくなるが、実際の位置情報の単位時間の変化とレンダリング手段の出力との間には関係がある。それは、ある特定の時間の間の実際の位置情報の変化が０であれば、すなわち観察者の速度が０であれば、フィルタ処理手段の出力は０に等しくなるということを意味している。結果として、レンダリング手段はデフォルトの位置情報に対応するデフォルト画像をレンダリングする。これが３Ｄ視覚情報のあらかじめ定義されたビューである。他方、ある特定の時間の間の実際の位置情報の変化が比較的大きい場合には、すなわち観察者の速度および／または加速が比較的大きければ、フィルタ処理手段の出力は比較的大きく、出力画像のシーケンスはデフォルト画像に関する比較的大きな角度に対応してレンダリングされる結果となる。本発明に基づくディスプレイ装置の利点は、インタラクティブ運動視差を観察するよう意図された動きに対応しては観察者の頭のすばやい動きに基づいて反応するよう構成されており、他方、最近の動きがそのようなものとして意図されておらずたとえばただ別の位置をとったりあるいは観察者が座っている椅子を動かしたりすることによって引き起こされたものである場合には好ましいデフォルト画像を表示するよう構成されているということである。後者の場合、当該ディスプレイ装置は、前記最近の動きののちに観察者がしばらくの間ほとんど動かない場合には、結局は前記デフォルト画像が表示される状態に収束することになる。
【０００９】
３Ｄ視覚情報を表現する方法はいくつかありうる：ＶＲＭＬでの３Ｄモデルとして、三次元的なボクセルの集合として、表面の記述の集合として、あるいは画像に奥行きマップを加えたものとして。
【００１０】
本発明に基づくディスプレイ装置のある実施形態では、３Ｄ視覚情報は入力画像と対応する奥行きマップとを有しており、入力画像と出力画像とは、第三の信号のある所定の値について実質的に相互に等しい。他方、前記第三の信号のさらなる値については出力画像は入力画像に対応する場面に対する第一のビューとは異なる当該場面に対するビューを表現する。換言すれば、本発明に基づくディスプレイ装置は、最小のゆがみで出力画像を表示する。よって、観察者がしばらくの間動いていない場合には画質は最適である。入力画像と出力画像との間には些細な相違はありうる、つまり、前記画像は実質的に相互に等しいのであって、必ずしも厳密に等しいのではない。こうした相違は、たとえば、些細なゆがみ操作、量子化または入力画像に基づいて出力画像を計算するために実行されるその他の画像処理操作によって引き起こされうるものである。
【００１１】
本発明に基づくディスプレイ装置のある実施形態はさらに、前記第三の信号をある下限と上限の間に制限するためのクリッピング手段を有する。ヘッドトラッカーに起源をもつ前記第三の信号は、比較的大きな視点のオフセットが防止されるようフィルタ処理される。これは、比較的大きな頭の動きについては視点の適応性を犠牲にすることによって、付随するゆがみを防止するものである。
【００１２】
本発明に基づくディスプレイ装置のある実施形態はさらに、３Ｄ視覚情報および／または出力画像を解析するため、ならびに前記フィルタ処理手段および／またはクリッピング手段を制御するための内容解析手段を有する。好ましくは内容解析手段は、奥行きマップにおける不連続の数に対応する第一の測度、入力画像の背景の均質性に対応する第二の測度および出力画像における穴の数に対応する第三の測度を含む一組の測度の測定値を決定するよう構成されている。適用される制御は好ましくは次のようなものである：
・内容解析手段は、第一の測度が比較的大きいか、あるいは第二の測度が比較的小さいか、あるいは第三の測度が比較的大きい場合に、前記下限を上げ、および／または前記上限を下げるよう構成されており、かつ、
・内容解析手段は、第一の測度が比較的大きいか、あるいは第二の測度が比較的小さいか、あるいは第三の測度が比較的大きい場合に、フィルタ処理手段のカットオフ周波数を下げるよう構成される。
あるいはまた、制御信号がオフラインで決定され、３Ｄ視覚情報にメタデータとして埋め込まれてもよい。
【００１３】
好ましくは、当該ディスプレイ装置はマルチビューディスプレイ装置であり、さらなる出力画像をレンダリングし、前記出力画像を第一の方向に表示し、前記さらなる出力画像を第二の方向に表示するよう構成される。換言すれば、本発明を３Ｄディスプレイ装置あるいは立体ディスプレイ装置とも呼ばれるディスプレイ装置において適用することが有益である。
【００１４】
本発明のさらなる目的の一つは、冒頭で述べた種類の方法であって、追跡される観察者がある特定の時間の間ほとんど動かない場合に３Ｄ視覚情報のあらかじめ定義されたビューに対応するデフォルト画像をレンダリングする方法を提供することである。
【００１５】
本発明のこの目的は、当該方法が：
・３Ｄ視覚情報を表現する第一の信号を受け取り、
・出力画像の観察者のあるディスプレイ装置に対する位置情報を時間の関数として表す第二の信号を受け取り、
・前記第二の信号を高域通過フィルタ処理して第三の信号を生じ、
・前記第一の信号および前記第三の信号に基づいて前記出力画像をレンダリングし、
・前記出力画像を表示する、
ことを含むことによって達成される。
【００１６】
本発明のさらなる目的は、冒頭で述べた種類のコンピュータプログラムプロダクトであって、追跡される観察者がある特定の時間の間ほとんど動かない場合に３Ｄ視覚情報のあらかじめ定義されたビューに対応するデフォルト画像をレンダリングするようなものを提供することである。
【００１７】
本発明のこの目的は、前記コンピュータプログラムプロダクトが、ロードされたのち、前記処理手段に：
・３Ｄ視覚情報を表現する第一の信号を受け取り、
・出力画像の観察者のあるディスプレイ装置に対する位置情報を時間の関数として表す第二の信号を受け取り、
・前記第二の信号を高域通過フィルタ処理して第三の信号を生じ、
・前記第一の信号および前記第三の信号に基づいて前記出力画像をレンダリングする、
ことを実行する機能を与えることによって達成される。
【００１８】
前記ディスプレイ装置の修正およびその変形が記載されている前記方法および前記コンピュータプログラムプロダクトの修正および変形に対応することがある。
【００１９】
これらのことを含む、本発明に基づくディスプレイ装置、方法およびコンピュータプログラムプロダクトのさまざまな側面は、付属の図面を参照しつつ以下に述べる実装および実施形態から明らかとなり、またそれに関連して明快に説明されるであろう。
【００２０】
同じ参照符号は各図面を通じて同様の部分を示すのに使っている。
【発明を実施するための最良の形態】
【００２１】
図１は、本発明に基づくディスプレイ装置１００の実施形態を概略的に示している。ディスプレイ装置１００は、３Ｄ視覚情報および与えられる位置情報に基づいて出力画像を表示するよう構成されている。典型的には、ディスプレイ装置１００は、観察者１０４すなわち見る者の当該ディスプレイ装置１００に対する位置１０２を決定するよう構成されたヘッドトラッカー１０８に接続されている。あるいはまた、ディスプレイ装置はそのようなヘッドトラッカー１０８を含んでいる。観察者１０４の位置１０２は超音波トラッキングシステムによって検知されてもよいし、あるいは観察者１０４が磁石を身につけて自分の位置１０２を磁気トラッキングシステムに示すようになっていてもよい。あるさらなる実施形態では、一つまたは複数のカメラが観察者の位置を決定するために観察者の領域を走査してもよい。たとえば、観察者の目を認識するシステムに画像データを供給するなどである。さらにいま一つの実施形態では、観察者１０４は赤外線エネルギーのような電磁エネルギーを反射する反射器を身につけてもよい。走査赤外線源と赤外線検出器、または広角赤外線源と走査赤外線検出器が、好ましくは観察者１０４の両目の間に付けられた反射器の位置を決定する。
【００２２】
当該ディスプレイ装置１００は：
・３Ｄ視覚（visual）情報を表す第一の信号３ＤＶを受け取るための第一の入力ユニット１０１と、
・観察者の位置（positional）情報を時間の関数として表す第二の信号Ｐを受け取る第二の入力ユニット１１６と、
・前記第二の信号Ｐを高域通過フィルタ処理して第三の信号ＰＦを生じる高域通過フィルタ（filter）ユニット１２２と、
・前記第一の信号３ＤＶおよび前記第三の信号ＰＦに基づいて出力画像をレンダリングするレンダリングユニット１１８と、
・前記出力画像を表示する表示デバイス１１２、
とを有する。
【００２３】
ディスプレイ装置１００は任意的に、前記第三の信号ＰＦをある下限と上限との間に制限（clip）して第四の信号ＰＦＣを生じるためのクリッピングユニット１２４を有する。
【００２４】
ディスプレイ装置１００は任意的に、前記第四の信号ＰＦＣを変換してレンダリングに適切な値をもつ第五の信号ＰＰにする信号変換ユニット１２６を有する。この変換は、スケーリングまたは座標系の間のマッピングを含みうる。座標系の間のマッピングとはたとえば、観察者の世界座標から３Ｄ視覚情報のビュー座標へ、あるいはデカルト座標から極座標へといったものである。
【００２５】
ディスプレイ装置１００の動作について以下に図１および図２との関連で述べる。図２は、本発明に基づくディスプレイ装置１００によって生成される３つの異なる出力画像２００〜２０４を示している。第一の信号３ＤＶは入力画像および対応する奥行きマップを含んでいるものとする。観察者１０４はある特定の時刻に、表示デバイス１１２の前のある特定の位置１０２に位置しているとする。この特定の位置１０２はヘッドトラッカー１０８の座標系の空間的な原点に一致する。ディスプレイ装置１００は出力画像の第一のもの２００を表示する。この出力画像の第一のもの２００は人物の一部分、すなわち頭２０８、肩２１０および右腕２１２を表している。観察者１０４がまっすぐにこの人物の目２０６を見つめることができるように見える。出力画像のこの第一のもの２００はディスプレイ装置１００に与えられている入力画像と実質等しい。
【００２６】
次に、観察者１０４は第一の矢印１０５で示されている方向にすばやく移動する。ヘッドトラッカー１０８はその動きを検出して、第二の信号Ｐをしかるべく出力する。第二の信号は高域通過フィルタユニット１２２によって高域通過フィルタ処理される。高域通過フィルタユニット１２２の出力は任意的にクリッピングされ、変換され、結果的にレンダリングユニット１１８に与えられる。結果として、レンダリングユニット１１８は入力画像、奥行きマップおよびフィルタ処理された位置情報に基づいて一連の出力画像の計算を開始する。出力画像のそれぞれは、前記位置情報に対応する処理済み信号の異なる値に基づいたものである。出力画像は好ましくはShenchang Eric Chen and Lance Williamsによる「画像合成のためのビュー補間（View interpolation for image synthesis）」Computer Graphics Annual Conference Series, Proceedings of SIGGRAPH 93, pp. 279-288に記載されているように計算される。図２には、前記表示デバイス１１２上に表示されている、前記一連の出力の第二のもの２０４が描かれている。この前記出力画像の第二のもの２０４は前記人物の同じ部分、すなわち頭２０８、肩２１０および右腕２１２を表している。しかし、今回は観察者１０４がまっすぐにこの人物の目２０６を見つめられないようであり、当該人物が頭２０８をやや左に回したように見える。
【００２７】
観察者１０４がその後比較的すばやく逆方向、すなわち第二の矢印１０３で示されている方向に移動した場合、同様のプロセスが実行される。その結果は、観察者１０４は出力画像の第三のもの２０２を見せられる。出力画像のこの第三のもの２０２もやはり前記人物の同じ部分、すなわち頭２０８、肩２１０および右腕２１２を表している。ここでも観察者１０４がまっすぐにこの人物の目２０６を見つめられないように見えている。ただし、今回は当該人物は頭２０８をやや右に回したように見える。
【００２８】
クリッピングユニット１２４は前記第三の高域通過フィルタ処理された信号ＰＦを、所定の閾値を超えている場合に制限する。その結果、観察者１０４は、原点１０２に対する距離ｄ１およびｄ２にそれぞれ対応する位置１０７および１０９のいずれについても、出力画像の同じ第三のもの２０２を呈示される。
【００２９】
上述したように、動きのために、観察者１０４はある場面についての異なるビューに対応する異なる出力画像２００〜２０４を呈示される。こうした画像呈示現象はインタラクティブ運動視差と呼ばれる。
【００３０】
観察者が第二の位置１０７に位置しており、しばらくの間、たとえば１ないし５秒間動いていないとする。その結果、高域通過フィルタ処理した第三の信号ＰＦの値は０に等しくなる。レンダリングユニット１１８はデフォルトの出力画像、すなわち出力画像のうちの第一のもの２００を生成することになる。
【００３１】
観察者が第二の位置１０７から第二の矢印１０３で示される方向に動き始める場合、観察者は出力画像の第三のもの２０２を呈示されることになる。観察者が第二の位置１０７から第一の矢印１０５で示される逆の方向に動き始める場合、観察者は出力画像の第二のもの２０４を呈示されることになる。
【００３２】
第一の入力ユニット１０１、第二の入力ユニット１１６、高域通過フィルタユニット１２２、クリッピングユニット１２４、レンダリングユニット１１８および信号変換ユニット１２６は、一つのプロセッサを使って実装してもよい。通常はこれらの機能はソフトウェアプログラムプロダクトの制御のもとに実行される。実行の間、通常は前記ソフトウェアプログラムプロダクトはＲＡＭのようなメモリにロードされ、そこから実行される。前記プログラムはＲＯＭ，ハードディスクまたは磁気および／もしくは光学式記憶のようなバックグラウンドメモリからロードされてもよいし、あるいはインターネットのようなネットワークを通じてロードされてもよい。任意的に、アプリケーション固有の集積回路が前記開示された機能を提供する。
【実施例】
【００３３】
図３は、本発明に基づく立体視ディスプレイ装置３００を概略的に示している。この実施形態３００の動作は、図１および図２との関連で述べた実施形態１００の動作と実質等しい。いくつかの相違点について以下に述べる。
【００３４】
立体視ディスプレイ装置３００は左目の出力画像をレンダリングするためのレンダリングユニット１１８と、右目の出力画像をレンダリングするためのさらなるレンダリングユニット１２０を有しており、左目の出力画像と右目の出力画像はステレオ対を形成している。ステレオ対の両方の出力画像は図１との関連で述べたように計算される。ただし、レンダリングユニット１１８とさらなるレンダリングユニット１２０については、異なる位置情報信号ＰＰＬおよびＰＰＲが与えられる。これら二つの信号ＰＰＬおよびＰＰＲの間の相違は、観察者１０４の両目の間の距離（または想定される距離）に関係している。左目の出力画像と右目の出力画像はマルチプレクサユニット１１４によって時間的に多重化され、ＣＲＴベースの表示デバイス１１２上に表示される。電気光学式スイッチ１１０を受動的眼鏡１０６と組み合わせたものが偏光に基づいて立体的な可視化を可能にする。この種の可視化は単に説明のためのものであり、裸眼立体視を含めさまざまな代替を使うこともできる。
【００３５】
立体視ディスプレイ装置３００はさらに、クリッピングユニット１２４と高域通過フィルタユニット１２２を制御するよう構成された画像内容解析器１２８を有している。ディスプレイ装置３００の挙動は、出力信号の適切な画質を目標とするようなものである。それは、クリッピングユニット１２４が、より低い画質が予想される出力画像の場合には変換特性４００の線形部分４０６を狭めるということを意味する。線形部分を狭めることは、最大出力値Cmax４０２を下げるか、および／または最小出力値Cmin４０４を上げることに対応する。前記予想は、入力画像を出力画像に変形させる間に数えられた穴の数または入力画像の背景の解析に基づいてできる。背景の解析は好ましくはテクスチャー解析を含む。たとえば、入力画像の高域通過フィルタ処理に続けて任意的に閾値処理を行うことによるものである。比較的多くの高周波成分の存在は、詳細構造のある背景の指標である。
【００３６】
好ましくは、変形の間に背景についての情報も利用される。ゆがみ問題を軽減するある既知の方法は、前記の画像と奥行きとを、オクルージョンで隠された領域についての情報を用いて補うことである。そのような情報は、ステレオ記録から得られる画像と奥行き情報について得ることができる。さらに、ますます多くの映画がクロマキーを利用するようになっている。これは、映画出演者が映画スタジオ内の青または緑の背景の前で演技をしてあとで編集段階でもとの青または緑の背景が所望の背景で置き換えられる（キー・アウトされる）という方法である。所望の背景というのは、たとえば屋外撮影、ミニチュア撮影あるいはＣＧ素材など、あらゆる種類の映画素材に基づくものでありうる。そのような場合については、俳優によって隠される部分も含めた完全な背景が利用可能であり、前記の画像および奥行き情報との組み合わせにおいて交換されうる。ビデオ符号化規格ＭＰＥＧ−４はそのような補足をいわゆる高機能層（enhancement layers）を使うことによってサポートしている。
【００３７】
前述したように、ディスプレイ装置３００の挙動は、出力信号の適切な画質を目標とするようなものである。それは、高域通過フィルタユニット１２２が、より低い画質が予想される出力画像の場合にはデフォルトの出力画像２００に戻るようより速く反応するということを意味する。前記予想は、入力画像を出力画像に変形させる間に数えられた穴の数または入力画像の背景の解析に基づいてできる。奥行きマップにおける不連続の数の推定も、予想される画質を定量化する一つの方法である。
【００３８】
図１および図３との関連でそれぞれ述べたディスプレイ装置１００および３００の実施形態においては、３Ｄ視覚情報は画像および奥行きマップとして与えられているが、代替的な実施形態は表現されている３Ｄ視覚情報を異なる方法で受け取ることができることは明らかであろう。たとえば、ＶＲＭＬでの３Ｄモデルとして、三次元的なボクセルの集合として、あるいは表面の記述の集合として受け取るのである。そのような場合、レンダリングユニット１１８および１２０によって実行されるレンダリングは他の種類のものになる。
【００３９】
任意的に、高域通過フィルタユニット１２２のフィルタ特性はクリッピングユニット１２４に基づいて制御される。クリッピングユニット１２４の入力ＰＦがクリッピングされるか否かの事実に依存してカットオフ周波数が適応されるのである。それに加えて、高域通過フィルタユニット１２２がいわゆる非対称な挙動をもつことが好ましい。たとえば、動きに対しては高速に応答し、静止に対しては緩慢に応答するのである。
【００４０】
本ディスプレイ装置はビデオ会議システム、テレビのような消費者デバイスまたはゲームデバイスの一部でもよい。
【００４１】
図５は、ヘッドトラッカー１０８によって与えられる（入力の）ヘッドトラッカー信号Ｐとそのヘッドトラッカー信号Ｐから導出される（出力の）高域通過フィルタ処理信号ＰＦとを示している。適用されたフィルタは、カットオフ周波数０．０５Ｈｚをもつ一次の高域通過フィルタである。図５では、高域通過フィルタ処理された信号ＰＦがヘッドトラッカー信号Ｐと時刻＝０から時刻＝５秒までについては比較的よく一致していることがはっきり見て取れる。時刻＝６秒よりあとでは、高域通過フィルタ処理された信号ＰＦはゆっくりと、ヘッドトラッカー１０８の座標系の空間的な原点に一致する特定の位置１０２に属するデフォルト値へと収束していくことがわかる。換言すれば、約０．２〜０．２５メートルの空間的オフセットに対応するヘッドトラッカー信号Ｐにおける低周波部分が抑制されているのである。
【００４２】
上述した実施形態は本発明を限定するというよりは説明するものであって、当業者は付属の特許請求の範囲から外れることなく代替的な実施形態を考案することができるであろうことを注意しておく。請求項において、括弧内に置かれた参照符号があったとしてもそれが当該請求項を限定するものと解釈してはならない。「有する」の語は請求項に挙げられていない要素またはステップの存在を排除するものではない。要素の単数形の表現はそのような要素が複数存在することを排除するものではない。本発明は、いくつかの相異なる要素を有するハードウェアによって、および好適にプログラムされたコンピュータによって実装できる。いくつかの手段を列挙しているユニット請求項においては、それらの手段のいくつかが同一のハードウェア項目によって具現されることもできる。第一、第二、第三などの語の使用はいかなる順序も示すものではない。これらの語は名称と解釈されるべきものである。
【図面の簡単な説明】
【００４３】
【図１】本発明に基づくディスプレイ装置の実施形態を概略的に示す図である。
【図２】図１のディスプレイ装置によって生成される３つの異なる出力画像を示す図である。
【図３】本発明に基づく立体視ディスプレイ装置のある実施形態を概略的に示す図である。
【図４】クリッピングユニットの転送特性を概略的に示す図である。
【図５】ヘッドトラッカーによって与えられるヘッドトラッカー信号およびそのヘッドトラッカー信号から導出された高域通過信号を示す図である。
【特許請求の範囲】
【請求項１】
３Ｄ視覚情報に基づいて出力画像を表示するディスプレイ装置であって：
・３Ｄ視覚情報を表現する第一の信号を受け取る第一の受領手段と、
・出力画像の観察者の当該ディスプレイ装置に対する位置情報を時間の関数として表す第二の信号を受け取る第二の受領手段と、
・前記第二の信号を高域通過フィルタ処理して第三の信号を生じるフィルタ処理手段と、
・前記第一の信号および前記第三の信号に基づいて前記出力画像をレンダリングするレンダリング手段と、
・前記出力画像を表示するための表示手段、
とを有することを特徴とするディスプレイ装置。
【請求項２】
前記３Ｄ視覚情報が入力画像および対応する奥行きマップを有することを特徴とする、請求項１記載のディスプレイ装置。
【請求項３】
前記第三の信号の所定の値については前記入力画像と前記出力画像とが実質相互に等しいことを特徴とする、請求項２記載のディスプレイ装置。
【請求項４】
前記第三の信号をある下限とある上限との間に制限するためのクリッピング手段をさらに有することを特徴とする、請求項２記載のディスプレイ装置。
【請求項５】
前記３Ｄ視覚情報および／または前記出力画像を解析するための、ならびに前記フィルタ処理手段および／または前記クリッピング手段を制御するための内容解析手段をさらに有することを特徴とする、請求項２または４記載のディスプレイ装置。
【請求項６】
前記内容解析手段が、奥行きマップにおける不連続の数に対応する第一の測度、入力画像の背景の均質性に対応する第二の測度および出力画像における穴の数に対応する第三の測度を含む一組の測度の測定値を決定するよう構成されていることを特徴とする、請求項５記載のディスプレイ装置。
【請求項７】
前記内容解析手段が、前記第一の測度が比較的大きいか、あるいは前記第二の測度が比較的小さいか、あるいは前記第三の測度が比較的大きい場合に、前記下限を上げ、および／または前記上限を下げるよう構成されていることを特徴とする、請求項６記載のディスプレイ装置。
【請求項８】
前記内容解析手段が、前記第一の測度が比較的大きいか、あるいは前記第二の測度が比較的小さいか、あるいは前記第三の測度が比較的大きい場合に、前記フィルタ処理手段のカットオフ周波数を下げるよう構成されていることを特徴とする、請求項６記載のディスプレイ装置。
【請求項９】
当該ディスプレイ装置がマルチビューディスプレイ装置であり、さらなる出力画像をレンダリングし、前記出力画像を第一の方向に表示し、前記さらなる出力画像を第二の方向に表示するよう構成されていることを特徴とする、請求項１記載のディスプレイ装置。
【請求項１０】
３Ｄ視覚情報に基づいて出力画像を表示する方法であって：
・３Ｄ視覚情報を表現する第一の信号を受け取り、
・出力画像の観察者のあるディスプレイ装置に対する位置情報を時間の関数として表す第二の信号を受け取り、
・前記第二の信号を高域通過フィルタ処理して第三の信号を生じ、
・前記第一の信号および前記第三の信号に基づいて前記出力画像をレンダリングし、
・前記出力画像を表示する、
ことを含むことを特徴とする方法。
【請求項１１】
３Ｄ視覚情報に基づいて出力画像をレンダリングするための命令を有する、処理手段およびメモリをもつコンピュータ装置によってロードされるべきコンピュータプログラムであって、ロードされたのち、前記処理手段に：
・３Ｄ視覚情報を表現する第一の信号を受け取り、
・出力画像の観察者のあるディスプレイ装置に対する位置情報を時間の関数として表す第二の信号を受け取り、
・前記第二の信号を高域通過フィルタ処理して第三の信号を生じ、
・前記第一の信号および前記第三の信号に基づいて前記出力画像をレンダリングする、
ことを実行する機能を与えることを特徴とするコンピュータプログラム。
【請求項１】
３Ｄ視覚情報に基づいて出力画像を表示するディスプレイ装置であって：
・３Ｄ視覚情報を表現する第一の信号を受け取る第一の受領手段と、
・出力画像の観察者の当該ディスプレイ装置に対する位置情報を時間の関数として表す第二の信号を受け取る第二の受領手段と、
・前記第二の信号を高域通過フィルタ処理して第三の信号を生じるフィルタ処理手段と、
・前記第一の信号および前記第三の信号に基づいて前記出力画像をレンダリングするレンダリング手段と、
・前記出力画像を表示するための表示手段、
とを有することを特徴とするディスプレイ装置。
【請求項２】
前記３Ｄ視覚情報が入力画像および対応する奥行きマップを有することを特徴とする、請求項１記載のディスプレイ装置。
【請求項３】
前記第三の信号の所定の値については前記入力画像と前記出力画像とが実質相互に等しいことを特徴とする、請求項２記載のディスプレイ装置。
【請求項４】
前記第三の信号をある下限とある上限との間に制限するためのクリッピング手段をさらに有することを特徴とする、請求項２記載のディスプレイ装置。
【請求項５】
前記３Ｄ視覚情報および／または前記出力画像を解析するための、ならびに前記フィルタ処理手段および／または前記クリッピング手段を制御するための内容解析手段をさらに有することを特徴とする、請求項２または４記載のディスプレイ装置。
【請求項６】
前記内容解析手段が、奥行きマップにおける不連続の数に対応する第一の測度、入力画像の背景の均質性に対応する第二の測度および出力画像における穴の数に対応する第三の測度を含む一組の測度の測定値を決定するよう構成されていることを特徴とする、請求項５記載のディスプレイ装置。
【請求項７】
前記内容解析手段が、前記第一の測度が比較的大きいか、あるいは前記第二の測度が比較的小さいか、あるいは前記第三の測度が比較的大きい場合に、前記下限を上げ、および／または前記上限を下げるよう構成されていることを特徴とする、請求項６記載のディスプレイ装置。
【請求項８】
前記内容解析手段が、前記第一の測度が比較的大きいか、あるいは前記第二の測度が比較的小さいか、あるいは前記第三の測度が比較的大きい場合に、前記フィルタ処理手段のカットオフ周波数を下げるよう構成されていることを特徴とする、請求項６記載のディスプレイ装置。
【請求項９】
当該ディスプレイ装置がマルチビューディスプレイ装置であり、さらなる出力画像をレンダリングし、前記出力画像を第一の方向に表示し、前記さらなる出力画像を第二の方向に表示するよう構成されていることを特徴とする、請求項１記載のディスプレイ装置。
【請求項１０】
３Ｄ視覚情報に基づいて出力画像を表示する方法であって：
・３Ｄ視覚情報を表現する第一の信号を受け取り、
・出力画像の観察者のあるディスプレイ装置に対する位置情報を時間の関数として表す第二の信号を受け取り、
・前記第二の信号を高域通過フィルタ処理して第三の信号を生じ、
・前記第一の信号および前記第三の信号に基づいて前記出力画像をレンダリングし、
・前記出力画像を表示する、
ことを含むことを特徴とする方法。
【請求項１１】
３Ｄ視覚情報に基づいて出力画像をレンダリングするための命令を有する、処理手段およびメモリをもつコンピュータ装置によってロードされるべきコンピュータプログラムであって、ロードされたのち、前記処理手段に：
・３Ｄ視覚情報を表現する第一の信号を受け取り、
・出力画像の観察者のあるディスプレイ装置に対する位置情報を時間の関数として表す第二の信号を受け取り、
・前記第二の信号を高域通過フィルタ処理して第三の信号を生じ、
・前記第一の信号および前記第三の信号に基づいて前記出力画像をレンダリングする、
ことを実行する機能を与えることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２００７−５０７７８１（Ｐ２００７−５０７７８１Ａ）
【公表日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願番号】特願２００６−５３０９１１（Ｐ２００６−５３０９１１）
【出願日】平成１６年９月２２日（２００４．９．２２）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５１８２１
【国際公開番号】ＷＯ２００５／０３１６５２
【国際公開日】平成１７年４月７日（２００５．４．７）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願日】平成１６年９月２２日（２００４．９．２２）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５１８２１
【国際公開番号】ＷＯ２００５／０３１６５２
【国際公開日】平成１７年４月７日（２００５．４．７）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]