３次元テレビシステム及び３次元テレビを提供する方法
３次元テレビシステムは、取得段と、表示段と、伝送ネットワークとを備える。取得段は、動的に変化するシーンの入力ビデオをリアルタイムで取得するように構成される複数のビデオカメラを備える。表示段は、入力ビデオから生成された出力ビデオを同時に表示するように構成される３次元表示装置を備える。伝送ネットワークは、取得段を表示段に接続する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には画像処理に関し、特に、自動立体画像の取得、伝送、及びレンダリングに関する。
【背景技術】
【０００２】
人間の視覚系は、さまざまな手掛かりからシーン中の３次元情報を得る。最も重要な２つの手掛かりとして、両眼視差及び運動視差がある。両眼視差は、それぞれの目でシーンの異なる画像を見ることを指すのに対し、運動視差は、頭部が動いているときにシーンの異なる画像を見ることを指す。視差知覚と奥行知覚のつながりは、１８３８年に世界初の３次元ディスプレイ装置により示された。
【０００３】
以来、いくつもの立体画像ディスプレイが開発されている。３次元ディスプレイは、娯楽、広告、情報提示、テレプレゼンス、サイエンティフィックビジュアライゼーション（科学情報の視覚化）、遠隔操作、及び芸術における多くの用途に対して膨大な可能性を持っている。
【０００４】
１９０８年に、カラー写真技術及び３次元ディスプレイに大きな貢献をしたGabriel Lippmannは、「現実に基づくウィンドウビュー」を提供するディスプレイを作製することを考えた。
【０００５】
ホログラフィックイメージングの先駆者の一人であるStephen Bentonは、１９７０年代にLippmannの構想を進めた。Bentonは、テレビのような特性を持ち、フルカラーの３Ｄ画像を適切な遮蔽関係で配信することができるスケーラブルな空間ディスプレイシステムを設計しようと試みた。このディスプレイは、あらゆる視点から特別なレンズを使用せずに見ることのできる両眼視差を持つ画像、すなわち立体画像を提供した。このようなディスプレイは、複数の観察者に両眼視差及び運動視差を自然にもたらすため、多眼自動立体と呼ばれる。
【０００６】
さまざまな商業的自動立体ディスプレイが既知である。ほとんどの従来のシステムは、両眼すなわちステレオ画像を表示するが、いくつかの最近導入されたシステムは、最大２４のビューを表示する。しかし、複数の視点のビューを同時に表示することは、本質的に、非常に高い解像度のイメージング媒体を必要とする。例えば、１６の別個の水平方向ビューを有する最大ＨＤＴＶ出力解像度は、出力画像毎に１９２０×１０８０×１６すなわち３３００万画素以上を必要とする。これは、ほとんどの現在のディスプレイ技術を遥かに超えている。
【０００７】
こうした高解像度コンテンツをリアルタイムで取得、伝送、及び表示するための処理要件及び帯域幅要件に対処できるようになったのはごく最近である。
【０００８】
今日では、以前は１つのアナログチャンネルが占有していた同一帯域幅を用いて多くのデジタルテレビチャンネルが伝送されている。このことが、放送用３Ｄ ＴＶの開発への関心を新たにした。日本の３Ｄコンソーシアム及び欧州のＡＴＴＥＳＴプロジェクトは、それぞれ、３Ｄ ＴＶ用のＩ／Ｏデバイス及び配給機構の開発及び推進を試みている。両グループの目標は、放送用ＨＤＴＶと互換性があり、現在及び将来の３Ｄディスプレイ技術に対応する、商業的に実現可能な３Ｄ ＴＶ規格を開発することである。
【０００９】
しかし、これまでのところ、十分に機能するエンドツーエンド３Ｄ ＴＶシステムは、実現していない。
【００１０】
３次元ＴＶは、文字通り何千もの刊行物及び特許に記載されている。この研究は、さまざまな科学分野及び工学分野をカバーするため、広範な背景が与えられる。
【００１１】
ライトフィールド（光照視野）の取得
ライトフィールドは、遮蔽物のない空間領域における位置及び方向の関数として放射輝度を表す。本発明は、シーンの幾何形状を伴わないライトフィールドの取得と、モデルベースの３Ｄビデオとを区別する。
【００１２】
本発明の１つの目的は、２Ｄ光マニホルドを通過し、最小の遅延で別の２Ｄ光マニホルドを通して同一指向性のライトフィールドを放射する、経時的に変化するライトフィールドを取得することである。
【００１３】
イメージベースドグラフィックス及び３Ｄディスプレイにおける初期の研究は、静的ライトフィールドの取得を対象にしてきた。早くも１９２９年に、初めての投影に基づく３Ｄディスプレイと組み合わせた、大きなオブジェクトのマルチカメラ写真記録方法が記載された。このシステムは、写真カメラとスライドプロジェクタとの間に１対１のマッピングを用いる。
【００１４】
イメージベースドレンダリングの助けを借りて、表示装置において新たな仮想ビューを生成することによって、この制約を取り除くことが望ましい。
【００１５】
動的ライトフィールドを取得できるようになったのは、ごく最近である。Naemura等著「拡張された空間通信のためのリアルタイムのビデオに基づくレンダリング（Real-time video-based rendering for augmented spatial communication）」Visual Communication and Image Processing, SPIE, 620-631, 1999。Naemura等は、実現可能な４×４のライトフィールドカメラを実施した。より最近のものは、商業的なリアルタイムの奥行推定システムを含む。（Naemura等著「リアルタイムのビデオに基づく３Ｄシーンのモデル化及びレンダリング（Real-time video-based modeling and rendering of 3d scenes）」IEEE Computer Graphics and Applications, pp. 66-73, March 2002）。
【００１６】
別のシステムは、特殊用途の１２８×１２８画素ランダムアクセスＣＭＯＳセンサの正面に配置したレンズアレイを用いる（Ooi等著「リアルタイムのイメージベースドレンダリングシステムのための画素に依存しないランダムアクセスイメージセンサ（Pixel independent random access image sensor for real time image-based rendering system）」IEEE International Conference on Image Processing, vol. II, pp. 193-196, 2001）。スタンフォードのマルチカメラアレイは、構成可能に配置された１２８台のカメラを含む（Wilburn等著「ライトフィールドビデオカメラ（The light field video camera）」Media Processors 2002, vol. 4674 of SPIE, 2002）。この論文では、特殊用途のハードウェアがカメラを同期させ、ビデオストリームをディスクに格納する。
【００１７】
ＭＩＴのライトフィールドカメラは、商品ＰＣクラスタに接続された８×８の安価なイメージャアレイを用いる（Yang等著「リアルタイムの分散ライトフィールドカメラ（A real-time distributed light field camera）」Proceedings of the 13th Eurographics Workshop on Rendering, Eurographics Association, pp. 77-86, 2002）。
【００１８】
これらのシステムは、全て、動的ライトフィールドのナビゲーション及び操作のために、何らかの形態のイメージベースドレンダリングを行う。
【００１９】
モデルベースの３Ｄビデオ
３Ｄ ＴＶコンテンツを取得する別の手法として、疎に配置されたカメラ及びシーンのモデルを用いるものがある。通常のシーンモデルは、奥行マップから「visual hull」、又は人体形状の詳細なモデルまで多岐にわたる。
【００２０】
システムによっては、カメラからのビデオデータをモデル上に投影して、現実的な経時的に変化する表面テクスチャを生成するものもある。
【００２１】
バーチャルリアリティ用の最も大きな３Ｄビデオスタジオの１つは、５０台以上のカメラをドームに配置している（Kanade等著「仮想化現実：実際のシーンからの仮想世界の構築（Virtualized reality: Constructing virtual worlds from real scenes）」IEEE Multimedia, Immersive Telepresence, pp. 34-47, January 1997）。
【００２２】
Ｂｌｕｅ−Ｃシステムは、空間没入環境においてリアルタイムの取得、伝送、及び瞬時の表示を行う数少ない３Ｄビデオシステムの１つである（Gross等著「Ｂｌｕｅ−Ｃ：テレプレゼンス用の空間没入型ディスプレイ及び３Ｄビデオポータル（Blue-C: A spatially immersive display and 3d video portal for telepresence）」ACM Transactions on Graphics, 22, 3, pp. 819-828, 2003）。Ｂｌｕｅ−Ｃは、３Ｄ「ビデオフラグメント」の圧縮及び伝送に中央プロセッサを用いる。これにより、ビューの数が増加するにつれて、このシステムのスケーラビリティは限定される。このシステムはまた、「visual hull」を取得するが、これは、屋内又は屋外シーン全体ではなく個々のオブジェクトに限定される。
【００２３】
欧州ＡＴＴＥＳＴプロジェクトでは、フレーム毎に奥行マップを有するＨＤＴＶカラー画像を取得する（Fehn等著「３Ｄ ＴＶに対する進化的な最適手法（An evolutionary and optimized approach on 3D-TV）」Proceedings of International Broadcast Conference, pp. 357-365, 2002）。
【００２４】
いくつかの実験的なＨＤＴＶカメラが既に構築されている（Kawakita等著「高精細度の３次元カメラ−ＨＤＴＶ用のａｘｉ−ｖｉｓｉｏｎカメラ（High-definition three-dimension camera - HDTV version of an axi-vision camera）」Tech. Rep. 479, Japan Broadcasting Corp. (NHK), Aug. 2002）。奥行マップは、高位層として既存のＭＰＥＧ−２ビデオストリームに伝送することができる。２Ｄコンテンツは、奥行再構成プロセスを用いて変換することができる。受信機側では、イメージベースドレンダリングを用いてステレオペア又は多眼３Ｄ画像が生成される。
【００２５】
しかし、正確な奥行マップを用いても、シーン中の遮蔽又は大きな視差のため、ディスプレイ側で複数の高品質ビューをレンダリングすることは難しい。さらに、単一のビデオストリームでは、鏡面ハイライトのような、重要なビューに依存した効果を取り込むことができない。
【００２６】
実世界のシーンの奥行又は幾何形状のリアルタイム取得は、依然として非常に困難である。
【００２７】
ライトフィールドの圧縮及び伝送
静的ライトフィールドの圧縮及びストリーミングも既知である。しかし、動的ライトフィールドの圧縮及び伝送に対しては、ほとんど注意が払われていない。ライトフィールドデータが全てディスプレイ装置において利用可能である全視点符号化と、有限視点符号化とを区別することができる。有限視点符号化は、ユーザからカメラへ情報を送り返すことによって特定のビューに必要なデータのみを伝送する。これにより、伝送帯域幅が低減されるが、この符号化は、３Ｄ ＴＶ放送には適さない。
【００２８】
動的ライトフィールドのための効率的な符号化方式及びさまざまな他の３Ｄビデオシナリオを調査するために、３Ｄのオーディオ及びビデオに関するＭＰＥＧアドホックグループが結成された（Smolic等著「３ｄａｖ調査報告（Report on 3dav exploration）」ISO/IEC JTC1/SC29/WG11 Document N5878, July 2003）。
【００２９】
実験的な動的ライトフィールド符号化システムは、時間符号化と呼ばれる時間領域における動き補償、又は、空間符号化と呼ばれるカメラ間の視差予測を用いる（Tanimoto等著「時空間予測を用いた光線空間符号化（Ray-space coding using temporal and spatial predictions）」ISO/IEC JTC1/SC29/WG11 Document M10410, December 2003）。
【００３０】
多眼自動立体ディスプレイ：ホログラフィックディスプレイ
今世紀初頭からホログラフィが知られている。ホログラフィック技法は、１９６２年に初めて画像ディスプレイに適用された。このシステムでは、照明源からの光をホログラフィック表面の干渉フリンジによって回折させて、元のオブジェクトの光波面を再構成する。ホログラムは、連続的なアナログライトフィールドを表示するため、ホログラムのリアルタイムでの取得及び表示は、長い間、３Ｄ ＴＶの「聖杯（究極の目的）」であると考えられてきた。
【００３１】
ＭＩＴのStephen Bentonの空間イメージンググループは、電子ホログラフィの開発の先駆けとなってきた。このグループの最新のデバイスであるＭａｒｋ−ＩＩホログラフィックビデオディスプレイは、音響光学変調器、分光器、可動ミラー、及びレンズを用いてインタラクティブホログラムを作り出している（St.-Hillaire等著「ＭＩＴホログラフィックビデオシステムの拡大（Scaling up the MIT holographic video system）」Proceedings of the Fifth International Symposium on Display Holography, SPIE, 1995）。
【００３２】
より最近のシステムでは、音響光学変調器をＬＣＤ、集束光アレイ、光学的にアドレス指定される空間変調器、及びデジタルマイクロミラーデバイスに置き換えることによって、可動部が除去されている。
【００３３】
現在のホログラフィックビデオデバイスは、全て単色レーザ光を使用する。ディスプレイ画面のサイズを縮小するために、これらのデバイスは、水平方向の視差のみを与える。ディスプレイハードウェアは、各寸法が通常数ミリメートルである画像のサイズに対して非常に大きい。
【００３４】
ホログラムの取得は、依然として、注意深く制御された物理プロセスを必要とし、リアルタイムでは行うことができない。少なくとも予測可能な未来に関しては、ホログラフィックシステムが大型ディスプレイにおいて動的な自然のシーンを取得、伝送、及び表示できるようになる可能性は低い。
【００３５】
ボリュメトリックディスプレイ
ボリュメトリックディスプレイは、３次元空間を走査し、ボクセルを個別にアドレス指定及び照明する。航空管制、医療及び科学情報の視覚化といった用途向けのいくつかの商業システムが現在利用可能である。しかし、ボリュメトリックシステムは、十分に説得力のある３次元体験を提供しない透明画像を生成する。ボリュメトリックディスプレイでは、限られた色再現と遮蔽の欠如により、自然なシーンのライトフィールドを正確に再現することができない。大型ボリュメトリックディスプレイの設計はまた、いくつかの難しい障害をもたらす。
【００３６】
視差ディスプレイ
視差ディスプレイは、空間的に変動する指向性の光を放射する。初期の３Ｄディスプレイの研究のほとんどは、Wheatstoneの実体鏡を改良することに焦点を当てていた。F. Ivesは、垂直スリットを有するプレートを、左目／右目画像のストリップが交互になった画像上でバリアとして用いた（Ivesに対して発行された米国特許第７２５，５６７号「視差ステレオグラムとその作製プロセス（Parallax stereogram and process for making same）」）。結果として得られるデバイスは、視差ステレオグラムである。
【００３７】
ステレオグラムの限定された視角と制限された観察位置を拡張するため、交互になった画像ストライプの間に細いスリットと小さなピッチを用いることができる。これらの多眼画像は、視差パノラマグラムである。ステレオグラム及びパノラマグラムは、水平視差のみを与える。
【００３８】
球面レンズ
１９０８年に、Lippmannは、スリットの代わりに球面レンズアレイを記述した。一般に、これは、しばしば「フライアイ（ハエの目）」レンズシートと呼ばれる。結果として得られる画像は、インテグラルフォトである。インテグラフルフォトは、画素、すなわち「レンズレット」毎に指向性の異なる放射輝度を有する真平面ライトフィールドである。インテグラルレンズシートは、実験的に高解像度ＬＣＤに用いられてきた（Nakajima等著「コンピュータにより生成されるインテグラルフォトグラフィを用いた３次元医用画像ディスプレイ（Three-dimensional medical imaging display with computer-generated integral photography）」Computerized Medical Imaging and Graphics, 25, 3, pp. 235-241, 2001）。イメージング媒体の解像度は、非常に高くなければならない。例えば、４つの水平方向ビューと４つの垂直方向ビューを有する１０２４×７６８画素の出力は、出力画像毎に１２００万画素を必要とする。
【００３９】
３×３のプロジェクタアレイが、実験的な高解像度３Ｄインテグラルビデオディスプレイを用いる（Liao等著「マルチプロジェクタを用いた高解像度インテグラルビデオグラフィ自動立体ディスプレイ（High-resolution integral videography auto-stereoscopic display using multi-projector）」Proceedings of the Ninth International Display Workshop, pp. 1229-1232, 2002）。各プロジェクタはズームレンズを備えて、２８７２×２１５０画素のディスプレイを生成する。ディスプレイは、水平視差と垂直視差を有する３つのビューを提供する。各レンズレットは、２４０×１８０画素の出力解像度の場合に１２画素をカバーする。特殊用途の画像処理ハードウェアが幾何学的な画像ワーピングに用いられる。
【００４０】
レンチキュラーディスプレイ
レンチキュラーシートは、１９３０年代から知られている。レンチキュラーシートは、「レンチクル」と呼ばれる細いシリンドリカルレンズの線形アレイを含む。これにより、垂直視差を低減することによって画像データ量を低減する。レンチキュラー画像は、広告、雑誌の表紙、及び葉書への広範な用途が見出されている。
【００４１】
今日の商業用自動立体ディスプレイは、ＬＣＤ又はプラズマスクリーンの上部に配置された視差バリア、サブピクセルフィルタ、又はレンチキュラーシートの変化に基づく。視差バリアは、通常、画像の輝度及び鮮明さをいくらか低下させる。視点の異なるビューの数は、通常限られている。
【００４２】
例えば、最大解像度のＬＣＤは、３８４０×２４００画素の解像度を与える。例えば、１６のビューの水平視差を加えると、水平方向の出力解像度が２４０画素に低下する。
【００４３】
ディスプレイの解像度を高めるために、H. Ivesは、１９３１年に、レンチキュラーシートの裏面を拡散塗料で塗装し、シートを３９台のスライドプロジェクタの投影面として使用することによって、マルチプロジェクタレンチキュラーディスプレイを発明した。それ以来、レンチキュラーシート及びマルチプロジェクタアレイのいくつかの異なる構成が記載されている。
【００４４】
視差ディスプレイの他の技法は、時間多重化及び追跡ベースのシステムを含む。時間多重化では、複数のビューがスライディングウィンドウ又はＬＣＤシャッターを用いて異なる瞬間に投影される。これにより、ディスプレイのフレームレートが本質的に低下し、目に見えるちらつきが生じる可能性がある。ヘッドトラッキング（頭部追跡）設計は、多くの場合、高品質ステレオ画像ペアの表示に焦点を当てる。
【００４５】
マルチプロジェクタディスプレイ
スケーラブルなマルチプロジェクタディスプレイ壁が最近普及してきており、多くのシステムが実施されている（例えば、Raskar等著「未来のオフィス：イメージベースドモデリング及び空間没入型ディスプレイに対する統合的手法（The office of the future: A unified approach to image-based modeling and spatially immersive displays）」Proceedings of SIGGRAPH '98, pp. 179-188, 1998）。これらのシステムは、非常に高い解像度、柔軟性、優れたコストパフォーマンス、スケーラビリティ、及び大判画像を提供する。マルチプロジェクタシステムのグラフィックスレンダリングは、ＰＣクラスタに効果的に対応させることができる。
【００４６】
プロジェクタはまた、平坦でないディスプレイ幾何形状に適合するために必要な柔軟性を提供する。大型ディスプレイの場合、マルチプロジェクタシステムは、非常に高解像度の表示媒体、例えば、有機ＬＥＤが利用可能になるまで、多眼３Ｄディスプレイの唯一の選択肢となる。
【発明の開示】
【発明が解決しようとする課題】
【００４７】
しかし、多数のプロジェクタの手動アライメントは、退屈であり、平坦でない画面又は３Ｄ多眼ディスプレイの場合には全く不可能になる。
【００４８】
システムによっては、自動プロジェクタアライメントのために、カメラ及びフィードバックループを用いて相対的なプロジェクタの姿勢を自動計算するものもある。マルチプロジェクタインテグラルディスプレイシステムの場合、線形２軸ステージに搭載されたデジタルカメラを用いて、プロジェクタのアライメントをとることもできる。
【００４９】
本発明は、動的なシーンの３Ｄ画像をリアルタイムで取得及び伝送するシステム及び方法を提供する。計算及び帯域に対する高い需要に応えるために、本発明は、分散型のスケーラブルアーキテクチャを用いる。
【課題を解決するための手段】
【００５０】
本システムは、カメラアレイと、ネットワークに接続された処理モジュールクラスタと、レンチキュラースクリーンを有するマルチプロジェクタ３Ｄ表示装置とを備える。本システムは、複数の視点に対して特別な観察用眼鏡を用いることなく立体カラー画像を提供する。本発明では、完全な表示光学系を設計する代わりに、３Ｄディスプレイを自動調節するためのカメラを用いる。
【００５１】
本システムは、長い３Ｄディスプレイ史上初めて、リアルタイムのエンドツーエンド３Ｄ ＴＶを提供する。
【発明の効果】
【００５２】
本発明は、動的ライトフィールドの分散した取得、伝送、及びレンダリングのためのスケーラブルなアーキテクチャを有する３Ｄ ＴＶシステムを提供する。新規の分散レンダリング方法により、わずかな計算及び中程度の帯域幅を用いて新たなビューを補間することが可能になる。
【発明を実施するための最良の形態】
【００５３】
システムアーキテクチャ
図１は、本発明による３Ｄ ＴＶシステムを示す。システム１００は、取得段１０１と、伝送段１０２と、表示段１０３とを備える。
【００５４】
取得段１０１は、同期したビデオカメラ１１０のアレイを含む。小さなカメラクラスタがプロデューサモジュール１２０に接続される。プロデューサモジュールは、リアルタイムの非圧縮ビデオを取り込み、標準的なＭＰＥＧ符号化を用いてビデオを符号化して圧縮ビデオストリーム１２１を生成する。プロデューサモジュールは、観察パラメータも生成する。
【００５５】
圧縮ビデオストリームは、伝送ネットワーク１３０を介して送られる。このネットワークは、放送、ケーブル、衛星ＴＶ、又はインターネットであってもよい。
【００５６】
表示段１０３では、デコーダモジュール１４０によって個々のビデオストリームが復元される。デコーダモジュールは、高速ネットワーク１５０、例えば、ギガビットイーサネット（登録商標）によってコンシューマモジュール１６０のクラスタに接続される。コンシューマモジュールは、適切なビューをレンダリングし、出力画像を２Ｄ、ステレオペア３Ｄ、又は多眼３Ｄ表示装置３１０に送る。
【００５７】
コントローラ１８０は、仮想ビューパラメータをデコーダモジュール及びコンシューマモジュールへ放送する（図２を参照）。コントローラは、１つ又は複数のカメラ１９０にも接続される。カメラは、投影エリア及び／又は観察エリアに配置される。カメラは、表示装置に入力機能を提供する。
【００５８】
分散処理を用いて、システム１００が取得、伝送及び表示するビューの数をスケーラブルにする。システムは、特殊用途のライトフィールドカメラのような他の入力及び出力モダリティ、及び非対称処理に適合させることができる。本発明のシステムの全体的なアーキテクチャは、特定のタイプの表示装置に依存しないことに留意願いたい。
【００５９】
システム動作
取得段
各カメラ１１０は、プログレッシブ高精細ビデオをリアルタイムで取得する。例えば、本発明では、１３１０×１０３０の１画素当たり８ビットであるＣＣＤセンサを有するカラーカメラを１６台用いる。カメラは、ＩＥＥＥ−１３９４「ファイヤワイヤ」高性能シリアルバス１１１によってプロデューサモジュール１２０に接続される。
【００６０】
フル解像度における最大伝送フレームレートは、例えば、毎秒１２フレームである。８個のプロデューサモジュールそれぞれにカメラが２台ずつ接続される。本発明のプロトタイプのモジュールは、すべて、３ＧＨｚのＰｅｎｔｉｕｍ（登録商標）４プロセッサ、２ＧＢのＲＡＭを有し、Ｗｉｎｄｏｗｓ（登録商標）ＸＰを実行する。他のプロセッサ及びソフトウェアを用いてもよいことに留意すべきである。
【００６１】
本発明のカメラ１１０は、ビデオの同期を完全に制御することを可能にする外部トリガを有する。本発明では、カスタムプログラマブルロジックデバイス（ＣＰＬＤ）を有するＰＣＩカードを用いてカメラ１１０用の同期信号１１２を生成する。ソフトウェア同期によるカメラアレイを構築することも可能であるが、本発明では、動的なシーンに対して正確なハードウェア同期を好む。
【００６２】
本発明の３Ｄディスプレイは、水平視差のみを示すため、本発明では、カメラ１１０を規則的な間隔の線形水平アレイに配置した。概して、本発明では、後述のように、コンシューマモジュールにおいて、イメージベースドレンダリングを使用して新たなビューを同期させているため、カメラ１１０は、任意の配置とすることができる。理想的には、各カメラの光軸は、共通のカメラ平面に垂直であり、各カメラの「上方向ベクトル」は、カメラの垂直軸とアライメントがとられている。
【００６３】
実際には、複数のカメラのアライメントを正確にとることは不可能である。本発明では、標準的な校正手順を用いて、カメラの内部パラメータ（すなわち、焦点距離、半径方向歪み、カラー校正等）及び外部パラメータ（すなわち、回転及び平行移動）を求める。校正パラメータは、ビデオストリームの一部として観察パラメータとして放送され、カメラアライメントの相対的な差は、表示段１０３において補正ビューをレンダリングすることによって対処することができる。
【００６４】
密な間隔のカメラアレイは、最良のライトフィールドの取り込みを行うが、ライトフィールドがアンダーサンプリングされる場合、高品質の再構成フィルタを用いてもよい。
【００６５】
多数のカメラをＴＶスタジオに設置することができる。カメラのサブセットが、カメラの操作者又は閲覧者であるユーザによってジョイスティックを用いて選択されて、シーンの可動２Ｄ／３Ｄウィンドウを表示し、自由視点ビデオを提供することができる。
【００６６】
伝送段
１３１０×１０３０の解像度の１画素当たり２４ビットである１６の非圧縮ビデオストリームを３０フレーム毎秒で伝送するには、１４．４Ｇｂ／秒の帯域幅が必要となる。これは、現在の放送能力を遥かに越えている。動的な多眼ビデオデータの圧縮及び伝送には、２つの基本的な設計上の選択肢がある。複数のカメラからのデータを空間符号化又は時空間符号化を用いて圧縮するか、又は、各ビデオストリームを、時間符号化を用いて個別に圧縮するかのいずれかである。時間符号化は、各フレーム内で空間符号化も用いるが、ビュー間では用いない。
【００６７】
最初の選択肢は、ビュー間の一貫性が高くなるため、より高い圧縮率を提供する。しかし、より高い圧縮率には、複数のビデオストリームを中央プロセッサによって圧縮することが必要となる。この圧縮ハブアーキテクチャは、より多くのビューの追加が最終的にはエンコーダの内部帯域幅を圧倒してしまうため、スケーラブルでない。
【００６８】
結果的に、本発明では、分散プロセッサ上で個々のビデオストリームの時間符号化を用いる。この方策には他の利点がある。既存の広帯域プロトコル及び圧縮規格を変更する必要がない。本発明のシステムは、従来のデジタルＴＶ放送インフラストラクチャと互換性があり、２Ｄ ＴＶと完全に調和した状態で共存することができる。
【００６９】
現在、デジタル放送ネットワークは、何百ものチャンネル、おそらくは千以上のチャンネルをＭＰＥＧ−４で搬送する。これにより、任意数、例えば１６のチャンネルを３Ｄ ＴＶに費やすことが可能となる。しかし、本発明の好ましい伝送方策は、放送であることに留意されたい。
【００７０】
本発明のシステムにより、他の用途、例えば、ピアツーピア３Ｄテレビ会議も可能にすることができる。既存の２Ｄ符号化規格を用いるもう１つの利点は、受信機のデコーダモジュールが十分に確立されており、広く利用可能であることである。別法として、デコーダモジュール１４０は、デジタルＴＶの「セットトップ」ボックスに組み込むこともできる。デコーダモジュールの数は、ディスプレイが２Ｄであるか多眼３Ｄであるかに依存することができる。
【００７１】
本発明のシステムは、複数のビューを、例えば、２Ｄビデオと奥行マップに符号化し、伝送し、表示段１０３において復号化することができる限り、他の３Ｄ ＴＶ圧縮アルゴリズムにも適合できることに留意されたい。
【００７２】
８個のプロデューサモジュールがギガビットイーサネット（登録商標）によって８個のコンシューマモジュール１６０に接続される。フルカメラ解像度（１３１０×１０３０）のビデオストリームが、ＭＰＥＧ−２で符号化され、プロデューサモジュールによって即座に復号化される。これは、本質的に、帯域幅が非常に大きく遅延がほとんどない広帯域ネットワークに対応する。
【００７３】
ギガビットイーサネット（登録商標）１５０は、デコーダモジュールとコンシューマモジュールの間に全対全の接続性を提供する。これは、本発明の分散したレンダリング及び表示の実施に重要である。
【００７４】
表示段
表示段１０３は、表示装置３１０に表示すべき適切な画像を生成する。表示装置は、多眼３Ｄ装置、頭部装着型２Ｄステレオ装置、又は従来の２Ｄ装置とすることができる。この柔軟性を提供するために、システムは、全ての可能なビューすなわち全ライトフィールドを常にエンドユーザに提供できなければならない。
【００７５】
コントローラ１８０は、仮想カメラの位置、向き、視野、及び焦点面といった観察パラメータを指定することによって、１つ又は複数の仮想ビューを要求する。次に、これに応じて、パラメータを用いて出力画像をレンダリングする。
【００７６】
図２は、デコーダモジュール及びコンシューマモジュールをより詳細に示す。デコーダモジュール１４０は、圧縮ビデオ１２１を復元して１４１非圧縮のソースフレーム１４２を生成し、ネットワーク１５０を介して現在の復元フレームを仮想ビデオバッファ（ＶＶＢ）１６２に格納する。各コンシューマモジュール１６０は、全ての現在の復号化フレーム、すなわち、特定の瞬間における全ての取得ビューのデータを格納するＶＶＢを有する。
【００７７】
コンシューマモジュール１６０は、ＶＶＢ１６２内の複数のフレームからの画像の画素を処理することによって、出力ビデオの出力画像１６４を生成する。帯域幅及び処理の制限により、各コンシューマモジュールが全てのデコーダモジュールから完全なソースフレームを受信することは不可能である。これもまた、システムのスケーラビリティを制限する。重要な観測として、各コンシューマモジュールの出力画像に対するソースフレームの寄与は、事前に決定することができる。そこで、本発明では、１つの特定のコンシューマモジュール、すなわち１つの特定の仮想ビューとその対応する出力画像の処理に焦点を当てる。
【００７８】
出力画像１６４の画素ｏ（ｕ，ｖ）毎に、コントローラ１８０は、出力画素に寄与する各ソース画素ｓ（ｖ，ｘ，ｙ）のビュー番号ｖ及び位置（ｘ，ｙ）を求める。このために、各カメラには固有のビュー番号、例えば、１〜１６が関連付けられる。本発明では、非構造ルミグラフ法を用いて、入力ビデオストリーム１２１から出力画像を生成する。
【００７９】
各出力画素は、ｋ個のソース画素の線形結合である。
【００８０】
【数１】
【００８１】
混合重みｗｉは、コントローラが仮想ビュー情報に基づいて事前に決定することができる。コントローラは、画素選択１４３のためにｋ個のソース画素の位置（ｘ，ｙ）を各デコーダｖに送る。要求元コンシューマモジュールのインデックスｃが、デコーダモジュールからコンシューマモジュールへ画素をルーティングする（１４５）ためにデコーダに送られる。
【００８２】
オプションとして、ネットワーク１５０を介して画素を送る前に、画素ブロックの圧縮１４４のために複数の画素をデコーダにおいてバッファすることができる。コンシューマモジュールは、画素ブロックを復元し１６１、各画素をＶＶＢ番号ｖの位置（ｘ，ｙ）に格納する。
【００８３】
各出力画素は、ｋ個のソースフレームからの画素を要求する。これは、ＶＶＢに対するネットワーク１５０の最大帯域幅が、出力画像のサイズをｋ倍して１秒当たりのフレーム数（ｆｐｓ）を掛けたものであることを意味する。例えば、ｋ＝３で、３０ｆｐｓ、及び１画素当たり１２ビットのＨＤＴＶ出力解像度、例えば、１２８０×７２０について、最大帯域幅は、１１８ＭＢ／秒である。これは、画素ブロックの圧縮１４４を用いた場合、処理が多くなることと引き換えにして、実質的に低減することができる。スケーラビリティを与えるために、この帯域幅は、伝送されるビューの総数に依存しないことが重要であり、本発明のシステムは、これに当てはまる。
【００８４】
各コンシューマモジュール１６０における処理は、次の通りである。コンシューマモジュールは、出力画素毎に式（１）を求める。重みｗｉは、事前に決定し、ルックアップテーブル（ＬＵＴ）１６５に格納する。ＬＵＴ１６５のメモリ要件は、出力画像１６４のサイズのｋ倍である。上記の例では、これは、４．３ＭＢに相当する。
【００８５】
ロスレス画素ブロック圧縮を仮定すると、コンシューマモジュールは、ハードウェアにおいて容易に実施することができる。これは、デコーダモジュール１４０、ネットワーク１５０、及びコンシューマモジュールを１つのプリント基板上にまとめるか、又は、特定用途向け集積回路（ＡＳＩＣ）として製造することができることを意味する。
【００８６】
本明細書では、画素という用語を厳密でなく使用している。画素とは、通常１画素を意味するが、小さな矩形の画素ブロックの平均である場合もある。他の既知のフィルタを画素ブロックに適用して、複数の周囲の入力画素から１つの出力画素を生成することもできる。
【００８７】
新たな効果、例えば、被写界深度のためにソースフレームの１６３個の事前にフィルタリングされたブロックを結合することは、イメージベースドレンダリングに関して新規である。特に、本発明では、範囲総和テーブルを使用することによって、事前にフィルタリングされた画像の多眼レンダリングを効率的に行うことができる。次に、事前にフィルタリング（総和）された画素ブロックを、式（１）を用いて結合して、出力画素を形成する。
【００８８】
本発明では、より高品質の混合、例えば、アンダーサンプリングされたライトフィールドを用いることもできる。これまでのところ、要求される仮想ビューは、静的である。しかし、すべてのソースビューは、ネットワーク１５０を介して送られることに留意されたい。コントローラ１８０は、画素選択１４３、ルーティング１４５、及び結合１６３のためにルックアップテーブル１６５を動的に更新することができる。これにより、ランダムアクセスイメージセンサを有するリアルタイムライトフィールドカメラ、及び受信機のフレームバッファと同様のライトフィールドのナビゲーションが可能になる。
【００８９】
表示装置
図３に示すように、背面投影構成の場合、表示装置は、レンチキュラースクリーン３１０として構築される。本発明では、１６台のプロジェクタを用いて出力ビデオを表示装置上に１０２４×７６８の出力解像度で表示する。プロジェクタの解像度は、１３１０×１０３０画素である本発明の取得ビデオ及び伝送ビデオの解像度より低くてもよいことに留意されたい。
【００９０】
レンチキュラーシート３１０の２つの重要なパラメータは、視野（ＦＯＶ）及び１インチ当たりのレンチクルの数（ＬＰＩ）である（図４及び図５も参照のこと）。レンチキュラーシートの面積は、６×４平方フィートであり、３０°のＦＯＶ及び１５ＬＰＩを有する。レンチクルの光学設計は、多眼３Ｄディスプレイについて最適化される。
【００９１】
図３に示すように、背面投影ディスプレイのレンチキュラーシート３１０は、プロジェクタ側レンチキュラーシート３０１と、観察者側レンチキュラーシート３０２と、拡散器３０３と、レンチキュラーシートと拡散器との間にある基板３０４とを含む。２つのレンチキュラーシート３０１及び３０２は、光拡散器３０３を中央に有する基板３０４上に裏面同士を貼り合わせられる。本発明ではフレキシブル背面投影布を用いる。
【００９２】
裏面同士を貼り合わせたレンチキュラーシート及び拡散器は、１つの構築物に合成される。２つのシートのレンチクルのアライメントをできるだけ正確にとるために、透明樹脂を用いる。樹脂は、ＵＶ硬化されてアライメントがとられる。
【００９３】
投影側レンチキュラーシート３０１は、光マルチプレクサとして働き、投影光を細い縦のストライプとして拡散器上に、また前面投影の場合には反射器４０３上に（下記図４を参照）集光する。各レンチクルを理想的なピンホールカメラとして考えると、拡散器／反射器上のストライプは、３次元ライトフィールドのビューに依存した放射輝度、すなわち、２Ｄ位置及び方位角を取り込む。
【００９４】
観察者側レンチキュラーシートは、光デマルチプレクサとして働き、ビューに依存した放射輝度を観察者３２０の方へ戻るように投影する。
【００９５】
図４は、前面投影ディスプレイの代替的な構成４００を示す。前面投影ディスプレイのレンチキュラーシート４１０は、プロジェクタ側レンチキュラーシート４０１と、反射器４０３と、レンチキュラーシートと反射器との間にある基板４０４とを含む。レンチキュラーシート４０１は、基板４０４及び光反射器４０３を用いて取り付けられる。本発明では、フレキシブル前面投影布を用いる。
【００９６】
理想的には、表示装置に対するカメラ１１０の配置及びプロジェクタ１７１の配置は、実質的に同じである。機械的な取り付けの理由から、隣接プロジェクタ間で垂直方向のオフセットが必要となる場合があるが、これは、出力画像の垂直解像度をいくらか損ねることになる可能性がある。
【００９７】
図５に示すように、レンチキュラーディスプレイの視域５０１は、各レンチクルの視野（ＦＯＶ）５０２に関連する。観察エリア全体、すなわち１８０°は、複数の視域に分割される。本発明の場合には、ＦＯＶは３０°であり、６つの視域が生じる。各視域は、拡散器３０３上の１６個のサブピクセル５１０に対応する。
【００９８】
目視者３２０がある視域から別の視域に移動すると、急激な画像の「シフト」５２０が生じる。このシフトは、視域の境界において、あるレンチクルの１６番目のサブピクセルから隣接するレンチクルの１番目のサブピクセルに移動するために起こる。さらに、レンチキュラーシート同士の平行移動は、視域の変化、すなわち見かけの回転を生じる。
【００９９】
本発明のシステムの視域は、非常に大きい。本発明では、ディスプレイの手前約２メートルから１５メートルを優に越すまでの被写界深度範囲を推定する。観察者が遠ざかるにつれて、両眼視差は小さくなり、運動視差が大きくなる。これは、ディスプレイが遠くにある場合、観察者は、複数のビューを同時に見るためである。結果として、頭部の小さな動きであっても大きな運動視差が生じる。視域のサイズを大きくするには、ＦＯＶのより広いレンチキュラーシート、又はより高いＬＰＩを用いることができる。
【０１００】
本発明の３Ｄディスプレイの制限は、水平視差のみを与えることである。これは、観察者が静止したままでいる限り、重大な問題ではないと考えられる。この制限は、インテグラルレンズシート並びに２次元のカメラ及びプロジェクタアレイを使用することによって補正することができる。本発明のレンチキュラースクリーン上でいくらかの垂直視差とともに画像を表示するために、ヘッドトラッキングを組み込むこともできる。
【０１０１】
本発明のシステムは、投影側と観察者側で同一のＬＰＩを有するレンチキュラーシートを使用することに制限されない。１つの可能な設計は、プロジェクタ側に２倍の数のレンチクルを有する。拡散器の上に設けたマスクにより１つおきのレンチクルを覆うことができる。シートはずれているため、プロジェクタ側の１つのレンチクルが観察者側の１つのレンチクルのための画像を提供する。インテグラルシート又は曲面ミラーによる再帰反射を用いた他のマルチプロジェクタディスプレイも可能である。
【０１０２】
本発明では、垂直方向にアライメントをとった、異なる強度（例えば暗、中、及び明）の拡散フィルタを有するプロジェクタを追加することもできる。その場合、異なるプロジェクタからの画素を混合することによって、各ビューの出力輝度を変更することができる。
【０１０３】
本発明の３Ｄ ＴＶシステムは、ポイントツーポイント伝送、例えばテレビ会議にも用いることができる。
【０１０４】
本発明のシステムは、変形可能な表示媒体、例えば、有機ＬＥＤを有する多眼表示装置にも適合される。各表示装置の向き及び相対的な位置が分かれば、画像情報をデコーダモジュールからコンシューマモジュールへ動的にルーティングすることによって、新たな仮想ビューをレンダリングすることができる。
【０１０５】
他の用途の中でも、特に、これにより、変形可能な表示媒体、例えば、オブジェクトの周囲に掛けた前面投影布を指向する小型マルチプロジェクタ、又はオブジェクトの表面に直接取り付けた小型の有機ＬＥＤ及びレンズレットを用いて、ビューに依存した画像をオブジェクト上に表示することによって「透明マント」の設計が可能となる。この「透明マント」は、そのオブジェクトが存在しなかったら見えるであろうビューに依存した画像を表示する。動的に変化するシーンの場合、オブジェクトの周囲又はオブジェクト上に複数の小型カメラを設置して、ビューに依存した画像を取得し、これらの画像を「透明マント」に表示することができる。
【０１０６】
本発明を好ましい実施形態の例として記載してきたが、本発明の精神及び範囲内でさまざまな他の適用及び変更を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入る変形及び変更をすべて網羅することである。
【図面の簡単な説明】
【０１０７】
【図１】本発明による３Ｄ ＴＶシステムのブロック図である。
【図２】本発明によるデコーダモジュール及びコンシューマモジュールのブロック図である。
【図３】本発明による背面投影を用いた表示装置の上面図である。
【図４】本発明による前面投影を用いた表示装置の上面図である。
【図５】目視者側レンチキュラーシートと投影側レンチキュラーシートの間の水平方向シフトの概略図である。
【技術分野】
【０００１】
本発明は、包括的には画像処理に関し、特に、自動立体画像の取得、伝送、及びレンダリングに関する。
【背景技術】
【０００２】
人間の視覚系は、さまざまな手掛かりからシーン中の３次元情報を得る。最も重要な２つの手掛かりとして、両眼視差及び運動視差がある。両眼視差は、それぞれの目でシーンの異なる画像を見ることを指すのに対し、運動視差は、頭部が動いているときにシーンの異なる画像を見ることを指す。視差知覚と奥行知覚のつながりは、１８３８年に世界初の３次元ディスプレイ装置により示された。
【０００３】
以来、いくつもの立体画像ディスプレイが開発されている。３次元ディスプレイは、娯楽、広告、情報提示、テレプレゼンス、サイエンティフィックビジュアライゼーション（科学情報の視覚化）、遠隔操作、及び芸術における多くの用途に対して膨大な可能性を持っている。
【０００４】
１９０８年に、カラー写真技術及び３次元ディスプレイに大きな貢献をしたGabriel Lippmannは、「現実に基づくウィンドウビュー」を提供するディスプレイを作製することを考えた。
【０００５】
ホログラフィックイメージングの先駆者の一人であるStephen Bentonは、１９７０年代にLippmannの構想を進めた。Bentonは、テレビのような特性を持ち、フルカラーの３Ｄ画像を適切な遮蔽関係で配信することができるスケーラブルな空間ディスプレイシステムを設計しようと試みた。このディスプレイは、あらゆる視点から特別なレンズを使用せずに見ることのできる両眼視差を持つ画像、すなわち立体画像を提供した。このようなディスプレイは、複数の観察者に両眼視差及び運動視差を自然にもたらすため、多眼自動立体と呼ばれる。
【０００６】
さまざまな商業的自動立体ディスプレイが既知である。ほとんどの従来のシステムは、両眼すなわちステレオ画像を表示するが、いくつかの最近導入されたシステムは、最大２４のビューを表示する。しかし、複数の視点のビューを同時に表示することは、本質的に、非常に高い解像度のイメージング媒体を必要とする。例えば、１６の別個の水平方向ビューを有する最大ＨＤＴＶ出力解像度は、出力画像毎に１９２０×１０８０×１６すなわち３３００万画素以上を必要とする。これは、ほとんどの現在のディスプレイ技術を遥かに超えている。
【０００７】
こうした高解像度コンテンツをリアルタイムで取得、伝送、及び表示するための処理要件及び帯域幅要件に対処できるようになったのはごく最近である。
【０００８】
今日では、以前は１つのアナログチャンネルが占有していた同一帯域幅を用いて多くのデジタルテレビチャンネルが伝送されている。このことが、放送用３Ｄ ＴＶの開発への関心を新たにした。日本の３Ｄコンソーシアム及び欧州のＡＴＴＥＳＴプロジェクトは、それぞれ、３Ｄ ＴＶ用のＩ／Ｏデバイス及び配給機構の開発及び推進を試みている。両グループの目標は、放送用ＨＤＴＶと互換性があり、現在及び将来の３Ｄディスプレイ技術に対応する、商業的に実現可能な３Ｄ ＴＶ規格を開発することである。
【０００９】
しかし、これまでのところ、十分に機能するエンドツーエンド３Ｄ ＴＶシステムは、実現していない。
【００１０】
３次元ＴＶは、文字通り何千もの刊行物及び特許に記載されている。この研究は、さまざまな科学分野及び工学分野をカバーするため、広範な背景が与えられる。
【００１１】
ライトフィールド（光照視野）の取得
ライトフィールドは、遮蔽物のない空間領域における位置及び方向の関数として放射輝度を表す。本発明は、シーンの幾何形状を伴わないライトフィールドの取得と、モデルベースの３Ｄビデオとを区別する。
【００１２】
本発明の１つの目的は、２Ｄ光マニホルドを通過し、最小の遅延で別の２Ｄ光マニホルドを通して同一指向性のライトフィールドを放射する、経時的に変化するライトフィールドを取得することである。
【００１３】
イメージベースドグラフィックス及び３Ｄディスプレイにおける初期の研究は、静的ライトフィールドの取得を対象にしてきた。早くも１９２９年に、初めての投影に基づく３Ｄディスプレイと組み合わせた、大きなオブジェクトのマルチカメラ写真記録方法が記載された。このシステムは、写真カメラとスライドプロジェクタとの間に１対１のマッピングを用いる。
【００１４】
イメージベースドレンダリングの助けを借りて、表示装置において新たな仮想ビューを生成することによって、この制約を取り除くことが望ましい。
【００１５】
動的ライトフィールドを取得できるようになったのは、ごく最近である。Naemura等著「拡張された空間通信のためのリアルタイムのビデオに基づくレンダリング（Real-time video-based rendering for augmented spatial communication）」Visual Communication and Image Processing, SPIE, 620-631, 1999。Naemura等は、実現可能な４×４のライトフィールドカメラを実施した。より最近のものは、商業的なリアルタイムの奥行推定システムを含む。（Naemura等著「リアルタイムのビデオに基づく３Ｄシーンのモデル化及びレンダリング（Real-time video-based modeling and rendering of 3d scenes）」IEEE Computer Graphics and Applications, pp. 66-73, March 2002）。
【００１６】
別のシステムは、特殊用途の１２８×１２８画素ランダムアクセスＣＭＯＳセンサの正面に配置したレンズアレイを用いる（Ooi等著「リアルタイムのイメージベースドレンダリングシステムのための画素に依存しないランダムアクセスイメージセンサ（Pixel independent random access image sensor for real time image-based rendering system）」IEEE International Conference on Image Processing, vol. II, pp. 193-196, 2001）。スタンフォードのマルチカメラアレイは、構成可能に配置された１２８台のカメラを含む（Wilburn等著「ライトフィールドビデオカメラ（The light field video camera）」Media Processors 2002, vol. 4674 of SPIE, 2002）。この論文では、特殊用途のハードウェアがカメラを同期させ、ビデオストリームをディスクに格納する。
【００１７】
ＭＩＴのライトフィールドカメラは、商品ＰＣクラスタに接続された８×８の安価なイメージャアレイを用いる（Yang等著「リアルタイムの分散ライトフィールドカメラ（A real-time distributed light field camera）」Proceedings of the 13th Eurographics Workshop on Rendering, Eurographics Association, pp. 77-86, 2002）。
【００１８】
これらのシステムは、全て、動的ライトフィールドのナビゲーション及び操作のために、何らかの形態のイメージベースドレンダリングを行う。
【００１９】
モデルベースの３Ｄビデオ
３Ｄ ＴＶコンテンツを取得する別の手法として、疎に配置されたカメラ及びシーンのモデルを用いるものがある。通常のシーンモデルは、奥行マップから「visual hull」、又は人体形状の詳細なモデルまで多岐にわたる。
【００２０】
システムによっては、カメラからのビデオデータをモデル上に投影して、現実的な経時的に変化する表面テクスチャを生成するものもある。
【００２１】
バーチャルリアリティ用の最も大きな３Ｄビデオスタジオの１つは、５０台以上のカメラをドームに配置している（Kanade等著「仮想化現実：実際のシーンからの仮想世界の構築（Virtualized reality: Constructing virtual worlds from real scenes）」IEEE Multimedia, Immersive Telepresence, pp. 34-47, January 1997）。
【００２２】
Ｂｌｕｅ−Ｃシステムは、空間没入環境においてリアルタイムの取得、伝送、及び瞬時の表示を行う数少ない３Ｄビデオシステムの１つである（Gross等著「Ｂｌｕｅ−Ｃ：テレプレゼンス用の空間没入型ディスプレイ及び３Ｄビデオポータル（Blue-C: A spatially immersive display and 3d video portal for telepresence）」ACM Transactions on Graphics, 22, 3, pp. 819-828, 2003）。Ｂｌｕｅ−Ｃは、３Ｄ「ビデオフラグメント」の圧縮及び伝送に中央プロセッサを用いる。これにより、ビューの数が増加するにつれて、このシステムのスケーラビリティは限定される。このシステムはまた、「visual hull」を取得するが、これは、屋内又は屋外シーン全体ではなく個々のオブジェクトに限定される。
【００２３】
欧州ＡＴＴＥＳＴプロジェクトでは、フレーム毎に奥行マップを有するＨＤＴＶカラー画像を取得する（Fehn等著「３Ｄ ＴＶに対する進化的な最適手法（An evolutionary and optimized approach on 3D-TV）」Proceedings of International Broadcast Conference, pp. 357-365, 2002）。
【００２４】
いくつかの実験的なＨＤＴＶカメラが既に構築されている（Kawakita等著「高精細度の３次元カメラ−ＨＤＴＶ用のａｘｉ−ｖｉｓｉｏｎカメラ（High-definition three-dimension camera - HDTV version of an axi-vision camera）」Tech. Rep. 479, Japan Broadcasting Corp. (NHK), Aug. 2002）。奥行マップは、高位層として既存のＭＰＥＧ−２ビデオストリームに伝送することができる。２Ｄコンテンツは、奥行再構成プロセスを用いて変換することができる。受信機側では、イメージベースドレンダリングを用いてステレオペア又は多眼３Ｄ画像が生成される。
【００２５】
しかし、正確な奥行マップを用いても、シーン中の遮蔽又は大きな視差のため、ディスプレイ側で複数の高品質ビューをレンダリングすることは難しい。さらに、単一のビデオストリームでは、鏡面ハイライトのような、重要なビューに依存した効果を取り込むことができない。
【００２６】
実世界のシーンの奥行又は幾何形状のリアルタイム取得は、依然として非常に困難である。
【００２７】
ライトフィールドの圧縮及び伝送
静的ライトフィールドの圧縮及びストリーミングも既知である。しかし、動的ライトフィールドの圧縮及び伝送に対しては、ほとんど注意が払われていない。ライトフィールドデータが全てディスプレイ装置において利用可能である全視点符号化と、有限視点符号化とを区別することができる。有限視点符号化は、ユーザからカメラへ情報を送り返すことによって特定のビューに必要なデータのみを伝送する。これにより、伝送帯域幅が低減されるが、この符号化は、３Ｄ ＴＶ放送には適さない。
【００２８】
動的ライトフィールドのための効率的な符号化方式及びさまざまな他の３Ｄビデオシナリオを調査するために、３Ｄのオーディオ及びビデオに関するＭＰＥＧアドホックグループが結成された（Smolic等著「３ｄａｖ調査報告（Report on 3dav exploration）」ISO/IEC JTC1/SC29/WG11 Document N5878, July 2003）。
【００２９】
実験的な動的ライトフィールド符号化システムは、時間符号化と呼ばれる時間領域における動き補償、又は、空間符号化と呼ばれるカメラ間の視差予測を用いる（Tanimoto等著「時空間予測を用いた光線空間符号化（Ray-space coding using temporal and spatial predictions）」ISO/IEC JTC1/SC29/WG11 Document M10410, December 2003）。
【００３０】
多眼自動立体ディスプレイ：ホログラフィックディスプレイ
今世紀初頭からホログラフィが知られている。ホログラフィック技法は、１９６２年に初めて画像ディスプレイに適用された。このシステムでは、照明源からの光をホログラフィック表面の干渉フリンジによって回折させて、元のオブジェクトの光波面を再構成する。ホログラムは、連続的なアナログライトフィールドを表示するため、ホログラムのリアルタイムでの取得及び表示は、長い間、３Ｄ ＴＶの「聖杯（究極の目的）」であると考えられてきた。
【００３１】
ＭＩＴのStephen Bentonの空間イメージンググループは、電子ホログラフィの開発の先駆けとなってきた。このグループの最新のデバイスであるＭａｒｋ−ＩＩホログラフィックビデオディスプレイは、音響光学変調器、分光器、可動ミラー、及びレンズを用いてインタラクティブホログラムを作り出している（St.-Hillaire等著「ＭＩＴホログラフィックビデオシステムの拡大（Scaling up the MIT holographic video system）」Proceedings of the Fifth International Symposium on Display Holography, SPIE, 1995）。
【００３２】
より最近のシステムでは、音響光学変調器をＬＣＤ、集束光アレイ、光学的にアドレス指定される空間変調器、及びデジタルマイクロミラーデバイスに置き換えることによって、可動部が除去されている。
【００３３】
現在のホログラフィックビデオデバイスは、全て単色レーザ光を使用する。ディスプレイ画面のサイズを縮小するために、これらのデバイスは、水平方向の視差のみを与える。ディスプレイハードウェアは、各寸法が通常数ミリメートルである画像のサイズに対して非常に大きい。
【００３４】
ホログラムの取得は、依然として、注意深く制御された物理プロセスを必要とし、リアルタイムでは行うことができない。少なくとも予測可能な未来に関しては、ホログラフィックシステムが大型ディスプレイにおいて動的な自然のシーンを取得、伝送、及び表示できるようになる可能性は低い。
【００３５】
ボリュメトリックディスプレイ
ボリュメトリックディスプレイは、３次元空間を走査し、ボクセルを個別にアドレス指定及び照明する。航空管制、医療及び科学情報の視覚化といった用途向けのいくつかの商業システムが現在利用可能である。しかし、ボリュメトリックシステムは、十分に説得力のある３次元体験を提供しない透明画像を生成する。ボリュメトリックディスプレイでは、限られた色再現と遮蔽の欠如により、自然なシーンのライトフィールドを正確に再現することができない。大型ボリュメトリックディスプレイの設計はまた、いくつかの難しい障害をもたらす。
【００３６】
視差ディスプレイ
視差ディスプレイは、空間的に変動する指向性の光を放射する。初期の３Ｄディスプレイの研究のほとんどは、Wheatstoneの実体鏡を改良することに焦点を当てていた。F. Ivesは、垂直スリットを有するプレートを、左目／右目画像のストリップが交互になった画像上でバリアとして用いた（Ivesに対して発行された米国特許第７２５，５６７号「視差ステレオグラムとその作製プロセス（Parallax stereogram and process for making same）」）。結果として得られるデバイスは、視差ステレオグラムである。
【００３７】
ステレオグラムの限定された視角と制限された観察位置を拡張するため、交互になった画像ストライプの間に細いスリットと小さなピッチを用いることができる。これらの多眼画像は、視差パノラマグラムである。ステレオグラム及びパノラマグラムは、水平視差のみを与える。
【００３８】
球面レンズ
１９０８年に、Lippmannは、スリットの代わりに球面レンズアレイを記述した。一般に、これは、しばしば「フライアイ（ハエの目）」レンズシートと呼ばれる。結果として得られる画像は、インテグラルフォトである。インテグラフルフォトは、画素、すなわち「レンズレット」毎に指向性の異なる放射輝度を有する真平面ライトフィールドである。インテグラルレンズシートは、実験的に高解像度ＬＣＤに用いられてきた（Nakajima等著「コンピュータにより生成されるインテグラルフォトグラフィを用いた３次元医用画像ディスプレイ（Three-dimensional medical imaging display with computer-generated integral photography）」Computerized Medical Imaging and Graphics, 25, 3, pp. 235-241, 2001）。イメージング媒体の解像度は、非常に高くなければならない。例えば、４つの水平方向ビューと４つの垂直方向ビューを有する１０２４×７６８画素の出力は、出力画像毎に１２００万画素を必要とする。
【００３９】
３×３のプロジェクタアレイが、実験的な高解像度３Ｄインテグラルビデオディスプレイを用いる（Liao等著「マルチプロジェクタを用いた高解像度インテグラルビデオグラフィ自動立体ディスプレイ（High-resolution integral videography auto-stereoscopic display using multi-projector）」Proceedings of the Ninth International Display Workshop, pp. 1229-1232, 2002）。各プロジェクタはズームレンズを備えて、２８７２×２１５０画素のディスプレイを生成する。ディスプレイは、水平視差と垂直視差を有する３つのビューを提供する。各レンズレットは、２４０×１８０画素の出力解像度の場合に１２画素をカバーする。特殊用途の画像処理ハードウェアが幾何学的な画像ワーピングに用いられる。
【００４０】
レンチキュラーディスプレイ
レンチキュラーシートは、１９３０年代から知られている。レンチキュラーシートは、「レンチクル」と呼ばれる細いシリンドリカルレンズの線形アレイを含む。これにより、垂直視差を低減することによって画像データ量を低減する。レンチキュラー画像は、広告、雑誌の表紙、及び葉書への広範な用途が見出されている。
【００４１】
今日の商業用自動立体ディスプレイは、ＬＣＤ又はプラズマスクリーンの上部に配置された視差バリア、サブピクセルフィルタ、又はレンチキュラーシートの変化に基づく。視差バリアは、通常、画像の輝度及び鮮明さをいくらか低下させる。視点の異なるビューの数は、通常限られている。
【００４２】
例えば、最大解像度のＬＣＤは、３８４０×２４００画素の解像度を与える。例えば、１６のビューの水平視差を加えると、水平方向の出力解像度が２４０画素に低下する。
【００４３】
ディスプレイの解像度を高めるために、H. Ivesは、１９３１年に、レンチキュラーシートの裏面を拡散塗料で塗装し、シートを３９台のスライドプロジェクタの投影面として使用することによって、マルチプロジェクタレンチキュラーディスプレイを発明した。それ以来、レンチキュラーシート及びマルチプロジェクタアレイのいくつかの異なる構成が記載されている。
【００４４】
視差ディスプレイの他の技法は、時間多重化及び追跡ベースのシステムを含む。時間多重化では、複数のビューがスライディングウィンドウ又はＬＣＤシャッターを用いて異なる瞬間に投影される。これにより、ディスプレイのフレームレートが本質的に低下し、目に見えるちらつきが生じる可能性がある。ヘッドトラッキング（頭部追跡）設計は、多くの場合、高品質ステレオ画像ペアの表示に焦点を当てる。
【００４５】
マルチプロジェクタディスプレイ
スケーラブルなマルチプロジェクタディスプレイ壁が最近普及してきており、多くのシステムが実施されている（例えば、Raskar等著「未来のオフィス：イメージベースドモデリング及び空間没入型ディスプレイに対する統合的手法（The office of the future: A unified approach to image-based modeling and spatially immersive displays）」Proceedings of SIGGRAPH '98, pp. 179-188, 1998）。これらのシステムは、非常に高い解像度、柔軟性、優れたコストパフォーマンス、スケーラビリティ、及び大判画像を提供する。マルチプロジェクタシステムのグラフィックスレンダリングは、ＰＣクラスタに効果的に対応させることができる。
【００４６】
プロジェクタはまた、平坦でないディスプレイ幾何形状に適合するために必要な柔軟性を提供する。大型ディスプレイの場合、マルチプロジェクタシステムは、非常に高解像度の表示媒体、例えば、有機ＬＥＤが利用可能になるまで、多眼３Ｄディスプレイの唯一の選択肢となる。
【発明の開示】
【発明が解決しようとする課題】
【００４７】
しかし、多数のプロジェクタの手動アライメントは、退屈であり、平坦でない画面又は３Ｄ多眼ディスプレイの場合には全く不可能になる。
【００４８】
システムによっては、自動プロジェクタアライメントのために、カメラ及びフィードバックループを用いて相対的なプロジェクタの姿勢を自動計算するものもある。マルチプロジェクタインテグラルディスプレイシステムの場合、線形２軸ステージに搭載されたデジタルカメラを用いて、プロジェクタのアライメントをとることもできる。
【００４９】
本発明は、動的なシーンの３Ｄ画像をリアルタイムで取得及び伝送するシステム及び方法を提供する。計算及び帯域に対する高い需要に応えるために、本発明は、分散型のスケーラブルアーキテクチャを用いる。
【課題を解決するための手段】
【００５０】
本システムは、カメラアレイと、ネットワークに接続された処理モジュールクラスタと、レンチキュラースクリーンを有するマルチプロジェクタ３Ｄ表示装置とを備える。本システムは、複数の視点に対して特別な観察用眼鏡を用いることなく立体カラー画像を提供する。本発明では、完全な表示光学系を設計する代わりに、３Ｄディスプレイを自動調節するためのカメラを用いる。
【００５１】
本システムは、長い３Ｄディスプレイ史上初めて、リアルタイムのエンドツーエンド３Ｄ ＴＶを提供する。
【発明の効果】
【００５２】
本発明は、動的ライトフィールドの分散した取得、伝送、及びレンダリングのためのスケーラブルなアーキテクチャを有する３Ｄ ＴＶシステムを提供する。新規の分散レンダリング方法により、わずかな計算及び中程度の帯域幅を用いて新たなビューを補間することが可能になる。
【発明を実施するための最良の形態】
【００５３】
システムアーキテクチャ
図１は、本発明による３Ｄ ＴＶシステムを示す。システム１００は、取得段１０１と、伝送段１０２と、表示段１０３とを備える。
【００５４】
取得段１０１は、同期したビデオカメラ１１０のアレイを含む。小さなカメラクラスタがプロデューサモジュール１２０に接続される。プロデューサモジュールは、リアルタイムの非圧縮ビデオを取り込み、標準的なＭＰＥＧ符号化を用いてビデオを符号化して圧縮ビデオストリーム１２１を生成する。プロデューサモジュールは、観察パラメータも生成する。
【００５５】
圧縮ビデオストリームは、伝送ネットワーク１３０を介して送られる。このネットワークは、放送、ケーブル、衛星ＴＶ、又はインターネットであってもよい。
【００５６】
表示段１０３では、デコーダモジュール１４０によって個々のビデオストリームが復元される。デコーダモジュールは、高速ネットワーク１５０、例えば、ギガビットイーサネット（登録商標）によってコンシューマモジュール１６０のクラスタに接続される。コンシューマモジュールは、適切なビューをレンダリングし、出力画像を２Ｄ、ステレオペア３Ｄ、又は多眼３Ｄ表示装置３１０に送る。
【００５７】
コントローラ１８０は、仮想ビューパラメータをデコーダモジュール及びコンシューマモジュールへ放送する（図２を参照）。コントローラは、１つ又は複数のカメラ１９０にも接続される。カメラは、投影エリア及び／又は観察エリアに配置される。カメラは、表示装置に入力機能を提供する。
【００５８】
分散処理を用いて、システム１００が取得、伝送及び表示するビューの数をスケーラブルにする。システムは、特殊用途のライトフィールドカメラのような他の入力及び出力モダリティ、及び非対称処理に適合させることができる。本発明のシステムの全体的なアーキテクチャは、特定のタイプの表示装置に依存しないことに留意願いたい。
【００５９】
システム動作
取得段
各カメラ１１０は、プログレッシブ高精細ビデオをリアルタイムで取得する。例えば、本発明では、１３１０×１０３０の１画素当たり８ビットであるＣＣＤセンサを有するカラーカメラを１６台用いる。カメラは、ＩＥＥＥ−１３９４「ファイヤワイヤ」高性能シリアルバス１１１によってプロデューサモジュール１２０に接続される。
【００６０】
フル解像度における最大伝送フレームレートは、例えば、毎秒１２フレームである。８個のプロデューサモジュールそれぞれにカメラが２台ずつ接続される。本発明のプロトタイプのモジュールは、すべて、３ＧＨｚのＰｅｎｔｉｕｍ（登録商標）４プロセッサ、２ＧＢのＲＡＭを有し、Ｗｉｎｄｏｗｓ（登録商標）ＸＰを実行する。他のプロセッサ及びソフトウェアを用いてもよいことに留意すべきである。
【００６１】
本発明のカメラ１１０は、ビデオの同期を完全に制御することを可能にする外部トリガを有する。本発明では、カスタムプログラマブルロジックデバイス（ＣＰＬＤ）を有するＰＣＩカードを用いてカメラ１１０用の同期信号１１２を生成する。ソフトウェア同期によるカメラアレイを構築することも可能であるが、本発明では、動的なシーンに対して正確なハードウェア同期を好む。
【００６２】
本発明の３Ｄディスプレイは、水平視差のみを示すため、本発明では、カメラ１１０を規則的な間隔の線形水平アレイに配置した。概して、本発明では、後述のように、コンシューマモジュールにおいて、イメージベースドレンダリングを使用して新たなビューを同期させているため、カメラ１１０は、任意の配置とすることができる。理想的には、各カメラの光軸は、共通のカメラ平面に垂直であり、各カメラの「上方向ベクトル」は、カメラの垂直軸とアライメントがとられている。
【００６３】
実際には、複数のカメラのアライメントを正確にとることは不可能である。本発明では、標準的な校正手順を用いて、カメラの内部パラメータ（すなわち、焦点距離、半径方向歪み、カラー校正等）及び外部パラメータ（すなわち、回転及び平行移動）を求める。校正パラメータは、ビデオストリームの一部として観察パラメータとして放送され、カメラアライメントの相対的な差は、表示段１０３において補正ビューをレンダリングすることによって対処することができる。
【００６４】
密な間隔のカメラアレイは、最良のライトフィールドの取り込みを行うが、ライトフィールドがアンダーサンプリングされる場合、高品質の再構成フィルタを用いてもよい。
【００６５】
多数のカメラをＴＶスタジオに設置することができる。カメラのサブセットが、カメラの操作者又は閲覧者であるユーザによってジョイスティックを用いて選択されて、シーンの可動２Ｄ／３Ｄウィンドウを表示し、自由視点ビデオを提供することができる。
【００６６】
伝送段
１３１０×１０３０の解像度の１画素当たり２４ビットである１６の非圧縮ビデオストリームを３０フレーム毎秒で伝送するには、１４．４Ｇｂ／秒の帯域幅が必要となる。これは、現在の放送能力を遥かに越えている。動的な多眼ビデオデータの圧縮及び伝送には、２つの基本的な設計上の選択肢がある。複数のカメラからのデータを空間符号化又は時空間符号化を用いて圧縮するか、又は、各ビデオストリームを、時間符号化を用いて個別に圧縮するかのいずれかである。時間符号化は、各フレーム内で空間符号化も用いるが、ビュー間では用いない。
【００６７】
最初の選択肢は、ビュー間の一貫性が高くなるため、より高い圧縮率を提供する。しかし、より高い圧縮率には、複数のビデオストリームを中央プロセッサによって圧縮することが必要となる。この圧縮ハブアーキテクチャは、より多くのビューの追加が最終的にはエンコーダの内部帯域幅を圧倒してしまうため、スケーラブルでない。
【００６８】
結果的に、本発明では、分散プロセッサ上で個々のビデオストリームの時間符号化を用いる。この方策には他の利点がある。既存の広帯域プロトコル及び圧縮規格を変更する必要がない。本発明のシステムは、従来のデジタルＴＶ放送インフラストラクチャと互換性があり、２Ｄ ＴＶと完全に調和した状態で共存することができる。
【００６９】
現在、デジタル放送ネットワークは、何百ものチャンネル、おそらくは千以上のチャンネルをＭＰＥＧ−４で搬送する。これにより、任意数、例えば１６のチャンネルを３Ｄ ＴＶに費やすことが可能となる。しかし、本発明の好ましい伝送方策は、放送であることに留意されたい。
【００７０】
本発明のシステムにより、他の用途、例えば、ピアツーピア３Ｄテレビ会議も可能にすることができる。既存の２Ｄ符号化規格を用いるもう１つの利点は、受信機のデコーダモジュールが十分に確立されており、広く利用可能であることである。別法として、デコーダモジュール１４０は、デジタルＴＶの「セットトップ」ボックスに組み込むこともできる。デコーダモジュールの数は、ディスプレイが２Ｄであるか多眼３Ｄであるかに依存することができる。
【００７１】
本発明のシステムは、複数のビューを、例えば、２Ｄビデオと奥行マップに符号化し、伝送し、表示段１０３において復号化することができる限り、他の３Ｄ ＴＶ圧縮アルゴリズムにも適合できることに留意されたい。
【００７２】
８個のプロデューサモジュールがギガビットイーサネット（登録商標）によって８個のコンシューマモジュール１６０に接続される。フルカメラ解像度（１３１０×１０３０）のビデオストリームが、ＭＰＥＧ−２で符号化され、プロデューサモジュールによって即座に復号化される。これは、本質的に、帯域幅が非常に大きく遅延がほとんどない広帯域ネットワークに対応する。
【００７３】
ギガビットイーサネット（登録商標）１５０は、デコーダモジュールとコンシューマモジュールの間に全対全の接続性を提供する。これは、本発明の分散したレンダリング及び表示の実施に重要である。
【００７４】
表示段
表示段１０３は、表示装置３１０に表示すべき適切な画像を生成する。表示装置は、多眼３Ｄ装置、頭部装着型２Ｄステレオ装置、又は従来の２Ｄ装置とすることができる。この柔軟性を提供するために、システムは、全ての可能なビューすなわち全ライトフィールドを常にエンドユーザに提供できなければならない。
【００７５】
コントローラ１８０は、仮想カメラの位置、向き、視野、及び焦点面といった観察パラメータを指定することによって、１つ又は複数の仮想ビューを要求する。次に、これに応じて、パラメータを用いて出力画像をレンダリングする。
【００７６】
図２は、デコーダモジュール及びコンシューマモジュールをより詳細に示す。デコーダモジュール１４０は、圧縮ビデオ１２１を復元して１４１非圧縮のソースフレーム１４２を生成し、ネットワーク１５０を介して現在の復元フレームを仮想ビデオバッファ（ＶＶＢ）１６２に格納する。各コンシューマモジュール１６０は、全ての現在の復号化フレーム、すなわち、特定の瞬間における全ての取得ビューのデータを格納するＶＶＢを有する。
【００７７】
コンシューマモジュール１６０は、ＶＶＢ１６２内の複数のフレームからの画像の画素を処理することによって、出力ビデオの出力画像１６４を生成する。帯域幅及び処理の制限により、各コンシューマモジュールが全てのデコーダモジュールから完全なソースフレームを受信することは不可能である。これもまた、システムのスケーラビリティを制限する。重要な観測として、各コンシューマモジュールの出力画像に対するソースフレームの寄与は、事前に決定することができる。そこで、本発明では、１つの特定のコンシューマモジュール、すなわち１つの特定の仮想ビューとその対応する出力画像の処理に焦点を当てる。
【００７８】
出力画像１６４の画素ｏ（ｕ，ｖ）毎に、コントローラ１８０は、出力画素に寄与する各ソース画素ｓ（ｖ，ｘ，ｙ）のビュー番号ｖ及び位置（ｘ，ｙ）を求める。このために、各カメラには固有のビュー番号、例えば、１〜１６が関連付けられる。本発明では、非構造ルミグラフ法を用いて、入力ビデオストリーム１２１から出力画像を生成する。
【００７９】
各出力画素は、ｋ個のソース画素の線形結合である。
【００８０】
【数１】
【００８１】
混合重みｗｉは、コントローラが仮想ビュー情報に基づいて事前に決定することができる。コントローラは、画素選択１４３のためにｋ個のソース画素の位置（ｘ，ｙ）を各デコーダｖに送る。要求元コンシューマモジュールのインデックスｃが、デコーダモジュールからコンシューマモジュールへ画素をルーティングする（１４５）ためにデコーダに送られる。
【００８２】
オプションとして、ネットワーク１５０を介して画素を送る前に、画素ブロックの圧縮１４４のために複数の画素をデコーダにおいてバッファすることができる。コンシューマモジュールは、画素ブロックを復元し１６１、各画素をＶＶＢ番号ｖの位置（ｘ，ｙ）に格納する。
【００８３】
各出力画素は、ｋ個のソースフレームからの画素を要求する。これは、ＶＶＢに対するネットワーク１５０の最大帯域幅が、出力画像のサイズをｋ倍して１秒当たりのフレーム数（ｆｐｓ）を掛けたものであることを意味する。例えば、ｋ＝３で、３０ｆｐｓ、及び１画素当たり１２ビットのＨＤＴＶ出力解像度、例えば、１２８０×７２０について、最大帯域幅は、１１８ＭＢ／秒である。これは、画素ブロックの圧縮１４４を用いた場合、処理が多くなることと引き換えにして、実質的に低減することができる。スケーラビリティを与えるために、この帯域幅は、伝送されるビューの総数に依存しないことが重要であり、本発明のシステムは、これに当てはまる。
【００８４】
各コンシューマモジュール１６０における処理は、次の通りである。コンシューマモジュールは、出力画素毎に式（１）を求める。重みｗｉは、事前に決定し、ルックアップテーブル（ＬＵＴ）１６５に格納する。ＬＵＴ１６５のメモリ要件は、出力画像１６４のサイズのｋ倍である。上記の例では、これは、４．３ＭＢに相当する。
【００８５】
ロスレス画素ブロック圧縮を仮定すると、コンシューマモジュールは、ハードウェアにおいて容易に実施することができる。これは、デコーダモジュール１４０、ネットワーク１５０、及びコンシューマモジュールを１つのプリント基板上にまとめるか、又は、特定用途向け集積回路（ＡＳＩＣ）として製造することができることを意味する。
【００８６】
本明細書では、画素という用語を厳密でなく使用している。画素とは、通常１画素を意味するが、小さな矩形の画素ブロックの平均である場合もある。他の既知のフィルタを画素ブロックに適用して、複数の周囲の入力画素から１つの出力画素を生成することもできる。
【００８７】
新たな効果、例えば、被写界深度のためにソースフレームの１６３個の事前にフィルタリングされたブロックを結合することは、イメージベースドレンダリングに関して新規である。特に、本発明では、範囲総和テーブルを使用することによって、事前にフィルタリングされた画像の多眼レンダリングを効率的に行うことができる。次に、事前にフィルタリング（総和）された画素ブロックを、式（１）を用いて結合して、出力画素を形成する。
【００８８】
本発明では、より高品質の混合、例えば、アンダーサンプリングされたライトフィールドを用いることもできる。これまでのところ、要求される仮想ビューは、静的である。しかし、すべてのソースビューは、ネットワーク１５０を介して送られることに留意されたい。コントローラ１８０は、画素選択１４３、ルーティング１４５、及び結合１６３のためにルックアップテーブル１６５を動的に更新することができる。これにより、ランダムアクセスイメージセンサを有するリアルタイムライトフィールドカメラ、及び受信機のフレームバッファと同様のライトフィールドのナビゲーションが可能になる。
【００８９】
表示装置
図３に示すように、背面投影構成の場合、表示装置は、レンチキュラースクリーン３１０として構築される。本発明では、１６台のプロジェクタを用いて出力ビデオを表示装置上に１０２４×７６８の出力解像度で表示する。プロジェクタの解像度は、１３１０×１０３０画素である本発明の取得ビデオ及び伝送ビデオの解像度より低くてもよいことに留意されたい。
【００９０】
レンチキュラーシート３１０の２つの重要なパラメータは、視野（ＦＯＶ）及び１インチ当たりのレンチクルの数（ＬＰＩ）である（図４及び図５も参照のこと）。レンチキュラーシートの面積は、６×４平方フィートであり、３０°のＦＯＶ及び１５ＬＰＩを有する。レンチクルの光学設計は、多眼３Ｄディスプレイについて最適化される。
【００９１】
図３に示すように、背面投影ディスプレイのレンチキュラーシート３１０は、プロジェクタ側レンチキュラーシート３０１と、観察者側レンチキュラーシート３０２と、拡散器３０３と、レンチキュラーシートと拡散器との間にある基板３０４とを含む。２つのレンチキュラーシート３０１及び３０２は、光拡散器３０３を中央に有する基板３０４上に裏面同士を貼り合わせられる。本発明ではフレキシブル背面投影布を用いる。
【００９２】
裏面同士を貼り合わせたレンチキュラーシート及び拡散器は、１つの構築物に合成される。２つのシートのレンチクルのアライメントをできるだけ正確にとるために、透明樹脂を用いる。樹脂は、ＵＶ硬化されてアライメントがとられる。
【００９３】
投影側レンチキュラーシート３０１は、光マルチプレクサとして働き、投影光を細い縦のストライプとして拡散器上に、また前面投影の場合には反射器４０３上に（下記図４を参照）集光する。各レンチクルを理想的なピンホールカメラとして考えると、拡散器／反射器上のストライプは、３次元ライトフィールドのビューに依存した放射輝度、すなわち、２Ｄ位置及び方位角を取り込む。
【００９４】
観察者側レンチキュラーシートは、光デマルチプレクサとして働き、ビューに依存した放射輝度を観察者３２０の方へ戻るように投影する。
【００９５】
図４は、前面投影ディスプレイの代替的な構成４００を示す。前面投影ディスプレイのレンチキュラーシート４１０は、プロジェクタ側レンチキュラーシート４０１と、反射器４０３と、レンチキュラーシートと反射器との間にある基板４０４とを含む。レンチキュラーシート４０１は、基板４０４及び光反射器４０３を用いて取り付けられる。本発明では、フレキシブル前面投影布を用いる。
【００９６】
理想的には、表示装置に対するカメラ１１０の配置及びプロジェクタ１７１の配置は、実質的に同じである。機械的な取り付けの理由から、隣接プロジェクタ間で垂直方向のオフセットが必要となる場合があるが、これは、出力画像の垂直解像度をいくらか損ねることになる可能性がある。
【００９７】
図５に示すように、レンチキュラーディスプレイの視域５０１は、各レンチクルの視野（ＦＯＶ）５０２に関連する。観察エリア全体、すなわち１８０°は、複数の視域に分割される。本発明の場合には、ＦＯＶは３０°であり、６つの視域が生じる。各視域は、拡散器３０３上の１６個のサブピクセル５１０に対応する。
【００９８】
目視者３２０がある視域から別の視域に移動すると、急激な画像の「シフト」５２０が生じる。このシフトは、視域の境界において、あるレンチクルの１６番目のサブピクセルから隣接するレンチクルの１番目のサブピクセルに移動するために起こる。さらに、レンチキュラーシート同士の平行移動は、視域の変化、すなわち見かけの回転を生じる。
【００９９】
本発明のシステムの視域は、非常に大きい。本発明では、ディスプレイの手前約２メートルから１５メートルを優に越すまでの被写界深度範囲を推定する。観察者が遠ざかるにつれて、両眼視差は小さくなり、運動視差が大きくなる。これは、ディスプレイが遠くにある場合、観察者は、複数のビューを同時に見るためである。結果として、頭部の小さな動きであっても大きな運動視差が生じる。視域のサイズを大きくするには、ＦＯＶのより広いレンチキュラーシート、又はより高いＬＰＩを用いることができる。
【０１００】
本発明の３Ｄディスプレイの制限は、水平視差のみを与えることである。これは、観察者が静止したままでいる限り、重大な問題ではないと考えられる。この制限は、インテグラルレンズシート並びに２次元のカメラ及びプロジェクタアレイを使用することによって補正することができる。本発明のレンチキュラースクリーン上でいくらかの垂直視差とともに画像を表示するために、ヘッドトラッキングを組み込むこともできる。
【０１０１】
本発明のシステムは、投影側と観察者側で同一のＬＰＩを有するレンチキュラーシートを使用することに制限されない。１つの可能な設計は、プロジェクタ側に２倍の数のレンチクルを有する。拡散器の上に設けたマスクにより１つおきのレンチクルを覆うことができる。シートはずれているため、プロジェクタ側の１つのレンチクルが観察者側の１つのレンチクルのための画像を提供する。インテグラルシート又は曲面ミラーによる再帰反射を用いた他のマルチプロジェクタディスプレイも可能である。
【０１０２】
本発明では、垂直方向にアライメントをとった、異なる強度（例えば暗、中、及び明）の拡散フィルタを有するプロジェクタを追加することもできる。その場合、異なるプロジェクタからの画素を混合することによって、各ビューの出力輝度を変更することができる。
【０１０３】
本発明の３Ｄ ＴＶシステムは、ポイントツーポイント伝送、例えばテレビ会議にも用いることができる。
【０１０４】
本発明のシステムは、変形可能な表示媒体、例えば、有機ＬＥＤを有する多眼表示装置にも適合される。各表示装置の向き及び相対的な位置が分かれば、画像情報をデコーダモジュールからコンシューマモジュールへ動的にルーティングすることによって、新たな仮想ビューをレンダリングすることができる。
【０１０５】
他の用途の中でも、特に、これにより、変形可能な表示媒体、例えば、オブジェクトの周囲に掛けた前面投影布を指向する小型マルチプロジェクタ、又はオブジェクトの表面に直接取り付けた小型の有機ＬＥＤ及びレンズレットを用いて、ビューに依存した画像をオブジェクト上に表示することによって「透明マント」の設計が可能となる。この「透明マント」は、そのオブジェクトが存在しなかったら見えるであろうビューに依存した画像を表示する。動的に変化するシーンの場合、オブジェクトの周囲又はオブジェクト上に複数の小型カメラを設置して、ビューに依存した画像を取得し、これらの画像を「透明マント」に表示することができる。
【０１０６】
本発明を好ましい実施形態の例として記載してきたが、本発明の精神及び範囲内でさまざまな他の適用及び変更を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入る変形及び変更をすべて網羅することである。
【図面の簡単な説明】
【０１０７】
【図１】本発明による３Ｄ ＴＶシステムのブロック図である。
【図２】本発明によるデコーダモジュール及びコンシューマモジュールのブロック図である。
【図３】本発明による背面投影を用いた表示装置の上面図である。
【図４】本発明による前面投影を用いた表示装置の上面図である。
【図５】目視者側レンチキュラーシートと投影側レンチキュラーシートの間の水平方向シフトの概略図である。
【特許請求の範囲】
【請求項１】
それぞれが動的に変化するシーンのビデオをリアルタイムで取得するように構成される複数のビデオカメラと、
該複数のビデオカメラを同期させる手段と、
前記ビデオを圧縮して圧縮ビデオを生成するとともに、前記複数のビデオカメラの観察パラメータを求めるように構成され、前記複数のビデオカメラに接続された複数のプロデューサモジュールと
を有する取得段と、
前記圧縮ビデオを復元して非圧縮ビデオを生成するように構成される複数のデコーダモジュールと、
前記復元したビデオから複数の出力ビデオを生成するように構成される複数のコンシューマモジュールと、
前記観察パラメータを前記複数のデコーダモジュール及び前記複数のコンシューマモジュールへ放送するように構成されるコントローラと、
前記観察パラメータに従って前記出力ビデオを同時に表示するように構成される３次元表示装置と、
前記複数のデコーダモジュール、前記複数のコンシューマモジュール、及び前記複数の表示装置を接続する手段と
を有する表示段と、
前記複数の圧縮ビデオ及び前記観察パラメータを転送するように構成され、前記取得段を前記表示段に接続する伝送段と
を備える３次元テレビシステム。
【請求項２】
前記観察パラメータを求めるために前記３次元表示装置に表示される校正画像を取得する複数のカメラをさらに備える請求項１に記載のシステム。
【請求項３】
前記表示装置は、プロジェクタである請求項１に記載のシステム。
【請求項４】
前記表示装置は、有機発光ダイオードである請求項１に記載のシステム。
【請求項５】
前記３次元表示装置は、前面投影を用いる請求項１に記載のシステム。
【請求項６】
前記３次元表示装置は、背面投影を用いる請求項１に記載のシステム。
【請求項７】
前記表示装置は、２次元表示素子を用いる請求項１に記載のシステム。
【請求項８】
前記表示装置は、フレキシブルであり、受動表示素子をさらに含む請求項１に記載のシステム。
【請求項９】
前記表示装置は、フレキシブルであり、能動表示素子をさらに含む請求項１に記載のシステム。
【請求項１０】
観察者の観察方向に応じて異なる出力画像が表示される請求項１に記載のシステム。
【請求項１１】
環境の静的なビューに依存した画像が表示され、表示面が消失する請求項１に記載のシステム。
【請求項１２】
環境の動的なビューに依存する画像が表示され、表示面が消失する請求項１に記載のシステム。
【請求項１３】
前記環境のビューに依存する画像は、複数のカメラによって取得される請求項１１又は１２に記載のシステム。
【請求項１４】
各プロデューサモジュールは、前記複数のビデオカメラのサブセットに接続される請求項１に記載のシステム。
【請求項１５】
前記複数のビデオカメラは、規則的な間隔の線形水平アレイである請求項１に記載のシステム。
【請求項１６】
前記複数のビデオカメラは、任意に配置される請求項１に記載のシステム。
【請求項１７】
各ビデオカメラの光軸は、共通平面に垂直であり、前記複数のビデオカメラの上方向ベクトルは、垂直方向にアライメントがとられる請求項１に記載のシステム。
【請求項１８】
前記観察パラメータは、前記ビデオカメラの内部パラメータ及び外部パラメータを含む請求項１に記載のシステム。
【請求項１９】
ビデオのサブセットを取得するための前記複数のカメラのサブセットを選択する手段をさらに備える請求項１に記載のシステム。
【請求項２０】
各ビデオは、個別に時間圧縮される請求項１に記載のシステム。
【請求項２１】
前記観察パラメータは、各ビデオカメラの位置、向き、視野、及び焦点面を含む請求項１に記載のシステム。
【請求項２２】
前記コントローラは、前記出力ビデオ中の出力画素ｏ（ｘ，ｙ）毎に、該出力ビデオ中の該出力画素に寄与する前記復元されたビデオ中の各ソース画素ｓ（ｖ，ｘ，ｙ）のビュー番号ｖ及び位置を求める請求項１に記載のシステム。
【請求項２３】
前記出力画素は、
【数１】
に従う、ｋ個のソース画素の線形結合であり、混合重みｗｉは、前記コントローラによって前記観察パラメータに基づいて事前に決定される請求項２２に記載のシステム。
【請求項２４】
前記ソース画素のブロックが各出力画素に寄与する請求項２２に記載のシステム。
【請求項２５】
前記３次元表示装置は、表示側レンチキュラーシートと、観察者側レンチキュラーシートと、拡散器と、各レンチキュラーシートと前記拡散器との間にある基板とを含む請求項１に記載のシステム。
【請求項２６】
前記３次元表示装置は、表示側レンチキュラーシートと、反射器と、前記レンチキュラーシートと前記反射器との間にある基板とを含む請求項１に記載のシステム。
【請求項２７】
前記表示装置に対する前記カメラの配置及び前記表示装置の配置は、実質的に同じである請求項１に記載のシステム。
【請求項２８】
前記複数のカメラは、高ダイナミックレンジのビデオを取得する請求項１に記載のシステム。
【請求項２９】
前記表示装置は、前記出力ビデオの高ダイナミックレンジの画像を表示する請求項１に記載のシステム。
【請求項３０】
それぞれが動的に変化するシーンの入力ビデオをリアルタイムで取得するように構成される複数のビデオカメラを有する取得段と、
前記入力ビデオから生成された出力ビデオを同時に表示するように構成される３次元表示装置を有する表示段と、
前記取得段を前記表示段に接続する伝送ネットワークと
を備える３次元テレビシステム。
【請求項３１】
３次元テレビを提供する方法であって、
動的に変化するシーンの複数の同期ビデオをリアルタイムで取得することと、
前記複数のビデオの観察パラメータを求めることと、
該観察パラメータに従って前記複数の同期入力ビデオから複数の出力ビデオを生成することと、
前記複数の出力ビデオを３次元表示装置に同時に表示することと
を含む３次元テレビを提供する方法。
【請求項１】
それぞれが動的に変化するシーンのビデオをリアルタイムで取得するように構成される複数のビデオカメラと、
該複数のビデオカメラを同期させる手段と、
前記ビデオを圧縮して圧縮ビデオを生成するとともに、前記複数のビデオカメラの観察パラメータを求めるように構成され、前記複数のビデオカメラに接続された複数のプロデューサモジュールと
を有する取得段と、
前記圧縮ビデオを復元して非圧縮ビデオを生成するように構成される複数のデコーダモジュールと、
前記復元したビデオから複数の出力ビデオを生成するように構成される複数のコンシューマモジュールと、
前記観察パラメータを前記複数のデコーダモジュール及び前記複数のコンシューマモジュールへ放送するように構成されるコントローラと、
前記観察パラメータに従って前記出力ビデオを同時に表示するように構成される３次元表示装置と、
前記複数のデコーダモジュール、前記複数のコンシューマモジュール、及び前記複数の表示装置を接続する手段と
を有する表示段と、
前記複数の圧縮ビデオ及び前記観察パラメータを転送するように構成され、前記取得段を前記表示段に接続する伝送段と
を備える３次元テレビシステム。
【請求項２】
前記観察パラメータを求めるために前記３次元表示装置に表示される校正画像を取得する複数のカメラをさらに備える請求項１に記載のシステム。
【請求項３】
前記表示装置は、プロジェクタである請求項１に記載のシステム。
【請求項４】
前記表示装置は、有機発光ダイオードである請求項１に記載のシステム。
【請求項５】
前記３次元表示装置は、前面投影を用いる請求項１に記載のシステム。
【請求項６】
前記３次元表示装置は、背面投影を用いる請求項１に記載のシステム。
【請求項７】
前記表示装置は、２次元表示素子を用いる請求項１に記載のシステム。
【請求項８】
前記表示装置は、フレキシブルであり、受動表示素子をさらに含む請求項１に記載のシステム。
【請求項９】
前記表示装置は、フレキシブルであり、能動表示素子をさらに含む請求項１に記載のシステム。
【請求項１０】
観察者の観察方向に応じて異なる出力画像が表示される請求項１に記載のシステム。
【請求項１１】
環境の静的なビューに依存した画像が表示され、表示面が消失する請求項１に記載のシステム。
【請求項１２】
環境の動的なビューに依存する画像が表示され、表示面が消失する請求項１に記載のシステム。
【請求項１３】
前記環境のビューに依存する画像は、複数のカメラによって取得される請求項１１又は１２に記載のシステム。
【請求項１４】
各プロデューサモジュールは、前記複数のビデオカメラのサブセットに接続される請求項１に記載のシステム。
【請求項１５】
前記複数のビデオカメラは、規則的な間隔の線形水平アレイである請求項１に記載のシステム。
【請求項１６】
前記複数のビデオカメラは、任意に配置される請求項１に記載のシステム。
【請求項１７】
各ビデオカメラの光軸は、共通平面に垂直であり、前記複数のビデオカメラの上方向ベクトルは、垂直方向にアライメントがとられる請求項１に記載のシステム。
【請求項１８】
前記観察パラメータは、前記ビデオカメラの内部パラメータ及び外部パラメータを含む請求項１に記載のシステム。
【請求項１９】
ビデオのサブセットを取得するための前記複数のカメラのサブセットを選択する手段をさらに備える請求項１に記載のシステム。
【請求項２０】
各ビデオは、個別に時間圧縮される請求項１に記載のシステム。
【請求項２１】
前記観察パラメータは、各ビデオカメラの位置、向き、視野、及び焦点面を含む請求項１に記載のシステム。
【請求項２２】
前記コントローラは、前記出力ビデオ中の出力画素ｏ（ｘ，ｙ）毎に、該出力ビデオ中の該出力画素に寄与する前記復元されたビデオ中の各ソース画素ｓ（ｖ，ｘ，ｙ）のビュー番号ｖ及び位置を求める請求項１に記載のシステム。
【請求項２３】
前記出力画素は、
【数１】
に従う、ｋ個のソース画素の線形結合であり、混合重みｗｉは、前記コントローラによって前記観察パラメータに基づいて事前に決定される請求項２２に記載のシステム。
【請求項２４】
前記ソース画素のブロックが各出力画素に寄与する請求項２２に記載のシステム。
【請求項２５】
前記３次元表示装置は、表示側レンチキュラーシートと、観察者側レンチキュラーシートと、拡散器と、各レンチキュラーシートと前記拡散器との間にある基板とを含む請求項１に記載のシステム。
【請求項２６】
前記３次元表示装置は、表示側レンチキュラーシートと、反射器と、前記レンチキュラーシートと前記反射器との間にある基板とを含む請求項１に記載のシステム。
【請求項２７】
前記表示装置に対する前記カメラの配置及び前記表示装置の配置は、実質的に同じである請求項１に記載のシステム。
【請求項２８】
前記複数のカメラは、高ダイナミックレンジのビデオを取得する請求項１に記載のシステム。
【請求項２９】
前記表示装置は、前記出力ビデオの高ダイナミックレンジの画像を表示する請求項１に記載のシステム。
【請求項３０】
それぞれが動的に変化するシーンの入力ビデオをリアルタイムで取得するように構成される複数のビデオカメラを有する取得段と、
前記入力ビデオから生成された出力ビデオを同時に表示するように構成される３次元表示装置を有する表示段と、
前記取得段を前記表示段に接続する伝送ネットワークと
を備える３次元テレビシステム。
【請求項３１】
３次元テレビを提供する方法であって、
動的に変化するシーンの複数の同期ビデオをリアルタイムで取得することと、
前記複数のビデオの観察パラメータを求めることと、
該観察パラメータに従って前記複数の同期入力ビデオから複数の出力ビデオを生成することと、
前記複数の出力ビデオを３次元表示装置に同時に表示することと
を含む３次元テレビを提供する方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２００７−５２８６３１（Ｐ２００７−５２８６３１Ａ）
【公表日】平成１９年１０月１１日（２００７．１０．１１）
【国際特許分類】
【出願番号】特願２００６−５１９３４３（Ｐ２００６−５１９３４３）
【出願日】平成１７年２月８日（２００５．２．８）
【国際出願番号】ＰＣＴ／ＪＰ２００５／００２１９２
【国際公開番号】ＷＯ２００５／０８１５４７
【国際公開日】平成１７年９月１日（２００５．９．１）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公表日】平成１９年１０月１１日（２００７．１０．１１）
【国際特許分類】
【出願日】平成１７年２月８日（２００５．２．８）
【国際出願番号】ＰＣＴ／ＪＰ２００５／００２１９２
【国際公開番号】ＷＯ２００５／０８１５４７
【国際公開日】平成１７年９月１日（２００５．９．１）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]