説明

2D互換3D表示装置及び3D視装置

【課題】2D及び3Dビューの並存を可能にする表示システムを提供する。
【解決手段】表示装置は、基本ビュー信号を受けるように接続され、基本ビューチャンネルのカラー画像シーケンスを可視波長域で投影するための第1のプロジェクタの組44Lと、第2のビュー信号を受けるように接続され第2のビューチャンネルのカラー画像を不可視波長域で投影するための第2のプロジェクタの組44Rとを含む。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は後方互換の、同時2D及び3D画像表示システムに関し、特に、異なる視聴者が同時に2D及び3Dの両方を見ることを容易にする、家庭用テレビ及びシネマシステムに関する。例えば、家族の中でも年長者は特別な視聴装置なしで基本ビュー(2D)で映画を見ることができ、同時に家族の中で10代のものは特別の視聴装置をつけてその映画を3Dで見ることができる。従って、2Dと3Dとの映画が並存して、同時に別の人々がこれを見ることができる。
【背景技術】
【0002】
多年にわたって、いろいろな種類の3D表示技術が開発されており、赤/緑立体視メガネ式ディスプレイ、ボリュームディスプレイ、裸眼立体視ディスプレイ等が良く知られている。裸眼立体視ディスプレイは、ユーザ側が特別なヘッドギア又はメガネを用いる必要なしに、ユーザが3次元の画像を見ることを可能にする。従来の2Dテレビとは対照的に、3Dテレビでは基本ビューと視差マップ又はシーンの第2のビューとが必要とされる。
【0003】
2Dと3Dとを同時に並存させるためには、システムが後方互換性を有し、視聴者がシームレスに同時に2D及び3D視聴モードを選択できるようにしなければならない。
【0004】
3D映画又はテレビを見ることを可能にするように適合された、多くの立体視(3D)システムが先行技術で提案されている。特許文献1は、2台のカメラで立体画像をキャプチャするシステムを開示する。再生の間、光源からの光ビームがダイクロイックミラーによって2つのビームに分割される。一方は波長域B1、G1及びR1を含み、他方は他の波長域を含む。これらのビームはステレオ画像信号によって周波数変調され、その後ビーム統合器に供給される。
【0005】
ビーム統合器は波長域B1、G1及びR1以外の波長域を含む光ビームから波長域B2、G2及びR2を抽出し、これらの波長域を統合して単一のビームとする。このビームはスペクトル領域B1、B2、G1、G2、R1及びR2に対応する6つの基本値を含む。観察者が身につける、2種類の干渉フィルタ(一方はB1、G1及びR1のみを透過し、他方はB2、G2及びR2のみを透過する)を含む補助的なメガネの助けを得て、観察者は立体画像を見ることができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】ヨーク(Jorke)への米国特許第7,001,021号、第2実施例、図4。
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1に開示の発明は、これが対象とする特定の目的には好適であるかもしれないが、2D視と3D視とを並存させる場合にはそれほど好適とはいえないであろう。さらに、テレビ(TV)システムは後方互換性を持たねばならず、異なるユーザによる2D及び3Dの同時視聴を容易にしなければならず、既存の配信用のインフラストラクチャを利用しなければならず、デコーダ及びディスプレイユニット等のハードウェア部品への変更は最少にとどめなければならず、さらに将来の拡張も可能にしなければならない。
【0008】
従って、この発明の目的の一つは、2D視と3D視とを並存させることが可能な表示システムを提供することである。
【0009】
この発明の別の目的は、2D視と3D視とを並存させることが可能な、後方互換性の表示システムを提供することである。
【0010】
この発明のさらに別の目的は、ある人が立体画像ストリームを見ている一方で、立体視装置を身につけていない人が問題なくその画像ストリームを2Dで見ることができる特別な立体視装置を提供することである。
【0011】
この発明のさらに別の目的は、立体視のため、基本ビューストリームとともに第2のビデオストリーム又は視差を受けかつ復号化する、放送リンクへのアドオン装置を提供することである。
【0012】
この発明のさらなる目的は、3D視装置に後方互換ステレオビデオストリームを送信するアドオン装置を提供することである。
【0013】
この発明のさらに他の目的は、3D視装置の後方互換ステレオ画像を受け、これらをそのステレオ表示にレンダリングするアドオン装置を提供することである。
【課題を解決するための手段】
【0014】
この発明の第1の局面に従った2D互換3D表示装置は、基本ビュー信号を受けるように接続され、基本ビューチャンネルのカラー画像シーケンスを可視波長域で投影するための第1のプロジェクタの組と、第2のビュー信号を受けるように接続され、第2のビューチャンネルのカラー画像シーケンスを不可視波長域で投影するための第2のプロジェクタの組とを含む。
【0015】
第1のプロジェクタの組は基本ビューのカラー画像シーケンスを可視波長域で投影する。第2のプロジェクタの組は、第2のビューのカラー画像シーケンスを不可視波長域で投影する。見る人が、シースルーのメガネレンズと不可視波長域のスペクトルを可視波長域にシフトするように最適化された光学レンズとを含むメガネをかけると、見る人は自分の目で基本ビューと第2のビューとを見ることができる。メガネをかけないと、見えるのは基本ビューのみである。従って、投影されたビューは後方互換性であり、2Dと3Dとの表示が並存できる。
【0016】
第2のプロジェクタの組は、第2のビューチャンネルのカラー画像シーケンスを赤外波長域で投影するためのプロジェクタの組を含んでもよい。
【0017】
好ましくは、3D表示装置は基本ビューチャンネルの符号化され束ねられたビデオストリームを受けるように接続された受信機をさらに含んでもよい。符号化され束ねられたビデオストリームは、基本ビューチャンネルのカラー画像シーケンスを、基本ビューチャンネルと第2のビューチャンネルとの間の視差情報に組合せたものでもよい。3D表示装置はさらに、受信機から、符号化され束ねられたビデオストリームを受けるように接続され、符号化され束ねられたビデオストリームを復号化し、基本ビューチャンネルのカラー画像シーケンスと視差情報とを出力するためのデコーダと、基本ビューチャンネルのカラー画像シーケンスと視差情報とをデコーダから受けるように接続され、第2の画像シーケンスを生成するための第2ビュー生成器とを含んでもよく、基本ビューチャンネルのカラー画像シーケンスによって規定される画像中の画素の各々は、それぞれの視差情報によって規定される量だけ変位される。
【0018】
さらに好ましくは、3D表示装置は、基本ビューチャンネルの符号化され束ねられたビデオストリームを受けるための第1の受信機と、第1の受信機から符号化され束ねられたビデオストリームを受けるように接続され、符号化され束ねられたビデオストリームを復号化して得られる基本ビューチャンネルのカラー画像シーケンスを第1の組のプロジェクタに出力するための第1のデコーダと、第2のビューチャンネルの符号化され束ねられたビデオストリームを受けるための第2の受信機と、第2の受信機から第2のビューチャンネルの符号化され束ねられたビデオストリームを受けるように接続され、第2のビューチャンネルの符号化され束ねられたビデオストリームを復号化して得られる第2のビューチャンネルのカラー画像シーケンスを第2の組プロジェクタに出力するための第2のデコーダとをさらに含む。
【0019】
この発明の第2の局面に従った3D視装置は、第1のメガネレンズと第2のメガネレンズとを含む。第1のメガネレンズはシースルーである。第2のメガネレンズは予め定められた光学的メタマテリアルからなり、赤外域のスペクトルを可視波長域にシフトする。装置はさらに、第1のメガネレンズと第2のメガネレンズとが予め規定された方向を向くように、第1のメガネレンズと第2のメガネレンズとを保持するフレームを含む。
【0020】
この発明のさらに別の局面に従った3D視装置は、ディスプレイからの可視波長域の画像シーケンスをキャプチャし、第1の画像シーケンスを出力するための第1のカメラと、不可視波長域の画像シーケンスをキャプチャし、第2の画像シーケンスを出力するための第2のカメラと、第1の画像シーケンスを受けるように接続され、第1のカメラでキャプチャされた画像シーケンスを表示するための第1のディスプレイと、第2の画像シーケンスを受けるように接続され、第2のカメラでキャプチャされた画像シーケンスを表示するための第2のディスプレイと、第1のカメラ、第2のカメラ、第1のディスプレイ及び第2のディスプレイを、第1のカメラと第2のカメラとが同じ第1の方向を向き、第1のディスプレイと第2のディスプレイとが第1の方向と逆の、同じ第2の方向を向くように保持するフレームとを含む。
【図面の簡単な説明】
【0021】
【図1】この発明の第1の実施の形態に従った同時2D−3Dテレビシステムのブロック図である。
【図2】第1の実施の形態の放送局32のブロック図である。
【図3】図2に示す組合せユニット76の詳細なブロック図である。
【図4】第1の実施の形態の表示システム20の受信機40のブロック図である。
【図5】第1の実施の形態のメガネ46による波長域シフトを示す図である。
【図6】この発明の第2の実施の形態で用いられるHMD162を示す図である。
【図7】図6に示すHMD162のブロック図である。
【図8】この発明の第3の実施の形態の表示システム200の全体構造を示す図である。
【図9】図8に示すアドオンデコーダ220の構造を示す図である。
【図10】図8に示すHMD228の構成を示す図である。
【発明を実施するための形態】
【0022】
[第1の実施の形態]
−概観−
後方互換性を満足するため、3次元放送の方法は既存の配信用のインフラストラクチャを活用する必要がある。この発明の第1の実施の形態は、2D+視差ステレオコンテンツを採用する。
【0023】
この実施の形態では、立体視のための基本ビュー(2D)シーケンスと視差情報とが圧縮され組合されて、通常の2Dテレビ受像機で表示されたときには基本ビューの変化が視覚的に無視できるような形で、束ねられたビデオストリームとされる。
【0024】
ステレオデータが視差情報を含む場合には、アドオンデコーダシステムが受信器側で束ねられたビデオストリームから視差情報を復号化する。その後、基本ビューと視差情報とから、第2のビューが生成される。基本ビューと第2のビューとは立体視装置へ送信され、立体視へレンダリングされる。基本ビューはR、G、Bプロジェクタを含む通常のカラープロジェクタによって投影される。第2のビューは入力画像を、基本ビュープロジェクタと同じ画面上に、入力画像のスペクトルを不可視赤外波長域にシフトする付加的なプロジェクタの組によって投影される。
【0025】
特別なメガネが用いられる。これは最適化された光学的メタマテリアルからなり赤外光を可視波長域にシフトするレンズと、シースルーレンズとを含む。これらのレンズは、同じ方向を向くようにフレームに保持される。シースルーレンズは基本ビューを透過する。光学的メタマテリアルからなる他方のレンズは第2のプロジェクタによって投影されたビューのみを透過する。第2のプロジェクタによって透過されるビューはレンズによって可視波長域にシフトされているので、見る人は一方の目では基本ビューのみを、他方の目では第2のビューのみを見ることとなり、このため、見る人はディスプレイ上のコンテンツを3Dで見ることができる。
【0026】
−構造−
図1はこの発明の第1の実施の形態に従った表示システム20の全体構成を示す。図1を参照して、表示システム20はステレオカメラ30L及び30Rと、ステレオカメラ30L及び30Rからのステレオ画像から視差を計算し、左カメラ30Lからの基本ビューを視差と組合せ、組合された信号を放送するための放送局32と、放送局32から放送された信号を受信し、放送信号中の基本ビュー信号と視差信号とに基づいてステレオ画像を生成するための受信機40と、ステレオ画像をスクリーン上に投影するための背面プロジェクタTV受像機42とを含む。
【0027】
背面プロジェクタTV受像機42は、対象物50の左ビュー(基本ビュー)を可視波長域で投影し、対象物50の右ビュー(第2のビュー)を同じスクリーンに不可視波長域で投影するための2個の背面のプロジェクタ44L及び44Rを含む。
【0028】
表示システム20はさらに、最適化された光学的メタマテリアルからなり赤外光のスペクトルを可視波長域にシフトする右側のレンズ48Rと、左側のシースルーレンズ48Lとを備えた、特別なメガネを含む。シースルーレンズ48Lは基本ビュー(左ビュー)のストリーム52Lを透過する。他方のレンズ48Rは、右プロジェクタ44Rによって投影された第2のビューのストリームのみを透過する。第2のプロジェクタによって投影されるビューはこのレンズによって可視波長域にシフトされているので、見る人は右目で第2のビューを見ることができる。従って、ディスプレイ上のコンテンツを、3Dで見ることができる。
【0029】
図2は放送局32のより詳細なブロック図である。図2を参照して、放送局32は、ステレオカメラ30L及び30Rからのアナログ画像信号をそれぞれディジタル化するための一対のアナログ−ディジタル(A−D)コンバータ70L及び70Rと、A−Dコンバータ70L及び70Rからの左右の画像データから9ビットの視差を計算するための視差計算ユニット72と、左(基本)ビューカラー信号を視差計算ユニット72から出力される信号と結合し、結合カラー信号78を出力するための組合せユニット76と、結合カラー信号78を、信号の頭にFID(Format Identifier:フォーマット識別)バイトを埋込んで送信するための送信機80とを含む。
【0030】
視差は2つの網膜画像の差である。この差は、頭の目のある位置が異なることから生じる。立体視では、視差は視点から対象物までの深さ又は距離を指し、一方の(例えば左の)ビューの画素と他方の(例えば右の)ビューの画素との間の距離から計算される。
【0031】
図3は組合せユニット76の全体構造を示すブロック図である。放送マルチメディアデータの構成部分は、組合せユニット76で結合されて単一の同期送信ビットストリームになる。後方互換性を達成するために、視差情報を圧縮されたビデオビットストリームにシームレスに挿入する必要がある。
【0032】
この目的のために、画像色空間(RGB又はYUV)のコンテンツが7を超える値に変換される(画像が露光不足の場合に基本ビューの目に見える歪みを最小にするため)。このため、色空間の最下位3ビットは、視差ビットストリームによって、それぞれ最上位から最下位ビットの順に置換される。これにより、視差ビットストリームの9ビット符号化が可能となり、大きな視差を生成できる。得られるビデオデータは視差情報を保存するためにロスレス圧縮方法により圧縮される。
【0033】
図3を参照して、組合せユニット76は、左ビューの赤、緑及び青成分を、視差計算ユニット72からの視差信号のビット8から6、ビット5から3及びビット2から0とそれぞれ組合せるための3組のレジスタ100R、100G及び100Bと、組合されたRGB基本ビュー成分信号を、既存のロスレス圧縮方法で圧縮して単一のチャンネルカラー信号にするためのロスレス圧縮ユニット102とを含む。
【0034】
レジスタ100Rの上位5ビットは基本ビュー信号の赤成分の上位5ビットR7からR3までを記憶する。レジスタ100Rの下位3ビットは視差信号の最上位3ビットD8からD6までを記憶する。組合された8ビットが、基本ビューの結合赤成分信号となる。
【0035】
同様に、レジスタ100Gの上位5ビットは基本ビュー信号の緑成分の上位5ビットG7からG3までを記憶する。レジスタ100Gの下位3ビットは視差信号の中間の3ビットD5からD3までを記憶する。組合された8ビットが、基本ビューの結合緑成分信号となる。
【0036】
レジスタ100Bの上位5ビットは基本ビュー信号の青成分の上位5ビットB7からB3までを記憶する。レジスタ100Bの下位3ビットは視差信号の最下位3ビットD2からD0までを記憶する。組合された8ビットが、基本ビューの結合青成分信号となる。
【0037】
放送前に、送信機80において圧縮ビデオの最初のNバイトに、1組のFIDバイトが挿入される。こうして、圧縮映像、圧縮音声、制御データ及び/又はユーザデータが組合され符号化されて、既存の配信方法と同様に、単一の同期送信ビットストリームとされる。
【0038】
受信機側では、通常の2Dテレビシステムがこの束ねられ、符号化され、束ねられ、圧縮された映像を通常の方法で復号化し表示する。すなわち、視差情報は、基本ビュー映像データとして扱われる。このため、基本ビュー情報はわずかに変更される。しかし、これは見る人には視覚的に区別できない。
【0039】
図4はこの実施の形態の受信機40の全体構造を示す図である。図4を参照して、受信機40は、放送信号を受信し、指定されたチャンネルの符号化された映像束ストリーム信号を選択するチューナ122と、チューナ122にチャンネル指定信号を与えるための入力装置を備えたチューナコントローラ120と、チューナ122によって出力される信号からFIDバイトを抽出し、受信した信号が2D+視差信号であるか、通常の2Dビュー信号であるかを示す制御信号126及び128を出力するためのFID抽出ユニット124と、制御信号126に応答して、受信した信号が2D+視差信号である時に、組合された信号を基本ビューのRGB信号と視差信号とに復号化するデコーダ130とを含む。
【0040】
受信機40はさらに、デコーダ130からのRGB基本ビュー信号と視差信号とから右(第2の)ビューを生成し、第2のビュー信号を端子140を介して右(第2)ビュープロジェクタ44Rに出力するための第2のビュー生成ユニット132と、第1の入力136及び第2の入力138がそれぞれデコーダ130及びチューナ122からのRGB信号を受けるように接続され、FID抽出ユニット124から出力される制御信号128に応答して入力信号の一方を選択するためのセレクタ134とを含む。セレクタ134は出力が端子144に接続され、これは左プロジェクタ44Lに接続される。受信した信号が2D+視差信号である場合、セレクタ134はデコーダ130からのRGB信号を選択し、そうでなければチューナ122からのRGB信号を選択する。
【0041】
受信機40はFID抽出ユニット124からの制御信号128を受けるように接続された付加的な端子142を有する。端子142は右プロジェクタ44Rと接続されることになる。制御信号は右プロジェクタ44Rで、投影をオン/オフするのに用いられる。受信信号が2D+視差信号である場合、右プロジェクタ44Rはオンにされ、第2の(右の)ビューを投影し、受信信号が通常の2D信号である場合はオフになる。
【0042】
この実施の形態では、見るための装置は受動的なメガネ46(図1参照)である。その左レンズはシースルーレンズであり、その右レンズはメタマテリアルレンズであり(Wuら、「ナノインプラントリソグラフィによって制作された近及び中IR域光学的メタ材料」応用物理A.87,143.150,2007:Wu, et. al, “optical meta-materials at near and mid-IR range fabricated by nanoimprint lithography”, Appl. Phys. A 87, 143. 150, 2007)、これは赤外光のスペクトルを可視波長域にシフトして、見る人がディスプレイスクリーン上のコンテンツを3Dで見ることができるようにする。このスペクトルシフトを図5に示す。
【0043】
図5を参照して、左レンズは波長域R1、G1及びB1を含む可視波長域150を透過する。これらは、それぞれのエネルギを変えることなく、基本ビューの、例えば以下の波長域をカバーする。
【0044】
【表1】

これに対して、右レンズは、R2、G2及びB2を含む不可視波長域をシフトするものであり、これらは、第2のビューの、例えば以下の波長域をカバーする。
【0045】
【表2】

従って、見るための特別な装置を用いない人は、両眼でディスプレイ上の基本ビューのみを見ることになる。しかし、見るための特別な装置をつけた人は、左目と右目とでそれぞれ基本ビューストリームと第2のビューストリームとを見ることになり、コンテンツを3Dで見ることが可能になる。
【0046】
−動作−
図1から図5を参照して、上述の2D及び3D同時表示システム20は以下のように動作する。
【0047】
特に図1を参照して、ステレオカメラ30L及び30Rはそれぞれ左ビューと右ビューとをキャプチャし、画像シーケンスをそれぞれA−Dコンバータ70L及び70Rに与える。A−Dコンバータ70L及び70Rはこれらの画像をディジタル化し、RGB信号RGB及びRGBをそれぞれ出力し、これらを視差計算ユニット72に与える。これに応答して、視差計算ユニット72は左ビューを基本ビューとして利用して、左右の画像間の視差マップを計算する。9ビットの視差マップ画像が組合せユニット76に与えられる。A−Dコンバータ70Lによって出力される左ビュー信号RGBもまた、組合せユニット76に与えられる。
【0048】
図3を参照して、視差マップ画像とRGB信号とが与えられると、組合せユニット76はステレオカメラ30L及び30Rからの画像対の各々に対し以下のように動作する。
【0049】
レジスタ100Rの上位5ビットはR成分の最上位5ビットを記憶する。下位3ビットは視差信号の最上位3ビットを記憶する。レジスタ100Gの上位5ビットはG成分の最上位5ビットを記憶する。下位3ビットは視差信号の中位3ビットを記憶する。同様に、レジスタ100Bの上位5ビットはB成分の最上位5ビットを記憶する。下位3ビットは視差信号の最下位3ビットを記憶する。
【0050】
こうして、ステレオカメラ30L及び30Rからの画像対の各々に対し、組合せユニット76は3個の成分信号R+D、G+D及びB+Dを生成する。成分信号R+D、G+D及びB+Dはロスレス圧縮ユニット102によって圧縮され送信機80に与えられる。送信機80は信号が2D+視差信号であることを示すFIDバイトを成分信号に挿入して、これを組合せユニット76に送る。すなわち、放送局32は後方互換性のステレオ放送データを送信する。
【0051】
図4を参照して、チューナ122はチューナコントローラ120によって指定されたチャンネルの信号を選択し拡張して、得られる信号をFID抽出ユニット124、デコーダ130及びセレクタ134の入力138に与える。
【0052】
FID抽出ユニット124は受信信号からFIDバイトを抽出しようとする。もしFIDが見いだされ受信信号が2D+視差信号であることが示されると、FID抽出ユニット124は制御信号126及び128をハイレベルに設定する。そうでなければ、制御信号126及び128はローに設定される。
【0053】
制御信号126がハイに設定されると、デコーダ130は受信信号を復号化し、基本ビューの成分信号と視差信号Dとを出力する。これらの信号は第2のビュー生成ユニット132に与えられる。公知のステレオ画像生成方法を利用して、第2のビュー生成ユニット132は第2の(右)ビューRGB信号を作り、これらを端子140に与える。
【0054】
この間、セレクタ134は入力136からのRGB成分信号を選択し、これらを端子144に与える。
【0055】
右プロジェクタ44Rは端子142で制御信号を受け、端子140で第2のビューのRGB成分信号を受ける。端子142での信号はハイレベルなので、右プロジェクタ44Rは端子140からのRGB成分信号に基づいた画像を投影する。しかし、このとき右プロジェクタ44Rは図5(A)に示すように、それぞれ不可視波長域R2、G2及びB2でR、G及びB成分を投影する。左プロジェクタ44Lは図5(A)に示すR1、G1及びB1の波長域150で基本ビューを投影する。
【0056】
図1を参照して、基本ビューストリーム52Lは可視波長域でディスプレイスクリーン上に投影され、第2のビューストリーム52Rは不可視波長域で投影される。見る人はメガネ46をかける。シースルーのレンズ48Lは基本ビューストリーム52Lのみを透過する。見る人の左の目は、第2のビューを見ない。なぜなら、これは不可視波長域で投影されているからである。他方のレンズ48Rは第2のプロジェクタによって投影されたビューのみを透過する。このとき、レンズ48Rは波長域R2、G2及びB2を図5(A)及び図5(B)に示すようにそれぞれ可視波長域R1、G1及びB1にシフトする。見る人は左の目で基本ビューのみを、右の目で第2のビューのみを見るので、ディスプレイ上のコンテンツを3Dで見ることができる。
【0057】
これに対して、メガネ46をかけないと、見る人は基本ビューしか見ることができない。第2のビューは不可視波長域で投影されているので、メガネ46なしの人は問題なく基本ビューを見る。従って、後方互換性を満たしつつ、立体表示が達成される。
【0058】
[第2の実施の形態]
−概観−
第1の実施の形態ではメガネ46を利用した。左のレンズ48Lが可視波長域を透過し、一方で右のレンズは図5(A)の右側に示す不可視波長域R2、G2及びB2のみを透過する。さらに、右レンズは図5(B)の右側に示すように、波長域R2、G2及びB2を可視波長域R1、G1及びB1にシフトする。しかし、この発明はこの様な実施の形態に限定されない。この実施の形態では、メガネ46に代えて一対のカメラと一対の液晶表示装置(Liquid crystal display:LCD)とを含むHMD(Head Mounted Display:頭部装着表示装置)を利用して、カメラがキャプチャした左右の画像を示す。
【0059】
−構造−
この実施の形態もまた、図1に示すステレオカメラ30L及び30R、放送局32、受信機40を用いる。
【0060】
図7を参照して、ユーザが装着するHMD162は左カメラ164、カメラ164からの出力画像ストリームを受ける信号処理装置180L、及び信号処理装置180Lの出力を受けるように接続されたLCD182Lを含む。カメラ164は通常のカメラである。
【0061】
HMD162はさらに、赤外画像をキャプチャする赤外カメラである右カメラ166と、カメラ166の出力を受けるように接続された信号処理装置180Rと、信号処理装置180Rの出力を受けるように接続されたLCD182Rと、制御パネル184と、制御パネル184からの制御信号を受けるように接続され、LCD182L及び182Rの明るさ、コントラスト及び他の特性を制御するコントローラ186とを含む。これらの構成要素はカメラ166及び164が同じ方向を向きかつLCD182L及び182Rが反対方向を向くように、フレーム内に保持される。
【0062】
カメラ166は赤外カメラであって、図5(A)の右側に示されるように波長域R2、G2及びB2の画像をキャプチャし、それぞれの画像シーケンスを出力する。信号処理装置180Rはこれらの信号を処理し、これらを波長域R1、G1及びB1の可視画像データに変換して、LCD182Rに出力する。LCD182Rは通常のLCDであり、第2のビューシーケンスを表示する。
【0063】
このとき、カメラ164は左ビューをキャプチャし、R1、G1及びB1波長域の画像シーケンスを信号処理装置180Lに出力する。信号処理装置180Lはこれらの信号を処理して、RGB信号をLCD182Lに出力する。LCD182Lは通常のLCDであり、左ビューを表示する。
【0064】
−動作−
ステレオカメラ30L及び30R、表示システム20、受信機40及び背面プロジェクタTV受像機42は第1の実施の形態と同様に動作する。プロジェクタのスクリーン上では、左(基本)ビューのシーケンスが、左プロジェクタによって可視波長域R1、G1及びB1で投影される。右(第2)ビューのシーケンスは、プロジェクタ44Rによって不可視波長域R2、G2及びB2で投影される。
【0065】
カメラ164は左ビューをキャプチャし、画像シーケンスを信号処理装置180Lに出力する。信号処理装置180Lは画像を処理し、RGB信号をLCD182Lに出力する。信号処理装置180Lは波長域R1、G1及びB1のみを処理するので、信号処理装置180Lによっては基本ビューのみが表示される。
【0066】
カメラ166は右赤外ビューをキャプチャし、画像シーケンスを信号処理装置180Rに出力する。信号処理装置180Rは波長域R2、G2及びB2の成分を処理し、R2、G2及びB2域の成分強度を反映したR1、G1及びB1域のRGB信号をLCD182Rに出力する。LCD182は信号処理装置180RからのRGB信号に従って画像を表示する。R2、G2及びB2成分はカメラ166及び信号処理装置180RによってR1、G1及びB1域にシフトされているので、LCD182Rは右画像シーケンスを可視波長域で表示する。
【0067】
HMD162を装着していないユーザは左(基本)ビューのみを見て右ビューを見ない。他方で、HMD162を装着しているユーザは左右の目でそれぞれ左右の画像を見る。従って、後方互換性を満たしながら2D及び3D視の併存を可能にする表示システムが提供される。
【0068】
[第3の実施の形態]
−概観−
第1及び第2の実施の形態では、基本ビューのRGB信号が視差信号と組合される。この発明はそのような実施の形態には限定されない。立体画像を別個に処理して別個の送信チャンネルで送信することもできる。第3の実施の形態はそのようなシステムに関するものである。
【0069】
解決策の別のモードは、放送局が(マルチビューの)ステレオビデオストリームを2つのチャンネルから「同時放送」として放送するものである。受信器側では、アドオン装置が2つの別個のチャンネル(一方は基本ビュー用、他方はステレオ拡張用)からのステレオビデオストリームを受信し、同期させる。その後、左(基本)ビューストリームが通常の2DTV受像機上に表示され、同時に、同期されたステレオストリームが3D視装置に送信される。
【0070】
アドオンのデコーダ兼送信装置は2つのチャンネルからのステレオ(基本ビュー及び第2のビューの)ビデオストリームを受信して復号化し、同期化を行い、それらを見るための装置に送信する。基本ビュービデオストリームは、通常の2Dテレビ受像機(このアドオン装置あり又はなし)で表示できる。基本ビュー及び第2のビューのストリームは、有線又は無線接続によって、ステレオ表示装置に送信される。ステレオ表示装置は左右のビデオストリームを3D視のためにそのディスプレイ上にレンダリングする。コントラスト及び明るさといった標準的制御に加えて、表示装置は3D効果と、これらステレオ表示間のベースライン調整のための制御ノブを有してもよい。
【0071】
この実施の形態では、アドオンの復号化装置がステレオ放送データのフォーマットを認識して復号化し、同期したステレオ画像を生成してこれらのステレオ画像をアドオンの3D視装置に送信する。この装置は頭部装着可能なステレオ表示装置(HMD)である。HMDはこれらのビデオストリームを受信し、そのディスプレイ上にレンダリングする。HMDを装着した視聴者は、シーンを3Dで見ることができる。同時に、HMDを装着していない人は通常の2DTV受像機でシーンを2Dで見ることができる。後方互換配信スキームであるため、3D視のためのアドオンの装置を含まない通常のTV受像機でも、コンテンツを2Dで表示することができる。
【0072】
−構造−
図8はこの発明の第3の実施の形態に従った表示システム200の全体構造を示す図である。図8を参照して、表示システム200は、ステレオカメラ30L及び30Rと、基本ビュー放送局212と、第2のビュー放送局210と、後方互換RGB信号224と一対の基本ビュー及び第2のビューの信号226とを出力するアドオンのデコーダ220と、アドオンのデコーダ220からの後方互換RGB信号を受けるように接続された従来のTV受像機222と、アドオンのデコーダ220からの基本ビュー信号及び第2のビュー信号を受けるように接続されユーザに基本ビュー230Lと第2のビュー230Rとを表示するHMD228とを含む。
【0073】
基本ビュー放送局212は通常の放送局である。これはステレオカメラ30Lからの画像シーケンスを受信し、これらを送信のために処理しかつ符号化し、符号化された信号を放送チャンネル上に送信する。基本ビュー放送局212は信号の始めにFID情報のNバイトの組を挿入する。第2のビュー放送局210は基本ビュー放送局212と同様であるが、これはカメラ30Rからの画像シーケンスを受けるように接続される。
【0074】
図9は図8に示すアドオンのデコーダ220の構造を示すブロック図である。図9を参照して、アドオンデコーダ220はチューナコントローラ250と、チューナコントローラ250で選択されたチャンネルの放送信号を選択するための第1のチューナ252Lと、第1のチューナ252Lから出力された信号から1組のFIDバイトを抽出し、FID抽出に従って制御信号282及び284を特定のレベルに設定し、FIDが選択された時に第2のチャンネル選択信号を出力するためのFID抽出ユニット264と、第1のチューナ252Lからの信号を復号化し、信号に基づいて基本ビューをレンダリングするための信号処理装置254とを含む。信号処理装置254から出力された基本ビュー信号は端子256及び258を通してそれぞれ従来のTV受像機222とHMD228とに送信される。第2のチャンネルは第1のチャンネルにより定まる所定のものである。
【0075】
アドオンデコーダ220はさらに、第2のチャンネル選択信号280によって特定されたチャンネルの放送信号を選択するための第2のチューナ252Rと、制御信号282がハイレベルであることに応答して、第2のチューナ252Rから出力される放送信号を復号化し処理するための信号処理装置266と、第1の入力270と第2の入力272とを有し、制御信号282に従って入力270及び272の信号の一方を選択するためのセレクタ268とを含む。セレクタ268の出力は端子262に接続される。端子262はHMD228の第2のビュー信号入力に接続される。
【0076】
アドオンデコーダ220は別の端子260を有し、これはFID抽出ユニット264から出力される制御信号284をHMD228の制御入力に送信する。
【0077】
図10は図8に示すHMD228のブロック図である。
【0078】
図10を参照して、HMD228はアドオンデコーダ220の端子262及び256に接続される1組の端子302L及び320Rと、アドオンデコーダ220の端子260に接続される端子300と、基本ビュー信号と第2のビュー信号とを処理してそれぞれ基本ビュー及び第2のビューのためのLCD駆動信号を出力し、さらに基本チャンネルと第2のチャンネルとの音声信号を出力するための一対の信号処理装置304L及び304Rとを含む。
【0079】
HMD228はさらに、信号処理装置304L及び304RからのLCD駆動信号をそれぞれ受けるように接続された一対のLCD182L及び182Rと、信号処理装置304L及び304Rからの音声信号をそれぞれ受けるように接続された一対の小型スピーカ306L及び306Rと、制御パネル308と、制御パネル308の制御信号とアドオンデコーダ220から端子300を介して送信される制御信号とを受けるように接続され、設定に応じて信号処理装置304L及び304Rを制御するためのコントローラ310とを含む。
【0080】
−動作−
表示システム200は以下のように動作する。ステレオカメラ30L及び30Rはステレオ画像をキャプチャし、ステレオ画像シーケンスを基本ビュー放送局212と第2のビュー放送局210とにそれぞれ出力する。
【0081】
基本ビュー放送局212はステレオカメラ30Lからの基本ビューシーケンスを処理し、基本ビュー信号を所定のチャンネルで送信する。第2のビュー放送局210はカメラ30Rからの第2のビューシーケンスを処理し、第2のビュー信号を所定の第2のチャンネルで送信する。
【0082】
第1のチューナ252Lはアンテナ(図示せず)から信号を受け、チューナコントローラ250によって指定されたチャンネルの信号を選択する。信号処理装置254は信号を処理し、基本ビュー信号を端子256及び258に出力する。FID抽出ユニット264は第1のチューナ252Lによって選択された信号の始めの部分から1組のFIDバイトとステレオ同期情報とを抽出する。FIDが、受信した信号に関連の第2のチャンネルがあることを示している場合、FID抽出ユニット264は制御信号282及び284をハイレベルに設定し、抽出されたFIDに基づいて第1のチューナ252Lによって選択されたチャンネルに関連するチャンネル番号を決定し、これに従って、第2のチャンネル選択信号280を第2のチューナ252Rに出力する。さもなければ、FID抽出ユニット264は制御信号をローレベルに設定する。
【0083】
−ステレオコンテンツ−
関連するチャンネルが存在する場合は、コンテンツはステレオコンテンツであり、関連するチャンネルを有する。第2のチューナ252Rは第2のチャンネル選択信号280によって指定されたチャンネルの信号を選択し、この信号を処理装置266に出力する。信号処理装置266は制御信号282がハイレベルであることに応答して起動され、チューナ252Rからの信号を受信し、信号からFIDとステレオ同期情報を抽出し、信号を処理して第2のビュー信号をセレクタ268の第2の入力272に出力する。制御信号282がハイレベルであるので、セレクタ268は入力272の信号を選択し、この信号を端子262に送信する。制御信号284は端子260に与えられる。信号処理装置254及び266は受信信号から抽出された同期情報を利用して、同期して動作する。
【0084】
従来のTV受像機222が端子256に接続されると、信号処理装置254からの基本ビュー信号が端子256に送信され、基本ビューと関連の音声とが視聴者に提示される。
【0085】
HMD228が端子258、260及び262に接続されると、制御信号284がHMD228に送信される。HMD228のコントローラ310は端子260及び300を介して制御信号284を受ける。HMD288は端子302L及び302Rを介して基本ビュー信号及び第2のビュー信号をそれぞれ受ける。HMD228は制御信号284を受けるので、HMD228はユーザに、コンテンツがステレオフォーマットであると示すことができ、さらにこれに従って信号処理装置304L及び304Rの設定を調整することができる。
【0086】
HMD228が端子258、260及び262に接続されていない場合は、信号は処理されない。しかし、ユーザは従来のTV受像機222で基本ビューを見ることができる。
【0087】
−2Dコンテンツ−
受信した信号にFIDが存在しないか、又はFIDが、受信した信号が2Dフォーマットであることを示す場合、FID抽出ユニット264は制御信号282及び284をローレベルに設定する。第2のチャンネル選択信号280は、2Dコンテンツを示す予め定められた値に設定される。これに応答して、第2のチューナ252Rと信号処理装置266とが停止される。セレクタ268は入力270の信号を選択する。従って、信号処理装置254によって出力された基本ビューが左右のLCDの両方に与えられる。
【0088】
さらにこの場合、基本ビューは従来のTV受像機222に与えられ、HMD228なしの人は従来のTV受像機222で2Dのコンテンツを見ることができる。
【0089】
上述の説明からわかるように、この出願の第3の実施の形態の表示システム200はマルチビュー映像符号化配信スキームを利用する。これは、後方互換性を満足しチャンネル容量の問題を克服するために、同時の放送のために2つのチャンネルを利用する。基本ビューの成分パーツ(圧縮映像、圧縮音声、制御データ及び/又はユーザデータ)は、既存の符号化方法と同様に、組合されて単一の同期送信ビットストリームにされ、第1の特定のチャンネルから配信される。同様に、第2のビューのビデオストリームは符号化されて第2の特定のチャンネルから配信される。第1の特定のチャンネルからの放送データを受信する2DTV受像機は、テレビ放送設備又は家庭でのテレビ受像機に何ら変更を必要とせずに、基本ビューを表示することができる。さらに、アドオンのデコード装置を有するTVシステムは、FIDバイトとフレーム同期信号とを認識する。従って、これは第1の特定のチャンネルから基本ビューストリームを抽出し、第2の特定のチャンネルから第2のステレオビューストリームを抽出する。しかし、受信機側でのビデオストリームの同期化が行われる。その後、2つの同期されたビューがステレオ表示装置に送信されて3D視が得られる。
【0090】
第1及び第2の実施の形態で用いた単一チャンネルによる送信方式を、第3の実施の形態の3D視装置と組合せ可能であることは、当業者には容易に理解されるであろう。同様に、3D視装置は、第1の実施の形態で用いられるメガネ46に代えて用いることもできる。
【0091】
上述のとおり、この発明は、3Dコンテンツの放送及び配信システムであって、同時に後方互換性を満足できるものを提供する。アドオンデコーダを有する人は3Dのコンテンツを楽しむことができ、デコーダなしの人でも基本の2Dコンテンツを楽しむことができる。
【0092】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【符号の説明】
【0093】
20 表示システム
30L及び30R ステレオカメラセット
40及び220 受信機
42 背面プロジェクタTV受像機
44L及び44R プロジェクタ
46 メガネ
48L シースルーレンズ
48R 最適化された光学材料からなるレンズ
72 視差計算ユニット
76 組合せユニット
80 送信機
100R、100G及び100B レジスタ
102 ロスレス圧縮ユニット
122、252L及び252R チューナ
124及び264 FID抽出ユニット
130 デコーダ
132 第2のビュー生成ユニット
134及び268 セレクタ
162及び228 頭部装着表示装置
180L、180R、254及び266 信号処理装置
182L、182R、230L及び230R LCD


【特許請求の範囲】
【請求項1】
2D互換3D表示装置であって、
基本ビュー信号を受けるように接続され、基本ビューチャンネルのカラー画像シーケンスを可視波長域で投影するための第1のプロジェクタの組と、
第2のビュー信号を受けるように接続され、第2のビューチャンネルのカラー画像シーケンスを不可視波長域で投影するための第2のプロジェクタの組とを含む、表示装置。
【請求項2】
前記第2のプロジェクタの組は、第2のビューチャンネルのカラー画像シーケンスを赤外波長域で投影するためのプロジェクタの組を含む、請求項1に記載の2D互換3D表示装置。
【請求項3】
基本ビューチャンネルの符号化され束ねられたビデオストリームを受けるように接続された受信機をさらに含み、前記符号化され束ねられたビデオストリームは、前記基本ビューチャンネルのカラー画像シーケンスを前記基本ビューチャンネルと前記第2のビューチャンネルとの間の視差情報に組合せたものであり、さらに
前記受信機から前記符号化され束ねられたビデオストリームを受けるように接続され、符号化され束ねられたビデオストリームを復号化し、前記基本ビューチャンネルのカラー画像シーケンスと前記視差情報とを出力するためのデコーダと、
前記基本ビューチャンネルのカラー画像シーケンスと前記視差情報とを前記デコーダから受けるように接続され、第2の画像シーケンスを生成するための第2ビュー生成器とを含み、前記基本ビューチャンネルの前記カラー画像シーケンスによって規定される画像中の画素の各々は、それぞれの視差情報によって規定される量だけ変位される、請求項1に記載の2D互換3D表示装置。
【請求項4】
基本ビューチャンネルの符号化され束ねられたビデオストリームを受けるための第1の受信機と、
前記第1の受信機から符号化され束ねられたビデオストリームを受けるように接続され、符号化され束ねられたビデオストリームを復号化し、得られる前記基本ビューチャンネルのカラー画像シーケンスを前記第1の組のプロジェクタに出力するための第1のデコーダと、
前記第2のビューチャンネルの符号化され束ねられたビデオストリームを受けるための第2の受信機と、
前記第2の受信機から前記第2のビューチャンネルの符号化され束ねられたビデオストリームを受けるように接続され、前記第2のビューチャンネルの符号化され束ねられたビデオストリームを復号化し、得られる前記第2のビューチャンネルのカラー画像シーケンスを前記第2の組プロジェクタに出力するための第2のデコーダとをさらに含む、請求項1に記載の2D互換3D表示装置。
【請求項5】
3D視装置であって、
シースルーである第1のメガネレンズと、
予め定められた光学的メタマテリアルからなり、赤外域のスペクトルを可視域にシフトするための第2のメガネレンズと、
前記第1のメガネレンズと前記第2のメガネレンズとが予め規定された方向を向くように前記第1のメガネレンズと前記第2のメガネレンズとを保持するフレームとを含む、3D視装置。
【請求項6】
3D視装置であって、
可視波長域の画像シーケンスをキャプチャし、第1の画像シーケンスを出力するための第1のカメラと、
不可視域の画像シーケンスをキャプチャし、第2の画像シーケンスを出力するための第2のカメラと、
前記第1の画像シーケンスを受けるように接続され、前記第1のカメラでキャプチャされた画像シーケンスを表示するための第1のディスプレイと、
前記第2の画像シーケンスを受けるように接続され、前記第2のカメラでキャプチャされた画像シーケンスを表示するための第2のディスプレイと、
前記第1のカメラ、前記第2のカメラ、前記第1のディスプレイ及び前記第2のディスプレイを、前記第1のカメラと前記第2のカメラとが同じ第1の方向を向き、前記第1のディスプレイと前記第2のディスプレイとが前記第1の方向と逆の、同じ第2の方向を向くように保持するフレームとを含む、立体視装置。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2010−81001(P2010−81001A)
【公開日】平成22年4月8日(2010.4.8)
【国際特許分類】
【外国語出願】
【出願番号】特願2008−243645(P2008−243645)
【出願日】平成20年9月24日(2008.9.24)
【出願人】(301022471)独立行政法人情報通信研究機構 (1,071)
【Fターム(参考)】