立体映像ディスプレイ方法及びシステム並びに立体映像ディスプレイプログラムが記録された記録媒体
【課題】互いに異なる深さ感を有する映像を用いることで、より臨場感のある、高解像度の映像をディスプレイすることができる、立体映像ディスプレイ方法を提供する。
【解決手段】本発明に係る立体映像ディスプレイ方法は、オブジェクト映像をディスプレイするステップと、３次元映像再生方式を用いて背景映像をディスプレイするステップと、オブジェクト映像及び背景映像が同一視野角内で重畳されるようにオブジェクト映像を近距離に、背景映像を遠距離に配置するステップと、を含むことを特徴とする。
【解決手段】本発明に係る立体映像ディスプレイ方法は、オブジェクト映像をディスプレイするステップと、３次元映像再生方式を用いて背景映像をディスプレイするステップと、オブジェクト映像及び背景映像が同一視野角内で重畳されるようにオブジェクト映像を近距離に、背景映像を遠距離に配置するステップと、を含むことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像ディスプレイ方法及びシステムに関するもので、特に立体感を与えるために背景映像を用いる立体映像ディスプレイ方法及びシステムに関する。
【背景技術】
【０００２】
最近、３次元映像と映像再生技術に関する研究が盛んに行われている。このような３次元映像関連メディアは、視覚情報の水準を一層高める新しい概念の実感映像メディアであって、次世代ディスプレイを主導すると予想されている。現在、これに関する研究が国内外学界及び産業界を中心にして活発に進められている。また、３次元映像は２次元映像より臨場感があり、自然に見えて、人間が感じる現実に近いため、３次元映像に対する需要が増加しつつある。既存の２Ｄディスプレイシステムは平面イメージを提供するが、３Ｄディスプレイシステムは物体が持っている実際のイメージ情報を観察者に見せるという観点から究極的な映像具現技術である。
【０００３】
このような３次元立体映像を再生するために、立体鏡学（stereoscopy）、ホログラフィ（holography）、及び集積映像（integral imaging）方法などが研究開発されている。
立体鏡学方式は、人間視覚システム（human visual system）を模倣した方式である。立体鏡学方式は、左右両眼に対応する映像を区分して各々入射させる方式である。すなわち、立体鏡学方式は、映像を左眼映像と右眼映像に分離した後、偏光液晶板からなった眼鏡を装着した観測者の左眼と右眼に各々の映像を入射させて立体映像を感じさせる方式である。
【０００４】
ホログラフィ方式は、レーザーを用いて製作したホログラフィを観察時に、特殊眼鏡を装着しなくても実物と同様な立体映像を感じることができる方式である。したがって、ホログラフィ方式は立体感に優れ、人間が疲労感を感じなく３次元映像を見ることができる最も理想的な方式であると知られている。
【０００５】
集積映像ディスプレイ方式は、映像獲得段階（ピックアップ）と映像再生段階に大別される。映像獲得段階（ピックアップ）は、イメージセンサのような２次元感知器とレンズアレイとで構成され、３次元客体はレンズアレイの前に位置する。そして、３次元客体の多様な映像情報がレンズアレイを通過して２次元感知器に格納される。このように格納された映像は要素映像として３次元再生のために用いられる。以後、集積映像技術の映像再生段階は、映像獲得段階（ピックアップ）の逆過程であって、液晶表示装置のような映像再生装置とレンズアレイとで構成される。そして、映像獲得段階（ピックアップ）から得られた要素映像は映像再生装置に表示され、要素映像の映像情報はレンズアレイを通過して空間上に３次元映像で再生される。
【０００６】
一方、無眼鏡３Ｄディスプレイ技術の一種であるフローティングディスプレイシステムは博物館や展示場でよく見ることができる３Ｄディスプレイ方法である。
フローティングディスプレイの主な特徴は、構造が単純で、具現が容易であり、高解像度の映像を実際空間に容易にディスプレイできるという点である。すなわち、ＬＣＤのような平面ディスプレイ装置の映像が、凸レンズ（Convex lens）あるいは凹面鏡（Concave mirror）を使用するフローティングレンズを通過すると、その像が空間に形成されて、観察者は目の前に位置し、空中に浮かび上がっている映像を見ることができる。
【０００７】
【特許文献１】特開２００３−１７７３５５号公報
【特許文献２】特開２００８−１１８００１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、フローティングディスプレイ方式は、ディスプレイされる映像が一つの実平面（Real plane）に制限されて、立体感が表現できないという短所がある。
また、上述した様々な３次元（３Ｄ）ディスプレイ方法は、一つの２次元または３次元映像を３Ｄ映像で具現する時、完璧な立体感を得るためにはデータ処理量が非常に多くなって連続的な３Ｄ立体感を提供することに限界があった。さらに、一つのシステムから立体映像を提供する場合、ユーザが感じる３Ｄ立体感には限界があった。
【０００９】
こうした従来技術の問題点に鑑み、本発明は、背景映像を有する立体映像ディスプレイ方法及びシステムを提供することを目的とする。
本発明の他の目的は、二つ以上の実平面を用いる場合に生じる重畳領域（occlusion region）の問題を解決し、より臨場感のある立体映像を表現するために、背景映像を有する立体映像ディスプレイ方法及びシステムを提供することにある。
本発明のまた他の目的は、３次元映像再生技術のみで映像を具現する場合の解像度が低下するという問題点を解決するために、３次元映像再生技術を用いて３Ｄ背景映像をディスプレイし、高解像度のオブジェクト映像を別途にディスプレイする、立体映像ディスプレイ方法及びシステムを提供することにある。
本発明のまた他の目的は、３Ｄ背景映像をさらに用いることにより、臨場感のある背景映像が導入された立体映像ディスプレイ方法及びシステムを提供することにある。
本発明が提示する技術的課題は下記の説明を通して容易に理解できよう。
【課題を解決するための手段】
【００１０】
本発明の一実施形態によれば、立体映像ディスプレイ方法が提供される。
本発明の一実施例によれば、立体映像ディスプレイシステムで立体映像をディスプレイする方法であって、オブジェクト映像をディスプレイするステップと、３次元映像再生方式を用いて背景映像をディスプレイするステップと、前記オブジェクト映像及び前記背景映像が同一視野角内で重なるように前記オブジェクト映像を近距離に、前記背景映像を遠距離に配置するステップと、を含む立体映像ディスプレイ方法が提供される。
【００１１】
前記配置するステップで、前記オブジェクト映像または前記背景映像のうち一映像は透過し、他の映像は反射する半透明ミラー（Half Mirror）を用いて、前記オブジェクト映像または前記背景映像のうち一映像は実像として、他の映像は虚像として結ぶことができる。
【００１２】
前記オブジェクト映像は、前記半透明ミラーに反射されて前記半透明ミラーの背面方向に虚像として結ぶことができる。
【００１３】
前記背景映像をディスプレイするステップは、前記背景映像をレンズアレイ（Lens Array）に投影して要素映像としてディスプレイするステップを含むことができる。
【００１４】
前記背景映像をディスプレイするステップは、前記オブジェクト映像に対応するマスク（Mask）映像を生成するステップと、前記背景映像と前記マスク映像とを結合するステップと、前記結合された映像をレンズアレイに投影して要素映像としてディスプレイするステップと、を含むことができる。
【００１５】
前記マスク映像は、オブジェクト映像を黒色で処理した映像であることができる。
【００１６】
前記背景映像をディスプレイするステップは、前記背景映像が補色関係の左右画像で出力されるステップと、色眼鏡や色フィルタの使用により前記補色関係の左右画像が分離されるステップと、を含むことができる。
【００１７】
前記補色関係の左右画像は、赤色と青色との補色関係にあってもよい。
【００１８】
前記背景映像をディスプレイするステップは、偏光方向が異なる偏光眼鏡を使用して前記背景映像の左右画像を分離する偏光方式を用いて前記背景映像をディスプレイすることができる。
【００１９】
前記偏光眼鏡は、直線偏光の振動方向の差または円偏光の回転方向の差を用いたものであることがよい。
【００２０】
前記背景映像をディスプレイするステップは、前記背景映像が視差を有する左右画像で周期的に反復出力されるステップと、前記反復周期に同期された電子シャッタを通して左右画像が分離されるステップと、を含む時分割方式を用いることができる。
【００２１】
前記背景映像をディスプレイするステップは、頭にディスプレイ装置を被って、目の直前に画面をディスプレイして立体感を得るＨＭＤ（Head mount display）方式を用いることができる。
【００２２】
前記背景映像をディスプレイするステップは、前記背景映像のディスプレイパネルに左右画像が交互に配置され出力されるステップと、前記ディスプレイパネルから一定距離にあるバリアを通過して左右画像が分離されるステップと、を含むパララックスバリア（parallax barrier）方式を用いることができる。
【００２３】
前記背景映像をディスプレイするステップは、前記背景映像のディスプレイパネルに左右画像が交互に配置され出力されるステップと、前記ディスプレイパネルから一定距離にある半円筒状のレンチキュラー（Lenticular）を通過して左右画像が分離されるステップと、を含むことができる。
【００２４】
前記背景映像をディスプレイするステップは、前記背景映像のディスプレイパネルに左右画像が交互に配置され複数の対で出力されるステップと、前記ディスプレイパネルから一定距離にあるバリアを通過して左右画像が複数の視点に分離されるステップと、を含むマルチビュー（multiview）方式を用いることができる。
【００２５】
前記オブジェクト映像をディスプレイするステップにおいて、前記レンズは、凸レンズまたは凹面鏡であることができる。
【００２６】
前記オブジェクト映像をディスプレイするステップにおいて、前記レンズは、複数の凸レンズまたは複数の凹面鏡であることができる。
【００２７】
本発明の他の一実施形態によれば、記録媒体が提供される。
本発明の一実施例によれば、前記立体映像ディスプレイ方法が具現できるように、デジタル処理装置で実行できる命令語のプログラムが類型的に具現されており、前記デジタル処理装置により読み取ることができる背景映像を有する立体映像ディスプレイプログラムが記録された記録媒体が提供される。
【００２８】
本発明のまた他の一実施形態によれば、立体映像ディスプレイシステムが提供される。
本発明の一実施例によれば、立体映像ディスプレイシステムであって、オブジェクト映像をディスプレイするオブジェクト映像ディスプレイシステム部と、背景映像を要素映像としてディスプレイする集積映像ディスプレイシステム部と、前記オブジェクト映像及び前記背景映像が同一視野角内で重なるように前記オブジェクト映像を近距離に、前記背景映像を遠距離に配置する光学手段と、を含む立体映像ディスプレイシステムが提供される。
【００２９】
前記集積映像ディスプレイシステム部はレンズアレイを含み、前記集積映像ディスプレイシステム部は前記背景映像を前記レンズアレイに投影することができる。
【００３０】
前記オブジェクト映像ディスプレイシステム部は、前記オブジェクト映像をパネルにディスプレイするディスプレイパネルと、凸レンズまたは凹面鏡であるフローティングレンズとを含み、前記ディスプレイパネルにディスプレイされた映像は前記フローティングレンズに投影されてフローティングディスプレイされることができる。
【００３１】
前記フローティングレンズは、複数の凸レンズまたは複数の凹面鏡であってもよい。
【００３２】
前記ディスプレイパネルにディスプレイされたオブジェクト映像が
Ｈ＝ｈ・ｆ１／（ｈ−ｆ１）
で算出される位置Ｈに結ぶようにするレンズを含み、ここで、前記ディスプレイパネルと前記レンズとの間の距離がｈ、前記レンズの焦点距離がｆ１、前記レンズからオブジェクト映像が表示される位置がＨである。
【００３３】
前記集積映像ディスプレイシステム部は、背景映像がディスプレイされるディスプレイパネルと、前記ディスプレイパネルの前に位置したレンズアレイを含み、前記背景映像は前記レンズアレイに投影されて要素映像としてディスプレイされることができる。
【００３４】
前記光学手段は、前記オブジェクト映像または前記背景映像のうちの一映像は透過させ、他の映像は反射させる半透明ミラーであることができる。
【００３５】
前記半透明ミラーは前記オブジェクト映像を反射し、前記オブジェクト映像は前記半透明ミラーの反射面の背面方向に虚像として結ぶことができる。
【発明の効果】
【００３６】
本発明に係る背景映像を有する立体映像ディスプレイ方法及びシステムは、重畳領域の問題を解決し、既存のフローティングディスプレイシステムとは異なって、３Ｄ背景映像とオブジェクト映像とを分離して用いることで、より臨場感のある、高解像度の映像をディスプレイすることができる。
【発明を実施するための最良の形態】
【００３７】
本発明は多様な変換を加えることができ、様々な実施例を有することができるため、特定実施例を図面に例示し、詳細に説明する。しかし、本発明がこれらの特定の実施形態に限定されるものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物及び代替物を含むものとして理解されるべきである。
【００３８】
「第１」、「第２」などの用語は、多様な構成要素を説明するのに用いることに過ぎなく、前記構成要素が前記用語により限定されるものではない。前記用語は一つの構成要素を他の構成要素から区別する目的だけに用いられる。例えば、本発明の権利範囲内における第１構成要素を第２構成要素と命名することができ、同様に第２構成要素を第１構成要素と命名することもできる。「及び」／「または」という用語は、複数の関連のある記載項目の組合いまたは複数の関連のある記載項目のうち何れかの項目を含む。
【００３９】
ある構成要素が他の構成要素に「連結」あるいは「接続」されていると記載された場合には、その他の構成要素に直接的に連結されているか、接続されていることは勿論、中間に他の構成要素が存在していることも含むものとして理解しなくてはならない。反面、ある構成要素が他の構成要素に「直接連結」あるいは「直接接続」されていると記載された場合には、中間に他の構成要素は存在しないと理解すればよい。
【００４０】
本願で用いた用語は、ただ特定の実施例を説明するために用いたものであって、本発明を限定するものではない。単数の表現は、文の中で明らかに表現しない限り、複数の表現を含む。本願において、「含む」または「有する」などの用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはこれらを組み合わせたものの存在を指定するものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品、またはこれらを組み合わせたものの存在または付加可能性を予め排除するものではないと理解しなくてはならない。
【００４１】
他に定義しない限り、技術的または科学的用語を含んで、ここで用いられる全ての用語は、本発明が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同一の意味を有する。一般的に用いられる予め定義しているような用語は、関連技術の文脈上の意味と一致する意味を有すると解釈すべきで、本願で明らかに定義しない限り、理想的または過度に形式的意味に解釈しない。
【００４２】
また、添付図面を参照して説明するに当たって、図面符号に拘わらず同一の構成要素には同一の図面符号を付し、これに対する重複説明は省略する。本発明を説明するに当たって、係る公知技術に対する具体的な説明が本発明の要旨をかえって不明にすると判断される場合、その詳細な説明を省略する。
【００４３】
以下、本発明を添付した図面を参照して詳しく説明する。
図１から図１１では本発明の実施例に係る集積映像ディスプレイ方式を用いた、背景映像を有する立体映像ディスプレイシステムについて説明する。図１２以下では本発明の他の実施例に係る背景映像を有する立体映像ディスプレイシステムについて説明する。
【００４４】
まず、図１及び図２を参照して、背景（Background）映像を集積映像でディスプレイする過程について説明した後、これをオブジェクト（Object）映像と重なるように視野角内部に配置させる過程について説明する。その後、オブジェクト映像は、半透明ミラーのみを用いると虚像として結び、フローティングディスプレイ方法を用いると実像として結ぶようになるが、これについては図３及び図６を参照して各々説明する。
【００４５】
図１は、集積映像ディスプレイ方式の概念を説明するための図面である。集積映像ディスプレイ方式は、図１に示すように、ピックアップ（Pick up）及び再生の二段階で構成される。ピックアップ段階は、３次元客体１００から、要素レンズ１０４を用いて各要素レンズ１０４の位置に応じる視点の差（以下、視差という）を有する要素（Element）映像を得る段階である。ここで、異なる視差を有する要素映像とは、３次元客体１００の互いに異なる視点から得られた映像を意味する。
【００４６】
ピックアップ段階では、３次元客体１００から互いに異なる視差を有する要素映像を抽出できるように、要素レンズ１０４が１次元または２次元で配列されているレンズアレイ１０６を使用する。
【００４７】
従って、レンズアレイ１０６でピックアップ時には、３次元客体を様々な方向から見た互いに異なる映像がレンズアレイ１０６を介して要素映像の形態で格納される。例えば、５２×５２の小型レンズ（Lenslet）で構成されたレンズアレイを使用する場合、２，７０４個の小型レンズの位置に応じる要素映像が光センサを通して得られる。
【００４８】
再生過程では、これら要素映像がディスプレイパネル１２４及びレンズアレイ１０６を介して集積され、３次元映像１２２で再生される。要素映像の形態については図１０を参照して後述する。
【００４９】
図２は、本発明の実施例に係る立体映像ディスプレイシステムで用いられる重畳除去背景映像の製作方法を示す図面である。
【００５０】
本発明の一実施例に係る立体映像ディスプレイシステムは、後述するように、オブジェクト映像ディスプレイシステム部と集積映像ディスプレイシステム部とを含むことができる。オブジェクト映像ディスプレイシステム部と集積映像ディスプレイシステム部とは、各々独立した映像を出力するが、オブジェクト映像については図３及び図６を参照して後述する。
【００５１】
以下では図２を参照して、図１で説明した要素映像のピックアップ過程を用いて重畳除去背景映像を製作する過程を説明する。
【００５２】
先ず、集積映像ディスプレイシステム部は、入力パネル２１０とレンズアレイ２１２とを含むことができる。入力パネルは、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサであることができる。したがって、入力パネル２１０の前方に被写体が存在する場合、被写体の映像が入力パネル２１０に格納される。
【００５３】
しかし、入力パネル２１０の前方にはレンズアレイ２１２が配置されているので、前方の被写体から放射（光源の場合）または反射された光はレンズアレイを通過して入力パネルに入力される。
【００５４】
例えば、被写体は、レンズアレイ２１２からＺ２２５２だけ離隔されている地球２００である。地球２００は、図３を参照して後述するように、立体映像中、背景に用いられる映像のベースであって、要素映像としてピックアップされる前の映像に該当するものである。また、レンズアレイ２１２からＺ１２５０だけ離隔されている宇宙船２９０は、オブジェクトとして用いられる映像のシルエット（Silhouette）に該当する。すなわち、オブジェクトとして用いられる映像の内部を黒色で処理したマスク（Mask）映像である。
【００５５】
このような各々の映像２００，２９０は、地球がディスプレイされたＬＣＤパネル（図示せず）及び宇宙船のシルエットがディスプレイされたＬＣＤパネル（図示せず）を用いてＺ２２５２、Ｚ１２５０に位置させる。これはレンズ及び鏡（図示せず）を用いて各々の像（Image）が配置されるようにすることができる。
【００５６】
Ｚ２とＺ１に配置された各々の地球と宇宙船は、レンズアレイを通過しながら要素映像に変換されて、入力パネル２１０には変換された要素映像が格納される。この場合、入力パネルに格納される要素映像は宇宙船の黒色シルエット映像と重畳され要素映像に変換された映像であるので、重畳される部分は黒色になって除去される。
【００５７】
以下、このようなピックアップ過程から生成された背景映像を重畳除去背景映像という。入力パネル２１０は、入力パネル２１０に接続されているメモリに格納されて、後述する立体映像をディスプレイする時に使用できる。
【００５８】
上述したように、背景映像である地球からオブジェクト映像のシルエットを除去する理由は、オブジェクト映像（宇宙船）と背景映像（地球）との間の重畳領域及び閉塞領域（Overlapping and Occlusion region）の問題を解消するためである。
【００５９】
すなわち、オブジェクト映像と背景映像とが同時にディスプレイされる場合に発生する、ユーザの視覚に現れる重畳領域（occlusion region）を予め除去することである。これは後述する図３に示すように、ユーザにはオブジェクト映像と背景映像とが同一視野角で重なって見えるが、重畳が除去されなかった背景映像とオブジェクト映像とが重なると、オブジェクトの色が異なって見えるからである。
【００６０】
したがって、上述したようにオブジェクト映像を背景映像から予め除去して、すなわち、オブジェクト映像のマスク映像が背景映像と重なるようにして重畳除去背景映像を生成することにより、後でオブジェクト映像が異なって見えることを防止できる。重畳除去背景映像がレンズアレイ２１２を介して要素映像として入力、または変換され入力パネル２１０に格納されることは前述した通りである。
【００６１】
図３は、本発明の実施例に係る立体映像ディスプレイシステムの構成を示す図面である。図３を参照すると、ディスプレイシステムは集積映像ディスプレイ部２１１，２１２、半透明ミラー２３０、オブジェクト映像ディスプレイ部２６０が示されている。
【００６２】
図２を参照して説明したように、本発明の立体映像は、互いに異なる遠近距離を有するオブジェクト映像２９０と重畳除去背景映像２００Ｒとがユーザに認識される立体映像である。遠近距離とはユーザの視野角内部で認識される深さを意味する。例えば、写真を見る場合、人物は鮮明に写っていて、後ろの山は鮮明に写っていないように区分される深さを意味する。重畳除去背景映像２００Ｒは、ディスプレイパネルから出力されるものであって、図２を参照して説明したように、マスク映像と合成され、レンズアレイを介して要素映像として入力パネルに入力または格納された映像である。
【００６３】
すなわち、図２では、ピックアップ過程を説明したが、図３ではピックアップ過程の説明は省略し、ピックアップされた重畳除去背景映像がディスプレイパネル（例えば、ＬＣＤパネルなど）を介して出力される「再生」過程を中心に説明する。
【００６４】
互いに異なる遠近距離を有するオブジェクト映像２９０と重畳除去背景映像２００Ｒとは、一つのディスプレイパネルで生成されるものではなく、各々のディスプレイパネルを介して各々出力されて像を結ぶ。ただ、二つの映像２９０，２００Ｒは、半透明ミラー２３０を通してユーザの目に立体映像で認知される。
【００６５】
オブジェクト映像２９０はディスプレイパネル１の２６０にディスプレイされる。ディスプレイパネル１の２６０は、ＬＣＤ、ＰＤＰなどのような平面ディスプレイパネルであることができる。
【００６６】
ディスプレイパネル１の２６０は、光源（Light Source）としてオブジェクト映像２９０を形成する光を出力する。例えば、オブジェクト映像は宇宙船（Shuttle）であると仮定する。ここで、オブジェクト映像２９０は、背景なしに宇宙船（オブジェクト）だけが表現された映像であることができる。
【００６７】
すなわち、図３とは異なって、ユーザがディスプレイパネル１の２６０にディスプレイされる映像を鏡なしに垂直に直接見ると仮定すれば、宇宙船だけが視野に入ってくることになる。
【００６８】
本発明の一実施例に係る立体映像ディスプレイシステムでのオブジェクト映像２９０は、ディスプレイパネル１の２６０が直接ユーザに向かうように配置されなく、ディスプレイパネル１の２６０から出力される光は半透明ミラー２３０から反射されてユーザ側に進むことになる。
【００６９】
半透明ミラー２３０は、鏡の両面のうち一面では光の一部を反射させ、他面では光の一部を透過させる鏡である。半透明ミラー２３０はハーフミラー（Half Mirror）またはツーウェイミラー（2Way Mirror)とも言える。
【００７０】
したがって、図２に示すように、半透明ミラー２３０の右側から観測しているユーザを基準として説明すると、半透明ミラー２３０はオブジェクト映像２９０を反射させ、後述する重畳除去背景映像２００Ｒを透過させて、ユーザの視野角内ではオブジェクト映像２９０と重畳除去背景映像２００Ｒとが重なるようにする。図３では半透明ミラー２３０がオブジェクト映像２９０を反射させ、重畳除去背景映像２００Ｒを透過させるように配置されてユーザが右側から観測することに示されているが、ユーザが下方から観測することもできることは自明である。ただ、以下では説明の便宜のため、ユーザが半透明ミラー２３０の右側から観測する場合を中心にして説明する。
【００７１】
先ず、オブジェクト映像２９０の説明をしてから重畳除去背景映像２００Ｒについて説明する。
【００７２】
ユーザは、半透明ミラー２３０を通してオブジェクト映像２９０である宇宙船を見ることができる。ユーザが見る、すなわち認知する宇宙船２９０の位置は、半透明ミラー２３０の反対面から距離Ｌだけ離れた地点である。すなわち、宇宙船は虚像（Virtual Image）であって、半透明ミラー２３０の反射面の反対面に距離Ｌだけ離れているとユーザに認識される。半透明ミラー２３０は、ディスプレイパネル１から出力される映像を反射させユーザの視野角内部に進んで行って、ユーザが見ることができるように所定角度（例えば、４５°）傾いて配置されることができる。
【００７３】
平面鏡を用いる場合、ユーザが見ることになる像（Image）は常に正立虚像であり、被写体（図３のディスプレイパネル１の２６０参照）までの距離Ｌだけ鏡の背面方向に離隔して結んだ虚像である。
【００７４】
したがって、光源であるディスプレイパネル１の２６０からディスプレイされたオブジェクト映像は、ユーザの視線と垂直して半透明ミラー２３０からＬだけ離隔されているが、ユーザはユーザの視線方向で鏡からＬだけ離隔されていると認知する。これは潜望鏡の原理と同様である。
【００７５】
しかし、上述したように、本発明の立体映像ディスプレイシステムから生成される立体映像は、オブジェクト映像２９０のみで構成されるものではない。オブジェクト映像と異なる深さ（遠近距離）を有する背景映像２００Ｒが存在すれば、ユーザは立体映像として認知することになる。
【００７６】
したがって、集積映像システム部は、重畳除去背景映像２００Ｒをディスプレイパネル２を通してディスプレイする。ディスプレイパネル２の２１１は、ディスプレイパネル１の２６０と同じくＬＣＤ、ＰＤＰなどのような平面ディスプレイ装置であることができ、プロジェクション（Projection）ディスプレイ装置であることもできる。
【００７７】
ディスプレイパネル２の２１１は重畳除去背景映像２００Ｒの光源であって、重畳除去背景映像２００Ｒを出力し、重畳除去背景映像２００Ｒを構成する光は２次元のレンズアレイ２１２を通過する。
【００７８】
レンズアレイ２１２を通過した光はレンズアレイ２１２を構成する各々の小型レンズ（Lenslet）を通過しながらレンズアレイ２１２からＺ２２５２だけ離隔して像を結ぶ。重畳除去背景映像２００Ｒは、例えば、宇宙からながめた地球が立体的に見える３Ｄ集積映像である。
【００７９】
ただ、重畳除去背景映像２００Ｒはオブジェクト映像２９０とは異なる深さを有する位置に像を結ばなければならないので、重畳除去背景映像２００Ｒの位置はオブジェクト映像２９０からＺ１２５０−Ｚ２２５２だけ離隔されることになる。すなわち、重畳除去背景映像２００Ｒはユーザの視線で見ると、オブジェクト映像２９０の後に存在するように認識される。
【００８０】
図３には説明の便宜のため、重畳除去背景映像２００Ｒがレンズアレイ２１２からＺ２だけ離隔した位置に実像を結ぶことに示されているが、レンズアレイに含まれているレンズの曲率半径またはディスプレイパネル２の２１１の位置に応じて虚像として像を結ぶことも可能である。すなわち、レンズアレイ２１２の種類など、予め設定された光学条件に応じて重畳除去背景映像２００Ｒが虚像として結ぶことは本発明の技術分野で通常の知識を有する者にとっては自明なことである。
【００８１】
従来技術によれば、ユーザの視線には、オブジェクト映像２９０と背景映像２００とが重畳されて見える重畳領域（occlusion region）が存在して、オブジェクト映像の色が異なって見えるという問題が生ずる。したがって、図２を参照して説明したように、本発明のディスプレイパネル２の２１１には、背景映像２００からオブジェクト映像２９０に該当する領域が除去された重畳除去背景映像２００Ｒが出力される。
【００８２】
ここで、重畳除去背景映像２００Ｒは、ユーザの視線から重畳領域が発生することを防止するために、オブジェクト映像２９０の重畳される部分を入力パネル２１０が得た映像を意味する。ディスプレイパネル２の２１１は、入力パネル２１０に繋がっているか、入力パネル２１０を備えていて、入力パネルがピックアップした重畳除去背景映像２００Ｒを出力することができる。
【００８３】
したがって、上述した本発明の立体映像システムによれば、ユーザは半透明ミラーを基準として鏡の後面からＬ距離だけ離れた位置に宇宙船が存在し、宇宙船からＺ１−Ｚ２距離だけ離れた位置に地球が存在すると認知する。すなわち、ユーザは宇宙からながめた地球２００Ｒと宇宙船２９０とを立体的に認識することになる。
【００８４】
図４は、フローティングディスプレイ方式の原理を説明するための図面である。フローティングディスプレイ方式は、前述した図１から図３のオブジェクト映像をディスプレイするために用いられる。
【００８５】
図４を参照すると、フローティングディスプレイ装置は、映像表示のためのディスプレイパネル４００と凸レンズ４０２とを含む。ここで、焦点距離を減らすために、凸レンズ４０２を二つ以上組み合わせて使用してもよい。また、フローティングディスプレイ装置は、凸レンズ４０２の代わりに凹面鏡を用いて構成されることもできる。凸レンズはフレネルレンズ（Fresnel Lens）であってもよい。
【００８６】
ディスプレイパネル４００に表示される映像は、ディスプレイパネル４００の解像度と同様に表示できる。したがって、高解像度のオブジェクト映像をディスプレイパネル４００に表示すると、凸レンズ４０２を介して空間上にオブジェクト映像４０４がディスプレイされる。ここで、ディスプレイパネル４００と凸レンズ４０２との間の距離をｈ４２０、凸レンズ４０２の焦点距離をｆ１とすれば、凸レンズ４０２からオブジェクト映像４０４が表示される位置Ｈ４２２は、レンズ公式の一般式（１）で表される。
Ｈ＝ｈ・ｆ１／（ｈ−ｆ１） ・・・（１）
【００８７】
オブジェクト映像４０４は、一般式（１）により計算されたＨ４２２の位置に表示されることになる。このような技術が、映像を空間に実像として結ぶようにするフローティングディスプレイ（Floating Display）技術である。
【００８８】
図５は、本発明の実施例に係るフローティングディスプレイシステムを説明するための図面である。図５を参照すると、フローティングディスプレイシステムはオブジェクト映像をディスプレイするために用いられる。フローティングディスプレイシステム部はディスプレイパネル５００と凸レンズ５０２とを備えることができる。
【００８９】
焦点距離を減らすために、凸レンズ５０２を二つ以上組み合わせて使用してもよい。また、他の実施例によれば、凸レンズ５０２の代わりに凹面鏡を用いてオブジェクト映像をフローティングすることもできる。
【００９０】
ディスプレイパネル５００には表現しようとするオブジェクトの宇宙船がディスプレイされる。このオブジェクトは一般的な２Ｄ映像であり、ディスプレイパネル５００の解像度と同様に表示可能である。したがって、高解像度のオブジェクト映像をディスプレイパネル５００に表示すると、凸レンズ５０２を通して空間上にオブジェクト映像の宇宙船５０４がディスプレイされる。
【００９１】
すなわち、ディスプレイパネル５００に表示された２Ｄ映像の宇宙船は凸レンズ５０２を通して凸レンズ５０２からＨ５４２距離だけ離れた距離に実際のオブジェクト映像の宇宙船５０４としてディスプレイされる。
【００９２】
ここで、実際映像を結ぶ位置Ｈは、レンズ公式により算出できる。ディスプレイパネル５００と凸レンズ５０２との間の距離をｈ５４０、凸レンズの焦点距離をｆ１とすると、オブジェクト映像５０４が表示される位置Ｈ５４２はレンズ公式の一般式（１）の通りである。
【００９３】
図６は、本発明の他の実施例に係る立体映像ディスプレイシステムを示す構成図である。図６に示すように、オブジェクト映像をフローティングレンズ６０２を用いて像を結ぶディスプレイシステムであることが分かる。
【００９４】
すなわち、図６に示されている立体映像システムは２種類のシステム部に大別される。一つはフローティングディスプレイシステム部であり、他の一つは集積映像ディスプレイシステム部である。フローティングディスプレイシステム部はオブジェクト映像ディスプレイシステム部に該当する。
【００９５】
ここで、二つのシステム部には、半透明ミラー６３０を通してオブジェクト映像と重畳除去背景映像とが同一視野角内で重なるようにオブジェクト映像を近距離に、背景映像を遠距離に配置されることができる。
【００９６】
このために、半透明ミラー６３０はフローティングディスプレイシステム部にディスプレイされたオブジェクト映像６２０、または集積映像ディスプレイシステム部にディスプレイされた重畳除去背景映像６１４Ｒのうちのいずれか一つは透過させ、残りの一つは反射させる機能をする。図６では半透明ミラー６３０がオブジェクト映像６２０を反射させ、重畳除去背景映像６１４Ｒを透過させるように配置されており、ユーザが右側から観測することに示されているが、半透明ミラー６３０の特性上、ユーザが下方から観測することも可能である。ただ、以下では説明の便宜のため、ユーザが半透明ミラー６３０の右側から観測する場合を中心にして説明する。また、図６では、オブジェクト映像６２０が反射され、重畳除去背景映像６１４Ｒが透過されて右側ユーザの視野角に進入される構成を中心にして説明する。
【００９７】
フローティングディスプレイシステム部は、ディスプレイパネル１の６００と凸レンズ６０２とを備えることができる。ディスプレイパネル１の６００には表現しようとするオブジェクト映像が３Ｄ映像でディスプレイされる。ディスプレイパネル１の６００に表示された３Ｄ映像は、凸レンズ６０２を通して半透明ミラー６３０の近くで実際のオブジェクト映像６２０としてディスプレイされる。これは図４及び図５での説明と同様であるので、その説明を省略する。
【００９８】
集積映像ディスプレイシステム部は、ディスプレイパネル２の６１０とレンズアレイ６１２とを備えることができる。ディスプレイパネル２の６１０には表現しようとする背景映像（地球）が重畳除去背景映像（宇宙船が除去された地球）としてディスプレイされる。ディスプレイパネル２の６１０から出力された背景要素映像は、レンズアレイ６１２を通して半透明ミラー６３０の近くで重畳除去背景映像６１４Ｒとしてディスプレイされる。また、図６では説明の便宜のため、重畳除去背景映像６１４Ｒがレンズアレイ６１２からＺ２だけ離隔された位置に実像として像を結ぶことに示されているが、レンズアレイに含まれたレンズの曲率半径やディスプレイパネル２の６１０の位置に応じて虚像として像を結ぶこともできる。これは図２及び図３での説明と同様である。
【００９９】
本発明の実施例によりディスプレイされる３Ｄ立体映像は、既存フローティングディスプレイシステムとは異なる特徴を有する。すなわち、本発明の実施例によりディスプレイされる３Ｄ立体映像は、３Ｄ映像が二つの大きい領域に分けられてディスプレイされる。一つはフローティングディスプレイ方式で表示されるオブジェクト映像６２０であり、他の一つはこのオブジェクト映像の後に位置し、集積映像ディスプレイ方式で表示される集積映像背景６１４Ｒである。
【０１００】
ここで、オブジェクト映像６２０は観測者の関心を引く映像であって高解像度の映像を要するため、フローティングディスプレイ方式を用いて表示することができる。一方、集積映像背景６１４Ｒは、立体感を与えることができる背景映像を提供するために、集積映像ディスプレイ方式を用いて表示することができる。
【０１０１】
本発明は、集積映像ディスプレイ技術で表示される集積映像背景６１４Ｒを用いて多視点映像を提供し、オブジェクト映像のマスクを結合した重畳除去背景映像６１４Ｒを用いて深さのある立体感を表現することができる。
【０１０２】
また、集積映像ディスプレイ方式の短所である低解像度を克服するために、オブジェクト映像をフローティングディスプレイ技術で表示するオブジェクト映像６２０を用いることにより、高解像度のオブジェクト映像６２０を得ることができる。
【０１０３】
また、本発明の立体映像ディスプレイシステムは、３Ｄ立体映像がディスプレイされる位置を特定できる。すなわち、フローティングディスプレイシステム部では、一般式（１）のレンズ公式を用いてオブジェクト映像が距離Ｚ１６５０に位置するようにすることができ、ディスプレイされたオブジェクト映像を反射させる半透明ミラー６３０を使用することができる。集積映像ディスプレイシステム部では、集積映像背景が距離Ｚ２６５２に位置するようにすることができる。
【０１０４】
以上では、本発明の実施例に係る集積映像ディスプレイ方式を用いた背景映像を有する立体映像ディスプレイシステムの構成について説明した。以下では、本発明の実施例に係る集積映像ディスプレイ方式を用いた背景映像を有する立体映像ディスプレイシステムが適用された実験について、実験条件及び実験データを具体的に説明する。
【０１０５】
図７は、本発明の実施例に係る集積映像背景を有するフローティングディスプレイ方法の実験構成図である。
フローティングディスプレイシステム部は上側に、集積映像ディスプレイシステム部は下側に示されている。この二つのシステムから表示される映像を結合して観測者が見ることができるように、二つのシステムの間に半透明ミラー６３０が位置している。
【０１０６】
フローティングディスプレイシステム部では、オブジェクト映像がディスプレイパネル１の６００に表示される。ディスプレイパネル１の６００はプロジェクタと拡散スクリーンであることができる。本実施例で用いたプロジェクタと拡散スクリーンは、基礎実験のために使用されたものに過ぎなく、このデバイスは使用用途や各特性に応じて他のディスプレイ装置のＬＣＤ（liquid crystal display）、ＰＤＰ(plasma display panel)、その他の映像ディスプレイ装置で代替できることは上述した通りである。
【０１０７】
凸レンズ６０２としては低い焦点を容易に具現できるフレネルレンズを用いた。凸レンズ６０２は拡散スクリーンから６８０ｍｍ距離に位置している。すなわち、ディスプレイパネル１の６００と凸レンズ６０２との間の距離ｈ６４０は６８０ｍｍとなる。一般式（１）の条件により、オブジェクト映像（宇宙船）６２０のイメージは凸レンズ６０２から２５４ｍｍ離れて表示される。すなわち、オブジェクト映像６２０が表示される位置Ｈ６４２は２５４ｍｍになる。
【０１０８】
一方、集積映像ディスプレイシステム部では、要素映像がディスプレイパネル２の６１０に表示される。ディスプレイパネル２の６１０は、プロジェクタと拡散スクリーンであることができる。レンズアレイ６１２はディスプレイパネル２の６１０の前に位置している。
【０１０９】
実験に使用したレンズアレイ６１２は総５３×５３の小型レンズから構成されており、小型レンズの焦点距離は３ｍｍである。
【０１１０】
ディスプレイパネル２の６１０とレンズアレイ６１２との間の距離を小型レンズの焦点距離と同じく位置させると、重畳除去背景映像として再生される地球の背景映像６１４Ｒは約６ｍｍ距離（Ｚ２６５２）に再生される。
【０１１１】
図８は、本発明の実施例に係る集積映像背景を有する立体映像ディスプレイ方法の実験に使用されたオブジェクト映像図及び背景映像図である。
本発明の有用性を証明する実験を行うために、オブジェクト映像と重畳除去背景映像とを製作する。図８に示すように、実験でのオブジェクト映像６２０は「宇宙船」の映像であり、背景映像６１３は「地球」の映像である。オブジェクト映像は、変形なしにそのままディスプレイパネル１の６００にディスプレイされる。背景映像６１３はディスプレイパネル２の６１０に表示される前に重畳除去背景映像６１４Ｒとして変形されることになる。重畳除去背景映像６１４Ｒの製作過程については図２で詳述したので、その説明を省略する。
【０１１２】
図９は、本発明の実施例に係る集積映像ディスプレイシステム部で用いられる重畳除去背景映像の製作図である。ディスプレイパネル２の６１０から出射される重畳除去背景映像の製作方法は図２で詳述し、重畳除去背景映像がレンズアレイ６１２、または２１２を通して立体感を持つ映像としてユーザに認知されることも前述した通りである。
【０１１３】
図９を参照すると、集積映像ディスプレイシステム部で用いられる重畳除去背景映像の製作例が分かる。
まず、図９に示されている三つの映像は全てレンズアレイ６１２、または２１２を通して入力手段２１０に入力及び格納された映像である。すなわち、レンズアレイを通した多視点集積映像であって、立体感を有する「要素映像」である。
【０１１４】
このような要素映像のうち、背景要素映像とは図１及び図２で説明したように、被写体を、レンズアレイを通過して配置させ、これをコンピューターピックアップ方式で再現した背景映像である。したがって、本発明の実施例によれば背景要素映像は５２×５２の要素から構成された背景要素映像になる。
【０１１５】
背景要素映像８００と、オブジェクト映像のオブジェクトを黒色処理したオブジェクト映像のマスク映像（シルエット）の要素映像８０２とを製作する。以後、背景要素映像８００とオブジェクト映像のマスク映像（シルエット）の要素映像８０２とを結合して重畳除去背景映像９００Ｒを得ることができる。図９に示すように、重畳除去背景映像９００Ｒもレンズアレイ６１２、または２１２を通してピックアップ及び再生された映像であるので「要素映像」に該当する。
【０１１６】
これは、図１及び図２で説明したように、オブジェクト映像の要素映像８０２を背景要素映像８００から除去して重畳領域を除去するためである。
【０１１７】
したがって、図３及び図６で説明した重畳除去背景映像２００Ｒ，６１４Ｒは集積映像システム部における「要素映像」であって、図９に示された識別番号９００Ｒ映像と同じである。
【０１１８】
図１０は、本発明の実施例に係る立体映像ディスプレイ方法による立体映像を示す図面である。
ここでは、図７の実験条件によりディスプレイパネル１の６００から出射されたオブジェクト映像６２０とディスプレイパネル２の６１０から出射された重畳除去背景映像６１４Ｒとを用いて本発明の実施例に係る集積映像背景を有するフローティングディスプレイ方法の実験を行った。
【０１１９】
図１０を参照すると、実際３Ｄ映像ディスプレイの実験結果を示す映像を見ることができる。図１０の各々の映像は、オブジェクト映像のみディスプレイされた映像６２０、重畳除去背景映像のみディスプレイされた映像６１４Ｒ、及び重畳除去背景映像６１４Ｒと共にディスプレイされた映像９０４を示している。
【０１２０】
具体的に、図６及び図７の実験構成図から各々２種類の映像を表示して得られた実験結果を示すものである。オブジェクト映像のみディスプレイされた映像６２０は、フローティングディスプレイシステム部から再生される映像である。実験ではＸＧＡ級のプロジェクタを用い、宇宙船の解像度は約６００×４００ピクセル程度であった。重畳除去背景映像のみディスプレイされた映像６１４Ｒは、集積映像ディスプレイシステム部から再生される映像である。この時、再生される集積映像背景６１４Ｒは、レンズアレイ６１２の数と一致する５０×５０個程度の（円形）点で表現される。
【０１２１】
オブジェクト映像６２０及び重畳除去背景映像６１４Ｒが共にディスプレイされた映像９０４は、フローティングディスプレイシステム部から再生される映像と、集積映像ディスプレイシステム部から再生される映像とが半透明ミラー６３０を通して合わせられた時の映像である。図１０の実験結果から分かるように、互いに異なる二つのシステム部の映像を組み合わせると、立体感のある３Ｄ映像が製作できる。また、実験結果より、フローティングディスプレイ方式でディスプレイされる映像、すなわちオブジェクト映像のみディスプレイされた映像６２０の解像度が、集積映像システムから再生される背景映像、すなわち重畳除去背景映像のみディスプレイされた映像６１４Ｒに比べて、極めて高い解像度を有することが分かる。
【０１２２】
図１１は、本発明の実施例に係る集積映像背景を有するフローティングディスプレイを多様な角度から観測した３Ｄ映像図面であって、再生された結果を多様な角度から観測した映像を示している。すなわち、上側から見た立体映像１０００、左側から見た立体映像１００２、右側から見た立体映像１００４、中央から見た立体映像１００６、下側から見た立体映像１００８が示されている。
【０１２３】
具体的に、中央から見た立体映像１００６を基準にして、上側から見た立体映像１０００と下側から見た立体映像１００８との宇宙船の頭部を比べると、上側から見た立体映像１０００の頭部の方が、より広く表示されることが分かる。
【０１２４】
中央から見た立体映像１００６を基準にして、左側から見た立体映像１００２と右側から見た立体映像１００４との地球背景の左側部分を比べると、左側から見た立体映像１００２の方が、より広い面積を占めていることが分かる。
【０１２５】
このように図１１を参照すると、多様な角度から観測した３Ｄ立体映像の背景映像が立体感を有することが確認できる。
【０１２６】
以上、背景映像として集積映像技法を用いた方法の実験について詳述したが、以下では背景映像をレンズアレイによる「要素映像」ではなく、他の３次元映像再生方法によりディスプレイする場合について説明する。
【０１２７】
図１２から図１４は、立体鏡学（stereoscopy）方式を適用して背景映像をディスプレイする方法に関する図面である。
立体鏡学方式は仮想３Ｄディスプレイ方式であって、人間が立体感を感じる様々な要因中の一つである両眼視差（binocular disparity）を用いて平面ディスプレイから仮想的に立体感を感じさせる方法である。
【０１２８】
通常、人間の目は左右６５ｍｍほど離れているため、各々の目に視差情報を有する左右映像が視神経を通して各々反対側の脳に入ると、以後、視覚領（視覚的な情報を処理する後頭部の大脳皮質領域）で二つの映像が一つに合し、空間感を感じることができるようになる。
【０１２９】
すなわち、人間は両眼視差のため、同じ物体を見ていても左右の空間的情報を少しずつ分けて持っている異なる画像を見ることになり、この二つの画像が網膜を通して脳に伝達されると、人間の脳はこの二つの画像を融合して立体感を感じることができる。立体鏡学方式は、このような原理を用いて２Ｄディスプレイ装置に視差が異なる左右映像二つを同時に映して各々の目に送る設計を通して仮想的に立体を作り出すことである。
【０１３０】
このような立体鏡学方式は、眼鏡の着用有無による眼鏡方式と無眼鏡方式に分けられ、どれくらい多様な角度の立体を表現できるのかによる両眼方式と、この拡張概念であるマルチビュー方式とに区分できる。
【０１３１】
眼鏡方式には、色差方式、偏光方式、時分割方式、ＨＭＤ(Head mount display)などがある。
色差方式は、補色関係の赤色と青色で左右画像を描き、色フィルタで左右の像を選択・分離して両眼にそれぞれ赤色と青色の色眼鏡をかけて見る方法である。
偏光方式は、直線偏光の振動方向が異なる性質、あるいは円偏光の回転方向が異なる性質をそれぞれ用いて両眼に偏光方向が異なる偏光眼鏡をかけて見る方法である。
時分割方式は、左右画像を両眼に周期的に反復させ、この周期に同期させた電子シャッタが設置された眼鏡をかけることにより立体感を得る方式である。
ＨＭＤ方式は、頭にディスプレイ装置を被って、目の直前に画面をディスプレイすることで立体感を得る方式である。
【０１３２】
ここで、前述した各々の方式を適用して、背景映像を有するフローティングディスプレイシステムを構成することができる。但し、偏光を用いる方法は、偏光方向の特性がフローティング映像ディスプレイにも影響を及ぼすので、使用に制約があることもあり得るし、ＨＭＤ方式も頭に装置を着用して視野を制限するため、フローティング映像を遮るという制約があるので、前述した各々の方式中、時分割方式を用いてシステムを構成することが好ましい。しかし、これは背景映像をディスプレイする方式を限定するものではなく、前述した各々の方式を適用しても背景映像をディスプレイすることができることは明らかである。
【０１３３】
一方、眼鏡を着用しない代表的な無眼鏡方式としては、パララックスバリア方式、レンチキュラー方式などがある。無眼鏡方式は、眼鏡のような道具を用いずに、ディスプレイ装置の構造と、レンズの屈折などを用いて特定視点内でそれぞれの左右両眼に映像を分離させる方法である。
【０１３４】
以下、各々の細部的な方法で背景映像をディスプレイする多様な実施例を説明する。
図１２は、本発明の他の実施例に係る時分割方式を用いて背景映像をディスプレイする方法に関する図面である。
【０１３５】
時分割方式とは、一つの画面で左右チャンネルのイメージが速い速度で交互に表示される画面を、シャッタ眼鏡などを用いて、迅速に遮断と開閉を繰り返して、片目に一方向のイメージだけが入るようにする方式である。
【０１３６】
図１２によれば、ディスプレイパネル２の６１０に、各々の視差の異なる映像が交互に速くディスプレイされる。実験では、左側映像１１００を緑色映像で構成し、右側映像１１０２を青色映像で構成した。観察者が着用したシャッタ眼鏡は、各々の目に合う映像を受け入れるために電子的に作動し、各々交互に目を遮ることになる。このような作動が６０回以上迅速に行われ、観察者は二つの画像が同時に一つの画面から出力されると感じることになり、この二つの画像は観察者の脳の中で合わせられて立体感を感じることができるようになる。
【０１３７】
すなわち、図１２で観察者の右眼１１０４には青色映像が映り、左眼１１０６には緑色映像が映ることになる。
時分割方式は、偏光方式に比べ、視野角が自由になり、単に同じ画面から左右チャンネルだけが交互に出力されることであるので、上下左右の全方向の視野角には全く損失がない。したがって、観察者は自由な姿勢で仮想立体画面を見ることができる。
【０１３８】
図１３は、本発明のまた他の実施例に係るパララックスバリア方式を用いて背景映像をディスプレイする方法に関する図面である。
パララックスバリア方式とは、光学的技術を用いることではなく、単純に視野を遮断する程度の構造でイメージを区分する方式である。
【０１３９】
パララックスバリア方式は、パララックスバリア１２００と呼ばれる細いスリット状の開口部の後方に一定の間隔をおき、左右両眼分の画像を交互配置して、特定視点からこの開口部を通して見た時、正確に両側画像を分離して見ることができる方式である。すなわち、偏光方式のような光学的技術を用いることではなく、単純に左右チャンネルを壁で塞いで区分させるものである。
【０１４０】
図１３によれば、ディスプレイパネル２の６１０には左側映像１１００と右側映像１１０２とが交互に配列されている。実験では、左側映像１１００を緑色映像で構成し、右側映像１１０２を青色映像で構成した。ディスプレイパネル２の６１０の前に細いスリットアレイのパララックスバリア１２００が位置すると、特定距離の観察者には二つの映像が分離されて両眼に入ってくることになる。すなわち、図１３で観察者の右眼１１０４には青色映像が映り、左眼１１０６には緑色映像が映ることになる。
【０１４１】
図１４は、本発明のまた他の実施例に係るレンチキュラー方式を用いて背景映像をディスプレイする方法に関する図面である。
レンチキュラー方式とは、縦に配列されたスクリーン上にレンチキュラーレンズアレイ１３００を通して左右画像を屈折させて観察者の両眼にそれぞれの画像を送る方法である。図１４によれば、ディスプレイパネル２の６１０は、レンチキュラーレンズ一つに、両眼に入る左側映像１１００と右側映像１１０２とがアレイされるように構成される。実験では、左側映像１１００を緑色映像で構成し、右側映像１１０２を青色映像で構成した。ディスプレイパネル２の６１０の前にレンチキュラーレンズアレイ１３００を位置させると、左側映像１１００と右側映像１１０２とが分離され左眼１１０６と右眼１１０４にそれぞれ入力されることになる。すなわち、図１４で、観察者の右眼１１０４には青色映像が映り、左眼１１０６には緑色映像が映ることになる。
【０１４２】
この時、人間の脳は既存の仮想３Ｄディスプレイ方法から感じたような立体感を感じることになる。
【０１４３】
レンチキュラー方式は、パララックスバリア方式に比べて、明るさの低下が少なく、２Ｄ画面上でのバリアのように目に障る構造物がないという長所がある。
図１５は、本発明のまた他の実施例に係るマルチビュー方式を用いて背景映像をディスプレイする方法に関する図面である。
【０１４４】
マルチビュー方式は、上述した両眼方式の視点を拡張する概念である。既存の立体鏡学方式は両眼に入力される二つの映像を認知して生じる１視点の映像を受け入れて立体感を感じる方式であった。しかし、マルチビューはその視点の個数を増加させ、同一視野角内で二つ以上の視点を作り出す方法である。
【０１４５】
図１５を参照すると、ディスプレイパネル２の６１０にはそれぞれの左右映像の対が五つの単位（最左側映像、左側映像、中間映像、右側映像、最右側映像）で配列されていることが分かる。これは既存のバリア方式やレンチキュラー方式と類似の構造であるが、連続する映像が２色配列ではなく、５色配列に区分される。
【０１４６】
ここでは、説明の便宜のために５視点配列で構成したが、５視点配列に限定されず、複数の視点を用いてマルチビュー方式を採用できることは明らかである。このように作られた映像がディスプレイパネル２の６１０の前に位置しているバリア１４００を通過して映像を作り出すことになり、この時、視野角を変化させながら映像を観察すると、最左側映像から最右側映像まで五つの視点が順次目に入ることになる。このようにして多視点を有するディスプレイを具現することができる。
【０１４７】
視点の個数を増やすために、ディスプレイパネル２の６１０の前に設置するバリア１４００を垂直に構成せず、４５°あるいは特性に合わせて傾くようにして視点を増やすこともできる。
【０１４８】
図１６は、本発明のまた他の実施例に係るホログラフィ方式を用いて背景映像をディスプレイする方法に関する図面である。
ホログラフィ方式は、レーザーから出た光線を二つに分けて、一つの光は直接スクリーンを照らすようにし、他の一つの光は、見ようとする物体を照らすようにする方式である。ここで、直接スクリーンを照らす光を基準光（reference beam・参照光）といい、物体を照らす光を物体光（object beam）という。
【０１４９】
物体光は、物体の各表面から反射されて出る光であるため、物体表面に応じて位相差（物体表面からスクリーンまでの距離）が各々異なって表れる。そして、変形されない基準光が物体光と干渉を起こし、この時の干渉縞がスクリーンに格納される。このような干渉縞が格納されたフィルムをホログラムという。
【０１５０】
格納された映像を再現しようとする場合、記録時に用いられた光線を再びスクリーンに照射しなくてはならない。再生の際に用いられる光線は、記録時と同じ振動数を有する波動だけが３次元で再現され、波長と位相が異なる波は全く効果なく、格納されたホログラムを通過させてしまうので、記録時に用いられた基準光と必ず正確に一致しなくてはならない。
【０１５１】
このように、ホログラムが既存の写真と異なる点は、格納時と再生時に同じ光線を利用しなくてはならないということと、３次元映像が再現されるということである。
ホログラムは、物体光の強度だけを格納する２次元写真とは異なって、その光の方向まで記録するので、３次元映像を見ることができる。
【０１５２】
ここでは、実験の容易性のために、実際のホログラムパターンをスクリーンに格納することではなく、ＣＧＨ（Computer generated hologram）を用いてパターンを生成し、ここに平行光を用いて空間光変調器によりホログラムパターンの回折を起こして実際の空間に３次元映像を表示する。
【０１５３】
図１６は、背景映像をディスプレイするためのホログラムディスプレイ装置の構成図である。図１６を参考すると、レーザー１５００から出た光は光整列器（collimating）１（シルエット）及び光拡大器（expander）１５０４を経て平行行光となる。そして、この光は偏光光分割器（polarized beam splitter、PBS）１５０６を通して空間光変調器（SLM:Spatial Light Modulator）１５０８に入射される。ここで、空間光変調器としては反射型空間光変調器または透過型空間光変調器を使用できる。空間光変調器１５０８には、生成されたホログラムパターンが入力されており、ここから回折され出た光は、フィールドレンズを通して実像の３次元ホログラム映像として観察できるようになる。
【０１５４】
図１２から図１６までは、背景映像を有するフローティングディスプレイシステムの背景映像の部分をディスプレイする方法について説明した。上述したディスプレイ方法以外にも３次元映像を再生できる方式であれば、何れも前記背景映像のディスプレイに適用できることは本発明の通常の知識を有する者にとって明らかなことである。以下では、既存のフレネルレンズを用いるフローティングシステムの代替具現方法についてを説明する。
図１７は、本発明のまた他の実施例に係るフローティングディスプレイ方法に関する図面である。
【０１５５】
前記では、フローティングディスプレイシステムでディスプレイパネル１の６００から出力された２次元平面映像がスクリーンに映り、この映像は凸レンズを通過してレンズ公式により半透明ミラーの近くにあるオブジェクト映像のマスク映像と同じ位置にディスプレイされる方式について詳述した。
【０１５６】
以下では、図１７に基づいて、フローティングディスプレイシステム部の凸レンズの代わりに球形の凹面鏡を設けたシステムについて説明する。
フローティングディスプレイシステム部が、凸レンズまたは同じ特性を有する凹面鏡１６００で具現されることができるということは前述した通りである。凹面鏡１６００を用いる理由は、凸レンズを用いることにより発生する問題点を効果的に克服することができるからである。
【０１５７】
凹面鏡１６００は、ディスプレイパネル１の６００に映られた映像を透過させなく、反射する特性があり、凹んだ屈曲を通して凸レンズと同じ効果を出すので、凸レンズを用いることにより発生し得る明るさの低下、歪み、収差などの問題を改善することができる。
具体的に、図１７に示すように、２次元のオブジェクト映像がディスプレイパネル１の６００から出力され、新しく追加された半透過鏡１６０２から反射され、凹面鏡１６００に入射される。入射された映像は凹面鏡１６００の屈曲面の特性（すなわち、凸レンズを透過した特性）を有することになり、凹面鏡１６００から反射された映像情報は、入射された方向の反対方向に映像を出力させる。最終的には、凸レンズを通過してレンズ公式により生成される映像の距離と同じく、半透明ミラー１６０２を通過して凹面鏡１６００との距離によって定められた焦点距離の実際領域にオブジェクト映像６２０がディスプレイされることになる。
【０１５８】
上述した全ての実施例は、光学装置を通過した面、すなわち実際領域（real field）に映像を生成させる方法といて具現された。しかし、集積映像ディスプレイ方法及びフローティングディスプレイ方法、そして、言及した全ての３次元ディスプレイ方法は、光学的構成を異なるようにするか、ソフトウェア的な映像のピックアップ方法などを異なるようにして、実際の空間領域ではなく、反対領域である虚像領域（virtual field）にも映像を生成することができる。また、虚像領域を用いることにより、さらに広い領域の深さを表現することや、視野角の変形などのように使用用途に応じて新しい分野への適用が可能である。
【０１５９】
以上では、本発明の実施例を参照して説明したが、当該技術分野で通常の知識を有する者であれば、特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更させることができることを理解できよう。
【図面の簡単な説明】
【０１６０】
【図１】集積映像ディスプレイ方式の概念を説明するための図面である。
【図２】本発明の実施例に係る立体映像ディスプレイシステムで用いられる重畳除去背景映像の製作方法を示す図面である。
【図３】本発明の実施例に係る立体映像ディスプレイシステムの構成を示す図面である。
【図４】フローティングディスプレイ方式の原理を説明するための図面である。
【図５】本発明の実施例に係るフローティングディスプレイシステムを説明するための図面である。
【図６】本発明の他の実施例に係る立体映像ディスプレイシステムを示す構成図である。
【図７】本発明の実施例に係る集積映像背景を有するフローティングディスプレイ方法の実験構成図である。
【図８】本発明の実施例に係る集積映像背景を有する立体映像ディスプレイ方法の実験に使用されたオブジェクト映像図及び背景映像図である。
【図９】本発明の実施例に係る集積映像ディスプレイシステム部で用いられる重畳除去背景映像の製作図である。
【図１０】本発明の実施例に係る立体映像ディスプレイ方法による立体映像を示す図である。
【図１１】本発明の実施例に係る集積映像背景を有するフローティングディスプレイを多様な角度から観測した３Ｄ映像図である。
【図１２】本発明の他の実施例に係る立体鏡学方式の時分割方式を用いて背景映像をディスプレイする方法に関する図面である。
【図１３】本発明のまた他の実施例に係る立体鏡学方式のパララックスバリア方式を用いて背景映像をディスプレイする方法に関する図面である。
【図１４】本発明のまた他の実施例に係る立体鏡学方式のレンチキュラー方式を用いて背景映像をディスプレイする方法に関する図面である。
【図１５】本発明のまた他の実施例に係るマルチビュー方式を用いて背景映像をディスプレイする方法に関する図面である。
【図１６】本発明のまた他の実施例に係るホログラフィ方式を用いて背景映像をディスプレイする方法に関する図面である。
【図１７】本発明のまた他の実施例に係るフローティングディスプレイ方法に関する図面である。
【符号の説明】
【０１６１】
２６０，６００ ディスプレイパネル１
２１１，６１０ ディスプレイパネル２
４０２，５０２，６０２ 凸レンズ
１０６，２１２，６１２，１３００ レンズアレイ
２９０，４０４，５０４，６２０ オブジェクト映像
２３０，６３０ 半透明ミラー
【技術分野】
【０００１】
本発明は、立体映像ディスプレイ方法及びシステムに関するもので、特に立体感を与えるために背景映像を用いる立体映像ディスプレイ方法及びシステムに関する。
【背景技術】
【０００２】
最近、３次元映像と映像再生技術に関する研究が盛んに行われている。このような３次元映像関連メディアは、視覚情報の水準を一層高める新しい概念の実感映像メディアであって、次世代ディスプレイを主導すると予想されている。現在、これに関する研究が国内外学界及び産業界を中心にして活発に進められている。また、３次元映像は２次元映像より臨場感があり、自然に見えて、人間が感じる現実に近いため、３次元映像に対する需要が増加しつつある。既存の２Ｄディスプレイシステムは平面イメージを提供するが、３Ｄディスプレイシステムは物体が持っている実際のイメージ情報を観察者に見せるという観点から究極的な映像具現技術である。
【０００３】
このような３次元立体映像を再生するために、立体鏡学（stereoscopy）、ホログラフィ（holography）、及び集積映像（integral imaging）方法などが研究開発されている。
立体鏡学方式は、人間視覚システム（human visual system）を模倣した方式である。立体鏡学方式は、左右両眼に対応する映像を区分して各々入射させる方式である。すなわち、立体鏡学方式は、映像を左眼映像と右眼映像に分離した後、偏光液晶板からなった眼鏡を装着した観測者の左眼と右眼に各々の映像を入射させて立体映像を感じさせる方式である。
【０００４】
ホログラフィ方式は、レーザーを用いて製作したホログラフィを観察時に、特殊眼鏡を装着しなくても実物と同様な立体映像を感じることができる方式である。したがって、ホログラフィ方式は立体感に優れ、人間が疲労感を感じなく３次元映像を見ることができる最も理想的な方式であると知られている。
【０００５】
集積映像ディスプレイ方式は、映像獲得段階（ピックアップ）と映像再生段階に大別される。映像獲得段階（ピックアップ）は、イメージセンサのような２次元感知器とレンズアレイとで構成され、３次元客体はレンズアレイの前に位置する。そして、３次元客体の多様な映像情報がレンズアレイを通過して２次元感知器に格納される。このように格納された映像は要素映像として３次元再生のために用いられる。以後、集積映像技術の映像再生段階は、映像獲得段階（ピックアップ）の逆過程であって、液晶表示装置のような映像再生装置とレンズアレイとで構成される。そして、映像獲得段階（ピックアップ）から得られた要素映像は映像再生装置に表示され、要素映像の映像情報はレンズアレイを通過して空間上に３次元映像で再生される。
【０００６】
一方、無眼鏡３Ｄディスプレイ技術の一種であるフローティングディスプレイシステムは博物館や展示場でよく見ることができる３Ｄディスプレイ方法である。
フローティングディスプレイの主な特徴は、構造が単純で、具現が容易であり、高解像度の映像を実際空間に容易にディスプレイできるという点である。すなわち、ＬＣＤのような平面ディスプレイ装置の映像が、凸レンズ（Convex lens）あるいは凹面鏡（Concave mirror）を使用するフローティングレンズを通過すると、その像が空間に形成されて、観察者は目の前に位置し、空中に浮かび上がっている映像を見ることができる。
【０００７】
【特許文献１】特開２００３−１７７３５５号公報
【特許文献２】特開２００８−１１８００１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、フローティングディスプレイ方式は、ディスプレイされる映像が一つの実平面（Real plane）に制限されて、立体感が表現できないという短所がある。
また、上述した様々な３次元（３Ｄ）ディスプレイ方法は、一つの２次元または３次元映像を３Ｄ映像で具現する時、完璧な立体感を得るためにはデータ処理量が非常に多くなって連続的な３Ｄ立体感を提供することに限界があった。さらに、一つのシステムから立体映像を提供する場合、ユーザが感じる３Ｄ立体感には限界があった。
【０００９】
こうした従来技術の問題点に鑑み、本発明は、背景映像を有する立体映像ディスプレイ方法及びシステムを提供することを目的とする。
本発明の他の目的は、二つ以上の実平面を用いる場合に生じる重畳領域（occlusion region）の問題を解決し、より臨場感のある立体映像を表現するために、背景映像を有する立体映像ディスプレイ方法及びシステムを提供することにある。
本発明のまた他の目的は、３次元映像再生技術のみで映像を具現する場合の解像度が低下するという問題点を解決するために、３次元映像再生技術を用いて３Ｄ背景映像をディスプレイし、高解像度のオブジェクト映像を別途にディスプレイする、立体映像ディスプレイ方法及びシステムを提供することにある。
本発明のまた他の目的は、３Ｄ背景映像をさらに用いることにより、臨場感のある背景映像が導入された立体映像ディスプレイ方法及びシステムを提供することにある。
本発明が提示する技術的課題は下記の説明を通して容易に理解できよう。
【課題を解決するための手段】
【００１０】
本発明の一実施形態によれば、立体映像ディスプレイ方法が提供される。
本発明の一実施例によれば、立体映像ディスプレイシステムで立体映像をディスプレイする方法であって、オブジェクト映像をディスプレイするステップと、３次元映像再生方式を用いて背景映像をディスプレイするステップと、前記オブジェクト映像及び前記背景映像が同一視野角内で重なるように前記オブジェクト映像を近距離に、前記背景映像を遠距離に配置するステップと、を含む立体映像ディスプレイ方法が提供される。
【００１１】
前記配置するステップで、前記オブジェクト映像または前記背景映像のうち一映像は透過し、他の映像は反射する半透明ミラー（Half Mirror）を用いて、前記オブジェクト映像または前記背景映像のうち一映像は実像として、他の映像は虚像として結ぶことができる。
【００１２】
前記オブジェクト映像は、前記半透明ミラーに反射されて前記半透明ミラーの背面方向に虚像として結ぶことができる。
【００１３】
前記背景映像をディスプレイするステップは、前記背景映像をレンズアレイ（Lens Array）に投影して要素映像としてディスプレイするステップを含むことができる。
【００１４】
前記背景映像をディスプレイするステップは、前記オブジェクト映像に対応するマスク（Mask）映像を生成するステップと、前記背景映像と前記マスク映像とを結合するステップと、前記結合された映像をレンズアレイに投影して要素映像としてディスプレイするステップと、を含むことができる。
【００１５】
前記マスク映像は、オブジェクト映像を黒色で処理した映像であることができる。
【００１６】
前記背景映像をディスプレイするステップは、前記背景映像が補色関係の左右画像で出力されるステップと、色眼鏡や色フィルタの使用により前記補色関係の左右画像が分離されるステップと、を含むことができる。
【００１７】
前記補色関係の左右画像は、赤色と青色との補色関係にあってもよい。
【００１８】
前記背景映像をディスプレイするステップは、偏光方向が異なる偏光眼鏡を使用して前記背景映像の左右画像を分離する偏光方式を用いて前記背景映像をディスプレイすることができる。
【００１９】
前記偏光眼鏡は、直線偏光の振動方向の差または円偏光の回転方向の差を用いたものであることがよい。
【００２０】
前記背景映像をディスプレイするステップは、前記背景映像が視差を有する左右画像で周期的に反復出力されるステップと、前記反復周期に同期された電子シャッタを通して左右画像が分離されるステップと、を含む時分割方式を用いることができる。
【００２１】
前記背景映像をディスプレイするステップは、頭にディスプレイ装置を被って、目の直前に画面をディスプレイして立体感を得るＨＭＤ（Head mount display）方式を用いることができる。
【００２２】
前記背景映像をディスプレイするステップは、前記背景映像のディスプレイパネルに左右画像が交互に配置され出力されるステップと、前記ディスプレイパネルから一定距離にあるバリアを通過して左右画像が分離されるステップと、を含むパララックスバリア（parallax barrier）方式を用いることができる。
【００２３】
前記背景映像をディスプレイするステップは、前記背景映像のディスプレイパネルに左右画像が交互に配置され出力されるステップと、前記ディスプレイパネルから一定距離にある半円筒状のレンチキュラー（Lenticular）を通過して左右画像が分離されるステップと、を含むことができる。
【００２４】
前記背景映像をディスプレイするステップは、前記背景映像のディスプレイパネルに左右画像が交互に配置され複数の対で出力されるステップと、前記ディスプレイパネルから一定距離にあるバリアを通過して左右画像が複数の視点に分離されるステップと、を含むマルチビュー（multiview）方式を用いることができる。
【００２５】
前記オブジェクト映像をディスプレイするステップにおいて、前記レンズは、凸レンズまたは凹面鏡であることができる。
【００２６】
前記オブジェクト映像をディスプレイするステップにおいて、前記レンズは、複数の凸レンズまたは複数の凹面鏡であることができる。
【００２７】
本発明の他の一実施形態によれば、記録媒体が提供される。
本発明の一実施例によれば、前記立体映像ディスプレイ方法が具現できるように、デジタル処理装置で実行できる命令語のプログラムが類型的に具現されており、前記デジタル処理装置により読み取ることができる背景映像を有する立体映像ディスプレイプログラムが記録された記録媒体が提供される。
【００２８】
本発明のまた他の一実施形態によれば、立体映像ディスプレイシステムが提供される。
本発明の一実施例によれば、立体映像ディスプレイシステムであって、オブジェクト映像をディスプレイするオブジェクト映像ディスプレイシステム部と、背景映像を要素映像としてディスプレイする集積映像ディスプレイシステム部と、前記オブジェクト映像及び前記背景映像が同一視野角内で重なるように前記オブジェクト映像を近距離に、前記背景映像を遠距離に配置する光学手段と、を含む立体映像ディスプレイシステムが提供される。
【００２９】
前記集積映像ディスプレイシステム部はレンズアレイを含み、前記集積映像ディスプレイシステム部は前記背景映像を前記レンズアレイに投影することができる。
【００３０】
前記オブジェクト映像ディスプレイシステム部は、前記オブジェクト映像をパネルにディスプレイするディスプレイパネルと、凸レンズまたは凹面鏡であるフローティングレンズとを含み、前記ディスプレイパネルにディスプレイされた映像は前記フローティングレンズに投影されてフローティングディスプレイされることができる。
【００３１】
前記フローティングレンズは、複数の凸レンズまたは複数の凹面鏡であってもよい。
【００３２】
前記ディスプレイパネルにディスプレイされたオブジェクト映像が
Ｈ＝ｈ・ｆ１／（ｈ−ｆ１）
で算出される位置Ｈに結ぶようにするレンズを含み、ここで、前記ディスプレイパネルと前記レンズとの間の距離がｈ、前記レンズの焦点距離がｆ１、前記レンズからオブジェクト映像が表示される位置がＨである。
【００３３】
前記集積映像ディスプレイシステム部は、背景映像がディスプレイされるディスプレイパネルと、前記ディスプレイパネルの前に位置したレンズアレイを含み、前記背景映像は前記レンズアレイに投影されて要素映像としてディスプレイされることができる。
【００３４】
前記光学手段は、前記オブジェクト映像または前記背景映像のうちの一映像は透過させ、他の映像は反射させる半透明ミラーであることができる。
【００３５】
前記半透明ミラーは前記オブジェクト映像を反射し、前記オブジェクト映像は前記半透明ミラーの反射面の背面方向に虚像として結ぶことができる。
【発明の効果】
【００３６】
本発明に係る背景映像を有する立体映像ディスプレイ方法及びシステムは、重畳領域の問題を解決し、既存のフローティングディスプレイシステムとは異なって、３Ｄ背景映像とオブジェクト映像とを分離して用いることで、より臨場感のある、高解像度の映像をディスプレイすることができる。
【発明を実施するための最良の形態】
【００３７】
本発明は多様な変換を加えることができ、様々な実施例を有することができるため、特定実施例を図面に例示し、詳細に説明する。しかし、本発明がこれらの特定の実施形態に限定されるものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物及び代替物を含むものとして理解されるべきである。
【００３８】
「第１」、「第２」などの用語は、多様な構成要素を説明するのに用いることに過ぎなく、前記構成要素が前記用語により限定されるものではない。前記用語は一つの構成要素を他の構成要素から区別する目的だけに用いられる。例えば、本発明の権利範囲内における第１構成要素を第２構成要素と命名することができ、同様に第２構成要素を第１構成要素と命名することもできる。「及び」／「または」という用語は、複数の関連のある記載項目の組合いまたは複数の関連のある記載項目のうち何れかの項目を含む。
【００３９】
ある構成要素が他の構成要素に「連結」あるいは「接続」されていると記載された場合には、その他の構成要素に直接的に連結されているか、接続されていることは勿論、中間に他の構成要素が存在していることも含むものとして理解しなくてはならない。反面、ある構成要素が他の構成要素に「直接連結」あるいは「直接接続」されていると記載された場合には、中間に他の構成要素は存在しないと理解すればよい。
【００４０】
本願で用いた用語は、ただ特定の実施例を説明するために用いたものであって、本発明を限定するものではない。単数の表現は、文の中で明らかに表現しない限り、複数の表現を含む。本願において、「含む」または「有する」などの用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはこれらを組み合わせたものの存在を指定するものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品、またはこれらを組み合わせたものの存在または付加可能性を予め排除するものではないと理解しなくてはならない。
【００４１】
他に定義しない限り、技術的または科学的用語を含んで、ここで用いられる全ての用語は、本発明が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同一の意味を有する。一般的に用いられる予め定義しているような用語は、関連技術の文脈上の意味と一致する意味を有すると解釈すべきで、本願で明らかに定義しない限り、理想的または過度に形式的意味に解釈しない。
【００４２】
また、添付図面を参照して説明するに当たって、図面符号に拘わらず同一の構成要素には同一の図面符号を付し、これに対する重複説明は省略する。本発明を説明するに当たって、係る公知技術に対する具体的な説明が本発明の要旨をかえって不明にすると判断される場合、その詳細な説明を省略する。
【００４３】
以下、本発明を添付した図面を参照して詳しく説明する。
図１から図１１では本発明の実施例に係る集積映像ディスプレイ方式を用いた、背景映像を有する立体映像ディスプレイシステムについて説明する。図１２以下では本発明の他の実施例に係る背景映像を有する立体映像ディスプレイシステムについて説明する。
【００４４】
まず、図１及び図２を参照して、背景（Background）映像を集積映像でディスプレイする過程について説明した後、これをオブジェクト（Object）映像と重なるように視野角内部に配置させる過程について説明する。その後、オブジェクト映像は、半透明ミラーのみを用いると虚像として結び、フローティングディスプレイ方法を用いると実像として結ぶようになるが、これについては図３及び図６を参照して各々説明する。
【００４５】
図１は、集積映像ディスプレイ方式の概念を説明するための図面である。集積映像ディスプレイ方式は、図１に示すように、ピックアップ（Pick up）及び再生の二段階で構成される。ピックアップ段階は、３次元客体１００から、要素レンズ１０４を用いて各要素レンズ１０４の位置に応じる視点の差（以下、視差という）を有する要素（Element）映像を得る段階である。ここで、異なる視差を有する要素映像とは、３次元客体１００の互いに異なる視点から得られた映像を意味する。
【００４６】
ピックアップ段階では、３次元客体１００から互いに異なる視差を有する要素映像を抽出できるように、要素レンズ１０４が１次元または２次元で配列されているレンズアレイ１０６を使用する。
【００４７】
従って、レンズアレイ１０６でピックアップ時には、３次元客体を様々な方向から見た互いに異なる映像がレンズアレイ１０６を介して要素映像の形態で格納される。例えば、５２×５２の小型レンズ（Lenslet）で構成されたレンズアレイを使用する場合、２，７０４個の小型レンズの位置に応じる要素映像が光センサを通して得られる。
【００４８】
再生過程では、これら要素映像がディスプレイパネル１２４及びレンズアレイ１０６を介して集積され、３次元映像１２２で再生される。要素映像の形態については図１０を参照して後述する。
【００４９】
図２は、本発明の実施例に係る立体映像ディスプレイシステムで用いられる重畳除去背景映像の製作方法を示す図面である。
【００５０】
本発明の一実施例に係る立体映像ディスプレイシステムは、後述するように、オブジェクト映像ディスプレイシステム部と集積映像ディスプレイシステム部とを含むことができる。オブジェクト映像ディスプレイシステム部と集積映像ディスプレイシステム部とは、各々独立した映像を出力するが、オブジェクト映像については図３及び図６を参照して後述する。
【００５１】
以下では図２を参照して、図１で説明した要素映像のピックアップ過程を用いて重畳除去背景映像を製作する過程を説明する。
【００５２】
先ず、集積映像ディスプレイシステム部は、入力パネル２１０とレンズアレイ２１２とを含むことができる。入力パネルは、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサであることができる。したがって、入力パネル２１０の前方に被写体が存在する場合、被写体の映像が入力パネル２１０に格納される。
【００５３】
しかし、入力パネル２１０の前方にはレンズアレイ２１２が配置されているので、前方の被写体から放射（光源の場合）または反射された光はレンズアレイを通過して入力パネルに入力される。
【００５４】
例えば、被写体は、レンズアレイ２１２からＺ２２５２だけ離隔されている地球２００である。地球２００は、図３を参照して後述するように、立体映像中、背景に用いられる映像のベースであって、要素映像としてピックアップされる前の映像に該当するものである。また、レンズアレイ２１２からＺ１２５０だけ離隔されている宇宙船２９０は、オブジェクトとして用いられる映像のシルエット（Silhouette）に該当する。すなわち、オブジェクトとして用いられる映像の内部を黒色で処理したマスク（Mask）映像である。
【００５５】
このような各々の映像２００，２９０は、地球がディスプレイされたＬＣＤパネル（図示せず）及び宇宙船のシルエットがディスプレイされたＬＣＤパネル（図示せず）を用いてＺ２２５２、Ｚ１２５０に位置させる。これはレンズ及び鏡（図示せず）を用いて各々の像（Image）が配置されるようにすることができる。
【００５６】
Ｚ２とＺ１に配置された各々の地球と宇宙船は、レンズアレイを通過しながら要素映像に変換されて、入力パネル２１０には変換された要素映像が格納される。この場合、入力パネルに格納される要素映像は宇宙船の黒色シルエット映像と重畳され要素映像に変換された映像であるので、重畳される部分は黒色になって除去される。
【００５７】
以下、このようなピックアップ過程から生成された背景映像を重畳除去背景映像という。入力パネル２１０は、入力パネル２１０に接続されているメモリに格納されて、後述する立体映像をディスプレイする時に使用できる。
【００５８】
上述したように、背景映像である地球からオブジェクト映像のシルエットを除去する理由は、オブジェクト映像（宇宙船）と背景映像（地球）との間の重畳領域及び閉塞領域（Overlapping and Occlusion region）の問題を解消するためである。
【００５９】
すなわち、オブジェクト映像と背景映像とが同時にディスプレイされる場合に発生する、ユーザの視覚に現れる重畳領域（occlusion region）を予め除去することである。これは後述する図３に示すように、ユーザにはオブジェクト映像と背景映像とが同一視野角で重なって見えるが、重畳が除去されなかった背景映像とオブジェクト映像とが重なると、オブジェクトの色が異なって見えるからである。
【００６０】
したがって、上述したようにオブジェクト映像を背景映像から予め除去して、すなわち、オブジェクト映像のマスク映像が背景映像と重なるようにして重畳除去背景映像を生成することにより、後でオブジェクト映像が異なって見えることを防止できる。重畳除去背景映像がレンズアレイ２１２を介して要素映像として入力、または変換され入力パネル２１０に格納されることは前述した通りである。
【００６１】
図３は、本発明の実施例に係る立体映像ディスプレイシステムの構成を示す図面である。図３を参照すると、ディスプレイシステムは集積映像ディスプレイ部２１１，２１２、半透明ミラー２３０、オブジェクト映像ディスプレイ部２６０が示されている。
【００６２】
図２を参照して説明したように、本発明の立体映像は、互いに異なる遠近距離を有するオブジェクト映像２９０と重畳除去背景映像２００Ｒとがユーザに認識される立体映像である。遠近距離とはユーザの視野角内部で認識される深さを意味する。例えば、写真を見る場合、人物は鮮明に写っていて、後ろの山は鮮明に写っていないように区分される深さを意味する。重畳除去背景映像２００Ｒは、ディスプレイパネルから出力されるものであって、図２を参照して説明したように、マスク映像と合成され、レンズアレイを介して要素映像として入力パネルに入力または格納された映像である。
【００６３】
すなわち、図２では、ピックアップ過程を説明したが、図３ではピックアップ過程の説明は省略し、ピックアップされた重畳除去背景映像がディスプレイパネル（例えば、ＬＣＤパネルなど）を介して出力される「再生」過程を中心に説明する。
【００６４】
互いに異なる遠近距離を有するオブジェクト映像２９０と重畳除去背景映像２００Ｒとは、一つのディスプレイパネルで生成されるものではなく、各々のディスプレイパネルを介して各々出力されて像を結ぶ。ただ、二つの映像２９０，２００Ｒは、半透明ミラー２３０を通してユーザの目に立体映像で認知される。
【００６５】
オブジェクト映像２９０はディスプレイパネル１の２６０にディスプレイされる。ディスプレイパネル１の２６０は、ＬＣＤ、ＰＤＰなどのような平面ディスプレイパネルであることができる。
【００６６】
ディスプレイパネル１の２６０は、光源（Light Source）としてオブジェクト映像２９０を形成する光を出力する。例えば、オブジェクト映像は宇宙船（Shuttle）であると仮定する。ここで、オブジェクト映像２９０は、背景なしに宇宙船（オブジェクト）だけが表現された映像であることができる。
【００６７】
すなわち、図３とは異なって、ユーザがディスプレイパネル１の２６０にディスプレイされる映像を鏡なしに垂直に直接見ると仮定すれば、宇宙船だけが視野に入ってくることになる。
【００６８】
本発明の一実施例に係る立体映像ディスプレイシステムでのオブジェクト映像２９０は、ディスプレイパネル１の２６０が直接ユーザに向かうように配置されなく、ディスプレイパネル１の２６０から出力される光は半透明ミラー２３０から反射されてユーザ側に進むことになる。
【００６９】
半透明ミラー２３０は、鏡の両面のうち一面では光の一部を反射させ、他面では光の一部を透過させる鏡である。半透明ミラー２３０はハーフミラー（Half Mirror）またはツーウェイミラー（2Way Mirror)とも言える。
【００７０】
したがって、図２に示すように、半透明ミラー２３０の右側から観測しているユーザを基準として説明すると、半透明ミラー２３０はオブジェクト映像２９０を反射させ、後述する重畳除去背景映像２００Ｒを透過させて、ユーザの視野角内ではオブジェクト映像２９０と重畳除去背景映像２００Ｒとが重なるようにする。図３では半透明ミラー２３０がオブジェクト映像２９０を反射させ、重畳除去背景映像２００Ｒを透過させるように配置されてユーザが右側から観測することに示されているが、ユーザが下方から観測することもできることは自明である。ただ、以下では説明の便宜のため、ユーザが半透明ミラー２３０の右側から観測する場合を中心にして説明する。
【００７１】
先ず、オブジェクト映像２９０の説明をしてから重畳除去背景映像２００Ｒについて説明する。
【００７２】
ユーザは、半透明ミラー２３０を通してオブジェクト映像２９０である宇宙船を見ることができる。ユーザが見る、すなわち認知する宇宙船２９０の位置は、半透明ミラー２３０の反対面から距離Ｌだけ離れた地点である。すなわち、宇宙船は虚像（Virtual Image）であって、半透明ミラー２３０の反射面の反対面に距離Ｌだけ離れているとユーザに認識される。半透明ミラー２３０は、ディスプレイパネル１から出力される映像を反射させユーザの視野角内部に進んで行って、ユーザが見ることができるように所定角度（例えば、４５°）傾いて配置されることができる。
【００７３】
平面鏡を用いる場合、ユーザが見ることになる像（Image）は常に正立虚像であり、被写体（図３のディスプレイパネル１の２６０参照）までの距離Ｌだけ鏡の背面方向に離隔して結んだ虚像である。
【００７４】
したがって、光源であるディスプレイパネル１の２６０からディスプレイされたオブジェクト映像は、ユーザの視線と垂直して半透明ミラー２３０からＬだけ離隔されているが、ユーザはユーザの視線方向で鏡からＬだけ離隔されていると認知する。これは潜望鏡の原理と同様である。
【００７５】
しかし、上述したように、本発明の立体映像ディスプレイシステムから生成される立体映像は、オブジェクト映像２９０のみで構成されるものではない。オブジェクト映像と異なる深さ（遠近距離）を有する背景映像２００Ｒが存在すれば、ユーザは立体映像として認知することになる。
【００７６】
したがって、集積映像システム部は、重畳除去背景映像２００Ｒをディスプレイパネル２を通してディスプレイする。ディスプレイパネル２の２１１は、ディスプレイパネル１の２６０と同じくＬＣＤ、ＰＤＰなどのような平面ディスプレイ装置であることができ、プロジェクション（Projection）ディスプレイ装置であることもできる。
【００７７】
ディスプレイパネル２の２１１は重畳除去背景映像２００Ｒの光源であって、重畳除去背景映像２００Ｒを出力し、重畳除去背景映像２００Ｒを構成する光は２次元のレンズアレイ２１２を通過する。
【００７８】
レンズアレイ２１２を通過した光はレンズアレイ２１２を構成する各々の小型レンズ（Lenslet）を通過しながらレンズアレイ２１２からＺ２２５２だけ離隔して像を結ぶ。重畳除去背景映像２００Ｒは、例えば、宇宙からながめた地球が立体的に見える３Ｄ集積映像である。
【００７９】
ただ、重畳除去背景映像２００Ｒはオブジェクト映像２９０とは異なる深さを有する位置に像を結ばなければならないので、重畳除去背景映像２００Ｒの位置はオブジェクト映像２９０からＺ１２５０−Ｚ２２５２だけ離隔されることになる。すなわち、重畳除去背景映像２００Ｒはユーザの視線で見ると、オブジェクト映像２９０の後に存在するように認識される。
【００８０】
図３には説明の便宜のため、重畳除去背景映像２００Ｒがレンズアレイ２１２からＺ２だけ離隔した位置に実像を結ぶことに示されているが、レンズアレイに含まれているレンズの曲率半径またはディスプレイパネル２の２１１の位置に応じて虚像として像を結ぶことも可能である。すなわち、レンズアレイ２１２の種類など、予め設定された光学条件に応じて重畳除去背景映像２００Ｒが虚像として結ぶことは本発明の技術分野で通常の知識を有する者にとっては自明なことである。
【００８１】
従来技術によれば、ユーザの視線には、オブジェクト映像２９０と背景映像２００とが重畳されて見える重畳領域（occlusion region）が存在して、オブジェクト映像の色が異なって見えるという問題が生ずる。したがって、図２を参照して説明したように、本発明のディスプレイパネル２の２１１には、背景映像２００からオブジェクト映像２９０に該当する領域が除去された重畳除去背景映像２００Ｒが出力される。
【００８２】
ここで、重畳除去背景映像２００Ｒは、ユーザの視線から重畳領域が発生することを防止するために、オブジェクト映像２９０の重畳される部分を入力パネル２１０が得た映像を意味する。ディスプレイパネル２の２１１は、入力パネル２１０に繋がっているか、入力パネル２１０を備えていて、入力パネルがピックアップした重畳除去背景映像２００Ｒを出力することができる。
【００８３】
したがって、上述した本発明の立体映像システムによれば、ユーザは半透明ミラーを基準として鏡の後面からＬ距離だけ離れた位置に宇宙船が存在し、宇宙船からＺ１−Ｚ２距離だけ離れた位置に地球が存在すると認知する。すなわち、ユーザは宇宙からながめた地球２００Ｒと宇宙船２９０とを立体的に認識することになる。
【００８４】
図４は、フローティングディスプレイ方式の原理を説明するための図面である。フローティングディスプレイ方式は、前述した図１から図３のオブジェクト映像をディスプレイするために用いられる。
【００８５】
図４を参照すると、フローティングディスプレイ装置は、映像表示のためのディスプレイパネル４００と凸レンズ４０２とを含む。ここで、焦点距離を減らすために、凸レンズ４０２を二つ以上組み合わせて使用してもよい。また、フローティングディスプレイ装置は、凸レンズ４０２の代わりに凹面鏡を用いて構成されることもできる。凸レンズはフレネルレンズ（Fresnel Lens）であってもよい。
【００８６】
ディスプレイパネル４００に表示される映像は、ディスプレイパネル４００の解像度と同様に表示できる。したがって、高解像度のオブジェクト映像をディスプレイパネル４００に表示すると、凸レンズ４０２を介して空間上にオブジェクト映像４０４がディスプレイされる。ここで、ディスプレイパネル４００と凸レンズ４０２との間の距離をｈ４２０、凸レンズ４０２の焦点距離をｆ１とすれば、凸レンズ４０２からオブジェクト映像４０４が表示される位置Ｈ４２２は、レンズ公式の一般式（１）で表される。
Ｈ＝ｈ・ｆ１／（ｈ−ｆ１） ・・・（１）
【００８７】
オブジェクト映像４０４は、一般式（１）により計算されたＨ４２２の位置に表示されることになる。このような技術が、映像を空間に実像として結ぶようにするフローティングディスプレイ（Floating Display）技術である。
【００８８】
図５は、本発明の実施例に係るフローティングディスプレイシステムを説明するための図面である。図５を参照すると、フローティングディスプレイシステムはオブジェクト映像をディスプレイするために用いられる。フローティングディスプレイシステム部はディスプレイパネル５００と凸レンズ５０２とを備えることができる。
【００８９】
焦点距離を減らすために、凸レンズ５０２を二つ以上組み合わせて使用してもよい。また、他の実施例によれば、凸レンズ５０２の代わりに凹面鏡を用いてオブジェクト映像をフローティングすることもできる。
【００９０】
ディスプレイパネル５００には表現しようとするオブジェクトの宇宙船がディスプレイされる。このオブジェクトは一般的な２Ｄ映像であり、ディスプレイパネル５００の解像度と同様に表示可能である。したがって、高解像度のオブジェクト映像をディスプレイパネル５００に表示すると、凸レンズ５０２を通して空間上にオブジェクト映像の宇宙船５０４がディスプレイされる。
【００９１】
すなわち、ディスプレイパネル５００に表示された２Ｄ映像の宇宙船は凸レンズ５０２を通して凸レンズ５０２からＨ５４２距離だけ離れた距離に実際のオブジェクト映像の宇宙船５０４としてディスプレイされる。
【００９２】
ここで、実際映像を結ぶ位置Ｈは、レンズ公式により算出できる。ディスプレイパネル５００と凸レンズ５０２との間の距離をｈ５４０、凸レンズの焦点距離をｆ１とすると、オブジェクト映像５０４が表示される位置Ｈ５４２はレンズ公式の一般式（１）の通りである。
【００９３】
図６は、本発明の他の実施例に係る立体映像ディスプレイシステムを示す構成図である。図６に示すように、オブジェクト映像をフローティングレンズ６０２を用いて像を結ぶディスプレイシステムであることが分かる。
【００９４】
すなわち、図６に示されている立体映像システムは２種類のシステム部に大別される。一つはフローティングディスプレイシステム部であり、他の一つは集積映像ディスプレイシステム部である。フローティングディスプレイシステム部はオブジェクト映像ディスプレイシステム部に該当する。
【００９５】
ここで、二つのシステム部には、半透明ミラー６３０を通してオブジェクト映像と重畳除去背景映像とが同一視野角内で重なるようにオブジェクト映像を近距離に、背景映像を遠距離に配置されることができる。
【００９６】
このために、半透明ミラー６３０はフローティングディスプレイシステム部にディスプレイされたオブジェクト映像６２０、または集積映像ディスプレイシステム部にディスプレイされた重畳除去背景映像６１４Ｒのうちのいずれか一つは透過させ、残りの一つは反射させる機能をする。図６では半透明ミラー６３０がオブジェクト映像６２０を反射させ、重畳除去背景映像６１４Ｒを透過させるように配置されており、ユーザが右側から観測することに示されているが、半透明ミラー６３０の特性上、ユーザが下方から観測することも可能である。ただ、以下では説明の便宜のため、ユーザが半透明ミラー６３０の右側から観測する場合を中心にして説明する。また、図６では、オブジェクト映像６２０が反射され、重畳除去背景映像６１４Ｒが透過されて右側ユーザの視野角に進入される構成を中心にして説明する。
【００９７】
フローティングディスプレイシステム部は、ディスプレイパネル１の６００と凸レンズ６０２とを備えることができる。ディスプレイパネル１の６００には表現しようとするオブジェクト映像が３Ｄ映像でディスプレイされる。ディスプレイパネル１の６００に表示された３Ｄ映像は、凸レンズ６０２を通して半透明ミラー６３０の近くで実際のオブジェクト映像６２０としてディスプレイされる。これは図４及び図５での説明と同様であるので、その説明を省略する。
【００９８】
集積映像ディスプレイシステム部は、ディスプレイパネル２の６１０とレンズアレイ６１２とを備えることができる。ディスプレイパネル２の６１０には表現しようとする背景映像（地球）が重畳除去背景映像（宇宙船が除去された地球）としてディスプレイされる。ディスプレイパネル２の６１０から出力された背景要素映像は、レンズアレイ６１２を通して半透明ミラー６３０の近くで重畳除去背景映像６１４Ｒとしてディスプレイされる。また、図６では説明の便宜のため、重畳除去背景映像６１４Ｒがレンズアレイ６１２からＺ２だけ離隔された位置に実像として像を結ぶことに示されているが、レンズアレイに含まれたレンズの曲率半径やディスプレイパネル２の６１０の位置に応じて虚像として像を結ぶこともできる。これは図２及び図３での説明と同様である。
【００９９】
本発明の実施例によりディスプレイされる３Ｄ立体映像は、既存フローティングディスプレイシステムとは異なる特徴を有する。すなわち、本発明の実施例によりディスプレイされる３Ｄ立体映像は、３Ｄ映像が二つの大きい領域に分けられてディスプレイされる。一つはフローティングディスプレイ方式で表示されるオブジェクト映像６２０であり、他の一つはこのオブジェクト映像の後に位置し、集積映像ディスプレイ方式で表示される集積映像背景６１４Ｒである。
【０１００】
ここで、オブジェクト映像６２０は観測者の関心を引く映像であって高解像度の映像を要するため、フローティングディスプレイ方式を用いて表示することができる。一方、集積映像背景６１４Ｒは、立体感を与えることができる背景映像を提供するために、集積映像ディスプレイ方式を用いて表示することができる。
【０１０１】
本発明は、集積映像ディスプレイ技術で表示される集積映像背景６１４Ｒを用いて多視点映像を提供し、オブジェクト映像のマスクを結合した重畳除去背景映像６１４Ｒを用いて深さのある立体感を表現することができる。
【０１０２】
また、集積映像ディスプレイ方式の短所である低解像度を克服するために、オブジェクト映像をフローティングディスプレイ技術で表示するオブジェクト映像６２０を用いることにより、高解像度のオブジェクト映像６２０を得ることができる。
【０１０３】
また、本発明の立体映像ディスプレイシステムは、３Ｄ立体映像がディスプレイされる位置を特定できる。すなわち、フローティングディスプレイシステム部では、一般式（１）のレンズ公式を用いてオブジェクト映像が距離Ｚ１６５０に位置するようにすることができ、ディスプレイされたオブジェクト映像を反射させる半透明ミラー６３０を使用することができる。集積映像ディスプレイシステム部では、集積映像背景が距離Ｚ２６５２に位置するようにすることができる。
【０１０４】
以上では、本発明の実施例に係る集積映像ディスプレイ方式を用いた背景映像を有する立体映像ディスプレイシステムの構成について説明した。以下では、本発明の実施例に係る集積映像ディスプレイ方式を用いた背景映像を有する立体映像ディスプレイシステムが適用された実験について、実験条件及び実験データを具体的に説明する。
【０１０５】
図７は、本発明の実施例に係る集積映像背景を有するフローティングディスプレイ方法の実験構成図である。
フローティングディスプレイシステム部は上側に、集積映像ディスプレイシステム部は下側に示されている。この二つのシステムから表示される映像を結合して観測者が見ることができるように、二つのシステムの間に半透明ミラー６３０が位置している。
【０１０６】
フローティングディスプレイシステム部では、オブジェクト映像がディスプレイパネル１の６００に表示される。ディスプレイパネル１の６００はプロジェクタと拡散スクリーンであることができる。本実施例で用いたプロジェクタと拡散スクリーンは、基礎実験のために使用されたものに過ぎなく、このデバイスは使用用途や各特性に応じて他のディスプレイ装置のＬＣＤ（liquid crystal display）、ＰＤＰ(plasma display panel)、その他の映像ディスプレイ装置で代替できることは上述した通りである。
【０１０７】
凸レンズ６０２としては低い焦点を容易に具現できるフレネルレンズを用いた。凸レンズ６０２は拡散スクリーンから６８０ｍｍ距離に位置している。すなわち、ディスプレイパネル１の６００と凸レンズ６０２との間の距離ｈ６４０は６８０ｍｍとなる。一般式（１）の条件により、オブジェクト映像（宇宙船）６２０のイメージは凸レンズ６０２から２５４ｍｍ離れて表示される。すなわち、オブジェクト映像６２０が表示される位置Ｈ６４２は２５４ｍｍになる。
【０１０８】
一方、集積映像ディスプレイシステム部では、要素映像がディスプレイパネル２の６１０に表示される。ディスプレイパネル２の６１０は、プロジェクタと拡散スクリーンであることができる。レンズアレイ６１２はディスプレイパネル２の６１０の前に位置している。
【０１０９】
実験に使用したレンズアレイ６１２は総５３×５３の小型レンズから構成されており、小型レンズの焦点距離は３ｍｍである。
【０１１０】
ディスプレイパネル２の６１０とレンズアレイ６１２との間の距離を小型レンズの焦点距離と同じく位置させると、重畳除去背景映像として再生される地球の背景映像６１４Ｒは約６ｍｍ距離（Ｚ２６５２）に再生される。
【０１１１】
図８は、本発明の実施例に係る集積映像背景を有する立体映像ディスプレイ方法の実験に使用されたオブジェクト映像図及び背景映像図である。
本発明の有用性を証明する実験を行うために、オブジェクト映像と重畳除去背景映像とを製作する。図８に示すように、実験でのオブジェクト映像６２０は「宇宙船」の映像であり、背景映像６１３は「地球」の映像である。オブジェクト映像は、変形なしにそのままディスプレイパネル１の６００にディスプレイされる。背景映像６１３はディスプレイパネル２の６１０に表示される前に重畳除去背景映像６１４Ｒとして変形されることになる。重畳除去背景映像６１４Ｒの製作過程については図２で詳述したので、その説明を省略する。
【０１１２】
図９は、本発明の実施例に係る集積映像ディスプレイシステム部で用いられる重畳除去背景映像の製作図である。ディスプレイパネル２の６１０から出射される重畳除去背景映像の製作方法は図２で詳述し、重畳除去背景映像がレンズアレイ６１２、または２１２を通して立体感を持つ映像としてユーザに認知されることも前述した通りである。
【０１１３】
図９を参照すると、集積映像ディスプレイシステム部で用いられる重畳除去背景映像の製作例が分かる。
まず、図９に示されている三つの映像は全てレンズアレイ６１２、または２１２を通して入力手段２１０に入力及び格納された映像である。すなわち、レンズアレイを通した多視点集積映像であって、立体感を有する「要素映像」である。
【０１１４】
このような要素映像のうち、背景要素映像とは図１及び図２で説明したように、被写体を、レンズアレイを通過して配置させ、これをコンピューターピックアップ方式で再現した背景映像である。したがって、本発明の実施例によれば背景要素映像は５２×５２の要素から構成された背景要素映像になる。
【０１１５】
背景要素映像８００と、オブジェクト映像のオブジェクトを黒色処理したオブジェクト映像のマスク映像（シルエット）の要素映像８０２とを製作する。以後、背景要素映像８００とオブジェクト映像のマスク映像（シルエット）の要素映像８０２とを結合して重畳除去背景映像９００Ｒを得ることができる。図９に示すように、重畳除去背景映像９００Ｒもレンズアレイ６１２、または２１２を通してピックアップ及び再生された映像であるので「要素映像」に該当する。
【０１１６】
これは、図１及び図２で説明したように、オブジェクト映像の要素映像８０２を背景要素映像８００から除去して重畳領域を除去するためである。
【０１１７】
したがって、図３及び図６で説明した重畳除去背景映像２００Ｒ，６１４Ｒは集積映像システム部における「要素映像」であって、図９に示された識別番号９００Ｒ映像と同じである。
【０１１８】
図１０は、本発明の実施例に係る立体映像ディスプレイ方法による立体映像を示す図面である。
ここでは、図７の実験条件によりディスプレイパネル１の６００から出射されたオブジェクト映像６２０とディスプレイパネル２の６１０から出射された重畳除去背景映像６１４Ｒとを用いて本発明の実施例に係る集積映像背景を有するフローティングディスプレイ方法の実験を行った。
【０１１９】
図１０を参照すると、実際３Ｄ映像ディスプレイの実験結果を示す映像を見ることができる。図１０の各々の映像は、オブジェクト映像のみディスプレイされた映像６２０、重畳除去背景映像のみディスプレイされた映像６１４Ｒ、及び重畳除去背景映像６１４Ｒと共にディスプレイされた映像９０４を示している。
【０１２０】
具体的に、図６及び図７の実験構成図から各々２種類の映像を表示して得られた実験結果を示すものである。オブジェクト映像のみディスプレイされた映像６２０は、フローティングディスプレイシステム部から再生される映像である。実験ではＸＧＡ級のプロジェクタを用い、宇宙船の解像度は約６００×４００ピクセル程度であった。重畳除去背景映像のみディスプレイされた映像６１４Ｒは、集積映像ディスプレイシステム部から再生される映像である。この時、再生される集積映像背景６１４Ｒは、レンズアレイ６１２の数と一致する５０×５０個程度の（円形）点で表現される。
【０１２１】
オブジェクト映像６２０及び重畳除去背景映像６１４Ｒが共にディスプレイされた映像９０４は、フローティングディスプレイシステム部から再生される映像と、集積映像ディスプレイシステム部から再生される映像とが半透明ミラー６３０を通して合わせられた時の映像である。図１０の実験結果から分かるように、互いに異なる二つのシステム部の映像を組み合わせると、立体感のある３Ｄ映像が製作できる。また、実験結果より、フローティングディスプレイ方式でディスプレイされる映像、すなわちオブジェクト映像のみディスプレイされた映像６２０の解像度が、集積映像システムから再生される背景映像、すなわち重畳除去背景映像のみディスプレイされた映像６１４Ｒに比べて、極めて高い解像度を有することが分かる。
【０１２２】
図１１は、本発明の実施例に係る集積映像背景を有するフローティングディスプレイを多様な角度から観測した３Ｄ映像図面であって、再生された結果を多様な角度から観測した映像を示している。すなわち、上側から見た立体映像１０００、左側から見た立体映像１００２、右側から見た立体映像１００４、中央から見た立体映像１００６、下側から見た立体映像１００８が示されている。
【０１２３】
具体的に、中央から見た立体映像１００６を基準にして、上側から見た立体映像１０００と下側から見た立体映像１００８との宇宙船の頭部を比べると、上側から見た立体映像１０００の頭部の方が、より広く表示されることが分かる。
【０１２４】
中央から見た立体映像１００６を基準にして、左側から見た立体映像１００２と右側から見た立体映像１００４との地球背景の左側部分を比べると、左側から見た立体映像１００２の方が、より広い面積を占めていることが分かる。
【０１２５】
このように図１１を参照すると、多様な角度から観測した３Ｄ立体映像の背景映像が立体感を有することが確認できる。
【０１２６】
以上、背景映像として集積映像技法を用いた方法の実験について詳述したが、以下では背景映像をレンズアレイによる「要素映像」ではなく、他の３次元映像再生方法によりディスプレイする場合について説明する。
【０１２７】
図１２から図１４は、立体鏡学（stereoscopy）方式を適用して背景映像をディスプレイする方法に関する図面である。
立体鏡学方式は仮想３Ｄディスプレイ方式であって、人間が立体感を感じる様々な要因中の一つである両眼視差（binocular disparity）を用いて平面ディスプレイから仮想的に立体感を感じさせる方法である。
【０１２８】
通常、人間の目は左右６５ｍｍほど離れているため、各々の目に視差情報を有する左右映像が視神経を通して各々反対側の脳に入ると、以後、視覚領（視覚的な情報を処理する後頭部の大脳皮質領域）で二つの映像が一つに合し、空間感を感じることができるようになる。
【０１２９】
すなわち、人間は両眼視差のため、同じ物体を見ていても左右の空間的情報を少しずつ分けて持っている異なる画像を見ることになり、この二つの画像が網膜を通して脳に伝達されると、人間の脳はこの二つの画像を融合して立体感を感じることができる。立体鏡学方式は、このような原理を用いて２Ｄディスプレイ装置に視差が異なる左右映像二つを同時に映して各々の目に送る設計を通して仮想的に立体を作り出すことである。
【０１３０】
このような立体鏡学方式は、眼鏡の着用有無による眼鏡方式と無眼鏡方式に分けられ、どれくらい多様な角度の立体を表現できるのかによる両眼方式と、この拡張概念であるマルチビュー方式とに区分できる。
【０１３１】
眼鏡方式には、色差方式、偏光方式、時分割方式、ＨＭＤ(Head mount display)などがある。
色差方式は、補色関係の赤色と青色で左右画像を描き、色フィルタで左右の像を選択・分離して両眼にそれぞれ赤色と青色の色眼鏡をかけて見る方法である。
偏光方式は、直線偏光の振動方向が異なる性質、あるいは円偏光の回転方向が異なる性質をそれぞれ用いて両眼に偏光方向が異なる偏光眼鏡をかけて見る方法である。
時分割方式は、左右画像を両眼に周期的に反復させ、この周期に同期させた電子シャッタが設置された眼鏡をかけることにより立体感を得る方式である。
ＨＭＤ方式は、頭にディスプレイ装置を被って、目の直前に画面をディスプレイすることで立体感を得る方式である。
【０１３２】
ここで、前述した各々の方式を適用して、背景映像を有するフローティングディスプレイシステムを構成することができる。但し、偏光を用いる方法は、偏光方向の特性がフローティング映像ディスプレイにも影響を及ぼすので、使用に制約があることもあり得るし、ＨＭＤ方式も頭に装置を着用して視野を制限するため、フローティング映像を遮るという制約があるので、前述した各々の方式中、時分割方式を用いてシステムを構成することが好ましい。しかし、これは背景映像をディスプレイする方式を限定するものではなく、前述した各々の方式を適用しても背景映像をディスプレイすることができることは明らかである。
【０１３３】
一方、眼鏡を着用しない代表的な無眼鏡方式としては、パララックスバリア方式、レンチキュラー方式などがある。無眼鏡方式は、眼鏡のような道具を用いずに、ディスプレイ装置の構造と、レンズの屈折などを用いて特定視点内でそれぞれの左右両眼に映像を分離させる方法である。
【０１３４】
以下、各々の細部的な方法で背景映像をディスプレイする多様な実施例を説明する。
図１２は、本発明の他の実施例に係る時分割方式を用いて背景映像をディスプレイする方法に関する図面である。
【０１３５】
時分割方式とは、一つの画面で左右チャンネルのイメージが速い速度で交互に表示される画面を、シャッタ眼鏡などを用いて、迅速に遮断と開閉を繰り返して、片目に一方向のイメージだけが入るようにする方式である。
【０１３６】
図１２によれば、ディスプレイパネル２の６１０に、各々の視差の異なる映像が交互に速くディスプレイされる。実験では、左側映像１１００を緑色映像で構成し、右側映像１１０２を青色映像で構成した。観察者が着用したシャッタ眼鏡は、各々の目に合う映像を受け入れるために電子的に作動し、各々交互に目を遮ることになる。このような作動が６０回以上迅速に行われ、観察者は二つの画像が同時に一つの画面から出力されると感じることになり、この二つの画像は観察者の脳の中で合わせられて立体感を感じることができるようになる。
【０１３７】
すなわち、図１２で観察者の右眼１１０４には青色映像が映り、左眼１１０６には緑色映像が映ることになる。
時分割方式は、偏光方式に比べ、視野角が自由になり、単に同じ画面から左右チャンネルだけが交互に出力されることであるので、上下左右の全方向の視野角には全く損失がない。したがって、観察者は自由な姿勢で仮想立体画面を見ることができる。
【０１３８】
図１３は、本発明のまた他の実施例に係るパララックスバリア方式を用いて背景映像をディスプレイする方法に関する図面である。
パララックスバリア方式とは、光学的技術を用いることではなく、単純に視野を遮断する程度の構造でイメージを区分する方式である。
【０１３９】
パララックスバリア方式は、パララックスバリア１２００と呼ばれる細いスリット状の開口部の後方に一定の間隔をおき、左右両眼分の画像を交互配置して、特定視点からこの開口部を通して見た時、正確に両側画像を分離して見ることができる方式である。すなわち、偏光方式のような光学的技術を用いることではなく、単純に左右チャンネルを壁で塞いで区分させるものである。
【０１４０】
図１３によれば、ディスプレイパネル２の６１０には左側映像１１００と右側映像１１０２とが交互に配列されている。実験では、左側映像１１００を緑色映像で構成し、右側映像１１０２を青色映像で構成した。ディスプレイパネル２の６１０の前に細いスリットアレイのパララックスバリア１２００が位置すると、特定距離の観察者には二つの映像が分離されて両眼に入ってくることになる。すなわち、図１３で観察者の右眼１１０４には青色映像が映り、左眼１１０６には緑色映像が映ることになる。
【０１４１】
図１４は、本発明のまた他の実施例に係るレンチキュラー方式を用いて背景映像をディスプレイする方法に関する図面である。
レンチキュラー方式とは、縦に配列されたスクリーン上にレンチキュラーレンズアレイ１３００を通して左右画像を屈折させて観察者の両眼にそれぞれの画像を送る方法である。図１４によれば、ディスプレイパネル２の６１０は、レンチキュラーレンズ一つに、両眼に入る左側映像１１００と右側映像１１０２とがアレイされるように構成される。実験では、左側映像１１００を緑色映像で構成し、右側映像１１０２を青色映像で構成した。ディスプレイパネル２の６１０の前にレンチキュラーレンズアレイ１３００を位置させると、左側映像１１００と右側映像１１０２とが分離され左眼１１０６と右眼１１０４にそれぞれ入力されることになる。すなわち、図１４で、観察者の右眼１１０４には青色映像が映り、左眼１１０６には緑色映像が映ることになる。
【０１４２】
この時、人間の脳は既存の仮想３Ｄディスプレイ方法から感じたような立体感を感じることになる。
【０１４３】
レンチキュラー方式は、パララックスバリア方式に比べて、明るさの低下が少なく、２Ｄ画面上でのバリアのように目に障る構造物がないという長所がある。
図１５は、本発明のまた他の実施例に係るマルチビュー方式を用いて背景映像をディスプレイする方法に関する図面である。
【０１４４】
マルチビュー方式は、上述した両眼方式の視点を拡張する概念である。既存の立体鏡学方式は両眼に入力される二つの映像を認知して生じる１視点の映像を受け入れて立体感を感じる方式であった。しかし、マルチビューはその視点の個数を増加させ、同一視野角内で二つ以上の視点を作り出す方法である。
【０１４５】
図１５を参照すると、ディスプレイパネル２の６１０にはそれぞれの左右映像の対が五つの単位（最左側映像、左側映像、中間映像、右側映像、最右側映像）で配列されていることが分かる。これは既存のバリア方式やレンチキュラー方式と類似の構造であるが、連続する映像が２色配列ではなく、５色配列に区分される。
【０１４６】
ここでは、説明の便宜のために５視点配列で構成したが、５視点配列に限定されず、複数の視点を用いてマルチビュー方式を採用できることは明らかである。このように作られた映像がディスプレイパネル２の６１０の前に位置しているバリア１４００を通過して映像を作り出すことになり、この時、視野角を変化させながら映像を観察すると、最左側映像から最右側映像まで五つの視点が順次目に入ることになる。このようにして多視点を有するディスプレイを具現することができる。
【０１４７】
視点の個数を増やすために、ディスプレイパネル２の６１０の前に設置するバリア１４００を垂直に構成せず、４５°あるいは特性に合わせて傾くようにして視点を増やすこともできる。
【０１４８】
図１６は、本発明のまた他の実施例に係るホログラフィ方式を用いて背景映像をディスプレイする方法に関する図面である。
ホログラフィ方式は、レーザーから出た光線を二つに分けて、一つの光は直接スクリーンを照らすようにし、他の一つの光は、見ようとする物体を照らすようにする方式である。ここで、直接スクリーンを照らす光を基準光（reference beam・参照光）といい、物体を照らす光を物体光（object beam）という。
【０１４９】
物体光は、物体の各表面から反射されて出る光であるため、物体表面に応じて位相差（物体表面からスクリーンまでの距離）が各々異なって表れる。そして、変形されない基準光が物体光と干渉を起こし、この時の干渉縞がスクリーンに格納される。このような干渉縞が格納されたフィルムをホログラムという。
【０１５０】
格納された映像を再現しようとする場合、記録時に用いられた光線を再びスクリーンに照射しなくてはならない。再生の際に用いられる光線は、記録時と同じ振動数を有する波動だけが３次元で再現され、波長と位相が異なる波は全く効果なく、格納されたホログラムを通過させてしまうので、記録時に用いられた基準光と必ず正確に一致しなくてはならない。
【０１５１】
このように、ホログラムが既存の写真と異なる点は、格納時と再生時に同じ光線を利用しなくてはならないということと、３次元映像が再現されるということである。
ホログラムは、物体光の強度だけを格納する２次元写真とは異なって、その光の方向まで記録するので、３次元映像を見ることができる。
【０１５２】
ここでは、実験の容易性のために、実際のホログラムパターンをスクリーンに格納することではなく、ＣＧＨ（Computer generated hologram）を用いてパターンを生成し、ここに平行光を用いて空間光変調器によりホログラムパターンの回折を起こして実際の空間に３次元映像を表示する。
【０１５３】
図１６は、背景映像をディスプレイするためのホログラムディスプレイ装置の構成図である。図１６を参考すると、レーザー１５００から出た光は光整列器（collimating）１（シルエット）及び光拡大器（expander）１５０４を経て平行行光となる。そして、この光は偏光光分割器（polarized beam splitter、PBS）１５０６を通して空間光変調器（SLM:Spatial Light Modulator）１５０８に入射される。ここで、空間光変調器としては反射型空間光変調器または透過型空間光変調器を使用できる。空間光変調器１５０８には、生成されたホログラムパターンが入力されており、ここから回折され出た光は、フィールドレンズを通して実像の３次元ホログラム映像として観察できるようになる。
【０１５４】
図１２から図１６までは、背景映像を有するフローティングディスプレイシステムの背景映像の部分をディスプレイする方法について説明した。上述したディスプレイ方法以外にも３次元映像を再生できる方式であれば、何れも前記背景映像のディスプレイに適用できることは本発明の通常の知識を有する者にとって明らかなことである。以下では、既存のフレネルレンズを用いるフローティングシステムの代替具現方法についてを説明する。
図１７は、本発明のまた他の実施例に係るフローティングディスプレイ方法に関する図面である。
【０１５５】
前記では、フローティングディスプレイシステムでディスプレイパネル１の６００から出力された２次元平面映像がスクリーンに映り、この映像は凸レンズを通過してレンズ公式により半透明ミラーの近くにあるオブジェクト映像のマスク映像と同じ位置にディスプレイされる方式について詳述した。
【０１５６】
以下では、図１７に基づいて、フローティングディスプレイシステム部の凸レンズの代わりに球形の凹面鏡を設けたシステムについて説明する。
フローティングディスプレイシステム部が、凸レンズまたは同じ特性を有する凹面鏡１６００で具現されることができるということは前述した通りである。凹面鏡１６００を用いる理由は、凸レンズを用いることにより発生する問題点を効果的に克服することができるからである。
【０１５７】
凹面鏡１６００は、ディスプレイパネル１の６００に映られた映像を透過させなく、反射する特性があり、凹んだ屈曲を通して凸レンズと同じ効果を出すので、凸レンズを用いることにより発生し得る明るさの低下、歪み、収差などの問題を改善することができる。
具体的に、図１７に示すように、２次元のオブジェクト映像がディスプレイパネル１の６００から出力され、新しく追加された半透過鏡１６０２から反射され、凹面鏡１６００に入射される。入射された映像は凹面鏡１６００の屈曲面の特性（すなわち、凸レンズを透過した特性）を有することになり、凹面鏡１６００から反射された映像情報は、入射された方向の反対方向に映像を出力させる。最終的には、凸レンズを通過してレンズ公式により生成される映像の距離と同じく、半透明ミラー１６０２を通過して凹面鏡１６００との距離によって定められた焦点距離の実際領域にオブジェクト映像６２０がディスプレイされることになる。
【０１５８】
上述した全ての実施例は、光学装置を通過した面、すなわち実際領域（real field）に映像を生成させる方法といて具現された。しかし、集積映像ディスプレイ方法及びフローティングディスプレイ方法、そして、言及した全ての３次元ディスプレイ方法は、光学的構成を異なるようにするか、ソフトウェア的な映像のピックアップ方法などを異なるようにして、実際の空間領域ではなく、反対領域である虚像領域（virtual field）にも映像を生成することができる。また、虚像領域を用いることにより、さらに広い領域の深さを表現することや、視野角の変形などのように使用用途に応じて新しい分野への適用が可能である。
【０１５９】
以上では、本発明の実施例を参照して説明したが、当該技術分野で通常の知識を有する者であれば、特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更させることができることを理解できよう。
【図面の簡単な説明】
【０１６０】
【図１】集積映像ディスプレイ方式の概念を説明するための図面である。
【図２】本発明の実施例に係る立体映像ディスプレイシステムで用いられる重畳除去背景映像の製作方法を示す図面である。
【図３】本発明の実施例に係る立体映像ディスプレイシステムの構成を示す図面である。
【図４】フローティングディスプレイ方式の原理を説明するための図面である。
【図５】本発明の実施例に係るフローティングディスプレイシステムを説明するための図面である。
【図６】本発明の他の実施例に係る立体映像ディスプレイシステムを示す構成図である。
【図７】本発明の実施例に係る集積映像背景を有するフローティングディスプレイ方法の実験構成図である。
【図８】本発明の実施例に係る集積映像背景を有する立体映像ディスプレイ方法の実験に使用されたオブジェクト映像図及び背景映像図である。
【図９】本発明の実施例に係る集積映像ディスプレイシステム部で用いられる重畳除去背景映像の製作図である。
【図１０】本発明の実施例に係る立体映像ディスプレイ方法による立体映像を示す図である。
【図１１】本発明の実施例に係る集積映像背景を有するフローティングディスプレイを多様な角度から観測した３Ｄ映像図である。
【図１２】本発明の他の実施例に係る立体鏡学方式の時分割方式を用いて背景映像をディスプレイする方法に関する図面である。
【図１３】本発明のまた他の実施例に係る立体鏡学方式のパララックスバリア方式を用いて背景映像をディスプレイする方法に関する図面である。
【図１４】本発明のまた他の実施例に係る立体鏡学方式のレンチキュラー方式を用いて背景映像をディスプレイする方法に関する図面である。
【図１５】本発明のまた他の実施例に係るマルチビュー方式を用いて背景映像をディスプレイする方法に関する図面である。
【図１６】本発明のまた他の実施例に係るホログラフィ方式を用いて背景映像をディスプレイする方法に関する図面である。
【図１７】本発明のまた他の実施例に係るフローティングディスプレイ方法に関する図面である。
【符号の説明】
【０１６１】
２６０，６００ ディスプレイパネル１
２１１，６１０ ディスプレイパネル２
４０２，５０２，６０２ 凸レンズ
１０６，２１２，６１２，１３００ レンズアレイ
２９０，４０４，５０４，６２０ オブジェクト映像
２３０，６３０ 半透明ミラー
【特許請求の範囲】
【請求項１】
立体映像ディスプレイシステムで立体映像をディスプレイする方法であって、
オブジェクト映像をディスプレイするステップと、
３次元映像再生方式を用いて背景映像をディスプレイするステップと、
前記オブジェクト映像及び前記背景映像が同一視野角内で重なるように前記オブジェクト映像を近距離に、前記背景映像を遠距離に配置するステップと、
を含む立体映像ディスプレイ方法。
【請求項２】
前記配置するステップにおいて、
前記オブジェクト映像または前記背景映像のうちの一映像は透過させ、他の映像は反射させる半透明ミラー（Half Mirror）を用いて、
前記オブジェクト映像または前記背景映像のうちの一映像は実像として、他の映像は虚像として結ぶようにする請求項１記載の立体映像ディスプレイ方法。
【請求項３】
前記オブジェクト映像は、前記半透明ミラーから反射されて前記半透明ミラーの背面方向に虚像として結ぶことを特徴とする請求項２記載の立体映像ディスプレイ方法。
【請求項４】
前記背景映像をディスプレイするステップは、
前記背景映像をレンズアレイ（Lens Array）に投影して要素映像としてディスプレイするステップを含むことを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項５】
前記背景映像をディスプレイするステップは、
前記オブジェクト映像に対応するマスク（Mask）映像を生成するステップと、
前記背景映像と前記マスク映像とを結合するステップと、
前記結合された映像をレンズアレイに投影して要素映像としてディスプレイするステップと、
を含む請求項１記載の立体映像ディスプレイ方法。
【請求項６】
前記マスク映像は、オブジェクト映像を黒色で処理した映像であることを特徴とする請求項５記載の立体映像ディスプレイ方法。
【請求項７】
前記背景映像をディスプレイするステップは、
前記背景映像が補色関係の左右画像で出力されるステップと、
色眼鏡や色フィルタの使用により前記補色関係の左右画像が分離されるステップと、を含む色差方式を用いることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項８】
前記補色関係の左右画像は、赤色と青色との補色関係にあることを特徴とする請求項７記載の立体映像ディスプレイ方法。
【請求項９】
前記背景映像をディスプレイするステップは、
偏光方向が異なる偏光眼鏡を使用して前記背景映像の左右画像を分離する偏光方式を用いることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１０】
前記偏光眼鏡は、直線偏光の振動方向の差または円偏光の回転方向の差を用いることを特徴とする請求項９記載の立体映像ディスプレイ方法。
【請求項１１】
前記背景映像をディスプレイするステップは、
前記背景映像が視差を有する左右画像で周期的に反復出力されるステップと、
前記反復周期に同期された電子シャッタを通して左右画像が分離されるステップと、を含む時分割方式を用いることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１２】
前記背景映像をディスプレイするステップは、
頭にディスプレイ装置を被って、目の直前に画面を表示して立体感を得るＨＭＤ（Head mount display）方式を用いることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１３】
前記背景映像をディスプレイするステップは、
前記背景映像のディスプレイパネルに左右画像が交互に配置され出力されるステップと、
前記ディスプレイパネルから一定距離にあるバリアを通過して左右画像が分離されるステップと、を含むパララックスバリア（parallax barrier）方式を用いることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１４】
前記背景映像をディスプレイするステップは、
前記背景映像のディスプレイパネルに左右画像が交互に配置され出力されるステップと、
前記ディスプレイパネルから一定距離にある半円筒状のレンチキュラー（Lenticular）を通過して左右画像が分離されるステップと、を含むレンチキュラー方式を用いることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１５】
前記背景映像をディスプレイするステップは、
前記背景映像のディスプレイパネルに左右画像が交互に配置され複数の対で出力されるステップと、
前記ディスプレイパネルから一定距離にあるバリアを通過して左右画像が複数の視点に分離されるステップと、を含むマルチビュー（multiview）方式を用いることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１６】
前記オブジェクト映像をディスプレイするステップにおいて、
前記レンズは、凸レンズまたは凹面鏡であることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１７】
前記オブジェクト映像をディスプレイするステップにおいて、
前記レンズは、複数の凸レンズまたは複数の凹面鏡であることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１８】
請求項１から１７の何れか１項に記載の背景映像を有する立体映像ディスプレイ方法が具現できるように、デジタル処理装置で実行できる命令語のプログラムが類型的に具現されており、
前記デジタル処理装置により読み取ることができる立体映像ディスプレイプログラムが記録された記録媒体。
【請求項１９】
立体映像ディスプレイシステムであって、
オブジェクト映像をディスプレイするオブジェクト映像ディスプレイシステム部と、
背景映像を要素映像としてディスプレイする集積映像ディスプレイシステム部と、
前記オブジェクト映像及び前記背景映像が同一視野角内で重なるように前記オブジェクト映像を近距離に、前記背景映像を遠距離に配置する光学手段と、
を含む立体映像ディスプレイシステム。
【請求項２０】
前記集積映像ディスプレイシステム部はレンズアレイを含み、
前記集積映像ディスプレイシステム部は前記要素映像を前記レンズアレイに投影することにより前記背景映像をディスプレイすることを特徴とする請求項１９記載の立体映像ディスプレイシステム。
【請求項２１】
前記オブジェクト映像ディスプレイシステム部は、
前記オブジェクト映像をパネルにディスプレイするディスプレイパネルと、
凸レンズまたは凹面鏡であるフローティングレンズとを含み、
前記ディスプレイパネルにディスプレイされた映像は前記フローティングレンズに投影されてフローティングディスプレイされることを特徴とする請求項１９記載の立体映像ディスプレイシステム。
【請求項２２】
前記フローティングレンズは、複数の凸レンズまたは複数の凹面鏡であることを特徴とする請求項２１記載の立体映像ディスプレイシステム。
【請求項２３】
前記ディスプレイパネルにディスプレイされたオブジェクト映像が
Ｈ＝ｈ・ｆ１／（ｈ−ｆ１）
で算出される位置Ｈに像を結ぶようにするレンズを含み、
ここで、前記ディスプレイパネルと前記レンズとの間の距離がｈ、前記レンズの焦点距離がｆ１、前記レンズからオブジェクト映像が表示される位置がＨであることを特徴とする請求項２１記載の立体映像ディスプレイシステム。
【請求項２４】
前記集積映像ディスプレイシステム部は、
背景映像がディスプレイされるディスプレイパネルと、
前記ディスプレイパネルの前に位置したレンズアレイと、を含み、
前記背景映像は前記レンズアレイに投影されて要素映像としてディスプレイされることを特徴とする請求項１９記載の立体映像ディスプレイシステム。
【請求項２５】
前記光学手段は、
前記オブジェクト映像または前記背景映像のうちの一映像は透過させ、他の映像は反射させる半透明ミラーであることを特徴とする請求項１９記載の立体映像ディスプレイシステム。
【請求項２６】
前記半透明ミラーは前記オブジェクト映像を反射し、
前記オブジェクト映像は前記半透明ミラーの反射面の背面方向に虚像として結ぶことを特徴とする請求項２５に記載の立体映像ディスプレイシステム。
【請求項１】
立体映像ディスプレイシステムで立体映像をディスプレイする方法であって、
オブジェクト映像をディスプレイするステップと、
３次元映像再生方式を用いて背景映像をディスプレイするステップと、
前記オブジェクト映像及び前記背景映像が同一視野角内で重なるように前記オブジェクト映像を近距離に、前記背景映像を遠距離に配置するステップと、
を含む立体映像ディスプレイ方法。
【請求項２】
前記配置するステップにおいて、
前記オブジェクト映像または前記背景映像のうちの一映像は透過させ、他の映像は反射させる半透明ミラー（Half Mirror）を用いて、
前記オブジェクト映像または前記背景映像のうちの一映像は実像として、他の映像は虚像として結ぶようにする請求項１記載の立体映像ディスプレイ方法。
【請求項３】
前記オブジェクト映像は、前記半透明ミラーから反射されて前記半透明ミラーの背面方向に虚像として結ぶことを特徴とする請求項２記載の立体映像ディスプレイ方法。
【請求項４】
前記背景映像をディスプレイするステップは、
前記背景映像をレンズアレイ（Lens Array）に投影して要素映像としてディスプレイするステップを含むことを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項５】
前記背景映像をディスプレイするステップは、
前記オブジェクト映像に対応するマスク（Mask）映像を生成するステップと、
前記背景映像と前記マスク映像とを結合するステップと、
前記結合された映像をレンズアレイに投影して要素映像としてディスプレイするステップと、
を含む請求項１記載の立体映像ディスプレイ方法。
【請求項６】
前記マスク映像は、オブジェクト映像を黒色で処理した映像であることを特徴とする請求項５記載の立体映像ディスプレイ方法。
【請求項７】
前記背景映像をディスプレイするステップは、
前記背景映像が補色関係の左右画像で出力されるステップと、
色眼鏡や色フィルタの使用により前記補色関係の左右画像が分離されるステップと、を含む色差方式を用いることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項８】
前記補色関係の左右画像は、赤色と青色との補色関係にあることを特徴とする請求項７記載の立体映像ディスプレイ方法。
【請求項９】
前記背景映像をディスプレイするステップは、
偏光方向が異なる偏光眼鏡を使用して前記背景映像の左右画像を分離する偏光方式を用いることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１０】
前記偏光眼鏡は、直線偏光の振動方向の差または円偏光の回転方向の差を用いることを特徴とする請求項９記載の立体映像ディスプレイ方法。
【請求項１１】
前記背景映像をディスプレイするステップは、
前記背景映像が視差を有する左右画像で周期的に反復出力されるステップと、
前記反復周期に同期された電子シャッタを通して左右画像が分離されるステップと、を含む時分割方式を用いることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１２】
前記背景映像をディスプレイするステップは、
頭にディスプレイ装置を被って、目の直前に画面を表示して立体感を得るＨＭＤ（Head mount display）方式を用いることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１３】
前記背景映像をディスプレイするステップは、
前記背景映像のディスプレイパネルに左右画像が交互に配置され出力されるステップと、
前記ディスプレイパネルから一定距離にあるバリアを通過して左右画像が分離されるステップと、を含むパララックスバリア（parallax barrier）方式を用いることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１４】
前記背景映像をディスプレイするステップは、
前記背景映像のディスプレイパネルに左右画像が交互に配置され出力されるステップと、
前記ディスプレイパネルから一定距離にある半円筒状のレンチキュラー（Lenticular）を通過して左右画像が分離されるステップと、を含むレンチキュラー方式を用いることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１５】
前記背景映像をディスプレイするステップは、
前記背景映像のディスプレイパネルに左右画像が交互に配置され複数の対で出力されるステップと、
前記ディスプレイパネルから一定距離にあるバリアを通過して左右画像が複数の視点に分離されるステップと、を含むマルチビュー（multiview）方式を用いることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１６】
前記オブジェクト映像をディスプレイするステップにおいて、
前記レンズは、凸レンズまたは凹面鏡であることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１７】
前記オブジェクト映像をディスプレイするステップにおいて、
前記レンズは、複数の凸レンズまたは複数の凹面鏡であることを特徴とする請求項１記載の立体映像ディスプレイ方法。
【請求項１８】
請求項１から１７の何れか１項に記載の背景映像を有する立体映像ディスプレイ方法が具現できるように、デジタル処理装置で実行できる命令語のプログラムが類型的に具現されており、
前記デジタル処理装置により読み取ることができる立体映像ディスプレイプログラムが記録された記録媒体。
【請求項１９】
立体映像ディスプレイシステムであって、
オブジェクト映像をディスプレイするオブジェクト映像ディスプレイシステム部と、
背景映像を要素映像としてディスプレイする集積映像ディスプレイシステム部と、
前記オブジェクト映像及び前記背景映像が同一視野角内で重なるように前記オブジェクト映像を近距離に、前記背景映像を遠距離に配置する光学手段と、
を含む立体映像ディスプレイシステム。
【請求項２０】
前記集積映像ディスプレイシステム部はレンズアレイを含み、
前記集積映像ディスプレイシステム部は前記要素映像を前記レンズアレイに投影することにより前記背景映像をディスプレイすることを特徴とする請求項１９記載の立体映像ディスプレイシステム。
【請求項２１】
前記オブジェクト映像ディスプレイシステム部は、
前記オブジェクト映像をパネルにディスプレイするディスプレイパネルと、
凸レンズまたは凹面鏡であるフローティングレンズとを含み、
前記ディスプレイパネルにディスプレイされた映像は前記フローティングレンズに投影されてフローティングディスプレイされることを特徴とする請求項１９記載の立体映像ディスプレイシステム。
【請求項２２】
前記フローティングレンズは、複数の凸レンズまたは複数の凹面鏡であることを特徴とする請求項２１記載の立体映像ディスプレイシステム。
【請求項２３】
前記ディスプレイパネルにディスプレイされたオブジェクト映像が
Ｈ＝ｈ・ｆ１／（ｈ−ｆ１）
で算出される位置Ｈに像を結ぶようにするレンズを含み、
ここで、前記ディスプレイパネルと前記レンズとの間の距離がｈ、前記レンズの焦点距離がｆ１、前記レンズからオブジェクト映像が表示される位置がＨであることを特徴とする請求項２１記載の立体映像ディスプレイシステム。
【請求項２４】
前記集積映像ディスプレイシステム部は、
背景映像がディスプレイされるディスプレイパネルと、
前記ディスプレイパネルの前に位置したレンズアレイと、を含み、
前記背景映像は前記レンズアレイに投影されて要素映像としてディスプレイされることを特徴とする請求項１９記載の立体映像ディスプレイシステム。
【請求項２５】
前記光学手段は、
前記オブジェクト映像または前記背景映像のうちの一映像は透過させ、他の映像は反射させる半透明ミラーであることを特徴とする請求項１９記載の立体映像ディスプレイシステム。
【請求項２６】
前記半透明ミラーは前記オブジェクト映像を反射し、
前記オブジェクト映像は前記半透明ミラーの反射面の背面方向に虚像として結ぶことを特徴とする請求項２５に記載の立体映像ディスプレイシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００８−２９３０２２（Ｐ２００８−２９３０２２Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００８−１３６０５５（Ｐ２００８−１３６０５５）
【出願日】平成２０年５月２３日（２００８．５．２３）
【出願人】（５０７２０３１５７）コワングウーン ユニバーシティー リサーチ インスティテュート フォー インダストリー コーオペレーション (5)
【出願人】（５０８１５４５７５）
【出願人】（５０８１５５３３２）
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成２０年５月２３日（２００８．５．２３）
【出願人】（５０７２０３１５７）コワングウーン ユニバーシティー リサーチ インスティテュート フォー インダストリー コーオペレーション (5)
【出願人】（５０８１５４５７５）
【出願人】（５０８１５５３３２）
【Ｆターム（参考）】
[ Back to top ]