増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法
【課題】様々な３次元映像ディスプレイ装置を利用してより深く広く高い空間に自然に表現される３次元映像を提示する。
【解決手段】本発明に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームは、少なくとも一つの３次元ディスプレイ装置を有する多数のディスプレイ装置を互いに連関させて制御する入出力制御部と、ディスプレイ装置の空間設定を収集して３次元立体映像を表現するための物理空間を前記ディスプレイ装置別に分割または共有するようディスプレイ装置別３次元表現空間を設定する事前情報管理部と、ユーザー情報と仮想空間に対する３次元コンテンツを利用してリアルタイムコンテンツ情報を生成するリアルタイム情報制御部と、を有し、入出力制御部はディスプレイ装置別に設定された３次元表現空間情報とユーザー情報に基づいてリアルタイムコンテンツ情報をそれぞれのディスプレイ装置に分配する。
【解決手段】本発明に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームは、少なくとも一つの３次元ディスプレイ装置を有する多数のディスプレイ装置を互いに連関させて制御する入出力制御部と、ディスプレイ装置の空間設定を収集して３次元立体映像を表現するための物理空間を前記ディスプレイ装置別に分割または共有するようディスプレイ装置別３次元表現空間を設定する事前情報管理部と、ユーザー情報と仮想空間に対する３次元コンテンツを利用してリアルタイムコンテンツ情報を生成するリアルタイム情報制御部と、を有し、入出力制御部はディスプレイ装置別に設定された３次元表現空間情報とユーザー情報に基づいてリアルタイムコンテンツ情報をそれぞれのディスプレイ装置に分配する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法に関するものであって、より詳しくは多数の３次元映像ディスプレイ装置を利用してユーザー周辺の３次元空間に自然な立体映像が提示可能な増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法に関する。
【背景技術】
【０００２】
現在、映画及びテレビ分野において大衆化が進んでいる３次元映像提示技術は、一般的に人間が３次元立体感を感じる様々な原因（ｆａｃｔｏｒ）のうち両眼視差（人間外部環境の３次元物体が両眼の網膜に映る像の差)効果を利用している。しかしながら、この技術はＬＣＤスクリーンのように固定された距離にある映像出力面に両眼視差情報を出力することによって、映像出力面の表裏空間に仮想の深さを持つ映像をユーザーに提示する技術であって、人間の視覚運動構造に相当な疲労感を誘発させる根本的な短所がある。
【０００３】
また、映画のようなコンテンツから示される３次元映像提示技術であるインタラクティブホログラムディスプレイ技術は、人間の立体視覚認知特性を完全に収容する理想的なディスプレイ技術であるが、現在の技術レベルではその実現は遠い状況なので、一般の消費者に３次元映像技術に対する誤解と現在の技術に対する失望感を強める副作用がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は上記のような問題点を解決するために案出されたものであって、ユーザーの３次元映像視聴による視覚的疲労度を減少させ、自然な３次元空間感を提示できる増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法を提供する。
【０００５】
また、本発明の目的は、同種（ｈｏｍｏｇｅｎｅｏｕｓ）及び異機種（ｈｅｔｅｒｏｇｅｎｅｏｕｓ）の３次元ディスプレイ装置を一つの３次元空間に融合させる増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法を提供する。
【０００６】
本発明のまた他の目的は、多数のユーザーが自然な３次元映像を共有できる増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法を提供する。
【課題を解決するための手段】
【０００７】
このような課題を解決するために、本発明では同種（ｈｏｍｏｇｅｎｅｏｕｓ）及び異機種（ｈｅｔｅｒｏｇｅｎｅｏｕｓ）の様々な３次元映像ディスプレイ装置が３次元映像を表現するための物理空間を分割及び共有し、ユーザー情報と分割された空間の情報に基づいてリアルタイムコンテンツ情報を生成して、様々な３次元映像ディスプレイ装置を利用して共にディスプレイする。
【０００８】
本発明の一面による増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームは、少なくとも一つの３次元ディスプレイ装置を有する多数のディスプレイ装置を互いに連関させて制御する入出力制御部と、前記ディスプレイ装置の空間設定を収集して３次元立体映像を表現するための物理空間を前記ディスプレイ装置別に分割または共有するようディスプレイ装置別３次元表現空間を設定する事前情報管理部と、ユーザーの両眼６自由度情報と視線方向及び焦点情報を有するユーザー情報と仮想空間に対する３次元コンテンツを利用してリアルタイムコンテンツ情報を生成するリアルタイム情報制御部を有し、前記入出力制御部は前記ディスプレイ装置別に設定された３次元表現空間情報と前記ユーザー情報に基づいて前記リアルタイムコンテンツ情報をそれぞれの前記ディスプレイ装置に分配する。
【０００９】
本発明の他面による増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームは、少なくとも一つの３次元ディスプレイ装置を有する多数のディスプレイ装置を互いに連関させて制御する入出力制御部と、前記ディスプレイ装置が表現できる最適の立体空間に対する情報を収集する空間設定収集ユニットと、仮想空間に対する３次元コンテンツを格納する仮想空間３次元コンテンツデータベースと、前記空間設定収集ユニットによって収集された物理空間の情報と仮想空間の情報を３次元空間での相互配置関係にオーサリング（ａｕｔｈｏｒｉｎｇ）するオーサリングユニットと、前記オーサリングの結果を前記ディスプレイ装置別最適３次元表現空間設定情報に格納する最適空間設定情報データベースを有する事前情報管理部と、ユーザー情報を抽出するユーザー情報抽出ユニットと、前記ユーザーが多数の場合、前記多数のユーザーの相互関係を管理する多重ユーザー参加支援ユニットと、前記ユーザー情報、前記多数のユーザーの相互関係及び前記仮想空間に対する３次元コンテンツに基づいてリアルタイムコンテンツ情報を生成するリアルタイムコンテンツ情報生成ユニットと、前記ユーザー情報を管理し事前に収集された前記ユーザーの個人情報に基づいて前記ディスプレイ装置別最適３次元表現空間設定情報を修正するユーザー適応型装置及び映像パラメータ制御ユニットを含むリアルタイム情報制御部を有して構成される。
【００１０】
本発明のまた他面による増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法は、少なくとも一つの３次元ディスプレイ装置を有する多数のディスプレイ装置から表現できる最適の立体空間に対する情報を収集するステップと、収集された前記最適の立体空間に対する情報に基づいて３次元立体映像を表現するための物理空間を前記ディスプレイ装置別に分割または共有するようディスプレイ装置別３次元表現空間を設定するステップと、ユーザーの両眼６自由度情報と視線方向及び焦点情報を有するユーザー情報を収集するステップと、仮想空間に対する３次元コンテンツと前記ユーザー情報を利用してリアルタイムコンテンツ情報を生成するステップと、前記ユーザー情報と前記ディスプレイ装置別に設定された３次元表現空間情報に基づいて前記リアルタイムコンテンツ情報をそれぞれの前記ディスプレイ装置に分配するステップを有する。
【発明の効果】
【００１１】
本発明によると、一つの３次元ディスプレイ装置を利用して制限的な３次元空間感を表現する限界を克服して、より深く、広く、高い空間に自然に表現される３次元映像を提示することができる。このような３次元映像技術を利用すれば空間感表現の限界を克服した様々な３次元立体コンテンツサービスを可能にするので、３次元ディスプレイプラットフォーム基盤の家電、教育、訓練、医療及び軍事分野などの様々な分野の仮想現実及び混合現実システムを具現するのに活用することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの全体構成を示すブロック図である。
【図２】両眼視覚映像による３次元客体認識の概念を示す図である。
【図３】それぞれの共用画面（ｐｕｂｌｉｃ ｓｃｒｅｅｎ）と着用型３次元ディスプレイ装置において３次元映像を表現するための両眼視差と虚像の位置を示す図である。
【図４】それぞれの共用画面（ｐｕｂｌｉｃ ｓｃｒｅｅｎ）と着用型３次元ディスプレイ装置において３次元映像を表現するための両眼視差と虚像の位置を示す図である。
【図５】３次元ディスプレイを通じて表現可能な仮想映像の可視化範囲のエラーを示す例である。
【図６】３次元ディスプレイを通じて表現可能な仮想映像の可視化範囲のエラーを示す例である。
【図７ａ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームにおいて３次元映像表現空間の分割及び共有を示す図である。
【図７ｂ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームにおいて３次元映像表現空間の分割及び共有を示す図である。
【図７ｃ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームにおいて３次元映像表現空間の分割及び共有を示す図である。
【図８ａ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの多重ユーザーに対する応用例を示す例である。
【図８ｂ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの多重ユーザーに対する応用例を示す例である。
【図８ｃ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの多重ユーザーに対する応用例を示す例である。
【図９ａ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図９ｂ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図９ｃ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図９ｄ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１０ａ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１０ｂ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１０ｃ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１０ｄ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１１ａ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１１ｂ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１１ｃ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１１ｄ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【発明を実施するための最良の形態】
【００１３】
本発明の利点及び特徴、またそれらを達成する方法は図面と共に詳述されている実施の形態を参照すれば明確に理解できる。しかし、本発明は以下に開示される実施の形態に限定されるのではなく、互いに異なる様々な形態で具現され、ただ本実施の形態は本発明の開示が完全になるようにし、本発明の属する技術分野において通常の知識を持つ者に発明の範疇を完全に理解させるために提供され、本発明は請求項の範疇によって定義されるだけである。一方、本明細書で使用された用語は実施の形態を説明するためのものであって、本発明を制限しようとするものではない。本明細書において、単数形は文句中で特に言及しない限り複数形も含む。明細書で使用される“有する（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ）”は言及された構成要素、ステップ、動作及び/または素子は一つ以上の他の構成要素、ステップ、動作及び/または素子の存在または追加を排除しない。
【００１４】
以下、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法について図面に沿って詳細に説明する。
【００１５】
図１は、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの全体構成を示すブロック図である。
【００１６】
図１に示されたように、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームは、事前情報管理部１００、リアルタイム情報制御部２００及び入出力プラットフォーム３００の３つのグループで構成される。
【００１７】
事前情報管理部１００は、最終的に完成される統合された一つの仮想立体空間を構成するために、ハードウェア的な構成要素及びソフトウェア的な構成要素間の関係を事前に設定し、データベース構造に格納及び管理する部分である。このために、事前情報管理部１００は入出力装置空間設定収集ユニット１１０、装置別最適３Ｄ表現空間設定情報データベース１２０、３Ｄ映像表現空間分割/共有設定オーサリングユニット１３０、仮想空間３Ｄコンテンツデータベース１４０を有する。
【００１８】
仮想空間３Ｄコンテンツデータベース１４０は、仮想現実及び混合現実ソフトウェアコンテンツを格納するデータベースを意味し、３Ｄ空間に対するモデルデータ、即ち、地形、地物、環境及び相互作用の対象となる客体（ｏｂｊｅｃｔ）を有する。
【００１９】
このような仮想空間３Ｄコンテンツデータベース１４０に格納されたデータを利用して、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームではユーザーに仮想客体のみで構成された仮想現実空間を提示したり、仮想空間のデジタルコンテンツ客体と現実のユーザー及び物体が相互作用をしながらサービスシナリオを進行させる混合現実システムを具現することができる。
【００２０】
入出力装置空間設定収集ユニット１１０は、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム内に含まれる特定ディスプレイ装置が表現できる最適の立体空間に対する情報をそれぞれのディスプレイ装置３２０、３３０、３４０から獲得する。この時、ディスプレイ装置は共用ディスプレイ装置、携帯型（モバイル）ディスプレイ装置、個人用着用型ディスプレイ装置を有し、各ディスプレイ装置が表現できる立体空間はＶＰＳ（Ｖｏｌｕｍｅ ｏｆ Ｐｕｂｌｉｃ Ｓｃｒｅｅｎ）、ＶＭＳ（Ｖｏｌｕｍｅ ｏｆ Ｍｏｂｉｌｅ Ｓｃｒｅｅｎ）、ＶｐＶＳ（Ｖｏｌｕｍｅ ｏｆ ｐｅｒｓｏｎａｌ Ｖｉｒｔｕａｌ Ｓｃｒｅｅｎ）を有する。
【００２１】
また、入出力装置空間設定収集ユニット１１０は物理的な空間に設けられている入力センサー装置（例：カメラなどの映像入力装置、位置及び加速度などのセンサー基盤入力装置等）と３次元ディスプレイ装置以外の情報出力装置（サウンド効果出力装置、モノディスプレイ装置など）の設置現況情報をユーザー周辺環境に対する情報として収集する。入力センサー装置と情報出力装置の設置現況情報は、６自由度（例：位置３つ‐ｘ、ｙ、ｚ姿勢３つ‐ｐｉｔｃｈ、ｙａｗ、ｒｏｌｌ）情報及び制御と関連した時間情報などを有する。
【００２２】
入出力装置空間設定収集ユニット１１０は、このように収集した情報を３Ｄ映像表現空間分割/共有設定オーサリングユニット１３０に提供する。
【００２３】
３Ｄ映像表現空間分割/共有設定オーサリングユニット１３０は３Ｄコンテンツモデリングツールであって、ＧＵＩを基盤に入出力装置空間設定収集ユニット１１０によって提供された物理的な空間情報と仮想空間３Ｄコンテンツデータベース１４０に格納されている仮想的な空間情報を３次元空間での相互配置関係にオーサリング（ａｕｔｈｏｒｉｎｇ）する機能を提供する。これは３Ｄ空間モデルでそれぞれの３次元ディスプレイ装置が担当する区域を配置する作業で、担当区域はユーザーが直接手作業で調整したり、該当３次元ディスプレイ装置から最少‐適正‐危険‐最大領域情報（例えば、ｐｏｓｉｔｉｖｅ及びｎｅｇａｔｉｖｅ ｐａｒａｌｌａｘの深さなど）を受信して各ディスプレイ装置が３次元空間を指定された数値で適切に共有及び分割するよう自動配置することができる。
【００２４】
このようにそれぞれのディスプレイ装置が表現できる適切な仮想情報の空間関係が定義されれば、定義された空間関係に対する初期設定情報は装置別最適３Ｄ表現空間設定情報データベース１２０に格納される。
【００２５】
リアルタイム情報制御部２００は、全体システムの運営瞬間毎に参加する単数または複数のユーザーの情報を抽出して、自然な立体空間を提示するために初期値に設定されたパラメータを変更する部分である。ユーザーの情報としては、ユーザーの両眼それぞれの視覚に関連した６自由度情報、視線方向（ｖｉｅｗ ｖｅｃｔｏｒ）及び焦点（ｆｏｃｕｓｉｎｇ）情報を有し、現在ユーザーがどのような種類の入出力装置及びセンサーと相互作用できるかに対する情報もまた有する。リアルタイム情報制御部２００は、ユーザー適応型装置及び映像パラメータ制御ユニット２１０、ユーザー情報抽出ユニット２２０、多重ユーザー参加支援制御ユニット２３０及びリアルタイムコンテンツ情報生成ユニット２４０を有する。
【００２６】
ユーザー情報抽出ユニット２２０は、ユーザーの両眼それぞれの視覚に関連した６自由度（位置、姿勢）情報と視線方向及び焦点情報に基づいて、現在ユーザーが正確にどの空間を観察しているかを追跡して、多数のディスプレイ装置のうち該当する空間の３Ｄ立体感を最もよく表現できるディスプレイ装置が該当ユーザーの情報を処理できるようにユーザー適応型装置及び映像パラメータ制御ユニット２１０に関連情報を伝達する。
【００２７】
また、現在ユーザーがどのような種類の入出力装置及びセンサーと相互作用できるかに対する情報を収集してユーザー適応型装置及び映像パラメータ制御ユニット２１０に伝達することによって、システムが様々なマルチモーダル（ｍｕｌｔｉｍｏｄａｌ）な入出力情報を個々人のユーザーに分割及び同時に提示する作業を処理することができる。
【００２８】
多重ユーザー参加支援制御ユニット２３０は、一つの物理的な空間に多数のユーザーが増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームを利用する状況を処理する部分であって、この場合、増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームそのものが数セット存在する状況になる。従って、多重ユーザー参加支援制御ユニット２３０は、多数のユーザーの現在相互作用状態（仮想空間を観察したり相互作用する行為に対する状況情報）を収集して、仮想客体情報を共有したりそれぞれのユーザーが体験できるよう情報を分散処理する。
【００２９】
ユーザー適応型装置及び映像パラメータ制御ユニット２１０は、事前情報管理部１００によって初期値に設定されている各ディスプレイ装置の情報分割及び共有処理条件値をユーザー個人の身体的、認知的特性及び個人選好意志に応じて一部値の範囲を調整する役割を担当する。即ち、個人の身体的及び認知的な特性によって立体感を自然に感じる領域に若干の変動があり得るので、個人化された事前情報によって立体空間（例：ＶＰＳ、ＶｐＶＳ、ＶＭＳなど）間での情報の転移境界領域を調整する。
【００３０】
リアルタイムコンテンツ情報生成ユニット２４０は、仮想空間３Ｄコンテンツデータベース１４０の情報とユーザー情報抽出ユニット２２０及び多重ユーザー参加支援制御ユニット２３０から得たユーザー入力を基準にサービスコンテンツの進行と関連した相互作用イベントを処理して最終出力結果のリアルタイムコンテンツ情報を生成しこれを入出力プラットフォーム３００の多重３Ｄ立体空間の間の仮想客体情報入出力制御部３１０に伝達する。
【００３１】
入出力プラットフォームグループ３００は、様々なディスプレイ装置３２０、３３０、３４０とこれらのディスプレイ装置を制御するための制御部３１０を有する。
【００３２】
多重３Ｄ立体空間の間の客体情報入出力制御部３１０は、リアルタイムコンテンツ情報生成部２４０の出力結果を多重ユーザー条件と個人に最適化された条件を基準に分割及び共有情報を分離してそれぞれの入出力装置３２０、３３０、３４０に転送する。
【００３３】
説明の便宜のため、図１では共用ディスプレイ装置３２０、携帯型ディスプレイ装置３３０、個人用着用型ディスプレイ装置３４０を一つずつ示したが、必ずしもこの３つのディスプレイ装置が備えられなければならないものではなく、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームは、少なくとも一つの３次元映像ディスプレイ装置を含んで２つ以上のディスプレイ装置を持つディスプレイシステムに適用可能である。また、各ディスプレイ装置が２つ以上備えられるのは言うまでもない。
【００３４】
また、図１では多重３Ｄ立体空間の間の客体情報入出力制御部３１０が各ディスプレイ装置３２０、３３０、３４０を直接制御するものと示したが、多重３Ｄ立体空間の間の客体情報入出力制御部３１０と各ディスプレイ装置３２０、３３０、３４０間に各ディスプレイ装置を制御するための個別制御ユニットを設けることもできる。例えば、壁面型ディスプレイ装置及び３Ｄテレビなど周辺環境に位置したディスプレイ装置を制御する多重共用ディスプレイ装置制御ユニット、ユーザーが携帯しながら移動させることのできる入出力装置を制御する多重携帯型ディスプレイ装置制御ユニット、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）やＥＧＤ｛Ｅｙｅ‐Ｇｌａｓｓｅｓ（ｔｙｐｅ）Ｄｉｓｐｌａｙ｝などの着用型コンピューティング装置（ｗｅａｒａｂｌｅ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ）のように身体に密着して使用できる入出力装置を制御する多重個人用着用型ディスプレイ装置制御ユニットなどを設けることができる。
【００３５】
その上に、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームでは、各ディスプレイ装置３２０、３３０、３４０が多重３Ｄ立体空間の間の客体情報入出力制御部３１０から各ディスプレイ装置３２０、３３０、３４０に該当するユーザー情報、多数のユーザーの現在相互作用状態、リアルタイムコンテンツ情報などが提供され、これを利用して適合した３次元映像を提示することもできる。この場合、各ディスプレイ装置は下記の文献１に開示された多重立体映像混合提示用視覚インターフェイス装置を備えたもの、または下記の文献２に開示された混合現実環境のための顔着用型ディスプレイ装置などを有する。
【先行技術文献】
【特許文献】
【００３６】
【特許文献１】大韓民国公開特許第１０−２００６−００６８５０８号公報
【特許文献２】大韓民国公開特許第１０−２００８−００１０５０２号公報
【００３７】
本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームでディスプレイ装置３２０、３３０、３４０を除いた残りの部分は、例えばコンピュータのような一つの装置１０を通じて具現され、必要によっては二つ以上の装置に具現されたり、一部のユニットがディスプレイ装置に含まれる形態に具現されることもできる。例えば、特定の共用ディスプレイ装置がメインディスプレイ装置に動作する場合、増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの各構成部分がメインディスプレイ装置内に具現されることもできる。
【００３８】
図２ないし図４は、３Ｄ立体映像表現のための両眼視差と虚像の位置を説明する図である。
【００３９】
一般的に左右両眼には３次元空間の情報が視差（ｖｉｓｕａｌ ｄｉｓｐａｒｉｔｙ、ｄ）を持つ、独立されて２次元で網膜に映された映像で感知され、脳ではこれを通じて３次元立体空間と３次元客体を認知する（図２を参照）。
【００４０】
このような原理を利用した３次元ディスプレイ技術は、一つの物理光学的なスクリーンに２つの左右映像を提示し、それぞれの映像を左右両眼に独立的に伝達されるように分離させる技術（例：偏光フィルター）を使用する。
【００４１】
図３は一般的な３Ｄテレビまたは立体映画館での外部の大型スクリーンを観察する時に、スクリーン上から出力される映像の視差によるｎｅｇａｔｉｖｅ（画面から飛び出した領域にある感じ）‐ｚｅｒｏ（画面と同距離に物体がある感じ）‐ｐｏｓｉｔｉｖｅ（画面裏の遠い空間に物体がある感じ）の状況を説明した図である。
【００４２】
ここで、ＶＯｐはポジティブ視差(ｐｏｓｉｔｉｖｅ ｐａｒａｌｌａｘ)領域の仮想物体、ＶＯｚはゼロ視差(ｚｅｒｏ ｐａｒａｌｌａｘ)領域の仮想物体、ＶＯｎはネガティブ視差(ｎｅｇａｔｉｖｅ ｐａｒａｌｌａｘ)領域の仮想物体を示し、ＤｐはＤｎはそれぞれポジティブ視差とネガティブ視差の深さを示す。ＲＰはｒｅａｌ ｐｏｉｎｔ、ＶＰはｖｉｒｔｕａｌ ｐｏｉｎｔ、ｄは画面上の距離（ｚｅｒｏ ｐａｒａｌｌａｘ）を示す。
【００４３】
図４は、ＥＧＤのようにユーザーの眼に着用したディスプレイ装置の光学部によって仮想のスクリーン（ｐＶＳ）が一定距離の手前に形成され、これを基準に立体映像が表現される原理を説明した図である。
【００４４】
図４でｐＥＳはｐｅｒｓｏｎａｌ Ｅｙｅ Ｓｃｒｅｅｎ、ＯｐはＯｐｔｉｃｓ、ｌｐＶＳはｌｅｆｔ ｅｙｅ’ｓ ｐｅｒｓｏｎａｌ Ｖｉｒｔｕａｌ Ｓｃｒｅｅｎ、ｒｐＶＳはｒｉｇｈｔ ｅｙｅ’ｓ ｐｅｒｓｏｎａｌ Ｖｉｒｔｕａｌ Ｓｃｒｅｅｎ、ｐＶＳはｐｅｒｓｏｎａｌ Ｖｉｒｔｕａｌ Ｓｃｒｅｅｎ（重畳領域）、ＶＯｐＥはＥＧＤのポジティブ視差領域の仮想物体、ＶＯｚＥはＥＧＤのゼロ視差領域の仮想物体、ＶＯｎＥはＥＧＤのネガティブ視差領域の仮想物体、ＰＥはＰａｒａｌｌｅｌ ｅｙｅ ｖｅｃｔｏｒで、ＶＯＥ＝ＶＯｐＥ＋ＶＯｚＥ＋ＶＯｎＥとなる。
【００４５】
図５及び６は、立体ディスプレイを通じて表現可能な仮想映像の可視化範囲とそのエラーの例を示す図である。
【００４６】
図５は立体ディスプレイと表現可能な仮想映像の可視化範囲を説明する図である。図５のスクリーン（ＰＳ：Ｐｕｂｌｉｃ Ｓｃｒｅｅｎ）部分は３Ｄテレビのコマーシャルの一部であって、サッカーのシュート場面でボールが画面から飛び出す立体感を示しているが、これはｎｅｇａｔｉｖｅ ｐａｒａｌｌａｘ技法では実際表現できない非正常的な状況を描写している。
【００４７】
即ち、一般的な視聴者の左右両眼の視野を９０°と仮定した時、仮想客体（ボール、ＶＯ）は視野範囲（ＥＦＯＶ）には入っているが、視聴者の視線と物理的な画面（ＰＳ）を基準に定義される映像表現可能空間ＶＶを外れているので、実際には視聴者に見えない領域にある。
【００４８】
即ち、理論的にホログラム空間ディスプレイ装置でなければ表現が不可能な空間に映像イメージが存在する状況が演出されている。
【００４９】
図６もまた類似した状況を示しているが、視聴者が３Ｄテレビ画面を図のように斜線方向に見ている場合には、視聴者の視線と物理的画面を基準に定義される映像表現可能空間内に位置する一部仮想客体（ＶＯ＿３、ＶＯ＿４）のみが画面から飛び出した空間に位置したものと認知することができ、その他の空間に位置する仮想客体（ＶＯ＿２ないしＶＯ＿０）は、実際視聴者が認知できなくなる。
【００５０】
このように映像出力面（例：ＬＣＤ ｓｃｒｅｅｎ）の存在を基盤とする両眼視覚（ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ）型情報ディスプレイを利用した全ての立体映像システムはユーザーが感じる自然な深さ（ｃｏｍｆｏｒｔａｂｌｅ ｄｅｐｔｈ ｆｅｅｌｉｎｇ）の区間が物理光学的な映像面を基準に有限な空間に形成される。よって、仮想のコンテンツ（例：３Ｄ映像物）が表現しようとする、より深く、広く、高い空間に対する出力は既存の技術では限界があるしかない。例えば、ユーザーの視点と映像表現の面から定義されるＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）を外れた部分で物理光学的に表現が不可能な空間はユーザーの認識することのできない領域であったり、過度なｉｍａｇｅ ｄｉｓｐａｒｉｔｙ設定でユーザーに高い視覚的な疲労度を誘発させる。
【００５１】
これに対し本願発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームでは、多重及び多数の立体ディスプレイ装置を活用して仮想の立体表現空間を分割及び共有することによって３次元空間感表現の限界を克服することができる。
【００５２】
次に、様々な応用例に基づいて本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームによって具現される３次元映像表現方法を説明する。
【００５３】
図７ａないし図７ｃは、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームで３Ｄ映像表現空間の分割及び共有を示す図である。
【００５４】
図７ａないし図７ｃの実施の形態では壁面型３次元映像ディスプレイ装置と着用型３次元ＥＧＤ及び/または携帯型ディスプレイ装置を同時に使用する場合の映像表現スクリーンの相対的な活用位置及びそれぞれの３次元空間表現領域を示す。図７ａないし図７ｃでＰＳはＰｕｂｌｉｃ Ｓｃｒｅｅｎ、ＭＳはＭｏｂｉｌｅ Ｓｃｒｅｅｎ、ＶＰＳはｎａｔｕｒａｌ ３Ｄ ｅｘｐｒｅｓｓｉｏｎ Ｖｏｌｕｍｅ ｏｆ ＰＳ、ＶｐＶＳはｎａｔｕｒａｌ ３Ｄ ｅｘｐｒｅｓｓｉｏｎ Ｖｏｌｕｍｅ ｏｆ ｐＶＳ、ＶＭＳはｎａｔｕｒａｌ ３Ｄ ｅｘｐｒｅｓｓｉｏｎ Ｖｏｌｕｍｅ ｏｆ ＭＳ、ＶＯｓはＶｉｒｔｕａｌ Ｏｂｊｅｃｔ ｏｎ ｓｔａｒｔ ｐｏｓｉｔｉｏｎ、ＶＯｅはＶｉｒｔｕａｌ Ｏｂｊｅｃｔ ｏｎ ｅｎｄ ｐｏｓｉｔｉｏｎ、ＶＯｍはＶｉｒｔｕａｌ Ｏｂｊｅｃｔ ｏｎ ｍｏｂｉｌｅ ｓｃｒｅｅｎである。
【００５５】
図７ａに示されたように、一つの３次元映像スクリーンの境界と視聴者の視線の位置及び方向を基準に視覚投影空間（ｖｉｅｗ ｆｒｕｓｔｕｍ）を定義することができる。また、一つのスクリーンから出力される両眼視差映像は過度な値の範囲内で視聴者が疲労感を感じない程度の境界値に定義される自然な３次元映像表現空間（ＶＰＳ、ＶｐＶＳ、ＭＶＳ）を定義することができる。
【００５６】
一般的にｐｏｓｉｔｉｖｅ ｐａｒａｌｌａｘを利用した遠く離れた感じの立体効果は距離が遠くなるほど視聴者の左右両眼視覚の距離（例：ＩＰＤ‐Ｉｎｔｅｒ Ｐｕｐｉｌ Ｄｉｓｔａｎｃｅ、両眼間の距離）値に近づき、人間の立体空間認知特性から見ると距離が遠くなるほど両眼視差効果よりはオーバーラップ（ｏｖｅｒｌａｐ）のような他の要因で深さを認知する。しかし、物体が視聴者の目前に近づくｎｅｇａｔｉｖｅ ｐａｒａｌｌａｘを利用する場合には両眼視差（ｄ）の絶対値が無限に大きくなり極度の視覚疲労感を誘発させる。よって、一つのスクリーンには自然な立体映像表現空間がｐｏｓｉｔｉｖｅ領域の距離値（Ｄｐ）がｎｅｇａｔｉｖｅ領域の距離値（Ｄｎ）よりも大きな有限な空間に定義されることができる。ここで、非常に遠くにある客体の表現は完全に平行視覚になるので、ｐｏｓｉｔｉｖｅ ｐａｒａｌｌａｘ ａｒｅａは理論的には無限大になるが、視覚疲労度を勘案して一定の領域に限定する。
【００５７】
本願発明の実施の形態によると、多数の３次元ディスプレイ装置を利用して多数の仮想スクリーンを通じて立体映像を表示することによって、上述したような３次元空間感表現の限界を克服することができる。
【００５８】
図７ａに示されたように、視聴者が壁面型３次元ディスプレイが位置した方向を注視する時に、視聴者とスクリーン（ＰＳ）間の距離が遠い場合（Ｄｎ１よりも大きい場合）にはＥＧＤを利用した別途のスクリーン（ｐＶＳ）を通じて視聴者に近い空間に立体映像を提示することができる。
【００５９】
図７ｂは視聴者が左側に視線を移動する場合を示した図であって、視聴者の視点が壁面型３次元ディスプレイの３次元表現空間、即ち外部スクリーン（ＰＳ）の領域を外れる場合にも視聴者視点に応じて移動する他の表現空間（ＶｐＶＳ）（着用型３次元ＥＧＤの３次元表現空間）を利用して立体情報を提示することができる。
【００６０】
図７ｃは、さらに移動型３次元ディスプレイを使用する場合を示す。視聴者は追加のスクリーン（ＭＳ）を表示できる装置を携帯することによって立体映像表現空間を細分化させ、より自然に且つ様々な空間に表現される立体映像情報を体験することができる。特に、図７ｃのように移動型３次元ディスプレイ装置を使用すれば、一般的なＥＧＤ装置が持っている狭い視野角（ＦＯＶ）問題を解決することができる。
【００６１】
図８ａないし図８ｃは本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームで多重ユーザーに対して増強型混合現実３次元映像をディスプレイする応用例を示す図である。
【００６２】
図８ａはユーザーＡが仮想客体の移動経路（画面の外に飛び出す）に応じて自然に３次元空間感を表現できる装置（ＥＧＤ、携帯型３次元ディスプレイ装置など）を活用して立体コンテンツを体験する状況である。
【００６３】
図８ｂは共用ディスプレイ（ＰＳ）から突出される同一な立体映像コンテンツを互いに異なるユーザー（ユーザーＢ、ユーザーＣ）がそれぞれ自身の観点で正確な３次元映像を体験する状況である。ユーザーＢとユーザーＣはそれぞれ自身のＥＧＤ、携帯型３次元ディスプレイ装置など）を活用して同一な仮想客体に対して正確な３次元映像を体験することができる。
【００６４】
図８ｃは、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームに多数のユーザーが参加する複合立体映像体験館の事例を説明している。図８ｃは、仮想の森のインテリアをした体験空間で仮想の森及び仮想及び実物形態の生命体に対する相互作用を多数のユーザー（ユーザーＤないしユーザーＫ）が様々な入出力装置プラットフォームを通じて経験する状況を示す。図８ｃに示されたように、ユーザーは壁（ｗａｌｌ）中の仮想及び実物を利用した展示空間と立体映像及び入出力相互作用インターフェイス（例：ユーザーの位置追跡及びジェスチャーインターフェイス、音声インターフェイスなど視覚‐聴覚‐触覚‐嗅覚‐味覚装置）を通じて仮想と現実空間とが融合された混合現実型サービスを体験することができる。
【００６５】
図９ａないし図１１ｄは、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【００６６】
図９ａに示されたように、ボールがゴールポストを外れて視聴者方向に（３Ｄテレビ外部に）飛んでくる状況で、図９ｂに示されたように、３ＤテレビのＶＰＳからＶＯｎに表現できる最大領域までボールが突出表現されて、立体表現空間転移（境界）領域に近づくと視聴者のＥＧＤのＶｐＶＳが活性化される。次に、図９ｃに示されたように、ユーザー視点の移動に連動されて動くＶｐＶＳでボール（ＶＯＥ１）の移動が表現される（この時、ＶＯＥ１は視聴者と３Ｄテレビとの間に定義されるＶＶ領域を外れている）。このように、二つの３次元ディスプレイ装置（３Ｄテレビ及びＥＧＤ）を利用して仮想客体（ＶＯＥ１）の広い移動範囲を表現することができる。
【００６７】
また、図９ｄではＶｐＶＳで表現される他の仮想客体ＶＯＥ２（例：仮想応援団）がＶＯＥ１（ボール）と相互作用（飛んでくるボールを取る）する状況が表現されるものを示している。このように本発明の実施の形態によると、従来には具現できなかった領域の立体映像体験効果が容易に得られる。
【００６８】
図１０ａないし図１０ｄは、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームを利用した他の応用例を示す図である。
【００６９】
図１０ａないし図１０ｄで提示する応用例は、本発明の実施の形態に係る３次元映像ディスプレイシステムをＩＰテレビ技術及びＵＣＣ技術と融合したサービスの事例であって、視聴者は視聴者が所有し制御できる視聴者周辺の３次元仮想空間のコンテンツを多数のユーザーが共有するテレビ番組内部にアップロードして一緒に共有できるサービスを具現する。
【００７０】
図１０ａに示されたように、視聴者が生成したデジタルコンテンツ（ＵＣＣ応援広告）をＶｐＶＳ領域にローディングした後、図１０ｂに示されたように、視聴者がジェスチャーインタラクションでＵＣＣをテレビで表現されるＶＰＳに転送させる命令を入力する。そうすると、図１０ｃに示されたように、テレビが受信したＵＣＣ情報は中央サーバーに転送（ｕpｌｏａｄ）され、図１０ｄに示されたように、放送でＵＣＣ（例：広告）の露出を制御する中央サーバーは視聴者が転送したメッセージを露出制御領域（仮想広告板）に出力する。
【００７１】
図１１ａないし図１１ｄは本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームを利用した他の応用例を示す図である。
【００７２】
図１１ａないし図１１ｄに示される応用例は、本発明の実施例に係る３次元映像ディスプレイシステムとＩＰテレビ技術を活用した、ユーザー志向型広告技術を融合したサービスの事例である。即ち、テレビ番組の内容展開にリアルタイムで反応するインタラクティブ広告（例：韓国が優勝する場合、電化製品の割引イベント広告の露出）を示し、該当広告の対象物がユーザーの生活環境（ｌｉｆｅｓｔｙｌｅ）に適合するかを体験できるよう、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームで内蔵された入出力センサー（例：ユーザーの居間空間の３次元情報を抽出する立体情報抽出センサー）及び知識データベースを活用して、仮想使用シミュレーション状況を試演することによってユーザーが広告内容をリアル感高く体験することができる。
【００７３】
つまり、図１１ａに示されたように、中央サーバーはコンテンツから発生される特定イベント（例：サッカーのゴールインの瞬間）に反応して特定広告を露出させる。次に、図１１ｂに示されたように、ユーザーの広告拒否行為がない場合、中央サーバーは広告コンテンツに内蔵された仮想客体に対する追加情報（ロボット掃除機の仮想シミュレーションプログラム）をテレビに転送し、テレビは広告コンテンツに含まれた仮想客体（ロボット掃除機）との相互作用のために活用空間の３Ｄ情報が必要なことを認識すれば、テレビに内蔵された３次元空間情報収集装置（３Ｄ ｃａｍ）を利用してテレビ周辺（居間）の３次元空間構造情報をスキャンする。
【００７４】
図１１ｃに示されたように、ユーザーが広告コンテンツ（ロボット掃除機）内容の体験を選択すれば、仮想のロボット掃除機がテレビから出力されて居間空間に移動する。この時、仮想ロボット掃除機がテレビのＶＰＳ領域を離脱する場合、視聴者のＶｐＶＳ領域で可視化される。
【００７５】
図１１ｄに示されたように、仮想ロボット掃除機は収集された居間の３次元空間情報を基準に衝突検査を行いながら、仮想の製品動作試演をシミュレーションし、視聴者は該当製品を実際に購買した場合の状況を仮想体験した後、製品の購買要否を決定することができる。
【００７６】
これと類似した具現可能なシナリオで、ユーザーは着用型衣服、アクセサリー及び家のインテリア用製品の仮想着用及び仮想配置を体験し、広告製品の購入に対する意思決定に利用することができる。
【００７７】
以上、本発明について好ましい実施の形態を基準に説明したが、本発明は必ずしも上述した実施の形態に制限されるのではなく発明の要旨と範囲から外れることなく様々な修正や変形が可能である。添付の特許請求の範囲は本発明の要旨に属する限りこのような修正や変形を含む。
【符号の説明】
【００７８】
１１０ 入出力装置空間設定収集ユニット
１２０ 装置別最適３Ｄ表現空間設定情報ＤＢ
１３０ ３Ｄ映像表現空間分割/共有設定オーサリングユニット
１４０ 仮想空間３ＤコンテンツＤＢ
２１０ ユーザー適応型装置及び映像パラメータ制御ユニット
２２０ ユーザー情報抽出ユニット
２３０ 多重ユーザー参加支援制御ユニット
２４０ リアルタイムコンテンツ情報生成ユニット
３１０ 多重３Ｄ立体空間の間の仮想客体情報入出力制御部
３２０ 共用ディスプレイ装置
３３０ 携帯型ディスプレイ装置
３４０ 個人用着用型ディスプレイ装置
【技術分野】
【０００１】
本発明は、増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法に関するものであって、より詳しくは多数の３次元映像ディスプレイ装置を利用してユーザー周辺の３次元空間に自然な立体映像が提示可能な増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法に関する。
【背景技術】
【０００２】
現在、映画及びテレビ分野において大衆化が進んでいる３次元映像提示技術は、一般的に人間が３次元立体感を感じる様々な原因（ｆａｃｔｏｒ）のうち両眼視差（人間外部環境の３次元物体が両眼の網膜に映る像の差)効果を利用している。しかしながら、この技術はＬＣＤスクリーンのように固定された距離にある映像出力面に両眼視差情報を出力することによって、映像出力面の表裏空間に仮想の深さを持つ映像をユーザーに提示する技術であって、人間の視覚運動構造に相当な疲労感を誘発させる根本的な短所がある。
【０００３】
また、映画のようなコンテンツから示される３次元映像提示技術であるインタラクティブホログラムディスプレイ技術は、人間の立体視覚認知特性を完全に収容する理想的なディスプレイ技術であるが、現在の技術レベルではその実現は遠い状況なので、一般の消費者に３次元映像技術に対する誤解と現在の技術に対する失望感を強める副作用がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は上記のような問題点を解決するために案出されたものであって、ユーザーの３次元映像視聴による視覚的疲労度を減少させ、自然な３次元空間感を提示できる増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法を提供する。
【０００５】
また、本発明の目的は、同種（ｈｏｍｏｇｅｎｅｏｕｓ）及び異機種（ｈｅｔｅｒｏｇｅｎｅｏｕｓ）の３次元ディスプレイ装置を一つの３次元空間に融合させる増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法を提供する。
【０００６】
本発明のまた他の目的は、多数のユーザーが自然な３次元映像を共有できる増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法を提供する。
【課題を解決するための手段】
【０００７】
このような課題を解決するために、本発明では同種（ｈｏｍｏｇｅｎｅｏｕｓ）及び異機種（ｈｅｔｅｒｏｇｅｎｅｏｕｓ）の様々な３次元映像ディスプレイ装置が３次元映像を表現するための物理空間を分割及び共有し、ユーザー情報と分割された空間の情報に基づいてリアルタイムコンテンツ情報を生成して、様々な３次元映像ディスプレイ装置を利用して共にディスプレイする。
【０００８】
本発明の一面による増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームは、少なくとも一つの３次元ディスプレイ装置を有する多数のディスプレイ装置を互いに連関させて制御する入出力制御部と、前記ディスプレイ装置の空間設定を収集して３次元立体映像を表現するための物理空間を前記ディスプレイ装置別に分割または共有するようディスプレイ装置別３次元表現空間を設定する事前情報管理部と、ユーザーの両眼６自由度情報と視線方向及び焦点情報を有するユーザー情報と仮想空間に対する３次元コンテンツを利用してリアルタイムコンテンツ情報を生成するリアルタイム情報制御部を有し、前記入出力制御部は前記ディスプレイ装置別に設定された３次元表現空間情報と前記ユーザー情報に基づいて前記リアルタイムコンテンツ情報をそれぞれの前記ディスプレイ装置に分配する。
【０００９】
本発明の他面による増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームは、少なくとも一つの３次元ディスプレイ装置を有する多数のディスプレイ装置を互いに連関させて制御する入出力制御部と、前記ディスプレイ装置が表現できる最適の立体空間に対する情報を収集する空間設定収集ユニットと、仮想空間に対する３次元コンテンツを格納する仮想空間３次元コンテンツデータベースと、前記空間設定収集ユニットによって収集された物理空間の情報と仮想空間の情報を３次元空間での相互配置関係にオーサリング（ａｕｔｈｏｒｉｎｇ）するオーサリングユニットと、前記オーサリングの結果を前記ディスプレイ装置別最適３次元表現空間設定情報に格納する最適空間設定情報データベースを有する事前情報管理部と、ユーザー情報を抽出するユーザー情報抽出ユニットと、前記ユーザーが多数の場合、前記多数のユーザーの相互関係を管理する多重ユーザー参加支援ユニットと、前記ユーザー情報、前記多数のユーザーの相互関係及び前記仮想空間に対する３次元コンテンツに基づいてリアルタイムコンテンツ情報を生成するリアルタイムコンテンツ情報生成ユニットと、前記ユーザー情報を管理し事前に収集された前記ユーザーの個人情報に基づいて前記ディスプレイ装置別最適３次元表現空間設定情報を修正するユーザー適応型装置及び映像パラメータ制御ユニットを含むリアルタイム情報制御部を有して構成される。
【００１０】
本発明のまた他面による増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法は、少なくとも一つの３次元ディスプレイ装置を有する多数のディスプレイ装置から表現できる最適の立体空間に対する情報を収集するステップと、収集された前記最適の立体空間に対する情報に基づいて３次元立体映像を表現するための物理空間を前記ディスプレイ装置別に分割または共有するようディスプレイ装置別３次元表現空間を設定するステップと、ユーザーの両眼６自由度情報と視線方向及び焦点情報を有するユーザー情報を収集するステップと、仮想空間に対する３次元コンテンツと前記ユーザー情報を利用してリアルタイムコンテンツ情報を生成するステップと、前記ユーザー情報と前記ディスプレイ装置別に設定された３次元表現空間情報に基づいて前記リアルタイムコンテンツ情報をそれぞれの前記ディスプレイ装置に分配するステップを有する。
【発明の効果】
【００１１】
本発明によると、一つの３次元ディスプレイ装置を利用して制限的な３次元空間感を表現する限界を克服して、より深く、広く、高い空間に自然に表現される３次元映像を提示することができる。このような３次元映像技術を利用すれば空間感表現の限界を克服した様々な３次元立体コンテンツサービスを可能にするので、３次元ディスプレイプラットフォーム基盤の家電、教育、訓練、医療及び軍事分野などの様々な分野の仮想現実及び混合現実システムを具現するのに活用することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの全体構成を示すブロック図である。
【図２】両眼視覚映像による３次元客体認識の概念を示す図である。
【図３】それぞれの共用画面（ｐｕｂｌｉｃ ｓｃｒｅｅｎ）と着用型３次元ディスプレイ装置において３次元映像を表現するための両眼視差と虚像の位置を示す図である。
【図４】それぞれの共用画面（ｐｕｂｌｉｃ ｓｃｒｅｅｎ）と着用型３次元ディスプレイ装置において３次元映像を表現するための両眼視差と虚像の位置を示す図である。
【図５】３次元ディスプレイを通じて表現可能な仮想映像の可視化範囲のエラーを示す例である。
【図６】３次元ディスプレイを通じて表現可能な仮想映像の可視化範囲のエラーを示す例である。
【図７ａ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームにおいて３次元映像表現空間の分割及び共有を示す図である。
【図７ｂ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームにおいて３次元映像表現空間の分割及び共有を示す図である。
【図７ｃ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームにおいて３次元映像表現空間の分割及び共有を示す図である。
【図８ａ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの多重ユーザーに対する応用例を示す例である。
【図８ｂ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの多重ユーザーに対する応用例を示す例である。
【図８ｃ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの多重ユーザーに対する応用例を示す例である。
【図９ａ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図９ｂ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図９ｃ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図９ｄ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１０ａ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１０ｂ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１０ｃ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１０ｄ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１１ａ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１１ｂ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１１ｃ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【図１１ｄ】本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【発明を実施するための最良の形態】
【００１３】
本発明の利点及び特徴、またそれらを達成する方法は図面と共に詳述されている実施の形態を参照すれば明確に理解できる。しかし、本発明は以下に開示される実施の形態に限定されるのではなく、互いに異なる様々な形態で具現され、ただ本実施の形態は本発明の開示が完全になるようにし、本発明の属する技術分野において通常の知識を持つ者に発明の範疇を完全に理解させるために提供され、本発明は請求項の範疇によって定義されるだけである。一方、本明細書で使用された用語は実施の形態を説明するためのものであって、本発明を制限しようとするものではない。本明細書において、単数形は文句中で特に言及しない限り複数形も含む。明細書で使用される“有する（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ）”は言及された構成要素、ステップ、動作及び/または素子は一つ以上の他の構成要素、ステップ、動作及び/または素子の存在または追加を排除しない。
【００１４】
以下、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法について図面に沿って詳細に説明する。
【００１５】
図１は、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの全体構成を示すブロック図である。
【００１６】
図１に示されたように、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームは、事前情報管理部１００、リアルタイム情報制御部２００及び入出力プラットフォーム３００の３つのグループで構成される。
【００１７】
事前情報管理部１００は、最終的に完成される統合された一つの仮想立体空間を構成するために、ハードウェア的な構成要素及びソフトウェア的な構成要素間の関係を事前に設定し、データベース構造に格納及び管理する部分である。このために、事前情報管理部１００は入出力装置空間設定収集ユニット１１０、装置別最適３Ｄ表現空間設定情報データベース１２０、３Ｄ映像表現空間分割/共有設定オーサリングユニット１３０、仮想空間３Ｄコンテンツデータベース１４０を有する。
【００１８】
仮想空間３Ｄコンテンツデータベース１４０は、仮想現実及び混合現実ソフトウェアコンテンツを格納するデータベースを意味し、３Ｄ空間に対するモデルデータ、即ち、地形、地物、環境及び相互作用の対象となる客体（ｏｂｊｅｃｔ）を有する。
【００１９】
このような仮想空間３Ｄコンテンツデータベース１４０に格納されたデータを利用して、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームではユーザーに仮想客体のみで構成された仮想現実空間を提示したり、仮想空間のデジタルコンテンツ客体と現実のユーザー及び物体が相互作用をしながらサービスシナリオを進行させる混合現実システムを具現することができる。
【００２０】
入出力装置空間設定収集ユニット１１０は、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム内に含まれる特定ディスプレイ装置が表現できる最適の立体空間に対する情報をそれぞれのディスプレイ装置３２０、３３０、３４０から獲得する。この時、ディスプレイ装置は共用ディスプレイ装置、携帯型（モバイル）ディスプレイ装置、個人用着用型ディスプレイ装置を有し、各ディスプレイ装置が表現できる立体空間はＶＰＳ（Ｖｏｌｕｍｅ ｏｆ Ｐｕｂｌｉｃ Ｓｃｒｅｅｎ）、ＶＭＳ（Ｖｏｌｕｍｅ ｏｆ Ｍｏｂｉｌｅ Ｓｃｒｅｅｎ）、ＶｐＶＳ（Ｖｏｌｕｍｅ ｏｆ ｐｅｒｓｏｎａｌ Ｖｉｒｔｕａｌ Ｓｃｒｅｅｎ）を有する。
【００２１】
また、入出力装置空間設定収集ユニット１１０は物理的な空間に設けられている入力センサー装置（例：カメラなどの映像入力装置、位置及び加速度などのセンサー基盤入力装置等）と３次元ディスプレイ装置以外の情報出力装置（サウンド効果出力装置、モノディスプレイ装置など）の設置現況情報をユーザー周辺環境に対する情報として収集する。入力センサー装置と情報出力装置の設置現況情報は、６自由度（例：位置３つ‐ｘ、ｙ、ｚ姿勢３つ‐ｐｉｔｃｈ、ｙａｗ、ｒｏｌｌ）情報及び制御と関連した時間情報などを有する。
【００２２】
入出力装置空間設定収集ユニット１１０は、このように収集した情報を３Ｄ映像表現空間分割/共有設定オーサリングユニット１３０に提供する。
【００２３】
３Ｄ映像表現空間分割/共有設定オーサリングユニット１３０は３Ｄコンテンツモデリングツールであって、ＧＵＩを基盤に入出力装置空間設定収集ユニット１１０によって提供された物理的な空間情報と仮想空間３Ｄコンテンツデータベース１４０に格納されている仮想的な空間情報を３次元空間での相互配置関係にオーサリング（ａｕｔｈｏｒｉｎｇ）する機能を提供する。これは３Ｄ空間モデルでそれぞれの３次元ディスプレイ装置が担当する区域を配置する作業で、担当区域はユーザーが直接手作業で調整したり、該当３次元ディスプレイ装置から最少‐適正‐危険‐最大領域情報（例えば、ｐｏｓｉｔｉｖｅ及びｎｅｇａｔｉｖｅ ｐａｒａｌｌａｘの深さなど）を受信して各ディスプレイ装置が３次元空間を指定された数値で適切に共有及び分割するよう自動配置することができる。
【００２４】
このようにそれぞれのディスプレイ装置が表現できる適切な仮想情報の空間関係が定義されれば、定義された空間関係に対する初期設定情報は装置別最適３Ｄ表現空間設定情報データベース１２０に格納される。
【００２５】
リアルタイム情報制御部２００は、全体システムの運営瞬間毎に参加する単数または複数のユーザーの情報を抽出して、自然な立体空間を提示するために初期値に設定されたパラメータを変更する部分である。ユーザーの情報としては、ユーザーの両眼それぞれの視覚に関連した６自由度情報、視線方向（ｖｉｅｗ ｖｅｃｔｏｒ）及び焦点（ｆｏｃｕｓｉｎｇ）情報を有し、現在ユーザーがどのような種類の入出力装置及びセンサーと相互作用できるかに対する情報もまた有する。リアルタイム情報制御部２００は、ユーザー適応型装置及び映像パラメータ制御ユニット２１０、ユーザー情報抽出ユニット２２０、多重ユーザー参加支援制御ユニット２３０及びリアルタイムコンテンツ情報生成ユニット２４０を有する。
【００２６】
ユーザー情報抽出ユニット２２０は、ユーザーの両眼それぞれの視覚に関連した６自由度（位置、姿勢）情報と視線方向及び焦点情報に基づいて、現在ユーザーが正確にどの空間を観察しているかを追跡して、多数のディスプレイ装置のうち該当する空間の３Ｄ立体感を最もよく表現できるディスプレイ装置が該当ユーザーの情報を処理できるようにユーザー適応型装置及び映像パラメータ制御ユニット２１０に関連情報を伝達する。
【００２７】
また、現在ユーザーがどのような種類の入出力装置及びセンサーと相互作用できるかに対する情報を収集してユーザー適応型装置及び映像パラメータ制御ユニット２１０に伝達することによって、システムが様々なマルチモーダル（ｍｕｌｔｉｍｏｄａｌ）な入出力情報を個々人のユーザーに分割及び同時に提示する作業を処理することができる。
【００２８】
多重ユーザー参加支援制御ユニット２３０は、一つの物理的な空間に多数のユーザーが増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームを利用する状況を処理する部分であって、この場合、増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームそのものが数セット存在する状況になる。従って、多重ユーザー参加支援制御ユニット２３０は、多数のユーザーの現在相互作用状態（仮想空間を観察したり相互作用する行為に対する状況情報）を収集して、仮想客体情報を共有したりそれぞれのユーザーが体験できるよう情報を分散処理する。
【００２９】
ユーザー適応型装置及び映像パラメータ制御ユニット２１０は、事前情報管理部１００によって初期値に設定されている各ディスプレイ装置の情報分割及び共有処理条件値をユーザー個人の身体的、認知的特性及び個人選好意志に応じて一部値の範囲を調整する役割を担当する。即ち、個人の身体的及び認知的な特性によって立体感を自然に感じる領域に若干の変動があり得るので、個人化された事前情報によって立体空間（例：ＶＰＳ、ＶｐＶＳ、ＶＭＳなど）間での情報の転移境界領域を調整する。
【００３０】
リアルタイムコンテンツ情報生成ユニット２４０は、仮想空間３Ｄコンテンツデータベース１４０の情報とユーザー情報抽出ユニット２２０及び多重ユーザー参加支援制御ユニット２３０から得たユーザー入力を基準にサービスコンテンツの進行と関連した相互作用イベントを処理して最終出力結果のリアルタイムコンテンツ情報を生成しこれを入出力プラットフォーム３００の多重３Ｄ立体空間の間の仮想客体情報入出力制御部３１０に伝達する。
【００３１】
入出力プラットフォームグループ３００は、様々なディスプレイ装置３２０、３３０、３４０とこれらのディスプレイ装置を制御するための制御部３１０を有する。
【００３２】
多重３Ｄ立体空間の間の客体情報入出力制御部３１０は、リアルタイムコンテンツ情報生成部２４０の出力結果を多重ユーザー条件と個人に最適化された条件を基準に分割及び共有情報を分離してそれぞれの入出力装置３２０、３３０、３４０に転送する。
【００３３】
説明の便宜のため、図１では共用ディスプレイ装置３２０、携帯型ディスプレイ装置３３０、個人用着用型ディスプレイ装置３４０を一つずつ示したが、必ずしもこの３つのディスプレイ装置が備えられなければならないものではなく、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームは、少なくとも一つの３次元映像ディスプレイ装置を含んで２つ以上のディスプレイ装置を持つディスプレイシステムに適用可能である。また、各ディスプレイ装置が２つ以上備えられるのは言うまでもない。
【００３４】
また、図１では多重３Ｄ立体空間の間の客体情報入出力制御部３１０が各ディスプレイ装置３２０、３３０、３４０を直接制御するものと示したが、多重３Ｄ立体空間の間の客体情報入出力制御部３１０と各ディスプレイ装置３２０、３３０、３４０間に各ディスプレイ装置を制御するための個別制御ユニットを設けることもできる。例えば、壁面型ディスプレイ装置及び３Ｄテレビなど周辺環境に位置したディスプレイ装置を制御する多重共用ディスプレイ装置制御ユニット、ユーザーが携帯しながら移動させることのできる入出力装置を制御する多重携帯型ディスプレイ装置制御ユニット、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）やＥＧＤ｛Ｅｙｅ‐Ｇｌａｓｓｅｓ（ｔｙｐｅ）Ｄｉｓｐｌａｙ｝などの着用型コンピューティング装置（ｗｅａｒａｂｌｅ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ）のように身体に密着して使用できる入出力装置を制御する多重個人用着用型ディスプレイ装置制御ユニットなどを設けることができる。
【００３５】
その上に、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームでは、各ディスプレイ装置３２０、３３０、３４０が多重３Ｄ立体空間の間の客体情報入出力制御部３１０から各ディスプレイ装置３２０、３３０、３４０に該当するユーザー情報、多数のユーザーの現在相互作用状態、リアルタイムコンテンツ情報などが提供され、これを利用して適合した３次元映像を提示することもできる。この場合、各ディスプレイ装置は下記の文献１に開示された多重立体映像混合提示用視覚インターフェイス装置を備えたもの、または下記の文献２に開示された混合現実環境のための顔着用型ディスプレイ装置などを有する。
【先行技術文献】
【特許文献】
【００３６】
【特許文献１】大韓民国公開特許第１０−２００６−００６８５０８号公報
【特許文献２】大韓民国公開特許第１０−２００８−００１０５０２号公報
【００３７】
本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームでディスプレイ装置３２０、３３０、３４０を除いた残りの部分は、例えばコンピュータのような一つの装置１０を通じて具現され、必要によっては二つ以上の装置に具現されたり、一部のユニットがディスプレイ装置に含まれる形態に具現されることもできる。例えば、特定の共用ディスプレイ装置がメインディスプレイ装置に動作する場合、増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの各構成部分がメインディスプレイ装置内に具現されることもできる。
【００３８】
図２ないし図４は、３Ｄ立体映像表現のための両眼視差と虚像の位置を説明する図である。
【００３９】
一般的に左右両眼には３次元空間の情報が視差（ｖｉｓｕａｌ ｄｉｓｐａｒｉｔｙ、ｄ）を持つ、独立されて２次元で網膜に映された映像で感知され、脳ではこれを通じて３次元立体空間と３次元客体を認知する（図２を参照）。
【００４０】
このような原理を利用した３次元ディスプレイ技術は、一つの物理光学的なスクリーンに２つの左右映像を提示し、それぞれの映像を左右両眼に独立的に伝達されるように分離させる技術（例：偏光フィルター）を使用する。
【００４１】
図３は一般的な３Ｄテレビまたは立体映画館での外部の大型スクリーンを観察する時に、スクリーン上から出力される映像の視差によるｎｅｇａｔｉｖｅ（画面から飛び出した領域にある感じ）‐ｚｅｒｏ（画面と同距離に物体がある感じ）‐ｐｏｓｉｔｉｖｅ（画面裏の遠い空間に物体がある感じ）の状況を説明した図である。
【００４２】
ここで、ＶＯｐはポジティブ視差(ｐｏｓｉｔｉｖｅ ｐａｒａｌｌａｘ)領域の仮想物体、ＶＯｚはゼロ視差(ｚｅｒｏ ｐａｒａｌｌａｘ)領域の仮想物体、ＶＯｎはネガティブ視差(ｎｅｇａｔｉｖｅ ｐａｒａｌｌａｘ)領域の仮想物体を示し、ＤｐはＤｎはそれぞれポジティブ視差とネガティブ視差の深さを示す。ＲＰはｒｅａｌ ｐｏｉｎｔ、ＶＰはｖｉｒｔｕａｌ ｐｏｉｎｔ、ｄは画面上の距離（ｚｅｒｏ ｐａｒａｌｌａｘ）を示す。
【００４３】
図４は、ＥＧＤのようにユーザーの眼に着用したディスプレイ装置の光学部によって仮想のスクリーン（ｐＶＳ）が一定距離の手前に形成され、これを基準に立体映像が表現される原理を説明した図である。
【００４４】
図４でｐＥＳはｐｅｒｓｏｎａｌ Ｅｙｅ Ｓｃｒｅｅｎ、ＯｐはＯｐｔｉｃｓ、ｌｐＶＳはｌｅｆｔ ｅｙｅ’ｓ ｐｅｒｓｏｎａｌ Ｖｉｒｔｕａｌ Ｓｃｒｅｅｎ、ｒｐＶＳはｒｉｇｈｔ ｅｙｅ’ｓ ｐｅｒｓｏｎａｌ Ｖｉｒｔｕａｌ Ｓｃｒｅｅｎ、ｐＶＳはｐｅｒｓｏｎａｌ Ｖｉｒｔｕａｌ Ｓｃｒｅｅｎ（重畳領域）、ＶＯｐＥはＥＧＤのポジティブ視差領域の仮想物体、ＶＯｚＥはＥＧＤのゼロ視差領域の仮想物体、ＶＯｎＥはＥＧＤのネガティブ視差領域の仮想物体、ＰＥはＰａｒａｌｌｅｌ ｅｙｅ ｖｅｃｔｏｒで、ＶＯＥ＝ＶＯｐＥ＋ＶＯｚＥ＋ＶＯｎＥとなる。
【００４５】
図５及び６は、立体ディスプレイを通じて表現可能な仮想映像の可視化範囲とそのエラーの例を示す図である。
【００４６】
図５は立体ディスプレイと表現可能な仮想映像の可視化範囲を説明する図である。図５のスクリーン（ＰＳ：Ｐｕｂｌｉｃ Ｓｃｒｅｅｎ）部分は３Ｄテレビのコマーシャルの一部であって、サッカーのシュート場面でボールが画面から飛び出す立体感を示しているが、これはｎｅｇａｔｉｖｅ ｐａｒａｌｌａｘ技法では実際表現できない非正常的な状況を描写している。
【００４７】
即ち、一般的な視聴者の左右両眼の視野を９０°と仮定した時、仮想客体（ボール、ＶＯ）は視野範囲（ＥＦＯＶ）には入っているが、視聴者の視線と物理的な画面（ＰＳ）を基準に定義される映像表現可能空間ＶＶを外れているので、実際には視聴者に見えない領域にある。
【００４８】
即ち、理論的にホログラム空間ディスプレイ装置でなければ表現が不可能な空間に映像イメージが存在する状況が演出されている。
【００４９】
図６もまた類似した状況を示しているが、視聴者が３Ｄテレビ画面を図のように斜線方向に見ている場合には、視聴者の視線と物理的画面を基準に定義される映像表現可能空間内に位置する一部仮想客体（ＶＯ＿３、ＶＯ＿４）のみが画面から飛び出した空間に位置したものと認知することができ、その他の空間に位置する仮想客体（ＶＯ＿２ないしＶＯ＿０）は、実際視聴者が認知できなくなる。
【００５０】
このように映像出力面（例：ＬＣＤ ｓｃｒｅｅｎ）の存在を基盤とする両眼視覚（ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ）型情報ディスプレイを利用した全ての立体映像システムはユーザーが感じる自然な深さ（ｃｏｍｆｏｒｔａｂｌｅ ｄｅｐｔｈ ｆｅｅｌｉｎｇ）の区間が物理光学的な映像面を基準に有限な空間に形成される。よって、仮想のコンテンツ（例：３Ｄ映像物）が表現しようとする、より深く、広く、高い空間に対する出力は既存の技術では限界があるしかない。例えば、ユーザーの視点と映像表現の面から定義されるＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）を外れた部分で物理光学的に表現が不可能な空間はユーザーの認識することのできない領域であったり、過度なｉｍａｇｅ ｄｉｓｐａｒｉｔｙ設定でユーザーに高い視覚的な疲労度を誘発させる。
【００５１】
これに対し本願発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームでは、多重及び多数の立体ディスプレイ装置を活用して仮想の立体表現空間を分割及び共有することによって３次元空間感表現の限界を克服することができる。
【００５２】
次に、様々な応用例に基づいて本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームによって具現される３次元映像表現方法を説明する。
【００５３】
図７ａないし図７ｃは、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームで３Ｄ映像表現空間の分割及び共有を示す図である。
【００５４】
図７ａないし図７ｃの実施の形態では壁面型３次元映像ディスプレイ装置と着用型３次元ＥＧＤ及び/または携帯型ディスプレイ装置を同時に使用する場合の映像表現スクリーンの相対的な活用位置及びそれぞれの３次元空間表現領域を示す。図７ａないし図７ｃでＰＳはＰｕｂｌｉｃ Ｓｃｒｅｅｎ、ＭＳはＭｏｂｉｌｅ Ｓｃｒｅｅｎ、ＶＰＳはｎａｔｕｒａｌ ３Ｄ ｅｘｐｒｅｓｓｉｏｎ Ｖｏｌｕｍｅ ｏｆ ＰＳ、ＶｐＶＳはｎａｔｕｒａｌ ３Ｄ ｅｘｐｒｅｓｓｉｏｎ Ｖｏｌｕｍｅ ｏｆ ｐＶＳ、ＶＭＳはｎａｔｕｒａｌ ３Ｄ ｅｘｐｒｅｓｓｉｏｎ Ｖｏｌｕｍｅ ｏｆ ＭＳ、ＶＯｓはＶｉｒｔｕａｌ Ｏｂｊｅｃｔ ｏｎ ｓｔａｒｔ ｐｏｓｉｔｉｏｎ、ＶＯｅはＶｉｒｔｕａｌ Ｏｂｊｅｃｔ ｏｎ ｅｎｄ ｐｏｓｉｔｉｏｎ、ＶＯｍはＶｉｒｔｕａｌ Ｏｂｊｅｃｔ ｏｎ ｍｏｂｉｌｅ ｓｃｒｅｅｎである。
【００５５】
図７ａに示されたように、一つの３次元映像スクリーンの境界と視聴者の視線の位置及び方向を基準に視覚投影空間（ｖｉｅｗ ｆｒｕｓｔｕｍ）を定義することができる。また、一つのスクリーンから出力される両眼視差映像は過度な値の範囲内で視聴者が疲労感を感じない程度の境界値に定義される自然な３次元映像表現空間（ＶＰＳ、ＶｐＶＳ、ＭＶＳ）を定義することができる。
【００５６】
一般的にｐｏｓｉｔｉｖｅ ｐａｒａｌｌａｘを利用した遠く離れた感じの立体効果は距離が遠くなるほど視聴者の左右両眼視覚の距離（例：ＩＰＤ‐Ｉｎｔｅｒ Ｐｕｐｉｌ Ｄｉｓｔａｎｃｅ、両眼間の距離）値に近づき、人間の立体空間認知特性から見ると距離が遠くなるほど両眼視差効果よりはオーバーラップ（ｏｖｅｒｌａｐ）のような他の要因で深さを認知する。しかし、物体が視聴者の目前に近づくｎｅｇａｔｉｖｅ ｐａｒａｌｌａｘを利用する場合には両眼視差（ｄ）の絶対値が無限に大きくなり極度の視覚疲労感を誘発させる。よって、一つのスクリーンには自然な立体映像表現空間がｐｏｓｉｔｉｖｅ領域の距離値（Ｄｐ）がｎｅｇａｔｉｖｅ領域の距離値（Ｄｎ）よりも大きな有限な空間に定義されることができる。ここで、非常に遠くにある客体の表現は完全に平行視覚になるので、ｐｏｓｉｔｉｖｅ ｐａｒａｌｌａｘ ａｒｅａは理論的には無限大になるが、視覚疲労度を勘案して一定の領域に限定する。
【００５７】
本願発明の実施の形態によると、多数の３次元ディスプレイ装置を利用して多数の仮想スクリーンを通じて立体映像を表示することによって、上述したような３次元空間感表現の限界を克服することができる。
【００５８】
図７ａに示されたように、視聴者が壁面型３次元ディスプレイが位置した方向を注視する時に、視聴者とスクリーン（ＰＳ）間の距離が遠い場合（Ｄｎ１よりも大きい場合）にはＥＧＤを利用した別途のスクリーン（ｐＶＳ）を通じて視聴者に近い空間に立体映像を提示することができる。
【００５９】
図７ｂは視聴者が左側に視線を移動する場合を示した図であって、視聴者の視点が壁面型３次元ディスプレイの３次元表現空間、即ち外部スクリーン（ＰＳ）の領域を外れる場合にも視聴者視点に応じて移動する他の表現空間（ＶｐＶＳ）（着用型３次元ＥＧＤの３次元表現空間）を利用して立体情報を提示することができる。
【００６０】
図７ｃは、さらに移動型３次元ディスプレイを使用する場合を示す。視聴者は追加のスクリーン（ＭＳ）を表示できる装置を携帯することによって立体映像表現空間を細分化させ、より自然に且つ様々な空間に表現される立体映像情報を体験することができる。特に、図７ｃのように移動型３次元ディスプレイ装置を使用すれば、一般的なＥＧＤ装置が持っている狭い視野角（ＦＯＶ）問題を解決することができる。
【００６１】
図８ａないし図８ｃは本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームで多重ユーザーに対して増強型混合現実３次元映像をディスプレイする応用例を示す図である。
【００６２】
図８ａはユーザーＡが仮想客体の移動経路（画面の外に飛び出す）に応じて自然に３次元空間感を表現できる装置（ＥＧＤ、携帯型３次元ディスプレイ装置など）を活用して立体コンテンツを体験する状況である。
【００６３】
図８ｂは共用ディスプレイ（ＰＳ）から突出される同一な立体映像コンテンツを互いに異なるユーザー（ユーザーＢ、ユーザーＣ）がそれぞれ自身の観点で正確な３次元映像を体験する状況である。ユーザーＢとユーザーＣはそれぞれ自身のＥＧＤ、携帯型３次元ディスプレイ装置など）を活用して同一な仮想客体に対して正確な３次元映像を体験することができる。
【００６４】
図８ｃは、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームに多数のユーザーが参加する複合立体映像体験館の事例を説明している。図８ｃは、仮想の森のインテリアをした体験空間で仮想の森及び仮想及び実物形態の生命体に対する相互作用を多数のユーザー（ユーザーＤないしユーザーＫ）が様々な入出力装置プラットフォームを通じて経験する状況を示す。図８ｃに示されたように、ユーザーは壁（ｗａｌｌ）中の仮想及び実物を利用した展示空間と立体映像及び入出力相互作用インターフェイス（例：ユーザーの位置追跡及びジェスチャーインターフェイス、音声インターフェイスなど視覚‐聴覚‐触覚‐嗅覚‐味覚装置）を通じて仮想と現実空間とが融合された混合現実型サービスを体験することができる。
【００６５】
図９ａないし図１１ｄは、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの様々な応用例を示す図である。
【００６６】
図９ａに示されたように、ボールがゴールポストを外れて視聴者方向に（３Ｄテレビ外部に）飛んでくる状況で、図９ｂに示されたように、３ＤテレビのＶＰＳからＶＯｎに表現できる最大領域までボールが突出表現されて、立体表現空間転移（境界）領域に近づくと視聴者のＥＧＤのＶｐＶＳが活性化される。次に、図９ｃに示されたように、ユーザー視点の移動に連動されて動くＶｐＶＳでボール（ＶＯＥ１）の移動が表現される（この時、ＶＯＥ１は視聴者と３Ｄテレビとの間に定義されるＶＶ領域を外れている）。このように、二つの３次元ディスプレイ装置（３Ｄテレビ及びＥＧＤ）を利用して仮想客体（ＶＯＥ１）の広い移動範囲を表現することができる。
【００６７】
また、図９ｄではＶｐＶＳで表現される他の仮想客体ＶＯＥ２（例：仮想応援団）がＶＯＥ１（ボール）と相互作用（飛んでくるボールを取る）する状況が表現されるものを示している。このように本発明の実施の形態によると、従来には具現できなかった領域の立体映像体験効果が容易に得られる。
【００６８】
図１０ａないし図１０ｄは、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームを利用した他の応用例を示す図である。
【００６９】
図１０ａないし図１０ｄで提示する応用例は、本発明の実施の形態に係る３次元映像ディスプレイシステムをＩＰテレビ技術及びＵＣＣ技術と融合したサービスの事例であって、視聴者は視聴者が所有し制御できる視聴者周辺の３次元仮想空間のコンテンツを多数のユーザーが共有するテレビ番組内部にアップロードして一緒に共有できるサービスを具現する。
【００７０】
図１０ａに示されたように、視聴者が生成したデジタルコンテンツ（ＵＣＣ応援広告）をＶｐＶＳ領域にローディングした後、図１０ｂに示されたように、視聴者がジェスチャーインタラクションでＵＣＣをテレビで表現されるＶＰＳに転送させる命令を入力する。そうすると、図１０ｃに示されたように、テレビが受信したＵＣＣ情報は中央サーバーに転送（ｕpｌｏａｄ）され、図１０ｄに示されたように、放送でＵＣＣ（例：広告）の露出を制御する中央サーバーは視聴者が転送したメッセージを露出制御領域（仮想広告板）に出力する。
【００７１】
図１１ａないし図１１ｄは本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームを利用した他の応用例を示す図である。
【００７２】
図１１ａないし図１１ｄに示される応用例は、本発明の実施例に係る３次元映像ディスプレイシステムとＩＰテレビ技術を活用した、ユーザー志向型広告技術を融合したサービスの事例である。即ち、テレビ番組の内容展開にリアルタイムで反応するインタラクティブ広告（例：韓国が優勝する場合、電化製品の割引イベント広告の露出）を示し、該当広告の対象物がユーザーの生活環境（ｌｉｆｅｓｔｙｌｅ）に適合するかを体験できるよう、本発明の実施の形態に係る増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームで内蔵された入出力センサー（例：ユーザーの居間空間の３次元情報を抽出する立体情報抽出センサー）及び知識データベースを活用して、仮想使用シミュレーション状況を試演することによってユーザーが広告内容をリアル感高く体験することができる。
【００７３】
つまり、図１１ａに示されたように、中央サーバーはコンテンツから発生される特定イベント（例：サッカーのゴールインの瞬間）に反応して特定広告を露出させる。次に、図１１ｂに示されたように、ユーザーの広告拒否行為がない場合、中央サーバーは広告コンテンツに内蔵された仮想客体に対する追加情報（ロボット掃除機の仮想シミュレーションプログラム）をテレビに転送し、テレビは広告コンテンツに含まれた仮想客体（ロボット掃除機）との相互作用のために活用空間の３Ｄ情報が必要なことを認識すれば、テレビに内蔵された３次元空間情報収集装置（３Ｄ ｃａｍ）を利用してテレビ周辺（居間）の３次元空間構造情報をスキャンする。
【００７４】
図１１ｃに示されたように、ユーザーが広告コンテンツ（ロボット掃除機）内容の体験を選択すれば、仮想のロボット掃除機がテレビから出力されて居間空間に移動する。この時、仮想ロボット掃除機がテレビのＶＰＳ領域を離脱する場合、視聴者のＶｐＶＳ領域で可視化される。
【００７５】
図１１ｄに示されたように、仮想ロボット掃除機は収集された居間の３次元空間情報を基準に衝突検査を行いながら、仮想の製品動作試演をシミュレーションし、視聴者は該当製品を実際に購買した場合の状況を仮想体験した後、製品の購買要否を決定することができる。
【００７６】
これと類似した具現可能なシナリオで、ユーザーは着用型衣服、アクセサリー及び家のインテリア用製品の仮想着用及び仮想配置を体験し、広告製品の購入に対する意思決定に利用することができる。
【００７７】
以上、本発明について好ましい実施の形態を基準に説明したが、本発明は必ずしも上述した実施の形態に制限されるのではなく発明の要旨と範囲から外れることなく様々な修正や変形が可能である。添付の特許請求の範囲は本発明の要旨に属する限りこのような修正や変形を含む。
【符号の説明】
【００７８】
１１０ 入出力装置空間設定収集ユニット
１２０ 装置別最適３Ｄ表現空間設定情報ＤＢ
１３０ ３Ｄ映像表現空間分割/共有設定オーサリングユニット
１４０ 仮想空間３ＤコンテンツＤＢ
２１０ ユーザー適応型装置及び映像パラメータ制御ユニット
２２０ ユーザー情報抽出ユニット
２３０ 多重ユーザー参加支援制御ユニット
２４０ リアルタイムコンテンツ情報生成ユニット
３１０ 多重３Ｄ立体空間の間の仮想客体情報入出力制御部
３２０ 共用ディスプレイ装置
３３０ 携帯型ディスプレイ装置
３４０ 個人用着用型ディスプレイ装置
【特許請求の範囲】
【請求項１】
少なくとも一つの３次元ディスプレイ装置を有する多数のディスプレイ装置を互いに連関させて制御する入出力制御部と、
前記ディスプレイ装置の空間設定を収集して３次元立体映像を表現するための物理空間を前記ディスプレイ装置別に分割または共有するようディスプレイ装置別３次元表現空間を設定する事前情報管理部と、
ユーザーの視線情報を有するユーザー情報と仮想空間に対する３次元コンテンツを利用してリアルタイムコンテンツ情報を生成するリアルタイム情報制御部と、を有し、
前記入出力制御部は前記ディスプレイ装置別に設定された３次元表現空間情報と前記ユーザー情報に基づいて前記リアルタイムコンテンツ情報をそれぞれの前記ディスプレイ装置に分配する増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項２】
前記ユーザーが多数の場合、
前記リアルタイム情報制御部は前記多数のユーザーの相互関係をさらに利用して前記リアルタイムコンテンツ情報を生成し、
前記入出力制御部は前記３次元表現空間情報、前記ユーザー情報及び前記多数のユーザーの相互関係に基づいて前記リアルタイムコンテンツ情報を前記ディスプレイ装置に分配する請求項１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項３】
前記ユーザー周囲の物理空間に設けられている入力センサー装置と前記ディスプレイ装置でない他の情報出力装置をさらに有し、
前記事前情報管理部は前記入力センサー装置と前記情報出力装置の設置現況情報をさらに収集する請求項１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項４】
前記事前情報管理部は、
前記３次元表現空間情報と前記仮想空間に対する３次元コンテンツを利用して、設定された物理空間の情報と前記仮想空間の情報を３次元空間での相互配置関係にオーサリング（ａｕｔｈｏｒｉｎｇ）し、前記オーサリングの結果を前記ディスプレイ装置別最適３次元表現空間設定情報に格納する請求項１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項５】
前記オーサリングは、
前記ユーザーによって行なわれたり前記事前情報管理部によって収集された前記ディスプレイ装置の空間設定から自動に行なわれる請求項４に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項６】
前記リアルタイム情報制御部は、
事前に収集された前記ユーザーの個人情報に基づいて前記３次元表現空間情報を修正する請求項１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項７】
前記ディスプレイ装置別前記３次元表現空間情報は互いに重複される領域を持つように設定される請求項１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項８】
前記事前情報管理部は、
前記ディスプレイ装置の空間設定を収集する空間設定収集ユニットと、
前記仮想空間に対する３次元コンテンツを格納する仮想空間３次元コンテンツデータベースと、
設定された前記物理空間の情報と前記仮想空間の情報を３次元空間での相互配置関係にオーサリングするオーサリングユニットと、
前記オーサリングの結果を格納する最適空間設定情報データベースと、
を有する請求項１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項９】
前記リアルタイム情報制御部は、
前記ユーザー情報を抽出するユーザー情報抽出ユニットと、
前記ユーザーが多数の場合、前記多数のユーザーの相互関係を管理する多重ユーザー参加支援ユニットと、
前記ユーザー情報、前記多数のユーザーの相互関係及び前記仮想空間に対する３次元コンテンツに基づいて前記リアルタイムコンテンツ情報を生成するリアルタイムコンテンツ情報生成ユニットと、
前記ユーザー情報を管理し、事前に収集された前記ユーザーの個人情報に基づいて前記ディスプレイ装置別最適３次元表現空間設定情報を修正するユーザー適応型装置及び映像パラメータ制御ユニットと、
を有する請求項８に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項１０】
前記入出力制御部は、
ユーザー適応型装置及び映像パラメータ制御ユニットによって修正された前記ディスプレイ装置別最適３次元表現空間設定情報、前記ユーザー情報、前記多数のユーザーの相互関係に基づいて前記リアルタイムコンテンツ情報を前記ディスプレイ装置に分配する請求項９に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項１１】
少なくとも一つの３次元ディスプレイ装置を有する多数のディスプレイ装置を互いに連関させて制御する入出力制御部と、
前記ディスプレイ装置が表現できる最適の立体空間に対する情報を収集する空間設定収集ユニットと、仮想空間に対する３次元コンテンツを格納する仮想空間３次元コンテンツデータベースと、前記空間設定収集ユニットによって収集された物理空間の情報と前記仮想空間の情報を３次元空間での相互配置関係にオーサリングするオーサリングユニットと、前記オーサリングの結果を前記ディスプレイ装置別最適３次元表現空間設定情報に格納する最適空間設定情報データベースを有する事前情報管理部と、
ユーザー情報を抽出するユーザー情報抽出ユニットと、前記ユーザーが多数の場合、前記多数のユーザーの相互関係を管理する多重ユーザー参加支援ユニットと、前記ユーザー情報、前記多数のユーザーの相互関係及び前記仮想空間に対する３次元コンテンツに基づいてリアルタイムコンテンツ情報を生成するリアルタイムコンテンツ情報生成ユニットと、前記ユーザー情報を管理し事前に収集された前記ユーザーの個人情報に基づいて前記ディスプレイ装置別最適３次元表現空間設定情報を修正するユーザー適応型装置及び映像パラメータ制御ユニットを含むリアルタイム情報制御部と、
を有する増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項１２】
前記ユーザー情報は、
ユーザーの両眼６自由度情報、視線方向、焦点情報及び前記ユーザーが相互作用できる前記ディスプレイ装置を含む入出力装置に対する情報を有する請求項１１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項１３】
前記入出力制御部は、
前記ユーザー適応型装置及び映像パラメータ制御ユニットによって修正された前記ディスプレイ装置別最適３次元表現空間設定情報、前記ユーザー情報、前記多数のユーザーの相互関係に基づいて前記リアルタイムコンテンツ情報を前記ディスプレイ装置に分配する請求項１１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項１４】
少なくとも一つの３次元ディスプレイ装置を有する多数のディスプレイ装置から表現できる最適の立体空間に対する情報を収集するステップと、
収集された前記最適の立体空間に対する情報に基づいて３次元立体映像を表現するための物理空間を前記ディスプレイ装置別に分割または共有するようディスプレイ装置別３次元表現空間を設定するステップと、
ユーザーの両眼６自由度情報と視線方向及び焦点情報を有するユーザー情報を収集するステップと、
仮想空間に対する３次元コンテンツと前記ユーザー情報を利用してリアルタイムコンテンツ情報を生成するステップと、
前記ユーザー情報と前記ディスプレイ装置別に設定された３次元表現空間情報に基づいて前記リアルタイムコンテンツ情報をそれぞれの前記ディスプレイ装置に分配するステップと、
を有する増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法。
【請求項１５】
前記リアルタイムコンテンツ情報は仮想立体コンテンツに対する情報を有し、
前記分配するステップ以降に、
前記仮想立体コンテンツを前記ディスプレイ装置別に前記仮想空間内に表示するステップをさらに有する請求項１４に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法。
【請求項１６】
前記多数のディスプレイ装置は、二人以上の前記ユーザに対してそれぞれ割り当てられた少なくとも一つの携帯型３次元ディスプレイ装置を有し、
前記二人以上のユーザは、それぞれ自身に割り当てられた前記携帯型３次元ディスプレイ装置を通じて３次元映像を獲得できる請求項１５に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法。
【請求項１７】
前記多数のディスプレイ装置は、前記ユーザの携帯型３次元ディスプレイ装置を含む２つ以上の３次元ディスプレイ装置を有し、これによって前記２つ以上の３次元ディスプレイ装置の表現領域を連動して前記仮想客体を表示できる請求項１５に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法。
【請求項１８】
前記ユーザが所有し制御できる前記ユーザ周囲の３次元仮想空間のコンテンツを前記仮想空間に対する前記リアルタイムコンテンツ情報に加えるステップをさらに有し、これによって前記ユーザ周囲の３次元仮想空間のコンテンツが他のユーザに表示される請求項１４に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法。
【請求項１９】
前記ユーザ周囲の３次元仮想空間のコンテンツはユーザ作成コンテンツ（ＵＣＣ：Ｕｓｅｒ Ｃｒｅａｔｅｄ Ｃｏｎｔｅｎｔｓ）を有する請求項１８に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法。
【請求項２０】
前記リアルタイムコンテンツ情報にリアルタイムで反応するインタラクティブ広告コンテンツを前記仮想空間に対する前記リアルタイムコンテンツ情報に加えるステップと、
前記増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームに内蔵された入出力センサー及び知識データベースを利用して仮想シミュレーション状況を試演するステップと、
をさらに有する請求項１４に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法。
【請求項１】
少なくとも一つの３次元ディスプレイ装置を有する多数のディスプレイ装置を互いに連関させて制御する入出力制御部と、
前記ディスプレイ装置の空間設定を収集して３次元立体映像を表現するための物理空間を前記ディスプレイ装置別に分割または共有するようディスプレイ装置別３次元表現空間を設定する事前情報管理部と、
ユーザーの視線情報を有するユーザー情報と仮想空間に対する３次元コンテンツを利用してリアルタイムコンテンツ情報を生成するリアルタイム情報制御部と、を有し、
前記入出力制御部は前記ディスプレイ装置別に設定された３次元表現空間情報と前記ユーザー情報に基づいて前記リアルタイムコンテンツ情報をそれぞれの前記ディスプレイ装置に分配する増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項２】
前記ユーザーが多数の場合、
前記リアルタイム情報制御部は前記多数のユーザーの相互関係をさらに利用して前記リアルタイムコンテンツ情報を生成し、
前記入出力制御部は前記３次元表現空間情報、前記ユーザー情報及び前記多数のユーザーの相互関係に基づいて前記リアルタイムコンテンツ情報を前記ディスプレイ装置に分配する請求項１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項３】
前記ユーザー周囲の物理空間に設けられている入力センサー装置と前記ディスプレイ装置でない他の情報出力装置をさらに有し、
前記事前情報管理部は前記入力センサー装置と前記情報出力装置の設置現況情報をさらに収集する請求項１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項４】
前記事前情報管理部は、
前記３次元表現空間情報と前記仮想空間に対する３次元コンテンツを利用して、設定された物理空間の情報と前記仮想空間の情報を３次元空間での相互配置関係にオーサリング（ａｕｔｈｏｒｉｎｇ）し、前記オーサリングの結果を前記ディスプレイ装置別最適３次元表現空間設定情報に格納する請求項１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項５】
前記オーサリングは、
前記ユーザーによって行なわれたり前記事前情報管理部によって収集された前記ディスプレイ装置の空間設定から自動に行なわれる請求項４に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項６】
前記リアルタイム情報制御部は、
事前に収集された前記ユーザーの個人情報に基づいて前記３次元表現空間情報を修正する請求項１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項７】
前記ディスプレイ装置別前記３次元表現空間情報は互いに重複される領域を持つように設定される請求項１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項８】
前記事前情報管理部は、
前記ディスプレイ装置の空間設定を収集する空間設定収集ユニットと、
前記仮想空間に対する３次元コンテンツを格納する仮想空間３次元コンテンツデータベースと、
設定された前記物理空間の情報と前記仮想空間の情報を３次元空間での相互配置関係にオーサリングするオーサリングユニットと、
前記オーサリングの結果を格納する最適空間設定情報データベースと、
を有する請求項１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項９】
前記リアルタイム情報制御部は、
前記ユーザー情報を抽出するユーザー情報抽出ユニットと、
前記ユーザーが多数の場合、前記多数のユーザーの相互関係を管理する多重ユーザー参加支援ユニットと、
前記ユーザー情報、前記多数のユーザーの相互関係及び前記仮想空間に対する３次元コンテンツに基づいて前記リアルタイムコンテンツ情報を生成するリアルタイムコンテンツ情報生成ユニットと、
前記ユーザー情報を管理し、事前に収集された前記ユーザーの個人情報に基づいて前記ディスプレイ装置別最適３次元表現空間設定情報を修正するユーザー適応型装置及び映像パラメータ制御ユニットと、
を有する請求項８に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項１０】
前記入出力制御部は、
ユーザー適応型装置及び映像パラメータ制御ユニットによって修正された前記ディスプレイ装置別最適３次元表現空間設定情報、前記ユーザー情報、前記多数のユーザーの相互関係に基づいて前記リアルタイムコンテンツ情報を前記ディスプレイ装置に分配する請求項９に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項１１】
少なくとも一つの３次元ディスプレイ装置を有する多数のディスプレイ装置を互いに連関させて制御する入出力制御部と、
前記ディスプレイ装置が表現できる最適の立体空間に対する情報を収集する空間設定収集ユニットと、仮想空間に対する３次元コンテンツを格納する仮想空間３次元コンテンツデータベースと、前記空間設定収集ユニットによって収集された物理空間の情報と前記仮想空間の情報を３次元空間での相互配置関係にオーサリングするオーサリングユニットと、前記オーサリングの結果を前記ディスプレイ装置別最適３次元表現空間設定情報に格納する最適空間設定情報データベースを有する事前情報管理部と、
ユーザー情報を抽出するユーザー情報抽出ユニットと、前記ユーザーが多数の場合、前記多数のユーザーの相互関係を管理する多重ユーザー参加支援ユニットと、前記ユーザー情報、前記多数のユーザーの相互関係及び前記仮想空間に対する３次元コンテンツに基づいてリアルタイムコンテンツ情報を生成するリアルタイムコンテンツ情報生成ユニットと、前記ユーザー情報を管理し事前に収集された前記ユーザーの個人情報に基づいて前記ディスプレイ装置別最適３次元表現空間設定情報を修正するユーザー適応型装置及び映像パラメータ制御ユニットを含むリアルタイム情報制御部と、
を有する増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項１２】
前記ユーザー情報は、
ユーザーの両眼６自由度情報、視線方向、焦点情報及び前記ユーザーが相互作用できる前記ディスプレイ装置を含む入出力装置に対する情報を有する請求項１１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項１３】
前記入出力制御部は、
前記ユーザー適応型装置及び映像パラメータ制御ユニットによって修正された前記ディスプレイ装置別最適３次元表現空間設定情報、前記ユーザー情報、前記多数のユーザーの相互関係に基づいて前記リアルタイムコンテンツ情報を前記ディスプレイ装置に分配する請求項１１に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム。
【請求項１４】
少なくとも一つの３次元ディスプレイ装置を有する多数のディスプレイ装置から表現できる最適の立体空間に対する情報を収集するステップと、
収集された前記最適の立体空間に対する情報に基づいて３次元立体映像を表現するための物理空間を前記ディスプレイ装置別に分割または共有するようディスプレイ装置別３次元表現空間を設定するステップと、
ユーザーの両眼６自由度情報と視線方向及び焦点情報を有するユーザー情報を収集するステップと、
仮想空間に対する３次元コンテンツと前記ユーザー情報を利用してリアルタイムコンテンツ情報を生成するステップと、
前記ユーザー情報と前記ディスプレイ装置別に設定された３次元表現空間情報に基づいて前記リアルタイムコンテンツ情報をそれぞれの前記ディスプレイ装置に分配するステップと、
を有する増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法。
【請求項１５】
前記リアルタイムコンテンツ情報は仮想立体コンテンツに対する情報を有し、
前記分配するステップ以降に、
前記仮想立体コンテンツを前記ディスプレイ装置別に前記仮想空間内に表示するステップをさらに有する請求項１４に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法。
【請求項１６】
前記多数のディスプレイ装置は、二人以上の前記ユーザに対してそれぞれ割り当てられた少なくとも一つの携帯型３次元ディスプレイ装置を有し、
前記二人以上のユーザは、それぞれ自身に割り当てられた前記携帯型３次元ディスプレイ装置を通じて３次元映像を獲得できる請求項１５に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法。
【請求項１７】
前記多数のディスプレイ装置は、前記ユーザの携帯型３次元ディスプレイ装置を含む２つ以上の３次元ディスプレイ装置を有し、これによって前記２つ以上の３次元ディスプレイ装置の表現領域を連動して前記仮想客体を表示できる請求項１５に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法。
【請求項１８】
前記ユーザが所有し制御できる前記ユーザ周囲の３次元仮想空間のコンテンツを前記仮想空間に対する前記リアルタイムコンテンツ情報に加えるステップをさらに有し、これによって前記ユーザ周囲の３次元仮想空間のコンテンツが他のユーザに表示される請求項１４に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法。
【請求項１９】
前記ユーザ周囲の３次元仮想空間のコンテンツはユーザ作成コンテンツ（ＵＣＣ：Ｕｓｅｒ Ｃｒｅａｔｅｄ Ｃｏｎｔｅｎｔｓ）を有する請求項１８に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法。
【請求項２０】
前記リアルタイムコンテンツ情報にリアルタイムで反応するインタラクティブ広告コンテンツを前記仮想空間に対する前記リアルタイムコンテンツ情報に加えるステップと、
前記増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームに内蔵された入出力センサー及び知識データベースを利用して仮想シミュレーション状況を試演するステップと、
をさらに有する請求項１４に記載の増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォームの運営方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７ａ】
【図７ｂ】
【図７ｃ】
【図８ａ】
【図８ｂ】
【図８ｃ】
【図９ａ】
【図９ｂ】
【図９ｃ】
【図９ｄ】
【図１０ａ】
【図１０ｂ】
【図１０ｃ】
【図１０ｄ】
【図１１ａ】
【図１１ｂ】
【図１１ｃ】
【図１１ｄ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７ａ】
【図７ｂ】
【図７ｃ】
【図８ａ】
【図８ｂ】
【図８ｃ】
【図９ａ】
【図９ｂ】
【図９ｃ】
【図９ｄ】
【図１０ａ】
【図１０ｂ】
【図１０ｃ】
【図１０ｄ】
【図１１ａ】
【図１１ｂ】
【図１１ｃ】
【図１１ｄ】
【公開番号】特開２０１２−１２８８５４（Ｐ２０１２−１２８８５４Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１１−２６７８７０（Ｐ２０１１−２６７８７０）
【出願日】平成２３年１２月７日（２０１１．１２．７）
【出願人】（５９６１８００７６）韓國電子通信研究院 (733)
【氏名又は名称原語表記】Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ
【住所又は居所原語表記】１６１ Ｋａｊｏｎｇ−ｄｏｎｇ， Ｙｕｓｏｎｇ−ｇｕ， Ｔａｅｊｏｎ ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２３年１２月７日（２０１１．１２．７）
【出願人】（５９６１８００７６）韓國電子通信研究院 (733)
【氏名又は名称原語表記】Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ
【住所又は居所原語表記】１６１ Ｋａｊｏｎｇ−ｄｏｎｇ， Ｙｕｓｏｎｇ−ｇｕ， Ｔａｅｊｏｎ ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]