立体映像インタラクティブシステム
【課題】立体映像インタラクティブシステムの提供。
【解決手段】立体映像インタラクティブシステムは、立体映像キャプチャモジュール、立体映像処理ユニット、ホストマシンと立体映像表示モジュールで構成される。立体映像表示モジュールが立体映像を表示する時、立体映像キャプチャモジュールが操作体の動作映像を取得した後、該立体映像処理ユニットが動作特徴を取得し、中央処理装置に伝送し、該中央処理装置は該動作特徴においてのリアルタイム動作を計算し、立体映像表示モジュールが表示する立体映像が動作特徴により対応する変化を発生し、これにより、実体空間中での仮想の立体映像を表示し、且つ操作体が直接立体映像上でリアルタイムのインタラクティビティを実行できる。このほか、表示する立体映像が立体映像キャプチャモジュールが撮影した第１立体映像由来か、或いはホストマシン内部の保存ユニットに予め保存された第２立体映像由来とされる。
【解決手段】立体映像インタラクティブシステムは、立体映像キャプチャモジュール、立体映像処理ユニット、ホストマシンと立体映像表示モジュールで構成される。立体映像表示モジュールが立体映像を表示する時、立体映像キャプチャモジュールが操作体の動作映像を取得した後、該立体映像処理ユニットが動作特徴を取得し、中央処理装置に伝送し、該中央処理装置は該動作特徴においてのリアルタイム動作を計算し、立体映像表示モジュールが表示する立体映像が動作特徴により対応する変化を発生し、これにより、実体空間中での仮想の立体映像を表示し、且つ操作体が直接立体映像上でリアルタイムのインタラクティビティを実行できる。このほか、表示する立体映像が立体映像キャプチャモジュールが撮影した第１立体映像由来か、或いはホストマシン内部の保存ユニットに予め保存された第２立体映像由来とされる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一種の立体映像インタラクティブシステム、特に使用者が立体映像をリアルタイム操作できる立体映像インタラクティブシステムに関する。
【背景技術】
【０００２】
現在よく知られている技術には、偏波分割法（ｐｏｌａｒｉｚａｔｉｏｎ ｄｉｖｉｓｉｏｎ ｍｅｔｈｏｄ）、時分割法（ｔｉｍｅ ｄｉｖｉｓｉｏｎ ｍｅｔｈｏｄ）、波長分割法（ｗａｖｅｌｅｎｇｔｈ ｄｉｖｉｓｉｏｎ ｍｅｔｈｏｄ）及び空間分割法（ｓｐａｔｉａｌ ｄｉｖｉｓｉｏｎ ｍｅｔｈｏｄ）等がある（これらの立体映像表示方法はすでに公開されている技術であり、また、本発明の訴求ではないため、詳しくは説明しない）。以上の四種類の方法はまた、アイグラスタイプ３Ｄシステムと称され、その表示する立体映像は、それに対応した立体眼鏡を装着して観る必要があり、一般人には普通に受け入れられ難い。これにより、眼鏡装着不要、自由な鑑賞空間の特徴が、現在の立体映像表示の発展方向である。現行の裸眼で観ることのできる立体映像表示方法は、レンチキュラーシート（ｌｅｎｔｉｃｕｌａｒ ｓｈｅｅｔ）、視差バリア法（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒ ｍｅｔｈｏｄ）、ダブル視差バリア法、或いはスリットソース法（ｓｌｉｔ ｓｏｕｒｃｅ ｍｅｔｈｏｄ）の方式により実現される。
【０００３】
現行のリアルタイム立体映像表示技術には、例えば特許文献１に記載されている連続立体映像の生成方法があり、それは複数の撮影装置で物体の表面をキャプチャした後、液晶パネル等のディスプレイ上にリアルタイム表示し、並びに座標予測と座標計算等の方式を通し、立体映像表示を更にリアルなものとする。しかし、この特許は立体映像を表示できるものの、使用者は直接に立体映像上で編集動作、例えば拡大、縮小、回転等を実行することができず、ゆえに、使用者はキーボード、マウス等の装置を使用しなければ、立体映像の編集動作を行えない。
【０００４】
このほか、上述の現実空間において立体映像を表示するほか、平面映像中に立体物品を表示する技術の歴史も長い。例えば各種のゲーム或いはデジタルビデオ等は、平面中に立体の物品を表示する。立体物品が生き物でない場合、その動作の特徴は相当容易に設計できるが、立体物品が生き物である場合は、その動作特徴の設計は相当に複雑となる。人体を例に挙げると、肢体上の動作はプログラムの計算とシミュレートにより完成され得るが、表現される効果は滑らかさがなく、且つ不自然である。
【０００５】
このため、業者はモーションキャプチャ（ｍｏｔｉｏｎ ｃａｐｔｕｒｅ；Ｍｏｃａｐ）の技術を発明した。常用されるモーションキャプチャ技術は原理上、機械式、音声学習式、電磁式と光学式等がある。技術的角度からは、モーションキャプチャは実質的に、物品の三次元空間の運動軌跡の測定、追跡、記録である。ここでは現在最も広く応用されている光学式モーションキャプチャについてのみ概略を説明する。
【０００６】
光学式モーションキャプチャは、目標上の特定光点の監視と追跡によりモーションキャプチャの任務を完成する。現在よく見られる光学式モーションキャプチャのほとんどは、計算機視覚原理に基づいている。理論上では、空間中の一つの点に対しては、同時に２部のカメラで見ればよく、すなわち、同一時間で、２部のカメラで撮影した画像とカメラパラメータに基づき、この時間の該点の空間中での位置を確定できる。カメラで高速で連続撮影する時、画像序列中より該点の運動軌跡を得られる。
【０００７】
光学式モーションキャプチャの長所はパフォーマーの活動範囲が大きく、ケーブルや機械装置の制限がなく、パフォーマーが自由にパフォーマンスでき、使用に非常に便利なことである。更に、光学式モーションキャプチャのサンプリング速度は比較的高く、多数の高速運動測量の需要を満足させられる。
【０００８】
このような特許には、特許文献２があり、それはビデオゲームキャラクターを制御するためのリアルタイム動態モーションキャプチャ方法を提供している。それによると、制御物品のモデルを定義することから開始し、その後、該モデル上のマークの位置を確認する。続いて、該制御物品関係の動作をキャプチャする。その後、該制御物品関係の動作を解釈して該モデルの状態を変更し、続いて、該モデルの状態の変更に基づきスクリーン上に表示されるキャラクター動作を変更する。しかしこの特許は、依然として、使用者の動作をリアルタイムでキャプチャして、スクリーンに表示される映像を制御することができるものの、それは平面の映像に限られ、立体の映像を表示できないばかりか、インタラクティブでない。
【０００９】
特許文献３は深度感知のセンサを採用してハンドジェスチャー認識するシステムを開示しており、それは、複数のセンサを利用してハンドジェスチャー認識し、ディスプレイに表示する画像に、ハンドジェスチャーに対応する動作を発生させる。この特許は、使用者の動作を検出できるが、それは僅かに手部の動作に限定され、人体の全ての肢体動作に対して検出を行うことはできない。
【００１０】
特許文献４は、ハンドジェスチャー認識方法を提供し、それは、予め、手、手指等の関係する映像ファイルを構築し、並びに人体関節位置により関節点のデータベースを生成し、すなわち、ハンドジェスチャーが発生する時、正確にハンドジェスチャーを認識する。この特許は使用者の動作を検出できるが、それは僅かに手部の動作に限定され、人体の全ての肢体動作に対して検出を行うことはできない。
【００１１】
特許文献５は、個人のコンピュータ正面における運動モードを分析するためのシステムと検出方法を提供し、それは、複数のビデオカメラにより使用者の動作データを取得し、並びに使用者の動作状態を取得し、リアルタイムでディスプレイ上に表示する。この特許は直接に使用者とのインタラクティビティを形成できず、使用者の動作をリアルタイムにキャプチャできるだけであり、アプリケーションプログラム、例えばゲーム等とインタラクティブでない。
【００１２】
特許文献６は、検出エリアの複数のセンサを調整して、一つの矩形の検出立体エリアを提供し、使用者のハンドジェスチャーはいずれもこの立体エリア内で完成される。立体エリアの全ての座標は予め規定され、このため、容易にハンドジェスチャーを識別できる。
【００１３】
特許文献７は、ハンドジェスチャー認識以外に、シミュレート制御の方式により、ハンドジェスチャー認識の前に、更に正確にハンドジェスチャー映像を構築し、同時に予めハンドジェスチャーをシミュレートし、正確なハンドジェスチャー認識を達成する。しかし上述の二つの特許の主要な目的は、ただハンドジェスチャー認識を更に正確にすることに過ぎず、単純なハンドジェスチャー認識技術下での改良特許であり、ゆえにインタラクティブ機能と応用を有さない。
【００１４】
特許文献８は、室内のプラニングと設計システムを提供し、それは仮想の空間を包含する。該仮想の空間は仮想の物理空間、仮想物品データベース、該仮想物品は仮想の設備、機器と該空間に置かれた物品、及びユーザーインタフェースを包含し、該ユーザーインタフェースは、第１ユーザーインタフェース手段と第２ユーザーインタフェース手段を包含し、該第１ユーザーインタフェース手段の機能は仮想物品データベースより仮想物品を選択し、物品を該仮想空間中に置くことで、第２ユーザーインタフェース手段はこの仮想物品を該仮想空間中の位置及び方向を処理する。この特許は使用者が仮想空間中で仮想物品をレイアウトできるようにするが、全体の動作は外部の入力装置、例えばタッチパネル、キーボード、マウス等を通して行われなければならず、且つその表現の方式は、フラットディスプレイを必要とする。これにより、全てのインタラクティブ過程はいずれもディスプレイ内で表示される映像中にあり、立体映像と使用者の直接インタラクティビティは達成できない。
【００１５】
特許文献９は、モーションキャプチャの技術をテレビゲームに結合し、並びに複数の立体映像ビデオカメラにより使用者の動作を取得し、使用者をディスプレイに表示される平面映像とインタラクティブとしている。この特許に関係する特許としては、例えば特許文献１０がある。これにより、特許文献９は平面映像のインタラクティビティに限定され、表示される映像が立体映像であると、立体映像とのインタラクティビティを達成できない。
【００１６】
平面表示の立体物品において、モーションキャプチャの方式により、物品のリアルタイム操作を実行できる。しかし、前述したことから分かるように、立体映像の表示は将来の重要な表示技術であり、且つ立体映像は立体映像表示装置により投影された後、現実の空間中に表示される。言い換えると、使用者の観点からは、立体映像の位置は、立体映像表示装置と肉眼の間の仮想の空間にあり、使用者が立体映像を操作する時、例えば、回転、引き伸ばし、分解、組合せ、変形或いは移動等をするとき、無意識で肢体を用いて仮想の立体映像に接触しており、これは一種の直覚的反応である。
【００１７】
しかし、現行の操作技術は尚も実体接触の入力装置、例えばキーボード、マウス、トラックボール、タッチパネル等によって仮想の立体映像を操作する必要がある。ゆえに、前述の立体映像表示技術は実体接触の入力装置により操作を行わねばならない。
このほか、前述の特許はリアルタイムモーションキャプチャの技術を有するとはいえ、平面表示での立体物品に限定され、並びに実体空間中に表示される立体映像に対して操作を行うことはできない。このため、いかに立体映像に肢体動作を組合せ、対応する変化を発生させるかが、本発明の構想を発生させた。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】米国特許公告第６４０４９１３号
【特許文献２】台湾特許公告第Ｉ２７４２９５号
【特許文献３】米国特許公告第７３４００７７号
【特許文献４】米国特許公告第６７８８８０９号
【特許文献５】米国特許公告第７２７４８０３号
【特許文献６】米国特許公告第２００６０２８８３１３号
【特許文献７】米国特許公告第２００８００１３７９３号
【特許文献８】米国特許公告第７１３９６８５号
【特許文献９】米国特許公告第２００６００３３７１３号
【特許文献１０】米国特許公告第２００６０２０２９５３号
【発明の概要】
【発明が解決しようとする課題】
【００１９】
上述の要求を鑑み、本発明者は研究に励み、並びにこの事業における長年の経験から、終に斬新な立体映像インタラクティブシステムを設計した。
【００２０】
本発明の目的の一つは、物品映像を取得し並びに立体映像表示ができる立体映像インタラクティブシステムを提供することである。
本発明の目的の一つは、立体映像をリアルタイム操作できる立体映像インタラクティブシステムを提供することである。
本発明の目的の一つは、立体映像に直接接触し並びにインタラクティブ機能を実行できる立体映像インタラクティブシステムを提供することである。
本発明の目的の一つは、立体状況を発生可能な立体映像インタラクティブシステムを提供することである。
本発明の目的の一つは、立体空間容積率計算を実行できる立体映像インタラクティブシステムを提供することである。
本発明の目的の一つは、複数の操作体でリアルタイム操作が行える立体映像インタラクティブシステムを提供することである。
【課題を解決するための手段】
【００２１】
上述の目的を達成するため、本発明の立体映像インタラクティブシステムは、
立体映像キャプチャモジュールであって、所定物品の複数の物品映像を取得するのに用いられ、及び、操作体の動作映像を取得するのに用いられる一つ或いは複数の立体映像キャプチャユニットを有する、上記立体映像キャプチャモジュールと、
立体映像処理ユニットであって、これら立体映像キャプチャユニットに電気的に接続され、これら物品映像を整合して第１立体映像となし、該動作映像中より動作特徴を取得する、上記立体映像処理ユニットと、
ホストマシンであって、該立体映像処理ユニットに電気的に接続された中央処理装置、及び該中央処理装置に電気的に接続された保存ユニットを包含し、
該保存ユニット内に第２立体映像が予め保存され、並びに該保存ユニットは該第１立体映像の保存に用いられ、
該中央処理装置は該立体映像処理ユニットに電気的に接続され、これらの立体映像が該動作特徴においてのリアルタイム動作を計算する、上記ホストマシンと、
立体映像表示モジュールであって、該中央処理装置に電気的に接続されて、これら立体映像のリアルタイム動作を表示する、上記立体映像表示モジュールと、
を包含する。
【００２２】
立体映像を表示する時、該立体映像キャプチャモジュールが該操作体の動作映像を取得した後、該立体映像処理ユニットが該動作映像中より該動作特徴を取得し、並びに該中央処理装置に伝送し、該中央処理装置が該立体映像の該動作特徴に対するリアルタイム動作を計算し、この時、立体映像表示モジュールが表示する該立体映像が該動作特徴により対応する変化を発生し、これにより、実体空間中での仮想の立体映像の表示を達成し、且つ該操作体が直接立体映像上でリアルタイムのインタラクティブ機能を実行する。
【００２３】
注意すべきことは、該立体映像キャプチャモジュールは同時に複数の該操作体の複数の該動作映像を取得できることであり、すなわち、該立体映像処理ユニットはこれら動作映像により複数の該動作特徴を発生し、これにより、該中央処理装置はこれら立体映像のこれら動作特徴に対するリアルタイム動作を計算する。
【００２４】
本明細書中、該操作体の定義は、一般に知られているスタイラスペン、手指のほか、人体の五官四肢、ゲームツール等を包含し、該立体映像キャプチャモジュールにより動作映像、動作特徴を取得されるものは、いずれも該操作体の範疇に属する。このほか、該物品の定義は、どのような形態にも限定されず、該立体映像キャプチャモジュールにより映像キャプチャされて立体映像に合成され得る物品、例えば、人体、ゲームツール、生活周辺の器具等は、いずれも本明細書で述べる物品の範疇に属する。
【発明の効果】
【００２５】
本発明の立体映像インタラクティブシステムは、立体映像キャプチャモジュール、立体映像処理ユニット、ホストマシンと立体映像表示モジュールで構成される。立体映像表示モジュールが立体映像を表示する時、立体映像キャプチャモジュールが操作体の動作映像を取得した後、該立体映像処理ユニットが動作映像中より動作特徴を取得し、並びに中央処理装置に伝送し、中央処理装置が立体映像の動作特徴に対するリアルタイム動作を計算し、このとき、立体映像表示モジュールが表示する立体映像が動作特徴により対応する変化を発生し、これにより、実体空間中での仮想の立体映像の表示を達成し、且つ操作体が直接立体映像上でリアルタイムのインタラクティビティを実行できる。このほか、表示する立体映像が立体映像キャプチャモジュールが撮影した第１立体映像由来か、或いはホストマシン内部の保存ユニットに予め保存された第２立体映像由来とされる。
【図面の簡単な説明】
【００２６】
【図１】本発明の好ましい実施例のブロック図である。
【図２】本発明の好ましい実施例のフローチャート一である。
【図３】本発明の好ましい実施例のフローチャート二である。
【図４】本発明の好ましい実施例のフローチャート三である。
【図５】本発明の好ましい実施例のフローチャート四である。
【図６】本発明の好ましい実施例のフローチャート五である。
【図７】本発明の好ましい実施例のフローチャート六である。
【図８】本発明の好ましい実施例の表示図一である。
【図９】本発明の好ましい実施例の表示図二である。
【図１０】本発明の好ましい実施例の表示図三である。
【図１１】本発明の好ましい実施例の表示図四である。
【図１２】本発明の好ましい実施例の表示図五である。
【図１３】本発明の好ましい実施例の表示図六である。
【図１４】本発明の好ましい実施例のフローチャート七である。
【発明を実施するための形態】
【００２７】
図１は本発明の好ましい実施例のブロック図である。図示されるように、本発明の立体映像インタラクティブシステムは、立体映像キャプチャモジュール１、立体映像処理ユニット２、ホストマシン３、及び立体映像表示モジュール４で構成される。
【００２８】
そのうち、立体映像キャプチャモジュール１は、一つ或いは複数の立体映像キャプチャユニット１１を有し、該立体映像キャプチャユニット１１は、所定物品の複数の物品映像を取得するのに用いられ、及び、操作体の動作映像を取得するのに用いられる。これら立体映像キャプチャユニット１１は、電荷結合素子（ＣＣＤ）或いは相補型金属酸化膜半導体（ＣＭＯＳ）で構成された感光素子のいずれかとされる。該立体映像キャプチャユニット１１が電荷結合素子とされる時、ライナーＣＣＤ、インターライントランスファーＣＣＤ、フルフレームＣＣＤ、フレームトランスファーＣＣＤで構成された電荷結合素子群より選択される。
【００２９】
該立体映像処理ユニット２はこれら立体映像キャプチャユニット１１に電気的に接続され、これら物品映像を整合して第１立体映像となすと共に、該動作映像中より動作特徴を取得する。
【００３０】
該ホストマシン３は該立体映像処理ユニット２に電気的に接続された中央処理装置３１、及び該中央処理装置３１に電気的に接続された保存ユニット３２を包含する。
【００３１】
該保存ユニット３２内には第２立体映像が予め保存され、並びに該保存ユニット３２は該第１立体映像を保存するのに用いられ、また該保存ユニット３２内部には一つ或いは複数のアプリケーションプログラム３３が保存され、該アプリケーションプログラム３３はＣＡＤソフトウエア、映像編集ソフトウエア等とされ得る。該保存ユニット３２はハードディスク、光ディスク、メモリカード或いはメモリ等とされ得る。
【００３２】
該中央処理装置は該立体映像処理ユニットに電気的に接続され、これらの立体映像が該動作特徴においてのリアルタイム動作を計算する、例えば、該立体映像が三角錐体を表示し、且つ尖端部分が使用者の肉眼が直視する方向に向いていると、このとき、該動作特徴は上から下であると、該三角錐体はそれに伴い回転し、底部の平坦面が使用者の肉眼直視の方向に対向する。この部分の記述は該立体映像と動作特徴間のインタラクティブ関係を説明するために例示したものに過ぎず、その他の任意の角度の回転、拡大動作、水平或いは垂直の移動等、或いは該動作特徴が該立体映像に発生させる変形、例えば引き伸ばし、陥没、湾曲等もまた、本発明の保護の範疇に属する。且つ該立体映像処理ユニット２が該立体映像のリアルタイム動作計算を実行する時、座標計算の方式により実行可能で、所謂座標計算は、一般的な座標システム、例えば相対座標、極座標、球座標或いは空間座標に用いられる計算方式のいずれかとされる。
【００３３】
また、該操作体が複数とされる時、該立体映像キャプチャモジュール１はこれら操作体の複数の動作映像を同時に取得し並びに該立体映像処理ユニット２に伝送し、すなわち、該立体映像処理ユニット２がこれら動作映像により複数の該動作特徴を生成し、該中央処理装置３１に、これら動作特徴により該立体映像のリアルタイム動作を計算させる。
【００３４】
さらに、該ホストマシン３はパーソナルコンピュータ、ノートブック型コンピュータ或いはゲーム機等と見なし得て、並びにその使用の形式は限定されない。及び、該立体映像処理ユニット２は実際の使用時には、該中央処理装置３１と電気的に接続された集積回路形式、或いは該中央処理装置３１内に記録されたファームウエア形式、或いは該中央処理装置３１により読み取られ演算されるソフトウエア形式とされるか、或いはアクティブ素子とパッシブ素子で構成された電子回路形式とされる。
【００３５】
該立体映像表示モジュール４には表示ユニット４１と該表示ユニット４１に電気的に接続された立体成像ユニット４２が設けられている。該中央処理装置３１は該表示ユニット４１に電気的に接続される。
【００３６】
該表示ユニット４１は、これら立体映像のリアルタイム動作を表示するのに用いられ、陰極線管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、真空蛍光ディスプレイ（ＶＦＤ）、プラズマディスプレイパネル（ＰＤＰ）、表面伝導型電子放出（ＳＥＤ）ディスプレイ或いは電界放出ディスプレイ（ＦＥＤ）或いは電子ペーパー（Ｅ−Ｐａｐｅｒ）等とされ、いずれも該表示ユニット４１が規定する範疇に属し、並びに該表示ユニット４１の形態を限定しない。該表示ユニット４１が液晶ディスプレイ（ＬＣＤ）とされる時、それはねじれネマティック型（ＴＮ）液晶ディスプレイ、垂直配向（ＶＡ）液晶ディスプレイ、マルチドメイン垂直配向（ＭＶＡ）液晶ディスプレイ、パターン化垂直配向（Ｐａｔｔｅｒｎｅｄ Ｖｅｒｔｉｃａｌ
Ａｌｉｇｎｍｅｎｔ；ＰＶＡ）液晶ディスプレイ、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ Ｓｗｉｔｃｈｉｎｇ）液晶ディスプレイ、ＣＰＡ（Ｃｏｎｔｉｎｕｏｕｓ Ｐｉｎｗｈｅｅｌ Ａｌｉｇｎｍｅｎｔ）液晶ディスプレイ、ＯＣＢ（Ｏｐｔｉｃａｌ Ｃｏｍｐｅｎｅｓａｔｅｄ Ｂｅｎｄ）液晶ディスプレイからなる群のいずれかを包含する。該表示ユニット４１が有機発光ダイオード（ＯＬＥＤ）ディスプレイとされる時、それは、能動マトリクス型有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、受動マトリクス型有機発光ダイオード（ＰＭＯＬＥＤ）ディスプレイからなる群のいずれかとされる。
【００３７】
表示ユニット４１が立体映像を発生した後、該立体成像ユニット４２がそれを受け取り、該立体映像を多重映像に変換し、それは該立体映像を人の肉眼で映像を見るときの特性により、左眼と右眼がそれぞれ受け取る映像に区分し、肉眼視差で受け取った後に該立体映像となるようにし、また、該立体成像ユニット４２は光回折素子（ｌｉｇｈｔ ｇｒａｔｉｎｇ）構造或いはレンチキュラーシート（ｌｅｎｔｉｃｕｌａｒ ｓｈｅｅｔ）等とされ得て、該表示ユニット４１の発生する該立体映像は該多重映像に分けられる。
【００３８】
図１、２を参照されたい。これらは本発明の好ましい実施例のブロック図とフローチャート一である。該立体映像インタラクティブシステムは、以下のステップにより第１立体映像を取得する：
（１００）該立体映像キャプチャモジュールが物品外観を走査して複数の物品映像を取得する、
このステップを実行する時、該立体映像キャプチャモジュール１は物品の外部映像を撮影し、撮影時、物品を水平回転、垂直回転或いは多角度回転等させて、該立体映像キャプチャモジュール１に物品の異なる角度の映像を取得させて、複数の物品映像を発生させられる。
（１０１）該立体映像処理ユニットがこれら物品映像の完成度を検査する、
（１０２）これら物品映像が該立体映像処理ユニットで合成されて該第１立体映像に合成される、
上述のステップを実行する時、該立体映像処理ユニット２がこれら物品映像を検査し、並びに被写界深度、映像接合等の技術を通して、複数の物品映像を合成して該第１立体映像となす。
さらに、後で使用するのに便利であるように、該立体映像処理ユニット２は同時に該第１立体映像の体積を計算し、すなわち、該立体映像キャプチャモジュールがこれら物品映像を取得した後、該物品の実際の比を該第１立体映像の比に対応させて、該第１立体映像の体積を計算する。
（１０３）該第１立体映像が該中央処理装置を通して該立体映像表示モジュールに伝送される、
（１０４）該立体映像表示モジュールが該第１立体映像を表示し並びに立体映像インタラクティブの操作を実行できる。
上述のステップを実行する時、該中央処理装置３１は該第１立体映像を受け取った後、該第１立体映像を該表示ユニット４１に伝送し、該立体成像ユニット４２は該第１立体映像を多重映像に変換し、人の肉眼で映像を見た時の特性により、左眼と右眼がそれぞれ受け取る映像に区分し、肉眼視差で受け取った後に該第１立体映像となるようにする。
このとき、該第１立体映像は使用者が拡大、縮小等の操作を行えるほか、該第１立体映像及び体積等のデータを該保存ユニット３２内に保存し、後日に再生することができる。
【００３９】
図１、３を参照されたい。これらは本発明の好ましい実施例のブロック図とフローチャート二である。該立体映像インタラクティブシステムは以下のステップで該第２立体映像を取得する：
（２００）該立体映像キャプチャモジュールが物品の外観を走査し複数の物品映像を取得する、
（２０１）該立体映像処理ユニットが該保存ユニットをサーチしてこれら物品映像と同じ該第２立体映像を探し出す、
（２０２）該第２立体映像が該中央処理装置を通して該立体映像表示モジュールに伝送される、
（２０３）該立体映像表示モジュールが該第２立体映像を表示し並びに立体映像インタラクティブの操作を実行できる。
上述のこれらのステップを実行する時、該立体映像キャプチャモジュール１が物品の映像の走査を完了した後、該立体映像処理ユニット２は直接該保存ユニット３２中に、該物品の映像の特性、例えば輪郭、色等が合致するものがあるかを対比し、該物品映像がすでに該保存ユニット３２内部に保存されており、並びに対比の結果、誤りがないことが確認されれば、該中央処理装置３１は該第２立体映像（すなわち該物品の立体映像は既に該保存ユニット３２内に保存されており、第２立体映像と称される）を該立体映像表示モジュール４に伝送し、該表示ユニット４１と該立体成像ユニット４２を通して肉眼で受け入れられる第２立体映像として表示する。
【００４０】
上述の図２、３のフローチャートは、立体映像取得と表示についての説明であり、立体映像（すなわち第１立体映像と第２立体映像）と操作体のインタラクティビティについては、図４のフローチャート中で説明する。
【００４１】
図１、４を参照されたい。これらは本発明の好ましい実施例のブロック図とフローチャート三である。該立体映像インタラクティブシステムは以下のステップで立体映像インタラクティブ動作を実行する：
（３００）該立体映像表示モジュールが第３立体映像を表示する、
立体映像表示のステップは、既に前述の図２、３のステップの記述中で説明されたため、詳しくは説明しない。このほか、該第３立体映像は実際には前述の該第１立体映像或いは該第２立体映像を包含する。
（３０１）該操作体が該立体映像の前で動作を実行する、
上述のステップを実行する時、該操作体は一般に認知されているスタイラスペン、手指のほか、人体の五官四肢、ゲームツール等を包含する。
（３０２）該立体映像キャプチャモジュールが該操作体の動作映像を取得する、
（３０３）該立体映像処理ユニットが該動作映像により動作特徴を取得する、
上述のステップを実行する時、該立体映像キャプチャモジュール１は該操作体の動作時の動作映像を取得し、該操作体が動作する時には、必ず連続して動作を発生し、すなわち、該立体映像処理ユニット２が該動作映像により該操作体の動作特徴を計算する。例えば、該動作映像が該操作体の下から上への移動を表示すれば、該立体映像処理ユニットは該操作体の動作特徴を計算し、並びに該中央処理装置３１に、現在該操作体の動作特徴が下から上への移動であることを告知する。その他の、例えば左右移動、回転等でも対応する動作特徴を発生可能である。
（３０４）該中央処理装置が該動作特徴により該第３立体映像に対応する変化を発生させる、
上述のステップを実行する時、該中央処理装置３１が該動作特徴を受け取った後、動作特徴に所定の動作を組合せ、該第３立体映像に該動作特徴により対応する変化を発生させ、すなわち、該立体映像表示モジュール４が表示する該第３立体映像がこれに応じて動作する。例えば、動作特徴が上から下であれば、該第３立体映像は上下回転し、或いは動作特徴が二つの接触点の距離の漸増であれば、該第３立体映像はそれに伴い拡大される。
【００４２】
注意すべきことは、本実施例では、該動作特徴が対応する動作、すなわち該中央処理装置３１が該動作特徴により該第３立体映像に動作を発生させる時、その動作状態は該アプリケーションプログラム３３の特性により、異なる動作状態を発生することである。言い換えると、同じ該動作特徴と該第３立体映像が、異なる該アプリケーションプログラム３３に対応するとき、異なる動作変化を有し得るのである。
【００４３】
以下に異なる複数の例で説明する：
１．図８の本発明の好ましい実施例の表示図一を参照されたい。該アプリケーションプログラム３３が立体映像ブラウザソフトの時、該立体映像表示モジュール４が該第３立体映像５１を表示し、図中では一眼レフカメラの例を以て説明され、該操作体７は人体の手を以て説明される。
該操作体７が単一方向に移動する時、例えば上から下に移動する時、該アプリケーションプログラム３３は上から下の動作特徴を受け取り、該第３立体映像５１に回転を発生させる。
該操作体７が２点の乖離を形成する時、例えば人指し指と親指が互いに接触した状態から分離する動作を行う時、該アプリケーションプログラム３３は２点乖離の動作特徴を受け取り、該第３立体映像５１を拡大する。
該操作体７が単点接触とされ並びに移動する時、まず、該立体映像キャプチャモジュール１が該操作体と該第３立体映像５１上の接触点及び移動の距離を計算した後、該アプリケーションプログラム３３が該第３立体映像５１に分離の動作を発生させる。図中では、該操作体７は該第３立体映像５１のレンズに接触後に移動し、すなわち、該アプリケーションプログラム３３は該第３立体映像５１に分離の動作を発生させる。
２．図９の本発明の好ましい実施例の表示図二も合わせて参照されたい。該アプリケーションプログラム３３が立体状況シミュレートソフトの時、第４立体映像５２（なお、該第３立体映像５１と該第４立体映像５２は表示する立体映像の違いに過ぎず、説明しやすいように区分されているだけである）は現実生活中の状態をシミュレートし、図中では自動車内部のドライバーシートが例とされ、すなわち、使用者が手或いは手のひらでハンドルの立体映像に接触し、並びに表示の状態により操作を行うと、該立体映像キャプチャモジュール１が手部の動作、例えば左折、右折或いはギアシフト等を取得し、並びにこれらの動作の動作特徴を計算し、該中央処理装置３１に伝送し、該第４立体映像５２が使用者の動作により、対応する変化を発生し、例えば、使用者の手部が右向きにハンドルを回せば、表示するハンドルの立体映像が右向きに回転し、使用者と該第４立体映像５２とのインタラクティビティを達成する。
３．図１０、１１は本発明の好ましい実施例の表示図三、四である。該アプリケーションプログラム３３がＣＡＤ等の立体映像処理ソフトとされる時、どのような動作特徴であっても、それに対応する動作変化はほとんどがＣＡＤアプリケーションのレイヤーに属し、例えば操作体７の動作特徴が該第３立体映像５１への接近である時、該第３立体映像５１の接触面が徐々に陥没し、ＣＡＤ設計中の薄壁、貫通、凹みなどのコマンド設計に符合する。
４．該アプリケーションプログラム３３がデジタルゲームの時、該操作体７は人体の所有する四肢、ゲームに対応するツール等とされ得て、例えば該アプリケーションプログラム３３はファイティング類のデジタルゲームとされ、且つ使用者が該第３立体映像（ファイター、怪獣等）に対してパンチ動作を行うと、該立体映像キャプチャモジュール１が使用者の動作映像を取得し、該立体映像処理ユニット２が動作特徴を計算し、操作体が円弧形の動作特徴を発生したと見なし、すなわち該第３立体映像が該動作特徴により、打撃された後の動作を発生する（例えば、後傾、後倒、肢体回転等）。
５．図１１も同時に参照されたいが、複数の人による同時操作の目的を達成するため、該立体映像キャプチャモジュール１は複数の該操作体７を同時に走査或いは撮影でき、並びに各該操作体７の該動作映像を取得し、これら動作映像を該立体映像処理ユニット２に送り、該立体映像処理ユニット２はこれら動作映像により複数の該動作特徴を発生し、該中央処理装置３１にこれら動作特徴により該第３立体映像５１のリアルタイム動作を計算させる。これがゲーム或いはＣＡＤ等のアプリケーションプログラム３３に応用される時、複数の人による同時操作の目的を達成できる。
【００４４】
ここで説明を補充しなくてはならない。上述の該第３立体映像５１、第４立体映像５２は表示の時、該立体映像表示モジュール４により現実の空間中に表示され、これにより、使用者は眼前に一つの物品の立体映像を見ることができ、ただし、手指等の操作体７が接触する時、実体接触の感覚は有さず、アプリケーションプログラム３３の設定が組み合わされることで、対応する形態変化を発生することができる。これにより、該アプリケーションプログラム３３はいずれかの形態、例えばＣＡＤソフト、映像ブラウザソフト、空間設計ソフト、各形態のデジタルゲーム等に限定されることはなく、ただ立体映像とインタラクティブ動作を発生できれば、いずれも本発明の規定する範疇に属する。
【００４５】
図１、５は本発明の好ましい実施例のブロック図とフローチャート四である。該立体映像インタラクティブシステムは以下のステップにより立体状況インタラクティブ動作を実行する：
（４００）該立体映像表示モジュールが第４立体映像を表示する、
立体映像表示のステップは、すでに前述の図２、３のステップで説明したので、詳しくは述べない。本実施例中、該第４立体映像は実際の使用の状態により、各形態の仮想空間として設置される。例えば、図９は本発明の好ましい実施例の表示図二であるが、該第４立体映像５２は自動車内部のドライバーシートとして表示され、図１３は本発明の好ましい実施例の表示図六であるが、該第４立体映像５２は飛行機内部のコックピットとされるが、交通工具内部の状況シミュレーションに限定されるわけではない。
（４０１）該操作体が該立体映像前で動作を実行する、
上述のステップ中、使用者は直接該第４立体映像５２前で操作を実行でき、例えば、図９は自動車内部のドライバーシートを表示し、すなわち使用者は肉眼で一つの仮想のドライバーシートを見て、並びに手で該第４立体映像５２が表示するハンドルに接触する。
（４０２）該立体映像キャプチャモジュールが使用者の動作映像を取得する、
（４０３）該立体映像処理ユニットが該動作映像により動作特徴を取得する、
（４０４）該立体映像キャプチャモジュールが使用者の該第４立体映像上での動作位置を計算する、
上述のステップを実行する時、図９で説明すると、使用者が該第４立体映像５２上で動作を実行する時、該立体映像キャプチャモジュール１は使用者の手部の動作映像を取得し、該立体映像処理ユニット２が手部の動作を計算し並びに対応する動作特徴を発生し、この動作特徴が該中央処理装置３１に送られた後、該アプリケーションプログラム３３の設定が組み合わされて、該第４立体映像５２に対応する変化を発生させ、例えば、手でハンドルを握り並びに回転させれば、該第４立体映像５２の表示するハンドルがこれに伴い回転し、或いは手でシフトレバーを握りギアシフトを実行すれば、該第４立体映像５２が表示するシフトレバーがそれに伴い移動する。
（４０５）該中央処理装置が該動作特徴と該第４立体映像の対応する状況状態により対応する変化を発生する。
上述のステップを実行する時、該第４立体映像５２と使用者の接触の部分が変化を発生し得るほか、全体の第４立体映像のシミュレートする状況がこれに伴い変化し得る。例えば、該第４立体映像５２が走行中の車両であれば、使用者がハンドルを回す時、ハンドルの映像が回転し得るほか、該第４立体映像５２が表示する景色もハンドルの回転に伴い変換され、仮想運転の特性を達成する。
【００４６】
このほか、前述の該アプリケーションプログラム３３はまた、インテリア設計ソフトとされ得る。図１、１２は本発明の好ましい実施例のブロック図と表示図四であり、一般家電等日常生活用の器具は、立体映像キャプチャモジュール１による走査後、該保存ユニット３２内に保存されるか、予め該保存ユニット３２内に保存されている。
【００４７】
該アプリケーションプログラム３３がインテリア設計ソフトとされる時、該立体映像表示モジュール４は立体空間６を表示し、使用者は自由に該立体映像５、すなわち、家電等生活器具の立体表示の映像を移動させられる。或いは、該立体空間６がスーツケース、包装用ボックス等の物体として表示される時、該アプリケーションプログラム３３は内部空間の計算を実行し、空間の使用容積率を取得する。
【００４８】
図１、７、１２は、本発明の好ましい実施例のブロック図、フローチャート六と表示図五であり、該立体映像インタラクティブシステムは以下のステップにより空間計算を実行する：
（６００）該立体映像表示モジュールが一つの立体空間映像を発生し並びにその容積を規定する；
上述のステップを実行する時、該立体空間６は使用者の要求により、スーツケース、家屋内部、車両内部空間或いはトランク内部空間とされ、図１２においては、該立体空間６は室内の空間として表示されている。
（６０１）該立体空間内に少なくとも一つの立体映像を置く、
（６０２）該操作体が該立体空間内でこれら立体映像を配置する、
上述のステップを実行する時、該立体映像は前述の図２、図３で説明したので、ここでは詳しく述べない。すなわち、該立体映像５は該第１立体映像或いは該第２立体映像とされ得る。このほか、本実施例では、該立体映像５はテーブル或いは本棚等、家庭生活用品として表示され、これにより、該操作体７は随意にこれら立体映像５を移動させられる。
同時に、レイアウト時の必要により、これら立体映像５の大きさ、形状、或いは配置角度等を変更できる。
（６０３）該立体映像処理ユニットが該操作体の動作によりこれら立体映像の体積をリアルタイムで計算する。
上述のステップを実行する時、これら立体映像５の位置と大きさ等は、使用者による変更により異なる変化を発生する。この時、該立体映像キャプチャモジュール１は前述の図４のステップにより、随時これら立体映像５の該立体空間６中の位置を変更する。
（６０４）該立体映像処理ユニットがこれら立体映像の体積を取得し並びに該立体空間の容積使用率を計算する。
上述のステップを実行する時、該中央処理装置３１がこれら立体映像５の体積データを取得し、例えば、該第１立体映像の走査後に体積データ等の情報を発生し、或いは、該第２立体映像は予め体積データが保存されている。これにより、該中央処理装置３１は該立体空間６の容積にこれら立体映像５の体積を組合せ、空間容積使用率の計算を実行できる。
【００４９】
図１、６、１０は、本発明の好ましい実施例のブロック図、フローチャート五と表示図三である。該立体映像インタラクティブシステムは以下のステップにより立体座標計算を実行する。
（５００）該立体映像表示モジュールが立体空間を規定し並びに該立体空間内に該立体映像を表示する；
上述のステップを実行する時、該立体映像表示モジュール４はその投影距離、面積等の空間パラメータにより、一つの立体映像が表示する立体空間６を発生し、該立体空間６は球形領域、矩形領域、扇形領域とされ得て、且つ、対応する座標システムを使用可能で、例えば、球形領域は球形座標を、矩形領域は極座標或いは直角座標を、扇形領域は球座標或いは相対座標をそれぞれ使用し得る。
（５０１）該立体映像キャプチャモジュールが該立体空間内に操作体の接触が有るかを検出する、
（５０２）該立体映像キャプチャモジュールが操作体の動作映像を取得し並びに動作特徴を計算する、
上述のステップを実行する時、該立体映像キャプチャモジュール１は該立体空間６内の該操作体７の有無を検出し、同時に、該操作体７の該動作映像を記録し、該動作映像より該操作体７の該動作特徴を取得する。
（５０３）該中央処理装置が該立体空間が予め規定する座標により該動作特徴の座標を取得する、
（５０４）該中央処理装置が該動作特徴の座標を該立体映像が包含する全ての座標と対比し、対応する座標変化を発生する。
上述のステップを実行する時、該中央処理装置３１は該動作特徴の経路、移動方向、角度等により、該立体空間６の座標システムと対比し、該動作特徴と該立体映像５の間のインタラクティブ関係を計算し、例えば、該操作体７が該立体映像５に進入するか、該立体映像５から乖離すれば、該立体映像５の周辺で対応する変形動作を発生する。
続いて、アプリケーションプログラム３３の特性により、該立体映像５に対応する変化を発生させる。図１０も参照されたい。図中、矩形の該立体空間６に直角座標が組み合わされて、一つの立体映像５が表示され、該立体映像５は前述の図２或いは図３で述べた該第１立体映像或いは該第２立体映像とされ得る。
また、明らかに示されるように、該立体映像５は一つの陥没の変化を表現し、すなわち、該中央処理装置３１が検出する該立体映像５は、Ｙ軸方向にあって、一つの動作特徴を発生し、且つ該動作特徴に組み合わされる該アプリケーションプログラム３３は一つの陥没の命令であり、すなわち、該立体映像５のＸＹ平面が一つのＹ軸方向の陥没を発生し、図中、陥没領域は陰影線領域で表示される。
【００５０】
図１、１４は、本発明の好ましい実施例のブロック図とフローチャート七であり、本フローチャート中、前述の各フローが整合された後、本発明の空間計算或いは容積計算上の応用が説明される。
（７００）システム開始、
本発明の立体映像インタラクティブシステム動作後に、後続のステップにおいて、まず該ステップ（７０１）を実行するか、或いはステップ（７０２）からステップ（７０３）を実行する。
（７０１）立体空間映像を発生し並びに内部容積と座標位置を規定する、
上述のステップ（７０１）を実行する時、使用者は該保存ユニット３２より表示したい立体空間映像を選択した後、該立体映像表示モジュール４により表示し、同時に該立体空間の大きさと座標位置を規定する。
（７０２）保存ユニット内より第２立体映像を取得する、
（７０３）物品外観を走査し並びに第１立体映像を発生する、
上述のステップ（７０２）、ステップ（７０３）を実行する時、図２、３のフローの説明を参照されたいが、注意すべきことは、該ステップ（７０２）、ステップ（７０３）は異なる後先の順序で実行可能であるほか、択一で実行される。
（７０４）立体映像（第１立体映像、第２立体映像）の体積と開始位置を計算する、
上述のステップ（７０４）を実行する時、使用者が既に必要なこれら立体映像を選定していることにより、すなわち、該中央処理装置３１が事前に規定された該立体空間の大きさ、位置と座標等により、これら立体映像は該立体空間中に設置の位置を規定する。このステップについては、前述の図６の一部フローを参照されたい。
（７０５）立体映像の移動回転、
（７０６）立体映像の比例調整、
（７０７）立体映像のリアルタイム変形、
（７０８）立体映像の視角変換、
上述のステップ（７０５）からステップ（７０８）を実行する時、使用者は使用時の必要により、必要な機能ステップを選択して実行でき、上述のステップ（７０５）からステップ（７０８）に関係する説明は、前述の図８のフローの説明を参照されたい。
（７０９）最適化物品体積計算を検討し、立体空間レイアウトに符合させる、
上述のステップ（７０９）を実行する時、使用者は既に該立体空間内において、必要なこれら立体映像のレイアウトを完成し、それはこれら立体映像の大きさ、位置、配置角度、高さ等のレイアウトを包含し、この時、該中央処理装置３１は該立体空間の容積にこれら立体映像の体積を組合せ、空間容積使用率の計算を実行する。
（７１０）立体空間レイアウトの最適化微調整、
上述のステップ（７１０）を実行する時、該中央処理装置３１は既に立体空間の容積計算を完成しており、この時、使用者は使用の必要により、これら立体映像の配置の微調整を実行するか、或いは空間配置に不満足である時、再度配置と演算を実行する。
（７１１）空間利用関係情報を発生、
上述のステップ（７１１）を実行する時、本発明の立体映像インタラクティブシステムは既に空間使用率或いは容積の計算を完成しており、このとき、該立体空間に関係するデータを発生でき、例えば、該立体空間の配置時に、これら立体映像の間の距離が妥当であるか（これは室内空間設計に応用可能である）、これら立体映像が完全に該立体空間を充満しているか（これは倉庫、コンテナ、トラック、スーツケース等に応用され得る）。
【００５１】
以上の記述は、本発明の好ましい実施例にすぎず、本発明の実施の範囲を限定するものではない。本発明の技術の属する分野における通常の知識を有する者が本発明の精神と範囲から逸脱せずに行う同等の変化と修飾は、いずれも本発明の特許請求の範囲内に属する。
【００５２】
総合すると、本発明の立体映像インタラクティブシステムは、新規性、進歩性を有する発明であり、産業上の利用価値を有する。
【符号の説明】
【００５３】
１ 立体映像キャプチャモジュール １１ 立体映像キャプチャユニット
２ 立体映像処理ユニット ３ ホストマシン
３１ 中央処理装置 ３２ 保存ユニット
３３ アプリケーションプログラム ４ 立体映像表示モジュール
４１ 表示ユニット ４２ 立体成像ユニット
５ 立体映像 ５１ 第３立体映像
５２ 第４立体映像 ６ 立体空間
７ 操作体
【技術分野】
【０００１】
本発明は一種の立体映像インタラクティブシステム、特に使用者が立体映像をリアルタイム操作できる立体映像インタラクティブシステムに関する。
【背景技術】
【０００２】
現在よく知られている技術には、偏波分割法（ｐｏｌａｒｉｚａｔｉｏｎ ｄｉｖｉｓｉｏｎ ｍｅｔｈｏｄ）、時分割法（ｔｉｍｅ ｄｉｖｉｓｉｏｎ ｍｅｔｈｏｄ）、波長分割法（ｗａｖｅｌｅｎｇｔｈ ｄｉｖｉｓｉｏｎ ｍｅｔｈｏｄ）及び空間分割法（ｓｐａｔｉａｌ ｄｉｖｉｓｉｏｎ ｍｅｔｈｏｄ）等がある（これらの立体映像表示方法はすでに公開されている技術であり、また、本発明の訴求ではないため、詳しくは説明しない）。以上の四種類の方法はまた、アイグラスタイプ３Ｄシステムと称され、その表示する立体映像は、それに対応した立体眼鏡を装着して観る必要があり、一般人には普通に受け入れられ難い。これにより、眼鏡装着不要、自由な鑑賞空間の特徴が、現在の立体映像表示の発展方向である。現行の裸眼で観ることのできる立体映像表示方法は、レンチキュラーシート（ｌｅｎｔｉｃｕｌａｒ ｓｈｅｅｔ）、視差バリア法（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒ ｍｅｔｈｏｄ）、ダブル視差バリア法、或いはスリットソース法（ｓｌｉｔ ｓｏｕｒｃｅ ｍｅｔｈｏｄ）の方式により実現される。
【０００３】
現行のリアルタイム立体映像表示技術には、例えば特許文献１に記載されている連続立体映像の生成方法があり、それは複数の撮影装置で物体の表面をキャプチャした後、液晶パネル等のディスプレイ上にリアルタイム表示し、並びに座標予測と座標計算等の方式を通し、立体映像表示を更にリアルなものとする。しかし、この特許は立体映像を表示できるものの、使用者は直接に立体映像上で編集動作、例えば拡大、縮小、回転等を実行することができず、ゆえに、使用者はキーボード、マウス等の装置を使用しなければ、立体映像の編集動作を行えない。
【０００４】
このほか、上述の現実空間において立体映像を表示するほか、平面映像中に立体物品を表示する技術の歴史も長い。例えば各種のゲーム或いはデジタルビデオ等は、平面中に立体の物品を表示する。立体物品が生き物でない場合、その動作の特徴は相当容易に設計できるが、立体物品が生き物である場合は、その動作特徴の設計は相当に複雑となる。人体を例に挙げると、肢体上の動作はプログラムの計算とシミュレートにより完成され得るが、表現される効果は滑らかさがなく、且つ不自然である。
【０００５】
このため、業者はモーションキャプチャ（ｍｏｔｉｏｎ ｃａｐｔｕｒｅ；Ｍｏｃａｐ）の技術を発明した。常用されるモーションキャプチャ技術は原理上、機械式、音声学習式、電磁式と光学式等がある。技術的角度からは、モーションキャプチャは実質的に、物品の三次元空間の運動軌跡の測定、追跡、記録である。ここでは現在最も広く応用されている光学式モーションキャプチャについてのみ概略を説明する。
【０００６】
光学式モーションキャプチャは、目標上の特定光点の監視と追跡によりモーションキャプチャの任務を完成する。現在よく見られる光学式モーションキャプチャのほとんどは、計算機視覚原理に基づいている。理論上では、空間中の一つの点に対しては、同時に２部のカメラで見ればよく、すなわち、同一時間で、２部のカメラで撮影した画像とカメラパラメータに基づき、この時間の該点の空間中での位置を確定できる。カメラで高速で連続撮影する時、画像序列中より該点の運動軌跡を得られる。
【０００７】
光学式モーションキャプチャの長所はパフォーマーの活動範囲が大きく、ケーブルや機械装置の制限がなく、パフォーマーが自由にパフォーマンスでき、使用に非常に便利なことである。更に、光学式モーションキャプチャのサンプリング速度は比較的高く、多数の高速運動測量の需要を満足させられる。
【０００８】
このような特許には、特許文献２があり、それはビデオゲームキャラクターを制御するためのリアルタイム動態モーションキャプチャ方法を提供している。それによると、制御物品のモデルを定義することから開始し、その後、該モデル上のマークの位置を確認する。続いて、該制御物品関係の動作をキャプチャする。その後、該制御物品関係の動作を解釈して該モデルの状態を変更し、続いて、該モデルの状態の変更に基づきスクリーン上に表示されるキャラクター動作を変更する。しかしこの特許は、依然として、使用者の動作をリアルタイムでキャプチャして、スクリーンに表示される映像を制御することができるものの、それは平面の映像に限られ、立体の映像を表示できないばかりか、インタラクティブでない。
【０００９】
特許文献３は深度感知のセンサを採用してハンドジェスチャー認識するシステムを開示しており、それは、複数のセンサを利用してハンドジェスチャー認識し、ディスプレイに表示する画像に、ハンドジェスチャーに対応する動作を発生させる。この特許は、使用者の動作を検出できるが、それは僅かに手部の動作に限定され、人体の全ての肢体動作に対して検出を行うことはできない。
【００１０】
特許文献４は、ハンドジェスチャー認識方法を提供し、それは、予め、手、手指等の関係する映像ファイルを構築し、並びに人体関節位置により関節点のデータベースを生成し、すなわち、ハンドジェスチャーが発生する時、正確にハンドジェスチャーを認識する。この特許は使用者の動作を検出できるが、それは僅かに手部の動作に限定され、人体の全ての肢体動作に対して検出を行うことはできない。
【００１１】
特許文献５は、個人のコンピュータ正面における運動モードを分析するためのシステムと検出方法を提供し、それは、複数のビデオカメラにより使用者の動作データを取得し、並びに使用者の動作状態を取得し、リアルタイムでディスプレイ上に表示する。この特許は直接に使用者とのインタラクティビティを形成できず、使用者の動作をリアルタイムにキャプチャできるだけであり、アプリケーションプログラム、例えばゲーム等とインタラクティブでない。
【００１２】
特許文献６は、検出エリアの複数のセンサを調整して、一つの矩形の検出立体エリアを提供し、使用者のハンドジェスチャーはいずれもこの立体エリア内で完成される。立体エリアの全ての座標は予め規定され、このため、容易にハンドジェスチャーを識別できる。
【００１３】
特許文献７は、ハンドジェスチャー認識以外に、シミュレート制御の方式により、ハンドジェスチャー認識の前に、更に正確にハンドジェスチャー映像を構築し、同時に予めハンドジェスチャーをシミュレートし、正確なハンドジェスチャー認識を達成する。しかし上述の二つの特許の主要な目的は、ただハンドジェスチャー認識を更に正確にすることに過ぎず、単純なハンドジェスチャー認識技術下での改良特許であり、ゆえにインタラクティブ機能と応用を有さない。
【００１４】
特許文献８は、室内のプラニングと設計システムを提供し、それは仮想の空間を包含する。該仮想の空間は仮想の物理空間、仮想物品データベース、該仮想物品は仮想の設備、機器と該空間に置かれた物品、及びユーザーインタフェースを包含し、該ユーザーインタフェースは、第１ユーザーインタフェース手段と第２ユーザーインタフェース手段を包含し、該第１ユーザーインタフェース手段の機能は仮想物品データベースより仮想物品を選択し、物品を該仮想空間中に置くことで、第２ユーザーインタフェース手段はこの仮想物品を該仮想空間中の位置及び方向を処理する。この特許は使用者が仮想空間中で仮想物品をレイアウトできるようにするが、全体の動作は外部の入力装置、例えばタッチパネル、キーボード、マウス等を通して行われなければならず、且つその表現の方式は、フラットディスプレイを必要とする。これにより、全てのインタラクティブ過程はいずれもディスプレイ内で表示される映像中にあり、立体映像と使用者の直接インタラクティビティは達成できない。
【００１５】
特許文献９は、モーションキャプチャの技術をテレビゲームに結合し、並びに複数の立体映像ビデオカメラにより使用者の動作を取得し、使用者をディスプレイに表示される平面映像とインタラクティブとしている。この特許に関係する特許としては、例えば特許文献１０がある。これにより、特許文献９は平面映像のインタラクティビティに限定され、表示される映像が立体映像であると、立体映像とのインタラクティビティを達成できない。
【００１６】
平面表示の立体物品において、モーションキャプチャの方式により、物品のリアルタイム操作を実行できる。しかし、前述したことから分かるように、立体映像の表示は将来の重要な表示技術であり、且つ立体映像は立体映像表示装置により投影された後、現実の空間中に表示される。言い換えると、使用者の観点からは、立体映像の位置は、立体映像表示装置と肉眼の間の仮想の空間にあり、使用者が立体映像を操作する時、例えば、回転、引き伸ばし、分解、組合せ、変形或いは移動等をするとき、無意識で肢体を用いて仮想の立体映像に接触しており、これは一種の直覚的反応である。
【００１７】
しかし、現行の操作技術は尚も実体接触の入力装置、例えばキーボード、マウス、トラックボール、タッチパネル等によって仮想の立体映像を操作する必要がある。ゆえに、前述の立体映像表示技術は実体接触の入力装置により操作を行わねばならない。
このほか、前述の特許はリアルタイムモーションキャプチャの技術を有するとはいえ、平面表示での立体物品に限定され、並びに実体空間中に表示される立体映像に対して操作を行うことはできない。このため、いかに立体映像に肢体動作を組合せ、対応する変化を発生させるかが、本発明の構想を発生させた。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】米国特許公告第６４０４９１３号
【特許文献２】台湾特許公告第Ｉ２７４２９５号
【特許文献３】米国特許公告第７３４００７７号
【特許文献４】米国特許公告第６７８８８０９号
【特許文献５】米国特許公告第７２７４８０３号
【特許文献６】米国特許公告第２００６０２８８３１３号
【特許文献７】米国特許公告第２００８００１３７９３号
【特許文献８】米国特許公告第７１３９６８５号
【特許文献９】米国特許公告第２００６００３３７１３号
【特許文献１０】米国特許公告第２００６０２０２９５３号
【発明の概要】
【発明が解決しようとする課題】
【００１９】
上述の要求を鑑み、本発明者は研究に励み、並びにこの事業における長年の経験から、終に斬新な立体映像インタラクティブシステムを設計した。
【００２０】
本発明の目的の一つは、物品映像を取得し並びに立体映像表示ができる立体映像インタラクティブシステムを提供することである。
本発明の目的の一つは、立体映像をリアルタイム操作できる立体映像インタラクティブシステムを提供することである。
本発明の目的の一つは、立体映像に直接接触し並びにインタラクティブ機能を実行できる立体映像インタラクティブシステムを提供することである。
本発明の目的の一つは、立体状況を発生可能な立体映像インタラクティブシステムを提供することである。
本発明の目的の一つは、立体空間容積率計算を実行できる立体映像インタラクティブシステムを提供することである。
本発明の目的の一つは、複数の操作体でリアルタイム操作が行える立体映像インタラクティブシステムを提供することである。
【課題を解決するための手段】
【００２１】
上述の目的を達成するため、本発明の立体映像インタラクティブシステムは、
立体映像キャプチャモジュールであって、所定物品の複数の物品映像を取得するのに用いられ、及び、操作体の動作映像を取得するのに用いられる一つ或いは複数の立体映像キャプチャユニットを有する、上記立体映像キャプチャモジュールと、
立体映像処理ユニットであって、これら立体映像キャプチャユニットに電気的に接続され、これら物品映像を整合して第１立体映像となし、該動作映像中より動作特徴を取得する、上記立体映像処理ユニットと、
ホストマシンであって、該立体映像処理ユニットに電気的に接続された中央処理装置、及び該中央処理装置に電気的に接続された保存ユニットを包含し、
該保存ユニット内に第２立体映像が予め保存され、並びに該保存ユニットは該第１立体映像の保存に用いられ、
該中央処理装置は該立体映像処理ユニットに電気的に接続され、これらの立体映像が該動作特徴においてのリアルタイム動作を計算する、上記ホストマシンと、
立体映像表示モジュールであって、該中央処理装置に電気的に接続されて、これら立体映像のリアルタイム動作を表示する、上記立体映像表示モジュールと、
を包含する。
【００２２】
立体映像を表示する時、該立体映像キャプチャモジュールが該操作体の動作映像を取得した後、該立体映像処理ユニットが該動作映像中より該動作特徴を取得し、並びに該中央処理装置に伝送し、該中央処理装置が該立体映像の該動作特徴に対するリアルタイム動作を計算し、この時、立体映像表示モジュールが表示する該立体映像が該動作特徴により対応する変化を発生し、これにより、実体空間中での仮想の立体映像の表示を達成し、且つ該操作体が直接立体映像上でリアルタイムのインタラクティブ機能を実行する。
【００２３】
注意すべきことは、該立体映像キャプチャモジュールは同時に複数の該操作体の複数の該動作映像を取得できることであり、すなわち、該立体映像処理ユニットはこれら動作映像により複数の該動作特徴を発生し、これにより、該中央処理装置はこれら立体映像のこれら動作特徴に対するリアルタイム動作を計算する。
【００２４】
本明細書中、該操作体の定義は、一般に知られているスタイラスペン、手指のほか、人体の五官四肢、ゲームツール等を包含し、該立体映像キャプチャモジュールにより動作映像、動作特徴を取得されるものは、いずれも該操作体の範疇に属する。このほか、該物品の定義は、どのような形態にも限定されず、該立体映像キャプチャモジュールにより映像キャプチャされて立体映像に合成され得る物品、例えば、人体、ゲームツール、生活周辺の器具等は、いずれも本明細書で述べる物品の範疇に属する。
【発明の効果】
【００２５】
本発明の立体映像インタラクティブシステムは、立体映像キャプチャモジュール、立体映像処理ユニット、ホストマシンと立体映像表示モジュールで構成される。立体映像表示モジュールが立体映像を表示する時、立体映像キャプチャモジュールが操作体の動作映像を取得した後、該立体映像処理ユニットが動作映像中より動作特徴を取得し、並びに中央処理装置に伝送し、中央処理装置が立体映像の動作特徴に対するリアルタイム動作を計算し、このとき、立体映像表示モジュールが表示する立体映像が動作特徴により対応する変化を発生し、これにより、実体空間中での仮想の立体映像の表示を達成し、且つ操作体が直接立体映像上でリアルタイムのインタラクティビティを実行できる。このほか、表示する立体映像が立体映像キャプチャモジュールが撮影した第１立体映像由来か、或いはホストマシン内部の保存ユニットに予め保存された第２立体映像由来とされる。
【図面の簡単な説明】
【００２６】
【図１】本発明の好ましい実施例のブロック図である。
【図２】本発明の好ましい実施例のフローチャート一である。
【図３】本発明の好ましい実施例のフローチャート二である。
【図４】本発明の好ましい実施例のフローチャート三である。
【図５】本発明の好ましい実施例のフローチャート四である。
【図６】本発明の好ましい実施例のフローチャート五である。
【図７】本発明の好ましい実施例のフローチャート六である。
【図８】本発明の好ましい実施例の表示図一である。
【図９】本発明の好ましい実施例の表示図二である。
【図１０】本発明の好ましい実施例の表示図三である。
【図１１】本発明の好ましい実施例の表示図四である。
【図１２】本発明の好ましい実施例の表示図五である。
【図１３】本発明の好ましい実施例の表示図六である。
【図１４】本発明の好ましい実施例のフローチャート七である。
【発明を実施するための形態】
【００２７】
図１は本発明の好ましい実施例のブロック図である。図示されるように、本発明の立体映像インタラクティブシステムは、立体映像キャプチャモジュール１、立体映像処理ユニット２、ホストマシン３、及び立体映像表示モジュール４で構成される。
【００２８】
そのうち、立体映像キャプチャモジュール１は、一つ或いは複数の立体映像キャプチャユニット１１を有し、該立体映像キャプチャユニット１１は、所定物品の複数の物品映像を取得するのに用いられ、及び、操作体の動作映像を取得するのに用いられる。これら立体映像キャプチャユニット１１は、電荷結合素子（ＣＣＤ）或いは相補型金属酸化膜半導体（ＣＭＯＳ）で構成された感光素子のいずれかとされる。該立体映像キャプチャユニット１１が電荷結合素子とされる時、ライナーＣＣＤ、インターライントランスファーＣＣＤ、フルフレームＣＣＤ、フレームトランスファーＣＣＤで構成された電荷結合素子群より選択される。
【００２９】
該立体映像処理ユニット２はこれら立体映像キャプチャユニット１１に電気的に接続され、これら物品映像を整合して第１立体映像となすと共に、該動作映像中より動作特徴を取得する。
【００３０】
該ホストマシン３は該立体映像処理ユニット２に電気的に接続された中央処理装置３１、及び該中央処理装置３１に電気的に接続された保存ユニット３２を包含する。
【００３１】
該保存ユニット３２内には第２立体映像が予め保存され、並びに該保存ユニット３２は該第１立体映像を保存するのに用いられ、また該保存ユニット３２内部には一つ或いは複数のアプリケーションプログラム３３が保存され、該アプリケーションプログラム３３はＣＡＤソフトウエア、映像編集ソフトウエア等とされ得る。該保存ユニット３２はハードディスク、光ディスク、メモリカード或いはメモリ等とされ得る。
【００３２】
該中央処理装置は該立体映像処理ユニットに電気的に接続され、これらの立体映像が該動作特徴においてのリアルタイム動作を計算する、例えば、該立体映像が三角錐体を表示し、且つ尖端部分が使用者の肉眼が直視する方向に向いていると、このとき、該動作特徴は上から下であると、該三角錐体はそれに伴い回転し、底部の平坦面が使用者の肉眼直視の方向に対向する。この部分の記述は該立体映像と動作特徴間のインタラクティブ関係を説明するために例示したものに過ぎず、その他の任意の角度の回転、拡大動作、水平或いは垂直の移動等、或いは該動作特徴が該立体映像に発生させる変形、例えば引き伸ばし、陥没、湾曲等もまた、本発明の保護の範疇に属する。且つ該立体映像処理ユニット２が該立体映像のリアルタイム動作計算を実行する時、座標計算の方式により実行可能で、所謂座標計算は、一般的な座標システム、例えば相対座標、極座標、球座標或いは空間座標に用いられる計算方式のいずれかとされる。
【００３３】
また、該操作体が複数とされる時、該立体映像キャプチャモジュール１はこれら操作体の複数の動作映像を同時に取得し並びに該立体映像処理ユニット２に伝送し、すなわち、該立体映像処理ユニット２がこれら動作映像により複数の該動作特徴を生成し、該中央処理装置３１に、これら動作特徴により該立体映像のリアルタイム動作を計算させる。
【００３４】
さらに、該ホストマシン３はパーソナルコンピュータ、ノートブック型コンピュータ或いはゲーム機等と見なし得て、並びにその使用の形式は限定されない。及び、該立体映像処理ユニット２は実際の使用時には、該中央処理装置３１と電気的に接続された集積回路形式、或いは該中央処理装置３１内に記録されたファームウエア形式、或いは該中央処理装置３１により読み取られ演算されるソフトウエア形式とされるか、或いはアクティブ素子とパッシブ素子で構成された電子回路形式とされる。
【００３５】
該立体映像表示モジュール４には表示ユニット４１と該表示ユニット４１に電気的に接続された立体成像ユニット４２が設けられている。該中央処理装置３１は該表示ユニット４１に電気的に接続される。
【００３６】
該表示ユニット４１は、これら立体映像のリアルタイム動作を表示するのに用いられ、陰極線管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、真空蛍光ディスプレイ（ＶＦＤ）、プラズマディスプレイパネル（ＰＤＰ）、表面伝導型電子放出（ＳＥＤ）ディスプレイ或いは電界放出ディスプレイ（ＦＥＤ）或いは電子ペーパー（Ｅ−Ｐａｐｅｒ）等とされ、いずれも該表示ユニット４１が規定する範疇に属し、並びに該表示ユニット４１の形態を限定しない。該表示ユニット４１が液晶ディスプレイ（ＬＣＤ）とされる時、それはねじれネマティック型（ＴＮ）液晶ディスプレイ、垂直配向（ＶＡ）液晶ディスプレイ、マルチドメイン垂直配向（ＭＶＡ）液晶ディスプレイ、パターン化垂直配向（Ｐａｔｔｅｒｎｅｄ Ｖｅｒｔｉｃａｌ
Ａｌｉｇｎｍｅｎｔ；ＰＶＡ）液晶ディスプレイ、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ Ｓｗｉｔｃｈｉｎｇ）液晶ディスプレイ、ＣＰＡ（Ｃｏｎｔｉｎｕｏｕｓ Ｐｉｎｗｈｅｅｌ Ａｌｉｇｎｍｅｎｔ）液晶ディスプレイ、ＯＣＢ（Ｏｐｔｉｃａｌ Ｃｏｍｐｅｎｅｓａｔｅｄ Ｂｅｎｄ）液晶ディスプレイからなる群のいずれかを包含する。該表示ユニット４１が有機発光ダイオード（ＯＬＥＤ）ディスプレイとされる時、それは、能動マトリクス型有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、受動マトリクス型有機発光ダイオード（ＰＭＯＬＥＤ）ディスプレイからなる群のいずれかとされる。
【００３７】
表示ユニット４１が立体映像を発生した後、該立体成像ユニット４２がそれを受け取り、該立体映像を多重映像に変換し、それは該立体映像を人の肉眼で映像を見るときの特性により、左眼と右眼がそれぞれ受け取る映像に区分し、肉眼視差で受け取った後に該立体映像となるようにし、また、該立体成像ユニット４２は光回折素子（ｌｉｇｈｔ ｇｒａｔｉｎｇ）構造或いはレンチキュラーシート（ｌｅｎｔｉｃｕｌａｒ ｓｈｅｅｔ）等とされ得て、該表示ユニット４１の発生する該立体映像は該多重映像に分けられる。
【００３８】
図１、２を参照されたい。これらは本発明の好ましい実施例のブロック図とフローチャート一である。該立体映像インタラクティブシステムは、以下のステップにより第１立体映像を取得する：
（１００）該立体映像キャプチャモジュールが物品外観を走査して複数の物品映像を取得する、
このステップを実行する時、該立体映像キャプチャモジュール１は物品の外部映像を撮影し、撮影時、物品を水平回転、垂直回転或いは多角度回転等させて、該立体映像キャプチャモジュール１に物品の異なる角度の映像を取得させて、複数の物品映像を発生させられる。
（１０１）該立体映像処理ユニットがこれら物品映像の完成度を検査する、
（１０２）これら物品映像が該立体映像処理ユニットで合成されて該第１立体映像に合成される、
上述のステップを実行する時、該立体映像処理ユニット２がこれら物品映像を検査し、並びに被写界深度、映像接合等の技術を通して、複数の物品映像を合成して該第１立体映像となす。
さらに、後で使用するのに便利であるように、該立体映像処理ユニット２は同時に該第１立体映像の体積を計算し、すなわち、該立体映像キャプチャモジュールがこれら物品映像を取得した後、該物品の実際の比を該第１立体映像の比に対応させて、該第１立体映像の体積を計算する。
（１０３）該第１立体映像が該中央処理装置を通して該立体映像表示モジュールに伝送される、
（１０４）該立体映像表示モジュールが該第１立体映像を表示し並びに立体映像インタラクティブの操作を実行できる。
上述のステップを実行する時、該中央処理装置３１は該第１立体映像を受け取った後、該第１立体映像を該表示ユニット４１に伝送し、該立体成像ユニット４２は該第１立体映像を多重映像に変換し、人の肉眼で映像を見た時の特性により、左眼と右眼がそれぞれ受け取る映像に区分し、肉眼視差で受け取った後に該第１立体映像となるようにする。
このとき、該第１立体映像は使用者が拡大、縮小等の操作を行えるほか、該第１立体映像及び体積等のデータを該保存ユニット３２内に保存し、後日に再生することができる。
【００３９】
図１、３を参照されたい。これらは本発明の好ましい実施例のブロック図とフローチャート二である。該立体映像インタラクティブシステムは以下のステップで該第２立体映像を取得する：
（２００）該立体映像キャプチャモジュールが物品の外観を走査し複数の物品映像を取得する、
（２０１）該立体映像処理ユニットが該保存ユニットをサーチしてこれら物品映像と同じ該第２立体映像を探し出す、
（２０２）該第２立体映像が該中央処理装置を通して該立体映像表示モジュールに伝送される、
（２０３）該立体映像表示モジュールが該第２立体映像を表示し並びに立体映像インタラクティブの操作を実行できる。
上述のこれらのステップを実行する時、該立体映像キャプチャモジュール１が物品の映像の走査を完了した後、該立体映像処理ユニット２は直接該保存ユニット３２中に、該物品の映像の特性、例えば輪郭、色等が合致するものがあるかを対比し、該物品映像がすでに該保存ユニット３２内部に保存されており、並びに対比の結果、誤りがないことが確認されれば、該中央処理装置３１は該第２立体映像（すなわち該物品の立体映像は既に該保存ユニット３２内に保存されており、第２立体映像と称される）を該立体映像表示モジュール４に伝送し、該表示ユニット４１と該立体成像ユニット４２を通して肉眼で受け入れられる第２立体映像として表示する。
【００４０】
上述の図２、３のフローチャートは、立体映像取得と表示についての説明であり、立体映像（すなわち第１立体映像と第２立体映像）と操作体のインタラクティビティについては、図４のフローチャート中で説明する。
【００４１】
図１、４を参照されたい。これらは本発明の好ましい実施例のブロック図とフローチャート三である。該立体映像インタラクティブシステムは以下のステップで立体映像インタラクティブ動作を実行する：
（３００）該立体映像表示モジュールが第３立体映像を表示する、
立体映像表示のステップは、既に前述の図２、３のステップの記述中で説明されたため、詳しくは説明しない。このほか、該第３立体映像は実際には前述の該第１立体映像或いは該第２立体映像を包含する。
（３０１）該操作体が該立体映像の前で動作を実行する、
上述のステップを実行する時、該操作体は一般に認知されているスタイラスペン、手指のほか、人体の五官四肢、ゲームツール等を包含する。
（３０２）該立体映像キャプチャモジュールが該操作体の動作映像を取得する、
（３０３）該立体映像処理ユニットが該動作映像により動作特徴を取得する、
上述のステップを実行する時、該立体映像キャプチャモジュール１は該操作体の動作時の動作映像を取得し、該操作体が動作する時には、必ず連続して動作を発生し、すなわち、該立体映像処理ユニット２が該動作映像により該操作体の動作特徴を計算する。例えば、該動作映像が該操作体の下から上への移動を表示すれば、該立体映像処理ユニットは該操作体の動作特徴を計算し、並びに該中央処理装置３１に、現在該操作体の動作特徴が下から上への移動であることを告知する。その他の、例えば左右移動、回転等でも対応する動作特徴を発生可能である。
（３０４）該中央処理装置が該動作特徴により該第３立体映像に対応する変化を発生させる、
上述のステップを実行する時、該中央処理装置３１が該動作特徴を受け取った後、動作特徴に所定の動作を組合せ、該第３立体映像に該動作特徴により対応する変化を発生させ、すなわち、該立体映像表示モジュール４が表示する該第３立体映像がこれに応じて動作する。例えば、動作特徴が上から下であれば、該第３立体映像は上下回転し、或いは動作特徴が二つの接触点の距離の漸増であれば、該第３立体映像はそれに伴い拡大される。
【００４２】
注意すべきことは、本実施例では、該動作特徴が対応する動作、すなわち該中央処理装置３１が該動作特徴により該第３立体映像に動作を発生させる時、その動作状態は該アプリケーションプログラム３３の特性により、異なる動作状態を発生することである。言い換えると、同じ該動作特徴と該第３立体映像が、異なる該アプリケーションプログラム３３に対応するとき、異なる動作変化を有し得るのである。
【００４３】
以下に異なる複数の例で説明する：
１．図８の本発明の好ましい実施例の表示図一を参照されたい。該アプリケーションプログラム３３が立体映像ブラウザソフトの時、該立体映像表示モジュール４が該第３立体映像５１を表示し、図中では一眼レフカメラの例を以て説明され、該操作体７は人体の手を以て説明される。
該操作体７が単一方向に移動する時、例えば上から下に移動する時、該アプリケーションプログラム３３は上から下の動作特徴を受け取り、該第３立体映像５１に回転を発生させる。
該操作体７が２点の乖離を形成する時、例えば人指し指と親指が互いに接触した状態から分離する動作を行う時、該アプリケーションプログラム３３は２点乖離の動作特徴を受け取り、該第３立体映像５１を拡大する。
該操作体７が単点接触とされ並びに移動する時、まず、該立体映像キャプチャモジュール１が該操作体と該第３立体映像５１上の接触点及び移動の距離を計算した後、該アプリケーションプログラム３３が該第３立体映像５１に分離の動作を発生させる。図中では、該操作体７は該第３立体映像５１のレンズに接触後に移動し、すなわち、該アプリケーションプログラム３３は該第３立体映像５１に分離の動作を発生させる。
２．図９の本発明の好ましい実施例の表示図二も合わせて参照されたい。該アプリケーションプログラム３３が立体状況シミュレートソフトの時、第４立体映像５２（なお、該第３立体映像５１と該第４立体映像５２は表示する立体映像の違いに過ぎず、説明しやすいように区分されているだけである）は現実生活中の状態をシミュレートし、図中では自動車内部のドライバーシートが例とされ、すなわち、使用者が手或いは手のひらでハンドルの立体映像に接触し、並びに表示の状態により操作を行うと、該立体映像キャプチャモジュール１が手部の動作、例えば左折、右折或いはギアシフト等を取得し、並びにこれらの動作の動作特徴を計算し、該中央処理装置３１に伝送し、該第４立体映像５２が使用者の動作により、対応する変化を発生し、例えば、使用者の手部が右向きにハンドルを回せば、表示するハンドルの立体映像が右向きに回転し、使用者と該第４立体映像５２とのインタラクティビティを達成する。
３．図１０、１１は本発明の好ましい実施例の表示図三、四である。該アプリケーションプログラム３３がＣＡＤ等の立体映像処理ソフトとされる時、どのような動作特徴であっても、それに対応する動作変化はほとんどがＣＡＤアプリケーションのレイヤーに属し、例えば操作体７の動作特徴が該第３立体映像５１への接近である時、該第３立体映像５１の接触面が徐々に陥没し、ＣＡＤ設計中の薄壁、貫通、凹みなどのコマンド設計に符合する。
４．該アプリケーションプログラム３３がデジタルゲームの時、該操作体７は人体の所有する四肢、ゲームに対応するツール等とされ得て、例えば該アプリケーションプログラム３３はファイティング類のデジタルゲームとされ、且つ使用者が該第３立体映像（ファイター、怪獣等）に対してパンチ動作を行うと、該立体映像キャプチャモジュール１が使用者の動作映像を取得し、該立体映像処理ユニット２が動作特徴を計算し、操作体が円弧形の動作特徴を発生したと見なし、すなわち該第３立体映像が該動作特徴により、打撃された後の動作を発生する（例えば、後傾、後倒、肢体回転等）。
５．図１１も同時に参照されたいが、複数の人による同時操作の目的を達成するため、該立体映像キャプチャモジュール１は複数の該操作体７を同時に走査或いは撮影でき、並びに各該操作体７の該動作映像を取得し、これら動作映像を該立体映像処理ユニット２に送り、該立体映像処理ユニット２はこれら動作映像により複数の該動作特徴を発生し、該中央処理装置３１にこれら動作特徴により該第３立体映像５１のリアルタイム動作を計算させる。これがゲーム或いはＣＡＤ等のアプリケーションプログラム３３に応用される時、複数の人による同時操作の目的を達成できる。
【００４４】
ここで説明を補充しなくてはならない。上述の該第３立体映像５１、第４立体映像５２は表示の時、該立体映像表示モジュール４により現実の空間中に表示され、これにより、使用者は眼前に一つの物品の立体映像を見ることができ、ただし、手指等の操作体７が接触する時、実体接触の感覚は有さず、アプリケーションプログラム３３の設定が組み合わされることで、対応する形態変化を発生することができる。これにより、該アプリケーションプログラム３３はいずれかの形態、例えばＣＡＤソフト、映像ブラウザソフト、空間設計ソフト、各形態のデジタルゲーム等に限定されることはなく、ただ立体映像とインタラクティブ動作を発生できれば、いずれも本発明の規定する範疇に属する。
【００４５】
図１、５は本発明の好ましい実施例のブロック図とフローチャート四である。該立体映像インタラクティブシステムは以下のステップにより立体状況インタラクティブ動作を実行する：
（４００）該立体映像表示モジュールが第４立体映像を表示する、
立体映像表示のステップは、すでに前述の図２、３のステップで説明したので、詳しくは述べない。本実施例中、該第４立体映像は実際の使用の状態により、各形態の仮想空間として設置される。例えば、図９は本発明の好ましい実施例の表示図二であるが、該第４立体映像５２は自動車内部のドライバーシートとして表示され、図１３は本発明の好ましい実施例の表示図六であるが、該第４立体映像５２は飛行機内部のコックピットとされるが、交通工具内部の状況シミュレーションに限定されるわけではない。
（４０１）該操作体が該立体映像前で動作を実行する、
上述のステップ中、使用者は直接該第４立体映像５２前で操作を実行でき、例えば、図９は自動車内部のドライバーシートを表示し、すなわち使用者は肉眼で一つの仮想のドライバーシートを見て、並びに手で該第４立体映像５２が表示するハンドルに接触する。
（４０２）該立体映像キャプチャモジュールが使用者の動作映像を取得する、
（４０３）該立体映像処理ユニットが該動作映像により動作特徴を取得する、
（４０４）該立体映像キャプチャモジュールが使用者の該第４立体映像上での動作位置を計算する、
上述のステップを実行する時、図９で説明すると、使用者が該第４立体映像５２上で動作を実行する時、該立体映像キャプチャモジュール１は使用者の手部の動作映像を取得し、該立体映像処理ユニット２が手部の動作を計算し並びに対応する動作特徴を発生し、この動作特徴が該中央処理装置３１に送られた後、該アプリケーションプログラム３３の設定が組み合わされて、該第４立体映像５２に対応する変化を発生させ、例えば、手でハンドルを握り並びに回転させれば、該第４立体映像５２の表示するハンドルがこれに伴い回転し、或いは手でシフトレバーを握りギアシフトを実行すれば、該第４立体映像５２が表示するシフトレバーがそれに伴い移動する。
（４０５）該中央処理装置が該動作特徴と該第４立体映像の対応する状況状態により対応する変化を発生する。
上述のステップを実行する時、該第４立体映像５２と使用者の接触の部分が変化を発生し得るほか、全体の第４立体映像のシミュレートする状況がこれに伴い変化し得る。例えば、該第４立体映像５２が走行中の車両であれば、使用者がハンドルを回す時、ハンドルの映像が回転し得るほか、該第４立体映像５２が表示する景色もハンドルの回転に伴い変換され、仮想運転の特性を達成する。
【００４６】
このほか、前述の該アプリケーションプログラム３３はまた、インテリア設計ソフトとされ得る。図１、１２は本発明の好ましい実施例のブロック図と表示図四であり、一般家電等日常生活用の器具は、立体映像キャプチャモジュール１による走査後、該保存ユニット３２内に保存されるか、予め該保存ユニット３２内に保存されている。
【００４７】
該アプリケーションプログラム３３がインテリア設計ソフトとされる時、該立体映像表示モジュール４は立体空間６を表示し、使用者は自由に該立体映像５、すなわち、家電等生活器具の立体表示の映像を移動させられる。或いは、該立体空間６がスーツケース、包装用ボックス等の物体として表示される時、該アプリケーションプログラム３３は内部空間の計算を実行し、空間の使用容積率を取得する。
【００４８】
図１、７、１２は、本発明の好ましい実施例のブロック図、フローチャート六と表示図五であり、該立体映像インタラクティブシステムは以下のステップにより空間計算を実行する：
（６００）該立体映像表示モジュールが一つの立体空間映像を発生し並びにその容積を規定する；
上述のステップを実行する時、該立体空間６は使用者の要求により、スーツケース、家屋内部、車両内部空間或いはトランク内部空間とされ、図１２においては、該立体空間６は室内の空間として表示されている。
（６０１）該立体空間内に少なくとも一つの立体映像を置く、
（６０２）該操作体が該立体空間内でこれら立体映像を配置する、
上述のステップを実行する時、該立体映像は前述の図２、図３で説明したので、ここでは詳しく述べない。すなわち、該立体映像５は該第１立体映像或いは該第２立体映像とされ得る。このほか、本実施例では、該立体映像５はテーブル或いは本棚等、家庭生活用品として表示され、これにより、該操作体７は随意にこれら立体映像５を移動させられる。
同時に、レイアウト時の必要により、これら立体映像５の大きさ、形状、或いは配置角度等を変更できる。
（６０３）該立体映像処理ユニットが該操作体の動作によりこれら立体映像の体積をリアルタイムで計算する。
上述のステップを実行する時、これら立体映像５の位置と大きさ等は、使用者による変更により異なる変化を発生する。この時、該立体映像キャプチャモジュール１は前述の図４のステップにより、随時これら立体映像５の該立体空間６中の位置を変更する。
（６０４）該立体映像処理ユニットがこれら立体映像の体積を取得し並びに該立体空間の容積使用率を計算する。
上述のステップを実行する時、該中央処理装置３１がこれら立体映像５の体積データを取得し、例えば、該第１立体映像の走査後に体積データ等の情報を発生し、或いは、該第２立体映像は予め体積データが保存されている。これにより、該中央処理装置３１は該立体空間６の容積にこれら立体映像５の体積を組合せ、空間容積使用率の計算を実行できる。
【００４９】
図１、６、１０は、本発明の好ましい実施例のブロック図、フローチャート五と表示図三である。該立体映像インタラクティブシステムは以下のステップにより立体座標計算を実行する。
（５００）該立体映像表示モジュールが立体空間を規定し並びに該立体空間内に該立体映像を表示する；
上述のステップを実行する時、該立体映像表示モジュール４はその投影距離、面積等の空間パラメータにより、一つの立体映像が表示する立体空間６を発生し、該立体空間６は球形領域、矩形領域、扇形領域とされ得て、且つ、対応する座標システムを使用可能で、例えば、球形領域は球形座標を、矩形領域は極座標或いは直角座標を、扇形領域は球座標或いは相対座標をそれぞれ使用し得る。
（５０１）該立体映像キャプチャモジュールが該立体空間内に操作体の接触が有るかを検出する、
（５０２）該立体映像キャプチャモジュールが操作体の動作映像を取得し並びに動作特徴を計算する、
上述のステップを実行する時、該立体映像キャプチャモジュール１は該立体空間６内の該操作体７の有無を検出し、同時に、該操作体７の該動作映像を記録し、該動作映像より該操作体７の該動作特徴を取得する。
（５０３）該中央処理装置が該立体空間が予め規定する座標により該動作特徴の座標を取得する、
（５０４）該中央処理装置が該動作特徴の座標を該立体映像が包含する全ての座標と対比し、対応する座標変化を発生する。
上述のステップを実行する時、該中央処理装置３１は該動作特徴の経路、移動方向、角度等により、該立体空間６の座標システムと対比し、該動作特徴と該立体映像５の間のインタラクティブ関係を計算し、例えば、該操作体７が該立体映像５に進入するか、該立体映像５から乖離すれば、該立体映像５の周辺で対応する変形動作を発生する。
続いて、アプリケーションプログラム３３の特性により、該立体映像５に対応する変化を発生させる。図１０も参照されたい。図中、矩形の該立体空間６に直角座標が組み合わされて、一つの立体映像５が表示され、該立体映像５は前述の図２或いは図３で述べた該第１立体映像或いは該第２立体映像とされ得る。
また、明らかに示されるように、該立体映像５は一つの陥没の変化を表現し、すなわち、該中央処理装置３１が検出する該立体映像５は、Ｙ軸方向にあって、一つの動作特徴を発生し、且つ該動作特徴に組み合わされる該アプリケーションプログラム３３は一つの陥没の命令であり、すなわち、該立体映像５のＸＹ平面が一つのＹ軸方向の陥没を発生し、図中、陥没領域は陰影線領域で表示される。
【００５０】
図１、１４は、本発明の好ましい実施例のブロック図とフローチャート七であり、本フローチャート中、前述の各フローが整合された後、本発明の空間計算或いは容積計算上の応用が説明される。
（７００）システム開始、
本発明の立体映像インタラクティブシステム動作後に、後続のステップにおいて、まず該ステップ（７０１）を実行するか、或いはステップ（７０２）からステップ（７０３）を実行する。
（７０１）立体空間映像を発生し並びに内部容積と座標位置を規定する、
上述のステップ（７０１）を実行する時、使用者は該保存ユニット３２より表示したい立体空間映像を選択した後、該立体映像表示モジュール４により表示し、同時に該立体空間の大きさと座標位置を規定する。
（７０２）保存ユニット内より第２立体映像を取得する、
（７０３）物品外観を走査し並びに第１立体映像を発生する、
上述のステップ（７０２）、ステップ（７０３）を実行する時、図２、３のフローの説明を参照されたいが、注意すべきことは、該ステップ（７０２）、ステップ（７０３）は異なる後先の順序で実行可能であるほか、択一で実行される。
（７０４）立体映像（第１立体映像、第２立体映像）の体積と開始位置を計算する、
上述のステップ（７０４）を実行する時、使用者が既に必要なこれら立体映像を選定していることにより、すなわち、該中央処理装置３１が事前に規定された該立体空間の大きさ、位置と座標等により、これら立体映像は該立体空間中に設置の位置を規定する。このステップについては、前述の図６の一部フローを参照されたい。
（７０５）立体映像の移動回転、
（７０６）立体映像の比例調整、
（７０７）立体映像のリアルタイム変形、
（７０８）立体映像の視角変換、
上述のステップ（７０５）からステップ（７０８）を実行する時、使用者は使用時の必要により、必要な機能ステップを選択して実行でき、上述のステップ（７０５）からステップ（７０８）に関係する説明は、前述の図８のフローの説明を参照されたい。
（７０９）最適化物品体積計算を検討し、立体空間レイアウトに符合させる、
上述のステップ（７０９）を実行する時、使用者は既に該立体空間内において、必要なこれら立体映像のレイアウトを完成し、それはこれら立体映像の大きさ、位置、配置角度、高さ等のレイアウトを包含し、この時、該中央処理装置３１は該立体空間の容積にこれら立体映像の体積を組合せ、空間容積使用率の計算を実行する。
（７１０）立体空間レイアウトの最適化微調整、
上述のステップ（７１０）を実行する時、該中央処理装置３１は既に立体空間の容積計算を完成しており、この時、使用者は使用の必要により、これら立体映像の配置の微調整を実行するか、或いは空間配置に不満足である時、再度配置と演算を実行する。
（７１１）空間利用関係情報を発生、
上述のステップ（７１１）を実行する時、本発明の立体映像インタラクティブシステムは既に空間使用率或いは容積の計算を完成しており、このとき、該立体空間に関係するデータを発生でき、例えば、該立体空間の配置時に、これら立体映像の間の距離が妥当であるか（これは室内空間設計に応用可能である）、これら立体映像が完全に該立体空間を充満しているか（これは倉庫、コンテナ、トラック、スーツケース等に応用され得る）。
【００５１】
以上の記述は、本発明の好ましい実施例にすぎず、本発明の実施の範囲を限定するものではない。本発明の技術の属する分野における通常の知識を有する者が本発明の精神と範囲から逸脱せずに行う同等の変化と修飾は、いずれも本発明の特許請求の範囲内に属する。
【００５２】
総合すると、本発明の立体映像インタラクティブシステムは、新規性、進歩性を有する発明であり、産業上の利用価値を有する。
【符号の説明】
【００５３】
１ 立体映像キャプチャモジュール １１ 立体映像キャプチャユニット
２ 立体映像処理ユニット ３ ホストマシン
３１ 中央処理装置 ３２ 保存ユニット
３３ アプリケーションプログラム ４ 立体映像表示モジュール
４１ 表示ユニット ４２ 立体成像ユニット
５ 立体映像 ５１ 第３立体映像
５２ 第４立体映像 ６ 立体空間
７ 操作体
【特許請求の範囲】
【請求項１】
立体映像を表示でき操作体で該立体映像を制御できる立体映像インタラクティブシステムにおいて、
立体映像キャプチャモジュールであって、一つの物品の複数の物品映像を取得するのに用いられ、及び、操作体の動作映像を取得するのに用いられる一つ或いは複数の立体映像キャプチャユニットを有する、上記立体映像キャプチャモジュールと、
立体映像処理ユニットであって、これら立体映像キャプチャユニットに電気的に接続され、これら物品映像を整合して第１立体映像となし、該動作映像中より動作特徴を取得する、上記立体映像処理ユニットと、
ホストマシンであって、該立体映像処理ユニットに電気的に接続された中央処理装置、及び該中央処理装置に電気的に接続された保存ユニットを包含し、
該保存ユニットは該第１立体映像を保存するのに用いられ、
該中央処理装置は該立体映像処理ユニットに電気的に接続され、これらの立体映像が該動作特徴においてのリアルタイム動作を計算する、上記ホストマシン、
立体映像表示モジュールであって、該中央処理装置に電気的に接続され、該立体映像のリアルタイム動作を表示する、上記立体映像表示モジュール、
以上を包含したことを特徴とする立体映像インタラクティブシステム。
【請求項２】
請求項１記載の立体映像インタラクティブシステムにおいて、該操作体が複数個設けられ、該立体映像キャプチャモジュールがこれら操作体の動作映像を取得し、並びに該立体映像処理ユニットがこれら動作映像より対応数量の動作特徴を発生することを特徴とする立体映像インタラクティブシステム。
【請求項３】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像キャプチャユニットは、電荷結合素子（ＣＣＤ）或いは相補型金属酸化膜半導体（ＣＭＯＳ）で構成された感光素子のいずれかとされることを特徴とする立体映像インタラクティブシステム。
【請求項４】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像キャプチャユニットは、ライナーＣＣＤ、インターライントランスファーＣＣＤ、フルフレームＣＣＤ、フレームトランスファーＣＣＤで構成された電荷結合素子群より選択されることを特徴とする立体映像インタラクティブシステム。
【請求項５】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像処理ユニットは該中央処理装置に電気的に接続された集積回路形式、或いは該中央処理装置内に記録されたファームウエア形式、或いは該中央処理装置に読み取られ演算されるソフトウエア形式、或いはアクティブ素子とパッシブ素子で構成された電子回路形式とされることを特徴とする立体映像インタラクティブシステム。
【請求項６】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像表示モジュールは立体成像ユニットと表示ユニットを具え、
該表示ユニットは該中央処理装置に電気的に接続されてこれら立体映像を表示するのに用いられ、
該立体成像ユニットは該表示ユニットの表面に設置され、これら立体映像を多重映像に変換し、該多重映像は肉眼で見るとこれら立体映像となることを特徴とする立体映像インタラクティブシステム。
【請求項７】
請求項６記載の立体映像インタラクティブシステムにおいて、該立体成像ユニットはアクティブレンズ構造、レンチキュラーレンズ構造、液晶レンズ構造、液晶バリア構造、光回折素子構造或いはレンチキュラーシート構造のいずれかとされることを特徴とする立体映像インタラクティブシステム。
【請求項８】
請求項６記載の立体映像インタラクティブシステムにおいて、該表示ユニットは、陰極線管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、真空蛍光ディスプレイ（ＶＦＤ）、プラズマディスプレイパネル（ＰＤＰ）、表面伝導型電子放出（ＳＥＤ）ディスプレイ、電界放出ディスプレイ（ＦＥＤ）或いは電子ペーパー（Ｅ−Ｐａｐｅｒ）のいずれかとされることを特徴とする立体映像インタラクティブシステム。
【請求項９】
請求項８記載の立体映像インタラクティブシステムにおいて、該表示ユニットは、ねじれネマティック型（ＴＮ）液晶ディスプレイ、垂直配向（ＶＡ）液晶ディスプレイ、マルチドメイン垂直配向（ＭＶＡ）液晶ディスプレイ、パターン化垂直配向（Ｐａｔｔｅｒｎｅｄ Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ；ＰＶＡ）液晶ディスプレイ、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ Ｓｗｉｔｃｈｉｎｇ）液晶ディスプレイ、ＣＰＡ（Ｃｏｎｔｉｎｕｏｕｓ Ｐｉｎｗｈｅｅｌ Ａｌｉｇｎｍｅｎｔ）液晶ディスプレイ、ＯＣＢ（Ｏｐｔｉｃａｌ Ｃｏｍｐｅｎｅｓａｔｅｄ Ｂｅｎｄ）液晶ディスプレイからなる群のいずれかとされることを特徴とする立体映像インタラクティブシステム。
【請求項１０】
請求項８記載の立体映像インタラクティブシステムにおいて、該表示ユニットは、能動マトリクス型有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、受動マトリクス型有機発光ダイオード（ＰＭＯＬＥＤ）ディスプレイからなる群のいずれかとされることを特徴とする立体映像インタラクティブシステム。
【請求項１１】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像処理ユニットは座標計算の方式により該立体映像のリアルタイム動作を計算し、該座標計算は相対座標、極座標、球座標或いは空間座標に用いられる計算方式のいずれかが用いられることを特徴とする立体映像インタラクティブシステム。
【請求項１２】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像インタラクティブシステムは、以下のステップにより該第１立体映像を取得し、すなわち、
該立体映像キャプチャモジュールが物品外観を走査して該第１立体映像を取得し、
該立体映像処理ユニットがこれら物品映像の完成度を検査し、
これら物品映像を該立体映像処理ユニットで合成して該第１立体映像となし、
該第１立体映像が該中央処理装置を通して該立体映像表示モジュールに伝送され、
該立体映像表示モジュールが該第１立体映像を表示し並びに立体映像インタラクティブの操作を実行する、
以上を特徴とする立体映像インタラクティブシステム。
【請求項１３】
請求項１２記載の立体映像インタラクティブシステムにおいて、該立体映像キャプチャモジュールが物品外観を走査して該第１立体映像を取得するステップは、垂直走査或いは水平走査を包含することを特徴とする立体映像インタラクティブシステム。
【請求項１４】
請求項１２記載の立体映像インタラクティブシステムにおいて、これら物品映像を該立体映像処理ユニットで合成して該第１立体映像となすステップが、さらに、
該立体映像処理ユニットが該第１立体映像の体積を計算するステップ、
を包含したことを特徴とする立体映像インタラクティブシステム。
【請求項１５】
請求項１４記載の立体映像インタラクティブシステムにおいて、該立体映像処理ユニットが該第１立体映像の体積を計算する時、該立体映像キャプチャモジュールが取得したこれら物品映像比例により体積計算を実行することを特徴とする立体映像インタラクティブシステム。
【請求項１６】
請求項１記載の立体映像インタラクティブシステムにおいて、該保存ユニット内に予め第２立体映像が設けられたことを特徴とする立体映像インタラクティブシステム。
【請求項１７】
請求項１６記載の立体映像インタラクティブシステムにおいて、該立体映像インタラクティブシステムは以下のステップにより該第２立体映像を取得し、すなわち、
該立体映像キャプチャモジュールが物品の外観を走査し複数の物品映像を取得し、
該立体映像処理ユニットが該保存ユニットをサーチしてこれら物品映像と同じ一つの第２立体映像を探し出し、
該第２立体映像が該中央処理装置を通して該立体映像表示モジュールに伝送され、
該立体映像表示モジュールが該第２立体映像を表示し並びに立体映像インタラクティブの操作が実行可能となり、
以上を特徴とする立体映像インタラクティブシステム。
【請求項１８】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像インタラクティブシステムは以下のステップにより立体映像インタラクティブ動作を実行し、
該立体映像表示モジュールが一つの第３立体映像を表示し、
該操作体が該立体映像の前で動作を実行し、
該立体映像キャプチャモジュールが該操作体の動作映像を取得し、
該立体映像処理ユニットが該動作映像により動作特徴を取得し、
該中央処理装置が該動作特徴により該第３立体映像に対応する変化を発生させ、
以上を特徴とする立体映像インタラクティブシステム。
【請求項１９】
請求項１８記載の立体映像インタラクティブシステムにおいて、該第３立体映像が該第１立体映像或いは該保存ユニット内に予め設けられた該第２立体映像とされることを特徴とする立体映像インタラクティブシステム。
【請求項２０】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像インタラクティブシステムは立体状況インタラクティブ動作を実行し、
該立体映像表示モジュールが一つの第４立体映像を表示し、
該操作体が該立体映像前で動作を実行し、
該立体映像キャプチャモジュールが使用者の動作映像を取得し、
該立体映像処理ユニットが該動作映像により動作特徴を取得し、
該立体映像キャプチャモジュールが使用者の該第４立体映像上での動作位置を計算し、 該中央処理装置が該動作特徴と該第４立体映像の対応する状況状態により対応する変化を発生し、
以上を特徴とする立体映像インタラクティブシステム。
【請求項２１】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像インタラクティブシステムは以下のステップにより立体座標計算を実行し、
該立体映像表示モジュールが立体空間を規定し並びに該立体空間内に該立体映像を表示し、
該立体映像キャプチャモジュールが該立体空間内に操作体の接触が有るかを検出し、
該立体映像キャプチャモジュールが操作体の動作映像を取得し並びに動作特徴を計算し、
該中央処理装置が該立体空間が予め規定する座標により該動作特徴の座標を取得し、
該中央処理装置が該動作特徴の座標を該立体映像が包含する全ての座標と対比し、対応する座標変化を発生し、
以上を特徴とする立体映像インタラクティブシステム。
【請求項２２】
請求項２１記載の立体映像インタラクティブシステムにおいて、該中央処理装置が該動作特徴の座標を該立体映像が包含する全ての座標と対比し、対応する座標変化を発生するステップ中に、さらに、
該動作特徴の座標が該立体映像の包含する全ての座標を突き抜けていれば、該立体映像の形態は陥没変化を呈するステップ、を包含することを特徴とする立体映像インタラクティブシステム。
【請求項２３】
請求項２１記載の立体映像インタラクティブシステムにおいて、該中央処理装置が該動作特徴の座標を該立体映像が包含する全ての座標と対比し、対応する座標変化を発生するステップ中に、さらに、
該動作特徴の座標が該立体映像の包含する全ての座標より乖離するものであれば、該立体映像の形態は引き伸ばし変化を呈するステップ、を包含することを特徴とする立体映像インタラクティブシステム。
【請求項２４】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像インタラクティブシステムは以下のステップにより空間計算を実行し、
該立体映像表示モジュールが立体空間映像を発生し並びにその容積の大きさを規定し、 該立体空間内に少なくとも一つの立体映像を置き、
該操作体が該立体空間内でこれら立体映像を配置し、
該立体映像処理ユニットがこれら立体映像の体積を取得し並びに該立体空間の容積使用率を計算し、
以上を特徴とする立体映像インタラクティブシステム。
【請求項２５】
請求項２４記載の立体映像インタラクティブシステムにおいて、該立体映像は第１立体映像或いは該保存ユニット内に予め設けられた第２立体映像とされることを特徴とする立体映像インタラクティブシステム。
【請求項２６】
請求項２５記載の立体映像インタラクティブシステムにおいて、該立体映像が該第１立体映像とされる時、該立体映像処理ユニットが該第１立体映像を発生する時、該中央処理装置が該第１立体映像の体積を計算することを特徴とする立体映像インタラクティブシステム。
【請求項２７】
請求項２５記載の立体映像インタラクティブシステムにおいて、該立体映像が該第２立体映像とされる時、該中央処理装置は該第２立体映像を保存する時に予めその体積を取得することを特徴とする立体映像インタラクティブシステム。
【請求項２８】
請求項２４記載の立体映像インタラクティブシステムにおいて、該操作体が該立体空間内でこれら立体映像を配置するステップ中、該立体映像処理ユニットが該操作体の動作により、該立体映像の体積をリアルタイムで計算することを特徴とする立体映像インタラクティブシステム。
【請求項１】
立体映像を表示でき操作体で該立体映像を制御できる立体映像インタラクティブシステムにおいて、
立体映像キャプチャモジュールであって、一つの物品の複数の物品映像を取得するのに用いられ、及び、操作体の動作映像を取得するのに用いられる一つ或いは複数の立体映像キャプチャユニットを有する、上記立体映像キャプチャモジュールと、
立体映像処理ユニットであって、これら立体映像キャプチャユニットに電気的に接続され、これら物品映像を整合して第１立体映像となし、該動作映像中より動作特徴を取得する、上記立体映像処理ユニットと、
ホストマシンであって、該立体映像処理ユニットに電気的に接続された中央処理装置、及び該中央処理装置に電気的に接続された保存ユニットを包含し、
該保存ユニットは該第１立体映像を保存するのに用いられ、
該中央処理装置は該立体映像処理ユニットに電気的に接続され、これらの立体映像が該動作特徴においてのリアルタイム動作を計算する、上記ホストマシン、
立体映像表示モジュールであって、該中央処理装置に電気的に接続され、該立体映像のリアルタイム動作を表示する、上記立体映像表示モジュール、
以上を包含したことを特徴とする立体映像インタラクティブシステム。
【請求項２】
請求項１記載の立体映像インタラクティブシステムにおいて、該操作体が複数個設けられ、該立体映像キャプチャモジュールがこれら操作体の動作映像を取得し、並びに該立体映像処理ユニットがこれら動作映像より対応数量の動作特徴を発生することを特徴とする立体映像インタラクティブシステム。
【請求項３】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像キャプチャユニットは、電荷結合素子（ＣＣＤ）或いは相補型金属酸化膜半導体（ＣＭＯＳ）で構成された感光素子のいずれかとされることを特徴とする立体映像インタラクティブシステム。
【請求項４】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像キャプチャユニットは、ライナーＣＣＤ、インターライントランスファーＣＣＤ、フルフレームＣＣＤ、フレームトランスファーＣＣＤで構成された電荷結合素子群より選択されることを特徴とする立体映像インタラクティブシステム。
【請求項５】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像処理ユニットは該中央処理装置に電気的に接続された集積回路形式、或いは該中央処理装置内に記録されたファームウエア形式、或いは該中央処理装置に読み取られ演算されるソフトウエア形式、或いはアクティブ素子とパッシブ素子で構成された電子回路形式とされることを特徴とする立体映像インタラクティブシステム。
【請求項６】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像表示モジュールは立体成像ユニットと表示ユニットを具え、
該表示ユニットは該中央処理装置に電気的に接続されてこれら立体映像を表示するのに用いられ、
該立体成像ユニットは該表示ユニットの表面に設置され、これら立体映像を多重映像に変換し、該多重映像は肉眼で見るとこれら立体映像となることを特徴とする立体映像インタラクティブシステム。
【請求項７】
請求項６記載の立体映像インタラクティブシステムにおいて、該立体成像ユニットはアクティブレンズ構造、レンチキュラーレンズ構造、液晶レンズ構造、液晶バリア構造、光回折素子構造或いはレンチキュラーシート構造のいずれかとされることを特徴とする立体映像インタラクティブシステム。
【請求項８】
請求項６記載の立体映像インタラクティブシステムにおいて、該表示ユニットは、陰極線管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、真空蛍光ディスプレイ（ＶＦＤ）、プラズマディスプレイパネル（ＰＤＰ）、表面伝導型電子放出（ＳＥＤ）ディスプレイ、電界放出ディスプレイ（ＦＥＤ）或いは電子ペーパー（Ｅ−Ｐａｐｅｒ）のいずれかとされることを特徴とする立体映像インタラクティブシステム。
【請求項９】
請求項８記載の立体映像インタラクティブシステムにおいて、該表示ユニットは、ねじれネマティック型（ＴＮ）液晶ディスプレイ、垂直配向（ＶＡ）液晶ディスプレイ、マルチドメイン垂直配向（ＭＶＡ）液晶ディスプレイ、パターン化垂直配向（Ｐａｔｔｅｒｎｅｄ Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ；ＰＶＡ）液晶ディスプレイ、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ Ｓｗｉｔｃｈｉｎｇ）液晶ディスプレイ、ＣＰＡ（Ｃｏｎｔｉｎｕｏｕｓ Ｐｉｎｗｈｅｅｌ Ａｌｉｇｎｍｅｎｔ）液晶ディスプレイ、ＯＣＢ（Ｏｐｔｉｃａｌ Ｃｏｍｐｅｎｅｓａｔｅｄ Ｂｅｎｄ）液晶ディスプレイからなる群のいずれかとされることを特徴とする立体映像インタラクティブシステム。
【請求項１０】
請求項８記載の立体映像インタラクティブシステムにおいて、該表示ユニットは、能動マトリクス型有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、受動マトリクス型有機発光ダイオード（ＰＭＯＬＥＤ）ディスプレイからなる群のいずれかとされることを特徴とする立体映像インタラクティブシステム。
【請求項１１】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像処理ユニットは座標計算の方式により該立体映像のリアルタイム動作を計算し、該座標計算は相対座標、極座標、球座標或いは空間座標に用いられる計算方式のいずれかが用いられることを特徴とする立体映像インタラクティブシステム。
【請求項１２】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像インタラクティブシステムは、以下のステップにより該第１立体映像を取得し、すなわち、
該立体映像キャプチャモジュールが物品外観を走査して該第１立体映像を取得し、
該立体映像処理ユニットがこれら物品映像の完成度を検査し、
これら物品映像を該立体映像処理ユニットで合成して該第１立体映像となし、
該第１立体映像が該中央処理装置を通して該立体映像表示モジュールに伝送され、
該立体映像表示モジュールが該第１立体映像を表示し並びに立体映像インタラクティブの操作を実行する、
以上を特徴とする立体映像インタラクティブシステム。
【請求項１３】
請求項１２記載の立体映像インタラクティブシステムにおいて、該立体映像キャプチャモジュールが物品外観を走査して該第１立体映像を取得するステップは、垂直走査或いは水平走査を包含することを特徴とする立体映像インタラクティブシステム。
【請求項１４】
請求項１２記載の立体映像インタラクティブシステムにおいて、これら物品映像を該立体映像処理ユニットで合成して該第１立体映像となすステップが、さらに、
該立体映像処理ユニットが該第１立体映像の体積を計算するステップ、
を包含したことを特徴とする立体映像インタラクティブシステム。
【請求項１５】
請求項１４記載の立体映像インタラクティブシステムにおいて、該立体映像処理ユニットが該第１立体映像の体積を計算する時、該立体映像キャプチャモジュールが取得したこれら物品映像比例により体積計算を実行することを特徴とする立体映像インタラクティブシステム。
【請求項１６】
請求項１記載の立体映像インタラクティブシステムにおいて、該保存ユニット内に予め第２立体映像が設けられたことを特徴とする立体映像インタラクティブシステム。
【請求項１７】
請求項１６記載の立体映像インタラクティブシステムにおいて、該立体映像インタラクティブシステムは以下のステップにより該第２立体映像を取得し、すなわち、
該立体映像キャプチャモジュールが物品の外観を走査し複数の物品映像を取得し、
該立体映像処理ユニットが該保存ユニットをサーチしてこれら物品映像と同じ一つの第２立体映像を探し出し、
該第２立体映像が該中央処理装置を通して該立体映像表示モジュールに伝送され、
該立体映像表示モジュールが該第２立体映像を表示し並びに立体映像インタラクティブの操作が実行可能となり、
以上を特徴とする立体映像インタラクティブシステム。
【請求項１８】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像インタラクティブシステムは以下のステップにより立体映像インタラクティブ動作を実行し、
該立体映像表示モジュールが一つの第３立体映像を表示し、
該操作体が該立体映像の前で動作を実行し、
該立体映像キャプチャモジュールが該操作体の動作映像を取得し、
該立体映像処理ユニットが該動作映像により動作特徴を取得し、
該中央処理装置が該動作特徴により該第３立体映像に対応する変化を発生させ、
以上を特徴とする立体映像インタラクティブシステム。
【請求項１９】
請求項１８記載の立体映像インタラクティブシステムにおいて、該第３立体映像が該第１立体映像或いは該保存ユニット内に予め設けられた該第２立体映像とされることを特徴とする立体映像インタラクティブシステム。
【請求項２０】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像インタラクティブシステムは立体状況インタラクティブ動作を実行し、
該立体映像表示モジュールが一つの第４立体映像を表示し、
該操作体が該立体映像前で動作を実行し、
該立体映像キャプチャモジュールが使用者の動作映像を取得し、
該立体映像処理ユニットが該動作映像により動作特徴を取得し、
該立体映像キャプチャモジュールが使用者の該第４立体映像上での動作位置を計算し、 該中央処理装置が該動作特徴と該第４立体映像の対応する状況状態により対応する変化を発生し、
以上を特徴とする立体映像インタラクティブシステム。
【請求項２１】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像インタラクティブシステムは以下のステップにより立体座標計算を実行し、
該立体映像表示モジュールが立体空間を規定し並びに該立体空間内に該立体映像を表示し、
該立体映像キャプチャモジュールが該立体空間内に操作体の接触が有るかを検出し、
該立体映像キャプチャモジュールが操作体の動作映像を取得し並びに動作特徴を計算し、
該中央処理装置が該立体空間が予め規定する座標により該動作特徴の座標を取得し、
該中央処理装置が該動作特徴の座標を該立体映像が包含する全ての座標と対比し、対応する座標変化を発生し、
以上を特徴とする立体映像インタラクティブシステム。
【請求項２２】
請求項２１記載の立体映像インタラクティブシステムにおいて、該中央処理装置が該動作特徴の座標を該立体映像が包含する全ての座標と対比し、対応する座標変化を発生するステップ中に、さらに、
該動作特徴の座標が該立体映像の包含する全ての座標を突き抜けていれば、該立体映像の形態は陥没変化を呈するステップ、を包含することを特徴とする立体映像インタラクティブシステム。
【請求項２３】
請求項２１記載の立体映像インタラクティブシステムにおいて、該中央処理装置が該動作特徴の座標を該立体映像が包含する全ての座標と対比し、対応する座標変化を発生するステップ中に、さらに、
該動作特徴の座標が該立体映像の包含する全ての座標より乖離するものであれば、該立体映像の形態は引き伸ばし変化を呈するステップ、を包含することを特徴とする立体映像インタラクティブシステム。
【請求項２４】
請求項１記載の立体映像インタラクティブシステムにおいて、該立体映像インタラクティブシステムは以下のステップにより空間計算を実行し、
該立体映像表示モジュールが立体空間映像を発生し並びにその容積の大きさを規定し、 該立体空間内に少なくとも一つの立体映像を置き、
該操作体が該立体空間内でこれら立体映像を配置し、
該立体映像処理ユニットがこれら立体映像の体積を取得し並びに該立体空間の容積使用率を計算し、
以上を特徴とする立体映像インタラクティブシステム。
【請求項２５】
請求項２４記載の立体映像インタラクティブシステムにおいて、該立体映像は第１立体映像或いは該保存ユニット内に予め設けられた第２立体映像とされることを特徴とする立体映像インタラクティブシステム。
【請求項２６】
請求項２５記載の立体映像インタラクティブシステムにおいて、該立体映像が該第１立体映像とされる時、該立体映像処理ユニットが該第１立体映像を発生する時、該中央処理装置が該第１立体映像の体積を計算することを特徴とする立体映像インタラクティブシステム。
【請求項２７】
請求項２５記載の立体映像インタラクティブシステムにおいて、該立体映像が該第２立体映像とされる時、該中央処理装置は該第２立体映像を保存する時に予めその体積を取得することを特徴とする立体映像インタラクティブシステム。
【請求項２８】
請求項２４記載の立体映像インタラクティブシステムにおいて、該操作体が該立体空間内でこれら立体映像を配置するステップ中、該立体映像処理ユニットが該操作体の動作により、該立体映像の体積をリアルタイムで計算することを特徴とする立体映像インタラクティブシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−２２９８４（Ｐ２０１１−２２９８４Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−２１８６３８（Ｐ２００９−２１８６３８）
【出願日】平成２１年９月２４日（２００９．９．２４）
【出願人】（５０７２９４７５３）介面光電股▲ふん▼有限公司 (29)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年９月２４日（２００９．９．２４）
【出願人】（５０７２９４７５３）介面光電股▲ふん▼有限公司 (29)
【Ｆターム（参考）】
[ Back to top ]