リアルタイムに相互作用する映像の制作方法、映像の制作装置、および映像の制作システム
【課題】 廉価で簡単なリアルタイムに相互作用する映像の制作方法およびシステムを提供する。
【解決手段】 リアルタイムに相互作用する映像の制作方法、制作装置、および、制作システムであり、画面500を備える表示装置と、少なくとも1つのプロセッサ、メモリおよびプログラムを備える計算機器と、撮影装置とを備え、プログラムはメディアコンテンツおよび特殊効果コマンドスクリプトを提供する。撮影装置が現場人員映像401を撮影し、特殊効果コマンドスクリプトと整合して再生するとき、メディアコンテンツはリアルタイムに画面500上に表示され、さらに画面500上の現場人員映像401と相互作用させることができる。
【解決手段】 リアルタイムに相互作用する映像の制作方法、制作装置、および、制作システムであり、画面500を備える表示装置と、少なくとも1つのプロセッサ、メモリおよびプログラムを備える計算機器と、撮影装置とを備え、プログラムはメディアコンテンツおよび特殊効果コマンドスクリプトを提供する。撮影装置が現場人員映像401を撮影し、特殊効果コマンドスクリプトと整合して再生するとき、メディアコンテンツはリアルタイムに画面500上に表示され、さらに画面500上の現場人員映像401と相互作用させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動的映像の制作方法、制作装置、および、制作システムに関し、特に、リアルタイムに相互作用する映像の制作方法、制作装置、および、制作システムに関する。
【背景技術】
【０００２】
デジタルカメラ、インターネットカメラおよびカメラ付き携帯電話などの撮影装置が廉価になって広く普及したことにより、家庭用コンピュータと電子製品との融合は止めることのできない趨勢となっている。しかし、現在の映像マルチメディアの応用はその多くが静止画像を主としており、通常、写真の撮影保存およびファイル管理に重点が置かれ、基本的な画像処理および簡単な画像合成機能が設けられている。動的映像の設備においては、単純な録画、ファイル転換および再生に関する応用が主流となっており、時にはネットワークと組み合わせてリアルタイムな映像の伝送を行うが、マルチメディアコンテンツに創作的な付加価値を与えたり、改造を行ったりすることに対しては不足している部分が多い。また、ゲームソフトによっては使用者の四肢動作のインタラクティブゲームへの整合も試みられているが、運動パターンの理解層のためにゲームシナリオの設計に重大な制限がもたらされることによって、ゲーム内容の変化性も制限される。
【０００３】
また、テレビコンテンツにおいてよく見られる特殊効果は、制作時に必要なハードおよびソフトのコストが高いだけでなく、専門知識が必要であるので、閾の高い専門領域である。また、役者はその場に存在しない相手を想像して演技する必要があり、負担が大きく、制作上非常に不便である。
【０００４】
上述の一般のデジタルコンテンツの制作における複雑性に鑑み、本発明の発明者はリアルタイムに相互作用する映像の制作方法、映像の制作装置、および、映像の制作システムを案出し、簡単で自然なマンマシンインターフェイスを提供することができ、制作者は廉価なコストで、内容が豊富なデジタルコンテンツを創作できる。
【特許文献１】特開平１０−１３７３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、廉価で簡単なリアルタイムに相互作用する映像の制作方法、映像の制作装置、および、映像の制作システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は簡単で自然なマンマシンインターフェイスを提供するものであり、制作者は廉価なコストで、内容が豊富なデジタルコンテンツを創作できる。
【０００７】
本発明はリアルタイムに相互作用する映像の制作方法、映像の制作装置、および、映像の制作システムを提供するものであり、画面を備える表示装置、現場人員、少なくとも一つのプロセッサ、メモリおよびプログラムを備える計算機器および撮影装置を備える。プログラムはメディアコンテンツおよび特殊効果コマンドスクリプトを提供する。撮影装置は現場人員映像を撮影し、特殊効果コマンドスクリプトと整合する。最後に、メディアコンテンツおよび整合された現場人員映像と、特殊効果コマンドスクリプトとを合成し、リアルタイムに画面上に表示する。
【０００８】
すなわち、請求項１の発明は、画面を準備するステップと、リアルタイムに映像を撮影して前記画面に表示するステップと、仮想の物体の画像を生成し前記画面に表示するステップと、前記物体の画像と前記映像とを相互作用させるステップとを含むことを特徴とするリアルタイムに相互作用する映像の制作方法である。
【０００９】
請求項２の発明は、前記映像を撮影する方法は、インターネットカメラを使用してインターネットカメラ前の映像を撮影する方法であることを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項３の発明は、前記物体の画像を生成するステップは、さらに、予め選択されたモードで対応する物体の画像を生成するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項４の発明は、前記相互作用させるステップは、前記映像位置を認識するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項５の発明は、前記相互作用させるステップは、前記映像の変動を追跡するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項６の発明は、前記相互作用させるステップは、特殊効果スクリプトを前記映像上に生成するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項７の発明は、前記特殊効果スクリプトは、スクリプト言語によって記述された特殊効果コマンド集から選択されることを特徴とする請求項６記載のリアルタイムに相互作用する映像の制作方法である。
請求項８の発明は、前記物体は、メディアコンテンツから選択されることを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項９の発明は、前記画面を準備するステップは、映像提供者が撮影装置前に存在し、前記撮影装置と前記画面とが電気的に接続されるステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項１０の発明は、前記物体の画像を生成するステップは、前記映像が前記映像の特徴追跡に従うステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項１１の発明は、前記物体の画像を生成するステップは、前記映像が姿勢分析および認識に従うステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
【００１０】
請求項１２の発明は、メディア処理装置によって判読される複数のプログラムを保存し、前記メディア処理装置は前記複数のプログラムに基づいて、背景データおよびリアルタイム映像を含むデータを入力するステップと、前記データを認識するステップと、前記データの変更部分を追跡するステップと、メディアコンテンツを準備するステップと、前記メディアコンテンツと前記データとを合成するステップと、前記メディアコンテンツと前記データとを合成したものを表示するステップとを実行することを特徴とするリアルタイムに相互作用する映像の制作装置である。
【００１１】
請求項１３の発明は、前記メディア処理装置によって判読される複数のプログラムを保存し、メディアコンテンツを準備するステップは、さらに、前記メディアコンテンツの読み込みを行うステップと、前記メディアコンテンツを復号化するステップとを含むことを特徴とする請求項１２記載のリアルタイムに相互作用する映像の制作装置である。
請求項１４の発明は、前記メディア処理装置によって判読される複数のプログラムを保存し、前記メディアコンテンツと前記データとを合成するステップは、さらに、前記データの変更部分を再追跡するステップを含むことを特徴とする請求項１２記載のリアルタイムに相互作用する映像の制作装置である。
請求項１５の発明は、前記メディア処理装置によって判読される複数のプログラムを保存し、さらに、特殊効果の読み込みを行うステップと、前記メディアコンテンツ、前記データおよび特殊効果の合成したものを再処理するステップと、前記メディアコンテンツ、前記データおよび特殊効果の合成したものを表示するステップとを含むことを特徴とする請求項１２記載のリアルタイムに相互作用する映像の制作装置である。
請求項１６の発明は、前記メディア処理装置によって判読される複数のプログラムを保存し、前記特殊効果の読み込みを行うステップは、さらに、特殊効果を前記背景データに嵌入するステップを含むことを特徴とする請求項１５記載のリアルタイムに相互作用する映像の制作装置である。
【００１２】
請求項１７の発明は、画面を備える表示装置と、少なくとも1つのプロセッサ、メモリおよび、メディアコンテンツおよび特殊効果コマンドスクリプトを備える複数の読み取り可能プログラムを備える計算機器と、映像を受信する撮影装置とを備え、前記特殊効果コマンドスクリプト処理および前記メディアコンテンツとの合成によって、前記メディアコンテンツと前記映像をリアルタイムに相互作用させながら前記画面上に表示することを特徴とするリアルタイムに相互作用する映像の制作システムである。
【００１３】
請求項１８の発明は、前記表示装置は、液晶モニタであることを特徴とする請求項１７記載のリアルタイムに相互作用する映像の制作システムである。
請求項１９の発明は、前記計算機器は、コンピュータであることを特徴とする請求項１７記載のリアルタイムに相互作用する映像の制作システムである。
【発明の効果】
【００１４】
本発明のリアルタイムに相互作用する映像の制作方法、映像の制作装置、および映像の制作システムによれば、相互作用する特殊効果トラックの概念を使用し、未加工の映像における映像トラックおよびオーディオトラック以外に、リアルタイムに特殊効果を加えることができる。一般の映像特殊効果と異なる点は、本発明で規範された特殊効果はリアルタイムに生成することができ、適用する対象も予め選定しておく必要がなく、インタラクティブな変化をさせることができる点にある。
【発明を実施するための最良の形態】
【００１５】
本発明の詳細な説明を図に沿って下記に示す。本発明の実施例を説明するとき、一般の比率ではなく、説明上都合のいいように、局部的に拡大するが、それは本発明を制限するものではない。
【００１６】
本発明は、リアルタイムに相互作用する映像の制作方法、制作装置(リアルタイムに相互作用する映像の保存装置)、および、制作システムであり、画面を備える表示装置、少なくとも一つのプロセッサ、メモリおよびプログラムを備える計算機器および撮影装置を備える。計算機器内のプログラムはメディアコンテンツおよび特殊効果コマンドスクリプトを提供する。撮影装置が現場の映像を撮影し、特殊効果コマンドスクリプトと整合して再生されるとき、メディアコンテンツがリアルタイムに画面上に表示される。メディアコンテンツは仮想人物を含み、リアルタイムに画面上の現場の映像と相互作用させることができる。
【００１７】
図１に示す本発明の一実施例において、パーソナルコンピュータ、セットトップボックス、ゲームコンソールまたは携帯電話などのプロセッサおよびメモリを備える機器、陰極線管ディスプレイ、液晶ディスプレイまたはプラズマディスプレイなどの表示装置および撮影装置が準備され、本実施例ではコンピュータメインフレーム１００、液晶ディスプレイ１０１、および、インターネット等の通信回線を介して撮影画像を転送しうるインターネットカメラ１０２が採用されている。ここで説明しなければならないこととして、本実施例において、コンピュータメインフレーム１００、液晶ディスプレイ１０１およびインターネットカメラ１０２は有線または無線方式で相互に接続されているが、当然、この形態には制限がなく、ノートブックパソコンまたはタブレットコンピュータなどのようにメインフレームとディスプレイとが接合されたものに撮影装置を組み合わせることもできる。
【００１８】
次に、ライブ録画に関して、図１に示すように、インターネットカメラ１０２によって現場人員１０４をライブ撮影する。インターネットカメラ１０２は現場人員１０４の映像をキャプチャリングして液晶ディスプレイ１０１の画面１０３上に表示する。画面１０３上には現場人員映像１０５が表示される。現場人員映像１０５はそのときインターネットカメラ１０２の前にいる現場人員１０４をリアルタイムに表示するものである。一実施例における一選択モードにおいて、仮想人物１０６と現場人員映像１０５とが相互作用し合う。ここで説明しなければならないこととして、現場人員１０４はリアルタイムに画面１０３上に表示されて現場人員映像１０５となる。ここでのリアルタイムとは現場人員１０４の動作と現場人員映像１０５とが同期しているということである。また、現場人員１０４がいるシーンおよび仮想人物１０６と現場人員映像１０５との相互作用の方式は予め設定されてなく、使用者はメニュまたは類似のインターフェイスによって選択することができる。選択モードはプログラムが制作されたアプリケーションプログラムとすることができ、コンピュータメインフレーム１００内のメモリなどに保存される。
【００１９】
図２は、本発明のメディア処理装置の一実施例によるファイルアーキテクチャを示す図である。予め選択されたモードは主体コンテンツおよび特殊効果スクリプトファイルから構成され、一実施例として、先ず、メディアコンテンツ２０１およびシナリオを設定し、例えばポピュラー音楽、昔の歌またはクラシック音楽などのマルチメディア映像コンテンツを生成する。次に、お互いに対応する相互作用効果が設けられた特殊効果コマンドスクリプト２０２が設計され、それは時間パラメータ、相対空間パラメータ、特殊効果の種類、特殊効果適用対象などの基本データを含み、特定の言語によって記述され、コマンドファイルとして保存される。使用者は性別、年齢などの要素に応じて異なるテーマを設計することができ、異なる特殊効果と組み合わせることができる。即ち、同一の主体コンテンツに関して述べると、複数の特殊効果コマンドを搭載することができ、例として、流行音楽を再生するとき、お互いに対応する特殊効果スクリプトに仮想人物を読み込み、再生時にデータ整合を行う方式を採用できる。先ず、使用者はメディアコンテンツ２０１および特殊効果コマンドスクリプト２０２をダウンロードする。続いて現場人員映像のキャプチャリング２０３を行い、撮影装置のリアルタイムな映像のキャプチャリングと組み合わせ、図１に示すように現場人員映像１０５をキャプチャリングした後、特殊効果コマンドスクリプト２０２と直列整合し、最後に動的映像の合成２０４によって直列後のリアルタイムにキャプチャリングされた映像および特殊効果コマンドスクリプト２０２とメディアコンテンツ２０１とを合成し、現場人員を仮想世界の中に表示する。
【００２０】
図３、４はメディア処理装置によってキャプチャリングされた現場人員と仮想世界とを合成し、再生した状態を示す模式図である。表示装置は一画面を表示し、それは撮影装置（図示せず）が現場人員を撮影し、リアルタイムに表示装置の画面４００に表示したものであり、画面４００には現場人員映像４０１が存在する。本実施例の読み取り可能プログラムを実行するとき、予め選択されたモードは人物、神様、アニメキャラクタ、妖怪などの仮想人物４０２を生成することができる。
【００２１】
このとき、仮想人物４０２は現場人員映像４０１と相互作用をさせることができ、リアルタイムに画面４００に表示することができる。図４に示すように、仮想人物４０２は多くの動作および特殊効果を備えることができ、現場人員映像４０１も左右移動などの小さな運動をすることができる。例えば、仮想人物４０２を現場人員映像４０１の肩に乗せたり、現場人員映像４０１の頬にキスをしたりすることができる。このとき、仮想人物４０２の動作に反応して現場人員映像４０１に赤面効果５０１や喜悦効果５０２を生成することができる。もう1つの例として、仮想人物４０２は現場人員映像４０１に魔法を掛けることができ、このとき仮想人物４０２の動作に反応して現場人員映像４０１の頭の上には耳５０３が付き、現場人員映像４０１の頭部が少し揺動したとき、耳５０３もそれに連れて揺動する。即ち、仮想人物４０２、現場人員映像４０１および各種の効果はリアルタイムに相互作用する。つまり、画面５００上において、現場人員映像４０１がどこに移動しても、耳５０３は永遠に現場人員映像４０１の頭の上にある。ここで説明しなければならないこととして、技術的には先ず認識技術を使用することができ、先ず現場人員映像４０１の髪の位置を確認し、次に追跡技術を使用して頭部の移動位置を追跡し、次に特殊効果である耳５０３を髪の上に加え、このような認識および追跡の繰り返しによって、画面上には人と仮想物とのリアルタイムな相互作用効果が生成される。
【００２２】
現場人員に関して述べると、現場人員映像は半身モードと全身モードとに分けることができ、半身モードは現場人員の頭部および肩部が画面に表示され、全身モードは画面中の身体部分が全身の十分の七を占める。ここで説明しなければならないこととして、インタラクティブなデジタルコンテンツの構成において、リアルタイム性および正確性は同時に達成するのが難しい目標であるが、本発明においてはアプリケーション形態の違いに応じて好適な処理および調整を行うことができる。例を挙げると、動的な顔部拡大映像に応用するとき、顔部特徴の検出および正確な定位が主に考慮される。動作モードでは全域動作の簡易パラメータの推定が主に考慮される。全身モードのときはエリア運動の追跡および構成の認識が相互作用モジュールの重点とされる。
【００２３】
仮想像と現場人員との相互作用の使用方法に関して、特徴検出、特徴追跡、姿勢分析および姿勢認識などは仮想像と現場人員の動作とを分析する。特徴検出は適用対象の性質に基づいて低レベル（特徴点）および高レベル（目や口などの顔部特徴）がそれぞれ考慮されたキャプチャリングである。特徴のマッチング方式に関しては、暗示的（Implicit）規則および明示的（Explicit）規則に分けられる。明示的特徴マッチング規則は特徴間の一対一の対応関係を求める。暗示的特徴マッチング規則はパラメータまたは転換などの方式によって前後のフレーム内の特徴間の関係を表す。例えば、明示的規則および低レベル特徴は特徴点マッチング（四肢追跡）とすることができ、明示的規則および高レベル特徴は表情分析とすることができ、暗示的規則および低レベル特徴は密度オプティカルフローとすることができ、暗示的規則および高レベル特徴は顔部器官検出および定位とすることができる。
【００２４】
特徴検出においては下記の方法及び装置が使用され、効率が高く、正確な顔面検出および器官定位がなされる。図５は水平辺縁の密度計算の初期選定の連続図であり、初期検出は、グレイスケール映像の水平辺縁の密度強弱によって目および口の位置が初期推定される。候補エリア６０１は選定された目および口の位置である。次に、多くの候補エリア６０１において、器官の相対位置と比率関係を利用して更なる篩い分けが行われる。最後に、眼球検出によって位置の確認が行われる。一実施例として、皮膚の色を判断根拠の補助材料とすることもできる。鼻、眉毛および耳などの器官の定位は一実施例として、比率関係によって位置推定がなされる。顔面の輪郭は楕円方程式によって表示される。一実施例として、全身モードの下で、皮膚の色および髪の特徴部位検出器によって迅速な検出を行うことができ、人体のその他部分に関しては比較的低いレベルであるがグループ化がされた特徴点によって描写される。
【００２５】
特徴追跡に関し、半身操作モードの特徴追跡の一実施例では、顔部器官の持続定位および全体のエリアの運動パラメータ推定に重点が置かれる。全身操作モードの一実施例として、グループ化のグラフマッチング方式によって特徴の比較および追跡がなされ、計算資源の変化状況によって特徴点の数量が調整される。説明しなければならないこととして、本実施例において、映像キャプチャリング装置が現場人員の顔部を追跡するのではなく、現場人員の顔部が映像キャプチャリング装置の撮影位置に適応しなければならず、このようにして姿勢推定を考慮する必要を無くすことができる。
【００２６】
姿勢の分析および認識に関して、静止状態の下での物体の形状の判別の一実施例として、形状マッチングを使用することができ、その関連技術であるShape Contextなどを使用することができる。演算法もElastic Matching演算法とすることができ、さらに多重解析度の概念と組み合わせて小さな程度の変形および遮蔽効果を容認する。連続動作の分析および認識の一実施例として、階層式のオプティカルフロー追跡方式（Pyramidal Optical Flow）を利用し、先ず人体の移動方向および速度を算出し、使用時間の序列法の一実施例として、隠れマルコフモデルまたはリカレント型ニューラルネットワークなどとすることができ、その動作の表す意味内容を分析する。
【００２７】
図６は、本発明のメディア処理装置、そのシステム、ソフトの運転の一実施例を示すフロー図である。アプリケーションプログラムのトリガー７０１、ハードの検出７５１、警告メッセージ７３１、アプリケーションプログラムの終了７０４および問題メッセージ７３２がプログラムがハード需要を認証するステップに使用される。ハードの検出７５１が問題を発見したとき、警告メッセージ７３１を生成し、そうでないときは問題メッセージ７３２を生成する。警告メッセージ７３１は使用者にハードが検出を行うとき必要なハード設備が未装着であることや運転不可であることを知らせ、例えば、撮影レンズが未装着であるというメッセージおよび撮影レンズの装着が不完全であるなどのメッセージを知らせる。問題メッセージ７３２は使用者に被撮影者がレンズを離れたことを知らせ、次の撮影ステップに便利になっている。次は前処理であり、背景データの収集７０６を行って内部保存背景データ７０７内に保存し、次に問題メッセージ７３３を生成し、その目的は使用者を撮影可能範囲内に進入させることにある。例えば、歓迎画面によって使用者を撮影可能範囲内に進入させ、その映像を表示画面に出現させる。
【００２８】
認識７０９はここでは顔部および四肢全体を認識できる。動作追跡７１０はここでは顔部および四肢全体の動作を検出できる。また、メディアデータ７６１は拡張ファイルの部類であるＡＶＩまたはＭＰＥＧフォーマットを含むことができる。一実施例として、メディアデータ７６１はＤＬＬファイルなどの圧縮ファイルとすることができる。次にメディアデータ７１１およびメディアデータの復号化７１３を読み込む。認識７０９、動作追跡７１０および内部保存背景データ７０７が次のステップと組み合わさって動的合成映像が生成される。
【００２９】
メディア処理装置によって、撮影機映像とメディアデータ（仮想の物体の画像）との合成７１４および動作の再追跡７１５の後、合成メディアデータの表示７１６がされる。動作の再追跡７１５は背景および映像の変更をもう一度検出する。次に特殊効果の読み込みをするかどうか７５２の判断をし、する場合、特殊効果嵌入の読み込み７１８のステップに進む。特殊効果嵌入の読み込み７１８は一実施例として、その特殊効果の等級はＣEffectとすることができる。次に合成メディアデータを保存するかどうか７５３のステップに進み、保存する場合、合成メディアデータの保存７２０を行う。次に時間が終了するかどうか７５４のステップに進み、終了する場合、保存合成メディアデータの再処理７２２のステップ進む、一実施例として、ＪＰＥＧファイルフォーマットまたはＣStyle等級とすることができる。最後に再処理された保存合成メディアデータの表示７２３およびアプリケーションプログラムの終了７２４を行う(リアルタイムに相互作用する映像の保存装置或いは制作装置)。
【００３０】
ここで説明しなければならないこととして、メディア処理装置により撮影機映像とメディアデータとの合成７１４は動作の再追跡７１５後、画面上に合成メディアデータの表示７１６を行うことができ、次に特殊効果嵌入の読み込み７１８に進み、合成メディアデータの保存７２０後、撮影機映像とメディアデータとの合成７１４に進み、このようにしてリアルタイムの効果が生成される。図３、４に示すように、仮想人物４０２は動作の再追跡７１５後、現場人員映像４０１の肩および頬の位置を知ることができる。特殊効果の赤面効果５０１は合成メディアデータの保存７２０および動作の再追跡７１５後、リアルタイムに図３に示す赤面効果５０１を加えることができる。また、動作の再追跡７１５によって頬がどこに移動しても赤面効果５０１は正確な位置に生成させることができる。
【００３１】
以上の説明は、本発明のリアルタイムに相互作用する映像の制作方法、制作装置、制作システムのソフト運転の工程の一実施例を示すものである。本発明はパーソナルコンピュータ、セットトップボックス、ゲームコンソールまたは携帯電話などにおいて、メディア処理装置は前述の説明した各ステップを実行する手段を有し、該各手段により各ステップを実行させることができる。さらに応用して二人の使用者がお互いに遊ぶこともできる。二人の使用者はインターネットまたはイントラネットなどのネットワークで接続され、相手または自分に仮想人物を選択し、一端で命令を出し、他端の仮想人物を操作し、各種の視覚特殊効果を発生させ、相手および自分のモニタ上に表示させることができる。
【００３２】
上述の本発明の一実施例において、アプリケーションソフトの相互作用性および合成効果のリアリティー性が共に考慮され、特殊効果モジュールおよび相互作用モジュールの設計が一緒に考慮され、1つのパッケージに統合され、このようにしてメディアコンテンツのレイアウト時、先ず処理を完了させ、システム資源を相互作用時のリアリティー表現に十分に利用できる。
【００３３】
以上の説明は本発明の実施例を示したものであり、本発明の特許請求の範囲を制限するものではない。本発明の主旨を逸脱しない範囲における変更または修飾はすべて特許請求の範囲に含まれる。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施例によるアーキテクチャを示す模式図である。
【図２】本発明の一実施例によるファイルアーキテクチャを示すブロック図である。
【図３】キャプチャリングされた現場人員と仮想世界とを合成し、再生した状態を示す模式図である。
【図４】キャプチャリングされた現場人員と仮想世界とを合成し、再生した状態を示すもう一つの模式図である。
【図５】水平辺縁の密度計算の初期選定の連続図である。
【図６】本発明のソフトの運転の一実施例を示すフロー図である。
【符号の説明】
【００３５】
１００ コンピュータメインフレーム
１０１ 液晶ディスプレイ
１０２ ネットワークカメラ
１０３、４００、５００ 画面
１０４ 現場人員
１０５、４０１ 現場人員映像
１０６、４０２ 仮想人物
２０１ メディアコンテンツ
２０２ 特殊効果コマンドスクリプト
２０３ 現場人員映像のキャプチャリング
２０４ 動的映像の合成
５０１ 赤面効果
５０２ 喜悦効果
５０３ 耳
６０１ 候補エリア
７０１ アプリケーションプログラムのトリガー
７５１ ハードの検出
７３１ 警告メッセージ
７０４ アプリケーションプログラムの終了
７３２、７３３ 問題メッセージ
７０６ 背景データの収集
７０７ 内部保存背景データ
７０９ 認識
７１０ 動作追跡
７１１ メディアデータの読み込み
７６１ メディアデータ
７１３ メディアデータの復号化
７１４ 撮影機映像とメディアデータとの合成
７１５ 動作の再追跡
７１６ 合成メディアデータの表示
７５２ 特殊効果の読み込みをするかどうか
７１８ 特殊効果嵌入の読み込み
７５３ 合成メディアデータを保存するかどうか
７２０ 合成メディアデータの保存
７５４ 時間が終了するかどうか
７２２ 保存合成メディアデータの再処理
７２３ 再処理された保存合成メディアデータの表示
７２４ アプリケーションプログラムの終了
【技術分野】
【０００１】
本発明は動的映像の制作方法、制作装置、および、制作システムに関し、特に、リアルタイムに相互作用する映像の制作方法、制作装置、および、制作システムに関する。
【背景技術】
【０００２】
デジタルカメラ、インターネットカメラおよびカメラ付き携帯電話などの撮影装置が廉価になって広く普及したことにより、家庭用コンピュータと電子製品との融合は止めることのできない趨勢となっている。しかし、現在の映像マルチメディアの応用はその多くが静止画像を主としており、通常、写真の撮影保存およびファイル管理に重点が置かれ、基本的な画像処理および簡単な画像合成機能が設けられている。動的映像の設備においては、単純な録画、ファイル転換および再生に関する応用が主流となっており、時にはネットワークと組み合わせてリアルタイムな映像の伝送を行うが、マルチメディアコンテンツに創作的な付加価値を与えたり、改造を行ったりすることに対しては不足している部分が多い。また、ゲームソフトによっては使用者の四肢動作のインタラクティブゲームへの整合も試みられているが、運動パターンの理解層のためにゲームシナリオの設計に重大な制限がもたらされることによって、ゲーム内容の変化性も制限される。
【０００３】
また、テレビコンテンツにおいてよく見られる特殊効果は、制作時に必要なハードおよびソフトのコストが高いだけでなく、専門知識が必要であるので、閾の高い専門領域である。また、役者はその場に存在しない相手を想像して演技する必要があり、負担が大きく、制作上非常に不便である。
【０００４】
上述の一般のデジタルコンテンツの制作における複雑性に鑑み、本発明の発明者はリアルタイムに相互作用する映像の制作方法、映像の制作装置、および、映像の制作システムを案出し、簡単で自然なマンマシンインターフェイスを提供することができ、制作者は廉価なコストで、内容が豊富なデジタルコンテンツを創作できる。
【特許文献１】特開平１０−１３７３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、廉価で簡単なリアルタイムに相互作用する映像の制作方法、映像の制作装置、および、映像の制作システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は簡単で自然なマンマシンインターフェイスを提供するものであり、制作者は廉価なコストで、内容が豊富なデジタルコンテンツを創作できる。
【０００７】
本発明はリアルタイムに相互作用する映像の制作方法、映像の制作装置、および、映像の制作システムを提供するものであり、画面を備える表示装置、現場人員、少なくとも一つのプロセッサ、メモリおよびプログラムを備える計算機器および撮影装置を備える。プログラムはメディアコンテンツおよび特殊効果コマンドスクリプトを提供する。撮影装置は現場人員映像を撮影し、特殊効果コマンドスクリプトと整合する。最後に、メディアコンテンツおよび整合された現場人員映像と、特殊効果コマンドスクリプトとを合成し、リアルタイムに画面上に表示する。
【０００８】
すなわち、請求項１の発明は、画面を準備するステップと、リアルタイムに映像を撮影して前記画面に表示するステップと、仮想の物体の画像を生成し前記画面に表示するステップと、前記物体の画像と前記映像とを相互作用させるステップとを含むことを特徴とするリアルタイムに相互作用する映像の制作方法である。
【０００９】
請求項２の発明は、前記映像を撮影する方法は、インターネットカメラを使用してインターネットカメラ前の映像を撮影する方法であることを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項３の発明は、前記物体の画像を生成するステップは、さらに、予め選択されたモードで対応する物体の画像を生成するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項４の発明は、前記相互作用させるステップは、前記映像位置を認識するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項５の発明は、前記相互作用させるステップは、前記映像の変動を追跡するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項６の発明は、前記相互作用させるステップは、特殊効果スクリプトを前記映像上に生成するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項７の発明は、前記特殊効果スクリプトは、スクリプト言語によって記述された特殊効果コマンド集から選択されることを特徴とする請求項６記載のリアルタイムに相互作用する映像の制作方法である。
請求項８の発明は、前記物体は、メディアコンテンツから選択されることを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項９の発明は、前記画面を準備するステップは、映像提供者が撮影装置前に存在し、前記撮影装置と前記画面とが電気的に接続されるステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項１０の発明は、前記物体の画像を生成するステップは、前記映像が前記映像の特徴追跡に従うステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
請求項１１の発明は、前記物体の画像を生成するステップは、前記映像が姿勢分析および認識に従うステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法である。
【００１０】
請求項１２の発明は、メディア処理装置によって判読される複数のプログラムを保存し、前記メディア処理装置は前記複数のプログラムに基づいて、背景データおよびリアルタイム映像を含むデータを入力するステップと、前記データを認識するステップと、前記データの変更部分を追跡するステップと、メディアコンテンツを準備するステップと、前記メディアコンテンツと前記データとを合成するステップと、前記メディアコンテンツと前記データとを合成したものを表示するステップとを実行することを特徴とするリアルタイムに相互作用する映像の制作装置である。
【００１１】
請求項１３の発明は、前記メディア処理装置によって判読される複数のプログラムを保存し、メディアコンテンツを準備するステップは、さらに、前記メディアコンテンツの読み込みを行うステップと、前記メディアコンテンツを復号化するステップとを含むことを特徴とする請求項１２記載のリアルタイムに相互作用する映像の制作装置である。
請求項１４の発明は、前記メディア処理装置によって判読される複数のプログラムを保存し、前記メディアコンテンツと前記データとを合成するステップは、さらに、前記データの変更部分を再追跡するステップを含むことを特徴とする請求項１２記載のリアルタイムに相互作用する映像の制作装置である。
請求項１５の発明は、前記メディア処理装置によって判読される複数のプログラムを保存し、さらに、特殊効果の読み込みを行うステップと、前記メディアコンテンツ、前記データおよび特殊効果の合成したものを再処理するステップと、前記メディアコンテンツ、前記データおよび特殊効果の合成したものを表示するステップとを含むことを特徴とする請求項１２記載のリアルタイムに相互作用する映像の制作装置である。
請求項１６の発明は、前記メディア処理装置によって判読される複数のプログラムを保存し、前記特殊効果の読み込みを行うステップは、さらに、特殊効果を前記背景データに嵌入するステップを含むことを特徴とする請求項１５記載のリアルタイムに相互作用する映像の制作装置である。
【００１２】
請求項１７の発明は、画面を備える表示装置と、少なくとも1つのプロセッサ、メモリおよび、メディアコンテンツおよび特殊効果コマンドスクリプトを備える複数の読み取り可能プログラムを備える計算機器と、映像を受信する撮影装置とを備え、前記特殊効果コマンドスクリプト処理および前記メディアコンテンツとの合成によって、前記メディアコンテンツと前記映像をリアルタイムに相互作用させながら前記画面上に表示することを特徴とするリアルタイムに相互作用する映像の制作システムである。
【００１３】
請求項１８の発明は、前記表示装置は、液晶モニタであることを特徴とする請求項１７記載のリアルタイムに相互作用する映像の制作システムである。
請求項１９の発明は、前記計算機器は、コンピュータであることを特徴とする請求項１７記載のリアルタイムに相互作用する映像の制作システムである。
【発明の効果】
【００１４】
本発明のリアルタイムに相互作用する映像の制作方法、映像の制作装置、および映像の制作システムによれば、相互作用する特殊効果トラックの概念を使用し、未加工の映像における映像トラックおよびオーディオトラック以外に、リアルタイムに特殊効果を加えることができる。一般の映像特殊効果と異なる点は、本発明で規範された特殊効果はリアルタイムに生成することができ、適用する対象も予め選定しておく必要がなく、インタラクティブな変化をさせることができる点にある。
【発明を実施するための最良の形態】
【００１５】
本発明の詳細な説明を図に沿って下記に示す。本発明の実施例を説明するとき、一般の比率ではなく、説明上都合のいいように、局部的に拡大するが、それは本発明を制限するものではない。
【００１６】
本発明は、リアルタイムに相互作用する映像の制作方法、制作装置(リアルタイムに相互作用する映像の保存装置)、および、制作システムであり、画面を備える表示装置、少なくとも一つのプロセッサ、メモリおよびプログラムを備える計算機器および撮影装置を備える。計算機器内のプログラムはメディアコンテンツおよび特殊効果コマンドスクリプトを提供する。撮影装置が現場の映像を撮影し、特殊効果コマンドスクリプトと整合して再生されるとき、メディアコンテンツがリアルタイムに画面上に表示される。メディアコンテンツは仮想人物を含み、リアルタイムに画面上の現場の映像と相互作用させることができる。
【００１７】
図１に示す本発明の一実施例において、パーソナルコンピュータ、セットトップボックス、ゲームコンソールまたは携帯電話などのプロセッサおよびメモリを備える機器、陰極線管ディスプレイ、液晶ディスプレイまたはプラズマディスプレイなどの表示装置および撮影装置が準備され、本実施例ではコンピュータメインフレーム１００、液晶ディスプレイ１０１、および、インターネット等の通信回線を介して撮影画像を転送しうるインターネットカメラ１０２が採用されている。ここで説明しなければならないこととして、本実施例において、コンピュータメインフレーム１００、液晶ディスプレイ１０１およびインターネットカメラ１０２は有線または無線方式で相互に接続されているが、当然、この形態には制限がなく、ノートブックパソコンまたはタブレットコンピュータなどのようにメインフレームとディスプレイとが接合されたものに撮影装置を組み合わせることもできる。
【００１８】
次に、ライブ録画に関して、図１に示すように、インターネットカメラ１０２によって現場人員１０４をライブ撮影する。インターネットカメラ１０２は現場人員１０４の映像をキャプチャリングして液晶ディスプレイ１０１の画面１０３上に表示する。画面１０３上には現場人員映像１０５が表示される。現場人員映像１０５はそのときインターネットカメラ１０２の前にいる現場人員１０４をリアルタイムに表示するものである。一実施例における一選択モードにおいて、仮想人物１０６と現場人員映像１０５とが相互作用し合う。ここで説明しなければならないこととして、現場人員１０４はリアルタイムに画面１０３上に表示されて現場人員映像１０５となる。ここでのリアルタイムとは現場人員１０４の動作と現場人員映像１０５とが同期しているということである。また、現場人員１０４がいるシーンおよび仮想人物１０６と現場人員映像１０５との相互作用の方式は予め設定されてなく、使用者はメニュまたは類似のインターフェイスによって選択することができる。選択モードはプログラムが制作されたアプリケーションプログラムとすることができ、コンピュータメインフレーム１００内のメモリなどに保存される。
【００１９】
図２は、本発明のメディア処理装置の一実施例によるファイルアーキテクチャを示す図である。予め選択されたモードは主体コンテンツおよび特殊効果スクリプトファイルから構成され、一実施例として、先ず、メディアコンテンツ２０１およびシナリオを設定し、例えばポピュラー音楽、昔の歌またはクラシック音楽などのマルチメディア映像コンテンツを生成する。次に、お互いに対応する相互作用効果が設けられた特殊効果コマンドスクリプト２０２が設計され、それは時間パラメータ、相対空間パラメータ、特殊効果の種類、特殊効果適用対象などの基本データを含み、特定の言語によって記述され、コマンドファイルとして保存される。使用者は性別、年齢などの要素に応じて異なるテーマを設計することができ、異なる特殊効果と組み合わせることができる。即ち、同一の主体コンテンツに関して述べると、複数の特殊効果コマンドを搭載することができ、例として、流行音楽を再生するとき、お互いに対応する特殊効果スクリプトに仮想人物を読み込み、再生時にデータ整合を行う方式を採用できる。先ず、使用者はメディアコンテンツ２０１および特殊効果コマンドスクリプト２０２をダウンロードする。続いて現場人員映像のキャプチャリング２０３を行い、撮影装置のリアルタイムな映像のキャプチャリングと組み合わせ、図１に示すように現場人員映像１０５をキャプチャリングした後、特殊効果コマンドスクリプト２０２と直列整合し、最後に動的映像の合成２０４によって直列後のリアルタイムにキャプチャリングされた映像および特殊効果コマンドスクリプト２０２とメディアコンテンツ２０１とを合成し、現場人員を仮想世界の中に表示する。
【００２０】
図３、４はメディア処理装置によってキャプチャリングされた現場人員と仮想世界とを合成し、再生した状態を示す模式図である。表示装置は一画面を表示し、それは撮影装置（図示せず）が現場人員を撮影し、リアルタイムに表示装置の画面４００に表示したものであり、画面４００には現場人員映像４０１が存在する。本実施例の読み取り可能プログラムを実行するとき、予め選択されたモードは人物、神様、アニメキャラクタ、妖怪などの仮想人物４０２を生成することができる。
【００２１】
このとき、仮想人物４０２は現場人員映像４０１と相互作用をさせることができ、リアルタイムに画面４００に表示することができる。図４に示すように、仮想人物４０２は多くの動作および特殊効果を備えることができ、現場人員映像４０１も左右移動などの小さな運動をすることができる。例えば、仮想人物４０２を現場人員映像４０１の肩に乗せたり、現場人員映像４０１の頬にキスをしたりすることができる。このとき、仮想人物４０２の動作に反応して現場人員映像４０１に赤面効果５０１や喜悦効果５０２を生成することができる。もう1つの例として、仮想人物４０２は現場人員映像４０１に魔法を掛けることができ、このとき仮想人物４０２の動作に反応して現場人員映像４０１の頭の上には耳５０３が付き、現場人員映像４０１の頭部が少し揺動したとき、耳５０３もそれに連れて揺動する。即ち、仮想人物４０２、現場人員映像４０１および各種の効果はリアルタイムに相互作用する。つまり、画面５００上において、現場人員映像４０１がどこに移動しても、耳５０３は永遠に現場人員映像４０１の頭の上にある。ここで説明しなければならないこととして、技術的には先ず認識技術を使用することができ、先ず現場人員映像４０１の髪の位置を確認し、次に追跡技術を使用して頭部の移動位置を追跡し、次に特殊効果である耳５０３を髪の上に加え、このような認識および追跡の繰り返しによって、画面上には人と仮想物とのリアルタイムな相互作用効果が生成される。
【００２２】
現場人員に関して述べると、現場人員映像は半身モードと全身モードとに分けることができ、半身モードは現場人員の頭部および肩部が画面に表示され、全身モードは画面中の身体部分が全身の十分の七を占める。ここで説明しなければならないこととして、インタラクティブなデジタルコンテンツの構成において、リアルタイム性および正確性は同時に達成するのが難しい目標であるが、本発明においてはアプリケーション形態の違いに応じて好適な処理および調整を行うことができる。例を挙げると、動的な顔部拡大映像に応用するとき、顔部特徴の検出および正確な定位が主に考慮される。動作モードでは全域動作の簡易パラメータの推定が主に考慮される。全身モードのときはエリア運動の追跡および構成の認識が相互作用モジュールの重点とされる。
【００２３】
仮想像と現場人員との相互作用の使用方法に関して、特徴検出、特徴追跡、姿勢分析および姿勢認識などは仮想像と現場人員の動作とを分析する。特徴検出は適用対象の性質に基づいて低レベル（特徴点）および高レベル（目や口などの顔部特徴）がそれぞれ考慮されたキャプチャリングである。特徴のマッチング方式に関しては、暗示的（Implicit）規則および明示的（Explicit）規則に分けられる。明示的特徴マッチング規則は特徴間の一対一の対応関係を求める。暗示的特徴マッチング規則はパラメータまたは転換などの方式によって前後のフレーム内の特徴間の関係を表す。例えば、明示的規則および低レベル特徴は特徴点マッチング（四肢追跡）とすることができ、明示的規則および高レベル特徴は表情分析とすることができ、暗示的規則および低レベル特徴は密度オプティカルフローとすることができ、暗示的規則および高レベル特徴は顔部器官検出および定位とすることができる。
【００２４】
特徴検出においては下記の方法及び装置が使用され、効率が高く、正確な顔面検出および器官定位がなされる。図５は水平辺縁の密度計算の初期選定の連続図であり、初期検出は、グレイスケール映像の水平辺縁の密度強弱によって目および口の位置が初期推定される。候補エリア６０１は選定された目および口の位置である。次に、多くの候補エリア６０１において、器官の相対位置と比率関係を利用して更なる篩い分けが行われる。最後に、眼球検出によって位置の確認が行われる。一実施例として、皮膚の色を判断根拠の補助材料とすることもできる。鼻、眉毛および耳などの器官の定位は一実施例として、比率関係によって位置推定がなされる。顔面の輪郭は楕円方程式によって表示される。一実施例として、全身モードの下で、皮膚の色および髪の特徴部位検出器によって迅速な検出を行うことができ、人体のその他部分に関しては比較的低いレベルであるがグループ化がされた特徴点によって描写される。
【００２５】
特徴追跡に関し、半身操作モードの特徴追跡の一実施例では、顔部器官の持続定位および全体のエリアの運動パラメータ推定に重点が置かれる。全身操作モードの一実施例として、グループ化のグラフマッチング方式によって特徴の比較および追跡がなされ、計算資源の変化状況によって特徴点の数量が調整される。説明しなければならないこととして、本実施例において、映像キャプチャリング装置が現場人員の顔部を追跡するのではなく、現場人員の顔部が映像キャプチャリング装置の撮影位置に適応しなければならず、このようにして姿勢推定を考慮する必要を無くすことができる。
【００２６】
姿勢の分析および認識に関して、静止状態の下での物体の形状の判別の一実施例として、形状マッチングを使用することができ、その関連技術であるShape Contextなどを使用することができる。演算法もElastic Matching演算法とすることができ、さらに多重解析度の概念と組み合わせて小さな程度の変形および遮蔽効果を容認する。連続動作の分析および認識の一実施例として、階層式のオプティカルフロー追跡方式（Pyramidal Optical Flow）を利用し、先ず人体の移動方向および速度を算出し、使用時間の序列法の一実施例として、隠れマルコフモデルまたはリカレント型ニューラルネットワークなどとすることができ、その動作の表す意味内容を分析する。
【００２７】
図６は、本発明のメディア処理装置、そのシステム、ソフトの運転の一実施例を示すフロー図である。アプリケーションプログラムのトリガー７０１、ハードの検出７５１、警告メッセージ７３１、アプリケーションプログラムの終了７０４および問題メッセージ７３２がプログラムがハード需要を認証するステップに使用される。ハードの検出７５１が問題を発見したとき、警告メッセージ７３１を生成し、そうでないときは問題メッセージ７３２を生成する。警告メッセージ７３１は使用者にハードが検出を行うとき必要なハード設備が未装着であることや運転不可であることを知らせ、例えば、撮影レンズが未装着であるというメッセージおよび撮影レンズの装着が不完全であるなどのメッセージを知らせる。問題メッセージ７３２は使用者に被撮影者がレンズを離れたことを知らせ、次の撮影ステップに便利になっている。次は前処理であり、背景データの収集７０６を行って内部保存背景データ７０７内に保存し、次に問題メッセージ７３３を生成し、その目的は使用者を撮影可能範囲内に進入させることにある。例えば、歓迎画面によって使用者を撮影可能範囲内に進入させ、その映像を表示画面に出現させる。
【００２８】
認識７０９はここでは顔部および四肢全体を認識できる。動作追跡７１０はここでは顔部および四肢全体の動作を検出できる。また、メディアデータ７６１は拡張ファイルの部類であるＡＶＩまたはＭＰＥＧフォーマットを含むことができる。一実施例として、メディアデータ７６１はＤＬＬファイルなどの圧縮ファイルとすることができる。次にメディアデータ７１１およびメディアデータの復号化７１３を読み込む。認識７０９、動作追跡７１０および内部保存背景データ７０７が次のステップと組み合わさって動的合成映像が生成される。
【００２９】
メディア処理装置によって、撮影機映像とメディアデータ（仮想の物体の画像）との合成７１４および動作の再追跡７１５の後、合成メディアデータの表示７１６がされる。動作の再追跡７１５は背景および映像の変更をもう一度検出する。次に特殊効果の読み込みをするかどうか７５２の判断をし、する場合、特殊効果嵌入の読み込み７１８のステップに進む。特殊効果嵌入の読み込み７１８は一実施例として、その特殊効果の等級はＣEffectとすることができる。次に合成メディアデータを保存するかどうか７５３のステップに進み、保存する場合、合成メディアデータの保存７２０を行う。次に時間が終了するかどうか７５４のステップに進み、終了する場合、保存合成メディアデータの再処理７２２のステップ進む、一実施例として、ＪＰＥＧファイルフォーマットまたはＣStyle等級とすることができる。最後に再処理された保存合成メディアデータの表示７２３およびアプリケーションプログラムの終了７２４を行う(リアルタイムに相互作用する映像の保存装置或いは制作装置)。
【００３０】
ここで説明しなければならないこととして、メディア処理装置により撮影機映像とメディアデータとの合成７１４は動作の再追跡７１５後、画面上に合成メディアデータの表示７１６を行うことができ、次に特殊効果嵌入の読み込み７１８に進み、合成メディアデータの保存７２０後、撮影機映像とメディアデータとの合成７１４に進み、このようにしてリアルタイムの効果が生成される。図３、４に示すように、仮想人物４０２は動作の再追跡７１５後、現場人員映像４０１の肩および頬の位置を知ることができる。特殊効果の赤面効果５０１は合成メディアデータの保存７２０および動作の再追跡７１５後、リアルタイムに図３に示す赤面効果５０１を加えることができる。また、動作の再追跡７１５によって頬がどこに移動しても赤面効果５０１は正確な位置に生成させることができる。
【００３１】
以上の説明は、本発明のリアルタイムに相互作用する映像の制作方法、制作装置、制作システムのソフト運転の工程の一実施例を示すものである。本発明はパーソナルコンピュータ、セットトップボックス、ゲームコンソールまたは携帯電話などにおいて、メディア処理装置は前述の説明した各ステップを実行する手段を有し、該各手段により各ステップを実行させることができる。さらに応用して二人の使用者がお互いに遊ぶこともできる。二人の使用者はインターネットまたはイントラネットなどのネットワークで接続され、相手または自分に仮想人物を選択し、一端で命令を出し、他端の仮想人物を操作し、各種の視覚特殊効果を発生させ、相手および自分のモニタ上に表示させることができる。
【００３２】
上述の本発明の一実施例において、アプリケーションソフトの相互作用性および合成効果のリアリティー性が共に考慮され、特殊効果モジュールおよび相互作用モジュールの設計が一緒に考慮され、1つのパッケージに統合され、このようにしてメディアコンテンツのレイアウト時、先ず処理を完了させ、システム資源を相互作用時のリアリティー表現に十分に利用できる。
【００３３】
以上の説明は本発明の実施例を示したものであり、本発明の特許請求の範囲を制限するものではない。本発明の主旨を逸脱しない範囲における変更または修飾はすべて特許請求の範囲に含まれる。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施例によるアーキテクチャを示す模式図である。
【図２】本発明の一実施例によるファイルアーキテクチャを示すブロック図である。
【図３】キャプチャリングされた現場人員と仮想世界とを合成し、再生した状態を示す模式図である。
【図４】キャプチャリングされた現場人員と仮想世界とを合成し、再生した状態を示すもう一つの模式図である。
【図５】水平辺縁の密度計算の初期選定の連続図である。
【図６】本発明のソフトの運転の一実施例を示すフロー図である。
【符号の説明】
【００３５】
１００ コンピュータメインフレーム
１０１ 液晶ディスプレイ
１０２ ネットワークカメラ
１０３、４００、５００ 画面
１０４ 現場人員
１０５、４０１ 現場人員映像
１０６、４０２ 仮想人物
２０１ メディアコンテンツ
２０２ 特殊効果コマンドスクリプト
２０３ 現場人員映像のキャプチャリング
２０４ 動的映像の合成
５０１ 赤面効果
５０２ 喜悦効果
５０３ 耳
６０１ 候補エリア
７０１ アプリケーションプログラムのトリガー
７５１ ハードの検出
７３１ 警告メッセージ
７０４ アプリケーションプログラムの終了
７３２、７３３ 問題メッセージ
７０６ 背景データの収集
７０７ 内部保存背景データ
７０９ 認識
７１０ 動作追跡
７１１ メディアデータの読み込み
７６１ メディアデータ
７１３ メディアデータの復号化
７１４ 撮影機映像とメディアデータとの合成
７１５ 動作の再追跡
７１６ 合成メディアデータの表示
７５２ 特殊効果の読み込みをするかどうか
７１８ 特殊効果嵌入の読み込み
７５３ 合成メディアデータを保存するかどうか
７２０ 合成メディアデータの保存
７５４ 時間が終了するかどうか
７２２ 保存合成メディアデータの再処理
７２３ 再処理された保存合成メディアデータの表示
７２４ アプリケーションプログラムの終了
【特許請求の範囲】
【請求項１】
画面を準備するステップと、
リアルタイムに映像を撮影して前記画面に表示するステップと、
仮想の物体の画像を生成し前記画面に表示するステップと、
前記物体の画像と前記映像とを相互作用させるステップと
を含むことを特徴とするリアルタイムに相互作用する映像の制作方法。
【請求項２】
前記映像を撮影する方法は、インターネットカメラを使用してインターネットカメラ前の映像を撮影する方法であることを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項３】
前記物体の画像を生成するステップは、さらに、予め選択されたモードで対応する物体の画像を生成するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項４】
前記相互作用させるステップは、前記映像位置を認識するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項５】
前記相互作用させるステップは、前記映像の変動を追跡するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項６】
前記相互作用させるステップは、特殊効果スクリプトを前記映像上に生成するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項７】
前記特殊効果スクリプトは、スクリプト言語によって記述された特殊効果コマンド集から選択されることを特徴とする請求項６記載のリアルタイムに相互作用する映像の制作方法。
【請求項８】
前記物体は、メディアコンテンツから選択されることを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項９】
前記画面を準備するステップは、映像提供者が撮影装置前に存在し、前記撮影装置と前記画面とが電気的に接続されるステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項１０】
前記物体の画像を生成するステップは、前記映像が前記映像の特徴追跡に従うステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項１１】
前記物体の画像を生成するステップは、前記映像が姿勢分析および認識に従うステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項１２】
メディア処理装置によって判読される複数のプログラムを保存し、
前記メディア処理装置は前記複数のプログラムに基づいて、
背景データおよびリアルタイム映像を含むデータを入力するステップと、
前記データを認識するステップと、
前記データの変更部分を追跡するステップと、
メディアコンテンツを準備するステップと、
前記メディアコンテンツと前記データとを合成するステップと、
前記メディアコンテンツと前記データとを合成したものを表示するステップと
を実行することを特徴とするリアルタイムに相互作用する映像の制作装置
【請求項１３】
前記メディア処理装置によって判読される複数のプログラムを保存し、
メディアコンテンツを準備するステップは、さらに、
前記メディアコンテンツの読み込みを行うステップと、
前記メディアコンテンツを復号化するステップと
を含むことを特徴とする請求項１２記載のリアルタイムに相互作用する映像の制作装置
【請求項１４】
前記メディア処理装置によって判読される複数のプログラムを保存し、
前記メディアコンテンツと前記データとを合成するステップは、さらに、
前記データの変更部分を再追跡するステップ
を含むことを特徴とする請求項１２記載のリアルタイムに相互作用する映像の制作装置
【請求項１５】
前記メディア処理装置によって判読される複数のプログラムを保存し、さらに、
特殊効果の読み込みを行うステップと、
前記メディアコンテンツ、前記データおよび特殊効果の合成したものを再処理するステップと、
前記メディアコンテンツ、前記データおよび特殊効果の合成したものを表示するステップと
を含むことを特徴とする請求項１２記載のリアルタイムに相互作用する映像の制作装置
【請求項１６】
前記メディア処理装置によって判読される複数のプログラムを保存し、
前記特殊効果の読み込みを行うステップは、さらに、
特殊効果を前記背景データに嵌入するステップ
を含むことを特徴とする請求項１５記載のリアルタイムに相互作用する映像の制作装置
【請求項１７】
画面を備える表示装置と、
少なくとも1つのプロセッサ、メモリおよび、メディアコンテンツおよび特殊効果コマンドスクリプトを備える複数の読み取り可能プログラムを備える計算機器と、
映像を受信する撮影装置とを備え、
前記特殊効果コマンドスクリプト処理および前記メディアコンテンツとの合成によって、前記メディアコンテンツと前記映像をリアルタイムに相互作用させながら前記画面上に表示することを特徴とするリアルタイムに相互作用する映像の制作システム。
【請求項１８】
前記表示装置は、液晶モニタであることを特徴とする請求項１７記載のリアルタイムに相互作用する映像の制作システム。
【請求項１９】
前記計算機器は、コンピュータであることを特徴とする請求項１７記載のリアルタイムに相互作用する映像の制作システム。
【請求項１】
画面を準備するステップと、
リアルタイムに映像を撮影して前記画面に表示するステップと、
仮想の物体の画像を生成し前記画面に表示するステップと、
前記物体の画像と前記映像とを相互作用させるステップと
を含むことを特徴とするリアルタイムに相互作用する映像の制作方法。
【請求項２】
前記映像を撮影する方法は、インターネットカメラを使用してインターネットカメラ前の映像を撮影する方法であることを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項３】
前記物体の画像を生成するステップは、さらに、予め選択されたモードで対応する物体の画像を生成するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項４】
前記相互作用させるステップは、前記映像位置を認識するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項５】
前記相互作用させるステップは、前記映像の変動を追跡するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項６】
前記相互作用させるステップは、特殊効果スクリプトを前記映像上に生成するステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項７】
前記特殊効果スクリプトは、スクリプト言語によって記述された特殊効果コマンド集から選択されることを特徴とする請求項６記載のリアルタイムに相互作用する映像の制作方法。
【請求項８】
前記物体は、メディアコンテンツから選択されることを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項９】
前記画面を準備するステップは、映像提供者が撮影装置前に存在し、前記撮影装置と前記画面とが電気的に接続されるステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項１０】
前記物体の画像を生成するステップは、前記映像が前記映像の特徴追跡に従うステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項１１】
前記物体の画像を生成するステップは、前記映像が姿勢分析および認識に従うステップを含むことを特徴とする請求項１記載のリアルタイムに相互作用する映像の制作方法。
【請求項１２】
メディア処理装置によって判読される複数のプログラムを保存し、
前記メディア処理装置は前記複数のプログラムに基づいて、
背景データおよびリアルタイム映像を含むデータを入力するステップと、
前記データを認識するステップと、
前記データの変更部分を追跡するステップと、
メディアコンテンツを準備するステップと、
前記メディアコンテンツと前記データとを合成するステップと、
前記メディアコンテンツと前記データとを合成したものを表示するステップと
を実行することを特徴とするリアルタイムに相互作用する映像の制作装置
【請求項１３】
前記メディア処理装置によって判読される複数のプログラムを保存し、
メディアコンテンツを準備するステップは、さらに、
前記メディアコンテンツの読み込みを行うステップと、
前記メディアコンテンツを復号化するステップと
を含むことを特徴とする請求項１２記載のリアルタイムに相互作用する映像の制作装置
【請求項１４】
前記メディア処理装置によって判読される複数のプログラムを保存し、
前記メディアコンテンツと前記データとを合成するステップは、さらに、
前記データの変更部分を再追跡するステップ
を含むことを特徴とする請求項１２記載のリアルタイムに相互作用する映像の制作装置
【請求項１５】
前記メディア処理装置によって判読される複数のプログラムを保存し、さらに、
特殊効果の読み込みを行うステップと、
前記メディアコンテンツ、前記データおよび特殊効果の合成したものを再処理するステップと、
前記メディアコンテンツ、前記データおよび特殊効果の合成したものを表示するステップと
を含むことを特徴とする請求項１２記載のリアルタイムに相互作用する映像の制作装置
【請求項１６】
前記メディア処理装置によって判読される複数のプログラムを保存し、
前記特殊効果の読み込みを行うステップは、さらに、
特殊効果を前記背景データに嵌入するステップ
を含むことを特徴とする請求項１５記載のリアルタイムに相互作用する映像の制作装置
【請求項１７】
画面を備える表示装置と、
少なくとも1つのプロセッサ、メモリおよび、メディアコンテンツおよび特殊効果コマンドスクリプトを備える複数の読み取り可能プログラムを備える計算機器と、
映像を受信する撮影装置とを備え、
前記特殊効果コマンドスクリプト処理および前記メディアコンテンツとの合成によって、前記メディアコンテンツと前記映像をリアルタイムに相互作用させながら前記画面上に表示することを特徴とするリアルタイムに相互作用する映像の制作システム。
【請求項１８】
前記表示装置は、液晶モニタであることを特徴とする請求項１７記載のリアルタイムに相互作用する映像の制作システム。
【請求項１９】
前記計算機器は、コンピュータであることを特徴とする請求項１７記載のリアルタイムに相互作用する映像の制作システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−１３５９２３（Ｐ２００８−１３５９２３Ａ）
【公開日】平成２０年６月１２日（２００８．６．１２）
【国際特許分類】
【出願番号】特願２００６−３１９８７９（Ｐ２００６−３１９８７９）
【出願日】平成１８年１１月２８日（２００６．１１．２８）
【出願人】（５００４４３６４８）台灣夢工場科技股▲ふん▼有限公司 (3)
【Ｆターム（参考）】
【公開日】平成２０年６月１２日（２００８．６．１２）
【国際特許分類】
【出願日】平成１８年１１月２８日（２００６．１１．２８）
【出願人】（５００４４３６４８）台灣夢工場科技股▲ふん▼有限公司 (3)
【Ｆターム（参考）】
[ Back to top ]