仮想現実空間映像制作システム
【課題】三次元ＣＧによる仮想空間映像とカメラにより撮影された実空間映像とを合成して、リアルタイムにその映像を表示できるシステムを提供すること。さらに、カメラ動作の範囲の制限が大幅に緩和され、システムの装置構成を小規模化して映像制作コストを大幅に低減できるシステムを提供すること。
【解決手段】コンピュータを用いて仮想空間映像を作成する仮想空間映像作成手段と、カメラを用いて実空間映像を撮影する実空間映像撮影手段と、仮想空間映像と実空間映像を合成して表示画面に表示する映像合成表示手段と、ユーザーの操作に基づくカメラ操作情報を検出するカメラ情報検出手段とを少なくとも備え、前記カメラ操作情報を仮想空間映像作成手段に入力して、このカメラ操作情報を反映した仮想空間映像を映像フレーム毎に繰り返し作成する。
【解決手段】コンピュータを用いて仮想空間映像を作成する仮想空間映像作成手段と、カメラを用いて実空間映像を撮影する実空間映像撮影手段と、仮想空間映像と実空間映像を合成して表示画面に表示する映像合成表示手段と、ユーザーの操作に基づくカメラ操作情報を検出するカメラ情報検出手段とを少なくとも備え、前記カメラ操作情報を仮想空間映像作成手段に入力して、このカメラ操作情報を反映した仮想空間映像を映像フレーム毎に繰り返し作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを用いた仮想現実空間映像制作システムに関するもので、実写カメラとＣＧ用コンピュータシステムを用いて実写映像およびその撮影位置に対応する仮想映像とを合成してリアルタイムに表示するシステムとして、ユーザがＣＧを使った映像制作および映像視聴を効率的かつ効果的に行うシステムに関する。
【背景技術】
【０００２】
近年の映像技術の進歩により、映像の利用環境、特に上映環境は以前より手軽なものとして我々の日常生活に入り込んでいる。こうした状況は高品質の映像ソフトの需要を高める一方、より効率的な制作手法が求められる。
【０００３】
パーソナルコンピュータをはじめとするハードウェア面での情報処理技術の発達は、高精細な映像のような大容量データを上映、加工する際の処理にかかる時間と労力を大きく軽減している。ただし、映像制作の工程（撮影→加工→編集）には従来と比べて大きな変化はない。
【０００４】
しかし、この制作工程の中でも、加工の工程、特に、実写映像とコンピュータグラフィクス（以下、ＣＧという）の合成処理は、映画やテレビ番組等での活用がますます多くなる反面、手間とコストのかかる作業となっている。
【０００５】
ここで、合成処理の方法であるが、一般的には次のようになる。
まず、実写ではブルーバックと呼ばれる青色などの単色の背景を背にして人物などの被写体を撮影し、映像合成装置によってブルーバック領域から人物領域を切り出してキー信号として抽出し、別に作成した仮想空間映像を電子信号として合成処理する、クロマキー合成といわれる手法がある。
また、近年は実写のカメラの動作に連動したＣＧ映像を生成し、これをカメラの実写映像と合成する手法を用いる、バーチャルスタジオと呼ばれるシステムが知られている。
【０００６】
従来、このような映像の合成における問題の解決手段として、リアルタイム三次元ＣＧによるバーチャルスタジオシステムがあり、その技術開発は現在も多方面において取り組まれているが、このバーチャルスタジオシステムを用いることにより、撮影と加工（実写とＣＧの合成）の時間を大幅に短縮することが可能になった。
【０００７】
特に映像の合成にかかる加工処理時間の短縮によって、撮影中リアルタイムで最終映像の確認ができるようになったため、仮想空間の正確な合成が必要な映像制作、即時的な配信が必要なテレビ番組の制作の現場などで活用されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許公開２００４−５６７４２号公報
【特許文献２】特許公開２００７−４２０７３号公報
【特許文献３】特許公開２００８−３３２１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、前記背景技術で触れたような従来の三次元バーチャルスタジオシステムには、撮影環境面での制約があった。まず、撮影の際にカメラ動作の範囲がスタジオ内の
一部のみに限定されてしまうことがあり、また、仮想空間に適切に配置するために、実空間でのカメラを正確な位置や速度で制御するための装置も、例えばクレーンを用いた大型カメラを用いるなど、かなり大掛かりなものになっていた。
【００１０】
すなわち、通常の実写撮影の場合に比べて、カメラ動作の範囲が大幅に制限されてしまい、かつカメラシステム自体も大掛かりな装置構成になるため、コストが大きくかかってしまうという問題があった。
【００１１】
一方、小規模な予算の映像制作の場合においては、大掛かりな装置構成は採用できず、カメラ位置をなるべく固定して撮影を行っていたため、低コストでできるが映像効果としては変化に乏しい画面構成での映像になってしまうという問題があった。
【００１２】
そのため、スタジオ内での撮影機材の配置やカメラを動かす範囲に制約の多い既存のバーチャルスタジオシステムでの撮影にも、安価な装置構成で、しかもより高い映像効果が与えられるような映像制作システムが求められていた。
【００１３】
本発明は、上記のような問題を解決するためになされたものであり、その目的とするところは、三次元ＣＧによる仮想空間映像を作成し、カメラにより撮影された実空間映像とその映像の撮影位置に適合する仮想空間映像とをリアルタイムに合成して映像を表示できる映像制作システムを提供することにある。
さらに本発明の目的は、システムの装置構成を小規模化して映像制作コストを低減させることが可能なシステムを提供することにある。
【課題を解決するための手段】
【００１４】
本発明において、上記課題を達成するために、請求項１に記載の仮想現実空間映像制作システムは、コンピュータを用いて仮想空間映像を作成する仮想空間映像作成手段と、
カメラを用いて実空間映像を撮影する実空間映像撮影手段と、
前記仮想空間映像と実空間映像を合成して画面に表示する映像合成表示手段と、
ユーザーの操作に基づくカメラ操作情報を検出するカメラ操作情報検出手段とを少なくとも備え、前記カメラ操作情報を前記仮想空間映像作成手段に入力して、このカメラ操作情報を反映した仮想空間映像を映像フレーム毎に繰り返し作成することを特徴とする。
【００１５】
ここで仮想現実空間映像とは、コンピュータを用いてＣＧで作成された仮想空間映像と現実空間の実体である被写体を撮影した実空間映像とを合成した映像を指す。
【００１６】
本発明においては、ユーザーがカメラを操作する際のカメラの位置や向きおよびレンズ操作に関する情報（以下、カメラ操作情報という）が、ＣＧの描画パラメータとして仮想空間映像を作成する際に反映され、その結果カメラの動作と連動した仮想空間映像が作成される。
【００１７】
これにより、実空間映像と仮想空間映像との合成映像は、実体である被写体があたかも仮想空間の中に入り込んでいるかのように見える。また、カメラ操作情報を反映した仮想空間映像はコンピュータにより映像フレーム毎に繰り返し作成され表示されるため、リアルタイムで動画として表示される。
【００１８】
請求項２に記載の仮想現実空間映像制作システムは、
前記カメラ操作情報検出手段が、仮想空間および実空間で共通する基準点を基にして前記カメラの実空間上の位置情報を取得するカメラ位置取得工程と、前記カメラの撮影方向情報を取得する撮影方向取得工程と、前記カメラの焦点距離およびレンズ絞り値を含むカメラ設定情報を取得するカメラ設定情報取得工程と、さらにこれらの工程で取得したカメラ
操作情報を出力し、無線通信または有線ケーブルを介して前記仮想空間映像作成手段に入力するカメラ操作情報出力工程を備えることを特徴とする。
【００１９】
カメラ操作情報は、主にカメラの動きすなわち位置の変化に関する情報と、カメラの撮影方向（アングル）の変化に関する情報と、画面のズームやフォーカス・レンズ絞りなどのカメラ設定に関する情報とを少なくとも含む。
そしてこれらのカメラ操作情報をＣＧ作成用のコンピュータに出力することによって、それらの情報をＣＧの描画パラメータとして仮想空間映像が作成される。
【００２０】
請求項３に記載の仮想現実空間映像制作システムは、
前記カメラ操作情報検出手段がＧＰＳ機能付モジュールを備え、かつ、前記カメラ位置取得工程はＧＰＳ機能を用いてカメラ位置情報を取得することを特徴とする。
【００２１】
請求項４に記載の仮想現実空間映像制作システムは、
前記カメラ操作情報検出手段が位置センサー機能を搭載したＩＣタグを備え、
かつ、前記カメラ位置取得工程は前記ＩＣタグの位置センサー機能を用いてカメラ位置情報を取得することを特徴とする。
【００２２】
請求項５に記載の仮想現実空間映像制作システムは、
前記カメラ操作情報検出手段がジャイロセンサ（角速度センサ）を備え、
かつ前記撮影方向取得工程はジャイロセンサによりカメラを動かす際の角速度を検出してカメラの撮影方向情報を取得することを特徴とする。
【００２３】
請求項６に記載の仮想現実空間映像制作システムは、
前記映像合成表示手段が、前記実空間映像の被写体を人物や物体としてその背景にブルーバックスクリーンを用い、これに前記仮想空間映像を背景として合成処理することを特徴とする。
【００２４】
請求項７に記載の仮想現実空間映像制作システムは、
前記カメラが画像処理プロセッサおよび表示用モニタを備え、前記映像合成表示手段は、この画像処理プロセッサを用いて映像フレーム毎に前記合成処理を行い、その合成映像を表示用モニタに表示することを特徴とする。
【発明の効果】
【００２５】
本発明によれば、仮想空間映像と実空間映像とを合成して表示する仮想現実空間映像制作システムを用いて、ユーザによるカメラの動作と連動した仮想映像をリアルタイムに作成して表示し確認することができる。
また、本発明のシステムの構成は、カメラシステムが位置センサおよび方向センサを備え、簡単な構成でカメラの位置や向きの情報を取得して出力するようにしたので、大幅にコストを低減したシステムを構築できる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施態様におけるシステム構成の一例を示すシステム図である。
【図２】本発明の実施態様における操作手順の一例を示すフローチャートである。
【図３】本発明の実施態様における操作手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、本発明に係る仮想現実空間映像制作システムの実施の形態を図面に基づいて詳細説明する。
【実施例】
【００２８】
図１は、本発明の実施態様におけるシステムの基本構成を示す。
本発明の実施態様においては、仮想現実映像制作システム１は大きく２つの装置構成に分かれており、その一つは実写映像の撮影と映像の合成表示とを行うカメラシステム部２、もう一つは三次元ＣＧによる仮想空間映像の作成を行うＣＧシステム部３である。これらのカメラシステム部２とＣＧシステム部３とは、リアルタイムで映像情報を通信するために高速処理が可能な通信用インターフェースで接続されている。
【００２９】
（カメラシステム部）
まず、図１の点線で囲ったカメラシステム部２では、ユーザ４によって実空間映像撮影手段１０を用いて被写体５が撮影される。撮影された映像は映像合成手段１３を用いて後述する仮想空間映像と合成され、その合成映像は映像表示手段１４によってモニタ２４の画面に表示される。
【００３０】
なお、ここでユーザとはカメラを操作して映像を撮影する者を指す。また映像は通常の場合動画であるが、静止画であってもよい。映像種類は、アナログまたはデジタルの種別、データの信号種類や圧縮・非圧縮等の仕様規格、また記録装置や記録媒体、記録時間などにおいて特に制限はなく、適宜目的に沿って使用する。さらにカメラ装置本体や撮影方式等も、適宜用いることができる。
【００３１】
カメラシステム部２の主要な装置構成は、撮影用カメラ装置本体と、映像表示用モニタ装置、前記ＧＰＳやＩＣタグセンサ等の位置センサ用装置と、画像処理プロセッサを搭載したコンピュータ装置およびそれらを接続するインターフェースを含む。
ただし、本発明のシステムは、上記の装置構成に限定するものではなく、適宜必要に応じて構成を変更すること、あるいは装置を追加することができる。
【００３２】
実空間映像撮影手段１０は、ユーザ４がカメラ本体を操作して被写体５を撮影する際に、被写体５の背景としてブルーバックスクリーンを用いる。これは前述のように、クロマキー処理を施すことによって被写体とする人物や物体のみを映像領域として背景から切り出すため、ブルーやグリーンなどの単色の背景を用いるものである。
【００３３】
撮影する際に、たとえば演出上の意図などによって、ユーザ４がカメラを操作して位置を移動させカメラアングルを変えたり、カメラと被写体間の距離を変えたりする場合がある。このようなカメラ操作の情報を本システムで活用するため、撮影が行われているときには前記カメラ操作情報検出手段１１によって逐次カメラ操作情報を検出し、この情報を後述する仮想空間映像作成手段１２へ出力する。
【００３４】
ユーザ４はカメラを操作して撮影するため、カメラの位置や撮影の視点角度（アングル）、レンズ操作（ズーム、パン、フォーカス等）のようなカメラ撮影に関係する設定を決める。この設定に従って、前記実空間映像撮影手段１０において撮影が行われる。そしてこのようなカメラに関する設定情報が、カメラ操作情報検出手段１１によってカメラ操作情報として信号化される。
【００３５】
（カメラ操作情報検出手段）
ここで、図３を用いて、カメラ操作情報検出手段１１の主な実施手順を説明する。図３の工程Ａ１〜Ａ４はカメラ操作情報の検出手順を示すフローチャートである。
まず工程Ａ１（カメラ位置取得）は、撮影の際のカメラの空間的な位置を位置情報として取得する。カメラの位置を取得する方法は、例えば後述するＧＰＳ機能や位置センサを具備したＩＣタグをカメラに取り付けておく方法がある。なお、本発明はこれらの方法に限定するものではなく、他の方法を用いてもよい。
【００３６】
ここでカメラの空間的な位置情報とは、仮想空間と実空間とで共通する一つの基準点を定めて、その基準点を基にしたカメラの位置を仮想空間および実空間それぞれの三次元位置座標に当てはめた情報のことである。
例えば、被写体とする物体を正面において１メートル離れた位置を基準点と設定した場合、カメラがまずその基準点にあれば、仮想空間はその位置を基準にして被写体が置かれる背景映像を作成する。カメラがこの基準点から所定の方向・距離だけ動いたとき、仮想空間においてもその基準点から同じ方向・距離で動いた位置を基にして、再度背景映像を作成する。
【００３７】
このようにして、カメラの位置の動きと仮想空間での背景映像の動きを連動させることにより合成映像が視聴者に違和感なく見えるように、カメラの位置情報を取得する。
【００３８】
次の工程Ａ２（撮影方向取得）では、カメラの撮影方向すなわちカメラレンズの向きの情報を取得する。カメラの撮影方向を取得する方法は、本発明において特に限定はしないが、例えば後述するジャイロセンサのような、回転速度や回転方向を感知するセンサをカメラに取り付けておく方法がある。
【００３９】
さらに工程Ａ３（カメラ設定情報取得）では、カメラ設定情報としてズームやパン、フォーカス、等のカメラワークに属する操作の情報を取得する。この情報を取得するには、カメラのレンズ絞りや操作ボタン等の機械的な動作を感知して取得する機構部品を備えればよく、公知の手段を用いてもよい。
【００４０】
次の工程Ａ４（カメラ操作情報出力）では、前記工程Ａ１〜Ａ３で取得した各情報が一組のカメラ操作情報のセットとして信号化され、無線通信または有線ケーブル等の通信用インターフェースを介して出力されて、仮想空間映像作成手段１２へ送信される。
【００４１】
図１に戻って説明する。
前記カメラ操作情報検出手段１１において、具体的な手段の実施例を示す。
カメラ操作情報は、カメラシステム部２に各種のセンサーを備えることによって、信号化することができる。本発明では、例えば、撮影用カメラ本体にＧＰＳ機能装置を備えることにより、ＧＰＳ用通信衛星との電波交信によりカメラ本体の現在位置を知ることができる。
【００４２】
または、撮影用カメラ本体に位置センサ機能付きのＩＣタグ（以下、ＩＣタグセンサという）を備えることにより、ＩＣタグセンサからの発信電波とスタジオ内に配置されたセンサからの応答によってその位置を知ることができる。
【００４３】
さらにまた、位置センサとして他の公知の技術を用いてもよく、例えば磁気センサやレーザ光センサなどを位置計測の手段として用いることもできる。
【００４４】
（ＣＧシステム部）
次に、ＣＧシステム部３について説明する。
ＣＧシステム部３は、主要な装置構成として、３次元ＣＧプログラム２０と、これを動作させる第一コンピュータ２１および操作端末装置を含んでおり、この３次元ＣＧプログラム２０によってリアルタイムにＣＧ映像を作成する機能を持つ。
【００４５】
仮想空間映像作成手段１２は、第一コンピュータ２１に必要な情報を入力しておき、例えばスタジオセットのような背景のデータを入力することによって、実際にはない仮想空間映像を自由に作成することができる。
【００４６】
しかし、このような仮想空間映像は、実空間映像との合成映像において被写体の動きと仮想空間の状態とがずれてしまった場合、見る側にとって違和感が生じる。そのため、このような不具合が生じないようにするには、仮想空間映像でのカメラの撮影位置やズーム等のレンズ操作の状態を、前記実空間映像撮影手段１０で撮影された映像とリアルタイムで一致させる必要がある。そして、動画映像であれば、遅延のないタイミングで１フレーム毎に映像を新たに作成しなければならない。
【００４７】
前述のカメラ操作情報検出手段１１によって検出され信号として出力されたカメラ操作情報は、まず仮想空間映像作成手段１２に入力され、ここでカメラの位置やアングル、ズームなどの情報を基にして、実空間映像に合わせた状態の仮想空間映像が作成される。
【００４８】
（映像の合成と表示）
映像合成手段１３は、前記の実空間映像撮影手段１０によって撮影された被写体５の映像と、仮想空間映像作成手段１２によって作成された背景となる仮想空間映像とを合成する機能を有する。
【００４９】
映像の合成処理は、カメラシステム部２の画像処理プロセッサ２２を搭載した第二コンピュータ２３によって行われる。その処理は、まず実空間映像から背景のブルーバック領域を除き、被写体５のみを切り出した映像を作成し、次に同期する仮想空間映像と重ねて合成する。この合成処理を１フレーム毎に行い、映像信号として出力する。
【００５０】
映像表示手段１４は、前記映像合成手段１３によって作成された合成映像を入力し、ここれを映像表示用モニタ２４に表示させる。ユーザ４は、このモニタ２４に表示された合成映像を視認する。
【００５１】
すなわち、これらの手段を備えたことにより、カメラシステム部２では、実空間映像の撮影を行いながら映像の合成処理および合成映像の表示までをリアルタイムで行うことができるので、ユーザはリアルタイムで合成映像を確認でき、これを見ながらさらにカメラを操作して、映像を制作できる。
【００５２】
また、ここで作成された合成映像は、特に図示しないが、外部の映像記録装置や外部モニタ、放送用設備と接続されることにより、映像を記録保存したり、制作関係者や外部の人間が確認することを可能にすることもできる。
【００５３】
（システムの処理手順）
図２は、本発明のシステムにおける操作手順の一例であり、図１のシステムの処理手順を示すフローチャートである。ここでステップＳ１〜Ｓ９は、本発明のシステムのユーザが映像を制作する手順である。
【００５４】
まず、ステップＳ１において、ユーザ４がカメラを操作して被写体５を撮影する。このとき、ユーザはユーザ自身の意図に応じて自由にカメラを操作することができ、撮影しようとする被写体と、合成しようとする仮想空間映像との合成後の映像を予測した上で、適切なカメラの位置や向き、ズーム等のレンズ操作などを決定することができる。
【００５５】
また、固定した位置に留まらず、撮影中にカメラを移動させたり、ズーム操作を行うことも、ユーザの意図によって随時行うことができる。すなわち、このようなカメラの操作に関わる設定は一通りでなく、撮影中に随時変化することがある。
【００５６】
次にステップＳ２において、ユーザ４がカメラを操作している際のカメラの位置や向き
、レンズ操作などのカメラ操作情報が検出される。
ここでは、カメラの操作状態を知るために、カメラ操作情報検出手段１１で前述のＧＰＳ機能やＩＣタグセンサ、ジャイロセンサなどの各種センサを用いてカメラ操作情報を検出し、これをＣＧシステム部３の仮想空間映像作成手段１２へ送信する。カメラ操作情報は、撮影映像が動画であれば、動画フレーム毎にリアルタイムで更新して送信される。
【００５７】
そして次のステップＳ３では、送信されたカメラ操作情報、すなわちカメラの位置や撮影方向およびレンズ絞り等のカメラ操作に関する情報を基にして、三次元ＣＧプログラム２０において仮想空間映像を描画するための視点位置や角度および映像作成範囲などに関する描画情報を更新する。
ただし、ユーザ４がカメラ操作を静止させているときはカメラ操作情報に変化がないので、描画情報は更新せず直前の情報を維持したままにすることができる。
【００５８】
ステップＳ４では、前記ステップＳ３で更新された描画情報をもとにして三次元ＣＧプログラム２０が仮想空間映像を作成しデータ出力する。この映像データは動画フレーム毎に作成されるが、前記の描画情報が更新されないときは映像の変化はないので直前のデータをそのまま適用することができ、描画情報が更新された場合には直ちに映像データを作成するようにして、リアルタイムで前記カメラ操作情報の変化に追随した映像データが出力される。
【００５９】
またステップＳ５では、ステップＳ４と並行して前記のカメラによる実空間映像の撮影が行われ、その映像データはカメラシステム部２の第二コンピュータ２３に入力される。
【００６０】
ステップＳ６では、前記ステップＳ４で作成された仮想空間映像データを、通信用インターフェースを介してカメラシステム部２の第二コンピュータ２３へデータ転送する。
【００６１】
そしてステップＳ７では、第二コンピュータ２３において、ステップＳ５で作成された実空間映像とステップＳ６で転送された仮想空間映像データとを合成する。このとき、実空間映像は被写体の背景に前述のブルーバックスクリーンを用いており、クロマキー処理によって映像から被写体を切り出し、背景として仮想空間映像を合成する。
【００６２】
この合成処理は動画フレーム毎にリアルタイムに行われるが、このような処理には高速性が要求されるため、第二コンピュータ２３の画像処理プロセッサ２２を用いて映像合成の演算処理を行うことが好ましい。
【００６３】
ステップＳ８では、合成処理した映像をカメラシステム部２に備えられた映像確認用のモニタ２４の画面に表示する。ここで表示された合成映像は、前記の通り実空間で撮影された被写体と、三次元ＣＧで作成された仮想空間の背景とが合成された映像であり、カメラ操作と仮想空間の視認される方向とが連動した映像である。
【００６４】
ステップＳ９は、モニタ２４に表示された合成映像をユーザ４が見て確認する工程である。ここでユーザ４は、被写体５と仮想空間との合成映像に問題がないかをチェックすることができる。モニタ２４は、カメラのファインダー部分にあれば撮影を行いながらファインダーを見ることができ、ユーザ４が効率的に確認できる。
【００６５】
以上のステップＳ１〜Ｓ９を実施することによって、仮想現実空間映像の作成および映像の確認をリアルタイムに行うことができる。さらにこの後、ステップＳ１に戻ってカメラ操作を変更した場合でも、引き続き同様に各ステップを実施することにより、合成映像の作成と確認が行われる。
【００６６】
以上の説明ではシステムの基本的な構成による実施例および実施手順を示したが、本発明のシステムはここで示した構成に限るものではなく、必要に応じて構成要素を加えたり変更したりして実施することができる。
【産業上の利用可能性】
【００６７】
本発明の仮想現実空間映像制作システムによれば、ユーザによるカメラの動作と連動した仮想映像をリアルタイムに作成して表示することができるので、スタジオ内に高価なセットを組むことなく視聴者に効果的にアピールできる映像が安いコストで制作することが可能となる。
【符号の説明】
【００６８】
１ 仮想現実映像制作システム
２ カメラシステム部
３ ＣＧシステム部
４ ユーザ
５ 被写体
１０ 実空間映像撮影手段
１１ カメラ操作情報検出手段
１２ 仮想空間映像作成手段
１３ 映像合成手段
１４ 映像表示手段
２０ ３次元ＣＧプログラム
２１ 第一コンピュータ
２２ 画像処理プロセッサ
２３ 第二コンピュータ
２４ モニタ
【技術分野】
【０００１】
本発明は、カメラを用いた仮想現実空間映像制作システムに関するもので、実写カメラとＣＧ用コンピュータシステムを用いて実写映像およびその撮影位置に対応する仮想映像とを合成してリアルタイムに表示するシステムとして、ユーザがＣＧを使った映像制作および映像視聴を効率的かつ効果的に行うシステムに関する。
【背景技術】
【０００２】
近年の映像技術の進歩により、映像の利用環境、特に上映環境は以前より手軽なものとして我々の日常生活に入り込んでいる。こうした状況は高品質の映像ソフトの需要を高める一方、より効率的な制作手法が求められる。
【０００３】
パーソナルコンピュータをはじめとするハードウェア面での情報処理技術の発達は、高精細な映像のような大容量データを上映、加工する際の処理にかかる時間と労力を大きく軽減している。ただし、映像制作の工程（撮影→加工→編集）には従来と比べて大きな変化はない。
【０００４】
しかし、この制作工程の中でも、加工の工程、特に、実写映像とコンピュータグラフィクス（以下、ＣＧという）の合成処理は、映画やテレビ番組等での活用がますます多くなる反面、手間とコストのかかる作業となっている。
【０００５】
ここで、合成処理の方法であるが、一般的には次のようになる。
まず、実写ではブルーバックと呼ばれる青色などの単色の背景を背にして人物などの被写体を撮影し、映像合成装置によってブルーバック領域から人物領域を切り出してキー信号として抽出し、別に作成した仮想空間映像を電子信号として合成処理する、クロマキー合成といわれる手法がある。
また、近年は実写のカメラの動作に連動したＣＧ映像を生成し、これをカメラの実写映像と合成する手法を用いる、バーチャルスタジオと呼ばれるシステムが知られている。
【０００６】
従来、このような映像の合成における問題の解決手段として、リアルタイム三次元ＣＧによるバーチャルスタジオシステムがあり、その技術開発は現在も多方面において取り組まれているが、このバーチャルスタジオシステムを用いることにより、撮影と加工（実写とＣＧの合成）の時間を大幅に短縮することが可能になった。
【０００７】
特に映像の合成にかかる加工処理時間の短縮によって、撮影中リアルタイムで最終映像の確認ができるようになったため、仮想空間の正確な合成が必要な映像制作、即時的な配信が必要なテレビ番組の制作の現場などで活用されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許公開２００４−５６７４２号公報
【特許文献２】特許公開２００７−４２０７３号公報
【特許文献３】特許公開２００８−３３２１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、前記背景技術で触れたような従来の三次元バーチャルスタジオシステムには、撮影環境面での制約があった。まず、撮影の際にカメラ動作の範囲がスタジオ内の
一部のみに限定されてしまうことがあり、また、仮想空間に適切に配置するために、実空間でのカメラを正確な位置や速度で制御するための装置も、例えばクレーンを用いた大型カメラを用いるなど、かなり大掛かりなものになっていた。
【００１０】
すなわち、通常の実写撮影の場合に比べて、カメラ動作の範囲が大幅に制限されてしまい、かつカメラシステム自体も大掛かりな装置構成になるため、コストが大きくかかってしまうという問題があった。
【００１１】
一方、小規模な予算の映像制作の場合においては、大掛かりな装置構成は採用できず、カメラ位置をなるべく固定して撮影を行っていたため、低コストでできるが映像効果としては変化に乏しい画面構成での映像になってしまうという問題があった。
【００１２】
そのため、スタジオ内での撮影機材の配置やカメラを動かす範囲に制約の多い既存のバーチャルスタジオシステムでの撮影にも、安価な装置構成で、しかもより高い映像効果が与えられるような映像制作システムが求められていた。
【００１３】
本発明は、上記のような問題を解決するためになされたものであり、その目的とするところは、三次元ＣＧによる仮想空間映像を作成し、カメラにより撮影された実空間映像とその映像の撮影位置に適合する仮想空間映像とをリアルタイムに合成して映像を表示できる映像制作システムを提供することにある。
さらに本発明の目的は、システムの装置構成を小規模化して映像制作コストを低減させることが可能なシステムを提供することにある。
【課題を解決するための手段】
【００１４】
本発明において、上記課題を達成するために、請求項１に記載の仮想現実空間映像制作システムは、コンピュータを用いて仮想空間映像を作成する仮想空間映像作成手段と、
カメラを用いて実空間映像を撮影する実空間映像撮影手段と、
前記仮想空間映像と実空間映像を合成して画面に表示する映像合成表示手段と、
ユーザーの操作に基づくカメラ操作情報を検出するカメラ操作情報検出手段とを少なくとも備え、前記カメラ操作情報を前記仮想空間映像作成手段に入力して、このカメラ操作情報を反映した仮想空間映像を映像フレーム毎に繰り返し作成することを特徴とする。
【００１５】
ここで仮想現実空間映像とは、コンピュータを用いてＣＧで作成された仮想空間映像と現実空間の実体である被写体を撮影した実空間映像とを合成した映像を指す。
【００１６】
本発明においては、ユーザーがカメラを操作する際のカメラの位置や向きおよびレンズ操作に関する情報（以下、カメラ操作情報という）が、ＣＧの描画パラメータとして仮想空間映像を作成する際に反映され、その結果カメラの動作と連動した仮想空間映像が作成される。
【００１７】
これにより、実空間映像と仮想空間映像との合成映像は、実体である被写体があたかも仮想空間の中に入り込んでいるかのように見える。また、カメラ操作情報を反映した仮想空間映像はコンピュータにより映像フレーム毎に繰り返し作成され表示されるため、リアルタイムで動画として表示される。
【００１８】
請求項２に記載の仮想現実空間映像制作システムは、
前記カメラ操作情報検出手段が、仮想空間および実空間で共通する基準点を基にして前記カメラの実空間上の位置情報を取得するカメラ位置取得工程と、前記カメラの撮影方向情報を取得する撮影方向取得工程と、前記カメラの焦点距離およびレンズ絞り値を含むカメラ設定情報を取得するカメラ設定情報取得工程と、さらにこれらの工程で取得したカメラ
操作情報を出力し、無線通信または有線ケーブルを介して前記仮想空間映像作成手段に入力するカメラ操作情報出力工程を備えることを特徴とする。
【００１９】
カメラ操作情報は、主にカメラの動きすなわち位置の変化に関する情報と、カメラの撮影方向（アングル）の変化に関する情報と、画面のズームやフォーカス・レンズ絞りなどのカメラ設定に関する情報とを少なくとも含む。
そしてこれらのカメラ操作情報をＣＧ作成用のコンピュータに出力することによって、それらの情報をＣＧの描画パラメータとして仮想空間映像が作成される。
【００２０】
請求項３に記載の仮想現実空間映像制作システムは、
前記カメラ操作情報検出手段がＧＰＳ機能付モジュールを備え、かつ、前記カメラ位置取得工程はＧＰＳ機能を用いてカメラ位置情報を取得することを特徴とする。
【００２１】
請求項４に記載の仮想現実空間映像制作システムは、
前記カメラ操作情報検出手段が位置センサー機能を搭載したＩＣタグを備え、
かつ、前記カメラ位置取得工程は前記ＩＣタグの位置センサー機能を用いてカメラ位置情報を取得することを特徴とする。
【００２２】
請求項５に記載の仮想現実空間映像制作システムは、
前記カメラ操作情報検出手段がジャイロセンサ（角速度センサ）を備え、
かつ前記撮影方向取得工程はジャイロセンサによりカメラを動かす際の角速度を検出してカメラの撮影方向情報を取得することを特徴とする。
【００２３】
請求項６に記載の仮想現実空間映像制作システムは、
前記映像合成表示手段が、前記実空間映像の被写体を人物や物体としてその背景にブルーバックスクリーンを用い、これに前記仮想空間映像を背景として合成処理することを特徴とする。
【００２４】
請求項７に記載の仮想現実空間映像制作システムは、
前記カメラが画像処理プロセッサおよび表示用モニタを備え、前記映像合成表示手段は、この画像処理プロセッサを用いて映像フレーム毎に前記合成処理を行い、その合成映像を表示用モニタに表示することを特徴とする。
【発明の効果】
【００２５】
本発明によれば、仮想空間映像と実空間映像とを合成して表示する仮想現実空間映像制作システムを用いて、ユーザによるカメラの動作と連動した仮想映像をリアルタイムに作成して表示し確認することができる。
また、本発明のシステムの構成は、カメラシステムが位置センサおよび方向センサを備え、簡単な構成でカメラの位置や向きの情報を取得して出力するようにしたので、大幅にコストを低減したシステムを構築できる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施態様におけるシステム構成の一例を示すシステム図である。
【図２】本発明の実施態様における操作手順の一例を示すフローチャートである。
【図３】本発明の実施態様における操作手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、本発明に係る仮想現実空間映像制作システムの実施の形態を図面に基づいて詳細説明する。
【実施例】
【００２８】
図１は、本発明の実施態様におけるシステムの基本構成を示す。
本発明の実施態様においては、仮想現実映像制作システム１は大きく２つの装置構成に分かれており、その一つは実写映像の撮影と映像の合成表示とを行うカメラシステム部２、もう一つは三次元ＣＧによる仮想空間映像の作成を行うＣＧシステム部３である。これらのカメラシステム部２とＣＧシステム部３とは、リアルタイムで映像情報を通信するために高速処理が可能な通信用インターフェースで接続されている。
【００２９】
（カメラシステム部）
まず、図１の点線で囲ったカメラシステム部２では、ユーザ４によって実空間映像撮影手段１０を用いて被写体５が撮影される。撮影された映像は映像合成手段１３を用いて後述する仮想空間映像と合成され、その合成映像は映像表示手段１４によってモニタ２４の画面に表示される。
【００３０】
なお、ここでユーザとはカメラを操作して映像を撮影する者を指す。また映像は通常の場合動画であるが、静止画であってもよい。映像種類は、アナログまたはデジタルの種別、データの信号種類や圧縮・非圧縮等の仕様規格、また記録装置や記録媒体、記録時間などにおいて特に制限はなく、適宜目的に沿って使用する。さらにカメラ装置本体や撮影方式等も、適宜用いることができる。
【００３１】
カメラシステム部２の主要な装置構成は、撮影用カメラ装置本体と、映像表示用モニタ装置、前記ＧＰＳやＩＣタグセンサ等の位置センサ用装置と、画像処理プロセッサを搭載したコンピュータ装置およびそれらを接続するインターフェースを含む。
ただし、本発明のシステムは、上記の装置構成に限定するものではなく、適宜必要に応じて構成を変更すること、あるいは装置を追加することができる。
【００３２】
実空間映像撮影手段１０は、ユーザ４がカメラ本体を操作して被写体５を撮影する際に、被写体５の背景としてブルーバックスクリーンを用いる。これは前述のように、クロマキー処理を施すことによって被写体とする人物や物体のみを映像領域として背景から切り出すため、ブルーやグリーンなどの単色の背景を用いるものである。
【００３３】
撮影する際に、たとえば演出上の意図などによって、ユーザ４がカメラを操作して位置を移動させカメラアングルを変えたり、カメラと被写体間の距離を変えたりする場合がある。このようなカメラ操作の情報を本システムで活用するため、撮影が行われているときには前記カメラ操作情報検出手段１１によって逐次カメラ操作情報を検出し、この情報を後述する仮想空間映像作成手段１２へ出力する。
【００３４】
ユーザ４はカメラを操作して撮影するため、カメラの位置や撮影の視点角度（アングル）、レンズ操作（ズーム、パン、フォーカス等）のようなカメラ撮影に関係する設定を決める。この設定に従って、前記実空間映像撮影手段１０において撮影が行われる。そしてこのようなカメラに関する設定情報が、カメラ操作情報検出手段１１によってカメラ操作情報として信号化される。
【００３５】
（カメラ操作情報検出手段）
ここで、図３を用いて、カメラ操作情報検出手段１１の主な実施手順を説明する。図３の工程Ａ１〜Ａ４はカメラ操作情報の検出手順を示すフローチャートである。
まず工程Ａ１（カメラ位置取得）は、撮影の際のカメラの空間的な位置を位置情報として取得する。カメラの位置を取得する方法は、例えば後述するＧＰＳ機能や位置センサを具備したＩＣタグをカメラに取り付けておく方法がある。なお、本発明はこれらの方法に限定するものではなく、他の方法を用いてもよい。
【００３６】
ここでカメラの空間的な位置情報とは、仮想空間と実空間とで共通する一つの基準点を定めて、その基準点を基にしたカメラの位置を仮想空間および実空間それぞれの三次元位置座標に当てはめた情報のことである。
例えば、被写体とする物体を正面において１メートル離れた位置を基準点と設定した場合、カメラがまずその基準点にあれば、仮想空間はその位置を基準にして被写体が置かれる背景映像を作成する。カメラがこの基準点から所定の方向・距離だけ動いたとき、仮想空間においてもその基準点から同じ方向・距離で動いた位置を基にして、再度背景映像を作成する。
【００３７】
このようにして、カメラの位置の動きと仮想空間での背景映像の動きを連動させることにより合成映像が視聴者に違和感なく見えるように、カメラの位置情報を取得する。
【００３８】
次の工程Ａ２（撮影方向取得）では、カメラの撮影方向すなわちカメラレンズの向きの情報を取得する。カメラの撮影方向を取得する方法は、本発明において特に限定はしないが、例えば後述するジャイロセンサのような、回転速度や回転方向を感知するセンサをカメラに取り付けておく方法がある。
【００３９】
さらに工程Ａ３（カメラ設定情報取得）では、カメラ設定情報としてズームやパン、フォーカス、等のカメラワークに属する操作の情報を取得する。この情報を取得するには、カメラのレンズ絞りや操作ボタン等の機械的な動作を感知して取得する機構部品を備えればよく、公知の手段を用いてもよい。
【００４０】
次の工程Ａ４（カメラ操作情報出力）では、前記工程Ａ１〜Ａ３で取得した各情報が一組のカメラ操作情報のセットとして信号化され、無線通信または有線ケーブル等の通信用インターフェースを介して出力されて、仮想空間映像作成手段１２へ送信される。
【００４１】
図１に戻って説明する。
前記カメラ操作情報検出手段１１において、具体的な手段の実施例を示す。
カメラ操作情報は、カメラシステム部２に各種のセンサーを備えることによって、信号化することができる。本発明では、例えば、撮影用カメラ本体にＧＰＳ機能装置を備えることにより、ＧＰＳ用通信衛星との電波交信によりカメラ本体の現在位置を知ることができる。
【００４２】
または、撮影用カメラ本体に位置センサ機能付きのＩＣタグ（以下、ＩＣタグセンサという）を備えることにより、ＩＣタグセンサからの発信電波とスタジオ内に配置されたセンサからの応答によってその位置を知ることができる。
【００４３】
さらにまた、位置センサとして他の公知の技術を用いてもよく、例えば磁気センサやレーザ光センサなどを位置計測の手段として用いることもできる。
【００４４】
（ＣＧシステム部）
次に、ＣＧシステム部３について説明する。
ＣＧシステム部３は、主要な装置構成として、３次元ＣＧプログラム２０と、これを動作させる第一コンピュータ２１および操作端末装置を含んでおり、この３次元ＣＧプログラム２０によってリアルタイムにＣＧ映像を作成する機能を持つ。
【００４５】
仮想空間映像作成手段１２は、第一コンピュータ２１に必要な情報を入力しておき、例えばスタジオセットのような背景のデータを入力することによって、実際にはない仮想空間映像を自由に作成することができる。
【００４６】
しかし、このような仮想空間映像は、実空間映像との合成映像において被写体の動きと仮想空間の状態とがずれてしまった場合、見る側にとって違和感が生じる。そのため、このような不具合が生じないようにするには、仮想空間映像でのカメラの撮影位置やズーム等のレンズ操作の状態を、前記実空間映像撮影手段１０で撮影された映像とリアルタイムで一致させる必要がある。そして、動画映像であれば、遅延のないタイミングで１フレーム毎に映像を新たに作成しなければならない。
【００４７】
前述のカメラ操作情報検出手段１１によって検出され信号として出力されたカメラ操作情報は、まず仮想空間映像作成手段１２に入力され、ここでカメラの位置やアングル、ズームなどの情報を基にして、実空間映像に合わせた状態の仮想空間映像が作成される。
【００４８】
（映像の合成と表示）
映像合成手段１３は、前記の実空間映像撮影手段１０によって撮影された被写体５の映像と、仮想空間映像作成手段１２によって作成された背景となる仮想空間映像とを合成する機能を有する。
【００４９】
映像の合成処理は、カメラシステム部２の画像処理プロセッサ２２を搭載した第二コンピュータ２３によって行われる。その処理は、まず実空間映像から背景のブルーバック領域を除き、被写体５のみを切り出した映像を作成し、次に同期する仮想空間映像と重ねて合成する。この合成処理を１フレーム毎に行い、映像信号として出力する。
【００５０】
映像表示手段１４は、前記映像合成手段１３によって作成された合成映像を入力し、ここれを映像表示用モニタ２４に表示させる。ユーザ４は、このモニタ２４に表示された合成映像を視認する。
【００５１】
すなわち、これらの手段を備えたことにより、カメラシステム部２では、実空間映像の撮影を行いながら映像の合成処理および合成映像の表示までをリアルタイムで行うことができるので、ユーザはリアルタイムで合成映像を確認でき、これを見ながらさらにカメラを操作して、映像を制作できる。
【００５２】
また、ここで作成された合成映像は、特に図示しないが、外部の映像記録装置や外部モニタ、放送用設備と接続されることにより、映像を記録保存したり、制作関係者や外部の人間が確認することを可能にすることもできる。
【００５３】
（システムの処理手順）
図２は、本発明のシステムにおける操作手順の一例であり、図１のシステムの処理手順を示すフローチャートである。ここでステップＳ１〜Ｓ９は、本発明のシステムのユーザが映像を制作する手順である。
【００５４】
まず、ステップＳ１において、ユーザ４がカメラを操作して被写体５を撮影する。このとき、ユーザはユーザ自身の意図に応じて自由にカメラを操作することができ、撮影しようとする被写体と、合成しようとする仮想空間映像との合成後の映像を予測した上で、適切なカメラの位置や向き、ズーム等のレンズ操作などを決定することができる。
【００５５】
また、固定した位置に留まらず、撮影中にカメラを移動させたり、ズーム操作を行うことも、ユーザの意図によって随時行うことができる。すなわち、このようなカメラの操作に関わる設定は一通りでなく、撮影中に随時変化することがある。
【００５６】
次にステップＳ２において、ユーザ４がカメラを操作している際のカメラの位置や向き
、レンズ操作などのカメラ操作情報が検出される。
ここでは、カメラの操作状態を知るために、カメラ操作情報検出手段１１で前述のＧＰＳ機能やＩＣタグセンサ、ジャイロセンサなどの各種センサを用いてカメラ操作情報を検出し、これをＣＧシステム部３の仮想空間映像作成手段１２へ送信する。カメラ操作情報は、撮影映像が動画であれば、動画フレーム毎にリアルタイムで更新して送信される。
【００５７】
そして次のステップＳ３では、送信されたカメラ操作情報、すなわちカメラの位置や撮影方向およびレンズ絞り等のカメラ操作に関する情報を基にして、三次元ＣＧプログラム２０において仮想空間映像を描画するための視点位置や角度および映像作成範囲などに関する描画情報を更新する。
ただし、ユーザ４がカメラ操作を静止させているときはカメラ操作情報に変化がないので、描画情報は更新せず直前の情報を維持したままにすることができる。
【００５８】
ステップＳ４では、前記ステップＳ３で更新された描画情報をもとにして三次元ＣＧプログラム２０が仮想空間映像を作成しデータ出力する。この映像データは動画フレーム毎に作成されるが、前記の描画情報が更新されないときは映像の変化はないので直前のデータをそのまま適用することができ、描画情報が更新された場合には直ちに映像データを作成するようにして、リアルタイムで前記カメラ操作情報の変化に追随した映像データが出力される。
【００５９】
またステップＳ５では、ステップＳ４と並行して前記のカメラによる実空間映像の撮影が行われ、その映像データはカメラシステム部２の第二コンピュータ２３に入力される。
【００６０】
ステップＳ６では、前記ステップＳ４で作成された仮想空間映像データを、通信用インターフェースを介してカメラシステム部２の第二コンピュータ２３へデータ転送する。
【００６１】
そしてステップＳ７では、第二コンピュータ２３において、ステップＳ５で作成された実空間映像とステップＳ６で転送された仮想空間映像データとを合成する。このとき、実空間映像は被写体の背景に前述のブルーバックスクリーンを用いており、クロマキー処理によって映像から被写体を切り出し、背景として仮想空間映像を合成する。
【００６２】
この合成処理は動画フレーム毎にリアルタイムに行われるが、このような処理には高速性が要求されるため、第二コンピュータ２３の画像処理プロセッサ２２を用いて映像合成の演算処理を行うことが好ましい。
【００６３】
ステップＳ８では、合成処理した映像をカメラシステム部２に備えられた映像確認用のモニタ２４の画面に表示する。ここで表示された合成映像は、前記の通り実空間で撮影された被写体と、三次元ＣＧで作成された仮想空間の背景とが合成された映像であり、カメラ操作と仮想空間の視認される方向とが連動した映像である。
【００６４】
ステップＳ９は、モニタ２４に表示された合成映像をユーザ４が見て確認する工程である。ここでユーザ４は、被写体５と仮想空間との合成映像に問題がないかをチェックすることができる。モニタ２４は、カメラのファインダー部分にあれば撮影を行いながらファインダーを見ることができ、ユーザ４が効率的に確認できる。
【００６５】
以上のステップＳ１〜Ｓ９を実施することによって、仮想現実空間映像の作成および映像の確認をリアルタイムに行うことができる。さらにこの後、ステップＳ１に戻ってカメラ操作を変更した場合でも、引き続き同様に各ステップを実施することにより、合成映像の作成と確認が行われる。
【００６６】
以上の説明ではシステムの基本的な構成による実施例および実施手順を示したが、本発明のシステムはここで示した構成に限るものではなく、必要に応じて構成要素を加えたり変更したりして実施することができる。
【産業上の利用可能性】
【００６７】
本発明の仮想現実空間映像制作システムによれば、ユーザによるカメラの動作と連動した仮想映像をリアルタイムに作成して表示することができるので、スタジオ内に高価なセットを組むことなく視聴者に効果的にアピールできる映像が安いコストで制作することが可能となる。
【符号の説明】
【００６８】
１ 仮想現実映像制作システム
２ カメラシステム部
３ ＣＧシステム部
４ ユーザ
５ 被写体
１０ 実空間映像撮影手段
１１ カメラ操作情報検出手段
１２ 仮想空間映像作成手段
１３ 映像合成手段
１４ 映像表示手段
２０ ３次元ＣＧプログラム
２１ 第一コンピュータ
２２ 画像処理プロセッサ
２３ 第二コンピュータ
２４ モニタ
【特許請求の範囲】
【請求項１】
カメラを用いて仮想空間映像と実空間映像とを混合する仮想現実空間映像制作システムであって、コンピュータを用いて仮想空間映像を作成する仮想空間映像作成手段と、
カメラを用いて実空間映像を撮影する実空間映像撮影手段と、
前記仮想空間映像と実空間映像を合成して画面に表示する映像合成表示手段と、
ユーザーの操作に基づくカメラ操作情報を検出するカメラ操作情報検出手段とを少なくとも備え、
前記カメラ操作情報を前記仮想空間映像作成手段に入力して、このカメラ操作情報を反映した仮想空間映像を映像フレーム毎に繰り返し作成することを特徴とする、
仮想現実空間映像制作システム。
【請求項２】
前記カメラ操作情報検出手段は、
仮想空間および実空間で共通する基準点を基にして前記カメラの実空間上の位置情報を取得するカメラ位置取得工程と、
前記カメラの撮影方向情報を取得する撮影方向取得工程と、
前記カメラの焦点距離およびレンズ絞り値を含むカメラ設定情報を取得するカメラ設定情報取得工程と、
さらにこれらの工程で取得したカメラ操作情報を出力し、無線通信または有線ケーブルを介して前記仮想空間映像作成手段に入力するカメラ操作情報出力工程を少なくとも含むことを特徴とする、
前記請求項１に記載の仮想現実空間映像制作システム。
【請求項３】
前記カメラ操作情報検出手段がＧＰＳ機能付モジュールを備え、
かつ、前記カメラ位置取得工程はＧＰＳ機能を用いてカメラ位置情報を取得することを特徴とする、前記請求項１または２に記載の仮想現実空間映像制作システム。
【請求項４】
前記カメラ操作情報検出手段が位置センサー機能を搭載したＩＣタグを備え、
かつ、前記カメラ位置取得工程は前記ＩＣタグの位置センサー機能を用いてカメラ位置情報を取得することを特徴とする、
前記請求項１または２に記載の仮想現実空間映像制作システム。
【請求項５】
前記カメラ操作情報検出手段がジャイロセンサ（角速度センサ）を備え、
かつ前記撮影方向取得工程はジャイロセンサによりカメラを動かす際の角速度を検出してカメラの撮影方向情報を取得することを特徴とする、
前記請求項１から４のいずれかに記載の仮想現実空間映像制作システム。
【請求項６】
前記映像合成表示手段が、
前記実空間映像の被写体を人物や物体としてその背景にブルーバックスクリーンを用い、これに前記仮想空間映像を背景として合成処理することを特徴とする、
前記請求項１から５のいずれかに記載の仮想現実空間映像制作システム。
【請求項７】
前記カメラが画像処理プロセッサおよび表示用モニタを備え、
前記映像合成表示手段は、この画像処理プロセッサを用いて映像フレーム毎に前記合成処理を行い、その合成映像を表示用モニタに表示することを特徴とする、
前記請求項１から６のいずれかに記載の仮想現実空間映像制作システム。
【請求項１】
カメラを用いて仮想空間映像と実空間映像とを混合する仮想現実空間映像制作システムであって、コンピュータを用いて仮想空間映像を作成する仮想空間映像作成手段と、
カメラを用いて実空間映像を撮影する実空間映像撮影手段と、
前記仮想空間映像と実空間映像を合成して画面に表示する映像合成表示手段と、
ユーザーの操作に基づくカメラ操作情報を検出するカメラ操作情報検出手段とを少なくとも備え、
前記カメラ操作情報を前記仮想空間映像作成手段に入力して、このカメラ操作情報を反映した仮想空間映像を映像フレーム毎に繰り返し作成することを特徴とする、
仮想現実空間映像制作システム。
【請求項２】
前記カメラ操作情報検出手段は、
仮想空間および実空間で共通する基準点を基にして前記カメラの実空間上の位置情報を取得するカメラ位置取得工程と、
前記カメラの撮影方向情報を取得する撮影方向取得工程と、
前記カメラの焦点距離およびレンズ絞り値を含むカメラ設定情報を取得するカメラ設定情報取得工程と、
さらにこれらの工程で取得したカメラ操作情報を出力し、無線通信または有線ケーブルを介して前記仮想空間映像作成手段に入力するカメラ操作情報出力工程を少なくとも含むことを特徴とする、
前記請求項１に記載の仮想現実空間映像制作システム。
【請求項３】
前記カメラ操作情報検出手段がＧＰＳ機能付モジュールを備え、
かつ、前記カメラ位置取得工程はＧＰＳ機能を用いてカメラ位置情報を取得することを特徴とする、前記請求項１または２に記載の仮想現実空間映像制作システム。
【請求項４】
前記カメラ操作情報検出手段が位置センサー機能を搭載したＩＣタグを備え、
かつ、前記カメラ位置取得工程は前記ＩＣタグの位置センサー機能を用いてカメラ位置情報を取得することを特徴とする、
前記請求項１または２に記載の仮想現実空間映像制作システム。
【請求項５】
前記カメラ操作情報検出手段がジャイロセンサ（角速度センサ）を備え、
かつ前記撮影方向取得工程はジャイロセンサによりカメラを動かす際の角速度を検出してカメラの撮影方向情報を取得することを特徴とする、
前記請求項１から４のいずれかに記載の仮想現実空間映像制作システム。
【請求項６】
前記映像合成表示手段が、
前記実空間映像の被写体を人物や物体としてその背景にブルーバックスクリーンを用い、これに前記仮想空間映像を背景として合成処理することを特徴とする、
前記請求項１から５のいずれかに記載の仮想現実空間映像制作システム。
【請求項７】
前記カメラが画像処理プロセッサおよび表示用モニタを備え、
前記映像合成表示手段は、この画像処理プロセッサを用いて映像フレーム毎に前記合成処理を行い、その合成映像を表示用モニタに表示することを特徴とする、
前記請求項１から６のいずれかに記載の仮想現実空間映像制作システム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１１−３５６３８（Ｐ２０１１−３５６３８Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１７９５７７（Ｐ２００９−１７９５７７）
【出願日】平成２１年７月３１日（２００９．７．３１）
【出願人】（０００００３１９３）凸版印刷株式会社 (10,630)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年７月３１日（２００９．７．３１）
【出願人】（０００００３１９３）凸版印刷株式会社 (10,630)
【Ｆターム（参考）】
[ Back to top ]