ロボットカメラ及びバーチャルスタジオシステム
【課題】ＣＧ合成映像を撮影するときに追加機材を必要とせず、また、音声データを遅延させる動作を行うことなく無遅延でＣＧ合成映像を生成することができるロボットカメラ及びバーチャルスタジオシステムを提供すること。
【解決手段】ロボットカメラは、操作機１１からの操作機データを入力すると共に、カメラデータをＣＧ合成装置２０に出力するネットワーク手段２と、このネットワーク手段により受け取った操作機データから駆動モータの指令値となる指令データ及びカメラデータを算出すると共に、そのカメラデータをネットワーク手段に送るカメラ目標位置算出手段３ａと、算出された指令データを予め設定された遅延時間だけ保持して遅らせるデータ遅延手段３ｂと、遅延させた指令データにより駆動モータを作動させカメラをカメラ目標位置となるようにするモータ指令手段３ｃとを備える
【解決手段】ロボットカメラは、操作機１１からの操作機データを入力すると共に、カメラデータをＣＧ合成装置２０に出力するネットワーク手段２と、このネットワーク手段により受け取った操作機データから駆動モータの指令値となる指令データ及びカメラデータを算出すると共に、そのカメラデータをネットワーク手段に送るカメラ目標位置算出手段３ａと、算出された指令データを予め設定された遅延時間だけ保持して遅らせるデータ遅延手段３ｂと、遅延させた指令データにより駆動モータを作動させカメラをカメラ目標位置となるようにするモータ指令手段３ｃとを備える
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スタジオで撮影するときに使用されるロボットカメラ、及び、そのロボットカメラを使用してＣＧ合成映像等を撮影する場合に用いられるバーチャルスタジオシステムに関する。
【背景技術】
【０００２】
一般に、ロボットカメラを使用してＣＧ合成映像装置によりＣＧ合成映像を撮影するバーチャルスタジオシステムでは、スタジオで撮影した実写の映像に対して、その映像の任意の位置にＣＧ映像を合成したＣＧ合成映像を作成することが知られている。図６、図７及び図８に、従来のバーチャルスタジオシステム及びロボットカメラの構成（非特許文献１，２）及び手順を示す。
図６に示すように、バーチャルスタジオシステム１００は、操作機１０１により遠隔操作するロボットカメラ１２０と、このロボットカメラ１２０で撮影した実写１０５の映像にＣＧ映像１０６を合成するＣＧ合成装置１０３とを備えている。なお、ＣＧ合成映像１０８は、表示モニタ１０４に表示される。
【０００３】
ロボットカメラ１２０は、図７に示すように、受信モジュール１２１ａ及び送信モジュール１２１ｂを有するネットワーク部１２１と、カメラ目標位置算出モジュール１２２ａ、モータ指令モジュール１２２ｂ及びデータ受信モジュール１２２ｃを有する演算部１２２と、レンズ１２４ａ及び受光部１２４ｂ等を有するカメラ１２４とを備えている。
【０００４】
このロボットカメラ１２０は、ネットワーク部１２１の受信モジュール１２１ａに操作機データを受け取ると、演算部１２２のカメラ目標位置算出モジュール１２２ａによりカメラ１２４が駆動モータ１２３ａ〜１２３ｎのそれぞれの操作量で特定されるカメラ目標位置となる指令値を操作機データから算出する。そして、ロボットカメラ１２０は、モータ指令モジュール１２２ｂを介して駆動モータ部１２３にその指令値を出力している。そして、ロボットカメラ１２０は、モータ指令モジュール１２２ｂからの指令値により駆動モータ部１２３を介して駆動モータ１２３ａ〜１２３ｎのそれぞれを作動させてカメラのパン、チルト、ズーム等を行い、映像を取得し、取得した映像を接続ケーブル（図示せず）によりＣＧ合成装置１０３に送信している。
【０００５】
映像の送信と同時に、図７に示すように、ロボットカメラ１２０は、駆動モータ部１２３で示す各駆動モータ１２３ａ〜１２３ｎに設けたエンコーダ等の動きを検知する検知手段（図示せず）から、検知したカメラデータをデータ受信モジュール１２２ｃに送り、ネットワーク部１２１の送信モジュール１２１ｂを介してＣＧ合成装置１０３に送信している。つまり、ロボットカメラ１２０は、カメラデータと映像とをほぼ同時にＣＧ合成装置１０３に送る状態の構成になっている。
【０００６】
図８に示すように、ＣＧ合成装置１０３は、ロボットカメラ１２０（図７参照）から送られて来るカメラデータからＣＧ映像上の仮想カメラの位置を設定し、ＣＧ映像を映像の所定の位置に描画するようにしてＣＧ映像を作成している。
前記した一連の処理によりＣＧ合成映像を作成する場合では、ロボットカメラ１２０（図６参照）で被写体の実写を撮影した後に、映像及びカメラデータをＣＧ合成装置１０３に送信し、ＣＧ映像の描画を行うため、実際に合成する際の映像と描画されたＣＧ映像とに時間的なずれが生じることになる。そのため、通常のＣＧ合成装置１０３では、時間のずれを解消するためにＣＧ映像の描画時間分、実写映像を撮影した後にディレイ装置（図示せず）を介して遅らせて時間の調整を行い、映像とＣＧ映像とを一致させるように運用している。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】“ＳＰ−２０００／Ｘ−Ｙサーボペデスタル”インタネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｖｉｎｔeｎｒａｄａｍｅｃ．ｃｏｍ／ｓｐ２０００−ｊａ．ｐｈｐ＞［ｏｎｌｉｎｅ］［平成１９年９月１０日検索］
【非特許文献２】“ＲＰ２Ａロボテックペデスタル”インタネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｖｉｎｔeｎｒａｄａｍｅｃ．ｃｏｍ／ｒｐ２ａ−ｊａ．ｐｈｐ＞［ｏｎｌｉｎｅ］［平成１９年９月１０日検索］
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、従来のロボットカメラ及びバーチャルスタジオシステムでは、以下に示すような問題点が存在した。
ロボットカメラは、駆動モータが移動した結果を待ってカメラデータをＣＧ合成装置に送り、ＣＧ空間上の仮想カメラ位置を特定しＣＧ映像を描画し、作成したＣＧ映像と実写の映像とを合成することになる。そのため、駆動モータが移動した結果の映像は、ＣＧ映像を作成するタイミングだけ遅らせないとＣＧ合成映像を作成することができない状態となっている。そのため、従来のロボットカメラからの映像及びカメラデータでは、遅らせた映像と同時に取得される音声も合わせて遅らせる必要が生じる。したがって、ロボットカメラからの実写となる映像及びカメラデータによりＣＧ合成映像を作成して番組を構成するバーチャル番組では、音声を遅らせる音声ディレイ装置や、映像を遅らせる映像遅延装置等の追加機材が必要となる。
【０００９】
また、撮影しているロボットカメラの一台でもＣＧ合成映像を使用することになった場合には、その他のロボットカメラの映像および音声に対して遅らせることが必要となってしまう。そのため、番組で使用するすべてカメラに映像ディレイを入れることが困難な場合には、音声の遅れとなるリップシンクのずれが発生していることに対して、その映像と音声のずれが分からないようなワイドの画角で口元がはっきりしない映像を撮るように調整するしかなかった。
【００１０】
本発明は、前記した問題点に鑑み創案されたものであり、ＣＧ合成映像を撮影するときにディレイ装置等の追加機材を必要とせず、また、音声を遅延させる動作を行うことなく無遅延でＣＧ合成映像を生成することができるロボットカメラ及びバーチャルスタジオシステムを提供することを課題とする。
【課題を解決するための手段】
【００１１】
本発明に係るロボットカメラは、前記した課題を解決するために、以下のような構成とした。すなわち、ロボットカメラは、駆動モータにより駆動可能なカメラ及びフロア移動機構を備え、被写体を前記カメラで撮影した実写の映像にＣＧ合成装置によりＣＧ映像を合成したＣＧ合成映像を作成する際に使用され、操作機の操作機データから算出したカメラデータにより前記駆動モータの遠隔操作が行われて撮影するロボットカメラであって、前記操作機からの操作機データを入力すると共に、前記カメラデータを前記ＣＧ合成装置に出力するネットワーク手段と、このネットワーク手段により受け取った前記操作機データから前記駆動モータの指令値となる指令データ、及び、その指令データにより前記駆動モータの移動した結果となる前記カメラデータを算出すると共に、算出した前記カメラデータを前記ネットワーク手段に送るカメラ目標位置算出手段と、このカメラ目標位置算出手段により算出された前記指令データを予め設定された遅延時間だけ保持して前記ＣＧ合成装置に前記カメラデータを出力する時間よりも遅らせるデータ遅延手段と、このデータ遅延手段により遅延させた前記指令データにより前記駆動モータを作動させ前記カメラをカメラ目標位置となるようにするモータ指令手段と、を備える構成とした。
【００１２】
かかる構成により、ロボットカメラは、操作機からの操作機データをネットワーク手段により受け取り、受け取った操作機データをカメラ目標位置算出手段に送る。操作機データを受け取ったカメラ目標位置算出手段は、駆動させる各駆動軸の駆動量を示す指令値となる指令データを算出し、かつ、その指令データにより駆動モータが移動した結果であるカメラ目標位置となるカメラデータを、当該操作機データから演算する。なお、カメラ目標位置算出手段は、カメラデータを演算するときには、操作機データの操作量と、駆動モータの操作量との変換量が予め分かっているので、関係式あるいは対応テーブル等、一般的な手法により演算して操作機データから指令データ及びカメラデータを算出することができる。ロボットカメラは、算出されたカメラデータをネットワーク手段に送ると共に、指令データをデータ遅延手段に送り、データ遅延手段で予め設定された遅延時間を待って指令データをモータ指令手段に送る。ロボットカメラは、ネットワーク手段によりカメラデータをＣＧ合成装置に送ると共に、遅延時間を待って送られた指令データにより駆動モータ部で各駆動軸の駆動モータを動作させてカメラ目標位置において撮影し、撮影した映像をＣＧ合成装置に送っている。したがって、ロボットカメラは、新たに映像あるいは音声のディレイ装置を導入することなく、映像を予め設定した遅延時間において遅延させて送ることができる。
【００１３】
さらに、本発明に係るロボットカメラにおいて、前記データ遅延手段は、前記遅延時間を予め設定する設定手段を備え、前記設定手段は、外部に設置される入力手段からの入力により前記遅延時間を設定する構成とした。
かかる構成により、ロボットカメラは、例えば、予め行なわれるカメラ位置のキャリブレーション動作、そのキャリブレーション動作の原点位置にＣＧ映像を配置してカメラの首振り動作により前記ＣＧ映像が映像からずれがない状態となるまでの時間を前記遅延時間として、入力手段からの入力により設定手段を介して設定することができる。
【００１４】
また、本発明に係るバーチャルスタジオシステムでは、請求項１又は請求項２に記載のロボットカメラと、このロボットカメラにより被写体を撮影した映像にＣＧ映像を合成するＣＧ合成装置とを備えるバーチャルスタジオシステムにおいて、前記ＣＧ合成装置は、前記被写体を撮影するフロア位置の座標上における前記ロボットカメラのカメラ初期位置及びＣＧ映像の作成位置を予め記憶する位置記憶手段と、前記ロボットカメラで算出されたカメラデータを入力するカメラデータ入力手段と、入力した前記カメラデータに基づいて前記位置記憶手段に記憶されている前記カメラ初期位置及び前記作成位置から、前記ロボットカメラの駆動モータが作動して前記カメラのカメラ目標位置におけるＣＧ映像の作成位置を算出する撮影位置算出手段と、算出した前記ＣＧ映像の作成位置に対応したＣＧ映像を作成するＣＧ映像作成手段と、前記ロボットカメラで予め設定した前記遅延時間だけ遅延させて撮影した映像を入力する映像入力手段と、前記ＣＧ映像作成手段で作成したＣＧ映像と、前記映像入力手段で入力した映像とを合成してＣＧ合成映像を作成する合成映像作成手段と、この合成映像作成手段で作成したＣＧ合成映像を出力する出力手段と、を備える構成とした。
【００１５】
かかる構成により、バーチャルスタジオシステムは、映像よりも先にカメラデータをカメラデータ入力手段により受け取り、位置記憶手段に予め記憶されているロボットカメラのカメラ初期位置から、撮影位置算出手段によりカメラデータに基づいて、カメラ目標位置として算出されるＣＧ映像の仮想カメラの位置における作成位置を算出する。そして、ＣＧ合成装置は、ＣＧ映像作成手段により、算出した作成位置のＣＧ映像に対応するようにＣＧデータを調整してＣＧ映像を作成する。そして、映像入力手段からカメラデータよりも所定の遅延時間だけ遅れて入力された映像と、作成したＣＧ映像とを合成してＣＧ映像合成画像を合成映像作成手段により作成して出力手段より出力する。このときに、バーチャルスタジオシステムでは、撮影のタイミングを予め設定された遅延時間だけ遅らせた指令データにより各駆動モータが作動して撮影した後に、カメラデータに対応する映像が、ＣＧ合成装置に入力されるため、ＣＧ映像合成のときの映像及びその映像を撮影するときに生じる音声に対するディレイを生じることがない。
【発明の効果】
【００１６】
本発明に係るロボットカメラ及びバーチャルスタジオシステムは、以下に示すような優れた効果を奏するものである。
ロボットカメラは、演算したカメラデータを、映像より先にＣＧ合成装置に送り、当該カメラデータに対応する指令データにより撮影のタイミングを予め設定された遅延時間だけ遅らせて撮影した映像としてＣＧ合成装置に送っている。そのため、ロボットカメラで撮影した映像と音声とは、ＣＧ合成映像に送られてＣＧ合成映像となるときには、リップシンクのずれを生じることがない状態となる。したがって、ロボットカメラでは、演算手段のカメラ目標位置算出手段であるソフトウエアを取り替えれば映像ディレイ装置等の追加機材が必要ない。
ロボットカメラは、遅延時間を設定手段により自在に調整することができるので、ＣＧ合成映像を作成するときに、的確にリップシンクのずれを防止することが可能となる。
【００１７】
バーチャルスタジオシステムは、ロボットカメラで撮影した映像より先にロボットカメラのカメラデータを受け取り、予め記憶しているロボットカメラのカメラ初期位置等の位置データによりＣＧ映像の作成位置を算出してその作成位置に対応するＣＧ映像を作成する。そして、バーチャルスタジオシステムは、ロボットカメラで指令データより所定の遅延時間において遅らせて受け取る映像によりＣＧ合成映像を作成するので、ＣＧ合成映像でリップシンクのずれが発生することがなく、ワイドの画角で口元がはっきりしない映像を撮るようなカメラショットの調整をする必要がなく、自由なカメラショットにより映像を構成することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係るバーチャルスタジオシステムの全体を模式的に示す模式図である。
【図２】本発明に係るバーチャルスタジオシステムで使用されるロボットカメラの内部構造を模式的に示すブロック図である。
【図３】本発明に係るバーチャルスタジオシステムで使用されるＣＧ合成装置を模式的に示すブロック図である。
【図４】（ａ）、（ｂ）、（ｃ）は、本発明に係るバーチャルスタジオシステムで用いるロボットカメラにおけるキャリブレーションの状態およびＸＹＺ座標空間での位置を模式的に示すと共に、ＣＧ映像のＣＧ映像の作成位置を模式的にそれぞれ示す模式図である。
【図５】本発明に係るバーチャルスタジオシステムでＣＧ合成映像を作成する流れを模式的に示す模式図である。
【図６】従来のバーチャルスタジオシステムの全体を模式的に示す模式図である。
【図７】従来のバーチャルスタジオシステムで使用されるロボットカメラの内部構造を模式的に示すブロック図である。
【図８】従来のバーチャルスタジオシステムでＣＧ合成映像を作成する流れを模式的に示す模式図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係るロボットカメラ及びバーチャルスタジオシステムについて、図面を参照して説明する。
図１に示すように、バーチャルスタジオシステム１０は、スタジオ内に配置され操作機１１により遠隔操作されるロボットカメラ１と、このロボットカメラ１からの映像とＣＧ映像を合成するＣＧ合成装置２０とを備えている。
ロボットカメラ１は、図１及び図２に示すように、操作機１１の遠隔操作によりスタジオ内を自在に移動すると共に、カメラ５を任意に操作して、被写体Ｈｓを撮影することができるものである。このロボットカメラ１は、ここでは、スタジオフロア上を車輪等により移動するフロア移動機構１ａで用いる各軸、及び、カメラ５で必要となるズーム、アイリス等の駆動機構の各軸を駆動する駆動モータ４ａ〜４ｎにより任意の方向にレンズ５ａを向けて被写体Ｈｓを撮影する。
【００２０】
図１に示すように、操作機１１は、操作者の操作によりロボットカメラ１を遠隔操作するものである。この操作機１１は、ロボットカメラ１の移動、ズーム、パン、チルト等の動作をハンドル等の操作により行っている。操作機１１で操作された操作機データは、ロボットカメラ１に送られる。なお、操作機１１からロボットカメラ１を移動させる操作も行うことができ、例えば、操作機１１の図示しないジョイスティックを操作することで、ロボットカメラ１の移動を操作している。例えば、操作機１１のジョイスティックの傾斜方向とオン時間と併せて、パン、チルト、ズーム等の情報が操作機データとしてロボットカメラ１に送られる。
【００２１】
図２に示すように、ロボットカメラ１は、ネットワーク部（ネットワーク手段）２と、演算部（演算手段）３と、駆動モータ部４と、カメラ５とを備えている。なお、ロボットカメラ１は、さらに、外部の入力手段７を介して遅延時間を設定する設定手段６を備えている。
【００２２】
ネットワーク部２は、操作機データ等の各データを送受信するためのものである。このネットワーク部２は、操作機データを受信する受信モジュール２ａと、カメラデータを送信する送信モジュール２ｂと、を備えている。なお、カメラ５で撮影した被写体Ｈｓ（図１参照）の映像は、ロボットカメラ１に接続されている接続ケーブル（図示せず）を介して送られている。
受信モジュール２ａは、操作機１１から送られて来るカメラの移動、パン、チルト、ズーム等に関するデータである操作機データを受信して演算部３に出力する。
送信モジュール２ｂは、演算部３から送られて来るカメラデータをＣＧ合成装置２０（図３参照）に送信するものである。
【００２３】
演算部３は、操作機データからカメラデータ及び指令データを算出して、カメラデータをネットワーク部２に送ると共に、指令データを予め設定される遅延時間だけ遅らせて駆動モータ部４に送るものである。この演算部３は、カメラ目標位置算出モジュール（カメラ目標位置算出手段）３ａと、データ遅延モジュール（データ遅延手段）３ｂと、モータ指令モジュール（モータ指令手段）３ｃとを備えている。
【００２４】
カメラ目標位置算出モジュール３ａは、ネットワーク部２の受信モジュール２ａから送られて来る操作機データを受け取り、予め設定されている算出手段によりカメラデータ及び指令データを算出するものである。このカメラ目標位置算出モジュール３ａは、入力する操作機データが各駆動モータ４ａ〜４ｎ別のデータであるので、その各駆動モータ４ａ〜４ｎ別のデータのそれぞれに予め設定されている係数を積算、加算等することや、あるいは、予め設定されている計算式に代入されること等により指令データを算出し、その指令データにより駆動する駆動モータ４ａ〜４ｎの移動した結果となるカメラデータを算出している。そして、カメラ目標位置算出モジュール３ａは、算出されたカメラデータをネットワーク部２の送信モジュール２ｂに送ると共に、算出された指令データを遅延データ遅延モジュール３ｂに送っている。指令データは、駆動モータ４ａ〜４ｎを実際に駆動させてカメラ目標位置にするためのデータである。また、カメラデータは、指令データにより駆動モータ４ａ〜４ｎを駆動させた結果におけるカメラ５のカメラ目標位置を示すデータである。つまり、指令データとカメラデータは、実質的に同じ内容を示したものである。
【００２５】
データ遅延モジュール３ｂは、カメラ目標位置算出モジュール３ａから指令データを受取り、予め設定された遅延時間において遅延させてモータ指令モジュール３ｃに指令データを送るものである。このデータ遅延モジュール３ｂは、設定手段６により外部から入力手段７を介して遅延時間が設定されるように構成されている。データ遅延モジュール３ｂは、操作機データの受信からロボットカメラ１が動作を開始するまでの時間と、ＣＧ映像Ｖｇの描画作成時間とを一致させるように遅延時間を、ここでは例えば、２フレーム分に相当するｎ２秒としている。データ遅延モジュール３ｂは、遅延時間が例示のｎ２秒であれば、その遅延時間だけカメラデータを保持した後にモータ指令モジュール３ｃに出力している。なお、この遅延時間は、予め設定されており、次のような動作により設定される。
【００２６】
はじめに、ロボットカメラ１のカメラ位置をキャリブレーションする。例えば、図１及び図４（ａ）に示すように、被写体Ｈｓのテーブルの正面板の模様である水平線と垂直線の中心をキャリブレーションの原点位置Ｐ０とし、その原点位置Ｐ０におけるロボットカメラの初期位置Ｍ０を特定して焦点が合うように調整しキャリブレーションを行うことで、原点位置Ｐ０及び、その原点位置Ｐ０におけるロボットカメラ１の初期位置Ｍ０を設定する。なお、キャリブレーションを行うときのロボットカメラ１の操作についても操作機１１の操作により行っている。次に、原点位置Ｐ０の付近にＣＧオブジェクト（図示せず）を配置し、ロボットカメラ１は、パン軸をすばやく左右に振る。遅延時間が正しく設定されていない場合には、表示モニタ３０で表示される実写とＣＧオブジェクトがずれるため、ずれが軽減する方に遅延時間を変更して調整する。この作業を繰り返すことで遅延時間を予め設定し、入力手段７から調整して入力されることで設定手段６により設定される。なお、実写とＣＧオブジェクトとがずれているか否かの判断は、作業者の目視により行われ、作業者の認識でずれていない状態となるレベルである。つまり、ここでの遅延時間を設定するロボットカメラ１では、作業者の目視による判断でずれがないと認識できるレベルで充分である。
【００２７】
図２に示すように、モータ指令モジュール３ｃは、データ遅延モジュール３ｂから指令データを受取り、駆動モータ部４に指令データを指令値として送るものである。このモータ指令モジュール３ｃは、駆動モータ部４の各駆動モータ４ａ〜４ｎに対してそれぞれの指令データ（例えば、電圧の値、電流の値等）を指令値として送っている。
【００２８】
駆動モータ部４は、モータ指令モジュール３ｃからの指令データである指令値を受け取り、各駆動軸に対応する駆動モータ４ａ〜４ｎを作動させる。この駆動モータ部４は、ロボットカメラ１が遠隔操作されて駆動するすべての駆動軸に対応する駆動モータ４ａ〜４ｎに指令データを伝達している。例えば、図２に示すように、駆動モータ４ｃは、カメラ５のズーム機構の駆動軸を示すものであり、レンズのズーム動作を行うときの駆動軸を動作させることを示している。このように駆動モータ４ａ〜４ｎは、パン、チルト、アイリスの絞り等、及び、フロアを移動するときに使用する車輪の駆動軸等、ロボットカメラ１が遠隔操作により駆動する駆動軸を、指令データに基づいて駆動モータ４ａ〜４ｎにより作動させる。
【００２９】
カメラ５は、被写体Ｈｓを撮影するものである。このカメラ５は、被写体Ｈｓを映すレンズ５ａと、レンズ５ａを介して受光する受光部５ｂ等を備えているテレビ映像用に使用されるカメラである。カメラ５で撮影された被写体Ｈｓの映像は、接続ケーブル（図示せず）を介して後記するＣＧ合成装置２０に送られる。
【００３０】
ロボットカメラ１は、以上説明したような構成を備えていることで、後記するＣＧ合成装置２０に、先に操作機データから算出されたカメラデータを送り、その後、所定の遅延時間を経た当該カメラデータに対応する映像を送るようにしているので、ＣＧ合成映像を作成するときに簡単なソフトウエアの交換により、カメラデータに基づいて作成されるＣＧ映像に対応する映像を送る時間をかせぐことができるようになる。つまり、ロボットカメラ１では、演算部３の部分（カメラ目標位置算出モジュール３ａ）がソフトウエアで構成されることになるので、その演算部３を従来の構成のものと取り替えることで、カメラデータと映像とを既に説明したように所定のタイミングで送り出すことが可能となる。
【００３１】
なお、ロボットカメラ１は、スタジオのフロア上を車輪等により移動する構成であるものとして説明したが、スタジオ内をクレーンや軌道レールで移動するタイプの構成であってもすでに説明した構成と同様に対応することが可能となる。
【００３２】
つぎに、図１及び図３を参照してＣＧ合成装置２０の構成について説明する。
ＣＧ合成装置２０は、送られて来たカメラデータ及び当該カメラデータに対応する映像を用いて、ＣＧ映像Ｖｇを合成したＣＧ合成映像Ｖを作成する装置である。このＣＧ合成装置２０は、カメラデータ入力手段２１と、撮影位置算出手段２２、位置記憶手段２３と、ＣＧ映像作成手段２４と、ＣＧデータ記憶手段２５と、映像入力手段２６と、合成映像作成手段２７と、出力手段２８と、を備えている。
【００３３】
カメラデータ入力手段２１は、ロボットカメラ１から送られて来るカメラデータを受取り、撮影位置算出手段２２に受け渡す。このカメラデータ入力手段２１は、ここではワイヤレスでカメラデータを受け取ることができる構成を備えている。
【００３４】
位置記憶手段２３は、予めＸＹＺ座標内のどの位置にＣＧ映像Ｖｇを作成するかのアドレス等の位置データが記憶されている。なお、位置記憶手段２３には図示しない入力手段によりＣＧ映像Ｖｇのアドレス等が入力できるように構成されている。また、位置記憶手段２３は、ロボットカメラ１が移動する例えばスタジオフロアの位置におけるＸＹＺ座標内において、ロボットカメラ１のキャリブレーションを行ったときの当該ロボットカメラ１の位置をカメラ初期位置Ｍ０（図４参照）あるいは、撮影がはじまってロボットカメラ１が移動したときのそれぞれの位置の情報を記憶する。
【００３５】
撮影位置算出手段２２は、受け取ったカメラデータに基づいて、位置記憶手段２３に記憶しているカメラ初期位置Ｍ０、及び、ＣＧ映像の作成位置からＸＹＺ座標内において、どの位置にロボットカメラ１が移動しズーム等どの状態で撮影されるかを演算し、その撮影される位置においてＸＹＺ座標内で指定されるＣＧ映像位置を特定する。つまり、撮影位置演算手段２２は、カメラデータに基づいて、仮想カメラの位置を演算し、その仮想カメラで撮影したときのＣＧ映像を作成する作成位置を演算している。例えば、図４（ａ）に示すように、撮影位置算出手段２２は、ロボットカメラ１のカメラ初期位置Ｍ０をＸＹＺ座標内において予めキャリブレーションを行い記憶している位置記憶手段２３から得ることができる。そのため、撮影位置算出手段２２は、送られて来たカメラデータに基づいて、ロボットカメラ１の各駆動モータを作動させた場合、図４（ａ）、（ｂ）に示すように、仮想線（図４（ａ）参照）で示すロボットカメラの位置（第１移動位置Ｍ１に相当：図４（ｂ）参照）に移動したときに、撮影ショットの種類、例えばズーム等で撮影するときの状態から、撮影されるフレーム内でのＣＧ映像の作成位置を算出することができる。
【００３６】
また、図３及び図４（ｂ）に示すように、撮影位置算出手段２２は、第１移動位置Ｍ１から次の指令データによりロボットカメラ１が所定位置（第２移動位置Ｍ２）に実際に移動してその位置で撮影されるフレーム内でのＣＧ映像Ｖｇの作成位置を算出する等、カメラ初期位置Ｍ０から指令データで移動した結果となるカメラデータにより次のカメラ目標位置におけるＣＧ映像位置を算出する。前記した例示のように、撮影位置算出手段２２では、ロボットカメラ１のカメラ初期位置Ｍ０を位置記憶手段２３から受け取り、そのカメラ初期位置Ｍ０からどれだけ移動してどの様なズーム状態等で撮影するかを示すカメラデータがあれば、ＣＧ映像位置は、ＸＹＺ座標内において特定することが可能となる。
【００３７】
ちなみに、図４（ｃ）の左側に示すように、第１移動位置Ｍ１で撮影される実写である映像での被写体Ｈｓ（図１参照）の状態は、演者の左側から机の後ろのボードがやや画面内から切れる状態となるバストショット映像であって、ボード上をＣＧ映像位置としていることになる。また、図４（ｃ）の右側に示すように、第２移動位置Ｍ２で撮影される被写体Ｈｓ（図１参照）の状態では、演者、机及びボードを正面から撮影する状態におけるボード上の位置をＣＧ映像位置としていることになる。なお、図４（ｃ）で示す被写体側の映像は、その映像におけるＣＧ映像位置を示すために模式的に記載しているので、算出する場合には、視認できる映像としては存在していないため仮想線として示している。
【００３８】
図３に示すように、撮影位置算出手段２２によりＣＧ映像位置が算出されると、その算出されたＣＧ映像位置に対応するＣＧ映像がＣＧ映像作成手段２４により作成される。このＣＧ映像作成手段２４は、ＣＧデータ記憶手段２５から予め設定されているＣＧデータを取得してカメラデータにより位置が特定されたＣＧ映像位置に対応するＣＧ映像Ｖｇを作成している。例えば、取得したＣＧデータが正面を向いている２次元のウサギのバストショットとなる基準映像であって、ＣＧ映像位置が右斜め４５度からなるボード上で所定の割合でズームされている場合には、基準映像に対してＣＧ映像位置における投影変換を行ってＣＧ映像位置にＣＧ映像を作製している。ＣＧ映像作成手段２４で作成されたＣＧ映像Ｖｇは、合成映像作成手段２７に出力される。
【００３９】
映像入力手段２６は、ロボットカメラ１から送られて来た映像を入力して合成映像作成手段２７に出力する。この映像入力手段２６で受け取る映像は、ロボットカメラ１のデータ遅延モジュール３ｂで、当該映像に対応する指令データ（指令データより駆動させた結果となるカメラデータと同等）が、所定の遅延時間において遅らせた状態により被写体Ｈｓを撮影したものである。
合成映像作成手段２７は、ＣＧ映像作成手段２４から送られて来たＣＧ映像Ｖｇと、映像入力手段２６から送られて来た映像とを合成する。この合成映像作成手段２７で合成して作成されたＣＧ合成映像Ｖは、出力手段２８に送られ、その出力手段２８から出力される。
【００４０】
ＣＧ合成装置２０は、以上のように構成されているので、映像に対応するカメラデータを、その映像よりも早く受取り、そのカメラデータによりＣＧ映像位置を算出して、算出したＣＧ映像位置に対応するＣＧ映像Ｖｇを作成する。そして、ＣＧ合成装置２０は、カメラデータに対応する指令データにより撮影のタイミングを予め設定された遅延時間だけ遅らせて撮影した映像をロボットカメラ側から受取り、映像とＣＧ映像Ｖｇを合成してＣＧ合成映像Ｖを作成している。そのため、ＣＧ合成装置２０において、リップシンクのずれが発生せず映像と音声の調整をする必要がない状態となる。
【００４１】
次に、図１〜図４を適宜用いて、図５を主に参照して、バーチャルスタジオシステム１０のロボットカメラ１及びＣＧ合成装置２０の動作を説明する。
はじめに、図１に示すように、ロボットカメラ１は、キャリブレーションを行い、実写の映像とＣＧ映像とを一致させる。このキャリブレーションは次のような動作により行う。実際に撮影するスタジオ等のフロア上におけるＸＹＺ座標での原点位置Ｐ０（図４（ａ）参照）を設定する。キャリブレーションを行う場合には、図４（ｃ）に示すように、例えば、被写体Ｈｓの中のテーブルにおける水平線と垂直線で示される模様の中心（図４（ｃ）参照）をキャリブレーションの原点位置Ｐ０とし、その原点位置Ｐ０を撮影したロボットカメラ１の位置をカメラ初期位置Ｍ０として設定して、位置記憶手段２３に記憶させる。なお、ロボットカメラ１は、原点位置Ｐ０が撮影できる位置であればどこでも構わない。
【００４２】
次に、原点位置Ｐ０の付近に予め準備したＣＧオブジェクトを配置し、ロボットカメラ１は、操作機１１の操作によりパン軸をすばやく左右に振ることで、ＣＧオブジェクトと実写となる映像とのずれがないかを表示モニタ３０を見ながら作業者の目視で判断する。ＣＧオブジェクトが映像からずれる場合には、遅延時間が正しく設定されていないことになり、ずれが軽減する方に遅延時間を変更して調整する。この作業を繰り返すことで遅延時間を予め設定し、入力手段７から調整して入力されることで設定手段６によりロボットカメラ１の遅延時間が設定される。
【００４３】
ロボットカメラ１のデータ遅延モジュール３ｂの遅延時間が設定されると、実際のバーチャルスタジオ撮影の準備が整う。なお、バーチャルスタジオ撮影は、図１に示すように、演者が机の横に立ち、机の後ろのボード上にウサギとロボットのＣＧデータであるＣＧ映像Ｖｇを合成したＣＧ合成映像Ｖにおいて、演者とＣＧデータとが会話するバーチャル番組を一例として説明する。また、ロボットカメラ１は、図示しない他のカメラ（ロボットカメラ等）を省略し、はじめにカメラ初期位置Ｍ０から第１移動位置Ｍ１に移動する状態を一例として説明する。
【００４４】
まず、番組がスタートするとカメラマン（操作者）は、操作機１１を介してロボットカメラ１を遠隔操作して、ロボットカメラ１をカメラ初期位置Ｍ０から被写体Ｈｓを撮影して第１移動位置Ｍ１に移動させることとする。なお、ロボットカメラ１の位置の移動は、操作機１１の図示しないジョイスティック等の操作により例えば、図４（ｂ）に示すように、カメラ初期位置Ｍ０から斜め左前方の位置である第１移動位置Ｍ１に移動させることとする。そして、移動中は、操作機１１のハンドルを操作することで、被写体（演者）Ｈｓにカメラを向けて、第１移動位置に到来したら、操作機１１の操作によりズームを行い、バストショットを撮影する（図４（ｃ）の左側の状態）こととする。さらに図４（ｂ）に示すように、操作機１１の操作により第１移動位置Ｍ１から右斜め横となる第２移動位置Ｍ２に移動させ被写体（演者）Ｈｓの全身が映るショットとする場合（図４（ｃ）の右側の状態）であるとする。
【００４５】
ロボットカメラ１は、撮影がはじまると、図２及び図５で示すように、操作機データをネットワーク部２で受け取り、演算部３のカメラ目標位置算出モジュール３ａで指令データを演算し、その指令データにより駆動モータが移動した結果のカメラ目標位置となるカメラデータを算出する。そして、ロボットカメラ１は、ネットワーク部２を介してカメラデータをＣＧ合成装置２０に送ると共に、データ遅延モジュール３ｂに指令データを出力する。さらに、ロボットカメラ１は、データ遅延モジュール３ｂにおいて予め設定されている遅延時間となるｎ２秒だけ指令データを遅延させてモータ指令モジュール３ｃを介して駆動モータ部４の各駆動モータ４ａ〜４ｎを作動させて実写となる被写体Ｈｓを撮影する。ロボットカメラ１は、カメラデータに対応するｎ２秒だけ遅延させた映像をＣＧ合成装置２０に出力することになる。
【００４６】
ここで、ロボットカメラ１を第１移動位置Ｍ１に移動する場合、操作機１１を操作する操作者は、はじめに、移動させる動作を行い、第１移動位置Ｍ１にロボットカメラ１が被写体Ｈｓに向きながら移動して配置された後に、ズームを行わせ被写体Ｈｓのバストショットを撮影できる状態としている。つまり、ロボットカメラ１が移動するときは、常に、ｎ２秒だけ指令データにより遅れた状態となり移動することになる。また、ロボットカメラ１が移動すれば、その移動によりカメラパラメータが送られることで、ＸＹＺ座標上におけるロボットカメラ１の位置が仮想カメラの位置としてＣＧ合成装置２０ｄでは、演算することができる状態となる。
【００４７】
そして、第１移動位置Ｍ１に移動した後に、ズームされると、そのズームするための指令データもｎ２秒だけ遅れた状態で操作され、そのときのカメラデータは、ＣＧ合成装置２０に送られて仮想カメラの状態が演算されてカメラ目標位置がＣＧ合成装置２０で分かる状態となっている。また、第１移動位置Ｍ１から第２移動位置Ｍ２に移動するときにも、前記したようにロボットカメラ１とＣＧ合成装置２０とが動作することになる。
なお、操作機１１からの操作機データとして移動のデータと、ズームのデータとが同時に送られていった場合、ロボットカメラ１は、移動しながらズームを行うことになるが、常に、操作機１１で操作した手順によりｎ２秒遅れた状態で、動作することになる。つまり、ロボットカメラ１は、操作機１１による操作において、常に、ｎ２秒遅れて動作することとなる。また、ここでは、ロボットカメラ１が移動する場合には、例えば、操作機１１のジョイスティック（図示せず）のオンとなる状態の倒す方向でロボットカメラ１の移動方向が決まり、そのジョイスティックをオンにした時間により移動距離が決まるように設定されている。したがって、操作機１１からの操作する場合の移動に対応する情報が、パン、チルト、ズームの情報と共に、操作機データとしてロボットカメラ１に送られている。
【００４８】
ＣＧ合成装置２０は、カメラデータをカメラデータ入力手段２１により受取り、撮影位置算出手段２２により位置記憶手段２３に記憶されているカメラ初期位置Ｍ０、ＣＧ映像位置及び、受け取ったカメラデータを使用して、そのカメラデータに対応する映像におけるＣＧ映像の作成位置を算出する。そして、ＣＧ合成装置２０は、算出されたＣＧ映像位置に対応するように、ＣＧ映像作成手段２４によりＣＧデータ記憶手段２５から取得したＣＧデータに基づいて、ＣＧ映像Ｖｇ（図１参照）を投影変換等により作成する。なお、当該カメラデータに対応する映像は、ｎ２秒だけ遅延してＣＧ合成装置２０の映像入力手段２６により受け取られる。
【００４９】
そして、ＣＧ合成装置２０は、作成したＣＧ映像Ｖｇと、当該カメラデータに対応してｎ２秒だけ遅延した状態で受け取った映像とを合成して、ＣＧ合成映像Ｖを作成して出力手段２８を介して出力している。なお、ここでは、ＣＧ合成装置２０がＣＧ合成映像Ｖを作成する場合は、ロボットカメラ１で撮影された全ての映像について行うこととして説明した。つまり、例示した図４（ｂ）においては、第１移動位置Ｍ１にカメラ初期位置Ｍ０から移動するとき、及び、第１移動位置Ｍ１から第２移動位置Ｍ２に移動するとき、常にＣＧ合成映像Ｖが作成され出力されている。そのため、ここでは、カメラデータは、映像周波数の６０Ｈｚと同じタイミングでロボットカメラ１からＣＧ装置２０に送られている。出力されたＣＧ合成映像Ｖは、例えば、図１に示すように、表示モニタ３０に表示したときに、リップシンクのずれなどの違和感がないため、ロボットカメラ１によるショットを制限されることがない。また、このＣＧ合成装置２０は、ＣＧ合成映像Ｖを作成して出力する作業が、ロボットカメラ１においてカメラデータに対応する指令データにより撮影のタイミングを予め設定された遅延時間だけ遅らせて撮影した映像を使用しているので、追加機材を必要としない。
【００５０】
このように、ロボットカメラ１、及び、そのロボットカメラ１とＣＧ合成装置２０とを備えるバーチャルスタジオシステム１０では、ロボットカメラ１側において、演算部３の構成をソフトウエアとしたときに、そのソフトウエアを取り替えることで、操作機等に追加機材を必要せず、ＣＧ合成装置２０側にロボットカメラ１のカメラ初期位置Ｍ０等の位置データを予め記憶しておくことで、映像よりも先にカメラデータが来たときに、ＣＧ映像Ｖｇの位置が算出でき、ＣＧ合成映像Ｖをスムーズに作成でき、リップシンクのずれが発生することがない。
【００５１】
なお、ＣＧ合成装置２０で作成されるＣＧ映像Ｖｇは、投影変換を一例として示したが、その他の手法により行ってもよく、特に限定されるものではない。また、ＣＧ映像Ｖｇと映像とを合成する場合についても、一般的な手法により合成することができるものであれば、特に限定されるものではない。
また、ＣＧ合成装置２０は、ＣＧ映像の作成と、ＣＧ映像と実写映像との合成とを一台の装置で処理するように説明したが、図３で示す中央の仮想線の位置でそれぞれの装置として構成しても構わない。
【符号の説明】
【００５２】
１ ロボットカメラ
１ａ フロア移動機構
２ ネットワーク部
２ａ 受信モジュール
２ｂ 送信モジュール
３ 演算部
３ａ カメラ目標位置算出モジュール（カメラ目標位置算出手段）
３ｂ データ遅延モジュール（データ遅延手段）
３ｃ モータ指令モジュール（モータ指令手段）
４ 駆動モータ部
４ａ〜４ｎ 駆動モータ
５ カメラ
５ａ レンズ
５ｂ 受光部
６ 設定手段
７ 入力手段
１０ バーチャルスタジオシステム
１１ 操作機
２０ ＣＧ合成装置
２１ カメラデータ入力手段
２２ 撮影位置算出手段
２３ 位置記憶手段
２４ ＣＧ映像作成手段
２５ ＣＧデータ記憶手段
２６ 映像入力手段
２７ 合成映像作成手段
２８ 出力手段
３０ 表示モニタ
Ｈｓ 被写体
Ｍ１ 第１移動位置
Ｍ２ 第２移動位置
Ｐ０ 原点位置
Ｍ１ カメラ初期位置
Ｖ ＣＧ合成映像
Ｖｇ ＣＧ映像
【技術分野】
【０００１】
本発明は、スタジオで撮影するときに使用されるロボットカメラ、及び、そのロボットカメラを使用してＣＧ合成映像等を撮影する場合に用いられるバーチャルスタジオシステムに関する。
【背景技術】
【０００２】
一般に、ロボットカメラを使用してＣＧ合成映像装置によりＣＧ合成映像を撮影するバーチャルスタジオシステムでは、スタジオで撮影した実写の映像に対して、その映像の任意の位置にＣＧ映像を合成したＣＧ合成映像を作成することが知られている。図６、図７及び図８に、従来のバーチャルスタジオシステム及びロボットカメラの構成（非特許文献１，２）及び手順を示す。
図６に示すように、バーチャルスタジオシステム１００は、操作機１０１により遠隔操作するロボットカメラ１２０と、このロボットカメラ１２０で撮影した実写１０５の映像にＣＧ映像１０６を合成するＣＧ合成装置１０３とを備えている。なお、ＣＧ合成映像１０８は、表示モニタ１０４に表示される。
【０００３】
ロボットカメラ１２０は、図７に示すように、受信モジュール１２１ａ及び送信モジュール１２１ｂを有するネットワーク部１２１と、カメラ目標位置算出モジュール１２２ａ、モータ指令モジュール１２２ｂ及びデータ受信モジュール１２２ｃを有する演算部１２２と、レンズ１２４ａ及び受光部１２４ｂ等を有するカメラ１２４とを備えている。
【０００４】
このロボットカメラ１２０は、ネットワーク部１２１の受信モジュール１２１ａに操作機データを受け取ると、演算部１２２のカメラ目標位置算出モジュール１２２ａによりカメラ１２４が駆動モータ１２３ａ〜１２３ｎのそれぞれの操作量で特定されるカメラ目標位置となる指令値を操作機データから算出する。そして、ロボットカメラ１２０は、モータ指令モジュール１２２ｂを介して駆動モータ部１２３にその指令値を出力している。そして、ロボットカメラ１２０は、モータ指令モジュール１２２ｂからの指令値により駆動モータ部１２３を介して駆動モータ１２３ａ〜１２３ｎのそれぞれを作動させてカメラのパン、チルト、ズーム等を行い、映像を取得し、取得した映像を接続ケーブル（図示せず）によりＣＧ合成装置１０３に送信している。
【０００５】
映像の送信と同時に、図７に示すように、ロボットカメラ１２０は、駆動モータ部１２３で示す各駆動モータ１２３ａ〜１２３ｎに設けたエンコーダ等の動きを検知する検知手段（図示せず）から、検知したカメラデータをデータ受信モジュール１２２ｃに送り、ネットワーク部１２１の送信モジュール１２１ｂを介してＣＧ合成装置１０３に送信している。つまり、ロボットカメラ１２０は、カメラデータと映像とをほぼ同時にＣＧ合成装置１０３に送る状態の構成になっている。
【０００６】
図８に示すように、ＣＧ合成装置１０３は、ロボットカメラ１２０（図７参照）から送られて来るカメラデータからＣＧ映像上の仮想カメラの位置を設定し、ＣＧ映像を映像の所定の位置に描画するようにしてＣＧ映像を作成している。
前記した一連の処理によりＣＧ合成映像を作成する場合では、ロボットカメラ１２０（図６参照）で被写体の実写を撮影した後に、映像及びカメラデータをＣＧ合成装置１０３に送信し、ＣＧ映像の描画を行うため、実際に合成する際の映像と描画されたＣＧ映像とに時間的なずれが生じることになる。そのため、通常のＣＧ合成装置１０３では、時間のずれを解消するためにＣＧ映像の描画時間分、実写映像を撮影した後にディレイ装置（図示せず）を介して遅らせて時間の調整を行い、映像とＣＧ映像とを一致させるように運用している。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】“ＳＰ−２０００／Ｘ−Ｙサーボペデスタル”インタネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｖｉｎｔeｎｒａｄａｍｅｃ．ｃｏｍ／ｓｐ２０００−ｊａ．ｐｈｐ＞［ｏｎｌｉｎｅ］［平成１９年９月１０日検索］
【非特許文献２】“ＲＰ２Ａロボテックペデスタル”インタネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｖｉｎｔeｎｒａｄａｍｅｃ．ｃｏｍ／ｒｐ２ａ−ｊａ．ｐｈｐ＞［ｏｎｌｉｎｅ］［平成１９年９月１０日検索］
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、従来のロボットカメラ及びバーチャルスタジオシステムでは、以下に示すような問題点が存在した。
ロボットカメラは、駆動モータが移動した結果を待ってカメラデータをＣＧ合成装置に送り、ＣＧ空間上の仮想カメラ位置を特定しＣＧ映像を描画し、作成したＣＧ映像と実写の映像とを合成することになる。そのため、駆動モータが移動した結果の映像は、ＣＧ映像を作成するタイミングだけ遅らせないとＣＧ合成映像を作成することができない状態となっている。そのため、従来のロボットカメラからの映像及びカメラデータでは、遅らせた映像と同時に取得される音声も合わせて遅らせる必要が生じる。したがって、ロボットカメラからの実写となる映像及びカメラデータによりＣＧ合成映像を作成して番組を構成するバーチャル番組では、音声を遅らせる音声ディレイ装置や、映像を遅らせる映像遅延装置等の追加機材が必要となる。
【０００９】
また、撮影しているロボットカメラの一台でもＣＧ合成映像を使用することになった場合には、その他のロボットカメラの映像および音声に対して遅らせることが必要となってしまう。そのため、番組で使用するすべてカメラに映像ディレイを入れることが困難な場合には、音声の遅れとなるリップシンクのずれが発生していることに対して、その映像と音声のずれが分からないようなワイドの画角で口元がはっきりしない映像を撮るように調整するしかなかった。
【００１０】
本発明は、前記した問題点に鑑み創案されたものであり、ＣＧ合成映像を撮影するときにディレイ装置等の追加機材を必要とせず、また、音声を遅延させる動作を行うことなく無遅延でＣＧ合成映像を生成することができるロボットカメラ及びバーチャルスタジオシステムを提供することを課題とする。
【課題を解決するための手段】
【００１１】
本発明に係るロボットカメラは、前記した課題を解決するために、以下のような構成とした。すなわち、ロボットカメラは、駆動モータにより駆動可能なカメラ及びフロア移動機構を備え、被写体を前記カメラで撮影した実写の映像にＣＧ合成装置によりＣＧ映像を合成したＣＧ合成映像を作成する際に使用され、操作機の操作機データから算出したカメラデータにより前記駆動モータの遠隔操作が行われて撮影するロボットカメラであって、前記操作機からの操作機データを入力すると共に、前記カメラデータを前記ＣＧ合成装置に出力するネットワーク手段と、このネットワーク手段により受け取った前記操作機データから前記駆動モータの指令値となる指令データ、及び、その指令データにより前記駆動モータの移動した結果となる前記カメラデータを算出すると共に、算出した前記カメラデータを前記ネットワーク手段に送るカメラ目標位置算出手段と、このカメラ目標位置算出手段により算出された前記指令データを予め設定された遅延時間だけ保持して前記ＣＧ合成装置に前記カメラデータを出力する時間よりも遅らせるデータ遅延手段と、このデータ遅延手段により遅延させた前記指令データにより前記駆動モータを作動させ前記カメラをカメラ目標位置となるようにするモータ指令手段と、を備える構成とした。
【００１２】
かかる構成により、ロボットカメラは、操作機からの操作機データをネットワーク手段により受け取り、受け取った操作機データをカメラ目標位置算出手段に送る。操作機データを受け取ったカメラ目標位置算出手段は、駆動させる各駆動軸の駆動量を示す指令値となる指令データを算出し、かつ、その指令データにより駆動モータが移動した結果であるカメラ目標位置となるカメラデータを、当該操作機データから演算する。なお、カメラ目標位置算出手段は、カメラデータを演算するときには、操作機データの操作量と、駆動モータの操作量との変換量が予め分かっているので、関係式あるいは対応テーブル等、一般的な手法により演算して操作機データから指令データ及びカメラデータを算出することができる。ロボットカメラは、算出されたカメラデータをネットワーク手段に送ると共に、指令データをデータ遅延手段に送り、データ遅延手段で予め設定された遅延時間を待って指令データをモータ指令手段に送る。ロボットカメラは、ネットワーク手段によりカメラデータをＣＧ合成装置に送ると共に、遅延時間を待って送られた指令データにより駆動モータ部で各駆動軸の駆動モータを動作させてカメラ目標位置において撮影し、撮影した映像をＣＧ合成装置に送っている。したがって、ロボットカメラは、新たに映像あるいは音声のディレイ装置を導入することなく、映像を予め設定した遅延時間において遅延させて送ることができる。
【００１３】
さらに、本発明に係るロボットカメラにおいて、前記データ遅延手段は、前記遅延時間を予め設定する設定手段を備え、前記設定手段は、外部に設置される入力手段からの入力により前記遅延時間を設定する構成とした。
かかる構成により、ロボットカメラは、例えば、予め行なわれるカメラ位置のキャリブレーション動作、そのキャリブレーション動作の原点位置にＣＧ映像を配置してカメラの首振り動作により前記ＣＧ映像が映像からずれがない状態となるまでの時間を前記遅延時間として、入力手段からの入力により設定手段を介して設定することができる。
【００１４】
また、本発明に係るバーチャルスタジオシステムでは、請求項１又は請求項２に記載のロボットカメラと、このロボットカメラにより被写体を撮影した映像にＣＧ映像を合成するＣＧ合成装置とを備えるバーチャルスタジオシステムにおいて、前記ＣＧ合成装置は、前記被写体を撮影するフロア位置の座標上における前記ロボットカメラのカメラ初期位置及びＣＧ映像の作成位置を予め記憶する位置記憶手段と、前記ロボットカメラで算出されたカメラデータを入力するカメラデータ入力手段と、入力した前記カメラデータに基づいて前記位置記憶手段に記憶されている前記カメラ初期位置及び前記作成位置から、前記ロボットカメラの駆動モータが作動して前記カメラのカメラ目標位置におけるＣＧ映像の作成位置を算出する撮影位置算出手段と、算出した前記ＣＧ映像の作成位置に対応したＣＧ映像を作成するＣＧ映像作成手段と、前記ロボットカメラで予め設定した前記遅延時間だけ遅延させて撮影した映像を入力する映像入力手段と、前記ＣＧ映像作成手段で作成したＣＧ映像と、前記映像入力手段で入力した映像とを合成してＣＧ合成映像を作成する合成映像作成手段と、この合成映像作成手段で作成したＣＧ合成映像を出力する出力手段と、を備える構成とした。
【００１５】
かかる構成により、バーチャルスタジオシステムは、映像よりも先にカメラデータをカメラデータ入力手段により受け取り、位置記憶手段に予め記憶されているロボットカメラのカメラ初期位置から、撮影位置算出手段によりカメラデータに基づいて、カメラ目標位置として算出されるＣＧ映像の仮想カメラの位置における作成位置を算出する。そして、ＣＧ合成装置は、ＣＧ映像作成手段により、算出した作成位置のＣＧ映像に対応するようにＣＧデータを調整してＣＧ映像を作成する。そして、映像入力手段からカメラデータよりも所定の遅延時間だけ遅れて入力された映像と、作成したＣＧ映像とを合成してＣＧ映像合成画像を合成映像作成手段により作成して出力手段より出力する。このときに、バーチャルスタジオシステムでは、撮影のタイミングを予め設定された遅延時間だけ遅らせた指令データにより各駆動モータが作動して撮影した後に、カメラデータに対応する映像が、ＣＧ合成装置に入力されるため、ＣＧ映像合成のときの映像及びその映像を撮影するときに生じる音声に対するディレイを生じることがない。
【発明の効果】
【００１６】
本発明に係るロボットカメラ及びバーチャルスタジオシステムは、以下に示すような優れた効果を奏するものである。
ロボットカメラは、演算したカメラデータを、映像より先にＣＧ合成装置に送り、当該カメラデータに対応する指令データにより撮影のタイミングを予め設定された遅延時間だけ遅らせて撮影した映像としてＣＧ合成装置に送っている。そのため、ロボットカメラで撮影した映像と音声とは、ＣＧ合成映像に送られてＣＧ合成映像となるときには、リップシンクのずれを生じることがない状態となる。したがって、ロボットカメラでは、演算手段のカメラ目標位置算出手段であるソフトウエアを取り替えれば映像ディレイ装置等の追加機材が必要ない。
ロボットカメラは、遅延時間を設定手段により自在に調整することができるので、ＣＧ合成映像を作成するときに、的確にリップシンクのずれを防止することが可能となる。
【００１７】
バーチャルスタジオシステムは、ロボットカメラで撮影した映像より先にロボットカメラのカメラデータを受け取り、予め記憶しているロボットカメラのカメラ初期位置等の位置データによりＣＧ映像の作成位置を算出してその作成位置に対応するＣＧ映像を作成する。そして、バーチャルスタジオシステムは、ロボットカメラで指令データより所定の遅延時間において遅らせて受け取る映像によりＣＧ合成映像を作成するので、ＣＧ合成映像でリップシンクのずれが発生することがなく、ワイドの画角で口元がはっきりしない映像を撮るようなカメラショットの調整をする必要がなく、自由なカメラショットにより映像を構成することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係るバーチャルスタジオシステムの全体を模式的に示す模式図である。
【図２】本発明に係るバーチャルスタジオシステムで使用されるロボットカメラの内部構造を模式的に示すブロック図である。
【図３】本発明に係るバーチャルスタジオシステムで使用されるＣＧ合成装置を模式的に示すブロック図である。
【図４】（ａ）、（ｂ）、（ｃ）は、本発明に係るバーチャルスタジオシステムで用いるロボットカメラにおけるキャリブレーションの状態およびＸＹＺ座標空間での位置を模式的に示すと共に、ＣＧ映像のＣＧ映像の作成位置を模式的にそれぞれ示す模式図である。
【図５】本発明に係るバーチャルスタジオシステムでＣＧ合成映像を作成する流れを模式的に示す模式図である。
【図６】従来のバーチャルスタジオシステムの全体を模式的に示す模式図である。
【図７】従来のバーチャルスタジオシステムで使用されるロボットカメラの内部構造を模式的に示すブロック図である。
【図８】従来のバーチャルスタジオシステムでＣＧ合成映像を作成する流れを模式的に示す模式図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係るロボットカメラ及びバーチャルスタジオシステムについて、図面を参照して説明する。
図１に示すように、バーチャルスタジオシステム１０は、スタジオ内に配置され操作機１１により遠隔操作されるロボットカメラ１と、このロボットカメラ１からの映像とＣＧ映像を合成するＣＧ合成装置２０とを備えている。
ロボットカメラ１は、図１及び図２に示すように、操作機１１の遠隔操作によりスタジオ内を自在に移動すると共に、カメラ５を任意に操作して、被写体Ｈｓを撮影することができるものである。このロボットカメラ１は、ここでは、スタジオフロア上を車輪等により移動するフロア移動機構１ａで用いる各軸、及び、カメラ５で必要となるズーム、アイリス等の駆動機構の各軸を駆動する駆動モータ４ａ〜４ｎにより任意の方向にレンズ５ａを向けて被写体Ｈｓを撮影する。
【００２０】
図１に示すように、操作機１１は、操作者の操作によりロボットカメラ１を遠隔操作するものである。この操作機１１は、ロボットカメラ１の移動、ズーム、パン、チルト等の動作をハンドル等の操作により行っている。操作機１１で操作された操作機データは、ロボットカメラ１に送られる。なお、操作機１１からロボットカメラ１を移動させる操作も行うことができ、例えば、操作機１１の図示しないジョイスティックを操作することで、ロボットカメラ１の移動を操作している。例えば、操作機１１のジョイスティックの傾斜方向とオン時間と併せて、パン、チルト、ズーム等の情報が操作機データとしてロボットカメラ１に送られる。
【００２１】
図２に示すように、ロボットカメラ１は、ネットワーク部（ネットワーク手段）２と、演算部（演算手段）３と、駆動モータ部４と、カメラ５とを備えている。なお、ロボットカメラ１は、さらに、外部の入力手段７を介して遅延時間を設定する設定手段６を備えている。
【００２２】
ネットワーク部２は、操作機データ等の各データを送受信するためのものである。このネットワーク部２は、操作機データを受信する受信モジュール２ａと、カメラデータを送信する送信モジュール２ｂと、を備えている。なお、カメラ５で撮影した被写体Ｈｓ（図１参照）の映像は、ロボットカメラ１に接続されている接続ケーブル（図示せず）を介して送られている。
受信モジュール２ａは、操作機１１から送られて来るカメラの移動、パン、チルト、ズーム等に関するデータである操作機データを受信して演算部３に出力する。
送信モジュール２ｂは、演算部３から送られて来るカメラデータをＣＧ合成装置２０（図３参照）に送信するものである。
【００２３】
演算部３は、操作機データからカメラデータ及び指令データを算出して、カメラデータをネットワーク部２に送ると共に、指令データを予め設定される遅延時間だけ遅らせて駆動モータ部４に送るものである。この演算部３は、カメラ目標位置算出モジュール（カメラ目標位置算出手段）３ａと、データ遅延モジュール（データ遅延手段）３ｂと、モータ指令モジュール（モータ指令手段）３ｃとを備えている。
【００２４】
カメラ目標位置算出モジュール３ａは、ネットワーク部２の受信モジュール２ａから送られて来る操作機データを受け取り、予め設定されている算出手段によりカメラデータ及び指令データを算出するものである。このカメラ目標位置算出モジュール３ａは、入力する操作機データが各駆動モータ４ａ〜４ｎ別のデータであるので、その各駆動モータ４ａ〜４ｎ別のデータのそれぞれに予め設定されている係数を積算、加算等することや、あるいは、予め設定されている計算式に代入されること等により指令データを算出し、その指令データにより駆動する駆動モータ４ａ〜４ｎの移動した結果となるカメラデータを算出している。そして、カメラ目標位置算出モジュール３ａは、算出されたカメラデータをネットワーク部２の送信モジュール２ｂに送ると共に、算出された指令データを遅延データ遅延モジュール３ｂに送っている。指令データは、駆動モータ４ａ〜４ｎを実際に駆動させてカメラ目標位置にするためのデータである。また、カメラデータは、指令データにより駆動モータ４ａ〜４ｎを駆動させた結果におけるカメラ５のカメラ目標位置を示すデータである。つまり、指令データとカメラデータは、実質的に同じ内容を示したものである。
【００２５】
データ遅延モジュール３ｂは、カメラ目標位置算出モジュール３ａから指令データを受取り、予め設定された遅延時間において遅延させてモータ指令モジュール３ｃに指令データを送るものである。このデータ遅延モジュール３ｂは、設定手段６により外部から入力手段７を介して遅延時間が設定されるように構成されている。データ遅延モジュール３ｂは、操作機データの受信からロボットカメラ１が動作を開始するまでの時間と、ＣＧ映像Ｖｇの描画作成時間とを一致させるように遅延時間を、ここでは例えば、２フレーム分に相当するｎ２秒としている。データ遅延モジュール３ｂは、遅延時間が例示のｎ２秒であれば、その遅延時間だけカメラデータを保持した後にモータ指令モジュール３ｃに出力している。なお、この遅延時間は、予め設定されており、次のような動作により設定される。
【００２６】
はじめに、ロボットカメラ１のカメラ位置をキャリブレーションする。例えば、図１及び図４（ａ）に示すように、被写体Ｈｓのテーブルの正面板の模様である水平線と垂直線の中心をキャリブレーションの原点位置Ｐ０とし、その原点位置Ｐ０におけるロボットカメラの初期位置Ｍ０を特定して焦点が合うように調整しキャリブレーションを行うことで、原点位置Ｐ０及び、その原点位置Ｐ０におけるロボットカメラ１の初期位置Ｍ０を設定する。なお、キャリブレーションを行うときのロボットカメラ１の操作についても操作機１１の操作により行っている。次に、原点位置Ｐ０の付近にＣＧオブジェクト（図示せず）を配置し、ロボットカメラ１は、パン軸をすばやく左右に振る。遅延時間が正しく設定されていない場合には、表示モニタ３０で表示される実写とＣＧオブジェクトがずれるため、ずれが軽減する方に遅延時間を変更して調整する。この作業を繰り返すことで遅延時間を予め設定し、入力手段７から調整して入力されることで設定手段６により設定される。なお、実写とＣＧオブジェクトとがずれているか否かの判断は、作業者の目視により行われ、作業者の認識でずれていない状態となるレベルである。つまり、ここでの遅延時間を設定するロボットカメラ１では、作業者の目視による判断でずれがないと認識できるレベルで充分である。
【００２７】
図２に示すように、モータ指令モジュール３ｃは、データ遅延モジュール３ｂから指令データを受取り、駆動モータ部４に指令データを指令値として送るものである。このモータ指令モジュール３ｃは、駆動モータ部４の各駆動モータ４ａ〜４ｎに対してそれぞれの指令データ（例えば、電圧の値、電流の値等）を指令値として送っている。
【００２８】
駆動モータ部４は、モータ指令モジュール３ｃからの指令データである指令値を受け取り、各駆動軸に対応する駆動モータ４ａ〜４ｎを作動させる。この駆動モータ部４は、ロボットカメラ１が遠隔操作されて駆動するすべての駆動軸に対応する駆動モータ４ａ〜４ｎに指令データを伝達している。例えば、図２に示すように、駆動モータ４ｃは、カメラ５のズーム機構の駆動軸を示すものであり、レンズのズーム動作を行うときの駆動軸を動作させることを示している。このように駆動モータ４ａ〜４ｎは、パン、チルト、アイリスの絞り等、及び、フロアを移動するときに使用する車輪の駆動軸等、ロボットカメラ１が遠隔操作により駆動する駆動軸を、指令データに基づいて駆動モータ４ａ〜４ｎにより作動させる。
【００２９】
カメラ５は、被写体Ｈｓを撮影するものである。このカメラ５は、被写体Ｈｓを映すレンズ５ａと、レンズ５ａを介して受光する受光部５ｂ等を備えているテレビ映像用に使用されるカメラである。カメラ５で撮影された被写体Ｈｓの映像は、接続ケーブル（図示せず）を介して後記するＣＧ合成装置２０に送られる。
【００３０】
ロボットカメラ１は、以上説明したような構成を備えていることで、後記するＣＧ合成装置２０に、先に操作機データから算出されたカメラデータを送り、その後、所定の遅延時間を経た当該カメラデータに対応する映像を送るようにしているので、ＣＧ合成映像を作成するときに簡単なソフトウエアの交換により、カメラデータに基づいて作成されるＣＧ映像に対応する映像を送る時間をかせぐことができるようになる。つまり、ロボットカメラ１では、演算部３の部分（カメラ目標位置算出モジュール３ａ）がソフトウエアで構成されることになるので、その演算部３を従来の構成のものと取り替えることで、カメラデータと映像とを既に説明したように所定のタイミングで送り出すことが可能となる。
【００３１】
なお、ロボットカメラ１は、スタジオのフロア上を車輪等により移動する構成であるものとして説明したが、スタジオ内をクレーンや軌道レールで移動するタイプの構成であってもすでに説明した構成と同様に対応することが可能となる。
【００３２】
つぎに、図１及び図３を参照してＣＧ合成装置２０の構成について説明する。
ＣＧ合成装置２０は、送られて来たカメラデータ及び当該カメラデータに対応する映像を用いて、ＣＧ映像Ｖｇを合成したＣＧ合成映像Ｖを作成する装置である。このＣＧ合成装置２０は、カメラデータ入力手段２１と、撮影位置算出手段２２、位置記憶手段２３と、ＣＧ映像作成手段２４と、ＣＧデータ記憶手段２５と、映像入力手段２６と、合成映像作成手段２７と、出力手段２８と、を備えている。
【００３３】
カメラデータ入力手段２１は、ロボットカメラ１から送られて来るカメラデータを受取り、撮影位置算出手段２２に受け渡す。このカメラデータ入力手段２１は、ここではワイヤレスでカメラデータを受け取ることができる構成を備えている。
【００３４】
位置記憶手段２３は、予めＸＹＺ座標内のどの位置にＣＧ映像Ｖｇを作成するかのアドレス等の位置データが記憶されている。なお、位置記憶手段２３には図示しない入力手段によりＣＧ映像Ｖｇのアドレス等が入力できるように構成されている。また、位置記憶手段２３は、ロボットカメラ１が移動する例えばスタジオフロアの位置におけるＸＹＺ座標内において、ロボットカメラ１のキャリブレーションを行ったときの当該ロボットカメラ１の位置をカメラ初期位置Ｍ０（図４参照）あるいは、撮影がはじまってロボットカメラ１が移動したときのそれぞれの位置の情報を記憶する。
【００３５】
撮影位置算出手段２２は、受け取ったカメラデータに基づいて、位置記憶手段２３に記憶しているカメラ初期位置Ｍ０、及び、ＣＧ映像の作成位置からＸＹＺ座標内において、どの位置にロボットカメラ１が移動しズーム等どの状態で撮影されるかを演算し、その撮影される位置においてＸＹＺ座標内で指定されるＣＧ映像位置を特定する。つまり、撮影位置演算手段２２は、カメラデータに基づいて、仮想カメラの位置を演算し、その仮想カメラで撮影したときのＣＧ映像を作成する作成位置を演算している。例えば、図４（ａ）に示すように、撮影位置算出手段２２は、ロボットカメラ１のカメラ初期位置Ｍ０をＸＹＺ座標内において予めキャリブレーションを行い記憶している位置記憶手段２３から得ることができる。そのため、撮影位置算出手段２２は、送られて来たカメラデータに基づいて、ロボットカメラ１の各駆動モータを作動させた場合、図４（ａ）、（ｂ）に示すように、仮想線（図４（ａ）参照）で示すロボットカメラの位置（第１移動位置Ｍ１に相当：図４（ｂ）参照）に移動したときに、撮影ショットの種類、例えばズーム等で撮影するときの状態から、撮影されるフレーム内でのＣＧ映像の作成位置を算出することができる。
【００３６】
また、図３及び図４（ｂ）に示すように、撮影位置算出手段２２は、第１移動位置Ｍ１から次の指令データによりロボットカメラ１が所定位置（第２移動位置Ｍ２）に実際に移動してその位置で撮影されるフレーム内でのＣＧ映像Ｖｇの作成位置を算出する等、カメラ初期位置Ｍ０から指令データで移動した結果となるカメラデータにより次のカメラ目標位置におけるＣＧ映像位置を算出する。前記した例示のように、撮影位置算出手段２２では、ロボットカメラ１のカメラ初期位置Ｍ０を位置記憶手段２３から受け取り、そのカメラ初期位置Ｍ０からどれだけ移動してどの様なズーム状態等で撮影するかを示すカメラデータがあれば、ＣＧ映像位置は、ＸＹＺ座標内において特定することが可能となる。
【００３７】
ちなみに、図４（ｃ）の左側に示すように、第１移動位置Ｍ１で撮影される実写である映像での被写体Ｈｓ（図１参照）の状態は、演者の左側から机の後ろのボードがやや画面内から切れる状態となるバストショット映像であって、ボード上をＣＧ映像位置としていることになる。また、図４（ｃ）の右側に示すように、第２移動位置Ｍ２で撮影される被写体Ｈｓ（図１参照）の状態では、演者、机及びボードを正面から撮影する状態におけるボード上の位置をＣＧ映像位置としていることになる。なお、図４（ｃ）で示す被写体側の映像は、その映像におけるＣＧ映像位置を示すために模式的に記載しているので、算出する場合には、視認できる映像としては存在していないため仮想線として示している。
【００３８】
図３に示すように、撮影位置算出手段２２によりＣＧ映像位置が算出されると、その算出されたＣＧ映像位置に対応するＣＧ映像がＣＧ映像作成手段２４により作成される。このＣＧ映像作成手段２４は、ＣＧデータ記憶手段２５から予め設定されているＣＧデータを取得してカメラデータにより位置が特定されたＣＧ映像位置に対応するＣＧ映像Ｖｇを作成している。例えば、取得したＣＧデータが正面を向いている２次元のウサギのバストショットとなる基準映像であって、ＣＧ映像位置が右斜め４５度からなるボード上で所定の割合でズームされている場合には、基準映像に対してＣＧ映像位置における投影変換を行ってＣＧ映像位置にＣＧ映像を作製している。ＣＧ映像作成手段２４で作成されたＣＧ映像Ｖｇは、合成映像作成手段２７に出力される。
【００３９】
映像入力手段２６は、ロボットカメラ１から送られて来た映像を入力して合成映像作成手段２７に出力する。この映像入力手段２６で受け取る映像は、ロボットカメラ１のデータ遅延モジュール３ｂで、当該映像に対応する指令データ（指令データより駆動させた結果となるカメラデータと同等）が、所定の遅延時間において遅らせた状態により被写体Ｈｓを撮影したものである。
合成映像作成手段２７は、ＣＧ映像作成手段２４から送られて来たＣＧ映像Ｖｇと、映像入力手段２６から送られて来た映像とを合成する。この合成映像作成手段２７で合成して作成されたＣＧ合成映像Ｖは、出力手段２８に送られ、その出力手段２８から出力される。
【００４０】
ＣＧ合成装置２０は、以上のように構成されているので、映像に対応するカメラデータを、その映像よりも早く受取り、そのカメラデータによりＣＧ映像位置を算出して、算出したＣＧ映像位置に対応するＣＧ映像Ｖｇを作成する。そして、ＣＧ合成装置２０は、カメラデータに対応する指令データにより撮影のタイミングを予め設定された遅延時間だけ遅らせて撮影した映像をロボットカメラ側から受取り、映像とＣＧ映像Ｖｇを合成してＣＧ合成映像Ｖを作成している。そのため、ＣＧ合成装置２０において、リップシンクのずれが発生せず映像と音声の調整をする必要がない状態となる。
【００４１】
次に、図１〜図４を適宜用いて、図５を主に参照して、バーチャルスタジオシステム１０のロボットカメラ１及びＣＧ合成装置２０の動作を説明する。
はじめに、図１に示すように、ロボットカメラ１は、キャリブレーションを行い、実写の映像とＣＧ映像とを一致させる。このキャリブレーションは次のような動作により行う。実際に撮影するスタジオ等のフロア上におけるＸＹＺ座標での原点位置Ｐ０（図４（ａ）参照）を設定する。キャリブレーションを行う場合には、図４（ｃ）に示すように、例えば、被写体Ｈｓの中のテーブルにおける水平線と垂直線で示される模様の中心（図４（ｃ）参照）をキャリブレーションの原点位置Ｐ０とし、その原点位置Ｐ０を撮影したロボットカメラ１の位置をカメラ初期位置Ｍ０として設定して、位置記憶手段２３に記憶させる。なお、ロボットカメラ１は、原点位置Ｐ０が撮影できる位置であればどこでも構わない。
【００４２】
次に、原点位置Ｐ０の付近に予め準備したＣＧオブジェクトを配置し、ロボットカメラ１は、操作機１１の操作によりパン軸をすばやく左右に振ることで、ＣＧオブジェクトと実写となる映像とのずれがないかを表示モニタ３０を見ながら作業者の目視で判断する。ＣＧオブジェクトが映像からずれる場合には、遅延時間が正しく設定されていないことになり、ずれが軽減する方に遅延時間を変更して調整する。この作業を繰り返すことで遅延時間を予め設定し、入力手段７から調整して入力されることで設定手段６によりロボットカメラ１の遅延時間が設定される。
【００４３】
ロボットカメラ１のデータ遅延モジュール３ｂの遅延時間が設定されると、実際のバーチャルスタジオ撮影の準備が整う。なお、バーチャルスタジオ撮影は、図１に示すように、演者が机の横に立ち、机の後ろのボード上にウサギとロボットのＣＧデータであるＣＧ映像Ｖｇを合成したＣＧ合成映像Ｖにおいて、演者とＣＧデータとが会話するバーチャル番組を一例として説明する。また、ロボットカメラ１は、図示しない他のカメラ（ロボットカメラ等）を省略し、はじめにカメラ初期位置Ｍ０から第１移動位置Ｍ１に移動する状態を一例として説明する。
【００４４】
まず、番組がスタートするとカメラマン（操作者）は、操作機１１を介してロボットカメラ１を遠隔操作して、ロボットカメラ１をカメラ初期位置Ｍ０から被写体Ｈｓを撮影して第１移動位置Ｍ１に移動させることとする。なお、ロボットカメラ１の位置の移動は、操作機１１の図示しないジョイスティック等の操作により例えば、図４（ｂ）に示すように、カメラ初期位置Ｍ０から斜め左前方の位置である第１移動位置Ｍ１に移動させることとする。そして、移動中は、操作機１１のハンドルを操作することで、被写体（演者）Ｈｓにカメラを向けて、第１移動位置に到来したら、操作機１１の操作によりズームを行い、バストショットを撮影する（図４（ｃ）の左側の状態）こととする。さらに図４（ｂ）に示すように、操作機１１の操作により第１移動位置Ｍ１から右斜め横となる第２移動位置Ｍ２に移動させ被写体（演者）Ｈｓの全身が映るショットとする場合（図４（ｃ）の右側の状態）であるとする。
【００４５】
ロボットカメラ１は、撮影がはじまると、図２及び図５で示すように、操作機データをネットワーク部２で受け取り、演算部３のカメラ目標位置算出モジュール３ａで指令データを演算し、その指令データにより駆動モータが移動した結果のカメラ目標位置となるカメラデータを算出する。そして、ロボットカメラ１は、ネットワーク部２を介してカメラデータをＣＧ合成装置２０に送ると共に、データ遅延モジュール３ｂに指令データを出力する。さらに、ロボットカメラ１は、データ遅延モジュール３ｂにおいて予め設定されている遅延時間となるｎ２秒だけ指令データを遅延させてモータ指令モジュール３ｃを介して駆動モータ部４の各駆動モータ４ａ〜４ｎを作動させて実写となる被写体Ｈｓを撮影する。ロボットカメラ１は、カメラデータに対応するｎ２秒だけ遅延させた映像をＣＧ合成装置２０に出力することになる。
【００４６】
ここで、ロボットカメラ１を第１移動位置Ｍ１に移動する場合、操作機１１を操作する操作者は、はじめに、移動させる動作を行い、第１移動位置Ｍ１にロボットカメラ１が被写体Ｈｓに向きながら移動して配置された後に、ズームを行わせ被写体Ｈｓのバストショットを撮影できる状態としている。つまり、ロボットカメラ１が移動するときは、常に、ｎ２秒だけ指令データにより遅れた状態となり移動することになる。また、ロボットカメラ１が移動すれば、その移動によりカメラパラメータが送られることで、ＸＹＺ座標上におけるロボットカメラ１の位置が仮想カメラの位置としてＣＧ合成装置２０ｄでは、演算することができる状態となる。
【００４７】
そして、第１移動位置Ｍ１に移動した後に、ズームされると、そのズームするための指令データもｎ２秒だけ遅れた状態で操作され、そのときのカメラデータは、ＣＧ合成装置２０に送られて仮想カメラの状態が演算されてカメラ目標位置がＣＧ合成装置２０で分かる状態となっている。また、第１移動位置Ｍ１から第２移動位置Ｍ２に移動するときにも、前記したようにロボットカメラ１とＣＧ合成装置２０とが動作することになる。
なお、操作機１１からの操作機データとして移動のデータと、ズームのデータとが同時に送られていった場合、ロボットカメラ１は、移動しながらズームを行うことになるが、常に、操作機１１で操作した手順によりｎ２秒遅れた状態で、動作することになる。つまり、ロボットカメラ１は、操作機１１による操作において、常に、ｎ２秒遅れて動作することとなる。また、ここでは、ロボットカメラ１が移動する場合には、例えば、操作機１１のジョイスティック（図示せず）のオンとなる状態の倒す方向でロボットカメラ１の移動方向が決まり、そのジョイスティックをオンにした時間により移動距離が決まるように設定されている。したがって、操作機１１からの操作する場合の移動に対応する情報が、パン、チルト、ズームの情報と共に、操作機データとしてロボットカメラ１に送られている。
【００４８】
ＣＧ合成装置２０は、カメラデータをカメラデータ入力手段２１により受取り、撮影位置算出手段２２により位置記憶手段２３に記憶されているカメラ初期位置Ｍ０、ＣＧ映像位置及び、受け取ったカメラデータを使用して、そのカメラデータに対応する映像におけるＣＧ映像の作成位置を算出する。そして、ＣＧ合成装置２０は、算出されたＣＧ映像位置に対応するように、ＣＧ映像作成手段２４によりＣＧデータ記憶手段２５から取得したＣＧデータに基づいて、ＣＧ映像Ｖｇ（図１参照）を投影変換等により作成する。なお、当該カメラデータに対応する映像は、ｎ２秒だけ遅延してＣＧ合成装置２０の映像入力手段２６により受け取られる。
【００４９】
そして、ＣＧ合成装置２０は、作成したＣＧ映像Ｖｇと、当該カメラデータに対応してｎ２秒だけ遅延した状態で受け取った映像とを合成して、ＣＧ合成映像Ｖを作成して出力手段２８を介して出力している。なお、ここでは、ＣＧ合成装置２０がＣＧ合成映像Ｖを作成する場合は、ロボットカメラ１で撮影された全ての映像について行うこととして説明した。つまり、例示した図４（ｂ）においては、第１移動位置Ｍ１にカメラ初期位置Ｍ０から移動するとき、及び、第１移動位置Ｍ１から第２移動位置Ｍ２に移動するとき、常にＣＧ合成映像Ｖが作成され出力されている。そのため、ここでは、カメラデータは、映像周波数の６０Ｈｚと同じタイミングでロボットカメラ１からＣＧ装置２０に送られている。出力されたＣＧ合成映像Ｖは、例えば、図１に示すように、表示モニタ３０に表示したときに、リップシンクのずれなどの違和感がないため、ロボットカメラ１によるショットを制限されることがない。また、このＣＧ合成装置２０は、ＣＧ合成映像Ｖを作成して出力する作業が、ロボットカメラ１においてカメラデータに対応する指令データにより撮影のタイミングを予め設定された遅延時間だけ遅らせて撮影した映像を使用しているので、追加機材を必要としない。
【００５０】
このように、ロボットカメラ１、及び、そのロボットカメラ１とＣＧ合成装置２０とを備えるバーチャルスタジオシステム１０では、ロボットカメラ１側において、演算部３の構成をソフトウエアとしたときに、そのソフトウエアを取り替えることで、操作機等に追加機材を必要せず、ＣＧ合成装置２０側にロボットカメラ１のカメラ初期位置Ｍ０等の位置データを予め記憶しておくことで、映像よりも先にカメラデータが来たときに、ＣＧ映像Ｖｇの位置が算出でき、ＣＧ合成映像Ｖをスムーズに作成でき、リップシンクのずれが発生することがない。
【００５１】
なお、ＣＧ合成装置２０で作成されるＣＧ映像Ｖｇは、投影変換を一例として示したが、その他の手法により行ってもよく、特に限定されるものではない。また、ＣＧ映像Ｖｇと映像とを合成する場合についても、一般的な手法により合成することができるものであれば、特に限定されるものではない。
また、ＣＧ合成装置２０は、ＣＧ映像の作成と、ＣＧ映像と実写映像との合成とを一台の装置で処理するように説明したが、図３で示す中央の仮想線の位置でそれぞれの装置として構成しても構わない。
【符号の説明】
【００５２】
１ ロボットカメラ
１ａ フロア移動機構
２ ネットワーク部
２ａ 受信モジュール
２ｂ 送信モジュール
３ 演算部
３ａ カメラ目標位置算出モジュール（カメラ目標位置算出手段）
３ｂ データ遅延モジュール（データ遅延手段）
３ｃ モータ指令モジュール（モータ指令手段）
４ 駆動モータ部
４ａ〜４ｎ 駆動モータ
５ カメラ
５ａ レンズ
５ｂ 受光部
６ 設定手段
７ 入力手段
１０ バーチャルスタジオシステム
１１ 操作機
２０ ＣＧ合成装置
２１ カメラデータ入力手段
２２ 撮影位置算出手段
２３ 位置記憶手段
２４ ＣＧ映像作成手段
２５ ＣＧデータ記憶手段
２６ 映像入力手段
２７ 合成映像作成手段
２８ 出力手段
３０ 表示モニタ
Ｈｓ 被写体
Ｍ１ 第１移動位置
Ｍ２ 第２移動位置
Ｐ０ 原点位置
Ｍ１ カメラ初期位置
Ｖ ＣＧ合成映像
Ｖｇ ＣＧ映像
【特許請求の範囲】
【請求項１】
駆動モータにより駆動可能なカメラ及びフロア移動機構を備え、被写体を前記カメラで撮影した実写の映像にＣＧ合成装置によりＣＧ映像を合成したＣＧ合成映像を作成する際に使用され、操作機の操作機データから算出したカメラデータにより前記駆動モータの遠隔操作が行われて撮影するロボットカメラであって、
前記操作機からの操作機データを入力すると共に、前記カメラデータを前記ＣＧ合成装置に出力するネットワーク手段と、
このネットワーク手段により受け取った前記操作機データから前記駆動モータの指令値となる指令データ、及び、その指令データにより前記駆動モータの移動した結果となる前記カメラデータを算出すると共に、算出した前記カメラデータを前記ネットワーク手段に送るカメラ目標位置算出手段と、
このカメラ目標位置算出手段により算出された前記指令データを予め設定された遅延時間だけ保持して前記ＣＧ合成装置に前記カメラデータを出力する時間よりも遅らせるデータ遅延手段と、
このデータ遅延手段により遅延させた前記指令データにより前記駆動モータを作動させ前記カメラをカメラ目標位置となるようにするモータ指令手段と、
を備えることを特徴とするロボットカメラ。
【請求項２】
前記データ遅延手段は、前記遅延時間を予め設定する設定手段を備え、
前記設定手段は、外部に設置される入力手段からの入力により前記遅延時間を設定することを特徴とする請求項１に記載のロボットカメラ。
【請求項３】
請求項１又は請求項２に記載のロボットカメラと、このロボットカメラにより被写体を撮影した映像にＣＧ映像を合成するＣＧ合成装置とを備えるバーチャルスタジオシステムにおいて、
前記ＣＧ合成装置は、前記被写体を撮影するフロア位置の座標上における前記ロボットカメラのカメラ初期位置及びＣＧ映像の作成位置を予め記憶する位置記憶手段と、
前記ロボットカメラで算出されたカメラデータを入力するカメラデータ入力手段と、
入力した前記カメラデータに基づいて前記位置記憶手段に記憶されている前記カメラ初期位置及び前記作成位置から、前記ロボットカメラの駆動モータが作動して前記カメラのカメラ目標位置におけるＣＧ映像の作成位置を算出する撮影位置算出手段と、
算出した前記ＣＧ映像の作成位置に対応したＣＧ映像を作成するＣＧ映像作成手段と、
前記ロボットカメラで予め設定した前記遅延時間だけ遅延させて撮影した映像を入力する映像入力手段と、
前記ＣＧ映像作成手段で作成したＣＧ映像と、前記映像入力手段で入力した映像とを合成してＣＧ合成映像を作成する合成映像作成手段と、
この合成映像作成手段で作成したＣＧ合成映像を出力する出力手段と
を備えることを特徴とするバーチャルスタジオシステム。
【請求項１】
駆動モータにより駆動可能なカメラ及びフロア移動機構を備え、被写体を前記カメラで撮影した実写の映像にＣＧ合成装置によりＣＧ映像を合成したＣＧ合成映像を作成する際に使用され、操作機の操作機データから算出したカメラデータにより前記駆動モータの遠隔操作が行われて撮影するロボットカメラであって、
前記操作機からの操作機データを入力すると共に、前記カメラデータを前記ＣＧ合成装置に出力するネットワーク手段と、
このネットワーク手段により受け取った前記操作機データから前記駆動モータの指令値となる指令データ、及び、その指令データにより前記駆動モータの移動した結果となる前記カメラデータを算出すると共に、算出した前記カメラデータを前記ネットワーク手段に送るカメラ目標位置算出手段と、
このカメラ目標位置算出手段により算出された前記指令データを予め設定された遅延時間だけ保持して前記ＣＧ合成装置に前記カメラデータを出力する時間よりも遅らせるデータ遅延手段と、
このデータ遅延手段により遅延させた前記指令データにより前記駆動モータを作動させ前記カメラをカメラ目標位置となるようにするモータ指令手段と、
を備えることを特徴とするロボットカメラ。
【請求項２】
前記データ遅延手段は、前記遅延時間を予め設定する設定手段を備え、
前記設定手段は、外部に設置される入力手段からの入力により前記遅延時間を設定することを特徴とする請求項１に記載のロボットカメラ。
【請求項３】
請求項１又は請求項２に記載のロボットカメラと、このロボットカメラにより被写体を撮影した映像にＣＧ映像を合成するＣＧ合成装置とを備えるバーチャルスタジオシステムにおいて、
前記ＣＧ合成装置は、前記被写体を撮影するフロア位置の座標上における前記ロボットカメラのカメラ初期位置及びＣＧ映像の作成位置を予め記憶する位置記憶手段と、
前記ロボットカメラで算出されたカメラデータを入力するカメラデータ入力手段と、
入力した前記カメラデータに基づいて前記位置記憶手段に記憶されている前記カメラ初期位置及び前記作成位置から、前記ロボットカメラの駆動モータが作動して前記カメラのカメラ目標位置におけるＣＧ映像の作成位置を算出する撮影位置算出手段と、
算出した前記ＣＧ映像の作成位置に対応したＣＧ映像を作成するＣＧ映像作成手段と、
前記ロボットカメラで予め設定した前記遅延時間だけ遅延させて撮影した映像を入力する映像入力手段と、
前記ＣＧ映像作成手段で作成したＣＧ映像と、前記映像入力手段で入力した映像とを合成してＣＧ合成映像を作成する合成映像作成手段と、
この合成映像作成手段で作成したＣＧ合成映像を出力する出力手段と
を備えることを特徴とするバーチャルスタジオシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１２４６３４（Ｐ２０１１−１２４６３４Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２００９−２７８４７３（Ｐ２００９−２７８４７３）
【出願日】平成２１年１２月８日（２００９．１２．８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２１年１２月８日（２００９．１２．８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]