説明

画像処理装置、画像処理方法、及びプログラム

【課題】ユーザの操作に応じて容易にCG素材の内容を変更する。
【解決手段】作業メモリ87aには、CG素材を編集可能な保存形式であるCG記述データが、画像の生成に使用するために展開されており、制御部81は、作業メモリ87aの内容への制御を記述した情報を表す派生情報に従って、作業メモリ87aの一部への書き込み動作を制御し、画像生成部87は、作業メモリ87aの内容に基づいて、CG画像を生成する。本発明は、例えばCG画像を生成するコンピュータに適用できる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、3次元コンピュータグラフィックスによる画像合成を扱う場合に好適な画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
例えば、CG(Computer Graphics)画像を合成する合成技術が存在する(例えば特許文献1乃至5を参照)。
【0003】
この合成技術では、例えば、CG製作者により作成された複数のCG素材をレンダリングして得られる、例えばMPEG(Moving Picture Experts Group)形式のCG画像を、サーバに予め保持させておく。そして、サーバに保持されている複数のCG画像のうち、ユーザの選択操作により選択されたCG画像を、合成の対象とされた合成対象画像(例えば、スタジオのカメラでアナウンサを撮像して得られる画像)に合成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2002−369076号公報
【特許文献2】特開2002−13874号公報
【特許文献3】特開2002−83316号公報
【特許文献4】特開2005−251161号公報
【特許文献5】特開2009−187586号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術では、サーバに予め保持されているCG画像を一部変更した上で用いたい場合には、CG製作者にCG画像を構成するCG素材を一部変更させ、一部変更後のCG素材をレンダリングして得られる新たなCG画像をサーバに保持させた後でなければ、一部変更後のCG画像を合成に用いることはできなかった。
【0006】
このため、僅かな変更を施して、僅かに異なるCG画像を多数使用したい場合には、レンダリングにより、僅かに異なるCG画像を生成してサーバに保持させる必要があり、多大な労力を要していた。
【0007】
また、この場合、僅かに異なるCG画像をすべて保持させる必要があるため、サーバの容量を大量に使用することとなっていた。
【0008】
さらに、僅かな変更を施して、僅かに異なるCG画像を多数使用したい場合には、多数のCG素材を管理しにくいため、実質的に、使用するCG素材が制限されてしまっていた。
【0009】
本発明は、このような状況に鑑みてなされたものであり、CG素材を使用する際に、ユーザの操作に応じて容易にCG素材の内容を変更できるようにするものである。また、本発明は、使用するCG素材の一部変更を管理しやすくするものである。
【課題を解決するための手段】
【0010】
本発明の一側面の画像処理装置は、CG(Computer Graphics)素材を編集可能な保存形式であるCG記述データが、画像の生成に使用するために展開される作業用記憶手段と、前記作業用記憶手段の内容への制御を記述した情報を表す派生情報に従って、前記作業用記憶手段の一部への書き込み動作を制御する更新制御手段と、前記作業用記憶手段の内容に基づいて、CG画像を生成する画像生成手段とを含む画像処理装置である。
【0011】
前記派生情報には、前記CG記述データに含まれる複数のパラメータのうちのいずれか1つ以上を調整対象パラメータとして指定するパラメータ指定情報が含ませるようにすることができ、前記更新制御手段では、前記作業用記憶手段に展開されている前記CG記述データに含まれる前記調整対象パラメータが、ユーザの調整操作に応じた値となるように、前記作業用記憶手段の一部への書き込み動作を制御するようにすることができる。
【0012】
前記派生情報には、前記CG記述データに含まれる複数のパラメータのうちのいずれかを所定の値に調整させることを指示するパラメータ値指示情報が含ませるようにすることができ、前記更新制御手段では、さらに、前記パラメータ値指示情報に従って、対応するパラメータが、前記所定の値となるように、前記作業用記憶手段の一部への書き込み動作を制御するようにすることができる。
【0013】
ユーザにより操作される複数のパラメータ操作手段をさらに設けることができ、前記パラメータ指定情報には、前記複数の操作手段のうち、前記調整対象パラメータを調整するためのパラメータ操作手段も指定するようにすることができ、前記更新制御手段では、前記パラメータ指定情報により指定された前記パラメータ操作手段に対して前記ユーザの調整操作が行われたことに対応して、前記調整対象パラメータが、前記ユーザの調整操作に応じた値となるように、前記作業用記憶手段の一部への書き込み動作を制御するようにすることができる。
【0014】
前記更新制御手段では、前記調整対象パラメータが、保持されている前記ユーザの調整操作により以前に調整された複数の値のうち、前記ユーザの指示操作により指示された値となるように、前記作業用記憶手段の一部への書き込み動作を制御するようにすることができる。
【0015】
前記更新制御手段では、前記ユーザの初期化操作に応じて、前記調整対象パラメータが、調整前の前記CG記述データに含まれていた前記調整対象パラメータとなるように、前記作業用記憶手段の一部への書き込み動作を制御するようにすることができる。
【0016】
前記派生情報を保持する派生情報保持手段と、前記ユーザの更新操作に応じて、前記派生情報に含まれる前記パラメータ値指示情報を更新する更新手段とをさらに設けることができ、前記派生情報保持手段では、更新後の前記パラメータ値指示情報を含む前記派生情報を保持するようにすることができる。
【0017】
1又は複数の前記CG記述データを予め保持するCG記述データ保持手段と、1又は複数の前記CG記述データのうち、前記派生情報保持手段から読み出された前記派生情報に対応するCG記述データを読み出す読み出し手段と、前記CG記述データ保持手段から読み出された前記CG記述データに含まれる前記複数のパラメータのうち、前記派生情報保持手段から読み出された前記派生情報に含まれる前記パラメータ指定情報より指定されるパラメータを前記調整対象パラメータとして設定する設定手段とをさらに設けることができる。
【0018】
前記派生情報には、対応するCG記述データを識別するための識別情報が含ませるようにすることができ、前記読み出し手段では、前記派生情報保持手段から読み出された前記派生情報に含まれる前記識別情報により識別されるCG記述データを読み出すようにすることができる。
【0019】
前記派生情報と、対応する前記CG記述データを対応付けるリンク情報を予め保持するリンク情報保持手段をさらに設けることができ、前記読み出し手段では、前記リンク情報に基づいて、前記派生情報保持手段から読み出された前記派生情報に対応するCG記述データを読み出すようにすることができる。
【0020】
前記読み出し手段では、前記派生情報保持手段から読み出された前記派生情報に対応するCG記述データとして、前記ユーザの選択操作により選択されたCG記述データを読み出すようにすることができる。
【0021】
本発明の一側面の画像処理方法は、CG(Computer Graphics)画像を生成する画像処理装置の画像処理方法であって、前記画像処理装置は、作業用記憶手段と、更新制御手段と、画像生成手段とを含み、前記更新制御手段が、CG素材を編集可能な保存形式であるCG記述データが、画像の生成に使用するために展開される作業用記憶手段の内容への制御を記述した情報を表す派生情報に従って、前記作業用記憶手段の一部への書き込み動作を制御し、前記画像生成手段が、前記作業用記憶手段の内容に基づいて、CG画像を生成するステップを含む画像処理方法である。
【0022】
本発明の一側面のプログラムは、コンピュータを、CG(Computer Graphics)素材を編集可能な保存形式であるCG記述データが、画像の生成に使用するために展開される作業用記憶手段の内容への制御を記述した情報を表す派生情報に従って、前記作業用記憶手段の一部への書き込み動作を制御する更新制御手段と、前記作業用記憶手段の内容に基づいて、CG画像を生成する画像生成手段として機能させるためのプログラムである。
【0023】
本発明の一側面によれば、CG素材を編集可能な保存形式であるCG記述データが、画像の生成に使用するために展開される作業用記憶手段の内容への制御を記述した情報を表す派生情報に従って、前記作業用記憶手段の一部への書き込み動作が制御され、前記作業用記憶手段の内容に基づいて、CG画像が生成される。
【発明の効果】
【0024】
本発明によれば、CG素材を使用する際に、ユーザの操作に応じて容易にCG素材の内容を変更できるようにすることが可能となる。また、本発明によれば、使用するCG素材の一部変更を管理しやすくすることが可能となる。
【図面の簡単な説明】
【0025】
【図1】本発明を適用したCG合成システムの構成例を示す第1のブロック図である。
【図2】操作卓を上面から見た場合の一例を示す上面図である。
【図3】操作卓の表示画面の一例を示す図である。
【図4】CG画像生成装置の構成を示す第1のブロック図である。
【図5】CG画像生成装置が行うCGパラメータ調整処理を説明するためのフローチャートである。
【図6】CG画像生成装置の構成を示す第2のブロック図である。
【図7】本発明を適用したCG合成システムの構成例を示す第2のブロック図である。
【図8】CG画像生成装置の構成例を示す第3のブロック図である。
【図9】スイッチャの構成例を示すブロック図である。
【図10】CG画像生成装置が行う、テクスチャマッピングを伴うCGパラメータ調整処理を説明するためのフローチャートである。
【図11】CG合成システムの構成例を示す第3のブロック図である。
【図12】CG合成システムのソフトウェア構成例を示すブロック図である。
【図13】CG記述データの一例を示す第1の図である。
【図14】CG記述データの一例を示す第2の図である。
【図15】CG記述データの一例を示す第3の図である。
【図16】CG記述データの一例を示す第4の図である。
【図17】CG記述データの一例を示す第5の図である。
【図18】CG記述データの一例を示す第6の図である。
【図19】CG記述データの一例を示す第7の図である。
【図20】CG記述データの一例を示す第8の図である。
【図21】CG記述データの一例を示す第9の図である。
【図22】CG記述データの一例を示す第10の図である。
【図23】派生情報の一例を示す第1の図である。
【図24】派生情報の一例を示す第2の図である。
【図25】派生情報の一例を示す第3の図である。
【図26】派生情報の一例を示す第4の図である。
【図27】派生情報の一例を示す第5の図である。
【図28】派生情報の一例を示す第6の図である。
【図29】本発明に関連した用語の一覧を示す第1の図である。
【図30】本発明に関連した用語の一覧を示す第2の図である。
【図31】本発明に関連した用語の一覧を示す第3の図である。
【図32】本発明に関連した用語の一覧を示す第4の図である。
【図33】本発明に関連した用語の一覧を示す第5の図である。
【図34】本発明に関連した用語の一覧を示す第6の図である。
【図35】本発明に関連した用語の一覧を示す第7の図である。
【図36】本発明に関連した用語の一覧を示す第8の図である。
【図37】本発明に関連した用語の一覧を示す第9の図である。
【図38】本発明に関連した用語の一覧を示す第10の図である。
【図39】本発明に関連した用語の一覧を示す第11の図である。
【図40】本発明に関連した用語の一覧を示す第12の図である。
【図41】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【0026】
以下、発明を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1. 第1の実施の形態(パラメータを調整する場合の一例)
2. 第2の実施の形態(テクスチャマッピングを伴ってパラメータを調整する場合の一例)
3. 変形例
【0027】
<1.第1の実施の形態>
[CG合成システム1の構成例]
図1は、本発明を適用したCG合成システム1の構成例を示している。
【0028】
このCG合成システム1は、操作卓21、CG画像生成装置22、及び画像合成装置23により構成される。
【0029】
操作卓21は、CG画像を加工する際に用いられる調整つまみ及びジョイスティック等により構成されており、ユーザにより操作される。操作卓21は、ユーザにより操作されたことに対応して、ユーザの操作に対応する操作信号を生成し、CG画像生成装置22に供給する。
【0030】
また、操作卓21は、ユーザにより操作されたことに対応して、ユーザの操作に対応する操作信号を生成し、画像合成装置23に供給する。なお、操作卓21の詳細は、図2及び図3を参照して後述する。
【0031】
CG画像生成装置22は、作業メモリ(図4の作業メモリ87a)を内蔵し、その作業メモリ上にCG記述データに相当するデータを展開して保持し、操作卓21からの操作信号に応じて、作業メモリ上に展開されたデータの内容を加工する。具体的には、例えば、CG画像生成装置22は、操作卓21からの操作信号に応じて、CG画像を生成する際に用いられるCG記述データに含まれていたパラメータを変更することにより、生成するCG画像を変化又は修飾する。
【0032】
ここで、CG記述データとは、CG記述データが表すCG素材を編集可能な形式により記述されているデータを表す。
【0033】
なお、CG記述データには、CG画像を生成するために必要な複数のパラメータが記述されている(含まれている)。具体的には、例えば、CG記述データには、CGを構成するポリゴンの幾何学情報(頂点座標値群)、ポリゴン表面の色等の属性を表すマテリアル情報、ポリゴン表面にマッピング(貼付)される画像を表すテクスチャを指示するテクスチャマッピング対象指示パラメータ、ポリゴンが配置される位置を表す位置パラメータ、仮想ライトの属性と位置、仮想カメラの属性と位置、タイムラインアニメーションを構成する情報等が含まれる。
【0034】
また、例えば、CG画像生成装置22は、パラメータを調整後のCG記述データに相当する、作業メモリの内容に基づいて、パラメータが調整(変更)されたCG画像を生成し、画像合成装置23に供給する。
【0035】
このCG画像生成装置22のCG画像生成動作は、画像が動画像である場合、動画像のフレーム又はフィールド毎に、作業メモリの内容を参照し、参照した作業メモリの内容に応じたCG画像のフレーム又はフィールドを生成する。
【0036】
したがって、パラメータの調整が毎フレーム又は毎フィールドである場合は、生成されるCG画像の内容は、フレーム毎又はフィールド毎に変化していく。
【0037】
画像合成装置23には、CG画像生成装置22からのCG画像の他、合成する対象である合成対象画像が供給される。画像合成装置23は、供給される合成対象画像に対して、CG画像生成装置22からのCG画像を合成し、その合成により得られる合成画像を出力する。
【0038】
すなわち、例えば、画像合成装置23には、合成対象画像として、スタジオのカメラでアナウンサを撮像して得られる撮像画像が供給される。そして、画像合成装置23は、合成対象画像としての撮像画像と、CG画像生成装置22からのCG画像をスーパーインポーズやワイプ等の技術によって合成し、その結果得られる合成画像を出力する。
【0039】
CG画像生成装置22が生成するCG画像は、CG画像生成装置22が内蔵する作業メモリに保持された内容の更新に伴い、動画像を構成するフレーム毎又はフィールド毎に変化していく。このため、例えば、ユーザ(操作者)が、合成対象画像の内容を確認しながら、操作卓21の操作を行うことにより、常に状況に応じたCG画像を、CG画像生成装置22に生成させ、画像合成装置23により合成させることができる。
【0040】
また、動画像を構成するフレーム毎又はフィールド毎に、CG画像が更新されることにより、連続的な滑らかな変化を実現し、CG画像が合成された動画像を見る者に不自然さのない印象を与えることができる。
【0041】
[操作卓21の詳細]
次に、図2及び図3を参照して、操作卓21の詳細について説明する。
【0042】
図2は、操作卓21を上面から見た上面図を示している。
【0043】
操作卓21は、例えば、図2に示されるように、メニュー画面を表示させる等の操作を行うための操作ボタン41の他、CG画像生成装置22の状態パラメータ等、及び画像合成装置23の状態パラメータ等を表示する表示部42、CGの調整対象パラメータ等を調整するための調整つまみ43a乃至43e、及び各種の位置パラメータ等を調整するためのジョイスティック44により構成されている。
【0044】
なお、以下の説明において、調整つまみ43a乃至43eを、それぞれ、区別する必要がない場合には、調整つまみ43a乃至43eを、単に、調整つまみ43という。
【0045】
図3は、操作卓21の表示部42に表示される表示画面の一例を示している。
【0046】
図3に示されるように、表示部42の表示画面において、領域61a乃至61eには、それぞれ、調整つまみ43a乃至43eそれぞれにより調整されるパラメータの値が表示されている。
【0047】
また、表示部42の表示画面には、その他、表示中のメニューのページ番号を表すメニューページ番号、表示中のメニューのタイトルを表すメニュータイトル、キーフレームタイムラインのステータスを表すキーフレームステータス、ステータスを表示するステータスエリア等が表示されている。
【0048】
さらに、表示部42の表示画面には、左矢印ボタン、右矢印ボタン、VFボタン、パラメータグループボタン、デフォルトリコールボタン、HFボタン、プレビアスページボタンの他、各種の機能を実行させるためのボタンが配置された機能ボタンエリアが表示される。
【0049】
なお、VFボタン及びHFボタンは、いわゆるファンクションキーと同様のものであり、様々な機能を有するボタンとなる。また、VFのVはVerticalの略であり、HFのHはHorizontalの略である。VFボタン及びHFボタンを操作することにより、機能ボタンエリアや調整つまみ43a乃至43eに割り当てられる機能が変化する。
【0050】
なお、表示部42の表示画面に表示されたボタンは、タッチパネルとして、ユーザにより操作される。
【0051】
また、操作卓21には、時間と共に変化するCGであるCGアニメーション等を進行(再生)させる際の進行速度(再生速度)を制御するサーチダイヤル(ジョグシャトル)を設けることができる。なお、サーチダイヤルにより進行されるCGアニメーション等は、例えばCG画像生成装置22に接続される図示せぬモニタ等に表示される。
【0052】
サーチダイヤルの機能を説明する。操作卓21において、サーチダイヤルを回転させると、回転の方向に対応して、再生される方向が変化する。また、サーチダイヤルの初期位置から回転させたときの回転角度に対応して、再生の速度が変化する。
【0053】
なお、操作卓21において、サーチダイヤルを使用する場合には、例えば、複数の操作ボタン41に含まれる、使用するサーチダイヤルに対応する「ENBL」ボタンを押下して、「ENBL」ボタンを点灯させた状態とする必要がある。
【0054】
また、サーチダイヤルの動作モードとしては、例えば、ジョグモード、シャトルモード、及びバリアブルモードの3種類が存在する。例えば、操作ボタン41として、「JOG」ボタン、「SHTL」ボタン、及び「VAR」ボタンが設けられている場合、「JOG」ボタンの押下によりジョグモード、「SHTL」ボタンの押下によりシャトルモード、「VAR」ボタンの押下によりバリアブルモードに、それぞれ、サーチダイヤルの動作モードが設定(変更)される。なお、「JOG」ボタン、「SHTL」ボタン、及び「VAR」ボタンにおいて、現在設定されている動作モードに対応するボタンは点灯し、それ以外のボタンは消灯する。
【0055】
サーチダイヤルの動作モードが、ジョグモードに設定された場合、サーチダイヤルの回転速度に比例した進行速度で、CGアニメーションを進行させることができる。すなわち、CG画像生成装置22は、CG画像の生成に用いるパラメータとして、CGアニメーション中の時刻を使用するが、そのパラメータとしての時刻の値を、サーチダイヤルの回転と共に進行させる。
【0056】
サーチダイヤルの回転に対応するCGアニメーションの進行が、フレーム毎又はフィールド毎にCG画像生成装置22に伝えられることで、フレーム毎又はフィールド毎に、CG画像生成装置22において生成されるCG画像の内容が変化する。
【0057】
なお、進行を停止させる場合には、サーチダイヤルの回転を中止する。
【0058】
サーチダイヤルの動作モードが、シャトルモードに設定された場合、サーチダイヤルの回転角度に応じた進行速度で、CGアニメーションを進行できる。すなわち、CG画像生成装置22が使用するアニメーション中の時刻の値が、サーチダイヤルの回転速度に応じて進行速度で変化する。
【0059】
具体的には、例えば、サーチダイヤルの回転角度から、進行速度を決定するための値が0.1となった場合には、CG画像の生成に用いるパラメータとしての時刻の値を、通常の進行速度の0.1倍で進行させながら、フレーム毎又はフィールド毎に、CG画像の生成が行われる。
【0060】
したがって、進行速度が0.1であっても、10フレームに1回の頻度で、CG画像を変化させるのではなく、フレーム毎又はフィールド毎に生成されるCG画像は変化していく。
【0061】
シャトルモードにおいては、サーチダイヤルを回転させて初期位置(カチッと音がする位置)に戻した場合、進行が停止する。
【0062】
サーチダイヤルの動作モードが、バリアブルモードに設定された場合、サーチダイヤルの回転角度に応じて、進行速度を、−1倍から3倍の進行速度に変更できる。
【0063】
なお、サーチダイヤルは、進行速度を、それぞれ、−1倍に設定する第1の速度設定モード、1倍に設定する第2の速度設定モード、及び再3倍に設定する第3の速度設定モードとされる位置で、停止するようになっている。バリアブルモードにおいて、サーチダイヤルを回転させて初期位置に戻した場合、再生が停止する。
【0064】
なお、シャトルモード、及びバリアブルモードの操作角の有効範囲は、操作卓21を操作して、表示部42に表示可能なメニュー画面から設定することができる。
【0065】
具体的には、例えば、シャトルモードの操作角の有効範囲は、-150乃至150度程度の範囲、又は-180乃至180度程度の範囲のいずれかに設定できる。また、例えば、バリアブルモードの操作角の有効範囲は、-120乃至210度程度の範囲(進行速度が1倍である場合は、120度までとなる)、又は-200乃至348度程度の範囲(進行速度が1倍である場合は、200度までとなる)のいずれかに設定できる。
【0066】
また、操作ボタン41として設けられた「STOP」ボタンを押下した場合、サーチダイヤルによる操作は無効となり、サーチダイヤルによる変速再生が解除される。また、操作ボタン41として設けられた「REW」ボタン、「PLAY」ボタン、「FF」ボタン、「STB OFF」ボタン、「ALL STOP」ボタン等を押下した場合にも、同様に、サーチダイヤルによる変速再生は解除される。
【0067】
[CG画像生成装置22の詳細]
次に、図4は、CG画像生成装置22の構成例を示している。
【0068】
このCG画像生成装置22は、制御部81、CG生成部82、CG記述データ記憶部83、派生情報生成部84、派生情報記憶部85、ロード指示部86、及び作業メモリ87aを有する画像生成部87により構成されている。なお、CG生成部82乃至画像生成部87は、それぞれ、バスを介して相互に接続されている。
【0069】
制御部81には、操作卓21からの操作信号が供給される。制御部81は、操作卓21からの操作信号に基づいて、CG生成部82、派生情報生成部84、ロード指示部86、及び画像生成部87を制御する。
【0070】
すなわち、例えば、ユーザが、操作卓21を用いて、操作卓21の表示部42に、派生情報記憶部85に記憶されている派生情報ファイルのリストを表示させるためのリスト表示操作を行った場合、操作卓21は、ユーザのリスト表示操作に対応する操作信号を、制御部81に供給する。
【0071】
なお、派生情報ファイルとは、パラメータ指定情報を含むCG記述データに対して作用する内容を示す情報を表す。また、派生情報ファイルとは、所定のCG記述データに対して1度に適用できる複数の派生情報を格納したものである。
【0072】
また、派生情報ファイルのリストとは、派生情報記憶部85に記憶されている複数の派生情報ファイルの一覧を表す。なお、派生情報記憶部85には、複数の派生情報ファイルが記憶されるが、派生情報記憶部85の実現方法がハードディスクであるのか、半導体メモリであるのか等の選択肢については、本発明の本質には関係ないので説明を省略する。このことは、CG記述データ記憶部83等についても同様である。
【0073】
制御部81は、操作卓21からの、ユーザのリスト表示操作に対応する操作信号が供給された場合、その操作信号に応じて、派生情報記憶部85に記憶されている派生情報ファイルのリストを読み出し、操作卓21に供給する。操作卓21は、制御部81からのリストを、操作卓21の表示部42に表示させる。
【0074】
また、たとえば、ユーザが、操作卓21を用いて、操作卓21の表示部42に表示した派生情報ファイルのリストを参照しながら、複数の派生情報ファイルのいずれかを選択する選択操作を行った場合、操作卓21は、ユーザの選択操作に対応する操作信号を生成し、制御部81に供給する。
【0075】
この場合、制御部81は、操作卓21からの操作信号に応じて、ロード指示部86及び画像生成部87を制御し、ユーザの選択操作により選択された派生情報ファイルにより指定されたパラメータを調整させ、CG画像の加工を行なわせる。
【0076】
なお、派生情報ファイルには、複数の派生情報が含まれる。また、派生情報は、パラメータ指定情報、又はパラメータ値指示情報の少なくとも一方を含む情報をいう。
【0077】
すなわち、制御部81は、ユーザの選択操作により選択された派生情報ファイルに含まれる複数の派生情報それぞれに対応するパラメータ指定情報により指定されたパラメータを調整させ、CG画像の加工を行なわせる。
【0078】
CG生成部82は、制御部81からの制御に応じて、CG記述データを生成し、バス88を介してCG記述データ記憶部83に供給して記憶させる。なお、このCG生成部82の機能は、通常、画像生成部87を用いて運用を行なうのに先立ち、その運用の準備として利用されるものである。
【0079】
また、本発明の説明において重要なのは、CG記述データ記憶部83にCG記述データが記憶されている状態から行なわれる、画像生成部87を用いた運用に関する部分なので、このCG生成部82の機能については、詳細な説明を省略する。
【0080】
CG記述データ記憶部83は、CG生成部82から供給されるCG記述データを保持(記憶)する。なお、CG記述データは、例えばCOLLADA等の、データ構造を定義するためのスキーマ言語により記述される。COLLADAにより記述されたCG記述データの詳細については図13乃至図22を参照して後述する。
【0081】
なお、CG記述データ記憶部83に、どこからCG記述データが供給されるかは、本発明の本質とは関係なく、例えばネットワークを介して複数の装置から供給されてもよい。
【0082】
あるいはCG記述データ記憶部83自体を、CG画像生成装置22に(ローカルに)設けず、CG画像生成装置22が、CG記述データを使用する場合に、インターネットからダウンロードする機能で代用しても、本発明の効果を発揮できる。
【0083】
派生情報生成部84は、例えば制御部81からの制御に応じて、CG記述データ記憶部83に記憶されているCG記述データに含まれる複数のパラメータのうち、操作卓21を用いて調整される調整対象パラメータを指定するパラメータ指定情報を生成する。
【0084】
そして、派生情報生成部84は、生成したパラメータ指定情報を含む派生情報により構成される派生情報ファイルを生成し、派生情報記憶部85に供給して記憶させる。
【0085】
なお、派生情報には、例えば、パラメータ指定情報、又は調整対象パラメータを所定の値に調整させることを指示するパラメータ値指示情報の少なくとも一方が含まれる。
【0086】
また、派生情報には、その派生情報が対象とするCG記述データを一意に識別するための識別子が含まれている。すなわち、派生情報は、その派生情報に含まれるパラメータ指定情報により指定されるパラメータを含むCG記述データや、派生情報に含まれるパラメータ値指示情報により変更を指示されるパラメータを含むCG記述データを、一意に識別するための識別子が含まれている。
【0087】
1つの派生情報ファイルにおいて、派生情報に含まれるパラメータ指定情報やパラメータ値指示情報は、すべて同時に対象とするCG記述データに適用できるものである。
【0088】
すなわち、例えば、派生情報が、パラメータ指定情報及びパラメータ値指示情報を含むものである場合、派生情報に含まれるパラメータ指定情報により指定されるパラメータ、及び派生情報に含まれるパラメータ値指示情報により変更を指示されるパラメータは、いずれも、同一のCG記述データに含まれるパラメータとなる。
【0089】
同時に適用できないものは、異なる派生情報ファイルとして作成され、別ファイルとして管理できる。
【0090】
また、派生情報生成部84は、派生情報記憶部85に記憶されている複数の派生情報ファイルのリストを生成し、派生情報記憶部85に供給して記憶させる。
【0091】
派生情報記憶部85は、派生情報生成部84から供給される派生情報ファイルのリストを保持する。
【0092】
派生情報記憶部85は、派生情報生成部84から供給される派生情報ファイルを1つ以上保持する。なお、派生情報ファイルを構成する派生情報は、XML(Extensible Markup Language)の上にスキーマで規定する記述法により記述される。派生情報の詳細については図23乃至図28を参照して後述する。
【0093】
ロード指示部86は、制御部81からの制御に応じて、派生情報記憶部85に記憶されている複数の派生情報ファイルのうち、ユーザの選択操作により選択された派生情報ファイルを、派生情報記憶部85から読み出し、画像生成部87に供給する。
【0094】
また、ロード指示部86は、CG記述データ記憶部83に記憶されている複数のCG記述データのうち、派生情報記憶部85から読み出した派生情報ファイルに含まれる識別子により識別されるCG記述データを、CG記述データ記憶部83から読み出す。
【0095】
そして、ロード指示部86は、読み出したCG記述データを、画像生成部87に供給して、作業メモリ87aに書き込ませる(記憶させる)。
【0096】
画像生成部87は、ロード指示部86から供給されるCG記述データを、作業メモリ87aに供給して書き込ませる。そして、画像生成部87は、作業メモリ87aに記憶されているCG記述データに含まれる複数のパラメータのうち、ロード指示部86から供給される派生情報ファイル中の派生情報に含まれるパラメータ指定情報により指定されるパラメータを、調整対象パラメータに設定する。
【0097】
すなわち、調整対象パラメータが設定された以降、通信経路により外部から与えられるパラメータ制御指示等を受けた場合には、調整対象パラメータの値の更新を行なう。なお、調整対象パラメータとしては、1つの他、複数のパラメータを、それぞれ、調整対象パラメータとして設定することが可能である。
【0098】
なお、複数のパラメータを、それぞれ、調整対象パラメータとして設定する場合には、パラメータ識別子(id)により、それぞれの調整対象パラメータを区別する。
【0099】
すなわち、通信経路を介して外部から与えられるパラメータ制御指示には、パラメータ識別子の値が含まれており、画像生成部87では、そのパラメータ制御指示をそれぞれの指示のパラメータ識別子に対応する調整対象パラメータの制御に適用する。
【0100】
例えば、調整つまみ43それぞれに番号を、1,2,3,4等と割り当て、割り当てた番号をパラメータ識別子とし、パラメータ制御指示の通信に、そのパラメータ識別子を含ませるようにすればよい。
【0101】
この場合、パラメータ制御指示により変更される調整対象パラメータには、パラメータ制御指示とともに送信されてくるパラメータ識別子が含まれているものとし、パラメータ制御指示の通信とともに送信されてくるパラメータ識別子と同一のパラメータ識別子を含む調整対象パラメータが、パラメータ制御指示の対象とされる。
【0102】
また、画像生成部87は、制御部81からの制御に従って、調整対象パラメータを調整する。すなわち、例えば、ユーザが、操作卓21を用いて、調整対象パラメータを調整する調整操作を行ったことに対応して、操作卓21は、ユーザの調整操作に対応する操作信号を生成して制御部81に供給する。
【0103】
この場合、制御部81は、操作卓21からの操作信号に応じて、画像生成部87を制御し、調整対象パラメータが、ユーザの調整操作に対応した値となるように調整させる。
【0104】
具体的には、例えば、画像生成部87は、制御部81からの制御にしたがって、数値で1.5を加算する指示を受けた場合、作業メモリ87aから、調整対象パラメータの値を読み出し、1.5を加算する。そして、画像生成部87は、その加算により得られた新たな調整対象パラメータを、作業メモリ87aに書き戻す(上書きにより記憶させる)。
【0105】
この操作信号の生成から作業メモリ87aへの書き込みまでの動作は、動画像の毎フレーム又は毎フィールドに対応するタイミングで行なわれる。
【0106】
なお、操作卓21は、操作卓21の表示画面上に表示されたデフォルトリコールボタンが押下されたことに対応して、対応するデフォルトリコールの操作信号を生成して、制御部81に供給する。
【0107】
この場合、制御部81は、操作卓21からのデフォルトリコールの操作信号に応じて、画像生成部87の作業メモリ87aに記憶されているCG記述データに含まれる調整対象パラメータを、ユーザの調整操作により調整される前の調整対象パラメータに戻す初期化を行う。
【0108】
すなわち、例えば、制御部81は、操作卓21からのデフォルトリコールの操作信号に応じて、ロード指示部86を制御して、CG記述データ記憶部83から、調整対象パラメータを含むCG記述データを読み出させ、画像生成部87に供給させる。そして、制御部81は、画像生成部87を制御して、ロード指示部86から画像生成部87に供給されるCG記述データを、作業メモリ87aに上書きにより記憶させる。
【0109】
これにより、作業メモリ87aに記憶されているCG記述データは、ユーザの調整操作により調整される前のCG記述データとされることとなる。
【0110】
また、別の例としては、作業メモリ87aの領域を増加させ、最初のCG記述データのロード時に、2つの領域に、同じようにしてCG記述データを展開して書き込むようにする。
【0111】
そして、2つの領域のうちの一方を、ユーザの調整操作の対象として画像生成に使用し、他方を、最初の値のままとして、デフォルトリコールの操作信号を受けた際に読取る領域として使用するように構成しても、デフォルトリコールの操作信号への対応を実現できる。
【0112】
さらに、画像生成部87は、調整対象パラメータが調整された後のCG記述データを、CG記述データ記憶部83に供給して、上書きにより記憶させるようにすることができる。
【0113】
また、画像生成部87は、調整対象パラメータが調整された後のCG記述データを、上書きによる記憶ではなく、CG記述データ記憶部83に新たな記憶領域を作成するようにして、その新たな記憶領域に記憶させるようにしてもよい。
【0114】
画像生成部87は、作業メモリ87aに記憶されている、調整対象パラメータが調整(更新)された後のCG記述データに基づいて、CG画像を生成し、画像合成装置23に供給する。この結果、ユーザの調整操作が、画像生成部87から出力されるCG画像に反映される。
【0115】
この動作は、フレーム毎又はフィールド毎に行われるため、ユーザの調整操作が連続的に即時に反映されたCG画像を確認することができるとともに、ユーザの調整操作が反映されたCG画像をそのまま、放送等に使用することもできるようになる。
【0116】
なお、作業メモリ87aに展開されたCG記述データは、読み込んだCG記述データの内容そのままであるとは限らず、また、本発明の適用にあたって、読み込んだCG記述データの内容そのままである必要はない。例えば、他の装置では扱えるが、CG画像生成装置22では扱えない記述が含まれている場合には、その記述部分を無視し、作業メモリ87aには、CG画像生成装置22では扱えない記述部分を設けない(書き込まない)ようにしてもよい。
【0117】
また、CG画像の生成に使用する際に扱いやすいデータ構造にするために、読み込んだCG記述データのデータ構造を再構成して、作業メモリ87a上に配置してもよい。本文中では、このように加工を加える場合も含めて、「展開する」と記述している。
【0118】
なお、CG記述データは、外部から供給されたものであってもよい。また、CG画像生成装置22のCG記述データ記憶部83に記憶されているCG記述データを、CG画像生成装置22の外部に取り出せる構成にしてもよい。
【0119】
[CG画像生成装置22の動作説明]
次に、図5のフローチャートを参照して、CG画像生成装置22が行うCGパラメータ調整処理について説明する。
【0120】
このCGパラメータ調整処理は、例えば、ユーザが、操作卓21の操作ボタン41を用いてリスト表示操作を行ったときに開始される。このとき、操作卓21は、ユーザのリスト表示操作に対応する操作信号を生成し、制御部81に供給する。
【0121】
ステップS1において、制御部81は、操作卓21からの操作信号に応じて、派生情報記憶部85から派生情報ファイルのリストを読み出し、操作卓21に供給する。これに対応して、操作卓21は、制御部81からの派生情報ファイルのリストを、操作卓21の表示部42に表示させる。
【0122】
ユーザは、操作卓21の表示部42に表示された派生情報ファイルのリストを参照しながら、派生情報ファイルのリストとして表示された複数の派生情報ファイルのうちのいずれかを選択する選択操作を、操作卓21の操作ボタン41を用いて行う。
【0123】
この場合、操作卓21は、ユーザの選択操作に対応する操作信号を生成し、制御部81に供給する。
【0124】
ステップS2において、制御部81は、操作卓21からの操作信号に応じて、ロード指示部86を制御する。ロード指示部86は、制御部81からの制御に応じて、派生情報記憶部85から、ユーザの選択操作により選択された派生情報ファイルを読み出し、画像生成部87に供給する。
【0125】
ステップS3において、ロード指示部86は、CG記述データ記憶部83に記憶されている複数のCG記述データのうち、派生情報記憶部85から読み出した派生情報ファイルに含まれる識別子により識別されるCG記述データを、CG記述データ記憶部83から読み出す。
【0126】
そして、ステップS4において、ロード指示部86は、読み出したCG記述データを、画像生成部87に供給して、作業メモリ87aに記憶させる。
【0127】
ステップS5において、画像生成部87は、作業メモリ87aに記憶されているCG記述データに含まれる複数のパラメータのうち、ロード指示部86からの派生情報ファイル中のパラメータ指定情報により指定されるパラメータを、調整対象パラメータに設定する。
【0128】
ステップS6において、画像生成部87は、ロード指示部86からの派生情報ファイルに基づいて、その派生情報ファイルにパラメータ値指示情報が含まれているか否かを判定し、派生情報ファイルにパラメータ値指示情報が含まれていると判定した場合、処理をステップS7に進める。
【0129】
ステップS7において、画像生成部87は、ロード指示部86からの派生情報ファイルに含まれるパラメータ値指示情報に基づいて、作業メモリ87aに記憶されているCG記述データに含まれる複数のパラメータのうち、パラメータ値指示情報により、ロード時の値の書き込みを指示されたパラメータを上書きする。
【0130】
なお、ステップS6において、画像生成部87は、ロード指示部86からの派生情報ファイルに基づいて、その派生情報ファイルにパラメータ値指示情報が含まれていないと判定した場合、処理を、ステップS6をスキップしてステップS8に進める。
【0131】
ステップS8において、画像生成部87は、作業メモリ87aに記憶されているCG記述データに基づいて、対応するCG画像を生成し、図示せぬモニタ等に供給して表示させる。
【0132】
なお、CG記述データに静止画テクスチャファイルやシェーダが付属している場合は、それらも合せて使用してCG画像を生成する。また、ここでは、モニタに供給する例を示したが、生成したCG画像の行き先としては、放送送出する機器であったり、VTR(Video Tape Recorder)等の、画像を保存する機器であってもよい。
【0133】
また、CG画像生成装置22にハードディスク等のストレージを設け、生成したCG画像を、設けたストレージに一旦保存するように構成することも可能である。
【0134】
そして、ユーザは、図示せぬモニタ等に表示されたCG画像を参照し、必要に応じて、操作卓21の調整つまみ43やジョイスティック44等を用いて、調整対象パラメータを調整する調整操作を行う。この場合、操作卓21は、ユーザの調整操作に対応する操作信号を生成し、制御部81に供給する。
【0135】
ステップS9では、制御部81は、ユーザが操作卓21を用いて、調整操作を行ったか否かを判定する。
【0136】
すなわち、例えば、制御部81は、操作卓21からの操作信号の受信に基づいて、ユーザが調整操作を行ったか否かを判定し、ユーザが調整操作を行ったと判定するまで、ステップS8に戻り、画像の生成と受信チェックの処理を繰り返し行なう。
【0137】
なお、CGがアニメーションの場合、又は他の制御等に応じて出力する画像が、フレーム毎又はフィールド毎に変化する場合も存在する。このため、ユーザの調整操作が行われていない場合でも、CG画像生成装置22としては、フレーム毎又はフィールド毎に、作業メモリ87aの内容に基づいて、CG画像の生成を行なう動作を標準としている。
【0138】
そして、制御部81は、操作卓21からの操作信号に基づいて、ユーザが調整操作を行ったと判定した場合、処理をステップS10に進め、作業メモリ87aに記憶されている調整対象パラメータを、ユーザの調整操作に対応する値に調整させるように、画像生成部87を制御する。
【0139】
画像生成部87は、制御部81からの制御に従って、作業メモリ87aに記憶されている調整対象パラメータを調整し、処理をステップS8に戻す。
【0140】
そして、ステップS8では、画像生成部87は、作業メモリ87aに記憶されている、調整対象パラメータを調整後のCG記述データに基づいて、対応するCG画像を生成し、図示せぬモニタ等に供給して表示させ、それ以降、同様の処理が行なわれる。
【0141】
なお、このCGパラメータ調整処理は、例えば、ユーザにより、CG画像の生成を終了させるための操作が、操作卓21を用いて行われたときに終了される。このとき、画像生成部87は、例えば黒の画像を出力する状態になる。なお、画像信号を出力すること自体を止めてしまうと、後段に接続されるモニタや各種機器に悪影響を与えたり、見る者に不快な画像となったりするため、正しい画像信号であって、例えば黒の画を表示するものを出力する方が好ましい。
【0142】
以上説明したように、CGパラメータ調整処理では、指定情報により指定された調整対象パラメータを、操作卓21の調整つまみ43a乃至43eやジョイスティック44を用いたユーザの調整操作に応じて調整(変更)することができる。
【0143】
このため、CGパラメータ調整処理では、CG画像を合成する際に、ユーザの調整操作に応じて、調整対象パラメータを調整するだけで、容易に、生成するCG画像の内容を変更できるので、例えば、CG製作者にCG作品を加工させる場合と比較して、より迅速に、生成されるCG画像を加工することができるとともに、CG画像を加工するための費用を、より安価に抑えることが可能となる。
【0144】
また、CG画像以外に使用する画像の内容状況に応じた操作を行い、CG画像を変化させることができるため、最終的な、例えば放送にしようする画像の付加価値を上げることができる。
【0145】
なお、CG合成システム1において、CG画像生成装置22は、制御部81乃至画像生成部87により構成されるようにしたが、CG画像生成装置22を構成する制御部81乃至画像生成部87のうち、例えば、CG生成部82やCG記述データ記憶部83を外部に設けるようにし、LANケーブル等により接続するようにしてもよい。
【0146】
具体的には、例えば、図6に示されるCG合成システム101のように構成することができる。なお、このCG合成システム101は、操作卓21及び画像合成装置23の他、CG画像生成装置22のCG生成部82と同様の機能を有するCG生成装置121、CG画像生成装置22のCG記述データ記憶部83と同様の機能を有するCG記述データ記憶部122、CG生成部82及びCG記述データ記憶部83が除外されたCG画像生成装置22と同様の機能を有するCG画像生成装置123が、LANケーブル等により接続されて構成される。
【0147】
<2.第2の実施の形態>
[CG合成システム141の構成例]
図7は、CG合成システム141の構成例を示している。
【0148】
このCG合成システム141は、操作卓21、CG生成装置121、CG画像生成装置161、及びスイッチャ162により構成される。
【0149】
なお、操作卓21及びCG生成装置121については、図6の場合と同様に構成されているため、同一の番号を付しており、それらの説明は省略する。また、CG生成装置121の位置付けや詳細については、本発明の本質と無関係であることは既に記述したとおりである。
【0150】
CG画像生成装置161には、操作卓21から操作信号が供給される。CG画像生成装置161は、操作卓21からの操作信号に基づいて、CG画像の生成に際して、スイッチャ162から供給されるテクスチャ用の画像をマッピングする処理等を行い、それらの処理を施して得られるCG画像を、スイッチャ162に供給する。
【0151】
スイッチャ162は、操作卓21からの操作信号によって制御される。なお、応用的な構成として、CG画像生成装置161の状態(CG中のパラメータの値)等に応じて、CG画像生成装置161からスイッチャ162に対して、追加の制御信号を送る構成も採用することができる。
【0152】
スイッチャ162には、複数の画像が供給される。スイッチャ162は、操作卓21からの制御にしたがって、供給される複数の画像のうち、操作卓21により指定された画像を、CG画像生成装置161に供給する。
【0153】
なお、この場合の操作卓21としては、既に説明した押しボタン等の構成の他、画像の切り替え選択等の、様々なスイッチャ162の機能を操作するため構成(公知のスイッチャの操作卓の構成)を備えたものを使用できることは自明である。
【0154】
また、スイッチャ162には、複数の合成対象画像が供給される。スイッチャ162は、操作卓21からの制御にしたがって、供給される複数の合成対象画像のうちのいずれかを、CG画像と共に合成に使用する合成対象画像として選択する。
【0155】
そして、スイッチャ162は、選択した合成対象画像に、CG画像生成装置161からのCG画像を合成し、その合成により得られる合成画像を出力する。合成には、既知のスイッチャの機能であるスーパーインポーズ、ワイプ、ミックス、又はピクチャインピクチャ等の機能を用いることができる。
【0156】
[CG画像生成装置161の構成例]
図8は、CG画像生成装置161の構成例を示している。
【0157】
なお、このCG画像生成装置161は、図4のCG画像生成装置22に対応する部分については同一の番号を付しているため、それらの説明は適宜省略する。
【0158】
すなわち、CG画像生成装置161は、CG画像生成装置22の画像生成部87に代えて、作業メモリ181aを有する画像生成部181が設けられているとともに、CG生成部82が削除されている他は、CG画像生成装置22と同様に構成されている。
【0159】
画像生成部181には、画像生成部87の場合と同様に、ロード指示部86から、派生情報ファイルと、対応するCG記述データが供給される。画像生成部181は、ロード指示部86からのCG記述データを、作業メモリ181aに供給して記憶させる。
【0160】
また、画像生成部181には、スイッチャ162から、作業メモリ181aに記憶されているCG記述データに基づき生成されるCG画像を構成するポリゴンにテクスチャマッピングが可能な画像が供給される。
【0161】
画像生成部181は、作業メモリ181aに記憶されているCG記述データに含まれる複数のパラメータのうち、ロード指示部86からの派生情報ファイル中のパラメータ指定情報により指定されるパラメータを、調整対象パラメータに設定する。
【0162】
具体的には、画像生成部181は、ロード指示部86からの派生情報ファイル中のパラメータ指定情報が、作業メモリ181aに記憶されているCG記述データに含まれるパラメータのうち、例えばテクスチャマッピング対象指示パラメータを指定している場合、テクスチャマッピング対象指示パラメータを、調整対象パラメータに設定する。
【0163】
そして、画像生成部181は、制御部81からの制御にしたがって、調整対象パラメータを調整する。これにより、調整対象パラメータに設定されたテクスチャマッピング対象指示パラメータが調整(変更)される。
【0164】
また、別の例としては、画像生成部181は、派生情報ファイル中のパラメータ指定情報が、ポリゴンオブジェクトの座標値パラメータを指定している場合、その座標値パラメータを調整対象パラメータに設定する。そして、画像生成部181は、制御部81からの制御にしたがって、ポリゴンオブジェクトの座標値パラメータを調整(変更)する。
【0165】
また、画像生成部181は、調整対象パラメータが調整された後の作業メモリ181aの内容に基づいて、CG画像を生成し、スイッチャ162に供給する。
【0166】
なお、応用的な構成としては、画像生成部181は、スイッチャ162を制御する。
【0167】
そして、画像生成部181は、作業メモリ181aに記憶されているCG記述データに基づいて、例えばスイッチャ162から供給されるテクスチャマッピング用の画像を、生成しようとしているCG画像を構成するポリゴンにマッピングする等の処理を行い、その処理により得られるCG画像を、スイッチャ162に供給する。
【0168】
派生情報ファイルには、テクスチャマッピングの指定として、テクスチャマッピングする画像生成部181への入力画像の番号を含めることができる。
【0169】
図8には、T1からT4までの4つの系統の画像信号が、スイッチャ162から画像生成部181に供給されており、このうちのいずれかを、どのようなポリゴンにテクスチャマッピングするかを指定できる。
【0170】
すなわち、スイッチャ162から画像生成部181に供給される4つの系統の画像信号のうちのいずれかを、所定の条件を満たすポリゴンにテクスチャマッピングすることを指定できる。
【0171】
また、派生情報ファイルには、テクスチャマッピングの詳細に関する指定を含めることができ、例えばテクスチャ座標のアフィン変換を指示することなどができる。また、テクスチャマッピングを行なうかどうかをCG中の別のパラメータによって決定するような指定もできる。
【0172】
なお、CG画像生成装置161の制御部81は、操作卓21からの操作信号に応じて、派生情報生成部84、ロード指示部86、及び画像生成部181を制御する。
【0173】
[スイッチャ162の構成例]
次に、図9は、スイッチャ162の構成例を示している。
【0174】
このスイッチャ162は、マトリクススイッチ201及び合成処理部202により構成される。また、図示しない制御部を備えている。なお、ここで示すのは、公知のスイッチャの代表的な機能の部分のみで構成したものであり、スイッチャ162に代えて、より複雑な構成と機能を有するスイッチャを採用することが可能なのは自明である。
【0175】
マトリクススイッチ201は、入力ラインL1乃至L10、クロスポイントスイッチ221a乃至221m、及びバスライン222a乃至222mにより構成されており、図示しない制御部により制御される。
【0176】
入力ラインL1乃至L10において、入力ラインL1乃至L9には、それぞれ、画像信号が入力され、入力ラインL10には、CG画像生成装置161からCG画像が入力される。
【0177】
なお、入力ラインL1乃至L10において、入力ラインL10には、CG画像生成装置161からのCG画像が入力されることとしたが、CG画像が入力される入力ラインは、これに限定されない。複数のCG画像が複数の入力ラインから入力される構成であっても、単に、CG画像を入力するための入力ラインの本数が増えるだけであって、本発明の適用は、それぞれのCG画像の生成に関して適用することができる。
【0178】
また、マトリクススイッチ201は、10本の入力ラインL1乃至L10を有することとしたが、入力ラインの本数は10本に限定されず、いずれの本数により構成してもよい。
【0179】
クロスポイントスイッチ221aは、バスライン222aと入力ラインL1乃至L10とが交差する各点(図中バツ印で示す)の接続を制御する。そして、クロスポイントスイッチ221aは、入力ラインL1乃至L9それぞれに入力される画像のうちのいずれかを、バスライン222a及び端子T1を介してCG画像生成装置161に供給する。
【0180】
なお、CG画像生成装置161からの画像信号を選択することも可能であるが、図9の構成では、CG画像を選択することは有り得ないので、ここでは入力ラインL1乃至L9のいずれかを選択するものとして説明した。
【0181】
なお、クロスポイントスイッチ221b乃至221dは、クロスポイントスイッチ221aと同様に構成されており、クロスポイントスイッチ221aと同様の処理を行なう。
【0182】
すなわち、クロスポイントスイッチ221bは、入力ラインL1乃至L9それぞれに入力される画像信号のうちのいずれかを、バスライン222b及び端子T2を介してCG画像生成装置161に供給する。また、クロスポイントスイッチ221cは、入力ラインL1乃至L9それぞれに入力される画像信号のうちのいずれかを、バスライン222c及び端子T3を介してCG画像生成装置161に供給する。
【0183】
さらに、クロスポイントスイッチ221dは、入力ラインL1乃至L9それぞれに入力される画像信号のうちのいずれかを、バスライン222d及び端子T4を介してCG画像生成装置161に供給する。
【0184】
クロスポイントスイッチ221eは、バスライン222eと入力ラインL1乃至L10とが交差する各点の接続を制御し、入力ラインL1乃至L10それぞれから供給される画像のうちのいずれかを、バスライン222eを介して、端子OUT1に出力する。
【0185】
なお、クロスポイントスイッチ221f乃至221kは、クロスポイントスイッチ221eと同様に構成されており、クロスポイントスイッチ221eと同様の処理を行なう。
【0186】
クロスポイントスイッチ221lは、バスライン222lと入力ラインL1乃至L10とが交差する各点の接続を制御し、入力ラインL7乃至L10それぞれから入力される画像のうちのいずれかを、バスライン222lを介して、合成処理部202に供給する。
【0187】
クロスポイントスイッチ221mは、バスライン222mと入力ラインL1乃至L10とが交差する各点の接続を制御し、入力ラインL1乃至L10それぞれから入力される画像のうちのいずれかを、バスライン222mを介して、合成処理部202に供給する。
【0188】
合成処理部202は、クロスポイントスイッチ221lからの合成対象画像と、クロスポイントスイッチ221mからの合成対象画像とを合成する。そして、合成処理部202は、その合成により得られる合成画像を、プレビューとして出力するプレビュー出力ライン、及び、合成画像を、最終的な合成画像として出力するプログラム出力ラインのそれぞれに、制御部による制御に応じた内容で出力する。
【0189】
以上は、図9のスイッチャ162の構成に関して説明したが、スイッチャ162に代えて、より複雑な構成のスイッチャを採用するようにして、画像の合成に使用することも可能であることは自明である。
【0190】
なお、スイッチャのより複雑な構成については、本発明の本質に関係しないため、説明を省略する。
【0191】
[CG画像生成装置161の動作説明]
次に、図10のフローチャートを参照して、CG画像生成装置161が行うテクスチャマッピングを伴う第2のCGパラメータ調整処理について説明する。
【0192】
このマッピング調整処理は、例えば、ユーザが、操作卓21の操作ボタン41を用いてリスト表示操作を行ったときに開始される。このとき、操作卓21は、ユーザのリスト表示操作に対応する操作信号を生成し、制御部81に供給する。
【0193】
ステップS41乃至ステップS47において、図5のステップS1乃至ステップS7と同様の処理が行なわれる。
【0194】
なお、ステップS45において、画像生成部181は、作業メモリ181aに記憶されているCG記述データに含まれる複数のパラメータのうち、少なくともテクスチャマッピング対象指示パラメータを、調整対象パラメータとして設定しているものとする。
【0195】
ステップS48において、画像生成部181は、派生情報ファイル中のテクスチャマッピング指定にしたがって、ポリゴン表面への入力画像のテクスチャマッピングが行なわれるように、作業メモリ181aに対して書き込みを行う。これにより、作業メモリ181aに記憶されている内容は、テクスチャマッピングを行なうために必要な内容に変更される。
【0196】
なお、スイッチャ162は、操作卓21からの制御にしたがって、入力ラインL1乃至L9から入力される複数の画像の中から、端子T1乃至T4それぞれに出力する画像を選択する。そして、スイッチャ162は、選択した画像を、それぞれ、端子T1乃至T4を介して、画像生成部181に供給する。
【0197】
なお、仮にCG画像生成装置22が複数存在するシステムである場合には、あるCG画像生成装置22が出力する画像を、別のCG画像生成装置22に供給するような運用も可能である。
【0198】
ステップS49において、画像生成部181は、作業メモリ181aに記憶されているCG記述データに基づいて、スイッチャ162からのテクスチャ用の画像を、テクスチャマッピングしたCG画像を生成する。なお、画像生成部181により生成されたCG画像を、図示せぬモニタ等に供給して表示させることも可能である。
【0199】
そして、ユーザは、スイッチャ162の入力ラインL1乃至L10に供給されたCG画像を、合成処理部202を経由して、最終的な画像の一部となったプログラム出力やプレビュー出力を、図示せぬモニタ等に表示させてCG画像を参照し、必要に応じて、操作卓21の調整つまみ43やジョイスティック44等を用いて、調整対象パラメータを調整する調整操作を行う。この場合、操作卓21は、ユーザの調整操作に対応する操作信号を生成し、制御部81に供給する。
【0200】
このような構成により、スイッチャ162により様々な合成処理が施された画像の中の一要素であるCG画像の調整を、操作卓21を使用して、リアルタイムに行なうことができる。各動作が画像のフレーム毎又はフィールド毎に行われるため、その結果として、滑らかな変化や遷移を、画像に施すことが可能となっている。
【0201】
ステップS50では、制御部81は、図5のステップS9の場合と同様にして、ユーザが操作卓21を用いて、調整操作を行ったか否かを判定する。そして、制御部81は、操作卓21からの操作信号に基づいて、ユーザが調整操作を行ったと判定した場合、処理をステップS51に進め、作業メモリ181aに記憶されている調整対象パラメータを、ユーザの調整操作に対応する値に調整させるように、画像生成部181を制御する。
【0202】
画像生成部181は、制御部81からの制御に従って、作業メモリ181aに記憶されている調整対象パラメータを調整し、処理をステップS49に戻す。
【0203】
すなわち、例えば、画像生成部181は、制御部81からの制御に従って、調整対象パラメータに設定されているテクスチャマッピング対象指示パラメータを、現在、指示しているものとは異なるものを指示するように調整し、処理をステップS49に戻す。
【0204】
ここで、テクスチャマッピングの対象として指示されるものとは、CGを構成するポリゴンの表面を、ポリゴンの集合であるCGオブジェクトの単位で指定するものであったり、又はポリゴンの表面の見え方を規定するマテリアル定義を指定するものであったりする。
【0205】
マテリアル定義が、テクスチャマッピング対象として指示される場合には、該当するマテリアル定義を使用するようにされているポリゴンの表面すべてに、テクスチャマッピングが施されることになる。
【0206】
なお、テクスチャマッピングの内容は、通常のCGのテクスチャマッピング処理と同様に、UV座標の指定などを用いて詳細が指定される。これらの指定は、CG作品を制作したとき、すなわち、CG記述データを生成した際に指定できる他、派生情報ファイル中に記述することも可能である。
【0207】
ステップS49では、画像生成部181は、直前のステップS51の処理により調整された調整対象パラメータとしてのテクスチャマッピング対象指示パラメータが指示しているように、テクスチャマッピングを行なう。
【0208】
なお、このテクスチャマッピングを伴うCGパラメータ調整処理は、例えば、ユーザにより、CG画像の生成を終了させるための終了操作が、操作卓21を用いて行われたときに終了される。
【0209】
そして、ユーザは、操作卓21等によりスイッチャ162を操作して、CG画像生成装置161からのCG画像を利用するか否かに関係なく、合成処理部202から出力する画像の構成を制御できる。
【0210】
スイッチャ162の機能、スイッチャ162に対する操作、及びスイッチャ162の動作については、公知の技術であるので詳細な説明は省略する。
【0211】
以上説明したように、テクスチャマッピングを伴うCGパラメータ調整処理(CG画像生成装置161において、入力画像をテクスチャマッピングする場合の処理)では、ユーザの調整操作に応じて、例えば、調整対象パラメータに設定されたテクスチャマッピング対象指示パラメータを調整するようにして、スイッチャ162により選択されて画像生成部181に供給される画像のいずれかを所望のCG中の対象にテクスチャマッピングするようにできる。
【0212】
これにより、テクスチャマッピングするCG中の対象面を容易に変更することが可能となる。
【0213】
また、テクスチャマッピングに使用する画像自体の選択は、スイッチャ162のマトリクススイッチ201(クロスポイントスイッチ221a乃至221m)を制御することで可能であり、ユーザは、通常のスイッチャの操作と同様にクロスポイントスイッチ221a乃至221mの選択操作を行えばよい。
【0214】
ところで、第2の実施の形態では、CG合成システム141において、CG画像生成装置161が、制御部81、CG記述データ記憶部83乃至ロード指示部86、及び画像生成部181により構成されるようにしたが、CG画像生成装置161を構成する制御部81、CG記述データ記憶部83乃至ロード指示部86、及び画像生成部181のうち、例えば、派生情報生成部84、及び派生情報記憶部85を外部に設けるようにし、LANケーブル等により接続するようにしてもよい。
【0215】
具体的には、例えば、図7のCG合成システム141に代えて、図11に示されるCG合成システム241のように構成することができる。なお、このCG合成システム241は、操作卓21、CG生成装置121、及びスイッチャ162の他、CG画像生成装置161の派生情報生成部84と同様の機能を有する派生情報生成装置261、CG画像生成装置161の派生情報記憶部85と同様の機能を有する派生情報記憶部262、並びに、派生情報生成部84、及び派生情報記憶部85が除外されたCG画像生成装置161と同様の機能を有するCG画像生成装置263が、LANケーブル等により接続されて構成される。
【0216】
また、例えば、図11のCG合成システム241において、派生情報生成装置261が、派生情報記憶部262を有するように構成するようにしてもよい。
【0217】
本発明を適用し、効果的な放送運用を行なう例としては、例えば、サッカーの中継についての画が表示された画像を合成対象画像とし、その合成対象画像に表示されている選手に関する情報を、小さなCGで表現するものをCG記述データとして用意する。
【0218】
そして、用意したCG記述データに基づいて生成されるCG画像の、合成対象画像上の位置を、操作卓21で操作する。合成対象画像に表示される選手は、合成対象画像の中で常に動いているため、CG画像を固定位置で描画しては、選手に対応する表示として視聴者に提供することができない。
【0219】
本発明によれば、CG画像の、合成対象画像上の位置を、合成対象画像の内容を見ながら操作して変化させることができるので、選手の移動に追従した描画を行なうことができ、視聴者に歓迎される価値の高い放送が可能となる。
【0220】
[ソフトウェア構成の一例]
図12は、本発明を適用した別の例であるCG合成システム281の詳細なソフトウェア構成である。
【0221】
なお、図12のCG合成システム281は、派生情報生成装置261及び派生情報記憶部262に代えて、派生情報生成装置301が設けられている他は、図11のCG合成システム241と同様に構成される。
【0222】
派生情報生成装置301は、CG画像生成装置263のコンソール機能を有する操作卓としても機能するものであり、ハードウェア構成としては既知のパーソナルコンピュータに各種の操作部を付加したものでもよい。
【0223】
以下、図12の内容について説明する。図中の矩形は1つの装置、機器を示し、その中の面取りした矩形(8角形)は、ソフトウェアモジュールを示す。
【0224】
CG生成装置121は、例えば、ユーザにより操作されるパーソナルコンピュータであり、内蔵するCG作成ソフトウェアアプリケーションであるExporterにより、CG記述データであるファイルが生成されて出力される。
【0225】
操作卓21は、主にスイッチャ162を操作する機能を備えたものであり、既知のスイッチャを操作するための操作卓と同様に構成されているので、詳細な説明は省略する。
【0226】
また、操作卓21は、GUI(Graphical User Interface、グラフィカルユーザインタフェース)を備えるようにしてもよいし、操作卓21により、CG画像生成装置263を制御することも可能である。
【0227】
派生情報生成装置301は、CG生成装置121により生成されて供給されるCG記述データであるファイルを、CG画像生成装置263に供給して、CG画像生成装置263のCG記述データ記憶部83(図中、「Files」として示される)に記憶させる。この際、ネットワークを介した機器間でのファイル転送技術を使用する。
【0228】
ファイル転送の経由として、CG生成装置121からServerへ転送され、Serverから派生情報生成装置301のストレージ301aに転送され、そこから、CG画像生成装置263のCG記述データ記憶部83に転送される。
【0229】
この動作は、派生情報生成装置301のFile Server機能及びFile Manager機能、並びにCG画像生成装置263のftp Client機能を用いて実現される。
【0230】
また、Serverを経由せずに、CG生成装置121から派生情報生成装置301へ転送されるようにしてもよい。なお、機器間の転送において、所定のディレクトリにファイルが置かれた場合に、直ちにそのファイルを転送するように設定することで、操作者の負担を軽減するとともに、転送するファイルの漏れがないファイル転送を行なうようにすることができる。
【0231】
この際、機器のソフトウェアで実現されるタイマ機能等により、定期的に(又は不定期に)、設定された該当ディレクトリの内容を監視(watch)し、新しいファイルがあれば、転送を行なうようにソフトウェアを構成すればよい。
【0232】
CG記述データの転送と同時に、レンダリング(画像生成)に使用されるファイルを一緒に転送する。すなわち、ポリゴン表面に貼る静止画を含むテクスチャファイル、及び画像生成のプログラムを含むシェーダファイルを一緒に転送する。
【0233】
これにより、CG製作者が意図したテクスチャとシェーダを、CG画像生成装置263で使用することができる。
【0234】
CG画像生成装置263は、転送されてくるテクスチャファイル及びシェーダファイルを受け取ると、受け取ったテクスチャファイルとシェーダファイルとを、画像生成に使用できるように、形式変換やコンパイル等を施す。
【0235】
そして、CG画像生成装置263では、形式変換やコンパイル等を施して得られる変換結果を、CG記述データ記憶部83に記憶されているCG記述データと同時に利用して、画像生成に使用する。
【0236】
なお、CG生成装置121が、CG合成システム281に含まれる場合を例として説明したが、本発明は、CG記述データを取得した以降の処理構成に特徴があるものである。したがって、CG記述データが、CG合成システム281には含まれない、外部の装置から与えられる場合でも、本発明を適用できる。
【0237】
派生情報生成装置301及び操作卓21のCG Arrange UIは、派生情報ファイルの内容を作成するための操作を受け、CG画像生成装置263のCG Arrange UIと通信する。
【0238】
派生情報生成装置301のCG Arrange UIは、パラメータ指定情報等を含む派生情報ファイルを作成し、Files83の中に保存する。すなわち、Files83は、派生情報記憶部としても機能する。
【0239】
CG画像生成装置263のRenderは、画像生成部87や画像生成部181に相当するものであり、作業メモリ87aや作業メモリ181aと同様の作業メモリを内蔵している。CG画像生成装置263のRenderは、画像生成部87や画像生成部181と同様にして、CG画像を生成する。
【0240】
なお、図12では、スイッチャ162から出入りしている矢印のみが画像信号の大まかな流れを示し、それ以外の連結線は論理的な通信路を示している。
【0241】
CG画像生成装置263のSetupは、セットアップを変更したり記憶する機能を提供するものである。
【0242】
CG画像生成装置263のOS miscは、様々な標準的なサービスを提供する。CG画像生成装置263のLog/Error/Diagは、保守用の機能を提供する。すなわち、例えば、CG画像生成装置263のLog/Error/Diagは、CG画像生成装置263の様々な動作のログを記録し、記録したログを、CG画像生成装置263とは異なる、外部の装置に提供したり、外部の装置からの指示に応じて、自己診断機能を作動させたりする。
【0243】
派生情報生成装置301及び操作卓21において、Load/Play UIは、CG記述データであるファイルを、Renderにロードさせるロード指示部として機能する。Modify UIは、パラメータの調整に用いるパラメータ操作手段として機能し、ユーザの操作をCG画像生成装置263に伝える。なお、調整つまみ43は、Modify UIの一例である。
【0244】
派生情報生成装置301において、Datalink Procは、ユーザの物理的な操作に代えて、外部のデータをパラメータの変更に使用するためのリンク機能を提供し、terminalは各種のサービスのクライアントとして機能する。
【0245】
また、派生情報生成装置301において、Log/Error/Diag+UIは、派生情報生成装置301自体の保守機能と、CG画像生成装置263の保守機能を提供する。
【0246】
さらに、派生情報生成装置301において、File Converterは、CG画像生成装置263が扱えない形式のCG記述データを、CG画像生成装置263が扱える形式のCG記述データに変換する機能を提供する。
【0247】
また、派生情報生成装置301において、CG ViewerとCG Stationとは、パーソナルコンピュータの画面のCGのプレビューを表示するための機能を提供する。
【0248】
操作卓21において、Tally Procは、出力画に含まれる入力画の情報(タリー)を受信及び生成するものであり、MVS Setupはスイッチャの設定を行う機能である。
【0249】
操作卓21において、Xptctrlはスイッチャのクロスポイントを外部からの制御に応じて制御する機能であり、具体的にはCG画像生成装置263のRender部から制御を受ける。Xptctrlは、例えばCG中のあるパラメータの値に応じてスイッチャのクロスポイントを選択するような設定がされた場合に、毎フレームまたは毎フィールド、Render部において生成されるCG画像の該当パラメータ(アニメーション・タイムラインの進行によって変化している結果、又はパラメータ指定情報により設定された操作によって変化した結果)の値に応じて、クロスポイント制御の信号を受け取り、スイッチャのいずれかのバスでの画像選択を行う。
【0250】
なお、ここではクロスポイント制御を行う例を示したが、Renderからの制御を受けるスイッチャの動作はこれに限定されるものではなく、各種のスイッチャの機能をRenderの扱っているCGの内部状態によって制御されるように構成することができる。操作卓21において、Error UIはエラー表示などの保守機能などを提供するものである。
【0251】
[CG記述データの一例]
次に、図13乃至図22は、CG記述データの一例を示している。なお、説明に不要な部分は省略し、図中で「…」としている。
【0252】
このCG記述データは、データ構造を定義するスキーマ言語として、例えば、COLLADAにより記述されている。なお、図13乃至図22において、図中左側には、COLLADAにより記述されたCG記述データを表す文字列が、何番目の行であるかを表す行番号が示されている。このことは、後述する図23乃至図28についても同様である。
【0253】
また、図13乃至図22を参照して行なう説明において、CG記述データの重要な部分についてのみ説明し、それ以外の部分ついては、その説明を適宜省略するようにしている。詳細は、例えば、「COLLADA: Sailing the Gulf of 3D Digital Content Creation by R?mi Arnaud, Mark Barnes ISBN: 978-1-56881-287-8」などの説明を参照することで理解できる。
【0254】
4乃至11行目には、CG記述データに基づき生成されるCG画像を構成するポリゴンにマッピングするテクスチャ等の画像が定義されている。また、12乃至28行目には、CG画像として表示されるCGオブジェクトの表面の見え方を表すマテリアルが定義されている。
【0255】
なお、マテリアルの内容としては、具体的には、例えば、CGオブジェクトの表面の色や模様等が定義される。
【0256】
29乃至69行目には、マテリアルの内容になる部分があり、例えば、仮想的に、CGオブジェクトに光を照射した場合に得られる効果等が定義されている。具体的には、例えば、30乃至64行目には、CGオブジェクトに光を照射した場合の効果として、照射した光が、CGオブジェクトに対してどのように反射するか等が定義されている。
【0257】
70乃至205行目は、ポリゴンの形状を示す頂点情報や、ポリゴンのUV座標等が定義されている。また、206乃至361行目は、CG記述データに基づいて生成されるCGアニメーションについてのアニメーションタイムラインを構成する情報が定義されている。さらに、362乃至371行目は、仮想的にCGオブジェクトに対して光を照射する仮想ライトを定義している。この仮想ライトからの光に応じて、CGオブジェクトに現れる陰影等が計算される。
【0258】
372乃至385行目は、仮想的にCGオブジェクトの撮像を行なう仮想カメラを定義している。この仮想カメラが、CGオブジェクトを被写体として撮像を行い、その撮像により得られる撮像画像にあたるものが、CG画像として出力される。
【0259】
したがって、仮想カメラの姿勢や位置に応じて、CG画像として出力されるそれぞれのCGオブジェクトの見え方が変化するものとなる。
【0260】
386乃至449行目は、CGオブジェクトや仮想ライト、仮想カメラ等の物体が存在する仮想空間において、物体が存在する仮想空間上の3次元位置等の配置情報が定義されている。具体的には、例えば、388及び389行目には、直方体のポリゴン("Box01"により表されるポリゴン)の3次元位置(x,y,z)は、3次元位置(-34.706497,8.764190,-0.076581)であることが定義されている。
【0261】
その他、例えば、398行目には、直方体のポリゴン("Box02"により表されるポリゴン)の3次元位置(x,y,z)が定義されており、399乃至415行目には、複数の文字列("Text01"乃至"Text05"それぞれにより表される文字列)の3次元位置(x,y,z)等が定義されている。但し、内容の一部は省略している。
【0262】
また、416乃至422行目には、仮想ライト("Spot01"により表される仮想ライト)の3次元位置(x,y,z)と姿勢が定義されており、423乃425行目には、仮想ライトからの光が照射されるCGオブジェクトの3次元位置(x,y,z)が定義されている。さらに、426乃至432行目には、仮想カメラ("Camera01"により表される仮想カメラ)の3次元位置(x,y,z)と姿勢が定義されている。また、433乃至446行目には、球体のポリゴン("Sphere01"により表されるポリゴン)の3次元位置(x,y,z)等が定義されており、447行目には、433乃至446行目と同様にして、円錐のポリゴン("Cone01"により表されるポリゴン)の3次元位置(x,y,z)等が定義されている。但し、内容の一部は省略している。
【0263】
[派生情報ファイルの一例]
次に、図23乃至図28は、パラメータ指定情報を含む派生情報ファイルの内容の一例を示している。なお、図23乃至図28では、主に、調整対象パラメータとして、どのようなパラメータを指定しているかについて説明し、それ以外の説明は、適宜省略するようにしている。
【0264】
9行目のpatsample1.daeは、この派生情報ファイルに対応するCG記述データの名称(ファイル名)を示す。すなわち、CG画像生成装置263は、この派生情報ファイルをロードするような指示を受けると、この行からCG記述データの名称を得て、そのCG記述データをロードする(作業メモリに読み込む)。
【0265】
7行目は、CG記述データなどが置かれているディレクトリの場所を示すものである。
【0266】
28乃至34行目には、対応するCG記述データに含まれるマテリアル(表面の属性の定義)の名称を列挙したものである。この情報はCG記述データを解析すれば常に得られるものであるが、テクスチャマッピングの指定などに利用しやすいように、ここに列挙されている。
【0267】
[マテリアルの内容として記述されている色を指定するパラメータ指定情報]
36乃至63行目には、CG記述データにおいて定義されているマテリアル("id2_Material"により表されるマテリアル)の色を、調整パラメータとして指定するパラメータ指定情報が記載されている。なお、36行目において、調整対象パラメータとして指定された色を調整する際に用いられる調整つまみ43(36行目の「id="modifier_01"」及び「name="nob01"」に対応し、これらの末尾の01が示すように、複数ある調整つまみ43のうち、1番目の調整つまみ)が指定されている。
【0268】
また、このパラメータ指定情報は、39乃至51行目において、CGオブジェクト自らが発光する光に起因して認識される色(特に40及び41行目)、及び仮想ライトによる照明に応じて、CGオブジェクトからの反射光に起因して認識される色(特に45及び47行目)を、調整対象パラメータとして指定している。
【0269】
すなわち、このパラメータ指定情報には、42行目において、CGオブジェクト自らが発光する光に起因して認識される色の赤色成分を示すパラメータ「インデックス0」を指定する記載がされている。また、同様にして、このパラメータ指定情報には、48行目において、照明によりCGオブジェクトからの反射光に起因して認識される色の赤色成分を示すパラメータ「インデックス0」を指定する記載がされている。
【0270】
すなわち、CGオブジェクト自らが発光する光に起因して認識される色、及び照明によりCGオブジェクトからの反射光に起因して認識される色の赤色成分を、調整つまみ43による操作に応じて制御できる。
【0271】
また、例えば、このパラメータ指定情報は、53行目において、調整対象パラメータとしての色を表す情報を、それぞれ、「0」から「1.0」の範囲内で乗算せずに1倍で操作の対象とすることを指定している。
【0272】
さらに、例えば、このパラメータ指定情報には、55行目において、ユーザの調整操作に応じて調整された調整対象パラメータに、55行目に記載されているオフセット値を加算したものを、CG画像生成装置22等において、最終的に調整された調整対象パラメータの値として取り扱うことを指定している。
【0273】
さらに、例えば、このパラメータ指定情報には、57及び58行目において、36行目で指定された調整つまみ43の動作モードを指定する。具体的には、57及び58行目において、調整対象パラメータが、調整つまみ43の回転角度に応じて、線形的に(回転角度に比例して)(リニアに)「0」から「1.0」の範囲内で調整される動作モードを指定している。
【0274】
例えば、57及び58行目に記載されているように、パラメータ指定情報に付属する属性として、調整つまみ43の動作モードを指定している場合には、画像生成部87及び181において、ロード指示部86から供給されるこの情報に基づいて、対応する調整つまみ43の動作モードを、この情報により指定された動作モードに設定することとなる。
【0275】
[仮想カメラの位置を指定するパラメータ指定情報]
64乃至78行目には、CG記述データにおいて定義されている仮想カメラが存在する仮想空間上の位置を、調整対象パラメータとして指定するパラメータ指定情報が記載されている。この指定情報は、特に、65乃至71行目において、仮想カメラが存在する仮想空間上の3次元位置(x,y,z)のうちの位置yを、調整対象パラメータとして指定している。
【0276】
なお、64行目において、調整対象パラメータとして指定された仮想カメラの位置yを調整する際に用いられる調整つまみ43(64行目の「name="nob02"」に対応)が指定されている。
【0277】
[複数のCGオブジェクトのうちの1つのみを描画するように指定するパラメータ指定情報]
79乃至89行目には、CG記述データにおいて定義されているポリゴンであって、指定された複数のポリゴンのうち、パラメータに対応する1つのみを描画するように指示するための選択指示情報を、調整パラメータとして指定する特殊なパラメータ指定情報が記載されている。
【0278】
より詳細には、例えば、このパラメータ指定情報は、79行目において、調整対象パラメータとして指定された選択指示情報を調整する際に用いられる調整つまみ43(64行目の「name="nob03"」に対応)を指定する。
【0279】
また、例えば、このパラメータ指定情報は、81行目において、パラメータ「0」の場合に何も選択しないことを、空の文字列""を用いて示している。
【0280】
さらに、このパラメータ指定情報には、83乃至87行目において、調整つまみ43が操作されることにより、パラメータが「1」になった場合、"Text01"の名称が付いたポリゴンのみを選択して描画し、パラメータが「2」になった場合、"Text02"の名称が付いたポリゴンのみを選択して描画し、パラメータが「3」になった場合、"Text03"の名称が付いたポリゴンのみを選択して描画し、パラメータが「4」になった場合、"Text04"の名称が付いたポリゴンのみを選択して描画し、パラメータが「5」になった場合、"Text05"の名称が付いたポリゴンのみを選択して描画する制御を行なうことが記載されている。
【0281】
[コントロールパラメータを指定するパラメータ指定情報]
90乃至95行目には、後述する262乃至266行目において引用されるコントロールパラメータを、調整対象パラメータとして指定するパラメータ指定情報が記載されている。
【0282】
このパラメータ指定情報は、90行目において、調整対象パラメータとして指定されたコントロールパラメータを調整する際に用いられる調整つまみ43(90行目の「name="nob05"」に対応)を指定する。
【0283】
また、このパラメータ指定情報は、92行目において、調整つまみ43が操作されることにより、調整対象パラメータとしてのコントロールパラメータが、「1」、「2」、「3」、又は「4」のいずれかに調整とされることが記載されている。さらに、このパラメータ指定情報は、94行目において、コントロールパラメータの初期値として、「4」を指定している。
【0284】
なお、このコントロールパラメータは、modifier_05という識別子を用いて、後述する262乃至265行目において引用される。
【0285】
[マテリアルを指定するパラメータ指定情報]
96乃至107行目には、CG記述データにおいて定義されているポリゴンに適用するマテリアルを指示するためのマテリアル指示情報を、調整対象パラメータとして指定するパラメータ指定情報が記載されている。
【0286】
より詳細には、例えば、このパラメータ指定情報は、96行目において、調整対象パラメータとして指定されたマテリアル指示情報を調整する際に用いられる調整つまみ43(96行目の「name="nob06"」に対応)を指定する。
【0287】
また、例えば、このパラメータ指定情報は、98行目において、直方体のポリゴン(図13乃至図22のCG記述データに記載の"Box01"により表されるポリゴン)のマテリアルを指示するマテリアル指示情報を、調整対象パラメータとして指定する。
【0288】
さらに、このパラメータ指定情報には、101乃至104行目において、調整つまみ43を操作することにより、調整パラメータとしてのマテリアル指示情報が、"id2_Material"に対応するマテリアルに指示するマテリアル指示情報「0」、又は"id1_Material"に対応するマテリアルに指示するマテリアル指示情報「1」のいずれかに調整されることが記載されている。
【0289】
当該調整つまみ43の操作により、操作卓21からCG画像生成装置22に、途中の通信路を介して「0」又は「1」の値が送信される。CG画像生成装置22は、「0」を受信した場合は”Box01”オブジェクトの表面のrel_targetでターゲット指定されている面に識別子"id2_Material"のマテリアルを割り当てて、それを描画(CG画像生成)の計算に使用させる。また、CG画像生成装置22は、「1」を受信した場合は”Box01”オブジェクトの表面のrel_targetでターゲット指定されている面に識別子"id1_Material"のマテリアルを割り当てて、それを描画(CG画像生成)の計算に使用させる。
【0290】
[テクスチャを指定する指定情報]
108乃至121行目には、CG記述データにおいて定義されているポリゴンにマッピングするテクスチャを指示するためのテクスチャ指示情報を、調整パラメータとして指定するパラメータ指定情報が記載されている。
【0291】
より詳細には、例えば、このパラメータ指定情報は、108行目において、調整対象パラメータとして指定されたテクスチャ指示情報を調整する際に用いられる調整つまみ43(64行目の「name="nob0"」に対応)を指定する。
【0292】
また、例えば、このパラメータ指定情報には、115及び116行目において、調整つまみ43が操作されることにより、調整対象パラメータとしてのテクスチャ指示情報が、"img6-image"により表されたテクスチャを指示するテクスチャ指示情報「0」、又は"img5-image"により表されたテクスチャを指示するテクスチャ指示情報「1」のいずれかに調整されることが記載されている。
【0293】
また、110行目において、テクスチャを指示する対象がCG記述データ中の”id2_Material−fx”という識別子が与えられているeffectであることが記載されている。CG記述データの記述法により、結果としてこの指定は該当するマテリアルに作用することになる。
【0294】
[色彩を指定するパラメータ指定情報]
122乃至142行目には、CG記述データにおいて定義されているポリゴンのマテリアルの色彩を、調整パラメータとして指定するパラメータ指定情報が記載されている。
【0295】
より詳細には、例えば、このパラメータ指定情報は、122行目において、調整対象パラメータとして指定されたマテリアルの色彩を調整する際に用いられる調整つまみ43(122行目の「name="nob08"」に対応)を指定する。また、これに続く部分で、操作による調整の対象とする色パラメータがCG記述データ中のどれであるかを指定するように書かれている。
【0296】
また、例えば、このパラメータ指定情報には、128行目において、調整つまみ43が操作されることにより、調整対象パラメータとしてのマテリアルの色彩が調整されることが記載されている。CG記述データの内容では、色の指定はRGB(Red,Green,Blue)(及びα値)を用いて行われ、作業メモリ87aや作業メモリ181aにもRGBで書かれていることが一般的であるが、調整つまみ43などを用いて色の調整を行う場合、Hue、Luminance、Saturationの3パラメータを用いた方が操作が容易である。単にCG記述データの内容中の箇所を指定するだけでは、このようなパラメータ変換が必要な場合に対応できないため、122行目で調整のタイプとしてhueであることを示し、CG画像生成装置22において、Hueの値を受けて、Hue、Luminance、Saturationの3パラメタとRGBの間で変換が行われ、操作結果が描画に反映されるようにしている。
【0297】
さらに、例えば、このパラメータ指定情報には、138及び139行目において、122行目で指定された調整つまみ43の動作モードを指定する。具体的には、138及び139行目において、調整対象パラメータが、調整つまみ43の回転角度に応じて、線形的に(回転角度に比例して)「0」から「1.0」の範囲内で調整される動作モードを指定している。
【0298】
なお、パラメータ指定情報としては、色彩の他、輝度、彩度を、調整パラメータとして指定することができる。
【0299】
また、画像生成部87及び181において、ロード指示部86からのCG記述データに基づいて、CG画像を生成する場合、作業メモリ87aや作業メモリ181aの内容に対して、調整パラメータとして指示された色彩や、輝度、彩度については、作業メモリ87aや作業メモリ181aの該当する色のRGB値を読み出して参照し、変換し、指示によって調整後の色彩、輝度、及び彩度を、彩度、対応するRGB値に変換した上で作業メモリ87aや作業メモリ181aに書き込んで、描画に使用させる。これは、CGを描画する際の情報が、RGB値により表現されることによる。
【0300】
[外部データの参照を指定する第1のデータリンク指定情報]
143乃至159行目には、CG画像を生成する際に用いられるデータであって、且つ、外部から読み出すデータを指定する第1のデータリンク指定情報が記載されている。
【0301】
このデータリンク指定情報は、144行目において、144行目に記載のURL(uniform resource locator)により指示されるファイル「http://www.w3.org/TR/xmlschema/file1.html」からデータを読み出すことを指定している。なお、外部ファイルから読み出されたデータは、143行目に記載の「dest="modifier_01"」により表される調整パラメータに連想され、適用される。すなわち、143行目から始まるデータリンク指定情報は、単独ではユーザが操作卓21を操作して制御するものであるが、このデータリンク指定により、外部のデータを参照して更新するようにされる。
【0302】
また、このデータリンク指定情報は、148及び149行目において、144行目のURLにより指示されるファイルを構成するデータのうち、先頭から28バイト目のデータから、4バイト分のデータを読み出すことを指定している。
【0303】
そして、このデータリンク指定情報は、150行目において、読み出したデータを、バイナリの整数として扱うことを指定している。
【0304】
さらに、このデータリンク指定情報は、157行目において、15秒毎に、144行目のURLにより指示されるファイルを構成するデータのうち、先頭から28バイト目のデータから、4バイト分のデータを読み出して参照することを指定している。
【0305】
[外部データの参照を指定する第2のデータリンク指定情報]
160乃至178行目には、CG画像を生成する際に用いられるデータであって、且つ、外部から読み出して参照するデータを指定する第2のデータリンク指定情報が記載されている。
【0306】
このデータリンク指定情報は、165行目において、161行目のURLにより指示されるファイルからデータを読み出すことを指定している。また、163行目において、ファイルをxmlデータとして解釈するように指定している。さらに、そのファイル中の、165行目以降に記載の要素名"simpleOrder"等で指定される部分を読み出すことを指定している。また、168行目において、指定される部分に複数配列されているパラメータのうち、インデックスで0番目すなわち最初のパラメータを読み出すことを指定している。
【0307】
[外部データの参照を指定する第3のデータリンク指定情報]
179乃至190行目には、CG画像を生成する際に用いられるデータであって、且つ、外部から読み出して参照するデータを指定する第3のデータリンク指定情報が記載されている。
【0308】
このデータリンク指定情報は、182行目においてcsv形式のデータを参照することを宣言している。また、このデータリンク指定情報は、184乃至186行目において、CSVデータに記載の複数の数値のうち、3行4列目に記載の数値を、float型(浮動小数点型)の数値として読み出すことを指定している。さらに、このデータリンク指定情報は、178行目においてmodifier_02の調整に連想させることを指定している。
【0309】
[外部データの参照を指定する第4のデータリンク指定情報]
191乃至201行目には、CG画像を生成する際に用いられるデータであって、且つ、外部から読み出して参照するデータを指定する第4のデータリンク指定情報が記載されている。
【0310】
このデータリンク指定情報は、194行目においてトークンの連鎖である形式のデータを参照することを宣言している。また、このデータリンク指定情報は、196及び197行目において、ファイルを構成するデータのうち、先頭から9個目のトークンに対応するデータを、int型(整数型)のデータとして読み出すことを指定している。なお、トークンとは、所定の意味を有する最小単位のデータを表し、所定の文法でテキストファイルを分割して取り出されるものであり、例えば空白文字により区切られている。
【0311】
[仮想カメラの3次元位置を指定するパラメータ指定情報]
203乃至218行目には、CG記述データにおいて定義されている、例えば仮想カメラが存在する仮想空間上の位置を、調整パラメータとして指定するパラメータ指定情報が記載されている。このパラメータ指定情報は、特に、208行目において、仮想カメラが存在する仮想空間上の3次元位置(x,y,z)を、調整対象パラメータとして指定している。
【0312】
すなわち、単独のスカラー値(例えばx)を指定するのではなく、ベクトル値である3次元位置をまとめて、1つの調整対象として扱うことを記述しており、この方法であることを”manipulator”というキーワードで示している。いわば、ベクトルパラメータ指定とでも呼べる機能である。
【0313】
なお、204行目において、調整対象パラメータとして指定された仮想カメラ("Camera01")の3次元位置(x,y,z)を調整する際に用いられるジョイスティック44(204行目の「id="manipulator_01"」及び「name="xyz01"」の末尾の数値01に対応)が指定されている。
【0314】
したがって、例えば、このパラメータ指定情報が、ロード指示部86から画像生成部87又は画像生成部181に供給された場合には、操作卓21のジョイスティック44の操作により、仮想カメラの3次元位置(x,y,z)を調整できるようになる。
【0315】
なお、このようなジョイスティック44のような3次元操作が可能な操作手段がこの方法に利用されるが、このような操作手段を複数設け、同時に利用することも可能である。複数の場合は、前記の数値01に変えて順次異なる数値で識別するようできる。
【0316】
また、例えば、このパラメータ指定情報には、213行目に記載されているように、x,y,zそれぞれに、操作入力の値に乗算する倍率を含むようにしてもよい。
【0317】
さらに、例えば、このパラメータ指定情報には、215行目に記載されているように、ユーザの調整操作により変化される3次元位置(x,y,z)の変化量に、オフセット値(215行目に記載の例では、オフセット値(x,y,z)=(0, 0, 0))を加算したものを、ユーザの調整操作により変更された後の調整対象パラメータとしての3次元位置(x,y,z)として取り扱うことを指定するようにしてもよい。
【0318】
203乃至218行目に記載のパラメータ指定情報は、仮想カメラの3次元位置(x,y,z)を、調整対象パラメータとして指定するようにしたが、その他、例えば、パラメータ指定情報は、仮想ライトや、ポリゴン等の3次元位置(x,y,z)を、調整対象パラメータとして指定するようにしてもよい。
【0319】
さらにまた、まとめて調整対象とするベクトル値として、3次元位置以外に、x、y,zそれぞれの拡大率や、回転角度を扱っても良い。あるいはまた、色のHue,Luminance,Saturationの値をまとめてベクトル値として扱い、ジョイスティック44のような3次元操作などで操作できるようにすることも、本発明を用いれば容易である。対象とするベクトル値は3次元でなくとも、例えばテクスチャマッピングを行う際のUV座標の調整に、(UVWではない)2次元のUV値をジョイスティックにより操作するようにしても良い。
【0320】
[ビデオテクスチャマッピング指定情報]
219乃至237行目には、例えば、図9のスイッチャ162から端子T1乃至T4を経由して、テクスチャマッピングに使用できる画像を受け取り、それをポリゴン表面にテクスチャマッピングする動作を指定するビデオテクスチャマッピング指定情報が記載されている。
【0321】
より詳細には、例えば、このビデオテクスチャマッピング指定情報は、220行目において、端子T1(220行目に記載の「vin="1"」に対応)を指定している。また、220行目において、ビデオテクスチャマッピングを行う対象(ターゲット)を”id1_Material”で識別されるマテリアルとすることを指定している。なお、対象の指定方法としては、マテリアルを識別子で指定するほか、ポリゴンの集合であるCGオブジェクト(例えばBox01)を指定しても良く、その場合は、例えばCG空間シーン中のnodeとして指定することを記載するようにする。
【0322】
また、例えば、このビデオテクスチャマッピング指定情報は、テクスチャマッピングのUV座標を、225行目に記載の行列を用いてアフィン変換し、そのアフィン変換により得られる新たなUV座標に基づいて、テクスチャのマッピングを行なうことを指定している。なお、UV座標とは、テクスチャをポリゴン表面にマッピングする際に用いられる座標を表す。
【0323】
[マッピングを実行するための条件を付加したビデオテクスチャマッピング指定情報]
239乃至261行目には、CG記述データにおいて定義されているマテリアルであって、所定の条件を満たすマテリアルに対して、ビデオテクスチャマッピングを行なう条件を指示するための条件指示情報が付加されたビデオテクスチャマッピング指定情報が記載されている。なお、このビデオテクスチャマッピング指定情報は、220行目において、例えば、図9のスイッチャ162からの複数の画像の中から、端子T1乃至T4のうちの端子T2を経由して供給される画像(220行目に記載の「vin="2"」に対応)を使用するように指定している。
【0324】
より詳細には、このビデオテクスチャマッピング指定情報には、条件1(cnd1)としてphong特性のambient色のcolorの赤成分が、0から0.776の範囲にあることを指定(241乃至251行目に記載の条件)し、また252乃至254行目に記載の条件2(cnd2)(内容を省略する)を定義し、255乃至257行目に記載の条件3として、条件1と条件2の論理積を定義し、259行目において条件3によって、ビデオテクスチャマッピングを行うか判断することが記載されている。この場合、これら条件に一致する属性を持つ表面に、ビデオ・テクスチャ・マッピングが施される。
【0325】
なお、ここでは色の値を条件に使う数値として示したが、例えば座標値(仮想空間中の位置)などを条件にしても良い。
【0326】
また、この条件は動画像の毎フレームあるいは毎フィールド判断されるものであり、例えばCG記述データにあるアニメーション動作の指定より、アニメーション動作時間の進行に伴って条件の対象となるパラメータが変化する場合は、条件に適合する状態になったときだけ、ビデオテクスチャマッピングが実行される。この結果、アニメーションの進行の一部でだけ、ビデオテクスチャマッピングを行うように制御することも可能となる。
【0327】
[コントロールパラメータを使用するビデオテクスチャマッピング指定情報]
262乃至265行目には、ビデオテクスチャマッピングに使用する画像の選択をコントロールパラメータによって制御されるようにしたビデオテクスチャマッピング指定情報が記載されている。
【0328】
このビデオテクスチャマッピング指定情報では、”id2_Material”の識別子で指定されたマテリアルに対するビデオテクスチャマッピングに関する指定が記述されている。
【0329】
また、このビデオテクスチャマッピング指定情報には、262行目において、調整対象パラメータとしてのコントロールパラメータが、画像の入力端子を指示し、端子T1乃至T4のうち、90乃至95行目を参照して説明したコントロールパラメータの各時点(動画像を構成するフレーム又はフィールド)の値に対応する端子からの画像が、テクスチャマッピングに使用されることが記載されている。
【0330】
なお、コントロールパラメータは、「1」乃至「4」のいずれかに調整され、コントロールパラメータの値「1」乃至「4」は、それぞれ、端子T1乃至T4に対応する。
【0331】
これにより、ユーザが調整つまみ43等を操作してコントロールパラメータを変更することで、テクスチャマッピングに使用される画像を変化させることができる。なお、この部分の説明では、ビデオテクスチャマッピングの詳細な指定などは省略している。
【0332】
[タイムライン動作を指定する情報]
267乃至270行目には、CG記述データにおいて定義されているCGアニメーションのタイムライン(CGアニメーションを再生する時刻)に関する指定を行う情報が記載されている。
【0333】
この情報には、268行目において、CG記述データに記述されるCGアニメーションのタイムラインの中で、「0」秒から「1.0」秒までの区間を再生(進行)の対象とすることが記載されている。
【0334】
なお、このほかに、例えばタイムラインを進行させる速度の指定値や、タイムライン進行を開始する位置の指定(秒)などの記述を追加することもできる。
【0335】
なお、アニメーション動作を含むCGについて、パラメータを調整した場合には、ユーザの希望に応じて設定すれば、CGアニメーションにより生成される全時刻の画像に対して、調整後のパラメータが反映されるようにすることができる。
【0336】
具体的には、例えば、CGアニメーションを構成する複数のキーフレームのうち、1点を参照しながら、あるパラメータを30[%]だけ増加させるような調整が行なわれた場合に、パラメータの調整が行なわれたキーフレーム以外の、CGアニメーションの全域についても同様に、対応するパラメータに対して30[%]だけ増加させるような調整が行なわれるようにすることができる。これは、全部のキーフレームのデータに対して、同様の30[%]増加の変更を施すことで、実現できる。
【0337】
また、例えば、例えば、CGアニメーションを構成する複数のキーフレームのうち、1点を参照しながら、あるパラメータを、所定の値だけ増加させるような調整が行なわれた場合についても、同様にして、CGアニメーションの全域について対応するパラメータに対して所定の値だけ増加させるような調整が行なわれるようにすることができる。
【0338】
なお、ユーザが、操作卓21を用いて、あるキーフレームを参照しながらパラメータの調整が行なわれた際に、CGアニメーションの全域についても、変更を適用するような設定操作を行った場合にのみ、CGアニメーションの全域への調整を行なうように構成してもよい。変更を適用するような設定操作により設定を行わない場合は、調整を行った時点のみ変更が適用され、その後、アニメーションを進行させると、パラメータの調整による影響がなくなるようにできる。
【0339】
[プレビューにおける設定を指定する情報]
271乃至277行目には、プレビュー出力に関する設定を指定する情報が記載されている。
【0340】
この情報は、272行目において、プレビューの種類であるルックアヘッド、ポーズ、プレイのうち、ポーズ(静止画プレビュー)をデフォルトとするように指定している。なお、プレイは進行するプレビューであり、ルックアヘッドは最終キーフレームの静止画をプレビュー出力する指定である。
【0341】
また、この情報は、274行目において、静止画プレビューが指示された場合には、生成されるCGアニメーションの時刻1秒に出力されるCG画像を、プレビュー出力として出力することを指定している。
【0342】
さらに、この情報は、275行目において、進行するプレビューが指示された場合には、CGアニメーションを、通常の1.5倍の進行速度で進行させるプレビューとすることを指定している。
【0343】
なお、派生情報ファイルには上記以外の情報を含めることもでき、例えば、調整対象パラメータの初期値を指定するファイルを指定することができる。
例えば、
<behavior>
<init_param_file>1_default_snapshot.bin</init_param_file>
</behavior>
という記載によって、パラメータの値を保持しているファイルを、初期値を指定するファイルに指定できる。ここで、「1_default_snapshot.bin」というのはファイル名であり、派生情報ファイルで調整対象パラメータとしている各パラメータの値を格納しているファイルを示している。パラメータの値を保持しているファイルは、初期値として使用される以外に、運用中にRecallすることでその値に設定することもできる。ここでは、派生情報ファイルとCG記述データがロードされた際に、直ちに適用されるパラメータの値として、上述したファイルの値を使うように指定している。なお、パラメータの値を保持しているファイルは、パラメータ値指示情報に対応し、その実施方法の1つである。
【0344】
[本発明に関連した用語について]
次に、図29乃至図40は、本発明に関連した用語の一覧とその説明を示している。
【0345】
<3.変形例>
第1及び第2の実施の形態では、パラメータ指定情報により指定される調整対象パラメータを含むCG記述データを特定するために、派生情報ファイルには、その中のパラメータ指定情報により指定される調整対象パラメータ等を含むCG記述データの識別子が含まれているようにしたが、派生情報ファイルに対応するCG記述データの特定方法はこれに限定されない。
【0346】
すなわち、例えば、CG画像生成装置22やCG画像生成装置161等において、派生情報ファイルと、派生情報ファイルにより指定される調整対象パラメータを含むCG記述データとを対応付けたリンク情報を、新たに保持するようにし、リンク情報に基づいて、派生情報ファイルに対応するCG記述データを特定するようにしてもよい。
【0347】
なお、リンク情報としては、例えば、派生情報ファイルと、対応するCG記述データとを対応付けたテーブル等が考えられる。また、例えば、派生情報ファイルと、対応するCG記述データとを同一のディレクトリ(フォルダ)に含ませるようにした場合には、派生情報ファイル及びCG記述データが含まれているディレクトリを、派生情報ファイル及びCG記述データがそれぞれ対応付けられていることを表すリンク情報として採用することができる。この場合、1つのディレクトリには、CG記述データは1つのみ置けるが、派生情報ファイルは複数置くことができる。
【0348】
また、例えば、CG記述データが含まれるディレクトリの下位階層に、そのCG記述データに対応付けられた派生情報ファイルを記憶させるようなディレクトリ構造を構成して記憶させるようにすれば、そのディレクトリ構造を、リンク情報として用いることができる。
【0349】
なお、パラメータの値を保持しているファイルについては、各派生情報ファイルに対応するものであるので、各派生情報ファイル毎にディレクトリを更に設けて、その中に、パラメータの値を保持しているファイルを複数置くように構成することができる。
【0350】
派生情報ファイルが、対応するCG記述データを特定するための識別子やリンク情報を含まない場合には、ユーザが、派生情報ファイルとともに、対応するCG記述データを選択することとなる。
【0351】
第1の実施の形態において、画像生成部81は、内蔵する作業メモリ81aに、ユーザの調整操作により以前に調整された調整対象パラメータの値として、複数の値を保持するようにしておき、ユーザが、操作卓21を用いて、ユーザの調整操作により以前に調整された複数の値のうちのいずれかを指示した場合には、調整対象パラメータを、ユーザにより指示された調整対象パラメータの値に戻す調整を行なうようにすることができる。このことは、第2の実施の形態における画像生成部181についても同様のことがいえる。この動作は、パラメータの一つ一つを指定して行うことも可能であり、複数まとめて行うことも可能である。あるいはまた、操作卓21からの指示に応じて、パラメータの値を保持しているファイルの内容を読み込んで、調整対象の全部のパラメータの値を変更するようにしても良い。
【0352】
また、画像生成部81や画像生成部181は、ユーザが、操作卓21を用いて、パラメータ値指示情報を更新する更新操作を行ったことに対応して、パラメータ値指示情報を更新することができる。
【0353】
具体的には、例えば、画像生成部81や画像生成部181において、ユーザの更新操作が行われた場合、ロード指示部86が、ユーザの更新操作に対応する操作信号を受信した制御部81からの制御にしたがって、派生情報記憶部85から、更新対象のパラメータ値指示情報を読み出す。そして、ロード指示部86は、読み出した更新対象のパラメータ値指示情報を更新して、派生情報記憶部85に供給して上書きにより記憶させる。
【0354】
これにより、更新対象のパラメータ値指示情報において、値を更新することができる。
【0355】
また、第1の実施の形態では、例えば、操作卓21とCG画像生成装置22とを別々にして構成するようにしたが、CG画像生成装置22の内部に操作卓21を設けるように構成するようにしてもよい。第2の実施の形態におけるCG画像生成装置161についても同様である。
【0356】
本発明は仮想カメラにより撮像されたように計算される仮想三次元空間のコンピュータグラフィックス画像に適用されるものであるが、左右の眼に対応する対の画像により疑似立体視を実現するステレオ画像の生成にも、適用が可能である。コンピュータグラフィックスによるステレオ画像を生成する場合には、仮想カメラを両眼に対応する一対にして、左と右の画像を生成するようにすればよい。この場合も、本発明はそのまま適用することができる。
【0357】
次に、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【0358】
[コンピュータの構成例]
図41は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
【0359】
CPU(Central Processing Unit)351は、ROM(Read Only Memory)352、または記憶部358に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)353には、CPU351が実行するプログラムやデータなどが適宜記憶される。これらのCPU351、ROM352、およびRAM353は、バス354により相互に接続されている。
【0360】
CPU351にはまた、バス354を介して入出力インタフェース355が接続されている。入出力インタフェース355には、キーボード、マウス、マイクロホンなどよりなる入力部356、ディスプレイ、スピーカなどよりなる出力部357が接続されている。CPU351は、入力部356から入力される指令に対応して各種の処理を実行する。そして、CPU351は、処理の結果を出力部357に出力する。
【0361】
入出力インタフェース355に接続されている記憶部358は、例えばハードディスクからなり、CPU351が実行するプログラムや各種のデータを記憶する。通信部359は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【0362】
また、通信部359を介してプログラムを取得し、記憶部358に記憶してもよい。
【0363】
入出力インタフェース355に接続されているドライブ360は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア361が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部358に転送され、記憶される。
【0364】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図41に示されるように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(compact disc-read only memory),DVD(digital versatile disc)を含む)、光磁気ディスク(MD(mini-disc)を含む)、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア361、または、プログラムが一時的もしくは永続的に記録されるROM352や、記憶部358を構成するハードディスクなどにより構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデムなどのインタフェースである通信部359を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【0365】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0366】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0367】
さらに、本実施の形態は、上述した第1及び第2の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【0368】
本発明によれば、従来はCGの一部を変更して放送などに使用する場合には、CG制作アプリケーションソフトウェアによる編集加工を施し、その後にレンダリングして画像データを作成して利用していたが、そのような労力を費やさずに、パラメータ指定情報で指定するパラメータを、使いやすい操作手段で操作変更し、それが反映された画像を直ちに得ることができる。
【0369】
操作手段は使いやすい回転ノブ(調整つまみ43)やジョイスティック44などであるが、操作卓21などに配置できるこれら操作手段の数は限定されている。本発明によれば、これら限定された数の操作手段を、運用目的ごとに対応付けるCGパラメータを変更できるため、操作性を維持したまま、様々な調整に使用できる。
【0370】
同じCG素材(CG記述データ)を同じ操作手段で操作しても、目的に応じた異なる操作結果を得ることができ、様々な運用に適した運用が可能となる。
【0371】
CG作品であるCG記述データは、複数保持できる。それぞれに、派生情報ファイルを複数設けることができる。各派生情報ファイルは、ただ1つのCG記述データと関連づけられているため、派生情報ファイル1つを指定してロードさせることで、CG記述データを間違いなくロードすることができ、かつ、派生情報ファイルの内容にしたがって、操作手段を操作して所望のパラメータを制御する機能を働かせることができ、またビデオテクスチャマッピングを所望の面に施す事ができる。
【0372】
CG記述データと派生情報ファイルを分離することで、サイズも小さく扱いやすい派生情報ファイルを増やしていくことで、1つのCG記述データから様々な画像を生成でき、様々な操作が可能となる。
【0373】
各派生情報ファイルには、複数のパラメータの値を保持しているファイルを、対応付けて、本発明の装置に保持させるようにすることができる。また、パラメータ値の保持を、派生情報ファイル自体の中に書き込んで実現する様に構成してもよい。
【0374】
さらに、パラメータ指定情報にアニメーション時刻を対応付け、アニメーション時刻を操作対象として生成されるCGを制御することもできる。この場合、パラメータとしては実数値(実装上は浮動小数点値)を使用する。また、1つのCG記述データ中に複数のタイムラインアニメーションが存在する場合は、設定する各パラメータ指定情報に、一部のタイムラインを選択してアニメーション時刻を制御対象にするように指定することもでき、例えば複数のオブジェクトが移動するアニメーション作品において、一部のオブジェクトのみを移動させる操作ができるように構成することもできる。
【0375】
操作対象となるパラメータを初期値に戻す機能を持たせることができるが、アニメーションを含むCG記述データの場合、画像生成している現在時刻を常に保持しているので、初期値としては、その現在時刻に対応するCGの内容の値とすることができ、つまり、アニメーションの最初の状態ではなく、現在時刻に対応した状態に初期化する機能を設けることができる。
【0376】
CG制作アプリケーションソフトウェアでは、CG作品に含まれるすべてのパラメータを操作できる。一方、本発明のパラメータ指定情報を用いた制御では、操作できるのは派生情報ファイルに設定した一部のパラメータのみであるが、このように制御可能なパラメータを限定することで、放送に使用するスイッチャのような毎フレームあるいは毎フィールド制御の通信を行うリアルタイムシステムにおいて、そのシステムのリアルタイム性(画像フレームとの同期性)を維持したまま、CGのパラメータを操作することができる。
【0377】
また、CG制作アプリケーション・ソフトウェアでは、グラフィカルユーザーインターフェースを用いた場合でも非常に複雑な操作が必要となり、わずかな変更を施したい場合でも、多数のメニュー表示などの中から選んで操作する必要がある。本発明では、使い慣れた操作手段に限定して対応付けたパラメータを操作可能とすることで、パーソナルコンピュータのアプリケーションソフトウェアを操作するような複雑さがなく、少数の操作手段を操作することになり、したがって、生放送においても、誤操作の少ない確実な操作制御手段を提供できる。また、比較的高価なノブ(回転ダイヤル)や押しボタンスイッチであって耐久性に優れたものを使用できる。
【0378】
派生情報ファイルを指定してCGをロードさせる方式を提供することで、従来、ビデオクリップサーバに格納されている多数のビデオ素材から1つをファイル選択して利用したのと同様の操作感で、1つの基になるCG記述データから派生するCG素材を使用できるようになり、したがって運用時の混乱無く、他種類のCG素材を使用できる。
【0379】
CG記述データを単純に選択してロードし、CG画像を生成する手法と比べると、本発明には次の様な特徴がある。すなわち、派生情報ファイルそのものが、基のCG記述データに対して修飾を加えるものであり、派生情報ファイルのみを選択してCG画像を生成させることが可能となるので、ユーザからの見た目では、派生情報ファイルが新たな派生CGであるかのように扱えるため、取り扱いやすい。
【0380】
CG記述データは、ある意味ではコンピュータが画像の描画処理を行う手順を規定するものであり、プログラムの一種であるとも言え、この視点から本発明を説明すると、プログラミングにおけるオブジェクト指向プログラミングの基本クラスと派生クラスとの関係をCGに適用し、基のCG記述データと派生情報ファイルとの関係として構築したものである。
【0381】
したがって、プログラミングにおいて、派生クラスの作成により様々な拡張が可能であるのと同様に、本発明の派生情報ファイルには基のCG記述データを修飾、加工、拡張するためのあらゆる記述を含めることが可能である。
【0382】
例えばアニメーションの特定時刻あるいは状態に対してオーディオの出力を付随させることや、その他の機器の動作を連動させること、タイムラインの加工など、用途に応じたさまざまな用途に応用できる。
【0383】
本発明によれば、放送などの運用に使用するCG画像生成のシステムとして、CG制作アプリケーションソフトウェアを含まないで構築できる。すなわち、CG作品の制作は、各CG制作者(アーティスト)がパーソナルコンピュータを用いて行う。そして、作成したCG記述データと関連ファイル(静止画のテクスチャファイルやシェーダ)のみを納品し、納品を受けた放送局では、これらをCG合成システム1等に格納し、派生情報ファイルを作成して運用するCGの操作の仕方などの修飾情報を加えて、運用(放送)に使用できる。
【0384】
CG制作アプリケーションソフトウェアは高機能であるが、そのため、使用中にコンピュータに悪影響を与える場合があり、放送運用に使うシステム上で動作させるのは不適当である。本発明では、このようなソフトウェアを動作させる必要なく、派生情報ファイルによる一部の変更という利点を残して、安定した放送運用にCG作品を使用できる。
【符号の説明】
【0385】
1 CG合成システム, 21 操作卓, 22 CG画像生成装置, 23 画像合成装置, 81 制御部, 82 CG生成部, 83 CG記述データ記憶部, 84 派生情報生成部, 85 派生情報記憶部, 86 ロード指示部, 87 画像生成部, 87a 作業メモリ, 101 CG合成システム, 121 CG生成装置, 122 CG記述データ記憶部, 123 CG画像生成装置, 141 CG合成システム, 161 CG画像生成装置, 162 スイッチャ, 181 画像生成部, 181a 作業メモリ, 201 マトリクススイッチ, 202 合成処理部, 221a乃至221m クロスポイントスイッチ, 222a乃至222m バスライン, 241 CG合成システム, 261 派生情報生成装置, 262 派生情報記憶部, 263 CG画像生成装置, 281 CG合成システム, 301 派生情報生成装置, 301a 派生情報記憶部

【特許請求の範囲】
【請求項1】
CG(Computer Graphics)素材を編集可能な保存形式であるCG記述データが、画像の生成に使用するために展開される作業用記憶手段と、
前記作業用記憶手段の内容への制御を記述した情報を表す派生情報に従って、前記作業用記憶手段の一部への書き込み動作を制御する更新制御手段と、
前記作業用記憶手段の内容に基づいて、CG画像を生成する画像生成手段と
を含む画像処理装置。
【請求項2】
前記派生情報には、前記CG記述データに含まれる複数のパラメータのうちのいずれか1つ以上を調整対象パラメータとして指定するパラメータ指定情報が含まれており、
前記更新制御手段は、前記作業用記憶手段に展開されている前記CG記述データに含まれる前記調整対象パラメータが、ユーザの調整操作に応じた値となるように、前記作業用記憶手段の一部への書き込み動作を制御する
請求項1に記載の画像処理装置。
【請求項3】
前記派生情報には、前記CG記述データに含まれる複数のパラメータのうちのいずれかを所定の値に調整させることを指示するパラメータ値指示情報が含まれており、
前記更新制御手段は、さらに、前記パラメータ値指示情報に従って、対応するパラメータが、前記所定の値となるように、前記作業用記憶手段の一部への書き込み動作を制御する
請求項2に記載の画像処理装置。
【請求項4】
ユーザにより操作される複数のパラメータ操作手段をさらに含み、
前記パラメータ指定情報は、前記複数の操作手段のうち、前記調整対象パラメータを調整するためのパラメータ操作手段も指定し、
前記更新制御手段は、前記パラメータ指定情報により指定された前記パラメータ操作手段に対して前記ユーザの調整操作が行われたことに対応して、前記調整対象パラメータが、前記ユーザの調整操作に応じた値となるように、前記作業用記憶手段の一部への書き込み動作を制御する
請求項3に記載の画像処理装置。
【請求項5】
前記更新制御手段は、前記調整対象パラメータが、保持されている前記ユーザの調整操作により以前に調整された複数の値のうち、前記ユーザの指示操作により指示された値となるように、前記作業用記憶手段の一部への書き込み動作を制御する
請求項2に記載の画像処理装置。
【請求項6】
前記更新制御手段は、前記ユーザの初期化操作に応じて、前記調整対象パラメータが、調整前の前記CG記述データに含まれていた前記調整対象パラメータとなるように、前記作業用記憶手段の一部への書き込み動作を制御する
請求項2に記載の画像処理装置。
【請求項7】
前記派生情報を保持する派生情報保持手段と、
前記ユーザの更新操作に応じて、前記派生情報に含まれる前記パラメータ値指示情報を更新する更新手段と
をさらに含み、
前記派生情報保持手段は、更新後の前記パラメータ値指示情報を含む前記派生情報を保持する
請求項3に記載の画像処理装置。
【請求項8】
1又は複数の前記CG記述データを予め保持するCG記述データ保持手段と、
1又は複数の前記CG記述データのうち、前記派生情報保持手段から読み出された前記派生情報に対応するCG記述データを読み出す読み出し手段と、
前記CG記述データ保持手段から読み出された前記CG記述データに含まれる前記複数のパラメータのうち、前記派生情報保持手段から読み出された前記派生情報に含まれる前記パラメータ指定情報より指定されるパラメータを前記調整対象パラメータとして設定する設定手段と
をさらに含む請求項7に記載の画像処理装置。
【請求項9】
前記派生情報には、対応するCG記述データを識別するための識別情報が含まれており、
前記読み出し手段は、前記派生情報保持手段から読み出された前記派生情報に含まれる前記識別情報により識別されるCG記述データを読み出す
請求項8に記載の画像処理装置。
【請求項10】
前記派生情報と、対応する前記CG記述データを対応付けるリンク情報を予め保持するリンク情報保持手段をさらに含み、
前記読み出し手段は、前記リンク情報に基づいて、前記派生情報保持手段から読み出された前記派生情報に対応するCG記述データを読み出す
請求項8に記載の画像処理装置。
【請求項11】
前記読み出し手段は、前記派生情報保持手段から読み出された前記派生情報に対応するCG記述データとして、前記ユーザの選択操作により選択されたCG記述データを読み出す
請求項8に記載の画像処理装置。
【請求項12】
CG(Computer Graphics)画像を生成する画像処理装置の画像処理方法において、
前記画像処理装置は、
作業用記憶手段と、
更新制御手段と、
画像生成手段と
を含み、
前記更新制御手段が、CG素材を編集可能な保存形式であるCG記述データが、画像の生成に使用するために展開される作業用記憶手段の内容への制御を記述した情報を表す派生情報に従って、前記作業用記憶手段の一部への書き込み動作を制御し、
前記画像生成手段が、前記作業用記憶手段の内容に基づいて、CG画像を生成する
ステップを含む画像処理方法。
【請求項13】
コンピュータを、
CG(Computer Graphics)素材を編集可能な保存形式であるCG記述データが、画像の生成に使用するために展開される作業用記憶手段の内容への制御を記述した情報を表す派生情報に従って、前記作業用記憶手段の一部への書き込み動作を制御する更新制御手段と、
前記作業用記憶手段の内容に基づいて、CG画像を生成する画像生成手段と
して機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図40】
image rotate

【図41】
image rotate


【公開番号】特開2011−223218(P2011−223218A)
【公開日】平成23年11月4日(2011.11.4)
【国際特許分類】
【出願番号】特願2010−89028(P2010−89028)
【出願日】平成22年4月7日(2010.4.7)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】