画像処理装置および画像処理方法
【課題】ＣＧ画像の所望の面に、任意のタイミングで所望の画像を選択して合成可能とする。
【解決手段】表面指定手段１２０において、操作者は、所定の属性の値（名称）を設定する等して、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面を指定できる。画像選択操作手段１７０において、操作者は、マトリクススイッチ１６０の出力バスライン１６１に対応させた押しボタン列を押圧操作して、画像マッピング手段１５０に入力されるテクスチャマッピング用の画像データＬを任意のタイミングで変更できる。画像データＬが変更されることで、ＣＧ画像の所定のポリゴン表面にテクスチャマッピングされる画像が変更される。
【解決手段】表面指定手段１２０において、操作者は、所定の属性の値（名称）を設定する等して、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面を指定できる。画像選択操作手段１７０において、操作者は、マトリクススイッチ１６０の出力バスライン１６１に対応させた押しボタン列を押圧操作して、画像マッピング手段１５０に入力されるテクスチャマッピング用の画像データＬを任意のタイミングで変更できる。画像データＬが変更されることで、ＣＧ画像の所定のポリゴン表面にテクスチャマッピングされる画像が変更される。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関し、特に、コンピュータグラフィクス画像に画像データによる画像をテクスチャマッピングして画像合成を行う画像処理装置等に関する。
【背景技術】
【０００２】
３次元グラフィックスシステムにおいては、３次元座標を３角形などのポリゴン（多角形）に分解し、そのポリゴンを描画することで、画像全体の描画が行われる。したがって、この場合、３次元画像は、ポリゴンの組み合わせで定義されていると言える。ところで、身の回りにある物体表面は、複雑な模様の繰り返しパターンを有することが多く、模様やパターンが複雑で細かくなるほど、各模様やパターンを３角形などでモデリングすることは困難となる。そこで、これを解決する手段として、テクスチャマッピング（Texture Mapping）が用いられる。
【０００３】
テクスチャマッピングは、スキャナ等で取り込んだイメージデータを、物体表面に貼り付けることにより、少ない頂点数で、リアリティの高い画像を実現するもので、オブジェクト（Object）座標系からテクスチャ（Texture ）座標系への写像を定義し、さらに、ウインドウ（Window）座標系からテクスチャ座標系への写像を求めて、ウインドウ座標系における各ピクセル（Pixel, Picture Cell Element ）に対応するテクスチャの要素であるテクセル（Texel, Texture Cell Element ）を求める。
【０００４】
テクスチャに利用される画像データは、テクスチャメモリと呼ばれるメモリ領域に格納される。したがって、動画像データを用いてテクスチャメモリを随時更新する処理を行うと、動画像によるテクスチャマッピング処理が可能となる。
【０００５】
例えば、特許文献１には、テクスチャ座標の制御により、三次元ＣＧへのテクスチャマッピングを時間の経過とともに、ある画像から異なる画像へ遷移（Transition）させる、３次元特殊効果装置が記載されている。
【０００６】
また、例えば特許文献２には、コンピュータグラフィクスと実写映像とを合成する技術であって、領域の指定や、テクスチャマッピングする映像の再生開始時刻およびフレームとの対応を指定し、時間軸上で所望のフレーム貼り付けを実現する、画像列生成方法が記載されている。
【０００７】
また、例えば、特許文献３には、３Ｄ ＣＧへの動画のテクスチャマッピング状態と、動画のみの表示とをシームレスに遷移する制御を実現する、描画装置が記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−３６９０７６号公報
【特許文献２】特開２０００−１５２０７９号公報
【特許文献３】特開２００１−０１４４８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
近年は、作成されたコンピュータグラフィクス画像を、状況に応じて、アニメーション動作させること、あるいは一部のパラメータを変化させて、生成されるコンピュータグラフィクス画像を変化させることが行われるようになった。予め合成結果の画像を作って保存利用するのではなく、生放送においても、このような技術が使われるようになっている。このコンピュータグラフィクス画像中にテクスチャマッピングする画像についても、状況に応じて選択可能であることが望まれている。
【００１０】
従来技術では、放送などへの提供前に時間を掛けて画像を合成しておくことが標準的であったため、このような希望に応えていない。例えば、３個のオブジェクトが描画され、それらがアニメーションにより画面中を移動するようなＣＧについて、それぞれのオブジェクトの表面に任意のタイミングで所望の画像Ｖ１，Ｖ２をテクスチャマッピングするような運用が望まれる場合、従来技術では、操作が困難であった。
【００１１】
例えば、図２３（ａ）〜（ｄ）は、３個のオブジェクトＯＢ１〜ＯＢ３が描画され、それらがアニメーションにより画面中を移動するようなＣＧ画像例を示している。そして、図２４（ａ）〜（ｄ）は、上述の３個のオブジェクトＯＢ１〜ＯＢ３の面に、任意のタイミングで所望の画像Ｖ１，Ｖ２をテクスチャマッピングした例を示している。
【００１２】
ＣＧデータの作成工程は時間を掛けて行われる。一方、テクスチャマッピングされる画像の内容については、この段階では予期できない。
【００１３】
この発明の目的は、コンピュータグラフィクス画像の所望の面に、任意のタイミングで所望の画像を選択して合成可能とすることにある。
【課題を解決するための手段】
【００１４】
この発明の概念は、
複数の入力画像データから１つの画像データを選択的に取り出す画像選択手段と、
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像データを生成する画像生成手段と、
上記コンピュータグラフィクス記述データ中のポリゴン集合を選択肢として所定のポリゴンの表面を指定する表面指定手段と、
上記画像生成手段が描画するポリゴンの表面のうち、上記表面指定手段で指定された上記所定のポリゴンの表面に、上記画像選択手段で取り出された画像データによる画像をテクスチャマッピングする画像マッピング手段と
を備える画像処理装置にある。
【００１５】
この発明において、画像選択手段により、複数の入力画像データから１つの画像データが選択的に取り出される。また、画像生成手段により、コンピュータグラフィクス記述データに基づいて、コンピュータグラフィクス画像が生成される。この場合、３次元座標が３角形等のポリゴン（多角形）に分解され、そのポリゴンが描画されることで、画像全体の描画が行われる。
【００１６】
また、コンピュータグラフィクス記述データ中のポリゴンの表面が選択肢とされ、所定のポリゴンの表面が指定される。例えば、コンピュータグラフィクス記述データ中の所定の属性の値（名称）の選択により所定のポリゴンの表面が指定される。ここで、所定の属性は、例えば、ノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等である。コンピュータグラフィクス記述データ中において、各所定の属性の値とポリゴンの表面の対応付けが、定義されている。
【００１７】
そして、画像マッピング手段により、画像生成手段が描画するポリゴンの表面のうち、表面指定手段で指定された所定のポリゴンの表面に、画像選択手段で取り出された画像データによる画像がテクスチャマッピングされる。このテクスチャマッピングの動作は、画像選択手段からの画像データの流れ（フレームの連鎖）に従い、画像フレームを継続して更新してテクスチャマッピングの描画を行う。
【００１８】
このように、画像選択手段により複数の入力画像データから１つの画像データが選択的に取り出される。そして、この１つの画像データによる画像が、表面指定手段で指定された所定のポリゴンの表面に、テクスチャマッピングされる。そのため、画像選択手段で取り出される画像データの変化により、テクスチャマッピングされる画像が変化する。この一連の動作はすべて、入力画像データを一定の遅延の範囲内で処理するので、本装置を生放送で使用できるようになっている。すなわち、本装置への入力画像が出力に反映されるまでの遅延は一定のフレーム数以下となる。したがって、操作者は、コンピュータグラフィクス画像の所望の面に、任意のタイミングで所望の画像を選択して合成できる。
【００１９】
この発明において、例えば、画像選択手段を複数備え、表面指定手段は、画像選択手段毎に、コンピュータグラフィクス記述データ中のポリゴンの表面を選択肢として所定のポリゴンの表面を指定し、画像マッピング手段は、画像生成手段が描画するポリゴンの表面のうち、表面指定手段で画像選択手段毎に指定された所定のポリゴンの表面に、対応する画像選択手段で取り出された画像データによる画像をテクスチャマッピングする、ようにしてもよい。
【００２０】
この場合、例えば、表面指定手段により、複数の画像選択手段で取り出される画像データを識別する画像識別子と表面指定を対応付ける画像割り当てテーブルが設定され、画像マッピング手段では、この画像割り当てテーブルに基づいて、テクスチャマッピングの処理が行われる。この場合、コンピュータグラフィクス画像の複数の面に、それぞれ、任意のタイミングで所望の画像を選択して合成できる。
【００２１】
また、この発明において、例えば、画像選択手段を複数備える場合にあって、表面指定手段により表面指定が行われた画像選択手段に対応して、表面指定情報を表示する表示手段をさらに備える、ようにしてもよい。この場合、操作者は、各画像選択手段で取り出される画像データによる画像がテクスチャマッピングされるコンピュータグラフィクス画像の面がいかなる情報で指定されているかを容易に知ることができる。
【発明の効果】
【００２２】
この発明によれば、複数の入力画像データから１つの画像データを選択的に取り出し、この取り出された画像データによる画像を、指定された所定のポリゴンの表面にテクスチャマッピングするものであり、コンピュータグラフィクス画像の所望の面に、任意のタイミングで所望の画像を選択して合成することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】第１の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】マテリアルが持つ表面情報の例を示す図である。
【図３】画像選択操作手段（操作卓）の外観の一例を示す図である。
【図４】画像生成手段および画像マッピング手段の具体的な構成例を示すブロック図である。
【図５】画像生成手段および画像マッピング手段の機能ブロックの構成例を示す図である。
【図６】テクスチャマッピングを行う際のテクスチャ画像とＵＶマップの一例を示す図である。
【図７】表面指定手段のＧＵＩ表示例を示す図である。
【図８】表面指定手段の処理手順を概略的に示すフローチャートである。
【図９】画像マッピング手段の処理手順を概略的に示すフローチャートである。
【図１０】第２の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図１１】操作卓の一例の外観を示す図である。
【図１２】出力バスラインのアサイン時に表示されるＧＵＩ表示例および出力バスラインのセレクト時に表示されるＣＵＩ表示例を示す図である。
【図１３】出力バスラインのバス番号とマッピング入力Ｔ１〜Ｔ４との対応を示すマッピング入力対応テーブルの一例を示す図である。
【図１４】マッピング入力Ｔ１〜Ｔ４と属性の値（名称）との対応関係を示す画像割り当てテーブルの一例を示す図である。
【図１５】画像選択操作手段の処理手順を概略的に示すフローチャートである。
【図１６】表面指定手段の処理手順を概略的に示すフローチャートである。
【図１７】画像マッピング手段の処理手順を概略的に示すフローチャートである。
【図１８】画像生成手段に画像割り当てーブルが設定されるまでの通信シーケンスを示すシーケンス図である。
【図１９】複数のオブジェクトの面にテクスチャマッピングされる画像が所定のタイミングで変更される例を説明するための図である。
【図２０】操作卓の他の例の外観を示す図である。
【図２１】押しボタン列（指定ボタン列）のアサイン時に表示されるＧＵＩ表示例を示す図である。
【図２２】画像処理装置の変形例を示すブロック図である。
【図２３】３個のオブジェクトＯＢ１〜ＯＢ３が描画され、それらがアニメーションにより画面中を移動するようなＣＧ画像例を示す図である。
【図２４】３個のオブジェクトＯＢ１〜ＯＢ３に対して、任意のタイミングで所望の画像をテクスチャマッピングした例を示す図である。
【発明を実施するための形態】
【００２４】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例
【００２５】
＜１．第１の実施の形態＞
［画像処理装置の構成］
この発明の第１の実施の形態を説明する。図１は、第１の実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、ＣＧ（Computer Graphics：コンピュータグラフィクス）制作手段１１０と、表面指定手段１２０と、ネットワーク１３０と、画像生成手段１４０と、画像マッピング手段１５０を有している。また、この画像処理装置１００は、マトリクススイッチ１６０と、画像選択操作手段１７０を有している。ＣＧ制作手段１１０、表面指定手段１２０および画像生成手段１４０は、それぞれネットワーク１３０に接続されている。
【００２６】
ＣＧ制作手段１１０は、ＣＧ制作ソフトウェアを持つパーソナルコンピュータ（ＰＣ：Personal Computer）により構成されている。このＣＧ制作手段１１０は、所定のフォーマットのＣＧ記述データを出力する。ＣＧ記述データのフォーマットとして、例えばＣｏｌｌａｄａ（登録商標）がある。Ｃｏｌｌａｄａは、ＸＭＬ（Extensible Markup Language）の上で３ＤのＣＧデータの交換を実現するための記述定義である。ＣＧ記述データには、例えば、以下のような情報が記述される。
【００２７】
（ａ）マテリアルの定義
このマテリアルの定義は、ＣＧオブジェクトの表面の質（見え方）である。このマテリアルの定義には、色、反射の仕方、発光、凹凸などの情報が含まれる。また、このマテリアルの定義には、テクスチャマッピングの情報が含まれる場合がある。テクスチャマッピングとは、上述したように、画像をＣＧオブジェクトに貼り付ける手法であり、処理系の負荷を比較的軽くしつつ、複雑な模様などを表現できる。図２は、マテリアルが持つ表面情報の例を示している。なお、色の代わりにテクスチャマッピングを指定する場合もある。
【００２８】
（ｂ）幾何学情報 Geometry の定義
この幾何学情報 Geometry の定義には、ポリゴンメッシュについての、位置座標、頂点の座標などの情報が含まれる。
（ｃ）カメラの定義
このカメラの定義には、カメラのパラメータが含まれる。
【００２９】
（ｄ）アニメーションの定義
このアニメーションの定義には、アニメーションの各キーフレームにおける、様々な値の情報が含まれる。また、このアニメーションの定義には、アニメーションの各キーフレームにおける時刻の情報が含まれる。様々な情報とは、例えば、対応するオブジェクト（ノード）のキーフレーム点の時刻、位置や頂点の座標値、サイズ、接線ベクトル、補間方法、各種情報のアニメーション中の変化等の情報である。
（ｅ）シーン中のノード（オブジェクト）の位置、方向、大きさ、対応する幾何学情報定義、対応するマテリアル定義
【００３０】
これらの情報は、ばらばらではなく、例えば、以下のように対応付けられている。
・ノード・・・幾何学情報
・ノード・・・マテリアル（複数）
・幾何学情報・・・ポリゴン集合（複数）
・ポリゴン集合・・・マテリアル（ノードに対応するうちの一つ）
・アニメーション・・・ノード
【００３１】
一つの画面を構成する記述はシーンと呼ばれる。各定義はライブラリと呼ばれ、シーンの中から参照される。例えば、直方体のオブジェクトが２つ存在する場合、それぞれが一つのノードとして記述され、各ノードにマテリアル定義のいずれかが連想される。この結果、各直方体のオブジェクトにはマテリアル定義が連想され、各マテリアル定義に従った色や反射特性で描画される。
【００３２】
あるいは、直方体のオブジェクトは複数のポリゴン集合で記述され、ポリゴン集合にマテリアル定義が連想されている場合は、ポリゴン集合毎に、異なるマテリアル定義で描画される。例えば、直方体の面は６つであるが、このうちの３つの面で一つのポリゴン集合、１つの面で１つのポリゴン集合、２つの面で一つのポリゴン集合、というように、直方体のオブジェクトが３つのポリゴン集合で記述される場合もある。各ポリゴン集合に異なるマテリアル定義を連想できるため、面毎に異なる色で描画させることも可能である。
【００３３】
マテリアル定義にテクスチャマッピングが指定されている場合は、連想されているオブジェクトの面に、画像データによる画像がテクスチャマッピングされる。
この実施の形態では、後述するように、例えば、マテリアル定義に対して入力画像をテクスチャマッピングするように設定される。そのため、直方体のオブジェクトの全ての面に同じ入力画像をテクスチャマッピングすることもでき、面毎に異なる入力画像をテクスチャマッピングすることもできる。
【００３４】
以下は、ＣＧ記述データとしてのColladaファイルのサンプル（一部の抜粋例）を示している。例えば、このサンプルでは、“01MatDefault”という名前（値）のマテリアルが定義されている。そして、このマテリアルの実際の内容は、“01MatDefault-fx”のエフェクトを参照すべきことが記述されている。また。このサンプルでは、<library_visual_scenes>において、“#Box01-lib”の幾何学情報定義に対して“01MatDefault”のマテリアル定義を結びつけて、描画することが記述されている。
【００３５】
［Colladaファイルのサンプル］
<library_materials>
<material id="01MatDefault" name="01MatDefault"> マテリアル定義
<instance_effect url="#01MatDefault-fx"/> エフェクトを参照
</material>
</library_materials>
<library_effects>
<effect id="01MatDefault-fx"name="01MatDefault"> これがマテリアルの内容
<profile_COMMON>
<technique sid="standard">
<phong>
<emission>
<color sid="emission">0.000000 0.000000 0.0000001.000000</color>
</emission>
<ambient> ここで色が付いている
<color sid="ambient">0.588235 0.952941 0.921569 1.000000</color>
</ambient>
<diffuse>
<color sid="diffuse">0.588235 0.952941 0.9215691.000000</color>
</diffuse>
<specular>
<color sid="specular">0.000000 0.000000 0.000000 1.000000</color>
</specular>
<shininess>
<float sid="shininess">2.000000</float>
</shininess>
<reflective>
<color sid="reflective">0.000000 0.000000 0.0000001.000000</color>
</reflective>
<reflectivity>
<float sid="reflectivity">1.000000</float>
</reflectivity>
<transparent>
<color sid="transparent">1.000000 1.000000 1.0000001.000000</color>
</transparent>
<transparency>
<float sid="transparency">0.000000</float>
</transparency>
</phong>
</technique>
</profile_COMMON>
</effect>
</library_effects>
<library_geometries>
<geometry id="Box01-lib" name="Box01Mesh">
<mesh>
<source id="Box01-lib-Position">
<float_array id="Box01-lib-Position-array"count="24"> 位置情報の配列
-4.673016-8.585480 0.000000
4.673016-8.585480 0.000000
-4.6730168.585480 0.000000
4.6730168.585480 0.000000
-4.673016-8.585480 10.185543
4.673016-8.585480 10.185543
-4.6730168.585480 10.185543
4.6730168.585480 10.185543
</float_array>
<technique_common>
<accessor source="#Box01-lib-Position-array" count="8"stride="3">
<param name="X" type="float"/> 位置情報の配列の並びの説明
<param name="Y" type="float"/>
<param name="Z" type="float"/>
</accessor>
</technique_common>
</source>
<source id="Box01-lib-UV0">
<float_array id="Box01-lib-UV0-array" count="24"> UV座標の配列
0.0000000.000000 単純な立方体なので、0 と 1 しかない。
1.0000000.000000
0.0000001.000000
1.0000001.000000
0.0000000.000000
1.0000000.000000
0.0000001.000000
1.0000001.000000
0.0000000.000000
1.0000000.000000
0.0000001.000000
1.0000001.000000
</float_array>
<technique_common>
<accessor source="#Box01-lib-UV0-array" count="12"stride="2">
UV座標の説明
<param name="S" type="float"/>
<param name="T" type="float"/>
</accessor>
</technique_common>
</source>
<vertices id="Box01-lib-Vertex">
<input semantic="POSITION"source="#Box02-lib-Position"/>
</vertices>
<polygons material="01MatDefault" count="12">
<input semantic="VERTEX" offset="0"source="#Box01-lib-Vertex"/>
<input semantic="NORMAL" offset="1"source="#Box01-lib-Normal0"/>
<input semantic="TEXCOORD" offset="2" set="0"source="#Box01-lib-UV0"/>
<p>0 0 9 2 1 11 3 2 10</p> 頂点情報
<p>3 3 10 1 4 8 0 5 9</p>
<p>4 6 8 5 7 9 7 8 11</p>
<p>7 9 11 6 10 10 4 11 8</p>
<p>0 12 4 1 13 5 5 14 7</p>
<p>5 15 7 4 16 6 0 17 4</p>
<p>1 18 0 3 19 1 7 20 3</p>
<p>7 21 3 5 22 2 1 23 0</p>
<p>3 24 4 2 25 5 6 26 7</p>
<p>6 27 7 7 28 6 3 29 4</p>
<p>2 30 0 0 31 1 4 32 3</p>
<p>4 33 3 6 34 2 2 35 0</p>
</polygons>
</mesh>
</geometry>
</library_geometries>
<library_animations>
<animation id="Box01-anim" name="Box01">
<animation>
<sourceid="Box01-translate-animation-inputX">
<float_array id="Box01-translate-animation-inputX-array"count="4">
0.0000001.000000 1.033333 1.333333 アニメーションでの X 座標値の変化の時刻
</float_array>
<technique_common>
<accessor source="#Box01-translate-animation-inputX-array"count="4">
<param name="TIME" type="float"/>
</accessor>
</technique_common>
</source>
<source id="Box01-translate-animation-outputX">
<float_arrayid="Box01-translate-animation-outputX-array" count="4">
-43.404125-43.404125 -23.897228 13.150181 アニメーションの X 座標値そのもの
</float_array>
<technique_common>
<accessor source="#Box01-translate-animation-outputX-array" count="4">
<param name="X" type="float"/>
</accessor>
</technique_common>
</source>
<source id="Box01-translate-animation-intanX">
<float_array id="Box01-translate-animation-intanX-array"count="4">
0.0000000.000000 1.884578 -0.000000
</float_array>
<technique_common>
<accessor source="#Box01-translate-animation-intanX-array"count="4">
<param name="X" type="float"/>
</accessor>
</technique_common>
</source>
<source id="Box01-translate-animation-outtanX">
<float_array id="Box01-translate-animation-outtanX-array"count="4">
0.0000000.000000 16.961202 0.000000
</float_array>
<technique_common>
<accessor source="#Box01-translate-animation-outtanX-array"count="4">
<param name="X" type="float"/>
</accessor>
</technique_common>
</source>
<source id="Box01-translate-animation-interpolationX">
<Name_array id="Box01-translate-animation-interpolationX-array"count="4">
BEZIER BEZIER BEZIER BEZIER
</Name_array>
<technique_common>
<accessor source="#Box01-translate-animation-interpolationX-array"count="4">
<param type="name"/>
</accessor>
</technique_common>
</source>
<sampler id="Box01-translate-animationX">
<input semantic="INPUT"source="#Box01-translate-animation-inputX"/>
<input semantic="OUTPUT"source="#Box01-translate-animation-outputX"/>
<input semantic="IN_TANGENT"source="#Box01-translate-animation-intanX"/>
<input semantic="OUT_TANGENT"source="#Box01-translate-animation-outtanX"/>
<input semantic="INTERPOLATION"source="#Box01-translate-animation-interpolationX"/>
</sampler>
<channel source="#Box01-translate-animationX"target="Box01/translate.X"/>以上が何のアニメーション情報であるかをここで決定（target）している
</animation>
<library_visual_scenes>
<visual_scene id="RootNode" name="RootNode">
<node id="Box01" name="Box01">
<translate sid="translate">-43.404125 0.6970370.000000</translate>
<rotate sid="rotateZ">0 0 1 0.000000</rotate>
<rotate sid="rotateY">0 1 00.000000</rotate>
<rotate sid="rotateX">1 0 0 0.000000</rotate>
<scale sid="scale">1.000000 1.000000 1.000000</scale>
<instance_geometry url="#Box01-lib"> 幾何学情報定義の参照
<bind_material>
<technique_common>
<instance_material symbol="01MatDefault"target="#01MatDefault"/> マテリアル参照
</technique_common>
</bind_material>
</instance_geometry>
</node>
</visual_scene>
</library_visual_scenes>
【００３６】
図１に戻って、マトリクススイッチ１６０は、複数の入力画像データから一つの画像データを選択的に取り出す画像選択手段を構成している。このマトリクススイッチ１６０は、９本の入力ラインと、４本の出力バスライン１６１〜１６４と、クロスポイントスイッチ群１６５〜１６８とにより構成されている。
【００３７】
９本の入力ラインは図で一方向に配列されており、それぞれにはＶＴＲ、ビデオカメラ等から画像データが入力される。４本の出力バスライン１６１〜１６４は、入力ラインと交差して他方向に配列されている。クロスポイントスイッチ群１６５は、９本の入力ラインと出力バスライン１６１とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群１６５が制御され、９本の入力ラインに入力された画像データのいずれかが出力バスライン１６１に選択的に出力される。この出力バスライン１６１は、テクスチャマッピング用の画像データＬの出力ライン（補助出力ライン）を構成する。
【００３８】
また、クロスポイントスイッチ群１６６，１６７，１６８は、それぞれ、９本の入力ラインと出力バスライン１６２，１６３，１６４とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群１６６，１６７，１６８が制御され、９本の入力ラインに入力された画像データのいずれかが出力バスライン１６２，１６３，１６４に選択的に出力される。この出力バスライン１６２，１６３，１６４は、外部出力用の画像データOUT1，OUT2，OUT3の出力ラインを構成する。
【００３９】
なお、クロスポイントスイッチ群１６５〜１６８の各クロスポイントスイッチのオンオフ動作は、フレームデータの連続からなる画像データを切り替えるものであることから、フレームの切れ目である垂直ブランキング区間内に行われる。
【００４０】
画像選択操作手段１７０は、上述のマトリクススイッチ１６０への指示の操作入力を受ける。この画像選択操作手段１７０は、各出力バスラインにそれぞれ対応した押しボタン列からなり、各ボタンが各入力ラインに対応した構成とされている。
【００４１】
図３は、画像選択操作手段（操作卓）１７０の外観の一例を示している。この画像選択操作手段１７０には、出力バスライン１６１〜１６４にそれぞれ対応した左右方向に延びる押しボタン列１７１〜１７４が上下方向に並ぶように設けられている。各押しボタン列は、入力ラインのそれぞれと対応する出力バスラインとの接続を選択する択一式の押しボタンにより構成されており、選択された押しボタンは点灯する。
【００４２】
画像選択操作手段（操作卓）１７０の上部には文字表示部１７５が設けられており、各入力ラインへの入力画像を識別するための文字が表示されている。また、画像選択操作手段（操作卓）１７０の左部には文字表示部１７６が設けられており、各押しボタン列が対応する出力バスラインで得られる画像データを識別するための文字が表示されている。
【００４３】
画像生成手段１４０は、ＣＧ制作手段１１０で制作されたＣＧ記述データに基づいて、三次元空間画像であるＣＧ画像を生成する。この画像生成手段１４０は、時間をかけたレンダリング処理ではなく、アニメーションフレームの実時間で画像を生成する。
【００４４】
画像生成手段１４０は、ＣＧ記述データを読み込むと、各定義などの情報をメモリ上に保持し、それらの対応付けもデータ構造として保持する。また、画像生成手段１４０は、アニメーションを実行するためのキーフレームにおける各種値もメモリ上に保持する。
【００４５】
例えば、あるノードの幾何学情報にあるポリゴン集合を描画するには、その幾何学情報と、対応付けられているマテリアル定義を参照して、その色などの指定に従って描画する。アニメーションの場合は、現在時刻を毎フレーム進行させ、現在時刻から、前後のキーフレームにおける各値を補間して各値を決定し、描画を行う。
【００４６】
この画像生成手段１４０には、表面指定手段１２０から、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面の指定情報が送られてくる。画像生成手段１４０は、その指定情報が示す所定のポリゴン（ポリゴン集合）の表面に入力画像をテクスチャマッピングするように、画像マッピング手段１５０を制御する。
【００４７】
画像マッピング手段１５０は、画像生成手段１４０が描画するポリゴンのうち、表面指定手段１２０で指定されるポリゴンの表面に、テクスチャマッピングを行う。この画像マッピング手段１５０は、実装上は、上述の画像生成手段１４０と一体化されており、ＣＰＵ（Central Processing Unit）上のソフトウェアによる制御と、ＧＰＵ（GraphicsProcessing Unit）等のハードウェアによる動作によって実現される。制御ソフトウェアは、テクスチャマッピングするポリゴン集合を指定してハードウェアに指示する。
【００４８】
［画像生成手段および画像マッピング手段の構成例］
図４は、画像生成手段１４０および画像マッピング手段１５０の具体的な構成例を示している。画像生成手段１４０および画像マッピング手段１５０は、画像入出力部１４１と、ＧＰＵ１４２と、ローカルメモリ１４３と、ＣＰＵ１４４と、メインメモリ１４５を有している。また、画像生成手段１４０および画像マッピング手段１５０は、周辺デバイス制御部１４６と、ハードディスクドライブ（ＨＤＤ）１４７と、イーサネット回路１４８ａと、ネットワーク端子１４８ｂを有している。また、画像生成手段１４０および画像マッピング手段１５０は、ＵＳＢ（Universal Serial Bus）端子１４９と、ＳＤＲＡＭ（SynchronousDRAM）１５１を有している。なお、「イーサネット」は登録商標である。
【００４９】
画像入出力部１４１は、テクスチャマッピングをするための画像データを入力し、また、画像データによる画像が適宜テクスチャマッピングされたＣＧ画像の画像データを出力する。この画像入出力部１４１は、最大で４系統の画像データを入力でき、また、最大で４系統の画像データを出力できる。なお、ここで取り扱われる画像データは、例えば、ＳＭＰＴＥ２９２Ｍで規定されているＨＤ-ＳＤＩ（High Definition television-SerialDigital Interface）規格の画像データである。ＧＰＵ１４２およびメインメモリ１４５は、同等に、画像入出力部１４１にアクセス可能とされている。
【００５０】
メインメモリ１４５は、ＣＰＵ１４４のワークエリアとして機能すると共に、画像入出力部１４１から入力される画像データを一時的に記憶する。ＣＰＵ１４４は、画像生成手段１４０および画像マッピング手段１５０の全体を制御する。このＣＰＵ１４４には、周辺デバイス制御部１４６が接続されている。この周辺デバイス制御部１４６は、ＣＰＵ１４４と周辺デバイスとの間のインタフェース処理を行う。
【００５１】
ＣＰＵ１４４には、周辺デバイス制御部１４６を介して、内蔵のハードディスクドライブ１４７が接続されている。また、ＣＰＵ１４４には、周辺デバイス制御部１４６、イーサネット回路１４８ａを介して、ネットワーク端子１４８ｂが接続されている。また、ＣＰＵ１４４には、周辺デバイス制御部１４６を介して、ＵＳＢ端子１４９が接続されている。さらに、ＣＰＵ１４４には、周辺デバイス制御部１４６を介して、ＳＤＲＡＭ１５１が接続されている。
【００５２】
ＣＰＵ１４４は、テクスチャ座標の制御を行う。すなわち、このＣＰＵ１４４は、入力画像データに対して、それによる画像をＧＰＵ１４２が描画するポリゴンの表面にテクスチャマッピングをするための処理を行う。ＧＰＵ１４２は、ハードディスクドライブ１４７等に保持されているＣＧ記述データに基づいてＣＧ画像を生成し、また、必要に応じて、指定されたポリゴンの表面に、入力画像をテクスチャマッピングする。ローカルメモリ１４３は、ＧＰＵ１４２のワークエリアとして機能すると共に、ＧＰＵ１４２で作成されたＣＧ画像の画像データを一時的に記憶する。
【００５３】
ＣＰＵ１４４は、メインメモリ１４５にアクセスできる他、ローカルメモリ１４３にもアクセス可能とされている。同様に、ＧＰＵ１４２は、ローカルメモリ１４３にアクセスできると共に、メインメモリ１４５にもアクセス可能とされている。ＧＰＵ１４２により生成されてローカルメモリ１４３に一次的に記憶されたＣＧ画像データは、このローカルメモリ１４３から順次読み出され、画像入出力部１４１から出力される。
【００５４】
図５は、上述した画像生成手段１４０および画像マッピング手段１５０の機能ブロックの構成例を示している。この画像生成手段１４０および画像マッピング手段１５０は、画像入力部１５２、テクスチャ画像記憶部１５３、ＣＧ制御部１５４、ＣＧ描画部１５５、テクスチャ座標制御部１５６、フレームバッファ１５７および画像出力部１５８の機能ブロックを有している。
【００５５】
画像入力部１５２および画像出力部１５８は、画像入出力部１４１により構成されている。また、テクスチャ画像記憶部１５３は、メインメモリ１４５により構成されている。また、ＣＧ制御部１５４およびテクスチャ座標制御部１５６は、ＣＰＵ１４４により構成されている。また、ＣＧ描画部１５５は、ＧＰＵ１４２により構成されている。また、フレームバッファ１５７は、ローカルメモリ１４３により構成されている。
【００５６】
画像入力部１５２とテクスチャ画像記憶部１５３は対で、これらを増やすことで、画像入力の系統を増やすことができる。また、フレームバッファ１５７と画像出力部１５８は対で、これらを増やすことで、画像出力の系統を増やすことができる。
【００５７】
図６は、テクスチャマッピングを行う際のテクスチャ画像とＵＶマップの一例を示している。図６（ａ）はテクスチャ画像を示し、図６（ｂ）はＵＶマップを示している。ここで、ＵＶマップは、あるオブジェクト（ノード）の表面を紙面と考えたときに、その紙面上での座標で表された地図を意味している。この地図を平面に拡げたときに、その平面上での点（ｘ，ｙ）がオブジェクトの表面の点（ｕ，ｖ）に対応している。そのため、テクスチャ画像をＵＶマップに貼り付ける処理を行うことで、オブジェクトの表面にテクスチャ画像を貼り付けるテクスチャマッピングが可能となる。なお、図６（ｂ）はＵＶマップに、テクスチャ画像が貼り付けられた状態を示している。
【００５８】
表面指定手段１２０は、ＣＧ記述データ中のポリゴンの表面を選択肢として、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面を指定する。そして、表面指定手段１２０は、ネットワーク１３０を介して、その指定情報を画像生成手段１４０に送る。この表面指定手段１２０は、例えば、ＧＵＩ（Graphical User Interface）で実現される。以下に、表面指定方法の例を上げる。
（１）ポリゴン集合を全て選択肢として表示し、操作者にその中から選択させる。
（２）ノードを選択肢として表示し、操作者にその中から選択させる。一つのノードには、複数のポリゴン集合が含まれる場合がある。
【００５９】
例えば、円錐の底面と側面が別々のポリゴン集合になっている場合には、ポリゴン集合で指定すれば、例えば底面にのみテクスチャマッピングすることができる。あるいは、円錐のノード単位で指定すれば、底面と側面に同じ入力画像をテクスチャマッピングできる。入力画像と各面上の位置との対応は、テクスチャ座標により指定される。ＣＧ記述データには、ポリゴンの頂点毎のテクスチャ座標が記述されている。ＣＧ記述データ中で、各ポリゴン集合および各ノードには、ＣＧ制作手段１１０で制作時に付与された文字列の名称が対応付けられている。それら文字列を選択肢として表示するようにすることで、操作し易い環境を提供できる。
【００６０】
（３）マテリアル定義を選択肢として表示し、操作者にその中から選択させる。この場合、マテリアル定義を指定することで、間接的に入力画像をテクスチャマッピングする対象であるポリゴン表面を指定できる。すなわち、この場合、選択されたマテリアル定義に対応付けられているポリゴン集合を、入力画像をテクスチャマッピングする対象とする。
【００６１】
例えば、ＣＧ記述データに次の４つのマテリアル定義が含まれているとする。
・＜material_phong1＞
・＜material_lambert1＞
・＜material_blinn1＞
・＜material_blinn2＞
【００６２】
表面指定手段１２０は、この４つのマテリアル定義の名称を選択肢として表示し、操作者に、例えば一つ選択させる。なお、選択個数を一つに限定しないことも可能である。ＣＧ記述データの中に、例えば、円錐、円柱、直方体、三角錐があり、次のようにマテリアルとの対応付けがされているとする。
【００６３】
円錐の底面 ：material_blinn1
円錐の側面 ：material_lambert1
円柱（全体） ：material_blinn2
直方体 ：
三角錐の底面 ：material_phong1
三角錐の側面 ：material_lambert1
【００６４】
このＣＧ記述データに対して、マテリアル定義の“material_phong1”が、入力画像のテククスチャマッピングの対象に指定されたとする。この場合、描画においては、三角錐の底面に入力画像がテクスチャマッピングされる。
【００６５】
（４）マテリアル定義の表面情報のいずれかを選択肢として表示し、操作者にその中から選択させる。
例えば、マテリアル定義が持つ表面情報のうち、
<diffuse> 色 反射する拡散光の量
について、条件の指定を可能にする。
【００６６】
例として、マテリアル定義（material_blinn1）のdiffuse（反射する拡散光）が、
<diffuse>
<color sid="diffuse">0.815686 0.588235 0.898039 1.000000</color>
</diffuse>
であれば、ＲＧＢＡが、それぞれ、
Ｒ：0.815686
Ｇ：0.588235
Ｂ：0.898039
AlphaMap：1.000000
である。
【００６７】
表面指定手段（ＧＵＩ）１２０は、diffuse について、処理中のＣＧ記述データのマテリアル定義に含まれる値の全てを、選択肢として表示する。この場合、色であるので、数値だけではなく、実際に色を表示するとよい。
【００６８】
操作者が上述の値を選択した場合、上述の値を採る diffuse を含むマテリアル定義と対応付けられているポリゴン集合に、入力画像がテクスチャマッピングされる。この場合、別のマテリアル定義であっても、diffuse の値が同じ場合は、そのマテリアル定義と対応付けられているポリゴン集合に、同様に入力画像がテクスチャマッピングされる。例えば、マテリアル定義“material_lambert1”のdiffuse の値が同じである場合は、このマテリアル定義“material_lambert1” と対応付けられているポリゴン集合に、同様に入力画像がテクスチャマッピングされる。
【００６９】
値の判定として、等号が成立しなくても、許容範囲を定めた比較を行ってもよい。これらの値は浮動小数点値なので、完全な等号で比較すると意図する結果と異なる場合があるため、ある範囲を定めて、誤差のように扱い、一致としてもよい。例えば、Ｒの値が0.815686であるdiffuse が指定されたとして、テクスチャマッピングの対象となるかどうか、diffuse のＲが、±１０％の範囲内にあるかどうかで判定する。すなわち、0.815686×0.9と0.815686×1.1の間に入る場合に、一致と判断する。この他、絶対値で許容範囲を決めておく方法でも有効である。
【００７０】
なお、このような表面の色を条件とする方法には、操作性に対して利点、効果がある。ＣＧ制作手段（ＰＣ）１１０で作業する間は、テクスチャマッピングされる様子を見ることはできない。しかし、ＰＣ上のソフトウェアであっても指定した表面の色は概ねその通りに表示されることが多い。ある色にどの入力画像をマッピングするかを決めておけば、制作中のＣＧ仮表示画面上で、どこに入力画像が入るかを容易に操作者の頭の中で想定して、最終画像を思い描くことが可能である。
【００７１】
（５）静止画の画像ファイルのテクスチャマッピングが指定されている各マテリアル定義内の画像ファイルを選択肢として表示し、操作者にその中から選択させる。
例えば、マテリアル定義“material_phong1”が、画像ファイルgrain_image.jpgをテクスチャマッピングするように記述されていたとする。すなわち、マテリアル定義“material_phong1”に対応するdiffuse が、grain_image.jpg をテクスチャに使うように記述されている。表面指定手段（ＧＵＩ）１２０は、ＣＧ記述データの中で、静止画像のテクスチャマッピングに使われている画像ファイルを選択肢として表示する。grain_image.jpg のみであれば、これだけであり、他にもあれば、複数からの択一となる。
【００７２】
例えば、入力画像に対する動画像のテクスチャマッピング指定として、操作者が、例えば、grain_image.jpg を選択した場合を考える。この場合、このファイルを静止画としてテクスチャマッピングするように記述されたマテリアル定義と対応付けられているポリゴン集合に、入力画像のテクスチャマッピングを行う。このような指定手段を用いる場合、ＣＧ制作手段で作業する間は、静止画のファイル（grain_image.jpg）がテクスチャマッピングされた様子を見ることになる。この結果、制作中のＣＧ仮表示画面上で、どこに入力画像が入るかを容易に操作者の頭のなかで想定して、最終画像を思い描くことが可能である。
【００７３】
図７は、表面指定手段１２０のＧＵＩ表示例を示している。このＧＵＩ表示例は、属性の値を指定して、間接的に入力画像をテクスチャマッピングするポリゴンの表面を指定するためのＧＵＩ例である。このＧＵＩ表示例には、ＣＧ記述データ中に含まれる属性の値Ｋ，Ｌ，Ｍが選択肢として表示され、操作者により属性＝Ｌが選択された状態を示している。
【００７４】
なお、ここで、属性としては、操作者の操作により、例えばノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等から任意の属性が設定される。この操作者の属性の設定により、設定された属性の値（名称）がＣＧ記述データ中から抽出され、ＧＵＩ表示に選択肢として表示される。図７のＧＵＩ表示例では選択肢が３個の場合を示しているが、ＣＧ記述データ中から抽出される属性の値（名称）の数に応じて選択肢の数は変動する。
【００７５】
図１に示す画像処理装置１００の動作例を説明する。ＣＧ制作手段１１０では、ＣＧ制作ソフトウェアにより、所定のＣＧ画像を生成するためのＣＧ記述データが生成される。このようにＣＧ制作手段１１０で生成されたＣＧ記述データは、ネットワーク１３０を介して、画像生成手段１４０および表面指定手段１２０に送られる。
【００７６】
表面指定手段（ＧＵＩ）１２０では、ＣＧ記述データ中のポリゴンの表面が選択肢とされて、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面が指定される。例えば、表面指定手段（ＧＵＩ）１２０では、操作者の操作により、所定のポリゴンの表面を指定するための属性が設定される。この場合、ノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等から任意の属性が設定される。
【００７７】
表面指定手段１２０では、この操作者の属性の設定により、この設定された属性の値（名称）がＣＧ記述データ中から抽出され、ＧＵＩ表示に選択肢として表示される。そして、表面指定手段１２０では、操作者の操作により、表示された選択肢の中から一つまたは複数の値（名称）が選択される。この選択情報は、テクスチャマッピングする対象である所定のポリゴンの表面の指定情報として、ネットワーク１３０を介して、画像生成手段１４０に送られる。
【００７８】
また、マトリクススイッチ１６０では、画像選択操作手段１７０の押しボタン列１７１が操作者により押圧操作されることで、テクスチャマッピング用の画像データＬとして、９本の入力ラインに入力された画像データのいずれかが選択的に出力される。このようにマトリクススイッチ１６０で得られるテクスチャマッピング用の画像データＬは、画像マッピング手段１５０に送られる。
【００７９】
画像生成手段１４０では、ＣＧ制作手段１１０で制作されたＣＧ記述データに基づいて、三次元空間画像であるＣＧ画像が生成される。また、上述したように、この画像生成手段１４０には、テクスチャマッピングする対象である所定のポリゴンの表面の指定情報として、所定の属性の一つまたは複数の値（名称）が送られてくる。この画像生成手段１４０により、所定の属性の一つまたは複数の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に入力画像をテクスチャマッピングするように、画像マッピング手段１５０が制御される。
【００８０】
画像マッピング手段１５０では、画像生成手段１４０の制御により、上述の所定の属性の一つまたは複数の値（名称）に対応付けられているポリゴンの表面に、マトリクススイッチ１６０で得られる画像データＬによる画像がテクスチャマッピングされる。そして、画像生成手段１４０から導出された出力端子１４０ａには、所定のポリゴンの表面に画像データＬによる画像がテクスチャマッピングされたＣＧ画像の画像データＶoutが出力される。
【００８１】
図８のフローチャートは、表面指定手段１２０の処理手順を概略的に示している。表面指定手段１２０は、ステップＳＴ１において、処理を開始し、その後、ステップＳＴ２の処理に移る。このステップＳＴ２において、表面指定手段１２０は、ＣＧ作成手段１１０で作成されて画像生成手段１４０に送られるＣＧ記述データを取得する。この場合、表面指定手段１２０は、上述したようにＣＧ作成手段１１０から送られてくるものを受け取るか、あるいは、画像生成手段１４０に保持されているものを読み込む。
【００８２】
次に、表面指定手段１２０は、ステップＳＴ３において、操作者に、テクスチャマッピングするポリゴンの表面を指定するための所定の属性を選択させる。この属性は、上述したようにノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等である。そして、表面指定手段１２０は、ステップＳＴ４において、ステップＳＴ３で操作者が設定した所定の属性の値（名称）をステップＳＴ２で取得したＣＧ記述データから抽出し、選択肢として表示する。
【００８３】
次に、表面指定手段１２０は、ステップＳＴ５において、操作者に、表示されている所定の属性の選択肢から１つまたは複数の値（名称）を選択させる。そして、表面指定手段１２０は、ステップＳＴ６において、ステップＳＴ５で操作者が選択した所定の属性の値（名称）の選択情報を、入力画像をテスクチャマッピングする所定のポリゴンの表面の指定情報として送る。その後、表面指定手段１２０は、ステップＳＴ７において、処理を終了する。
【００８４】
図９のフローチャートは、画像マッピング手段１５０の処理手順を概略的に示している。画像マッピング手段１５０は、ステップＳＴ１１において、処理を開始し、その後、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、画像マッピング手段１５０は、画像生成手段１４０からマッピング制御情報を受け取る。このマッピング制御情報は、表面指定手段１２０から上述したように画像生成手段１４０に送られてくる所定のポリゴンの表面の指定情報に基づくものである。すなわち、このマッピング制御情報は、その指定情報が示す所定のポリゴン（ポリゴン集合）の表面に入力画像をテクスチャマッピングするように制御するための情報である。
【００８５】
次に、画像マッピング手段１５０は、ステップＳＴ１３において、マッピング制御情報に基づいて、テクスチャマッピングする。この場合、画像マッピング手段１５０は、選択された所定の属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、マトリクススイッチ１６０で得られるテクスチャマッピング用の画像データＬによる画像をテクスチャマッピングする。その後、画像マッピング手段１５０は、ステップＳＴ１４において、処理を終了する。
【００８６】
図１に示す画像処理装置１００において、操作者は、表面指定手段１２０で所定の属性の値（名称）を設定する等して、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面を指定できる。また、操作者は、画像選択操作手段１７０の押しボタン列１７１を押圧操作することで、マトリクススイッチ１６０で得られるテクスチャマッピング用の画像データＬを任意のタイミングで変更できる。このように画像データＬが変更されることで、画像マッピング手段１５０でＣＧ画像の所定のポリゴン表面にテクスチャマッピングされる画像が変更される。したがって、操作者は、ＣＧ画像の所望の面に、任意のタイミングで所望の画像を選択して合成できる。
【００８７】
また、図１に示す画像処理装置１００において、操作者は、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面の指定を、ノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等の属性を設定して行うことができる。これにより、以下のような利点、効果がある。すなわち、ＣＧ制作手段（ＰＣ）１１０で作業する間、操作者はテクスチャマッピングされる様子を見ることはできない。しかし、ＰＣ上のソフトウェアであっても指定した表面の色等の属性は概ねその通りに表示されることが多い。そのため、どの属性に入力画像をテクスチャマッピングするかを決めておけば、制作中のＣＧ仮表示画面上で、どこに入力画像が入るかを容易に操作者の頭の中で想定して、最終画像を思い描くことが可能である。また、通常マテリアル定義毎に表面の属性は異なるため、マテリアル定義を選択してテクスチャマッピングさせる場合でも、同様の効果が得られる。
【００８８】
ＣＧ記述データには上述の様にアニメーションが含まれる場合もあり、このアニメーションの進行（反復を含む）は、別の操作手段（説明略）により、運用中に操作できる。したがって、たとえばスポーツ競技中継の生放送に利用して、ＣＧアニメーションの進行（方向、速度、反復、開始、停止）を操作しつつ、同時に複数のカメラから送られてくる複数の画像データを画像選択手段で競技の状況に応じて選択してテクスチャマッピングさせることができる。これによりＣＧアニメーションの視覚効果と、生放送の適切な画像切り換えによる競技の注目映像の選択という二つの特長を、併せて発揮して、付加価値の高い放送を行うことができる。
【００８９】
＜２．第２の実施の形態＞
［画像処理装置の構成］
この発明の第２の実施の形態を説明する。図１０は、第２の実施の形態としての画像処理装置１００Ａの構成例を示している。この図１０において、図１と対応する部分には同一符号を付し、適宜、その説明を省略する。この画像処理装置１００Ａは、ＣＧ制作手段１１０と、表面指定手段１２０Ａと、ネットワーク１３０と、画像生成手段１４０Ａと、画像マッピング手段１５０Ａを有している。また、この画像処理装置１００Ａは、マトリクススイッチ１６０Ａと、画像選択操作手段１７０Ａと、プログラム・プレビューミキサ１８０を有している。ＣＧ制作手段１１０、表面指定手段１２０Ａ、画像生成手段１４０Ａおよび画像選択操作手段１７０Ａは、それぞれネットワーク１３０に接続されている。
【００９０】
ＣＧ制作手段１１０は、ＣＧ制作ソフトウェアを持つパーソナルコンピュータ（ＰＣ：Personal Computer）により構成されている。このＣＧ制作手段１１０は、所定のフォーマットのＣＧ記述データを出力する。このＣＧ制作手段１１０は、上述の図１に示す画像処理装置１００のＣＧ制作手段１１０と同様のものである。
【００９１】
マトリクススイッチ１６０Ａは、複数の入力画像データから画像データを選択的に取り出す画像選択手段を構成している。このマトリクススイッチ１６０Ａは、１０本の入力ラインと、１３本の出力バスライン２１１〜２２３と、クロスポイントスイッチ群２３１〜２４３を有している。このマトリクススイッチ１６０Ａは、エフェクトスイッチャの一部を構成しており、外部機器としての画像マッピング手段１５０Ａに画像データを供給する他、内部の画像合成手段等に画像データを供給するために使用される。
【００９２】
出力バスライン２１１〜２１４は、画像マッピング手段１５０Ａに画像データを供給するためのバスラインである。また、出力バスライン２１５〜２２１は、外部に画像データを出力するためのバスラインである。また、出力バスライン２２２，２２３は、内部の画像合成手段（ミキサ）に画像データを供給するためのバスラインである。
【００９３】
１０本の入力ラインは図で一方向に配列されている。「１」〜「９」の入力ラインには、それぞれにはＶＴＲ、ビデオカメラ等から画像データが入力される。また、「１０」の入力ラインには、画像生成手段１４０Ａから出力されるＣＧ画像データが入力される。１３本の出力バスライン２１１〜２２３は、入力ラインと交差して他方向に配列されている。
【００９４】
クロスポイントスイッチ群２３１〜２３４は、１０本の入力ラインと出力バスライン２１１〜２１４とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群２３１〜２３４の接続が制御され、１０本の入力ラインに入力された画像データのいずれかが出力バスライン２１１〜２１４に選択的に出力される。この出力バスライン２１１〜２１４は、テクスチャマッピング用の画像データ（マッピング入力）Ｔ１〜Ｔ４の出力ラインを構成する。
【００９５】
また、クロスポイントスイッチ群２３５〜２４１は、それぞれ、１０本の入力ラインと出力バスライン２１５〜２２１が交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群２３５〜２４１が制御され、１０本の入力ラインに入力された画像データのいずれかが出力バスライン２１５〜２２１に選択的に出力される。この出力バスライン２１５〜２２１は、外部出力用の画像データOUT1〜OUT7の出力ラインを構成する。
【００９６】
また、クロスポイントスイッチ群２４２，２４３は、それぞれ、１０本の入力ラインと出力バスライン２２２，２２３とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群２４２，２４３が制御され、１０本の入力ラインに入力された画像データのいずれかが出力バスライン２２２，２２３に選択的に出力される。
【００９７】
この出力バスライン２２２，２２３に出力される画像データは、プログラム・プレビューミキサ１８０に入力される。このプログラム・プレビューミキサ１８０は、出力バスライン２２２，２２３から入力される画像データに対して合成処理を行う。このプログラム・プレビューミキサ１８０から、プログラム出力ライン２５１を通じてプログラム（ＰＧＭ）出力が外部に出力され、プレビュー出力ライン２５２を通じてプレビュー出力が外部に出力される。
【００９８】
なお、クロスポイントスイッチ群２３１〜２４３の各クロスポイントスイッチのオンオフ動作は、フレームデータの連続からなる画像データを切り替えるものであることから、フレームの切れ目である垂直ブランキング区間内に行われる。
【００９９】
画像選択操作手段１７０Ａは、上述のマトリクススイッチ１６０Ａへの指示の操作入力を受ける。この画像選択操作手段１７０Ａは、マトリクススイッチ１６０Ａの各クロスポイントスイッチ群のスイッチのオンオフを操作する押しボタン列を備える操作卓２６０を備えている。
【０１００】
図１１は、操作卓２６０の一例の外観を示している。この操作卓２６０には、左右方向に延びる押しボタン列２６１〜２６４が上下方向に並ぶように設けられている。各押しボタン列は、予め操作者の設定操作により、上述のマトリクススイッチ１６０Ａの１３本の出力バスラインのいずれかに対応するように設定される。各押しボタン列は、入力ラインのそれぞれと対応する出力バスラインとの接続を選択する択一式の押しボタンにより構成されており、選択された押しボタンは点灯する。
【０１０１】
操作卓２６０の上部には、文字表示部２６５が設けられている。この文字表示部２６５は、各入力ラインへの入力画像を識別するための文字を表示する。この文字表示部２６５は、例えば、ＬＣＤ（Liquid Crystal Display）等の表示素子により構成される。また、操作卓２６０の左部には、文字表示部２６６が設けられている。この文字表示部２６６は、各押しボタン列が対応する出力バスラインを識別するための文字を表示する。この文字表示部２６６は、例えば、ＬＣＤ等の表示素子により構成される。
【０１０２】
画像マッピング手段１５０Ａにマッピング入力を供給する出力バスラインに割り当てられた押しボタン列に対応しては、後述するようにユーザ操作により選択された所定の属性の値（名称）が表示される。この所定の属性の値（名称）は、当該出力バスラインに得られる画像データ（マッピング入力）による画像をテクスチャマッピングするポリゴン（ポリゴン集合）の表面を指定する情報（表面指定情報）である。
【０１０３】
図１１においては、文字表示部２６６に、押しボタン列２６１に対応して、属性の一つであるマテリアル定義の名称である「Metal-1」の文字が表示されている。また、図１１においては、文字表示部２６６に、押しボタン列２６４に対応して、属性の一つであるマテリアル定義の名称である「Material-Def3」の文字が表示されている。
【０１０４】
この操作卓２６０の押しボタン列２６１〜２６４をどの出力バスラインに対応させるかは、例えば、ＧＵＩ（Graphical User Interface）で実現される。図１２（ａ）は、出力バスラインのアサイン時に表示されるＧＵＩ表示例を示している。このＧＵＩ表示においては、４つの押しボタン列２６１〜２６４が、「１」〜「４」で表されている。操作者は、この「１」〜「４」に対応した「Selectボタン」を操作して出力バスラインの選択肢を表示し、その選択肢の中から所望の出力バスラインを選択することで、それぞれの押しボタン列に所望の出力バスラインを割り当てることができる。
【０１０５】
図１２（ｂ）は、出力バスラインのセレクト時に表示されるＧＵＩ表示例を示している。このＧＵＩ表示には、外部出力用の画像データOUT1〜OUT7の出力ラインを構成する出力バスライン２１５〜２２１が、「OUT1」〜「OUT7」で選択肢として表示されている。また、このＧＵＩ表示には、プログラム・プレビューミキサ１８０に画像データを入力する出力バスライン２２２，２２３が、「ＰＰ−Ａ」，「ＰＰ−Ｂ」で選択肢として表示されている。
【０１０６】
また、このＧＵＩ表示には、テクスチャマッピング用の画像データ（マッピング入力）Ｔ１〜Ｔ４の出力ラインを構成する出力バスライン２１１〜２１４に押しボタン列を割り当てるために、所定の属性の値（名称）が選択肢として表示されている。属性としては、操作者の操作により、例えばノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等から任意の属性が設定される。ここで、操作者は、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面の指定を行うための属性を設定する。あるいは、別の例としては、システムにおいて一つの属性に設定されていても良い。
【０１０７】
画像選択操作手段１７０Ａは、設定された属性の値（名称）をＣＧ制作手段１１０で生成されたＣＧ記述データ中から抽出し、ＧＵＩ表示に選択肢として表示する。図１２（ｂ）のＧＵＩ表示例においては、属性としてマテリアル定義が設定された場合を示しており、マテリアル定義の名称が選択肢として表示されている。「Metal-1」、「Metal-2」、「Material-Def1」、「Material-Def2」、「Material-Def3」は、マテリアル定義の名称である。
【０１０８】
図１２（ａ）のＧＵＩ表示例では、「２」，「３」に対して「OUT1」，「OUT2」が選択されている。この場合、押しボタン列２６２，２６３は、出力バスライン２１５，２１６に割り当てられる。また、図１２（ａ）のＧＵＩ表示例では、「１」，「４」に対して「Metal-1」，「Material-Def3」が選択されている。
【０１０９】
上述したようにマトリクススイッチ１６０Ａは１３本の出力バスラインを有しており、それぞれの出力バスラインはバス番号「１」〜「１３」で特定される。また、上述したように、マトリクススイッチ１６０Ａの１番から４番までの出力バスラインは、画像マッピング手段１５０Ａにマッピング入力（画像データ）Ｔ１〜Ｔ４を入力する。画像選択操作手段１７０Ａ、あるいはその周辺のマイコンは、この結線状態を記憶した、図１３に示すような、マッピング入力対応テーブルを持っている。このマッピング入力対応テーブルは、結線に対応する設定として記憶され、結線の変更がない限り変わることはない。
【０１１０】
図１２（ａ）の「１」，「４」の場合のように、ある押しボタン列に対して所定の属性の値（名称）が選択された場合、画像選択操作手段１７０Ａは、その押しボタン列を、バス番号１〜４のうち、未だ割り当てられていない出力バスラインに割り当てる。この場合、この出力バスラインは、選択された所定の属性の値（名称）に対応付けられたポリゴン（ポリゴン集合）の表面にテクスチャマッピングする画像の画像データを出力するための出力バスラインとなる。そして、画像選択操作手段１７０Ａは、選択された所定の属性の値（名称）の情報と、割り当て対象の出力バスラインによるマッピング入力がマッピング入力Ｔ１〜Ｔ４のいずれであるかの情報を、ネットワーク１３０を介して、表面指定手段１２０Ａに送る。
【０１１１】
図１２（ａ）に示すように、「１」に対して「Metal-1」が選択され、その後、「４」に対して「Material-Def3」が選択される場合を例にとってさらに説明する。
まず、「１」に対して「Metal-1」が選択されるとき、画像選択操作手段１７０Ａは、押しボタン列２６１を出力バスライン２１１に割り当てる。この場合、この出力バスライン２１１は、マテリアル定義「Metal-1」に対応付けられたポリゴン（ポリゴン集合）の表面にテクスチャマッピングする画像の画像データを出力するための出力バスラインとなる。そして、画像選択操作手段１７０Ａは、マテリアル定義「Metal-1」およびマッピング入力Ｔ１の情報を、ネットワーク１３０を介して、表面指定手段１２０Ａに送る。
【０１１２】
次に、「４」に対して「Material-Def3」が選択されるとき、画像選択操作手段１７０Ａは、押しボタン列２６４を出力バスライン２１２に割り当てる。この場合、この出力バスライン２１２は、マテリアル定義「Material-Def3」に対応付けられたポリゴン（ポリゴン集合）の表面にテクスチャマッピングする画像の画像データを出力するための出力バスラインとなる。そして、画像選択操作手段１７０Ａは、マテリアル定義「Material-Def3」およびマッピング入力Ｔ２の情報を、ネットワーク１３０を介して、表面指定手段１２０Ａに送る。
【０１１３】
なお、図１１に示す操作卓２６０は、４つの押しボタン列２６１〜２６４を備えるものを示しているが、５つ以上の押しボタン列を備えるものの考えられる。その場合にあっても、所定の属性の値（名称）を選択する押しボタン列の数は最大４である。図１０に示す画像処理装置１００Ａでは、画像マッピング手段１５０Ａにマッピング入力（画像データ）を供給する出力バスラインが４本とされているからである。
【０１１４】
また、上述では、ある押しボタン列に対して所定の属性の値（名称）を一つだけ選択し得るように説明した。ある押しボタン列に対して、所定の属性の値（名称）を複数個選択することを許容する構成も考えられる。この場合には、選択された複数の所定の属性の値（名称）のいずれかに対応付けられたポリゴン（ポリゴン集合）すべての表面に、ある押しボタン列が割り当てられた出力バスラインの出力画像データによる画像がテクスチャマッピングされることになる。この場合、各押しボタン列に対応した文字表示部２６６（図１１参照）には、複数の属性の値（名称）が表示されることになる。ただし、複数の属性の値（名称）の表示が困難であれば、一つ、あるいは可能なだけ表示することになる。
【０１１５】
また、上述では、文字表示部２６６を操作卓２６０に押しボタン列に対応させて配置しているが、これとは別の場所に同様の４つの表示器を配列し、参考情報として、４つの画像がどこにテクスチャマッピングされるかを示すようにしても良い。
【０１１６】
表面指定手段１２０Ａは、上述したように、画像選択操作手段１７０Ａから送られてくる、選択された属性の値（名称）とマッピング入力の対応情報に基づいて、属性の値（名称）とマッピング入力の対応関係を示す画像割り当てテーブルを作成する。そして、表面指定手段１２０Ａは、この画像割り当てテーブルを、ネットワーク１３０を介して、画像生成手段１４０Ａ内に設定する。
【０１１７】
表面指定手段１２０Ａは、このように画像割り当てテーブルを設定することで、マッピング入力Ｔ１〜Ｔ４を出力する出力バスライン毎に、そのマッピング入力による画像をテクスチャマッピングするポリゴン（ポリゴン集合）の表面を指定する。この場合、マッピング入力による画像をテクスチャマッピングするポリゴン（ポリゴン集合）の表面は、属性の値（名称）により指定される。
【０１１８】
図１４（ａ）は、画像割り当てテーブルの一例を示している。この例は、上述したように、画像選択操作手段１７０Ａにおいて、図１２（ａ）に示すように、「１」に対して「Metal-1」が選択され、「４」に対して「Material-Def3」が選択された場合の例である。また、図１４（ｂ）は、画像割り当てテーブルの他の例を示している。この例は、上述したように、画像選択操作手段１７０Ａにおいて、「１」に対して「Metal-1」、「Material-Def2」が選択され、「４」に対して「Material-Def3」が選択された場合の例である。この画像割り当てテーブルにおいて、Ｔ１〜Ｔ４は、画像識別子を構成している。
【０１１９】
画像生成手段１４０Ａは、ＣＧ制作手段１１０で制作されたＣＧ記述データに基づいて、三次元空間画像であるＣＧ画像を生成する。この画像生成手段１４０Ａは、ＣＧ記述データを読み込むと、各定義などの情報をメモリ上に保持し、それらの対応付けもデータ構造として保持する。また、画像生成手段１４０Ａは、アニメーションを実行するためのキーフレームにおける各種値もメモリ上に保持する。
【０１２０】
例えば、あるノードの幾何学情報にあるポリゴン集合を描画するには、その幾何学情報と、対応付けられているマテリアル定義を参照して、その色などの指定に従って描画する。アニメーションの場合は、現在時刻を毎フレーム進行させ、現在時刻から、前後のキーフレームにおける各値を補間して各値を決定し、描画を行う。
【０１２１】
この画像生成手段１４０Ａには、上述したように、表面指定手段１２０Ａにより、画像割り当てテーブルが設定される（図１４（ａ），（ｂ）参照）。画像生成手段１４０Ａは、テーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像をテクスチャマッピングするように、画像マッピング手段１５０Ａを制御する。
【０１２２】
画像マッピング手段１５０Ａは、画像生成手段１４０Ａが描画するポリゴンのうち、画像生成手段１４０Ａに設定された画像割り当てテーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、テクスチャマッピングを行う。この画像マッピング手段１５０Ａには、上述したように、マトリクススイッチ１６０Ａからテクスチャマッピング用の画像データであるマッピング入力Ｔ１〜Ｔ４が供給される。画像マッピング手段１５０Ａは、画像生成手段１４０Ａの制御により、画像割り当てテーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像をテクスチャマッピングする。
【０１２３】
この画像マッピング手段１５０Ａは、実装上は、例えば、上述の画像生成手段１４０Ａと一体化されており、ＣＰＵ上のソフトウェアによる制御と、ＧＰＵ等のハードウェアによる動作によって実現される。制御ソフトウェアは、テクスチャマッピングするポリゴン集合を指定してハードウェアに指示する。詳細説明は省略するが、この画像マッピング手段１５０Ａおよび上述した画像生成手段１４０Ａは、図１に示す画像処理装置１００における画像マッピング手段１５０および画像生成手段１４０と同様に構成されている（図４、図５参照）。
【０１２４】
図１０に示す画像処理装置１００Ａの動作例を説明する。ＣＧ制作手段１１０では、ＣＧ制作ソフトウェアにより、所定のＣＧ画像を生成するためのＣＧ記述データが生成される。このようにＣＧ制作手段１１０で生成されたＣＧ記述データは、ネットワーク１３０を介して、画像生成手段１４０Ａおよび画像選択操作手段１７０Ａに送られる。
【０１２５】
画像選択操作手段１７０Ａでは、操作者の操作により、テクスチャマッピング用の画像データ（マッピング入力）Ｔ１〜Ｔ４の出力ラインを構成する出力バスライン２１１〜２１４に、操作卓２６０の押しボタン列を割り当てることが行われる。この場合、押しボタン列毎に、所定の属性の値（名称）が選択されることで、出力バスライン２１１から順に割り当てが行われる。操作卓２６０は４つの押しボタン列２６１〜２６４を備えているので、最大で出力バスライン２１１〜２１４の全てにそれぞれ１つの押しボタン列を割り当てることができる。
【０１２６】
この画像選択操作手段１７０Ａでは、操作者の操作により、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面の指定を行うための属性が設定される。ここで、属性は、ノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等である。上述の所定の属性は、操作者の操作により設定された属性あるいはシステムで設定されていた属性であり、選択される属性の値（名称）はＣＧ制作手段１１０で生成されたＣＧ記述データ中から抽出されたものである。
【０１２７】
マトリクススイッチ１６０Ａの出力バスライン２１１〜２１４のうち、操作卓２６０の押しボタン列が割り当てられた出力バスラインに関しては、対応する押しボタン列の操作により、その出力画像データ（マッピング入力）を変更できる。この場合、出力画像データとして、１０本の入力ラインに入力された画像データのいずれかが選択的に出力される。例えば、マトリクススイッチ１６０Ａの出力バスライン２１１に操作卓２６０の押しボタン列２６１が割り当てられた場合、操作者は、押しボタン列２６１の操作により、画像マッピング手段１５０Ａへのマッピング入力Ｔ１を、任意のタイミングで変更可能となる。
【０１２８】
画像選択操作手段１７０Ａにおいて上述したように出力バスライン２１１〜２１４のいずれかに操作卓２６０の押しボタン列が割り当てられる場合、この画像選択操作手段１７０Ａから表面指定手段１２０Ａに、ネットワーク１３０を介して、情報が送られる。この情報には、選択された所定の属性の値（名称）の情報と、割り当て対象の出力バスラインによるマッピング入力がマッピング入力Ｔ１〜Ｔ４のいずれであるかの情報が含まれる。
【０１２９】
表面指定手段１２０Ａでは、画像選択操作手段１７０Ａから送られてくる、選択された属性の値（名称）とマッピング入力の対応情報に基づいて、属性の値（名称）とマッピング入力の対応関係を示す画像割り当てテーブルを設定することが行われる。この画像割り当てーブルは、ネットワーク１３０を介して、画像生成手段１４０Ａ内に設定される。表面指定手段１２０Ａでは、この画像割り当てテーブルの設定により、各マッピング入力による画像をテクスチャマッピングするポリゴン（ポリゴン集合）の表面が、属性の値（名称）により指定される。
【０１３０】
画像生成手段１４０Ａでは、ＣＧ制作手段１１０で制作されたＣＧ記述データに基づいて、三次元空間画像であるＣＧ画像が生成される。また、上述したように、この画像生成手段１４０Ａには、表面指定手段１２０Ａにより、画像割り当てテーブルが設定される。画像生成手段１４０Ａにより、テーブルの各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像をテクスチャマッピングするように、画像マッピング手段１５０Ａが制御される。
【０１３１】
画像マッピング手段１５０Ａでは、画像生成手段１４０Ａの制御により、テクスチャマッピングが行われる。すなわち、画像マッピング手段１５０Ａでは、画像割り当てテーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像がテクスチャマッピングされる。そして、画像生成手段１４０Ａから導出された出力端子１４０ａには、所定のポリゴンの表面に画像がテクスチャマッピングされたＣＧ画像の画像データＶoutが出力される。なお、マトリクススイッチ１６０Ａの「１０」の入力ラインにも、画像生成手段１４０Ａから出力される、所定のポリゴンの表面に画像がテクスチャマッピングされたＣＧ画像の画像データが入力される。
【０１３２】
図１５のフローチャートは、画像選択操作手段１７０Ａの処理手順を概略的に示している。画像選択操作手段１７０Ａは、ステップＳＴ２１において、処理を開始し、その後、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、画像選択操作手段１７０Ａは、ＣＧ作成手段１１０で作成されて画像生成手段１４０Ａに送られるＣＧ記述データを取得する。この場合、画像選択操作手段１７０Ａは、上述したようにＣＧ作成手段１１０から送られてくるものを受け取るか、あるいは、画像生成手段１４０Ａに保持されているものを読み込む。
【０１３３】
次に、画像選択操作手段１７０Ａは、ステップＳＴ２３において、操作者にテクスチャマッピングするポリゴンの表面を指定するための所定の属性を選択させる。この属性は、上述したようにノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等である。そして、画像選択操作手段１７０Ａは、ステップＳＴ２４において、ステップＳＴ２３で操作者が設定した所定の属性の値（名称）のすべてをステップＳＴ２２で取得したＣＧ記述データから抽出する。
【０１３４】
次に、画像選択操作手段１７０Ａは、ステップＳＴ２５において、抽出した所定の属性の値（名称）を選択肢として含むＧＵＩ表示を行い、操作者に、操作卓２６０の押しボタン列を出力バスラインのいずれかに割り当てる出力バスアサインをさせる。この出力バスアサインにより、画像マッピング手段１５０Ａにマッピング入力Ｔ１〜Ｔ４を供給する出力バスライン２１１〜２１４のいずれかに操作卓２６０の押しボタン列が割り当てられる。
【０１３５】
次に、画像選択操作手段１７０Ａは、ステップＳＴ２６において、選択された属性の値（名称）とマッピング入力の対応情報を、表面指定手段１２０Ａに送る。その後、画像選択操作手段１７０Ａは、ステップＳＴ２７において、処理を終了する。
【０１３６】
図１６のフローチャートは、表面指定手段１２０Ａの処理手順を概略的に示している。表面指定手段１２０Ａは、ステップＳＴ３１において、処理を開始し、その後に、ステップＳＴ３２の処理に移る。このステップＳＴ３２において、表面指定手段１２０Ａは、画像選択操作手段１７０Ａから送られてくる選択された属性の値（名称）とマッピング入力の対応情報を受け取る。
【０１３７】
次に、表面指定手段１２０Ａは、ステップＳＴ３３において、ステップＳＴ３２で受け取った対応情報に基づいて、属性の値（名称）とマッピング入力の対応関係を示す画像割り当てテーブルを作成し、画像生成手段１４０Ａに設定する。その後、表面指定手段１２０Ａは、ステップＳＴ３４において、処理を終了する。
【０１３８】
図１７のフローチャートは、画像マッピング手段１５０Ａの処理手順を概略的に示している。画像マッピング手段１５０Ａは、ステップＳＴ４１において、処理を開始し、その後、ステップＳＴ４２の処理に移る。このステップＳＴ４２において、画像マッピング手段１５０Ａは、画像生成手段１４０Ａからマッピング制御情報を受け取る。このマッピング制御情報は、表面指定手段１２０Ａにより設定された画像割り当てテーブルに基づくものである。すなわち、この制御情報は、画像割り当てテーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像をテクスチャマッピングするように制御するための情報である。
【０１３９】
次に、画像マッピング手段１５０Ａは、ステップＳＴ４３において、マッピング制御情報に基づいて、テクスチャマッピングする。この場合、画像マッピング手段１５０Ａは、画像割り当てテーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像をテクスチャマッピングする。その後、画像マッピング手段１５０Ａは、ステップＳＴ４４において、処理を終了する。
【０１４０】
図１８のシーケンス図は、画像生成手段１４０Ａに画像割り当てテーブルが設定されるまでの通信シーケンスを示している。
（１）ＣＧ制作手段１１０は、ＣＧ画像を生成するためのＣＧ記述データを生成する。（２）ＣＧ制作手段１１０は、このＣＧ記述データを、画像選択操作手段１７０Ａに送る。（３）画像選択操作手段１７０Ａは、操作者にテクスチャマッピングするポリゴンの表面を指定するための所定の属性を選択させ、その属性の値（名称）を、ＣＧ記述データから抽出する。（４）そして、画像選択操作手段１７０Ａは、抽出した所定の属性の値（名称）を選択肢として含む出力バスラインのアサイン用のＧＵＩ表示を行う。（５）そして、画像選択操作手段１７０Ａは、操作者に、ＧＵＩ表示を用いた出力バスアサインを行わせる。この出力バスアサインにより、画像マッピング手段１５０Ａにマッピング入力Ｔ１〜Ｔ４を供給する出力バスライン２１１〜２１４のいずれかに操作卓２６０の押しボタン列が割り当てられる。
【０１４１】
（６）画像選択操作手段１７０Ａは、選択された属性の値（名称）とマッピング入力の対応情報を、表面指定手段１２０Ａに送る。（７）表面指定手段１２０Ａは、画像選択操作手段１７０Ａから送られてくる対応情報に基づいて、属性の値（名称）とマッピング入力の対応関係を示す画像割り当てテーブルを作成する。（８）そして、表面指定手段１２０Ａは、画像割り当てテーブルを画像生成手段１４０Ａに設定する。
【０１４２】
図１０に示す画像処理装置１００Ａにおいて、画像選択操作手段１７０Ａで操作卓２６０の各押しボタン列を出力バスラインに割り当てる出力バスラインのアサイン時に、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面を指定できる。すなわち、操作者は、所定の属性の値（名称）を選択して、画像マッピング手段１５０Ａにマッピング入力Ｔ１〜Ｔ４を供給する出力バスライン２１１〜２１４のいずれかに操作卓２６０の押しボタン列を割り当てることできる。この場合、画像選択操作手段１７０Ａから表面指定手段１２０Ａに、選択された属性の値（名称）とマッピング入力の対応情報が送られる。そして、この表面指定手段１２０Ａにより、画像生成手段１４０Ａに、属性の値（名称）とマッピング入力の対応関係を示す画像割り当てテーブルが設定される。
【０１４３】
また、操作者は、画像選択操作手段１７０Ａの押しボタン列を押圧操作することで、画像割り当てテーブルに存在するマッピング入力としての画像データを、任意のタイミングで変更できる。このようにマッピング入力が変更されることで、画像マッピング手段１５０Ａで、ＣＧ画像の所定のポリゴン表面にテクスチャマッピングされる画像が変更される。したがって、操作者は、ＣＧ画像の所望の面に、任意のタイミングで所望の画像を選択して合成できる。
【０１４４】
図１９を用いて、複数のオブジェクトの面にテクスチャマッピングされる画像が所定のタイミングで変更される例を説明する。図１９（ａ），（ｂ）には、３個のオブジェクトＯＢ１〜ＯＢ３が描画され、それらがアニメーションにより画面中を移動するようなＣＧ画像例を示している。図１９（ａ）はアニメーション進行における時刻ｔ１の画像であり、図１９（ｂ）は時刻ｔ２の画像である。
【０１４５】
図１０に示す画像処理装置１００Ａでは、操作者の押しボタン列の操作により、時刻ｔ１および時刻ｔ２で、同一オブジェクトの面に、異なる画像データによる画像がテクスチャマッピングされた状態とすることができる。すなわち、時刻ｔ１では、図１９（ｃ）に示すように、オブジェクトＯＢ１の面に図１９（ｅ）に示す画像Ｔ１（マッピング入力Ｔ１による画像）がテクスチャマッピングされている。また、この時刻ｔ１では、オブジェクトＯＢ３の面に図１９（ｆ）に示す画像Ｔ２（マッピング入力Ｔ２による画像）がテクスチャマッピングされている。
【０１４６】
この後、アニメーションの進行が時刻ｔ２に至る前に、マッピング入力Ｔ１およびＴ２への画像を、操作者の画像選択操作手段１７０Ａの操作を受けて変更する。その結果、時刻ｔ２では、図１９（ｄ）に示すように、オブジェクトＯＢ１の面に図１９（ｇ）に示す画像Ｔ１がテクスチャマッピングされ、オブジェクトＯＢ３の面に図１９（ｈ）に示す画像Ｔ２がテクスチャマッピングされている。なお、図１９の（ｅ）から（ｈ）に示す画像は、動画であるため本来は時間と共に変化するが、説明を容易にするため変化しないものとして説明している。
【０１４７】
また、図１０に示す画像処理装置１００Ａにおいて、操作者は、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面の指定を、ノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等の属性を設定して行うことができる。これにより、以下のような利点、効果がある。すなわち、ＣＧ制作手段（ＰＣ）１１０で作業する間、操作者はテクスチャマッピングされる様子を見ることはできない。しかし、ＰＣ上のソフトウェアであっても指定した表面の色等の属性は概ねその通りに表示されることが多い。そのため、どの属性に入力画像をテクスチャマッピングするかを決めておけば、制作中のＣＧ仮表示画面上で、どこに入力画像が入るかを容易に操作者の頭の中で想定して、最終画像を思い描くことが可能である。
【０１４８】
また、図１０に示す画像処理装置１００Ａにおいて、画像選択操作手段１７０Ａの操作卓２６０の複数の押しボタン列を、画像マッピング手段１５０Ａにマッピング入力を供給する出力バスラインに割り当てることができる。その場合、画像生成手段１４０Ａに設定される画像割り当てテーブルには、複数のマッピング入力について、そのマッピング入力と属性の値（名称）の対応関係が示される。この場合、マッピング入力毎に、画像を入力するためのポリゴン（ポリゴン集合）の表面が指定される。そのため、画像マッピング手段１５０Ａにより、ＣＧ画像の複数の面に、それぞれ、任意のタイミングで所望の画像を選択して合成できる。
【０１４９】
また、図１０に示す画像処理装置１００Ａにおいて、画像選択操作手段１７０Ａの操作卓２６０の左部には文字表示部２６６が設けられており、各押しボタン列が対応する出力バスラインを識別するための文字が表示されている。そして、画像マッピング手段１５０Ａにマッピング入力を供給する出力バスラインに割り当てられた押しボタン列に対応しては、ユーザ操作により選択された所定の属性の値（名称）が表示される。この所定の属性の値（名称）は、当該出力バスラインに得られる画像データ（マッピング入力）による画像をテクスチャマッピングするポリゴン（ポリゴン集合）の表面を指定する情報（表面指定情報）である。したがって、操作者は、押しボタン列が対応する出力バスラインからのマッピング出力による画像がテクスチャマッピングされるＣＧ画像の面がいかなる情報（属性の値（名称））で指定されているかを容易に知ることができる。
【０１５０】
＜３．変形例＞
なお、上述の第２の実施の形態において、画像選択操作手段１７０Ａを構成する操作卓２６０は、図１１に示すように、４つの押しボタン列２６１〜２６４が備えられている。そして、各押しボタン列は、予め操作者の設定操作により、マトリクススイッチ１６０Ａの１３本の出力バスラインのいずれかに対応するように設定される。
【０１５１】
この操作卓２６０の代わりに、図２０に示すような、操作卓２６０Ａを使用することもできる。この操作卓２６０Ａは、左右方向に延びる２本の押しボタン列２７１，２７２が上下方向に並ぶように設けられている。押しボタン列２７２は、マトリクススイッチ１６０Ａの各クロスポイントスイッチ群のスイッチのオンオフを操作するために用いられる。この押しボタン列２７２は、入力ラインのそれぞれと対応する出力バスラインとの接続を選択する択一式の押しボタンにより構成されており、選択された押しボタンは点灯する。
【０１５２】
操作卓２６０Ａには、押しボタン列２７２に対応して文字表示部２７３が設けられている。この文字表示部２７３は、各入力ラインへの入力画像を識別するための文字を表示する。この文字表示部２７３は、例えば、ＬＣＤ（Liquid Crystal Display）等の表示素子により構成される。
【０１５３】
押しボタン列２７１は、指定ボタン列であって、押しボタン列２７２を、どの出力バスラインの画像データの選択操作に使用するかを指定するために用いられる。この押しボタン列２７１は、択一式の押しボタンにより構成されており、選択された押しボタンは点灯する。操作卓２６０Ａには、押しボタン列２７１に対応して文字表示部２７４が設けられている。この文字表示部２７４は、押しボタン列２７１の各押しボタンが、どの出力バスラインの画像データの選択操作に使用するかを示す文字を表示する。この文字表示部２７４は、例えば、ＬＣＤ等の表示素子により構成される。
【０１５４】
押しボタン列２７１の各押しボタンを、どの出力バスラインの画像データの選択操作に使用するかは、例えば、ＧＵＩ（Graphical User Interface）で実現される。図２１は、押しボタン列（指定ボタン列）２７１のアサイン時に表示されるＧＵＩ表示例を示している。このＧＵＩ表示においては、押しボタン列２７１の９個の押しボタンが「１」〜「９」で表されている。操作者は、この「１」〜「９」に対応した「Selectボタン」を操作して、出力バスラインの選択肢を表示し、その選択肢の中から所望の出力バスラインを選択することで、それぞれの押しボタンに所望の出力バスラインを割り当てることができる。
【０１５５】
上述の図１２（ｂ）は、この出力バスラインのセレクト時に表示されるＧＵＩ表示例をも示している。このＧＵＩ表示には、外部出力用の画像データOUT1〜OUT7の出力ラインを構成する出力バスライン２１５〜２２１が、「OUT1」〜「OUT7」で選択肢として表示されている。また、このＧＵＩ表示には、プログラム・プレビューミキサ１８０に画像データを入力する出力バスライン２２２，２２３が、「PP-A」，「PP-B」で選択肢として表示されている。
【０１５６】
また、このＧＵＩ表示には、テクスチャマッピング用の画像データ（マッピング入力）Ｔ１〜Ｔ４の出力ラインを構成する出力バスライン２１１〜２１４に押しボタンを割り当てるために、所定の属性の値（名称）が選択肢として表示されている。属性としては、操作者の操作により、例えばノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等から任意の属性が設定される。ここで、操作者は、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面の指定を行うための属性を設定する。
【０１５７】
画像選択操作手段１７０Ａは、設定された属性の値（名称）をＣＧ制作手段１１０で生成されたＣＧ記述データ中から抽出し、ＧＵＩ表示に選択肢として表示する。図１２（ｂ）のＧＵＩ表示例においては、属性としてマテリアル定義が設定された場合を示しており、マテリアル定義の名称が選択肢として表示されている。このＧＵＩ表示例において、「Metal-1」、「Metal-2」、「Material-Def1」、「Material-Def2」、「Material-Def3」はマテリアル定義の名称である。
【０１５８】
図２１のＧＵＩ表示例では、「１」〜「５」に対して「OUT1」〜「OUT5」が選択されている。また、「６」，「７」に対して「PP-A」，「PP-B」が選択されている。また、「８」，「９」に対して「Metal-1」，「Material-Def3」が選択されている。
【０１５９】
上述したようにマトリクススイッチ１６０Ａは１３本の出力バスラインを有しており、それぞれの出力バスラインはバス番号「１」〜「１３」で特定される。また、上述したように、マトリクススイッチ１６０Ａの１番から４番までの出力バスラインは、画像マッピング手段１５０Ａにマッピング入力（画像データ）Ｔ１〜Ｔ４を入力する。画像選択操作手段１７０Ａ、あるいはその周辺のマイコンは、この結線状態を記憶した、上述の図１３に示すような、マッピング入力対応テーブルを持っている。このマッピング入力対応テーブルは、結線に対応する設定として記憶され、結線の変更がない限り変わることはない。
【０１６０】
図２１の「８」，「９」の場合のように、ある押しボタンに対して所定の属性の値（名称）が選択された場合、画像選択操作手段１７０Ａは、その押しボタンを、バス番号１〜４のうち、未だ割り当てられていない出力バスラインに割り当てる。この場合、この出力バスラインは、選択された所定の属性の値（名称）に対応付けられたポリゴン（ポリゴン集合）の表面にテクスチャマッピングする画像の画像データを出力するための出力バスラインとなる。そして、画像選択操作手段１７０Ａは、選択された所定の属性の値（名称）の情報と、割り当て対象の出力バスラインによるマッピング入力がマッピング入力Ｔ１〜Ｔ４のいずれであるかの情報を、ネットワーク１３０を介して、表面指定手段１２０Ａに送る。
【０１６１】
図２１に示すように、「８」に対して「Metal-1」が選択され、その後、「９」に対して「Material-Def3」が選択される場合を例にとってさらに説明する。
まず、「８」に対して「Metal-1」が選択されるとき、画像選択操作手段１７０Ａは、「８」の押しボタンを出力バスライン２１１に割り当てる。この場合、この出力バスライン２１１は、マテリアル定義「Metal-1」に対応付けられたポリゴン（ポリゴン集合）の表面にテクスチャマッピングする画像の画像データを出力するための出力バスラインとなる。そして、画像選択操作手段１７０Ａは、マテリアル定義「Metal-1」およびマッピング入力Ｔ１の情報を、ネットワーク１３０を介して、表面指定手段１２０Ａに送る。
【０１６２】
次に、「９」に対して「Material-Def3」が選択されるとき、画像選択操作手段１７０Ａは、「９」の押しボタンを出力バスライン２１２に割り当てる。この場合、この出力バスライン２１２は、マテリアル定義「Material-Def3」に対応付けられたポリゴン（ポリゴン集合）の表面にテクスチャマッピングする画像の画像データを出力するための出力バスラインとなる。そして、画像選択操作手段１７０Ａは、マテリアル定義「Material-Def3」およびマッピング入力Ｔ２の情報を、ネットワーク１３０を介して、表面指定手段１２０Ａに送る。
【０１６３】
このように、画像選択操作手段１７０Ａは、図２０に示す操作卓２６０Ａを備える場合にあっても、図１１に示す操作卓２６０を備える場合と同様に、選択された属性の値（名称）とマッピング入力の対応情報を、表面指定手段１２０Ａに送ることができる。これにより、表面指定手段１２０Ａは、属性の値（名称）とマッピング入力の対応関係を示す画像割り当てテーブルを作成して、画像生成手段１４０Ａ内に設定できる。
【０１６４】
図２０に示す操作卓２６０Ａの場合、例えば、押しボタン列２７１の「８」の押しボタンを操作者が操作することで、押しボタン列２７２を、マテリアル定義「Metal-1」に対応した出力バスライン２１１に割り当てることができる。この出力バスラインは、マテリアル定義「Metal-1」に対応付けられたポリゴン（ポリゴン集合）の表面にテクスチャマッピングするための画像の画像データを画像マッピング手段１５０Ａに入力するための出力バスラインである。そして、この場合、操作者は、この押しボタン列２７２を操作することで、当該画像データ（マッピング入力）を、任意のタイミングで変更できる。
【０１６５】
なお、図２０に示す操作卓２６０Ａは、押しボタン列（指定ボタン列）２７１に９個の押しボタンを備えているが、所定の属性の値（名称）を選択する押しボタンの数は最大４である。図１０に示す画像処理装置１００Ａでは、画像マッピング手段１５０にマッピング入力（画像データ）を供給する出力バスラインが４本とされているからである。
【０１６６】
また、上述では、押しボタン列（指定ボタン列）２７１の「８」、「９」の押しボタンに対して所定の属性の値（名称）を一つだけ選択し得るように説明した。しかし、これらの押しボタンに対して、所定の属性の値（名称）を複数個選択することを許容する構成も考えられる。この場合には、選択された複数の所定の属性の値（名称）のいずれかに対応付けられたポリゴン（ポリゴン集合）すべての表面に、これらの押しボタンが割り当てられた出力バスラインの出力画像データによる画像がテクスチャマッピングされることになる。この場合、各押しボタンに対応した文字表示部２７４（図２０参照）には、複数の属性の値（名称）が表示されることになる。ただし、複数の属性の値（名称）の表示が困難であれば、一つ、あるいは可能なだけ表示することになる。
【０１６７】
また、上述の第２の実施の形態において、ＣＧ制作手段１１０と、表面指定手段１２０Ａと、画像生成手段１４０Ａおよび画像マッピング手段１５０Ａとが別個に存在し、互いにネットワーク１３０を介して接続されている。しかし、これらを一体化した構成も考えられる。
【０１６８】
図２２は、図１０に示した画像処理装置１００Ａを変形した画像処理装置１００Ｂを示している。この画像処理装置１００Ｂは、ＣＧ制作手段と、表面指定手段と、画像生成手段および画像マッピング手段が、一個のパーソナルコンピュータ１９０で構成されている。なお、詳細説明は省略するが、この画像処理装置１００Ｂのその他は図１０に示す画像処理装置１００Ａと同様に構成されており同様に動作する。
【産業上の利用可能性】
【０１６９】
この発明は、ＣＧ画像の所望の面に、任意のタイミングで所望の画像を選択してテクスチャマッピングによる画像合成を行うものであり、放送システムにおける特殊効果装置等に適用できる。
【符号の説明】
【０１７０】
１００，１００Ａ，１００Ｂ・・・画像処理装置、１１０・・・ＣＧ制作手段、１２０，１２０Ａ・・・表面指定手段、１３０・・・ネットワーク、１４０，１４０Ａ・・・画像生成手段、１４１・・・画像入出力部、１４２・・・ＧＰＵ、１４３・・・ローカルメモリ、１４４・・・ＣＰＵ、１４５・・・メインメモリ、１４６・・・周辺デバイス制御部、１４７・・・ＨＤＤ、１４８ａ・・・イーサネット回路、１４８ｂ・・・ネットワーク端子、１４９・・・ＵＳＢ端子、１５１・・・ＳＤＲＡＭ、１５０，１５０Ａ・・・画像マッピング手段、１６０，１６０Ａ・・・マトリクススイッチ、１６１〜１６４・・・出力バスライン、１６５〜１６８・・・クロスポイントスイッチ群、１７０，１７０Ａ・・・画像選択操作手段、１７１〜１７４・・・押しボタン列、１７５，１７６・・・文字表示部、１８０・・・プログラム・プレビューミキサ、１９０・・・パーソナルコンピュータ、２１１〜２２３・・・出力バスライン、２３１〜２４３・・・クロスポイントスイッチ群、２５１・・・プログラム出力ライン、２５２・・・プレビュー出力ライン、２６０，２６０Ａ・・・操作卓、２６１〜２６４・・・押しボタン列、２６５，２６６・・・文字表示部
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関し、特に、コンピュータグラフィクス画像に画像データによる画像をテクスチャマッピングして画像合成を行う画像処理装置等に関する。
【背景技術】
【０００２】
３次元グラフィックスシステムにおいては、３次元座標を３角形などのポリゴン（多角形）に分解し、そのポリゴンを描画することで、画像全体の描画が行われる。したがって、この場合、３次元画像は、ポリゴンの組み合わせで定義されていると言える。ところで、身の回りにある物体表面は、複雑な模様の繰り返しパターンを有することが多く、模様やパターンが複雑で細かくなるほど、各模様やパターンを３角形などでモデリングすることは困難となる。そこで、これを解決する手段として、テクスチャマッピング（Texture Mapping）が用いられる。
【０００３】
テクスチャマッピングは、スキャナ等で取り込んだイメージデータを、物体表面に貼り付けることにより、少ない頂点数で、リアリティの高い画像を実現するもので、オブジェクト（Object）座標系からテクスチャ（Texture ）座標系への写像を定義し、さらに、ウインドウ（Window）座標系からテクスチャ座標系への写像を求めて、ウインドウ座標系における各ピクセル（Pixel, Picture Cell Element ）に対応するテクスチャの要素であるテクセル（Texel, Texture Cell Element ）を求める。
【０００４】
テクスチャに利用される画像データは、テクスチャメモリと呼ばれるメモリ領域に格納される。したがって、動画像データを用いてテクスチャメモリを随時更新する処理を行うと、動画像によるテクスチャマッピング処理が可能となる。
【０００５】
例えば、特許文献１には、テクスチャ座標の制御により、三次元ＣＧへのテクスチャマッピングを時間の経過とともに、ある画像から異なる画像へ遷移（Transition）させる、３次元特殊効果装置が記載されている。
【０００６】
また、例えば特許文献２には、コンピュータグラフィクスと実写映像とを合成する技術であって、領域の指定や、テクスチャマッピングする映像の再生開始時刻およびフレームとの対応を指定し、時間軸上で所望のフレーム貼り付けを実現する、画像列生成方法が記載されている。
【０００７】
また、例えば、特許文献３には、３Ｄ ＣＧへの動画のテクスチャマッピング状態と、動画のみの表示とをシームレスに遷移する制御を実現する、描画装置が記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−３６９０７６号公報
【特許文献２】特開２０００−１５２０７９号公報
【特許文献３】特開２００１−０１４４８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
近年は、作成されたコンピュータグラフィクス画像を、状況に応じて、アニメーション動作させること、あるいは一部のパラメータを変化させて、生成されるコンピュータグラフィクス画像を変化させることが行われるようになった。予め合成結果の画像を作って保存利用するのではなく、生放送においても、このような技術が使われるようになっている。このコンピュータグラフィクス画像中にテクスチャマッピングする画像についても、状況に応じて選択可能であることが望まれている。
【００１０】
従来技術では、放送などへの提供前に時間を掛けて画像を合成しておくことが標準的であったため、このような希望に応えていない。例えば、３個のオブジェクトが描画され、それらがアニメーションにより画面中を移動するようなＣＧについて、それぞれのオブジェクトの表面に任意のタイミングで所望の画像Ｖ１，Ｖ２をテクスチャマッピングするような運用が望まれる場合、従来技術では、操作が困難であった。
【００１１】
例えば、図２３（ａ）〜（ｄ）は、３個のオブジェクトＯＢ１〜ＯＢ３が描画され、それらがアニメーションにより画面中を移動するようなＣＧ画像例を示している。そして、図２４（ａ）〜（ｄ）は、上述の３個のオブジェクトＯＢ１〜ＯＢ３の面に、任意のタイミングで所望の画像Ｖ１，Ｖ２をテクスチャマッピングした例を示している。
【００１２】
ＣＧデータの作成工程は時間を掛けて行われる。一方、テクスチャマッピングされる画像の内容については、この段階では予期できない。
【００１３】
この発明の目的は、コンピュータグラフィクス画像の所望の面に、任意のタイミングで所望の画像を選択して合成可能とすることにある。
【課題を解決するための手段】
【００１４】
この発明の概念は、
複数の入力画像データから１つの画像データを選択的に取り出す画像選択手段と、
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像データを生成する画像生成手段と、
上記コンピュータグラフィクス記述データ中のポリゴン集合を選択肢として所定のポリゴンの表面を指定する表面指定手段と、
上記画像生成手段が描画するポリゴンの表面のうち、上記表面指定手段で指定された上記所定のポリゴンの表面に、上記画像選択手段で取り出された画像データによる画像をテクスチャマッピングする画像マッピング手段と
を備える画像処理装置にある。
【００１５】
この発明において、画像選択手段により、複数の入力画像データから１つの画像データが選択的に取り出される。また、画像生成手段により、コンピュータグラフィクス記述データに基づいて、コンピュータグラフィクス画像が生成される。この場合、３次元座標が３角形等のポリゴン（多角形）に分解され、そのポリゴンが描画されることで、画像全体の描画が行われる。
【００１６】
また、コンピュータグラフィクス記述データ中のポリゴンの表面が選択肢とされ、所定のポリゴンの表面が指定される。例えば、コンピュータグラフィクス記述データ中の所定の属性の値（名称）の選択により所定のポリゴンの表面が指定される。ここで、所定の属性は、例えば、ノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等である。コンピュータグラフィクス記述データ中において、各所定の属性の値とポリゴンの表面の対応付けが、定義されている。
【００１７】
そして、画像マッピング手段により、画像生成手段が描画するポリゴンの表面のうち、表面指定手段で指定された所定のポリゴンの表面に、画像選択手段で取り出された画像データによる画像がテクスチャマッピングされる。このテクスチャマッピングの動作は、画像選択手段からの画像データの流れ（フレームの連鎖）に従い、画像フレームを継続して更新してテクスチャマッピングの描画を行う。
【００１８】
このように、画像選択手段により複数の入力画像データから１つの画像データが選択的に取り出される。そして、この１つの画像データによる画像が、表面指定手段で指定された所定のポリゴンの表面に、テクスチャマッピングされる。そのため、画像選択手段で取り出される画像データの変化により、テクスチャマッピングされる画像が変化する。この一連の動作はすべて、入力画像データを一定の遅延の範囲内で処理するので、本装置を生放送で使用できるようになっている。すなわち、本装置への入力画像が出力に反映されるまでの遅延は一定のフレーム数以下となる。したがって、操作者は、コンピュータグラフィクス画像の所望の面に、任意のタイミングで所望の画像を選択して合成できる。
【００１９】
この発明において、例えば、画像選択手段を複数備え、表面指定手段は、画像選択手段毎に、コンピュータグラフィクス記述データ中のポリゴンの表面を選択肢として所定のポリゴンの表面を指定し、画像マッピング手段は、画像生成手段が描画するポリゴンの表面のうち、表面指定手段で画像選択手段毎に指定された所定のポリゴンの表面に、対応する画像選択手段で取り出された画像データによる画像をテクスチャマッピングする、ようにしてもよい。
【００２０】
この場合、例えば、表面指定手段により、複数の画像選択手段で取り出される画像データを識別する画像識別子と表面指定を対応付ける画像割り当てテーブルが設定され、画像マッピング手段では、この画像割り当てテーブルに基づいて、テクスチャマッピングの処理が行われる。この場合、コンピュータグラフィクス画像の複数の面に、それぞれ、任意のタイミングで所望の画像を選択して合成できる。
【００２１】
また、この発明において、例えば、画像選択手段を複数備える場合にあって、表面指定手段により表面指定が行われた画像選択手段に対応して、表面指定情報を表示する表示手段をさらに備える、ようにしてもよい。この場合、操作者は、各画像選択手段で取り出される画像データによる画像がテクスチャマッピングされるコンピュータグラフィクス画像の面がいかなる情報で指定されているかを容易に知ることができる。
【発明の効果】
【００２２】
この発明によれば、複数の入力画像データから１つの画像データを選択的に取り出し、この取り出された画像データによる画像を、指定された所定のポリゴンの表面にテクスチャマッピングするものであり、コンピュータグラフィクス画像の所望の面に、任意のタイミングで所望の画像を選択して合成することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】第１の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】マテリアルが持つ表面情報の例を示す図である。
【図３】画像選択操作手段（操作卓）の外観の一例を示す図である。
【図４】画像生成手段および画像マッピング手段の具体的な構成例を示すブロック図である。
【図５】画像生成手段および画像マッピング手段の機能ブロックの構成例を示す図である。
【図６】テクスチャマッピングを行う際のテクスチャ画像とＵＶマップの一例を示す図である。
【図７】表面指定手段のＧＵＩ表示例を示す図である。
【図８】表面指定手段の処理手順を概略的に示すフローチャートである。
【図９】画像マッピング手段の処理手順を概略的に示すフローチャートである。
【図１０】第２の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図１１】操作卓の一例の外観を示す図である。
【図１２】出力バスラインのアサイン時に表示されるＧＵＩ表示例および出力バスラインのセレクト時に表示されるＣＵＩ表示例を示す図である。
【図１３】出力バスラインのバス番号とマッピング入力Ｔ１〜Ｔ４との対応を示すマッピング入力対応テーブルの一例を示す図である。
【図１４】マッピング入力Ｔ１〜Ｔ４と属性の値（名称）との対応関係を示す画像割り当てテーブルの一例を示す図である。
【図１５】画像選択操作手段の処理手順を概略的に示すフローチャートである。
【図１６】表面指定手段の処理手順を概略的に示すフローチャートである。
【図１７】画像マッピング手段の処理手順を概略的に示すフローチャートである。
【図１８】画像生成手段に画像割り当てーブルが設定されるまでの通信シーケンスを示すシーケンス図である。
【図１９】複数のオブジェクトの面にテクスチャマッピングされる画像が所定のタイミングで変更される例を説明するための図である。
【図２０】操作卓の他の例の外観を示す図である。
【図２１】押しボタン列（指定ボタン列）のアサイン時に表示されるＧＵＩ表示例を示す図である。
【図２２】画像処理装置の変形例を示すブロック図である。
【図２３】３個のオブジェクトＯＢ１〜ＯＢ３が描画され、それらがアニメーションにより画面中を移動するようなＣＧ画像例を示す図である。
【図２４】３個のオブジェクトＯＢ１〜ＯＢ３に対して、任意のタイミングで所望の画像をテクスチャマッピングした例を示す図である。
【発明を実施するための形態】
【００２４】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例
【００２５】
＜１．第１の実施の形態＞
［画像処理装置の構成］
この発明の第１の実施の形態を説明する。図１は、第１の実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、ＣＧ（Computer Graphics：コンピュータグラフィクス）制作手段１１０と、表面指定手段１２０と、ネットワーク１３０と、画像生成手段１４０と、画像マッピング手段１５０を有している。また、この画像処理装置１００は、マトリクススイッチ１６０と、画像選択操作手段１７０を有している。ＣＧ制作手段１１０、表面指定手段１２０および画像生成手段１４０は、それぞれネットワーク１３０に接続されている。
【００２６】
ＣＧ制作手段１１０は、ＣＧ制作ソフトウェアを持つパーソナルコンピュータ（ＰＣ：Personal Computer）により構成されている。このＣＧ制作手段１１０は、所定のフォーマットのＣＧ記述データを出力する。ＣＧ記述データのフォーマットとして、例えばＣｏｌｌａｄａ（登録商標）がある。Ｃｏｌｌａｄａは、ＸＭＬ（Extensible Markup Language）の上で３ＤのＣＧデータの交換を実現するための記述定義である。ＣＧ記述データには、例えば、以下のような情報が記述される。
【００２７】
（ａ）マテリアルの定義
このマテリアルの定義は、ＣＧオブジェクトの表面の質（見え方）である。このマテリアルの定義には、色、反射の仕方、発光、凹凸などの情報が含まれる。また、このマテリアルの定義には、テクスチャマッピングの情報が含まれる場合がある。テクスチャマッピングとは、上述したように、画像をＣＧオブジェクトに貼り付ける手法であり、処理系の負荷を比較的軽くしつつ、複雑な模様などを表現できる。図２は、マテリアルが持つ表面情報の例を示している。なお、色の代わりにテクスチャマッピングを指定する場合もある。
【００２８】
（ｂ）幾何学情報 Geometry の定義
この幾何学情報 Geometry の定義には、ポリゴンメッシュについての、位置座標、頂点の座標などの情報が含まれる。
（ｃ）カメラの定義
このカメラの定義には、カメラのパラメータが含まれる。
【００２９】
（ｄ）アニメーションの定義
このアニメーションの定義には、アニメーションの各キーフレームにおける、様々な値の情報が含まれる。また、このアニメーションの定義には、アニメーションの各キーフレームにおける時刻の情報が含まれる。様々な情報とは、例えば、対応するオブジェクト（ノード）のキーフレーム点の時刻、位置や頂点の座標値、サイズ、接線ベクトル、補間方法、各種情報のアニメーション中の変化等の情報である。
（ｅ）シーン中のノード（オブジェクト）の位置、方向、大きさ、対応する幾何学情報定義、対応するマテリアル定義
【００３０】
これらの情報は、ばらばらではなく、例えば、以下のように対応付けられている。
・ノード・・・幾何学情報
・ノード・・・マテリアル（複数）
・幾何学情報・・・ポリゴン集合（複数）
・ポリゴン集合・・・マテリアル（ノードに対応するうちの一つ）
・アニメーション・・・ノード
【００３１】
一つの画面を構成する記述はシーンと呼ばれる。各定義はライブラリと呼ばれ、シーンの中から参照される。例えば、直方体のオブジェクトが２つ存在する場合、それぞれが一つのノードとして記述され、各ノードにマテリアル定義のいずれかが連想される。この結果、各直方体のオブジェクトにはマテリアル定義が連想され、各マテリアル定義に従った色や反射特性で描画される。
【００３２】
あるいは、直方体のオブジェクトは複数のポリゴン集合で記述され、ポリゴン集合にマテリアル定義が連想されている場合は、ポリゴン集合毎に、異なるマテリアル定義で描画される。例えば、直方体の面は６つであるが、このうちの３つの面で一つのポリゴン集合、１つの面で１つのポリゴン集合、２つの面で一つのポリゴン集合、というように、直方体のオブジェクトが３つのポリゴン集合で記述される場合もある。各ポリゴン集合に異なるマテリアル定義を連想できるため、面毎に異なる色で描画させることも可能である。
【００３３】
マテリアル定義にテクスチャマッピングが指定されている場合は、連想されているオブジェクトの面に、画像データによる画像がテクスチャマッピングされる。
この実施の形態では、後述するように、例えば、マテリアル定義に対して入力画像をテクスチャマッピングするように設定される。そのため、直方体のオブジェクトの全ての面に同じ入力画像をテクスチャマッピングすることもでき、面毎に異なる入力画像をテクスチャマッピングすることもできる。
【００３４】
以下は、ＣＧ記述データとしてのColladaファイルのサンプル（一部の抜粋例）を示している。例えば、このサンプルでは、“01MatDefault”という名前（値）のマテリアルが定義されている。そして、このマテリアルの実際の内容は、“01MatDefault-fx”のエフェクトを参照すべきことが記述されている。また。このサンプルでは、<library_visual_scenes>において、“#Box01-lib”の幾何学情報定義に対して“01MatDefault”のマテリアル定義を結びつけて、描画することが記述されている。
【００３５】
［Colladaファイルのサンプル］
<library_materials>
<material id="01MatDefault" name="01MatDefault"> マテリアル定義
<instance_effect url="#01MatDefault-fx"/> エフェクトを参照
</material>
</library_materials>
<library_effects>
<effect id="01MatDefault-fx"name="01MatDefault"> これがマテリアルの内容
<profile_COMMON>
<technique sid="standard">
<phong>
<emission>
<color sid="emission">0.000000 0.000000 0.0000001.000000</color>
</emission>
<ambient> ここで色が付いている
<color sid="ambient">0.588235 0.952941 0.921569 1.000000</color>
</ambient>
<diffuse>
<color sid="diffuse">0.588235 0.952941 0.9215691.000000</color>
</diffuse>
<specular>
<color sid="specular">0.000000 0.000000 0.000000 1.000000</color>
</specular>
<shininess>
<float sid="shininess">2.000000</float>
</shininess>
<reflective>
<color sid="reflective">0.000000 0.000000 0.0000001.000000</color>
</reflective>
<reflectivity>
<float sid="reflectivity">1.000000</float>
</reflectivity>
<transparent>
<color sid="transparent">1.000000 1.000000 1.0000001.000000</color>
</transparent>
<transparency>
<float sid="transparency">0.000000</float>
</transparency>
</phong>
</technique>
</profile_COMMON>
</effect>
</library_effects>
<library_geometries>
<geometry id="Box01-lib" name="Box01Mesh">
<mesh>
<source id="Box01-lib-Position">
<float_array id="Box01-lib-Position-array"count="24"> 位置情報の配列
-4.673016-8.585480 0.000000
4.673016-8.585480 0.000000
-4.6730168.585480 0.000000
4.6730168.585480 0.000000
-4.673016-8.585480 10.185543
4.673016-8.585480 10.185543
-4.6730168.585480 10.185543
4.6730168.585480 10.185543
</float_array>
<technique_common>
<accessor source="#Box01-lib-Position-array" count="8"stride="3">
<param name="X" type="float"/> 位置情報の配列の並びの説明
<param name="Y" type="float"/>
<param name="Z" type="float"/>
</accessor>
</technique_common>
</source>
<source id="Box01-lib-UV0">
<float_array id="Box01-lib-UV0-array" count="24"> UV座標の配列
0.0000000.000000 単純な立方体なので、0 と 1 しかない。
1.0000000.000000
0.0000001.000000
1.0000001.000000
0.0000000.000000
1.0000000.000000
0.0000001.000000
1.0000001.000000
0.0000000.000000
1.0000000.000000
0.0000001.000000
1.0000001.000000
</float_array>
<technique_common>
<accessor source="#Box01-lib-UV0-array" count="12"stride="2">
UV座標の説明
<param name="S" type="float"/>
<param name="T" type="float"/>
</accessor>
</technique_common>
</source>
<vertices id="Box01-lib-Vertex">
<input semantic="POSITION"source="#Box02-lib-Position"/>
</vertices>
<polygons material="01MatDefault" count="12">
<input semantic="VERTEX" offset="0"source="#Box01-lib-Vertex"/>
<input semantic="NORMAL" offset="1"source="#Box01-lib-Normal0"/>
<input semantic="TEXCOORD" offset="2" set="0"source="#Box01-lib-UV0"/>
<p>0 0 9 2 1 11 3 2 10</p> 頂点情報
<p>3 3 10 1 4 8 0 5 9</p>
<p>4 6 8 5 7 9 7 8 11</p>
<p>7 9 11 6 10 10 4 11 8</p>
<p>0 12 4 1 13 5 5 14 7</p>
<p>5 15 7 4 16 6 0 17 4</p>
<p>1 18 0 3 19 1 7 20 3</p>
<p>7 21 3 5 22 2 1 23 0</p>
<p>3 24 4 2 25 5 6 26 7</p>
<p>6 27 7 7 28 6 3 29 4</p>
<p>2 30 0 0 31 1 4 32 3</p>
<p>4 33 3 6 34 2 2 35 0</p>
</polygons>
</mesh>
</geometry>
</library_geometries>
<library_animations>
<animation id="Box01-anim" name="Box01">
<animation>
<sourceid="Box01-translate-animation-inputX">
<float_array id="Box01-translate-animation-inputX-array"count="4">
0.0000001.000000 1.033333 1.333333 アニメーションでの X 座標値の変化の時刻
</float_array>
<technique_common>
<accessor source="#Box01-translate-animation-inputX-array"count="4">
<param name="TIME" type="float"/>
</accessor>
</technique_common>
</source>
<source id="Box01-translate-animation-outputX">
<float_arrayid="Box01-translate-animation-outputX-array" count="4">
-43.404125-43.404125 -23.897228 13.150181 アニメーションの X 座標値そのもの
</float_array>
<technique_common>
<accessor source="#Box01-translate-animation-outputX-array" count="4">
<param name="X" type="float"/>
</accessor>
</technique_common>
</source>
<source id="Box01-translate-animation-intanX">
<float_array id="Box01-translate-animation-intanX-array"count="4">
0.0000000.000000 1.884578 -0.000000
</float_array>
<technique_common>
<accessor source="#Box01-translate-animation-intanX-array"count="4">
<param name="X" type="float"/>
</accessor>
</technique_common>
</source>
<source id="Box01-translate-animation-outtanX">
<float_array id="Box01-translate-animation-outtanX-array"count="4">
0.0000000.000000 16.961202 0.000000
</float_array>
<technique_common>
<accessor source="#Box01-translate-animation-outtanX-array"count="4">
<param name="X" type="float"/>
</accessor>
</technique_common>
</source>
<source id="Box01-translate-animation-interpolationX">
<Name_array id="Box01-translate-animation-interpolationX-array"count="4">
BEZIER BEZIER BEZIER BEZIER
</Name_array>
<technique_common>
<accessor source="#Box01-translate-animation-interpolationX-array"count="4">
<param type="name"/>
</accessor>
</technique_common>
</source>
<sampler id="Box01-translate-animationX">
<input semantic="INPUT"source="#Box01-translate-animation-inputX"/>
<input semantic="OUTPUT"source="#Box01-translate-animation-outputX"/>
<input semantic="IN_TANGENT"source="#Box01-translate-animation-intanX"/>
<input semantic="OUT_TANGENT"source="#Box01-translate-animation-outtanX"/>
<input semantic="INTERPOLATION"source="#Box01-translate-animation-interpolationX"/>
</sampler>
<channel source="#Box01-translate-animationX"target="Box01/translate.X"/>以上が何のアニメーション情報であるかをここで決定（target）している
</animation>
<library_visual_scenes>
<visual_scene id="RootNode" name="RootNode">
<node id="Box01" name="Box01">
<translate sid="translate">-43.404125 0.6970370.000000</translate>
<rotate sid="rotateZ">0 0 1 0.000000</rotate>
<rotate sid="rotateY">0 1 00.000000</rotate>
<rotate sid="rotateX">1 0 0 0.000000</rotate>
<scale sid="scale">1.000000 1.000000 1.000000</scale>
<instance_geometry url="#Box01-lib"> 幾何学情報定義の参照
<bind_material>
<technique_common>
<instance_material symbol="01MatDefault"target="#01MatDefault"/> マテリアル参照
</technique_common>
</bind_material>
</instance_geometry>
</node>
</visual_scene>
</library_visual_scenes>
【００３６】
図１に戻って、マトリクススイッチ１６０は、複数の入力画像データから一つの画像データを選択的に取り出す画像選択手段を構成している。このマトリクススイッチ１６０は、９本の入力ラインと、４本の出力バスライン１６１〜１６４と、クロスポイントスイッチ群１６５〜１６８とにより構成されている。
【００３７】
９本の入力ラインは図で一方向に配列されており、それぞれにはＶＴＲ、ビデオカメラ等から画像データが入力される。４本の出力バスライン１６１〜１６４は、入力ラインと交差して他方向に配列されている。クロスポイントスイッチ群１６５は、９本の入力ラインと出力バスライン１６１とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群１６５が制御され、９本の入力ラインに入力された画像データのいずれかが出力バスライン１６１に選択的に出力される。この出力バスライン１６１は、テクスチャマッピング用の画像データＬの出力ライン（補助出力ライン）を構成する。
【００３８】
また、クロスポイントスイッチ群１６６，１６７，１６８は、それぞれ、９本の入力ラインと出力バスライン１６２，１６３，１６４とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群１６６，１６７，１６８が制御され、９本の入力ラインに入力された画像データのいずれかが出力バスライン１６２，１６３，１６４に選択的に出力される。この出力バスライン１６２，１６３，１６４は、外部出力用の画像データOUT1，OUT2，OUT3の出力ラインを構成する。
【００３９】
なお、クロスポイントスイッチ群１６５〜１６８の各クロスポイントスイッチのオンオフ動作は、フレームデータの連続からなる画像データを切り替えるものであることから、フレームの切れ目である垂直ブランキング区間内に行われる。
【００４０】
画像選択操作手段１７０は、上述のマトリクススイッチ１６０への指示の操作入力を受ける。この画像選択操作手段１７０は、各出力バスラインにそれぞれ対応した押しボタン列からなり、各ボタンが各入力ラインに対応した構成とされている。
【００４１】
図３は、画像選択操作手段（操作卓）１７０の外観の一例を示している。この画像選択操作手段１７０には、出力バスライン１６１〜１６４にそれぞれ対応した左右方向に延びる押しボタン列１７１〜１７４が上下方向に並ぶように設けられている。各押しボタン列は、入力ラインのそれぞれと対応する出力バスラインとの接続を選択する択一式の押しボタンにより構成されており、選択された押しボタンは点灯する。
【００４２】
画像選択操作手段（操作卓）１７０の上部には文字表示部１７５が設けられており、各入力ラインへの入力画像を識別するための文字が表示されている。また、画像選択操作手段（操作卓）１７０の左部には文字表示部１７６が設けられており、各押しボタン列が対応する出力バスラインで得られる画像データを識別するための文字が表示されている。
【００４３】
画像生成手段１４０は、ＣＧ制作手段１１０で制作されたＣＧ記述データに基づいて、三次元空間画像であるＣＧ画像を生成する。この画像生成手段１４０は、時間をかけたレンダリング処理ではなく、アニメーションフレームの実時間で画像を生成する。
【００４４】
画像生成手段１４０は、ＣＧ記述データを読み込むと、各定義などの情報をメモリ上に保持し、それらの対応付けもデータ構造として保持する。また、画像生成手段１４０は、アニメーションを実行するためのキーフレームにおける各種値もメモリ上に保持する。
【００４５】
例えば、あるノードの幾何学情報にあるポリゴン集合を描画するには、その幾何学情報と、対応付けられているマテリアル定義を参照して、その色などの指定に従って描画する。アニメーションの場合は、現在時刻を毎フレーム進行させ、現在時刻から、前後のキーフレームにおける各値を補間して各値を決定し、描画を行う。
【００４６】
この画像生成手段１４０には、表面指定手段１２０から、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面の指定情報が送られてくる。画像生成手段１４０は、その指定情報が示す所定のポリゴン（ポリゴン集合）の表面に入力画像をテクスチャマッピングするように、画像マッピング手段１５０を制御する。
【００４７】
画像マッピング手段１５０は、画像生成手段１４０が描画するポリゴンのうち、表面指定手段１２０で指定されるポリゴンの表面に、テクスチャマッピングを行う。この画像マッピング手段１５０は、実装上は、上述の画像生成手段１４０と一体化されており、ＣＰＵ（Central Processing Unit）上のソフトウェアによる制御と、ＧＰＵ（GraphicsProcessing Unit）等のハードウェアによる動作によって実現される。制御ソフトウェアは、テクスチャマッピングするポリゴン集合を指定してハードウェアに指示する。
【００４８】
［画像生成手段および画像マッピング手段の構成例］
図４は、画像生成手段１４０および画像マッピング手段１５０の具体的な構成例を示している。画像生成手段１４０および画像マッピング手段１５０は、画像入出力部１４１と、ＧＰＵ１４２と、ローカルメモリ１４３と、ＣＰＵ１４４と、メインメモリ１４５を有している。また、画像生成手段１４０および画像マッピング手段１５０は、周辺デバイス制御部１４６と、ハードディスクドライブ（ＨＤＤ）１４７と、イーサネット回路１４８ａと、ネットワーク端子１４８ｂを有している。また、画像生成手段１４０および画像マッピング手段１５０は、ＵＳＢ（Universal Serial Bus）端子１４９と、ＳＤＲＡＭ（SynchronousDRAM）１５１を有している。なお、「イーサネット」は登録商標である。
【００４９】
画像入出力部１４１は、テクスチャマッピングをするための画像データを入力し、また、画像データによる画像が適宜テクスチャマッピングされたＣＧ画像の画像データを出力する。この画像入出力部１４１は、最大で４系統の画像データを入力でき、また、最大で４系統の画像データを出力できる。なお、ここで取り扱われる画像データは、例えば、ＳＭＰＴＥ２９２Ｍで規定されているＨＤ-ＳＤＩ（High Definition television-SerialDigital Interface）規格の画像データである。ＧＰＵ１４２およびメインメモリ１４５は、同等に、画像入出力部１４１にアクセス可能とされている。
【００５０】
メインメモリ１４５は、ＣＰＵ１４４のワークエリアとして機能すると共に、画像入出力部１４１から入力される画像データを一時的に記憶する。ＣＰＵ１４４は、画像生成手段１４０および画像マッピング手段１５０の全体を制御する。このＣＰＵ１４４には、周辺デバイス制御部１４６が接続されている。この周辺デバイス制御部１４６は、ＣＰＵ１４４と周辺デバイスとの間のインタフェース処理を行う。
【００５１】
ＣＰＵ１４４には、周辺デバイス制御部１４６を介して、内蔵のハードディスクドライブ１４７が接続されている。また、ＣＰＵ１４４には、周辺デバイス制御部１４６、イーサネット回路１４８ａを介して、ネットワーク端子１４８ｂが接続されている。また、ＣＰＵ１４４には、周辺デバイス制御部１４６を介して、ＵＳＢ端子１４９が接続されている。さらに、ＣＰＵ１４４には、周辺デバイス制御部１４６を介して、ＳＤＲＡＭ１５１が接続されている。
【００５２】
ＣＰＵ１４４は、テクスチャ座標の制御を行う。すなわち、このＣＰＵ１４４は、入力画像データに対して、それによる画像をＧＰＵ１４２が描画するポリゴンの表面にテクスチャマッピングをするための処理を行う。ＧＰＵ１４２は、ハードディスクドライブ１４７等に保持されているＣＧ記述データに基づいてＣＧ画像を生成し、また、必要に応じて、指定されたポリゴンの表面に、入力画像をテクスチャマッピングする。ローカルメモリ１４３は、ＧＰＵ１４２のワークエリアとして機能すると共に、ＧＰＵ１４２で作成されたＣＧ画像の画像データを一時的に記憶する。
【００５３】
ＣＰＵ１４４は、メインメモリ１４５にアクセスできる他、ローカルメモリ１４３にもアクセス可能とされている。同様に、ＧＰＵ１４２は、ローカルメモリ１４３にアクセスできると共に、メインメモリ１４５にもアクセス可能とされている。ＧＰＵ１４２により生成されてローカルメモリ１４３に一次的に記憶されたＣＧ画像データは、このローカルメモリ１４３から順次読み出され、画像入出力部１４１から出力される。
【００５４】
図５は、上述した画像生成手段１４０および画像マッピング手段１５０の機能ブロックの構成例を示している。この画像生成手段１４０および画像マッピング手段１５０は、画像入力部１５２、テクスチャ画像記憶部１５３、ＣＧ制御部１５４、ＣＧ描画部１５５、テクスチャ座標制御部１５６、フレームバッファ１５７および画像出力部１５８の機能ブロックを有している。
【００５５】
画像入力部１５２および画像出力部１５８は、画像入出力部１４１により構成されている。また、テクスチャ画像記憶部１５３は、メインメモリ１４５により構成されている。また、ＣＧ制御部１５４およびテクスチャ座標制御部１５６は、ＣＰＵ１４４により構成されている。また、ＣＧ描画部１５５は、ＧＰＵ１４２により構成されている。また、フレームバッファ１５７は、ローカルメモリ１４３により構成されている。
【００５６】
画像入力部１５２とテクスチャ画像記憶部１５３は対で、これらを増やすことで、画像入力の系統を増やすことができる。また、フレームバッファ１５７と画像出力部１５８は対で、これらを増やすことで、画像出力の系統を増やすことができる。
【００５７】
図６は、テクスチャマッピングを行う際のテクスチャ画像とＵＶマップの一例を示している。図６（ａ）はテクスチャ画像を示し、図６（ｂ）はＵＶマップを示している。ここで、ＵＶマップは、あるオブジェクト（ノード）の表面を紙面と考えたときに、その紙面上での座標で表された地図を意味している。この地図を平面に拡げたときに、その平面上での点（ｘ，ｙ）がオブジェクトの表面の点（ｕ，ｖ）に対応している。そのため、テクスチャ画像をＵＶマップに貼り付ける処理を行うことで、オブジェクトの表面にテクスチャ画像を貼り付けるテクスチャマッピングが可能となる。なお、図６（ｂ）はＵＶマップに、テクスチャ画像が貼り付けられた状態を示している。
【００５８】
表面指定手段１２０は、ＣＧ記述データ中のポリゴンの表面を選択肢として、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面を指定する。そして、表面指定手段１２０は、ネットワーク１３０を介して、その指定情報を画像生成手段１４０に送る。この表面指定手段１２０は、例えば、ＧＵＩ（Graphical User Interface）で実現される。以下に、表面指定方法の例を上げる。
（１）ポリゴン集合を全て選択肢として表示し、操作者にその中から選択させる。
（２）ノードを選択肢として表示し、操作者にその中から選択させる。一つのノードには、複数のポリゴン集合が含まれる場合がある。
【００５９】
例えば、円錐の底面と側面が別々のポリゴン集合になっている場合には、ポリゴン集合で指定すれば、例えば底面にのみテクスチャマッピングすることができる。あるいは、円錐のノード単位で指定すれば、底面と側面に同じ入力画像をテクスチャマッピングできる。入力画像と各面上の位置との対応は、テクスチャ座標により指定される。ＣＧ記述データには、ポリゴンの頂点毎のテクスチャ座標が記述されている。ＣＧ記述データ中で、各ポリゴン集合および各ノードには、ＣＧ制作手段１１０で制作時に付与された文字列の名称が対応付けられている。それら文字列を選択肢として表示するようにすることで、操作し易い環境を提供できる。
【００６０】
（３）マテリアル定義を選択肢として表示し、操作者にその中から選択させる。この場合、マテリアル定義を指定することで、間接的に入力画像をテクスチャマッピングする対象であるポリゴン表面を指定できる。すなわち、この場合、選択されたマテリアル定義に対応付けられているポリゴン集合を、入力画像をテクスチャマッピングする対象とする。
【００６１】
例えば、ＣＧ記述データに次の４つのマテリアル定義が含まれているとする。
・＜material_phong1＞
・＜material_lambert1＞
・＜material_blinn1＞
・＜material_blinn2＞
【００６２】
表面指定手段１２０は、この４つのマテリアル定義の名称を選択肢として表示し、操作者に、例えば一つ選択させる。なお、選択個数を一つに限定しないことも可能である。ＣＧ記述データの中に、例えば、円錐、円柱、直方体、三角錐があり、次のようにマテリアルとの対応付けがされているとする。
【００６３】
円錐の底面 ：material_blinn1
円錐の側面 ：material_lambert1
円柱（全体） ：material_blinn2
直方体 ：
三角錐の底面 ：material_phong1
三角錐の側面 ：material_lambert1
【００６４】
このＣＧ記述データに対して、マテリアル定義の“material_phong1”が、入力画像のテククスチャマッピングの対象に指定されたとする。この場合、描画においては、三角錐の底面に入力画像がテクスチャマッピングされる。
【００６５】
（４）マテリアル定義の表面情報のいずれかを選択肢として表示し、操作者にその中から選択させる。
例えば、マテリアル定義が持つ表面情報のうち、
<diffuse> 色 反射する拡散光の量
について、条件の指定を可能にする。
【００６６】
例として、マテリアル定義（material_blinn1）のdiffuse（反射する拡散光）が、
<diffuse>
<color sid="diffuse">0.815686 0.588235 0.898039 1.000000</color>
</diffuse>
であれば、ＲＧＢＡが、それぞれ、
Ｒ：0.815686
Ｇ：0.588235
Ｂ：0.898039
AlphaMap：1.000000
である。
【００６７】
表面指定手段（ＧＵＩ）１２０は、diffuse について、処理中のＣＧ記述データのマテリアル定義に含まれる値の全てを、選択肢として表示する。この場合、色であるので、数値だけではなく、実際に色を表示するとよい。
【００６８】
操作者が上述の値を選択した場合、上述の値を採る diffuse を含むマテリアル定義と対応付けられているポリゴン集合に、入力画像がテクスチャマッピングされる。この場合、別のマテリアル定義であっても、diffuse の値が同じ場合は、そのマテリアル定義と対応付けられているポリゴン集合に、同様に入力画像がテクスチャマッピングされる。例えば、マテリアル定義“material_lambert1”のdiffuse の値が同じである場合は、このマテリアル定義“material_lambert1” と対応付けられているポリゴン集合に、同様に入力画像がテクスチャマッピングされる。
【００６９】
値の判定として、等号が成立しなくても、許容範囲を定めた比較を行ってもよい。これらの値は浮動小数点値なので、完全な等号で比較すると意図する結果と異なる場合があるため、ある範囲を定めて、誤差のように扱い、一致としてもよい。例えば、Ｒの値が0.815686であるdiffuse が指定されたとして、テクスチャマッピングの対象となるかどうか、diffuse のＲが、±１０％の範囲内にあるかどうかで判定する。すなわち、0.815686×0.9と0.815686×1.1の間に入る場合に、一致と判断する。この他、絶対値で許容範囲を決めておく方法でも有効である。
【００７０】
なお、このような表面の色を条件とする方法には、操作性に対して利点、効果がある。ＣＧ制作手段（ＰＣ）１１０で作業する間は、テクスチャマッピングされる様子を見ることはできない。しかし、ＰＣ上のソフトウェアであっても指定した表面の色は概ねその通りに表示されることが多い。ある色にどの入力画像をマッピングするかを決めておけば、制作中のＣＧ仮表示画面上で、どこに入力画像が入るかを容易に操作者の頭の中で想定して、最終画像を思い描くことが可能である。
【００７１】
（５）静止画の画像ファイルのテクスチャマッピングが指定されている各マテリアル定義内の画像ファイルを選択肢として表示し、操作者にその中から選択させる。
例えば、マテリアル定義“material_phong1”が、画像ファイルgrain_image.jpgをテクスチャマッピングするように記述されていたとする。すなわち、マテリアル定義“material_phong1”に対応するdiffuse が、grain_image.jpg をテクスチャに使うように記述されている。表面指定手段（ＧＵＩ）１２０は、ＣＧ記述データの中で、静止画像のテクスチャマッピングに使われている画像ファイルを選択肢として表示する。grain_image.jpg のみであれば、これだけであり、他にもあれば、複数からの択一となる。
【００７２】
例えば、入力画像に対する動画像のテクスチャマッピング指定として、操作者が、例えば、grain_image.jpg を選択した場合を考える。この場合、このファイルを静止画としてテクスチャマッピングするように記述されたマテリアル定義と対応付けられているポリゴン集合に、入力画像のテクスチャマッピングを行う。このような指定手段を用いる場合、ＣＧ制作手段で作業する間は、静止画のファイル（grain_image.jpg）がテクスチャマッピングされた様子を見ることになる。この結果、制作中のＣＧ仮表示画面上で、どこに入力画像が入るかを容易に操作者の頭のなかで想定して、最終画像を思い描くことが可能である。
【００７３】
図７は、表面指定手段１２０のＧＵＩ表示例を示している。このＧＵＩ表示例は、属性の値を指定して、間接的に入力画像をテクスチャマッピングするポリゴンの表面を指定するためのＧＵＩ例である。このＧＵＩ表示例には、ＣＧ記述データ中に含まれる属性の値Ｋ，Ｌ，Ｍが選択肢として表示され、操作者により属性＝Ｌが選択された状態を示している。
【００７４】
なお、ここで、属性としては、操作者の操作により、例えばノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等から任意の属性が設定される。この操作者の属性の設定により、設定された属性の値（名称）がＣＧ記述データ中から抽出され、ＧＵＩ表示に選択肢として表示される。図７のＧＵＩ表示例では選択肢が３個の場合を示しているが、ＣＧ記述データ中から抽出される属性の値（名称）の数に応じて選択肢の数は変動する。
【００７５】
図１に示す画像処理装置１００の動作例を説明する。ＣＧ制作手段１１０では、ＣＧ制作ソフトウェアにより、所定のＣＧ画像を生成するためのＣＧ記述データが生成される。このようにＣＧ制作手段１１０で生成されたＣＧ記述データは、ネットワーク１３０を介して、画像生成手段１４０および表面指定手段１２０に送られる。
【００７６】
表面指定手段（ＧＵＩ）１２０では、ＣＧ記述データ中のポリゴンの表面が選択肢とされて、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面が指定される。例えば、表面指定手段（ＧＵＩ）１２０では、操作者の操作により、所定のポリゴンの表面を指定するための属性が設定される。この場合、ノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等から任意の属性が設定される。
【００７７】
表面指定手段１２０では、この操作者の属性の設定により、この設定された属性の値（名称）がＣＧ記述データ中から抽出され、ＧＵＩ表示に選択肢として表示される。そして、表面指定手段１２０では、操作者の操作により、表示された選択肢の中から一つまたは複数の値（名称）が選択される。この選択情報は、テクスチャマッピングする対象である所定のポリゴンの表面の指定情報として、ネットワーク１３０を介して、画像生成手段１４０に送られる。
【００７８】
また、マトリクススイッチ１６０では、画像選択操作手段１７０の押しボタン列１７１が操作者により押圧操作されることで、テクスチャマッピング用の画像データＬとして、９本の入力ラインに入力された画像データのいずれかが選択的に出力される。このようにマトリクススイッチ１６０で得られるテクスチャマッピング用の画像データＬは、画像マッピング手段１５０に送られる。
【００７９】
画像生成手段１４０では、ＣＧ制作手段１１０で制作されたＣＧ記述データに基づいて、三次元空間画像であるＣＧ画像が生成される。また、上述したように、この画像生成手段１４０には、テクスチャマッピングする対象である所定のポリゴンの表面の指定情報として、所定の属性の一つまたは複数の値（名称）が送られてくる。この画像生成手段１４０により、所定の属性の一つまたは複数の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に入力画像をテクスチャマッピングするように、画像マッピング手段１５０が制御される。
【００８０】
画像マッピング手段１５０では、画像生成手段１４０の制御により、上述の所定の属性の一つまたは複数の値（名称）に対応付けられているポリゴンの表面に、マトリクススイッチ１６０で得られる画像データＬによる画像がテクスチャマッピングされる。そして、画像生成手段１４０から導出された出力端子１４０ａには、所定のポリゴンの表面に画像データＬによる画像がテクスチャマッピングされたＣＧ画像の画像データＶoutが出力される。
【００８１】
図８のフローチャートは、表面指定手段１２０の処理手順を概略的に示している。表面指定手段１２０は、ステップＳＴ１において、処理を開始し、その後、ステップＳＴ２の処理に移る。このステップＳＴ２において、表面指定手段１２０は、ＣＧ作成手段１１０で作成されて画像生成手段１４０に送られるＣＧ記述データを取得する。この場合、表面指定手段１２０は、上述したようにＣＧ作成手段１１０から送られてくるものを受け取るか、あるいは、画像生成手段１４０に保持されているものを読み込む。
【００８２】
次に、表面指定手段１２０は、ステップＳＴ３において、操作者に、テクスチャマッピングするポリゴンの表面を指定するための所定の属性を選択させる。この属性は、上述したようにノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等である。そして、表面指定手段１２０は、ステップＳＴ４において、ステップＳＴ３で操作者が設定した所定の属性の値（名称）をステップＳＴ２で取得したＣＧ記述データから抽出し、選択肢として表示する。
【００８３】
次に、表面指定手段１２０は、ステップＳＴ５において、操作者に、表示されている所定の属性の選択肢から１つまたは複数の値（名称）を選択させる。そして、表面指定手段１２０は、ステップＳＴ６において、ステップＳＴ５で操作者が選択した所定の属性の値（名称）の選択情報を、入力画像をテスクチャマッピングする所定のポリゴンの表面の指定情報として送る。その後、表面指定手段１２０は、ステップＳＴ７において、処理を終了する。
【００８４】
図９のフローチャートは、画像マッピング手段１５０の処理手順を概略的に示している。画像マッピング手段１５０は、ステップＳＴ１１において、処理を開始し、その後、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、画像マッピング手段１５０は、画像生成手段１４０からマッピング制御情報を受け取る。このマッピング制御情報は、表面指定手段１２０から上述したように画像生成手段１４０に送られてくる所定のポリゴンの表面の指定情報に基づくものである。すなわち、このマッピング制御情報は、その指定情報が示す所定のポリゴン（ポリゴン集合）の表面に入力画像をテクスチャマッピングするように制御するための情報である。
【００８５】
次に、画像マッピング手段１５０は、ステップＳＴ１３において、マッピング制御情報に基づいて、テクスチャマッピングする。この場合、画像マッピング手段１５０は、選択された所定の属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、マトリクススイッチ１６０で得られるテクスチャマッピング用の画像データＬによる画像をテクスチャマッピングする。その後、画像マッピング手段１５０は、ステップＳＴ１４において、処理を終了する。
【００８６】
図１に示す画像処理装置１００において、操作者は、表面指定手段１２０で所定の属性の値（名称）を設定する等して、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面を指定できる。また、操作者は、画像選択操作手段１７０の押しボタン列１７１を押圧操作することで、マトリクススイッチ１６０で得られるテクスチャマッピング用の画像データＬを任意のタイミングで変更できる。このように画像データＬが変更されることで、画像マッピング手段１５０でＣＧ画像の所定のポリゴン表面にテクスチャマッピングされる画像が変更される。したがって、操作者は、ＣＧ画像の所望の面に、任意のタイミングで所望の画像を選択して合成できる。
【００８７】
また、図１に示す画像処理装置１００において、操作者は、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面の指定を、ノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等の属性を設定して行うことができる。これにより、以下のような利点、効果がある。すなわち、ＣＧ制作手段（ＰＣ）１１０で作業する間、操作者はテクスチャマッピングされる様子を見ることはできない。しかし、ＰＣ上のソフトウェアであっても指定した表面の色等の属性は概ねその通りに表示されることが多い。そのため、どの属性に入力画像をテクスチャマッピングするかを決めておけば、制作中のＣＧ仮表示画面上で、どこに入力画像が入るかを容易に操作者の頭の中で想定して、最終画像を思い描くことが可能である。また、通常マテリアル定義毎に表面の属性は異なるため、マテリアル定義を選択してテクスチャマッピングさせる場合でも、同様の効果が得られる。
【００８８】
ＣＧ記述データには上述の様にアニメーションが含まれる場合もあり、このアニメーションの進行（反復を含む）は、別の操作手段（説明略）により、運用中に操作できる。したがって、たとえばスポーツ競技中継の生放送に利用して、ＣＧアニメーションの進行（方向、速度、反復、開始、停止）を操作しつつ、同時に複数のカメラから送られてくる複数の画像データを画像選択手段で競技の状況に応じて選択してテクスチャマッピングさせることができる。これによりＣＧアニメーションの視覚効果と、生放送の適切な画像切り換えによる競技の注目映像の選択という二つの特長を、併せて発揮して、付加価値の高い放送を行うことができる。
【００８９】
＜２．第２の実施の形態＞
［画像処理装置の構成］
この発明の第２の実施の形態を説明する。図１０は、第２の実施の形態としての画像処理装置１００Ａの構成例を示している。この図１０において、図１と対応する部分には同一符号を付し、適宜、その説明を省略する。この画像処理装置１００Ａは、ＣＧ制作手段１１０と、表面指定手段１２０Ａと、ネットワーク１３０と、画像生成手段１４０Ａと、画像マッピング手段１５０Ａを有している。また、この画像処理装置１００Ａは、マトリクススイッチ１６０Ａと、画像選択操作手段１７０Ａと、プログラム・プレビューミキサ１８０を有している。ＣＧ制作手段１１０、表面指定手段１２０Ａ、画像生成手段１４０Ａおよび画像選択操作手段１７０Ａは、それぞれネットワーク１３０に接続されている。
【００９０】
ＣＧ制作手段１１０は、ＣＧ制作ソフトウェアを持つパーソナルコンピュータ（ＰＣ：Personal Computer）により構成されている。このＣＧ制作手段１１０は、所定のフォーマットのＣＧ記述データを出力する。このＣＧ制作手段１１０は、上述の図１に示す画像処理装置１００のＣＧ制作手段１１０と同様のものである。
【００９１】
マトリクススイッチ１６０Ａは、複数の入力画像データから画像データを選択的に取り出す画像選択手段を構成している。このマトリクススイッチ１６０Ａは、１０本の入力ラインと、１３本の出力バスライン２１１〜２２３と、クロスポイントスイッチ群２３１〜２４３を有している。このマトリクススイッチ１６０Ａは、エフェクトスイッチャの一部を構成しており、外部機器としての画像マッピング手段１５０Ａに画像データを供給する他、内部の画像合成手段等に画像データを供給するために使用される。
【００９２】
出力バスライン２１１〜２１４は、画像マッピング手段１５０Ａに画像データを供給するためのバスラインである。また、出力バスライン２１５〜２２１は、外部に画像データを出力するためのバスラインである。また、出力バスライン２２２，２２３は、内部の画像合成手段（ミキサ）に画像データを供給するためのバスラインである。
【００９３】
１０本の入力ラインは図で一方向に配列されている。「１」〜「９」の入力ラインには、それぞれにはＶＴＲ、ビデオカメラ等から画像データが入力される。また、「１０」の入力ラインには、画像生成手段１４０Ａから出力されるＣＧ画像データが入力される。１３本の出力バスライン２１１〜２２３は、入力ラインと交差して他方向に配列されている。
【００９４】
クロスポイントスイッチ群２３１〜２３４は、１０本の入力ラインと出力バスライン２１１〜２１４とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群２３１〜２３４の接続が制御され、１０本の入力ラインに入力された画像データのいずれかが出力バスライン２１１〜２１４に選択的に出力される。この出力バスライン２１１〜２１４は、テクスチャマッピング用の画像データ（マッピング入力）Ｔ１〜Ｔ４の出力ラインを構成する。
【００９５】
また、クロスポイントスイッチ群２３５〜２４１は、それぞれ、１０本の入力ラインと出力バスライン２１５〜２２１が交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群２３５〜２４１が制御され、１０本の入力ラインに入力された画像データのいずれかが出力バスライン２１５〜２２１に選択的に出力される。この出力バスライン２１５〜２２１は、外部出力用の画像データOUT1〜OUT7の出力ラインを構成する。
【００９６】
また、クロスポイントスイッチ群２４２，２４３は、それぞれ、１０本の入力ラインと出力バスライン２２２，２２３とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群２４２，２４３が制御され、１０本の入力ラインに入力された画像データのいずれかが出力バスライン２２２，２２３に選択的に出力される。
【００９７】
この出力バスライン２２２，２２３に出力される画像データは、プログラム・プレビューミキサ１８０に入力される。このプログラム・プレビューミキサ１８０は、出力バスライン２２２，２２３から入力される画像データに対して合成処理を行う。このプログラム・プレビューミキサ１８０から、プログラム出力ライン２５１を通じてプログラム（ＰＧＭ）出力が外部に出力され、プレビュー出力ライン２５２を通じてプレビュー出力が外部に出力される。
【００９８】
なお、クロスポイントスイッチ群２３１〜２４３の各クロスポイントスイッチのオンオフ動作は、フレームデータの連続からなる画像データを切り替えるものであることから、フレームの切れ目である垂直ブランキング区間内に行われる。
【００９９】
画像選択操作手段１７０Ａは、上述のマトリクススイッチ１６０Ａへの指示の操作入力を受ける。この画像選択操作手段１７０Ａは、マトリクススイッチ１６０Ａの各クロスポイントスイッチ群のスイッチのオンオフを操作する押しボタン列を備える操作卓２６０を備えている。
【０１００】
図１１は、操作卓２６０の一例の外観を示している。この操作卓２６０には、左右方向に延びる押しボタン列２６１〜２６４が上下方向に並ぶように設けられている。各押しボタン列は、予め操作者の設定操作により、上述のマトリクススイッチ１６０Ａの１３本の出力バスラインのいずれかに対応するように設定される。各押しボタン列は、入力ラインのそれぞれと対応する出力バスラインとの接続を選択する択一式の押しボタンにより構成されており、選択された押しボタンは点灯する。
【０１０１】
操作卓２６０の上部には、文字表示部２６５が設けられている。この文字表示部２６５は、各入力ラインへの入力画像を識別するための文字を表示する。この文字表示部２６５は、例えば、ＬＣＤ（Liquid Crystal Display）等の表示素子により構成される。また、操作卓２６０の左部には、文字表示部２６６が設けられている。この文字表示部２６６は、各押しボタン列が対応する出力バスラインを識別するための文字を表示する。この文字表示部２６６は、例えば、ＬＣＤ等の表示素子により構成される。
【０１０２】
画像マッピング手段１５０Ａにマッピング入力を供給する出力バスラインに割り当てられた押しボタン列に対応しては、後述するようにユーザ操作により選択された所定の属性の値（名称）が表示される。この所定の属性の値（名称）は、当該出力バスラインに得られる画像データ（マッピング入力）による画像をテクスチャマッピングするポリゴン（ポリゴン集合）の表面を指定する情報（表面指定情報）である。
【０１０３】
図１１においては、文字表示部２６６に、押しボタン列２６１に対応して、属性の一つであるマテリアル定義の名称である「Metal-1」の文字が表示されている。また、図１１においては、文字表示部２６６に、押しボタン列２６４に対応して、属性の一つであるマテリアル定義の名称である「Material-Def3」の文字が表示されている。
【０１０４】
この操作卓２６０の押しボタン列２６１〜２６４をどの出力バスラインに対応させるかは、例えば、ＧＵＩ（Graphical User Interface）で実現される。図１２（ａ）は、出力バスラインのアサイン時に表示されるＧＵＩ表示例を示している。このＧＵＩ表示においては、４つの押しボタン列２６１〜２６４が、「１」〜「４」で表されている。操作者は、この「１」〜「４」に対応した「Selectボタン」を操作して出力バスラインの選択肢を表示し、その選択肢の中から所望の出力バスラインを選択することで、それぞれの押しボタン列に所望の出力バスラインを割り当てることができる。
【０１０５】
図１２（ｂ）は、出力バスラインのセレクト時に表示されるＧＵＩ表示例を示している。このＧＵＩ表示には、外部出力用の画像データOUT1〜OUT7の出力ラインを構成する出力バスライン２１５〜２２１が、「OUT1」〜「OUT7」で選択肢として表示されている。また、このＧＵＩ表示には、プログラム・プレビューミキサ１８０に画像データを入力する出力バスライン２２２，２２３が、「ＰＰ−Ａ」，「ＰＰ−Ｂ」で選択肢として表示されている。
【０１０６】
また、このＧＵＩ表示には、テクスチャマッピング用の画像データ（マッピング入力）Ｔ１〜Ｔ４の出力ラインを構成する出力バスライン２１１〜２１４に押しボタン列を割り当てるために、所定の属性の値（名称）が選択肢として表示されている。属性としては、操作者の操作により、例えばノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等から任意の属性が設定される。ここで、操作者は、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面の指定を行うための属性を設定する。あるいは、別の例としては、システムにおいて一つの属性に設定されていても良い。
【０１０７】
画像選択操作手段１７０Ａは、設定された属性の値（名称）をＣＧ制作手段１１０で生成されたＣＧ記述データ中から抽出し、ＧＵＩ表示に選択肢として表示する。図１２（ｂ）のＧＵＩ表示例においては、属性としてマテリアル定義が設定された場合を示しており、マテリアル定義の名称が選択肢として表示されている。「Metal-1」、「Metal-2」、「Material-Def1」、「Material-Def2」、「Material-Def3」は、マテリアル定義の名称である。
【０１０８】
図１２（ａ）のＧＵＩ表示例では、「２」，「３」に対して「OUT1」，「OUT2」が選択されている。この場合、押しボタン列２６２，２６３は、出力バスライン２１５，２１６に割り当てられる。また、図１２（ａ）のＧＵＩ表示例では、「１」，「４」に対して「Metal-1」，「Material-Def3」が選択されている。
【０１０９】
上述したようにマトリクススイッチ１６０Ａは１３本の出力バスラインを有しており、それぞれの出力バスラインはバス番号「１」〜「１３」で特定される。また、上述したように、マトリクススイッチ１６０Ａの１番から４番までの出力バスラインは、画像マッピング手段１５０Ａにマッピング入力（画像データ）Ｔ１〜Ｔ４を入力する。画像選択操作手段１７０Ａ、あるいはその周辺のマイコンは、この結線状態を記憶した、図１３に示すような、マッピング入力対応テーブルを持っている。このマッピング入力対応テーブルは、結線に対応する設定として記憶され、結線の変更がない限り変わることはない。
【０１１０】
図１２（ａ）の「１」，「４」の場合のように、ある押しボタン列に対して所定の属性の値（名称）が選択された場合、画像選択操作手段１７０Ａは、その押しボタン列を、バス番号１〜４のうち、未だ割り当てられていない出力バスラインに割り当てる。この場合、この出力バスラインは、選択された所定の属性の値（名称）に対応付けられたポリゴン（ポリゴン集合）の表面にテクスチャマッピングする画像の画像データを出力するための出力バスラインとなる。そして、画像選択操作手段１７０Ａは、選択された所定の属性の値（名称）の情報と、割り当て対象の出力バスラインによるマッピング入力がマッピング入力Ｔ１〜Ｔ４のいずれであるかの情報を、ネットワーク１３０を介して、表面指定手段１２０Ａに送る。
【０１１１】
図１２（ａ）に示すように、「１」に対して「Metal-1」が選択され、その後、「４」に対して「Material-Def3」が選択される場合を例にとってさらに説明する。
まず、「１」に対して「Metal-1」が選択されるとき、画像選択操作手段１７０Ａは、押しボタン列２６１を出力バスライン２１１に割り当てる。この場合、この出力バスライン２１１は、マテリアル定義「Metal-1」に対応付けられたポリゴン（ポリゴン集合）の表面にテクスチャマッピングする画像の画像データを出力するための出力バスラインとなる。そして、画像選択操作手段１７０Ａは、マテリアル定義「Metal-1」およびマッピング入力Ｔ１の情報を、ネットワーク１３０を介して、表面指定手段１２０Ａに送る。
【０１１２】
次に、「４」に対して「Material-Def3」が選択されるとき、画像選択操作手段１７０Ａは、押しボタン列２６４を出力バスライン２１２に割り当てる。この場合、この出力バスライン２１２は、マテリアル定義「Material-Def3」に対応付けられたポリゴン（ポリゴン集合）の表面にテクスチャマッピングする画像の画像データを出力するための出力バスラインとなる。そして、画像選択操作手段１７０Ａは、マテリアル定義「Material-Def3」およびマッピング入力Ｔ２の情報を、ネットワーク１３０を介して、表面指定手段１２０Ａに送る。
【０１１３】
なお、図１１に示す操作卓２６０は、４つの押しボタン列２６１〜２６４を備えるものを示しているが、５つ以上の押しボタン列を備えるものの考えられる。その場合にあっても、所定の属性の値（名称）を選択する押しボタン列の数は最大４である。図１０に示す画像処理装置１００Ａでは、画像マッピング手段１５０Ａにマッピング入力（画像データ）を供給する出力バスラインが４本とされているからである。
【０１１４】
また、上述では、ある押しボタン列に対して所定の属性の値（名称）を一つだけ選択し得るように説明した。ある押しボタン列に対して、所定の属性の値（名称）を複数個選択することを許容する構成も考えられる。この場合には、選択された複数の所定の属性の値（名称）のいずれかに対応付けられたポリゴン（ポリゴン集合）すべての表面に、ある押しボタン列が割り当てられた出力バスラインの出力画像データによる画像がテクスチャマッピングされることになる。この場合、各押しボタン列に対応した文字表示部２６６（図１１参照）には、複数の属性の値（名称）が表示されることになる。ただし、複数の属性の値（名称）の表示が困難であれば、一つ、あるいは可能なだけ表示することになる。
【０１１５】
また、上述では、文字表示部２６６を操作卓２６０に押しボタン列に対応させて配置しているが、これとは別の場所に同様の４つの表示器を配列し、参考情報として、４つの画像がどこにテクスチャマッピングされるかを示すようにしても良い。
【０１１６】
表面指定手段１２０Ａは、上述したように、画像選択操作手段１７０Ａから送られてくる、選択された属性の値（名称）とマッピング入力の対応情報に基づいて、属性の値（名称）とマッピング入力の対応関係を示す画像割り当てテーブルを作成する。そして、表面指定手段１２０Ａは、この画像割り当てテーブルを、ネットワーク１３０を介して、画像生成手段１４０Ａ内に設定する。
【０１１７】
表面指定手段１２０Ａは、このように画像割り当てテーブルを設定することで、マッピング入力Ｔ１〜Ｔ４を出力する出力バスライン毎に、そのマッピング入力による画像をテクスチャマッピングするポリゴン（ポリゴン集合）の表面を指定する。この場合、マッピング入力による画像をテクスチャマッピングするポリゴン（ポリゴン集合）の表面は、属性の値（名称）により指定される。
【０１１８】
図１４（ａ）は、画像割り当てテーブルの一例を示している。この例は、上述したように、画像選択操作手段１７０Ａにおいて、図１２（ａ）に示すように、「１」に対して「Metal-1」が選択され、「４」に対して「Material-Def3」が選択された場合の例である。また、図１４（ｂ）は、画像割り当てテーブルの他の例を示している。この例は、上述したように、画像選択操作手段１７０Ａにおいて、「１」に対して「Metal-1」、「Material-Def2」が選択され、「４」に対して「Material-Def3」が選択された場合の例である。この画像割り当てテーブルにおいて、Ｔ１〜Ｔ４は、画像識別子を構成している。
【０１１９】
画像生成手段１４０Ａは、ＣＧ制作手段１１０で制作されたＣＧ記述データに基づいて、三次元空間画像であるＣＧ画像を生成する。この画像生成手段１４０Ａは、ＣＧ記述データを読み込むと、各定義などの情報をメモリ上に保持し、それらの対応付けもデータ構造として保持する。また、画像生成手段１４０Ａは、アニメーションを実行するためのキーフレームにおける各種値もメモリ上に保持する。
【０１２０】
例えば、あるノードの幾何学情報にあるポリゴン集合を描画するには、その幾何学情報と、対応付けられているマテリアル定義を参照して、その色などの指定に従って描画する。アニメーションの場合は、現在時刻を毎フレーム進行させ、現在時刻から、前後のキーフレームにおける各値を補間して各値を決定し、描画を行う。
【０１２１】
この画像生成手段１４０Ａには、上述したように、表面指定手段１２０Ａにより、画像割り当てテーブルが設定される（図１４（ａ），（ｂ）参照）。画像生成手段１４０Ａは、テーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像をテクスチャマッピングするように、画像マッピング手段１５０Ａを制御する。
【０１２２】
画像マッピング手段１５０Ａは、画像生成手段１４０Ａが描画するポリゴンのうち、画像生成手段１４０Ａに設定された画像割り当てテーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、テクスチャマッピングを行う。この画像マッピング手段１５０Ａには、上述したように、マトリクススイッチ１６０Ａからテクスチャマッピング用の画像データであるマッピング入力Ｔ１〜Ｔ４が供給される。画像マッピング手段１５０Ａは、画像生成手段１４０Ａの制御により、画像割り当てテーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像をテクスチャマッピングする。
【０１２３】
この画像マッピング手段１５０Ａは、実装上は、例えば、上述の画像生成手段１４０Ａと一体化されており、ＣＰＵ上のソフトウェアによる制御と、ＧＰＵ等のハードウェアによる動作によって実現される。制御ソフトウェアは、テクスチャマッピングするポリゴン集合を指定してハードウェアに指示する。詳細説明は省略するが、この画像マッピング手段１５０Ａおよび上述した画像生成手段１４０Ａは、図１に示す画像処理装置１００における画像マッピング手段１５０および画像生成手段１４０と同様に構成されている（図４、図５参照）。
【０１２４】
図１０に示す画像処理装置１００Ａの動作例を説明する。ＣＧ制作手段１１０では、ＣＧ制作ソフトウェアにより、所定のＣＧ画像を生成するためのＣＧ記述データが生成される。このようにＣＧ制作手段１１０で生成されたＣＧ記述データは、ネットワーク１３０を介して、画像生成手段１４０Ａおよび画像選択操作手段１７０Ａに送られる。
【０１２５】
画像選択操作手段１７０Ａでは、操作者の操作により、テクスチャマッピング用の画像データ（マッピング入力）Ｔ１〜Ｔ４の出力ラインを構成する出力バスライン２１１〜２１４に、操作卓２６０の押しボタン列を割り当てることが行われる。この場合、押しボタン列毎に、所定の属性の値（名称）が選択されることで、出力バスライン２１１から順に割り当てが行われる。操作卓２６０は４つの押しボタン列２６１〜２６４を備えているので、最大で出力バスライン２１１〜２１４の全てにそれぞれ１つの押しボタン列を割り当てることができる。
【０１２６】
この画像選択操作手段１７０Ａでは、操作者の操作により、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面の指定を行うための属性が設定される。ここで、属性は、ノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等である。上述の所定の属性は、操作者の操作により設定された属性あるいはシステムで設定されていた属性であり、選択される属性の値（名称）はＣＧ制作手段１１０で生成されたＣＧ記述データ中から抽出されたものである。
【０１２７】
マトリクススイッチ１６０Ａの出力バスライン２１１〜２１４のうち、操作卓２６０の押しボタン列が割り当てられた出力バスラインに関しては、対応する押しボタン列の操作により、その出力画像データ（マッピング入力）を変更できる。この場合、出力画像データとして、１０本の入力ラインに入力された画像データのいずれかが選択的に出力される。例えば、マトリクススイッチ１６０Ａの出力バスライン２１１に操作卓２６０の押しボタン列２６１が割り当てられた場合、操作者は、押しボタン列２６１の操作により、画像マッピング手段１５０Ａへのマッピング入力Ｔ１を、任意のタイミングで変更可能となる。
【０１２８】
画像選択操作手段１７０Ａにおいて上述したように出力バスライン２１１〜２１４のいずれかに操作卓２６０の押しボタン列が割り当てられる場合、この画像選択操作手段１７０Ａから表面指定手段１２０Ａに、ネットワーク１３０を介して、情報が送られる。この情報には、選択された所定の属性の値（名称）の情報と、割り当て対象の出力バスラインによるマッピング入力がマッピング入力Ｔ１〜Ｔ４のいずれであるかの情報が含まれる。
【０１２９】
表面指定手段１２０Ａでは、画像選択操作手段１７０Ａから送られてくる、選択された属性の値（名称）とマッピング入力の対応情報に基づいて、属性の値（名称）とマッピング入力の対応関係を示す画像割り当てテーブルを設定することが行われる。この画像割り当てーブルは、ネットワーク１３０を介して、画像生成手段１４０Ａ内に設定される。表面指定手段１２０Ａでは、この画像割り当てテーブルの設定により、各マッピング入力による画像をテクスチャマッピングするポリゴン（ポリゴン集合）の表面が、属性の値（名称）により指定される。
【０１３０】
画像生成手段１４０Ａでは、ＣＧ制作手段１１０で制作されたＣＧ記述データに基づいて、三次元空間画像であるＣＧ画像が生成される。また、上述したように、この画像生成手段１４０Ａには、表面指定手段１２０Ａにより、画像割り当てテーブルが設定される。画像生成手段１４０Ａにより、テーブルの各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像をテクスチャマッピングするように、画像マッピング手段１５０Ａが制御される。
【０１３１】
画像マッピング手段１５０Ａでは、画像生成手段１４０Ａの制御により、テクスチャマッピングが行われる。すなわち、画像マッピング手段１５０Ａでは、画像割り当てテーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像がテクスチャマッピングされる。そして、画像生成手段１４０Ａから導出された出力端子１４０ａには、所定のポリゴンの表面に画像がテクスチャマッピングされたＣＧ画像の画像データＶoutが出力される。なお、マトリクススイッチ１６０Ａの「１０」の入力ラインにも、画像生成手段１４０Ａから出力される、所定のポリゴンの表面に画像がテクスチャマッピングされたＣＧ画像の画像データが入力される。
【０１３２】
図１５のフローチャートは、画像選択操作手段１７０Ａの処理手順を概略的に示している。画像選択操作手段１７０Ａは、ステップＳＴ２１において、処理を開始し、その後、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、画像選択操作手段１７０Ａは、ＣＧ作成手段１１０で作成されて画像生成手段１４０Ａに送られるＣＧ記述データを取得する。この場合、画像選択操作手段１７０Ａは、上述したようにＣＧ作成手段１１０から送られてくるものを受け取るか、あるいは、画像生成手段１４０Ａに保持されているものを読み込む。
【０１３３】
次に、画像選択操作手段１７０Ａは、ステップＳＴ２３において、操作者にテクスチャマッピングするポリゴンの表面を指定するための所定の属性を選択させる。この属性は、上述したようにノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等である。そして、画像選択操作手段１７０Ａは、ステップＳＴ２４において、ステップＳＴ２３で操作者が設定した所定の属性の値（名称）のすべてをステップＳＴ２２で取得したＣＧ記述データから抽出する。
【０１３４】
次に、画像選択操作手段１７０Ａは、ステップＳＴ２５において、抽出した所定の属性の値（名称）を選択肢として含むＧＵＩ表示を行い、操作者に、操作卓２６０の押しボタン列を出力バスラインのいずれかに割り当てる出力バスアサインをさせる。この出力バスアサインにより、画像マッピング手段１５０Ａにマッピング入力Ｔ１〜Ｔ４を供給する出力バスライン２１１〜２１４のいずれかに操作卓２６０の押しボタン列が割り当てられる。
【０１３５】
次に、画像選択操作手段１７０Ａは、ステップＳＴ２６において、選択された属性の値（名称）とマッピング入力の対応情報を、表面指定手段１２０Ａに送る。その後、画像選択操作手段１７０Ａは、ステップＳＴ２７において、処理を終了する。
【０１３６】
図１６のフローチャートは、表面指定手段１２０Ａの処理手順を概略的に示している。表面指定手段１２０Ａは、ステップＳＴ３１において、処理を開始し、その後に、ステップＳＴ３２の処理に移る。このステップＳＴ３２において、表面指定手段１２０Ａは、画像選択操作手段１７０Ａから送られてくる選択された属性の値（名称）とマッピング入力の対応情報を受け取る。
【０１３７】
次に、表面指定手段１２０Ａは、ステップＳＴ３３において、ステップＳＴ３２で受け取った対応情報に基づいて、属性の値（名称）とマッピング入力の対応関係を示す画像割り当てテーブルを作成し、画像生成手段１４０Ａに設定する。その後、表面指定手段１２０Ａは、ステップＳＴ３４において、処理を終了する。
【０１３８】
図１７のフローチャートは、画像マッピング手段１５０Ａの処理手順を概略的に示している。画像マッピング手段１５０Ａは、ステップＳＴ４１において、処理を開始し、その後、ステップＳＴ４２の処理に移る。このステップＳＴ４２において、画像マッピング手段１５０Ａは、画像生成手段１４０Ａからマッピング制御情報を受け取る。このマッピング制御情報は、表面指定手段１２０Ａにより設定された画像割り当てテーブルに基づくものである。すなわち、この制御情報は、画像割り当てテーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像をテクスチャマッピングするように制御するための情報である。
【０１３９】
次に、画像マッピング手段１５０Ａは、ステップＳＴ４３において、マッピング制御情報に基づいて、テクスチャマッピングする。この場合、画像マッピング手段１５０Ａは、画像割り当てテーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像をテクスチャマッピングする。その後、画像マッピング手段１５０Ａは、ステップＳＴ４４において、処理を終了する。
【０１４０】
図１８のシーケンス図は、画像生成手段１４０Ａに画像割り当てテーブルが設定されるまでの通信シーケンスを示している。
（１）ＣＧ制作手段１１０は、ＣＧ画像を生成するためのＣＧ記述データを生成する。（２）ＣＧ制作手段１１０は、このＣＧ記述データを、画像選択操作手段１７０Ａに送る。（３）画像選択操作手段１７０Ａは、操作者にテクスチャマッピングするポリゴンの表面を指定するための所定の属性を選択させ、その属性の値（名称）を、ＣＧ記述データから抽出する。（４）そして、画像選択操作手段１７０Ａは、抽出した所定の属性の値（名称）を選択肢として含む出力バスラインのアサイン用のＧＵＩ表示を行う。（５）そして、画像選択操作手段１７０Ａは、操作者に、ＧＵＩ表示を用いた出力バスアサインを行わせる。この出力バスアサインにより、画像マッピング手段１５０Ａにマッピング入力Ｔ１〜Ｔ４を供給する出力バスライン２１１〜２１４のいずれかに操作卓２６０の押しボタン列が割り当てられる。
【０１４１】
（６）画像選択操作手段１７０Ａは、選択された属性の値（名称）とマッピング入力の対応情報を、表面指定手段１２０Ａに送る。（７）表面指定手段１２０Ａは、画像選択操作手段１７０Ａから送られてくる対応情報に基づいて、属性の値（名称）とマッピング入力の対応関係を示す画像割り当てテーブルを作成する。（８）そして、表面指定手段１２０Ａは、画像割り当てテーブルを画像生成手段１４０Ａに設定する。
【０１４２】
図１０に示す画像処理装置１００Ａにおいて、画像選択操作手段１７０Ａで操作卓２６０の各押しボタン列を出力バスラインに割り当てる出力バスラインのアサイン時に、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面を指定できる。すなわち、操作者は、所定の属性の値（名称）を選択して、画像マッピング手段１５０Ａにマッピング入力Ｔ１〜Ｔ４を供給する出力バスライン２１１〜２１４のいずれかに操作卓２６０の押しボタン列を割り当てることできる。この場合、画像選択操作手段１７０Ａから表面指定手段１２０Ａに、選択された属性の値（名称）とマッピング入力の対応情報が送られる。そして、この表面指定手段１２０Ａにより、画像生成手段１４０Ａに、属性の値（名称）とマッピング入力の対応関係を示す画像割り当てテーブルが設定される。
【０１４３】
また、操作者は、画像選択操作手段１７０Ａの押しボタン列を押圧操作することで、画像割り当てテーブルに存在するマッピング入力としての画像データを、任意のタイミングで変更できる。このようにマッピング入力が変更されることで、画像マッピング手段１５０Ａで、ＣＧ画像の所定のポリゴン表面にテクスチャマッピングされる画像が変更される。したがって、操作者は、ＣＧ画像の所望の面に、任意のタイミングで所望の画像を選択して合成できる。
【０１４４】
図１９を用いて、複数のオブジェクトの面にテクスチャマッピングされる画像が所定のタイミングで変更される例を説明する。図１９（ａ），（ｂ）には、３個のオブジェクトＯＢ１〜ＯＢ３が描画され、それらがアニメーションにより画面中を移動するようなＣＧ画像例を示している。図１９（ａ）はアニメーション進行における時刻ｔ１の画像であり、図１９（ｂ）は時刻ｔ２の画像である。
【０１４５】
図１０に示す画像処理装置１００Ａでは、操作者の押しボタン列の操作により、時刻ｔ１および時刻ｔ２で、同一オブジェクトの面に、異なる画像データによる画像がテクスチャマッピングされた状態とすることができる。すなわち、時刻ｔ１では、図１９（ｃ）に示すように、オブジェクトＯＢ１の面に図１９（ｅ）に示す画像Ｔ１（マッピング入力Ｔ１による画像）がテクスチャマッピングされている。また、この時刻ｔ１では、オブジェクトＯＢ３の面に図１９（ｆ）に示す画像Ｔ２（マッピング入力Ｔ２による画像）がテクスチャマッピングされている。
【０１４６】
この後、アニメーションの進行が時刻ｔ２に至る前に、マッピング入力Ｔ１およびＴ２への画像を、操作者の画像選択操作手段１７０Ａの操作を受けて変更する。その結果、時刻ｔ２では、図１９（ｄ）に示すように、オブジェクトＯＢ１の面に図１９（ｇ）に示す画像Ｔ１がテクスチャマッピングされ、オブジェクトＯＢ３の面に図１９（ｈ）に示す画像Ｔ２がテクスチャマッピングされている。なお、図１９の（ｅ）から（ｈ）に示す画像は、動画であるため本来は時間と共に変化するが、説明を容易にするため変化しないものとして説明している。
【０１４７】
また、図１０に示す画像処理装置１００Ａにおいて、操作者は、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面の指定を、ノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等の属性を設定して行うことができる。これにより、以下のような利点、効果がある。すなわち、ＣＧ制作手段（ＰＣ）１１０で作業する間、操作者はテクスチャマッピングされる様子を見ることはできない。しかし、ＰＣ上のソフトウェアであっても指定した表面の色等の属性は概ねその通りに表示されることが多い。そのため、どの属性に入力画像をテクスチャマッピングするかを決めておけば、制作中のＣＧ仮表示画面上で、どこに入力画像が入るかを容易に操作者の頭の中で想定して、最終画像を思い描くことが可能である。
【０１４８】
また、図１０に示す画像処理装置１００Ａにおいて、画像選択操作手段１７０Ａの操作卓２６０の複数の押しボタン列を、画像マッピング手段１５０Ａにマッピング入力を供給する出力バスラインに割り当てることができる。その場合、画像生成手段１４０Ａに設定される画像割り当てテーブルには、複数のマッピング入力について、そのマッピング入力と属性の値（名称）の対応関係が示される。この場合、マッピング入力毎に、画像を入力するためのポリゴン（ポリゴン集合）の表面が指定される。そのため、画像マッピング手段１５０Ａにより、ＣＧ画像の複数の面に、それぞれ、任意のタイミングで所望の画像を選択して合成できる。
【０１４９】
また、図１０に示す画像処理装置１００Ａにおいて、画像選択操作手段１７０Ａの操作卓２６０の左部には文字表示部２６６が設けられており、各押しボタン列が対応する出力バスラインを識別するための文字が表示されている。そして、画像マッピング手段１５０Ａにマッピング入力を供給する出力バスラインに割り当てられた押しボタン列に対応しては、ユーザ操作により選択された所定の属性の値（名称）が表示される。この所定の属性の値（名称）は、当該出力バスラインに得られる画像データ（マッピング入力）による画像をテクスチャマッピングするポリゴン（ポリゴン集合）の表面を指定する情報（表面指定情報）である。したがって、操作者は、押しボタン列が対応する出力バスラインからのマッピング出力による画像がテクスチャマッピングされるＣＧ画像の面がいかなる情報（属性の値（名称））で指定されているかを容易に知ることができる。
【０１５０】
＜３．変形例＞
なお、上述の第２の実施の形態において、画像選択操作手段１７０Ａを構成する操作卓２６０は、図１１に示すように、４つの押しボタン列２６１〜２６４が備えられている。そして、各押しボタン列は、予め操作者の設定操作により、マトリクススイッチ１６０Ａの１３本の出力バスラインのいずれかに対応するように設定される。
【０１５１】
この操作卓２６０の代わりに、図２０に示すような、操作卓２６０Ａを使用することもできる。この操作卓２６０Ａは、左右方向に延びる２本の押しボタン列２７１，２７２が上下方向に並ぶように設けられている。押しボタン列２７２は、マトリクススイッチ１６０Ａの各クロスポイントスイッチ群のスイッチのオンオフを操作するために用いられる。この押しボタン列２７２は、入力ラインのそれぞれと対応する出力バスラインとの接続を選択する択一式の押しボタンにより構成されており、選択された押しボタンは点灯する。
【０１５２】
操作卓２６０Ａには、押しボタン列２７２に対応して文字表示部２７３が設けられている。この文字表示部２７３は、各入力ラインへの入力画像を識別するための文字を表示する。この文字表示部２７３は、例えば、ＬＣＤ（Liquid Crystal Display）等の表示素子により構成される。
【０１５３】
押しボタン列２７１は、指定ボタン列であって、押しボタン列２７２を、どの出力バスラインの画像データの選択操作に使用するかを指定するために用いられる。この押しボタン列２７１は、択一式の押しボタンにより構成されており、選択された押しボタンは点灯する。操作卓２６０Ａには、押しボタン列２７１に対応して文字表示部２７４が設けられている。この文字表示部２７４は、押しボタン列２７１の各押しボタンが、どの出力バスラインの画像データの選択操作に使用するかを示す文字を表示する。この文字表示部２７４は、例えば、ＬＣＤ等の表示素子により構成される。
【０１５４】
押しボタン列２７１の各押しボタンを、どの出力バスラインの画像データの選択操作に使用するかは、例えば、ＧＵＩ（Graphical User Interface）で実現される。図２１は、押しボタン列（指定ボタン列）２７１のアサイン時に表示されるＧＵＩ表示例を示している。このＧＵＩ表示においては、押しボタン列２７１の９個の押しボタンが「１」〜「９」で表されている。操作者は、この「１」〜「９」に対応した「Selectボタン」を操作して、出力バスラインの選択肢を表示し、その選択肢の中から所望の出力バスラインを選択することで、それぞれの押しボタンに所望の出力バスラインを割り当てることができる。
【０１５５】
上述の図１２（ｂ）は、この出力バスラインのセレクト時に表示されるＧＵＩ表示例をも示している。このＧＵＩ表示には、外部出力用の画像データOUT1〜OUT7の出力ラインを構成する出力バスライン２１５〜２２１が、「OUT1」〜「OUT7」で選択肢として表示されている。また、このＧＵＩ表示には、プログラム・プレビューミキサ１８０に画像データを入力する出力バスライン２２２，２２３が、「PP-A」，「PP-B」で選択肢として表示されている。
【０１５６】
また、このＧＵＩ表示には、テクスチャマッピング用の画像データ（マッピング入力）Ｔ１〜Ｔ４の出力ラインを構成する出力バスライン２１１〜２１４に押しボタンを割り当てるために、所定の属性の値（名称）が選択肢として表示されている。属性としては、操作者の操作により、例えばノード（オブジェクト）、マテリアル定義、マテリアル定義が持つ表面情報等から任意の属性が設定される。ここで、操作者は、入力画像をテクスチャマッピングする対象である所定のポリゴンの表面の指定を行うための属性を設定する。
【０１５７】
画像選択操作手段１７０Ａは、設定された属性の値（名称）をＣＧ制作手段１１０で生成されたＣＧ記述データ中から抽出し、ＧＵＩ表示に選択肢として表示する。図１２（ｂ）のＧＵＩ表示例においては、属性としてマテリアル定義が設定された場合を示しており、マテリアル定義の名称が選択肢として表示されている。このＧＵＩ表示例において、「Metal-1」、「Metal-2」、「Material-Def1」、「Material-Def2」、「Material-Def3」はマテリアル定義の名称である。
【０１５８】
図２１のＧＵＩ表示例では、「１」〜「５」に対して「OUT1」〜「OUT5」が選択されている。また、「６」，「７」に対して「PP-A」，「PP-B」が選択されている。また、「８」，「９」に対して「Metal-1」，「Material-Def3」が選択されている。
【０１５９】
上述したようにマトリクススイッチ１６０Ａは１３本の出力バスラインを有しており、それぞれの出力バスラインはバス番号「１」〜「１３」で特定される。また、上述したように、マトリクススイッチ１６０Ａの１番から４番までの出力バスラインは、画像マッピング手段１５０Ａにマッピング入力（画像データ）Ｔ１〜Ｔ４を入力する。画像選択操作手段１７０Ａ、あるいはその周辺のマイコンは、この結線状態を記憶した、上述の図１３に示すような、マッピング入力対応テーブルを持っている。このマッピング入力対応テーブルは、結線に対応する設定として記憶され、結線の変更がない限り変わることはない。
【０１６０】
図２１の「８」，「９」の場合のように、ある押しボタンに対して所定の属性の値（名称）が選択された場合、画像選択操作手段１７０Ａは、その押しボタンを、バス番号１〜４のうち、未だ割り当てられていない出力バスラインに割り当てる。この場合、この出力バスラインは、選択された所定の属性の値（名称）に対応付けられたポリゴン（ポリゴン集合）の表面にテクスチャマッピングする画像の画像データを出力するための出力バスラインとなる。そして、画像選択操作手段１７０Ａは、選択された所定の属性の値（名称）の情報と、割り当て対象の出力バスラインによるマッピング入力がマッピング入力Ｔ１〜Ｔ４のいずれであるかの情報を、ネットワーク１３０を介して、表面指定手段１２０Ａに送る。
【０１６１】
図２１に示すように、「８」に対して「Metal-1」が選択され、その後、「９」に対して「Material-Def3」が選択される場合を例にとってさらに説明する。
まず、「８」に対して「Metal-1」が選択されるとき、画像選択操作手段１７０Ａは、「８」の押しボタンを出力バスライン２１１に割り当てる。この場合、この出力バスライン２１１は、マテリアル定義「Metal-1」に対応付けられたポリゴン（ポリゴン集合）の表面にテクスチャマッピングする画像の画像データを出力するための出力バスラインとなる。そして、画像選択操作手段１７０Ａは、マテリアル定義「Metal-1」およびマッピング入力Ｔ１の情報を、ネットワーク１３０を介して、表面指定手段１２０Ａに送る。
【０１６２】
次に、「９」に対して「Material-Def3」が選択されるとき、画像選択操作手段１７０Ａは、「９」の押しボタンを出力バスライン２１２に割り当てる。この場合、この出力バスライン２１２は、マテリアル定義「Material-Def3」に対応付けられたポリゴン（ポリゴン集合）の表面にテクスチャマッピングする画像の画像データを出力するための出力バスラインとなる。そして、画像選択操作手段１７０Ａは、マテリアル定義「Material-Def3」およびマッピング入力Ｔ２の情報を、ネットワーク１３０を介して、表面指定手段１２０Ａに送る。
【０１６３】
このように、画像選択操作手段１７０Ａは、図２０に示す操作卓２６０Ａを備える場合にあっても、図１１に示す操作卓２６０を備える場合と同様に、選択された属性の値（名称）とマッピング入力の対応情報を、表面指定手段１２０Ａに送ることができる。これにより、表面指定手段１２０Ａは、属性の値（名称）とマッピング入力の対応関係を示す画像割り当てテーブルを作成して、画像生成手段１４０Ａ内に設定できる。
【０１６４】
図２０に示す操作卓２６０Ａの場合、例えば、押しボタン列２７１の「８」の押しボタンを操作者が操作することで、押しボタン列２７２を、マテリアル定義「Metal-1」に対応した出力バスライン２１１に割り当てることができる。この出力バスラインは、マテリアル定義「Metal-1」に対応付けられたポリゴン（ポリゴン集合）の表面にテクスチャマッピングするための画像の画像データを画像マッピング手段１５０Ａに入力するための出力バスラインである。そして、この場合、操作者は、この押しボタン列２７２を操作することで、当該画像データ（マッピング入力）を、任意のタイミングで変更できる。
【０１６５】
なお、図２０に示す操作卓２６０Ａは、押しボタン列（指定ボタン列）２７１に９個の押しボタンを備えているが、所定の属性の値（名称）を選択する押しボタンの数は最大４である。図１０に示す画像処理装置１００Ａでは、画像マッピング手段１５０にマッピング入力（画像データ）を供給する出力バスラインが４本とされているからである。
【０１６６】
また、上述では、押しボタン列（指定ボタン列）２７１の「８」、「９」の押しボタンに対して所定の属性の値（名称）を一つだけ選択し得るように説明した。しかし、これらの押しボタンに対して、所定の属性の値（名称）を複数個選択することを許容する構成も考えられる。この場合には、選択された複数の所定の属性の値（名称）のいずれかに対応付けられたポリゴン（ポリゴン集合）すべての表面に、これらの押しボタンが割り当てられた出力バスラインの出力画像データによる画像がテクスチャマッピングされることになる。この場合、各押しボタンに対応した文字表示部２７４（図２０参照）には、複数の属性の値（名称）が表示されることになる。ただし、複数の属性の値（名称）の表示が困難であれば、一つ、あるいは可能なだけ表示することになる。
【０１６７】
また、上述の第２の実施の形態において、ＣＧ制作手段１１０と、表面指定手段１２０Ａと、画像生成手段１４０Ａおよび画像マッピング手段１５０Ａとが別個に存在し、互いにネットワーク１３０を介して接続されている。しかし、これらを一体化した構成も考えられる。
【０１６８】
図２２は、図１０に示した画像処理装置１００Ａを変形した画像処理装置１００Ｂを示している。この画像処理装置１００Ｂは、ＣＧ制作手段と、表面指定手段と、画像生成手段および画像マッピング手段が、一個のパーソナルコンピュータ１９０で構成されている。なお、詳細説明は省略するが、この画像処理装置１００Ｂのその他は図１０に示す画像処理装置１００Ａと同様に構成されており同様に動作する。
【産業上の利用可能性】
【０１６９】
この発明は、ＣＧ画像の所望の面に、任意のタイミングで所望の画像を選択してテクスチャマッピングによる画像合成を行うものであり、放送システムにおける特殊効果装置等に適用できる。
【符号の説明】
【０１７０】
１００，１００Ａ，１００Ｂ・・・画像処理装置、１１０・・・ＣＧ制作手段、１２０，１２０Ａ・・・表面指定手段、１３０・・・ネットワーク、１４０，１４０Ａ・・・画像生成手段、１４１・・・画像入出力部、１４２・・・ＧＰＵ、１４３・・・ローカルメモリ、１４４・・・ＣＰＵ、１４５・・・メインメモリ、１４６・・・周辺デバイス制御部、１４７・・・ＨＤＤ、１４８ａ・・・イーサネット回路、１４８ｂ・・・ネットワーク端子、１４９・・・ＵＳＢ端子、１５１・・・ＳＤＲＡＭ、１５０，１５０Ａ・・・画像マッピング手段、１６０，１６０Ａ・・・マトリクススイッチ、１６１〜１６４・・・出力バスライン、１６５〜１６８・・・クロスポイントスイッチ群、１７０，１７０Ａ・・・画像選択操作手段、１７１〜１７４・・・押しボタン列、１７５，１７６・・・文字表示部、１８０・・・プログラム・プレビューミキサ、１９０・・・パーソナルコンピュータ、２１１〜２２３・・・出力バスライン、２３１〜２４３・・・クロスポイントスイッチ群、２５１・・・プログラム出力ライン、２５２・・・プレビュー出力ライン、２６０，２６０Ａ・・・操作卓、２６１〜２６４・・・押しボタン列、２６５，２６６・・・文字表示部
【特許請求の範囲】
【請求項１】
複数の入力画像データから１つの画像データを選択的に取り出す画像選択手段と、
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成手段と、
上記コンピュータグラフィクス記述データ中のポリゴンの表面を選択肢として所定のポリゴンの表面を指定する表面指定手段と、
上記画像生成手段が描画するポリゴンの表面のうち、上記表面指定手段で指定された上記所定のポリゴンの表面に、上記画像選択手段で取り出された画像データによる画像をテクスチャマッピングする画像マッピング手段と
を備える画像処理装置。
【請求項２】
上記表面指定手段は、上記コンピュータグラフィクス記述データ中の所定の属性の値の選択により上記所定のポリゴンの表面を指定し、
上記画像マッピング手段は、上記表面指定手段で指定された上記属性の値に対応付けられたポリゴンの表面に、上記画像選択手段で取り出された画像データによる画像をテクスチャマッピングする
請求項１に記載の画像処理装置。
【請求項３】
上記所定の属性はマテリアル定義である
請求項２に記載の画像処理装置。
【請求項４】
上記画像選択手段を複数備え、
上記表面指定手段は、画像選択手段毎に、上記コンピュータグラフィクス記述データ中のポリゴンの表面を選択肢として所定のポリゴンの表面を指定し、
上記画像マッピング手段は、上記画像生成手段が描画するポリゴンの表面のうち、上記表面指定手段で上記画像選択手段毎に指定された上記所定のポリゴンの表面に、対応する上記画像選択手段で取り出された画像データによる画像をテクスチャマッピングする
請求項１に記載の画像処理装置。
【請求項５】
上記表面指定手段は、上記複数の画像選択手段で取り出される画像データを識別する画像識別子と表面指定を対応付ける画像割り当てテーブルを設定し、
上記画像マッピング手段は、上記表面指定手段で設定された画像割り当てテーブルに基づいて、上記画像生成手段が描画するポリゴンの表面のうち、上記表面指定手段で上記画像選択手段毎に指定された上記所定のポリゴンの表面に、対応する上記画像選択手段で取り出された画像データによる画像をテクスチャマッピングする
請求項４に記載の画像処理装置。
【請求項６】
上記表面指定手段により表面指定が行われた画像選択手段に対応して、表面指定情報を表示する表示手段をさらに備える
請求項４に記載の画像処理装置。
【請求項７】
複数の入力画像データから１つの画像データを選択的に取り出す画像選択ステップと、
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成ステップと、
上記コンピュータグラフィクス記述データ中のポリゴンの表面を選択肢として所定のポリゴンの表面を指定する表面指定ステップと、
上記画像生成ステップが描画するポリゴンの表面のうち、上記表面指定ステップで指定された上記所定のポリゴンの表面に、上記画像選択ステップで取り出された画像データによる画像をテクスチャマッピングする画像マッピングステップと
を備える画像処理方法。
【請求項１】
複数の入力画像データから１つの画像データを選択的に取り出す画像選択手段と、
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成手段と、
上記コンピュータグラフィクス記述データ中のポリゴンの表面を選択肢として所定のポリゴンの表面を指定する表面指定手段と、
上記画像生成手段が描画するポリゴンの表面のうち、上記表面指定手段で指定された上記所定のポリゴンの表面に、上記画像選択手段で取り出された画像データによる画像をテクスチャマッピングする画像マッピング手段と
を備える画像処理装置。
【請求項２】
上記表面指定手段は、上記コンピュータグラフィクス記述データ中の所定の属性の値の選択により上記所定のポリゴンの表面を指定し、
上記画像マッピング手段は、上記表面指定手段で指定された上記属性の値に対応付けられたポリゴンの表面に、上記画像選択手段で取り出された画像データによる画像をテクスチャマッピングする
請求項１に記載の画像処理装置。
【請求項３】
上記所定の属性はマテリアル定義である
請求項２に記載の画像処理装置。
【請求項４】
上記画像選択手段を複数備え、
上記表面指定手段は、画像選択手段毎に、上記コンピュータグラフィクス記述データ中のポリゴンの表面を選択肢として所定のポリゴンの表面を指定し、
上記画像マッピング手段は、上記画像生成手段が描画するポリゴンの表面のうち、上記表面指定手段で上記画像選択手段毎に指定された上記所定のポリゴンの表面に、対応する上記画像選択手段で取り出された画像データによる画像をテクスチャマッピングする
請求項１に記載の画像処理装置。
【請求項５】
上記表面指定手段は、上記複数の画像選択手段で取り出される画像データを識別する画像識別子と表面指定を対応付ける画像割り当てテーブルを設定し、
上記画像マッピング手段は、上記表面指定手段で設定された画像割り当てテーブルに基づいて、上記画像生成手段が描画するポリゴンの表面のうち、上記表面指定手段で上記画像選択手段毎に指定された上記所定のポリゴンの表面に、対応する上記画像選択手段で取り出された画像データによる画像をテクスチャマッピングする
請求項４に記載の画像処理装置。
【請求項６】
上記表面指定手段により表面指定が行われた画像選択手段に対応して、表面指定情報を表示する表示手段をさらに備える
請求項４に記載の画像処理装置。
【請求項７】
複数の入力画像データから１つの画像データを選択的に取り出す画像選択ステップと、
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成ステップと、
上記コンピュータグラフィクス記述データ中のポリゴンの表面を選択肢として所定のポリゴンの表面を指定する表面指定ステップと、
上記画像生成ステップが描画するポリゴンの表面のうち、上記表面指定ステップで指定された上記所定のポリゴンの表面に、上記画像選択ステップで取り出された画像データによる画像をテクスチャマッピングする画像マッピングステップと
を備える画像処理方法。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図２２】
【図２３】
【図２４】
【図３】
【図１１】
【図２０】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図２２】
【図２３】
【図２４】
【図３】
【図１１】
【図２０】
【公開番号】特開２０１１−２２７２６（Ｐ２０１１−２２７２６Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６６１６９（Ｐ２００９−１６６１６９）
【出願日】平成２１年７月１４日（２００９．７．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月１４日（２００９．７．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]