説明

画像処理装置、画像処理方法およびプログラム

【課題】CG画像の内容を容易に変更し、運用状況に合わせた画像を容易に生成可能とする。
【解決手段】CG記述データの中の構成要素のうち複数の構成要素を指定する要素選択肢リストを予め生成し記憶しておく。構成要素は、例えば、仮想物体(CGオブジェクト)、仮想カメラ、仮想ライト、仮想力場、仮想風などである。画像生成部は、要素選択肢リストにより指定される構成要素のうち、ユーザ操作により選択された所定の構成要素以外の構成要素をCG記述データから取り除き、CG画像を生成する。ユーザは、選択操作部を操作して、要素選択肢リストから所定の構成要素を選択する操作を行うことができ、CG画像の内容を容易に変更できる。

【発明の詳細な説明】
【技術分野】
【0001】
本技術は、画像処理装置、画像処理方法およびプログラムに関する。特に、本技術は、CG(コンピュータグラフィクス)による画像合成を行う場合に好適な画像処理装置等に関する。
【背景技術】
【0002】
従来、例えば、CG製作者により作成された複数のCG素材をレンダリングして、例えば、MPEG形式のCG画像としてサーバに予め保持させておき、サーバに保持されている複数のCG画像のうち、ユーザの選択操作により選択されたCG画像を、合成の対象とされた合成対象画像、例えば、スタジオのカメラでアナウンサーを撮影している画像に合成する、ということが行われている。
【0003】
例えば、特許文献1には、操作者が表示画面に対してマウスで操作入力し、表示の特定箇所を選択することにより、三次元棒グラフを成すグラフィカル表示の一部のみを表示させることが可能な装置が記載されている。
【0004】
また、例えば、特許文献2には、三次元CAD等の表示において、形状の一部を選択する操作入力を受けて、選択されなかった部分を削除して、表示を可能にすることが記載されている。
【0005】
また、例えば、特許文献3には、複数のユーザに仮想空間を提供する装置において、ユーザ属性に応じて、仮想空間中のオブジェクト(仮想物体)が表示されることが記載されている。つまり、仮想空間中に存在するオブジェクトであっても、ユーザに応じて表示と非表示を切り替えることが記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平11−007549号公報
【特許文献2】特開2006−330927号公報
【特許文献3】特開2009−223650号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
放送用の画像などについて、所望されるCG作品を、制作者が次々と制作し、それを画像(実写ビデオ等)の状況に合わせた操作によって内容を変えつつ画像と合成する技術が求められている。
【0008】
上述の従来技術においては、予めシステムで決めているオブジェクト(仮想物体)について、描画(画像生成)対象から排除することが可能になっているか、あるいは、操作により描画対象から排除するものを指定できる。しかし、制作される任意のCG作品に対して適した方法で描画対象を選抜することはできなかった。
【0009】
本技術の目的は、コンピュータグラフィクス画像の内容を容易に変更し、運用状況に合わせた画像を容易に生成可能とすることにある。
【課題を解決するための手段】
【0010】
本技術の概念は、
コンピュータグラフィクス記述データの中の構成要素のうち複数の構成要素を指定する要素選択肢リストを記憶するリスト記憶部と、
上記要素選択肢リストから所定の構成要素を選択する操作を受ける選択操作部と、
上記コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部とを備え、
上記画像生成部は、
上記リスト記憶部が記憶している上記要素選択肢リストにより指定される構成要素のうち上記選択操作部により選択された上記所定の構成要素以外の構成要素を上記コンピュータグラフィクス記述データから取り除いてコンピュータグラフィクス画像を生成する
画像処理装置にある。
【0011】
本技術において、コンピュータグラフィクス記述データの中の構成要素のうち複数の構成要素を指定する要素選択肢リストがリスト記憶部に記憶されている。ここで、構成要素は、例えば、仮想物体(CGオブジェクト)、仮想カメラ、仮想ライト、仮想力場、仮想風などである。選択操作部で、要素選択肢リストから所定の構成要素を選択する操作を受けるようにされる。
【0012】
そして、画像生成部により、コンピュータグラフィクス記述データに基づいて、コンピュータグラフィックス画像が生成される。この際、画像生成部では、リスト記憶部が記憶している要素選択肢リストにより指定される構成要素のうち、選択操作部により選択された所定の構成要素以外の構成要素がコンピュータグラフィクス記述データから取り除かれて、コンピュータグラフィクス画像が生成される。
【0013】
この場合、例えば、画像生成部は、コンピュータグラフィクス記述データが画像の生成に使用するために展開される作業用記憶部と、リスト記憶部が記憶している要素選択肢リストにより指定される構成要素のうち、選択操作部により選択された所定の構成要素以外の構成要素について、作業用記憶部において消去または無効化する更新制御部とを有し、作業用記憶部の内容に基づいてコンピュータグラフィクス画像を生成する、ようにされてもよい。
【0014】
このように本技術においては、リスト記憶部が記憶している要素選択肢リストにより指定される構成要素のうち、選択操作部により選択された所定の構成要素以外の構成要素がコンピュータグラフィクス記述データから取り除かれて、コンピュータグラフィクス画像が生成される。そのため、コンピュータグラフィクス画像の内容を容易に変更でき、運用状況に合わせた画像を容易に生成することが可能になる。
【0015】
本技術は、例えば、コンピュータグラフィクス記述データは、構成要素をツリー構造で持ち、このツリー構造中のノードを指定する操作を受けて、このノードの下位に存在する複数の構成要素を含む要素選択肢リストを生成するリスト生成部をさらに備える、ようにされてよい。これにより、任意のCG作品に対応した要素選択肢リストを操作者の構成要素の選択手間を少なくして容易に生成可能となる。
【0016】
本技術の他の概念は、
スイッチャと、
コンピュータグラフィクス記述データの中の構成要素のうち複数の構成要素を指定する要素選択肢リストを記憶するリスト記憶部と、
上記コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部とを備え、
上記スイッチャの複数の入力バスのうち特定の入力バスは上記画像生成部の出力を受け、
上記スイッチャの入力選択操作部のボタン列は、上記特定の入力バスを共通に選択し、それぞれ上記要素選択肢リストにより指定される複数の構成要素に対応した複数のボタンを含み、
上記画像生成部は、
上記複数のボタンのいずれかの押し下げがあるとき、上記リスト記憶部が記憶している上記要素選択肢リストにより指定される構成要素のうち、該押し下げられたボタンに対応した所定の構成要素以外の構成要素を上記コンピュータグラフィクス記述データから取り除いてコンピュータグラフィクス画像を生成する
画像処理装置にある。
【0017】
本技術において、コンピュータグラフィクス記述データの中の構成要素のうち複数の構成要素を指定する要素選択肢リストがリスト記憶部に記憶されている。そして、画像生成部により、コンピュータグラフィクス記述データに基づいて、コンピュータグラフィックス画像が生成される。
【0018】
ここで、スイッチャの複数の入力バスのうち特定の入力バスは、画像生成部の出力を受けるようにされる。そして、スイッチャの入力選択操作部のボタン列は、当該特定の入力バスを共通に選択し、それぞれ要素選択肢リストにより指定される複数の構成要素に対応した複数のボタンを含むようにされる。
【0019】
画像生成部では、この複数のボタンのいずれかの押し下げがあるいとき、リスト記憶部が記憶している要素選択肢リストにより指定される構成要素のうち、押し下げられたボタンに対応した所定の構成要素以外の構成要素がコンピュータグラフィクス記述データから取り除かれて、コンピュータグラフィクス画像が生成される。これにより、スイッチャの入力選択操作部のボタン列を利用して、コンピュータグラフィクス画像の内容を容易に変更でき、運用状況に合わせた画像を容易に生成することが可能となる。
【発明の効果】
【0020】
本技術によれば、コンピュータグラフィクス画像の内容を容易に変更でき、運用状況に合わせた画像を容易に生成できる。
【図面の簡単な説明】
【0021】
【図1】本技術の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図2】画像生成部および画像マッピング部の具体的な構成例を示す図である。
【図3】画像生成部および画像マッピング部の機能ブロックの構成例を示す図である。
【図4】画像生成部におけるCG記述データおよび要素選択肢リストのロード処理の処理手順の一例を示すフローチャートである。
【図5】画像生成部におけるCG画像の生成処理の処理手順の一例を示すフローチャートである。
【図6】要素選択肢リストを生成するGUIの一例を示す図である。
【図7】要素選択肢リストを生成するGUIを開く前のGUIの一例を示す図である。
【図8】ツリー構造表示を用いて要素選択肢リストを生成するGUIの一例を示す図である。
【図9】ツリー構造表示を用いて要素選択肢リストを生成するGUIの一例を示す図である。
【図10】構成要素として"Box001","Polygon2","StringM1","StringM2"を選択した状態を示す図である。
【図11】派生情報編集部における要素選択肢リストの生成時における構成要素の設定手順を概略的に示すフローチャートである。
【図12】複数の構成要素を選択肢として含む要素選択肢リスト(ファイル)を用いる場合における、画像生成部の画像生成処理の処理手順の一例を示すフローチャートである。
【図13】要素選択肢リストの「名称」を"Selection1"として、"Group2"のノードを選択した状態を示す図である。
【図14】派生情報編集部における要素選択肢リストの生成時における親ノードの設定手順を概略的に示すフローチャートである。
【図15】親ノードを選択肢として含む要素選択肢リスト(ファイル)を用いる場合における、画像生成部の画像生成処理の処理手順の一例を示すフローチャートである。
【図16】CG画像の内容変更パターンの一例を示す図である。
【発明を実施するための形態】
【0022】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
【0023】
<1.実施の形態>
[画像処理装置の構成]
図1は、本技術の実施の形態としての画像処理装置100の構成例を示している。この画像処理装置100は、CG(コンピュータグラフィクス)制作部110と、ネットワーク120と、画像生成部130と、画像マッピング部140と、記憶部150を有している。
【0024】
また、この画像処理装置100は、マトリクススイッチ160と、操作卓(画像選択操作部)170と、画像合成部(プログラム・プレビューミキサ)180と、派生情報編集部190を有している。CG制作部110、画像生成部130、スイッチャ操作卓170および派生情報編集部190は、それぞれネットワーク120に接続されている。
【0025】
CG制作部110は、CG制作ソフトウェアを持つパーソナルコンピュータ(PC:Personal Computer)により構成されている。このCG制作部110は、所定のフォーマットのCG記述データを出力する。CG記述データのフォーマットとして、例えばCollada(登録商標)がある。Colladaは、XML(Extensible Markup Language)の上で3DのCGデータの交換を実現するための記述定義である。CG記述データには、例えば、以下のような情報が記述される。
【0026】
(a)マテリアル(表面態様)の定義
このマテリアルの定義は、CGオブジェクトの表面の質(見え方)である。このマテリアルの定義には、色、反射の仕方、発光、凹凸などの情報が含まれる。また、このマテリアルの定義には、テクスチャマッピングの情報が含まれる場合がある。テクスチャマッピングとは、上述したように、画像をCGオブジェクトに貼り付ける手法であり、処理系の負荷を比較的軽くしつつ、複雑な模様などを表現できる。
【0027】
(b)幾何学情報 Geometry の定義
この幾何学情報 Geometry の定義には、ポリゴンメッシュについての、位置座標、頂点の座標などの情報が含まれる。
(c)カメラの定義
このカメラの定義には、カメラのパラメータが含まれる。
【0028】
(d)アニメーションの定義
このアニメーションの定義には、アニメーションの各キーフレームにおける、様々な情報が含まれる。また、このアニメーションの定義には、アニメーションの各キーフレームにおける時刻の情報が含まれる。様々な情報とは、例えば、対応するオブジェクト(ノード)のキーフレーム点の時刻、位置や頂点の座標値、サイズ、接線ベクトル、補間方法、各種情報のアニメーション中の変化等の情報である。
(e)シーン中のノード(オブジェクト)の位置、方向、大きさ、対応する幾何学情報定義、対応するマテリアル定義
【0029】
これらの情報は、ばらばらではなく、例えば、以下のように対応付けられている。
・ノード・・・幾何学情報
・ノード・・・マテリアル(複数)
・幾何学情報・・・ポリゴン集合(複数)
・ポリゴン集合・・・マテリアル(ノードに対応するうちの一つ)
・アニメーション・・・ノード
【0030】
一つの画面を構成する記述はシーンと呼ばれる。各定義はライブラリと呼ばれ、シーンの中から参照される。例えば、直方体のオブジェクトが2つ存在する場合、それぞれが一つのノードとして記述され、各ノードにマテリアル定義のいずれかが連想される。この結果、各直方体のオブジェクトにはマテリアル定義が連想され、各マテリアル定義に従った色や反射特性で描画される。
【0031】
あるいは、直方体のオブジェクトは複数のポリゴン集合で記述され、ポリゴン集合にマテリアル定義が連想されている場合は、ポリゴン集合毎に、異なるマテリアル定義で描画される。例えば、直方体の面は6つであるが、このうちの3つの面で一つのポリゴン集合、1つの面で1つのポリゴン集合、2つの面で一つのポリゴン集合、というように、直方体のオブジェクトが3つのポリゴン集合で記述される場合もある。各ポリゴン集合に異なるマテリアル定義を連想できるため、面毎に異なる色で描画させることも可能である。
【0032】
マテリアル定義にテクスチャマッピングが指定されている場合は、連想されているオブジェクトの面に、画像データによる画像がテクスチャマッピングされる。
【0033】
例えば、マテリアル定義に対して画像をテクスチャマッピングするように設定される。そのため、直方体のオブジェクトの全ての面に同じ画像をテクスチャマッピングすることもでき、面毎に異なる画像をテクスチャマッピングすることもできる。
【0034】
マトリクススイッチ160は、複数の入力画像(入力画像データ)から所定の画像(画像データ)を選択的に取り出す。この実施の形態において、このマトリクススイッチ160は、10本の入力ラインと、13本の出力バスライン211乃至223と、13個のクロスポイントスイッチ群231乃至243を有している。このマトリクススイッチ160は、エフェクトスイッチャの一部を構成しており、外部機器としての画像マッピング部140に画像データを供給する他、内部の画像合成部180等に画像データを供給するために使用される。
【0035】
出力バスライン211〜214は、画像マッピング部140に画像データを供給するためのバスラインである。また、出力バスライン215〜221は、外部に画像データを出力するためのバスラインである。また、出力バスライン222,223は、内部の画像合成部180に画像データを供給するためのバスラインである。
【0036】
10本の入力ラインは、一の方向(図1では水平方向)に配列されている。「1」〜「9」の入力ラインには、それぞれ、VTR、ビデオカメラ等から画像データが入力される。また、「10」の入力ラインには、画像生成部130から出力されるCG画像データが入力される。13本の出力バスライン211〜223は、入力ラインと交差して、他の方向(図1では垂直方向)に配列されている。
【0037】
クロスポイントスイッチ群231〜234は、10本の入力ラインと出力バスライン211〜214とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群231〜234の接続が制御され、10本の入力ラインに入力された画像データのいずれかが出力バスライン211〜214に選択的に出力される。この出力バスライン211〜214は、テクスチャマッピング用の画像データ(マッピング入力)T1〜T4の出力ラインを構成する。
【0038】
また、クロスポイントスイッチ群235〜241は、それぞれ、10本の入力ラインと出力バスライン215〜221が交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群235〜241が制御され、10本の入力ラインに入力された画像データのいずれかが出力バスライン215〜221に選択的に出力される。この出力バスライン215〜221は、外部出力用の画像データOUT1〜OUT7の出力ラインを構成する。
【0039】
また、クロスポイントスイッチ群242,243は、それぞれ、10本の入力ラインと出力バスライン222,223とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群242,243が制御され、10本の入力ラインに入力された画像データのいずれかが出力バスライン222,223に選択的に出力される。
【0040】
なお、クロスポイントスイッチ群231〜243の各クロスポイントスイッチのオンオフ動作は、フレームデータの連続からなる画像データを切り替えるものであることから、フレームの切れ目である垂直ブランキング区間内に行われる。
【0041】
出力バスライン222,223に出力される画像データは、画像合成部(プログラム・プレビューミキサ)180に入力される。この画像合成部180は、出力バスライン222,223から入力される画像データに対して合成処理を行う。この画像合成部180から、プログラム出力ライン251を通じてプログラム(PGM)出力が外部に出力され、プレビュー出力ライン252を通じてプレビュー出力が外部に出力される。
【0042】
派生情報編集部190は、この実施の形態においては、リスト生成部を構成し、CG制作部110で生成されたCG記述データに基づいて、その中の構成要素のうち複数の構成要素を指定する要素選択肢リストを生成する。この要素選択肢リストで指定される複数の構成要素は、例えば、同じ種類の構成要素とされるが、これに限定されるものではない。構成要素の種類には、例えば、仮想物体(CGオブジェクト)、仮想カメラ、仮想ライト、仮想力場、仮想風などがある。派生情報編集部190は、CG制作部110で制作され複数のCG記述データのそれぞれに対して、任意の数の要素選択肢リストを生成できる。この派生情報編集部190で生成される要素選択肢リストの詳細については後述する。
【0043】
画像生成部130は、CG制作部110で制作されたCG記述データ、さらにはこのCG記述データに対応した要素選択肢リストに基づいて、三次元仮想空間画像であるCG画像を生成する。記憶部150は、所定数のCG記述データと、各CG記述データに対応した要素選択肢リストを記憶する。この記憶部150は、例えば、ハードディスク等により構成される。なお、CG記述データおよび要素選択肢リストの記憶場所は、画像生成部130内に限定されるものではなく、他の場所、例えば、ネットワーク120に接続された他の記憶場所であってもよい。
【0044】
この実施の形態において、CG制作部110で制作されたCG記述データは、ネットワーク120を通じて画像生成部130に送られ、記憶部150に記憶される。また、派生情報編集部190で生成された要素選択肢リストは、ネットワーク120を通じて画像生成部130に送られ、記憶部150に、CG記述データと対応付けされて記憶される。
【0045】
画像生成部130は、操作卓170が有するロード指示部171から指示された要素選択肢リストを記憶部150から読み出し、さらに、その要素選択肢リストに対応したCG記述データを記憶部150から読み出す。画像生成部130は、読み出したCG記述データを、画像の生成に使用するために、作業用記憶部を構成する作業用メモリ131上に展開する。
【0046】
画像生成部130は、操作卓170が有するパラメタ操作部172における選択操作で決定されたパラメタ(制御値)に基づいて、読み出した要素選択肢リストにより指定される複数の構成要素のうちどの構成要素が選択されたかを認識する。画像生成部130は、読み出した要素選択肢リストにより指定される複数の構成要素のうち、選択された構成要素以外の構成要素について、作業用メモリ131において、消去あるいは無効化し、レンダリング対象から除外する。
【0047】
画像生成部130は、作業用メモリ131の内容に基づいてCG画像を生成する。そのため、このCG画像は、基本的には、作業用メモリ131上に展開されたCG記述データによるCG画像に基づくものとなるが、要素選択肢リストにより指定される複数の構成要素から選択される構成要素に応じてその一部が変更されたものとなる。換言すれば、パラメタ操作部172における選択操作により、画像生成部130で生成されるCG画像の内容を変更できることになる。
【0048】
画像生成部130は、例えば、あるノードの幾何学情報にあるポリゴン集合を描画するには、その幾何学情報と、対応付けられているマテリアル定義を参照して、その色などの指定に従って描画する。アニメーションの場合は、現在時刻を毎フレーム進行させ、現在時刻から、前後のキーフレームにおける各値を補間して各値を決定し、描画を行う。
【0049】
画像生成部130は、例えば、図示しない画像割り当てテーブルに存在する各属性の値(名称)に対応付けられているポリゴンの表面に、その属性の値と対のマッピング入力による画像をテクスチャマッピングするように、画像マッピング部140を制御する。
【0050】
画像マッピング部140は、上述の画像生成部130の制御のもと、テクスチャマッピングを行う。属性は例えばマテリアルであり、画像割り当てテーブルは例えばマテリアル名称と画像入力番号(図1ではT1乃至T4のうち一つを指定する番号)を対応付けるテーブルである。
【0051】
画像マッピング部140は、実装上は、例えば、上述の画像生成部130と一体化されており、CPU上のソフトウェアによる制御と、GPU等のハードウェアによる動作によって実現される。制御ソフトウェアは、テクスチャマッピングするポリゴン集合を指定してハードウェアに指示する。
【0052】
[画像生成部および画像マッピング部の構成例]
図2は、画像生成部130および画像マッピング部140の具体的な構成例を示している。画像生成部130および画像マッピング部140は、画像入出力部141と、GPU142と、ローカルメモリ143と、CPU144と、メインメモリ145を有している。また、画像生成部130および画像マッピング部140は、周辺デバイス制御部146と、ハードディスクドライブ(HDD)147と、イーサネット回路148aと、ネットワーク端子148bを有している。また、画像生成部130および画像マッピング部140は、USB(Universal Serial Bus)端子149と、SDRAM(SynchronousDRAM)151を有している。なお、「イーサネット」は登録商標である。
【0053】
画像入出力部141は、テクスチャマッピングをするための画像データを入力し、また、画像データによる画像が適宜テクスチャマッピングされたCG画像の画像データを出力する。この画像入出力部141は、最大で4系統の画像データを入力でき、また、最大で4系統の画像データを出力できる。なお、ここで取り扱われる画像データは、例えば、SMPTE292Mで規定されているHD-SDI(High Definition television-SerialDigital Interface)規格の画像データである。GPU142およびメインメモリ145は、同等に、画像入出力部141にアクセス可能とされている。
【0054】
メインメモリ145は、CPU144のワークエリアとして機能すると共に、画像入出力部141から入力される画像データを一時的に記憶する。CPU144は、画像生成部130および画像マッピング部140の全体を制御する。このCPU144には、周辺デバイス制御部146が接続されている。この周辺デバイス制御部146は、CPU144と周辺デバイスとの間のインタフェース処理を行う。
【0055】
CPU144には、周辺デバイス制御部146を介して、内蔵のハードディスクドライブ147が接続されている。また、CPU144には、周辺デバイス制御部146、イーサネット回路148aを介して、ネットワーク端子148bが接続されている。また、CPU144には、周辺デバイス制御部146を介して、USB端子149が接続されている。さらに、CPU144には、周辺デバイス制御部146を介して、SDRAM151が接続されている。
【0056】
CPU144は、テクスチャ座標の制御を行う。すなわち、このCPU144は、入力画像データに対して、それによる画像をGPU142が描画するポリゴンの表面にテクスチャマッピングをするための処理を行う。GPU142は、ハードディスクドライブ147等に保持されているCG記述データに基づいてCG画像を生成し、また、必要に応じて、指定されたポリゴンの面に、画像をテクスチャマッピングする。ローカルメモリ143は、GPU142のワークエリアとして機能すると共に、GPU142で作成されたCG画像の画像データを一時的に記憶する。
【0057】
CPU144は、メインメモリ145にアクセスできる他、ローカルメモリ143にもアクセス可能とされている。同様に、GPU142は、ローカルメモリ143にアクセスできると共に、メインメモリ145にもアクセス可能とされている。GPU142により生成されてローカルメモリ143に一次的に記憶されたCG画像データは、このローカルメモリ143から順次読み出され、画像入出力部141から出力される。
【0058】
図3は、上述した画像生成部130および画像マッピング部140の機能ブロックの構成例を示している。この画像生成部130および画像マッピング部140は、画像入力部152、テクスチャ画像記憶部153、CG制御部154、CG描画部155、テクスチャ座標制御部156、フレームバッファ157および画像出力部158の機能ブロックを有している。
【0059】
画像入力部152および画像出力部158は、画像入出力部141により構成されている。また、テクスチャ画像記憶部153は、メインメモリ145により構成されている。また、CG制御部154およびテクスチャ座標制御部156は、CPU144により構成されている。また、CG描画部155は、GPU142により構成されている。また、フレームバッファ157は、ローカルメモリ143により構成されている。
【0060】
画像入力部152とテクスチャ画像記憶部153は対で、これらを増やすことで、画像入力の系統を増やすことができる。また、フレームバッファ157と画像出力部158は対で、これらを増やすことで、画像出力の系統を増やすことができる。
【0061】
スイッチャ操作卓170は、マトリクススイッチ160への指示の操作入力を受ける。操作卓170は、マトリクススイッチ160の各クロスポイントスイッチ群のスイッチのオンオフを操作するボタン列を備えている。
【0062】
操作卓170は、ロード指示部171およびパラメタ操作部172を有している。ロード指示部171は、ユーザの操作に応じて、使用すべき要素選択肢リスト(要素選択肢リストを保持するファイル)の指示を、画像生成部130に対して行う。画像生成部130は、上述したように、指示された要素選択肢リストを記憶部150から読み出し、さらに、この要素選択肢リストに対応したCG記述データを読み出すロード処理を行う。
【0063】
パラメタ操作部172は、ユーザの操作に応じて、要素選択肢リストにより指定される複数の構成要素から所定の構成要素を選択するためのパラメタ(制御値)を決定して、画像生成部130に送る。パラメタ操作部172は図示しない所定数の調整つまみを備えている。ある要素選択肢リストにより指定される複数の構成要素から所定の構成要素を選択するためのパラメタ(制御値)については、その要素選択肢リストに対応した調整つまみにより値が決定される。画像生成部130は、上述したように、このパラメタに基づいて、読み出した要素選択肢リストにより指定される複数の構成要素から所定の構成要素を選択して、レンダリングを制御する。すなわち、画像生成部130は、要素選択肢リストにより指定される複数の構成要素のうち、選択された所定の構成要素以外の構成要素をCG記述データから取り除いてCG画像を生成する
【0064】
図4のフローチャートは、画像生成部130におけるCG記述データおよび要素選択肢リストのロード処理の処理手順の一例を示している。画像生成部130は、ステップST1において、ロード処理を開始し、その後に、ステップST2の処理に移る。このステップST2において、画像生成部130は、記憶部150に記憶されている要素選択肢リスト(ファイル)のリストを操作卓170に送る。上述したように、記憶部150には複数のCG記述データが記憶されている。このように操作卓170に送信されるリストは、例えば、ユーザが予め選択したCG記述データに対応した要素選択肢リスト(ファイル)のリストとされる。
【0065】
次に、画像生成部130は、操作卓170のロード指示部171からの要素選択肢リスト(ファイル)の指示を受信する。操作卓170では、画像生成部130から送られてくる要素選択肢リスト(ファイル)のリストを表示部に表示し、画像生成部130における画像生成で使用すべき、要素選択肢リスト(ファイル)を選択して、画像生成部130に指示する。この場合、操作卓170では、要素選択肢リスト(ファイル)として、1つあるいは2つ以上の選択が可能である。
【0066】
次に、画像生成部130は、ステップST4において、指示された要素選択肢リスト(ファイル)を記憶部150から読み出して、図示しないメインメモリに記憶する。また、画像生成部130は、ステップST5において、指示された要素選択肢リスト(ファイル)に対応したCG記述データを記憶部150から読み出して、図示しないメインメモリに記憶する。
【0067】
次に、画像生成部130は、ステップST6において、ステップST5で読み出したCG記述データを、画像の生成に使用するために、作業用メモリ131上に展開する。画像生成部130は、ステップST6の処理の後、ステップST7において、ロード処理を終了する。これにより、画像生成部130は、CG記述データおよび要素選択選択肢リストを用いたCG画像の生成が可能な状態となる。
【0068】
図5のフローチャートは、画像生成部130におけるCG画像の生成処理の処理手順の一例を示している。画像生成部130は、ステップST11において、画像生成処理を開始し、その後に、ステップST12の処理に移る。このステップST12において、画像生成部130は、操作卓170のパラメタ操作部172からのパラメタ(制御値)を確認する。
【0069】
次に、画像生成部130は、ステップST13において、要素選択肢リストにより指定された複数の構成要素のうち、パラメタ(制御値)で選択された構成要素以外の構成要素を、作業用メモリ131上に展開されたCG記述データから消去または無効化する。そして、画像生成部130は、ステップST14において、作業用メモリ131の内容に基づいて、現フレーム(フィールド)のCG画像を生成する。
【0070】
次に、画像生成部130は、ステップST15において、画像生成が終了か否かを判断する。画像生成部130における画像生成の終了は、例えば、ユーザが操作卓170を操作することで指示できる。画像生成が終了であるとき、画像生成部130は、ステップST16において、画像生成処理を終了する。一方、画像生成が終了でないとき、画像生成部130は、ステップST12に戻り、次のフレーム(フィールド)のCG画像を生成する処理を開始する。
【0071】
この際、操作卓170のパラメタ操作部172からのパラメタ(制御値)が変化していれば、ステップST13において作業用メモリ131上に展開されたCG記述データから消去または無効化される構成要素も変化する。そのため、ステップST14において、生成されるCG画像の一部が変更される。これにより、ユーザが操作卓170のパラメタ操作部172からのパラメタ(制御値)を変化させることで、画像生成部130で生成されるCG画像の内容を、タイムリーに変更できる。
【0072】
[要素選択肢リスト]
派生情報編集部190で生成される要素選択肢リストについて説明する。以下、構成要素が、「仮想物体(CGオブジェクト)」、「仮想カメラ」、「仮想ライト」、「仮想力場」、「仮想風」である場合について順に説明する。
【0073】
(A)構成要素=「仮想物体(CGオブジェクト)」
構成要素が「仮想物体(CGオブジェクト)」である場合について説明する。CG記述データには、仮想空間に配置される仮想物体(ポリゴンから成る多面体等の立体形状のインスタンス)についての記述がある。この場合の要素選択肢リストは、CG記述データに記述されている仮想物体を複数列挙したものとなる。
【0074】
派生情報編集部190は、ロードされているCG記述データにおいて、仮想空間に配置されている仮想物体を、GUIに一覧(リスト)表示する機能が持つ。そして、操作者が、この一覧表示されている仮想物体の中から、複数個を選択できるようにされる。例えば、リスト表示の各行をクリックすると表示が反転して選択状態となり、その後、全体を「OK」すると、それら選択状態の複数の仮想物体が、選択肢として確定するように、GUIが構成される。
【0075】
図6は、要素選択肢リストを生成するGUIの一例を示している。このGUIは、仮想物体(Geometry)の要素選択肢リストの他に、仮想ライト(Light)、仮想カメラ(Camera)の要素選択肢リストの生成にも使用可能となっており、構成要素の種類の選択が可能となっている。「名称」は、要素選択肢リストの名称である。複数の要素選択肢リストを持つ場合、この名称により識別される。図7は、要素選択肢リストを生成するGUIを開く前のGUIの一例を示しており、新規作成、修正、削除を可能とする。
【0076】
図6に示すようなGUIで、Char1,Char2,Char3,Char4の仮想物体が選択された場合に生成される要素選択肢リストは、次のような内容になる。
【0077】
名称:CharGroup1
リスト:
Char1
Char2
Char3
Char4
【0078】
この情報に、パラメタ操作部172内の調整つまみの指定“modifier_01”を加えて、XMLの断片で表現したFlavor ファイル(要素選択肢リスト等の派生情報編集部190の編集対象を保持する単位で、またCG記述データとの対応/連想情報を持つファイル)の一部は、例えば、次の通りとなる。
【0079】
<modifierid="modifier_01" name="CharGroup1"type="choice">
<choice>
<item node_id="">0</item> <!-- none -->
<item node_id="Char01">1</item>
<item node_id="Char02">2</item>
<item node_id="Char03">3</item>
<item node_id="Char04">4</item>
</choice>
</modifier>
【0080】
パラメタ操作部172には、上述したように、要素選択肢リストにより指定される複数の構成要素から所定の構成要素を選択するパラメタ(制御値)を決定するための調整つまみが設けられている。この調整つまみは、要素選択肢リスト中の構成要素を選択する操作を受ける選択操作部として機能する。操作者が調整つまみを回転させると、パラメタの値が変化する仕組みである。
【0081】
パラメタ操作部172には、上述したように、複数の調整つまみが存在する。id="modifier_01"などの id 記述(末尾)で指定されている数値により、複数の調整つまみのいずれかが指定される。例えば、"modifier_01" ならば1番目の調整つまみが指定され、"modifier_03"ならば3番目の調整つまみが指定される。各要素選択肢リストへの調整つまみ(番号)の割り当ては、図示しないGUIで指定可能にされる。上述のFlavor ファイルでは、パラメタ「0」の場合には、何も選択しないことを、空の文字列""を用いて示している。
【0082】
また、上述のFlavor ファイルには、パラメタが「1」,「2」,「3」,「4」になった場合、それぞれ、"Char01","Char02","Char03","Char04"の名称が付いた仮想物体を選択することが記載されている。画像生成部130では、選択されたポリゴンのみがレンダリングの対象とされて、描画が行われる。逆に言えば、画像生成部130では、選択された以外の選択肢のポリゴンは、レンダリング対象から排除されて、CG画像が生成される。
【0083】
上述では、パラメタが「0」の場合には何も選択しないとした。しかし、他の値の場合に何も選択しないようにしてもよい。例えば、パラメタの範囲を「1」から「5」として、「5」の場合には何も選択しないとすることもできる。この場合には、次の様にすればよい。
【0084】
<modifierid="modifier_01" name="CharGroup1"type="choice">
<choice>
<item node_id="Char01">1</item>
<item node_id="Char02">2</item>
<item node_id="Char03">3</item>
<itemnode_id="Char04">4</item>
<item node_id="">5</item> <!-- none -->
</choice>
</modifier>
【0085】
派生情報編集部190では、CG構成要素をCG中のツリー構造で表示して、操作者に選択肢を選ばせることもできる。図8、図9は、ツリー構造表示を用いて要素選択肢リストを生成するGUIの一例を示している。図8は、構成要素を選択する前の状態を示し、図9は、構成要素として"Char01","Char02","Char03","Char04"を選択した状態を示している。
【0086】
図10は、構成要素として"Box001","Polygon2","StringM1","StringM2"を選択した状態を示している。この場合に生成される要素選択肢リストは、次のような内容になる。
【0087】
名称:SelectSpec
リスト:
Box001
Polygon2
StringM1
StringM2
【0088】
この情報に、パラメタ操作部172内の調整つまみの指定“modifier_09”を加えて、XMLの断片で表現したFlavor ファイルの一部は、例えば、次の通りとなる。
【0089】
<modifier id="modifier_09"name="SelectSpec" type="choice">
<choice>
<item node_id="">0</item> <!-- none -->
<item node_id="Box001">1</item>
<item node_id="Polygon2">2</item>
<item node_id="StringM1">3</item>
<item node_id="StringM2">4</item>
</choice>
</modifier>
【0090】
なお、上述の要素選択肢リストの生成例では、表示の順にパラメタの値に対応付けている。しかし、パラメタの値と、対応する選択肢の対応付けを編集する設定手段(GUI)を設けてもよい。
【0091】
図11のフローチャートは、派生情報編集部190における要素選択肢リストの生成時における構成要素の設定手順を概略的に示している。この例は、派生情報編集部190が、上述したように、操作者から選択肢となる構成要素の入力操作を受ける場合の手順である。
【0092】
派生情報編集部190は、ステップST21において、処理を開始し、その後に、ステップST22の処理に移る。このステップST22において、派生情報編集部190は、表示部に、CG構成要素を表示する。そして、派生情報編集部190は、ステップST23において、操作者の構成要素の入力操作を受け(図4,図7,図8参照)、その構成要素を一時記憶する。その後、派生情報編集部190は、ステップST24において、操作者による「OK」ボタンの操作による決定により、一時記憶した構成要素を選択肢として記憶する。そして、派生情報編集部190は、ステップST25において、処理を終了する。
【0093】
図12のフローチャートは、複数の構成要素を選択肢として含む要素選択肢リスト(ファイル)を用いる場合における、画像生成部130の各フレーム(フィールド)の画像生成処理の処理手順の一例を示している。
【0094】
画像生成部130は、ステップST31において、処理を開始し、その後、ステップST32の処理に移る。このステップST32において、画像生成部130は、操作卓170のパラメタ操作部172からのパラメタ(制御値)を受信する。
【0095】
次に、画像生成部130は、ステップST33において、パラメタ(制御値)が、要素選択肢リスト(ファイル)の中の値と一致するか否かを判断する。一致するときは、画像生成部130は、ステップST34において、対応する“node_id”(“S”とする)を得る。
【0096】
そして、画像生成部130は、ステップST35において、作業用メモリ131に展開されたCG記述データの構造から、要素選択肢リストの“node_id”のうち、“S”以外を、消去あるいは無効化して、レンダリング対象外とする。この状態は、操作卓170のパラメタ操作部172からのパラメタ(制御値)が変更されるまで続く。
【0097】
次に、画像生成部130は、ステップST36において、作業用メモリ131上のデータ構造によって、現在フレーム(フィールド)のCG画像の生成を行う。その後、画像生成部130は、ステップST37において、処理を終了する。
【0098】
[ツリー構造の利用]
次に、ツリー構造を利用して、ツリー中のノードを選択肢リストに書き込む場合を説明する。
【0099】
(1)「例1」
ツリー中のノードを選択して決定操作をすると、その直下のノード、つまり1つ下の階層のノードがすべて要素選択肢リストに書き込まれる。書き込まれるノードのそれぞれは、末端ノードではないノード(グループ)であっても、それ(グループ全体)が選択肢の一つとなる。この場合には、操作者の選択操作の回数を少なくでき、任意のCG作品に対応した要素選択肢リストの生成が容易となる。
【0100】
図13は、要素選択肢リストの「名称」を"Selection1"として、"Group2"のノードを選択した状態を示し、「OK」により決定される。この場合、"Group2"のノードの直下のノード(グループ)である"Group2-1","Group2-2","Group2-3"が要素選択肢リストに書き込まれる。この場合に生成される要素選択肢リストは、次のような内容になる。
【0101】
名称:Selection1
リスト:
Group2-1
Group2-2
Group2-3
【0102】
この情報に、図示しないGUIによりパラメタ操作部172内の調整つまみの指定“modifier_03”を加えて、XMLの断片で表現したFlavor ファイルの一部は、例えば、次の通りとなる。
【0103】
<modifierid="modifier_03" name="Selection1"type="choice">
<choice>
<item node_id="">0</item> <!-- none -->
<item node_id="Group2-1">1</item>
<item node_id="Group2-2">2</item>
<item node_id="Group2-3">3</item>
</choice>
</modifier>
【0104】
このFlavor ファイルでは、パラメタ「0」の場合には、何も選択しないことを、空の文字列""を用いて示している。また、このFlavor ファイルには、パラメタが「1」,「2」,「3」になった場合、それぞれ、"Group2-1","Group2-2","Group2-3"の名称が付いたグループを選択することが記載されている。
【0105】
画像生成部130では、選択されたグループに含まれるポリゴンのみがレンダリングの対象とされて、描画が行われる。逆に言えば、画像生成部130では、選択された以外のグループに含まれるポリゴンは、レンダリング対象から排除されて、CG画像が生成される。例えば、調整つまみによるパラメタが「2」となった場合、"Group2-1"に属するすべてのポリゴンと、"Group2-3"に属するすべてのポリゴンがレンダリング対象から排除される。しかし、この場合、"Group2-2"に属するポリゴンはすべて描画され、出力画像に含まれる結果となる。
【0106】
(2)「例2」
ツリー中のノードを選択して決定操作をすると、そのノードが要素選択肢リストに書き込まれる。上述の図13に示すように、「名称」を"Selection1"として、"Group2"のノードが選択された場合、この"Group2"が要素選択肢リストに選択肢親ノードとして書き込まれる。この場合に生成される要素選択肢リストは、次のような内容になる。
【0107】
名称:Selection1
選択肢親ノード:Group2
【0108】
この情報に、パラメタ操作部172内の調整つまみの指定“modifier_04”を加えて、XMLの断片で表現したFlavor ファイルの一部は、例えば、次の通りとなる。
【0109】
<modifierid="modifier_04" name="Selection1"type="choice">
<choiceparent="Group2">
<item node_id="">0</item> <!-- none -->
</choice>
</modifier>
【0110】
なお、上記の「item」の項目は、調整つまみでパラメタ(制御値)が「0」とされた場合は、何も選択しないことを、空の文字列""を用いて示している。画像生成部130におけるCG画像の生成に関しては、上述の「例1」の場合と同じ動作となる。ただし、調整つまみは、4番目のものとなる。
【0111】
この場合、"Group2-1","Group2-2","Group2-3"が列挙されていない。そのため、それぞれが調整つまみのパラメタ(制御値)のいずれに対応するかは、例えば、ノード名称のアルファベット順に1,2,3…に対応するようにされる。例えば、調整つまみの側に文字列を表示して、操作された各時点で、いずれのノードが選択されているかを表示することで、操作性が向上する。
【0112】
図14のフローチャートは、派生情報編集部190における要素選択肢リストの生成時における親ノードの設定手順を概略的に示している。この例は、派生情報編集部190が、上述したように、操作者から選択肢となる親ノードの入力操作を受ける場合の手順である。
【0113】
派生情報編集部190は、ステップST41において、処理を開始し、その後に、ステップST42の処理に移る。このステップST42において、派生情報編集部190は、表示部に、CG構成要素を表示する。そして、派生情報編集部190は、ステップST43において、操作者の親ノードの入力操作を受け(図13参照)、その構成要素を一時記憶する。その後、派生情報編集部190は、ステップST44において、操作者による「OK」ボタンの操作による決定により、一時記憶した親ノードを選択肢として記憶する。そして、派生情報編集部190は、ステップST45において、処理を終了する。
【0114】
図15のフローチャートは、親ノードを選択肢として含む要素選択肢リスト(ファイル)を用いる場合における、画像生成部130の各フレーム(フィールド)の画像生成処理の処理手順の一例を示している。
【0115】
画像生成部130は、ステップST51において、処理を開始し、その後、ステップST52の処理に移る。このステップST52において、画像生成部130は、操作卓170のパラメタ操作部172からのパラメタ(制御値)を受信する。
【0116】
次に、画像生成部130は、ステップST53において、パラメタ(制御値)が、親ノード直下のノードの順次番号と一致するか否かを判断する。一致するときは、画像生成部130は、ステップST54において、対応する“node_id”(“S”とする)を決める。
【0117】
そして、画像生成部130は、ステップST55において、作業用メモリ131に展開されたCG記述データの構造から、親ノードの直下のノードのうち、“S”以外を、消去あるいは無効化して、レンダリング対象外とする。この状態は、操作卓170のパラメタ操作部172からのパラメタ(制御値)が変更されるまで続く。
【0118】
次に、画像生成部130は、ステップST56において、作業用メモリ131上のデータ構造によって、現在フレーム(フィールド)のCG画像の生成を行う。その後、画像生成部130は、ステップST57において、処理を終了する。
【0119】
(B)構成要素=「仮想カメラ」
構成要素が「仮想カメラ」である場合について説明する。図8において、「Camera」ノード下のノードを、オブジェクト(ポリゴン/仮想物体)に対する操作と同様にして、選択肢を設定する。
【0120】
画像生成部130は、画像生成の際には、調整つまみで選択された番号の仮想カメラを使ってCG画像を生成する。なお、カメラが階層構造となることは稀である。また、レンダリングには通常一つのみが使用されるため、調整つまみを「仮想カメラ」に対応付ける設定を行うだけで、その調整つまみの操作により、CG記述データ中のすべての仮想カメラから一つを選ぶようにしてもよい。カメラ以外の場合も、この方式で選択肢を自動決定するようにしてもよい。
【0121】
「名称」を"Cameras"として、"CameraTop","CameraFront","CameraBack"を選択した場合に生成される要素選択肢リストは、次のような内容になる。
【0122】
名称:Cameras
リスト:
CameraTop
CameraFront
CameraBack
【0123】
この情報に、パラメタ操作部172内の調整つまみの指定“modifier_05”を加えて、XMLの断片で表現したFlavor ファイルの一部は、例えば、次の通りとなる。
【0124】
<modifierid="modifier_05" name="Cameras" type="choice">
<choice>
<item node_id="">0</item> <!-- none -->
<item node_id="CameraTop">1</item>
<item node_id="CameraFront">2</item>
<item node_id="CameraBack">3</item>
</choice>
</modifier>
【0125】
調整つまみでパラメタ(制御値)が「0」とされた場合は、何も選択しないことを、空の文字列""を用いて示しているが、その場合はCG記述データに含まれていたカメラではなく、画像生成部130がデフォルトで設定値を用意している仮想カメラが使用される。なお、ツリー中の"Cameras"のノードを選択し、そのノードを要素選択肢リストに選択肢親ノードとして書き込むことも考えられる。この場合に生成される要素選択肢リストは、次のような内容になる。
【0126】
名称:Selection1
選択肢親ノード:Cameras
【0127】
この情報に、パラメタ操作部172内の調整つまみの指定“modifier_04”を加えて、XMLの断片で表現したFlavor ファイルの一部は、例えば、次の通りとなる。
【0128】
<modifierid="modifier_04" name="Selection1"type="choice">
<choiceparent="Cameras">
</choice>
</modifier>
【0129】
(C)構成要素=「仮想ライト」
構成要素が「仮想ライト」である場合について説明する。図8において、「Light」ノード下のノードに対して、オブジェクト(ポリゴン/仮想物体)に対する操作と同様にして、選択肢を設定する。
【0130】
画像生成部130は、画像生成の際には、調整つまみで選択された番号の仮想ライトを使ってCG画像を生成する。換言すれば、調整つまみで選択された番号の仮想ライト以外の選択肢の仮想ライトを画像生成の処理に含めずに、画像生成する。
【0131】
「名称」を"LightAB"として、"LightA","LightB"を選択した場合に生成される要素選択肢リストは、次のような内容になる。
【0132】
名称:LightAB
リスト:
LightA
LightB
【0133】
この情報に、パラメタ操作部172内の調整つまみの指定“modifier_06”を加えて、XMLの断片で表現したFlavor ファイルの一部は、例えば、次の通りとなる。
【0134】
<modifier id="modifier_06"name="LightAB" type="choice">
<choice>
<item node_id="">0</item> <!-- none -->
<item node_id="LightA">1</item>
<item node_id="LightB">2</item>
</choice>
</modifier>
【0135】
(D)構成要素=「仮想力場」
構成要素が「仮想力場」である場合について説明する。「力場」は、仮想空間中の重力等を定義する(磁力などでも同じ)。この「力場」は、最低限、方向と強さ(加速度)により定義される。磁力のような場合は、発生源(磁石)の位置が指定され、そこから距離の平方根に反比例する力として作用するように、処理される。
【0136】
例えば、戦闘機の空中戦を描いたシーンにおいて、重力の方向(鉛直方向)を二種類定義してCGデータに入れておき、いずれかを選ぶことで、物理シミュレーションによるレンダリング(画像生成)が、違う画像を生成する。CGのアニメーションには、時間軸(タイムライン)上に二点以上のキーフレーム点を定義して、その間を補間して進行させるタイムライン・アニメーションがある。これに対して、初期状態と条件を設定し、時間を進行させると仮想空間がどのように変化するかをシミュレーションさせるのが、物理シミュレーションである。
【0137】
図8において、「Force」ノード下のノードに対して、オブジェクト(ポリゴン/仮想物体)に対する操作と同様にして、選択肢を設定する。画像生成部130は、画像生成の際には、オブジェクトの場合と同様に処理する。この場合、物理シミュレーションで使われるパラメタの変更という意味となる。
【0138】
別のパラメタ(要素選択肢リストからの選択機能とは異なる調整対象パラメタ)として、仮想物体の位置(座標)が設定されている場合、パラメタ操作部172から操作を受け、仮想物体の位置を変更しながら画像生成が行われる。このとき、物理シミュレーションが設定されている場合、パラメタ操作部172による仮想物体の位置などの変更は相対的な作用となるように処理され、その間も時間の進行と共に物理シミュレーションが進行する。例えば、ある仮想物体が落下しながら、操作により移動する、等である。
【0139】
「名称」を"ForceSelect"として、"Gravity","Magnet1"を選択した場合に生成される要素選択肢リストは、次のような内容になる。
【0140】
名称:ForceSelect
リスト:
Gravity
Magnet1
【0141】
この情報に、パラメタ操作部172内の調整つまみの指定“modifier_07”を加えて、XMLの断片で表現したFlavor ファイルの一部は、例えば、次の通りとなる。
【0142】
<modifier id="modifier_07"name="ForceSelect" type="choice">
<choice>
<item node_id="">0</item> <!-- none -->
<item node_id="Gravity">1</item>
<item node_id="Magnet1">2</item>
</choice>
</modifier>
【0143】
(E)構成要素=「仮想風」
構成要素が「仮想風」である場合について説明する。CG記述データに風の定義を複数入れておき、いずれかを選ぶことで、物理シミュレーションによるレンダリング(画像生成)が、違う画像を生成する。
【0144】
図8において、「Wind」ノード下のノードに対して、オブジェクトに対する操作と同様にして、選択肢を設定する。画像生成部130は、画像生成の際には、オブジェクトの場合と同様に処理する。例えば、シーンのレンダリング(画像生成)において、調整つまみを回すことで、途中で風の向きが急に変化するような効果を得ることができる。
【0145】
「名称」を"WindSelect"として、"Wind1","Wind2","Wind3"を選択した場合に生成される要素選択肢リストは、次のような内容になる。
【0146】
名称:WindSelect
リスト:
Wind1
Wind2
Wind3
【0147】
この情報に、パラメタ操作部172内の調整つまみの指定“modifier_08”を加えて、XMLの断片で表現したFlavor ファイルの一部は、例えば、次の通りとなる。
【0148】
<modifier id="modifier_08"name="WindSelect" type="choice">
<choice>
<item node_id="">0</item> <!-- none -->
<item node_id="Wind1">1</item>
<item node_id="Wind2">2</item>
<item node_id="Wind3">3</item>
</choice>
</modifier>
【0149】
[画像処理装置の動作]
図1に示す画像処理装置100におけるCG画像生成に係る動作を簡単に説明する。CG制作部110では、CG制作ソフトウェアにより、所定のCG画像を生成するためのCG記述データが生成される。このようにCG制作部110で生成されたCG記述データは、ネットワーク120を介して、画像生成部130に送られ、記憶部150に記憶される。
【0150】
派生情報編集部190では、CG生成部110で生成されたCG記述データに基づいて、その中の構成要素のうち複数の構成要素を指定する要素選択肢リストが生成される。この要素選択肢リストで指定される複数の構成要素は、例えば、同じ種類の構成要素とされる。構成要素の種類には、例えば、仮想物体(CGオブジェクト)、仮想カメラ、仮想ライト、仮想力場、仮想風などがある。
【0151】
派生情報編集部190では、CG生成部110で生成され複数のCG記述データのそれぞれに対して、任意の数の要素選択肢リスト(を含む任意の数のFlavorファイル)が生成される。このように派生情報編集部190で生成された要素選択肢リスト(ファイル)は、ネットワーク120を介して、画像生成部130に送られ、記憶部150に記憶される。
【0152】
スイッチャ操作卓170のロード指示部171では、ユーザの操作に応じて、使用すべき要素選択肢リスト(ファイル)の指示が、ネットワーク120を介して、画像生成部130に対して行われる。これにより、画像生成部130では、CG画像を生成するためのロード処理が行われる。すなわち、画像生成部130では、Flavorファイルにより指示された所定数の要素選択肢リストが記憶部150から読み出され、さらに、この要素選択肢リストに対応したCG記述データが記憶部から読み出される。そして、読み出されたCG記述データは、画像を生成するために、作業用メモリ131上に、展開される。
【0153】
画像生成部130では、上述のロード処理の後に、画像生成処理が行われる。画像生成部130では、作業用メモリ131の内容に基づいてCG画像が生成される。パラメタ操作部172では、ユーザの調整つまみの操作に応じて、要素選択肢リストにより指定される複数の構成要素から所定の構成要素を選択するためのパラメタ(制御値)が決定され、ネットワーク120を介して、画像生成部130に送信される。
【0154】
画像生成部130では、このパラメタ(制御値)に基づいて、読み出した要素選択肢リストにより指定される複数の構成要素から所定の構成要素が選択される。そして、画像生成部130では、読み出した要素選択肢リストにより指定される複数の構成要素のうち、選択された構成要素以外の構成要素について、作業用メモリ131において、消去あるいは無効化され、レンダリング対象外とされる。
【0155】
画像生成部130で生成されるCG画像は、基本的には、作業用メモリ131上に展開されたCG記述データに基づくものとなる。しかし、作業用メモリ131の内容は、要素選択肢リストにより指定される複数の構成要素から選択される構成要素に応じて変化したものとなる。すなわち、画像生成部130で生成されるCG画像は、操作卓170のパラメタ操作部172から送られてくるパラメタ(制御値)に応じて、その内容が変更される。この場合、複数の要素選択リストが並行して使用されることで、CG画像の内容変更のパターンは多くなる。
【0156】
図16は、CG画像の内容変更パターンの一例を示している。この例は、要素選択肢リストに、同一の位置に描画される「1」〜「4」の数字オブジェクトが含まれている場合の例である。要素選択肢リストによる選択を使用せずに、CG記述データに基づいて描画した場合には、図16(a)に示すように、「1」〜「4」の数字オブジェクトが同一位置に重なった状態で描画されることとなる。
【0157】
要素選択肢リストによる選択を使用した場合には、例えば、図16(b)〜(f)に示すように、描画させることが可能となる。例えば、図16(b)〜(e)は、パラメタ操作部172の調整つまみによるパラメタ(制御値)で、それぞれ、「1」〜「4」の数字オブジェクトが選択された場合の描画例である。また、図16(f)は、パラメタ操作部172の調整つまみによるパラメタ(制御値)で、「1」〜「4」の数字オブジェクトのいずれも選択されなかった場合の描画例である。
【0158】
上述したように、図1に示す画像処理装置100においては、画像生成部130では、CG記述データに基づいてCG画像を生成する際に、要素選択肢リストが用いられて、CG画像の一部が変更される。すなわち、要素選択肢リストにより指定される構成要素のうち、パラメタ操作部172からのパラメタ(制御値)により選択された所定の構成要素以外の構成要素がCG記述データから取り除かれて、CG画像が生成される。そのため、ユーザ操作により、CG画像の内容を容易に変更でき、運用状況に合わせた画像生成可能となる。
【0159】
本技術においては、「制作されたCG」について、限定された一部を簡易な操作環境で置換する(選択肢から選ぶ)効果として、利用できる。また、本技術においては、「CGの制作」、「仕込み:選択肢の決定」、「運用:画像生成」の三段階の作業に分けて、運用時の操作性と画像の付加価値を最大限に高めることができる。
【0160】
<2.変形例>
なお、上述実施の形態においては、要素選択肢リストにより指定される複数の構成要素から、操作卓172のパラメタ操作部172を構成する調整つまみを操作してパラメタ(制御値)を決定することで、所定の構成要素を選択するように説明した。しかし、操作卓172のスイッチャの入力選択操作部のボタン列を利用することで、要素選択肢リストにより指定される複数の構成要素から所定の構成要素を選択する構成も考えられる。
【0161】
スイッチャには、入力画像を切り換える手段であるクロスポイント(スイッチ)があり、択一式の押しボタンの列であるクロスポイントボタンにより操作を受ける。図1に示すように、スイッチャシステムにおいては、画像生成部130の出力は、複数の入力バスのうちの特定の入力バスで受けるようにされる。スイッチャのあるバスのクロスポイントボタンでその入力を選択すると、CG画像がそのバスから先の回路、例えば画像合成部などへ供給される。
【0162】
このクロスポイントボタンを、要素選択肢リストにより指定される複数の構成要素から所定の構成要素を選択するための選択操作部として機能させることができる。このクロスポイントボタンは、図示は省略するが、スイッチャ操作卓170に配置されている。通常、例えば、クロスポイントボタンの1番から20番が、スイッチャ入力画像信号の1番から20番に対応するように設定されている。
【0163】
これに対して、選択操作部として機能させるために、画像生成部130の出力が、例えば、スイッチャ入力画像信号の5番にきている場合に、クロスポイントボタンの5番から9番がスイッチャ入力画像信号の5番に対応するように設定する。そして、クロスポイントボタンの5番から9番が、選択操作部としても機能するようにする。
【0164】
【表1】

【0165】
すなわち、表1に示すように、クロスポイントボタンが押下され、それに対応する「modifier値」がある場合、操作卓170は、その「modifier値」を、パラメタとして画像生成部130に送信し、所定の構成要素を選択する制御に使用する。
【0166】
これにより、従来、異なる画像(信号源)をクロスポイントボタンで選択していたのと同じ操作感覚で、元は同じCG記述データであっても、異なる画像となっている複数の画像信号を選択することができる。従来の運用操作を変えることなく、習熟した操作でそのままCG画像を選択できる。
【0167】
好ましくは、「modifier値」を画像生成部130に送ってからその出力画像に反映されるまでに遅延があることを考慮し、その遅延の後に該当する入力画像信号(上述例では5番)をクロスポイント回路が選択するように制御するとよい。それ以外の入力画像信号を選んでいた状態から、操作した際に、「modifier値」が反映される前の画像が一瞬出てしまうことを防止できる。
【0168】
あるいは、別の例として、M/Eバンクのキーヤーの一つについて、CG画像を専用に扱うように設定してもよい。この場合、例えば、そのキーヤーの入力バスのクロスポイントボタン列にのみ、入力画像信号を選択する機能を解除して、選択操作部として「modifier値」を操作入力する機能を持たせるようにされる。
【0169】
キーヤーの設定として、クロスポイントボタンについて通常の動作(従来の動作)をするか、画像生成部130の出力を受けている特定の入力画像信号を選択して、クロスポイントボタンが「modifier値」を指定する動作をするか、を二択する、設定を設ける。
【0170】
そして、後者の動作を設定した場合にはさらに、例えば、表2に示すように、各クロスポイントボタンがどのような「modifier値」に対応するかを表示あるいは更に設定させる。「modifier値」の取り得る範囲は場合により(Flavor の内容により)異なるが、範囲を超える値のボタンの操作による制御については、無視する制御とすればよい。
【0171】
【表2】

【0172】
また、上述していないが、要素選択肢リストの内容は、CGの制作時にあらかじめ意図しておくこともできる。例えば、一桁の数字の形状である仮想物体を、制作時に0から9まですべて同じ位置に配置しておき、これらから択一するように要素選択肢リストを作る等すれば、一桁の任意の数字のCGとなる。それを複数組み合わせれば、複数桁の数字のCG画像が得られる。
【0173】
以下のFlavor ファイルの一部においては、"Char1"から"Char0"が、一の位の位置に配置された1,...,9,0 それぞれの形状ポリゴンに相当する。また、"Char10"から"Char00"が、十の位の位置に配置された1,...,9,0 それぞれの形状ポリゴンに相当する。
【0174】
<modifierid="modifier_01" name="Digit1" type="choice">
<choice>
<item node_id="">0</item> <!-- none -->
<item node_id="Char1">1</item>
<item node_id="Char2">2</item>
<item node_id="Char3">3</item>
<item node_id="Char4">4</item>
<item node_id="Char5">5</item>
<item node_id="Char6">6</item>
<item node_id="Char7">7</item>
<item node_id="Char8">8</item>
<item node_id="Char9">9</item>
<itemnode_id="Char0">10</item>
</choice>
</modifier>
<modifierid="modifier_02" name="Digit10" type="choice">
<choice>
<item node_id="">0</item> <!-- none -->
<item node_id="Char10">1</item>
<item node_id="Char20">2</item>
<item node_id="Char30">3</item>
<item node_id="Char40">4</item>
<item node_id="Char50">5</item>
<item node_id="Char60">6</item>
<item node_id="Char70">7</item>
<item node_id="Char80">8</item>
<item node_id="Char90">9</item>
<item node_id="Char00">10</item>
</choice>
</modifier>
【0175】
あるいは、CGの制作時に意図された選択でなくてもよい。例えば、三台の自動車が含まれたCG作品を得た際に、そのうちの一つのみを画像にするような操作が可能になる。(自動車は複雑な形状であるため多数のポリゴンの組み合わせであるが、自動車一台の単位でノード(グループ)とされるのが普通であるので、本技術により容易に選択肢とできる。
【0176】
また、上述実施の形態においては、要素選択肢リストから所定の構成要素を択一する場合について説明している。しかし、要素選択肢リストからの択一ではなく、複数を選択して描画に使用するようにしてもよい。
【0177】
例えば、10個のライト(光源)がCG記述データに含まれていて、このうち1個が太陽光に該当するもので、残りの9個が人工のライト(街頭や自動車のヘッドライト)を表現するものであるとする。要素選択肢リストに、人工のライトのうち、5個を含ませる。そして、選択操作部として5個のオンオフスイッチを設けて、操作を受けるようにする。この結果、5個の人工のライトから任意の数を描画に含ませることができる。
【0178】
選択肢リストに何を入れるかは「仕込み作業」として行い、CG画像を使用する生放送中などには、選択操作部を操作してリアルタイムに画像を変化させることができる。ライト以外の場合も同様である。
【0179】
なお、カメラは通常、一つの画像について一つしか使用されないので、複数選択されることはあり得ない。ただし、カメラが複数選択された場合に、それぞれのカメラで得られた、つまり、それぞれのカメラに対してレンダリングされた画像を重畳して一つの画像として出力するような構造にした場合は、カメラについて複数選択を可能とすることもできる。
【0180】
なお、本技術は、以下のような構成も取ることができる。
(1)コンピュータグラフィクス記述データの中の構成要素のうち複数の構成要素を指定する要素選択肢リストを記憶するリスト記憶部と、
上記要素選択肢リストから所定の構成要素を選択する操作を受ける選択操作部と、
上記コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部とを備え、
上記画像生成部は、
上記リスト記憶部が記憶している上記要素選択肢リストにより指定される複数の構成要素のうち上記選択操作部により選択された上記所定の構成要素以外の構成要素を上記コンピュータグラフィクス記述データから取り除いてコンピュータグラフィクス画像を生成する
画像処理装置。
(2)上記画像生成部は、
上記コンピュータグラフィクス記述データが画像の生成に使用するために展開される作業用記憶部と、
上記記憶部が記憶している上記要素選択肢リストにより指定される複数の構成要素のうち上記選択操作部により選択された上記所定の構成要素以外の構成要素について、上記作業用記憶部において消去または無効化する更新制御部とを有し、
上記作業用記憶部の内容に基づいてコンピュータグラフィクス画像を生成する
前記(1)に記載の画像処理装置。
(3)上記構成要素は、仮想物体である
前記(1)または(2)に記載の画像処理装置。
(4)上記構成要素は、仮想カメラである
前記(1)または(2)に記載の画像処理装置。
(5)上記構成要素は、仮想ライトである
前記(1)または(2)に記載の画像処理装置。
(6)上記構成要素は、仮想力場である
前記(1)または(2)に記載の画像処理装置。
(7)上記構成要素は、仮想風である
前記(1)または(2)に記載の画像処理装置。
(8)上記コンピュータグラフィクス記述データは上記構成要素をツリー構造で持ち、
上記ツリー構造中のノードを指定する操作を受けて、該ノードの下位に存在する複数の構成要素を含む上記要素選択肢リストを生成するリスト生成部をさらに備える
前記(1)から(7)のいずれかに記載の画像処理装置。
(9)コンピュータグラフィクス記述データの中の構成要素のうち複数の構成要素を指定する要素選択肢リストから所定の構成要素を選択する構成要素選択ステップと、
上記構成要素選択ステップにより選択された上記所定の構成要素以外の構成要素を上記コンピュータグラフィクス記述データから取り除いてコンピュータグラフィクス画像を生成する画像生成ステップとを備える
画像生成方法。
(10)コンピュータを、
コンピュータグラフィクス記述データの中の構成要素のうち複数の構成要素を指定する要素選択肢リストを記憶するリスト記憶手段と、
上記リスト記憶手段が記憶している上記要素選択肢リストにより指定される複数の構成要素のうち、選択された所定の構成要素以外の構成要素を上記コンピュータグラフィクス記述データから取り除いてコンピュータグラフィクス画像を生成する画像生成手段と
して機能させるプログラム。
(11)スイッチャと、
コンピュータグラフィクス記述データの中の構成要素のうち複数の構成要素を指定する要素選択肢リストを記憶するリスト記憶部と、
上記コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部とを備え、
上記スイッチャの複数の入力バスのうち特定の入力バスは上記画像生成部の出力を受け、
上記スイッチャの入力選択操作部のボタン列は、上記特定の入力バスを共通に選択し、それぞれ上記要素選択肢リストにより指定される複数の構成要素に対応した複数のボタンを含み、
上記画像生成部は、
上記複数のボタンのいずれかの押し下げがあるとき、上記リスト記憶部が記憶している上記要素選択肢リストにより指定される構成要素のうち、該押し下げられたボタンに対応した所定の構成要素以外の構成要素を上記コンピュータグラフィクス記述データから取り除いてコンピュータグラフィクス画像を生成する
画像処理装置。
【符号の説明】
【0181】
100・・・画像処理装置
110・・・CG制作部
120・・・ネットワーク
130・・・画像生成部
130a・・・プログラム出力端子
140・・・画像マッピング部
150・・・記憶部
160・・・マトリクススイッチ
170・・・スイッチャ操作卓
171・・・ロード指示部
172・・・パラメタ操作部
180・・・画像合成部
190・・・派生情報編集部

【特許請求の範囲】
【請求項1】
コンピュータグラフィクス記述データの中の構成要素のうち複数の構成要素を指定する要素選択肢リストを記憶するリスト記憶部と、
上記要素選択肢リストから所定の構成要素を選択する操作を受ける選択操作部と、
上記コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部とを備え、
上記画像生成部は、
上記リスト記憶部が記憶している上記要素選択肢リストにより指定される複数の構成要素のうち上記選択操作部により選択された上記所定の構成要素以外の構成要素を上記コンピュータグラフィクス記述データから取り除いてコンピュータグラフィクス画像を生成する
画像処理装置。
【請求項2】
上記画像生成部は、
上記コンピュータグラフィクス記述データが画像の生成に使用するために展開される作業用記憶部と、
上記記憶部が記憶している上記要素選択肢リストにより指定される複数の構成要素のうち上記選択操作部により選択された上記所定の構成要素以外の構成要素について、上記作業用記憶部において消去または無効化する更新制御部とを有し、
上記作業用記憶部の内容に基づいてコンピュータグラフィクス画像を生成する
請求項1に記載の画像処理装置。
【請求項3】
上記構成要素は、仮想物体である
請求項1に記載の画像処理装置。
【請求項4】
上記構成要素は、仮想カメラである
請求項1に記載の画像処理装置。
【請求項5】
上記構成要素は、仮想ライトである
請求項1に記載の画像処理装置。
【請求項6】
上記構成要素は、仮想力場である
請求項1に記載の画像処理装置。
【請求項7】
上記構成要素は、仮想風である
請求項1に記載の画像処理装置。
【請求項8】
上記コンピュータグラフィクス記述データは上記構成要素をツリー構造で持ち、
上記ツリー構造中のノードを指定する操作を受けて、該ノードの下位に存在する複数の構成要素を含む上記要素選択肢リストを生成するリスト生成部をさらに備える
請求項1に記載の画像処理装置。
【請求項9】
コンピュータグラフィクス記述データの中の構成要素のうち複数の構成要素を指定する要素選択肢リストから所定の構成要素を選択する構成要素選択ステップと、
上記構成要素選択ステップにより選択された上記所定の構成要素以外の構成要素を上記コンピュータグラフィクス記述データから取り除いてコンピュータグラフィクス画像を生成する画像生成ステップとを備える
画像生成方法。
【請求項10】
コンピュータを、
コンピュータグラフィクス記述データの中の構成要素のうち複数の構成要素を指定する要素選択肢リストを記憶するリスト記憶手段と、
上記リスト記憶手段が記憶している上記要素選択肢リストにより指定される複数の構成要素のうち、選択された所定の構成要素以外の構成要素を上記コンピュータグラフィクス記述データから取り除いてコンピュータグラフィクス画像を生成する画像生成手段と
して機能させるプログラム。
【請求項11】
スイッチャと、
コンピュータグラフィクス記述データの中の構成要素のうち複数の構成要素を指定する要素選択肢リストを記憶するリスト記憶部と、
上記コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部とを備え、
上記スイッチャの複数の入力バスのうち特定の入力バスは上記画像生成部の出力を受け、
上記スイッチャの入力選択操作部のボタン列は、上記特定の入力バスを共通に選択し、それぞれ上記要素選択肢リストにより指定される複数の構成要素に対応した複数のボタンを含み、
上記画像生成部は、
上記複数のボタンのいずれかの押し下げがあるとき、上記リスト記憶部が記憶している上記要素選択肢リストにより指定される構成要素のうち、該押し下げられたボタンに対応した所定の構成要素以外の構成要素を上記コンピュータグラフィクス記述データから取り除いてコンピュータグラフィクス画像を生成する
画像処理装置。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図11】
image rotate

【図12】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図13】
image rotate


【公開番号】特開2012−221122(P2012−221122A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2011−84847(P2011−84847)
【出願日】平成23年4月6日(2011.4.6)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】