ＣＧキャラクタ制作装置及びＣＧキャラクタ制作プログラム
【課題】ユーザが簡単に表情のあるＣＧキャラクタを制作することができる。
【解決手段】テクスチャ画像データを用いてＣＧキャラクタモデルを制作するＣＧキャラクタ制作装置において、前記ＣＧキャラクタモデルとなる人物の目及び口の開閉状態におけるそれぞれの画像を取得する画像取得手段と、前記画像取得手段により得られる画像を前記テクスチャ画像データとし、前記ＣＧキャラクタモデルの頭部として設定された形状の面データに貼り付ける面データ貼り付け手段と、前記面データ貼り付け手段により前記面データに貼り付けられた前記テクスチャ画像データを前記ＣＧキャラクタのセリフ又は動作に対応させて変更するテクスチャ変更手段とを有することにより、上記課題を解決する。
【解決手段】テクスチャ画像データを用いてＣＧキャラクタモデルを制作するＣＧキャラクタ制作装置において、前記ＣＧキャラクタモデルとなる人物の目及び口の開閉状態におけるそれぞれの画像を取得する画像取得手段と、前記画像取得手段により得られる画像を前記テクスチャ画像データとし、前記ＣＧキャラクタモデルの頭部として設定された形状の面データに貼り付ける面データ貼り付け手段と、前記面データ貼り付け手段により前記面データに貼り付けられた前記テクスチャ画像データを前記ＣＧキャラクタのセリフ又は動作に対応させて変更するテクスチャ変更手段とを有することにより、上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＧキャラクタ制作装置及びＣＧキャラクタ制作プログラムに係り、特にユーザが簡単に表情のあるＣＧキャラクタを制作するためのＣＧキャラクタ制作装置及びＣＧキャラクタ制作プログラムに関する。
【背景技術】
【０００２】
従来、簡単な台本の記述によりＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）をベースとする番組等の映像コンテンツを自動的に制作する技術が存在する（例えば、特許文献１参照）。このような技術では、例えば、台本をＡＰＥ（Ａｕｔｏｍａｔｉｃ Ｐｒｏｇｒａｍ Ｅｎｇｉｎｅ）と呼ばれる演出付加ユニットに入力するだけで、台本の記述に対応させて予め蓄積された特定のＣＧキャラクタ等に所定の動作やセリフを喋らせるような映像コンテンツを生成するための詳細な情報（例えば、ＴＶＭＬ（ＴＶ ｐｒｏｇｒａｍ Ｍａｋｉｎｇ Ｌａｎｇｕａｇｅ）スクリプト等）を生成することができる。
【０００３】
また従来では、上述したＴＶＭＬスクリプトを映像コンテンツ生成エンジン（以下、ＴＶＭＬプレイヤー（Ｐｌａｙｅｒ）という）等の再生手段に入力することで、台本にあった映像コンテンツを生成し、生成したコンテンツを画面等に出力してユーザに提示している。このような仕組みにより、映像コンテンツ制作の経験や技術、ＣＧに関する技術や知識がなくても、誰でも簡単に映像コンテンツを制作することができるようになっている。
【０００４】
したがって、テレビ番組のような映像コンテンツ制作全般に使うことのできるスクリプトで、ＣＧキャラクタの喋りや動作の他、照明、カメラ、セット、小道具、スーパーインポーズ、ムービー、ＢＧＭ等、テレビ番組のスタジオ制作に必要な機能を全て記述することができる。
【０００５】
また、一般に映像コンテンツに登場するＣＧキャラクタについては、そのＣＧキャラクタの動作、例えば口の開閉情報等を詳細に指定しなくても、セリフを入力するだけで自動的に口パクしたり、外部からのリアルタイムの音声入力に応じてキャラクタの口を開閉することができる。更に、従来技術では、瞬きや体の揺れについても、詳細な記述をしなくても、適当なタイミングで瞬き、揺れを発生している。
【０００６】
なお、従来における映像コンテンツに登場するＣＧキャラクタの制作は、例えば形状データとテクスチャデータ、骨データ等から構成され、骨を動かすとそれに応じて形状が変化する（例えば、特許文献２参照）。また、これらの形状データは、複数の頂点で囲まれた面の情報とそこにマッピングされるテクスチャ情報を持っており、形状の変形は、頂点の移動で実現する。したがって、ＣＧキャラクタが動くアニメーションでは、手足や顔の表情、目、口の動きを生成し、それに合わせて形状を変化させる必要がある。したがって、特に目の瞬きや口を変化させるには、多くの頂点データを使って顔形状を細かく作成し、瞼や口周辺の頂点データを制御する必要がある（例えば、非特許文献１参照）。
【０００７】
ここで、図１は、従来技術におけるＣＧキャラクタの制作手法を説明するための図である。なお、図１（ａ）は、口を閉じた状態のＣＧキャラクタの顔を示し、図１（ｂ）は、口を開いた状態のＣＧキャラクタの顔を示し、図１（ｃ）は、目を閉じた状態のＣＧキャラクタの目周辺の拡大図を示し、図１（ｄ）は、目を開いた状態のＣＧキャラクタの目周辺の拡大図を示している。
【０００８】
図１（ａ）〜図１（ｄ）に示すように、ＣＧキャラクタは、各形状に対応したポリゴンの集合からなり、三角形の集合として表される。これらの三角形のポリゴンは、３つの頂点で定義され、細かな変形を可能にするには、より小さなポリゴンを数多く必要とし、例えば図１（ａ），図１（ｂ）に示すような口の開閉時や図１（ｃ），図１（ｄ）に示すような目の開閉時には、目周辺の多くの頂点を移動させる必要があり、これは口の開閉時にも同様である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−２５７４５０号公報
【特許文献２】特開平９−３３０４２４号公報
【非特許文献】
【００１０】
【非特許文献１】本城なお著、「Ｍａｙａ Ｂｉｇｉｎｎｅｒｓ」、第１０章キャラクタ作成、株式会社ビー・エヌ・エヌ新社、２００７年７月２０日初版発行
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述したように、従来のＣＧキャラクタ制作において、自然な目の瞬きや口の変化を実現するには、多くの頂点を移動したり、細かいポリゴンの調整が必要となるため、熟練した技術と長時間の準備作業が必要となる。そのため、上述したような技術のない一般のユーザにはＣＧキャラクタを制作することは非常に困難であり、またＣＧキャラクタの制作は上述した専門的な知識が必要であったため、ある特定の専門家に委ねられていた。
【００１２】
つまり、一般ユーザや非専門のユーザはＣＧキャラクタを制作することができず、また専門家が作ったＣＧキャラクタを自分用にカスタマイズすることも困難であった。
【００１３】
本発明は、上述した問題点に鑑みなされたものであり、ユーザが簡単に表情のあるＣＧキャラクタを制作するためのＣＧキャラクタ制作装置及びＣＧキャラクタ制作プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１５】
請求項１に記載された発明は、テクスチャ画像データを用いてＣＧキャラクタモデルを制作するＣＧキャラクタ制作装置において、前記ＣＧキャラクタモデルとなる人物の目及び口の開閉状態におけるそれぞれの画像を取得する画像取得手段と、前記画像取得手段により得られる画像を前記テクスチャ画像データとし、前記ＣＧキャラクタモデルの頭部として設定された形状の面データに貼り付ける面データ貼り付け手段と、前記面データ貼り付け手段により前記面データに貼り付けられた前記テクスチャ画像データを前記ＣＧキャラクタのセリフ又は動作に対応させて変更するテクスチャ変更手段とを有することを特徴とする。
【００１６】
請求項１記載の発明によれば、ユーザが簡単に表情のあるＣＧキャラクタを制作することができる。
【００１７】
請求項２に記載された発明は、前記テクスチャ変更手段は、前記画像取得手段により得られた画像を変形させて異なる顔の表情を生成し、生成した変形画像を用いて前記ＣＧキャラクタのセリフに対応させた変更を行うことを特徴とする。
【００１８】
請求項３に記載された発明は、前記画像取得手段により取得される画像が同一の顔サイズとなるように、撮影時の顔の位置を固定させるための案内画面を生成する画面生成手段を有することを特徴とする。
【００１９】
請求項４に記載された発明は、前記テクスチャ変更手段は、前記面データに貼り付ける前記テクスチャ画像データを切り替える変更条件を定義したＣＧキャラクタ定義ファイルを生成することを特徴とする。
【００２０】
請求項５に記載された発明は、前記テクスチャ変更手段により得られた少なくとも１つのＣＧキャラクタを用いた番組を制作する番組制作手段を有することを特徴とする。
【００２１】
請求項６に記載された発明は、コンピュータを、請求項１乃至６の何れか１項に記載のＣＧキャラクタ制作装置として機能させることを特徴とするＣＧキャラクタ制作プログラムである。
【００２２】
請求項６記載の発明によれば、ユーザが簡単に表情のあるＣＧキャラクタを制作することができる。また、実行プログラムをコンピュータにインストールすることにより、容易にＣＧキャラクタ制作処理を実現することができる。
【発明の効果】
【００２３】
本発明によれば、ユーザが簡単に表情のあるＣＧキャラクタを制作することができる。
【図面の簡単な説明】
【００２４】
【図１】従来技術におけるＣＧキャラクタの制作手法を説明するための図である。
【図２】本実施形態におけるＣＧキャラクタ制作装置の機能構成の一例を示す図である。
【図３】本実施形態におけるテクスチャ貼り付けの一例を示す図である。
【図４】本実施形態におけるテクスチャ変更の他の実施例を説明するための図である。
【図５】本実施形態におけるＣＧキャラクタの定義内容について説明するための図である。
【図６】本実施形態におけるＣＧキャラクタの口部分の制御内容の一例を示す図である。
【図７】本実施形態におけるメニュー画面の一例を示す図である。
【図８】顔写真を撮影する際に表示される画面の一例を示す図である。
【図９】本実施形態における演出設定画面の一例を示す図である。
【図１０】本実施形態における映像選択画面の一例を示す図である。
【図１１】セリフ設定画面の一例を示す図である。
【図１２】本実施形態における音声入力画面の一例を示す図である。
【図１３】本実施形態における番組再生画面の一例を示す図である。
【図１４】本実施形態におけるＣＧキャラクタ制作処理手順の一例を示すフローチャートである。
【図１５】本実施形態における番組制作処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２５】
＜本発明について＞
本発明は、例えば番組等の映像コンテンツに登場（出演）するＣＧキャラクタの制作において、特に顔の制作に対し、口の開閉、目の開閉を示す複数の画像を用意し、用意した画像を所定の条件により切り替えることで、少ないポリゴンで構成される簡易な顔形状を作成する。
【００２６】
このように構成することで、詳細な形状変形を行わないため、例えば立方体や球等、簡単な形状による頭部モデルを制作することができるため、一般ユーザでも簡易なＣＧツールを使って簡単にＣＧキャラクタを制作することができる。また、画像は作画してもよいが、カメラ等の撮像手段により撮影された写真を用いることにより、リアルでユーザにカスタマイズされたＣＧキャラクタを制作することができる。つまり、一般ユーザが用意するのは、上述した内容のものだけでよいため、簡便にカスタマイズしたキャラクタを制作することができる。
【００２７】
以下に、上述したような特徴を有する本発明におけるＣＧキャラクタ制作装置及びＣＧキャラクタ制作プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００２８】
＜ＣＧキャラクタ制作装置：概略構成例＞
図２は、本実施形態におけるＣＧキャラクタ制作装置の機能構成の一例を示す図である。図２に示すＣＧキャラクタ制作装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、画像取得手段１４と、面データ貼り付け手段１５と、テクスチャ変更手段１６と、番組制作手段１７と、再生手段１８と、画面生成手段１９と、送受信手段２０と、制御手段２１とを有するよう構成されている。
【００２９】
入力手段１１は、例えば、ＣＧキャラクタ制作装置１０がＰＣ等の汎用のコンピュータであれば、キーボード（Ｋｅｙｂｏａｒｄ）やゲームパッド、マウス等の各種コントローラ又は専用の操作パネル、マイク等の音声入力デバイス等からなり、ユーザ等からの入力等により本実施形態における各構成の実行指示（画像取得指示、面データ貼り付け指示、テクスチャ変更指示、番組制作指示、再生指示、画面生成指示、送受信指示）等の入力や、ＣＧキャラクタやカメラ等のオブジェクトに対する動作の入力（操作内容）を受け付ける。
【００３０】
出力手段１２は、入力手段１１により入力された指示内容や、各指示内容に基づいて制作されるＣＧキャラクタ、ＣＧキャラクタや番組を制作するための各種設定等を行わせるための画面、実行経過や実行結果、エラー情報等の各種情報を表示出力したり、音声出力を行う。なお、出力手段１２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。
【００３１】
蓄積手段１３は、本実施形態におけるＣＧキャラクタ制作を実行するための各種プログラムや、画像取得手段１４において取得された画像、面データ貼り付け手段１５により得られる貼り付け結果、テクスチャ変更手段１６により得られるテクスチャ変更における各種パラメータや変更された結果、再生手段１８における再生結果、画面生成手段１９により生成された設定条件や、設定された結果、送受信手段２０にて送受信される各種情報等のデータを蓄積する。
【００３２】
また、蓄積手段１３は、上述した各種データを送受信手段２０により通信ネットワーク等に接続された外部装置等から取得することもできる。また、蓄積手段１３に蓄積された各種データは、必要に応じて適宜読み出すことができ、また書き込みや削除等を行うこともできる。
【００３３】
画像取得手段１４は、ＣＧキャラクタの顔となる画像を取得する。具体的には、例えば、ＣＧキャラクタ制作装置１０の外部に設けられたカメラ等の撮像手段２２により得られる人物の顔画像等を取得する。なお、取得する画像は、ユーザ本人の画像でもよく、例えば芸能人等の他人であってもよい。
【００３４】
なお、画像取得手段１４により取得される画像は、例えば目を閉じた状態の画像、口を開けた状態の画像を含む複数のテクスチャ画像を取得する。具体的には、例えば、顔画像において、目及び口を閉じている画像及び目及び口を開いている画像の２枚の画像を取得する。なお、取得する２枚の画像は目の開いているものと閉じているもの、口が開いているものと閉じているものが２枚の画像で撮影できれば、口及び目の開閉の組み合わせは、どちらでもよい。
【００３５】
また、本実施形態では、画像の切り替え時に差がでないように、上述した２枚の画像の顔の大きさは同一であることが好ましいが、必要に応じて一方の顔画像を拡大若しくは縮小して同一の顔サイズに調整してもよい。
【００３６】
これにより、必要な画像を簡単に取得することができる。なお、画像取得手段１４は、ユーザ等の人物のそのものの顔画像を取得してもよく、犬や猫等の動物であってもよく、更にアニメ画像であってもよい。なお、画像は、作画してもよいが、写真を使うとよりリアルでユーザにカスタマイズされたキャラクタを制作できる。
【００３７】
ここで、撮像手段２２は、例えば既存のデジタルカメラ等を用いることができる。また、画像取得手段１４は、撮像手段２２等により取得した画像を蓄積手段１３等に蓄積しておくことができる。
【００３８】
面データ貼り付け手段１５は、画像取得手段１４から得られた画像に対して、予め設定されたＣＧキャラクタの面データに貼り付けを行う。具体的には、面データ貼り付け手段１５は、少ないポリゴンで構成される簡易な顔形状を作成する。また、面データ貼り付け手段１５は、画像のどの部分をどのポリゴンにマッピング（貼り付け）するかの情報を管理する。なお、面データ貼り付け手段１５における具体的な内容については後述する。
【００３９】
テクスチャ変更手段１６は、ＣＧキャラクタを表示し、口の開閉、目の開閉のタイミングに応じて、画像取得手段１４から得られた画像を用いてＣＧキャラクタの顔の貼り付ける画像を切り替える。また、テクスチャ変更手段１６は、ＣＧキャラクタの目を予め設定される目の瞬き等の間隔により目の開閉のテクスチャ画像の変更を制御する。また、テクスチャ変更手段１６は、ＣＧキャラクタの喋りに応じて口の開閉のテクスチャ画像の変更を制御する。
【００４０】
つまり、本実施形態では、画像の切り替えだけで顔の表情や動作を表現し、頭部の形状変形等は行わない。そのため、頭部モデルの形状を例えば立方体や球等の簡単な形状で制作することができる。また、テクスチャ変更手段１６は、例えば、一般ユーザでも簡易なＣＧツール等を用いて変更することができる。したがって、本実施形態では、一般ユーザが用意するのは、上記の切り替え用の画像だけでよく、簡便にカスタマイズしたキャラクタを制作できる。
【００４１】
更に、テクスチャ変更手段１６は、上述した画像の変更情報をＣＧキャラクタに反映させるためのＣＧキャラクタ定義ファイルを生成する。なお、ＣＧキャラクタ定義ファイルの詳細については後述する。
【００４２】
番組制作手段１７は、面データ貼り付け手段１５やテクスチャ変更手段１６により得られる少なくとも１つのＣＧキャラクタを用いて番組を制作する機能を有する。具体的には、番組制作手段１７は、演出内容や番組に用いる映像、ＣＧキャラクタのセリフ、音声等を設定し、設定された内容に基づいて本実施形態において制作されたＣＧキャラクタを出演させた番組を制作する。
【００４３】
なお、番組制作には、例えばＴＶＭＬ（ＴＶ ｐｒｏｇｒａｍ Ｍａｋｉｎｇ Ｌａｎｇｕａｇｅ）等を用いることができる。ＴＶＭＬとは、簡単な台本の記述によりＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）をベースとする番組等の映像コンテンツを自動的に制作する技術であり、台本をＡＰＥ（Ａｕｔｏｍａｔｉｃ Ｐｒｏｇｒａｍ Ｅｎｇｉｎｅ）と呼ばれる演出付加ユニットに入力するだけで、台本の記述に対応させて映像コンテンツを生成するための詳細な情報（例えば、ＴＶＭＬスクリプト等）を生成することができる。また、ＴＶＭＬは、テレビ番組を制作するためのスクリプトベース記述言語であるため、番組制作手段１７は、例えば、入力テキストとして「こんにちは」という文字がＡＰＥに入力させることで、ＡＰＥが文字列解析処理等を行い、出力テキストとして、「ｃｈａｒａｃｔｅｒ：ｔａｌｋ（ｎａｍｅ＝ＣｈａｒａｃｔｅｒＡ，ｔｅｘｔ＝"こんにちは"）」というＴＶＭＬスクリプトを出力することができる。
【００４４】
再生手段１８は、制作されたＣＧキャラクタを、実際にＴＶＭＬスクリプトを用いて再生し、映像又は音声等を出力手段１２により出力することで、ユーザにそのＣＧキャラクタの表情や動作を確認することができる。
【００４５】
なお、再生手段１８は、例えばＴＶＭＬプレイヤーを用いることができる。ＴＶＭＬプレイヤーとは、ＴＶＭＬスクリプトを解釈してリアルタイムＣＧ、音声合成等を用いて番組等のコンテンツを生成し、再生出力するソフトウェアである。
【００４６】
画面生成手段１９は、本実施形態におけるＣＧキャラクタ制作に必要な各種画面を生成する。例えば、本実施形態におけるＣＧキャラクタ制作の実行画面や、画像取得処理に関する画面、面データ貼り付けに関する画面、テクスチャ変更に関する画面、再生手段１８により再生された画面、ＣＧキャラクタ制作装置１０における実行経過や実行結果等の各種画面を所定のレイアウトで出力されるように生成する。なお、画面生成手段１９により生成した画面は、出力手段１２により映像及び／又は画面に対する使用案内等が音声として出力される。
【００４７】
送受信手段２０は、通信ネットワークを介して各種制御データや、プログラム、ＣＧキャラクタデータ（例えば、帽子や髪形、眼鏡、服、靴、鞄等のパーツ情報等）、台本データ、素材データ、番組制作エンジン、スクリプト等の各種データを他の装置に送信したり、他の装置から上述した各種データを受信するための通信インタフェースである。なお、送受信手段２０は、画像取得手段１４とは別に顔画像データの送受信を行うことができる。
【００４８】
制御手段２１は、ＣＧキャラクタ制作装置１０における各機能構成全体の制御を行う。具体的には、制御手段２１は、入力手段１１により入力されたユーザ等からの入力情報に基づいて画像を取得したり、取得した画像データを用いて予め設定されたＣＧキャラクタの面データに貼り付け処理を行ったり、テクスチャ変更手段１６により変更したり、再生したり、本実施形態における各種画面を生成し、生成した画面を出力したり、各種データを送受信する等の各種制御を行う。
【００４９】
上述したように、本実施形態によれば、ＣＧキャラクタの表情変化の実現に関して、例えば目を閉じた状態と開いた状態の画像、口を開けた状態と閉じた状態の画像を含む複数のテクスチャ画像を用意し、リアルタイムにテクスチャを切り替えることにより、ＣＧキャラクタの瞬きや口形変化を簡単かつ容易に実現することができる。
【００５０】
＜面データ貼り付けとテクスチャ変更について＞
次に、上述した本実施形態における面データ貼り付け手段１５における面データ貼り付け処理と、テクスチャ変更手段１６におけるテクスチャ変更処理とにおける具体例について図を用いて説明する。図３は、本実施形態におけるテクスチャ貼り付けの一例を示す図である。
【００５１】
本実施形態では、図３に示すように、蓄積手段１３等に蓄積された頭部を除く複数のキャラクタモデルを有し、その複数のキャラクタモデルから任意に選択したＣＧキャラクタモデル３０を設定する。また、この設定されたＣＧキャラクタモデルの頭部の形状を設定し（例えば、立方体、球体等）、設定した頭部モデルに画像取得手段１４にて取得した顔画像をテクスチャとして貼り付ける。なお、頭部の形状は、例えば立方体や直方体、球体等の簡易な形状データとする。これにより、複雑なポリゴン構造を行わずに簡単なポリゴンにより形成することができる。
【００５２】
また、本実施形態では、顔画像を面データとして貼り付ける際、ＣＧキャラクタモデル３０の頭部の顔の前面に対応する面データに対して、目を含む上領域と口を含む下領域とに分ける。これは、目の開閉画像と口の開閉画像とをそれぞれ分けるためである。この分かれたデータを組み合わせることにより、ＣＧキャラクタモデル３０の顔の表情、特に一番特徴が現れる目及び口について、ＣＧキャラクタモデル３０の上顔半面と下顔半面とを切り替えて表示する。また、切り替えるタイミングは、例えば目の瞬きのタイミングであってもよく、セリフの１文字毎の口の開け方、喋るタイミング等に応じて適宜切り替えることができる。
【００５３】
具体的には、図３に示すように、目及び口が開いている写真画像３１と、目及び口が閉じている写真画像３２とをそれぞれ上半分と下半分とに分ける。つまり、写真画像３１の上半分が画像３１−ａであり、下半分が画像３１−ｂである。また、同様に写真画像の上半分が画像３２−ａであり、下半分が画像３２−ｂである。面データ貼り付け手段１５は、写真画像３１及び写真画像３２を頭部の立方体のどの面にマッピングされるかの情報が予め設定されており、これにより所定の条件に応じて画像３１−ａと画像３２−ａ、画像３１−ｂと画像３２−ｂをそれぞれのタイミングで切り替えることができる。
【００５４】
更に、図３では、ＣＧキャラクタモデル３０が被る帽子のＣＧモデル３３が設定されている。このように、本実施形態では、ＣＧキャラクタモデル３０が着用する服や帽子、眼鏡、靴等についても、予め蓄積手段１３に複数の格好に関するデータ等が蓄積され、その中からユーザ等により選択することができ、これらの画像をＣＧキャラクタモデル３０の対応する部位にマッピングすることにより多種のＣＧキャラクタ設定を行うことができる。
【００５５】
ここで、図３に示す画像３４−１〜３４−５は、それぞれの表情に合わせて切り替えてマッピングされた後のＣＧキャラクタ３０が表示されており、帽子のＣＧモデルもＣＧキャラクタモデル３０の一部となっている。
【００５６】
具体的には、画像３４−１のＣＧキャラクタモデル３０には、目が開いている画像が頭部モデルの前面上部にマッピングされ、更に口が閉じている画像が頭部モデルの前面下部にマッピングされている。
【００５７】
更に、ＣＧキャラクタモデル３０が何かを喋る場合には、予め設定された音声ファイル又は外部マイク入力された音声等にしたがって口が開閉する。この場合、テクスチャ変更手段１６は、入力された音声の各文字や各単語に対応させて口の写真画像３１−ｂと写真画像３２−ｂとを切り替えて口部分のマッピングを行い、画像３４−２に示すように実際に喋っているような画像を簡単に表示することができる。なお、本実施形態では、喋っている最中や、その他の静止している状態でも、予め設定される定期的又は所定のリズムで瞬きをさせるために写真画像３１−ａと写真画像３２−ａとを切り替え、画像３４−３に示すように瞬きを行わせる。
【００５８】
なお、目の閉じた状態の画像と目を開けた状態の画像からなる２枚の画像の切り替えだけでも睫毛が移動しているように見える。これは、いわゆる「仮現運動」と呼ばれているものであり、実際には運動がないのに運動があるように錯覚する現象を利用している。つまり、本実施形態では、視覚に関する錯覚である錯視を利用することで、簡単に瞬き映像を違和感なくユーザに提示することができる。
【００５９】
なお、図３の例では、立方体の頭部の前面に画像を貼り付けているため、画像３４−４，３４−５に示すように、別視点によりＣＧキャラクタモデル３０が斜め方向を向いた場合には、あまり斜めや後を写す機会も少ないことから、立法体のそのままの色を表示させる。これにより、作業負担を軽減させることができると共に、より親しみ易いＣＧならではのコミカルなキャラクタ性を出すことができる。また、本発明においてはこれに限定されるものではなく、例えば頭部の形状を立法体ではなく球体にして全面を覆うように写真画像を貼り付けてもよく、また頭部の後面や側面を髪の色に合わせて、若しくは予め指定された色に合わせて着色してもよい。
【００６０】
また、図３の画像３４−５に示すように、ＣＧキャラクタモデル３０は、手足を動かす等の動作をアニメーション映像として表示することができ、この場合には、キャラクタ表示中にマッピング画像を切り替えることにより、瞬き、口の開閉を実現できる。
【００６１】
＜テクスチャ変更の他の実施例＞
ここで、本実施形態におけるテクスチャ変更の他の実施例について図を用いて説明する。図４は、本実施形態におけるテクスチャ変更の他の実施例を説明するための図である。図４の例では、１つの写真画像４１に対して所定部分のみの画像の引き伸ばし又は圧縮処理することにより、顔の表情を変化させる。
【００６２】
具体的には、図４に示すように、写真画像４１の中心から端部に行くほど画像の上下を引き伸ばすことで、変形画像４２−ａに示すように怒った顔に変化させることができ、また写真画像４１の中心から端部に行くほど、画像の上下を圧縮することで、変形画像４２−ｂに示すように笑った顔に変化させることができる。
【００６３】
したがって、これらの変形画像を蓄積手段１３に蓄積しておき、ＣＧキャラクタが喋るセリフや設定した動作（例えば、「怒っている」、「楽しい」等）に応じて表示を変えた変形画像４３−ａ，４３−ｂに変更して表示させることができる。なお、本実施形態における変形画像は、上述した内容に限定されるものではなく、例えば画像の左右を引き伸ばしたり、圧縮したりしてもよい。また、本実施形態では、画像解析処理により画素の輝度や色差等から目や口を部分的に抽出して、その形や向きを変更することで表情を変えることができる。しかしながら、その場合には、画像解析処理が別途必要となり処理が複雑となるため、本実施形態において画像を変形する場合には、その１つの画像全体に対して上述したような引き伸ばしや圧縮を行うことが好ましい。これにより、１枚の画像から複数の画像を生成して表情のあるＣＧキャラクタの顔画像を設定することができる。
【００６４】
更に、本実施形態では、予め異なる表情の写真画像を用意することも可能であるが、１枚の写真画像を変形することにより、撮影回数を抑えて異なる表情を生成することができる。つまり、本実施形態では、テクスチャ画像データの変更により表情変化を実現することができる。
【００６５】
上述した図３や図４に示す例では、頭部の形状は非常に簡単な立方体であるが、例えば楕円球や凹凸をもった曲面等により複雑な形状にし、ポリゴンの数を増やして、テクスチャマッピングの領域を細かく指定することにより、より自然なキャラクタを制作することもできる。また、本実施形態では、上述した写真画像だけでなく、手書きの画像も利用することができる。
【００６６】
＜ＣＧキャラクタの定義＞
ここで、上述した面データ貼り付けにおけるＣＧキャラクタの定義に内容について図を用いて説明する。図５は、本実施形態におけるＣＧキャラクタの定義内容について説明するための図である。なお、図５に示す例では、ＣＧキャラクタの変更パラメータ等を設定する「Ｃｈａｒａ．ｂｍ」（図５（ａ））と、ＣＧキャラクタの表情を設定する「Ｃｈａｒａ．ｂｍｏ」（図５（ｂ））と、目領域のテクスチャマッピング情報を設定する「ｅｙｅＯ．ｘ」（図５（ｃ））との３種類の定義ファイルを有している。
【００６７】
図５（ａ）に示す「Ｃｈａｒａ．ｂｍ」の（１）では、瞬きのタイミング（瞬きする間隔、閉じたままの時間等）を設定する。また、図５（ｂ）に示す「Ｃｈａｒａ．ｂｍｏ」では、ＣＧキャラクタの表情として、そのＣＧキャラクタの口の動きや目の瞬き時におけるファイル名を設定する。具体的には、図５（ｂ）の（２）に示すように、ＣＧキャラクタが何もセリフを喋らない場合又は何らかのセリフ（言葉）を発声する場合（例えば、母音（"Ａ"、"Ｉ"、"Ｕ"、"Ｅ"、"Ｏ"）等）に対して何れかの画像の割り当てを行う。
【００６８】
なお、図５（ｂ）の（２）の例では、"ｍｏｕｔｈＣ．ｘ"が、口が閉じている状態の画像を示し、 "ｍｏｕｔｈＯ．ｘ"が、口が開いている状態の画像を示す。
【００６９】
また、図５（ｂ）の（３）に示すように、目の開閉時のそれぞれのＣＧデータを設定する。ここで、図５（ｂ）の（３）の例では、"ｅｙｅＣ．ｘ"が、目が閉じている状態の画像を示し、"ｅｙｅＯ．ｘ"が、目が開いている状態の画像を示す。また、図５（ｂ）の（４）に示すように、瞬きをどのように制御するかの制御方法を設定する。
【００７０】
更に、図５（ｃ）に示す「ｅｙｅＯ．ｘ」の（５）では、"ｉｍａｇｅ．ＪＰＧ"のテクスチャ画像に対して、目領域の形状データを設定し、図５（ｃ）に示す「ｅｙｅＯ．ｘ」の（６）では、目領域のテクスチャマッピング情報を設定する。これにより、面データに対する目領域のテクスチャ画像の貼り付け処理が行われる。
【００７１】
また、図６は、本実施形態におけるＣＧキャラクタの口部分の制御内容の一例を示す図である。図６に示す例では、口部分の制御を行うための「Ｃｈａｒａ．ｂｍｏ」と、口領域のテクスチャマッピング情報を設定する「ｍｏｕｓｅＯ．ｘ」との２種類の定義ファイルを有している。
【００７２】
図６（ａ）に示す「Ｃｈａｒａ．ｂｍｏ」では、（１）,（２）に示すように複数の表情に対するデータが設定されている。また、（３）に示すように口の開閉の制御方法を設定し、（４）に示すように、表情変更時における制御方法を設定する。
【００７３】
また、図６（ｂ）に示す「ｍｏｕｓｅＯ．ｘ」では、（５）に示す口領域の形状データと、（６）に示す口領域テクスチャマッピング情報が設定されており、これにより、ＣＧキャラクタの動作を、例えばＴＶＭＬ等を用いて再生することで、適切な動作を実現することができる。
【００７４】
なお、これらの定義ファイルは面データ貼り付け手段１５やテクスチャ変更手段１６等により生成され、再生手段１８において、読み出されることで、所定のＣＧキャラクタを設定することができる。
【００７５】
＜ＴＶＭＬを用いた記述例＞
ここで、本実施形態の適用例として、ＴＶＭＬを用いたテクスチャ画像データの変更時における記述例について具体的に説明する。
【００７６】
例えば、ＣＧキャラクタであるキャラクタＡ（"CharacterA"）を番組等に出演さえる場合には、キャラクタＡに対応した動作等を定義した定義ファイルを蓄積手段１３から取得し、その定義ファイルを参照してキャラクタＡの通常時の動作（例えば、目の瞬きやセリフに合わせた口の開閉等）を行う。
【００７７】
そこで、ＴＶＭＬの記述中に、例えば
character: expression(name=CharacterA, type=angry, time=1.0);
character: talk( name=CharacterA, text="怒っています", emotion=excite)
character: expression(name=CharacterA, type=happy, time=1.0);
character: talk( name=CharacterA, text="幸せです", emotion=excite)
のような記述が含まれていた場合、テクスチャ変更手段は、"type=angry"又は"type=happy"等のパラメータを認識し、そのタイプ（type）に合わせて上述した変形画像に切り替えを行う。これにより、目及び口の開閉画像と、その変形画像とを用いて様々な表情の顔画像を表示することができる。
【００７８】
＜画面生成例＞
次に、上述した画面生成手段１９における画面生成例について図を用いて説明する。なお、以下に示す画面例では、自分の顔写真を使用した「自分キャラ」を作成してニュースやバラエティのようなテレビ番組の映像を制作するときの画面例を示すものであり、番組制作時に上述したＣＧキャラクタ制作を含むものである。
【００７９】
＜メニュー画面例＞
図７は、本実施形態におけるメニュー画面の一例を示す図である。図７に示すメニュー画面５０は、番組制作手順の一例として、ユーザ向けに「キャラクタをつくろう」、「演出をえらぼう」、「映像をえらぼう」、「セリフをかんがえよう」、「声を入れよう」、「作品を見よう」等のタイトルが表示される。つまり、図７に示す番組制作手順は、具体的には、ＣＧキャラクタを制作するステップと、演出を選ぶステップと、映像を選ぶステップと、セリフを選ぶステップと、声を入れるステップと、作品を見るステップとを有している。
【００８０】
また、図７に示すＣＧキャラクタを制作するための図面の内容が表示されている。ＣＧキャラクタ制作手順としては、「自分キャラ」を制作するためにユーザ自らの顔写真を撮るステップと、ＣＧキャラクタの服や髪形等の格好を選ぶステップとを有しており、その他にも、顔イラストを選ぶステップやＣＧキャラクタを選ぶステップを有することもできる。
【００８１】
顔イラストを選ぶステップでは、ＣＧキャラクタ制作装置１０としてのパソコン（パーソナルコンピュータ）等の中に入っているイラストの中から顔を選択する。また、ＣＧキャラクタを直接選ぶステップでは、パソコン等の中に入っているＣＧキャラクタモデルを選択する。また、メニュー画面５０には、選択された状態でのＣＧキャラクタ５１を表示させることができる。
【００８２】
＜顔写真撮影画面＞
次に、顔写真撮影画面について、図を用いて説明する。図８は、顔写真を撮影する際に表示される画面の一例を示す図である。図８に示すように、顔写真撮影に対してユーザが同じ大きさの２枚の写真（目の開閉、口の開閉）を撮影することができるように、案内機能を有する顔写真撮影画面６０は、メニュー画面５０よりも前面に表示される。
【００８３】
ここで、顔写真撮影画面６０には、顔の予め設定した輪郭領域６１の中に入れ、図８に示すシャッターボタンを押して撮影を行う。このとき、図８の例では、目を入れる領域６２と、口を入れる領域６３とがうっすらと画面に表示されており、ユーザはその領域に目及び口の位置を合わせて撮影を行う。つまり、上述した輪郭の画像をディスプレイ等の出力手段１２に出力し、ユーザは、その画面を確認しながら撮像手段２２で撮影される顔画像の位置を調整して撮影を行うことができる。
【００８４】
図８の例では、画面音声案内に併せて目を開けて、口を閉じた状態の顔画像と、目を閉じて、顔を開けた状態の画像を撮影する。なお、音声案内では、例えば、「３、２、１、カシャ！」等の音声によりタイミングを合わせて所定の顔画像を撮影することができる。
【００８５】
また、シャッターボタンは、上述した２種類の画像を連続して撮影することができる。更に、シャッターボタンは、何度でも押すことができ、顔画像を撮り直すこともできる。
【００８６】
また、撮影した画像は、プレビュー画面表示領域６４−１，６４−２に表示されるため、撮影直後に２種類の写真を撮影し、取り直し等の処理を迅速に行うことができる。なお、図８の映像において、ウェブカメラの映像が青い部分だけ抜けて撮影された画像が見える。
【００８７】
これにより、ユーザは、同じ顔サイズの２種類の異なる画像を正確かつ容易に撮影することができる。更に、本実施形態において、ＣＧキャラクタを制作する初期設定の部分では、例えばＣＧキャラクタの格好や髪形を決定するために、複数の異なる服装や髪形が表示され、その中から設定させる画面を生成してもよく、また予め蓄積手段１３に予め蓄積されている複数のイラストから顔を選択させたり、既に制作したＣＧキャラクタの中から選択させるような画面を生成することもできる。
【００８８】
また、複数のＣＧキャラクタを番組に出演させる場合には、他の顔で上述の処理を行う。これにより、少なくとも１つのＣＧキャラクタを用いた番組を制作することができる。
【００８９】
＜演出設定画面＞
次に、本実施形態における演出設定画面について図を用いて説明する。図９は、本実施形態における演出設定画面の一例を示す図である。図９に示す演出設定画面７０は、スタジオセット、照明、カメラワーク等、その番組の大まかな内容を表示する。なお、演出設定画面７０は、メニュー画面５０よりも前面に表示される。
【００９０】
つまり、図９に示すように、演出設定画面７０では、複数の演出内容が所定のキャプチャ画面７１−１〜７１−６等に表示される。なお、このキャプチャ画面７１−１〜７１−６に表示されるものは静止画であってもよく動画であってもよい。
【００９１】
具体的には、例えば、背景が動画になっているレポータ風のものや、モニターを背負った「ニュース風」等のものがあるが、その他にも屋内・野外等のバラエティさを出すもの等を表示することができる。
【００９２】
なお、演出設定画面７０では、キャプチャ画像７１−４に示すように、現在選択されているアイテムは強調表示することができ、これにより、選択されているキャプチャ画像を容易に把握することができる。
【００９３】
＜映像選択画面＞
次に、本実施形態における映像選択画面について図を用いて説明する。図１０は、本実施形態における映像選択画面の一例を示す図である。
【００９４】
本実施形態における映像選択時には、図１０（ａ）に示すような映像選択画面８０が表示される。なお、映像選択画面８０は、メニュー画面５０よりも前面に表示される。また、映像選択画面８０は、映像を探すキーワードを入力するキーワード入力領域８１と、検索により得られる映像を表示する映像表示領域８２とを有している。
【００９５】
ここで、映像選択画面８０の映像を探すためのキーワードを入力し、検索ボタン（「さがす」ボタン）を選択すると、予め蓄積された所定のコンテンツデータベースを参照して、キーワードに対応する映像を抽出し、その抽出された映像を検索結果画面８３に表示する。なお、検索結果画面８３は、メニュー画面５０よりも前面に表示される。
【００９６】
ここで、検索結果画面８３には、検索の結果として得られた映像８４−１〜８４−５と、各映像に対する説明内容（例えば、タイトル、映像再生時間、内容の説明等）を表示する。なお、表示される映像数については、本発明においてはこれに限定されるものではない。
【００９７】
また、図１０（ｂ）に示すように、表示された映像８４−１〜８４−５のうち、選択されているアイテムには、強調表示をすることができる。更に、本実施形態では、アイテムが選択されているときに、映像検索結果画面８３の再生ボタンを選択すると、映像再生領域８５において、選択された映像を表示する。
【００９８】
これにより、ユーザは、映像の検索と、検索された映像の確認を容易に行うことができ、所望する映像を迅速に取得することができる。
【００９９】
＜セリフ設定画面＞
次に、本実施形態におけるセリフ設定画面について図を用いて説明する。図１１は、セリフ設定画面の一例を示す図である。図１１に示すセリフ設定画面９０は、映像を再生する映像再生領域９１と、その映像に対してアクションを選択するプルダウンメニュー９２と、映像を再生するタイミングを指定できるタイミング指定ボタン９３と、セリフ入力領域９４と、セリフ入力領域９４に入力された文章に対してＣＧキャラクタの表情を表示させる表情表示領域９５と、カメラアングルを設定するカメラアングル設定領域９６と、セリフ間隔指定ボタン９７とを有している。なお、セリフ設定画面９０は、メニュー画面５０よりも前面に表示される。
【０１００】
映像再生領域９１は、セリフ設定画面９０が有する再生ボタンで全てのセリフを先頭からプレビューするための画面である。つまり、セリフ設定画面９０には、複数のセリフが喋る順序で上から表示されており、映像再生領域９１は、この全てのセリフを喋る番組の内容を表示する。なお、本実施形態においては、上述した全てのセリフだけでなく、ユーザが指定した少なくとも１つのセリフについて表示させることができる。
【０１０１】
また、プルダウンメニュー９２は、映像に対して出演するＣＧキャラクタに対するアクションを選択するものであり、予め設定された「お辞儀をする」、「両手を挙げる」、「手を振る」といったアクションの内容を選択する。
【０１０２】
更に、タイミング指定ボタン９３は、映像を再生するタイミングを指定できるボタンである。つまり、タイミング指定ボタン９３により、セリフの喋り始めや喋った後に映像が再生されるように設定することができる。セリフ入力領域９４は、予めテンプレートテキストが入力されており、その文章にオリジナルの表現や言葉を設定する。また、表情表示領域９５は、設定されたセリフに合わせて、「怒っている」や「笑っている」等の所定の表情のキャラクタアニメーションが表示される。また、カメラアングル設定領域９６は、ＣＧキャラクタを撮影するカメラのアングル（例えば、ズーム、パン等）を設定する。なお、表情表示領域９５及びカメラアングル設定領域９６は、予め設定された値が設定されている。また、これらの各領域を選択すると別ウィンドウが表示され、大きな画面での表示を行うことができる。
【０１０３】
ここで、セリフ設定画面９０は、ＣＧキャラクタに喋らせるための複数のセリフやナレーションが喋る順序で表示されている。つまり、ユーザは、セリフ設定画面９０を用いてＣＧキャラクタが喋るセリフや番組中のナレーション等を、入力手段１１等を用いて設定する。
【０１０４】
また、本実施形態では、各セリフやナレーションを出力する間隔（間）を指定するためにセリフ間隔指定ボタン９７により、間を調整することができる。なお、本実施形態では、セリフ間隔指定ボタン９７をクリックすると、ボタンの数が増え、１つのボタンあたり、約０．５〜３秒のうち、予め設定された秒数の間が設定される。これにより、ユーザは、セリフの間を容易に設定することができ、また間の間隔を画面から容易に取得することができる。
【０１０５】
＜音声入力画面＞
次に、本実施形態における音声入力画面について図を用いて説明する。図１２は、本実施形態における音声入力画面の一例を示す図である。図１２に示す音声入力画面１００は、映像表示領域１０１と、音声入力用の台本表示領域１０２とを有している。なお、音声入力画面１００は、メニュー画面５０よりも前面に表示される。
【０１０６】
また、図１２の音声入力画面１００には、音声を録音するための録音ボタン１０３、音声を再生するための音声再生ボタン１０４、及び、音声や台本（原稿）を削除するための削除ボタン１０５を有しており、それぞれのボタンにより、ＣＧキャラクタに喋らせる音声を録音したり、再生したり、削除したりすることができる。なお、録音ボタン１０３を選択し、録音状態となっているときには、録音ボタン１０３は停止ボタンに変わり、その停止ボタンを選択することで、録音が停止される。
【０１０７】
＜番組再生画面＞
次に、本実施形態における番組再生画面について図を用いて説明する。図１３は、本実施形態における番組再生画面の一例を示す図である。図１３における番組再生画面１１０では、全画面再生ボタンと保存ボタンとを有している。なお、番組再生画面１１０は、メニュー画面５０よりも前面に表示される。
【０１０８】
番組再生画面１１０は、全画面再生ボタンを選択することで、今までに設定された内容で番組の再生を全画面で表示する。なお、本実施形態において、途中で再生を中止する場合には、中止ボタンを設けてもよく、また所定のキー（例えば、ｅｓｃａｐｅキー）等を選択することで、中止させてもよい。また、保存ボタンを選択することにより、例えば保存ダイアログで名前を付けて保存したり、サーバ等の外部機器でレンダリングするために、予めマウントされているサーバ内に保存されるように設定してもよい。なお、設定は、例えばｉｎｉファイルで定義しておくことが好ましい。
【０１０９】
本実施形態では、上述した各種画面例を画面生成手段１９により生成し、出力手段１２に出力することで、ユーザはその画面を見ながら容易に本実施形態におけるＣＧキャラクタやそのＣＧキャラクタを用いた番組を制作することができる。
【０１１０】
＜実行プログラム＞
ここで、上述したＣＧキャラクタ制作装置１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。
【０１１１】
したがって、ＣＧキャラクタ制作装置１０が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【０１１２】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（ＣＧキャラクタ制作プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、番組制作処理を実現することができる。なお、本発明における実行プログラムによる処理については、例えば上述した各処理を実現することができる。
【０１１３】
次に、本発明における実行プログラムによる処理手順についてＣＧキャラクタ制作処理手順と、ＣＧキャラクタ制作を含めた番組制作処理について、フローチャートを用いて説明する。なお、以下の処理の説明では、コンテンツの一例として番組を用いるが、本発明におけるコンテンツの種類については、これに限定されるものではない。
【０１１４】
＜ＣＧキャラクタ制作処理手順＞
図１４は、本実施形態におけるＣＧキャラクタ制作処理手順の一例を示すフローチャートである。図１４において、例えば、上述したように撮影用の画面をディスプレイ等の出力手段１２に表示し（Ｓ０１）、撮像手段２２により撮影された目及び口を開閉させた２枚の画像を取得する（Ｓ０２）。
【０１１５】
次に、Ｓ０２の処理により取得した画像に対して予め設定されたＣＧキャラクタの頭の面データに対して、面データ貼り付け処理を行い（Ｓ０３）、更に、ＣＧキャラクタの喋る内容や動作の内容等により表情を変える場合には、上記の内容に応じてテクスチャの変更を行う（Ｓ０４）。また、変更された情報に基づいてＣＧキャラクタ定義ファイルを生成する（Ｓ０５）。更に、定義されたＣＧキャラクタを表示する（Ｓ０６）。ここで、ＣＧキャラクタが所望した通りに動作しない場合には、Ｓ０２〜Ｓ０４等の処理に戻り設定の変更等を行う。また、ＣＧキャラクタが納得のいくものであった場合、そのＣＧキャラクタ定義ファイルによりＣＧキャラクタを登録する（Ｓ０７）。
【０１１６】
ここで、他のＣＧキャラクタを制作するか否かを判断し（Ｓ０８）、他のＣＧキャラクタを制作する場合（Ｓ０８において、ＹＥＳ）、Ｓ０１に戻り設定等を変えて後続の処理を行うことで、他の条件におけるＣＧキャラクタの制作を行う。また、Ｓ０８の処理において、他のＣＧキャラクタの制作をしない場合（Ｓ０８において、ＮＯ）、ユーザ等の終了指示等によりＣＧキャラクタ制作処理を終了する。
【０１１７】
＜番組制作処理手順＞
次に、本実施形態における番組制作処理手順についてフローチャートを用いて説明する。図１５は、本実施形態における番組制作処理手順の一例を示すフローチャートである。図１５において、例えば、上述したように撮影用の画面をディスプレイ等の出力手段１２に表示し（Ｓ１１）、撮像手段２２により撮影された目及び口を開閉させた２枚の画像を取得する（Ｓ１２）。
【０１１８】
次に、Ｓ１２の処理により取得した画像に対して、ＣＧキャラクタの特徴をより具体化するために、予め蓄積手段１３等に蓄積された服や髪形等の格好の選択を行い（Ｓ１３）、Ｓ１２の処理により取得した画像と、Ｓ１３の処理により選択された服や髪形等に基づいて、その番組に出演するＣＧキャラクタを作成する（Ｓ１４）。
【０１１９】
次に、番組の演出を選択し（Ｓ１５）、ＣＧキャラクタのセリフを設定し（Ｓ１６）、そのセリフに合わせたＣＧキャラクタの喋りに合わせた音声やナレーションに合わせた音声等を入力する（Ｓ１７）。これらの設定により番組を制作し（Ｓ１８）、制作された番組を再生する（Ｓ１９）。なお、番組の修正や変更等を行う場合には、Ｓ１１〜Ｓ１７から選択される変更対象の処理に戻って対応する処理が行われる。
【０１２０】
ここで、他の番組を制作するか否かを判断し（Ｓ２０）、他の番組を制作する場合（Ｓ２０において、ＹＥＳ）、Ｓ１１に戻り設定等を変えて後続の処理を行うことで、他の条件における番組の制作を行うことができる。また、Ｓ２０の処理において、他の番組の制作をしない場合（Ｓ２０において、ＮＯ）、ユーザ等の終了指示等により番組制作処理を終了する。
【０１２１】
上述したように本発明によれば、ユーザが簡単に表情のあるＣＧキャラクタを制作することができる。具体的には、本発明によれば、一般ユーザが簡単にカスタマイズしたキャラクタモデルを使ったアニメーション等の番組を制作することができる。また、本発明では、カメラ等の撮像手段により撮影した写真画像がそのまま使用できるため、例えば自分の写真を撮ってテクスチャ画像にすることにより、あたかも自分の分身のキャラクタを制作することができる。また、本発明によれば、定義ファイル等を用いて適当なタイミングでの瞬きや喋りに合わせた口の開閉等を行うことができ、より自然なアニメーションを制作することができる。
【０１２２】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１２３】
１０ ＣＧキャラクタ制作装置
１１ 入力手段
１２ 出力手段
１３ 蓄積手段
１４ 画像取得手段
１５ 面データ貼り付け手段
１６ テクスチャ変更手段
１７ 番組制作手段
１８ 再生手段
１９ 画面生成手段
２０ 送受信手段
２１ 制御手段
２２ 撮像手段
３０ ＣＧキャラクタモデル
３１，３２，４１ 写真画像
３３ ＣＧモデル
３４ 画像
４２，４３ 変形画像
５０ メニュー画面
５１ ＣＧキャラクタ
６０ 顔写真撮影画面
６１ 輪郭領域
６２，６３ 領域
６４ プレビュー画面表示領域
７０ 演出設定画面
７１ キャプチャ画面
８０ 映像選択画面
８１ キーワード入力領域
８２ 映像表示領域
８３ 検索結果画面
８４ 映像
８５ 再生領域
９０ セリフ設定画面
９１ 映像再生領域
９２ プルダウンメニュー
９３ タイミング指定ボタン
９４ セリフ入力領域
９５ 表情表示領域
９６ カメラアングル設定領域
９７ セリフ間隔指定ボタン
１００ 音声入力画面
１０１ 映像表示領域
１０２ 台本表示領域
１１０ 番組再生画面
【技術分野】
【０００１】
本発明は、ＣＧキャラクタ制作装置及びＣＧキャラクタ制作プログラムに係り、特にユーザが簡単に表情のあるＣＧキャラクタを制作するためのＣＧキャラクタ制作装置及びＣＧキャラクタ制作プログラムに関する。
【背景技術】
【０００２】
従来、簡単な台本の記述によりＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）をベースとする番組等の映像コンテンツを自動的に制作する技術が存在する（例えば、特許文献１参照）。このような技術では、例えば、台本をＡＰＥ（Ａｕｔｏｍａｔｉｃ Ｐｒｏｇｒａｍ Ｅｎｇｉｎｅ）と呼ばれる演出付加ユニットに入力するだけで、台本の記述に対応させて予め蓄積された特定のＣＧキャラクタ等に所定の動作やセリフを喋らせるような映像コンテンツを生成するための詳細な情報（例えば、ＴＶＭＬ（ＴＶ ｐｒｏｇｒａｍ Ｍａｋｉｎｇ Ｌａｎｇｕａｇｅ）スクリプト等）を生成することができる。
【０００３】
また従来では、上述したＴＶＭＬスクリプトを映像コンテンツ生成エンジン（以下、ＴＶＭＬプレイヤー（Ｐｌａｙｅｒ）という）等の再生手段に入力することで、台本にあった映像コンテンツを生成し、生成したコンテンツを画面等に出力してユーザに提示している。このような仕組みにより、映像コンテンツ制作の経験や技術、ＣＧに関する技術や知識がなくても、誰でも簡単に映像コンテンツを制作することができるようになっている。
【０００４】
したがって、テレビ番組のような映像コンテンツ制作全般に使うことのできるスクリプトで、ＣＧキャラクタの喋りや動作の他、照明、カメラ、セット、小道具、スーパーインポーズ、ムービー、ＢＧＭ等、テレビ番組のスタジオ制作に必要な機能を全て記述することができる。
【０００５】
また、一般に映像コンテンツに登場するＣＧキャラクタについては、そのＣＧキャラクタの動作、例えば口の開閉情報等を詳細に指定しなくても、セリフを入力するだけで自動的に口パクしたり、外部からのリアルタイムの音声入力に応じてキャラクタの口を開閉することができる。更に、従来技術では、瞬きや体の揺れについても、詳細な記述をしなくても、適当なタイミングで瞬き、揺れを発生している。
【０００６】
なお、従来における映像コンテンツに登場するＣＧキャラクタの制作は、例えば形状データとテクスチャデータ、骨データ等から構成され、骨を動かすとそれに応じて形状が変化する（例えば、特許文献２参照）。また、これらの形状データは、複数の頂点で囲まれた面の情報とそこにマッピングされるテクスチャ情報を持っており、形状の変形は、頂点の移動で実現する。したがって、ＣＧキャラクタが動くアニメーションでは、手足や顔の表情、目、口の動きを生成し、それに合わせて形状を変化させる必要がある。したがって、特に目の瞬きや口を変化させるには、多くの頂点データを使って顔形状を細かく作成し、瞼や口周辺の頂点データを制御する必要がある（例えば、非特許文献１参照）。
【０００７】
ここで、図１は、従来技術におけるＣＧキャラクタの制作手法を説明するための図である。なお、図１（ａ）は、口を閉じた状態のＣＧキャラクタの顔を示し、図１（ｂ）は、口を開いた状態のＣＧキャラクタの顔を示し、図１（ｃ）は、目を閉じた状態のＣＧキャラクタの目周辺の拡大図を示し、図１（ｄ）は、目を開いた状態のＣＧキャラクタの目周辺の拡大図を示している。
【０００８】
図１（ａ）〜図１（ｄ）に示すように、ＣＧキャラクタは、各形状に対応したポリゴンの集合からなり、三角形の集合として表される。これらの三角形のポリゴンは、３つの頂点で定義され、細かな変形を可能にするには、より小さなポリゴンを数多く必要とし、例えば図１（ａ），図１（ｂ）に示すような口の開閉時や図１（ｃ），図１（ｄ）に示すような目の開閉時には、目周辺の多くの頂点を移動させる必要があり、これは口の開閉時にも同様である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−２５７４５０号公報
【特許文献２】特開平９−３３０４２４号公報
【非特許文献】
【００１０】
【非特許文献１】本城なお著、「Ｍａｙａ Ｂｉｇｉｎｎｅｒｓ」、第１０章キャラクタ作成、株式会社ビー・エヌ・エヌ新社、２００７年７月２０日初版発行
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述したように、従来のＣＧキャラクタ制作において、自然な目の瞬きや口の変化を実現するには、多くの頂点を移動したり、細かいポリゴンの調整が必要となるため、熟練した技術と長時間の準備作業が必要となる。そのため、上述したような技術のない一般のユーザにはＣＧキャラクタを制作することは非常に困難であり、またＣＧキャラクタの制作は上述した専門的な知識が必要であったため、ある特定の専門家に委ねられていた。
【００１２】
つまり、一般ユーザや非専門のユーザはＣＧキャラクタを制作することができず、また専門家が作ったＣＧキャラクタを自分用にカスタマイズすることも困難であった。
【００１３】
本発明は、上述した問題点に鑑みなされたものであり、ユーザが簡単に表情のあるＣＧキャラクタを制作するためのＣＧキャラクタ制作装置及びＣＧキャラクタ制作プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１５】
請求項１に記載された発明は、テクスチャ画像データを用いてＣＧキャラクタモデルを制作するＣＧキャラクタ制作装置において、前記ＣＧキャラクタモデルとなる人物の目及び口の開閉状態におけるそれぞれの画像を取得する画像取得手段と、前記画像取得手段により得られる画像を前記テクスチャ画像データとし、前記ＣＧキャラクタモデルの頭部として設定された形状の面データに貼り付ける面データ貼り付け手段と、前記面データ貼り付け手段により前記面データに貼り付けられた前記テクスチャ画像データを前記ＣＧキャラクタのセリフ又は動作に対応させて変更するテクスチャ変更手段とを有することを特徴とする。
【００１６】
請求項１記載の発明によれば、ユーザが簡単に表情のあるＣＧキャラクタを制作することができる。
【００１７】
請求項２に記載された発明は、前記テクスチャ変更手段は、前記画像取得手段により得られた画像を変形させて異なる顔の表情を生成し、生成した変形画像を用いて前記ＣＧキャラクタのセリフに対応させた変更を行うことを特徴とする。
【００１８】
請求項３に記載された発明は、前記画像取得手段により取得される画像が同一の顔サイズとなるように、撮影時の顔の位置を固定させるための案内画面を生成する画面生成手段を有することを特徴とする。
【００１９】
請求項４に記載された発明は、前記テクスチャ変更手段は、前記面データに貼り付ける前記テクスチャ画像データを切り替える変更条件を定義したＣＧキャラクタ定義ファイルを生成することを特徴とする。
【００２０】
請求項５に記載された発明は、前記テクスチャ変更手段により得られた少なくとも１つのＣＧキャラクタを用いた番組を制作する番組制作手段を有することを特徴とする。
【００２１】
請求項６に記載された発明は、コンピュータを、請求項１乃至６の何れか１項に記載のＣＧキャラクタ制作装置として機能させることを特徴とするＣＧキャラクタ制作プログラムである。
【００２２】
請求項６記載の発明によれば、ユーザが簡単に表情のあるＣＧキャラクタを制作することができる。また、実行プログラムをコンピュータにインストールすることにより、容易にＣＧキャラクタ制作処理を実現することができる。
【発明の効果】
【００２３】
本発明によれば、ユーザが簡単に表情のあるＣＧキャラクタを制作することができる。
【図面の簡単な説明】
【００２４】
【図１】従来技術におけるＣＧキャラクタの制作手法を説明するための図である。
【図２】本実施形態におけるＣＧキャラクタ制作装置の機能構成の一例を示す図である。
【図３】本実施形態におけるテクスチャ貼り付けの一例を示す図である。
【図４】本実施形態におけるテクスチャ変更の他の実施例を説明するための図である。
【図５】本実施形態におけるＣＧキャラクタの定義内容について説明するための図である。
【図６】本実施形態におけるＣＧキャラクタの口部分の制御内容の一例を示す図である。
【図７】本実施形態におけるメニュー画面の一例を示す図である。
【図８】顔写真を撮影する際に表示される画面の一例を示す図である。
【図９】本実施形態における演出設定画面の一例を示す図である。
【図１０】本実施形態における映像選択画面の一例を示す図である。
【図１１】セリフ設定画面の一例を示す図である。
【図１２】本実施形態における音声入力画面の一例を示す図である。
【図１３】本実施形態における番組再生画面の一例を示す図である。
【図１４】本実施形態におけるＣＧキャラクタ制作処理手順の一例を示すフローチャートである。
【図１５】本実施形態における番組制作処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２５】
＜本発明について＞
本発明は、例えば番組等の映像コンテンツに登場（出演）するＣＧキャラクタの制作において、特に顔の制作に対し、口の開閉、目の開閉を示す複数の画像を用意し、用意した画像を所定の条件により切り替えることで、少ないポリゴンで構成される簡易な顔形状を作成する。
【００２６】
このように構成することで、詳細な形状変形を行わないため、例えば立方体や球等、簡単な形状による頭部モデルを制作することができるため、一般ユーザでも簡易なＣＧツールを使って簡単にＣＧキャラクタを制作することができる。また、画像は作画してもよいが、カメラ等の撮像手段により撮影された写真を用いることにより、リアルでユーザにカスタマイズされたＣＧキャラクタを制作することができる。つまり、一般ユーザが用意するのは、上述した内容のものだけでよいため、簡便にカスタマイズしたキャラクタを制作することができる。
【００２７】
以下に、上述したような特徴を有する本発明におけるＣＧキャラクタ制作装置及びＣＧキャラクタ制作プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００２８】
＜ＣＧキャラクタ制作装置：概略構成例＞
図２は、本実施形態におけるＣＧキャラクタ制作装置の機能構成の一例を示す図である。図２に示すＣＧキャラクタ制作装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、画像取得手段１４と、面データ貼り付け手段１５と、テクスチャ変更手段１６と、番組制作手段１７と、再生手段１８と、画面生成手段１９と、送受信手段２０と、制御手段２１とを有するよう構成されている。
【００２９】
入力手段１１は、例えば、ＣＧキャラクタ制作装置１０がＰＣ等の汎用のコンピュータであれば、キーボード（Ｋｅｙｂｏａｒｄ）やゲームパッド、マウス等の各種コントローラ又は専用の操作パネル、マイク等の音声入力デバイス等からなり、ユーザ等からの入力等により本実施形態における各構成の実行指示（画像取得指示、面データ貼り付け指示、テクスチャ変更指示、番組制作指示、再生指示、画面生成指示、送受信指示）等の入力や、ＣＧキャラクタやカメラ等のオブジェクトに対する動作の入力（操作内容）を受け付ける。
【００３０】
出力手段１２は、入力手段１１により入力された指示内容や、各指示内容に基づいて制作されるＣＧキャラクタ、ＣＧキャラクタや番組を制作するための各種設定等を行わせるための画面、実行経過や実行結果、エラー情報等の各種情報を表示出力したり、音声出力を行う。なお、出力手段１２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。
【００３１】
蓄積手段１３は、本実施形態におけるＣＧキャラクタ制作を実行するための各種プログラムや、画像取得手段１４において取得された画像、面データ貼り付け手段１５により得られる貼り付け結果、テクスチャ変更手段１６により得られるテクスチャ変更における各種パラメータや変更された結果、再生手段１８における再生結果、画面生成手段１９により生成された設定条件や、設定された結果、送受信手段２０にて送受信される各種情報等のデータを蓄積する。
【００３２】
また、蓄積手段１３は、上述した各種データを送受信手段２０により通信ネットワーク等に接続された外部装置等から取得することもできる。また、蓄積手段１３に蓄積された各種データは、必要に応じて適宜読み出すことができ、また書き込みや削除等を行うこともできる。
【００３３】
画像取得手段１４は、ＣＧキャラクタの顔となる画像を取得する。具体的には、例えば、ＣＧキャラクタ制作装置１０の外部に設けられたカメラ等の撮像手段２２により得られる人物の顔画像等を取得する。なお、取得する画像は、ユーザ本人の画像でもよく、例えば芸能人等の他人であってもよい。
【００３４】
なお、画像取得手段１４により取得される画像は、例えば目を閉じた状態の画像、口を開けた状態の画像を含む複数のテクスチャ画像を取得する。具体的には、例えば、顔画像において、目及び口を閉じている画像及び目及び口を開いている画像の２枚の画像を取得する。なお、取得する２枚の画像は目の開いているものと閉じているもの、口が開いているものと閉じているものが２枚の画像で撮影できれば、口及び目の開閉の組み合わせは、どちらでもよい。
【００３５】
また、本実施形態では、画像の切り替え時に差がでないように、上述した２枚の画像の顔の大きさは同一であることが好ましいが、必要に応じて一方の顔画像を拡大若しくは縮小して同一の顔サイズに調整してもよい。
【００３６】
これにより、必要な画像を簡単に取得することができる。なお、画像取得手段１４は、ユーザ等の人物のそのものの顔画像を取得してもよく、犬や猫等の動物であってもよく、更にアニメ画像であってもよい。なお、画像は、作画してもよいが、写真を使うとよりリアルでユーザにカスタマイズされたキャラクタを制作できる。
【００３７】
ここで、撮像手段２２は、例えば既存のデジタルカメラ等を用いることができる。また、画像取得手段１４は、撮像手段２２等により取得した画像を蓄積手段１３等に蓄積しておくことができる。
【００３８】
面データ貼り付け手段１５は、画像取得手段１４から得られた画像に対して、予め設定されたＣＧキャラクタの面データに貼り付けを行う。具体的には、面データ貼り付け手段１５は、少ないポリゴンで構成される簡易な顔形状を作成する。また、面データ貼り付け手段１５は、画像のどの部分をどのポリゴンにマッピング（貼り付け）するかの情報を管理する。なお、面データ貼り付け手段１５における具体的な内容については後述する。
【００３９】
テクスチャ変更手段１６は、ＣＧキャラクタを表示し、口の開閉、目の開閉のタイミングに応じて、画像取得手段１４から得られた画像を用いてＣＧキャラクタの顔の貼り付ける画像を切り替える。また、テクスチャ変更手段１６は、ＣＧキャラクタの目を予め設定される目の瞬き等の間隔により目の開閉のテクスチャ画像の変更を制御する。また、テクスチャ変更手段１６は、ＣＧキャラクタの喋りに応じて口の開閉のテクスチャ画像の変更を制御する。
【００４０】
つまり、本実施形態では、画像の切り替えだけで顔の表情や動作を表現し、頭部の形状変形等は行わない。そのため、頭部モデルの形状を例えば立方体や球等の簡単な形状で制作することができる。また、テクスチャ変更手段１６は、例えば、一般ユーザでも簡易なＣＧツール等を用いて変更することができる。したがって、本実施形態では、一般ユーザが用意するのは、上記の切り替え用の画像だけでよく、簡便にカスタマイズしたキャラクタを制作できる。
【００４１】
更に、テクスチャ変更手段１６は、上述した画像の変更情報をＣＧキャラクタに反映させるためのＣＧキャラクタ定義ファイルを生成する。なお、ＣＧキャラクタ定義ファイルの詳細については後述する。
【００４２】
番組制作手段１７は、面データ貼り付け手段１５やテクスチャ変更手段１６により得られる少なくとも１つのＣＧキャラクタを用いて番組を制作する機能を有する。具体的には、番組制作手段１７は、演出内容や番組に用いる映像、ＣＧキャラクタのセリフ、音声等を設定し、設定された内容に基づいて本実施形態において制作されたＣＧキャラクタを出演させた番組を制作する。
【００４３】
なお、番組制作には、例えばＴＶＭＬ（ＴＶ ｐｒｏｇｒａｍ Ｍａｋｉｎｇ Ｌａｎｇｕａｇｅ）等を用いることができる。ＴＶＭＬとは、簡単な台本の記述によりＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）をベースとする番組等の映像コンテンツを自動的に制作する技術であり、台本をＡＰＥ（Ａｕｔｏｍａｔｉｃ Ｐｒｏｇｒａｍ Ｅｎｇｉｎｅ）と呼ばれる演出付加ユニットに入力するだけで、台本の記述に対応させて映像コンテンツを生成するための詳細な情報（例えば、ＴＶＭＬスクリプト等）を生成することができる。また、ＴＶＭＬは、テレビ番組を制作するためのスクリプトベース記述言語であるため、番組制作手段１７は、例えば、入力テキストとして「こんにちは」という文字がＡＰＥに入力させることで、ＡＰＥが文字列解析処理等を行い、出力テキストとして、「ｃｈａｒａｃｔｅｒ：ｔａｌｋ（ｎａｍｅ＝ＣｈａｒａｃｔｅｒＡ，ｔｅｘｔ＝"こんにちは"）」というＴＶＭＬスクリプトを出力することができる。
【００４４】
再生手段１８は、制作されたＣＧキャラクタを、実際にＴＶＭＬスクリプトを用いて再生し、映像又は音声等を出力手段１２により出力することで、ユーザにそのＣＧキャラクタの表情や動作を確認することができる。
【００４５】
なお、再生手段１８は、例えばＴＶＭＬプレイヤーを用いることができる。ＴＶＭＬプレイヤーとは、ＴＶＭＬスクリプトを解釈してリアルタイムＣＧ、音声合成等を用いて番組等のコンテンツを生成し、再生出力するソフトウェアである。
【００４６】
画面生成手段１９は、本実施形態におけるＣＧキャラクタ制作に必要な各種画面を生成する。例えば、本実施形態におけるＣＧキャラクタ制作の実行画面や、画像取得処理に関する画面、面データ貼り付けに関する画面、テクスチャ変更に関する画面、再生手段１８により再生された画面、ＣＧキャラクタ制作装置１０における実行経過や実行結果等の各種画面を所定のレイアウトで出力されるように生成する。なお、画面生成手段１９により生成した画面は、出力手段１２により映像及び／又は画面に対する使用案内等が音声として出力される。
【００４７】
送受信手段２０は、通信ネットワークを介して各種制御データや、プログラム、ＣＧキャラクタデータ（例えば、帽子や髪形、眼鏡、服、靴、鞄等のパーツ情報等）、台本データ、素材データ、番組制作エンジン、スクリプト等の各種データを他の装置に送信したり、他の装置から上述した各種データを受信するための通信インタフェースである。なお、送受信手段２０は、画像取得手段１４とは別に顔画像データの送受信を行うことができる。
【００４８】
制御手段２１は、ＣＧキャラクタ制作装置１０における各機能構成全体の制御を行う。具体的には、制御手段２１は、入力手段１１により入力されたユーザ等からの入力情報に基づいて画像を取得したり、取得した画像データを用いて予め設定されたＣＧキャラクタの面データに貼り付け処理を行ったり、テクスチャ変更手段１６により変更したり、再生したり、本実施形態における各種画面を生成し、生成した画面を出力したり、各種データを送受信する等の各種制御を行う。
【００４９】
上述したように、本実施形態によれば、ＣＧキャラクタの表情変化の実現に関して、例えば目を閉じた状態と開いた状態の画像、口を開けた状態と閉じた状態の画像を含む複数のテクスチャ画像を用意し、リアルタイムにテクスチャを切り替えることにより、ＣＧキャラクタの瞬きや口形変化を簡単かつ容易に実現することができる。
【００５０】
＜面データ貼り付けとテクスチャ変更について＞
次に、上述した本実施形態における面データ貼り付け手段１５における面データ貼り付け処理と、テクスチャ変更手段１６におけるテクスチャ変更処理とにおける具体例について図を用いて説明する。図３は、本実施形態におけるテクスチャ貼り付けの一例を示す図である。
【００５１】
本実施形態では、図３に示すように、蓄積手段１３等に蓄積された頭部を除く複数のキャラクタモデルを有し、その複数のキャラクタモデルから任意に選択したＣＧキャラクタモデル３０を設定する。また、この設定されたＣＧキャラクタモデルの頭部の形状を設定し（例えば、立方体、球体等）、設定した頭部モデルに画像取得手段１４にて取得した顔画像をテクスチャとして貼り付ける。なお、頭部の形状は、例えば立方体や直方体、球体等の簡易な形状データとする。これにより、複雑なポリゴン構造を行わずに簡単なポリゴンにより形成することができる。
【００５２】
また、本実施形態では、顔画像を面データとして貼り付ける際、ＣＧキャラクタモデル３０の頭部の顔の前面に対応する面データに対して、目を含む上領域と口を含む下領域とに分ける。これは、目の開閉画像と口の開閉画像とをそれぞれ分けるためである。この分かれたデータを組み合わせることにより、ＣＧキャラクタモデル３０の顔の表情、特に一番特徴が現れる目及び口について、ＣＧキャラクタモデル３０の上顔半面と下顔半面とを切り替えて表示する。また、切り替えるタイミングは、例えば目の瞬きのタイミングであってもよく、セリフの１文字毎の口の開け方、喋るタイミング等に応じて適宜切り替えることができる。
【００５３】
具体的には、図３に示すように、目及び口が開いている写真画像３１と、目及び口が閉じている写真画像３２とをそれぞれ上半分と下半分とに分ける。つまり、写真画像３１の上半分が画像３１−ａであり、下半分が画像３１−ｂである。また、同様に写真画像の上半分が画像３２−ａであり、下半分が画像３２−ｂである。面データ貼り付け手段１５は、写真画像３１及び写真画像３２を頭部の立方体のどの面にマッピングされるかの情報が予め設定されており、これにより所定の条件に応じて画像３１−ａと画像３２−ａ、画像３１−ｂと画像３２−ｂをそれぞれのタイミングで切り替えることができる。
【００５４】
更に、図３では、ＣＧキャラクタモデル３０が被る帽子のＣＧモデル３３が設定されている。このように、本実施形態では、ＣＧキャラクタモデル３０が着用する服や帽子、眼鏡、靴等についても、予め蓄積手段１３に複数の格好に関するデータ等が蓄積され、その中からユーザ等により選択することができ、これらの画像をＣＧキャラクタモデル３０の対応する部位にマッピングすることにより多種のＣＧキャラクタ設定を行うことができる。
【００５５】
ここで、図３に示す画像３４−１〜３４−５は、それぞれの表情に合わせて切り替えてマッピングされた後のＣＧキャラクタ３０が表示されており、帽子のＣＧモデルもＣＧキャラクタモデル３０の一部となっている。
【００５６】
具体的には、画像３４−１のＣＧキャラクタモデル３０には、目が開いている画像が頭部モデルの前面上部にマッピングされ、更に口が閉じている画像が頭部モデルの前面下部にマッピングされている。
【００５７】
更に、ＣＧキャラクタモデル３０が何かを喋る場合には、予め設定された音声ファイル又は外部マイク入力された音声等にしたがって口が開閉する。この場合、テクスチャ変更手段１６は、入力された音声の各文字や各単語に対応させて口の写真画像３１−ｂと写真画像３２−ｂとを切り替えて口部分のマッピングを行い、画像３４−２に示すように実際に喋っているような画像を簡単に表示することができる。なお、本実施形態では、喋っている最中や、その他の静止している状態でも、予め設定される定期的又は所定のリズムで瞬きをさせるために写真画像３１−ａと写真画像３２−ａとを切り替え、画像３４−３に示すように瞬きを行わせる。
【００５８】
なお、目の閉じた状態の画像と目を開けた状態の画像からなる２枚の画像の切り替えだけでも睫毛が移動しているように見える。これは、いわゆる「仮現運動」と呼ばれているものであり、実際には運動がないのに運動があるように錯覚する現象を利用している。つまり、本実施形態では、視覚に関する錯覚である錯視を利用することで、簡単に瞬き映像を違和感なくユーザに提示することができる。
【００５９】
なお、図３の例では、立方体の頭部の前面に画像を貼り付けているため、画像３４−４，３４−５に示すように、別視点によりＣＧキャラクタモデル３０が斜め方向を向いた場合には、あまり斜めや後を写す機会も少ないことから、立法体のそのままの色を表示させる。これにより、作業負担を軽減させることができると共に、より親しみ易いＣＧならではのコミカルなキャラクタ性を出すことができる。また、本発明においてはこれに限定されるものではなく、例えば頭部の形状を立法体ではなく球体にして全面を覆うように写真画像を貼り付けてもよく、また頭部の後面や側面を髪の色に合わせて、若しくは予め指定された色に合わせて着色してもよい。
【００６０】
また、図３の画像３４−５に示すように、ＣＧキャラクタモデル３０は、手足を動かす等の動作をアニメーション映像として表示することができ、この場合には、キャラクタ表示中にマッピング画像を切り替えることにより、瞬き、口の開閉を実現できる。
【００６１】
＜テクスチャ変更の他の実施例＞
ここで、本実施形態におけるテクスチャ変更の他の実施例について図を用いて説明する。図４は、本実施形態におけるテクスチャ変更の他の実施例を説明するための図である。図４の例では、１つの写真画像４１に対して所定部分のみの画像の引き伸ばし又は圧縮処理することにより、顔の表情を変化させる。
【００６２】
具体的には、図４に示すように、写真画像４１の中心から端部に行くほど画像の上下を引き伸ばすことで、変形画像４２−ａに示すように怒った顔に変化させることができ、また写真画像４１の中心から端部に行くほど、画像の上下を圧縮することで、変形画像４２−ｂに示すように笑った顔に変化させることができる。
【００６３】
したがって、これらの変形画像を蓄積手段１３に蓄積しておき、ＣＧキャラクタが喋るセリフや設定した動作（例えば、「怒っている」、「楽しい」等）に応じて表示を変えた変形画像４３−ａ，４３−ｂに変更して表示させることができる。なお、本実施形態における変形画像は、上述した内容に限定されるものではなく、例えば画像の左右を引き伸ばしたり、圧縮したりしてもよい。また、本実施形態では、画像解析処理により画素の輝度や色差等から目や口を部分的に抽出して、その形や向きを変更することで表情を変えることができる。しかしながら、その場合には、画像解析処理が別途必要となり処理が複雑となるため、本実施形態において画像を変形する場合には、その１つの画像全体に対して上述したような引き伸ばしや圧縮を行うことが好ましい。これにより、１枚の画像から複数の画像を生成して表情のあるＣＧキャラクタの顔画像を設定することができる。
【００６４】
更に、本実施形態では、予め異なる表情の写真画像を用意することも可能であるが、１枚の写真画像を変形することにより、撮影回数を抑えて異なる表情を生成することができる。つまり、本実施形態では、テクスチャ画像データの変更により表情変化を実現することができる。
【００６５】
上述した図３や図４に示す例では、頭部の形状は非常に簡単な立方体であるが、例えば楕円球や凹凸をもった曲面等により複雑な形状にし、ポリゴンの数を増やして、テクスチャマッピングの領域を細かく指定することにより、より自然なキャラクタを制作することもできる。また、本実施形態では、上述した写真画像だけでなく、手書きの画像も利用することができる。
【００６６】
＜ＣＧキャラクタの定義＞
ここで、上述した面データ貼り付けにおけるＣＧキャラクタの定義に内容について図を用いて説明する。図５は、本実施形態におけるＣＧキャラクタの定義内容について説明するための図である。なお、図５に示す例では、ＣＧキャラクタの変更パラメータ等を設定する「Ｃｈａｒａ．ｂｍ」（図５（ａ））と、ＣＧキャラクタの表情を設定する「Ｃｈａｒａ．ｂｍｏ」（図５（ｂ））と、目領域のテクスチャマッピング情報を設定する「ｅｙｅＯ．ｘ」（図５（ｃ））との３種類の定義ファイルを有している。
【００６７】
図５（ａ）に示す「Ｃｈａｒａ．ｂｍ」の（１）では、瞬きのタイミング（瞬きする間隔、閉じたままの時間等）を設定する。また、図５（ｂ）に示す「Ｃｈａｒａ．ｂｍｏ」では、ＣＧキャラクタの表情として、そのＣＧキャラクタの口の動きや目の瞬き時におけるファイル名を設定する。具体的には、図５（ｂ）の（２）に示すように、ＣＧキャラクタが何もセリフを喋らない場合又は何らかのセリフ（言葉）を発声する場合（例えば、母音（"Ａ"、"Ｉ"、"Ｕ"、"Ｅ"、"Ｏ"）等）に対して何れかの画像の割り当てを行う。
【００６８】
なお、図５（ｂ）の（２）の例では、"ｍｏｕｔｈＣ．ｘ"が、口が閉じている状態の画像を示し、 "ｍｏｕｔｈＯ．ｘ"が、口が開いている状態の画像を示す。
【００６９】
また、図５（ｂ）の（３）に示すように、目の開閉時のそれぞれのＣＧデータを設定する。ここで、図５（ｂ）の（３）の例では、"ｅｙｅＣ．ｘ"が、目が閉じている状態の画像を示し、"ｅｙｅＯ．ｘ"が、目が開いている状態の画像を示す。また、図５（ｂ）の（４）に示すように、瞬きをどのように制御するかの制御方法を設定する。
【００７０】
更に、図５（ｃ）に示す「ｅｙｅＯ．ｘ」の（５）では、"ｉｍａｇｅ．ＪＰＧ"のテクスチャ画像に対して、目領域の形状データを設定し、図５（ｃ）に示す「ｅｙｅＯ．ｘ」の（６）では、目領域のテクスチャマッピング情報を設定する。これにより、面データに対する目領域のテクスチャ画像の貼り付け処理が行われる。
【００７１】
また、図６は、本実施形態におけるＣＧキャラクタの口部分の制御内容の一例を示す図である。図６に示す例では、口部分の制御を行うための「Ｃｈａｒａ．ｂｍｏ」と、口領域のテクスチャマッピング情報を設定する「ｍｏｕｓｅＯ．ｘ」との２種類の定義ファイルを有している。
【００７２】
図６（ａ）に示す「Ｃｈａｒａ．ｂｍｏ」では、（１）,（２）に示すように複数の表情に対するデータが設定されている。また、（３）に示すように口の開閉の制御方法を設定し、（４）に示すように、表情変更時における制御方法を設定する。
【００７３】
また、図６（ｂ）に示す「ｍｏｕｓｅＯ．ｘ」では、（５）に示す口領域の形状データと、（６）に示す口領域テクスチャマッピング情報が設定されており、これにより、ＣＧキャラクタの動作を、例えばＴＶＭＬ等を用いて再生することで、適切な動作を実現することができる。
【００７４】
なお、これらの定義ファイルは面データ貼り付け手段１５やテクスチャ変更手段１６等により生成され、再生手段１８において、読み出されることで、所定のＣＧキャラクタを設定することができる。
【００７５】
＜ＴＶＭＬを用いた記述例＞
ここで、本実施形態の適用例として、ＴＶＭＬを用いたテクスチャ画像データの変更時における記述例について具体的に説明する。
【００７６】
例えば、ＣＧキャラクタであるキャラクタＡ（"CharacterA"）を番組等に出演さえる場合には、キャラクタＡに対応した動作等を定義した定義ファイルを蓄積手段１３から取得し、その定義ファイルを参照してキャラクタＡの通常時の動作（例えば、目の瞬きやセリフに合わせた口の開閉等）を行う。
【００７７】
そこで、ＴＶＭＬの記述中に、例えば
character: expression(name=CharacterA, type=angry, time=1.0);
character: talk( name=CharacterA, text="怒っています", emotion=excite)
character: expression(name=CharacterA, type=happy, time=1.0);
character: talk( name=CharacterA, text="幸せです", emotion=excite)
のような記述が含まれていた場合、テクスチャ変更手段は、"type=angry"又は"type=happy"等のパラメータを認識し、そのタイプ（type）に合わせて上述した変形画像に切り替えを行う。これにより、目及び口の開閉画像と、その変形画像とを用いて様々な表情の顔画像を表示することができる。
【００７８】
＜画面生成例＞
次に、上述した画面生成手段１９における画面生成例について図を用いて説明する。なお、以下に示す画面例では、自分の顔写真を使用した「自分キャラ」を作成してニュースやバラエティのようなテレビ番組の映像を制作するときの画面例を示すものであり、番組制作時に上述したＣＧキャラクタ制作を含むものである。
【００７９】
＜メニュー画面例＞
図７は、本実施形態におけるメニュー画面の一例を示す図である。図７に示すメニュー画面５０は、番組制作手順の一例として、ユーザ向けに「キャラクタをつくろう」、「演出をえらぼう」、「映像をえらぼう」、「セリフをかんがえよう」、「声を入れよう」、「作品を見よう」等のタイトルが表示される。つまり、図７に示す番組制作手順は、具体的には、ＣＧキャラクタを制作するステップと、演出を選ぶステップと、映像を選ぶステップと、セリフを選ぶステップと、声を入れるステップと、作品を見るステップとを有している。
【００８０】
また、図７に示すＣＧキャラクタを制作するための図面の内容が表示されている。ＣＧキャラクタ制作手順としては、「自分キャラ」を制作するためにユーザ自らの顔写真を撮るステップと、ＣＧキャラクタの服や髪形等の格好を選ぶステップとを有しており、その他にも、顔イラストを選ぶステップやＣＧキャラクタを選ぶステップを有することもできる。
【００８１】
顔イラストを選ぶステップでは、ＣＧキャラクタ制作装置１０としてのパソコン（パーソナルコンピュータ）等の中に入っているイラストの中から顔を選択する。また、ＣＧキャラクタを直接選ぶステップでは、パソコン等の中に入っているＣＧキャラクタモデルを選択する。また、メニュー画面５０には、選択された状態でのＣＧキャラクタ５１を表示させることができる。
【００８２】
＜顔写真撮影画面＞
次に、顔写真撮影画面について、図を用いて説明する。図８は、顔写真を撮影する際に表示される画面の一例を示す図である。図８に示すように、顔写真撮影に対してユーザが同じ大きさの２枚の写真（目の開閉、口の開閉）を撮影することができるように、案内機能を有する顔写真撮影画面６０は、メニュー画面５０よりも前面に表示される。
【００８３】
ここで、顔写真撮影画面６０には、顔の予め設定した輪郭領域６１の中に入れ、図８に示すシャッターボタンを押して撮影を行う。このとき、図８の例では、目を入れる領域６２と、口を入れる領域６３とがうっすらと画面に表示されており、ユーザはその領域に目及び口の位置を合わせて撮影を行う。つまり、上述した輪郭の画像をディスプレイ等の出力手段１２に出力し、ユーザは、その画面を確認しながら撮像手段２２で撮影される顔画像の位置を調整して撮影を行うことができる。
【００８４】
図８の例では、画面音声案内に併せて目を開けて、口を閉じた状態の顔画像と、目を閉じて、顔を開けた状態の画像を撮影する。なお、音声案内では、例えば、「３、２、１、カシャ！」等の音声によりタイミングを合わせて所定の顔画像を撮影することができる。
【００８５】
また、シャッターボタンは、上述した２種類の画像を連続して撮影することができる。更に、シャッターボタンは、何度でも押すことができ、顔画像を撮り直すこともできる。
【００８６】
また、撮影した画像は、プレビュー画面表示領域６４−１，６４−２に表示されるため、撮影直後に２種類の写真を撮影し、取り直し等の処理を迅速に行うことができる。なお、図８の映像において、ウェブカメラの映像が青い部分だけ抜けて撮影された画像が見える。
【００８７】
これにより、ユーザは、同じ顔サイズの２種類の異なる画像を正確かつ容易に撮影することができる。更に、本実施形態において、ＣＧキャラクタを制作する初期設定の部分では、例えばＣＧキャラクタの格好や髪形を決定するために、複数の異なる服装や髪形が表示され、その中から設定させる画面を生成してもよく、また予め蓄積手段１３に予め蓄積されている複数のイラストから顔を選択させたり、既に制作したＣＧキャラクタの中から選択させるような画面を生成することもできる。
【００８８】
また、複数のＣＧキャラクタを番組に出演させる場合には、他の顔で上述の処理を行う。これにより、少なくとも１つのＣＧキャラクタを用いた番組を制作することができる。
【００８９】
＜演出設定画面＞
次に、本実施形態における演出設定画面について図を用いて説明する。図９は、本実施形態における演出設定画面の一例を示す図である。図９に示す演出設定画面７０は、スタジオセット、照明、カメラワーク等、その番組の大まかな内容を表示する。なお、演出設定画面７０は、メニュー画面５０よりも前面に表示される。
【００９０】
つまり、図９に示すように、演出設定画面７０では、複数の演出内容が所定のキャプチャ画面７１−１〜７１−６等に表示される。なお、このキャプチャ画面７１−１〜７１−６に表示されるものは静止画であってもよく動画であってもよい。
【００９１】
具体的には、例えば、背景が動画になっているレポータ風のものや、モニターを背負った「ニュース風」等のものがあるが、その他にも屋内・野外等のバラエティさを出すもの等を表示することができる。
【００９２】
なお、演出設定画面７０では、キャプチャ画像７１−４に示すように、現在選択されているアイテムは強調表示することができ、これにより、選択されているキャプチャ画像を容易に把握することができる。
【００９３】
＜映像選択画面＞
次に、本実施形態における映像選択画面について図を用いて説明する。図１０は、本実施形態における映像選択画面の一例を示す図である。
【００９４】
本実施形態における映像選択時には、図１０（ａ）に示すような映像選択画面８０が表示される。なお、映像選択画面８０は、メニュー画面５０よりも前面に表示される。また、映像選択画面８０は、映像を探すキーワードを入力するキーワード入力領域８１と、検索により得られる映像を表示する映像表示領域８２とを有している。
【００９５】
ここで、映像選択画面８０の映像を探すためのキーワードを入力し、検索ボタン（「さがす」ボタン）を選択すると、予め蓄積された所定のコンテンツデータベースを参照して、キーワードに対応する映像を抽出し、その抽出された映像を検索結果画面８３に表示する。なお、検索結果画面８３は、メニュー画面５０よりも前面に表示される。
【００９６】
ここで、検索結果画面８３には、検索の結果として得られた映像８４−１〜８４−５と、各映像に対する説明内容（例えば、タイトル、映像再生時間、内容の説明等）を表示する。なお、表示される映像数については、本発明においてはこれに限定されるものではない。
【００９７】
また、図１０（ｂ）に示すように、表示された映像８４−１〜８４−５のうち、選択されているアイテムには、強調表示をすることができる。更に、本実施形態では、アイテムが選択されているときに、映像検索結果画面８３の再生ボタンを選択すると、映像再生領域８５において、選択された映像を表示する。
【００９８】
これにより、ユーザは、映像の検索と、検索された映像の確認を容易に行うことができ、所望する映像を迅速に取得することができる。
【００９９】
＜セリフ設定画面＞
次に、本実施形態におけるセリフ設定画面について図を用いて説明する。図１１は、セリフ設定画面の一例を示す図である。図１１に示すセリフ設定画面９０は、映像を再生する映像再生領域９１と、その映像に対してアクションを選択するプルダウンメニュー９２と、映像を再生するタイミングを指定できるタイミング指定ボタン９３と、セリフ入力領域９４と、セリフ入力領域９４に入力された文章に対してＣＧキャラクタの表情を表示させる表情表示領域９５と、カメラアングルを設定するカメラアングル設定領域９６と、セリフ間隔指定ボタン９７とを有している。なお、セリフ設定画面９０は、メニュー画面５０よりも前面に表示される。
【０１００】
映像再生領域９１は、セリフ設定画面９０が有する再生ボタンで全てのセリフを先頭からプレビューするための画面である。つまり、セリフ設定画面９０には、複数のセリフが喋る順序で上から表示されており、映像再生領域９１は、この全てのセリフを喋る番組の内容を表示する。なお、本実施形態においては、上述した全てのセリフだけでなく、ユーザが指定した少なくとも１つのセリフについて表示させることができる。
【０１０１】
また、プルダウンメニュー９２は、映像に対して出演するＣＧキャラクタに対するアクションを選択するものであり、予め設定された「お辞儀をする」、「両手を挙げる」、「手を振る」といったアクションの内容を選択する。
【０１０２】
更に、タイミング指定ボタン９３は、映像を再生するタイミングを指定できるボタンである。つまり、タイミング指定ボタン９３により、セリフの喋り始めや喋った後に映像が再生されるように設定することができる。セリフ入力領域９４は、予めテンプレートテキストが入力されており、その文章にオリジナルの表現や言葉を設定する。また、表情表示領域９５は、設定されたセリフに合わせて、「怒っている」や「笑っている」等の所定の表情のキャラクタアニメーションが表示される。また、カメラアングル設定領域９６は、ＣＧキャラクタを撮影するカメラのアングル（例えば、ズーム、パン等）を設定する。なお、表情表示領域９５及びカメラアングル設定領域９６は、予め設定された値が設定されている。また、これらの各領域を選択すると別ウィンドウが表示され、大きな画面での表示を行うことができる。
【０１０３】
ここで、セリフ設定画面９０は、ＣＧキャラクタに喋らせるための複数のセリフやナレーションが喋る順序で表示されている。つまり、ユーザは、セリフ設定画面９０を用いてＣＧキャラクタが喋るセリフや番組中のナレーション等を、入力手段１１等を用いて設定する。
【０１０４】
また、本実施形態では、各セリフやナレーションを出力する間隔（間）を指定するためにセリフ間隔指定ボタン９７により、間を調整することができる。なお、本実施形態では、セリフ間隔指定ボタン９７をクリックすると、ボタンの数が増え、１つのボタンあたり、約０．５〜３秒のうち、予め設定された秒数の間が設定される。これにより、ユーザは、セリフの間を容易に設定することができ、また間の間隔を画面から容易に取得することができる。
【０１０５】
＜音声入力画面＞
次に、本実施形態における音声入力画面について図を用いて説明する。図１２は、本実施形態における音声入力画面の一例を示す図である。図１２に示す音声入力画面１００は、映像表示領域１０１と、音声入力用の台本表示領域１０２とを有している。なお、音声入力画面１００は、メニュー画面５０よりも前面に表示される。
【０１０６】
また、図１２の音声入力画面１００には、音声を録音するための録音ボタン１０３、音声を再生するための音声再生ボタン１０４、及び、音声や台本（原稿）を削除するための削除ボタン１０５を有しており、それぞれのボタンにより、ＣＧキャラクタに喋らせる音声を録音したり、再生したり、削除したりすることができる。なお、録音ボタン１０３を選択し、録音状態となっているときには、録音ボタン１０３は停止ボタンに変わり、その停止ボタンを選択することで、録音が停止される。
【０１０７】
＜番組再生画面＞
次に、本実施形態における番組再生画面について図を用いて説明する。図１３は、本実施形態における番組再生画面の一例を示す図である。図１３における番組再生画面１１０では、全画面再生ボタンと保存ボタンとを有している。なお、番組再生画面１１０は、メニュー画面５０よりも前面に表示される。
【０１０８】
番組再生画面１１０は、全画面再生ボタンを選択することで、今までに設定された内容で番組の再生を全画面で表示する。なお、本実施形態において、途中で再生を中止する場合には、中止ボタンを設けてもよく、また所定のキー（例えば、ｅｓｃａｐｅキー）等を選択することで、中止させてもよい。また、保存ボタンを選択することにより、例えば保存ダイアログで名前を付けて保存したり、サーバ等の外部機器でレンダリングするために、予めマウントされているサーバ内に保存されるように設定してもよい。なお、設定は、例えばｉｎｉファイルで定義しておくことが好ましい。
【０１０９】
本実施形態では、上述した各種画面例を画面生成手段１９により生成し、出力手段１２に出力することで、ユーザはその画面を見ながら容易に本実施形態におけるＣＧキャラクタやそのＣＧキャラクタを用いた番組を制作することができる。
【０１１０】
＜実行プログラム＞
ここで、上述したＣＧキャラクタ制作装置１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。
【０１１１】
したがって、ＣＧキャラクタ制作装置１０が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【０１１２】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（ＣＧキャラクタ制作プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、番組制作処理を実現することができる。なお、本発明における実行プログラムによる処理については、例えば上述した各処理を実現することができる。
【０１１３】
次に、本発明における実行プログラムによる処理手順についてＣＧキャラクタ制作処理手順と、ＣＧキャラクタ制作を含めた番組制作処理について、フローチャートを用いて説明する。なお、以下の処理の説明では、コンテンツの一例として番組を用いるが、本発明におけるコンテンツの種類については、これに限定されるものではない。
【０１１４】
＜ＣＧキャラクタ制作処理手順＞
図１４は、本実施形態におけるＣＧキャラクタ制作処理手順の一例を示すフローチャートである。図１４において、例えば、上述したように撮影用の画面をディスプレイ等の出力手段１２に表示し（Ｓ０１）、撮像手段２２により撮影された目及び口を開閉させた２枚の画像を取得する（Ｓ０２）。
【０１１５】
次に、Ｓ０２の処理により取得した画像に対して予め設定されたＣＧキャラクタの頭の面データに対して、面データ貼り付け処理を行い（Ｓ０３）、更に、ＣＧキャラクタの喋る内容や動作の内容等により表情を変える場合には、上記の内容に応じてテクスチャの変更を行う（Ｓ０４）。また、変更された情報に基づいてＣＧキャラクタ定義ファイルを生成する（Ｓ０５）。更に、定義されたＣＧキャラクタを表示する（Ｓ０６）。ここで、ＣＧキャラクタが所望した通りに動作しない場合には、Ｓ０２〜Ｓ０４等の処理に戻り設定の変更等を行う。また、ＣＧキャラクタが納得のいくものであった場合、そのＣＧキャラクタ定義ファイルによりＣＧキャラクタを登録する（Ｓ０７）。
【０１１６】
ここで、他のＣＧキャラクタを制作するか否かを判断し（Ｓ０８）、他のＣＧキャラクタを制作する場合（Ｓ０８において、ＹＥＳ）、Ｓ０１に戻り設定等を変えて後続の処理を行うことで、他の条件におけるＣＧキャラクタの制作を行う。また、Ｓ０８の処理において、他のＣＧキャラクタの制作をしない場合（Ｓ０８において、ＮＯ）、ユーザ等の終了指示等によりＣＧキャラクタ制作処理を終了する。
【０１１７】
＜番組制作処理手順＞
次に、本実施形態における番組制作処理手順についてフローチャートを用いて説明する。図１５は、本実施形態における番組制作処理手順の一例を示すフローチャートである。図１５において、例えば、上述したように撮影用の画面をディスプレイ等の出力手段１２に表示し（Ｓ１１）、撮像手段２２により撮影された目及び口を開閉させた２枚の画像を取得する（Ｓ１２）。
【０１１８】
次に、Ｓ１２の処理により取得した画像に対して、ＣＧキャラクタの特徴をより具体化するために、予め蓄積手段１３等に蓄積された服や髪形等の格好の選択を行い（Ｓ１３）、Ｓ１２の処理により取得した画像と、Ｓ１３の処理により選択された服や髪形等に基づいて、その番組に出演するＣＧキャラクタを作成する（Ｓ１４）。
【０１１９】
次に、番組の演出を選択し（Ｓ１５）、ＣＧキャラクタのセリフを設定し（Ｓ１６）、そのセリフに合わせたＣＧキャラクタの喋りに合わせた音声やナレーションに合わせた音声等を入力する（Ｓ１７）。これらの設定により番組を制作し（Ｓ１８）、制作された番組を再生する（Ｓ１９）。なお、番組の修正や変更等を行う場合には、Ｓ１１〜Ｓ１７から選択される変更対象の処理に戻って対応する処理が行われる。
【０１２０】
ここで、他の番組を制作するか否かを判断し（Ｓ２０）、他の番組を制作する場合（Ｓ２０において、ＹＥＳ）、Ｓ１１に戻り設定等を変えて後続の処理を行うことで、他の条件における番組の制作を行うことができる。また、Ｓ２０の処理において、他の番組の制作をしない場合（Ｓ２０において、ＮＯ）、ユーザ等の終了指示等により番組制作処理を終了する。
【０１２１】
上述したように本発明によれば、ユーザが簡単に表情のあるＣＧキャラクタを制作することができる。具体的には、本発明によれば、一般ユーザが簡単にカスタマイズしたキャラクタモデルを使ったアニメーション等の番組を制作することができる。また、本発明では、カメラ等の撮像手段により撮影した写真画像がそのまま使用できるため、例えば自分の写真を撮ってテクスチャ画像にすることにより、あたかも自分の分身のキャラクタを制作することができる。また、本発明によれば、定義ファイル等を用いて適当なタイミングでの瞬きや喋りに合わせた口の開閉等を行うことができ、より自然なアニメーションを制作することができる。
【０１２２】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１２３】
１０ ＣＧキャラクタ制作装置
１１ 入力手段
１２ 出力手段
１３ 蓄積手段
１４ 画像取得手段
１５ 面データ貼り付け手段
１６ テクスチャ変更手段
１７ 番組制作手段
１８ 再生手段
１９ 画面生成手段
２０ 送受信手段
２１ 制御手段
２２ 撮像手段
３０ ＣＧキャラクタモデル
３１，３２，４１ 写真画像
３３ ＣＧモデル
３４ 画像
４２，４３ 変形画像
５０ メニュー画面
５１ ＣＧキャラクタ
６０ 顔写真撮影画面
６１ 輪郭領域
６２，６３ 領域
６４ プレビュー画面表示領域
７０ 演出設定画面
７１ キャプチャ画面
８０ 映像選択画面
８１ キーワード入力領域
８２ 映像表示領域
８３ 検索結果画面
８４ 映像
８５ 再生領域
９０ セリフ設定画面
９１ 映像再生領域
９２ プルダウンメニュー
９３ タイミング指定ボタン
９４ セリフ入力領域
９５ 表情表示領域
９６ カメラアングル設定領域
９７ セリフ間隔指定ボタン
１００ 音声入力画面
１０１ 映像表示領域
１０２ 台本表示領域
１１０ 番組再生画面
【特許請求の範囲】
【請求項１】
テクスチャ画像データを用いてＣＧキャラクタモデルを制作するＣＧキャラクタ制作装置において、
前記ＣＧキャラクタモデルとなる人物の目及び口の開閉状態におけるそれぞれの画像を取得する画像取得手段と、
前記画像取得手段により得られる画像を前記テクスチャ画像データとし、前記ＣＧキャラクタモデルの頭部として設定された形状の面データに貼り付ける面データ貼り付け手段と、
前記面データ貼り付け手段により前記面データに貼り付けられた前記テクスチャ画像データを前記ＣＧキャラクタのセリフ又は動作に対応させて変更するテクスチャ変更手段とを有することを特徴とするＣＧキャラクタ制作装置。
【請求項２】
前記テクスチャ変更手段は、
前記画像取得手段により得られた画像を変形させて異なる顔の表情を生成し、生成した変形画像を用いて前記ＣＧキャラクタのセリフに対応させた変更を行うことを特徴とする請求項１に記載のＣＧキャラクタ制作装置。
【請求項３】
前記画像取得手段により取得される画像が同一の顔サイズとなるように、撮影時の顔の位置を固定させるための案内画面を生成する画面生成手段を有することを特徴とする請求項１又は２に記載のＣＧキャラクタ制作装置。
【請求項４】
前記テクスチャ変更手段は、
前記面データに貼り付ける前記テクスチャ画像データを切り替える変更条件を定義したＣＧキャラクタ定義ファイルを生成することを特徴とする請求項１乃至３の何れか１項に記載のＣＧキャラクタ制作装置。
【請求項５】
前記テクスチャ変更手段により得られた少なくとも１つのＣＧキャラクタを用いた番組を制作する番組制作手段を有することを特徴とする請求項１乃至４の何れか１項に記載のＣＧキャラクタ制作装置。
【請求項６】
コンピュータを、請求項１乃至５の何れか１項に記載のＣＧキャラクタ制作装置として機能させることを特徴とするＣＧキャラクタ制作プログラム。
【請求項１】
テクスチャ画像データを用いてＣＧキャラクタモデルを制作するＣＧキャラクタ制作装置において、
前記ＣＧキャラクタモデルとなる人物の目及び口の開閉状態におけるそれぞれの画像を取得する画像取得手段と、
前記画像取得手段により得られる画像を前記テクスチャ画像データとし、前記ＣＧキャラクタモデルの頭部として設定された形状の面データに貼り付ける面データ貼り付け手段と、
前記面データ貼り付け手段により前記面データに貼り付けられた前記テクスチャ画像データを前記ＣＧキャラクタのセリフ又は動作に対応させて変更するテクスチャ変更手段とを有することを特徴とするＣＧキャラクタ制作装置。
【請求項２】
前記テクスチャ変更手段は、
前記画像取得手段により得られた画像を変形させて異なる顔の表情を生成し、生成した変形画像を用いて前記ＣＧキャラクタのセリフに対応させた変更を行うことを特徴とする請求項１に記載のＣＧキャラクタ制作装置。
【請求項３】
前記画像取得手段により取得される画像が同一の顔サイズとなるように、撮影時の顔の位置を固定させるための案内画面を生成する画面生成手段を有することを特徴とする請求項１又は２に記載のＣＧキャラクタ制作装置。
【請求項４】
前記テクスチャ変更手段は、
前記面データに貼り付ける前記テクスチャ画像データを切り替える変更条件を定義したＣＧキャラクタ定義ファイルを生成することを特徴とする請求項１乃至３の何れか１項に記載のＣＧキャラクタ制作装置。
【請求項５】
前記テクスチャ変更手段により得られた少なくとも１つのＣＧキャラクタを用いた番組を制作する番組制作手段を有することを特徴とする請求項１乃至４の何れか１項に記載のＣＧキャラクタ制作装置。
【請求項６】
コンピュータを、請求項１乃至５の何れか１項に記載のＣＧキャラクタ制作装置として機能させることを特徴とするＣＧキャラクタ制作プログラム。
【図２】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−９３９１３（Ｐ２０１２−９３９１３Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２４００２２（Ｐ２０１０−２４００２２）
【出願日】平成２２年１０月２６日（２０１０．１０．２６）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２６日（２０１０．１０．２６）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]