映像コンテンツ制作装置及び映像コンテンツ制作プログラム
【課題】映像コンテンツ制作時に高度なアドリブ制御を実現する。
【解決手段】コンテンツに与える演出・効果を示す演出情報を用いて、対応する映像コンテンツを制作する映像コンテンツ制作装置において、前記演出情報を各処理単位で読み出し、読み出した演出情報を、予め設定された複数の演出生成手段のうち、何れか又は両方の演出生成手段に割り当てる演出生成制御手段と、再生中の映像コンテンツの現時点におけるオブジェクトの内部情報を取得し、取得した内部情報から次の演出内容を含むコンテンツ情報を生成する第１の演出生成手段と、予め蓄積されたテンプレートの内容を前記演出情報の記述内容で置換し、予め設定される演出内容を含むコンテンツ情報を生成する第２の演出生成手段と、前記第１の演出生成手段及び／又は前記第２の演出生成手段とから得られるコンテンツ情報に基づいて映像コンテンツを再生する再生手段とを有する。
【解決手段】コンテンツに与える演出・効果を示す演出情報を用いて、対応する映像コンテンツを制作する映像コンテンツ制作装置において、前記演出情報を各処理単位で読み出し、読み出した演出情報を、予め設定された複数の演出生成手段のうち、何れか又は両方の演出生成手段に割り当てる演出生成制御手段と、再生中の映像コンテンツの現時点におけるオブジェクトの内部情報を取得し、取得した内部情報から次の演出内容を含むコンテンツ情報を生成する第１の演出生成手段と、予め蓄積されたテンプレートの内容を前記演出情報の記述内容で置換し、予め設定される演出内容を含むコンテンツ情報を生成する第２の演出生成手段と、前記第１の演出生成手段及び／又は前記第２の演出生成手段とから得られるコンテンツ情報に基づいて映像コンテンツを再生する再生手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツ制作装置及び映像コンテンツ制作プログラムに係り、特に映像コンテンツ制作時に高度なアドリブ制御を実現するための映像コンテンツ制作装置及び映像コンテンツ制作プログラムに関する。
【背景技術】
【０００２】
従来、簡単な台本の記述によりＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）をベースとする番組等の映像コンテンツを自動的に制作する技術が存在する（例えば、特許文献１及び２参照）。この技術では、例えば、台本をＡＰＥ（Ａｕｔｏｍａｔｉｃ Ｐｒｏｇｒａｍ Ｅｎｇｉｎｅ）と呼ばれる演出付加ユニットに入力するだけで、台本の記述に対応させて映像コンテンツを生成するための詳細な情報（例えば、ＴＶＭＬ（ＴＶ ｐｒｏｇｒａｍ Ｍａｋｉｎｇ Ｌａｎｇｕａｇｅ）スクリプト等）を生成することができる（例えば、非特許文献１参照）。
【０００３】
ここで、ＴＶＭＬとは、テレビ番組を制作するためのスクリプトベース記述言語である。例えば、入力テキストとして「こんにちは」という文字がＡＰＥに入力された場合には、ＡＰＥが文字列解析処理等を行い、出力テキストとして、「ｃｈａｒａｃｔｅｒ：ｔａｌｋ（ｎａｍｅ＝ＣｈａｒａｃｔｅｒＡ，ｔｅｘｔ＝"こんにちは"）」というＴＶＭＬスクリプトを出力することができる。
【０００４】
また従来では、上述したＴＶＭＬスクリプトを映像コンテンツ生成エンジン（以下、ＴＶＭＬプレイヤー（Ｐｌａｙｅｒ）という）等の再生手段に入力することで、台本にあった映像コンテンツを生成し、生成したコンテンツを画面等に出力してユーザに提示している。このような仕組みにより、映像コンテンツ制作の経験や技術、ＣＧに関する技術や知識がなくても、誰でも簡単に映像コンテンツを制作することができるようになっている。
【０００５】
また従来では、上述した技術を利用して、例えば、映像コンテンツに登場するＣＧキャラクタ（ＣＧ出演者）の動作やカメラワーク等の動作、映像的効果等を簡単な記述様式により動作対象毎に記述し、またその動作単位でＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）のキーボードやコントローラ等に割り当てておき、これをユーザのタイミングで、所望の動作を登録してあるキーボードやコントローラを操作することで、ＣＧキャラクタの動作やカメラワーク等を制御した映像を出力する仕組みも開発されている。
【０００６】
また従来では、上述したような動作単位での登録ではなく、例えば番組のＣＧスタジオセット内をＣＧキャラクタが歩き回る際の歩く位置や、カメラワークを行うためのカメラの設置場所、パン・チルト・ズーム等の制御を、予め設定した数値データを直接入力することで実施できる仕組みがある。
【０００７】
これは、上述したＡＰＥに映像コンテンツ内のＣＧキャラクタやカメラワーク等の動作を詳細に指定しておき、ユーザによるキーボード等の操作にしたがって、対応する簡単な動作記述内容がＡＰＥに入力され、ＡＰＥにより動作記述内容に対応するＴＶＭＬスクリプトが生成され、生成されたＴＶＭＬスクリプトがＴＶＭＬプレイヤーによりユーザに出力される。これらの仕組みを使うことで、映像コンテンツ制作の経験や技術、ＣＧに関する技術や知識がなくてもＣＧキャラクタの動作やカメラワークを操作したユーザのタイミングで制御した映像を出力することができる。
【０００８】
また、上述した仕組みを利用することで、例えば１つの番組を制作する際に、一部のＣＧキャラクタの動作やカメラワーク等を手動で制御し、それ以外のＣＧキャラクタの動作やカメラワークを従来のＡＰＥの仕組みによりシステム側で自動的に制御することができる。また、予め簡単な記述様式で台本を記述しておき、この台本記述を予め指定した時間で自動的に進行させる仕組みを利用することで、ＣＧキャラクタやカメラ（カメラワーク）に対して、ユーザ等の人間の操作による制御と、台本による自動制御とを混在させて、映像コンテンツを制作することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第４０１７２９０号公報
【特許文献２】特許第４２７６３９３号公報
【非特許文献】
【００１０】
【非特許文献１】Ｈａｙａｓｈｉ，Ｄｏｕｋｅ，Ｈａｍａｇｕｃｈｉ，"Ａｕｔｏｍａｔｉｃ ＴＶ Ｐｒｏｇｒａｍ Ｐｒｏｄｕｃｔｉｏｎ ｗｉｔｈ ＡＰＥｓ"，Ｃ５ Ｔｈｅ Ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｒｅａｔｉｎｇ，Ｃｏｎｎｅｃｔｉｎｇ ａｎｄ Ｃｏｌｌａｂｏｒａｔｉｎｇ ｔｈｒｏｕｇｈ Ｃｏｍｐｕｔｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ，Ｐｒｏｃｅｅｄｉｎｇｓ ｐｐ．１８−２３（２００４．１）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した従来の仕組みでは、ＡＰＥは予め設定されたパターンの動作を生成する仕組みしか持っていない。そのため、例えばＰＣのキーボードを押した際は、何回押してもそのキーボードに割り当てられた同じ動作しか実行されない。
【００１２】
また従来では、上述したようにＣＧキャラクタやカメラ（カメラワーク）に対して、ユーザ等の人間の操作による制御とシステムによる自動制御とを混在させて、映像コンテンツの制作ができる仕組みが存在するが、このような仕組みでは、人間は予め記述された台本の通りにＣＧキャラクタやカメラを動作させなければならない。これは、ＡＰＥにより自動制御されるＣＧキャラクタやカメラ等は、台本の記述にしたがって毎回同じ動作しかできず、人間の操作によるブレや、台本記述と異なるその場のアドリブ的な操作には対応できないためである。
【００１３】
また従来の仕組みでは、システム側で自動制御されるＣＧキャラクタやカメラ等は、予め台本に記載された動作しかできない。すなわち、台本が存在しない場合は、ユーザによる操作と自動制御による動作とを混在させた、映像コンテンツを生成することができなかった。
【００１４】
本発明は、上述した問題点に鑑みなされたものであり、映像コンテンツ制作時に高度なアドリブ制御を実現するための映像コンテンツ制作装置及び映像コンテンツ制作プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１６】
請求項１に記載された発明は、コンテンツに与える演出・効果を示す演出情報を用いて、対応する映像コンテンツを制作する映像コンテンツ制作装置において、前記演出情報を各処理単位で読み出し、読み出した演出情報を、予め設定された複数の演出生成手段のうち、何れか又は両方の演出生成手段に割り当てる演出生成制御手段と、再生中の映像コンテンツの現時点におけるオブジェクトの内部情報を取得し、取得した内部情報から次の演出内容を含むコンテンツ情報を生成する第１の演出生成手段と、予め蓄積されたテンプレートの内容を前記演出情報の記述内容で置換し、予め設定される演出内容を含むコンテンツ情報を生成する第２の演出生成手段と、前記第１の演出生成手段及び／又は前記第２の演出生成手段とから得られるコンテンツ情報に基づいて映像コンテンツを再生する再生手段とを有することを特徴とする。
【００１７】
請求項１記載の発明によれば、映像コンテンツ制作時に高度なアドリブ制御を実現することができる。
【００１８】
請求項２に記載された発明は、前記第１の演出生成手段は、前記内部情報に対応させて、前記演出情報を変更するための演出生成ルールを設定することを特徴とする。
【００１９】
請求項３に記載された発明は、前記第１の演出生成手段は、前記内部情報に基づく履歴情報を蓄積する履歴情報データベースを有することを特徴とする。
【００２０】
請求項４に記載された発明は、前記再生手段は、所定の時間間隔で前記内部情報を生成することを特徴とする。
【００２１】
請求項５に記載された発明は、ユーザにより操作された内容を取得し、取得した操作内容に基づいてアドリブ制御を行うアドリブ制御手段を有し、前記アドリブ制御手段は、入力された操作内容に含まれる識別情報に基づいて演出情報を生成し、生成した演出情報を前記演出生成制御手段に出力するか、又は前記再生手段においてコンテンツを再生するためのパラメータ値を生成し、生成したパラメータ値を前記再生手段に出力することを特徴とする。
【００２２】
請求項６に記載された発明は、前記演出情報は、前記映像コンテンツに登場するＣＧキャラクタ及び／又はカメラワークに対する演出を含むことを特徴とする。
【００２３】
請求項７に記載された発明は、コンピュータを、請求項１乃至６の何れか１項に記載の映像コンテンツ制作装置として機能させることを特徴とする映像コンテンツ制作プログラムである。
【００２４】
請求項７記載の発明によれば、映像コンテンツ制作時に高度なアドリブ制御を実現することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に映像コンテンツ制作処理を実現することができる。
【発明の効果】
【００２５】
本発明によれば、映像コンテンツ制作時に高度なアドリブ制御を実現することができる。
【図面の簡単な説明】
【００２６】
【図１】本実施形態における番組制作装置の機能構成の一例を示す図である。
【図２】本実施形態における台本及びパラメータ／ＴＶＭＬスクリプトの一例を示す図である。
【図３】本実施形態における制作処理手順の一例を示すフローチャートである。
【図４】実施例２に対応する映像コンテンツ制作時の第１の具体例を示す図である。
【図５】第１の具体例に対応する各処理動作の一例を示すフローチャートである。
【図６】実施例２に対応する映像コンテンツ制作時の第２の具体例を示す図である。
【図７】第２の具体例に対応する各処理動作を説明するための図である。
【図８】他の実施形態における番組制作装置の構成例を示す図である。
【図９】他の実施形態における自動動作演出用の適応型演出生成処理内容を説明するための図である。
【図１０】ユーザ制御時の処理動作手順を示すフローチャートである。
【図１１】自動制御時の処理動作手順を示すフローチャートである。
【図１２】自動制御時の処理動作の具体例を説明するための画面例を示す図である。
【図１３】自動制御時の各動作における処理内容を説明するためのフローチャートである。
【発明を実施するための形態】
【００２７】
＜本発明について＞
本発明は、例えば映像コンテンツ内のＣＧキャラクタの動作やカメラワークといった映像効果を、ＣＧキャラクタやカメラ等の動作を行うオブジェクト単位でアドリブ的（補完的）に制御し、その結果をリアルタイムに映像として出力することを可能とするものである。
【００２８】
具体的には、本発明では、例えば映像コンテンツの今現在の状況に応じて、適切な演出を生成する適応型演出生成の仕組みを導入する。例えば、本実施形態では、適応型演出生成手段等を有して映像コンテンツの状態をリアルタイムに把握し、且つコンテンツを制作するための不可変情報等と共にコンテンツ情報として利用する。
【００２９】
また、これらのコンテンツ情報に基づいて、コンテンツの状況に応じた目的の演出を達成するための動作規則（ルール）を使用し、動作演出を生成するものとする。更に、本発明では、コンテンツの状況及びルールに、演出生成の回数を保持する仕組みを設けて、同一の状況が複数回発生した場合でも、異なる演出の生成を可能とする。また、上述した演出生成は、ＣＧキャラクタやカメラ等の動作を行うオブジェクト単位で持たせる。
【００３０】
以下に、上述したような特徴を有する本発明における映像コンテンツ制作装置及び映像コンテンツ制作プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００３１】
なお、本実施形態では、制作する映像コンテンツの一例として番組を用いることとし、また番組の制作や提示等に用いられるスクリプトの一例としてＴＶＭＬを用いることとするが、本発明においてはこれに限定されず、他の映像コンテンツやスクリプトを用いてもよい。
【００３２】
＜番組制作装置（映像コンテンツ制作装置）：概略構成例＞
図１は、本実施形態における番組制作装置の機能構成の一例を示す図である。図１に示す番組制作装置１０は、入力手段１１と、アドリブ制御手段１２と、番組制作手段１３と、不可変情報データベース１４と、再生手段１５とを有するよう構成されている。また、番組制作手段１３は、演出生成制御手段２１と、第１の演出生成手段としての適応型演出生成手段２２と、第２の演出生成手段としてのテンプレート演出生成手段２３と、演出生成ルール２４と、テンプレートＴＶＭＬスクリプト群２５とを有するよう構成されている。なお、本実施形態では、適応型演出生成手段２２と演出生成ルール２４、及び、テンプレート演出生成手段２３とテンプレートＴＶＭＬスクリプト群２５を別体としているが、本発明においてはこれに限定されるものではなく、例えば、適応型演出生成手段２２と演出生成ルール２４とを一体とし、テンプレート演出生成手段２３とテンプレートＴＶＭＬスクリプト群２５とを一体としてもよい。
【００３３】
入力手段１１は、例えば、番組制作装置１０がＰＣ等の汎用のコンピュータであれば、キーボード（Ｋｅｙｂｏａｒｄ）やゲームパッド、マウス等の各種コントローラからなり、ユーザ等からの入力等により本実施形態における各構成の実行指示（アドリブ制御指示、演出生成指示、再生指示）等の入力や、ＣＧキャラクタやカメラ等のオブジェクトに対する動作の入力（操作内容）を受け付ける。また、番組制作装置１０が携帯端末等であれば、携帯端末等に設けられた各操作ボタン群やタッチパネル等により、上述の入力を行う。
【００３４】
また、入力手段１１では、各種コントローラ等に設けられた１又は複数のボタン等を用い、そのボタンに対して予め割り当てられている台本（演出）の内容をアドリブ制御手段１２に出力する。
【００３５】
アドリブ制御手段１２は、入力手段１１から入力されたユーザからの入力データに基づいてアドリブ用の台本等を生成する。また、アドリブ制御手段１２は、例えば、映像コンテンツ内のＣＧキャラクタの動作やカメラワークについて、台本ではなく、動作に必要なパラメータやＴＶＭＬスクリプト（パラメータ／ＴＶＭＬスクリプト）を生成する。
【００３６】
具体的には、アドリブ制御手段１２は、入力手段１１からの入力データの内容を解析し、データに予め設定されているフラグや単語、文字、マーク、記号等の識別情報に基づいて、アドリブ用台本、又は、再生手段１５により番組を再生するためのパラメータやＴＶＭＬスクリプトを生成する。
【００３７】
また、アドリブ制御手段１２は、識別情報等に対応させてアドリブ台本を生成した場合には、そのアドリブ台本を演出生成制御手段２１に出力し、また識別情報に対応させてパラメータやＴＶＭＬスクリプトを生成した場合には、そのスクリプトを再生手段１５に出力する。
【００３８】
番組制作手段１３は、入力される台本情報と、不可変情報データベース１４に蓄積された番組を生成するために必要なデータと、再生手段１５からの内部情報等に基づいて番組を制作する。
【００３９】
ここで、不可変情報とは、例えば番組に使用されるＣＧ小道具（壁、扉、机、椅子、テレビ、靴、帽子、おもちゃ等）に対する形状や特徴、用途、画像や映像等の素材等、どのような演出であっても変わることがない情報（メタデータ等）である。また、内部情報とは、例えば、番組におけるＣＧキャラクタの現在位置座標やＣＧ小道具の現在位置、カメラ位置座標等がある。
【００４０】
具体的には、番組制作手段１３における演出生成制御手段２１は、演出生成処理用のコントローラであり、例えば外部からの台本（ＡＰＥスクリプト）、又は、アドリブ制御手段１２より得られるアドリブ用台本を解釈し、ＣＧキャラクタやカメラワーク等の動作オブジェクトを制御するためのＴＶＭＬスクリプト生成を生成するため、台本内に記述される予め設定されたフラグや単語、文字、マーク、記号等に基づいて適応型演出生成手段２２又はテンプレート型演出生成手段２３の何れかに割り振って、そのデータを出力する。
【００４１】
また、演出生成制御手段２１は、適応型演出生成手段２２又はテンプレート型演出生成手段２３により得られるＴＶＭＬスクリプトを再生手段１５に出力する。
【００４２】
適応型演出生成手段２２は、演出生成制御手段２１から得られた台本を解釈する。具体的には、適応型演出生成手段２２は、再生手段１５の内部情報から映像コンテンツの現在の再生状態と、映像コンテンツ生成に用いているＣＧモデルに付加したメタデータとから、不可変情報データベース１４であるＣＧモデルの形状や役割の情報を取得する。
【００４３】
また、適応型演出生成手段２２は、演出生成制御手段２１から得られた台本を解釈し、予め設定された演出生成ルール２４により、コンテンツの状況に応じた演出を生成するＴＶＭＬスクリプトを生成する。また、適応型演出生成手段２２は、生成されたＴＶＭＬスクリプトを演出生成制御手段２１に出力する。
【００４４】
つまり、適応型演出生成手段２２は、再生手段１５からの内部情報及び不可変情報データベース１４から得られる各種メタデータから、再生手段１５により現時点で再生されているシーンの状況に適応したＴＶＭＬスクリプトを動作が達成されるまで予め設定された時間間隔等の所定のタイミングで繰り返し生成する。
【００４５】
テンプレート型演出生成手段２３は、演出生成制御手段２１から得られた台本を解釈し、予め設定された雛形のＴＶＭＬスクリプトが蓄積されたテンプレートＴＶＭＬスクリプト群２５から、台本の内容に合ったスクリプト情報を取得し、目的の演出を生成するＴＶＭＬスクリプトを生成する。また、テンプレート型演出生成手段２３は、生成されたＴＶＭＬスクリプトを演出生成制御手段２１に出力する。
【００４６】
つまり、テンプレート型演出生成手段２３は、入力される台本に対して、現時点で再生手段１５により再生されているシーンの状態に関係なく台本に対応するＴＶＭＬスクリプトを１度生成して処理を終了する。なお、テンプレート型演出生成手段２３は、その仕組みが単純であるため、高度な制御を必要としない演出動作は、テンプレート型演出生成処理により演出生成を行う。
【００４７】
ここで、本実施形態において、外部から入力される台本を、演出生成制御手段２１から適応型演出生成手段２２及びテンプレート型演出生成手段２３に送信するタイミングは、予め設定された時間間隔であってもよく、またユーザからの割り込み制御情報や指示情報等の入力のタイミングであってもよく、また、ユーザにより指示された時間のタイミングであってもよい。
【００４８】
再生手段１５は、ＴＶＭＬプレイヤー等の専用のアプリケーション又はブラウザ等を用いて入力されるＴＶＭＬスクリプトに対応する番組制作エンジン（ＡＰＥ）や画像データ等の素材データを取得し、取得した各種情報を用いて番組を生成し、生成した番組を再生する。また、再生手段１５は、現時点で再生されている番組の状況（ＣＧキャラクタの位置、台詞、ＣＧ小道具のような物体オブジェクトの位置、カメラワーク等）を内部情報として、所定の時間間隔や台本の１つの演出の実行後に取得し、取得した内部情報を適応型演出生成手段２２に出力する。
【００４９】
＜データ例＞
ここで、本実施形態における台本及びパラメータ／ＴＶＭＬスクリプトのデータ例について図を用いて説明する。図２は、本実施形態における台本及びパラメータ／ＴＶＭＬスクリプトの一例を示す図である。なお、図２（ａ）は、台本情報の一例を示し、図２（ｂ）は、パラメータ／ＴＶＭＬスクリプトの一例を示し、図２（ｃ）は、演出生成ルール２４の一例示し、図２（ｄ）は、テンプレートＴＶＭＬスクリプト群２５の一例を示している。なお、図２（ａ），（ｂ）は、共にアドリブ制御手段１２により生成されるデータ例である。
【００５０】
図２（ａ）の台本情報では、例えば、キャラクタＡとキャラクタＢの２人のＣＧキャラクタに対する動作を制御する台本例（例えば、Ａ：（モニタ横へ歩く）、Ｂ：（モニタ横へ歩く）、Ａ：（相手を見る）、・・・）が示されている。なお、台本情報としては、動作制御の他にも台詞や画像データ、音声データ、動画データ、テキストデータ等の読み出し制御、表示制御等も含まれる。アドリブ制御手段１２は、入力手段１１により入力される情報から図２（ａ）に示すフォーマットの台本情報を生成し、生成された台本情報を演出生成制御手段２１に出力する。
【００５１】
また、図２（ｂ）のパラメータ／ＴＶＭＬスクリプトでは、カメラパラメータ（３次元（例えば、横、縦、奥行き等）のカメラ位置（ｘｃ，ｙｃ，ｚｃ），ｐａｎ（水平向き角度），ｔｉｌｔ（垂直向き角度），ｖａｎｇｌｅ（画角））やＴＶＭＬスクリプト（例えば、ＣＧキャラクタが歩く座標（Ｘｎ＝ｘｏ＋△ｘ，Ｚｎ＝ｚｏ＋△ｚ）、ｃｈａｒａｃｔｅｒ：ｗａｌｋ（ｎａｍｅ＝Ａ，ｘ＝Ｘｎ，ｚ＝Ｚｎ）等が示されている。
【００５２】
アドリブ制御手段１２は、入力手段１１により入力された情報から予め設定されたフラグや単語、文字、記号、或いはユーザからの指示内容等により、入力データからパラメータ／ＴＶＭＬスクリプトを生成する。
【００５３】
また、図２（ｃ）に示す演出生成ルールは、一例として番組のスタジオに存在するモニタに対して、その横にＣＧキャラクタを歩かせる演出生成ルールが示されている。なお、図２（ｃ）において「＃」で始まる行は、ファイル内の記述内容を説明するためのコメント行を示しており、この行に対する処理は行われない。
【００５４】
図２（ｃ）の例では、自分以外のＣＧキャラクタ（出演者）がｄの位置にいた場合には、目的地をｄからｂに変更し、また自分以外のＣＧキャラクタ（出演者）がｄの位置にいなかった場合には、目的地をｄにする。このようにして、自分の目的地を取得したり、また予め固定の目的地を持っているような場合には、その目的地に向かって歩き、目的地についたら処理を終了する。
【００５５】
なお、本実施形態における演出生成ルールは、本発明においては、図２（ｃ）に限定されるものではなく、様々な条件に応じて多数蓄積されている。したがって、適応型演出生成手段２２は、所望する適用型演出生成に必要なルールを演出生成ルール２４から取得し、取得したルールに基づいてＴＶＭＬスクリプトを生成することができる。
【００５６】
また、図２（ｄ）に示すテンプレートＴＶＭＬスクリプト群の一例では、例えば、ＣＧキャラクタである出演者Ａに台詞を喋らせるテンプレートＴＶＭＬスクリプトが示されている。具体的には、図２（ｄ）に示す＜ＴＡＬＫ＿ＴＥＸＴ＞の部分に記述されるデータを実際に出演者Ａにが喋る台詞に置換することができる。なお、本実施形態におけるテンプレートＴＶＭＬスクリプトは、本発明においては、図２（ｄ）に限定されるものではなく、様々な条件に応じて多数のスクリプトがテンプレートＴＶＭＬスクリプト群２５に蓄積されている。したがって、テンプレート型演出生成手段２３は、所望する演出生成に必要なテンプレートをテンプレートＴＶＭＬスクリプト群２５から取得し、取得したテンプレートに基づいてＴＶＭＬスクリプトを生成することができる。
【００５７】
＜番組制作処理手順の例＞
次に、本実施形態における番組制作処理手順の例についてフローチャートを用いて説明する。図３は、本実施形態における制作処理手順の一例を示すフローチャートである。なお、以下に示す例では、台本データが入力された場合のフローチャートの一例について図を用いて説明する。
【００５８】
図３に示す番組制作処理手順では、まず、予め記述された台本を１行（各要素、処理単位）毎に、予め設定した時間間隔等の取得条件で取得する（Ｓ０１）。
【００５９】
ここで、ユーザ等による一部のＣＧキャラクタの動作やカメラワークを手動で制御するための手動制御の台本であるか否かを判断し（Ｓ０２）、手動制御の台本である場合（Ｓ０２において、ＹＥＳ）、現時点の１行台本の内容に対応した操作内容を取得する（Ｓ０３）。また、対応する動作を台本又はパラメータ等により出力し（Ｓ０４）、出力された内容が台本による出力であるか否かを判断する（Ｓ０５）。
【００６０】
ここで、Ｓ０５の処理において、台本による出力である場合（Ｓ０５において、ＹＥＳ）、又は、上述したＳ０２の処理において、手動制御の台本でない場合（Ｓ０２において、ＮＯ）、次に予めユーザ等からの指示やデータの内容から得られる予め設定された台本識別情報等により、出力された台本が適応型演出生成処理用台本であるか否かを判断する（Ｓ０６）。ここで、適応型演出生成処理用台本である場合（Ｓ０６において、ＹＥＳ）、上述した適応型演出生成手段２２における適応型でのＴＶＭＬスクリプトを生成する（Ｓ０７）。また、Ｓ０６の処理において、適応型演出生成処理用台本でない場合（Ｓ０６において、ＮＯ）、上述したテンプレート型演出生成手段２３におけるテンプレート型でのＴＶＭＬスクリプトを生成する（Ｓ０８）。なお、上述したＳ０６の処理では、適応型演出生成処理用の台本であるか否かを判断したが、本発明においてはこれに限定されるものではなく、例えば、テンプレート型演出生成処理用の台本であるか否かを判断して後述する処理を行ってもよい。
【００６１】
また、上述したＳ０５の処理において、台本による出力でない場合（Ｓ０５において、ＮＯ）、上述した再生手段１５にパラメータ値を出力する（Ｓ０９）。
【００６２】
ここで、Ｓ０７、Ｓ０８、又はＳ０９の処理が終了後、出力されるスクリプトやパラメータ値に基づいて対応する番組（シーン）を生成し（Ｓ１０）、生成した内容を再生する（Ｓ１１）。なお、Ｓ１１の処理では、再生時における番組中のＣＧキャラクタ等の各コンテンツ情報毎の内部情報を取得しており、この情報は、上述適応型演出生成手段２２に出力されている。したがって、上述した適応型演出生成手段２２におけるＴＶＭＬスクリプトの生成処理では、その内部情報、上述した不可変情報、及び、演出生成ルール等を用いて、例えば所定時間間隔でその時点での内部情報に対応させた次の演出を行うＴＶＭＬスクリプトが生成される。
【００６３】
ここで、ユーザ等からの終了指示や台本データの全行に対する番組制作処理が終了した場合等により番組制作処理を終了するか否かを判断し（Ｓ１２）、処理を終了しない場合（Ｓ１２において、ＮＯ）、Ｓ０１に戻り、次の台本１行（各要素、処理単位）に対して後続の処理を行う。また、処理を終了する場合（Ｓ１２において、ＹＥＳ）、番組制作処理を終了する。
【００６４】
このような処理により、番組を制作する際に複数の異なる仕組みを用いて高度なアドリブ制御を実現することができる。
【００６５】
＜各実施例について＞
ここで、本実施形態を用いた各実施例について説明する。各実施例としては、全てが人手の場合、一部が人手、一部が自動（台本有り）の場合、一部が人手、一部が自動（台本なし）の場合、及び、全てが自動の場合が考えられる。
【００６６】
＜実施例１：全てが人手の場合＞
本実施形態を用いた実施例１として、例えば、映像コンテンツ上での動作オブジェクト（ＣＧキャラクタの動作・カメラワーク等）毎の全てに人が割り当てられ、全ての動作オブジェクトを人手で操作する場合がある。
【００６７】
この場合には、台本が存在しない完全アドリブの場合と、参考情報としての台本が存在し、一応台本の流れに合わせてユーザが動作オブジェクトを操作し、映像コンテンツを生成する場合とがある。
【００６８】
＜実施例２：一部が人手、一部が自動（台本有り）の場合＞
本実施形態を用いた実施例２として、例えば、映像コンテンツ上での動作オブジェクトに対して、一部が人手で操作し、一部が自動（台本有り）の場合がある。この場合には、予め記述された台本に基づいて映像コンテンツを生成していく。
【００６９】
つまり、実施例２では、動作オブジェクトの一部に人が割り当てられ、その動作オブジェクトを手動で動かす。また、実施例２では、それ以外の動作オブジェクトは、台本に基づいて、演出生成処理により自動的に動作を生成する。
【００７０】
＜実施例３：一部が人手、一部が自動（台本なし）の場合＞
また、同様に実施例２として、例えば、映像コンテンツ上での動作オブジェクトに対して、一部が人手で操作し、一部が自動（台本なし）の場合がある。この場合には、予め設定されたユーザの動作オブジェクトを操作した内容に対し、これに対応する動作を演出生成制御手段２１がオブジェクトに対して自動生成する。
【００７１】
＜実施例４：全てが自動の場合＞
本実施形態を用いた実施例３として、例えば、映像コンテンツ上での動作オブジェクトに対して、予め記述された台本に基づいて映像コンテンツを生成していく場合がある。この場合には、各々の動作オブジェクトの何れにも人が割り当てられておらず、全てを台本に従って演出生成制御手段２１が自動的に動作を生成する。
【００７２】
ここで、上述した各実施例のうち、特に実施例２について図を用いて具体的に説明する。
【００７３】
＜ユーザ操作（人手）によるミスを補正する＞
図４は、実施例２に対応する映像コンテンツ制作時の第１の具体例を示す図である。また、図５は、第１の具体例に対応する各処理動作の一例を示すフローチャートである。図４においては、制作している番組のＣＧキャラクタである出演者Ａ、出演者Ｂに対し、出演者Ａを人手で制御し、出演者Ｂを演出生成処理が制御する例を示している。
【００７４】
台本の記述例として、例えば、上述した図２（ａ）に示すような台本例（例えば、Ａ：（モニタ横へ歩く）、Ｂ：（モニタ横へ歩く）、Ａ：（相手を見る）、・・・）を処理するものとする。
【００７５】
台本作成時には、人手（ユーザ）が出演者Ａを、図４（ア）中の位置（ａ）から位置（ｂ）へ歩かせることを想定して演出を作成している。したがって、出演者Ｂは図４（ア）中の位置（ｃ）から位置（ｄ）へ歩く動作を自動生成する。
【００７６】
ここで、ユーザが台本作成時の通りに出演者Ａを操作した場合は、問題なく映像コンテンツが生成されるが、図４（イ）に示すように、ユーザが出演者Ａを間違って（ｄ）のところへ歩かせた場合、従来の技術では、出演者Ｂはそのまま（ｄ）へ歩き、出演者Ａと出演者Ｂが重なってしまい、映像コンテンツとして破たんすることになる。
【００７７】
そこで、実施例２では、出演者Ｂの動作生成に、上述した適応型演出生成処理を用いる。つまり、適応型演出生成処理において、出演者Ｂの動作を決定する演出生成ルールとして、予め「（ｄ）の周辺に誰かがいれば、もう一方のモニタ横の位置（ｂ）に歩く」と記述しておく。
【００７８】
例えば、図４（ウ）に示す適応型演出生成処理では、図５（ａ）に示すように、まず映像コンテンツ（番組）の内部情報を取得し、位置（ｄ）の周辺に何かあるか（或いは誰かがいるか）を調べる（Ｓ２１）。ここで、何かあるか否かを判断し（Ｓ２２）、何かあると判断した場合（Ｓ２２において、ＹＥＳ）、位置（ｂ）へ歩くＴＶＭＬスクリプトを生成する（Ｓ２３）。また、Ｓ２２の処理において、何かあると判断しなかった場合（Ｓ２２において、ＮＯ）、位置（ｄ）へ歩くＴＶＭＬスクリプトを生成する。これにより、映像コンテンツは、図４（ウ）の状態となり、出演者Ａ，Ｂが重なることなく映像コンテンツとしての破たんを回避することができる。
【００７９】
また、予め設定される動作決定ルールとして、図５（ｂ）に示すように、位置（ｄ）の周辺に誰かＣＧキャラクタ等がいるかを調べ（Ｓ３１）、誰かいるか否かを判断し（Ｓ３２）、誰かがいる場合（Ｓ３２において，ＹＥＳ）、例えば予め「（ｄ）の周辺に誰かがいれば、その誰かの横（例えば、（ｄ'））に歩く」と記述しておくことで、位置（ｄ'）へ歩くＴＶＭＬスクリプトを生成する（Ｓ３３）。また、Ｓ３２の処理において、誰かがいると判断しなかった場合（Ｓ３２において、ＮＯ）、位置（ｄ）へ歩くＴＶＭＬスクリプトを生成する（Ｓ３４）。これにより、映像コンテンツは図４（エ）の状態となり、出演者Ａ，Ｂが重なることなく映像コンテンツとしての破たんを回避することができる。
【００８０】
なお、上述したように、出演者Ａと反対型のモニタの横に行くか、出演者Ａの隣に行くかは、ルールの記述によって変更が可能である。
【００８１】
＜ユーザ操作（人手）によるブレを補正する＞
次に、ユーザ操作（人手）によるミスではなく、操作上のブレを補正する例について具体的に説明する。
【００８２】
図６は、実施例２に対応する映像コンテンツ制作時の第２の具体例を示す図である。また、図７は、第２の具体例に対応する各処理動作を説明するための図である。なお、図６，７においても、上述したように、制作している番組のＣＧキャラクタである出演者Ａ、出演者Ｂに対し、出演者Ａを人手で制御し、出演者Ｂを演出生成処理が制御する例を示している。
【００８３】
図６，７の例では、上述した第１の具体例に示すようなコンテンツとしての明確な破たんではなく、ユーザが手動操作することによるブレの課題を解決する場合を示すものである。ここで、第２の具体例では、図７（ａ）に示す台本例（Ａ：（中央に歩く）、Ｂ：（Ａの横に歩く）、Ａ：（相手を見る））を処理するものである。
【００８４】
ユーザが出演者Ａを正確にセット中央に歩かせた場合は、図６（ア）に示すように、予め設定された位置まで歩かせる動作を生成することにより、出演者Ｂを出演者Ａの横に歩かせることができる。
【００８５】
しかしながら、図６（イ）に示すように、ユーザ等がセットの中央からずれた位置に出演者Ａを歩かせた場合でも、出演者Ｂは自動的に、予め設定された本来の出演者Ａの横の位置へ歩いてしまい、出演者Ａと出演者Ｂの位置がずれてしまう。
【００８６】
そこで、実施例２の第２具体例では、この課題を解決するために適応型演出生成処理を用いる。具体的には図７（ｂ）に示すように、出演者Ｂを事前に決めた位置へ歩かせるのではなく、出演者Ａの位置（ｘ、ｚ）（ｘ：画面上の３次元空間の横座標、ｚ：画面上の３次元空間の奥行き座標）を取得し（Ｓ４１）、その横の位置として、例えば（ｘ、ｚ＋Δｚ１）の座標へ出演者Ｂを歩かせるＴＶＭＬスクリプトを生成する（Ｓ４２）。これにより、図６（ウ）に示すように出演者Ａが正しい位置にいなくても、出演者Ｂの位置を出演者Ａの位置に合わせて動的に変更することが可能となる。
【００８７】
＜他の実施形態：演出に多様性を持たせる＞
次に、本発明における他の実施形態として、生成する演出に多様性を持たせる仕組みを有する番組制作装置について以下に説明する。従来の技術では、ユーザにより動作オブジェクトを制御することは可能であったが、ユーザが制御する動作オブジェクトと、自動制御する動作オブジェクトとにより映像コンテンツを進行させていくには、事前に作成した台本が不可欠である。
【００８８】
そこで、本発明では、台本の代わりにシーンの状況及びユーザが動作オブジェクトに対して行った制御履歴、自動制御による動作オブジェクトへの制御履歴等を保持し、これらを適応型演出生成処理による自動制御の動作ルール（演出生成ルール）の条件として利用する。これにより、台本が存在しなくても、ユーザにより操作された動作オブジェクトと、自動制御する動作オブジェクトを組み合わせた、アドリブ動作による映像コンテンツ生成が可能となり、生成する演出に多様性を持たせることができる。
【００８９】
図８は、他の実施形態における番組制作装置の構成例を示す図である。図８に示す番組制作装置３０において、上述した実施形態において同様の機能を有する構成部については、同一の名称及び番号を付するものとし、ここでの具体的な説明は省略する。
【００９０】
図８に示す番組制作装置３０は、アドリブ制御手段１２と、番組制作手段３１と、不可変情報データベース１４と、再生手段１５とを有するよう構成されている。また、番組制作手段３１は、演出生成制御手段３２と、第１演出生成処理手段３３と、第２演出生成処理手段３４とを有するよう構成されている。
【００９１】
なお、第１演出生成処理手段３３及び第２演出生成処理手段３４は、共に、適応型演出生成処理及びテンプレート型演出生成処理を有するものとする。
【００９２】
また、図９は、他の実施形態における自動動作演出用の適応型演出生成処理内容を説明するための図である。ここで、図９（ａ）は第２演出生成処理手段３４の機能構成例を示し、図９（ｂ）は、動作ルール例を示し、図９（ｃ）は、動作履歴例を示している。更に図９（ａ）に示す第２演出生成処理手段３４は、コマンド解析手段４１と、動作ルール設定手段４２と、動作決定処理手段４３と、動作履歴データベース４４と、シーン情報解析手段４５とを有するよう構成されている。
【００９３】
ここで、図８に示す実施形態では、台本が存在しないため、自動動作演出用の演出生成処理部には、担当する動作オブジェクト用の台本による動作入力はない。
つまり、この実施形態では、人手で制御される動作オブジェクト等に対する操作（コマンド）を台本の１行（１演出）として解析し、演出決定の際のパラメータとして利用する。なお、図１に示す実施形態における台本とは、ストーリー性のある１つの番組全体の台本を意味し、図８，９に示すコマンドとは、台本の１行に相当するものである。
【００９４】
演出生成制御手段３２は、アドリブ制御手段１２から入力されるコマンドを読み取り、コマンド等に予め設定された割り当て条件に基づいて、人手による第１演出生成処理手段３３と、自動による第２演出生成処理手段３４の何れか又は両方に割り当てて、１行分の台本データに相当するコマンドを出力する。
【００９５】
また、演出生成制御手段３２は、第１演出生成処理手段３３及び第２演出生成処理手段３４により得られるＴＶＭＬスクリプトを入力される順序で再生手段１５に出力し、再生手段１５にて対応する番組を再生させる。
【００９６】
第１演出生成処理手段３３は、ユーザ等の人手によりＣＧキャラクタ等を操作する場合の演出を行うＴＶＭＬスクリプトを生成する。つまり、第１演出生成処理手段３３は、入力されたコマンドに対応させてユーザの設定した内容や入力された情報に基づいてＴＶＭＬスクリプトを生成する。また、第１演出生成処理手段３３は、生成した情報を演出生成制御手段３２に出力する。
【００９７】
また、第２演出生成処理手段３４は、自動制御によりＣＧキャラクタを操作する場合の演出を行うＴＶＭＬスクリプトを生成する。つまり、第２演出生成処理手段３４は、予め設定されたテンプレート情報等に基づいて入力されたコマンドに対応させたＴＶＭＬスクリプトを生成する。また、第２演出生成処理手段３４は、生成した情報を演出生成制御手段３２に出力する。
【００９８】
なお、第２演出生成処理手段３４においては、図９（ａ）に示すように、コマンド解析手段４１は、入力されたコマンドを解析し、どのデータに対してどのような動作を行うかを決定するための情報を抽出する。また、動作ルール設定手段４２は、コマンドの指示に対する動作ルールを動作毎に設定しておく。また、動作決定処理手段４３は、コマンド解析手段４１により解析された指示データを取得し、取得した内容と動作ルール設定手段４２により設定された動作ルールから、指示データに対応する動作ルールを取得する。
【００９９】
動作履歴データベース４４は、今までその台本データの対象となっている各ＣＧキャラクタの動作履歴が番組毎又はキャラクタ毎に蓄積されており、動作決定処理手段４３から、例えばそのＣＧキャラクタに対する動作履歴の問い合わせがあった場合に、その動作履歴を出力する。
【０１００】
シーン情報解析手段４５は、先に説明した適応型演出生成処理における再生手段１５の内部情報から得られるシーンの現時点での状態を解析する。つまり、シーン情報解析手段４５は、シーン情報として、再生手段１５で現時点で再生されている番組に出演している出演者の位置や動作状態、小道具の位置等を内部情報から取得し、取得した結果を動作決定処理手段４３に出力する。
【０１０１】
したがって、動作決定処理手段４３は、動作ルールに対応する動作履歴を動作履歴データベース４４から取得し、取得した内容と、シーン情報解析手段４５から得られる内部情報に対応した解析結果に基づいて自動演出動作を生成し、自動演出動作に対応するＴＶＭＬスクリプトを生成し、１行分の台本（自動制御）として出力する。
【０１０２】
ここで、動作ルール（演出生成ルール）は、図９（ｂ）に示すように、自動動作オブジェクトの動作を生成するための基本的なルールを、予め設定される動作に基づいて複数記述しておく。また、動作履歴は、図９（ｃ）に示すように動作決定処理により生成された動作及び台本として入力された人手により動作制御する動作オブジェクトの動作を履歴として、それぞれ回数と動作名を記録してある。なお、図９（ｂ），（ｃ）に示す動作ルール及び動作履歴の内容については、本発明においてはこれに限定されるものではない。
【０１０３】
ここで、上述した実施形態における処理動作について、ユーザ制御時の処理動作手順と自動制御時の処理動作手順とをフローチャートを用いて具体的に説明する。
【０１０４】
＜ユーザ制御時の処理動作手順＞
図１０は、ユーザ制御時の処理動作手順を示すフローチャートである。図１０において、まずユーザからの操作内容を取得し（Ｓ５１）、コマンド（台本１行分）による出力であるか否かを判断する（Ｓ５２）。コマンドによる出力である場合（Ｓ５２において、ＹＥＳ）、人手用演出生成処理及び自動用演出生成処理にコマンドを送信する（Ｓ５３）。
【０１０５】
また、送信したコマンドに基づいて人手用演出生成処理によりＴＶＭＬスクリプトを生成し（Ｓ５４）、また自動用演出生成処理がコマンドを解析し、その対応する動作を動作履歴に保存する（Ｓ５５）。
【０１０６】
また、上述の処理により得られたＴＶＭＬスクリプトを再生手段１５に出力する（Ｓ５６）。なお、上述したＳ５２の処理において、台本による出力でない場合（Ｓ５２において、ＮＯ）、パラメータを再生手段１５に出力する（Ｓ５７）。
【０１０７】
Ｓ５６又はＳ５７の処理が終了後、映像コンテンツを生成し（Ｓ５８）、生成した映像コンテンツを再生する（Ｓ５９）。このとき、所定時間間隔で再生中の番組の現時点でのＣＧキャラクタ情報や物体オブジェクトの位置、台詞等の番組の内部情報を取得する。
【０１０８】
ここで、ユーザ等からの終了指示等により処理を終了するか否かを判断し（Ｓ６０）、処理を終了しない場合（Ｓ６０において、ＮＯ）、Ｓ５１に戻りユーザからの次の操作内容に基づいて後続の処理を行う。また、処理を終了する場合（Ｓ６０において、ＹＥＳ）、本実施形態における番組制作処理を終了する。
【０１０９】
＜自動制御時の処理動作手順＞
図１１は、自動制御時の処理動作手順を示すフローチャートである。また、図１２は、自動制御時の処理動作の具体例を説明するための画面例を示し、図１３は、自動制御時の各動作における処理内容を説明するためのフローチャートである。なお、図１２では、画面例の横に、予め設定される動作ルールとその動作に対応するスクリプトを示している。
【０１１０】
図１１〜図１３は、同一の動作例に対する自動制御時の処理動作手順を説明するものである。つまり、本動作例では、番組中の出演者Ａ，Ｂに対して、人手により出演者Ａを動かし、自動制御によりもう一体の出演者Ｂを動かした場合を示し、動作ルールにおける特定の動作を出演者Ａが腕を挙げる動作とする。
【０１１１】
まず、図１１を用いて動作手順の概略を説明すると、まずユーザからの操作内容であるコマンドを取得し（Ｓ７１）、特定のコマンドであるか否かを判断する（Ｓ７２）。なお、特定のコマンドとは、例えば、ＣＧキャラクタの手を挙げさせたり、おじぎをさせる等のように、回数情報が履歴として蓄積されるような所定の動作の前後や回数等により、その動作を異ならせたり関連性を持たせた動作用のＴＶＭＬスクリプトを生成する必要があるコマンド等である。
【０１１２】
Ｓ７２の処理において、取得したコマンドが特定のコマンドである場合（Ｓ７２において、ＹＥＳ）、その動作回数が規定以上か否かを判断する（Ｓ７３）。動作回数が所定以上である場合（Ｓ７３において、ＹＥＳ）、既に所定回数時における動作が行われているものとして動作回数をリセットし（Ｓ７４）、規定回数時の動作用ＴＶＭＬスクリプトを生成し（Ｓ７５）、生成したスクリプトに対する動作履歴を蓄積する（Ｓ７６）。
【０１１３】
また、Ｓ７３の処理において、動作回数が規定回数以上でない場合（Ｓ７３において、ＮＯ）、動作回数をカウントアップし（Ｓ７７）、規定回数未満での動作用ＴＶＭＬスクリプトを生成し（Ｓ７８）、生成したスクリプトに対する動作履歴を蓄積する（Ｓ７９）。
【０１１４】
また、上述したＳ７２の処理において、取得したコマンドが特定のコマンドでない場合（Ｓ７２において、ＮＯ）、そのコマンドに対応するＴＶＭＬスクリプトを生成し（Ｓ８０）、対応する履歴を蓄積する（Ｓ８１）。
【０１１５】
Ｓ７６，Ｓ７９，又はＳ８１の処理が終了後、ＴＶＭＬスクリプトに対応する番組のシーンを生成し（Ｓ８２）、番組を再生する（Ｓ８３）。このとき、所定時間間隔で再生中の番組の現時点でのＣＧキャラクタ情報や物体オブジェクトの位置、台詞等の番組の内部情報を取得する。
【０１１６】
次に、ユーザ等からの終了指示等により処理を終了するか否かを判断し（Ｓ８４）、処理を終了しない場合（Ｓ８４において、ＮＯ）、Ｓ７１に戻りユーザからの次の操作内容に基づいて後続の処理を行う。また、処理を終了する場合（Ｓ８４において、ＹＥＳ）、本実施形態における番組制作処理を終了する。
【０１１７】
図１１に示す処理手順に基づき、具体的な処理動作について説明すると、図１２（ア）では、出演者Ｂが出演者Ａからの距離を一定に保つ動作を示している。具体的には、出演者Ａをユーザが出演者Ｂから離す方向に移動させると、出演者ＡＢ間の実際の距離ｄが規定値（距離Ｄ）より大きくなる。その場合、少し間をおいて出演者Ｂが出演者Ａに向けて歩き始める動作を行う。
【０１１８】
また、出演者Ｂが出演者Ａに向けて移動し、出演者ＡＢ間の距離が規定値（距離Ｄ）になると、出演者Ｂは立ち止まる。
【０１１９】
更に、出演者ＡＢ間の距離Ｄが規定値（距離Ｄ）より小さくなると、出演者Ｂは出演者Ａから離れる方向に移動する。これにより、出演者Ｂは常にほぼ一定の距離を保ちながら、出演者Ａについて回る動作を生成することになる。ここで、図１３（ａ）では、上述した場合の各動作ルールに対応する処理例を示している。
【０１２０】
つまり、図１３（ａ）において、出演者Ｂは、ＣＧキャラクタ等からなる出演者Ａとの距離ｄを取得し（Ｓ９１）、その距離ｄが予め設定された距離Ｄより大きいか否かを判断する（Ｓ９２）。距離ｄが距離Ｄより大きい場合（Ｓ９２において、ＹＥＳ）、出演者Ｂが出演者Ａに向かって歩いていく動作を行うＴＶＭＬスクリプト生成する（Ｓ９３）。
【０１２１】
また、Ｓ９２の処理において、出演者ＡＢ間の距離ｄが、距離Ｄより大きくない場合（Ｓ９２において、ＮＯ）、次に、距離ｄと距離Ｄとが同一距離であるか否かを判断し（Ｓ９４）、同一距離である場合（Ｓ９４において、ＹＥＳ）、立ち止まるＴＶＭＬスクリプトを生成する（Ｓ９５）。また、同一距離でない場合（Ｓ９４において、ＮＯ）、Ａから離れるように歩くＴＶＭＬスクリプトを生成する（Ｓ９６）。
【０１２２】
また、図１２（イ）に示すように、本実施形態では、動作ルールとして出演者Ａが手を挙げる動作をしたら、出演者Ｂは３ｄの距離まで素早く走って（早歩きで）逃げると記述しておくことで、ユーザにより出演者Ａが手を挙げる動作のコマンドが入力されると、その動作ルールにしたがい出演者Ｂは３ｄの距離まで遠ざかる。
【０１２３】
これにより、出演者Ｂが出演者Ａに怒られて逃げているような動作となる。ここで、図１３（ｂ）は、上述した場合の各動作ルールに対応する処理例を示している。なお、図１３（ｂ）では、動作履歴を用いて所定の動作回数に合わせて動作内容を変更する処理も含んでいる。
【０１２４】
つまり、図１３（ｂ）において、ＣＧキャラクタ等からなる出演者Ｂが手を挙げたか否かを判断し（Ｓ１００）、手を挙げた場合（Ｓ１００において、ＹＥＳ）、次に、手を挙げたのが所定回数（図１３（ｂ）の例では３回目）であるか否かを判断する（Ｓ１０１）。なお、上記の判断は、対応する動作の動作履歴を参照することで容易且つ正確に判断することができる。
【０１２５】
ここで、３回目である場合（Ｓ１０１において、ＹＥＳ）、出演者Ａがジャンプして逃げるＴＶＭＬスクリプトを生成する（Ｓ１０２）。また、３回目でない場合（Ｓ１０１において、ＮＯ）、走って逃げるＴＶＭＬスクリプトを生成する（Ｓ１０３）。これにより、出演者Ａが３回目に手を挙げると出演者Ｂは出演者Ａからジャンプして逃げる動作を生成することができる。
【０１２６】
このように、幾つかの動作ルールを設定しておくことで、台本がなくても出演者Ｂの動作を、ユーザの操作による出演者Ａの動作に応じて生成することができる。
【０１２７】
また、本実施形態における動作ルールは、障害物があれば避ける記述となっているので、例えば図１２（ウ）に示すように、出演者Ａに近づく、或いは遠ざかる途中に障害物があれば、これを自動的によける動作を生成することができる。また、本実施形態では、出演者Ｂの前方に何かが存在するのか、また存在する場合には、それが障害物であるのかをシーン情報や内部情報等に基づいて判断することができる。また、本実施形態では、障害物の位置もシーン情報を解析することで得ることができる。
【０１２８】
なお、何が障害物であるかは、ＣＧモデルデータに付加したメタデータにより取得することができる。ここで、図１３（ｃ）は、上述した場合の各動作ルールに対応する処理例を示している。
【０１２９】
つまり、図１３（ｃ）において、前方情報を取得し（Ｓ１１１）、何かあるか否かを判断する（Ｓ１１２）。何かある場合（Ｓ１１２において、ＹＥＳ）、それが障害物であるか否かを判断する（Ｓ１１３）。なお、上記の判断は、移動している途中に物体オブジェクト等の座標又はその領域が存在しているか否かにより判断することができる。また、これらの情報は、シーン情報からの座標データを読み取ることで取得することができる。
【０１３０】
Ｓ１１３の処理において、障害物が存在している場合（Ｓ１１３において、ＹＥＳ）、障害物を回避するＴＶＭＬスクリプトを生成する（Ｓ１１４）。また、障害物でない場合（Ｓ１１３において、ＮＯ）、その他の何かに対して動作を補正するＴＶＭＬスクリプトを生成する（Ｓ１１５）。また、Ｓ１１２の処理において、何もない場合（Ｓ１１２において、ＮＯ）、何もしないでここでの処理を終了する。
【０１３１】
更に、本実施形態における動作ルール例には、動作オブジェクトの動作履歴をパラメータとして利用することができる。図１２（エ）の例では、動作ルール（動作Ａを２回行った後は動作Ａを動作Ｂに変更する）において、動作Ａを「出演者Ａから３ｄの距離へ逃げる」と記述してあるものとし、また動作Ｂを「出演者Ｂが出演者Ａから２．５ｄの位置へジャンプして移動する」と記述してあるものとする。
【０１３２】
このように、動作オブジェクトの動作履歴を演出生成処理内で保持し、動作決定に利用することで、台本が存在しない利用形態においても、演出に多様性を持たせたアドリブによる映像コンテンツを生成することができる。したがって、上述したような処理により、番組を制作する際に複数の異なる仕組みを用いて高度なアドリブ制御を実現することができる。
【０１３３】
なお、上述した例では、番組に登場するＣＧキャラクタ（出演者）に対する動作例について説明したが、本発明においてはこれに限定されるものではなく、例えばカメラワーク等の動作においても上述した手法を適用してアドリブ制御を実現することができる。
【０１３４】
＜実行プログラム＞
ここで、上述した番組制作装置（映像コンテンツ制作装置）１０，３０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。
【０１３５】
したがって、番組制作装置１０，３０が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【０１３６】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（番組制作プログラム（映像コンテンツ制作プログラム））を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、番組制作処理を実現することができる。なお、本発明における実行プログラムによる処理については、例えば上述した各処理を実現することができる。
【０１３７】
上述したように本発明によれば、番組を制作する際に複数の異なる仕組みを用いて高度なアドリブ制御を実現することができる。具体的には、本発明によれば、ユーザが動作オブジェクトの操作を誤った場合に、システム側でユーザの動作を修正するのではなく、他の動作オブジェクト等の動作を変更して、ユーザの誤りやブレを補完することで、映像コンテンツを破たんさせることなく映像コンテンツを生成することができる。また、その際出力される映像コンテンツは、ユーザの操作に適応して可変するものであり、より高度なアドリブ制御が可能となる。
【０１３８】
また本発明によれば、従来の技術では実現できなかった、台本の存在しない手動制御と自動制御が混在したアドリブ制御が可能となる。これにより、台本がない状態でのアドリブ制御による映像コンテンツ生成が可能となり、適用範囲の拡大や、利用者へ要求するスキルレベルを下げることが可能となり、より多くの人がアドリブ制御を利用できるようになる。
【０１３９】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１４０】
１０，３０ 番組制作装置
１１ 入力手段
１２ アドリブ制御手段
１３，３１ 番組制作手段
１４ 不可変情報データベース
１５ 再生手段
２１，３２ 演出生成制御手段
２２ 適応型演出生成手段（第１の演出生成手段）
２３ テンプレート演出生成手段（第２の演出生成手段）
２４ 演出生成ルール
２５ テンプレートＴＶＭＬスクリプト群
３３ 第１演出生成処理手段
３４ 第２演出生成処理手段
４１ コマンド解析手段
４２ 動作ルール設定手段
４３ 動作決定処理手段
４４ 動作履歴データベース
４５ シーン情報解析手段
【技術分野】
【０００１】
本発明は、映像コンテンツ制作装置及び映像コンテンツ制作プログラムに係り、特に映像コンテンツ制作時に高度なアドリブ制御を実現するための映像コンテンツ制作装置及び映像コンテンツ制作プログラムに関する。
【背景技術】
【０００２】
従来、簡単な台本の記述によりＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）をベースとする番組等の映像コンテンツを自動的に制作する技術が存在する（例えば、特許文献１及び２参照）。この技術では、例えば、台本をＡＰＥ（Ａｕｔｏｍａｔｉｃ Ｐｒｏｇｒａｍ Ｅｎｇｉｎｅ）と呼ばれる演出付加ユニットに入力するだけで、台本の記述に対応させて映像コンテンツを生成するための詳細な情報（例えば、ＴＶＭＬ（ＴＶ ｐｒｏｇｒａｍ Ｍａｋｉｎｇ Ｌａｎｇｕａｇｅ）スクリプト等）を生成することができる（例えば、非特許文献１参照）。
【０００３】
ここで、ＴＶＭＬとは、テレビ番組を制作するためのスクリプトベース記述言語である。例えば、入力テキストとして「こんにちは」という文字がＡＰＥに入力された場合には、ＡＰＥが文字列解析処理等を行い、出力テキストとして、「ｃｈａｒａｃｔｅｒ：ｔａｌｋ（ｎａｍｅ＝ＣｈａｒａｃｔｅｒＡ，ｔｅｘｔ＝"こんにちは"）」というＴＶＭＬスクリプトを出力することができる。
【０００４】
また従来では、上述したＴＶＭＬスクリプトを映像コンテンツ生成エンジン（以下、ＴＶＭＬプレイヤー（Ｐｌａｙｅｒ）という）等の再生手段に入力することで、台本にあった映像コンテンツを生成し、生成したコンテンツを画面等に出力してユーザに提示している。このような仕組みにより、映像コンテンツ制作の経験や技術、ＣＧに関する技術や知識がなくても、誰でも簡単に映像コンテンツを制作することができるようになっている。
【０００５】
また従来では、上述した技術を利用して、例えば、映像コンテンツに登場するＣＧキャラクタ（ＣＧ出演者）の動作やカメラワーク等の動作、映像的効果等を簡単な記述様式により動作対象毎に記述し、またその動作単位でＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）のキーボードやコントローラ等に割り当てておき、これをユーザのタイミングで、所望の動作を登録してあるキーボードやコントローラを操作することで、ＣＧキャラクタの動作やカメラワーク等を制御した映像を出力する仕組みも開発されている。
【０００６】
また従来では、上述したような動作単位での登録ではなく、例えば番組のＣＧスタジオセット内をＣＧキャラクタが歩き回る際の歩く位置や、カメラワークを行うためのカメラの設置場所、パン・チルト・ズーム等の制御を、予め設定した数値データを直接入力することで実施できる仕組みがある。
【０００７】
これは、上述したＡＰＥに映像コンテンツ内のＣＧキャラクタやカメラワーク等の動作を詳細に指定しておき、ユーザによるキーボード等の操作にしたがって、対応する簡単な動作記述内容がＡＰＥに入力され、ＡＰＥにより動作記述内容に対応するＴＶＭＬスクリプトが生成され、生成されたＴＶＭＬスクリプトがＴＶＭＬプレイヤーによりユーザに出力される。これらの仕組みを使うことで、映像コンテンツ制作の経験や技術、ＣＧに関する技術や知識がなくてもＣＧキャラクタの動作やカメラワークを操作したユーザのタイミングで制御した映像を出力することができる。
【０００８】
また、上述した仕組みを利用することで、例えば１つの番組を制作する際に、一部のＣＧキャラクタの動作やカメラワーク等を手動で制御し、それ以外のＣＧキャラクタの動作やカメラワークを従来のＡＰＥの仕組みによりシステム側で自動的に制御することができる。また、予め簡単な記述様式で台本を記述しておき、この台本記述を予め指定した時間で自動的に進行させる仕組みを利用することで、ＣＧキャラクタやカメラ（カメラワーク）に対して、ユーザ等の人間の操作による制御と、台本による自動制御とを混在させて、映像コンテンツを制作することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第４０１７２９０号公報
【特許文献２】特許第４２７６３９３号公報
【非特許文献】
【００１０】
【非特許文献１】Ｈａｙａｓｈｉ，Ｄｏｕｋｅ，Ｈａｍａｇｕｃｈｉ，"Ａｕｔｏｍａｔｉｃ ＴＶ Ｐｒｏｇｒａｍ Ｐｒｏｄｕｃｔｉｏｎ ｗｉｔｈ ＡＰＥｓ"，Ｃ５ Ｔｈｅ Ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｒｅａｔｉｎｇ，Ｃｏｎｎｅｃｔｉｎｇ ａｎｄ Ｃｏｌｌａｂｏｒａｔｉｎｇ ｔｈｒｏｕｇｈ Ｃｏｍｐｕｔｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ，Ｐｒｏｃｅｅｄｉｎｇｓ ｐｐ．１８−２３（２００４．１）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した従来の仕組みでは、ＡＰＥは予め設定されたパターンの動作を生成する仕組みしか持っていない。そのため、例えばＰＣのキーボードを押した際は、何回押してもそのキーボードに割り当てられた同じ動作しか実行されない。
【００１２】
また従来では、上述したようにＣＧキャラクタやカメラ（カメラワーク）に対して、ユーザ等の人間の操作による制御とシステムによる自動制御とを混在させて、映像コンテンツの制作ができる仕組みが存在するが、このような仕組みでは、人間は予め記述された台本の通りにＣＧキャラクタやカメラを動作させなければならない。これは、ＡＰＥにより自動制御されるＣＧキャラクタやカメラ等は、台本の記述にしたがって毎回同じ動作しかできず、人間の操作によるブレや、台本記述と異なるその場のアドリブ的な操作には対応できないためである。
【００１３】
また従来の仕組みでは、システム側で自動制御されるＣＧキャラクタやカメラ等は、予め台本に記載された動作しかできない。すなわち、台本が存在しない場合は、ユーザによる操作と自動制御による動作とを混在させた、映像コンテンツを生成することができなかった。
【００１４】
本発明は、上述した問題点に鑑みなされたものであり、映像コンテンツ制作時に高度なアドリブ制御を実現するための映像コンテンツ制作装置及び映像コンテンツ制作プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１６】
請求項１に記載された発明は、コンテンツに与える演出・効果を示す演出情報を用いて、対応する映像コンテンツを制作する映像コンテンツ制作装置において、前記演出情報を各処理単位で読み出し、読み出した演出情報を、予め設定された複数の演出生成手段のうち、何れか又は両方の演出生成手段に割り当てる演出生成制御手段と、再生中の映像コンテンツの現時点におけるオブジェクトの内部情報を取得し、取得した内部情報から次の演出内容を含むコンテンツ情報を生成する第１の演出生成手段と、予め蓄積されたテンプレートの内容を前記演出情報の記述内容で置換し、予め設定される演出内容を含むコンテンツ情報を生成する第２の演出生成手段と、前記第１の演出生成手段及び／又は前記第２の演出生成手段とから得られるコンテンツ情報に基づいて映像コンテンツを再生する再生手段とを有することを特徴とする。
【００１７】
請求項１記載の発明によれば、映像コンテンツ制作時に高度なアドリブ制御を実現することができる。
【００１８】
請求項２に記載された発明は、前記第１の演出生成手段は、前記内部情報に対応させて、前記演出情報を変更するための演出生成ルールを設定することを特徴とする。
【００１９】
請求項３に記載された発明は、前記第１の演出生成手段は、前記内部情報に基づく履歴情報を蓄積する履歴情報データベースを有することを特徴とする。
【００２０】
請求項４に記載された発明は、前記再生手段は、所定の時間間隔で前記内部情報を生成することを特徴とする。
【００２１】
請求項５に記載された発明は、ユーザにより操作された内容を取得し、取得した操作内容に基づいてアドリブ制御を行うアドリブ制御手段を有し、前記アドリブ制御手段は、入力された操作内容に含まれる識別情報に基づいて演出情報を生成し、生成した演出情報を前記演出生成制御手段に出力するか、又は前記再生手段においてコンテンツを再生するためのパラメータ値を生成し、生成したパラメータ値を前記再生手段に出力することを特徴とする。
【００２２】
請求項６に記載された発明は、前記演出情報は、前記映像コンテンツに登場するＣＧキャラクタ及び／又はカメラワークに対する演出を含むことを特徴とする。
【００２３】
請求項７に記載された発明は、コンピュータを、請求項１乃至６の何れか１項に記載の映像コンテンツ制作装置として機能させることを特徴とする映像コンテンツ制作プログラムである。
【００２４】
請求項７記載の発明によれば、映像コンテンツ制作時に高度なアドリブ制御を実現することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に映像コンテンツ制作処理を実現することができる。
【発明の効果】
【００２５】
本発明によれば、映像コンテンツ制作時に高度なアドリブ制御を実現することができる。
【図面の簡単な説明】
【００２６】
【図１】本実施形態における番組制作装置の機能構成の一例を示す図である。
【図２】本実施形態における台本及びパラメータ／ＴＶＭＬスクリプトの一例を示す図である。
【図３】本実施形態における制作処理手順の一例を示すフローチャートである。
【図４】実施例２に対応する映像コンテンツ制作時の第１の具体例を示す図である。
【図５】第１の具体例に対応する各処理動作の一例を示すフローチャートである。
【図６】実施例２に対応する映像コンテンツ制作時の第２の具体例を示す図である。
【図７】第２の具体例に対応する各処理動作を説明するための図である。
【図８】他の実施形態における番組制作装置の構成例を示す図である。
【図９】他の実施形態における自動動作演出用の適応型演出生成処理内容を説明するための図である。
【図１０】ユーザ制御時の処理動作手順を示すフローチャートである。
【図１１】自動制御時の処理動作手順を示すフローチャートである。
【図１２】自動制御時の処理動作の具体例を説明するための画面例を示す図である。
【図１３】自動制御時の各動作における処理内容を説明するためのフローチャートである。
【発明を実施するための形態】
【００２７】
＜本発明について＞
本発明は、例えば映像コンテンツ内のＣＧキャラクタの動作やカメラワークといった映像効果を、ＣＧキャラクタやカメラ等の動作を行うオブジェクト単位でアドリブ的（補完的）に制御し、その結果をリアルタイムに映像として出力することを可能とするものである。
【００２８】
具体的には、本発明では、例えば映像コンテンツの今現在の状況に応じて、適切な演出を生成する適応型演出生成の仕組みを導入する。例えば、本実施形態では、適応型演出生成手段等を有して映像コンテンツの状態をリアルタイムに把握し、且つコンテンツを制作するための不可変情報等と共にコンテンツ情報として利用する。
【００２９】
また、これらのコンテンツ情報に基づいて、コンテンツの状況に応じた目的の演出を達成するための動作規則（ルール）を使用し、動作演出を生成するものとする。更に、本発明では、コンテンツの状況及びルールに、演出生成の回数を保持する仕組みを設けて、同一の状況が複数回発生した場合でも、異なる演出の生成を可能とする。また、上述した演出生成は、ＣＧキャラクタやカメラ等の動作を行うオブジェクト単位で持たせる。
【００３０】
以下に、上述したような特徴を有する本発明における映像コンテンツ制作装置及び映像コンテンツ制作プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００３１】
なお、本実施形態では、制作する映像コンテンツの一例として番組を用いることとし、また番組の制作や提示等に用いられるスクリプトの一例としてＴＶＭＬを用いることとするが、本発明においてはこれに限定されず、他の映像コンテンツやスクリプトを用いてもよい。
【００３２】
＜番組制作装置（映像コンテンツ制作装置）：概略構成例＞
図１は、本実施形態における番組制作装置の機能構成の一例を示す図である。図１に示す番組制作装置１０は、入力手段１１と、アドリブ制御手段１２と、番組制作手段１３と、不可変情報データベース１４と、再生手段１５とを有するよう構成されている。また、番組制作手段１３は、演出生成制御手段２１と、第１の演出生成手段としての適応型演出生成手段２２と、第２の演出生成手段としてのテンプレート演出生成手段２３と、演出生成ルール２４と、テンプレートＴＶＭＬスクリプト群２５とを有するよう構成されている。なお、本実施形態では、適応型演出生成手段２２と演出生成ルール２４、及び、テンプレート演出生成手段２３とテンプレートＴＶＭＬスクリプト群２５を別体としているが、本発明においてはこれに限定されるものではなく、例えば、適応型演出生成手段２２と演出生成ルール２４とを一体とし、テンプレート演出生成手段２３とテンプレートＴＶＭＬスクリプト群２５とを一体としてもよい。
【００３３】
入力手段１１は、例えば、番組制作装置１０がＰＣ等の汎用のコンピュータであれば、キーボード（Ｋｅｙｂｏａｒｄ）やゲームパッド、マウス等の各種コントローラからなり、ユーザ等からの入力等により本実施形態における各構成の実行指示（アドリブ制御指示、演出生成指示、再生指示）等の入力や、ＣＧキャラクタやカメラ等のオブジェクトに対する動作の入力（操作内容）を受け付ける。また、番組制作装置１０が携帯端末等であれば、携帯端末等に設けられた各操作ボタン群やタッチパネル等により、上述の入力を行う。
【００３４】
また、入力手段１１では、各種コントローラ等に設けられた１又は複数のボタン等を用い、そのボタンに対して予め割り当てられている台本（演出）の内容をアドリブ制御手段１２に出力する。
【００３５】
アドリブ制御手段１２は、入力手段１１から入力されたユーザからの入力データに基づいてアドリブ用の台本等を生成する。また、アドリブ制御手段１２は、例えば、映像コンテンツ内のＣＧキャラクタの動作やカメラワークについて、台本ではなく、動作に必要なパラメータやＴＶＭＬスクリプト（パラメータ／ＴＶＭＬスクリプト）を生成する。
【００３６】
具体的には、アドリブ制御手段１２は、入力手段１１からの入力データの内容を解析し、データに予め設定されているフラグや単語、文字、マーク、記号等の識別情報に基づいて、アドリブ用台本、又は、再生手段１５により番組を再生するためのパラメータやＴＶＭＬスクリプトを生成する。
【００３７】
また、アドリブ制御手段１２は、識別情報等に対応させてアドリブ台本を生成した場合には、そのアドリブ台本を演出生成制御手段２１に出力し、また識別情報に対応させてパラメータやＴＶＭＬスクリプトを生成した場合には、そのスクリプトを再生手段１５に出力する。
【００３８】
番組制作手段１３は、入力される台本情報と、不可変情報データベース１４に蓄積された番組を生成するために必要なデータと、再生手段１５からの内部情報等に基づいて番組を制作する。
【００３９】
ここで、不可変情報とは、例えば番組に使用されるＣＧ小道具（壁、扉、机、椅子、テレビ、靴、帽子、おもちゃ等）に対する形状や特徴、用途、画像や映像等の素材等、どのような演出であっても変わることがない情報（メタデータ等）である。また、内部情報とは、例えば、番組におけるＣＧキャラクタの現在位置座標やＣＧ小道具の現在位置、カメラ位置座標等がある。
【００４０】
具体的には、番組制作手段１３における演出生成制御手段２１は、演出生成処理用のコントローラであり、例えば外部からの台本（ＡＰＥスクリプト）、又は、アドリブ制御手段１２より得られるアドリブ用台本を解釈し、ＣＧキャラクタやカメラワーク等の動作オブジェクトを制御するためのＴＶＭＬスクリプト生成を生成するため、台本内に記述される予め設定されたフラグや単語、文字、マーク、記号等に基づいて適応型演出生成手段２２又はテンプレート型演出生成手段２３の何れかに割り振って、そのデータを出力する。
【００４１】
また、演出生成制御手段２１は、適応型演出生成手段２２又はテンプレート型演出生成手段２３により得られるＴＶＭＬスクリプトを再生手段１５に出力する。
【００４２】
適応型演出生成手段２２は、演出生成制御手段２１から得られた台本を解釈する。具体的には、適応型演出生成手段２２は、再生手段１５の内部情報から映像コンテンツの現在の再生状態と、映像コンテンツ生成に用いているＣＧモデルに付加したメタデータとから、不可変情報データベース１４であるＣＧモデルの形状や役割の情報を取得する。
【００４３】
また、適応型演出生成手段２２は、演出生成制御手段２１から得られた台本を解釈し、予め設定された演出生成ルール２４により、コンテンツの状況に応じた演出を生成するＴＶＭＬスクリプトを生成する。また、適応型演出生成手段２２は、生成されたＴＶＭＬスクリプトを演出生成制御手段２１に出力する。
【００４４】
つまり、適応型演出生成手段２２は、再生手段１５からの内部情報及び不可変情報データベース１４から得られる各種メタデータから、再生手段１５により現時点で再生されているシーンの状況に適応したＴＶＭＬスクリプトを動作が達成されるまで予め設定された時間間隔等の所定のタイミングで繰り返し生成する。
【００４５】
テンプレート型演出生成手段２３は、演出生成制御手段２１から得られた台本を解釈し、予め設定された雛形のＴＶＭＬスクリプトが蓄積されたテンプレートＴＶＭＬスクリプト群２５から、台本の内容に合ったスクリプト情報を取得し、目的の演出を生成するＴＶＭＬスクリプトを生成する。また、テンプレート型演出生成手段２３は、生成されたＴＶＭＬスクリプトを演出生成制御手段２１に出力する。
【００４６】
つまり、テンプレート型演出生成手段２３は、入力される台本に対して、現時点で再生手段１５により再生されているシーンの状態に関係なく台本に対応するＴＶＭＬスクリプトを１度生成して処理を終了する。なお、テンプレート型演出生成手段２３は、その仕組みが単純であるため、高度な制御を必要としない演出動作は、テンプレート型演出生成処理により演出生成を行う。
【００４７】
ここで、本実施形態において、外部から入力される台本を、演出生成制御手段２１から適応型演出生成手段２２及びテンプレート型演出生成手段２３に送信するタイミングは、予め設定された時間間隔であってもよく、またユーザからの割り込み制御情報や指示情報等の入力のタイミングであってもよく、また、ユーザにより指示された時間のタイミングであってもよい。
【００４８】
再生手段１５は、ＴＶＭＬプレイヤー等の専用のアプリケーション又はブラウザ等を用いて入力されるＴＶＭＬスクリプトに対応する番組制作エンジン（ＡＰＥ）や画像データ等の素材データを取得し、取得した各種情報を用いて番組を生成し、生成した番組を再生する。また、再生手段１５は、現時点で再生されている番組の状況（ＣＧキャラクタの位置、台詞、ＣＧ小道具のような物体オブジェクトの位置、カメラワーク等）を内部情報として、所定の時間間隔や台本の１つの演出の実行後に取得し、取得した内部情報を適応型演出生成手段２２に出力する。
【００４９】
＜データ例＞
ここで、本実施形態における台本及びパラメータ／ＴＶＭＬスクリプトのデータ例について図を用いて説明する。図２は、本実施形態における台本及びパラメータ／ＴＶＭＬスクリプトの一例を示す図である。なお、図２（ａ）は、台本情報の一例を示し、図２（ｂ）は、パラメータ／ＴＶＭＬスクリプトの一例を示し、図２（ｃ）は、演出生成ルール２４の一例示し、図２（ｄ）は、テンプレートＴＶＭＬスクリプト群２５の一例を示している。なお、図２（ａ），（ｂ）は、共にアドリブ制御手段１２により生成されるデータ例である。
【００５０】
図２（ａ）の台本情報では、例えば、キャラクタＡとキャラクタＢの２人のＣＧキャラクタに対する動作を制御する台本例（例えば、Ａ：（モニタ横へ歩く）、Ｂ：（モニタ横へ歩く）、Ａ：（相手を見る）、・・・）が示されている。なお、台本情報としては、動作制御の他にも台詞や画像データ、音声データ、動画データ、テキストデータ等の読み出し制御、表示制御等も含まれる。アドリブ制御手段１２は、入力手段１１により入力される情報から図２（ａ）に示すフォーマットの台本情報を生成し、生成された台本情報を演出生成制御手段２１に出力する。
【００５１】
また、図２（ｂ）のパラメータ／ＴＶＭＬスクリプトでは、カメラパラメータ（３次元（例えば、横、縦、奥行き等）のカメラ位置（ｘｃ，ｙｃ，ｚｃ），ｐａｎ（水平向き角度），ｔｉｌｔ（垂直向き角度），ｖａｎｇｌｅ（画角））やＴＶＭＬスクリプト（例えば、ＣＧキャラクタが歩く座標（Ｘｎ＝ｘｏ＋△ｘ，Ｚｎ＝ｚｏ＋△ｚ）、ｃｈａｒａｃｔｅｒ：ｗａｌｋ（ｎａｍｅ＝Ａ，ｘ＝Ｘｎ，ｚ＝Ｚｎ）等が示されている。
【００５２】
アドリブ制御手段１２は、入力手段１１により入力された情報から予め設定されたフラグや単語、文字、記号、或いはユーザからの指示内容等により、入力データからパラメータ／ＴＶＭＬスクリプトを生成する。
【００５３】
また、図２（ｃ）に示す演出生成ルールは、一例として番組のスタジオに存在するモニタに対して、その横にＣＧキャラクタを歩かせる演出生成ルールが示されている。なお、図２（ｃ）において「＃」で始まる行は、ファイル内の記述内容を説明するためのコメント行を示しており、この行に対する処理は行われない。
【００５４】
図２（ｃ）の例では、自分以外のＣＧキャラクタ（出演者）がｄの位置にいた場合には、目的地をｄからｂに変更し、また自分以外のＣＧキャラクタ（出演者）がｄの位置にいなかった場合には、目的地をｄにする。このようにして、自分の目的地を取得したり、また予め固定の目的地を持っているような場合には、その目的地に向かって歩き、目的地についたら処理を終了する。
【００５５】
なお、本実施形態における演出生成ルールは、本発明においては、図２（ｃ）に限定されるものではなく、様々な条件に応じて多数蓄積されている。したがって、適応型演出生成手段２２は、所望する適用型演出生成に必要なルールを演出生成ルール２４から取得し、取得したルールに基づいてＴＶＭＬスクリプトを生成することができる。
【００５６】
また、図２（ｄ）に示すテンプレートＴＶＭＬスクリプト群の一例では、例えば、ＣＧキャラクタである出演者Ａに台詞を喋らせるテンプレートＴＶＭＬスクリプトが示されている。具体的には、図２（ｄ）に示す＜ＴＡＬＫ＿ＴＥＸＴ＞の部分に記述されるデータを実際に出演者Ａにが喋る台詞に置換することができる。なお、本実施形態におけるテンプレートＴＶＭＬスクリプトは、本発明においては、図２（ｄ）に限定されるものではなく、様々な条件に応じて多数のスクリプトがテンプレートＴＶＭＬスクリプト群２５に蓄積されている。したがって、テンプレート型演出生成手段２３は、所望する演出生成に必要なテンプレートをテンプレートＴＶＭＬスクリプト群２５から取得し、取得したテンプレートに基づいてＴＶＭＬスクリプトを生成することができる。
【００５７】
＜番組制作処理手順の例＞
次に、本実施形態における番組制作処理手順の例についてフローチャートを用いて説明する。図３は、本実施形態における制作処理手順の一例を示すフローチャートである。なお、以下に示す例では、台本データが入力された場合のフローチャートの一例について図を用いて説明する。
【００５８】
図３に示す番組制作処理手順では、まず、予め記述された台本を１行（各要素、処理単位）毎に、予め設定した時間間隔等の取得条件で取得する（Ｓ０１）。
【００５９】
ここで、ユーザ等による一部のＣＧキャラクタの動作やカメラワークを手動で制御するための手動制御の台本であるか否かを判断し（Ｓ０２）、手動制御の台本である場合（Ｓ０２において、ＹＥＳ）、現時点の１行台本の内容に対応した操作内容を取得する（Ｓ０３）。また、対応する動作を台本又はパラメータ等により出力し（Ｓ０４）、出力された内容が台本による出力であるか否かを判断する（Ｓ０５）。
【００６０】
ここで、Ｓ０５の処理において、台本による出力である場合（Ｓ０５において、ＹＥＳ）、又は、上述したＳ０２の処理において、手動制御の台本でない場合（Ｓ０２において、ＮＯ）、次に予めユーザ等からの指示やデータの内容から得られる予め設定された台本識別情報等により、出力された台本が適応型演出生成処理用台本であるか否かを判断する（Ｓ０６）。ここで、適応型演出生成処理用台本である場合（Ｓ０６において、ＹＥＳ）、上述した適応型演出生成手段２２における適応型でのＴＶＭＬスクリプトを生成する（Ｓ０７）。また、Ｓ０６の処理において、適応型演出生成処理用台本でない場合（Ｓ０６において、ＮＯ）、上述したテンプレート型演出生成手段２３におけるテンプレート型でのＴＶＭＬスクリプトを生成する（Ｓ０８）。なお、上述したＳ０６の処理では、適応型演出生成処理用の台本であるか否かを判断したが、本発明においてはこれに限定されるものではなく、例えば、テンプレート型演出生成処理用の台本であるか否かを判断して後述する処理を行ってもよい。
【００６１】
また、上述したＳ０５の処理において、台本による出力でない場合（Ｓ０５において、ＮＯ）、上述した再生手段１５にパラメータ値を出力する（Ｓ０９）。
【００６２】
ここで、Ｓ０７、Ｓ０８、又はＳ０９の処理が終了後、出力されるスクリプトやパラメータ値に基づいて対応する番組（シーン）を生成し（Ｓ１０）、生成した内容を再生する（Ｓ１１）。なお、Ｓ１１の処理では、再生時における番組中のＣＧキャラクタ等の各コンテンツ情報毎の内部情報を取得しており、この情報は、上述適応型演出生成手段２２に出力されている。したがって、上述した適応型演出生成手段２２におけるＴＶＭＬスクリプトの生成処理では、その内部情報、上述した不可変情報、及び、演出生成ルール等を用いて、例えば所定時間間隔でその時点での内部情報に対応させた次の演出を行うＴＶＭＬスクリプトが生成される。
【００６３】
ここで、ユーザ等からの終了指示や台本データの全行に対する番組制作処理が終了した場合等により番組制作処理を終了するか否かを判断し（Ｓ１２）、処理を終了しない場合（Ｓ１２において、ＮＯ）、Ｓ０１に戻り、次の台本１行（各要素、処理単位）に対して後続の処理を行う。また、処理を終了する場合（Ｓ１２において、ＹＥＳ）、番組制作処理を終了する。
【００６４】
このような処理により、番組を制作する際に複数の異なる仕組みを用いて高度なアドリブ制御を実現することができる。
【００６５】
＜各実施例について＞
ここで、本実施形態を用いた各実施例について説明する。各実施例としては、全てが人手の場合、一部が人手、一部が自動（台本有り）の場合、一部が人手、一部が自動（台本なし）の場合、及び、全てが自動の場合が考えられる。
【００６６】
＜実施例１：全てが人手の場合＞
本実施形態を用いた実施例１として、例えば、映像コンテンツ上での動作オブジェクト（ＣＧキャラクタの動作・カメラワーク等）毎の全てに人が割り当てられ、全ての動作オブジェクトを人手で操作する場合がある。
【００６７】
この場合には、台本が存在しない完全アドリブの場合と、参考情報としての台本が存在し、一応台本の流れに合わせてユーザが動作オブジェクトを操作し、映像コンテンツを生成する場合とがある。
【００６８】
＜実施例２：一部が人手、一部が自動（台本有り）の場合＞
本実施形態を用いた実施例２として、例えば、映像コンテンツ上での動作オブジェクトに対して、一部が人手で操作し、一部が自動（台本有り）の場合がある。この場合には、予め記述された台本に基づいて映像コンテンツを生成していく。
【００６９】
つまり、実施例２では、動作オブジェクトの一部に人が割り当てられ、その動作オブジェクトを手動で動かす。また、実施例２では、それ以外の動作オブジェクトは、台本に基づいて、演出生成処理により自動的に動作を生成する。
【００７０】
＜実施例３：一部が人手、一部が自動（台本なし）の場合＞
また、同様に実施例２として、例えば、映像コンテンツ上での動作オブジェクトに対して、一部が人手で操作し、一部が自動（台本なし）の場合がある。この場合には、予め設定されたユーザの動作オブジェクトを操作した内容に対し、これに対応する動作を演出生成制御手段２１がオブジェクトに対して自動生成する。
【００７１】
＜実施例４：全てが自動の場合＞
本実施形態を用いた実施例３として、例えば、映像コンテンツ上での動作オブジェクトに対して、予め記述された台本に基づいて映像コンテンツを生成していく場合がある。この場合には、各々の動作オブジェクトの何れにも人が割り当てられておらず、全てを台本に従って演出生成制御手段２１が自動的に動作を生成する。
【００７２】
ここで、上述した各実施例のうち、特に実施例２について図を用いて具体的に説明する。
【００７３】
＜ユーザ操作（人手）によるミスを補正する＞
図４は、実施例２に対応する映像コンテンツ制作時の第１の具体例を示す図である。また、図５は、第１の具体例に対応する各処理動作の一例を示すフローチャートである。図４においては、制作している番組のＣＧキャラクタである出演者Ａ、出演者Ｂに対し、出演者Ａを人手で制御し、出演者Ｂを演出生成処理が制御する例を示している。
【００７４】
台本の記述例として、例えば、上述した図２（ａ）に示すような台本例（例えば、Ａ：（モニタ横へ歩く）、Ｂ：（モニタ横へ歩く）、Ａ：（相手を見る）、・・・）を処理するものとする。
【００７５】
台本作成時には、人手（ユーザ）が出演者Ａを、図４（ア）中の位置（ａ）から位置（ｂ）へ歩かせることを想定して演出を作成している。したがって、出演者Ｂは図４（ア）中の位置（ｃ）から位置（ｄ）へ歩く動作を自動生成する。
【００７６】
ここで、ユーザが台本作成時の通りに出演者Ａを操作した場合は、問題なく映像コンテンツが生成されるが、図４（イ）に示すように、ユーザが出演者Ａを間違って（ｄ）のところへ歩かせた場合、従来の技術では、出演者Ｂはそのまま（ｄ）へ歩き、出演者Ａと出演者Ｂが重なってしまい、映像コンテンツとして破たんすることになる。
【００７７】
そこで、実施例２では、出演者Ｂの動作生成に、上述した適応型演出生成処理を用いる。つまり、適応型演出生成処理において、出演者Ｂの動作を決定する演出生成ルールとして、予め「（ｄ）の周辺に誰かがいれば、もう一方のモニタ横の位置（ｂ）に歩く」と記述しておく。
【００７８】
例えば、図４（ウ）に示す適応型演出生成処理では、図５（ａ）に示すように、まず映像コンテンツ（番組）の内部情報を取得し、位置（ｄ）の周辺に何かあるか（或いは誰かがいるか）を調べる（Ｓ２１）。ここで、何かあるか否かを判断し（Ｓ２２）、何かあると判断した場合（Ｓ２２において、ＹＥＳ）、位置（ｂ）へ歩くＴＶＭＬスクリプトを生成する（Ｓ２３）。また、Ｓ２２の処理において、何かあると判断しなかった場合（Ｓ２２において、ＮＯ）、位置（ｄ）へ歩くＴＶＭＬスクリプトを生成する。これにより、映像コンテンツは、図４（ウ）の状態となり、出演者Ａ，Ｂが重なることなく映像コンテンツとしての破たんを回避することができる。
【００７９】
また、予め設定される動作決定ルールとして、図５（ｂ）に示すように、位置（ｄ）の周辺に誰かＣＧキャラクタ等がいるかを調べ（Ｓ３１）、誰かいるか否かを判断し（Ｓ３２）、誰かがいる場合（Ｓ３２において，ＹＥＳ）、例えば予め「（ｄ）の周辺に誰かがいれば、その誰かの横（例えば、（ｄ'））に歩く」と記述しておくことで、位置（ｄ'）へ歩くＴＶＭＬスクリプトを生成する（Ｓ３３）。また、Ｓ３２の処理において、誰かがいると判断しなかった場合（Ｓ３２において、ＮＯ）、位置（ｄ）へ歩くＴＶＭＬスクリプトを生成する（Ｓ３４）。これにより、映像コンテンツは図４（エ）の状態となり、出演者Ａ，Ｂが重なることなく映像コンテンツとしての破たんを回避することができる。
【００８０】
なお、上述したように、出演者Ａと反対型のモニタの横に行くか、出演者Ａの隣に行くかは、ルールの記述によって変更が可能である。
【００８１】
＜ユーザ操作（人手）によるブレを補正する＞
次に、ユーザ操作（人手）によるミスではなく、操作上のブレを補正する例について具体的に説明する。
【００８２】
図６は、実施例２に対応する映像コンテンツ制作時の第２の具体例を示す図である。また、図７は、第２の具体例に対応する各処理動作を説明するための図である。なお、図６，７においても、上述したように、制作している番組のＣＧキャラクタである出演者Ａ、出演者Ｂに対し、出演者Ａを人手で制御し、出演者Ｂを演出生成処理が制御する例を示している。
【００８３】
図６，７の例では、上述した第１の具体例に示すようなコンテンツとしての明確な破たんではなく、ユーザが手動操作することによるブレの課題を解決する場合を示すものである。ここで、第２の具体例では、図７（ａ）に示す台本例（Ａ：（中央に歩く）、Ｂ：（Ａの横に歩く）、Ａ：（相手を見る））を処理するものである。
【００８４】
ユーザが出演者Ａを正確にセット中央に歩かせた場合は、図６（ア）に示すように、予め設定された位置まで歩かせる動作を生成することにより、出演者Ｂを出演者Ａの横に歩かせることができる。
【００８５】
しかしながら、図６（イ）に示すように、ユーザ等がセットの中央からずれた位置に出演者Ａを歩かせた場合でも、出演者Ｂは自動的に、予め設定された本来の出演者Ａの横の位置へ歩いてしまい、出演者Ａと出演者Ｂの位置がずれてしまう。
【００８６】
そこで、実施例２の第２具体例では、この課題を解決するために適応型演出生成処理を用いる。具体的には図７（ｂ）に示すように、出演者Ｂを事前に決めた位置へ歩かせるのではなく、出演者Ａの位置（ｘ、ｚ）（ｘ：画面上の３次元空間の横座標、ｚ：画面上の３次元空間の奥行き座標）を取得し（Ｓ４１）、その横の位置として、例えば（ｘ、ｚ＋Δｚ１）の座標へ出演者Ｂを歩かせるＴＶＭＬスクリプトを生成する（Ｓ４２）。これにより、図６（ウ）に示すように出演者Ａが正しい位置にいなくても、出演者Ｂの位置を出演者Ａの位置に合わせて動的に変更することが可能となる。
【００８７】
＜他の実施形態：演出に多様性を持たせる＞
次に、本発明における他の実施形態として、生成する演出に多様性を持たせる仕組みを有する番組制作装置について以下に説明する。従来の技術では、ユーザにより動作オブジェクトを制御することは可能であったが、ユーザが制御する動作オブジェクトと、自動制御する動作オブジェクトとにより映像コンテンツを進行させていくには、事前に作成した台本が不可欠である。
【００８８】
そこで、本発明では、台本の代わりにシーンの状況及びユーザが動作オブジェクトに対して行った制御履歴、自動制御による動作オブジェクトへの制御履歴等を保持し、これらを適応型演出生成処理による自動制御の動作ルール（演出生成ルール）の条件として利用する。これにより、台本が存在しなくても、ユーザにより操作された動作オブジェクトと、自動制御する動作オブジェクトを組み合わせた、アドリブ動作による映像コンテンツ生成が可能となり、生成する演出に多様性を持たせることができる。
【００８９】
図８は、他の実施形態における番組制作装置の構成例を示す図である。図８に示す番組制作装置３０において、上述した実施形態において同様の機能を有する構成部については、同一の名称及び番号を付するものとし、ここでの具体的な説明は省略する。
【００９０】
図８に示す番組制作装置３０は、アドリブ制御手段１２と、番組制作手段３１と、不可変情報データベース１４と、再生手段１５とを有するよう構成されている。また、番組制作手段３１は、演出生成制御手段３２と、第１演出生成処理手段３３と、第２演出生成処理手段３４とを有するよう構成されている。
【００９１】
なお、第１演出生成処理手段３３及び第２演出生成処理手段３４は、共に、適応型演出生成処理及びテンプレート型演出生成処理を有するものとする。
【００９２】
また、図９は、他の実施形態における自動動作演出用の適応型演出生成処理内容を説明するための図である。ここで、図９（ａ）は第２演出生成処理手段３４の機能構成例を示し、図９（ｂ）は、動作ルール例を示し、図９（ｃ）は、動作履歴例を示している。更に図９（ａ）に示す第２演出生成処理手段３４は、コマンド解析手段４１と、動作ルール設定手段４２と、動作決定処理手段４３と、動作履歴データベース４４と、シーン情報解析手段４５とを有するよう構成されている。
【００９３】
ここで、図８に示す実施形態では、台本が存在しないため、自動動作演出用の演出生成処理部には、担当する動作オブジェクト用の台本による動作入力はない。
つまり、この実施形態では、人手で制御される動作オブジェクト等に対する操作（コマンド）を台本の１行（１演出）として解析し、演出決定の際のパラメータとして利用する。なお、図１に示す実施形態における台本とは、ストーリー性のある１つの番組全体の台本を意味し、図８，９に示すコマンドとは、台本の１行に相当するものである。
【００９４】
演出生成制御手段３２は、アドリブ制御手段１２から入力されるコマンドを読み取り、コマンド等に予め設定された割り当て条件に基づいて、人手による第１演出生成処理手段３３と、自動による第２演出生成処理手段３４の何れか又は両方に割り当てて、１行分の台本データに相当するコマンドを出力する。
【００９５】
また、演出生成制御手段３２は、第１演出生成処理手段３３及び第２演出生成処理手段３４により得られるＴＶＭＬスクリプトを入力される順序で再生手段１５に出力し、再生手段１５にて対応する番組を再生させる。
【００９６】
第１演出生成処理手段３３は、ユーザ等の人手によりＣＧキャラクタ等を操作する場合の演出を行うＴＶＭＬスクリプトを生成する。つまり、第１演出生成処理手段３３は、入力されたコマンドに対応させてユーザの設定した内容や入力された情報に基づいてＴＶＭＬスクリプトを生成する。また、第１演出生成処理手段３３は、生成した情報を演出生成制御手段３２に出力する。
【００９７】
また、第２演出生成処理手段３４は、自動制御によりＣＧキャラクタを操作する場合の演出を行うＴＶＭＬスクリプトを生成する。つまり、第２演出生成処理手段３４は、予め設定されたテンプレート情報等に基づいて入力されたコマンドに対応させたＴＶＭＬスクリプトを生成する。また、第２演出生成処理手段３４は、生成した情報を演出生成制御手段３２に出力する。
【００９８】
なお、第２演出生成処理手段３４においては、図９（ａ）に示すように、コマンド解析手段４１は、入力されたコマンドを解析し、どのデータに対してどのような動作を行うかを決定するための情報を抽出する。また、動作ルール設定手段４２は、コマンドの指示に対する動作ルールを動作毎に設定しておく。また、動作決定処理手段４３は、コマンド解析手段４１により解析された指示データを取得し、取得した内容と動作ルール設定手段４２により設定された動作ルールから、指示データに対応する動作ルールを取得する。
【００９９】
動作履歴データベース４４は、今までその台本データの対象となっている各ＣＧキャラクタの動作履歴が番組毎又はキャラクタ毎に蓄積されており、動作決定処理手段４３から、例えばそのＣＧキャラクタに対する動作履歴の問い合わせがあった場合に、その動作履歴を出力する。
【０１００】
シーン情報解析手段４５は、先に説明した適応型演出生成処理における再生手段１５の内部情報から得られるシーンの現時点での状態を解析する。つまり、シーン情報解析手段４５は、シーン情報として、再生手段１５で現時点で再生されている番組に出演している出演者の位置や動作状態、小道具の位置等を内部情報から取得し、取得した結果を動作決定処理手段４３に出力する。
【０１０１】
したがって、動作決定処理手段４３は、動作ルールに対応する動作履歴を動作履歴データベース４４から取得し、取得した内容と、シーン情報解析手段４５から得られる内部情報に対応した解析結果に基づいて自動演出動作を生成し、自動演出動作に対応するＴＶＭＬスクリプトを生成し、１行分の台本（自動制御）として出力する。
【０１０２】
ここで、動作ルール（演出生成ルール）は、図９（ｂ）に示すように、自動動作オブジェクトの動作を生成するための基本的なルールを、予め設定される動作に基づいて複数記述しておく。また、動作履歴は、図９（ｃ）に示すように動作決定処理により生成された動作及び台本として入力された人手により動作制御する動作オブジェクトの動作を履歴として、それぞれ回数と動作名を記録してある。なお、図９（ｂ），（ｃ）に示す動作ルール及び動作履歴の内容については、本発明においてはこれに限定されるものではない。
【０１０３】
ここで、上述した実施形態における処理動作について、ユーザ制御時の処理動作手順と自動制御時の処理動作手順とをフローチャートを用いて具体的に説明する。
【０１０４】
＜ユーザ制御時の処理動作手順＞
図１０は、ユーザ制御時の処理動作手順を示すフローチャートである。図１０において、まずユーザからの操作内容を取得し（Ｓ５１）、コマンド（台本１行分）による出力であるか否かを判断する（Ｓ５２）。コマンドによる出力である場合（Ｓ５２において、ＹＥＳ）、人手用演出生成処理及び自動用演出生成処理にコマンドを送信する（Ｓ５３）。
【０１０５】
また、送信したコマンドに基づいて人手用演出生成処理によりＴＶＭＬスクリプトを生成し（Ｓ５４）、また自動用演出生成処理がコマンドを解析し、その対応する動作を動作履歴に保存する（Ｓ５５）。
【０１０６】
また、上述の処理により得られたＴＶＭＬスクリプトを再生手段１５に出力する（Ｓ５６）。なお、上述したＳ５２の処理において、台本による出力でない場合（Ｓ５２において、ＮＯ）、パラメータを再生手段１５に出力する（Ｓ５７）。
【０１０７】
Ｓ５６又はＳ５７の処理が終了後、映像コンテンツを生成し（Ｓ５８）、生成した映像コンテンツを再生する（Ｓ５９）。このとき、所定時間間隔で再生中の番組の現時点でのＣＧキャラクタ情報や物体オブジェクトの位置、台詞等の番組の内部情報を取得する。
【０１０８】
ここで、ユーザ等からの終了指示等により処理を終了するか否かを判断し（Ｓ６０）、処理を終了しない場合（Ｓ６０において、ＮＯ）、Ｓ５１に戻りユーザからの次の操作内容に基づいて後続の処理を行う。また、処理を終了する場合（Ｓ６０において、ＹＥＳ）、本実施形態における番組制作処理を終了する。
【０１０９】
＜自動制御時の処理動作手順＞
図１１は、自動制御時の処理動作手順を示すフローチャートである。また、図１２は、自動制御時の処理動作の具体例を説明するための画面例を示し、図１３は、自動制御時の各動作における処理内容を説明するためのフローチャートである。なお、図１２では、画面例の横に、予め設定される動作ルールとその動作に対応するスクリプトを示している。
【０１１０】
図１１〜図１３は、同一の動作例に対する自動制御時の処理動作手順を説明するものである。つまり、本動作例では、番組中の出演者Ａ，Ｂに対して、人手により出演者Ａを動かし、自動制御によりもう一体の出演者Ｂを動かした場合を示し、動作ルールにおける特定の動作を出演者Ａが腕を挙げる動作とする。
【０１１１】
まず、図１１を用いて動作手順の概略を説明すると、まずユーザからの操作内容であるコマンドを取得し（Ｓ７１）、特定のコマンドであるか否かを判断する（Ｓ７２）。なお、特定のコマンドとは、例えば、ＣＧキャラクタの手を挙げさせたり、おじぎをさせる等のように、回数情報が履歴として蓄積されるような所定の動作の前後や回数等により、その動作を異ならせたり関連性を持たせた動作用のＴＶＭＬスクリプトを生成する必要があるコマンド等である。
【０１１２】
Ｓ７２の処理において、取得したコマンドが特定のコマンドである場合（Ｓ７２において、ＹＥＳ）、その動作回数が規定以上か否かを判断する（Ｓ７３）。動作回数が所定以上である場合（Ｓ７３において、ＹＥＳ）、既に所定回数時における動作が行われているものとして動作回数をリセットし（Ｓ７４）、規定回数時の動作用ＴＶＭＬスクリプトを生成し（Ｓ７５）、生成したスクリプトに対する動作履歴を蓄積する（Ｓ７６）。
【０１１３】
また、Ｓ７３の処理において、動作回数が規定回数以上でない場合（Ｓ７３において、ＮＯ）、動作回数をカウントアップし（Ｓ７７）、規定回数未満での動作用ＴＶＭＬスクリプトを生成し（Ｓ７８）、生成したスクリプトに対する動作履歴を蓄積する（Ｓ７９）。
【０１１４】
また、上述したＳ７２の処理において、取得したコマンドが特定のコマンドでない場合（Ｓ７２において、ＮＯ）、そのコマンドに対応するＴＶＭＬスクリプトを生成し（Ｓ８０）、対応する履歴を蓄積する（Ｓ８１）。
【０１１５】
Ｓ７６，Ｓ７９，又はＳ８１の処理が終了後、ＴＶＭＬスクリプトに対応する番組のシーンを生成し（Ｓ８２）、番組を再生する（Ｓ８３）。このとき、所定時間間隔で再生中の番組の現時点でのＣＧキャラクタ情報や物体オブジェクトの位置、台詞等の番組の内部情報を取得する。
【０１１６】
次に、ユーザ等からの終了指示等により処理を終了するか否かを判断し（Ｓ８４）、処理を終了しない場合（Ｓ８４において、ＮＯ）、Ｓ７１に戻りユーザからの次の操作内容に基づいて後続の処理を行う。また、処理を終了する場合（Ｓ８４において、ＹＥＳ）、本実施形態における番組制作処理を終了する。
【０１１７】
図１１に示す処理手順に基づき、具体的な処理動作について説明すると、図１２（ア）では、出演者Ｂが出演者Ａからの距離を一定に保つ動作を示している。具体的には、出演者Ａをユーザが出演者Ｂから離す方向に移動させると、出演者ＡＢ間の実際の距離ｄが規定値（距離Ｄ）より大きくなる。その場合、少し間をおいて出演者Ｂが出演者Ａに向けて歩き始める動作を行う。
【０１１８】
また、出演者Ｂが出演者Ａに向けて移動し、出演者ＡＢ間の距離が規定値（距離Ｄ）になると、出演者Ｂは立ち止まる。
【０１１９】
更に、出演者ＡＢ間の距離Ｄが規定値（距離Ｄ）より小さくなると、出演者Ｂは出演者Ａから離れる方向に移動する。これにより、出演者Ｂは常にほぼ一定の距離を保ちながら、出演者Ａについて回る動作を生成することになる。ここで、図１３（ａ）では、上述した場合の各動作ルールに対応する処理例を示している。
【０１２０】
つまり、図１３（ａ）において、出演者Ｂは、ＣＧキャラクタ等からなる出演者Ａとの距離ｄを取得し（Ｓ９１）、その距離ｄが予め設定された距離Ｄより大きいか否かを判断する（Ｓ９２）。距離ｄが距離Ｄより大きい場合（Ｓ９２において、ＹＥＳ）、出演者Ｂが出演者Ａに向かって歩いていく動作を行うＴＶＭＬスクリプト生成する（Ｓ９３）。
【０１２１】
また、Ｓ９２の処理において、出演者ＡＢ間の距離ｄが、距離Ｄより大きくない場合（Ｓ９２において、ＮＯ）、次に、距離ｄと距離Ｄとが同一距離であるか否かを判断し（Ｓ９４）、同一距離である場合（Ｓ９４において、ＹＥＳ）、立ち止まるＴＶＭＬスクリプトを生成する（Ｓ９５）。また、同一距離でない場合（Ｓ９４において、ＮＯ）、Ａから離れるように歩くＴＶＭＬスクリプトを生成する（Ｓ９６）。
【０１２２】
また、図１２（イ）に示すように、本実施形態では、動作ルールとして出演者Ａが手を挙げる動作をしたら、出演者Ｂは３ｄの距離まで素早く走って（早歩きで）逃げると記述しておくことで、ユーザにより出演者Ａが手を挙げる動作のコマンドが入力されると、その動作ルールにしたがい出演者Ｂは３ｄの距離まで遠ざかる。
【０１２３】
これにより、出演者Ｂが出演者Ａに怒られて逃げているような動作となる。ここで、図１３（ｂ）は、上述した場合の各動作ルールに対応する処理例を示している。なお、図１３（ｂ）では、動作履歴を用いて所定の動作回数に合わせて動作内容を変更する処理も含んでいる。
【０１２４】
つまり、図１３（ｂ）において、ＣＧキャラクタ等からなる出演者Ｂが手を挙げたか否かを判断し（Ｓ１００）、手を挙げた場合（Ｓ１００において、ＹＥＳ）、次に、手を挙げたのが所定回数（図１３（ｂ）の例では３回目）であるか否かを判断する（Ｓ１０１）。なお、上記の判断は、対応する動作の動作履歴を参照することで容易且つ正確に判断することができる。
【０１２５】
ここで、３回目である場合（Ｓ１０１において、ＹＥＳ）、出演者Ａがジャンプして逃げるＴＶＭＬスクリプトを生成する（Ｓ１０２）。また、３回目でない場合（Ｓ１０１において、ＮＯ）、走って逃げるＴＶＭＬスクリプトを生成する（Ｓ１０３）。これにより、出演者Ａが３回目に手を挙げると出演者Ｂは出演者Ａからジャンプして逃げる動作を生成することができる。
【０１２６】
このように、幾つかの動作ルールを設定しておくことで、台本がなくても出演者Ｂの動作を、ユーザの操作による出演者Ａの動作に応じて生成することができる。
【０１２７】
また、本実施形態における動作ルールは、障害物があれば避ける記述となっているので、例えば図１２（ウ）に示すように、出演者Ａに近づく、或いは遠ざかる途中に障害物があれば、これを自動的によける動作を生成することができる。また、本実施形態では、出演者Ｂの前方に何かが存在するのか、また存在する場合には、それが障害物であるのかをシーン情報や内部情報等に基づいて判断することができる。また、本実施形態では、障害物の位置もシーン情報を解析することで得ることができる。
【０１２８】
なお、何が障害物であるかは、ＣＧモデルデータに付加したメタデータにより取得することができる。ここで、図１３（ｃ）は、上述した場合の各動作ルールに対応する処理例を示している。
【０１２９】
つまり、図１３（ｃ）において、前方情報を取得し（Ｓ１１１）、何かあるか否かを判断する（Ｓ１１２）。何かある場合（Ｓ１１２において、ＹＥＳ）、それが障害物であるか否かを判断する（Ｓ１１３）。なお、上記の判断は、移動している途中に物体オブジェクト等の座標又はその領域が存在しているか否かにより判断することができる。また、これらの情報は、シーン情報からの座標データを読み取ることで取得することができる。
【０１３０】
Ｓ１１３の処理において、障害物が存在している場合（Ｓ１１３において、ＹＥＳ）、障害物を回避するＴＶＭＬスクリプトを生成する（Ｓ１１４）。また、障害物でない場合（Ｓ１１３において、ＮＯ）、その他の何かに対して動作を補正するＴＶＭＬスクリプトを生成する（Ｓ１１５）。また、Ｓ１１２の処理において、何もない場合（Ｓ１１２において、ＮＯ）、何もしないでここでの処理を終了する。
【０１３１】
更に、本実施形態における動作ルール例には、動作オブジェクトの動作履歴をパラメータとして利用することができる。図１２（エ）の例では、動作ルール（動作Ａを２回行った後は動作Ａを動作Ｂに変更する）において、動作Ａを「出演者Ａから３ｄの距離へ逃げる」と記述してあるものとし、また動作Ｂを「出演者Ｂが出演者Ａから２．５ｄの位置へジャンプして移動する」と記述してあるものとする。
【０１３２】
このように、動作オブジェクトの動作履歴を演出生成処理内で保持し、動作決定に利用することで、台本が存在しない利用形態においても、演出に多様性を持たせたアドリブによる映像コンテンツを生成することができる。したがって、上述したような処理により、番組を制作する際に複数の異なる仕組みを用いて高度なアドリブ制御を実現することができる。
【０１３３】
なお、上述した例では、番組に登場するＣＧキャラクタ（出演者）に対する動作例について説明したが、本発明においてはこれに限定されるものではなく、例えばカメラワーク等の動作においても上述した手法を適用してアドリブ制御を実現することができる。
【０１３４】
＜実行プログラム＞
ここで、上述した番組制作装置（映像コンテンツ制作装置）１０，３０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。
【０１３５】
したがって、番組制作装置１０，３０が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【０１３６】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（番組制作プログラム（映像コンテンツ制作プログラム））を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、番組制作処理を実現することができる。なお、本発明における実行プログラムによる処理については、例えば上述した各処理を実現することができる。
【０１３７】
上述したように本発明によれば、番組を制作する際に複数の異なる仕組みを用いて高度なアドリブ制御を実現することができる。具体的には、本発明によれば、ユーザが動作オブジェクトの操作を誤った場合に、システム側でユーザの動作を修正するのではなく、他の動作オブジェクト等の動作を変更して、ユーザの誤りやブレを補完することで、映像コンテンツを破たんさせることなく映像コンテンツを生成することができる。また、その際出力される映像コンテンツは、ユーザの操作に適応して可変するものであり、より高度なアドリブ制御が可能となる。
【０１３８】
また本発明によれば、従来の技術では実現できなかった、台本の存在しない手動制御と自動制御が混在したアドリブ制御が可能となる。これにより、台本がない状態でのアドリブ制御による映像コンテンツ生成が可能となり、適用範囲の拡大や、利用者へ要求するスキルレベルを下げることが可能となり、より多くの人がアドリブ制御を利用できるようになる。
【０１３９】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１４０】
１０，３０ 番組制作装置
１１ 入力手段
１２ アドリブ制御手段
１３，３１ 番組制作手段
１４ 不可変情報データベース
１５ 再生手段
２１，３２ 演出生成制御手段
２２ 適応型演出生成手段（第１の演出生成手段）
２３ テンプレート演出生成手段（第２の演出生成手段）
２４ 演出生成ルール
２５ テンプレートＴＶＭＬスクリプト群
３３ 第１演出生成処理手段
３４ 第２演出生成処理手段
４１ コマンド解析手段
４２ 動作ルール設定手段
４３ 動作決定処理手段
４４ 動作履歴データベース
４５ シーン情報解析手段
【特許請求の範囲】
【請求項１】
コンテンツに与える演出・効果を示す演出情報を用いて、対応する映像コンテンツを制作する映像コンテンツ制作装置において、
前記演出情報を各処理単位で読み出し、読み出した演出情報を、予め設定された複数の演出生成手段のうち、何れか又は両方の演出生成手段に割り当てる演出生成制御手段と、
再生中の映像コンテンツの現時点におけるオブジェクトの内部情報を取得し、取得した内部情報から次の演出内容を含むコンテンツ情報を生成する第１の演出生成手段と、
予め蓄積されたテンプレートの内容を前記演出情報の記述内容で置換し、予め設定される演出内容を含むコンテンツ情報を生成する第２の演出生成手段と、
前記第１の演出生成手段及び／又は前記第２の演出生成手段とから得られるコンテンツ情報に基づいて映像コンテンツを再生する再生手段とを有することを特徴とする映像コンテンツ制作装置。
【請求項２】
前記第１の演出生成手段は、
前記内部情報に対応させて、前記演出情報を変更するための演出生成ルールを設定することを特徴とする請求項１に記載の映像コンテンツ制作装置。
【請求項３】
前記第１の演出生成手段は、
前記内部情報に基づく履歴情報を蓄積する履歴情報データベースを有することを特徴とする請求項１又は２に記載の映像コンテンツ制作装置。
【請求項４】
前記再生手段は、
所定の時間間隔で前記内部情報を生成することを特徴とする請求項１乃至３の何れか１項に記載の映像コンテンツ制作装置。
【請求項５】
ユーザにより操作された内容を取得し、取得した操作内容に基づいてアドリブ制御を行うアドリブ制御手段を有し、
前記アドリブ制御手段は、入力された操作内容に含まれる識別情報に基づいて演出情報を生成し、生成した演出情報を前記演出生成制御手段に出力するか、又は前記再生手段においてコンテンツを再生するためのパラメータ値を生成し、生成したパラメータ値を前記再生手段に出力することを特徴とする請求項１乃至４の何れか１項に記載の映像コンテンツ制作装置。
【請求項６】
前記演出情報は、前記映像コンテンツに登場するＣＧキャラクタ及び／又はカメラワークに対する演出を含むことを特徴とする請求項１乃至５の何れか１項に記載の映像コンテンツ制作装置。
【請求項７】
コンピュータを、請求項１乃至６の何れか１項に記載の映像コンテンツ制作装置として機能させることを特徴とする映像コンテンツ制作プログラム。
【請求項１】
コンテンツに与える演出・効果を示す演出情報を用いて、対応する映像コンテンツを制作する映像コンテンツ制作装置において、
前記演出情報を各処理単位で読み出し、読み出した演出情報を、予め設定された複数の演出生成手段のうち、何れか又は両方の演出生成手段に割り当てる演出生成制御手段と、
再生中の映像コンテンツの現時点におけるオブジェクトの内部情報を取得し、取得した内部情報から次の演出内容を含むコンテンツ情報を生成する第１の演出生成手段と、
予め蓄積されたテンプレートの内容を前記演出情報の記述内容で置換し、予め設定される演出内容を含むコンテンツ情報を生成する第２の演出生成手段と、
前記第１の演出生成手段及び／又は前記第２の演出生成手段とから得られるコンテンツ情報に基づいて映像コンテンツを再生する再生手段とを有することを特徴とする映像コンテンツ制作装置。
【請求項２】
前記第１の演出生成手段は、
前記内部情報に対応させて、前記演出情報を変更するための演出生成ルールを設定することを特徴とする請求項１に記載の映像コンテンツ制作装置。
【請求項３】
前記第１の演出生成手段は、
前記内部情報に基づく履歴情報を蓄積する履歴情報データベースを有することを特徴とする請求項１又は２に記載の映像コンテンツ制作装置。
【請求項４】
前記再生手段は、
所定の時間間隔で前記内部情報を生成することを特徴とする請求項１乃至３の何れか１項に記載の映像コンテンツ制作装置。
【請求項５】
ユーザにより操作された内容を取得し、取得した操作内容に基づいてアドリブ制御を行うアドリブ制御手段を有し、
前記アドリブ制御手段は、入力された操作内容に含まれる識別情報に基づいて演出情報を生成し、生成した演出情報を前記演出生成制御手段に出力するか、又は前記再生手段においてコンテンツを再生するためのパラメータ値を生成し、生成したパラメータ値を前記再生手段に出力することを特徴とする請求項１乃至４の何れか１項に記載の映像コンテンツ制作装置。
【請求項６】
前記演出情報は、前記映像コンテンツに登場するＣＧキャラクタ及び／又はカメラワークに対する演出を含むことを特徴とする請求項１乃至５の何れか１項に記載の映像コンテンツ制作装置。
【請求項７】
コンピュータを、請求項１乃至６の何れか１項に記載の映像コンテンツ制作装置として機能させることを特徴とする映像コンテンツ制作プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−７９１５０（Ｐ２０１２−７９１５０Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２４６８３（Ｐ２０１０−２２４６８３）
【出願日】平成２２年１０月４日（２０１０．１０．４）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月４日（２０１０．１０．４）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]