説明

合成プログラム

【課題】仮想オブジェクトの活用範囲を拡大できる合成プログラムを提供する。
【解決手段】合成プログラムがインストールされたコンピュータは、3DCGキャラクター3のうち机5と重なった箇所の透過情報「キー色(青色)にする」を仮想データ1に付加する前処理を行なう。すなわち仮想データ1のベース領域4や、3DCGキャラクター3のうち机5と重なった箇所が、クロマキー処理で青色(キー色)に塗りつぶされる。合成プログラムがインストールされたコンピュータは、このように3DCGキャラクター3の動作情報が記録された静止画の仮想データ1を多数枚作成し、時間軸に沿って例えば1秒間に30枚の仮想データが順番に再生できるよう書き出して、実写背景画像データ2に仮想データ1を合成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は合成プログラムに関する。詳しくは、例えばコンピュータグラフィックス(Computer Graphics=CG)キャラクターと背景画像を合成する合成プログラムに係るものである。
【背景技術】
【0002】
デジタル放送などの視聴者参加型番組は、一般に、視聴者がテレビ局に送ったデータが番組中に集計されるという程度のものであり、参加型といっても視聴者が、番組に参加している雰囲気をあまり味わうことができない。
【0003】
そこで、例えば特許文献1には、テレビ番組と関連付けられた映像と、家庭の視聴者の映像とを組み合わせ、組み合わされた映像をテレビ番組の一部として家庭の視聴者に提供する方法が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表2003−518840号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、近年では、各観光地や各テレビ局などにおいて独自のイメージキャラクターが作られるというように、キャラクターに脚光が集まっており、特にテレビ局では、番組内でもキャラクターを活かすために、キャラクターのアニメーションを行なう動きがある。
【0006】
しかし、番組の放送画像にCGキャラクターを単に合成したとき、CGキャラクターを移動させる際、位置によって放送画像に映っている机や障害物等の物の後ろに隠したいときがあるが、CGキャラクターがいる位置、物との前後関係に関わらず、放送画像の中に映っている物(例えば机)の前にCGキャラクターが位置するようにしか表示できない。
【0007】
また、マスキング(CGキャラクターの隠したい部分を手作業で透明化させる処理)など所定の編集処理を施せば、机の後にCGキャラクターが位置するように表示することもできるが、生放送中の画像にCGキャラクターを合成する場合には、マスキングなどのような時間がかかる編集処理ができないので、生放送中の画像においても、机の後にCGキャラクターが位置するように表示できるようにして、CGキャラクターを生放送中の画像と合成した時の位置関係の矛盾を無くし、CGキャラクターの活用範囲を拡げることができる技術が求められていた。
【0008】
本発明は、以上の点に鑑みて創案されたものであり、仮想オブジェクトの活用範囲を拡大できる合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記の目的を達成するために、本発明の合成プログラムは、電子計算機に、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの前記仮想オブジェクトのうち前記画像オブジェクトと重なった箇所の透過情報を前記仮想データに付加する前処理機能と、該前処理機能で前処理された仮想データを背景画像データに合成する合成機能とを付与する、前記電子計算機にインストールされるものである。
【0010】
また、上記の目的を達成するために、本発明の合成プログラムは、電子計算機に、被写体を撮影して得られると共に実写画像オブジェクトを含む実写背景画像データと仮想オブジェクトを含む仮想データとを合成したときの前記仮想オブジェクトのうち前記実写画像オブジェクトと重なった箇所の透過情報を前記仮想データに付与する前処理機能と、被写体の撮影時の撮影手段に関する情報と合致するように、仮想オブジェクトを撮影する仮想撮影手段を調整する仮想撮影手段調整機能と、前記仮想オブジェクトを含む仮想データにグリッドを配置するグリッド配置機能と、前記仮想撮影手段調整機能で調整された仮想撮影手段に撮影された前記仮想オブジェクトを含むと共に前記前処理機能で透過情報を付与された仮想データを、前記グリッド配置機能で配置されたグリッドを用いて、前記実写背景画像データに合成する合成機能とを付与する、前記電子計算機にインストールされるものである。
【0011】
ここで、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの仮想オブジェクトのうち画像オブジェクトと重なった箇所の透過情報を仮想データに付加する前処理機能によって、例えば机などの画像オブジェクトを含む背景画像データの上から、CGキャラクターなどの仮想オブジェクトを含む仮想データを合成しても、CGキャラクターの足が透明化されて机が透けて見えるようになるので、CGキャラクターが机の後ろに立っているように見せることができ、演出効果を高めることができる。
【0012】
また、被写体の撮影時の撮影手段に関する情報と合致するように、仮想オブジェクトを撮影する仮想撮影手段を調整する仮想撮影手段調整機能によって、仮想オブジェクトを、自然な形で実写画像データに合成することができる。
【0013】
また、仮想オブジェクトを含む仮想データにグリッドを配置するグリッド配置機能によって、実写背景画像データの画像オブジェクトと仮想オブジェクトとの遠近感を合わせやすくなると共に、合成作業に要する時間を短縮できる。
【0014】
また、本発明の合成プログラムにおいて、透過情報は、クロマキー処理のキー色情報、若しくは、アルファチャンネル処理のアルファ情報を含むこととすることができる。
【0015】
この場合、透過情報がクロマキー処理のキー色情報を含むときは、背景画像データである生放送の映像に、前処理された仮想データを重ね合せやすくなり、また、透過情報がアルファチャンネル処理のアルファ情報を含むときは、オリジナル画像を損なわないので、オリジナル画像を残す必要がある場合などには最適である。
【0016】
また、本発明の合成プログラムは、電子計算機に、仮想オブジェクトの動作情報を、時間軸に沿ったキー入力情報として記録する仮想オブジェクト動作情報記録機能を付与することとすることができる。
【0017】
この場合、仮想オブジェクトの動作情報を画像として記録する場合よりも記録容量が少なく、長時間の記録が可能である。
【0018】
また、本発明の合成プログラムは、電子計算機に、時間軸に沿ったキー入力情報として記録される一の仮想オブジェクトの動作情報を、他の仮想オブジェクトの動作情報に割り当てる動作情報割当機能を付与することとすることができる。
【0019】
この場合、一の仮想オブジェクトの動作と全く同じ動作を他の仮想オブジェクトに対してさせることができ、また、動画で動作情報を記録する必要がないので、動作情報の記録管理が容易である。
【0020】
また、本発明の合成プログラムは、電子計算機に、音声信号に対応して仮想オブジェクトの少なくとも一部が動くよう、合成機能で合成される仮想オブジェクトを処理する音声信号対応処理機能を付与することとすることができる。
【0021】
この場合、例えば、生放送において、実際の人物が発する言葉に対して、CGキャラクターの声を担当する者の言葉を音声信号として認識し、その音声信号に対応して例えばCGキャラクターにジェスチャーを付けることができ、コントローラで指を動かして操作するよりも、操作がしやすく、また、CGキャラクターが実際の人物と自然に会話しているように演出することができる。
【発明の効果】
【0022】
本発明に係る合成プログラムは、仮想オブジェクトの活用範囲を拡大できる。
【図面の簡単な説明】
【0023】
【図1】本発明の合成プログラムで合成される仮想データと実写背景画像データそれぞれの一例を示す概略図である。
【図2】図1の仮想データと実写背景画像データを合成して得られた合成画像データの概略図である。
【発明を実施するための形態】
【0024】
以下、本発明の実施の形態について図面を参照しながら説明し、本発明の理解に供する。
図1は、本発明の合成プログラムで合成される仮想データと実写背景画像データそれぞれの一例を示す概略図である。
【0025】
図1において、仮想データ1は、立体表示(3D)のCGキャラクター(仮想オブジェクトの一例である。)3と、不要なベース領域4からなる。
なお、仮想オブジェクトを、平面表示(2D)のCGキャラクターとしてもよいことは勿論である。
【0026】
また、実写背景画像データ2は、床に置かれた机(実写画像オブジェクトの一例である。)5とその周囲を撮影して得られたものであるが、これに限定されないことは勿論である。
【0027】
また、一連の様々な動作を示す3DCGキャラクター3がそれぞれに含まれた多数の仮想データ1を作成し、実写背景画像データ2上に順次重ね合せていくことにより、一連の動作を行なう3DCGアニメーションを表示する。
なお、図1では、概略を説明するために、大きく分けて3つの仮想データを示している。
【0028】
また、本発明の合成プログラムがインストールされたコンピュータ(電子計算機の一例である。)は、3DCGキャラクターの動作情報を、時間軸に沿った上下左右の方向キーの入力情報として記録する。
【0029】
図1に示す仮想データ1は、「最初に左方向キーを4秒間押し、そして下方向キーを2秒間押す」というように、時間軸に沿ったキー入力情報として3DCGキャラクター3の動作情報を記録したときの例である。
【0030】
また、キー入力するとき、操作者は、コンピュータの画面を見ながら、3DCGキャラクターを操作する。
【0031】
また、本発明の合成プログラムがインストールされたコンピュータは、3DCGキャラクター3のうち机5と重なった箇所の透過情報例えば「アルファ値=0(すなわち透明)」、「アルファ値=0.5(すなわち半透明)」、「キー色(青色)にする」を仮想データ1に付加する前処理を行なう。
【0032】
ここでは、透過情報が、クロマキー処理のキー色情報を含む例、すなわち仮想データ1のベース領域4や、3DCGキャラクター3のうち机5と重なった箇所が、クロマキー処理で青色(キー色)に塗りつぶされた例を示す。
【0033】
図1(b)に示すように、3DCGキャラクター3のうち机5と重なった箇所すなわち3DCGキャラクター3の下半身が、クロマキー処理で青色(キー色)に塗りつぶされている。
【0034】
また、本発明の合成プログラムがインストールされたコンピュータは、このように3DCGキャラクター3の動作情報が記録された静止画の仮想データ1を多数枚作成し、時間軸に沿って例えば1秒間に30枚の仮想データが順番に再生できるよう書き出して、実写背景画像データ2に仮想データ1を合成する。
【0035】
また、本発明の合成プログラムがインストールされたコンピュータが、キャラクター以外の形状データを背景画像データに合成できることは勿論である。
【0036】
また、本発明の合成プログラムは、背景画像データである生放送の映像に、前処理された仮想データをライブで出力して合成することもできる。この場合、仮想データを、ウェブ用の動画からハイビジョン映像までの映像サイズに自由に変更することができる。
【0037】
図2は、図1の仮想データと実写背景画像データを合成して得られた合成画像データの概略図である。
3DCGキャラクター3のうち机と重なった箇所の透過情報「キー色(青色)にする」が仮想データに付与されているので、3DCGキャラクター3が机5の画像上を横切るときは、3DCGキャラクター3のうち机5と重なった箇所が透明になる。従って、その間は、3DCGキャラクター3が机5の後ろを通っているように表示される合成画像データ6が得られる(図2(b)参照。)。
【0038】
また、前述のように時間軸に沿ったキー入力情報として動作情報が記録された3DCGキャラクター3は、図2に示されるように、画面の左方向へ4秒間移動し、そして画面の手前へ2秒間移動する、という一連の動作を示す。
【0039】
また、図1と図2から判るように、仮想データ1のベース領域4もクロマキー処理で青色(キー色)に塗りつぶされているので、仮想データ1を実写背景画像データ2上に合成しても、仮想データ1のベース領域4が透明になり、実写背景画像データ2に含まれる窓、机、床などが表示される。
【0040】
また、本発明の合成プログラムによって合成された合成画像データ6は、透過処理としてアルファチャンネル(あらかじめ表示させたくない箇所を透明化させる)処理ではなくクロマキー処理が施されているので、合成画像データ6を、生放送の映像に例えば字幕合成装置(テロッパー)を用いて重ねることができる。
【0041】
また、本発明の合成プログラムは、例えばボタン操作で3DCGキャラクターのうち机と重なった箇所の透過情報を透明、若しくは、不透明に切替える機能を、コンピュータに付与するようにしてもよい。
【0042】
また、本発明の合成プログラムは、3DCGキャラクターを仮想空間において撮影するときの3DCGキャラクター撮影用カメラ(仮想撮影手段)の例えばアングル、カメラ位置及びレンズ条件を、被写体を撮影する実写撮影用カメラのアングル、カメラ位置及びレンズ条件に合わせる仮想撮影手段調整機能を、コンピュータに付与する。
【0043】
また、本発明の合成プログラムは、3DCGキャラクターを含む仮想データにグリッド(CG空間上に表示させて遠近感を見る為の格子)を配置するグリッド配置機能を、コンピュータに付与する。
【0044】
また、本発明の合成プログラムは、実写画像から、3DCGキャラクター撮影用カメラの位置を自動で割り出す機能(オーグメンテッドリアリティ=AR)をコンピュータに付与してもよい。
【0045】
また、本発明の合成プログラムは、3DCGキャラクターが複数登録されている場合に、複数の3DCGキャラクターを同時に操作するか、単体で操作するかを切替える機能を、コンピュータに付与してもよい。
【0046】
また、本発明の合成プログラムは、同じタイプ例えば人間タイプ同士や動物タイプ同士の3DCGキャラクターであれば、前述のように時間軸に沿ったキー入力情報として記録される一方の3DCGキャラクターの動作情報を他方の3DCGキャラクターの動作情報に割り当てる動作情報割当機能を、コンピュータに付与する。
【0047】
また、本発明の合成プログラムは、音声信号例えば3DCGキャラクターの声を担当する者の言葉に対応して3DCGキャラクターの少なくとも一部例えば口が動くよう、合成機能で合成される3DCGキャラクターを処理する音声信号対応処理機能を、コンピュータに付与する。
【0048】
また、予め動作情報が記録された3DCGキャラクターを動作させる例を説明したが、生放送の映像に、本発明の合成プログラムによって合成された合成画像データを重ね合せようとするとき、例えば3DCGキャラクターの声を担当する者が、動作情報を記録するときのように、画面を見ながら方向キーで3DCGキャラクターを動かし、その操作画面を出力して生放送の映像に合成することもできる。
【0049】
また、実際に撮影した実写画像を背景画像データとして利用した例を説明したが、必ずしも実際に撮影した実写画像を背景画像データとして利用しなくてもよく、例えばCGで作成された背景画像データを利用してもよい。また、静止画像を背景画像データとして利用した例を説明したが、背景画像データとして動画像を利用してもよい。
【0050】
また、透過情報として、マットオブジェクトを仮想データに付加することもできる。
【0051】
ここで、本発明の合成プログラムが、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの仮想オブジェクトのうち画像オブジェクトと重なった箇所の透過情報を仮想データに付加する前処理機能を、電子計算機に付与するのであれば、必ずしも透過情報はクロマキー処理のキー色情報を含まなくてもよい。
【0052】
しかし、透過情報がクロマキー処理のキー色情報を含むときは、背景画像データである生放送の映像に、前処理された仮想データを重ね合せやすくなるので、好ましい。
【0053】
また、本発明の合成プログラムが、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの仮想オブジェクトのうち画像オブジェクトと重なった箇所の透過情報を仮想データに付加する前処理機能を、電子計算機に付与するのであれば、必ずしも仮想オブジェクトの動作情報を、時間軸に沿ったキー入力情報として記録する仮想オブジェクト動作情報記録機能を、電子計算機に付与しなくてもよい。
【0054】
しかし、仮想オブジェクトの動作情報を、時間軸に沿ったキー入力情報として記録する仮想オブジェクト動作情報記録機能を付与すれば、仮想オブジェクトの動作情報を画像として記録する場合よりも記録容量が少なく、長時間の記録が可能であるので、好ましい。
【0055】
また、本発明の合成プログラムが、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの仮想オブジェクトのうち画像オブジェクトと重なった箇所の透過情報を仮想データに付加する前処理機能を、電子計算機に付与するのであれば、必ずしも被写体の撮影時の撮影手段に関する情報と合致するように、仮想オブジェクトを撮影する仮想撮影手段を調整する仮想撮影手段調整機能を、電子計算機に付与しなくてもよい。
【0056】
しかし、被写体の撮影時の撮影手段に関する情報と合致するように、仮想オブジェクトを撮影する仮想撮影手段を調整する仮想撮影手段調整機能を付与すれば、仮想オブジェクトを、自然な形で実写画像データに合成することができるので、好ましい。
【0057】
また、本発明の合成プログラムが、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの仮想オブジェクトのうち画像オブジェクトと重なった箇所の透過情報を仮想データに付加する前処理機能を、電子計算機に付与するのであれば、必ずしも仮想オブジェクトを含む仮想データにグリッドを配置するグリッド配置機能を、電子計算機に付与しなくてもよい。
【0058】
しかし、仮想オブジェクトを含む仮想データにグリッドを配置するグリッド配置機能を付与すれば、画像オブジェクトと仮想オブジェクトとの遠近感を合わせやすくなると共に、合成作業に要する時間を短縮できるので、好ましい。
【0059】
また、本発明の合成プログラムが、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの仮想オブジェクトのうち画像オブジェクトと重なった箇所の透過情報を仮想データに付加する前処理機能を、電子計算機に付与するのであれば、必ずしも時間軸に沿ったキー入力情報として記録される一の仮想オブジェクトの動作情報を、他の仮想オブジェクトの動作情報に割り当てる動作情報割当機能を、電子計算機に付与しなくてもよい。
【0060】
しかし、時間軸に沿ったキー入力情報として記録される一の仮想オブジェクトの動作情報を、他の仮想オブジェクトの動作情報に割り当てる動作情報割当機能を付与すれば、一の仮想オブジェクトの動作と全く同じ動作を他の仮想オブジェクトに対してさせることができ、また、動画で動作情報を記録する必要がないので、動作情報の記録管理が容易であり、好ましい。
【0061】
また、本発明の合成プログラムが、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの仮想オブジェクトのうち画像オブジェクトと重なった箇所の透過情報を仮想データに付加する前処理機能を、電子計算機に付与するのであれば、必ずしも音声信号に対応して仮想オブジェクトの少なくとも一部が動くよう、合成機能で合成される仮想オブジェクトを処理する音声信号対応処理機能を、電子計算機に付与しなくてもよい。
【0062】
しかし、音声信号に対応して仮想オブジェクトの少なくとも一部が動くよう、合成機能で合成される仮想オブジェクトを処理する音声信号対応処理機能を付与すれば、生放送において、実際の人物が発する言葉に対して、CGキャラクターの声を担当する者の言葉を音声信号として認識し、その音声信号に対応して仮想オブジェクトの一部例えばCGキャラクターの口が動くので、CGキャラクターにジェスチャーを付けることができ、コントローラで指を動かして操作するよりも、操作がしやすく、また、CGキャラクターが実際の人物と自然に会話しているように演出することができるので、好ましい。
【0063】
また、キー色として青色を例に挙げて説明しているが、必ずしも青色でなくてもよく、緑色など他の色をキー色として使用できることは勿論である。
【0064】
以上のように、本発明の合成プログラムによって、3DCGキャラクターのうち机と重なった箇所の透過情報「キー色(青色)にする」を仮想データに付加する前処理が行なわれるので、机など撮影されて写っている物を含む背景画像データの上から、3DCGキャラクターなどの仮想オブジェクトを含む仮想データを合成しても、3DCGキャラクターの下半身が透明化されて机が透けて見えるようになるので、3DCGキャラクターが机の後ろに立っているように見せることができ、演出効果を高めることができる。
【0065】
従って、3DCGキャラクターが背景画像の画像オブジェクトの前を通るだけでなく、画像オブジェクトの後も通っているように演出できるので、3DCGキャラクターの活用範囲を、ウェブ用のコンテンツ、番組の素材(ワイプ、コーナータイトル、オープニングなど)、生放送でのタレントと絡めた番組制作などに拡大できる。
【0066】
また、透過情報としてクロマキー処理のキー色情報を採用しているので、生放送の映像に、本発明の合成プログラムによって合成された合成画像データを重ね合せやすい。
【0067】
また、本発明の合成プログラムによって、3DCGキャラクターの声を担当する者の言葉に対応して3DCGキャラクターの口が動くよう、合成機能で合成される3DCGキャラクターが処理されるので、生放送において、実際の人物が発する言葉に対して、3DCGキャラクターの声を担当する者の言葉を音声信号として認識し、その音声信号に対応して3DCGキャラクターにジェスチャーを付けることができ、3DCGキャラクターが実際の人物と自然に会話しているように演出することができる。
【符号の説明】
【0068】
1 仮想データ
2 実写背景画像データ
3 3DCGキャラクター
4 ベース領域
5 机
6 合成画像データ

【特許請求の範囲】
【請求項1】
電子計算機に、
画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの前記仮想オブジェクトのうち前記画像オブジェクトと重なった箇所の透過情報を前記仮想データに付加する前処理機能と、
該前処理機能で前処理された仮想データを背景画像データに合成する合成機能とを付与する
前記電子計算機にインストールされる合成プログラム。
【請求項2】
前記透過情報は、クロマキー処理のキー色情報、若しくは、アルファチャンネル処理のアルファ情報を含む
請求項1に記載の合成プログラム。
【請求項3】
前記合成プログラムは、前記電子計算機に、前記仮想オブジェクトの動作情報を、時間軸に沿ったキー入力情報として記録する仮想オブジェクト動作情報記録機能を付与する
請求項1または請求項2に記載の合成プログラム。
【請求項4】
電子計算機に、
被写体を撮影して得られると共に実写画像オブジェクトを含む実写背景画像データと仮想オブジェクトを含む仮想データとを合成したときの前記仮想オブジェクトのうち前記実写画像オブジェクトと重なった箇所の透過情報を前記仮想データに付与する前処理機能と、
被写体の撮影時の撮影手段に関する情報と合致するように、仮想オブジェクトを撮影する仮想撮影手段を調整する仮想撮影手段調整機能と、
前記仮想オブジェクトを含む仮想データにグリッドを配置するグリッド配置機能と、
前記仮想撮影手段調整機能で調整された仮想撮影手段に撮影された前記仮想オブジェクトを含むと共に前記前処理機能で透過情報を付与された仮想データを、前記グリッド配置機能で配置されたグリッドを用いて、前記実写背景画像データに合成する合成機能とを付与する
前記電子計算機にインストールされる合成プログラム。
【請求項5】
前記合成プログラムは、前記電子計算機に、時間軸に沿ったキー入力情報として記録される一の仮想オブジェクトの動作情報を、他の仮想オブジェクトの動作情報に割り当てる動作情報割当機能を付与する
請求項1〜4のいずれか1つに記載の合成プログラム。
【請求項6】
前記合成プログラムは、前記電子計算機に、音声信号に対応して前記仮想オブジェクトの少なくとも一部が動くよう、前記合成機能で合成される前記仮想オブジェクトを処理する音声信号対応処理機能を付与する
請求項1〜5のいずれか1つに記載の合成プログラム。

【図1】
image rotate

【図2】
image rotate


【公開番号】特開2012−137956(P2012−137956A)
【公開日】平成24年7月19日(2012.7.19)
【国際特許分類】
【出願番号】特願2010−290182(P2010−290182)
【出願日】平成22年12月27日(2010.12.27)
【出願人】(511001127)株式会社ハッピープロジェクト (1)
【Fターム(参考)】