３Ｄ映像生成システム
【課題】３Ｄグラフィクスハードウェア等を使用できない表示機器においても３Ｄ表現による視差画像等を動的に合成でき、メニューやアイコンなどに様々な視覚エフェクトを適用することが可能な３Ｄ映像生成システムを提供する。
【解決手段】３Ｄ画像を処理可能な３Ｄ情報処理装置と、２Ｄ画像を処理可能な２Ｄ画像表示装置とを通信可能に接続し、前記３Ｄ情報処理装置では、３Ｄオブジェクトに対して１以上のカメラアングルを設定し、前記各カメラアングルで撮影した視野画像である２Ｄ画像を出力し、前記カメラアングルから少なくとも構成されるパラメータを出力するように構成する一方、前記２Ｄ画像表示装置では、送信された２Ｄ画像及びパラメータを読み込み、指定された２つの２Ｄ画像間での複数の遷移画像を、前記パラメータに含まれるカメラアングルから生成し、前記２Ｄ画像間で連続的に変化する映像を生成するようにした。
【解決手段】３Ｄ画像を処理可能な３Ｄ情報処理装置と、２Ｄ画像を処理可能な２Ｄ画像表示装置とを通信可能に接続し、前記３Ｄ情報処理装置では、３Ｄオブジェクトに対して１以上のカメラアングルを設定し、前記各カメラアングルで撮影した視野画像である２Ｄ画像を出力し、前記カメラアングルから少なくとも構成されるパラメータを出力するように構成する一方、前記２Ｄ画像表示装置では、送信された２Ｄ画像及びパラメータを読み込み、指定された２つの２Ｄ画像間での複数の遷移画像を、前記パラメータに含まれるカメラアングルから生成し、前記２Ｄ画像間で連続的に変化する映像を生成するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビや携帯電話など３Ｄグラフィックスハードウェアが使用できない表示機器に動的に３Ｄ映像を生成する３Ｄ映像生成システム及び３Ｄ映像生成方法に関するものである。
【背景技術】
【０００２】
ゲームやアニメーションなどにおける３Ｄ表現は、３ＤＣＧポリゴンデータを３Ｄグラフィクスハードウェアによって２Ｄ画像として描画することによって実現している。
【０００３】
一方、３Ｄテレビや携帯電話等の表示機器では、高度なＣＰＵやグラフィックエンジン、多量のメモリ等を価格の点から搭載しにくく、多くの演算を必要とする３ＤＣＧポリゴンモデルは事実上使用できないため、従来、これらの表示機器では、アイコンやキャラクタ等に代表されるオブジェクトのアニメーション映像効果や視差画像を得るために、３Ｄオーサリングツールによってあらかじめ作成したムービーを再生するようにしている。
【０００４】
ところが、このような規定のムービーであると、オブジェクトの視点を変えたいとか、オブジェクトの姿勢を変化させたいといった映像内容の動的な変更要求に対応することができない。これは、立体視のための視差の変更のために３Ｄ表現を動的に調整する必要がある３Ｄテレビなどの表示機器において、特に解決が必要な問題である。
【０００５】
そこで、モーフィングによって２Ｄ画像を擬似的に３Ｄ映像化する技術が開発されてきている。例えば特許文献１〜３では、キャラクタの状態が割り当てられた画像群から、モーフィングを用いて中割り画像を生成する技術が紹介されているし、その他、モーフィングに関しては、動きを自然化するための様々な手法が考えられている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１４５６５０号公報
【特許文献２】特開２００２−１９７４８９号公報
【特許文献３】特開平１０−２６１１０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、このようなモーフィングでは、自由視点でのオブジェクトの３Ｄ映像化が難しい。様々な姿勢や状態の異なる画像にメタ情報（状態や姿勢）を付加する手法等も考えられてはいるが、アニメーションが複雑または長大になると、不自然な状態や姿勢が含まれやすくなる。
【０００８】
本発明は、かかる課題を鑑みてなされたものであって、３Ｄグラフィクスハードウェア等を使用できない表示機器においても３Ｄ表現による視差画像等を動的に合成でき、メニューやアイコンなどに様々な視覚エフェクトを適用することが可能な３Ｄ映像生成システムを提供することをその主たる目的としたものである。
【課題を解決するための手段】
【０００９】
すなわち、本発明は、３Ｄ画像を処理可能な３Ｄ情報処理装置と、２Ｄ画像を処理可能な２Ｄ画像表示装置とを通信可能に接続して構成された映像システムであって、
前記３Ｄ情報処理装置が、複数の姿勢の３Ｄオブジェクトを生成するとともに前記各姿勢の３Ｄオブジェクトそれぞれに互いに対応する１以上の制御点を設定する３Ｄオブジェクト登録部と、前記３Ｄオブジェクトについて、一の姿勢から遷移可能な他の姿勢を定義する状態遷移定義部と、前記３Ｄオブジェクト登録部において設定された３Ｄオブジェクトの姿勢ごとに、１以上のカメラアングルを設定するカメラアングル設定部と、前記各カメラアングルで撮影した視野画像である２Ｄ画像を出力する２Ｄ画像出力部と、前記状態遷移定義部で定義された状態遷移情報及び各２Ｄ画像に対応して設定されたカメラアングルから少なくとも構成されるパラメータを出力するパラメータ出力部とを具備したものであり、
前記２Ｄ画像表示装置が、前記２Ｄ画像出力部から送信された２Ｄ画像を読み込む画像読込部と、前記パラメータ出力部から送信された前記パラメータを読み込むパラメータ読込部と、指定された２つの２Ｄ画像間での複数の遷移画像を、前記パラメータに含まれる状態遷移情報及びカメラアングルから生成し、前記２Ｄ画像間で連続的に変化する映像を生成する映像生成部とを具備したものであることを特徴とする。
【００１０】
このようなものであれば、３Ｄグラフィクスハードウェアを持たず、３Ｄ画像、すなわち３次元情報を有する画像を、３次元情報を保持させたまま、変形や視点変更のできない２Ｄ画像表示装置でも、任意の視点における３Ｄアニメーション映像等を、装置内部の２Ｄ画像処理演算で生成できる。これは、３Ｄ情報処理装置側で、３Ｄ画像を、２Ｄ画像演算できるだけの処理を施した後、２Ｄ画像にして送信するからである。
前記２Ｄ画像演算処理とは、例えばステレオ視やイメージモーフィングの手法を組み合わせによる２Ｄ画像の変形処理や合成処理のことである。
【００１１】
また、キャラクタにさまざまな動きを加えるアニメーション映像を静止画から合成する場合、姿勢の異なる多くの静止画像を違和感無く合成させなければならない。本実施形態では、状態遷移を用いた合成規則を定義できるので、姿勢の異なる画像群の違和感無く合成させることが可能である。
【００１２】
本発明は、姿勢変更を伴わず、カメラアングル、すなわちカメラ視点のみ変更した場合の遷移３Ｄ画像も生成することができる。その場合は、前記３Ｄ情報処理装置が、３Ｄオブジェクトに対して１以上のカメラアングルを設定するカメラアングル設定部と、前記各カメラアングルで撮影した視野画像である２Ｄ画像を出力する２Ｄ画像出力部と、前記カメラアングルから少なくとも構成されるパラメータを出力するパラメータ出力部とを具備したものであり、
前記２Ｄ画像表示装置が、前記２Ｄ画像出力部から送信された２Ｄ画像を読み込む画像読込部と、前記パラメータ出力部から送信された前記パラメータを読み込むパラメータ読込部と、指定された２つの２Ｄ画像間での複数の遷移画像を、前記パラメータに含まれるカメラアングルから生成し、前記２Ｄ画像間で連続的に変化する映像を生成する映像生成部とを具備したものであることが好ましい。
【発明の効果】
【００１３】
このように本発明によれば、３Ｄ情報処理装置と２Ｄ画像表示装置とでの機能分担を巧みに設定しているので、２Ｄ画像表示装置で、３Ｄ表現によるオブジェクトの視差画像や変形遷移画像を、例えばユーザの操作によって動的に、都度生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態における３Ｄ映像生成システムの全体構成を示す構成図である。
【図２】同実施形態におけるオーサリングツールの機能ブロック図である。
【図３】同実施形態におけるオーサリングツールの動作を示すフローチャートである。
【図４】同実施形態における２Ｄ画像表示装置の機能ブロック図である。
【図５】同実施形態における２Ｄ画像表示装置の動作を示すフローチャートである。
【図６】同実施形態における遷移規則を示す例示図である。
【図７】同実施形態における状態遷移図である。
【図８】同実施形態における状態遷移表である。
【図９】同実施形態において、異なる視点から撮影した２つの画像が存在するときの別の視点の画像を生成するための手法を説明するための説明図である。
【図１０】状態遷移と視差の補間とを組み合わせた制御点群の電化製品側での動作、すなわち計算方法を説明するための説明図である。
【図１１】同実施形態において、目的の画像の補間制御点群が算出されているときの電化製品側での動作、すなわち補間画像の合成方法を説明するための説明図である。
【図１２】本発明の他の実施形態における３Ｄ映像生成システムの全体構成を示す構成図である。
【図１３】本発明のさらに他の実施形態における３Ｄ映像生成システムの全体構成を示す構成図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態を、図面を参照して説明する。
図１は、本実施形態に係る映像生成システムの全体構成を概略的に表したものである。
この映像生成システムは、メニューやアイコンなど表示機器のＧＵＩにかかわるコンテンツの生成と利用に主として用いられるものである。
【００１６】
図１中、３Ｄ情報処理装置たる汎用計算機４００は、ハードウェア的には、ＣＰＵやメモリ、ディスプレイ、入力機器等を具備するものであり、前記メモリに格納されたプログラムに従ってＣＰＵが周辺機器と協働することによって、視差画像やアニメーション画像を動的に合成するための画像群および各種パラメータ５００を出力するための編集ソフトウェアである３ＤＣＧモデルオーサリングツール１００としての機能を発揮する。
【００１７】
２Ｄ画像表示装置たる電化製品２００は、画像表示機能で言えば、一般的な２Ｄ画像の表示機能のみを備え、画像群および各種パラメータ５００を処理するための処理能力を持つプロセッサを備えたものである。しかして、この電化製品２００が有する後述の各部としての機能は、汎用計算機４００同様、メモリに格納されたプログラムに従ってＣＰＵが周辺機器と協働することによって得られるものである。なお、この電化製品２００において表示されるメニューやアイコンなどは、リモコンなどの外部操作機器（または機器上の操作パネルなどの内部操作機器）３００によって与えられる動作イベント６００に従い、表示内容が動的に変更される。
【００１８】
＜オーサリングツール１００について＞
次に、３ＤＣＧモデルオーサリングツール１００が有する機能について、図２を参照しながら説明する。
【００１９】
３ＤＣＧポリゴンモデル作成部１０１では、電化製品２００において表示させたいキャラクタ等の３Ｄオブジェクトの作成を支援する。具体的にこのものは、オペレータによる３Ｄオブジェクトの作成操作に係る支援をし、完成した３Ｄオブジェクトをメモリの所定領域に登録する。ここで３Ｄオブジェクトとは、３次元情報を有するオブジェクトのことである。
【００２０】
制御点登録部１０２では、電化製品２００における画像処理のために必要な制御点が３ＤＣＧポリゴンモデルに登録される。この制御点の設定は、この制御点登録部１０２が自動で行っても良いし、オペレータの指定を受け付けて、それをこの制御点登録部１０２が登録するようにしても良い。３ＤＣＧポリゴンモデルに登録された３Ｄ空間上の制御点は、カメラの内部パラメータおよび外部パラメータから得られるカメラ行列によって容易に２Ｄ画像に射影できる。
【００２１】
３ＤＣＧポリゴンモデル編集部１０３では、作成した３ＤＣＧポリゴンモデルの姿勢が変更される。ここでいう姿勢とは、オブジェクトの向きだけでなく、立つ・座るなどの変形をも含む意味である。この姿勢変更の設定は、この３ＤＣＧポリゴンモデル編集部１０３が自動で行っても良いし、オペレータの操作にしたがって、３ＤＣＧポリゴンモデル編集部１０３が姿勢を変更するようにしても良い。このとき、姿勢の変更に応じて頂点も移動するため、頂点に定義づけられた制御点も移動する。
状態登録部１０４では、３ＤＣＧポリゴンモデル編集部１０３において決定した姿勢が、アニメーションにおける基準状態（基点）として登録される。
【００２２】
なお、請求項１で言う３Ｄオブジェクト登録部とは、以上の３ＤＣＧポリゴンモデル作成部１０１、制御点登録部１０２、３ＤＣＧポリゴンモデル編集部１０３及び状態登録部１０４を具備するものである。
【００２３】
状態遷移定義部１０５では、前記状態登録部１０４において登録した状態間をどのように移動するか遷移関係が定義される。この定義は、オペレータの指示によってよいし、状態遷移定義部１０５が自動で定義しても良い。電化製品２００がある状態から別の状態への遷移映像を表示する場合、定義された状態遷移規則を元に画像間の遷移経路を決定することで、意図した遷移映像を生成できる。
【００２４】
カメラアングル設定部１０６では、電化製品２００において表示させる視野範囲を満たすカメラアングルを設定する。カメラアングルの設定はオペレータの指示にしたがって行ってもよいし、このカメラアングル設定部１０６が自動で行っても良い。電化製品２００で生成される視野画像の精度は、カメラアングル設定部１０６で設定されたカメラアングルのサンプル数に依存する。
【００２５】
２Ｄ画像出力部１０７では、状態登録部１０４において登録された３ＤＣＧポリゴンモデルの姿勢ごとに、カメラアングル設定部１０６において設定したカメラアングルで撮影した視野画像を出力する。出力画像は、状態をｍ個、カメラアングルをｎ個としたとき、ｍ×ｎ枚である。
【００２６】
各種パラメータ出力部１０８では、状態登録部１０４によって登録された状態や、状態遷移定義部によって定義された状態遷移表、およびカメラアングル設定部１０６によって設定されたカメラパラメータが出力される。
次に、かかる３ＤＣＧモデルオーサリングツール１００によるデータ作成の流れの一例を図３を参照しながら説明する。
【００２７】
まず、オペレータの指示によって使用するキャラクタやオブジェクトの３ＤＣＧポリゴンモデルを作成し（S101）、作成した３ＤＣＧポリゴンモデルの頂点のいくつかを、制御点として定義する（S102）。これは、電化製品２００における画像の合成処理に必要となる。
【００２８】
次に、オペレータの指示により、３ＤＣＧポリゴンモデルに形状の変形を加え代表的な姿勢を与える（S103）。このときのモデルの姿勢を状態として登録する（S104）。このとき、３ＤＣＧモデルオーサリングツール１００は、登録した姿勢を再現するために必要な変形処理（変換行列）をメモリに記憶する。新たな姿勢を、アニメーションの生成に必要な数だけ、手順S103、S104を繰り返して登録していく（S105）。
【００２９】
そして、キャラクタやオブジェクトの３ＤＣＧモデルが、登録した姿勢間をどのように遷移するかをオペレータの指示により定義する（S106）。状態間の遷移についての説明は、後述する。
【００３０】
次に、オペレータの指示によって、状態間の遷移によるアニメーション命令セットを作成する（S107〜S109）。アニメーション命令セットは、単純なテキストコマンドであるため、オペレータは、３ＤＣＧモデルオーサリングツール１００以外のツールでも作成できる。そのため、本ツールにおいて設定の必要が無ければこれらの処理は省略できる。
【００３１】
次に、本ツール１００が出力する２Ｄ画像のカメラアングルについて登録する（S110）。また、立体視のための視差画像や自由視点映像が必要な場合、必要な数のカメラアングルを追加する（S111）。
【００３２】
そして、登録した状態の姿勢に変形した３ＤＣＧポリゴンモデルを、登録したカメラアングルで撮影し、その２Ｄ画像を出力し（S112）。電化製品２００における画像の合成処理に必要となる各種パラメータを出力する（S113）。各種パラメータとは、モデルの状態と状態遷移表、アニメーション命令セット、カメラパラメータである。
【００３３】
＜電化製品２００について＞
次に、２Ｄ画像表示装置たる電化製品２００が有する機能について、図４を参照しながら説明する。
画像読込部２０１は、３ＤＣＧモデルオーサリングツール１００が２Ｄ画像出力部１０７において出力した画像群を読み込む。
各種パラメータ読込部２０２は、３ＤＣＧモデルオーサリングツール１００が各種パラメータ出力部１０８において出力したパラメータ群を読み込む。
初期画像生成部２０３は、読み込んだ画像と各種パラメータから、イベントのアイドル状態のときのパラメータに従って初期画像を生成する。
【００３４】
動作イベント処理部２０４は、外部操作機器（または機器上の操作パネルなどの内部操作機器）３００が動作イベント出力部３０１において出力する動作イベント６００を読み込む。
動作設計部２０５は、読み込んだ動作イベント６００に従い、画像合成のためのパラメータ条件や遷移命令コマンドを設定する。
視差処理部２０６は、読み込んだ動作イベントや電化製品２００が要求する視点でのカメラアングルとカメラ行列を設定する。
２Ｄ画像生成部２０７は、動作設計部２０５で設定した合成順序と、視差設定部２０６で設定したカメラアングルで２Ｄ画像を合成する。
なお、特許請求項１で言う映像生成部とは、前記動作設計部２０５、視差処理部２０６、及び２Ｄ画像生成部２０７を具備したものである。
かかる電化製品２００による画像作成の流れを、図５を参照しながら説明する。
【００３５】
まず、３ＤＣＧモデルオーサリングツール１００により作成された２Ｄ画像群を通信等を介して受信し読み込む（S201）。次いで、３ＤＣＧモデルオーサリングツール１００により作成された各種パラメータを同様に読み込む（S202）。そして、読み込んだ２Ｄ画像群と各種パラメータから、動作イベントのアイドル状態のときの初期パラメータに従って初期画像を生成し表示する（S203）。なお、生成手順は、初期パラメータの条件に従いS207以下を実行する。
【００３６】
次に初期画像を表示し、入力待ち状態に移行する（S204）。そして、電化製品２００のユーザから入力された動作イベント命令のうち、状態遷移に関する命令コマンドに従い、画像間の遷移命令コマンドを設定する（S206）。
【００３７】
次に、入力された動作イベント命令が要求するカメラアングルに基づき、カメラ行列を作成する（S207）。S206で設定した遷移規則に従い、遷移が終了するまで連続画像を生成する（S208、S209）。入力された動作イベント命令が、複数の視差映像を必要とする場合、新たなカメラアングルについてS207〜S209の操作を実行する（S210）。最後に連続画像を２Ｄ映像として画面に出力する（S211）。
以上が、３ＤＣＧモデルオーサリングツール１００及び電化製品２００の構成である。
【００３８】
＜具体的な状態遷移の設定例＞
次いで、画像遷移アニメーションを制御するための状態遷移の概念について、図６〜９を参照しながら動物のキャラクタを例に説明する。
【００３９】
図６においてキャラクタの初期状態（アイドル状態）を、立つ姿勢（S1041）に設定する。このキャラクタにさまざまな行動をとらせるために、他の姿勢を定義する。図６の例では、立つ姿勢（S1041）の他に、座る姿勢（S1042）、吼える姿勢（S1043）、歩く姿勢（S1044）の３つ、計４つを定義する。この４つの姿勢のキャラクタは３ＤＣＧモデルオーサリングツール１００でオペレータの操作の下、作成され、制御点とともにメモリに登録されたものである。このようにいくつかの状態が与えられたとき、キャラクタの姿勢の変化が小さい状態同士を姿勢の遷移先としてオペレータが設定する。この遷移先の関係を示すテーブル（状態遷移表）は、状態遷移定義部１０５がメモリに登録する。
【００４０】
前記姿勢の変化の小さい状態間の画像の合成では、合成後の画素の変化を小さく抑えられるため、自然な遷移となる。S1041とS1043のように姿勢が大きく異なるものは、直接遷移できないように遷移規則を定義することにより、それぞれの画像の合成を避けられる。これにより、画像の合成において不自然な中割り画像の発生を防ぐことができる。
【００４１】
図６の遷移規則を状態遷移図で表すと図７のように、状態遷移表で表すと図８のようになる。図８におけるIa、Ib、Icは、状態間の遷移命令コマンドである。
【００４２】
電化製品２００では、前述した４つの姿勢のキャラクタを２次元にそれぞれ投影した画像群と、各パラメータ、すなわち各２Ｄ画像での制御点及び状態遷移表を３ＤＣＧモデルオーサリングツール１００から受信する。
次に、電化製品２００の動作設計部２０５による画像間の遷移命令コマンドの生成例を示す。
【００４３】
例えば、立つ姿勢（S1041）から、吼える姿勢（S1043）への動作イベントがユーザから入力された場合、図７の状態遷移表に従い、S1041からS1042を経てS1043に到達する経路が求まる。図８より、動作イベントの遷移要求を満たす遷移命令コマンドは、初期状態であるS1041を基点として(Ib,Ic)となる。これは、S1041とS1043の姿勢が大きく異なるため、S1042を中間経路として利用して合成することで、結果のアニメーションを滑らかにしている。状態遷移による画像の合成規則の制御は、大量の画像を合成して複雑なアニメーションを生成する場合においても、合成結果の不自然さを軽減できる。
【００４４】
＜具体的な視差の補間例＞
次に、具体的な視差の補間、すなわち３Ｄオブジェクトの姿勢は変わらず、異なる視点から撮影した２つの画像が存在するとき、別の視点の画像を生成するための手法を、図９を参照しながら説明する。
【００４５】
３次元空間中に存在する対象物O（S20601）上の同じ頂点M(S20602)を、内部パラメータと外部パラメータが既知であるカメラC1（S20604）とカメラC2（S20606）で撮影しているとき、頂点Mの３次元位置は、カメラC1（S20604）で撮影された参照画像I1(S20603)中の制御点m1（S20607）とカメラC2（S20606）で撮影された参照画像C2(S20605)中の制御点m2（S20607）より、三角測量法により求められる。また、２つのカメラ間の対応関係を表す基礎行列Fが、カメラ間の幾何学的な拘束（エピポーラ拘束）により、以下のように成り立つ。
ｍ１ＴＦｍ２＝０ （１）
【００４６】
新たに任意の視点の補間カメラC(S20609)が与えられた場合、制御点m1(S20607)と制御点m2(S20608)から、補間画像(S20610)中の補間制御点m(S20611)を求める問題を考える。
（１）より、カメラC1とカメラCの関係は、
ｍ１ＴＦ１ｍ＝０ （２）
ここで、F1はカメラC1と補間カメラCの間の基礎行列である。
（１）より、カメラC2とカメラCの関係は、
ｍ２ＴＦ２ｍ＝０ （３）
ここで、F2はカメラC2と補間カメラCの間の基礎行列である。
（２）と（３）より、補間制御点mは以下の式で表される。
ｍ＝ｍ１Ｆ１Ｔ×ｍ２Ｆ２Ｔ （４）
【００４７】
補間画像中の補間制御点mは、カメラ間の対応関係を表すF1とF2が求まれば（４）式により直ちに求まる。この手法により、カメラパラメータが既知である複数の視点のカメラから撮影した画像群を用いると、任意の視点での画像を新たに算出することが可能である。
【００４８】
ここでは、オーサリングツール１００の２Ｄ画像出力部１０７から出力された複数の２Ｄ視野画像と、各種パラメータ出力部１０８から出力されるカメラパラメータを電化製品２００は読み込み、その視差処理部２０６が前記手法に基づいて、中間の補間カメラの画像を算出する。
【００４９】
＜状態遷移と視差の補間の組み合わせによる制御点群の変換＞
上述の状態遷移と視差の補間とを組み合わせた制御点群の電化製品２００側での動作、すなわち計算方法を、図１０を参照しながら説明する。
【００５０】
動作イベント処理部２０４が受け取った動作イベントが、立つ状態（S1041）から座る状態（S1042）の遷移命令と、ある視点のカメラ（S20801）での描画命令を持つとする。このとき、以下の条件で、目的の補間画像３（S20722）中の制御点群３(S20723)を求める。
・立つ状態（S1041）が持つ参照画像群は、参照画像１（S20702）と参照画像２（S20705）である。
・座る状態（S1042）が持つ参照画像群は、参照画像３（S20708）と参照画像４（S20711）である。
・参照画像１（S20702）には、制御点群１(S20704)とカメラ行列１（S20703）が与えられている。
・参照画像２（S20705）には、制御点群２(S20707)とカメラ行列２（S20706）が与えられている。
・参照画像３（S20708）には、制御点群３(S20710)とカメラ行列３（S20709）が与えられている。
・参照画像４（S20711）には、制御点群４(S20713)とカメラ行列４（S20712）が与えられている。
【００５１】
最初の処理では、カメラ視点補間操作１（S20714）により、補間カメラ行列(S20701)の視点における補間画像１（S20715）中の補間制御点群１（S20716）の位置を算出する。
【００５２】
次の処理は、カメラ視点補間操作２（S20715）により、補間カメラ行列(S20701)の視点における補間画像２（S20718）中の補間制御点群２（S20719）の位置を算出する。
【００５３】
最後の処理は、制御点ワーピング操作（S20720）により、補間制御点群１（S20716）の位置と補間制御点群２（S20719）の位置を遷移の経過時間で決まる混合比率で補間して、中間姿勢（S20721）中の補間画像３（S20722）中の制御点群３(S20723)の位置を算出する。
【００５４】
補間による制御点の移動処理はワーピングと呼ばれる。カメラ補間操作とワーピング操作の二種の処理により、自由な視点で状態間を遷移する補間制御点群が求められる。
【００５５】
＜変換された制御点群を用いた３Ｄアニメーション画像の合成＞
上述の手法により目的の画像の補間制御点群３（S20723）が算出されているときの電化製品２００側での動作、すなわち補間画像の合成方法を図１１を参照しながら説明する。
【００５６】
目的の補間画像中の補間制御点群が与えられているとき、ある参照画像が持つ制御点群を補間制御点群に一致させるように参照画像中のすべての画素を移動させると、目的の補間画像の幾何学的制約にそった変換画像が得られる。この操作はイメージワーピングと呼ばれる。図１１において、以下の４つのイメージワーピングを行う。
・参照画像１（S20702）にイメージワーピング処理１（S20724）を施すと変換画像１（S20725）が得られる。
・参照画像２（S20705）にイメージワーピング処理２（S20726）を施すと変換画像２（S20727）が得られる。
・参照画像３（S20708）にイメージワーピング処理３（S20728）を施すと変換画像３（S20729）が得られる。
・参照画像４（S20711）にイメージワーピング処理４（S20730）を施すと変換画像４（S20731）が得られる。
【００５７】
得られた変換画像１（S20725）、変換画像２（S20727）、変換画像３（S20729）、変換画像４（S20731）が補間画像３と同じ補間カメラ行列(S20701)から撮影した画像とみなせる。したがって補間画像３（S20722）は、これら４つの画像を視点遷移と状態遷移の割合で決まる混合比率で単純に混合することで求められる。この混合処理はクロスディゾルプと呼ばれる。以上の処理により、任意の視点におけるアニメーション画像を合成できる。
【００５８】
＜効果＞
以上のような構成によれば、３Ｄグラフィクスハードウェアを持たない２Ｄ画像表示機器でも、任意の視点における３Ｄアニメーション映像を機器内部の２Ｄ画像処理演算で生成できる。これは、ステレオ視やイメージモーフィングの手法を組み合わせによって、２Ｄ画像の変形処理や合成処理のみで実現できる。
【００５９】
また、キャラクタにさまざまな動きを加えるアニメーション映像を静止画から合成する場合、姿勢の異なる多くの静止画像を違和感無く合成させなければならない。本実施形態では、状態遷移を用いた合成規則を定義できるので、姿勢の異なる画像群の違和感無く合成させることが可能である。
【００６０】
イメージモーフィングでは、２Ｄ画像への制御点の定義が非常に難しいため、制御点の定義に関して研究の焦点が当てられていることが多い。一般的に、複数の画像同士を対応付ける制御点の推定は、莫大な計算時間を必要とし、標準的な計算機では実時間で処理できない。これに対して、本実施形態では、３ＤＣＧオーサリングツールにおける編集において、制御点を３ＤＣＧポリゴンモデルに埋め込むことにより、２Ｄ画像とともに制御点の２Ｄ位置も出力できるため、煩雑な制御点の推定処理が無い。したがって、標準的な計算能力の演算装置を搭載した家電でも、短時間で一連のイメージモーフィング処理が実行できる。
【００６１】
任意の視差画像と姿勢の遷移画像の両方を算出することは、多くの計算時間を必要とする。本実施形態では、比較的計算量の少ない制御点の変形処理と、計算量の多い２Ｄ画像の加工処理を分け、２Ｄ画像の加工処理を極力減らし、また、煩雑な行列演算を、すべて制御点の変形処理で行っているため、２Ｄ画像の加工を、合成のための参照画像がＮ枚のときO（N）の線形時間で処理することができる。
【００６２】
＜その他＞
本発明は前記実施形態に限られるものではない。
例えば、図１２は、オブジェクトがメニューやアイコンではなく、ネットワークコンテンツ配信サービスなどによる映像データにかかわるコンテンツの場合に好ましい全体構成を表している。
【００６３】
汎用計算機４００で動作する３ＤＣＧモデルオーサリングツール１００は、視差画像やアニメーション画像を動的に合成するための画像群および各種パラメータ５００を出力するための編集ソフトウェアである。電化製品２００は、一般的な２Ｄ画像の表示機能を備え、画像群および各種パラメータを処理するための処理能力を持つプロセッサを備えた機器である。映像コンテンツポータルサービス７００は、３ＤＣＧモデルオーサリングツール１００によって作成した映像コンテンツを、画像群および各種パラメータ５００としてネットワーク端末８００と通じて電化製品２００に配信する。電化製品２００において表示される映像コンテンツは、リモコンなどの外部操作機器（または機器上の操作パネルなどの内部操作機器）３００によって与えられる動作イベント６００に従い、表示内容が動的に変更される。
【００６４】
図１３は、オブジェクトが、携帯電話などの撮影機器上で取得した画像や映像データを入出力可能な表示機器における映像データにかかわるコンテンツの場合に好ましい全体構成を示している。
【００６５】
汎用計算機４００で動作する３ＤＣＧモデルオーサリングツール１００は、視差画像やアニメーション画像を動的に合成するための画像群および各種パラメータ５００を出力するための編集ソフトウェアである。電化製品２００は、一般的な２Ｄ画像の表示機能を備え、画像や映像データを入出力でき、画像群および各種パラメータを処理するための処理能力を持つプロセッサを備えた機器である。電化製品２００が取得した画像コンテンツ９００を、３ＤＣＧモデルオーサリングツール１００の編集素材として汎用計算機４００に出力する。３ＤＣＧモデルオーサリングツール１００によって、画像コンテンツ９００を編集し、画像群および各種パラメータ５００として表示機器２００に出力される。電化製品２００において表示される映像コンテンツは、リモコンなどの外部操作機器（または機器上の操作パネルなどの内部操作機器）３００によって与えられる動作イベント６００に従い、表示内容が動的に変更される。
【００６６】
また、本発明は、姿勢の変更を伴わず、単にカメラ視点を動かすだけの３Ｄ映像生成にも適用できる。その場合、姿勢の変更に係る各部は不要となる。
その他、本発明はその趣旨を逸脱しない範囲に於いて種々の変形が可能である。
【符号の説明】
【００６７】
４００・・・汎用計算機（３Ｄ情報処理装置）
２００・・・電化製品（２Ｄ画像表示装置）
１０１・・・３ＤＣＧポリゴンモデル作成部
１０２・・・制御点登録部
１０３・・・３ＤＣＧポリゴンモデル編集部
１０４・・・状態登録部
１０５・・・状態遷移定義部
１０６・・・カメラアングル設定部
１０７・・・２Ｄ画像出力部
１０８・・・各種パラメータ出力部（パラメータ出力部）
２０１・・・画像読込部
２０２・・・各種パラメータ読込部（パラメータ読込部）
２０３・・・初期画像生成部
２０４・・・動作イベント処理部
２０５・・・動作設計部
２０６・・・視差処理部
２０７・・・２Ｄ画像生成部
【技術分野】
【０００１】
本発明は、テレビや携帯電話など３Ｄグラフィックスハードウェアが使用できない表示機器に動的に３Ｄ映像を生成する３Ｄ映像生成システム及び３Ｄ映像生成方法に関するものである。
【背景技術】
【０００２】
ゲームやアニメーションなどにおける３Ｄ表現は、３ＤＣＧポリゴンデータを３Ｄグラフィクスハードウェアによって２Ｄ画像として描画することによって実現している。
【０００３】
一方、３Ｄテレビや携帯電話等の表示機器では、高度なＣＰＵやグラフィックエンジン、多量のメモリ等を価格の点から搭載しにくく、多くの演算を必要とする３ＤＣＧポリゴンモデルは事実上使用できないため、従来、これらの表示機器では、アイコンやキャラクタ等に代表されるオブジェクトのアニメーション映像効果や視差画像を得るために、３Ｄオーサリングツールによってあらかじめ作成したムービーを再生するようにしている。
【０００４】
ところが、このような規定のムービーであると、オブジェクトの視点を変えたいとか、オブジェクトの姿勢を変化させたいといった映像内容の動的な変更要求に対応することができない。これは、立体視のための視差の変更のために３Ｄ表現を動的に調整する必要がある３Ｄテレビなどの表示機器において、特に解決が必要な問題である。
【０００５】
そこで、モーフィングによって２Ｄ画像を擬似的に３Ｄ映像化する技術が開発されてきている。例えば特許文献１〜３では、キャラクタの状態が割り当てられた画像群から、モーフィングを用いて中割り画像を生成する技術が紹介されているし、その他、モーフィングに関しては、動きを自然化するための様々な手法が考えられている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１４５６５０号公報
【特許文献２】特開２００２−１９７４８９号公報
【特許文献３】特開平１０−２６１１０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、このようなモーフィングでは、自由視点でのオブジェクトの３Ｄ映像化が難しい。様々な姿勢や状態の異なる画像にメタ情報（状態や姿勢）を付加する手法等も考えられてはいるが、アニメーションが複雑または長大になると、不自然な状態や姿勢が含まれやすくなる。
【０００８】
本発明は、かかる課題を鑑みてなされたものであって、３Ｄグラフィクスハードウェア等を使用できない表示機器においても３Ｄ表現による視差画像等を動的に合成でき、メニューやアイコンなどに様々な視覚エフェクトを適用することが可能な３Ｄ映像生成システムを提供することをその主たる目的としたものである。
【課題を解決するための手段】
【０００９】
すなわち、本発明は、３Ｄ画像を処理可能な３Ｄ情報処理装置と、２Ｄ画像を処理可能な２Ｄ画像表示装置とを通信可能に接続して構成された映像システムであって、
前記３Ｄ情報処理装置が、複数の姿勢の３Ｄオブジェクトを生成するとともに前記各姿勢の３Ｄオブジェクトそれぞれに互いに対応する１以上の制御点を設定する３Ｄオブジェクト登録部と、前記３Ｄオブジェクトについて、一の姿勢から遷移可能な他の姿勢を定義する状態遷移定義部と、前記３Ｄオブジェクト登録部において設定された３Ｄオブジェクトの姿勢ごとに、１以上のカメラアングルを設定するカメラアングル設定部と、前記各カメラアングルで撮影した視野画像である２Ｄ画像を出力する２Ｄ画像出力部と、前記状態遷移定義部で定義された状態遷移情報及び各２Ｄ画像に対応して設定されたカメラアングルから少なくとも構成されるパラメータを出力するパラメータ出力部とを具備したものであり、
前記２Ｄ画像表示装置が、前記２Ｄ画像出力部から送信された２Ｄ画像を読み込む画像読込部と、前記パラメータ出力部から送信された前記パラメータを読み込むパラメータ読込部と、指定された２つの２Ｄ画像間での複数の遷移画像を、前記パラメータに含まれる状態遷移情報及びカメラアングルから生成し、前記２Ｄ画像間で連続的に変化する映像を生成する映像生成部とを具備したものであることを特徴とする。
【００１０】
このようなものであれば、３Ｄグラフィクスハードウェアを持たず、３Ｄ画像、すなわち３次元情報を有する画像を、３次元情報を保持させたまま、変形や視点変更のできない２Ｄ画像表示装置でも、任意の視点における３Ｄアニメーション映像等を、装置内部の２Ｄ画像処理演算で生成できる。これは、３Ｄ情報処理装置側で、３Ｄ画像を、２Ｄ画像演算できるだけの処理を施した後、２Ｄ画像にして送信するからである。
前記２Ｄ画像演算処理とは、例えばステレオ視やイメージモーフィングの手法を組み合わせによる２Ｄ画像の変形処理や合成処理のことである。
【００１１】
また、キャラクタにさまざまな動きを加えるアニメーション映像を静止画から合成する場合、姿勢の異なる多くの静止画像を違和感無く合成させなければならない。本実施形態では、状態遷移を用いた合成規則を定義できるので、姿勢の異なる画像群の違和感無く合成させることが可能である。
【００１２】
本発明は、姿勢変更を伴わず、カメラアングル、すなわちカメラ視点のみ変更した場合の遷移３Ｄ画像も生成することができる。その場合は、前記３Ｄ情報処理装置が、３Ｄオブジェクトに対して１以上のカメラアングルを設定するカメラアングル設定部と、前記各カメラアングルで撮影した視野画像である２Ｄ画像を出力する２Ｄ画像出力部と、前記カメラアングルから少なくとも構成されるパラメータを出力するパラメータ出力部とを具備したものであり、
前記２Ｄ画像表示装置が、前記２Ｄ画像出力部から送信された２Ｄ画像を読み込む画像読込部と、前記パラメータ出力部から送信された前記パラメータを読み込むパラメータ読込部と、指定された２つの２Ｄ画像間での複数の遷移画像を、前記パラメータに含まれるカメラアングルから生成し、前記２Ｄ画像間で連続的に変化する映像を生成する映像生成部とを具備したものであることが好ましい。
【発明の効果】
【００１３】
このように本発明によれば、３Ｄ情報処理装置と２Ｄ画像表示装置とでの機能分担を巧みに設定しているので、２Ｄ画像表示装置で、３Ｄ表現によるオブジェクトの視差画像や変形遷移画像を、例えばユーザの操作によって動的に、都度生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態における３Ｄ映像生成システムの全体構成を示す構成図である。
【図２】同実施形態におけるオーサリングツールの機能ブロック図である。
【図３】同実施形態におけるオーサリングツールの動作を示すフローチャートである。
【図４】同実施形態における２Ｄ画像表示装置の機能ブロック図である。
【図５】同実施形態における２Ｄ画像表示装置の動作を示すフローチャートである。
【図６】同実施形態における遷移規則を示す例示図である。
【図７】同実施形態における状態遷移図である。
【図８】同実施形態における状態遷移表である。
【図９】同実施形態において、異なる視点から撮影した２つの画像が存在するときの別の視点の画像を生成するための手法を説明するための説明図である。
【図１０】状態遷移と視差の補間とを組み合わせた制御点群の電化製品側での動作、すなわち計算方法を説明するための説明図である。
【図１１】同実施形態において、目的の画像の補間制御点群が算出されているときの電化製品側での動作、すなわち補間画像の合成方法を説明するための説明図である。
【図１２】本発明の他の実施形態における３Ｄ映像生成システムの全体構成を示す構成図である。
【図１３】本発明のさらに他の実施形態における３Ｄ映像生成システムの全体構成を示す構成図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態を、図面を参照して説明する。
図１は、本実施形態に係る映像生成システムの全体構成を概略的に表したものである。
この映像生成システムは、メニューやアイコンなど表示機器のＧＵＩにかかわるコンテンツの生成と利用に主として用いられるものである。
【００１６】
図１中、３Ｄ情報処理装置たる汎用計算機４００は、ハードウェア的には、ＣＰＵやメモリ、ディスプレイ、入力機器等を具備するものであり、前記メモリに格納されたプログラムに従ってＣＰＵが周辺機器と協働することによって、視差画像やアニメーション画像を動的に合成するための画像群および各種パラメータ５００を出力するための編集ソフトウェアである３ＤＣＧモデルオーサリングツール１００としての機能を発揮する。
【００１７】
２Ｄ画像表示装置たる電化製品２００は、画像表示機能で言えば、一般的な２Ｄ画像の表示機能のみを備え、画像群および各種パラメータ５００を処理するための処理能力を持つプロセッサを備えたものである。しかして、この電化製品２００が有する後述の各部としての機能は、汎用計算機４００同様、メモリに格納されたプログラムに従ってＣＰＵが周辺機器と協働することによって得られるものである。なお、この電化製品２００において表示されるメニューやアイコンなどは、リモコンなどの外部操作機器（または機器上の操作パネルなどの内部操作機器）３００によって与えられる動作イベント６００に従い、表示内容が動的に変更される。
【００１８】
＜オーサリングツール１００について＞
次に、３ＤＣＧモデルオーサリングツール１００が有する機能について、図２を参照しながら説明する。
【００１９】
３ＤＣＧポリゴンモデル作成部１０１では、電化製品２００において表示させたいキャラクタ等の３Ｄオブジェクトの作成を支援する。具体的にこのものは、オペレータによる３Ｄオブジェクトの作成操作に係る支援をし、完成した３Ｄオブジェクトをメモリの所定領域に登録する。ここで３Ｄオブジェクトとは、３次元情報を有するオブジェクトのことである。
【００２０】
制御点登録部１０２では、電化製品２００における画像処理のために必要な制御点が３ＤＣＧポリゴンモデルに登録される。この制御点の設定は、この制御点登録部１０２が自動で行っても良いし、オペレータの指定を受け付けて、それをこの制御点登録部１０２が登録するようにしても良い。３ＤＣＧポリゴンモデルに登録された３Ｄ空間上の制御点は、カメラの内部パラメータおよび外部パラメータから得られるカメラ行列によって容易に２Ｄ画像に射影できる。
【００２１】
３ＤＣＧポリゴンモデル編集部１０３では、作成した３ＤＣＧポリゴンモデルの姿勢が変更される。ここでいう姿勢とは、オブジェクトの向きだけでなく、立つ・座るなどの変形をも含む意味である。この姿勢変更の設定は、この３ＤＣＧポリゴンモデル編集部１０３が自動で行っても良いし、オペレータの操作にしたがって、３ＤＣＧポリゴンモデル編集部１０３が姿勢を変更するようにしても良い。このとき、姿勢の変更に応じて頂点も移動するため、頂点に定義づけられた制御点も移動する。
状態登録部１０４では、３ＤＣＧポリゴンモデル編集部１０３において決定した姿勢が、アニメーションにおける基準状態（基点）として登録される。
【００２２】
なお、請求項１で言う３Ｄオブジェクト登録部とは、以上の３ＤＣＧポリゴンモデル作成部１０１、制御点登録部１０２、３ＤＣＧポリゴンモデル編集部１０３及び状態登録部１０４を具備するものである。
【００２３】
状態遷移定義部１０５では、前記状態登録部１０４において登録した状態間をどのように移動するか遷移関係が定義される。この定義は、オペレータの指示によってよいし、状態遷移定義部１０５が自動で定義しても良い。電化製品２００がある状態から別の状態への遷移映像を表示する場合、定義された状態遷移規則を元に画像間の遷移経路を決定することで、意図した遷移映像を生成できる。
【００２４】
カメラアングル設定部１０６では、電化製品２００において表示させる視野範囲を満たすカメラアングルを設定する。カメラアングルの設定はオペレータの指示にしたがって行ってもよいし、このカメラアングル設定部１０６が自動で行っても良い。電化製品２００で生成される視野画像の精度は、カメラアングル設定部１０６で設定されたカメラアングルのサンプル数に依存する。
【００２５】
２Ｄ画像出力部１０７では、状態登録部１０４において登録された３ＤＣＧポリゴンモデルの姿勢ごとに、カメラアングル設定部１０６において設定したカメラアングルで撮影した視野画像を出力する。出力画像は、状態をｍ個、カメラアングルをｎ個としたとき、ｍ×ｎ枚である。
【００２６】
各種パラメータ出力部１０８では、状態登録部１０４によって登録された状態や、状態遷移定義部によって定義された状態遷移表、およびカメラアングル設定部１０６によって設定されたカメラパラメータが出力される。
次に、かかる３ＤＣＧモデルオーサリングツール１００によるデータ作成の流れの一例を図３を参照しながら説明する。
【００２７】
まず、オペレータの指示によって使用するキャラクタやオブジェクトの３ＤＣＧポリゴンモデルを作成し（S101）、作成した３ＤＣＧポリゴンモデルの頂点のいくつかを、制御点として定義する（S102）。これは、電化製品２００における画像の合成処理に必要となる。
【００２８】
次に、オペレータの指示により、３ＤＣＧポリゴンモデルに形状の変形を加え代表的な姿勢を与える（S103）。このときのモデルの姿勢を状態として登録する（S104）。このとき、３ＤＣＧモデルオーサリングツール１００は、登録した姿勢を再現するために必要な変形処理（変換行列）をメモリに記憶する。新たな姿勢を、アニメーションの生成に必要な数だけ、手順S103、S104を繰り返して登録していく（S105）。
【００２９】
そして、キャラクタやオブジェクトの３ＤＣＧモデルが、登録した姿勢間をどのように遷移するかをオペレータの指示により定義する（S106）。状態間の遷移についての説明は、後述する。
【００３０】
次に、オペレータの指示によって、状態間の遷移によるアニメーション命令セットを作成する（S107〜S109）。アニメーション命令セットは、単純なテキストコマンドであるため、オペレータは、３ＤＣＧモデルオーサリングツール１００以外のツールでも作成できる。そのため、本ツールにおいて設定の必要が無ければこれらの処理は省略できる。
【００３１】
次に、本ツール１００が出力する２Ｄ画像のカメラアングルについて登録する（S110）。また、立体視のための視差画像や自由視点映像が必要な場合、必要な数のカメラアングルを追加する（S111）。
【００３２】
そして、登録した状態の姿勢に変形した３ＤＣＧポリゴンモデルを、登録したカメラアングルで撮影し、その２Ｄ画像を出力し（S112）。電化製品２００における画像の合成処理に必要となる各種パラメータを出力する（S113）。各種パラメータとは、モデルの状態と状態遷移表、アニメーション命令セット、カメラパラメータである。
【００３３】
＜電化製品２００について＞
次に、２Ｄ画像表示装置たる電化製品２００が有する機能について、図４を参照しながら説明する。
画像読込部２０１は、３ＤＣＧモデルオーサリングツール１００が２Ｄ画像出力部１０７において出力した画像群を読み込む。
各種パラメータ読込部２０２は、３ＤＣＧモデルオーサリングツール１００が各種パラメータ出力部１０８において出力したパラメータ群を読み込む。
初期画像生成部２０３は、読み込んだ画像と各種パラメータから、イベントのアイドル状態のときのパラメータに従って初期画像を生成する。
【００３４】
動作イベント処理部２０４は、外部操作機器（または機器上の操作パネルなどの内部操作機器）３００が動作イベント出力部３０１において出力する動作イベント６００を読み込む。
動作設計部２０５は、読み込んだ動作イベント６００に従い、画像合成のためのパラメータ条件や遷移命令コマンドを設定する。
視差処理部２０６は、読み込んだ動作イベントや電化製品２００が要求する視点でのカメラアングルとカメラ行列を設定する。
２Ｄ画像生成部２０７は、動作設計部２０５で設定した合成順序と、視差設定部２０６で設定したカメラアングルで２Ｄ画像を合成する。
なお、特許請求項１で言う映像生成部とは、前記動作設計部２０５、視差処理部２０６、及び２Ｄ画像生成部２０７を具備したものである。
かかる電化製品２００による画像作成の流れを、図５を参照しながら説明する。
【００３５】
まず、３ＤＣＧモデルオーサリングツール１００により作成された２Ｄ画像群を通信等を介して受信し読み込む（S201）。次いで、３ＤＣＧモデルオーサリングツール１００により作成された各種パラメータを同様に読み込む（S202）。そして、読み込んだ２Ｄ画像群と各種パラメータから、動作イベントのアイドル状態のときの初期パラメータに従って初期画像を生成し表示する（S203）。なお、生成手順は、初期パラメータの条件に従いS207以下を実行する。
【００３６】
次に初期画像を表示し、入力待ち状態に移行する（S204）。そして、電化製品２００のユーザから入力された動作イベント命令のうち、状態遷移に関する命令コマンドに従い、画像間の遷移命令コマンドを設定する（S206）。
【００３７】
次に、入力された動作イベント命令が要求するカメラアングルに基づき、カメラ行列を作成する（S207）。S206で設定した遷移規則に従い、遷移が終了するまで連続画像を生成する（S208、S209）。入力された動作イベント命令が、複数の視差映像を必要とする場合、新たなカメラアングルについてS207〜S209の操作を実行する（S210）。最後に連続画像を２Ｄ映像として画面に出力する（S211）。
以上が、３ＤＣＧモデルオーサリングツール１００及び電化製品２００の構成である。
【００３８】
＜具体的な状態遷移の設定例＞
次いで、画像遷移アニメーションを制御するための状態遷移の概念について、図６〜９を参照しながら動物のキャラクタを例に説明する。
【００３９】
図６においてキャラクタの初期状態（アイドル状態）を、立つ姿勢（S1041）に設定する。このキャラクタにさまざまな行動をとらせるために、他の姿勢を定義する。図６の例では、立つ姿勢（S1041）の他に、座る姿勢（S1042）、吼える姿勢（S1043）、歩く姿勢（S1044）の３つ、計４つを定義する。この４つの姿勢のキャラクタは３ＤＣＧモデルオーサリングツール１００でオペレータの操作の下、作成され、制御点とともにメモリに登録されたものである。このようにいくつかの状態が与えられたとき、キャラクタの姿勢の変化が小さい状態同士を姿勢の遷移先としてオペレータが設定する。この遷移先の関係を示すテーブル（状態遷移表）は、状態遷移定義部１０５がメモリに登録する。
【００４０】
前記姿勢の変化の小さい状態間の画像の合成では、合成後の画素の変化を小さく抑えられるため、自然な遷移となる。S1041とS1043のように姿勢が大きく異なるものは、直接遷移できないように遷移規則を定義することにより、それぞれの画像の合成を避けられる。これにより、画像の合成において不自然な中割り画像の発生を防ぐことができる。
【００４１】
図６の遷移規則を状態遷移図で表すと図７のように、状態遷移表で表すと図８のようになる。図８におけるIa、Ib、Icは、状態間の遷移命令コマンドである。
【００４２】
電化製品２００では、前述した４つの姿勢のキャラクタを２次元にそれぞれ投影した画像群と、各パラメータ、すなわち各２Ｄ画像での制御点及び状態遷移表を３ＤＣＧモデルオーサリングツール１００から受信する。
次に、電化製品２００の動作設計部２０５による画像間の遷移命令コマンドの生成例を示す。
【００４３】
例えば、立つ姿勢（S1041）から、吼える姿勢（S1043）への動作イベントがユーザから入力された場合、図７の状態遷移表に従い、S1041からS1042を経てS1043に到達する経路が求まる。図８より、動作イベントの遷移要求を満たす遷移命令コマンドは、初期状態であるS1041を基点として(Ib,Ic)となる。これは、S1041とS1043の姿勢が大きく異なるため、S1042を中間経路として利用して合成することで、結果のアニメーションを滑らかにしている。状態遷移による画像の合成規則の制御は、大量の画像を合成して複雑なアニメーションを生成する場合においても、合成結果の不自然さを軽減できる。
【００４４】
＜具体的な視差の補間例＞
次に、具体的な視差の補間、すなわち３Ｄオブジェクトの姿勢は変わらず、異なる視点から撮影した２つの画像が存在するとき、別の視点の画像を生成するための手法を、図９を参照しながら説明する。
【００４５】
３次元空間中に存在する対象物O（S20601）上の同じ頂点M(S20602)を、内部パラメータと外部パラメータが既知であるカメラC1（S20604）とカメラC2（S20606）で撮影しているとき、頂点Mの３次元位置は、カメラC1（S20604）で撮影された参照画像I1(S20603)中の制御点m1（S20607）とカメラC2（S20606）で撮影された参照画像C2(S20605)中の制御点m2（S20607）より、三角測量法により求められる。また、２つのカメラ間の対応関係を表す基礎行列Fが、カメラ間の幾何学的な拘束（エピポーラ拘束）により、以下のように成り立つ。
ｍ１ＴＦｍ２＝０ （１）
【００４６】
新たに任意の視点の補間カメラC(S20609)が与えられた場合、制御点m1(S20607)と制御点m2(S20608)から、補間画像(S20610)中の補間制御点m(S20611)を求める問題を考える。
（１）より、カメラC1とカメラCの関係は、
ｍ１ＴＦ１ｍ＝０ （２）
ここで、F1はカメラC1と補間カメラCの間の基礎行列である。
（１）より、カメラC2とカメラCの関係は、
ｍ２ＴＦ２ｍ＝０ （３）
ここで、F2はカメラC2と補間カメラCの間の基礎行列である。
（２）と（３）より、補間制御点mは以下の式で表される。
ｍ＝ｍ１Ｆ１Ｔ×ｍ２Ｆ２Ｔ （４）
【００４７】
補間画像中の補間制御点mは、カメラ間の対応関係を表すF1とF2が求まれば（４）式により直ちに求まる。この手法により、カメラパラメータが既知である複数の視点のカメラから撮影した画像群を用いると、任意の視点での画像を新たに算出することが可能である。
【００４８】
ここでは、オーサリングツール１００の２Ｄ画像出力部１０７から出力された複数の２Ｄ視野画像と、各種パラメータ出力部１０８から出力されるカメラパラメータを電化製品２００は読み込み、その視差処理部２０６が前記手法に基づいて、中間の補間カメラの画像を算出する。
【００４９】
＜状態遷移と視差の補間の組み合わせによる制御点群の変換＞
上述の状態遷移と視差の補間とを組み合わせた制御点群の電化製品２００側での動作、すなわち計算方法を、図１０を参照しながら説明する。
【００５０】
動作イベント処理部２０４が受け取った動作イベントが、立つ状態（S1041）から座る状態（S1042）の遷移命令と、ある視点のカメラ（S20801）での描画命令を持つとする。このとき、以下の条件で、目的の補間画像３（S20722）中の制御点群３(S20723)を求める。
・立つ状態（S1041）が持つ参照画像群は、参照画像１（S20702）と参照画像２（S20705）である。
・座る状態（S1042）が持つ参照画像群は、参照画像３（S20708）と参照画像４（S20711）である。
・参照画像１（S20702）には、制御点群１(S20704)とカメラ行列１（S20703）が与えられている。
・参照画像２（S20705）には、制御点群２(S20707)とカメラ行列２（S20706）が与えられている。
・参照画像３（S20708）には、制御点群３(S20710)とカメラ行列３（S20709）が与えられている。
・参照画像４（S20711）には、制御点群４(S20713)とカメラ行列４（S20712）が与えられている。
【００５１】
最初の処理では、カメラ視点補間操作１（S20714）により、補間カメラ行列(S20701)の視点における補間画像１（S20715）中の補間制御点群１（S20716）の位置を算出する。
【００５２】
次の処理は、カメラ視点補間操作２（S20715）により、補間カメラ行列(S20701)の視点における補間画像２（S20718）中の補間制御点群２（S20719）の位置を算出する。
【００５３】
最後の処理は、制御点ワーピング操作（S20720）により、補間制御点群１（S20716）の位置と補間制御点群２（S20719）の位置を遷移の経過時間で決まる混合比率で補間して、中間姿勢（S20721）中の補間画像３（S20722）中の制御点群３(S20723)の位置を算出する。
【００５４】
補間による制御点の移動処理はワーピングと呼ばれる。カメラ補間操作とワーピング操作の二種の処理により、自由な視点で状態間を遷移する補間制御点群が求められる。
【００５５】
＜変換された制御点群を用いた３Ｄアニメーション画像の合成＞
上述の手法により目的の画像の補間制御点群３（S20723）が算出されているときの電化製品２００側での動作、すなわち補間画像の合成方法を図１１を参照しながら説明する。
【００５６】
目的の補間画像中の補間制御点群が与えられているとき、ある参照画像が持つ制御点群を補間制御点群に一致させるように参照画像中のすべての画素を移動させると、目的の補間画像の幾何学的制約にそった変換画像が得られる。この操作はイメージワーピングと呼ばれる。図１１において、以下の４つのイメージワーピングを行う。
・参照画像１（S20702）にイメージワーピング処理１（S20724）を施すと変換画像１（S20725）が得られる。
・参照画像２（S20705）にイメージワーピング処理２（S20726）を施すと変換画像２（S20727）が得られる。
・参照画像３（S20708）にイメージワーピング処理３（S20728）を施すと変換画像３（S20729）が得られる。
・参照画像４（S20711）にイメージワーピング処理４（S20730）を施すと変換画像４（S20731）が得られる。
【００５７】
得られた変換画像１（S20725）、変換画像２（S20727）、変換画像３（S20729）、変換画像４（S20731）が補間画像３と同じ補間カメラ行列(S20701)から撮影した画像とみなせる。したがって補間画像３（S20722）は、これら４つの画像を視点遷移と状態遷移の割合で決まる混合比率で単純に混合することで求められる。この混合処理はクロスディゾルプと呼ばれる。以上の処理により、任意の視点におけるアニメーション画像を合成できる。
【００５８】
＜効果＞
以上のような構成によれば、３Ｄグラフィクスハードウェアを持たない２Ｄ画像表示機器でも、任意の視点における３Ｄアニメーション映像を機器内部の２Ｄ画像処理演算で生成できる。これは、ステレオ視やイメージモーフィングの手法を組み合わせによって、２Ｄ画像の変形処理や合成処理のみで実現できる。
【００５９】
また、キャラクタにさまざまな動きを加えるアニメーション映像を静止画から合成する場合、姿勢の異なる多くの静止画像を違和感無く合成させなければならない。本実施形態では、状態遷移を用いた合成規則を定義できるので、姿勢の異なる画像群の違和感無く合成させることが可能である。
【００６０】
イメージモーフィングでは、２Ｄ画像への制御点の定義が非常に難しいため、制御点の定義に関して研究の焦点が当てられていることが多い。一般的に、複数の画像同士を対応付ける制御点の推定は、莫大な計算時間を必要とし、標準的な計算機では実時間で処理できない。これに対して、本実施形態では、３ＤＣＧオーサリングツールにおける編集において、制御点を３ＤＣＧポリゴンモデルに埋め込むことにより、２Ｄ画像とともに制御点の２Ｄ位置も出力できるため、煩雑な制御点の推定処理が無い。したがって、標準的な計算能力の演算装置を搭載した家電でも、短時間で一連のイメージモーフィング処理が実行できる。
【００６１】
任意の視差画像と姿勢の遷移画像の両方を算出することは、多くの計算時間を必要とする。本実施形態では、比較的計算量の少ない制御点の変形処理と、計算量の多い２Ｄ画像の加工処理を分け、２Ｄ画像の加工処理を極力減らし、また、煩雑な行列演算を、すべて制御点の変形処理で行っているため、２Ｄ画像の加工を、合成のための参照画像がＮ枚のときO（N）の線形時間で処理することができる。
【００６２】
＜その他＞
本発明は前記実施形態に限られるものではない。
例えば、図１２は、オブジェクトがメニューやアイコンではなく、ネットワークコンテンツ配信サービスなどによる映像データにかかわるコンテンツの場合に好ましい全体構成を表している。
【００６３】
汎用計算機４００で動作する３ＤＣＧモデルオーサリングツール１００は、視差画像やアニメーション画像を動的に合成するための画像群および各種パラメータ５００を出力するための編集ソフトウェアである。電化製品２００は、一般的な２Ｄ画像の表示機能を備え、画像群および各種パラメータを処理するための処理能力を持つプロセッサを備えた機器である。映像コンテンツポータルサービス７００は、３ＤＣＧモデルオーサリングツール１００によって作成した映像コンテンツを、画像群および各種パラメータ５００としてネットワーク端末８００と通じて電化製品２００に配信する。電化製品２００において表示される映像コンテンツは、リモコンなどの外部操作機器（または機器上の操作パネルなどの内部操作機器）３００によって与えられる動作イベント６００に従い、表示内容が動的に変更される。
【００６４】
図１３は、オブジェクトが、携帯電話などの撮影機器上で取得した画像や映像データを入出力可能な表示機器における映像データにかかわるコンテンツの場合に好ましい全体構成を示している。
【００６５】
汎用計算機４００で動作する３ＤＣＧモデルオーサリングツール１００は、視差画像やアニメーション画像を動的に合成するための画像群および各種パラメータ５００を出力するための編集ソフトウェアである。電化製品２００は、一般的な２Ｄ画像の表示機能を備え、画像や映像データを入出力でき、画像群および各種パラメータを処理するための処理能力を持つプロセッサを備えた機器である。電化製品２００が取得した画像コンテンツ９００を、３ＤＣＧモデルオーサリングツール１００の編集素材として汎用計算機４００に出力する。３ＤＣＧモデルオーサリングツール１００によって、画像コンテンツ９００を編集し、画像群および各種パラメータ５００として表示機器２００に出力される。電化製品２００において表示される映像コンテンツは、リモコンなどの外部操作機器（または機器上の操作パネルなどの内部操作機器）３００によって与えられる動作イベント６００に従い、表示内容が動的に変更される。
【００６６】
また、本発明は、姿勢の変更を伴わず、単にカメラ視点を動かすだけの３Ｄ映像生成にも適用できる。その場合、姿勢の変更に係る各部は不要となる。
その他、本発明はその趣旨を逸脱しない範囲に於いて種々の変形が可能である。
【符号の説明】
【００６７】
４００・・・汎用計算機（３Ｄ情報処理装置）
２００・・・電化製品（２Ｄ画像表示装置）
１０１・・・３ＤＣＧポリゴンモデル作成部
１０２・・・制御点登録部
１０３・・・３ＤＣＧポリゴンモデル編集部
１０４・・・状態登録部
１０５・・・状態遷移定義部
１０６・・・カメラアングル設定部
１０７・・・２Ｄ画像出力部
１０８・・・各種パラメータ出力部（パラメータ出力部）
２０１・・・画像読込部
２０２・・・各種パラメータ読込部（パラメータ読込部）
２０３・・・初期画像生成部
２０４・・・動作イベント処理部
２０５・・・動作設計部
２０６・・・視差処理部
２０７・・・２Ｄ画像生成部
【特許請求の範囲】
【請求項１】
３Ｄ画像を処理可能な３Ｄ情報処理装置と、２Ｄ画像を処理可能な２Ｄ画像表示装置とを通信可能に接続して構成された映像システムであって、
前記３Ｄ情報処理装置が、
複数の姿勢の３Ｄオブジェクトを生成するとともに前記各姿勢の３Ｄオブジェクトそれぞれに互いに対応する１以上の制御点を設定する３Ｄオブジェクト登録部と、
前記３Ｄオブジェクトについて、一の姿勢から遷移可能な他の姿勢を定義する状態遷移定義部と、
前記３Ｄオブジェクト登録部において設定された３Ｄオブジェクトの姿勢ごとに、１以上のカメラアングルを設定するカメラアングル設定部と、
前記各カメラアングルで撮影した視野画像である２Ｄ画像を出力する２Ｄ画像出力部と、
前記状態遷移定義部で定義された状態遷移情報及び各２Ｄ画像に対応して設定されたカメラアングルから少なくとも構成されるパラメータを出力するパラメータ出力部とを具備したものであり、
前記２Ｄ画像表示装置が、
前記２Ｄ画像出力部から送信された２Ｄ画像を読み込む画像読込部と、
前記パラメータ出力部から送信された前記パラメータを読み込むパラメータ読込部と、
指定された２つの２Ｄ画像間での複数の遷移画像を、前記パラメータに含まれる状態遷移情報及びカメラアングルから生成し、前記２Ｄ画像間で連続的に変化する映像を生成する映像生成部とを具備することを特徴とする映像生成システム。
【請求項２】
３Ｄ画像を処理可能な３Ｄ情報処理装置と、２Ｄ画像を処理可能な２Ｄ画像表示装置とを通信可能に接続して構成された映像システムであって、
前記３Ｄ情報処理装置が、
３Ｄオブジェクトに対して１以上のカメラアングルを設定するカメラアングル設定部と、
前記各カメラアングルで撮影した視野画像である２Ｄ画像を出力する２Ｄ画像出力部と、
前記カメラアングルから少なくとも構成されるパラメータを出力するパラメータ出力部とを具備したものであり、
前記２Ｄ画像表示装置が、
前記２Ｄ画像出力部から送信された２Ｄ画像を読み込む画像読込部と、
前記パラメータ出力部から送信された前記パラメータを読み込むパラメータ読込部と、
指定された２つの２Ｄ画像間での複数の遷移画像を、前記パラメータに含まれるカメラアングルから生成し、前記２Ｄ画像間で連続的に変化する映像を生成する映像生成部とを具備することを特徴とする映像生成システム。
【請求項１】
３Ｄ画像を処理可能な３Ｄ情報処理装置と、２Ｄ画像を処理可能な２Ｄ画像表示装置とを通信可能に接続して構成された映像システムであって、
前記３Ｄ情報処理装置が、
複数の姿勢の３Ｄオブジェクトを生成するとともに前記各姿勢の３Ｄオブジェクトそれぞれに互いに対応する１以上の制御点を設定する３Ｄオブジェクト登録部と、
前記３Ｄオブジェクトについて、一の姿勢から遷移可能な他の姿勢を定義する状態遷移定義部と、
前記３Ｄオブジェクト登録部において設定された３Ｄオブジェクトの姿勢ごとに、１以上のカメラアングルを設定するカメラアングル設定部と、
前記各カメラアングルで撮影した視野画像である２Ｄ画像を出力する２Ｄ画像出力部と、
前記状態遷移定義部で定義された状態遷移情報及び各２Ｄ画像に対応して設定されたカメラアングルから少なくとも構成されるパラメータを出力するパラメータ出力部とを具備したものであり、
前記２Ｄ画像表示装置が、
前記２Ｄ画像出力部から送信された２Ｄ画像を読み込む画像読込部と、
前記パラメータ出力部から送信された前記パラメータを読み込むパラメータ読込部と、
指定された２つの２Ｄ画像間での複数の遷移画像を、前記パラメータに含まれる状態遷移情報及びカメラアングルから生成し、前記２Ｄ画像間で連続的に変化する映像を生成する映像生成部とを具備することを特徴とする映像生成システム。
【請求項２】
３Ｄ画像を処理可能な３Ｄ情報処理装置と、２Ｄ画像を処理可能な２Ｄ画像表示装置とを通信可能に接続して構成された映像システムであって、
前記３Ｄ情報処理装置が、
３Ｄオブジェクトに対して１以上のカメラアングルを設定するカメラアングル設定部と、
前記各カメラアングルで撮影した視野画像である２Ｄ画像を出力する２Ｄ画像出力部と、
前記カメラアングルから少なくとも構成されるパラメータを出力するパラメータ出力部とを具備したものであり、
前記２Ｄ画像表示装置が、
前記２Ｄ画像出力部から送信された２Ｄ画像を読み込む画像読込部と、
前記パラメータ出力部から送信された前記パラメータを読み込むパラメータ読込部と、
指定された２つの２Ｄ画像間での複数の遷移画像を、前記パラメータに含まれるカメラアングルから生成し、前記２Ｄ画像間で連続的に変化する映像を生成する映像生成部とを具備することを特徴とする映像生成システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１２８７３７（Ｐ２０１２−１２８７３７Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８０８６３（Ｐ２０１０−２８０８６３）
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]