画像流体系の相互作用表現装置、方法、及びそのプログラム
【課題】１枚の静止画像に基づいて、流体と物体との自然な相互作用表現を実現した動画像を生成することを課題とする。
【解決手段】入力された１枚の静止画像から、変形・移動させる流体と相互作用させる物体の境界を相互作用領域として定義し、相互作用領域の速度ベクトルを移流方程式に代入した上で変形・移動させた後の相互作用領域を計算する一方で、変形・移動させた相互作用領域の境界では流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で流体領域の速度ベクトルを補正し、補正した速度ベクトルを移流方程式に代入した上で変形・移動させた後の流体領域を計算することで、変形・移動させた後の流体領域及び相互作用領域の計算結果を合成した動画像において流体的な相互作用のある変形・移動表現が可能となる。
【解決手段】入力された１枚の静止画像から、変形・移動させる流体と相互作用させる物体の境界を相互作用領域として定義し、相互作用領域の速度ベクトルを移流方程式に代入した上で変形・移動させた後の相互作用領域を計算する一方で、変形・移動させた相互作用領域の境界では流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で流体領域の速度ベクトルを補正し、補正した速度ベクトルを移流方程式に代入した上で変形・移動させた後の流体領域を計算することで、変形・移動させた後の流体領域及び相互作用領域の計算結果を合成した動画像において流体的な相互作用のある変形・移動表現が可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１枚の静止画像に基づいて動画像を生成する技術に関する。
【背景技術】
【０００２】
現在、デジタル映像や画像からさまざまな効果を与え、新しい画像を生成する技術が急増している。写真のような実写に対する画質改善が代表的である。従来、画像に動きを与える手法については、２枚の画像からその中間画像をつくるモーフィング法、１枚の画像から動画像を生成する技術としてはワーピング法がある。ワーピング法では、連続的な変化を生成する場合、フレーム間で直線補間がなされる。製作者自らが、１枚の画像について多くの時間を費やして試行錯誤を繰り返すことで動きを少しずつ生成する。このようにワーピング法ではフレーム間で１画素対１画素が対応する数学的な表現を用いるため、画像の濃淡値が移動・変形するような流体の物理表現には不向きであった。
【０００３】
これに対し、最近では、１枚の静止画像に対して予め速度ベクトルを与えておいて、移流方程式を用いてある時刻における画像を順次生成することによって、動画を生成する技術が開示されている（例えば、特許文献１を参照）。移流方程式は、フレーム間で複数の画素対１画素が対応し近傍の情報が次々に反映する物理表現が可能であり、有限差分法により離散化されて計算される。この場合、動画像を生成する際の速度ベクトルの設定・定義については、ＧＵＩ（Graphical User Interface）により表示された画像中の対象領域を定義すると共に、さまざまな速度パターンに基づいて対象領域の速度ベクトルを設定する。設定した速度ベクトルを時間発展させて移流方程式に代入するために、流体力学分野で広く用いられているナビエ・ストークス（ＮＳ）方程式を適用して速度ベクトルを補正する（例えば、非特許文献１を参照）。
【特許文献１】特開２００４−３３４６９４号公報
【非特許文献１】ながれ，２２，Ｐ２３７〜２４５，“ＣＩＰ法の現状とレーザー飛行機への応用”、２００３年
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来では速度ベクトルにＮＳ方程式を適用する際には、対象領域の速度ベクトルがゼロとなる条件を設定するようになっておらず画像中の障害物が考慮されない。このため、生成された動画像において、例えば船が水面の動きと連動したり、走行する機関車から噴出する煙が機関車の機体で変化したり、川の中で石のまわりを流れが避けて通過したり等の流体と物体とが相互作用を起こすような物理現象を表現することが困難であった。
【０００５】
本発明は、上記問題点に鑑み、１枚の静止画像に基づいて、流体と物体との自然な相互作用表現を実現した動画像を生成することを課題とする。
【課題を解決するための手段】
【０００６】
第１の本発明に係る画像流体系の相互作用表現装置は、静止画像の入力を受け付けて、受け付けた静止画像を記憶手段に記憶する画像入力受付手段と、変形・移動させる流体の領域を定義すると共に、静止画像に表現された領域を変形・移動させるための速度パターンに基づいてその流体領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶する流体領域設定手段と、流体と相互作用させる物体の境界を相互作用領域として定義すると共に、速度パターンに基づいてその相互作用領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶する相互作用領域設定手段と、相互作用領域の速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の相互作用領域を計算し、計算結果を記憶手段に記憶する第１の移流計算手段と、第１の移流計算手段により変形・移動させた相互作用領域の境界では流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で、そのナビエ・ストークス方程式を流体領域の速度ベクトルに適用して速度ベクトルを補正し、補正した速度ベクトルを記憶手段に記憶する速度ベクトル補正手段と、速度ベクトル補正手段により補正した速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の流体領域を計算し、計算結果を記憶手段に記憶する第２の移流計算手段と、第１及び第２の移流計算手段により変形・移動させた後の流体領域及び相互作用領域の計算結果を合成して動画像を生成し、生成した動画像を記憶手段に記憶する動画生成手段と、を備えることを特徴とする。
【０００７】
本発明にあっては、流体と相互作用させる物体の境界を相互作用領域として定義し、相互作用領域の速度ベクトルを移流方程式に代入した上で変形・移動させた後の相互作用領域を計算する一方で、変形・移動させた相互作用領域の境界では流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で流体領域の速度ベクトルを補正し、補正した速度ベクトルを移流方程式に代入した上で変形・移動させた後の流体領域を計算することで、変形・移動させた後の流体領域及び相互作用領域の計算結果を合成した動画像において流体的な相互作用のある変形・移動表現が可能となる。
【０００８】
上記画像流体系の相互作用表現装置において、流体と相互作用させる物体は流体であって、速度ベクトル補正手段は、相互作用領域の速度ベクトルをナビエ・ストークス方程式に適用して速度ベクトルを補正することを特徴とする。
【０００９】
本発明にあっては、流体と相互作用させる物体が流体である場合には、相互作用領域の速度ベクトルをナビエ・ストークス方程式に適用して速度ベクトルを補正することで、流体領域の速度ベクトルがゼロとなる相互作用領域の境界を流体として変形・移動させることができる。
【００１０】
上記画像流体系の相互作用表現装置における流体領域設定手段及び相互作用領域設定手段は、ＧＵＩにより、ユーザーから渦、拡散、波、傾斜などの基本速度パターンの指定又は任意の速度の入力を受け付けることを特徴とする。
【００１１】
本発明にあっては、ＧＵＩにより、ユーザーから渦、拡散、波、傾斜などの基本速度パターンの指定又は任意の速度の入力を受け付けることで、速度ベクトルの設定が容易なものとなる。また、基本速度パターンを、学習によって取得されている速度により変形するようにした場合には、より複雑な速度ベクトルの設定が可能となる。
【００１２】
上記画像流体系の相互作用表現装置において移流方程式は、画像を構成する画素の濃淡値を主変数として、その画像の濃淡値の空間１次微分と速度ベクトルとの積からなる移流項を含んだ偏微分方程式であって、第１及び第２の移流計算手段は、その偏微分方程式にＣＩＰ法による離散解法を適用して移流方程式を解くことを特徴とする。
【００１３】
本発明にあっては、移流方程式を解くに際し、画像を構成する画素の濃淡値を主変数として、画像の濃淡値の空間１次微分と速度ベクトルとの積からなる移流項を含んだ偏微分方程式にＣＩＰ法による離散解法を適用することで、数値誤差の拡散が抑制されると共に、時間刻み幅を大きくとることにより移流計算の高速化が可能となる。
【００１４】
第２の本発明に係る画像流体系の相互作用表現方法は、画像入力受付手段により、静止画像の入力を受け付けて、受け付けた静止画像を記憶手段に記憶するステップと、流体領域設定手段により、変形・移動させる流体の領域を定義すると共に、静止画像中に表現された領域を変形・移動させるための速度パターンに基づいてその流体領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶するステップと、相互作用領域設定手段により、流体と相互作用させる物体の境界を相互作用領域として定義すると共に、速度パターンに基づいてその相互作用領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶するステップと、第１の移流計算手段により、相互作用領域の速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の相互作用領域を計算し、計算結果を記憶手段に記憶するステップと、速度ベクトル補正手段により、第１の移流計算手段により変形・移動させた相互作用領域の境界では流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で、そのナビエ・ストークス方程式を流体領域の速度ベクトルに適用して速度ベクトルを補正し、補正した速度ベクトルを記憶手段に記憶するステップと、第２の移流計算手段により、速度ベクトル補正手段により補正した速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の流体領域を計算し、計算結果を記憶手段に記憶するステップと、動画生成手段により、第１及び第２の移流計算手段により変形・移動させた後の流体領域及び相互作用領域の計算結果を合成して動画像を生成し、生成した動画像を記憶手段に記憶するステップと、を有することを特徴とする。
【００１５】
第３の本発明に係る画像流体系の相互作用表現プログラムは、上記画像流体系の相互作用表現方法における各ステップをコンピュータシステムに実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、１枚の静止画像に基づいて、流体と物体との自然な相互作用表現を実現した動画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の一実施の形態について、図面を用いて説明する。
【００１８】
［第１の実施の形態］
図１は、第１の実施の形態に係る画像流体系の相互作用表現装置の概略的な構成を示すブロック図である。この画像流体系の相互作用表現装置は、１枚の２次元静止画像を入力として、その入力された静止画像の時間帯とは異なる時間帯での連続した時系列画像（以下では、動画像と称する）を生成するものである。動画像における各画素の値をそれぞれ決定し、それによって、画素単位で動画像を生成する。
【００１９】
画像流体系の相互作用表現装置１００は、画像入力受付部１０１と、入力された画像データや各部における計算結果などの情報を記憶する記憶部１０２と、速度ベクトルに関する情報を記憶するメモリ１０３と、流体領域設定部１０４と、相互作用領域設定部１０５と、第１の移流計算部１０６と、速度ベクトル補正部１０７と、第２の移流計算部１０８と、動画生成部１０９とを備える。ここでメモリ１０３、流体領域設定部１０４、相互作用領域設定部１０５は、ＧＵＩによりユーザーに対して画像などの情報を表示し、マウスなどのポインティングデバイスを通じて入力操作を受け付ける速度設定ツールとして実現される。
【００２０】
画像入力受付部１０１は、静止画像の入力を受け付けて、受け付けた静止画像を記憶部１０２に記憶する。ここで受け付ける静止画像は、例えばインターネットなどのネットワーク上のウェブサイトに設置されたカメラやウェブサイト上の静止画像、さらにはスキャナやデジタルカメラから入力される静止画像とする。
【００２１】
メモリ１０３は、静止画像に表現された領域を変形・移動させるための速度パターンとして、例えば渦、拡散、波、傾斜、移流などの基本速度パターンを予め記憶しておく。また、流体領域設定部１０４および相互作用領域設定部１０５で設定した速度ベクトルを記憶する。
【００２２】
流体領域設定部１０４は、変形・移動させる流体の領域を定義すると共に、その流体領域の速度ベクトルを速度パターンに基づいて設定し、設定した速度ベクトルをメモリ１０３に記憶する。ここで流体領域設定部１０４は、ＧＵＩによりユーザーから基本速度パターンの指定又は任意の速度の入力を受け付ける。具体的には、速度設定ツールにより静止画像を表示し、ユーザーは、マウスを操作して表示された静止画像に対して流体領域を定義すると共に、基本速度パターンの入力を行い、流体領域の速度ベクトルを速度パターンに基づいて設定する。
【００２３】
相互作用領域設定部１０５は、流体と相互作用させる物体の境界を相互作用領域として定義すると共に、その相互作用領域の速度ベクトルを速度パターンに基づいて設定し、設定した速度ベクトルをメモリ１０３に記憶する。ここでも相互作用領域設定部１０５は、ＧＵＩにより、ユーザーからの基本速度パターンの指定又は任意の速度の入力を受け付ける。速度設定ツールにより静止画像をユーザーに対して表示し、ユーザーは、マウスを操作して静止画像に対して相互作用領域を定義すると共に、基本速度パターンの入力を行い、相互作用領域の速度ベクトルを速度パターンに基づいて設定する。このようにＧＵＩを利用することで、速度ベクトルの定義・設定が容易なものとなる。また、基本速度パターンを学習によって取得されている速度により変形するようにした場合には、より複雑な速度ベクトルの設定が可能となる。
【００２４】
第１の移流計算部１０６は、相互作用領域の速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の相互作用領域を計算し、計算結果を記憶部１０２に記憶する。
【００２５】
速度ベクトル補正部１０７は、第１の移流計算部１０６により変形・移動させた相互作用領域の境界では流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で、そのナビエ・ストークス方程式を流体領域の速度ベクトルに適用して速度ベクトルを補正し、補正した速度ベクトルを記憶部１０２に記憶する。
【００２６】
第２の移流計算部１０８は、速度ベクトル補正部１０７により補正した速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の流体領域を計算し、計算結果を記憶部１０２に記憶する。
【００２７】
動画生成部１０９は、第１の移流計算部１０６及び第２の移流計算部１０８により変形・移動させた後の流体領域及び相互作用領域の計算結果を合成して動画像を生成し、生成した動画像を記憶部１０２に記憶する。生成した動画像は例えばＣＲＴなどの表示装置を通じて表示される。
【００２８】
次に、上記画像流体系の相互作用表現装置を用いた動画像の生成手順について図２のフローチャートを用いて説明する。この生成手順は、本発明の画像流体系相互作用表現方法に基づくものである。ここでは図３に示すように川の中に石が表現された静止画像２００を受け付けた場合と、図４に示すように走行するＳＬとＳＬから噴出される煙とが表現された静止画像３００を受け付けた場合を例にとって説明する。
【００２９】
ステップ１：画像入力受付部１０１により、静止画像の入力を受け付けて、受け付けた静止画像を記憶部１０２に記憶する。
【００３０】
ステップ２：流体領域設定部１０４により、変形・移動させる流体の領域を定義すると共に、流体領域の速度ベクトルを速度パターンに基づいて設定し、設定した速度ベクトルをメモリ１０３に記憶する。具体的には、ユーザーはマウスを操作して、速度設定ツールにより表示された静止画像に対して流体領域を定義する。図３の静止画像２００の場合には、斜線で示した川の領域を流体領域として定義すると共に、表示された基本速度パターンの中から移流を選択し、画面の矢印方向に速度方向を設定する。一方、図４の静止画像３００の場合には、斜線で示した煙の領域を流体領域として定義すると共に、表示された基本速度パターンの中から移流・拡散を選択し、画像中央のＳＬの煙突口から右上方に速度方向を設定する。これにより、速度設定ツールは、流体領域内の画素毎に速度を表した速度パターンファイルを生成する。
【００３１】
ステップ３：相互作用領域設定部１０５により、流体と相互作用させる物体の境界を相互作用領域として定義すると共に、相互作用領域の速度ベクトルを速度パターンに基づいて設定し、設定した速度ベクトルを記憶部１０２に記憶する。ここでも速度設定ツールにより表示された静止画像に対して相互作用領域を定義する。図３の静止画像２００の場合には、点線で示した石の輪郭を相互作用領域として定義すると共に、ここでは画像中の石は静止物体であるので相互作用領域の速度ベクトルをゼロに設定する。一方、図４の静止画像３００の場合には、点線で示したＳＬの機体の輪郭に沿った境界部分を相互作用領域として定義すると共に画像中のＳＬは画面右から左へ並進運動を行う移動物体であるので例えばＳＬの時速１００ｋｍに対応した速度ベクトルを設定する。ここでも、速度設定ツールにより、相互作用領域の画素毎に速度を表した速度パターンファイルを生成する。
【００３２】
ステップ４：第１の移流計算部１０６により、相互作用領域の速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の相互作用領域を計算し、計算結果を記憶部１０２に記憶する。ここで図３の静止画像２００の場合には、相互作用領域の速度ベクトルはゼロを移流方程式に代入する。一方で図４の静止画像３００の場合には時速１００ｋｍに対応した相互作用領域の速度ベクトルを移流方程式に代入する。尚、移流方程式の具体的な解法については後述する。
【００３３】
ステップ５：速度ベクトル補正部１０７により、第１の移流計算部１０６により変形・移動させた相互作用領域の境界では流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で、ナビエ・ストークス方程式を流体領域の速度ベクトルに適用して速度ベクトルを補正し、補正した速度ベクトルを記憶部１０２に記憶する。ここで図３の静止画像２００における石は静止物体であるので、流体領域である川の速度ベクトルがゼロとなる境界条件は固定されたままのものをナビエ・ストークス方程式に与える。一方で、図４の静止画像３００におけるＳＬは移動物体であるので、流体領域である煙の速度ベクトルがゼロとなるＳＬの機体の境界条件は移動する。ナビエ・ストークス方程式には移動した境界条件を与える。
【００３４】
ステップ６：第２の移流計算部１０８により、速度ベクトル補正部１０７により補正した速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の流体領域を計算し、計算結果を記憶部１０２に記憶する。ここでも移流方程式の具体的な解法については後述する。
【００３５】
ステップ７：動画生成部１０９により、第１の移流計算部１０６及び第２の移流計算部１０８により変形・移動させた後の流体領域及び相互作用領域の計算結果を合成して動画像を生成し、生成した動画像を記憶部１０２に記憶する。
【００３６】
図５は、図３の静止画像２００から生成された動画像の一例である。同図に示すように、相互作用を与えた画像２２０では、流体である川と静止物体である石との間の相互作用により、川は石を避けて流れるようになると共に、石の後方には双子型の渦が形成され、下流の乱れが大きくなっている。これに対し、相互作用を与えない画像２１０では、石の上を川が通過してしまい、石と川との相互作用が表現できていない。
【００３７】
一方で、図６は、図４の静止画像３００から生成された動画像の一例である。同図に示すように、相互作用を与えた画像３２０では、相互作用により流体である煙は移動物体であるＳＬの機体の上部までしか進まず、ＳＬの機体の後方には、後方流と呼ばれる流体現象が表現されている。これに対し、相互作用を与えない画像３１０では、ＳＬの機体の中へ煙が入り込んでしまいＳＬと煙の相互作用が表現できていない。このように相互作用を与えることで流体と物体との相互作用をリアルに表現した動画像を生成することが可能となる。
【００３８】
次に、ステップ４及びステップ６において、第１の移流計算部１０６及び第２の移流計算部１０８により領域を変形・移動させる際に実行する移流方程式の解法について具体的に説明する。領域の変形・移動とは画像中の濃淡が変形・移動することをさす。画像上の座標値（ｘ，ｙ）、時刻又は離散化した時間をｔとして、画像の濃淡を示す画像強度ｆ＝ｆ（ｘ，ｙ，ｔ）を定義する。このとき、移流方程式は、次式（０）に示すように、画像を構成する画素の濃淡値を主変数として、その画像の濃淡値の空間１次微分と速度ベクトルとの積からなる移流項を含んだ偏微分方程式で記述される。
【数１】
【００３９】
式（０）において、Δｔは１．０とし、Ｕは速度ベクトル、∇は１次の空間微分演算子、［・］はベクトル内積を示す。計算方法は、式（０）を差分法に従って離散化し、２次元画像面および離散時間軸に沿って積分を繰り返す。初期画像の画像強度ｆには、入力された静止画像の値を使用する。所定の時間だけ積分回数を設定して、計算を実行することで、領域を必要なだけ移動させた画像が得られる。
【００４０】
偏微分方程式（０）を計算機内で解くに際し、ここでは２次元移流・拡散方程式（１）をＣＩＰ法に基づいて導出する。
【数２】
【００４１】
式（１）に対してＣＩＰ法による離散解法を適用する。具体的には、次のように式（１）を、移流項を含む方程式（Ａ）と含まない方程式（Ｂ）とに分離する。
【数３】
【００４２】
式（２）、（３）で、空間の一次導関数は次式（４）、（５）で表現できる。
【数４】
【００４３】
式（１）〜（５）の連立方程式を解くために、以下のような２段階解法をとる。
【数５】
【数６】
【００４４】
ここでは非移流方程式系（Ｂ）を選択し、拡散方程式として次式を用いる。
【数７】
【００４５】
ここでλは拡散係数である。移流方程式はその場の速度に応じて、画像濃淡値を変えずに画像パターン領域を移動させる。一方、拡散方程式は画像パターン領域の画像濃淡値を低くしながら、その領域の面積を広げていく。上記拡散項は、２次元移流・拡散方程式全体の安定化を図るために使用する。
【００４６】
ここでＣＩＰ法による移流方程式を解く際には画像強度は、画像上の座標値（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）の近傍で３次関数で近似される。
【数８】
【００４７】
式（６）の３次関数の係数Ｃｉ，ｊを決定するために、４つの近傍点における画像強度とその点での１次勾配に関する制約条件を課すことで求める。これにより、プロファイル形状（勾配）も移流させ、誤差拡散へのロバスト性が高くなるので、誤差の拡散が抑制される。
【数９】
【００４８】
次の時間ｔ＋１での値は、時間ｔにおけるプロファイルをｕΔｔとｖΔｔだけ移流させればいいので、以下のような拘束条件が導かれる。
【数１０】
【００４９】
ここでｆ＊、ｆｘ＊、ｆｙ＊が移流項から得られるとき、次式（１０）〜（１２）のように、次の時間ｔ＋１における新しい値と微分に関してのプロファイルが決定される。
【数１１】
【００５０】
以上のような計算ステップを、ステップ４において、第１の移流計算部１０６により相互作用領域の画像パターンを式（０）に入力して、変形・移動させた後の相互作用領域を計算すると共に、ステップ６において、第２の移流計算部１０８により流体領域の画像パターンを式（０）に入力して、変形・移動させた後の流体領域を計算する。このように本発明においては移流方程式を用いて２つの移流計算を実行し、動画像を生成する。
【００５１】
したがって、本実施の形態によれば、流体と相互作用させる物体の境界を相互作用領域として定義し、相互作用領域の速度ベクトルを移流方程式に代入した上で変形・移動させた後の相互作用領域を計算する一方で、変形・移動させた相互作用領域の境界では流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で流体領域の速度ベクトルを補正し、補正した速度ベクトルを移流方程式に代入した上で変形・移動させた後の流体領域を計算することで、変形・移動させた後の流体領域及び相互作用領域の計算結果を合成した動画像において流体的な相互作用のある自然な変形・移動表現が可能となる。
【００５２】
また、本実施の形態によれば、ＧＵＩにより、ユーザーから渦、拡散、波、傾斜などの基本速度パターンの指定又は任意の速度の入力を受け付けることで、速度ベクトルの設定が容易とものとなる。また、基本速度パターンを、学習によって取得されている速度により変形するようにした場合には、より複雑な速度ベクトルの設定が可能となる。
【００５３】
また、本実施の形態によれば、移流方程式を解くに際し、画像を構成する画素の濃淡値を主変数として、画像の濃淡値の空間１次微分と速度ベクトルとの積からなる移流項を含んだ偏微分方程式にＣＩＰ法による離散解法を適用することで、数値誤差の拡散が抑制されると共に、時間刻み幅を大きくとることにより移流計算の高速化が可能となる。
【００５４】
以上のように、本発明によれば、デジタル画像を拡張して利用しようとする映像製作現場、ホームユーザなどが、１枚の画像など限られた映像素材に基づいて、新しい動き表現や動きの効果を与えるときの創作を支援し、自然な動きの時系列画像を生成可能とすると共に、作業の大幅な効率化が実現できる。
【００５５】
［第２の実施の形態］
以下、第２の実施の形態について説明する。本実施の形態に係る画像流体系の相互作用表現装置の構成は、第１の実施の形態で説明したものと基本的な構成は同様である。以下では、第１の実施の形態と異なる点を中心に説明する。
【００５６】
第１の実施の形態と異なる点は、流体と相互作用させる物体が、静止物体若しくは移動物体だけではなく流体である場合には、速度ベクトル補正部１０７により、相互作用領域の速度ベクトルをナビエ・ストークス方程式に適用して速度ベクトルを補正する点である。
【００５７】
図７は、点線で示すように定義された相互作用領域４００を、拡散、拡大させて変形・移動表現（４１０）する場合について示している。この場合は、相互作用領域の流体変化（拡大）に伴って、流体領域の速度ベクトルがゼロとなる境界条件４２０も追従することになる。よってこの場合は、第１の移流計算部１０６により、移流方程式の適用による相互作用領域の変形・移動と、速度ベクトル補正部１０７により、ＮＳ方程式の適用による相互作用領域の速度ベクトルの補正とを交互に行っていけばよい。これにより流体領域の速度ベクトルがゼロとなる相互作用領域の境界を流体として変形・移動させることができる。
【００５８】
したがって、第２の実施の形態によれば、流体と相互作用させる物体が流体である場合には、相互作用領域の速度ベクトルをナビエ・ストークス方程式に適用して速度ベクトルを補正することで、流体領域の速度ベクトルがゼロとなる相互作用領域の境界を流体として変形・移動させることができるので、生成した動画像において流体的な相互作用のある自然な変形・移動表現が可能となる。
【００５９】
以上説明した上記各実施の形態に係る画像流体系の相互作用表現装置は、それを実現するための計算機プログラムを、パーソナルコンピュータなどの計算機に読み込ませ、そのプログラムを実行することによっても実現できる。相互作用表現装置を実現するためのプログラムは、ＣＤ−ＲＯＭなどの記録媒体によって、あるいはネットワークを介して計算機に読み込まれる。
【００６０】
このような計算機は、一般に、ＣＰＵ（中央処理装置）と、プログラムやデータを格納するためのハードディスク装置と、主メモリと、キーボードやマウスなどの入力装置と、ＣＲＴなどの表示装置と、ＣＤ−ＲＯＭ等の記録媒体を読み取る読み取り装置と、ネットワークに接続するための通信インターフェースと、画像を読み取るための画像入力装置（スキャナ装置、デジタルカメラなど）から構成されている。ネットワークを介して、あるいは記録媒体から画像データを読み込む場合には、画像入力装置は必ずしも設けなくてもよい。ハードディスク装置、主メモリ、入力装置、表示装置、読み取り装置、通信インターフェース及び画像入力装置は、いずれもＣＰＵに接続している。この計算機では、相互作用表現装置を実現するためのプログラムを格納した記録媒体を読み取り装置に装着して記録媒体からそのプログラムを読み出してハードディスク装置に格納し、あるいはネットワークを介してそのようなプログラムをダウンロードしてハードディスク装置に格納し、ハードディスク装置に格納されたプログラムをＣＰＵが実行することにより、上述したような相互作用表現装置として機能することになる。
【００６１】
尚、生成された静止画像や動画は、ＣＲＴなどの表示装置上で表示しても良いし、あるいは、画像データとして、ハードディスク装置に格納したり、取り外し可能な記録媒体に記録したり、あるいはネットワークを介して外部に送信してもよい。
【図面の簡単な説明】
【００６２】
【図１】第１の実施の形態に係る画像流体系の相互作用表現装置の概略的な構成を示すブロック図である。
【図２】上記画像流体系相互作用表現装置による処理の流れを概略的に示したフローチャートである。
【図３】上記画像流体系の相互作用表現装置に入力された静止画像の第１の例である。
【図４】上記画像流体系の相互作用表現装置に入力された静止画像の第２の例である。
【図５】上記第１の静止画像から生成された動画像の例である。
【図６】上記第２の静止画像から生成された動画像の例である。
【図７】流体と相互作用を起こす物体が流体変化する場合についての説明図である。
【符号の説明】
【００６３】
１００…相互作用表現装置
１０１…画像入力受付部
１０２…記憶部
１０３…メモリ
１０４…流体領域設定部
１０５…相互作用領域設定部
１０６…第１の移流計算部
１０７…速度ベクトル補正部
１０８…第２の移流計算部
１０９…動画生成部
２００…静止画像（第１の例）
２１０…動画像（相互作用：無）
２２０…動画像（相互作用：有）
３００…静止画像（第２の例）
３１０…動画像（相互作用：無）
３２０…動画像（相互作用：有）
４００…相互作用領域
４１０…流体変化後の相互作用領域
４２０…境界条件の変化
【技術分野】
【０００１】
本発明は、１枚の静止画像に基づいて動画像を生成する技術に関する。
【背景技術】
【０００２】
現在、デジタル映像や画像からさまざまな効果を与え、新しい画像を生成する技術が急増している。写真のような実写に対する画質改善が代表的である。従来、画像に動きを与える手法については、２枚の画像からその中間画像をつくるモーフィング法、１枚の画像から動画像を生成する技術としてはワーピング法がある。ワーピング法では、連続的な変化を生成する場合、フレーム間で直線補間がなされる。製作者自らが、１枚の画像について多くの時間を費やして試行錯誤を繰り返すことで動きを少しずつ生成する。このようにワーピング法ではフレーム間で１画素対１画素が対応する数学的な表現を用いるため、画像の濃淡値が移動・変形するような流体の物理表現には不向きであった。
【０００３】
これに対し、最近では、１枚の静止画像に対して予め速度ベクトルを与えておいて、移流方程式を用いてある時刻における画像を順次生成することによって、動画を生成する技術が開示されている（例えば、特許文献１を参照）。移流方程式は、フレーム間で複数の画素対１画素が対応し近傍の情報が次々に反映する物理表現が可能であり、有限差分法により離散化されて計算される。この場合、動画像を生成する際の速度ベクトルの設定・定義については、ＧＵＩ（Graphical User Interface）により表示された画像中の対象領域を定義すると共に、さまざまな速度パターンに基づいて対象領域の速度ベクトルを設定する。設定した速度ベクトルを時間発展させて移流方程式に代入するために、流体力学分野で広く用いられているナビエ・ストークス（ＮＳ）方程式を適用して速度ベクトルを補正する（例えば、非特許文献１を参照）。
【特許文献１】特開２００４−３３４６９４号公報
【非特許文献１】ながれ，２２，Ｐ２３７〜２４５，“ＣＩＰ法の現状とレーザー飛行機への応用”、２００３年
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来では速度ベクトルにＮＳ方程式を適用する際には、対象領域の速度ベクトルがゼロとなる条件を設定するようになっておらず画像中の障害物が考慮されない。このため、生成された動画像において、例えば船が水面の動きと連動したり、走行する機関車から噴出する煙が機関車の機体で変化したり、川の中で石のまわりを流れが避けて通過したり等の流体と物体とが相互作用を起こすような物理現象を表現することが困難であった。
【０００５】
本発明は、上記問題点に鑑み、１枚の静止画像に基づいて、流体と物体との自然な相互作用表現を実現した動画像を生成することを課題とする。
【課題を解決するための手段】
【０００６】
第１の本発明に係る画像流体系の相互作用表現装置は、静止画像の入力を受け付けて、受け付けた静止画像を記憶手段に記憶する画像入力受付手段と、変形・移動させる流体の領域を定義すると共に、静止画像に表現された領域を変形・移動させるための速度パターンに基づいてその流体領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶する流体領域設定手段と、流体と相互作用させる物体の境界を相互作用領域として定義すると共に、速度パターンに基づいてその相互作用領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶する相互作用領域設定手段と、相互作用領域の速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の相互作用領域を計算し、計算結果を記憶手段に記憶する第１の移流計算手段と、第１の移流計算手段により変形・移動させた相互作用領域の境界では流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で、そのナビエ・ストークス方程式を流体領域の速度ベクトルに適用して速度ベクトルを補正し、補正した速度ベクトルを記憶手段に記憶する速度ベクトル補正手段と、速度ベクトル補正手段により補正した速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の流体領域を計算し、計算結果を記憶手段に記憶する第２の移流計算手段と、第１及び第２の移流計算手段により変形・移動させた後の流体領域及び相互作用領域の計算結果を合成して動画像を生成し、生成した動画像を記憶手段に記憶する動画生成手段と、を備えることを特徴とする。
【０００７】
本発明にあっては、流体と相互作用させる物体の境界を相互作用領域として定義し、相互作用領域の速度ベクトルを移流方程式に代入した上で変形・移動させた後の相互作用領域を計算する一方で、変形・移動させた相互作用領域の境界では流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で流体領域の速度ベクトルを補正し、補正した速度ベクトルを移流方程式に代入した上で変形・移動させた後の流体領域を計算することで、変形・移動させた後の流体領域及び相互作用領域の計算結果を合成した動画像において流体的な相互作用のある変形・移動表現が可能となる。
【０００８】
上記画像流体系の相互作用表現装置において、流体と相互作用させる物体は流体であって、速度ベクトル補正手段は、相互作用領域の速度ベクトルをナビエ・ストークス方程式に適用して速度ベクトルを補正することを特徴とする。
【０００９】
本発明にあっては、流体と相互作用させる物体が流体である場合には、相互作用領域の速度ベクトルをナビエ・ストークス方程式に適用して速度ベクトルを補正することで、流体領域の速度ベクトルがゼロとなる相互作用領域の境界を流体として変形・移動させることができる。
【００１０】
上記画像流体系の相互作用表現装置における流体領域設定手段及び相互作用領域設定手段は、ＧＵＩにより、ユーザーから渦、拡散、波、傾斜などの基本速度パターンの指定又は任意の速度の入力を受け付けることを特徴とする。
【００１１】
本発明にあっては、ＧＵＩにより、ユーザーから渦、拡散、波、傾斜などの基本速度パターンの指定又は任意の速度の入力を受け付けることで、速度ベクトルの設定が容易なものとなる。また、基本速度パターンを、学習によって取得されている速度により変形するようにした場合には、より複雑な速度ベクトルの設定が可能となる。
【００１２】
上記画像流体系の相互作用表現装置において移流方程式は、画像を構成する画素の濃淡値を主変数として、その画像の濃淡値の空間１次微分と速度ベクトルとの積からなる移流項を含んだ偏微分方程式であって、第１及び第２の移流計算手段は、その偏微分方程式にＣＩＰ法による離散解法を適用して移流方程式を解くことを特徴とする。
【００１３】
本発明にあっては、移流方程式を解くに際し、画像を構成する画素の濃淡値を主変数として、画像の濃淡値の空間１次微分と速度ベクトルとの積からなる移流項を含んだ偏微分方程式にＣＩＰ法による離散解法を適用することで、数値誤差の拡散が抑制されると共に、時間刻み幅を大きくとることにより移流計算の高速化が可能となる。
【００１４】
第２の本発明に係る画像流体系の相互作用表現方法は、画像入力受付手段により、静止画像の入力を受け付けて、受け付けた静止画像を記憶手段に記憶するステップと、流体領域設定手段により、変形・移動させる流体の領域を定義すると共に、静止画像中に表現された領域を変形・移動させるための速度パターンに基づいてその流体領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶するステップと、相互作用領域設定手段により、流体と相互作用させる物体の境界を相互作用領域として定義すると共に、速度パターンに基づいてその相互作用領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶するステップと、第１の移流計算手段により、相互作用領域の速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の相互作用領域を計算し、計算結果を記憶手段に記憶するステップと、速度ベクトル補正手段により、第１の移流計算手段により変形・移動させた相互作用領域の境界では流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で、そのナビエ・ストークス方程式を流体領域の速度ベクトルに適用して速度ベクトルを補正し、補正した速度ベクトルを記憶手段に記憶するステップと、第２の移流計算手段により、速度ベクトル補正手段により補正した速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の流体領域を計算し、計算結果を記憶手段に記憶するステップと、動画生成手段により、第１及び第２の移流計算手段により変形・移動させた後の流体領域及び相互作用領域の計算結果を合成して動画像を生成し、生成した動画像を記憶手段に記憶するステップと、を有することを特徴とする。
【００１５】
第３の本発明に係る画像流体系の相互作用表現プログラムは、上記画像流体系の相互作用表現方法における各ステップをコンピュータシステムに実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、１枚の静止画像に基づいて、流体と物体との自然な相互作用表現を実現した動画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の一実施の形態について、図面を用いて説明する。
【００１８】
［第１の実施の形態］
図１は、第１の実施の形態に係る画像流体系の相互作用表現装置の概略的な構成を示すブロック図である。この画像流体系の相互作用表現装置は、１枚の２次元静止画像を入力として、その入力された静止画像の時間帯とは異なる時間帯での連続した時系列画像（以下では、動画像と称する）を生成するものである。動画像における各画素の値をそれぞれ決定し、それによって、画素単位で動画像を生成する。
【００１９】
画像流体系の相互作用表現装置１００は、画像入力受付部１０１と、入力された画像データや各部における計算結果などの情報を記憶する記憶部１０２と、速度ベクトルに関する情報を記憶するメモリ１０３と、流体領域設定部１０４と、相互作用領域設定部１０５と、第１の移流計算部１０６と、速度ベクトル補正部１０７と、第２の移流計算部１０８と、動画生成部１０９とを備える。ここでメモリ１０３、流体領域設定部１０４、相互作用領域設定部１０５は、ＧＵＩによりユーザーに対して画像などの情報を表示し、マウスなどのポインティングデバイスを通じて入力操作を受け付ける速度設定ツールとして実現される。
【００２０】
画像入力受付部１０１は、静止画像の入力を受け付けて、受け付けた静止画像を記憶部１０２に記憶する。ここで受け付ける静止画像は、例えばインターネットなどのネットワーク上のウェブサイトに設置されたカメラやウェブサイト上の静止画像、さらにはスキャナやデジタルカメラから入力される静止画像とする。
【００２１】
メモリ１０３は、静止画像に表現された領域を変形・移動させるための速度パターンとして、例えば渦、拡散、波、傾斜、移流などの基本速度パターンを予め記憶しておく。また、流体領域設定部１０４および相互作用領域設定部１０５で設定した速度ベクトルを記憶する。
【００２２】
流体領域設定部１０４は、変形・移動させる流体の領域を定義すると共に、その流体領域の速度ベクトルを速度パターンに基づいて設定し、設定した速度ベクトルをメモリ１０３に記憶する。ここで流体領域設定部１０４は、ＧＵＩによりユーザーから基本速度パターンの指定又は任意の速度の入力を受け付ける。具体的には、速度設定ツールにより静止画像を表示し、ユーザーは、マウスを操作して表示された静止画像に対して流体領域を定義すると共に、基本速度パターンの入力を行い、流体領域の速度ベクトルを速度パターンに基づいて設定する。
【００２３】
相互作用領域設定部１０５は、流体と相互作用させる物体の境界を相互作用領域として定義すると共に、その相互作用領域の速度ベクトルを速度パターンに基づいて設定し、設定した速度ベクトルをメモリ１０３に記憶する。ここでも相互作用領域設定部１０５は、ＧＵＩにより、ユーザーからの基本速度パターンの指定又は任意の速度の入力を受け付ける。速度設定ツールにより静止画像をユーザーに対して表示し、ユーザーは、マウスを操作して静止画像に対して相互作用領域を定義すると共に、基本速度パターンの入力を行い、相互作用領域の速度ベクトルを速度パターンに基づいて設定する。このようにＧＵＩを利用することで、速度ベクトルの定義・設定が容易なものとなる。また、基本速度パターンを学習によって取得されている速度により変形するようにした場合には、より複雑な速度ベクトルの設定が可能となる。
【００２４】
第１の移流計算部１０６は、相互作用領域の速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の相互作用領域を計算し、計算結果を記憶部１０２に記憶する。
【００２５】
速度ベクトル補正部１０７は、第１の移流計算部１０６により変形・移動させた相互作用領域の境界では流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で、そのナビエ・ストークス方程式を流体領域の速度ベクトルに適用して速度ベクトルを補正し、補正した速度ベクトルを記憶部１０２に記憶する。
【００２６】
第２の移流計算部１０８は、速度ベクトル補正部１０７により補正した速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の流体領域を計算し、計算結果を記憶部１０２に記憶する。
【００２７】
動画生成部１０９は、第１の移流計算部１０６及び第２の移流計算部１０８により変形・移動させた後の流体領域及び相互作用領域の計算結果を合成して動画像を生成し、生成した動画像を記憶部１０２に記憶する。生成した動画像は例えばＣＲＴなどの表示装置を通じて表示される。
【００２８】
次に、上記画像流体系の相互作用表現装置を用いた動画像の生成手順について図２のフローチャートを用いて説明する。この生成手順は、本発明の画像流体系相互作用表現方法に基づくものである。ここでは図３に示すように川の中に石が表現された静止画像２００を受け付けた場合と、図４に示すように走行するＳＬとＳＬから噴出される煙とが表現された静止画像３００を受け付けた場合を例にとって説明する。
【００２９】
ステップ１：画像入力受付部１０１により、静止画像の入力を受け付けて、受け付けた静止画像を記憶部１０２に記憶する。
【００３０】
ステップ２：流体領域設定部１０４により、変形・移動させる流体の領域を定義すると共に、流体領域の速度ベクトルを速度パターンに基づいて設定し、設定した速度ベクトルをメモリ１０３に記憶する。具体的には、ユーザーはマウスを操作して、速度設定ツールにより表示された静止画像に対して流体領域を定義する。図３の静止画像２００の場合には、斜線で示した川の領域を流体領域として定義すると共に、表示された基本速度パターンの中から移流を選択し、画面の矢印方向に速度方向を設定する。一方、図４の静止画像３００の場合には、斜線で示した煙の領域を流体領域として定義すると共に、表示された基本速度パターンの中から移流・拡散を選択し、画像中央のＳＬの煙突口から右上方に速度方向を設定する。これにより、速度設定ツールは、流体領域内の画素毎に速度を表した速度パターンファイルを生成する。
【００３１】
ステップ３：相互作用領域設定部１０５により、流体と相互作用させる物体の境界を相互作用領域として定義すると共に、相互作用領域の速度ベクトルを速度パターンに基づいて設定し、設定した速度ベクトルを記憶部１０２に記憶する。ここでも速度設定ツールにより表示された静止画像に対して相互作用領域を定義する。図３の静止画像２００の場合には、点線で示した石の輪郭を相互作用領域として定義すると共に、ここでは画像中の石は静止物体であるので相互作用領域の速度ベクトルをゼロに設定する。一方、図４の静止画像３００の場合には、点線で示したＳＬの機体の輪郭に沿った境界部分を相互作用領域として定義すると共に画像中のＳＬは画面右から左へ並進運動を行う移動物体であるので例えばＳＬの時速１００ｋｍに対応した速度ベクトルを設定する。ここでも、速度設定ツールにより、相互作用領域の画素毎に速度を表した速度パターンファイルを生成する。
【００３２】
ステップ４：第１の移流計算部１０６により、相互作用領域の速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の相互作用領域を計算し、計算結果を記憶部１０２に記憶する。ここで図３の静止画像２００の場合には、相互作用領域の速度ベクトルはゼロを移流方程式に代入する。一方で図４の静止画像３００の場合には時速１００ｋｍに対応した相互作用領域の速度ベクトルを移流方程式に代入する。尚、移流方程式の具体的な解法については後述する。
【００３３】
ステップ５：速度ベクトル補正部１０７により、第１の移流計算部１０６により変形・移動させた相互作用領域の境界では流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で、ナビエ・ストークス方程式を流体領域の速度ベクトルに適用して速度ベクトルを補正し、補正した速度ベクトルを記憶部１０２に記憶する。ここで図３の静止画像２００における石は静止物体であるので、流体領域である川の速度ベクトルがゼロとなる境界条件は固定されたままのものをナビエ・ストークス方程式に与える。一方で、図４の静止画像３００におけるＳＬは移動物体であるので、流体領域である煙の速度ベクトルがゼロとなるＳＬの機体の境界条件は移動する。ナビエ・ストークス方程式には移動した境界条件を与える。
【００３４】
ステップ６：第２の移流計算部１０８により、速度ベクトル補正部１０７により補正した速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の流体領域を計算し、計算結果を記憶部１０２に記憶する。ここでも移流方程式の具体的な解法については後述する。
【００３５】
ステップ７：動画生成部１０９により、第１の移流計算部１０６及び第２の移流計算部１０８により変形・移動させた後の流体領域及び相互作用領域の計算結果を合成して動画像を生成し、生成した動画像を記憶部１０２に記憶する。
【００３６】
図５は、図３の静止画像２００から生成された動画像の一例である。同図に示すように、相互作用を与えた画像２２０では、流体である川と静止物体である石との間の相互作用により、川は石を避けて流れるようになると共に、石の後方には双子型の渦が形成され、下流の乱れが大きくなっている。これに対し、相互作用を与えない画像２１０では、石の上を川が通過してしまい、石と川との相互作用が表現できていない。
【００３７】
一方で、図６は、図４の静止画像３００から生成された動画像の一例である。同図に示すように、相互作用を与えた画像３２０では、相互作用により流体である煙は移動物体であるＳＬの機体の上部までしか進まず、ＳＬの機体の後方には、後方流と呼ばれる流体現象が表現されている。これに対し、相互作用を与えない画像３１０では、ＳＬの機体の中へ煙が入り込んでしまいＳＬと煙の相互作用が表現できていない。このように相互作用を与えることで流体と物体との相互作用をリアルに表現した動画像を生成することが可能となる。
【００３８】
次に、ステップ４及びステップ６において、第１の移流計算部１０６及び第２の移流計算部１０８により領域を変形・移動させる際に実行する移流方程式の解法について具体的に説明する。領域の変形・移動とは画像中の濃淡が変形・移動することをさす。画像上の座標値（ｘ，ｙ）、時刻又は離散化した時間をｔとして、画像の濃淡を示す画像強度ｆ＝ｆ（ｘ，ｙ，ｔ）を定義する。このとき、移流方程式は、次式（０）に示すように、画像を構成する画素の濃淡値を主変数として、その画像の濃淡値の空間１次微分と速度ベクトルとの積からなる移流項を含んだ偏微分方程式で記述される。
【数１】
【００３９】
式（０）において、Δｔは１．０とし、Ｕは速度ベクトル、∇は１次の空間微分演算子、［・］はベクトル内積を示す。計算方法は、式（０）を差分法に従って離散化し、２次元画像面および離散時間軸に沿って積分を繰り返す。初期画像の画像強度ｆには、入力された静止画像の値を使用する。所定の時間だけ積分回数を設定して、計算を実行することで、領域を必要なだけ移動させた画像が得られる。
【００４０】
偏微分方程式（０）を計算機内で解くに際し、ここでは２次元移流・拡散方程式（１）をＣＩＰ法に基づいて導出する。
【数２】
【００４１】
式（１）に対してＣＩＰ法による離散解法を適用する。具体的には、次のように式（１）を、移流項を含む方程式（Ａ）と含まない方程式（Ｂ）とに分離する。
【数３】
【００４２】
式（２）、（３）で、空間の一次導関数は次式（４）、（５）で表現できる。
【数４】
【００４３】
式（１）〜（５）の連立方程式を解くために、以下のような２段階解法をとる。
【数５】
【数６】
【００４４】
ここでは非移流方程式系（Ｂ）を選択し、拡散方程式として次式を用いる。
【数７】
【００４５】
ここでλは拡散係数である。移流方程式はその場の速度に応じて、画像濃淡値を変えずに画像パターン領域を移動させる。一方、拡散方程式は画像パターン領域の画像濃淡値を低くしながら、その領域の面積を広げていく。上記拡散項は、２次元移流・拡散方程式全体の安定化を図るために使用する。
【００４６】
ここでＣＩＰ法による移流方程式を解く際には画像強度は、画像上の座標値（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）の近傍で３次関数で近似される。
【数８】
【００４７】
式（６）の３次関数の係数Ｃｉ，ｊを決定するために、４つの近傍点における画像強度とその点での１次勾配に関する制約条件を課すことで求める。これにより、プロファイル形状（勾配）も移流させ、誤差拡散へのロバスト性が高くなるので、誤差の拡散が抑制される。
【数９】
【００４８】
次の時間ｔ＋１での値は、時間ｔにおけるプロファイルをｕΔｔとｖΔｔだけ移流させればいいので、以下のような拘束条件が導かれる。
【数１０】
【００４９】
ここでｆ＊、ｆｘ＊、ｆｙ＊が移流項から得られるとき、次式（１０）〜（１２）のように、次の時間ｔ＋１における新しい値と微分に関してのプロファイルが決定される。
【数１１】
【００５０】
以上のような計算ステップを、ステップ４において、第１の移流計算部１０６により相互作用領域の画像パターンを式（０）に入力して、変形・移動させた後の相互作用領域を計算すると共に、ステップ６において、第２の移流計算部１０８により流体領域の画像パターンを式（０）に入力して、変形・移動させた後の流体領域を計算する。このように本発明においては移流方程式を用いて２つの移流計算を実行し、動画像を生成する。
【００５１】
したがって、本実施の形態によれば、流体と相互作用させる物体の境界を相互作用領域として定義し、相互作用領域の速度ベクトルを移流方程式に代入した上で変形・移動させた後の相互作用領域を計算する一方で、変形・移動させた相互作用領域の境界では流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で流体領域の速度ベクトルを補正し、補正した速度ベクトルを移流方程式に代入した上で変形・移動させた後の流体領域を計算することで、変形・移動させた後の流体領域及び相互作用領域の計算結果を合成した動画像において流体的な相互作用のある自然な変形・移動表現が可能となる。
【００５２】
また、本実施の形態によれば、ＧＵＩにより、ユーザーから渦、拡散、波、傾斜などの基本速度パターンの指定又は任意の速度の入力を受け付けることで、速度ベクトルの設定が容易とものとなる。また、基本速度パターンを、学習によって取得されている速度により変形するようにした場合には、より複雑な速度ベクトルの設定が可能となる。
【００５３】
また、本実施の形態によれば、移流方程式を解くに際し、画像を構成する画素の濃淡値を主変数として、画像の濃淡値の空間１次微分と速度ベクトルとの積からなる移流項を含んだ偏微分方程式にＣＩＰ法による離散解法を適用することで、数値誤差の拡散が抑制されると共に、時間刻み幅を大きくとることにより移流計算の高速化が可能となる。
【００５４】
以上のように、本発明によれば、デジタル画像を拡張して利用しようとする映像製作現場、ホームユーザなどが、１枚の画像など限られた映像素材に基づいて、新しい動き表現や動きの効果を与えるときの創作を支援し、自然な動きの時系列画像を生成可能とすると共に、作業の大幅な効率化が実現できる。
【００５５】
［第２の実施の形態］
以下、第２の実施の形態について説明する。本実施の形態に係る画像流体系の相互作用表現装置の構成は、第１の実施の形態で説明したものと基本的な構成は同様である。以下では、第１の実施の形態と異なる点を中心に説明する。
【００５６】
第１の実施の形態と異なる点は、流体と相互作用させる物体が、静止物体若しくは移動物体だけではなく流体である場合には、速度ベクトル補正部１０７により、相互作用領域の速度ベクトルをナビエ・ストークス方程式に適用して速度ベクトルを補正する点である。
【００５７】
図７は、点線で示すように定義された相互作用領域４００を、拡散、拡大させて変形・移動表現（４１０）する場合について示している。この場合は、相互作用領域の流体変化（拡大）に伴って、流体領域の速度ベクトルがゼロとなる境界条件４２０も追従することになる。よってこの場合は、第１の移流計算部１０６により、移流方程式の適用による相互作用領域の変形・移動と、速度ベクトル補正部１０７により、ＮＳ方程式の適用による相互作用領域の速度ベクトルの補正とを交互に行っていけばよい。これにより流体領域の速度ベクトルがゼロとなる相互作用領域の境界を流体として変形・移動させることができる。
【００５８】
したがって、第２の実施の形態によれば、流体と相互作用させる物体が流体である場合には、相互作用領域の速度ベクトルをナビエ・ストークス方程式に適用して速度ベクトルを補正することで、流体領域の速度ベクトルがゼロとなる相互作用領域の境界を流体として変形・移動させることができるので、生成した動画像において流体的な相互作用のある自然な変形・移動表現が可能となる。
【００５９】
以上説明した上記各実施の形態に係る画像流体系の相互作用表現装置は、それを実現するための計算機プログラムを、パーソナルコンピュータなどの計算機に読み込ませ、そのプログラムを実行することによっても実現できる。相互作用表現装置を実現するためのプログラムは、ＣＤ−ＲＯＭなどの記録媒体によって、あるいはネットワークを介して計算機に読み込まれる。
【００６０】
このような計算機は、一般に、ＣＰＵ（中央処理装置）と、プログラムやデータを格納するためのハードディスク装置と、主メモリと、キーボードやマウスなどの入力装置と、ＣＲＴなどの表示装置と、ＣＤ−ＲＯＭ等の記録媒体を読み取る読み取り装置と、ネットワークに接続するための通信インターフェースと、画像を読み取るための画像入力装置（スキャナ装置、デジタルカメラなど）から構成されている。ネットワークを介して、あるいは記録媒体から画像データを読み込む場合には、画像入力装置は必ずしも設けなくてもよい。ハードディスク装置、主メモリ、入力装置、表示装置、読み取り装置、通信インターフェース及び画像入力装置は、いずれもＣＰＵに接続している。この計算機では、相互作用表現装置を実現するためのプログラムを格納した記録媒体を読み取り装置に装着して記録媒体からそのプログラムを読み出してハードディスク装置に格納し、あるいはネットワークを介してそのようなプログラムをダウンロードしてハードディスク装置に格納し、ハードディスク装置に格納されたプログラムをＣＰＵが実行することにより、上述したような相互作用表現装置として機能することになる。
【００６１】
尚、生成された静止画像や動画は、ＣＲＴなどの表示装置上で表示しても良いし、あるいは、画像データとして、ハードディスク装置に格納したり、取り外し可能な記録媒体に記録したり、あるいはネットワークを介して外部に送信してもよい。
【図面の簡単な説明】
【００６２】
【図１】第１の実施の形態に係る画像流体系の相互作用表現装置の概略的な構成を示すブロック図である。
【図２】上記画像流体系相互作用表現装置による処理の流れを概略的に示したフローチャートである。
【図３】上記画像流体系の相互作用表現装置に入力された静止画像の第１の例である。
【図４】上記画像流体系の相互作用表現装置に入力された静止画像の第２の例である。
【図５】上記第１の静止画像から生成された動画像の例である。
【図６】上記第２の静止画像から生成された動画像の例である。
【図７】流体と相互作用を起こす物体が流体変化する場合についての説明図である。
【符号の説明】
【００６３】
１００…相互作用表現装置
１０１…画像入力受付部
１０２…記憶部
１０３…メモリ
１０４…流体領域設定部
１０５…相互作用領域設定部
１０６…第１の移流計算部
１０７…速度ベクトル補正部
１０８…第２の移流計算部
１０９…動画生成部
２００…静止画像（第１の例）
２１０…動画像（相互作用：無）
２２０…動画像（相互作用：有）
３００…静止画像（第２の例）
３１０…動画像（相互作用：無）
３２０…動画像（相互作用：有）
４００…相互作用領域
４１０…流体変化後の相互作用領域
４２０…境界条件の変化
【特許請求の範囲】
【請求項１】
静止画像の入力を受け付けて、受け付けた静止画像を記憶手段に記憶する画像入力受付手段と、
変形・移動させる流体の領域を定義すると共に、前記静止画像に表現された領域を変形・移動させるための速度パターンに基づいて当該流体領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶する流体領域設定手段と、
前記流体と相互作用させる物体の境界を相互作用領域として定義すると共に、前記速度パターンに基づいて当該相互作用領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶する相互作用領域設定手段と、
前記相互作用領域の速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の相互作用領域を計算し、計算結果を記憶手段に記憶する第１の移流計算手段と、
前記第１の移流計算手段により変形・移動させた相互作用領域の境界では前記流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で、当該ナビエ・ストークス方程式を前記流体領域の速度ベクトルに適用して速度ベクトルを補正し、補正した速度ベクトルを記憶手段に記憶する速度ベクトル補正手段と、
前記速度ベクトル補正手段により補正した速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の流体領域を計算し、計算結果を記憶手段に記憶する第２の移流計算手段と、
前記第１及び第２の移流計算手段により変形・移動させた後の流体領域及び相互作用領域の計算結果を合成して動画像を生成し、生成した動画像を記憶手段に記憶する動画生成手段と、
を備えることを特徴とする画像流体系の相互作用表現装置。
【請求項２】
前記流体と相互作用させる物体は流体であって、
前記速度ベクトル補正手段は、前記相互作用領域の速度ベクトルをナビエ・ストークス方程式に適用して速度ベクトルを補正することを特徴とする請求項１に記載の画像流体系の相互作用表現装置。
【請求項３】
前記流体領域設定手段及び相互作用領域設定手段は、ＧＵＩにより、ユーザーから渦、拡散、波、傾斜などの基本速度パターンの指定又は任意の速度の入力を受け付けることを特徴とする請求項１に記載の画像流体系の相互作用表現装置。
【請求項４】
前記移流方程式は、画像を構成する画素の濃淡値を主変数として、当該画像の濃淡値の空間１次微分と速度ベクトルとの積からなる移流項を含んだ偏微分方程式であって、
前記第１及び第２の移流計算手段は、当該偏微分方程式にＣＩＰ法による離散解法を適用して移流方程式を解くことを特徴とする請求項１に記載の画像流体系の相互作用表現装置。
【請求項５】
画像入力受付手段により、静止画像の入力を受け付けて、受け付けた静止画像を記憶手段に記憶するステップと、
流体領域設定手段により、変形・移動させる流体の領域を定義すると共に、前記静止画像中に表現された領域を変形・移動させるための速度パターンに基づいて当該流体領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶するステップと、
相互作用領域設定手段により、前記流体と相互作用させる物体の境界を相互作用領域として定義すると共に、前記速度パターンに基づいて当該相互作用領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶するステップと、
第１の移流計算手段により、前記相互作用領域の速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の相互作用領域を計算し、計算結果を記憶手段に記憶するステップと、
速度ベクトル補正手段により、第１の移流計算手段により変形・移動させた相互作用領域の境界では前記流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で、当該ナビエ・ストークス方程式を前記流体領域の速度ベクトルに適用して速度ベクトルを補正し、補正した速度ベクトルを記憶手段に記憶するステップと、
第２の移流計算手段により、前記速度ベクトル補正手段により補正した速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の流体領域を計算し、計算結果を記憶手段に記憶するステップと、
動画生成手段により、前記第１及び第２の移流計算手段により変形・移動させた後の流体領域及び相互作用領域の計算結果を合成して動画像を生成し、生成した動画像を記憶手段に記憶するステップと、
を有することを特徴とする画像流体系の相互作用表現方法。
【請求項６】
前記流体と相互作用させる物体は流体であって、
前記速度ベクトル補正手段によるステップにおいて、前記相互作用領域の速度ベクトルをナビエ・ストークス方程式に適用して速度ベクトルを補正することを特徴とする請求項５に記載の画像流体系の相互作用表現方法。
【請求項７】
前記流体領域設定手段及び相互作用領域設定手段によるステップにおいて、ＧＵＩにより、ユーザーから渦、拡散、波、傾斜などの基本速度パターンの指定又は任意の速度の入力を受け付けることを特徴とする請求項５に記載の画像流体系の相互作用表現方法。
【請求項８】
前記移流方程式は、画像を構成する画素の濃淡値を主変数として、当該画像の濃淡値の空間１次微分と速度ベクトルとの積からなる移流項を含んだ偏微分方程式であって、
前記第１及び第２の移流計算手段によるステップにおいて、当該偏微分方程式にＣＩＰ法による離散解法を適用して移流方程式を解くことを特徴とする請求項５に記載の画像流体系の相互作用表現方法。
【請求項９】
請求項５乃至８のいずれかに記載の画像流体系の相互作用表現方法における各ステップをコンピュータシステムに実行させることを特徴とする画像流体系の相互作用表現プログラム。
【請求項１】
静止画像の入力を受け付けて、受け付けた静止画像を記憶手段に記憶する画像入力受付手段と、
変形・移動させる流体の領域を定義すると共に、前記静止画像に表現された領域を変形・移動させるための速度パターンに基づいて当該流体領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶する流体領域設定手段と、
前記流体と相互作用させる物体の境界を相互作用領域として定義すると共に、前記速度パターンに基づいて当該相互作用領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶する相互作用領域設定手段と、
前記相互作用領域の速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の相互作用領域を計算し、計算結果を記憶手段に記憶する第１の移流計算手段と、
前記第１の移流計算手段により変形・移動させた相互作用領域の境界では前記流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で、当該ナビエ・ストークス方程式を前記流体領域の速度ベクトルに適用して速度ベクトルを補正し、補正した速度ベクトルを記憶手段に記憶する速度ベクトル補正手段と、
前記速度ベクトル補正手段により補正した速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の流体領域を計算し、計算結果を記憶手段に記憶する第２の移流計算手段と、
前記第１及び第２の移流計算手段により変形・移動させた後の流体領域及び相互作用領域の計算結果を合成して動画像を生成し、生成した動画像を記憶手段に記憶する動画生成手段と、
を備えることを特徴とする画像流体系の相互作用表現装置。
【請求項２】
前記流体と相互作用させる物体は流体であって、
前記速度ベクトル補正手段は、前記相互作用領域の速度ベクトルをナビエ・ストークス方程式に適用して速度ベクトルを補正することを特徴とする請求項１に記載の画像流体系の相互作用表現装置。
【請求項３】
前記流体領域設定手段及び相互作用領域設定手段は、ＧＵＩにより、ユーザーから渦、拡散、波、傾斜などの基本速度パターンの指定又は任意の速度の入力を受け付けることを特徴とする請求項１に記載の画像流体系の相互作用表現装置。
【請求項４】
前記移流方程式は、画像を構成する画素の濃淡値を主変数として、当該画像の濃淡値の空間１次微分と速度ベクトルとの積からなる移流項を含んだ偏微分方程式であって、
前記第１及び第２の移流計算手段は、当該偏微分方程式にＣＩＰ法による離散解法を適用して移流方程式を解くことを特徴とする請求項１に記載の画像流体系の相互作用表現装置。
【請求項５】
画像入力受付手段により、静止画像の入力を受け付けて、受け付けた静止画像を記憶手段に記憶するステップと、
流体領域設定手段により、変形・移動させる流体の領域を定義すると共に、前記静止画像中に表現された領域を変形・移動させるための速度パターンに基づいて当該流体領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶するステップと、
相互作用領域設定手段により、前記流体と相互作用させる物体の境界を相互作用領域として定義すると共に、前記速度パターンに基づいて当該相互作用領域の速度ベクトルを設定し、設定した速度ベクトルを記憶手段に記憶するステップと、
第１の移流計算手段により、前記相互作用領域の速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の相互作用領域を計算し、計算結果を記憶手段に記憶するステップと、
速度ベクトル補正手段により、第１の移流計算手段により変形・移動させた相互作用領域の境界では前記流体領域の速度ベクトルをゼロとする条件をナビエ・ストークス方程式に与えた上で、当該ナビエ・ストークス方程式を前記流体領域の速度ベクトルに適用して速度ベクトルを補正し、補正した速度ベクトルを記憶手段に記憶するステップと、
第２の移流計算手段により、前記速度ベクトル補正手段により補正した速度ベクトルを代入した上で移流方程式を解くことで、変形・移動させた後の流体領域を計算し、計算結果を記憶手段に記憶するステップと、
動画生成手段により、前記第１及び第２の移流計算手段により変形・移動させた後の流体領域及び相互作用領域の計算結果を合成して動画像を生成し、生成した動画像を記憶手段に記憶するステップと、
を有することを特徴とする画像流体系の相互作用表現方法。
【請求項６】
前記流体と相互作用させる物体は流体であって、
前記速度ベクトル補正手段によるステップにおいて、前記相互作用領域の速度ベクトルをナビエ・ストークス方程式に適用して速度ベクトルを補正することを特徴とする請求項５に記載の画像流体系の相互作用表現方法。
【請求項７】
前記流体領域設定手段及び相互作用領域設定手段によるステップにおいて、ＧＵＩにより、ユーザーから渦、拡散、波、傾斜などの基本速度パターンの指定又は任意の速度の入力を受け付けることを特徴とする請求項５に記載の画像流体系の相互作用表現方法。
【請求項８】
前記移流方程式は、画像を構成する画素の濃淡値を主変数として、当該画像の濃淡値の空間１次微分と速度ベクトルとの積からなる移流項を含んだ偏微分方程式であって、
前記第１及び第２の移流計算手段によるステップにおいて、当該偏微分方程式にＣＩＰ法による離散解法を適用して移流方程式を解くことを特徴とする請求項５に記載の画像流体系の相互作用表現方法。
【請求項９】
請求項５乃至８のいずれかに記載の画像流体系の相互作用表現方法における各ステップをコンピュータシステムに実行させることを特徴とする画像流体系の相互作用表現プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−１０２７１７（Ｐ２００８−１０２７１７Ａ）
【公開日】平成２０年５月１日（２００８．５．１）
【国際特許分類】
【出願番号】特願２００６−２８４２６４（Ｐ２００６−２８４２６４）
【出願日】平成１８年１０月１８日（２００６．１０．１８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２０年５月１日（２００８．５．１）
【国際特許分類】
【出願日】平成１８年１０月１８日（２００６．１０．１８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]