画像生成装置、画像生成方法およびプログラム
【課題】予測画像のぼやけを抑制し、時系列画像のテクスチャ性と物理特性とに関するエネルギーを保存し、モデルパラメータを自動的に最適化する。
【解決手段】データ入力部１００は、カメラから連続した時系列画像を取り込み、データ蓄積部１１０は、時系列画像を保存する。初期エネルギー計算部１２０は、時系列画像の持つ初期エネルギーを計算する。予測部１３０は、時系列画像から、移流拡散方程式とナビエ・ストークス方程式により時系列画像よりも未来の予測画像を生成する。最適化計算部１４０は、時系列画像の初期エネルギーと予測部１３０が生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように予測画像を補正する。表示部１５０は、予測画像を表示する。
【解決手段】データ入力部１００は、カメラから連続した時系列画像を取り込み、データ蓄積部１１０は、時系列画像を保存する。初期エネルギー計算部１２０は、時系列画像の持つ初期エネルギーを計算する。予測部１３０は、時系列画像から、移流拡散方程式とナビエ・ストークス方程式により時系列画像よりも未来の予測画像を生成する。最適化計算部１４０は、時系列画像の初期エネルギーと予測部１３０が生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように予測画像を補正する。表示部１５０は、予測画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディア分野、符号化分野、通信分野において、気象レーダ画像予測や映像製作における短い時系列画像から長い時系列画像を生成する用途、符号化における画像の欠落時の画像補間問題などに関係する画像生成装置、画像生成方法およびプログラムに関するものである。
【背景技術】
【０００２】
画像生成を行う方法はさまざまに存在するが、周期的な表現と非周期的な表現に分かれている。周期的な表現の場合は時系列画像の学習などにより周期的な動画を生成することが可能である。しかし、非周期的な表現については過去の知識を直接適用することが困難となる。特に、一定の画質を得るためには、画像生成の計算および予測の計算においては一定の基準が必要である。これまで、人為的なモデルパラメータの調整による画質向上も可能な場合があったが、自動的なパラメータ調整については課題が山積していた。コンピュータビジョンの分野では、状態空間法と３次元自己回帰モデルを適用した学習型の方法が知られている（非特許文献１参照）。この非特許文献１に開示された方法によると、多くの時系列画像を必要とするという問題があり、また生成される画像が周期的となる。また、非特許文献１に開示された方法では、画像がぼやけてしまうという問題がある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】S.Soatto，G.Doretto，and Y.N.Wu，“Dynamic textures”，IEEE ICCV，pp.439-446，2001
【発明の概要】
【発明が解決しようとする課題】
【０００４】
以上のように、従来の画像生成方法の第１の問題点は、画像がぼやけてしまうことである。第２の問題点は、予測過程において、パラメータの最適化基準がなかったことである。第３の問題点は、テクスチャと物理的な性質を予測過程で両立させることができなかったことである。第４の問題点は、数多くの過去の時系列画像を用いる必要があることである。
【０００５】
本発明は、上記課題を解決するためになされたもので、予測画像のぼやけを抑制することができ、時系列画像のテクスチャ性と物理特性とに関するエネルギーを保存することができ、モデルパラメータを自動的に最適化することができる画像生成装置、画像生成方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像生成装置は、複数の連続した時系列画像を取り込むデータ入力手段と、前記時系列画像を蓄積するデータ蓄積手段と、前記時系列画像の持つ初期エネルギーを計算する初期エネルギー計算手段と、前記時系列画像から、移流拡散方程式とナビエ・ストークス方程式により前記時系列画像よりも未来の予測画像を生成する予測手段と、前記時系列画像の初期エネルギーと前記予測手段が生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように前記予測画像を補正する最適化計算手段とを備えることを特徴とするものである。
また、本発明の画像生成装置の１構成例において、前記初期エネルギー計算手段と前記最適化計算手段とは、画像の動きベクトルから波数エネルギーと運動エネルギーと発散・渦エネルギーを計算し、画像の輝度分布からエッジエネルギーを計算し、前記波数エネルギーと前記運動エネルギーと前記発散・渦エネルギーと前記エッジエネルギーの平均エネルギーを当該画像の持つエネルギーとすることを特徴とするものである。
また、本発明の画像生成装置の１構成例において、前記初期エネルギー計算手段と前記最適化計算手段とは、前記波数エネルギーを計算する際に、連続的な波数とエネルギーとの関係をガンマ分布により近似することにより、前記波数エネルギーを計算することを特徴とするものである。
また、本発明の画像生成装置の１構成例において、前記最適化計算手段は、前記誤差が最小になるまで前記移流拡散方程式の拡散係数と前記ナビエ・ストークス方程式の粘性係数および密度を変化させることにより、前記予測画像を補正することを特徴とするものである。
【０００７】
また、本発明の画像生成方法は、複数の連続した時系列画像を取り込むデータ入力ステップと、前記時系列画像を蓄積するデータ蓄積ステップと、前記時系列画像の持つ初期エネルギーを計算する初期エネルギー計算ステップと、前記時系列画像から、移流拡散方程式とナビエ・ストークス方程式により前記時系列画像よりも未来の予測画像を生成する予測ステップと、前記時系列画像の初期エネルギーと前記予測ステップで生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように前記予測画像を補正する最適化計算ステップとを備えることを特徴とするものである。
また、本発明の画像生成プログラムは、画像生成方法の各ステップをコンピュータに実行させることを特徴とするものである。
【発明の効果】
【０００８】
本発明によれば、複数の連続した時系列画像を取り込み、時系列画像の持つ初期エネルギーを計算し、時系列画像から、移流拡散方程式とナビエ・ストークス方程式により時系列画像よりも未来の予測画像を生成し、時系列画像の初期エネルギーと予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように予測画像を補正することにより、偏微分方程式における物理パラメータを最適化計算により決定することで、不自然な画像のぼやけを抑制することができる。また、本発明では、統計的な乱流エネルギーモデルを導入することで、物理的な性質を保持することができる。すなわち、本発明では、時系列画像のテクスチャ性と物理特性とに関するエネルギーを保存することができる。また、本発明では、２枚の時系列画像からでも連続的に複数の新しい予測画像を生成することができる。
【０００９】
また、本発明では、連続的な波数とエネルギーとの関係をガンマ分布により近似することにより、画像から散在的な波数とエネルギーとの関係しか得られない場合でも、連続的な値を得られるようになり、エネルギーの誤差計算をし易くすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係る画像生成装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る画像生成装置の処理の流れを説明するフローチャートである。
【図３】本発明の実施の形態における初期エネルギー計算処理と予測処理と最適化計算処理のアルゴリズムの概要を示す図である。
【図４】予測過程における乱流エネルギーモデルの適用方法を説明する図である。
【図５】従来技術による予測画像と本発明の実施の形態に係る画像生成装置による予測画像とを示す図である。
【図６】本発明の実施の形態に係る画像生成装置による気象レーダ画像の予測例を示す図である。
【図７】本発明の実施の形態に係る画像生成装置による気象レーダ画像の予測例を示す図である。
【図８】本発明の実施の形態に係る画像生成装置による気象レーダ画像の予測例を示す図である。
【図９】粘性係数と渦度の関係を示す図である。
【発明を実施するための形態】
【００１１】
本発明は、与えられたテクスチャ性と物理特性とに関するエネルギーが保存されるように、過去から現在までの時系列画像と近未来の予測画像との間で最適化計算を行う方法を提供する。画像の持つ総エネルギーは、運動エネルギーと波数エネルギーと発散・渦エネルギーとエッジエネルギーの和である。本発明では、客観的に画像の持つエネルギーを定義し、エネルギー保存則を導入している。本発明では、予測画像においてもエネルギーが保存されるように、移流拡散方程式における拡散係数と、ナビエ・ストークス方程式における粘性係数および密度の３つのパラメータについて自動的に最適化する方法により画質の崩れを抑制することができる。
【００１２】
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の実施の形態に係る画像生成装置の構成を示すブロック図、図２は画像生成装置の処理の流れを説明するフローチャートである。本実施の形態の画像生成装置は、データ入力部１００と、データ蓄積部１１０と、初期エネルギー計算部１２０と、予測部１３０と、最適化計算部１４０と、表示部１５０とから構成される。
【００１３】
画像生成装置の処理を図２を用いて簡単に説明すると、データ入力部１００は、カメラから複数の連続した時系列画像を取り込み（ステップＳ１００）、データ蓄積部１１０は、データ入力部１００が取り込んだ時系列画像のデータを保存する（ステップＳ１０１）。初期エネルギー計算部１２０は、過去から現在までの時系列画像の持つ初期エネルギーを計算する（ステップＳ１０２）。予測部１３０は、時系列画像から、移流拡散方程式とナビエ・ストークス方程式により時系列画像よりも未来の予測画像を生成する（ステップＳ１０３）。最適化計算部１４０は、時系列画像の初期エネルギーと予測部１３０が生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように予測画像を補正する（ステップＳ１０４）。表示部１５０は、予測部１３０が生成し最適化計算部１４０が補正した予測画像を表示する（ステップＳ１０５）。
【００１４】
本実施の形態では、２枚の連続した時系列画像の入力を前提とし、この２枚の時系列画像から未来の１枚以上の時系列画像を予測することを目的とする。予測計算開始前の画像のもつ初期エネルギーを次のように定義する。
【００１５】
【数１】
【００１６】
式（１）に示す（Ｅｎｇ1）i,jnは波数エネルギー、式（２）に示す（Ｅｎｇ2）i,jnは運動エネルギー、式（３）に示す（Ｅｎｇ3）i,jnは発散・渦エネルギー、式（４）に示す（Ｅｎｇ4）i,jnはエッジエネルギーである。これらの波数エネルギー（Ｅｎｇ1）i,jn、運動エネルギー（Ｅｎｇ2）i,jn、発散・渦エネルギー（Ｅｎｇ3）i,jn、およびエッジエネルギー（Ｅｎｇ4）i,jnは、画素（ｉ，ｊ）毎に、ある時刻ｎで定義される。ｋi,jnは時刻ｎにおいてｘ方向の座標がｉでｙ方向の座標がｊの画素（ｉ，ｊ）における波数、ｕi,jは画素（ｉ，ｊ）における速度（動きベクトル）、Ｉi,jは画素（ｉ，ｊ）における画像輝度分布である。また、ｗi,jは画素（ｉ，ｊ）における動きベクトルのｘ成分、ｖi,jは画素（ｉ，ｊ）における動きベクトルのｙ成分、（Ｉｘ）i,jは画素（ｉ，ｊ）における画像輝度分布のｘ成分、（Ｉｙ）i,jは画素（ｉ，ｊ）における画像輝度分布のｙ成分である。
【００１７】
波数エネルギー（Ｅｎｇ1）i,jn、運動エネルギー（Ｅｎｇ2）i,jn、および発散・渦エネルギー（Ｅｎｇ3）i,jnは、画像のもつ動きに関わるエネルギーであり、エッジエネルギー（Ｅｎｇ4）i,jnは、画像の見掛けのテクスチャ性に関するエネルギーである。速度ｕは、オプティカルフロー法やパターンマッチング法などにより計算することができる。オプティカルフロー法については、例えば文献「“Ｏｐｔｉｃａｌ＿ｆｌｏｗ”，ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｏｐｔｉｃａｌ＿ｆｌｏｗ」に開示されている。本実施の形態では、２枚の連続した時系列画像から速度ｕを計算するが、１枚の画像しかない場合は、人為的に設定された速度ｕを活用する。エッジとは、画像輝度分布Ｉの１次微分の大きさである。
【００１８】
画素（ｉ，ｊ）での平均エネルギーについては、式（１０）に示すように、４つのエネルギー（Ｅｎｇ1）i,jn，（Ｅｎｇ2）i,jn，（Ｅｎｇ3）i,jn，（Ｅｎｇ4）i,jnの和をとり、この和を１枚の画像の全画素数Ω（Ωはｘ方向Ｍ画素とｙ方向Ｎ画素の積Ｍ×Ｎ）で割ることにより求めることができる。このとき、式（１１）に示すように、重み付け係数αc（ｃは１〜４）の和を１とする。なお、波数ｋの推定方法については、後述する図４の説明の中で述べる。
【００１９】
【数２】
【００２０】
図３はステップＳ１０２の初期エネルギー計算処理とステップＳ１０３の予測処理とステップＳ１０４の最適化計算処理のアルゴリズムの概要を示す図である。ステップＳ２００（図２のステップＳ１０２）において、初期エネルギー計算部１２０は、データ入力部１００が取り込んだ２枚の時系列画像から動きベクトルを画素毎に計算し、式（１）〜式（４）に示した４つの初期エネルギーを画素毎に計算する。図３におけるＩi,jn-1は時刻ｎ−１において取り込まれた時系列画像の画素（ｉ，ｊ）における画像輝度分布、Ｉi,jnは時刻ｎにおいて取り込まれた時系列画像の画素（ｉ，ｊ）における画像輝度分布である。
【００２１】
ステップＳ２０１（図２のステップＳ１０３，Ｓ１０４）において、予測部１３０は、式（１２）に示す移流拡散方程式と式（１３）に示すナビエ・ストークス（ＮＳ）方程式とを交互に時間発展させていくことにより、時刻ｎより未来の新しい画像を予測する。ここでは、流体変化を伴う自然現象を対象とした時系列画像を想定し、流体モデルを仮定して、式（１４）に示す非圧縮性条件を課した。
【００２２】
【数３】
【００２３】
式（１２）、式（１３）におけるυは粘性係数、ρは密度、ηは拡散係数である。これら粘性係数υ、密度ρ、拡散係数ηは未知数なので、最適化計算処理で推定することになる。図３に示すハットυ、ハットρ、ハットηは、それぞれ粘性係数υ、密度ρ、拡散係数ηの最適値である。予測部１３０は、式（６）に示した移流拡散方程式を時間発展させる。また、ＮＳ方程式は、ＭＡＣ（Marker and Cell）法により非線形に解かれる。ＭＡＣ法については、例えば文献「大宮司久明，“数値流体力学大全 第１３章 非圧縮性流れの解法−ＭＡＣ型解法”，ｈｔｔｐ：／／ｗｗｗ．ｃａｅｒｏ．ｍｅｃｈ．ｔｏｈｏｋｕ．ａｃ．ｊｐ／ｐｕｂｌｉｃＤａｔａ／Ｄａｉｇｕｊｉ／Ｃｈａｐｔｅｒ１３．ｐｄｆ」に開示されている。
【００２４】
こうして、予測部１３０は、移流拡散方程式により未来の画像輝度分布Ｉをあらかじめ定められた時間ステップ毎および画素毎に計算すると共に、ＮＳ方程式により未来の速度ｕを時間ステップ毎および画素毎に計算することにより、未来の画像を時間ステップ毎に予測する。図３の例では、時刻ｎ＋１，ｎ＋２，・・・・，ｎ＋ｐにおける画像の画素（ｉ，ｊ）の輝度分布Ｉと速度ｕとが計算されている。
【００２５】
次に、最適化計算部１４０は、時刻ｎの入力時系列画像の初期エネルギーＥ（ｎ）と時刻ｎ＋ｐの予測画像のエネルギーＥ（ｎ＋ｐ）との誤差｜ε｜を式（１５）により画素毎に計算する。
【００２６】
【数４】
【００２７】
この計算では、｜Ｅ（ｎ）−Ｅ（ｎ＋１）｜，｜Ｅ（ｎ）−Ｅ（ｎ＋２）｜，・・・・，｜Ｅ（ｎ）−Ｅ（ｎ＋ｐ）｜のように、常に時刻ｎにおける初期エネルギーと時刻ｎよりも後の各時刻ｎ＋１，ｎ＋２，・・・・，ｎ＋ｐにおけるエネルギーとの誤差｜ε｜を計算する。粘性係数υ、密度ρ、拡散係数ηの全ての組み合わせについて誤差｜ε｜を計算すると膨大な計算となることから、予め粘性係数υ、密度ρ、拡散係数ηの範囲を、１０．０≦υ≦５０．０、０．１≦ρ≦１０．０、０．０≦η≦５００．０に設定した。ＮＳ式については、無次元化変換により、モデルパラメータをレイノルズ数に集約させることができ、この場合は、より少ないモデルパラメータでの最適化が可能である。
【００２８】
こうして、最適化計算部１４０は、予測部１３０が予測した予測画像の平均エネルギーを初期エネルギーと同様に計算し、初期エネルギー計算部１２０が計算した入力時系列画像の初期エネルギー（平均エネルギー）と予測画像の平均エネルギーとの誤差を計算し、誤差が最小になるまで粘性係数υ、密度ρ、拡散係数ηを変化させていくことを、予測の時間ステップ毎および画素毎に行う。図３の例では、時刻ｎ＋１，ｎ＋２，・・・・，ｎ＋ｐの予測画像毎および画素毎に、このような処理を行うことになる。最適化計算部１４０は、時刻ｎ＋１の各画素について誤差が最小になると、この時刻ｎ＋１についての最適化計算処理が完了したものと見なして、誤差が最小になったときの粘性係数υ、密度ρ、拡散係数ηで時刻ｎ＋１の予測画像を確定し、次の時刻ｎ＋２の各画素について最適化計算処理を行う。
【００２９】
図４（Ａ）〜図４（Ｃ）は予測過程における乱流エネルギーモデルの適用方法を説明する図である。流体力学分野でよく知られているコルモゴロフエネルギーがあり、本実施の形態ではその特性を応用して波数エネルギーを求めた。コルモゴロフエネルギーについては、例えば文献「Thayer Watkins，“Kolmogorov's Theory of Turbulence and the Energy Spectrum”，San Jose' State University，ｈｔｔｐ：／／ｗｗｗ．ａｐｐｌｅｔ−ｍａｇｉｃ．ｃｏｍ／ｋｏｌｍｏ．ｈｔｍ」に開示されている。
【００３０】
図４（Ａ）に示す分布は、横軸に波数ｋ、縦軸にコルモゴロフエネルギーＥ（ｋ）をとったものである。図４（Ａ）の４００は入力時系列画像の初期エネルギー、４０１は予測画像のエネルギー、４００は初期エネルギーと予測画像のエネルギーとの誤差であるエネルギーロスである。図４（Ａ）に示した分布では、低周波数側にピークが現れる。波数ｋは２πと周波数の積で与えられる。
【００３１】
初期エネルギー計算部１２０は、入力時系列画像の速度ｕi,jnを時刻ｎで得る。そして、初期エネルギー計算部１２０は、図４（Ｂ）に示すように周波数変換を高速フーリエ変換（ＦＦＴ）により行い、速度ｕi,jnを波数エネルギーＥ（ｋn）に変換する。最適化計算部１４０は、予測過程において、図４（Ｂ）に示すように時刻ｎ＋ｐの速度ｕi,jn+pをＦＦＴにより波数エネルギーＥ（ｋn+p）に変換する。速度ｕi,jn+pは、予測過程ではＮＳ方程式より得られたものである。
【００３２】
このとき、画像から計算される波数分布は、図４（Ｃ）に示すように散在する。以後の誤差計算を式（１５）を用いて行うときは、波数ｋの値が連続でないと、ゼロの値を用いた誤差計算となってしまう。即ち、何らかの補間された波数ｋの値が必要となる。このため、図４（Ｃ）に示すようなエネルギー分布について、連続的な波数ｋとエネルギーとの関係を式（１６）に示すようなガンマ分布により近似している。近似された分布を用いることで、予測過程におけるエネルギーの誤差を計算しやすくすることができる。
【００３３】
【数５】
【００３４】
式（１６）におけるｓｈは形状パラメータ、ｓｃはスケールパラメータである。形状パラメータｓｈは整数である。ここで、ｘ＞０，ｓｈ＞０，ｓｃ＞０となる。Γ（ｓｈ）はガンマ関数である。
【００３５】
次に、式（１５）において、初期と予測過程での誤差エネルギーεに基づいて、補正されるべき速度が推定できる。即ち、式（１７）のように、誤差エネルギーεを逆変換（ＩＦＦＴ）することで速度に換算される。また、パラメータの組み合わせにより、初期エネルギーよりも予測過程でエネルギーが増加もしくは減少する。このことを考慮すると、速度の増減を考慮する必要がある。
【００３６】
【数６】
【００３７】
符号関数ｓｇｎ（ε）は、εの符号に応じて＋１，０，−１のいずれかの値を返す。即ち、ε＞０のときはｓｇｎ（ε）＝＋１、ε＝０のときはｓｇｎ（ε）＝０、ε＜０のときはｓｇｎ（ε）＝−１である。
【００３８】
図５（Ａ）〜図５（Ｄ）を用いて、従来技術による予測画像と本実施の形態による予測画像との違いについて説明する。ここでは、画像の例として水面の画像を用いている。図５（Ａ）は実画像（正解画像）を示す図である。図５（Ｂ）は図５（Ａ）の画像よりも過去の画像を入力時系列画像として本実施の形態により予測した画像を示す図である。本実施の形態では、２枚の連続した入力時系列画像を用いて、１枚先の画像（１ステップ後の時刻の画像）を予測している。
【００３９】
一方、図５（Ｃ）は図５（Ａ）の画像よりも過去の画像を入力時系列画像として従来技術により予測した画像を示す図である。ここでは、従来技術として非特許文献１に開示された３次元自己回帰モデルを適用した方法を用いている。この従来技術では、１０枚の入力画像を用いて、１枚先の画像を予測している。３次元自己回帰モデルの係数は１０枚の画像を入力し、最小二乗法計算により係数を決定した。本実施の形態では、図５（Ａ）に示した正解画像と図５（Ｂ）に示した予測画像との誤差は１３となり、従来技術では、正解画像と図５（Ｃ）に示した予測画像との誤差は３０となった。本実施の形態で適用されたフローの推定結果を図５（Ｄ）に示す。本実施の形態によれば、実際の正解画像に近い光沢感、透明感を持つ予測画像が得られた。一方、従来技術では、予測画像がぼやけてしまうという欠点が現れている。本実施の形態と従来技術との画質の差は明らかである。
【００４０】
図６（Ａ）、図６（Ｂ）、図７（Ａ）、図７（Ｂ）、図８（Ａ）、図８（Ｂ）は本実施の形態による気象レーダ（降水パターン）画像の予測例を示す図である。ここでは、粘性係数υのみを変化させて予測画像を求めている。速度場は渦度により評価した。図６（Ａ）は入力時系列画像を示しており、図６（Ｂ）は図６（Ａ）の入力時系列画像に速度場を描いた画像を示している。図６（Ｂ）中の矢印が速度ｕを表している。図７（Ａ）は図６（Ａ）の画像から１時間後の正解画像を示しており、図７（Ｂ）は正解画像と同時刻の予測画像を示している。このときの粘性係数υは１００００である。
【００４１】
図８（Ａ）、図８（Ｂ）は図６（Ａ）の画像から５時間後の予測画像を示している。図８（Ａ）の場合の粘性係数υは０．０１、図８（Ｂ）の場合の粘性係数υは１．５である。図９に示す粘性係数υと渦度との関係から分かるとおり、粘性係数υが小さいほど、速度ｕへの感度が高くなる。粘性係数υが最適化されない場合、台風の渦の速度場が予測の間も残ってしまい、降水パターンは不自然に収縮してしまい、並進運動がなくなる。
【００４２】
以上のように、本実施の形態では、偏微分方程式における物理パラメータを最適化計算により決定することで、不自然な画像のぼやけを抑制することができる。また、本実施の形態では、統計的な乱流エネルギーモデルを導入することで、物理的な性質を保持することができる。また、本実施の形態では、２枚の時系列画像からでも連続的に複数の新しい予測画像を生成することができる。
【００４３】
本実施の形態で説明した画像生成装置は、例えばＣＰＵ、記憶装置およびインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータを動作させるための画像生成プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供される。ＣＰＵは、読み込んだ画像生成プログラムを記憶装置に書き込み、このプログラムに従って本実施の形態で説明した処理を実行する。
【産業上の利用可能性】
【００４４】
本発明は、マルチメディア分野、符号化分野、通信分野における画像生成技術に適用することができる。
【符号の説明】
【００４５】
１００…データ入力部、１１０…データ蓄積部、１２０…初期エネルギー計算部、１３０…予測部、１４０…最適化計算部、１５０…表示部。
【技術分野】
【０００１】
本発明は、マルチメディア分野、符号化分野、通信分野において、気象レーダ画像予測や映像製作における短い時系列画像から長い時系列画像を生成する用途、符号化における画像の欠落時の画像補間問題などに関係する画像生成装置、画像生成方法およびプログラムに関するものである。
【背景技術】
【０００２】
画像生成を行う方法はさまざまに存在するが、周期的な表現と非周期的な表現に分かれている。周期的な表現の場合は時系列画像の学習などにより周期的な動画を生成することが可能である。しかし、非周期的な表現については過去の知識を直接適用することが困難となる。特に、一定の画質を得るためには、画像生成の計算および予測の計算においては一定の基準が必要である。これまで、人為的なモデルパラメータの調整による画質向上も可能な場合があったが、自動的なパラメータ調整については課題が山積していた。コンピュータビジョンの分野では、状態空間法と３次元自己回帰モデルを適用した学習型の方法が知られている（非特許文献１参照）。この非特許文献１に開示された方法によると、多くの時系列画像を必要とするという問題があり、また生成される画像が周期的となる。また、非特許文献１に開示された方法では、画像がぼやけてしまうという問題がある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】S.Soatto，G.Doretto，and Y.N.Wu，“Dynamic textures”，IEEE ICCV，pp.439-446，2001
【発明の概要】
【発明が解決しようとする課題】
【０００４】
以上のように、従来の画像生成方法の第１の問題点は、画像がぼやけてしまうことである。第２の問題点は、予測過程において、パラメータの最適化基準がなかったことである。第３の問題点は、テクスチャと物理的な性質を予測過程で両立させることができなかったことである。第４の問題点は、数多くの過去の時系列画像を用いる必要があることである。
【０００５】
本発明は、上記課題を解決するためになされたもので、予測画像のぼやけを抑制することができ、時系列画像のテクスチャ性と物理特性とに関するエネルギーを保存することができ、モデルパラメータを自動的に最適化することができる画像生成装置、画像生成方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像生成装置は、複数の連続した時系列画像を取り込むデータ入力手段と、前記時系列画像を蓄積するデータ蓄積手段と、前記時系列画像の持つ初期エネルギーを計算する初期エネルギー計算手段と、前記時系列画像から、移流拡散方程式とナビエ・ストークス方程式により前記時系列画像よりも未来の予測画像を生成する予測手段と、前記時系列画像の初期エネルギーと前記予測手段が生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように前記予測画像を補正する最適化計算手段とを備えることを特徴とするものである。
また、本発明の画像生成装置の１構成例において、前記初期エネルギー計算手段と前記最適化計算手段とは、画像の動きベクトルから波数エネルギーと運動エネルギーと発散・渦エネルギーを計算し、画像の輝度分布からエッジエネルギーを計算し、前記波数エネルギーと前記運動エネルギーと前記発散・渦エネルギーと前記エッジエネルギーの平均エネルギーを当該画像の持つエネルギーとすることを特徴とするものである。
また、本発明の画像生成装置の１構成例において、前記初期エネルギー計算手段と前記最適化計算手段とは、前記波数エネルギーを計算する際に、連続的な波数とエネルギーとの関係をガンマ分布により近似することにより、前記波数エネルギーを計算することを特徴とするものである。
また、本発明の画像生成装置の１構成例において、前記最適化計算手段は、前記誤差が最小になるまで前記移流拡散方程式の拡散係数と前記ナビエ・ストークス方程式の粘性係数および密度を変化させることにより、前記予測画像を補正することを特徴とするものである。
【０００７】
また、本発明の画像生成方法は、複数の連続した時系列画像を取り込むデータ入力ステップと、前記時系列画像を蓄積するデータ蓄積ステップと、前記時系列画像の持つ初期エネルギーを計算する初期エネルギー計算ステップと、前記時系列画像から、移流拡散方程式とナビエ・ストークス方程式により前記時系列画像よりも未来の予測画像を生成する予測ステップと、前記時系列画像の初期エネルギーと前記予測ステップで生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように前記予測画像を補正する最適化計算ステップとを備えることを特徴とするものである。
また、本発明の画像生成プログラムは、画像生成方法の各ステップをコンピュータに実行させることを特徴とするものである。
【発明の効果】
【０００８】
本発明によれば、複数の連続した時系列画像を取り込み、時系列画像の持つ初期エネルギーを計算し、時系列画像から、移流拡散方程式とナビエ・ストークス方程式により時系列画像よりも未来の予測画像を生成し、時系列画像の初期エネルギーと予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように予測画像を補正することにより、偏微分方程式における物理パラメータを最適化計算により決定することで、不自然な画像のぼやけを抑制することができる。また、本発明では、統計的な乱流エネルギーモデルを導入することで、物理的な性質を保持することができる。すなわち、本発明では、時系列画像のテクスチャ性と物理特性とに関するエネルギーを保存することができる。また、本発明では、２枚の時系列画像からでも連続的に複数の新しい予測画像を生成することができる。
【０００９】
また、本発明では、連続的な波数とエネルギーとの関係をガンマ分布により近似することにより、画像から散在的な波数とエネルギーとの関係しか得られない場合でも、連続的な値を得られるようになり、エネルギーの誤差計算をし易くすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係る画像生成装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る画像生成装置の処理の流れを説明するフローチャートである。
【図３】本発明の実施の形態における初期エネルギー計算処理と予測処理と最適化計算処理のアルゴリズムの概要を示す図である。
【図４】予測過程における乱流エネルギーモデルの適用方法を説明する図である。
【図５】従来技術による予測画像と本発明の実施の形態に係る画像生成装置による予測画像とを示す図である。
【図６】本発明の実施の形態に係る画像生成装置による気象レーダ画像の予測例を示す図である。
【図７】本発明の実施の形態に係る画像生成装置による気象レーダ画像の予測例を示す図である。
【図８】本発明の実施の形態に係る画像生成装置による気象レーダ画像の予測例を示す図である。
【図９】粘性係数と渦度の関係を示す図である。
【発明を実施するための形態】
【００１１】
本発明は、与えられたテクスチャ性と物理特性とに関するエネルギーが保存されるように、過去から現在までの時系列画像と近未来の予測画像との間で最適化計算を行う方法を提供する。画像の持つ総エネルギーは、運動エネルギーと波数エネルギーと発散・渦エネルギーとエッジエネルギーの和である。本発明では、客観的に画像の持つエネルギーを定義し、エネルギー保存則を導入している。本発明では、予測画像においてもエネルギーが保存されるように、移流拡散方程式における拡散係数と、ナビエ・ストークス方程式における粘性係数および密度の３つのパラメータについて自動的に最適化する方法により画質の崩れを抑制することができる。
【００１２】
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の実施の形態に係る画像生成装置の構成を示すブロック図、図２は画像生成装置の処理の流れを説明するフローチャートである。本実施の形態の画像生成装置は、データ入力部１００と、データ蓄積部１１０と、初期エネルギー計算部１２０と、予測部１３０と、最適化計算部１４０と、表示部１５０とから構成される。
【００１３】
画像生成装置の処理を図２を用いて簡単に説明すると、データ入力部１００は、カメラから複数の連続した時系列画像を取り込み（ステップＳ１００）、データ蓄積部１１０は、データ入力部１００が取り込んだ時系列画像のデータを保存する（ステップＳ１０１）。初期エネルギー計算部１２０は、過去から現在までの時系列画像の持つ初期エネルギーを計算する（ステップＳ１０２）。予測部１３０は、時系列画像から、移流拡散方程式とナビエ・ストークス方程式により時系列画像よりも未来の予測画像を生成する（ステップＳ１０３）。最適化計算部１４０は、時系列画像の初期エネルギーと予測部１３０が生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように予測画像を補正する（ステップＳ１０４）。表示部１５０は、予測部１３０が生成し最適化計算部１４０が補正した予測画像を表示する（ステップＳ１０５）。
【００１４】
本実施の形態では、２枚の連続した時系列画像の入力を前提とし、この２枚の時系列画像から未来の１枚以上の時系列画像を予測することを目的とする。予測計算開始前の画像のもつ初期エネルギーを次のように定義する。
【００１５】
【数１】
【００１６】
式（１）に示す（Ｅｎｇ1）i,jnは波数エネルギー、式（２）に示す（Ｅｎｇ2）i,jnは運動エネルギー、式（３）に示す（Ｅｎｇ3）i,jnは発散・渦エネルギー、式（４）に示す（Ｅｎｇ4）i,jnはエッジエネルギーである。これらの波数エネルギー（Ｅｎｇ1）i,jn、運動エネルギー（Ｅｎｇ2）i,jn、発散・渦エネルギー（Ｅｎｇ3）i,jn、およびエッジエネルギー（Ｅｎｇ4）i,jnは、画素（ｉ，ｊ）毎に、ある時刻ｎで定義される。ｋi,jnは時刻ｎにおいてｘ方向の座標がｉでｙ方向の座標がｊの画素（ｉ，ｊ）における波数、ｕi,jは画素（ｉ，ｊ）における速度（動きベクトル）、Ｉi,jは画素（ｉ，ｊ）における画像輝度分布である。また、ｗi,jは画素（ｉ，ｊ）における動きベクトルのｘ成分、ｖi,jは画素（ｉ，ｊ）における動きベクトルのｙ成分、（Ｉｘ）i,jは画素（ｉ，ｊ）における画像輝度分布のｘ成分、（Ｉｙ）i,jは画素（ｉ，ｊ）における画像輝度分布のｙ成分である。
【００１７】
波数エネルギー（Ｅｎｇ1）i,jn、運動エネルギー（Ｅｎｇ2）i,jn、および発散・渦エネルギー（Ｅｎｇ3）i,jnは、画像のもつ動きに関わるエネルギーであり、エッジエネルギー（Ｅｎｇ4）i,jnは、画像の見掛けのテクスチャ性に関するエネルギーである。速度ｕは、オプティカルフロー法やパターンマッチング法などにより計算することができる。オプティカルフロー法については、例えば文献「“Ｏｐｔｉｃａｌ＿ｆｌｏｗ”，ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｏｐｔｉｃａｌ＿ｆｌｏｗ」に開示されている。本実施の形態では、２枚の連続した時系列画像から速度ｕを計算するが、１枚の画像しかない場合は、人為的に設定された速度ｕを活用する。エッジとは、画像輝度分布Ｉの１次微分の大きさである。
【００１８】
画素（ｉ，ｊ）での平均エネルギーについては、式（１０）に示すように、４つのエネルギー（Ｅｎｇ1）i,jn，（Ｅｎｇ2）i,jn，（Ｅｎｇ3）i,jn，（Ｅｎｇ4）i,jnの和をとり、この和を１枚の画像の全画素数Ω（Ωはｘ方向Ｍ画素とｙ方向Ｎ画素の積Ｍ×Ｎ）で割ることにより求めることができる。このとき、式（１１）に示すように、重み付け係数αc（ｃは１〜４）の和を１とする。なお、波数ｋの推定方法については、後述する図４の説明の中で述べる。
【００１９】
【数２】
【００２０】
図３はステップＳ１０２の初期エネルギー計算処理とステップＳ１０３の予測処理とステップＳ１０４の最適化計算処理のアルゴリズムの概要を示す図である。ステップＳ２００（図２のステップＳ１０２）において、初期エネルギー計算部１２０は、データ入力部１００が取り込んだ２枚の時系列画像から動きベクトルを画素毎に計算し、式（１）〜式（４）に示した４つの初期エネルギーを画素毎に計算する。図３におけるＩi,jn-1は時刻ｎ−１において取り込まれた時系列画像の画素（ｉ，ｊ）における画像輝度分布、Ｉi,jnは時刻ｎにおいて取り込まれた時系列画像の画素（ｉ，ｊ）における画像輝度分布である。
【００２１】
ステップＳ２０１（図２のステップＳ１０３，Ｓ１０４）において、予測部１３０は、式（１２）に示す移流拡散方程式と式（１３）に示すナビエ・ストークス（ＮＳ）方程式とを交互に時間発展させていくことにより、時刻ｎより未来の新しい画像を予測する。ここでは、流体変化を伴う自然現象を対象とした時系列画像を想定し、流体モデルを仮定して、式（１４）に示す非圧縮性条件を課した。
【００２２】
【数３】
【００２３】
式（１２）、式（１３）におけるυは粘性係数、ρは密度、ηは拡散係数である。これら粘性係数υ、密度ρ、拡散係数ηは未知数なので、最適化計算処理で推定することになる。図３に示すハットυ、ハットρ、ハットηは、それぞれ粘性係数υ、密度ρ、拡散係数ηの最適値である。予測部１３０は、式（６）に示した移流拡散方程式を時間発展させる。また、ＮＳ方程式は、ＭＡＣ（Marker and Cell）法により非線形に解かれる。ＭＡＣ法については、例えば文献「大宮司久明，“数値流体力学大全 第１３章 非圧縮性流れの解法−ＭＡＣ型解法”，ｈｔｔｐ：／／ｗｗｗ．ｃａｅｒｏ．ｍｅｃｈ．ｔｏｈｏｋｕ．ａｃ．ｊｐ／ｐｕｂｌｉｃＤａｔａ／Ｄａｉｇｕｊｉ／Ｃｈａｐｔｅｒ１３．ｐｄｆ」に開示されている。
【００２４】
こうして、予測部１３０は、移流拡散方程式により未来の画像輝度分布Ｉをあらかじめ定められた時間ステップ毎および画素毎に計算すると共に、ＮＳ方程式により未来の速度ｕを時間ステップ毎および画素毎に計算することにより、未来の画像を時間ステップ毎に予測する。図３の例では、時刻ｎ＋１，ｎ＋２，・・・・，ｎ＋ｐにおける画像の画素（ｉ，ｊ）の輝度分布Ｉと速度ｕとが計算されている。
【００２５】
次に、最適化計算部１４０は、時刻ｎの入力時系列画像の初期エネルギーＥ（ｎ）と時刻ｎ＋ｐの予測画像のエネルギーＥ（ｎ＋ｐ）との誤差｜ε｜を式（１５）により画素毎に計算する。
【００２６】
【数４】
【００２７】
この計算では、｜Ｅ（ｎ）−Ｅ（ｎ＋１）｜，｜Ｅ（ｎ）−Ｅ（ｎ＋２）｜，・・・・，｜Ｅ（ｎ）−Ｅ（ｎ＋ｐ）｜のように、常に時刻ｎにおける初期エネルギーと時刻ｎよりも後の各時刻ｎ＋１，ｎ＋２，・・・・，ｎ＋ｐにおけるエネルギーとの誤差｜ε｜を計算する。粘性係数υ、密度ρ、拡散係数ηの全ての組み合わせについて誤差｜ε｜を計算すると膨大な計算となることから、予め粘性係数υ、密度ρ、拡散係数ηの範囲を、１０．０≦υ≦５０．０、０．１≦ρ≦１０．０、０．０≦η≦５００．０に設定した。ＮＳ式については、無次元化変換により、モデルパラメータをレイノルズ数に集約させることができ、この場合は、より少ないモデルパラメータでの最適化が可能である。
【００２８】
こうして、最適化計算部１４０は、予測部１３０が予測した予測画像の平均エネルギーを初期エネルギーと同様に計算し、初期エネルギー計算部１２０が計算した入力時系列画像の初期エネルギー（平均エネルギー）と予測画像の平均エネルギーとの誤差を計算し、誤差が最小になるまで粘性係数υ、密度ρ、拡散係数ηを変化させていくことを、予測の時間ステップ毎および画素毎に行う。図３の例では、時刻ｎ＋１，ｎ＋２，・・・・，ｎ＋ｐの予測画像毎および画素毎に、このような処理を行うことになる。最適化計算部１４０は、時刻ｎ＋１の各画素について誤差が最小になると、この時刻ｎ＋１についての最適化計算処理が完了したものと見なして、誤差が最小になったときの粘性係数υ、密度ρ、拡散係数ηで時刻ｎ＋１の予測画像を確定し、次の時刻ｎ＋２の各画素について最適化計算処理を行う。
【００２９】
図４（Ａ）〜図４（Ｃ）は予測過程における乱流エネルギーモデルの適用方法を説明する図である。流体力学分野でよく知られているコルモゴロフエネルギーがあり、本実施の形態ではその特性を応用して波数エネルギーを求めた。コルモゴロフエネルギーについては、例えば文献「Thayer Watkins，“Kolmogorov's Theory of Turbulence and the Energy Spectrum”，San Jose' State University，ｈｔｔｐ：／／ｗｗｗ．ａｐｐｌｅｔ−ｍａｇｉｃ．ｃｏｍ／ｋｏｌｍｏ．ｈｔｍ」に開示されている。
【００３０】
図４（Ａ）に示す分布は、横軸に波数ｋ、縦軸にコルモゴロフエネルギーＥ（ｋ）をとったものである。図４（Ａ）の４００は入力時系列画像の初期エネルギー、４０１は予測画像のエネルギー、４００は初期エネルギーと予測画像のエネルギーとの誤差であるエネルギーロスである。図４（Ａ）に示した分布では、低周波数側にピークが現れる。波数ｋは２πと周波数の積で与えられる。
【００３１】
初期エネルギー計算部１２０は、入力時系列画像の速度ｕi,jnを時刻ｎで得る。そして、初期エネルギー計算部１２０は、図４（Ｂ）に示すように周波数変換を高速フーリエ変換（ＦＦＴ）により行い、速度ｕi,jnを波数エネルギーＥ（ｋn）に変換する。最適化計算部１４０は、予測過程において、図４（Ｂ）に示すように時刻ｎ＋ｐの速度ｕi,jn+pをＦＦＴにより波数エネルギーＥ（ｋn+p）に変換する。速度ｕi,jn+pは、予測過程ではＮＳ方程式より得られたものである。
【００３２】
このとき、画像から計算される波数分布は、図４（Ｃ）に示すように散在する。以後の誤差計算を式（１５）を用いて行うときは、波数ｋの値が連続でないと、ゼロの値を用いた誤差計算となってしまう。即ち、何らかの補間された波数ｋの値が必要となる。このため、図４（Ｃ）に示すようなエネルギー分布について、連続的な波数ｋとエネルギーとの関係を式（１６）に示すようなガンマ分布により近似している。近似された分布を用いることで、予測過程におけるエネルギーの誤差を計算しやすくすることができる。
【００３３】
【数５】
【００３４】
式（１６）におけるｓｈは形状パラメータ、ｓｃはスケールパラメータである。形状パラメータｓｈは整数である。ここで、ｘ＞０，ｓｈ＞０，ｓｃ＞０となる。Γ（ｓｈ）はガンマ関数である。
【００３５】
次に、式（１５）において、初期と予測過程での誤差エネルギーεに基づいて、補正されるべき速度が推定できる。即ち、式（１７）のように、誤差エネルギーεを逆変換（ＩＦＦＴ）することで速度に換算される。また、パラメータの組み合わせにより、初期エネルギーよりも予測過程でエネルギーが増加もしくは減少する。このことを考慮すると、速度の増減を考慮する必要がある。
【００３６】
【数６】
【００３７】
符号関数ｓｇｎ（ε）は、εの符号に応じて＋１，０，−１のいずれかの値を返す。即ち、ε＞０のときはｓｇｎ（ε）＝＋１、ε＝０のときはｓｇｎ（ε）＝０、ε＜０のときはｓｇｎ（ε）＝−１である。
【００３８】
図５（Ａ）〜図５（Ｄ）を用いて、従来技術による予測画像と本実施の形態による予測画像との違いについて説明する。ここでは、画像の例として水面の画像を用いている。図５（Ａ）は実画像（正解画像）を示す図である。図５（Ｂ）は図５（Ａ）の画像よりも過去の画像を入力時系列画像として本実施の形態により予測した画像を示す図である。本実施の形態では、２枚の連続した入力時系列画像を用いて、１枚先の画像（１ステップ後の時刻の画像）を予測している。
【００３９】
一方、図５（Ｃ）は図５（Ａ）の画像よりも過去の画像を入力時系列画像として従来技術により予測した画像を示す図である。ここでは、従来技術として非特許文献１に開示された３次元自己回帰モデルを適用した方法を用いている。この従来技術では、１０枚の入力画像を用いて、１枚先の画像を予測している。３次元自己回帰モデルの係数は１０枚の画像を入力し、最小二乗法計算により係数を決定した。本実施の形態では、図５（Ａ）に示した正解画像と図５（Ｂ）に示した予測画像との誤差は１３となり、従来技術では、正解画像と図５（Ｃ）に示した予測画像との誤差は３０となった。本実施の形態で適用されたフローの推定結果を図５（Ｄ）に示す。本実施の形態によれば、実際の正解画像に近い光沢感、透明感を持つ予測画像が得られた。一方、従来技術では、予測画像がぼやけてしまうという欠点が現れている。本実施の形態と従来技術との画質の差は明らかである。
【００４０】
図６（Ａ）、図６（Ｂ）、図７（Ａ）、図７（Ｂ）、図８（Ａ）、図８（Ｂ）は本実施の形態による気象レーダ（降水パターン）画像の予測例を示す図である。ここでは、粘性係数υのみを変化させて予測画像を求めている。速度場は渦度により評価した。図６（Ａ）は入力時系列画像を示しており、図６（Ｂ）は図６（Ａ）の入力時系列画像に速度場を描いた画像を示している。図６（Ｂ）中の矢印が速度ｕを表している。図７（Ａ）は図６（Ａ）の画像から１時間後の正解画像を示しており、図７（Ｂ）は正解画像と同時刻の予測画像を示している。このときの粘性係数υは１００００である。
【００４１】
図８（Ａ）、図８（Ｂ）は図６（Ａ）の画像から５時間後の予測画像を示している。図８（Ａ）の場合の粘性係数υは０．０１、図８（Ｂ）の場合の粘性係数υは１．５である。図９に示す粘性係数υと渦度との関係から分かるとおり、粘性係数υが小さいほど、速度ｕへの感度が高くなる。粘性係数υが最適化されない場合、台風の渦の速度場が予測の間も残ってしまい、降水パターンは不自然に収縮してしまい、並進運動がなくなる。
【００４２】
以上のように、本実施の形態では、偏微分方程式における物理パラメータを最適化計算により決定することで、不自然な画像のぼやけを抑制することができる。また、本実施の形態では、統計的な乱流エネルギーモデルを導入することで、物理的な性質を保持することができる。また、本実施の形態では、２枚の時系列画像からでも連続的に複数の新しい予測画像を生成することができる。
【００４３】
本実施の形態で説明した画像生成装置は、例えばＣＰＵ、記憶装置およびインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータを動作させるための画像生成プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供される。ＣＰＵは、読み込んだ画像生成プログラムを記憶装置に書き込み、このプログラムに従って本実施の形態で説明した処理を実行する。
【産業上の利用可能性】
【００４４】
本発明は、マルチメディア分野、符号化分野、通信分野における画像生成技術に適用することができる。
【符号の説明】
【００４５】
１００…データ入力部、１１０…データ蓄積部、１２０…初期エネルギー計算部、１３０…予測部、１４０…最適化計算部、１５０…表示部。
【特許請求の範囲】
【請求項１】
複数の連続した時系列画像を取り込むデータ入力手段と、
前記時系列画像を蓄積するデータ蓄積手段と、
前記時系列画像の持つ初期エネルギーを計算する初期エネルギー計算手段と、
前記時系列画像から、移流拡散方程式とナビエ・ストークス方程式により前記時系列画像よりも未来の予測画像を生成する予測手段と、
前記時系列画像の初期エネルギーと前記予測手段が生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように前記予測画像を補正する最適化計算手段とを備えることを特徴とする画像生成装置。
【請求項２】
請求項１記載の画像生成装置において、
前記初期エネルギー計算手段と前記最適化計算手段とは、画像の動きベクトルから波数エネルギーと運動エネルギーと発散・渦エネルギーを計算し、画像の輝度分布からエッジエネルギーを計算し、前記波数エネルギーと前記運動エネルギーと前記発散・渦エネルギーと前記エッジエネルギーの平均エネルギーを当該画像の持つエネルギーとすることを特徴とする画像生成装置。
【請求項３】
請求項２記載の画像生成装置において、
前記初期エネルギー計算手段と前記最適化計算手段とは、前記波数エネルギーを計算する際に、連続的な波数とエネルギーとの関係をガンマ分布により近似することにより、前記波数エネルギーを計算することを特徴とする画像生成装置。
【請求項４】
請求項２または３記載の画像生成装置において、
前記最適化計算手段は、前記誤差が最小になるまで前記移流拡散方程式の拡散係数と前記ナビエ・ストークス方程式の粘性係数および密度を変化させることにより、前記予測画像を補正することを特徴とする画像生成装置。
【請求項５】
複数の連続した時系列画像を取り込むデータ入力ステップと、
前記時系列画像を蓄積するデータ蓄積ステップと、
前記時系列画像の持つ初期エネルギーを計算する初期エネルギー計算ステップと、
前記時系列画像から、移流拡散方程式とナビエ・ストークス方程式により前記時系列画像よりも未来の予測画像を生成する予測ステップと、
前記時系列画像の初期エネルギーと前記予測ステップで生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように前記予測画像を補正する最適化計算ステップとを備えることを特徴とする画像生成方法。
【請求項６】
請求項５記載の画像生成方法において、
前記初期エネルギー計算ステップと前記最適化計算ステップとは、画像の動きベクトルから波数エネルギーと運動エネルギーと発散・渦エネルギーを計算し、画像の輝度分布からエッジエネルギーを計算し、前記波数エネルギーと前記運動エネルギーと前記発散・渦エネルギーと前記エッジエネルギーの平均エネルギーを当該画像の持つエネルギーとすることを特徴とする画像生成方法。
【請求項７】
請求項６記載の画像生成方法において、
前記初期エネルギー計算ステップと前記最適化計算ステップとは、前記波数エネルギーを計算する際に、連続的な波数とエネルギーとの関係をガンマ分布により近似することにより、前記波数エネルギーを計算することを特徴とする画像生成方法。
【請求項８】
請求項６または７記載の画像生成方法において、
前記最適化計算ステップは、前記誤差が最小になるまで前記移流拡散方程式の拡散係数と前記ナビエ・ストークス方程式の粘性係数および密度を変化させることにより、前記予測画像を補正することを特徴とする画像生成方法。
【請求項９】
請求項５乃至８のいずれか１項に記載の各ステップをコンピュータに実行させることを特徴とする画像生成プログラム。
【請求項１】
複数の連続した時系列画像を取り込むデータ入力手段と、
前記時系列画像を蓄積するデータ蓄積手段と、
前記時系列画像の持つ初期エネルギーを計算する初期エネルギー計算手段と、
前記時系列画像から、移流拡散方程式とナビエ・ストークス方程式により前記時系列画像よりも未来の予測画像を生成する予測手段と、
前記時系列画像の初期エネルギーと前記予測手段が生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように前記予測画像を補正する最適化計算手段とを備えることを特徴とする画像生成装置。
【請求項２】
請求項１記載の画像生成装置において、
前記初期エネルギー計算手段と前記最適化計算手段とは、画像の動きベクトルから波数エネルギーと運動エネルギーと発散・渦エネルギーを計算し、画像の輝度分布からエッジエネルギーを計算し、前記波数エネルギーと前記運動エネルギーと前記発散・渦エネルギーと前記エッジエネルギーの平均エネルギーを当該画像の持つエネルギーとすることを特徴とする画像生成装置。
【請求項３】
請求項２記載の画像生成装置において、
前記初期エネルギー計算手段と前記最適化計算手段とは、前記波数エネルギーを計算する際に、連続的な波数とエネルギーとの関係をガンマ分布により近似することにより、前記波数エネルギーを計算することを特徴とする画像生成装置。
【請求項４】
請求項２または３記載の画像生成装置において、
前記最適化計算手段は、前記誤差が最小になるまで前記移流拡散方程式の拡散係数と前記ナビエ・ストークス方程式の粘性係数および密度を変化させることにより、前記予測画像を補正することを特徴とする画像生成装置。
【請求項５】
複数の連続した時系列画像を取り込むデータ入力ステップと、
前記時系列画像を蓄積するデータ蓄積ステップと、
前記時系列画像の持つ初期エネルギーを計算する初期エネルギー計算ステップと、
前記時系列画像から、移流拡散方程式とナビエ・ストークス方程式により前記時系列画像よりも未来の予測画像を生成する予測ステップと、
前記時系列画像の初期エネルギーと前記予測ステップで生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように前記予測画像を補正する最適化計算ステップとを備えることを特徴とする画像生成方法。
【請求項６】
請求項５記載の画像生成方法において、
前記初期エネルギー計算ステップと前記最適化計算ステップとは、画像の動きベクトルから波数エネルギーと運動エネルギーと発散・渦エネルギーを計算し、画像の輝度分布からエッジエネルギーを計算し、前記波数エネルギーと前記運動エネルギーと前記発散・渦エネルギーと前記エッジエネルギーの平均エネルギーを当該画像の持つエネルギーとすることを特徴とする画像生成方法。
【請求項７】
請求項６記載の画像生成方法において、
前記初期エネルギー計算ステップと前記最適化計算ステップとは、前記波数エネルギーを計算する際に、連続的な波数とエネルギーとの関係をガンマ分布により近似することにより、前記波数エネルギーを計算することを特徴とする画像生成方法。
【請求項８】
請求項６または７記載の画像生成方法において、
前記最適化計算ステップは、前記誤差が最小になるまで前記移流拡散方程式の拡散係数と前記ナビエ・ストークス方程式の粘性係数および密度を変化させることにより、前記予測画像を補正することを特徴とする画像生成方法。
【請求項９】
請求項５乃至８のいずれか１項に記載の各ステップをコンピュータに実行させることを特徴とする画像生成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図９】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図９】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２２１３３９（Ｐ２０１２−２２１３３９Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８８０４０（Ｐ２０１１−８８０４０）
【出願日】平成２３年４月１２日（２０１１．４．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１２日（２０１１．４．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]