画像生成装置、画像生成方法及び画像生成プログラム
【課題】２枚の時系列画像から物理的な性質を保持しながら不自然な画像のボヤケを抑制した画像を生成することを課題とする。
【解決手段】予測計算部１４により、拡散係数を変数に有する移流拡散方程式と、密度及び粘性係数を変数に有するナビエ・ストークス方程式とを用いる。また、最適化計算部１５により、次時刻の輝度値及び速度ベクトルから次時刻の画像が有するエネルギーを計算し、このエネルギーと初期のエネルギーとの最小になるまで拡散係数と密度と粘性係数とを可変しながら次時刻の画像を最適化する。さらに、最適化計算部１５により、波数と波数エネルギーとの関係がガンマ分布に近似するよう次時刻の画像を更に最適化する。
【解決手段】予測計算部１４により、拡散係数を変数に有する移流拡散方程式と、密度及び粘性係数を変数に有するナビエ・ストークス方程式とを用いる。また、最適化計算部１５により、次時刻の輝度値及び速度ベクトルから次時刻の画像が有するエネルギーを計算し、このエネルギーと初期のエネルギーとの最小になるまで拡散係数と密度と粘性係数とを可変しながら次時刻の画像を最適化する。さらに、最適化計算部１５により、波数と波数エネルギーとの関係がガンマ分布に近似するよう次時刻の画像を更に最適化する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２枚の連続した時系列画像から将来の画像を生成する技術に関する。
【背景技術】
【０００２】
現在、予め撮影された複数の時系列画像を用いて将来画像を生成する方法が存在し、過去の時系列画像に基づいて動きを周期的に表現する方法と、非周期的に表現する方法との２つに大別することができる。前者の方法は、時系列画像から撮影対象物（雲、風、雨など）の動きを学習し、得られた動きに基づいて周期的に将来画像を随時生成していく方法である。
【０００３】
しかしながら、前者の方法で生成された画像は動きが単調であって将来の実画像とは大きく異なるため、後者の方法が用いられる場合が多い。この後者の方法は、将来画像の生成過程中に使用されるシステムモデルのパラメータを人為的に適宜調整して将来画像を生成していく方法であり、例えば、コンピュータビジョン分野において、状態空間法と三次元自己回帰モデルを適用した学習型の方法が知られている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】S.Soatto、外２名、“Dynamic textures”、IEEE ICCV、2001年、p.439-446
【非特許文献２】“Optical flow”、[online]、WIKIPEDIA、[平成21年6月23日検索]、インターネット<http://en.wikipedia.org/wiki/Optic_flow>
【非特許文献３】“非圧縮性粘性流の解析”、[online]、[平成21年6月23日検索]、インターネット<http://w3cic.riken.go.jp/HPC/cfd_note/LecNote2.pdf>
【非特許文献４】[online]、[平成21年6月23日検索]、インターネット<http://www.applet-magic.com/kolmo.htm>
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、いずれの方法であっても生成される将来画像の単調な周期性を回避することは難しく、画像を繰り返し生成していくに従って画像のボヤケが顕著に表れるという問題があった。また、パラメータを適切に調整することへの困難性や、多くの時系列画像を必要とするという問題もあった。
【０００６】
本発明は、上記課題を鑑みてなされたものであり、２枚の時系列画像から物理的な性質を保持しながら不自然な画像のボヤケを抑制した画像を生成することを課題とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の本発明は、２枚の連続した時系列画像を記憶手段から読み出して、各画素の輝度値を用いて速度ベクトルを計算し、当該速度ベクトルから前記時系列画像が有する初期のエネルギーを計算する初期エネルギー計算手段と、拡散係数を変数に有する移流拡散方程式に前記輝度値及び前記速度ベクトルを用いて次時刻の輝度値を計算し、密度及び粘性係数を変数に有するナビエ・ストークス方程式に前記速度ベクトルを用いて前記次時刻の速度ベクトルを計算して、前記次時刻の画像を予測する予測手段と、前記次時刻の輝度値及び速度ベクトルから当該次時刻の画像が有するエネルギーを計算し、当該エネルギーと前記初期のエネルギーとの差分絶対値が所定の閾値以下になるまで前記拡散係数と前記密度と前記粘性係数とを可変しながら前記次時刻の画像を最適化する最適化手段と、を有することを特徴とする。
【０００８】
請求項２に記載の本発明は、前記エネルギーが、輝度値及び速度ベクトルを用いて波数ベクトルを計算し、波数ベクトルから波数に関するエネルギーを計算すると共に、速度ベクトルから運動量及び発散度・渦度に関するエネルギーを計算し、更に輝度値から画像のエッジに関するエネルギーを計算して、計算された全てのエネルギーの和を全画素数で割った値であることを特徴とする。
【０００９】
請求項３に記載の本発明は、前記最適化手段が、前記次時刻の速度ベクトルを用いて波数を計算すると共に、当該波数から波数エネルギーを計算し、当該波数と当該波数エネルギーとの関係がガンマ分布に近似するよう前記次時刻の画像を更に最適化することを特徴とする。
【００１０】
請求項４に記載の本発明は、２枚の連続した時系列画像を記憶手段から読み出して、各画素の輝度値を用いて速度ベクトルを計算し、当該速度ベクトルから前記時系列画像が有する初期のエネルギーを計算する第１ステップと、拡散係数を変数に有する移流拡散方程式に前記輝度値及び前記速度ベクトルを用いて次時刻の輝度値を計算し、密度及び粘性係数を変数に有するナビエ・ストークス方程式に前記速度ベクトルを用いて前記次時刻の速度ベクトルを計算して、前記次時刻の画像を予測する第２ステップと、前記次時刻の輝度値及び速度ベクトルから当該次時刻の画像が有するエネルギーを計算し、当該エネルギーと前記初期のエネルギーとの差分絶対値が所定の閾値以下になるまで前記拡散係数と前記密度と前記粘性係数とを可変しながら前記次時刻の画像を最適化する第３ステップと、を有することを特徴とする。
【００１１】
請求項５に記載の本発明は、前記エネルギーが、輝度値及び速度ベクトルを用いて波数ベクトルを計算し、波数ベクトルから波数に関するエネルギーを計算すると共に、速度ベクトルから運動量及び発散度・渦度に関するエネルギーを計算し、更に輝度値から画像のエッジに関するエネルギーを計算して、計算された全てのエネルギーの和を全画素数で割った値であることを特徴とする。
【００１２】
請求項６に記載の本発明は、前記第３ステップが、前記次時刻の速度ベクトルを用いて波数を計算すると共に、当該波数から波数エネルギーを計算し、当該波数と当該波数エネルギーとの関係がガンマ分布に近似するよう前記次時刻の画像を更に最適化することを特徴とする。
【００１３】
請求項７に記載の本発明は、請求項４乃至６のいずれか１つに記載した第１ステップから第３ステップをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、２枚の時系列画像から物理的な性質を保持しながら不自然な画像のボヤケを抑制した画像を生成することができる。
【図面の簡単な説明】
【００１５】
【図１】画像生成装置の機能ブロック構成を示す図である。
【図２】画像処理装置の処理を説明する図である。
【図３】乱流エネルギーモデルの適用例を示す図である。
【図４】本手法で生成された画像と従来法で生成された画像との比較を示す図である。
【図５】気象レーダ画像を用いた予測した画像を示す図である。
【図６】粘性係数と渦度の関係を示す図である。
【発明を実施するための形態】
【００１６】
図１は、一実施の形態の係る画像生成装置の機能ブロック構成を示す図である。この画像生成装置は、２枚の連続した時系列画像から１枚以上の新しい画像を予測・生成する装置である。過去から現在までの少なくとも２枚の時系列画像に基づいて、その時系列画像の持つ物理特性に関するエネルギー（後述する、波数エネルギー、運動エネルギー、発散・渦エネルギー）と、時系列画像のみかけのテクスチャ性に関するエネルギー（後述する、エッジエネルギー）が保存されるように、最適化しながら将来の画像を生成するものである。
【００１７】
概略的には、その２枚の連続した時系列画像から上記エネルギーの総和を初期エネルギーとして計算し、移流拡散方程式及びナビエ・ストークス方程式を用いて将来の画像を予測すると共に、その将来の画像が有するエネルギーについても同様に計算する。そして、該エネルギーが保存されるように、すなわち、それら２つのエネルギーの差分が最小となるように、移流拡散方程式の拡散係数や、ナビエ・ストークス方程式の密度及び粘性係数を可変させながら将来の画像を最適化していくものである。これにより、画質の崩れが抑制された将来の画像を生成することが可能となる。
【００１８】
この画像生成装置１は、画像入力部１１と、画像記憶部１２と、初期エネルギー計算部１３と、予測計算部１４と、最適化計算部１５と、画像表示部１６とを備えている。この画像生成装置１は、ＣＰＵ等の演算処理装置やメモリ等の記憶装置を備えたコンピュータにより構成可能なものであり、各部の処理はプログラムによって実行される。このプログラムは記憶装置に記憶されており、記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部での機能及び処理について詳細に説明する。
【００１９】
画像入力部１１は、カメラにより撮影された複数の時系列画像を入力する機能を有する。画像記憶部１２は、画像入力部１１で入力された複数の時系列画像を読み出し可能に記憶する機能を有する。
【００２０】
初期エネルギー計算部１３は、画像記憶部１２から２枚の連続した時系列画像を読み出して、各画素の輝度値を用いて速度ベクトルを画素毎に計算すると共に、計算された速度ベクトル及び輝度値を用いて波数ベクトルを画素毎に計算し、予め定義付けされた複数のエネルギー関数にこれら速度ベクトル及び波数ベクトルを代入して、その２枚の時系列画像が有する初期エネルギーを計算する機能を有する。
【００２１】
予測計算部１４は、上記２枚の連続した時系列画像の輝度値と、初期エネルギー計算部１３で計算された速度ベクトルとを、拡散係数ηを変数に有する移流拡散方程式に代入して次時刻（ｎ＋１）の輝度値を計算し、更に、その速度ベクトルを、密度ρ及び粘性係数ｖを変数に有するナビエ・ストークス方程式に代入して次時刻（ｎ＋１）の速度ベクトルを計算して、次時刻（ｎ＋１）の画像を予測する機能を有する。また、同様の計算を繰り返すことにより、上記２枚の連続した時系列画像から、複数の時系列（ｎ＋１、ｎ＋２、…、ｎ＋ｐ）な画像を予測する機能を有する。
【００２２】
最適化計算部１５は、予測計算部１４で計算された次時刻（ｎ＋１）の輝度値及び速度ベクトルから、次時刻（ｎ＋１）の画像が有するエネルギーを計算し、このエネルギーと初期エネルギー計算部１３により計算された初期エネルギーとの差分が最小になるまで拡散係数ηと密度ρと粘性係数ｖとを可変しながら、予測計算部１４で予測された次時刻（ｎ＋１）の画像を最適化する機能を有する。また、次時刻（ｎ＋１）の速度ベクトルを用いて波数を計算すると共に、この波数から波数エネルギーを計算し、波数と波数エネルギーとの関係がガンマ分布に近似するよう、最適化後の次時刻（ｎ＋１）の画像を更に最適化する機能を有する。さらに、このような２段階の最適化処理を、予測計算部１４で予測された全ての時系列（ｎ＋１、ｎ＋２、…、ｎ＋ｐ）な画像に対してそれぞれ行う機能を有する。
【００２３】
画像表示部１６は、最適化された各画像を時系列順に表示する機能を有する。
【００２４】
次に、この画像生成装置１の処理について具体的に説明する。図２は、画像処理装置の処理を説明する図である。最初に、第一段階では、初期エネルギー計算部１３が、２枚の時系列画像の持つ物理特性に関するエネルギーとして、波数エネルギーを式（１）とし、運動エネルギーを式（２）とし、発散・渦エネルギーを式（３）として定義しておくと共に、テクスチャ性に関するエネルギーとして、画像のエッジエネルギーを式（４）として定義しておく（Ｓ１０１）。
【００２５】
【数１】
なお、ｋｉ，ｊとｕｉ，ｊは、それぞれ、画素（ｉ，ｊ）における波数ベクトルと速度ベクトルである。また、ｄｉｖ ｕｉ，ｊとｃｕｒｌ ｕｉ，ｊは、それぞれ、画素（ｉ，ｊ）における発散度と渦度である。さらに、Ｉｉ，ｊは、画素（ｉ，ｊ）における輝度値である。
【００２６】
次に、初期エネルギー計算部１３は、時刻（ｎ−１）と時刻（ｎ）の２枚の連続した時系列画像を画像記憶部１２から取得し、各時系列画像における各画素（ｉ、ｊ）の各輝度値Ｉｉ，ｊｎ−１，Ｉｉ，ｊｎを用いて、オプティカルフロー法やパターンマッチング法等により、各画素（ｉ、ｊ）の速度ベクトルｕｉ，ｊを計算する（Ｓ１０２）。なお、オプティカルフロー法やパターンマッチング法は、２枚の画像から速度ベクトルを計算する既存の技術であり、例えば非特許文献２に具体的計算方法が記載されている。
【００２７】
また、初期エネルギー計算部１３は、計算された速度ベクトルｕｉ，ｊと、各輝度値Ｉｉ，ｊｎ−１，Ｉｉ，ｊｎとを用いて、後述する波生成方程式の数理モデルにより、各画素（ｉ、ｊ）の波数ベクトルｋｉ，ｊを計算する（Ｓ１０３）。
【００２８】
その後、初期エネルギー計算部１３は、Ｓ１０３で計算された波数ベクトルｋｉ，ｊｎを式（１）に代入することにより波数エネルギーを計算し、Ｓ１０２で計算された速度ベクトルｕｉ，ｊを式（２）及び式（３）に代入することにより運動エネルギー及び発散・渦エネルギーを計算し、輝度値Ｉｉ，ｊを用いて式（４）から画像のエッジエネルギーを計算する（Ｓ１０４）。なお、画像のエッジとは、画像輝度分布の一次微分の大きさである。
【００２９】
最後に、初期エネルギー計算部１３は、式（５）を用いて、式（１）〜式（４）で計算された全てのエネルギーの和を計算し、１枚の画像の全画素数Ω（Ｍ×Ｎ画素）で割った値を、初期エネルギーとして求める（Ｓ１０５）。
【００３０】
【数２】
なお、ここでは、重み付け係数の和Σαを１としている。また、ここでは、２枚の時系列画像から初期エネルギーを計算しているが、１枚の画像であっても、他方の画像に相当する輝度値や速度ベクトルを人為的に設定することにより、初期エネルギーを計算することも可能である。
【００３１】
続いて、第二段階では、予測計算部１４が、時系列画像の輝度値Ｉｉ，ｊｎと、Ｓ１０２で計算した速度ベクトルｕｉ，ｊｎとを、式（６）に示す移流拡散方程式に代入して次時刻（ｎ＋１）の輝度値を計算すると共に、その速度ベクトルｕｉ，ｊｎを、式（７）に示すナビエ・ストークス方程式に代入して次時刻（ｎ＋１）の速度ベクトルを計算することを交互に時間発展させ、複数の時系列（ｎ＋１、ｎ＋２、…、ｎ＋ｐ）な画像を予測する（Ｓ１０６）。
【００３２】
【数３】
なお、η、ρ、ｖは、それぞれ、拡散係数、密度、粘性係数である。ここでは、式（６）及び式（７）の計算時に流体モデルを仮定し、非圧縮条件として式（８）を課すものとする。なお、式（６）については、画像の輝度値Ｉについて時間発展させながら計算し、式（７）については、ＭＡＣ法（Marker and Cell法）により非線形に計算することが可能である。なお、ナビエ・ストークス方程式の非線形な解析法は既存の技術であり、例えば非特許文献３に具体的計算方法が記載されている。
【００３３】
また、それら画像を予測する際に、最適化計算部１５は、Ｓ１０６で予測された時間ステップｐの画像の輝度値及び速度ベクトルから波数ベクトルを求め、式（１）を用いて波数エネルギーを計算し、式（９）を用いて、初期エネルギー計算部１３により計算された初期の波数エネルギーと、最適化計算部１５により計算された時間ステップｐの波数エネルギーとの差分（誤差）が最小（所定の閾値以下）になるまで、拡散係数ηと密度ρと粘性係数ｖとのパラメータを可変しながら上記時間ステップｐの画像を最適化する（Ｓ１０７）。
【００３４】
【数４】
なお、式（９）の計算は、｜Ｅ（ｎ）−Ｅ（ｎ＋１）｜，…，｜Ｅ（ｎ）−Ｅ（ｎ＋６）｜，｜Ｅ（ｎ）−Ｅ（ｎ＋Ｎ）｜のように、常に初期時刻ｎと比較しながら計算するものとする。また、拡散係数ηと密度ρと粘性係数ｖについては、それぞれ、例えば、０．０≦η≦５００．０、０．１≦ρ≦１０．０、１０．０≦ｖ≦５０．０のように予め範囲内を指定しておくことにより、計算時間を短縮することができる。
【００３５】
さらに、それら画像を予測する際に、最適化計算部１５は、乱流エネルギーモデルとして流体力学分野で知られているコルモゴロフエネルギーの特性（非特許文献４参照）を利用して、更に上記時間ステップｐの画像を最適化する（Ｓ１０８）。具体的には、Ｓ１０２で計算された速度ベクトルｕｉ，ｊｎについて高速フーリエ変換（ＦＦＴ）の周波数変換を行うことにより、初期の波数エネルギーＥ（ｋｎ）を取得する。同様に、Ｓ１０６で計算された速度ベクトルｕｉ，ｊｎ＋ｐから時間ステップｐの波数エネルギーＥ（ｋｎ＋ｐ）を取得する。ここで、波数ｋを横軸とし、縦軸を波数エネルギーとすると、図３（ａ）に示すように、低周波数側にピークを持つコルモゴロフエネルギーの特性に近似することになる。
【００３６】
このとき、画像から計算される波数分布は、図３（ｂ）に示すように散在することになる。以降、式（９）を用いた計算は、波数の値が連続でなければゼロの値を用いた誤差計算となる。ゆえに、何らか補間された値が必要となる。そのため、図３に示すようなエネルギー分布について、連続的な波数とエネルギーの関係を得るため、式（１０）を用いて、波数ｋと波数エネルギーＥ（ｋｎ＋ｐ）との関係がガンマ分布に近似するように更に最適化する。これにより、将来の画像の予測過程における式（９）の誤差の計算速度を速くすることができる。
【００３７】
【数５】
なお、ｋ、ｓｈ、θは、それぞれ、波数、形状、スケールである。
【００３８】
また、式（９）で計算される初期と予測過程の誤差エネルギーεに基づいて、補正されるべき速度を推定することができる。拡散係数ηと密度ρと粘性係数ｖのパラメータの組み合わせによっては、初期エネルギーよりも予測過程中でエネルギーが増加若しくは減少する可能性があるため、速度の増減を考慮しておくことも必要である。具体的には、式（１１）に示すように、誤差エネルギーεを逆変換することで速度に変換することができる。
【００３９】
【数６】
なお、ｓｇｎ関数は符号に関するものであり、ｓｇｎ（ε）＝＋１，０，−１は、それぞれ、ε＞０，ε＝０，ε＜０である。
【００４０】
図４は、本実施の形態（本手法）で生成された画像と従来の三次元自己回帰モデル（従来法）で生成された画像との比較を示す図である。本手法では２枚の連続した水面画像を用い、従来法では１０枚の画像を用いて生成した結果である。従来法では画像にボヤケが生じているが、本手法によれば、実画像と同様の光沢、透明感、波状を得ることができ、両者の画質の差は明らかである。また、実画像に対する本手法の誤差（１３．０）は従来法の誤差（３０．０）よりも小さいため、より自然な画像を生成することが可能である。
【００４１】
なお、参考までに、台風が撮影された気象画像を用いて生成された将来の画像を図５に示す。粘性係数ｖのみを変化させ、速度場は、渦度により評価している。また、粘性係数ｖと渦度の関係は、図６に示すように、粘性係数ｖが小さいほど、速度への感度が高いものとなっている。すなわち、粘性係数ｖが最適化されない場合には、台風の渦の速度場が予測中も残ってしまい、降水パターンは不自然に収縮し、並進運動が失われることになる。ゆえに、粘性係数ｖは、画像を予測する上で非常に重要なパラメータとなっている。
【００４２】
最後に、初期エネルギー計算部１３で波数ベクトルを計算する際に用いた波生成方程式の数理モデルについて説明する。波の重ね合わせの理論によれば、時刻ｔにおける画像中の画素（ｘ，ｙ）の波の高さＨ（ｘ，ｙ，ｔ）は、式（１２）に示すように、余弦関数の線形和で近似表現することができる。
【００４３】
【数７】
但し、ａｍ、ｆｍ、θｍは、それぞれ、第ｍ番目の振幅、周波数、波向である。また、（ｋｍｘ，ｋｍｙ）は、波数の二次元成分（波数ベクトル）を表している。
【００４４】
一方、時刻ｔにおける輝度値Ｉについては、式（１３）で表現することができる。
【００４５】
【数８】
∇、ｗ、Ｉは、それぞれ、空間一次微分演算子、速度ベクトル（ｗ＝（ｕ，ｖ））、輝度値である。また、Ｉｔは、一次の時間微分である。Ｉｘ、Ｉｙは、それぞれ、ｘ方向、ｙ方向の空間一次微分であり、有限差分法により中心差分で近似している。添え字（ｉ，ｊ）は、画像上の画素の位置に対応した整数を表している。さらに、Δｘ、Δｙは、それぞれ、ｘ方向、ｙ方向の格子幅である。また、ｎ（＝０，１，２，…）は離散時間であり、Δｔは時間幅である。
【００４６】
式（１３）において、右辺がゼロの場合には、画像フレーム間の輝度が変化しない条件を表し、ゼロでない場合には、輝度が物理現象に従って変化するモデルを表している。ここで、式（１３）で示した画像の輝度値が、波という物理現象に基づいて変化するものとすると、式（１２）と式（１３）との関係を式（１４）で表現することができる。
【００４７】
【数９】
式（１４）に対してローレンツロバスト関数ρを適用し、２枚の連続した時系列画像を用いて二次元領域Ω∈Ｒ２で計算すると、式（１５）のように展開することができる。
【００４８】
【数１０】
式（１５）の最小化問題を解くため、少ない反復回数で収束する共役勾配法（Conjugate Gradient法）を用いることができる。この解法で必要とされる各未知数に対する一次微分については数値微分により与えるものとする。なお、λ１、λ２は、拘束条件の寄与度に関するパラメータである。上記式（１５）を用いて計算することにより、２枚の時系列画像から波関連の諸物理量である波数ベクトルを計算することができる。
【００４９】
最後に、本実施の形態で説明した画像生成装置は、マルチメディア分野、符号化分野、通信分野において、気象レーダ画像予測や映像製作における短い時系列画像から長い時系列画像を生成する用途、符号化における画像の欠落時の画像補間問題等に関連する産業分野に幅広く適用することができる。
【００５０】
本実施の形態によれば、予測計算部１４により、拡散係数を変数に有する移流拡散方程式と、密度及び粘性係数を変数に有するナビエ・ストークス方程式とを用いるので、２枚の画像からでも連続的に複数の新しい画像を生成することができる。
【００５１】
本実施の形態によれば、最適化計算部１５により、次時刻の輝度値及び速度ベクトルから次時刻の画像が有するエネルギーを計算し、このエネルギーと初期のエネルギーとの最小になるまで拡散係数と密度と粘性係数とを可変しながら次時刻の画像を最適化するので、不自然な画像のボヤケを抑制することができる。
【００５２】
本実施の形態によれば、最適化計算部１５により、波数と波数エネルギーとの関係がガンマ分布に近似するよう次時刻の画像を更に最適化するので、物理的な性質を保持することができる。
【符号の説明】
【００５３】
１…画像生成装置
１１…画像入力部
１２…画像記憶部
１３…初期エネルギー計算部（初期エネルギー計算手段）
１４…予測計算部（予測手段）
１５…最適化計算部（最適化手段）
１６…画像表示部
Ｓ１０１〜Ｓ１０８…ステップ
【技術分野】
【０００１】
本発明は、２枚の連続した時系列画像から将来の画像を生成する技術に関する。
【背景技術】
【０００２】
現在、予め撮影された複数の時系列画像を用いて将来画像を生成する方法が存在し、過去の時系列画像に基づいて動きを周期的に表現する方法と、非周期的に表現する方法との２つに大別することができる。前者の方法は、時系列画像から撮影対象物（雲、風、雨など）の動きを学習し、得られた動きに基づいて周期的に将来画像を随時生成していく方法である。
【０００３】
しかしながら、前者の方法で生成された画像は動きが単調であって将来の実画像とは大きく異なるため、後者の方法が用いられる場合が多い。この後者の方法は、将来画像の生成過程中に使用されるシステムモデルのパラメータを人為的に適宜調整して将来画像を生成していく方法であり、例えば、コンピュータビジョン分野において、状態空間法と三次元自己回帰モデルを適用した学習型の方法が知られている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】S.Soatto、外２名、“Dynamic textures”、IEEE ICCV、2001年、p.439-446
【非特許文献２】“Optical flow”、[online]、WIKIPEDIA、[平成21年6月23日検索]、インターネット<http://en.wikipedia.org/wiki/Optic_flow>
【非特許文献３】“非圧縮性粘性流の解析”、[online]、[平成21年6月23日検索]、インターネット<http://w3cic.riken.go.jp/HPC/cfd_note/LecNote2.pdf>
【非特許文献４】[online]、[平成21年6月23日検索]、インターネット<http://www.applet-magic.com/kolmo.htm>
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、いずれの方法であっても生成される将来画像の単調な周期性を回避することは難しく、画像を繰り返し生成していくに従って画像のボヤケが顕著に表れるという問題があった。また、パラメータを適切に調整することへの困難性や、多くの時系列画像を必要とするという問題もあった。
【０００６】
本発明は、上記課題を鑑みてなされたものであり、２枚の時系列画像から物理的な性質を保持しながら不自然な画像のボヤケを抑制した画像を生成することを課題とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の本発明は、２枚の連続した時系列画像を記憶手段から読み出して、各画素の輝度値を用いて速度ベクトルを計算し、当該速度ベクトルから前記時系列画像が有する初期のエネルギーを計算する初期エネルギー計算手段と、拡散係数を変数に有する移流拡散方程式に前記輝度値及び前記速度ベクトルを用いて次時刻の輝度値を計算し、密度及び粘性係数を変数に有するナビエ・ストークス方程式に前記速度ベクトルを用いて前記次時刻の速度ベクトルを計算して、前記次時刻の画像を予測する予測手段と、前記次時刻の輝度値及び速度ベクトルから当該次時刻の画像が有するエネルギーを計算し、当該エネルギーと前記初期のエネルギーとの差分絶対値が所定の閾値以下になるまで前記拡散係数と前記密度と前記粘性係数とを可変しながら前記次時刻の画像を最適化する最適化手段と、を有することを特徴とする。
【０００８】
請求項２に記載の本発明は、前記エネルギーが、輝度値及び速度ベクトルを用いて波数ベクトルを計算し、波数ベクトルから波数に関するエネルギーを計算すると共に、速度ベクトルから運動量及び発散度・渦度に関するエネルギーを計算し、更に輝度値から画像のエッジに関するエネルギーを計算して、計算された全てのエネルギーの和を全画素数で割った値であることを特徴とする。
【０００９】
請求項３に記載の本発明は、前記最適化手段が、前記次時刻の速度ベクトルを用いて波数を計算すると共に、当該波数から波数エネルギーを計算し、当該波数と当該波数エネルギーとの関係がガンマ分布に近似するよう前記次時刻の画像を更に最適化することを特徴とする。
【００１０】
請求項４に記載の本発明は、２枚の連続した時系列画像を記憶手段から読み出して、各画素の輝度値を用いて速度ベクトルを計算し、当該速度ベクトルから前記時系列画像が有する初期のエネルギーを計算する第１ステップと、拡散係数を変数に有する移流拡散方程式に前記輝度値及び前記速度ベクトルを用いて次時刻の輝度値を計算し、密度及び粘性係数を変数に有するナビエ・ストークス方程式に前記速度ベクトルを用いて前記次時刻の速度ベクトルを計算して、前記次時刻の画像を予測する第２ステップと、前記次時刻の輝度値及び速度ベクトルから当該次時刻の画像が有するエネルギーを計算し、当該エネルギーと前記初期のエネルギーとの差分絶対値が所定の閾値以下になるまで前記拡散係数と前記密度と前記粘性係数とを可変しながら前記次時刻の画像を最適化する第３ステップと、を有することを特徴とする。
【００１１】
請求項５に記載の本発明は、前記エネルギーが、輝度値及び速度ベクトルを用いて波数ベクトルを計算し、波数ベクトルから波数に関するエネルギーを計算すると共に、速度ベクトルから運動量及び発散度・渦度に関するエネルギーを計算し、更に輝度値から画像のエッジに関するエネルギーを計算して、計算された全てのエネルギーの和を全画素数で割った値であることを特徴とする。
【００１２】
請求項６に記載の本発明は、前記第３ステップが、前記次時刻の速度ベクトルを用いて波数を計算すると共に、当該波数から波数エネルギーを計算し、当該波数と当該波数エネルギーとの関係がガンマ分布に近似するよう前記次時刻の画像を更に最適化することを特徴とする。
【００１３】
請求項７に記載の本発明は、請求項４乃至６のいずれか１つに記載した第１ステップから第３ステップをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、２枚の時系列画像から物理的な性質を保持しながら不自然な画像のボヤケを抑制した画像を生成することができる。
【図面の簡単な説明】
【００１５】
【図１】画像生成装置の機能ブロック構成を示す図である。
【図２】画像処理装置の処理を説明する図である。
【図３】乱流エネルギーモデルの適用例を示す図である。
【図４】本手法で生成された画像と従来法で生成された画像との比較を示す図である。
【図５】気象レーダ画像を用いた予測した画像を示す図である。
【図６】粘性係数と渦度の関係を示す図である。
【発明を実施するための形態】
【００１６】
図１は、一実施の形態の係る画像生成装置の機能ブロック構成を示す図である。この画像生成装置は、２枚の連続した時系列画像から１枚以上の新しい画像を予測・生成する装置である。過去から現在までの少なくとも２枚の時系列画像に基づいて、その時系列画像の持つ物理特性に関するエネルギー（後述する、波数エネルギー、運動エネルギー、発散・渦エネルギー）と、時系列画像のみかけのテクスチャ性に関するエネルギー（後述する、エッジエネルギー）が保存されるように、最適化しながら将来の画像を生成するものである。
【００１７】
概略的には、その２枚の連続した時系列画像から上記エネルギーの総和を初期エネルギーとして計算し、移流拡散方程式及びナビエ・ストークス方程式を用いて将来の画像を予測すると共に、その将来の画像が有するエネルギーについても同様に計算する。そして、該エネルギーが保存されるように、すなわち、それら２つのエネルギーの差分が最小となるように、移流拡散方程式の拡散係数や、ナビエ・ストークス方程式の密度及び粘性係数を可変させながら将来の画像を最適化していくものである。これにより、画質の崩れが抑制された将来の画像を生成することが可能となる。
【００１８】
この画像生成装置１は、画像入力部１１と、画像記憶部１２と、初期エネルギー計算部１３と、予測計算部１４と、最適化計算部１５と、画像表示部１６とを備えている。この画像生成装置１は、ＣＰＵ等の演算処理装置やメモリ等の記憶装置を備えたコンピュータにより構成可能なものであり、各部の処理はプログラムによって実行される。このプログラムは記憶装置に記憶されており、記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部での機能及び処理について詳細に説明する。
【００１９】
画像入力部１１は、カメラにより撮影された複数の時系列画像を入力する機能を有する。画像記憶部１２は、画像入力部１１で入力された複数の時系列画像を読み出し可能に記憶する機能を有する。
【００２０】
初期エネルギー計算部１３は、画像記憶部１２から２枚の連続した時系列画像を読み出して、各画素の輝度値を用いて速度ベクトルを画素毎に計算すると共に、計算された速度ベクトル及び輝度値を用いて波数ベクトルを画素毎に計算し、予め定義付けされた複数のエネルギー関数にこれら速度ベクトル及び波数ベクトルを代入して、その２枚の時系列画像が有する初期エネルギーを計算する機能を有する。
【００２１】
予測計算部１４は、上記２枚の連続した時系列画像の輝度値と、初期エネルギー計算部１３で計算された速度ベクトルとを、拡散係数ηを変数に有する移流拡散方程式に代入して次時刻（ｎ＋１）の輝度値を計算し、更に、その速度ベクトルを、密度ρ及び粘性係数ｖを変数に有するナビエ・ストークス方程式に代入して次時刻（ｎ＋１）の速度ベクトルを計算して、次時刻（ｎ＋１）の画像を予測する機能を有する。また、同様の計算を繰り返すことにより、上記２枚の連続した時系列画像から、複数の時系列（ｎ＋１、ｎ＋２、…、ｎ＋ｐ）な画像を予測する機能を有する。
【００２２】
最適化計算部１５は、予測計算部１４で計算された次時刻（ｎ＋１）の輝度値及び速度ベクトルから、次時刻（ｎ＋１）の画像が有するエネルギーを計算し、このエネルギーと初期エネルギー計算部１３により計算された初期エネルギーとの差分が最小になるまで拡散係数ηと密度ρと粘性係数ｖとを可変しながら、予測計算部１４で予測された次時刻（ｎ＋１）の画像を最適化する機能を有する。また、次時刻（ｎ＋１）の速度ベクトルを用いて波数を計算すると共に、この波数から波数エネルギーを計算し、波数と波数エネルギーとの関係がガンマ分布に近似するよう、最適化後の次時刻（ｎ＋１）の画像を更に最適化する機能を有する。さらに、このような２段階の最適化処理を、予測計算部１４で予測された全ての時系列（ｎ＋１、ｎ＋２、…、ｎ＋ｐ）な画像に対してそれぞれ行う機能を有する。
【００２３】
画像表示部１６は、最適化された各画像を時系列順に表示する機能を有する。
【００２４】
次に、この画像生成装置１の処理について具体的に説明する。図２は、画像処理装置の処理を説明する図である。最初に、第一段階では、初期エネルギー計算部１３が、２枚の時系列画像の持つ物理特性に関するエネルギーとして、波数エネルギーを式（１）とし、運動エネルギーを式（２）とし、発散・渦エネルギーを式（３）として定義しておくと共に、テクスチャ性に関するエネルギーとして、画像のエッジエネルギーを式（４）として定義しておく（Ｓ１０１）。
【００２５】
【数１】
なお、ｋｉ，ｊとｕｉ，ｊは、それぞれ、画素（ｉ，ｊ）における波数ベクトルと速度ベクトルである。また、ｄｉｖ ｕｉ，ｊとｃｕｒｌ ｕｉ，ｊは、それぞれ、画素（ｉ，ｊ）における発散度と渦度である。さらに、Ｉｉ，ｊは、画素（ｉ，ｊ）における輝度値である。
【００２６】
次に、初期エネルギー計算部１３は、時刻（ｎ−１）と時刻（ｎ）の２枚の連続した時系列画像を画像記憶部１２から取得し、各時系列画像における各画素（ｉ、ｊ）の各輝度値Ｉｉ，ｊｎ−１，Ｉｉ，ｊｎを用いて、オプティカルフロー法やパターンマッチング法等により、各画素（ｉ、ｊ）の速度ベクトルｕｉ，ｊを計算する（Ｓ１０２）。なお、オプティカルフロー法やパターンマッチング法は、２枚の画像から速度ベクトルを計算する既存の技術であり、例えば非特許文献２に具体的計算方法が記載されている。
【００２７】
また、初期エネルギー計算部１３は、計算された速度ベクトルｕｉ，ｊと、各輝度値Ｉｉ，ｊｎ−１，Ｉｉ，ｊｎとを用いて、後述する波生成方程式の数理モデルにより、各画素（ｉ、ｊ）の波数ベクトルｋｉ，ｊを計算する（Ｓ１０３）。
【００２８】
その後、初期エネルギー計算部１３は、Ｓ１０３で計算された波数ベクトルｋｉ，ｊｎを式（１）に代入することにより波数エネルギーを計算し、Ｓ１０２で計算された速度ベクトルｕｉ，ｊを式（２）及び式（３）に代入することにより運動エネルギー及び発散・渦エネルギーを計算し、輝度値Ｉｉ，ｊを用いて式（４）から画像のエッジエネルギーを計算する（Ｓ１０４）。なお、画像のエッジとは、画像輝度分布の一次微分の大きさである。
【００２９】
最後に、初期エネルギー計算部１３は、式（５）を用いて、式（１）〜式（４）で計算された全てのエネルギーの和を計算し、１枚の画像の全画素数Ω（Ｍ×Ｎ画素）で割った値を、初期エネルギーとして求める（Ｓ１０５）。
【００３０】
【数２】
なお、ここでは、重み付け係数の和Σαを１としている。また、ここでは、２枚の時系列画像から初期エネルギーを計算しているが、１枚の画像であっても、他方の画像に相当する輝度値や速度ベクトルを人為的に設定することにより、初期エネルギーを計算することも可能である。
【００３１】
続いて、第二段階では、予測計算部１４が、時系列画像の輝度値Ｉｉ，ｊｎと、Ｓ１０２で計算した速度ベクトルｕｉ，ｊｎとを、式（６）に示す移流拡散方程式に代入して次時刻（ｎ＋１）の輝度値を計算すると共に、その速度ベクトルｕｉ，ｊｎを、式（７）に示すナビエ・ストークス方程式に代入して次時刻（ｎ＋１）の速度ベクトルを計算することを交互に時間発展させ、複数の時系列（ｎ＋１、ｎ＋２、…、ｎ＋ｐ）な画像を予測する（Ｓ１０６）。
【００３２】
【数３】
なお、η、ρ、ｖは、それぞれ、拡散係数、密度、粘性係数である。ここでは、式（６）及び式（７）の計算時に流体モデルを仮定し、非圧縮条件として式（８）を課すものとする。なお、式（６）については、画像の輝度値Ｉについて時間発展させながら計算し、式（７）については、ＭＡＣ法（Marker and Cell法）により非線形に計算することが可能である。なお、ナビエ・ストークス方程式の非線形な解析法は既存の技術であり、例えば非特許文献３に具体的計算方法が記載されている。
【００３３】
また、それら画像を予測する際に、最適化計算部１５は、Ｓ１０６で予測された時間ステップｐの画像の輝度値及び速度ベクトルから波数ベクトルを求め、式（１）を用いて波数エネルギーを計算し、式（９）を用いて、初期エネルギー計算部１３により計算された初期の波数エネルギーと、最適化計算部１５により計算された時間ステップｐの波数エネルギーとの差分（誤差）が最小（所定の閾値以下）になるまで、拡散係数ηと密度ρと粘性係数ｖとのパラメータを可変しながら上記時間ステップｐの画像を最適化する（Ｓ１０７）。
【００３４】
【数４】
なお、式（９）の計算は、｜Ｅ（ｎ）−Ｅ（ｎ＋１）｜，…，｜Ｅ（ｎ）−Ｅ（ｎ＋６）｜，｜Ｅ（ｎ）−Ｅ（ｎ＋Ｎ）｜のように、常に初期時刻ｎと比較しながら計算するものとする。また、拡散係数ηと密度ρと粘性係数ｖについては、それぞれ、例えば、０．０≦η≦５００．０、０．１≦ρ≦１０．０、１０．０≦ｖ≦５０．０のように予め範囲内を指定しておくことにより、計算時間を短縮することができる。
【００３５】
さらに、それら画像を予測する際に、最適化計算部１５は、乱流エネルギーモデルとして流体力学分野で知られているコルモゴロフエネルギーの特性（非特許文献４参照）を利用して、更に上記時間ステップｐの画像を最適化する（Ｓ１０８）。具体的には、Ｓ１０２で計算された速度ベクトルｕｉ，ｊｎについて高速フーリエ変換（ＦＦＴ）の周波数変換を行うことにより、初期の波数エネルギーＥ（ｋｎ）を取得する。同様に、Ｓ１０６で計算された速度ベクトルｕｉ，ｊｎ＋ｐから時間ステップｐの波数エネルギーＥ（ｋｎ＋ｐ）を取得する。ここで、波数ｋを横軸とし、縦軸を波数エネルギーとすると、図３（ａ）に示すように、低周波数側にピークを持つコルモゴロフエネルギーの特性に近似することになる。
【００３６】
このとき、画像から計算される波数分布は、図３（ｂ）に示すように散在することになる。以降、式（９）を用いた計算は、波数の値が連続でなければゼロの値を用いた誤差計算となる。ゆえに、何らか補間された値が必要となる。そのため、図３に示すようなエネルギー分布について、連続的な波数とエネルギーの関係を得るため、式（１０）を用いて、波数ｋと波数エネルギーＥ（ｋｎ＋ｐ）との関係がガンマ分布に近似するように更に最適化する。これにより、将来の画像の予測過程における式（９）の誤差の計算速度を速くすることができる。
【００３７】
【数５】
なお、ｋ、ｓｈ、θは、それぞれ、波数、形状、スケールである。
【００３８】
また、式（９）で計算される初期と予測過程の誤差エネルギーεに基づいて、補正されるべき速度を推定することができる。拡散係数ηと密度ρと粘性係数ｖのパラメータの組み合わせによっては、初期エネルギーよりも予測過程中でエネルギーが増加若しくは減少する可能性があるため、速度の増減を考慮しておくことも必要である。具体的には、式（１１）に示すように、誤差エネルギーεを逆変換することで速度に変換することができる。
【００３９】
【数６】
なお、ｓｇｎ関数は符号に関するものであり、ｓｇｎ（ε）＝＋１，０，−１は、それぞれ、ε＞０，ε＝０，ε＜０である。
【００４０】
図４は、本実施の形態（本手法）で生成された画像と従来の三次元自己回帰モデル（従来法）で生成された画像との比較を示す図である。本手法では２枚の連続した水面画像を用い、従来法では１０枚の画像を用いて生成した結果である。従来法では画像にボヤケが生じているが、本手法によれば、実画像と同様の光沢、透明感、波状を得ることができ、両者の画質の差は明らかである。また、実画像に対する本手法の誤差（１３．０）は従来法の誤差（３０．０）よりも小さいため、より自然な画像を生成することが可能である。
【００４１】
なお、参考までに、台風が撮影された気象画像を用いて生成された将来の画像を図５に示す。粘性係数ｖのみを変化させ、速度場は、渦度により評価している。また、粘性係数ｖと渦度の関係は、図６に示すように、粘性係数ｖが小さいほど、速度への感度が高いものとなっている。すなわち、粘性係数ｖが最適化されない場合には、台風の渦の速度場が予測中も残ってしまい、降水パターンは不自然に収縮し、並進運動が失われることになる。ゆえに、粘性係数ｖは、画像を予測する上で非常に重要なパラメータとなっている。
【００４２】
最後に、初期エネルギー計算部１３で波数ベクトルを計算する際に用いた波生成方程式の数理モデルについて説明する。波の重ね合わせの理論によれば、時刻ｔにおける画像中の画素（ｘ，ｙ）の波の高さＨ（ｘ，ｙ，ｔ）は、式（１２）に示すように、余弦関数の線形和で近似表現することができる。
【００４３】
【数７】
但し、ａｍ、ｆｍ、θｍは、それぞれ、第ｍ番目の振幅、周波数、波向である。また、（ｋｍｘ，ｋｍｙ）は、波数の二次元成分（波数ベクトル）を表している。
【００４４】
一方、時刻ｔにおける輝度値Ｉについては、式（１３）で表現することができる。
【００４５】
【数８】
∇、ｗ、Ｉは、それぞれ、空間一次微分演算子、速度ベクトル（ｗ＝（ｕ，ｖ））、輝度値である。また、Ｉｔは、一次の時間微分である。Ｉｘ、Ｉｙは、それぞれ、ｘ方向、ｙ方向の空間一次微分であり、有限差分法により中心差分で近似している。添え字（ｉ，ｊ）は、画像上の画素の位置に対応した整数を表している。さらに、Δｘ、Δｙは、それぞれ、ｘ方向、ｙ方向の格子幅である。また、ｎ（＝０，１，２，…）は離散時間であり、Δｔは時間幅である。
【００４６】
式（１３）において、右辺がゼロの場合には、画像フレーム間の輝度が変化しない条件を表し、ゼロでない場合には、輝度が物理現象に従って変化するモデルを表している。ここで、式（１３）で示した画像の輝度値が、波という物理現象に基づいて変化するものとすると、式（１２）と式（１３）との関係を式（１４）で表現することができる。
【００４７】
【数９】
式（１４）に対してローレンツロバスト関数ρを適用し、２枚の連続した時系列画像を用いて二次元領域Ω∈Ｒ２で計算すると、式（１５）のように展開することができる。
【００４８】
【数１０】
式（１５）の最小化問題を解くため、少ない反復回数で収束する共役勾配法（Conjugate Gradient法）を用いることができる。この解法で必要とされる各未知数に対する一次微分については数値微分により与えるものとする。なお、λ１、λ２は、拘束条件の寄与度に関するパラメータである。上記式（１５）を用いて計算することにより、２枚の時系列画像から波関連の諸物理量である波数ベクトルを計算することができる。
【００４９】
最後に、本実施の形態で説明した画像生成装置は、マルチメディア分野、符号化分野、通信分野において、気象レーダ画像予測や映像製作における短い時系列画像から長い時系列画像を生成する用途、符号化における画像の欠落時の画像補間問題等に関連する産業分野に幅広く適用することができる。
【００５０】
本実施の形態によれば、予測計算部１４により、拡散係数を変数に有する移流拡散方程式と、密度及び粘性係数を変数に有するナビエ・ストークス方程式とを用いるので、２枚の画像からでも連続的に複数の新しい画像を生成することができる。
【００５１】
本実施の形態によれば、最適化計算部１５により、次時刻の輝度値及び速度ベクトルから次時刻の画像が有するエネルギーを計算し、このエネルギーと初期のエネルギーとの最小になるまで拡散係数と密度と粘性係数とを可変しながら次時刻の画像を最適化するので、不自然な画像のボヤケを抑制することができる。
【００５２】
本実施の形態によれば、最適化計算部１５により、波数と波数エネルギーとの関係がガンマ分布に近似するよう次時刻の画像を更に最適化するので、物理的な性質を保持することができる。
【符号の説明】
【００５３】
１…画像生成装置
１１…画像入力部
１２…画像記憶部
１３…初期エネルギー計算部（初期エネルギー計算手段）
１４…予測計算部（予測手段）
１５…最適化計算部（最適化手段）
１６…画像表示部
Ｓ１０１〜Ｓ１０８…ステップ
【特許請求の範囲】
【請求項１】
２枚の連続した時系列画像を記憶手段から読み出して、各画素の輝度値を用いて速度ベクトルを計算し、当該速度ベクトルから前記時系列画像が有する初期のエネルギーを計算する初期エネルギー計算手段と、
拡散係数を変数に有する移流拡散方程式に前記輝度値及び前記速度ベクトルを用いて次時刻の輝度値を計算し、密度及び粘性係数を変数に有するナビエ・ストークス方程式に前記速度ベクトルを用いて前記次時刻の速度ベクトルを計算して、前記次時刻の画像を予測する予測手段と、
前記次時刻の輝度値及び速度ベクトルから当該次時刻の画像が有するエネルギーを計算し、当該エネルギーと前記初期のエネルギーとの差分絶対値が所定の閾値以下になるまで前記拡散係数と前記密度と前記粘性係数とを可変しながら前記次時刻の画像を最適化する最適化手段と、
を有することを特徴とする画像生成装置。
【請求項２】
前記エネルギーは、
輝度値及び速度ベクトルを用いて波数ベクトルを計算し、波数ベクトルから波数に関するエネルギーを計算すると共に、速度ベクトルから運動量及び発散度・渦度に関するエネルギーを計算し、更に輝度値から画像のエッジに関するエネルギーを計算して、計算された全てのエネルギーの和を全画素数で割った値であることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記最適化手段は、
前記次時刻の速度ベクトルを用いて波数を計算すると共に、当該波数から波数エネルギーを計算し、当該波数と当該波数エネルギーとの関係がガンマ分布に近似するよう前記次時刻の画像を更に最適化することを特徴とする請求項１又は２に記載の画像生成装置。
【請求項４】
２枚の連続した時系列画像を記憶手段から読み出して、各画素の輝度値を用いて速度ベクトルを計算し、当該速度ベクトルから前記時系列画像が有する初期のエネルギーを計算する第１ステップと、
拡散係数を変数に有する移流拡散方程式に前記輝度値及び前記速度ベクトルを用いて次時刻の輝度値を計算し、密度及び粘性係数を変数に有するナビエ・ストークス方程式に前記速度ベクトルを用いて前記次時刻の速度ベクトルを計算して、前記次時刻の画像を予測する第２ステップと、
前記次時刻の輝度値及び速度ベクトルから当該次時刻の画像が有するエネルギーを計算し、当該エネルギーと前記初期のエネルギーとの差分絶対値が所定の閾値以下になるまで前記拡散係数と前記密度と前記粘性係数とを可変しながら前記次時刻の画像を最適化する第３ステップと、
を有することを特徴とする画像生成方法。
【請求項５】
前記エネルギーは、
輝度値及び速度ベクトルを用いて波数ベクトルを計算し、波数ベクトルから波数に関するエネルギーを計算すると共に、速度ベクトルから運動量及び発散度・渦度に関するエネルギーを計算し、更に輝度値から画像のエッジに関するエネルギーを計算して、計算された全てのエネルギーの和を全画素数で割った値であることを特徴とする請求項４に記載の画像生成方法。
【請求項６】
前記第３ステップは、
前記次時刻の速度ベクトルを用いて波数を計算すると共に、当該波数から波数エネルギーを計算し、当該波数と当該波数エネルギーとの関係がガンマ分布に近似するよう前記次時刻の画像を更に最適化することを特徴とする請求項４又は５に記載の画像生成方法。
【請求項７】
請求項４乃至６のいずれか１つに記載した第１ステップから第３ステップをコンピュータに実行させることを特徴とする画像生成プログラム。
【請求項１】
２枚の連続した時系列画像を記憶手段から読み出して、各画素の輝度値を用いて速度ベクトルを計算し、当該速度ベクトルから前記時系列画像が有する初期のエネルギーを計算する初期エネルギー計算手段と、
拡散係数を変数に有する移流拡散方程式に前記輝度値及び前記速度ベクトルを用いて次時刻の輝度値を計算し、密度及び粘性係数を変数に有するナビエ・ストークス方程式に前記速度ベクトルを用いて前記次時刻の速度ベクトルを計算して、前記次時刻の画像を予測する予測手段と、
前記次時刻の輝度値及び速度ベクトルから当該次時刻の画像が有するエネルギーを計算し、当該エネルギーと前記初期のエネルギーとの差分絶対値が所定の閾値以下になるまで前記拡散係数と前記密度と前記粘性係数とを可変しながら前記次時刻の画像を最適化する最適化手段と、
を有することを特徴とする画像生成装置。
【請求項２】
前記エネルギーは、
輝度値及び速度ベクトルを用いて波数ベクトルを計算し、波数ベクトルから波数に関するエネルギーを計算すると共に、速度ベクトルから運動量及び発散度・渦度に関するエネルギーを計算し、更に輝度値から画像のエッジに関するエネルギーを計算して、計算された全てのエネルギーの和を全画素数で割った値であることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記最適化手段は、
前記次時刻の速度ベクトルを用いて波数を計算すると共に、当該波数から波数エネルギーを計算し、当該波数と当該波数エネルギーとの関係がガンマ分布に近似するよう前記次時刻の画像を更に最適化することを特徴とする請求項１又は２に記載の画像生成装置。
【請求項４】
２枚の連続した時系列画像を記憶手段から読み出して、各画素の輝度値を用いて速度ベクトルを計算し、当該速度ベクトルから前記時系列画像が有する初期のエネルギーを計算する第１ステップと、
拡散係数を変数に有する移流拡散方程式に前記輝度値及び前記速度ベクトルを用いて次時刻の輝度値を計算し、密度及び粘性係数を変数に有するナビエ・ストークス方程式に前記速度ベクトルを用いて前記次時刻の速度ベクトルを計算して、前記次時刻の画像を予測する第２ステップと、
前記次時刻の輝度値及び速度ベクトルから当該次時刻の画像が有するエネルギーを計算し、当該エネルギーと前記初期のエネルギーとの差分絶対値が所定の閾値以下になるまで前記拡散係数と前記密度と前記粘性係数とを可変しながら前記次時刻の画像を最適化する第３ステップと、
を有することを特徴とする画像生成方法。
【請求項５】
前記エネルギーは、
輝度値及び速度ベクトルを用いて波数ベクトルを計算し、波数ベクトルから波数に関するエネルギーを計算すると共に、速度ベクトルから運動量及び発散度・渦度に関するエネルギーを計算し、更に輝度値から画像のエッジに関するエネルギーを計算して、計算された全てのエネルギーの和を全画素数で割った値であることを特徴とする請求項４に記載の画像生成方法。
【請求項６】
前記第３ステップは、
前記次時刻の速度ベクトルを用いて波数を計算すると共に、当該波数から波数エネルギーを計算し、当該波数と当該波数エネルギーとの関係がガンマ分布に近似するよう前記次時刻の画像を更に最適化することを特徴とする請求項４又は５に記載の画像生成方法。
【請求項７】
請求項４乃至６のいずれか１つに記載した第１ステップから第３ステップをコンピュータに実行させることを特徴とする画像生成プログラム。
【図１】
【図２】
【図３】
【図６】
【図４】
【図５】
【図２】
【図３】
【図６】
【図４】
【図５】
【公開番号】特開２０１１−１８１６０（Ｐ２０１１−１８１６０Ａ）
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願番号】特願２００９−１６１６７４（Ｐ２００９−１６１６７４）
【出願日】平成２１年７月８日（２００９．７．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願日】平成２１年７月８日（２００９．７．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]