画像処理装置、画像処理方法および画像処理プログラム
【課題】高画質な補間フレーム画像を生成し出力することができる画像処理装置、画像処理方法および画像処理プログラムを提供すること
【解決手段】本発明にかかる画像処理装置は、複数のフレーム画像間に内挿する補間フレーム画像を生成する画像処理装置であって、複数のフレーム画像の各フレーム内の画素値の変化に基づいて、補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出する探索範囲算出手段６２と、探索範囲算出手段６２が算出した探索範囲内において、動きベクトルを推定する動きベクトル推定手段６１と、動きベクトル推定手段６１が算出した動きベクトルに基づいて、補間フレーム画像を生成する補間画像生成手段６３を備える。
【解決手段】本発明にかかる画像処理装置は、複数のフレーム画像間に内挿する補間フレーム画像を生成する画像処理装置であって、複数のフレーム画像の各フレーム内の画素値の変化に基づいて、補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出する探索範囲算出手段６２と、探索範囲算出手段６２が算出した探索範囲内において、動きベクトルを推定する動きベクトル推定手段６１と、動きベクトル推定手段６１が算出した動きベクトルに基づいて、補間フレーム画像を生成する補間画像生成手段６３を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関するものであり、複数のフレーム画像から動きベクトルを推定し、推定した動きベクトルを用いて補間することで、補間フレーム画像を生成するフレームレート変換技術に関する。
【背景技術】
【０００２】
画像表示装置において、表示可能なフレームレートよりも低いフレームレートの動画像が入力された場合に、連続する２枚のフレーム画像の間に、補間により生成した補間フレーム画像を挿入することで、低フレームレートの動画像を滑らかに表示するフレームレート変換技術が知られている（特許文献１）。この方法では、前後フレーム画像２枚やそれ以上の入力フレーム画像間の動きベクトルを、ブロックマッチングを行うことにより推定し、推定した動きベクトルを用いて、新たな補間フレーム画像を生成し、挿入している。
【０００３】
一般に、入力フレーム画像内に繰り返しパターン領域が存在する場合に、正しく動きベクトルを推定することは困難である。例えば、図１５に示すように、前フレーム画像内の繰り返しパターン領域の注目画素に対応する注目ブロックには、後フレーム画像内に、異なる破線で示されているブロックのように複数の対応ブロック候補が存在し、これらの候補のうち、どのブロックが正解の対応ブロックかは判別することはできない。これは、ある入力フレーム画像内の繰り返しパターン領域の一部が他の入力フレーム画像内の繰り返しパターン領域のどの部分に対応するかの判別が、画像処理においては、非常に難しいことに起因する。そのため、繰り返しパターン領域においては、正しい動きベクトルが推定された画素と誤った動きベクトルが推定された画素が混在し、生成される補間フレーム画像の画質が劣化する。
【０００４】
この問題に対応するために、特許文献２では、判別対象の画素の動きベクトルとその周辺の画素の動きベクトルとの一致の割合からその画素の動きベクトルが正しいか否かを判別している。そして、補間の際には、正しい場合には推定された動きベクトルを用いる補間と、正しくない場合には動きベクトルを用いない0ベクトル補間とを切り替えている。
また、特許文献３では、繰り返し模様検出部を備え、補間の際に、繰り返し模様でない領域には推定された動きベクトルを用いる補間と、繰り返し模様領域には0ベクトル補間とを切り替えている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−００６２７５号公報
【特許文献２】特開２００８−１３５９８０号公報
【特許文献３】特開２００７−２３５４０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般に、大きい動きが発生する頻度よりも小さい動きが発生する頻度が高いため、類似した複数のパターンを含む領域で動きベクトルを推定した場合には、マッチングの取れる複数のパターンの組み合わせの中から最も短い動きベクトルを選択した方が正解の動きベクトルを用いた補間を実行できる可能性が高くなる。
【０００７】
しかし、特許文献２の手法を用いた場合、判別対象の画素付近において、短い動きベクトルが推定された画素よりも長い動きベクトルが推定された画素が多い場合、短い動きベクトルが誤った動きベクトルとして判断されそのベクトルが用いられず、逆に長い動きベクトルが推定された画素については長い動きベクトルを用いた補間が実行されるため、補間フレームの画質が劣化する場合がある。
また、特許文献３の手法を用いた場合には、正しい動きベクトルが検出できた場合においても、繰り返し模様領域においては画一的に0ベクトル補間が用いられるため、高画質な補間フレーム画像の生成が困難となる。
【０００８】
上述したように、入力フレーム画像が繰り返しパターン領域を有する場合、生成される補間フレーム画像の画質が劣化してしまうという問題がある。
【０００９】
本発明の目的は、上述したような課題を解決するためになされたものであり、繰り返しパターン領域を有する入力フレーム画像に対しても高画質な補間フレーム画像を生成し出力することができる画像処理装置、画像処理方法および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明にかかる画像処理装置は、複数のフレーム画像間に内挿する補間フレーム画像を生成する画像処理装置であって、前記複数のフレーム画像の各フレーム内の画素値の変化に基づいて、前記補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出する探索範囲算出手段と、前記探索範囲算出手段が算出した探索範囲内において、前記動きベクトルを推定する動きベクトル推定手段と、前記動きベクトル推定手段が算出した動きベクトルに基づいて、前記補間フレーム画像を生成する補間画像生成手段を備えたものである。
【発明の効果】
【００１１】
本発明により、高画質な補間フレーム画像を生成し出力することができる画像処理装置、画像処理方法および画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第一の実施の形態にかかる画像処理装置の概要を示すブロック図である。
【図２】本発明の第一の実施の形態にかかる画像処理装置の構成を示すブロック図である。
【図３】適切な探索範囲についての説明図である。
【図４】不適切な探索範囲についての説明図である。
【図５】マッチングパターンを表す説明図である。
【図６】探索範囲算出手段３１の構成を示すブロック図である。
【図７】輝度変化指標の算出についての説明図である。
【図８】隣接画素を用いた高速化についての説明図である。
【図９】輝度変化情報についての説明図である。
【図１０】第一の実施の形態にかかる画像処理装置の動作を示す流れ図である。
【図１１】本発明の第二の実施の形態にかかる画像処理装置の構成を示すブロック図である。
【図１２】第二の実施の形態にかかる画像処理装置の動作を示す流れ図である。
【図１３】本発明の第三の実施の形態にかかる画像処理装置の構成を示すブロック図である。
【図１４】第三の実施の形態にかかる画像処理装置の動作を示す流れ図である。
【図１５】ブロックマッチングの問題点についての説明図である。
【発明を実施するための形態】
【００１３】
次に、本発明を実施するための形態について、図面を参照して詳細に説明する。
第一の実施の形態．
まず、本発明の第一の実施の形態にかかる画像処理装置の概要について説明する。図１は、本発明の実施の形態１にかかる画像処理装置の概要を示すブロック図である。
画像処理装置は、動きベクトル推定手段６１、探索範囲算出手段６２及び補間画像生成手段６３を備える。ここで、図１において画像処理装置に入力される複数のフレーム画像として、前後２つのフレーム画像の場合を例示するが、入力されるフレーム画像の数はここで例示した数に限られない。
【００１４】
動きベクトル推定手段６１は、入力された複数のフレーム画像に基づいて、複数のフレーム画像間に内挿する補間フレーム画像に含まれる補間画素の動きベクトルを推定する。
探索範囲算出手段６２は、入力された複数のフレーム画像の画素値に基づいて、動きベクトルを推定する探索範囲を決定する。
補間画像生成手段６３は、動きベクトル推定手段６１において生成された動きベクトルに基づいて、補間フレーム画像を生成する。
【００１５】
続いて、本発明の第一の実施の形態にかかる画像処理装置の処理の概要について説明する。
まず、探索範囲算出手段６２は、前後フレーム画像が入力されると、入力された前後フレーム画像の画素値に基づいて、動きベクトルの探索範囲を決定する。そして、探索範囲算出手段６２は、決定した探索範囲を動きベクトル推定手段６１に出力する。
動きベクトル推定手段６１は、探索範囲算出手段６２から出力された探索範囲を取得する。動きベクトル推定手段６１は、入力された複数のフレーム画像に基づき、取得した探索範囲内において、補間フレーム画像に含まれる補間画素の動きベクトルを推定する。そして、動きベクトル推定手段６１は、動きベクトルを補間画像生成手段６３に出力する。
補間画像生成手段６３は、動きベクトル推定手段６１から出力された動きベクトルを取得する。そして、補間画像生成手段６３は、入力された複数のフレーム画像および取得した動きベクトルに基づいて補間フレーム画像を生成する。
【００１６】
続いて、本発明の第一の実施の形態にかかる画像処理装置の詳細について説明する。なお、本説明においては、前後２枚のフレーム画像を入力とした場合における形態について説明しているが、本手法は３枚以上の入力フレーム画像に対しても容易に拡張が可能である。
また、本説明においては、画素値とは、画素に基づく値であればどのような値であってもよく、画素の輝度やＲＧＢなどの色成分の値などを含んだ値、輝度値、色変換を用いて得られる明度値やＲＧＢなどの色成分の要素の値であってもよい。なお、本実施の形態における探索範囲の算出方法は、画素値として輝度値を用いた場合を例示して説明する。
【００１７】
図２は、本発明による第一の実施の形態にかかる画像処理装置の構成を示すブロック図である。図２を参照すると、本発明による第一の実施の形態にかかる画像処理装置の構成は、探索範囲算出手段３６と動きベクトル推定手段３１と動き補償補間手段３２と０ベクトル補間手段３３と探索範囲評価手段３４と補間画像合成手段３５とから構成される。なお、動き補償補間手段３２、０ベクトル補間手段３３、探索範囲評価手段３４及び補間画像合成手段３５は、補間画像生成手段として機能する。
【００１８】
動きベクトル推定手段３１は、前後フレーム画像を入力とし、ブロックマッチング法を用いて、動き補償補間手段３２において生成する動き補償補間画像に含まれる各補間画素の動きベクトルを推定する。ブロックマッチング法は、あるフレーム画像における所定サイズの画像ブロックと他フレーム画像における同一サイズの画像ブロックとを比較することで、一致する画像ブロック同士を検出する方法である。ブロックマッチング法を用いた動きベクトル推定では、画素位置(x,y)における補間画素の動きベクトル(dx(x,y),dy(x,y))を、式（１）や式（２）で表される評価関数Ｐ0(x,y,dx,dy)を最小化するdx,dyとすることで算出する。ただし、F1(x,y)およびF2(x,y)はそれぞれ画素位置(x,y)における前フレーム画像および後フレーム画像の画素値、Blはブロックサイズを表す。
【００１９】
動き補償補間手段３２は、推定された動きベクトルと前後フレーム画像をもとに動き補償補間画像を生成し、補間画像合成手段３５に出力する。動き補償補間画像の各補間画素の画素値は、式（３）のように決定される。ただし、MC(x,y)は、画素位置(x,y)における動き補償補間画像の画素値を表す。
【００２０】
０ベクトル補間手段３３は、動きベクトルを用いずに前後フレーム画像を合成して、０ベクトル補間画像を生成し、補間画像合成手段３５に出力する。０ベクトル補間画像は、式（４）で表されるように全ての動きベクトルを０とした時の動き補償補間により生成されたり、前後フレーム画像のいずれかをコピーすることにより生成されたりする。ただし、V0(x,y)は、画素位置(x,y)における０ベクトル補間画像の画素値を表す。
【００２１】
探索範囲算出手段３６は、前後フレーム画像を入力とし、補間画素毎の動きベクトルを推定する探索範囲を動きベクトル推定手段３１及び探索範囲評価手段３４に、その探索範囲内における前後フレーム画像の輝度変化情報を動きベクトル推定手段３１に出力する。補間画素毎の探索範囲は、前後フレーム画像における注目補間画素位置を中心とした輝度値の変化が、画素位置をＸ軸、Ｙ軸、輝度値をＺ軸にとることで形成される３次元空間上で、類似した凸曲面となるような範囲が設定される。この範囲は、例えば、類似した凸曲面となるような最大範囲とするとよい。類似した凸曲面となるような範囲を設定する最大の利点は、その範囲内において、注目したフレーム画像の注目画素に対応するもう一方のフレーム画像の画素位置の候補領域を一意に定めることができることである。
【００２２】
例えば、図３(a)及び図３(b)のそれぞれに例示する前後フレーム画像のように、画素位置をＸ軸、輝度値をＹ軸にとることで形成される２次元空間上では、探索範囲内で輝度値の変化が類似した凸曲線である場合は、一方フレーム画像の増加領域に対する他方のフレーム画像の増加領域、一方フレーム画像の減少領域に対する他方のフレーム画像の減少領域を一意に定めることができる。しかし、図４(a)及び図４(b) のそれぞれに例示する前後フレーム画像のように、探索範囲内で輝度値の変化が２つ以上の異なる方向への凸曲線に分割可能である場合は、一方フレーム画像の増加または領域に対する他方のフレーム画像の増加または減少領域が複数存在することになる。つまり、注目したフレーム画像の注目画素に対応するもう一方のフレーム画像の画素位置の候補領域が複数存在することになる。このような探索範囲で動きベクトル推定のマッチング処理を実行すると画素毎に異なる対応領域が選択され、補間フレーム画像の画質が劣化する可能性がある。
【００２３】
これをＸ軸、Ｙ軸、輝度値をＺ軸にとることで形成される３次元空間に拡張した場合、前後フレーム画像間で、注目補間画素位置を中心として類似した凸曲面となるような範囲内では、注目したフレーム画像の注目画素に対応するもう一方のフレーム画像の画素位置の候補領域を一意に定めることが可能となる。
ここで、探索範囲内で輝度値の変化が２つ以上の異なる方向への凸曲面に分割可能である場合は、動きベクトル推定の結果、画素毎に異なる対応領域が選択され、補間フレーム画像の画質が劣化する。しかし、探索範囲算出手段３６では、補間画素毎の探索範囲を、類似した凸曲面となるような最大範囲として設定することにより、探索範囲内で輝度値の変化が２つ以上の異なる方向への凸曲面に分割可能とならないようにして画質劣化を抑制する。
また、探索範囲算出手段３６により設定される探索範囲を用いると、類似したパターンが複数ある領域では、前後フレーム間で最も近接するパターンを１つずつ含む範囲が自動的に算出されることとなるため、経験上、最も動き補償補間画像の画質が劣化する可能性の小さい類似したパターン間で最も短い動きベクトルを検出されることとなる。
【００２４】
探索範囲算出手段３６は、探索範囲を以降に記述する第１の算出方法もしくは第２の算出方法のいずれかにより算出する。
探索範囲の第１の算出方法は、あらかじめ図５に示すようなスケーリング可能な凸曲面に収まる複数のパターン（パターン中の各値は、0.0〜1.0）を用意し、初期値として前後フレーム画像における注目補間画素位置の1画素×１画素の範囲を設定し、範囲を上下左右１画素ずつ広げながら、各パターンとマッチングを取ることにより、前後それぞれのフレーム画像についてその範囲（以下、「指定範囲」）における輝度変化が凸曲面に収まっているかの判別とフレーム画像間で類似した凸曲面であるかの判別とを繰り返すことで、それぞれの判別における条件を満たす最大範囲を探索範囲として求める。
このように、本実施の形態の探索範囲の算出における凸曲面とは、凸曲面に収まっている曲面であり、図５に示すパターン１０〜１９のような凸曲面の他に、パターン２〜９のような単調増加もしくは単調減少する曲面のように凸曲面の一部である曲面も含まれる。また、パターン１のような平面も含まれる。
【００２５】
前後それぞれのフレーム画像について、ある範囲における輝度変化が凸曲面に収まっているかの判別方法としては、式（５）で与えられる評価関数Q(x,y,ρ,i)を最小とするパターンを選択し、選択されたパターンにおける評価関数の値があらかじめ設定されている閾値を下回っていれば凸曲面に収まっていると判断する。評価関数Q(x,y,ρ,i)は、Maxを1.0、Minを0.0として正規化した指定範囲内の画素の輝度値と、その画素位置に対応するパターンZρ,iの値の差分絶対値和を算出することで、注目フレーム画像の指定範囲とパターンZρ,iを類似度を求める関数である。ただし、xおよびyは、注目画素位置のxおよびy座標、ρは評価する範囲の広さであり指定範囲の一辺の長さ、iは評価するパターンのそれぞれを一意に示すインデックス番号、Y(x,y)は座標(x,y)における注目フレーム画像の輝度値、Zρ,iは評価範囲に合わせてスケーリングされたインデックス番号iのパターン画像をMaxを1.0、Minを0.0として正規化した指定範囲内の画素の輝度値、MaxおよびMinは注目フレーム画像の指定範囲内の輝度値の最大値および最小値をそれぞれ意味する。
【００２６】
前後フレーム画像間で類似した凸曲面であるかの判別は、入力された前後それぞれのフレーム画像における評価関数を最小化したパターンのインデックス番号の組み合わせから、あらかじめ手動で与えられているその組み合わせが類似した凸曲面であるかどうかの情報により判断する。この情報は、例えば、メモリやＨＤＤ(hard Disk Drive)等の任意の記憶手段(図示せず)に格納しておき、探索範囲算出手段３６がこれを読み出すことにより取得するようにしてもよい。
また、探索範囲算出手段３６は、探索範囲内における前後フレーム画像の輝度変化情報として、探索範囲における評価関数を最小化したパターンのインデックス番号を動きベクトル推定手段３１に出力する。
【００２７】
また、探索範囲の第２の算出方法として、探索範囲内の隣接する画素間での輝度値の変化を指標化し、これらを統合することで、探索範囲内の輝度値の変化が類似した凸曲面であるかを判別してもよい。図６は、隣接する画素間での輝度値の変化から探索範囲を算出する場合の、探索範囲算出手段３６の構成を示すブロック図である。図６の探索範囲算出手段３６は、輝度変化指標計算手段３６１と輝度変化情報算出手段３６２とから構成され、前後フレーム画像を入力とし、補間画素毎の、動きベクトルを推定する探索範囲を動きベクトル推定手段３１及び探索範囲評価手段３４に、その探索範囲内における前後フレーム画像の輝度変化情報を動きベクトル推定手段３１に出力する。
【００２８】
輝度変化指標計算手段３６１は、前後フレーム画像を入力とし、入力フレーム画像の各画素の水平方向と垂直方向に隣接する画素との輝度の変化を表す輝度変化指標を輝度変化情報計算手段３６２に出力する。輝度変化指標は、隣り合う画素の輝度変化が増加ならば1、減少ならば-1、平坦ならば0のように与えられる値である。画像中の座標(x,y)と座標(x+1,y)との間の水平方向の輝度変化指標DH(x,y)および座標(x,y)と座標(x,y+1)との間の垂直方向の輝度変化指標DV(x,y)の算出方法の一例を式（６）および式（７）に示す。ただし、Y(x,y)は、画像中の座標(x,y)の輝度値、thresは、あらかじめ設定された閾値である。
【００２９】
また、輝度変化指標は、隣接画素との差分だけではなく、いくつか離れた画素との差分を用いて求めてもよい。例えば、水平方向の各ラインの輝度変化指標を左から順番に算出する場合、図７に示すような左数画素の輝度変化指標が平坦で連続している"？"により示す位置の輝度変化指標を求める時に、左隣の画素との差分値と輝度変化指標が平坦となる直前の画素との差分値を用いて決定してもよい。例えば、どちらか大きいほうの差分値に基づいて、輝度変化指標を決定する。
【００３０】
輝度変化情報算出手段３６２は、輝度変化指標計算手段３６１から出力される前記輝度変化指標を元に、補間画素毎に動きベクトルを推定するための探索範囲と前後フレーム画像のその範囲内における輝度変化を表す輝度変化情報を算出し、動きベクトル推定手段３１に出力する。輝度変化情報算出手段３６２において、補間画素毎の探索範囲は、前後フレーム画像における注目補間画素位置を中心とした輝度値の変化が、画素位置をＸ軸、Ｙ軸、輝度値をＺ軸にとることで形成される３次元空間上で、類似した凸曲面となるような最大範囲が設定される。
【００３１】
探索範囲の第２の算出方法は、注目補間画素位置における前後フレーム画像で類似した凸曲面となるような最大範囲（φ(x,y)画素×φ(x,y)画素）を求める方法の一つに、初期値として前後フレーム画像における注目補間画素位置の1画素×１画素の範囲を設定し、範囲を上下左右１画素ずつ広げながら、前後それぞれのフレーム画像についてその範囲（以下、「指定探索範囲(ρ(x,y)×ρ(x,y))」）における輝度変化が凸曲面に収まっているかの判別とフレーム画像間で類似した凸曲面であるかの判別とを繰り返すことで、それぞれの判別における条件を満たす最大範囲を探索範囲として求める。
【００３２】
フレーム画像内のある指定された範囲における輝度変化が凸曲面に収まっているかの判別方法の一例を以下に示す。
まず、指定された範囲内の水平方向及び垂直方向の各ラインについて、ライン内の輝度変化を、１．平坦、２．単調増加、３．単調減少、４．上に凸、５．下に凸、６．その他の６つの指標に分類する。以下、このライン内の輝度変化の指標をライン輝度変化指標と呼ぶことにする。注目補間画素位置(x,y)、指定探索範囲(ρ(x,y)×ρ(x,y))の時、補間画素位置からp（-(ρ(x,y)-1)/2 ≦ p ≦ (ρ(x,y)-1)/2）離れた水平方向のライン輝度変化指標LH(x,y,ρ(x,y),p)は、輝度変化指標計算手段３６１から出力される輝度変化指標のうち、注目ラインの範囲における輝度変化指標DH(x-(ρ(x,y)-1)/2,y+p)〜DH(x+(ρ(x,y)-1)/2-1,y+p)の組み合わせを考慮することにより、容易に求めることができる。
【００３３】
例えば、注目ラインの範囲における輝度変化指標が全て0の場合のライン輝度変化指標は平坦、1または0の場合のライン輝度変化指標は単調増加のように求めることができる。同様に、注目補間画素位置(x,y)、指定探索範囲(ρ(x,y)×ρ(x,y))の時、補間画素位置からp（-(ρ(x,y)-1)/2 ≦ p ≦ (ρ(x,y)-1)/2）離れた垂直方向のライン輝度変化指標LV(x,y,ρ(x,y),p)は、注目ラインの範囲における輝度変化指標DV(x+p,-(ρ(x,y)-1)/2)〜DV(x+p,(ρ(x,y)-1)/2-1)の組み合わせを考慮することにより、容易に求めることができる。また、指定探索範囲をρ(x,y)×ρ(x,y)から上下左右１画素ずつ広げ(ρ(x,y)+2)×(ρ(x,y)+2)とした場合、新たなる範囲のライン輝度変化指標は、もとの範囲のライン輝度変化指標を用いて高速に求めることが可能である。例えば、新たなるラインの水平方向のライン輝度変化指標LH(x,y,ρ(x,y)+2,p)は、もとの範囲のライン輝度変化指標LH(x,y,ρ(x,y),p)と輝度変化指標 DH(x-(ρ(x,y)-3)/2,y+p)およびDH(x+(ρ(x,y)+1)/2-1,y+p)の３つの組み合わせにより求めることも可能である。
【００３４】
次に、水平方向および垂直方向の前記ライン輝度変化指標をそれぞれの方向で統合し、指定探索範囲における輝度変化が凸曲面に収まっているかどうかを判断する。指定探索範囲における輝度変化が凸曲面に収まっているかどうかの条件の一例を以下に示す。
条件１：その他と分類されたライン輝度変化指標を持つラインが存在する場合は、凸曲面に収まっていないと判断する。
条件２：上に凸と分類されたライン輝度変化指標を持つラインと下に凸と分類されたライン輝度変化指標を持つラインの両方が存在する場合には、凸曲面に収まっていないと判断する。
条件３：上に凸と分類されたライン輝度変化指標または下に凸と分類されたライン輝度変化指標を持つラインが複数存在し、かつこれらのラインの間に他の指標に分類されたラインが存在する場合は、凸曲面に収まっていないと判断する。
条件４：上に凸と分類されたライン輝度変化指標または下に凸と分類されたライン輝度変化指標を持つラインが存在し、かつ単調増加または単調減少のいずれかの指標を持つラインがこのラインを挟んで存在する場合は、凸曲面に収まっていないと判断する。
条件５：条件１〜４のいずれかに当てはまらない場合は、凸曲面に収まっていると判断する。
最後に、水平方向および垂直方向のライン輝度変化指標の統合結果を比較する。比較方法として、どちらか一方でも凸曲面に収まっていないと判断された場合および水平方向と垂直方向とで上に凸と下に凸の異なる方向に凸であるラインを含んでいる場合に凸曲面に収まっていないと判断し、その他の場合には凸曲面に収まっていると判断する。
【００３５】
フレーム画像間である指定された範囲における輝度変化が類似した凸曲面であるかの判別方法としては、前フレーム画像と後フレーム画像とで上に凸と下に凸の異なる方向に凸であるラインを含んでいる場合に類似した凸曲面ではないと判別する。
【００３６】
注目補間画素における動きベクトル推定の探索範囲は、隣接する補間画素における動きベクトル推定の探索範囲を利用することで高速に求めることも可能である。例えば、画素位置(x,y)の注目補間画素における探索範囲を、画素位置(x-1,y)の隣接補間画素における探索範囲（φ(x-1,y)画素×φ(x-1,y)画素）を利用して求めることを考える。図８に示すように、画素位置(x-1,y)が隣接補間画素における探索範囲（φ(x-1,y)画素×φ(x-1,y)画素）であることは、その範囲（図中黒枠）での輝度変化は前後フレーム画像で類似した凸曲面となっており、その領域から上下および左右またはそのどちらかに領域を広げることにより前後フレーム画像で類似した凸曲面となくなることを示している。そのため、画素位置(x,y)の注目補間画素における探索範囲の候補は、(φ(x-1,y)-2)画素×(φ(x-1,y)-2)画素、φ(x-1,y)画素×φ(x-1,y)画素、(φ(x-1,y)+2)画素×(φ(x-1,y)+2)画素の３つのみとなる。そのため、初期値として1画素×１画素の範囲を設定し、範囲を上下左右１画素ずつ広げながら判別を繰り返す必要はなくなり、この３つの判別のみで新たなる画素位置における探索範囲を算出することが可能になる。
【００３７】
また、本発明における動きベクトル推定手段３１で実行される動きベクトル推定計算では、探索範囲内の前後フレーム画像の各画素の輝度勾配情報を用いることで高精度化することも可能である。そこで、輝度変化情報算出手段３６２は、前フレーム画像の水平および垂直方向のライン輝度変化指標LH1およびLV1と後フレーム画像の水平および垂直方向のライン輝度変化指標LH2およびLV2とを輝度変化情報として動きベクトル推定手段３１に出力する。この場合、例えば、画素位置(x,y)の注目補間画素において、探索範囲φ(x,y)内の前フレーム画像の画素位置(x+u,y+v)の輝度勾配は、LH1(x,y,φ(x,y),v)が単調増加、LV1(x,y,φ(x,y),u)が単調減少の場合、垂直方向に増加、水平方向に減少といえ、輝度勾配を決定することが可能になる。
【００３８】
しかし、LH1(x,y,φ(x,y),v)またはLV1(x,y,φ(x,y),u)が上に凸または下に凸である場合には、水平または垂直方向に増加か減少かを記述することは難しい。また、図９に示すように、上に凸または下に凸の指標を持つラインにおいて極大値または極小値付近で隣り合う画素の輝度変化指標が0（平坦）である場合、増加と減少の両方に捉えられる領域が発生する。そこで、輝度変化情報算出手段３６２は、上に凸または下に凸の指標を持つラインについては、極大値または極小値付近の隣り合う画素の輝度変化指標が0（平坦）である領域の端点の位置を付加し輝度変化情報として出力することで、ライン中の各画素が増加か減少かまたはその両方かを分別することを可能にする。
【００３９】
動きベクトル推定手段３１は、前後入力フレーム画像と補間画素毎の探索範囲および輝度変化情報を入力し、各補間画素の動きベクトルを推定し、動き補償補間手段３２に出力する。各補間画素の動きベクトルは、探索範囲があらかじめ用意されたパターンとのマッチングにより算出された場合、輝度変化情報にかかわらず式（１）や式（２）で表されるブロックマッチング法を用いて推定される。また、探索範囲を隣接する画素間での輝度値の変化の指標をもとに算出した場合には、画素位置(x,y)の補間画素における動きベクトル(dx(x,y),dy(x,y))を、入力された輝度変化情報からマッチングを取るペアが同一輝度勾配であるかどうか判別し、ブロックマッチング法を用いて式（８）や式（９）で表される評価関数Ｐ(x,y,dx,dy)を最小化するdx,dyとすることで算出してもよい。ただし、dxおよびdyの範囲は、補間画素毎に、探索範囲算出手段３６から入力される探索範囲をもとに-(φ(x,y)-1)/2 ≦ dx,dy ≦ (φ(x,y)-1)/2となるよう設定される。また、F1(x,y)およびF2(x,y)はそれぞれ画素位置(x,y)における前フレーム画像および後フレーム画像の画素値、Blはブロックサイズを表す。
【００４０】
同一輝度勾配であるかどうかの判別は、輝度変化情報から、前後フレーム画像のマッチングを取る画素位置における水平および垂直方向の輝度勾配を読み出し、マッチングを取る画素間でそれぞれの方向についての輝度勾配が一致しているかどうかを確認することで判断される。ただし、注目画素のある方向への輝度勾配が平坦な場合、または図９に示すラインの画素"Ｌ"〜画素"Ｒ"のように、極大・極小値付近で増加か減少か曖昧である場合は、増加および減少の両方に当てはまると考えることとする。
【００４１】
探索範囲評価手段３４は、探索範囲算出手段３６から出力される各補間画素における探索範囲を入力とし、各補間画素位置における動きベクトルの確信度を表す探索範囲評価結果を補間画像合成手段３５に出力する。
探索範囲算出手段３６から出力される探索範囲が狭いことは、入力フレーム画像の注目補間画素位置周辺の比較的近い位置において、繰り返しパターン等の類似した複数のパターンが存在することを意味する。一方、探索範囲算出手段３６から出力される探索範囲が十分広いことは、入力フレーム画像の注目補間画素位置周辺において、類似した複数のパターンが存在しないことを意味する。探索範囲算出手段３６から出力される探索範囲は、類似した複数のパターンが存在する領域においても発生する頻度の高い最も短い動きベクトルを推定するように設定されるが、その際に推定される動きベクトルが正しい可能性は、そのようなパターンが存在しない領域において推定される動きベクトルが正しい可能性が低くなる。そのため、探索範囲算出手段３６から出力される探索範囲が狭い場合の動きベクトル推定手段３１にて推定される動きベクトルの確信度は、探索範囲が広い場合と比較して低くなるといえる。
【００４２】
そこで、探索範囲評価手段３４は、画素位置（x,y）における探索範囲（φ(x,y)×φ(x,y)）をもとに、動きベクトル推定の確信度を表す探索範囲評価結果α(x,y)（0≦α(x,y)≦1）を、φ(x,y)が大きくなるほど１に近づき、φ(x,y)小さくなるほど0に近づくように設定し、補間画像合成手段３５に出力する。α(x,y)の算出方法の一例を式（１０）に示す。ただし、Tr1およびTr2はあらかじめ設定される閾値である。
【００４３】
補間画像合成手段３５は、動き補償補間画像と０ベクトル補間画像と探索範囲評価結果とを入力とし、探索範囲評価結果をもとに動き補償補間画像と０ベクトル補間画像とを合成し、補間フレーム画像を生成する。補間フレーム画像を生成する一例を式（１１）に示す。ただし、Fo(x,y)は、画素位置（x,y）における補間フレーム画像の画素値を表す。
【００４４】
次に、図１および図１０のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
探索範囲算出手段３６は、入力された前後フレーム画像の各画素に基づいて、動きベクトルを推定するための探索範囲とその探索範囲内の前後フレーム画像の輝度変化を表す輝度変化情報を算出する（Ｓ００１）。
動きベクトル推定手段３１は、補間画素毎に、入力される探索範囲とその探索範囲内の輝度変化情報をもとに、ブロックマッチング法を用いて動きベクトルを推定する（Ｓ００２）
動き補償補間手段３２は、推定された動きベクトルをもとに、入力された前フレーム画像と後フレーム画像とを合成し動き補償補間画像を生成する（Ｓ００３）。
０ベクトル補間手段３３は、入力された前フレーム画像と後フレーム画像とから０ベクトル補間画像を生成する（Ｓ００４）。
探索範囲評価手段３６は、補間画素毎に、動きベクトル推定の探索範囲から探索範囲評価結果を算出する（Ｓ００５）。
補間画像合成手段３５は、動き補償補間画像と０ベクトル補間画像とを探索範囲評価結果をもとに合成し、補間フレーム画像を生成する（Ｓ００６）。
【００４５】
なお、本実施の形態においては、補間画素位置を中心として類似した凸曲面となるような範囲を探索範囲とすることにより、入力された前後フレーム画像内において互いに類似する２つの画像パターンを共に含むことがないように探索範囲が決定される。ここで、画素位置をＸ軸及びＹ軸にとり、画素値をＺ軸にとった３次元座空間において、補間画素の位置を中心とする前後フレーム画像の各々の画素値の分布が、探索範囲の境界を除く範囲に含まれる極大点および極小点の合計数が１つ以下となる範囲を探索範囲とすることにより、入力された前後フレーム画像内において互いに類似する２つの画像パターンを共に含むことがないように探索範囲を決定してもよい。
【００４６】
第二の実施の形態．
図１１は、本発明による第二の実施の形態にかかる画像処理装置の構成を示すブロック図である。図１１を参照すると、本発明による第二の実施の形態にかかる画像処理装置は、探索範囲算出手段３６と動きベクトル推定手段３１と動き補償補間手段３２と０ベクトル補間手段３３と探索範囲評価手段３４と輝度変化情報評価手段４７と補間画像合成手段４５とから構成される。本発明による第二の実施の形態にかかる画像処理装置の構成は、前記第一の実施の形態にかかる画像処理装置の構成と比較して、輝度変化情報評価手段４７と補間画像合成手段４５において異なる。以下、輝度変化情報評価手段４７と補間画像合成手段４５の詳細を説明する。なお、動き補償補間手段３２、０ベクトル補間手段３３、探索範囲評価手段３４、補間画像合成手段３５及び輝度変化情報評価手段４７は、補間画像生成手段として機能する。
【００４７】
輝度変化情報評価手段４７は、探索範囲算出手段３６から出力される輝度変化情報を入力とし、補間画素毎の、輝度変化情報から推測される推定された動きベクトルの確信度を表す輝度変化情報評価結果を補間画像合成手段３５に出力する。
一般に、補間画素位置における前後フレーム画像の輝度変化が複雑である場合に比べ、同一範囲内の輝度変化が単純である場合の方が正確な動きベクトルを求めやすいといえる。そこで、輝度変化情報評価手段４７は、画素位置（x,y）における輝度変化情報評価結果β(x,y)（0≦β(x,y)≦1）を、入力される輝度変化情報をもとに決定する。輝度変化情報評価結果は、探索範囲があらかじめ用意されたパターンとのマッチングにより算出された場合には、あらかじめ設定されている輝度変化情報の組み合わせに応じた値により決定する。この値は、例えば、任意の記憶手段(図示せず)に格納しておき、輝度変化情報評価手段４７がこれを読み出すことにより取得するようにしてもよい。また、探索範囲を隣接する画素間での輝度値の変化の指標をもとに算出した場合には、その探索範囲における輝度変化情報内のライン輝度変化指標を用いて以下のように決定する。
【００４８】
まず、輝度変化情報を、前記ライン輝度変化指標をもとに、以下のカテゴリーのいずれかに分類する。
カテゴリー１．全てのライン輝度変化指標が、平坦である。
カテゴリー２．全てのライン輝度変化指標が、平坦または単調増加、もしくは平坦または単調減少である。
カテゴリー３．全てのライン輝度変化指標が、平坦または単調増加または単調減少である。
カテゴリー４．上に凸または下に凸であるライン輝度変化指標を含む
次に、あらかじめカテゴリー１の輝度変化情報評価結果＞カテゴリー２の輝度変化情報評価結果＞カテゴリー３の輝度変化情報評価結果＞カテゴリー４の輝度変化情報評価結果となるようにβ(x,y)を決定する。例えば、任意の記憶手段(図示せず)に格納されているテーブルから対応カテゴリーの値を読み出し、β(x,y)に代入する。
【００４９】
補間画像合成手段４５は、動き補償補間画像と０ベクトル補間画像と探索範囲評価結果と輝度変化情報評価結果とを入力とし、探索範囲評価結果と輝度変化情報評価結果とから算出される各補間画素の合成重みをもとに、動き補償補間画像と０ベクトル補間画像とを式（１２）のように合成し、補間フレーム画像を生成する。ただし、w1(x,y)は、画素位置（x,y）における合成重みを表す。
【００５０】
各補間画素の合成重みは、式（１３）や式（１４）や式（１５）をもとに算出する。
【００５１】
次に、図１１および図１２のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
探索範囲算出手段３６は、入力された前後フレーム画像の各画素に基づいて、動きベクトルを推定するための探索範囲とその探索範囲内の前後フレーム画像の輝度変化を表す輝度変化情報を算出する（Ｓ１０１）。
動きベクトル推定手段３１は、補間画素毎に、入力される探索範囲とその探索範囲内の輝度変化情報をもとに、ブロックマッチング法を用いて動きベクトルを推定する（Ｓ１０２）。
動き補償補間手段３２は、推定された動きベクトルをもとに、入力された前フレーム画像と後フレーム画像とを合成し動き補償補間画像を生成する（Ｓ１０３）。
０ベクトル補間手段３３は、入力された前フレーム画像と後フレーム画像とから０ベクトル補間画像を生成する（Ｓ１０４）。
探索範囲評価手段３６は、補間画素毎に、動きベクトル推定の探索範囲から探索範囲評価結果を算出する（Ｓ１０５）。
輝度変化情報評価手段４７は、補間画素毎に、動きベクトル推定の探索範囲内の輝度変化情報から輝度変化情報評価結果を算出する（Ｓ１０６）。
補間画像合成手段４５は、動き補償補間画像と０ベクトル補間画像とを探索範囲評価結果と輝度変化情報評価結果とから算出される合成重みをもとに合成し、補間フレーム画像を生成する（Ｓ１０７）。
【００５２】
第三の実施の形態．
図１３は、本発明による第三の実施の形態にかかる画像処理装置の構成を示すブロック図である。図１３を参照すると、本発明による第三の実施の形態にかかる画像処理装置は、探索範囲算出手段３６と動きベクトル推定手段５１と動き補償補間手段３２と０ベクトル補間手段３３と探索範囲評価手段３４と輝度変化情報評価手段４７とブロック差分評価手段５８と補間画像合成手段５５とから構成される。本発明による第三の実施の形態にかかる画像処理装置の構成は、前記第二の実施の形態にかかる画像処理装置の構成と比較して、動きベクトル推定手段５１とブロック差分評価手段５８と補間画像合成手段５５において異なる。以下、動きベクトル推定手段５１とブロック差分評価手段５８と補間画像合成手段５５の詳細を説明する。なお、動き補償補間手段３２、０ベクトル補間手段３３、探索範囲評価手段３４、補間画像合成手段３５、輝度変化情報評価手段４７及びブロック差分評価手段５８は、補間画像生成手段として機能する。
【００５３】
動きベクトル推定手段５１は、前後フレーム画像と補間画素毎の探索範囲および輝度変化情報を入力し、各補間画素の動きベクトルを推定し、補間画素毎に動きベクトルを動き補償補間手段３２に、ブロック差分値をブロック差分評価手段５８に出力する。動きベクトル推定手段５１は、前記第一および第二の実施の形態における動きベクトル推定手段３１と比較して、補間画素毎のブロック差分値を出力する点で異なる。画素位置(x,y)の補間画素におけるブロック差分値S(x,y)は、推定された動きベクトル（dx(x),dy(y)）の時の評価関数の値（P0(x,y,dx(x),dy(y))またはP(x,y,dx(x),dy(y))）である。
【００５４】
ブロック差分評価手段５８は、動きベクトル推定手段５１から出力される各補間画素におけるブロック差分値を入力とし、ブロック差分値をもとにした各補間画素位置における動きベクトルの確信度を表すブロック差分評価結果を補間画像合成手段３５に出力する。
ブロック差分値は、推定された動きベクトルで対応付けられる前後フレーム画像の画素ペアの類似度を表し、ブロック差分値が小さいほど類似度が高く、ブロック差分値が大きいほど類似度が低いことを意味する。そのため、動きベクトル推定手段５１にて推定される動きベクトルの確信度は、ブロック差分値が大きい場合はブロック差分値が小さい場合と比較して低くなるといえる。そこで、ブロック差分評価手段５８は、画素位置（x,y）におけるブロック差分値S(x,y)をもとに、ブロック差分評価結果γ(x,y)（0≦γ(x,y)≦1）を、S(x,y)が小さくなるほど１に近づき、S(x,y)が大きくなるほど0に近づくように設定し、出力する。γ(x,y)の算出方法の一例を式（１６）に示す。ただし、Tb1およびTb2はあらかじめ設定される閾値である。
【００５５】
補間画像合成手段５５は、動き補償補間画像と０ベクトル補間画像と探索範囲評価結果と輝度変化情報評価結果とブロック差分評価結果とを入力とし、探索範囲評価結果と輝度変化情報評価結果とブロック差分評価結果とから算出される各補間画素の合成重みをもとに、動き補償補間画像と０ベクトル補間画像とを式（１７）のように合成し、補間フレーム画像を生成する。ただし、w2(x,y)は、画素位置（x,y）における合成重みを表す。
【００５６】
各補間画素の合成重みは、式（１８）や式（１９）や式（２０）をもとに算出する。
【００５７】
次に、図１３および図１４のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
探索範囲算出手段３６は、入力された前後フレーム画像の各画素に基づいて、動きベクトルを推定するための探索範囲とその探索範囲内の前後フレーム画像の輝度変化を表す輝度変化情報を算出する（Ｓ２０１）。
動きベクトル推定手段５１は、補間画素毎に、入力される探索範囲とその探索範囲内の輝度変化情報をもとに、ブロックマッチング法を用いて動きベクトルを推定し、動きベクトルとその時のブロック差分値を出力する（Ｓ２０２）
動き補償補間手段１２は、推定された動きベクトルをもとに、入力された前フレーム画像と後フレーム画像とを合成し動き補償補間画像を生成する（Ｓ２０３）。
０ベクトル補間手段１３は、入力された前フレーム画像と後フレーム画像とから０ベクトル補間画像を生成する（Ｓ２０４）。
探索範囲評価手段３６は、補間画素毎に、動きベクトル推定の探索範囲から探索範囲評価結果を算出する（Ｓ２０５）。
輝度変化情報評価手段４７は、補間画素毎に、動きベクトル推定の探索範囲内の輝度変化情報から輝度変化情報評価結果を算出する（Ｓ２０６）。
ブロック差分評価手段５８は、補間画素毎に、ブロック差分値からブロック差分評価結果を算出する（Ｓ２０７）。
補間画像合成手段５５は、動き補償補間画像と０ベクトル補間画像とを探索範囲評価結果と輝度変化情報評価結果とブロック差分評価結果とから算出される合成重みをもとに合成し、補間フレーム画像を生成する（Ｓ２０８）。
【００５８】
以上に説明したように本実施の形態にかかる画像処理装置は、補間画素位置の周辺における前後フレーム画像内の輝度変化を調べることで、動きベクトル推定の範囲を画質劣化の生じにくい範囲に限定し、またその範囲の広さから動きベクトル推定の確信度を算出することで誤った動きベクトルを用いた補間を抑制するため、繰り返しパターン領域を有する入力フレーム画像に対しても高画質な補間フレーム画像を生成し出力することができる。
【００５９】
以上に説明した本発明にかかる画像処理装置は、上述の実施の形態の機能を実現するプログラムを記憶した記憶媒体をシステムもしくは装置に供給し、システムあるいは装置の有するコンピュータ又はＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）がこのプログラムを実行することによって、構成することが可能である。
また、このプログラムは様々な種類の記憶媒体に格納することが可能であり、通信媒体を介して伝達されることが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）、ＲＯＭ（Read Only Memory）カートリッジ、バッテリバックアップ付きＲＡＭ（Random Access Memory）メモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジを含む。また、通信媒体には、電話回線の有線通信媒体、マイクロ波回線の無線通信媒体を含み、インターネットも含まれる。
【００６０】
また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現されるだけではなく、このプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ（Operating System）もしくはアプリケーションソフトと共同して上述の実施の形態の機能が実現される場合も、発明の実施の形態に含まれる。
さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットにより行われて上述の実施の形態の機能が実現される場合も、発明の実施の形態に含まれる。
【産業上の利用可能性】
【００６１】
本発明は、入力された前後フレーム画像から補間フレーム画像を生成することでフレームレートを変換するフレームレート変換装置に適用することができる。
【符号の説明】
【００６２】
３１、５１、６１ 動きベクトル推定手段
３２ 動き補償補間手段
３３ ０ベクトル補間手段
３４ 探索範囲評価手段
３５、４５、５５ 補間画像合成手段
３６、６２ 探索範囲算出手段
４７ 輝度変化情報評価手段
５８ ブロック差分評価手段
６３ 補間画像生成手段
３６１ 輝度変化指標計算手段
３６２ 輝度変化情報計算手段
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関するものであり、複数のフレーム画像から動きベクトルを推定し、推定した動きベクトルを用いて補間することで、補間フレーム画像を生成するフレームレート変換技術に関する。
【背景技術】
【０００２】
画像表示装置において、表示可能なフレームレートよりも低いフレームレートの動画像が入力された場合に、連続する２枚のフレーム画像の間に、補間により生成した補間フレーム画像を挿入することで、低フレームレートの動画像を滑らかに表示するフレームレート変換技術が知られている（特許文献１）。この方法では、前後フレーム画像２枚やそれ以上の入力フレーム画像間の動きベクトルを、ブロックマッチングを行うことにより推定し、推定した動きベクトルを用いて、新たな補間フレーム画像を生成し、挿入している。
【０００３】
一般に、入力フレーム画像内に繰り返しパターン領域が存在する場合に、正しく動きベクトルを推定することは困難である。例えば、図１５に示すように、前フレーム画像内の繰り返しパターン領域の注目画素に対応する注目ブロックには、後フレーム画像内に、異なる破線で示されているブロックのように複数の対応ブロック候補が存在し、これらの候補のうち、どのブロックが正解の対応ブロックかは判別することはできない。これは、ある入力フレーム画像内の繰り返しパターン領域の一部が他の入力フレーム画像内の繰り返しパターン領域のどの部分に対応するかの判別が、画像処理においては、非常に難しいことに起因する。そのため、繰り返しパターン領域においては、正しい動きベクトルが推定された画素と誤った動きベクトルが推定された画素が混在し、生成される補間フレーム画像の画質が劣化する。
【０００４】
この問題に対応するために、特許文献２では、判別対象の画素の動きベクトルとその周辺の画素の動きベクトルとの一致の割合からその画素の動きベクトルが正しいか否かを判別している。そして、補間の際には、正しい場合には推定された動きベクトルを用いる補間と、正しくない場合には動きベクトルを用いない0ベクトル補間とを切り替えている。
また、特許文献３では、繰り返し模様検出部を備え、補間の際に、繰り返し模様でない領域には推定された動きベクトルを用いる補間と、繰り返し模様領域には0ベクトル補間とを切り替えている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−００６２７５号公報
【特許文献２】特開２００８−１３５９８０号公報
【特許文献３】特開２００７−２３５４０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般に、大きい動きが発生する頻度よりも小さい動きが発生する頻度が高いため、類似した複数のパターンを含む領域で動きベクトルを推定した場合には、マッチングの取れる複数のパターンの組み合わせの中から最も短い動きベクトルを選択した方が正解の動きベクトルを用いた補間を実行できる可能性が高くなる。
【０００７】
しかし、特許文献２の手法を用いた場合、判別対象の画素付近において、短い動きベクトルが推定された画素よりも長い動きベクトルが推定された画素が多い場合、短い動きベクトルが誤った動きベクトルとして判断されそのベクトルが用いられず、逆に長い動きベクトルが推定された画素については長い動きベクトルを用いた補間が実行されるため、補間フレームの画質が劣化する場合がある。
また、特許文献３の手法を用いた場合には、正しい動きベクトルが検出できた場合においても、繰り返し模様領域においては画一的に0ベクトル補間が用いられるため、高画質な補間フレーム画像の生成が困難となる。
【０００８】
上述したように、入力フレーム画像が繰り返しパターン領域を有する場合、生成される補間フレーム画像の画質が劣化してしまうという問題がある。
【０００９】
本発明の目的は、上述したような課題を解決するためになされたものであり、繰り返しパターン領域を有する入力フレーム画像に対しても高画質な補間フレーム画像を生成し出力することができる画像処理装置、画像処理方法および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明にかかる画像処理装置は、複数のフレーム画像間に内挿する補間フレーム画像を生成する画像処理装置であって、前記複数のフレーム画像の各フレーム内の画素値の変化に基づいて、前記補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出する探索範囲算出手段と、前記探索範囲算出手段が算出した探索範囲内において、前記動きベクトルを推定する動きベクトル推定手段と、前記動きベクトル推定手段が算出した動きベクトルに基づいて、前記補間フレーム画像を生成する補間画像生成手段を備えたものである。
【発明の効果】
【００１１】
本発明により、高画質な補間フレーム画像を生成し出力することができる画像処理装置、画像処理方法および画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第一の実施の形態にかかる画像処理装置の概要を示すブロック図である。
【図２】本発明の第一の実施の形態にかかる画像処理装置の構成を示すブロック図である。
【図３】適切な探索範囲についての説明図である。
【図４】不適切な探索範囲についての説明図である。
【図５】マッチングパターンを表す説明図である。
【図６】探索範囲算出手段３１の構成を示すブロック図である。
【図７】輝度変化指標の算出についての説明図である。
【図８】隣接画素を用いた高速化についての説明図である。
【図９】輝度変化情報についての説明図である。
【図１０】第一の実施の形態にかかる画像処理装置の動作を示す流れ図である。
【図１１】本発明の第二の実施の形態にかかる画像処理装置の構成を示すブロック図である。
【図１２】第二の実施の形態にかかる画像処理装置の動作を示す流れ図である。
【図１３】本発明の第三の実施の形態にかかる画像処理装置の構成を示すブロック図である。
【図１４】第三の実施の形態にかかる画像処理装置の動作を示す流れ図である。
【図１５】ブロックマッチングの問題点についての説明図である。
【発明を実施するための形態】
【００１３】
次に、本発明を実施するための形態について、図面を参照して詳細に説明する。
第一の実施の形態．
まず、本発明の第一の実施の形態にかかる画像処理装置の概要について説明する。図１は、本発明の実施の形態１にかかる画像処理装置の概要を示すブロック図である。
画像処理装置は、動きベクトル推定手段６１、探索範囲算出手段６２及び補間画像生成手段６３を備える。ここで、図１において画像処理装置に入力される複数のフレーム画像として、前後２つのフレーム画像の場合を例示するが、入力されるフレーム画像の数はここで例示した数に限られない。
【００１４】
動きベクトル推定手段６１は、入力された複数のフレーム画像に基づいて、複数のフレーム画像間に内挿する補間フレーム画像に含まれる補間画素の動きベクトルを推定する。
探索範囲算出手段６２は、入力された複数のフレーム画像の画素値に基づいて、動きベクトルを推定する探索範囲を決定する。
補間画像生成手段６３は、動きベクトル推定手段６１において生成された動きベクトルに基づいて、補間フレーム画像を生成する。
【００１５】
続いて、本発明の第一の実施の形態にかかる画像処理装置の処理の概要について説明する。
まず、探索範囲算出手段６２は、前後フレーム画像が入力されると、入力された前後フレーム画像の画素値に基づいて、動きベクトルの探索範囲を決定する。そして、探索範囲算出手段６２は、決定した探索範囲を動きベクトル推定手段６１に出力する。
動きベクトル推定手段６１は、探索範囲算出手段６２から出力された探索範囲を取得する。動きベクトル推定手段６１は、入力された複数のフレーム画像に基づき、取得した探索範囲内において、補間フレーム画像に含まれる補間画素の動きベクトルを推定する。そして、動きベクトル推定手段６１は、動きベクトルを補間画像生成手段６３に出力する。
補間画像生成手段６３は、動きベクトル推定手段６１から出力された動きベクトルを取得する。そして、補間画像生成手段６３は、入力された複数のフレーム画像および取得した動きベクトルに基づいて補間フレーム画像を生成する。
【００１６】
続いて、本発明の第一の実施の形態にかかる画像処理装置の詳細について説明する。なお、本説明においては、前後２枚のフレーム画像を入力とした場合における形態について説明しているが、本手法は３枚以上の入力フレーム画像に対しても容易に拡張が可能である。
また、本説明においては、画素値とは、画素に基づく値であればどのような値であってもよく、画素の輝度やＲＧＢなどの色成分の値などを含んだ値、輝度値、色変換を用いて得られる明度値やＲＧＢなどの色成分の要素の値であってもよい。なお、本実施の形態における探索範囲の算出方法は、画素値として輝度値を用いた場合を例示して説明する。
【００１７】
図２は、本発明による第一の実施の形態にかかる画像処理装置の構成を示すブロック図である。図２を参照すると、本発明による第一の実施の形態にかかる画像処理装置の構成は、探索範囲算出手段３６と動きベクトル推定手段３１と動き補償補間手段３２と０ベクトル補間手段３３と探索範囲評価手段３４と補間画像合成手段３５とから構成される。なお、動き補償補間手段３２、０ベクトル補間手段３３、探索範囲評価手段３４及び補間画像合成手段３５は、補間画像生成手段として機能する。
【００１８】
動きベクトル推定手段３１は、前後フレーム画像を入力とし、ブロックマッチング法を用いて、動き補償補間手段３２において生成する動き補償補間画像に含まれる各補間画素の動きベクトルを推定する。ブロックマッチング法は、あるフレーム画像における所定サイズの画像ブロックと他フレーム画像における同一サイズの画像ブロックとを比較することで、一致する画像ブロック同士を検出する方法である。ブロックマッチング法を用いた動きベクトル推定では、画素位置(x,y)における補間画素の動きベクトル(dx(x,y),dy(x,y))を、式（１）や式（２）で表される評価関数Ｐ0(x,y,dx,dy)を最小化するdx,dyとすることで算出する。ただし、F1(x,y)およびF2(x,y)はそれぞれ画素位置(x,y)における前フレーム画像および後フレーム画像の画素値、Blはブロックサイズを表す。
【００１９】
動き補償補間手段３２は、推定された動きベクトルと前後フレーム画像をもとに動き補償補間画像を生成し、補間画像合成手段３５に出力する。動き補償補間画像の各補間画素の画素値は、式（３）のように決定される。ただし、MC(x,y)は、画素位置(x,y)における動き補償補間画像の画素値を表す。
【００２０】
０ベクトル補間手段３３は、動きベクトルを用いずに前後フレーム画像を合成して、０ベクトル補間画像を生成し、補間画像合成手段３５に出力する。０ベクトル補間画像は、式（４）で表されるように全ての動きベクトルを０とした時の動き補償補間により生成されたり、前後フレーム画像のいずれかをコピーすることにより生成されたりする。ただし、V0(x,y)は、画素位置(x,y)における０ベクトル補間画像の画素値を表す。
【００２１】
探索範囲算出手段３６は、前後フレーム画像を入力とし、補間画素毎の動きベクトルを推定する探索範囲を動きベクトル推定手段３１及び探索範囲評価手段３４に、その探索範囲内における前後フレーム画像の輝度変化情報を動きベクトル推定手段３１に出力する。補間画素毎の探索範囲は、前後フレーム画像における注目補間画素位置を中心とした輝度値の変化が、画素位置をＸ軸、Ｙ軸、輝度値をＺ軸にとることで形成される３次元空間上で、類似した凸曲面となるような範囲が設定される。この範囲は、例えば、類似した凸曲面となるような最大範囲とするとよい。類似した凸曲面となるような範囲を設定する最大の利点は、その範囲内において、注目したフレーム画像の注目画素に対応するもう一方のフレーム画像の画素位置の候補領域を一意に定めることができることである。
【００２２】
例えば、図３(a)及び図３(b)のそれぞれに例示する前後フレーム画像のように、画素位置をＸ軸、輝度値をＹ軸にとることで形成される２次元空間上では、探索範囲内で輝度値の変化が類似した凸曲線である場合は、一方フレーム画像の増加領域に対する他方のフレーム画像の増加領域、一方フレーム画像の減少領域に対する他方のフレーム画像の減少領域を一意に定めることができる。しかし、図４(a)及び図４(b) のそれぞれに例示する前後フレーム画像のように、探索範囲内で輝度値の変化が２つ以上の異なる方向への凸曲線に分割可能である場合は、一方フレーム画像の増加または領域に対する他方のフレーム画像の増加または減少領域が複数存在することになる。つまり、注目したフレーム画像の注目画素に対応するもう一方のフレーム画像の画素位置の候補領域が複数存在することになる。このような探索範囲で動きベクトル推定のマッチング処理を実行すると画素毎に異なる対応領域が選択され、補間フレーム画像の画質が劣化する可能性がある。
【００２３】
これをＸ軸、Ｙ軸、輝度値をＺ軸にとることで形成される３次元空間に拡張した場合、前後フレーム画像間で、注目補間画素位置を中心として類似した凸曲面となるような範囲内では、注目したフレーム画像の注目画素に対応するもう一方のフレーム画像の画素位置の候補領域を一意に定めることが可能となる。
ここで、探索範囲内で輝度値の変化が２つ以上の異なる方向への凸曲面に分割可能である場合は、動きベクトル推定の結果、画素毎に異なる対応領域が選択され、補間フレーム画像の画質が劣化する。しかし、探索範囲算出手段３６では、補間画素毎の探索範囲を、類似した凸曲面となるような最大範囲として設定することにより、探索範囲内で輝度値の変化が２つ以上の異なる方向への凸曲面に分割可能とならないようにして画質劣化を抑制する。
また、探索範囲算出手段３６により設定される探索範囲を用いると、類似したパターンが複数ある領域では、前後フレーム間で最も近接するパターンを１つずつ含む範囲が自動的に算出されることとなるため、経験上、最も動き補償補間画像の画質が劣化する可能性の小さい類似したパターン間で最も短い動きベクトルを検出されることとなる。
【００２４】
探索範囲算出手段３６は、探索範囲を以降に記述する第１の算出方法もしくは第２の算出方法のいずれかにより算出する。
探索範囲の第１の算出方法は、あらかじめ図５に示すようなスケーリング可能な凸曲面に収まる複数のパターン（パターン中の各値は、0.0〜1.0）を用意し、初期値として前後フレーム画像における注目補間画素位置の1画素×１画素の範囲を設定し、範囲を上下左右１画素ずつ広げながら、各パターンとマッチングを取ることにより、前後それぞれのフレーム画像についてその範囲（以下、「指定範囲」）における輝度変化が凸曲面に収まっているかの判別とフレーム画像間で類似した凸曲面であるかの判別とを繰り返すことで、それぞれの判別における条件を満たす最大範囲を探索範囲として求める。
このように、本実施の形態の探索範囲の算出における凸曲面とは、凸曲面に収まっている曲面であり、図５に示すパターン１０〜１９のような凸曲面の他に、パターン２〜９のような単調増加もしくは単調減少する曲面のように凸曲面の一部である曲面も含まれる。また、パターン１のような平面も含まれる。
【００２５】
前後それぞれのフレーム画像について、ある範囲における輝度変化が凸曲面に収まっているかの判別方法としては、式（５）で与えられる評価関数Q(x,y,ρ,i)を最小とするパターンを選択し、選択されたパターンにおける評価関数の値があらかじめ設定されている閾値を下回っていれば凸曲面に収まっていると判断する。評価関数Q(x,y,ρ,i)は、Maxを1.0、Minを0.0として正規化した指定範囲内の画素の輝度値と、その画素位置に対応するパターンZρ,iの値の差分絶対値和を算出することで、注目フレーム画像の指定範囲とパターンZρ,iを類似度を求める関数である。ただし、xおよびyは、注目画素位置のxおよびy座標、ρは評価する範囲の広さであり指定範囲の一辺の長さ、iは評価するパターンのそれぞれを一意に示すインデックス番号、Y(x,y)は座標(x,y)における注目フレーム画像の輝度値、Zρ,iは評価範囲に合わせてスケーリングされたインデックス番号iのパターン画像をMaxを1.0、Minを0.0として正規化した指定範囲内の画素の輝度値、MaxおよびMinは注目フレーム画像の指定範囲内の輝度値の最大値および最小値をそれぞれ意味する。
【００２６】
前後フレーム画像間で類似した凸曲面であるかの判別は、入力された前後それぞれのフレーム画像における評価関数を最小化したパターンのインデックス番号の組み合わせから、あらかじめ手動で与えられているその組み合わせが類似した凸曲面であるかどうかの情報により判断する。この情報は、例えば、メモリやＨＤＤ(hard Disk Drive)等の任意の記憶手段(図示せず)に格納しておき、探索範囲算出手段３６がこれを読み出すことにより取得するようにしてもよい。
また、探索範囲算出手段３６は、探索範囲内における前後フレーム画像の輝度変化情報として、探索範囲における評価関数を最小化したパターンのインデックス番号を動きベクトル推定手段３１に出力する。
【００２７】
また、探索範囲の第２の算出方法として、探索範囲内の隣接する画素間での輝度値の変化を指標化し、これらを統合することで、探索範囲内の輝度値の変化が類似した凸曲面であるかを判別してもよい。図６は、隣接する画素間での輝度値の変化から探索範囲を算出する場合の、探索範囲算出手段３６の構成を示すブロック図である。図６の探索範囲算出手段３６は、輝度変化指標計算手段３６１と輝度変化情報算出手段３６２とから構成され、前後フレーム画像を入力とし、補間画素毎の、動きベクトルを推定する探索範囲を動きベクトル推定手段３１及び探索範囲評価手段３４に、その探索範囲内における前後フレーム画像の輝度変化情報を動きベクトル推定手段３１に出力する。
【００２８】
輝度変化指標計算手段３６１は、前後フレーム画像を入力とし、入力フレーム画像の各画素の水平方向と垂直方向に隣接する画素との輝度の変化を表す輝度変化指標を輝度変化情報計算手段３６２に出力する。輝度変化指標は、隣り合う画素の輝度変化が増加ならば1、減少ならば-1、平坦ならば0のように与えられる値である。画像中の座標(x,y)と座標(x+1,y)との間の水平方向の輝度変化指標DH(x,y)および座標(x,y)と座標(x,y+1)との間の垂直方向の輝度変化指標DV(x,y)の算出方法の一例を式（６）および式（７）に示す。ただし、Y(x,y)は、画像中の座標(x,y)の輝度値、thresは、あらかじめ設定された閾値である。
【００２９】
また、輝度変化指標は、隣接画素との差分だけではなく、いくつか離れた画素との差分を用いて求めてもよい。例えば、水平方向の各ラインの輝度変化指標を左から順番に算出する場合、図７に示すような左数画素の輝度変化指標が平坦で連続している"？"により示す位置の輝度変化指標を求める時に、左隣の画素との差分値と輝度変化指標が平坦となる直前の画素との差分値を用いて決定してもよい。例えば、どちらか大きいほうの差分値に基づいて、輝度変化指標を決定する。
【００３０】
輝度変化情報算出手段３６２は、輝度変化指標計算手段３６１から出力される前記輝度変化指標を元に、補間画素毎に動きベクトルを推定するための探索範囲と前後フレーム画像のその範囲内における輝度変化を表す輝度変化情報を算出し、動きベクトル推定手段３１に出力する。輝度変化情報算出手段３６２において、補間画素毎の探索範囲は、前後フレーム画像における注目補間画素位置を中心とした輝度値の変化が、画素位置をＸ軸、Ｙ軸、輝度値をＺ軸にとることで形成される３次元空間上で、類似した凸曲面となるような最大範囲が設定される。
【００３１】
探索範囲の第２の算出方法は、注目補間画素位置における前後フレーム画像で類似した凸曲面となるような最大範囲（φ(x,y)画素×φ(x,y)画素）を求める方法の一つに、初期値として前後フレーム画像における注目補間画素位置の1画素×１画素の範囲を設定し、範囲を上下左右１画素ずつ広げながら、前後それぞれのフレーム画像についてその範囲（以下、「指定探索範囲(ρ(x,y)×ρ(x,y))」）における輝度変化が凸曲面に収まっているかの判別とフレーム画像間で類似した凸曲面であるかの判別とを繰り返すことで、それぞれの判別における条件を満たす最大範囲を探索範囲として求める。
【００３２】
フレーム画像内のある指定された範囲における輝度変化が凸曲面に収まっているかの判別方法の一例を以下に示す。
まず、指定された範囲内の水平方向及び垂直方向の各ラインについて、ライン内の輝度変化を、１．平坦、２．単調増加、３．単調減少、４．上に凸、５．下に凸、６．その他の６つの指標に分類する。以下、このライン内の輝度変化の指標をライン輝度変化指標と呼ぶことにする。注目補間画素位置(x,y)、指定探索範囲(ρ(x,y)×ρ(x,y))の時、補間画素位置からp（-(ρ(x,y)-1)/2 ≦ p ≦ (ρ(x,y)-1)/2）離れた水平方向のライン輝度変化指標LH(x,y,ρ(x,y),p)は、輝度変化指標計算手段３６１から出力される輝度変化指標のうち、注目ラインの範囲における輝度変化指標DH(x-(ρ(x,y)-1)/2,y+p)〜DH(x+(ρ(x,y)-1)/2-1,y+p)の組み合わせを考慮することにより、容易に求めることができる。
【００３３】
例えば、注目ラインの範囲における輝度変化指標が全て0の場合のライン輝度変化指標は平坦、1または0の場合のライン輝度変化指標は単調増加のように求めることができる。同様に、注目補間画素位置(x,y)、指定探索範囲(ρ(x,y)×ρ(x,y))の時、補間画素位置からp（-(ρ(x,y)-1)/2 ≦ p ≦ (ρ(x,y)-1)/2）離れた垂直方向のライン輝度変化指標LV(x,y,ρ(x,y),p)は、注目ラインの範囲における輝度変化指標DV(x+p,-(ρ(x,y)-1)/2)〜DV(x+p,(ρ(x,y)-1)/2-1)の組み合わせを考慮することにより、容易に求めることができる。また、指定探索範囲をρ(x,y)×ρ(x,y)から上下左右１画素ずつ広げ(ρ(x,y)+2)×(ρ(x,y)+2)とした場合、新たなる範囲のライン輝度変化指標は、もとの範囲のライン輝度変化指標を用いて高速に求めることが可能である。例えば、新たなるラインの水平方向のライン輝度変化指標LH(x,y,ρ(x,y)+2,p)は、もとの範囲のライン輝度変化指標LH(x,y,ρ(x,y),p)と輝度変化指標 DH(x-(ρ(x,y)-3)/2,y+p)およびDH(x+(ρ(x,y)+1)/2-1,y+p)の３つの組み合わせにより求めることも可能である。
【００３４】
次に、水平方向および垂直方向の前記ライン輝度変化指標をそれぞれの方向で統合し、指定探索範囲における輝度変化が凸曲面に収まっているかどうかを判断する。指定探索範囲における輝度変化が凸曲面に収まっているかどうかの条件の一例を以下に示す。
条件１：その他と分類されたライン輝度変化指標を持つラインが存在する場合は、凸曲面に収まっていないと判断する。
条件２：上に凸と分類されたライン輝度変化指標を持つラインと下に凸と分類されたライン輝度変化指標を持つラインの両方が存在する場合には、凸曲面に収まっていないと判断する。
条件３：上に凸と分類されたライン輝度変化指標または下に凸と分類されたライン輝度変化指標を持つラインが複数存在し、かつこれらのラインの間に他の指標に分類されたラインが存在する場合は、凸曲面に収まっていないと判断する。
条件４：上に凸と分類されたライン輝度変化指標または下に凸と分類されたライン輝度変化指標を持つラインが存在し、かつ単調増加または単調減少のいずれかの指標を持つラインがこのラインを挟んで存在する場合は、凸曲面に収まっていないと判断する。
条件５：条件１〜４のいずれかに当てはまらない場合は、凸曲面に収まっていると判断する。
最後に、水平方向および垂直方向のライン輝度変化指標の統合結果を比較する。比較方法として、どちらか一方でも凸曲面に収まっていないと判断された場合および水平方向と垂直方向とで上に凸と下に凸の異なる方向に凸であるラインを含んでいる場合に凸曲面に収まっていないと判断し、その他の場合には凸曲面に収まっていると判断する。
【００３５】
フレーム画像間である指定された範囲における輝度変化が類似した凸曲面であるかの判別方法としては、前フレーム画像と後フレーム画像とで上に凸と下に凸の異なる方向に凸であるラインを含んでいる場合に類似した凸曲面ではないと判別する。
【００３６】
注目補間画素における動きベクトル推定の探索範囲は、隣接する補間画素における動きベクトル推定の探索範囲を利用することで高速に求めることも可能である。例えば、画素位置(x,y)の注目補間画素における探索範囲を、画素位置(x-1,y)の隣接補間画素における探索範囲（φ(x-1,y)画素×φ(x-1,y)画素）を利用して求めることを考える。図８に示すように、画素位置(x-1,y)が隣接補間画素における探索範囲（φ(x-1,y)画素×φ(x-1,y)画素）であることは、その範囲（図中黒枠）での輝度変化は前後フレーム画像で類似した凸曲面となっており、その領域から上下および左右またはそのどちらかに領域を広げることにより前後フレーム画像で類似した凸曲面となくなることを示している。そのため、画素位置(x,y)の注目補間画素における探索範囲の候補は、(φ(x-1,y)-2)画素×(φ(x-1,y)-2)画素、φ(x-1,y)画素×φ(x-1,y)画素、(φ(x-1,y)+2)画素×(φ(x-1,y)+2)画素の３つのみとなる。そのため、初期値として1画素×１画素の範囲を設定し、範囲を上下左右１画素ずつ広げながら判別を繰り返す必要はなくなり、この３つの判別のみで新たなる画素位置における探索範囲を算出することが可能になる。
【００３７】
また、本発明における動きベクトル推定手段３１で実行される動きベクトル推定計算では、探索範囲内の前後フレーム画像の各画素の輝度勾配情報を用いることで高精度化することも可能である。そこで、輝度変化情報算出手段３６２は、前フレーム画像の水平および垂直方向のライン輝度変化指標LH1およびLV1と後フレーム画像の水平および垂直方向のライン輝度変化指標LH2およびLV2とを輝度変化情報として動きベクトル推定手段３１に出力する。この場合、例えば、画素位置(x,y)の注目補間画素において、探索範囲φ(x,y)内の前フレーム画像の画素位置(x+u,y+v)の輝度勾配は、LH1(x,y,φ(x,y),v)が単調増加、LV1(x,y,φ(x,y),u)が単調減少の場合、垂直方向に増加、水平方向に減少といえ、輝度勾配を決定することが可能になる。
【００３８】
しかし、LH1(x,y,φ(x,y),v)またはLV1(x,y,φ(x,y),u)が上に凸または下に凸である場合には、水平または垂直方向に増加か減少かを記述することは難しい。また、図９に示すように、上に凸または下に凸の指標を持つラインにおいて極大値または極小値付近で隣り合う画素の輝度変化指標が0（平坦）である場合、増加と減少の両方に捉えられる領域が発生する。そこで、輝度変化情報算出手段３６２は、上に凸または下に凸の指標を持つラインについては、極大値または極小値付近の隣り合う画素の輝度変化指標が0（平坦）である領域の端点の位置を付加し輝度変化情報として出力することで、ライン中の各画素が増加か減少かまたはその両方かを分別することを可能にする。
【００３９】
動きベクトル推定手段３１は、前後入力フレーム画像と補間画素毎の探索範囲および輝度変化情報を入力し、各補間画素の動きベクトルを推定し、動き補償補間手段３２に出力する。各補間画素の動きベクトルは、探索範囲があらかじめ用意されたパターンとのマッチングにより算出された場合、輝度変化情報にかかわらず式（１）や式（２）で表されるブロックマッチング法を用いて推定される。また、探索範囲を隣接する画素間での輝度値の変化の指標をもとに算出した場合には、画素位置(x,y)の補間画素における動きベクトル(dx(x,y),dy(x,y))を、入力された輝度変化情報からマッチングを取るペアが同一輝度勾配であるかどうか判別し、ブロックマッチング法を用いて式（８）や式（９）で表される評価関数Ｐ(x,y,dx,dy)を最小化するdx,dyとすることで算出してもよい。ただし、dxおよびdyの範囲は、補間画素毎に、探索範囲算出手段３６から入力される探索範囲をもとに-(φ(x,y)-1)/2 ≦ dx,dy ≦ (φ(x,y)-1)/2となるよう設定される。また、F1(x,y)およびF2(x,y)はそれぞれ画素位置(x,y)における前フレーム画像および後フレーム画像の画素値、Blはブロックサイズを表す。
【００４０】
同一輝度勾配であるかどうかの判別は、輝度変化情報から、前後フレーム画像のマッチングを取る画素位置における水平および垂直方向の輝度勾配を読み出し、マッチングを取る画素間でそれぞれの方向についての輝度勾配が一致しているかどうかを確認することで判断される。ただし、注目画素のある方向への輝度勾配が平坦な場合、または図９に示すラインの画素"Ｌ"〜画素"Ｒ"のように、極大・極小値付近で増加か減少か曖昧である場合は、増加および減少の両方に当てはまると考えることとする。
【００４１】
探索範囲評価手段３４は、探索範囲算出手段３６から出力される各補間画素における探索範囲を入力とし、各補間画素位置における動きベクトルの確信度を表す探索範囲評価結果を補間画像合成手段３５に出力する。
探索範囲算出手段３６から出力される探索範囲が狭いことは、入力フレーム画像の注目補間画素位置周辺の比較的近い位置において、繰り返しパターン等の類似した複数のパターンが存在することを意味する。一方、探索範囲算出手段３６から出力される探索範囲が十分広いことは、入力フレーム画像の注目補間画素位置周辺において、類似した複数のパターンが存在しないことを意味する。探索範囲算出手段３６から出力される探索範囲は、類似した複数のパターンが存在する領域においても発生する頻度の高い最も短い動きベクトルを推定するように設定されるが、その際に推定される動きベクトルが正しい可能性は、そのようなパターンが存在しない領域において推定される動きベクトルが正しい可能性が低くなる。そのため、探索範囲算出手段３６から出力される探索範囲が狭い場合の動きベクトル推定手段３１にて推定される動きベクトルの確信度は、探索範囲が広い場合と比較して低くなるといえる。
【００４２】
そこで、探索範囲評価手段３４は、画素位置（x,y）における探索範囲（φ(x,y)×φ(x,y)）をもとに、動きベクトル推定の確信度を表す探索範囲評価結果α(x,y)（0≦α(x,y)≦1）を、φ(x,y)が大きくなるほど１に近づき、φ(x,y)小さくなるほど0に近づくように設定し、補間画像合成手段３５に出力する。α(x,y)の算出方法の一例を式（１０）に示す。ただし、Tr1およびTr2はあらかじめ設定される閾値である。
【００４３】
補間画像合成手段３５は、動き補償補間画像と０ベクトル補間画像と探索範囲評価結果とを入力とし、探索範囲評価結果をもとに動き補償補間画像と０ベクトル補間画像とを合成し、補間フレーム画像を生成する。補間フレーム画像を生成する一例を式（１１）に示す。ただし、Fo(x,y)は、画素位置（x,y）における補間フレーム画像の画素値を表す。
【００４４】
次に、図１および図１０のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
探索範囲算出手段３６は、入力された前後フレーム画像の各画素に基づいて、動きベクトルを推定するための探索範囲とその探索範囲内の前後フレーム画像の輝度変化を表す輝度変化情報を算出する（Ｓ００１）。
動きベクトル推定手段３１は、補間画素毎に、入力される探索範囲とその探索範囲内の輝度変化情報をもとに、ブロックマッチング法を用いて動きベクトルを推定する（Ｓ００２）
動き補償補間手段３２は、推定された動きベクトルをもとに、入力された前フレーム画像と後フレーム画像とを合成し動き補償補間画像を生成する（Ｓ００３）。
０ベクトル補間手段３３は、入力された前フレーム画像と後フレーム画像とから０ベクトル補間画像を生成する（Ｓ００４）。
探索範囲評価手段３６は、補間画素毎に、動きベクトル推定の探索範囲から探索範囲評価結果を算出する（Ｓ００５）。
補間画像合成手段３５は、動き補償補間画像と０ベクトル補間画像とを探索範囲評価結果をもとに合成し、補間フレーム画像を生成する（Ｓ００６）。
【００４５】
なお、本実施の形態においては、補間画素位置を中心として類似した凸曲面となるような範囲を探索範囲とすることにより、入力された前後フレーム画像内において互いに類似する２つの画像パターンを共に含むことがないように探索範囲が決定される。ここで、画素位置をＸ軸及びＹ軸にとり、画素値をＺ軸にとった３次元座空間において、補間画素の位置を中心とする前後フレーム画像の各々の画素値の分布が、探索範囲の境界を除く範囲に含まれる極大点および極小点の合計数が１つ以下となる範囲を探索範囲とすることにより、入力された前後フレーム画像内において互いに類似する２つの画像パターンを共に含むことがないように探索範囲を決定してもよい。
【００４６】
第二の実施の形態．
図１１は、本発明による第二の実施の形態にかかる画像処理装置の構成を示すブロック図である。図１１を参照すると、本発明による第二の実施の形態にかかる画像処理装置は、探索範囲算出手段３６と動きベクトル推定手段３１と動き補償補間手段３２と０ベクトル補間手段３３と探索範囲評価手段３４と輝度変化情報評価手段４７と補間画像合成手段４５とから構成される。本発明による第二の実施の形態にかかる画像処理装置の構成は、前記第一の実施の形態にかかる画像処理装置の構成と比較して、輝度変化情報評価手段４７と補間画像合成手段４５において異なる。以下、輝度変化情報評価手段４７と補間画像合成手段４５の詳細を説明する。なお、動き補償補間手段３２、０ベクトル補間手段３３、探索範囲評価手段３４、補間画像合成手段３５及び輝度変化情報評価手段４７は、補間画像生成手段として機能する。
【００４７】
輝度変化情報評価手段４７は、探索範囲算出手段３６から出力される輝度変化情報を入力とし、補間画素毎の、輝度変化情報から推測される推定された動きベクトルの確信度を表す輝度変化情報評価結果を補間画像合成手段３５に出力する。
一般に、補間画素位置における前後フレーム画像の輝度変化が複雑である場合に比べ、同一範囲内の輝度変化が単純である場合の方が正確な動きベクトルを求めやすいといえる。そこで、輝度変化情報評価手段４７は、画素位置（x,y）における輝度変化情報評価結果β(x,y)（0≦β(x,y)≦1）を、入力される輝度変化情報をもとに決定する。輝度変化情報評価結果は、探索範囲があらかじめ用意されたパターンとのマッチングにより算出された場合には、あらかじめ設定されている輝度変化情報の組み合わせに応じた値により決定する。この値は、例えば、任意の記憶手段(図示せず)に格納しておき、輝度変化情報評価手段４７がこれを読み出すことにより取得するようにしてもよい。また、探索範囲を隣接する画素間での輝度値の変化の指標をもとに算出した場合には、その探索範囲における輝度変化情報内のライン輝度変化指標を用いて以下のように決定する。
【００４８】
まず、輝度変化情報を、前記ライン輝度変化指標をもとに、以下のカテゴリーのいずれかに分類する。
カテゴリー１．全てのライン輝度変化指標が、平坦である。
カテゴリー２．全てのライン輝度変化指標が、平坦または単調増加、もしくは平坦または単調減少である。
カテゴリー３．全てのライン輝度変化指標が、平坦または単調増加または単調減少である。
カテゴリー４．上に凸または下に凸であるライン輝度変化指標を含む
次に、あらかじめカテゴリー１の輝度変化情報評価結果＞カテゴリー２の輝度変化情報評価結果＞カテゴリー３の輝度変化情報評価結果＞カテゴリー４の輝度変化情報評価結果となるようにβ(x,y)を決定する。例えば、任意の記憶手段(図示せず)に格納されているテーブルから対応カテゴリーの値を読み出し、β(x,y)に代入する。
【００４９】
補間画像合成手段４５は、動き補償補間画像と０ベクトル補間画像と探索範囲評価結果と輝度変化情報評価結果とを入力とし、探索範囲評価結果と輝度変化情報評価結果とから算出される各補間画素の合成重みをもとに、動き補償補間画像と０ベクトル補間画像とを式（１２）のように合成し、補間フレーム画像を生成する。ただし、w1(x,y)は、画素位置（x,y）における合成重みを表す。
【００５０】
各補間画素の合成重みは、式（１３）や式（１４）や式（１５）をもとに算出する。
【００５１】
次に、図１１および図１２のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
探索範囲算出手段３６は、入力された前後フレーム画像の各画素に基づいて、動きベクトルを推定するための探索範囲とその探索範囲内の前後フレーム画像の輝度変化を表す輝度変化情報を算出する（Ｓ１０１）。
動きベクトル推定手段３１は、補間画素毎に、入力される探索範囲とその探索範囲内の輝度変化情報をもとに、ブロックマッチング法を用いて動きベクトルを推定する（Ｓ１０２）。
動き補償補間手段３２は、推定された動きベクトルをもとに、入力された前フレーム画像と後フレーム画像とを合成し動き補償補間画像を生成する（Ｓ１０３）。
０ベクトル補間手段３３は、入力された前フレーム画像と後フレーム画像とから０ベクトル補間画像を生成する（Ｓ１０４）。
探索範囲評価手段３６は、補間画素毎に、動きベクトル推定の探索範囲から探索範囲評価結果を算出する（Ｓ１０５）。
輝度変化情報評価手段４７は、補間画素毎に、動きベクトル推定の探索範囲内の輝度変化情報から輝度変化情報評価結果を算出する（Ｓ１０６）。
補間画像合成手段４５は、動き補償補間画像と０ベクトル補間画像とを探索範囲評価結果と輝度変化情報評価結果とから算出される合成重みをもとに合成し、補間フレーム画像を生成する（Ｓ１０７）。
【００５２】
第三の実施の形態．
図１３は、本発明による第三の実施の形態にかかる画像処理装置の構成を示すブロック図である。図１３を参照すると、本発明による第三の実施の形態にかかる画像処理装置は、探索範囲算出手段３６と動きベクトル推定手段５１と動き補償補間手段３２と０ベクトル補間手段３３と探索範囲評価手段３４と輝度変化情報評価手段４７とブロック差分評価手段５８と補間画像合成手段５５とから構成される。本発明による第三の実施の形態にかかる画像処理装置の構成は、前記第二の実施の形態にかかる画像処理装置の構成と比較して、動きベクトル推定手段５１とブロック差分評価手段５８と補間画像合成手段５５において異なる。以下、動きベクトル推定手段５１とブロック差分評価手段５８と補間画像合成手段５５の詳細を説明する。なお、動き補償補間手段３２、０ベクトル補間手段３３、探索範囲評価手段３４、補間画像合成手段３５、輝度変化情報評価手段４７及びブロック差分評価手段５８は、補間画像生成手段として機能する。
【００５３】
動きベクトル推定手段５１は、前後フレーム画像と補間画素毎の探索範囲および輝度変化情報を入力し、各補間画素の動きベクトルを推定し、補間画素毎に動きベクトルを動き補償補間手段３２に、ブロック差分値をブロック差分評価手段５８に出力する。動きベクトル推定手段５１は、前記第一および第二の実施の形態における動きベクトル推定手段３１と比較して、補間画素毎のブロック差分値を出力する点で異なる。画素位置(x,y)の補間画素におけるブロック差分値S(x,y)は、推定された動きベクトル（dx(x),dy(y)）の時の評価関数の値（P0(x,y,dx(x),dy(y))またはP(x,y,dx(x),dy(y))）である。
【００５４】
ブロック差分評価手段５８は、動きベクトル推定手段５１から出力される各補間画素におけるブロック差分値を入力とし、ブロック差分値をもとにした各補間画素位置における動きベクトルの確信度を表すブロック差分評価結果を補間画像合成手段３５に出力する。
ブロック差分値は、推定された動きベクトルで対応付けられる前後フレーム画像の画素ペアの類似度を表し、ブロック差分値が小さいほど類似度が高く、ブロック差分値が大きいほど類似度が低いことを意味する。そのため、動きベクトル推定手段５１にて推定される動きベクトルの確信度は、ブロック差分値が大きい場合はブロック差分値が小さい場合と比較して低くなるといえる。そこで、ブロック差分評価手段５８は、画素位置（x,y）におけるブロック差分値S(x,y)をもとに、ブロック差分評価結果γ(x,y)（0≦γ(x,y)≦1）を、S(x,y)が小さくなるほど１に近づき、S(x,y)が大きくなるほど0に近づくように設定し、出力する。γ(x,y)の算出方法の一例を式（１６）に示す。ただし、Tb1およびTb2はあらかじめ設定される閾値である。
【００５５】
補間画像合成手段５５は、動き補償補間画像と０ベクトル補間画像と探索範囲評価結果と輝度変化情報評価結果とブロック差分評価結果とを入力とし、探索範囲評価結果と輝度変化情報評価結果とブロック差分評価結果とから算出される各補間画素の合成重みをもとに、動き補償補間画像と０ベクトル補間画像とを式（１７）のように合成し、補間フレーム画像を生成する。ただし、w2(x,y)は、画素位置（x,y）における合成重みを表す。
【００５６】
各補間画素の合成重みは、式（１８）や式（１９）や式（２０）をもとに算出する。
【００５７】
次に、図１３および図１４のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
探索範囲算出手段３６は、入力された前後フレーム画像の各画素に基づいて、動きベクトルを推定するための探索範囲とその探索範囲内の前後フレーム画像の輝度変化を表す輝度変化情報を算出する（Ｓ２０１）。
動きベクトル推定手段５１は、補間画素毎に、入力される探索範囲とその探索範囲内の輝度変化情報をもとに、ブロックマッチング法を用いて動きベクトルを推定し、動きベクトルとその時のブロック差分値を出力する（Ｓ２０２）
動き補償補間手段１２は、推定された動きベクトルをもとに、入力された前フレーム画像と後フレーム画像とを合成し動き補償補間画像を生成する（Ｓ２０３）。
０ベクトル補間手段１３は、入力された前フレーム画像と後フレーム画像とから０ベクトル補間画像を生成する（Ｓ２０４）。
探索範囲評価手段３６は、補間画素毎に、動きベクトル推定の探索範囲から探索範囲評価結果を算出する（Ｓ２０５）。
輝度変化情報評価手段４７は、補間画素毎に、動きベクトル推定の探索範囲内の輝度変化情報から輝度変化情報評価結果を算出する（Ｓ２０６）。
ブロック差分評価手段５８は、補間画素毎に、ブロック差分値からブロック差分評価結果を算出する（Ｓ２０７）。
補間画像合成手段５５は、動き補償補間画像と０ベクトル補間画像とを探索範囲評価結果と輝度変化情報評価結果とブロック差分評価結果とから算出される合成重みをもとに合成し、補間フレーム画像を生成する（Ｓ２０８）。
【００５８】
以上に説明したように本実施の形態にかかる画像処理装置は、補間画素位置の周辺における前後フレーム画像内の輝度変化を調べることで、動きベクトル推定の範囲を画質劣化の生じにくい範囲に限定し、またその範囲の広さから動きベクトル推定の確信度を算出することで誤った動きベクトルを用いた補間を抑制するため、繰り返しパターン領域を有する入力フレーム画像に対しても高画質な補間フレーム画像を生成し出力することができる。
【００５９】
以上に説明した本発明にかかる画像処理装置は、上述の実施の形態の機能を実現するプログラムを記憶した記憶媒体をシステムもしくは装置に供給し、システムあるいは装置の有するコンピュータ又はＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）がこのプログラムを実行することによって、構成することが可能である。
また、このプログラムは様々な種類の記憶媒体に格納することが可能であり、通信媒体を介して伝達されることが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）、ＲＯＭ（Read Only Memory）カートリッジ、バッテリバックアップ付きＲＡＭ（Random Access Memory）メモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジを含む。また、通信媒体には、電話回線の有線通信媒体、マイクロ波回線の無線通信媒体を含み、インターネットも含まれる。
【００６０】
また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現されるだけではなく、このプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ（Operating System）もしくはアプリケーションソフトと共同して上述の実施の形態の機能が実現される場合も、発明の実施の形態に含まれる。
さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットにより行われて上述の実施の形態の機能が実現される場合も、発明の実施の形態に含まれる。
【産業上の利用可能性】
【００６１】
本発明は、入力された前後フレーム画像から補間フレーム画像を生成することでフレームレートを変換するフレームレート変換装置に適用することができる。
【符号の説明】
【００６２】
３１、５１、６１ 動きベクトル推定手段
３２ 動き補償補間手段
３３ ０ベクトル補間手段
３４ 探索範囲評価手段
３５、４５、５５ 補間画像合成手段
３６、６２ 探索範囲算出手段
４７ 輝度変化情報評価手段
５８ ブロック差分評価手段
６３ 補間画像生成手段
３６１ 輝度変化指標計算手段
３６２ 輝度変化情報計算手段
【特許請求の範囲】
【請求項１】
複数のフレーム画像間に内挿する補間フレーム画像を生成する画像処理装置であって、
前記複数のフレーム画像の各フレーム内の画素値の変化に基づいて、前記補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出する探索範囲算出手段と、
前記探索範囲算出手段が算出した探索範囲内において、前記動きベクトルを推定する動きベクトル推定手段と、
前記動きベクトル推定手段が推定した動きベクトルに基づいて、前記補間フレーム画像を生成する補間画像生成手段を備えた画像処理装置。
【請求項２】
前記探索範囲は、各フレーム画像内において互いに類似する２つの画像パターンを共に含むことがないように決定される請求項１に記載の画像処理装置。
【請求項３】
前記探索範囲は、画素位置をＸ軸及びＹ軸にとり、画素値をＺ軸にとった３次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が、前記探索範囲の境界を除く範囲に含まれる極大点及び極小点の合計数が１つ以下となる範囲である請求項１又は２に記載の画像処理装置。
【請求項４】
前記探索範囲は、画素位置をＸ軸及びＹ軸にとり、画素値をＺ軸にとった３次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が凸曲面となる範囲である請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記探索範囲は、前記複数のフレーム画像の各々の前記画素値の分布が、前記複数のフレーム画像の各々の間で類似した凸曲面となる範囲である請求項４に記載の画像処理装置。
【請求項６】
前記探索範囲算出手段は、前記画素値の分布が所定のパターン画像のうちのいずれかと類似する場合に、当該画素値の分布が凸曲面であると判断し、
前記複数のフレーム画像に類似するパターン画像のそれぞれが、予め類似すると定められたパターン画像の組である場合に、前記類似した凸曲面であると判断する請求項５に記載の画像処理装置。
【請求項７】
前記探索範囲算出手段は、前記フレーム画像の画素位置をＸ軸およびＹ軸上にとった場合におけるＸ軸方向およびＹ軸方向のそれぞれのラインの画素値の変化の種類を示した情報に基づいて、前記類似した凸曲面となるかどうかを判断する請求項５に記載の画像処理装置。
【請求項８】
前記補間画像生成手段は、前記動きベクトルに基づいて生成した動き補償補間画像と、０ベクトルとした動きベクトル又は前記複数のフレーム画像のうちのいずれかのフレーム画像に基づいて生成した０ベクトル補間画像を前記探索範囲の広さに基づいた割合によって合成して、前記補間フレーム画像を生成し、
前記補間画素は、動き補償補間画像に含まれる画素である請求項１乃至７のいずれかに記載の画像処理装置。
【請求項９】
前記補間画像生成手段は、前記探索範囲が広くなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記補間画像生成手段は、さらに前記探索範囲内における前記フレーム画像の画素値の変化に基づいて、前記割合を決定する請求項８又は９に記載の画像処理装置。
【請求項１１】
前記補間画像生成手段は、前記探索範囲内における前記フレーム画像の画素値の変化が単純になるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記補間画像生成手段は、さらに前記複数のフレーム画像の画素値の差分に基づいたブロック差分値に基づいて、前記割合を決定する請求項１０又は１１に記載の画像処理装置。
【請求項１３】
前記補間画像生成手段は、前記ブロック差分値が小さくなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
複数のフレーム画像間に内挿する補間フレーム画像を生成する画像処理方法であって、
前記複数のフレーム画像の各フレーム内の画素値の変化に基づいて、前記補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出する探索範囲算出ステップと、
前記探索範囲内において、前記動きベクトルを推定する動きベクトル推定ステップと、
前記動きベクトルに基づいて、前記補間フレーム画像を生成する補間画像生成ステップを備えた画像処理方法。
【請求項１５】
前記探索範囲は、各フレーム画像内において互いに類似する２つの画像パターンを共に含むことがないように決定される請求項１４に記載の画像処理方法。
【請求項１６】
前記探索範囲は、画素位置をＸ軸及びＹ軸にとり、画素値をＺ軸にとった３次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が、前記探索範囲の境界を除く範囲に含まれる極大点及び極小点の合計数が１つ以下となる範囲である請求項１４又は１５に記載の画像処理方法。
【請求項１７】
前記探索範囲は、画素位置をＸ軸及びＹ軸にとり、画素値をＺ軸にとった３次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が凸曲面となる範囲である請求項１４乃至１６のいずれかに記載の画像処理方法。
【請求項１８】
前記探索範囲は、前記複数のフレーム画像の各々の前記画素値の分布が、前記複数のフレーム画像の各々の間で類似した凸曲面となる範囲である請求項１７に記載の画像処理方法。
【請求項１９】
前記探索範囲算出ステップでは、前記画素値の分布が所定のパターン画像のうちのいずれかと類似する場合に、当該画素値の分布が凸曲面であると判断し、
前記複数のフレーム画像に類似するパターン画像のそれぞれが、予め類似すると定められたパターン画像の組である場合に、前記類似した凸曲面であると判断する請求項１８に記載の画像処理方法。
【請求項２０】
前記探索範囲算出ステップでは、前記フレーム画像の画素位置をＸ軸およびＹ軸上にとった場合におけるＸ軸方向およびＹ軸方向のそれぞれのラインの画素値の変化の種類を示した情報に基づいて、前記類似した凸曲面となるかどうかを判断する請求項１８に記載の画像処理方法。
【請求項２１】
前記補間画像生成ステップでは、前記動きベクトルに基づいて生成した動き補償補間画像と、０ベクトルとした動きベクトル又は前記複数のフレーム画像のうちのいずれかのフレーム画像に基づいて生成した０ベクトル補間画像を前記探索範囲の広さに基づいた割合によって合成して、前記補間フレーム画像を生成し、
前記補間画素は、動き補償補間画像に含まれる画素である請求項１４乃至２０のいずれかに記載の画像処理方法。
【請求項２２】
前記補間画像生成ステップでは、前記探索範囲が広くなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項２１に記載の画像処理方法。
【請求項２３】
前記補間画像生成ステップでは、さらに前記探索範囲内における前記フレーム画像の画素値の変化に基づいて、前記割合を決定する請求項２１又は２２に記載の画像処理方法。
【請求項２４】
前記補間画像生成ステップでは、前記探索範囲内における前記フレーム画像の画素値の変化が単純になるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項２３に記載の画像処理方法。
【請求項２５】
前記補間画像生成ステップでは、さらに前記複数のフレーム画像の画素値の差分に基づいたブロック差分値に基づいて、前記割合を決定する請求項２３又は２４に記載の画像処理方法。
【請求項２６】
前記補間画像生成ステップでは、前記ブロック差分値が小さくなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項２５に記載の画像処理方法。
【請求項２７】
複数のフレーム画像間に内挿する補間フレーム画像を生成する画像処理プログラムであって、
前記複数のフレーム画像の各フレーム内の画素値の変化に基づいて、前記補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出する探索範囲算出ステップと、
前記探索範囲内において、前記動きベクトルを推定する動きベクトル推定ステップと、
前記動きベクトルに基づいて、前記補間フレーム画像を生成する補間画像生成ステップを備えた画像処理プログラム。
【請求項２８】
前記探索範囲は、各フレーム画像内において互いに類似する２つの画像パターンを共に含むことがないように決定される請求項２７に記載の画像処理プログラム。
【請求項２９】
前記探索範囲は、画素位置をＸ軸及びＹ軸にとり、画素値をＺ軸にとった３次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が、前記探索範囲の境界を除く範囲に含まれる極大点及び極小点の合計数が１つ以下となる範囲である請求項２７又は２８に記載の画像処理プログラム。
【請求項３０】
前記探索範囲は、画素位置をＸ軸及びＹ軸にとり、画素値をＺ軸にとった３次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が凸曲面となる範囲である請求項２７乃至２９のいずれかに記載の画像処理プログラム。
【請求項３１】
前記探索範囲は、前記複数のフレーム画像の各々の前記画素値の分布が、前記複数のフレーム画像の各々の間で類似した凸曲面となる範囲である請求項３０に記載の画像処理プログラム。
【請求項３２】
前記探索範囲算出ステップでは、前記画素値の分布が所定のパターン画像のうちのいずれかと類似する場合に、当該画素値の分布が凸曲面であると判断し、
前記複数のフレーム画像に類似するパターン画像のそれぞれが、予め類似すると定められたパターン画像の組である場合に、前記類似した凸曲面であると判断する請求項３１に記載の画像処理プログラム。
【請求項３３】
前記探索範囲算出ステップでは、前記フレーム画像の画素位置をＸ軸およびＹ軸上にとった場合におけるＸ軸方向およびＹ軸方向のそれぞれのラインの画素値の変化の種類を示した情報に基づいて、前記類似した凸曲面となるかどうかを判断する請求項３１に記載の画像処理プログラム。
【請求項３４】
前記補間画像生成ステップでは、前記動きベクトルに基づいて生成した動き補償補間画像と、０ベクトルとした動きベクトル又は前記複数のフレーム画像のうちのいずれかのフレーム画像に基づいて生成した０ベクトル補間画像を前記探索範囲の広さに基づいた割合によって合成して、前記補間フレーム画像を生成し、
前記補間画素は、動き補償補間画像に含まれる画素である請求項２７乃至３３のいずれかに記載の画像処理プログラム。
【請求項３５】
前記補間画像生成ステップでは、前記探索範囲が広くなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項３４に記載の画像処理プログラム。
【請求項３６】
前記補間画像生成ステップでは、さらに前記探索範囲内における前記フレーム画像の画素値の変化に基づいて、前記割合を決定する請求項３４又は３５に記載の画像処理プログラム。
【請求項３７】
前記補間画像生成ステップでは、前記探索範囲内における前記フレーム画像の画素値の変化が単純になるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項３６に記載の画像処理プログラム。
【請求項３８】
前記補間画像生成ステップでは、さらに前記複数のフレーム画像の画素値の差分に基づいたブロック差分値に基づいて、前記割合を決定する請求項３６又は３７に記載の画像処理プログラム。
【請求項３９】
前記補間画像生成ステップでは、前記ブロック差分値が小さくなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項３８に記載の画像処理プログラム。
【請求項１】
複数のフレーム画像間に内挿する補間フレーム画像を生成する画像処理装置であって、
前記複数のフレーム画像の各フレーム内の画素値の変化に基づいて、前記補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出する探索範囲算出手段と、
前記探索範囲算出手段が算出した探索範囲内において、前記動きベクトルを推定する動きベクトル推定手段と、
前記動きベクトル推定手段が推定した動きベクトルに基づいて、前記補間フレーム画像を生成する補間画像生成手段を備えた画像処理装置。
【請求項２】
前記探索範囲は、各フレーム画像内において互いに類似する２つの画像パターンを共に含むことがないように決定される請求項１に記載の画像処理装置。
【請求項３】
前記探索範囲は、画素位置をＸ軸及びＹ軸にとり、画素値をＺ軸にとった３次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が、前記探索範囲の境界を除く範囲に含まれる極大点及び極小点の合計数が１つ以下となる範囲である請求項１又は２に記載の画像処理装置。
【請求項４】
前記探索範囲は、画素位置をＸ軸及びＹ軸にとり、画素値をＺ軸にとった３次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が凸曲面となる範囲である請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記探索範囲は、前記複数のフレーム画像の各々の前記画素値の分布が、前記複数のフレーム画像の各々の間で類似した凸曲面となる範囲である請求項４に記載の画像処理装置。
【請求項６】
前記探索範囲算出手段は、前記画素値の分布が所定のパターン画像のうちのいずれかと類似する場合に、当該画素値の分布が凸曲面であると判断し、
前記複数のフレーム画像に類似するパターン画像のそれぞれが、予め類似すると定められたパターン画像の組である場合に、前記類似した凸曲面であると判断する請求項５に記載の画像処理装置。
【請求項７】
前記探索範囲算出手段は、前記フレーム画像の画素位置をＸ軸およびＹ軸上にとった場合におけるＸ軸方向およびＹ軸方向のそれぞれのラインの画素値の変化の種類を示した情報に基づいて、前記類似した凸曲面となるかどうかを判断する請求項５に記載の画像処理装置。
【請求項８】
前記補間画像生成手段は、前記動きベクトルに基づいて生成した動き補償補間画像と、０ベクトルとした動きベクトル又は前記複数のフレーム画像のうちのいずれかのフレーム画像に基づいて生成した０ベクトル補間画像を前記探索範囲の広さに基づいた割合によって合成して、前記補間フレーム画像を生成し、
前記補間画素は、動き補償補間画像に含まれる画素である請求項１乃至７のいずれかに記載の画像処理装置。
【請求項９】
前記補間画像生成手段は、前記探索範囲が広くなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記補間画像生成手段は、さらに前記探索範囲内における前記フレーム画像の画素値の変化に基づいて、前記割合を決定する請求項８又は９に記載の画像処理装置。
【請求項１１】
前記補間画像生成手段は、前記探索範囲内における前記フレーム画像の画素値の変化が単純になるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記補間画像生成手段は、さらに前記複数のフレーム画像の画素値の差分に基づいたブロック差分値に基づいて、前記割合を決定する請求項１０又は１１に記載の画像処理装置。
【請求項１３】
前記補間画像生成手段は、前記ブロック差分値が小さくなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
複数のフレーム画像間に内挿する補間フレーム画像を生成する画像処理方法であって、
前記複数のフレーム画像の各フレーム内の画素値の変化に基づいて、前記補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出する探索範囲算出ステップと、
前記探索範囲内において、前記動きベクトルを推定する動きベクトル推定ステップと、
前記動きベクトルに基づいて、前記補間フレーム画像を生成する補間画像生成ステップを備えた画像処理方法。
【請求項１５】
前記探索範囲は、各フレーム画像内において互いに類似する２つの画像パターンを共に含むことがないように決定される請求項１４に記載の画像処理方法。
【請求項１６】
前記探索範囲は、画素位置をＸ軸及びＹ軸にとり、画素値をＺ軸にとった３次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が、前記探索範囲の境界を除く範囲に含まれる極大点及び極小点の合計数が１つ以下となる範囲である請求項１４又は１５に記載の画像処理方法。
【請求項１７】
前記探索範囲は、画素位置をＸ軸及びＹ軸にとり、画素値をＺ軸にとった３次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が凸曲面となる範囲である請求項１４乃至１６のいずれかに記載の画像処理方法。
【請求項１８】
前記探索範囲は、前記複数のフレーム画像の各々の前記画素値の分布が、前記複数のフレーム画像の各々の間で類似した凸曲面となる範囲である請求項１７に記載の画像処理方法。
【請求項１９】
前記探索範囲算出ステップでは、前記画素値の分布が所定のパターン画像のうちのいずれかと類似する場合に、当該画素値の分布が凸曲面であると判断し、
前記複数のフレーム画像に類似するパターン画像のそれぞれが、予め類似すると定められたパターン画像の組である場合に、前記類似した凸曲面であると判断する請求項１８に記載の画像処理方法。
【請求項２０】
前記探索範囲算出ステップでは、前記フレーム画像の画素位置をＸ軸およびＹ軸上にとった場合におけるＸ軸方向およびＹ軸方向のそれぞれのラインの画素値の変化の種類を示した情報に基づいて、前記類似した凸曲面となるかどうかを判断する請求項１８に記載の画像処理方法。
【請求項２１】
前記補間画像生成ステップでは、前記動きベクトルに基づいて生成した動き補償補間画像と、０ベクトルとした動きベクトル又は前記複数のフレーム画像のうちのいずれかのフレーム画像に基づいて生成した０ベクトル補間画像を前記探索範囲の広さに基づいた割合によって合成して、前記補間フレーム画像を生成し、
前記補間画素は、動き補償補間画像に含まれる画素である請求項１４乃至２０のいずれかに記載の画像処理方法。
【請求項２２】
前記補間画像生成ステップでは、前記探索範囲が広くなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項２１に記載の画像処理方法。
【請求項２３】
前記補間画像生成ステップでは、さらに前記探索範囲内における前記フレーム画像の画素値の変化に基づいて、前記割合を決定する請求項２１又は２２に記載の画像処理方法。
【請求項２４】
前記補間画像生成ステップでは、前記探索範囲内における前記フレーム画像の画素値の変化が単純になるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項２３に記載の画像処理方法。
【請求項２５】
前記補間画像生成ステップでは、さらに前記複数のフレーム画像の画素値の差分に基づいたブロック差分値に基づいて、前記割合を決定する請求項２３又は２４に記載の画像処理方法。
【請求項２６】
前記補間画像生成ステップでは、前記ブロック差分値が小さくなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項２５に記載の画像処理方法。
【請求項２７】
複数のフレーム画像間に内挿する補間フレーム画像を生成する画像処理プログラムであって、
前記複数のフレーム画像の各フレーム内の画素値の変化に基づいて、前記補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出する探索範囲算出ステップと、
前記探索範囲内において、前記動きベクトルを推定する動きベクトル推定ステップと、
前記動きベクトルに基づいて、前記補間フレーム画像を生成する補間画像生成ステップを備えた画像処理プログラム。
【請求項２８】
前記探索範囲は、各フレーム画像内において互いに類似する２つの画像パターンを共に含むことがないように決定される請求項２７に記載の画像処理プログラム。
【請求項２９】
前記探索範囲は、画素位置をＸ軸及びＹ軸にとり、画素値をＺ軸にとった３次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が、前記探索範囲の境界を除く範囲に含まれる極大点及び極小点の合計数が１つ以下となる範囲である請求項２７又は２８に記載の画像処理プログラム。
【請求項３０】
前記探索範囲は、画素位置をＸ軸及びＹ軸にとり、画素値をＺ軸にとった３次元空間において、前記補間画素の位置を中心とする前記複数のフレーム画像の各々の画素値の分布が凸曲面となる範囲である請求項２７乃至２９のいずれかに記載の画像処理プログラム。
【請求項３１】
前記探索範囲は、前記複数のフレーム画像の各々の前記画素値の分布が、前記複数のフレーム画像の各々の間で類似した凸曲面となる範囲である請求項３０に記載の画像処理プログラム。
【請求項３２】
前記探索範囲算出ステップでは、前記画素値の分布が所定のパターン画像のうちのいずれかと類似する場合に、当該画素値の分布が凸曲面であると判断し、
前記複数のフレーム画像に類似するパターン画像のそれぞれが、予め類似すると定められたパターン画像の組である場合に、前記類似した凸曲面であると判断する請求項３１に記載の画像処理プログラム。
【請求項３３】
前記探索範囲算出ステップでは、前記フレーム画像の画素位置をＸ軸およびＹ軸上にとった場合におけるＸ軸方向およびＹ軸方向のそれぞれのラインの画素値の変化の種類を示した情報に基づいて、前記類似した凸曲面となるかどうかを判断する請求項３１に記載の画像処理プログラム。
【請求項３４】
前記補間画像生成ステップでは、前記動きベクトルに基づいて生成した動き補償補間画像と、０ベクトルとした動きベクトル又は前記複数のフレーム画像のうちのいずれかのフレーム画像に基づいて生成した０ベクトル補間画像を前記探索範囲の広さに基づいた割合によって合成して、前記補間フレーム画像を生成し、
前記補間画素は、動き補償補間画像に含まれる画素である請求項２７乃至３３のいずれかに記載の画像処理プログラム。
【請求項３５】
前記補間画像生成ステップでは、前記探索範囲が広くなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項３４に記載の画像処理プログラム。
【請求項３６】
前記補間画像生成ステップでは、さらに前記探索範囲内における前記フレーム画像の画素値の変化に基づいて、前記割合を決定する請求項３４又は３５に記載の画像処理プログラム。
【請求項３７】
前記補間画像生成ステップでは、前記探索範囲内における前記フレーム画像の画素値の変化が単純になるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項３６に記載の画像処理プログラム。
【請求項３８】
前記補間画像生成ステップでは、さらに前記複数のフレーム画像の画素値の差分に基づいたブロック差分値に基づいて、前記割合を決定する請求項３６又は３７に記載の画像処理プログラム。
【請求項３９】
前記補間画像生成ステップでは、前記ブロック差分値が小さくなるに従って、前記動き補償補間画像を合成する割合を大きくすることを特徴とする請求項３８に記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図５】
【公開番号】特開２０１０−１７７７３９（Ｐ２０１０−１７７７３９Ａ）
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願番号】特願２００９−１５１２２（Ｐ２００９−１５１２２）
【出願日】平成２１年１月２７日（２００９．１．２７）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願日】平成２１年１月２７日（２００９．１．２７）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]