動きベクトル検出装置および方法、映像表示装置、映像記録装置、映像再生装置、プログラムおよび記録媒体
【課題】サンプリングポイントの違いにより理論的に発生する動きベクトルの誤差を吸収することが可能となり、より正確に動きベクトルを検出する。
【解決手段】動きベクトルを検出部１０１は、注目画像ブロック内の隣接画素同士の差分値の平均値を算出し、平均値が大きければＳＡＤまたはＤＦＤが小さくなるように補正する。そして、注目画像ブロックのフレームの前のフレームの動きベクトルと同一の動きベクトルをもつ探索範囲内のブロック、もしくは注目画像ブロックに隣接する画像ブロックと同じ動きベクトルをもつ探索範囲内のブロックに対しては、補正したＳＡＤまたはＤＦＤに対してさらに所定の加算重みを加える。そして、加算重みの加算後のＳＡＤまたはＤＦＤを用いて、その値が最小となるブロックにより与えられる動きベクトルを検出する。
【解決手段】動きベクトルを検出部１０１は、注目画像ブロック内の隣接画素同士の差分値の平均値を算出し、平均値が大きければＳＡＤまたはＤＦＤが小さくなるように補正する。そして、注目画像ブロックのフレームの前のフレームの動きベクトルと同一の動きベクトルをもつ探索範囲内のブロック、もしくは注目画像ブロックに隣接する画像ブロックと同じ動きベクトルをもつ探索範囲内のブロックに対しては、補正したＳＡＤまたはＤＦＤに対してさらに所定の加算重みを加える。そして、加算重みの加算後のＳＡＤまたはＤＦＤを用いて、その値が最小となるブロックにより与えられる動きベクトルを検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原画像間に内挿画像を生成するための動きベクトルを検出する装置および方法に関し、さらに映像表示装置、映像記録装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
近年、６０Ｈｚの画像を１２０Ｈｚの画像に変換する手法や、２４Ｈｚのフィルム素材による画像を６０Ｈｚや１２０Ｈｚの画像に変換する手法による映像表現が盛んに行われている。この手法は、液晶表示装置の動きボケ改善やフィルム素材によるジャダーの低減のために用いられる。
また、映像信号のデータ圧縮のために地上波デジタル放送などに使用されているＭＰＥＧ−２においても、フレーム間の動きベクトルを用いて符号化が行われている。
【０００３】
液晶表示装置の液晶パネルで発生する動きボケについては、その発生要因として液晶が電荷を保持して発光を維持するホールド型であることがあげられる。動くものに対する人の視覚は滑らかに追従するものであるため、ホールド型発光の場合、輝度レベルが次のフレームまでの期間保持され、時間積分効果により残像感が生じてしまう。これが動きボケである。この動きボケを解消するために、フレーム周波数を倍速化して液晶表示を陰極線管のようなインパルス型に近づける技術が用いられている。
【０００４】
この場合、フレーム間に線形補間によってフレームを内挿したり、周波数を単に２倍にしたりする方法があるが、動きにジャダーが発生したり、動きボケを十分に改善することができない。そこでジャダーの影響をなくして動画像の画質を改善するために、動き補償型のフレーム内挿処理を行う技術が実用化されている。
【０００５】
この動き補償型のフレーム内挿技術においては、連続するフレーム間（仮に、時間的に前のフレームをＦ（ｔ）とし、時間的に後のフレームをＦ（ｔ＋１）とする）が類似した画像であることを基本としており、画素もしくは一定の画素グループが、フレーム間でどのように動いたかを動きベクトルとして表現する。フレーム間の動きベクトルを検出する手法としては、ブロックマッチングや勾配法などが知られている。この動きベクトルの情報をもとに、両フレーム（（Ｆ（ｔ））、Ｆ（ｔ＋１））の画素の値を用いて内挿画像を生成する。
【０００６】
動きベクトルを求めるブロックマッチングにおいては、一般的には、Ｆ（ｔ）を一定のサイズ（例えば、８×８画素）のブロックに区切り、これを１つの単位としてＦ（ｔ＋１）に対して動きベクトルを探索していく。このとき、探索する範囲が広い場合や動き精度を細かくした場合、画素相関の検査を行う回数が増えるため演算規模が増大する。検査回数を減らす方法としては、特許文献１に示されるようにフレーム間の動きの継続性を利用した方法が知られている。
【０００７】
画素相関を検査する方法としては、ブロック間の絶対差和を用いたＳＡＤ（Sum of Absolute Differences）や差分値の２乗和を用いるＤＦＤ（Displaced Field Difference）などが知られている。
ＳＡＤは、現在のフレームの探索対象ブロックにおける画素値と、参照フレームの参照ブロックにおける画素値の絶対差分値和であり、例えばブロック同士の同じ位置の画素値の差分絶対値をとり、これを累積していくことで計算される。また、ＤＦＤは、フレーム間におけるブロック内の同じ位置の画素値の差分の２乗和である。ＳＡＤやＤＦＤが大きい場合には、ブロック同士の差分が大きいことを意味し、ブロック内画像の形状が異なっていることがわかる。つまり、注目画像ブロックに対して、隣接フレームの所定の探索範囲内のブロックのなかでＳＡＤやＤＦＤの値が最も小さいブロックを最も相関が高いブロックとして認識することができる。
【０００８】
このように、ＳＡＤやＤＦＤでは、計算した結果がより小さいものを画素相関があるものとし、一般的にはＳＡＤやＤＦＤが探索範囲中で最も小さいブロックが示すベクトルをそのブロックの動きベクトルとする。
また、これに加えて、特許文献２に示されるように、あらかじめ探索範囲中にハンディキャップを与える手法も提案されている。これはＳＡＤやＤＦＤ演算で求めた結果に対して所定の値を加算もしくは減算して蓄積し、最小値を与えるベクトルを動きベクトルとする手法である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開昭６２−２０６９８０号公報
【特許文献２】特表２００１−５０７５５２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
実際の映像において、物体は画素単位で動いているわけではない。従って映像信号のサンプリングを行ってデータを処理するデジタル処理においては、ＳＡＤやＤＦＤの結果が０となるまで詳細な探索を行うことは難しい。つまり、映像内の物体が画素単位以下の細かい動きで動いている場合には、ＳＡＤやＤＦＤを０とするまでの探索が通常できない。このような場合に対処するため、例えば、１画素単位で動きベクトルの探索を行っているときに、補間処理等により０.５画素単位、０.２５画素単位、０.１２５画素単位、等で仮想画素を生成し、これらの仮想画素の値を用いてさらに細かい動きベクトルを検出する方法がある。しかしながら、０.５ピクセル単位で動きベクトルの探索を行うと処理量は４倍になり、０.２５ピクセル単位で動きベクトルの探索を行うと処理量は１６倍になって、画素単位を細かくすれば処理量が指数的に増大してしまい、実用的とはいえない。
【００１１】
図１２は、時間的に連続するフレーム間の画像相関について説明する図で、時間的に連続するフレーム（Ｆ（ｔ）、Ｆ（ｔ＋１））の画像を順に図１２（Ａ）、図１２（Ｂ）に示すものである。この画像の例では、三角形の物体１０がフレームＦ（ｔ）からＦ（ｔ＋１）において画面の右方向に移動したものとする。
【００１２】
フレームＦ（ｔ）とフレームＦ（ｔ＋１）とにおける画素相関を演算する場合、フレームＦ（ｔ）内のブロック１１は、Ｆ（ｔ＋１）内の領域１２のどの部分に対しても高い画素相関を示す。つまり、ブロック１１に対して探索ブロックとして領域１２のブロックを探索したときに、ブロック同士の同一位置の画素値の差分値が少なくなって、領域１２のいくつかのブロックに対してＳＡＤまたはＤＦＤの演算結果が同様の小さい値となる。従って、ブロック１１の移動後のブロックを正確に確定することができず、動きベクトルの誤検出が生じる。
【００１３】
このような場合の対策として、特許文献２に示されるようなハンディキャップにより、ＳＡＤやＤＦＤ演算で求めた結果に対して所定の値を加算もしくは減算して蓄積し、最小値を与えるベクトルを動きベクトルとすることで、三角形の頂点の検出結果や過去の動きに基づき正しい動きベクトルを求めることが可能となる。つまり、過去の動きベクトルや周辺ブロックの動きベクトルと同じ値を示すベクトルのＳＡＤ値にハンディキャップを与えることにより、離散点以下のズレの誤差を吸収し、正しい動きベクトルを求めることができる。
【００１４】
しかしながら、物体の動き量とサンプリング座標によっては、同じ物体のエッジであっても輝度値など数値が異なって表現される。例えば物体の動き量によってはＦ（ｔ）とＦ（ｔ＋１）で画像の位相がずれ、同一位置の画像ブロックの間であってもその画素値に差分が生じ、ＳＡＤの値が変化してしまう。つまり、処理量によって規制されるベクトル精度でブロックマッチングにより動きベクトルを検出するとき、物体の位相ずれによって、物体のサンプリングポイントがずれ、ブロックマッチングにより得られたＳＡＤやＤＦＤの演算値が０にならない場合が発生する。
【００１５】
例えば、図１３に示すように、連続する三角形のパターン２０ａ〜２０ｃが画像に存在するような場合、Ｆ（ｔ）の領域２１がＦ（ｔ＋１）に移動したときの位相が、パターン２０ｂではなく、パターン２０ａに対して近くなるような場合が発生する。特にパターンの動きが加速や減速を伴う動きであったり、直線でない動きであった場合にその現象は顕著となる。
【００１６】
このような場合を考えて、特許文献２に示されるようなハンディキャップにより、動きを継続する手法を用いて正しい動きベクトルを得ることが可能ではあるが、この手法を用いた場合、急峻なエッジが存在するブロックを基準として、ＳＡＤやＤＦＤに対する加算のハンディキャップを決定することになる。このように、急峻なエッジに基づく大きなハンディキャップを用いた場合、ハンディキャップの占めるウエイトが高くなり、動きの変化に追随することが難しくなる。従って、従来の手法においては良質な動きベクトルを得ることが難しかった。
【００１７】
例えば、図１４に示すように、２つの同じ物体２００，２０１が０.５画素ずれて配置されて撮影されたものとする。このとき、これらの物体２００，２０１が一定値Ｍｖ＝（Ｖｘ，０）を基本に（±０.５，０）で動いているものとする。この動きベクトルの変動は、例えば、カメラのブレや物体の動きの不均一などで生じるモデルである（一般的な動画像においては、完全な等速運動を行う物体は少ない）。
【００１８】
この例の撮影画像においては、輝度値が８ビットで表現され、物体２００，２０１は白（ｗ）で輝度値が２５５であり、背景は黒（ｂ）で輝度値が０であるものとする。ここで、フレームＦ（ｔ）では、左側の物体２００は、左右両側のエッジが１画素の１／２に位置し、その画素の輝度値は１２８のグレー（ｇ）となっている。また、フレームＦ（ｔ＋１）では、右側の物体の左右両側エッジが１画素の１／２に位置し、左右両側のエッジ部にグレー（ｇ）の画素が撮像されている。
【００１９】
この場合、フレームＦ（ｔ）とＦ（ｔ＋１）において、Ａの領域の動きベクトルは、同じ物体２００のＣの領域を示すべきである。しかしながら、ＳＡＤのみで動きベクトルを判定すると、Ａの領域に対しては、Ｄの領域を示す動きベクトルが求まる。
【００２０】
例えば、Ａ，Ｂ，Ｃ，Ｄに示す領域のブロックが４×４であったときを考える。
フレームＦ（ｔ）の領域Ａについて、フレームＦ（ｔ＋１）の領域Ｃに対してのＳＡＤ値は、Ｆ（ｔ）の輝度値１２８のグレーの画素が４つと、Ｆ（ｔ＋１）の輝度値０の黒の画素４つに輝度差が生じることから、（１２８）×４＝５１２を示す。
一方、フレームＦ（ｔ）の領域Ａについて、フレームＦ（ｔ＋１）の領域Ｄに対してのＳＡＤは、各画素の差分がないため０を示す。この場合、領域Ａの動きを維持して領域ＣのＳＡＤを最小とし、領域Ｃに対する動きベクトルを選択させるようにするためには、領域ＣのＳＡＤに対して５１２以上のハンディキャップを与える必要がある。
【００２１】
しかしながら、このような値をハンディキャップとして与えてしまうと、輝度差の小さい画像（例えば、白の輝度値が１３８、黒の輝度値が１１８）などの場合には、ハンディキャップを超えるＳＡＤを示すことがないため、ハンディキャップそのものによって動きベクトルが決定してしまうことになる。
【００２２】
つまり、大きなハンディキャップを与えなければ、正しい動きを求めることができない画像もあり、また、大きなハンディキャップを与えることで正しい動きを求めることができない場合もあるため、固定的なハンディキャップを与えることは好ましくない。
【００２３】
このように、従来技術においては、サンプリングポイントの違いにより理論的に発生する可能性があるＳＡＤやＤＦＤの値の変動に対する対処はされておらず、動きベクトルの誤検出の要因となっていた。
本発明は、上述のごとき実情に鑑みてなされたものであり、サンプリングポイントの違いにより理論的に発生する動きベクトルの誤差を吸収することが可能となり、より正確に動きベクトルを検出することができるようにした動きベクトル検出装置および方法、映像表示装置、映像記録装置、映像再生装置、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００２４】
上記課題を解決するために、本発明の第１の技術手段は、入力される画像信号のフレーム間の動きベクトルを検出する動きベクトル検出部を備えた動きベクトル検出装置において、前記動きベクトル検出部は、入力された画像信号のフレームの注目画像ブロックと、該注目画像ブロックのフレームに時間的に前後する入力画像信号のフレームの所定の探索範囲内のブロックとの間で、画像ブロック同士における互いに同一位置の画素値の差分絶対値の累積加算値を示すＳＡＤ、もしくは前記同一位置の画素値の差分の２乗値の累積加算値を示すＤＦＤを検出し、前記注目画像ブロック内の隣接する２つの画素値同士の差分値の平均値を求め、求めた平均値に基づいて前記ＳＡＤまたはＤＦＤを補正し、該補正したＳＡＤまたはＤＦＤに基づいて動きベクトルを検出することを特徴としたものである。
【００２５】
第２の技術手段は、第１の技術手段において、前記動きベクトル検出部が、前記平均値が増大するに従って、前記ＳＡＤまたは前記ＤＦＤが徐々にもしくは段階的に小さくなるような乗算係数もしくは加算値を使用して前記ＳＡＤまたは前記ＤＦＤを補正することを特徴としたものである。
【００２６】
第３の技術手段は、第１または２の技術手段において、例えば、前記注目画像ブロックのフレームの前のフレームの動きベクトルと同一の動きベクトルをもつ前記探索範囲内のブロックにより計算した前記補正後のＳＡＤまたはＤＦＤに対して、または前記注目画像ブロックに隣接する画像ブロックと同じ動きベクトルをもつ前記探索範囲内のブロックにより計算した前記補正後のＳＡＤまたはＤＦＤに対して、前記補正したＳＡＤまたはＤＦＤが相対的に小さくなる方向の加算重みを加え、前記加算重みを考慮した前記補正後のＳＡＤまたはＤＦＤが最も小さくなるブロックにより与えられる動きベクトルを検出することを特徴としたものである。
【００２７】
第４の技術手段は、第１〜第３のいずれか１の技術手段の動きベクトル検出装置と、該動きベクトル検出装置が検出した動きベクトルに基づいて、入力される画像信号のフレーム間に内挿する補間フレームを生成する内挿フレーム生成部と、該内挿フレーム生成部から出力された画像信号を表示する表示部とを備えた映像表示装置である。
【００２８】
第５の技術手段は、第１〜第３のいずれか１の技術手段の動きベクトル検出装置と、該動きベクトル検出装置が検出した動きベクトルに基づいて、映像信号をフレーム間で圧縮する符号生成部と、情報を符号化した映像を記録する映像記録部とを備えた映像記録装置である。
【００２９】
第６の技術手段は、第５の技術手段によって記録された符号化された映像を再生する映像再生装置である。
【００３０】
第７の技術手段は、２つの画像の動きベクトルを検出する動きベクトル検出手段において、前記動きベクトル検出手段は、基準画像の注目画像ブロックと、該注目画像ブロックの参照画像の所定の探索範囲内のブロックとの間で、画像ブロック同士における互いに同一位置の画素値の差分絶対値の累積加算値を示すＳＡＤ、もしくは前記同一位置の画素値の差分の２乗値の累積加算値を示すＤＦＤを検出するステップと、前記注目画像ブロック内の隣接する２つの画素値同士の差分値の平均値を求めるステップと、求めた平均値に基づいて前記ＳＡＤまたはＤＦＤを補正するステップとを有し、該補正したＳＡＤまたはＤＦＤに基づいて動きベクトルを検出することを特徴としたものである。
【００３１】
第８の技術手段は、第７の技術手段において、前記動きベクトル検出ステップで、前記平均値が増大するに従って、前記ＳＡＤまたは前記ＤＦＤが徐々にもしくは段階的に小さくなるような乗算係数もしくは加算値を使用して前記ＳＡＤまたは前記ＤＦＤを補正することを特徴としたものである。
【００３２】
第９の技術手段は、第７または８の技術手段において、例えば、前記注目画像ブロックのフレームの前のフレームの動きベクトルと同一の動きベクトルをもつ前記探索範囲内のブロックにより計算した前記補正後のＳＡＤまたはＤＦＤに対して、または前記注目画像ブロックに隣接する画像ブロックと同じ動きベクトルをもつ前記探索範囲内のブロックにより計算した前記補正後のＳＡＤまたはＤＦＤに対して、前記補正したＳＡＤまたはＤＦＤが相対的に小さくなる方向の加算重みを加え、前記加算重みを考慮した前記補正後のＳＡＤまたはＤＦＤが最も小さくなるブロックにより与えられる動きベクトルを検出することを特徴としたものである。
【００３３】
なお、動きベクトル検出装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記画像補間装置をコンピュータにおいて実現する制御プログラム、およびその制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００３４】
本発明によれば、サンプリングポイントの違いにより理論的に発生する動きベクトルの誤差を吸収することが可能となり、より正確に動きベクトルを検出することができるようにした動きベクトル検出装置および方法、映像表示装置、映像記録装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体を提供することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明に係る動きベクトル検出装置の構成を説明するためのブロック図である。
【図２】物体の画素値の状態と画素値のサンプリング位置との関係の一例を示す図である。
【図３】図２のサンプリング位置における動きベクトルと画素値との関係を示す図である。
【図４】物体の画素値の状態と画素値のサンプリング位置との関係の他の例を示す図である。
【図５】図４のサンプリング位置における動きベクトルと画素値との関係を示す図である。
【図６】ＳＡＤの値が大きくなると理論誤差が発生しやすくなるメカニズムを説明するための図である。
【図７】４×４画素のブロックの画像例を示す図である。
【図８】４×４画素のブロックの輝度値の例を示す図である。
【図９】４×４画素のブロックの輝度値の他の例を示す図である。
【図１０】４×４画素のブロックの他の画像例を示す図である。
【図１１】４×４画素のブロックのさらに他の画像例を示す図である。
【図１２】時間的に連続するフレーム間の画像相関について説明する図である。
【図１３】時間的に連続するフレーム間の画像相関について説明する他の図である。
【図１４】時間的に連続するフレーム間の画像相関について説明するさらに他の図である。
【発明を実施するための形態】
【００３６】
図１は、本発明に係る動きベクトル検出装置の構成を説明するためのブロック図で、動きベクトル検出装置を液晶表示装置に適用したときの構成例を示すものである。
液晶表示装置は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するフレームレート変換部１００を備えている。液晶表示パネル１０３は、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するものであり、電極駆動部１０４は、フレームレート変換部１００によりフレームレートが変換された画像信号に基づいて液晶表示パネル１０３の走査電極及びデータ電極を駆動して、画像信号を表示させる。
【００３７】
フレームレート変換部１００は、入力画像信号から動きベクトルを検出する動きベクトル検出部１０１と、動きベクトル検出部１０１により得られた動きベクトルに基づいて内挿フレームを生成する内挿フレーム生成部１０２とを備える。内挿フレーム生成部１０２は、フレームレート変換部１００に入力される画像信号の時間的に連続したフレーム（Ｆ（ｔ）、Ｆ（ｔ＋１））の間に内挿フレームを挿入してフレームレートを変換する。本発明に係る動きベクトル検出装置の実施形態は、入力画像信号から動きベクトルを検出する上記動きベクトル検出部１０１を必須の構成要素として備えるものである。また、本実施形態の動きベクトル検出装置を備えた液晶表示装置は、本発明の映像表示装置の実施形態に相当する。
【００３８】
動きベクトル検出部１０１は、前述したようなブロックマッチング法を用いて動きベクトル情報を求めるものとする。ブロックマッチング法においては、例えば、前のフレームＦ（ｔ）の注目画像ブロックと、後のフレーム（Ｆ（ｔ＋１））の所定の探索範囲内の各画像ブロックとを対応画素ごとに比較し、画素値の差分の絶対値を蓄積してＳＡＤを算出する。また、ＤＦＤを用いる場合には、画素値の差分の２乗を蓄積してＤＦＤを算出する。画素値としてはＲ，Ｇ，Ｂの各値であってもよいが、一般に画像の輝度値Ｙが用いられる。以下の例では、輝度値を用いた例として説明する。
【００３９】
そして、探索範囲内の各画像ブロックのうち、ＳＡＤまたはＤＦＤが最も小さい画像ブロックに対する動きベクトルを、注目画像ブロックの動きベクトルとする。この動きベクトルは大きさと方向を含むもので、注目画像ブロックのフレーム上の２次元で示されるベクトルとなる。
【００４０】
ここで本発明に係る実施形態では、動きベクトルを検出する際に、注目画像ブロックの特徴量として、注目画像ブロック内の隣接画素同士の差分値の平均値を算出し、その特徴量（平均値）に基づいてＳＡＤまたはＤＦＤを補正する。ここでは特徴量が大きければＳＡＤまたはＤＦＤが小さくなるように補正する。そして、動きベクトルの検出においては、注目画像ブロックのフレームの前のフレームの動きベクトルと同一の動きベクトルをもつ探索範囲内のブロックに対しては、補正したＳＡＤまたはＤＦＤに対してさらに所定の加算重みを加える。もしくは、注目画像ブロックに隣接する画像ブロックと同じ動きベクトルをもつ探索範囲内のブロックに対しては、補正したＳＡＤまたはＤＦＤに対してさらに所定の加算重みを加える。そして、加算重みの加算後のＳＡＤまたはＤＦＤを用いて、動きベクトルの検出を行う。詳細は後述する。
【００４１】
内挿フレーム生成部１０２では、前のフレームＦ（ｔ）の注目画像ブロックの画素値と、その動きベクトルと、注目画像の動きベクトルが示す次フレーム（Ｆ（ｔ＋１））の画像ブロックの画素値とに基づいて内挿フレームを生成し、フレーム（Ｆ（ｔ）、Ｆ（ｔ＋１））間に内挿して出力する。なお、この場合には、時間的に前のフレームに注目画像ブロックを設定したが、時間的に後のフレームに注目画像ブロックを設定し、前のフレームの探索範囲内のブロックを探索する場合であっても本実施形態の処理を適用することができる。
【００４２】
上記のように、本発明の実施形態の特徴では、注目画像ブロックの特徴量として、注目画像ブロックを構成する隣接画素同士の差分値の平均を求め、求められた平均値に基づいて、ＳＡＤまたはＤＦＤの演算結果を補正する。ここでは、ＳＡＤまたはＤＦＤに乗算する係数、もしくは加算値を求め、その値によってＳＡＤまたはＤＦＤを補正する。補正したＳＡＤまたはＤＦＤに対しては、所定の加算重み（ハンディキャップ）を加えて判定用のＳＡＤまたはＤＦＤを算出し、この値が最小になるブロックにより得られるベクトルを動きベクトルして決定する。
【００４３】
より具体的には、上記の注目画像ブロックの隣接画素値の差分値の平均値が大きかった場合、つまり隣接画素の画素値の差が大きく、高いエッジ領域であった場合、ＳＡＤまたはＤＦＤが小さくなる値を乗算もしくは加算する。この場合、平均値が増大するに従って、ＳＡＤまたはＤＦＤが徐々にもしくは段階的に小さくなるような乗算係数もしくは加算値を使用してＳＡＤまたはＤＦＤを補正することができる。
【００４４】
一方、上記の注目画像ブロックの隣接画素値の差分値の平均値が小さかった場合、つまり隣接画素の画素値の差が小さく、平坦な変化の画像であった場合、ＳＡＤまたはＤＦＤに乗算もしくは加算を行わないか、またはＳＡＤまたはＤＦＤが大きくなる値を乗算もしくは加算する。ここでは、平均値が所定レベル以下の場合には、ＳＡＤまたはＤＦＤの値の補正係数を１とし、もしくは加算値を０とすることで補正前のＳＡＤまたはＤＦＤの値を補正後においても維持するようにしてもよい。または、平均値が減少するに従って、ＳＡＤまたはＤＦＤが徐々にもしくは段階的に大きくなるような乗算係数もしくは加算値を使用するものであってもよい。
【００４５】
上記の処理により、エッジ領域のブロックには、ＳＡＤまたはＤＦＤの結果に対して大きな圧縮を加えてＳＡＤまたはＤＦＤが小さくなるように補正する。また、平坦な領域のブロックに対しては、ほとんどハンディキャップを加えず、ＳＡＤまたはＤＦＤの演算結果をそのまま使用するか、もしくはＳＡＤまたはＤＦＤを大きくする補正を行う。
そして補正後のＳＡＤまたはＤＦＤの値には、加算重み（ハンディキャップ）を加算して動きベクトルを判定することで、画素未満の動きがあったときのサンプリング位置の違いにより発生する動きベクトルの検出誤差を吸収させるようにする。なお、ここでいう画素未満とは、サンプリング間隔が１画素単位である場合を示すもので、サンプリングが１画素以外の間隔で行われていれば、その間隔未満の動きの検出誤差の吸収に有効となることを示している。
【００４６】
加算重み（ハンディキャップ）に関しては、以下のごとくの思想とする。まず、総論として、連続したフレームでは類似した画像となり、連続したフレーム間では類似した動きベクトルとなる確率が高い。シーンチェンジなどを除けば、ほぼこのようになる。
このような特性を利用すると、ブロックマッチングにおいて類似したＳＡＤまたはＤＦＤを示すブロックがいくつか存在した場合、前フレームの動きを継続するように動きベクトルを決定したほうが誤検出の確率を低下させることができる。よって、いくつかある候補ベクトルに対して前フレームの動きベクトルと同一のベクトルに対してハンディキャップを与えることで、そのハンディキャップを与えた動きベクトルを選択しやすくする。
【００４７】
また、同一の物体の一部であれば同じ動きをする可能性が高い。従って、同一フレームの周辺ブロックと同じ動きベクトルの可能性が高い。よって、いくつかある候補ベクトルに対して、隣接する周辺ブロックと同じ動きベクトルに対してはハンディキャップを与えることで、そのハンディキャップを与えた動きベクトルを選択しやすくする。この他にも平均ベクトルに対してハンディキャップを与えたり、ある領域の平均ベクトルに対してハンディキャップを与えることも可能であり、本発明においてはハンディキャップを与えるベクトルに対しては、特に規定するものではない。
ハンディキャップは、相対的に選択しやすくする方向に与えるものを指す。例えば、求めたＳＡＤやＤＦＤにマイナス値を与えて選択し易くする処理が一般的であるが、選択させようとするベクトルではない他の動きベクトルを選択しにくくするために、他の動きベクトルを与えるブロックのＳＡＤまたはＤＦＤにプラス値を与えるものであってもよい。本発明は、単純にハンディキャップを与えるだけでは問題を解決できないので、ブロックの特徴（勾配量）に応じてハンディキャップ値を決定できるようにすることで、より多くの問題に対処可能となる。
【００４８】
簡単化のために図２〜図３を用いて２次元的に説明する。図２において、実際の物体輝度のアナログ波形が図に示す直線Ｌに相当するものであったとする。これをディジタル的にサンプリングした場合、画素値１に示す値（輝度値）となる。画素値１のサンプリング間隔は１画素間隔であるものとする。このとき、画素値１のサンプリング位置に対して、±０.５画素分ずれた位置のポイントにおける輝度は、画素値２に示す値となる。
【００４９】
従って、入力画像信号の前後のフレーム（Ｆ（ｔ）、Ｆ（ｔ＋１））において、物体の動きが０.５画素分あったと仮定すると、１画素間隔でサンプリングしたときに、前のフレーム（Ｆ（ｔ））では画素値１をサンプリングし、次のフレームでは画素値２をサンプリングすることになる。なおここでは、動きベクトル検出装置の規模の観点から、１画素単位で動きベクトル検出を行うものとするが、仮に画素の半分の単位でベクトル検出を行った場合は１／４の大きさで同じ症状が発生するだけであり、動きベクトル検出の単位を画素単位としたことに大きな意味はない。
【００５０】
図３は、図２の物体が０.５画素分動いたときの画素値の検出結果を示す図で、図２の例において、前のフレームＦ（ｔ）でサンプリングした画素値１と、画素値１に対してゼロベクトルを与える後のフレームＦ（ｔ＋１）の画素値２ａと、画素値１に対してゼロベクトル＋１を与える後のフレームＦ（ｔ＋１）の画素値２ｂとを示している。画素値２ａ，２ｂは、図２で特定の画素値１を挟む２つの画素値２をそれぞれ表している。
【００５１】
この場合、ブロックマッチングを行ったときに、前のフレームの画素値１は、ゼロベクトルのときの画素値２ａと比較してもゼロベクトル＋１のときの画素値２ｂと比較しても一致することはない。つまり、フレーム間で物体が０.５画素動いてしまったときには、差分が０にならず、ＳＡＤやＤＦＤが０になることがない。しかしながら、この場合にＳＡＤやＤＦＤを最も小さくするのもこれらのゼロベクトル、及びゼロベクトル＋１のベクトルである。
【００５２】
図４は、図３に比べて傾きが急峻な物体輝度の例を示す。つまり、実際の物体輝度のアナログ波形を示す直線Ｌが、図２の例よりもその傾きが大きいとき（例えばエッジ領域の画像）の例を示している。
図４に示すアナログ波形をサンプリングした場合、画素値１に示す値となる。画素値１のサンプリング間隔は１画素間隔である。このとき、画素値１のサンプリング位置に対して、±０.５画素分ずれた位置のポイントにおける輝度は、画素値２に示す値となる。従って、入力画像信号の前後のフレーム（Ｆ（ｔ）、Ｆ（ｔ＋１））において、物体の動きが０.５画素分あったと仮定すると、１画素間隔でサンプリングしたときに、前のフレーム（Ｆ（ｔ））では画素値１をサンプリングし、次のフレームでは画素値２をサンプリングすることになる。
【００５３】
図５は、図４の物体が０.５画素分動いたときの画素値の検出結果を示す図で、図４の例において、前のフレームＦ（ｔ）でサンプリングした画素値１と、画素値１に対してゼロベクトルを与える後のフレームＦ（ｔ＋１）の画素値２ａと、画素値１に対してゼロベクトル＋１を与える後のフレームＦ（ｔ＋１）の画素値２ｂとを示している。画素値２ａ，２ｂは、図４で特定の画素値１を挟む２つの画素値２をそれぞれ表している。
この場合、ブロックマッチングを行ったときに、前のフレームの画素値１は、ゼロベクトルのときの画素値２ａと比較してもゼロベクトル＋１のときの画素値２ｂと比較しても一致することはない。つまり、フレーム間で物体が０.５画素動いてしまったときには、差分が０にならず、ＳＡＤやＤＦＤが０になることがない。しかしながら、この場合にＳＡＤやＤＦＤを最も小さくするのもこれらのゼロベクトル、及びゼロベクトル＋１のベクトルである。
【００５４】
ここで、図３と図５とを比較したときに、画素値１とゼロベクトルの画素値２ａとの差、及び画素値１とゼロベクトル＋１の画素値２ｂとの差は、図５に示す急峻な画像の方が大きくなる。つまり、傾きが急峻な画像を含むブロックでブロックマッチングを行ったときに、最も小さなＳＡＤであっても、そのＳＡＤの値は、傾きが緩やかな画像のブロックに比べて大きなＳＡＤになる場合がある。
【００５５】
ＳＡＤの値が大きくなると、理論誤差が発生しやすくなる。このときのメカニズムを簡単化のために２次元で説明する。
図６に示すように、あるフレームＦ（ｔ）にある波形があったものとする。そのとき、座標Ｘの輝度値をＹ１、座標Ｘ＋１の輝度値をＹ２とする。ここでフレームＦ（ｔ）に時間的に連続した次のフレームＦ（ｔ＋１）において、動き（−｜Δｘ｜）が生じたとする。ただし、０＜｜Δｘ｜＜０.５とする。
【００５６】
このとき、フレームＦ（ｔ）とフレームＦ（ｔ＋１）の座標Ｘ＋１で生じるＳＡＤ値は、｜Ｙ２−（Ｙ２＋｜Δｙ｜）｜＝｜Δｙ｜ となる。ここで、
｜Δｙ／Δｘ｜＝｜（Ｙ２−Ｙ１）／（Ｘ＋１−Ｘ）｜＝｜Ｙ２−Ｙ１｜ であり、
｜Δｙ｜＝｜Ｙ２−Ｙ１｜×｜Δｘ｜となる。
【００５７】
従って、ＳＡＤ値はある波形の傾きと動き量に比例する。ここで動き範囲を０＜｜Δｘ｜＜０.５としたのは説明を簡略化したためであり、例えば、１以上であったあった場合、ＳＡＤを最小にする整数部を別途として捉え、小数部の説明が上記のようになる。
また、０.５＜｜Δｘ｜＜１.０の場合、整数部を１つずらした方がＳＡＤは小さくなるためであり、小数部についての説明は上記と同様になり、ＳＡＤは傾きに比例する。
【００５８】
一方、動き量は任意であり、映像によって決まるアナログ量となる。ブロックマッチングにおいては、離散的に値を扱うため、アナログ量である動きに対して余りが生じる確率が高い。従って、離散的に扱う限り、最も正確に近い動きベクトルでブロックマッチングを行ったとしても一点あたりＳＡＤ＝｜Ｙ２−Ｙ１｜×｜Δｘ１｜の理論誤差が生じる（ここで０＜Δｘ１＜（サンプリング距離／２）とする）。
【００５９】
簡単にいえば、単純モデルの場合、どれほど細かく中間点を作ってブロックマッチングしても連続ではないので、動きベクトルに余りが生じてしまう。ここでは（勾配）×（余りベクトル）×（ブロックサイズ）が理論的な誤差となる。つまり、急峻な傾きをもつエッジは理論的な誤差を発生する確率が高い。確率とするのは理論的な誤差が余りベクトルの大きさに依存するためである。
【００６０】
従って、本発明においては、まず、検査するブロック（注目画像ブロック）における画素値の傾き量を検査する。具体的には、注目画像ブロック内の隣接する２つの画素値同士の差分値の平均値を求める。そして、求めた画素値の差分値の平均値に基づいてＳＡＤまたはＤＦＤを補正し、補正したＳＡＤまたはＤＦＤに基づき動きベクトルを検出する。
【００６１】
例えば、４×４を１つのブロック（注目画像ブロック）とした場合の例では、下記（１）式を計算し、注目画像ブロック内の隣接する画素同士の差分の絶対値の平均値Ｅｇを計算する。平均値Ｅｇは、注目画像ブロックの特徴量である。
ここでｘ、ｙは、ブロック内における横方向及び縦方向の画素の座標をそれぞれ示す。
【００６２】
【数１】
【００６３】
そして、特徴量Ｅｇの値に応じて係数α（０＜α≦１）を決定し、ＳＡＤまたはＤＦＤの演算結果に係数αを乗算することでＳＡＤまたはＤＦＤを補正する。αは、Ｅｇの値が大きい場合に小さくなり、Ｅｇの値が小さい場合に大きくなるようにあらかじめ決めておくものとする。このときに、αをＥｇの値の増減に応じて徐々に変化させるように設定する。また、Ｅｇの値の増減に応じて、αが段階的に変化するものであってもよい。さらにＥｇが所定のレベル以下の時にはαを１として、補正後においても補正前のＳＡＤやＤＦＤを維持するものであってもよい。
【００６４】
そして、α倍したＳＡＤまたはＤＦＤに加算重みＷａを加え、最終的な判定用ＳＡＤまたはＤＦＤを求めて動きベクトルを決定する。加算重みＷａは、注目画像ブロックのフレームの前のフレームの動きベクトルと同一の動きベクトルをもつ探索範囲内のブロックに対して計算したＳＡＤまたはＤＦＤに加算する。または、注目画像ブロックに隣接する画像ブロックと同じ動きベクトルをもつ探索範囲内のブロックに対して計算したＳＡＤまたはＤＦＤに加算する。それ以外のブロックに対しては、加算重みを加算しない。
【００６５】
この場合、Ｗａを負の値として加算すると、ＳＡＤまたはＤＦＤが小さくなって、動きベクトルとして選択されやすくなる。従って、注目画像ブロックのフレームの前フレームと同じ動きベクトルをもつ探索範囲内のブロック、または注目画像ブロックに隣接する画像ブロックと同じ動きベクトルをもつ探索範囲内のブッロク以外のブロックにより与えられるＳＡＤまたはＤＦＤに正の値を加えて、選択されにくくするものであってもよい。つまり、前フレームと同じ動きベクトルをもつ探索範囲内のブロック、または注目画像ブロックに隣接する画像ブロックと同じ動きベクトルをもつ探索範囲内のブッロクにより与えられる動きベクトルが、それ以外の動きベクトルよりも相対的に小さくなる方向の加算重みＷａを加算することができる。そして、加算重みを考慮した補正後のＳＡＤまたはＤＦＤを使用し、最も小さいＳＡＤまたはＤＦＤを与える動きベクトルをその注目画像ブロックの動きベクトルとする。
【００６６】
ＳＡＤを用いたときのＳＡＤの演算式（２）と、演算式（２）によって得られたＳＡＤに対して係数αを乗算し、加算重みＷａを加算して動きベクトルを検出するための判定式（３）とを以下に示す。本実施形態では、ＳＡＤまたはＤＦＤを用いて動きベクトル検出処理を行うことができるが、以下、簡単のため、ＳＡＤのみを例として説明する。
【００６７】
【数２】
【００６８】
加算重みＷａは、特許文献２に示されるような探索範囲固有に与えるハンディキャップの値とする。このブロックの特徴量に依存する係数をＳＡＤ判定に用いることにより、理論誤差の発生しやすい高いエッジを含んだブロックはＳＡＤの値を小さくすることで、エッジを含まないブロックでの検出結果に近づけることで、大きなＷａの値を使用せずに済むことになり、弊害なく正しい動きベクトルを求めることが可能となる。
【００６９】
さらに具体的な例によって説明する。まず、図７に示すような４×４画素のブロックを考える。このブロックは、白（画素値２５５）と黒（画素値０）とが交互に市松上に並ぶもので、このような画像にて特徴量Ｅｇは、隣接画素の差分が全て２５５になるため、計算上２５５となる。この値を４×４画素ブロックの最大値Ｅｇ（ｍａｘ）とする。
【００７０】
動きベクトルを決定するための判定式（３）は、上記のように、
判定式 ＝ α×ＳＡＤ＋Ｗａ
である。判定式が最小値となるベクトルをそのブロックの動きベクトルとして決定する。
ここで、
α ＝（Ｅｇ（ｍａｘ）−Ｅｇ）／Ｅｇ（ｍａｘ） ・・・（４）
とする。
【００７１】
上述の図１４の例においては、領域Ａに対して領域Ｃを選択させるためのハンディキャップとして必要な値は、Ｗａ＝−５１２であった。図１４の領域Ａが、白＝２５５、黒＝０、グレー＝１２８の輝度値をもつとき（ケース１とする）、領域Ａの輝度値は図８に示すようになる。この場合、隣接画素同士の差分値の累積は、差分値が１２７の隣接画素が４カ所、差分値が１２８の隣接画素が４カ所にあるため、（１２７×４）＋（１２８×４）＝１０２０となる。また、Ｅｇｍａｘは、２５５である。
従って特徴量Ｅｇ，およびαは、
Ｅｇ＝１０２０／２４＝４２.５
α＝０.８３３
となる。
【００７２】
従って、図１４の例における領域Ａに対する領域Ｃの判定式は、ＳＡＤが５１２であることから、判定式＝４２６.６６＋Ｗａが得られる。
これにより、領域Ｃの判定式を最も小さくするためには、ハンディキャップとして加算する加算重みＷａとしては、−４２７があればよい。つまり、図１４の例では、Ｗａとして−５１２が必要であったが、上記の処理によりより量的に小さな値のハンディキャップが設定可能となる。
【００７３】
一方、上記の領域Ａが、白＝１３８、黒＝１１８、グレー＝１２８の輝度値をもつ場合（ケース２とする）、図９に示すようになる。この場合、隣接画素同士の差分値の累積は、差分値が１０の隣接画素が８カ所にあるため、８０となる。また、Ｅｇｍａｘは、２５５である。
従って特徴量Ｅｇ，及びαは、
Ｅｇ＝８０／２４＝３.３３
α＝０.９８７
となる。
【００７４】
ケース１のように急峻なエッジを含むブロックにおいてはαが小さい値を示し、判定式（３）におけるＳＡＤの影響度が小さくなる。また、ケース２のようなエッジ量が小さいブロックではαが大きくなり、判定式に占めるＳＡＤの結果の影響が大きくなる。
【００７５】
上記の例では、図７に示すように、Ｅｇ（ｍａｘ）の値が最も大きくなるように設定したが、図１０に示すような２本のエッジをもつ画像をＥｇ（ｍａｘ）とするような設定も可能である。
この場合、隣接画素の差分値には、２５５の箇所が８カ所あり他の箇所は０である。従って、特徴量Ｅｇｍａｘは計算上、（２５５×８）／２４＝８５となる。
そして領域Ａの白、グレー、黒の輝度値がケース１と同じ２５５，１２８，０の場合、Ｅｇ＝４２.５であることから、
α＝０.５となり、
判定式＝２５６＋Ｗａ
となる。Ｗａは−２５７まで量的に小さくすることが可能となる。
【００７６】
さらに、図１１に示すようにブロック内に１本のエッジをもつ画像をＥｇ（ｍａｘ）とするような設定も可能である。
この場合、隣接画素の差分値は２５５の箇所が４カ所あり他の箇所は０である。従って、特徴量Ｅｇ（ｍａｘ）は計算上、（２５５×４）／２４＝４２.５となる。またケース１の領域Ａの場合には、Ｅｇ＝４２.５であることから、
α＝０ となり、
判定式＝０＋Ｗａ
となる。従ってＷａは−１まで量的に小さくすることが可能となる。
【００７７】
一方、図１１の例でＥｇ（ｍａｘ）を設定したときに領域Ａがケース２に相当する場合には、Ｅｇｍａｘ＝４２.５、Ｅｇ＝３.３３ であることから、
α＝０.９２ となり、
判定式＝０.９２×ＳＡＤ＋Ｗａ
となる。従ってほぼ、ＳＡＤの値だけで動きベクトルを判定することになる。
【００７８】
このようにして、より小さいＷａの設定値を選択することが可能となり、弊害なく動きベクトルを検出することが可能となる。また、急峻なエッジを有するブロックの離散点未満の単位の動きに対しても対応することが可能となる。
ここで示したＥｇ（ｍａｘ）やαの計算式はあくまで一例であり、本発明において限定されない。本発明は、特徴量Ｅｇに応じてＳＡＤの値に補正をかけることを特徴とする。特徴量Ｅｇが大きければ、算出したＳＡＤの判定式に占める割合が小さくなるように、特徴量Ｅｇが小さければ、算出したＳＡＤの判定式に占める割合が大きくなるようにすることを特徴とする。例えば、Ｗａを固定値とせず、特徴量Ｅｇに応じて変動させることも含む。以上の処理は、ＳＡＤに代えてＤＦＤを用いた場合にも同様となる。
【００７９】
また、ＳＡＤまたはＤＦＤに乗算する係数αに代えて、ＳＡＤまたはＤＦＤに加算する加算値αを平均値Ａに応じて決定し、ＳＡＤまたはＤＦＤにαを加算した上でさらに加算重みＷａを加算して判定用ＳＡＤまたはＤＦＤを決定してもよい。この場合にもαをＡの値の増減に応じて徐々に変化させるように設定してもよく、Ｅｇの値の増減に応じてαが段階的に変化するものであってもよい。
【００８０】
また、本発明に係る動きベクトル検出装置は、例えば、テレビジョン受像装置に備えられて、受信した放送信号に含まれる映像信号に基づいて表示される画像を補間する構成であってもよい。あるいは、本発明に係る動きベクトル検出装置は、ＤＶＤ再生装置やビデオ再生装置などの映像再生装置に備えられて、記録媒体に記録されている映像データに基づいて再生される画像を補間する構成であってもよい。さらに本発明に係る動きベクトル検出装置は、画像間の動きベクトルを用いた映像信号の符号化方式に用いてもよい。
【００８１】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００８２】
最後に、ベクトル検出装置の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
すなわち、ベクトル検出装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるベクトル検出装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、ベクトル検出装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００８３】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００８４】
また、ベクトル検出装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２.１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【符号の説明】
【００８５】
１…画素値、２…画素値、２ａ…画素値、２ｂ…画素値、１１…ブロック、１２…領域、２０ａ…パターン、２０ｂ…パターン、２１…領域、１００…フレームレート変換部、１０１…ベクトル検出部、１０２…内挿フレーム生成部、１０３…液晶表示パネル、１０４…電極駆動部、２００，２０１…物体。
【技術分野】
【０００１】
本発明は、原画像間に内挿画像を生成するための動きベクトルを検出する装置および方法に関し、さらに映像表示装置、映像記録装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
近年、６０Ｈｚの画像を１２０Ｈｚの画像に変換する手法や、２４Ｈｚのフィルム素材による画像を６０Ｈｚや１２０Ｈｚの画像に変換する手法による映像表現が盛んに行われている。この手法は、液晶表示装置の動きボケ改善やフィルム素材によるジャダーの低減のために用いられる。
また、映像信号のデータ圧縮のために地上波デジタル放送などに使用されているＭＰＥＧ−２においても、フレーム間の動きベクトルを用いて符号化が行われている。
【０００３】
液晶表示装置の液晶パネルで発生する動きボケについては、その発生要因として液晶が電荷を保持して発光を維持するホールド型であることがあげられる。動くものに対する人の視覚は滑らかに追従するものであるため、ホールド型発光の場合、輝度レベルが次のフレームまでの期間保持され、時間積分効果により残像感が生じてしまう。これが動きボケである。この動きボケを解消するために、フレーム周波数を倍速化して液晶表示を陰極線管のようなインパルス型に近づける技術が用いられている。
【０００４】
この場合、フレーム間に線形補間によってフレームを内挿したり、周波数を単に２倍にしたりする方法があるが、動きにジャダーが発生したり、動きボケを十分に改善することができない。そこでジャダーの影響をなくして動画像の画質を改善するために、動き補償型のフレーム内挿処理を行う技術が実用化されている。
【０００５】
この動き補償型のフレーム内挿技術においては、連続するフレーム間（仮に、時間的に前のフレームをＦ（ｔ）とし、時間的に後のフレームをＦ（ｔ＋１）とする）が類似した画像であることを基本としており、画素もしくは一定の画素グループが、フレーム間でどのように動いたかを動きベクトルとして表現する。フレーム間の動きベクトルを検出する手法としては、ブロックマッチングや勾配法などが知られている。この動きベクトルの情報をもとに、両フレーム（（Ｆ（ｔ））、Ｆ（ｔ＋１））の画素の値を用いて内挿画像を生成する。
【０００６】
動きベクトルを求めるブロックマッチングにおいては、一般的には、Ｆ（ｔ）を一定のサイズ（例えば、８×８画素）のブロックに区切り、これを１つの単位としてＦ（ｔ＋１）に対して動きベクトルを探索していく。このとき、探索する範囲が広い場合や動き精度を細かくした場合、画素相関の検査を行う回数が増えるため演算規模が増大する。検査回数を減らす方法としては、特許文献１に示されるようにフレーム間の動きの継続性を利用した方法が知られている。
【０００７】
画素相関を検査する方法としては、ブロック間の絶対差和を用いたＳＡＤ（Sum of Absolute Differences）や差分値の２乗和を用いるＤＦＤ（Displaced Field Difference）などが知られている。
ＳＡＤは、現在のフレームの探索対象ブロックにおける画素値と、参照フレームの参照ブロックにおける画素値の絶対差分値和であり、例えばブロック同士の同じ位置の画素値の差分絶対値をとり、これを累積していくことで計算される。また、ＤＦＤは、フレーム間におけるブロック内の同じ位置の画素値の差分の２乗和である。ＳＡＤやＤＦＤが大きい場合には、ブロック同士の差分が大きいことを意味し、ブロック内画像の形状が異なっていることがわかる。つまり、注目画像ブロックに対して、隣接フレームの所定の探索範囲内のブロックのなかでＳＡＤやＤＦＤの値が最も小さいブロックを最も相関が高いブロックとして認識することができる。
【０００８】
このように、ＳＡＤやＤＦＤでは、計算した結果がより小さいものを画素相関があるものとし、一般的にはＳＡＤやＤＦＤが探索範囲中で最も小さいブロックが示すベクトルをそのブロックの動きベクトルとする。
また、これに加えて、特許文献２に示されるように、あらかじめ探索範囲中にハンディキャップを与える手法も提案されている。これはＳＡＤやＤＦＤ演算で求めた結果に対して所定の値を加算もしくは減算して蓄積し、最小値を与えるベクトルを動きベクトルとする手法である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開昭６２−２０６９８０号公報
【特許文献２】特表２００１−５０７５５２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
実際の映像において、物体は画素単位で動いているわけではない。従って映像信号のサンプリングを行ってデータを処理するデジタル処理においては、ＳＡＤやＤＦＤの結果が０となるまで詳細な探索を行うことは難しい。つまり、映像内の物体が画素単位以下の細かい動きで動いている場合には、ＳＡＤやＤＦＤを０とするまでの探索が通常できない。このような場合に対処するため、例えば、１画素単位で動きベクトルの探索を行っているときに、補間処理等により０.５画素単位、０.２５画素単位、０.１２５画素単位、等で仮想画素を生成し、これらの仮想画素の値を用いてさらに細かい動きベクトルを検出する方法がある。しかしながら、０.５ピクセル単位で動きベクトルの探索を行うと処理量は４倍になり、０.２５ピクセル単位で動きベクトルの探索を行うと処理量は１６倍になって、画素単位を細かくすれば処理量が指数的に増大してしまい、実用的とはいえない。
【００１１】
図１２は、時間的に連続するフレーム間の画像相関について説明する図で、時間的に連続するフレーム（Ｆ（ｔ）、Ｆ（ｔ＋１））の画像を順に図１２（Ａ）、図１２（Ｂ）に示すものである。この画像の例では、三角形の物体１０がフレームＦ（ｔ）からＦ（ｔ＋１）において画面の右方向に移動したものとする。
【００１２】
フレームＦ（ｔ）とフレームＦ（ｔ＋１）とにおける画素相関を演算する場合、フレームＦ（ｔ）内のブロック１１は、Ｆ（ｔ＋１）内の領域１２のどの部分に対しても高い画素相関を示す。つまり、ブロック１１に対して探索ブロックとして領域１２のブロックを探索したときに、ブロック同士の同一位置の画素値の差分値が少なくなって、領域１２のいくつかのブロックに対してＳＡＤまたはＤＦＤの演算結果が同様の小さい値となる。従って、ブロック１１の移動後のブロックを正確に確定することができず、動きベクトルの誤検出が生じる。
【００１３】
このような場合の対策として、特許文献２に示されるようなハンディキャップにより、ＳＡＤやＤＦＤ演算で求めた結果に対して所定の値を加算もしくは減算して蓄積し、最小値を与えるベクトルを動きベクトルとすることで、三角形の頂点の検出結果や過去の動きに基づき正しい動きベクトルを求めることが可能となる。つまり、過去の動きベクトルや周辺ブロックの動きベクトルと同じ値を示すベクトルのＳＡＤ値にハンディキャップを与えることにより、離散点以下のズレの誤差を吸収し、正しい動きベクトルを求めることができる。
【００１４】
しかしながら、物体の動き量とサンプリング座標によっては、同じ物体のエッジであっても輝度値など数値が異なって表現される。例えば物体の動き量によってはＦ（ｔ）とＦ（ｔ＋１）で画像の位相がずれ、同一位置の画像ブロックの間であってもその画素値に差分が生じ、ＳＡＤの値が変化してしまう。つまり、処理量によって規制されるベクトル精度でブロックマッチングにより動きベクトルを検出するとき、物体の位相ずれによって、物体のサンプリングポイントがずれ、ブロックマッチングにより得られたＳＡＤやＤＦＤの演算値が０にならない場合が発生する。
【００１５】
例えば、図１３に示すように、連続する三角形のパターン２０ａ〜２０ｃが画像に存在するような場合、Ｆ（ｔ）の領域２１がＦ（ｔ＋１）に移動したときの位相が、パターン２０ｂではなく、パターン２０ａに対して近くなるような場合が発生する。特にパターンの動きが加速や減速を伴う動きであったり、直線でない動きであった場合にその現象は顕著となる。
【００１６】
このような場合を考えて、特許文献２に示されるようなハンディキャップにより、動きを継続する手法を用いて正しい動きベクトルを得ることが可能ではあるが、この手法を用いた場合、急峻なエッジが存在するブロックを基準として、ＳＡＤやＤＦＤに対する加算のハンディキャップを決定することになる。このように、急峻なエッジに基づく大きなハンディキャップを用いた場合、ハンディキャップの占めるウエイトが高くなり、動きの変化に追随することが難しくなる。従って、従来の手法においては良質な動きベクトルを得ることが難しかった。
【００１７】
例えば、図１４に示すように、２つの同じ物体２００，２０１が０.５画素ずれて配置されて撮影されたものとする。このとき、これらの物体２００，２０１が一定値Ｍｖ＝（Ｖｘ，０）を基本に（±０.５，０）で動いているものとする。この動きベクトルの変動は、例えば、カメラのブレや物体の動きの不均一などで生じるモデルである（一般的な動画像においては、完全な等速運動を行う物体は少ない）。
【００１８】
この例の撮影画像においては、輝度値が８ビットで表現され、物体２００，２０１は白（ｗ）で輝度値が２５５であり、背景は黒（ｂ）で輝度値が０であるものとする。ここで、フレームＦ（ｔ）では、左側の物体２００は、左右両側のエッジが１画素の１／２に位置し、その画素の輝度値は１２８のグレー（ｇ）となっている。また、フレームＦ（ｔ＋１）では、右側の物体の左右両側エッジが１画素の１／２に位置し、左右両側のエッジ部にグレー（ｇ）の画素が撮像されている。
【００１９】
この場合、フレームＦ（ｔ）とＦ（ｔ＋１）において、Ａの領域の動きベクトルは、同じ物体２００のＣの領域を示すべきである。しかしながら、ＳＡＤのみで動きベクトルを判定すると、Ａの領域に対しては、Ｄの領域を示す動きベクトルが求まる。
【００２０】
例えば、Ａ，Ｂ，Ｃ，Ｄに示す領域のブロックが４×４であったときを考える。
フレームＦ（ｔ）の領域Ａについて、フレームＦ（ｔ＋１）の領域Ｃに対してのＳＡＤ値は、Ｆ（ｔ）の輝度値１２８のグレーの画素が４つと、Ｆ（ｔ＋１）の輝度値０の黒の画素４つに輝度差が生じることから、（１２８）×４＝５１２を示す。
一方、フレームＦ（ｔ）の領域Ａについて、フレームＦ（ｔ＋１）の領域Ｄに対してのＳＡＤは、各画素の差分がないため０を示す。この場合、領域Ａの動きを維持して領域ＣのＳＡＤを最小とし、領域Ｃに対する動きベクトルを選択させるようにするためには、領域ＣのＳＡＤに対して５１２以上のハンディキャップを与える必要がある。
【００２１】
しかしながら、このような値をハンディキャップとして与えてしまうと、輝度差の小さい画像（例えば、白の輝度値が１３８、黒の輝度値が１１８）などの場合には、ハンディキャップを超えるＳＡＤを示すことがないため、ハンディキャップそのものによって動きベクトルが決定してしまうことになる。
【００２２】
つまり、大きなハンディキャップを与えなければ、正しい動きを求めることができない画像もあり、また、大きなハンディキャップを与えることで正しい動きを求めることができない場合もあるため、固定的なハンディキャップを与えることは好ましくない。
【００２３】
このように、従来技術においては、サンプリングポイントの違いにより理論的に発生する可能性があるＳＡＤやＤＦＤの値の変動に対する対処はされておらず、動きベクトルの誤検出の要因となっていた。
本発明は、上述のごとき実情に鑑みてなされたものであり、サンプリングポイントの違いにより理論的に発生する動きベクトルの誤差を吸収することが可能となり、より正確に動きベクトルを検出することができるようにした動きベクトル検出装置および方法、映像表示装置、映像記録装置、映像再生装置、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００２４】
上記課題を解決するために、本発明の第１の技術手段は、入力される画像信号のフレーム間の動きベクトルを検出する動きベクトル検出部を備えた動きベクトル検出装置において、前記動きベクトル検出部は、入力された画像信号のフレームの注目画像ブロックと、該注目画像ブロックのフレームに時間的に前後する入力画像信号のフレームの所定の探索範囲内のブロックとの間で、画像ブロック同士における互いに同一位置の画素値の差分絶対値の累積加算値を示すＳＡＤ、もしくは前記同一位置の画素値の差分の２乗値の累積加算値を示すＤＦＤを検出し、前記注目画像ブロック内の隣接する２つの画素値同士の差分値の平均値を求め、求めた平均値に基づいて前記ＳＡＤまたはＤＦＤを補正し、該補正したＳＡＤまたはＤＦＤに基づいて動きベクトルを検出することを特徴としたものである。
【００２５】
第２の技術手段は、第１の技術手段において、前記動きベクトル検出部が、前記平均値が増大するに従って、前記ＳＡＤまたは前記ＤＦＤが徐々にもしくは段階的に小さくなるような乗算係数もしくは加算値を使用して前記ＳＡＤまたは前記ＤＦＤを補正することを特徴としたものである。
【００２６】
第３の技術手段は、第１または２の技術手段において、例えば、前記注目画像ブロックのフレームの前のフレームの動きベクトルと同一の動きベクトルをもつ前記探索範囲内のブロックにより計算した前記補正後のＳＡＤまたはＤＦＤに対して、または前記注目画像ブロックに隣接する画像ブロックと同じ動きベクトルをもつ前記探索範囲内のブロックにより計算した前記補正後のＳＡＤまたはＤＦＤに対して、前記補正したＳＡＤまたはＤＦＤが相対的に小さくなる方向の加算重みを加え、前記加算重みを考慮した前記補正後のＳＡＤまたはＤＦＤが最も小さくなるブロックにより与えられる動きベクトルを検出することを特徴としたものである。
【００２７】
第４の技術手段は、第１〜第３のいずれか１の技術手段の動きベクトル検出装置と、該動きベクトル検出装置が検出した動きベクトルに基づいて、入力される画像信号のフレーム間に内挿する補間フレームを生成する内挿フレーム生成部と、該内挿フレーム生成部から出力された画像信号を表示する表示部とを備えた映像表示装置である。
【００２８】
第５の技術手段は、第１〜第３のいずれか１の技術手段の動きベクトル検出装置と、該動きベクトル検出装置が検出した動きベクトルに基づいて、映像信号をフレーム間で圧縮する符号生成部と、情報を符号化した映像を記録する映像記録部とを備えた映像記録装置である。
【００２９】
第６の技術手段は、第５の技術手段によって記録された符号化された映像を再生する映像再生装置である。
【００３０】
第７の技術手段は、２つの画像の動きベクトルを検出する動きベクトル検出手段において、前記動きベクトル検出手段は、基準画像の注目画像ブロックと、該注目画像ブロックの参照画像の所定の探索範囲内のブロックとの間で、画像ブロック同士における互いに同一位置の画素値の差分絶対値の累積加算値を示すＳＡＤ、もしくは前記同一位置の画素値の差分の２乗値の累積加算値を示すＤＦＤを検出するステップと、前記注目画像ブロック内の隣接する２つの画素値同士の差分値の平均値を求めるステップと、求めた平均値に基づいて前記ＳＡＤまたはＤＦＤを補正するステップとを有し、該補正したＳＡＤまたはＤＦＤに基づいて動きベクトルを検出することを特徴としたものである。
【００３１】
第８の技術手段は、第７の技術手段において、前記動きベクトル検出ステップで、前記平均値が増大するに従って、前記ＳＡＤまたは前記ＤＦＤが徐々にもしくは段階的に小さくなるような乗算係数もしくは加算値を使用して前記ＳＡＤまたは前記ＤＦＤを補正することを特徴としたものである。
【００３２】
第９の技術手段は、第７または８の技術手段において、例えば、前記注目画像ブロックのフレームの前のフレームの動きベクトルと同一の動きベクトルをもつ前記探索範囲内のブロックにより計算した前記補正後のＳＡＤまたはＤＦＤに対して、または前記注目画像ブロックに隣接する画像ブロックと同じ動きベクトルをもつ前記探索範囲内のブロックにより計算した前記補正後のＳＡＤまたはＤＦＤに対して、前記補正したＳＡＤまたはＤＦＤが相対的に小さくなる方向の加算重みを加え、前記加算重みを考慮した前記補正後のＳＡＤまたはＤＦＤが最も小さくなるブロックにより与えられる動きベクトルを検出することを特徴としたものである。
【００３３】
なお、動きベクトル検出装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記画像補間装置をコンピュータにおいて実現する制御プログラム、およびその制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００３４】
本発明によれば、サンプリングポイントの違いにより理論的に発生する動きベクトルの誤差を吸収することが可能となり、より正確に動きベクトルを検出することができるようにした動きベクトル検出装置および方法、映像表示装置、映像記録装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体を提供することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明に係る動きベクトル検出装置の構成を説明するためのブロック図である。
【図２】物体の画素値の状態と画素値のサンプリング位置との関係の一例を示す図である。
【図３】図２のサンプリング位置における動きベクトルと画素値との関係を示す図である。
【図４】物体の画素値の状態と画素値のサンプリング位置との関係の他の例を示す図である。
【図５】図４のサンプリング位置における動きベクトルと画素値との関係を示す図である。
【図６】ＳＡＤの値が大きくなると理論誤差が発生しやすくなるメカニズムを説明するための図である。
【図７】４×４画素のブロックの画像例を示す図である。
【図８】４×４画素のブロックの輝度値の例を示す図である。
【図９】４×４画素のブロックの輝度値の他の例を示す図である。
【図１０】４×４画素のブロックの他の画像例を示す図である。
【図１１】４×４画素のブロックのさらに他の画像例を示す図である。
【図１２】時間的に連続するフレーム間の画像相関について説明する図である。
【図１３】時間的に連続するフレーム間の画像相関について説明する他の図である。
【図１４】時間的に連続するフレーム間の画像相関について説明するさらに他の図である。
【発明を実施するための形態】
【００３６】
図１は、本発明に係る動きベクトル検出装置の構成を説明するためのブロック図で、動きベクトル検出装置を液晶表示装置に適用したときの構成例を示すものである。
液晶表示装置は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するフレームレート変換部１００を備えている。液晶表示パネル１０３は、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するものであり、電極駆動部１０４は、フレームレート変換部１００によりフレームレートが変換された画像信号に基づいて液晶表示パネル１０３の走査電極及びデータ電極を駆動して、画像信号を表示させる。
【００３７】
フレームレート変換部１００は、入力画像信号から動きベクトルを検出する動きベクトル検出部１０１と、動きベクトル検出部１０１により得られた動きベクトルに基づいて内挿フレームを生成する内挿フレーム生成部１０２とを備える。内挿フレーム生成部１０２は、フレームレート変換部１００に入力される画像信号の時間的に連続したフレーム（Ｆ（ｔ）、Ｆ（ｔ＋１））の間に内挿フレームを挿入してフレームレートを変換する。本発明に係る動きベクトル検出装置の実施形態は、入力画像信号から動きベクトルを検出する上記動きベクトル検出部１０１を必須の構成要素として備えるものである。また、本実施形態の動きベクトル検出装置を備えた液晶表示装置は、本発明の映像表示装置の実施形態に相当する。
【００３８】
動きベクトル検出部１０１は、前述したようなブロックマッチング法を用いて動きベクトル情報を求めるものとする。ブロックマッチング法においては、例えば、前のフレームＦ（ｔ）の注目画像ブロックと、後のフレーム（Ｆ（ｔ＋１））の所定の探索範囲内の各画像ブロックとを対応画素ごとに比較し、画素値の差分の絶対値を蓄積してＳＡＤを算出する。また、ＤＦＤを用いる場合には、画素値の差分の２乗を蓄積してＤＦＤを算出する。画素値としてはＲ，Ｇ，Ｂの各値であってもよいが、一般に画像の輝度値Ｙが用いられる。以下の例では、輝度値を用いた例として説明する。
【００３９】
そして、探索範囲内の各画像ブロックのうち、ＳＡＤまたはＤＦＤが最も小さい画像ブロックに対する動きベクトルを、注目画像ブロックの動きベクトルとする。この動きベクトルは大きさと方向を含むもので、注目画像ブロックのフレーム上の２次元で示されるベクトルとなる。
【００４０】
ここで本発明に係る実施形態では、動きベクトルを検出する際に、注目画像ブロックの特徴量として、注目画像ブロック内の隣接画素同士の差分値の平均値を算出し、その特徴量（平均値）に基づいてＳＡＤまたはＤＦＤを補正する。ここでは特徴量が大きければＳＡＤまたはＤＦＤが小さくなるように補正する。そして、動きベクトルの検出においては、注目画像ブロックのフレームの前のフレームの動きベクトルと同一の動きベクトルをもつ探索範囲内のブロックに対しては、補正したＳＡＤまたはＤＦＤに対してさらに所定の加算重みを加える。もしくは、注目画像ブロックに隣接する画像ブロックと同じ動きベクトルをもつ探索範囲内のブロックに対しては、補正したＳＡＤまたはＤＦＤに対してさらに所定の加算重みを加える。そして、加算重みの加算後のＳＡＤまたはＤＦＤを用いて、動きベクトルの検出を行う。詳細は後述する。
【００４１】
内挿フレーム生成部１０２では、前のフレームＦ（ｔ）の注目画像ブロックの画素値と、その動きベクトルと、注目画像の動きベクトルが示す次フレーム（Ｆ（ｔ＋１））の画像ブロックの画素値とに基づいて内挿フレームを生成し、フレーム（Ｆ（ｔ）、Ｆ（ｔ＋１））間に内挿して出力する。なお、この場合には、時間的に前のフレームに注目画像ブロックを設定したが、時間的に後のフレームに注目画像ブロックを設定し、前のフレームの探索範囲内のブロックを探索する場合であっても本実施形態の処理を適用することができる。
【００４２】
上記のように、本発明の実施形態の特徴では、注目画像ブロックの特徴量として、注目画像ブロックを構成する隣接画素同士の差分値の平均を求め、求められた平均値に基づいて、ＳＡＤまたはＤＦＤの演算結果を補正する。ここでは、ＳＡＤまたはＤＦＤに乗算する係数、もしくは加算値を求め、その値によってＳＡＤまたはＤＦＤを補正する。補正したＳＡＤまたはＤＦＤに対しては、所定の加算重み（ハンディキャップ）を加えて判定用のＳＡＤまたはＤＦＤを算出し、この値が最小になるブロックにより得られるベクトルを動きベクトルして決定する。
【００４３】
より具体的には、上記の注目画像ブロックの隣接画素値の差分値の平均値が大きかった場合、つまり隣接画素の画素値の差が大きく、高いエッジ領域であった場合、ＳＡＤまたはＤＦＤが小さくなる値を乗算もしくは加算する。この場合、平均値が増大するに従って、ＳＡＤまたはＤＦＤが徐々にもしくは段階的に小さくなるような乗算係数もしくは加算値を使用してＳＡＤまたはＤＦＤを補正することができる。
【００４４】
一方、上記の注目画像ブロックの隣接画素値の差分値の平均値が小さかった場合、つまり隣接画素の画素値の差が小さく、平坦な変化の画像であった場合、ＳＡＤまたはＤＦＤに乗算もしくは加算を行わないか、またはＳＡＤまたはＤＦＤが大きくなる値を乗算もしくは加算する。ここでは、平均値が所定レベル以下の場合には、ＳＡＤまたはＤＦＤの値の補正係数を１とし、もしくは加算値を０とすることで補正前のＳＡＤまたはＤＦＤの値を補正後においても維持するようにしてもよい。または、平均値が減少するに従って、ＳＡＤまたはＤＦＤが徐々にもしくは段階的に大きくなるような乗算係数もしくは加算値を使用するものであってもよい。
【００４５】
上記の処理により、エッジ領域のブロックには、ＳＡＤまたはＤＦＤの結果に対して大きな圧縮を加えてＳＡＤまたはＤＦＤが小さくなるように補正する。また、平坦な領域のブロックに対しては、ほとんどハンディキャップを加えず、ＳＡＤまたはＤＦＤの演算結果をそのまま使用するか、もしくはＳＡＤまたはＤＦＤを大きくする補正を行う。
そして補正後のＳＡＤまたはＤＦＤの値には、加算重み（ハンディキャップ）を加算して動きベクトルを判定することで、画素未満の動きがあったときのサンプリング位置の違いにより発生する動きベクトルの検出誤差を吸収させるようにする。なお、ここでいう画素未満とは、サンプリング間隔が１画素単位である場合を示すもので、サンプリングが１画素以外の間隔で行われていれば、その間隔未満の動きの検出誤差の吸収に有効となることを示している。
【００４６】
加算重み（ハンディキャップ）に関しては、以下のごとくの思想とする。まず、総論として、連続したフレームでは類似した画像となり、連続したフレーム間では類似した動きベクトルとなる確率が高い。シーンチェンジなどを除けば、ほぼこのようになる。
このような特性を利用すると、ブロックマッチングにおいて類似したＳＡＤまたはＤＦＤを示すブロックがいくつか存在した場合、前フレームの動きを継続するように動きベクトルを決定したほうが誤検出の確率を低下させることができる。よって、いくつかある候補ベクトルに対して前フレームの動きベクトルと同一のベクトルに対してハンディキャップを与えることで、そのハンディキャップを与えた動きベクトルを選択しやすくする。
【００４７】
また、同一の物体の一部であれば同じ動きをする可能性が高い。従って、同一フレームの周辺ブロックと同じ動きベクトルの可能性が高い。よって、いくつかある候補ベクトルに対して、隣接する周辺ブロックと同じ動きベクトルに対してはハンディキャップを与えることで、そのハンディキャップを与えた動きベクトルを選択しやすくする。この他にも平均ベクトルに対してハンディキャップを与えたり、ある領域の平均ベクトルに対してハンディキャップを与えることも可能であり、本発明においてはハンディキャップを与えるベクトルに対しては、特に規定するものではない。
ハンディキャップは、相対的に選択しやすくする方向に与えるものを指す。例えば、求めたＳＡＤやＤＦＤにマイナス値を与えて選択し易くする処理が一般的であるが、選択させようとするベクトルではない他の動きベクトルを選択しにくくするために、他の動きベクトルを与えるブロックのＳＡＤまたはＤＦＤにプラス値を与えるものであってもよい。本発明は、単純にハンディキャップを与えるだけでは問題を解決できないので、ブロックの特徴（勾配量）に応じてハンディキャップ値を決定できるようにすることで、より多くの問題に対処可能となる。
【００４８】
簡単化のために図２〜図３を用いて２次元的に説明する。図２において、実際の物体輝度のアナログ波形が図に示す直線Ｌに相当するものであったとする。これをディジタル的にサンプリングした場合、画素値１に示す値（輝度値）となる。画素値１のサンプリング間隔は１画素間隔であるものとする。このとき、画素値１のサンプリング位置に対して、±０.５画素分ずれた位置のポイントにおける輝度は、画素値２に示す値となる。
【００４９】
従って、入力画像信号の前後のフレーム（Ｆ（ｔ）、Ｆ（ｔ＋１））において、物体の動きが０.５画素分あったと仮定すると、１画素間隔でサンプリングしたときに、前のフレーム（Ｆ（ｔ））では画素値１をサンプリングし、次のフレームでは画素値２をサンプリングすることになる。なおここでは、動きベクトル検出装置の規模の観点から、１画素単位で動きベクトル検出を行うものとするが、仮に画素の半分の単位でベクトル検出を行った場合は１／４の大きさで同じ症状が発生するだけであり、動きベクトル検出の単位を画素単位としたことに大きな意味はない。
【００５０】
図３は、図２の物体が０.５画素分動いたときの画素値の検出結果を示す図で、図２の例において、前のフレームＦ（ｔ）でサンプリングした画素値１と、画素値１に対してゼロベクトルを与える後のフレームＦ（ｔ＋１）の画素値２ａと、画素値１に対してゼロベクトル＋１を与える後のフレームＦ（ｔ＋１）の画素値２ｂとを示している。画素値２ａ，２ｂは、図２で特定の画素値１を挟む２つの画素値２をそれぞれ表している。
【００５１】
この場合、ブロックマッチングを行ったときに、前のフレームの画素値１は、ゼロベクトルのときの画素値２ａと比較してもゼロベクトル＋１のときの画素値２ｂと比較しても一致することはない。つまり、フレーム間で物体が０.５画素動いてしまったときには、差分が０にならず、ＳＡＤやＤＦＤが０になることがない。しかしながら、この場合にＳＡＤやＤＦＤを最も小さくするのもこれらのゼロベクトル、及びゼロベクトル＋１のベクトルである。
【００５２】
図４は、図３に比べて傾きが急峻な物体輝度の例を示す。つまり、実際の物体輝度のアナログ波形を示す直線Ｌが、図２の例よりもその傾きが大きいとき（例えばエッジ領域の画像）の例を示している。
図４に示すアナログ波形をサンプリングした場合、画素値１に示す値となる。画素値１のサンプリング間隔は１画素間隔である。このとき、画素値１のサンプリング位置に対して、±０.５画素分ずれた位置のポイントにおける輝度は、画素値２に示す値となる。従って、入力画像信号の前後のフレーム（Ｆ（ｔ）、Ｆ（ｔ＋１））において、物体の動きが０.５画素分あったと仮定すると、１画素間隔でサンプリングしたときに、前のフレーム（Ｆ（ｔ））では画素値１をサンプリングし、次のフレームでは画素値２をサンプリングすることになる。
【００５３】
図５は、図４の物体が０.５画素分動いたときの画素値の検出結果を示す図で、図４の例において、前のフレームＦ（ｔ）でサンプリングした画素値１と、画素値１に対してゼロベクトルを与える後のフレームＦ（ｔ＋１）の画素値２ａと、画素値１に対してゼロベクトル＋１を与える後のフレームＦ（ｔ＋１）の画素値２ｂとを示している。画素値２ａ，２ｂは、図４で特定の画素値１を挟む２つの画素値２をそれぞれ表している。
この場合、ブロックマッチングを行ったときに、前のフレームの画素値１は、ゼロベクトルのときの画素値２ａと比較してもゼロベクトル＋１のときの画素値２ｂと比較しても一致することはない。つまり、フレーム間で物体が０.５画素動いてしまったときには、差分が０にならず、ＳＡＤやＤＦＤが０になることがない。しかしながら、この場合にＳＡＤやＤＦＤを最も小さくするのもこれらのゼロベクトル、及びゼロベクトル＋１のベクトルである。
【００５４】
ここで、図３と図５とを比較したときに、画素値１とゼロベクトルの画素値２ａとの差、及び画素値１とゼロベクトル＋１の画素値２ｂとの差は、図５に示す急峻な画像の方が大きくなる。つまり、傾きが急峻な画像を含むブロックでブロックマッチングを行ったときに、最も小さなＳＡＤであっても、そのＳＡＤの値は、傾きが緩やかな画像のブロックに比べて大きなＳＡＤになる場合がある。
【００５５】
ＳＡＤの値が大きくなると、理論誤差が発生しやすくなる。このときのメカニズムを簡単化のために２次元で説明する。
図６に示すように、あるフレームＦ（ｔ）にある波形があったものとする。そのとき、座標Ｘの輝度値をＹ１、座標Ｘ＋１の輝度値をＹ２とする。ここでフレームＦ（ｔ）に時間的に連続した次のフレームＦ（ｔ＋１）において、動き（−｜Δｘ｜）が生じたとする。ただし、０＜｜Δｘ｜＜０.５とする。
【００５６】
このとき、フレームＦ（ｔ）とフレームＦ（ｔ＋１）の座標Ｘ＋１で生じるＳＡＤ値は、｜Ｙ２−（Ｙ２＋｜Δｙ｜）｜＝｜Δｙ｜ となる。ここで、
｜Δｙ／Δｘ｜＝｜（Ｙ２−Ｙ１）／（Ｘ＋１−Ｘ）｜＝｜Ｙ２−Ｙ１｜ であり、
｜Δｙ｜＝｜Ｙ２−Ｙ１｜×｜Δｘ｜となる。
【００５７】
従って、ＳＡＤ値はある波形の傾きと動き量に比例する。ここで動き範囲を０＜｜Δｘ｜＜０.５としたのは説明を簡略化したためであり、例えば、１以上であったあった場合、ＳＡＤを最小にする整数部を別途として捉え、小数部の説明が上記のようになる。
また、０.５＜｜Δｘ｜＜１.０の場合、整数部を１つずらした方がＳＡＤは小さくなるためであり、小数部についての説明は上記と同様になり、ＳＡＤは傾きに比例する。
【００５８】
一方、動き量は任意であり、映像によって決まるアナログ量となる。ブロックマッチングにおいては、離散的に値を扱うため、アナログ量である動きに対して余りが生じる確率が高い。従って、離散的に扱う限り、最も正確に近い動きベクトルでブロックマッチングを行ったとしても一点あたりＳＡＤ＝｜Ｙ２−Ｙ１｜×｜Δｘ１｜の理論誤差が生じる（ここで０＜Δｘ１＜（サンプリング距離／２）とする）。
【００５９】
簡単にいえば、単純モデルの場合、どれほど細かく中間点を作ってブロックマッチングしても連続ではないので、動きベクトルに余りが生じてしまう。ここでは（勾配）×（余りベクトル）×（ブロックサイズ）が理論的な誤差となる。つまり、急峻な傾きをもつエッジは理論的な誤差を発生する確率が高い。確率とするのは理論的な誤差が余りベクトルの大きさに依存するためである。
【００６０】
従って、本発明においては、まず、検査するブロック（注目画像ブロック）における画素値の傾き量を検査する。具体的には、注目画像ブロック内の隣接する２つの画素値同士の差分値の平均値を求める。そして、求めた画素値の差分値の平均値に基づいてＳＡＤまたはＤＦＤを補正し、補正したＳＡＤまたはＤＦＤに基づき動きベクトルを検出する。
【００６１】
例えば、４×４を１つのブロック（注目画像ブロック）とした場合の例では、下記（１）式を計算し、注目画像ブロック内の隣接する画素同士の差分の絶対値の平均値Ｅｇを計算する。平均値Ｅｇは、注目画像ブロックの特徴量である。
ここでｘ、ｙは、ブロック内における横方向及び縦方向の画素の座標をそれぞれ示す。
【００６２】
【数１】
【００６３】
そして、特徴量Ｅｇの値に応じて係数α（０＜α≦１）を決定し、ＳＡＤまたはＤＦＤの演算結果に係数αを乗算することでＳＡＤまたはＤＦＤを補正する。αは、Ｅｇの値が大きい場合に小さくなり、Ｅｇの値が小さい場合に大きくなるようにあらかじめ決めておくものとする。このときに、αをＥｇの値の増減に応じて徐々に変化させるように設定する。また、Ｅｇの値の増減に応じて、αが段階的に変化するものであってもよい。さらにＥｇが所定のレベル以下の時にはαを１として、補正後においても補正前のＳＡＤやＤＦＤを維持するものであってもよい。
【００６４】
そして、α倍したＳＡＤまたはＤＦＤに加算重みＷａを加え、最終的な判定用ＳＡＤまたはＤＦＤを求めて動きベクトルを決定する。加算重みＷａは、注目画像ブロックのフレームの前のフレームの動きベクトルと同一の動きベクトルをもつ探索範囲内のブロックに対して計算したＳＡＤまたはＤＦＤに加算する。または、注目画像ブロックに隣接する画像ブロックと同じ動きベクトルをもつ探索範囲内のブロックに対して計算したＳＡＤまたはＤＦＤに加算する。それ以外のブロックに対しては、加算重みを加算しない。
【００６５】
この場合、Ｗａを負の値として加算すると、ＳＡＤまたはＤＦＤが小さくなって、動きベクトルとして選択されやすくなる。従って、注目画像ブロックのフレームの前フレームと同じ動きベクトルをもつ探索範囲内のブロック、または注目画像ブロックに隣接する画像ブロックと同じ動きベクトルをもつ探索範囲内のブッロク以外のブロックにより与えられるＳＡＤまたはＤＦＤに正の値を加えて、選択されにくくするものであってもよい。つまり、前フレームと同じ動きベクトルをもつ探索範囲内のブロック、または注目画像ブロックに隣接する画像ブロックと同じ動きベクトルをもつ探索範囲内のブッロクにより与えられる動きベクトルが、それ以外の動きベクトルよりも相対的に小さくなる方向の加算重みＷａを加算することができる。そして、加算重みを考慮した補正後のＳＡＤまたはＤＦＤを使用し、最も小さいＳＡＤまたはＤＦＤを与える動きベクトルをその注目画像ブロックの動きベクトルとする。
【００６６】
ＳＡＤを用いたときのＳＡＤの演算式（２）と、演算式（２）によって得られたＳＡＤに対して係数αを乗算し、加算重みＷａを加算して動きベクトルを検出するための判定式（３）とを以下に示す。本実施形態では、ＳＡＤまたはＤＦＤを用いて動きベクトル検出処理を行うことができるが、以下、簡単のため、ＳＡＤのみを例として説明する。
【００６７】
【数２】
【００６８】
加算重みＷａは、特許文献２に示されるような探索範囲固有に与えるハンディキャップの値とする。このブロックの特徴量に依存する係数をＳＡＤ判定に用いることにより、理論誤差の発生しやすい高いエッジを含んだブロックはＳＡＤの値を小さくすることで、エッジを含まないブロックでの検出結果に近づけることで、大きなＷａの値を使用せずに済むことになり、弊害なく正しい動きベクトルを求めることが可能となる。
【００６９】
さらに具体的な例によって説明する。まず、図７に示すような４×４画素のブロックを考える。このブロックは、白（画素値２５５）と黒（画素値０）とが交互に市松上に並ぶもので、このような画像にて特徴量Ｅｇは、隣接画素の差分が全て２５５になるため、計算上２５５となる。この値を４×４画素ブロックの最大値Ｅｇ（ｍａｘ）とする。
【００７０】
動きベクトルを決定するための判定式（３）は、上記のように、
判定式 ＝ α×ＳＡＤ＋Ｗａ
である。判定式が最小値となるベクトルをそのブロックの動きベクトルとして決定する。
ここで、
α ＝（Ｅｇ（ｍａｘ）−Ｅｇ）／Ｅｇ（ｍａｘ） ・・・（４）
とする。
【００７１】
上述の図１４の例においては、領域Ａに対して領域Ｃを選択させるためのハンディキャップとして必要な値は、Ｗａ＝−５１２であった。図１４の領域Ａが、白＝２５５、黒＝０、グレー＝１２８の輝度値をもつとき（ケース１とする）、領域Ａの輝度値は図８に示すようになる。この場合、隣接画素同士の差分値の累積は、差分値が１２７の隣接画素が４カ所、差分値が１２８の隣接画素が４カ所にあるため、（１２７×４）＋（１２８×４）＝１０２０となる。また、Ｅｇｍａｘは、２５５である。
従って特徴量Ｅｇ，およびαは、
Ｅｇ＝１０２０／２４＝４２.５
α＝０.８３３
となる。
【００７２】
従って、図１４の例における領域Ａに対する領域Ｃの判定式は、ＳＡＤが５１２であることから、判定式＝４２６.６６＋Ｗａが得られる。
これにより、領域Ｃの判定式を最も小さくするためには、ハンディキャップとして加算する加算重みＷａとしては、−４２７があればよい。つまり、図１４の例では、Ｗａとして−５１２が必要であったが、上記の処理によりより量的に小さな値のハンディキャップが設定可能となる。
【００７３】
一方、上記の領域Ａが、白＝１３８、黒＝１１８、グレー＝１２８の輝度値をもつ場合（ケース２とする）、図９に示すようになる。この場合、隣接画素同士の差分値の累積は、差分値が１０の隣接画素が８カ所にあるため、８０となる。また、Ｅｇｍａｘは、２５５である。
従って特徴量Ｅｇ，及びαは、
Ｅｇ＝８０／２４＝３.３３
α＝０.９８７
となる。
【００７４】
ケース１のように急峻なエッジを含むブロックにおいてはαが小さい値を示し、判定式（３）におけるＳＡＤの影響度が小さくなる。また、ケース２のようなエッジ量が小さいブロックではαが大きくなり、判定式に占めるＳＡＤの結果の影響が大きくなる。
【００７５】
上記の例では、図７に示すように、Ｅｇ（ｍａｘ）の値が最も大きくなるように設定したが、図１０に示すような２本のエッジをもつ画像をＥｇ（ｍａｘ）とするような設定も可能である。
この場合、隣接画素の差分値には、２５５の箇所が８カ所あり他の箇所は０である。従って、特徴量Ｅｇｍａｘは計算上、（２５５×８）／２４＝８５となる。
そして領域Ａの白、グレー、黒の輝度値がケース１と同じ２５５，１２８，０の場合、Ｅｇ＝４２.５であることから、
α＝０.５となり、
判定式＝２５６＋Ｗａ
となる。Ｗａは−２５７まで量的に小さくすることが可能となる。
【００７６】
さらに、図１１に示すようにブロック内に１本のエッジをもつ画像をＥｇ（ｍａｘ）とするような設定も可能である。
この場合、隣接画素の差分値は２５５の箇所が４カ所あり他の箇所は０である。従って、特徴量Ｅｇ（ｍａｘ）は計算上、（２５５×４）／２４＝４２.５となる。またケース１の領域Ａの場合には、Ｅｇ＝４２.５であることから、
α＝０ となり、
判定式＝０＋Ｗａ
となる。従ってＷａは−１まで量的に小さくすることが可能となる。
【００７７】
一方、図１１の例でＥｇ（ｍａｘ）を設定したときに領域Ａがケース２に相当する場合には、Ｅｇｍａｘ＝４２.５、Ｅｇ＝３.３３ であることから、
α＝０.９２ となり、
判定式＝０.９２×ＳＡＤ＋Ｗａ
となる。従ってほぼ、ＳＡＤの値だけで動きベクトルを判定することになる。
【００７８】
このようにして、より小さいＷａの設定値を選択することが可能となり、弊害なく動きベクトルを検出することが可能となる。また、急峻なエッジを有するブロックの離散点未満の単位の動きに対しても対応することが可能となる。
ここで示したＥｇ（ｍａｘ）やαの計算式はあくまで一例であり、本発明において限定されない。本発明は、特徴量Ｅｇに応じてＳＡＤの値に補正をかけることを特徴とする。特徴量Ｅｇが大きければ、算出したＳＡＤの判定式に占める割合が小さくなるように、特徴量Ｅｇが小さければ、算出したＳＡＤの判定式に占める割合が大きくなるようにすることを特徴とする。例えば、Ｗａを固定値とせず、特徴量Ｅｇに応じて変動させることも含む。以上の処理は、ＳＡＤに代えてＤＦＤを用いた場合にも同様となる。
【００７９】
また、ＳＡＤまたはＤＦＤに乗算する係数αに代えて、ＳＡＤまたはＤＦＤに加算する加算値αを平均値Ａに応じて決定し、ＳＡＤまたはＤＦＤにαを加算した上でさらに加算重みＷａを加算して判定用ＳＡＤまたはＤＦＤを決定してもよい。この場合にもαをＡの値の増減に応じて徐々に変化させるように設定してもよく、Ｅｇの値の増減に応じてαが段階的に変化するものであってもよい。
【００８０】
また、本発明に係る動きベクトル検出装置は、例えば、テレビジョン受像装置に備えられて、受信した放送信号に含まれる映像信号に基づいて表示される画像を補間する構成であってもよい。あるいは、本発明に係る動きベクトル検出装置は、ＤＶＤ再生装置やビデオ再生装置などの映像再生装置に備えられて、記録媒体に記録されている映像データに基づいて再生される画像を補間する構成であってもよい。さらに本発明に係る動きベクトル検出装置は、画像間の動きベクトルを用いた映像信号の符号化方式に用いてもよい。
【００８１】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００８２】
最後に、ベクトル検出装置の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
すなわち、ベクトル検出装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるベクトル検出装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、ベクトル検出装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００８３】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００８４】
また、ベクトル検出装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２.１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【符号の説明】
【００８５】
１…画素値、２…画素値、２ａ…画素値、２ｂ…画素値、１１…ブロック、１２…領域、２０ａ…パターン、２０ｂ…パターン、２１…領域、１００…フレームレート変換部、１０１…ベクトル検出部、１０２…内挿フレーム生成部、１０３…液晶表示パネル、１０４…電極駆動部、２００，２０１…物体。
【特許請求の範囲】
【請求項１】
入力される画像信号のフレーム間の動きベクトルを検出する動きベクトル検出部を備えた動きベクトル検出装置において、
前記動きベクトル検出部は、入力された画像信号のフレームの注目画像ブロックと、該注目画像ブロックのフレームに時間的に前後する入力画像信号のフレームの所定の探索範囲内のブロックとの間で、画像ブロック同士における互いに同一位置の画素値の差分絶対値の累積加算値を示すＳＡＤ、もしくは前記同一位置の画素値の差分の２乗値の累積加算値を示すＤＦＤを検出し、
前記注目画像ブロック内の隣接する２つの画素値同士の差分値の平均値を求め、求めた平均値に基づいて前記ＳＡＤまたはＤＦＤを補正し、該補正したＳＡＤまたはＤＦＤに基づいて動きベクトルを検出することを特徴とする動きベクトル検出装置。
【請求項２】
請求項１に記載の動きベクトル検出装置において、前記動きベクトル検出部は、前記平均値が増大するに従って、前記ＳＡＤまたは前記ＤＦＤが徐々にもしくは段階的に小さくなるような乗算係数もしくは加算値を使用して前記ＳＡＤまたは前記ＤＦＤを補正することを特徴とする動きベクトル検出装置。
【請求項３】
請求項１または２に記載の動きベクトル検出装置において、
優先する動きベクトルをもつ前記探索範囲内のブロックにより計算した前記補正後のＳＡＤまたはＤＦＤに対して、
前記補正したＳＡＤまたはＤＦＤが相対的に小さくなる方向の加算重みを加え、前記加算重みを考慮した前記補正後のＳＡＤまたはＤＦＤが最も小さくなるブロックにより与えられる動きベクトルを検出することを特徴とする動きベクトル検出装置。
【請求項４】
請求項１〜３のいずれか１に記載の動きベクトル検出装置と、該動きベクトル検出装置が検出した動きベクトルに基づいて、入力される画像信号のフレーム間に内挿する補間フレームを生成する内挿フレーム生成部と、該内挿フレーム生成部から出力された画像信号を表示する表示部とを備えた映像表示装置。
【請求項５】
請求項１〜３のいずれか１に記載の動きベクトル検出装置と、該動きベクトル検出装置が検出した動きベクトルに基づいて、情報を符号化する映像記録装置。
【請求項６】
請求項１〜３のいずれか１に記載の動きベクトル検出装置と、該動きベクトル検出装置が検出した動きベクトルに基づいて、符号化された情報を復号して映像信号として再生する映像再生装置。
【請求項７】
２つの画像間の動きベクトルを検出する動きベクトル検出方法において、基準画像の注目画像ブロックと、該注目画像ブロックの参照画像の所定の探索範囲内のブロックとの間で、画像ブロック同士における互いに同一位置の画素値の差分絶対値の累積加算値を示すＳＡＤ、もしくは前記同一位置の画素値の差分の２乗値の累積加算値を示すＤＦＤを検出するステップと、
前記注目画像ブロック内の隣接する２つの画素値同士の差分値の平均値を求めるステップと、求めた平均値に基づいて前記ＳＡＤまたはＤＦＤを補正するステップと、該補正したＳＡＤまたはＤＦＤに基づいて動きベクトルを検出するステップを有することを特徴とする動きベクトル検出方法。
【請求項８】
請求項７に記載の動きベクトル検出方法において、前記動きベクトル検出ステップは、前記平均値が増大するに従って、前記ＳＡＤまたは前記ＤＦＤが徐々にもしくは段階的に小さくなるような乗算係数もしくは加算値を使用して前記ＳＡＤまたは前記ＤＦＤを補正することを特徴とする動きベクトル検出方法。
【請求項９】
請求項７または８に記載の動きベクトル検出方法において、
優先する動きベクトルをもつ前記探索範囲内のブロックにより計算した前記補正後のＳＡＤまたはＤＦＤに対して、
前記補正したＳＡＤまたはＤＦＤが相対的に小さくなる方向の加算重みを加え、前記加算重みを考慮した前記補正後のＳＡＤまたはＤＦＤが最も小さくなるブロックにより与えられる動きベクトルを検出することを特徴とする動きベクトル検出方法。
【請求項１０】
請求項１〜３までのいずれか１に記載の動きベクトル検出装置を動作させる制御プログラムであって、コンピュータに前記動きベクトル検出装置の機能を実現させるための制御プログラム。
【請求項１１】
請求項１０に記載の制御プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項１】
入力される画像信号のフレーム間の動きベクトルを検出する動きベクトル検出部を備えた動きベクトル検出装置において、
前記動きベクトル検出部は、入力された画像信号のフレームの注目画像ブロックと、該注目画像ブロックのフレームに時間的に前後する入力画像信号のフレームの所定の探索範囲内のブロックとの間で、画像ブロック同士における互いに同一位置の画素値の差分絶対値の累積加算値を示すＳＡＤ、もしくは前記同一位置の画素値の差分の２乗値の累積加算値を示すＤＦＤを検出し、
前記注目画像ブロック内の隣接する２つの画素値同士の差分値の平均値を求め、求めた平均値に基づいて前記ＳＡＤまたはＤＦＤを補正し、該補正したＳＡＤまたはＤＦＤに基づいて動きベクトルを検出することを特徴とする動きベクトル検出装置。
【請求項２】
請求項１に記載の動きベクトル検出装置において、前記動きベクトル検出部は、前記平均値が増大するに従って、前記ＳＡＤまたは前記ＤＦＤが徐々にもしくは段階的に小さくなるような乗算係数もしくは加算値を使用して前記ＳＡＤまたは前記ＤＦＤを補正することを特徴とする動きベクトル検出装置。
【請求項３】
請求項１または２に記載の動きベクトル検出装置において、
優先する動きベクトルをもつ前記探索範囲内のブロックにより計算した前記補正後のＳＡＤまたはＤＦＤに対して、
前記補正したＳＡＤまたはＤＦＤが相対的に小さくなる方向の加算重みを加え、前記加算重みを考慮した前記補正後のＳＡＤまたはＤＦＤが最も小さくなるブロックにより与えられる動きベクトルを検出することを特徴とする動きベクトル検出装置。
【請求項４】
請求項１〜３のいずれか１に記載の動きベクトル検出装置と、該動きベクトル検出装置が検出した動きベクトルに基づいて、入力される画像信号のフレーム間に内挿する補間フレームを生成する内挿フレーム生成部と、該内挿フレーム生成部から出力された画像信号を表示する表示部とを備えた映像表示装置。
【請求項５】
請求項１〜３のいずれか１に記載の動きベクトル検出装置と、該動きベクトル検出装置が検出した動きベクトルに基づいて、情報を符号化する映像記録装置。
【請求項６】
請求項１〜３のいずれか１に記載の動きベクトル検出装置と、該動きベクトル検出装置が検出した動きベクトルに基づいて、符号化された情報を復号して映像信号として再生する映像再生装置。
【請求項７】
２つの画像間の動きベクトルを検出する動きベクトル検出方法において、基準画像の注目画像ブロックと、該注目画像ブロックの参照画像の所定の探索範囲内のブロックとの間で、画像ブロック同士における互いに同一位置の画素値の差分絶対値の累積加算値を示すＳＡＤ、もしくは前記同一位置の画素値の差分の２乗値の累積加算値を示すＤＦＤを検出するステップと、
前記注目画像ブロック内の隣接する２つの画素値同士の差分値の平均値を求めるステップと、求めた平均値に基づいて前記ＳＡＤまたはＤＦＤを補正するステップと、該補正したＳＡＤまたはＤＦＤに基づいて動きベクトルを検出するステップを有することを特徴とする動きベクトル検出方法。
【請求項８】
請求項７に記載の動きベクトル検出方法において、前記動きベクトル検出ステップは、前記平均値が増大するに従って、前記ＳＡＤまたは前記ＤＦＤが徐々にもしくは段階的に小さくなるような乗算係数もしくは加算値を使用して前記ＳＡＤまたは前記ＤＦＤを補正することを特徴とする動きベクトル検出方法。
【請求項９】
請求項７または８に記載の動きベクトル検出方法において、
優先する動きベクトルをもつ前記探索範囲内のブロックにより計算した前記補正後のＳＡＤまたはＤＦＤに対して、
前記補正したＳＡＤまたはＤＦＤが相対的に小さくなる方向の加算重みを加え、前記加算重みを考慮した前記補正後のＳＡＤまたはＤＦＤが最も小さくなるブロックにより与えられる動きベクトルを検出することを特徴とする動きベクトル検出方法。
【請求項１０】
請求項１〜３までのいずれか１に記載の動きベクトル検出装置を動作させる制御プログラムであって、コンピュータに前記動きベクトル検出装置の機能を実現させるための制御プログラム。
【請求項１１】
請求項１０に記載の制御プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１４２４００（Ｐ２０１１−１４２４００Ａ）
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願番号】特願２０１０−７１９（Ｐ２０１０−７１９）
【出願日】平成２２年１月５日（２０１０．１．５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願日】平成２２年１月５日（２０１０．１．５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]