画像処理装置及び方法、並びに画像表示装置及び方法
【課題】補間フレームの前後のフレームの一方で画像が隠れる場合にも、少ない演算量で正しく補間を行うことを可能にする。
【解決手段】入力画像を縮小した画像において動きベクトル（ＳＭＶ１，ＳＭＶ２）を推定し（６）、動きベクトルを拡大することで入力画像上で動きベクトル（ＭＶ１、ＭＶ２）を求め（７）、これを用いて補間フレームのデータを生成する（１３、１４）。縮小画像上での動きベクトルの推定にあたりテスト補間（４）により動きベクトルの候補を評価する（５）。テスト補間には前後のフレームのうちの一方のみによる零次補間を含める。
【解決手段】入力画像を縮小した画像において動きベクトル（ＳＭＶ１，ＳＭＶ２）を推定し（６）、動きベクトルを拡大することで入力画像上で動きベクトル（ＭＶ１、ＭＶ２）を求め（７）、これを用いて補間フレームのデータを生成する（１３、１４）。縮小画像上での動きベクトルの推定にあたりテスト補間（４）により動きベクトルの候補を評価する（５）。テスト補間には前後のフレームのうちの一方のみによる零次補間を含める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、並びに画像表示装置及び方法に関する。本発明は特に、画像のフレーム間に新たな補間フレームを挿入するフレーム補間処理に関するものである。
【背景技術】
【０００２】
液晶ディスプレイなどのホールド型ディスプレイは、１フレーム期間同じ画像を表示し続けており、画像中の物体が動いた場合に、動く物体に対する人間の目の追従が連続的に移動するのに対して、物体の移動が１フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を多くして物体の移動をスムーズにすることが考えられる。
【０００３】
また、映画などのフィルム映像がテレビ信号に変換された素材については、両者（フィルム映像とテレビ信号）のフレーム周波数の違いから、２フレーム又は３フレームが同じフレームから作られた画像信号となっており、そのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。
【０００４】
また、同様にコンピュータ処理された映像がテレビ信号に変換された素材についても、２フレームが同じフレームから作られた画像信号であり、そのまま表示すると同様にジャダーが発生する問題がある。
【０００５】
従来の画像処理装置及び方法は、補間フレームに対して１フレーム前のフレームと同じ画像で補間する零次ホールド法か、補間フレームに対して１フレーム前の画像と１フレーム後の画像の平均画像で補間する平均値補間法などがあるが、零次ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないので、依然ホールド型ディスプレイのぼやけの問題は解決されない。また、平均値補間法は、動いた画像が２重像になる問題がある。
【０００６】
この改善策として、補間フレームの補間画素に対して点対称の位置にある時間的に前のフレーム上の画素と時間的に後のフレーム上の画素との画素間の相関が最も大きい画素から補間フレームの補間画素を生成するものがある（例えば、特許文献１参照）。この方法では、画素単位での相関検出のため、画像の内容が異なるにも拘らず、画素間の相関が大きいと検出される場合があり、正しく補間フレームが生成できない場合がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１２９１８１号公報（第８頁、第３図）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来のフレーム補間処理は、上記の様に構成されており、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。また、画素単位の相関を検出する方法では、正しく相関検出ができないために正しく補間フレームが生成できず、特に補間するフレーム前後で物体が隠れたり出現したりする場合、補間フレームが著しく乱れるという問題、及びフレーム補間処理は演算量が多い（ハードウェアでは回路規模が大きい）という問題がある。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、
画像の現フレームと前記現フレームの１フレーム前のフレームである第１の遅延フレームとの間に補間フレームを挿入する画像処理装置において、
前記第１の遅延フレームのデータ及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトルを算出し、
前記現フレームのデータ及び前記第１の遅延フレームのデータを参照して前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出部と、
前記第１の動きベクトルを前記第１の遅延フレームから前記補間フレームへの第３の動きベクトルに変換し、
前記第２の動きベクトルを前記現フレームから前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換部と、
前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを有し、
前記動きベクトル検出部は、
前記現フレームを縮小して現縮小フレームを出力し、前記第１の遅延フレームを縮小して第１の縮小遅延フレームを出力し、前記第２の遅延フレームを縮小して第２の縮小遅延フレームを出力する画像縮小部と、
前記補間フレームの補間対象ブロックに対応する、前記第１の縮小遅延フレーム内のブロックを処理対象ブロックとして設定し、
前記第２の縮小遅延フレームの一部をなすブロックのデータ及び前記現縮小フレームの一部をなすブロックのデータの画素ごとの平均値で構成される第１群のテスト補間データと、
前記現フレームの一部をなすブロックのデータで構成される第２群のテスト補間データと、
前記第２の縮小遅延フレームのブロックデータ構成される第３群のテスト補間データと
を含む複数のテスト補間データを出力するテスト補間部と、
前記第１乃至第３群のテスト補間データのうち、前記処理対象ブロックのデータに対する前記各テスト補間データの相関の強さを評価し、該評価の結果を示す複数の評価データを出力する補間データ評価部と、
前記複数の評価データのうち最も相関の強いことを示す前記評価データを生じさせた前記テスト補間データに対応する動きベクトルを第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方として出力する動きベクトル決定部と、
前記第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方を拡大して前記第１及び第２の動きベクトルの少なくとも一方として出力する動きベクトル拡大部とを有し、
前記第１群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックのデータ及び複数の前記現縮小フレームのブロックから得られ、
前記第２群のテスト補間データは、複数の前記現縮小フレームのブロックから得られ、
前記第３群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックから得られる
ことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、時間的に連続する３枚のフレームの中心のフレームを最も確からしいものとして、時間的に前のフレーム及び後のフレームから中心のフレームへの動きベクトルを評価することで高精度な動きベクトルを算出することができるため、画像の乱れなく補間フレームを内挿することができる。さらに補間するフレーム前後で物体が隠れたり出現したりする場合でも、画像の乱れなく補間フレームを内挿することができる。また、動きベクトルの検出に縮小画像を用いることで、演算量（回路規模）を削減することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係る画像表示装置の構成を示すブロック図である。
【図２】図１の動きベクトル検出部１２内のテスト補間部４の具体例を示すブロック図である。
【図３】図１の動きベクトル２内の補間データ評価部５及び動きベクトル決定部６の具体例を示すブロック図である。
【図４】図１の動きベクトル検出部１２の動作を説明するための図である。
【図５】図１の動きベクトル変換部１３及び補間フレーム生成部１４の動作を説明するための図である。
【図６】図１の動きベクトル変換部１３及び補間フレーム生成部１４の動作を説明するための図である。
【図７】図１の動きベクトル変換部１３及び補間フレーム生成部１４の動作を説明するための図である。
【図８】現フレーム、第１及び第２の遅延フレームのそれぞれにおける画像の例を示す図である。
【図９】図８に示す入力画像を縮小した画像データの具体例を示す図である。
【図１０】第１の縮小遅延フレームＳＦ１上の処理対象ブロックを中心として、点対称の位置にある第２の縮小遅延フレームＳＦ２及び現縮小フレームＳＦ０に位置する２対のブロックを示す図である。
【図１１】図１０の２対のブロックのうちの一対のデータに基づく、テスト補間データの生成を示す図である。１の動きベクトル検出部１２の動作の具体例を説明するための図である。
【図１２】図１０の２対のブロックのうちの他の一対のデータに基づく、テスト補間データの生成を示す図である。
【図１３】現縮小フレームＳＦ０上の一つのブロックのデータに基づくテスト補間データの生成を示す図である。
【図１４】現縮小フレームＳＦ０上の他の一つのブロックのデータに基づくテスト補間データの生成を示す図である。
【図１５】第２の縮小遅延フレームＳＦ２上の一つのブロックのデータに基づくテスト補間データの生成を示す図である。
【図１６】第２の縮小遅延フレームＳＦ２上の他の一つのブロックのデータに基づくテスト補間データの生成を示す図である。
【図１７】図１の動きベクトル拡大部７の動作の具体例を説明するための図である。
【図１８】（ａ）及び（ｂ）は、図１の動きベクトル変換部１３の動作の具体例を説明するための図である。
【図１９】図１の補間フレーム生成部１４の動作の具体例を説明するための図である。
【図２０】本発明に係る画像処理をソフトウェアで実現する場合に利用されるコンピュータシステムで構成された画像処理装置を示すブロック図である。
【図２１】本実施の形態に係る画像表示装置の処理工程を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を図面により説明する。本発明に係る画像処理装置は、画像の現フレームと現フレームの１フレーム前のフレームとの間に新たな補間フレームを補間により生成するものであり、本発明に係る画像表示装置には、上記の画像処理装置から出力された画像データを表示する画像表示部を備えるものである。
【００１３】
実施の形態１．
図１は、本発明の実施の形態１に係る画像表示装置の構成を示す図である。実施の形態１に係る画像表示装置は、画像処理装置１０と、画像表示部１５を備え、画像処理装置１０は、フレームメモリ１１と、動きベクトル検出部１２と、動きベクトル変換部１３と、補間フレーム生成部１４と、画像表示部１５を備える。
【００１４】
この画像処理装置は、例えば、放送受信装置、画像記録再生装置、又はパーソナルコンピュータ（ＰＣ）などの一部を構成することができる。また、画像表示装置５は、例えば、テレビ、映像プロジェクター、又はＰＣなどの一部を構成することができる。
【００１５】
画像データＦ０が、フレームメモリ１１、動きベクトル検出部１２、及び補間フレーム生成部１４に入力される。
フレームメモリ１１は、画像データＦ０を２フレーム分保存し、画像データＦ０に対して１フレーム分遅延した画像データＦ１と、画像データＦ０に対して２フレーム分遅延した画像データＦ２を出力する。これより画像データＦ０を現フレームのデータ、画像データＦ１を第１の遅延フレームのデータ、画像データＦ２を第２の遅延フレームのデータと言う。また、現フレーム、第１の遅延フレーム、第２の遅延フレームをそれぞれのフレームデータと同じ符号Ｆ０、Ｆ１、Ｆ２で表す。
【００１６】
第１の遅延フレームＦ１のデータは動きベクトル検出部１２と補間フレーム生成部１４に入力され、第２の遅延フレームＦ２のデータは動きベクトル検出部１２に入力される。
【００１７】
動きベクトル検出部１２は、現フレームＦ０のデータと、第１の遅延フレームＦ１のデータと、第２の遅延フレームＦ２のデータを参照して、第１の遅延フレームＦ１上の複数のブロックの各々（フレームの一部を成す、複数の画素で構成される）を順次選択し、選択されているブロックについて、第２の遅延フレームＦ２から第１の遅延フレームＦ１への第１の動きベクトルＭＶ１及び現フレームＦ０から第１の遅延フレームＦ１への第２の動きベクトルＭＶ２を算出して、動きベクトル変換部１３に出力する。第１の遅延フレームＦ１上のブロックは、第１の遅延フレームＦ１を例えば複数の矩形の領域に分割することで得られるものである。
【００１８】
動きベクトル変換部１３は、第１の動きベクトルＭＶ１と第２の動きベクトルＭＶ２を、第１の遅延フレームＦ１から補間フレームＩＦへの第３の動きベクトルＭＶ３と、現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換して、補間フレーム生成部１４に出力する。
【００１９】
補間フレーム生成部１４は、第１の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第３の動きベクトルＭＶ３及び第４の動きベクトルＭＶ４から、現フレームＦ０と第１の遅延フレームＦ１の間に位置する補間フレームＩＦのデータを生成し、生成した補間フレームＩＦのデータを現フレームＦ０のデータと第１の遅延フレームＦ１のデータの間に挿入した画像データＤＯを画像表示部１５に出力する。
画像表示部１５は、画像データＤＯを表示する。
【００２０】
次に、動きベクトル検出部１２の構成について詳細に説明する。
動きベクトル検出部１２は、画像縮小部２と、ブロック切り出し部３と、テスト補間部４と、補間データ評価部５と、動きベクトル決定部６と、動きベクトル拡大部７とを有し、画像縮小部２は、現フレーム画像縮小部２１と、第１の遅延フレーム画像縮小部２２と、第２の遅延フレーム画像縮小部２３とを有し、ブロック切り出し部３は、現フレームブロック切り出し部３１と、第１の遅延フレームブロック切り出し部３２と、第２の遅延フレームブロック切り出し部３３とを有する。
【００２１】
現フレーム画像縮小部２１は、現フレームＦ０を縮小して現縮小フレームＳＦ０を出力し、第１の遅延フレーム画像縮小部２２は、第１の遅延フレームＦ１を縮小して第１の縮小遅延フレームＳＦ１を出力し、第２の遅延フレーム画像縮小部２３は、第２の遅延フレームＦ２を縮小して第２の縮小遅延フレームＳＦ２を出力する。現フレーム画像縮小部２１、第１の遅延フレーム画像縮小部２２、及び第２の遅延フレーム画像縮小部２３における縮小率は同じであり、符号αで表される。
【００２２】
現フレームブロック切り出し部３１、第１の遅延フレームブロック切り出し部３２、及び第２の遅延フレームブロック切り出し部３３は、それぞれ、現縮小フレームＳＦ０、第１の縮小遅延フレームＳＦ１、及び第２の縮小遅延フレームＳＦ２を受け、それぞれ、画面の一部を成すブロックを切り出し（抽出し）、ブロック内の画素のデータ（画素値）の集合をブロックデータとして出力する。即ち、現フレームブロック切り出し部３１は、現縮小フレームＳＦ０からブロックを切り出し、第１の遅延フレームブロック切り出し部３２は、第１の縮小遅延フレームＳＦ１からブロックを切り出し、第２の遅延フレームブロック切り出し部３３は、第２の縮小遅延フレームＳＦ２からブロックを切り出す。
【００２３】
各ブロックは例えば横方向Ｘ個、縦方向Ｙ個の画素（Ｙ個のライン）のサイズを有する矩形の領域から成る。即ち、現縮小フレームＳＦ０から切り出されるブロックと、第１の縮小遅延フレームＳＦ１から切り出されるブロックと、第２の縮小遅延フレームＳＦ２から切り出されるブロックは、縦方向のサイズ（画素数）及び横方向のサイズ（画素数乃至ライン数）が互いに等しい。
【００２４】
以下では、補間フレームＩＦ内の一つのブロックを補間により生成するに当たっての処理を説明する。この処理のためには、補間フレームＩＦ内の補間しようとするブロック(補間対象ブロック)を、縮小フレームＳＦ０、ＳＦ１、ＳＦ２を生成する際と同じ縮小率αで縮小したブロック（縮小ブロック）に対応する、第１の縮小遅延フレームＳＦ１内の一つのブロックＦ１Ｂａを処理対象ブロックとして設定し、該処理対象ブロックＦ１Ｂａと、現縮小フレームＳＦ０内の複数のブロックと、第２の縮小遅延フレームＳＦ２内の複数のブロックが切り出される（抽出される）。現縮小フレームＳＦ０から切り出されるブロックと、第２の縮小遅延フレームＳＦ２から切り出されるブロックとは、処理対象ブロックＦ１Ｂａ（厳密には、その中心）を中心として点対称の位置にあるもので、これらが対として用いられる。
現フレームブロック切り出し部３１及び第２の遅延フレームブロック切り出し部３３は、処理対象ブロックＦ１Ｂａを中心とし、互いに点対称の位置にあり、一方が現縮小フレームＳＦ０内に位置し、他方が第２の縮小遅延フレームＳＦ２内に位置するブロックの対を複数個切り出す。
【００２５】
例えば、現縮小フレームＳＦ０から切り出されるブロックＦ０Ｂ１（厳密には、その中心）と、第２の縮小遅延フレームＳＦ２から切り出されるブロックＦ２Ｂ１（厳密には、その中心）とは、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａ（厳密には、その中心）を中心として点対称の位置にあるもので、これらの点対称の位置にある２つのブロックが対（ペア）として用いられる。
【００２６】
現縮小フレームＳＦ０及び第２の縮小遅延フレームＳＦ２から切り出されるブロックの対は、動きベクトル検出部１２において検出される動きベクトルの候補に対応するものであり、例えば動きベクトルの探索範囲内のすべてのブロックが切り出される。例えば、第１の縮小遅延フレームＳＦ１内の一つのブロックの中心を中心として、横方向に±ＨＳ画素、縦方向に±ＶＳ画素（±ＶＳライン）の範囲を探索する場合、第２の縮小遅延フレームＳＦ２及び現縮小フレームＳＦ０から、それぞれ（２ＨＳ＋１）×（２ＶＳ＋１）個のブロックが切り出される。
【００２７】
なお、探索範囲内のすべてのブロックについて評価を行う必要がない場合、例えば予め或いは他の情報により動きの方向の範囲が予測できる場合には、上記の探索範囲の予測される範囲内のブロックのみを切り出すこととしても良い。また、探索範囲内のブロックを間引きながら（例えば水平方向及び垂直方向に１画素おきに）切り出すこととしても良い。
【００２８】
以下では、現縮小フレームＳＦ０及び第２の縮小遅延フレームＳＦ２から切り出されるブロックの数をＭとし、現縮小フレームＳＦ０から切り出されるブロックを第１乃至第ＭのブロックＦ０Ｂ１〜Ｆ０ＢＭ、第２の縮小遅延フレームＳＦ２から切り出されるブロックを第１乃至第ＭのブロックＦ２Ｂ１〜Ｆ２ＢＭと呼ぶ。また、各ブロックのデータをブロックと同じ符号で表す。
【００２９】
第２の縮小遅延フレームＳＦ２内の第ｍのブロックＦ２Ｂｍ（ｍ＝１〜Ｍ）と現縮小フレームＳＦ０内の第ｍのブロックＦ０Ｂｍとは、第２の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａ（厳密にはその中心の画素）を中心として点対称の位置にあるので、ブロックＦ２Ｂｍの処理対象ブロックＦ１Ｂａに対する横方向のずれをｈ（ｈ＝−ＨＳ〜＋ＨＳ）、縦方向のずれをｖ（ｖ＝−ＶＳ〜＋ＶＳ）とすると、ブロックＦ０Ｂｍの処理対象ブロックＦ１Ｂａに対する横方向のずれは−ｈ、縦方向のずれは−ｖである。
【００３０】
現フレームブロック切り出し部３１は、現縮小フレーム内の複数の、即ち第１乃至第Ｍのブロックを切り出して、第１乃至第ＭのブロックデータＦ０Ｂ１〜Ｆ０ＢＭを出力する。
第１の遅延フレームブロック切り出し部３２は、第１の縮小遅延フレーム内の処理対象ブロックＦ１Ｂａを切り出す。このブロックブロックＦ１Ｂａは、補間フレームＩＦ内の補間対象ブロックを縮小したブロックに対応するものである。
第２の遅延フレームブロック切り出し部３３は、第２の縮小遅延フレーム内の複数の、即ち第１乃至第Ｍのブロックを切り出して、第１乃至第ＭのブロックデータＦ２Ｂ１〜Ｆ２ＢＭを出力する。
【００３１】
現縮小フレームＳＦ０のブロックデータと第２の縮小遅延フレームＳＦ２のブロックデータが、テスト補間部４に入力される。テスト補間部４は、第２の縮小遅延フレームＳＦ２のブロックデータと現縮小フレームＳＦ０のブロックデータのうち、処理対象ブロックＦ１Ｂａを中心として、互いに点対称の位置にある第２の縮小遅延フレームＳＦ２内のブロックと、現縮小フレームＳＦ０内のブロックから成るブロック対のデータに基づいて、テスト補間データＴＤＡ１〜ＴＤＡＭを生成する。複数のブロック対に基づいて複数のテスト補間データが生成される。このテスト補間は、上記点対称の中心の位置、即ち上記処理対象ブロックＦ１Ｂａのデータが未知であると仮定して行うものであり、補間が正確であればあるほど、テスト補間データは、処理対象ブロックＦ１Ｂａのデータとの相関が強いものとなる。
【００３２】
テスト補間部４は、さらに入力された現縮小フレームＳＦ０のブロックデータをそのまま処理対象ブロックＦ１Ｂａの位置のデータとしたものを、テスト補間データＴＤＢ１〜ＴＤＢＭとして出力し、入力された第２の縮小遅延フレームＳＦ２のブロックデータをそのまま処理対象ブロックＦ１Ｂａの位置のデータとしたものを、テスト補間データＴＤＣ１〜ＴＤＣＭとして出力する。
区別のため、テスト補間データＴＤＡ１〜ＴＤＡＭは第１群の第１乃至第Ｍのテスト補間データと呼ばれ、テスト補間データＴＤＢ１〜ＴＤＢＭは第２群の第１乃至第Ｍのテスト補間データと呼ばれ、テスト補間データＴＤＣ１〜ＴＤＣＭは第３群の第１乃至第Ｍのテスト補間データと呼ばれる。
【００３３】
補間データ評価部５は、第１の縮小遅延フレームＳＦ１のブロックデータを参照して複数のテスト補間データの評価を行い、評価データＥＤを動きベクトル決定部６に出力する。この評価においては、テスト補間データと、第１の縮小遅延フレームＳＦ１のブロックデータとの相関を求め、相関が強いほど高い評価が与えられる。
【００３４】
動きベクトル決定部６は、評価データＥＤに基づいて第１の縮小動きベクトルＳＭＶ１と第２の縮小動きベクトルＳＭＶ２を生成して出力する。
【００３５】
動きベクトル拡大部７は、第１の縮小動きベクトルＳＭＶ１と第２の縮小動きベクトルＳＭＶ２の値を拡大して第１の動きベクトルＭＶ１と第２の動きベクトルＭＶ２を生成して出力する。ここで、拡大率は縮小フレームＳＦ０、ＳＦ１、ＳＦ２の生成の際の縮小率αの逆数に等しく、１／αで表される。
【００３６】
次に、図２及び図３を参照して動きベクトル検出部１２のテスト補間部４、補間データ評価部５及び動きベクトル決定部の具体例についてさらに詳しく説明する。
【００３７】
テスト補間部４は、複数の、即ち第１乃至第Ｍのテスト補間データ生成部４−１〜４−Ｍを備え、補間データ評価部５は、第１群の第１乃至第Ｍの相関値算出部５Ａ−１〜５Ａ−Ｍと、第２群の第１乃至第Ｍの相関値算出部５Ｂ−１〜５Ｂ−Ｍと、第３群の第１乃至第Ｍの相関値算出部５Ｃ−１〜５Ｃ−Ｍを備える。
【００３８】
テスト補間データ生成部４−１〜４−Ｍは、現縮小フレームＳＦ０のブロックのデータＦ０Ｂ１〜Ｆ０ＢＭと、それぞれこれらと対をなす第２の縮小遅延フレームＳＦ２のブロックのデータＦ２Ｂ１〜Ｆ２ＢＭを画素ごとに平均することで得られる平均値から成るデータを第１群のテスト補間データＴＤＡ１〜ＴＤＡＭとして算出する。テスト補間データ生成部４−１〜４−Ｍで、平均を求めるのに用いられるデータは、互いに異なる位置にあるブロックのデータである。
テスト補間部４また、上記のように、現縮小フレームＳＦ０のブロックのデータＦ０Ｂ１〜Ｆ０ＢＭを第２群のテスト補間データＴＤＢ１〜ＴＤＢＭとして、第２の縮小遅延フレームＳＦ２のブロックのデータＦ２Ｂ１〜Ｆ２ＢＭを第３群のテスト補間データＴＤＣ１〜ＴＤＣＭとして出力する。図１には、テスト補間データＴＤＡ１〜ＴＤＣＭの集合が符号ＴＤで表されている。
【００３９】
以下、より詳しく説明する。
現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１と第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１がテスト補間データ生成部４−１に入力される。
【００４０】
テスト補間データ生成部４−１は、現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１と第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１の画素ごとの平均値を第１群の第１のテスト補間データＴＤＡ１として相関値算出部５Ａ−１に出力する。ここで画素ごとの平均値とは、現縮小フレームＳＦ０内のブロックにおける各画素と、第２の縮小遅延フレームＳＦ２内のブロックにおける対応する位置の画素の画素値(例えばそれぞれのブロックの基準位置、例えば左上隅を原点として同じ座標値で表される画素の画素値）の平均値を意味する。
【００４１】
同様に、現縮小フレームＳＦ０の第２のブロックデータＦ０Ｂ２と第２の縮小遅延フレームＳＦ２の第２のブロックデータＦ２Ｂ２がテスト補間データ生成部４−２に入力される。テスト補間データ生成部４−２は、現縮小フレームＳＦ０の第２のブロックデータＦ０Ｂ２と第２の縮小遅延フレームＳＦ２の第２のブロックデータＦ２Ｂ２の画素ごとの平均値を第１群の第２のテスト補間データＴＤＡ２として相関値算出部５Ａ−２（図示しない）に出力する。
【００４２】
テスト補間データ生成部４−３（図示しない）〜４−Ｍも同様に現縮小フレームＳＦ０の第３のブロックデータＦ０Ｂ３乃至第ＭのブロックデータＦ０ＢＭと第２の縮小遅延フレームＳＦ２の第３のブロックデータＦ２Ｂ３乃至第ＭのブロックデータＦ２ＢＭに基づいて第１群の第３のテスト補間データＴＤＡ３乃至第Ｍのテスト補間データＴＤＡＭを生成し、相関値算出部５Ａ−３（図示しない）〜５Ａ−Ｍに出力する。
【００４３】
一般化して言えば、テスト補間データ生成部４−ｍは、現縮小フレームＳＦ０の第ｍのブロックデータＦ０Ｂｍ（ｍ＝１〜Ｍ）と第２の縮小遅延フレームＳＦ２の第ｍのブロックデータＦ２Ｂｍに基づいて、例えばこれらの画素ごとの平均を求めることで、第１群の第ｍのテスト補間データＴＤｍを生成し、相関値算出部５Ａ−ｍに出力する。
【００４４】
テスト補間部４さらに、現縮小フレームＳＦ０のブロックのデータＦ０Ｂ１〜Ｆ０ＢＭを、テスト補間データＴＤＢ１〜ＴＤＢＭとして、相関値算出部５Ｂ−１〜５Ｂ−Ｍに出力し、第２の縮小遅延フレームＳＦ２のブロックのデータＦ２Ｂ１〜Ｆ２ＢＭを、テスト補間データＴＤＣ１〜ＴＤＣＭとして相関値算出部５Ｂ−１〜５Ｃ−Ｍに出力する。
一般化して言えば、テスト補間部４は、現縮小フレームＳＦ０の第ｍのブロックのデータＦ０Ｂｍを、第２群の第ｍのテスト補間データＴＤＢｍとして相関値算出部５Ｂ−ｍに出力し、第２の縮小遅延フレームＳＦ２の第ｍのブロックのデータＦ２Ｂｍを、第３群の第ｍのテスト補間データＴＤＣｍとして相関値算出部５Ｃ−ｍに出力する。
【００４５】
第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータが補間データ評価部５内の相関値算出部５Ａ−１〜５Ｃ−Ｍに入力される。
【００４６】
相関値算出部５Ａ−１〜５Ｃ−Ｍは、それぞれテスト補間部４から出力されるテスト補間データＴＤＡ１〜ＴＤＣＭと第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータの相関値、例えば差分絶対値和を算出し、評価データＥＤＡ１〜ＥＤＣＭとして出力する。
【００４７】
相関値算出部５Ａ−１は、第１群の第１のテスト補間データＴＤＡ１の各画素のデータと第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの各画素のデータの差分絶対値の和を算出し、評価データＥＤＡ１として動きベクトル決定部６に出力する。差分絶対値和は下記の式（１）により表される。
【００４８】
【数１】
【００４９】
ここで、ＢＫ１、ＢＫ２はブロック内の各画素のデータであり、ＢＫ１をテスト補間データＴＤＡ１を構成する各画素のデータ、ＢＫ２を処理対象ブロックＦ１Ｂａ内の各画素のデータとすると式（１）は第１群の第１のテスト補間データＴＤＡ１の各画素のデータと第１の遅延フレームＦ１の処理対象ブロックＦ１Ｂａの各画素のデータの差分絶対値和となる。差分絶対値和ＳＡＤは、相関の度合いを表すものであり、評価データＥＤＡ１として相関値算出部５Ａ−１から出力される。
【００５０】
式（１）で与えられる差分絶対値和は、その値が小さいほど、相関が強いことを意味し、差分絶対値和ＳＡＤを評価データとして用いる場合、その値が小さいほど、評価が高いことを表す。
【００５１】
相関値算出部５Ａ−２〜５Ｃ−Ｍも同様に、第１群の第２のテスト補間データＴＤＡ２乃至第３群の第Ｍのテスト補間データＴＤＣＭと第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータの差分絶対値和を算出し、評価データＥＤＡ２〜ＥＤＣＭとして動きベクトル決定部６に出力する。
【００５２】
評価データＥＤＡ１〜ＥＤＣＭのうち、第１群のテスト補間データＴＤＡ１〜ＴＤＡＭに対応するものを第１群の評価データＥＤＡ１〜ＥＤＡＭと言い、第２群のテスト補間データＴＤＢ１〜ＴＤＢＭに対応するものを第２群の評価データＥＤＢ１〜ＥＤＢＭと言い、第３群のテスト補間データＴＤＣ１〜ＴＤＣＭに対応するものを第３群の評価データＥＤＣ１〜ＥＤＣＭと言う。
【００５３】
動きベクトル決定部６は、評価データＥＤＡ１〜ＥＤＣＭのうちの値が最小のもの（最も高い評価を示すもの）を見つける。
【００５４】
評価データＥＤＡ１〜ＥＤＣＭのうち値が最小のものが第１群の評価データＥＤＡ１〜ＥＤＡＭのいずれかである場合には、動きベクトル決定部６は、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの位置に対する、当該最小値の評価データに対応する、第２の縮小遅延フレームＳＦ２内のブロックの相対位置（位置の差）を第１の縮小動きベクトルＳＭＶ１として出力し、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの位置に対する、当該最小値の評価データに対応する、現縮小フレームＳＦ０内のブロックの相対位置（位置の差）を第２の縮小動きベクトルＳＭＶ２として出力する。なお、同じ評価データに対応する第２の縮小遅延フレームＳＦ２内のブロックと現縮小フレームＳＦ０内のブロックとは、処理対象ブロックＦ１Ｂａを中心として点対称の位置にあるので、ＳＭＶ２＝−ＳＭＶ１の関係がある。
【００５５】
評価データＥＤＡ１〜ＥＤＣＭのうち値が最小のものが第２群の評価データＥＤＢ１〜ＥＤＢＭのいずれかである場合には、動きベクトル決定部６は、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの位置に対する、当該最小値の評価データに対応する、現縮小フレームＳＦ０内のブロックの相対位置（位置の差）を第２の縮小動きベクトルＳＭＶ２として出力し、第１の縮小動きベクトルＳＭＶ１の代わりに対応するブロックがない（差分絶対値和が十分に小さいブロックがない）こと、即ち有効データがないことを示す信号（データ乃至フラグ）を出力する。
【００５６】
評価データＥＤＡ１〜ＥＤＣＭのうち値が最小のものが第３群の評価データＥＤＢ１〜ＥＤＣＭのいずれかである場合には、動きベクトル決定部６は、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの位置に対する、当該最小値の評価データに対応する、第２の縮小遅延フレームＳＦ１内のブロックの相対位置（位置の差）を第１の縮小動きベクトルＳＭＶ１として出力し、第２の縮小動きベクトルＳＭＶ２の代わりに対応するブロックがない（差分絶対値和が十分に小さいブロックがない）こと、即ち有効データがないことを示す信号を出力する。
【００５７】
動きベクトル拡大部７は、下記の式（２Ａ）及び式（２Ｂ）により縮小動きベクトルＳＭＶ１及びＳＭＶ２を拡大して、動きベクトルＭＶ１及びＭＶ２を出力する。ここで、縮小動きベクトルＳＭＶ１及びＳＭＶ２は縮小画像における値であり、動きベクトルＭＶ１及びＭＶ２は入力画像における値である。つまり、縮小動きベクトルＳＭＶ１及びＳＭＶ２は、それぞれ第２の縮小遅延フレームＳＦ２から第１の縮小遅延フレームＳＦ１及び現縮小フレームＳＦ０から第１の縮小遅延フレームＳＦ１への動きベクトルであり、動きベクトルＭＶ１及びＭＶ２はそれぞれ第２の遅延フレームＦ２から第１の遅延フレームＦ１、及び現フレームＦ０から第１の遅延フレームＦ１への動きベクトルである。
【００５８】
ＭＶ１＝ＳＭＶ１／α …（２Ａ）
ＭＶ２＝ＳＭＶ２／α …（２Ｂ）
【００５９】
ただし、縮小動きベクトルＳＭＶ１の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルＭＶ１の代わりに対応ブロックなしを示す信号を出力し、縮小動きベクトルＳＭＶ２の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルＭＶ２の代わりに対応ブロックなしを示す信号を出力する。
【００６０】
図４は、動きベクトル検出部１２の動作を説明するための図である。ここでは、Ｍ＝１の場合について説明する。
第１の縮小遅延フレームＳＦ１の一部の領域が第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａとして切り出されている。
【００６１】
第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａに対してベクトル−Ｖ１ずらした位置に対応する領域が第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１として設定されて切り出され、ベクトル＋Ｖずらした位置に対応する領域が現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１として設定されて切り出される。
【００６２】
テスト補間データ生成部４−１は、現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１と第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１を画素ごとに平均してテスト補間データＴＤＡ１を生成する。
さらに、テスト補間部４は、現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１をテスト補間データＴＤＢ１として、第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１をテスト補間データＴＤＣ１として出力する。
【００６３】
相関値算出部５Ａ−１は、テスト補間データＴＤＡ１と第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータから上記の式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤＡ１として出力する。
【００６４】
相関値算出部５Ｂ−１も同様に、テスト補間データＴＤＢ１と第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータから上記の式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤＢ１として出力する。
相関値算出部５Ｃ−１も同様に、テスト補間データＴＤＣ１と第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータから上記の式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤＣ１として出力する。
【００６５】
動きベクトル決定部６は、評価データＥＤＡ１、ＥＤＢ１、ＥＤＣ１のうち最小の値を生じさせたブロック又はブロック対と第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａの相対位置に基づいて縮小動きベクトルを求める。
【００６６】
評価データＥＤＡ１が最小値である場合には、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａに対する第２の縮小フレームＳＦ２内のブロックの相対位置を第１の縮小動きベクトルＳＭＶ１（＝Ｖ１）として出力し、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａに対する現縮小フレームＳＦ０内のブロックの相対位置を第２の縮小動きベクトルＳＭＶ２（＝−Ｖ１）として出力する。
【００６７】
評価データＥＤＢ１が最小値である場合、第１の縮小動きベクトルＳＭＶ１の代わりに、対応ブロックなしを示す信号が出力され、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａに対する現縮小フレームＳＦ０内のブロックの相対位置が第２の縮小動きベクトルＳＭＶ２（＝−Ｖ１）として出力される。
【００６８】
評価データＥＤＣ１が最小値である場合、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａに対する第２の縮小遅延フレームＳＦ２内のブロックの相対位置が第１の縮小動きベクトルＳＭＶ１（＝Ｖ１）として出力され、第２の縮小動きベクトルＳＭＶ２の代わりに対応ブロックなしを示す信号が出力される。
【００６９】
図４では、Ｍ＝１の場合について説明したが、本発明に係る実施の形態の構成はＭ＝１に限定されない。即ち、候補としてのベクトルに対応するブロック対を２個以上設定しても良い。例えば、第１の縮小遅延フレーム内の処理対象ブロックＦ１Ｂａに対して、所定の動き量に対応する探索範囲内に位置する第２の縮小遅延フレーム内のすべてのブロック及びこれと点対称位置にある現縮小フレーム内のブロックから成るブロック対について平均値の算出によるテスト補間データの生成を行うこととしても良い。
【００７０】
動きベクトル検出部１２では、上記のように実在のデータである第１の縮小遅延フレームＳＦ１内のデータを用いて第１の縮小遅延フレームＳＦ２内のブロック及び現縮小フレームＳＦ０内のブロックから成るブロック対に対応するベクトルの候補を評価することにより動きベクトルを決定しているので第２の縮小遅延フレームＳＦ１及び現縮小フレームＳＦ０から第１の縮小遅延フレームＳＦ１への動きベクトルを精度良く算出することができる。
さらに、第２の縮小遅延フレームＳＦ２内のデータのみ、或いは現縮小フレームＳＦ０内のデータのみを、ベクトル候補に対応するテスト補間データとして用いているので、第２の縮小遅延フレームから現縮小フレームの間で物体が隠れたり、出現したりしても動きベクトルを精度良く算出することができる。
【００７１】
なお、補間データ評価部５では差分絶対値和を用いて評価データを算出したが、相関を求める関数は自乗誤差和など他にも多数あり、これに置き換えることも可能である。即ち、補間データ評価部５は、テスト補間データと、処理対象ブロックのデータとの相関を求めるものであれば良く、該相関を示す指標（相関値）は、差分絶対値和以外のものであっても良い。
【００７２】
また、動きベクトル決定部６では、テスト補間データＴＤＡ１〜ＴＤＣＭ相互間に異なる重みをつけることで、いずれかのテスト補間データに対応するベクトル候補が、求める動きベクトルであると判定される可能性を高めるようにしても良い。
例えば、相関値算出部５Ｂ−１〜５Ｃ−Ｍで求めた差分絶対値和にある係数β１を乗算したものを評価データＥＤＢ１〜ＥＤＣＭとして出力し、相関値算出部５Ａ−１〜５Ａ−Ｍで求めた差分絶対値和に対して上記の係数β１より小さい係数β２を乗算したものを評価データＥＤＡ１〜ＥＤＡＭとして出力し、動きベクトル決定部６で、これらの評価データＥＤＡ１〜ＥＤＣＭのうちの値が最小のものを見つけるようにしても良い。こうすれば、テスト補間データＴＤＡ１〜ＴＤＡＭに対応するブロック対が求める動きベクトルに対応するものと判断される可能性を高めることができる。言い換えれば、テスト補間データＴＤＡ１〜ＴＤＡＭに対応するブロック対に対応するベクトルを優先的に動きベクトルとして選択することができる。
【００７３】
逆に、相関値算出部５Ｂ−１〜５Ｃ−Ｍで求めた差分絶対値和にある係数β１を乗算したものを評価データＥＤＢ１〜ＥＤＣＭとして出力し、相関値算出部５Ａ−１〜５Ａ−Ｍで求めた差分絶対値和に対して上記の係数β１より大きい係数β２を乗算したものを評価データＥＤＡ１〜ＥＤＡＭとして出力し、動きベクトル決定部６で、これらの評価データＥＤＡ１〜ＥＤＣＭのうちの値が最小のものを見つけるようにしても良い。こうすれば、テスト補間データＴＤＢ１〜ＴＤＣＭに対応するブロックが、求める動きベクトルに対応するものと判断される可能性を高めることができる。言い換えれば、テスト補間データＴＤＢ１〜ＴＤＣＭに対応するブロックに対応するベクトルを優先的に動きベクトルとして選択することができる。
【００７４】
なお、このような重み付けに加えて、他の要因による重み付けを加えても良い。
例えば、第２の縮小遅延フレームＳＦ２及び現縮小フレームＳＦ０内のブロックのうち、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａの位置に近いブロック又はブロック対（対応するベクトルの絶対値が小さいブロック）について求められる差分絶対値和に対してより小さな係数を乗算することで、より近いブロック又はブロック対が、求める動きベクトルに対応するものと判断される可能性を高めることとしても良い。
要するに、評価データは、差分絶対値和、或いは他の相関値に基づいて定められるものであれば良い。
【００７５】
次に、図５〜図７を参照して、動きベクトル変換部１３及び補間フレーム生成部１４の動作についてより詳細に説明する。
【００７６】
動きベクトル変換部１３は、第２の遅延フレームＦ２から第１の遅延フレームＦ１への第１の動きベクトルＭＶ１及び現フレームＦ０から第１の遅延フレームＦ１への第２の動きベクトルＭＶ２を、第１の遅延フレームＦ１から補間フレームＩＦへの第３の動きベクトルＭＶ３と、現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換する。
【００７７】
図５〜図７に示すように入力フレームの時間間隔をｔ１、第１の遅延フレームＦ１から補間フレームＩＦへの時間間隔をｔ２とした時、下記の式（３Ａ）及び式（３Ｂ）により動きベクトルＭＶ３及びＭＶ４を算出する。たとえば、６０Ｈｚの入力画像信号から１２０Ｈｚの画像信号に変換する場合、ｔ１は１／６０秒、ｔ２は１／１２０秒となる。
【００７８】
ＭＶ３＝ＭＶ１×ｔ２／ｔ１ …（３Ａ）
ＭＶ４＝ＭＶ２×（ｔ１−ｔ２）／ｔ１ …（３Ｂ）
【００７９】
ただし、動きベクトルＭＶ１の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルＭＶ３の代わりに対応ブロックなしを示す信号を出力し、動きベクトルＭＶ２の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルＭＶ４の代わりに対応ブロックなしを示す信号を出力する。
【００８０】
このようにして第３及び第４の動きベクトルＭＶ３及びＭＶ４を求めたら、図５〜図７に示すように補間フレームＩＦからベクトル−ＭＶ３の位置の、縮小前の第１の遅延フレームＦ１のデータ（処理対象ブロックＦ１Ｂａに対応するブロックＦ１Ｂｂ内のデータ）と補間フレームＩＦからベクトル−ＭＶ４の位置の、縮小前の現フレームＦ０のデータ（ブロックＦ１Ｂｂと同じ大きさのブロックのデータ）の双方又は一方に基づいて補間フレームＩＦのデータ（ブロックＦ１Ｂｂと同じ大きさのブロックＩＦＢｂのデータ）を求める。
【００８１】
例えば、図５に示すように、第３及び第４の動きベクトルＭＶ３及びＭＶ４の双方とも、有効なデータである場合（「対応ブロックなし」ではない場合）には、上記の第１の遅延フレームＦ１内のデータ及び現フレームＦ０内のデータの平均を補間フレームＩＦのデータとして算出する。生成したデータから成る補間フレームＩＦのデータを第１の遅延フレームＦ１のデータと現フレームＦ０のデータ間に配置して出力する。
このとき、補間に用いられる第１の遅延フレームＦ１のブロックデータ（第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａに対応するブロックＦ１Ｂｂのデータ）と、現フレームＦ０のブロックデータ（現縮小フレームＳＦ０のブロックＦ０Ｂ１に対応するブロック）とは、補間フレームＩＦ内の補間により得られるデータの位置を中心として、互いに対称の位置にある。
【００８２】
図６又は図７に示すように、第３及び第４の動きベクトルＭＶ３及びＭＶ４の一方の代わりに「対応ブロックなし」の信号が出力されている場合には、他方の動きベクトル（第３及び第４の動きベクトルＭＶ３及びＭＶ４のうちの有効なベクトル）に対応する第１の遅延フレームＦ１内のデータ又は現フレームＦ０内のデータを、補間フレームＩＦのデータ（ブロックＦ１Ｂｂと同じ大きさのブロックＩＦＢｂのデータ）として出力する。図６は、第４の動きベクトルＭＶ４の代わりに「対応ブロックなし」の信号が出力されている場合を示し、図７は、第３の動きベクトルＭＶ３の代わりに「対応ブロックなし」の信号が出力されている場合を示す。このように一方のフレーム内のデータをそのまま補間フレームのデータとして出力する処理は「零次補間」と呼ばれる。
補間フレーム生成部１４は、このようにして得られたデータから成る補間フレームＩＦのデータを第１の遅延フレームＦ１のデータと現フレームＦ０のデータ間に配置して出力する。
【００８３】
図８は、動きベクトル検出部１２に入力される現フレームＦ０のデータ、第１の遅延フレームＦ１のデータ、第２のフレームＦ２のデータの対応関係を説明するための図である。図８に示すような映像を表す信号が入力された場合の本実施の形態１の動作を説明する。図８に示す映像においては、クロスハッチングで示す丸ＢＣが時間とともに画面の左上から右下へ移動しており、その背後にある英文字（移動なし）が隠れたり見えたりしている。
【００８４】
図９は図８に示す入力画像を縮小した画像データを示す図である。但し、図９でも画像は図８と同じ大きさに描いてある。図８の画像の要素（丸ＢＣ及びＡ〜Ｊを示す文字は、図９でもそのまま現れており、従って、英文字Ａ〜Ｊが丸ＢＣの陰に隠れたり、見えたりしている。
図１０〜図１６はテスト補間部４及び補間データ評価部５の動作を説明するための図である。図１７は動きベクトル拡大部７の動作を説明するための図である。
【００８５】
図９に示すような第２の縮小遅延フレームＳＦ２のデータ、第１の縮小遅延フレームＳＦ１のデータ、現縮小フレームＳＦ０のデータを入力とした場合の動きベクトル検出部１２の動作を説明する。なお、ここではＭ＝２を想定している。
【００８６】
テスト補間部４では、動きベクトルの候補ごとにテスト補間データを生成する。
例えば、図１０に示すように第１の縮小遅延フレームＳＦ１の一部の領域を第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａとし、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａから−Ｖ１ずらした位置の第２の縮小遅延フレームＳＦ２のブロックを第１のブロックＦ２Ｂ１とし、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１ＢａからＶ１ずらした位置の現縮小フレームＳＦ０のブロックをブロックＦ０Ｂ１とする。
また、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａから−Ｖ２ずらした位置の第２の縮小遅延フレームＳＦ２のブロックをブロックＦ２Ｂ２とし、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１ＢａからＶ２ずらした位置の現縮小フレームＳＦ０のブロックをブロックＦ０Ｂ２とする。
【００８７】
図１１に示すように、ブロックＦ２Ｂ１のデータとブロックＦ０Ｂ１のデータから得られる画素ごとの平均をテスト補間データＴＤＡ１として生成する。
同様に、図１２に示すようにブロックＦ２Ｂ２のデータとブロックＦ０Ｂ２のデータから画素ごとの平均をテスト補間データＴＤＡ２として生成する。
さらに、図１３及び図１４に示すように、ブロックＦ０Ｂ１、Ｆ０Ｂ２のデータをそれぞれテスト補間データＴＤＢ１、ＴＤＢ２として出力する。
同様に、図１５及び図１６に示すように、ブロックＦ２Ｂ１、Ｆ２Ｂ２のデータをそれぞれテスト補間データＴＤＣ１、ＴＤＣ２として出力する。
【００８８】
補間データ評価部５では、図１１〜図１６に示されるテスト補間データＴＤＡ１〜ＴＤ６の各々と処理対象ブロックＦ１Ｂａのデータとの差分絶対値和を算出し、評価データＥＤＡ１〜ＥＤ６を出力する。図９〜図１６の具体例では、第１の縮小遅延フレームＳＦ１上の文字「Ｆ」を表す領域が処理対象ブロックＦ１Ｂａとなっており、この文字「Ｆ」が、第２の縮小遅延フレームＳＦ２および第１の縮小遅延フレームＳＦ１では見えているが、現縮小フレームＦ０ではハッチングで示す丸ＢＣの陰に隠れており、従って、第２の縮小遅延フレームＳＦ２内の文字「Ｆ」を表す領域から成るブロックＦ２Ｂ１から得られたテスト補間データＴＤ５と、処理対象ブロックＦ１Ｂａとの差分絶対値和、即ち評価データＥＤ５が最小となる。
【００８９】
動きベクトル決定部６では、評価データＥＤＡ１〜ＥＤ６のうち一番小さい評価データＥＤ５に対応した縮小動きベクトルＳＭＶ１（＝Ｖ１）を出力し、縮小動きベクトルＳＭＶ２の代わりに対応ブロックなしを示す信号を出力する。
【００９０】
動きベクトル拡大部７では、縮小動きベクトルＳＭＶ１とＳＭＶ２に対して上記の式（２Ａ）及び式（２Ｂ）を用いて、第２の遅延フレームＦ２から第１の遅延フレームＦ１への動きベクトルＭＶ１と現フレームＦ０から第１の遅延フレームＦ１への動きベクトルＭＶ２を出力する（図１７）。
先にも述べたように、縮小動きベクトルの一方の代わりに対応ブロックなしを示す信号が出力されている場合には、当該縮小動きベクトルに対応する動きベクトル（ＭＶ１又はＭＶ２）に対しても、代わりに「対応ブロックなし」を示す信号が出力されるので、図９〜図１６の例では、動きベクトルＭＶ１（＝Ｖ１／α）が出力されるとともに、ＭＶ２の代わりに対応ブロックなしを示す信号が出力される。
【００９１】
第１の遅延フレームＦ１を縮小した第１の縮小遅延フレームＳＦ１についてもれなく（隙間なく）ブロックを設定し縮小動きベクトルを算出することで第１の縮小遅延フレームＳＦ１のすべての部分について第１及び第２の縮小動きベクトルＳＭＶ１及び／又はＳＭＶ２を、生成し、第１及び第２の縮小動きベクトルＳＭＶ１、ＳＭＶ２を拡大することで、第１及び第２の動きベクトルＭＶ１及び／又はＭＶ２を得て、上記第１の縮小遅延フレームＳＦ１内の上記の画素に対応する第１の遅延フレームＦ１内の画素に対応する位置、例えば同じ位置にある、補間フレームＩＦ内の画素について、第１及び第２の動きベクトルＭＶ１及びＭＶ２を用いた変換を行うことで、第３及び第４の動きベクトルＭＶ３及びＭＶ４を求めることとしても良い。
【００９２】
代わりに、第１の遅延フレームＦ１を縮小した第１の縮小遅延フレームＳＦ１内の各画素を中心とする所定の大きさのブロックについて、上記の処理を行うことで、当該画素についての第１の縮小動きベクトルＳＭＶ１及び第２の縮小動きベクトルＳＭＶ２を生成し、第１及び第２の縮小動きベクトルＳＭＶ１、ＳＭＶ２を拡大することで、第１及び第２の動きベクトルＭＶ１及び／又はＭＶ２を得て、上記第１の縮小遅延フレームＳＦ１内の上記の画素に対応する第１の遅延フレームＦ１内の画素に対応する位置、例えば同じ位置にある、補間フレームＩＦ内の画素について、第１及び第２の動きベクトルＭＶ１及びＭＶ２を用いた変換を行うことで、第３及び第４の動きベクトルＭＶ３及びＭＶ４を求めることとしても良い。
【００９３】
図１８（ａ）及び（ｂ）は、動きベクトル変換部１３の動作の具体例を説明するための図である。図１８（ａ）は動きベクトル変換部１３の入力、図１８（ｂ）は動きベクトル変換部１３の出力を示す。
【００９４】
動きベクトル変換部１３は、図１８（ａ）に示される、第２の遅延フレームＦ２から第１の遅延フレームＦ１への第１の動きベクトルＭＶ１と、現フレームＦ０から第１の遅延フレームＦ１への動きベクトルＭＶ２に対して上記の式（３Ａ）及び式（３Ｂ）を用いて、図１８（ｂ）に示される、第１の遅延フレームＦ１から補間フレームＩＦへの第３の動きベクトルＭＶ３と現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換する。図１８（ａ）及び（ｂ）に示す具体例では、ＭＶ１はＶ１／α、ＭＶ２の代わりに対応ブロックなしを示す信号が出力されており、ｔ１は１／６０秒、ｔ２はｔ１の１／２に等しく１／１２０秒であり、上記の式（３Ａ）及び式（３Ｂ）よりＭＶ３はＶ１／２α、ＭＶ４の代わりに対応ブロックなしを示す信号が出力される。
【００９５】
図１９は、補間フレーム生成部１４の動作の具体例を説明するための図である。図１９は、図８〜図１６と同様に、第１の遅延フレームＦ１上の文字「Ｆ」を表す領域が処理対象ブロックＦ１Ｂａに対応するブロック（非縮小ブロック）Ｆ１Ｂｂとなっており、この文字「Ｆ」が、第２の遅延フレームＦ２および第１の遅延フレームＦ１では見えているが、現フレームＦ０ではクロスハッチングで示す丸ＢＣの陰に隠れており、従って、第２の遅延フレームＦ２内の文字「Ｆ」を表す領域から成るブロックＦ２Ｂ１から得られたテスト補間データＴＤ５と、処理対象ブロックＦ１Ｂａとの差分絶対値和、即ち評価データＥＤ５が最小となる場合を示している。この場合、図１９に示すように補間フレームＩＦから−ＭＶ３動かした位置の第１の遅延フレームＦ１のデータを補間フレームＩＦのデータとして出力する。
このような処理を、補間フレームＩＦ内のすべてのブロックに対して行うことで生成した補間フレームＩＦを第１の遅延フレームＦ１と現フレームＦ０の間に内挿して出力する。
【００９６】
以上より、本実施の形態では、動きベクトルの評価を行うことにより動きベクトルが精度良く検出され、画像の乱れなく補間フレームを内挿することができる。さらに補間するフレーム前後で物体が隠れたり出現したりする場合でも、画像の乱れなく補間フレームを内挿することができる。
【００９７】
ここで現フレーム画像縮小部２１、第１の遅延フレーム画像縮小部２２、第２の遅延フレーム画像縮小部２３にて画像縮小処理をした場合と画像縮小処理をしない場合を比較する。画像縮小部２１、２２、２３による画像縮小処理をしない場合、動きベクトル検出部１２では入力画像データがそのまま処理され、画像縮小部２１、２２、２３による画像縮小処理をする場合、動きベクトル検出部１２には縮小画像データが処理される。この時、動きベクトルの探索に当たり、同じ大きさのベクトルの範囲を探索するとした場合、縮小画像を使用した方が広い範囲を探索することができ、従って、大きい動きを検出することができる。
また、縮小画像を用いる場合には、各ブロックに含まれる画素の数が、非縮小画像の各ブロックに含まれる画素の数よりも少なく、各ブロックについての差分絶対値和の計算において計算に用いられる画素の数が少ないので、演算量が減少して、応答性が向上するとともに、回路規模を小さくすることができる。
【００９８】
以上、本発明をハードウェアで実現する場合について説明したが、図１に示される構成の一部又は全部をソフトウエアにより実現することも可能である。その場合の処理を図２０及び図２１を参照して説明する。
【００９９】
図２０は、図１に示される構成のうち、フレームメモリ１１、動きベクトル検出部１２、動きベクトル変換部１３及び補間フレーム生成部１４による処理をソフトウェアで実現するための、コンピュータシステムで構成された画像処理装置を示す。図示の画像処理装置は、プロセッサ１０１と、プログラムメモリ１０２と、データメモリ１０３と、入力インターフェース１０４と、出力インターフェース１０５と、これらを接続するバス１０６を有する。
【０１００】
プロセッサ１０１は、プログラムメモリ１０２に記憶されたプログラムに従って動作し、入力インターフェース１０４を介して入力される画像に対する処理を行う。動作の過程で種々のデータをデータメモリ１０３に記憶させる。処理の結果生成される画像は、インターフェース１０５を介して図１に示す画像表示部１５に供給され、画像表示部１５による表示に用いられる。
以下、プロセッサ１０１により行なわれる処理を図２１を参照して説明する。
【０１０１】
図２１は、図２０の画像処理装置で実施される画像処理方法のフローを示す。
【０１０２】
まず、動きベクトル検出ステップＳＴ１では、画像データＦ０と、画像データＦ０に対して１フレーム遅延した画像データＦ１と、画像データＦ０に対して２フレーム分遅延した画像データＦ２を参照して第２の遅延フレームＦ２から第１の遅延フレームＦ１への第１の動きベクトルＭＶ１、及び現フレームＦ０から第１の遅延フレームＦ１への第２の動きベクトルＶ２を生成する。この動作は、図１の動きベクトル検出部１２と同等である。
【０１０３】
動きベクトル変換ステップＳＴ２では、第１及び第２の動きベクトルＭＶ１及びＭＶ２を、第１の遅延フレームＦ１から補間フレームＩＦ（現フレームＦ０と第１の遅延フレームＦ１の間に挿入される）への第３の動きベクトルＭＶ３と、現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換する。この動作は、図１の動きベクトル変換部１３と同等である。
【０１０４】
補間フレーム生成ステップＳＴ３では、第１の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第３の動きベクトルＭＶ３及び第４の動きベクトルＭＶ４から補間フレームＩＦのデータを生成する。補間フレームＩＦのすべてのブロックについて上記の処理が繰り返され、これにより生成された補間フレームＩＦのデータを現フレームＦ０のデータと第１の遅延フレームＦ１のデータの間に挿入した画像データＤＯを生成する。この動作は、図１の補間フレーム生成部１４と同等である。
【０１０５】
図２１は、本実施の形態に係る画像表示装置の一部をソフトウェアとして実現したものであり、その効果は、図１の場合と同様である。
【符号の説明】
【０１０６】
２ 画像縮小部、 ３ ブロック切り出し部、 ４ テスト補間部、 ５ 補間データ評価部、 ６ 動きベクトル決定部、 ７ 動きベクトル拡大部、 １０ 画像処理装置、 １１ フレームメモリ、 １２ 動きベクトル検出部、 １３ 動きベクトル変換部、 １４ 補間フレーム生成部、 １５ 画像表示部、 ２１ 現フレーム画像縮小部、 ２２ 第１の遅延フレーム画像縮小部、 ２３ 第２の遅延フレーム画像縮小部、 ３１ 現フレームブロック切り出し部、 ３２ 第２の遅延フレームブロック切り出し部、 ３３ 第１の遅延フレームブロック切り出し部。
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、並びに画像表示装置及び方法に関する。本発明は特に、画像のフレーム間に新たな補間フレームを挿入するフレーム補間処理に関するものである。
【背景技術】
【０００２】
液晶ディスプレイなどのホールド型ディスプレイは、１フレーム期間同じ画像を表示し続けており、画像中の物体が動いた場合に、動く物体に対する人間の目の追従が連続的に移動するのに対して、物体の移動が１フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を多くして物体の移動をスムーズにすることが考えられる。
【０００３】
また、映画などのフィルム映像がテレビ信号に変換された素材については、両者（フィルム映像とテレビ信号）のフレーム周波数の違いから、２フレーム又は３フレームが同じフレームから作られた画像信号となっており、そのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。
【０００４】
また、同様にコンピュータ処理された映像がテレビ信号に変換された素材についても、２フレームが同じフレームから作られた画像信号であり、そのまま表示すると同様にジャダーが発生する問題がある。
【０００５】
従来の画像処理装置及び方法は、補間フレームに対して１フレーム前のフレームと同じ画像で補間する零次ホールド法か、補間フレームに対して１フレーム前の画像と１フレーム後の画像の平均画像で補間する平均値補間法などがあるが、零次ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないので、依然ホールド型ディスプレイのぼやけの問題は解決されない。また、平均値補間法は、動いた画像が２重像になる問題がある。
【０００６】
この改善策として、補間フレームの補間画素に対して点対称の位置にある時間的に前のフレーム上の画素と時間的に後のフレーム上の画素との画素間の相関が最も大きい画素から補間フレームの補間画素を生成するものがある（例えば、特許文献１参照）。この方法では、画素単位での相関検出のため、画像の内容が異なるにも拘らず、画素間の相関が大きいと検出される場合があり、正しく補間フレームが生成できない場合がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１２９１８１号公報（第８頁、第３図）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来のフレーム補間処理は、上記の様に構成されており、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。また、画素単位の相関を検出する方法では、正しく相関検出ができないために正しく補間フレームが生成できず、特に補間するフレーム前後で物体が隠れたり出現したりする場合、補間フレームが著しく乱れるという問題、及びフレーム補間処理は演算量が多い（ハードウェアでは回路規模が大きい）という問題がある。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、
画像の現フレームと前記現フレームの１フレーム前のフレームである第１の遅延フレームとの間に補間フレームを挿入する画像処理装置において、
前記第１の遅延フレームのデータ及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトルを算出し、
前記現フレームのデータ及び前記第１の遅延フレームのデータを参照して前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出部と、
前記第１の動きベクトルを前記第１の遅延フレームから前記補間フレームへの第３の動きベクトルに変換し、
前記第２の動きベクトルを前記現フレームから前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換部と、
前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを有し、
前記動きベクトル検出部は、
前記現フレームを縮小して現縮小フレームを出力し、前記第１の遅延フレームを縮小して第１の縮小遅延フレームを出力し、前記第２の遅延フレームを縮小して第２の縮小遅延フレームを出力する画像縮小部と、
前記補間フレームの補間対象ブロックに対応する、前記第１の縮小遅延フレーム内のブロックを処理対象ブロックとして設定し、
前記第２の縮小遅延フレームの一部をなすブロックのデータ及び前記現縮小フレームの一部をなすブロックのデータの画素ごとの平均値で構成される第１群のテスト補間データと、
前記現フレームの一部をなすブロックのデータで構成される第２群のテスト補間データと、
前記第２の縮小遅延フレームのブロックデータ構成される第３群のテスト補間データと
を含む複数のテスト補間データを出力するテスト補間部と、
前記第１乃至第３群のテスト補間データのうち、前記処理対象ブロックのデータに対する前記各テスト補間データの相関の強さを評価し、該評価の結果を示す複数の評価データを出力する補間データ評価部と、
前記複数の評価データのうち最も相関の強いことを示す前記評価データを生じさせた前記テスト補間データに対応する動きベクトルを第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方として出力する動きベクトル決定部と、
前記第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方を拡大して前記第１及び第２の動きベクトルの少なくとも一方として出力する動きベクトル拡大部とを有し、
前記第１群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックのデータ及び複数の前記現縮小フレームのブロックから得られ、
前記第２群のテスト補間データは、複数の前記現縮小フレームのブロックから得られ、
前記第３群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックから得られる
ことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、時間的に連続する３枚のフレームの中心のフレームを最も確からしいものとして、時間的に前のフレーム及び後のフレームから中心のフレームへの動きベクトルを評価することで高精度な動きベクトルを算出することができるため、画像の乱れなく補間フレームを内挿することができる。さらに補間するフレーム前後で物体が隠れたり出現したりする場合でも、画像の乱れなく補間フレームを内挿することができる。また、動きベクトルの検出に縮小画像を用いることで、演算量（回路規模）を削減することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係る画像表示装置の構成を示すブロック図である。
【図２】図１の動きベクトル検出部１２内のテスト補間部４の具体例を示すブロック図である。
【図３】図１の動きベクトル２内の補間データ評価部５及び動きベクトル決定部６の具体例を示すブロック図である。
【図４】図１の動きベクトル検出部１２の動作を説明するための図である。
【図５】図１の動きベクトル変換部１３及び補間フレーム生成部１４の動作を説明するための図である。
【図６】図１の動きベクトル変換部１３及び補間フレーム生成部１４の動作を説明するための図である。
【図７】図１の動きベクトル変換部１３及び補間フレーム生成部１４の動作を説明するための図である。
【図８】現フレーム、第１及び第２の遅延フレームのそれぞれにおける画像の例を示す図である。
【図９】図８に示す入力画像を縮小した画像データの具体例を示す図である。
【図１０】第１の縮小遅延フレームＳＦ１上の処理対象ブロックを中心として、点対称の位置にある第２の縮小遅延フレームＳＦ２及び現縮小フレームＳＦ０に位置する２対のブロックを示す図である。
【図１１】図１０の２対のブロックのうちの一対のデータに基づく、テスト補間データの生成を示す図である。１の動きベクトル検出部１２の動作の具体例を説明するための図である。
【図１２】図１０の２対のブロックのうちの他の一対のデータに基づく、テスト補間データの生成を示す図である。
【図１３】現縮小フレームＳＦ０上の一つのブロックのデータに基づくテスト補間データの生成を示す図である。
【図１４】現縮小フレームＳＦ０上の他の一つのブロックのデータに基づくテスト補間データの生成を示す図である。
【図１５】第２の縮小遅延フレームＳＦ２上の一つのブロックのデータに基づくテスト補間データの生成を示す図である。
【図１６】第２の縮小遅延フレームＳＦ２上の他の一つのブロックのデータに基づくテスト補間データの生成を示す図である。
【図１７】図１の動きベクトル拡大部７の動作の具体例を説明するための図である。
【図１８】（ａ）及び（ｂ）は、図１の動きベクトル変換部１３の動作の具体例を説明するための図である。
【図１９】図１の補間フレーム生成部１４の動作の具体例を説明するための図である。
【図２０】本発明に係る画像処理をソフトウェアで実現する場合に利用されるコンピュータシステムで構成された画像処理装置を示すブロック図である。
【図２１】本実施の形態に係る画像表示装置の処理工程を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を図面により説明する。本発明に係る画像処理装置は、画像の現フレームと現フレームの１フレーム前のフレームとの間に新たな補間フレームを補間により生成するものであり、本発明に係る画像表示装置には、上記の画像処理装置から出力された画像データを表示する画像表示部を備えるものである。
【００１３】
実施の形態１．
図１は、本発明の実施の形態１に係る画像表示装置の構成を示す図である。実施の形態１に係る画像表示装置は、画像処理装置１０と、画像表示部１５を備え、画像処理装置１０は、フレームメモリ１１と、動きベクトル検出部１２と、動きベクトル変換部１３と、補間フレーム生成部１４と、画像表示部１５を備える。
【００１４】
この画像処理装置は、例えば、放送受信装置、画像記録再生装置、又はパーソナルコンピュータ（ＰＣ）などの一部を構成することができる。また、画像表示装置５は、例えば、テレビ、映像プロジェクター、又はＰＣなどの一部を構成することができる。
【００１５】
画像データＦ０が、フレームメモリ１１、動きベクトル検出部１２、及び補間フレーム生成部１４に入力される。
フレームメモリ１１は、画像データＦ０を２フレーム分保存し、画像データＦ０に対して１フレーム分遅延した画像データＦ１と、画像データＦ０に対して２フレーム分遅延した画像データＦ２を出力する。これより画像データＦ０を現フレームのデータ、画像データＦ１を第１の遅延フレームのデータ、画像データＦ２を第２の遅延フレームのデータと言う。また、現フレーム、第１の遅延フレーム、第２の遅延フレームをそれぞれのフレームデータと同じ符号Ｆ０、Ｆ１、Ｆ２で表す。
【００１６】
第１の遅延フレームＦ１のデータは動きベクトル検出部１２と補間フレーム生成部１４に入力され、第２の遅延フレームＦ２のデータは動きベクトル検出部１２に入力される。
【００１７】
動きベクトル検出部１２は、現フレームＦ０のデータと、第１の遅延フレームＦ１のデータと、第２の遅延フレームＦ２のデータを参照して、第１の遅延フレームＦ１上の複数のブロックの各々（フレームの一部を成す、複数の画素で構成される）を順次選択し、選択されているブロックについて、第２の遅延フレームＦ２から第１の遅延フレームＦ１への第１の動きベクトルＭＶ１及び現フレームＦ０から第１の遅延フレームＦ１への第２の動きベクトルＭＶ２を算出して、動きベクトル変換部１３に出力する。第１の遅延フレームＦ１上のブロックは、第１の遅延フレームＦ１を例えば複数の矩形の領域に分割することで得られるものである。
【００１８】
動きベクトル変換部１３は、第１の動きベクトルＭＶ１と第２の動きベクトルＭＶ２を、第１の遅延フレームＦ１から補間フレームＩＦへの第３の動きベクトルＭＶ３と、現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換して、補間フレーム生成部１４に出力する。
【００１９】
補間フレーム生成部１４は、第１の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第３の動きベクトルＭＶ３及び第４の動きベクトルＭＶ４から、現フレームＦ０と第１の遅延フレームＦ１の間に位置する補間フレームＩＦのデータを生成し、生成した補間フレームＩＦのデータを現フレームＦ０のデータと第１の遅延フレームＦ１のデータの間に挿入した画像データＤＯを画像表示部１５に出力する。
画像表示部１５は、画像データＤＯを表示する。
【００２０】
次に、動きベクトル検出部１２の構成について詳細に説明する。
動きベクトル検出部１２は、画像縮小部２と、ブロック切り出し部３と、テスト補間部４と、補間データ評価部５と、動きベクトル決定部６と、動きベクトル拡大部７とを有し、画像縮小部２は、現フレーム画像縮小部２１と、第１の遅延フレーム画像縮小部２２と、第２の遅延フレーム画像縮小部２３とを有し、ブロック切り出し部３は、現フレームブロック切り出し部３１と、第１の遅延フレームブロック切り出し部３２と、第２の遅延フレームブロック切り出し部３３とを有する。
【００２１】
現フレーム画像縮小部２１は、現フレームＦ０を縮小して現縮小フレームＳＦ０を出力し、第１の遅延フレーム画像縮小部２２は、第１の遅延フレームＦ１を縮小して第１の縮小遅延フレームＳＦ１を出力し、第２の遅延フレーム画像縮小部２３は、第２の遅延フレームＦ２を縮小して第２の縮小遅延フレームＳＦ２を出力する。現フレーム画像縮小部２１、第１の遅延フレーム画像縮小部２２、及び第２の遅延フレーム画像縮小部２３における縮小率は同じであり、符号αで表される。
【００２２】
現フレームブロック切り出し部３１、第１の遅延フレームブロック切り出し部３２、及び第２の遅延フレームブロック切り出し部３３は、それぞれ、現縮小フレームＳＦ０、第１の縮小遅延フレームＳＦ１、及び第２の縮小遅延フレームＳＦ２を受け、それぞれ、画面の一部を成すブロックを切り出し（抽出し）、ブロック内の画素のデータ（画素値）の集合をブロックデータとして出力する。即ち、現フレームブロック切り出し部３１は、現縮小フレームＳＦ０からブロックを切り出し、第１の遅延フレームブロック切り出し部３２は、第１の縮小遅延フレームＳＦ１からブロックを切り出し、第２の遅延フレームブロック切り出し部３３は、第２の縮小遅延フレームＳＦ２からブロックを切り出す。
【００２３】
各ブロックは例えば横方向Ｘ個、縦方向Ｙ個の画素（Ｙ個のライン）のサイズを有する矩形の領域から成る。即ち、現縮小フレームＳＦ０から切り出されるブロックと、第１の縮小遅延フレームＳＦ１から切り出されるブロックと、第２の縮小遅延フレームＳＦ２から切り出されるブロックは、縦方向のサイズ（画素数）及び横方向のサイズ（画素数乃至ライン数）が互いに等しい。
【００２４】
以下では、補間フレームＩＦ内の一つのブロックを補間により生成するに当たっての処理を説明する。この処理のためには、補間フレームＩＦ内の補間しようとするブロック(補間対象ブロック)を、縮小フレームＳＦ０、ＳＦ１、ＳＦ２を生成する際と同じ縮小率αで縮小したブロック（縮小ブロック）に対応する、第１の縮小遅延フレームＳＦ１内の一つのブロックＦ１Ｂａを処理対象ブロックとして設定し、該処理対象ブロックＦ１Ｂａと、現縮小フレームＳＦ０内の複数のブロックと、第２の縮小遅延フレームＳＦ２内の複数のブロックが切り出される（抽出される）。現縮小フレームＳＦ０から切り出されるブロックと、第２の縮小遅延フレームＳＦ２から切り出されるブロックとは、処理対象ブロックＦ１Ｂａ（厳密には、その中心）を中心として点対称の位置にあるもので、これらが対として用いられる。
現フレームブロック切り出し部３１及び第２の遅延フレームブロック切り出し部３３は、処理対象ブロックＦ１Ｂａを中心とし、互いに点対称の位置にあり、一方が現縮小フレームＳＦ０内に位置し、他方が第２の縮小遅延フレームＳＦ２内に位置するブロックの対を複数個切り出す。
【００２５】
例えば、現縮小フレームＳＦ０から切り出されるブロックＦ０Ｂ１（厳密には、その中心）と、第２の縮小遅延フレームＳＦ２から切り出されるブロックＦ２Ｂ１（厳密には、その中心）とは、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａ（厳密には、その中心）を中心として点対称の位置にあるもので、これらの点対称の位置にある２つのブロックが対（ペア）として用いられる。
【００２６】
現縮小フレームＳＦ０及び第２の縮小遅延フレームＳＦ２から切り出されるブロックの対は、動きベクトル検出部１２において検出される動きベクトルの候補に対応するものであり、例えば動きベクトルの探索範囲内のすべてのブロックが切り出される。例えば、第１の縮小遅延フレームＳＦ１内の一つのブロックの中心を中心として、横方向に±ＨＳ画素、縦方向に±ＶＳ画素（±ＶＳライン）の範囲を探索する場合、第２の縮小遅延フレームＳＦ２及び現縮小フレームＳＦ０から、それぞれ（２ＨＳ＋１）×（２ＶＳ＋１）個のブロックが切り出される。
【００２７】
なお、探索範囲内のすべてのブロックについて評価を行う必要がない場合、例えば予め或いは他の情報により動きの方向の範囲が予測できる場合には、上記の探索範囲の予測される範囲内のブロックのみを切り出すこととしても良い。また、探索範囲内のブロックを間引きながら（例えば水平方向及び垂直方向に１画素おきに）切り出すこととしても良い。
【００２８】
以下では、現縮小フレームＳＦ０及び第２の縮小遅延フレームＳＦ２から切り出されるブロックの数をＭとし、現縮小フレームＳＦ０から切り出されるブロックを第１乃至第ＭのブロックＦ０Ｂ１〜Ｆ０ＢＭ、第２の縮小遅延フレームＳＦ２から切り出されるブロックを第１乃至第ＭのブロックＦ２Ｂ１〜Ｆ２ＢＭと呼ぶ。また、各ブロックのデータをブロックと同じ符号で表す。
【００２９】
第２の縮小遅延フレームＳＦ２内の第ｍのブロックＦ２Ｂｍ（ｍ＝１〜Ｍ）と現縮小フレームＳＦ０内の第ｍのブロックＦ０Ｂｍとは、第２の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａ（厳密にはその中心の画素）を中心として点対称の位置にあるので、ブロックＦ２Ｂｍの処理対象ブロックＦ１Ｂａに対する横方向のずれをｈ（ｈ＝−ＨＳ〜＋ＨＳ）、縦方向のずれをｖ（ｖ＝−ＶＳ〜＋ＶＳ）とすると、ブロックＦ０Ｂｍの処理対象ブロックＦ１Ｂａに対する横方向のずれは−ｈ、縦方向のずれは−ｖである。
【００３０】
現フレームブロック切り出し部３１は、現縮小フレーム内の複数の、即ち第１乃至第Ｍのブロックを切り出して、第１乃至第ＭのブロックデータＦ０Ｂ１〜Ｆ０ＢＭを出力する。
第１の遅延フレームブロック切り出し部３２は、第１の縮小遅延フレーム内の処理対象ブロックＦ１Ｂａを切り出す。このブロックブロックＦ１Ｂａは、補間フレームＩＦ内の補間対象ブロックを縮小したブロックに対応するものである。
第２の遅延フレームブロック切り出し部３３は、第２の縮小遅延フレーム内の複数の、即ち第１乃至第Ｍのブロックを切り出して、第１乃至第ＭのブロックデータＦ２Ｂ１〜Ｆ２ＢＭを出力する。
【００３１】
現縮小フレームＳＦ０のブロックデータと第２の縮小遅延フレームＳＦ２のブロックデータが、テスト補間部４に入力される。テスト補間部４は、第２の縮小遅延フレームＳＦ２のブロックデータと現縮小フレームＳＦ０のブロックデータのうち、処理対象ブロックＦ１Ｂａを中心として、互いに点対称の位置にある第２の縮小遅延フレームＳＦ２内のブロックと、現縮小フレームＳＦ０内のブロックから成るブロック対のデータに基づいて、テスト補間データＴＤＡ１〜ＴＤＡＭを生成する。複数のブロック対に基づいて複数のテスト補間データが生成される。このテスト補間は、上記点対称の中心の位置、即ち上記処理対象ブロックＦ１Ｂａのデータが未知であると仮定して行うものであり、補間が正確であればあるほど、テスト補間データは、処理対象ブロックＦ１Ｂａのデータとの相関が強いものとなる。
【００３２】
テスト補間部４は、さらに入力された現縮小フレームＳＦ０のブロックデータをそのまま処理対象ブロックＦ１Ｂａの位置のデータとしたものを、テスト補間データＴＤＢ１〜ＴＤＢＭとして出力し、入力された第２の縮小遅延フレームＳＦ２のブロックデータをそのまま処理対象ブロックＦ１Ｂａの位置のデータとしたものを、テスト補間データＴＤＣ１〜ＴＤＣＭとして出力する。
区別のため、テスト補間データＴＤＡ１〜ＴＤＡＭは第１群の第１乃至第Ｍのテスト補間データと呼ばれ、テスト補間データＴＤＢ１〜ＴＤＢＭは第２群の第１乃至第Ｍのテスト補間データと呼ばれ、テスト補間データＴＤＣ１〜ＴＤＣＭは第３群の第１乃至第Ｍのテスト補間データと呼ばれる。
【００３３】
補間データ評価部５は、第１の縮小遅延フレームＳＦ１のブロックデータを参照して複数のテスト補間データの評価を行い、評価データＥＤを動きベクトル決定部６に出力する。この評価においては、テスト補間データと、第１の縮小遅延フレームＳＦ１のブロックデータとの相関を求め、相関が強いほど高い評価が与えられる。
【００３４】
動きベクトル決定部６は、評価データＥＤに基づいて第１の縮小動きベクトルＳＭＶ１と第２の縮小動きベクトルＳＭＶ２を生成して出力する。
【００３５】
動きベクトル拡大部７は、第１の縮小動きベクトルＳＭＶ１と第２の縮小動きベクトルＳＭＶ２の値を拡大して第１の動きベクトルＭＶ１と第２の動きベクトルＭＶ２を生成して出力する。ここで、拡大率は縮小フレームＳＦ０、ＳＦ１、ＳＦ２の生成の際の縮小率αの逆数に等しく、１／αで表される。
【００３６】
次に、図２及び図３を参照して動きベクトル検出部１２のテスト補間部４、補間データ評価部５及び動きベクトル決定部の具体例についてさらに詳しく説明する。
【００３７】
テスト補間部４は、複数の、即ち第１乃至第Ｍのテスト補間データ生成部４−１〜４−Ｍを備え、補間データ評価部５は、第１群の第１乃至第Ｍの相関値算出部５Ａ−１〜５Ａ−Ｍと、第２群の第１乃至第Ｍの相関値算出部５Ｂ−１〜５Ｂ−Ｍと、第３群の第１乃至第Ｍの相関値算出部５Ｃ−１〜５Ｃ−Ｍを備える。
【００３８】
テスト補間データ生成部４−１〜４−Ｍは、現縮小フレームＳＦ０のブロックのデータＦ０Ｂ１〜Ｆ０ＢＭと、それぞれこれらと対をなす第２の縮小遅延フレームＳＦ２のブロックのデータＦ２Ｂ１〜Ｆ２ＢＭを画素ごとに平均することで得られる平均値から成るデータを第１群のテスト補間データＴＤＡ１〜ＴＤＡＭとして算出する。テスト補間データ生成部４−１〜４−Ｍで、平均を求めるのに用いられるデータは、互いに異なる位置にあるブロックのデータである。
テスト補間部４また、上記のように、現縮小フレームＳＦ０のブロックのデータＦ０Ｂ１〜Ｆ０ＢＭを第２群のテスト補間データＴＤＢ１〜ＴＤＢＭとして、第２の縮小遅延フレームＳＦ２のブロックのデータＦ２Ｂ１〜Ｆ２ＢＭを第３群のテスト補間データＴＤＣ１〜ＴＤＣＭとして出力する。図１には、テスト補間データＴＤＡ１〜ＴＤＣＭの集合が符号ＴＤで表されている。
【００３９】
以下、より詳しく説明する。
現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１と第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１がテスト補間データ生成部４−１に入力される。
【００４０】
テスト補間データ生成部４−１は、現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１と第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１の画素ごとの平均値を第１群の第１のテスト補間データＴＤＡ１として相関値算出部５Ａ−１に出力する。ここで画素ごとの平均値とは、現縮小フレームＳＦ０内のブロックにおける各画素と、第２の縮小遅延フレームＳＦ２内のブロックにおける対応する位置の画素の画素値(例えばそれぞれのブロックの基準位置、例えば左上隅を原点として同じ座標値で表される画素の画素値）の平均値を意味する。
【００４１】
同様に、現縮小フレームＳＦ０の第２のブロックデータＦ０Ｂ２と第２の縮小遅延フレームＳＦ２の第２のブロックデータＦ２Ｂ２がテスト補間データ生成部４−２に入力される。テスト補間データ生成部４−２は、現縮小フレームＳＦ０の第２のブロックデータＦ０Ｂ２と第２の縮小遅延フレームＳＦ２の第２のブロックデータＦ２Ｂ２の画素ごとの平均値を第１群の第２のテスト補間データＴＤＡ２として相関値算出部５Ａ−２（図示しない）に出力する。
【００４２】
テスト補間データ生成部４−３（図示しない）〜４−Ｍも同様に現縮小フレームＳＦ０の第３のブロックデータＦ０Ｂ３乃至第ＭのブロックデータＦ０ＢＭと第２の縮小遅延フレームＳＦ２の第３のブロックデータＦ２Ｂ３乃至第ＭのブロックデータＦ２ＢＭに基づいて第１群の第３のテスト補間データＴＤＡ３乃至第Ｍのテスト補間データＴＤＡＭを生成し、相関値算出部５Ａ−３（図示しない）〜５Ａ−Ｍに出力する。
【００４３】
一般化して言えば、テスト補間データ生成部４−ｍは、現縮小フレームＳＦ０の第ｍのブロックデータＦ０Ｂｍ（ｍ＝１〜Ｍ）と第２の縮小遅延フレームＳＦ２の第ｍのブロックデータＦ２Ｂｍに基づいて、例えばこれらの画素ごとの平均を求めることで、第１群の第ｍのテスト補間データＴＤｍを生成し、相関値算出部５Ａ−ｍに出力する。
【００４４】
テスト補間部４さらに、現縮小フレームＳＦ０のブロックのデータＦ０Ｂ１〜Ｆ０ＢＭを、テスト補間データＴＤＢ１〜ＴＤＢＭとして、相関値算出部５Ｂ−１〜５Ｂ−Ｍに出力し、第２の縮小遅延フレームＳＦ２のブロックのデータＦ２Ｂ１〜Ｆ２ＢＭを、テスト補間データＴＤＣ１〜ＴＤＣＭとして相関値算出部５Ｂ−１〜５Ｃ−Ｍに出力する。
一般化して言えば、テスト補間部４は、現縮小フレームＳＦ０の第ｍのブロックのデータＦ０Ｂｍを、第２群の第ｍのテスト補間データＴＤＢｍとして相関値算出部５Ｂ−ｍに出力し、第２の縮小遅延フレームＳＦ２の第ｍのブロックのデータＦ２Ｂｍを、第３群の第ｍのテスト補間データＴＤＣｍとして相関値算出部５Ｃ−ｍに出力する。
【００４５】
第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータが補間データ評価部５内の相関値算出部５Ａ−１〜５Ｃ−Ｍに入力される。
【００４６】
相関値算出部５Ａ−１〜５Ｃ−Ｍは、それぞれテスト補間部４から出力されるテスト補間データＴＤＡ１〜ＴＤＣＭと第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータの相関値、例えば差分絶対値和を算出し、評価データＥＤＡ１〜ＥＤＣＭとして出力する。
【００４７】
相関値算出部５Ａ−１は、第１群の第１のテスト補間データＴＤＡ１の各画素のデータと第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの各画素のデータの差分絶対値の和を算出し、評価データＥＤＡ１として動きベクトル決定部６に出力する。差分絶対値和は下記の式（１）により表される。
【００４８】
【数１】
【００４９】
ここで、ＢＫ１、ＢＫ２はブロック内の各画素のデータであり、ＢＫ１をテスト補間データＴＤＡ１を構成する各画素のデータ、ＢＫ２を処理対象ブロックＦ１Ｂａ内の各画素のデータとすると式（１）は第１群の第１のテスト補間データＴＤＡ１の各画素のデータと第１の遅延フレームＦ１の処理対象ブロックＦ１Ｂａの各画素のデータの差分絶対値和となる。差分絶対値和ＳＡＤは、相関の度合いを表すものであり、評価データＥＤＡ１として相関値算出部５Ａ−１から出力される。
【００５０】
式（１）で与えられる差分絶対値和は、その値が小さいほど、相関が強いことを意味し、差分絶対値和ＳＡＤを評価データとして用いる場合、その値が小さいほど、評価が高いことを表す。
【００５１】
相関値算出部５Ａ−２〜５Ｃ−Ｍも同様に、第１群の第２のテスト補間データＴＤＡ２乃至第３群の第Ｍのテスト補間データＴＤＣＭと第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータの差分絶対値和を算出し、評価データＥＤＡ２〜ＥＤＣＭとして動きベクトル決定部６に出力する。
【００５２】
評価データＥＤＡ１〜ＥＤＣＭのうち、第１群のテスト補間データＴＤＡ１〜ＴＤＡＭに対応するものを第１群の評価データＥＤＡ１〜ＥＤＡＭと言い、第２群のテスト補間データＴＤＢ１〜ＴＤＢＭに対応するものを第２群の評価データＥＤＢ１〜ＥＤＢＭと言い、第３群のテスト補間データＴＤＣ１〜ＴＤＣＭに対応するものを第３群の評価データＥＤＣ１〜ＥＤＣＭと言う。
【００５３】
動きベクトル決定部６は、評価データＥＤＡ１〜ＥＤＣＭのうちの値が最小のもの（最も高い評価を示すもの）を見つける。
【００５４】
評価データＥＤＡ１〜ＥＤＣＭのうち値が最小のものが第１群の評価データＥＤＡ１〜ＥＤＡＭのいずれかである場合には、動きベクトル決定部６は、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの位置に対する、当該最小値の評価データに対応する、第２の縮小遅延フレームＳＦ２内のブロックの相対位置（位置の差）を第１の縮小動きベクトルＳＭＶ１として出力し、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの位置に対する、当該最小値の評価データに対応する、現縮小フレームＳＦ０内のブロックの相対位置（位置の差）を第２の縮小動きベクトルＳＭＶ２として出力する。なお、同じ評価データに対応する第２の縮小遅延フレームＳＦ２内のブロックと現縮小フレームＳＦ０内のブロックとは、処理対象ブロックＦ１Ｂａを中心として点対称の位置にあるので、ＳＭＶ２＝−ＳＭＶ１の関係がある。
【００５５】
評価データＥＤＡ１〜ＥＤＣＭのうち値が最小のものが第２群の評価データＥＤＢ１〜ＥＤＢＭのいずれかである場合には、動きベクトル決定部６は、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの位置に対する、当該最小値の評価データに対応する、現縮小フレームＳＦ０内のブロックの相対位置（位置の差）を第２の縮小動きベクトルＳＭＶ２として出力し、第１の縮小動きベクトルＳＭＶ１の代わりに対応するブロックがない（差分絶対値和が十分に小さいブロックがない）こと、即ち有効データがないことを示す信号（データ乃至フラグ）を出力する。
【００５６】
評価データＥＤＡ１〜ＥＤＣＭのうち値が最小のものが第３群の評価データＥＤＢ１〜ＥＤＣＭのいずれかである場合には、動きベクトル決定部６は、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの位置に対する、当該最小値の評価データに対応する、第２の縮小遅延フレームＳＦ１内のブロックの相対位置（位置の差）を第１の縮小動きベクトルＳＭＶ１として出力し、第２の縮小動きベクトルＳＭＶ２の代わりに対応するブロックがない（差分絶対値和が十分に小さいブロックがない）こと、即ち有効データがないことを示す信号を出力する。
【００５７】
動きベクトル拡大部７は、下記の式（２Ａ）及び式（２Ｂ）により縮小動きベクトルＳＭＶ１及びＳＭＶ２を拡大して、動きベクトルＭＶ１及びＭＶ２を出力する。ここで、縮小動きベクトルＳＭＶ１及びＳＭＶ２は縮小画像における値であり、動きベクトルＭＶ１及びＭＶ２は入力画像における値である。つまり、縮小動きベクトルＳＭＶ１及びＳＭＶ２は、それぞれ第２の縮小遅延フレームＳＦ２から第１の縮小遅延フレームＳＦ１及び現縮小フレームＳＦ０から第１の縮小遅延フレームＳＦ１への動きベクトルであり、動きベクトルＭＶ１及びＭＶ２はそれぞれ第２の遅延フレームＦ２から第１の遅延フレームＦ１、及び現フレームＦ０から第１の遅延フレームＦ１への動きベクトルである。
【００５８】
ＭＶ１＝ＳＭＶ１／α …（２Ａ）
ＭＶ２＝ＳＭＶ２／α …（２Ｂ）
【００５９】
ただし、縮小動きベクトルＳＭＶ１の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルＭＶ１の代わりに対応ブロックなしを示す信号を出力し、縮小動きベクトルＳＭＶ２の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルＭＶ２の代わりに対応ブロックなしを示す信号を出力する。
【００６０】
図４は、動きベクトル検出部１２の動作を説明するための図である。ここでは、Ｍ＝１の場合について説明する。
第１の縮小遅延フレームＳＦ１の一部の領域が第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａとして切り出されている。
【００６１】
第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａに対してベクトル−Ｖ１ずらした位置に対応する領域が第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１として設定されて切り出され、ベクトル＋Ｖずらした位置に対応する領域が現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１として設定されて切り出される。
【００６２】
テスト補間データ生成部４−１は、現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１と第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１を画素ごとに平均してテスト補間データＴＤＡ１を生成する。
さらに、テスト補間部４は、現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１をテスト補間データＴＤＢ１として、第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１をテスト補間データＴＤＣ１として出力する。
【００６３】
相関値算出部５Ａ−１は、テスト補間データＴＤＡ１と第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータから上記の式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤＡ１として出力する。
【００６４】
相関値算出部５Ｂ−１も同様に、テスト補間データＴＤＢ１と第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータから上記の式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤＢ１として出力する。
相関値算出部５Ｃ−１も同様に、テスト補間データＴＤＣ１と第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータから上記の式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤＣ１として出力する。
【００６５】
動きベクトル決定部６は、評価データＥＤＡ１、ＥＤＢ１、ＥＤＣ１のうち最小の値を生じさせたブロック又はブロック対と第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａの相対位置に基づいて縮小動きベクトルを求める。
【００６６】
評価データＥＤＡ１が最小値である場合には、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａに対する第２の縮小フレームＳＦ２内のブロックの相対位置を第１の縮小動きベクトルＳＭＶ１（＝Ｖ１）として出力し、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａに対する現縮小フレームＳＦ０内のブロックの相対位置を第２の縮小動きベクトルＳＭＶ２（＝−Ｖ１）として出力する。
【００６７】
評価データＥＤＢ１が最小値である場合、第１の縮小動きベクトルＳＭＶ１の代わりに、対応ブロックなしを示す信号が出力され、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａに対する現縮小フレームＳＦ０内のブロックの相対位置が第２の縮小動きベクトルＳＭＶ２（＝−Ｖ１）として出力される。
【００６８】
評価データＥＤＣ１が最小値である場合、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａに対する第２の縮小遅延フレームＳＦ２内のブロックの相対位置が第１の縮小動きベクトルＳＭＶ１（＝Ｖ１）として出力され、第２の縮小動きベクトルＳＭＶ２の代わりに対応ブロックなしを示す信号が出力される。
【００６９】
図４では、Ｍ＝１の場合について説明したが、本発明に係る実施の形態の構成はＭ＝１に限定されない。即ち、候補としてのベクトルに対応するブロック対を２個以上設定しても良い。例えば、第１の縮小遅延フレーム内の処理対象ブロックＦ１Ｂａに対して、所定の動き量に対応する探索範囲内に位置する第２の縮小遅延フレーム内のすべてのブロック及びこれと点対称位置にある現縮小フレーム内のブロックから成るブロック対について平均値の算出によるテスト補間データの生成を行うこととしても良い。
【００７０】
動きベクトル検出部１２では、上記のように実在のデータである第１の縮小遅延フレームＳＦ１内のデータを用いて第１の縮小遅延フレームＳＦ２内のブロック及び現縮小フレームＳＦ０内のブロックから成るブロック対に対応するベクトルの候補を評価することにより動きベクトルを決定しているので第２の縮小遅延フレームＳＦ１及び現縮小フレームＳＦ０から第１の縮小遅延フレームＳＦ１への動きベクトルを精度良く算出することができる。
さらに、第２の縮小遅延フレームＳＦ２内のデータのみ、或いは現縮小フレームＳＦ０内のデータのみを、ベクトル候補に対応するテスト補間データとして用いているので、第２の縮小遅延フレームから現縮小フレームの間で物体が隠れたり、出現したりしても動きベクトルを精度良く算出することができる。
【００７１】
なお、補間データ評価部５では差分絶対値和を用いて評価データを算出したが、相関を求める関数は自乗誤差和など他にも多数あり、これに置き換えることも可能である。即ち、補間データ評価部５は、テスト補間データと、処理対象ブロックのデータとの相関を求めるものであれば良く、該相関を示す指標（相関値）は、差分絶対値和以外のものであっても良い。
【００７２】
また、動きベクトル決定部６では、テスト補間データＴＤＡ１〜ＴＤＣＭ相互間に異なる重みをつけることで、いずれかのテスト補間データに対応するベクトル候補が、求める動きベクトルであると判定される可能性を高めるようにしても良い。
例えば、相関値算出部５Ｂ−１〜５Ｃ−Ｍで求めた差分絶対値和にある係数β１を乗算したものを評価データＥＤＢ１〜ＥＤＣＭとして出力し、相関値算出部５Ａ−１〜５Ａ−Ｍで求めた差分絶対値和に対して上記の係数β１より小さい係数β２を乗算したものを評価データＥＤＡ１〜ＥＤＡＭとして出力し、動きベクトル決定部６で、これらの評価データＥＤＡ１〜ＥＤＣＭのうちの値が最小のものを見つけるようにしても良い。こうすれば、テスト補間データＴＤＡ１〜ＴＤＡＭに対応するブロック対が求める動きベクトルに対応するものと判断される可能性を高めることができる。言い換えれば、テスト補間データＴＤＡ１〜ＴＤＡＭに対応するブロック対に対応するベクトルを優先的に動きベクトルとして選択することができる。
【００７３】
逆に、相関値算出部５Ｂ−１〜５Ｃ−Ｍで求めた差分絶対値和にある係数β１を乗算したものを評価データＥＤＢ１〜ＥＤＣＭとして出力し、相関値算出部５Ａ−１〜５Ａ−Ｍで求めた差分絶対値和に対して上記の係数β１より大きい係数β２を乗算したものを評価データＥＤＡ１〜ＥＤＡＭとして出力し、動きベクトル決定部６で、これらの評価データＥＤＡ１〜ＥＤＣＭのうちの値が最小のものを見つけるようにしても良い。こうすれば、テスト補間データＴＤＢ１〜ＴＤＣＭに対応するブロックが、求める動きベクトルに対応するものと判断される可能性を高めることができる。言い換えれば、テスト補間データＴＤＢ１〜ＴＤＣＭに対応するブロックに対応するベクトルを優先的に動きベクトルとして選択することができる。
【００７４】
なお、このような重み付けに加えて、他の要因による重み付けを加えても良い。
例えば、第２の縮小遅延フレームＳＦ２及び現縮小フレームＳＦ０内のブロックのうち、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａの位置に近いブロック又はブロック対（対応するベクトルの絶対値が小さいブロック）について求められる差分絶対値和に対してより小さな係数を乗算することで、より近いブロック又はブロック対が、求める動きベクトルに対応するものと判断される可能性を高めることとしても良い。
要するに、評価データは、差分絶対値和、或いは他の相関値に基づいて定められるものであれば良い。
【００７５】
次に、図５〜図７を参照して、動きベクトル変換部１３及び補間フレーム生成部１４の動作についてより詳細に説明する。
【００７６】
動きベクトル変換部１３は、第２の遅延フレームＦ２から第１の遅延フレームＦ１への第１の動きベクトルＭＶ１及び現フレームＦ０から第１の遅延フレームＦ１への第２の動きベクトルＭＶ２を、第１の遅延フレームＦ１から補間フレームＩＦへの第３の動きベクトルＭＶ３と、現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換する。
【００７７】
図５〜図７に示すように入力フレームの時間間隔をｔ１、第１の遅延フレームＦ１から補間フレームＩＦへの時間間隔をｔ２とした時、下記の式（３Ａ）及び式（３Ｂ）により動きベクトルＭＶ３及びＭＶ４を算出する。たとえば、６０Ｈｚの入力画像信号から１２０Ｈｚの画像信号に変換する場合、ｔ１は１／６０秒、ｔ２は１／１２０秒となる。
【００７８】
ＭＶ３＝ＭＶ１×ｔ２／ｔ１ …（３Ａ）
ＭＶ４＝ＭＶ２×（ｔ１−ｔ２）／ｔ１ …（３Ｂ）
【００７９】
ただし、動きベクトルＭＶ１の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルＭＶ３の代わりに対応ブロックなしを示す信号を出力し、動きベクトルＭＶ２の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルＭＶ４の代わりに対応ブロックなしを示す信号を出力する。
【００８０】
このようにして第３及び第４の動きベクトルＭＶ３及びＭＶ４を求めたら、図５〜図７に示すように補間フレームＩＦからベクトル−ＭＶ３の位置の、縮小前の第１の遅延フレームＦ１のデータ（処理対象ブロックＦ１Ｂａに対応するブロックＦ１Ｂｂ内のデータ）と補間フレームＩＦからベクトル−ＭＶ４の位置の、縮小前の現フレームＦ０のデータ（ブロックＦ１Ｂｂと同じ大きさのブロックのデータ）の双方又は一方に基づいて補間フレームＩＦのデータ（ブロックＦ１Ｂｂと同じ大きさのブロックＩＦＢｂのデータ）を求める。
【００８１】
例えば、図５に示すように、第３及び第４の動きベクトルＭＶ３及びＭＶ４の双方とも、有効なデータである場合（「対応ブロックなし」ではない場合）には、上記の第１の遅延フレームＦ１内のデータ及び現フレームＦ０内のデータの平均を補間フレームＩＦのデータとして算出する。生成したデータから成る補間フレームＩＦのデータを第１の遅延フレームＦ１のデータと現フレームＦ０のデータ間に配置して出力する。
このとき、補間に用いられる第１の遅延フレームＦ１のブロックデータ（第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａに対応するブロックＦ１Ｂｂのデータ）と、現フレームＦ０のブロックデータ（現縮小フレームＳＦ０のブロックＦ０Ｂ１に対応するブロック）とは、補間フレームＩＦ内の補間により得られるデータの位置を中心として、互いに対称の位置にある。
【００８２】
図６又は図７に示すように、第３及び第４の動きベクトルＭＶ３及びＭＶ４の一方の代わりに「対応ブロックなし」の信号が出力されている場合には、他方の動きベクトル（第３及び第４の動きベクトルＭＶ３及びＭＶ４のうちの有効なベクトル）に対応する第１の遅延フレームＦ１内のデータ又は現フレームＦ０内のデータを、補間フレームＩＦのデータ（ブロックＦ１Ｂｂと同じ大きさのブロックＩＦＢｂのデータ）として出力する。図６は、第４の動きベクトルＭＶ４の代わりに「対応ブロックなし」の信号が出力されている場合を示し、図７は、第３の動きベクトルＭＶ３の代わりに「対応ブロックなし」の信号が出力されている場合を示す。このように一方のフレーム内のデータをそのまま補間フレームのデータとして出力する処理は「零次補間」と呼ばれる。
補間フレーム生成部１４は、このようにして得られたデータから成る補間フレームＩＦのデータを第１の遅延フレームＦ１のデータと現フレームＦ０のデータ間に配置して出力する。
【００８３】
図８は、動きベクトル検出部１２に入力される現フレームＦ０のデータ、第１の遅延フレームＦ１のデータ、第２のフレームＦ２のデータの対応関係を説明するための図である。図８に示すような映像を表す信号が入力された場合の本実施の形態１の動作を説明する。図８に示す映像においては、クロスハッチングで示す丸ＢＣが時間とともに画面の左上から右下へ移動しており、その背後にある英文字（移動なし）が隠れたり見えたりしている。
【００８４】
図９は図８に示す入力画像を縮小した画像データを示す図である。但し、図９でも画像は図８と同じ大きさに描いてある。図８の画像の要素（丸ＢＣ及びＡ〜Ｊを示す文字は、図９でもそのまま現れており、従って、英文字Ａ〜Ｊが丸ＢＣの陰に隠れたり、見えたりしている。
図１０〜図１６はテスト補間部４及び補間データ評価部５の動作を説明するための図である。図１７は動きベクトル拡大部７の動作を説明するための図である。
【００８５】
図９に示すような第２の縮小遅延フレームＳＦ２のデータ、第１の縮小遅延フレームＳＦ１のデータ、現縮小フレームＳＦ０のデータを入力とした場合の動きベクトル検出部１２の動作を説明する。なお、ここではＭ＝２を想定している。
【００８６】
テスト補間部４では、動きベクトルの候補ごとにテスト補間データを生成する。
例えば、図１０に示すように第１の縮小遅延フレームＳＦ１の一部の領域を第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａとし、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａから−Ｖ１ずらした位置の第２の縮小遅延フレームＳＦ２のブロックを第１のブロックＦ２Ｂ１とし、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１ＢａからＶ１ずらした位置の現縮小フレームＳＦ０のブロックをブロックＦ０Ｂ１とする。
また、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａから−Ｖ２ずらした位置の第２の縮小遅延フレームＳＦ２のブロックをブロックＦ２Ｂ２とし、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１ＢａからＶ２ずらした位置の現縮小フレームＳＦ０のブロックをブロックＦ０Ｂ２とする。
【００８７】
図１１に示すように、ブロックＦ２Ｂ１のデータとブロックＦ０Ｂ１のデータから得られる画素ごとの平均をテスト補間データＴＤＡ１として生成する。
同様に、図１２に示すようにブロックＦ２Ｂ２のデータとブロックＦ０Ｂ２のデータから画素ごとの平均をテスト補間データＴＤＡ２として生成する。
さらに、図１３及び図１４に示すように、ブロックＦ０Ｂ１、Ｆ０Ｂ２のデータをそれぞれテスト補間データＴＤＢ１、ＴＤＢ２として出力する。
同様に、図１５及び図１６に示すように、ブロックＦ２Ｂ１、Ｆ２Ｂ２のデータをそれぞれテスト補間データＴＤＣ１、ＴＤＣ２として出力する。
【００８８】
補間データ評価部５では、図１１〜図１６に示されるテスト補間データＴＤＡ１〜ＴＤ６の各々と処理対象ブロックＦ１Ｂａのデータとの差分絶対値和を算出し、評価データＥＤＡ１〜ＥＤ６を出力する。図９〜図１６の具体例では、第１の縮小遅延フレームＳＦ１上の文字「Ｆ」を表す領域が処理対象ブロックＦ１Ｂａとなっており、この文字「Ｆ」が、第２の縮小遅延フレームＳＦ２および第１の縮小遅延フレームＳＦ１では見えているが、現縮小フレームＦ０ではハッチングで示す丸ＢＣの陰に隠れており、従って、第２の縮小遅延フレームＳＦ２内の文字「Ｆ」を表す領域から成るブロックＦ２Ｂ１から得られたテスト補間データＴＤ５と、処理対象ブロックＦ１Ｂａとの差分絶対値和、即ち評価データＥＤ５が最小となる。
【００８９】
動きベクトル決定部６では、評価データＥＤＡ１〜ＥＤ６のうち一番小さい評価データＥＤ５に対応した縮小動きベクトルＳＭＶ１（＝Ｖ１）を出力し、縮小動きベクトルＳＭＶ２の代わりに対応ブロックなしを示す信号を出力する。
【００９０】
動きベクトル拡大部７では、縮小動きベクトルＳＭＶ１とＳＭＶ２に対して上記の式（２Ａ）及び式（２Ｂ）を用いて、第２の遅延フレームＦ２から第１の遅延フレームＦ１への動きベクトルＭＶ１と現フレームＦ０から第１の遅延フレームＦ１への動きベクトルＭＶ２を出力する（図１７）。
先にも述べたように、縮小動きベクトルの一方の代わりに対応ブロックなしを示す信号が出力されている場合には、当該縮小動きベクトルに対応する動きベクトル（ＭＶ１又はＭＶ２）に対しても、代わりに「対応ブロックなし」を示す信号が出力されるので、図９〜図１６の例では、動きベクトルＭＶ１（＝Ｖ１／α）が出力されるとともに、ＭＶ２の代わりに対応ブロックなしを示す信号が出力される。
【００９１】
第１の遅延フレームＦ１を縮小した第１の縮小遅延フレームＳＦ１についてもれなく（隙間なく）ブロックを設定し縮小動きベクトルを算出することで第１の縮小遅延フレームＳＦ１のすべての部分について第１及び第２の縮小動きベクトルＳＭＶ１及び／又はＳＭＶ２を、生成し、第１及び第２の縮小動きベクトルＳＭＶ１、ＳＭＶ２を拡大することで、第１及び第２の動きベクトルＭＶ１及び／又はＭＶ２を得て、上記第１の縮小遅延フレームＳＦ１内の上記の画素に対応する第１の遅延フレームＦ１内の画素に対応する位置、例えば同じ位置にある、補間フレームＩＦ内の画素について、第１及び第２の動きベクトルＭＶ１及びＭＶ２を用いた変換を行うことで、第３及び第４の動きベクトルＭＶ３及びＭＶ４を求めることとしても良い。
【００９２】
代わりに、第１の遅延フレームＦ１を縮小した第１の縮小遅延フレームＳＦ１内の各画素を中心とする所定の大きさのブロックについて、上記の処理を行うことで、当該画素についての第１の縮小動きベクトルＳＭＶ１及び第２の縮小動きベクトルＳＭＶ２を生成し、第１及び第２の縮小動きベクトルＳＭＶ１、ＳＭＶ２を拡大することで、第１及び第２の動きベクトルＭＶ１及び／又はＭＶ２を得て、上記第１の縮小遅延フレームＳＦ１内の上記の画素に対応する第１の遅延フレームＦ１内の画素に対応する位置、例えば同じ位置にある、補間フレームＩＦ内の画素について、第１及び第２の動きベクトルＭＶ１及びＭＶ２を用いた変換を行うことで、第３及び第４の動きベクトルＭＶ３及びＭＶ４を求めることとしても良い。
【００９３】
図１８（ａ）及び（ｂ）は、動きベクトル変換部１３の動作の具体例を説明するための図である。図１８（ａ）は動きベクトル変換部１３の入力、図１８（ｂ）は動きベクトル変換部１３の出力を示す。
【００９４】
動きベクトル変換部１３は、図１８（ａ）に示される、第２の遅延フレームＦ２から第１の遅延フレームＦ１への第１の動きベクトルＭＶ１と、現フレームＦ０から第１の遅延フレームＦ１への動きベクトルＭＶ２に対して上記の式（３Ａ）及び式（３Ｂ）を用いて、図１８（ｂ）に示される、第１の遅延フレームＦ１から補間フレームＩＦへの第３の動きベクトルＭＶ３と現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換する。図１８（ａ）及び（ｂ）に示す具体例では、ＭＶ１はＶ１／α、ＭＶ２の代わりに対応ブロックなしを示す信号が出力されており、ｔ１は１／６０秒、ｔ２はｔ１の１／２に等しく１／１２０秒であり、上記の式（３Ａ）及び式（３Ｂ）よりＭＶ３はＶ１／２α、ＭＶ４の代わりに対応ブロックなしを示す信号が出力される。
【００９５】
図１９は、補間フレーム生成部１４の動作の具体例を説明するための図である。図１９は、図８〜図１６と同様に、第１の遅延フレームＦ１上の文字「Ｆ」を表す領域が処理対象ブロックＦ１Ｂａに対応するブロック（非縮小ブロック）Ｆ１Ｂｂとなっており、この文字「Ｆ」が、第２の遅延フレームＦ２および第１の遅延フレームＦ１では見えているが、現フレームＦ０ではクロスハッチングで示す丸ＢＣの陰に隠れており、従って、第２の遅延フレームＦ２内の文字「Ｆ」を表す領域から成るブロックＦ２Ｂ１から得られたテスト補間データＴＤ５と、処理対象ブロックＦ１Ｂａとの差分絶対値和、即ち評価データＥＤ５が最小となる場合を示している。この場合、図１９に示すように補間フレームＩＦから−ＭＶ３動かした位置の第１の遅延フレームＦ１のデータを補間フレームＩＦのデータとして出力する。
このような処理を、補間フレームＩＦ内のすべてのブロックに対して行うことで生成した補間フレームＩＦを第１の遅延フレームＦ１と現フレームＦ０の間に内挿して出力する。
【００９６】
以上より、本実施の形態では、動きベクトルの評価を行うことにより動きベクトルが精度良く検出され、画像の乱れなく補間フレームを内挿することができる。さらに補間するフレーム前後で物体が隠れたり出現したりする場合でも、画像の乱れなく補間フレームを内挿することができる。
【００９７】
ここで現フレーム画像縮小部２１、第１の遅延フレーム画像縮小部２２、第２の遅延フレーム画像縮小部２３にて画像縮小処理をした場合と画像縮小処理をしない場合を比較する。画像縮小部２１、２２、２３による画像縮小処理をしない場合、動きベクトル検出部１２では入力画像データがそのまま処理され、画像縮小部２１、２２、２３による画像縮小処理をする場合、動きベクトル検出部１２には縮小画像データが処理される。この時、動きベクトルの探索に当たり、同じ大きさのベクトルの範囲を探索するとした場合、縮小画像を使用した方が広い範囲を探索することができ、従って、大きい動きを検出することができる。
また、縮小画像を用いる場合には、各ブロックに含まれる画素の数が、非縮小画像の各ブロックに含まれる画素の数よりも少なく、各ブロックについての差分絶対値和の計算において計算に用いられる画素の数が少ないので、演算量が減少して、応答性が向上するとともに、回路規模を小さくすることができる。
【００９８】
以上、本発明をハードウェアで実現する場合について説明したが、図１に示される構成の一部又は全部をソフトウエアにより実現することも可能である。その場合の処理を図２０及び図２１を参照して説明する。
【００９９】
図２０は、図１に示される構成のうち、フレームメモリ１１、動きベクトル検出部１２、動きベクトル変換部１３及び補間フレーム生成部１４による処理をソフトウェアで実現するための、コンピュータシステムで構成された画像処理装置を示す。図示の画像処理装置は、プロセッサ１０１と、プログラムメモリ１０２と、データメモリ１０３と、入力インターフェース１０４と、出力インターフェース１０５と、これらを接続するバス１０６を有する。
【０１００】
プロセッサ１０１は、プログラムメモリ１０２に記憶されたプログラムに従って動作し、入力インターフェース１０４を介して入力される画像に対する処理を行う。動作の過程で種々のデータをデータメモリ１０３に記憶させる。処理の結果生成される画像は、インターフェース１０５を介して図１に示す画像表示部１５に供給され、画像表示部１５による表示に用いられる。
以下、プロセッサ１０１により行なわれる処理を図２１を参照して説明する。
【０１０１】
図２１は、図２０の画像処理装置で実施される画像処理方法のフローを示す。
【０１０２】
まず、動きベクトル検出ステップＳＴ１では、画像データＦ０と、画像データＦ０に対して１フレーム遅延した画像データＦ１と、画像データＦ０に対して２フレーム分遅延した画像データＦ２を参照して第２の遅延フレームＦ２から第１の遅延フレームＦ１への第１の動きベクトルＭＶ１、及び現フレームＦ０から第１の遅延フレームＦ１への第２の動きベクトルＶ２を生成する。この動作は、図１の動きベクトル検出部１２と同等である。
【０１０３】
動きベクトル変換ステップＳＴ２では、第１及び第２の動きベクトルＭＶ１及びＭＶ２を、第１の遅延フレームＦ１から補間フレームＩＦ（現フレームＦ０と第１の遅延フレームＦ１の間に挿入される）への第３の動きベクトルＭＶ３と、現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換する。この動作は、図１の動きベクトル変換部１３と同等である。
【０１０４】
補間フレーム生成ステップＳＴ３では、第１の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第３の動きベクトルＭＶ３及び第４の動きベクトルＭＶ４から補間フレームＩＦのデータを生成する。補間フレームＩＦのすべてのブロックについて上記の処理が繰り返され、これにより生成された補間フレームＩＦのデータを現フレームＦ０のデータと第１の遅延フレームＦ１のデータの間に挿入した画像データＤＯを生成する。この動作は、図１の補間フレーム生成部１４と同等である。
【０１０５】
図２１は、本実施の形態に係る画像表示装置の一部をソフトウェアとして実現したものであり、その効果は、図１の場合と同様である。
【符号の説明】
【０１０６】
２ 画像縮小部、 ３ ブロック切り出し部、 ４ テスト補間部、 ５ 補間データ評価部、 ６ 動きベクトル決定部、 ７ 動きベクトル拡大部、 １０ 画像処理装置、 １１ フレームメモリ、 １２ 動きベクトル検出部、 １３ 動きベクトル変換部、 １４ 補間フレーム生成部、 １５ 画像表示部、 ２１ 現フレーム画像縮小部、 ２２ 第１の遅延フレーム画像縮小部、 ２３ 第２の遅延フレーム画像縮小部、 ３１ 現フレームブロック切り出し部、 ３２ 第２の遅延フレームブロック切り出し部、 ３３ 第１の遅延フレームブロック切り出し部。
【特許請求の範囲】
【請求項１】
画像の現フレームと前記現フレームの１フレーム前のフレームである第１の遅延フレームとの間に補間フレームを挿入する画像処理装置において、
前記第１の遅延フレームのデータ及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトルを算出し、
前記現フレームのデータ及び前記第１の遅延フレームのデータを参照して前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出部と、
前記第１の動きベクトルを前記第１の遅延フレームから前記補間フレームへの第３の動きベクトルに変換し、
前記第２の動きベクトルを前記現フレームから前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換部と、
前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを有し、
前記動きベクトル検出部は、
前記現フレームを縮小して現縮小フレームを出力し、前記第１の遅延フレームを縮小して第１の縮小遅延フレームを出力し、前記第２の遅延フレームを縮小して第２の縮小遅延フレームを出力する画像縮小部と、
前記補間フレームの補間対象ブロックに対応する、前記第１の縮小遅延フレーム内のブロックを処理対象ブロックとして設定し、
前記第２の縮小遅延フレームの一部をなすブロックのデータ及び前記現縮小フレームの一部をなすブロックのデータの画素ごとの平均値で構成される第１群のテスト補間データと、
前記現フレームの一部をなすブロックのデータで構成される第２群のテスト補間データと、
前記第２の縮小遅延フレームのブロックデータ構成される第３群のテスト補間データと
を含む複数のテスト補間データを出力するテスト補間部と、
前記第１乃至第３群のテスト補間データのうち、前記処理対象ブロックのデータに対する前記各テスト補間データの相関の強さを評価し、該評価の結果を示す複数の評価データを出力する補間データ評価部と、
前記複数の評価データのうち最も相関の強いことを示す前記評価データを生じさせた前記テスト補間データに対応する動きベクトルを第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方として出力する動きベクトル決定部と、
前記第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方を拡大して前記第１及び第２の動きベクトルの少なくとも一方として出力する動きベクトル拡大部とを有し、
前記第１群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックのデータ及び複数の前記現縮小フレームのブロックから得られ、
前記第２群のテスト補間データは、複数の前記現縮小フレームのブロックから得られ、
前記第３群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックから得られる
ことを特徴とする画像処理装置。
【請求項２】
前記テスト補間部は、
各々前記第１の縮小遅延フレーム内の複数の画素から成る複数のブロックを順次処理対象ブロックとして選択し、該処理対象ブロックを中心として、
互いに点対称の位置にある、前記第２の縮小遅延フレーム内のブロックと、前記現縮小フレーム内のブロックとを抽出し、抽出した前記第２の縮小遅延フレームのブロックのデータと抽出した前記現縮小遅延フレームのブロックのデータの画素毎の平均値を、前記第１群のテスト補間データとして求め、
前記抽出した前記現縮小フレーム内の前記ブロックのデータを前記第２群のテスト補間データとして出力し、
前記抽出した前記第２の縮小遅延フレーム内の前記ブロックのデータを前記第３群のテスト補間データとして出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記テスト補間部は、複数個のテスト補間データ生成部を有し、
該複数個のテスト補間データ生成部は、それぞれ、前記現縮小フレーム内の互いに異なる位置ブロックのデータと前記第２の縮小遅延フレーム内の互いに異なる位置のブロックのデータを画素ごとに平均することで得られるデータを前記第１群のテスト補間データとして算出する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補間データ評価部は、
前記テスト補間部から出力される前記複数のテスト補間データの各々と、
前記処理対象ブロックのデータとの間の相関を示す相関値を算出し、
該複数のテスト補間データについてそれぞれ求められる複数の相関値に基づいて前記複数の評価データを生成する
ことを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記補間データ評価部は、
前記テスト補間部から出力される前記複数のテスト補間データと
前記処理対象ブロックのデータとの間の差分の絶対値の総和である差分絶対値和を前記相関値として算出する
ことを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。
【請求項６】
前記補間データ評価部は、
前記処理対象ブロックのデータと、前記複数のテスト補間データとの差分絶対値和を算出する複数個の相関値算出部を有する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
請求項１から６までのいずれか１項に記載の画像処理装置と、
前記補間フレーム生成部から出力された画像データに基づく画像を表示する画像表示部と
を有することを特徴とする画像表示装置。
【請求項８】
画像の現フレームと前記現フレームの１フレーム前のフレームである第１の遅延フレームとの間に補間フレームを挿入する画像処理方法において、
前記第１の遅延フレームのデータ及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトルを算出し、
前記現フレームのデータ及び前記第１の遅延フレームのデータを参照して前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出ステップと、
前記第１の動きベクトルを前記第１の遅延フレームから前記補間フレームへの第３の動きベクトルに変換し、
前記第２の動きベクトルを前記現フレームから前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換ステップと、
前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成ステップとを有し、
前記動きベクトル検出ステップは、
前記現フレームを縮小して現縮小フレームを出力し、前記第１の遅延フレームを縮小して第１の縮小遅延フレームを出力し、前記第２の遅延フレームを縮小して第２の縮小遅延フレームを出力する画像縮小ステップと、
前記補間フレームの補間対象ブロックに対応する、前記第１の縮小遅延フレーム内のブロックを処理対象ブロックとして設定し、
前記第２の縮小遅延フレームの一部をなすブロックのデータ及び前記現縮小フレームの一部をなすブロックのデータの画素ごとの平均値で構成される第１群のテスト補間データと、
前記現フレームの一部をなすブロックのデータで構成される第２群のテスト補間データと、
前記第２の縮小遅延フレームのブロックデータで構成される第３群のテスト補間データと
を含む複数のテスト補間データを出力するテスト補間ステップと、
前記第１乃至第３群のテスト補間データのうち、前記処理対象ブロックのデータに対する前記各テスト補間データの相関の強さを評価し、該評価の結果を示す複数の評価データを出力する補間データ評価ステップと、
前記複数の評価データのうち最も相関の強いことを示す前記評価データを生じさせた前記テスト補間データに対応する動きベクトルを第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方として出力する動きベクトル決定ステップと、
前記第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方を拡大して前記第１及び第２の動きベクトルの少なくとも一方として出力する動きベクトル拡大ステップとを有し、
前記第１群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックのデータ及び複数の前記現縮小フレームのブロックから得られ、
前記第２群のテスト補間データは、複数の前記現縮小フレームのブロックから得られ、
前記第３群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックから得られる
ことを特徴とする画像処理方法。
【請求項９】
前記テスト補間ステップは、
各々前記第１の縮小遅延フレーム内の複数の画素から成る複数のブロックを順次処理対象ブロックとして選択し、該処理対象ブロックを中心として、
互いに点対称の位置にある、前記第２の縮小遅延フレーム内のブロックと、前記現縮小フレーム内のブロックとを抽出し、抽出した前記第２の縮小遅延フレームのブロックのデータと抽出した前記現縮小遅延フレームのブロックのデータの画素毎の平均値を、前記第１群のテスト補間データとして求め、
前記抽出した前記現縮小フレーム内の前記ブロックのデータを前記第２群のテスト補間データとして出力し、
前記抽出した前記第２の縮小遅延フレーム内の前記ブロックのデータを前記第３群のテスト補間データとして出力する
ことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記テスト補間ステップは、複数個のテスト補間データ生成ステップを有し、
該複数個のテスト補間データ生成ステップは、それぞれ、前記現縮小フレーム内の互いに異なる位置ブロックのデータと前記第２の縮小遅延フレーム内の互いに異なる位置のブロックのデータを画素ごとに平均することで得られるデータを前記第１群のテスト補間データとして算出する
ことを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記補間データ評価ステップは、
前記テスト補間ステップから出力される前記複数のテスト補間データの各々と、
前記処理対象ブロックのデータとの間の相関を示す相関値を算出し、
該複数のテスト補間データについてそれぞれ求められる複数の相関値に基づいて前記複数の評価データを生成する
ことを特徴とする請求項８から１０までのいずれか１項に記載の画像処理方法。
【請求項１２】
前記補間データ評価ステップは、
前記テスト補間ステップから出力される前記複数のテスト補間データと
前記処理対象ブロックのデータとの間の差分の絶対値の総和である差分絶対値和を前記相関値として算出する
ことを特徴とする請求項８から１１までのいずれか１項に記載の画像処理方法。
【請求項１３】
前記補間データ評価ステップは、
前記処理対象ブロックのデータと、前記複数のテスト補間データとの差分絶対値和を算出する複数個の相関値算出ステップを有する
ことを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
請求項８から１３までのいずれか１項に記載の画像処理方法と、
前記補間フレーム生成ステップから出力された画像データに基づく画像を表示する画像表示ステップと
を有することを特徴とする画像表示方法。
【請求項１】
画像の現フレームと前記現フレームの１フレーム前のフレームである第１の遅延フレームとの間に補間フレームを挿入する画像処理装置において、
前記第１の遅延フレームのデータ及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトルを算出し、
前記現フレームのデータ及び前記第１の遅延フレームのデータを参照して前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出部と、
前記第１の動きベクトルを前記第１の遅延フレームから前記補間フレームへの第３の動きベクトルに変換し、
前記第２の動きベクトルを前記現フレームから前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換部と、
前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを有し、
前記動きベクトル検出部は、
前記現フレームを縮小して現縮小フレームを出力し、前記第１の遅延フレームを縮小して第１の縮小遅延フレームを出力し、前記第２の遅延フレームを縮小して第２の縮小遅延フレームを出力する画像縮小部と、
前記補間フレームの補間対象ブロックに対応する、前記第１の縮小遅延フレーム内のブロックを処理対象ブロックとして設定し、
前記第２の縮小遅延フレームの一部をなすブロックのデータ及び前記現縮小フレームの一部をなすブロックのデータの画素ごとの平均値で構成される第１群のテスト補間データと、
前記現フレームの一部をなすブロックのデータで構成される第２群のテスト補間データと、
前記第２の縮小遅延フレームのブロックデータ構成される第３群のテスト補間データと
を含む複数のテスト補間データを出力するテスト補間部と、
前記第１乃至第３群のテスト補間データのうち、前記処理対象ブロックのデータに対する前記各テスト補間データの相関の強さを評価し、該評価の結果を示す複数の評価データを出力する補間データ評価部と、
前記複数の評価データのうち最も相関の強いことを示す前記評価データを生じさせた前記テスト補間データに対応する動きベクトルを第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方として出力する動きベクトル決定部と、
前記第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方を拡大して前記第１及び第２の動きベクトルの少なくとも一方として出力する動きベクトル拡大部とを有し、
前記第１群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックのデータ及び複数の前記現縮小フレームのブロックから得られ、
前記第２群のテスト補間データは、複数の前記現縮小フレームのブロックから得られ、
前記第３群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックから得られる
ことを特徴とする画像処理装置。
【請求項２】
前記テスト補間部は、
各々前記第１の縮小遅延フレーム内の複数の画素から成る複数のブロックを順次処理対象ブロックとして選択し、該処理対象ブロックを中心として、
互いに点対称の位置にある、前記第２の縮小遅延フレーム内のブロックと、前記現縮小フレーム内のブロックとを抽出し、抽出した前記第２の縮小遅延フレームのブロックのデータと抽出した前記現縮小遅延フレームのブロックのデータの画素毎の平均値を、前記第１群のテスト補間データとして求め、
前記抽出した前記現縮小フレーム内の前記ブロックのデータを前記第２群のテスト補間データとして出力し、
前記抽出した前記第２の縮小遅延フレーム内の前記ブロックのデータを前記第３群のテスト補間データとして出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記テスト補間部は、複数個のテスト補間データ生成部を有し、
該複数個のテスト補間データ生成部は、それぞれ、前記現縮小フレーム内の互いに異なる位置ブロックのデータと前記第２の縮小遅延フレーム内の互いに異なる位置のブロックのデータを画素ごとに平均することで得られるデータを前記第１群のテスト補間データとして算出する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補間データ評価部は、
前記テスト補間部から出力される前記複数のテスト補間データの各々と、
前記処理対象ブロックのデータとの間の相関を示す相関値を算出し、
該複数のテスト補間データについてそれぞれ求められる複数の相関値に基づいて前記複数の評価データを生成する
ことを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記補間データ評価部は、
前記テスト補間部から出力される前記複数のテスト補間データと
前記処理対象ブロックのデータとの間の差分の絶対値の総和である差分絶対値和を前記相関値として算出する
ことを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。
【請求項６】
前記補間データ評価部は、
前記処理対象ブロックのデータと、前記複数のテスト補間データとの差分絶対値和を算出する複数個の相関値算出部を有する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
請求項１から６までのいずれか１項に記載の画像処理装置と、
前記補間フレーム生成部から出力された画像データに基づく画像を表示する画像表示部と
を有することを特徴とする画像表示装置。
【請求項８】
画像の現フレームと前記現フレームの１フレーム前のフレームである第１の遅延フレームとの間に補間フレームを挿入する画像処理方法において、
前記第１の遅延フレームのデータ及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトルを算出し、
前記現フレームのデータ及び前記第１の遅延フレームのデータを参照して前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出ステップと、
前記第１の動きベクトルを前記第１の遅延フレームから前記補間フレームへの第３の動きベクトルに変換し、
前記第２の動きベクトルを前記現フレームから前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換ステップと、
前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成ステップとを有し、
前記動きベクトル検出ステップは、
前記現フレームを縮小して現縮小フレームを出力し、前記第１の遅延フレームを縮小して第１の縮小遅延フレームを出力し、前記第２の遅延フレームを縮小して第２の縮小遅延フレームを出力する画像縮小ステップと、
前記補間フレームの補間対象ブロックに対応する、前記第１の縮小遅延フレーム内のブロックを処理対象ブロックとして設定し、
前記第２の縮小遅延フレームの一部をなすブロックのデータ及び前記現縮小フレームの一部をなすブロックのデータの画素ごとの平均値で構成される第１群のテスト補間データと、
前記現フレームの一部をなすブロックのデータで構成される第２群のテスト補間データと、
前記第２の縮小遅延フレームのブロックデータで構成される第３群のテスト補間データと
を含む複数のテスト補間データを出力するテスト補間ステップと、
前記第１乃至第３群のテスト補間データのうち、前記処理対象ブロックのデータに対する前記各テスト補間データの相関の強さを評価し、該評価の結果を示す複数の評価データを出力する補間データ評価ステップと、
前記複数の評価データのうち最も相関の強いことを示す前記評価データを生じさせた前記テスト補間データに対応する動きベクトルを第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方として出力する動きベクトル決定ステップと、
前記第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方を拡大して前記第１及び第２の動きベクトルの少なくとも一方として出力する動きベクトル拡大ステップとを有し、
前記第１群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックのデータ及び複数の前記現縮小フレームのブロックから得られ、
前記第２群のテスト補間データは、複数の前記現縮小フレームのブロックから得られ、
前記第３群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックから得られる
ことを特徴とする画像処理方法。
【請求項９】
前記テスト補間ステップは、
各々前記第１の縮小遅延フレーム内の複数の画素から成る複数のブロックを順次処理対象ブロックとして選択し、該処理対象ブロックを中心として、
互いに点対称の位置にある、前記第２の縮小遅延フレーム内のブロックと、前記現縮小フレーム内のブロックとを抽出し、抽出した前記第２の縮小遅延フレームのブロックのデータと抽出した前記現縮小遅延フレームのブロックのデータの画素毎の平均値を、前記第１群のテスト補間データとして求め、
前記抽出した前記現縮小フレーム内の前記ブロックのデータを前記第２群のテスト補間データとして出力し、
前記抽出した前記第２の縮小遅延フレーム内の前記ブロックのデータを前記第３群のテスト補間データとして出力する
ことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記テスト補間ステップは、複数個のテスト補間データ生成ステップを有し、
該複数個のテスト補間データ生成ステップは、それぞれ、前記現縮小フレーム内の互いに異なる位置ブロックのデータと前記第２の縮小遅延フレーム内の互いに異なる位置のブロックのデータを画素ごとに平均することで得られるデータを前記第１群のテスト補間データとして算出する
ことを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記補間データ評価ステップは、
前記テスト補間ステップから出力される前記複数のテスト補間データの各々と、
前記処理対象ブロックのデータとの間の相関を示す相関値を算出し、
該複数のテスト補間データについてそれぞれ求められる複数の相関値に基づいて前記複数の評価データを生成する
ことを特徴とする請求項８から１０までのいずれか１項に記載の画像処理方法。
【請求項１２】
前記補間データ評価ステップは、
前記テスト補間ステップから出力される前記複数のテスト補間データと
前記処理対象ブロックのデータとの間の差分の絶対値の総和である差分絶対値和を前記相関値として算出する
ことを特徴とする請求項８から１１までのいずれか１項に記載の画像処理方法。
【請求項１３】
前記補間データ評価ステップは、
前記処理対象ブロックのデータと、前記複数のテスト補間データとの差分絶対値和を算出する複数個の相関値算出ステップを有する
ことを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
請求項８から１３までのいずれか１項に記載の画像処理方法と、
前記補間フレーム生成ステップから出力された画像データに基づく画像を表示する画像表示ステップと
を有することを特徴とする画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−９８９６１（Ｐ２０１３−９８９６１Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４３１９８（Ｐ２０１１−２４３１９８）
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]