補間フレーム作成方法及び補間フレーム作成装置
【課題】 ブロック内のより小さい部分に関し動きベクトル補間をする技術を提供する。
【解決手段】 入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する工程とから成り、前記ブロックマッチング処理は、補間フレーム内の補間ブロックについて、前記動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を、前記補間ブロックを作成する際に用いる動きベクトルとして採用する第１採用工程と、前記動きベクトル候補が複数検出された場合には、検出された複数の動きベクトル候補の中で、既定の信頼度のある動きベクトルを、前記補間ブロックの部分を作成する際に用いる動きベクトルとして採用する第２採用工程とを含むことを特徴とする補間フレーム作成方法。
【解決手段】 入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する工程とから成り、前記ブロックマッチング処理は、補間フレーム内の補間ブロックについて、前記動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を、前記補間ブロックを作成する際に用いる動きベクトルとして採用する第１採用工程と、前記動きベクトル候補が複数検出された場合には、検出された複数の動きベクトル候補の中で、既定の信頼度のある動きベクトルを、前記補間ブロックの部分を作成する際に用いる動きベクトルとして採用する第２採用工程とを含むことを特徴とする補間フレーム作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像を構成するフレーム画像の間に補間フレームを作成及び挿入し、物体の動きを滑らかで自然な動きとして表示する技術に関する。
【背景技術】
【０００２】
液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。
【０００３】
ＬＣＤに表示されたこのような映像を視聴する場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。
【０００４】
動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている（特許文献１）。この方法では、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチングを行うことにより、各ブロックの動きベクトル（物体の動いた方向及び距離）が検出される。各ブロックの動きベクトルを用いて、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームを２枚の入力フレーム間に挿入することにより、フレーム数を増加して動画像を表示する。
【０００５】
上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックとで、互いに対応する画素間の差分を計算し、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中画像ブロックが、前フレーム中画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。
【０００６】
ところでＳＡＤを用いたブロックマッチングに基づいて物体の動きを推定する時、正確な動きベクトルを推定できないことがある。例えば下記特許文献２では、注目画像が周期的パターンであると判断した場合には、当該画像ブロックの動きベクトルを周辺の画像ブロックの動きベクトルで補正する技術が開示されている。
【０００７】
即ちフレーム補間装置において、この先行技術ではブロックマッチングによる動きベクトル検出後の画素単位の動きベクトル検定において不一致となった画素の別ベクトル候補として当該ブロックの上下左右ブロックなどの周辺ブロックの動きベクトルを使用している。
【０００８】
しかし正確な動きベクトルを推定できない他の例として、探索マクロブロック内で小さな物体の動き（占有面積のほとんどを背景が占めている場合など）があるとき、この物体の動きベクトル成分が、周辺ブロックでは摘出できず、結果小さな物体の動きを正確に動きベクトル補間することが出来ないという問題があった。
【特許文献１】特開２００５−６２７５号公報
【特許文献２】特開２００５−５６４１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ブロック内のより小さい部分に関し動きベクトル補間をする技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の１実施形態では、入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成方法であって、前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する工程とから成り、前記ブロックマッチング処理は、補間フレーム内の補間ブロックについて、前記動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を、前記補間ブロックを作成する際に用いる動きベクトルとして採用する第１採用工程と、前記動きベクトル候補が複数検出された場合には、検出された複数の動きベクトル候補の中で、既定の信頼度のある動きベクトルを、前記補間ブロックの部分を作成する際に用いる動きベクトルとして採用する第２採用工程とを含むことを特徴とする。
【発明の効果】
【００１１】
補間フレームを作成するための動きベクトルの検出において、ブロック内のより小さい部分に関し動きベクトル補間をすることが出来る。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明による補間フレーム作成装置（フレーム数変換装置）の一実施形態を示すブロック構成図である。
補間フレーム作成装置１０は、フレームメモリ部１１、動きベクトル検出部１２、補間画像作成部１３を含む。動きベクトル検出部１２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。入力画像信号のフレームレートは例えば６０フレーム／秒である。
【００１３】
補間画像作成部１３は、動きベクトル検出部１２の検出結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば１２０フレーム／秒である。動きベクトル検出部１２及び補間画像作成部１３は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示せず）にて実行されるソフトウエアとして構成できる。
【００１４】
図２はブロックマッチング処理の一例を説明するための図である。前フレーム２０と後フレーム２２は、連続して入力されるフレームである。
ブロックマッチングを用いた動きベクトルの検出方法としては、前フレーム内画像ブロックを後フレーム内で単にシフトしてＳＡＤを求める方法の他に、図２のように、点対象の位置にある画像ブロックどうしのブロックマッチング処理を介して動きベクトルを求める方法（シンメトリックサーチ）がある。
【００１５】
すなわち図２の方法では、補間フレーム２１内の補間画像ブロック４１の挿入位置を中心として、それを挟む前フレーム２０上及び後フレーム２２上で点対象の位置にある画像ブロックどうしを画素毎に比較してＳＡＤを算出する。最も類似している（ＳＡＤが最も小さい）画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。この比較は、前フレーム２０中の所定探索範囲４０及び後フレーム２２内の対応する探索範囲４２において行われる。すなわち画像ブロックどうしが類似しているか否かを、注目画像ブロック探索範囲４０内と各画像ブロック探索範囲４２内で、互いに同一位置にある画素の画素値間の差分絶対値を、当該画像ブロック内の全画素について求め、その総和ＳＡＤ(Sum of Absolute Difference)に基づいて判断される。
【００１６】
互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック４３と画像ブロック４４であった場合、画像ブロック４３から画像ブロック４４までのベクトルが、補間画像ブロック４１の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック４３及び４４の画像データに基づいて、補間フレーム２１内の補間画像ブロック４１が作成される。尚、この動きベクトル（大きさと方向を含む）は、図２では説明の都合上３次元のように示されているが、実際の処理においては、フレーム上の２次元で示されるベクトルである。
【００１７】
次に、画像ブロックのサイズ及び動きベクトルの探索範囲について説明する。
図３はマクロブロックのサイズ及びその探索範囲の具体例を示す。これらブロック及び探索範囲は、図２に示したブロックマッチング処理に適用することができる。ここでは、説明を簡単にするため、主に水平方向のブロックマッチング処理について述べる。
【００１８】
図３において、ＭＢはマクロブロック、ＭＳＲはマクロブロックＭＢの探索範囲である。マクロブロックＭＢのサイズは、図３の内側実線に示すように例えば６４画素×４画素である。このマクロブロックＭＢを前フレーム２０上では水平方向に−１６画素〜＋１６画素、垂直方向に−２画素〜＋２画素シフトする。同時にこのマクロブロックＭＢを後フレーム２２上で水平方向に＋１６画素〜−１６画素、垂直方向に＋２画素〜−２画素シフトする。
【００１９】
つまり、補間フレーム２１上に挿入される補間画像ブロック４１（ここではマクロブロックＭＢに一致するサイズのブロック）を点対象の中心として、前フレーム２０上でマクロブロックＭＢを例えば＋１２画素シフトした場合は、後フレーム２２上でマクロブロックＭＢを−１２画素シフトする。両フレーム２０、２２で対応する画像ブロックどうしを、対応する画素単位で画素値を比較してＳＡＤを算出する。従ってマクロブロックＭＢを用いたブロックマッチングの場合、前フレーム２０上及び後フレーム２２上の探索範囲ＭＳＲは、ここでは共に９６画素×８画素である。
【００２０】
以下、動きベクトル検出部１２によるブロックマッチング処理動作を説明する。
図４はブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係（ＳＡＤ特性）を示すグラフである。このブロックマッチング処理は動きベクトル検出部１２により行われる。説明を簡単にするため、水平方向物体移動のブロックマッチング処理のみについて述べる。
【００２１】
この場合、物体を含む前フレーム内の注目画像ブロック４３を、後フレーム２２における探索範囲内の中心画像ブロック４４の位置から、１画素単位でシフトすると、図４のように１０画素分シフトしたところでＳＡＤは極小（ここでは最小）となる。この極小点ＰＳ０のシフト量Ｓ０及びその方向に基づいて、動きベクトルが検出される。従って、ここでは注目画像ブロック４１の動きベクトルは、水平方向１０画素と検出される。この結果、例えば注目画像ブロック４３を補間フレーム内で、対応する同一位置から、水平方向に５画素シフトした画像ブロックが、補間フレーム内画像ブロックとして作成される。尚、シフト量Ｓ０及びその方向は、画像ブロック４１の探索範囲内位置を示す。
【００２２】
ブロックマッチングによる動きベクトル検出を精度良く行うための最適なブロックサイズは、入力されるフレームの解像度やフレーム内に含まれる物体の動き方によって変わってくる。動いている物体のブロックマッチングを行うために、画像ブロックサイズは、物体の形状を識別できる例えば水平方向画素の画素値変化を画像ブロックが含む程度に大きくする必要がある。しかし、ブロックサイズを大きくしすぎると、そのブロック内に複数の動く物体が含まれる可能性が大きくなるという問題が発生する。１画像ブロック内に複数の動く物体が含まれていると、動きベクトルを特定することが困難となる。そこで、ブロックサイズはある程度の大きさに制限せざるを得ない。
【００２３】
図５は、本発明が解決しようとしている、マクロブロック内の動きの一例である。マクロブロック内では殆どの面積を背景が占めている状態で、左右にある丸い物体およびひし形の物体の占有面積は小さい。マクロブロック内では、背景、丸い物体、ひし形の物体それぞれが別々の動きをしている状況である。丸い物体、ひし形の物体に対応するような動きベクトルは背景の動きベクトルとは異なる。
【００２４】
図６は図５に示すような小物体がマクロブロック内にある場合のＳＡＤ分布例である。この場合、図５で最も占有面積の大きい背景の動きが最小値として探索範囲＋８画素辺りに検出される。丸やひし形の小さな動き成分は、極小値としてそれぞれ＋3画素、＋１２画素辺りに検出される。それぞれ背景の動き＋８に対し−５、＋４の動きである。この極小値となる動きベクトルを不一致画素の候補ベクトルとして使用する。例えば当該不一致箇所でこの極小値候補ベクトルによるフレーム間画素差分が既定の値より小さい場合は、当該画素の動きベクトルとして信頼度のあるものとして出力される。信頼度のあるものを判定する方法としては、極小点の極小値群から、さらに探索領域全体での最小値ＳＡＤｍｉｎを求め、この最小値ＳＡＤｍｉｎから所定の範囲ＴＨに存在するＳＡＤ極小値が示す動きベクトル、すなわち「│最小値−極小値│＜ＴＨ 」を満足する極小値を、信頼し得る動きベクトルの候補として選択するようにしても良い。尚、信頼し得る動きベクトルの候補が１つのみであった場合、ベクトル決定部１２は、当該ＳＡＤ極小点の情報を動きベクトルとして、補間画像作成部１３に供給する。
【００２５】
ブロックマッチングの際の極小値となるベクトル候補を後段の画素検定において不一致画素のベクトル候補として用いることにより、探索範囲内の小さな物体の動き（周辺でもその動きベクトルが反映されない場合）を捉えることが出来る可能性がある。
【００２６】
図７は、本実施例における動き検出および画素検定フローである。まず現在フレーム、過去フレーム間においてブロックマッチング（シンメトリックサーチ）を行う（ＳＴ０１）。両フレーム間の画素差分総和（ＳＡＤ）を求め（ＳＴ０２）、ＳＡＤ分布で最小値となったポイントを当該ブロックの動きベクトルとして後段の画素単位検定に送り、かつＳＡＤの極小値となったポイントも小ブロックの動きベクトルとして後段の画素単位検定に送る（ＳＴ０３）。ここまではブロックの動きベクトルとなっている。
【００２７】
画素単位検定部では、ブロックの動きベクトルを画素単位に検定し、画素レベルで動きベクトルの一致、不一致を検定する。不一致となった場合は、当該ブロックの周辺（上下左右など）ブロックの動きベクトルを次の候補として検定を行い（ＳＴ０４）、フレーム間で最も差分が少なくなったベクトル候補を最終の画素単位動きベクトルとして出力する（ＳＴ０５）。
【００２８】
最小値は、当該ブロックの動きベクトルとなるが、極小値は当該ブロック内に含まれる小さな物体の動きを反映している場合がある。この極小値となる動きベクトルを後段の画素検定部の不一致画素部のベクトル候補として使用する（ＳＴ０６）。この操作により、ブロック内の小さな物体の動きを画素単位で検出する可能性が高くなる。
【００２９】
ＳＡＤの値は特定パターンの含まれていない一般的な自然画像では、図４のように、あるベクトルの方向（シフト量）においてただ一つの極小点(=最小点)を持つ。しかし、あるパターンが画像に含まれる場合には、ＳＡＤの値が探索範囲内で複数のベクトル方向で極小点を持つという特徴がある。
【００３０】
マクロブロックの動きベクトルで補間画像を作成し、これら複数の動きベクトルによりそれらの対応箇所の補間画像を重ね書きする処理を補間画像作成部１３は行う。
【００３１】
このようにして本実施形態では、フレームに含まれる細かい物体の動きベクトルの検出精度を向上することが可能となる。
本実施例は、動きベクトルを求める際にＳＡＤの極小値を求め、その極小点となる動きベクトルも不一致画素の動きベクトルの候補として摘出するというものである。その効果として、探索マクロブロック内の小さな物体の動きベクトルを求めることができる。
【００３２】
以上の説明はこの発明の実施の形態であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができるものである。
【図面の簡単な説明】
【００３３】
【図１】本発明による補間フレーム作成装置の一実施形態を示すブロック構成図である。
【図２】ブロックマッチング処理の一例を説明するための図である。
【図３】マクロブロックのサイズ及びその探索範囲の具体例を示す図である。
【図４】ブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係を示すグラフである。
【図５】本実施例が解決しようとする小物体の動きを示す図である。
【図６】小物体がある場合のＳＡＤ分布を示す図である。
【図７】本実施例による動きベクトル検出および検定フローを示す図である。
【符号の説明】
【００３４】
１０…補間フレーム作成装置、１１…フレームメモリ、１２…動きベクトル検出部、１３…補間画像作成部。
【技術分野】
【０００１】
本発明は動画像を構成するフレーム画像の間に補間フレームを作成及び挿入し、物体の動きを滑らかで自然な動きとして表示する技術に関する。
【背景技術】
【０００２】
液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。
【０００３】
ＬＣＤに表示されたこのような映像を視聴する場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。
【０００４】
動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている（特許文献１）。この方法では、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチングを行うことにより、各ブロックの動きベクトル（物体の動いた方向及び距離）が検出される。各ブロックの動きベクトルを用いて、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームを２枚の入力フレーム間に挿入することにより、フレーム数を増加して動画像を表示する。
【０００５】
上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックとで、互いに対応する画素間の差分を計算し、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中画像ブロックが、前フレーム中画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。
【０００６】
ところでＳＡＤを用いたブロックマッチングに基づいて物体の動きを推定する時、正確な動きベクトルを推定できないことがある。例えば下記特許文献２では、注目画像が周期的パターンであると判断した場合には、当該画像ブロックの動きベクトルを周辺の画像ブロックの動きベクトルで補正する技術が開示されている。
【０００７】
即ちフレーム補間装置において、この先行技術ではブロックマッチングによる動きベクトル検出後の画素単位の動きベクトル検定において不一致となった画素の別ベクトル候補として当該ブロックの上下左右ブロックなどの周辺ブロックの動きベクトルを使用している。
【０００８】
しかし正確な動きベクトルを推定できない他の例として、探索マクロブロック内で小さな物体の動き（占有面積のほとんどを背景が占めている場合など）があるとき、この物体の動きベクトル成分が、周辺ブロックでは摘出できず、結果小さな物体の動きを正確に動きベクトル補間することが出来ないという問題があった。
【特許文献１】特開２００５−６２７５号公報
【特許文献２】特開２００５−５６４１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ブロック内のより小さい部分に関し動きベクトル補間をする技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の１実施形態では、入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成方法であって、前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する工程とから成り、前記ブロックマッチング処理は、補間フレーム内の補間ブロックについて、前記動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を、前記補間ブロックを作成する際に用いる動きベクトルとして採用する第１採用工程と、前記動きベクトル候補が複数検出された場合には、検出された複数の動きベクトル候補の中で、既定の信頼度のある動きベクトルを、前記補間ブロックの部分を作成する際に用いる動きベクトルとして採用する第２採用工程とを含むことを特徴とする。
【発明の効果】
【００１１】
補間フレームを作成するための動きベクトルの検出において、ブロック内のより小さい部分に関し動きベクトル補間をすることが出来る。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明による補間フレーム作成装置（フレーム数変換装置）の一実施形態を示すブロック構成図である。
補間フレーム作成装置１０は、フレームメモリ部１１、動きベクトル検出部１２、補間画像作成部１３を含む。動きベクトル検出部１２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。入力画像信号のフレームレートは例えば６０フレーム／秒である。
【００１３】
補間画像作成部１３は、動きベクトル検出部１２の検出結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば１２０フレーム／秒である。動きベクトル検出部１２及び補間画像作成部１３は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示せず）にて実行されるソフトウエアとして構成できる。
【００１４】
図２はブロックマッチング処理の一例を説明するための図である。前フレーム２０と後フレーム２２は、連続して入力されるフレームである。
ブロックマッチングを用いた動きベクトルの検出方法としては、前フレーム内画像ブロックを後フレーム内で単にシフトしてＳＡＤを求める方法の他に、図２のように、点対象の位置にある画像ブロックどうしのブロックマッチング処理を介して動きベクトルを求める方法（シンメトリックサーチ）がある。
【００１５】
すなわち図２の方法では、補間フレーム２１内の補間画像ブロック４１の挿入位置を中心として、それを挟む前フレーム２０上及び後フレーム２２上で点対象の位置にある画像ブロックどうしを画素毎に比較してＳＡＤを算出する。最も類似している（ＳＡＤが最も小さい）画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。この比較は、前フレーム２０中の所定探索範囲４０及び後フレーム２２内の対応する探索範囲４２において行われる。すなわち画像ブロックどうしが類似しているか否かを、注目画像ブロック探索範囲４０内と各画像ブロック探索範囲４２内で、互いに同一位置にある画素の画素値間の差分絶対値を、当該画像ブロック内の全画素について求め、その総和ＳＡＤ(Sum of Absolute Difference)に基づいて判断される。
【００１６】
互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック４３と画像ブロック４４であった場合、画像ブロック４３から画像ブロック４４までのベクトルが、補間画像ブロック４１の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック４３及び４４の画像データに基づいて、補間フレーム２１内の補間画像ブロック４１が作成される。尚、この動きベクトル（大きさと方向を含む）は、図２では説明の都合上３次元のように示されているが、実際の処理においては、フレーム上の２次元で示されるベクトルである。
【００１７】
次に、画像ブロックのサイズ及び動きベクトルの探索範囲について説明する。
図３はマクロブロックのサイズ及びその探索範囲の具体例を示す。これらブロック及び探索範囲は、図２に示したブロックマッチング処理に適用することができる。ここでは、説明を簡単にするため、主に水平方向のブロックマッチング処理について述べる。
【００１８】
図３において、ＭＢはマクロブロック、ＭＳＲはマクロブロックＭＢの探索範囲である。マクロブロックＭＢのサイズは、図３の内側実線に示すように例えば６４画素×４画素である。このマクロブロックＭＢを前フレーム２０上では水平方向に−１６画素〜＋１６画素、垂直方向に−２画素〜＋２画素シフトする。同時にこのマクロブロックＭＢを後フレーム２２上で水平方向に＋１６画素〜−１６画素、垂直方向に＋２画素〜−２画素シフトする。
【００１９】
つまり、補間フレーム２１上に挿入される補間画像ブロック４１（ここではマクロブロックＭＢに一致するサイズのブロック）を点対象の中心として、前フレーム２０上でマクロブロックＭＢを例えば＋１２画素シフトした場合は、後フレーム２２上でマクロブロックＭＢを−１２画素シフトする。両フレーム２０、２２で対応する画像ブロックどうしを、対応する画素単位で画素値を比較してＳＡＤを算出する。従ってマクロブロックＭＢを用いたブロックマッチングの場合、前フレーム２０上及び後フレーム２２上の探索範囲ＭＳＲは、ここでは共に９６画素×８画素である。
【００２０】
以下、動きベクトル検出部１２によるブロックマッチング処理動作を説明する。
図４はブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係（ＳＡＤ特性）を示すグラフである。このブロックマッチング処理は動きベクトル検出部１２により行われる。説明を簡単にするため、水平方向物体移動のブロックマッチング処理のみについて述べる。
【００２１】
この場合、物体を含む前フレーム内の注目画像ブロック４３を、後フレーム２２における探索範囲内の中心画像ブロック４４の位置から、１画素単位でシフトすると、図４のように１０画素分シフトしたところでＳＡＤは極小（ここでは最小）となる。この極小点ＰＳ０のシフト量Ｓ０及びその方向に基づいて、動きベクトルが検出される。従って、ここでは注目画像ブロック４１の動きベクトルは、水平方向１０画素と検出される。この結果、例えば注目画像ブロック４３を補間フレーム内で、対応する同一位置から、水平方向に５画素シフトした画像ブロックが、補間フレーム内画像ブロックとして作成される。尚、シフト量Ｓ０及びその方向は、画像ブロック４１の探索範囲内位置を示す。
【００２２】
ブロックマッチングによる動きベクトル検出を精度良く行うための最適なブロックサイズは、入力されるフレームの解像度やフレーム内に含まれる物体の動き方によって変わってくる。動いている物体のブロックマッチングを行うために、画像ブロックサイズは、物体の形状を識別できる例えば水平方向画素の画素値変化を画像ブロックが含む程度に大きくする必要がある。しかし、ブロックサイズを大きくしすぎると、そのブロック内に複数の動く物体が含まれる可能性が大きくなるという問題が発生する。１画像ブロック内に複数の動く物体が含まれていると、動きベクトルを特定することが困難となる。そこで、ブロックサイズはある程度の大きさに制限せざるを得ない。
【００２３】
図５は、本発明が解決しようとしている、マクロブロック内の動きの一例である。マクロブロック内では殆どの面積を背景が占めている状態で、左右にある丸い物体およびひし形の物体の占有面積は小さい。マクロブロック内では、背景、丸い物体、ひし形の物体それぞれが別々の動きをしている状況である。丸い物体、ひし形の物体に対応するような動きベクトルは背景の動きベクトルとは異なる。
【００２４】
図６は図５に示すような小物体がマクロブロック内にある場合のＳＡＤ分布例である。この場合、図５で最も占有面積の大きい背景の動きが最小値として探索範囲＋８画素辺りに検出される。丸やひし形の小さな動き成分は、極小値としてそれぞれ＋3画素、＋１２画素辺りに検出される。それぞれ背景の動き＋８に対し−５、＋４の動きである。この極小値となる動きベクトルを不一致画素の候補ベクトルとして使用する。例えば当該不一致箇所でこの極小値候補ベクトルによるフレーム間画素差分が既定の値より小さい場合は、当該画素の動きベクトルとして信頼度のあるものとして出力される。信頼度のあるものを判定する方法としては、極小点の極小値群から、さらに探索領域全体での最小値ＳＡＤｍｉｎを求め、この最小値ＳＡＤｍｉｎから所定の範囲ＴＨに存在するＳＡＤ極小値が示す動きベクトル、すなわち「│最小値−極小値│＜ＴＨ 」を満足する極小値を、信頼し得る動きベクトルの候補として選択するようにしても良い。尚、信頼し得る動きベクトルの候補が１つのみであった場合、ベクトル決定部１２は、当該ＳＡＤ極小点の情報を動きベクトルとして、補間画像作成部１３に供給する。
【００２５】
ブロックマッチングの際の極小値となるベクトル候補を後段の画素検定において不一致画素のベクトル候補として用いることにより、探索範囲内の小さな物体の動き（周辺でもその動きベクトルが反映されない場合）を捉えることが出来る可能性がある。
【００２６】
図７は、本実施例における動き検出および画素検定フローである。まず現在フレーム、過去フレーム間においてブロックマッチング（シンメトリックサーチ）を行う（ＳＴ０１）。両フレーム間の画素差分総和（ＳＡＤ）を求め（ＳＴ０２）、ＳＡＤ分布で最小値となったポイントを当該ブロックの動きベクトルとして後段の画素単位検定に送り、かつＳＡＤの極小値となったポイントも小ブロックの動きベクトルとして後段の画素単位検定に送る（ＳＴ０３）。ここまではブロックの動きベクトルとなっている。
【００２７】
画素単位検定部では、ブロックの動きベクトルを画素単位に検定し、画素レベルで動きベクトルの一致、不一致を検定する。不一致となった場合は、当該ブロックの周辺（上下左右など）ブロックの動きベクトルを次の候補として検定を行い（ＳＴ０４）、フレーム間で最も差分が少なくなったベクトル候補を最終の画素単位動きベクトルとして出力する（ＳＴ０５）。
【００２８】
最小値は、当該ブロックの動きベクトルとなるが、極小値は当該ブロック内に含まれる小さな物体の動きを反映している場合がある。この極小値となる動きベクトルを後段の画素検定部の不一致画素部のベクトル候補として使用する（ＳＴ０６）。この操作により、ブロック内の小さな物体の動きを画素単位で検出する可能性が高くなる。
【００２９】
ＳＡＤの値は特定パターンの含まれていない一般的な自然画像では、図４のように、あるベクトルの方向（シフト量）においてただ一つの極小点(=最小点)を持つ。しかし、あるパターンが画像に含まれる場合には、ＳＡＤの値が探索範囲内で複数のベクトル方向で極小点を持つという特徴がある。
【００３０】
マクロブロックの動きベクトルで補間画像を作成し、これら複数の動きベクトルによりそれらの対応箇所の補間画像を重ね書きする処理を補間画像作成部１３は行う。
【００３１】
このようにして本実施形態では、フレームに含まれる細かい物体の動きベクトルの検出精度を向上することが可能となる。
本実施例は、動きベクトルを求める際にＳＡＤの極小値を求め、その極小点となる動きベクトルも不一致画素の動きベクトルの候補として摘出するというものである。その効果として、探索マクロブロック内の小さな物体の動きベクトルを求めることができる。
【００３２】
以上の説明はこの発明の実施の形態であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができるものである。
【図面の簡単な説明】
【００３３】
【図１】本発明による補間フレーム作成装置の一実施形態を示すブロック構成図である。
【図２】ブロックマッチング処理の一例を説明するための図である。
【図３】マクロブロックのサイズ及びその探索範囲の具体例を示す図である。
【図４】ブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係を示すグラフである。
【図５】本実施例が解決しようとする小物体の動きを示す図である。
【図６】小物体がある場合のＳＡＤ分布を示す図である。
【図７】本実施例による動きベクトル検出および検定フローを示す図である。
【符号の説明】
【００３４】
１０…補間フレーム作成装置、１１…フレームメモリ、１２…動きベクトル検出部、１３…補間画像作成部。
【特許請求の範囲】
【請求項１】
入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成方法であって、
前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する工程と、
前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する工程とを有し、
前記ブロックマッチング処理は、
補間フレーム内の補間ブロックについて、前記動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を、前記補間ブロックを作成する際に用いる動きベクトルとして採用する第１採用工程と、
前記動きベクトル候補が複数検出された場合には、検出された複数の動きベクトル候補の中で、既定の信頼度のある動きベクトルを、前記補間ブロックの部分を作成する際に用いる動きベクトルとして採用する第２採用工程とを
含むことを特徴とする補間フレーム作成方法。
【請求項２】
前記ブロックマッチング処理は、前記入力フレーム画像の前フレーム画像上及び後フレーム画像上の画像ブロックの互いに対応する画素値どうしの差分絶対値を算出し、該差分絶対値の累積加算値を示すＳＡＤが極小となるブロック対の前記探索範囲内位置に基づく動きベクトルを、前記動きベクトル候補として選択することを特徴とする請求項１記載の補間フレーム作成方法。
【請求項３】
前記第２採用工程は、
前記ブロックマッチング処理において、複数のＳＡＤ極小値が検出された場合、該極小値群からさらに前記探索領域全体におけるＳＡＤ最小値を求める工程と、
前記ＳＡＤ最小値から所定の範囲に存在するＳＡＤ極小値が示す動きベクトルを信頼し得る動きベクトル候補として選択する工程と、
前記複数の信頼し得る動きベクトル候補のＳＡＤ極小値が示すベクトルを、前記補間ブロックの作成に用いる動きベクトルして採用する工程とを含むことを特徴とする請求項２記載の補間フレーム作成方法。
【請求項４】
入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成装置であって、
前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する動きベクトル検出手段と、
前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する手段を含み、
前記動きベクトル検出手段は、
補間フレーム内の補間ブロックについて、ブロックマッチングによるＳＡＤ最小値となる動きベクトル候補を検出する手段と、
前記動きベクトル候補に加えＳＡＤの極小点となる動きベクトルもブロック内部分の動きベクトル候補として検出する手段とから
成ることを特徴とする補間フレーム作成装置。
【請求項１】
入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成方法であって、
前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する工程と、
前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する工程とを有し、
前記ブロックマッチング処理は、
補間フレーム内の補間ブロックについて、前記動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を、前記補間ブロックを作成する際に用いる動きベクトルとして採用する第１採用工程と、
前記動きベクトル候補が複数検出された場合には、検出された複数の動きベクトル候補の中で、既定の信頼度のある動きベクトルを、前記補間ブロックの部分を作成する際に用いる動きベクトルとして採用する第２採用工程とを
含むことを特徴とする補間フレーム作成方法。
【請求項２】
前記ブロックマッチング処理は、前記入力フレーム画像の前フレーム画像上及び後フレーム画像上の画像ブロックの互いに対応する画素値どうしの差分絶対値を算出し、該差分絶対値の累積加算値を示すＳＡＤが極小となるブロック対の前記探索範囲内位置に基づく動きベクトルを、前記動きベクトル候補として選択することを特徴とする請求項１記載の補間フレーム作成方法。
【請求項３】
前記第２採用工程は、
前記ブロックマッチング処理において、複数のＳＡＤ極小値が検出された場合、該極小値群からさらに前記探索領域全体におけるＳＡＤ最小値を求める工程と、
前記ＳＡＤ最小値から所定の範囲に存在するＳＡＤ極小値が示す動きベクトルを信頼し得る動きベクトル候補として選択する工程と、
前記複数の信頼し得る動きベクトル候補のＳＡＤ極小値が示すベクトルを、前記補間ブロックの作成に用いる動きベクトルして採用する工程とを含むことを特徴とする請求項２記載の補間フレーム作成方法。
【請求項４】
入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成装置であって、
前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する動きベクトル検出手段と、
前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する手段を含み、
前記動きベクトル検出手段は、
補間フレーム内の補間ブロックについて、ブロックマッチングによるＳＡＤ最小値となる動きベクトル候補を検出する手段と、
前記動きベクトル候補に加えＳＡＤの極小点となる動きベクトルもブロック内部分の動きベクトル候補として検出する手段とから
成ることを特徴とする補間フレーム作成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−２２７８２６（Ｐ２００８−２２７８２６Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６１８３７（Ｐ２００７−６１８３７）
【出願日】平成１９年３月１２日（２００７．３．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月１２日（２００７．３．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]