補間フレーム作成方法及び補間フレーム作成装置
【課題】補間フレームを作成するための動きベクトルの検出において、周期的なパターンを含んでいる画像に対して、動きベクトルの検出精度を向上する。
【解決手段】互いに大きさの異なる２つのブロックを用いた動き検出処理を行い、通常時には小さいブロックで検出した動きベクトルを採用する（ＳＴ１０４）。小さいブロックでのベクトル検出時に、信頼し得る動きベクトルの候補が複数見つかった場合（ＳＴ１０３のＹＥＳ）、大きいブロックを用いて検出されたベクトルを参照し（ＳＴ１０５）、小ブロックにおいて検出された動きベクトルの中から、大ブロックで検出された動きベクトルに最も近いものを、補間フレーム作成に用いる当該ブロックの動きベクトルとして採用する（ＳＴ１０６）。
【解決手段】互いに大きさの異なる２つのブロックを用いた動き検出処理を行い、通常時には小さいブロックで検出した動きベクトルを採用する（ＳＴ１０４）。小さいブロックでのベクトル検出時に、信頼し得る動きベクトルの候補が複数見つかった場合（ＳＴ１０３のＹＥＳ）、大きいブロックを用いて検出されたベクトルを参照し（ＳＴ１０５）、小ブロックにおいて検出された動きベクトルの中から、大ブロックで検出された動きベクトルに最も近いものを、補間フレーム作成に用いる当該ブロックの動きベクトルとして採用する（ＳＴ１０６）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像を構成するフレーム画像の間に補間フレームを作成及び挿入し、物体の動きを滑らかで自然な動きとして表示する技術に関する。
【背景技術】
【０００２】
液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。
【０００３】
ＬＣＤに表示されたこのような映像を視聴する場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。
【０００４】
動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている（特許文献１）。この方法では、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチングを行うことにより、各ブロックの動きベクトル（物体の動いた方向及び距離）が検出される。各ブロックの動きベクトルを用いて、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームを２枚の入力フレーム間に挿入することにより、フレーム数を増加して動画像を表示する。
【０００５】
上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックとで、互いに対応する画素間の差分を計算し、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中画像ブロックが、前フレーム中画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。
【０００６】
ＳＡＤを用いたブロックマッチングに基づいて物体の動きを推定する時、入力フレーム内に周期的パターンが存在する場合、該周期的パターン内の画像ブロックでは、正確な動きベクトルを推定できない。下記特許文献２では、注目画像が周期的パターンであると判断した場合には、当該画像ブロックの動きベクトルを周辺の画像ブロックの動きベクトルで補正する技術が開示されている。
【特許文献１】特開２００５−６２７５号公報
【特許文献２】特開２００５−５６４１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前述のように、周期的パターン内の画像ブロックの動きベクトルを周辺ブロックの動きベクトルで補正する方法では、周期的パターンの大きさが画像ブロックより遥かに大きい場合、あるいは周辺ブロックの動きベクトルの信頼性が低い場合、当該ブロックの動きベクトルを適切に補正することはできない。従って信頼性の高い動きベクトルが得られないという問題がある。
【課題を解決するための手段】
【０００８】
本発明の１実施形態では、ブロックマッチングにより動きベクトルの検出を行う補間フレーム作成方法において、互いに大きさの異なる２つのブロックを用いた動きベクトル検出処理を行い、通常時には小さいブロックを用いて検出した動きベクトルを採用する。小さいブロックを用いたベクトル検出時に、信頼し得る動きベクトルの候補が複数見つかった場合に、大きいブロックを用いて検出されたベクトルを参照し、小さいブロックを用いて検出された動きベクトルの中から、大きいブロックを用いて検出された動きベクトルに最も近いものを、補間フレーム作成用の動きベクトルとして採用する。
【発明の効果】
【０００９】
補間フレームを作成するための動きベクトルの検出において、周期的なパターンを含んでいる画像に対して、動きベクトルの検出精度を向上させることが出来る。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を参照して説明する。
【００１１】
図１は、本発明による補間フレーム作成装置（フレーム数変換装置）の一実施形態を示すブロック構成図である。
【００１２】
補間フレーム作成装置１０は、フレームメモリ部１０、動きベクトル検出部１２、補間画像作成部１３を含む。動きベクトル検出部１２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。入力画像信号のフレームレートは例えば６０フレーム／秒である。
【００１３】
補間画像作成部１３は、動きベクトル検出部１２の検出結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば１２０フレーム／秒である。動きベクトル検出部１２及び補間画像作成部１３は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示されず）にて実行されるソフトウエアとして構成できる。
【００１４】
図２はブロックマッチング処理の一例を説明するための図である。前フレーム２０と後フレーム２２は、連続して入力されるフレームである。
【００１５】
前フレーム２０中の注目画像ブロック２３と、後フレーム２２中の探索範囲２４における各画像ブロック２５とが比較される。探索範囲２４は、前フレーム２０内の注目画像ブロック２３の位置に一致する後フレーム２２内の位置にある画像ブロック２５ａを中心とする所定サイズの領域である。探索範囲２４内で、注目画像ブロック２３の画像に最も類似している画像を有する画像ブロック（ここでは画像ブロック２５ｂとする）と、前記注目画像ブロック２３とを結ぶベクトルを、注目画像ブロック２３の動きベクトルとする。尚、この動きベクトル（大きさと方向を含む）は、図２では説明の都合上３次元のように示されているが、実際の処理においては、フレーム上の２次元で示されるベクトルである。
【００１６】
画像ブロックどうしが類似しているか否かは、注目画像ブロック２３内と各画像ブロック２５内で、互いに同一位置にある画素の画素値間の差分絶対値を、当該画像ブロック内の全画素について求め、その総和ＳＡＤ(Sum of Absolute Difference)に基づいて判断される。このＳＡＤが最小となる画像ブロック２５ｂが、注目画像ブロック２３に最も類似している画像ブロックと判断される。注目画像ブロック２３から画像ブロック２５ｂまでのベクトルが、注目画像ブロック２３の動きベクトルとして決定される。この動きベクトルと、注目画像ブロック２３及び画像ブロック２３ｂの画像データに基づいて、補間フレーム２１内の補間画像ブロック２４が作成される。
【００１７】
以下、動きベクトル検出部１２によるブロックマッチング処理動作を詳細に説明する。
【００１８】
図３Ａは、前フレーム２０内の物体３０が、水平方向に１０画素分移動して、後フレーム２２内に位置している様子を示す。図３Ｂはブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係（ＳＡＤ特性）を示すグラフである。このブロックマッチング処理は動きベクトル検出部１２により行われる。説明を簡単にするため、水平方向のブロックマッチング処理のみについて述べる。
【００１９】
この場合、物体３０を含む前フレーム内の注目画像グロック２３を、後フレーム２２における探索範囲内の中心画像ブロック２５ａの位置から、１画素単位でシフトすると、図３Ｂのように１０画素分シフトしたところでＳＡＤは極小（ここでは最小）となる。この極小点ＰＳ０のシフト量Ｓ０及びその方向に基づいて、動きベクトルが検出される。従って、ここでは注目画像ブロック２３の動きベクトルは、水平方向１０画素と検出される。この結果、例えば注目画像ブロック２３を補間フレーム内で、対応する同一位置から、水平方向に５画素シフトした画像ブロックが、補間フレーム内画像ブロックとして作成される。尚、シフト量Ｓ０及びその方向は、画像ブロック２６ｂの探索範囲２４内位置を示す。
【００２０】
ブロックマッチングによる動きベクトル検出を精度良く行うための最適なブロックサイズは、入力されるフレームの解像度やフレーム内に含まれる物体の動き方によって変わってくる。動いている物体のブロックマッチングを行うために、画像ブロックサイズは、物体の形状を識別できる例えば水平方向画素の画素値変化を画像ブロックが含む程度に大きくする必要がある。しかし、ブロックサイズを大きくしすぎると、そのブロック内に複数の動く物体が含まれる可能性が大きくなるという問題が発生する。１画像ブロック内に複数の動く物体が含まれていると、動きベクトルを特定することが困難となる。そこで、ブロックサイズはある程度の大きさに制限せざるを得ない。
【００２１】
しかしながら、このブロックの例えば水平サイズよりも幅の広い、水平方向の周期的パターンが画像内に含まれている場合には、物体の動きと周期的なパターンの繰り返しとが区別できず、正しい動き検出が出来なくなる。
【００２２】
ＳＡＤの値は周期パターンの含まれていない一般的な自然画像では、図３Ｂのように、あるベクトルの方向（シフト量）においてただ一つの極小点(=最小点)を持つ。しかし、周期的パターンが画像に含まれる場合には、ＳＡＤの値が探索範囲内で複数のベクトル方向で極小点を持つという特徴がある。
【００２３】
図４Ａは、入力されるフレームが周期的パターンを含む場合の本発明に係るブロックマッチング処理の様子を示す図である。
【００２４】
図４Ａの上図は前フレーム２０において、三角形パターンの上方に縞模様のような周期的パターン３１が表示されていることを示している。図４Ａの下図は、前フレーム２０内の周期的パターン３１が右方向に１０画素分移動して、後フレーム２２内に表示されているところを示している。図４Ｂは、図４Ａのような入力フレームのブロックマッチング処理における画像ブロックの水平シフト量（垂直シフト量は０とする）とＳＡＤの関係を示すグラフである。
【００２５】
動きベクトル検出部１２は、前フレーム内画像ブロック２３を後フレーム上の対応する同一位置（画像ブロック２５ａの位置：シフト量０）から１画素ずつ例えば右方向にシフトしながらＳＡＤを算出する。図４Ａに示すような周期的パターン３１が存在すると、図４ＢのＳＡＤ特性α１のように複数のＳＡＤ極小点ＰＳ１、ＰＳ２、ＰＳ３が現れる。このように、周期的なパターンがブロックマッチングを行う際の単位ブロックサイズより大きい場合、注目画像ブロック２３についての動きベクトルを特定できない。
【００２６】
そこで本発明の一実施形態では、周期的パターン３１を水平方向又は垂直方向において全て含むような、すなわち注目画像ブロック２３より大きな画像ブロック３２を用いてブロックマッチング処理を行う。
【００２７】
図４Ａのように、前フレーム内の大ブロック３２を後フレーム上の対応する同一位置（画像ブロック３３ａの位置：シフト量０）から１画素ずつ例えば右方向にシフトしながらＳＡＤを算出する。このときのＳＡＤ特性としては、図４ＢのＳＡＤ特性β１のように、一般に単一の極小点ＰＬ１が現れる。
【００２８】
大ブロック３２（３３）を用いて検出したＳＡＤの極小点ＰＬ１に最も近い位置にある小ブロック２５ｂの極小点（この例ではＰＳ１）に基づいて動きベクトルを決定する。尚、ブロックのサイズは、本実施形態のように２種類のみでなく、後述するように、より多くのサイズを用いてもよい。様々なサイズのブロックを用いることにより、動きベクトルの検出精度を向上することができる。
【００２９】
図５は動きベクトル検出部１２の構成例を示すブロック図である。
【００３０】
ベクトル検出部１２は、小ブロック動きベクトル検出部１２ａ、大ブロック動きベクトル検出部１２ｂ及びベクトル決定部１２ｃを含む。小ブロック動きベクトル検出部１２ａ及び大ブロック動きベクトル検出部１２ｂには、共に入力画像信号及びフレームメモリ１１からの遅延フレーム信号が入力される。
【００３１】
小ブロック動きベクトル検出部１２ａは、上記したような画像ブロック２３を小ブロックとしてブロックマッチング処理を行い、動きベクトルすなわち極小点（水平方向シフト量及び垂直方向シフト量）を検出する。大ブロック動きベクトル検出部１２ｂは、大ブロック３２を用いて上記したようにブロックマッチング処理を行い、動きベクトルを検出する。
【００３２】
ベクトル決定部１２ｃは、通常時には小ブロック検出部１２ａにより検出された動きベクトルを選択して補間画像作成部１３に提供する。小ブロックを用いた動きベクトル検出時に、信頼し得る動きベクトル（極小点のＳＡＤ値が所定値より小さい）の候補が複数見つかった場合に、ベクトル決定部１２ｃは大ブロック動きベクトル検出部１２ｂにて検出された動きベクトルを参照する。ベクトル決定部１２ｃは小ブロック動きベクトル検出部１２ａにて検出された確からしい動きベクトル（極小点）の中から、大ブロック動きベクトル検出部１２ｂにて検出された動きベクトル（極小点）に最も近いベクトルを選択して補間画像作成部１３に提供する。
【００３３】
このようにして本実施形態では、フレームに含まれる細かい物体の動きベクトルの検出精度を落とすことなく、周期的なパターンを含んだ画像の動きベクトルの検出精度を向上することが可能となる。
【００３４】
尚、本実施例では、小ブロックを用いた動きベクトル検出と、大ブロックを用いた動きベクトル検出を並行して行ったが、このような動きベクトル検出を直列に行ってもよい。すなわち、小ブロックを用いて動きベクト検出を行い、信頼し得る動きベクトルの候補が複数見つかった場合に、大ブロックを用いて動きベクトル検出を行い、動きベクトル候補から最終的な動きベクトルを決定してもよい。このような直列処理を行うことにより回路規模を縮小することができる。
【００３５】
次に、ブロックマッチング処理の他の方式について説明する。図６は他のブロックマッチング処理を示す図である。
【００３６】
ブロックマッチングを用いた動きベクトルの検出方法としては、図２に示したような前フレーム内画像ブロックを、後フレーム内で単にシフトしてＳＡＤを求める方法の他に、図６のように、点対象の位置にある画像ブロックどうしのブロックマッチング処理を介して動きベクトルを求める方法がある。
【００３７】
すなわち図６の方法では、補間フレーム２１内の補間画像ブロック４１の挿入位置を中心として、それを挟む前フレーム２０上及び後フレーム２２上で点対象の位置にある画像ブロックどうしを画素毎に比較してＳＡＤを算出する。最も類似している（ＳＡＤが最も小さい）画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。この比較は、前フレーム２０中の所定探索範囲４０及び後フレーム２２内の対応する探索範囲４２において行われる。
【００３８】
互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック４３と画像ブロック４４であった場合、画像ブロック４３から画像ブロック４４までのベクトルが、補間画像ブロック４１の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック４３及び４４の画像データに基づいて、補間フレーム２１内の補間画像ブロック４１が作成される。
【００３９】
次に、画像ブロックのサイズ及び動きベクトルの探索範囲について説明する。
【００４０】
図７は小ブロックのサイズ及びその探索範囲の具体例を示し、図８は大ブロックのサイズ及びその探索範囲の具体例を示す。これらブロック及び探索範囲は、図２及び図６に示したブロックマッチング処理の両方に適用することができる。ここでは、図６に示したブロックマッチング処理に適用した例を詳細に説明する。また、説明を簡単にするため、主に水平方向のブロックマッチング処理について述べる。
【００４１】
図７において、ＳＢは小ブロック、ＳＳＲは小ブロックＳＢの探索範囲である。小ブロックＳＢのサイズは、例えば６４画素×２画素である。この小ブロックＳＢを前フレーム２０上では水平方向に−１２画素〜＋１２画素、垂直方向に−２画素〜＋２画素シフトする。同時にこの小ブロックＳＢを後フレーム２２上で水平方向に＋１２画素〜−１２画素、垂直方向に＋２画素〜−２画素シフトする。
【００４２】
つまり、補間フレーム２１上に挿入される補間画像ブロック４１（ここでは小ブロックＳＢに一致するサイズのブロック）を点対象の中心として、前フレーム２０上で小ブロックＳＢを例えば＋１２画素シフトした場合は、後フレーム２２上で小ブロックＳＢを−１２画素シフトする。両フレーム２０、２２で対応する画像ブロックどうしを、対応する画素単位で画素値を比較してＳＡＤを算出する。従って小ブロックＳＢを用いたブロックマッチングの場合、前フレーム２０上及び後フレーム２２上の探索範囲ＳＳＲは、ここでは共に８８画素×６画素である。
【００４３】
図８のように大ブロックＬＢのサイズは、例えば６４０画素×４画素である。この大ブロックＬＢを小ブロックＳＢと同様に、前フレーム２０上では水平方向に−１２画素〜＋１２画素、垂直方向に−２画素〜＋２画素シフトする。同時にこの大ブロックＬＢを後フレーム２２上で水平方向に＋１２画素〜−１２画素、垂直方向に＋２画素〜−２画素シフトする。
【００４４】
つまり、補間フレーム２１上に挿入される補間画像ブロック４１（ここでは大ブロックＬＢに対応するサイズのブロック）を点対象の中心として、前フレーム２０上で大ブロックＬＢを例えば＋１２画素シフトした場合は、後フレーム２２上で大ブロックＬＢを−１２画素シフトして、両フレーム２０、２２で対応する画像ブロックどうしを、対応する画素単位で画素値を比較してＳＡＤを算出する。従って大ブロックを用いたブロックマッチングの場合、前フレーム２０上及び後フレーム２２上の探索範囲ＬＳＲは、ここでは共に６６４画素×８画素である。
【００４５】
図９は、図７の小ブロック及び図８の大ブロックを用いて図６のブロックマッチング処理を行ったときの画像ブロックのシフト量とＳＡＤとの関係（ＳＡＤ特性）を示すグラフである。
【００４６】
図９において、横軸は画像ブロックの水平方向シフト量、縦軸はＳＡＤである。横軸のシフト量は、前フレーム２０上または後フレーム２２上の画像ブロックシフト量を示している。また横軸のシフト量は、９領域（領域１〜領域９）に分割されおり、領域５はシフト量が０の領域である。曲線α２は小ブロックを用いて得られたブロックマッチング処理結果、曲線β２は大ブロックを用いて得られたブロックマッチング処理結果を示す。
【００４７】
以下、このブロックマッチング処理について詳細に説明する。動きベクトル検出部１２の構成は、図５に示した構成とする。説明を簡単にするため、ここでも水平方向のブロックマッチング処理のみについて述べる。図１０は、このブロックマッチング処理におけるベクトル決定部１２ｃの動作を示すフローチャートである。小ブロック動きベクトル検出部１２ａ及び大ブロック動きベクトル検出部１２ｂの動作は、前述と同様であるから詳細な動作は割愛する。
【００４８】
ベクトル決定部１２ｃは、小ブロック動きベクトル検出部１２ａ及び大ブロック動きベクトル検出部１２ｂから、それぞれの検出処理結果（極小点の情報）を取得する（ステップ（ＳＴ）１０１）。
【００４９】
曲線α２のように、小ブロックＳＢを−１２画素から＋１２画素までシフトすると、ここでは４個の極小点ＰＳ１０〜ＰＳ１３が生じている。ベクトル決定部１２ｃは、小ブロック動きベクトル検出部１２ａから提供されるこれら極小点の極小値群から、さらに探索領域全体での最小値ＳＡＤｍｉｎを求める（ＳＴ１０２）。この最小値ＳＡＤｍｉｎから所定の範囲ＴＨに存在するＳＡＤ極小値（ＰＳ１０、ＰＳ１１、ＰＳ１２）が示す動きベクトル、すなわち「 │最小値−極小値│＜ＴＨ 」を満足する極小値を、信頼し得る動きベクトルの候補として選択する。
【００５０】
尚、信頼し得る動きベクトルの候補が１つのみであった場合（ＳＴ１０３のＮＯ）、ベクトル決定部１２ｃは、当該ＳＡＤ極小点の情報を動きベクトルとして、補間画像作成部１３に供給する（ＳＴ１０４）。
【００５１】
図９のように、信頼し得る動きベクトルが複数存在した場合には（ＳＴ１０３のＹＥＳ）、探索領域内に周期的パターンが存在すると判断し、大ブロック動きベクトル検出部１２ｂにて検出された動きベクトルを参照する（ＳＴ１０５）。ベクトル決定部１２ｃは、該複数存在する信頼し得る動きベクトル候補の中で、大ブロックＬＢを用いて検出した極小値ＰＬ２に最も近い極小値ＰＳ１が示すベクトルを、補間画像ブロック４１の作成に用いる動きベクトルして採用する（ＳＴ１０６）。
【００５２】
尚、ステップ１０６において、大ブロックを用いて検出した極小点が複数存在する場合は、該複数の極小点のうち、最も小さいＳＡＤを有する極小点を、最も信頼性の高い極小点（動きベクトル）と判断する。従って、ベクトル決定部１２ｃは、小ブロックＳＢを用いて検出した複数の極小点（動きベクトル候補）の中で、大ブロックＬＢを用いて検出した最も信頼性の高い極小点に最も近い極小点を、補間画像ブロック４１の作成に用いる動きベクトルして採用する。
【００５３】
図１１は動きベクトル検出部１２の他の構成例を示すブロック図である。
【００５４】
この動きベクトル検出部は、第１〜第Ｎブロック動きベクトル検出部１２ａ〜１２ｎを有する。第１〜第Ｎブロック動きベクトル検出部１２ａ〜１２ｎは、互いにサイズの異なるＮ個（２＜Ｎ）のサイズのブロックを用いたブロックマッチング処理を行う。第１ブロック動きベクトル検出部１２ａは、最も小さいブロックを用いたブロックマッチング処理を行い、第Ｎブロック動きベクトル検出部１２ａは、最も大きいブロックを用いたブロックマッチング処理を行う。
【００５５】
ベクトル決定部１２ｐは、第１ブロック動きベクトル検出部１２ａにより、動きベクトル候補が複数検出された場合には、検出された複数の動きベクトル候補の中で、第２〜第Ｎブロック動きベクトル検出部１２ｎを用いて検出された動きベクトルのうち、最も信頼度の高い動きベクトルに最も近いものを、当該補間ブロックを作成する際に用いる動きベクトルとして採用する。これにより、周期的パターンを有するフレームに対する動きベクトル検出における更に高い検出精度を実現できる。
【００５６】
以上説明したように、本発明の実施形態によれば、周期的なパターンを含んでいる画像に対して、動きベクトルの検出精度を向上させることが出来る。
【００５７】
以上の説明はこの発明の実施の形態であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができるものである。
【図面の簡単な説明】
【００５８】
【図１】本発明による補間フレーム作成装置の一実施形態を示すブロック構成図である。
【図２】ブロックマッチング処理の一例を説明するための図である。
【図３Ａ】前フレーム２０内の物体３０が、水平方向に１０画素分移動して、後フレーム２２内に位置している様子を示す図である。
【図３Ｂ】ブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係を示すグラフである。
【図４Ａ】入力されるフレームが周期的パターンを含む場合の本発明に係るブロックマッチング処理の様子を示す図である。
【図４Ｂ】図４Ａのような入力フレームのブロックマッチング処理における画像ブロックシフト量とＳＡＤの関係を示すグラフである。
【図５】動きベクトル検出部１２の構成例を示すブロック図である。
【図６】他のブロックマッチング処理を示す図である。
【図７】小ブロックのサイズ及びその探索範囲の具体例を示す図である。
【図８】大ブロックのサイズ及びその探索範囲の具体例を示す図である。
【図９】図７の小ブロック及び図８の大ブロックを用いて図６のブロックマッチング処理を行ったときの画像ブロックのシフト量とＳＡＤとの関係を示すグラフである。
【図１０】ブロックマッチング処理におけるベクトル決定部１２ｃの動作を示すフローチャートである。
【図１１】動きベクトル検出部１２の他の構成例を示すブロック図である。
【符号の説明】
【００５９】
１０…補間フレーム作成装置、１１…フレームメモリ、１２…動きベクトル検出部、１３…補間画像作成部。
【技術分野】
【０００１】
本発明は動画像を構成するフレーム画像の間に補間フレームを作成及び挿入し、物体の動きを滑らかで自然な動きとして表示する技術に関する。
【背景技術】
【０００２】
液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。
【０００３】
ＬＣＤに表示されたこのような映像を視聴する場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。
【０００４】
動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている（特許文献１）。この方法では、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチングを行うことにより、各ブロックの動きベクトル（物体の動いた方向及び距離）が検出される。各ブロックの動きベクトルを用いて、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームを２枚の入力フレーム間に挿入することにより、フレーム数を増加して動画像を表示する。
【０００５】
上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックとで、互いに対応する画素間の差分を計算し、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中画像ブロックが、前フレーム中画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。
【０００６】
ＳＡＤを用いたブロックマッチングに基づいて物体の動きを推定する時、入力フレーム内に周期的パターンが存在する場合、該周期的パターン内の画像ブロックでは、正確な動きベクトルを推定できない。下記特許文献２では、注目画像が周期的パターンであると判断した場合には、当該画像ブロックの動きベクトルを周辺の画像ブロックの動きベクトルで補正する技術が開示されている。
【特許文献１】特開２００５−６２７５号公報
【特許文献２】特開２００５−５６４１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前述のように、周期的パターン内の画像ブロックの動きベクトルを周辺ブロックの動きベクトルで補正する方法では、周期的パターンの大きさが画像ブロックより遥かに大きい場合、あるいは周辺ブロックの動きベクトルの信頼性が低い場合、当該ブロックの動きベクトルを適切に補正することはできない。従って信頼性の高い動きベクトルが得られないという問題がある。
【課題を解決するための手段】
【０００８】
本発明の１実施形態では、ブロックマッチングにより動きベクトルの検出を行う補間フレーム作成方法において、互いに大きさの異なる２つのブロックを用いた動きベクトル検出処理を行い、通常時には小さいブロックを用いて検出した動きベクトルを採用する。小さいブロックを用いたベクトル検出時に、信頼し得る動きベクトルの候補が複数見つかった場合に、大きいブロックを用いて検出されたベクトルを参照し、小さいブロックを用いて検出された動きベクトルの中から、大きいブロックを用いて検出された動きベクトルに最も近いものを、補間フレーム作成用の動きベクトルとして採用する。
【発明の効果】
【０００９】
補間フレームを作成するための動きベクトルの検出において、周期的なパターンを含んでいる画像に対して、動きベクトルの検出精度を向上させることが出来る。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を参照して説明する。
【００１１】
図１は、本発明による補間フレーム作成装置（フレーム数変換装置）の一実施形態を示すブロック構成図である。
【００１２】
補間フレーム作成装置１０は、フレームメモリ部１０、動きベクトル検出部１２、補間画像作成部１３を含む。動きベクトル検出部１２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。入力画像信号のフレームレートは例えば６０フレーム／秒である。
【００１３】
補間画像作成部１３は、動きベクトル検出部１２の検出結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば１２０フレーム／秒である。動きベクトル検出部１２及び補間画像作成部１３は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示されず）にて実行されるソフトウエアとして構成できる。
【００１４】
図２はブロックマッチング処理の一例を説明するための図である。前フレーム２０と後フレーム２２は、連続して入力されるフレームである。
【００１５】
前フレーム２０中の注目画像ブロック２３と、後フレーム２２中の探索範囲２４における各画像ブロック２５とが比較される。探索範囲２４は、前フレーム２０内の注目画像ブロック２３の位置に一致する後フレーム２２内の位置にある画像ブロック２５ａを中心とする所定サイズの領域である。探索範囲２４内で、注目画像ブロック２３の画像に最も類似している画像を有する画像ブロック（ここでは画像ブロック２５ｂとする）と、前記注目画像ブロック２３とを結ぶベクトルを、注目画像ブロック２３の動きベクトルとする。尚、この動きベクトル（大きさと方向を含む）は、図２では説明の都合上３次元のように示されているが、実際の処理においては、フレーム上の２次元で示されるベクトルである。
【００１６】
画像ブロックどうしが類似しているか否かは、注目画像ブロック２３内と各画像ブロック２５内で、互いに同一位置にある画素の画素値間の差分絶対値を、当該画像ブロック内の全画素について求め、その総和ＳＡＤ(Sum of Absolute Difference)に基づいて判断される。このＳＡＤが最小となる画像ブロック２５ｂが、注目画像ブロック２３に最も類似している画像ブロックと判断される。注目画像ブロック２３から画像ブロック２５ｂまでのベクトルが、注目画像ブロック２３の動きベクトルとして決定される。この動きベクトルと、注目画像ブロック２３及び画像ブロック２３ｂの画像データに基づいて、補間フレーム２１内の補間画像ブロック２４が作成される。
【００１７】
以下、動きベクトル検出部１２によるブロックマッチング処理動作を詳細に説明する。
【００１８】
図３Ａは、前フレーム２０内の物体３０が、水平方向に１０画素分移動して、後フレーム２２内に位置している様子を示す。図３Ｂはブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係（ＳＡＤ特性）を示すグラフである。このブロックマッチング処理は動きベクトル検出部１２により行われる。説明を簡単にするため、水平方向のブロックマッチング処理のみについて述べる。
【００１９】
この場合、物体３０を含む前フレーム内の注目画像グロック２３を、後フレーム２２における探索範囲内の中心画像ブロック２５ａの位置から、１画素単位でシフトすると、図３Ｂのように１０画素分シフトしたところでＳＡＤは極小（ここでは最小）となる。この極小点ＰＳ０のシフト量Ｓ０及びその方向に基づいて、動きベクトルが検出される。従って、ここでは注目画像ブロック２３の動きベクトルは、水平方向１０画素と検出される。この結果、例えば注目画像ブロック２３を補間フレーム内で、対応する同一位置から、水平方向に５画素シフトした画像ブロックが、補間フレーム内画像ブロックとして作成される。尚、シフト量Ｓ０及びその方向は、画像ブロック２６ｂの探索範囲２４内位置を示す。
【００２０】
ブロックマッチングによる動きベクトル検出を精度良く行うための最適なブロックサイズは、入力されるフレームの解像度やフレーム内に含まれる物体の動き方によって変わってくる。動いている物体のブロックマッチングを行うために、画像ブロックサイズは、物体の形状を識別できる例えば水平方向画素の画素値変化を画像ブロックが含む程度に大きくする必要がある。しかし、ブロックサイズを大きくしすぎると、そのブロック内に複数の動く物体が含まれる可能性が大きくなるという問題が発生する。１画像ブロック内に複数の動く物体が含まれていると、動きベクトルを特定することが困難となる。そこで、ブロックサイズはある程度の大きさに制限せざるを得ない。
【００２１】
しかしながら、このブロックの例えば水平サイズよりも幅の広い、水平方向の周期的パターンが画像内に含まれている場合には、物体の動きと周期的なパターンの繰り返しとが区別できず、正しい動き検出が出来なくなる。
【００２２】
ＳＡＤの値は周期パターンの含まれていない一般的な自然画像では、図３Ｂのように、あるベクトルの方向（シフト量）においてただ一つの極小点(=最小点)を持つ。しかし、周期的パターンが画像に含まれる場合には、ＳＡＤの値が探索範囲内で複数のベクトル方向で極小点を持つという特徴がある。
【００２３】
図４Ａは、入力されるフレームが周期的パターンを含む場合の本発明に係るブロックマッチング処理の様子を示す図である。
【００２４】
図４Ａの上図は前フレーム２０において、三角形パターンの上方に縞模様のような周期的パターン３１が表示されていることを示している。図４Ａの下図は、前フレーム２０内の周期的パターン３１が右方向に１０画素分移動して、後フレーム２２内に表示されているところを示している。図４Ｂは、図４Ａのような入力フレームのブロックマッチング処理における画像ブロックの水平シフト量（垂直シフト量は０とする）とＳＡＤの関係を示すグラフである。
【００２５】
動きベクトル検出部１２は、前フレーム内画像ブロック２３を後フレーム上の対応する同一位置（画像ブロック２５ａの位置：シフト量０）から１画素ずつ例えば右方向にシフトしながらＳＡＤを算出する。図４Ａに示すような周期的パターン３１が存在すると、図４ＢのＳＡＤ特性α１のように複数のＳＡＤ極小点ＰＳ１、ＰＳ２、ＰＳ３が現れる。このように、周期的なパターンがブロックマッチングを行う際の単位ブロックサイズより大きい場合、注目画像ブロック２３についての動きベクトルを特定できない。
【００２６】
そこで本発明の一実施形態では、周期的パターン３１を水平方向又は垂直方向において全て含むような、すなわち注目画像ブロック２３より大きな画像ブロック３２を用いてブロックマッチング処理を行う。
【００２７】
図４Ａのように、前フレーム内の大ブロック３２を後フレーム上の対応する同一位置（画像ブロック３３ａの位置：シフト量０）から１画素ずつ例えば右方向にシフトしながらＳＡＤを算出する。このときのＳＡＤ特性としては、図４ＢのＳＡＤ特性β１のように、一般に単一の極小点ＰＬ１が現れる。
【００２８】
大ブロック３２（３３）を用いて検出したＳＡＤの極小点ＰＬ１に最も近い位置にある小ブロック２５ｂの極小点（この例ではＰＳ１）に基づいて動きベクトルを決定する。尚、ブロックのサイズは、本実施形態のように２種類のみでなく、後述するように、より多くのサイズを用いてもよい。様々なサイズのブロックを用いることにより、動きベクトルの検出精度を向上することができる。
【００２９】
図５は動きベクトル検出部１２の構成例を示すブロック図である。
【００３０】
ベクトル検出部１２は、小ブロック動きベクトル検出部１２ａ、大ブロック動きベクトル検出部１２ｂ及びベクトル決定部１２ｃを含む。小ブロック動きベクトル検出部１２ａ及び大ブロック動きベクトル検出部１２ｂには、共に入力画像信号及びフレームメモリ１１からの遅延フレーム信号が入力される。
【００３１】
小ブロック動きベクトル検出部１２ａは、上記したような画像ブロック２３を小ブロックとしてブロックマッチング処理を行い、動きベクトルすなわち極小点（水平方向シフト量及び垂直方向シフト量）を検出する。大ブロック動きベクトル検出部１２ｂは、大ブロック３２を用いて上記したようにブロックマッチング処理を行い、動きベクトルを検出する。
【００３２】
ベクトル決定部１２ｃは、通常時には小ブロック検出部１２ａにより検出された動きベクトルを選択して補間画像作成部１３に提供する。小ブロックを用いた動きベクトル検出時に、信頼し得る動きベクトル（極小点のＳＡＤ値が所定値より小さい）の候補が複数見つかった場合に、ベクトル決定部１２ｃは大ブロック動きベクトル検出部１２ｂにて検出された動きベクトルを参照する。ベクトル決定部１２ｃは小ブロック動きベクトル検出部１２ａにて検出された確からしい動きベクトル（極小点）の中から、大ブロック動きベクトル検出部１２ｂにて検出された動きベクトル（極小点）に最も近いベクトルを選択して補間画像作成部１３に提供する。
【００３３】
このようにして本実施形態では、フレームに含まれる細かい物体の動きベクトルの検出精度を落とすことなく、周期的なパターンを含んだ画像の動きベクトルの検出精度を向上することが可能となる。
【００３４】
尚、本実施例では、小ブロックを用いた動きベクトル検出と、大ブロックを用いた動きベクトル検出を並行して行ったが、このような動きベクトル検出を直列に行ってもよい。すなわち、小ブロックを用いて動きベクト検出を行い、信頼し得る動きベクトルの候補が複数見つかった場合に、大ブロックを用いて動きベクトル検出を行い、動きベクトル候補から最終的な動きベクトルを決定してもよい。このような直列処理を行うことにより回路規模を縮小することができる。
【００３５】
次に、ブロックマッチング処理の他の方式について説明する。図６は他のブロックマッチング処理を示す図である。
【００３６】
ブロックマッチングを用いた動きベクトルの検出方法としては、図２に示したような前フレーム内画像ブロックを、後フレーム内で単にシフトしてＳＡＤを求める方法の他に、図６のように、点対象の位置にある画像ブロックどうしのブロックマッチング処理を介して動きベクトルを求める方法がある。
【００３７】
すなわち図６の方法では、補間フレーム２１内の補間画像ブロック４１の挿入位置を中心として、それを挟む前フレーム２０上及び後フレーム２２上で点対象の位置にある画像ブロックどうしを画素毎に比較してＳＡＤを算出する。最も類似している（ＳＡＤが最も小さい）画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。この比較は、前フレーム２０中の所定探索範囲４０及び後フレーム２２内の対応する探索範囲４２において行われる。
【００３８】
互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック４３と画像ブロック４４であった場合、画像ブロック４３から画像ブロック４４までのベクトルが、補間画像ブロック４１の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック４３及び４４の画像データに基づいて、補間フレーム２１内の補間画像ブロック４１が作成される。
【００３９】
次に、画像ブロックのサイズ及び動きベクトルの探索範囲について説明する。
【００４０】
図７は小ブロックのサイズ及びその探索範囲の具体例を示し、図８は大ブロックのサイズ及びその探索範囲の具体例を示す。これらブロック及び探索範囲は、図２及び図６に示したブロックマッチング処理の両方に適用することができる。ここでは、図６に示したブロックマッチング処理に適用した例を詳細に説明する。また、説明を簡単にするため、主に水平方向のブロックマッチング処理について述べる。
【００４１】
図７において、ＳＢは小ブロック、ＳＳＲは小ブロックＳＢの探索範囲である。小ブロックＳＢのサイズは、例えば６４画素×２画素である。この小ブロックＳＢを前フレーム２０上では水平方向に−１２画素〜＋１２画素、垂直方向に−２画素〜＋２画素シフトする。同時にこの小ブロックＳＢを後フレーム２２上で水平方向に＋１２画素〜−１２画素、垂直方向に＋２画素〜−２画素シフトする。
【００４２】
つまり、補間フレーム２１上に挿入される補間画像ブロック４１（ここでは小ブロックＳＢに一致するサイズのブロック）を点対象の中心として、前フレーム２０上で小ブロックＳＢを例えば＋１２画素シフトした場合は、後フレーム２２上で小ブロックＳＢを−１２画素シフトする。両フレーム２０、２２で対応する画像ブロックどうしを、対応する画素単位で画素値を比較してＳＡＤを算出する。従って小ブロックＳＢを用いたブロックマッチングの場合、前フレーム２０上及び後フレーム２２上の探索範囲ＳＳＲは、ここでは共に８８画素×６画素である。
【００４３】
図８のように大ブロックＬＢのサイズは、例えば６４０画素×４画素である。この大ブロックＬＢを小ブロックＳＢと同様に、前フレーム２０上では水平方向に−１２画素〜＋１２画素、垂直方向に−２画素〜＋２画素シフトする。同時にこの大ブロックＬＢを後フレーム２２上で水平方向に＋１２画素〜−１２画素、垂直方向に＋２画素〜−２画素シフトする。
【００４４】
つまり、補間フレーム２１上に挿入される補間画像ブロック４１（ここでは大ブロックＬＢに対応するサイズのブロック）を点対象の中心として、前フレーム２０上で大ブロックＬＢを例えば＋１２画素シフトした場合は、後フレーム２２上で大ブロックＬＢを−１２画素シフトして、両フレーム２０、２２で対応する画像ブロックどうしを、対応する画素単位で画素値を比較してＳＡＤを算出する。従って大ブロックを用いたブロックマッチングの場合、前フレーム２０上及び後フレーム２２上の探索範囲ＬＳＲは、ここでは共に６６４画素×８画素である。
【００４５】
図９は、図７の小ブロック及び図８の大ブロックを用いて図６のブロックマッチング処理を行ったときの画像ブロックのシフト量とＳＡＤとの関係（ＳＡＤ特性）を示すグラフである。
【００４６】
図９において、横軸は画像ブロックの水平方向シフト量、縦軸はＳＡＤである。横軸のシフト量は、前フレーム２０上または後フレーム２２上の画像ブロックシフト量を示している。また横軸のシフト量は、９領域（領域１〜領域９）に分割されおり、領域５はシフト量が０の領域である。曲線α２は小ブロックを用いて得られたブロックマッチング処理結果、曲線β２は大ブロックを用いて得られたブロックマッチング処理結果を示す。
【００４７】
以下、このブロックマッチング処理について詳細に説明する。動きベクトル検出部１２の構成は、図５に示した構成とする。説明を簡単にするため、ここでも水平方向のブロックマッチング処理のみについて述べる。図１０は、このブロックマッチング処理におけるベクトル決定部１２ｃの動作を示すフローチャートである。小ブロック動きベクトル検出部１２ａ及び大ブロック動きベクトル検出部１２ｂの動作は、前述と同様であるから詳細な動作は割愛する。
【００４８】
ベクトル決定部１２ｃは、小ブロック動きベクトル検出部１２ａ及び大ブロック動きベクトル検出部１２ｂから、それぞれの検出処理結果（極小点の情報）を取得する（ステップ（ＳＴ）１０１）。
【００４９】
曲線α２のように、小ブロックＳＢを−１２画素から＋１２画素までシフトすると、ここでは４個の極小点ＰＳ１０〜ＰＳ１３が生じている。ベクトル決定部１２ｃは、小ブロック動きベクトル検出部１２ａから提供されるこれら極小点の極小値群から、さらに探索領域全体での最小値ＳＡＤｍｉｎを求める（ＳＴ１０２）。この最小値ＳＡＤｍｉｎから所定の範囲ＴＨに存在するＳＡＤ極小値（ＰＳ１０、ＰＳ１１、ＰＳ１２）が示す動きベクトル、すなわち「 │最小値−極小値│＜ＴＨ 」を満足する極小値を、信頼し得る動きベクトルの候補として選択する。
【００５０】
尚、信頼し得る動きベクトルの候補が１つのみであった場合（ＳＴ１０３のＮＯ）、ベクトル決定部１２ｃは、当該ＳＡＤ極小点の情報を動きベクトルとして、補間画像作成部１３に供給する（ＳＴ１０４）。
【００５１】
図９のように、信頼し得る動きベクトルが複数存在した場合には（ＳＴ１０３のＹＥＳ）、探索領域内に周期的パターンが存在すると判断し、大ブロック動きベクトル検出部１２ｂにて検出された動きベクトルを参照する（ＳＴ１０５）。ベクトル決定部１２ｃは、該複数存在する信頼し得る動きベクトル候補の中で、大ブロックＬＢを用いて検出した極小値ＰＬ２に最も近い極小値ＰＳ１が示すベクトルを、補間画像ブロック４１の作成に用いる動きベクトルして採用する（ＳＴ１０６）。
【００５２】
尚、ステップ１０６において、大ブロックを用いて検出した極小点が複数存在する場合は、該複数の極小点のうち、最も小さいＳＡＤを有する極小点を、最も信頼性の高い極小点（動きベクトル）と判断する。従って、ベクトル決定部１２ｃは、小ブロックＳＢを用いて検出した複数の極小点（動きベクトル候補）の中で、大ブロックＬＢを用いて検出した最も信頼性の高い極小点に最も近い極小点を、補間画像ブロック４１の作成に用いる動きベクトルして採用する。
【００５３】
図１１は動きベクトル検出部１２の他の構成例を示すブロック図である。
【００５４】
この動きベクトル検出部は、第１〜第Ｎブロック動きベクトル検出部１２ａ〜１２ｎを有する。第１〜第Ｎブロック動きベクトル検出部１２ａ〜１２ｎは、互いにサイズの異なるＮ個（２＜Ｎ）のサイズのブロックを用いたブロックマッチング処理を行う。第１ブロック動きベクトル検出部１２ａは、最も小さいブロックを用いたブロックマッチング処理を行い、第Ｎブロック動きベクトル検出部１２ａは、最も大きいブロックを用いたブロックマッチング処理を行う。
【００５５】
ベクトル決定部１２ｐは、第１ブロック動きベクトル検出部１２ａにより、動きベクトル候補が複数検出された場合には、検出された複数の動きベクトル候補の中で、第２〜第Ｎブロック動きベクトル検出部１２ｎを用いて検出された動きベクトルのうち、最も信頼度の高い動きベクトルに最も近いものを、当該補間ブロックを作成する際に用いる動きベクトルとして採用する。これにより、周期的パターンを有するフレームに対する動きベクトル検出における更に高い検出精度を実現できる。
【００５６】
以上説明したように、本発明の実施形態によれば、周期的なパターンを含んでいる画像に対して、動きベクトルの検出精度を向上させることが出来る。
【００５７】
以上の説明はこの発明の実施の形態であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができるものである。
【図面の簡単な説明】
【００５８】
【図１】本発明による補間フレーム作成装置の一実施形態を示すブロック構成図である。
【図２】ブロックマッチング処理の一例を説明するための図である。
【図３Ａ】前フレーム２０内の物体３０が、水平方向に１０画素分移動して、後フレーム２２内に位置している様子を示す図である。
【図３Ｂ】ブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係を示すグラフである。
【図４Ａ】入力されるフレームが周期的パターンを含む場合の本発明に係るブロックマッチング処理の様子を示す図である。
【図４Ｂ】図４Ａのような入力フレームのブロックマッチング処理における画像ブロックシフト量とＳＡＤの関係を示すグラフである。
【図５】動きベクトル検出部１２の構成例を示すブロック図である。
【図６】他のブロックマッチング処理を示す図である。
【図７】小ブロックのサイズ及びその探索範囲の具体例を示す図である。
【図８】大ブロックのサイズ及びその探索範囲の具体例を示す図である。
【図９】図７の小ブロック及び図８の大ブロックを用いて図６のブロックマッチング処理を行ったときの画像ブロックのシフト量とＳＡＤとの関係を示すグラフである。
【図１０】ブロックマッチング処理におけるベクトル決定部１２ｃの動作を示すフローチャートである。
【図１１】動きベクトル検出部１２の他の構成例を示すブロック図である。
【符号の説明】
【００５９】
１０…補間フレーム作成装置、１１…フレームメモリ、１２…動きベクトル検出部、１３…補間画像作成部。
【特許請求の範囲】
【請求項１】
入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成方法であって、
前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する工程とから成り、
前記ブロックマッチング処理は、
サイズの異なる２つのブロックを用いて、補間フレーム内の補間ブロックについて、それぞれ動きベクトル候補を検出する工程と、
前記サイズの異なる２つのブロックのうち小さいブロックを用いて、前記動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を、前記補間ブロックを作成する際に用いる動きベクトルとして採用する第１採用工程と、
前記小さいブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、検出された複数の動きベクトル候補の中で、前記２つのブロックのうち大きいブロックを用いて検出された最も信頼度の高い動きベクトルに最も近いものを、前記補間ブロックを作成する際に用いる動きベクトルとして採用する第２採用工程を含むことを特徴とする補間フレーム作成方法。
【請求項２】
前記小さいブロックを用いたブロックマッチング処理は、前記入力フレーム画像の前フレーム画像上及び後フレーム画像上の画像ブロックの互いに対応する画素値どうしの差分絶対値を算出し、該差分絶対値の累積加算値を示すＳＡＤが極小となるブロック対の前記探索範囲内位置に基づく動きベクトルを、前記動きベクトル候補として選択することを特徴とする請求項１記載の補間フレーム作成方法。
【請求項３】
前記第１採用工程は、
前記小さいブロックを用いたブロックマッチング処理において、複数のＳＡＤ極小値が検出された場合、該極小値群からさらに前記探索領域全体におけるＳＡＤ最小値を求める工程と、
前記ＳＡＤ最小値から所定の範囲ＴＨに存在するＳＡＤ極小値が示す動きベクトルを信頼し得る動きベクトル候補として選択する工程と、
前記複数の信頼し得る動きベクトル候補のＳＡＤ極小値の中で、前記大きいブロックを用いて検出したＳＡＤ極小値の位置に最も近いＳＡＤ極小値が示すベクトルを、前記補間ブロックの作成に用いる動きベクトルして採用する工程とを含むことを特徴とする請求項２記載の補間フレーム作成方法。
【請求項４】
前記ブロックマッチング処理は、互いにサイズの異なる３つ以上のブロックを用いて、前記補間フレーム内の補間ブロックについて、それぞれ動きベクトル候補を検出する工程を含み、
最も小さいブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、検出された複数の動きベクトル候補の中で、前記最も小さいブロック以外のブロックを用いて検出された動きベクトルのうち、最も信頼度の高い動きベクトルに最も近いものを、前記補間ブロックを作成する際に用いる動きベクトルとして採用する工程を含むことを特徴とする請求項１記載の補間フレーム作成方法。
【請求項５】
入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成装置であって、
前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する動きベクトル検出手段と、
前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する手段を含み、
前記動きベクトル検出手段は、
サイズの異なる２つのブロックを用いて、補間フレーム内の補間ブロックについて、それぞれ動きベクトル候補を検出する手段と、
前記サイズの異なる２つのブロックのうち小さいブロックを用いて、前記動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を、前記補間ブロックを作成する際に用いる動きベクトルとして採用する第１採用手段と、
前記小さいブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、検出された複数の動きベクトル候補の中で、前記２つのブロックのうち大きいブロックを用いて検出された最も信頼度の高い動きベクトルに最も近いものを、前記補間ブロックを作成する際に用いる動きベクトルとして採用する第２採用手段を具備することを特徴とする補間フレーム作成装置。
【請求項１】
入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成方法であって、
前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する工程とから成り、
前記ブロックマッチング処理は、
サイズの異なる２つのブロックを用いて、補間フレーム内の補間ブロックについて、それぞれ動きベクトル候補を検出する工程と、
前記サイズの異なる２つのブロックのうち小さいブロックを用いて、前記動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を、前記補間ブロックを作成する際に用いる動きベクトルとして採用する第１採用工程と、
前記小さいブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、検出された複数の動きベクトル候補の中で、前記２つのブロックのうち大きいブロックを用いて検出された最も信頼度の高い動きベクトルに最も近いものを、前記補間ブロックを作成する際に用いる動きベクトルとして採用する第２採用工程を含むことを特徴とする補間フレーム作成方法。
【請求項２】
前記小さいブロックを用いたブロックマッチング処理は、前記入力フレーム画像の前フレーム画像上及び後フレーム画像上の画像ブロックの互いに対応する画素値どうしの差分絶対値を算出し、該差分絶対値の累積加算値を示すＳＡＤが極小となるブロック対の前記探索範囲内位置に基づく動きベクトルを、前記動きベクトル候補として選択することを特徴とする請求項１記載の補間フレーム作成方法。
【請求項３】
前記第１採用工程は、
前記小さいブロックを用いたブロックマッチング処理において、複数のＳＡＤ極小値が検出された場合、該極小値群からさらに前記探索領域全体におけるＳＡＤ最小値を求める工程と、
前記ＳＡＤ最小値から所定の範囲ＴＨに存在するＳＡＤ極小値が示す動きベクトルを信頼し得る動きベクトル候補として選択する工程と、
前記複数の信頼し得る動きベクトル候補のＳＡＤ極小値の中で、前記大きいブロックを用いて検出したＳＡＤ極小値の位置に最も近いＳＡＤ極小値が示すベクトルを、前記補間ブロックの作成に用いる動きベクトルして採用する工程とを含むことを特徴とする請求項２記載の補間フレーム作成方法。
【請求項４】
前記ブロックマッチング処理は、互いにサイズの異なる３つ以上のブロックを用いて、前記補間フレーム内の補間ブロックについて、それぞれ動きベクトル候補を検出する工程を含み、
最も小さいブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、検出された複数の動きベクトル候補の中で、前記最も小さいブロック以外のブロックを用いて検出された動きベクトルのうち、最も信頼度の高い動きベクトルに最も近いものを、前記補間ブロックを作成する際に用いる動きベクトルとして採用する工程を含むことを特徴とする請求項１記載の補間フレーム作成方法。
【請求項５】
入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成装置であって、
前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する動きベクトル検出手段と、
前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する手段を含み、
前記動きベクトル検出手段は、
サイズの異なる２つのブロックを用いて、補間フレーム内の補間ブロックについて、それぞれ動きベクトル候補を検出する手段と、
前記サイズの異なる２つのブロックのうち小さいブロックを用いて、前記動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を、前記補間ブロックを作成する際に用いる動きベクトルとして採用する第１採用手段と、
前記小さいブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、検出された複数の動きベクトル候補の中で、前記２つのブロックのうち大きいブロックを用いて検出された最も信頼度の高い動きベクトルに最も近いものを、前記補間ブロックを作成する際に用いる動きベクトルとして採用する第２採用手段を具備することを特徴とする補間フレーム作成装置。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−３５４０４（Ｐ２００８−３５４０４Ａ）
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願番号】特願２００６−２０８７９２（Ｐ２００６−２０８７９２）
【出願日】平成１８年７月３１日（２００６．７．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願日】平成１８年７月３１日（２００６．７．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]