ハローを低減する画像補間
画像補間器が提示される。その補間器は、ブロックベースの動き推定器を利用してブロックベースの動きベクトルを提供し、前記ブロックベースの動き推定器に結合される動きベクトル選択器を利用して、ピクセルベースの動きベクトルを提供する。第１の画像補間器は、選択された動きベクトルから第１の補間画像を提供する。第２の画像補間器は、ハローを低減する補正を含み、選択された動きベクトルを補正する。後処理を利用して、さらにハロー効果を低減することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は、2007年12月20日出願の米国特許仮出願第61/015,228号及び2007年12月21日出願の米国特許仮出願第61/015,970号による優先権を主張し、その両方とも参照により、全体としてここに組み込まれるものとする。
【０００２】
本発明は、画像補間における動き補償のアーチファクト低減に関し、より具体的には補間画像内のハローの低減に関する。
【背景技術】
【０００３】
動き補償に基づく画像補間は、確立した技術である。動き補償の１つの例はフレームレート変換（FRC）であり、その変換は、ビデオにおいてリフレッシュレートを上げ（または下げ）、１秒当りより多くの画像（またはより少い画像）を表示させるのにしばしば利用される。ビデオを補間して１秒当り多くの画像数にすることの１つの利点は、LCDパネルで利用できるより高いリフレッシュレートによって、動きがより滑らかに見えるということである。別の利点は、通常１秒当り24フレーム（fps）であるフィルムコンテンツのビデオへの変換においてである。ビデオでは30、50、60、100、120、200または240fpsがあり得る。より少ない画像に補間することの利点は、一般的に使用されている規格間、例えば全米テレビジョン放送方式標準化委員会（NTSC）の60Hzから位相反転線（PAL）規格の50fpsへの変換においてである。
【０００４】
FRCは、特にリアルタイムビデオでは、非常に困難である。多くの以前の解決策が、この問題に対処しようとした。しかし、特にリアルタイムアプリケーションでは、これらの解決策は、すべてアーチファクトを引き起こす。大部分の先行技術の方法は、動き補償（MC）と動き推定（ME）のためにブロックベースの動きベクトル（MV）の推定を使用する。これらの先行技術の解決策では、漸進的画像にとってさえ、ハロー効果、ちらつき、ブロックアーチファクトを含め、多くのアーチファクトが生じる。
【０００５】
MV推定が、一定で予め定められたサイズのピクセルブロックに基づく場合、ブロックアーチファクトが発生することがある。この場合、ブロック内でたとえ様々に動いている様々な物体または領域があるとしても、ブロックのすべてのピクセルは同じMVを有することになっている。さらに、所与のブロックに隣接したブロックが、なんらかの理由で異なる推定動きベクトルを有する場合、同じ領域のピクセルが異なる隣接ブロックでは異なる方向に移動されるので、ブロック境界がより顕在化する。
【０００６】
ちらつきは、動き補償された画像補間における別のアーチファクトである。画像列における２、３のピクセルの動きベクトルがあるフレームから別のフレームへと亘って整合性がない場合、このアーチファクトが発生する。その不整合は、通常、小さな領域における動きベクトルの誤った計算に起因する。
【０００７】
ハロー効果は、物体が背景に対して動いている場合、動画像列の画像の前景の物体の周りで発生する。背景は静止し、物体が移動していてよく、またはその逆であってよい。場合によっては、例えば、ビデオゲームシーケンスにおいて、そうであるように、物体と背景とも移動している。ハロー効果の原因は、閉塞(occlusion)領域での誤ったMV推定である。ハロー効果の視覚は、物体がそれらの周りに異なる特徴のハローを有するように見えるということである。たとえば、ある場面において歩いている人の顔は、あたかも一部の背景が顔とともに移動しているように、ハローによって囲まれているように見えることがある。
【０００８】
様々なハロー低減アルゴリズムが開発されてきた。米国特許第6,625,333号に説明されているように、ハロー低減は、物体ベースの補間に基づいてよい。しかし、この技術は物体の区分け(segmentation)と物体の色付けを意味し、それはさらなるフレームメモリとさらなる帯域幅を必要とする。さらに、提案されたMV補正は、フレームベースの多数の繰り返しを必要とし、それらの繰り返しは、リアルタイム処理には向いていない。
【０００９】
２個より多いフレームのデータの解析を含むマルチフレーム解決策も提案された。例えば、米国特許第6,005,639号;米国特許第6,011,596号;米国特許第7,010,039号;米国特許出願公開第2007/0121725（Al）号;K.Sugiyama、T.Aoki & S.Hangai、「Motion Compensated Frame Rate Conversion Using Normalized Motion Estimation」,2005 IEEE Workshop on Signal Processing Systems - Design and Implementation (SiPS 2005), Athens, Greeceを参照されたい。被覆(covering)/現出（uncovering)/非閉塞(no occlusion)の検出とMV補正のマルチフレームの解決策は、基本的に前の前の画像フレーム及びずっと後の画像フレームに基づく。マルチフレーム解決策は、大きな画像メモリと、メモリとプロセッサ間の非常に増大した帯域幅とを必要とする。
【００１０】
提案された２-フレーム解決策は、MV補正（または再推定）、補間戦略、及び/またはこれらの２つの方法の混合に基づく。MV補正において、前景と背景の動きベクトルを分離することは、ハロー効果を低減する可能な方法でもある。画像の境界に設定される動きベクトルを可能な背景MVとして使用することが、米国特許出願公開第2006/0072790(A1)号で提案されている。しかし、境界MVが背景MVであるという仮定が必ずしも有効であるという訳ではない。背景MVの推定はさらなるフレーム待ち時間と余分なメモリを必要とする。
【００１１】
メジアンフィルタリング、すなわち補間戦略の例が、G.de Haan、「IC for Motion-Compensated De-Interlacing、Noise Reduction and Picture Rate Conversion」、IEEE Trans. on CE,Vol.45,No.3,Aug 1999に提案されている。この文献では、メジアンフィルタリング補間は、順方向画像補間値と、逆方向画像補間値と、２つの既存の画像の平均値との中央値である。さらに、順方向MV及び逆方向MVは、単一の再帰的に推定されたMVを使って得られる。ここに記載されているように、メジアンフィルタリング補間は非閉塞領域では一般に良い結果をもたらすことができる。しかし、閉塞領域では、メジアンフィルタリング方法を利用して推定されるMVは、もはや正しくない。
【００１２】
個々の補間の加重平均が、米国特許第7,039,109号で提案されている。隣接グループのMVによって提供される個々の補間はまた、順方向補間値、逆方向補間値、及び２つの既存画像の平均値のメジアンフィルタリングに基づく。この特許で記載されているMVは、現画像から次の画像へブロックベースで順方向に推定される。個々の補間のために指定される重みは、隣接グループにおける、予測された光度の差および／またはMVの出現の相対度数の関数の信頼度である。MVの境界検出が、複雑さ軽減のためにも用意されている。しかし、グループまたはブロックベースのMV解決策は、ブロッキング効果をもたらす場合がある。その上、１つのブロックに対する単一の（順方向）MVは、画像の閉塞部分では不十分な場合がある。さらに、MVの境界検出は、ソフトウェアシミュレーションによいだけである。また、MVが大きい場合、ピクセルベースの画像平均化は、閉塞領域の補間画像をぼやけさせる、または、画像にダブリング効果をもたらす場合がある。
【００１３】
米国特許第6,219,436号では、被覆/現出の検出、即ち、２乗または４乗の誤差を有する第２のブロックベースのMEが、より高い精度のために提案されている。検出される「実際」の被覆/現出領域の関数において、移される位置のMVを使用することによってMVを補正することが、提案されている。しかし、検出される領域に対する適切な平均値による様々なメジアンフィルタリング戦略が、実際はその特許で示されているより好ましい解決策である。
【００１４】
米国特許第6,487,313号と米国特許第7,058,227号の両方においては、MVフィールド(field)における不連続が、移動物体の境界に対応すると仮定されている。こうして、閉塞領域を決定するMV長、検出される閉塞領域の精度を上げるために小さいブロックサイズによるさらなる双方向内挿誤差の計算、及び最終的な補間のための様々なメジアンフィルタリングの使用が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかし、物体が均一ではあるがノイズのある領域から成る場合、MV長は必ずしも信頼できるパラメータであるという訳ではない。MVフィールドの不連続と移動物体の境界はコストの掛かる精度を必要とする。そして、MVが補正されていないので、メジアンフィルタリングはまだその場限りの技術である。
【００１６】
したがって、実行するのに大量のメモリを必要としない画像プレーンの高速な補間を提供する必要がある。
【課題を解決するための手段】
【００１７】
本発明の実施形態による画像補間器は、第１の画像と第２の画像間でブロックベースの動きベクトルを推定する動き推定器と、
前記動き推定器に結合され、前記ブロックベースの動きベクトルに基づいて選択された動きベクトルを提供する動きベクトル選択器と、
前記選択された動きベクトルを受け取り、前記第１の画像と前記第２の画像間のプレーンに対して第１の補間画像を提供するように結合される第１の補間器と、
前記第１の補間画像を受け取り、前記選択された動きベクトルを補正して補正された動きベクトルを形成し、補正された動きベクトルに基づいて第２の補間画像を提供するように結合される第２の補間器と、を含んでよい。
【００１８】
本発明による別の画像補間器は、隣接画像を受け取ってブロックベースの順方向動きベクトルと、ブロックベースの逆方向動きベクトルと、順方向誤差と、逆方向誤差とを提供するように結合されるブロックベースの動き推定器と、
前記ブロックベースの動き推定器に結合され、ピクセルベースの選択された順方向動きベクトルと、ピクセルベースの選択された逆方向動きベクトルと、ピクセルベースの順方向誤差と、ピクセルベースの逆方向誤差とを提供する動きベクトル選択器と、
前記ブロックベースの動き推定器と前記動きベクトル選択器とに結合され、前記選択された順方向動きベクトルと前記選択された逆方向動きベクトルとから、第１の補間画像を提供する第１の画像補間器と、
前記第１の画像補間器と前記動きベクトル選択器とに結合され、第２の補間画像と、補正された順方向動きベクトルと、補正された逆方向動きベクトルとを提供する第２の画像補間器と、
前記第１の画像補間器と前記第２の画像補間器とに結合され、前記第２の補間画像と、前記補正された順方向動きベクトルと、前記補正された逆方向動きベクトルとから、最終補間画像を提供する後処理ブロックと、を含んでよい。
【００１９】
本発明の実施形態による、第１および第２の隣接画像の間の画像を補間する方法は、前記第１および第２の隣接画像間でブロックベースの順方向動きベクトルとブロックベースの逆方向動きベクトルとを推定することと、
前記ブロックベースの順方向動きベクトルと順方向誤差関数とに基づいて前記画像の各ピクセルに対して順方向動きベクトルを選択することと、
前記ブロックベースの逆方向動きベクトルと逆方向誤差関数とに基づいて前記画像の各ピクセルに対して逆方向動きベクトルを選択することと、
前記選択された逆方向動きベクトルと、前記選択された順方向動きベクトルと、ブロックベースの順方向の推定誤差と、ブロックベースの逆方向の推定誤差とから、第１の画像を補間することと、
前記選択された順方向動きベクトル及び前記選択された逆方向動きベクトルの順方向及び逆方向の加重誤差に基づいて、前記第１の画像から第２の画像を補間することと、
前記第２の画像から前記画像を決定することと、を含む。
【００２０】
本発明によるこれらと他の実施形態は、以下の図を参照してさらに以下に説明される。
【図面の簡単な説明】
【００２１】
【図１】２つの隣接画像の間の画像プレーンの補間を例示している。
【００２２】
【図２】本発明による画像補間器の実施形態のブロック図を示す。
【００２３】
【図３】本発明によるいくつかの実施形態において利用される、前景領域、背景領域、被覆(Covering)領域、及び現出(uncovering)領域を例示している。
【００２４】
【図４Ａ】移動物体と、前景領域に中心を置くスライディング・ウインドウとを例示している。
【００２５】
【図４Ｂ】移動物体と、閉塞(occlusion)領域に中心を置くスライディング・ウインドウとを例示している。
【００２６】
【図５Ａ】前景領域に中心を置く、３個の領域に区分けされたスライディング・ウインドウを例示している。
【００２７】
【図５Ｂ】閉塞領域に中心を置く、３個の領域に区分けされたスライディング・ウインドウを例示している。
【００２８】
【図６】MV補正の可能な決定を例示している。
【００２９】
【図７】２つの既存の連続画像間に複数の画像を補間することを例示している。
【００３０】
【図８】ハローを低減する、図２で示すような第２の動き補間器を例示している。
【００３１】
【図９】背景格子の後処理においてハロー低減の更なる処理を例示している。
【００３２】
【図１０】後処理において実行可能なフリッカー低減の処理を例示している。
【００３３】
図においては、同じまたは類似した機能を有する要素には、可能な限り、同じ記号表示を有するようにしている。
【発明を実施するための形態】
【００３４】
フレームレート変換（FRC）アプリケーションでは、「ハロー効果」は、前景物体が詳細な背景に対して移動している場合に生じる視覚のアーチファクトである。本発明によるハロー効果を低減するシステムは、ピクセルベースの動きベクトル（MV）の選択、予備補間、MV前景/背景補正の局所形状適応ウィンドウイング、さらにいくらかの後処理を有する最終的な補間を含む。予備及び最終画像補間は、順方向及び逆方向動きベクトル推定値の局所の差分絶対値合計（SADs）の出現頻度に基づく。次に、ハロー低減のMV補正は、実質的に局所画像強度及び局所MV変化に基づいてよい。いくつかの実施形態は、画像メモリ使用量と、画像メモリと画像プロセッサ間の通信帯域幅とに対して効率的な非反復的な技術である。
【００３５】
図１は、２つの連続画像104と106から補間されるべき補間画像（α-プレーン）102の時間的位置を例示している。提案されているマルチフレームの解決策（米国特許第6,005,639号、米国特許第6,011,596号、米国特許第7,010,039号、米国特許出願公開第2007/0121725 A1号、そして、K.Sugiyama, T.Aoki＆S.Hangaiの「Motion Compensated Frame Rate Conversion Using Normalized Motion Estimation」を参照のこと）に反して、補間画像102は、２つの連続画像、画像104 Inと画像106 In-1だけからの情報に基づいている。図１で示すように、画像104と106が、「アルファ（α）プレーン」と呼ばれる任意の時間距離、即ち画像104 In から時間的距離α、及び画像106 In-1から時間的距離（1-α）にある画像102を補間するのに使用される。２つの既存の画像だけが補間のために使用されるので、本発明によるいくつかの実施形態はメモリ、帯域幅、速度の観点から有利である。本発明のいくつかの実施形態は、視覚的に好ましい補間画像を生成し、容認可能なリアルタイムFRC解決策を提供する。
【００３６】
図２は、本発明に従う画像補間器200の形態を例示している。画像104 In-1と106 In を表すデータが、画像補間器200に入力される。α-プレーン102における画像に相当する補間画像 Ifが、画像補間器200から出力される。画像補間器200は、動き推定器（ME）202と、動きベクトル選択器（MVS）204と、第１の動き補間器（MI1）210と、第２の動き補間器（MI2）206と、後処理（PP）ブロック208とを含む。画像入力In-1とIn は、ME 202、MVS 204、MI1 210、MI2 206、及びPP 208の各々によって受け取られる。
【００３７】
動き推定器 202が画像データIn 及びIn-1を解析し、そして、図１に示すように単一ブロックに対して、順方向動きベクトル（MVF）及び逆方向ベクトル（MVB）を提供する。ME 202は、順方向動きベクトルMVF及び逆方向動きベクトルMVBを推定するのに使用されるブロックマッチングアルゴリズムであってよい。順方向動きベクトル（MVF）は、画像106、In 内のマッチしたブロックに対する、画像104、In-1内の所与の画像ブロックの変位を示す。逆方向動きベクトル（MVB）は、画像104、In-1内のマッチしたブロックに対する、画像106、In 内の所与のブロックの変位を示す。さらに、ME 202は、順方向及び逆方向の差分絶対値合計の誤差SADFとSADBを生成して、全探索・評価し、それぞれ、MVFとMVBを生成する。数学的には、SADF、SADB、MVF、及びMVBは、以下の通り規定してよい：
【数１】
MVF＝所与の検索範囲でSADFを最小にするｋ* (１)
MVB＝所与の検索範囲でSADBを最小にするｋ*
式（１）において、N（BW）はブロックBWのサイズを示し、ｘは現ブロックBWのピクセル座標、そして、ｙは現ブロックBW内のピクセルの座標である。精度のために、SADF、SADB、及び対応する動きベクトルは、ブロックBW内にあるピクセルサイズｍ×ｎの小さなウインドウブロックＢと関係付けてよい。したがって、ブロックベースのMVフィールドが、結果として、画像104、In と106、In-1の各々に対して、生成される。動き推定器202として利用できる動き推定器の例が、本開示と同時に出願の米国特許出願｛代理人整理番号09145.0091-00000｝にさらに記載されている。その特許出願は、参照によってここに、全体が組み込まれるものとする。
【００３８】
いくつかの実施形態において、格子(lattice)の検出または推定の有無にかかわらず、ME 202で実行される動き推定は、特定の検索範囲に適応させてよい。格子検出を有するME 202は、取得可能な場合、ブロックベースの周期的検出信号とグローバルなMVとを提供してもよい。
【００３９】
インタレース画像に適切な実施形態において、ME 202で実行される動き推定は、同じおよび／または逆の偶奇性(parity)を有する隣接フィールドに対して直接実行してよい。あるいは、結果として生じるエイリアス効果を最小にするのに適合しているいくつかの実施形態においては、動き推定は、適切なフィルタリングと流れ(cadence)検出によって非インタレース画像版に対して実行してよい。
【００４０】
MV選択器（MVS）204は、画像102のアルファ（α）プレーンにおいてMVフィールド（すなわちME 202からのすべてのMVFとMVB）をブロックベースからピクセルベースに変換する。このようなものとして、MVS 204は、画像データIn-1とInだけでなく、ME 202からの順方向および逆方向動きベクトルMVFとMVB、及び値SADFとSADBを受け取るように結合される。ブロックベースのデータからピクセルベースのデータへの変換は、いくつかの実施形態において、ブロッキング効果の低減に効果的である。MVS 204は、各ピクセルにピクセル自身の順方向MVとピクセル自身の逆方向MVを与え、順方向および逆方向動きベクトルに対応する２つのピクセルベースのMVフィールドを生成する。
【００４１】
MVS 204はフィールドMVFとMVBを取り込み、画像102のα-プレーンにおいてMVFとMVBの各々に対するピクセルベースの動きベクトルの選択を行う。α-プレーンにおける各時間及び空間ピクセル位置Ｐに対して、ピクセル位置Ｐを囲むｍ×ｎピクセルのブロックを考える。ここで、Ｐはｍ×ｎピクセルのブロックのほぼ中心にある。次に、画像104、In と画像106、In-1の両方おいて、Ｐに対応する画像104及び106内の位置の周りの、ｍ×ｎピクセルの同等ブロックの数ｐ×ｑ個からなるエリアが調べられる。そのエリアは、総計ｐ×ｑ×ｍ×ｎピクセルのブロックのエリアになる。画像104のデータIn 及び画像106のデータIn-1におけるこれらのエリアは、したがって、α-プレーン102のｍ×ｎブロックよりｐ×ｑ倍大きい。２つの画像プレーン104、In 及び106、In-1における２つのｍ×ｎピクセルブロックは、図１で例示されるようにα-プレーン102における現ｍ×ｎピクセルブロックの空間位置に対応し、それぞれこれらのより大きなエリアのほぼ中心にある。下記のように、ME 202からの出力であってプレーン104、In-1からプレーン106、Inに向いているすべてのブロックベースのMVFが調べられ、もっともよいMVFが特定され選択される。同様に、ｐ×ｑ×ｍ×ｎピクセルによって画定される近傍において、プレーン106、Inからプレーン104、In-1に向いているもっとも良いMVBが見出される。これらの選択されたMVFとMVBの結果であるFsとBsが、MVS 204から出力される。
【００４２】
水平方向の隣接ブロック数ｐは、たとえば、動きベクトルMVFの水平成分の長さ、α値、及び水平方向のブロックサイズｍの関数として決定してよい。しかし、いくつかの実施形態においては、すべてのαに対して、ピクセルｘの周りの一定の正方形（±２ｘ±２）（ｐ＝５とｑ＝５）の隣接ベクトルを考えてよい。
【００４３】
座標ｘの注目のピクセルにおいて、25個のMVF候補の各々に対して、局所誤差LERFpq（x）を、次のようにN（ｗ）個のピクセルの所与のウインドウｗで計算してよい。LERFpq（x）は、次によって与えてよい。
【数２】
ｘ、ｋ、MVFpqは整数であり、そして、αは分数であるので、式(２)の必要な値In（x+k+αMVFpq）とIn-1（x+k-（1-α）MVFpq）は、２つの画像の適切な空間的内挿を用いて取得してよい。
【００４４】
いくつかの実施形態においては、下のように定義される合成局所誤差CERFpq（x）がより良い結果を与える：
CERFpq（x）＝a.LERFpq（ｘ）＋(1-a)SADFpq (３)
ここでパラメータaは、1/2より大きい。
【００４５】
MVフィールドにおける平滑性を守るために、ペナルティ係数pfとペナルティ補正値poが、以下の加重局所誤差WERFpq（x）に導入される：
WERFpq（x）＝pf.CERFpq（x）＋po (４)
いくつかの実施形態においては、たとえば、動きベクトルMVFの水平または垂直成分が、対応する隣接平均値とは所定の閾値だけ異なる場合、pfは２に、そしてpoは１か２に設定してよい。さもなければ、pfは１に、poは０に設定してよい。現ピクセル場所に格子がある場合、閾値はより小さく設定してよい。
【００４６】
選択される順方向および逆方向動きベクトルFsは、誤差関数を最小にするベクトルである。たとえば、加重誤差関数が利用される場合、選択される順方向動きベクトルFsはWERFpq（x）を最小にするMVFp*q*に一致する。さらに、ｐとｑのいくつかの値に対して、等しいWERFpq（x）がある場合、コンフリクト状態を避けるために、あるブロック優先度Ppqを規定することができる。優先度は中心ブロックからの距離の関数であってよく、中心ブロックが最も高い優先度を有する。
【００４７】
選択される逆方向動きベクトルBsは、同じように選択することができる。付随の局所誤差LERBpq（x）、合成誤差CERB（x）、加重誤差WERB（x）は、それぞれ次によって与えられる。
【数３】
CERBpq（x）＝a.LERBpq（x）＋(1-a)SADBpq (６)
WERBpq（x）＝pf.CERBpq（x）＋po (７)
【００４８】
このように、α-プレーン102の各ピクセルｘに対して、MVS 204は、一対の順方向および逆方向動きベクトルFsとBsと、それぞれに対応する付随の最良の加重局所誤差WERMFとWERMBを出力する。MVS 204で実行される計算結果は、次に第１及び第２の動き補間器、MI1 210とMI2 206において利用してよい。
【００４９】
いくつかの実施形態において、MI1 210とMI2 206は、ハロー効果低減と画像補間とを行う。以前述べた解決策（例えば、米国特許第6,219,436号（第２の動き推定器の利用を教示）と米国特許第6,487,313号または米国特許第7,058,227号（MV長の利用を教示））に反して、閉塞(occlusion)の被覆(covering)及び現出(uncovering)領域は、MI1 210とMI2 206では陽に検出はされない。
【００５０】
いくつかの実施形態においては、第１の動き補間器(MI1)210は「オンザフライ」またはパイプラインで動作する。MI1 210は、MI2 206における処理用の補間画像全体を利用しない場合がある。MI1は、原画像104、Inと106、In-1からα-プレーン102における予備補間画像を生成する。MI1 210でさらに実行される予備補間は、選択されたMVFであるFs、選択されたMVBであるBs、局所SADF、及び局所SADBを利用してもよい。原理上、選択されたMVFとMVBのうちの１つが、閉塞の被覆及び現出領域で使用される。
【００５１】
被覆の閉塞された領域（covering and occluded areas）は、図３に例示されている。図３で示すように、被覆領域304に関して、MVとα-プレーン102の集合積は、In-1における背景領域306及びIn-1における前景領域302に対応する。したがって、選択されたMVBであるBsとIn-1とが、この被覆領域のために使用される。図３で示すように、このやり方は、背景物体から前景物体に向いている選択されたMVF Fsの可能性を最小にすることができ、その逆も同様である。同様に、現出領域308に対しては、選択されたMVFであるFs とIn とが使用される。しかし、被覆領域と現出領域304、308の集合和である閉塞(occlusion)領域では、動きベクトルFsもBsも有効ではない。なおまた、より高いロバスト性を提供するために、（In 、Fs）と（In-1、Bs）とを組み合わせることによってコンテクストベースの補間法が利用できる。コンテクストは、M×Nサイズのスライディング・ウインドウにおけるピクセル数NbFBに基づく。NbFBは、それがまた、Bs即ち選択されたMVBで補間されるべきピクセルの数である。
【００５２】
SFとSBを、それぞれ、SADFとSADBのピクセルベースの値とする。さらに、S1とS2を適当な閾値とする。ピクセルの数NbFBの値は、スライディング・ウインドウM×Nにおける次のようなピクセルの数として規定してよい：
αが１/2以上であるならば、
NbFB＝#_of_pixels:(SB＜S1)or[(SB≧S1)&(SB≦SF+S2)] (８)
言い換えると、NbFBは、SBが閾値S1より小さいか、またはSBが閾値S1以上であって且つSBがSFと第２の閾値S2の和より小さいようなピクセルの数である。
αが１/2未満であるならば、
NbFB＝(M×N)- #_of_pixels:(SF＜S1)or[(SF≧S1)&(SF≦SB+S2)] (９)
言い換えると、NbFBは、SFが閾値S1より小さいか、またはSFが閾値S1以上であって且つSFがSFと第２の閾値S2の和より小さいようなピクセルの数の補数である。S1とS2は、それぞれ５と１に設定してよい。
【００５３】
EFをウィンドウサイズによって正規化されたNbFBの値とし、EBを対応する補数値とする。いくつかの実施形態においては、MI1 210は、次にコンテクストベースの補間を行うことができる。
Ii1（ｘ）＝EB.In (ｘ+αFs）＋EF.In-1（ｘ+（1-α）Bs） (10)
いくつかの実施形態においては、式(10)で記述される補間の代わりに、MI1 210は以下のような時間的距離αの関数である補間を構成してよい：
1>α≧3/4の場合、
Ii1（ｘ）＝EB.In-1（ｘ-（1-α）Fs）＋EF.In-1（ｘ+（1-α）Bs）；
1/4≧α>0の場合、
Ii1（ｘ）＝EB.In (ｘ+αFs）＋EF.In (ｘ-αBs）； (11)
3/4>α>1/4の場合、
Ii1（ｘ）＝EB.In (ｘ+αFs）＋EF.In-1（ｘ+（1-α）Bs）。
MI1 210は、次に補間画像Ii1、局所ピクセル数NbFB、局所ピクセルベースのSF、局所ピクセルベースのSBをMI2 206に出力する。そのMI2 206は、ハロー低減と第２の画像補間を実行する。
【００５４】
第２の動き補間器（MI2）206は、MI1 204によって生成される結果と、MVS 204によって生成される結果とを利用し、α-プレーン102において形状適応的にウィンドウイングを行い、α-プレーン102の第２の補間を行う。図８は、本発明に従うMI2 206の実施形態を例示している。図８で示すように、いくつかの実施形態においては、MI2 206は、ハロー低減ブロック802、MV混合ブロック804、孤立MVのフィルタリングブロック806、画像の第２の補間ブロック808を含む。
【００５５】
いくつかの実施形態において、ハロー低減802は、α-プレーン102における第１の補間画像Ii1及びMVフィールドFsとBsの全体に亘って局所スライディング・ウインドウを使用し、MVをフィルタして、それによってα-プレーン画像102を生成する。被覆領域304または現出領域308の明示的な検出を利用する必要はない。局所スライディング・ウインドウは、Ｉ×Ｊピクセル個のブロックから構成され、α-プレーン102を横断し１度に１ピクセルずつ下方へスイープする。
【００５６】
図5Aと5Bに例示されるように、局所スライディング・ウインドウにおいては、強度（輝度）とMV均一性に基づく２つの二成分区分け(binary segmentation)がある。FsまたはBsである動きベクトルMVの調整が、以下に説明される。MV補正の以下に説明する操作は、MVS 204から受け取った２つの選択された順方向および逆方向MV FsとBsとに対して独立に且つ並行して適用してよい。
【００５７】
図5Aと5Bは、それぞれ、ウインドウ520と522を例示している。図5Aに示されるウインドウ520は、図4Aにも例示されており、その中心ピクセルはハロー領域にはない。図5Bに示されるウインドウ522は、図4Bに例示されており、その中心ピクセルはハロー領域にある。
【００５８】
第１の二成分区分けによると、Ii1に基づくウインドウは、ウインドウの中心ピクセルの輝度レベルに対する各ピクセルの輝度レベルに基づいて２つの領域に分割される。中心ピクセルと同程度の輝度レベルを有するすべてのピクセルは１つの区分に分類され、中心ピクセルの輝度レベルと異なる輝度レベルを有するピクセルは、もう１つの区分に分類される。ウインドウの第２の二成分区分けは、ウインドウの中心ピクセルのMV値に対する各ピクセルのMV値に基づく。ウインドウの中心ピクセルのMV値と同程度のMV値を有するすべてのピクセルは１つの区分に分類され、中心ピクセルのMV値と異なるMV値を有するピクセルはもう１つの区分に分類される。
【００５９】
これらの２つの二成分区分けを組み合わせる時に、中心ピクセルの周りのウインドウ520内のピクセルは、３つの関連するグループ（groups of interest）：グループ１ 502、グループ２ 504、グループ３ 506に分けられる。グループ１ 502は、小さな加重局所誤差WERM= WERMF/WERMB及び、図5Aで例示されるように、中心ピクセルと同程度の輝度レベルと同程度のMV値を有するピクセルの局所グループから構成される。グループ２ 504は、大きなWERMと、中心ピクセルとは異なる輝度レベルと、同程度のMV値とを有するピクセルの局所グループから構成される。グループ３ 506は、小さいWERMと、中心ピクセルとは異なる輝度レベルと異なるMV値とを有するピクセルの局所グループから構成される。グループ２ 504が、ハロー領域の表示として使用してよい。いくつかの実施形態においては、グループ１ 502とグループ２ 504だけが利用される。グループ１ 502は、MVの平滑化のために利用してよい。グループ２ 504は、ハロー低減のために利用してよい。
【００６０】
図5Bにおいては、ウインドウ522の中心または注目のピクセルは、今度は、疑わしいハロー領域にある、すなわちウインドウ520のグループ2 504内のピクセルの１つである。これらの２つの二成分区分けは、ウインドウを３つの関連グループ：グループ１ 508、グループ２ 510、グループ３ 512に分ける。グループ１ 508は、小さなWERMと、ウインドウ522の中心ピクセルと同程度のMV値と、中心ピクセルとは異なる輝度レベルとを有するピクセルの局所グループから構成される。グループ２ 510は、大きいWERMと、図5Bの中心ピクセルと同程度の輝度レベルと、同程度のMV値とを有するピクセルの局所グループから構成される。グループ３ 512は、小さいWERMと、ウインドウ522の中心ピクセルとは異なるMV値と、中心ピクセルと同程度の輝度レベルとを有するピクセルの局所グループから構成される。グループ２ 510は、ハロー領域の表示として、この場合もやはり使用してよい。ここに示すいくつかの実施形態においては、最後の２つのグループ、グループ２ 510とグループ３ 512だけが、ハロー低減のために使用される。一旦ハロー領域が確認されると、中心ピクセルの補正される動きベクトルは、真のハロー低減のためにグループ３ 512の動きベクトルに基づく。MVフィールドの平滑性のために、ウインドウ522の各グループのMVは、局所平均を使って再推定してよい。
【００６１】
ウインドウ520と522の寸法は、任意のサイズであってよいが、いくつかの実施形態においては、現ピクセルが疑わしいハロー領域にある場合、ウインドウ522の寸法、Ｉ×Ｊはグループの各々を代表するピクセルを十分に得るのに十分大きくてよい。さらに、ＩとＪは、MV推定を歪曲する可能性がある間違った情報を避けるのに十分小さくてよい。いくつかの実施形態においては、ME 202が、ｍ×ｎピクセルのブロックによるブロックベースアプローチを利用する場合、ウインドウ522は、ｎと2.5ｎピクセル間から選択される（水平方向の）長さＪと、経済性のために、0.5ｍとｍの間から選択されるウインドウ高さＩを有してよい。
【００６２】
いくつかの実施形態においては、現ピクセルのMV推定誤差WERMが閾値より大きく、且つ、ウインドウ522において、小さい推定誤差と、中心ピクセルとは異なるMV値とを有するピクセルの数NDEが十分に大きい場合、ウインドウ522の所与のグループのMVは補正される。この場合、補正されるMVは、もはや小さな誤差を与えるこれらの異なる動きベクトルの平均となる。このように、図4Bで例示されるように、グループ２ 510のMVは、グループ３ 512の動きベクトルの平均値によって置き換えられる。 図4Aにおいて、グループ１ 502のMVは、補正されない。
【００６３】
上記の条件が当てはまらない場合、すなわち、MV推定誤差が比較的大きい、あるいは、NDEが大きくない場合、MV補正は異なるグループの基数（要素の数）に基づいてよい。NRを、中心と見なされるピクセルと、同程度の強度と同程度のMVという点で似ているピクセルの数とする。NDを、中心ピクセルと同程度の強度と、中心ピクセルのそれとは異なるMV値とを有するピクセルの数とする。NRDを、ウインドウの中心ピクセルと同程度の強度を有するピクセルの数とする。その結果、NRDはNRのNDとの和に等しい。そして、NRDはウィンドウサイズより小さい。そのように、NRDは相対的な数であるが、ウィンドウサイズI×Jは、スライディング・ウインドウ、即ちウインドウ520と522のサイズを示している絶対数である。
【００６４】
図６は、MV選択または補正を例示している。図６で示すように、いくつかの実施形態において、MV選択または補正は、パラメータNRに基づく２次元空間の３レベル決定である。図６の中の水平軸は、絶対数であり、その最大値はウィンドウサイズI×Jである。垂直軸は相対数であり、その最大値がNRDである。NRが、再び現中心ピクセルと同程度の強度と同程度のMVとを有するピクセルの数であるならば、選択されたMVは、図６で示すように２つの異なる推定されたMVのうちの１つであってよく、またはいずれでもなくてよい。NRが両方の基数と比較的等しい右上角では、中心ピクセルには、これらの同じまたは同様な動きベクトルの平均が割り当てられる。それは、図4Aまたは図5Aのグループ１ 502のMVの平均を意味する。左下角では、NRが２つの基数と比較して比較的小さく、中心ピクセルには、これらの異なる動きベクトルの平均が割り当てられる。その平均は、図4Bまたは図5Bの中のグループ3 512のMVである。これらの判定基準のどれも満たされない場合、上記のグループのいずれのMVも選択されず、MI1 210で生成された元のMVが再使用される。したがって、先行技術に反して、本発明のいくつかの実施形態で利用されるMV補正プロセスでは、被覆/現出領域を明確に検出する必要はない。
【００６５】
いくつかの実施形態においては、局所スライディング・ウインドウのピクセルの区分けは、彩度レベルに基づいてよい。これは、図5 Aと5Bに関して上述した輝度レベルの区分けに、さらなる信頼性を与える。これらの実施形態におけるピクセルのグループ化は、たとえば、一方では、輝度及び彩度の差を使用し、他方では動きベクトルを使用してよい。
【００６６】
上で述べた、そして図4A、4B、5A、5Bで例示した、局所スライディング・ウインドウにおける輝度と彩度及び動きベクトルの区分けが例であることは、当業者にとって明白でなければならない。さらに、２つの基数を使用して図６に例示される四角形を分割することも範例である。開示された実施形態の範囲から逸脱することなく、代わりの選択と他の基数を構想することができる。
【００６７】
補正された動きベクトルF1とB1は、それぞれ、補正されるFsと補正されるBsに対応し、ハロー低減802によってたとえば上記の決定規則に従って生成され、MV混合804に入力される。難しい決定のとげとげしい影響を避けるために、MV F1は、WERMFのピクセルベースの順方向推定誤差（ef）の関数を用いてMVS 204の選択したMV Fsと混合され、MV出力F2を提供する。F2は、そこで以下で与えられる。
F2＝Fs ＋(F1- Fs)(ef) (12)
同様に、B2、即ちB1の混合バージョンが、与えられる：
B2＝Bs ＋(B1- Bs)(eb) (13)
ここで、(eb)は、WERMBの現ピクセルベースの逆方向推定誤差である。
【００６８】
MV混合804からの出力、F2とB2は、孤立（isolated）MVのフィルタリング806に入力される。現ピクセルのF2が比較的孤立しているならば、得られたMV F2はそのとき、そのP×Q隣接メジアンMVによって置き換えられる。正確には、現MV出力Foは、以下の通り書くことができる：
サイズP×Qのウインドウにおいて、現中心ピクセルのMVと同様のMVの数が、閾値より小さい場合、
Fo＝メジアンベクトル(F2;ij|(i,j) ∈ウインドウ) (14)
そうでなければ、
Fo＝F2;0,0|(0,0)はウインドウ中心ピクセルのインデックス (15)
Bo、即ちB2のメジアンフィルタリングによるバージョンは、同様に取得してよい。孤立MV のフィルタリング806から出力される値FoとBoは、画像第２の補間808に入力される。
【００６９】
画像第２の補間808において、上記で得られた動きベクトル、FoとBoは、補間において利用される。第２の補間は第１の補間MI1 210と類似しており、以下の補間のうちの１つを使用してよい：
Ii2（ｘ）＝EB.In (ｘ+αFo）＋EF.In-1（ｘ+βBo） (16)
または
1>α≧3/4の場合、
Ii2（ｘ）＝EB.In-1（ｘ-（1-α）Fo）＋EF.In-1（ｘ+（1-α）Bo）；
1/4≧α>0の場合、
Ii2（ｘ）＝EB.In (ｘ+αFo）＋EF.In (ｘ-αBo）； (17)
3/4>α>1/4の場合、
Ii2（ｘ）＝EB.In (ｘ+αFo）＋EF.In-1（ｘ+（1-α）Bo）。
マルチフレーム補間において動きの小さく激しい震動が許容できる場合、次の補間を式(16)または(17)の補間の代わりに考慮してよい。この補間は、画像鮮鋭度を増加させより多くのハロー低減をもたらすことができる。この補間では、次のように（たとえば２次の変形）、アルファ値αは、α’によって非線形に修正される：
0<α<1/2なら、α’＝2α2とし、1/2<α<1なら、α’＝1-2(1-α)2とする。
1>α≧3/4の場合、
Ii2（ｘ）＝EB.In-1（ｘ-（1-α’）Fo）＋EF.In-1（ｘ+（1-α’）Bo）；
1/4≧α>0の場合、
Ii2（ｘ）＝EB.In（ｘ+α’Fo）＋EF.In (ｘ-α’Bo）； (18)
3/4>α>1/4の場合、
Ii2（ｘ）＝EB.In (ｘ+α’Fo）＋EF.In-1（ｘ+（1-α’）Bo）。
【００７０】
MI2 206からの出力は、図２に示すように、順方向および逆方向動きベクトルFoとBoと共に補間アルファプレーン画像102、Ii2である。後処理器(PP）208は、画像データIi2と動きベクトルFoとBoを受け取り、格子背景(lattice background)がある場合、さらにいくらかの残っているハローを低減し、閉塞領域の孤立した誤りのある補間ピクセルに起因する又は孤立のMVに起因するフリッカー効果も低減できる。
【００７１】
図９は、背景の格子に対して使用されるハロー低減器900を例示しており、それは、後処理器208の一部である。背景に格子が存在する場合、閉塞領域の小さなMV誤差が補間画像の格子構造を破壊することがあり、影響は好ましくない。図９で示すように、ハロー低減器900は、閉塞領域の格子背景の検出器902と、格子MV補正器904と、格子背景の画像補間器908と、ソフト混合器910とを含むことができる。
【００７２】
検出器902の閉塞領域検出は、SADFかSADBが閾値より大きいかどうかに基づいてよい。さらに、閉塞領域では、順方向および逆方向動きベクトルは通常、整列していない、すなわち、和（Fo+Bo）の絶対値は閾値より大きい。検出器902は閉塞領域を検出するが、個々の被覆または現出領域を検出する必要がないことは、特筆に価する。格子検出は、ME 202においてブロックベースのFFT分析法によって達成してよい。２値信号PERDは、格子の周期的検出オン／オフ結果を表す。さらに、誤ったMVを補正するために、ベクトルFoとGとBoとGの間で要素毎の比較を実行してよい。ここで、MV Gは、ME 202における適切なヒストグラム分析によって推定されるグローバルなMVと規定される。たとえば、背景が静かな場合、あるいは、MV Gが利用できない場合、Gは０に設定してよい。MV Gは、MI2 206に関して上記のように３個のピクセルグループに局所的に区分けされる適切なスライディング・ウインドウを使用することによって推定してもよい。検出器の２値信号出力DLBORは、格子MV補正器904を起動させる。DLBORはまた、低域通過フィルタ906の入力に印加され、フィルタが、今度はソフト混合器910に入力されるアナログ信号(a)を生成する。
【００７３】
格子MVの補正器904は、検出器信号DLBORによって起動されると、Fo及びBoをGによって置き換え、動きベクトルFcとBcを生成する。したがって、FcとBcは、MV補正器によって提供される順方向および逆方向動きベクトルである。
【００７４】
動きベクトルFcとBcが利用できる場合、格子背景用の画像補間器908は、式(16)の前の補間モデルで記述してよい。そうすると、画像補間結果のILは、以下の通り規定してよい：
IL(ｘ) = EB. In(ｘ+αFc）+ EF.In-1（ｘ+（l-α）Bc） (19)
【００７５】
検出境界効果を減らすために、ソフト混合器910が利用され、画像出力IHをハロー格子の補正に提供する：
IHL(ｘ) = Ii2(ｘ) +［IL(ｘ) - Ii2（ｘ）］(a) (20)
画像出力IHLは、次にフリッカー低減器に印加され、最終的に補正されてよい。
【００７６】
図10は、フリッカー低減器1000を例示しており、それは後処理器208の一部である。フリッカー低減器1000は、図２に示される後処理器208の最終ステージであってよい。図10に示されるように、フリッカー低減器1000は、フリッカー検出器1002と、隣接平均計算器1004と、ソフト混合器1008を含むことができる。
【００７７】
フリッカー検出器1002は、起こり得るフリッカー効果を検出する。その効果は、主に閉塞領域の孤立した誤った補間ピクセル、または、孤立したMVに起因するものである。前述の閉塞領域検出は、SADFと、SADBと、順方向および逆方向動きベクトルの和と、現強度とその隣接（たとえば８隣接）平均値との差とに基づく。孤立したMV検出は、ある小さいウイドウにおける、現MVとは異なるMVを有するピクセルの数に基づく。その差異は、順方向及び逆方向MV FoとBoの各水平または垂直の成分毎に考慮される。検出器の２値信号出力は、低域通過フィルタ1006に印加される。フィルタは、今度はさらなる混合のためにアナログ信号（b）を生成する。平均計算器1004は、その出力として、現ピクセルの隣接ピクセル（たとえば８個の隣接ピクセル）の強度平均値IMを提供する。
【００７８】
ソフト混合器1008は、以下の関係式によって最終画像Ifを提供する：
If(ｘ) = IHL(ｘ) +［IM(ｘ) - IHL（ｘ）］(b) (21)
画像If（ｘ）は、そのとき、図１に示されるアルファプレーン102の画像を表す。
【００７９】
いくつかの実施形態においては、既存のフレーム間に２個以上のフレームを挿入することが行われる。たとえば、図７の中でアルファ-プレーン702、704、706、708で例示されているように、24fpsのフィルムコンテンツを120Hzのビデオに変換することは、任意の元の２つのフレーム間に４つのフレームを挿入することが必要になる。ME 202の動き推定（ME）が元の２つの画像104と106、即ちIn とIn-1の間で実行され、したがって、それは、前述の方法と同じである。この場合のMVFとMVBの選択は、上で示した単一フレームの補間の例と同じである。したがって、動きベクトルの選択（MVS）204は、前述したものと同様に遂行する。挿入されるプレーン毎に、同様のMVSを、利用できる計算パワーの関数として並列及び/または直列の適切な組合せで使用してよい。第１の動き補間MI1 210は、動きベクトルのそれぞれ異なる時間的交点でピクセル値を推定することによって、同様に遂行してよい。MI2で実行される第２の動き補間はまた、アルファプレーン毎に同様である。最後に、高フレームレート出力に対しては、MVS 204、MI1 210、MI2 206、及びPP 208は、利用できる計算パワーの関数として並列および/または直列処理の適切な組合せで実行してよい。
【００８０】
実施形態は、画像データを処理できる任意のマシーン上で適用することができる。たとえば、実施形態は、ここで挙げた関数を実装するソフトウェアコードを実行するプロセッサで実施してよい。そのようなソフトウェアは、たとえば、ハードディスク、メモリ、リムーバブルドライブを含め、どのようなコンピュータ媒体に格納してもよい。さらに、実施形態は、プロセッサとメモリを有する専用ASIC上で実施してよい。
【００８１】
本発明のいくつかの実施形態は、リアルタイムアプリケーションの補間画像において、ハロー、ちらつき、及びブロックアーチファクトの出現を大幅に軽減することができる。当業者にとっては、MVのこのような選択と中間のα-プレーンの対応する補間は、範例であり、そして、ここに示された実施形態の範囲から逸脱することなく、他の多段決定が可能であり、あるいは、異なる見方で様々なグループを考慮して、MVを選択/補正し、中間の画像を生成してよいことは明白であるべきである。当業者は、特定のステップまたは構成要素が、ここに開示される実施形態の範囲から逸脱することなく、変更できることを理解するべきである。そのようなものとして、本発明は、以下の請求範囲のみによって制限されるべきである。
【技術分野】
【０００１】
関連出願
本出願は、2007年12月20日出願の米国特許仮出願第61/015,228号及び2007年12月21日出願の米国特許仮出願第61/015,970号による優先権を主張し、その両方とも参照により、全体としてここに組み込まれるものとする。
【０００２】
本発明は、画像補間における動き補償のアーチファクト低減に関し、より具体的には補間画像内のハローの低減に関する。
【背景技術】
【０００３】
動き補償に基づく画像補間は、確立した技術である。動き補償の１つの例はフレームレート変換（FRC）であり、その変換は、ビデオにおいてリフレッシュレートを上げ（または下げ）、１秒当りより多くの画像（またはより少い画像）を表示させるのにしばしば利用される。ビデオを補間して１秒当り多くの画像数にすることの１つの利点は、LCDパネルで利用できるより高いリフレッシュレートによって、動きがより滑らかに見えるということである。別の利点は、通常１秒当り24フレーム（fps）であるフィルムコンテンツのビデオへの変換においてである。ビデオでは30、50、60、100、120、200または240fpsがあり得る。より少ない画像に補間することの利点は、一般的に使用されている規格間、例えば全米テレビジョン放送方式標準化委員会（NTSC）の60Hzから位相反転線（PAL）規格の50fpsへの変換においてである。
【０００４】
FRCは、特にリアルタイムビデオでは、非常に困難である。多くの以前の解決策が、この問題に対処しようとした。しかし、特にリアルタイムアプリケーションでは、これらの解決策は、すべてアーチファクトを引き起こす。大部分の先行技術の方法は、動き補償（MC）と動き推定（ME）のためにブロックベースの動きベクトル（MV）の推定を使用する。これらの先行技術の解決策では、漸進的画像にとってさえ、ハロー効果、ちらつき、ブロックアーチファクトを含め、多くのアーチファクトが生じる。
【０００５】
MV推定が、一定で予め定められたサイズのピクセルブロックに基づく場合、ブロックアーチファクトが発生することがある。この場合、ブロック内でたとえ様々に動いている様々な物体または領域があるとしても、ブロックのすべてのピクセルは同じMVを有することになっている。さらに、所与のブロックに隣接したブロックが、なんらかの理由で異なる推定動きベクトルを有する場合、同じ領域のピクセルが異なる隣接ブロックでは異なる方向に移動されるので、ブロック境界がより顕在化する。
【０００６】
ちらつきは、動き補償された画像補間における別のアーチファクトである。画像列における２、３のピクセルの動きベクトルがあるフレームから別のフレームへと亘って整合性がない場合、このアーチファクトが発生する。その不整合は、通常、小さな領域における動きベクトルの誤った計算に起因する。
【０００７】
ハロー効果は、物体が背景に対して動いている場合、動画像列の画像の前景の物体の周りで発生する。背景は静止し、物体が移動していてよく、またはその逆であってよい。場合によっては、例えば、ビデオゲームシーケンスにおいて、そうであるように、物体と背景とも移動している。ハロー効果の原因は、閉塞(occlusion)領域での誤ったMV推定である。ハロー効果の視覚は、物体がそれらの周りに異なる特徴のハローを有するように見えるということである。たとえば、ある場面において歩いている人の顔は、あたかも一部の背景が顔とともに移動しているように、ハローによって囲まれているように見えることがある。
【０００８】
様々なハロー低減アルゴリズムが開発されてきた。米国特許第6,625,333号に説明されているように、ハロー低減は、物体ベースの補間に基づいてよい。しかし、この技術は物体の区分け(segmentation)と物体の色付けを意味し、それはさらなるフレームメモリとさらなる帯域幅を必要とする。さらに、提案されたMV補正は、フレームベースの多数の繰り返しを必要とし、それらの繰り返しは、リアルタイム処理には向いていない。
【０００９】
２個より多いフレームのデータの解析を含むマルチフレーム解決策も提案された。例えば、米国特許第6,005,639号;米国特許第6,011,596号;米国特許第7,010,039号;米国特許出願公開第2007/0121725（Al）号;K.Sugiyama、T.Aoki & S.Hangai、「Motion Compensated Frame Rate Conversion Using Normalized Motion Estimation」,2005 IEEE Workshop on Signal Processing Systems - Design and Implementation (SiPS 2005), Athens, Greeceを参照されたい。被覆(covering)/現出（uncovering)/非閉塞(no occlusion)の検出とMV補正のマルチフレームの解決策は、基本的に前の前の画像フレーム及びずっと後の画像フレームに基づく。マルチフレーム解決策は、大きな画像メモリと、メモリとプロセッサ間の非常に増大した帯域幅とを必要とする。
【００１０】
提案された２-フレーム解決策は、MV補正（または再推定）、補間戦略、及び/またはこれらの２つの方法の混合に基づく。MV補正において、前景と背景の動きベクトルを分離することは、ハロー効果を低減する可能な方法でもある。画像の境界に設定される動きベクトルを可能な背景MVとして使用することが、米国特許出願公開第2006/0072790(A1)号で提案されている。しかし、境界MVが背景MVであるという仮定が必ずしも有効であるという訳ではない。背景MVの推定はさらなるフレーム待ち時間と余分なメモリを必要とする。
【００１１】
メジアンフィルタリング、すなわち補間戦略の例が、G.de Haan、「IC for Motion-Compensated De-Interlacing、Noise Reduction and Picture Rate Conversion」、IEEE Trans. on CE,Vol.45,No.3,Aug 1999に提案されている。この文献では、メジアンフィルタリング補間は、順方向画像補間値と、逆方向画像補間値と、２つの既存の画像の平均値との中央値である。さらに、順方向MV及び逆方向MVは、単一の再帰的に推定されたMVを使って得られる。ここに記載されているように、メジアンフィルタリング補間は非閉塞領域では一般に良い結果をもたらすことができる。しかし、閉塞領域では、メジアンフィルタリング方法を利用して推定されるMVは、もはや正しくない。
【００１２】
個々の補間の加重平均が、米国特許第7,039,109号で提案されている。隣接グループのMVによって提供される個々の補間はまた、順方向補間値、逆方向補間値、及び２つの既存画像の平均値のメジアンフィルタリングに基づく。この特許で記載されているMVは、現画像から次の画像へブロックベースで順方向に推定される。個々の補間のために指定される重みは、隣接グループにおける、予測された光度の差および／またはMVの出現の相対度数の関数の信頼度である。MVの境界検出が、複雑さ軽減のためにも用意されている。しかし、グループまたはブロックベースのMV解決策は、ブロッキング効果をもたらす場合がある。その上、１つのブロックに対する単一の（順方向）MVは、画像の閉塞部分では不十分な場合がある。さらに、MVの境界検出は、ソフトウェアシミュレーションによいだけである。また、MVが大きい場合、ピクセルベースの画像平均化は、閉塞領域の補間画像をぼやけさせる、または、画像にダブリング効果をもたらす場合がある。
【００１３】
米国特許第6,219,436号では、被覆/現出の検出、即ち、２乗または４乗の誤差を有する第２のブロックベースのMEが、より高い精度のために提案されている。検出される「実際」の被覆/現出領域の関数において、移される位置のMVを使用することによってMVを補正することが、提案されている。しかし、検出される領域に対する適切な平均値による様々なメジアンフィルタリング戦略が、実際はその特許で示されているより好ましい解決策である。
【００１４】
米国特許第6,487,313号と米国特許第7,058,227号の両方においては、MVフィールド(field)における不連続が、移動物体の境界に対応すると仮定されている。こうして、閉塞領域を決定するMV長、検出される閉塞領域の精度を上げるために小さいブロックサイズによるさらなる双方向内挿誤差の計算、及び最終的な補間のための様々なメジアンフィルタリングの使用が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかし、物体が均一ではあるがノイズのある領域から成る場合、MV長は必ずしも信頼できるパラメータであるという訳ではない。MVフィールドの不連続と移動物体の境界はコストの掛かる精度を必要とする。そして、MVが補正されていないので、メジアンフィルタリングはまだその場限りの技術である。
【００１６】
したがって、実行するのに大量のメモリを必要としない画像プレーンの高速な補間を提供する必要がある。
【課題を解決するための手段】
【００１７】
本発明の実施形態による画像補間器は、第１の画像と第２の画像間でブロックベースの動きベクトルを推定する動き推定器と、
前記動き推定器に結合され、前記ブロックベースの動きベクトルに基づいて選択された動きベクトルを提供する動きベクトル選択器と、
前記選択された動きベクトルを受け取り、前記第１の画像と前記第２の画像間のプレーンに対して第１の補間画像を提供するように結合される第１の補間器と、
前記第１の補間画像を受け取り、前記選択された動きベクトルを補正して補正された動きベクトルを形成し、補正された動きベクトルに基づいて第２の補間画像を提供するように結合される第２の補間器と、を含んでよい。
【００１８】
本発明による別の画像補間器は、隣接画像を受け取ってブロックベースの順方向動きベクトルと、ブロックベースの逆方向動きベクトルと、順方向誤差と、逆方向誤差とを提供するように結合されるブロックベースの動き推定器と、
前記ブロックベースの動き推定器に結合され、ピクセルベースの選択された順方向動きベクトルと、ピクセルベースの選択された逆方向動きベクトルと、ピクセルベースの順方向誤差と、ピクセルベースの逆方向誤差とを提供する動きベクトル選択器と、
前記ブロックベースの動き推定器と前記動きベクトル選択器とに結合され、前記選択された順方向動きベクトルと前記選択された逆方向動きベクトルとから、第１の補間画像を提供する第１の画像補間器と、
前記第１の画像補間器と前記動きベクトル選択器とに結合され、第２の補間画像と、補正された順方向動きベクトルと、補正された逆方向動きベクトルとを提供する第２の画像補間器と、
前記第１の画像補間器と前記第２の画像補間器とに結合され、前記第２の補間画像と、前記補正された順方向動きベクトルと、前記補正された逆方向動きベクトルとから、最終補間画像を提供する後処理ブロックと、を含んでよい。
【００１９】
本発明の実施形態による、第１および第２の隣接画像の間の画像を補間する方法は、前記第１および第２の隣接画像間でブロックベースの順方向動きベクトルとブロックベースの逆方向動きベクトルとを推定することと、
前記ブロックベースの順方向動きベクトルと順方向誤差関数とに基づいて前記画像の各ピクセルに対して順方向動きベクトルを選択することと、
前記ブロックベースの逆方向動きベクトルと逆方向誤差関数とに基づいて前記画像の各ピクセルに対して逆方向動きベクトルを選択することと、
前記選択された逆方向動きベクトルと、前記選択された順方向動きベクトルと、ブロックベースの順方向の推定誤差と、ブロックベースの逆方向の推定誤差とから、第１の画像を補間することと、
前記選択された順方向動きベクトル及び前記選択された逆方向動きベクトルの順方向及び逆方向の加重誤差に基づいて、前記第１の画像から第２の画像を補間することと、
前記第２の画像から前記画像を決定することと、を含む。
【００２０】
本発明によるこれらと他の実施形態は、以下の図を参照してさらに以下に説明される。
【図面の簡単な説明】
【００２１】
【図１】２つの隣接画像の間の画像プレーンの補間を例示している。
【００２２】
【図２】本発明による画像補間器の実施形態のブロック図を示す。
【００２３】
【図３】本発明によるいくつかの実施形態において利用される、前景領域、背景領域、被覆(Covering)領域、及び現出(uncovering)領域を例示している。
【００２４】
【図４Ａ】移動物体と、前景領域に中心を置くスライディング・ウインドウとを例示している。
【００２５】
【図４Ｂ】移動物体と、閉塞(occlusion)領域に中心を置くスライディング・ウインドウとを例示している。
【００２６】
【図５Ａ】前景領域に中心を置く、３個の領域に区分けされたスライディング・ウインドウを例示している。
【００２７】
【図５Ｂ】閉塞領域に中心を置く、３個の領域に区分けされたスライディング・ウインドウを例示している。
【００２８】
【図６】MV補正の可能な決定を例示している。
【００２９】
【図７】２つの既存の連続画像間に複数の画像を補間することを例示している。
【００３０】
【図８】ハローを低減する、図２で示すような第２の動き補間器を例示している。
【００３１】
【図９】背景格子の後処理においてハロー低減の更なる処理を例示している。
【００３２】
【図１０】後処理において実行可能なフリッカー低減の処理を例示している。
【００３３】
図においては、同じまたは類似した機能を有する要素には、可能な限り、同じ記号表示を有するようにしている。
【発明を実施するための形態】
【００３４】
フレームレート変換（FRC）アプリケーションでは、「ハロー効果」は、前景物体が詳細な背景に対して移動している場合に生じる視覚のアーチファクトである。本発明によるハロー効果を低減するシステムは、ピクセルベースの動きベクトル（MV）の選択、予備補間、MV前景/背景補正の局所形状適応ウィンドウイング、さらにいくらかの後処理を有する最終的な補間を含む。予備及び最終画像補間は、順方向及び逆方向動きベクトル推定値の局所の差分絶対値合計（SADs）の出現頻度に基づく。次に、ハロー低減のMV補正は、実質的に局所画像強度及び局所MV変化に基づいてよい。いくつかの実施形態は、画像メモリ使用量と、画像メモリと画像プロセッサ間の通信帯域幅とに対して効率的な非反復的な技術である。
【００３５】
図１は、２つの連続画像104と106から補間されるべき補間画像（α-プレーン）102の時間的位置を例示している。提案されているマルチフレームの解決策（米国特許第6,005,639号、米国特許第6,011,596号、米国特許第7,010,039号、米国特許出願公開第2007/0121725 A1号、そして、K.Sugiyama, T.Aoki＆S.Hangaiの「Motion Compensated Frame Rate Conversion Using Normalized Motion Estimation」を参照のこと）に反して、補間画像102は、２つの連続画像、画像104 Inと画像106 In-1だけからの情報に基づいている。図１で示すように、画像104と106が、「アルファ（α）プレーン」と呼ばれる任意の時間距離、即ち画像104 In から時間的距離α、及び画像106 In-1から時間的距離（1-α）にある画像102を補間するのに使用される。２つの既存の画像だけが補間のために使用されるので、本発明によるいくつかの実施形態はメモリ、帯域幅、速度の観点から有利である。本発明のいくつかの実施形態は、視覚的に好ましい補間画像を生成し、容認可能なリアルタイムFRC解決策を提供する。
【００３６】
図２は、本発明に従う画像補間器200の形態を例示している。画像104 In-1と106 In を表すデータが、画像補間器200に入力される。α-プレーン102における画像に相当する補間画像 Ifが、画像補間器200から出力される。画像補間器200は、動き推定器（ME）202と、動きベクトル選択器（MVS）204と、第１の動き補間器（MI1）210と、第２の動き補間器（MI2）206と、後処理（PP）ブロック208とを含む。画像入力In-1とIn は、ME 202、MVS 204、MI1 210、MI2 206、及びPP 208の各々によって受け取られる。
【００３７】
動き推定器 202が画像データIn 及びIn-1を解析し、そして、図１に示すように単一ブロックに対して、順方向動きベクトル（MVF）及び逆方向ベクトル（MVB）を提供する。ME 202は、順方向動きベクトルMVF及び逆方向動きベクトルMVBを推定するのに使用されるブロックマッチングアルゴリズムであってよい。順方向動きベクトル（MVF）は、画像106、In 内のマッチしたブロックに対する、画像104、In-1内の所与の画像ブロックの変位を示す。逆方向動きベクトル（MVB）は、画像104、In-1内のマッチしたブロックに対する、画像106、In 内の所与のブロックの変位を示す。さらに、ME 202は、順方向及び逆方向の差分絶対値合計の誤差SADFとSADBを生成して、全探索・評価し、それぞれ、MVFとMVBを生成する。数学的には、SADF、SADB、MVF、及びMVBは、以下の通り規定してよい：
【数１】
MVF＝所与の検索範囲でSADFを最小にするｋ* (１)
MVB＝所与の検索範囲でSADBを最小にするｋ*
式（１）において、N（BW）はブロックBWのサイズを示し、ｘは現ブロックBWのピクセル座標、そして、ｙは現ブロックBW内のピクセルの座標である。精度のために、SADF、SADB、及び対応する動きベクトルは、ブロックBW内にあるピクセルサイズｍ×ｎの小さなウインドウブロックＢと関係付けてよい。したがって、ブロックベースのMVフィールドが、結果として、画像104、In と106、In-1の各々に対して、生成される。動き推定器202として利用できる動き推定器の例が、本開示と同時に出願の米国特許出願｛代理人整理番号09145.0091-00000｝にさらに記載されている。その特許出願は、参照によってここに、全体が組み込まれるものとする。
【００３８】
いくつかの実施形態において、格子(lattice)の検出または推定の有無にかかわらず、ME 202で実行される動き推定は、特定の検索範囲に適応させてよい。格子検出を有するME 202は、取得可能な場合、ブロックベースの周期的検出信号とグローバルなMVとを提供してもよい。
【００３９】
インタレース画像に適切な実施形態において、ME 202で実行される動き推定は、同じおよび／または逆の偶奇性(parity)を有する隣接フィールドに対して直接実行してよい。あるいは、結果として生じるエイリアス効果を最小にするのに適合しているいくつかの実施形態においては、動き推定は、適切なフィルタリングと流れ(cadence)検出によって非インタレース画像版に対して実行してよい。
【００４０】
MV選択器（MVS）204は、画像102のアルファ（α）プレーンにおいてMVフィールド（すなわちME 202からのすべてのMVFとMVB）をブロックベースからピクセルベースに変換する。このようなものとして、MVS 204は、画像データIn-1とInだけでなく、ME 202からの順方向および逆方向動きベクトルMVFとMVB、及び値SADFとSADBを受け取るように結合される。ブロックベースのデータからピクセルベースのデータへの変換は、いくつかの実施形態において、ブロッキング効果の低減に効果的である。MVS 204は、各ピクセルにピクセル自身の順方向MVとピクセル自身の逆方向MVを与え、順方向および逆方向動きベクトルに対応する２つのピクセルベースのMVフィールドを生成する。
【００４１】
MVS 204はフィールドMVFとMVBを取り込み、画像102のα-プレーンにおいてMVFとMVBの各々に対するピクセルベースの動きベクトルの選択を行う。α-プレーンにおける各時間及び空間ピクセル位置Ｐに対して、ピクセル位置Ｐを囲むｍ×ｎピクセルのブロックを考える。ここで、Ｐはｍ×ｎピクセルのブロックのほぼ中心にある。次に、画像104、In と画像106、In-1の両方おいて、Ｐに対応する画像104及び106内の位置の周りの、ｍ×ｎピクセルの同等ブロックの数ｐ×ｑ個からなるエリアが調べられる。そのエリアは、総計ｐ×ｑ×ｍ×ｎピクセルのブロックのエリアになる。画像104のデータIn 及び画像106のデータIn-1におけるこれらのエリアは、したがって、α-プレーン102のｍ×ｎブロックよりｐ×ｑ倍大きい。２つの画像プレーン104、In 及び106、In-1における２つのｍ×ｎピクセルブロックは、図１で例示されるようにα-プレーン102における現ｍ×ｎピクセルブロックの空間位置に対応し、それぞれこれらのより大きなエリアのほぼ中心にある。下記のように、ME 202からの出力であってプレーン104、In-1からプレーン106、Inに向いているすべてのブロックベースのMVFが調べられ、もっともよいMVFが特定され選択される。同様に、ｐ×ｑ×ｍ×ｎピクセルによって画定される近傍において、プレーン106、Inからプレーン104、In-1に向いているもっとも良いMVBが見出される。これらの選択されたMVFとMVBの結果であるFsとBsが、MVS 204から出力される。
【００４２】
水平方向の隣接ブロック数ｐは、たとえば、動きベクトルMVFの水平成分の長さ、α値、及び水平方向のブロックサイズｍの関数として決定してよい。しかし、いくつかの実施形態においては、すべてのαに対して、ピクセルｘの周りの一定の正方形（±２ｘ±２）（ｐ＝５とｑ＝５）の隣接ベクトルを考えてよい。
【００４３】
座標ｘの注目のピクセルにおいて、25個のMVF候補の各々に対して、局所誤差LERFpq（x）を、次のようにN（ｗ）個のピクセルの所与のウインドウｗで計算してよい。LERFpq（x）は、次によって与えてよい。
【数２】
ｘ、ｋ、MVFpqは整数であり、そして、αは分数であるので、式(２)の必要な値In（x+k+αMVFpq）とIn-1（x+k-（1-α）MVFpq）は、２つの画像の適切な空間的内挿を用いて取得してよい。
【００４４】
いくつかの実施形態においては、下のように定義される合成局所誤差CERFpq（x）がより良い結果を与える：
CERFpq（x）＝a.LERFpq（ｘ）＋(1-a)SADFpq (３)
ここでパラメータaは、1/2より大きい。
【００４５】
MVフィールドにおける平滑性を守るために、ペナルティ係数pfとペナルティ補正値poが、以下の加重局所誤差WERFpq（x）に導入される：
WERFpq（x）＝pf.CERFpq（x）＋po (４)
いくつかの実施形態においては、たとえば、動きベクトルMVFの水平または垂直成分が、対応する隣接平均値とは所定の閾値だけ異なる場合、pfは２に、そしてpoは１か２に設定してよい。さもなければ、pfは１に、poは０に設定してよい。現ピクセル場所に格子がある場合、閾値はより小さく設定してよい。
【００４６】
選択される順方向および逆方向動きベクトルFsは、誤差関数を最小にするベクトルである。たとえば、加重誤差関数が利用される場合、選択される順方向動きベクトルFsはWERFpq（x）を最小にするMVFp*q*に一致する。さらに、ｐとｑのいくつかの値に対して、等しいWERFpq（x）がある場合、コンフリクト状態を避けるために、あるブロック優先度Ppqを規定することができる。優先度は中心ブロックからの距離の関数であってよく、中心ブロックが最も高い優先度を有する。
【００４７】
選択される逆方向動きベクトルBsは、同じように選択することができる。付随の局所誤差LERBpq（x）、合成誤差CERB（x）、加重誤差WERB（x）は、それぞれ次によって与えられる。
【数３】
CERBpq（x）＝a.LERBpq（x）＋(1-a)SADBpq (６)
WERBpq（x）＝pf.CERBpq（x）＋po (７)
【００４８】
このように、α-プレーン102の各ピクセルｘに対して、MVS 204は、一対の順方向および逆方向動きベクトルFsとBsと、それぞれに対応する付随の最良の加重局所誤差WERMFとWERMBを出力する。MVS 204で実行される計算結果は、次に第１及び第２の動き補間器、MI1 210とMI2 206において利用してよい。
【００４９】
いくつかの実施形態において、MI1 210とMI2 206は、ハロー効果低減と画像補間とを行う。以前述べた解決策（例えば、米国特許第6,219,436号（第２の動き推定器の利用を教示）と米国特許第6,487,313号または米国特許第7,058,227号（MV長の利用を教示））に反して、閉塞(occlusion)の被覆(covering)及び現出(uncovering)領域は、MI1 210とMI2 206では陽に検出はされない。
【００５０】
いくつかの実施形態においては、第１の動き補間器(MI1)210は「オンザフライ」またはパイプラインで動作する。MI1 210は、MI2 206における処理用の補間画像全体を利用しない場合がある。MI1は、原画像104、Inと106、In-1からα-プレーン102における予備補間画像を生成する。MI1 210でさらに実行される予備補間は、選択されたMVFであるFs、選択されたMVBであるBs、局所SADF、及び局所SADBを利用してもよい。原理上、選択されたMVFとMVBのうちの１つが、閉塞の被覆及び現出領域で使用される。
【００５１】
被覆の閉塞された領域（covering and occluded areas）は、図３に例示されている。図３で示すように、被覆領域304に関して、MVとα-プレーン102の集合積は、In-1における背景領域306及びIn-1における前景領域302に対応する。したがって、選択されたMVBであるBsとIn-1とが、この被覆領域のために使用される。図３で示すように、このやり方は、背景物体から前景物体に向いている選択されたMVF Fsの可能性を最小にすることができ、その逆も同様である。同様に、現出領域308に対しては、選択されたMVFであるFs とIn とが使用される。しかし、被覆領域と現出領域304、308の集合和である閉塞(occlusion)領域では、動きベクトルFsもBsも有効ではない。なおまた、より高いロバスト性を提供するために、（In 、Fs）と（In-1、Bs）とを組み合わせることによってコンテクストベースの補間法が利用できる。コンテクストは、M×Nサイズのスライディング・ウインドウにおけるピクセル数NbFBに基づく。NbFBは、それがまた、Bs即ち選択されたMVBで補間されるべきピクセルの数である。
【００５２】
SFとSBを、それぞれ、SADFとSADBのピクセルベースの値とする。さらに、S1とS2を適当な閾値とする。ピクセルの数NbFBの値は、スライディング・ウインドウM×Nにおける次のようなピクセルの数として規定してよい：
αが１/2以上であるならば、
NbFB＝#_of_pixels:(SB＜S1)or[(SB≧S1)&(SB≦SF+S2)] (８)
言い換えると、NbFBは、SBが閾値S1より小さいか、またはSBが閾値S1以上であって且つSBがSFと第２の閾値S2の和より小さいようなピクセルの数である。
αが１/2未満であるならば、
NbFB＝(M×N)- #_of_pixels:(SF＜S1)or[(SF≧S1)&(SF≦SB+S2)] (９)
言い換えると、NbFBは、SFが閾値S1より小さいか、またはSFが閾値S1以上であって且つSFがSFと第２の閾値S2の和より小さいようなピクセルの数の補数である。S1とS2は、それぞれ５と１に設定してよい。
【００５３】
EFをウィンドウサイズによって正規化されたNbFBの値とし、EBを対応する補数値とする。いくつかの実施形態においては、MI1 210は、次にコンテクストベースの補間を行うことができる。
Ii1（ｘ）＝EB.In (ｘ+αFs）＋EF.In-1（ｘ+（1-α）Bs） (10)
いくつかの実施形態においては、式(10)で記述される補間の代わりに、MI1 210は以下のような時間的距離αの関数である補間を構成してよい：
1>α≧3/4の場合、
Ii1（ｘ）＝EB.In-1（ｘ-（1-α）Fs）＋EF.In-1（ｘ+（1-α）Bs）；
1/4≧α>0の場合、
Ii1（ｘ）＝EB.In (ｘ+αFs）＋EF.In (ｘ-αBs）； (11)
3/4>α>1/4の場合、
Ii1（ｘ）＝EB.In (ｘ+αFs）＋EF.In-1（ｘ+（1-α）Bs）。
MI1 210は、次に補間画像Ii1、局所ピクセル数NbFB、局所ピクセルベースのSF、局所ピクセルベースのSBをMI2 206に出力する。そのMI2 206は、ハロー低減と第２の画像補間を実行する。
【００５４】
第２の動き補間器（MI2）206は、MI1 204によって生成される結果と、MVS 204によって生成される結果とを利用し、α-プレーン102において形状適応的にウィンドウイングを行い、α-プレーン102の第２の補間を行う。図８は、本発明に従うMI2 206の実施形態を例示している。図８で示すように、いくつかの実施形態においては、MI2 206は、ハロー低減ブロック802、MV混合ブロック804、孤立MVのフィルタリングブロック806、画像の第２の補間ブロック808を含む。
【００５５】
いくつかの実施形態において、ハロー低減802は、α-プレーン102における第１の補間画像Ii1及びMVフィールドFsとBsの全体に亘って局所スライディング・ウインドウを使用し、MVをフィルタして、それによってα-プレーン画像102を生成する。被覆領域304または現出領域308の明示的な検出を利用する必要はない。局所スライディング・ウインドウは、Ｉ×Ｊピクセル個のブロックから構成され、α-プレーン102を横断し１度に１ピクセルずつ下方へスイープする。
【００５６】
図5Aと5Bに例示されるように、局所スライディング・ウインドウにおいては、強度（輝度）とMV均一性に基づく２つの二成分区分け(binary segmentation)がある。FsまたはBsである動きベクトルMVの調整が、以下に説明される。MV補正の以下に説明する操作は、MVS 204から受け取った２つの選択された順方向および逆方向MV FsとBsとに対して独立に且つ並行して適用してよい。
【００５７】
図5Aと5Bは、それぞれ、ウインドウ520と522を例示している。図5Aに示されるウインドウ520は、図4Aにも例示されており、その中心ピクセルはハロー領域にはない。図5Bに示されるウインドウ522は、図4Bに例示されており、その中心ピクセルはハロー領域にある。
【００５８】
第１の二成分区分けによると、Ii1に基づくウインドウは、ウインドウの中心ピクセルの輝度レベルに対する各ピクセルの輝度レベルに基づいて２つの領域に分割される。中心ピクセルと同程度の輝度レベルを有するすべてのピクセルは１つの区分に分類され、中心ピクセルの輝度レベルと異なる輝度レベルを有するピクセルは、もう１つの区分に分類される。ウインドウの第２の二成分区分けは、ウインドウの中心ピクセルのMV値に対する各ピクセルのMV値に基づく。ウインドウの中心ピクセルのMV値と同程度のMV値を有するすべてのピクセルは１つの区分に分類され、中心ピクセルのMV値と異なるMV値を有するピクセルはもう１つの区分に分類される。
【００５９】
これらの２つの二成分区分けを組み合わせる時に、中心ピクセルの周りのウインドウ520内のピクセルは、３つの関連するグループ（groups of interest）：グループ１ 502、グループ２ 504、グループ３ 506に分けられる。グループ１ 502は、小さな加重局所誤差WERM= WERMF/WERMB及び、図5Aで例示されるように、中心ピクセルと同程度の輝度レベルと同程度のMV値を有するピクセルの局所グループから構成される。グループ２ 504は、大きなWERMと、中心ピクセルとは異なる輝度レベルと、同程度のMV値とを有するピクセルの局所グループから構成される。グループ３ 506は、小さいWERMと、中心ピクセルとは異なる輝度レベルと異なるMV値とを有するピクセルの局所グループから構成される。グループ２ 504が、ハロー領域の表示として使用してよい。いくつかの実施形態においては、グループ１ 502とグループ２ 504だけが利用される。グループ１ 502は、MVの平滑化のために利用してよい。グループ２ 504は、ハロー低減のために利用してよい。
【００６０】
図5Bにおいては、ウインドウ522の中心または注目のピクセルは、今度は、疑わしいハロー領域にある、すなわちウインドウ520のグループ2 504内のピクセルの１つである。これらの２つの二成分区分けは、ウインドウを３つの関連グループ：グループ１ 508、グループ２ 510、グループ３ 512に分ける。グループ１ 508は、小さなWERMと、ウインドウ522の中心ピクセルと同程度のMV値と、中心ピクセルとは異なる輝度レベルとを有するピクセルの局所グループから構成される。グループ２ 510は、大きいWERMと、図5Bの中心ピクセルと同程度の輝度レベルと、同程度のMV値とを有するピクセルの局所グループから構成される。グループ３ 512は、小さいWERMと、ウインドウ522の中心ピクセルとは異なるMV値と、中心ピクセルと同程度の輝度レベルとを有するピクセルの局所グループから構成される。グループ２ 510は、ハロー領域の表示として、この場合もやはり使用してよい。ここに示すいくつかの実施形態においては、最後の２つのグループ、グループ２ 510とグループ３ 512だけが、ハロー低減のために使用される。一旦ハロー領域が確認されると、中心ピクセルの補正される動きベクトルは、真のハロー低減のためにグループ３ 512の動きベクトルに基づく。MVフィールドの平滑性のために、ウインドウ522の各グループのMVは、局所平均を使って再推定してよい。
【００６１】
ウインドウ520と522の寸法は、任意のサイズであってよいが、いくつかの実施形態においては、現ピクセルが疑わしいハロー領域にある場合、ウインドウ522の寸法、Ｉ×Ｊはグループの各々を代表するピクセルを十分に得るのに十分大きくてよい。さらに、ＩとＪは、MV推定を歪曲する可能性がある間違った情報を避けるのに十分小さくてよい。いくつかの実施形態においては、ME 202が、ｍ×ｎピクセルのブロックによるブロックベースアプローチを利用する場合、ウインドウ522は、ｎと2.5ｎピクセル間から選択される（水平方向の）長さＪと、経済性のために、0.5ｍとｍの間から選択されるウインドウ高さＩを有してよい。
【００６２】
いくつかの実施形態においては、現ピクセルのMV推定誤差WERMが閾値より大きく、且つ、ウインドウ522において、小さい推定誤差と、中心ピクセルとは異なるMV値とを有するピクセルの数NDEが十分に大きい場合、ウインドウ522の所与のグループのMVは補正される。この場合、補正されるMVは、もはや小さな誤差を与えるこれらの異なる動きベクトルの平均となる。このように、図4Bで例示されるように、グループ２ 510のMVは、グループ３ 512の動きベクトルの平均値によって置き換えられる。 図4Aにおいて、グループ１ 502のMVは、補正されない。
【００６３】
上記の条件が当てはまらない場合、すなわち、MV推定誤差が比較的大きい、あるいは、NDEが大きくない場合、MV補正は異なるグループの基数（要素の数）に基づいてよい。NRを、中心と見なされるピクセルと、同程度の強度と同程度のMVという点で似ているピクセルの数とする。NDを、中心ピクセルと同程度の強度と、中心ピクセルのそれとは異なるMV値とを有するピクセルの数とする。NRDを、ウインドウの中心ピクセルと同程度の強度を有するピクセルの数とする。その結果、NRDはNRのNDとの和に等しい。そして、NRDはウィンドウサイズより小さい。そのように、NRDは相対的な数であるが、ウィンドウサイズI×Jは、スライディング・ウインドウ、即ちウインドウ520と522のサイズを示している絶対数である。
【００６４】
図６は、MV選択または補正を例示している。図６で示すように、いくつかの実施形態において、MV選択または補正は、パラメータNRに基づく２次元空間の３レベル決定である。図６の中の水平軸は、絶対数であり、その最大値はウィンドウサイズI×Jである。垂直軸は相対数であり、その最大値がNRDである。NRが、再び現中心ピクセルと同程度の強度と同程度のMVとを有するピクセルの数であるならば、選択されたMVは、図６で示すように２つの異なる推定されたMVのうちの１つであってよく、またはいずれでもなくてよい。NRが両方の基数と比較的等しい右上角では、中心ピクセルには、これらの同じまたは同様な動きベクトルの平均が割り当てられる。それは、図4Aまたは図5Aのグループ１ 502のMVの平均を意味する。左下角では、NRが２つの基数と比較して比較的小さく、中心ピクセルには、これらの異なる動きベクトルの平均が割り当てられる。その平均は、図4Bまたは図5Bの中のグループ3 512のMVである。これらの判定基準のどれも満たされない場合、上記のグループのいずれのMVも選択されず、MI1 210で生成された元のMVが再使用される。したがって、先行技術に反して、本発明のいくつかの実施形態で利用されるMV補正プロセスでは、被覆/現出領域を明確に検出する必要はない。
【００６５】
いくつかの実施形態においては、局所スライディング・ウインドウのピクセルの区分けは、彩度レベルに基づいてよい。これは、図5 Aと5Bに関して上述した輝度レベルの区分けに、さらなる信頼性を与える。これらの実施形態におけるピクセルのグループ化は、たとえば、一方では、輝度及び彩度の差を使用し、他方では動きベクトルを使用してよい。
【００６６】
上で述べた、そして図4A、4B、5A、5Bで例示した、局所スライディング・ウインドウにおける輝度と彩度及び動きベクトルの区分けが例であることは、当業者にとって明白でなければならない。さらに、２つの基数を使用して図６に例示される四角形を分割することも範例である。開示された実施形態の範囲から逸脱することなく、代わりの選択と他の基数を構想することができる。
【００６７】
補正された動きベクトルF1とB1は、それぞれ、補正されるFsと補正されるBsに対応し、ハロー低減802によってたとえば上記の決定規則に従って生成され、MV混合804に入力される。難しい決定のとげとげしい影響を避けるために、MV F1は、WERMFのピクセルベースの順方向推定誤差（ef）の関数を用いてMVS 204の選択したMV Fsと混合され、MV出力F2を提供する。F2は、そこで以下で与えられる。
F2＝Fs ＋(F1- Fs)(ef) (12)
同様に、B2、即ちB1の混合バージョンが、与えられる：
B2＝Bs ＋(B1- Bs)(eb) (13)
ここで、(eb)は、WERMBの現ピクセルベースの逆方向推定誤差である。
【００６８】
MV混合804からの出力、F2とB2は、孤立（isolated）MVのフィルタリング806に入力される。現ピクセルのF2が比較的孤立しているならば、得られたMV F2はそのとき、そのP×Q隣接メジアンMVによって置き換えられる。正確には、現MV出力Foは、以下の通り書くことができる：
サイズP×Qのウインドウにおいて、現中心ピクセルのMVと同様のMVの数が、閾値より小さい場合、
Fo＝メジアンベクトル(F2;ij|(i,j) ∈ウインドウ) (14)
そうでなければ、
Fo＝F2;0,0|(0,0)はウインドウ中心ピクセルのインデックス (15)
Bo、即ちB2のメジアンフィルタリングによるバージョンは、同様に取得してよい。孤立MV のフィルタリング806から出力される値FoとBoは、画像第２の補間808に入力される。
【００６９】
画像第２の補間808において、上記で得られた動きベクトル、FoとBoは、補間において利用される。第２の補間は第１の補間MI1 210と類似しており、以下の補間のうちの１つを使用してよい：
Ii2（ｘ）＝EB.In (ｘ+αFo）＋EF.In-1（ｘ+βBo） (16)
または
1>α≧3/4の場合、
Ii2（ｘ）＝EB.In-1（ｘ-（1-α）Fo）＋EF.In-1（ｘ+（1-α）Bo）；
1/4≧α>0の場合、
Ii2（ｘ）＝EB.In (ｘ+αFo）＋EF.In (ｘ-αBo）； (17)
3/4>α>1/4の場合、
Ii2（ｘ）＝EB.In (ｘ+αFo）＋EF.In-1（ｘ+（1-α）Bo）。
マルチフレーム補間において動きの小さく激しい震動が許容できる場合、次の補間を式(16)または(17)の補間の代わりに考慮してよい。この補間は、画像鮮鋭度を増加させより多くのハロー低減をもたらすことができる。この補間では、次のように（たとえば２次の変形）、アルファ値αは、α’によって非線形に修正される：
0<α<1/2なら、α’＝2α2とし、1/2<α<1なら、α’＝1-2(1-α)2とする。
1>α≧3/4の場合、
Ii2（ｘ）＝EB.In-1（ｘ-（1-α’）Fo）＋EF.In-1（ｘ+（1-α’）Bo）；
1/4≧α>0の場合、
Ii2（ｘ）＝EB.In（ｘ+α’Fo）＋EF.In (ｘ-α’Bo）； (18)
3/4>α>1/4の場合、
Ii2（ｘ）＝EB.In (ｘ+α’Fo）＋EF.In-1（ｘ+（1-α’）Bo）。
【００７０】
MI2 206からの出力は、図２に示すように、順方向および逆方向動きベクトルFoとBoと共に補間アルファプレーン画像102、Ii2である。後処理器(PP）208は、画像データIi2と動きベクトルFoとBoを受け取り、格子背景(lattice background)がある場合、さらにいくらかの残っているハローを低減し、閉塞領域の孤立した誤りのある補間ピクセルに起因する又は孤立のMVに起因するフリッカー効果も低減できる。
【００７１】
図９は、背景の格子に対して使用されるハロー低減器900を例示しており、それは、後処理器208の一部である。背景に格子が存在する場合、閉塞領域の小さなMV誤差が補間画像の格子構造を破壊することがあり、影響は好ましくない。図９で示すように、ハロー低減器900は、閉塞領域の格子背景の検出器902と、格子MV補正器904と、格子背景の画像補間器908と、ソフト混合器910とを含むことができる。
【００７２】
検出器902の閉塞領域検出は、SADFかSADBが閾値より大きいかどうかに基づいてよい。さらに、閉塞領域では、順方向および逆方向動きベクトルは通常、整列していない、すなわち、和（Fo+Bo）の絶対値は閾値より大きい。検出器902は閉塞領域を検出するが、個々の被覆または現出領域を検出する必要がないことは、特筆に価する。格子検出は、ME 202においてブロックベースのFFT分析法によって達成してよい。２値信号PERDは、格子の周期的検出オン／オフ結果を表す。さらに、誤ったMVを補正するために、ベクトルFoとGとBoとGの間で要素毎の比較を実行してよい。ここで、MV Gは、ME 202における適切なヒストグラム分析によって推定されるグローバルなMVと規定される。たとえば、背景が静かな場合、あるいは、MV Gが利用できない場合、Gは０に設定してよい。MV Gは、MI2 206に関して上記のように３個のピクセルグループに局所的に区分けされる適切なスライディング・ウインドウを使用することによって推定してもよい。検出器の２値信号出力DLBORは、格子MV補正器904を起動させる。DLBORはまた、低域通過フィルタ906の入力に印加され、フィルタが、今度はソフト混合器910に入力されるアナログ信号(a)を生成する。
【００７３】
格子MVの補正器904は、検出器信号DLBORによって起動されると、Fo及びBoをGによって置き換え、動きベクトルFcとBcを生成する。したがって、FcとBcは、MV補正器によって提供される順方向および逆方向動きベクトルである。
【００７４】
動きベクトルFcとBcが利用できる場合、格子背景用の画像補間器908は、式(16)の前の補間モデルで記述してよい。そうすると、画像補間結果のILは、以下の通り規定してよい：
IL(ｘ) = EB. In(ｘ+αFc）+ EF.In-1（ｘ+（l-α）Bc） (19)
【００７５】
検出境界効果を減らすために、ソフト混合器910が利用され、画像出力IHをハロー格子の補正に提供する：
IHL(ｘ) = Ii2(ｘ) +［IL(ｘ) - Ii2（ｘ）］(a) (20)
画像出力IHLは、次にフリッカー低減器に印加され、最終的に補正されてよい。
【００７６】
図10は、フリッカー低減器1000を例示しており、それは後処理器208の一部である。フリッカー低減器1000は、図２に示される後処理器208の最終ステージであってよい。図10に示されるように、フリッカー低減器1000は、フリッカー検出器1002と、隣接平均計算器1004と、ソフト混合器1008を含むことができる。
【００７７】
フリッカー検出器1002は、起こり得るフリッカー効果を検出する。その効果は、主に閉塞領域の孤立した誤った補間ピクセル、または、孤立したMVに起因するものである。前述の閉塞領域検出は、SADFと、SADBと、順方向および逆方向動きベクトルの和と、現強度とその隣接（たとえば８隣接）平均値との差とに基づく。孤立したMV検出は、ある小さいウイドウにおける、現MVとは異なるMVを有するピクセルの数に基づく。その差異は、順方向及び逆方向MV FoとBoの各水平または垂直の成分毎に考慮される。検出器の２値信号出力は、低域通過フィルタ1006に印加される。フィルタは、今度はさらなる混合のためにアナログ信号（b）を生成する。平均計算器1004は、その出力として、現ピクセルの隣接ピクセル（たとえば８個の隣接ピクセル）の強度平均値IMを提供する。
【００７８】
ソフト混合器1008は、以下の関係式によって最終画像Ifを提供する：
If(ｘ) = IHL(ｘ) +［IM(ｘ) - IHL（ｘ）］(b) (21)
画像If（ｘ）は、そのとき、図１に示されるアルファプレーン102の画像を表す。
【００７９】
いくつかの実施形態においては、既存のフレーム間に２個以上のフレームを挿入することが行われる。たとえば、図７の中でアルファ-プレーン702、704、706、708で例示されているように、24fpsのフィルムコンテンツを120Hzのビデオに変換することは、任意の元の２つのフレーム間に４つのフレームを挿入することが必要になる。ME 202の動き推定（ME）が元の２つの画像104と106、即ちIn とIn-1の間で実行され、したがって、それは、前述の方法と同じである。この場合のMVFとMVBの選択は、上で示した単一フレームの補間の例と同じである。したがって、動きベクトルの選択（MVS）204は、前述したものと同様に遂行する。挿入されるプレーン毎に、同様のMVSを、利用できる計算パワーの関数として並列及び/または直列の適切な組合せで使用してよい。第１の動き補間MI1 210は、動きベクトルのそれぞれ異なる時間的交点でピクセル値を推定することによって、同様に遂行してよい。MI2で実行される第２の動き補間はまた、アルファプレーン毎に同様である。最後に、高フレームレート出力に対しては、MVS 204、MI1 210、MI2 206、及びPP 208は、利用できる計算パワーの関数として並列および/または直列処理の適切な組合せで実行してよい。
【００８０】
実施形態は、画像データを処理できる任意のマシーン上で適用することができる。たとえば、実施形態は、ここで挙げた関数を実装するソフトウェアコードを実行するプロセッサで実施してよい。そのようなソフトウェアは、たとえば、ハードディスク、メモリ、リムーバブルドライブを含め、どのようなコンピュータ媒体に格納してもよい。さらに、実施形態は、プロセッサとメモリを有する専用ASIC上で実施してよい。
【００８１】
本発明のいくつかの実施形態は、リアルタイムアプリケーションの補間画像において、ハロー、ちらつき、及びブロックアーチファクトの出現を大幅に軽減することができる。当業者にとっては、MVのこのような選択と中間のα-プレーンの対応する補間は、範例であり、そして、ここに示された実施形態の範囲から逸脱することなく、他の多段決定が可能であり、あるいは、異なる見方で様々なグループを考慮して、MVを選択/補正し、中間の画像を生成してよいことは明白であるべきである。当業者は、特定のステップまたは構成要素が、ここに開示される実施形態の範囲から逸脱することなく、変更できることを理解するべきである。そのようなものとして、本発明は、以下の請求範囲のみによって制限されるべきである。
【特許請求の範囲】
【請求項１】
第１および第２の隣接画像間の画像を補間する方法であって、
前記第１および第２の隣接画像間で、ブロックベースの順方向動きベクトルとブロックベースの逆方向動きベクトルとを推定することと、
前記ブロックベースの順方向動きベクトルと順方向誤差関数とに基づいて前記画像の各ピクセルに対して順方向動きベクトルを選択することと、
前記ブロックベースの逆方向動きベクトルと逆方向誤差関数とに基づいて前記画像の各ピクセルに対して逆方向動きベクトルを選択することと、
前記選択された逆方向動きベクトルと、前記選択された順方向動きベクトルと、ブロックベースの順方向推定誤差と、ブロックベースの逆方向推定誤差とから、第１の画像を補間することと、
前記選択された順方向動きベクトル及び前記選択された逆方向動きベクトルの順方向及び逆方向の加重誤差に基づいて、前記第１の画像から第２の画像を補間することと、
前記第２の画像から前記画像を決定することと、
を含む方法。
【請求項２】
前記ブロックベースの順方向推定量を推定し、前記ブロックベースの逆方向推定量を推定することは、順方向差分絶対値合計誤差と逆方向差分絶対値合計誤差とを計算することを含む、請求項１に記載の方法。
【請求項３】
前記ブロックベースの順方向動きベクトルと前記ブロックベースの逆方向動きベクトルとを推定することが適応的である、請求項１に記載の方法。
【請求項４】
前記ブロックベースの順方向動きベクトルと前記ブロックベースの逆方向動きベクトルとを推定することが、インタレース画像について実行される、請求項１に記載の方法。
【請求項５】
前記順方向動きベクトルを選択すること又は前記逆方向動きベクトルを選択することが、ブロックベースの動きベクトルを前記画像のピクセルベースの動きベクトルに変換することを含む、請求項１に記載の方法。
【請求項６】
前記順方向誤差関数と前記逆方向誤差関数は、前記第１および前記第２の隣接画像から推定される前記画像の動きベクトルの差分の合計である、請求項１に記載の方法。
【請求項７】
前記順方向誤差関数と前記逆方向誤差関数は、合成局所誤差である、請求項１に記載の方法。
【請求項８】
前記順方向誤差関数と前記逆方向誤差関数は、加重局所誤差である、請求項１に記載の方法。
【請求項９】
前記第１の画像を補間することは、
ブロック誤差関数のピクセルベースの値と、前記第１および第２の隣接プレーンに対する画像の位置αとに基づいてピクセルの数を計算することと、
前記選択された順方向動きベクトルと、前記選択された逆方向動きベクトルと、前記ピクセルの数に基づいて正規化されたピクセルの数と、前記位置αとに基づいて、前記第１の画像を計算することと、
を含む、請求項１に記載の方法。
【請求項１０】
前記第１の画像を補間することが、コンテクストベースの補間である、請求項９の方法。
【請求項１１】
前記第１の画像を補間することが、時間的距離の関数を含む、請求項９の方法。
【請求項１２】
前記第２の画像を補間することが、
ハロー効果を減らすことと、
動きベクトルを混合することと、
動きベクトルをフィルタリングすることと、
画像補間することと、
を含む、請求項１に記載の方法。
【請求項１３】
前記ハロー効果を低減することは、
前記画像のプレーンの局所強度情報と、前記選択された順方向動きベクトルと、対応する順方向局所加重最小誤差とから、順方向動きベクトルに関連する複数のピクセルグループを有する区分化された局所スライディング・ウインドウを区分けすることと、
前記画像のプレーンの局所強度情報と、前記選択された逆方向動きベクトルと、対応する逆方向局所加重最小誤差とから、逆方向動きベクトルに関連する複数のピクセルグループを有する区分化された局所スライディング・ウインドウを区分けすることと、
関連する前記複数のピクセルグループのうちの１つの現在位置に基づいて、前記選択された順方向動きベクトルを補正し、ハロー効果を低減する補正された順方向動きベクトルを提供することと、
関連する前記複数のピクセルグループのうちの１つの現在位置に基づいて、前記選択された逆方向動きベクトルを補正し、ハロー効果を低減する補正された逆方向動きベクトルを提供することと、
を含む、請求項１２に記載の方法。
【請求項１４】
動きベクトルを混合することが、前記補正された順方向動きベクトルと前記選択された順方向動きベクトルとの差分を順方向推定誤差倍して前記選択された順方向動きベクトルに加えることによって、調整された順方向動きベクトルを計算することを含む、請求項１３に記載の方法。
【請求項１５】
動きベクトルを混合することが、前記補正された逆方向動きベクトルと前記選択された逆方向動きベクトルとの差分を逆方向推定誤差倍して前記選択された逆方向動きベクトルに加えることによって、調整された逆方向動きベクトルを計算することを更に含む、請求項１４に記載の方法。
【請求項１６】
動きベクトルをフィルタリングすることは、前記調整された順方向動きベクトルをメジアン順方向動きベクトルで置き換え、そして前記調整された逆方向動きベクトルをメジアン逆方向動きベクトルで置き換えることを含む、請求項１５に記載の方法。
【請求項１７】
画像補間は、前記調整された順方向動きベクトルと前記調整された逆方向動きベクトルとから前記第２の画像を形成することを含む、請求項１６に記載の方法。
【請求項１８】
前記第２の画像を形成することが、前記画像の時間的位置の２次の変形を用いて補間することを含む、請求項１７に記載の方法。
【請求項１９】
前記画像を確定することが、
ハロー効果を減らし、そしてフリッカー効果を減らすことによって前記第２の画像を後処理することを含む、請求項１に記載の方法。
【請求項２０】
前記ハロー効果を減らすことは、
格子背景を検出することと、
動きベクトルを補正することと、
最終画像を補間することと、
最終画像に補正値を混合することと、
を含む、請求項１９に記載の方法。
【請求項２１】
前記フリッカー効果を減らすことは、
フリッカーを検出することと、
隣接平均値を決定することと、
前記隣接平均値を最終画像と混合し、前記画像を形成することと、
を含む、請求項２０に記載の方法。
【請求項２２】
隣接画像を受け取り、ブロックベースの動きベクトルと、ブロックベースの動きベクトルと、順方向誤差と、逆方向誤差とを提供するように結合されるブロックベースの動き推定器と、
前記ブロックベースの動き推定器に結合され、ピクセルベースの選択された順方向動きベクトルと、ピクセルベースの選択された逆方向動きベクトルと、ピクセルベースの順方向誤差と、ピクセルベースの逆方向誤差とを提供する動きベクトル選択器と、
前記ブロックベースの動き推定器と前記動きベクトル選択器とに結合され、前記選択された順方向動きベクトルと前記選択された逆方向動きベクトルとから、第１の補間画像を提供する第１の画像補間器と、
前記第１の画像補間器と前記動きベクトル選択器とに結合され、第２の補間画像と、補正された順方向動きベクトルと、補正された逆方向動きベクトルとを提供する第２の画像補間器と、
前記第１の画像補間器と前記第２の画像補間器とに結合され、前記第２の補間画像と、前記補正された順方向動きベクトルと、前記補正された逆方向動きベクトルとから、最終補間画像を提供する後処理ブロックと、
を含む画像補間器。
【請求項２３】
前記第２の画像補間器が、
スライディング・ウインドウを利用し、前記選択された順方向動きベクトルと前記選択された逆方向動きベクトルとを補正するハロー低減器と、
さらに前記選択された順方向動きベクトルと前記選択された逆方向動きベクトルとを補正するMV混合ブロックと、
さらに前記選択された順方向動きベクトルと前記選択された逆方向動きベクトルとを補正し、前記補正された順方向動きベクトルと前記補正された逆方向動きベクトルとを生成する孤立MVフィルタと、
前記補正された順方向動きベクトルと前記補正された逆方向動きベクトルとから画像を補間する第２の画像補間器と、
を含む、請求項２２に記載の画像補間器。
【請求項２４】
前記後処理ブロックが、
ハロー低減器と、
フリッカー低減器と、
を含む、請求項２２に記載の画像補間器。
【請求項２５】
前記ハロー低減器が
格子背景検出器と、
前記格子背景検出器に結合され、前記補正された順方向動きベクトルと前記補正された逆方向動きベクトルとを補正する格子動きベクトル補正器と、
前記格子動きベクトル補正器によって補正された動きベクトルから画像を補間する画像補間器と、
を含む、請求項２４に記載の画像補間器。
【請求項２６】
前記フリッカー低減器が、
孤立要素の検出器と、
隣接平均計算器と、
を含み、
前記孤立要素の検出器が、孤立した動きベクトルまたは孤立したピクセルを検出する、請求項２４に記載の画像補間器。
【請求項２７】
第１の画像と第２の画像間でブロックベースの動きベクトルを推定する動き推定器と、
前記動き推定器に結合され、前記ブロックベースの動きベクトルに基づいて、選択された動きベクトルを提供する動きベクトル選択器と、
前記選択された動きベクトルを受け取り、前記第１の画像と前記第２の画像間のプレーンに対して第１の補間画像を提供するように結合される第１の補間器と、
前記第１の補間画像を受け取り、前記選択された動きベクトルを補正して、補正された動きベクトルを生成し、補正された動きベクトルに基づいて第２の補間画像を提供するように結合される第２の補間器と、
を含む画像補間器。
【請求項１】
第１および第２の隣接画像間の画像を補間する方法であって、
前記第１および第２の隣接画像間で、ブロックベースの順方向動きベクトルとブロックベースの逆方向動きベクトルとを推定することと、
前記ブロックベースの順方向動きベクトルと順方向誤差関数とに基づいて前記画像の各ピクセルに対して順方向動きベクトルを選択することと、
前記ブロックベースの逆方向動きベクトルと逆方向誤差関数とに基づいて前記画像の各ピクセルに対して逆方向動きベクトルを選択することと、
前記選択された逆方向動きベクトルと、前記選択された順方向動きベクトルと、ブロックベースの順方向推定誤差と、ブロックベースの逆方向推定誤差とから、第１の画像を補間することと、
前記選択された順方向動きベクトル及び前記選択された逆方向動きベクトルの順方向及び逆方向の加重誤差に基づいて、前記第１の画像から第２の画像を補間することと、
前記第２の画像から前記画像を決定することと、
を含む方法。
【請求項２】
前記ブロックベースの順方向推定量を推定し、前記ブロックベースの逆方向推定量を推定することは、順方向差分絶対値合計誤差と逆方向差分絶対値合計誤差とを計算することを含む、請求項１に記載の方法。
【請求項３】
前記ブロックベースの順方向動きベクトルと前記ブロックベースの逆方向動きベクトルとを推定することが適応的である、請求項１に記載の方法。
【請求項４】
前記ブロックベースの順方向動きベクトルと前記ブロックベースの逆方向動きベクトルとを推定することが、インタレース画像について実行される、請求項１に記載の方法。
【請求項５】
前記順方向動きベクトルを選択すること又は前記逆方向動きベクトルを選択することが、ブロックベースの動きベクトルを前記画像のピクセルベースの動きベクトルに変換することを含む、請求項１に記載の方法。
【請求項６】
前記順方向誤差関数と前記逆方向誤差関数は、前記第１および前記第２の隣接画像から推定される前記画像の動きベクトルの差分の合計である、請求項１に記載の方法。
【請求項７】
前記順方向誤差関数と前記逆方向誤差関数は、合成局所誤差である、請求項１に記載の方法。
【請求項８】
前記順方向誤差関数と前記逆方向誤差関数は、加重局所誤差である、請求項１に記載の方法。
【請求項９】
前記第１の画像を補間することは、
ブロック誤差関数のピクセルベースの値と、前記第１および第２の隣接プレーンに対する画像の位置αとに基づいてピクセルの数を計算することと、
前記選択された順方向動きベクトルと、前記選択された逆方向動きベクトルと、前記ピクセルの数に基づいて正規化されたピクセルの数と、前記位置αとに基づいて、前記第１の画像を計算することと、
を含む、請求項１に記載の方法。
【請求項１０】
前記第１の画像を補間することが、コンテクストベースの補間である、請求項９の方法。
【請求項１１】
前記第１の画像を補間することが、時間的距離の関数を含む、請求項９の方法。
【請求項１２】
前記第２の画像を補間することが、
ハロー効果を減らすことと、
動きベクトルを混合することと、
動きベクトルをフィルタリングすることと、
画像補間することと、
を含む、請求項１に記載の方法。
【請求項１３】
前記ハロー効果を低減することは、
前記画像のプレーンの局所強度情報と、前記選択された順方向動きベクトルと、対応する順方向局所加重最小誤差とから、順方向動きベクトルに関連する複数のピクセルグループを有する区分化された局所スライディング・ウインドウを区分けすることと、
前記画像のプレーンの局所強度情報と、前記選択された逆方向動きベクトルと、対応する逆方向局所加重最小誤差とから、逆方向動きベクトルに関連する複数のピクセルグループを有する区分化された局所スライディング・ウインドウを区分けすることと、
関連する前記複数のピクセルグループのうちの１つの現在位置に基づいて、前記選択された順方向動きベクトルを補正し、ハロー効果を低減する補正された順方向動きベクトルを提供することと、
関連する前記複数のピクセルグループのうちの１つの現在位置に基づいて、前記選択された逆方向動きベクトルを補正し、ハロー効果を低減する補正された逆方向動きベクトルを提供することと、
を含む、請求項１２に記載の方法。
【請求項１４】
動きベクトルを混合することが、前記補正された順方向動きベクトルと前記選択された順方向動きベクトルとの差分を順方向推定誤差倍して前記選択された順方向動きベクトルに加えることによって、調整された順方向動きベクトルを計算することを含む、請求項１３に記載の方法。
【請求項１５】
動きベクトルを混合することが、前記補正された逆方向動きベクトルと前記選択された逆方向動きベクトルとの差分を逆方向推定誤差倍して前記選択された逆方向動きベクトルに加えることによって、調整された逆方向動きベクトルを計算することを更に含む、請求項１４に記載の方法。
【請求項１６】
動きベクトルをフィルタリングすることは、前記調整された順方向動きベクトルをメジアン順方向動きベクトルで置き換え、そして前記調整された逆方向動きベクトルをメジアン逆方向動きベクトルで置き換えることを含む、請求項１５に記載の方法。
【請求項１７】
画像補間は、前記調整された順方向動きベクトルと前記調整された逆方向動きベクトルとから前記第２の画像を形成することを含む、請求項１６に記載の方法。
【請求項１８】
前記第２の画像を形成することが、前記画像の時間的位置の２次の変形を用いて補間することを含む、請求項１７に記載の方法。
【請求項１９】
前記画像を確定することが、
ハロー効果を減らし、そしてフリッカー効果を減らすことによって前記第２の画像を後処理することを含む、請求項１に記載の方法。
【請求項２０】
前記ハロー効果を減らすことは、
格子背景を検出することと、
動きベクトルを補正することと、
最終画像を補間することと、
最終画像に補正値を混合することと、
を含む、請求項１９に記載の方法。
【請求項２１】
前記フリッカー効果を減らすことは、
フリッカーを検出することと、
隣接平均値を決定することと、
前記隣接平均値を最終画像と混合し、前記画像を形成することと、
を含む、請求項２０に記載の方法。
【請求項２２】
隣接画像を受け取り、ブロックベースの動きベクトルと、ブロックベースの動きベクトルと、順方向誤差と、逆方向誤差とを提供するように結合されるブロックベースの動き推定器と、
前記ブロックベースの動き推定器に結合され、ピクセルベースの選択された順方向動きベクトルと、ピクセルベースの選択された逆方向動きベクトルと、ピクセルベースの順方向誤差と、ピクセルベースの逆方向誤差とを提供する動きベクトル選択器と、
前記ブロックベースの動き推定器と前記動きベクトル選択器とに結合され、前記選択された順方向動きベクトルと前記選択された逆方向動きベクトルとから、第１の補間画像を提供する第１の画像補間器と、
前記第１の画像補間器と前記動きベクトル選択器とに結合され、第２の補間画像と、補正された順方向動きベクトルと、補正された逆方向動きベクトルとを提供する第２の画像補間器と、
前記第１の画像補間器と前記第２の画像補間器とに結合され、前記第２の補間画像と、前記補正された順方向動きベクトルと、前記補正された逆方向動きベクトルとから、最終補間画像を提供する後処理ブロックと、
を含む画像補間器。
【請求項２３】
前記第２の画像補間器が、
スライディング・ウインドウを利用し、前記選択された順方向動きベクトルと前記選択された逆方向動きベクトルとを補正するハロー低減器と、
さらに前記選択された順方向動きベクトルと前記選択された逆方向動きベクトルとを補正するMV混合ブロックと、
さらに前記選択された順方向動きベクトルと前記選択された逆方向動きベクトルとを補正し、前記補正された順方向動きベクトルと前記補正された逆方向動きベクトルとを生成する孤立MVフィルタと、
前記補正された順方向動きベクトルと前記補正された逆方向動きベクトルとから画像を補間する第２の画像補間器と、
を含む、請求項２２に記載の画像補間器。
【請求項２４】
前記後処理ブロックが、
ハロー低減器と、
フリッカー低減器と、
を含む、請求項２２に記載の画像補間器。
【請求項２５】
前記ハロー低減器が
格子背景検出器と、
前記格子背景検出器に結合され、前記補正された順方向動きベクトルと前記補正された逆方向動きベクトルとを補正する格子動きベクトル補正器と、
前記格子動きベクトル補正器によって補正された動きベクトルから画像を補間する画像補間器と、
を含む、請求項２４に記載の画像補間器。
【請求項２６】
前記フリッカー低減器が、
孤立要素の検出器と、
隣接平均計算器と、
を含み、
前記孤立要素の検出器が、孤立した動きベクトルまたは孤立したピクセルを検出する、請求項２４に記載の画像補間器。
【請求項２７】
第１の画像と第２の画像間でブロックベースの動きベクトルを推定する動き推定器と、
前記動き推定器に結合され、前記ブロックベースの動きベクトルに基づいて、選択された動きベクトルを提供する動きベクトル選択器と、
前記選択された動きベクトルを受け取り、前記第１の画像と前記第２の画像間のプレーンに対して第１の補間画像を提供するように結合される第１の補間器と、
前記第１の補間画像を受け取り、前記選択された動きベクトルを補正して、補正された動きベクトルを生成し、補正された動きベクトルに基づいて第２の補間画像を提供するように結合される第２の補間器と、
を含む画像補間器。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公表番号】特表２０１１−５０８５１６（Ｐ２０１１−５０８５１６Ａ）
【公表日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願番号】特願２０１０−５３９４９３（Ｐ２０１０−５３９４９３）
【出願日】平成２０年１２月１８日（２００８．１２．１８）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０１３８８７
【国際公開番号】ＷＯ２００９／０８５２０５
【国際公開日】平成２１年７月９日（２００９．７．９）
【出願人】（５０８２４９６９７）インテグレーテッド・デバイス・テクノロジー・インコーポレーテッド (6)
【Ｆターム（参考）】
【公表日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願日】平成２０年１２月１８日（２００８．１２．１８）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０１３８８７
【国際公開番号】ＷＯ２００９／０８５２０５
【国際公開日】平成２１年７月９日（２００９．７．９）
【出願人】（５０８２４９６９７）インテグレーテッド・デバイス・テクノロジー・インコーポレーテッド (6)
【Ｆターム（参考）】
[ Back to top ]