ぶれ補正方法、ぶれ補正装置およびコンピューター読み取り可能な媒体
【課題】デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを補正する方法および装置を提供する。
【解決手段】第1および第2ぼかしフィルターを用いて現行フレームをぼかし、各々第1および第2ぶれフレームを生成することを含む。次に現行フレーム、第1ぶれフレーム、および第2ぶれフレームの第1加重組み合わせを第1フィルターでぼかし、第3ぶれフレームを生成する。そして現行フレームと第3ぶれフレームを第2加重組み合わせに組み合わせてぶれ補正フレームを生成する。
【解決手段】第1および第2ぼかしフィルターを用いて現行フレームをぼかし、各々第1および第2ぶれフレームを生成することを含む。次に現行フレーム、第1ぶれフレーム、および第2ぶれフレームの第1加重組み合わせを第1フィルターでぼかし、第3ぶれフレームを生成する。そして現行フレームと第3ぶれフレームを第2加重組み合わせに組み合わせてぶれ補正フレームを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタルビデオのホールド型ディスプレイでフレーム間動作を描くデジタルビ
デオフレームにおいて人間の目で知覚されるぶれを削減することに関する。より具体的に
、開示される実施形態はフレーム間動作による知覚されたぶれを削減する方法、装置、お
よびコンピューター読み取り可能な媒体に関する。
【背景技術】
【０００２】
液晶ディスプレイ（LCD）などのホールド型ディスプレイ装置に表示されるデジタルビ
デオにおける動く物体は観察者にとってぶれて見える可能性がある。知覚されたぶれは一
部液晶セルの比較的遅い「LC応答」によって引き起こされる。例えばブラウン管（CRT）
装置のようなインパルス型装置と比較すると、LCD装置ははるかに遅い明度移行応答時間
を有する。知覚されたぶれはさらに一部LCD装置により通常用いられるサンプル・アンド
・ホールド駆動手法によって引き起こされ、これは人間の網膜において残像の形成をもた
らす。これらの残像はビデオ・シーケンスにおいて動体が観察される際ぶれた視覚上の知
覚をもたらす。
【０００３】
例えば、入力ビデオ・シーケンスがLCD装置に入力されると、入力ビデオ・シーケンス
からの各デジタルビデオ画像（あるいはフレームと呼ばれる）はLCD装置上で1フレーム間
隔の間持続される。ある場面において動いている物体を見る際、人間の目は円滑な目の動
きにより物体を能動的に追跡し、人間の網膜に安定した画像を生成する。しかしLCD装置
および人間の視覚システムにおける追跡挙動の組み合わせは空間的なローパス・フィルタ
リング効果、すなわち、ぶれ効果をもたらす。
【０００４】
動作ぶれを補正するために多数の方法が提案されている。（例えば特許文献１参照。）
1つの方法はフレーム・シーケンスにおけるフレームの各ペア間に黒フレームを挿入する
ことである。この方法は知覚的な動作ぶれ問題を被らないインパルス・ディスプレイを基
本的に真似ている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第７４１５１６３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、この方法を実施すると、全体的に明るさが低減する。あるいはホールド型ディ
スプレイ上で表示する前にデジタルビデオ・シーケンスのフレームにビデオ前処理を適用
することもできる。しかし現存のビデオ前処理は高い演算コスト、解像度の損失、または
偽動作のエッジおよびフレームのジャダリングなどのアーティファクトといったいくらか
の欠点を有する。
【課題を解決するための手段】
【０００７】
本発明のぶれ補正方法は、デジタルビデオフレームのシーケンスにおいてフレーム間動
作による知覚されたぶれを前記フレーム間動作の方向および範囲に基づき補正するぶれ補
正方法であって、
現行フレームに基づき推量フレームを生成するステップと、
前記推量フレームにおける複数のピクセルの各々について正則化項を計算するステップ
と、
前記推量フレームにおける複数のピクセルを前記フレーム動作の方向および範囲の関数
としてぼかすステップと、
ぶれた各ピクセルを前記現行フレームにおける対応ピクセルと比較して各対応ピクセル
についてエラーピクセルを生成するステップと、
前記各エラーピクセルをぼかすステップと、
ぶれた各エラーピクセルをその対応正則化項に基づき調節するステップと、
前記調節された各エラーピクセルと前記推量フレームにおけるその対応ピクセルを組み
合わせて前記推量フレームを更新し、ぶれを補正するステップとを有することを特徴とす
る。
【０００８】
また、本発明のぶれ補正方法において、前記各ピクセルについて正則化項を計算するス
テップは、ピクセルの正規化水平勾配の水平勾配を前記ピクセルの正規化垂直勾配の垂直
勾配と組み合わせるステップを含むことを特徴とする。
【０００９】
また、本発明のぶれ補正方法において、前記ぶれた各エラーピクセルをその対応正則化
項に基づき調節するステップは、前記対応正則化項を正則化因数で加重し、各加重正則化
項をその対応するぶれたエラーピクセルから引くステップを含むことを特徴とする。
【００１０】
また、本発明のぶれ補正方法において、前記正則化項を計算するステップ、前記複数の
ピクセルをぼかすステップ、前記ぶれた各ピクセルを比較するステップ、前記エラーピク
セルをぼかすステップ、前記調節するステップ、および前記調節された各エラーピクセル
と前記推量フレームにおけるその対応ピクセルを組み合わせるステップは反復的に行なわ
れることを特徴とする。
【００１１】
また、本発明のぶれ補正方法において、前記反復的に行なわれるステップは、前記各ピ
クセルに結び付いた輝度チャンネルデータまたは前記各ピクセルに結び付いた色チャンネ
ルデータに対し実施されることを特徴とする。
【００１２】
また、本発明のぶれ補正方法において、前記組み合わせるステップの前に、前記対応す
る調節されたエラーピクセルを調節ステップサイズパラメーターで加重するステップを有
することを特徴とする。
【００１３】
また、本発明のぶれ補正方法において、前記正則化項を計算するステップ、前記複数の
ピクセルをぼかすステップ、前記ぶれた各ピクセルを比較するステップ、前記エラーピク
セルをぼかすステップ、前記調節するステップ、および前記調節された各エラーピクセル
と前記推量フレームにおけるその対応ピクセルを組み合わせるステップは、所定回数反復
的に行なわれ、前記調節ステップサイズパラメーターの調節ステップサイズは各反復後に
削減因数分削減されることを特徴とする。
【００１４】
一方、本発明のぶれ補正装置は、デジタルビデオフレームのシーケンスにおいてフレー
ム間動作による知覚されたぶれを前記フレーム間動作の方向および範囲に基づき補正する
ぶれ補正装置であって、
現行フレームから引き出された推量フレームにおける複数のピクセルの各々につて正則
化項を計算するよう構成される正則化項生成器と、
前記推量フレームにおける複数のピクセルを前記フレーム間動作の方向および範囲の関
数としてぼかし、ぶれた各ピクセルを前記現行フレームにおける対応ピクセルと比較して
各対応ピクセルに対するエラーピクセルを生成し、各エラーピクセルをぼかすよう構成さ
れる動作シミュレーターと、
ぶれた各エラーピクセルをその対応正則化項に基づき調節し、前記調節された各エラー
ピクセルを前記推量フレームにおけるその対応ピクセルと組み合わせて前記推量フレーム
を更新し、前記ぶれを補正するよう構成される画像更新器とを有することを特徴とする。
【００１５】
ここで、本発明のぶれ補正方法は、デジタルビデオフレームのシーケンスにおいてフレ
ーム間動作による知覚されたぶれをフレーム間動作の方向および範囲に基づき補正するぶ
れ補正方法であって、
現行フレームに基づき推量フレームを生成するステップと、
前記フレーム間動作の方向および範囲から引き出された複数のぼかしフィルターを組み
合わせてぶれ補正フィルターを形成するステップと、
前記ぶれ補正フィルターを用いて前記推量フレームにおける複数のピクセルを処理する
ステップと、
前記処理された各ピクセルを前記現行フレームにおける対応ピクセルと比較して各対応
ピクセルに対する強度調節を生成するステップと、
前記推量フレームにおける各ピクセルをその対応強度調節で調節してぶれ調節フレーム
を生成するステップとを有することを特徴とする。
【００１６】
また、本発明のぶれ補正方法において、前記ぶれ補正フィルターを用いて前記推量フレ
ームにおける複数のピクセルを処理することが反復的ぶれ補正プロセスに近似するように
、前記ぶれ補正フィルターは形成されることを特徴とする。
【００１７】
また、本発明のぶれ補正方法において、前記補正フィルターは前記複数のぼかしフィル
ターを組み合わせた後、もたらされた中間フィルターの1つ以上の係数が切り詰められる
ことにより形成されることを特徴とする。
【００１８】
さらに本発明のぶれ補正装置は、デジタルビデオフレームのシーケンスにおいてフレー
ム間動作による知覚されたぶれをフレーム間動作の方向および範囲に基づき補正するぶれ
補正装置であって、
前記フレーム間動作の方向および範囲から引き出された複数のぼかしフィルターを組み
合わせてぶれ補正フィルターを形成するよう構成さえるぶれ補正フィルター生成器と、
前記ぶれ補正フィルターを用いて推量フレームにおける複数のピクセルを処理し、前記
処理された各ピクセルを現行フレームにおける対応ピクセルと比較して各対応ピクセルに
対する強度調節を生成するよう構成される動作シミュレーターと、
前記推量フレームにおける各ピクセルをその対応強度調節で調節してぶれ調節フレーム
を生成するよう構成される画像更新器とを有することを特徴とする。
【００１９】
ここで、本発明のぶれ補正方法は、デジタルビデオフレームのシーケンスにおいてフレ
ーム間動作による知覚されたぶれを補正するぶれ補正方法であって、
第1ぼかしフィルターを用いて現行フレームをぼかし、第1ぶれフレームを生成するステ
ップと、
第2ぼかしフィルターを用いて前記現行フレームをぼかし、第2ぶれフレームを生成する
ステップと、
前記現行フレーム、前記第1ぶれフレーム、および前記第2ぶれフレームの加重組み合わ
せを第1ぼかしフィルターでぼかし、ぶれ補正フレームを生成するステップとを有するこ
とを特徴とする。
【００２０】
また、本発明のぶれ補正方法において、前記加重組み合わせに用いられる複数の加重値
の1つ以上は前記現行フレームの推定背景輝度の関数として計算されることを特徴とする
。
【００２１】
また、本発明のぶれ補正方法において、前記現行フレームの推定背景輝度は、前記デジ
タルビデオフレームのシーケンスにおいて前記現行フレームに先行するフレームのピクセ
ル強度のヒストグラムに基づき推定されることを特徴とする。
【００２２】
また、本発明のぶれ補正方法において、前記複数のピクセルをぼかす前に、複数のピク
セルの少なくとも一部の対比を前記現行フレームの推定背景輝度レベルに基づき調節する
ステップを有することを特徴とする。
【００２３】
また、本発明のぶれ補正方法において、前記複数のピクセルの少なくとも一部における
ピクセルの対比は前記ピクセルの強度と前記推定背景輝度レベルとの差に基づき調節され
ることを特徴とする。
【００２４】
また、本発明のぶれ補正方法において、前記第1および第2フィルターの少なくとも1つ
は前記フレーム間動作の方向および範囲から引き出された均質フィルターであることを特
徴とする。
【００２５】
ここで、本発明のぶれ補正装置は、デジタルビデオフレームのシーケンスにおいてフレ
ーム間動作による知覚されたぶれを補正する装置であって、
現行フレームをぼかして第1ぶれフレームを生成するよう構成される第1ぼかしフィルタ
ーと、前記現行フレームをぼかして第2ぶれフレームを生成するよう構成される第2ぼかし
フィルターとを含む動作鮮明化フィルターと、
前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレームを組み合わせるよ
う構成されるフレーム組み合わせ器と、
前記フレームの組み合わせをぼかしてぶれ補正フレームを生成するよう構成される第3
ぼかしフィルターを有することを特徴とする。
【００２６】
また、本発明のぶれ補正装置は、前記現行フレームの少なくとも一部の対比を調節する
よう構成される適応型対比調節器であって、前記現行フレームの前記少なくとも一部は前
記第1および第2フィルターによりぼかされる前に前記適応型対比調節器により調節される
よう前記動作鮮明化フィルターに対し配置される適応型対比調節器と、
前記組み合わせの前に前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレ
ームに適用される複数の加重の1つ以上を調節するために前記フレーム組み合わせ器によ
り用いられる適応型ステップサイズ因数を生成するよう構成される適応型ステップサイズ
生成器とをさらに有することを特徴とする。
【００２７】
さらに、本発明のぶれ補正方法は、デジタルビデオフレームのシーケンスにおいてフレ
ーム間動作による知覚されたぶれを補正するぶれ補正方法であって、
第1ぼかしフィルターを用いて現行フレームをぼかし、第1ぶれフレームを生成するステ
ップと、
第2ぼかしフィルターを用いて前記現行フレームをぼかし、第2ぶれフレームを生成する
ステップと、
前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレームの第1加重組み合
わせを前記第1フィルターでぼかし、第3ぶれフレームを生成するステップと、
前記現行フレームと前記第3ぶれフレームを第2加重組み合わせに組み合わせてぶれ補正
フレームを生成するステップとを有することを特徴とする
【００２８】
ここで、本発明のぶれ補正装置は、デジタルビデオフレームのシーケンスにおいてフレ
ーム間動作による知覚されたぶれを補正するぶれ補正装置であって、
現行フレームをぼかし第1ぶれフレームを生成するよう構成される第1ぼかしフィルター
と、前記現行フレームをぼかし第2ぶれフレームを生成するよう構成される第2ぼかしフィ
ルターとを含む動作鮮明化フィルターと、
前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレームを組み合わせてフ
レームの組み合わせを生成するよう構成される第1フレーム組み合わせ器と、
前記フレームの組み合わせをぼかすよう構成される第3ぼかしフィルターと、
前記現行フレームを前記ぶれたフレームの組み合わせを組み合わせてぶれ補正フレーム
を生成するよう構成される第2フレーム組み合わせ器とを有することを特徴とする。
【００２９】
また、本発明のぶれ補正装置において、前記現行フレームの少なくとも一部の対比を調
節するよう構成される適応型対比調節器であって、前記現行フレームの少なくとも一部は
前記第1および第2フィルターによりぼかされる前に前記適応型対比調節器により調節され
るよう動作鮮明化フィルターに対し配置される適応型対比調節器と、
前記組み合わせの前に前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレ
ームに適用される複数の加重の1つ以上を調節するために前記フレーム組み合わせ器によ
り用いられる適応型ステップサイズ因数を生成するよう構成される適応型ステップサイズ
生成器とをさらに有することを特徴とする。
【００３０】
一方、本発明のコンピューター読み取り可能な媒体は、実行された場合にデジタルビデ
オフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを補正する方法を
実施するコンピューター読み取り可能な命令を有する1つ以上のコンピューター読み取り
可能な媒体であって、
前記ぶれを補正する方法は、
第1ぼかしフィルターを用いて現行フレームをぼかし、第1ぶれフレームを生成するステ
ップと、
第2ぼかしフィルターを用いて前記現行フレームをぼかし、第2ぶれフレームを生成する
ステップと、
前記現行フレーム、前記第1ぶれフレームおよび第2ぶれフレームの第1加重組み合わせ
を前記第1ぼかしフィルターでぼかし、第3ぶれフレームを生成するステップと、
前記現行フレームと前記第3ぶれフレームを第2加重組み合わせに組み合わせてぶれ補正
フレームを生成するステップとを有することを特徴とする。
【図面の簡単な説明】
【００３１】
【図１】フレーム間の動作の推定が与えられた場合、空間的ローパス・フィルタリング効果のために動作ぶれの前補正を行なうシステムの概略図である。
【図２】空間的ローパス・フィルタリング効果のために動作ぶれの前補正を行なうシステムの別の概略図である。
【図３】動作ぶれの前補正の前に生じる段階を示すフローチャートである。
【図４】動作ぶれの前補正の第1方法例に関するフローチャートである。
【図５】第1方法例を行なう第1装置例の機能的ブロック図である。
【図６】（Ａ）は、図5の第1装置例における動作シミュレーターの機能的ブロック図である。（Ｂ）は、図5の第1装置例における正則化項生成器の機能的ブロック図である。（Ｃ）は、図5の第1装置例における画像更新器の機能的ブロック図である。
【図７】動作ぶれの前補正の第2方法例に関するフローチャートである。
【図８】第2方法例を行なう第2装置例の機能的ブロック図である。
【図９】図8の第2装置例における動作シミュレーターの機能的ブロック図である。
【図１０】（Ａ）は、図5の第1方法例により形成される出力画像を示す。（Ｂ）は、図7の第2方法例により形成される出力画像を示す。
【図１１】さまざまな反復レベルにおける第1および第2方法例の処理時間を比較したグラフを示す図である。
【図１２】動作ぶれの前補正の第3方法例に関するフローチャートである。
【図１３】人間の最小可視閾値モデルの曲線を示す図である。
【図１４】均質フィルターで画像における一区域のフィルタリングの実施を示す図である。
【図１５】第3方法例を行なう第3装置例の機能的ブロック図である。
【図１６】動作ぶれの前補正の第4方法例に関するフローチャートである。
【図１７】第4方法例を行なう第4装置例の機能的ブロック図である。
【発明を実施するための形態】
【００３２】
以下の詳細な説明において、発明の実施形態例を例示的に示す添付図面が参照される。
図面において、各々の図を通して実質的に類似した構成要素は類似した数字が表している
。これらの実施形態は当業者が発明を実施できるよう充分に詳細に説明される。本発明の
範囲から逸脱することなく他の実施形態も利用でき、構造的、論理的、および電気的な変
更を加えることができる。さらに、発明のさまざまな実施形態は異なってはいるが、必ず
しも互いに排他的ではないことが理解されよう。例えば、一実施形態において説明される
特定の特長、構造、または特徴は他の実施形態内に含まれ得る。従って以下の詳細な説明
は限定的な意味で捉えるべきでなく、本発明の範囲は添付クレームとともに、このような
クレームが権利を有する均等物の全範囲によってのみ規定される。
【００３３】
一般的に、実施形態例はデジタルビデオフレームのシーケンスにおいて、何もしない場
合フレーム間動作により近くされるぶれがフレームを表示する前に排除または削減される
べくフレーム間動作を補正する方法、装置、およびコンピューター読み取り可能な媒体に
関する。このような前補正手法は本明細書においてフレーム間動作の削減または補正、動
作ぶれの削減または補正、等々、色々と呼ばれ得る。実施形態例はさまざまな画像処理用
途と併せて知覚されたぶれが最小化されたデジタルビデオフレームを形成するために用い
ることができる。例えば、フレーム間動作を補正する前にフレーム間動作を特性化する動
作ベクトルを推定することができる。
【００３４】
フレームにおける局部領域に結び付いたフレーム間動作ベクトルを推定する方法例は20
06年3月16日に申請され、「デジタルビデオにおける動作を推定し、知覚された動作ぶれ
を補正する方法およびシステム」（“Method And System For Estimating Motion And Co
mpensating For Perceived Motion Blur In Digital Video”）と題する同時係属の米国
特許出願番号11/377，030において説明され、その内容も引用により本明細書に組み入れ
られる。
【００３５】
上述の知覚されたぶれの問題（例は同時係属の米国特許出願番号11/377，030において
より詳細に説明される）を補正するために、動作ぶれ前補正手法が開発され、ここで図1
乃至3を参照して説明される。ここで図1を参照すると、フレーム間の動作の推定が与えら
れた場合、空間的ローパス・フィルタリング効果のために動作ぶれの前補正を行なうシス
テムの概略図が示される。
【００３６】
図2は空間的ローパス・フィルタリング効果のために動作ぶれの前補正を行なうシステ
ムの別の概略図である。図2において、デジタルビデオ・シーケンスの各フレームはフレ
ーム動作推定およびフレーム動作補正を行なう動作処理フィルターを通過する。動作処理
フィルターの出力はLCD装置に提供される。デジタルビデオ・シーケンスをリアルタイム
で処理できるように2フレームメモリーバッファー（図示せず）が提供される。
【００３７】
図3はフレーム間のピクセルの動作に基づくデジタルビデオにおける知覚されたぶれを
補正する前に行なわれる段階を示すフローチャートである。2つの連続的なまたは一連の
デジタルビデオフレーム（現行フレームFnおよび先行フレームFn−1）を受信すると（段
階302）、フレームの間のフレーム動作を特性化する動作ベクトルが現行フレームについ
て推定される（工程304）。（フレーム間動作がグローバルでない場合、同時係属の米国
特許出願番号11/377，030に説明されるように複数のピクセル・ブロックまたはピクセル
のクラスターの各々について動作ベクトルを推定することができ、本明細書に説明される
方法は連続して、並行して、またはこれらの何らかの組み合わせとして複数のブロックま
たはクラスターに適用してぶれを補正することができる。）
【００３８】
ビデオの前処理を行ない推定された動作ベクトルを用いて知覚された動作ぶれを補正す
る4つの別の実施形態を次に図4乃至17を参照して説明される。以下の章で説明されるビデ
オ前処理操作は現行フレームの各入力色チャンネルに対し連続して、並行して、または双
方の何らかの組み合わせで別々に適用できる。説明を簡単にするために、同じ操作を他の
チャンネルにも繰り返し得るという理解の上で単一の色チャンネルに対する操作が説明さ
れる。入力フォーマットがYCbCrの場合、前処理操作の実施は輝度（Y）チャンネルのみを
処理することにより最適化できる。従って、本明細書においてある操作があるピクセルに
対し実施されると説明される場合、操作はピクセルの色または輝度チャンネルに対し実施
されると理解される。
【００３９】
第1実施形態例
図4はフレーム間動作を補正する第1方法例400の段階を示すフローチャートである。方
法例400はフレーム間動作の方向および範囲に基づき現行フレームにおけるピクセルを反
復的に処理し現行フレームをぶれ補正フレームに変換して現行フレームの代わりに表示す
る。フレーム間動作の方向および範囲はx方向成分およびy方向成分を有する動作ベクトル
により特性化できる。現行フレームにおけるピクセルに対応する色または輝度チャンネル
における強度データを反復的に処理することにより、フレームは過補正の可能性を削減し
ながら漸次調節される。さらに、フレームにおける雑音に対応するために、雑音の増幅を
避け共鳴アーティファクトを削減するために正則化項が計算される。次の表1および2にお
ける記号およびパラメーターは方法400を説明するために用いられる。
【００４０】
【表１】
【００４１】
【表２】
【００４２】
最初に現行フレームに基づく推量フレームを生成する行為が実施される（段階402）。
例えば、現行フレームIを推量フレームOoとして設定することができる。次に推量フレー
ムOoにおける複数のピクセルの各々について正則化項Wを計算することができる（段階404
）。
【００４３】
ピクセルについて正則化項を計算することは水平および垂直方向における一次導関数ま
たは勾配を計算すること、水平および垂直勾配を正規化すること、およびピクセルの正規
化された水平勾配の水平勾配をピクセルの正規化された垂直勾配の垂直勾配と組み合わせ
ることを含む。ピクセルの水平および垂直勾配、GhおよびGv、は次のように計算できる。
【００４４】
【数１】
【００４５】
次に、水平および垂直勾配、GhおよびGv、は以下のように正規化される。
【００４６】
【数２】
【００４７】
正規化された水平および垂直勾配、Gh’およびGv’を用い、正則化項Wは次のように計
算される。
【００４８】
【数３】
【００４９】
次に、推量フレームにおける複数のピクセルをフレーム間動作の関数としてぼかすこと
、ぶれた各ピクセルを現行フレームにおける対応ピクセルと比較して各対応ピクセルに対
するエラーピクセルを生成すること、およびぶれた各ピクセルをその対応する正則化項に
基づき調節することの行為が実施される（段階406−412）。例えば、次の強度調節式を用
いて複数のピクセルをぼかし、ぶれた各ピクセルを現行フレームにおける対応ピクセルと
比較してエラーピクセルを生成し、ぶれた各ピクセルをその対応する正則化項に基づき調
節することができる。
【００５０】
【数４】
ここで実際の対称フィルターについてH*= H である。
【００５１】
414において，推量フレームを更新しぶれを補正するために調節された各エラーピクセ
ルと推量フレームにおけるその対応ピクセルを組み合わせる行為が実施される。組み合わ
せることは調節項が所定の最大調節値を超えないように例えば次のように強度調節項を刈
り込むことを含むことができる。
ΔI = min(max(ΔI，−ΔImax)，ΔImax) (7)
【００５２】
いずれのピクセル強度値も0から255などの許容範囲外にないようにピクセル更新式も次
のように刈り込み機能を提供することができる。
On(x，y) = min(max(On−1(x，y)+ΔI，0)，255) (8)
【００５３】
インデックスnが次に増分され、段階404から414はOnにおける各ピクセルについて反復
される（段階416）。反復は所定の最大反復回数、N、だけ反復される。反復毎に調節ステ
ップ、β、は各反復後次の式に従い削減因数、k、で削減されることができる。
β=k・β (9)
段階404から414を所定回数のN回反復した後、結果画像O=Onを戻すことができる。
【００５４】
図5は図4の方法400を行なう装置例500の機能的ブロック図である。装置500は画像ブロ
ックメモリー502、動作フィルターメモリー504、動作シミュレーター506、正則化項生成
器508、画像更新器510、ソーベルフィルターメモリー512、および転置器514を含む。装置
500はさらにモジュール502−514により実行されるプロセスを制御するために1つ以上のプ
ロセッサー（図示せず）を含むことができる。
【００５５】
画像ブロックメモリー502は画像データを受信し記憶する。方法400における最初の反復
（n=1）の際、現行画像I、またはその一部、がブロックメモリー502に受信され記憶され
る。従って画像ブロックメモリー502からの初期の出力（すなわちO0）はIであるが、次に
方法400における段階の後続反復において画像更新器508からの更新画像になる（すなわち
すべてのn>1についてOn−1）。画像ブロックメモリー502の出力On−1は動作シミュレータ
ー506、正則化項508、および画像更新器510に供給される。現行画像Iも動作シミュレータ
ー506に供給される。
【００５６】
動作フィルターメモリー504は動作ベクトルVを受信して記憶し、動作ベクトルをフォー
マットし直してぼかしフィルターHを出力することができ、これは動作シミュレーター506
に供給される。動作シミュレーター506は動作シミュレーション出力を生成し、これは画
像更新器510に供給される。ソーベルフィルターメモリー512からのソーベル・フィルター
S、および転置器514からその転置STを用い、正則化項生成器508は更新画像On−1に対し正
則化項を形成し、これも画像更新器510に供給される。動作シミュレーション出力、正則
化項、および更新画像On−1に基づき、画像更新器510は出力画像Onについてピクセルを生
成し、画像更新をN回反復後この画像はぶれ補正画像Oとして戻される。動作シミュレータ
ー506、正則化項生成器508、および画像更新器510は以下各々図6A、6B、および6Cを参照
してより詳細に説明される。
【００５７】
図6（A）図5の装置500からの動作シミュレーター506の機能的ブロック図を示す。動作
シミュレーター506は画像重畳モジュール602および604、減算モジュール606、および乗算
モジュール608、ならびにレジスター610を含む。上記方程式(6)に従い、画像重畳モジュ
ール602は画像On−1におけるピクセルを重畳することにより画像On−1における複数のピ
クセルをフレーム間動作ベクトルVから引き出されたぼかしフィルターHでぼかすよう作用
する。減算モジュール606はぶれた各ピクセルを現行フレームIにおける対応ピクセルと比
較して各対応ピクセルに対しエラーピクセルを生成するよう作用する。画像重畳モジュー
ル604は減算モジュール606からのエラーピクセル出力をぼかしフィルターHで重畳するこ
とにより各エラーピクセルをぼかすよう作用する。重畳モジュール604の出力は乗算モジ
ュール608において反復的に削減された調節ステップサイズで掛けられ、結果はレジスタ
ー610に記憶され、画像更新器510に供給される。
【００５８】
図6（B）は図5の装置500からの正則化項生成器508の機能的ブロック図を示す。正則化
項生成器508は第1セットの画像重畳モジュール612および614、加算／乗算モジュール616
および618、第2セットの画像重畳モジュール620および622、および乗算モジュール626、
ならびにレジスター628を含む。上記方程式(1)および(2)に従い、第1セットの画像重畳モ
ジュール612および614はソーベル・フィルターSを用いて画像On−1におけるピクセルの水
平および垂直方向における一次導関数を計算するよう作用する。次に方程式(3)および(4)
に従い、加算／乗算モジュール616および618は第1セットの画像重畳モジュール612および
614により演算された水平および垂直勾配を正規化するよう作用する。次に方程式(5)に従
い、第2セットの画像重畳モジュール620および622はソーベル・フィルターSを用いて正則
化項Wの加数を計算し、加数は次に加算モジュール624により合計される。正則化項Wは乗
算モジュール626において正則化パラメーターηおよび調節ステップサイズβで拡大縮小
され、結果はレジスター628に記憶され、画像更新器510に供給される。
【００５９】
重畳モジュール602、604、612、614、620、または622の任意の1つで重畳操作を行なう
場合、各ピクセルはそのピクセルの局部近傍におけるピクセル強度値の影響を受ける。し
かし画像境界上または近辺にあるピクセルの場合、局部近傍は強度値が存在しない画像区
域外のピクセルを含む。画像の境界上または近辺にあるピクセルを処理するために、重畳
操作に必要なフレーム外ピクセルはいずれも反射、無視、またはゼロに設定することがで
きる。
【００６０】
図6（C）図5の装置500からの画像更新器510の機能的ブロック図を示す。画像更新器510
は減算モジュール630、第1刈り込みモジュール632、加算モジュール634、第2刈り込みモ
ジュール636、およびレジスター638を含む。上記方程式(6)に従い、動作シミュレーター5
06の出力は減算モジュール630を用い減算拡大縮小された正則化項βηWで正則化される。
結果は強度調節値ΔIで第1刈り込みモジュール632を用いて最大値ΔImaxに刈り込まれる
。画像On−1におけるピクセルは次に加算モジュール634において刈り込まれた調節値で調
節され、もたらされた画像Onにおけるピクセルは第2刈り込みモジュール636により許容強
度範囲内になるように刈り込まれる。結果はレジスター638に記憶され、画像Onとして出
力される。現在の反復インデックスnが最大反復回数Nに到達していない場合、画像Onにお
けるピクセルは新規中間または更新画像On−1に関するとして画像ブロックメモリー502（
図5参照）に差し戻される。そうでない場合画像Onはぶれ補正画像Oとして戻される。
画像ブロックメモリー502のサイズは初期画像Iおよび中間画像On−1からのピクセルを
記憶する。画像ブロックメモリー502は画像におけるすべてのピクセル、またはその一部
のみを記憶する容量を有するかもしれない。最小限画像ブロックメモリー502のサイズは
一度に1走査線を処理するように構成することができ、この場合メモリー・ブロックの最
小サイズは次のように計算することができる。
【００６１】
【数５】
【００６２】
ここで線メモリー・サイズは目標表示パネル上の1走査線のサイズを示し、最大動作ベ
クトル・サイズはフレーム毎のピクセル数で示される動作ベクトルの最大予想規模を示す
。例えば、目標表示パネルの1走査線が各々24ビットで表される320個のピクセルからなり
、最大動作ベクトル・サイズが16の場合、ブロックメモリーの最小サイズは(8×4+1)×32
0×24ビット＝253，440ビットとなる。最小サイズのブロックメモリーを用いると、メモ
リー・リソースを節約するが、ブロックメモリー区域外のピクセルについて各ピクセル位
置で計算を繰り返さなければならないので、フレーム処理時間がより長くなるという代償
を払う。従って、処理時間を削減するためには入力または中間画像のすべてのピクセルを
記憶するようにブロックメモリー・サイズを増やすことができる。
【００６３】
第2実施形態例
図7はフレーム間動作を補正する第2方法例700の段階を示すフローチャートである。第1
方法例400と同様に、方法700はフレーム間動作の方向と範囲に基づき現行フレームにおけ
るピクセルを処理し、現行フレームの代わりに表示されるぶれ補正フレームに現行フレー
ムを変換する。しかし、第1実施例の反復方法は特に処理能力およびメモリー・リソース
が限定されているような埋め込みプラットフォーム上で実施する場合など状況によっては
リソース集約的過ぎるかもしれない。従って、第2実施形態は処理反復の数を減らすこと
により処理リソースおよびメモリーを第1実施携帯ほど使用しない代替方法を提供する。
【００６４】
まず、現行フレームに基づき推量フレームが生成される（段階702）。次にフレーム間
動作の方向および範囲から複数のぼかしフィルターが引き出され、組み合せてぶれ補正フ
ィルターを形成する（段階704）。例えば、ぶれ補正フィルターは第2実施形態に関連して
説明され、フレーム間動作の方向および範囲を特性化したフレーム間動作ベクトルで定義
されるぼかしフィルターHから構築されるフィルターの線形組み合わせであることができ
る。ぶれ補正フィルターは推量フレームと重畳した場合第1実施形態に関連して説明した
反復プロセスを行なう効果に近似するフィルターでもあり得る。ぶれ補正フィルターは非
線形操作（すなわち上記方程式(6)における正則化項ならびに方程式(8)および(9)におけ
る刈り込み操作）を反復プロセスから取り除くことにより引き出すことができ、Onについ
て次の式がもたらされる。
【００６５】
【数６】
【００６６】
分かり易さ上調節ステップサイズβを省略すると方程式(11)N回の反復でもたらされる
出力画像ONはI およびHの形で表すことができる。説明上記号Hm が導入され、これはHか
ら次のように機能的に定義される。
【００６７】
【００６８】
方程式(13)の記号の適用を続けると、反復的ぶれ補正プロセスの各反復は次のように表
すことができる。
【００６９】
【数７】
【００７０】
ここでαn，iは反復nにおいてHiに結び付いた係数を示し、i > 2n の場合αn，m= 0 で
ある。このように、出力画像ONは中間画像Onへの反復的更新なしに得ることができる。代
わりに原画像I はぼかしフィルターHから構築されたフィルターの線形組み合わせである
近似ぶれ補正フィルターGnで重畳される。Gn はぼかしフィルターHにのみ依存し入力画像
Iには依存しないので、その値は実行時の前に予め演算しメモリーに記憶することができ
る。
【００７１】
【００７２】
【００７３】
次に推量フレームにおける各ピクセルはその対応強度調節で調節され、ぶれ補正フレー
ムが生成される（段階710）。しかし強度調節はまずΔImaxで次のように刈り込むことが
でき、
ΔI = min(max(ΔI，−ΔImax)，ΔImax) (18)
ピクセル強度も次のように刈り込むことができる。
On(x，y) = min(max(I+ΔI，0)，255) (19)
もたらされる画像Onはぶれ補正フレームOとして戻すことができる。
図8は図7の方法700を行なう装置例800の機能的ブロック図である。装置800はぶれ補正
フィルター生成器802、動作シミュレーター804、第1刈り込みモジュール806、加算モジュ
ール808、および第2刈り込みモジュール810を含む。装置800はさらにモジュール802−810
により実行されるプロセスを制御するために1つ以上のプロセッサー（図示せず）を含む
ことができる。
【００７４】
【００７５】
【００７６】
再度図8を参照すると、刈り込みモジュール806はΔImaxを用いて強度調節値ΔIを刈り
込み、入力画像Iのピクセルは加算モジュール808により各々の対応刈り込み調節値で調節
される。もたらされたピクセルは第2刈り込みモジュールにより許容強度範囲内に入るよ
うに刈り込まれ、それにより出力画像Oが形成される。
【００７７】
【００７８】
図10（A）および10（B）は各々第1および第2実施形態により形成される出力画像を示す
。画像1002Aは5回反復後の第1実施形態の産物で、画像1002Bは5回の反復が近似された第2
実施形態の産物である。画像1004A、1006A、および1008Aは10回の反復、20回の反復、お
よび40回の反復に各々対応する。同様に画像1004B、1006B、および1008Bは10回の反復、2
0回の反復、および40回の反復の近似に各々対応する。画像1002A−1008Aおよび1002B−10
08Bの各々におけるフレーム間動作はフレーム毎7ピクセルである。
【００７９】
図11はさまざまな反復レベルにおける第1および第2方法例の処理時間を比較したグラフ
1100を示す。グラフ1100から明らかなように、第2実施形態の処理時間は第1実施形態の複
数フィルタリング反復を近似するために用いられたワンパス・フィルターのためあまり変
わらない。
【００８０】
第2実施形態は正則化項がないという点でも第1実施形態とは区別される。正則化項は複
数の反復を1つの操作に削減することを不可能にする非線形を導入するので第2実施形態に
おいて除外される。フレーム間動作の程度が小さい場合、正則化項の欠如による出力の差
は実質的に感知できない。しかし、フレーム間動作がフレーム毎約10ピクセルを超えると
正則化はエラー抑圧により重要な役割を果たす。
【００８１】
第3実施形態例
図12はフレーム間動作を補正する第3方法例1200の段階を示すフローチャートである。
第1方法例400と同様に、方法1200はフレーム間動作の方向および範囲に基づき現行フレー
ムのピクセルを処理し、現行フレームの代わりに表示されるぶれ補正フレームに現行フレ
ームを変換する。しかし第3実施例は2つの均質ぼかしフィルターを用いてぶれ補正フレー
ムを生成し、第1実施例とは異なり反復的でない。
【００８２】
随意的に、均質ぼかしフィルターを適用する前に、入力画像Iに対し対比調節行為を行
なうことができる（段階1202）。第1および第2実施形態において、許容範囲外の出力値は
範囲[0，255]に刈り込まれる。その結果、許容範囲の限度（すなわち0または255）に近い
ピクセルについてぶれ削減は最適状態には及ばない。表示の許容範囲を変更することなく
、出力の明瞭度を向上させる1つの方法は入力画像の対比を調節することである。通常、
対比調節はフレームの背景輝度に目立つ変化を避けるように行なうべきである。これを達
成するために、各ピクセルにおける調節量はその背景輝度レベルからの距離に基づくこと
ができる。このようにすると、クレームの拝啓は変化しないが、前景の対比が効果的に調
節できる。
【００８３】
対比調節を行なう1つの方法は入力画像Iの対比レベルが対比閾値を超える場合にのみ画
像に対し対比調節を行なうことを含む。入力画像の対比レベルCcurrは、1が255レベルの
完全な対比および0.5が128レベルの半分の対比を示した、ゼロと1の間の値と定義するこ
とができる。対比レベルCcurrは次の式により測ることができる。
Ccurr =(YMax−YMin)/255 (20)
【００８４】
ここでYMax およびYMin は入力画像の強度データ範囲を定義し、ピクセル強度値の16ビ
ンのヒストグラムから引き出される。例えば、YMax およびYMin は各々最大および最小強
度レベルで、合計ピクセル数の5パーセントを超えるヒストグラム数を有することができ
る。入力画像の対比レベルCcurr は次に閾値パラメーターCと比較することができ、Ccurr
が閾値Cを超える場合、画像Iにおける各ピクセル位置x，yの対比は次のように調節するこ
とができる。
I(x，y)=YBg+(I(x，y) −YBg)・C/Ccurr (21)
【００８５】
ここでYBg はヒストグラム数が合計ピクセル数の閾値レベル（例20パーセント）を超え
る強度レベルすべての平均と定義される背景の強度レベルである。このような形で対比調
節を定義することにより、フレームの背景に係わるピクセルは実質的に変化しない。他方
、Ccurrが閾値Cを超えない場合、画像Iは刈り込みによる歪みの危険性が充分に低いので
対比調節を見合すことができるとみなされる。対比閾値パラメーターCの既定設定を0.8に
設定すると許容できる結果をもたらす。対比閾値パラメーターは既定値を調節することが
できる。
【００８６】
現行フレームに対し必要な対比調節を行なった後、対比調節されたフレームは第1ぼか
しフィルターを用いてぼかされ第1ぶれフレームを生成し（段階1204）、第2ぼかしフィル
ターを用いてぼかされ第2ぶれフレームを生成する（段階1206）。例えば、第1ぼかしフィ
ルターは第1実施形態に関連して上述されたぼかしフィルターHであって良く（以降H(v)と
記される）、これは現行フレームにおけるフレーム間動作の方向と範囲を特性化したフレ
ーム間動作ベクトルにより定義される。第2ぼかしフィルターはv1=3×(v−1)+1とした、H
(v)より幅広い均質ローパス・フィルターH(v1)であることができる。
次に対比調節されたフレーム、第1ぶれフレーム、および第2ぶれフレームの加重組み合
わせを計算して第1ぼかしフィルターH(v)でぼかし、ぶれ補正フレームを生成することが
できる（段階1208）。例えば、現行フレーム、第1ぶれフレーム、および第2ぶれフレーム
の各々を加重値で掛け、もたらされた積を合計することにより加重組み合わせを計算する
ことができる。従って、ぶれ補正フレームOは対比調節されたフレームI′に基づき次の式
に従い計算することができる。
【００８７】
【数８】
【００８８】
ここで加重w1、w2、およびw3 は制約β・[w1−w2+w3]=1を満足する。例えば、一実施例
によるとw1、w2およびw3は次のように設定される。
w2 =2.0
w3 =0.24・β/max{β−1，1}
w1 =1/β+w2−w3 (23)
必要であれば、表示の前にぶれ補正画像Oにおけるピクセル強度を上記方程式(19)に従
い許容範囲内に入るように刈り込むことができる。
【００８９】
方程式(22)および(23)における調節ステップサイズβの値は定数であっても良い。ある
いは、調節ステップサイズβは各フレームにおける背景輝度に適応しても良い。本明細書
で説明する他の実施形態同様、第1実施形態により行なわれるフレーム間動作補正は調節
ステップサイズが大きく設定され過ぎると過補正をもたらす可能性があり、例えば望まし
くないエッジ・アーティファクトが現れる原因となる。従って、過補正を避けるため、適
応型調節ステップサイズを選択することにより目に入るようなアーティファクトをもたら
さずにできるだけの動作補正を提供することができる。
【００９０】
人間の視覚システムは比較的低いレベルか、または比較的高いレベルかの背景輝度を有
する画像において、また中間的なグレー・レベルの背景輝度を有する画像において、対比
レベルを見分けることができない。従って、人間の視覚の対比感度は画像輝度の関数であ
る。各フレームについてそのフレームの背景輝度に基づき適応的にβを決定することによ
り、中間的なグレー・レベルの背景輝度を有する画像の過補正を避けることができる。（
βの値への依存のため、複数の加重値の1つ以上も推定背景輝度に依存する、またはその
関数として計算されると言える。）
【００９１】
最小弁別値（JND）モデルは画像コード化および透かし入れにおいて、それより低い場
合画像強度の差は知覚できないとみなされる最小可視閾値を定義するのに良く使われる尺
度である。ChouのJNDモデル（C. Chou およびY.C. Li、「最小弁別値プロファイルに基づ
く知覚調節されたサブバンド画像符号器」（“A Perceptually Tuned Subband Image Cod
er Based on the Measure of Just‐Noticeable‐Distortion Profile”）、IEEE Transa
ctions on Circuits and Systems for Video Technology、5(6)、1995年12月）、または
その簡略化版、を用いて適応型調節ステップサイズβの値を設定することができる。図13
はさまざまな輝度レベルおよび上記方程式(22)のぶれ補正フレームOの式における適応型
調節ステップサイズβ 1304として用い得る対応値について人間の最小可視閾値1302のCho
u JNDモデル曲線を示す。このように、図13に示される如く、βを設定するJNDモデルはCh
ou JNDモデルと直接的には適合しない。例えば、対比マスキングおよび適応輝度など要素
が考慮されていない。さらに、低強度範囲におけるステップサイズ値は過補正を避けるた
めに刈り込まれている。
【００９２】
選ばれた輝度レベルにおける適応型ステップサイズ値を予め計算し、メモリーにおける
ルックアップ・アレーに記憶しておくことができる。例えば、16の異なる輝度レベル間隔
に対応する16の異なる適応型ステップサイズ値を予め計算しルックアップ・アレーに記憶
しておくことができる。メモリー制約および他の関連要素によって、より多くまたはより
少ない適応型ステップサイズ値を計算することができる。
表3は適応型ステップサイズのルックアップ表の例を示す。推定入力フレームの輝度レ
ベルYBgが与えられると、最も近い輝度レベルにおいて記憶された適応型ステップサイズ
をメモリーから検索しβの値を設定するのに用いることができる。
【００９３】
【表３】
【００９４】
現行フレームの背景輝度は現行フレームのピクセル強度ヒストグラムに基づき推定する
ことができる。あるいは、フレーム間動作補正はピクセル毎を基準に行なわれるかもしれ
ず、従ってデジタルビデオフレームのシーケンスにおいて類似して背景輝度レベルを有す
る可能性が高い現行フレームに先行するフレームを代わりに用いてピクセル強度ヒストグ
ラムを生成することができる。例えば一実施において、16ビンの強度ヒストグラムは各フ
レームを処理した後に更新される。The value of YBg の値は対比を調節するために上記
方程式(21)において使われた値と同じものであることができる。例えば、YBgはヒストグ
ラム数がフレームにおける合計ピクセル数の閾値レベル（例20パーセント）を超える強度
レベルすべての平均であることができる。
【００９５】
第1および第2ぼかしフィルターH(v)およびH(v1)は均質フィルターであって良い。ぶれ
補正を行なうために均質フィルターのみを使用する利点は個々のピクセル値をメモリーに
記憶する必要がないことである。例えば、長さvおよび半径rの水平均質フィルターが与え
られると、ピクセル位置(x，y)における画像出力は次のように表すことができる。
【００９６】
【数９】
【００９７】
このように、均質フィルターはメモリーにおいて3行のみで実施することができる。図1
4は上記方程式(24)の実施例を示す。図14に示すように、右側の区域1402は区域1404引く
区域1406足す区域1408に等しい。従って、上記(24)を特定ピクセルpx，yに実施するため
に、ピクセルpx，yはまず出力画像において前以て処理されたピクセルpx−1，yに設定さ
れる。次にピクセルpx−r−1，y（1/vで拡大縮小）がピクセルpx−1，yから引かれ、ピク
セル（1/vで拡大縮小）が加えられる。
【００９８】
図15は図12における方法1200を実施する装置例1500の機能的ブロック図である。装置15
00は適応型対比モジュール1502、適応型ステップサイズ・モジュール1504、および動作鮮
明化モジュール1506を含む。装置1500はさらにモジュール1502−1506により実行されるプ
ロセスを制御する1つ以上のプロセッサー（図示せず）を含むことができる。
【００９９】
入力画像Iは適応型対比モジュール1502および適応型ステップサイズ・モジュールによ
り並行して処理され得る。適応型対比モジュール1502は上記方程式(20)および(21)に従い
適応型対比調節を実行することができる（段階1202）。対比調節された画像は次に動作鮮
明化モジュール1506に供給されることができる。適応型ステップサイズ1504は調節ステッ
プサイズβを上記表3におけるアレーのようなルックアップ・アレーから検索することが
できる。あるいは、βを所定の定数値に設定することができ、ルックアップ段階をバイパ
スすることができる。適応型ステップサイズ・モジュール1504はβautoのようなフラグを
用いてルックアップ・アレーをバイパスするかを判定することができる。フラグβautoは
βに対し適応値が望まれることを示す第1値（例、1）またはが定数の既定値（例、2.5）
に設定されていることを示す第2値（例、ゼロ）に設定することができる。モジュール150
2および1504の各々により行なわれる操作は背景輝度レベルYBgに依存し、これはプロセッ
サー（図示せず）により判定され、別個の入力としてモジュール1502および1504の各々に
供給され得る。
【０１００】
動作鮮明化モジュール1506は上記段階1208および方程式(22)に結び付いた処理工程を実
行することができる。例えば、動作鮮明化モジュール1506は第1ぼかしフィルターH(v)を
用いて対比調節されたフレームをぼかし第1ぶれフレームを生成し、第2ぼかしフィルター
H(v1)を用いて対比調節されたフレームをぼかし第2ぶれフレームを生成する。動作鮮明化
モジュール1506のフレーム組み合わせ器が次に対比調節されたフレーム、第1ぶれフレー
ム、および第2ぶれフレームの加重組み合わせを計算する。もたらされた加重組み合わせ
は次に例えば第1ぼかしフィルターでぼかされ、装置1500の出力としてぶれ補正フレームO
を生成する。加重値は上記方程式(23)に従い適応型ステップサイズ・モジュール1504から
受信された調節ステップサイズβに基づき決定することができる。
【０１０１】
第4実施形態例
図16はフレーム間動作を補正する第4方法例1600の段階を示すフローチャートである。
段階1602−1608は図12に関連して上述した第3実施形態における段階1202−1208と同じで
ある。第4実施形態はしかし基本的に方法120の第3ぶれフレームと呼ばれる出力を取り、
それを現行フレームと加重組み合わせにおいて組み合わせるさらなる組み合わせ段階を終
わりに含む（段階1610）。加重組み合わせは次のように表すことができる。
【０１０２】
【数１０】
【０１０３】
ここでαはゼロから1の間で調節可能な因数（例、0.75）で、加重w1′、w2′、およびw
3′は制約β・[w1′−w2′+w3′]=(1−α)を満足する。方程式(25)における他の記号の説
明は上記第3実施形態の説明にある。一実施例によると、w2′は調節可能な定数（例、1.5
）で、w3′はw2′に調節可能なスカラー値（例、0.15）を掛けたもので、w1′は次のよう
に設定される。
w1′=(1−α)/β+w2′−w3′ (26)
【０１０４】
第3実施形態においてのように、適応型調節ステップサイズβの値は定数でも良く、各
フレームにおける背景輝度レベルに適応しても良い。例えば、第3実施形態に関し上述の
ように、次の表4のような適応型調節ステップサイズのルックアップ・アレーを用いるこ
とができる。
【０１０５】
【表４】
【０１０６】
人間の視覚の対比感度は画像輝度の関数であるので、アーティファクトの可視性は背景
輝度レベルに依存する。従ってルックアップ・アレーにおけるさまざまな背景輝度レベル
の各々において調節ステップサイズβを設定する尺度として図13に関連して上述したJND
モデルを用いることができる。
【０１０７】
方程式(25)により適用されるフィルタリングで使用する調節ステップサイズ値βを判断
するために、上記方程式(25)におけるフィルターをまず異なるさまざまな調節・ステップ
サイズ値（例、{￣β=1.0，1.1，…，9.9，10.0}）およびサンプル動作のフレーム間速度
（例、フレーム毎9ピクセル）を用いて較正画像Icに適用することができる。較正画像は
ステップ型のエッジ・パターンで各々異なるグレー・レベル（例、グレー・レベル64およ
び192）を有する2つの均質の領域を含む。各出力画像Oj（セット￣βにおいて対応ステッ
プサイズ値βjを用いることにより得られる）は次に較正画像Icとピクセル毎に比較され
、較正画像Icおよび出力画像Oj間のグレー・レベルの絶対差、Dj、が判定される。得られ
たグレー・レベルの絶対差のセット、￣Ｄ、を次に用い、調節ステップサイズ値のいずれ
も出力フレームが対応ソースフレームと可視的に異なる（JND値）エッジを有する出力フ
レームをもたらす可能性が低いようにさまざまな異なる背景輝度レベルに対する調節ステ
ップサイズ値を選択する。人間の目にとってエッジ・アーティファクトの可視性は背景輝
度レベルに依存するので、調節ステップサイズ値は背景輝度レベルに依存して選択される
。
【０１０８】
例えば、ある範囲の輝度レベル（例、0と255の間）における各背景輝度レベル、Yk、に
ついて、図13に描かれる人間の最小可視閾値1302に関するChouのJNDモデルのようなJNDモ
デルを参照してJND値、JNDk、が判定される。（JND値は最大15に刈り込むことができる。
）次にセット￣ＤにおけるJNDk未満のグレー・レベルの差に対応するセット￣βにおける
最大調節ステップサイズが背景輝度レベルに対する調節ステップサイズYkとして選択され
る。このような方法で、適当な調節ステップサイズが上記表4における各背景輝度レベルY
Bgに対し判定される。動作補正の望ましい程度に調節するために、ルックアップ・アレー
における入力を判定するために用いられたJNDモデルは、例えば一実施形態においては1.2
倍に、拡大または縮小できる。
【０１０９】
方程式(25)における調節可能なスカラー因数αは方法1600のフィルターされた画像に対
するソース画像の寄与を制御する。従ってαがゼロに設定される場合、方法1600により行
なわれるフィルタリングは第3実施形態の方法1200のフィルタリングと同等である。他方
αを1に等しく設定すると方法1600におけるぶれ補正フィルタリングを第2実施形態の方法
700に類似させる効果がある。このように、加重組み合わせ段階1610でαを提供すること
はぶれ補正を第2実施形態、第3実施形態に類似するように変更する自由度、または双方の
実施形態の特性を有する組み合わせフィルターを提供する。初期の実験では、自然の風景
など複雑または密な特徴を有する画像についてはαのより大きい値（例、0.5を超える）
がより小さい値にくらべうまくぶれ補正された画像を実現する。逆に、例えばステップ・
エッジ画像のような簡単または疎な特徴を有する画像についてはより小さい値のαの方が
うまく行く。
【０１１０】
図17は図16における方法1600を行なう装置1700の機能的ブロック図である。図15におけ
る装置1500のように、装置1700は適応型対比モジュール1702、適応型ステップサイズ・モ
ジュール1704、動作鮮明化モジュール1706を含み、さらにモジュール1702−1706により実
行されるプロセスを制御する1つ以上のプロセッサー（図示せず）を含むことができる。
【０１１１】
入力画像Iは適応型対比モジュール1702および適応型ステップサイズ・モジュールによ
り並行して処理され得る。適応型対比モジュール1702は上記方程式(20)および(21)に従い
適応型対比調節を実行することができる（段階1702）。対比調節された画像は次に動作鮮
明化モジュール1706に供給されることができる。適応型ステップサイズ1704は調節ステッ
プサイズβを上記表4におけるアレーのようなルックアップ・アレーから検索することが
できる。あるいは、βを所定の定数値に設定することができ、ルックアップ段階をバイパ
スすることができる。図15に示す装置1500における適応型ステップサイズ・モジュール15
04と同様、適応型ステップサイズ・モジュール1504はβautoのようなフラグを用いてルッ
クアップ・アレーをバイパスするかを判定することができる。さらに、モジュール1702お
よび1704の各々により行なわれる操作は背景輝度レベルYBgに依存し、これはプロセッサ
ー（図示せず）により判定され、別個の入力としてモジュール1702および1704の各々に供
給され得る。
【０１１２】
動作鮮明化モジュール1706は上記方程式(25)で表される段階1608および1610に結び付い
た処理工程を実行することができる。例えば、動作鮮明化モジュール1706は第1ぼかしフ
ィルターH(v)を用いて対比調節されたフレームをぼかし第1ぶれフレームを生成し、第2ぼ
かしフィルターH(v1)を用いて対比調節されたフレームをぼかし第2ぶれフレームを生成す
る。動作鮮明化モジュール1706の第1フレーム組み合わせ器が次に対比調節されたフレー
ム、第1ぶれフレーム、および第2ぶれフレームの第1加重組み合わせを計算し、フレーム
の第1加重組み合わせを生成する。第1加重組み合わせは次に例えば第1ぼかしフィルター
でぼかされ、第3ぶれフレームを生成する。第1加重組み合わせにおける加重値は上述のよ
うに、適応型ステップサイズ・モジュール1704から受信される調節ステップサイズに基づ
き決定することができる。第3ぶれフレームは次に原画像Iと第2加重組み合わせに組み合
わせ、装置1700の出力としてぶれ補正フレームOを生成することができる。第1加重組み合
わせに用いられる加重は方程式(25)に従い、原画像Iに適用される調節可能なスカラー因
数αおよび第3ぶれフレームに適用される適応型調節ステップサイズβであって良い。
【０１１３】
他の実施形態例
上記に説明の各種選択的な実施形態に加え、さまざまな行為が変更、省略、もしくは追
加され、または説明された行為の順序が異なる種類を含み、他種のさまざまなフレーム間
動作の補正を実施することができる。例えば、特定の実施形態に関連して適応型対比調節
が上述されたが、背景輝度の目立った変化を避けながら出力の明瞭さを向上させるために
同じ手法を他の実施形態に適用することもできる。同様に、背景輝度レベルに適応した調
節ステップサイズβが特定の実施形態に関連して説明されたが、動作補正されたフレーム
における望ましくないアーティファクトの可視性をより最適に削減するために同じ手法を
他の実施形態に適用することもできる。
【０１１４】
さらに、本明細書に開示される方法例300、400、700、1200、および1600，ならびにそ
の変形はハードウェア・モジュール、ソフトウェア・モジュール、またはこれらの何らか
の組み合わせを用いて実施することができる。ソフトウェア・モジュールはコンピュータ
ー実行可能な命令またはデータ構造を搭載または有するコンピューター読み取り可能な媒
体の形で提供されることができる。このようなコンピューター読み取り可能な媒体は汎用
または特殊用途のコンピューターのプロセッサーによりアクセスできる任意の入手可能な
媒体であって良い。限定ではなく例として、このようなコンピューター読み取り可能な媒
体はRAM、ROM、EEPROM、CD‐ROMもしくは他の光ディスク記憶、磁気ディスク記憶もしく
は他の磁気記憶装置、またはコンピューター実行可能な命令またはデータ構造の形でプロ
グラム・コードを搭載または有し、汎用または特殊用途のコンピューターのプロセッサー
によりアクセスできる他の任意の媒体を有してなる。上記の組み合わせもコンピューター
読み取り可能な媒体の範囲に含めるべきである。
【０１１５】
コンピューター実行可能な命令は例えば汎用コンピューターまたは特殊用途のコンピュ
ーターのプロセッサーに特定の機能または機能のグループを実施させる命令およびデータ
を有してなる。本明細書において主題は方法行為固有の言葉で説明されているが、添付ク
レームで定義される主題は必ずしも本明細書に説明される具体的な行為に限定されないこ
とが理解されよう。むしろ、本明細書に説明される具体的な行為はクレームを実施する形
態例として開示される。
【０１１６】
本明細書で開示される実施形態例は他の具体的な形で具現されることができる。本明細
書で開示される実施形態例はすべての面において限定的ではなく、単に例示的であるとみ
なされる。
【符号の説明】
【０１１７】
５００ 装置、５０２ 画像ブロックメモリー、５０４ 動作フィルターメモリー、５
０６ 動作シミュレーター、５０８ 正則化項生成器、５１０ 画像更新器。
【技術分野】
【０００１】
本発明はデジタルビデオのホールド型ディスプレイでフレーム間動作を描くデジタルビ
デオフレームにおいて人間の目で知覚されるぶれを削減することに関する。より具体的に
、開示される実施形態はフレーム間動作による知覚されたぶれを削減する方法、装置、お
よびコンピューター読み取り可能な媒体に関する。
【背景技術】
【０００２】
液晶ディスプレイ（LCD）などのホールド型ディスプレイ装置に表示されるデジタルビ
デオにおける動く物体は観察者にとってぶれて見える可能性がある。知覚されたぶれは一
部液晶セルの比較的遅い「LC応答」によって引き起こされる。例えばブラウン管（CRT）
装置のようなインパルス型装置と比較すると、LCD装置ははるかに遅い明度移行応答時間
を有する。知覚されたぶれはさらに一部LCD装置により通常用いられるサンプル・アンド
・ホールド駆動手法によって引き起こされ、これは人間の網膜において残像の形成をもた
らす。これらの残像はビデオ・シーケンスにおいて動体が観察される際ぶれた視覚上の知
覚をもたらす。
【０００３】
例えば、入力ビデオ・シーケンスがLCD装置に入力されると、入力ビデオ・シーケンス
からの各デジタルビデオ画像（あるいはフレームと呼ばれる）はLCD装置上で1フレーム間
隔の間持続される。ある場面において動いている物体を見る際、人間の目は円滑な目の動
きにより物体を能動的に追跡し、人間の網膜に安定した画像を生成する。しかしLCD装置
および人間の視覚システムにおける追跡挙動の組み合わせは空間的なローパス・フィルタ
リング効果、すなわち、ぶれ効果をもたらす。
【０００４】
動作ぶれを補正するために多数の方法が提案されている。（例えば特許文献１参照。）
1つの方法はフレーム・シーケンスにおけるフレームの各ペア間に黒フレームを挿入する
ことである。この方法は知覚的な動作ぶれ問題を被らないインパルス・ディスプレイを基
本的に真似ている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第７４１５１６３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、この方法を実施すると、全体的に明るさが低減する。あるいはホールド型ディ
スプレイ上で表示する前にデジタルビデオ・シーケンスのフレームにビデオ前処理を適用
することもできる。しかし現存のビデオ前処理は高い演算コスト、解像度の損失、または
偽動作のエッジおよびフレームのジャダリングなどのアーティファクトといったいくらか
の欠点を有する。
【課題を解決するための手段】
【０００７】
本発明のぶれ補正方法は、デジタルビデオフレームのシーケンスにおいてフレーム間動
作による知覚されたぶれを前記フレーム間動作の方向および範囲に基づき補正するぶれ補
正方法であって、
現行フレームに基づき推量フレームを生成するステップと、
前記推量フレームにおける複数のピクセルの各々について正則化項を計算するステップ
と、
前記推量フレームにおける複数のピクセルを前記フレーム動作の方向および範囲の関数
としてぼかすステップと、
ぶれた各ピクセルを前記現行フレームにおける対応ピクセルと比較して各対応ピクセル
についてエラーピクセルを生成するステップと、
前記各エラーピクセルをぼかすステップと、
ぶれた各エラーピクセルをその対応正則化項に基づき調節するステップと、
前記調節された各エラーピクセルと前記推量フレームにおけるその対応ピクセルを組み
合わせて前記推量フレームを更新し、ぶれを補正するステップとを有することを特徴とす
る。
【０００８】
また、本発明のぶれ補正方法において、前記各ピクセルについて正則化項を計算するス
テップは、ピクセルの正規化水平勾配の水平勾配を前記ピクセルの正規化垂直勾配の垂直
勾配と組み合わせるステップを含むことを特徴とする。
【０００９】
また、本発明のぶれ補正方法において、前記ぶれた各エラーピクセルをその対応正則化
項に基づき調節するステップは、前記対応正則化項を正則化因数で加重し、各加重正則化
項をその対応するぶれたエラーピクセルから引くステップを含むことを特徴とする。
【００１０】
また、本発明のぶれ補正方法において、前記正則化項を計算するステップ、前記複数の
ピクセルをぼかすステップ、前記ぶれた各ピクセルを比較するステップ、前記エラーピク
セルをぼかすステップ、前記調節するステップ、および前記調節された各エラーピクセル
と前記推量フレームにおけるその対応ピクセルを組み合わせるステップは反復的に行なわ
れることを特徴とする。
【００１１】
また、本発明のぶれ補正方法において、前記反復的に行なわれるステップは、前記各ピ
クセルに結び付いた輝度チャンネルデータまたは前記各ピクセルに結び付いた色チャンネ
ルデータに対し実施されることを特徴とする。
【００１２】
また、本発明のぶれ補正方法において、前記組み合わせるステップの前に、前記対応す
る調節されたエラーピクセルを調節ステップサイズパラメーターで加重するステップを有
することを特徴とする。
【００１３】
また、本発明のぶれ補正方法において、前記正則化項を計算するステップ、前記複数の
ピクセルをぼかすステップ、前記ぶれた各ピクセルを比較するステップ、前記エラーピク
セルをぼかすステップ、前記調節するステップ、および前記調節された各エラーピクセル
と前記推量フレームにおけるその対応ピクセルを組み合わせるステップは、所定回数反復
的に行なわれ、前記調節ステップサイズパラメーターの調節ステップサイズは各反復後に
削減因数分削減されることを特徴とする。
【００１４】
一方、本発明のぶれ補正装置は、デジタルビデオフレームのシーケンスにおいてフレー
ム間動作による知覚されたぶれを前記フレーム間動作の方向および範囲に基づき補正する
ぶれ補正装置であって、
現行フレームから引き出された推量フレームにおける複数のピクセルの各々につて正則
化項を計算するよう構成される正則化項生成器と、
前記推量フレームにおける複数のピクセルを前記フレーム間動作の方向および範囲の関
数としてぼかし、ぶれた各ピクセルを前記現行フレームにおける対応ピクセルと比較して
各対応ピクセルに対するエラーピクセルを生成し、各エラーピクセルをぼかすよう構成さ
れる動作シミュレーターと、
ぶれた各エラーピクセルをその対応正則化項に基づき調節し、前記調節された各エラー
ピクセルを前記推量フレームにおけるその対応ピクセルと組み合わせて前記推量フレーム
を更新し、前記ぶれを補正するよう構成される画像更新器とを有することを特徴とする。
【００１５】
ここで、本発明のぶれ補正方法は、デジタルビデオフレームのシーケンスにおいてフレ
ーム間動作による知覚されたぶれをフレーム間動作の方向および範囲に基づき補正するぶ
れ補正方法であって、
現行フレームに基づき推量フレームを生成するステップと、
前記フレーム間動作の方向および範囲から引き出された複数のぼかしフィルターを組み
合わせてぶれ補正フィルターを形成するステップと、
前記ぶれ補正フィルターを用いて前記推量フレームにおける複数のピクセルを処理する
ステップと、
前記処理された各ピクセルを前記現行フレームにおける対応ピクセルと比較して各対応
ピクセルに対する強度調節を生成するステップと、
前記推量フレームにおける各ピクセルをその対応強度調節で調節してぶれ調節フレーム
を生成するステップとを有することを特徴とする。
【００１６】
また、本発明のぶれ補正方法において、前記ぶれ補正フィルターを用いて前記推量フレ
ームにおける複数のピクセルを処理することが反復的ぶれ補正プロセスに近似するように
、前記ぶれ補正フィルターは形成されることを特徴とする。
【００１７】
また、本発明のぶれ補正方法において、前記補正フィルターは前記複数のぼかしフィル
ターを組み合わせた後、もたらされた中間フィルターの1つ以上の係数が切り詰められる
ことにより形成されることを特徴とする。
【００１８】
さらに本発明のぶれ補正装置は、デジタルビデオフレームのシーケンスにおいてフレー
ム間動作による知覚されたぶれをフレーム間動作の方向および範囲に基づき補正するぶれ
補正装置であって、
前記フレーム間動作の方向および範囲から引き出された複数のぼかしフィルターを組み
合わせてぶれ補正フィルターを形成するよう構成さえるぶれ補正フィルター生成器と、
前記ぶれ補正フィルターを用いて推量フレームにおける複数のピクセルを処理し、前記
処理された各ピクセルを現行フレームにおける対応ピクセルと比較して各対応ピクセルに
対する強度調節を生成するよう構成される動作シミュレーターと、
前記推量フレームにおける各ピクセルをその対応強度調節で調節してぶれ調節フレーム
を生成するよう構成される画像更新器とを有することを特徴とする。
【００１９】
ここで、本発明のぶれ補正方法は、デジタルビデオフレームのシーケンスにおいてフレ
ーム間動作による知覚されたぶれを補正するぶれ補正方法であって、
第1ぼかしフィルターを用いて現行フレームをぼかし、第1ぶれフレームを生成するステ
ップと、
第2ぼかしフィルターを用いて前記現行フレームをぼかし、第2ぶれフレームを生成する
ステップと、
前記現行フレーム、前記第1ぶれフレーム、および前記第2ぶれフレームの加重組み合わ
せを第1ぼかしフィルターでぼかし、ぶれ補正フレームを生成するステップとを有するこ
とを特徴とする。
【００２０】
また、本発明のぶれ補正方法において、前記加重組み合わせに用いられる複数の加重値
の1つ以上は前記現行フレームの推定背景輝度の関数として計算されることを特徴とする
。
【００２１】
また、本発明のぶれ補正方法において、前記現行フレームの推定背景輝度は、前記デジ
タルビデオフレームのシーケンスにおいて前記現行フレームに先行するフレームのピクセ
ル強度のヒストグラムに基づき推定されることを特徴とする。
【００２２】
また、本発明のぶれ補正方法において、前記複数のピクセルをぼかす前に、複数のピク
セルの少なくとも一部の対比を前記現行フレームの推定背景輝度レベルに基づき調節する
ステップを有することを特徴とする。
【００２３】
また、本発明のぶれ補正方法において、前記複数のピクセルの少なくとも一部における
ピクセルの対比は前記ピクセルの強度と前記推定背景輝度レベルとの差に基づき調節され
ることを特徴とする。
【００２４】
また、本発明のぶれ補正方法において、前記第1および第2フィルターの少なくとも1つ
は前記フレーム間動作の方向および範囲から引き出された均質フィルターであることを特
徴とする。
【００２５】
ここで、本発明のぶれ補正装置は、デジタルビデオフレームのシーケンスにおいてフレ
ーム間動作による知覚されたぶれを補正する装置であって、
現行フレームをぼかして第1ぶれフレームを生成するよう構成される第1ぼかしフィルタ
ーと、前記現行フレームをぼかして第2ぶれフレームを生成するよう構成される第2ぼかし
フィルターとを含む動作鮮明化フィルターと、
前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレームを組み合わせるよ
う構成されるフレーム組み合わせ器と、
前記フレームの組み合わせをぼかしてぶれ補正フレームを生成するよう構成される第3
ぼかしフィルターを有することを特徴とする。
【００２６】
また、本発明のぶれ補正装置は、前記現行フレームの少なくとも一部の対比を調節する
よう構成される適応型対比調節器であって、前記現行フレームの前記少なくとも一部は前
記第1および第2フィルターによりぼかされる前に前記適応型対比調節器により調節される
よう前記動作鮮明化フィルターに対し配置される適応型対比調節器と、
前記組み合わせの前に前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレ
ームに適用される複数の加重の1つ以上を調節するために前記フレーム組み合わせ器によ
り用いられる適応型ステップサイズ因数を生成するよう構成される適応型ステップサイズ
生成器とをさらに有することを特徴とする。
【００２７】
さらに、本発明のぶれ補正方法は、デジタルビデオフレームのシーケンスにおいてフレ
ーム間動作による知覚されたぶれを補正するぶれ補正方法であって、
第1ぼかしフィルターを用いて現行フレームをぼかし、第1ぶれフレームを生成するステ
ップと、
第2ぼかしフィルターを用いて前記現行フレームをぼかし、第2ぶれフレームを生成する
ステップと、
前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレームの第1加重組み合
わせを前記第1フィルターでぼかし、第3ぶれフレームを生成するステップと、
前記現行フレームと前記第3ぶれフレームを第2加重組み合わせに組み合わせてぶれ補正
フレームを生成するステップとを有することを特徴とする
【００２８】
ここで、本発明のぶれ補正装置は、デジタルビデオフレームのシーケンスにおいてフレ
ーム間動作による知覚されたぶれを補正するぶれ補正装置であって、
現行フレームをぼかし第1ぶれフレームを生成するよう構成される第1ぼかしフィルター
と、前記現行フレームをぼかし第2ぶれフレームを生成するよう構成される第2ぼかしフィ
ルターとを含む動作鮮明化フィルターと、
前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレームを組み合わせてフ
レームの組み合わせを生成するよう構成される第1フレーム組み合わせ器と、
前記フレームの組み合わせをぼかすよう構成される第3ぼかしフィルターと、
前記現行フレームを前記ぶれたフレームの組み合わせを組み合わせてぶれ補正フレーム
を生成するよう構成される第2フレーム組み合わせ器とを有することを特徴とする。
【００２９】
また、本発明のぶれ補正装置において、前記現行フレームの少なくとも一部の対比を調
節するよう構成される適応型対比調節器であって、前記現行フレームの少なくとも一部は
前記第1および第2フィルターによりぼかされる前に前記適応型対比調節器により調節され
るよう動作鮮明化フィルターに対し配置される適応型対比調節器と、
前記組み合わせの前に前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレ
ームに適用される複数の加重の1つ以上を調節するために前記フレーム組み合わせ器によ
り用いられる適応型ステップサイズ因数を生成するよう構成される適応型ステップサイズ
生成器とをさらに有することを特徴とする。
【００３０】
一方、本発明のコンピューター読み取り可能な媒体は、実行された場合にデジタルビデ
オフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを補正する方法を
実施するコンピューター読み取り可能な命令を有する1つ以上のコンピューター読み取り
可能な媒体であって、
前記ぶれを補正する方法は、
第1ぼかしフィルターを用いて現行フレームをぼかし、第1ぶれフレームを生成するステ
ップと、
第2ぼかしフィルターを用いて前記現行フレームをぼかし、第2ぶれフレームを生成する
ステップと、
前記現行フレーム、前記第1ぶれフレームおよび第2ぶれフレームの第1加重組み合わせ
を前記第1ぼかしフィルターでぼかし、第3ぶれフレームを生成するステップと、
前記現行フレームと前記第3ぶれフレームを第2加重組み合わせに組み合わせてぶれ補正
フレームを生成するステップとを有することを特徴とする。
【図面の簡単な説明】
【００３１】
【図１】フレーム間の動作の推定が与えられた場合、空間的ローパス・フィルタリング効果のために動作ぶれの前補正を行なうシステムの概略図である。
【図２】空間的ローパス・フィルタリング効果のために動作ぶれの前補正を行なうシステムの別の概略図である。
【図３】動作ぶれの前補正の前に生じる段階を示すフローチャートである。
【図４】動作ぶれの前補正の第1方法例に関するフローチャートである。
【図５】第1方法例を行なう第1装置例の機能的ブロック図である。
【図６】（Ａ）は、図5の第1装置例における動作シミュレーターの機能的ブロック図である。（Ｂ）は、図5の第1装置例における正則化項生成器の機能的ブロック図である。（Ｃ）は、図5の第1装置例における画像更新器の機能的ブロック図である。
【図７】動作ぶれの前補正の第2方法例に関するフローチャートである。
【図８】第2方法例を行なう第2装置例の機能的ブロック図である。
【図９】図8の第2装置例における動作シミュレーターの機能的ブロック図である。
【図１０】（Ａ）は、図5の第1方法例により形成される出力画像を示す。（Ｂ）は、図7の第2方法例により形成される出力画像を示す。
【図１１】さまざまな反復レベルにおける第1および第2方法例の処理時間を比較したグラフを示す図である。
【図１２】動作ぶれの前補正の第3方法例に関するフローチャートである。
【図１３】人間の最小可視閾値モデルの曲線を示す図である。
【図１４】均質フィルターで画像における一区域のフィルタリングの実施を示す図である。
【図１５】第3方法例を行なう第3装置例の機能的ブロック図である。
【図１６】動作ぶれの前補正の第4方法例に関するフローチャートである。
【図１７】第4方法例を行なう第4装置例の機能的ブロック図である。
【発明を実施するための形態】
【００３２】
以下の詳細な説明において、発明の実施形態例を例示的に示す添付図面が参照される。
図面において、各々の図を通して実質的に類似した構成要素は類似した数字が表している
。これらの実施形態は当業者が発明を実施できるよう充分に詳細に説明される。本発明の
範囲から逸脱することなく他の実施形態も利用でき、構造的、論理的、および電気的な変
更を加えることができる。さらに、発明のさまざまな実施形態は異なってはいるが、必ず
しも互いに排他的ではないことが理解されよう。例えば、一実施形態において説明される
特定の特長、構造、または特徴は他の実施形態内に含まれ得る。従って以下の詳細な説明
は限定的な意味で捉えるべきでなく、本発明の範囲は添付クレームとともに、このような
クレームが権利を有する均等物の全範囲によってのみ規定される。
【００３３】
一般的に、実施形態例はデジタルビデオフレームのシーケンスにおいて、何もしない場
合フレーム間動作により近くされるぶれがフレームを表示する前に排除または削減される
べくフレーム間動作を補正する方法、装置、およびコンピューター読み取り可能な媒体に
関する。このような前補正手法は本明細書においてフレーム間動作の削減または補正、動
作ぶれの削減または補正、等々、色々と呼ばれ得る。実施形態例はさまざまな画像処理用
途と併せて知覚されたぶれが最小化されたデジタルビデオフレームを形成するために用い
ることができる。例えば、フレーム間動作を補正する前にフレーム間動作を特性化する動
作ベクトルを推定することができる。
【００３４】
フレームにおける局部領域に結び付いたフレーム間動作ベクトルを推定する方法例は20
06年3月16日に申請され、「デジタルビデオにおける動作を推定し、知覚された動作ぶれ
を補正する方法およびシステム」（“Method And System For Estimating Motion And Co
mpensating For Perceived Motion Blur In Digital Video”）と題する同時係属の米国
特許出願番号11/377，030において説明され、その内容も引用により本明細書に組み入れ
られる。
【００３５】
上述の知覚されたぶれの問題（例は同時係属の米国特許出願番号11/377，030において
より詳細に説明される）を補正するために、動作ぶれ前補正手法が開発され、ここで図1
乃至3を参照して説明される。ここで図1を参照すると、フレーム間の動作の推定が与えら
れた場合、空間的ローパス・フィルタリング効果のために動作ぶれの前補正を行なうシス
テムの概略図が示される。
【００３６】
図2は空間的ローパス・フィルタリング効果のために動作ぶれの前補正を行なうシステ
ムの別の概略図である。図2において、デジタルビデオ・シーケンスの各フレームはフレ
ーム動作推定およびフレーム動作補正を行なう動作処理フィルターを通過する。動作処理
フィルターの出力はLCD装置に提供される。デジタルビデオ・シーケンスをリアルタイム
で処理できるように2フレームメモリーバッファー（図示せず）が提供される。
【００３７】
図3はフレーム間のピクセルの動作に基づくデジタルビデオにおける知覚されたぶれを
補正する前に行なわれる段階を示すフローチャートである。2つの連続的なまたは一連の
デジタルビデオフレーム（現行フレームFnおよび先行フレームFn−1）を受信すると（段
階302）、フレームの間のフレーム動作を特性化する動作ベクトルが現行フレームについ
て推定される（工程304）。（フレーム間動作がグローバルでない場合、同時係属の米国
特許出願番号11/377，030に説明されるように複数のピクセル・ブロックまたはピクセル
のクラスターの各々について動作ベクトルを推定することができ、本明細書に説明される
方法は連続して、並行して、またはこれらの何らかの組み合わせとして複数のブロックま
たはクラスターに適用してぶれを補正することができる。）
【００３８】
ビデオの前処理を行ない推定された動作ベクトルを用いて知覚された動作ぶれを補正す
る4つの別の実施形態を次に図4乃至17を参照して説明される。以下の章で説明されるビデ
オ前処理操作は現行フレームの各入力色チャンネルに対し連続して、並行して、または双
方の何らかの組み合わせで別々に適用できる。説明を簡単にするために、同じ操作を他の
チャンネルにも繰り返し得るという理解の上で単一の色チャンネルに対する操作が説明さ
れる。入力フォーマットがYCbCrの場合、前処理操作の実施は輝度（Y）チャンネルのみを
処理することにより最適化できる。従って、本明細書においてある操作があるピクセルに
対し実施されると説明される場合、操作はピクセルの色または輝度チャンネルに対し実施
されると理解される。
【００３９】
第1実施形態例
図4はフレーム間動作を補正する第1方法例400の段階を示すフローチャートである。方
法例400はフレーム間動作の方向および範囲に基づき現行フレームにおけるピクセルを反
復的に処理し現行フレームをぶれ補正フレームに変換して現行フレームの代わりに表示す
る。フレーム間動作の方向および範囲はx方向成分およびy方向成分を有する動作ベクトル
により特性化できる。現行フレームにおけるピクセルに対応する色または輝度チャンネル
における強度データを反復的に処理することにより、フレームは過補正の可能性を削減し
ながら漸次調節される。さらに、フレームにおける雑音に対応するために、雑音の増幅を
避け共鳴アーティファクトを削減するために正則化項が計算される。次の表1および2にお
ける記号およびパラメーターは方法400を説明するために用いられる。
【００４０】
【表１】
【００４１】
【表２】
【００４２】
最初に現行フレームに基づく推量フレームを生成する行為が実施される（段階402）。
例えば、現行フレームIを推量フレームOoとして設定することができる。次に推量フレー
ムOoにおける複数のピクセルの各々について正則化項Wを計算することができる（段階404
）。
【００４３】
ピクセルについて正則化項を計算することは水平および垂直方向における一次導関数ま
たは勾配を計算すること、水平および垂直勾配を正規化すること、およびピクセルの正規
化された水平勾配の水平勾配をピクセルの正規化された垂直勾配の垂直勾配と組み合わせ
ることを含む。ピクセルの水平および垂直勾配、GhおよびGv、は次のように計算できる。
【００４４】
【数１】
【００４５】
次に、水平および垂直勾配、GhおよびGv、は以下のように正規化される。
【００４６】
【数２】
【００４７】
正規化された水平および垂直勾配、Gh’およびGv’を用い、正則化項Wは次のように計
算される。
【００４８】
【数３】
【００４９】
次に、推量フレームにおける複数のピクセルをフレーム間動作の関数としてぼかすこと
、ぶれた各ピクセルを現行フレームにおける対応ピクセルと比較して各対応ピクセルに対
するエラーピクセルを生成すること、およびぶれた各ピクセルをその対応する正則化項に
基づき調節することの行為が実施される（段階406−412）。例えば、次の強度調節式を用
いて複数のピクセルをぼかし、ぶれた各ピクセルを現行フレームにおける対応ピクセルと
比較してエラーピクセルを生成し、ぶれた各ピクセルをその対応する正則化項に基づき調
節することができる。
【００５０】
【数４】
ここで実際の対称フィルターについてH*= H である。
【００５１】
414において，推量フレームを更新しぶれを補正するために調節された各エラーピクセ
ルと推量フレームにおけるその対応ピクセルを組み合わせる行為が実施される。組み合わ
せることは調節項が所定の最大調節値を超えないように例えば次のように強度調節項を刈
り込むことを含むことができる。
ΔI = min(max(ΔI，−ΔImax)，ΔImax) (7)
【００５２】
いずれのピクセル強度値も0から255などの許容範囲外にないようにピクセル更新式も次
のように刈り込み機能を提供することができる。
On(x，y) = min(max(On−1(x，y)+ΔI，0)，255) (8)
【００５３】
インデックスnが次に増分され、段階404から414はOnにおける各ピクセルについて反復
される（段階416）。反復は所定の最大反復回数、N、だけ反復される。反復毎に調節ステ
ップ、β、は各反復後次の式に従い削減因数、k、で削減されることができる。
β=k・β (9)
段階404から414を所定回数のN回反復した後、結果画像O=Onを戻すことができる。
【００５４】
図5は図4の方法400を行なう装置例500の機能的ブロック図である。装置500は画像ブロ
ックメモリー502、動作フィルターメモリー504、動作シミュレーター506、正則化項生成
器508、画像更新器510、ソーベルフィルターメモリー512、および転置器514を含む。装置
500はさらにモジュール502−514により実行されるプロセスを制御するために1つ以上のプ
ロセッサー（図示せず）を含むことができる。
【００５５】
画像ブロックメモリー502は画像データを受信し記憶する。方法400における最初の反復
（n=1）の際、現行画像I、またはその一部、がブロックメモリー502に受信され記憶され
る。従って画像ブロックメモリー502からの初期の出力（すなわちO0）はIであるが、次に
方法400における段階の後続反復において画像更新器508からの更新画像になる（すなわち
すべてのn>1についてOn−1）。画像ブロックメモリー502の出力On−1は動作シミュレータ
ー506、正則化項508、および画像更新器510に供給される。現行画像Iも動作シミュレータ
ー506に供給される。
【００５６】
動作フィルターメモリー504は動作ベクトルVを受信して記憶し、動作ベクトルをフォー
マットし直してぼかしフィルターHを出力することができ、これは動作シミュレーター506
に供給される。動作シミュレーター506は動作シミュレーション出力を生成し、これは画
像更新器510に供給される。ソーベルフィルターメモリー512からのソーベル・フィルター
S、および転置器514からその転置STを用い、正則化項生成器508は更新画像On−1に対し正
則化項を形成し、これも画像更新器510に供給される。動作シミュレーション出力、正則
化項、および更新画像On−1に基づき、画像更新器510は出力画像Onについてピクセルを生
成し、画像更新をN回反復後この画像はぶれ補正画像Oとして戻される。動作シミュレータ
ー506、正則化項生成器508、および画像更新器510は以下各々図6A、6B、および6Cを参照
してより詳細に説明される。
【００５７】
図6（A）図5の装置500からの動作シミュレーター506の機能的ブロック図を示す。動作
シミュレーター506は画像重畳モジュール602および604、減算モジュール606、および乗算
モジュール608、ならびにレジスター610を含む。上記方程式(6)に従い、画像重畳モジュ
ール602は画像On−1におけるピクセルを重畳することにより画像On−1における複数のピ
クセルをフレーム間動作ベクトルVから引き出されたぼかしフィルターHでぼかすよう作用
する。減算モジュール606はぶれた各ピクセルを現行フレームIにおける対応ピクセルと比
較して各対応ピクセルに対しエラーピクセルを生成するよう作用する。画像重畳モジュー
ル604は減算モジュール606からのエラーピクセル出力をぼかしフィルターHで重畳するこ
とにより各エラーピクセルをぼかすよう作用する。重畳モジュール604の出力は乗算モジ
ュール608において反復的に削減された調節ステップサイズで掛けられ、結果はレジスタ
ー610に記憶され、画像更新器510に供給される。
【００５８】
図6（B）は図5の装置500からの正則化項生成器508の機能的ブロック図を示す。正則化
項生成器508は第1セットの画像重畳モジュール612および614、加算／乗算モジュール616
および618、第2セットの画像重畳モジュール620および622、および乗算モジュール626、
ならびにレジスター628を含む。上記方程式(1)および(2)に従い、第1セットの画像重畳モ
ジュール612および614はソーベル・フィルターSを用いて画像On−1におけるピクセルの水
平および垂直方向における一次導関数を計算するよう作用する。次に方程式(3)および(4)
に従い、加算／乗算モジュール616および618は第1セットの画像重畳モジュール612および
614により演算された水平および垂直勾配を正規化するよう作用する。次に方程式(5)に従
い、第2セットの画像重畳モジュール620および622はソーベル・フィルターSを用いて正則
化項Wの加数を計算し、加数は次に加算モジュール624により合計される。正則化項Wは乗
算モジュール626において正則化パラメーターηおよび調節ステップサイズβで拡大縮小
され、結果はレジスター628に記憶され、画像更新器510に供給される。
【００５９】
重畳モジュール602、604、612、614、620、または622の任意の1つで重畳操作を行なう
場合、各ピクセルはそのピクセルの局部近傍におけるピクセル強度値の影響を受ける。し
かし画像境界上または近辺にあるピクセルの場合、局部近傍は強度値が存在しない画像区
域外のピクセルを含む。画像の境界上または近辺にあるピクセルを処理するために、重畳
操作に必要なフレーム外ピクセルはいずれも反射、無視、またはゼロに設定することがで
きる。
【００６０】
図6（C）図5の装置500からの画像更新器510の機能的ブロック図を示す。画像更新器510
は減算モジュール630、第1刈り込みモジュール632、加算モジュール634、第2刈り込みモ
ジュール636、およびレジスター638を含む。上記方程式(6)に従い、動作シミュレーター5
06の出力は減算モジュール630を用い減算拡大縮小された正則化項βηWで正則化される。
結果は強度調節値ΔIで第1刈り込みモジュール632を用いて最大値ΔImaxに刈り込まれる
。画像On−1におけるピクセルは次に加算モジュール634において刈り込まれた調節値で調
節され、もたらされた画像Onにおけるピクセルは第2刈り込みモジュール636により許容強
度範囲内になるように刈り込まれる。結果はレジスター638に記憶され、画像Onとして出
力される。現在の反復インデックスnが最大反復回数Nに到達していない場合、画像Onにお
けるピクセルは新規中間または更新画像On−1に関するとして画像ブロックメモリー502（
図5参照）に差し戻される。そうでない場合画像Onはぶれ補正画像Oとして戻される。
画像ブロックメモリー502のサイズは初期画像Iおよび中間画像On−1からのピクセルを
記憶する。画像ブロックメモリー502は画像におけるすべてのピクセル、またはその一部
のみを記憶する容量を有するかもしれない。最小限画像ブロックメモリー502のサイズは
一度に1走査線を処理するように構成することができ、この場合メモリー・ブロックの最
小サイズは次のように計算することができる。
【００６１】
【数５】
【００６２】
ここで線メモリー・サイズは目標表示パネル上の1走査線のサイズを示し、最大動作ベ
クトル・サイズはフレーム毎のピクセル数で示される動作ベクトルの最大予想規模を示す
。例えば、目標表示パネルの1走査線が各々24ビットで表される320個のピクセルからなり
、最大動作ベクトル・サイズが16の場合、ブロックメモリーの最小サイズは(8×4+1)×32
0×24ビット＝253，440ビットとなる。最小サイズのブロックメモリーを用いると、メモ
リー・リソースを節約するが、ブロックメモリー区域外のピクセルについて各ピクセル位
置で計算を繰り返さなければならないので、フレーム処理時間がより長くなるという代償
を払う。従って、処理時間を削減するためには入力または中間画像のすべてのピクセルを
記憶するようにブロックメモリー・サイズを増やすことができる。
【００６３】
第2実施形態例
図7はフレーム間動作を補正する第2方法例700の段階を示すフローチャートである。第1
方法例400と同様に、方法700はフレーム間動作の方向と範囲に基づき現行フレームにおけ
るピクセルを処理し、現行フレームの代わりに表示されるぶれ補正フレームに現行フレー
ムを変換する。しかし、第1実施例の反復方法は特に処理能力およびメモリー・リソース
が限定されているような埋め込みプラットフォーム上で実施する場合など状況によっては
リソース集約的過ぎるかもしれない。従って、第2実施形態は処理反復の数を減らすこと
により処理リソースおよびメモリーを第1実施携帯ほど使用しない代替方法を提供する。
【００６４】
まず、現行フレームに基づき推量フレームが生成される（段階702）。次にフレーム間
動作の方向および範囲から複数のぼかしフィルターが引き出され、組み合せてぶれ補正フ
ィルターを形成する（段階704）。例えば、ぶれ補正フィルターは第2実施形態に関連して
説明され、フレーム間動作の方向および範囲を特性化したフレーム間動作ベクトルで定義
されるぼかしフィルターHから構築されるフィルターの線形組み合わせであることができ
る。ぶれ補正フィルターは推量フレームと重畳した場合第1実施形態に関連して説明した
反復プロセスを行なう効果に近似するフィルターでもあり得る。ぶれ補正フィルターは非
線形操作（すなわち上記方程式(6)における正則化項ならびに方程式(8)および(9)におけ
る刈り込み操作）を反復プロセスから取り除くことにより引き出すことができ、Onについ
て次の式がもたらされる。
【００６５】
【数６】
【００６６】
分かり易さ上調節ステップサイズβを省略すると方程式(11)N回の反復でもたらされる
出力画像ONはI およびHの形で表すことができる。説明上記号Hm が導入され、これはHか
ら次のように機能的に定義される。
【００６７】
【００６８】
方程式(13)の記号の適用を続けると、反復的ぶれ補正プロセスの各反復は次のように表
すことができる。
【００６９】
【数７】
【００７０】
ここでαn，iは反復nにおいてHiに結び付いた係数を示し、i > 2n の場合αn，m= 0 で
ある。このように、出力画像ONは中間画像Onへの反復的更新なしに得ることができる。代
わりに原画像I はぼかしフィルターHから構築されたフィルターの線形組み合わせである
近似ぶれ補正フィルターGnで重畳される。Gn はぼかしフィルターHにのみ依存し入力画像
Iには依存しないので、その値は実行時の前に予め演算しメモリーに記憶することができ
る。
【００７１】
【００７２】
【００７３】
次に推量フレームにおける各ピクセルはその対応強度調節で調節され、ぶれ補正フレー
ムが生成される（段階710）。しかし強度調節はまずΔImaxで次のように刈り込むことが
でき、
ΔI = min(max(ΔI，−ΔImax)，ΔImax) (18)
ピクセル強度も次のように刈り込むことができる。
On(x，y) = min(max(I+ΔI，0)，255) (19)
もたらされる画像Onはぶれ補正フレームOとして戻すことができる。
図8は図7の方法700を行なう装置例800の機能的ブロック図である。装置800はぶれ補正
フィルター生成器802、動作シミュレーター804、第1刈り込みモジュール806、加算モジュ
ール808、および第2刈り込みモジュール810を含む。装置800はさらにモジュール802−810
により実行されるプロセスを制御するために1つ以上のプロセッサー（図示せず）を含む
ことができる。
【００７４】
【００７５】
【００７６】
再度図8を参照すると、刈り込みモジュール806はΔImaxを用いて強度調節値ΔIを刈り
込み、入力画像Iのピクセルは加算モジュール808により各々の対応刈り込み調節値で調節
される。もたらされたピクセルは第2刈り込みモジュールにより許容強度範囲内に入るよ
うに刈り込まれ、それにより出力画像Oが形成される。
【００７７】
【００７８】
図10（A）および10（B）は各々第1および第2実施形態により形成される出力画像を示す
。画像1002Aは5回反復後の第1実施形態の産物で、画像1002Bは5回の反復が近似された第2
実施形態の産物である。画像1004A、1006A、および1008Aは10回の反復、20回の反復、お
よび40回の反復に各々対応する。同様に画像1004B、1006B、および1008Bは10回の反復、2
0回の反復、および40回の反復の近似に各々対応する。画像1002A−1008Aおよび1002B−10
08Bの各々におけるフレーム間動作はフレーム毎7ピクセルである。
【００７９】
図11はさまざまな反復レベルにおける第1および第2方法例の処理時間を比較したグラフ
1100を示す。グラフ1100から明らかなように、第2実施形態の処理時間は第1実施形態の複
数フィルタリング反復を近似するために用いられたワンパス・フィルターのためあまり変
わらない。
【００８０】
第2実施形態は正則化項がないという点でも第1実施形態とは区別される。正則化項は複
数の反復を1つの操作に削減することを不可能にする非線形を導入するので第2実施形態に
おいて除外される。フレーム間動作の程度が小さい場合、正則化項の欠如による出力の差
は実質的に感知できない。しかし、フレーム間動作がフレーム毎約10ピクセルを超えると
正則化はエラー抑圧により重要な役割を果たす。
【００８１】
第3実施形態例
図12はフレーム間動作を補正する第3方法例1200の段階を示すフローチャートである。
第1方法例400と同様に、方法1200はフレーム間動作の方向および範囲に基づき現行フレー
ムのピクセルを処理し、現行フレームの代わりに表示されるぶれ補正フレームに現行フレ
ームを変換する。しかし第3実施例は2つの均質ぼかしフィルターを用いてぶれ補正フレー
ムを生成し、第1実施例とは異なり反復的でない。
【００８２】
随意的に、均質ぼかしフィルターを適用する前に、入力画像Iに対し対比調節行為を行
なうことができる（段階1202）。第1および第2実施形態において、許容範囲外の出力値は
範囲[0，255]に刈り込まれる。その結果、許容範囲の限度（すなわち0または255）に近い
ピクセルについてぶれ削減は最適状態には及ばない。表示の許容範囲を変更することなく
、出力の明瞭度を向上させる1つの方法は入力画像の対比を調節することである。通常、
対比調節はフレームの背景輝度に目立つ変化を避けるように行なうべきである。これを達
成するために、各ピクセルにおける調節量はその背景輝度レベルからの距離に基づくこと
ができる。このようにすると、クレームの拝啓は変化しないが、前景の対比が効果的に調
節できる。
【００８３】
対比調節を行なう1つの方法は入力画像Iの対比レベルが対比閾値を超える場合にのみ画
像に対し対比調節を行なうことを含む。入力画像の対比レベルCcurrは、1が255レベルの
完全な対比および0.5が128レベルの半分の対比を示した、ゼロと1の間の値と定義するこ
とができる。対比レベルCcurrは次の式により測ることができる。
Ccurr =(YMax−YMin)/255 (20)
【００８４】
ここでYMax およびYMin は入力画像の強度データ範囲を定義し、ピクセル強度値の16ビ
ンのヒストグラムから引き出される。例えば、YMax およびYMin は各々最大および最小強
度レベルで、合計ピクセル数の5パーセントを超えるヒストグラム数を有することができ
る。入力画像の対比レベルCcurr は次に閾値パラメーターCと比較することができ、Ccurr
が閾値Cを超える場合、画像Iにおける各ピクセル位置x，yの対比は次のように調節するこ
とができる。
I(x，y)=YBg+(I(x，y) −YBg)・C/Ccurr (21)
【００８５】
ここでYBg はヒストグラム数が合計ピクセル数の閾値レベル（例20パーセント）を超え
る強度レベルすべての平均と定義される背景の強度レベルである。このような形で対比調
節を定義することにより、フレームの背景に係わるピクセルは実質的に変化しない。他方
、Ccurrが閾値Cを超えない場合、画像Iは刈り込みによる歪みの危険性が充分に低いので
対比調節を見合すことができるとみなされる。対比閾値パラメーターCの既定設定を0.8に
設定すると許容できる結果をもたらす。対比閾値パラメーターは既定値を調節することが
できる。
【００８６】
現行フレームに対し必要な対比調節を行なった後、対比調節されたフレームは第1ぼか
しフィルターを用いてぼかされ第1ぶれフレームを生成し（段階1204）、第2ぼかしフィル
ターを用いてぼかされ第2ぶれフレームを生成する（段階1206）。例えば、第1ぼかしフィ
ルターは第1実施形態に関連して上述されたぼかしフィルターHであって良く（以降H(v)と
記される）、これは現行フレームにおけるフレーム間動作の方向と範囲を特性化したフレ
ーム間動作ベクトルにより定義される。第2ぼかしフィルターはv1=3×(v−1)+1とした、H
(v)より幅広い均質ローパス・フィルターH(v1)であることができる。
次に対比調節されたフレーム、第1ぶれフレーム、および第2ぶれフレームの加重組み合
わせを計算して第1ぼかしフィルターH(v)でぼかし、ぶれ補正フレームを生成することが
できる（段階1208）。例えば、現行フレーム、第1ぶれフレーム、および第2ぶれフレーム
の各々を加重値で掛け、もたらされた積を合計することにより加重組み合わせを計算する
ことができる。従って、ぶれ補正フレームOは対比調節されたフレームI′に基づき次の式
に従い計算することができる。
【００８７】
【数８】
【００８８】
ここで加重w1、w2、およびw3 は制約β・[w1−w2+w3]=1を満足する。例えば、一実施例
によるとw1、w2およびw3は次のように設定される。
w2 =2.0
w3 =0.24・β/max{β−1，1}
w1 =1/β+w2−w3 (23)
必要であれば、表示の前にぶれ補正画像Oにおけるピクセル強度を上記方程式(19)に従
い許容範囲内に入るように刈り込むことができる。
【００８９】
方程式(22)および(23)における調節ステップサイズβの値は定数であっても良い。ある
いは、調節ステップサイズβは各フレームにおける背景輝度に適応しても良い。本明細書
で説明する他の実施形態同様、第1実施形態により行なわれるフレーム間動作補正は調節
ステップサイズが大きく設定され過ぎると過補正をもたらす可能性があり、例えば望まし
くないエッジ・アーティファクトが現れる原因となる。従って、過補正を避けるため、適
応型調節ステップサイズを選択することにより目に入るようなアーティファクトをもたら
さずにできるだけの動作補正を提供することができる。
【００９０】
人間の視覚システムは比較的低いレベルか、または比較的高いレベルかの背景輝度を有
する画像において、また中間的なグレー・レベルの背景輝度を有する画像において、対比
レベルを見分けることができない。従って、人間の視覚の対比感度は画像輝度の関数であ
る。各フレームについてそのフレームの背景輝度に基づき適応的にβを決定することによ
り、中間的なグレー・レベルの背景輝度を有する画像の過補正を避けることができる。（
βの値への依存のため、複数の加重値の1つ以上も推定背景輝度に依存する、またはその
関数として計算されると言える。）
【００９１】
最小弁別値（JND）モデルは画像コード化および透かし入れにおいて、それより低い場
合画像強度の差は知覚できないとみなされる最小可視閾値を定義するのに良く使われる尺
度である。ChouのJNDモデル（C. Chou およびY.C. Li、「最小弁別値プロファイルに基づ
く知覚調節されたサブバンド画像符号器」（“A Perceptually Tuned Subband Image Cod
er Based on the Measure of Just‐Noticeable‐Distortion Profile”）、IEEE Transa
ctions on Circuits and Systems for Video Technology、5(6)、1995年12月）、または
その簡略化版、を用いて適応型調節ステップサイズβの値を設定することができる。図13
はさまざまな輝度レベルおよび上記方程式(22)のぶれ補正フレームOの式における適応型
調節ステップサイズβ 1304として用い得る対応値について人間の最小可視閾値1302のCho
u JNDモデル曲線を示す。このように、図13に示される如く、βを設定するJNDモデルはCh
ou JNDモデルと直接的には適合しない。例えば、対比マスキングおよび適応輝度など要素
が考慮されていない。さらに、低強度範囲におけるステップサイズ値は過補正を避けるた
めに刈り込まれている。
【００９２】
選ばれた輝度レベルにおける適応型ステップサイズ値を予め計算し、メモリーにおける
ルックアップ・アレーに記憶しておくことができる。例えば、16の異なる輝度レベル間隔
に対応する16の異なる適応型ステップサイズ値を予め計算しルックアップ・アレーに記憶
しておくことができる。メモリー制約および他の関連要素によって、より多くまたはより
少ない適応型ステップサイズ値を計算することができる。
表3は適応型ステップサイズのルックアップ表の例を示す。推定入力フレームの輝度レ
ベルYBgが与えられると、最も近い輝度レベルにおいて記憶された適応型ステップサイズ
をメモリーから検索しβの値を設定するのに用いることができる。
【００９３】
【表３】
【００９４】
現行フレームの背景輝度は現行フレームのピクセル強度ヒストグラムに基づき推定する
ことができる。あるいは、フレーム間動作補正はピクセル毎を基準に行なわれるかもしれ
ず、従ってデジタルビデオフレームのシーケンスにおいて類似して背景輝度レベルを有す
る可能性が高い現行フレームに先行するフレームを代わりに用いてピクセル強度ヒストグ
ラムを生成することができる。例えば一実施において、16ビンの強度ヒストグラムは各フ
レームを処理した後に更新される。The value of YBg の値は対比を調節するために上記
方程式(21)において使われた値と同じものであることができる。例えば、YBgはヒストグ
ラム数がフレームにおける合計ピクセル数の閾値レベル（例20パーセント）を超える強度
レベルすべての平均であることができる。
【００９５】
第1および第2ぼかしフィルターH(v)およびH(v1)は均質フィルターであって良い。ぶれ
補正を行なうために均質フィルターのみを使用する利点は個々のピクセル値をメモリーに
記憶する必要がないことである。例えば、長さvおよび半径rの水平均質フィルターが与え
られると、ピクセル位置(x，y)における画像出力は次のように表すことができる。
【００９６】
【数９】
【００９７】
このように、均質フィルターはメモリーにおいて3行のみで実施することができる。図1
4は上記方程式(24)の実施例を示す。図14に示すように、右側の区域1402は区域1404引く
区域1406足す区域1408に等しい。従って、上記(24)を特定ピクセルpx，yに実施するため
に、ピクセルpx，yはまず出力画像において前以て処理されたピクセルpx−1，yに設定さ
れる。次にピクセルpx−r−1，y（1/vで拡大縮小）がピクセルpx−1，yから引かれ、ピク
セル（1/vで拡大縮小）が加えられる。
【００９８】
図15は図12における方法1200を実施する装置例1500の機能的ブロック図である。装置15
00は適応型対比モジュール1502、適応型ステップサイズ・モジュール1504、および動作鮮
明化モジュール1506を含む。装置1500はさらにモジュール1502−1506により実行されるプ
ロセスを制御する1つ以上のプロセッサー（図示せず）を含むことができる。
【００９９】
入力画像Iは適応型対比モジュール1502および適応型ステップサイズ・モジュールによ
り並行して処理され得る。適応型対比モジュール1502は上記方程式(20)および(21)に従い
適応型対比調節を実行することができる（段階1202）。対比調節された画像は次に動作鮮
明化モジュール1506に供給されることができる。適応型ステップサイズ1504は調節ステッ
プサイズβを上記表3におけるアレーのようなルックアップ・アレーから検索することが
できる。あるいは、βを所定の定数値に設定することができ、ルックアップ段階をバイパ
スすることができる。適応型ステップサイズ・モジュール1504はβautoのようなフラグを
用いてルックアップ・アレーをバイパスするかを判定することができる。フラグβautoは
βに対し適応値が望まれることを示す第1値（例、1）またはが定数の既定値（例、2.5）
に設定されていることを示す第2値（例、ゼロ）に設定することができる。モジュール150
2および1504の各々により行なわれる操作は背景輝度レベルYBgに依存し、これはプロセッ
サー（図示せず）により判定され、別個の入力としてモジュール1502および1504の各々に
供給され得る。
【０１００】
動作鮮明化モジュール1506は上記段階1208および方程式(22)に結び付いた処理工程を実
行することができる。例えば、動作鮮明化モジュール1506は第1ぼかしフィルターH(v)を
用いて対比調節されたフレームをぼかし第1ぶれフレームを生成し、第2ぼかしフィルター
H(v1)を用いて対比調節されたフレームをぼかし第2ぶれフレームを生成する。動作鮮明化
モジュール1506のフレーム組み合わせ器が次に対比調節されたフレーム、第1ぶれフレー
ム、および第2ぶれフレームの加重組み合わせを計算する。もたらされた加重組み合わせ
は次に例えば第1ぼかしフィルターでぼかされ、装置1500の出力としてぶれ補正フレームO
を生成する。加重値は上記方程式(23)に従い適応型ステップサイズ・モジュール1504から
受信された調節ステップサイズβに基づき決定することができる。
【０１０１】
第4実施形態例
図16はフレーム間動作を補正する第4方法例1600の段階を示すフローチャートである。
段階1602−1608は図12に関連して上述した第3実施形態における段階1202−1208と同じで
ある。第4実施形態はしかし基本的に方法120の第3ぶれフレームと呼ばれる出力を取り、
それを現行フレームと加重組み合わせにおいて組み合わせるさらなる組み合わせ段階を終
わりに含む（段階1610）。加重組み合わせは次のように表すことができる。
【０１０２】
【数１０】
【０１０３】
ここでαはゼロから1の間で調節可能な因数（例、0.75）で、加重w1′、w2′、およびw
3′は制約β・[w1′−w2′+w3′]=(1−α)を満足する。方程式(25)における他の記号の説
明は上記第3実施形態の説明にある。一実施例によると、w2′は調節可能な定数（例、1.5
）で、w3′はw2′に調節可能なスカラー値（例、0.15）を掛けたもので、w1′は次のよう
に設定される。
w1′=(1−α)/β+w2′−w3′ (26)
【０１０４】
第3実施形態においてのように、適応型調節ステップサイズβの値は定数でも良く、各
フレームにおける背景輝度レベルに適応しても良い。例えば、第3実施形態に関し上述の
ように、次の表4のような適応型調節ステップサイズのルックアップ・アレーを用いるこ
とができる。
【０１０５】
【表４】
【０１０６】
人間の視覚の対比感度は画像輝度の関数であるので、アーティファクトの可視性は背景
輝度レベルに依存する。従ってルックアップ・アレーにおけるさまざまな背景輝度レベル
の各々において調節ステップサイズβを設定する尺度として図13に関連して上述したJND
モデルを用いることができる。
【０１０７】
方程式(25)により適用されるフィルタリングで使用する調節ステップサイズ値βを判断
するために、上記方程式(25)におけるフィルターをまず異なるさまざまな調節・ステップ
サイズ値（例、{￣β=1.0，1.1，…，9.9，10.0}）およびサンプル動作のフレーム間速度
（例、フレーム毎9ピクセル）を用いて較正画像Icに適用することができる。較正画像は
ステップ型のエッジ・パターンで各々異なるグレー・レベル（例、グレー・レベル64およ
び192）を有する2つの均質の領域を含む。各出力画像Oj（セット￣βにおいて対応ステッ
プサイズ値βjを用いることにより得られる）は次に較正画像Icとピクセル毎に比較され
、較正画像Icおよび出力画像Oj間のグレー・レベルの絶対差、Dj、が判定される。得られ
たグレー・レベルの絶対差のセット、￣Ｄ、を次に用い、調節ステップサイズ値のいずれ
も出力フレームが対応ソースフレームと可視的に異なる（JND値）エッジを有する出力フ
レームをもたらす可能性が低いようにさまざまな異なる背景輝度レベルに対する調節ステ
ップサイズ値を選択する。人間の目にとってエッジ・アーティファクトの可視性は背景輝
度レベルに依存するので、調節ステップサイズ値は背景輝度レベルに依存して選択される
。
【０１０８】
例えば、ある範囲の輝度レベル（例、0と255の間）における各背景輝度レベル、Yk、に
ついて、図13に描かれる人間の最小可視閾値1302に関するChouのJNDモデルのようなJNDモ
デルを参照してJND値、JNDk、が判定される。（JND値は最大15に刈り込むことができる。
）次にセット￣ＤにおけるJNDk未満のグレー・レベルの差に対応するセット￣βにおける
最大調節ステップサイズが背景輝度レベルに対する調節ステップサイズYkとして選択され
る。このような方法で、適当な調節ステップサイズが上記表4における各背景輝度レベルY
Bgに対し判定される。動作補正の望ましい程度に調節するために、ルックアップ・アレー
における入力を判定するために用いられたJNDモデルは、例えば一実施形態においては1.2
倍に、拡大または縮小できる。
【０１０９】
方程式(25)における調節可能なスカラー因数αは方法1600のフィルターされた画像に対
するソース画像の寄与を制御する。従ってαがゼロに設定される場合、方法1600により行
なわれるフィルタリングは第3実施形態の方法1200のフィルタリングと同等である。他方
αを1に等しく設定すると方法1600におけるぶれ補正フィルタリングを第2実施形態の方法
700に類似させる効果がある。このように、加重組み合わせ段階1610でαを提供すること
はぶれ補正を第2実施形態、第3実施形態に類似するように変更する自由度、または双方の
実施形態の特性を有する組み合わせフィルターを提供する。初期の実験では、自然の風景
など複雑または密な特徴を有する画像についてはαのより大きい値（例、0.5を超える）
がより小さい値にくらべうまくぶれ補正された画像を実現する。逆に、例えばステップ・
エッジ画像のような簡単または疎な特徴を有する画像についてはより小さい値のαの方が
うまく行く。
【０１１０】
図17は図16における方法1600を行なう装置1700の機能的ブロック図である。図15におけ
る装置1500のように、装置1700は適応型対比モジュール1702、適応型ステップサイズ・モ
ジュール1704、動作鮮明化モジュール1706を含み、さらにモジュール1702−1706により実
行されるプロセスを制御する1つ以上のプロセッサー（図示せず）を含むことができる。
【０１１１】
入力画像Iは適応型対比モジュール1702および適応型ステップサイズ・モジュールによ
り並行して処理され得る。適応型対比モジュール1702は上記方程式(20)および(21)に従い
適応型対比調節を実行することができる（段階1702）。対比調節された画像は次に動作鮮
明化モジュール1706に供給されることができる。適応型ステップサイズ1704は調節ステッ
プサイズβを上記表4におけるアレーのようなルックアップ・アレーから検索することが
できる。あるいは、βを所定の定数値に設定することができ、ルックアップ段階をバイパ
スすることができる。図15に示す装置1500における適応型ステップサイズ・モジュール15
04と同様、適応型ステップサイズ・モジュール1504はβautoのようなフラグを用いてルッ
クアップ・アレーをバイパスするかを判定することができる。さらに、モジュール1702お
よび1704の各々により行なわれる操作は背景輝度レベルYBgに依存し、これはプロセッサ
ー（図示せず）により判定され、別個の入力としてモジュール1702および1704の各々に供
給され得る。
【０１１２】
動作鮮明化モジュール1706は上記方程式(25)で表される段階1608および1610に結び付い
た処理工程を実行することができる。例えば、動作鮮明化モジュール1706は第1ぼかしフ
ィルターH(v)を用いて対比調節されたフレームをぼかし第1ぶれフレームを生成し、第2ぼ
かしフィルターH(v1)を用いて対比調節されたフレームをぼかし第2ぶれフレームを生成す
る。動作鮮明化モジュール1706の第1フレーム組み合わせ器が次に対比調節されたフレー
ム、第1ぶれフレーム、および第2ぶれフレームの第1加重組み合わせを計算し、フレーム
の第1加重組み合わせを生成する。第1加重組み合わせは次に例えば第1ぼかしフィルター
でぼかされ、第3ぶれフレームを生成する。第1加重組み合わせにおける加重値は上述のよ
うに、適応型ステップサイズ・モジュール1704から受信される調節ステップサイズに基づ
き決定することができる。第3ぶれフレームは次に原画像Iと第2加重組み合わせに組み合
わせ、装置1700の出力としてぶれ補正フレームOを生成することができる。第1加重組み合
わせに用いられる加重は方程式(25)に従い、原画像Iに適用される調節可能なスカラー因
数αおよび第3ぶれフレームに適用される適応型調節ステップサイズβであって良い。
【０１１３】
他の実施形態例
上記に説明の各種選択的な実施形態に加え、さまざまな行為が変更、省略、もしくは追
加され、または説明された行為の順序が異なる種類を含み、他種のさまざまなフレーム間
動作の補正を実施することができる。例えば、特定の実施形態に関連して適応型対比調節
が上述されたが、背景輝度の目立った変化を避けながら出力の明瞭さを向上させるために
同じ手法を他の実施形態に適用することもできる。同様に、背景輝度レベルに適応した調
節ステップサイズβが特定の実施形態に関連して説明されたが、動作補正されたフレーム
における望ましくないアーティファクトの可視性をより最適に削減するために同じ手法を
他の実施形態に適用することもできる。
【０１１４】
さらに、本明細書に開示される方法例300、400、700、1200、および1600，ならびにそ
の変形はハードウェア・モジュール、ソフトウェア・モジュール、またはこれらの何らか
の組み合わせを用いて実施することができる。ソフトウェア・モジュールはコンピュータ
ー実行可能な命令またはデータ構造を搭載または有するコンピューター読み取り可能な媒
体の形で提供されることができる。このようなコンピューター読み取り可能な媒体は汎用
または特殊用途のコンピューターのプロセッサーによりアクセスできる任意の入手可能な
媒体であって良い。限定ではなく例として、このようなコンピューター読み取り可能な媒
体はRAM、ROM、EEPROM、CD‐ROMもしくは他の光ディスク記憶、磁気ディスク記憶もしく
は他の磁気記憶装置、またはコンピューター実行可能な命令またはデータ構造の形でプロ
グラム・コードを搭載または有し、汎用または特殊用途のコンピューターのプロセッサー
によりアクセスできる他の任意の媒体を有してなる。上記の組み合わせもコンピューター
読み取り可能な媒体の範囲に含めるべきである。
【０１１５】
コンピューター実行可能な命令は例えば汎用コンピューターまたは特殊用途のコンピュ
ーターのプロセッサーに特定の機能または機能のグループを実施させる命令およびデータ
を有してなる。本明細書において主題は方法行為固有の言葉で説明されているが、添付ク
レームで定義される主題は必ずしも本明細書に説明される具体的な行為に限定されないこ
とが理解されよう。むしろ、本明細書に説明される具体的な行為はクレームを実施する形
態例として開示される。
【０１１６】
本明細書で開示される実施形態例は他の具体的な形で具現されることができる。本明細
書で開示される実施形態例はすべての面において限定的ではなく、単に例示的であるとみ
なされる。
【符号の説明】
【０１１７】
５００ 装置、５０２ 画像ブロックメモリー、５０４ 動作フィルターメモリー、５
０６ 動作シミュレーター、５０８ 正則化項生成器、５１０ 画像更新器。
【特許請求の範囲】
【請求項１】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
前記フレーム間動作の方向および範囲に基づき補正するぶれ補正方法であって、
現行フレームに基づき推量フレームを生成するステップと、
前記推量フレームにおける複数のピクセルの各々について正則化項を計算するステップ
と、
前記推量フレームにおける複数のピクセルを前記フレーム動作の方向および範囲の関数
としてぼかすステップと、
ぶれた各ピクセルを前記現行フレームにおける対応ピクセルと比較して各対応ピクセル
についてエラーピクセルを生成するステップと、
前記各エラーピクセルをぼかすステップと、
ぶれた各エラーピクセルをその対応正則化項に基づき調節するステップと、
前記調節された各エラーピクセルと前記推量フレームにおけるその対応ピクセルを組み
合わせて前記推量フレームを更新し、ぶれを補正するステップとを有するぶれ補正方法。
【請求項２】
前記各ピクセルについて正則化項を計算するステップは、ピクセルの正規化水平勾配の
水平勾配を前記ピクセルの正規化垂直勾配の垂直勾配と組み合わせるステップを含む請求
項１に記載のぶれ補正方法。
【請求項３】
前記ぶれた各エラーピクセルをその対応正則化項に基づき調節するステップは、前記対
応正則化項を正則化因数で加重し、各加重正則化項をその対応するぶれたエラーピクセル
から引くステップを含む請求項１に記載のぶれ補正方法。
【請求項４】
前記正則化項を計算するステップ、前記複数のピクセルをぼかすステップ、前記ぶれた
各ピクセルを比較するステップ、前記エラーピクセルをぼかすステップ、前記調節するス
テップ、および前記調節された各エラーピクセルと前記推量フレームにおけるその対応ピ
クセルを組み合わせるステップは反復的に行なわれる請求項１に記載のぶれ補正方法。
【請求項５】
前記反復的に行なわれるステップは、前記各ピクセルに結び付いた輝度チャンネルデー
タまたは前記各ピクセルに結び付いた色チャンネルデータに対し実施される請求項４に記
載のぶれ補正方法。
【請求項６】
前記組み合わせるステップの前に、前記対応する調節されたエラーピクセルを調節ステ
ップサイズパラメーターで加重するステップを有する請求項１に記載のぶれ補正方法。
【請求項７】
前記正則化項を計算するステップ、前記複数のピクセルをぼかすステップ、前記ぶれた
各ピクセルを比較するステップ、前記エラーピクセルをぼかすステップ、前記調節するス
テップ、および前記調節された各エラーピクセルと前記推量フレームにおけるその対応ピ
クセルを組み合わせるステップは、所定回数反復的に行なわれ、前記調節ステップサイズ
パラメーターの調節ステップサイズは各反復後に削減因数分削減される請求項６に記載の
ぶれ補正方法。
【請求項８】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
前記フレーム間動作の方向および範囲に基づき補正するぶれ補正装置であって、
現行フレームから引き出された推量フレームにおける複数のピクセルの各々につて正則
化項を計算するよう構成される正則化項生成器と、
前記推量フレームにおける複数のピクセルを前記フレーム間動作の方向および範囲の関
数としてぼかし、ぶれた各ピクセルを前記現行フレームにおける対応ピクセルと比較して
各対応ピクセルに対するエラーピクセルを生成し、各エラーピクセルをぼかすよう構成さ
れる動作シミュレーターと、
ぶれた各エラーピクセルをその対応正則化項に基づき調節し、前記調節された各エラー
ピクセルを前記推量フレームにおけるその対応ピクセルと組み合わせて前記推量フレーム
を更新し、前記ぶれを補正するよう構成される画像更新器とを有するぶれ補正装置。
【請求項９】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
フレーム間動作の方向および範囲に基づき補正するぶれ補正方法であって、
現行フレームに基づき推量フレームを生成するステップと、
前記フレーム間動作の方向および範囲から引き出された複数のぼかしフィルターを組み
合わせてぶれ補正フィルターを形成するステップと、
前記ぶれ補正フィルターを用いて前記推量フレームにおける複数のピクセルを処理する
ステップと、
前記処理された各ピクセルを前記現行フレームにおける対応ピクセルと比較して各対応
ピクセルに対する強度調節を生成するステップと、
前記推量フレームにおける各ピクセルをその対応強度調節で調節してぶれ調節フレーム
を生成するステップとを有するぶれ補正方法。
【請求項１０】
前記ぶれ補正フィルターを用いて前記推量フレームにおける複数のピクセルを処理する
ことが反復的ぶれ補正プロセスに近似するように、前記ぶれ補正フィルターは形成される
請求項９に記載のぶれ補正方法。
【請求項１１】
前記補正フィルターは前記複数のぼかしフィルターを組み合わせた後、もたらされた中
間フィルターの1つ以上の係数が切り詰められることにより形成される請求項９に記載の
ぶれ補正方法。
【請求項１２】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
フレーム間動作の方向および範囲に基づき補正するぶれ補正装置であって、
前記フレーム間動作の方向および範囲から引き出された複数のぼかしフィルターを組み
合わせてぶれ補正フィルターを形成するよう構成さえるぶれ補正フィルター生成器と、
前記ぶれ補正フィルターを用いて推量フレームにおける複数のピクセルを処理し、前記
処理された各ピクセルを現行フレームにおける対応ピクセルと比較して各対応ピクセルに
対する強度調節を生成するよう構成される動作シミュレーターと、
前記推量フレームにおける各ピクセルをその対応強度調節で調節してぶれ調節フレーム
を生成するよう構成される画像更新器とを有するぶれ補正装置。
【請求項１３】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
補正するぶれ補正方法であって、
第1ぼかしフィルターを用いて現行フレームをぼかし、第1ぶれフレームを生成するステ
ップと、
第2ぼかしフィルターを用いて前記現行フレームをぼかし、第2ぶれフレームを生成する
ステップと、
前記現行フレーム、前記第1ぶれフレーム、および前記第2ぶれフレームの加重組み合わ
せを第1ぼかしフィルターでぼかし、ぶれ補正フレームを生成するステップとを有するぶ
れ補正方法。
【請求項１４】
前記加重組み合わせに用いられる複数の加重値の1つ以上は前記現行フレームの推定背
景輝度の関数として計算される請求項１３に記載のぶれ補正方法。
【請求項１５】
前記現行フレームの推定背景輝度は、前記デジタルビデオフレームのシーケンスにおい
て前記現行フレームに先行するフレームのピクセル強度のヒストグラムに基づき推定され
る請求項１４に記載のぶれ補正方法。
【請求項１６】
前記複数のピクセルをぼかす前に、複数のピクセルの少なくとも一部の対比を前記現行
フレームの推定背景輝度レベルに基づき調節するステップを有する請求項１３に記載のぶ
れ補正方法。
【請求項１７】
前記複数のピクセルの少なくとも一部におけるピクセルの対比は前記ピクセルの強度と
前記推定背景輝度レベルとの差に基づき調節される請求項１６に記載のぶれ補正方法。
【請求項１８】
前記第1および第2フィルターの少なくとも1つは前記フレーム間動作の方向および範囲
から引き出された均質フィルターである請求項１３に記載のぶれ補正方法。
【請求項１９】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
補正するぶれ補正装置であって、
現行フレームをぼかして第1ぶれフレームを生成するよう構成される第1ぼかしフィルタ
ーと、前記現行フレームをぼかして第2ぶれフレームを生成するよう構成される第2ぼかし
フィルターとを含む動作鮮明化フィルターと、
前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレームを組み合わせるよ
う構成されるフレーム組み合わせ器と、
前記フレームの組み合わせをぼかしてぶれ補正フレームを生成するよう構成される第3
ぼかしフィルターを有するぶれ補正装置。
【請求項２０】
前記現行フレームの少なくとも一部の対比を調節するよう構成される適応型対比調節器
であって、前記現行フレームの前記少なくとも一部は前記第1および第2フィルターにより
ぼかされる前に前記適応型対比調節器により調節されるよう前記動作鮮明化フィルターに
対し配置される適応型対比調節器と、
前記組み合わせの前に前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレ
ームに適用される複数の加重の1つ以上を調節するために前記フレーム組み合わせ器によ
り用いられる適応型ステップサイズ因数を生成するよう構成される適応型ステップサイズ
生成器とをさらに有する請求項１９に記載のぶれ補正装置。
【請求項２１】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
補正するぶれ補正方法であって、
第1ぼかしフィルターを用いて現行フレームをぼかし、第1ぶれフレームを生成するステ
ップと、
第2ぼかしフィルターを用いて前記現行フレームをぼかし、第2ぶれフレームを生成する
ステップと、
前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレームの第1加重組み合
わせを前記第1フィルターでぼかし、第3ぶれフレームを生成するステップと、
前記現行フレームと前記第3ぶれフレームを第2加重組み合わせに組み合わせてぶれ補正
フレームを生成するステップとを有するぶれ補正方法。
【請求項２２】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
補正するぶれ補正装置であって、
現行フレームをぼかし第1ぶれフレームを生成するよう構成される第1ぼかしフィルター
と、前記現行フレームをぼかし第2ぶれフレームを生成するよう構成される第2ぼかしフィ
ルターとを含む動作鮮明化フィルターと、
前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレームを組み合わせてフ
レームの組み合わせを生成するよう構成される第1フレーム組み合わせ器と、
前記フレームの組み合わせをぼかすよう構成される第3ぼかしフィルターと、
前記現行フレームを前記ぶれたフレームの組み合わせを組み合わせてぶれ補正フレーム
を生成するよう構成される第2フレーム組み合わせ器とを有するぶれ補正装置。
【請求項２３】
前記現行フレームの少なくとも一部の対比を調節するよう構成される適応型対比調節器
であって、前記現行フレームの少なくとも一部は前記第1および第2フィルターによりぼか
される前に前記適応型対比調節器により調節されるよう動作鮮明化フィルターに対し配置
される適応型対比調節器と、
前記組み合わせの前に前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレ
ームに適用される複数の加重の1つ以上を調節するために前記フレーム組み合わせ器によ
り用いられる適応型ステップサイズ因数を生成するよう構成される適応型ステップサイズ
生成器とをさらに有する請求項２２に記載のぶれ補正装置。
【請求項２４】
実行された場合にデジタルビデオフレームのシーケンスにおいてフレーム間動作による
知覚されたぶれを補正する方法を実施するコンピューター読み取り可能な命令を有する1
つ以上のコンピューター読み取り可能な媒体であって、
前記ぶれを補正する方法は、
第1ぼかしフィルターを用いて現行フレームをぼかし、第1ぶれフレームを生成するステ
ップと、
第2ぼかしフィルターを用いて前記現行フレームをぼかし、第2ぶれフレームを生成する
ステップと、
前記現行フレーム、前記第1ぶれフレームおよび第2ぶれフレームの第1加重組み合わせ
を前記第1ぼかしフィルターでぼかし、第3ぶれフレームを生成するステップと、
前記現行フレームと前記第3ぶれフレームを第2加重組み合わせに組み合わせてぶれ補正
フレームを生成するステップとを有するコンピューター読み取り可能な媒体。
【請求項１】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
前記フレーム間動作の方向および範囲に基づき補正するぶれ補正方法であって、
現行フレームに基づき推量フレームを生成するステップと、
前記推量フレームにおける複数のピクセルの各々について正則化項を計算するステップ
と、
前記推量フレームにおける複数のピクセルを前記フレーム動作の方向および範囲の関数
としてぼかすステップと、
ぶれた各ピクセルを前記現行フレームにおける対応ピクセルと比較して各対応ピクセル
についてエラーピクセルを生成するステップと、
前記各エラーピクセルをぼかすステップと、
ぶれた各エラーピクセルをその対応正則化項に基づき調節するステップと、
前記調節された各エラーピクセルと前記推量フレームにおけるその対応ピクセルを組み
合わせて前記推量フレームを更新し、ぶれを補正するステップとを有するぶれ補正方法。
【請求項２】
前記各ピクセルについて正則化項を計算するステップは、ピクセルの正規化水平勾配の
水平勾配を前記ピクセルの正規化垂直勾配の垂直勾配と組み合わせるステップを含む請求
項１に記載のぶれ補正方法。
【請求項３】
前記ぶれた各エラーピクセルをその対応正則化項に基づき調節するステップは、前記対
応正則化項を正則化因数で加重し、各加重正則化項をその対応するぶれたエラーピクセル
から引くステップを含む請求項１に記載のぶれ補正方法。
【請求項４】
前記正則化項を計算するステップ、前記複数のピクセルをぼかすステップ、前記ぶれた
各ピクセルを比較するステップ、前記エラーピクセルをぼかすステップ、前記調節するス
テップ、および前記調節された各エラーピクセルと前記推量フレームにおけるその対応ピ
クセルを組み合わせるステップは反復的に行なわれる請求項１に記載のぶれ補正方法。
【請求項５】
前記反復的に行なわれるステップは、前記各ピクセルに結び付いた輝度チャンネルデー
タまたは前記各ピクセルに結び付いた色チャンネルデータに対し実施される請求項４に記
載のぶれ補正方法。
【請求項６】
前記組み合わせるステップの前に、前記対応する調節されたエラーピクセルを調節ステ
ップサイズパラメーターで加重するステップを有する請求項１に記載のぶれ補正方法。
【請求項７】
前記正則化項を計算するステップ、前記複数のピクセルをぼかすステップ、前記ぶれた
各ピクセルを比較するステップ、前記エラーピクセルをぼかすステップ、前記調節するス
テップ、および前記調節された各エラーピクセルと前記推量フレームにおけるその対応ピ
クセルを組み合わせるステップは、所定回数反復的に行なわれ、前記調節ステップサイズ
パラメーターの調節ステップサイズは各反復後に削減因数分削減される請求項６に記載の
ぶれ補正方法。
【請求項８】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
前記フレーム間動作の方向および範囲に基づき補正するぶれ補正装置であって、
現行フレームから引き出された推量フレームにおける複数のピクセルの各々につて正則
化項を計算するよう構成される正則化項生成器と、
前記推量フレームにおける複数のピクセルを前記フレーム間動作の方向および範囲の関
数としてぼかし、ぶれた各ピクセルを前記現行フレームにおける対応ピクセルと比較して
各対応ピクセルに対するエラーピクセルを生成し、各エラーピクセルをぼかすよう構成さ
れる動作シミュレーターと、
ぶれた各エラーピクセルをその対応正則化項に基づき調節し、前記調節された各エラー
ピクセルを前記推量フレームにおけるその対応ピクセルと組み合わせて前記推量フレーム
を更新し、前記ぶれを補正するよう構成される画像更新器とを有するぶれ補正装置。
【請求項９】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
フレーム間動作の方向および範囲に基づき補正するぶれ補正方法であって、
現行フレームに基づき推量フレームを生成するステップと、
前記フレーム間動作の方向および範囲から引き出された複数のぼかしフィルターを組み
合わせてぶれ補正フィルターを形成するステップと、
前記ぶれ補正フィルターを用いて前記推量フレームにおける複数のピクセルを処理する
ステップと、
前記処理された各ピクセルを前記現行フレームにおける対応ピクセルと比較して各対応
ピクセルに対する強度調節を生成するステップと、
前記推量フレームにおける各ピクセルをその対応強度調節で調節してぶれ調節フレーム
を生成するステップとを有するぶれ補正方法。
【請求項１０】
前記ぶれ補正フィルターを用いて前記推量フレームにおける複数のピクセルを処理する
ことが反復的ぶれ補正プロセスに近似するように、前記ぶれ補正フィルターは形成される
請求項９に記載のぶれ補正方法。
【請求項１１】
前記補正フィルターは前記複数のぼかしフィルターを組み合わせた後、もたらされた中
間フィルターの1つ以上の係数が切り詰められることにより形成される請求項９に記載の
ぶれ補正方法。
【請求項１２】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
フレーム間動作の方向および範囲に基づき補正するぶれ補正装置であって、
前記フレーム間動作の方向および範囲から引き出された複数のぼかしフィルターを組み
合わせてぶれ補正フィルターを形成するよう構成さえるぶれ補正フィルター生成器と、
前記ぶれ補正フィルターを用いて推量フレームにおける複数のピクセルを処理し、前記
処理された各ピクセルを現行フレームにおける対応ピクセルと比較して各対応ピクセルに
対する強度調節を生成するよう構成される動作シミュレーターと、
前記推量フレームにおける各ピクセルをその対応強度調節で調節してぶれ調節フレーム
を生成するよう構成される画像更新器とを有するぶれ補正装置。
【請求項１３】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
補正するぶれ補正方法であって、
第1ぼかしフィルターを用いて現行フレームをぼかし、第1ぶれフレームを生成するステ
ップと、
第2ぼかしフィルターを用いて前記現行フレームをぼかし、第2ぶれフレームを生成する
ステップと、
前記現行フレーム、前記第1ぶれフレーム、および前記第2ぶれフレームの加重組み合わ
せを第1ぼかしフィルターでぼかし、ぶれ補正フレームを生成するステップとを有するぶ
れ補正方法。
【請求項１４】
前記加重組み合わせに用いられる複数の加重値の1つ以上は前記現行フレームの推定背
景輝度の関数として計算される請求項１３に記載のぶれ補正方法。
【請求項１５】
前記現行フレームの推定背景輝度は、前記デジタルビデオフレームのシーケンスにおい
て前記現行フレームに先行するフレームのピクセル強度のヒストグラムに基づき推定され
る請求項１４に記載のぶれ補正方法。
【請求項１６】
前記複数のピクセルをぼかす前に、複数のピクセルの少なくとも一部の対比を前記現行
フレームの推定背景輝度レベルに基づき調節するステップを有する請求項１３に記載のぶ
れ補正方法。
【請求項１７】
前記複数のピクセルの少なくとも一部におけるピクセルの対比は前記ピクセルの強度と
前記推定背景輝度レベルとの差に基づき調節される請求項１６に記載のぶれ補正方法。
【請求項１８】
前記第1および第2フィルターの少なくとも1つは前記フレーム間動作の方向および範囲
から引き出された均質フィルターである請求項１３に記載のぶれ補正方法。
【請求項１９】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
補正するぶれ補正装置であって、
現行フレームをぼかして第1ぶれフレームを生成するよう構成される第1ぼかしフィルタ
ーと、前記現行フレームをぼかして第2ぶれフレームを生成するよう構成される第2ぼかし
フィルターとを含む動作鮮明化フィルターと、
前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレームを組み合わせるよ
う構成されるフレーム組み合わせ器と、
前記フレームの組み合わせをぼかしてぶれ補正フレームを生成するよう構成される第3
ぼかしフィルターを有するぶれ補正装置。
【請求項２０】
前記現行フレームの少なくとも一部の対比を調節するよう構成される適応型対比調節器
であって、前記現行フレームの前記少なくとも一部は前記第1および第2フィルターにより
ぼかされる前に前記適応型対比調節器により調節されるよう前記動作鮮明化フィルターに
対し配置される適応型対比調節器と、
前記組み合わせの前に前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレ
ームに適用される複数の加重の1つ以上を調節するために前記フレーム組み合わせ器によ
り用いられる適応型ステップサイズ因数を生成するよう構成される適応型ステップサイズ
生成器とをさらに有する請求項１９に記載のぶれ補正装置。
【請求項２１】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
補正するぶれ補正方法であって、
第1ぼかしフィルターを用いて現行フレームをぼかし、第1ぶれフレームを生成するステ
ップと、
第2ぼかしフィルターを用いて前記現行フレームをぼかし、第2ぶれフレームを生成する
ステップと、
前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレームの第1加重組み合
わせを前記第1フィルターでぼかし、第3ぶれフレームを生成するステップと、
前記現行フレームと前記第3ぶれフレームを第2加重組み合わせに組み合わせてぶれ補正
フレームを生成するステップとを有するぶれ補正方法。
【請求項２２】
デジタルビデオフレームのシーケンスにおいてフレーム間動作による知覚されたぶれを
補正するぶれ補正装置であって、
現行フレームをぼかし第1ぶれフレームを生成するよう構成される第1ぼかしフィルター
と、前記現行フレームをぼかし第2ぶれフレームを生成するよう構成される第2ぼかしフィ
ルターとを含む動作鮮明化フィルターと、
前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレームを組み合わせてフ
レームの組み合わせを生成するよう構成される第1フレーム組み合わせ器と、
前記フレームの組み合わせをぼかすよう構成される第3ぼかしフィルターと、
前記現行フレームを前記ぶれたフレームの組み合わせを組み合わせてぶれ補正フレーム
を生成するよう構成される第2フレーム組み合わせ器とを有するぶれ補正装置。
【請求項２３】
前記現行フレームの少なくとも一部の対比を調節するよう構成される適応型対比調節器
であって、前記現行フレームの少なくとも一部は前記第1および第2フィルターによりぼか
される前に前記適応型対比調節器により調節されるよう動作鮮明化フィルターに対し配置
される適応型対比調節器と、
前記組み合わせの前に前記現行フレーム、前記第1ぶれフレームおよび前記第2ぶれフレ
ームに適用される複数の加重の1つ以上を調節するために前記フレーム組み合わせ器によ
り用いられる適応型ステップサイズ因数を生成するよう構成される適応型ステップサイズ
生成器とをさらに有する請求項２２に記載のぶれ補正装置。
【請求項２４】
実行された場合にデジタルビデオフレームのシーケンスにおいてフレーム間動作による
知覚されたぶれを補正する方法を実施するコンピューター読み取り可能な命令を有する1
つ以上のコンピューター読み取り可能な媒体であって、
前記ぶれを補正する方法は、
第1ぼかしフィルターを用いて現行フレームをぼかし、第1ぶれフレームを生成するステ
ップと、
第2ぼかしフィルターを用いて前記現行フレームをぼかし、第2ぶれフレームを生成する
ステップと、
前記現行フレーム、前記第1ぶれフレームおよび第2ぶれフレームの第1加重組み合わせ
を前記第1ぼかしフィルターでぼかし、第3ぶれフレームを生成するステップと、
前記現行フレームと前記第3ぶれフレームを第2加重組み合わせに組み合わせてぶれ補正
フレームを生成するステップとを有するコンピューター読み取り可能な媒体。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図２】
【図１０】
【図１４】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図２】
【図１０】
【図１４】
【公開番号】特開２０１１−４１２７６（Ｐ２０１１−４１２７６Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２０１０−１７８３７９（Ｐ２０１０−１７８３７９）
【出願日】平成２２年８月９日（２０１０．８．９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２２年８月９日（２０１０．８．９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]