イメージにじみ検出器
【課題】ビデオ・イメージのにじみを求める。
【解決手段】エッジ・フィルタ22-28／12-18が入力イメージ内の高速及び低速エッジを検出し、複数の高速及び低速エッジ・フィルタ出力を発生する。手段41-49が高速エッジ・フィルタ出力を組合せて出力配列を生成する。手段31-39が低速エッジ・フィルタ出力を組合せて、出力配列を生成する。手段62-66／52-56が高速及び低速エッジ・フィルタ出力配列を別々にデシメーションして、デシメーションされた出力配列を生成する。手段70-80がデシメーションされた高速及び低速エッジ・フィルタ出力配列を処理して、
入力イメージのにじみの尺度としてローカル化された最大シャープネス値を発生する。
【解決手段】エッジ・フィルタ22-28／12-18が入力イメージ内の高速及び低速エッジを検出し、複数の高速及び低速エッジ・フィルタ出力を発生する。手段41-49が高速エッジ・フィルタ出力を組合せて出力配列を生成する。手段31-39が低速エッジ・フィルタ出力を組合せて、出力配列を生成する。手段62-66／52-56が高速及び低速エッジ・フィルタ出力配列を別々にデシメーションして、デシメーションされた出力配列を生成する。手段70-80がデシメーションされた高速及び低速エッジ・フィルタ出力配列を処理して、
入力イメージのにじみの尺度としてローカル化された最大シャープネス値を発生する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ品質測定に関し、特に、ビデオ・イメージ・シーケンスにおけるシーンの全体的なシャープネスを求めるシングル・エンドのにじみ検出に関する。
【背景技術】
【０００２】
テレビ放送局は、インターネット・プロトコル（ＩＰ）及び無線周波数（ＲＦ）放送ネットワークを介して配信されるビデオ・イメージ・シーケンスの品質に関心がある。最近の放送局は、ビデオ・イメージ・シーケンスのシャープネス（シャープさ）、即ち、にじみ（blur：ぼけ、ブラーとも言う）について関心を抱いている。あるビデオ・イメージ・シーケンスが他のビデオ・イメージ・シーケンスよりもシャープネスに欠けるという聴取者の不満がある。かかるシャープネスの欠如、即ち、にじみは、粗いピクセル化であるタイル化（タイリング）や、Ｈ．２６４圧縮符号器／復号器（ＣＯＤＥＣ）でのディブロッキング・フィルタによる細部の損失の原因となる過圧縮により生じる。なお、このディブロッキング・フィルタは、水平エッジ及び垂直エッジを除去するので、典型的には、ビデオ・イメージ・シーケンスに更なるにじみが生じる。これは、標準分解能（ＳＤ）から高分解能（ＨＤ）へのビデオ・イメージ・シーケンスへの如きビデオ・イメージ・シーケンスのアップ・コンバージョンにより生じる。ここで、エリアシングを除去するプリ・フィルタ処理は、ＨＤビデオ・イメージ・シーケンスの利用可能ピクセル分解能よりも細部が低いイメージを生成する。にじみの他の原因には、イメージ処理により典型的に生じる焦点ぼけのにじみの如きノイズ除去又は他の処理や、シャッター期間中の線形又は非線形動作によるイメージ積分による動きのにじみがある。これは、にじんだ又は曖昧なビデオ・イメージ・シーケンスという全体的な印象を与える。
【０００３】
放送局が配信するビデオは、ますますＨＤフォーマットになっている。しかし、アップ・コンバージョンされたＳＤ素材の如く生成されるＨＤフォーマットで、番組の相当量が提供される。例えば、７２０×４８０又は７２０×５７６インターレースＳＤ素材を、１９２０×１０８０インターレース・フレーム・ビデオ又は１２８０×７２０プログレッシブ・フレーム・ビデオの如き高分解能ＨＤフォーマットにアップ・コンバージョンできる。したがって、アップ・コンバージョンされたＳＤビデオ・フレーム内容の細部又はシャープネスは、ＨＤ分解能の充分な性能に達しない。すなわち、ＨＤビデオがソフトに見えるか、にじみが生じる。ＳＤビデオをアップ・コンバージョンしたようなＨＤでの番組素材を自動的に検出する手段を提供することが望まれている。
【０００４】
従来のにじみ又はソフト・イメージ（ぼけたイメージ）を検出する方法は、ノイズに対して過度に敏感であったので、イメージが既にソフト又はにじみで現れても、ビデオ・イメージ内のノイズは、関連したにじみ値を低下させる。
【０００５】
また、イメージ内には、前景及び背景のオブジェクト（対象物）の如き多くのオブジェクトや、他の特徴が存在する。かかる他の特徴は、自然に生じた又はアーティファクトによるソフト又はにじみかもしれないし、そうでないかもしれない。評価したにじみ値の信頼性を維持するためには、にじみの評価値を求めるのにイメージ内のどのオブジェクトを用いるかを判断するために、にじみ検出方法がイメージ内でどのようなオブジェクトを用いるかを判断することが望ましい。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−２９２５４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで、合理的な信頼性の範囲内でシステム品質を評価するために、配信ネットワーク内の種々の配信ポイントにてビデオ・イメージ・シーケンスのにじみ又はシャープネスを評価するのに放送局が使用できる検出装置又は方法が望まれている。
【課題を解決するための手段】
【０００８】
本発明の態様は、次の通りである。
（１）イメージのにじみを求める検出器であって；入力イメージ内の高速エッジを検出し、複数の高速エッジ・フィルタ出力を発生する第１組のエッジ・フィルタと；上記入力イメージ内の低速エッジを検出し、複数の低速エッジ・フィルタ出力を発生する第２組のエッジ・フィルタと；上記複数の高速エッジ・フィルタ出力を組合せて、高速エッジ・フィルタ出力配列を生成する手段と；上記複数の低速エッジ・フィルタ出力を組合せて、低速エッジ・フィルタ出力配列を生成する手段と； 上記高速エッジ・フィルタ出力配列及び上記低速エッジ・フィルタ出力配列を別々にデシメーションして、デシメーションされた高速エッジ・フィルタ出力配列及びデシメーションされた低速エッジ・フィルタ出力配列を生成する手段と；上記デシメーションされた高速エッジ・フィルタ出力配列及び上記デシメーションされた低速エッジ・フィルタ出力配列を処理して、上記入力イメージのにじみの尺度としてローカル化された最大シャープネス値を発生する手段とを具えたイメージにじみ検出器。
（２）上記第１組のエッジ・フィルタ及び第２組のエッジ・フィルタの各々は；上記入力イメージを入力とし、水平フィルタ出力を発生する水平エッジ・フィルタと；上記入力イメージを入力とし、垂直フィルタ出力を発生する垂直エッジ・フィルタと；上記入力イメージを入力とし、第１対角フィルタ出力を発生する第１対角エッジ・フィルタと；該第１対角エッジ・フィルタと垂直であり、上記入力イメージを入力とし、第２対角フィルタ出力を発生する第２対角エッジ・フィルタとを具えた態様１の検出器。
（３）上記エッジ・フィルタの各々は、主要方向に沿ったバンドパス・フィルタ特性と、上記主要方向に直角に沿ったロウパス・フィルタ特性とを有するフィルタを具え；上記第１組のエッジ・フィルタのバンドパス周波数数が上記第２組のエッジ・フィルタのバンドパス周波数と重なる態様２の検出器。
（４）上記エッジ・フィルタの各々は、上記主要方向に沿った上記バンドパス特性及び上記直角方向に沿ったロウパス・フィルタ特性を定める０、１及び２のフィルタ・カーネルを有するフィルタを具える態様３の検出器。
（５）上記高速エッジ・フィルタ出力を組合せる手段と上記低速エッジ・フィルタ出力を組合せる手段との各々は；上記水平エッジ・フィルタ出力を上記垂直エッジ・フィルタ出力と組合せて、第１エッジ・フィルタ加算出力を発生する第１加算ブロックと；上記第１対角エッジ・フィルタ出力を上記第２対角エッジ・フィルタ出力と組合せて、第２エッジ・フィルタ加算出力を発生する第２加算ブロックと；上記第１エッジ・フィルタ加算出力及び上記第２エッジ・フィルタ加算出力の各々を重み付けして、重み付けされた加算エッジ・フィルタ出力の夫々を発生する手段と；上記重み付けされた加算エッジ・フィルタ出力の夫々を組合せして、上記高速エッジ配列及び上記低速エッジ配列を夫々発生する手段とを具えた態様２の検出器。
（６）上記デシメーション手段は；各エッジ・フィルタ配列を入力として有し、濾波されたエッジ・フィルタ配列を夫々生成し、上記高速エッジ・フィルタ配列及び上記低速エッジ・フィルタ配列の各々に対するロウパス・フィルタと；上記濾波されたエッジ・フィルタ配列の各々をデシメーションして、デシメーションされたエッジ・フィルタ配列を夫々発生するデシメータとを具えた態様１の検出器。
（７）上記デシメーション手段は、上記ロウパス・フィルタの各々に入力する前に、上記高速エッジ・フィルタ配列及び上記低速エッジ・フィルタ配列の各々のエッジをクロップするクロップ・ブロックを更に具える態様６の検出器。
（８）上記処理手段は；上記デシメーションされた高速エッジ・フィルタ配列及び上記デシメーションされた低速エッジ・フィルタ配列を組合せて、差フィルタ配列を生成する手段と；上記差フィルタ配列及び上記デシメーションされた高速エッジ・フィルタ配列の間の比を求め、上記ローカル化された最大シャープネス値を発生する手段を具えた態様１の検出器。
（９）上記比を求める手段は；上記デシメーションされた高速エッジ・フィルタ配列及び上記差フィルタ配列の最大を求める手段と；上記最大の差フィルタ配列を上記最大の高速エッジ・フィルタ配列で除算して、上記ローカル化最大シャープネス値を発生する手段とを具えた態様８の検出器。
（１０）上記比を求める手段は、上記除算手段からの出力をシャープネス係数で乗算して、上記ローカル化最大シャープネス値を発生する手段を更に具えた態様９の検出器。
（１１）上記比を求める手段は、上記乗算手段からの出力の対数を求めて、上記ローカル化最大シャープネス値を無次元の値として発生する手段を更に具えた態様１０の検出器。
（１２）上記第１組のエッジ・フィルタ及び上記第２組のエッジ・フィルタの各々の上記水平及び垂直エッジ・フィルタ出力をディスエーブルして、上記１組のエッジ・フィルタ及び上記第２組のエッジ・フィルタからの上記エッジ・フィルタ出力が上記対角エッジ・フィルタ対の各々の上記フィルタ出力のみに反映する手段を更に具えた態様２の検出器。
（１３）上記処理手段は；上記高速エッジのデシメーションされたフィルタ出力配列及び上記低速エッジのデシメーションされたフィルタ出力配列を入力とし、差フィルタ出力配列を発生する差ブロックと；上記差フィルタ配列からシャープネス比ローカル化マーカを発生して、上記入力イメージに重ね合わせて、上記入力イメージ内のどこに最もシャープなエッジが生じるかを示す手段とを具えた態様１の検出器。
（１４）上記発生手段は；上記差フィルタ出力配列及び上記シャープネス比を入力とし、しきい値を出力とするしきい値発生器と；上記差フィルタ出力配列及び上記しきい値を入力とし、上記差フィルタ出力配列が上記しきい値を超えたときに上記ローカル化マーカを出力として発生する比較器とを具えた態様１３の検出器。
（１５）上記第１組のエッジ・フィルタ用の上記水平エッジ・フィルタ出力及び上記垂直エッジ・フィルタ出力を組合せて、第１高速エッジ・フィルタ出力配列を発生する手段と；上記第１組のエッジ・フィルタ用の上記第１対角エッジ・フィルタ出力及び上記第２対角エッジ・フィルタ出力を組合せて、第２高速エッジ・フィルタ出力配列を発生する手段と；上記第１高速エッジ・フィルタ出力配列及び上記第２高速エッジ・フィルタ出力配列をデシメーションして、デシメーションされた第１及び第２の高速エッジ・フィルタ出力配列を発生する手段と；上記第１及び第２高速エッジ・フィルタの比をタイリングしきい値と比較して、上記入力イメージ内のブロック・アーティファクトを示すタイリング・フラグを発生する組合せブロックとを更に具えた態様２の検出器。
（１６）上記タイリング・フラグに応答して、上記第１組のエッジ・フィルタ及び上記第２組のエッジ・フィルタの各々の上記水平エッジ・フィルタ出力及び上記垂直エッジ・フィルタ出力をディスエーブルして、上記第１組のエッジ・フィルタ及び上記第２組のエッジ・フィルタのエッジ・フィルタ出力が上記対角エッジ・フィルタ対の各々からの上記フィルタ出力のみに反映する手段を更に具えた態様１５の検出器。
（１７）上記ローカル化最大シャープネス値をシャープネスしきい値と比較する比較ブロックと；上記シャープネスしきい値が上記ローカル化最大シャープネス値未満のときにアップ・コンバージョン・フラグを発生して、低分解能イメージから入力イメージがアップ・コンバージョンされることを示す手段とを更に具えた態様１の検出器。
【発明の効果】
【０００９】
よって、本発明は、ビデオ・イメージ・シーケンス用のローカル・シャープネス・マップによるシングル・エンドのにじみ検出のプローブ及び方法を提供できる。
【図面の簡単な説明】
【００１０】
【図１Ａ】本発明により、高速エッジ・バンドパス・フィルタのマグニチュード応答の３Ｄ等角グラフィックである。
【図１Ｂ】本発明により、高速エッジ・バンドパス・フィルタのマグニチュード応答の２Ｄ輝度グラフィックである。
【図２Ａ】本発明によるにじみ検出器のブロック図及びグラフの組合せ図である。
【図２Ｂ】本発明によるにじみ検出器のブロック図及びグラフの組合せ図である。
【図３Ａ】本発明の一実施例によるにじみ検出器のブロック図である。
【図３Ｂ】本発明の一実施例によるにじみ検出器のブロック図である。
【図４Ａ】本発明の他の実施例によるにじみ検出器のブロック図である。
【図４Ｂ】本発明の他の実施例によるにじみ検出器のブロック図である。
【図５】本発明により、シャープネス・オーバーレイ・マップを発生するにじみ検出器の一部のブロック図である。
【図６】本発明により、タイリングを検出するにじみ検出器の一部のブロック図である。
【図７】本発明により、アップ・コンバージョンを検出するにじみ検出器の一部のブロック図である。
【発明を実施するための形態】
【００１１】
イメージ・シャープネスは、イメージ内の主観的又は知覚的な細部を作る空間的方向におけるエッジの遷移幅又は「速度」に関連する。本発明では、２組のエッジ・フィルタを用いるが、１組は「高速エッジ」用であり、他の１組は「低速エッジ」用である。各組のエッジ・フィルタは、水平バンドパス・フィルタ、垂直バンドパス・フィルタ、１対の直交する対角フィルタを含み、高速エッジ・フィルタの周波数応答が低速エッジ・フィルタの周波数応答に重なる。イメージを各フィルタに入力し、出力絶対値を重み係数と組合せて、低速エッジ重み付け和（重み付けした和）と高速エッジ重み付け和を発生する。各重み付け和をデシメーションして、低速エッジのデシメーションされた配列と、高速エッジのデシメーションされた配列とを発生する。適切な係数で重み付けされた高速エッジのデシメーションされた配列からの最大値とデシメーションされた配列との間の最大差値の比が、ローカル化された（局部的）最大シャープネス値を発生し、その負の対数がシャープネスの逆数として無次元（dimensionless）にじみ値を発生する。
【００１２】
デシメーションされた配列の間の最大差値を他の重み係数で乗算した値を、デシメーションされた配列の間の差値と比較して、シャープネス・オーバーレイ・マップを発生する。このシャープネス・オーバーレイ・マップを用いて、オリジナルのモノクロ・イメージ又はフィールド／フレームにカラーによりマークを付けて、にじみ値を決定するのに用いる領域を指示する。オリジナルのイメージにない水平及び垂直のブロッキネス（blockiness）アーティファクトを有するイメージに対しても、にじみ検出のために、水平及び垂直のフィルタ出力をディスエーブルする。代わりに、にじみから分離したブロッキネス・アーティファクトを検出するために、対角フィルタを用いることなく１組の高速エッジ・フィルタを用い、水平及び垂直の絶対値フィルタ出力を組合せてデシメーションし、対角絶対フィルタ出力も組合せてデシメーションする。デシメーションされた配列の比をしきい値と比較して、ブロッキネス・アーティファクトが生じた時にタイリング・フラグを発生する。このフラグを用いて、にじみ測定に適応するように水平及び垂直のフィルタをディスエーブルする。最後に、ローカルのシャープネス最大値、又はローカル化最大シャープネス値（logLMS値）の対数をシャープネスしきい値と比較して、logLMS値がある期間だけシャープネスしきい値未満ならば、アップ・コンバージョン・フラグを設定して、イメージが低分解能イメージからのアップ・コンバージョンであることを示す。
【００１３】
本発明の目的、利点及び新規な特徴は、添付図を参照した以下の詳細な説明から明らかになろう。
【実施例】
【００１４】
本発明に用いる基本的な概念は、イメージのシャープネスが、イメージの主観的又は知覚的細部を作るオブジェクトのエッジの空間方向での遷移幅又は「速度」に関連することである。にじんだ又はソフトなイメージは、イメージ・オブジェクトを定義するエッジを依然含んでいるが、１つ以上の空間方向にてより多いピクセルの範囲の比較的長いエッジ遷移である。長いエッジ遷移の原因は、甘い焦点（ぼけた表示）、イメージ捕捉期間中の動きにじみ、イメージ圧縮又はノイズ低減濾波、又はＨＤ＿ＣＯＤＥＣによる圧縮ディ・ブロッキング濾波である。低い空間周波数（低速エッジ＝にじんだエッジ）に対する高い空間周波数（高速エッジ＝シャープなエッジ）の正規化された比を発生する方法で、フィールド／フレームのシーケンスでのイメージ・オブジェクトのエッジ幅又はエッジ速度の検出を行う。所定のイメージ・ピクセル分解能に対して、比較的ソフトに又はにじんで現れるイメージが、ピクセル・フォーマットにて最もシャープなイメージに対してよりも、低周波数に対して高周波数の低い比を有すると仮定する。よって、イメージのコントラスト、サイズ、及び好ましくはノイズから独立して基準のないにじみ値を生成し、適切なスケーリング及び重み付けにより、完全な分解能のイメージ又は完全なピクセル分解能のイメージ・シーケンス・フレームに比較して、イメージのソフトさ又はにじみの主観的な評価に大雑把に一致させる。
【００１５】
最大の回数でなくても多くの回数にて、イメージ及びイメージ・シーケンスは、フィールド／フレームを含んでおり、イメージ領域の小さな部分のみがシャープで、イメージ領域の残りがにじんでいる。にじんだ部分は、芸術的な理由により使用できるし、又は、カメラ光学の制限に帰するかもしれない。これらの場合、最大のシャープネス又は最小のにじみの値を用いて、イメージのフィールド／フレームを評価し、芸術的素材よりも劣化のイメージ処理に一層関連するイメージに、にじみ値を割り当てることが好ましい。しかし、基準イメージなしに、高いにじみ値（低いシャープネス）のイメージは、イメージ圧縮などの処理にて劣化したものか否か、又は、芸術的な理由により全体のイメージ領域にわたってソフト又はにじんだ素材を有するオリジナルのイメージ又はフィールド／フレーム・シーケンスの理想的な再生であるか否かを伝えることができない。
【００１６】
本発明は、２組の２次元（２Ｄ）バンドパス・フィルタ（ＢＰＦ）を用いる。第１組は、「高速エッジ処理」検出フィルタを形成するフィルタの組合せであり、第２組は、「低速エッジ処理」検出フィルタを形成するフィルタの組合せである。これら２つのフィルタ組合せの各々は、同じイメージ又はビデオ・フィールド／フレームを処理又は濾波し、その出力の各々は、独立した水平、垂直及び対角のエッジ・フィルタの絶対値の重み付けされた和である。これらフィルタは、同じ入力イメージ又はビデオ・フィールド／フレームを全て独立して処理する。選択された重み付け係数は、加重における各フィルタ出力を夫々スケーリング（縮尺）し、出力加算からの濾波を選択解除するためにゼロ値の重み付けを含んでもよい。
【００１７】
各組合せの各フィルタは、好ましくは、イメージ又はビデオ・フィールド／フレームを５×５ピクセルの如き小さなカーネルとのコンボリューションである。このカーネルは、ほぼ０、１又は２を含んでおり、ハードウェアでの実現の際に乗算器を必要としない。これは、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）に用いる際の高価なハードウェア・ロジックの使用を最小にする。
【００１８】
第１組のフィルタの「高速エッジ」ＢＰＦ周波数応答は、好ましくは、対応する第２組のフィルタの「低速エッジ」ＢＰＦ周波数応答と重なるようになっている。この方法において、にじみ検出の最良の範囲にとって、各組の最適な重なり及びフィルタ利得は、非常に低い周波数成分のみを含む非常に低速なエッジの出力応答が、フィルタの両方の組からの出力応答と同じになるようにしたものである。すなわち、イメージが一層ソフト又はにじみならば、各組の対応するフィルタの間での応答の差が小さくなる。
【００１９】
水平、垂直及び対角のイメージ次元の選択した方向にて高速エッジ又は低速エッジの検出ができるように各フィルタ・カーネルを選択する。しかし、各フィルタ・カーネル又はインパルス応答を直交方向にてロウパス周波数にして、ノイズ感度を更に低下させ、同時に、規定した速度のエッジ検出を行う。一例を図１に示す。ここで、図１Ａは、３次元（３Ｄ）立体グラフとしての高速エッジ水平バンドパス・フィルタ２Ｄマグニチュード応答を示し、図１Ｂは、２Ｄ輝度グラフとしての同じ応答を示す。垂直空間周波数用のゼロ周波数又はＤＣ値は、グラフの中間の水平ライン上にあり、これは、両側スペクトラムを示している。同様に、グラフの中間を通る対角線が対角空間周波数用のＤＣを示すように、グラフの中間の垂直線は、水平空間周波数用のＤＣ応答を示す。図１に示すように、水平ＢＰＦは、垂直空間周波数用のロウパス・フィルタ（ＬＰＦ）であり、ＢＰＦは、水平空間周波数に対してＤＣで応答がない。
【００２０】
図２を参照する。ビデオ・イメージ・シーケンスのＹ、Ｒ、Ｇ又はＢフィールド／フレームの如き入力信号Ｉｘi,jを１組の低速エッジ・フィルタ１０及び１組の高速エッジ・フィルタ２０に入力する。フィルタの組１０及び２０の各々は、水平バンドパス／垂直ロウパス・フィルタ１２、２２と、垂直バンドパス／水平ロウパス・フィルタ１４、２４と、第１対角（対角１）バンドパス／直交ロウパス・フィルタ１６、２６と、第１対角フィルタに直交する第２対角（対角２）バンドパス／直交ロウパス・フィルタ１８、２８とを含んでいる。２つの組１０、２０におけるフィルタ１２〜１８、２２〜２８の各々に対して、２Ｄ輝度グラフのように、好ましいインパルス応答カーネル値及び関連するスペクトラム・マグニチュードを、対応するフィルタに近接して示す。低速エッジの組１０の各フィルタ１２〜１８に対して、高速エッジの組２０に対応フィルタ２２〜２８が存在し、同じバンドパス方向で広い応答を有し、低速エッジ・バンドパス・マグニチュード応答に重なる。
【００２１】
図３に示すように、フィルタ１２〜１８、２２〜２８からの出力は、絶対値ブロック３１、３３、３５、３７、４１、４３、４５、４７に夫々入力する。これらフィルタ１２〜１８、２２〜２８からの結果としての絶対値は、加算回路３２、３６、４２、４６に夫々入力して、低速エッジ・フィルタの組１０の水平バンドパス・フィルタ１２及び垂直バンドパス・フィルタ１４からの絶対値が加算され、低速エッジ・フィルタの組の対角バンドパス・フィルタ１６、１８の絶対値も加算される。高速エッジ・フィルタの組２０の水平バンドパス・フィルタ２２及び垂直バンドパス・フィルタ２４からの絶対値が加算され、高速エッジ・フィルタの組の対角バンドパス・フィルタ２６、２８の絶対値も加算される。加算回路３２、３６、４２、４６からの出力がスケーリング・ブロック３４、３８、４４、４８に夫々入力し、スケーリングされた結果がフィルタの組１０、２０の各々の追加の加算回路３９、４９にて組合されて、次の２つの配列を生成する。
IxSE[i,j] = (|IxSHE[i,j]| + |IxSVE[i,j]|)/12 + (|IxSD1E[i.j]| + |IxSD2E[i.j]|)/5
IxFE[i,j] = (|IxFHE[i,j]| + |IxFVE[i,j]|)/4 + (|IxFD1E[i,j]| + |IxFD2E[i,j]|)/3
【００２２】
フィルタの組１０、２０の各々の出力加算フィルタ３９、４９からの濾波され重み付けされた２つの加算配列の各々は、クロップ・エッジ・ブロック５２、６２により、各境界で２個のピクセルで好ましくはクロップされて、境界における２Ｄ濾波エッジ効果を除去する。各重み付けされた加算配列は、一般的な又は典型的な２ＤのＬＰＦ５４、６４により処理されて、イメージのサイズを縮小する期間のエリアシングを緩和し、デシメーション・ブロック５６、６６により、水平方向、垂直方向、水平及び垂直の両方の方向のいずれかで、減少したサイズの２Ｄ配列IxSEd[m,n]及びIxFEd[m,n]にデシメーションする。水平及び垂直の両方のデシメーションの典型的なデシメーション値Ｄは、１６であり、各配列のサイズを係数２５６だけ減らす。ＨＤビデオの如き高いピクセル密度に対して、３２のデシメーション値が好ましく、各配列のサイズを係数１０２４で減らす。水平及び垂直のデシメーション係数が同じならば、ｍ及びｎの両方のレンジは、ｉ及びｊのレンジの１／Ｄである。
【００２３】
縮小されたサイズの配列IxSEd[m,n]の１つは、ローカル化された低速エッジ・マッピングを示し、他の配列IxFEd[m,n]は、オリジナル・イメージ又はフィールド／フレームのローカル化された高速エッジ・マッピングを示す。これら２つの配列をオリジナル・イメージ又はフィールド／フレームよりも遙かに小さくデシメーションするので、これらは、典型的には、高速ソフトウェア又はハードウェアを必要としないでソフトウェア処理できるほど充分に小さい。
【００２４】
デシメーションされた配列を、好ましくはソフトウェア・アプローチにより処理して、対数の重み付けされたローカル化最大シャープネス（ＬＭＳ: localized maximum sharpness）を検出する。delta[m,n]は、差ブロック７０の出力であり、この差ブロック７０には、デシメーションされた配列が入力される。差ブロック７０からの出力は、最大値ブロック７２に入力し、高速エッジのデシメーションされた配列は、他の最大値ブロック７４に入力する。次に、最大値は、除算器７６に入力し、乗算器７８によってスケール係数ＳＦにより乗算され、０ｄＢ又は１のＬＭＳ値に設定される。その結果は、ＬＭＳ値である。このＬＭＳ値は、次に、対数ブロック７９に入力し、０から無限（inf）ｄＢまでのレンジ内の無次元値としてのＬＭＳ出力８０を発生する。この結果は、次式で示せる。
delta[m.n] = IxFEd[m,n] - IxSEd[m,n]
LMS = SF * max(delta[m,n])/max(IxFEd[m,n])
LogLMS = 10*log(LMS) （dBによる）
【００２５】
このLogLMS計算は、負の値を戻し、０から−無限（-inf）ｄＢのレンジとなる。これは、より負の値の関数としてシャープネスが劣化することを示す。増加する大きな正の値としてにじみが増えるのを示すために、符号を単に外し、ローカル化にじみの尺度をＬＭＳの逆数（負の対数）にする。
【００２６】
LogLMSは、ｄＢで無次元値を提供するが、１０以外の値によるlog(LMS)のスケーリングは、有用であり、一層意味のある数値を生成し、主観的な評価に良好に相関する好ましい範囲にわたるシャープネス又はにじみを示す。
【００２７】
また、最大高速エッジ値であるmax(lxFEd[m,n])を所定しきい値と比較できるので、最大高速エッジ値がこのしきい値を超えなければ、にじみ値を計算する必要性をなくすには小さな細部をイメージが有すると判断される。この場合、そのイメージのＬＭＳ値には、無効又は無視されるというフラグが付される。
【００２８】
圧縮ビデオ・フレームでのシャープネスの損失を検出するのに伴う問題は、実際に、ＤＣＴブロック境界で水平及び垂直に整列されたシャープなエッジを生成するのであっても、過圧縮により生成されたタイリング又はブロッキネスが知覚細部の損失を起こすことである。また、イメージがソフト又はにじんで現れても、動きのシーケンスの飛び越しビデオ・フレームは、ほぼ水平に配列されたエッジを含む。このエッジは、「ジャギー又はジッパー効果」としばしば呼ばれる。この問題を避けるために、図４に示すように、ブロック８２及び９２により、水平及び垂直のフィルタの加算出力をゼロに設定することにより、対角に配列されたエッジのみにＬＭＳ検出を行う。これは、タイリング又はブロッキネスにより水平及び垂直に配置されたシャープなエッジを有する過圧縮フレームにおけるシャープネスの課題評価を実質的に減らすが、これらフレームには、典型的にはソフト又はにじみと見えるシャープネスの知覚される損失がある。また、レターボックス・ビデオは、シャープネス判断の一部とはならないシャープな水平及び垂直エッジを有する。この結果の等式は、次のようになる。
IxSE[i,j] = (|IxSD1E[I,j]| + |IxSD2E[I,j]|)/5
IxFE[I,j] = (|IxFD1E[I,j]| + |IxFD2E[I,j]|)/3
【００２９】
シャープネス・マップ・オーバーレイであるSMap[m,n]を提供して、図５に示すように、イメージ又はフィールド／フレームの各々にて、有効計算済みＬＭＳ又はＬｏｇＬＭＳ値により、プリセット・シャープネスしきい値Ｔｈを超えるローカル化された範囲を示す。ブロック７２’によるmax(delta[m,n])を乗算器８４に入力して、これを定数１−ＳＲ（％）／１００と乗算して、しきい値Ｔｈを発生する。比較器８６にてしきい値をdelta[m,n]と比較する。delta[m,n]がしきい値よりも大きければ、スイッチ８８が「１」出力を発生するように切り替わる。そうでなければ、スイッチ８８は、「０」出力を発生する。この等式は、次のようになる。
Th = (1-SR/100)*max(delta[m,n])
SMap[m,n] = if(delta[m,n] > Th, 1, 0)
なお、SR =０〜１００％の間のユーザ定義値である。
【００３０】
シャープネス・マップをオリジナルのイメージの寸法まで拡大して、SMap[m,n]に対して非ゼロ値であるブロックにイメージ１００を重ねる。これは、イメージ又はフィールド／フレームのモノクロ又はルミナンス成分の上になるマーカ・キー９０として作用し、しきい値よりも上のイメージ領域に対するカラー・マーカ又は視覚可能なマーカを提供する。これは、シャープネス・マップ値がゼロでないモノクロ・イメージの対応ピクセルの上にカラー・マーカ１００を配置することにより、検出された最もシャープなイメージ領域の印（マーク）を提供する。この結果のマークされたイメージ又はビデオ・フレーム・シーケンスは、実時間フィードバックをユーザに提供して、このイメージにて、ＬＭＳ検出は、最もシャープなエッジと、ＳＲパーセントの少ないシャープさの全てのエッジとを調べる。
【００３１】
イメージ又はビデオ・フレーム・シーケンスの過圧縮による過度のタイリング又はブロッキネスをイメージが含むことを示すために、図６に示すように、ローカル化されデシメーションされた高速エッジの水平及び垂直のフィルタ６６’から、ローカル化されデシメーションされた高速エッジの対角フィルタ６６''までの、ブロック１０２、１０４の最大出力の比をブロック１０６にて求める。ブロック１０４で最大出力を求める前に、ブロック１１０にて、デシメーションされた高速エッジ対角フィルタ６６”の出力を定数と乗算する。次の等式は、図６での実施を示す。
HV2Diag = max(Ix_FHVd[m,n])/(1.8*max(Ix_D1D2d[m,n]))
If(HV2Diag > TL) then TF = 1, else TF = 0
【００３２】
計算された比であるHV2Diagは、典型的には、単位値（１）に近い。イメージが過度のタイリングを有することを示すようにタイリング・フラグＴＦを設定することにより比較器１０８が判断するように、その比が所定のタイリングしきい値レベルＴＬを超えるとき、対角に対する水平及び垂直エッジの超過が検出される。ＴＬの典型的な設定は、１．１である。図４を参照して上述したように、ブロック８２、９２により重み付け係数をゼロに設定して対角処理のみを可能にすることにより、水平及び垂直のフィルタをオフにするために、現れたタイリング・フラグＴＬを用いて、過圧縮の状態であることを示す。
【００３３】
図７に示すように、イメージ又はビデオ・フレーム・シーケンスがＨＤ又は比較的高分解能のフォーマットで現れると、ステップ１１２にてLogLMSを所定しきい値SD_Thと比較して、イメージ又はフレーム・シーケンスが一貫してこのしきい値よりも小さいかを判断する。なお、図７のステップ７９は、図４Ｂのブロック７９の機能である。タイマ１１４で決まる長期間、例えば、数分の間、LogLMSがしきい値未満に維持されると、低い分解能の素材からアップ・コンバージョンされる如く、アップ・コンバージョン・フラグ（UpConversionFlag）により、番組素材が示される、即ち、フラグが付される。１９８０×１０８０及び１２８０×７２０のフォーマットにおけるＨＤビデオ用のSD_Thの典型的な値は、経験的に−３に定められる。
【００３４】
出力値であるdBでのLogLMS、シャープネス・マップ・オーバーレイ、タイリング・フラグ及びアップ・コンバージョン・フラグは、ソフトウェア・ユーザ・インタフェース（ＵＩ）に表すことができる。このＵＩは、イメージのルミナンス又はＲＧＢ内容、逆圧縮ビデオ・ファイル、インターネットを介しての逆圧縮ストリーミング・ビデオ、非圧縮ベースバンド・ビデオを解析する。
【００３５】
よって、本発明は、高速エッジＢＰＦ及び低速エッジＢＰＦの対応する組合せを用いて、イメージ又はビデオ・フレーム・シーケンスを水平、垂直及び対角に濾波して、各組合せの重み付けされた加算値を計算する。さらに、本発明は、この加算をデシメーションし、処理して、ローカル化された最大シャープネス（ＬＭＳ）値をｄＢで求めることができる。
【符号の説明】
【００３６】
１０ 低速エッジ・フィルタ
１２、２２ 水平バンドパス／垂直ロウパス・フィルタ
１４、２４ 垂直バンドパス／水平ロウパス・フィルタ
１６、２６ 第１対角バンドパス／直交ロウパス・フィルタ
１８、２８ 第２対角バンドパス／直交ロウパス・フィルタ
２０ 高速エッジ・フィルタ
３１、３３、３５、３７、４１、４３、４５、４７ 絶対値ブロック
３２、３６、４２、４６ 加算回路
３４、３８、４４、４８ スケーリング・ブロック
３９、４９ 加算回路
５２、６２ クロップ・エッジ・ブロック
５４、６４ ２ＤのＬＰＦ
５６、６６ デシメーション・ブロック
７０ 差ブロック
７２、７４ 最大値ブロック
７６ 除算器
７８、８４ 乗算器
７９ 対数ブロック
８０ ＬＭＳ出力
８６、１０８ 比較器
８８ スイッチ
９０ マーカ・キー
１００ イメージ
１１４ タイマ
【技術分野】
【０００１】
本発明は、ビデオ品質測定に関し、特に、ビデオ・イメージ・シーケンスにおけるシーンの全体的なシャープネスを求めるシングル・エンドのにじみ検出に関する。
【背景技術】
【０００２】
テレビ放送局は、インターネット・プロトコル（ＩＰ）及び無線周波数（ＲＦ）放送ネットワークを介して配信されるビデオ・イメージ・シーケンスの品質に関心がある。最近の放送局は、ビデオ・イメージ・シーケンスのシャープネス（シャープさ）、即ち、にじみ（blur：ぼけ、ブラーとも言う）について関心を抱いている。あるビデオ・イメージ・シーケンスが他のビデオ・イメージ・シーケンスよりもシャープネスに欠けるという聴取者の不満がある。かかるシャープネスの欠如、即ち、にじみは、粗いピクセル化であるタイル化（タイリング）や、Ｈ．２６４圧縮符号器／復号器（ＣＯＤＥＣ）でのディブロッキング・フィルタによる細部の損失の原因となる過圧縮により生じる。なお、このディブロッキング・フィルタは、水平エッジ及び垂直エッジを除去するので、典型的には、ビデオ・イメージ・シーケンスに更なるにじみが生じる。これは、標準分解能（ＳＤ）から高分解能（ＨＤ）へのビデオ・イメージ・シーケンスへの如きビデオ・イメージ・シーケンスのアップ・コンバージョンにより生じる。ここで、エリアシングを除去するプリ・フィルタ処理は、ＨＤビデオ・イメージ・シーケンスの利用可能ピクセル分解能よりも細部が低いイメージを生成する。にじみの他の原因には、イメージ処理により典型的に生じる焦点ぼけのにじみの如きノイズ除去又は他の処理や、シャッター期間中の線形又は非線形動作によるイメージ積分による動きのにじみがある。これは、にじんだ又は曖昧なビデオ・イメージ・シーケンスという全体的な印象を与える。
【０００３】
放送局が配信するビデオは、ますますＨＤフォーマットになっている。しかし、アップ・コンバージョンされたＳＤ素材の如く生成されるＨＤフォーマットで、番組の相当量が提供される。例えば、７２０×４８０又は７２０×５７６インターレースＳＤ素材を、１９２０×１０８０インターレース・フレーム・ビデオ又は１２８０×７２０プログレッシブ・フレーム・ビデオの如き高分解能ＨＤフォーマットにアップ・コンバージョンできる。したがって、アップ・コンバージョンされたＳＤビデオ・フレーム内容の細部又はシャープネスは、ＨＤ分解能の充分な性能に達しない。すなわち、ＨＤビデオがソフトに見えるか、にじみが生じる。ＳＤビデオをアップ・コンバージョンしたようなＨＤでの番組素材を自動的に検出する手段を提供することが望まれている。
【０００４】
従来のにじみ又はソフト・イメージ（ぼけたイメージ）を検出する方法は、ノイズに対して過度に敏感であったので、イメージが既にソフト又はにじみで現れても、ビデオ・イメージ内のノイズは、関連したにじみ値を低下させる。
【０００５】
また、イメージ内には、前景及び背景のオブジェクト（対象物）の如き多くのオブジェクトや、他の特徴が存在する。かかる他の特徴は、自然に生じた又はアーティファクトによるソフト又はにじみかもしれないし、そうでないかもしれない。評価したにじみ値の信頼性を維持するためには、にじみの評価値を求めるのにイメージ内のどのオブジェクトを用いるかを判断するために、にじみ検出方法がイメージ内でどのようなオブジェクトを用いるかを判断することが望ましい。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−２９２５４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで、合理的な信頼性の範囲内でシステム品質を評価するために、配信ネットワーク内の種々の配信ポイントにてビデオ・イメージ・シーケンスのにじみ又はシャープネスを評価するのに放送局が使用できる検出装置又は方法が望まれている。
【課題を解決するための手段】
【０００８】
本発明の態様は、次の通りである。
（１）イメージのにじみを求める検出器であって；入力イメージ内の高速エッジを検出し、複数の高速エッジ・フィルタ出力を発生する第１組のエッジ・フィルタと；上記入力イメージ内の低速エッジを検出し、複数の低速エッジ・フィルタ出力を発生する第２組のエッジ・フィルタと；上記複数の高速エッジ・フィルタ出力を組合せて、高速エッジ・フィルタ出力配列を生成する手段と；上記複数の低速エッジ・フィルタ出力を組合せて、低速エッジ・フィルタ出力配列を生成する手段と； 上記高速エッジ・フィルタ出力配列及び上記低速エッジ・フィルタ出力配列を別々にデシメーションして、デシメーションされた高速エッジ・フィルタ出力配列及びデシメーションされた低速エッジ・フィルタ出力配列を生成する手段と；上記デシメーションされた高速エッジ・フィルタ出力配列及び上記デシメーションされた低速エッジ・フィルタ出力配列を処理して、上記入力イメージのにじみの尺度としてローカル化された最大シャープネス値を発生する手段とを具えたイメージにじみ検出器。
（２）上記第１組のエッジ・フィルタ及び第２組のエッジ・フィルタの各々は；上記入力イメージを入力とし、水平フィルタ出力を発生する水平エッジ・フィルタと；上記入力イメージを入力とし、垂直フィルタ出力を発生する垂直エッジ・フィルタと；上記入力イメージを入力とし、第１対角フィルタ出力を発生する第１対角エッジ・フィルタと；該第１対角エッジ・フィルタと垂直であり、上記入力イメージを入力とし、第２対角フィルタ出力を発生する第２対角エッジ・フィルタとを具えた態様１の検出器。
（３）上記エッジ・フィルタの各々は、主要方向に沿ったバンドパス・フィルタ特性と、上記主要方向に直角に沿ったロウパス・フィルタ特性とを有するフィルタを具え；上記第１組のエッジ・フィルタのバンドパス周波数数が上記第２組のエッジ・フィルタのバンドパス周波数と重なる態様２の検出器。
（４）上記エッジ・フィルタの各々は、上記主要方向に沿った上記バンドパス特性及び上記直角方向に沿ったロウパス・フィルタ特性を定める０、１及び２のフィルタ・カーネルを有するフィルタを具える態様３の検出器。
（５）上記高速エッジ・フィルタ出力を組合せる手段と上記低速エッジ・フィルタ出力を組合せる手段との各々は；上記水平エッジ・フィルタ出力を上記垂直エッジ・フィルタ出力と組合せて、第１エッジ・フィルタ加算出力を発生する第１加算ブロックと；上記第１対角エッジ・フィルタ出力を上記第２対角エッジ・フィルタ出力と組合せて、第２エッジ・フィルタ加算出力を発生する第２加算ブロックと；上記第１エッジ・フィルタ加算出力及び上記第２エッジ・フィルタ加算出力の各々を重み付けして、重み付けされた加算エッジ・フィルタ出力の夫々を発生する手段と；上記重み付けされた加算エッジ・フィルタ出力の夫々を組合せして、上記高速エッジ配列及び上記低速エッジ配列を夫々発生する手段とを具えた態様２の検出器。
（６）上記デシメーション手段は；各エッジ・フィルタ配列を入力として有し、濾波されたエッジ・フィルタ配列を夫々生成し、上記高速エッジ・フィルタ配列及び上記低速エッジ・フィルタ配列の各々に対するロウパス・フィルタと；上記濾波されたエッジ・フィルタ配列の各々をデシメーションして、デシメーションされたエッジ・フィルタ配列を夫々発生するデシメータとを具えた態様１の検出器。
（７）上記デシメーション手段は、上記ロウパス・フィルタの各々に入力する前に、上記高速エッジ・フィルタ配列及び上記低速エッジ・フィルタ配列の各々のエッジをクロップするクロップ・ブロックを更に具える態様６の検出器。
（８）上記処理手段は；上記デシメーションされた高速エッジ・フィルタ配列及び上記デシメーションされた低速エッジ・フィルタ配列を組合せて、差フィルタ配列を生成する手段と；上記差フィルタ配列及び上記デシメーションされた高速エッジ・フィルタ配列の間の比を求め、上記ローカル化された最大シャープネス値を発生する手段を具えた態様１の検出器。
（９）上記比を求める手段は；上記デシメーションされた高速エッジ・フィルタ配列及び上記差フィルタ配列の最大を求める手段と；上記最大の差フィルタ配列を上記最大の高速エッジ・フィルタ配列で除算して、上記ローカル化最大シャープネス値を発生する手段とを具えた態様８の検出器。
（１０）上記比を求める手段は、上記除算手段からの出力をシャープネス係数で乗算して、上記ローカル化最大シャープネス値を発生する手段を更に具えた態様９の検出器。
（１１）上記比を求める手段は、上記乗算手段からの出力の対数を求めて、上記ローカル化最大シャープネス値を無次元の値として発生する手段を更に具えた態様１０の検出器。
（１２）上記第１組のエッジ・フィルタ及び上記第２組のエッジ・フィルタの各々の上記水平及び垂直エッジ・フィルタ出力をディスエーブルして、上記１組のエッジ・フィルタ及び上記第２組のエッジ・フィルタからの上記エッジ・フィルタ出力が上記対角エッジ・フィルタ対の各々の上記フィルタ出力のみに反映する手段を更に具えた態様２の検出器。
（１３）上記処理手段は；上記高速エッジのデシメーションされたフィルタ出力配列及び上記低速エッジのデシメーションされたフィルタ出力配列を入力とし、差フィルタ出力配列を発生する差ブロックと；上記差フィルタ配列からシャープネス比ローカル化マーカを発生して、上記入力イメージに重ね合わせて、上記入力イメージ内のどこに最もシャープなエッジが生じるかを示す手段とを具えた態様１の検出器。
（１４）上記発生手段は；上記差フィルタ出力配列及び上記シャープネス比を入力とし、しきい値を出力とするしきい値発生器と；上記差フィルタ出力配列及び上記しきい値を入力とし、上記差フィルタ出力配列が上記しきい値を超えたときに上記ローカル化マーカを出力として発生する比較器とを具えた態様１３の検出器。
（１５）上記第１組のエッジ・フィルタ用の上記水平エッジ・フィルタ出力及び上記垂直エッジ・フィルタ出力を組合せて、第１高速エッジ・フィルタ出力配列を発生する手段と；上記第１組のエッジ・フィルタ用の上記第１対角エッジ・フィルタ出力及び上記第２対角エッジ・フィルタ出力を組合せて、第２高速エッジ・フィルタ出力配列を発生する手段と；上記第１高速エッジ・フィルタ出力配列及び上記第２高速エッジ・フィルタ出力配列をデシメーションして、デシメーションされた第１及び第２の高速エッジ・フィルタ出力配列を発生する手段と；上記第１及び第２高速エッジ・フィルタの比をタイリングしきい値と比較して、上記入力イメージ内のブロック・アーティファクトを示すタイリング・フラグを発生する組合せブロックとを更に具えた態様２の検出器。
（１６）上記タイリング・フラグに応答して、上記第１組のエッジ・フィルタ及び上記第２組のエッジ・フィルタの各々の上記水平エッジ・フィルタ出力及び上記垂直エッジ・フィルタ出力をディスエーブルして、上記第１組のエッジ・フィルタ及び上記第２組のエッジ・フィルタのエッジ・フィルタ出力が上記対角エッジ・フィルタ対の各々からの上記フィルタ出力のみに反映する手段を更に具えた態様１５の検出器。
（１７）上記ローカル化最大シャープネス値をシャープネスしきい値と比較する比較ブロックと；上記シャープネスしきい値が上記ローカル化最大シャープネス値未満のときにアップ・コンバージョン・フラグを発生して、低分解能イメージから入力イメージがアップ・コンバージョンされることを示す手段とを更に具えた態様１の検出器。
【発明の効果】
【０００９】
よって、本発明は、ビデオ・イメージ・シーケンス用のローカル・シャープネス・マップによるシングル・エンドのにじみ検出のプローブ及び方法を提供できる。
【図面の簡単な説明】
【００１０】
【図１Ａ】本発明により、高速エッジ・バンドパス・フィルタのマグニチュード応答の３Ｄ等角グラフィックである。
【図１Ｂ】本発明により、高速エッジ・バンドパス・フィルタのマグニチュード応答の２Ｄ輝度グラフィックである。
【図２Ａ】本発明によるにじみ検出器のブロック図及びグラフの組合せ図である。
【図２Ｂ】本発明によるにじみ検出器のブロック図及びグラフの組合せ図である。
【図３Ａ】本発明の一実施例によるにじみ検出器のブロック図である。
【図３Ｂ】本発明の一実施例によるにじみ検出器のブロック図である。
【図４Ａ】本発明の他の実施例によるにじみ検出器のブロック図である。
【図４Ｂ】本発明の他の実施例によるにじみ検出器のブロック図である。
【図５】本発明により、シャープネス・オーバーレイ・マップを発生するにじみ検出器の一部のブロック図である。
【図６】本発明により、タイリングを検出するにじみ検出器の一部のブロック図である。
【図７】本発明により、アップ・コンバージョンを検出するにじみ検出器の一部のブロック図である。
【発明を実施するための形態】
【００１１】
イメージ・シャープネスは、イメージ内の主観的又は知覚的な細部を作る空間的方向におけるエッジの遷移幅又は「速度」に関連する。本発明では、２組のエッジ・フィルタを用いるが、１組は「高速エッジ」用であり、他の１組は「低速エッジ」用である。各組のエッジ・フィルタは、水平バンドパス・フィルタ、垂直バンドパス・フィルタ、１対の直交する対角フィルタを含み、高速エッジ・フィルタの周波数応答が低速エッジ・フィルタの周波数応答に重なる。イメージを各フィルタに入力し、出力絶対値を重み係数と組合せて、低速エッジ重み付け和（重み付けした和）と高速エッジ重み付け和を発生する。各重み付け和をデシメーションして、低速エッジのデシメーションされた配列と、高速エッジのデシメーションされた配列とを発生する。適切な係数で重み付けされた高速エッジのデシメーションされた配列からの最大値とデシメーションされた配列との間の最大差値の比が、ローカル化された（局部的）最大シャープネス値を発生し、その負の対数がシャープネスの逆数として無次元（dimensionless）にじみ値を発生する。
【００１２】
デシメーションされた配列の間の最大差値を他の重み係数で乗算した値を、デシメーションされた配列の間の差値と比較して、シャープネス・オーバーレイ・マップを発生する。このシャープネス・オーバーレイ・マップを用いて、オリジナルのモノクロ・イメージ又はフィールド／フレームにカラーによりマークを付けて、にじみ値を決定するのに用いる領域を指示する。オリジナルのイメージにない水平及び垂直のブロッキネス（blockiness）アーティファクトを有するイメージに対しても、にじみ検出のために、水平及び垂直のフィルタ出力をディスエーブルする。代わりに、にじみから分離したブロッキネス・アーティファクトを検出するために、対角フィルタを用いることなく１組の高速エッジ・フィルタを用い、水平及び垂直の絶対値フィルタ出力を組合せてデシメーションし、対角絶対フィルタ出力も組合せてデシメーションする。デシメーションされた配列の比をしきい値と比較して、ブロッキネス・アーティファクトが生じた時にタイリング・フラグを発生する。このフラグを用いて、にじみ測定に適応するように水平及び垂直のフィルタをディスエーブルする。最後に、ローカルのシャープネス最大値、又はローカル化最大シャープネス値（logLMS値）の対数をシャープネスしきい値と比較して、logLMS値がある期間だけシャープネスしきい値未満ならば、アップ・コンバージョン・フラグを設定して、イメージが低分解能イメージからのアップ・コンバージョンであることを示す。
【００１３】
本発明の目的、利点及び新規な特徴は、添付図を参照した以下の詳細な説明から明らかになろう。
【実施例】
【００１４】
本発明に用いる基本的な概念は、イメージのシャープネスが、イメージの主観的又は知覚的細部を作るオブジェクトのエッジの空間方向での遷移幅又は「速度」に関連することである。にじんだ又はソフトなイメージは、イメージ・オブジェクトを定義するエッジを依然含んでいるが、１つ以上の空間方向にてより多いピクセルの範囲の比較的長いエッジ遷移である。長いエッジ遷移の原因は、甘い焦点（ぼけた表示）、イメージ捕捉期間中の動きにじみ、イメージ圧縮又はノイズ低減濾波、又はＨＤ＿ＣＯＤＥＣによる圧縮ディ・ブロッキング濾波である。低い空間周波数（低速エッジ＝にじんだエッジ）に対する高い空間周波数（高速エッジ＝シャープなエッジ）の正規化された比を発生する方法で、フィールド／フレームのシーケンスでのイメージ・オブジェクトのエッジ幅又はエッジ速度の検出を行う。所定のイメージ・ピクセル分解能に対して、比較的ソフトに又はにじんで現れるイメージが、ピクセル・フォーマットにて最もシャープなイメージに対してよりも、低周波数に対して高周波数の低い比を有すると仮定する。よって、イメージのコントラスト、サイズ、及び好ましくはノイズから独立して基準のないにじみ値を生成し、適切なスケーリング及び重み付けにより、完全な分解能のイメージ又は完全なピクセル分解能のイメージ・シーケンス・フレームに比較して、イメージのソフトさ又はにじみの主観的な評価に大雑把に一致させる。
【００１５】
最大の回数でなくても多くの回数にて、イメージ及びイメージ・シーケンスは、フィールド／フレームを含んでおり、イメージ領域の小さな部分のみがシャープで、イメージ領域の残りがにじんでいる。にじんだ部分は、芸術的な理由により使用できるし、又は、カメラ光学の制限に帰するかもしれない。これらの場合、最大のシャープネス又は最小のにじみの値を用いて、イメージのフィールド／フレームを評価し、芸術的素材よりも劣化のイメージ処理に一層関連するイメージに、にじみ値を割り当てることが好ましい。しかし、基準イメージなしに、高いにじみ値（低いシャープネス）のイメージは、イメージ圧縮などの処理にて劣化したものか否か、又は、芸術的な理由により全体のイメージ領域にわたってソフト又はにじんだ素材を有するオリジナルのイメージ又はフィールド／フレーム・シーケンスの理想的な再生であるか否かを伝えることができない。
【００１６】
本発明は、２組の２次元（２Ｄ）バンドパス・フィルタ（ＢＰＦ）を用いる。第１組は、「高速エッジ処理」検出フィルタを形成するフィルタの組合せであり、第２組は、「低速エッジ処理」検出フィルタを形成するフィルタの組合せである。これら２つのフィルタ組合せの各々は、同じイメージ又はビデオ・フィールド／フレームを処理又は濾波し、その出力の各々は、独立した水平、垂直及び対角のエッジ・フィルタの絶対値の重み付けされた和である。これらフィルタは、同じ入力イメージ又はビデオ・フィールド／フレームを全て独立して処理する。選択された重み付け係数は、加重における各フィルタ出力を夫々スケーリング（縮尺）し、出力加算からの濾波を選択解除するためにゼロ値の重み付けを含んでもよい。
【００１７】
各組合せの各フィルタは、好ましくは、イメージ又はビデオ・フィールド／フレームを５×５ピクセルの如き小さなカーネルとのコンボリューションである。このカーネルは、ほぼ０、１又は２を含んでおり、ハードウェアでの実現の際に乗算器を必要としない。これは、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）に用いる際の高価なハードウェア・ロジックの使用を最小にする。
【００１８】
第１組のフィルタの「高速エッジ」ＢＰＦ周波数応答は、好ましくは、対応する第２組のフィルタの「低速エッジ」ＢＰＦ周波数応答と重なるようになっている。この方法において、にじみ検出の最良の範囲にとって、各組の最適な重なり及びフィルタ利得は、非常に低い周波数成分のみを含む非常に低速なエッジの出力応答が、フィルタの両方の組からの出力応答と同じになるようにしたものである。すなわち、イメージが一層ソフト又はにじみならば、各組の対応するフィルタの間での応答の差が小さくなる。
【００１９】
水平、垂直及び対角のイメージ次元の選択した方向にて高速エッジ又は低速エッジの検出ができるように各フィルタ・カーネルを選択する。しかし、各フィルタ・カーネル又はインパルス応答を直交方向にてロウパス周波数にして、ノイズ感度を更に低下させ、同時に、規定した速度のエッジ検出を行う。一例を図１に示す。ここで、図１Ａは、３次元（３Ｄ）立体グラフとしての高速エッジ水平バンドパス・フィルタ２Ｄマグニチュード応答を示し、図１Ｂは、２Ｄ輝度グラフとしての同じ応答を示す。垂直空間周波数用のゼロ周波数又はＤＣ値は、グラフの中間の水平ライン上にあり、これは、両側スペクトラムを示している。同様に、グラフの中間を通る対角線が対角空間周波数用のＤＣを示すように、グラフの中間の垂直線は、水平空間周波数用のＤＣ応答を示す。図１に示すように、水平ＢＰＦは、垂直空間周波数用のロウパス・フィルタ（ＬＰＦ）であり、ＢＰＦは、水平空間周波数に対してＤＣで応答がない。
【００２０】
図２を参照する。ビデオ・イメージ・シーケンスのＹ、Ｒ、Ｇ又はＢフィールド／フレームの如き入力信号Ｉｘi,jを１組の低速エッジ・フィルタ１０及び１組の高速エッジ・フィルタ２０に入力する。フィルタの組１０及び２０の各々は、水平バンドパス／垂直ロウパス・フィルタ１２、２２と、垂直バンドパス／水平ロウパス・フィルタ１４、２４と、第１対角（対角１）バンドパス／直交ロウパス・フィルタ１６、２６と、第１対角フィルタに直交する第２対角（対角２）バンドパス／直交ロウパス・フィルタ１８、２８とを含んでいる。２つの組１０、２０におけるフィルタ１２〜１８、２２〜２８の各々に対して、２Ｄ輝度グラフのように、好ましいインパルス応答カーネル値及び関連するスペクトラム・マグニチュードを、対応するフィルタに近接して示す。低速エッジの組１０の各フィルタ１２〜１８に対して、高速エッジの組２０に対応フィルタ２２〜２８が存在し、同じバンドパス方向で広い応答を有し、低速エッジ・バンドパス・マグニチュード応答に重なる。
【００２１】
図３に示すように、フィルタ１２〜１８、２２〜２８からの出力は、絶対値ブロック３１、３３、３５、３７、４１、４３、４５、４７に夫々入力する。これらフィルタ１２〜１８、２２〜２８からの結果としての絶対値は、加算回路３２、３６、４２、４６に夫々入力して、低速エッジ・フィルタの組１０の水平バンドパス・フィルタ１２及び垂直バンドパス・フィルタ１４からの絶対値が加算され、低速エッジ・フィルタの組の対角バンドパス・フィルタ１６、１８の絶対値も加算される。高速エッジ・フィルタの組２０の水平バンドパス・フィルタ２２及び垂直バンドパス・フィルタ２４からの絶対値が加算され、高速エッジ・フィルタの組の対角バンドパス・フィルタ２６、２８の絶対値も加算される。加算回路３２、３６、４２、４６からの出力がスケーリング・ブロック３４、３８、４４、４８に夫々入力し、スケーリングされた結果がフィルタの組１０、２０の各々の追加の加算回路３９、４９にて組合されて、次の２つの配列を生成する。
IxSE[i,j] = (|IxSHE[i,j]| + |IxSVE[i,j]|)/12 + (|IxSD1E[i.j]| + |IxSD2E[i.j]|)/5
IxFE[i,j] = (|IxFHE[i,j]| + |IxFVE[i,j]|)/4 + (|IxFD1E[i,j]| + |IxFD2E[i,j]|)/3
【００２２】
フィルタの組１０、２０の各々の出力加算フィルタ３９、４９からの濾波され重み付けされた２つの加算配列の各々は、クロップ・エッジ・ブロック５２、６２により、各境界で２個のピクセルで好ましくはクロップされて、境界における２Ｄ濾波エッジ効果を除去する。各重み付けされた加算配列は、一般的な又は典型的な２ＤのＬＰＦ５４、６４により処理されて、イメージのサイズを縮小する期間のエリアシングを緩和し、デシメーション・ブロック５６、６６により、水平方向、垂直方向、水平及び垂直の両方の方向のいずれかで、減少したサイズの２Ｄ配列IxSEd[m,n]及びIxFEd[m,n]にデシメーションする。水平及び垂直の両方のデシメーションの典型的なデシメーション値Ｄは、１６であり、各配列のサイズを係数２５６だけ減らす。ＨＤビデオの如き高いピクセル密度に対して、３２のデシメーション値が好ましく、各配列のサイズを係数１０２４で減らす。水平及び垂直のデシメーション係数が同じならば、ｍ及びｎの両方のレンジは、ｉ及びｊのレンジの１／Ｄである。
【００２３】
縮小されたサイズの配列IxSEd[m,n]の１つは、ローカル化された低速エッジ・マッピングを示し、他の配列IxFEd[m,n]は、オリジナル・イメージ又はフィールド／フレームのローカル化された高速エッジ・マッピングを示す。これら２つの配列をオリジナル・イメージ又はフィールド／フレームよりも遙かに小さくデシメーションするので、これらは、典型的には、高速ソフトウェア又はハードウェアを必要としないでソフトウェア処理できるほど充分に小さい。
【００２４】
デシメーションされた配列を、好ましくはソフトウェア・アプローチにより処理して、対数の重み付けされたローカル化最大シャープネス（ＬＭＳ: localized maximum sharpness）を検出する。delta[m,n]は、差ブロック７０の出力であり、この差ブロック７０には、デシメーションされた配列が入力される。差ブロック７０からの出力は、最大値ブロック７２に入力し、高速エッジのデシメーションされた配列は、他の最大値ブロック７４に入力する。次に、最大値は、除算器７６に入力し、乗算器７８によってスケール係数ＳＦにより乗算され、０ｄＢ又は１のＬＭＳ値に設定される。その結果は、ＬＭＳ値である。このＬＭＳ値は、次に、対数ブロック７９に入力し、０から無限（inf）ｄＢまでのレンジ内の無次元値としてのＬＭＳ出力８０を発生する。この結果は、次式で示せる。
delta[m.n] = IxFEd[m,n] - IxSEd[m,n]
LMS = SF * max(delta[m,n])/max(IxFEd[m,n])
LogLMS = 10*log(LMS) （dBによる）
【００２５】
このLogLMS計算は、負の値を戻し、０から−無限（-inf）ｄＢのレンジとなる。これは、より負の値の関数としてシャープネスが劣化することを示す。増加する大きな正の値としてにじみが増えるのを示すために、符号を単に外し、ローカル化にじみの尺度をＬＭＳの逆数（負の対数）にする。
【００２６】
LogLMSは、ｄＢで無次元値を提供するが、１０以外の値によるlog(LMS)のスケーリングは、有用であり、一層意味のある数値を生成し、主観的な評価に良好に相関する好ましい範囲にわたるシャープネス又はにじみを示す。
【００２７】
また、最大高速エッジ値であるmax(lxFEd[m,n])を所定しきい値と比較できるので、最大高速エッジ値がこのしきい値を超えなければ、にじみ値を計算する必要性をなくすには小さな細部をイメージが有すると判断される。この場合、そのイメージのＬＭＳ値には、無効又は無視されるというフラグが付される。
【００２８】
圧縮ビデオ・フレームでのシャープネスの損失を検出するのに伴う問題は、実際に、ＤＣＴブロック境界で水平及び垂直に整列されたシャープなエッジを生成するのであっても、過圧縮により生成されたタイリング又はブロッキネスが知覚細部の損失を起こすことである。また、イメージがソフト又はにじんで現れても、動きのシーケンスの飛び越しビデオ・フレームは、ほぼ水平に配列されたエッジを含む。このエッジは、「ジャギー又はジッパー効果」としばしば呼ばれる。この問題を避けるために、図４に示すように、ブロック８２及び９２により、水平及び垂直のフィルタの加算出力をゼロに設定することにより、対角に配列されたエッジのみにＬＭＳ検出を行う。これは、タイリング又はブロッキネスにより水平及び垂直に配置されたシャープなエッジを有する過圧縮フレームにおけるシャープネスの課題評価を実質的に減らすが、これらフレームには、典型的にはソフト又はにじみと見えるシャープネスの知覚される損失がある。また、レターボックス・ビデオは、シャープネス判断の一部とはならないシャープな水平及び垂直エッジを有する。この結果の等式は、次のようになる。
IxSE[i,j] = (|IxSD1E[I,j]| + |IxSD2E[I,j]|)/5
IxFE[I,j] = (|IxFD1E[I,j]| + |IxFD2E[I,j]|)/3
【００２９】
シャープネス・マップ・オーバーレイであるSMap[m,n]を提供して、図５に示すように、イメージ又はフィールド／フレームの各々にて、有効計算済みＬＭＳ又はＬｏｇＬＭＳ値により、プリセット・シャープネスしきい値Ｔｈを超えるローカル化された範囲を示す。ブロック７２’によるmax(delta[m,n])を乗算器８４に入力して、これを定数１−ＳＲ（％）／１００と乗算して、しきい値Ｔｈを発生する。比較器８６にてしきい値をdelta[m,n]と比較する。delta[m,n]がしきい値よりも大きければ、スイッチ８８が「１」出力を発生するように切り替わる。そうでなければ、スイッチ８８は、「０」出力を発生する。この等式は、次のようになる。
Th = (1-SR/100)*max(delta[m,n])
SMap[m,n] = if(delta[m,n] > Th, 1, 0)
なお、SR =０〜１００％の間のユーザ定義値である。
【００３０】
シャープネス・マップをオリジナルのイメージの寸法まで拡大して、SMap[m,n]に対して非ゼロ値であるブロックにイメージ１００を重ねる。これは、イメージ又はフィールド／フレームのモノクロ又はルミナンス成分の上になるマーカ・キー９０として作用し、しきい値よりも上のイメージ領域に対するカラー・マーカ又は視覚可能なマーカを提供する。これは、シャープネス・マップ値がゼロでないモノクロ・イメージの対応ピクセルの上にカラー・マーカ１００を配置することにより、検出された最もシャープなイメージ領域の印（マーク）を提供する。この結果のマークされたイメージ又はビデオ・フレーム・シーケンスは、実時間フィードバックをユーザに提供して、このイメージにて、ＬＭＳ検出は、最もシャープなエッジと、ＳＲパーセントの少ないシャープさの全てのエッジとを調べる。
【００３１】
イメージ又はビデオ・フレーム・シーケンスの過圧縮による過度のタイリング又はブロッキネスをイメージが含むことを示すために、図６に示すように、ローカル化されデシメーションされた高速エッジの水平及び垂直のフィルタ６６’から、ローカル化されデシメーションされた高速エッジの対角フィルタ６６''までの、ブロック１０２、１０４の最大出力の比をブロック１０６にて求める。ブロック１０４で最大出力を求める前に、ブロック１１０にて、デシメーションされた高速エッジ対角フィルタ６６”の出力を定数と乗算する。次の等式は、図６での実施を示す。
HV2Diag = max(Ix_FHVd[m,n])/(1.8*max(Ix_D1D2d[m,n]))
If(HV2Diag > TL) then TF = 1, else TF = 0
【００３２】
計算された比であるHV2Diagは、典型的には、単位値（１）に近い。イメージが過度のタイリングを有することを示すようにタイリング・フラグＴＦを設定することにより比較器１０８が判断するように、その比が所定のタイリングしきい値レベルＴＬを超えるとき、対角に対する水平及び垂直エッジの超過が検出される。ＴＬの典型的な設定は、１．１である。図４を参照して上述したように、ブロック８２、９２により重み付け係数をゼロに設定して対角処理のみを可能にすることにより、水平及び垂直のフィルタをオフにするために、現れたタイリング・フラグＴＬを用いて、過圧縮の状態であることを示す。
【００３３】
図７に示すように、イメージ又はビデオ・フレーム・シーケンスがＨＤ又は比較的高分解能のフォーマットで現れると、ステップ１１２にてLogLMSを所定しきい値SD_Thと比較して、イメージ又はフレーム・シーケンスが一貫してこのしきい値よりも小さいかを判断する。なお、図７のステップ７９は、図４Ｂのブロック７９の機能である。タイマ１１４で決まる長期間、例えば、数分の間、LogLMSがしきい値未満に維持されると、低い分解能の素材からアップ・コンバージョンされる如く、アップ・コンバージョン・フラグ（UpConversionFlag）により、番組素材が示される、即ち、フラグが付される。１９８０×１０８０及び１２８０×７２０のフォーマットにおけるＨＤビデオ用のSD_Thの典型的な値は、経験的に−３に定められる。
【００３４】
出力値であるdBでのLogLMS、シャープネス・マップ・オーバーレイ、タイリング・フラグ及びアップ・コンバージョン・フラグは、ソフトウェア・ユーザ・インタフェース（ＵＩ）に表すことができる。このＵＩは、イメージのルミナンス又はＲＧＢ内容、逆圧縮ビデオ・ファイル、インターネットを介しての逆圧縮ストリーミング・ビデオ、非圧縮ベースバンド・ビデオを解析する。
【００３５】
よって、本発明は、高速エッジＢＰＦ及び低速エッジＢＰＦの対応する組合せを用いて、イメージ又はビデオ・フレーム・シーケンスを水平、垂直及び対角に濾波して、各組合せの重み付けされた加算値を計算する。さらに、本発明は、この加算をデシメーションし、処理して、ローカル化された最大シャープネス（ＬＭＳ）値をｄＢで求めることができる。
【符号の説明】
【００３６】
１０ 低速エッジ・フィルタ
１２、２２ 水平バンドパス／垂直ロウパス・フィルタ
１４、２４ 垂直バンドパス／水平ロウパス・フィルタ
１６、２６ 第１対角バンドパス／直交ロウパス・フィルタ
１８、２８ 第２対角バンドパス／直交ロウパス・フィルタ
２０ 高速エッジ・フィルタ
３１、３３、３５、３７、４１、４３、４５、４７ 絶対値ブロック
３２、３６、４２、４６ 加算回路
３４、３８、４４、４８ スケーリング・ブロック
３９、４９ 加算回路
５２、６２ クロップ・エッジ・ブロック
５４、６４ ２ＤのＬＰＦ
５６、６６ デシメーション・ブロック
７０ 差ブロック
７２、７４ 最大値ブロック
７６ 除算器
７８、８４ 乗算器
７９ 対数ブロック
８０ ＬＭＳ出力
８６、１０８ 比較器
８８ スイッチ
９０ マーカ・キー
１００ イメージ
１１４ タイマ
【特許請求の範囲】
【請求項１】
イメージのにじみを求める検出器であって、
入力イメージ内の高速エッジを検出し、複数の高速エッジ・フィルタ出力を発生する第１組のエッジ・フィルタと、
上記入力イメージ内の低速エッジを検出し、複数の低速エッジ・フィルタ出力を発生する第２組のエッジ・フィルタと、
上記複数の高速エッジ・フィルタ出力を組合せて、高速エッジ・フィルタ出力配列を生成する手段と、
上記複数の低速エッジ・フィルタ出力を組合せて、低速エッジ・フィルタ出力配列を生成する手段と、
上記高速エッジ・フィルタ出力配列及び上記低速エッジ・フィルタ出力配列を別々にデシメーションして、デシメーションされた高速エッジ・フィルタ出力配列及びデシメーションされた低速エッジ・フィルタ出力配列を生成する手段と、
上記デシメーションされた高速エッジ・フィルタ出力配列及び上記デシメーションされた低速エッジ・フィルタ出力配列を処理して、上記入力イメージのにじみの尺度としてローカル化された最大シャープネス値を発生する手段と
を具えたイメージにじみ検出器。
【請求項１】
イメージのにじみを求める検出器であって、
入力イメージ内の高速エッジを検出し、複数の高速エッジ・フィルタ出力を発生する第１組のエッジ・フィルタと、
上記入力イメージ内の低速エッジを検出し、複数の低速エッジ・フィルタ出力を発生する第２組のエッジ・フィルタと、
上記複数の高速エッジ・フィルタ出力を組合せて、高速エッジ・フィルタ出力配列を生成する手段と、
上記複数の低速エッジ・フィルタ出力を組合せて、低速エッジ・フィルタ出力配列を生成する手段と、
上記高速エッジ・フィルタ出力配列及び上記低速エッジ・フィルタ出力配列を別々にデシメーションして、デシメーションされた高速エッジ・フィルタ出力配列及びデシメーションされた低速エッジ・フィルタ出力配列を生成する手段と、
上記デシメーションされた高速エッジ・フィルタ出力配列及び上記デシメーションされた低速エッジ・フィルタ出力配列を処理して、上記入力イメージのにじみの尺度としてローカル化された最大シャープネス値を発生する手段と
を具えたイメージにじみ検出器。
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図１Ａ】
【図１Ｂ】
【図２Ａ】
【図２Ｂ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図１Ａ】
【図１Ｂ】
【図２Ａ】
【図２Ｂ】
【公開番号】特開２０１２−１３４９６４（Ｐ２０１２−１３４９６４Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１１−２６７８６７（Ｐ２０１１−２６７８６７）
【出願日】平成２３年１２月７日（２０１１．１２．７）
【出願人】（３９１００２３４０）テクトロニクス・インコーポレイテッド (234)
【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２３年１２月７日（２０１１．１２．７）
【出願人】（３９１００２３４０）テクトロニクス・インコーポレイテッド (234)
【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．
【Ｆターム（参考）】
[ Back to top ]