映像ノイズ検知装置
【課題】映像ノイズの検出を自動で行うことができる映像ノイズ検知装置を提供する。
【解決手段】映像ノイズ検知装置１００は、入力された映像信号を構成する任意のフレームである入力フレーム映像、当該入力フレーム映像より所定のフレーム数だけ前のフレームである第１のフレーム映像、及び、当該第１のフレーム映像より所定のフレーム数だけ前のフレームである第２のフレーム映像を出力するフレーム出力部としてのメモリコントローラ１０１と、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像に基づいてノイズ判定情報を算出する判定情報算出部１０４と、この判定情報算出部１０４で算出されたノイズ判定情報に基づいて映像信号に含まれるノイズを判定するノイズ判定部１０５と、を有する。
【解決手段】映像ノイズ検知装置１００は、入力された映像信号を構成する任意のフレームである入力フレーム映像、当該入力フレーム映像より所定のフレーム数だけ前のフレームである第１のフレーム映像、及び、当該第１のフレーム映像より所定のフレーム数だけ前のフレームである第２のフレーム映像を出力するフレーム出力部としてのメモリコントローラ１０１と、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像に基づいてノイズ判定情報を算出する判定情報算出部１０４と、この判定情報算出部１０４で算出されたノイズ判定情報に基づいて映像信号に含まれるノイズを判定するノイズ判定部１０５と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像ノイズ検知装置に関する。
【背景技術】
【０００２】
現在の映像編集作業は主にテープ素材を一旦編集機材へ映像データとして転送し、編集を行い、再度テープへ出力するといったワークフローにより行われている。このような編集作業においては、映像データの転送時に、映像データではないノイズが入り込んでしまうことがあり、その確認は人の目視によって行われている。また、放送においては映像データの転送時に、放送機材をいくつも介し、さらに伝送回線も介ししており、この転送過程の途中で同じく映像にノイズが乗ってしまうことがある。このようなノイズとしてはフリーズや、ブラックアウトなどがあり、その検知には一部自動監視装置が導入されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−０７９７５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、自動監視装置でノイズを検出する方法を用いても、細かいノイズは検知できないため、こちらもほとんどが目視で監視されているのが現状である。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、現状目視で行われている映像ノイズの検出を自動で行うことができる映像ノイズ検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するために、本発明に係る映像ノイズ検知装置は、入力された映像信号を構成する任意のフレームである入力フレーム映像、当該入力フレーム映像より所定のフレーム数だけ前のフレームである第１のフレーム映像、及び、当該第１のフレーム映像より所定のフレーム数だけ前のフレームである第２のフレーム映像を出力するフレーム出力部と、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像に基づいてノイズ判定情報を算出する判定情報算出部と、この判定情報算出部で算出されたノイズ判定情報に基づいて映像信号に含まれるノイズを判定するノイズ判定部と、を有する。
【０００７】
このような映像ノイズ検知装置において、判定情報算出部は、同一座標に設定された部分領域により、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像を走査して、当該部分領域間の部分相関を算出し、ノイズ判定部は、この部分相関に基づいてノイズを判定することが好ましい。
【０００８】
このとき、ノイズ判定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像を走査したときに、ノイズを検出した部分領域の数をカウントし、この部分領域の数が所定の閾値以上の場合にノイズとして検出することが好ましい。
【０００９】
あるいは、ノイズ判定部は、入力フレーム映像と第２のフレーム映像との間の部分相関は高く、且つ、入力フレーム映像と第１のフレーム映像との間の部分相関が低い場合に、ノイズとして検出することが好ましい。
【００１０】
あるいは、ノイズ判定部は、入力フレーム映像と第２のフレーム映像との間の部分相関が高く、且つ、入力フレーム映像と第１のフレーム映像との間の部分相関が低い場合に、予め想定されるノイズパターンと第１のフレーム映像の部分領域との相関を求め、当該相関が高い場合にノイズとして検出することが好ましい。
【００１１】
あるいは、ノイズ判定部は、入力フレーム映像と第２のフレーム映像との間の部分相関が低く、且つ、入力フレーム映像と第１のフレーム映像との間の部分相関に予め想定される特徴パターンがある場合にノイズとして検出することが好ましい。
【００１２】
あるいは、ノイズ判定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像との間の部分相関に予め想定される特徴パターンがある場合にノイズとして検出することが好ましい。
【００１３】
また、このような映像ノイズ検知装置において、判定情報算出部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像の間の全体相関を算出し、ノイズ判定部は、全体相関が所定の閾値より小さい場合に、部分相関によるノイズ判定を行わないことが好ましい。
【００１４】
また、このような映像ノイズ検知装置において、判定情報算定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像の同一座標の画素毎に当該画素の輝度値を用いて、(入力フレーム映像＋第２のフレーム映像)−(第１のフレーム映像)×２の演算を行い、ノイズ判定部は、この演算結果から予め想定されるノイズパターンを抽出してノイズ判定を行うことが好ましい。
【００１５】
また、このような映像ノイズ検知装置において、判定情報算定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像からそれぞれの特徴量を算出し、ノイズ判定部は、この特徴量を比較してノイズ判定を行うことが好ましい。
【００１６】
このとき、判定情報算定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像のうちいずれか２つの映像を選択し、それぞれの映像において、水平ライン毎にラインノイズの特徴となる垂直エッジ画素数の総和及び上下の複数の水平ラインとの関係を特徴量として算出することが好ましい。
【００１７】
あるいは、判定情報算定部は、入力フレーム映像若しくは第１のフレーム映像においてブロック状のノイズの特徴となる四角領域を検出し、入力フレーム映像若しくは第１のフレーム映像における四角領域の内部及び周辺領域と、当該映像より遅延された映像における四角領域に対応する領域の内部及び周辺領域との相関関係を特徴量として算出することが好ましい。
【００１８】
あるいは、判定情報算定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像毎にショートラインノイズの特徴である短く連続する垂直エッジを検出し、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像の間の垂直エッジの総量の変化を特徴量として算出することが好ましい。
【発明の効果】
【００１９】
本発明に係る映像ノイズ検知装置を以上のように構成すると、映像ノイズの検出を自動で行うことができる。
【図面の簡単な説明】
【００２０】
【図１】映像ノイズ検査装置の一実施例を示すブロック図である。
【図２】部分相関処理を説明するための説明図である。
【図３】ラインノイズの検出方法を説明するための説明図であって、（ａ）はラインノイズ開始の検出方法を示し、（ｂ）はラインノイズ終了の検出方法を示す。
【図４】ブロックノイズの検出方法を説明するための説明図である。
【図５】白点・黒点ノイズの検出方法を説明するための説明図である。
【図６】ストライプ状フリーズ及びストライブ状ブラックの検出方法を説明するための説明図である。
【図７】ショートラインノイズの検出方法を説明するための説明図である。
【発明を実施するための形態】
【００２１】
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施形態に係る映像ノイズ検知装置の構成について説明する。この映像ノイズ検知装置１００は、入力映像信号（デジタル信号）から任意のフレーム遅延信号（例えば１フレーム遅延及び２フレーム遅延の信号を作成し、入力映像信号と合わせて３フレーム分の信号）を作成するフレーム出力部としてのメモリコントローラ１０１と、３フレーム分の信号からノイズを判定するための情報を算出する判定情報算出部１０４と、算出された情報から入力映像信号にノイズが発生しているか否かを判定するノイズ判定部１０５と、を有している。なお、判定情報算出部１０４としては、３フレーム分の信号から相関関係を求めて判定情報を算出する方法や、画像間演算を行って判定情報を算出する方法や、ブロック状のノイズ、ライン状のノイズ、白点・黒点ノイズ、ストライプ状のフリーズ、ストライプ状のブラックアウト、及び、ショートラインノイズの特徴を判定情報として検出する方法が用いられる。なお、映像ノイズとしては、目視において見落としやすい、１フレームから数フレームのみ一瞬発生するノイズが存在するが、本実施形態に係る映像ノイズ検知装置１００は、特にこれらについて検出が行える構成としている。
【００２２】
入力映像信号はデジタル映像で、ＳＤＩ（Serial Digital Interface）やアナログ信号をＡＤ変換したもの等で構成される（ビット数は任意で通常は８〜２０ｂｉｔ程度）。入力されたデジタル映像信号（入力フレーム映像）は、メモリコントローラ１０１に取り込まれ、バッファメモリ１０２へ書き込まれる。このときバッファメモリ１０２はリングバッファ構成により複数のフレームを残しておくことができる。また、メモリコントローラ１０１は書込みと同時に読み出しを行うことができ、任意の過去に書き込んだフレームを複数同時に出力することができる。ここではバッファメモリ１０２とメモリコントローラ１０１によりにより１フレーム遅延した信号である１フレーム遅延映像（第１のフレーム映像）及び２フレーム遅延した信号である２フレーム遅延映像（第２のフレーム映像）が作られる。なお、ノイズとして、複数フレーム以上離れた画像間での相関により検出できるものがある場合は、任意のフレーム数だけ遅延させたフレーム遅延信号を出力して使用することも可能である。このようにして遅延された１フレーム遅延映像及び２フレーム遅延映像と入力フレーム映像とを合わせた３フレーム分の映像は判定情報算出部１０４に入力される。
【００２３】
ここで、判定情報算出部１０４は、フレーム間の全体相関又は部分相関を求める相関検出ブロック１０６と、画像間演算を行う画像間演算ブロック１０８と、ラインノイズの特徴を検出するラインノイズ特徴検出ブロック１１０と、ブロック状ノイズの特徴を検出するブロックノイズ特徴検出ブロック１１２と、白点・黒点ノイズの特徴を検出する白点・黒点ノイズ特徴検出ブロック１１４と、ストライプ状フリーズ（若しくはストライプ状ブラックアウト）の特徴を検出するストライプフリーズ特徴検出ブロック１１６と、ショートラインノイズの特徴を検出するショートラインノイズ特徴検出ブロック１１８と、から構成され、メモリコントローラ１０１から出力された３フレーム分の映像はそれぞれのブロックに入力されるように構成されている。また、ノイズ判定部１０５には、上述の判定情報算出部１０４を構成するブロックに対応して、相関ノイズ判定ブロック１０７と、画像間演算結果判定ブロック１０９と、ラインノイズ判定ブロック１１１と、ブロックノイズ判定ブロック１１３と、白点・黒点ノイズ判定ブロック１１５と、ストライプフリーズ判定ブロック１１７と、ショートラインノイズ判定ブロック１１９と、が設けられている。
【００２４】
なお、どの方法によりノイズの検知を行うかを切り替えるために、検出判定制御ブロック１０３が設けられており、ＣＰＵバス１２３で接続されたＣＰＵ１２０からの制御信号により、この検出判定制御ブロック１０３が判定情報算出部１０４及びノイズ判定部１０５の作動を制御するように構成されている。また、ノイズ判定部１０５を構成する各々のブロックから出力される判定結果もＣＰＵバス１２３を介してＣＰＵ１２０に送信され、ＬＥＤや音声出力から構成されるアラーム出力１２１を介してノイズ検知が報知されたり、ネットワークコントローラ等からなる外部インタフェース１２２を介してＰＣ等の外部機器へノイズ検知の通知が行われる。もちろん、判定情報算出部１０４及びノイズ判定部１０５にすべてのブロックを設ける必要はなく、映像ノイズを検出するための方法を適宜選択して実装することができる。
【００２５】
それでは、判定情報算出部１０４及びノイズ判定部１０５を構成する各ブロックにおけるノイズ検知の方法について以下に説明する。
【００２６】
［相関検出］
相関検出ブロック１０６は、各フレーム映像の輝度値を用いて、入力フレーム映像と１フレーム遅延映像との間、入力フレーム映像と２フレーム遅延映像との間、及び、１フレーム遅延映像と２フレーム遅延映像との間で全体相関、及び、各フレームの同一の座標での部分相関を計算する。ここで、部分相関の求め方について図２を用いて説明する。なお、以降の説明において、図２に示すように、あるフレームの左上隅から１画素毎に水平方向に処理をして行き、右端に到達すると、一つ下（１画素下のライン）に移動して左端から右端に向かって水平方向に処理をし、この操作をフレームの右下隅まで繰り返し行うことを「水平走査」と呼ぶ。
【００２７】
部分相関では図２に示す、２フレーム遅延映像２０１、１フレーム遅延映像２０２、及び、入力フレーム映像２０３のそれぞれにおいて、同じ座標位置に、所定の大きさ（例えば、１６×８画素）を有する部分領域２０４を設定し、それぞれのフレーム間で相関を取る処理を水平走査により行う。すなわち、部分領域２０４は水平方向へ１画素ずつ移動させて部分相関を求め、また、垂直方向へも１画素ずつ移動させて部分相関を求める。例えば、図２に示すように、１フレーム遅延映像２０２に瞬間的なノイズが存在する場合には、２フレーム遅延映像２０１と入力フレーム映像２０３との間の相関が高いのに対して、２フレーム遅延映像２０１と１フレーム遅延映像２０２との間、及び、１フレーム遅延映像２０２と入力フレーム映像２０３との間の相関が低くなるため、この瞬間的なノイズを検出することができる。
【００２８】
また、テープからの再生ノイズにおいては、相関関係に特徴的なパターンが現れるため、このパターンを検知することでノイズと判定することができる。例えば、入力フレーム映像２０３と２フレーム遅延映像２０１との間の部分相関が高く、且つ、入力フレーム映像２０３と１フレーム遅延映像２０２の部分相関が低い場合に、予め想定されるノイズパターンと１フレーム遅延映像２０２の部分領域２０４との相関を求め、当該相関が高い場合にノイズとして検出することができる。あるいは、入力フレーム映像２０３と２フレーム遅延映像２０１との間の部分相関が低く、入力フレーム映像２０３と１フレーム遅延映像２０２との間の部分相関に予め想定される特徴パターンが見られる場合にノイズとして検出することができる。さらに、入力フレーム映像２０３、１フレーム遅延映像２０２及び２フレーム遅延映像２０１の間の部分相関に予め想定される特徴パターンが見られる場合にノイズとして検出することもできる。
【００２９】
このようにして求められた相関の結果は、相関ノイズ判定ブロック１０７に渡され、ここで相関関係及び相関のパターンとの比較が行われノイズが検知されたかを判断する。例えば、ノイズが検出された部分領域の数をカウントし、その数が所定の閾値を超えたときにノイズを検出することができる。そして、上述した様に、最終的にはＣＰＵ１２０がこの情報を読み出し、装置のアラーム出力１２１や、外部インタフェース１２２を介した通知でＰＣ等の外部機器に対してエラーの検知（映像ノイズの検知）を通知する。ここで、相関ノイズ判定ブロック１０７は、部分相関の結果からノイズを検出した場合には、どのフレームのどの位置（例えば、フレーム内の画素の座標で表す）でノイズが発生したのかをＣＰＵ１２０に出力するように構成することも可能である。なお、全体相関は、全体の画面として動きがあるかを確認するために使用される。全体に動きが大きい場合、すなわち、映像間の全体相関が所定の閾値より小さい場合には、部分的なノイズの誤検知が発生する為、このときの部分相関より検知されたノイズは最終的にはノイズと判定しない。
【００３０】
また、以上の説明では、入力フレーム映像２０３、１フレーム遅延映像２０２及び２フレーム遅延映像２０１の間で部分相関及び全体相関を求めてノイズを検出するように構成した場合について説明したが、これら３つの映像２０１〜２０３のうち、いずれか２つを選択して部分相関及び全体相関を求めてノイズを検出するように構成することも可能である。
【００３１】
［画像間演算］
画像間演算ブロック１０８は、メモリコントローラ１０１から入力された２フレーム遅延映像、１フレーム遅延映像及び入力フレーム映像の同一位置の画素毎に当該画素の輝度値を用いて、(入力フレーム映像＋２フレーム遅延映像)−(１フレーム遅延映像)×２の計算を行う。すなわち、上記演算を行うことにより、変化の少ない画素はほぼゼロになり、反対に、１フレーム遅延映像にノイズが乗っている場合にはそのノイズによる輝度値だけが２倍されて出力されるため、ノイズの検出を容易に行うことができるからである。そして、画像間演算結果判定ブロック１０９は、あらかじめ想定されるノイズパターンを先の演算結果から抽出してノイズを検出し、エラーの検知を通知する。なお、画像間演算ブロック１０８において、上記画像間演算と同時に入力フレーム映像と２フレーム遅延映像におけるエッジの多い領域を求め、先の計算結果においてノイズを検出する領域から除外することにより、ノイズの検出精度を向上させることができる。これは、エッジの多い領域はノイズと正しい映像との区別がつきにくいためである。なお、部分領域を設定し、それぞれの映像においてこの部分領域を水平走査しながら上記画像間演算を行っても良い。
【００３２】
［ラインノイズ特徴検出］
ラインノイズ特徴検出ブロック１１０は、図３（ａ）に示すように、入力フレーム映像３０３と１フレーム遅延映像３０１を用いてノイズの検出を行う。ここで、ラインノイズは横方向にエッジが並ぶ特徴があるため、ある画素のライン（図３（ａ）のライン３０１ａ，３０３ａ）とその画素の一つ下のライン（図３（ａ）のライン３０１ｂ，３０３ｂ）において画素毎に輝度値を比較し、所定の閾値以上の差があるときにそれらの画素の間に垂直エッジがあるとして検出し、その画素数を水平方向に足し込んで、ラインごとのエッジ量（エッジ画素カウント値）とする。このライン毎のエッジ量は、フレーム毎に設けられ、ライン毎に記録することができるエッジ画素カウント値記録メモリ３０２，３０４へ記録していく。以上のようにして、入力フレーム映像３０３と１フレーム遅延映像３０１の全てのラインに対してライン毎のエッジ量が記録されると、ラインノイズ判定ブロック１１１は、入力フレーム映像３０３と１フレーム遅延映像３０１との間で、ライン毎のエッジ画素カウント値記録メモリ３０２，３０４の値を比較し、１フレーム遅延映像３０１に対して入力フレーム映像３０３のエッジ量が急激に増えているラインをラインノイズ候補とする。
【００３３】
また、もともと斜めの線がその近辺にあり、それがたまたま水平に変化することも考えられる為、ラインノイズ判定ブロック１１１は、上下数ラインのエッジ量の総和を求めてこれについても入力フレーム映像３０３と１フレーム遅延映像３０１の間で比較を行う。斜めの線が移動して水平になった場合には、１フレーム遅延映像３０１と入力フレーム映像３０３における上下数ラインのエッジ量の総和の変化が少なくなるからである。そして、上記でラインノイズ候補となったラインについて、上下数ラインのエッジ量の総和の差が閾値以上で明らかにラインが急激に現れたと判断される場合は、ラインノイズ発生開始としてラインごとに記録を行う。
【００３４】
ラインノイズ発生開始となっているラインについて、図３（ｂ）に示すように、ラインノイズ特徴検出ブロック１１０により、次以降の入力フレーム映像３０７と１フレーム遅延映像３０５との間でもラインのエッジ量を算出し、ライン毎のエッジ画素カウント値記録メモリ３０６，３０８に記憶させ、ラインノイズ判定ブロック１１１において、このようにして算出されたエッジ量及び、上下数ラインのエッジ量の総和の比較を行う。変化が閾値以下の場合は、継続してラインノイズが発生していると判断する。また１フレーム遅延映像３０５に比べて入力フレーム映像３０７のエッジ量が急激に減り、且つエッジ量の総和も急激に減った場合には、ラインノイズ終了候補とする。このとき、ライン毎にラインノイズが発生したフレームから終了したフレームまでのフレーム数をラインノイズ発生継続フレーム数として記憶しておく。
【００３５】
ラインノイズ判定ブロック１１１においてラインノイズ開始判定が間違っていた場合（映像中のラインをノイズと判定してしまっていた場合）にはラインの上下数ライン以内に急激なライン変化（ラインノイズ発生開始のラインが存在）が存在することになる。そのため、ラインノイズ判定ブロック１１１は、このラインノイズ発生開始のラインが上下数ライン以内に存在する場合には、ラインノイズではなかったと判断する。
【００３６】
ラインノイズ判定ブロック１１１は、以上のようにしてラインノイズ終了候補で上下数ライン以内にラインノイズ発生開始のラインが存在しない場合で、そのラインのラインノイズ発生継続フレーム数が閾値以下の時にラインノイズ発生と判断し、ＣＰＵ１２０を介して通知が行われる。
【００３７】
［ブロックノイズ特徴検出］
ブロックノイズ特徴検出部ブロック１１２は、図４に示すように入力フレーム映像４０２と１フレーム遅延映像４０１との比較を行い、入力フレーム映像４０２に四角状の領域４０４が検出された場合に、ブロック状ノイズの候補とする。そして、ブロックノイズ判定ブロック１１３は、その候補の領域内部４０４と四角領域の周辺領域４０５について比較を行い、下記の条件（１），（２）を満たした場合にノイズと判定する。（１）まず、四角領域４０４の内部輝度または色が１フレーム遅延映像４０１の同じ座標の四角領域４０３に比べて急激に変化していて、且つ四角領域の周辺領域４０５の輝度または色の変化が小さい場合で、この条件を満たす領域の数が閾値以上の場合。（２）四角領域４０４の内部輝度または色が急激に変化している場合で画像全体におけるこの条件を満たす領域の数が閾値以上の場合。なお、条件（１）の閾値は小さめに設定して、数が少なくてもノイズとすることが望ましい。また、条件（２）の閾値は大きめに設定して数が多い場合のみノイズとすることが望ましい。上記判定条件によりノイズとして検知されるとＣＰＵ１２０を介して通知が行われる。
【００３８】
具体的には以下の手順でノイズの検出が行われる。まず、ブロックノイズ特徴検出ブロック１１２は、入力フレーム映像４０２に対して、所定の大きさを有する領域（例えば、８×８画素の領域）を設定し、この領域を水平方向に１画素ずつ移動し、また、垂直方向に１画素ずつ移動させて水平走査を行い、四角領域４０４のエッジ検出を行う。入力フレーム映像４０２の左上隅から右下隅にかけて水平走査を行うと、まず、四角領域４０４の左上隅の角が検出される。すると、ブロックノイズ判定ブロック１１３は、入力フレーム映像４０２における四角領域４０４の左上側の輝度又は色の変化と周辺領域４０５の輝度又は色の変化、及び、１フレーム遅延画像４０１の同じ座標の四角領域４０３の輝度又は色の変化を取得する。そして、水平走査を続け、四角領域４０３，４０４及び周辺領域４０５の輝度又は色を取得するとともに、四角領域の右上、左下、及び右下を検出する。そして、このようにして検出された四角領域４０４が、上記条件（１），（２）を満足するか否かを判定し、満足する場合は、領域の数のカウントを行う。最後に、検出された四角領域４０４の数をブロックノイズ判定ブロック１１３に渡し、この領域の数が上記判定条件を満たしているときは、ノイズとして検知する。このように、入力フレーム映像４０２に対して水平走査を行い四角領域４０４のエッジを見つける度に、上記判定処理を行うことにより、検出のために使うメモリのサイズを小さくすることができる。なお、検出された四角領域４０４が、水平方向で４〜５０画素、垂直方向で４〜２０画素以内のときに、ブロックノイズとして判断することにより検出精度を向上させることができる。
【００３９】
なお、以上の説明では、入力フレーム映像４０２及び１フレーム遅延映像４０１の間でブロックノイズを検出するように構成した場合について説明したが、１フレーム遅延映像と２フレーム遅延映像との間でブロックノイズを検出するように構成することも可能である。
【００４０】
［白点・黒点特徴検出］
白点・黒点ノイズ特徴検出ブロック１１４は、図５に示すように入力フレーム映像５０３と１フレーム遅延映像５０２に対して検出領域５０１による水平走査を行うことにより比較を行う。ここで、検出領域５０１は、５×３画素の領域であって、この検出領域５０１の中央にある画素Ａが白点又は黒点であるかを周囲の画素（ａ〜ｌで示している）の輝度値から判定するものである。白点・黒点ノイズ特徴検出ブロック１１４は、入力フレーム映像５０３及び１フレーム遅延映像５０２に対して検出領域５０１を水平方向に１画素ずつ移動し、また、垂直方向に１画素ずつ移動させて水平走査を行い白点及び黒点の判定を行う。なお、１フレーム遅延映像５０２では白点・黒点ノイズが検出されないが、入力フレーム映像５０３で白点・黒点ノイズが検出された場合に、ノイズとする。また、このノイズの検出は、瞬間的なものを検出したい場合は入力フレーム映像５０３と１フレーム遅延映像５０２の比較を行うが、継続のものを含めて検出したい場合には、入力フレーム映像５０３のみで検出を行う。また、厳密に継続していないことを判断する為には、２フレーム遅延映像に対しても水平走査をして、ノイズが発生していないことを条件とする。
【００４１】
白点、黒点の判定条件は以下とする。
（１）周囲の値計算
まず、上述の検出領域５０１を構成するａ〜ｌの画素の輝度値を用いて、これらの画素の輝度値の加重平均、最大値及び最小値を以下の式により求める。
加重平均 (a+b+(c*2)+d+e+(f*2)+(g*2)+h+i+(j*2)+k+l)/16 （領域）
最大値 max(a,b,c,d,e,f,g,h,i,j,k,l)
最小値 min(a,b,c,d,e,f,g,h,i,j,k,l)
（２）白点の判定
そして、判定対象の画素Ａの輝度値を、周辺画素の加重平均、最大値及び最小値と比較し、以下の条件を満足するとき、この判定対象の画素Ａを白点であると判定する。すなわち、（ｉ）最大値と最小値との差が所定の閾値以下であり、（ｉｉ）加重平均と画素Ａの輝度値との差が所定の閾値以上で且つ加重平均より画素Ａの輝度値が大きく、（ｉｉｉ）最大値と画素Ａの輝度値との差が所定の閾値以上で且つ最大値より画素Ａの輝度値が大きく、（ｉｖ）画素Ａの輝度値が所定の閾値以上の場合である。
（３）黒点の判定
同様に、判定対象の画素Ａの輝度値を、周辺画素の加重平均、最大値及び最小値と比較し、以下の条件を満足するとき、この判定対象の画素Ａを黒点であると判定する。すなわち、（ｉ）最大値と最小値との差が所定の閾値以下であり、（ｉｉ）加重平均と画素Ａの輝度値との差が所定の閾値以上で且つ加重平均より画素Ａの輝度値が小さく、（ｉｉｉ）最小値と画素Ａの輝度値との差が所定の閾値以上で且つ最小値より画素Ａの輝度値が小さく、（ｉｖ）画素Ａの輝度値が所定の閾値以下の場合である。
【００４２】
白点・黒点ノイズ判定ブロック１１５は、以上の処理により白点・黒点ノイズ特徴検出ブロック１１４により検出された白点若しくは黒点ノイズの数をカウントし、検出されたノイズの数が閾値以上の場合にノイズとして検知してＣＰＵ１２０を介して通知を行う。
【００４３】
なお、検出領域５０１の設定は図５のように、中央の画素Ａの両側の画素５０１ａ，５０１ｂを判定に使用しないようにしている。これはＨＤ（High Definition）の画像で１９２０×１０８０のサイズの画像が１４４０×１０８０の元画像から作成されている場合に水平方向に補間が行われ、白点、黒点がうまく検出できない場合があるためである。
【００４４】
［ストライプフリーズ（ストライプブラックアウト）特徴検出］
ストライプフリーズ特徴検出ブロック１１６においては、図６（ａ）に示すように、入力フレーム映像６０２及び１フレーム遅延映像６０１の比較を行い、同一の位置にあるラインの画素ごとに相関を求め、閾値以上の相関の高い画素の数が水平ラインを構成する画素数に対して閾値以上あるラインをフリーズラインとする。同時にフリーズしている画素に対する垂直方向のエッジを検出して（エッジの検出方向はラインノイズ特徴検出ブロック１１０と同じ方法を用い、水平方向に並ぶ上下の画素の輝度値を比較して求める）水平ライン方向にこのエッジ数（画素数）をカウントし、そのカウント値が閾値以上あるラインをフリーズ境界ラインとする。
【００４５】
ストライプフリーズ判定ブロック１１７は、フリーズラインが閾値以上でフリーズ境界ラインが閾値以上ある場合にストライプ状フリーズとして検知してＣＰＵ１２０を介して通知を行う。
【００４６】
またストライプ状のブラックアウトについても、上記と同じような検出が可能である。図６（ｂ）に示すように、入力フレーム映像又はその他の遅延フレーム映像６０４において、黒画素が閾値以上あるラインをブラックラインとして、その境界エッジを求めて、閾値以上のものをブラック境界ラインとし、ブラックラインが閾値以上で、ブラック境界ラインが閾値以上のものをストライプ状ブラックアウトとして検知してＣＰＵ１２０を介して通知する。ただし、ストライプ上のブラックアウトは複数のフレームでなくても検知可能である。
【００４７】
［ショートラインノイズ特徴検出］
ショートラインノイズ特徴検出ブロック１１８は、図７に示すように入力フレーム映像７０３と１フレーム遅延映像７０２及び２フレーム遅延映像７０１のそれぞれに対して、対象画素領域７０４による水平走査を行い、以下の条件（１），（２）の両方を満たす画素数をカウントする。なお、対象画素領域７０４は、図７に示すよう２×５画素で構成し、各画素にａ〜ｊの符号を付した場合、各画素ａ〜ｊの輝度値を用いて以下の条件式により判定する。
【００４８】
（カウント画素の判定条件）
（１）(a>f+閾値 && b>g+閾値 && c>h+閾値 && d>i+閾値 && e>j+閾値）
|| (ｆ>a+閾値 && g>b+閾値 && h>c+閾値 && i>d+閾値 && j>e+閾値）
（２）条件（１）を満たす画素が水平方向に所定の長さ以上続く（例えば２画素以上１６画素以下続く）
【００４９】
次に、入力フレーム映像７０３における画素カウント値をＡとし、１フレーム遅延映像７０２における画素カウント値をＢとし、２フレーム遅延映像７０１における画素カウント値をＣとしてショートラインノイズ判定ブロック１１９にて以下の判定条件にしたがって、エラー判定を行う。すなわち、（３）Ｂ＞Ａ＋閾値を満足し、（４）Ｂ＞Ｃ＋閾値を満足するときショートラインノイズが発生していると判定する。ここで、この判定は、瞬間的に、短い水平方向のラインが急激に増えた場合を検出するものとなっている。なお、本実施形態においては、３つのフレーム７０１〜７０３から同時に短い水平方向のラインに属する画素数をカウントしているが、例えば、入力フレーム映像７０３についてのみ画素のカウントを行い、そのカウント値を遅延させることでも、同じことを実現することは可能である。以上の判定条件に基づいてショートラインノイズ判定ブロック１１９が判定したエラーはＣＰＵ１２０を介して通知される。
【符号の説明】
【００５０】
１００ 映像ノイズ検知装置 １０１ メモリコントローラ（フレーム出力部）
１０４ 判定情報算出部 １０５ ノイズ判定部
【技術分野】
【０００１】
本発明は、映像ノイズ検知装置に関する。
【背景技術】
【０００２】
現在の映像編集作業は主にテープ素材を一旦編集機材へ映像データとして転送し、編集を行い、再度テープへ出力するといったワークフローにより行われている。このような編集作業においては、映像データの転送時に、映像データではないノイズが入り込んでしまうことがあり、その確認は人の目視によって行われている。また、放送においては映像データの転送時に、放送機材をいくつも介し、さらに伝送回線も介ししており、この転送過程の途中で同じく映像にノイズが乗ってしまうことがある。このようなノイズとしてはフリーズや、ブラックアウトなどがあり、その検知には一部自動監視装置が導入されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−０７９７５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、自動監視装置でノイズを検出する方法を用いても、細かいノイズは検知できないため、こちらもほとんどが目視で監視されているのが現状である。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、現状目視で行われている映像ノイズの検出を自動で行うことができる映像ノイズ検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するために、本発明に係る映像ノイズ検知装置は、入力された映像信号を構成する任意のフレームである入力フレーム映像、当該入力フレーム映像より所定のフレーム数だけ前のフレームである第１のフレーム映像、及び、当該第１のフレーム映像より所定のフレーム数だけ前のフレームである第２のフレーム映像を出力するフレーム出力部と、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像に基づいてノイズ判定情報を算出する判定情報算出部と、この判定情報算出部で算出されたノイズ判定情報に基づいて映像信号に含まれるノイズを判定するノイズ判定部と、を有する。
【０００７】
このような映像ノイズ検知装置において、判定情報算出部は、同一座標に設定された部分領域により、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像を走査して、当該部分領域間の部分相関を算出し、ノイズ判定部は、この部分相関に基づいてノイズを判定することが好ましい。
【０００８】
このとき、ノイズ判定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像を走査したときに、ノイズを検出した部分領域の数をカウントし、この部分領域の数が所定の閾値以上の場合にノイズとして検出することが好ましい。
【０００９】
あるいは、ノイズ判定部は、入力フレーム映像と第２のフレーム映像との間の部分相関は高く、且つ、入力フレーム映像と第１のフレーム映像との間の部分相関が低い場合に、ノイズとして検出することが好ましい。
【００１０】
あるいは、ノイズ判定部は、入力フレーム映像と第２のフレーム映像との間の部分相関が高く、且つ、入力フレーム映像と第１のフレーム映像との間の部分相関が低い場合に、予め想定されるノイズパターンと第１のフレーム映像の部分領域との相関を求め、当該相関が高い場合にノイズとして検出することが好ましい。
【００１１】
あるいは、ノイズ判定部は、入力フレーム映像と第２のフレーム映像との間の部分相関が低く、且つ、入力フレーム映像と第１のフレーム映像との間の部分相関に予め想定される特徴パターンがある場合にノイズとして検出することが好ましい。
【００１２】
あるいは、ノイズ判定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像との間の部分相関に予め想定される特徴パターンがある場合にノイズとして検出することが好ましい。
【００１３】
また、このような映像ノイズ検知装置において、判定情報算出部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像の間の全体相関を算出し、ノイズ判定部は、全体相関が所定の閾値より小さい場合に、部分相関によるノイズ判定を行わないことが好ましい。
【００１４】
また、このような映像ノイズ検知装置において、判定情報算定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像の同一座標の画素毎に当該画素の輝度値を用いて、(入力フレーム映像＋第２のフレーム映像)−(第１のフレーム映像)×２の演算を行い、ノイズ判定部は、この演算結果から予め想定されるノイズパターンを抽出してノイズ判定を行うことが好ましい。
【００１５】
また、このような映像ノイズ検知装置において、判定情報算定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像からそれぞれの特徴量を算出し、ノイズ判定部は、この特徴量を比較してノイズ判定を行うことが好ましい。
【００１６】
このとき、判定情報算定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像のうちいずれか２つの映像を選択し、それぞれの映像において、水平ライン毎にラインノイズの特徴となる垂直エッジ画素数の総和及び上下の複数の水平ラインとの関係を特徴量として算出することが好ましい。
【００１７】
あるいは、判定情報算定部は、入力フレーム映像若しくは第１のフレーム映像においてブロック状のノイズの特徴となる四角領域を検出し、入力フレーム映像若しくは第１のフレーム映像における四角領域の内部及び周辺領域と、当該映像より遅延された映像における四角領域に対応する領域の内部及び周辺領域との相関関係を特徴量として算出することが好ましい。
【００１８】
あるいは、判定情報算定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像毎にショートラインノイズの特徴である短く連続する垂直エッジを検出し、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像の間の垂直エッジの総量の変化を特徴量として算出することが好ましい。
【発明の効果】
【００１９】
本発明に係る映像ノイズ検知装置を以上のように構成すると、映像ノイズの検出を自動で行うことができる。
【図面の簡単な説明】
【００２０】
【図１】映像ノイズ検査装置の一実施例を示すブロック図である。
【図２】部分相関処理を説明するための説明図である。
【図３】ラインノイズの検出方法を説明するための説明図であって、（ａ）はラインノイズ開始の検出方法を示し、（ｂ）はラインノイズ終了の検出方法を示す。
【図４】ブロックノイズの検出方法を説明するための説明図である。
【図５】白点・黒点ノイズの検出方法を説明するための説明図である。
【図６】ストライプ状フリーズ及びストライブ状ブラックの検出方法を説明するための説明図である。
【図７】ショートラインノイズの検出方法を説明するための説明図である。
【発明を実施するための形態】
【００２１】
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施形態に係る映像ノイズ検知装置の構成について説明する。この映像ノイズ検知装置１００は、入力映像信号（デジタル信号）から任意のフレーム遅延信号（例えば１フレーム遅延及び２フレーム遅延の信号を作成し、入力映像信号と合わせて３フレーム分の信号）を作成するフレーム出力部としてのメモリコントローラ１０１と、３フレーム分の信号からノイズを判定するための情報を算出する判定情報算出部１０４と、算出された情報から入力映像信号にノイズが発生しているか否かを判定するノイズ判定部１０５と、を有している。なお、判定情報算出部１０４としては、３フレーム分の信号から相関関係を求めて判定情報を算出する方法や、画像間演算を行って判定情報を算出する方法や、ブロック状のノイズ、ライン状のノイズ、白点・黒点ノイズ、ストライプ状のフリーズ、ストライプ状のブラックアウト、及び、ショートラインノイズの特徴を判定情報として検出する方法が用いられる。なお、映像ノイズとしては、目視において見落としやすい、１フレームから数フレームのみ一瞬発生するノイズが存在するが、本実施形態に係る映像ノイズ検知装置１００は、特にこれらについて検出が行える構成としている。
【００２２】
入力映像信号はデジタル映像で、ＳＤＩ（Serial Digital Interface）やアナログ信号をＡＤ変換したもの等で構成される（ビット数は任意で通常は８〜２０ｂｉｔ程度）。入力されたデジタル映像信号（入力フレーム映像）は、メモリコントローラ１０１に取り込まれ、バッファメモリ１０２へ書き込まれる。このときバッファメモリ１０２はリングバッファ構成により複数のフレームを残しておくことができる。また、メモリコントローラ１０１は書込みと同時に読み出しを行うことができ、任意の過去に書き込んだフレームを複数同時に出力することができる。ここではバッファメモリ１０２とメモリコントローラ１０１によりにより１フレーム遅延した信号である１フレーム遅延映像（第１のフレーム映像）及び２フレーム遅延した信号である２フレーム遅延映像（第２のフレーム映像）が作られる。なお、ノイズとして、複数フレーム以上離れた画像間での相関により検出できるものがある場合は、任意のフレーム数だけ遅延させたフレーム遅延信号を出力して使用することも可能である。このようにして遅延された１フレーム遅延映像及び２フレーム遅延映像と入力フレーム映像とを合わせた３フレーム分の映像は判定情報算出部１０４に入力される。
【００２３】
ここで、判定情報算出部１０４は、フレーム間の全体相関又は部分相関を求める相関検出ブロック１０６と、画像間演算を行う画像間演算ブロック１０８と、ラインノイズの特徴を検出するラインノイズ特徴検出ブロック１１０と、ブロック状ノイズの特徴を検出するブロックノイズ特徴検出ブロック１１２と、白点・黒点ノイズの特徴を検出する白点・黒点ノイズ特徴検出ブロック１１４と、ストライプ状フリーズ（若しくはストライプ状ブラックアウト）の特徴を検出するストライプフリーズ特徴検出ブロック１１６と、ショートラインノイズの特徴を検出するショートラインノイズ特徴検出ブロック１１８と、から構成され、メモリコントローラ１０１から出力された３フレーム分の映像はそれぞれのブロックに入力されるように構成されている。また、ノイズ判定部１０５には、上述の判定情報算出部１０４を構成するブロックに対応して、相関ノイズ判定ブロック１０７と、画像間演算結果判定ブロック１０９と、ラインノイズ判定ブロック１１１と、ブロックノイズ判定ブロック１１３と、白点・黒点ノイズ判定ブロック１１５と、ストライプフリーズ判定ブロック１１７と、ショートラインノイズ判定ブロック１１９と、が設けられている。
【００２４】
なお、どの方法によりノイズの検知を行うかを切り替えるために、検出判定制御ブロック１０３が設けられており、ＣＰＵバス１２３で接続されたＣＰＵ１２０からの制御信号により、この検出判定制御ブロック１０３が判定情報算出部１０４及びノイズ判定部１０５の作動を制御するように構成されている。また、ノイズ判定部１０５を構成する各々のブロックから出力される判定結果もＣＰＵバス１２３を介してＣＰＵ１２０に送信され、ＬＥＤや音声出力から構成されるアラーム出力１２１を介してノイズ検知が報知されたり、ネットワークコントローラ等からなる外部インタフェース１２２を介してＰＣ等の外部機器へノイズ検知の通知が行われる。もちろん、判定情報算出部１０４及びノイズ判定部１０５にすべてのブロックを設ける必要はなく、映像ノイズを検出するための方法を適宜選択して実装することができる。
【００２５】
それでは、判定情報算出部１０４及びノイズ判定部１０５を構成する各ブロックにおけるノイズ検知の方法について以下に説明する。
【００２６】
［相関検出］
相関検出ブロック１０６は、各フレーム映像の輝度値を用いて、入力フレーム映像と１フレーム遅延映像との間、入力フレーム映像と２フレーム遅延映像との間、及び、１フレーム遅延映像と２フレーム遅延映像との間で全体相関、及び、各フレームの同一の座標での部分相関を計算する。ここで、部分相関の求め方について図２を用いて説明する。なお、以降の説明において、図２に示すように、あるフレームの左上隅から１画素毎に水平方向に処理をして行き、右端に到達すると、一つ下（１画素下のライン）に移動して左端から右端に向かって水平方向に処理をし、この操作をフレームの右下隅まで繰り返し行うことを「水平走査」と呼ぶ。
【００２７】
部分相関では図２に示す、２フレーム遅延映像２０１、１フレーム遅延映像２０２、及び、入力フレーム映像２０３のそれぞれにおいて、同じ座標位置に、所定の大きさ（例えば、１６×８画素）を有する部分領域２０４を設定し、それぞれのフレーム間で相関を取る処理を水平走査により行う。すなわち、部分領域２０４は水平方向へ１画素ずつ移動させて部分相関を求め、また、垂直方向へも１画素ずつ移動させて部分相関を求める。例えば、図２に示すように、１フレーム遅延映像２０２に瞬間的なノイズが存在する場合には、２フレーム遅延映像２０１と入力フレーム映像２０３との間の相関が高いのに対して、２フレーム遅延映像２０１と１フレーム遅延映像２０２との間、及び、１フレーム遅延映像２０２と入力フレーム映像２０３との間の相関が低くなるため、この瞬間的なノイズを検出することができる。
【００２８】
また、テープからの再生ノイズにおいては、相関関係に特徴的なパターンが現れるため、このパターンを検知することでノイズと判定することができる。例えば、入力フレーム映像２０３と２フレーム遅延映像２０１との間の部分相関が高く、且つ、入力フレーム映像２０３と１フレーム遅延映像２０２の部分相関が低い場合に、予め想定されるノイズパターンと１フレーム遅延映像２０２の部分領域２０４との相関を求め、当該相関が高い場合にノイズとして検出することができる。あるいは、入力フレーム映像２０３と２フレーム遅延映像２０１との間の部分相関が低く、入力フレーム映像２０３と１フレーム遅延映像２０２との間の部分相関に予め想定される特徴パターンが見られる場合にノイズとして検出することができる。さらに、入力フレーム映像２０３、１フレーム遅延映像２０２及び２フレーム遅延映像２０１の間の部分相関に予め想定される特徴パターンが見られる場合にノイズとして検出することもできる。
【００２９】
このようにして求められた相関の結果は、相関ノイズ判定ブロック１０７に渡され、ここで相関関係及び相関のパターンとの比較が行われノイズが検知されたかを判断する。例えば、ノイズが検出された部分領域の数をカウントし、その数が所定の閾値を超えたときにノイズを検出することができる。そして、上述した様に、最終的にはＣＰＵ１２０がこの情報を読み出し、装置のアラーム出力１２１や、外部インタフェース１２２を介した通知でＰＣ等の外部機器に対してエラーの検知（映像ノイズの検知）を通知する。ここで、相関ノイズ判定ブロック１０７は、部分相関の結果からノイズを検出した場合には、どのフレームのどの位置（例えば、フレーム内の画素の座標で表す）でノイズが発生したのかをＣＰＵ１２０に出力するように構成することも可能である。なお、全体相関は、全体の画面として動きがあるかを確認するために使用される。全体に動きが大きい場合、すなわち、映像間の全体相関が所定の閾値より小さい場合には、部分的なノイズの誤検知が発生する為、このときの部分相関より検知されたノイズは最終的にはノイズと判定しない。
【００３０】
また、以上の説明では、入力フレーム映像２０３、１フレーム遅延映像２０２及び２フレーム遅延映像２０１の間で部分相関及び全体相関を求めてノイズを検出するように構成した場合について説明したが、これら３つの映像２０１〜２０３のうち、いずれか２つを選択して部分相関及び全体相関を求めてノイズを検出するように構成することも可能である。
【００３１】
［画像間演算］
画像間演算ブロック１０８は、メモリコントローラ１０１から入力された２フレーム遅延映像、１フレーム遅延映像及び入力フレーム映像の同一位置の画素毎に当該画素の輝度値を用いて、(入力フレーム映像＋２フレーム遅延映像)−(１フレーム遅延映像)×２の計算を行う。すなわち、上記演算を行うことにより、変化の少ない画素はほぼゼロになり、反対に、１フレーム遅延映像にノイズが乗っている場合にはそのノイズによる輝度値だけが２倍されて出力されるため、ノイズの検出を容易に行うことができるからである。そして、画像間演算結果判定ブロック１０９は、あらかじめ想定されるノイズパターンを先の演算結果から抽出してノイズを検出し、エラーの検知を通知する。なお、画像間演算ブロック１０８において、上記画像間演算と同時に入力フレーム映像と２フレーム遅延映像におけるエッジの多い領域を求め、先の計算結果においてノイズを検出する領域から除外することにより、ノイズの検出精度を向上させることができる。これは、エッジの多い領域はノイズと正しい映像との区別がつきにくいためである。なお、部分領域を設定し、それぞれの映像においてこの部分領域を水平走査しながら上記画像間演算を行っても良い。
【００３２】
［ラインノイズ特徴検出］
ラインノイズ特徴検出ブロック１１０は、図３（ａ）に示すように、入力フレーム映像３０３と１フレーム遅延映像３０１を用いてノイズの検出を行う。ここで、ラインノイズは横方向にエッジが並ぶ特徴があるため、ある画素のライン（図３（ａ）のライン３０１ａ，３０３ａ）とその画素の一つ下のライン（図３（ａ）のライン３０１ｂ，３０３ｂ）において画素毎に輝度値を比較し、所定の閾値以上の差があるときにそれらの画素の間に垂直エッジがあるとして検出し、その画素数を水平方向に足し込んで、ラインごとのエッジ量（エッジ画素カウント値）とする。このライン毎のエッジ量は、フレーム毎に設けられ、ライン毎に記録することができるエッジ画素カウント値記録メモリ３０２，３０４へ記録していく。以上のようにして、入力フレーム映像３０３と１フレーム遅延映像３０１の全てのラインに対してライン毎のエッジ量が記録されると、ラインノイズ判定ブロック１１１は、入力フレーム映像３０３と１フレーム遅延映像３０１との間で、ライン毎のエッジ画素カウント値記録メモリ３０２，３０４の値を比較し、１フレーム遅延映像３０１に対して入力フレーム映像３０３のエッジ量が急激に増えているラインをラインノイズ候補とする。
【００３３】
また、もともと斜めの線がその近辺にあり、それがたまたま水平に変化することも考えられる為、ラインノイズ判定ブロック１１１は、上下数ラインのエッジ量の総和を求めてこれについても入力フレーム映像３０３と１フレーム遅延映像３０１の間で比較を行う。斜めの線が移動して水平になった場合には、１フレーム遅延映像３０１と入力フレーム映像３０３における上下数ラインのエッジ量の総和の変化が少なくなるからである。そして、上記でラインノイズ候補となったラインについて、上下数ラインのエッジ量の総和の差が閾値以上で明らかにラインが急激に現れたと判断される場合は、ラインノイズ発生開始としてラインごとに記録を行う。
【００３４】
ラインノイズ発生開始となっているラインについて、図３（ｂ）に示すように、ラインノイズ特徴検出ブロック１１０により、次以降の入力フレーム映像３０７と１フレーム遅延映像３０５との間でもラインのエッジ量を算出し、ライン毎のエッジ画素カウント値記録メモリ３０６，３０８に記憶させ、ラインノイズ判定ブロック１１１において、このようにして算出されたエッジ量及び、上下数ラインのエッジ量の総和の比較を行う。変化が閾値以下の場合は、継続してラインノイズが発生していると判断する。また１フレーム遅延映像３０５に比べて入力フレーム映像３０７のエッジ量が急激に減り、且つエッジ量の総和も急激に減った場合には、ラインノイズ終了候補とする。このとき、ライン毎にラインノイズが発生したフレームから終了したフレームまでのフレーム数をラインノイズ発生継続フレーム数として記憶しておく。
【００３５】
ラインノイズ判定ブロック１１１においてラインノイズ開始判定が間違っていた場合（映像中のラインをノイズと判定してしまっていた場合）にはラインの上下数ライン以内に急激なライン変化（ラインノイズ発生開始のラインが存在）が存在することになる。そのため、ラインノイズ判定ブロック１１１は、このラインノイズ発生開始のラインが上下数ライン以内に存在する場合には、ラインノイズではなかったと判断する。
【００３６】
ラインノイズ判定ブロック１１１は、以上のようにしてラインノイズ終了候補で上下数ライン以内にラインノイズ発生開始のラインが存在しない場合で、そのラインのラインノイズ発生継続フレーム数が閾値以下の時にラインノイズ発生と判断し、ＣＰＵ１２０を介して通知が行われる。
【００３７】
［ブロックノイズ特徴検出］
ブロックノイズ特徴検出部ブロック１１２は、図４に示すように入力フレーム映像４０２と１フレーム遅延映像４０１との比較を行い、入力フレーム映像４０２に四角状の領域４０４が検出された場合に、ブロック状ノイズの候補とする。そして、ブロックノイズ判定ブロック１１３は、その候補の領域内部４０４と四角領域の周辺領域４０５について比較を行い、下記の条件（１），（２）を満たした場合にノイズと判定する。（１）まず、四角領域４０４の内部輝度または色が１フレーム遅延映像４０１の同じ座標の四角領域４０３に比べて急激に変化していて、且つ四角領域の周辺領域４０５の輝度または色の変化が小さい場合で、この条件を満たす領域の数が閾値以上の場合。（２）四角領域４０４の内部輝度または色が急激に変化している場合で画像全体におけるこの条件を満たす領域の数が閾値以上の場合。なお、条件（１）の閾値は小さめに設定して、数が少なくてもノイズとすることが望ましい。また、条件（２）の閾値は大きめに設定して数が多い場合のみノイズとすることが望ましい。上記判定条件によりノイズとして検知されるとＣＰＵ１２０を介して通知が行われる。
【００３８】
具体的には以下の手順でノイズの検出が行われる。まず、ブロックノイズ特徴検出ブロック１１２は、入力フレーム映像４０２に対して、所定の大きさを有する領域（例えば、８×８画素の領域）を設定し、この領域を水平方向に１画素ずつ移動し、また、垂直方向に１画素ずつ移動させて水平走査を行い、四角領域４０４のエッジ検出を行う。入力フレーム映像４０２の左上隅から右下隅にかけて水平走査を行うと、まず、四角領域４０４の左上隅の角が検出される。すると、ブロックノイズ判定ブロック１１３は、入力フレーム映像４０２における四角領域４０４の左上側の輝度又は色の変化と周辺領域４０５の輝度又は色の変化、及び、１フレーム遅延画像４０１の同じ座標の四角領域４０３の輝度又は色の変化を取得する。そして、水平走査を続け、四角領域４０３，４０４及び周辺領域４０５の輝度又は色を取得するとともに、四角領域の右上、左下、及び右下を検出する。そして、このようにして検出された四角領域４０４が、上記条件（１），（２）を満足するか否かを判定し、満足する場合は、領域の数のカウントを行う。最後に、検出された四角領域４０４の数をブロックノイズ判定ブロック１１３に渡し、この領域の数が上記判定条件を満たしているときは、ノイズとして検知する。このように、入力フレーム映像４０２に対して水平走査を行い四角領域４０４のエッジを見つける度に、上記判定処理を行うことにより、検出のために使うメモリのサイズを小さくすることができる。なお、検出された四角領域４０４が、水平方向で４〜５０画素、垂直方向で４〜２０画素以内のときに、ブロックノイズとして判断することにより検出精度を向上させることができる。
【００３９】
なお、以上の説明では、入力フレーム映像４０２及び１フレーム遅延映像４０１の間でブロックノイズを検出するように構成した場合について説明したが、１フレーム遅延映像と２フレーム遅延映像との間でブロックノイズを検出するように構成することも可能である。
【００４０】
［白点・黒点特徴検出］
白点・黒点ノイズ特徴検出ブロック１１４は、図５に示すように入力フレーム映像５０３と１フレーム遅延映像５０２に対して検出領域５０１による水平走査を行うことにより比較を行う。ここで、検出領域５０１は、５×３画素の領域であって、この検出領域５０１の中央にある画素Ａが白点又は黒点であるかを周囲の画素（ａ〜ｌで示している）の輝度値から判定するものである。白点・黒点ノイズ特徴検出ブロック１１４は、入力フレーム映像５０３及び１フレーム遅延映像５０２に対して検出領域５０１を水平方向に１画素ずつ移動し、また、垂直方向に１画素ずつ移動させて水平走査を行い白点及び黒点の判定を行う。なお、１フレーム遅延映像５０２では白点・黒点ノイズが検出されないが、入力フレーム映像５０３で白点・黒点ノイズが検出された場合に、ノイズとする。また、このノイズの検出は、瞬間的なものを検出したい場合は入力フレーム映像５０３と１フレーム遅延映像５０２の比較を行うが、継続のものを含めて検出したい場合には、入力フレーム映像５０３のみで検出を行う。また、厳密に継続していないことを判断する為には、２フレーム遅延映像に対しても水平走査をして、ノイズが発生していないことを条件とする。
【００４１】
白点、黒点の判定条件は以下とする。
（１）周囲の値計算
まず、上述の検出領域５０１を構成するａ〜ｌの画素の輝度値を用いて、これらの画素の輝度値の加重平均、最大値及び最小値を以下の式により求める。
加重平均 (a+b+(c*2)+d+e+(f*2)+(g*2)+h+i+(j*2)+k+l)/16 （領域）
最大値 max(a,b,c,d,e,f,g,h,i,j,k,l)
最小値 min(a,b,c,d,e,f,g,h,i,j,k,l)
（２）白点の判定
そして、判定対象の画素Ａの輝度値を、周辺画素の加重平均、最大値及び最小値と比較し、以下の条件を満足するとき、この判定対象の画素Ａを白点であると判定する。すなわち、（ｉ）最大値と最小値との差が所定の閾値以下であり、（ｉｉ）加重平均と画素Ａの輝度値との差が所定の閾値以上で且つ加重平均より画素Ａの輝度値が大きく、（ｉｉｉ）最大値と画素Ａの輝度値との差が所定の閾値以上で且つ最大値より画素Ａの輝度値が大きく、（ｉｖ）画素Ａの輝度値が所定の閾値以上の場合である。
（３）黒点の判定
同様に、判定対象の画素Ａの輝度値を、周辺画素の加重平均、最大値及び最小値と比較し、以下の条件を満足するとき、この判定対象の画素Ａを黒点であると判定する。すなわち、（ｉ）最大値と最小値との差が所定の閾値以下であり、（ｉｉ）加重平均と画素Ａの輝度値との差が所定の閾値以上で且つ加重平均より画素Ａの輝度値が小さく、（ｉｉｉ）最小値と画素Ａの輝度値との差が所定の閾値以上で且つ最小値より画素Ａの輝度値が小さく、（ｉｖ）画素Ａの輝度値が所定の閾値以下の場合である。
【００４２】
白点・黒点ノイズ判定ブロック１１５は、以上の処理により白点・黒点ノイズ特徴検出ブロック１１４により検出された白点若しくは黒点ノイズの数をカウントし、検出されたノイズの数が閾値以上の場合にノイズとして検知してＣＰＵ１２０を介して通知を行う。
【００４３】
なお、検出領域５０１の設定は図５のように、中央の画素Ａの両側の画素５０１ａ，５０１ｂを判定に使用しないようにしている。これはＨＤ（High Definition）の画像で１９２０×１０８０のサイズの画像が１４４０×１０８０の元画像から作成されている場合に水平方向に補間が行われ、白点、黒点がうまく検出できない場合があるためである。
【００４４】
［ストライプフリーズ（ストライプブラックアウト）特徴検出］
ストライプフリーズ特徴検出ブロック１１６においては、図６（ａ）に示すように、入力フレーム映像６０２及び１フレーム遅延映像６０１の比較を行い、同一の位置にあるラインの画素ごとに相関を求め、閾値以上の相関の高い画素の数が水平ラインを構成する画素数に対して閾値以上あるラインをフリーズラインとする。同時にフリーズしている画素に対する垂直方向のエッジを検出して（エッジの検出方向はラインノイズ特徴検出ブロック１１０と同じ方法を用い、水平方向に並ぶ上下の画素の輝度値を比較して求める）水平ライン方向にこのエッジ数（画素数）をカウントし、そのカウント値が閾値以上あるラインをフリーズ境界ラインとする。
【００４５】
ストライプフリーズ判定ブロック１１７は、フリーズラインが閾値以上でフリーズ境界ラインが閾値以上ある場合にストライプ状フリーズとして検知してＣＰＵ１２０を介して通知を行う。
【００４６】
またストライプ状のブラックアウトについても、上記と同じような検出が可能である。図６（ｂ）に示すように、入力フレーム映像又はその他の遅延フレーム映像６０４において、黒画素が閾値以上あるラインをブラックラインとして、その境界エッジを求めて、閾値以上のものをブラック境界ラインとし、ブラックラインが閾値以上で、ブラック境界ラインが閾値以上のものをストライプ状ブラックアウトとして検知してＣＰＵ１２０を介して通知する。ただし、ストライプ上のブラックアウトは複数のフレームでなくても検知可能である。
【００４７】
［ショートラインノイズ特徴検出］
ショートラインノイズ特徴検出ブロック１１８は、図７に示すように入力フレーム映像７０３と１フレーム遅延映像７０２及び２フレーム遅延映像７０１のそれぞれに対して、対象画素領域７０４による水平走査を行い、以下の条件（１），（２）の両方を満たす画素数をカウントする。なお、対象画素領域７０４は、図７に示すよう２×５画素で構成し、各画素にａ〜ｊの符号を付した場合、各画素ａ〜ｊの輝度値を用いて以下の条件式により判定する。
【００４８】
（カウント画素の判定条件）
（１）(a>f+閾値 && b>g+閾値 && c>h+閾値 && d>i+閾値 && e>j+閾値）
|| (ｆ>a+閾値 && g>b+閾値 && h>c+閾値 && i>d+閾値 && j>e+閾値）
（２）条件（１）を満たす画素が水平方向に所定の長さ以上続く（例えば２画素以上１６画素以下続く）
【００４９】
次に、入力フレーム映像７０３における画素カウント値をＡとし、１フレーム遅延映像７０２における画素カウント値をＢとし、２フレーム遅延映像７０１における画素カウント値をＣとしてショートラインノイズ判定ブロック１１９にて以下の判定条件にしたがって、エラー判定を行う。すなわち、（３）Ｂ＞Ａ＋閾値を満足し、（４）Ｂ＞Ｃ＋閾値を満足するときショートラインノイズが発生していると判定する。ここで、この判定は、瞬間的に、短い水平方向のラインが急激に増えた場合を検出するものとなっている。なお、本実施形態においては、３つのフレーム７０１〜７０３から同時に短い水平方向のラインに属する画素数をカウントしているが、例えば、入力フレーム映像７０３についてのみ画素のカウントを行い、そのカウント値を遅延させることでも、同じことを実現することは可能である。以上の判定条件に基づいてショートラインノイズ判定ブロック１１９が判定したエラーはＣＰＵ１２０を介して通知される。
【符号の説明】
【００５０】
１００ 映像ノイズ検知装置 １０１ メモリコントローラ（フレーム出力部）
１０４ 判定情報算出部 １０５ ノイズ判定部
【特許請求の範囲】
【請求項１】
入力された映像信号を構成する任意のフレームである入力フレーム映像、当該入力フレーム映像より所定のフレーム数だけ前のフレームである第１のフレーム映像、及び、当該第１のフレーム映像より所定のフレーム数だけ前のフレームである第２のフレーム映像を出力するフレーム出力部と、
前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像に基づいてノイズ判定情報を算出する判定情報算出部と、
前記判定情報算出部で算出された前記ノイズ判定情報に基づいて前記映像信号に含まれるノイズを判定するノイズ判定部と、を有する映像ノイズ検知装置。
【請求項２】
前記判定情報算出部は、同一座標に設定された部分領域により、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像を走査して、当該部分領域間の部分相関を算出し、
前記ノイズ判定部は、前記部分相関に基づいて前記ノイズを判定することを特徴とする請求項１に記載の映像ノイズ検知装置。
【請求項３】
前記ノイズ判定部は、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像を走査したときに、ノイズを検出した前記部分領域の数をカウントし、前記部分領域の数が所定の閾値以上の場合にノイズとして検出することを特徴とする請求項２に記載の映像ノイズ検知装置。
【請求項４】
前記ノイズ判定部は、前記入力フレーム映像と前記第２のフレーム映像との間の前記部分相関は高く、且つ、前記入力フレーム映像と前記第１のフレーム映像との間の前記部分相関が低い場合に、ノイズとして検出することを特徴とする請求項３に記載の映像ノイズ検知装置。
【請求項５】
前記ノイズ判定部は、前記入力フレーム映像と前記第２のフレーム映像との間の前記部分相関が高く、且つ、前記入力フレーム映像と前記第１のフレーム映像との間の前記部分相関が低い場合に、予め想定されるノイズパターンと前記第１のフレーム映像の前記部分領域との相関を求め、当該相関が高い場合にノイズとして検出することを特徴とする請求項３に記載の映像ノイズ検知装置。
【請求項６】
前記ノイズ判定部は、前記入力フレーム映像と前記第２のフレーム映像との間の前記部分相関が低く、且つ、前記入力フレーム映像と前記第１のフレーム映像との間の前記部分相関に予め想定される特徴パターンがある場合にノイズとして検出することを特徴とする請求項３に記載の映像ノイズ検知装置。
【請求項７】
前記ノイズ判定部は、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像との間の前記部分相関に予め想定される特徴パターンがある場合にノイズとして検出することを特徴とする請求項３に記載の映像ノイズ検知装置。
【請求項８】
前記判定情報算出部は、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像の間の全体相関を算出し、
前記ノイズ判定部は、前記全体相関が所定の閾値より小さい場合に、前記部分相関によるノイズ判定を行わないことを特徴とする請求項２〜７いずれか一項に記載の映像ノイズ検知装置。
【請求項９】
前記判定情報算定部は、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像の同一座標の画素毎に当該画素の輝度値を用いて、(入力フレーム映像＋第２のフレーム映像)−(第１のフレーム映像)×２の演算を行い、
前記ノイズ判定部は、前記演算結果から予め想定されるノイズパターンを抽出してノイズ判定を行うことを特徴とする請求項１に記載の映像ノイズ検知装置。
【請求項１０】
前記判定情報算定部は、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像からそれぞれの特徴量を算出し、
前記ノイズ判定部は、前記特徴量を比較してノイズ判定を行うことを特徴とする請求項１に記載の映像ノイズ検知装置。
【請求項１１】
前記判定情報算定部は、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像のうちいずれか２つの映像を選択し、それぞれの映像において、水平ライン毎にラインノイズの特徴となる垂直エッジ画素数の総和及び上下の複数の前記水平ラインとの関係を前記特徴量として算出することを特徴とする請求項１０に記載の映像ノイズ検知装置。
【請求項１２】
前記判定情報算定部は、前記入力フレーム映像若しくは前記第１のフレーム映像においてブロック状のノイズの特徴となる四角領域を検出し、前記入力フレーム映像若しくは前記第１のフレーム映像における前記四角領域の内部及び周辺領域と、当該映像より遅延された前記映像における前記四角領域に対応する領域の内部及び周辺領域との相関関係を前記特徴量として算出することを特徴とする請求項１０に記載の映像ノイズ検知装置。
【請求項１３】
前記判定情報算定部は、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像毎にショートラインノイズの特徴である短く連続する垂直エッジを検出し、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像の間の前記垂直エッジの総量の変化を前記特徴量として算出することを特徴とする請求項１０に記載の映像ノイズ検知装置。
【請求項１】
入力された映像信号を構成する任意のフレームである入力フレーム映像、当該入力フレーム映像より所定のフレーム数だけ前のフレームである第１のフレーム映像、及び、当該第１のフレーム映像より所定のフレーム数だけ前のフレームである第２のフレーム映像を出力するフレーム出力部と、
前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像に基づいてノイズ判定情報を算出する判定情報算出部と、
前記判定情報算出部で算出された前記ノイズ判定情報に基づいて前記映像信号に含まれるノイズを判定するノイズ判定部と、を有する映像ノイズ検知装置。
【請求項２】
前記判定情報算出部は、同一座標に設定された部分領域により、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像を走査して、当該部分領域間の部分相関を算出し、
前記ノイズ判定部は、前記部分相関に基づいて前記ノイズを判定することを特徴とする請求項１に記載の映像ノイズ検知装置。
【請求項３】
前記ノイズ判定部は、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像を走査したときに、ノイズを検出した前記部分領域の数をカウントし、前記部分領域の数が所定の閾値以上の場合にノイズとして検出することを特徴とする請求項２に記載の映像ノイズ検知装置。
【請求項４】
前記ノイズ判定部は、前記入力フレーム映像と前記第２のフレーム映像との間の前記部分相関は高く、且つ、前記入力フレーム映像と前記第１のフレーム映像との間の前記部分相関が低い場合に、ノイズとして検出することを特徴とする請求項３に記載の映像ノイズ検知装置。
【請求項５】
前記ノイズ判定部は、前記入力フレーム映像と前記第２のフレーム映像との間の前記部分相関が高く、且つ、前記入力フレーム映像と前記第１のフレーム映像との間の前記部分相関が低い場合に、予め想定されるノイズパターンと前記第１のフレーム映像の前記部分領域との相関を求め、当該相関が高い場合にノイズとして検出することを特徴とする請求項３に記載の映像ノイズ検知装置。
【請求項６】
前記ノイズ判定部は、前記入力フレーム映像と前記第２のフレーム映像との間の前記部分相関が低く、且つ、前記入力フレーム映像と前記第１のフレーム映像との間の前記部分相関に予め想定される特徴パターンがある場合にノイズとして検出することを特徴とする請求項３に記載の映像ノイズ検知装置。
【請求項７】
前記ノイズ判定部は、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像との間の前記部分相関に予め想定される特徴パターンがある場合にノイズとして検出することを特徴とする請求項３に記載の映像ノイズ検知装置。
【請求項８】
前記判定情報算出部は、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像の間の全体相関を算出し、
前記ノイズ判定部は、前記全体相関が所定の閾値より小さい場合に、前記部分相関によるノイズ判定を行わないことを特徴とする請求項２〜７いずれか一項に記載の映像ノイズ検知装置。
【請求項９】
前記判定情報算定部は、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像の同一座標の画素毎に当該画素の輝度値を用いて、(入力フレーム映像＋第２のフレーム映像)−(第１のフレーム映像)×２の演算を行い、
前記ノイズ判定部は、前記演算結果から予め想定されるノイズパターンを抽出してノイズ判定を行うことを特徴とする請求項１に記載の映像ノイズ検知装置。
【請求項１０】
前記判定情報算定部は、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像からそれぞれの特徴量を算出し、
前記ノイズ判定部は、前記特徴量を比較してノイズ判定を行うことを特徴とする請求項１に記載の映像ノイズ検知装置。
【請求項１１】
前記判定情報算定部は、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像のうちいずれか２つの映像を選択し、それぞれの映像において、水平ライン毎にラインノイズの特徴となる垂直エッジ画素数の総和及び上下の複数の前記水平ラインとの関係を前記特徴量として算出することを特徴とする請求項１０に記載の映像ノイズ検知装置。
【請求項１２】
前記判定情報算定部は、前記入力フレーム映像若しくは前記第１のフレーム映像においてブロック状のノイズの特徴となる四角領域を検出し、前記入力フレーム映像若しくは前記第１のフレーム映像における前記四角領域の内部及び周辺領域と、当該映像より遅延された前記映像における前記四角領域に対応する領域の内部及び周辺領域との相関関係を前記特徴量として算出することを特徴とする請求項１０に記載の映像ノイズ検知装置。
【請求項１３】
前記判定情報算定部は、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像毎にショートラインノイズの特徴である短く連続する垂直エッジを検出し、前記入力フレーム映像、前記第１のフレーム映像及び前記第２のフレーム映像の間の前記垂直エッジの総量の変化を前記特徴量として算出することを特徴とする請求項１０に記載の映像ノイズ検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−２２８９７５（Ｐ２０１１−２２８９７５Ａ）
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願番号】特願２０１０−９７５５０（Ｐ２０１０−９７５５０）
【出願日】平成２２年４月２１日（２０１０．４．２１）
【出願人】（５９２２１７０９３）株式会社ニコンシステム (102)
【Ｆターム（参考）】
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願日】平成２２年４月２１日（２０１０．４．２１）
【出願人】（５９２２１７０９３）株式会社ニコンシステム (102)
【Ｆターム（参考）】
[ Back to top ]