説明

ノイズ検知装置、再生装置、およびノイズ検知プログラム

【課題】 画像に含まれる固有のノイズを、的確に自動で検知するための手段を提供すること。
【解決手段】 処理の対象となる対象画像の情報を取得する取得部と、対象画像に基づいて、検知対象のノイズに関する特徴量を算出する算出部と、検知対象のノイズの形状と、明るさに関する情報と、色に関する情報との少なくとも1つと、特徴量とに基づいて、対象画像に検知対象のノイズが含まれるか否かの判定を行う判定部とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ノイズ検知装置、再生装置、およびノイズ検知プログラムに関する。
【背景技術】
【0002】
画像においては、特定の要因に起因する固有のノイズが発生することが知られている。例えば、動画像に発生する固有のノイズの要因としては、動画像の撮影の際や、動画像を複数の機材間で複製する際の機械的な要因、ソフトウェア上の要因などが考えられる。何れの場合であっても、このようなノイズは、目視により検知せざるを得ず、検知に時間や手間を要するという問題がある。また、上述したノイズは瞬間的に(例えば数フレームのみ)発生する場合も多く、慎重に確認を行わないと見逃しが発生する場合もある。
【0003】
そこで、このようなノイズの検知を自動化することが考えられている。例えば、特許文献1の発明では、映像信号自身より映像情報成分の異常を自動的に検知する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平9−46733号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1の発明は、映像のフリーズ状態およびシーンチェンジを検出するものに過ぎず、上述したノイズの検知のような細かい検出を行うことはできない。
【0006】
本発明の目的は、画像に含まれる固有のノイズを、的確に自動で検知するための手段を提供することにある。
【課題を解決するための手段】
【0007】
一の態様のノイズ検知装置は、処理の対象となる対象画像の情報を取得する取得部と、前記対象画像に基づいて、検知対象のノイズに関する特徴量を算出する算出部と、前記検知対象のノイズの形状と、明るさに関する情報と、色に関する情報との少なくとも1つと、前記特徴量とに基づいて、前記対象画像に前記検知対象のノイズが含まれるか否かの判定を行う判定部とを備える。
【0008】
なお、前記算出部は、前記特徴量として、輝度と明度との少なくとも一方を算出し、前記判定部は、前記特徴量と、前記明るさに関する情報とに基づいて、前記対象画像に前記検知対象のノイズが含まれるか否かの判定を行っても良い。
【0009】
また、前記算出部は、前記特徴量として、RGB値と、彩度と、色相と、色差とのうち少なくとも1つを算出し、前記判定部は、前記特徴量と、前記色に関する情報とに基づいて、前記対象画像に前記検知対象のノイズが含まれるか否かの判定を行っても良い。
【0010】
また、前記算出部は、前記特徴量として、少なくとも前記彩度を算出し、前記判定部は、前記彩度と、前記色に関する情報とに基づいて、前記対象画像に前記検知対象のノイズが含まれるか否かの判定を行っても良い。
【0011】
また、前記算出部は、前記特徴量として、少なくとも前記色相を算出し、前記判定部は、前記色相と、前記色に関する情報とに基づいて、前記対象画像に前記検知対象のノイズが含まれるか否かの判定を行っても良い。
【0012】
また、前記検出対象のノイズは、ブロック形状を有しても良い。
【0013】
また、前記検出対象のノイズは、一辺が8画素の正方形形状、または、一辺が8画素で他辺が16画素の長方形形状を有しても良い。
【0014】
また、前記取得部は、前記対象画像として、複数のフレームからなる動画像の情報を取得し、前記算出部は、前記複数のフレームのそれぞれについて前記特徴量を算出し、前記判定部は、前記複数のフレームのそれぞれについて前記検知対象のノイズが含まれるか否かの判定を行っても良い。
【0015】
一の態様の再生装置は、画像を記録する記録部と、前記画像を再生する再生部と、上述した何れかのノイズ検知装置とを備え、前記取得部は、前記対象画像の情報を前記記録部から取得する。
【0016】
一の態様のノイズ検知プログラムは、処理の対象となる対象画像の情報を取得する取得処理と、前記対象画像に基づいて、検知対象のノイズに関する特徴量を算出する算出処理と、前記検知対象のノイズの形状と、明るさに関する情報と、色に関する情報との少なくとも1つと、前記特徴量とに基づいて、前記対象画像に前記検知対象のノイズが含まれるか否かの判定を行う判定処理とをコンピュータに実行させる。
【発明の効果】
【0017】
本発明によれば、画像に含まれる固有のノイズを、的確に自動で検知するための手段を提供することができる。
【図面の簡単な説明】
【0018】
【図1】ノイズ検知装置の構成例を示すブロック図
【図2】検知対象となるノイズについて説明する図
【図3】ブロックノイズα検知時のノイズ検知装置の動作例を示す流れ図
【図4】ブロックノイズαの検知について説明する図
【発明を実施するための形態】
【0019】
図1は、実施形態でのノイズ検知装置の構成例を示すブロック図である。ノイズ検知装置には、処理の対象となる画像(対象画像)について、ノイズを検知するためのノイズ検知プログラムが予めインストールされる。以下では、対象画像として、動画像におけるノイズを検知する場合を例に挙げて説明する。なお、対象画像が静止画像である場合にも、同様の処理を行えばよい。
【0020】
また、対象動画像はどのようなものであっても良い。例えば、デジタル画像を生成可能な撮像装置により生成されたものであっても良いし、アナログの動画像の画像データをデジタルデータに変換したものであっても良いし、ビデオテープなどに記録された動画像をデジタルデータに変換したものであっても良い。また、コンピュータなどにより作成された動画像であっても良い。
【0021】
また、以下では、対象動画像の全フレームをノイズ検知の対象として処理を行う例を示すが、対象動画像の一部のフレームのみをノイズ検知の対象として処理を行っても良い。この場合、ノイズ検知の対象となるフレームは、ユーザ操作に基づいて指定されても良いし、対象動画像の情報などに基づいて自動で指定されても良い。
【0022】
図1に示すノイズ検知装置11は、ノイズ検知部13、CPU14、アラーム出力部15および入出力I/F16、バス17を有している。CPU14は、入出力I/F16と相互に接続される。また、ノイズ検知部13の出力は、バス17を介してCPU14に接続される。さらに、アラーム出力部15は、CPU14により制御される。
【0023】
ノイズ検知装置11に入力された対象動画像の画像データは、ノイズ検知部13に入力される。ノイズ検知部13に入力される対象画像の画像データは、YCbCr形式の画像データとする。さらに、ノイズ検知装置11には、入出力I/F16を介して、不図示の入力デバイス(キーボード、ポインティングデバイスなど)やモニタ、LAN接続のためのネットワークケーブルなどが接続されている。
【0024】
また、ノイズ検知装置11は、不図示の記憶装置(例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される)を備える。この記憶装置には、画像処理プログラムや、プログラムの実行に必要となる各種のデータが記録されている。
【0025】
CPU14は、ノイズ検知装置11の各部を統括的に制御するプロセッサである。また、アラーム出力部15は、スピーカ、モニタ、ランプなどの報知部材を備え、ノイズ検知部13による検知結果をユーザに報知する。
【0026】
以上説明した構成のノイズ検知装置11は、予め定められた固有のノイズを検知する。検知の対象となるノイズはどのようなものであっても良いが、以下では、3種類のノイズ(ブロックノイズα〜ブロックノイズγ)を例に挙げて説明する。
【0027】
図2は、上述した3種類のノイズを説明する図である。
【0028】
ブロックノイズαは、その周囲と比較して、輝度差が大きい矩形のノイズである。ブロックノイズβは、その周囲と比較して、彩度が相対的に低い矩形のノイズである。そのため、ブロックノイズβは、略無色のブロックノイズである。ブロックノイズγは、黄色から緑色の色味を有する矩形のノイズである。
【0029】
また、上述した3種類のノイズは、全て、図2に示すように、ブロック状に発生するノイズである。以下では、一例として、拡大図E1に示す正方形形状のノイズ(ブロックノイズαa〜ブロックノイズγa)と、拡大図E2に示す長方形形状のノイズと(ブロックノイズαb〜ブロックノイズγb)を例に挙げて説明する。また、以下では、一例として、拡大図E1に示す正方形形状のノイズは一辺が8画素のサイズであり、拡大図E2に示す長方形形状のノイズは一辺が8画素で他辺が16画素である場合を例にあげて説明を行う。
【0030】
なお、上述した8画素とは、MPEG2やH.264などの圧縮処理における処理単位に対応するサイズである。また、上述した3種類のノイズは、1から3フレーム程度のフレームのみに突発的に発生する場合が多い。
【0031】
ノイズ検知部13は、図1に示すように、色空間変換部21、ラインメモリ部22、ブロックノイズαを検知するブロックノイズα検知部23、ブロックノイズβを検知するブロックノイズβ検知部24、ブロックノイズγを検知するブロックノイズγ検知部25を有する。
【0032】
色空間変換部21には、上述したYCbCr形式の画像データが入力される。色空間変換部は、このYCbCr形式の画像データに対して公知の色空間変換処理を行い、HSV形式の画像データを生成する。そして、色空間変換部21は、上述したYCbCr形式の画像データのうち、Y成分(輝度成分)に相当するY信号と、HSV形式の画像データのうち、S成分(彩度成分)に相当するS信号と、H成分(色相成分)に相当するH信号とをラインメモリ部22に出力する。
【0033】
ラインメモリ部22は、ブロックノイズα検知部23に対して、上述したY信号を2ライン分ずつ出力する。また、ラインメモリ部22は、ブロックノイズβ検知部24に対して、上述したS信号を1ライン分ずつ出力する。また、ラインメモリ部22は、ブロックノイズγ検知部25に対して、上述したH信号を2ライン分ずつ出力する。
【0034】
次に、各部におけるノイズの検知の詳細について説明する。
【0035】
まず、図3の流れ図を参照しつつ、ブロックノイズα検知部23におけるブロックノイズαの検知の動作例を説明する。ブロックノイズα検知部23は、検知対象であるブロックノイズα(αaおよびαb)の特徴に応じて、エッジ検出と輝度レベル検出とを組み合わせて行うことにより、ブロックノイズαを検知する。
【0036】
なお、図3の流れ図の処理は、ユーザによるプログラム実行指示に応じて、各部がノイズ検知プログラムを実行することで開始される。
【0037】
(ステップS101)
ノイズ検知部13は、ユーザにより指定された対象動画像の1フレームの画像データを取得する。取得した1フレームの画像データは、図1に示すように、ラインメモリ部22を介して、ブロックノイズα検知部23に入力される。なお、このときに、ブロックノイズα検知部23には、Y成分(輝度成分)に相当するY信号が2ライン分ずつ入力される。
【0038】
(ステップS102)
ブロックノイズα検知部23は、上部エッジが存在するか否かを判定する。ブロックノイズα検知部23は、上部エッジが存在すると判定すると、ブロックノイズ候補が存在すると見なしてステップS103に進み、上部エッジが存在しないと判定すると、ブロックノイズ候補が存在しないと見なして後述するステップS114に進む。
【0039】
図4Aに、上部エッジの一例として上部エッジETを示す。上部エッジETは、上述したブロックノイズ候補の上辺に相当する。ブロックノイズα検知部23は、上述した2ラインのY信号に基づき、上下に隣接する画素のY信号の値を比較し、Y信号の差が所定の閾値より大きい場合には、「上部エッジが存在する可能性あり」と見なし、さらに、右隣に隣接する画素において、上下に隣接する画素のY信号の値を比較する。同様の処理を繰り返し、所定の長さ(例えば、8画素)の画素に渡って、上下に隣接する画素のY信号の差が所定の閾値より大きい場合には、ブロックノイズα検知部23は、上部エッジが存在すると判定する。なお、以下では、上部エッジの左端(ブロックノイズ候補の左上端)の画素位置を位置PEと称する。
【0040】
(ステップS103)
ブロックノイズα検知部23は、ステップS102において上部エッジが存在すると判定すると、上部エッジが存在することを示すフラグFu=1として、ステップS104に進む。
【0041】
(ステップS104)
ブロックノイズα検知部23は、左部エッジが存在するか否かを判定する。ブロックノイズα検知部23は、左部エッジが存在すると判定すると、ブロックノイズ候補が左辺においても正しいと見なしてステップS105に進み、左部エッジが存在しないと判定すると、ステップS102において存在すると判定したブロック候補が誤りであったと見なして後述するステップS112に進む。
【0042】
図4Aに、左部エッジの一例として左部エッジELを示す。ブロックノイズα検知部23は、現在読み出しているラインのうち、最も下のライン(読み出しているラインが第nラインおよび第(n+1)ラインであった場合には、第(n+1)ライン)のY信号のうち、画素位置PE(または、画素位置PEの下側に隣接する画素)を対象画素として、左右に隣接する画素のY信号の値を比較し、Y信号の差が所定の閾値より大きい場合には、左部エッジが存在すると判定する。
【0043】
(ステップS105)
ブロックノイズα検知部23は、ブロック内レベルが、所定の条件を満たしているか否かを判定する。ブロックノイズα検知部23は、ブロック内レベルが所定の条件を満たしていると判定するとステップS106に進み、ブロック内レベルが所定の条件を満たしていないと判定すると後述するステップS112に進む。
【0044】
ブロック内レベルとは、図4Bに示すブロック内エリアEi内における画素のY信号のレベルを示す。ブロック内エリアEiは、図4Bに示すように、位置PEを左上端とした8画素四方の正方形領域に対応する。ブロックノイズα検知部23は、ステップS104において左部エッジを検出したラインにおいて、対象画素を順次右方向に移動し、各画素におけるY信号のレベルが所定のレベルよりも高いか否かを判定する。ステップS102において存在すると判定したブロック候補が正しい場合には、上述したブロック内エリアEi内における画素のY信号は、常に所定のレベルより高くなるはずである。
【0045】
なお、判定に用いる所定のレベルは、ブロックノイズαの特性に応じて予め定めることができる。ブロックノイズα検知部23は、ステップS104において左部エッジを検出したラインにおいて、ブロック内エリアEi内に存在する全ての画素のY信号のレベルが所定のレベルよりも高い場合には、ブロック内レベルが所定の条件を満たしていると判定し、1画素でもY信号のレベルが所定のレベルよりも低い場合には、ブロック内レベルが所定の条件を満たしていないと判定する。
【0046】
なお、ステップS105において、ブロック内レベルが、所定の条件を満たしているか否かを判定する際に、図4Bに示したブロック内エリアEiを、位置PEを左上端とし、横方向に8画素、縦方向に16画素の長方形領域(ブロックノイズαbに相当する領域)としても良い。
【0047】
(ステップS106)
ブロックノイズα検知部23は、右部エッジ(1)が存在するか否かを判定する。右部エッジ(1)とは、図2を参照して説明したブロックノイズαのうち、正方形形状のノイズであるブロックノイズαaの右辺に相当するエッジである。ブロックノイズα検知部23は、ステップS104で説明した左部エッジと同様に、右部エッジ(1)が存在するか否かを判定する。そして、ブロックノイズα検知部23は、右部エッジ(1)が存在すると判定すると、ブロックノイズ候補が右辺においても正しいと見なして後述するステップS108に進み、右部エッジ(1)が存在しないと判定すると、ステップS107に進む。図4Aに、右部エッジ(1)の一例として右部エッジER(1)を示す。
【0048】
(ステップS107)
ブロックノイズα検知部23は、右部エッジ(2)が存在するか否かを判定する。右部エッジ(2)とは、図2を参照して説明したブロックノイズαのうち、長方形形状のノイズであるブロックノイズαbの右辺に相当するエッジである。ブロックノイズα検知部23は、ステップS104で説明した左部エッジと同様に、右部エッジ(2)が存在するか否かを判定する。そして、ブロックノイズα検知部23は、右部エッジ(2)が存在すると判定すると、ブロックノイズ候補が右辺においても正しいと見なしてステップS108に進み、右部エッジ(2)が存在しないと判定すると、ステップS102において存在すると判定したブロック候補が誤りであったと見なして後述するステップS112に進む。
【0049】
図4Aに、右部エッジ(2)の一例として右部エッジER(2)を示す。ブロックノイズα検知部23は、ステップS106およびステップS107の判定により、図2を参照して説明した2種類のノイズ(ブロックノイズαaおよびブロックノイズαb)を検知することができる。
【0050】
(ステップS108)
ブロックノイズα検知部23は、ステップS104において左部エッジが存在すると判定し、ステップS106またはステップS107において右部エッジが存在すると判定すると、左右にエッジが存在することを示すフラグFs=1として、ステップS109に進む。
【0051】
(ステップS109)
ブロックノイズα検知部23は、ステップS104からステップS108の処理をLライン分終了したか否かを判定する。そして、ブロックノイズα検知部23は、Lライン分終了したと判定すると、後述するステップS111に進み、Lライン分終了していないと判定すると、ステップS110に進む。
【0052】
ここで、Lとは、図2を参照して説明した2種類のノイズ(ブロックノイズαbおよびブロックノイズαb)の縦方向の長さ(画素数)に対応する値(ここではL=8)である。ブロックノイズα検知部23は、ステップS104において左部エッジが存在すると判定し、かつ、ステップS106またはステップS107において右部エッジが存在すると判定した場合に、不図示のカウンタの値を増やし、このカウンタの値がLとなった時点で、ステップS104からステップS108の処理をLライン分終了したと判定する。
【0053】
なお、上述したLの値に、上下の誤差を持たせて判定を行っても良い。すなわち、検知の対象としているブロックノイズαは、上下方向に8画素の大きさを有する前提で検知を行うが、実際には、多少の誤差(例えば、6画素から10画素など)を有する場合がある。そこで、上述したLの値に幅を持たせることにより、多少の誤差を有するノイズについても同様に検知することが可能である。また、ステップS106およびステップS107において説明した右部エッジについても同様に左右に誤差を持たせて判定を行っても良い。
【0054】
(ステップS110)
ブロックノイズα検知部23は、次のラインを検知対象として、ステップS104に戻る。
【0055】
(ステップS111)
ブロックノイズα検知部23は、下部エッジが存在するか否かを判定する。ブロックノイズα検知部23は、下部エッジが存在すると判定すると、ブロックノイズ候補が下辺においても正しいと見なして後述するステップS113に進み、下部エッジが存在しないと判定すると、ステップS102において存在すると判定したブロック候補が誤りであったと見なしてステップS112に進む。
【0056】
図4Aに、下部エッジの一例として下部エッジEBを示す。下部エッジEBは、上述したブロックノイズ候補の下辺に相当する。ブロックノイズα検知部23は、上述した上部エッジと同様に、2ラインのY信号に基づき、下部エッジが存在するか否かを判定する。
【0057】
(ステップS112)
ブロックノイズα検知部23は、ステップS102において存在すると判定したブロック候補が誤りであった場合(ステップS104NO、ステップS105NO、ステップS107NO、ステップS111NOの何れか)には、検知対象を位置PEに戻して、ステップS102に戻る。すなわち、ブロックノイズα検知部23は、ステップS102において検出したブロック候補が誤りであったと見なし、ブロック候補の左上端である位置PEに戻り、次の画素を対象としてステップS102以降の処理を行う。
【0058】
(ステップS113)
ブロックノイズα検知部23は、判別内容として、ステップS101で読み出した1フレームの画像データに、ブロックノイズαが存在することを示す情報を、バス17を介してCPU14に出力する。なお、ブロックノイズα検知部23は、ステップS106およびステップS107の判定結果に応じて、存在するブロックノイズαが、ブロックノイズαaおよびブロックノイズαbのどちらであるかを示す情報を、上記情報に含める。
【0059】
(ステップS114)
CPU14は、ステップS102からステップS113の処理を、ライン右端まで(1ライン分)行ったか否かを判定する。CPU14は、ライン右端まで行ったと判定すると、ステップS115に進み、ライン右端まで行っていないと判定すると、ステップS102に戻り、位置PEの次の画素を対象としてステップS102以降の処理を行う。
【0060】
(ステップS115)
CPU14は、ステップS102からステップS114の処理を、1フレーム分行ったか否かを判定する。CPU14は、1フレーム分終了したと判定すると、後述するステップS117に進み、1フレーム分終了していないと判定すると、ステップS116に進む。
【0061】
(ステップS116)
ブロックノイズα検知部23は、次のラインを検知対象として、ステップS102に戻る。すなわち、ブロックノイズα検知部23は、図4Cに示すように、検知対象となる部分を、左から右、上から下へ順次変更して、ステップS101で読み出した1フレーム全体について、ブロックノイズαの検知を行う。
【0062】
(ステップS117)
CPU14は、ステップS102からステップS116の処理を、全フレーム分行ったか否かを判定する。CPU14は、全フレーム分終了したと判定すると一連の処理を終了し、全フレーム分終了していないと判定すると、ステップS118に進む。
【0063】
(ステップS118)
ノイズ検知部13は、次のフレームを検知対象として、ステップS101に戻る。すなわち、ステップS101においては、前回取得したフレームの次のフレームの画像データを取得する。
【0064】
次に、ブロックノイズβ検知部24におけるブロックノイズβの検知の動作例を説明する。なお、ブロックノイズβの検知は、ユーザによるプログラム実行指示に応じて、各部がノイズ検知プログラムを実行することで開始される。また、以下では、図3を用いて説明したブロックノイズα検知部23におけるブロックノイズαの検知の動作と異なる部分についてのみ説明を行う。
【0065】
(ステップS101)
ノイズ検知部13は、ブロックノイズαの検知と同様に、ユーザにより指定された対象動画像の1フレームの画像データを取得する。ただし、ブロックノイズβ検知部24には、図1に示すように、S成分(彩度成分)に相当するS信号が1ライン分ずつ入力される。
【0066】
(ステップS102)
ブロックノイズβ検知部24は、上部エッジが存在するか否かを判定する。ただし、ブロックノイズβ検知部24は、ステップS101で入力された1ライン分のS信号のうち、上部エッジETにおいて、S信号のレベルと所定のレベルとを比較することにより、上部エッジが存在するか否かを判定する。なお、判定に用いる所定のレベルは、ブロックノイズβの特性に応じて予め定めることができる。ブロックノイズβが存在する場合には、上部エッジの左端の画素のS信号は、常に所定のレベルより低くなるはずである。
【0067】
ブロックノイズβ検知部24は、S信号のレベルが所定のレベルよりも低い画素を検出すると、さらに、右隣に隣接する画素において、S信号のレベルが所定のレベルよりも低いか否かを判定する。同様の処理を繰り返し、所定の長さ(例えば、8画素)の画素に渡って、S信号のレベルが所定のレベルよりも低い場合には、ブロックノイズβ検知部24は、上部エッジが存在すると判定する。
【0068】
(ステップS103)
ブロックノイズβ検知部24は、ブロックノイズαの検知と同様の処理を行う。
【0069】
(ステップS104)
ブロックノイズβ検知部24は、左部エッジが存在するか否かを判定する。ただし、ブロックノイズβ検知部24は、ステップS102に示した上部エッジと同様に、左部エッジELにおいて、S信号のレベルと所定のレベルとを比較することにより、左部エッジが存在するか否かを判定する。
【0070】
(ステップS105)
ブロックノイズβ検知部24は、ブロック内レベルが、所定の条件を満たしているか否かを判定する。ただし、ブロックノイズβ検知部24は、各画素におけるS信号のレベルが所定のレベルよりも低いか否かを判定し、ステップS104において左部エッジを検出したラインにおいて、ブロック内エリアEi内に存在する全ての画素のS信号のレベルが所定のレベルよりも低い場合には、ブロック内レベルが所定の条件を満たしていると判定し、1画素でもS信号のレベルが所定のレベルよりも高い場合には、ブロック内レベルが所定の条件を満たしていないと判定する。
【0071】
(ステップS106)
ブロックノイズβ検知部24は、右部エッジ(1)が存在するか否かを判定する。ただし、ブロックノイズβ検知部24は、ステップS104に示した左部エッジと同様に、各画素におけるS信号のレベルと所定のレベルとを比較することにより、右部エッジ(1)が存在するか否かを判定する。
【0072】
(ステップS107)
ブロックノイズβ検知部24は、右部エッジ(2)が存在するか否かを判定する。ただし、ブロックノイズβ検知部24は、ステップS106に示した右部エッジ(1)と同様に、各画素におけるS信号のレベルと所定のレベルとを比較することにより、右部エッジ(2)が存在するか否かを判定する。
【0073】
(ステップS108〜ステップS110)
ブロックノイズβ検知部24は、ブロックノイズαの検知と同様の処理を行う。
【0074】
(ステップS111)
ブロックノイズβ検知部24は、下部エッジが存在するか否かを判定する。ただし、ブロックノイズβ検知部24は、ステップS102に示した上部エッジと同様に、下部エッジEBにおいて、S信号のレベルと所定のレベルとを比較することにより、下部エッジが存在するか否かを判定する。
【0075】
(ステップS112)
ブロックノイズβ検知部24は、ブロックノイズαの検知と同様の処理を行う。
【0076】
(ステップS113)
ブロックノイズβ検知部24は、判別内容として、ステップS101で読み出した1フレームの画像データに、ブロックノイズβが存在することを示す情報を、バス17を介してCPU14に出力する。なお、ブロックノイズβ検知部24は、ステップS106およびステップS107の判定結果に応じて、存在するブロックノイズβが、ブロックノイズβaおよびブロックノイズβbのどちらであるかを示す情報を、上記情報に含める。
【0077】
(ステップS114〜ステップS118)
ブロックノイズβ検知部24は、ブロックノイズαの検知と同様の処理を行う。
【0078】
なお、ブロックノイズβは、上述したように、S成分(彩度成分)に相当するS信号に基づいて検知される。そして、S信号の精度は、Y成分(輝度成分)に相当するY信号の精度に依存する。すなわち、Y信号のレベルが低い場合には、S信号の精度が低下し、結果として、このS信号に基づくブロックノイズβの検知精度も低下する。そのため、上述した一連のブロックノイズβの検知を行う前に、Y信号のレベルを検査(例えば、Y信号のレベルと所定の閾値との比較)し、Y信号が十分に信用に足る場合にのみ、ブロックノイズβの検知を行う構成としても良い。または、一連のブロックノイズβの検知を行う際に、Y信号のレベルを検査し、ブロックノイズβの検知結果に、Y信号の信頼性を示す情報を加味しても良い
次に、ブロックノイズγ検知部25におけるブロックノイズγの検知の動作例を説明する。なお、ブロックノイズγの検知は、ユーザによるプログラム実行指示に応じて、各部がノイズ検知プログラムを実行することで開始される。また、以下では、図3を用いて説明したブロックノイズα検知部23におけるブロックノイズαの検知の動作と異なる部分についてのみ説明を行う。
【0079】
(ステップS101)
ノイズ検知部13は、ブロックノイズαの検知と同様に、ユーザにより指定された対象動画像の1フレームの画像データを取得する。ただし、ブロックノイズγ検知部25には、図1に示すように、H成分(色相成分)に相当するH信号が2ライン分ずつ入力される。
【0080】
(ステップS102)
ブロックノイズγ検知部25は、上部エッジが存在するか否かを判定する。ただし、ブロックノイズγ検知部25は、上述した2ラインのH信号に基づき、上下に隣接する画素のH信号の値を比較し、H信号の差が所定の閾値より大きい場合には、「上部エッジが存在する可能性あり」と見なして、さらに、右隣に隣接する画素において、上下に隣接する画素のH信号の値を比較する。同様の処理を繰り返し、所定の長さ(例えば、8画素)以上の画素に渡って、上下に隣接する画素のH信号の差が所定の閾値より大きい場合には、ブロックノイズα検知部23は、上部エッジが存在すると判定する。
【0081】
(ステップS103)
ブロックノイズγ検知部25は、ブロックノイズαの検知と同様の処理を行う。
【0082】
(ステップS104)
ブロックノイズγ検知部25は、左部エッジが存在するか否かを判定する。ただし、ブロックノイズγ検知部25は、ブロックノイズβの検知と同様に、左部エッジELにおいて、H信号のレベルと所定のレベルとを比較することにより、左部エッジが存在するか否かを判定する。なお、判定に用いる所定のレベルは、ブロックノイズγの特性に応じて予め定めることができる。ブロックノイズγが存在する場合には、左部エッジELにおける画素のH信号は、常に緑から黄色の範囲内に相当する値となるはずである。ブロックノイズγ検知部25は、H信号のレベルが緑から黄色の範囲内に相当するレベルである場合には、左部エッジが存在すると判定する。
【0083】
(ステップS105)
ブロックノイズγ検知部25は、ブロック内レベルが、所定の条件を満たしているか否かを判定する。ただし、ブロックノイズγ検知部25は、各画素におけるH信号のレベルが緑から黄色の範囲内に相当するレベルであるか否かを判定し、ステップS104において左部エッジを検出したラインにおいて、ブロック内エリアEi内に存在する全ての画素のH信号のレベルが緑から黄色の範囲内に相当するレベルである場合には、ブロック内レベルが所定の条件を満たしていると判定し、1画素でもH信号のレベルが緑から黄色の範囲外に相当するレベルである場合には、ブロック内レベルが所定の条件を満たしていないと判定する。
【0084】
(ステップS106)
ブロックノイズγ検知部25は、右部エッジ(1)が存在するか否かを判定する。ただし、ブロックノイズγ検知部25は、ステップS104に示した左部エッジと同様に、各画素におけるH信号のレベルと所定のレベルとを比較することにより、右部エッジ(1)が存在するか否かを判定する。
【0085】
(ステップS107)
ブロックノイズγ検知部25は、右部エッジ(2)が存在するか否かを判定する。ただし、ブロックノイズγ検知部25は、ステップS106に示した右部エッジ(1)と同様に、各画素におけるH信号のレベルと所定のレベルとを比較することにより、右部エッジ(2)が存在するか否かを判定する。
【0086】
(ステップS108〜ステップS110)
ブロックノイズγ検知部25は、ブロックノイズαの検知と同様の処理を行う。
【0087】
(ステップS111)
ブロックノイズγ検知部25は、下部エッジが存在するか否かを判定する。ただし、ブロックノイズγ検知部25は、ステップS102に示した上部エッジと同様に、上下に隣接する画素のH信号の値を比較することにより、下部エッジが存在するか否かを判定する。
【0088】
(ステップS112)
ブロックノイズγ検知部25は、ブロックノイズαの検知と同様の処理を行う。
【0089】
(ステップS113)
ブロックノイズγ検知部25は、判別内容として、ステップS101で読み出した1フレームの画像データに、ブロックノイズγが存在することを示す情報を、バス17を介してCPU14に出力する。なお、ブロックノイズγ検知部25は、ステップS106およびステップS107の判定結果に応じて、存在するブロックノイズγが、ブロックノイズγaおよびブロックノイズγbのどちらであるかを示す情報を、上記情報に含める。
【0090】
(ステップS114〜ステップS118)
ブロックノイズγ検知部25は、ブロックノイズαの検知と同様の処理を行う。
【0091】
なお、ブロックノイズγは、上述したように、H成分(色相成分)に相当するH信号に基づいて検知される。そして、H信号の精度は、Y成分(輝度成分)に相当するY信号、および、S成分(彩度成分)に相当するS信号の精度に依存する。すなわち、Y信号やS信号のレベルが低い場合には、H信号の精度が低下し、結果として、このH信号に基づくブロックノイズγの検知精度も低下する。そのため、上述した一連のブロックノイズγの検知を行う前に、Y信号やH信号のレベルを検査(例えば、Y信号やH信号のレベルと所定の閾値との比較)し、Y信号やH信号が十分に信用に足る場合にのみ、ブロックノイズγの検知を行う構成としても良い。または、一連のブロックノイズγの検知を行う際に、Y信号やH信号のレベルを検査し、ブロックノイズγの検知結果に、Y信号やH信号の信頼性を示す情報を加味しても良い
上記のように、本実施形態のノイズ検知装置は、処理の対象となる対象画像の情報を取得し、取得した対象画像に基づいて、検知対象のノイズに関する特徴量を算出する。そして、検知対象のノイズの形状と、明るさに関する情報と、色に関する情報との少なくとも1つと、特徴量とに基づいて、対象画像に検知対象のノイズが含まれるか否かの判定を行う。
【0092】
よって、本実施形態の構成によれば、時間や手間のかかる目視による検知を行うことなく、画像に含まれる固有のノイズを、的確に自動で検知することができる。
【0093】
また、本実施形態によれば、特徴量として、輝度を算出し、輝度と、検知対象のノイズの明るさに関する情報とに基づいて、対象画像に検知対象のノイズが含まれるか否かの判定を行う。したがって、検知対象のノイズが輝度の異変を含む固有のノイズである場合に、的確に自動で検知することができる。
【0094】
また、本実施形態によれば、特徴量として、彩度および色相を算出し、特徴量と、検知対象のノイズの色に関する情報とに基づいて、対象画像に検知対象のノイズが含まれるか否かの判定を行う。したがって、検知対象のノイズが色に関する異変を含む固有のノイズである場合に、的確に自動で検知することができる。
【0095】
また、本実施形態によれば、対象画像として、複数のフレームからなる動画像の情報を取得し、複数のフレームのそれぞれについて特徴量を算出するとともに、複数のフレームのそれぞれについて検知対象のノイズが含まれるか否かの判定を行う。したがって、対象画像が動画像である場合でも、時間や手間のかかる目視による検知を行うことなく、画像に含まれる固有のノイズを、的確に自動で検知することができる。
【0096】
なお、上述した例では、ユーザによるプログラム実行指示に応じて、一連の処理を実行する例を示したが、本発明はこの例に限定されない。例えば、ノイズ検知装置11が何らかの静止画像や動画像の画像データを読み込むたびに、自動で一連の処理を実行しても良い。
【0097】
<実施形態の補足事項>
(1)上記実施形態で説明した各閾値などは一例であり本発明はこの例に限定されない。
【0098】
(2)上記実施形態のノイズ検知における各判定の方法は一例であり、本発明はこの例に限定されない。例えば、上記実施形態で説明した以外の方法でエッジ検出やレベル検出を行っても良い。
【0099】
(3)上記実施形態のノイズ検知においては、Y成分(輝度成分)に相当するY信号と、S成分(彩度成分)に相当するS信号と、H成分(色相成分)に相当するH信号との何れかに基づいてノイズの検知を行う例を示したが、本発明はこの例に限定されない。例えば、Y信号に代えて、V成分(明度成分)に相当するV信号を用いても良い。また、Y信号に加えてV信号を用いても良い。また、S信号およびH信号に代えて、CbCr成分(色差成分)に相当するCbCr信号を用いても良い。また、S信号およびH信号に加えてCbCr信号を用いても良い。さらに、上記各信号に代えてRGB信号を用いても良いし、上記各信号にRGB信号を加えて用いても良い。
【0100】
(4)上記実施形態で示したノイズ(ブロックノイズα〜ブロックノイズγ)は一例であり、本発明はこの例に限定されない。例えば、上記実施形態で示したノイズ(ブロックノイズα〜ブロックノイズγ)は、一辺が8画素の正方形形状、または、一辺が8画素で他辺が16画素の長方形形状である例を示したが、これらのブロックノイズが拡大、または、縮小されたブロックノイズ(例えば、一辺が16画素の正方形形状や、一辺が4画素で他辺が8画素の長方形形状のノイズなど)についても、本発明を同様に適用することができる。このような、拡大、または、縮小されたブロックノイズは、対象画像の編集の過程で、拡大処理、または、縮小処理が行われた際に発生する場合が多い。
【0101】
さらに、上記実施形態で説明した以外の特性を有する固有のノイズについても、本発明を同様に適用することができる。例えば、ブロック形状以外の形状の固有ノイズ(例えば、ライン状など)や、周辺より明るさが明るい固有ノイズや、緑から黄色以外の色味の固有ノイズなどについても、本発明を同様に適用することができる。
【0102】
(5)上記実施形態で説明したノイズ検知装置による処理を実行するノイズ検知プログラムも本発明の具体的態様として有効である。このノイズ検知プログラムは、磁気ディスクなどの記憶媒体に記憶されたものであっても良いし、インターネットなどを介してダウンロード可能なものであっても良い。また、上記実施形態で説明したノイズ検知装置を備えた画像処理装置、撮像装置や再生装置(例えば、フォトビューアー、デジタルフォトフレーム、各種印刷装置など)も本発明の具体的態様として有効である。上述した再生装置においては、画像の再生を行う際に一連の処理を実行する構成としても良い。
【0103】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【0104】
11…ノイズ検知装置、13…ノイズ検知部、14…CPU

【特許請求の範囲】
【請求項1】
処理の対象となる対象画像の情報を取得する取得部と、
前記対象画像に基づいて、検知対象のノイズに関する特徴量を算出する算出部と、
前記検知対象のノイズの形状と、明るさに関する情報と、色に関する情報との少なくとも1つと、前記特徴量とに基づいて、前記対象画像に前記検知対象のノイズが含まれるか否かの判定を行う判定部と
を備えることを特徴とするノイズ検知装置。
【請求項2】
請求項1に記載のノイズ検知装置において、
前記算出部は、前記特徴量として、輝度と明度との少なくとも一方を算出し、
前記判定部は、前記特徴量と、前記明るさに関する情報とに基づいて、前記対象画像に前記検知対象のノイズが含まれるか否かの判定を行う
ことを特徴とするノイズ検知装置。
【請求項3】
請求項1に記載のノイズ検知装置において、
前記算出部は、前記特徴量として、RGB値と、彩度と、色相と、色差とのうち少なくとも1つを算出し、
前記判定部は、前記特徴量と、前記色に関する情報とに基づいて、前記対象画像に前記検知対象のノイズが含まれるか否かの判定を行う
ことを特徴とするノイズ検知装置。
【請求項4】
請求項3に記載のノイズ検知装置において、
前記算出部は、前記特徴量として、少なくとも前記彩度を算出し、
前記判定部は、前記彩度と、前記色に関する情報とに基づいて、前記対象画像に前記検知対象のノイズが含まれるか否かの判定を行う
ことを特徴とするノイズ検知装置。
【請求項5】
請求項3に記載のノイズ検知装置において、
前記算出部は、前記特徴量として、少なくとも前記色相を算出し、
前記判定部は、前記色相と、前記色に関する情報とに基づいて、前記対象画像に前記検知対象のノイズが含まれるか否かの判定を行う
ことを特徴とするノイズ検知装置。
【請求項6】
請求項1から請求項5の何れか1項に記載のノイズ検知装置において、
前記検出対象のノイズは、ブロック形状を有する
ことを特徴とするノイズ検知装置。
【請求項7】
請求項6に記載のノイズ検知装置において、
前記検出対象のノイズは、一辺が8画素の正方形形状、または、一辺が8画素で他辺が16画素の長方形形状を有する
ことを特徴とするノイズ検知装置。
【請求項8】
請求項1から請求項7の何れか1項に記載のノイズ検知装置において、
前記取得部は、前記対象画像として、複数のフレームからなる動画像の情報を取得し、
前記算出部は、前記複数のフレームのそれぞれについて前記特徴量を算出し、
前記判定部は、前記複数のフレームのそれぞれについて前記検知対象のノイズが含まれるか否かの判定を行う
ことを特徴とするノイズ検知装置。
【請求項9】
画像を記録する記録部と、
前記画像を再生する再生部と、
請求項1から請求項8の何れか1項に記載のノイズ検知装置とを備え、
前記取得部は、前記対象画像の情報を前記記録部から取得する
ことを特徴とする再生装置。
【請求項10】
処理の対象となる対象画像の情報を取得する取得処理と、
前記対象画像に基づいて、検知対象のノイズに関する特徴量を算出する算出処理と、
前記検知対象のノイズの形状と、明るさに関する情報と、色に関する情報との少なくとも1つと、前記特徴量とに基づいて、前記対象画像に前記検知対象のノイズが含まれるか否かの判定を行う判定処理と
をコンピュータに実行させるノイズ検知プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate