画像処理装置及びその方法
【課題】 従来は、画像信号の全てのエッジ部分でフィルタリング処理が行われるため、モスキートノイズが発生していない部分では画像を劣化させてしまう。
【解決手段】 画像の輝度信号ブロックの水平及び垂直エッジの強度を測定し、水平及び垂直エッジ強度データを１フレーム分、エッジ強度マップメモリ１０２に記憶する。このエッジ強度データに基づいて、フィルタリング対象のブロックを特定する除去フラグを算出して除去フラグマップメモリ１０４に記憶する。フィルタ制御器１０５は、この除去フラグにより特定されるブロックに対して、現フレームに対する水平及び垂直エッジ強度データと、直前フレームの水平及び垂直エッジ強度データとに基づいて、画像の現フレームの対応する色差信号ブロックに２Ｄフィルタ１０６によるフィルタリング処理を行って出力するか否かを制御する。
【解決手段】 画像の輝度信号ブロックの水平及び垂直エッジの強度を測定し、水平及び垂直エッジ強度データを１フレーム分、エッジ強度マップメモリ１０２に記憶する。このエッジ強度データに基づいて、フィルタリング対象のブロックを特定する除去フラグを算出して除去フラグマップメモリ１０４に記憶する。フィルタ制御器１０５は、この除去フラグにより特定されるブロックに対して、現フレームに対する水平及び垂直エッジ強度データと、直前フレームの水平及び垂直エッジ強度データとに基づいて、画像の現フレームの対応する色差信号ブロックに２Ｄフィルタ１０６によるフィルタリング処理を行って出力するか否かを制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばＭＰＥＧ（Moving Picture Experts Group）方式などにより、周波数変換及び非可逆圧縮符号化された画像データを復号した画像に含まれるノイズ部分を検出して除去する画像処理装置及びその方法に関するものである。
【背景技術】
【０００２】
従来、画像の符号化方式として、フレーム内符号化方式であるMotion JPEGやデジタルビデオ等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１，Ｈ．２６３，ＭＰＥＧ−１，ＭＰＥＧ−２がある。また近年では、Ｈ．２６４等の符号化方式が知られている。これらの符号化方式は、ＩＳＯ（International Organization for Standardization：国際標準化機構）やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている。
【０００３】
符号化方式で代表的なＭＰＥＧ−２は非可逆符号化と呼ばれ、符号化画像データを復号しても完全に元の画像データに戻らない。これは符号化時に、ＤＣＴ変換の後に量子化を行うことに起因している。これら符号化方式は、画像信号の統計的な性質を利用し、その信号に含まれる冗長性を取り除くことで情報量の削減を図っている。即ち、人間の視覚は画像の高周波成分に鈍感であるため、その高周波成分を粗く量子化して冗長性を削除し、高い符号化効率を得るようにしている。
【０００４】
しかし、この種のＤＣＴ変換を行なう非可逆符号化では、高周波成分を制限することによってデータ圧縮を行っているために、画像のエッジ部、或は移動物体の周囲でモスキートノイズと呼ばれるノイズが発生し、復元した画像の画質劣化の原因となっている。このモスキートノイズを低減する方法が提案されており、例えば、入力画像信号のエッジ部を検出し、ノイズ除去フィルタによって画像信号のエッジ部をフィルタリング処理して、モスキートノイズを低減した画像信号を得る方法が提案されている。尚、その他のＭＰＥＧ等の詳細内容については、ISO/IECによる国際標準を参照されたい。
【０００５】
また、このようなノイズ除去を実行する技術として特許文献１には、色成分のノイズ除去に輝度成分の非相関成分を抽出した後、フィルタ処理し、その結果を動き検出信号としてノイズを除去することが記載されている。
【特許文献１】特開平０９−０５１５４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら上述の従来技術では、画像信号中のモスキートノイズの有無に関係無く、画像信号のエッジ部分でモスキートノイズ除去のフィルタリング処理が行われるため、モスキートノイズが発生していない部分では画像を劣化させてしまう。また、細かなエッジが含まれるテクスチャの領域があった場合、この領域をエッジと誤って判断してテクスチャの情報を削除していた。このため画質を劣化させる結果となっていた。
【０００７】
これらの問題点は、周波数変換及び非可逆圧縮符号化された画像データを復号した画像に含まれるモスキートノイズなどのノイズ部分を正確に検出することなく、画像信号のエッジ部にノイズ除去処理を施することに起因して生じていた。また画像信号の細かなエッジを含むテクスチャ領域をノイズ部分とみなしてノイズ除去処理を施していたことにも起因している。
【０００８】
更に、ノイズ除去処理の後にインターレース信号をプログレシブ信号へ変換するＩＰ変換等の処理がある場合、その処理へ悪影響を与えないようにノイズを除去する必要がある。言い換えれば、インターレースの情報を維持しつつノイズを除去する必要がある。
【０００９】
また色差信号においては、符号化歪みにより、色相が大きく変動することで別の色が発生することがあり、画質の大きな劣化要因となっていた。
【００１０】
本発明の目的は、上述した従来の問題点を解決することにある。
【００１１】
本願発明の特徴は、画像データに含まれるノイズの発生部分を的確に検出して、画像が持つテクスチャを保持しつつ、ノイズ発生部分に対してのみノイズ除去処理を施すことができる。
【課題を解決するための手段】
【００１２】
上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
画像の輝度信号ブロックにおける水平エッジ及び垂直エッジの強度を測定して水平及び垂直エッジ強度データを取得するエッジ強度測定手段と、
前記水平及び垂直エッジ強度データを前記ブロック単位に少なくとも１フレーム分記憶するエッジ強度記憶手段と、
前記エッジ強度記憶手段に記憶された各ブロック単位のエッジ強度データに基づいて、フィルタリング対象のブロックを特定する特定情報を算出する算出手段と、
前記算出手段により算出された前記特定情報を少なくとも１フレーム分記憶する記憶手段と、
前記画像の前記輝度信号ブロックに対応する色差信号ブロックにフィルタリング処理を行うフィルタ手段と、
前記記憶手段に記憶した前記特定情報により特定される前記フィルタリング対象のブロックに対して、前記エッジ強度測定手段により取得した現フレームに対する水平及び垂直エッジ強度データと、前記エッジ強度記憶手段に記憶された前記現フレームの直前フレームの水平及び垂直エッジ強度データとに基づいて、前記画像の現フレームの対応する色差信号ブロックに前記フィルタ手段によるフィルタリング処理を行って出力するか否かを制御するフィルタ制御手段と、を有することを特徴とする。
【００１３】
上記目的を達成するために本発明の一態様に係る画像処理方法は以下のような工程を備える。即ち、
画像の輝度信号ブロックにおける水平エッジ及び垂直エッジの強度を測定して水平及び垂直エッジ強度データを取得するエッジ強度測定工程と、
前記エッジ強度測定工程で取得した水平及び垂直エッジ強度データを前記ブロック単位に少なくとも１フレーム分第１メモリに記憶するエッジ強度記憶工程と、
前記第１メモリに記憶された各ブロック単位のエッジ強度データに基づいて、フィルタリング対象のブロックを特定する特定情報を算出する算出工程と、
前記算出工程で算出された前記特定情報を少なくとも１フレーム分第２メモリに記憶する記憶工程と、
前記画像の前記輝度信号ブロックに対応する色差信号ブロックにフィルタリング処理を行うフィルタ工程と、
前記第２メモリに記憶した前記特定情報により特定される前記フィルタリング対象のブロックに対して、前記エッジ強度測定工程で取得した現フレームに対する水平及び垂直エッジ強度データと、前記第１メモリに記憶された前記現フレームの直前フレームの水平及び垂直エッジ強度データとに基づいて、前記画像の現フレームの対応する色差信号ブロックに前記フィルタ工程によるフィルタリング処理を行って出力するか否かを制御するフィルタ制御工程と、
を有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、画像データに含まれるノイズの発生部分を的確に検出して、画像が持つテクスチャを保持しつつノイズ発生部分に対してのみノイズ除去処理を施すことができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１６】
図１は、本発明の実施の形態に係る画像処理装置の主要部の構成を示すブロック図である。尚、本実施の形態では、画像データの処理の単位を、画像の輝度信号の８×８画素サイズ、及び色差信号の４×４画素サイズとし、これを対象ブロックと称す。
【００１７】
図１において、水平エッジ強度測定器１００は、画像の輝度信号の１ブロックを入力し、水平方向のエッジ強度を測定する。垂直エッジ強度測定器１０１は、その画像の輝度信号の１ブロックを入力し、垂直方向のエッジ強度を測定する。本実施の形態では、処理単位の対象ブロックの画素に対するエッジ強度をＳｏｂｅｌフィルタの累積値で表す。
【００１８】
図８（Ａ）（Ｂ）は、本実施の形態で用いるＳｏｂｅｌフィルタのオペレータの一例を示す図である。図８（Ａ）は、水平エッジ強度測定器１００で使用される３×３の水平Ｓｏｂｅｌフィルタを示し、図８（Ｂ）は、垂直エッジ強度測定器１０１で使用される３×３の垂直Ｓｏｂｅｌフィルタの一例を示している。
【００１９】
エッジ強度マップメモリ（エッジ強度記憶部）１０２は、水平及び垂直エッジ強度測定器１００，１０１で測定した水平及び垂直方向のエッジ強度データを入力して、各ブロック単位に１フレーム分だけ格納する。尚、このエッジ強度マップメモリ１０２は２バンク構成であり、一方のメモリバンクに現フレームのエッジ強度データを格納しながら、他方のメモリバンクから、格納されている直前のフレームのエッジ強度データを読み出すことが可能である。このメモリバンクの切替は１フレーム処理毎に行う。除去フラグ算出器１０３は、エッジ強度マップメモリ１０２に格納された各ブロック毎のエッジ強度データから、ノイズ除去の対象ブロックかどうかを示すフラグ（特定情報）を算出する。除去フラグマップメモリ１０４は、この除去フラグ算出器１０３で算出された除去フラグを、各ブロック単位で１フレーム分だけ格納する。尚、この除去フラグマップメモリ１０４も２バンク構成であり、一方のメモリバンクに除去フラグを格納しながら他方のメモリバンクから、格納されている直前のフレームの除去フラグを読み出すことが可能である。このメモリバンクの切替は１フレーム処理毎に行う。
【００２０】
フィルタ制御器１０５は、現フレームの水平及び垂直エッジ強度データ、及び直前のフレームのエッジ強度データと、直前のフレームの除去フラグから、後述する２Ｄフィルタ１０６を適用するか否かを制御している。ここで、現フレームの水平及び垂直エッジ強度データはそれぞれ、水平エッジ強度測定器１００と垂直エッジ強度測定器１０１により測定された結果である。また直前のフレームのエッジ強度データは、エッジ強度マップメモリ１０２から読み出され、また直前のフレームの除去フラグは除去フラグマップメモリ１０４から読み出される。
【００２１】
２Ｄフィルタ１０６は、フィルタ制御器１０５からの制御信号１１０により、対象とする色差信号のブロックを入力し、フレーム内の二次元（以降、２Ｄ）フィルタ処理を実行する。
【００２２】
尚、本実施の形態では、この２Ｄフィルタ１０６にεフィルタを用いる。
【００２３】
図９は、このεフィルタ処理を説明する図である。
【００２４】
このフィルタ処理では、中心画素の画素値ｆ(x,y)とその近傍画素の画素値ｆ(x+i,y+j)，（ｘ，ｙ＝−Ｍ，...，０，１，...，Ｍ）の差分値を計算する。そして、その差分値の絶対値がεよりも大きい場合は、その近傍の画素の画素値を中心画素の画素値に置き換えて平滑化処理を行う。その結果、図９の数式で得られるｇ(x,y)では、エッジ成分を保護し、小振幅の高調波であるノイズを平滑化して抑制することができる。ここでＭは、εフィルタの画素の範囲を規定する値で、通常は「１」或は「２」（この実施の形態では「１」とする）である。またε0は、フィルタ値の範囲（平滑化対象レベル）を規定する値で、保存したエッジのレベル差よりも小さい値とし、通常は「１０」以下、本実施の形態では「５」とする。尚、このεフィルタ処理の詳細は下記文献１を参照されたい。（文献１．原島博ほか「ε−分離非線形ディジタルフィルタとその応用」電子情報通信学会、昭５７−論１４６〔Ａ−３６〕、昭和５７年４月）
セレクタ１０７は、フィルタ制御器１０５からの制御信号１１１により、２Ｄフィルタ１０６からの出力、及びフィルタ無しの信号（入力したブロックの色差信号）を選択する。
【００２５】
以上の構成を備える装置における動作を図２、図３，図５、図６のフローチャートを参照して説明する。尚、本実施の形態では、先頭フレームとそれ以外のフレームで処理を切り替えるものとする。
【００２６】
図２は、本実施の形態に係る画像処理装置における、入力した画像の先頭フレームに対する処理を説明するフローチャートである。
【００２７】
図３は、本実施の形態に係る画像処理装置における、入力した画像の先頭フレーム以降のフレームに対する処理を説明するフローチャートである。
【００２８】
まず先頭フレームの処理を図２を参照して説明する。
【００２９】
まずステップＳ１００で、入力した輝度信号のブロック（ここでは８×８画素）に対して、水平エッジ強度測定器１００で水平エッジの強度を測定する。これと並行してステップＳ１０１で、入力した輝度信号のブロックに対して垂直エッジ強度測定器１０１にて、垂直エッジの強度を測定する。そしてステップＳ１０２で、それぞれの測定値（エッジ強度データ）をエッジ強度マップメモリ１０２へ格納する。こうして先頭フレームに対する除去フラグマップを除去フラグマップメモリ１０４に格納した後、エッジ強度マップメモリ１０２のバンク切り替えを行って、ステップＳ１０２で格納したエッジ強度マップメモリ１０２からのデータを読み出し可能にする。
【００３０】
次にステップＳ１０３に進み、エッジ強度マップメモリ１０２に格納されたエッジ強度データに基づき、除去フラグ算出器１０３にて除去フラグマップを作成する。この処理は図５のフローチャートを参照して詳しく説明する。次にステップＳ１０４で、除去フラグマップメモリ１０４のバンクを切り替える。これにより、次のフレームでは、エッジ強度マップメモリ１０２及び除去フラグマップメモリ１０４の格納済みのバンクからエッジ強度データや除去フラグマップを読み出す。そして、次のフレームに対する処理では、測定したエッジ強度データや、計算した除去フラグマップが、各対応するメモリの他方のバンクに格納されることになる。
【００３１】
以上の処理により、入力した画像の先頭フレームでは、エッジ強度マップメモリ１０２及び除去フラグマップメモリ１０４への格納処理のみを行い、ノイズ除去のためのフィルタ制御は行わない。
【００３２】
次に先頭フレーム以降のフレームに対する処理について、図３を参照して説明する。このフレームでは、前述の図２の先頭フレームに対する処理（Ｓ１００〜Ｓ１０４）に、ステップＳ２００〜Ｓ２０３で示す処理が追加されたものとなる。従って、ここではこれら追加されたステップＳ２００〜Ｓ２０３について説明する。
【００３３】
ステップＳ１０２で、現フレームのエッジ強度をエッジ強度マップメモリ１０２へ格納した後、ステップＳ２００で、エッジ強度マップメモリ１０２に格納された直前のフレームのブロック毎のエッジ強度データを読み出す。またステップＳ２０１で、除去フラグマップメモリ１０４に格納された直前のフレームのブロック毎の除去フラグマップ（ノイズ除去対象ブロック）を読み出す。次にステップＳ２０２に進み、これら直前のフレームのエッジ強度データと除去フラグマップから、２Ｄフィルタ１０６の制御信号１１０及びセレクタ１０７の制御信号１１１を生成する。そしてステップＳ２０３で、これら制御信号１１０，１１１によりノイズ除去フィルタ処理を実行する。次にステップＳ１０３で、エッジ強度マップメモリ１０２に記憶された現フレームのエッジ強度データに基づいて、現フレームに対する除去フラグマップを生成する。そしてこれ以降の処理は図２と同様であるため、その説明を省略する。
【００３４】
図４（Ａ）〜（Ｃ）は、本実施の形態に係るエッジ強度マップメモリ１０２及び除去フラグマップメモリ１０４のデータ構成を説明する図である。
【００３５】
図４（Ａ）は、強度データ或は除去フラグを記憶する１フレーム分のメモリエリアを示し、４００は、１ブロックに対応するデータエリアを示している。図４（Ｂ）は、エッジ強度マップメモリ１０２のデータエリア４００に記憶されるデータ構成を示す。ここには水平エッジ強度測定器１００で求められた水平エッジ強度データと、垂直エッジ強度測定器１０１で求められた垂直エッジ強度データとが対で記憶されている。図４（Ｃ）は、除去フラグマップメモリ１０４に記憶されるノイズ除去対象のブロックであるか否かを示すノイズ除去対象フラグと、後述する拡張したブロックのエッジ強度データと拡張元のブロックのエッジ強度データとの差分値とが記憶される。尚、この差分値は、後述する拡張したブロックでのみ格納される。
【００３６】
図５は、図２及び図３のステップＳ１０３の除去フラグマップの生成処理を説明するフローチャートである。
【００３７】
ステップＳ３００で、エッジ強度マップメモリ１０２に格納された現フレームの水平及び垂直エッジ強度データを読み出して加算し、その現フレームの各ブロック毎のエッジ強度データを算出する。次にステップＳ３０１で、これら測定し格納した現フレームの各ブロックのエッジ強度データのうち、閾値ＥＰ１よりもエッジ強度が高い（エッジ強度データが大きい）ブロックを抽出する。そして、その抽出したブロックに対応するイズ除去対象フラグをオンにする。次にステップＳ３０２で、その抽出したブロックの周辺（隣接）８ブロックのエッジ強度を計算する。次にステップＳ３０３で、その周囲８ブロックに対し、閾値ＥＰ２（ＥＰ２＜ＥＰ１）よりもエッジ強度が低くなる（エッジ強度データが小さい）場合に、ステップＳ３０１で求めたエッジ強度の高いブロックを含めた拡張ブロックと判定する。そしてステップＳ３０４で、この処理により得られた拡張ブロックに対するノイズ除去対象フラグをオンにし、それ以外のブロックに対してはノイズ除去対象フラグをオフにして除去フラグを除去フラグマップメモリ１０４へ格納する。また、その拡張ブロックに対しては、拡張したブロックのエッジ強度データと、拡張元のブロックのエッジ強度データとの差分値を格納する（図４（Ｃ）参照）。
【００３８】
図６は、図３のフローチャートのステップＳ２０２のフィルタ制御処理（制御信号１１０，１１１の生成処理）を説明するフローチャートである。ここでの処理の対象は、前述したノイズ除去対象フラグがオンであるブロックである。
【００３９】
まずステップＳ３００で、前述の図５のステップＳ３００と同様に、エッジ強度マップメモリ１０２に格納された現フレームの水平、垂直エッジ強度データを加算して現フレームのエッジ強度データを算出する。次にステップＳ４０１で、エッジ強度マップメモリ１０２の別のメモリバンクに記憶されている直前フレームの水平、垂直エッジ強度データを読み出して加算し、直前フレームのエッジ強度データを算出する。次にステップＳ４０２に進み、ステップＳ３００で算出した現フレームのエッジ強度データと、ステップＳ４０１で求めた直前フレームのエッジ強度データとの差分を求める。この結果、｛（直前のフレームのエッジ強度データ）−（現フレームのエッジ強度データ）｝の差分値の絶対値が閾値ＴＨ１以下かどうかを判定する。閾値ＴＨ１以下の場合は、そのブロックがノイズ除去対象ブロックであると判断してステップＳ４０３に進む。そうでない場合は、フィルタ処理の必要がないと判断してステップＳ４０５に進み、制御信号１１１によりセレクタ１０７が入力した画像のブロックをそのまま出力するように制御する。尚、この閾値ＴＨ１は、水平及び／或は垂直エッジが存在しているが、例えば細かい網目のようなブロックに対するフィルタリング処理を除外するための閾値である。
【００４０】
ノイズ除去対象ブロックに対するステップＳ４０３の処理では、フィルタの種類を選択するため、現フレームの垂直エッジ強度データから水平エッジ強度データを減算し、その差分値が閾値ＴＨ２以下かどうかを判定する。ここで閾値ＴＨ２（ＴＨ２＜ＴＨ１）以下の場合は、水平及び垂直方向のエッジ強度差が少ないためステップＳ４０４に進み、２Ｄフィルタ１０６を実行するための制御信号１１０を生成する。その他の場合は、垂直方向のエッジが強いためステップＳ４０５に進み、フィルタ処理をパスしてフィルタ１０６が、入力したブロックの画像信号を選択するように制御信号１１１を生成する。この閾値ＴＨ２は、インターレースに特有の水平方向のノイズに対するフィルタリング処理を除外するための値である。
【００４１】
図７は、具体的な直前フレームのエッジ領域の拡張例と、現フレームのノイズ除去対象ブロックを決定するまでの例を説明する図である。尚、図７において、各桝目は、前述のブロックに対応している。
【００４２】
まず直前のフレーム７００では、閾値ＥＰ１よりもエッジ強度データが大きいブロック７１０を選定する（Ｓ３０１）。そしてエッジ強度データが極度に小さい閾値ＥＰ２以下のブロック７１１へ、そのブロック７１０の領域を拡張し（Ｓ３０３）、以降の処理のノイズ除去対象ブロックとする（Ｓ３０４）。図７の例では、直前フレーム７００の太線で示すブロック７１２が、これら拡張された領域である。
【００４３】
次に、直前のフレーム７００のエッジ強度データと現フレーム７０１のエッジ強度データとの差分値を求める。そして、その差分値が閾値ＴＨ１（Ｓ４０２）以下、または現フレーム７０１のエッジ強度データが閾値ＥＰ１以上となった場合（Ｓ３０１）はノイズ除去対象のブロック領域とする。その他の場合は、ノイズ除去対象ブロックから除外する。図７の現フレーム７０１において、７１４は現フレーム７０１のエッジ強度データが閾値ＥＰ１以下でノイズ除去対象ブロックから除外されたブロックを示している。また７１５は、現フレーム７０１のエッジ強度データが閾値ＥＰ１以上になって拡張ブロックからノイズ除去対象領域に変更した領域を示している。
【００４４】
図１０は、本発明の実施の形態に係る画像処理装置を実現するコンピュータ機器のハードウェア構成を示すブロック図である。
【００４５】
ＣＰＵ１０００は、このコンピュータ機器（画像処理装置）の全体の制御、及び種々の処理を行う。メモリ１００１は、このコンピュータ機器の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウエア（前述のフローチャートに示すプログラム）やデータを記憶するとともに、演算等の処理に必要な記憶領域を提供している。また、このメモリ１００１は、ＣＰＵ１０００が各種の処理を行う際のワークエリアとしても用いられる。システムバス１００２は、ＣＰＵ１０００と各部とを接続し、データや制御信号をやりとりする。記憶部１００３は、前述のフローチャートに示すプログラム等の各種のソフトウエアを蓄積する大容量のハードディスク等の記憶部である。記憶部１００４は動画像データを蓄積する記憶部（ハードディスク、ＭＯ，ＣＤ，ＤＶＤ等）である。モニタ（表示部）１００５は、画像やコンピュータからのシステムメッセージなどを表示する。
【００４６】
通信インターフェース（Ｉ／Ｆ）１００７は、通信回路１００８に符号化データを送信する通信インターフェースであり、装置外部のＬＡＮ、公衆回線、無線回線、放送電波等と接続されている。端末１００６は、このコンピュータ機器を起動したり、各種条件を設定したりする。またメモリ１００１には、このコンピュータ機器全体を制御し、各種ソフトウエアを動作させるためのＯＳや動作させるソフトウエアを格納し、画像データを読み込むエリア、各種演算のパラメータ等を格納しておくワーキングエリアが存在する。
【００４７】
以上の構成において、処理に先立ち、端末１００６から記憶部１００４に蓄積されている動画像データから符号化する動画像データを選択して、このコンピュータ機器の起動が指示される。これにより記憶部１００３に格納されているプログラムがシステムバス１００２を介してメモリ１００１のプログラム格納エリアに展開され、この展開されたプログラムが起動される。
【００４８】
そして、ＣＰＵ１０００による記憶部１００４に格納されている動画像データの符号化処理が開始されると、前述の図２，図３、図５、図６に示すフローチャートに従ったプログラムコードが実行されることになる。
【００４９】
以上説明したように本実施の形態に係るコンピュータ機器は、本実施の形態に係るノイズ除去を実現する装置として機能する。
【００５０】
［実施の形態のその他の構成］
本実施の形態では、色信号の処理対象ブロックのサイズを４×４画素としたが、８×４，４×８，８×８などのサイズでもかまわない。
【００５１】
またエッジ強度測定器１００，１０１の処理では図８（Ａ）（Ｂ）に示すＳｏｂｅｌフィルタを用いたが、そのほかの微分フィルタでもかまわない。
【００５２】
また２Ｄフィルタ１０６は、図９（Ａ）（Ｂ）に示すオペレータを用いたがその他のものでもかまわない。
【００５３】
更に、フレームメモリはフレーム画像を格納するものとしたが、フィールド画像を格納するフィールドメモリでもかまわない。
【００５４】
除去フラグ算出器１０３における閾値ＥＰ１，ＥＰ２は固定ではなく、フレーム毎に可変に設定してもかまわない。
【００５５】
２Ｄフィルタにεフィルタを用いたが、そのほかの簡便なローパスフィルタでもかまわない。
【００５６】
以上説明したように本実施の形態によれば、インターレース信号を含む動画像符号化装置及びその方法において、画像データに含まれるモスキートノイズのような符号化ノイズの発生部分を的確に検出できる。またインターレース信号の状態を維持しつつ、色差信号のノイズ除去処理を施すことができる。
【００５７】
以上説明したように本実施の形態によれば、画像データに含まれるモスキートノイズのような符号化ノイズの発生部分を的確に検出することが可能になる。また本来の画像が持つテクスチャを保持しつつ、ノイズ発生部分に対してのみノイズ除去処理を施すことができる。
【００５８】
（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
【００５９】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【００６０】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００６１】
プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００６２】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【００６３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。
【００６４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００６５】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施の形態に係る画像処理装置の主要部の構成を示すブロック図である。
【図２】本実施の形態に係る画像処理装置における先頭フレームの処理を説明するフローチャートである。
【図３】本実施の形態に係る画像処理装置における先頭フレーム以降のフレームの処理を説明するフローチャートである。
【図４】本実施の形態に係るエッジ強度マップメモリ及び除去フラグマップメモリのデータ構成を説明する図である。
【図５】図２及び図３のステップＳ１０３の除去フラグマップの生成処理を説明するフローチャートである。
【図６】図３のフローチャートのステップＳ２０２のフィルタ制御処理（制御信号１１０〜１１１の生成処理）を説明するフローチャートである。
【図７】具体的な直前フレームのエッジ領域の拡張例と、現フレームのノイズ除去対象ブロックを決定するまでの例を説明する図である。
【図８】本実施の形態で用いるＳｏｂｅｌフィルタのオペレータの一例を示す図である。
【図９】本発明の実施の形態に係るεフィルタ処理を説明する図である。
【図１０】本発明の実施の形態に係る画像処理装置を実現するコンピュータ機器のハードウェア構成を示すブロック図である。
【符号の説明】
【００６７】
１００ 水平エッジ強度測定器
１０１ 垂直エッジ強度測定器
１０２ エッジ強度マップメモリ
１０３ 除去フラグ算出器
１０４ 除去フラグマップメモリ
１０５ フィルタ制御器
１０６ ２Ｄフィルタ
１０７ セレクタ
【技術分野】
【０００１】
本発明は、例えばＭＰＥＧ（Moving Picture Experts Group）方式などにより、周波数変換及び非可逆圧縮符号化された画像データを復号した画像に含まれるノイズ部分を検出して除去する画像処理装置及びその方法に関するものである。
【背景技術】
【０００２】
従来、画像の符号化方式として、フレーム内符号化方式であるMotion JPEGやデジタルビデオ等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１，Ｈ．２６３，ＭＰＥＧ−１，ＭＰＥＧ−２がある。また近年では、Ｈ．２６４等の符号化方式が知られている。これらの符号化方式は、ＩＳＯ（International Organization for Standardization：国際標準化機構）やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている。
【０００３】
符号化方式で代表的なＭＰＥＧ−２は非可逆符号化と呼ばれ、符号化画像データを復号しても完全に元の画像データに戻らない。これは符号化時に、ＤＣＴ変換の後に量子化を行うことに起因している。これら符号化方式は、画像信号の統計的な性質を利用し、その信号に含まれる冗長性を取り除くことで情報量の削減を図っている。即ち、人間の視覚は画像の高周波成分に鈍感であるため、その高周波成分を粗く量子化して冗長性を削除し、高い符号化効率を得るようにしている。
【０００４】
しかし、この種のＤＣＴ変換を行なう非可逆符号化では、高周波成分を制限することによってデータ圧縮を行っているために、画像のエッジ部、或は移動物体の周囲でモスキートノイズと呼ばれるノイズが発生し、復元した画像の画質劣化の原因となっている。このモスキートノイズを低減する方法が提案されており、例えば、入力画像信号のエッジ部を検出し、ノイズ除去フィルタによって画像信号のエッジ部をフィルタリング処理して、モスキートノイズを低減した画像信号を得る方法が提案されている。尚、その他のＭＰＥＧ等の詳細内容については、ISO/IECによる国際標準を参照されたい。
【０００５】
また、このようなノイズ除去を実行する技術として特許文献１には、色成分のノイズ除去に輝度成分の非相関成分を抽出した後、フィルタ処理し、その結果を動き検出信号としてノイズを除去することが記載されている。
【特許文献１】特開平０９−０５１５４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら上述の従来技術では、画像信号中のモスキートノイズの有無に関係無く、画像信号のエッジ部分でモスキートノイズ除去のフィルタリング処理が行われるため、モスキートノイズが発生していない部分では画像を劣化させてしまう。また、細かなエッジが含まれるテクスチャの領域があった場合、この領域をエッジと誤って判断してテクスチャの情報を削除していた。このため画質を劣化させる結果となっていた。
【０００７】
これらの問題点は、周波数変換及び非可逆圧縮符号化された画像データを復号した画像に含まれるモスキートノイズなどのノイズ部分を正確に検出することなく、画像信号のエッジ部にノイズ除去処理を施することに起因して生じていた。また画像信号の細かなエッジを含むテクスチャ領域をノイズ部分とみなしてノイズ除去処理を施していたことにも起因している。
【０００８】
更に、ノイズ除去処理の後にインターレース信号をプログレシブ信号へ変換するＩＰ変換等の処理がある場合、その処理へ悪影響を与えないようにノイズを除去する必要がある。言い換えれば、インターレースの情報を維持しつつノイズを除去する必要がある。
【０００９】
また色差信号においては、符号化歪みにより、色相が大きく変動することで別の色が発生することがあり、画質の大きな劣化要因となっていた。
【００１０】
本発明の目的は、上述した従来の問題点を解決することにある。
【００１１】
本願発明の特徴は、画像データに含まれるノイズの発生部分を的確に検出して、画像が持つテクスチャを保持しつつ、ノイズ発生部分に対してのみノイズ除去処理を施すことができる。
【課題を解決するための手段】
【００１２】
上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
画像の輝度信号ブロックにおける水平エッジ及び垂直エッジの強度を測定して水平及び垂直エッジ強度データを取得するエッジ強度測定手段と、
前記水平及び垂直エッジ強度データを前記ブロック単位に少なくとも１フレーム分記憶するエッジ強度記憶手段と、
前記エッジ強度記憶手段に記憶された各ブロック単位のエッジ強度データに基づいて、フィルタリング対象のブロックを特定する特定情報を算出する算出手段と、
前記算出手段により算出された前記特定情報を少なくとも１フレーム分記憶する記憶手段と、
前記画像の前記輝度信号ブロックに対応する色差信号ブロックにフィルタリング処理を行うフィルタ手段と、
前記記憶手段に記憶した前記特定情報により特定される前記フィルタリング対象のブロックに対して、前記エッジ強度測定手段により取得した現フレームに対する水平及び垂直エッジ強度データと、前記エッジ強度記憶手段に記憶された前記現フレームの直前フレームの水平及び垂直エッジ強度データとに基づいて、前記画像の現フレームの対応する色差信号ブロックに前記フィルタ手段によるフィルタリング処理を行って出力するか否かを制御するフィルタ制御手段と、を有することを特徴とする。
【００１３】
上記目的を達成するために本発明の一態様に係る画像処理方法は以下のような工程を備える。即ち、
画像の輝度信号ブロックにおける水平エッジ及び垂直エッジの強度を測定して水平及び垂直エッジ強度データを取得するエッジ強度測定工程と、
前記エッジ強度測定工程で取得した水平及び垂直エッジ強度データを前記ブロック単位に少なくとも１フレーム分第１メモリに記憶するエッジ強度記憶工程と、
前記第１メモリに記憶された各ブロック単位のエッジ強度データに基づいて、フィルタリング対象のブロックを特定する特定情報を算出する算出工程と、
前記算出工程で算出された前記特定情報を少なくとも１フレーム分第２メモリに記憶する記憶工程と、
前記画像の前記輝度信号ブロックに対応する色差信号ブロックにフィルタリング処理を行うフィルタ工程と、
前記第２メモリに記憶した前記特定情報により特定される前記フィルタリング対象のブロックに対して、前記エッジ強度測定工程で取得した現フレームに対する水平及び垂直エッジ強度データと、前記第１メモリに記憶された前記現フレームの直前フレームの水平及び垂直エッジ強度データとに基づいて、前記画像の現フレームの対応する色差信号ブロックに前記フィルタ工程によるフィルタリング処理を行って出力するか否かを制御するフィルタ制御工程と、
を有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、画像データに含まれるノイズの発生部分を的確に検出して、画像が持つテクスチャを保持しつつノイズ発生部分に対してのみノイズ除去処理を施すことができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１６】
図１は、本発明の実施の形態に係る画像処理装置の主要部の構成を示すブロック図である。尚、本実施の形態では、画像データの処理の単位を、画像の輝度信号の８×８画素サイズ、及び色差信号の４×４画素サイズとし、これを対象ブロックと称す。
【００１７】
図１において、水平エッジ強度測定器１００は、画像の輝度信号の１ブロックを入力し、水平方向のエッジ強度を測定する。垂直エッジ強度測定器１０１は、その画像の輝度信号の１ブロックを入力し、垂直方向のエッジ強度を測定する。本実施の形態では、処理単位の対象ブロックの画素に対するエッジ強度をＳｏｂｅｌフィルタの累積値で表す。
【００１８】
図８（Ａ）（Ｂ）は、本実施の形態で用いるＳｏｂｅｌフィルタのオペレータの一例を示す図である。図８（Ａ）は、水平エッジ強度測定器１００で使用される３×３の水平Ｓｏｂｅｌフィルタを示し、図８（Ｂ）は、垂直エッジ強度測定器１０１で使用される３×３の垂直Ｓｏｂｅｌフィルタの一例を示している。
【００１９】
エッジ強度マップメモリ（エッジ強度記憶部）１０２は、水平及び垂直エッジ強度測定器１００，１０１で測定した水平及び垂直方向のエッジ強度データを入力して、各ブロック単位に１フレーム分だけ格納する。尚、このエッジ強度マップメモリ１０２は２バンク構成であり、一方のメモリバンクに現フレームのエッジ強度データを格納しながら、他方のメモリバンクから、格納されている直前のフレームのエッジ強度データを読み出すことが可能である。このメモリバンクの切替は１フレーム処理毎に行う。除去フラグ算出器１０３は、エッジ強度マップメモリ１０２に格納された各ブロック毎のエッジ強度データから、ノイズ除去の対象ブロックかどうかを示すフラグ（特定情報）を算出する。除去フラグマップメモリ１０４は、この除去フラグ算出器１０３で算出された除去フラグを、各ブロック単位で１フレーム分だけ格納する。尚、この除去フラグマップメモリ１０４も２バンク構成であり、一方のメモリバンクに除去フラグを格納しながら他方のメモリバンクから、格納されている直前のフレームの除去フラグを読み出すことが可能である。このメモリバンクの切替は１フレーム処理毎に行う。
【００２０】
フィルタ制御器１０５は、現フレームの水平及び垂直エッジ強度データ、及び直前のフレームのエッジ強度データと、直前のフレームの除去フラグから、後述する２Ｄフィルタ１０６を適用するか否かを制御している。ここで、現フレームの水平及び垂直エッジ強度データはそれぞれ、水平エッジ強度測定器１００と垂直エッジ強度測定器１０１により測定された結果である。また直前のフレームのエッジ強度データは、エッジ強度マップメモリ１０２から読み出され、また直前のフレームの除去フラグは除去フラグマップメモリ１０４から読み出される。
【００２１】
２Ｄフィルタ１０６は、フィルタ制御器１０５からの制御信号１１０により、対象とする色差信号のブロックを入力し、フレーム内の二次元（以降、２Ｄ）フィルタ処理を実行する。
【００２２】
尚、本実施の形態では、この２Ｄフィルタ１０６にεフィルタを用いる。
【００２３】
図９は、このεフィルタ処理を説明する図である。
【００２４】
このフィルタ処理では、中心画素の画素値ｆ(x,y)とその近傍画素の画素値ｆ(x+i,y+j)，（ｘ，ｙ＝−Ｍ，...，０，１，...，Ｍ）の差分値を計算する。そして、その差分値の絶対値がεよりも大きい場合は、その近傍の画素の画素値を中心画素の画素値に置き換えて平滑化処理を行う。その結果、図９の数式で得られるｇ(x,y)では、エッジ成分を保護し、小振幅の高調波であるノイズを平滑化して抑制することができる。ここでＭは、εフィルタの画素の範囲を規定する値で、通常は「１」或は「２」（この実施の形態では「１」とする）である。またε0は、フィルタ値の範囲（平滑化対象レベル）を規定する値で、保存したエッジのレベル差よりも小さい値とし、通常は「１０」以下、本実施の形態では「５」とする。尚、このεフィルタ処理の詳細は下記文献１を参照されたい。（文献１．原島博ほか「ε−分離非線形ディジタルフィルタとその応用」電子情報通信学会、昭５７−論１４６〔Ａ−３６〕、昭和５７年４月）
セレクタ１０７は、フィルタ制御器１０５からの制御信号１１１により、２Ｄフィルタ１０６からの出力、及びフィルタ無しの信号（入力したブロックの色差信号）を選択する。
【００２５】
以上の構成を備える装置における動作を図２、図３，図５、図６のフローチャートを参照して説明する。尚、本実施の形態では、先頭フレームとそれ以外のフレームで処理を切り替えるものとする。
【００２６】
図２は、本実施の形態に係る画像処理装置における、入力した画像の先頭フレームに対する処理を説明するフローチャートである。
【００２７】
図３は、本実施の形態に係る画像処理装置における、入力した画像の先頭フレーム以降のフレームに対する処理を説明するフローチャートである。
【００２８】
まず先頭フレームの処理を図２を参照して説明する。
【００２９】
まずステップＳ１００で、入力した輝度信号のブロック（ここでは８×８画素）に対して、水平エッジ強度測定器１００で水平エッジの強度を測定する。これと並行してステップＳ１０１で、入力した輝度信号のブロックに対して垂直エッジ強度測定器１０１にて、垂直エッジの強度を測定する。そしてステップＳ１０２で、それぞれの測定値（エッジ強度データ）をエッジ強度マップメモリ１０２へ格納する。こうして先頭フレームに対する除去フラグマップを除去フラグマップメモリ１０４に格納した後、エッジ強度マップメモリ１０２のバンク切り替えを行って、ステップＳ１０２で格納したエッジ強度マップメモリ１０２からのデータを読み出し可能にする。
【００３０】
次にステップＳ１０３に進み、エッジ強度マップメモリ１０２に格納されたエッジ強度データに基づき、除去フラグ算出器１０３にて除去フラグマップを作成する。この処理は図５のフローチャートを参照して詳しく説明する。次にステップＳ１０４で、除去フラグマップメモリ１０４のバンクを切り替える。これにより、次のフレームでは、エッジ強度マップメモリ１０２及び除去フラグマップメモリ１０４の格納済みのバンクからエッジ強度データや除去フラグマップを読み出す。そして、次のフレームに対する処理では、測定したエッジ強度データや、計算した除去フラグマップが、各対応するメモリの他方のバンクに格納されることになる。
【００３１】
以上の処理により、入力した画像の先頭フレームでは、エッジ強度マップメモリ１０２及び除去フラグマップメモリ１０４への格納処理のみを行い、ノイズ除去のためのフィルタ制御は行わない。
【００３２】
次に先頭フレーム以降のフレームに対する処理について、図３を参照して説明する。このフレームでは、前述の図２の先頭フレームに対する処理（Ｓ１００〜Ｓ１０４）に、ステップＳ２００〜Ｓ２０３で示す処理が追加されたものとなる。従って、ここではこれら追加されたステップＳ２００〜Ｓ２０３について説明する。
【００３３】
ステップＳ１０２で、現フレームのエッジ強度をエッジ強度マップメモリ１０２へ格納した後、ステップＳ２００で、エッジ強度マップメモリ１０２に格納された直前のフレームのブロック毎のエッジ強度データを読み出す。またステップＳ２０１で、除去フラグマップメモリ１０４に格納された直前のフレームのブロック毎の除去フラグマップ（ノイズ除去対象ブロック）を読み出す。次にステップＳ２０２に進み、これら直前のフレームのエッジ強度データと除去フラグマップから、２Ｄフィルタ１０６の制御信号１１０及びセレクタ１０７の制御信号１１１を生成する。そしてステップＳ２０３で、これら制御信号１１０，１１１によりノイズ除去フィルタ処理を実行する。次にステップＳ１０３で、エッジ強度マップメモリ１０２に記憶された現フレームのエッジ強度データに基づいて、現フレームに対する除去フラグマップを生成する。そしてこれ以降の処理は図２と同様であるため、その説明を省略する。
【００３４】
図４（Ａ）〜（Ｃ）は、本実施の形態に係るエッジ強度マップメモリ１０２及び除去フラグマップメモリ１０４のデータ構成を説明する図である。
【００３５】
図４（Ａ）は、強度データ或は除去フラグを記憶する１フレーム分のメモリエリアを示し、４００は、１ブロックに対応するデータエリアを示している。図４（Ｂ）は、エッジ強度マップメモリ１０２のデータエリア４００に記憶されるデータ構成を示す。ここには水平エッジ強度測定器１００で求められた水平エッジ強度データと、垂直エッジ強度測定器１０１で求められた垂直エッジ強度データとが対で記憶されている。図４（Ｃ）は、除去フラグマップメモリ１０４に記憶されるノイズ除去対象のブロックであるか否かを示すノイズ除去対象フラグと、後述する拡張したブロックのエッジ強度データと拡張元のブロックのエッジ強度データとの差分値とが記憶される。尚、この差分値は、後述する拡張したブロックでのみ格納される。
【００３６】
図５は、図２及び図３のステップＳ１０３の除去フラグマップの生成処理を説明するフローチャートである。
【００３７】
ステップＳ３００で、エッジ強度マップメモリ１０２に格納された現フレームの水平及び垂直エッジ強度データを読み出して加算し、その現フレームの各ブロック毎のエッジ強度データを算出する。次にステップＳ３０１で、これら測定し格納した現フレームの各ブロックのエッジ強度データのうち、閾値ＥＰ１よりもエッジ強度が高い（エッジ強度データが大きい）ブロックを抽出する。そして、その抽出したブロックに対応するイズ除去対象フラグをオンにする。次にステップＳ３０２で、その抽出したブロックの周辺（隣接）８ブロックのエッジ強度を計算する。次にステップＳ３０３で、その周囲８ブロックに対し、閾値ＥＰ２（ＥＰ２＜ＥＰ１）よりもエッジ強度が低くなる（エッジ強度データが小さい）場合に、ステップＳ３０１で求めたエッジ強度の高いブロックを含めた拡張ブロックと判定する。そしてステップＳ３０４で、この処理により得られた拡張ブロックに対するノイズ除去対象フラグをオンにし、それ以外のブロックに対してはノイズ除去対象フラグをオフにして除去フラグを除去フラグマップメモリ１０４へ格納する。また、その拡張ブロックに対しては、拡張したブロックのエッジ強度データと、拡張元のブロックのエッジ強度データとの差分値を格納する（図４（Ｃ）参照）。
【００３８】
図６は、図３のフローチャートのステップＳ２０２のフィルタ制御処理（制御信号１１０，１１１の生成処理）を説明するフローチャートである。ここでの処理の対象は、前述したノイズ除去対象フラグがオンであるブロックである。
【００３９】
まずステップＳ３００で、前述の図５のステップＳ３００と同様に、エッジ強度マップメモリ１０２に格納された現フレームの水平、垂直エッジ強度データを加算して現フレームのエッジ強度データを算出する。次にステップＳ４０１で、エッジ強度マップメモリ１０２の別のメモリバンクに記憶されている直前フレームの水平、垂直エッジ強度データを読み出して加算し、直前フレームのエッジ強度データを算出する。次にステップＳ４０２に進み、ステップＳ３００で算出した現フレームのエッジ強度データと、ステップＳ４０１で求めた直前フレームのエッジ強度データとの差分を求める。この結果、｛（直前のフレームのエッジ強度データ）−（現フレームのエッジ強度データ）｝の差分値の絶対値が閾値ＴＨ１以下かどうかを判定する。閾値ＴＨ１以下の場合は、そのブロックがノイズ除去対象ブロックであると判断してステップＳ４０３に進む。そうでない場合は、フィルタ処理の必要がないと判断してステップＳ４０５に進み、制御信号１１１によりセレクタ１０７が入力した画像のブロックをそのまま出力するように制御する。尚、この閾値ＴＨ１は、水平及び／或は垂直エッジが存在しているが、例えば細かい網目のようなブロックに対するフィルタリング処理を除外するための閾値である。
【００４０】
ノイズ除去対象ブロックに対するステップＳ４０３の処理では、フィルタの種類を選択するため、現フレームの垂直エッジ強度データから水平エッジ強度データを減算し、その差分値が閾値ＴＨ２以下かどうかを判定する。ここで閾値ＴＨ２（ＴＨ２＜ＴＨ１）以下の場合は、水平及び垂直方向のエッジ強度差が少ないためステップＳ４０４に進み、２Ｄフィルタ１０６を実行するための制御信号１１０を生成する。その他の場合は、垂直方向のエッジが強いためステップＳ４０５に進み、フィルタ処理をパスしてフィルタ１０６が、入力したブロックの画像信号を選択するように制御信号１１１を生成する。この閾値ＴＨ２は、インターレースに特有の水平方向のノイズに対するフィルタリング処理を除外するための値である。
【００４１】
図７は、具体的な直前フレームのエッジ領域の拡張例と、現フレームのノイズ除去対象ブロックを決定するまでの例を説明する図である。尚、図７において、各桝目は、前述のブロックに対応している。
【００４２】
まず直前のフレーム７００では、閾値ＥＰ１よりもエッジ強度データが大きいブロック７１０を選定する（Ｓ３０１）。そしてエッジ強度データが極度に小さい閾値ＥＰ２以下のブロック７１１へ、そのブロック７１０の領域を拡張し（Ｓ３０３）、以降の処理のノイズ除去対象ブロックとする（Ｓ３０４）。図７の例では、直前フレーム７００の太線で示すブロック７１２が、これら拡張された領域である。
【００４３】
次に、直前のフレーム７００のエッジ強度データと現フレーム７０１のエッジ強度データとの差分値を求める。そして、その差分値が閾値ＴＨ１（Ｓ４０２）以下、または現フレーム７０１のエッジ強度データが閾値ＥＰ１以上となった場合（Ｓ３０１）はノイズ除去対象のブロック領域とする。その他の場合は、ノイズ除去対象ブロックから除外する。図７の現フレーム７０１において、７１４は現フレーム７０１のエッジ強度データが閾値ＥＰ１以下でノイズ除去対象ブロックから除外されたブロックを示している。また７１５は、現フレーム７０１のエッジ強度データが閾値ＥＰ１以上になって拡張ブロックからノイズ除去対象領域に変更した領域を示している。
【００４４】
図１０は、本発明の実施の形態に係る画像処理装置を実現するコンピュータ機器のハードウェア構成を示すブロック図である。
【００４５】
ＣＰＵ１０００は、このコンピュータ機器（画像処理装置）の全体の制御、及び種々の処理を行う。メモリ１００１は、このコンピュータ機器の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウエア（前述のフローチャートに示すプログラム）やデータを記憶するとともに、演算等の処理に必要な記憶領域を提供している。また、このメモリ１００１は、ＣＰＵ１０００が各種の処理を行う際のワークエリアとしても用いられる。システムバス１００２は、ＣＰＵ１０００と各部とを接続し、データや制御信号をやりとりする。記憶部１００３は、前述のフローチャートに示すプログラム等の各種のソフトウエアを蓄積する大容量のハードディスク等の記憶部である。記憶部１００４は動画像データを蓄積する記憶部（ハードディスク、ＭＯ，ＣＤ，ＤＶＤ等）である。モニタ（表示部）１００５は、画像やコンピュータからのシステムメッセージなどを表示する。
【００４６】
通信インターフェース（Ｉ／Ｆ）１００７は、通信回路１００８に符号化データを送信する通信インターフェースであり、装置外部のＬＡＮ、公衆回線、無線回線、放送電波等と接続されている。端末１００６は、このコンピュータ機器を起動したり、各種条件を設定したりする。またメモリ１００１には、このコンピュータ機器全体を制御し、各種ソフトウエアを動作させるためのＯＳや動作させるソフトウエアを格納し、画像データを読み込むエリア、各種演算のパラメータ等を格納しておくワーキングエリアが存在する。
【００４７】
以上の構成において、処理に先立ち、端末１００６から記憶部１００４に蓄積されている動画像データから符号化する動画像データを選択して、このコンピュータ機器の起動が指示される。これにより記憶部１００３に格納されているプログラムがシステムバス１００２を介してメモリ１００１のプログラム格納エリアに展開され、この展開されたプログラムが起動される。
【００４８】
そして、ＣＰＵ１０００による記憶部１００４に格納されている動画像データの符号化処理が開始されると、前述の図２，図３、図５、図６に示すフローチャートに従ったプログラムコードが実行されることになる。
【００４９】
以上説明したように本実施の形態に係るコンピュータ機器は、本実施の形態に係るノイズ除去を実現する装置として機能する。
【００５０】
［実施の形態のその他の構成］
本実施の形態では、色信号の処理対象ブロックのサイズを４×４画素としたが、８×４，４×８，８×８などのサイズでもかまわない。
【００５１】
またエッジ強度測定器１００，１０１の処理では図８（Ａ）（Ｂ）に示すＳｏｂｅｌフィルタを用いたが、そのほかの微分フィルタでもかまわない。
【００５２】
また２Ｄフィルタ１０６は、図９（Ａ）（Ｂ）に示すオペレータを用いたがその他のものでもかまわない。
【００５３】
更に、フレームメモリはフレーム画像を格納するものとしたが、フィールド画像を格納するフィールドメモリでもかまわない。
【００５４】
除去フラグ算出器１０３における閾値ＥＰ１，ＥＰ２は固定ではなく、フレーム毎に可変に設定してもかまわない。
【００５５】
２Ｄフィルタにεフィルタを用いたが、そのほかの簡便なローパスフィルタでもかまわない。
【００５６】
以上説明したように本実施の形態によれば、インターレース信号を含む動画像符号化装置及びその方法において、画像データに含まれるモスキートノイズのような符号化ノイズの発生部分を的確に検出できる。またインターレース信号の状態を維持しつつ、色差信号のノイズ除去処理を施すことができる。
【００５７】
以上説明したように本実施の形態によれば、画像データに含まれるモスキートノイズのような符号化ノイズの発生部分を的確に検出することが可能になる。また本来の画像が持つテクスチャを保持しつつ、ノイズ発生部分に対してのみノイズ除去処理を施すことができる。
【００５８】
（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
【００５９】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【００６０】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００６１】
プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００６２】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【００６３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。
【００６４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００６５】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施の形態に係る画像処理装置の主要部の構成を示すブロック図である。
【図２】本実施の形態に係る画像処理装置における先頭フレームの処理を説明するフローチャートである。
【図３】本実施の形態に係る画像処理装置における先頭フレーム以降のフレームの処理を説明するフローチャートである。
【図４】本実施の形態に係るエッジ強度マップメモリ及び除去フラグマップメモリのデータ構成を説明する図である。
【図５】図２及び図３のステップＳ１０３の除去フラグマップの生成処理を説明するフローチャートである。
【図６】図３のフローチャートのステップＳ２０２のフィルタ制御処理（制御信号１１０〜１１１の生成処理）を説明するフローチャートである。
【図７】具体的な直前フレームのエッジ領域の拡張例と、現フレームのノイズ除去対象ブロックを決定するまでの例を説明する図である。
【図８】本実施の形態で用いるＳｏｂｅｌフィルタのオペレータの一例を示す図である。
【図９】本発明の実施の形態に係るεフィルタ処理を説明する図である。
【図１０】本発明の実施の形態に係る画像処理装置を実現するコンピュータ機器のハードウェア構成を示すブロック図である。
【符号の説明】
【００６７】
１００ 水平エッジ強度測定器
１０１ 垂直エッジ強度測定器
１０２ エッジ強度マップメモリ
１０３ 除去フラグ算出器
１０４ 除去フラグマップメモリ
１０５ フィルタ制御器
１０６ ２Ｄフィルタ
１０７ セレクタ
【特許請求の範囲】
【請求項１】
画像の輝度信号ブロックにおける水平エッジ及び垂直エッジの強度を測定して水平及び垂直エッジ強度データを取得するエッジ強度測定手段と、
前記水平及び垂直エッジ強度データを前記ブロック単位に少なくとも１フレーム分記憶するエッジ強度記憶手段と、
前記エッジ強度記憶手段に記憶された各ブロック単位のエッジ強度データに基づいて、フィルタリング対象のブロックを特定する特定情報を算出する算出手段と、
前記算出手段により算出された前記特定情報を少なくとも１フレーム分記憶する記憶手段と、
前記画像の前記輝度信号ブロックに対応する色差信号ブロックにフィルタリング処理を行うフィルタ手段と、
前記記憶手段に記憶した前記特定情報により特定される前記フィルタリング対象のブロックに対して、前記エッジ強度測定手段により取得した現フレームに対する水平及び垂直エッジ強度データと、前記エッジ強度記憶手段に記憶された前記現フレームの直前フレームの水平及び垂直エッジ強度データとに基づいて、前記画像の現フレームの対応する色差信号ブロックに前記フィルタ手段によるフィルタリング処理を行って出力するか否かを制御するフィルタ制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記エッジ強度記憶手段に記憶された前記水平及び垂直のエッジ強度データを各ブロックごとに加算して各ブロックのエッジ強度を算出し、前記算出されたエッジ強度が第１の閾値よりも大きいブロックと、当該ブロックに隣接し、当該ブロックよりも第２の閾値以上小さいエッジ強度を有するブロックとを特定する特定情報を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フィルタ制御手段は、
前記エッジ強度記憶手段に記憶された前記水平及び垂直のエッジ強度データを各ブロックごとに加算して、直前フレームの各ブロックのエッジ強度を算出する手段と、
前記エッジ強度測定手段により測定された現フレームの水平及び垂直のエッジ強度データを、対応する各ブロックごとに加算して、現フレームの各ブロックのエッジ強度を算出する手段とを有し、
前記直前フレームと現フレームの各対応するブロックのエッジ強度に基づいて、前記フィルタ手段によりフィルタリング処理した色差信号ブロックを採用するか否かを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記エッジ強度記憶手段及び前記記憶手段は、複数のメモリバンクで構成され、各フレームの画像処理ごとにバンクが切り替えられることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記フィルタ手段は、二次元フィルタリング処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
画像の輝度信号ブロックにおける水平エッジ及び垂直エッジの強度を測定して水平及び垂直エッジ強度データを取得するエッジ強度測定工程と、
前記エッジ強度測定工程で取得した水平及び垂直エッジ強度データを前記ブロック単位に少なくとも１フレーム分第１メモリに記憶するエッジ強度記憶工程と、
前記第１メモリに記憶された各ブロック単位のエッジ強度データに基づいて、フィルタリング対象のブロックを特定する特定情報を算出する算出工程と、
前記算出工程で算出された前記特定情報を少なくとも１フレーム分第２メモリに記憶する記憶工程と、
前記画像の前記輝度信号ブロックに対応する色差信号ブロックにフィルタリング処理を行うフィルタ工程と、
前記第２メモリに記憶した前記特定情報により特定される前記フィルタリング対象のブロックに対して、前記エッジ強度測定工程で取得した現フレームに対する水平及び垂直エッジ強度データと、前記第１メモリに記憶された前記現フレームの直前フレームの水平及び垂直エッジ強度データとに基づいて、前記画像の現フレームの対応する色差信号ブロックに前記フィルタ工程によるフィルタリング処理を行って出力するか否かを制御するフィルタ制御工程と、
を有することを特徴とする画像処理方法。
【請求項７】
前記算出工程は、前記第１メモリに記憶された前記水平及び垂直のエッジ強度データを各ブロックごとに加算して各ブロックのエッジ強度を算出し、前記算出されたエッジ強度が第１の閾値よりも大きいブロックと、当該ブロックに隣接し、当該ブロックよりも第２の閾値以上小さいエッジ強度を有するブロックとを特定する特定情報を決定することを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記フィルタ制御工程は、
前記第１メモリに記憶された前記水平及び垂直のエッジ強度データを各ブロックごとに加算して、直前フレームの各ブロックのエッジ強度を算出する工程と、
前記エッジ強度測定工程で測定された現フレームの水平及び垂直のエッジ強度データを、対応する各ブロックごとに加算して、現フレームの各ブロックのエッジ強度を算出する工程とを有し、
前記直前フレームと現フレームの各対応するブロックのエッジ強度に基づいて、前記フィルタ工程によりフィルタリング処理した色差信号ブロックを採用するか否かを決定することを特徴とする請求項６に記載の画像処理方法。
【請求項９】
前記第１及び第２メモリはそれぞれ複数のメモリバンクで構成され、各フレームの画像処理ごとにバンクが切り替えられることを特徴とする請求項６に記載の画像処理方法。
【請求項１０】
前記フィルタ工程は、二次元フィルタリング処理を行うことを特徴とする請求項６乃至９のいずれか１項に記載の画像処理方法。
【請求項１】
画像の輝度信号ブロックにおける水平エッジ及び垂直エッジの強度を測定して水平及び垂直エッジ強度データを取得するエッジ強度測定手段と、
前記水平及び垂直エッジ強度データを前記ブロック単位に少なくとも１フレーム分記憶するエッジ強度記憶手段と、
前記エッジ強度記憶手段に記憶された各ブロック単位のエッジ強度データに基づいて、フィルタリング対象のブロックを特定する特定情報を算出する算出手段と、
前記算出手段により算出された前記特定情報を少なくとも１フレーム分記憶する記憶手段と、
前記画像の前記輝度信号ブロックに対応する色差信号ブロックにフィルタリング処理を行うフィルタ手段と、
前記記憶手段に記憶した前記特定情報により特定される前記フィルタリング対象のブロックに対して、前記エッジ強度測定手段により取得した現フレームに対する水平及び垂直エッジ強度データと、前記エッジ強度記憶手段に記憶された前記現フレームの直前フレームの水平及び垂直エッジ強度データとに基づいて、前記画像の現フレームの対応する色差信号ブロックに前記フィルタ手段によるフィルタリング処理を行って出力するか否かを制御するフィルタ制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記エッジ強度記憶手段に記憶された前記水平及び垂直のエッジ強度データを各ブロックごとに加算して各ブロックのエッジ強度を算出し、前記算出されたエッジ強度が第１の閾値よりも大きいブロックと、当該ブロックに隣接し、当該ブロックよりも第２の閾値以上小さいエッジ強度を有するブロックとを特定する特定情報を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フィルタ制御手段は、
前記エッジ強度記憶手段に記憶された前記水平及び垂直のエッジ強度データを各ブロックごとに加算して、直前フレームの各ブロックのエッジ強度を算出する手段と、
前記エッジ強度測定手段により測定された現フレームの水平及び垂直のエッジ強度データを、対応する各ブロックごとに加算して、現フレームの各ブロックのエッジ強度を算出する手段とを有し、
前記直前フレームと現フレームの各対応するブロックのエッジ強度に基づいて、前記フィルタ手段によりフィルタリング処理した色差信号ブロックを採用するか否かを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記エッジ強度記憶手段及び前記記憶手段は、複数のメモリバンクで構成され、各フレームの画像処理ごとにバンクが切り替えられることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記フィルタ手段は、二次元フィルタリング処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
画像の輝度信号ブロックにおける水平エッジ及び垂直エッジの強度を測定して水平及び垂直エッジ強度データを取得するエッジ強度測定工程と、
前記エッジ強度測定工程で取得した水平及び垂直エッジ強度データを前記ブロック単位に少なくとも１フレーム分第１メモリに記憶するエッジ強度記憶工程と、
前記第１メモリに記憶された各ブロック単位のエッジ強度データに基づいて、フィルタリング対象のブロックを特定する特定情報を算出する算出工程と、
前記算出工程で算出された前記特定情報を少なくとも１フレーム分第２メモリに記憶する記憶工程と、
前記画像の前記輝度信号ブロックに対応する色差信号ブロックにフィルタリング処理を行うフィルタ工程と、
前記第２メモリに記憶した前記特定情報により特定される前記フィルタリング対象のブロックに対して、前記エッジ強度測定工程で取得した現フレームに対する水平及び垂直エッジ強度データと、前記第１メモリに記憶された前記現フレームの直前フレームの水平及び垂直エッジ強度データとに基づいて、前記画像の現フレームの対応する色差信号ブロックに前記フィルタ工程によるフィルタリング処理を行って出力するか否かを制御するフィルタ制御工程と、
を有することを特徴とする画像処理方法。
【請求項７】
前記算出工程は、前記第１メモリに記憶された前記水平及び垂直のエッジ強度データを各ブロックごとに加算して各ブロックのエッジ強度を算出し、前記算出されたエッジ強度が第１の閾値よりも大きいブロックと、当該ブロックに隣接し、当該ブロックよりも第２の閾値以上小さいエッジ強度を有するブロックとを特定する特定情報を決定することを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記フィルタ制御工程は、
前記第１メモリに記憶された前記水平及び垂直のエッジ強度データを各ブロックごとに加算して、直前フレームの各ブロックのエッジ強度を算出する工程と、
前記エッジ強度測定工程で測定された現フレームの水平及び垂直のエッジ強度データを、対応する各ブロックごとに加算して、現フレームの各ブロックのエッジ強度を算出する工程とを有し、
前記直前フレームと現フレームの各対応するブロックのエッジ強度に基づいて、前記フィルタ工程によりフィルタリング処理した色差信号ブロックを採用するか否かを決定することを特徴とする請求項６に記載の画像処理方法。
【請求項９】
前記第１及び第２メモリはそれぞれ複数のメモリバンクで構成され、各フレームの画像処理ごとにバンクが切り替えられることを特徴とする請求項６に記載の画像処理方法。
【請求項１０】
前記フィルタ工程は、二次元フィルタリング処理を行うことを特徴とする請求項６乃至９のいずれか１項に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−１８２４７８（Ｐ２００８−１８２４７８Ａ）
【公開日】平成２０年８月７日（２００８．８．７）
【国際特許分類】
【出願番号】特願２００７−１４２００（Ｐ２００７−１４２００）
【出願日】平成１９年１月２４日（２００７．１．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年８月７日（２００８．８．７）
【国際特許分類】
【出願日】平成１９年１月２４日（２００７．１．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]