画像処理装置及び画像処理方法
【課題】夜間画像のようにノイズが多い画像に対しても、被写体の輪郭情報を保ちつつ、ノイズを軽減すること。
【解決手段】ノイズ推定部１５０は、ノイズ推定対象のチャンネル画像のエッジ画像である推定対象エッジ画像と、ノイズ推定対象のチャンネル画像と異なるチャンネル画像のエッジ画像である基準エッジ画像との比較結果に基づいて、ノイズ推定対象のチャンネル画像のノイズを推定する。また、ノイズ除去係数決定部１６０は、ノイズ推定対象のチャンネル画像のノイズ量に応じてノイズ推定対象のチャンネル画像の平滑化領域サイズを決定する。そして、ノイズ除去処理部１７０は、ノイズ推定対象のチャンネル画像の平滑化領域サイズを用いて、ノイズ推定対象のチャンネル画像を平滑化することにより、ノイズ推定対象のチャンネル画像のノイズを除去する。
【解決手段】ノイズ推定部１５０は、ノイズ推定対象のチャンネル画像のエッジ画像である推定対象エッジ画像と、ノイズ推定対象のチャンネル画像と異なるチャンネル画像のエッジ画像である基準エッジ画像との比較結果に基づいて、ノイズ推定対象のチャンネル画像のノイズを推定する。また、ノイズ除去係数決定部１６０は、ノイズ推定対象のチャンネル画像のノイズ量に応じてノイズ推定対象のチャンネル画像の平滑化領域サイズを決定する。そして、ノイズ除去処理部１７０は、ノイズ推定対象のチャンネル画像の平滑化領域サイズを用いて、ノイズ推定対象のチャンネル画像を平滑化することにより、ノイズ推定対象のチャンネル画像のノイズを除去する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のチャンネル情報から構成される撮影画像の画質を改善する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
カメラ等の撮影センサー（又は撮影素子）により撮影された画像から被写体を検出する場合、露出制御が行われる。露出制御では、ＡＧＣ（Auto Gain Control）アンプの増幅率を制御する。ここで、ＡＧＣアンプは、撮影センサー（又は撮影素子）から出力される信号成分を増幅するのに用いられる。例えば、被写体の照度が低くなるほど、ＡＧＣアンプの増幅率を上げる。ただし、この場合には、カメラの信号処理回路内の各種のノイズ成分も、信号成分と一緒に増幅されてしまう。そのため、低照度で撮影された画像ほど、ノイズが目立ってしまうという問題がある。このため、低照度で撮影された画像からノイズを除去する手法が必要となる。特許文献１、特許文献２、特許文献３には、当該ノイズ除去の手法に関連する技術が記載されている。
【０００３】
例えば、特許文献１に記載の技術では、夜間、昼間等の撮影モード、撮影感度、露出条件、シャープネス等の撮影状況に応じて、画像全体の基準値を生成する。そして、注目画素値とその周辺画素値の平均値との差が当該基準値より大きければ、周辺画素値の平均値を注目画素値に代入することにより、ノイズ除去が行なわれる。
【０００４】
また、特許文献２に記載の技術では、低照度で撮影された動画を改善するために、帰還フィルタ処理を行い、フレーム間の相関に基づいた帰還係数を用いてノイズ除去を行う。具体的には、ＡＦ（Auto Focus）評価値が一定値を超えている場合、被写体がある程度静止していて、フレーム間相関が大きいと判定される。この場合、帰還係数が大きく設定される。一方、ＡＦ評価値が一定値以下の場合、被写体がある程度移動していて、フレーム間相関が小さいと判定される。この場合、残像をなくすため、帰還係数が小さく設定される。
【０００５】
また、特許文献３に記載の技術では、単板式撮影センサーからの出力信号のうち、輝度への影響が大きいＧチャンネルに対しては、特殊メディアン（median）処理を行い、輝度への影響が小さいＲ，Ｂチャンネルに対して、一般的なフィルタ処理を行うことにより、ノイズを低減する。Ｇチャンネルに対する特殊メディアン処理では、注目画素の周辺画素の平均値と注目画素値との差が所定の閾値より大きければ、注目画素値はノイズと判定される。そして、注目画素の周辺画素の平均値を注目画素値に代入することにより、ノイズ除去が行われる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１０１０８号公報
【特許文献２】特開２００５−１７５８６４号公報
【特許文献３】特開２００４−１５９１７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術では、画像にノイズが多く存在する場合、画像全体が平滑化されてしまうため、被写体の輪郭情報が欠落してしまう問題がある。そのため、特許文献１に記載の技術は、ノイズが多い夜間画像に適さない。また、夜間車載画像には、車などの移動体が多く存在するため、フレーム間の相関が小さい画像が多い。そのため、特許文献２に記載の技術を利用することにより、残像を無くすことができるものの、ノイズが除去されない問題があり、特許文献２に記載の技術は、夜間車載画像には適さない。また、特許文献３に記載の技術におけるノイズ除去効果は、従来の画像全体に対してメディアン・フィルタ処理を行った場合と同様である。そのため、ノイズが多く存在する画像の場合、画像全体が平滑化されてしまうため、被写体の輪郭情報が欠落してしまう問題がある。よって、特許文献３に記載の技術は、ノイズが多い夜間画像に適さない。
【０００８】
本発明の目的は、夜間画像のようにノイズが多い画像に対しても、被写体の輪郭情報を保ちつつ、ノイズを軽減することができる画像処理装置及び画像処理方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置の一つの態様は、複数のチャンネル情報を含む撮影画像の画質を改善する画像処理装置であって、前記複数のチャンネル情報に対応する各チャンネル画像のエッジ画像をそれぞれ生成するエッジ画像生成手段と、前記エッジ画像のうち、ノイズ推定対象のチャンネル画像のエッジ画像である推定対象エッジ画像と、前記ノイズ推定対象のチャンネル画像と異なるチャンネル画像のエッジ画像である基準エッジ画像との比較結果に基づいて、前記ノイズ推定対象のチャンネル画像のノイズを推定するノイズ推定手段と、前記ノイズに応じて前記ノイズ推定対象のチャンネル画像の平滑化領域サイズを決定する決定手段と、前記平滑化領域サイズを用いて前記ノイズ推定対象のチャンネル画像を平滑化することにより、前記ノイズ推定対象のチャンネル画像のノイズを除去するノイズ除去手段と、を具備する。
【００１０】
本発明の画像処理方法の一つの態様は、複数のチャンネル情報を含む撮影画像の画質を改善する画像処理方法であって、前記複数のチャンネル情報に対応する各チャンネル画像のエッジ画像をそれぞれ生成し、前記エッジ画像のうち、ノイズ推定対象のチャンネル画像のエッジ画像である推定対象エッジ画像と、前記ノイズ推定対象のチャンネル画像と異なるチャンネル画像のエッジ画像である基準エッジ画像との比較結果に基づいて、前記ノイズ推定対象のチャンネル画像のノイズを推定し、前記ノイズに応じて前記ノイズ推定対象のチャンネル画像の平滑化領域サイズを決定し、前記平滑化領域サイズを用いて前記ノイズ推定対象のチャンネル画像を平滑化することにより、前記ノイズ推定対象のチャンネル画像のノイズを除去する。
【発明の効果】
【００１１】
本発明によれば、夜間画像のようにノイズが多い画像に対しても、被写体の輪郭情報を保ちつつ、ノイズを軽減することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る画像処理装置の要部構成を示すブロック図
【図２】上記実施の形態における画像処理動作を示すフローチャート図
【図３】ノイズ推定処理の内部処理を説明するためのフローチャート図
【図４】Ｇチャンネル画像ノイズ推定処理の内部処理を説明するためのフローチャート図
【図５】ノイズ推定部の内部構成を示すブロック図
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１４】
図１は、本発明の実施の形態に係る画像処理装置の要部構成を示すブロック図である。本発明の実施の形態は、低照度で撮影した画像のノイズを除去するカメラ等の撮影装置に適用できる。
【００１５】
図１において、画像処理装置１００は、撮影部１１０、画像格納部１２０、各チャンネル画像生成部１３０、各チャンネル画像のエッジ画像生成部１４０、ノイズ推定部１５０、ノイズ除去係数決定部１６０、ノイズ除去処理部１７０、及び、改善画像格納部１８０を有する。
【００１６】
撮影部１１０は、撮影センサー（又は、撮影素子）を有し、撮影センサーを用いて撮影対象（被写体）を撮影する。これにより、撮影部１１０は、複数のチャンネル情報を含む撮影情報を取得する。ここで、複数のチャンネル情報とは、例えば、ＲＧＢフォーマットが用いられる場合には、Ｒ（Red）チャンネル情報、Ｇ（Green）チャンネル情報、Ｂ（Blue）チャンネル情報である。また、ＹＵＶフォーマットが用いられる場合には、Ｙ（輝度信号）チャンネル情報、Ｕ（輝度信号と青色成分との差）チャンネル情報、Ｖ（輝度信号と赤色成分との差）チャンネル情報である。また、撮影情報は、動画若しくは静止画である。
【００１７】
なお、以下では、撮影部１１０においてＲＧＢフォーマットが用いられる場合を例に説明する。
【００１８】
画像格納部１２０は、撮影部１１０において撮影された撮影情報を複数のチャンネル情報を含む画像（以下、撮影画像という）として格納する。
【００１９】
各チャンネル画像生成部１３０は、画像格納部１２０に格納される複数のチャンネル情報を含む撮影画像から、それぞれ、Ｒ，Ｇ，Ｂチャンネル画像を生成する。
【００２０】
エッジ画像生成部１４０は、各チャンネル画像生成部１３０により生成された各チャンネル画像のエッジ画像を生成する。具体的には、エッジ画像生成部１４０は、Ｒ，Ｇ，Ｂチャンネルエッジ画像を生成する。以降、Ｒ，Ｇ，Ｂチャンネルエッジ画像を、それぞれ、Ｒ，Ｇ，Ｂエッジ画像と呼ぶ。エッジ画像を生成する方法は特に限られず、エッジ画像生成部１４０は、例えば、一般的なラプラス処理などを利用してエッジ画像を生成する。
【００２１】
ノイズ推定部１５０は、Ｒ，Ｇ，Ｂエッジ画像を入力とし、エッジ画像間のエッジ類似特性を利用して、各チャンネル画像のノイズ強度値を推定する。ここで、各チャンネル画像のノイズ強度値とは、各チャンネル画像に含まれるノイズの量を表す指標である。なお、ノイズ強度値の推定方法については後述する。
【００２２】
ノイズ除去係数決定部１６０は、ノイズ推定部１５０により推定された各チャンネル画像のノイズ強度値に基づいて、各チャンネル画像のノイズ除去係数を決定する。ここで、ノイズ除去係数とは、各チャンネル画像からどのくらいノイズ除去するか、すなわち、ノイズ除去処理として平滑化処理を行う場合の平滑化の範囲（平滑化の大きさ）を表わす指標である。ノイズ除去係数（以下、「平滑化領域サイズ」とも呼ぶ）としては、例えば、注目画素の近傍画素領域を用いることができる。具体的には、近傍画素領域を３ピクセル×３ピクセルに設定する場合、ノイズ除去係数は３と表わすことができる。なお、ノイズ除去係数の詳細及び決定方法については後述する。
【００２３】
ノイズ除去処理部１７０は、ノイズ除去係数決定部１６０により決定された各チャンネル画像のノイズ除去係数を利用して各チャンネル画像を平滑化する。これにより、ノイズ除去処理部１７０は、各チャンネル画像からノイズを除去して、改善画像を取得する。ノイズ除去方法は、特に限られず、例えば、ノイズ除去処理部１７０は、メディアン・フィルタを利用した平滑化処理によりノイズを除去する。このようにして、ノイズ除去処理部１７０は、各チャンネル画像のノイズ強度値に応じた平滑化領域サイズを用いて、各チャンネル画像を平滑化することによりノイズを除去する。ノイズ除去処理部１７０は、得られたノイズ除去後の各チャンネル画像を、画質改善チャンネル画像として改善画像格納部１８０に出力する。
【００２４】
改善画像格納部１８０は、ノイズ除去処理部１７０により生成された各画質改善チャンネル画像を、ＲＧＢ方式画像に変換して格納する。
【００２５】
以上のように構成された画像処理装置１００の全体動作について、図２を用いて説明する。
【００２６】
図２は、画像処理装置１００における画像処理を示すフローチャート図である。
【００２７】
まず、ステップＳ１０１で、撮影部１１０は、撮影対象（被写体）を撮影し、取得した撮影情報を画像格納部１２０に出力する。撮影部１１０は、撮影情報として、複数のチャンネル情報を含む動画又は静止画像のいずれか（撮影画像）を取得する。
【００２８】
ステップＳ１０２で、画像格納部１２０は、撮影画像が動画の場合、時系列に準じて先頭の１フレームから順にフレーム画像を取得し、フレーム画像を内部のバッファに格納する。画像格納部１２０は、撮影画像が静止画像の場合、静止画像を内部バッファに格納する。
【００２９】
ステップＳ１０３で、各チャンネル画像生成部１３０は、複数のチャンネル情報を含むフレーム画像から、各チャンネル情報、すなわち、Ｒ，Ｇ，Ｂ信号をそれぞれ取得する。そして、各チャンネル画像生成部１３０は、取得したＲ，Ｇ，Ｂ信号から、それぞれに対応するＲ，Ｇ，Ｂチャンネル画像を生成する。そして、各チャンネル画像生成部１３０は、生成した各チャンネル画像を、エッジ画像生成部１４０及びノイズ除去係数決定部１６０に出力する。
【００３０】
ステップＳ１０４で、エッジ画像生成部１４０は、Ｒチャンネル画像からエッジを抽出して、Ｒエッジ画像を生成する。Ｒエッジ画像は、Ｒチャンネルのエッジ画像である。エッジ画像の生成方法としては、特に限られず、エッジ画像生成部１４０は、一般的な手法を用いればよい。例えば、エッジ画像生成部１４０は、ラプラス処理を用いてエッジ画像を生成する。同様に、エッジ画像生成部１４０は、Ｇ，Ｂチャンネル画像からそれぞれエッジを抽出して、Ｇ，Ｂエッジ画像を生成する。Ｇエッジ画像は、Ｇチャンネル画像のエッジ画像である。また、Ｂエッジ画像は、Ｂチャンネル画像のエッジ画像である。そして、エッジ画像生成部１４０は、生成したこれらエッジ画像をノイズ推定部１５０に出力する。
【００３１】
ステップＳ１０５で、ノイズ推定部１５０は、Ｒ，Ｇ，Ｂエッジ画像を利用して、Ｒ，Ｇ，Ｂチャンネル画像のノイズ強度値を推定する。
【００３２】
図３は、ステップＳ１０５（ノイズ推定処理）の内部処理を説明するためのフローチャート図である。
【００３３】
図３において、ステップＳ１０５１で、ノイズ推定部１５０は、エッジ画像生成部１４０からＲエッジ画像、Ｇエッジ画像、及び、Ｂエッジ画像を取得する。
【００３４】
ステップＳ１０５２で、ノイズ推定部１５０は、Ｒチャンネル画像のノイズ強度値を推定し、推定したＲチャンネル画像のノイズ強度値ＲNoiseをノイズ除去係数決定部１６０に出力する。
【００３５】
ステップＳ１０５３で、ノイズ推定部１５０は、Ｇチャンネル画像のノイズ強度値を推定し、推定したＧチャンネル画像のノイズ強度値ＧNoiseをノイズ除去係数決定部１６０に出力する。
【００３６】
ステップＳ１０５４で、ノイズ推定部１５０は、Ｂチャンネル画像のノイズ強度値を推定し、推定したＢチャンネル画像のノイズ強度値ＢNoiseをノイズ除去係数決定部１６０に出力する。
【００３７】
このようにして、ノイズ推定部１５０は、各チャンネルのノイズ強度値をノイズ除去係数決定部１６０に出力する。
【００３８】
図４は、ステップＳ１０５３（Ｇチャンネル画像のノイズ推定処理）の内部処理を説明するためのフローチャート図である。ステップＳ１０５２，Ｓ１０５４におけるＲ，Ｂチャンネル画像のノイズ推定方法は、ステップＳ１０５３におけるＧチャンネル画像のノイズ推定方法と同様である。そのため、以下では、Ｇチャンネル画像をノイズ推定対象のチャンネル画像として、Ｇチャンネル画像のノイズ推定処理（ステップＳ１０５３）を例にしてノイズ推定方法について説明する。
【００３９】
なお、図５は、ノイズ推定部１５０の内部構成を示すブロック図である。ノイズ推定部１５０は、エッジ抽出部１５１、平滑化部１５２、減算部１５３及びノイズ算出部１５４を有する。
【００４０】
エッジ抽出部１５１は、各エッジ画像のみに存在するエッジ情報を抽出する。エッジ情報の抽出方法については、後述する。
【００４１】
平滑化部１５２は、エッジ情報を平滑化することにより、エッジ情報に含まれるノイズを除去して平滑化エッジ情報を取得する。
【００４２】
減算部１５３は、エッジ情報から平滑化エッジ情報を減算し、減算結果をエッジ画像に特有のノイズを表すエッジ情報をノイズ算出部１５４に出力する。
【００４３】
ノイズ算出部１５４は、エッジ画像に特有のノイズを表すエッジ情報に基づいて、チャンネル画像のノイズ強度値を算出する。なお、ノイズ強度値の算出方法については、後述する。
【００４４】
以上のように構成されたノイズ推定部１５０は、まず、エッジ抽出部１５１において、エッジ情報を抽出する。以下、エッジ情報の抽出方法について説明する。
【００４５】
Ｇチャンネル画像のノイズ強度値を推定する場合、ステップＳ１０５３１で、エッジ抽出部１５１は、Ｇエッジ画像と、Ｇエッジ画像以外のエッジ画像からエッジ画像を基準エッジ画像として一つ取得する。以下では、ノイズ推定部１５０が、Ｇエッジ画像及びＲエッジ画像を取得する場合を例に説明する。ここで、Ｇエッジ画像は、ノイズ推定対象のチャンネル画像のエッジ画像である推定対象エッジ画像である。また、基準エッジ画像として取得されるＲエッジ画像は、ノイズ推定対象のチャンネル画像と異なるチャンネル画像のエッジ画像である。
【００４６】
エッジ画像には、被写体の輪郭を表わすエッジ情報（「被写体輪郭情報」という）とノイズを表わすエッジ情報（以下「ノイズ情報」という）との両方が存在する。例えば、Ｇエッジ画像ＧＥは、式（１）に示すように、被写体輪郭情報Ｇedge及びノイズ情報ＧNoiseを含む。また、Ｒエッジ画像ＲＥは、式（２）に示すように、被写体輪郭情報Ｒedge及びノイズ情報ＲNoiseを含む。
【数１】
【数２】
【００４７】
ところで、撮影画像に含まれる各チャンネル画像には、相互に重複する被写体輪郭情報とノイズ情報とが存在する。これらの情報は、各チャンネルのエッジ画像にエッジ情報として存在する。よって、各チャンネルのエッジ画像間では、エッジ情報が類似するという特徴がある。そこで、エッジ抽出部１５１は、各チャンネルのエッジ画像間では、エッジ情報が類似するという特徴を利用して、各チャンネル画像に特有のエッジ情報を抽出する。
【００４８】
具体的には、ステップＳ１０５３２で、エッジ抽出部１５１は、Ｇエッジ画像ＧＥとＲエッジ画像ＲＥとの差分画像ＧＥ−を算出する（式（３）参照）。
【数３】
【００４９】
ただし、差分画像ＧＥ−の算出する式（３）の演算は、通常の減算とは異なり、エッジ抽出部１５１は、以下のようにして、差分画像ＧＥ−を算出する。なお、以下では、エッジ画像が２値化で記述される場合を例にして説明する。２値化により、エッジありの部分（画素）の輝度値は数値１と表され、エッジなしの部分（画素）の輝度値は数値０と表される。
【００５０】
［１］１−０＝１：ＧＥ＝１、ＲＥ＝０の場合、Ｇエッジ画像にのみエッジ情報がある。この場合、エッジ抽出部１５１は、Ｇエッジ画像にのみあるエッジ情報を残す。
【００５１】
［２］０−１＝０：ＧＥ＝０、ＲＥ＝１の場合、Ｇエッジ画像にはエッジ情報はない。この場合、エッジ抽出部１５１は、Ｒエッジ画像のみにあるエッジ情報を除去する。
【００５２】
［３］１−１＝０：ＧＥ＝１、ＲＥ＝１の場合、Ｇエッジ画像及びＲエッジ画像の両方にエッジ情報がある。この場合、エッジ抽出部１５１は、両方に存在するエッジ情報を除去する。
【００５３】
［４］０−０＝０：ＧＥ＝０、ＲＥ＝０の場合、Ｇエッジ画像及びＲエッジ画像の両方にエッジ情報がない。この場合、エッジ抽出部１５１は、エッジ情報がないことを示す情報をそのまま保持する。
【００５４】
すなわち、Ｇエッジ画像ＧＥ及びＲエッジ画像ＲＥを用いて式（３）により定義される差分画像ＧＥ−には、Ｇエッジ画像ＧＥに特有な被写体輪郭を表すエッジ情報Ｇunique_edge、及び、Ｇエッジ画像に特有なノイズ情報Ｇunique_noiseのみが残ることになる。
【００５５】
このようにして、エッジ抽出部１５１は、各チャンネルのエッジ画像には、相互に重複する被写体輪郭情報とノイズ情報とが存在し、各チャンネルのエッジ画像でのエッジ情報が類似するという特徴を利用する。すなわち、エッジ抽出部１５１は、推定対象エッジ画像及び基準エッジ画像に共通のエッジ情報は、推定対象エッジ画像に特有のエッジ情報ではないと判定する。そして、エッジ抽出部１５１は、推定対象エッジ画像にのみ存在するエッジ情報のみを推定対象エッジ情報として抽出する。つまり、エッジ抽出部１５１は、Ｇエッジ画像ＧＥ（推定対象エッジ画像）とＲエッジ画像ＲＥ（基準エッジ画像）との比較結果に基づいて、Ｇエッジ画像ＧＥ（推定対象エッジ画像）のみに存在する差分画像ＧＥ−を推定対象エッジ情報として抽出する。
【００５６】
エッジ抽出部１５１は、抽出した差分画像ＧＥ−（推定対象エッジ情報）を平滑化部１５２に出力する。
【００５７】
ステップＳ１０５３３で、平滑化部１５２は、ステップＳ１０５３２で生成された差分画像ＧＥ−に対して平滑化を行い、平滑化画像ＧＥ−’（平滑化推定対象エッジ情報）を取得する。この結果、式（４）に示すように、差分画像ＧＥ−からＧエッジ画像に特有なノイズ情報Ｇunique_noiseが除去される。
【数４】
【００５８】
すなわち、平滑化部１５２は、平滑化画像ＧＥ−’として、Ｇエッジ画像独有の被写体輪郭を表すエッジ情報Ｇunique_edgeを抽出することができる。平滑化方法は、特に限定されず、平滑化部１５２は、例えば、メディアン・フィルタ処理を利用して差分画像ＧＥ−に対して平滑化してもよい。そして、平滑化部１５２は、平滑化画像ＧＥ−’を減算部１５３に出力する。
【００５９】
ステップＳ１０５３４で、減算部１５３は、ステップＳ１０５３２で生成された差分画像ＧＥ−（推定対象エッジ情報）と、ステップＳ１０５３３で生成された平滑後画像ＧＥ−’（平滑化推定対象エッジ情報）との差分を、差分画像ＧE_Noiseとして算出する（式（５）参照）。
【数５】
【００６０】
ここで、式（３）及び式（４）を式（５）に代入すると、式（６）を得る。
【数６】
【００６１】
すなわち、式（６）から分かるように、ＧE_Noiseは、Ｇunique_noiseそのものとなる。
【００６２】
このように、減算部１５３は、差分画像ＧＥ−（推定対象エッジ情報）から平滑後画像ＧＥ−’（平滑化推定対象エッジ情報）を減算し、差分画像ＧE_Noise（減算結果）を取得する。これにより、減算部１５３は、差分画像ＧE_Noise（減算結果）として、Ｇエッジ画像特有のノイズを表すエッジ情報Ｇunique_noiseを抽出することができる。減算部１５３は、エッジ情報Ｇunique_noiseをノイズ算出部１５４に出力する。
【００６３】
ステップＳ１０５３５で、ノイズ算出部１５４は、ステップＳ１０５３４で生成された差分画像ＧE_Noise（減算結果）に基づいて、Ｇチャンネル画像のノイズ強度値ＧNoiseを算出する。具体的には、ノイズ算出部１５４は、差分画像ＧE_Noise（減算結果）において輝度値が数値１となる画素の合計を計算する。そして、ノイズ算出部１５４は、合計結果を、Ｇチャンネル画像のノイズ強度値ＧNoiseとして、ノイズ除去係数決定部１６０に出力する。
【００６４】
このようにして、ノイズ推定部１５０は、Ｇエッジ情報（推定対象エッジ情報）とＲエッジ情報（基準エッジ情報）との比較結果に基づいて、Ｇチャンネル画像のノイズ強度値ＧNoiseを推定する。
【００６５】
なお、以上の説明では、ノイズ推定部１５０は、Ｇエッジ画像及びＲエッジ画像を利用して、Ｇチャンネル画像のノイズ強度値（第１ノイズ強度値）を推定する場合について説明した。これに代えて、ノイズ推定部１５０が、Ｇエッジ画像及びＢエッジ画像を利用して、Ｇチャンネル画像のノイズ強度値（第２ノイズ強度値）を推定するようにしてもよい。また、ノイズ推定部１５０が、第１ノイズ強度値と第２ノイズ強度値をそれぞれ推定し、更に、第１ノイズ強度値及び第２ノイズ強度値の平均値を、Ｇチャンネル画像のノイズ強度値として推定するようにしてもよい。
【００６６】
以上、Ｇチャンネル画像のノイズ強度値の推定方法について説明した。
【００６７】
同様にして、ノイズ推定部１５０は、Ｒエッジ画像とＢエッジ画像（又は、Ｇエッジ画像、若しくは、Ｂ，Ｇエッジ画像）とを利用して、Ｒチャンネル画像のノイズ強度値を推定することができる。また、ノイズ推定部１５０は、Ｂエッジ画像とＧエッジ画像（又は、Ｒエッジ画像、若しくは、Ｇ，Ｒエッジ画像）を利用して、Ｂチャンネル画像のノイズ強度値を推定することができる。
【００６８】
次に、図２に戻り、ノイズ除去係数決定部１６０におけるノイズ除去係数の決定方法について説明する。
【００６９】
ステップＳ１０６で、ノイズ除去係数決定部１６０は、ノイズ推定部１５０が生成した各チャンネル画像のノイズ強度値を用いて、各チャンネル画像のノイズ除去係数を決定する。
【００７０】
ここで、ノイズ除去係数とは、上述したように、ノイズ除去処理として平滑化処理を行う場合の平滑化の範囲（平滑化領域サイズ）を示す。ノイズ除去係数（平滑化領域サイズ）が大きいと、ノイズ除去効果は大きいが、平滑化後の画像は全体的にぼけた画像となる場合がある。これに対し、ノイズ除去係数（平滑化領域サイズ）が小さいと、ノイズ除去効果は小さいが、平滑化後の画像はくっきりした画像となる。このように、ノイズ除去効果（平滑化処理）と輪郭維持効果とはトレードオフの関係にある。そして、ノイズ除去係数（平滑化領域サイズ）の大きさによって、ノイズ除去効果（平滑化処理）及び輪郭の維持処理効果のうち、どちらの効果が優先されるか決定される。このように、ノイズ除去係数（平滑化領域サイズ）の大きさは、ノイズ除去効果（平滑化処理）及び輪郭維持効果に影響を与える。
【００７１】
そこで、本実施の形態では、ノイズ除去係数決定部１６０は、各チャンネル画像のノイズ強度値に応じて、各チャンネル画像ごとにノイズ除去係数（平滑化領域サイズ）を決定する。
【００７２】
一例として、Ｒ，Ｇ，Ｂチャンネル画像のノイズ強度値ＲNoise，ＧNoise，ＢNoiseが、それぞれ、ＲNoise＝７９００，ＧNoise＝１５８８０，ＢNoise＝３０６５６の場合を例に、ノイズ除去係数ｗR，ｗG，ｗBの決定方法について説明する。ここで、ｗRは、Ｒチャンネル画像のノイズ除去係数であり、ｗGは、Ｇチャンネル画像のノイズ除去係数であり、ｗBは、Ｒチャンネル画像のノイズ除去係数である。
【００７３】
ノイズ除去係数決定部１６０は、［１］ノイズ除去係数の絶対値の決定、及び、［２］ノイズ除去係数の相対値の維持、という２段階のステップを用いて、ノイズ除去係数を決定する。なお、ノイズ除去係数は、注目画素を中心とする近傍画素領域を表わす。そのため、ノイズ除去係数は、奇数となる。
【００７４】
［１］ノイズ除去係数の絶対値（大きさ）の決定
上述したように、ノイズ除去係数（平滑化領域サイズ）が大きいほど、ノイズ除去効果は大きくなり、平滑化（ノイズ除去）後の画像は、全体的にぼけた画像となる。これに対し、ノイズ除去係数（平滑化領域サイズ）が小さいほど、ノイズ除去効果が小さくなり被写体の輪郭が維持されるので、平滑化後の画像は輪郭がくっきりした画像となる。
【００７５】
したがって、各チャンネルのノイズ強度値が所定のノイズ閾値より小さく、ノイズが少ない場合には、ノイズ除去係数決定部１６０は、輪郭維持効果を優先して、ノイズ除去係数（平滑化領域サイズ）を小さい値に設定する。また、ノイズ強度値が小さい場合には、ノイズ除去係数（平滑化領域サイズ）を小さい値に設定しても、ノイズは十分に除去されると考えられる。これにより、被写体の輪郭がくっきりした画像が得られる。
【００７６】
これに対し、各チャンネルのノイズ強度値が所定のノイズ閾値より小さく、ノイズが少ない場合に、ノイズ除去係数（平滑化領域サイズ）を大きい値に設定すると、輪郭が維持されず、平滑化後の画像は輪郭がぼんやりした画像となる。
【００７７】
したがって、各チャンネルのノイズ強度値が所定のノイズ閾値より小さく、ノイズが少ない場合には、ノイズ除去係数（平滑化領域サイズ）を小さい値に設定するのが好ましい。
【００７８】
また、各チャンネルのノイズ強度値が所定のノイズ閾値以上であり、ノイズが多い場合には、ノイズ除去係数（平滑化領域サイズ）を小さい値に設定すると、十分にノイズを除去することが難しい。これに対し、各チャンネルのノイズ強度値が所定のノイズ閾値以上であり、ノイズが多い場合には、ノイズ除去係数（平滑化領域サイズ）を大きい値に設定すると、ノイズ除去効果が増大する。
【００７９】
したがって、各チャンネルのノイズ強度値が所定のノイズ閾値以上であり、ノイズが多い場合には、ノイズ除去係数（平滑化領域サイズ）を大きい値に設定するのが好ましい。
【００８０】
そこで、本実施の形態では、ノイズ除去係数決定部１６０は、ノイズ強度値と所定のノイズ閾値との比較結果に応じて、ノイズ除去係数の値に制限を設ける。
【００８１】
例えば、昼間画像は、一般的に夜間画像と比較してノイズが少ない。よって、各チャンネルのノイズ強度値が基準ノイズ値より小さい場合、ノイズ除去係数決定部１６０は、該当画像を昼間画像と判定する。そして、この場合、ノイズ除去係数決定部１６０は、ノイズ除去係数ｗR，ｗG，ｗBの絶対値を所定値より小さい値に設定する。例えば、ｗR，ｗG，ｗBをそれぞれ数値５以下に設定する。
【００８２】
すなわち、各チャンネルのノイズ強度値が基準ノイズ値より小さい場合、ノイズ除去係数決定部１６０は、ノイズ除去係数ｗR，ｗG，ｗBの上限値（例えば５）を設定する。
【００８３】
一方、各チャンネルのノイズ強度値が基準ノイズ値以上の場合、ノイズ除去係数決定部１６０は、該当画像を夜間画像と判定する。そして、ノイズ除去係数決定部１６０は、ノイズ除去係数ｗR，ｗG，ｗBの絶対値を所定値以上の値に設定する。例えば、ｗR，ｗG，ｗBをそれぞれ５以上に設定する。
【００８４】
すなわち、各チャンネルのノイズ強度値が基準ノイズ値より大きい場合、ノイズ除去係数決定部１６０は、ノイズ除去係数ｗR，ｗG，ｗBの下限値（例えば５）を設定する。
【００８５】
このように、ノイズ除去係数決定部１６０は、Ｒ，Ｇ，Ｂチャンネル画像のノイズ強度値ＲNoise，ＧNoise，ＢNoiseと基準ノイズとの閾値判定結果に基づいて、ノイズ除去係数ｗR，ｗG，ｗBの絶対値（大きさ）に制限を設ける。
【００８６】
なお、以上の説明では、上限値及び下限値が５の場合の場合について説明したが、上限値及び下限値は５には限られない。上限値は、昼間画像のように、ノイズが少ない撮影画像に用いられる平滑化領域サイズの最大値である。また、下限値は、夜間画像のように、ノイズが多い撮影画像に用いられる平滑化領域サイズの最小値である。したがって、上限値は、輪郭維持効果が得られる平滑化領域サイズとして適した値であればよい。また、下限値は、ノイズ除去効果が得られる平滑化領域サイズとして適した値であればよい。
【００８７】
また、昼間画像又は夜間画像の判定に用いられる基準ノイズ値は、実験等により経験値として設定する。
【００８８】
このようにして、ノイズ除去係数決定部１６０は、上記［１］にて、各チャンネルのノイズ推定値に応じて、各チャンネルのノイズ除去係数の絶対値（大きさ）の上限値又は下限値を決定し、各チャンネルのノイズ除去係数の絶対値（大きさ）に制限を設ける。ここで、上限値は、輪郭維持効果が得られる平滑化領域サイズを示し、下限値は、ノイズ除去効果が得られる平滑化領域サイズを示す。すなわち、ノイズ除去係数決定部１６０は、ノイズ推定値に応じてノイズ除去係数の絶対値（大きさ）に制限を設けることにより、輪郭維持効果を優先させて平滑化を行うか、ノイズ除去効果を優先させて平滑化を行うか、を選択していることになる。
【００８９】
［２］ノイズ除去係数の相対値の維持
ノイズ除去係数決定部１６０は、上記［１］にて、各チャンネルのノイズ除去係数の絶対値（大きさ）の上限値又は下限値を決定した後、各チャンネルのノイズ除去係数ｗR，ｗG，ｗBを決定する。具体的には、ノイズ除去係数決定部１６０は、各チャンネルのノイズ除去係数ｗR，ｗG，ｗBの比例関係が、各チャンネルのノイズ強度値ＲNoise，ＧNoise，ＢNoiseの比例関係に近くなるように、各チャンネルのノイズ除去係数ｗR，ｗG，ｗBを設定する。
【００９０】
例えば、撮影画像が夜間画像であり、上記［１］において、ノイズ除去係数決定部１６０が、ノイズ除去係数の絶対値の下限値を５に設定する場合を考える。このとき、ＲNoise＝７９００，ＧNoise＝１５８８０，ＢNoise＝３０６５６の場合、ＲNoise，ＧNoise，ＢNoiseの比例関係は、約１：２：４である。そこで、ノイズ除去係数決定部１６０は、ｗR，ｗG，ｗBの比例関係が、ＲNoise，ＧNoise，ＢNoiseの比例関係（約１：２：４）に出来るだけ近く、かつ、絶対値（大きさ）が５以上（下限値以上）となるｗR，ｗG，ｗBを設定する。例えば、ノイズ除去係数決定部１６０は、ｗR＝５，ｗG＝１１，ｗB＝２１と設定する。この場合、ｗR，ｗG，ｗBの絶対値は５以上であり、また、ｗR，ｗG，ｗBの比例関係は、約１：２：４であり、ＲNoise，ＧNoise，ＢNoiseの比例関係がほぼ維持されている。
【００９１】
なお、上記の例で、ｗB＝２１としてＢチャンネル画像を平滑化すると、平滑化領域サイズが大きすぎるため、ぼけた画像になる可能性がある。そこで、ノイズ除去係数決定部１６０は、ノイズ除去係数ｗR，ｗG，ｗBの比例関係のうち、ノイズ量が小さい２つのチャンネルのノイズ除去係数ｗR，ｗGについてのみ、ＲNoise，ＧNoiseの比例関係ができるだけ維持されるよう設定し、ノイズ量が最も大きいチャンネルのノイズ除去係数ｗBについては、ｗR＜ｗG＜ｗBの関係を満たすように設定してもよい。例えば、ｗR，ｗG，ｗBの比例関係が、ＲNoise，ＧNoise，ＢNoiseの比例関係に出来るだけ近くなるように、ｗR＝５，ｗG＝１１，ｗB＝２１と設定される場合、ノイズ除去係数決定部１６０は、１１（＝ｗG）＜ｗB≦２１を満たす１３，１５，１７のうちいずれかの値をｗBに設定するようにしてもよい。例えば、ノイズ除去係数決定部１６０が、ｗB＝１７と設定する場合には、ｗB＝２１と設定する場合に比べ、平滑化後のＢチャンネル画像がぼけた画像になるのを抑えることができる。
【００９２】
このようにして、ノイズ除去係数決定部１６０は、各チャンネル画像のノイズ除去係数をそれぞれ設定する。ノイズ除去係数決定部１６０は、設定した各チャンネル画像のノイズ除去係数（平滑化領域サイズ）をノイズ除去処理部１７０に出力する。
【００９３】
そして、ステップＳ１０７で、ノイズ除去処理部１７０は、ノイズ除去係数決定部１６０が設定した各チャンネル画像のノイズ除去係数を用いて平滑化処理を行うことにより、各チャンネル画像からノイズを除去する。
【００９４】
例えば、ノイズ除去処理部１７０は、式（７−１）〜（７−３）にしたがって、各チャンネル画像に対するノイズ除去を行う。
【００９５】
【数７】
なお、式（７−１）において、ＲoriginalはＲチャンネル画像を表し、Ｒ’はＲチャンネル画像の改善後画像を表す。また、ｗR×ＲoriginalはＲチャンネル画像のノイズ相当分の画像情報を表わす。
【００９６】
同様に、式（７−２）において、ＧoriginalはＧチャンネル画像を表し、Ｇ’はＧチャンネル画像の改善後画像を表す。また、ｗG×ＧoriginalはＧチャンネル画像のノイズ相当分の画像情報を表わす。
【００９７】
同様に、式（７−３）において、ＢoriginalはＢチャンネル画像を表し、Ｂ’はＢチャンネル画像の改善後画像を表す。また、ｗB×ＢoriginalはＢチャンネル画像のノイズ相当分の画像情報を表わす。
【００９８】
ノイズ除去方法については、各チャンネル画像で同様のため、式（７−２）を用いて、Ｇチャンネル画像のノイズを除去する場合を例に、ノイズ除去方法について説明する。
【００９９】
まず、ノイズ除去処理部１７０は、ｗG×Ｇoriginalを算出する。ｗG×Ｇoriginalを算出する方法として、ノイズ除去処理部１７０は、Ｇチャンネル画像に対して注目画素を含む所定の周囲画素に対してメディアン・フィルタ処理を実施する。ここで、ノイズ除去処理部１７０は、所定の周囲画素の範囲にノイズ除去係数を利用する。例えば、ｗG＝１１の場合、メディアン・フィルタ処理を実施する所定の周囲画素の範囲を１１×１１の領域とする。
【０１００】
ノイズ除去処理部１７０は、ｗG×Ｇoriginalを算出後、Ｇチャンネル画像ＧoriginalとｗG×Ｇoriginalとの差分を算出し、差分をノイズ除去後画像Ｇ’として取得する。
【０１０１】
同様にして、ノイズ除去処理部１７０は、Ｒチャンネル画像のノイズ除去後画像Ｒ’及びＢチャンネル画像のノイズ除去後画像Ｂ’を取得する。
【０１０２】
そして、ノイズ除去処理部１７０は、取得したノイズ除去後画像を改善画像格納部１８０へ出力する。
【０１０３】
そして、ステップＳ１０８で、改善画像格納部１８０は、ノイズ除去処理部１７０が生成したノイズ除去後画像Ｒ’，Ｇ’，Ｂ’チャンネル画像を、ＲＧＢ方式の画像に合成して、合成後の画像を格納する。
【０１０４】
ステップＳ１０９で、画像格納部１２０は、処理する撮影画像の有無を判定する。そして、処理する撮影画像が無い場合、画像処理を終了する。一方、処理する撮影画像が有る場合、ステップＳ１１０で、各チャンネル画像生成部１３０は、次のフレーム画像を取得して、ステップＳ１０２からの処理を開始する。
【０１０５】
以上のように、本実施の形態では、エッジ画像生成部１４０は、各チャンネル画像のエッジ画像を生成する。ノイズ推定部１５０は、ノイズ推定対象のチャンネル画像のエッジ画像である推定対象エッジ画像と、ノイズ推定対象のチャンネル画像と異なるチャンネル画像のエッジ画像である基準エッジ画像との比較結果に基づいて、ノイズ推定対象のチャンネル画像のノイズを推定する。これにより、複数のチャンネル情報に対応する各チャンネル画像のノイズを個別に推定することができる。
【０１０６】
また、ノイズ除去係数決定部１６０は、ノイズ推定対象のチャンネル画像のノイズ量に応じてノイズ推定対象のチャンネル画像の平滑化領域サイズを決定する。そして、ノイズ除去処理部１７０は、ノイズ推定対象のチャンネル画像の平滑化領域サイズを用いて、ノイズ推定対象のチャンネル画像を平滑化することにより、ノイズ推定対象のチャンネル画像のノイズを除去する。これにより、各チャンネル画像ごとに適した平滑化領域サイズが用いられてノイズが除去される。この結果、夜間画像のようにノイズが多い画像に対しても、被写体の輪郭情報を保ちつつ、ノイズを軽減することができる。また、昼・夜の撮影環境に自動的に適応し、当該撮影環境下において撮影された撮影画像のノイズ強度値及びノイズ除去係数を判定することができる。
【０１０７】
なお、以上の説明では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る画像処理装置と同様の機能を実現することができる。
【産業上の利用可能性】
【０１０８】
本発明に係る画像処理装置および画像処理方法は、夜間のような低照度車載画像・監視画像のノイズを除去する撮影装置等として有用である。
【符号の説明】
【０１０９】
１００ 画像処理装置
１１０ 撮影部
１２０ 画像格納部
１３０ 各チャンネル画像生成部
１４０ エッジ画像生成部
１５０ ノイズ推定部
１５１ エッジ抽出部
１５２ 平滑化部
１５３ 減算部
１５４ ノイズ算出部
１６０ ノイズ除去係数決定部
１７０ ノイズ除去処理部
１８０ 改善画像格納部
【技術分野】
【０００１】
本発明は、複数のチャンネル情報から構成される撮影画像の画質を改善する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
カメラ等の撮影センサー（又は撮影素子）により撮影された画像から被写体を検出する場合、露出制御が行われる。露出制御では、ＡＧＣ（Auto Gain Control）アンプの増幅率を制御する。ここで、ＡＧＣアンプは、撮影センサー（又は撮影素子）から出力される信号成分を増幅するのに用いられる。例えば、被写体の照度が低くなるほど、ＡＧＣアンプの増幅率を上げる。ただし、この場合には、カメラの信号処理回路内の各種のノイズ成分も、信号成分と一緒に増幅されてしまう。そのため、低照度で撮影された画像ほど、ノイズが目立ってしまうという問題がある。このため、低照度で撮影された画像からノイズを除去する手法が必要となる。特許文献１、特許文献２、特許文献３には、当該ノイズ除去の手法に関連する技術が記載されている。
【０００３】
例えば、特許文献１に記載の技術では、夜間、昼間等の撮影モード、撮影感度、露出条件、シャープネス等の撮影状況に応じて、画像全体の基準値を生成する。そして、注目画素値とその周辺画素値の平均値との差が当該基準値より大きければ、周辺画素値の平均値を注目画素値に代入することにより、ノイズ除去が行なわれる。
【０００４】
また、特許文献２に記載の技術では、低照度で撮影された動画を改善するために、帰還フィルタ処理を行い、フレーム間の相関に基づいた帰還係数を用いてノイズ除去を行う。具体的には、ＡＦ（Auto Focus）評価値が一定値を超えている場合、被写体がある程度静止していて、フレーム間相関が大きいと判定される。この場合、帰還係数が大きく設定される。一方、ＡＦ評価値が一定値以下の場合、被写体がある程度移動していて、フレーム間相関が小さいと判定される。この場合、残像をなくすため、帰還係数が小さく設定される。
【０００５】
また、特許文献３に記載の技術では、単板式撮影センサーからの出力信号のうち、輝度への影響が大きいＧチャンネルに対しては、特殊メディアン（median）処理を行い、輝度への影響が小さいＲ，Ｂチャンネルに対して、一般的なフィルタ処理を行うことにより、ノイズを低減する。Ｇチャンネルに対する特殊メディアン処理では、注目画素の周辺画素の平均値と注目画素値との差が所定の閾値より大きければ、注目画素値はノイズと判定される。そして、注目画素の周辺画素の平均値を注目画素値に代入することにより、ノイズ除去が行われる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１０１０８号公報
【特許文献２】特開２００５−１７５８６４号公報
【特許文献３】特開２００４−１５９１７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術では、画像にノイズが多く存在する場合、画像全体が平滑化されてしまうため、被写体の輪郭情報が欠落してしまう問題がある。そのため、特許文献１に記載の技術は、ノイズが多い夜間画像に適さない。また、夜間車載画像には、車などの移動体が多く存在するため、フレーム間の相関が小さい画像が多い。そのため、特許文献２に記載の技術を利用することにより、残像を無くすことができるものの、ノイズが除去されない問題があり、特許文献２に記載の技術は、夜間車載画像には適さない。また、特許文献３に記載の技術におけるノイズ除去効果は、従来の画像全体に対してメディアン・フィルタ処理を行った場合と同様である。そのため、ノイズが多く存在する画像の場合、画像全体が平滑化されてしまうため、被写体の輪郭情報が欠落してしまう問題がある。よって、特許文献３に記載の技術は、ノイズが多い夜間画像に適さない。
【０００８】
本発明の目的は、夜間画像のようにノイズが多い画像に対しても、被写体の輪郭情報を保ちつつ、ノイズを軽減することができる画像処理装置及び画像処理方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置の一つの態様は、複数のチャンネル情報を含む撮影画像の画質を改善する画像処理装置であって、前記複数のチャンネル情報に対応する各チャンネル画像のエッジ画像をそれぞれ生成するエッジ画像生成手段と、前記エッジ画像のうち、ノイズ推定対象のチャンネル画像のエッジ画像である推定対象エッジ画像と、前記ノイズ推定対象のチャンネル画像と異なるチャンネル画像のエッジ画像である基準エッジ画像との比較結果に基づいて、前記ノイズ推定対象のチャンネル画像のノイズを推定するノイズ推定手段と、前記ノイズに応じて前記ノイズ推定対象のチャンネル画像の平滑化領域サイズを決定する決定手段と、前記平滑化領域サイズを用いて前記ノイズ推定対象のチャンネル画像を平滑化することにより、前記ノイズ推定対象のチャンネル画像のノイズを除去するノイズ除去手段と、を具備する。
【００１０】
本発明の画像処理方法の一つの態様は、複数のチャンネル情報を含む撮影画像の画質を改善する画像処理方法であって、前記複数のチャンネル情報に対応する各チャンネル画像のエッジ画像をそれぞれ生成し、前記エッジ画像のうち、ノイズ推定対象のチャンネル画像のエッジ画像である推定対象エッジ画像と、前記ノイズ推定対象のチャンネル画像と異なるチャンネル画像のエッジ画像である基準エッジ画像との比較結果に基づいて、前記ノイズ推定対象のチャンネル画像のノイズを推定し、前記ノイズに応じて前記ノイズ推定対象のチャンネル画像の平滑化領域サイズを決定し、前記平滑化領域サイズを用いて前記ノイズ推定対象のチャンネル画像を平滑化することにより、前記ノイズ推定対象のチャンネル画像のノイズを除去する。
【発明の効果】
【００１１】
本発明によれば、夜間画像のようにノイズが多い画像に対しても、被写体の輪郭情報を保ちつつ、ノイズを軽減することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る画像処理装置の要部構成を示すブロック図
【図２】上記実施の形態における画像処理動作を示すフローチャート図
【図３】ノイズ推定処理の内部処理を説明するためのフローチャート図
【図４】Ｇチャンネル画像ノイズ推定処理の内部処理を説明するためのフローチャート図
【図５】ノイズ推定部の内部構成を示すブロック図
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１４】
図１は、本発明の実施の形態に係る画像処理装置の要部構成を示すブロック図である。本発明の実施の形態は、低照度で撮影した画像のノイズを除去するカメラ等の撮影装置に適用できる。
【００１５】
図１において、画像処理装置１００は、撮影部１１０、画像格納部１２０、各チャンネル画像生成部１３０、各チャンネル画像のエッジ画像生成部１４０、ノイズ推定部１５０、ノイズ除去係数決定部１６０、ノイズ除去処理部１７０、及び、改善画像格納部１８０を有する。
【００１６】
撮影部１１０は、撮影センサー（又は、撮影素子）を有し、撮影センサーを用いて撮影対象（被写体）を撮影する。これにより、撮影部１１０は、複数のチャンネル情報を含む撮影情報を取得する。ここで、複数のチャンネル情報とは、例えば、ＲＧＢフォーマットが用いられる場合には、Ｒ（Red）チャンネル情報、Ｇ（Green）チャンネル情報、Ｂ（Blue）チャンネル情報である。また、ＹＵＶフォーマットが用いられる場合には、Ｙ（輝度信号）チャンネル情報、Ｕ（輝度信号と青色成分との差）チャンネル情報、Ｖ（輝度信号と赤色成分との差）チャンネル情報である。また、撮影情報は、動画若しくは静止画である。
【００１７】
なお、以下では、撮影部１１０においてＲＧＢフォーマットが用いられる場合を例に説明する。
【００１８】
画像格納部１２０は、撮影部１１０において撮影された撮影情報を複数のチャンネル情報を含む画像（以下、撮影画像という）として格納する。
【００１９】
各チャンネル画像生成部１３０は、画像格納部１２０に格納される複数のチャンネル情報を含む撮影画像から、それぞれ、Ｒ，Ｇ，Ｂチャンネル画像を生成する。
【００２０】
エッジ画像生成部１４０は、各チャンネル画像生成部１３０により生成された各チャンネル画像のエッジ画像を生成する。具体的には、エッジ画像生成部１４０は、Ｒ，Ｇ，Ｂチャンネルエッジ画像を生成する。以降、Ｒ，Ｇ，Ｂチャンネルエッジ画像を、それぞれ、Ｒ，Ｇ，Ｂエッジ画像と呼ぶ。エッジ画像を生成する方法は特に限られず、エッジ画像生成部１４０は、例えば、一般的なラプラス処理などを利用してエッジ画像を生成する。
【００２１】
ノイズ推定部１５０は、Ｒ，Ｇ，Ｂエッジ画像を入力とし、エッジ画像間のエッジ類似特性を利用して、各チャンネル画像のノイズ強度値を推定する。ここで、各チャンネル画像のノイズ強度値とは、各チャンネル画像に含まれるノイズの量を表す指標である。なお、ノイズ強度値の推定方法については後述する。
【００２２】
ノイズ除去係数決定部１６０は、ノイズ推定部１５０により推定された各チャンネル画像のノイズ強度値に基づいて、各チャンネル画像のノイズ除去係数を決定する。ここで、ノイズ除去係数とは、各チャンネル画像からどのくらいノイズ除去するか、すなわち、ノイズ除去処理として平滑化処理を行う場合の平滑化の範囲（平滑化の大きさ）を表わす指標である。ノイズ除去係数（以下、「平滑化領域サイズ」とも呼ぶ）としては、例えば、注目画素の近傍画素領域を用いることができる。具体的には、近傍画素領域を３ピクセル×３ピクセルに設定する場合、ノイズ除去係数は３と表わすことができる。なお、ノイズ除去係数の詳細及び決定方法については後述する。
【００２３】
ノイズ除去処理部１７０は、ノイズ除去係数決定部１６０により決定された各チャンネル画像のノイズ除去係数を利用して各チャンネル画像を平滑化する。これにより、ノイズ除去処理部１７０は、各チャンネル画像からノイズを除去して、改善画像を取得する。ノイズ除去方法は、特に限られず、例えば、ノイズ除去処理部１７０は、メディアン・フィルタを利用した平滑化処理によりノイズを除去する。このようにして、ノイズ除去処理部１７０は、各チャンネル画像のノイズ強度値に応じた平滑化領域サイズを用いて、各チャンネル画像を平滑化することによりノイズを除去する。ノイズ除去処理部１７０は、得られたノイズ除去後の各チャンネル画像を、画質改善チャンネル画像として改善画像格納部１８０に出力する。
【００２４】
改善画像格納部１８０は、ノイズ除去処理部１７０により生成された各画質改善チャンネル画像を、ＲＧＢ方式画像に変換して格納する。
【００２５】
以上のように構成された画像処理装置１００の全体動作について、図２を用いて説明する。
【００２６】
図２は、画像処理装置１００における画像処理を示すフローチャート図である。
【００２７】
まず、ステップＳ１０１で、撮影部１１０は、撮影対象（被写体）を撮影し、取得した撮影情報を画像格納部１２０に出力する。撮影部１１０は、撮影情報として、複数のチャンネル情報を含む動画又は静止画像のいずれか（撮影画像）を取得する。
【００２８】
ステップＳ１０２で、画像格納部１２０は、撮影画像が動画の場合、時系列に準じて先頭の１フレームから順にフレーム画像を取得し、フレーム画像を内部のバッファに格納する。画像格納部１２０は、撮影画像が静止画像の場合、静止画像を内部バッファに格納する。
【００２９】
ステップＳ１０３で、各チャンネル画像生成部１３０は、複数のチャンネル情報を含むフレーム画像から、各チャンネル情報、すなわち、Ｒ，Ｇ，Ｂ信号をそれぞれ取得する。そして、各チャンネル画像生成部１３０は、取得したＲ，Ｇ，Ｂ信号から、それぞれに対応するＲ，Ｇ，Ｂチャンネル画像を生成する。そして、各チャンネル画像生成部１３０は、生成した各チャンネル画像を、エッジ画像生成部１４０及びノイズ除去係数決定部１６０に出力する。
【００３０】
ステップＳ１０４で、エッジ画像生成部１４０は、Ｒチャンネル画像からエッジを抽出して、Ｒエッジ画像を生成する。Ｒエッジ画像は、Ｒチャンネルのエッジ画像である。エッジ画像の生成方法としては、特に限られず、エッジ画像生成部１４０は、一般的な手法を用いればよい。例えば、エッジ画像生成部１４０は、ラプラス処理を用いてエッジ画像を生成する。同様に、エッジ画像生成部１４０は、Ｇ，Ｂチャンネル画像からそれぞれエッジを抽出して、Ｇ，Ｂエッジ画像を生成する。Ｇエッジ画像は、Ｇチャンネル画像のエッジ画像である。また、Ｂエッジ画像は、Ｂチャンネル画像のエッジ画像である。そして、エッジ画像生成部１４０は、生成したこれらエッジ画像をノイズ推定部１５０に出力する。
【００３１】
ステップＳ１０５で、ノイズ推定部１５０は、Ｒ，Ｇ，Ｂエッジ画像を利用して、Ｒ，Ｇ，Ｂチャンネル画像のノイズ強度値を推定する。
【００３２】
図３は、ステップＳ１０５（ノイズ推定処理）の内部処理を説明するためのフローチャート図である。
【００３３】
図３において、ステップＳ１０５１で、ノイズ推定部１５０は、エッジ画像生成部１４０からＲエッジ画像、Ｇエッジ画像、及び、Ｂエッジ画像を取得する。
【００３４】
ステップＳ１０５２で、ノイズ推定部１５０は、Ｒチャンネル画像のノイズ強度値を推定し、推定したＲチャンネル画像のノイズ強度値ＲNoiseをノイズ除去係数決定部１６０に出力する。
【００３５】
ステップＳ１０５３で、ノイズ推定部１５０は、Ｇチャンネル画像のノイズ強度値を推定し、推定したＧチャンネル画像のノイズ強度値ＧNoiseをノイズ除去係数決定部１６０に出力する。
【００３６】
ステップＳ１０５４で、ノイズ推定部１５０は、Ｂチャンネル画像のノイズ強度値を推定し、推定したＢチャンネル画像のノイズ強度値ＢNoiseをノイズ除去係数決定部１６０に出力する。
【００３７】
このようにして、ノイズ推定部１５０は、各チャンネルのノイズ強度値をノイズ除去係数決定部１６０に出力する。
【００３８】
図４は、ステップＳ１０５３（Ｇチャンネル画像のノイズ推定処理）の内部処理を説明するためのフローチャート図である。ステップＳ１０５２，Ｓ１０５４におけるＲ，Ｂチャンネル画像のノイズ推定方法は、ステップＳ１０５３におけるＧチャンネル画像のノイズ推定方法と同様である。そのため、以下では、Ｇチャンネル画像をノイズ推定対象のチャンネル画像として、Ｇチャンネル画像のノイズ推定処理（ステップＳ１０５３）を例にしてノイズ推定方法について説明する。
【００３９】
なお、図５は、ノイズ推定部１５０の内部構成を示すブロック図である。ノイズ推定部１５０は、エッジ抽出部１５１、平滑化部１５２、減算部１５３及びノイズ算出部１５４を有する。
【００４０】
エッジ抽出部１５１は、各エッジ画像のみに存在するエッジ情報を抽出する。エッジ情報の抽出方法については、後述する。
【００４１】
平滑化部１５２は、エッジ情報を平滑化することにより、エッジ情報に含まれるノイズを除去して平滑化エッジ情報を取得する。
【００４２】
減算部１５３は、エッジ情報から平滑化エッジ情報を減算し、減算結果をエッジ画像に特有のノイズを表すエッジ情報をノイズ算出部１５４に出力する。
【００４３】
ノイズ算出部１５４は、エッジ画像に特有のノイズを表すエッジ情報に基づいて、チャンネル画像のノイズ強度値を算出する。なお、ノイズ強度値の算出方法については、後述する。
【００４４】
以上のように構成されたノイズ推定部１５０は、まず、エッジ抽出部１５１において、エッジ情報を抽出する。以下、エッジ情報の抽出方法について説明する。
【００４５】
Ｇチャンネル画像のノイズ強度値を推定する場合、ステップＳ１０５３１で、エッジ抽出部１５１は、Ｇエッジ画像と、Ｇエッジ画像以外のエッジ画像からエッジ画像を基準エッジ画像として一つ取得する。以下では、ノイズ推定部１５０が、Ｇエッジ画像及びＲエッジ画像を取得する場合を例に説明する。ここで、Ｇエッジ画像は、ノイズ推定対象のチャンネル画像のエッジ画像である推定対象エッジ画像である。また、基準エッジ画像として取得されるＲエッジ画像は、ノイズ推定対象のチャンネル画像と異なるチャンネル画像のエッジ画像である。
【００４６】
エッジ画像には、被写体の輪郭を表わすエッジ情報（「被写体輪郭情報」という）とノイズを表わすエッジ情報（以下「ノイズ情報」という）との両方が存在する。例えば、Ｇエッジ画像ＧＥは、式（１）に示すように、被写体輪郭情報Ｇedge及びノイズ情報ＧNoiseを含む。また、Ｒエッジ画像ＲＥは、式（２）に示すように、被写体輪郭情報Ｒedge及びノイズ情報ＲNoiseを含む。
【数１】
【数２】
【００４７】
ところで、撮影画像に含まれる各チャンネル画像には、相互に重複する被写体輪郭情報とノイズ情報とが存在する。これらの情報は、各チャンネルのエッジ画像にエッジ情報として存在する。よって、各チャンネルのエッジ画像間では、エッジ情報が類似するという特徴がある。そこで、エッジ抽出部１５１は、各チャンネルのエッジ画像間では、エッジ情報が類似するという特徴を利用して、各チャンネル画像に特有のエッジ情報を抽出する。
【００４８】
具体的には、ステップＳ１０５３２で、エッジ抽出部１５１は、Ｇエッジ画像ＧＥとＲエッジ画像ＲＥとの差分画像ＧＥ−を算出する（式（３）参照）。
【数３】
【００４９】
ただし、差分画像ＧＥ−の算出する式（３）の演算は、通常の減算とは異なり、エッジ抽出部１５１は、以下のようにして、差分画像ＧＥ−を算出する。なお、以下では、エッジ画像が２値化で記述される場合を例にして説明する。２値化により、エッジありの部分（画素）の輝度値は数値１と表され、エッジなしの部分（画素）の輝度値は数値０と表される。
【００５０】
［１］１−０＝１：ＧＥ＝１、ＲＥ＝０の場合、Ｇエッジ画像にのみエッジ情報がある。この場合、エッジ抽出部１５１は、Ｇエッジ画像にのみあるエッジ情報を残す。
【００５１】
［２］０−１＝０：ＧＥ＝０、ＲＥ＝１の場合、Ｇエッジ画像にはエッジ情報はない。この場合、エッジ抽出部１５１は、Ｒエッジ画像のみにあるエッジ情報を除去する。
【００５２】
［３］１−１＝０：ＧＥ＝１、ＲＥ＝１の場合、Ｇエッジ画像及びＲエッジ画像の両方にエッジ情報がある。この場合、エッジ抽出部１５１は、両方に存在するエッジ情報を除去する。
【００５３】
［４］０−０＝０：ＧＥ＝０、ＲＥ＝０の場合、Ｇエッジ画像及びＲエッジ画像の両方にエッジ情報がない。この場合、エッジ抽出部１５１は、エッジ情報がないことを示す情報をそのまま保持する。
【００５４】
すなわち、Ｇエッジ画像ＧＥ及びＲエッジ画像ＲＥを用いて式（３）により定義される差分画像ＧＥ−には、Ｇエッジ画像ＧＥに特有な被写体輪郭を表すエッジ情報Ｇunique_edge、及び、Ｇエッジ画像に特有なノイズ情報Ｇunique_noiseのみが残ることになる。
【００５５】
このようにして、エッジ抽出部１５１は、各チャンネルのエッジ画像には、相互に重複する被写体輪郭情報とノイズ情報とが存在し、各チャンネルのエッジ画像でのエッジ情報が類似するという特徴を利用する。すなわち、エッジ抽出部１５１は、推定対象エッジ画像及び基準エッジ画像に共通のエッジ情報は、推定対象エッジ画像に特有のエッジ情報ではないと判定する。そして、エッジ抽出部１５１は、推定対象エッジ画像にのみ存在するエッジ情報のみを推定対象エッジ情報として抽出する。つまり、エッジ抽出部１５１は、Ｇエッジ画像ＧＥ（推定対象エッジ画像）とＲエッジ画像ＲＥ（基準エッジ画像）との比較結果に基づいて、Ｇエッジ画像ＧＥ（推定対象エッジ画像）のみに存在する差分画像ＧＥ−を推定対象エッジ情報として抽出する。
【００５６】
エッジ抽出部１５１は、抽出した差分画像ＧＥ−（推定対象エッジ情報）を平滑化部１５２に出力する。
【００５７】
ステップＳ１０５３３で、平滑化部１５２は、ステップＳ１０５３２で生成された差分画像ＧＥ−に対して平滑化を行い、平滑化画像ＧＥ−’（平滑化推定対象エッジ情報）を取得する。この結果、式（４）に示すように、差分画像ＧＥ−からＧエッジ画像に特有なノイズ情報Ｇunique_noiseが除去される。
【数４】
【００５８】
すなわち、平滑化部１５２は、平滑化画像ＧＥ−’として、Ｇエッジ画像独有の被写体輪郭を表すエッジ情報Ｇunique_edgeを抽出することができる。平滑化方法は、特に限定されず、平滑化部１５２は、例えば、メディアン・フィルタ処理を利用して差分画像ＧＥ−に対して平滑化してもよい。そして、平滑化部１５２は、平滑化画像ＧＥ−’を減算部１５３に出力する。
【００５９】
ステップＳ１０５３４で、減算部１５３は、ステップＳ１０５３２で生成された差分画像ＧＥ−（推定対象エッジ情報）と、ステップＳ１０５３３で生成された平滑後画像ＧＥ−’（平滑化推定対象エッジ情報）との差分を、差分画像ＧE_Noiseとして算出する（式（５）参照）。
【数５】
【００６０】
ここで、式（３）及び式（４）を式（５）に代入すると、式（６）を得る。
【数６】
【００６１】
すなわち、式（６）から分かるように、ＧE_Noiseは、Ｇunique_noiseそのものとなる。
【００６２】
このように、減算部１５３は、差分画像ＧＥ−（推定対象エッジ情報）から平滑後画像ＧＥ−’（平滑化推定対象エッジ情報）を減算し、差分画像ＧE_Noise（減算結果）を取得する。これにより、減算部１５３は、差分画像ＧE_Noise（減算結果）として、Ｇエッジ画像特有のノイズを表すエッジ情報Ｇunique_noiseを抽出することができる。減算部１５３は、エッジ情報Ｇunique_noiseをノイズ算出部１５４に出力する。
【００６３】
ステップＳ１０５３５で、ノイズ算出部１５４は、ステップＳ１０５３４で生成された差分画像ＧE_Noise（減算結果）に基づいて、Ｇチャンネル画像のノイズ強度値ＧNoiseを算出する。具体的には、ノイズ算出部１５４は、差分画像ＧE_Noise（減算結果）において輝度値が数値１となる画素の合計を計算する。そして、ノイズ算出部１５４は、合計結果を、Ｇチャンネル画像のノイズ強度値ＧNoiseとして、ノイズ除去係数決定部１６０に出力する。
【００６４】
このようにして、ノイズ推定部１５０は、Ｇエッジ情報（推定対象エッジ情報）とＲエッジ情報（基準エッジ情報）との比較結果に基づいて、Ｇチャンネル画像のノイズ強度値ＧNoiseを推定する。
【００６５】
なお、以上の説明では、ノイズ推定部１５０は、Ｇエッジ画像及びＲエッジ画像を利用して、Ｇチャンネル画像のノイズ強度値（第１ノイズ強度値）を推定する場合について説明した。これに代えて、ノイズ推定部１５０が、Ｇエッジ画像及びＢエッジ画像を利用して、Ｇチャンネル画像のノイズ強度値（第２ノイズ強度値）を推定するようにしてもよい。また、ノイズ推定部１５０が、第１ノイズ強度値と第２ノイズ強度値をそれぞれ推定し、更に、第１ノイズ強度値及び第２ノイズ強度値の平均値を、Ｇチャンネル画像のノイズ強度値として推定するようにしてもよい。
【００６６】
以上、Ｇチャンネル画像のノイズ強度値の推定方法について説明した。
【００６７】
同様にして、ノイズ推定部１５０は、Ｒエッジ画像とＢエッジ画像（又は、Ｇエッジ画像、若しくは、Ｂ，Ｇエッジ画像）とを利用して、Ｒチャンネル画像のノイズ強度値を推定することができる。また、ノイズ推定部１５０は、Ｂエッジ画像とＧエッジ画像（又は、Ｒエッジ画像、若しくは、Ｇ，Ｒエッジ画像）を利用して、Ｂチャンネル画像のノイズ強度値を推定することができる。
【００６８】
次に、図２に戻り、ノイズ除去係数決定部１６０におけるノイズ除去係数の決定方法について説明する。
【００６９】
ステップＳ１０６で、ノイズ除去係数決定部１６０は、ノイズ推定部１５０が生成した各チャンネル画像のノイズ強度値を用いて、各チャンネル画像のノイズ除去係数を決定する。
【００７０】
ここで、ノイズ除去係数とは、上述したように、ノイズ除去処理として平滑化処理を行う場合の平滑化の範囲（平滑化領域サイズ）を示す。ノイズ除去係数（平滑化領域サイズ）が大きいと、ノイズ除去効果は大きいが、平滑化後の画像は全体的にぼけた画像となる場合がある。これに対し、ノイズ除去係数（平滑化領域サイズ）が小さいと、ノイズ除去効果は小さいが、平滑化後の画像はくっきりした画像となる。このように、ノイズ除去効果（平滑化処理）と輪郭維持効果とはトレードオフの関係にある。そして、ノイズ除去係数（平滑化領域サイズ）の大きさによって、ノイズ除去効果（平滑化処理）及び輪郭の維持処理効果のうち、どちらの効果が優先されるか決定される。このように、ノイズ除去係数（平滑化領域サイズ）の大きさは、ノイズ除去効果（平滑化処理）及び輪郭維持効果に影響を与える。
【００７１】
そこで、本実施の形態では、ノイズ除去係数決定部１６０は、各チャンネル画像のノイズ強度値に応じて、各チャンネル画像ごとにノイズ除去係数（平滑化領域サイズ）を決定する。
【００７２】
一例として、Ｒ，Ｇ，Ｂチャンネル画像のノイズ強度値ＲNoise，ＧNoise，ＢNoiseが、それぞれ、ＲNoise＝７９００，ＧNoise＝１５８８０，ＢNoise＝３０６５６の場合を例に、ノイズ除去係数ｗR，ｗG，ｗBの決定方法について説明する。ここで、ｗRは、Ｒチャンネル画像のノイズ除去係数であり、ｗGは、Ｇチャンネル画像のノイズ除去係数であり、ｗBは、Ｒチャンネル画像のノイズ除去係数である。
【００７３】
ノイズ除去係数決定部１６０は、［１］ノイズ除去係数の絶対値の決定、及び、［２］ノイズ除去係数の相対値の維持、という２段階のステップを用いて、ノイズ除去係数を決定する。なお、ノイズ除去係数は、注目画素を中心とする近傍画素領域を表わす。そのため、ノイズ除去係数は、奇数となる。
【００７４】
［１］ノイズ除去係数の絶対値（大きさ）の決定
上述したように、ノイズ除去係数（平滑化領域サイズ）が大きいほど、ノイズ除去効果は大きくなり、平滑化（ノイズ除去）後の画像は、全体的にぼけた画像となる。これに対し、ノイズ除去係数（平滑化領域サイズ）が小さいほど、ノイズ除去効果が小さくなり被写体の輪郭が維持されるので、平滑化後の画像は輪郭がくっきりした画像となる。
【００７５】
したがって、各チャンネルのノイズ強度値が所定のノイズ閾値より小さく、ノイズが少ない場合には、ノイズ除去係数決定部１６０は、輪郭維持効果を優先して、ノイズ除去係数（平滑化領域サイズ）を小さい値に設定する。また、ノイズ強度値が小さい場合には、ノイズ除去係数（平滑化領域サイズ）を小さい値に設定しても、ノイズは十分に除去されると考えられる。これにより、被写体の輪郭がくっきりした画像が得られる。
【００７６】
これに対し、各チャンネルのノイズ強度値が所定のノイズ閾値より小さく、ノイズが少ない場合に、ノイズ除去係数（平滑化領域サイズ）を大きい値に設定すると、輪郭が維持されず、平滑化後の画像は輪郭がぼんやりした画像となる。
【００７７】
したがって、各チャンネルのノイズ強度値が所定のノイズ閾値より小さく、ノイズが少ない場合には、ノイズ除去係数（平滑化領域サイズ）を小さい値に設定するのが好ましい。
【００７８】
また、各チャンネルのノイズ強度値が所定のノイズ閾値以上であり、ノイズが多い場合には、ノイズ除去係数（平滑化領域サイズ）を小さい値に設定すると、十分にノイズを除去することが難しい。これに対し、各チャンネルのノイズ強度値が所定のノイズ閾値以上であり、ノイズが多い場合には、ノイズ除去係数（平滑化領域サイズ）を大きい値に設定すると、ノイズ除去効果が増大する。
【００７９】
したがって、各チャンネルのノイズ強度値が所定のノイズ閾値以上であり、ノイズが多い場合には、ノイズ除去係数（平滑化領域サイズ）を大きい値に設定するのが好ましい。
【００８０】
そこで、本実施の形態では、ノイズ除去係数決定部１６０は、ノイズ強度値と所定のノイズ閾値との比較結果に応じて、ノイズ除去係数の値に制限を設ける。
【００８１】
例えば、昼間画像は、一般的に夜間画像と比較してノイズが少ない。よって、各チャンネルのノイズ強度値が基準ノイズ値より小さい場合、ノイズ除去係数決定部１６０は、該当画像を昼間画像と判定する。そして、この場合、ノイズ除去係数決定部１６０は、ノイズ除去係数ｗR，ｗG，ｗBの絶対値を所定値より小さい値に設定する。例えば、ｗR，ｗG，ｗBをそれぞれ数値５以下に設定する。
【００８２】
すなわち、各チャンネルのノイズ強度値が基準ノイズ値より小さい場合、ノイズ除去係数決定部１６０は、ノイズ除去係数ｗR，ｗG，ｗBの上限値（例えば５）を設定する。
【００８３】
一方、各チャンネルのノイズ強度値が基準ノイズ値以上の場合、ノイズ除去係数決定部１６０は、該当画像を夜間画像と判定する。そして、ノイズ除去係数決定部１６０は、ノイズ除去係数ｗR，ｗG，ｗBの絶対値を所定値以上の値に設定する。例えば、ｗR，ｗG，ｗBをそれぞれ５以上に設定する。
【００８４】
すなわち、各チャンネルのノイズ強度値が基準ノイズ値より大きい場合、ノイズ除去係数決定部１６０は、ノイズ除去係数ｗR，ｗG，ｗBの下限値（例えば５）を設定する。
【００８５】
このように、ノイズ除去係数決定部１６０は、Ｒ，Ｇ，Ｂチャンネル画像のノイズ強度値ＲNoise，ＧNoise，ＢNoiseと基準ノイズとの閾値判定結果に基づいて、ノイズ除去係数ｗR，ｗG，ｗBの絶対値（大きさ）に制限を設ける。
【００８６】
なお、以上の説明では、上限値及び下限値が５の場合の場合について説明したが、上限値及び下限値は５には限られない。上限値は、昼間画像のように、ノイズが少ない撮影画像に用いられる平滑化領域サイズの最大値である。また、下限値は、夜間画像のように、ノイズが多い撮影画像に用いられる平滑化領域サイズの最小値である。したがって、上限値は、輪郭維持効果が得られる平滑化領域サイズとして適した値であればよい。また、下限値は、ノイズ除去効果が得られる平滑化領域サイズとして適した値であればよい。
【００８７】
また、昼間画像又は夜間画像の判定に用いられる基準ノイズ値は、実験等により経験値として設定する。
【００８８】
このようにして、ノイズ除去係数決定部１６０は、上記［１］にて、各チャンネルのノイズ推定値に応じて、各チャンネルのノイズ除去係数の絶対値（大きさ）の上限値又は下限値を決定し、各チャンネルのノイズ除去係数の絶対値（大きさ）に制限を設ける。ここで、上限値は、輪郭維持効果が得られる平滑化領域サイズを示し、下限値は、ノイズ除去効果が得られる平滑化領域サイズを示す。すなわち、ノイズ除去係数決定部１６０は、ノイズ推定値に応じてノイズ除去係数の絶対値（大きさ）に制限を設けることにより、輪郭維持効果を優先させて平滑化を行うか、ノイズ除去効果を優先させて平滑化を行うか、を選択していることになる。
【００８９】
［２］ノイズ除去係数の相対値の維持
ノイズ除去係数決定部１６０は、上記［１］にて、各チャンネルのノイズ除去係数の絶対値（大きさ）の上限値又は下限値を決定した後、各チャンネルのノイズ除去係数ｗR，ｗG，ｗBを決定する。具体的には、ノイズ除去係数決定部１６０は、各チャンネルのノイズ除去係数ｗR，ｗG，ｗBの比例関係が、各チャンネルのノイズ強度値ＲNoise，ＧNoise，ＢNoiseの比例関係に近くなるように、各チャンネルのノイズ除去係数ｗR，ｗG，ｗBを設定する。
【００９０】
例えば、撮影画像が夜間画像であり、上記［１］において、ノイズ除去係数決定部１６０が、ノイズ除去係数の絶対値の下限値を５に設定する場合を考える。このとき、ＲNoise＝７９００，ＧNoise＝１５８８０，ＢNoise＝３０６５６の場合、ＲNoise，ＧNoise，ＢNoiseの比例関係は、約１：２：４である。そこで、ノイズ除去係数決定部１６０は、ｗR，ｗG，ｗBの比例関係が、ＲNoise，ＧNoise，ＢNoiseの比例関係（約１：２：４）に出来るだけ近く、かつ、絶対値（大きさ）が５以上（下限値以上）となるｗR，ｗG，ｗBを設定する。例えば、ノイズ除去係数決定部１６０は、ｗR＝５，ｗG＝１１，ｗB＝２１と設定する。この場合、ｗR，ｗG，ｗBの絶対値は５以上であり、また、ｗR，ｗG，ｗBの比例関係は、約１：２：４であり、ＲNoise，ＧNoise，ＢNoiseの比例関係がほぼ維持されている。
【００９１】
なお、上記の例で、ｗB＝２１としてＢチャンネル画像を平滑化すると、平滑化領域サイズが大きすぎるため、ぼけた画像になる可能性がある。そこで、ノイズ除去係数決定部１６０は、ノイズ除去係数ｗR，ｗG，ｗBの比例関係のうち、ノイズ量が小さい２つのチャンネルのノイズ除去係数ｗR，ｗGについてのみ、ＲNoise，ＧNoiseの比例関係ができるだけ維持されるよう設定し、ノイズ量が最も大きいチャンネルのノイズ除去係数ｗBについては、ｗR＜ｗG＜ｗBの関係を満たすように設定してもよい。例えば、ｗR，ｗG，ｗBの比例関係が、ＲNoise，ＧNoise，ＢNoiseの比例関係に出来るだけ近くなるように、ｗR＝５，ｗG＝１１，ｗB＝２１と設定される場合、ノイズ除去係数決定部１６０は、１１（＝ｗG）＜ｗB≦２１を満たす１３，１５，１７のうちいずれかの値をｗBに設定するようにしてもよい。例えば、ノイズ除去係数決定部１６０が、ｗB＝１７と設定する場合には、ｗB＝２１と設定する場合に比べ、平滑化後のＢチャンネル画像がぼけた画像になるのを抑えることができる。
【００９２】
このようにして、ノイズ除去係数決定部１６０は、各チャンネル画像のノイズ除去係数をそれぞれ設定する。ノイズ除去係数決定部１６０は、設定した各チャンネル画像のノイズ除去係数（平滑化領域サイズ）をノイズ除去処理部１７０に出力する。
【００９３】
そして、ステップＳ１０７で、ノイズ除去処理部１７０は、ノイズ除去係数決定部１６０が設定した各チャンネル画像のノイズ除去係数を用いて平滑化処理を行うことにより、各チャンネル画像からノイズを除去する。
【００９４】
例えば、ノイズ除去処理部１７０は、式（７−１）〜（７−３）にしたがって、各チャンネル画像に対するノイズ除去を行う。
【００９５】
【数７】
なお、式（７−１）において、ＲoriginalはＲチャンネル画像を表し、Ｒ’はＲチャンネル画像の改善後画像を表す。また、ｗR×ＲoriginalはＲチャンネル画像のノイズ相当分の画像情報を表わす。
【００９６】
同様に、式（７−２）において、ＧoriginalはＧチャンネル画像を表し、Ｇ’はＧチャンネル画像の改善後画像を表す。また、ｗG×ＧoriginalはＧチャンネル画像のノイズ相当分の画像情報を表わす。
【００９７】
同様に、式（７−３）において、ＢoriginalはＢチャンネル画像を表し、Ｂ’はＢチャンネル画像の改善後画像を表す。また、ｗB×ＢoriginalはＢチャンネル画像のノイズ相当分の画像情報を表わす。
【００９８】
ノイズ除去方法については、各チャンネル画像で同様のため、式（７−２）を用いて、Ｇチャンネル画像のノイズを除去する場合を例に、ノイズ除去方法について説明する。
【００９９】
まず、ノイズ除去処理部１７０は、ｗG×Ｇoriginalを算出する。ｗG×Ｇoriginalを算出する方法として、ノイズ除去処理部１７０は、Ｇチャンネル画像に対して注目画素を含む所定の周囲画素に対してメディアン・フィルタ処理を実施する。ここで、ノイズ除去処理部１７０は、所定の周囲画素の範囲にノイズ除去係数を利用する。例えば、ｗG＝１１の場合、メディアン・フィルタ処理を実施する所定の周囲画素の範囲を１１×１１の領域とする。
【０１００】
ノイズ除去処理部１７０は、ｗG×Ｇoriginalを算出後、Ｇチャンネル画像ＧoriginalとｗG×Ｇoriginalとの差分を算出し、差分をノイズ除去後画像Ｇ’として取得する。
【０１０１】
同様にして、ノイズ除去処理部１７０は、Ｒチャンネル画像のノイズ除去後画像Ｒ’及びＢチャンネル画像のノイズ除去後画像Ｂ’を取得する。
【０１０２】
そして、ノイズ除去処理部１７０は、取得したノイズ除去後画像を改善画像格納部１８０へ出力する。
【０１０３】
そして、ステップＳ１０８で、改善画像格納部１８０は、ノイズ除去処理部１７０が生成したノイズ除去後画像Ｒ’，Ｇ’，Ｂ’チャンネル画像を、ＲＧＢ方式の画像に合成して、合成後の画像を格納する。
【０１０４】
ステップＳ１０９で、画像格納部１２０は、処理する撮影画像の有無を判定する。そして、処理する撮影画像が無い場合、画像処理を終了する。一方、処理する撮影画像が有る場合、ステップＳ１１０で、各チャンネル画像生成部１３０は、次のフレーム画像を取得して、ステップＳ１０２からの処理を開始する。
【０１０５】
以上のように、本実施の形態では、エッジ画像生成部１４０は、各チャンネル画像のエッジ画像を生成する。ノイズ推定部１５０は、ノイズ推定対象のチャンネル画像のエッジ画像である推定対象エッジ画像と、ノイズ推定対象のチャンネル画像と異なるチャンネル画像のエッジ画像である基準エッジ画像との比較結果に基づいて、ノイズ推定対象のチャンネル画像のノイズを推定する。これにより、複数のチャンネル情報に対応する各チャンネル画像のノイズを個別に推定することができる。
【０１０６】
また、ノイズ除去係数決定部１６０は、ノイズ推定対象のチャンネル画像のノイズ量に応じてノイズ推定対象のチャンネル画像の平滑化領域サイズを決定する。そして、ノイズ除去処理部１７０は、ノイズ推定対象のチャンネル画像の平滑化領域サイズを用いて、ノイズ推定対象のチャンネル画像を平滑化することにより、ノイズ推定対象のチャンネル画像のノイズを除去する。これにより、各チャンネル画像ごとに適した平滑化領域サイズが用いられてノイズが除去される。この結果、夜間画像のようにノイズが多い画像に対しても、被写体の輪郭情報を保ちつつ、ノイズを軽減することができる。また、昼・夜の撮影環境に自動的に適応し、当該撮影環境下において撮影された撮影画像のノイズ強度値及びノイズ除去係数を判定することができる。
【０１０７】
なお、以上の説明では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る画像処理装置と同様の機能を実現することができる。
【産業上の利用可能性】
【０１０８】
本発明に係る画像処理装置および画像処理方法は、夜間のような低照度車載画像・監視画像のノイズを除去する撮影装置等として有用である。
【符号の説明】
【０１０９】
１００ 画像処理装置
１１０ 撮影部
１２０ 画像格納部
１３０ 各チャンネル画像生成部
１４０ エッジ画像生成部
１５０ ノイズ推定部
１５１ エッジ抽出部
１５２ 平滑化部
１５３ 減算部
１５４ ノイズ算出部
１６０ ノイズ除去係数決定部
１７０ ノイズ除去処理部
１８０ 改善画像格納部
【特許請求の範囲】
【請求項１】
複数のチャンネル情報を含む撮影画像の画質を改善する画像処理装置であって、
前記複数のチャンネル情報に対応する各チャンネル画像のエッジ画像をそれぞれ生成するエッジ画像生成手段と、
前記エッジ画像のうち、ノイズ推定対象のチャンネル画像のエッジ画像である推定対象エッジ画像と、前記ノイズ推定対象のチャンネル画像と異なるチャンネル画像のエッジ画像である基準エッジ画像との比較結果に基づいて、前記ノイズ推定対象のチャンネル画像のノイズを推定するノイズ推定手段と、
前記ノイズに応じて前記ノイズ推定対象のチャンネル画像の平滑化領域サイズを決定する決定手段と、
前記平滑化領域サイズを用いて前記ノイズ推定対象のチャンネル画像を平滑化することにより、前記ノイズ推定対象のチャンネル画像のノイズを除去するノイズ除去手段と、
を具備する画像処理装置。
【請求項２】
前記ノイズ推定手段は、
前記推定対象エッジ画像と前記基準エッジ画像とに含まれるエッジ情報を用いて、前記推定対象エッジ画像のみに存在するエッジ情報を、推定対象エッジ情報として抽出する抽出手段と、
前記推定対象エッジ情報を平滑化することにより、前記推定対象エッジ情報に含まれるノイズを除去して平滑化推定対象エッジ情報を取得する平滑化手段と、
前記推定対象エッジ情報と前記平滑化推定対象エッジ情報との差分に基づいて、前記ノイズ推定対象のチャンネル画像のノイズを算出するノイズ算出手段と、を具備する、
請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、
前記各チャンネル画像のノイズと基準ノイズとの閾値判定結果に基づいて、前記各チャンネル画像の平滑化領域サイズの上限値又は下限値を設定する、
請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、
前記各チャンネル画像の平滑化領域サイズの比例関係が、前記各チャンネル画像のノイズの比例関係に近くなるように、前記各チャンネル画像の平滑化領域サイズを設定する、
請求項３に記載の画像処理装置。
【請求項５】
複数のチャンネル情報を含む撮影画像の画質を改善する画像処理方法であって、
前記複数のチャンネル情報に対応する各チャンネル画像のエッジ画像をそれぞれ生成し、
前記エッジ画像のうち、ノイズ推定対象のチャンネル画像のエッジ画像である推定対象エッジ画像と、前記ノイズ推定対象のチャンネル画像と異なるチャンネル画像のエッジ画像である基準エッジ画像との比較結果に基づいて、前記ノイズ推定対象のチャンネル画像のノイズを推定し、
前記ノイズに応じて前記ノイズ推定対象のチャンネル画像の平滑化領域サイズを決定し、
前記平滑化領域サイズを用いて前記ノイズ推定対象のチャンネル画像を平滑化することにより、前記ノイズ推定対象のチャンネル画像のノイズを除去する、
画像処理方法。
【請求項１】
複数のチャンネル情報を含む撮影画像の画質を改善する画像処理装置であって、
前記複数のチャンネル情報に対応する各チャンネル画像のエッジ画像をそれぞれ生成するエッジ画像生成手段と、
前記エッジ画像のうち、ノイズ推定対象のチャンネル画像のエッジ画像である推定対象エッジ画像と、前記ノイズ推定対象のチャンネル画像と異なるチャンネル画像のエッジ画像である基準エッジ画像との比較結果に基づいて、前記ノイズ推定対象のチャンネル画像のノイズを推定するノイズ推定手段と、
前記ノイズに応じて前記ノイズ推定対象のチャンネル画像の平滑化領域サイズを決定する決定手段と、
前記平滑化領域サイズを用いて前記ノイズ推定対象のチャンネル画像を平滑化することにより、前記ノイズ推定対象のチャンネル画像のノイズを除去するノイズ除去手段と、
を具備する画像処理装置。
【請求項２】
前記ノイズ推定手段は、
前記推定対象エッジ画像と前記基準エッジ画像とに含まれるエッジ情報を用いて、前記推定対象エッジ画像のみに存在するエッジ情報を、推定対象エッジ情報として抽出する抽出手段と、
前記推定対象エッジ情報を平滑化することにより、前記推定対象エッジ情報に含まれるノイズを除去して平滑化推定対象エッジ情報を取得する平滑化手段と、
前記推定対象エッジ情報と前記平滑化推定対象エッジ情報との差分に基づいて、前記ノイズ推定対象のチャンネル画像のノイズを算出するノイズ算出手段と、を具備する、
請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、
前記各チャンネル画像のノイズと基準ノイズとの閾値判定結果に基づいて、前記各チャンネル画像の平滑化領域サイズの上限値又は下限値を設定する、
請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、
前記各チャンネル画像の平滑化領域サイズの比例関係が、前記各チャンネル画像のノイズの比例関係に近くなるように、前記各チャンネル画像の平滑化領域サイズを設定する、
請求項３に記載の画像処理装置。
【請求項５】
複数のチャンネル情報を含む撮影画像の画質を改善する画像処理方法であって、
前記複数のチャンネル情報に対応する各チャンネル画像のエッジ画像をそれぞれ生成し、
前記エッジ画像のうち、ノイズ推定対象のチャンネル画像のエッジ画像である推定対象エッジ画像と、前記ノイズ推定対象のチャンネル画像と異なるチャンネル画像のエッジ画像である基準エッジ画像との比較結果に基づいて、前記ノイズ推定対象のチャンネル画像のノイズを推定し、
前記ノイズに応じて前記ノイズ推定対象のチャンネル画像の平滑化領域サイズを決定し、
前記平滑化領域サイズを用いて前記ノイズ推定対象のチャンネル画像を平滑化することにより、前記ノイズ推定対象のチャンネル画像のノイズを除去する、
画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１８４６６（Ｐ２０１２−１８４６６Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１０−１５３９８３（Ｐ２０１０−１５３９８３）
【出願日】平成２２年７月６日（２０１０．７．６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２２年７月６日（２０１０．７．６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]