説明

ノイズ低減装置及びノイズ低減方法

【課題】遠景の植物の被写体像が含まれる画像において遠景の植物を対象として適切にノイズ低減処理を施すことができ、解像感を得ることが可能なノイズ低減装置及びノイズ低減方法を提供すること。
【解決手段】画像データの注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定する被写体像判定部132と、判定結果に応じて注目画素を平滑化する平滑化部135とを有することを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ノイズ低減装置及びノイズ低減方法に関する。
【背景技術】
【0002】
デジタルスチルカメラ、ビデオカメラ等の撮像装置において、光情報を電気信号に変換する撮像素子から出力された電気信号に基づいて生成される画像データは、ノイズを含むため、画質の劣化が生じる。そこで、ノイズを低減する方法として、画像データに対してフィルタ処理をする場合がある。
【0003】
例えば、特許文献1には、画像データのノイズを低減する技術が開示されている。特許文献1の技術では、信号レベルだけでなく、撮影時の撮像素子温度、露光時間に応じたアナログゲインなどの動的に変化する要因を考慮してノイズ量を推定し、このノイズ量及び注目画素と近傍画素の情報に応じて平滑化処理を制御する。
【0004】
【特許文献1】特開2006−87030号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
ところで、撮像装置を用いて撮影する被写体には、樹木などの植物が遠景に含まれる場合がある。このとき、樹木の葉や花は、被写体像全体に比べて非常に細かい。植物が遠景で撮影された画像において、植物部分は、細部が確実に表現されていることによって本物らしく見えるという解像感が得られることが重要である。しかし、画像における遠景の植物の部分は、他の画像部分に比べて比較的高周波成分が多い。そのため、撮像装置内などで画像処理をする際、植物部分による高周波成分と、その他のノイズ成分とを区別することが困難であった。その結果、ノイズ低減(NR:noise reduction)処理すると、植物部分の画像がぼけてしまうという問題があった。
【0006】
また、例えば特許文献1の技術を用いて、注目画素近傍が特定色であるという情報、例えば緑色であるという情報を判定することで、植物部分のノイズ低減強度を低下させることが考えられる。しかし、植物ではない人工物(例えば自動車、看板など)が緑色であるとき、その人工物部分の画像に含まれるノイズを低減することができないという問題があった。
【0007】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、遠景の植物の被写体像が含まれる画像において遠景の植物を対象として適切にノイズ低減処理を施すことができ、解像感を得ることが可能な、新規かつ改良されたノイズ低減装置及びノイズ低減方法を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のある観点によれば、画像データの注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定する被写体像判定部と、判定結果に応じて注目画素を平滑化する平滑化部とを有するノイズ低減装置が提供される。
【0009】
この構成により、画像データの注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であるか否かが判定され、判定結果に応じて注目画素が平滑化される。
【0010】
上記被写体像判定部は、注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍の画素における高周波成分を算出する高周波成分算出部と、注目画素及び注目画素近傍の画素の色相値の平均値と、注目画素及び注目画素近傍の画素の彩度値の平均値を算出する色相彩度平均値算出部と、注目画素及び注目画素近傍の画素の彩度値の分散値を算出する彩度分散値算出部と、算出された高周波成分、色相値の平均値、彩度値の平均値、及び彩度値の分散値に基づいて、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定する判定部とを有する。
【0011】
上記平滑化部は、ローパスフィルタであり、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であると判定されたとき、遠景の植物の被写体像ではないと判定された時に比べて透過させる周波数範囲を広くする。
【0012】
上記被写体像判定部は、注目画素の画素値及び注目画素近傍の画素の画素値のうち赤外線成分値を算出する赤外線成分値算出部を更に有する。
【0013】
上記判定部は、算出された高周波成分が、注目画素及び注目画素近傍の画素において所定値以上含まれ、算出された色相値の平均値と、彩度値の平均値がそれぞれ所定範囲内に含まれ、算出された彩度値の分散値が所定値以上であるとき、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であると判定する。
【0014】
上記判定部は、更に、算出された赤外線成分値が、注目画素の輝度値に応じて変化する所定値以上であるとき、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であると判定する。
【0015】
また、上記課題を解決するために、本発明の別の観点によれば、画像データの注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定するステップと、判定結果に応じて注目画素を平滑化するステップとを有するノイズ低減方法が提供される。
【0016】
上記遠景の植物の被写体像であるか否かを判定するステップは、注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍の画素における高周波成分を算出するステップと、注目画素及び注目画素近傍の画素の色相値の平均値と、注目画素及び注目画素近傍の画素の彩度値の平均値を算出するステップと、注目画素及び注目画素近傍の画素の彩度値の分散値を算出するステップと、算出された高周波成分、色相値の平均値、彩度値の平均値、及び彩度値の分散値に基づいて、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定するステップとを有する。
【0017】
以上によれば、遠景の植物の被写体と同色(例えば緑色)の人工物が被写体像に含まれている場合でも、植物を判定することができる。そして、植物の被写体像であると判定できるため、植物の被写体と同色(例えば緑色)の画素に対してノイズ低減処理をする際、画像にぼけが生じないようにノイズ低減処理を施すことができる。
【発明の効果】
【0018】
本発明によれば、遠景の植物の被写体像が含まれる画像において遠景の植物を対象として適切にノイズ低減処理を施すことができ、解像感を得ることができる。
【発明を実施するための最良の形態】
【0019】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0020】
(第1の実施形態の構成)
まず、図1を参照して、本発明の第1の実施形態に係る撮像装置100の構成について説明する。図1は、本実施形態に係る撮像装置100を示すブロック図である。
【0021】
撮像装置100は、例えば静止画像を撮影することができるデジタルスチカメラである。撮像装置100は、例えば、レンズブロック102、撮像素子110、前処理部120、画像メモリ142、画像信号処理部144、全体信号処理部・制御部146、レンズ駆動部148、JPEG処理部150、LCD160、メモリカード170、操作部180などからなる。なお、撮像装置100は、動画像を撮影することができるビデオカメラであってもよい。
【0022】
レンズブロック102は、図示しないが、例えばズームレンズ、絞り、フォーカスレンズなどからなる。レンズブロック102は、外部の光情報を撮像素子110に結像させる光学系システムであり、被写体からの光を撮像素子110まで透過させる。ズームレンズは、焦点距離を変化させて画角を変えるレンズである。絞りは、透過する光量を調節する機構である。フォーカスレンズは、光軸方向に移動することで撮像素子110の撮像面に被写体像を合焦させる。フォーカスレンズは、レンズ駆動部148によって駆動される。
【0023】
撮像素子110は、光電変換素子の一例であり、レンズブロック102を透過して入射した光情報を電気信号に変換する光電変換が可能な複数の素子から構成される。各素子は受光した光量に応じた電気信号を生成する。撮像素子110は、CCD(charge coupled device)センサー、CMOS(complementary metal oxide semiconductor)センサー等を適用することができる。
【0024】
なお、撮像素子110の露光時間を制御するため、非撮影時に光を遮って撮影時のみ光が当たるように、メカニカルシャッター(図示せず。)を適用することができる。また、これに限定されず、電子シャッターを適用してもよい。なお、メカニカルシャッター又は電子シャッターの動作は、全体信号処理部・制御部146に接続されたシャッターボタン(操作部180)のスイッチによって行われる。
【0025】
撮像素子110は、更にCDS/AMP部、A/D変換部を有する。CDS/AMP部(相関二重サンプリング回路(correlated double sampling)/増幅器(amplifier))は、撮像素子110から出力された電気信号に含まれる低周波ノイズを除去すると共に、電気信号を任意のレベルまで増幅する。A/D変換部は、CDS/AMP部から出力された電気信号をデジタル変換してデジタル信号を生成する。A/D変換部は、生成したデジタル信号を前処理部120に出力する。
【0026】
前処理部120は、A/D変換部から出力されたデジタル信号に対して処理を施し、画像処理が可能となる画像信号を生成する。前処理部120は、例えば、撮像素子110の画素欠陥補正、黒レベル補正、シェーディング補正、AF評価値の算出などの処理を行う。前処理部120は、生成した画像信号を例えば画像信号処理部144に出力する。また、前処理部120は、画像メモリ142への画像データの読み書きを制御する。
【0027】
画像メモリ142は、例えばSDRAM(synchronous DRAM)であり、撮影した画像の画像データを一時的に保存する。画像メモリ142は、複数の画像の画像データを記憶できる記憶容量を有している。画像メモリ142への画像の読み書きは、前処理部120によって制御される。
【0028】
画像信号処理部144は、前処理部120から映像信号を受け、輝度信号と色信号に変換処理する。画像信号処理部144は、後述するノイズ低減部130を有し、ノイズ低減処理をする。また、画像信号処理部144は、WB制御値、γ値、エッジ(輪郭)強調制御値などに基づいて、画像処理された画像信号を生成する。画像信号処理部144は、生成した映像信号を全体信号処理部・制御部146に送る。
【0029】
全体信号処理部・制御部146は、プログラムによって演算処理装置及び制御装置として機能し、撮像装置100内に設けられた各構成要素の処理を制御する。全体信号処理部・制御部146は、例えば、レンズ駆動部148に信号を出力してレンズブロック102のフォーカスレンズを駆動させる。また、全体信号処理部・制御部146は、操作部180からの信号に基づいて撮像装置100の各構成要素を制御する。なお、本実施形態においては、全体信号処理部・制御部146が1つだけからなる構成であるが、信号系の命令と操作系の命令とを別々のCPUで行うなど複数のCPUから構成されてもよい。
【0030】
レンズ駆動部148は、フォーカス制御開始の操作信号を受けると、フォーカスレンズを一方向に移動する制御信号を生成して、生成した制御信号をレンズブロック102に出力する。レンズ駆動部148は、前処理部120で算出されたAF評価値に基づいて、フォーカスレンズの合焦位置を算出する。なお、AF評価値は、画像信号の輝度値に基づいて前処理部120で算出されたものである。AF評価値は、例えば画像のコントラスト値であり、コントラスト値が最大となったとき、被写体像が撮像素子110の撮像面110Aで合焦していると判断する(コントラスト検出方式)。なお、本実施形態のフォーカス制御はコントラスト検出方式に限定されず、他の方式によって行われてもよい。
【0031】
JPEG処理部150は、全体信号処理部・制御部146からの映像データに対して、例えばJPEG(Joint Photographic Experts Group)規格などの静止画像の符号化方式で圧縮符号化処理を行う。また、メモリカード170から供給された静止画像の符号化データに対して伸張復号化処理を行う。
【0032】
LCD160は、例えばVRAMから画像データを受けて、画面に画像を表示する。LCD160は、例えば撮像装置100の本体に設けられる。LCD160が表示する画像は、例えば、VRAMから読み出された撮影前の画像(ライブビュー表示)、撮像装置100の各種設定画面や、撮像して記録された画像などである。本実施形態では、表示部としてLCD160としたが、本発明はかかる例に限定されず、例えば有機ELディスプレイなどであってもよい。
【0033】
なお、VRAM(video RAM)は、画像表示用のメモリであり、複数のチャネルを有する。VRAMは、画像メモリ142からの画像表示用の画像データの入力と、LCD160への画像データの出力を同時に実行できる。LCD160の解像度や最大発色数はVRAMの容量に依存する。
【0034】
メモリカード170は、画像データの書き込み、又は記録された画像データや設定情報などの読み出しがされる。メモリカード170は、例えば、磁気ディスク、半導体記憶媒体などの記録媒体であり、撮影された画像データを記録する。記録媒体であれば、メモリカード170に限定されず、光ディスク(CD、DVD、ブルーレイディスク等)、光磁気ディスクなどでもよい。メモリカード170は、撮像装置100から着脱可能に構成されてもよい。
【0035】
操作部180は、例えば、撮像装置100に設けられた上下左右キー、電源スイッチ、モードダイアル、シャッターボタンなどである。操作部180は、ユーザーによる操作に基づいて操作信号を全体信号処理部・制御部146等に送る。例えば、シャッターボタンは、ユーザーによる半押し(S1操作)、全押し(S2操作)、解除が可能である。シャッターボタンは、半押しされたときフォーカス制御開始の操作信号を出力し、半押し解除でフォーカス制御が終了する。また、シャッターボタンは、全押しされたとき、撮影開始の操作信号を出力する。
【0036】
なお、撮像装置100における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。
【0037】
(ノイズ低減部130の構成)
次に、図2を参照して、本実施形態に係るノイズ低減部130の構成について説明する。図2は、本実施形態に係るノイズ低減部130を示すブロック図である。
【0038】
ノイズ低減部130は、ノイズ低減装置の一例であり、例えば画像信号処理部144に設けられる。ノイズ低減部130は、例えば、入力部131と、被写体像判定部132と、フィルタ処理選択部134と、フィルタ処理部135と、出力部136などを有する。
【0039】
入力部131は、撮像素子110から出力された画像データが、輝度信号及び色信号に変換処理された後の輝度−色差信号からなる画像データが入力される。入力された画像データは、被写体像判定部132に送られる。
【0040】
被写体像判定部132は、画像データの注目画素の画素値と、注目画素近傍の画素の画素値から、注目画素が対象としている被写体像であるか否かを判定する。ここで、対象としている被写体像とは、本実施形態では遠景の樹木等の植物の被写体像である。樹木などの植物が遠景に含まれる場合、樹木の葉(緑色の青葉や、黄色、赤色等の紅葉など)や、花(桜の花等)は、被写体像全体に比べて非常に細かい。被写体像が遠景の植物であるか否かを判定することによって、植物であると判定された部分を通常のノイズと区別することができる。
【0041】
被写体像判定部132は、例えば、特徴算出部137と、判定部138などからなる。特徴算出部137は、注目画素が対象としている被写体像であると判定できる基準となる値を算出する。本実施形態では、対象としている被写体像が遠景の植物である。注目画素が遠景の植物の被写体像であると判定できる基準となる値は、(1)高周波成分、(2)色相値の平均値と、彩度値の平均値、(3)彩度値の分散値である。特徴算出部137は、例えば、高周波成分算出部152と、色相彩度平均値算出部154と、彩度分散値算出部156などからなる。
【0042】
高周波成分算出部152は、注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍の画素における高周波成分を算出する。色相彩度平均値算出部154は、注目画素及び注目画素近傍の画素の色相値に基づいて、注目画素及び注目画素近傍の画素の色相値の平均値を算出する。また、色相彩度平均値算出部154は、注目画素及び注目画素近傍の画素の彩度値に基づいて、注目画素及び注目画素近傍の画素の彩度値の平均値を算出する。彩度分散値算出部156は、注目画素及び注目画素近傍の画素の彩度値に基づいて、注目画素及び注目画素近傍の画素の彩度値の分散値を算出する。
【0043】
判定部138は、特徴算出部137で算出された判定基準となる各値(例えば、算出された高周波成分、色相値の平均値、彩度値の平均値、及び彩度値の分散値)に基づいて、注目画素が、対象としている被写体像(遠景の植物の被写体像)であるか否かを判定する。例えば、判定部138は、算出された高周波成分が、注目画素及び注目画素近傍の画素において所定値以上含まれ、算出された色相値の平均値と、彩度値の平均値がそれぞれ所定範囲内に含まれ、算出された彩度値の分散値が所定値以上であるとき、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であると判定する。
【0044】
フィルタ処理選択部134は、判定部138の判定結果に基づいて、フィルタ処理部135に記録された複数のフィルタのうち、少なくとも1つのフィルタを選択する。選択されるフィルタは、画像データ(判定部138の判定結果)に応じて異なる。フィルタ処理選択部134は、どのフィルタが選択されるべきかの情報をフィルタ処理部135に送る。
【0045】
フィルタ処理部135は、本実施形態では、複数種類のフィルタが記憶部に記録されている。フィルタ処理部135は平滑化部の一例であり、フィルタは例えばローパスフィルタである。そして、注目画素及び注目画素近傍からなる画像が遠景の植物の被写体像であると判定されたとき、遠景の植物の被写体像ではないと判定された時に比べて透過させる周波数範囲を広くする。フィルタ処理部135は、フィルタ処理選択部134からどのフィルタが選択されるべきかの情報を受ける。また、フィルタ処理部135は、入力部131から画像データを受けて、どのフィルタが選択されるべきかの情報に基づいて、画像データの注目画素に対してフィルタ処理を行う。即ち、フィルタ処理部135は、フィルタ処理選択部134で画像データに応じて選択されたフィルタが注目画素を平滑化し、画像データに含まれるノイズを低減する。フィルタ処理部135は、フィルタ処理された画像データを出力部136に送る。
【0046】
出力部136は、フィルタ処理された画像データをノイズ低減部130の外部に出力する。出力された画像データは、例えば色補間処理、ホワイトバランス調整、ガンマ処理などがされる。
【0047】
なお、ノイズ低減部130における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。
【0048】
(ノイズ低減部130の動作)
次に、図3を参照して、本実施形態に係るノイズ低減部130の動作について説明する。図3は、本実施形態に係るノイズ低減部130の動作を示すフローチャートである。
【0049】
まず、ノイズ低減部130の入力部131に輝度信号(Y)、色差信号(Cb、Cr)からなる画像データが入力される(ステップS101)。なお、ノイズ低減部130には、YCbCr信号の画像データが直接入力されてもよいし、カラーフィルタがベイヤ(Bayer)配列された撮像素子から出力された信号によるRAWデータでもよい。また、RGB色空間によるRGB信号など他の色空間で表現される信号でもよい。なお、RGB信号が入力された場合は信号を輝度−色差信号に変換するステップが追加される。
【0050】
そして、特徴算出部137において、入力された画像データの注目画素の画素値と、注目画素近傍の画素の画素値から、注目画素が遠景の植物であると判定できる基準となる値を算出する。
【0051】
図6で示すように、色差信号Cbと、色差信号Crを直交座標で色空間を表現すると、原点からの距離rは彩度を表し、Cr軸からの角度θは色相を表す。図6は、CbCr信号で表された色空間を示すグラフである。そこで、例えば、色相彩度平均値算出部154や彩度分散値算出部156が、注目画素及び注目画素近傍の画素の色差信号(Cr、Cb)を極座標変換する(ステップS102)。これにより、ある画素の色差信号(Cr、Cb)が、(VCr、VCb)であったときの彩度rと、色相θが分かる。
【0052】
例えば、彩度rは、
【数1】

で表され、
また、色相θは、
【数2】

で表される。
【0053】
次に、色相彩度平均値算出部154が、注目画素及び注目画素近傍の画素の彩度値rに基づいて、下記の数式を用いて注目画素及び注目画素近傍の画素の彩度値rの平均値を算出する(ステップS103)。
【数3】

【0054】
また、色相彩度平均値算出部154が、注目画素及び注目画素近傍の画素の色相値θに基づいて、下記の数式を用いて注目画素及び注目画素近傍の画素の色相値θの平均値を算出する(ステップS103)。
【数4】

【0055】
更に、彩度分散値算出部156が、注目画素及び注目画素近傍の画素の彩度値rに基づいて、下記の数式を用いて注目画素及び注目画素近傍の画素の彩度値rの分散値を算出する(ステップS103)。
【数5】

【0056】
一方、高周波成分算出部152が、注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍の画素における高周波成分を算出する。例えば、高周波成分算出部152は、注目画素の画素値及び注目画素近傍の画素の画素値に基づいて、注目画素及び注目画素近傍の空間周波数を検出する(ステップS104)。
【0057】
具体的には、画像データについて2次元DCT(discrete cosine transform:離散コサイン変換)を行ってDCT係数を算出する。例えば、図4に示すように、画像データを5×5画素のブロックに分割する場合について説明する。図4は、画像データの画素の配列を示す説明図である。図4は、5×5画素のブロックを抽出したものであり、図4中のAは、注目画素を表わす。各画素の画素値をf(x,y)とすると、ブロック毎のDCT係数F(u,v)は、次式で表わされる。
【数6】

【0058】
これにより、DCT係数F(u,v)は図5に示すように配列される。図5は、DCT係数の配列を示す説明図である。各ブロックの左上端は直流(DC)成分を表わす。そして、高周波成分が注目画素及び注目画素近傍の画素において所定値以上含まれるか否かを判断するために、下記の数式により係数kfHを算出する。係数kfHは、図5のC1〜C7のDCT係数と、D1〜D9のDCT係数の2乗和の平方根である。
【数7】

【0059】
次に、判定部138が、特徴算出部137で算出された判定基準となる各値(例えば、算出された高周波成分、色相値の平均値、彩度値の平均値、及び彩度値の分散値)に基づいて、注目画素が、対象としている被写体像(遠景の植物の被写体像)であるか否かを判定する(ステップS105)。
【0060】
まず、条件1として、係数kfHが所定値以上であるか否かを判定する。係数kfHが比較的大きい値では高周波成分が多い。高周波成分が多ければ、画像に遠景の植物が含まれる可能性があるからである。例えば、
【数8】

を満たすか否かを判定する。
【0061】
また、条件2として、彩度値r及び色相値θの平均値が所定範囲内であるか否かを判定する。彩度値r及び色相値θの平均値が例えば植物の葉の色(青葉の緑色、紅葉の黄色や赤色など)や花の色(桜の淡いピンク色など)に近ければ、画像に遠景の植物が含まれる可能性があるからである。例えば、緑色の領域であるかを判定するため、
【数9】

かつ
【数10】

を満たすか否かを判定する。
【0062】
更に、条件3として、彩度値rの分散値が所定値以上であるか否かを判定する。彩度値rの分散値(ばらつき)が大きければ、色の変化が大きく、画像に遠景の植物が含まれる可能性があるからである。例えば、
【数11】

を満たすか否かを判定する。
【0063】
上述した条件1〜3を全て満たすとき、判定部138は、注目画素が、遠景の植物の被写体像であると判定する。一方、条件1〜3のいずれか1つを満たさないときは、判定部138は、注目画素が、遠景の植物の被写体像ではないと判定する。なお、上記の条件1〜3で示した数値は、8bit(0〜255)のレベルを持つ画像であって、コンパクトカメラでISO100程度のノイズを持つときに適用する値の例である。従って、ISO感度が他の値であるときは、条件1〜3で示した数値は異なる値となる。
【0064】
そして、フィルタ処理選択部134で、注目画素が、遠景の植物の被写体像であるか否かによって、フィルタ処理部135における複数のフィルタのうち少なくとも1つのフィルタが選択される(ステップS106)。
【0065】
その後、選択されたフィルタ処理部135のフィルタが、画像データの注目画素に対してフィルタ処理をする(ステップS107)。
【0066】
例えば、注目画素が遠景の植物の被写体像であると判定された場合は、比較的弱いLPF(ローパスフィルタ)を選択する。図8に比較的弱いLPFの一例を示す。これにより、遠景の植物の被写体像の注目画素に対して、比較的弱いLPF処理することになり、遠景の植物の被写体像に適切なノイズ低減処理をすることができる。
【0067】
例えば、注目画素が遠景の植物の被写体像ではないと判定された場合は、比較的強いLPFを選択する。図9に比較的強いLPFの一例を示す。これにより、遠景の植物の被写体像以外の注目画素に対して、比較的強いLPF処理することになり、遠景の植物の被写体像以外の被写体像に適切なノイズ低減処理をすることができる。最後に、フィルタ処理された画像データがノイズ低減部130の外部に出力される(ステップS108)。
【0068】
以下、本実施形態のノイズ低減部130の効果を説明する。例えば、表面がフラット(平滑)な人工物の被写体像は、重畳してくるノイズの特性として、図7(B)のように彩度値方向、色相値方向にほぼ均一なばらつきを持つ。そのため、色差信号の分布は略円の分布となる。また、比較的高周波成分が少なくなる。なお、図中に示した
【数12】

は、上述したステップS103で算出した彩度値rの平均値及び色相値θの平均値である。図7は、CbCr信号で表された色空間を示すグラフである。図7(B)は、人工物の被写体像におけるCbCr信号の分布の一例を示す。
【0069】
一方、遠景の植物の被写体像は、明るさや色の変化が大きいため、図7(A)のように色差信号のばらつきが大きくなり、特に彩度値r方向にばらつきが大きくなる。そのため、色差信号の分布は僅かに楕円形状の分布となる。また、比較的高周波成分が多くなる。図7(A)は、遠景の植物の被写体像におけるCbCr信号の分布の一例を示す。なお、図中に示した
【数13】

は、上述したステップS103で算出した彩度値rの平均値及び色相値θの平均値である。
【0070】
このように、本実施形態は、人工物の被写体像と、遠景の植物の被写体像が有する色差信号の分布と、高周波成分の違いに着目して、本実施形態では、画像に遠景の植物が含まれるか否かを判定する。
【0071】
これにより、画像データにおける遠景の植物の被写体像に対して、ノイズ低減処理を比較的弱めにすることができ、植物部分の画像がぼけてしまうことなく解像感のある画像を得ることができる。一方、植物と同様の色成分を有する植物以外の被写体像に対しては、ノイズ低減処理を弱めることなく通常の処理を行なうことができ、ノイズの低減を確実に行うことができる。例えば、植物の色に近い色を有する人工物(自動車や看板等)に対してノイズが除去されないという問題を回避することができる。
【0072】
(第2の実施形態)
次に、本発明の第2の実施形態に係る撮像装置200について説明する。本実施形態では、撮像素子110に、赤外線のみを透過させる可視光線除去フィルタが設けられることで、被写体像の赤外線量を検出できる。そして、赤外線量を参照することで、画像に遠景の植物の被写体像が含まれるかを判断する。
【0073】
例えば、ノイズ低減部130における被写体像判定部132が、更に赤外線成分値算出部を有する。赤外線成分値算出部は、注目画素の画素値及び注目画素近傍の画素の画素値のうち赤外線成分値を算出する。そして、判定部138が、第1の実施形態で説明した条件1〜3に加えて、算出された赤外線成分値が所定値以上であるか否かという条件4を判定する。植物からの赤外線量は、人工物に比べて値が高くなるため、赤外線成分値が高ければ、画像に遠景の植物が含まれる可能性があるからである。なお、上記の所定値は、注目画素の輝度値Yに比例して変化するように決定する。赤外線量は、輝度が高くなると値が高くなるためである。
【0074】
そして、上述した条件1〜4を全て満たすとき、判定部138は、注目画素が、遠景の植物の被写体像であると判定する。一方、条件1〜4のいずれか1つを満たさないときは、判定部138は、注目画素が、遠景の植物の被写体像ではないと判定する。
【0075】
このように、第1の実施形態で説明した条件1〜3に加えて条件4を考慮することで、更に精度良く遠景の植物の被写体像であるか否かを判定でき、遠景の植物の被写体像が含まれる画像において遠景の植物を対象として適切にノイズ低減処理を施すことができる。
【0076】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0077】
例えば、上記実施形態では、ノイズ低減部130が画像信号処理部144に設けられ、輝度信号、色差信号からなる画像データに対してノイズ低減処理を施す例について説明したが、本発明はこの例に限定されない。例えば、ノイズ低減部は、画像データが、撮像素子110から出力され、画素欠陥補正がされた画像データ(RAWデータ)に対して、ノイズ低減処理をしてもよい。このとき、ノイズ低減部は、例えば前処理部120に設けられる。
【0078】
また、上記実施形態では、交流成分C1〜C7,D1〜D9を使用して係数kfHを算出する場合について説明したが、本発明はこの例に限定されない。例えば、交流成分B1〜B5,C1〜C7,D1〜D9を使用して係数kfHを算出してもよい。
【0079】
また、上記実施形態では、画像データを5×5画素のブロックに分割する場合について説明したが、本発明はこの例に限定されず、例えば、8×8画素のブロック、10×10画素のブロックに分割するなど、分割するブロックの大きさは任意である。また、ノイズ低減のためのフィルタ処理は、上述したフィルタに限定されず、他の処理で行ってもよい。
【0080】
また、上記実施形態では、フィルタ処理部135において適用するローパスフィルタの種類を被写体像が遠景の植物であるか否かに応じて変更する場合について説明したが、本発明はこの例に限定されない。例えば、被写体像が遠景の植物であるか否かに関わらず適用するローパスフィルタは同一としてもよく、このとき、元の画像に対してフィルタ処理する際、フィルタ処理する注目画素とフィルタ処理しない注目画素の比率を、被写体像が遠景の植物であるか否かに応じて変更する。
【図面の簡単な説明】
【0081】
【図1】本発明の第1の実施形態に係る撮像装置を示すブロック図である。
【図2】同実施形態に係るノイズ低減部を示すブロック図である。
【図3】同実施形態に係るノイズ低減部の動作を示すフローチャートである。
【図4】画像データの画素の配列を示す説明図である。
【図5】DCT係数の配列を示す説明図である。
【図6】CbCr信号で表された色空間を示すグラフである。
【図7】CbCr信号で表された色空間を示すグラフである。
【図8】ローパスフィルタ(LPF)の一例を示す説明図である。
【図9】ローパスフィルタ(LPF)の一例を示す説明図である。
【符号の説明】
【0082】
100、200 撮像装置
102 レンズブロック
110 撮像素子
120 前処理部
130 ノイズ低減部
131 入力部
132 被写体像判定部
134 フィルタ処理選択部
135 フィルタ処理部
136 出力部
137 特徴算出部
138 判定部
142 画像メモリ
144 画像信号処理部
146 全体信号処理部・制御部
148 レンズ駆動部
150 JPEG処理部
152 高周波成分算出部
154 色相彩度平均値算出部
156 彩度分散値算出部
160 LCD
170 メモリカード
180 操作部

【特許請求の範囲】
【請求項1】
画像データの注目画素の画素値及び前記注目画素近傍の画素の画素値に基づいて、前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定する被写体像判定部と、
前記判定結果に応じて前記注目画素を平滑化する平滑化部と
を有する、ノイズ低減装置。
【請求項2】
前記被写体像判定部は、
前記注目画素の画素値及び前記注目画素近傍の画素の画素値に基づいて、前記注目画素及び前記注目画素近傍の画素における高周波成分を算出する高周波成分算出部と、
前記注目画素及び前記注目画素近傍の画素の色相値の平均値と、前記注目画素及び前記注目画素近傍の画素の彩度値の平均値を算出する色相彩度平均値算出部と、
前記注目画素及び前記注目画素近傍の画素の彩度値の分散値を算出する彩度分散値算出部と、
算出された前記高周波成分、前記色相値の平均値、前記彩度値の平均値、及び前記彩度値の分散値に基づいて、前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定する判定部と
を有する、請求項1に記載のノイズ低減装置。
【請求項3】
前記平滑化部は、ローパスフィルタであり、
前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であると判定されたとき、遠景の植物の被写体像ではないと判定された時に比べて透過させる周波数範囲を広くする、請求項1又は2に記載のノイズ低減装置。
【請求項4】
前記被写体像判定部は、
前記注目画素の画素値及び前記注目画素近傍の画素の画素値のうち赤外線成分値を算出する赤外線成分値算出部を更に有する、請求項2又は3に記載のノイズ低減装置。
【請求項5】
前記判定部は、算出された前記高周波成分が、前記注目画素及び前記注目画素近傍の画素において所定値以上含まれ、算出された前記色相値の平均値と、前記彩度値の平均値がそれぞれ所定範囲内に含まれ、算出された前記彩度値の分散値が所定値以上であるとき、前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であると判定する、請求項2〜4のいずれかに記載のノイズ低減装置。
【請求項6】
前記判定部は、更に、算出された赤外線成分値が、前記注目画素の輝度値に応じて変化する所定値以上であるとき、前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であると判定する、請求項5に記載のノイズ低減装置。
【請求項7】
画像データの注目画素の画素値及び前記注目画素近傍の画素の画素値に基づいて、前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定するステップと、
前記判定結果に応じて前記注目画素を平滑化するステップと
を有する、ノイズ低減方法。
【請求項8】
前記遠景の植物の被写体像であるか否かを判定するステップは、
前記注目画素の画素値及び前記注目画素近傍の画素の画素値に基づいて、前記注目画素及び前記注目画素近傍の画素における高周波成分を算出するステップと、
前記注目画素及び前記注目画素近傍の画素の色相値の平均値と、前記注目画素及び前記注目画素近傍の画素の彩度値の平均値を算出するステップと、
前記注目画素及び前記注目画素近傍の画素の彩度値の分散値を算出するステップと、
算出された前記高周波成分、前記色相値の平均値、前記彩度値の平均値、及び前記彩度値の分散値に基づいて、前記注目画素及び前記注目画素近傍からなる画像が遠景の植物の被写体像であるか否かを判定するステップと
を有する、請求項7に記載のノイズ低減方法。



【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2010−154274(P2010−154274A)
【公開日】平成22年7月8日(2010.7.8)
【国際特許分類】
【出願番号】特願2008−330689(P2008−330689)
【出願日】平成20年12月25日(2008.12.25)
【出願人】(598045058)株式会社サムスン横浜研究所 (294)
【Fターム(参考)】