映像処理装置および映像処理プログラム
【課題】撮影状況のみならず色相域に最適化された色ノイズ低減処理が行えるようにする。
【解決手段】撮像系から取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置は、映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出手段１１１と、抽出された領域の輝度信号に基づいて、領域の代表的輝度値を算出する代表輝度算出手段１１３と、領域の色信号に基づいて、領域の代表的色相値を算出する代表色相算出手段１１２と、代表的輝度値および代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定手段１１４と、推定された色ノイズ量に基づいて、領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減手段１１５とを備える。
【解決手段】撮像系から取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置は、映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出手段１１１と、抽出された領域の輝度信号に基づいて、領域の代表的輝度値を算出する代表輝度算出手段１１３と、領域の色信号に基づいて、領域の代表的色相値を算出する代表色相算出手段１１２と、代表的輝度値および代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定手段１１４と、推定された色ノイズ量に基づいて、領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減手段１１５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像系に起因するランダムノイズの低減処理を行う映像処理装置に係わり、特に色ノイズ低減処理に関連する色ノイズ量の推定を高精度化することで色ノイズ成分を高精度に低減可能とする映像処理装置に関する。
【背景技術】
【０００２】
撮像素子とそれに付随するアナログ回路およびＡ／Ｄコンバータ等から構成される撮像系から得られる映像信号は、一般にノイズ成分を含有する。上記ノイズ成分は、固定パターンノイズとランダムノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。
【０００３】
静止画像のランダムノイズの低減処理に関しては、例えば特開2001-175843号公報に示されるように、映像信号を輝度信号と色差信号に分離し、輝度信号および色差信号からエッジ強度を求め、エッジ部以外の領域において色差信号に平滑化処理を行う手法が開示されている。これにより、エッジ部を保存して平坦部のみに色ノイズ低減処理を行うことが可能となる。
【０００４】
また、特開2005-175718号公報に示されるように、映像信号を輝度信号と色差信号に分離し、所定領域単位で輝度ノイズ量および色ノイズ量を推定し、領域単位でノイズ低減処理を行う例が開示されている。これにより、領域ごとに最適化されたノイズ低減処理が可能となる。
【０００５】
一方、動画像におけるランダムノイズの低減処理としては、時間軸方向の相関性を用いた巡回型のノイズ低減処理がある。巡回型のノイズ低減処理は、映像信号自体は過去の映像信号と相関性が高く、一方、ランダムノイズは過去の映像信号と相関性が低いことを利用し、現在と過去の映像信号間にて差分処理を行うことでランダムノイズのみを抽出し、抽出されたランダムノイズを用いて現在の映像信号のノイズ低減処理を行うものである。
【０００６】
このような巡回型のノイズ低減処理としては、例えば特開平10-13734号公報では、映像信号から動き成分を検出し、検出された動き成分に基づいて、差分処理をおこなった信号に対するリミット値と帰還係数を制御する方法が開示されている。これにより、動き成分に起因する残像などの副作用を抑制したノイズ低減処理が可能となる。また、特開2000-209507号公報では差分処理をおこなった信号値から帰還係数を制御する方法が開示されている。これにより、比較的少ない演算量で副作用を抑制したノイズ低減処理が可能となる。
【特許文献１】特開2001-175843号公報
【特許文献２】特開2005-175718号公報
【特許文献３】特開平10-13734号公報
【特許文献４】特開2000-209507号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特開2001-175843号公報では、エッジ部以外の平坦な領域における色差信号に平滑化処理を行っているが、上記平滑化処理は固定的に行われている。しかしながら、色ノイズ量は信号レベルや撮影時の温度，ゲインなどにより異なるため、平滑化処理を最適に制御することはできない。このため、色ノイズ成分の残存や原信号の劣化などが発生するという課題がある。また、時間軸方向の相関性を用いた巡回型のノイズ低減処理とは独立しており、相互を最適に活用できないという課題がある。
【０００８】
特開2005-175718号公報では、領域単位で色ノイズ量を信号レベルや撮影時の温度、ゲインに基づき推定している。しかし、色ノイズは色相域によりその発生量が異なるため、推定される色ノイズ量は平均値的には正しいが、個々の色相域単位では十分な精度ではない。このため、各色相域に最適な色ノイズ成分の低減処理がなされないという課題がある。また、時間軸方向の相関性を用いた巡回型のノイズ低減処理とは独立しており、相互を最適に活用できないという課題がある。
【０００９】
特開平10-13734号公報では、動き成分を検出することで高精度なノイズ低減処理が可能となるが、一般に動き成分の検出処理は計算量が多く処理時間が長くなり、システム全体としてコストが高くなるという課題がある。また、動き成分とランダムノイズという性質が異なる信号間の処理は、制御のためのパラメータ設定が複雑になり、操作性が低下するという課題がある。
【００１０】
特開2000-209507号公報では、差分処理をおこなった信号値で制御を行うため計算量が少なく低コスト化が可能であるが、動き成分とランダムノイズの分離精度が低く高品位な映像信号が得られないという課題がある。
【００１１】
本発明は上記問題点に着目し、信号レベル、温度、ゲインなどの動的に変化する撮影状況および各色相域に対応した色ノイズ量の推定を行い、撮影状況のみならず色相域に最適化された色ノイズ低減処理を行うことで、高品位な映像信号を得ることを目的とする。
【課題を解決するための手段】
【００１２】
本発明による映像処理装置は、撮像系から取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、前記映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出手段と、前記分離抽出手段によって抽出された領域の輝度信号に基づいて、前記領域の代表的輝度値を算出する代表輝度算出手段と、前記領域の色信号に基づいて、前記領域の代表的色相値を算出する代表色相算出手段と、前記代表輝度算出手段によって算出された代表的輝度値および前記代表色相算出手段によって算出された代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定手段と、前記色ノイズ推定手段によって推定された色ノイズ量に基づいて、前記領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減手段とを備えることを特徴とする。
【００１３】
また、本発明による映像処理プログラムは、撮像系から取り込まれた映像信号に対しノイズ低減処理を行う映像処理プログラムにおいて、前記映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出ステップと、前記分離抽出ステップにおいて抽出された領域の輝度信号に基づいて、前記領域の代表的輝度値を算出する代表輝度算出ステップと、前記領域の色信号に基づいて、前記領域の代表的色相値を算出する代表色相算出ステップと、前記代表的輝度値および前記代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定ステップと、前記色ノイズ推定ステップにおいて推定された色ノイズ量に基づいて、前記領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減ステップとを備えることを特徴とする。
【発明の効果】
【００１４】
本発明による映像処理装置および映像処理プログラムによれば、所定サイズの領域ごとに代表的輝度値および代表的色相値を求めて色ノイズ量を推定し、推定した色ノイズ量に基づいて色ノイズ低減処理を行うので、高精度な色ノイズ低減処理を行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照しながら、本発明の各実施の形態について説明する。
【００１６】
−第１の実施の形態−
図１は、本発明の第１の実施の形態の構成図である。レンズ系100、絞り101、CCD102を介して撮影された映像信号は、増幅器（図中“Gain”）104にて増幅され、A/Dコンバータ（図中“A/D”）105にてデジタル信号へ変換される。A/Dコンバータ105からの映像信号は、バッファ106を介して分離抽出部111へ転送される。
【００１７】
バッファ106は、プリホワイトバランス調整部（図中“PreWB”）107、測光評価部108、合焦点検出部109へも接続されている。プリホワイトバランス調整部107は増幅器104へ、測光評価部108は絞り101、CCD102、増幅器104へ、合焦点検出部109はAFモータ110へ接続されている。分離抽出部111は、代表色相算出部112、代表輝度算出部113、色ノイズ低減部115、輝度ノイズ低減部117へ接続されている。
【００１８】
代表色相算出部112は、色ノイズ推定部114および色ノイズ低減部115を介して、バッファ118へ接続されている。代表輝度算出部113は、色ノイズ推定部114、輝度ノイズ推定部116、輝度ノイズ低減部117へ接続されている。輝度ノイズ推定部116は、輝度ノイズ低減部117を介してバッファ118へ接続されている。バッファ118は、信号処理部119へ接続されている。信号処理部119は、メモリカードなどの出力部120に接続されている。
【００１９】
マイクロコンピュータなどの制御部121は、増幅器104、A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、分離抽出部111、代表色相算出部112、代表輝度算出部113、色ノイズ推定部114、色ノイズ低減部115、輝度ノイズ推定部116、輝度ノイズ低減部117、信号処理部119、出力部120と双方向に接続されている。また、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えの設定を行うためのインターフェースを備えた外部I/F部122も制御部121に双方向に接続されている。さらに、CCD102の近傍に配置された温度センサ103からの信号は、制御部121へ接続されている。
【００２０】
続いて、信号処理の内容について説明する。
【００２１】
図１を参照しながら、映像信号の流れを説明する。外部I/F部122を介してISO感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100、絞り101、CCD102を介して撮影された映像信号は、アナログ信号として出力される。
【００２２】
なお、本実施の形態においては、CCD102としてベイヤ−（Bayer）型原色フィルタを前面に配置した単板CCDを想定する。図２（ａ）は、ベイヤ−型原色フィルタの構成を示している。ベイヤ−型は2×2画素を基本単位とし、赤(R),青(B)フィルタが１画素ずつ、緑(G)フィルタが２画素配置される。
【００２３】
上記アナログ信号は増幅器104にて所定量増幅され、A/Dコンバータ105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106内の映像信号は、制御部121の制御に基づき、プリホワイトバランス調整部107、測光評価部108および合焦点検出部109へ転送される。
【００２４】
プリホワイトバランス調整部107では、所定レベルの信号を色フィルタに対応する色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数を増幅器104へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
【００２５】
測光評価部108では、設定されたISO感度、手ぶれ限界のシャッター速度などを加味し、適正露光となるように、絞り101やCCD102の電子シャッター速度や増幅器104の増幅率などを制御する。合焦点検出部109は、映像信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦信号を得る。
【００２６】
続いて、外部I/F部122を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ106へ転送される。本撮影は、プリホワイトバランス調整部107にて求められた簡易ホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部121へ転送される。
【００２７】
分離抽出部111は、制御部121の制御に基づき、映像信号を輝度信号と色信号へ分離し、以後のノイズ低減処理の対象となる領域を順次抽出する。本実施の形態においては、輝度信号Yと色信号Cb、Crは、ベイヤ−型原色フィルタに対して2×2画素単位で算出される。例えば、R00、G10、G01、B11の2×2画素に関しては、(1)式に示されるように、輝度信号Y00と色信号Cb00,Cr00が算出される。
【００２８】
【数１】
【００２９】
また、ノイズ低減処理の対象となる領域としては、図２（ｂ）に示されるように、輝度信号Yと色信号Cb、Crの組に関して、2×2画素を想定する。以降は、領域内の輝度信号をYij、色信号をCbij、Crij（iはX座標でi=0〜1、jはY座標でj=0〜1）で表記する。領域内の輝度信号Yijは、代表輝度算出部113、輝度ノイズ低減部117へ、色信号Cbij、Crijは、代表色相算出部112、色ノイズ低減部115へ転送される。
【００３０】
代表色相算出部112は、制御部121の制御に基づき、(2)式に示すように、色信号Cbij、Crijの平均AV_Cb、AV_Crを求める。
【００３１】
【数２】
【００３２】
代表色相算出部112は、さらに、上記色信号の平均AV_Cb、AV_Crから、領域の代表的色相値Hを求める。本実施の形態においては、代表的色相値として、図３に示される４つの色相域のいずれかを想定する。図３は、横軸を色信号Cr、縦軸を色信号CbとするCrCb平面において、0°以上90°未満の色相域（以後45°の色相域と表記する）、90°以上180°未満の色相域（以後135°の色相域と表記する）、180°以上270°未満の色相域（以後225°の色相域と表記する）、270°以上360°未満の色相域（以後315°の色相域と表記する）の４つの色相域を示している。代表色相算出部112は、表１に示されるように色信号の平均AV_Cb、 AV_Crの正負に基づき、上記４つの色相域への分類を行う。
【００３３】
【表１】
【００３４】
上記４つの色相域への分類結果は、領域の代表的色相値Hとして、色ノイズ推定部114へ転送される。
【００３５】
一方、代表輝度算出部113は、制御部121の制御に基づき、(3)式に示すように、輝度信号Yijの平均AV_Yを求める。
【００３６】
【数３】
【００３７】
上記輝度信号の平均AV_Yは、領域の代表的輝度値Lとして、色ノイズ推定部114、輝度ノイズ推定部116、輝度ノイズ低減部117へ転送される。
【００３８】
色ノイズ推定部114は、制御部121の制御に基づき、代表色相算出部112からの代表的色相値Hおよび代表輝度算出部113からの代表的輝度値Lに基づき、色ノイズ量CNs (s＝Cb、Cr)を推定し、色ノイズ低減部115へ転送する。色ノイズ量CNsの推定方法については後述する。
【００３９】
色ノイズ低減部115は、制御部121の制御に基づき、色ノイズ推定部114からの色ノイズ量CNsに基づき、分離抽出部111からの領域の色信号Cbij、Crijに対して色ノイズ低減処理を行う。色ノイズの低減処理方法については後述する。色ノイズ低減処理後の色信号Cb'ij、Cr'ijは、バッファ118へ転送され保存される。
【００４０】
輝度ノイズ推定部116は、制御部121の制御に基づき、代表輝度算出部113からの代表的輝度値Lに基づいて輝度ノイズ量LNを推定し、輝度ノイズ低減部117へ転送する。輝度ノイズ低減部117は、制御部121の制御に基づき、輝度ノイズ推定部116からの輝度ノイズ量LNに基づいて、分離抽出部111からの領域の輝度信号Yijに対して輝度ノイズ低減処理を行う。輝度ノイズ低減処理後の輝度信号Y'ijは、バッファ118へ転送され保存される。
【００４１】
なお、上述した分離抽出部111、代表色相算出部112、代表輝度算出部113、色ノイズ推定部114、色ノイズ低減部115、輝度ノイズ推定部116、および、輝度ノイズ低減部117における処理は、制御部121の制御に基づき、領域単位で同期して行われる。１枚の映像信号における全領域に対する処理が完了した時点で、バッファ118には、撮影された映像信号に関する輝度ノイズ低減処理後の輝度信号Y'および色ノイズ低減処理後の色信号Cb'、Cr'が存在することになる。
【００４２】
信号処理部119は、制御部121の制御に基づき、輝度ノイズ低減処理後の輝度信号Y'および色ノイズ低減処理後の色信号Cb'、Cr'を、撮像系本来の映像信号（本実施の形態においては、R、G、B信号）へ変換する。例えば、(1)式に示される輝度信号Y00に関する輝度ノイズ低減処理後の輝度信号Y'00と、色信号Cb00、Cr00に関する色ノイズ低減処理後の色信号Cb'00、Cr'00に対しては、(4)式に示されるように、ノイズ低減処理後のR'00、G'00、B'00信号へ変換される。
【００４３】
【数４】
【００４４】
信号処理部119は、上記ノイズ低減処理がなされたR'、G'、B'信号に対して公知の強調処理、階調処理、圧縮処理などを行い、出力部120へ転送する。出力部120は、磁気ディスクやメモリカードなどの記録媒体に映像信号を記録保存する。
【００４５】
図４は、色ノイズ推定部114の構成の一例を示すもので、モデル選択部200、パラメータ用ROM201、ゲイン算出部202、標準値付与部203、パラメータ選択部204、ノイズ補間部205、ノイズ補正部206からなる。
【００４６】
代表色相算出部112およびパラメータ用ROM201は、モデル選択部200へ接続している。代表輝度算出部113、モデル選択部200、ゲイン算出部202、標準値付与部203は、パラメータ選択部204へ接続している。パラメータ選択部204は、ノイズ補間部205およびノイズ補正部206へ接続している。ノイズ補間部205はノイズ補正部206へ、ノイズ補正部206は色ノイズ低減部115へ接続している。制御部121は、モデル選択部200、ゲイン算出部202、標準値付与部203、パラメータ選択部204、ノイズ補間部205、ノイズ補正部206と双方向に接続されている。
【００４７】
モデル選択部200は、制御部121の制御に基づき、代表色相算出部112から領域の代表的色相値Hを読み込み、パラメータ用ROM201から色ノイズ推定に用いる基準色ノイズモデルを選択する。
【００４８】
図５Ａ〜図５Ｄは、基準色ノイズモデルに関する説明図である。図５Ａは、信号レベルLに対する色ノイズ量CNをプロットして得られる曲線を示す図である。図５Ａに示すように、信号レベルLに対して、２次曲線的に増加している。図５Ａに示す曲線を２次関数でモデル化すると、(5)式が得られる。(5)式において、α、β、γはそれぞれ定数項である。
【００４９】
【数５】
【００５０】
しかしながら、色ノイズ量CNは、信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。図５Ａは、一例としてある温度下においてゲインに関連する３種類のISO感度100、200、400に対する色ノイズ量をプロットしている。
【００５１】
また、色ノイズ量CNは、色相域に応じても変化する。図５Ｂは、45°、135°、225°、315°の４つの色相域における色ノイズ量をプロットしている。個々の曲線は(5)式に示される形態をしているが、その係数はゲインに関連するISO感度、温度、色相域により異なる。ゲインをg、温度をt、色相域をθとし、上記を考慮した形で色ノイズモデルの定式化を行うと、(6)式が得られる。
【００５２】
【数６】
【００５３】
(6)式において、αgtθ、βgtθ、γgtθはそれぞれ、ゲインg、温度t、色相域θに応じた定数項である。さらに、(6)式に示される色ノイズモデルは、色信号CbとCrで二種類存在することになる。以後、色信号Cbの色ノイズ量をCNCb、色信号Crの色ノイズ量をCNCrとし、両者をCNs (s=Cb、Cr)で表記する。二種類の色信号に関して、(6)式は以下のようになる。
【００５４】
【数７】
【００５５】
なお、(7)式の関数を複数記録し、その都度演算により色ノイズ量CNsを算出することは処理的に煩雑である。このため、図５Ｃに示すように、特定の色相域単位で色ノイズモデルの簡略化を行う。図５Ｃにおいては、ある色相域θにおいて、最大の色ノイズ量を与える色ノイズモデルを基準色ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLと色ノイズ量CNθからなる座標データ(Ln, CNθn)で表す。ここで、nは変曲点の数を示す。
【００５６】
また、上記基準色ノイズモデルから他の色ノイズモデルを導出するための補正係数ksgtθも用意される。補正係数ksgtθは、各色ノイズモデルと基準色ノイズモデル間から最小自乗法により算出される。基準色ノイズモデルから他の色ノイズモデルを導出するには、基準色ノイズモデルに上記補正係数ksgtθを乗算することで行われる。
【００５７】
図５Ｄは、図５Ｃに示す簡易化された色ノイズモデルから、色ノイズ量CNsを算出する方法を示している。例えば、与えられた信号レベルがl、ゲインがg、温度がt、色相域がθに対応する色ノイズ量CNsを求めることを想定する。まず、色相域θに対応する基準色ノイズモデルおよび補正係数ksgtθを選択する。
【００５８】
次に信号レベルlが基準色ノイズモデルのどの区間に属するかを探索する。ここでは、(Ln, CNθn)と(Ln+1, CNθn+1)間の区間に属するとする。基準色ノイズモデルにおける基準色ノイズ量CNlを、(8)式に示すように、線形補間にて求める。
【００５９】
【数８】
【００６０】
次に、(9)式に示すように、求めたノイズ量CNlに補正係数ksgtθを乗算することで、色ノイズ量CNsを求める。
【００６１】
【数９】
【００６２】
パラメータ用ROM201は、複数の色相域θに対応する基準色ノイズモデルの座標データ(Ln, CNθn)および補正係数ksgtθを記録している。モデル選択部200は、代表色相算出部112から領域の代表的色相値Hに基づき色相域θを求め、求めた色相域θに対応する基準色ノイズモデルおよび補正係数をパラメータ用ROM201から読み出す。読み出された基準色ノイズモデルおよび補正係数は、パラメータ選択部204へ転送される。
【００６３】
ゲイン算出部202は、制御部121から転送されるISO感度および露光条件に関する情報に基づき増幅器104における増幅量を求め、パラメータ選択部204へ転送する。また、制御部121は、温度センサ103からCCD102の温度情報を得て、これをパラメータ選択部204へ転送する。
【００６４】
パラメータ選択部204は、制御部121の制御に基づき、代表輝度算出部113からの代表的輝度値Lから信号レベルlを、ゲイン算出部202からのゲインの情報からゲインgを、制御部121からの温度情報から温度tを設定する。次に、信号レベルlが属する区間の座標データ(Ln, CNθn)と(Ln+1, CNθn+1)を探索し、これをノイズ補間部205へ転送する。さらに、補正係数ksgtθを探索し、これをノイズ補正部206へ転送する。
【００６５】
ノイズ補間部205は、制御部121の制御に基づき、パラメータ選択部204からの信号レベルlおよび区間の座標データ(Ln, CNθn)と(Ln+1, CNθn+1)から(8)式に基づき、基準色ノイズモデルにおける基準色ノイズ量CNlを算出し、ノイズ補正部206へ転送する。
【００６６】
ノイズ補正部206は、制御部121の制御に基づき、パラメータ選択部204からの補正係数ksgtθおよびノイズ補間部205からの基準色ノイズ量CNlから(9)式に基づき、色ノイズ量CNsを算出する。算出された色ノイズ量CNsは、色ノイズ低減部115へ転送される。
【００６７】
なお、上記色ノイズ量算出の過程において、温度t，ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報（所定の標準値）を標準値付与部203に記録させておき、温度t，ゲインgなどの情報を算出する過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
【００６８】
さらに、上記構成では基準色ノイズモデルに基づき色ノイズ量を補間演算により算出する構成となっていたが、このような構成に限定される必要はない。例えば、ルックアップテーブルを用いる構成も可能である。
【００６９】
図６は、色ノイズ推定部114の別構成の一例を示すもので、図４に示す色ノイズ推定部114におけるモデル選択部200、パラメータ用ROM201、パラメータ選択部204、ノイズ補間部205、ノイズ補正部206が省略され、ノイズテーブル部207が追加された構成となっている。基本構成は図４に示す色ノイズ推定部114と同等であるため、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００７０】
代表色相算出部112、代表輝度算出部113、ゲイン算出部202、標準値付与部203は、ノイズテーブル部207へ接続している。ノイズテーブル部207は、色ノイズ低減部115へ接続している。制御部121は、ノイズテーブル部207と双方向に接続されている。
【００７１】
ノイズテーブル部207は、制御部121の制御に基づき、代表色相算出部112から領域の代表的色相値H、代表輝度算出部113から領域の代表的輝度値L、ゲイン算出部202からゲインg、制御部121からの温度tを読み込む。ノイズテーブル部207は、温度、信号値レベル、およびゲインとノイズ量との関係を記録したルックアップテーブルを有している。このルックアップテーブルは、図４に示す色ノイズ推定部114が色ノイズ量を算出する手法と同等の手法により構築されている。
【００７２】
ノイズテーブル部207は、上記代表的色相値H、代表的輝度値L、ゲインg、温度tに基づいて、ルックアップテーブルを参照することにより、色ノイズ量CNsを求める。ノイズテーブル部207で求められた色ノイズ量CNsは、色ノイズ低減部115へ転送される。
【００７３】
なお、上記色ノイズ量算出の過程において、温度t、ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報（所定の標準値）を標準値付与部203に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
【００７４】
続いて、色ノイズ低減部115について説明する。図７は、色ノイズ低減部115の構成の一例を示すもので、平均色算出部300およびコアリング部301からなる。
【００７５】
分離抽出部111は、平均色算出部300およびコアリング部301へ接続している。色ノイズ推定部114および平均色算出部300は、コアリング部301へ接続している。コアリング部301は、バッファ118へ接続している。制御部121は、平均色算出部300、コアリング部301と双方向に接続されている。
【００７６】
平均色算出部300は、制御部121の制御に基づき、分離抽出部111から色信号Cbij、Crijを読み込む。この後、(4)式に示される色信号の平均AV_Cb、AV_Crを算出し、コアリング部301へ転送する。
【００７７】
コアリング部301は、制御部121の制御に基づき、分離抽出部111から色信号Cbij、Crijを、平均色算出部300から色信号の平均AV_Cb、AV_Crを、色ノイズ推定部114から色ノイズ量CNsを読み込む。この後、(10)式、(11)式に示されるコアリング処理を行い、色ノイズ低減処理がなされた色信号Cb'ij、Cr'ijを求める。
【００７８】
【数１０】
【００７９】
【数１１】
【００８０】
色ノイズ低減処理がなされた色信号Cb'ij、Cr'ijは、バッファ118へ転送され保存される。
【００８１】
なお、上記構成では、コアリング処理により色ノイズの低減を行う構成となっていたが、このような構成に限定される必要はない。例えば、ローパスフィルタを用いたフィルタリング処理により色ノイズの低減を行う構成も可能である。ローパスフィルタを用いたフィルタリング処理により色ノイズの低減を行う例を図８（ａ）〜図８（ｃ）を参照しながら説明する。
【００８２】
図８（ａ）は、色ノイズ低減部115の別構成の一例を示している。なお、図８（ａ）に示す色ノイズ低減部115では、色ノイズ低減処理の対象となる画素は、図２（ｂ）に示されるように2×2画素であるが、フィルタリング処理のため、周囲画素を含め4×4画素を入力するものとする。
【００８３】
色ノイズ低減部115は、係数用ROM302、フィルタ選択部303、フィルタリング部304からなる。色ノイズ推定部114および係数用ROM302は、フィルタ選択部303へ接続している。分離抽出部111およびフィルタ選択部303は、フィルタリング部304へ接続している。フィルタリング部304は、バッファ118へ接続している。制御部121は、フィルタ選択部303、フィルタリング部304と双方向に接続されている。
【００８４】
フィルタ選択部303は、制御部121の制御に基づき、色ノイズ推定部114から色ノイズ量CNsを読み込む。その後、上記色ノイズ量CNsに基づき、係数用ROM302からローパスフィルタ処理に用いるフィルタ係数を選択して読み込む。
【００８５】
図８（ｂ）は、係数用ROM302に記録されているフィルタ係数の一例を示すもので、サイズが3×3画素で、Type1〜Type4までの４種類の周波数特性が記録されている。なお、各係数は128倍されている。Type1は高周波成分を残存し、Type1、Type2、Type3、Type4へと順次、高周波成分を抑制する周波数特性となっている。
【００８６】
フィルタ選択部303は、色ノイズ量CNsからType1〜Type4の周波数特性を選択する。この選択は、例えば図８（ｃ）に示される色ノイズ量CNsとフィルタの種類Type間の関係に基づき行われる。色ノイズ量CNsが大きいほど、高周波成分を抑制する周波数特性が選択されることになる。選択されたフィルタ係数は、フィルタリング部304へ転送される。
【００８７】
フィルタリング部304は、制御部121の制御に基づき、分離抽出部111から色信号Cbij、Crijおよび周囲画素を読み込み、フィルタ選択部303からのフィルタ係数を用いてフィルタリング処理を行う。フィルタリング処理により色ノイズが低減された色信号Cb'ij、Cr'ijは、バッファ118へ転送され保存される。
【００８８】
図９は、輝度ノイズ推定部116の構成の一例を示すもので、ゲイン算出部400、標準値付与部401、パラメータ用ROM402、パラメータ選択部403、ノイズ補間部404、ノイズ補正部405からなる。
【００８９】
代表輝度算出部113、ゲイン算出部400、標準値付与部401、パラメータ用ROM402は、パラメータ選択部403へ接続している。パラメータ選択部403は、ノイズ補間部404およびノイズ補正部405へ接続している。ノイズ補間部404はノイズ補正部405へ、ノイズ補正部405は輝度ノイズ低減部117へ接続している。制御部121は、ゲイン算出部400、標準値付与部401、パラメータ選択部403、ノイズ補間部404、ノイズ補正部405と双方向に接続されている。
【００９０】
パラメータ選択部403は、制御部121の制御に基づき、代表輝度算出部113から代表的輝度値Lを読み込む。ゲイン算出部400は、制御部121から転送されるISO感度および露光条件に関する情報に基づいて、増幅器104における増幅量を求め、パラメータ選択部403へ転送する。また、制御部121は、温度センサ103からCCD102の温度情報を得て、これをパラメータ選択部403へ転送する。
【００９１】
パラメータ選択部403は、代表輝度算出部113から代表的輝度値L、ゲイン算出部400からのゲインの情報、制御部121からの温度情報に基づき、輝度ノイズ量LNを推定する。輝度ノイズ量LNの推定方法は、基本的には、図５Ａ〜図５Ｄを用いて説明した色ノイズ量の推定方法と同等である。図５Ａに示される色ノイズの例と同様に、輝度ノイズLNも信号レベルLに対して２次曲線的に増加し、これを(12)式に示すように、２次関数でモデル化することができる。(12)式において、α、β、γはそれぞれ定数項である。
【００９２】
【数１２】
【００９３】
しかしながら輝度ノイズLNは、信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。温度をt、ゲインをgとし、上記を考慮した形でモデルの定式化を行うと、(13)式が得られる。
【００９４】
【数１３】
【００９５】
ここで、αgt, βgt, γgtはそれぞれ、ゲインg、温度tに応じた定数項である。色ノイズと同様に、(13)式の関数を複数記録し、その都度演算により輝度ノイズLNを算出することは処理的に煩雑である。このため、輝度ノイズモデルの簡略化を行う。
【００９６】
最大の輝度ノイズ量を与える輝度ノイズモデルを基準輝度ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLと輝度ノイズ量LNからなる座標データ(Ln, LNn)で表す。ここで、nは変曲点の数を示す。また、上記基準輝度ノイズモデルから、他の輝度ノイズモデルを導出するための補正係数kgtも用意される。補正係数kgtは、各輝度ノイズモデルと基準輝度ノイズモデル間から最小自乗法により算出される。基準輝度ノイズモデルから他の輝度ノイズモデルを導出するには、基準輝度ノイズモデルに上記補正係数kgtを乗算することで行われる。
【００９７】
簡易化された輝度ノイズモデルから輝度ノイズ量を算出する方法を以下に示す。例えば、与えられた信号レベルl、ゲインg、温度tに対応する輝度ノイズ量LNを求めることを想定する。まず、信号レベルlが基準輝度ノイズモデルのどの区間に属するかを探索する。ここでは、(Ln, LNn)と(Ln+1, LNn+1)間の区間に属するとする。基準輝度ノイズモデルにおける基準輝度ノイズ量LNlは、(14)式に示すように、線形補間にて求める。
【００９８】
【数１４】
【００９９】
次に、(15)式に示すように、求めた基準輝度ノイズ量LNlに補正係数kgtを乗算することで、輝度ノイズ量LNを求める。
【０１００】
【数１５】
【０１０１】
パラメータ用ROM402は、上記基準輝度ノイズモデルの座標データ(Ln, LNn)および補正係数kgtを記録している。パラメータ選択部403は、代表輝度算出部113からの代表的輝度値Lから信号レベルlを、ゲイン算出部400からのゲインの情報からゲインgを、制御部121からの温度情報から温度tを設定する。次に、信号レベルlが属する区間の座標データ(Ln, LNn)と(Ln+1, LNn+1)をパラメータ用ROM402から探索し、これをノイズ補間部404へ転送する。さらに、補正係数kgtをパラメータ用ROM402から探索し、これをノイズ補正部405へ転送する。
【０１０２】
ノイズ補間部404は、制御部121の制御に基づき、パラメータ選択部403からの信号レベルlおよび区間の座標データ(Ln, LNn)と(Ln+1, LNn+1)から(14)式に基づき、基準輝度ノイズモデルにおける基準輝度ノイズ量LNlを算出し、ノイズ補正部405へ転送する。
【０１０３】
ノイズ補正部405は、制御部121の制御に基づき、パラメータ選択部403からの補正係数kgtおよびノイズ補間部404からの基準輝度ノイズ量LNlから(15)式に基づき、輝度ノイズ量LNを算出する。上記輝度ノイズ量LNは、輝度ノイズ低減部117へ転送される。
【０１０４】
なお、上記輝度ノイズ量算出の過程において、温度t、ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部401に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
【０１０５】
なお、上記構成では、基準輝度ノイズモデルに基づき輝度ノイズ量を補間演算により算出する構成となっていたが、このような構成に限定される必要はない。例えば、ルックアップテーブルを用いる構成も可能である。
【０１０６】
図１０は、輝度ノイズ推定部116の別構成の一例を示すもので、図９に示す輝度ノイズ推定部116におけるパラメータ用ROM402、パラメータ選択部403、ノイズ補間部404、ノイズ補正部405が省略され、ノイズテーブル部406が追加された構成となっている。基本構成は図９に示す輝度ノイズ推定部116と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１０７】
代表輝度算出部113、ゲイン算出部400、標準値付与部401は、ノイズテーブル部406へ接続している。ノイズテーブル部406は、輝度ノイズ低減部117へ接続している。制御部121は、ノイズテーブル部406と双方向に接続されている。
【０１０８】
ノイズテーブル部406は、制御部121の制御に基づき、代表輝度算出部113から領域の代表的輝度値L、ゲイン算出部400からゲインg、制御部121からの温度tを読み込む。ノイズテーブル部406は、温度、信号値レベル、およびゲインとノイズ量との関係を記録したルックアップテーブルを有している。このルックアップテーブルは、図９に示す輝度ノイズ推定部116が輝度ノイズ量LNを算出する手法と同等の手法により構築されている。
【０１０９】
ノイズテーブル部406は、代表的輝度値L、ゲインg、温度tに基づいて、ルックアップテーブルを参照することにより、輝度ノイズ量LNを求める。ノイズテーブル部406で求められたき輝度ノイズ量LNは、輝度ノイズ低減部117へ転送される。
【０１１０】
なお、上記輝度ノイズ量算出の過程において、温度t、ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報（所定の標準値）を標準値付与部401に記録させておき、算出過程を省略する構成も可能である。
【０１１１】
続いて、輝度ノイズ低減部117について説明する。図１１は、輝度ノイズ低減部117の構成の一例を示すもので、コアリング部500からなる。分離抽出部111、代表輝度算出部113、輝度ノイズ推定部116は、コアリング部500へ接続している。コアリング部500は、バッファ118へ接続している。制御部121は、コアリング部500と双方向に接続されている。
【０１１２】
コアリング部500は、制御部121の制御に基づき、分離抽出部111から輝度信号Yijを、代表輝度算出部113から代表的輝度値Lを、輝度ノイズ推定部116から輝度ノイズ量LNを読み込む。この後、(16)式に示されるコアリング処理を行い、輝度ノイズ低減処理がなされた輝度信号Y'ijを求める。
【０１１３】
【数１６】
【０１１４】
輝度ノイズ低減処理がなされた輝度信号Y'ijは、バッファ118へ転送され保存される。
【０１１５】
なお、上記構成では、コアリング処理により輝度ノイズの低減を行う構成となっていたが、このような構成に限定される必要はない。例えば、ローパスフィルタを用いたフィルタリング処理により輝度ノイズの低減を行う構成も可能である。
【０１１６】
図１２は、輝度ノイズ低減部117の別構成の一例を示す。なお、図１２に示す輝度ノイズ低減部117では、輝度ノイズ低減処理の対象となる画素は、図２（ｂ）に示されるように2×2画素であるが、フィルタリング処理のため、周囲画素を含め4×4画素を入力するものとする。
【０１１７】
輝度ノイズ低減部117は、係数用ROM501、フィルタ選択部502、フィルタリング部503からなる。輝度ノイズ推定部116および係数用ROM501は、フィルタ選択部502へ接続している。分離抽出部111およびフィルタ選択部502は、フィルタリング部503へ接続している。フィルタリング部503は、バッファ118へ接続している。制御部121は、フィルタ選択部502、フィルタリング部503と双方向に接続されている。なお、図１２に示す輝度ノイズ低減部117の構成では、図１に示される代表輝度算出部113からの入力は必要としないため省略している。
【０１１８】
フィルタ選択部502は、制御部121の制御に基づき、輝度ノイズ推定部116から輝度ノイズ量LNを読み込む。その後、上記輝度ノイズ量LNに基づき、係数用ROM501からローパスフィルタ処理に用いるフィルタ係数を選択して読み込む。フィルタ係数としては、図８（ｂ）に示される係数などが使用される。フィルタ選択部502は、輝度ノイズ量LNに基づきフィルタ係数を選択する。この選択は、例えば図８（ｃ）に示される色ノイズ量とフィルタの種類間の関係と同様に行われる。選択されたフィルタ係数は、フィルタリング部503へ転送される。
【０１１９】
フィルタリング部503は、制御部121の制御に基づき、分離抽出部111から輝度信号Yijおよび周囲画素を読み込み、フィルタ選択部503からのフィルタ係数を用いてフィルタリング処理を行う。フィルタリング処理により輝度ノイズが低減された輝度信号Y'ijは、バッファ118へ転送され保存される。
【０１２０】
上述した第１の実施の形態の構成により、所定領域単位に代表的輝度値および代表的色相値を求め、代表的輝度値および代表的色相値に基づき、適用的に色ノイズ量を求める映像処理装置が提供できる。これにより、高精度な色ノイズ低減処理を行うことが可能となり、高品位な映像信号が得られる。
【０１２１】
上記色ノイズ量の推定処理は、撮影ごとに異なる条件に動的に適応し、かつ色相域ごとに異なる基準色ノイズモデルを用いるため、高精度かつ安定的な色ノイズ量の推定が可能となる。また、色ノイズ量の算出に補間演算を使用する場合は、補間演算は実装が容易であり、映像処理装置の低コスト化が可能となる。一方、色ノイズ量の算出にルックアップテーブルを使用する場合は、高速な色ノイズ量の推定が可能となる。
【０１２２】
色ノイズ低減処理にコアリング処理を用いる場合は、色ノイズ成分のみを重点的に低減でき、かつエッジなどの色ノイズ以外の画素との連続性が確保できるため、高品位な映像信号が得られる。一方、色ノイズ低減処理にフィルタリング処理を用いる場合は、色ノイズ成分のみを重点的に低減でき、高品位な映像信号が得られる。また、ローパスフィルタは実装が比較的容易で、映像処理装置全体の高速化および低コスト化を可能とする。
【０１２３】
また、代表的輝度値に基づき、適用的に輝度ノイズ量を推定することで高精度な輝度ノイズ低減処理を行うことが可能となり、高品位な映像信号が得られる。上記輝度ノイズ量の推定処理は、撮影ごとに異なる条件に動的に適応し、かつ基準輝度ノイズモデルを用いるため、高精度かつ安定的な輝度ノイズ量の推定が可能となる。輝度ノイズ量の算出に補間演算を使用する場合は、補間演算は実装が容易であり、映像処理装置の低コスト化が可能となる。一方、輝度ノイズ量の算出にルックアップテーブルを使用する場合は、高速な輝度ノイズ量の推定が可能となる。
【０１２４】
輝度ノイズ低減処理にコアリング処理を用いる場合は、輝度ノイズ成分のみを重点的に低減でき、かつエッジなどの輝度ノイズ以外の画素との連続性が確保できるため、高品位な映像信号が得られる。一方、輝度ノイズ低減処理にフィルタリング処理を用いる場合は、輝度ノイズ成分のみを重点的に低減でき、高品位な映像信号が得られる。また、ローパスフィルタは実装が比較的容易で、映像処理装置全体の高速化および低コスト化を可能とする。
【０１２５】
また、ベイヤー型原色フィルタを前面に配置した撮像素子を用いるため、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０１２６】
なお、上述した第１の実施の形態では、撮像素子としてベイヤー型原色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、図１３（ａ）に示される色差線順次型補色フィルタを用いることも可能であるし、二板，三板撮像素子の利用も可能である。
【０１２７】
図１３（ａ）は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、マゼンタ(Mg)、緑(G)、イエロー(Ye)、シアン(Cy)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。色差線順次型補色フィルタの場合、分離抽出部111は、2×2画素単位で輝度信号Yと色信号Cb、Crを算出する。例えば、Mg00、G10、Ye01、Cy11の2×2画素に関しては、(17)式に示されるように、輝度信号Y00と色信号Cb00、Cr00が算出される。
【０１２８】
【数１７】
【０１２９】
また、ノイズ低減処理の対象となる領域としては、図１３（ｂ）に示されるように、輝度信号Yと色信号Cb、Crの組に関して、2×2画素を用いる。
【０１３０】
なお、上記実施の形態では、代表色相算出部112での代表的色相値Hの算出時に、(2)式に示される色信号の平均を、代表輝度算出部113での代表的輝度値Lの算出時に、(3)式に示される輝度信号の平均を用いる構成となっていたが、このような構成に限定される必要はない。例えば、ローパスフィルタ処理による低周波成分を使用する構成や、バイラテラルフィルタ（Bilateral filter）のような適用的なフィルタ処理を使用する構成も可能である。この場合、代表的色相値Hおよび代表的輝度値Lの算出精度および安定性が向上し、高精度な色およぶ輝度のノイズ量の推定が可能となる。
【０１３１】
また、上記実施の形態では、１枚の映像信号に対する処理を説明したが、上記処理を連続的に行うことで動画像処理にも適応することが可能である。
【０１３２】
さらに、上述した第１の実施の形態では、ノイズ低減処理を行う構成がレンズ系100、絞り101、CCD102、温度センサ103、増幅器104、A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。例えば、図１４に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
【０１３３】
図１４は、第１図に示す構成から、レンズ系100、絞り101、CCD102、温度センサ103、増幅器104,A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、AFモータ110を省略し、入力部600、ヘッダ情報解析部601を追加した形態となっている。基本構成は図１に示す構成と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１３４】
入力部600は、バッファ106およびヘッダ情報解析部601へ接続している。制御部121は、入力部600、ヘッダ情報解析部601と双方向に接続している。マウス、キーボードなどの外部I/F部122を介して再生操作を開始することで、記録媒体に保存された映像信号およびヘッダ情報が入力部600から読み込まれる。
【０１３５】
入力部600からの映像信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部601へ転送される。ヘッダ情報解析部601は、ヘッダ情報から撮影時の情報を抽出して制御部121へ転送する。以後の処理は、図１に示す構成で行われる処理と同等である。
【０１３６】
また、上記実施の形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの映像信号を未処理のままのRawデータとして、制御部121からCCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０１３７】
図１５Ａは、上記信号処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。以下、各ステップの処理について説明する。
【０１３８】
ステップS1では、映像信号および色フィルタや撮影時の露光条件などのヘッダ情報を読み込んで、ステップS2に進む。ステップS2では、映像信号を(1)式に示されるように輝度信号と色信号に分離し、所定サイズ、例えば2×2画素の領域単位で順次抽出して、ステップS3に進む。ステップS3では、(2)式に示される色信号の平均を求め、表１に示される色相域へ分類することで、代表的色相値を求める。
【０１３９】
ステップS4では、(3)式に示される輝度信号の平均を求めることによって代表的輝度値を求めて、ステップS5に進む。ステップS5では、色ノイズ量の推定処理を行う。この処理は、後述する図１５Ｂのフローに従って実行される。
【０１４０】
ステップS6では、色ノイズの低減処理を行う。この処理は、後述する図１５Ｃのフローに従って実行される。
【０１４１】
ステップS7では、輝度ノイズ量の推定処理を行う。この処理は、後述する図１５Ｄのフローに従って実行される。
【０１４２】
ステップS8では、輝度ノイズの低減処理を行う。この処理は、後述する図１５Ｅのフローに従って実行される。
【０１４３】
ステップS9では、ノイズ低減処理がなされた色信号および輝度信号を出力して、ステップS10に進む。ステップS10では、１枚の映像信号における全ての領域に対する処理が完了したか否かを判断し、完了していないと判断した場合はステップS2へ進み、完了したと判断した場合はステップS11へ進む。
【０１４４】
ステップS11では、(4)式に示されるように、撮像系本来の映像信号へ変換し、公知の強調処理，階調処理，圧縮処理等を行って、ステップS12に進む。ステップS12では、処理が完了した映像信号を出力して、終了する。
【０１４５】
図１５Ｂは、図１５ＡのステップS5において行われる色ノイズ推定処理に関するフローである。以下、各ステップの処理について説明する。
【０１４６】
ステップS20では、読み込まれたヘッダ情報から温度、ゲインなどの情報を設定して、ステップS21に進む。ただし、ヘッダ情報に必要なパラメータが存在しない場合は、所定の標準値を割り当てる。ステップS21では、全ての色相域に対する複数の基準色ノイズモデルおよび補正係数を入力して、ステップS22に進む。
【０１４７】
ステップS22では、代表的色相値に基づき、基準色ノイズモデルおよび補正係数を選択して、ステップS23に進む。ステップS23では、代表的輝度値が属する基準色ノイズモデルの区間の座標データおよび対応する補正係数を選択して、ステップS24に進む。ステップS24では、(8)式に示される補間処理にて基準色ノイズ量を求めて、ステップS25に進む。
【０１４８】
ステップS25では、(9)式に示される補正処理にて色ノイズ量を求めて、ステップS26に進む。ステップS26では、色ノイズ量を出力して終了する。
【０１４９】
図１５Ｃは、図１５ＡのステップS6において行われる色ノイズ低減処理に関するフローである。以下、各ステップの処理について説明する。
【０１５０】
ステップS30では、図１５ＡのステップS5で推定された色ノイズ量を入力して、ステップS31に進む。ステップS31では、(2)式に示される色信号の平均を算出して、ステップS32に進む。ステップS32では、(10)式、(11)式に示されるコアリング処理を行って、ステップS33に進む。ステップS33では、色ノイズ低減処理がなされた色信号を出力して終了する。
【０１５１】
図１５Ｄは、図１５ＡのステップS7において行われる輝度ノイズ推定処理に関するフローである。以下、各ステップの処理について説明する。
【０１５２】
ステップS40では、読み込まれたヘッダ情報から温度、ゲインなどの情報を設定する。ただし、ヘッダ情報に必要なパラメータが存在しない場合は、所定の標準値を割り当てる。ステップS41では、基準輝度ノイズモデルおよび補正係数を入力して、ステップS42に進む。
【０１５３】
ステップS42では、代表的輝度値が属する基準輝度ノイズモデルの区間の座標データおよび対応する補正係数を選択して、ステップS43に進む。ステップS43では、(14)式に示される補間処理にて基準輝度ノイズ量を求めて、ステップS44に進む。ステップS44では、(15)式に示される補正処理にて輝度ノイズ量を求めて、ステップS45に進む。ステップS45では、輝度ノイズ量を出力して終了する。
【０１５４】
図１５Ｅは、図１５ＡのステップS8において行われる輝度ノイズ低減処理に関するフローである。以下、各ステップの処理について説明する。
【０１５５】
ステップS50では、図１５ＡのステップS7で推定された輝度ノイズ量を入力して、ステップS51に進む。ステップS51では、代表的輝度値を入力して、ステップS52に進む。ステップS52では、(16)式に示されるコアリング処理を行って、ステップS53に進む。ステップS53では、輝度ノイズ低減処理がなされた輝度信号を出力して終了する。
【０１５６】
このように、信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０１５７】
−第２の実施の形態−
続いて、本発明の第２の実施の形態について説明する。
【０１５８】
図１６は、第２の実施の形態の構成図である。本実施の形態は、図１に示す第１の実施の形態における構成に、差分算出部700が追加され、色ノイズ推定部114が色ノイズ推定部701へ、色ノイズ低減部115が色ノイズ低減部702へ、輝度ノイズ低減部117が輝度ノイズ低減部703へ置換された構成になっている。基本構成は第１の実施の形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
【０１５９】
分離抽出部111は、代表色相算出部112、代表輝度算出部113、差分算出部700、色ノイズ低減部702、輝度ノイズ低減部703へ接続されている。代表色相算出部112は、色ノイズ推定部701、色ノイズ低減部702を介して、バッファ118へ接続されている。
【０１６０】
代表輝度算出部113は、色ノイズ推定部701、輝度ノイズ推定部116へ接続されている。輝度ノイズ推定部116は、輝度ノイズ低減部703を介して、バッファ118へ接続されている。バッファ118は、信号処理部119および差分算出部700へ接続されている。差分算出部700は、色ノイズ低減部702および輝度ノイズ低減部703へ接続されている。制御部121は、差分算出部700、色ノイズ推定部701、色ノイズ低減部702、輝度ノイズ低減部703と双方向に接続されている。
【０１６１】
続いて信号処理の内容について説明する。基本的に第１の実施の形態と同等であるので、異なる部分のみ説明する。
【０１６２】
図１６を参照しながら、映像信号の流れを説明する。外部I/F部122を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100、絞り101、CCD102を介して撮影された映像信号は、アナログ信号として所定時間間隔で連続的に出力される。
【０１６３】
なお、本実施の形態においては、また、CCD102としては、色差線順次型補色フィルタを前面に配置した単板CCDを想定する。図１７（ａ）は、色差線順次型補色フィルタの構成を示している。色差線順次方式は2×2画素を基本単位とし、シアン(Cy)、マゼンタ(Mg)、イエロー(Ye)、緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。
【０１６４】
CCD102からの映像信号は、図１７（ａ）に示されるように上下のラインが加算され、偶数ラインと奇数ラインに分離した２つのフィールド信号（偶数フィールド信号と奇数フィールド信号）から構成される。また、上記所定時間間隔として1/60秒（以後は１フィールド時間と表記する）を想定するが、1/60秒に限定されることはない。偶数および奇数フィールド信号を合成することで１枚の映像信号が得られるが、１枚の映像信号をフレーム信号と表記する。上記フレーム信号は、1/30秒間隔で合成されることになる。
【０１６５】
CCD102からのアナログ信号は増幅器104にて所定量増幅され、A/Dコンバータ105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、２フィールド信号、すなわち１フレーム信号を記録可能で、撮影にともない順次上書きされることになる。バッファ106内のフレーム信号は、制御部121の制御に基づき、所定のフレーム時間間隔で間欠的にプリホワイトバランス調整部107および測光評価部108および合焦点検出部109へ転送される。
【０１６６】
分離抽出部111は、制御部121の制御に基づき、偶数および奇数フィールド信号を(17)式に示されるように、輝度信号Yと色信号Cb、Crへ変換する。その後、以後のノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる領域を順次抽出する。本実施の形態においては、領域として5×5画素を想定する。ただし、輝度信号Yは5×5画素全てに存在するが、色信号Cb、Crは5×3画素または5×2画素となる。
【０１６７】
図１７（ｂ）、（ｃ）は、偶数および奇数フィールド信号から抽出された領域の一例をそれぞれ示している。図１７（ｂ）は、偶数フィールド信号から輝度信号Yと色信号Cb、Crを抽出した例を示している。色差信号Crは5×3画素、色差信号Cbは5×2画素となる。この場合、ノイズ低減処理の対象となる注目画素は輝度信号Yと色信号Crで、色信号Cbは対象外となる。なお、注目画素位置が異なれば、上記とは逆に色差信号Cbが存在し、色差信号Crが存在しない例も発生する。
【０１６８】
図１７（ｃ）は、奇数フィールド信号から輝度信号Yと色差信号Cb、Crを抽出した例を示す。色差信号Cbは5×3画素、色差信号Crは5×2画素となる。この場合、ノイズ低減処理の対象となる注目画素は輝度信号Yと色信号Cbで、色信号Crは対象外となる。なお、注目画素位置が異なれば、上記とは逆に色差信号Crが存在し、色差信号Cbが存在しない例も発生する。
【０１６９】
以降は、時刻Tにおける領域内の輝度信号をYTij、色信号をCbTik、CrTil（iはX座標でi=0〜4、jはY座標で偶数フィールド信号の場合はｊ=0、2、4、6、8、奇数フィールド信号の場合はj=1、3、5、7、9、kはY座標で偶数フィールド信号の場合はk=0、4、8またはk=2、6、奇数フィールド信号の場合はk=3、7またはk=1、5、9、lはY座標で偶数フィールド信号の場合はl=2、6またはl=0、4、8、奇数フィールド信号の場合はl=1、5、9またはl=3、7）で表記する。
【０１７０】
注目画素値は、偶数フィールド信号の場合、輝度信号がYT24、色信号がCｒT24またはCbT24、奇数フィールド信号の場合、輝度信号がYT25、色信号がCｒT25またはCbT25となる。以後の説明は、図１７（ｂ）に示されるような偶数フィールド信号かつ注目画素がYT24、CｒT24に関して行うが、偶数フィールド信号かつ注目画素がYT24、CbT24や奇数フィールド信号に関しても領域の構成が異なるだけで同様に成立する。
【０１７１】
領域内の輝度信号YTijは、代表輝度算出部113、輝度ノイズ低減部703へ、色信号CbTik,CrTilは代表色相算出部112、色ノイズ低減部702へ転送される。代表色相算出部112は、制御部121の制御に基づき、色信号CbTik、CrTilの平均AV_Cb、AV_Crを求める。さらに、上記色信号の平均AV_Cb,AV_Crから、(18)式によって、領域の色相域θを求める。
【０１７２】
【数１８】
【０１７３】
本実施の形態においては、代表的色相値として、後述する図１９（ａ）に示される６つの色相域のいずれかを想定し、(18)式で得られた色相域θが上記６つの色相域のいずれに属するかを判断することで、領域の代表的色相値Hを得る。代表的色相値Hは、色ノイズ推定部701へ転送される。
【０１７４】
一方、代表輝度算出部113は、第１の実施の形態と同様に、輝度信号YTijの平均AV_Yを求め、代表的輝度値Lを得る。代表的輝度値Lは、色ノイズ推定部701、輝度ノイズ推定部116へ転送される。色ノイズ推定部701は、制御部121の制御に基づき、代表色相算出部112からの代表的色相値Hおよび代表輝度算出部113からの代表的輝度値Lに基づき、色ノイズ量CNs (s＝Cb、Cr)を推定し、色ノイズ低減部702へ転送する。
【０１７５】
なお、本説明では、図１７（ｂ）に示される偶数フィールド信号かつ注目画素がYT24、CｒT24を想定しているが、この場合は色ノイズ量CNcrのみが推定される。
【０１７６】
輝度ノイズ推定部116は、制御部121の制御に基づき、代表輝度算出部113からの代表的輝度値Lに基づき輝度ノイズ量LNを推定し、輝度ノイズ低減部703へ転送する。
【０１７７】
差分算出部700は、制御部121の制御に基づき、分離抽出部111から領域内の注目画素を、バッファ118から２フィールド前のノイズ低減処理がなされた領域内の注目画素を読み込み、差分輝度信号ΔY、差分色信号ΔCb、ΔCrを算出する。ここでは、偶数フィールド信号かつ注目画素YT24、CｒT24を想定しているため、分離抽出部111からYT24、CrT24を、バッファ118からY'T-224、Cr'T-224を読み込む。その後、(19)式より、両者の差分輝度信号ΔY24および差分色信号ΔCr24を算出する。
【０１７８】
【数１９】
【０１７９】
差分輝度信号ΔYは輝度ノイズ低減部703へ、差分色信号ΔCbまたはΔCrは色ノイズ低減部702へ転送される。
【０１８０】
色ノイズ低減部702は、制御部121の制御に基づき、色ノイズ推定部701からの色ノイズ量および差分算出部700からの色信号の差分信号に基づいて、分離抽出部111からの領域の注目画素の色信号に対して色ノイズ低減処理を行う。色ノイズ低減処理後の色信号は、バッファ118へ転送され保存される。
【０１８１】
輝度ノイズ低減部703は、制御部121の制御に基づき、輝度ノイズ推定部116からの輝度ノイズ量および差分算出部700からの輝度信号の差分信号に基づいて、分離抽出部111からの領域の注目画素の輝度信号に対して輝度ノイズ低減処理を行う。輝度ノイズ低減処理後の輝度信号は、バッファ118へ転送され保存される。
【０１８２】
バッファ118は、ノイズ低減処理がなされた２フィールド信号、すなわち１フレーム信号を記録可能で、撮影にともない順次上書きされることを想定する。
【０１８３】
なお、上述した分離抽出部111、代表色相算出部112、代表輝度算出部113、色ノイズ推定部701、色ノイズ低減部702、輝度ノイズ推定部116、輝度ノイズ低減部703、差分算出部700における処理は、制御部121の制御に基づき、領域単位で同期して行われる。
【０１８４】
全領域に対する処理が完了した時点で、バッファ118には、撮影された２フィールド信号に関する輝度ノイズ低減処理後の輝度信号Y'および色ノイズ低減処理後の色信号Cb'、Cr'が存在することになる。信号処理部119は、制御部121の制御に基づき、上記ノイズ低減処理がなされたY'、Cb'、Cr'信号に対して、公知の同時化処理、強調処理、階調処理、圧縮処理などを行い、出力部120へ転送する。出力部120は、磁気ディスクやメモリカードなどの記録媒体に映像信号を記録保存する。
【０１８５】
図１８は、色ノイズ推定部701の構成の一例を示すもので、図４に示す色ノイズ推定部114の構成からモデル選択部200が省略され、補正係数用ROM800、補正係数選択部801、補正係数乗算部802が追加された構成になっている。基本構成は、図４に示す色ノイズ推定部114と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１８６】
代表輝度算出部113、パラメータ用ROM201、ゲイン算出部202、標準値付与部203は、パラメータ選択部204へ接続している。代表色相算出部112および補正係数用ROM800は、補正係数選択部801へ接続している。補正係数選択部801およびノイズ補正部206は、補正係数乗算部802へ接続している。補正係数乗算部802は、色ノイズ低減部702へ接続している。制御部121は、補正係数選択部801、補正係数乗算部802と双方向に接続されている。
【０１８７】
パラメータ選択部204は、制御部121の制御に基づき、代表輝度算出部113から代表的輝度値Lを読み込む。ゲイン算出部202は、制御部121から転送されるISO感度および露光条件に関する情報に基づき、増幅器104における増幅量を求め、パラメータ選択部204へ転送する。制御部121は、温度センサ103からCCD102の温度情報を得て、これをパラメータ選択部204へ転送する。
【０１８８】
パラメータ選択部204は、代表輝度算出部113からの代表的輝度値Lから信号レベルlを、ゲイン算出部202からのゲインの情報からゲインgを、制御部121からの温度情報から温度tを設定する。次に、パラメータ用ROM201から基準色ノイズモデルおよび補正係数を読み込む。ここで使用される基準色ノイズモデルおよび補正係数は、図５に示す第１の実施の形態における基準色ノイズモデルおよび補正係数と若干異なる形態を想定するため、以下で説明する。
【０１８９】
図５においては、複数の色相域ごとに基準色ノイズモデルが設定され、代表的色相値Hを用いて選択する形態となっていた。以下では、図１９（ａ）、図１９（ｂ）に示されるように、全ての色相域に対して共通に使われる単一の基準色ノイズモデルを用いる形態を使用する。
【０１９０】
図１９（ａ）は、横軸を色信号Cr、縦軸を色信号CbとするCrCb平面における赤(R)、マゼンタ(Ma)、青(B)、シアン(Cy)、緑(G)、黄(Ye)の各色相域を示す。第２の実施の形態においては、色相域として、図１９（ａ）に示される６つの色相域を想定する。
【０１９１】
なお、上記のような６つの色相域に限定される必要はなく、低コスト化を優先するため赤(R)、青(B)、緑(G)の３つの色相域を使用する構成や、高精度化を優先させるため、上記６つの色相域の中間の色相域を加えた12の色相域を使用する構成や、肌色、空色、植物の緑色などの記憶色に関する色相域を使用する構成など、任意の構成が可能である。
【０１９２】
上記６つの色相域に関して、図５Ｂ、(7)式に示されるように、個々の色ノイズモデルが存在する。これらの全ての色ノイズモデルから最大の色ノイズ量を与える色ノイズモデルを基準色ノイズモデルとして選択し、これを所定数の折れ線で近似する。
【０１９３】
図１９（ｂ）は、選択された基準色ノイズモデルの折れ線の変曲点を示す。変曲点は、信号レベルLと色ノイズ量CNからなる座標データ(Ln, CNn)で表す。ここで、nは変曲点の数を示す。また、上記基準色ノイズモデルから、基準色ノイズモデルが属する色相域に関して、色信号s、ゲインg、温度tが異なる他の色ノイズモデルを導出するための補正係数ksgtも用意される。補正係数ksgtは、各色ノイズモデルと基準色ノイズモデル間から最小自乗法により算出される。基準色ノイズモデルから他の色ノイズモデルを導出するには、基準色ノイズモデルに、上記補正係数ksgtを乗算することで行われる。
【０１９４】
さらに、図１９（ｂ）に示されるように、基準色ノイズモデルが属する色相域から他の色相域の色ノイズモデルを生成するための補正係数kθも用意される。補正係数kθは、補正係数ksgtと同様に最小自乗法により算出され、乗算することで変換が行われる。
【０１９５】
パラメータ用ROM201は、上記基準色ノイズモデルの座標データ(Ln, CNn)および補正係数ksgtを記録している。また、補正係数用ROM800は、上記補正係数kθを記録している。
【０１９６】
パラメータ選択部204は、信号レベルlが基準色ノイズモデルのどの区間に属するかを探索し、区間の座標データをパラメータ用ROM201から読み込む。ここでは、(Ln, CNn)と(Ln+1, CNn+1)間の区間に属するとする。また、色信号s、ゲインg、温度tから対応する補正係数ksgtを読み込む。基準色ノイズモデルの区間はノイズ補間部205へ、補正係数ksgtはノイズ補正部206へ転送される。
【０１９７】
ノイズ補間部205は、制御部121の制御に基づき、パラメータ選択部204からの信号レベルlおよび区間の座標データ(Ln, CNn)と(Ln+1, CNn+1)から(20)式に基づき、基準色ノイズモデルにおける基準色ノイズ量CNlを算出し、ノイズ補正部206へ転送する。
【０１９８】
【数２０】
【０１９９】
ノイズ補正部206は、制御部121の制御に基づき、パラメータ選択部204からの補正係数ksgtおよびノイズ補間部205からの基準色ノイズ量CNlから、(21)式に示される色ノイズ量SCNsを算出する。この色ノイズ量SCNsは、基準色ノイズモデルが属する色相域での色ノイズ量となる。
【０２００】
【数２１】
【０２０１】
補正係数選択部801は、制御部121の制御に基づき、代表色相算出部112から領域の代表的色相値Hを読み込み、補正係数用ROM800から代表的色相値Hに対応する補正係数kθを読み込む。補正係数kθは、補正係数乗算部802へ転送される。
【０２０２】
補正係数乗算部802は、制御部121の制御に基づき、(22)式に示すように、ノイズ補正部206からの色ノイズ量SCNsに、補正係数選択部801からの補正係数kθを乗算することで、色ノイズ量CNsを算出する。
【０２０３】
【数２２】
【０２０４】
算出された色ノイズ量CNsは、色ノイズ低減部702へ転送される。
【０２０５】
なお、上記色ノイズ量算出の過程において、温度t、ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報（所定の標準値）を標準値付与部203に記録させておき、温度t、ゲインgなどの情報を算出する過程を省略する構成も可能である。
【０２０６】
また、第１の実施の形態における図４に示される色ノイズ推定部114と同様に、複数の色相域ごとに基準色ノイズモデルが設定され、代表的色相値Hを用いて選択する形態を使用することも可能である。さらに、第１の実施の形態における図６に示される色ノイズ推定部114と同様に、ルックアップテーブルを使用する構成も可能である。逆に、第１の実施の形態に、第２の実施の形態の色ノイズ推定部701を適用する構成も可能である。
【０２０７】
続いて、色ノイズ低減部702について説明する。図２０は、色ノイズ低減部702の構成の一例を示すもので、上限値設定部900、バッファ901、画素抽出部902、減算部903からなる。分離抽出部111は画素抽出部902へ、画素抽出部902は減算部903へ接続している。差分算出部700および色ノイズ推定部701は、上限値設定部900へ接続している。上限値設定部900は、バッファ901を介して減算部903へ接続している。減算部903は、バッファ118へ接続している。制御部121は、上限値設定部900、画素抽出部902、減算部903と双方向に接続されている。
【０２０８】
以後の説明は、図１７（ｂ）に示されるような偶数フィールド信号かつ注目画素YT24、CｒT24に関して行うが、偶数フィールド信号かつ注目画素YT24、CbT24や、奇数フィールド信号に関しても、領域の構成が異なるだけで同様に成立する。
【０２０９】
上限値設定部900は、制御部121の制御に基づき、差分算出部700から(19)式に示される差分色信号ΔCr24を、色ノイズ推定部701から色ノイズ量CNcrを読み込み、両者の比較を行う。上記比較は、差分色信号ΔCr24の絶対値が色ノイズ量CNcrに含まれるか否かを判断するもので、ΔCr24≧CNcrまたは−CNcr≧ΔCr24の場合はノイズ範囲外、CNcr＞ΔCr24＞−CNcrの場合はノイズ範囲内とする。上記比較結果に基づき差分色信号ΔCr24に補正を行うことで、(23)式に示すように、第２の色ノイズ量CN2crを求める。
【０２１０】
【数２３】
【０２１１】
(23)式は、差分色信号が色ノイズ量を上回る（差分色信号が負の場合は下回る）場合に色ノイズ量を上限とする制約を設けることを意味する。これにより、差分色信号から動き成分が除去され、色ノイズ成分のみが得られることになる。上記第２の色ノイズ量CN2crは、バッファ901へ転送され記録される。
【０２１２】
一方、画素抽出部902は、制御部121の制御に基づき、分離抽出部111から注目画素CｒT24を読み込み減算部903へ転送する。減算部903は、制御部121の制御に基づき、画素抽出部902からの注目画素CｒT24を、バッファ901から第２の色ノイズ量CN2crを読み込み、(24)式に示すように、両者間で減算処理を行うことで色ノイズ低減処理を行う。
【０２１３】
【数２４】
【０２１４】
色ノイズ低減処理がなされた注目画素Cr'T24は、バッファ118へ転送される。
【０２１５】
なお、上記構成では、差分信号に上限値設定を行うことで第２の色ノイズ量を求め、減算処理により色ノイズ低減処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、差分信号を零値と置換することで第２の色ノイズ量を求め、コアリング処理により色ノイズ低減処理を行う構成も可能である。
【０２１６】
図２１は、色ノイズ低減部702の別構成の一例を示している。色ノイズ低減部702は、置換部904、平均色算出部905、コアリング部906、バッファ907からなる。分離抽出部111は、平均色算出部905およびコアリング部906へ接続している。平均色算出部905は、コアリング部906へ接続している。差分算出部700および色ノイズ推定部701は、置換部904へ接続している。置換部904は、バッファ907を介してコアリング部906へ接続している。コアリング部906は、バッファ118へ接続している。制御部121は、置換部904、平均色算出部905、コアリング部906と双方向に接続されている。
【０２１７】
平均色算出部905は、制御部121の制御に基づき、分離抽出部111から領域内の色信号CrTilを読み込み、その平均値AV_Crを算出する。算出された平均値AV_Crは、コアリング部906へ転送される。
【０２１８】
置換部904は、制御部121の制御に基づき、差分算出部700から(19)式に示される差分色信号ΔCr24を、色ノイズ推定部701から色ノイズ量CNcrを読み込み、両者の比較を行う。上記比較は、差分色信号ΔCr24の絶対値が色ノイズ量CNcrに含まれるか否かを判断するもので、ΔCr24≧CNcrまたは−CNcr≧ΔCr24の場合はノイズ範囲外、CNcr＞ΔCr24＞−CNcrの場合はノイズ範囲内とする。上記比較結果に基づき差分色信号ΔCr24に補正を行うことで、(25)式に示すように、第２の色ノイズ量CN2crを求める。
【０２１９】
【数２５】
【０２２０】
後段のコアリング部906は、注目画素CrT24と第２の色ノイズ量CN2cr間にてコアリング処理を行うため、(25)式に示される置換処理は、動領域において何も処理を行わないことを意味する。一般に、動領域では視覚的に高周波域の識別能が低下するため、ノイズ成分が目立ちにくく、上記置換処理においても対応することができる。上記置換処理は、図２０に示す上限値設定処理よりも実装が容易であり、システムの低コスト化が可能となる。
【０２２１】
上記第２のノイズ量CN2crは、バッファ907へ転送され記録される。コアリング部906は、制御部121の制御に基づき、分離抽出部111から注目画素CrT24を、平均色算出部905から色信号の平均値AV_Crを、バッファ907から第２のノイズ量CN2crを読み込み、(26)式に示すように、コアリング処理を行うことで色ノイズ低減処理を行う。
【０２２２】
【数２６】
【０２２３】
色ノイズ低減処理がなされた注目画素Cr'T24は、バッファ118へ転送される。
【０２２４】
図２２は、輝度ノイズ低減部703の構成の一例を示すもので、上限値設定部1000、バッファ1001、画素抽出部1002、減算部1003からなる。分離抽出部111は画素抽出部1002へ、画素抽出部1002は減算部1003へ接続している。差分算出部700および輝度ノイズ推定部116は、上限値設定部1000へ接続している。上限値設定部1000は、バッファ1001を介して減算部1003へ接続している。減算部1003は、バッファ118へ接続している。制御部121は、上限値設定部1000、画素抽出部1002、減算部1003と双方向に接続されている。
【０２２５】
以後の説明は、図１７（ｂ）に示されるような偶数フィールド信号かつ注目画素YT24、CｒT24に関して行うが、偶数フィールド信号かつ注目画素YT24、CbT24や奇数フィールド信号に関しても、領域の構成が異なるだけで同様に成立する。
【０２２６】
上限値設定部1000は、制御部121の制御に基づき、差分算出部700から(19)式に示される差分輝度信号ΔY24を、輝度ノイズ推定部116から輝度ノイズ量LNを読み込み、両者の比較を行う。上記比較は、差分輝度信号ΔY24の絶対値が輝度ノイズ量LNに含まれるか否かを判断するもので、ΔY24≧LNまたは−LN≧ΔY24の場合はノイズ範囲外、LN＞ΔY24＞−LNの場合はノイズ範囲内とする。上記比較結果に基づき差分輝度信号ΔY24に補正を行うことで、(27)式に示すように、第２の輝度ノイズ量LN2を求める。
【０２２７】
【数２７】
【０２２８】
(27)式は、差分輝度信号が輝度ノイズ量を上回る（差分輝度信号が負の場合は下回る）場合に、輝度ノイズ量を上限とする制約を設けることを意味する。これにより、差分輝度信号から動き成分が除去され、輝度ノイズ成分のみが得られることになる。上記第２の輝度ノイズ量LN2は、バッファ1001へ転送され記録される。
【０２２９】
一方、画素抽出部1002は、制御部121の制御に基づき、分離抽出部111から注目画素YT24を読み込み減算部1003へ転送する。減算部1003は、制御部121の制御に基づき、画素抽出部1002からの注目画素YT24を、バッファ1001から第２の輝度ノイズ量LN2を読み込み、(28)式に示すように、両者間で減算処理を行うことで輝度ノイズ低減処理を行う。
【０２３０】
【数２８】
【０２３１】
輝度ノイズ低減処理がなされた注目画素Y'T24は、バッファ118へ転送される。
【０２３２】
なお、上記構成では、差分信号に上限値設定を行うことで第２の輝度ノイズ量を求め、減算処理により輝度ノイズ低減処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、差分信号を零値と置換することで第２の輝度ノイズ量を求め、コアリング処理により輝度ノイズ低減処理を行う構成も可能である。
【０２３３】
図２３は、輝度ノイズ低減部703の別構成の一例を示す図である。輝度ノイズ低減部703は、置換部1004、コアリング部1005、バッファ1006からなる。なお、図２３に示す輝度ノイズ低減部703の構成では、図１６に示される代表輝度算出部113が接続される形態となっている。
【０２３４】
分離抽出部111および代表輝度算出部113は、コアリング部1005へ接続している。差分算出部700および輝度ノイズ推定部116は、置換部1004へ接続している。置換部1004は、バッファ1006を介してコアリング部1005へ接続している。コアリング部1005は、バッファ118へ接続している。制御部121は、置換部1004、コアリング部1005と双方向に接続されている。
【０２３５】
置換部1004は、制御部121の制御に基づき、差分算出部700から(19)式に示される差分輝度信号ΔY24を、輝度ノイズ推定部116から輝度ノイズ量LNを読み込み、両者の比較を行う。上記比較は、差分輝度信号ΔY24の絶対値が輝度ノイズ量LNに含まれるか否かを判断するもので、ΔY24≧LNまたは−LN≧ΔY24の場合はノイズ範囲外、LN＞ΔY24＞−LNの場合はノイズ範囲内とする。上記比較結果に基づき、(29)式に示すように、差分輝度信号ΔY24に補正を行うことで、第２の輝度ノイズ量LN2を求める。
【０２３６】
【数２９】
【０２３７】
後段のコアリング部1005は、注目画素YT24と第２の輝度ノイズ量LN2間にてコアリング処理を行うため、(29)式に示される置換処理は、動領域において何も処理を行わないことを意味する。一般に動領域では、視覚的に高周波域の識別能が低下するため、ノイズ成分が目立ちにくく、上記置換処理においても対応することができる。上記置換処理は、図２２に示す上限値設定処理よりも実装が容易であり、システムの低コスト化が可能となる。求められた第２の輝度ノイズ量LN2は、バッファ1006へ転送され記録される。
【０２３８】
コアリング部1005は、制御部121の制御に基づき、分離抽出部111から注目画素YT24を、代表輝度算出部113から代表的輝度値Lを、バッファ1006から第２の輝度ノイズ量LN2を読み込み、(30)式に示すように、コアリング処理を行うことで輝度ノイズ低減処理を行う。
【０２３９】
【数３０】
【０２４０】
輝度ノイズ低減処理がなされた注目画素Y'T24は、バッファ118へ転送される。
【０２４１】
上述した第２の実施の形態の構成により、時系列的に取り込まれた映像信号に対して所定領域単位に代表的輝度値および代表的色相値を求め、代表的輝度値および代表的色相値に基づき適用的に色ノイズ量を推定し、ノイズ低減処理がなされた過去の領域の色信号から求めた差分色信号に対して推定した色ノイズ量から動き成分を除去することで、第２の色ノイズ量を求めるシステムが提供できる。これにより、高精度な色ノイズ低減処理を行うことが可能となり、高品位な映像信号が得られる。
【０２４２】
上記色ノイズ量の推定処理は、撮影ごとに異なる条件に動的に適応し、かつ色相域ごとに適切な補正を行うため、高精度かつ安定的な色ノイズ量の推定が可能となる。また、色ノイズ量の算出に補間演算を使用する場合は、補間演算は実装が容易であり、システムの低コスト化が可能となる。一方、色ノイズ量の算出にルックアップテーブルを使用する場合は、高速な色ノイズ量の推定が可能となる。
【０２４３】
差分色信号から動き成分を除去する際に、色ノイズ量に基づく上限値の設定処理を用いる場合は、実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。また、設定処理は制御の簡略化が可能となり、操作性が向上する。一方、零値への置換処理を用いる場合は、実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。
【０２４４】
色ノイズ低減処理に減算処理を用いる場合は、実装が容易で、システム全体の高速化および低コスト化を可能とする。一方、色ノイズ低減処理にコアリング処理を用いる場合は、色ノイズ成分のみを重点的に低減でき、かつエッジなどの色ノイズ以外の画素との連続性が確保できるため、高品位な映像信号が得られる。
【０２４５】
代表的輝度値に基づき適用的に輝度ノイズ量を推定し、ノイズ低減処理がなされた過去の領域の輝度信号から求めた差分輝度信号に対して推定した輝度ノイズ量から動き成分を除去することにより第２の輝度ノイズ量を求めることで、高精度な輝度ノイズ低減処理を行うことが可能となり、高品位な映像信号が得られる。上記輝度ノイズ量の推定処理は、撮影ごとに異なる条件に動的に適応し、かつ基準輝度ノイズモデルを用いるため、高精度かつ安定的な輝度ノイズ量の推定が可能となる。
【０２４６】
輝度ノイズ量の算出に補間演算を使用する場合は、補間演算は実装が容易であり、システムの低コスト化が可能となる。一方、輝度ノイズ量の算出にルックアップテーブルを使用する場合は、高速な輝度ノイズ量の推定が可能となる。
【０２４７】
差分輝度信号から動き成分を除去する際に、輝度ノイズ量に基づく上限値の設定処理を用いる場合は、実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。また、設定処理は制御の簡略化が可能となり、操作性が向上する。一方、零値への置換処理を用いる場合は、実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。
【０２４８】
輝度ノイズ低減処理に減算処理を用いる場合は、実装が容易で、システム全体の高速化および低コスト化を可能とする。一方、輝度ノイズ低減処理にコアリング処理を用いる場合は、輝度ノイズ成分のみを重点的に低減でき、かつエッジなどの輝度ノイズ以外の画素との連続性が確保できるため、高品位な映像信号が得られる。
【０２４９】
また、色差線順次型補色フィルタを前面に配置した撮像素子を用いるため、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０２５０】
なお、上述した第２の実施の形態では、撮像素子として色差線順次型補色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、第１の実施の形態と同様に、ベイヤー型原色フィルタを用いる構成も可能である。この場合、欠落するRGB信号を公知の補間処理により補い、(31)式に基づき、輝度信号と色信号を求める。
【０２５１】
【数３１】
【０２５２】
この場合、フレーム信号のみでフィールド信号が存在しないことになる。差分算出部700は、1フレーム前の信号から差分信号を求める構成となる。
【０２５３】
また、第１の実施の形態における図１４に示される形態と同様に、別体の撮像部で撮像された時系列的に連続する複数の映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
【０２５４】
さらに、上述した実施の形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの時系列的に連続する複数の映像信号を未処理のままのRawデータとして、制御部121からCCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０２５５】
図２４Ａは、上記信号処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。以下、各ステップの処理について説明する。なお、図１５Ａに示す第１の実施の形態における信号処理のフローと同一の処理を行うステップに関しては、同一のステップ番号を割り当てている。
【０２５６】
ステップS1では、複数の映像信号および色フィルタや撮影時の露光条件などのヘッダ情報を読み込んで、ステップS60に進む。ステップS60では、１枚の映像信号、すなわちフレーム信号から、偶数フィールド信号および奇数フィールド信号を順次抽出して、ステップS2に進む。ステップS2では、 (17)式に示されるように、映像信号を輝度信号と色信号に分離し、所定サイズ、例えば5×5画素の領域単位で順次抽出する。
【０２５７】
ステップS3では、(18)式に示される色相域を求め、図１９（ａ）に示される６つの色相域へ分類することで代表的色相値を求めて、ステップS4に進む。ステップS4では、領域の輝度信号の平均を求めることによって、代表的輝度値を求めて、ステップS61に進む。ステップS61では、ノイズ低減処理がなされた過去のフィールド信号、本実施の形態では２フィールド過去のフィールド信号を入力して、ステップS62に進む。
【０２５８】
ステップS62では、現在のフィールド信号とノイズ低減処理がなされた過去のフィールド信号間で、(19)式に示される差分輝度信号および差分色信号を算出して、ステップS63に進む。ステップS63では、色ノイズ量の推定処理を行う。この処理は、後述する図２４Ｂのフローに従って実行される。
【０２５９】
ステップS64では、色ノイズの低減処理を行う。この処理は、後述する図２４Ｃのフローに従って実行される。
【０２６０】
ステップS7では、図１５Ｄに示す第１の実施の形態における輝度ノイズ推定処理と同様に、輝度ノイズ量の推定処理を行って、ステップS65に進む。ステップS65では、輝度ノイズの低減処理を行う。この処理は、後述する図２４Ｄのフローに従って実行される。
【０２６１】
ステップS9では、ノイズ低減処理がなされた色信号および輝度信号を出力して、ステップS10に進む。ステップS10では、１枚の映像信号における全ての領域に対する処理が完了したか否かを判断し、完了していないと判断した場合はステップS2へ進み、完了したと判断した場合はステップS11へ進む。
【０２６２】
ステップS11では、公知の同時化処理、強調処理、階調処理、圧縮処理等を行って、ステップS66に進む。ステップS66では、ノイズ低減処理がなされた偶数フィールド信号および奇数フィールド信号から合成された１枚の映像信号、すなわちフレーム信号を出力して、ステップS67に進む。ステップS67では、全てのフィールド信号に対する処理が完了したか否かを判断し、完了していないと判断した場合はステップS60へ進み、完了したと判断した場合は終了する。
【０２６３】
図２４Ｂは、図２４ＡのステップS63において行われる色ノイズ推定処理に関するフローである。なお、図１５Ｂに示す第１の実施の形態における色ノイズ推定処理のフローと同一の処理を行うステップに関しては、同一のステップ番号を割り当てている。以下、各ステップの処理について説明する。
【０２６４】
ステップS20では、読み込まれたヘッダ情報から温度、ゲインなどの情報を設定する。ただし、ヘッダ情報に必要なパラメータが存在しない場合は、所定の標準値を割り当てる。ステップS21では、基準色ノイズモデルおよび補正係数を入力して、ステップS23に進む。
【０２６５】
ステップS23では、代表的輝度値が属する基準色ノイズモデルの区間の座標データおよび対応する補正係数を選択して、ステップS24に進む。ステップS24では、(20)式に示される補間処理にて基準色ノイズ量を求めて、ステップS25に進む。ステップS25では、(21)式に示される補正処理にて色ノイズ量を求めて、ステップS70に進む。
【０２６６】
ステップS70では、色相域を変換するための補正係数を入力して、ステップS71に進む。ステップS71では、代表的色相値に基づいて、色相域を変換するための補正係数を選択して、ステップS72に進む。Step72では、選択された補正係数を用いて(22)式に示される補正処理にて色ノイズ量を補正して、ステップS26に進む。ステップS26では、補正された色ノイズ量を出力して終了する。
【０２６７】
図２４Ｃは、図２４ＡのステップS64において行われる色ノイズ低減処理に関するフローである。なお、図１５Ｃに示す第１の実施の形態における色ノイズ低減処理のフローと同一の処理を行うステップに関しては、同一のステップ番号を割り当てている。以下、各ステップの処理について説明する。
【０２６８】
ステップS30では、図２４ＡのステップS63において推定された色ノイズ量を入力して、ステップS80に進む。ステップS80では、(19)式に示される差分色信号を入力して、ステップS81に進む。ステップS81では、差分色信号に対して色ノイズ量に基づき、(23)式に示される上限値の設定を行い、第２の色ノイズ量を求める。
【０２６９】
ステップS82では、領域内の注目画素に関して、(24)式に示される第２の色ノイズ量の減算処理を行うことで、色ノイズ低減処理を行い、ステップS33に進む。ステップS33では、色ノイズ低減処理がなされた色信号を出力して終了する。
【０２７０】
図２４Ｄは、図２４ＡのステップS65において行われる輝度ノイズ低減処理に関するフローである。なお、図１５Ｅに示す第１の実施の形態における輝度ノイズ低減処理のフローと同一の処理を行うステップに関しては、同一のステップ番号を割り当てている。以下、各ステップの処理について説明する。
【０２７１】
ステップS50では、図２４ＡのステップS7において推定された輝度ノイズ量を入力して、ステップS90に進む。ステップS90では、(19)式に示される差分輝度信号を入力して、ステップS91に進む。ステップS91では、差分輝度信号に対して輝度ノイズ量に基づき(27)式に示される上限値の設定を行い、第２の輝度ノイズ量を求める。
【０２７２】
ステップS92では、領域内の注目画素に関して(28)式に示される第２の輝度ノイズ量の減算処理を行うことで、輝度ノイズ低減処理を行い、ステップS53に進む。ステップS53では、輝度ノイズ低減処理がなされた輝度信号を出力して終了する。
【０２７３】
このように、信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０２７４】
以上、本発明の各実施の形態について説明したが、上記実施の形態は、本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施の形態の具体的構成に限定する趣旨ではない。また、第１の実施の形態、第２の実施の形態でそれぞれ説明した構成の一部を組み合わせて、別の構成とすることもできる。
【図面の簡単な説明】
【０２７５】
【図１】第１の実施の形態の構成図である。
【図２】ベイヤー型原色フィルタの構成および輝度信号／色信号の分離および領 域の抽出に関する説明図である。
【図３】４つの色相域を説明するための図である。
【図４】色ノイズ推定部の構成図である。
【図５Ａ】信号レベルに対する色ノイズ量の関係を示す図
【図５Ｂ】45°、135°、225°、315°の４つの色相域における色ノイズ量をプロットした図
【図５Ｃ】色ノイズモデルの簡略化を説明するための図
【図５Ｄ】簡易化された色ノイズモデルから、色ノイズ量CNsを算出する方法を示す図
【図６】別構成の色ノイズ推定部の構成図である。
【図７】色ノイズ低減部の構成図である。
【図８】別構成の色ノイズ低減部を説明するための図である。
【図９】輝度ノイズ推定部の構成図である。
【図１０】別構成の輝度ノイズ推定部の構成図である。
【図１１】輝度ノイズ低減部の構成図である。
【図１２】別構成の輝度ノイズ低減部の構成図である。
【図１３】色差線順次型補色フィルタの構成および輝度信号／色信号の分離および領域の抽出に関する説明図である。
【図１４】別構成の第１の実施の形態の構成図である。
【図１５Ａ】第１の実施の形態における信号処理のフローのうち、全体処理のフローである。
【図１５Ｂ】信号処理のフローのうち、色ノイズ推定処理のフローである。
【図１５Ｃ】信号処理のフローのうち、色ノイズ低減処理のフローである。
【図１５Ｄ】信号処理のフローのうち、輝度ノイズ推定処理のフローである。
【図１５Ｅ】信号処理のフローのうち、輝度ノイズ低減処理のフローである。
【図１６】第２の実施の形態の構成図である。
【図１７】輝度信号／色信号の分離および領域に関する説明図である。
【図１８】第２の実施の形態における色ノイズ推定部の構成図である。
【図１９】色ノイズ量の推定に関する説明図である。
【図２０】第２の実施の形態における色ノイズ低減部の構成図である。
【図２１】第２の実施の形態において、別構成の色ノイズ低減部の構成図である 。
【図２２】第２の実施の形態における輝度ノイズ低減部の構成図である。
【図２３】第２の実施の形態において、別構成の輝度ノイズ低減部の構成図である。
【図２４Ａ】第２の実施の形態例における信号処理のフローのうち、全体処理のフローである。
【図２４Ｂ】第２の実施の形態例における信号処理のフローのうち、色ノイズ推定処理のフローである。
【図２４Ｃ】第２の実施の形態例における信号処理のフローのうち、色ノイズ低減処理のフローである。
【図２４Ｄ】第２の実施の形態例における信号処理のフローのうち、輝度ノイズ低減処理のフローである。
【符号の説明】
【０２７６】
111 分離抽出部
112 代表色相算出部
113 代表輝度算出部
114,701 色ノイズ推定部
115,702 色ノイズ低減部
116 輝度ノイズ推定部
117,703 輝度ノイズ低減部
【技術分野】
【０００１】
本発明は、撮像系に起因するランダムノイズの低減処理を行う映像処理装置に係わり、特に色ノイズ低減処理に関連する色ノイズ量の推定を高精度化することで色ノイズ成分を高精度に低減可能とする映像処理装置に関する。
【背景技術】
【０００２】
撮像素子とそれに付随するアナログ回路およびＡ／Ｄコンバータ等から構成される撮像系から得られる映像信号は、一般にノイズ成分を含有する。上記ノイズ成分は、固定パターンノイズとランダムノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。
【０００３】
静止画像のランダムノイズの低減処理に関しては、例えば特開2001-175843号公報に示されるように、映像信号を輝度信号と色差信号に分離し、輝度信号および色差信号からエッジ強度を求め、エッジ部以外の領域において色差信号に平滑化処理を行う手法が開示されている。これにより、エッジ部を保存して平坦部のみに色ノイズ低減処理を行うことが可能となる。
【０００４】
また、特開2005-175718号公報に示されるように、映像信号を輝度信号と色差信号に分離し、所定領域単位で輝度ノイズ量および色ノイズ量を推定し、領域単位でノイズ低減処理を行う例が開示されている。これにより、領域ごとに最適化されたノイズ低減処理が可能となる。
【０００５】
一方、動画像におけるランダムノイズの低減処理としては、時間軸方向の相関性を用いた巡回型のノイズ低減処理がある。巡回型のノイズ低減処理は、映像信号自体は過去の映像信号と相関性が高く、一方、ランダムノイズは過去の映像信号と相関性が低いことを利用し、現在と過去の映像信号間にて差分処理を行うことでランダムノイズのみを抽出し、抽出されたランダムノイズを用いて現在の映像信号のノイズ低減処理を行うものである。
【０００６】
このような巡回型のノイズ低減処理としては、例えば特開平10-13734号公報では、映像信号から動き成分を検出し、検出された動き成分に基づいて、差分処理をおこなった信号に対するリミット値と帰還係数を制御する方法が開示されている。これにより、動き成分に起因する残像などの副作用を抑制したノイズ低減処理が可能となる。また、特開2000-209507号公報では差分処理をおこなった信号値から帰還係数を制御する方法が開示されている。これにより、比較的少ない演算量で副作用を抑制したノイズ低減処理が可能となる。
【特許文献１】特開2001-175843号公報
【特許文献２】特開2005-175718号公報
【特許文献３】特開平10-13734号公報
【特許文献４】特開2000-209507号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特開2001-175843号公報では、エッジ部以外の平坦な領域における色差信号に平滑化処理を行っているが、上記平滑化処理は固定的に行われている。しかしながら、色ノイズ量は信号レベルや撮影時の温度，ゲインなどにより異なるため、平滑化処理を最適に制御することはできない。このため、色ノイズ成分の残存や原信号の劣化などが発生するという課題がある。また、時間軸方向の相関性を用いた巡回型のノイズ低減処理とは独立しており、相互を最適に活用できないという課題がある。
【０００８】
特開2005-175718号公報では、領域単位で色ノイズ量を信号レベルや撮影時の温度、ゲインに基づき推定している。しかし、色ノイズは色相域によりその発生量が異なるため、推定される色ノイズ量は平均値的には正しいが、個々の色相域単位では十分な精度ではない。このため、各色相域に最適な色ノイズ成分の低減処理がなされないという課題がある。また、時間軸方向の相関性を用いた巡回型のノイズ低減処理とは独立しており、相互を最適に活用できないという課題がある。
【０００９】
特開平10-13734号公報では、動き成分を検出することで高精度なノイズ低減処理が可能となるが、一般に動き成分の検出処理は計算量が多く処理時間が長くなり、システム全体としてコストが高くなるという課題がある。また、動き成分とランダムノイズという性質が異なる信号間の処理は、制御のためのパラメータ設定が複雑になり、操作性が低下するという課題がある。
【００１０】
特開2000-209507号公報では、差分処理をおこなった信号値で制御を行うため計算量が少なく低コスト化が可能であるが、動き成分とランダムノイズの分離精度が低く高品位な映像信号が得られないという課題がある。
【００１１】
本発明は上記問題点に着目し、信号レベル、温度、ゲインなどの動的に変化する撮影状況および各色相域に対応した色ノイズ量の推定を行い、撮影状況のみならず色相域に最適化された色ノイズ低減処理を行うことで、高品位な映像信号を得ることを目的とする。
【課題を解決するための手段】
【００１２】
本発明による映像処理装置は、撮像系から取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、前記映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出手段と、前記分離抽出手段によって抽出された領域の輝度信号に基づいて、前記領域の代表的輝度値を算出する代表輝度算出手段と、前記領域の色信号に基づいて、前記領域の代表的色相値を算出する代表色相算出手段と、前記代表輝度算出手段によって算出された代表的輝度値および前記代表色相算出手段によって算出された代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定手段と、前記色ノイズ推定手段によって推定された色ノイズ量に基づいて、前記領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減手段とを備えることを特徴とする。
【００１３】
また、本発明による映像処理プログラムは、撮像系から取り込まれた映像信号に対しノイズ低減処理を行う映像処理プログラムにおいて、前記映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出ステップと、前記分離抽出ステップにおいて抽出された領域の輝度信号に基づいて、前記領域の代表的輝度値を算出する代表輝度算出ステップと、前記領域の色信号に基づいて、前記領域の代表的色相値を算出する代表色相算出ステップと、前記代表的輝度値および前記代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定ステップと、前記色ノイズ推定ステップにおいて推定された色ノイズ量に基づいて、前記領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減ステップとを備えることを特徴とする。
【発明の効果】
【００１４】
本発明による映像処理装置および映像処理プログラムによれば、所定サイズの領域ごとに代表的輝度値および代表的色相値を求めて色ノイズ量を推定し、推定した色ノイズ量に基づいて色ノイズ低減処理を行うので、高精度な色ノイズ低減処理を行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照しながら、本発明の各実施の形態について説明する。
【００１６】
−第１の実施の形態−
図１は、本発明の第１の実施の形態の構成図である。レンズ系100、絞り101、CCD102を介して撮影された映像信号は、増幅器（図中“Gain”）104にて増幅され、A/Dコンバータ（図中“A/D”）105にてデジタル信号へ変換される。A/Dコンバータ105からの映像信号は、バッファ106を介して分離抽出部111へ転送される。
【００１７】
バッファ106は、プリホワイトバランス調整部（図中“PreWB”）107、測光評価部108、合焦点検出部109へも接続されている。プリホワイトバランス調整部107は増幅器104へ、測光評価部108は絞り101、CCD102、増幅器104へ、合焦点検出部109はAFモータ110へ接続されている。分離抽出部111は、代表色相算出部112、代表輝度算出部113、色ノイズ低減部115、輝度ノイズ低減部117へ接続されている。
【００１８】
代表色相算出部112は、色ノイズ推定部114および色ノイズ低減部115を介して、バッファ118へ接続されている。代表輝度算出部113は、色ノイズ推定部114、輝度ノイズ推定部116、輝度ノイズ低減部117へ接続されている。輝度ノイズ推定部116は、輝度ノイズ低減部117を介してバッファ118へ接続されている。バッファ118は、信号処理部119へ接続されている。信号処理部119は、メモリカードなどの出力部120に接続されている。
【００１９】
マイクロコンピュータなどの制御部121は、増幅器104、A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、分離抽出部111、代表色相算出部112、代表輝度算出部113、色ノイズ推定部114、色ノイズ低減部115、輝度ノイズ推定部116、輝度ノイズ低減部117、信号処理部119、出力部120と双方向に接続されている。また、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えの設定を行うためのインターフェースを備えた外部I/F部122も制御部121に双方向に接続されている。さらに、CCD102の近傍に配置された温度センサ103からの信号は、制御部121へ接続されている。
【００２０】
続いて、信号処理の内容について説明する。
【００２１】
図１を参照しながら、映像信号の流れを説明する。外部I/F部122を介してISO感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100、絞り101、CCD102を介して撮影された映像信号は、アナログ信号として出力される。
【００２２】
なお、本実施の形態においては、CCD102としてベイヤ−（Bayer）型原色フィルタを前面に配置した単板CCDを想定する。図２（ａ）は、ベイヤ−型原色フィルタの構成を示している。ベイヤ−型は2×2画素を基本単位とし、赤(R),青(B)フィルタが１画素ずつ、緑(G)フィルタが２画素配置される。
【００２３】
上記アナログ信号は増幅器104にて所定量増幅され、A/Dコンバータ105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106内の映像信号は、制御部121の制御に基づき、プリホワイトバランス調整部107、測光評価部108および合焦点検出部109へ転送される。
【００２４】
プリホワイトバランス調整部107では、所定レベルの信号を色フィルタに対応する色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数を増幅器104へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
【００２５】
測光評価部108では、設定されたISO感度、手ぶれ限界のシャッター速度などを加味し、適正露光となるように、絞り101やCCD102の電子シャッター速度や増幅器104の増幅率などを制御する。合焦点検出部109は、映像信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦信号を得る。
【００２６】
続いて、外部I/F部122を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ106へ転送される。本撮影は、プリホワイトバランス調整部107にて求められた簡易ホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部121へ転送される。
【００２７】
分離抽出部111は、制御部121の制御に基づき、映像信号を輝度信号と色信号へ分離し、以後のノイズ低減処理の対象となる領域を順次抽出する。本実施の形態においては、輝度信号Yと色信号Cb、Crは、ベイヤ−型原色フィルタに対して2×2画素単位で算出される。例えば、R00、G10、G01、B11の2×2画素に関しては、(1)式に示されるように、輝度信号Y00と色信号Cb00,Cr00が算出される。
【００２８】
【数１】
【００２９】
また、ノイズ低減処理の対象となる領域としては、図２（ｂ）に示されるように、輝度信号Yと色信号Cb、Crの組に関して、2×2画素を想定する。以降は、領域内の輝度信号をYij、色信号をCbij、Crij（iはX座標でi=0〜1、jはY座標でj=0〜1）で表記する。領域内の輝度信号Yijは、代表輝度算出部113、輝度ノイズ低減部117へ、色信号Cbij、Crijは、代表色相算出部112、色ノイズ低減部115へ転送される。
【００３０】
代表色相算出部112は、制御部121の制御に基づき、(2)式に示すように、色信号Cbij、Crijの平均AV_Cb、AV_Crを求める。
【００３１】
【数２】
【００３２】
代表色相算出部112は、さらに、上記色信号の平均AV_Cb、AV_Crから、領域の代表的色相値Hを求める。本実施の形態においては、代表的色相値として、図３に示される４つの色相域のいずれかを想定する。図３は、横軸を色信号Cr、縦軸を色信号CbとするCrCb平面において、0°以上90°未満の色相域（以後45°の色相域と表記する）、90°以上180°未満の色相域（以後135°の色相域と表記する）、180°以上270°未満の色相域（以後225°の色相域と表記する）、270°以上360°未満の色相域（以後315°の色相域と表記する）の４つの色相域を示している。代表色相算出部112は、表１に示されるように色信号の平均AV_Cb、 AV_Crの正負に基づき、上記４つの色相域への分類を行う。
【００３３】
【表１】
【００３４】
上記４つの色相域への分類結果は、領域の代表的色相値Hとして、色ノイズ推定部114へ転送される。
【００３５】
一方、代表輝度算出部113は、制御部121の制御に基づき、(3)式に示すように、輝度信号Yijの平均AV_Yを求める。
【００３６】
【数３】
【００３７】
上記輝度信号の平均AV_Yは、領域の代表的輝度値Lとして、色ノイズ推定部114、輝度ノイズ推定部116、輝度ノイズ低減部117へ転送される。
【００３８】
色ノイズ推定部114は、制御部121の制御に基づき、代表色相算出部112からの代表的色相値Hおよび代表輝度算出部113からの代表的輝度値Lに基づき、色ノイズ量CNs (s＝Cb、Cr)を推定し、色ノイズ低減部115へ転送する。色ノイズ量CNsの推定方法については後述する。
【００３９】
色ノイズ低減部115は、制御部121の制御に基づき、色ノイズ推定部114からの色ノイズ量CNsに基づき、分離抽出部111からの領域の色信号Cbij、Crijに対して色ノイズ低減処理を行う。色ノイズの低減処理方法については後述する。色ノイズ低減処理後の色信号Cb'ij、Cr'ijは、バッファ118へ転送され保存される。
【００４０】
輝度ノイズ推定部116は、制御部121の制御に基づき、代表輝度算出部113からの代表的輝度値Lに基づいて輝度ノイズ量LNを推定し、輝度ノイズ低減部117へ転送する。輝度ノイズ低減部117は、制御部121の制御に基づき、輝度ノイズ推定部116からの輝度ノイズ量LNに基づいて、分離抽出部111からの領域の輝度信号Yijに対して輝度ノイズ低減処理を行う。輝度ノイズ低減処理後の輝度信号Y'ijは、バッファ118へ転送され保存される。
【００４１】
なお、上述した分離抽出部111、代表色相算出部112、代表輝度算出部113、色ノイズ推定部114、色ノイズ低減部115、輝度ノイズ推定部116、および、輝度ノイズ低減部117における処理は、制御部121の制御に基づき、領域単位で同期して行われる。１枚の映像信号における全領域に対する処理が完了した時点で、バッファ118には、撮影された映像信号に関する輝度ノイズ低減処理後の輝度信号Y'および色ノイズ低減処理後の色信号Cb'、Cr'が存在することになる。
【００４２】
信号処理部119は、制御部121の制御に基づき、輝度ノイズ低減処理後の輝度信号Y'および色ノイズ低減処理後の色信号Cb'、Cr'を、撮像系本来の映像信号（本実施の形態においては、R、G、B信号）へ変換する。例えば、(1)式に示される輝度信号Y00に関する輝度ノイズ低減処理後の輝度信号Y'00と、色信号Cb00、Cr00に関する色ノイズ低減処理後の色信号Cb'00、Cr'00に対しては、(4)式に示されるように、ノイズ低減処理後のR'00、G'00、B'00信号へ変換される。
【００４３】
【数４】
【００４４】
信号処理部119は、上記ノイズ低減処理がなされたR'、G'、B'信号に対して公知の強調処理、階調処理、圧縮処理などを行い、出力部120へ転送する。出力部120は、磁気ディスクやメモリカードなどの記録媒体に映像信号を記録保存する。
【００４５】
図４は、色ノイズ推定部114の構成の一例を示すもので、モデル選択部200、パラメータ用ROM201、ゲイン算出部202、標準値付与部203、パラメータ選択部204、ノイズ補間部205、ノイズ補正部206からなる。
【００４６】
代表色相算出部112およびパラメータ用ROM201は、モデル選択部200へ接続している。代表輝度算出部113、モデル選択部200、ゲイン算出部202、標準値付与部203は、パラメータ選択部204へ接続している。パラメータ選択部204は、ノイズ補間部205およびノイズ補正部206へ接続している。ノイズ補間部205はノイズ補正部206へ、ノイズ補正部206は色ノイズ低減部115へ接続している。制御部121は、モデル選択部200、ゲイン算出部202、標準値付与部203、パラメータ選択部204、ノイズ補間部205、ノイズ補正部206と双方向に接続されている。
【００４７】
モデル選択部200は、制御部121の制御に基づき、代表色相算出部112から領域の代表的色相値Hを読み込み、パラメータ用ROM201から色ノイズ推定に用いる基準色ノイズモデルを選択する。
【００４８】
図５Ａ〜図５Ｄは、基準色ノイズモデルに関する説明図である。図５Ａは、信号レベルLに対する色ノイズ量CNをプロットして得られる曲線を示す図である。図５Ａに示すように、信号レベルLに対して、２次曲線的に増加している。図５Ａに示す曲線を２次関数でモデル化すると、(5)式が得られる。(5)式において、α、β、γはそれぞれ定数項である。
【００４９】
【数５】
【００５０】
しかしながら、色ノイズ量CNは、信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。図５Ａは、一例としてある温度下においてゲインに関連する３種類のISO感度100、200、400に対する色ノイズ量をプロットしている。
【００５１】
また、色ノイズ量CNは、色相域に応じても変化する。図５Ｂは、45°、135°、225°、315°の４つの色相域における色ノイズ量をプロットしている。個々の曲線は(5)式に示される形態をしているが、その係数はゲインに関連するISO感度、温度、色相域により異なる。ゲインをg、温度をt、色相域をθとし、上記を考慮した形で色ノイズモデルの定式化を行うと、(6)式が得られる。
【００５２】
【数６】
【００５３】
(6)式において、αgtθ、βgtθ、γgtθはそれぞれ、ゲインg、温度t、色相域θに応じた定数項である。さらに、(6)式に示される色ノイズモデルは、色信号CbとCrで二種類存在することになる。以後、色信号Cbの色ノイズ量をCNCb、色信号Crの色ノイズ量をCNCrとし、両者をCNs (s=Cb、Cr)で表記する。二種類の色信号に関して、(6)式は以下のようになる。
【００５４】
【数７】
【００５５】
なお、(7)式の関数を複数記録し、その都度演算により色ノイズ量CNsを算出することは処理的に煩雑である。このため、図５Ｃに示すように、特定の色相域単位で色ノイズモデルの簡略化を行う。図５Ｃにおいては、ある色相域θにおいて、最大の色ノイズ量を与える色ノイズモデルを基準色ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLと色ノイズ量CNθからなる座標データ(Ln, CNθn)で表す。ここで、nは変曲点の数を示す。
【００５６】
また、上記基準色ノイズモデルから他の色ノイズモデルを導出するための補正係数ksgtθも用意される。補正係数ksgtθは、各色ノイズモデルと基準色ノイズモデル間から最小自乗法により算出される。基準色ノイズモデルから他の色ノイズモデルを導出するには、基準色ノイズモデルに上記補正係数ksgtθを乗算することで行われる。
【００５７】
図５Ｄは、図５Ｃに示す簡易化された色ノイズモデルから、色ノイズ量CNsを算出する方法を示している。例えば、与えられた信号レベルがl、ゲインがg、温度がt、色相域がθに対応する色ノイズ量CNsを求めることを想定する。まず、色相域θに対応する基準色ノイズモデルおよび補正係数ksgtθを選択する。
【００５８】
次に信号レベルlが基準色ノイズモデルのどの区間に属するかを探索する。ここでは、(Ln, CNθn)と(Ln+1, CNθn+1)間の区間に属するとする。基準色ノイズモデルにおける基準色ノイズ量CNlを、(8)式に示すように、線形補間にて求める。
【００５９】
【数８】
【００６０】
次に、(9)式に示すように、求めたノイズ量CNlに補正係数ksgtθを乗算することで、色ノイズ量CNsを求める。
【００６１】
【数９】
【００６２】
パラメータ用ROM201は、複数の色相域θに対応する基準色ノイズモデルの座標データ(Ln, CNθn)および補正係数ksgtθを記録している。モデル選択部200は、代表色相算出部112から領域の代表的色相値Hに基づき色相域θを求め、求めた色相域θに対応する基準色ノイズモデルおよび補正係数をパラメータ用ROM201から読み出す。読み出された基準色ノイズモデルおよび補正係数は、パラメータ選択部204へ転送される。
【００６３】
ゲイン算出部202は、制御部121から転送されるISO感度および露光条件に関する情報に基づき増幅器104における増幅量を求め、パラメータ選択部204へ転送する。また、制御部121は、温度センサ103からCCD102の温度情報を得て、これをパラメータ選択部204へ転送する。
【００６４】
パラメータ選択部204は、制御部121の制御に基づき、代表輝度算出部113からの代表的輝度値Lから信号レベルlを、ゲイン算出部202からのゲインの情報からゲインgを、制御部121からの温度情報から温度tを設定する。次に、信号レベルlが属する区間の座標データ(Ln, CNθn)と(Ln+1, CNθn+1)を探索し、これをノイズ補間部205へ転送する。さらに、補正係数ksgtθを探索し、これをノイズ補正部206へ転送する。
【００６５】
ノイズ補間部205は、制御部121の制御に基づき、パラメータ選択部204からの信号レベルlおよび区間の座標データ(Ln, CNθn)と(Ln+1, CNθn+1)から(8)式に基づき、基準色ノイズモデルにおける基準色ノイズ量CNlを算出し、ノイズ補正部206へ転送する。
【００６６】
ノイズ補正部206は、制御部121の制御に基づき、パラメータ選択部204からの補正係数ksgtθおよびノイズ補間部205からの基準色ノイズ量CNlから(9)式に基づき、色ノイズ量CNsを算出する。算出された色ノイズ量CNsは、色ノイズ低減部115へ転送される。
【００６７】
なお、上記色ノイズ量算出の過程において、温度t，ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報（所定の標準値）を標準値付与部203に記録させておき、温度t，ゲインgなどの情報を算出する過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
【００６８】
さらに、上記構成では基準色ノイズモデルに基づき色ノイズ量を補間演算により算出する構成となっていたが、このような構成に限定される必要はない。例えば、ルックアップテーブルを用いる構成も可能である。
【００６９】
図６は、色ノイズ推定部114の別構成の一例を示すもので、図４に示す色ノイズ推定部114におけるモデル選択部200、パラメータ用ROM201、パラメータ選択部204、ノイズ補間部205、ノイズ補正部206が省略され、ノイズテーブル部207が追加された構成となっている。基本構成は図４に示す色ノイズ推定部114と同等であるため、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００７０】
代表色相算出部112、代表輝度算出部113、ゲイン算出部202、標準値付与部203は、ノイズテーブル部207へ接続している。ノイズテーブル部207は、色ノイズ低減部115へ接続している。制御部121は、ノイズテーブル部207と双方向に接続されている。
【００７１】
ノイズテーブル部207は、制御部121の制御に基づき、代表色相算出部112から領域の代表的色相値H、代表輝度算出部113から領域の代表的輝度値L、ゲイン算出部202からゲインg、制御部121からの温度tを読み込む。ノイズテーブル部207は、温度、信号値レベル、およびゲインとノイズ量との関係を記録したルックアップテーブルを有している。このルックアップテーブルは、図４に示す色ノイズ推定部114が色ノイズ量を算出する手法と同等の手法により構築されている。
【００７２】
ノイズテーブル部207は、上記代表的色相値H、代表的輝度値L、ゲインg、温度tに基づいて、ルックアップテーブルを参照することにより、色ノイズ量CNsを求める。ノイズテーブル部207で求められた色ノイズ量CNsは、色ノイズ低減部115へ転送される。
【００７３】
なお、上記色ノイズ量算出の過程において、温度t、ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報（所定の標準値）を標準値付与部203に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
【００７４】
続いて、色ノイズ低減部115について説明する。図７は、色ノイズ低減部115の構成の一例を示すもので、平均色算出部300およびコアリング部301からなる。
【００７５】
分離抽出部111は、平均色算出部300およびコアリング部301へ接続している。色ノイズ推定部114および平均色算出部300は、コアリング部301へ接続している。コアリング部301は、バッファ118へ接続している。制御部121は、平均色算出部300、コアリング部301と双方向に接続されている。
【００７６】
平均色算出部300は、制御部121の制御に基づき、分離抽出部111から色信号Cbij、Crijを読み込む。この後、(4)式に示される色信号の平均AV_Cb、AV_Crを算出し、コアリング部301へ転送する。
【００７７】
コアリング部301は、制御部121の制御に基づき、分離抽出部111から色信号Cbij、Crijを、平均色算出部300から色信号の平均AV_Cb、AV_Crを、色ノイズ推定部114から色ノイズ量CNsを読み込む。この後、(10)式、(11)式に示されるコアリング処理を行い、色ノイズ低減処理がなされた色信号Cb'ij、Cr'ijを求める。
【００７８】
【数１０】
【００７９】
【数１１】
【００８０】
色ノイズ低減処理がなされた色信号Cb'ij、Cr'ijは、バッファ118へ転送され保存される。
【００８１】
なお、上記構成では、コアリング処理により色ノイズの低減を行う構成となっていたが、このような構成に限定される必要はない。例えば、ローパスフィルタを用いたフィルタリング処理により色ノイズの低減を行う構成も可能である。ローパスフィルタを用いたフィルタリング処理により色ノイズの低減を行う例を図８（ａ）〜図８（ｃ）を参照しながら説明する。
【００８２】
図８（ａ）は、色ノイズ低減部115の別構成の一例を示している。なお、図８（ａ）に示す色ノイズ低減部115では、色ノイズ低減処理の対象となる画素は、図２（ｂ）に示されるように2×2画素であるが、フィルタリング処理のため、周囲画素を含め4×4画素を入力するものとする。
【００８３】
色ノイズ低減部115は、係数用ROM302、フィルタ選択部303、フィルタリング部304からなる。色ノイズ推定部114および係数用ROM302は、フィルタ選択部303へ接続している。分離抽出部111およびフィルタ選択部303は、フィルタリング部304へ接続している。フィルタリング部304は、バッファ118へ接続している。制御部121は、フィルタ選択部303、フィルタリング部304と双方向に接続されている。
【００８４】
フィルタ選択部303は、制御部121の制御に基づき、色ノイズ推定部114から色ノイズ量CNsを読み込む。その後、上記色ノイズ量CNsに基づき、係数用ROM302からローパスフィルタ処理に用いるフィルタ係数を選択して読み込む。
【００８５】
図８（ｂ）は、係数用ROM302に記録されているフィルタ係数の一例を示すもので、サイズが3×3画素で、Type1〜Type4までの４種類の周波数特性が記録されている。なお、各係数は128倍されている。Type1は高周波成分を残存し、Type1、Type2、Type3、Type4へと順次、高周波成分を抑制する周波数特性となっている。
【００８６】
フィルタ選択部303は、色ノイズ量CNsからType1〜Type4の周波数特性を選択する。この選択は、例えば図８（ｃ）に示される色ノイズ量CNsとフィルタの種類Type間の関係に基づき行われる。色ノイズ量CNsが大きいほど、高周波成分を抑制する周波数特性が選択されることになる。選択されたフィルタ係数は、フィルタリング部304へ転送される。
【００８７】
フィルタリング部304は、制御部121の制御に基づき、分離抽出部111から色信号Cbij、Crijおよび周囲画素を読み込み、フィルタ選択部303からのフィルタ係数を用いてフィルタリング処理を行う。フィルタリング処理により色ノイズが低減された色信号Cb'ij、Cr'ijは、バッファ118へ転送され保存される。
【００８８】
図９は、輝度ノイズ推定部116の構成の一例を示すもので、ゲイン算出部400、標準値付与部401、パラメータ用ROM402、パラメータ選択部403、ノイズ補間部404、ノイズ補正部405からなる。
【００８９】
代表輝度算出部113、ゲイン算出部400、標準値付与部401、パラメータ用ROM402は、パラメータ選択部403へ接続している。パラメータ選択部403は、ノイズ補間部404およびノイズ補正部405へ接続している。ノイズ補間部404はノイズ補正部405へ、ノイズ補正部405は輝度ノイズ低減部117へ接続している。制御部121は、ゲイン算出部400、標準値付与部401、パラメータ選択部403、ノイズ補間部404、ノイズ補正部405と双方向に接続されている。
【００９０】
パラメータ選択部403は、制御部121の制御に基づき、代表輝度算出部113から代表的輝度値Lを読み込む。ゲイン算出部400は、制御部121から転送されるISO感度および露光条件に関する情報に基づいて、増幅器104における増幅量を求め、パラメータ選択部403へ転送する。また、制御部121は、温度センサ103からCCD102の温度情報を得て、これをパラメータ選択部403へ転送する。
【００９１】
パラメータ選択部403は、代表輝度算出部113から代表的輝度値L、ゲイン算出部400からのゲインの情報、制御部121からの温度情報に基づき、輝度ノイズ量LNを推定する。輝度ノイズ量LNの推定方法は、基本的には、図５Ａ〜図５Ｄを用いて説明した色ノイズ量の推定方法と同等である。図５Ａに示される色ノイズの例と同様に、輝度ノイズLNも信号レベルLに対して２次曲線的に増加し、これを(12)式に示すように、２次関数でモデル化することができる。(12)式において、α、β、γはそれぞれ定数項である。
【００９２】
【数１２】
【００９３】
しかしながら輝度ノイズLNは、信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。温度をt、ゲインをgとし、上記を考慮した形でモデルの定式化を行うと、(13)式が得られる。
【００９４】
【数１３】
【００９５】
ここで、αgt, βgt, γgtはそれぞれ、ゲインg、温度tに応じた定数項である。色ノイズと同様に、(13)式の関数を複数記録し、その都度演算により輝度ノイズLNを算出することは処理的に煩雑である。このため、輝度ノイズモデルの簡略化を行う。
【００９６】
最大の輝度ノイズ量を与える輝度ノイズモデルを基準輝度ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLと輝度ノイズ量LNからなる座標データ(Ln, LNn)で表す。ここで、nは変曲点の数を示す。また、上記基準輝度ノイズモデルから、他の輝度ノイズモデルを導出するための補正係数kgtも用意される。補正係数kgtは、各輝度ノイズモデルと基準輝度ノイズモデル間から最小自乗法により算出される。基準輝度ノイズモデルから他の輝度ノイズモデルを導出するには、基準輝度ノイズモデルに上記補正係数kgtを乗算することで行われる。
【００９７】
簡易化された輝度ノイズモデルから輝度ノイズ量を算出する方法を以下に示す。例えば、与えられた信号レベルl、ゲインg、温度tに対応する輝度ノイズ量LNを求めることを想定する。まず、信号レベルlが基準輝度ノイズモデルのどの区間に属するかを探索する。ここでは、(Ln, LNn)と(Ln+1, LNn+1)間の区間に属するとする。基準輝度ノイズモデルにおける基準輝度ノイズ量LNlは、(14)式に示すように、線形補間にて求める。
【００９８】
【数１４】
【００９９】
次に、(15)式に示すように、求めた基準輝度ノイズ量LNlに補正係数kgtを乗算することで、輝度ノイズ量LNを求める。
【０１００】
【数１５】
【０１０１】
パラメータ用ROM402は、上記基準輝度ノイズモデルの座標データ(Ln, LNn)および補正係数kgtを記録している。パラメータ選択部403は、代表輝度算出部113からの代表的輝度値Lから信号レベルlを、ゲイン算出部400からのゲインの情報からゲインgを、制御部121からの温度情報から温度tを設定する。次に、信号レベルlが属する区間の座標データ(Ln, LNn)と(Ln+1, LNn+1)をパラメータ用ROM402から探索し、これをノイズ補間部404へ転送する。さらに、補正係数kgtをパラメータ用ROM402から探索し、これをノイズ補正部405へ転送する。
【０１０２】
ノイズ補間部404は、制御部121の制御に基づき、パラメータ選択部403からの信号レベルlおよび区間の座標データ(Ln, LNn)と(Ln+1, LNn+1)から(14)式に基づき、基準輝度ノイズモデルにおける基準輝度ノイズ量LNlを算出し、ノイズ補正部405へ転送する。
【０１０３】
ノイズ補正部405は、制御部121の制御に基づき、パラメータ選択部403からの補正係数kgtおよびノイズ補間部404からの基準輝度ノイズ量LNlから(15)式に基づき、輝度ノイズ量LNを算出する。上記輝度ノイズ量LNは、輝度ノイズ低減部117へ転送される。
【０１０４】
なお、上記輝度ノイズ量算出の過程において、温度t、ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部401に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
【０１０５】
なお、上記構成では、基準輝度ノイズモデルに基づき輝度ノイズ量を補間演算により算出する構成となっていたが、このような構成に限定される必要はない。例えば、ルックアップテーブルを用いる構成も可能である。
【０１０６】
図１０は、輝度ノイズ推定部116の別構成の一例を示すもので、図９に示す輝度ノイズ推定部116におけるパラメータ用ROM402、パラメータ選択部403、ノイズ補間部404、ノイズ補正部405が省略され、ノイズテーブル部406が追加された構成となっている。基本構成は図９に示す輝度ノイズ推定部116と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１０７】
代表輝度算出部113、ゲイン算出部400、標準値付与部401は、ノイズテーブル部406へ接続している。ノイズテーブル部406は、輝度ノイズ低減部117へ接続している。制御部121は、ノイズテーブル部406と双方向に接続されている。
【０１０８】
ノイズテーブル部406は、制御部121の制御に基づき、代表輝度算出部113から領域の代表的輝度値L、ゲイン算出部400からゲインg、制御部121からの温度tを読み込む。ノイズテーブル部406は、温度、信号値レベル、およびゲインとノイズ量との関係を記録したルックアップテーブルを有している。このルックアップテーブルは、図９に示す輝度ノイズ推定部116が輝度ノイズ量LNを算出する手法と同等の手法により構築されている。
【０１０９】
ノイズテーブル部406は、代表的輝度値L、ゲインg、温度tに基づいて、ルックアップテーブルを参照することにより、輝度ノイズ量LNを求める。ノイズテーブル部406で求められたき輝度ノイズ量LNは、輝度ノイズ低減部117へ転送される。
【０１１０】
なお、上記輝度ノイズ量算出の過程において、温度t、ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報（所定の標準値）を標準値付与部401に記録させておき、算出過程を省略する構成も可能である。
【０１１１】
続いて、輝度ノイズ低減部117について説明する。図１１は、輝度ノイズ低減部117の構成の一例を示すもので、コアリング部500からなる。分離抽出部111、代表輝度算出部113、輝度ノイズ推定部116は、コアリング部500へ接続している。コアリング部500は、バッファ118へ接続している。制御部121は、コアリング部500と双方向に接続されている。
【０１１２】
コアリング部500は、制御部121の制御に基づき、分離抽出部111から輝度信号Yijを、代表輝度算出部113から代表的輝度値Lを、輝度ノイズ推定部116から輝度ノイズ量LNを読み込む。この後、(16)式に示されるコアリング処理を行い、輝度ノイズ低減処理がなされた輝度信号Y'ijを求める。
【０１１３】
【数１６】
【０１１４】
輝度ノイズ低減処理がなされた輝度信号Y'ijは、バッファ118へ転送され保存される。
【０１１５】
なお、上記構成では、コアリング処理により輝度ノイズの低減を行う構成となっていたが、このような構成に限定される必要はない。例えば、ローパスフィルタを用いたフィルタリング処理により輝度ノイズの低減を行う構成も可能である。
【０１１６】
図１２は、輝度ノイズ低減部117の別構成の一例を示す。なお、図１２に示す輝度ノイズ低減部117では、輝度ノイズ低減処理の対象となる画素は、図２（ｂ）に示されるように2×2画素であるが、フィルタリング処理のため、周囲画素を含め4×4画素を入力するものとする。
【０１１７】
輝度ノイズ低減部117は、係数用ROM501、フィルタ選択部502、フィルタリング部503からなる。輝度ノイズ推定部116および係数用ROM501は、フィルタ選択部502へ接続している。分離抽出部111およびフィルタ選択部502は、フィルタリング部503へ接続している。フィルタリング部503は、バッファ118へ接続している。制御部121は、フィルタ選択部502、フィルタリング部503と双方向に接続されている。なお、図１２に示す輝度ノイズ低減部117の構成では、図１に示される代表輝度算出部113からの入力は必要としないため省略している。
【０１１８】
フィルタ選択部502は、制御部121の制御に基づき、輝度ノイズ推定部116から輝度ノイズ量LNを読み込む。その後、上記輝度ノイズ量LNに基づき、係数用ROM501からローパスフィルタ処理に用いるフィルタ係数を選択して読み込む。フィルタ係数としては、図８（ｂ）に示される係数などが使用される。フィルタ選択部502は、輝度ノイズ量LNに基づきフィルタ係数を選択する。この選択は、例えば図８（ｃ）に示される色ノイズ量とフィルタの種類間の関係と同様に行われる。選択されたフィルタ係数は、フィルタリング部503へ転送される。
【０１１９】
フィルタリング部503は、制御部121の制御に基づき、分離抽出部111から輝度信号Yijおよび周囲画素を読み込み、フィルタ選択部503からのフィルタ係数を用いてフィルタリング処理を行う。フィルタリング処理により輝度ノイズが低減された輝度信号Y'ijは、バッファ118へ転送され保存される。
【０１２０】
上述した第１の実施の形態の構成により、所定領域単位に代表的輝度値および代表的色相値を求め、代表的輝度値および代表的色相値に基づき、適用的に色ノイズ量を求める映像処理装置が提供できる。これにより、高精度な色ノイズ低減処理を行うことが可能となり、高品位な映像信号が得られる。
【０１２１】
上記色ノイズ量の推定処理は、撮影ごとに異なる条件に動的に適応し、かつ色相域ごとに異なる基準色ノイズモデルを用いるため、高精度かつ安定的な色ノイズ量の推定が可能となる。また、色ノイズ量の算出に補間演算を使用する場合は、補間演算は実装が容易であり、映像処理装置の低コスト化が可能となる。一方、色ノイズ量の算出にルックアップテーブルを使用する場合は、高速な色ノイズ量の推定が可能となる。
【０１２２】
色ノイズ低減処理にコアリング処理を用いる場合は、色ノイズ成分のみを重点的に低減でき、かつエッジなどの色ノイズ以外の画素との連続性が確保できるため、高品位な映像信号が得られる。一方、色ノイズ低減処理にフィルタリング処理を用いる場合は、色ノイズ成分のみを重点的に低減でき、高品位な映像信号が得られる。また、ローパスフィルタは実装が比較的容易で、映像処理装置全体の高速化および低コスト化を可能とする。
【０１２３】
また、代表的輝度値に基づき、適用的に輝度ノイズ量を推定することで高精度な輝度ノイズ低減処理を行うことが可能となり、高品位な映像信号が得られる。上記輝度ノイズ量の推定処理は、撮影ごとに異なる条件に動的に適応し、かつ基準輝度ノイズモデルを用いるため、高精度かつ安定的な輝度ノイズ量の推定が可能となる。輝度ノイズ量の算出に補間演算を使用する場合は、補間演算は実装が容易であり、映像処理装置の低コスト化が可能となる。一方、輝度ノイズ量の算出にルックアップテーブルを使用する場合は、高速な輝度ノイズ量の推定が可能となる。
【０１２４】
輝度ノイズ低減処理にコアリング処理を用いる場合は、輝度ノイズ成分のみを重点的に低減でき、かつエッジなどの輝度ノイズ以外の画素との連続性が確保できるため、高品位な映像信号が得られる。一方、輝度ノイズ低減処理にフィルタリング処理を用いる場合は、輝度ノイズ成分のみを重点的に低減でき、高品位な映像信号が得られる。また、ローパスフィルタは実装が比較的容易で、映像処理装置全体の高速化および低コスト化を可能とする。
【０１２５】
また、ベイヤー型原色フィルタを前面に配置した撮像素子を用いるため、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０１２６】
なお、上述した第１の実施の形態では、撮像素子としてベイヤー型原色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、図１３（ａ）に示される色差線順次型補色フィルタを用いることも可能であるし、二板，三板撮像素子の利用も可能である。
【０１２７】
図１３（ａ）は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、マゼンタ(Mg)、緑(G)、イエロー(Ye)、シアン(Cy)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。色差線順次型補色フィルタの場合、分離抽出部111は、2×2画素単位で輝度信号Yと色信号Cb、Crを算出する。例えば、Mg00、G10、Ye01、Cy11の2×2画素に関しては、(17)式に示されるように、輝度信号Y00と色信号Cb00、Cr00が算出される。
【０１２８】
【数１７】
【０１２９】
また、ノイズ低減処理の対象となる領域としては、図１３（ｂ）に示されるように、輝度信号Yと色信号Cb、Crの組に関して、2×2画素を用いる。
【０１３０】
なお、上記実施の形態では、代表色相算出部112での代表的色相値Hの算出時に、(2)式に示される色信号の平均を、代表輝度算出部113での代表的輝度値Lの算出時に、(3)式に示される輝度信号の平均を用いる構成となっていたが、このような構成に限定される必要はない。例えば、ローパスフィルタ処理による低周波成分を使用する構成や、バイラテラルフィルタ（Bilateral filter）のような適用的なフィルタ処理を使用する構成も可能である。この場合、代表的色相値Hおよび代表的輝度値Lの算出精度および安定性が向上し、高精度な色およぶ輝度のノイズ量の推定が可能となる。
【０１３１】
また、上記実施の形態では、１枚の映像信号に対する処理を説明したが、上記処理を連続的に行うことで動画像処理にも適応することが可能である。
【０１３２】
さらに、上述した第１の実施の形態では、ノイズ低減処理を行う構成がレンズ系100、絞り101、CCD102、温度センサ103、増幅器104、A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。例えば、図１４に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
【０１３３】
図１４は、第１図に示す構成から、レンズ系100、絞り101、CCD102、温度センサ103、増幅器104,A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、AFモータ110を省略し、入力部600、ヘッダ情報解析部601を追加した形態となっている。基本構成は図１に示す構成と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１３４】
入力部600は、バッファ106およびヘッダ情報解析部601へ接続している。制御部121は、入力部600、ヘッダ情報解析部601と双方向に接続している。マウス、キーボードなどの外部I/F部122を介して再生操作を開始することで、記録媒体に保存された映像信号およびヘッダ情報が入力部600から読み込まれる。
【０１３５】
入力部600からの映像信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部601へ転送される。ヘッダ情報解析部601は、ヘッダ情報から撮影時の情報を抽出して制御部121へ転送する。以後の処理は、図１に示す構成で行われる処理と同等である。
【０１３６】
また、上記実施の形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの映像信号を未処理のままのRawデータとして、制御部121からCCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０１３７】
図１５Ａは、上記信号処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。以下、各ステップの処理について説明する。
【０１３８】
ステップS1では、映像信号および色フィルタや撮影時の露光条件などのヘッダ情報を読み込んで、ステップS2に進む。ステップS2では、映像信号を(1)式に示されるように輝度信号と色信号に分離し、所定サイズ、例えば2×2画素の領域単位で順次抽出して、ステップS3に進む。ステップS3では、(2)式に示される色信号の平均を求め、表１に示される色相域へ分類することで、代表的色相値を求める。
【０１３９】
ステップS4では、(3)式に示される輝度信号の平均を求めることによって代表的輝度値を求めて、ステップS5に進む。ステップS5では、色ノイズ量の推定処理を行う。この処理は、後述する図１５Ｂのフローに従って実行される。
【０１４０】
ステップS6では、色ノイズの低減処理を行う。この処理は、後述する図１５Ｃのフローに従って実行される。
【０１４１】
ステップS7では、輝度ノイズ量の推定処理を行う。この処理は、後述する図１５Ｄのフローに従って実行される。
【０１４２】
ステップS8では、輝度ノイズの低減処理を行う。この処理は、後述する図１５Ｅのフローに従って実行される。
【０１４３】
ステップS9では、ノイズ低減処理がなされた色信号および輝度信号を出力して、ステップS10に進む。ステップS10では、１枚の映像信号における全ての領域に対する処理が完了したか否かを判断し、完了していないと判断した場合はステップS2へ進み、完了したと判断した場合はステップS11へ進む。
【０１４４】
ステップS11では、(4)式に示されるように、撮像系本来の映像信号へ変換し、公知の強調処理，階調処理，圧縮処理等を行って、ステップS12に進む。ステップS12では、処理が完了した映像信号を出力して、終了する。
【０１４５】
図１５Ｂは、図１５ＡのステップS5において行われる色ノイズ推定処理に関するフローである。以下、各ステップの処理について説明する。
【０１４６】
ステップS20では、読み込まれたヘッダ情報から温度、ゲインなどの情報を設定して、ステップS21に進む。ただし、ヘッダ情報に必要なパラメータが存在しない場合は、所定の標準値を割り当てる。ステップS21では、全ての色相域に対する複数の基準色ノイズモデルおよび補正係数を入力して、ステップS22に進む。
【０１４７】
ステップS22では、代表的色相値に基づき、基準色ノイズモデルおよび補正係数を選択して、ステップS23に進む。ステップS23では、代表的輝度値が属する基準色ノイズモデルの区間の座標データおよび対応する補正係数を選択して、ステップS24に進む。ステップS24では、(8)式に示される補間処理にて基準色ノイズ量を求めて、ステップS25に進む。
【０１４８】
ステップS25では、(9)式に示される補正処理にて色ノイズ量を求めて、ステップS26に進む。ステップS26では、色ノイズ量を出力して終了する。
【０１４９】
図１５Ｃは、図１５ＡのステップS6において行われる色ノイズ低減処理に関するフローである。以下、各ステップの処理について説明する。
【０１５０】
ステップS30では、図１５ＡのステップS5で推定された色ノイズ量を入力して、ステップS31に進む。ステップS31では、(2)式に示される色信号の平均を算出して、ステップS32に進む。ステップS32では、(10)式、(11)式に示されるコアリング処理を行って、ステップS33に進む。ステップS33では、色ノイズ低減処理がなされた色信号を出力して終了する。
【０１５１】
図１５Ｄは、図１５ＡのステップS7において行われる輝度ノイズ推定処理に関するフローである。以下、各ステップの処理について説明する。
【０１５２】
ステップS40では、読み込まれたヘッダ情報から温度、ゲインなどの情報を設定する。ただし、ヘッダ情報に必要なパラメータが存在しない場合は、所定の標準値を割り当てる。ステップS41では、基準輝度ノイズモデルおよび補正係数を入力して、ステップS42に進む。
【０１５３】
ステップS42では、代表的輝度値が属する基準輝度ノイズモデルの区間の座標データおよび対応する補正係数を選択して、ステップS43に進む。ステップS43では、(14)式に示される補間処理にて基準輝度ノイズ量を求めて、ステップS44に進む。ステップS44では、(15)式に示される補正処理にて輝度ノイズ量を求めて、ステップS45に進む。ステップS45では、輝度ノイズ量を出力して終了する。
【０１５４】
図１５Ｅは、図１５ＡのステップS8において行われる輝度ノイズ低減処理に関するフローである。以下、各ステップの処理について説明する。
【０１５５】
ステップS50では、図１５ＡのステップS7で推定された輝度ノイズ量を入力して、ステップS51に進む。ステップS51では、代表的輝度値を入力して、ステップS52に進む。ステップS52では、(16)式に示されるコアリング処理を行って、ステップS53に進む。ステップS53では、輝度ノイズ低減処理がなされた輝度信号を出力して終了する。
【０１５６】
このように、信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０１５７】
−第２の実施の形態−
続いて、本発明の第２の実施の形態について説明する。
【０１５８】
図１６は、第２の実施の形態の構成図である。本実施の形態は、図１に示す第１の実施の形態における構成に、差分算出部700が追加され、色ノイズ推定部114が色ノイズ推定部701へ、色ノイズ低減部115が色ノイズ低減部702へ、輝度ノイズ低減部117が輝度ノイズ低減部703へ置換された構成になっている。基本構成は第１の実施の形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
【０１５９】
分離抽出部111は、代表色相算出部112、代表輝度算出部113、差分算出部700、色ノイズ低減部702、輝度ノイズ低減部703へ接続されている。代表色相算出部112は、色ノイズ推定部701、色ノイズ低減部702を介して、バッファ118へ接続されている。
【０１６０】
代表輝度算出部113は、色ノイズ推定部701、輝度ノイズ推定部116へ接続されている。輝度ノイズ推定部116は、輝度ノイズ低減部703を介して、バッファ118へ接続されている。バッファ118は、信号処理部119および差分算出部700へ接続されている。差分算出部700は、色ノイズ低減部702および輝度ノイズ低減部703へ接続されている。制御部121は、差分算出部700、色ノイズ推定部701、色ノイズ低減部702、輝度ノイズ低減部703と双方向に接続されている。
【０１６１】
続いて信号処理の内容について説明する。基本的に第１の実施の形態と同等であるので、異なる部分のみ説明する。
【０１６２】
図１６を参照しながら、映像信号の流れを説明する。外部I/F部122を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100、絞り101、CCD102を介して撮影された映像信号は、アナログ信号として所定時間間隔で連続的に出力される。
【０１６３】
なお、本実施の形態においては、また、CCD102としては、色差線順次型補色フィルタを前面に配置した単板CCDを想定する。図１７（ａ）は、色差線順次型補色フィルタの構成を示している。色差線順次方式は2×2画素を基本単位とし、シアン(Cy)、マゼンタ(Mg)、イエロー(Ye)、緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。
【０１６４】
CCD102からの映像信号は、図１７（ａ）に示されるように上下のラインが加算され、偶数ラインと奇数ラインに分離した２つのフィールド信号（偶数フィールド信号と奇数フィールド信号）から構成される。また、上記所定時間間隔として1/60秒（以後は１フィールド時間と表記する）を想定するが、1/60秒に限定されることはない。偶数および奇数フィールド信号を合成することで１枚の映像信号が得られるが、１枚の映像信号をフレーム信号と表記する。上記フレーム信号は、1/30秒間隔で合成されることになる。
【０１６５】
CCD102からのアナログ信号は増幅器104にて所定量増幅され、A/Dコンバータ105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、２フィールド信号、すなわち１フレーム信号を記録可能で、撮影にともない順次上書きされることになる。バッファ106内のフレーム信号は、制御部121の制御に基づき、所定のフレーム時間間隔で間欠的にプリホワイトバランス調整部107および測光評価部108および合焦点検出部109へ転送される。
【０１６６】
分離抽出部111は、制御部121の制御に基づき、偶数および奇数フィールド信号を(17)式に示されるように、輝度信号Yと色信号Cb、Crへ変換する。その後、以後のノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる領域を順次抽出する。本実施の形態においては、領域として5×5画素を想定する。ただし、輝度信号Yは5×5画素全てに存在するが、色信号Cb、Crは5×3画素または5×2画素となる。
【０１６７】
図１７（ｂ）、（ｃ）は、偶数および奇数フィールド信号から抽出された領域の一例をそれぞれ示している。図１７（ｂ）は、偶数フィールド信号から輝度信号Yと色信号Cb、Crを抽出した例を示している。色差信号Crは5×3画素、色差信号Cbは5×2画素となる。この場合、ノイズ低減処理の対象となる注目画素は輝度信号Yと色信号Crで、色信号Cbは対象外となる。なお、注目画素位置が異なれば、上記とは逆に色差信号Cbが存在し、色差信号Crが存在しない例も発生する。
【０１６８】
図１７（ｃ）は、奇数フィールド信号から輝度信号Yと色差信号Cb、Crを抽出した例を示す。色差信号Cbは5×3画素、色差信号Crは5×2画素となる。この場合、ノイズ低減処理の対象となる注目画素は輝度信号Yと色信号Cbで、色信号Crは対象外となる。なお、注目画素位置が異なれば、上記とは逆に色差信号Crが存在し、色差信号Cbが存在しない例も発生する。
【０１６９】
以降は、時刻Tにおける領域内の輝度信号をYTij、色信号をCbTik、CrTil（iはX座標でi=0〜4、jはY座標で偶数フィールド信号の場合はｊ=0、2、4、6、8、奇数フィールド信号の場合はj=1、3、5、7、9、kはY座標で偶数フィールド信号の場合はk=0、4、8またはk=2、6、奇数フィールド信号の場合はk=3、7またはk=1、5、9、lはY座標で偶数フィールド信号の場合はl=2、6またはl=0、4、8、奇数フィールド信号の場合はl=1、5、9またはl=3、7）で表記する。
【０１７０】
注目画素値は、偶数フィールド信号の場合、輝度信号がYT24、色信号がCｒT24またはCbT24、奇数フィールド信号の場合、輝度信号がYT25、色信号がCｒT25またはCbT25となる。以後の説明は、図１７（ｂ）に示されるような偶数フィールド信号かつ注目画素がYT24、CｒT24に関して行うが、偶数フィールド信号かつ注目画素がYT24、CbT24や奇数フィールド信号に関しても領域の構成が異なるだけで同様に成立する。
【０１７１】
領域内の輝度信号YTijは、代表輝度算出部113、輝度ノイズ低減部703へ、色信号CbTik,CrTilは代表色相算出部112、色ノイズ低減部702へ転送される。代表色相算出部112は、制御部121の制御に基づき、色信号CbTik、CrTilの平均AV_Cb、AV_Crを求める。さらに、上記色信号の平均AV_Cb,AV_Crから、(18)式によって、領域の色相域θを求める。
【０１７２】
【数１８】
【０１７３】
本実施の形態においては、代表的色相値として、後述する図１９（ａ）に示される６つの色相域のいずれかを想定し、(18)式で得られた色相域θが上記６つの色相域のいずれに属するかを判断することで、領域の代表的色相値Hを得る。代表的色相値Hは、色ノイズ推定部701へ転送される。
【０１７４】
一方、代表輝度算出部113は、第１の実施の形態と同様に、輝度信号YTijの平均AV_Yを求め、代表的輝度値Lを得る。代表的輝度値Lは、色ノイズ推定部701、輝度ノイズ推定部116へ転送される。色ノイズ推定部701は、制御部121の制御に基づき、代表色相算出部112からの代表的色相値Hおよび代表輝度算出部113からの代表的輝度値Lに基づき、色ノイズ量CNs (s＝Cb、Cr)を推定し、色ノイズ低減部702へ転送する。
【０１７５】
なお、本説明では、図１７（ｂ）に示される偶数フィールド信号かつ注目画素がYT24、CｒT24を想定しているが、この場合は色ノイズ量CNcrのみが推定される。
【０１７６】
輝度ノイズ推定部116は、制御部121の制御に基づき、代表輝度算出部113からの代表的輝度値Lに基づき輝度ノイズ量LNを推定し、輝度ノイズ低減部703へ転送する。
【０１７７】
差分算出部700は、制御部121の制御に基づき、分離抽出部111から領域内の注目画素を、バッファ118から２フィールド前のノイズ低減処理がなされた領域内の注目画素を読み込み、差分輝度信号ΔY、差分色信号ΔCb、ΔCrを算出する。ここでは、偶数フィールド信号かつ注目画素YT24、CｒT24を想定しているため、分離抽出部111からYT24、CrT24を、バッファ118からY'T-224、Cr'T-224を読み込む。その後、(19)式より、両者の差分輝度信号ΔY24および差分色信号ΔCr24を算出する。
【０１７８】
【数１９】
【０１７９】
差分輝度信号ΔYは輝度ノイズ低減部703へ、差分色信号ΔCbまたはΔCrは色ノイズ低減部702へ転送される。
【０１８０】
色ノイズ低減部702は、制御部121の制御に基づき、色ノイズ推定部701からの色ノイズ量および差分算出部700からの色信号の差分信号に基づいて、分離抽出部111からの領域の注目画素の色信号に対して色ノイズ低減処理を行う。色ノイズ低減処理後の色信号は、バッファ118へ転送され保存される。
【０１８１】
輝度ノイズ低減部703は、制御部121の制御に基づき、輝度ノイズ推定部116からの輝度ノイズ量および差分算出部700からの輝度信号の差分信号に基づいて、分離抽出部111からの領域の注目画素の輝度信号に対して輝度ノイズ低減処理を行う。輝度ノイズ低減処理後の輝度信号は、バッファ118へ転送され保存される。
【０１８２】
バッファ118は、ノイズ低減処理がなされた２フィールド信号、すなわち１フレーム信号を記録可能で、撮影にともない順次上書きされることを想定する。
【０１８３】
なお、上述した分離抽出部111、代表色相算出部112、代表輝度算出部113、色ノイズ推定部701、色ノイズ低減部702、輝度ノイズ推定部116、輝度ノイズ低減部703、差分算出部700における処理は、制御部121の制御に基づき、領域単位で同期して行われる。
【０１８４】
全領域に対する処理が完了した時点で、バッファ118には、撮影された２フィールド信号に関する輝度ノイズ低減処理後の輝度信号Y'および色ノイズ低減処理後の色信号Cb'、Cr'が存在することになる。信号処理部119は、制御部121の制御に基づき、上記ノイズ低減処理がなされたY'、Cb'、Cr'信号に対して、公知の同時化処理、強調処理、階調処理、圧縮処理などを行い、出力部120へ転送する。出力部120は、磁気ディスクやメモリカードなどの記録媒体に映像信号を記録保存する。
【０１８５】
図１８は、色ノイズ推定部701の構成の一例を示すもので、図４に示す色ノイズ推定部114の構成からモデル選択部200が省略され、補正係数用ROM800、補正係数選択部801、補正係数乗算部802が追加された構成になっている。基本構成は、図４に示す色ノイズ推定部114と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１８６】
代表輝度算出部113、パラメータ用ROM201、ゲイン算出部202、標準値付与部203は、パラメータ選択部204へ接続している。代表色相算出部112および補正係数用ROM800は、補正係数選択部801へ接続している。補正係数選択部801およびノイズ補正部206は、補正係数乗算部802へ接続している。補正係数乗算部802は、色ノイズ低減部702へ接続している。制御部121は、補正係数選択部801、補正係数乗算部802と双方向に接続されている。
【０１８７】
パラメータ選択部204は、制御部121の制御に基づき、代表輝度算出部113から代表的輝度値Lを読み込む。ゲイン算出部202は、制御部121から転送されるISO感度および露光条件に関する情報に基づき、増幅器104における増幅量を求め、パラメータ選択部204へ転送する。制御部121は、温度センサ103からCCD102の温度情報を得て、これをパラメータ選択部204へ転送する。
【０１８８】
パラメータ選択部204は、代表輝度算出部113からの代表的輝度値Lから信号レベルlを、ゲイン算出部202からのゲインの情報からゲインgを、制御部121からの温度情報から温度tを設定する。次に、パラメータ用ROM201から基準色ノイズモデルおよび補正係数を読み込む。ここで使用される基準色ノイズモデルおよび補正係数は、図５に示す第１の実施の形態における基準色ノイズモデルおよび補正係数と若干異なる形態を想定するため、以下で説明する。
【０１８９】
図５においては、複数の色相域ごとに基準色ノイズモデルが設定され、代表的色相値Hを用いて選択する形態となっていた。以下では、図１９（ａ）、図１９（ｂ）に示されるように、全ての色相域に対して共通に使われる単一の基準色ノイズモデルを用いる形態を使用する。
【０１９０】
図１９（ａ）は、横軸を色信号Cr、縦軸を色信号CbとするCrCb平面における赤(R)、マゼンタ(Ma)、青(B)、シアン(Cy)、緑(G)、黄(Ye)の各色相域を示す。第２の実施の形態においては、色相域として、図１９（ａ）に示される６つの色相域を想定する。
【０１９１】
なお、上記のような６つの色相域に限定される必要はなく、低コスト化を優先するため赤(R)、青(B)、緑(G)の３つの色相域を使用する構成や、高精度化を優先させるため、上記６つの色相域の中間の色相域を加えた12の色相域を使用する構成や、肌色、空色、植物の緑色などの記憶色に関する色相域を使用する構成など、任意の構成が可能である。
【０１９２】
上記６つの色相域に関して、図５Ｂ、(7)式に示されるように、個々の色ノイズモデルが存在する。これらの全ての色ノイズモデルから最大の色ノイズ量を与える色ノイズモデルを基準色ノイズモデルとして選択し、これを所定数の折れ線で近似する。
【０１９３】
図１９（ｂ）は、選択された基準色ノイズモデルの折れ線の変曲点を示す。変曲点は、信号レベルLと色ノイズ量CNからなる座標データ(Ln, CNn)で表す。ここで、nは変曲点の数を示す。また、上記基準色ノイズモデルから、基準色ノイズモデルが属する色相域に関して、色信号s、ゲインg、温度tが異なる他の色ノイズモデルを導出するための補正係数ksgtも用意される。補正係数ksgtは、各色ノイズモデルと基準色ノイズモデル間から最小自乗法により算出される。基準色ノイズモデルから他の色ノイズモデルを導出するには、基準色ノイズモデルに、上記補正係数ksgtを乗算することで行われる。
【０１９４】
さらに、図１９（ｂ）に示されるように、基準色ノイズモデルが属する色相域から他の色相域の色ノイズモデルを生成するための補正係数kθも用意される。補正係数kθは、補正係数ksgtと同様に最小自乗法により算出され、乗算することで変換が行われる。
【０１９５】
パラメータ用ROM201は、上記基準色ノイズモデルの座標データ(Ln, CNn)および補正係数ksgtを記録している。また、補正係数用ROM800は、上記補正係数kθを記録している。
【０１９６】
パラメータ選択部204は、信号レベルlが基準色ノイズモデルのどの区間に属するかを探索し、区間の座標データをパラメータ用ROM201から読み込む。ここでは、(Ln, CNn)と(Ln+1, CNn+1)間の区間に属するとする。また、色信号s、ゲインg、温度tから対応する補正係数ksgtを読み込む。基準色ノイズモデルの区間はノイズ補間部205へ、補正係数ksgtはノイズ補正部206へ転送される。
【０１９７】
ノイズ補間部205は、制御部121の制御に基づき、パラメータ選択部204からの信号レベルlおよび区間の座標データ(Ln, CNn)と(Ln+1, CNn+1)から(20)式に基づき、基準色ノイズモデルにおける基準色ノイズ量CNlを算出し、ノイズ補正部206へ転送する。
【０１９８】
【数２０】
【０１９９】
ノイズ補正部206は、制御部121の制御に基づき、パラメータ選択部204からの補正係数ksgtおよびノイズ補間部205からの基準色ノイズ量CNlから、(21)式に示される色ノイズ量SCNsを算出する。この色ノイズ量SCNsは、基準色ノイズモデルが属する色相域での色ノイズ量となる。
【０２００】
【数２１】
【０２０１】
補正係数選択部801は、制御部121の制御に基づき、代表色相算出部112から領域の代表的色相値Hを読み込み、補正係数用ROM800から代表的色相値Hに対応する補正係数kθを読み込む。補正係数kθは、補正係数乗算部802へ転送される。
【０２０２】
補正係数乗算部802は、制御部121の制御に基づき、(22)式に示すように、ノイズ補正部206からの色ノイズ量SCNsに、補正係数選択部801からの補正係数kθを乗算することで、色ノイズ量CNsを算出する。
【０２０３】
【数２２】
【０２０４】
算出された色ノイズ量CNsは、色ノイズ低減部702へ転送される。
【０２０５】
なお、上記色ノイズ量算出の過程において、温度t、ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報（所定の標準値）を標準値付与部203に記録させておき、温度t、ゲインgなどの情報を算出する過程を省略する構成も可能である。
【０２０６】
また、第１の実施の形態における図４に示される色ノイズ推定部114と同様に、複数の色相域ごとに基準色ノイズモデルが設定され、代表的色相値Hを用いて選択する形態を使用することも可能である。さらに、第１の実施の形態における図６に示される色ノイズ推定部114と同様に、ルックアップテーブルを使用する構成も可能である。逆に、第１の実施の形態に、第２の実施の形態の色ノイズ推定部701を適用する構成も可能である。
【０２０７】
続いて、色ノイズ低減部702について説明する。図２０は、色ノイズ低減部702の構成の一例を示すもので、上限値設定部900、バッファ901、画素抽出部902、減算部903からなる。分離抽出部111は画素抽出部902へ、画素抽出部902は減算部903へ接続している。差分算出部700および色ノイズ推定部701は、上限値設定部900へ接続している。上限値設定部900は、バッファ901を介して減算部903へ接続している。減算部903は、バッファ118へ接続している。制御部121は、上限値設定部900、画素抽出部902、減算部903と双方向に接続されている。
【０２０８】
以後の説明は、図１７（ｂ）に示されるような偶数フィールド信号かつ注目画素YT24、CｒT24に関して行うが、偶数フィールド信号かつ注目画素YT24、CbT24や、奇数フィールド信号に関しても、領域の構成が異なるだけで同様に成立する。
【０２０９】
上限値設定部900は、制御部121の制御に基づき、差分算出部700から(19)式に示される差分色信号ΔCr24を、色ノイズ推定部701から色ノイズ量CNcrを読み込み、両者の比較を行う。上記比較は、差分色信号ΔCr24の絶対値が色ノイズ量CNcrに含まれるか否かを判断するもので、ΔCr24≧CNcrまたは−CNcr≧ΔCr24の場合はノイズ範囲外、CNcr＞ΔCr24＞−CNcrの場合はノイズ範囲内とする。上記比較結果に基づき差分色信号ΔCr24に補正を行うことで、(23)式に示すように、第２の色ノイズ量CN2crを求める。
【０２１０】
【数２３】
【０２１１】
(23)式は、差分色信号が色ノイズ量を上回る（差分色信号が負の場合は下回る）場合に色ノイズ量を上限とする制約を設けることを意味する。これにより、差分色信号から動き成分が除去され、色ノイズ成分のみが得られることになる。上記第２の色ノイズ量CN2crは、バッファ901へ転送され記録される。
【０２１２】
一方、画素抽出部902は、制御部121の制御に基づき、分離抽出部111から注目画素CｒT24を読み込み減算部903へ転送する。減算部903は、制御部121の制御に基づき、画素抽出部902からの注目画素CｒT24を、バッファ901から第２の色ノイズ量CN2crを読み込み、(24)式に示すように、両者間で減算処理を行うことで色ノイズ低減処理を行う。
【０２１３】
【数２４】
【０２１４】
色ノイズ低減処理がなされた注目画素Cr'T24は、バッファ118へ転送される。
【０２１５】
なお、上記構成では、差分信号に上限値設定を行うことで第２の色ノイズ量を求め、減算処理により色ノイズ低減処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、差分信号を零値と置換することで第２の色ノイズ量を求め、コアリング処理により色ノイズ低減処理を行う構成も可能である。
【０２１６】
図２１は、色ノイズ低減部702の別構成の一例を示している。色ノイズ低減部702は、置換部904、平均色算出部905、コアリング部906、バッファ907からなる。分離抽出部111は、平均色算出部905およびコアリング部906へ接続している。平均色算出部905は、コアリング部906へ接続している。差分算出部700および色ノイズ推定部701は、置換部904へ接続している。置換部904は、バッファ907を介してコアリング部906へ接続している。コアリング部906は、バッファ118へ接続している。制御部121は、置換部904、平均色算出部905、コアリング部906と双方向に接続されている。
【０２１７】
平均色算出部905は、制御部121の制御に基づき、分離抽出部111から領域内の色信号CrTilを読み込み、その平均値AV_Crを算出する。算出された平均値AV_Crは、コアリング部906へ転送される。
【０２１８】
置換部904は、制御部121の制御に基づき、差分算出部700から(19)式に示される差分色信号ΔCr24を、色ノイズ推定部701から色ノイズ量CNcrを読み込み、両者の比較を行う。上記比較は、差分色信号ΔCr24の絶対値が色ノイズ量CNcrに含まれるか否かを判断するもので、ΔCr24≧CNcrまたは−CNcr≧ΔCr24の場合はノイズ範囲外、CNcr＞ΔCr24＞−CNcrの場合はノイズ範囲内とする。上記比較結果に基づき差分色信号ΔCr24に補正を行うことで、(25)式に示すように、第２の色ノイズ量CN2crを求める。
【０２１９】
【数２５】
【０２２０】
後段のコアリング部906は、注目画素CrT24と第２の色ノイズ量CN2cr間にてコアリング処理を行うため、(25)式に示される置換処理は、動領域において何も処理を行わないことを意味する。一般に、動領域では視覚的に高周波域の識別能が低下するため、ノイズ成分が目立ちにくく、上記置換処理においても対応することができる。上記置換処理は、図２０に示す上限値設定処理よりも実装が容易であり、システムの低コスト化が可能となる。
【０２２１】
上記第２のノイズ量CN2crは、バッファ907へ転送され記録される。コアリング部906は、制御部121の制御に基づき、分離抽出部111から注目画素CrT24を、平均色算出部905から色信号の平均値AV_Crを、バッファ907から第２のノイズ量CN2crを読み込み、(26)式に示すように、コアリング処理を行うことで色ノイズ低減処理を行う。
【０２２２】
【数２６】
【０２２３】
色ノイズ低減処理がなされた注目画素Cr'T24は、バッファ118へ転送される。
【０２２４】
図２２は、輝度ノイズ低減部703の構成の一例を示すもので、上限値設定部1000、バッファ1001、画素抽出部1002、減算部1003からなる。分離抽出部111は画素抽出部1002へ、画素抽出部1002は減算部1003へ接続している。差分算出部700および輝度ノイズ推定部116は、上限値設定部1000へ接続している。上限値設定部1000は、バッファ1001を介して減算部1003へ接続している。減算部1003は、バッファ118へ接続している。制御部121は、上限値設定部1000、画素抽出部1002、減算部1003と双方向に接続されている。
【０２２５】
以後の説明は、図１７（ｂ）に示されるような偶数フィールド信号かつ注目画素YT24、CｒT24に関して行うが、偶数フィールド信号かつ注目画素YT24、CbT24や奇数フィールド信号に関しても、領域の構成が異なるだけで同様に成立する。
【０２２６】
上限値設定部1000は、制御部121の制御に基づき、差分算出部700から(19)式に示される差分輝度信号ΔY24を、輝度ノイズ推定部116から輝度ノイズ量LNを読み込み、両者の比較を行う。上記比較は、差分輝度信号ΔY24の絶対値が輝度ノイズ量LNに含まれるか否かを判断するもので、ΔY24≧LNまたは−LN≧ΔY24の場合はノイズ範囲外、LN＞ΔY24＞−LNの場合はノイズ範囲内とする。上記比較結果に基づき差分輝度信号ΔY24に補正を行うことで、(27)式に示すように、第２の輝度ノイズ量LN2を求める。
【０２２７】
【数２７】
【０２２８】
(27)式は、差分輝度信号が輝度ノイズ量を上回る（差分輝度信号が負の場合は下回る）場合に、輝度ノイズ量を上限とする制約を設けることを意味する。これにより、差分輝度信号から動き成分が除去され、輝度ノイズ成分のみが得られることになる。上記第２の輝度ノイズ量LN2は、バッファ1001へ転送され記録される。
【０２２９】
一方、画素抽出部1002は、制御部121の制御に基づき、分離抽出部111から注目画素YT24を読み込み減算部1003へ転送する。減算部1003は、制御部121の制御に基づき、画素抽出部1002からの注目画素YT24を、バッファ1001から第２の輝度ノイズ量LN2を読み込み、(28)式に示すように、両者間で減算処理を行うことで輝度ノイズ低減処理を行う。
【０２３０】
【数２８】
【０２３１】
輝度ノイズ低減処理がなされた注目画素Y'T24は、バッファ118へ転送される。
【０２３２】
なお、上記構成では、差分信号に上限値設定を行うことで第２の輝度ノイズ量を求め、減算処理により輝度ノイズ低減処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、差分信号を零値と置換することで第２の輝度ノイズ量を求め、コアリング処理により輝度ノイズ低減処理を行う構成も可能である。
【０２３３】
図２３は、輝度ノイズ低減部703の別構成の一例を示す図である。輝度ノイズ低減部703は、置換部1004、コアリング部1005、バッファ1006からなる。なお、図２３に示す輝度ノイズ低減部703の構成では、図１６に示される代表輝度算出部113が接続される形態となっている。
【０２３４】
分離抽出部111および代表輝度算出部113は、コアリング部1005へ接続している。差分算出部700および輝度ノイズ推定部116は、置換部1004へ接続している。置換部1004は、バッファ1006を介してコアリング部1005へ接続している。コアリング部1005は、バッファ118へ接続している。制御部121は、置換部1004、コアリング部1005と双方向に接続されている。
【０２３５】
置換部1004は、制御部121の制御に基づき、差分算出部700から(19)式に示される差分輝度信号ΔY24を、輝度ノイズ推定部116から輝度ノイズ量LNを読み込み、両者の比較を行う。上記比較は、差分輝度信号ΔY24の絶対値が輝度ノイズ量LNに含まれるか否かを判断するもので、ΔY24≧LNまたは−LN≧ΔY24の場合はノイズ範囲外、LN＞ΔY24＞−LNの場合はノイズ範囲内とする。上記比較結果に基づき、(29)式に示すように、差分輝度信号ΔY24に補正を行うことで、第２の輝度ノイズ量LN2を求める。
【０２３６】
【数２９】
【０２３７】
後段のコアリング部1005は、注目画素YT24と第２の輝度ノイズ量LN2間にてコアリング処理を行うため、(29)式に示される置換処理は、動領域において何も処理を行わないことを意味する。一般に動領域では、視覚的に高周波域の識別能が低下するため、ノイズ成分が目立ちにくく、上記置換処理においても対応することができる。上記置換処理は、図２２に示す上限値設定処理よりも実装が容易であり、システムの低コスト化が可能となる。求められた第２の輝度ノイズ量LN2は、バッファ1006へ転送され記録される。
【０２３８】
コアリング部1005は、制御部121の制御に基づき、分離抽出部111から注目画素YT24を、代表輝度算出部113から代表的輝度値Lを、バッファ1006から第２の輝度ノイズ量LN2を読み込み、(30)式に示すように、コアリング処理を行うことで輝度ノイズ低減処理を行う。
【０２３９】
【数３０】
【０２４０】
輝度ノイズ低減処理がなされた注目画素Y'T24は、バッファ118へ転送される。
【０２４１】
上述した第２の実施の形態の構成により、時系列的に取り込まれた映像信号に対して所定領域単位に代表的輝度値および代表的色相値を求め、代表的輝度値および代表的色相値に基づき適用的に色ノイズ量を推定し、ノイズ低減処理がなされた過去の領域の色信号から求めた差分色信号に対して推定した色ノイズ量から動き成分を除去することで、第２の色ノイズ量を求めるシステムが提供できる。これにより、高精度な色ノイズ低減処理を行うことが可能となり、高品位な映像信号が得られる。
【０２４２】
上記色ノイズ量の推定処理は、撮影ごとに異なる条件に動的に適応し、かつ色相域ごとに適切な補正を行うため、高精度かつ安定的な色ノイズ量の推定が可能となる。また、色ノイズ量の算出に補間演算を使用する場合は、補間演算は実装が容易であり、システムの低コスト化が可能となる。一方、色ノイズ量の算出にルックアップテーブルを使用する場合は、高速な色ノイズ量の推定が可能となる。
【０２４３】
差分色信号から動き成分を除去する際に、色ノイズ量に基づく上限値の設定処理を用いる場合は、実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。また、設定処理は制御の簡略化が可能となり、操作性が向上する。一方、零値への置換処理を用いる場合は、実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。
【０２４４】
色ノイズ低減処理に減算処理を用いる場合は、実装が容易で、システム全体の高速化および低コスト化を可能とする。一方、色ノイズ低減処理にコアリング処理を用いる場合は、色ノイズ成分のみを重点的に低減でき、かつエッジなどの色ノイズ以外の画素との連続性が確保できるため、高品位な映像信号が得られる。
【０２４５】
代表的輝度値に基づき適用的に輝度ノイズ量を推定し、ノイズ低減処理がなされた過去の領域の輝度信号から求めた差分輝度信号に対して推定した輝度ノイズ量から動き成分を除去することにより第２の輝度ノイズ量を求めることで、高精度な輝度ノイズ低減処理を行うことが可能となり、高品位な映像信号が得られる。上記輝度ノイズ量の推定処理は、撮影ごとに異なる条件に動的に適応し、かつ基準輝度ノイズモデルを用いるため、高精度かつ安定的な輝度ノイズ量の推定が可能となる。
【０２４６】
輝度ノイズ量の算出に補間演算を使用する場合は、補間演算は実装が容易であり、システムの低コスト化が可能となる。一方、輝度ノイズ量の算出にルックアップテーブルを使用する場合は、高速な輝度ノイズ量の推定が可能となる。
【０２４７】
差分輝度信号から動き成分を除去する際に、輝度ノイズ量に基づく上限値の設定処理を用いる場合は、実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。また、設定処理は制御の簡略化が可能となり、操作性が向上する。一方、零値への置換処理を用いる場合は、実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。
【０２４８】
輝度ノイズ低減処理に減算処理を用いる場合は、実装が容易で、システム全体の高速化および低コスト化を可能とする。一方、輝度ノイズ低減処理にコアリング処理を用いる場合は、輝度ノイズ成分のみを重点的に低減でき、かつエッジなどの輝度ノイズ以外の画素との連続性が確保できるため、高品位な映像信号が得られる。
【０２４９】
また、色差線順次型補色フィルタを前面に配置した撮像素子を用いるため、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０２５０】
なお、上述した第２の実施の形態では、撮像素子として色差線順次型補色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、第１の実施の形態と同様に、ベイヤー型原色フィルタを用いる構成も可能である。この場合、欠落するRGB信号を公知の補間処理により補い、(31)式に基づき、輝度信号と色信号を求める。
【０２５１】
【数３１】
【０２５２】
この場合、フレーム信号のみでフィールド信号が存在しないことになる。差分算出部700は、1フレーム前の信号から差分信号を求める構成となる。
【０２５３】
また、第１の実施の形態における図１４に示される形態と同様に、別体の撮像部で撮像された時系列的に連続する複数の映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
【０２５４】
さらに、上述した実施の形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの時系列的に連続する複数の映像信号を未処理のままのRawデータとして、制御部121からCCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０２５５】
図２４Ａは、上記信号処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。以下、各ステップの処理について説明する。なお、図１５Ａに示す第１の実施の形態における信号処理のフローと同一の処理を行うステップに関しては、同一のステップ番号を割り当てている。
【０２５６】
ステップS1では、複数の映像信号および色フィルタや撮影時の露光条件などのヘッダ情報を読み込んで、ステップS60に進む。ステップS60では、１枚の映像信号、すなわちフレーム信号から、偶数フィールド信号および奇数フィールド信号を順次抽出して、ステップS2に進む。ステップS2では、 (17)式に示されるように、映像信号を輝度信号と色信号に分離し、所定サイズ、例えば5×5画素の領域単位で順次抽出する。
【０２５７】
ステップS3では、(18)式に示される色相域を求め、図１９（ａ）に示される６つの色相域へ分類することで代表的色相値を求めて、ステップS4に進む。ステップS4では、領域の輝度信号の平均を求めることによって、代表的輝度値を求めて、ステップS61に進む。ステップS61では、ノイズ低減処理がなされた過去のフィールド信号、本実施の形態では２フィールド過去のフィールド信号を入力して、ステップS62に進む。
【０２５８】
ステップS62では、現在のフィールド信号とノイズ低減処理がなされた過去のフィールド信号間で、(19)式に示される差分輝度信号および差分色信号を算出して、ステップS63に進む。ステップS63では、色ノイズ量の推定処理を行う。この処理は、後述する図２４Ｂのフローに従って実行される。
【０２５９】
ステップS64では、色ノイズの低減処理を行う。この処理は、後述する図２４Ｃのフローに従って実行される。
【０２６０】
ステップS7では、図１５Ｄに示す第１の実施の形態における輝度ノイズ推定処理と同様に、輝度ノイズ量の推定処理を行って、ステップS65に進む。ステップS65では、輝度ノイズの低減処理を行う。この処理は、後述する図２４Ｄのフローに従って実行される。
【０２６１】
ステップS9では、ノイズ低減処理がなされた色信号および輝度信号を出力して、ステップS10に進む。ステップS10では、１枚の映像信号における全ての領域に対する処理が完了したか否かを判断し、完了していないと判断した場合はステップS2へ進み、完了したと判断した場合はステップS11へ進む。
【０２６２】
ステップS11では、公知の同時化処理、強調処理、階調処理、圧縮処理等を行って、ステップS66に進む。ステップS66では、ノイズ低減処理がなされた偶数フィールド信号および奇数フィールド信号から合成された１枚の映像信号、すなわちフレーム信号を出力して、ステップS67に進む。ステップS67では、全てのフィールド信号に対する処理が完了したか否かを判断し、完了していないと判断した場合はステップS60へ進み、完了したと判断した場合は終了する。
【０２６３】
図２４Ｂは、図２４ＡのステップS63において行われる色ノイズ推定処理に関するフローである。なお、図１５Ｂに示す第１の実施の形態における色ノイズ推定処理のフローと同一の処理を行うステップに関しては、同一のステップ番号を割り当てている。以下、各ステップの処理について説明する。
【０２６４】
ステップS20では、読み込まれたヘッダ情報から温度、ゲインなどの情報を設定する。ただし、ヘッダ情報に必要なパラメータが存在しない場合は、所定の標準値を割り当てる。ステップS21では、基準色ノイズモデルおよび補正係数を入力して、ステップS23に進む。
【０２６５】
ステップS23では、代表的輝度値が属する基準色ノイズモデルの区間の座標データおよび対応する補正係数を選択して、ステップS24に進む。ステップS24では、(20)式に示される補間処理にて基準色ノイズ量を求めて、ステップS25に進む。ステップS25では、(21)式に示される補正処理にて色ノイズ量を求めて、ステップS70に進む。
【０２６６】
ステップS70では、色相域を変換するための補正係数を入力して、ステップS71に進む。ステップS71では、代表的色相値に基づいて、色相域を変換するための補正係数を選択して、ステップS72に進む。Step72では、選択された補正係数を用いて(22)式に示される補正処理にて色ノイズ量を補正して、ステップS26に進む。ステップS26では、補正された色ノイズ量を出力して終了する。
【０２６７】
図２４Ｃは、図２４ＡのステップS64において行われる色ノイズ低減処理に関するフローである。なお、図１５Ｃに示す第１の実施の形態における色ノイズ低減処理のフローと同一の処理を行うステップに関しては、同一のステップ番号を割り当てている。以下、各ステップの処理について説明する。
【０２６８】
ステップS30では、図２４ＡのステップS63において推定された色ノイズ量を入力して、ステップS80に進む。ステップS80では、(19)式に示される差分色信号を入力して、ステップS81に進む。ステップS81では、差分色信号に対して色ノイズ量に基づき、(23)式に示される上限値の設定を行い、第２の色ノイズ量を求める。
【０２６９】
ステップS82では、領域内の注目画素に関して、(24)式に示される第２の色ノイズ量の減算処理を行うことで、色ノイズ低減処理を行い、ステップS33に進む。ステップS33では、色ノイズ低減処理がなされた色信号を出力して終了する。
【０２７０】
図２４Ｄは、図２４ＡのステップS65において行われる輝度ノイズ低減処理に関するフローである。なお、図１５Ｅに示す第１の実施の形態における輝度ノイズ低減処理のフローと同一の処理を行うステップに関しては、同一のステップ番号を割り当てている。以下、各ステップの処理について説明する。
【０２７１】
ステップS50では、図２４ＡのステップS7において推定された輝度ノイズ量を入力して、ステップS90に進む。ステップS90では、(19)式に示される差分輝度信号を入力して、ステップS91に進む。ステップS91では、差分輝度信号に対して輝度ノイズ量に基づき(27)式に示される上限値の設定を行い、第２の輝度ノイズ量を求める。
【０２７２】
ステップS92では、領域内の注目画素に関して(28)式に示される第２の輝度ノイズ量の減算処理を行うことで、輝度ノイズ低減処理を行い、ステップS53に進む。ステップS53では、輝度ノイズ低減処理がなされた輝度信号を出力して終了する。
【０２７３】
このように、信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０２７４】
以上、本発明の各実施の形態について説明したが、上記実施の形態は、本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施の形態の具体的構成に限定する趣旨ではない。また、第１の実施の形態、第２の実施の形態でそれぞれ説明した構成の一部を組み合わせて、別の構成とすることもできる。
【図面の簡単な説明】
【０２７５】
【図１】第１の実施の形態の構成図である。
【図２】ベイヤー型原色フィルタの構成および輝度信号／色信号の分離および領 域の抽出に関する説明図である。
【図３】４つの色相域を説明するための図である。
【図４】色ノイズ推定部の構成図である。
【図５Ａ】信号レベルに対する色ノイズ量の関係を示す図
【図５Ｂ】45°、135°、225°、315°の４つの色相域における色ノイズ量をプロットした図
【図５Ｃ】色ノイズモデルの簡略化を説明するための図
【図５Ｄ】簡易化された色ノイズモデルから、色ノイズ量CNsを算出する方法を示す図
【図６】別構成の色ノイズ推定部の構成図である。
【図７】色ノイズ低減部の構成図である。
【図８】別構成の色ノイズ低減部を説明するための図である。
【図９】輝度ノイズ推定部の構成図である。
【図１０】別構成の輝度ノイズ推定部の構成図である。
【図１１】輝度ノイズ低減部の構成図である。
【図１２】別構成の輝度ノイズ低減部の構成図である。
【図１３】色差線順次型補色フィルタの構成および輝度信号／色信号の分離および領域の抽出に関する説明図である。
【図１４】別構成の第１の実施の形態の構成図である。
【図１５Ａ】第１の実施の形態における信号処理のフローのうち、全体処理のフローである。
【図１５Ｂ】信号処理のフローのうち、色ノイズ推定処理のフローである。
【図１５Ｃ】信号処理のフローのうち、色ノイズ低減処理のフローである。
【図１５Ｄ】信号処理のフローのうち、輝度ノイズ推定処理のフローである。
【図１５Ｅ】信号処理のフローのうち、輝度ノイズ低減処理のフローである。
【図１６】第２の実施の形態の構成図である。
【図１７】輝度信号／色信号の分離および領域に関する説明図である。
【図１８】第２の実施の形態における色ノイズ推定部の構成図である。
【図１９】色ノイズ量の推定に関する説明図である。
【図２０】第２の実施の形態における色ノイズ低減部の構成図である。
【図２１】第２の実施の形態において、別構成の色ノイズ低減部の構成図である 。
【図２２】第２の実施の形態における輝度ノイズ低減部の構成図である。
【図２３】第２の実施の形態において、別構成の輝度ノイズ低減部の構成図である。
【図２４Ａ】第２の実施の形態例における信号処理のフローのうち、全体処理のフローである。
【図２４Ｂ】第２の実施の形態例における信号処理のフローのうち、色ノイズ推定処理のフローである。
【図２４Ｃ】第２の実施の形態例における信号処理のフローのうち、色ノイズ低減処理のフローである。
【図２４Ｄ】第２の実施の形態例における信号処理のフローのうち、輝度ノイズ低減処理のフローである。
【符号の説明】
【０２７６】
111 分離抽出部
112 代表色相算出部
113 代表輝度算出部
114,701 色ノイズ推定部
115,702 色ノイズ低減部
116 輝度ノイズ推定部
117,703 輝度ノイズ低減部
【特許請求の範囲】
【請求項１】
撮像系から取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、
前記映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出手段と、
前記分離抽出手段によって抽出された領域の輝度信号に基づいて、前記領域の代表的輝度値を算出する代表輝度算出手段と、
前記領域の色信号に基づいて、前記領域の代表的色相値を算出する代表色相算出手段と、
前記代表輝度算出手段によって算出された代表的輝度値および前記代表色相算出手段によって算出された代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定手段と、
前記色ノイズ推定手段によって推定された色ノイズ量に基づいて、前記領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減手段とを備えることを特徴とする映像処理装置。
【請求項２】
請求項１に記載の映像処理装置において、
前記代表的輝度値に基づいて、輝度ノイズ量を推定する輝度ノイズ推定手段と、
前記輝度ノイズ推定手段によって推定された輝度ノイズ量に基づいて、前記領域の輝度信号に対して輝度ノイズ低減処理を行う輝度ノイズ低減手段とをさらに備えることを特徴とする映像処理装置。
【請求項３】
撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、
現在の映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出手段と、
前記分離抽出手段によって抽出された領域の輝度信号に基づいて、前記領域の代表的輝度値を算出する代表輝度算出手段と、
前記領域の色信号に基づいて、前記領域の代表的色相値を算出する代表色相算出手段と、
前記代表輝度算出手段によって算出された代表的輝度値および前記代表色相算出手段によって算出された代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定手段と、
前記領域の色信号および前記領域に対応するノイズ低減処理がなされた過去の領域の色信号から、差分色信号を算出する差分色信号算出手段と、
前記色ノイズ推定手段によって推定された色ノイズ量および前記差分色信号算出手段によって算出された差分色信号に基づいて、前記領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減手段とを備えることを特徴とする映像処理装置。
【請求項４】
請求項３に記載の映像処理装置において、
前記代表的輝度値に基づいて、輝度ノイズ量を推定する輝度ノイズ推定手段と、
前記領域の輝度信号および前記領域に対応するノイズ低減処理がなされた過去の領域の輝度信号から、差分輝度信号を算出する差分輝度信号算出手段と、
前記輝度ノイズ推定手段によって推定された輝度ノイズ量および前記差分輝度信号算出手段によって算出された差分輝度信号に基づいて、前記領域の輝度信号に対して輝度ノイズ低減処理を行う輝度ノイズ低減手段とをさらに備えることを特徴とする映像処理装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の映像処理装置において、
前記色ノイズ推定手段は、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に対して所定の標準値を付与する付与手段と、
所定数の色相域に対応する複数の基準色ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記代表的色相値に基づいて、前記基準色ノイズモデルを選択するモデル選択手段と、
前記収集手段または前記付与手段からの情報および前記代表的輝度値に基づいて、前記モデル選択手段によって選択された基準色ノイズモデルに関して必要となるパラメータを前記パラメータ記録手段に記録されているパラメータ群から選択するパラメータ選択手段と、
前記代表的輝度値および前記パラメータ選択手段によって選択されたパラメータに基づいて、補間演算により色ノイズ量を求める補間手段とを備えることを特徴とする映像処理装置。
【請求項６】
請求項１から請求項４のいずれか一項に記載の映像処理装置において、
前記色ノイズ推定手段は、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に対して標準値を付与する付与手段と、
基準色ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記収集手段または前記付与手段からの情報および前記代表的輝度値に基づいて、前記基準色ノイズモデルに関して必要となるパラメータを前記パラメータ記録手段に記録されているパラメータ群から選択するパラメータ選択手段と、
前記代表的輝度値および前記パラメータ選択手段によって選択されたパラメータに基づいて、補間演算により色ノイズ量を求める補間手段と、
前記代表的色相値に基づいて、前記補間手段によって求められた色ノイズ量を補正する色ノイズ補正手段とを備えることを特徴とする映像処理装置。
【請求項７】
請求項６に記載の映像処理装置において、
前記色ノイズ補正手段は、
所定の色相域に対応する補正係数を記録する補正係数記録手段と、
前記代表的色相値に基づいて、必要な補正係数を前記補正係数記録手段から選択する補正係数選択手段と、
前記補正係数選択手段によって選択された補正係数を前記補間手段によって求められた色ノイズ量に乗算する補正係数乗算手段とを備えることを特徴とする映像処理装置。
【請求項８】
請求項１から請求項４のいずれか一項に記載の映像処理装置において、
前記色ノイズ推定手段は、
撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に対して標準値を付与する付与手段と、
前記収集手段または前記付与手段からの情報、前記代表的輝度値、および前記代表的色相値を入力として色ノイズ量を出力する色ノイズテーブル手段とを備えることを特徴とする映像処理装置。
【請求項９】
請求項２または請求項４に記載の映像処理装置において、
前記輝度ノイズ推定手段は、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に対して標準値を付与する付与手段と、
基準輝度ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記収集手段または前記付与手段からの情報および前記代表的輝度値に基づいて、前記基準輝度ノイズモデルに関して必要となるパラメータを前記パラメータ記録手段に記録されているパラメータ群から選択するパラメータ選択手段と、
前記代表的輝度値および前記パラメータ選択手段によって選択されたパラメータに基づいて、補間演算により輝度ノイズ量を求める補間手段とを備えることを特徴とする映像処理装置。
【請求項１０】
請求項２または請求項４に記載の映像処理装置において、
前記輝度ノイズ推定手段は、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に対して標準値を付与する付与手段と、
前記収集手段または前記付与手段からの情報および前記代表的輝度値を入力として輝度ノイズ量を出力する輝度ノイズテーブル手段とを備えることを特徴とする映像処理装置。
【請求項１１】
請求項１または請求項２に記載の映像処理装置において、
前記色ノイズ低減手段は、
前記領域の色信号の代表色値を算出する代表色算出手段と、
前記代表色値および前記色ノイズ量に基づいてコアリング処理を行うコアリング手段とを備えることを特徴とする映像処理装置。
【請求項１２】
請求項１または請求項２に記載の映像処理装置において、
前記色ノイズ低減手段は、
所定の周波数特性を有する複数のローパスフィルタを記録するフィルタ記録手段と、
前記色ノイズ量に基づいて、前記フィルタ記録手段に記録されている複数のローパスフィルタの中から、フィルタリング処理に用いるローパスフィルタを選択するフィルタ選択手段と、
前記フィルタ選択手段によって選択されたローパスフィルタを用いて、前記領域の色信号に対してフィルタリング処理を行うフィルタリング手段とを備えることを特徴とする映像処理装置。
【請求項１３】
請求項２に記載の映像処理装置において、
前記輝度ノイズ低減手段は、
前記代表的輝度値および前記輝度ノイズ量に基づいて、コアリング処理を行うコアリング手段を備えることを特徴とする映像処理装置。
【請求項１４】
請求項２に記載の映像処理装置において、
前記輝度ノイズ低減手段は、
所定の周波数特性を有する複数のローパスフィルタを記録するフィルタ記録手段と、
前記輝度ノイズ量に基づいて、前記フィルタ記録手段に記録されている複数のローパスフィルタの中から、フィルタリング処理に用いるローパスフィルタを選択するフィルタ選択手段と、
前記フィルタ選択手段によって選択されたローパスフィルタを用いて、前記領域の輝度信号に対してフィルタリング処理を行うフィルタリング手段とを備えることを特徴とする映像処理装置。
【請求項１５】
請求項３または請求項４に記載の映像処理装置において、
前記色ノイズ低減手段は、
前記色ノイズ量に基づいて、前記差分色信号に対して補正処理を行う補正手段と、
前記領域の色信号と前記補正手段によって補正された差分色信号との間で減算処理を行う減算手段とを備えることを特徴とする映像処理装置。
【請求項１６】
請求項３または請求項４に記載の映像処理装置において、
前記色ノイズ低減手段は、
前記色ノイズ量に基づいて、前記差分色信号に対して補正処理を行う補正手段と、
前記領域における色信号の代表色値を算出する代表色算出手段と、
前記代表色算出手段によって算出された代表色値および前記補正手段によって補正された差分色信号に基づいて、コアリング処理を行うコアリング手段とを備えることを特徴とする映像処理装置。
【請求項１７】
請求項４に記載の映像処理装置において、
前記輝度ノイズ低減手段は、
前記輝度ノイズ量に基づいて、前記差分輝度信号に対して補正処理を行う補正手段と、
前記領域の輝度信号と前記補正手段によって補正された差分輝度信号との間で減算処理を行う減算手段とを備えることを特徴とする映像処理装置。
【請求項１８】
請求項４に記載の映像処理装置において、
前記輝度ノイズ低減手段は、
前記輝度ノイズ量に基づいて、前記差分輝度信号に対して補正処理を行う補正手段と、
前記代表的輝度値および上記補正手段によって補正された差分輝度信号に基づいて、コアリング処理を行うコアリング手段とを備えることを特徴とする映像処理装置。
【請求項１９】
請求項１から請求項１８のいずれか一項に記載の映像処理装置において、
前記撮像系は、ベイヤー型原色フィルタを前面に配置した撮像素子、または色差線順次型補色フィルタを前面に配置した撮像素子を備えることを特徴とする映像処理装置。
【請求項２０】
撮像系から取り込まれた映像信号に対しノイズ低減処理を行う映像処理プログラムにおいて、
前記映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出ステップと、
前記分離抽出ステップにおいて抽出された領域の輝度信号に基づいて、前記領域の代表的輝度値を算出する代表輝度算出ステップと、
前記領域の色信号に基づいて、前記領域の代表的色相値を算出する代表色相算出ステップと、
前記代表的輝度値および前記代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定ステップと、
前記色ノイズ推定ステップにおいて推定された色ノイズ量に基づいて、前記領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減ステップとを備えることを特徴とする映像処理プログラム。
【請求項２１】
撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理プログラムにおいて、
現在の映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出ステップと、
前記分離抽出ステップにおいて抽出された領域の輝度信号に基づいて、前記領域の代表的輝度値を算出する代表輝度算出ステップと、
前記領域の色信号に基づいて、前記領域の代表的色相値を算出する代表色相算出ステップと、
前記代表的輝度値および前記代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定ステップと、
前記領域の色信号および前記領域に対応するノイズ低減処理がなされた過去の領域の色信号から、差分色信号を算出する差分色信号算出ステップと、
前記色ノイズ推定ステップにおいて推定された色ノイズ量および前記差分色信号算出ステップにおいて算出された差分色信号に基づいて、前記領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減ステップとを備えることを特徴とする映像処理プログラム。
【請求項２２】
請求項２０または請求項２１に記載の映像処理プログラムにおいて、
前記色ノイズ推定ステップは、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集ステップと、
前記収集ステップで得られない情報に対して所定の標準値を付与する付与ステップと、
所定数の色相域に対応する複数の基準色ノイズモデルに関するパラメータ群を記録するパラメータ記録ステップと、
前記代表的色相値に基づいて、前記基準色ノイズモデルを選択するモデル選択ステップと、
前記収集ステップで収集される情報または前記付与ステップで付与される情報および前記代表的輝度値に基づいて、選択された基準色ノイズモデルに関して必要となるパラメータを選択するパラメータ選択ステップと、
前記代表的輝度値、および選択されたパラメータに基づいて、補間演算により色ノイズ量を求める補間ステップとを備えることを特徴とする映像処理プログラム。
【請求項２３】
請求項２０または請求項２１に記載の映像処理プログラムにおいて、
前記色ノイズ推定ステップは、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集ステップと、
前記収集ステップで得られない情報に対して標準値を付与する付与ステップと、
基準色ノイズモデルに関するパラメータ群を記録するパラメータ記録ステップと、
前記収集ステップで収集される情報または前記付与ステップで付与される情報および前記代表的輝度値に基づいて、前記基準色ノイズモデルに関して必要となるパラメータを選択するパラメータ選択ステップと、
前記代表的輝度値、および選択されたパラメータに基づいて、補間演算により色ノイズ量を求める補間ステップと、
前記代表的色相値に基づいて、色ノイズ量を補正する色ノイズ補正ステップとを備えることを特徴とする映像処理プログラム。
【請求項２４】
請求項２３に記載の映像処理プログラムにおいて、
前記色ノイズ補正ステップは、
所定の色相域に対応する補正係数を記録する補正係数記録ステップと、
前記代表的色相値に基づいて、必要な補正係数を選択する補正係数選択ステップと、
選択された補正係数を前記色ノイズ量に乗算する補正係数乗算ステップとを備えることを特徴とする映像処理プログラム。
【請求項２５】
請求項２０または請求項２１に記載の映像処理プログラムにおいて、
前記色ノイズ推定ステップは、
撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集ステップと、
前記収集ステップで得られない情報に対して標準値を付与する付与ステップと、
前記収集ステップで収集される情報または前記付与ステップで付与される情報、前記代表的輝度値および前記代表的色相値を入力として色ノイズ量を出力する色ノイズテーブルステップとを備えることを特徴とする映像処理プログラム。
【請求項２６】
請求項２０に記載の映像処理プログラムにおいて、
前記色ノイズ低減ステップは、
前記領域の色信号の代表色値を算出する代表色算出ステップと、
前記代表色値および前記色ノイズ量に基づいてコアリング処理を行うコアリングステップとを備えることを特徴とする映像処理プログラム。
【請求項２７】
請求項２０に記載の映像処理プログラムにおいて、
前記色ノイズ低減ステップは、
所定の周波数特性を有する複数のローパスフィルタを記録するフィルタ記録ステップと、
前記色ノイズ量に基づいて、フィルタリング処理に用いるローパスフィルタを選択するフィルタ選択ステップと、
選択されたローパスフィルタを用いて、前記領域の色信号に対してフィルタリング処理を行うフィルタリングステップとを備えることを特徴とする映像処理プログラム。
【請求項２８】
請求項２１に記載の映像処理プログラムにおいて、
前記色ノイズ低減ステップは、
前記色ノイズ量に基づいて、前記差分色信号に対して補正処理を行う補正ステップと、
前記領域の色信号と補正された差分色信号との間で減算処理を行う減算ステップとを備えることを特徴とする映像処理プログラム。
【請求項２９】
請求項２１に記載の映像処理プログラムにおいて、
前記色ノイズ低減ステップは、
前記色ノイズ量に基づいて、前記差分色信号に対して補正処理を行う補正ステップと、
前記領域における色信号の代表色値を算出する代表色算出ステップと、
前記代表色値および補正された差分色信号に基づいて、コアリング処理を行うコアリングステップとを備えることを特徴とする映像処理プログラム。
【請求項１】
撮像系から取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、
前記映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出手段と、
前記分離抽出手段によって抽出された領域の輝度信号に基づいて、前記領域の代表的輝度値を算出する代表輝度算出手段と、
前記領域の色信号に基づいて、前記領域の代表的色相値を算出する代表色相算出手段と、
前記代表輝度算出手段によって算出された代表的輝度値および前記代表色相算出手段によって算出された代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定手段と、
前記色ノイズ推定手段によって推定された色ノイズ量に基づいて、前記領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減手段とを備えることを特徴とする映像処理装置。
【請求項２】
請求項１に記載の映像処理装置において、
前記代表的輝度値に基づいて、輝度ノイズ量を推定する輝度ノイズ推定手段と、
前記輝度ノイズ推定手段によって推定された輝度ノイズ量に基づいて、前記領域の輝度信号に対して輝度ノイズ低減処理を行う輝度ノイズ低減手段とをさらに備えることを特徴とする映像処理装置。
【請求項３】
撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、
現在の映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出手段と、
前記分離抽出手段によって抽出された領域の輝度信号に基づいて、前記領域の代表的輝度値を算出する代表輝度算出手段と、
前記領域の色信号に基づいて、前記領域の代表的色相値を算出する代表色相算出手段と、
前記代表輝度算出手段によって算出された代表的輝度値および前記代表色相算出手段によって算出された代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定手段と、
前記領域の色信号および前記領域に対応するノイズ低減処理がなされた過去の領域の色信号から、差分色信号を算出する差分色信号算出手段と、
前記色ノイズ推定手段によって推定された色ノイズ量および前記差分色信号算出手段によって算出された差分色信号に基づいて、前記領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減手段とを備えることを特徴とする映像処理装置。
【請求項４】
請求項３に記載の映像処理装置において、
前記代表的輝度値に基づいて、輝度ノイズ量を推定する輝度ノイズ推定手段と、
前記領域の輝度信号および前記領域に対応するノイズ低減処理がなされた過去の領域の輝度信号から、差分輝度信号を算出する差分輝度信号算出手段と、
前記輝度ノイズ推定手段によって推定された輝度ノイズ量および前記差分輝度信号算出手段によって算出された差分輝度信号に基づいて、前記領域の輝度信号に対して輝度ノイズ低減処理を行う輝度ノイズ低減手段とをさらに備えることを特徴とする映像処理装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の映像処理装置において、
前記色ノイズ推定手段は、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に対して所定の標準値を付与する付与手段と、
所定数の色相域に対応する複数の基準色ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記代表的色相値に基づいて、前記基準色ノイズモデルを選択するモデル選択手段と、
前記収集手段または前記付与手段からの情報および前記代表的輝度値に基づいて、前記モデル選択手段によって選択された基準色ノイズモデルに関して必要となるパラメータを前記パラメータ記録手段に記録されているパラメータ群から選択するパラメータ選択手段と、
前記代表的輝度値および前記パラメータ選択手段によって選択されたパラメータに基づいて、補間演算により色ノイズ量を求める補間手段とを備えることを特徴とする映像処理装置。
【請求項６】
請求項１から請求項４のいずれか一項に記載の映像処理装置において、
前記色ノイズ推定手段は、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に対して標準値を付与する付与手段と、
基準色ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記収集手段または前記付与手段からの情報および前記代表的輝度値に基づいて、前記基準色ノイズモデルに関して必要となるパラメータを前記パラメータ記録手段に記録されているパラメータ群から選択するパラメータ選択手段と、
前記代表的輝度値および前記パラメータ選択手段によって選択されたパラメータに基づいて、補間演算により色ノイズ量を求める補間手段と、
前記代表的色相値に基づいて、前記補間手段によって求められた色ノイズ量を補正する色ノイズ補正手段とを備えることを特徴とする映像処理装置。
【請求項７】
請求項６に記載の映像処理装置において、
前記色ノイズ補正手段は、
所定の色相域に対応する補正係数を記録する補正係数記録手段と、
前記代表的色相値に基づいて、必要な補正係数を前記補正係数記録手段から選択する補正係数選択手段と、
前記補正係数選択手段によって選択された補正係数を前記補間手段によって求められた色ノイズ量に乗算する補正係数乗算手段とを備えることを特徴とする映像処理装置。
【請求項８】
請求項１から請求項４のいずれか一項に記載の映像処理装置において、
前記色ノイズ推定手段は、
撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に対して標準値を付与する付与手段と、
前記収集手段または前記付与手段からの情報、前記代表的輝度値、および前記代表的色相値を入力として色ノイズ量を出力する色ノイズテーブル手段とを備えることを特徴とする映像処理装置。
【請求項９】
請求項２または請求項４に記載の映像処理装置において、
前記輝度ノイズ推定手段は、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に対して標準値を付与する付与手段と、
基準輝度ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記収集手段または前記付与手段からの情報および前記代表的輝度値に基づいて、前記基準輝度ノイズモデルに関して必要となるパラメータを前記パラメータ記録手段に記録されているパラメータ群から選択するパラメータ選択手段と、
前記代表的輝度値および前記パラメータ選択手段によって選択されたパラメータに基づいて、補間演算により輝度ノイズ量を求める補間手段とを備えることを特徴とする映像処理装置。
【請求項１０】
請求項２または請求項４に記載の映像処理装置において、
前記輝度ノイズ推定手段は、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に対して標準値を付与する付与手段と、
前記収集手段または前記付与手段からの情報および前記代表的輝度値を入力として輝度ノイズ量を出力する輝度ノイズテーブル手段とを備えることを特徴とする映像処理装置。
【請求項１１】
請求項１または請求項２に記載の映像処理装置において、
前記色ノイズ低減手段は、
前記領域の色信号の代表色値を算出する代表色算出手段と、
前記代表色値および前記色ノイズ量に基づいてコアリング処理を行うコアリング手段とを備えることを特徴とする映像処理装置。
【請求項１２】
請求項１または請求項２に記載の映像処理装置において、
前記色ノイズ低減手段は、
所定の周波数特性を有する複数のローパスフィルタを記録するフィルタ記録手段と、
前記色ノイズ量に基づいて、前記フィルタ記録手段に記録されている複数のローパスフィルタの中から、フィルタリング処理に用いるローパスフィルタを選択するフィルタ選択手段と、
前記フィルタ選択手段によって選択されたローパスフィルタを用いて、前記領域の色信号に対してフィルタリング処理を行うフィルタリング手段とを備えることを特徴とする映像処理装置。
【請求項１３】
請求項２に記載の映像処理装置において、
前記輝度ノイズ低減手段は、
前記代表的輝度値および前記輝度ノイズ量に基づいて、コアリング処理を行うコアリング手段を備えることを特徴とする映像処理装置。
【請求項１４】
請求項２に記載の映像処理装置において、
前記輝度ノイズ低減手段は、
所定の周波数特性を有する複数のローパスフィルタを記録するフィルタ記録手段と、
前記輝度ノイズ量に基づいて、前記フィルタ記録手段に記録されている複数のローパスフィルタの中から、フィルタリング処理に用いるローパスフィルタを選択するフィルタ選択手段と、
前記フィルタ選択手段によって選択されたローパスフィルタを用いて、前記領域の輝度信号に対してフィルタリング処理を行うフィルタリング手段とを備えることを特徴とする映像処理装置。
【請求項１５】
請求項３または請求項４に記載の映像処理装置において、
前記色ノイズ低減手段は、
前記色ノイズ量に基づいて、前記差分色信号に対して補正処理を行う補正手段と、
前記領域の色信号と前記補正手段によって補正された差分色信号との間で減算処理を行う減算手段とを備えることを特徴とする映像処理装置。
【請求項１６】
請求項３または請求項４に記載の映像処理装置において、
前記色ノイズ低減手段は、
前記色ノイズ量に基づいて、前記差分色信号に対して補正処理を行う補正手段と、
前記領域における色信号の代表色値を算出する代表色算出手段と、
前記代表色算出手段によって算出された代表色値および前記補正手段によって補正された差分色信号に基づいて、コアリング処理を行うコアリング手段とを備えることを特徴とする映像処理装置。
【請求項１７】
請求項４に記載の映像処理装置において、
前記輝度ノイズ低減手段は、
前記輝度ノイズ量に基づいて、前記差分輝度信号に対して補正処理を行う補正手段と、
前記領域の輝度信号と前記補正手段によって補正された差分輝度信号との間で減算処理を行う減算手段とを備えることを特徴とする映像処理装置。
【請求項１８】
請求項４に記載の映像処理装置において、
前記輝度ノイズ低減手段は、
前記輝度ノイズ量に基づいて、前記差分輝度信号に対して補正処理を行う補正手段と、
前記代表的輝度値および上記補正手段によって補正された差分輝度信号に基づいて、コアリング処理を行うコアリング手段とを備えることを特徴とする映像処理装置。
【請求項１９】
請求項１から請求項１８のいずれか一項に記載の映像処理装置において、
前記撮像系は、ベイヤー型原色フィルタを前面に配置した撮像素子、または色差線順次型補色フィルタを前面に配置した撮像素子を備えることを特徴とする映像処理装置。
【請求項２０】
撮像系から取り込まれた映像信号に対しノイズ低減処理を行う映像処理プログラムにおいて、
前記映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出ステップと、
前記分離抽出ステップにおいて抽出された領域の輝度信号に基づいて、前記領域の代表的輝度値を算出する代表輝度算出ステップと、
前記領域の色信号に基づいて、前記領域の代表的色相値を算出する代表色相算出ステップと、
前記代表的輝度値および前記代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定ステップと、
前記色ノイズ推定ステップにおいて推定された色ノイズ量に基づいて、前記領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減ステップとを備えることを特徴とする映像処理プログラム。
【請求項２１】
撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理プログラムにおいて、
現在の映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出ステップと、
前記分離抽出ステップにおいて抽出された領域の輝度信号に基づいて、前記領域の代表的輝度値を算出する代表輝度算出ステップと、
前記領域の色信号に基づいて、前記領域の代表的色相値を算出する代表色相算出ステップと、
前記代表的輝度値および前記代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定ステップと、
前記領域の色信号および前記領域に対応するノイズ低減処理がなされた過去の領域の色信号から、差分色信号を算出する差分色信号算出ステップと、
前記色ノイズ推定ステップにおいて推定された色ノイズ量および前記差分色信号算出ステップにおいて算出された差分色信号に基づいて、前記領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減ステップとを備えることを特徴とする映像処理プログラム。
【請求項２２】
請求項２０または請求項２１に記載の映像処理プログラムにおいて、
前記色ノイズ推定ステップは、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集ステップと、
前記収集ステップで得られない情報に対して所定の標準値を付与する付与ステップと、
所定数の色相域に対応する複数の基準色ノイズモデルに関するパラメータ群を記録するパラメータ記録ステップと、
前記代表的色相値に基づいて、前記基準色ノイズモデルを選択するモデル選択ステップと、
前記収集ステップで収集される情報または前記付与ステップで付与される情報および前記代表的輝度値に基づいて、選択された基準色ノイズモデルに関して必要となるパラメータを選択するパラメータ選択ステップと、
前記代表的輝度値、および選択されたパラメータに基づいて、補間演算により色ノイズ量を求める補間ステップとを備えることを特徴とする映像処理プログラム。
【請求項２３】
請求項２０または請求項２１に記載の映像処理プログラムにおいて、
前記色ノイズ推定ステップは、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集ステップと、
前記収集ステップで得られない情報に対して標準値を付与する付与ステップと、
基準色ノイズモデルに関するパラメータ群を記録するパラメータ記録ステップと、
前記収集ステップで収集される情報または前記付与ステップで付与される情報および前記代表的輝度値に基づいて、前記基準色ノイズモデルに関して必要となるパラメータを選択するパラメータ選択ステップと、
前記代表的輝度値、および選択されたパラメータに基づいて、補間演算により色ノイズ量を求める補間ステップと、
前記代表的色相値に基づいて、色ノイズ量を補正する色ノイズ補正ステップとを備えることを特徴とする映像処理プログラム。
【請求項２４】
請求項２３に記載の映像処理プログラムにおいて、
前記色ノイズ補正ステップは、
所定の色相域に対応する補正係数を記録する補正係数記録ステップと、
前記代表的色相値に基づいて、必要な補正係数を選択する補正係数選択ステップと、
選択された補正係数を前記色ノイズ量に乗算する補正係数乗算ステップとを備えることを特徴とする映像処理プログラム。
【請求項２５】
請求項２０または請求項２１に記載の映像処理プログラムにおいて、
前記色ノイズ推定ステップは、
撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集ステップと、
前記収集ステップで得られない情報に対して標準値を付与する付与ステップと、
前記収集ステップで収集される情報または前記付与ステップで付与される情報、前記代表的輝度値および前記代表的色相値を入力として色ノイズ量を出力する色ノイズテーブルステップとを備えることを特徴とする映像処理プログラム。
【請求項２６】
請求項２０に記載の映像処理プログラムにおいて、
前記色ノイズ低減ステップは、
前記領域の色信号の代表色値を算出する代表色算出ステップと、
前記代表色値および前記色ノイズ量に基づいてコアリング処理を行うコアリングステップとを備えることを特徴とする映像処理プログラム。
【請求項２７】
請求項２０に記載の映像処理プログラムにおいて、
前記色ノイズ低減ステップは、
所定の周波数特性を有する複数のローパスフィルタを記録するフィルタ記録ステップと、
前記色ノイズ量に基づいて、フィルタリング処理に用いるローパスフィルタを選択するフィルタ選択ステップと、
選択されたローパスフィルタを用いて、前記領域の色信号に対してフィルタリング処理を行うフィルタリングステップとを備えることを特徴とする映像処理プログラム。
【請求項２８】
請求項２１に記載の映像処理プログラムにおいて、
前記色ノイズ低減ステップは、
前記色ノイズ量に基づいて、前記差分色信号に対して補正処理を行う補正ステップと、
前記領域の色信号と補正された差分色信号との間で減算処理を行う減算ステップとを備えることを特徴とする映像処理プログラム。
【請求項２９】
請求項２１に記載の映像処理プログラムにおいて、
前記色ノイズ低減ステップは、
前記色ノイズ量に基づいて、前記差分色信号に対して補正処理を行う補正ステップと、
前記領域における色信号の代表色値を算出する代表色算出ステップと、
前記代表色値および補正された差分色信号に基づいて、コアリング処理を行うコアリングステップとを備えることを特徴とする映像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１５Ｄ】
【図１５Ｅ】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４Ａ】
【図２４Ｂ】
【図２４Ｃ】
【図２４Ｄ】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１５Ｄ】
【図１５Ｅ】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４Ａ】
【図２４Ｂ】
【図２４Ｃ】
【図２４Ｄ】
【公開番号】特開２００９−２７６１９（Ｐ２００９−２７６１９Ａ）
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願番号】特願２００７−１９０９９０（Ｐ２００７−１９０９９０）
【出願日】平成１９年７月２３日（２００７．７．２３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願日】平成１９年７月２３日（２００７．７．２３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]