ノイズ低減システム、ノイズ低減プログラム及び撮像システム
【課題】信号処理に起因するノイズの不均一な顕在化を抑制し、高品位な映像信号を得る。
【解決手段】撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減システムは、前記映像信号に対してノイズ低減処理を行うノイズ低減部112と、前記ノイズ低減処理がなされた映像信号に対して所定の信号処理を行う信号処理部114と、前記信号処理に起因する映像信号の変化量を算出する変化量算出部116を有し、前記ノイズ低減部112は時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する。
【解決手段】撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減システムは、前記映像信号に対してノイズ低減処理を行うノイズ低減部112と、前記ノイズ低減処理がなされた映像信号に対して所定の信号処理を行う信号処理部114と、前記信号処理に起因する映像信号の変化量を算出する変化量算出部116を有し、前記ノイズ低減部112は時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像系に起因する映像信号のランダムノイズの低減処理に関する。
【背景技術】
【０００２】
撮像素子とそれに付随するアナログ回路およびA/Dコンバータなどから構成される撮像系から得られる映像信号は、一般にノイズ成分を含有する。このノイズ成分は、固定パターンノイズとランダムノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。
【０００３】
静止画用のランダムノイズの低減処理に関しては、例えば特許文献１に示されるように、ノイズ量をノイズモデルに基づきブロック単位に推定して、ブロック単位にノイズ低減処理を制御する例が開示されている。このノイズ低減処理では、ノイズ量を推定するにあたりブロック内で注目画素と類似する領域を選択し、選択された領域の平均値を用いている。これにより、エッジ部の影響を抑制したスペースバリアントなノイズ低減処理が可能となり、高品位な映像信号が得られる。
【０００４】
一方、動画像におけるランダムノイズの低減処理としては、時間軸方向の相関性を用いた巡回型のノイズ低減処理がある。このノイズ低減処理は、映像信号自体は過去の映像信号と相関性が高く、ランダムノイズは過去の映像信号と相関性が低いことを利用し、現在と過去の映像信号間にて差分処理を行うことでランダムノイズのみを抽出し、抽出されたランダムノイズを用いて現在の映像信号のノイズ低減処理を行うものである。このような巡回型のノイズ低減処理としては、例えば特許文献２では映像信号から動き成分を検出し、検出された動き成分に基づき差分処理をおこなった信号に対するリミット値と帰還係数を制御する方法が開示されている。これにより、動き成分に起因する残像などの副作用を抑制したノイズ低減処理が可能となる。また、特許文献３では差分処理をおこなった信号値から帰還係数を制御する方法が開示されている。これにより、比較的少ない演算量で副作用を抑制したノイズ低減処理が可能となる。
【特許文献１】特開2006-23959号公報
【特許文献２】特開平10-13734号公報
【特許文献３】特開2000-209507号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ノイズ低減処理が理想的に機能しノイズが完全に除去されるならば、ノイズ低減処理以降の後段の信号処理はノイズの影響を考慮することなく自由に行うことができる。しかし、実際にはノイズを完全に除去することはできず、ノイズは残存することになる。このため、後段でエッジ強調、彩度強調、階調変換などの強調処理を行うと、ノイズが顕在化することになる。また、このような強調処理は画素の信号レベルや属する色相などにより強調処理の強弱が異なるため、領域ごとに不均質なノイズの顕在化が生じる。これは視覚的に非常に顕著なため、信号の品位を劣化させる要因となる。
【０００６】
特許文献１においては、ノイズ低減処理およびその後段の信号処理が独立に行われるため、上記のような領域ごとに不均質なノイズの顕在化が生じるという課題がある。また、静止画像処理を基本とし時間軸方向の特性を用いた処理とは独立しており、相互を最適に活用できないという課題がある。また、特許文献２、３においても、ノイズ低減処理後に独立に信号処理が行われるため、領域ごとに不均質なノイズの顕在化が生じるという課題がある。
【０００７】
本発明は上記問題点に着目し、信号処理に起因するノイズの不均一な顕在化を抑制し、高品位な映像信号を得ることを目的とする。
【課題を解決するための手段】
【０００８】
本発明によれば、撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減システムにおいて、前記映像信号に対してノイズ低減処理を行うノイズ低減手段と、前記ノイズ低減処理がなされた映像信号に対して所定の信号処理を行う信号処理手段と、前記信号処理に起因する映像信号の変化量を算出する変化量算出手段を有し、前記ノイズ低減手段は時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する。
【発明の効果】
【０００９】
本発明に係るノイズ低減システムでは、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御するようにしたことにより、信号処理に起因するノイズの不均質な顕在化を抑制することが可能となり、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の精度を向上でき、かつ操作性の良いノイズ低減システムを提供できる。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【００１１】
第１の実施形態
［構成］
図１は、本発明の第１の実施形態の構成図である。レンズ系100,絞り101,CCD102を介して撮影された映像信号は、増幅器（以下、"Gain"）104にて増幅され、A/Dコンバータ（以下、"A/D"）105にてデジタル信号へ変換される。A/D105からの映像信号は、バッファ106を介して色信号分離部111へ転送される。
【００１２】
バッファ106は、プリホワイトバランス調整部（以下、"PreWB部"）107,測光評価部108,合焦点検出部109へも接続されている。PreWB部107はGain104へ、測光評価部108は絞り101,CCD102,Gain104へ、合焦点検出部109はAFモータ110へ接続されている。色信号分離部111は巡回型ノイズ低減部112へ、巡回型ノイズ低減部112はバッファ113へ接続されている。バッファ113は、巡回型ノイズ低減部112,信号処理部114,変化量算出部116へ接続されている。信号処理部114はバッファ115へ、バッファ115は変化量算出部116およびメモリカードなどの出力部117に接続されている。変化量算出部116は、巡回型ノイズ低減部112へ接続されている。マイクロコンピュータなどの制御部118は、Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,色信号分離部111,巡回型ノイズ低減部112,信号処理部114,変化量算出部116,出力部117と双方向に接続されている。また、電源スイッチ,シャッターボタン,撮影時の各種モードの切り替えの設定を行うためのインターフェースを備えた外部I/F部119も制御部118に双方向に接続されている。さらに、CCD102の近傍に配置された温度センサー103からの信号は制御部118へ接続されている。
【００１３】
［作用］
図１において、映像信号の流れを説明する。外部I/F部119を介してISO感度などの撮影条件を設定した後、シャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101,CCD102を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。以後、連続的に出力される複数の映像信号を単に映像信号、１枚の映像信号をフレーム信号と表記する。また、本実施形態例においては上記所定時間間隔として1/30秒（以後は１フレーム時間と表記する）を想定する。さらに、CCD102としてはBayer型原色フィルタを前面に配置した単板CCDを想定する。
【００１４】
図２(a)は、Bayer型原色フィルタの構成を示す。Bayer型は2×2画素を基本単位とし、赤(R),青(B)フィルタが１画素ずつ、緑(Gr,Gb)フィルタが２画素配置される。なお、緑フィルタは同一な特性であるが、この実施形態では処理の便宜上これをGrとGbに区別するものとする。
【００１５】
上記アナログ信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、２フレームの信号を記録可能で、撮影にともない古いフレーム信号から順次上書きされることになる。バッファ106内のフレーム信号は、制御部118の制御に基づき、所定のフレーム時間間隔で間欠的にPreWB部107および測光評価部108および合焦点検出部109へ転送される。
【００１６】
PreWB部107では所定レベルの信号を色フィルタに対応する色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数をGain104へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
【００１７】
測光評価部108では、設定されたISO感度，手ぶれ限界のシャッター速度などを加味し、適正露光となるよう絞り101やCCD102の電子シャッター速度やGain104の増幅率などを制御する。
【００１８】
また、合焦点検出部109では、映像信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦信号を得る。PreWB部107にて求められたホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件は制御部118へ転送される。
【００１９】
一方、色信号分離部111は制御部118の制御に基づき、以後のノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を色信号ごとに順次抽出する。第１の実施形態においては、例えば図２(a)に示される10×10画素を基本単位としてフレーム信号から抽出する。この場合、ノイズ低減処理の対象となる注目画素はR22,Gr22,Gb22,B22の4画素となる。次に、図２(b)に示されるようにR,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域として分離する。以降は、時刻Tにおける局所領域内の画素をCTij（Cは色信号でC=R,Gr,Gb,B、iはX座標でi=0〜4、jはY座標でj=0〜4）で表記する。5×5画素の局所領域の場合は、注目画素はCT22となる。フレーム信号からもれなく注目画素を抽出するために、図２(a)に示される10×10画素の基本単位は４行４列ずつ重複して順次抽出されることになる。
【００２０】
また、バッファ106上には２フレームの信号が記録されており、色信号分離部111は、時刻T-1のフレーム信号から上記局所領域の座標位置に対応し5×5画素の局所領域を包含する21×21画素のマッチング領域も色フィルタごとに抽出する。以降は、時刻T-1におけるマッチング領域内の画素をCT-1kl（kはX座標でk=0〜20、lはY座標でl=0〜20）で表記する。抽出された局所領域およびマッチング領域は、順次巡回型ノイズ低減部112へ転送される。
【００２１】
巡回型ノイズ低減部112は、制御部118の制御に基づき、バッファ113上に保存されたノイズ低減処理がなされた過去のフレーム信号から上記局所領域の座標位置に対応する局所領域を読み込む。以後、ノイズ低減処理がなされた画素をCNで記述する。バッファ113から読み込まれる局所領域内の画素はCNT-1ijとなる。さらに、後述する変化量算出部116からの変化量を読み込み、上記局所領域単位に巡回型のノイズ低減処理を行う。ノイズ低減処理は局所領域内の注目画素CT22に対して行われ、ノイズ低減処理がなされた注目画素CNT22はバッファ113へ転送され記録される。バッファ113は、１フレームの信号を記録可能で、ノイズ低減処理にともない順次上書きされることになる。
【００２２】
１フレーム信号のノイズ低減処理が完了した後、信号処理部114は制御部118の制御に基づき、ノイズ低減処理がなされたフレーム信号に対して、公知の補間処理を行い、その後公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理を行う。以後、信号処理がなされた画素をCPで記述する。信号処理がなされたフレーム信号は、バッファ115へ転送され記録される。
【００２３】
変化量算出部116は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた画素CNをバッファ115から信号処理がなされた画素CPを読み込み、その変化量ΔCを求める。
【００２４】
【数１】
なお、上記の説明ではバッファ113およびバッファ115内に時刻Tにおけるフレーム信号が存在することになるが、巡回型ノイズ低減部112で時刻Tにおけるフレーム信号のノイズ低減処理が行われている時点では、バッファ113およびバッファ115内に時刻T-1におけるフレーム信号が存在することになる。すなわち、変化量算出部116は(2)式に示す変化量ΔCを求めることになる。
【００２５】
【数２】
なお、算出された変化量ΔCが１以下の場合は１に置換される。(2)式の変化量ΔCは、巡回型ノイズ低減部112へ転送される。一方、バッファ115内のフレーム信号は出力部117へ転送される。
【００２６】
出力部117は、磁気ディスクやメモリカードなどの記録媒体に順次フレーム信号を記録保存する。
【００２７】
図３は巡回型ノイズ低減部112の構成の一例を示すもので、領域抽出部200,領域抽出部201,動き推定部202,差分信号算出部203,上限値設定部204,領域抽出拡大部205,変化量動き補償部206,閾値設定部207,減算部208からなる。
【００２８】
色信号分離部111は、領域抽出部200を介して動き推定部202および差分信号算出部203および減算部208へ接続している。バッファ113は、領域抽出部201を介して差分信号算出部203へ接続している。変化量算出部116は、領域抽出拡大部205,変化量動き補償部206,閾値設定部207を介して上限値設定部204へ接続している。動き推定部202は、変化量動き補償部206および閾値設定部207へ接続している。差分信号算出部203は上限値設定部204へ、上限値設定部204は減算部208へ接続している。減算部208は、バッファ113へ接続している。制御部118は、領域抽出部200,領域抽出部201,動き推定部202,差分信号算出部203,上限値設定部204,領域抽出拡大部205,変化量動き補償部206,閾値設定部207,減算部208と双方向に接続されている。
【００２９】
領域抽出部200は、制御部118の制御に基づき、色信号分離部111から図２(b)に示されるにR,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域CTijおよび21×21画素のマッチング領域CT-1klを順次読み込む。上記局所領域およびマッチング領域は動き推定部202へ、局所領域は差分信号算出部203へ、局所領域内の注目画素CT22は減算部208へ転送される。
【００３０】
領域抽出部201は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の局所領域CNT-1ijを順次読み込む。上記過去の局所領域は、差分信号算出部203へ転送される。
【００３１】
動き推定部202は、制御部118の制御に基づき、領域抽出部200からの局所領域およびマッチング領域間で公知のマッチング処理に基づく動き量の推定を行う。推定された動き量Mは、変化量動き補償部206および閾値設定部207へ転送される。
【００３２】
差分信号算出部203は、制御部118の制御に基づき、領域抽出部200からの局所領域CTijおよび領域抽出部201からのノイズ低減処理がなされた過去の局所領域CNT-1ijを読み込み、差分信号δCijを算出する。
【００３３】
【数３】
算出された差分信号は、上限値設定部204へ転送される。
【００３４】
一方、領域抽出拡大部205は制御部118の制御に基づき、変化量算出部116から(2)式に示す変化量ΔCを読み込む。変化量ΔCは、後述する変化量算出部116の処理過程で所定の縮小率で縮小されたフレーム信号から算出されている。このため、領域抽出拡大部205は読み込まれた変化量ΔCに対して、上記縮小率の逆数に相当する拡大率で拡大処理を行い、マッチング領域に対応する変化量ΔCklを抽出する。上記変化量ΔCklは、変化量動き補償部206へ転送される。
【００３５】
変化量動き補償部206は、制御部118の制御に基づき、動き推定部202から動き量Mを領域抽出拡大部205から変化量ΔCklを読み込み、公知の動き補償を行った後、局所領域の座標位置に相当する変化量ΔCijを抽出して閾値設定部207へ転送する。
【００３６】
閾値設定部207は、制御部118の制御に基づき、動き推定部202から動き量Mを変化量動き補償部206から動き補償された変化量ΔCijを読み込み、(3)式の差分信号に対する閾値を算出する。上記閾値は、まず動き量Mに基づき局所領域全体に関する閾値Th1が算出される。図４は動き量Mと閾値Th1の関係の一例を示すもので、動き量Mが大きくなるにつれて閾値Th1が減少する関係にある。上記関係を関数f()で示すと、閾値Th1は次式で求められる。
【００３７】
【数４】
図４に示す関数f()では、動き量Mが一定値を超えた場合、閾値Th1は零となる。この後、変化量ΔCijで補正することで局所領域の各画素の閾値Thijが算出される。
【００３８】
【数５】
(5)式におけるωは調整用の重み係数を意味する。閾値Thijは、変化量ΔCijが大きくなるほど大きな値となる。算出された閾値Thijは、上限値設定部204へ転送される。
【００３９】
上限値設定部204は、制御部118の制御に基づき、差分信号算出部203から差分信号δCijを閾値設定部207から閾値Thijを読み込み、差分信号δCijに対する上限値設定の処理を行う。
【００４０】
【数６】
(6)式は、差分信号δCijが閾値Thijを上回る（差分信号が負の場合は下回る）場合に閾値Thijを上限とする制約を設けることを意味する。これにより、動き量が大きい場合に差分信号δCijが制限されることになり、残像などの副作用が低減される。また、閾値Thijは後段の信号処理に起因する変化量に比例するため、変化量が大きい場合は閾値も大きくなり差分信号δCijに対する制限が緩和されることになる。このため、変化量が大きい画素はノイズ低減の効果も大きくなる。上限値設定がなされた差分信号δCijは、減算部208へ転送される。
【００４１】
減算部208は、制御部118の制御に基づき、領域抽出部200から注目画素CT22を上限値設定部204から上限値設定がなされた差分信号δCijを読み込み、ノイズ低減処理後の注目画素CNT22を算出する。
【００４２】
【数７】
ノイズ低減処理後の注目画素CNT22は、バッファ113へ転送される。
【００４３】
なお、上記構成ではノイズ低減処理は注目画素CT22のみに対して行われる構成となっていたが、このような構成に限定される必要はない。例えば、図２(a)に示される10×10画素の基本単位を重複せずに抽出し、5×5画素の局所領域CTij全てに対して、(7)式に示されるようなノイズ低減処理を行う構成も可能である、この場合、動き補償などの処理の精度は低下するが、処理速度を高速化することができる。
【００４４】
また、上記構成では差分信号δCijに対して(6)式に示す上限値設定の処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、図５に示されるように零値への置換処理を行う構成も可能である。図５は、巡回型ノイズ低減部112の別構成の一例を示すもので、図３に示す上限値設定部204を置換部209に置換した構成になっている。基本構成は図３に示す巡回型ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００４５】
差分信号算出部203および閾値設定部207は、置換部209へ接続している。置換部209は、減算部208へ接続している。制御部118は、置換部209と双方向に接続されている。
【００４６】
置換部209は、制御部118の制御に基づき、差分信号算出部203から差分信号δCijを閾値設定部207から閾値Thijを読み込み、差分信号δCijに対する零値への置換処理を行う。
【００４７】
【数８】
後段の減算部208は、注目画素CT22と差分信号δCij間にて減算処理を行うため、(8)式に示される置換処理は動領域において何も処理を行わないことを意味する。一般に動領域では視覚的に高周波域の識別能が低下するため、ノイズ成分が目立ちにくく、上記置換処理においても対応することができる。上記置換処理は、図３に示す上限値設定処理よりも実装が容易であり、システムの低コスト化が可能となる。
【００４８】
なお、図３および図５に示す巡回型ノイズ低減部112は、ノイズ成分を減算する減算型の構成となっていたが、このような構成に限定される必要はない。例えば、図６に示されるように加算平均型の構成も可能である。
【００４９】
図６は巡回型ノイズ低減部112の別構成の一例を示すもので、図３に示す差分信号算出部203,上限値設定部204,閾値設定部207,減算部208が省略され、第１関数部210,第２関数部211,帰還係数合成部212,係数乗算部213,係数乗算部214,加算部215が追加された構成になっている。基本構成は図３に示す巡回型ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００５０】
領域抽出部200は、動き推定部202および係数乗算部213へ接続している。領域抽出部201は、係数乗算部214へ接続している。動き推定部202は、変化量動き補償部206および第２関数部211へ接続している。変化量動き補償部206は、第１関数部210へ接続している。第１関数部210および第２関数部211は、帰還係数合成部212へ接続している。帰還係数合成部212は、係数乗算部213および係数乗算部214へ接続している。係数乗算部213および係数乗算部214は、加算部215へ接続している。加算部215は、バッファ113へ接続している。制御部118は、第１関数部210,第２関数部211,帰還係数合成部212,係数乗算部213,係数乗算部214,加算部215と双方向に接続されている。
【００５１】
領域抽出部200は、制御部118の制御に基づき、色信号分離部111から図２(b)に示されるにR,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域CTijおよび21×21画素のマッチング領域CT-1klを順次読み込む。上記局所領域およびマッチング領域は動き推定部202へ、局所領域内の注目画素CT22は係数乗算部213へ転送される。
【００５２】
領域抽出部201は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の局所領域CNT-1ijを順次読み込む。上記過去の局所領域内の注目画素CNT-122は、係数乗算部214へ転送される。動き推定部202にて推定された動き量Mは、変化量動き補償部206および第２関数部211へ転送される。変化量動き補償部206にて動き補償された変化量ΔCijは、第１関数部210へ転送される。
【００５３】
第１関数部210は、制御部118の制御に基づき、動き補償された変化量ΔCijを読み込み、帰還係数算出時に用いる係数k1を算出する。図７(a)は動き補償された変化量ΔCと係数k1との関係の一例を示すもので、変化量ΔCが大きくなるにつれて係数k1が増加するシグモイド関数状の関係にある。この関係は、変化量ΔCが所定値Cmin以下の時はk1=1となり、所定値Cmax以上の時はk1=k1maxとなり、CminからCmax間はなだらかに増加する。この関係を関数g1()で示すと、係数k1は次式(9)で求められる。
【００５４】
【数９】
算出された係数k1は、帰還係数合成部212へ転送される。
【００５５】
一方、第２関数部211は制御部118の制御に基づき、動き推定部202にて推定された動き量Mを読み込み、帰還係数算出時に用いる係数k2を算出する。図７(b)は動き量Mと係数k2との関係の一例を示すもので、動き量Mが大きくなるにつれて係数k2が減少するシグモイド関数状の関係にある。この関係は、動き量Mが所定値Mmin以下の時はk2=1となり、所定値Mmax以上の時はk2=0となり、MminからMmax間はなだらかに減少する。この関係を関数g2()で示すと、係数k2は次式(10)で求められる。
【００５６】
【数１０】
算出された係数k2は、帰還係数合成部212へ転送される。
【００５７】
帰還係数合成部212は、第１関数部210から係数k1を第２関数部211から係数k2を読み込み、帰還係数Rを(11)式に基づき算出する。
【００５８】
【数１１】
なお、帰還係数Rが１以上となった場合は１に置換される。帰還係数Rは0から１の範囲を取り得る。算出された帰還係数Rから、R/2が係数乗算部213へ、1-R/2が係数乗算部214へ転送される。
【００５９】
係数乗算部213は、制御部118の制御に基づき、領域抽出部200から注目画素CT22を帰還係数合成部212から帰還係数R/2を読み込み、両者を乗算して加算部215へ転送する。
【００６０】
係数乗算部214は、制御部118の制御に基づき、領域抽出部201から過去の注目画素CNT-122を帰還係数合成部212から帰還係数1-R/2を読み込み、両者を乗算して加算部215へ転送する。
【００６１】
加算部215は、制御部118の制御に基づき、係数乗算部213からのR/2・CT22を係数乗算部214から(1-R/2)・CNT-122を読み込み、両者を加算することでノイズ低減処理後の注目画素CNT22を算出する。上記係数乗算部213,係数乗算部214,加算部215での処理は(12)式に示される。
【００６２】
【数１２】
上記帰還係数Rは、係数k1の特性から信号処理の変化量が大きい場合は１に近づき、小さい場合は０に近づく。また、係数k2の特性から動きが大きい場合は０となり、小さい場合は１に近づく。(12)式から、信号処理の変化量が大きい場合は過去の信号の帰還率が高くなり、ノイズ低減処理が強めになる。また、動きが大きい場合は過去の信号の帰還率が低くなり残像などの副作用を抑制する。ノイズ低減処理後の注目画素CNT22は、バッファ113へ転送され記録される。
【００６３】
なお、上記構成ではノイズ低減処理は注目画素CT22のみに対して行われる構成となっていたが、このような構成に限定される必要はない。例えば、図２(a)に示される10×10画素の基本単位を重複せずに抽出し、5×5画素の局所領域CTij全てに対して、(12)式に示されるようなノイズ低減処理を行う構成も可能である、この場合、動き補償などの処理の精度は低下するが、処理速度を高速化することができる。
【００６４】
また、上記構成では帰還係数Rの算出において(9),(10),(11)式に示す演算処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、図８に示されるようにテーブルを用いた構成も可能である。
【００６５】
図８は、巡回型ノイズ低減部112の別構成の一例を示すもので、図６に示す第１関数部210,第２関数部211,帰還係数合成部212を帰還係数テーブル部216に置換した構成になっている。基本構成は図６に示す巡回型ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００６６】
動き推定部202は、変化量動き補償部206および帰還係数テーブル部216へ接続している。変化量動き補償部206は、帰還係数テーブル部216へ接続している。帰還係数テーブル部216は、係数乗算部213および係数乗算部214へ接続している。制御部118は、帰還係数テーブル部216と双方向に接続されている。
【００６７】
帰還係数テーブル部216は、制御部118の制御に基づき、変化量動き補償部206から動き補償された変化量ΔCijを、動き推定部202から推定された動き量Mを読み込む。帰還係数テーブル部216は、変化量ΔCijおよび動き量Mを入力として帰還係数Rを出力するルックアップテーブルで、(9),(10),(11)式に示す形態と同様な手法で構築される。帰還係数テーブル部216で得られた帰還係数Rから、R/2が係数乗算部213へ、1-R/2が係数乗算部214へ転送される。
【００６８】
図９は、変化量算出部116の構成の一例を示すもので、縮小部300,バッファ301,縮小部302,バッファ303,比率算出部304,バッファ305からなる。
【００６９】
バッファ113は、縮小部300およびバッファ301を介して比率算出部304へ接続している。バッファ115は、縮小部302およびバッファ303を介して比率算出部304へ接続している。比率算出部304は、バッファ305を介して巡回型ノイズ低減部112へ接続している。制御部118は、縮小部300,縮小部302,比率算出部304と双方向に接続されている。
【００７０】
縮小部300は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の時刻T-1のフレーム信号を読み込み、所定の縮小率で縮小処理を行う。縮小されたフレーム信号は、バッファ301へ転送され保存される。
【００７１】
縮小部302は、制御部118の制御に基づき、バッファ115から信号処理がなされた過去の時刻T-1のフレーム信号を読み込み、縮小部300で使用された縮小率と同一の縮小率で縮小処理を行う。縮小されたフレーム信号は、バッファ303へ転送され保存される。バッファ301内の縮小されたフレーム信号の画素をCNT-1、バッファ303の縮小されたフレーム信号の画素をCPT-1とする。
【００７２】
比率算出部304は、制御部118の制御に基づき、バッファ301から画素CNT-1をバッファ303から画素CPT-1を読み込み、(2)式に基づき変化量ΔCを算出する。算出された変化量ΔCはバッファ305へ転送され記録される。バッファ305内には、最終的に縮小されたフレーム信号に対応する変化量ΔCが記録されることになる。バッファ305内の変化量ΔCは、必要に応じて巡回型ノイズ低減部112へ転送される。
【００７３】
[効果]
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
【００７４】
ノイズ低減処理に減算型の巡回型ノイズ低減または加算型の巡回型ノイズ低減を用いるため、信号処理に起因するノイズの不均質な顕在化と動きに起因する残像などの副作用の両者を抑制することが可能となり、高品位な映像信号が得られる。また、減算によるノイズ低減処理は計算量が少なく、システム全体の高速化および低コスト化を可能とする。一方、加算によるノイズ低減処理は時間軸方向の連続性に優れ、違和感の少ない映像信号が得られる。
【００７５】
差分信号の上限値設定を行う構成では、ノイズ低減処理の制御が連続的に行われるため、不連続性のない高品位な映像信号が得られる。差分信号の置換処理を行う構成では、実装が容易であり、システム全体の高速化および低コスト化を可能とする。
【００７６】
帰還係数の算出に２つの関数を用いる構成では、画質調整の自由度が向上しシステムの操作性を向上できる。一方、帰還係数の算出にテーブルを用いる構成では、高速な処理が可能となる。
【００７７】
また、色信号ごとにノイズ低減処理を行うため、ノイズを高精度に低減することができ、高品位な映像信号が得られる。また、ノイズ低減処理前に補間処理などの前処理が存在しないため、ノイズ低減処理の精度を向上することができる。
【００７８】
また、Bayer型原色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。ノイズ低減処理後の信号処理として階調変換処理、エッジ強調処理、色強調処理の少なくとも１つの処理を行う構成は、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【００７９】
また、信号処理の変化率の算出をノイズ低減処理がなされた映像信号と信号処理がなされた映像信号間から直接算出するため、変化量の算出を高精度化できる。
【００８０】
さらに、縮小処理した信号間から変化量を算出し、ノイズ低減処理に使用する際に拡大する構成では、演算量や必要となる回路規模が削減され、処理の高速化およびシステムのコストを低減することが可能となる。
【００８１】
［変形例］
上記第１の実施形態では撮像素子としてBayer型原色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、図２(ｃ)に示される色差線順次型補色フィルタを用いることも可能であるし、二板，三板撮像素子の利用も可能である。
【００８２】
図２(ｃ)は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy),マゼンタ(Mg),イエロー(Ye),緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。色差線順次型補色フィルタの場合、色信号分離部111は、図２(c)に示される10×10画素単位で映像信号を読み込み、これを図２(d)に示されるようにMg,G,Ye,Cyの色フィルタごとに、注目画素を中心とする5×5画素を局所領域として分離する。時刻Tにおける局所領域内の画素値はCTij（Cは色信号でC=Mg,G,Ye,Cy）で示されることになる。
【００８３】
さらに、第１の実施形態ではレンズ系100,絞り101,CCD102,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。例えば、図１０に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
【００８４】
図１０は、図１に示す構成からレンズ系100,絞り101,CCD102,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110を省略し、入力部400,ヘッダ情報解析部401を追加した形態となっている。基本構成は図１と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００８５】
入力部400は、バッファ106およびヘッダ情報解析部401へ接続している。制御部118は、入力部400,ヘッダ情報解析部401と双方向に接続している。マウス，キーボードなどの外部I/F部119を介して再生操作を開始することで、記録媒体に保存された映像信号およびヘッダ情報が入力部400から読み込まれる。なお、映像信号は所定の時間間隔、第１の実施形態では１フレーム時間間隔で１枚ずつ順次読み込まれる。入力部400からのフレーム信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部401へ転送される。ヘッダ情報解析部401は、ヘッダ情報から撮影時の情報を抽出して制御部118へ転送する。以後の処理は、図１と同等である。
【００８６】
また、第１の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの映像信号を未処理のままのRawデータとして、制御部118からCCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【００８７】
図１１Ａは、信号処理のソフトウェア処理に関するフローを示す。
【００８８】
ステップS1にて、映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
【００８９】
ステップS2にて、映像信号から順次フレーム信号を抽出する。
【００９０】
ステップS3にて、別途説明するよう後段の信号処理に起因する変化量を過去の、第１の実施形態では１フレーム過去のフレーム信号から算出する。
【００９１】
ステップS4にて、図２(b)に示されるようにCD102の色フィルタに基づき、色信号ごとに分離する。
【００９２】
ステップS5にて、図２(b)に示されるようにノイズ低減処理の対象となる注目画素を包含する所定サイズ、例えば5×5画素サイズの局所領域を抽出する。
【００９３】
ステップS6にて、別途説明するように巡回型のノイズ低減処理を行う。
【００９４】
ステップS7にて、ノイズ低減処理がなされた信号を出力する。
【００９５】
ステップS8にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS5へ分岐し、完了した場合はステップS9へ分岐する。
【００９６】
ステップS9にて、全ての色信号が完了したかを判断し、完了していない場合はステップS4へ分岐し、完了した場合はステップS10へ分岐する。
【００９７】
ステップS10にて、公知の補間処理の後に公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理が行われる。
【００９８】
ステップS11にて、処理が完了したフレーム信号が出力される。
【００９９】
ステップS12にて、全てのフレーム信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合は終了する。
【０１００】
図１１Ｂは、上記ステップS3における変化量算出処理に関するフローである。
【０１０１】
ステップS20にて、ノイズ低減処理がなされた過去のフレーム信号を読み込む。
【０１０２】
ステップS21にて、ノイズ低減処理と信号処理がなされた過去のフレーム信号を読み込む。
【０１０３】
ステップS22にて、ノイズ低減処理がなされた過去のフレーム信号を所定の縮小率で縮小する。
【０１０４】
ステップS23にて、ノイズ低減処理と信号処理がなされた過去のフレーム信号を所定の縮小率で縮小する。
【０１０５】
ステップS24にて、縮小されたノイズ低減処理がなされた過去のフレーム信号および縮小されたノイズ低減処理と信号処理がなされた過去のフレーム信号から、図２(b)に示されるようにCD102の色フィルタに基づき色信号を分離する。
【０１０６】
ステップS25にて、(2)式に示されるように変化量を算出する。
【０１０７】
ステップS26にて、変化量を出力する。
【０１０８】
ステップS27にて、全ての色信号が完了したかを判断し、完了していない場合はステップS24へ分岐し、完了した場合は終了する。
【０１０９】
図１１Ｃは、上記ステップS6における巡回型ノイズ低減処理に関するフローである。
【０１１０】
ステップS30にて、過去のフレーム信号を入力する。
【０１１１】
ステップS31にて、過去のフレーム信号から局所領域を包含する所定サイズ、例えば21×21画素のマッチング領域を抽出する。
【０１１２】
ステップS32にて、局所領域とマッチング領域間で公知のマッチング処理を行うことで動き量を推定する。
【０１１３】
ステップS33にて、変化量を入力する。
【０１１４】
ステップS34にて、縮小されている変化量を拡大処理し、局所領域に対応する変化量を算出する。
【０１１５】
ステップS35にて、変化量に対して動き量に基づき公知の動き補償処理を行う。
【０１１６】
ステップS36にて、動き量および動き補償された変化量に基づき(4),(5)式に示されるように閾値を算出する。
【０１１７】
ステップS37にて、ノイズ低減処理がなされた過去のフレーム信号を読み込む。
【０１１８】
ステップS38にて、局所領域およびノイズ低減処理がなされた過去のフレーム信号からの局所領域間で(3)式に示されるように差分信号を算出する。
【０１１９】
ステップS39にて、差分信号に対して閾値に基づき(6)式に示されるように上限値を設定する。
【０１２０】
ステップS40にて、上限値が設定された差分信号と局所領域間で(7)式に示されるように減算処理によりノイズ低減処理を行い終了する。
【０１２１】
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０１２２】
第２の実施形態
［構成］
図１２は、本発明の第２の実施形態の構成図である。第２の実施形態は、図１に示す第１の実施形態における色信号分離部111が輝度色差分離部500へ、巡回型ノイズ低減部112が巡回型ノイズ低減部501へ置換され、２次元型ノイズ低減部502が追加された構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
【０１２３】
バッファ106は、PreWB部107,測光評価部108,合焦点検出部109,輝度色差分離部500へ接続されている。輝度色差分離部500は、巡回型ノイズ低減部501および２次元型ノイズ低減部502を介してバッファ113へ接続されている。バッファ113は信号処理部114,変化量算出部116,巡回型ノイズ低減部501へ接続されている。変化量算出部116は、２次元型ノイズ低減部502へ接続されている。制御部118は、輝度色差分離部500,巡回型ノイズ低減部501,２次元型ノイズ低減部502と双方向に接続されている。
【０１２４】
［作用］
基本的に第１の実施形態と同等であり、異なる部分のみ説明する。図１２において、信号の流れを説明する。外部I/F部119を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101,CCD102を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。なお、第２の実施形態においては、CCD102としては色差線順次型補色フィルタを前面に配置した単板CCDを想定する。
【０１２５】
図１３(a)は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy),マゼンタ(Mg),イエロー(Ye),緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。CCD102からの映像信号は、図１３(a)に示されるように上下のラインが加算され、偶数ラインと奇数ラインに分離した２つのフィールド信号（偶数フィールド信号と奇数フィールド信号）から構成される。また、上記所定時間間隔として1/60秒（以後は１フィールド時間と表記する）を想定する。偶数および奇数フィールド信号を合成することで１枚の映像信号が得られるが、１枚の映像信号をフレーム信号と表記する。上記フレーム信号は、1/30秒間隔で合成されることになる。
【０１２６】
CCD102からのアナログ信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、３フィールド信号が記録可能で、撮影にともない順次上書きされることになる。
【０１２７】
輝度色差分離部500は、制御部118の制御に基づき、偶数および奇数フィールド信号から輝度信号Yと色差信号Cb,Crを算出する。
【０１２８】
【数１３】
この後、ノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を順次抽出する。第２の実施形態においては、局所領域としてとして5×5画素を想定する。ただし、輝度信号Yは5×5画素全てに存在するが、色差信号Cb,Crは5×3画素または5×2画素となる。
【０１２９】
図１３(b),(c)は、偶数および奇数フィールド信号から抽出された局所領域の一例を示す。
【０１３０】
図１３(b)は、偶数フィールド信号から輝度信号Yと色差信号Cb,Crを抽出した例を示す。色差信号Crは5×3画素、色差信号Cbは5×2画素となる。この場合、ノイズ低減処理の対象となる注目画素は輝度信号Yと色差信号Crで、色差信号Cbは対象外となる。なお、注目画素位置が異なれば、上記とは逆に色差信号Cbが存在し、色差信号Crが存在しない例も発生する。
【０１３１】
図１３(c)は、奇数フィールド信号から輝度信号Yと色差信号Cb,Crを抽出した例を示す。色差信号Cbは5×3画素、色差信号Crは5×2画素となる。この場合、ノイズ低減処理の対象となる注目画素は輝度信号Yと色差信号Cbで、色差信号Crは対象外となる。なお、注目画素位置が異なれば、上記とは逆に色差信号Crが存在し、色差信号Cbが存在しない例も発生する。
【０１３２】
以降は、時刻Tにおける局所領域内の画素をCTij（Cは輝度または色差信号でC=Y,Cb,Cr、iはX座標でi=0〜4、jはY座標で偶数フィールド信号の場合はｊ=0,2,4,6,8、奇数フィールド信号の場合はj=1,3,5,7,9）で表記する。なお、色差信号に関しては5×5画素の局所領域内で欠落する画素は処理の対象外となる。
【０１３３】
注目画素は、偶数フィールド信号の場合輝度信号がYT24、色差信号がCｒT24またはCbT24、奇数フィールド信号の場合輝度信号がYT25、色差信号がCｒT25またはCbT25となる。以後の説明は、図１３(b)に示されるような偶数フィールド信号かつ注目画素がYT24,CｒT24に関して行うが、偶数フィールド信号かつ注目画素がYT24,CbT24や奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
【０１３４】
バッファ106上には３フィールドの信号が記録されており、輝度色差分離部500は、時刻T-2のフィールド信号から上記局所領域の座標位置に対応し局所領域を包含するマッチング領域も輝度色差信号ごとに抽出する。マッチング領域のサイズとしては21×21画素を想定する。以降は、時刻T-2におけるマッチング領域内の画素をCT-2kl（kはX座標でk=0〜20、lはY座標で偶数フィールド信号場合はl=0〜40の偶数、奇数フィールド信号の輝度信号の場合はj=1〜41の奇数）で表記する。なお、色差信号に関しては21×21画素のマッチング領域内で欠落する画素は処理の対象外となる。抽出された局所領域およびマッチング領域は、順次巡回型ノイズ低減部501へ転送される。
【０１３５】
巡回型ノイズ低減部501は、制御部118の制御に基づき、バッファ113上に保存されたノイズ低減処理がなされた過去のフィールド信号から上記局所領域の座標位置に対応する局所領域を読み込む。バッファ113は、３フィールド信号が記録可能で、処理にともない順次上書きされることになる。以後、巡回型ノイズ低減処理がなされた画素をCNで、後述する２次元型ノイズ低減処理がなされた画素をC2Nで記述する。バッファ113から読み込まれる局所領域内の画素はC2NT-2ijとなる。さらに、後述する変化量算出部116からの変化量を読み込み、上記局所領域単位に巡回型のノイズ低減処理を行う。第１の実施形態における巡回型ノイズ低減部112では局所領域内の注目画素に対してのみノイズ低減処理を行っていたが、第２の実施形態においては局所領域内の全ての画素に対してノイズ低減処理が行われることを想定する。巡回型のノイズ低減処理がなされた局所領域CNTijは、順次２次元型ノイズ低減部502へ転送される。
【０１３６】
２次元型ノイズ低減部502は、制御部118の制御に基づき、巡回型ノイズ低減部501から巡回型のノイズ低減処理がなされた局所領域CNTijを読み込み、２次元のノイズ低減処理を行う。上記２次元のノイズ低減処理は、局所領域CNTij内の注目画素に関して行われ、処理後の注目画素は順次バッファ113へ転送され記録される。偶数フィールド信号かつ注目画素がYT24,CｒT24に関しては、Y2NT24,Cｒ2NT24がバッファ113へ転送されることになる。
【０１３７】
信号処理部114は制御部118の制御に基づき、ノイズ低減処理がなされた偶数フィールド信号および奇数フィールド信号に対して、公知の同時化処理を行いフレーム信号を生成する。その後、公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理を行う。以後、信号処理がなされた画素をCPで記述する。信号処理がなされたフレーム信号は、バッファ115へ転送され記録される。
【０１３８】
変化量算出部116は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた画素C2NTをバッファ115から信号処理がなされた画素CPTを読み込み、第１の実施形態と同様に所定の縮小率にて縮小処理した後、変化量ΔCを算出する。なお、上記の説明ではバッファ113およびバッファ115内に時刻Tにおけるフィールド信号が存在することになるが、巡回型ノイズ低減部501および２次元型ノイズ低減部502時刻Tにおけるフィールド信号のノイズ低減処理が行われている時点では、バッファ113およびバッファ115内に時刻T-2におけるフィールド信号が存在することになる。正しくは、バッファ115はフレーム信号となっているが、変化量算出部116はバッファ115内のフレーム信号をフィールド信号に分解して対応する画素を抽出する。すなわち、変化量算出部116は(14)式に示す変化量ΔCを求めることになる。
【０１３９】
【数１４】
なお、算出された変化量ΔCが１以下の場合は１に置換される。(14)式の変化量ΔCは、巡回型ノイズ低減部501へ転送される。一方、バッファ115内のフレーム信号は出力部117へ転送される。出力部117は、磁気ディスクやメモリカードなどの記録媒体に順次フレーム信号を記録保存する。
【０１４０】
図１４は巡回型ノイズ低減部501の構成の一例を示すもので、図３に示す巡回型ノイズ低減部112の構成から領域抽出拡大部205および変化量動き補償部206が省略された構成になっている。基本構成は図３に示す巡回型ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１４１】
輝度色差分離部500は、領域抽出部200へ接続している。動き推定部202は、閾値設定部207および２次元型ノイズ低減部502へ接続している。減算部208は、２次元型ノイズ低減部502へ接続している。
【０１４２】
領域抽出部200は、制御部118の制御に基づき、輝度色差分離部500から図１３(b),(c)に示されるに輝度信号Yと色差信号Cb,Crごとに5×5画素の局所領域CTijおよび21×21画素のマッチング領域CT-2klを順次読み込む。上記局所領域およびマッチング領域は動き推定部202へ、局所領域は差分信号算出部203および減算部208へ転送される。
【０１４３】
領域抽出部201は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の局所領域C2NT-2ijを順次読み込む。上記過去の局所領域は、差分信号算出部203へ転送される。
【０１４４】
動き推定部202は、制御部118の制御に基づき、領域抽出部200からの局所領域およびマッチング領域間で公知のマッチング処理に基づく動き量の推定を行う。推定された動き量Mは、閾値設定部207へ転送される。
【０１４５】
差分信号算出部203は、制御部118の制御に基づき、領域抽出部200からの局所領域CTijおよび領域抽出部201からのノイズ低減処理がなされた過去の局所領域C2NT-2ijを読み込み、差分信号δCijを算出する。
【０１４６】
【数１５】
算出された差分信号は、上限値設定部204へ転送される。
【０１４７】
閾値設定部207は、制御部118の制御に基づき、動き推定部202から動き量Mを読み込み、(15)式の差分信号に対する閾値Th1を(4)式に基づき算出する。算出された閾値Th1は、上限値設定部204へ転送される。
【０１４８】
上限値設定部204は、制御部118の制御に基づき、差分信号算出部203から差分信号δCijを閾値設定部207から閾値Th1を読み込み、差分信号δCijに対する上限値設定の処理を行う。
【０１４９】
【数１６】
(16)式は、差分信号δCijが閾値Th1を上回る（差分信号が負の場合は下回る）場合に閾値Th1を上限とする制約を設けることを意味する。これにより、動き量が大きい場合に差分信号δCijが制限されることになり、残像などの副作用が低減される。第１の実施形態における巡回型ノイズ低減部112との差は、巡回型ノイズ低減部112では(5)式に示されるように局所領域内の画素ごとに異なる閾値を使用するのに対して、局所領域内で共通する１つの閾値を使用することである。上限値設定がなされた差分信号δCijは、減算部208へ転送される。
【０１５０】
減算部208は、制御部118の制御に基づき、領域抽出部200から局所領域CTijを上限値設定部204から上限値設定がなされた差分信号δCijを読み込み、ノイズ低減処理後の局所領域CNTijを算出する。
【０１５１】
【数１７】
ノイズ低減処理後の局所領域CNTijは、２次元型ノイズ低減部502へ転送される。なお、上記構成では差分信号δCijに対して(16)式に示す上限値設定の処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、図５に示す巡回型ノイズ低減部に示されるように零値への置換処理を行う構成も可能である。この場合の置換処理は、(18)式に示される処理となる。
【０１５２】
【数１８】
さらに、図１４に示す巡回型ノイズ低減部501は、ノイズ成分を減算する減算型の構成となっていたが、このような構成に限定される必要はない。例えば、図１５に示されるように加算平均型の構成も可能である。
【０１５３】
図１５は巡回型ノイズ低減部501の別構成の一例を示すもので、図１４に示す差分信号算出部203,上限値設定部204,閾値設定部207,減算部208が省略され、第２関数部211,係数乗算部213,係数乗算部214,加算部215が追加された構成になっている。基本構成は図１４に示す巡回型ノイズ低減部501と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１５４】
領域抽出部200は、動き推定部202および係数乗算部213へ接続している。領域抽出部201は、係数乗算部214へ接続している。動き推定部202は、第２関数部211および２次元型ノイズ低減部502へ接続している。第２関数部211は、係数乗算部213および係数乗算部214へ接続している。係数乗算部213および係数乗算部214は、加算部215へ接続している。加算部215は、２次元型ノイズ低減部502へ接続している。制御部118は、第２関数部211,係数乗算部213,係数乗算部214,加算部215と双方向に接続されている。
【０１５５】
領域抽出部200は、制御部118の制御に基づき、輝度色差分離部500から図１３(b),(c)に示されるに輝度信号Yと色差信号Cb,Crごとに5×5画素の局所領域CTijおよび21×21画素のマッチング領域CT-2klを順次読み込む。上記局所領域およびマッチング領域は動き推定部202へ、局所領域は係数乗算部213へ転送される。
【０１５６】
領域抽出部201は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の局所領域C2NT-2ijを順次読み込む。上記過去の局所領域は、係数乗算部214へ転送される。動き推定部202にて推定された動き量Mは、第２関数部211へ転送される。
【０１５７】
第２関数部211は、制御部118の制御に基づき、動き推定部202にて推定された動き量Mを読み込み、(10)式で示される係数k2を算出する。算出された係数k2は、帰還係数RとしてR/2が係数乗算部213へ、1-R/2が係数乗算部214へ転送される。
【０１５８】
係数乗算部213は、制御部118の制御に基づき、領域抽出部200から局所領域CTijを第２関数部211から帰還係数R/2を読み込み、両者を乗算して加算部215へ転送する。
【０１５９】
係数乗算部214は、制御部118の制御に基づき、領域抽出部201から過去の局所領域C2NT-2ijを第２関数部211から帰還係数1-R/2を読み込み、両者を乗算して加算部215へ転送する。
【０１６０】
加算部215は、制御部118の制御に基づき、係数乗算部213からのR/2・CTijを係数乗算部214から(1-R/2)・C2NT-2ijを読み込み、両者を加算することでノイズ低減処理後の局所領域CNTijを算出する。上記係数乗算部213,係数乗算部214,加算部215での処理は(19)式に示される。
【０１６１】
【数１９】
上記帰還係数Rは、係数k2の特性から動きが大きい場合は０となり、小さい場合は１に近づく。(19)式から、動きが大きい場合は過去の信号の帰還率が低くなり残像などの副作用を抑制する。ノイズ低減処理後の局所領域CNTijは、２次元型ノイズ低減部502へ転送される。
【０１６２】
図１６は、２次元型ノイズ低減部502の構成の一例を示すもので、局所領域抽出部600,平均値算出部601,ゲイン算出部602,標準値付与部603,パラメータ用ROM604,パラメータ選択部605,ノイズ補間部606,領域抽出拡大部607,変化量動き補償部608,関数部609,ノイズ乗算部610,コアリング部611からなる。
【０１６３】
巡回型ノイズ低減部501は、局所領域抽出部600および変化量動き補償部608へ接続している。局所領域抽出部600は、平均値算出部601,コアリング部611を介してバッファ113へ接続している。平均値算出部601,ゲイン算出部602,標準値付与部603,パラメータ用ROM604は、パラメータ選択部605へ接続している。パラメータ選択部605は、ノイズ補間部606を介してノイズ乗算部610へ接続している。変化量算出部116は、領域抽出拡大部607,変化量動き補償部608,関数部609を介してノイズ乗算部610へ接続している。ノイズ乗算部610は、コアリング部611へ接続している。制御部118は、局所領域抽出部600,平均値算出部601,ゲイン算出部602,標準値付与部603,パラメータ選択部605,ノイズ補間部606,領域抽出拡大部607,変化量動き補償部608,関数部609,ノイズ乗算部610,コアリング部611と双方向に接続されている。
【０１６４】
以後の説明は、図１３(b)に示されるような偶数フィールド信号かつ注目画素がYT24,CｒT24に関して行うが、偶数フィールド信号かつ注目画素がYT24,CbT24や奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
【０１６５】
局所領域抽出部600は、制御部118の制御に基づき、巡回型ノイズ低減部501から巡回型のノイズ低減処理がなされた局所領域CNTijを読み込み、平均値算出部601へ転送する。
【０１６６】
平均値算出部601は、制御部118の制御に基づき、局所領域CNTijの平均値C_AV（C=Y,Cb,Cr）を算出する。図１３(b)に示される局所領域の場合、平均値は(20)式から得られる。
【０１６７】
【数２０】
算出された平均値C_AVは、パラメータ選択部605へ転送される。また、局所領域CNTij内の注目画素CNT24および平均値C_AVはコアリング部611へ転送される。
【０１６８】
ゲイン算出部602は、制御部118から転送されるISO感度および露光条件に関する情報に基づきGain104における増幅量を求め、パラメータ選択部605へ転送する。また、制御部118は温度センサー103からCCD102の温度情報を得て、これをパラメータ選択部605へ転送する。
【０１６９】
パラメータ選択部605は、平均値算出部601からの局所領域の平均値，ゲイン算出部602からのゲインの情報，制御部118からの温度情報に基づき局所領域のノイズ量を推定する。
【０１７０】
図１７は、ノイズ量の推定に関する説明図である。図１７(a)は、信号レベルLに対するノイズ量Nをプロットしたもので、信号レベルに対して２次曲線的に増加している。図１７(a)を２次関数でモデル化すると(21)式が得られる。
【０１７１】
【数２１】
ここで、α,β,γは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。図１７(a)は、一例としてある温度下においてゲインに関連する３種類のISO感度100,200,400に対するノイズ量をプロットしている。個々の曲線は(21)式に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形でモデルの定式化を行うと、(22)式となる。
【０１７２】
【数２２】
ここで、αgt, βgt,γgtは定数項である。ただし、(22)式の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このため、図１７(b)に示すようなモデルの簡略化を行う。図１７(b)においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLとノイズ量Nからなる座標データ(Ln, Nn)で表す。ここで、nは変曲点の数を示す。また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数kgtも用意される。補正係数kgtは、各ノイズモデルと基準ノイズモデル間から最小自乗法により算出される。基準ノイズモデルから他のノイズモデルを導出するには、上記補正係数kgtを乗算することで行われる。
【０１７３】
図１７(c)は、図１７(b)に示す簡易化されたノイズモデルからノイズ量を算出する方法を示す。例えば、与えられた信号レベルl、ゲインがg、温度がtに対応するノイズ量Nを求めることを想定する。まず、信号レベルlが基準ノイズモデルのどの区間に属するかを探索する。ここでは、(Ln, Nn)と(Ln+1, Nn+1)間の区間に属するとする。基準ノイズモデルにおける基準ノイズ量Nlを線形補間にて求める。
【０１７４】
【数２３】
次に補正係数kgtを乗算することで、ノイズ量Nを求める。
【０１７５】
【数２４】
なお、上記の説明においてノイズモデルを構築する際のノイズ量は、巡回型ノイズ低減部501にて巡回型のノイズ低減処理がなされた後の残存するノイズ量を意味する。
【０１７６】
パラメータ選択部605は、平均値算出部601からの局所領域の平均値C_AVから信号レベルlを、ゲイン算出部602からのゲインの情報からゲインgを、制御部118からの温度情報から温度tを設定する。次に、信号レベルlが属する区間の座標データ(Ln, Nn)と(Ln+1, Nn+1)をパラメータ用ROM604から探索し、これをノイズ補間部606へ転送する。さらに、補正係数kgtをパラメータ用ROM604から探索し、これをノイズ補間部606へ転送する。
【０１７７】
ノイズ補間部606は、制御部118の制御に基づき、パラメータ選択部605からの信号レベルlおよび区間の座標データ(Ln, Nn)と(Ln+1, Nn+1)から(23)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出する。その後、パラメータ選択部605からの補正係数kgtから(24)式に基づきノイズ量Nを算出する。上記ノイズ量Nは、図１３(b)に示される局所領域の場合、注目画素CNT24のノイズ量Nとしてノイズ乗算部610へ転送される。なお、上記ノイズ量算出の過程において、温度t，ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部603に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
【０１７８】
一方、領域抽出拡大部607は制御部118の制御に基づき、変化量算出部116から(14)式に示される変化量ΔCを読み込む。変化量ΔCは、縮小処理がなされているため、縮小率の逆数に相当する拡大率で拡大処理を行い、マッチング領域に対応する変化量ΔCklを抽出する。上記変化量ΔCklは、変化量動き補償部608へ転送される。
【０１７９】
変化量動き補償部608は、制御部118の制御に基づき、巡回型ノイズ低減部501から動き量Mを領域抽出拡大部607から変化量ΔCklを読み込み、公知の動き補償を行った後、局所領域の座標位置に相当する変化量ΔCijを抽出して関数部609へ転送する。
【０１８０】
関数部609は、制御部118の制御に基づき、変化量動き補償部608から動き補償された変化量ΔCijを読み込み、(9)式に示される係数k1を算出する。係数k1は、ノイズ乗算部610へ転送される。
【０１８１】
ノイズ乗算部610は、制御部118の制御に基づき、ノイズ補間部606からノイズ量Nを関数部609から係数k1を読み込み、補正されたノイズ量N'を求める。
【０１８２】
【数２５】
(25)式におけるωは調整用の重み係数を意味する。補正されたノイズ量N'は、コアリング部611へ転送される。
【０１８３】
コアリング部611は、制御部118の制御に基づき、平均値算出部601から注目画素CNT24および平均値C_AVをノイズ乗算部610から補正されたノイズ量N'を読み込み、注目画素に関してコアリング処理を行い２次元型のノイズ低減処理がなされた注目画素値C2NT24を求める。
【０１８４】
【数２６】
(26)式に示すコアリング処理に用いられる補正されたノイズ量N'は、係数k1の特性から信号処理の変化量が大きい場合は大きく、小さい場合は小さくなる。このため、信号処理の変化量が大きい場合はノイズ低減処理が強めになり、変化量が小さい場合はノイズ低減処理が弱めとなる。これにより、信号処理に起因するノイズの不均質な顕在化を抑制することができる。２次元型のノイズ低減処理がなされた注目画素C2NT24は、バッファ113へ転送される。
【０１８５】
なお、上記構成ではノイズ低減処理にコアリング処理を、ノイズ推定処理に補間処理を用いる構成となっていたが、このような構成に限定される必要はない。例えば、ノイズ低減処理に適用的なローパスフィルタ処理を行う構成やノイズ推定処理にルックアップテーブルを用いる構成も可能である。
【０１８６】
図１８Ａは、２次元型ノイズ低減部502の別構成の一例を示すもので、図１６に示すパラメータ用ROM604,パラメータ選択部605,ノイズ補間部606,コアリング部611を削除し、ノイズテーブル部612,フィルタ選択部613,係数用ROM614,ローパスフィルタ部615を追加した構成になっている。基本構成は図１６に示す２次元型ノイズ低減部502と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１８７】
平均値算出部601,ゲイン算出部602,標準値付与部603は、ノイズテーブル部612へ接続している。ノイズテーブル部612は、ノイズ乗算部610へ接続している。ノイズ乗算部610および係数用ROM614は、フィルタ選択部613へ接続している。平均値算出部601,フィルタ選択部613は、ローパスフィルタ部615へ接続している。ローパスフィルタ部615は、バッファ113へ接続している。制御部118は、ノイズテーブル部612,フィルタ選択部613,ローパスフィルタ部615と双方向に接続されている。
【０１８８】
平均値算出部601からの局所領域の平均値C_AV、ゲイン算出部602からのゲインの情報、制御部118からの温度情報はノイズテーブル部612へ転送される。
【０１８９】
ノイズテーブル部612は、平均値算出部601からの局所領域に関する平均値，ゲイン算出部602からのゲインの情報，制御部118からの温度情報に基づきノイズ量Nを出力する。ノイズテーブル部612は、温度，信号値レベル，ゲインとノイズ量間の関係を記録したルックアップテーブルで、(22)式に示される関係に基づき構築される。ノイズテーブル部612で得られたノイズ量Nは、図１３(b)に示される局所領域の場合、注目画素CNT24のノイズ量Nとしてノイズ乗算部610へ転送される。
【０１９０】
ノイズ乗算部610は、制御部118の制御に基づき、ノイズテーブル部612からノイズ量Nを関数部609から係数k1を読み込み、(25)式に示される補正されたノイズ量N'を求める。補正されたノイズ量N'は、フィルタ選択部613へ転送される。
【０１９１】
フィルタ選択部613は、制御部118の制御に基づき、ノイズ乗算部610からの補正されたノイズ量N'を用いて係数用ROM614からローパスフィルタ処理に用いるフィルタ係数を選択する。
【０１９２】
図１８Ｂは、係数用ROM614に記録されているフィルタ係数の一例を示すもので、サイズが5×5画素で、Type1〜Type4までの４種類の周波数特性が記録されている。なお、各係数は128倍されている。Type1は高周波成分を残存し、Type4へと順次高周波成分を抑制する周波数特性となっている。フィルタ選択部613は、補正されたノイズ量N'からType1〜Type4の周波数特性を選択する。この選択は、例えば図１８Ｃに示される補正されたノイズ量N'とフィルタの種類Type間の関係に基づき行われる。補正されたノイズ量N'が大きいほど高周波成分を抑制する周波数特性が選択されることになる。フィルタ選択部613は、選択されたフィルタ係数をローパスフィルタ部615へ転送する。
【０１９３】
ローパスフィルタ部615は、制御部118の制御に基づき、平均値算出部601からの局所領域に対してフィルタ選択部613からのフィルタ係数を用いてローパスフィルタ処理を行う。なお、輝度信号Yの場合は5×5画素の局所領域でローパスフィルタのサイズと一致するが、色差信号Crの場合は5×3画素の局所領域でローパスフィルタのサイズと一致しない。この場合は、存在しない画素に関してはローパスフィルタ処理の対象化から除外し、実際に使用された画素のフィルタ係数に基づき正規化することで対応する。ローパスフィルタ処理による結果は、２次元型のノイズ低減処理がなされた注目画素値として、バッファ113へ転送される。
【０１９４】
[効果]
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
【０１９５】
ノイズ低減処理に巡回型のノイズ低減処理と２次元型のノイズ低減処理を組み合わせて使用するため、高精度なノイズ低減処理が可能となり、高品位な映像信号が得られる。後段の信号処理に起因する変化量に基づき２次元型ノイズ低減処理を制御する構成は、制御法が容易となり、コストを低減することが可能となる。
【０１９６】
巡回型のノイズ低減処理は、減算型または加算型を用いるため、信号処理に起因するノイズの不均質な顕在化と動きに起因する残像などの副作用の両者を抑制することが可能となり、高品位な映像信号が得られる。また、減算によるノイズ低減処理は計算量が少なく、システム全体の高速化および低コスト化を可能とする。一方、加算によるノイズ低減処理は時間軸方向の連続性に優れ、違和感の少ない映像信号が得られる。
【０１９７】
２次元型ノイズ低減処理におけるノイズ量の推定は、撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。ノイズ量の算出に補間演算を用いる場合はシステムの低コスト化が可能となり、ルックアップテーブルを用いる場合は高速なノイズ量の推定が可能となる。コアリング処理によりノイズ低減処理はノイズ成分のみを重点的に低減でき、かつエッジなどのノイズ以外の画素との連続性が確保できる。一方、フィルタリング処理によりノイズ低減処理は実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。
【０１９８】
また、輝度信号および色差信号ごとにノイズ低減処理を行うため、ノイズを高精度に低減することができ、多様な撮像システムに適応することが可能となる。
【０１９９】
色差線順次型補色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。ノイズ低減処理後の信号処理として階調変換処理、エッジ強調処理、色強調処理の少なくとも１つの処理を行う構成は、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０２００】
また、信号処理の変化率の算出をノイズ低減処理がなされた映像信号と信号処理がなされた映像信号間から直接算出するため、変化量の算出を高精度化できる。
【０２０１】
さらに、縮小処理した信号間から変化量を算出し、ノイズ低減処理に使用する際に拡大する構成では、演算量や必要となる回路規模が削減され、処理の高速化およびシステムのコストを低減することが可能となる。
【０２０２】
［変形例］
上記第２の実施形態では撮像素子として色差線順次型補色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、第１の実施形態と同様にBayer型原色フィルタを用いる構成も可能である。この場合、欠落するRGB信号を公知の補間処理により補い、(27)式に基づき輝度信号と色差信号を求める。
【０２０３】
【数２７】
また、この場合はフレーム信号のみでフィールド信号が存在しいことになる。巡回型ノイズ低減部501は、第１の実施形態と同様に1/30秒前のフレーム信号を用いて処理を行うことになる。
【０２０４】
さらに、第２の実施形態ではレンズ系100,絞り101,CCD102,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
【０２０５】
さらに、第２の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの映像信号を未処理のままのRawデータとして、制御部118からCCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０２０６】
図１９Ａは、信号処理のソフトウェア処理に関するフローを示す。なお、図１１Ａに示す第１の実施形態における信号処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０２０７】
ステップS1にて、映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
【０２０８】
ステップS50にて、映像信号から偶数フィールド信号および奇数フィールド信号を順次抽出する。
【０２０９】
ステップS3にて、図１１Ｂに示す第１の実施形態の変化量算出処理と同様に、後段の信号処理に起因する変化量を過去の、第２の実施形態では２フィールド過去のフィールド信号から算出する。
【０２１０】
ステップS51にて、(13)式に示されるように輝度信号と色差信号を分離する。
【０２１１】
ステップS5にて、分離後の輝度信号および色差信号から図１３(b),(c)に示されるように、5×5画素の局所領域が抽出される。なお、局所領域内で欠落する画素は以後の処理の対象外となる。
【０２１２】
ステップS52にて、別途説明するように巡回型のノイズ低減処理を行う。
【０２１３】
ステップS53にて、別途説明するよう２次元型のノイズ低減処理を行う。
【０２１４】
ステップS7にて、ノイズ低減処理がなされた信号を出力する。
【０２１５】
ステップS8にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS5へ分岐し、完了した場合はステップS54へ分岐する。
【０２１６】
ステップS54にて、全ての輝度色差信号が完了したかを判断し、完了していない場合はステップS51へ分岐し、完了した場合はステップS10へ分岐する。
【０２１７】
ステップS10にて、偶数フィールド信号および奇数フィールド信号に対して公知の同時化処理を行いフレーム信号を生成し、その後に公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理が行われる。
【０２１８】
ステップS11にて、処理が完了したフレーム信号が出力される。
【０２１９】
ステップS55にて、全てのフィールド信号が完了したかを判断し、完了していない場合はステップS50へ分岐し、完了した場合は終了する。
【０２２０】
図１９Ｂは、上記ステップS52における巡回型ノイズ低減処理に関するフローである。なお、図１１Ｃに示す第１の実施形態における巡回型ノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０２２１】
ステップS30にて、過去のフィールド信号を入力する。
【０２２２】
ステップS31にて、過去のフィールド信号から局所領域を包含する所定サイズ、例えば21×21画素のマッチング領域を抽出する。
【０２２３】
ステップS32にて、局所領域とマッチング領域間で公知のマッチング処理を行うことで動き量を推定する。
【０２２４】
ステップS36にて、動き量に基づき(4)式に示されるように閾値を算出する。
【０２２５】
ステップS37にて、ノイズ低減処理がなされた過去のフィールド信号を読み込む。
【０２２６】
ステップS38にて、局所領域およびノイズ低減処理がなされた過去のフィールド信号からの局所領域間で(15)式に示されるように差分信号を算出する。
【０２２７】
ステップS39にて、差分信号に対して閾値に基づき(16)式に示されるように上限値を設定する。
【０２２８】
ステップS40にて、上限値が設定された差分信号と局所領域間で(17)式に示されるように減算処理によりノイズ低減処理を行い終了する。
【０２２９】
図１９Ｃは、上記ステップS53における２次元型ノイズ低減処理に関するフローである。
【０２３０】
ステップS60にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
【０２３１】
ステップS61にて、基準ノイズモデルの座標データおよび補正係数を読み込む。
【０２３２】
ステップS62にて、(20)式に示されるように局所領域の平均値を算出する。
【０２３３】
ステップS63にて、注目画素値が属する基準ノイズモデルの区間の座標データおよび対応する補正係数を選択する。
【０２３４】
ステップS64にて、(23)式に示される補間処理にて基準ノイズ量を求め、(24)式に示される補正処理にてノイズ量を求める。
【０２３５】
ステップS65にて、変化量を入力する。
【０２３６】
ステップS66にて、縮小されている変化量を拡大処理し、局所領域に対応する変化量を算出する。
【０２３７】
ステップS67にて、変化量に対して動き量に基づき公知の動き補償処理を行う。
【０２３８】
ステップS68にて、動き補償された変化量から(9)式に示されるように係数を算出する。
【０２３９】
ステップS69にて、(25)式に示される補正されたノイズ量を求める。
【０２４０】
ステップS70にて、(26)式に示されるコアリング処理を行い２次元型のノイズ低減処理がなされた注目画素値を求めて終了する。
【０２４１】
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０２４２】
第３の実施形態
［構成］
図２０は、本発明の第３の実施形態の構成図である。第３の実施形態は、図１に示す第１の実施形態におけるCCD102が#1CCD700および#2CCD701へ、巡回型ノイズ低減部112が２次元型ノイズ低減部702へ置換され、プリズム系703が追加された構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
【０２４３】
レンズ系100,絞り101を介して入射された光束は、プリズム系703により２方向に分岐され#1CCD700および#2CCD701へ到達する。#1CCD700および#2CCD701による映像信号は、Gain104にて増幅され、A/D105にてデジタル信号へ変換され、バッファ106へ転送される。
【０２４４】
色信号分離部111は２次元型ノイズ低減部702へ、２次元型ノイズ低減部702はバッファ113へ接続されている。バッファ113は、信号処理部114および変化量算出部116へ接続されている。変化量算出部116は、２次元型ノイズ低減部702へ接続されている。測光評価部108は絞り101,#1CCD700,#2CCD701,Gain104へ接続されている。制御部118は、２次元型ノイズ低減部702と双方向に接続されている。さらに、#2CCD701の近傍に配置された温度センサー103からの信号は制御部118へ接続されている。
【０２４５】
［作用］
基本的に第１の実施形態と同等であり、異なる部分のみ説明する。図２０において、信号の流れを説明する。外部I/F部119を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101を介して入射された光束は、プリズム系703により２方向に分岐され#1CCD700および#2CCD701にて所定時間間隔で連続的に映像信号が生成される。以後、連続的に出力される複数の映像信号を単に映像信号、１枚の映像信号をフレーム信号と表記する。第３の実施形態においては、上記所定時間間隔として1/30秒（以後は１フレーム時間と表記する）を想定する。また撮像系として、#1CCD700は赤(R),青(B)フィルタが市松状に配置され、#2CCD701は全画素に緑(G)フィルタが配置された二板CCDを想定する。
【０２４６】
図２１(a),(c)は、二板CCDの色フィルタの構成を示す。二板CCDにおけるフレーム信号は、1つの画素に関してGとR、またはGとBの2色の色信号からなる。上記映像信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。
【０２４７】
バッファ106は、１フレームの信号を記録可能で、撮影にともない古いフレーム信号から順次上書きされることになる。
【０２４８】
色信号分離部111は、制御部118の制御に基づき、以後のノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を色信号ごとに順次抽出する。第３の実施形態においては、注目画素がGとRの場合は図２１(b)に示されるGとRの5×5画素の２つの局所領域が抽出され、注目画素はR22,G22となる。また、注目画素がGとBの場合は図２１(d)に示されるGとBの5×5画素の２つの局所領域が抽出され、注目画素はB22,G22となる。以降は、時刻Tにおける局所領域内の画素をCTij（Cは色信号でC=R,GまたはB,G、iはX座標でi=0〜4、jはY座標でj=0〜4）で、注目画素をCT22で表記する。なお、RまたはBの場合、5×5画素の局所領域内で13画素しか存在しないことになる。欠落する画素は、以降の処理では対象外となる。フレーム信号からもれなく注目画素を抽出するために、図２１(b),(c)に示される5×5画素の局所領域は２行２列ずつ重複して順次抽出されることになる。
【０２４９】
２次元型ノイズ低減部702は、制御部118の制御に基づき、色信号分離部111から上記局所領域を、後述する変化量算出部116から変化量を読み込み、上記局所領域単位に２次元型のノイズ低減処理を行う。以後、ノイズ低減処理がなされた画素をCNで記述する。ノイズ低減処理は局所領域内の注目画素CT22に対して行われ、ノイズ低減処理がなされた注目画素CNT22はバッファ113へ転送され記録される。
【０２５０】
バッファ113は、１フレームの信号を記録可能で、ノイズ低減処理にともない順次上書きされることになる。１フレーム信号のノイズ低減処理が完了した後、信号処理部114は制御部118の制御に基づき、ノイズ低減処理がなされたフレーム信号に対して、公知の補間処理を行い、その後公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理を行う。以後、信号処理がなされた画素をCPで記述する。信号処理がなされたフレーム信号は、バッファ115へ転送され記録される。
【０２５１】
変化量算出部116は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた画素CNをバッファ115から信号処理がなされた画素CPを読み込み、その変化量ΔCを求める。なお、上記の説明ではバッファ113およびバッファ115内に時刻Tにおけるフレーム信号が存在することになるが、２次元型ノイズ低減部702で時刻Tにおけるフレーム信号のノイズ低減処理が行われている時点では、バッファ113およびバッファ115内に時刻T-1におけるフレーム信号が存在することになる。変化量ΔCは、(2)式に示されるように算出される。変化量ΔCは、２次元型ノイズ低減部702へ転送される。
【０２５２】
一方、バッファ115内のフレーム信号は出力部117へ転送される。出力部117は、磁気ディスクやメモリカードなどの記録媒体に順次フレーム信号を記録保存する。
【０２５３】
図２２は２次元型ノイズ低減部702の構成の一例を示すもので、図１６に示す２次元型ノイズ低減部502から変化量動き補償部608が省略された構成になっている。基本構成は図１６に示す２次元型ノイズ低減部502と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０２５４】
色信号分離部111は、局所領域抽出部600へ接続している。領域抽出拡大部607は、関数部609へ接続している。以後の説明は、図２１(b)に示すGとRの２つの局所領域に関して行うが、図２１(d)に示されるGとBの２つの局所領域に関しも局所領域の構成が異なるだけで同様に成立する。
【０２５５】
局所領域抽出部600は、制御部118の制御に基づき、色信号分離部111から局所領域CTijを読み込み、平均値算出部601へ転送する。
【０２５６】
平均値算出部601は、制御部118の制御に基づき、局所領域CTijの平均値C_AV（C=R,G,B）を算出する。図２１(b)に示すGとRの２つの局所領域の場合、平均値は(28)式から得られる。
【０２５７】
【数２８】
算出された平均値C_AVは、パラメータ選択部605へ転送される。また、局所領域CTij内の注目画素CT22および平均値C_AVはコアリング部611へ転送される。
【０２５８】
ゲイン算出部602は、制御部118から転送されるISO感度および露光条件に関する情報に基づきGain104における増幅量を求め、パラメータ選択部605へ転送する。
【０２５９】
また、制御部118は温度センサー103から#2CCD701の温度情報を得て、これをパラメータ選択部605へ転送する。
【０２６０】
パラメータ選択部605は、制御部118の制御に基づき、平均値算出部601からの局所領域の平均値，ゲイン算出部602からのゲインの情報，制御部118からの温度情報に基づき局所領域のノイズ量を推定に使用するパラメータをパラメータ用ROM604から探索し、これをノイズ補間部606へ転送する。
【０２６１】
ノイズ補間部606は、制御部118の制御に基づき、(23)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出し、(24)式に基づきノイズ量Nを算出する。上記ノイズ量Nは、注目画素CT22のノイズ量Nとしてノイズ乗算部610へ転送される。なお、上記パラメータ用ROM604に記録されているノイズモデルは、第１の実施形態では巡回型のノイズ低減処理がなされた後の残存するノイズ量をモデル化していたのに対して、#1CCD700および#2CCD701などの撮像系からのノイズ量をモデル化している。また、上記ノイズ量算出の過程において、温度t，ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部603に記録させておき、算出過程を省略する構成も可能である。
【０２６２】
一方、領域抽出拡大部607は制御部118の制御に基づき、変化量算出部116から(2)式に示される変化量ΔCを読み込む。変化量ΔCは、縮小処理がなされているため、縮小率の逆数に相当する拡大率で拡大処理を行い、局所領域に対応する変化量ΔCijを抽出する。上記変化量ΔCijは、関数部609へ転送される。
【０２６３】
関数部609は、制御部118の制御に基づき、領域抽出拡大部607から変化量ΔCijを読み込み、図７(a)に示されるような係数k1を算出する。係数k1は、ノイズ乗算部610へ転送される。
【０２６４】
ノイズ乗算部610は、制御部118の制御に基づき、ノイズ補間部606からノイズ量Nを関数部609から係数k1を読み込み、(25)式に基づき補正されたノイズ量N'を求める。補正されたノイズ量N'は、コアリング部611へ転送される。
【０２６５】
コアリング部611は、制御部118の制御に基づき、平均値算出部601から注目画素CT22および平均値C#AVをノイズ乗算部610から補正されたノイズ量N'を読み込み、注目画素に関してコアリング処理を行い２次元型のノイズ低減処理がなされた注目画素値CNT22を求める。
【０２６６】
【数２９】
(29)式に示すコアリング処理に用いられる補正されたノイズ量N'は、係数k1の特性から信号処理の変化量が大きい場合は大きく、小さい場合は小さくなる。このため、信号処理の変化量が大きい場合はノイズ低減処理が強めになり、変化量が小さい場合はノイズ低減処理が弱めとなる。これにより、信号処理に起因するノイズの不均質な顕在化を抑制することができる。２次元型のノイズ低減処理がなされた注目画素CNT22は、バッファ113へ転送される。
【０２６７】
なお、上記構成ではノイズ低減処理にコアリング処理を、ノイズ推定処理に補間処理を用いる構成となっていたが、このような構成に限定される必要はない。例えば、ノイズ低減処理に適用的なローパスフィルタ処理を行う構成やノイズ推定処理にルックアップテーブルを用いる構成も可能である。
【０２６８】
図２３は、２次元型ノイズ低減部702の別構成の一例を示すもので、図２２に示すパラメータ用ROM604,パラメータ選択部605,ノイズ補間部606,コアリング部611を削除し、ノイズテーブル部612,フィルタ選択部613,係数用ROM614,ローパスフィルタ部615を追加した構成になっている。基本構成は図２２に示す２次元型ノイズ低減部702と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０２６９】
平均値算出部601,ゲイン算出部602,標準値付与部603は、ノイズテーブル部612へ接続している。ノイズテーブル部612は、ノイズ乗算部610へ接続している。ノイズ乗算部610および係数用ROM614は、フィルタ選択部613へ接続している。平均値算出部601,フィルタ選択部613は、ローパスフィルタ部615へ接続している。ローパスフィルタ部615は、バッファ113へ接続している。制御部118は、ノイズテーブル部612,フィルタ選択部613,ローパスフィルタ部615と双方向に接続されている。
【０２７０】
平均値算出部601からの局所領域の平均値C_AV、ゲイン算出部602からのゲインの情報、制御部118からの温度情報はノイズテーブル部612へ転送される。
【０２７１】
ノイズテーブル部612は、平均値算出部601からの局所領域に関する平均値，ゲイン算出部602からのゲインの情報，制御部118からの温度情報に基づきノイズ量Nを出力する。上記ノイズ量Nは、ノイズ乗算部610へ転送される。
【０２７２】
ノイズ乗算部610は、制御部118の制御に基づき、ノイズテーブル部612からノイズ量Nを関数部609から係数k1を読み込み、(25)式に示される補正されたノイズ量N'を求める。補正されたノイズ量N'は、フィルタ選択部613へ転送される。
【０２７３】
フィルタ選択部613は、制御部118の制御に基づき、ノイズ乗算部610からの補正されたノイズ量N'を用いて係数用ROM614からローパスフィルタ処理に用いる、例えば図１８Ｂに示されるようなフィルタ係数を選択する。この選択は、例えば図１８Ｃに示される補正されたノイズ量N'とフィルタの種類Type間の関係に基づき行われる。フィルタ選択部613は、選択されたフィルタ係数をローパスフィルタ部615へ転送する。
【０２７４】
ローパスフィルタ部615は、制御部118の制御に基づき、平均値算出部601からの局所領域に対してフィルタ選択部613からのフィルタ係数を用いてローパスフィルタ処理を行う。なお、Gの場合は5×5画素の局所領域でローパスフィルタのサイズと一致するが、RまたはBの場合は局所領域内で欠落する画素が存在する。この場合は、存在しない画素に関してはローパスフィルタ処理の対象化から除外し、実際に使用された画素のフィルタ係数に基づき正規化することで対応する。ローパスフィルタ処理による結果は、２次元型のノイズ低減処理がなされた注目画素値として、バッファ113へ転送される。
【０２７５】
[効果]
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
【０２７６】
ノイズ低減処理に２次元型のノイズ低減処理を使用するため、回路規模を縮小することができ、コストを低減することが可能となる。また、残像の発生や時間的遅延などの副作用が少なく、安定した処理が可能となる。後段の信号処理に起因する変化量に基づき２次元型ノイズ低減処理を制御する構成は、制御法が容易となり、コストを低減することが可能となる。２次元型ノイズ低減処理におけるノイズ量の推定は、撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。
【０２７７】
ノイズ量の算出に補間演算を用いる場合はシステムの低コスト化が可能となり、ルックアップテーブルを用いる場合は高速なノイズ量の推定が可能となる。コアリング処理によるノイズ低減処理はノイズ成分のみを重点的に低減でき、かつエッジなどのノイズ以外の画素との連続性が確保できる。一方、フィルタリング処理によりノイズ低減処理は実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。
【０２７８】
また、色信号ごとにノイズ低減処理を行うため、ノイズを高精度に低減することができ、高品位な映像信号が得られる。
【０２７９】
ノイズ低減処理後の信号処理として階調変換処理、エッジ強調処理、色強調処理の少なくとも１つの処理を行う構成は、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０２８０】
また、信号処理の変化率の算出をノイズ低減処理がなされた映像信号と信号処理がなされた映像信号間から直接算出するため、変化量の算出を高精度化できる。
【０２８１】
さらに、縮小処理した信号間から変化量を算出し、ノイズ低減処理に使用する際に拡大する構成では、演算量や必要となる回路規模が削減され、処理の高速化およびシステムのコストを低減することが可能となる。
【０２８２】
［変形例］
上記第３の実施形態ではレンズ系100,絞り101,#1CCD700,#2CCD701,プリズム系703,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらに#1CCD700,#2CCD701の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
【０２８３】
さらに、第３の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、#1CCD700,#2CCD701からの映像信号を未処理のままのRawデータとして、制御部118から#1CCD700,#2CCD701の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０２８４】
図２４Ａは、信号処理のソフトウェア処理に関するフローを示す。なお、図１１Ａに示す第１の実施形態における信号処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０２８５】
ステップS1にて、映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
【０２８６】
ステップS2にて、映像信号から順次フレーム信号を抽出する。
【０２８７】
ステップS3にて、図１１Ｂに示す第１の実施形態の変化量算出処理と同様に、後段の信号処理に起因する変化量を過去の、第３の実施形態では1フレーム過去のフレーム信号から算出する。
【０２８８】
ステップS4にて、図２１(b),(d)に示されるように#1CCD700,#2CCD701の色フィルタに基づき、色信号ごとに分離する。
【０２８９】
ステップS5にて、図２１(b),(d)に示されるようにノイズ低減処理の対象となる注目画素を包含する所定サイズ、例えば5×5画素サイズの局所領域を抽出する。
【０２９０】
ステップS80にて、別途説明するように２次元型のノイズ低減処理を行う。
【０２９１】
ステップS7にて、ノイズ低減処理がなされた信号を出力する。
【０２９２】
ステップS8にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS5へ分岐し、完了した場合はステップS9へ分岐する。
【０２９３】
ステップS9にて、全ての色信号が完了したかを判断し、完了していない場合はステップS4へ分岐し、完了した場合はステップS10へ分岐する。
【０２９４】
ステップS10にて、公知の補間処理の後に公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理が行われる。
【０２９５】
ステップS11にて、処理が完了したフレーム信号が出力される。
【０２９６】
ステップS12にて、全てのフレーム信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合は終了する。
【０２９７】
図２４Ｂは、上記ステップS80における２次元型ノイズ低減処理に関するフローである。なお、図１９Ｃに示す第２の実施形態における２次元型ノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０２９８】
ステップS60にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
【０２９９】
ステップS61にて、基準ノイズモデルの座標データおよび補正係数を読み込む。
【０３００】
ステップS62にて、(28)式に示されるように局所領域の平均値を算出する。
【０３０１】
ステップS63にて、注目画素値が属する基準ノイズモデルの区間の座標データおよび対応する補正係数を選択する。
【０３０２】
ステップS64にて、(23)式に示される補間処理にて基準ノイズ量を求め、(24)式に示される補正処理にてノイズ量を求める。
【０３０３】
ステップS65にて、変化量を入力する。
【０３０４】
ステップS66にて、縮小されている変化量を拡大処理し、局所領域に対応する変化量を算出する。
【０３０５】
ステップS69にて、(25)式に示される補正されたノイズ量を求める。
【０３０６】
ステップS70にて、(29)式に示されるコアリング処理を行い２次元型のノイズ低減処理がなされた注目画素値を求めて終了する。
【０３０７】
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０３０８】
第４の実施形態
［構成］
図２５は、本発明の第４の実施形態の構成図である。第４の実施形態は、図１に示す第１の実施形態におけるCCD102がR#CCD800,G#CCD801,B#CCD802へ、巡回型ノイズ低減部112が２次元型ノイズ低減部803へ置換され、符号化部804,プリズム系805が追加された構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
【０３０９】
レンズ系100,絞り101を介して入射された光束は、プリズム系805により３方向に分岐されR#CCD800,G#CCD801,B#CCD802へ到達する。R#CCD800,G#CCD801,B#CCD802による映像信号は、Gain104にて増幅され、A/D105にてデジタル信号へ変換され、バッファ106へ転送される。
【０３１０】
色信号分離部111は２次元型ノイズ低減部803へ、２次元型ノイズ低減部803はバッファ113へ接続されている。バッファ113は、信号処理部114および変化量算出部116へ接続されている。変化量算出部116は、２次元型ノイズ低減部803へ接続されている。バッファ115は符号化部804へ、符号化部804は出力部117および２次元型ノイズ低減部803へ接続されている。測光評価部108は絞り101,R#CCD800,G#CCD801,B#CCD802,Gain104へ接続されている。制御部118は、２次元型ノイズ低減部803,符号化部804と双方向に接続されている。さらに、G#CCD801の近傍に配置された温度センサー103からの信号は制御部118へ接続されている。
【０３１１】
［作用］
基本的に第１の実施形態と同等であり、異なる部分のみ説明する。図２５において、信号の流れを説明する。外部I/F部119を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101を介して入射された光束は、プリズム系805により３方向に分岐されR#CCD800,G#CCD801,B#CCD802にて所定時間間隔で連続的に映像信号が生成される。以後、連続的に出力される複数の映像信号を単に映像信号、１枚の映像信号をフレーム信号と表記する。第４の実施形態においては、上記所定時間間隔として1/30秒（以後は１フレーム時間と表記する）を想定する。
【０３１２】
また撮像系として、R#CCD800は赤(R)フィルタが、G#CCD801は緑(G)フィルタが、B#CCD802は青(B)フィルタが全画素に配置された三板CCDを想定する。図２６は、三板CCDの色フィルタの構成を示す。三板CCDにおけるフレーム信号は、1つの画素に関してR,G,Bの3色の色信号からなる。
【０３１３】
上記映像信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、１フレームの信号を記録可能で、撮影にともない古いフレーム信号から順次上書きされることになる。
【０３１４】
色信号分離部111は、制御部118の制御に基づき、以後のノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を色信号ごとに順次抽出する。第４の実施形態においては、図２６に示される5×5画素の3つの局所領域が抽出され、注目画素はR22,G22,B22となる。以降は、時刻Tにおける局所領域内の画素をCTij（Cは色信号でC=R,G,B、iはX座標でi=0〜4、jはY座標でj=0〜4）で、注目画素をCT22で表記する。フレーム信号からもれなく注目画素を抽出するために、図２６に示される5×5画素の局所領域は２行２列ずつ重複して順次抽出されることになる。
【０３１５】
２次元型ノイズ低減部803は、制御部118の制御に基づき、色信号分離部111から上記局所領域を、後述する変化量算出部116から変化量を、後述する符号化部804から動き量を読み込み、上記局所領域単位に２次元型のノイズ低減処理を行う。以後、ノイズ低減処理がなされた画素をCNで記述する。ノイズ低減処理は局所領域内の注目画素CT22に対して行われ、ノイズ低減処理がなされた注目画素CNT22はバッファ113へ転送され記録される。バッファ113は、１フレームの信号を記録可能で、ノイズ低減処理にともない順次上書きされることになる。
【０３１６】
１フレーム信号のノイズ低減処理が完了した後、信号処理部114は制御部118の制御に基づき、ノイズ低減処理がなされたフレーム信号に対して公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理を行う。以後、信号処理がなされた画素をCPで記述する。信号処理がなされたフレーム信号は、バッファ115へ転送され記録される。
【０３１７】
変化量算出部116は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた画素CNをバッファ115から信号処理がなされた画素CPを読み込み、その変化量ΔCを求める。なお、上記の説明ではバッファ113およびバッファ115内に時刻Tにおけるフレーム信号が存在することになるが、２次元型ノイズ低減部803で時刻Tにおけるフレーム信号のノイズ低減処理が行われている時点では、バッファ113およびバッファ115内に時刻T-1におけるフレーム信号が存在することになる。変化量ΔCは、(2)式に示されるように算出される。変化量ΔCは、２次元型ノイズ低減部803へ転送される。
【０３１８】
一方、バッファ115内のフレーム信号は符号化部804へ転送される。符号化部804は、制御部118の制御に基づき、公知のMPEGなどの動画像の符号化処理を行う。符号化された映像信号は、出力部117へ転送される。また、動画像の符号化処理にて算出された動き情報は２次元型ノイズ低減部803へ転送される。
【０３１９】
出力部117は、磁気ディスクやメモリカードなどの記録媒体に符号化された映像信号を順次記録保存する。
【０３２０】
図２７は２次元型ノイズ低減部803の構成の一例を示すもので、図１６に示す２次元型ノイズ低減部502と同等な構成になっている。差異は、２次元型ノイズ低減部502においては巡回型ノイズ低減部501が局所領域抽出部600および変化量動き補償部608へ接続していたのに対し、２次元型ノイズ低減部803においては色信号分離部111が局所領域抽出部600へ、符号化部804が変化量動き補償部608へ接続する構成となっている。以下、異なる部分のみ説明する。
【０３２１】
局所領域抽出部600は、制御部118の制御に基づき、色信号分離部111から局所領域CTijを読み込み、平均値算出部601へ転送する。
【０３２２】
平均値算出部601は、制御部118の制御に基づき、局所領域CTijの平均値C_AV（C=R,G,B）を算出する。図２６に示すR,G,Bの３つの局所領域の場合、平均値は(30)式から得られる。
【０３２３】
【数３０】
また、局所領域CTij内の注目画素CT22および平均値C_AVはコアリング部611へ転送される。
【０３２４】
ゲイン算出部602は、制御部118から転送されるISO感度および露光条件に関する情報に基づきGain104における増幅量を求め、パラメータ選択部605へ転送する。
【０３２５】
また、制御部118は温度センサー103からG#CCD801の温度情報を得て、これをパラメータ選択部605へ転送する。パラメータ選択部605は、制御部118の制御に基づき、平均値算出部601からの局所領域の平均値，ゲイン算出部602からのゲインの情報，制御部118からの温度情報に基づき局所領域のノイズ量を推定に使用するパラメータをパラメータ用ROM604から探索し、これをノイズ補間部606へ転送する。
【０３２６】
ノイズ補間部606は、制御部118の制御に基づき、(23)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出し、(24)式に基づきノイズ量Nを算出する。上記ノイズ量Nは、注目画素CT22のノイズ量Nとしてノイズ乗算部610へ転送される。なお、上記パラメータ用ROM604に記録されているノイズモデルはR#CCD800,G#CCD801,B#CCD802などの撮像系からのノイズ量をモデル化している。また、上記ノイズ量算出の過程において、温度t，ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部603に記録させておき、算出過程を省略する構成も可能である。
【０３２７】
一方、領域抽出拡大部607は制御部118の制御に基づき、変化量算出部116から(2)式に示される変化量ΔCを読み込む。変化量ΔCは、縮小処理がなされているため、縮小率の逆数に相当する拡大率で拡大処理を行い、局所領域に対応する変化量ΔCijを抽出する。
【０３２８】
変化量動き補償部608は、制御部118の制御に基づき、符号化部804から動き量Mを領域抽出拡大部607から変化量ΔCijを読み込み、公知の動き補償を行った後に関数部609へ転送する。
【０３２９】
関数部609は、制御部118の制御に基づき、変化量動き補償部608から動き補償された変化量ΔCijを読み込み、(9)式に示される係数k1を算出する。係数k1は、ノイズ乗算部610へ転送される。
【０３３０】
ノイズ乗算部610は、制御部118の制御に基づき、ノイズ補間部606からノイズ量Nを関数部609から係数k1を読み込み、(25)式に基づき補正されたノイズ量N'を求める。補正されたノイズ量N'は、コアリング部611へ転送される。
【０３３１】
コアリング部611は、制御部118の制御に基づき、平均値算出部601から注目画素CT22および平均値C_AVをノイズ乗算部610から補正されたノイズ量N'を読み込み、注目画素に関して(29)式に示されるコアリング処理を行い２次元型のノイズ低減処理がなされた注目画素値CNT22を求める。２次元型のノイズ低減処理がなされた注目画素CNT22は、バッファ113へ転送される。
【０３３２】
なお、上記構成ではノイズ低減処理にコアリング処理を、ノイズ推定処理に補間処理を用いる構成となっていたが、このような構成に限定される必要はない。例えば、ノイズ低減処理に適用的なローパスフィルタ処理を行う構成やノイズ推定処理にルックアップテーブルを用いる構成も可能である。
【０３３３】
[効果]
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
【０３３４】
ノイズ低減処理に２次元型のノイズ低減処理を使用するため、回路規模を縮小することができ、コストを低減することが可能となる。また、残像の発生や時間的遅延などの副作用が少なく、安定した処理が可能となる。後段の信号処理に起因する変化量に基づき２次元型ノイズ低減処理を制御する構成は、制御法が容易となり、コストを低減することが可能となる。２次元型ノイズ低減処理におけるノイズ量の推定は、撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。
【０３３５】
また、色信号ごとにノイズ低減処理を行うため、ノイズを高精度に低減することができ、高品位な映像信号が得られる。
【０３３６】
ノイズ低減処理後の信号処理として階調変換処理、エッジ強調処理、色強調処理の少なくとも１つの処理を行う構成は、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０３３７】
また、信号処理の変化率の算出をノイズ低減処理がなされた映像信号と信号処理がなされた映像信号間から直接算出するため、変化量の算出を高精度化できる。
【０３３８】
さらに、縮小処理した信号間から変化量を算出し、ノイズ低減処理に使用する際に拡大する構成では、演算量や必要となる回路規模が削減され、処理の高速化およびシステムのコストを低減することが可能となる。
【０３３９】
［変形例］
上記第４の実施形態ではレンズ系100,絞り101,R#CCD800,G#CCD801,B#CCD802,プリズム系805,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにR#CCD800,G#CCD801,B#CCD802の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
【０３４０】
さらに、第４の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、R#CCD800,G#CCD801,B#CCD802からの映像信号を未処理のままのRawデータとして、制御部118からR#CCD800,G#CCD801,B#CCD802の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０３４１】
図２８Ａは、信号処理のソフトウェア処理に関するフローを示す。なお、図１１Ａに示す第１の実施形態における信号処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０３４２】
ステップS1にて、映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
【０３４３】
ステップS2にて、映像信号から順次フレーム信号を抽出する。
【０３４４】
ステップS3にて、図１１Ｂに示す第１の実施形態の変化量算出処理と同様に、後段の信号処理に起因する変化量を過去の、第４の実施形態では1フレーム過去のフレーム信号から算出する。
【０３４５】
ステップS4にて、図２６に示されるようにR#CCD800,G#CCD801,B#CCD802の色フィルタに基づき、色信号ごとに分離する。
【０３４６】
ステップS5にて、図２６に示されるようにノイズ低減処理の対象となる注目画素を包含する所定サイズ、例えば5×5画素サイズの局所領域を抽出する。
【０３４７】
ステップS90にて、別途説明するように２次元型のノイズ低減処理を行う。
【０３４８】
ステップS7にて、ノイズ低減処理がなされた信号を出力する。
【０３４９】
ステップS8にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS5へ分岐し、完了した場合はステップS9へ分岐する。
【０３５０】
ステップS9にて、全ての色信号が完了したかを判断し、完了していない場合はステップS4へ分岐し、完了した場合はステップS10へ分岐する。
【０３５１】
ステップS10にて、公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理が行われる。
【０３５２】
ステップS91にて、MPEGなどの公知の動画像符号化処理を行う。
【０３５３】
ステップS92にて、動画像符号化処理にて算出された動き量を出力する。
【０３５４】
ステップS11にて、動画像符号化処理が完了したフレーム信号が出力される。
【０３５５】
ステップS12にて、全てのフレーム信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合は終了する。
【０３５６】
図２８Ｂは、上記ステップS90における２次元型ノイズ低減処理に関するフローである。なお、図１９Ｃに示す第２の実施形態における２次元型ノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０３５７】
ステップS60にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
【０３５８】
ステップS61にて、基準ノイズモデルの座標データおよび補正係数を読み込む。
【０３５９】
ステップS62にて、(30)式に示されるように局所領域の平均値を算出する。
【０３６０】
ステップS63にて、注目画素値が属する基準ノイズモデルの区間の座標データおよび対応する補正係数を選択する。
【０３６１】
ステップS64にて、(23)式に示される補間処理にて基準ノイズ量を求め、(24)式に示される補正処理にてノイズ量を求める。
【０３６２】
ステップS65にて、変化量を入力する。
【０３６３】
ステップS66にて、縮小されている変化量を拡大処理し、局所領域に対応する変化量を算出する。
【０３６４】
ステップS100にて、動き量を入力する。
【０３６５】
ステップS67にて、変化量に対して動き量に基づき公知の動き補償処理を行う。
【０３６６】
ステップS68にて、動き補償された変化量から(9)式に示されるように係数を算出する。
【０３６７】
ステップS69にて、(25)式に示される補正されたノイズ量を求める。
【０３６８】
ステップS70にて、(29)式に示されるコアリング処理を行い２次元型のノイズ低減処理がなされた注目画素値を求めて終了する。
【０３６９】
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０３７０】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【図面の簡単な説明】
【０３７１】
【図１】第１の実施形態の構成図である。
【図２】色フィルタの配置と局所領域に関する説明図である。
【図３】巡回型ノイズ低減部の構成図である。
【図４】動き量と閾値に関する説明図である。
【図５】別構成の巡回型ノイズ低減部の構成図である。
【図６】別構成の巡回型ノイズ低減部の構成図である。
【図７】帰還係数算出に用いられる関数に関する説明図である。
【図８】別構成の巡回型ノイズ低減部の構成図である。
【図９】変化量算出部の構成図である。
【図１０】第１の実施形態の変形例の構成図である。
【図１１Ａ】第１の実施形態の信号処理のフローのうち、全体処理のフローである。
【図１１Ｂ】第１の実施形態の信号処理のフローのうち、変化量算出処理のフローである。
【図１１Ｃ】第１の実施形態の信号処理のフローのうち、巡回型ノイズ低減処理のフローである。
【図１２】第２の実施形態の構成図である。
【図１３】色差線順次型補色フィルタの配置と局所領域に関する説明図である。
【図１４】巡回型ノイズ低減部の構成図である。
【図１５】別構成の巡回型ノイズ低減部の構成図である。
【図１６】２次元型ノイズ低減部の構成図である。
【図１７】ノイズ量の推定に関する説明図である。
【図１８Ａ】別構成の２次元型ノイズ低減部の構成図である。
【図１８Ｂ】平滑用フィルタに関する説明図である。
【図１８Ｃ】平滑用フィルタの選択に関する説明図である。
【図１９Ａ】第２の実施形態の信号処理のフローのうち、全体処理のフローである。
【図１９Ｂ】第２の実施形態の信号処理のフローのうち、巡回型ノイズ低減処理のフローである。
【図１９Ｃ】第２の実施形態の信号処理のフローのうち、２次元型ノイズ低減処理のフローである。
【図２０】第３の実施形態の構成図である。
【図２１】色フィルタの配置と局所領域に関する説明図である。
【図２２】２次元型ノイズ低減部の構成図である。
【図２３】別構成の２次元型ノイズ低減部の構成図である。
【図２４Ａ】第３の実施形態の信号処理のフローのうち、全体処理のフローである。
【図２４Ｂ】第３の実施形態の信号処理のフローのうち、２次元型ノイズ低減処理のフローである。
【図２５】第４の実施形態の構成図である。
【図２６】色フィルタの配置と局所領域に関する説明図である。
【図２７】２次元型ノイズ低減部の構成図である。
【図２８Ａ】第４の実施形態の信号処理のフローのうち、全体処理のフローである。
【図２８Ｂ】第４の実施形態の信号処理のフローのうち、２次元ノイズ低減処理のフローである。
【符号の説明】
【０３７２】
112 巡回型ノイズ低減部
114 信号処理部
116 変化量算出部
【技術分野】
【０００１】
本発明は、撮像系に起因する映像信号のランダムノイズの低減処理に関する。
【背景技術】
【０００２】
撮像素子とそれに付随するアナログ回路およびA/Dコンバータなどから構成される撮像系から得られる映像信号は、一般にノイズ成分を含有する。このノイズ成分は、固定パターンノイズとランダムノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。
【０００３】
静止画用のランダムノイズの低減処理に関しては、例えば特許文献１に示されるように、ノイズ量をノイズモデルに基づきブロック単位に推定して、ブロック単位にノイズ低減処理を制御する例が開示されている。このノイズ低減処理では、ノイズ量を推定するにあたりブロック内で注目画素と類似する領域を選択し、選択された領域の平均値を用いている。これにより、エッジ部の影響を抑制したスペースバリアントなノイズ低減処理が可能となり、高品位な映像信号が得られる。
【０００４】
一方、動画像におけるランダムノイズの低減処理としては、時間軸方向の相関性を用いた巡回型のノイズ低減処理がある。このノイズ低減処理は、映像信号自体は過去の映像信号と相関性が高く、ランダムノイズは過去の映像信号と相関性が低いことを利用し、現在と過去の映像信号間にて差分処理を行うことでランダムノイズのみを抽出し、抽出されたランダムノイズを用いて現在の映像信号のノイズ低減処理を行うものである。このような巡回型のノイズ低減処理としては、例えば特許文献２では映像信号から動き成分を検出し、検出された動き成分に基づき差分処理をおこなった信号に対するリミット値と帰還係数を制御する方法が開示されている。これにより、動き成分に起因する残像などの副作用を抑制したノイズ低減処理が可能となる。また、特許文献３では差分処理をおこなった信号値から帰還係数を制御する方法が開示されている。これにより、比較的少ない演算量で副作用を抑制したノイズ低減処理が可能となる。
【特許文献１】特開2006-23959号公報
【特許文献２】特開平10-13734号公報
【特許文献３】特開2000-209507号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ノイズ低減処理が理想的に機能しノイズが完全に除去されるならば、ノイズ低減処理以降の後段の信号処理はノイズの影響を考慮することなく自由に行うことができる。しかし、実際にはノイズを完全に除去することはできず、ノイズは残存することになる。このため、後段でエッジ強調、彩度強調、階調変換などの強調処理を行うと、ノイズが顕在化することになる。また、このような強調処理は画素の信号レベルや属する色相などにより強調処理の強弱が異なるため、領域ごとに不均質なノイズの顕在化が生じる。これは視覚的に非常に顕著なため、信号の品位を劣化させる要因となる。
【０００６】
特許文献１においては、ノイズ低減処理およびその後段の信号処理が独立に行われるため、上記のような領域ごとに不均質なノイズの顕在化が生じるという課題がある。また、静止画像処理を基本とし時間軸方向の特性を用いた処理とは独立しており、相互を最適に活用できないという課題がある。また、特許文献２、３においても、ノイズ低減処理後に独立に信号処理が行われるため、領域ごとに不均質なノイズの顕在化が生じるという課題がある。
【０００７】
本発明は上記問題点に着目し、信号処理に起因するノイズの不均一な顕在化を抑制し、高品位な映像信号を得ることを目的とする。
【課題を解決するための手段】
【０００８】
本発明によれば、撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減システムにおいて、前記映像信号に対してノイズ低減処理を行うノイズ低減手段と、前記ノイズ低減処理がなされた映像信号に対して所定の信号処理を行う信号処理手段と、前記信号処理に起因する映像信号の変化量を算出する変化量算出手段を有し、前記ノイズ低減手段は時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する。
【発明の効果】
【０００９】
本発明に係るノイズ低減システムでは、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御するようにしたことにより、信号処理に起因するノイズの不均質な顕在化を抑制することが可能となり、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の精度を向上でき、かつ操作性の良いノイズ低減システムを提供できる。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【００１１】
第１の実施形態
［構成］
図１は、本発明の第１の実施形態の構成図である。レンズ系100,絞り101,CCD102を介して撮影された映像信号は、増幅器（以下、"Gain"）104にて増幅され、A/Dコンバータ（以下、"A/D"）105にてデジタル信号へ変換される。A/D105からの映像信号は、バッファ106を介して色信号分離部111へ転送される。
【００１２】
バッファ106は、プリホワイトバランス調整部（以下、"PreWB部"）107,測光評価部108,合焦点検出部109へも接続されている。PreWB部107はGain104へ、測光評価部108は絞り101,CCD102,Gain104へ、合焦点検出部109はAFモータ110へ接続されている。色信号分離部111は巡回型ノイズ低減部112へ、巡回型ノイズ低減部112はバッファ113へ接続されている。バッファ113は、巡回型ノイズ低減部112,信号処理部114,変化量算出部116へ接続されている。信号処理部114はバッファ115へ、バッファ115は変化量算出部116およびメモリカードなどの出力部117に接続されている。変化量算出部116は、巡回型ノイズ低減部112へ接続されている。マイクロコンピュータなどの制御部118は、Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,色信号分離部111,巡回型ノイズ低減部112,信号処理部114,変化量算出部116,出力部117と双方向に接続されている。また、電源スイッチ,シャッターボタン,撮影時の各種モードの切り替えの設定を行うためのインターフェースを備えた外部I/F部119も制御部118に双方向に接続されている。さらに、CCD102の近傍に配置された温度センサー103からの信号は制御部118へ接続されている。
【００１３】
［作用］
図１において、映像信号の流れを説明する。外部I/F部119を介してISO感度などの撮影条件を設定した後、シャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101,CCD102を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。以後、連続的に出力される複数の映像信号を単に映像信号、１枚の映像信号をフレーム信号と表記する。また、本実施形態例においては上記所定時間間隔として1/30秒（以後は１フレーム時間と表記する）を想定する。さらに、CCD102としてはBayer型原色フィルタを前面に配置した単板CCDを想定する。
【００１４】
図２(a)は、Bayer型原色フィルタの構成を示す。Bayer型は2×2画素を基本単位とし、赤(R),青(B)フィルタが１画素ずつ、緑(Gr,Gb)フィルタが２画素配置される。なお、緑フィルタは同一な特性であるが、この実施形態では処理の便宜上これをGrとGbに区別するものとする。
【００１５】
上記アナログ信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、２フレームの信号を記録可能で、撮影にともない古いフレーム信号から順次上書きされることになる。バッファ106内のフレーム信号は、制御部118の制御に基づき、所定のフレーム時間間隔で間欠的にPreWB部107および測光評価部108および合焦点検出部109へ転送される。
【００１６】
PreWB部107では所定レベルの信号を色フィルタに対応する色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数をGain104へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
【００１７】
測光評価部108では、設定されたISO感度，手ぶれ限界のシャッター速度などを加味し、適正露光となるよう絞り101やCCD102の電子シャッター速度やGain104の増幅率などを制御する。
【００１８】
また、合焦点検出部109では、映像信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦信号を得る。PreWB部107にて求められたホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件は制御部118へ転送される。
【００１９】
一方、色信号分離部111は制御部118の制御に基づき、以後のノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を色信号ごとに順次抽出する。第１の実施形態においては、例えば図２(a)に示される10×10画素を基本単位としてフレーム信号から抽出する。この場合、ノイズ低減処理の対象となる注目画素はR22,Gr22,Gb22,B22の4画素となる。次に、図２(b)に示されるようにR,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域として分離する。以降は、時刻Tにおける局所領域内の画素をCTij（Cは色信号でC=R,Gr,Gb,B、iはX座標でi=0〜4、jはY座標でj=0〜4）で表記する。5×5画素の局所領域の場合は、注目画素はCT22となる。フレーム信号からもれなく注目画素を抽出するために、図２(a)に示される10×10画素の基本単位は４行４列ずつ重複して順次抽出されることになる。
【００２０】
また、バッファ106上には２フレームの信号が記録されており、色信号分離部111は、時刻T-1のフレーム信号から上記局所領域の座標位置に対応し5×5画素の局所領域を包含する21×21画素のマッチング領域も色フィルタごとに抽出する。以降は、時刻T-1におけるマッチング領域内の画素をCT-1kl（kはX座標でk=0〜20、lはY座標でl=0〜20）で表記する。抽出された局所領域およびマッチング領域は、順次巡回型ノイズ低減部112へ転送される。
【００２１】
巡回型ノイズ低減部112は、制御部118の制御に基づき、バッファ113上に保存されたノイズ低減処理がなされた過去のフレーム信号から上記局所領域の座標位置に対応する局所領域を読み込む。以後、ノイズ低減処理がなされた画素をCNで記述する。バッファ113から読み込まれる局所領域内の画素はCNT-1ijとなる。さらに、後述する変化量算出部116からの変化量を読み込み、上記局所領域単位に巡回型のノイズ低減処理を行う。ノイズ低減処理は局所領域内の注目画素CT22に対して行われ、ノイズ低減処理がなされた注目画素CNT22はバッファ113へ転送され記録される。バッファ113は、１フレームの信号を記録可能で、ノイズ低減処理にともない順次上書きされることになる。
【００２２】
１フレーム信号のノイズ低減処理が完了した後、信号処理部114は制御部118の制御に基づき、ノイズ低減処理がなされたフレーム信号に対して、公知の補間処理を行い、その後公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理を行う。以後、信号処理がなされた画素をCPで記述する。信号処理がなされたフレーム信号は、バッファ115へ転送され記録される。
【００２３】
変化量算出部116は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた画素CNをバッファ115から信号処理がなされた画素CPを読み込み、その変化量ΔCを求める。
【００２４】
【数１】
なお、上記の説明ではバッファ113およびバッファ115内に時刻Tにおけるフレーム信号が存在することになるが、巡回型ノイズ低減部112で時刻Tにおけるフレーム信号のノイズ低減処理が行われている時点では、バッファ113およびバッファ115内に時刻T-1におけるフレーム信号が存在することになる。すなわち、変化量算出部116は(2)式に示す変化量ΔCを求めることになる。
【００２５】
【数２】
なお、算出された変化量ΔCが１以下の場合は１に置換される。(2)式の変化量ΔCは、巡回型ノイズ低減部112へ転送される。一方、バッファ115内のフレーム信号は出力部117へ転送される。
【００２６】
出力部117は、磁気ディスクやメモリカードなどの記録媒体に順次フレーム信号を記録保存する。
【００２７】
図３は巡回型ノイズ低減部112の構成の一例を示すもので、領域抽出部200,領域抽出部201,動き推定部202,差分信号算出部203,上限値設定部204,領域抽出拡大部205,変化量動き補償部206,閾値設定部207,減算部208からなる。
【００２８】
色信号分離部111は、領域抽出部200を介して動き推定部202および差分信号算出部203および減算部208へ接続している。バッファ113は、領域抽出部201を介して差分信号算出部203へ接続している。変化量算出部116は、領域抽出拡大部205,変化量動き補償部206,閾値設定部207を介して上限値設定部204へ接続している。動き推定部202は、変化量動き補償部206および閾値設定部207へ接続している。差分信号算出部203は上限値設定部204へ、上限値設定部204は減算部208へ接続している。減算部208は、バッファ113へ接続している。制御部118は、領域抽出部200,領域抽出部201,動き推定部202,差分信号算出部203,上限値設定部204,領域抽出拡大部205,変化量動き補償部206,閾値設定部207,減算部208と双方向に接続されている。
【００２９】
領域抽出部200は、制御部118の制御に基づき、色信号分離部111から図２(b)に示されるにR,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域CTijおよび21×21画素のマッチング領域CT-1klを順次読み込む。上記局所領域およびマッチング領域は動き推定部202へ、局所領域は差分信号算出部203へ、局所領域内の注目画素CT22は減算部208へ転送される。
【００３０】
領域抽出部201は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の局所領域CNT-1ijを順次読み込む。上記過去の局所領域は、差分信号算出部203へ転送される。
【００３１】
動き推定部202は、制御部118の制御に基づき、領域抽出部200からの局所領域およびマッチング領域間で公知のマッチング処理に基づく動き量の推定を行う。推定された動き量Mは、変化量動き補償部206および閾値設定部207へ転送される。
【００３２】
差分信号算出部203は、制御部118の制御に基づき、領域抽出部200からの局所領域CTijおよび領域抽出部201からのノイズ低減処理がなされた過去の局所領域CNT-1ijを読み込み、差分信号δCijを算出する。
【００３３】
【数３】
算出された差分信号は、上限値設定部204へ転送される。
【００３４】
一方、領域抽出拡大部205は制御部118の制御に基づき、変化量算出部116から(2)式に示す変化量ΔCを読み込む。変化量ΔCは、後述する変化量算出部116の処理過程で所定の縮小率で縮小されたフレーム信号から算出されている。このため、領域抽出拡大部205は読み込まれた変化量ΔCに対して、上記縮小率の逆数に相当する拡大率で拡大処理を行い、マッチング領域に対応する変化量ΔCklを抽出する。上記変化量ΔCklは、変化量動き補償部206へ転送される。
【００３５】
変化量動き補償部206は、制御部118の制御に基づき、動き推定部202から動き量Mを領域抽出拡大部205から変化量ΔCklを読み込み、公知の動き補償を行った後、局所領域の座標位置に相当する変化量ΔCijを抽出して閾値設定部207へ転送する。
【００３６】
閾値設定部207は、制御部118の制御に基づき、動き推定部202から動き量Mを変化量動き補償部206から動き補償された変化量ΔCijを読み込み、(3)式の差分信号に対する閾値を算出する。上記閾値は、まず動き量Mに基づき局所領域全体に関する閾値Th1が算出される。図４は動き量Mと閾値Th1の関係の一例を示すもので、動き量Mが大きくなるにつれて閾値Th1が減少する関係にある。上記関係を関数f()で示すと、閾値Th1は次式で求められる。
【００３７】
【数４】
図４に示す関数f()では、動き量Mが一定値を超えた場合、閾値Th1は零となる。この後、変化量ΔCijで補正することで局所領域の各画素の閾値Thijが算出される。
【００３８】
【数５】
(5)式におけるωは調整用の重み係数を意味する。閾値Thijは、変化量ΔCijが大きくなるほど大きな値となる。算出された閾値Thijは、上限値設定部204へ転送される。
【００３９】
上限値設定部204は、制御部118の制御に基づき、差分信号算出部203から差分信号δCijを閾値設定部207から閾値Thijを読み込み、差分信号δCijに対する上限値設定の処理を行う。
【００４０】
【数６】
(6)式は、差分信号δCijが閾値Thijを上回る（差分信号が負の場合は下回る）場合に閾値Thijを上限とする制約を設けることを意味する。これにより、動き量が大きい場合に差分信号δCijが制限されることになり、残像などの副作用が低減される。また、閾値Thijは後段の信号処理に起因する変化量に比例するため、変化量が大きい場合は閾値も大きくなり差分信号δCijに対する制限が緩和されることになる。このため、変化量が大きい画素はノイズ低減の効果も大きくなる。上限値設定がなされた差分信号δCijは、減算部208へ転送される。
【００４１】
減算部208は、制御部118の制御に基づき、領域抽出部200から注目画素CT22を上限値設定部204から上限値設定がなされた差分信号δCijを読み込み、ノイズ低減処理後の注目画素CNT22を算出する。
【００４２】
【数７】
ノイズ低減処理後の注目画素CNT22は、バッファ113へ転送される。
【００４３】
なお、上記構成ではノイズ低減処理は注目画素CT22のみに対して行われる構成となっていたが、このような構成に限定される必要はない。例えば、図２(a)に示される10×10画素の基本単位を重複せずに抽出し、5×5画素の局所領域CTij全てに対して、(7)式に示されるようなノイズ低減処理を行う構成も可能である、この場合、動き補償などの処理の精度は低下するが、処理速度を高速化することができる。
【００４４】
また、上記構成では差分信号δCijに対して(6)式に示す上限値設定の処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、図５に示されるように零値への置換処理を行う構成も可能である。図５は、巡回型ノイズ低減部112の別構成の一例を示すもので、図３に示す上限値設定部204を置換部209に置換した構成になっている。基本構成は図３に示す巡回型ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００４５】
差分信号算出部203および閾値設定部207は、置換部209へ接続している。置換部209は、減算部208へ接続している。制御部118は、置換部209と双方向に接続されている。
【００４６】
置換部209は、制御部118の制御に基づき、差分信号算出部203から差分信号δCijを閾値設定部207から閾値Thijを読み込み、差分信号δCijに対する零値への置換処理を行う。
【００４７】
【数８】
後段の減算部208は、注目画素CT22と差分信号δCij間にて減算処理を行うため、(8)式に示される置換処理は動領域において何も処理を行わないことを意味する。一般に動領域では視覚的に高周波域の識別能が低下するため、ノイズ成分が目立ちにくく、上記置換処理においても対応することができる。上記置換処理は、図３に示す上限値設定処理よりも実装が容易であり、システムの低コスト化が可能となる。
【００４８】
なお、図３および図５に示す巡回型ノイズ低減部112は、ノイズ成分を減算する減算型の構成となっていたが、このような構成に限定される必要はない。例えば、図６に示されるように加算平均型の構成も可能である。
【００４９】
図６は巡回型ノイズ低減部112の別構成の一例を示すもので、図３に示す差分信号算出部203,上限値設定部204,閾値設定部207,減算部208が省略され、第１関数部210,第２関数部211,帰還係数合成部212,係数乗算部213,係数乗算部214,加算部215が追加された構成になっている。基本構成は図３に示す巡回型ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００５０】
領域抽出部200は、動き推定部202および係数乗算部213へ接続している。領域抽出部201は、係数乗算部214へ接続している。動き推定部202は、変化量動き補償部206および第２関数部211へ接続している。変化量動き補償部206は、第１関数部210へ接続している。第１関数部210および第２関数部211は、帰還係数合成部212へ接続している。帰還係数合成部212は、係数乗算部213および係数乗算部214へ接続している。係数乗算部213および係数乗算部214は、加算部215へ接続している。加算部215は、バッファ113へ接続している。制御部118は、第１関数部210,第２関数部211,帰還係数合成部212,係数乗算部213,係数乗算部214,加算部215と双方向に接続されている。
【００５１】
領域抽出部200は、制御部118の制御に基づき、色信号分離部111から図２(b)に示されるにR,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域CTijおよび21×21画素のマッチング領域CT-1klを順次読み込む。上記局所領域およびマッチング領域は動き推定部202へ、局所領域内の注目画素CT22は係数乗算部213へ転送される。
【００５２】
領域抽出部201は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の局所領域CNT-1ijを順次読み込む。上記過去の局所領域内の注目画素CNT-122は、係数乗算部214へ転送される。動き推定部202にて推定された動き量Mは、変化量動き補償部206および第２関数部211へ転送される。変化量動き補償部206にて動き補償された変化量ΔCijは、第１関数部210へ転送される。
【００５３】
第１関数部210は、制御部118の制御に基づき、動き補償された変化量ΔCijを読み込み、帰還係数算出時に用いる係数k1を算出する。図７(a)は動き補償された変化量ΔCと係数k1との関係の一例を示すもので、変化量ΔCが大きくなるにつれて係数k1が増加するシグモイド関数状の関係にある。この関係は、変化量ΔCが所定値Cmin以下の時はk1=1となり、所定値Cmax以上の時はk1=k1maxとなり、CminからCmax間はなだらかに増加する。この関係を関数g1()で示すと、係数k1は次式(9)で求められる。
【００５４】
【数９】
算出された係数k1は、帰還係数合成部212へ転送される。
【００５５】
一方、第２関数部211は制御部118の制御に基づき、動き推定部202にて推定された動き量Mを読み込み、帰還係数算出時に用いる係数k2を算出する。図７(b)は動き量Mと係数k2との関係の一例を示すもので、動き量Mが大きくなるにつれて係数k2が減少するシグモイド関数状の関係にある。この関係は、動き量Mが所定値Mmin以下の時はk2=1となり、所定値Mmax以上の時はk2=0となり、MminからMmax間はなだらかに減少する。この関係を関数g2()で示すと、係数k2は次式(10)で求められる。
【００５６】
【数１０】
算出された係数k2は、帰還係数合成部212へ転送される。
【００５７】
帰還係数合成部212は、第１関数部210から係数k1を第２関数部211から係数k2を読み込み、帰還係数Rを(11)式に基づき算出する。
【００５８】
【数１１】
なお、帰還係数Rが１以上となった場合は１に置換される。帰還係数Rは0から１の範囲を取り得る。算出された帰還係数Rから、R/2が係数乗算部213へ、1-R/2が係数乗算部214へ転送される。
【００５９】
係数乗算部213は、制御部118の制御に基づき、領域抽出部200から注目画素CT22を帰還係数合成部212から帰還係数R/2を読み込み、両者を乗算して加算部215へ転送する。
【００６０】
係数乗算部214は、制御部118の制御に基づき、領域抽出部201から過去の注目画素CNT-122を帰還係数合成部212から帰還係数1-R/2を読み込み、両者を乗算して加算部215へ転送する。
【００６１】
加算部215は、制御部118の制御に基づき、係数乗算部213からのR/2・CT22を係数乗算部214から(1-R/2)・CNT-122を読み込み、両者を加算することでノイズ低減処理後の注目画素CNT22を算出する。上記係数乗算部213,係数乗算部214,加算部215での処理は(12)式に示される。
【００６２】
【数１２】
上記帰還係数Rは、係数k1の特性から信号処理の変化量が大きい場合は１に近づき、小さい場合は０に近づく。また、係数k2の特性から動きが大きい場合は０となり、小さい場合は１に近づく。(12)式から、信号処理の変化量が大きい場合は過去の信号の帰還率が高くなり、ノイズ低減処理が強めになる。また、動きが大きい場合は過去の信号の帰還率が低くなり残像などの副作用を抑制する。ノイズ低減処理後の注目画素CNT22は、バッファ113へ転送され記録される。
【００６３】
なお、上記構成ではノイズ低減処理は注目画素CT22のみに対して行われる構成となっていたが、このような構成に限定される必要はない。例えば、図２(a)に示される10×10画素の基本単位を重複せずに抽出し、5×5画素の局所領域CTij全てに対して、(12)式に示されるようなノイズ低減処理を行う構成も可能である、この場合、動き補償などの処理の精度は低下するが、処理速度を高速化することができる。
【００６４】
また、上記構成では帰還係数Rの算出において(9),(10),(11)式に示す演算処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、図８に示されるようにテーブルを用いた構成も可能である。
【００６５】
図８は、巡回型ノイズ低減部112の別構成の一例を示すもので、図６に示す第１関数部210,第２関数部211,帰還係数合成部212を帰還係数テーブル部216に置換した構成になっている。基本構成は図６に示す巡回型ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００６６】
動き推定部202は、変化量動き補償部206および帰還係数テーブル部216へ接続している。変化量動き補償部206は、帰還係数テーブル部216へ接続している。帰還係数テーブル部216は、係数乗算部213および係数乗算部214へ接続している。制御部118は、帰還係数テーブル部216と双方向に接続されている。
【００６７】
帰還係数テーブル部216は、制御部118の制御に基づき、変化量動き補償部206から動き補償された変化量ΔCijを、動き推定部202から推定された動き量Mを読み込む。帰還係数テーブル部216は、変化量ΔCijおよび動き量Mを入力として帰還係数Rを出力するルックアップテーブルで、(9),(10),(11)式に示す形態と同様な手法で構築される。帰還係数テーブル部216で得られた帰還係数Rから、R/2が係数乗算部213へ、1-R/2が係数乗算部214へ転送される。
【００６８】
図９は、変化量算出部116の構成の一例を示すもので、縮小部300,バッファ301,縮小部302,バッファ303,比率算出部304,バッファ305からなる。
【００６９】
バッファ113は、縮小部300およびバッファ301を介して比率算出部304へ接続している。バッファ115は、縮小部302およびバッファ303を介して比率算出部304へ接続している。比率算出部304は、バッファ305を介して巡回型ノイズ低減部112へ接続している。制御部118は、縮小部300,縮小部302,比率算出部304と双方向に接続されている。
【００７０】
縮小部300は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の時刻T-1のフレーム信号を読み込み、所定の縮小率で縮小処理を行う。縮小されたフレーム信号は、バッファ301へ転送され保存される。
【００７１】
縮小部302は、制御部118の制御に基づき、バッファ115から信号処理がなされた過去の時刻T-1のフレーム信号を読み込み、縮小部300で使用された縮小率と同一の縮小率で縮小処理を行う。縮小されたフレーム信号は、バッファ303へ転送され保存される。バッファ301内の縮小されたフレーム信号の画素をCNT-1、バッファ303の縮小されたフレーム信号の画素をCPT-1とする。
【００７２】
比率算出部304は、制御部118の制御に基づき、バッファ301から画素CNT-1をバッファ303から画素CPT-1を読み込み、(2)式に基づき変化量ΔCを算出する。算出された変化量ΔCはバッファ305へ転送され記録される。バッファ305内には、最終的に縮小されたフレーム信号に対応する変化量ΔCが記録されることになる。バッファ305内の変化量ΔCは、必要に応じて巡回型ノイズ低減部112へ転送される。
【００７３】
[効果]
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
【００７４】
ノイズ低減処理に減算型の巡回型ノイズ低減または加算型の巡回型ノイズ低減を用いるため、信号処理に起因するノイズの不均質な顕在化と動きに起因する残像などの副作用の両者を抑制することが可能となり、高品位な映像信号が得られる。また、減算によるノイズ低減処理は計算量が少なく、システム全体の高速化および低コスト化を可能とする。一方、加算によるノイズ低減処理は時間軸方向の連続性に優れ、違和感の少ない映像信号が得られる。
【００７５】
差分信号の上限値設定を行う構成では、ノイズ低減処理の制御が連続的に行われるため、不連続性のない高品位な映像信号が得られる。差分信号の置換処理を行う構成では、実装が容易であり、システム全体の高速化および低コスト化を可能とする。
【００７６】
帰還係数の算出に２つの関数を用いる構成では、画質調整の自由度が向上しシステムの操作性を向上できる。一方、帰還係数の算出にテーブルを用いる構成では、高速な処理が可能となる。
【００７７】
また、色信号ごとにノイズ低減処理を行うため、ノイズを高精度に低減することができ、高品位な映像信号が得られる。また、ノイズ低減処理前に補間処理などの前処理が存在しないため、ノイズ低減処理の精度を向上することができる。
【００７８】
また、Bayer型原色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。ノイズ低減処理後の信号処理として階調変換処理、エッジ強調処理、色強調処理の少なくとも１つの処理を行う構成は、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【００７９】
また、信号処理の変化率の算出をノイズ低減処理がなされた映像信号と信号処理がなされた映像信号間から直接算出するため、変化量の算出を高精度化できる。
【００８０】
さらに、縮小処理した信号間から変化量を算出し、ノイズ低減処理に使用する際に拡大する構成では、演算量や必要となる回路規模が削減され、処理の高速化およびシステムのコストを低減することが可能となる。
【００８１】
［変形例］
上記第１の実施形態では撮像素子としてBayer型原色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、図２(ｃ)に示される色差線順次型補色フィルタを用いることも可能であるし、二板，三板撮像素子の利用も可能である。
【００８２】
図２(ｃ)は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy),マゼンタ(Mg),イエロー(Ye),緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。色差線順次型補色フィルタの場合、色信号分離部111は、図２(c)に示される10×10画素単位で映像信号を読み込み、これを図２(d)に示されるようにMg,G,Ye,Cyの色フィルタごとに、注目画素を中心とする5×5画素を局所領域として分離する。時刻Tにおける局所領域内の画素値はCTij（Cは色信号でC=Mg,G,Ye,Cy）で示されることになる。
【００８３】
さらに、第１の実施形態ではレンズ系100,絞り101,CCD102,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。例えば、図１０に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
【００８４】
図１０は、図１に示す構成からレンズ系100,絞り101,CCD102,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110を省略し、入力部400,ヘッダ情報解析部401を追加した形態となっている。基本構成は図１と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００８５】
入力部400は、バッファ106およびヘッダ情報解析部401へ接続している。制御部118は、入力部400,ヘッダ情報解析部401と双方向に接続している。マウス，キーボードなどの外部I/F部119を介して再生操作を開始することで、記録媒体に保存された映像信号およびヘッダ情報が入力部400から読み込まれる。なお、映像信号は所定の時間間隔、第１の実施形態では１フレーム時間間隔で１枚ずつ順次読み込まれる。入力部400からのフレーム信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部401へ転送される。ヘッダ情報解析部401は、ヘッダ情報から撮影時の情報を抽出して制御部118へ転送する。以後の処理は、図１と同等である。
【００８６】
また、第１の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの映像信号を未処理のままのRawデータとして、制御部118からCCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【００８７】
図１１Ａは、信号処理のソフトウェア処理に関するフローを示す。
【００８８】
ステップS1にて、映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
【００８９】
ステップS2にて、映像信号から順次フレーム信号を抽出する。
【００９０】
ステップS3にて、別途説明するよう後段の信号処理に起因する変化量を過去の、第１の実施形態では１フレーム過去のフレーム信号から算出する。
【００９１】
ステップS4にて、図２(b)に示されるようにCD102の色フィルタに基づき、色信号ごとに分離する。
【００９２】
ステップS5にて、図２(b)に示されるようにノイズ低減処理の対象となる注目画素を包含する所定サイズ、例えば5×5画素サイズの局所領域を抽出する。
【００９３】
ステップS6にて、別途説明するように巡回型のノイズ低減処理を行う。
【００９４】
ステップS7にて、ノイズ低減処理がなされた信号を出力する。
【００９５】
ステップS8にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS5へ分岐し、完了した場合はステップS9へ分岐する。
【００９６】
ステップS9にて、全ての色信号が完了したかを判断し、完了していない場合はステップS4へ分岐し、完了した場合はステップS10へ分岐する。
【００９７】
ステップS10にて、公知の補間処理の後に公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理が行われる。
【００９８】
ステップS11にて、処理が完了したフレーム信号が出力される。
【００９９】
ステップS12にて、全てのフレーム信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合は終了する。
【０１００】
図１１Ｂは、上記ステップS3における変化量算出処理に関するフローである。
【０１０１】
ステップS20にて、ノイズ低減処理がなされた過去のフレーム信号を読み込む。
【０１０２】
ステップS21にて、ノイズ低減処理と信号処理がなされた過去のフレーム信号を読み込む。
【０１０３】
ステップS22にて、ノイズ低減処理がなされた過去のフレーム信号を所定の縮小率で縮小する。
【０１０４】
ステップS23にて、ノイズ低減処理と信号処理がなされた過去のフレーム信号を所定の縮小率で縮小する。
【０１０５】
ステップS24にて、縮小されたノイズ低減処理がなされた過去のフレーム信号および縮小されたノイズ低減処理と信号処理がなされた過去のフレーム信号から、図２(b)に示されるようにCD102の色フィルタに基づき色信号を分離する。
【０１０６】
ステップS25にて、(2)式に示されるように変化量を算出する。
【０１０７】
ステップS26にて、変化量を出力する。
【０１０８】
ステップS27にて、全ての色信号が完了したかを判断し、完了していない場合はステップS24へ分岐し、完了した場合は終了する。
【０１０９】
図１１Ｃは、上記ステップS6における巡回型ノイズ低減処理に関するフローである。
【０１１０】
ステップS30にて、過去のフレーム信号を入力する。
【０１１１】
ステップS31にて、過去のフレーム信号から局所領域を包含する所定サイズ、例えば21×21画素のマッチング領域を抽出する。
【０１１２】
ステップS32にて、局所領域とマッチング領域間で公知のマッチング処理を行うことで動き量を推定する。
【０１１３】
ステップS33にて、変化量を入力する。
【０１１４】
ステップS34にて、縮小されている変化量を拡大処理し、局所領域に対応する変化量を算出する。
【０１１５】
ステップS35にて、変化量に対して動き量に基づき公知の動き補償処理を行う。
【０１１６】
ステップS36にて、動き量および動き補償された変化量に基づき(4),(5)式に示されるように閾値を算出する。
【０１１７】
ステップS37にて、ノイズ低減処理がなされた過去のフレーム信号を読み込む。
【０１１８】
ステップS38にて、局所領域およびノイズ低減処理がなされた過去のフレーム信号からの局所領域間で(3)式に示されるように差分信号を算出する。
【０１１９】
ステップS39にて、差分信号に対して閾値に基づき(6)式に示されるように上限値を設定する。
【０１２０】
ステップS40にて、上限値が設定された差分信号と局所領域間で(7)式に示されるように減算処理によりノイズ低減処理を行い終了する。
【０１２１】
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０１２２】
第２の実施形態
［構成］
図１２は、本発明の第２の実施形態の構成図である。第２の実施形態は、図１に示す第１の実施形態における色信号分離部111が輝度色差分離部500へ、巡回型ノイズ低減部112が巡回型ノイズ低減部501へ置換され、２次元型ノイズ低減部502が追加された構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
【０１２３】
バッファ106は、PreWB部107,測光評価部108,合焦点検出部109,輝度色差分離部500へ接続されている。輝度色差分離部500は、巡回型ノイズ低減部501および２次元型ノイズ低減部502を介してバッファ113へ接続されている。バッファ113は信号処理部114,変化量算出部116,巡回型ノイズ低減部501へ接続されている。変化量算出部116は、２次元型ノイズ低減部502へ接続されている。制御部118は、輝度色差分離部500,巡回型ノイズ低減部501,２次元型ノイズ低減部502と双方向に接続されている。
【０１２４】
［作用］
基本的に第１の実施形態と同等であり、異なる部分のみ説明する。図１２において、信号の流れを説明する。外部I/F部119を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101,CCD102を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。なお、第２の実施形態においては、CCD102としては色差線順次型補色フィルタを前面に配置した単板CCDを想定する。
【０１２５】
図１３(a)は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy),マゼンタ(Mg),イエロー(Ye),緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。CCD102からの映像信号は、図１３(a)に示されるように上下のラインが加算され、偶数ラインと奇数ラインに分離した２つのフィールド信号（偶数フィールド信号と奇数フィールド信号）から構成される。また、上記所定時間間隔として1/60秒（以後は１フィールド時間と表記する）を想定する。偶数および奇数フィールド信号を合成することで１枚の映像信号が得られるが、１枚の映像信号をフレーム信号と表記する。上記フレーム信号は、1/30秒間隔で合成されることになる。
【０１２６】
CCD102からのアナログ信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、３フィールド信号が記録可能で、撮影にともない順次上書きされることになる。
【０１２７】
輝度色差分離部500は、制御部118の制御に基づき、偶数および奇数フィールド信号から輝度信号Yと色差信号Cb,Crを算出する。
【０１２８】
【数１３】
この後、ノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を順次抽出する。第２の実施形態においては、局所領域としてとして5×5画素を想定する。ただし、輝度信号Yは5×5画素全てに存在するが、色差信号Cb,Crは5×3画素または5×2画素となる。
【０１２９】
図１３(b),(c)は、偶数および奇数フィールド信号から抽出された局所領域の一例を示す。
【０１３０】
図１３(b)は、偶数フィールド信号から輝度信号Yと色差信号Cb,Crを抽出した例を示す。色差信号Crは5×3画素、色差信号Cbは5×2画素となる。この場合、ノイズ低減処理の対象となる注目画素は輝度信号Yと色差信号Crで、色差信号Cbは対象外となる。なお、注目画素位置が異なれば、上記とは逆に色差信号Cbが存在し、色差信号Crが存在しない例も発生する。
【０１３１】
図１３(c)は、奇数フィールド信号から輝度信号Yと色差信号Cb,Crを抽出した例を示す。色差信号Cbは5×3画素、色差信号Crは5×2画素となる。この場合、ノイズ低減処理の対象となる注目画素は輝度信号Yと色差信号Cbで、色差信号Crは対象外となる。なお、注目画素位置が異なれば、上記とは逆に色差信号Crが存在し、色差信号Cbが存在しない例も発生する。
【０１３２】
以降は、時刻Tにおける局所領域内の画素をCTij（Cは輝度または色差信号でC=Y,Cb,Cr、iはX座標でi=0〜4、jはY座標で偶数フィールド信号の場合はｊ=0,2,4,6,8、奇数フィールド信号の場合はj=1,3,5,7,9）で表記する。なお、色差信号に関しては5×5画素の局所領域内で欠落する画素は処理の対象外となる。
【０１３３】
注目画素は、偶数フィールド信号の場合輝度信号がYT24、色差信号がCｒT24またはCbT24、奇数フィールド信号の場合輝度信号がYT25、色差信号がCｒT25またはCbT25となる。以後の説明は、図１３(b)に示されるような偶数フィールド信号かつ注目画素がYT24,CｒT24に関して行うが、偶数フィールド信号かつ注目画素がYT24,CbT24や奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
【０１３４】
バッファ106上には３フィールドの信号が記録されており、輝度色差分離部500は、時刻T-2のフィールド信号から上記局所領域の座標位置に対応し局所領域を包含するマッチング領域も輝度色差信号ごとに抽出する。マッチング領域のサイズとしては21×21画素を想定する。以降は、時刻T-2におけるマッチング領域内の画素をCT-2kl（kはX座標でk=0〜20、lはY座標で偶数フィールド信号場合はl=0〜40の偶数、奇数フィールド信号の輝度信号の場合はj=1〜41の奇数）で表記する。なお、色差信号に関しては21×21画素のマッチング領域内で欠落する画素は処理の対象外となる。抽出された局所領域およびマッチング領域は、順次巡回型ノイズ低減部501へ転送される。
【０１３５】
巡回型ノイズ低減部501は、制御部118の制御に基づき、バッファ113上に保存されたノイズ低減処理がなされた過去のフィールド信号から上記局所領域の座標位置に対応する局所領域を読み込む。バッファ113は、３フィールド信号が記録可能で、処理にともない順次上書きされることになる。以後、巡回型ノイズ低減処理がなされた画素をCNで、後述する２次元型ノイズ低減処理がなされた画素をC2Nで記述する。バッファ113から読み込まれる局所領域内の画素はC2NT-2ijとなる。さらに、後述する変化量算出部116からの変化量を読み込み、上記局所領域単位に巡回型のノイズ低減処理を行う。第１の実施形態における巡回型ノイズ低減部112では局所領域内の注目画素に対してのみノイズ低減処理を行っていたが、第２の実施形態においては局所領域内の全ての画素に対してノイズ低減処理が行われることを想定する。巡回型のノイズ低減処理がなされた局所領域CNTijは、順次２次元型ノイズ低減部502へ転送される。
【０１３６】
２次元型ノイズ低減部502は、制御部118の制御に基づき、巡回型ノイズ低減部501から巡回型のノイズ低減処理がなされた局所領域CNTijを読み込み、２次元のノイズ低減処理を行う。上記２次元のノイズ低減処理は、局所領域CNTij内の注目画素に関して行われ、処理後の注目画素は順次バッファ113へ転送され記録される。偶数フィールド信号かつ注目画素がYT24,CｒT24に関しては、Y2NT24,Cｒ2NT24がバッファ113へ転送されることになる。
【０１３７】
信号処理部114は制御部118の制御に基づき、ノイズ低減処理がなされた偶数フィールド信号および奇数フィールド信号に対して、公知の同時化処理を行いフレーム信号を生成する。その後、公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理を行う。以後、信号処理がなされた画素をCPで記述する。信号処理がなされたフレーム信号は、バッファ115へ転送され記録される。
【０１３８】
変化量算出部116は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた画素C2NTをバッファ115から信号処理がなされた画素CPTを読み込み、第１の実施形態と同様に所定の縮小率にて縮小処理した後、変化量ΔCを算出する。なお、上記の説明ではバッファ113およびバッファ115内に時刻Tにおけるフィールド信号が存在することになるが、巡回型ノイズ低減部501および２次元型ノイズ低減部502時刻Tにおけるフィールド信号のノイズ低減処理が行われている時点では、バッファ113およびバッファ115内に時刻T-2におけるフィールド信号が存在することになる。正しくは、バッファ115はフレーム信号となっているが、変化量算出部116はバッファ115内のフレーム信号をフィールド信号に分解して対応する画素を抽出する。すなわち、変化量算出部116は(14)式に示す変化量ΔCを求めることになる。
【０１３９】
【数１４】
なお、算出された変化量ΔCが１以下の場合は１に置換される。(14)式の変化量ΔCは、巡回型ノイズ低減部501へ転送される。一方、バッファ115内のフレーム信号は出力部117へ転送される。出力部117は、磁気ディスクやメモリカードなどの記録媒体に順次フレーム信号を記録保存する。
【０１４０】
図１４は巡回型ノイズ低減部501の構成の一例を示すもので、図３に示す巡回型ノイズ低減部112の構成から領域抽出拡大部205および変化量動き補償部206が省略された構成になっている。基本構成は図３に示す巡回型ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１４１】
輝度色差分離部500は、領域抽出部200へ接続している。動き推定部202は、閾値設定部207および２次元型ノイズ低減部502へ接続している。減算部208は、２次元型ノイズ低減部502へ接続している。
【０１４２】
領域抽出部200は、制御部118の制御に基づき、輝度色差分離部500から図１３(b),(c)に示されるに輝度信号Yと色差信号Cb,Crごとに5×5画素の局所領域CTijおよび21×21画素のマッチング領域CT-2klを順次読み込む。上記局所領域およびマッチング領域は動き推定部202へ、局所領域は差分信号算出部203および減算部208へ転送される。
【０１４３】
領域抽出部201は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の局所領域C2NT-2ijを順次読み込む。上記過去の局所領域は、差分信号算出部203へ転送される。
【０１４４】
動き推定部202は、制御部118の制御に基づき、領域抽出部200からの局所領域およびマッチング領域間で公知のマッチング処理に基づく動き量の推定を行う。推定された動き量Mは、閾値設定部207へ転送される。
【０１４５】
差分信号算出部203は、制御部118の制御に基づき、領域抽出部200からの局所領域CTijおよび領域抽出部201からのノイズ低減処理がなされた過去の局所領域C2NT-2ijを読み込み、差分信号δCijを算出する。
【０１４６】
【数１５】
算出された差分信号は、上限値設定部204へ転送される。
【０１４７】
閾値設定部207は、制御部118の制御に基づき、動き推定部202から動き量Mを読み込み、(15)式の差分信号に対する閾値Th1を(4)式に基づき算出する。算出された閾値Th1は、上限値設定部204へ転送される。
【０１４８】
上限値設定部204は、制御部118の制御に基づき、差分信号算出部203から差分信号δCijを閾値設定部207から閾値Th1を読み込み、差分信号δCijに対する上限値設定の処理を行う。
【０１４９】
【数１６】
(16)式は、差分信号δCijが閾値Th1を上回る（差分信号が負の場合は下回る）場合に閾値Th1を上限とする制約を設けることを意味する。これにより、動き量が大きい場合に差分信号δCijが制限されることになり、残像などの副作用が低減される。第１の実施形態における巡回型ノイズ低減部112との差は、巡回型ノイズ低減部112では(5)式に示されるように局所領域内の画素ごとに異なる閾値を使用するのに対して、局所領域内で共通する１つの閾値を使用することである。上限値設定がなされた差分信号δCijは、減算部208へ転送される。
【０１５０】
減算部208は、制御部118の制御に基づき、領域抽出部200から局所領域CTijを上限値設定部204から上限値設定がなされた差分信号δCijを読み込み、ノイズ低減処理後の局所領域CNTijを算出する。
【０１５１】
【数１７】
ノイズ低減処理後の局所領域CNTijは、２次元型ノイズ低減部502へ転送される。なお、上記構成では差分信号δCijに対して(16)式に示す上限値設定の処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、図５に示す巡回型ノイズ低減部に示されるように零値への置換処理を行う構成も可能である。この場合の置換処理は、(18)式に示される処理となる。
【０１５２】
【数１８】
さらに、図１４に示す巡回型ノイズ低減部501は、ノイズ成分を減算する減算型の構成となっていたが、このような構成に限定される必要はない。例えば、図１５に示されるように加算平均型の構成も可能である。
【０１５３】
図１５は巡回型ノイズ低減部501の別構成の一例を示すもので、図１４に示す差分信号算出部203,上限値設定部204,閾値設定部207,減算部208が省略され、第２関数部211,係数乗算部213,係数乗算部214,加算部215が追加された構成になっている。基本構成は図１４に示す巡回型ノイズ低減部501と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１５４】
領域抽出部200は、動き推定部202および係数乗算部213へ接続している。領域抽出部201は、係数乗算部214へ接続している。動き推定部202は、第２関数部211および２次元型ノイズ低減部502へ接続している。第２関数部211は、係数乗算部213および係数乗算部214へ接続している。係数乗算部213および係数乗算部214は、加算部215へ接続している。加算部215は、２次元型ノイズ低減部502へ接続している。制御部118は、第２関数部211,係数乗算部213,係数乗算部214,加算部215と双方向に接続されている。
【０１５５】
領域抽出部200は、制御部118の制御に基づき、輝度色差分離部500から図１３(b),(c)に示されるに輝度信号Yと色差信号Cb,Crごとに5×5画素の局所領域CTijおよび21×21画素のマッチング領域CT-2klを順次読み込む。上記局所領域およびマッチング領域は動き推定部202へ、局所領域は係数乗算部213へ転送される。
【０１５６】
領域抽出部201は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の局所領域C2NT-2ijを順次読み込む。上記過去の局所領域は、係数乗算部214へ転送される。動き推定部202にて推定された動き量Mは、第２関数部211へ転送される。
【０１５７】
第２関数部211は、制御部118の制御に基づき、動き推定部202にて推定された動き量Mを読み込み、(10)式で示される係数k2を算出する。算出された係数k2は、帰還係数RとしてR/2が係数乗算部213へ、1-R/2が係数乗算部214へ転送される。
【０１５８】
係数乗算部213は、制御部118の制御に基づき、領域抽出部200から局所領域CTijを第２関数部211から帰還係数R/2を読み込み、両者を乗算して加算部215へ転送する。
【０１５９】
係数乗算部214は、制御部118の制御に基づき、領域抽出部201から過去の局所領域C2NT-2ijを第２関数部211から帰還係数1-R/2を読み込み、両者を乗算して加算部215へ転送する。
【０１６０】
加算部215は、制御部118の制御に基づき、係数乗算部213からのR/2・CTijを係数乗算部214から(1-R/2)・C2NT-2ijを読み込み、両者を加算することでノイズ低減処理後の局所領域CNTijを算出する。上記係数乗算部213,係数乗算部214,加算部215での処理は(19)式に示される。
【０１６１】
【数１９】
上記帰還係数Rは、係数k2の特性から動きが大きい場合は０となり、小さい場合は１に近づく。(19)式から、動きが大きい場合は過去の信号の帰還率が低くなり残像などの副作用を抑制する。ノイズ低減処理後の局所領域CNTijは、２次元型ノイズ低減部502へ転送される。
【０１６２】
図１６は、２次元型ノイズ低減部502の構成の一例を示すもので、局所領域抽出部600,平均値算出部601,ゲイン算出部602,標準値付与部603,パラメータ用ROM604,パラメータ選択部605,ノイズ補間部606,領域抽出拡大部607,変化量動き補償部608,関数部609,ノイズ乗算部610,コアリング部611からなる。
【０１６３】
巡回型ノイズ低減部501は、局所領域抽出部600および変化量動き補償部608へ接続している。局所領域抽出部600は、平均値算出部601,コアリング部611を介してバッファ113へ接続している。平均値算出部601,ゲイン算出部602,標準値付与部603,パラメータ用ROM604は、パラメータ選択部605へ接続している。パラメータ選択部605は、ノイズ補間部606を介してノイズ乗算部610へ接続している。変化量算出部116は、領域抽出拡大部607,変化量動き補償部608,関数部609を介してノイズ乗算部610へ接続している。ノイズ乗算部610は、コアリング部611へ接続している。制御部118は、局所領域抽出部600,平均値算出部601,ゲイン算出部602,標準値付与部603,パラメータ選択部605,ノイズ補間部606,領域抽出拡大部607,変化量動き補償部608,関数部609,ノイズ乗算部610,コアリング部611と双方向に接続されている。
【０１６４】
以後の説明は、図１３(b)に示されるような偶数フィールド信号かつ注目画素がYT24,CｒT24に関して行うが、偶数フィールド信号かつ注目画素がYT24,CbT24や奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
【０１６５】
局所領域抽出部600は、制御部118の制御に基づき、巡回型ノイズ低減部501から巡回型のノイズ低減処理がなされた局所領域CNTijを読み込み、平均値算出部601へ転送する。
【０１６６】
平均値算出部601は、制御部118の制御に基づき、局所領域CNTijの平均値C_AV（C=Y,Cb,Cr）を算出する。図１３(b)に示される局所領域の場合、平均値は(20)式から得られる。
【０１６７】
【数２０】
算出された平均値C_AVは、パラメータ選択部605へ転送される。また、局所領域CNTij内の注目画素CNT24および平均値C_AVはコアリング部611へ転送される。
【０１６８】
ゲイン算出部602は、制御部118から転送されるISO感度および露光条件に関する情報に基づきGain104における増幅量を求め、パラメータ選択部605へ転送する。また、制御部118は温度センサー103からCCD102の温度情報を得て、これをパラメータ選択部605へ転送する。
【０１６９】
パラメータ選択部605は、平均値算出部601からの局所領域の平均値，ゲイン算出部602からのゲインの情報，制御部118からの温度情報に基づき局所領域のノイズ量を推定する。
【０１７０】
図１７は、ノイズ量の推定に関する説明図である。図１７(a)は、信号レベルLに対するノイズ量Nをプロットしたもので、信号レベルに対して２次曲線的に増加している。図１７(a)を２次関数でモデル化すると(21)式が得られる。
【０１７１】
【数２１】
ここで、α,β,γは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。図１７(a)は、一例としてある温度下においてゲインに関連する３種類のISO感度100,200,400に対するノイズ量をプロットしている。個々の曲線は(21)式に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形でモデルの定式化を行うと、(22)式となる。
【０１７２】
【数２２】
ここで、αgt, βgt,γgtは定数項である。ただし、(22)式の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このため、図１７(b)に示すようなモデルの簡略化を行う。図１７(b)においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLとノイズ量Nからなる座標データ(Ln, Nn)で表す。ここで、nは変曲点の数を示す。また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数kgtも用意される。補正係数kgtは、各ノイズモデルと基準ノイズモデル間から最小自乗法により算出される。基準ノイズモデルから他のノイズモデルを導出するには、上記補正係数kgtを乗算することで行われる。
【０１７３】
図１７(c)は、図１７(b)に示す簡易化されたノイズモデルからノイズ量を算出する方法を示す。例えば、与えられた信号レベルl、ゲインがg、温度がtに対応するノイズ量Nを求めることを想定する。まず、信号レベルlが基準ノイズモデルのどの区間に属するかを探索する。ここでは、(Ln, Nn)と(Ln+1, Nn+1)間の区間に属するとする。基準ノイズモデルにおける基準ノイズ量Nlを線形補間にて求める。
【０１７４】
【数２３】
次に補正係数kgtを乗算することで、ノイズ量Nを求める。
【０１７５】
【数２４】
なお、上記の説明においてノイズモデルを構築する際のノイズ量は、巡回型ノイズ低減部501にて巡回型のノイズ低減処理がなされた後の残存するノイズ量を意味する。
【０１７６】
パラメータ選択部605は、平均値算出部601からの局所領域の平均値C_AVから信号レベルlを、ゲイン算出部602からのゲインの情報からゲインgを、制御部118からの温度情報から温度tを設定する。次に、信号レベルlが属する区間の座標データ(Ln, Nn)と(Ln+1, Nn+1)をパラメータ用ROM604から探索し、これをノイズ補間部606へ転送する。さらに、補正係数kgtをパラメータ用ROM604から探索し、これをノイズ補間部606へ転送する。
【０１７７】
ノイズ補間部606は、制御部118の制御に基づき、パラメータ選択部605からの信号レベルlおよび区間の座標データ(Ln, Nn)と(Ln+1, Nn+1)から(23)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出する。その後、パラメータ選択部605からの補正係数kgtから(24)式に基づきノイズ量Nを算出する。上記ノイズ量Nは、図１３(b)に示される局所領域の場合、注目画素CNT24のノイズ量Nとしてノイズ乗算部610へ転送される。なお、上記ノイズ量算出の過程において、温度t，ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部603に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
【０１７８】
一方、領域抽出拡大部607は制御部118の制御に基づき、変化量算出部116から(14)式に示される変化量ΔCを読み込む。変化量ΔCは、縮小処理がなされているため、縮小率の逆数に相当する拡大率で拡大処理を行い、マッチング領域に対応する変化量ΔCklを抽出する。上記変化量ΔCklは、変化量動き補償部608へ転送される。
【０１７９】
変化量動き補償部608は、制御部118の制御に基づき、巡回型ノイズ低減部501から動き量Mを領域抽出拡大部607から変化量ΔCklを読み込み、公知の動き補償を行った後、局所領域の座標位置に相当する変化量ΔCijを抽出して関数部609へ転送する。
【０１８０】
関数部609は、制御部118の制御に基づき、変化量動き補償部608から動き補償された変化量ΔCijを読み込み、(9)式に示される係数k1を算出する。係数k1は、ノイズ乗算部610へ転送される。
【０１８１】
ノイズ乗算部610は、制御部118の制御に基づき、ノイズ補間部606からノイズ量Nを関数部609から係数k1を読み込み、補正されたノイズ量N'を求める。
【０１８２】
【数２５】
(25)式におけるωは調整用の重み係数を意味する。補正されたノイズ量N'は、コアリング部611へ転送される。
【０１８３】
コアリング部611は、制御部118の制御に基づき、平均値算出部601から注目画素CNT24および平均値C_AVをノイズ乗算部610から補正されたノイズ量N'を読み込み、注目画素に関してコアリング処理を行い２次元型のノイズ低減処理がなされた注目画素値C2NT24を求める。
【０１８４】
【数２６】
(26)式に示すコアリング処理に用いられる補正されたノイズ量N'は、係数k1の特性から信号処理の変化量が大きい場合は大きく、小さい場合は小さくなる。このため、信号処理の変化量が大きい場合はノイズ低減処理が強めになり、変化量が小さい場合はノイズ低減処理が弱めとなる。これにより、信号処理に起因するノイズの不均質な顕在化を抑制することができる。２次元型のノイズ低減処理がなされた注目画素C2NT24は、バッファ113へ転送される。
【０１８５】
なお、上記構成ではノイズ低減処理にコアリング処理を、ノイズ推定処理に補間処理を用いる構成となっていたが、このような構成に限定される必要はない。例えば、ノイズ低減処理に適用的なローパスフィルタ処理を行う構成やノイズ推定処理にルックアップテーブルを用いる構成も可能である。
【０１８６】
図１８Ａは、２次元型ノイズ低減部502の別構成の一例を示すもので、図１６に示すパラメータ用ROM604,パラメータ選択部605,ノイズ補間部606,コアリング部611を削除し、ノイズテーブル部612,フィルタ選択部613,係数用ROM614,ローパスフィルタ部615を追加した構成になっている。基本構成は図１６に示す２次元型ノイズ低減部502と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１８７】
平均値算出部601,ゲイン算出部602,標準値付与部603は、ノイズテーブル部612へ接続している。ノイズテーブル部612は、ノイズ乗算部610へ接続している。ノイズ乗算部610および係数用ROM614は、フィルタ選択部613へ接続している。平均値算出部601,フィルタ選択部613は、ローパスフィルタ部615へ接続している。ローパスフィルタ部615は、バッファ113へ接続している。制御部118は、ノイズテーブル部612,フィルタ選択部613,ローパスフィルタ部615と双方向に接続されている。
【０１８８】
平均値算出部601からの局所領域の平均値C_AV、ゲイン算出部602からのゲインの情報、制御部118からの温度情報はノイズテーブル部612へ転送される。
【０１８９】
ノイズテーブル部612は、平均値算出部601からの局所領域に関する平均値，ゲイン算出部602からのゲインの情報，制御部118からの温度情報に基づきノイズ量Nを出力する。ノイズテーブル部612は、温度，信号値レベル，ゲインとノイズ量間の関係を記録したルックアップテーブルで、(22)式に示される関係に基づき構築される。ノイズテーブル部612で得られたノイズ量Nは、図１３(b)に示される局所領域の場合、注目画素CNT24のノイズ量Nとしてノイズ乗算部610へ転送される。
【０１９０】
ノイズ乗算部610は、制御部118の制御に基づき、ノイズテーブル部612からノイズ量Nを関数部609から係数k1を読み込み、(25)式に示される補正されたノイズ量N'を求める。補正されたノイズ量N'は、フィルタ選択部613へ転送される。
【０１９１】
フィルタ選択部613は、制御部118の制御に基づき、ノイズ乗算部610からの補正されたノイズ量N'を用いて係数用ROM614からローパスフィルタ処理に用いるフィルタ係数を選択する。
【０１９２】
図１８Ｂは、係数用ROM614に記録されているフィルタ係数の一例を示すもので、サイズが5×5画素で、Type1〜Type4までの４種類の周波数特性が記録されている。なお、各係数は128倍されている。Type1は高周波成分を残存し、Type4へと順次高周波成分を抑制する周波数特性となっている。フィルタ選択部613は、補正されたノイズ量N'からType1〜Type4の周波数特性を選択する。この選択は、例えば図１８Ｃに示される補正されたノイズ量N'とフィルタの種類Type間の関係に基づき行われる。補正されたノイズ量N'が大きいほど高周波成分を抑制する周波数特性が選択されることになる。フィルタ選択部613は、選択されたフィルタ係数をローパスフィルタ部615へ転送する。
【０１９３】
ローパスフィルタ部615は、制御部118の制御に基づき、平均値算出部601からの局所領域に対してフィルタ選択部613からのフィルタ係数を用いてローパスフィルタ処理を行う。なお、輝度信号Yの場合は5×5画素の局所領域でローパスフィルタのサイズと一致するが、色差信号Crの場合は5×3画素の局所領域でローパスフィルタのサイズと一致しない。この場合は、存在しない画素に関してはローパスフィルタ処理の対象化から除外し、実際に使用された画素のフィルタ係数に基づき正規化することで対応する。ローパスフィルタ処理による結果は、２次元型のノイズ低減処理がなされた注目画素値として、バッファ113へ転送される。
【０１９４】
[効果]
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
【０１９５】
ノイズ低減処理に巡回型のノイズ低減処理と２次元型のノイズ低減処理を組み合わせて使用するため、高精度なノイズ低減処理が可能となり、高品位な映像信号が得られる。後段の信号処理に起因する変化量に基づき２次元型ノイズ低減処理を制御する構成は、制御法が容易となり、コストを低減することが可能となる。
【０１９６】
巡回型のノイズ低減処理は、減算型または加算型を用いるため、信号処理に起因するノイズの不均質な顕在化と動きに起因する残像などの副作用の両者を抑制することが可能となり、高品位な映像信号が得られる。また、減算によるノイズ低減処理は計算量が少なく、システム全体の高速化および低コスト化を可能とする。一方、加算によるノイズ低減処理は時間軸方向の連続性に優れ、違和感の少ない映像信号が得られる。
【０１９７】
２次元型ノイズ低減処理におけるノイズ量の推定は、撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。ノイズ量の算出に補間演算を用いる場合はシステムの低コスト化が可能となり、ルックアップテーブルを用いる場合は高速なノイズ量の推定が可能となる。コアリング処理によりノイズ低減処理はノイズ成分のみを重点的に低減でき、かつエッジなどのノイズ以外の画素との連続性が確保できる。一方、フィルタリング処理によりノイズ低減処理は実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。
【０１９８】
また、輝度信号および色差信号ごとにノイズ低減処理を行うため、ノイズを高精度に低減することができ、多様な撮像システムに適応することが可能となる。
【０１９９】
色差線順次型補色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。ノイズ低減処理後の信号処理として階調変換処理、エッジ強調処理、色強調処理の少なくとも１つの処理を行う構成は、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０２００】
また、信号処理の変化率の算出をノイズ低減処理がなされた映像信号と信号処理がなされた映像信号間から直接算出するため、変化量の算出を高精度化できる。
【０２０１】
さらに、縮小処理した信号間から変化量を算出し、ノイズ低減処理に使用する際に拡大する構成では、演算量や必要となる回路規模が削減され、処理の高速化およびシステムのコストを低減することが可能となる。
【０２０２】
［変形例］
上記第２の実施形態では撮像素子として色差線順次型補色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、第１の実施形態と同様にBayer型原色フィルタを用いる構成も可能である。この場合、欠落するRGB信号を公知の補間処理により補い、(27)式に基づき輝度信号と色差信号を求める。
【０２０３】
【数２７】
また、この場合はフレーム信号のみでフィールド信号が存在しいことになる。巡回型ノイズ低減部501は、第１の実施形態と同様に1/30秒前のフレーム信号を用いて処理を行うことになる。
【０２０４】
さらに、第２の実施形態ではレンズ系100,絞り101,CCD102,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
【０２０５】
さらに、第２の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの映像信号を未処理のままのRawデータとして、制御部118からCCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０２０６】
図１９Ａは、信号処理のソフトウェア処理に関するフローを示す。なお、図１１Ａに示す第１の実施形態における信号処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０２０７】
ステップS1にて、映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
【０２０８】
ステップS50にて、映像信号から偶数フィールド信号および奇数フィールド信号を順次抽出する。
【０２０９】
ステップS3にて、図１１Ｂに示す第１の実施形態の変化量算出処理と同様に、後段の信号処理に起因する変化量を過去の、第２の実施形態では２フィールド過去のフィールド信号から算出する。
【０２１０】
ステップS51にて、(13)式に示されるように輝度信号と色差信号を分離する。
【０２１１】
ステップS5にて、分離後の輝度信号および色差信号から図１３(b),(c)に示されるように、5×5画素の局所領域が抽出される。なお、局所領域内で欠落する画素は以後の処理の対象外となる。
【０２１２】
ステップS52にて、別途説明するように巡回型のノイズ低減処理を行う。
【０２１３】
ステップS53にて、別途説明するよう２次元型のノイズ低減処理を行う。
【０２１４】
ステップS7にて、ノイズ低減処理がなされた信号を出力する。
【０２１５】
ステップS8にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS5へ分岐し、完了した場合はステップS54へ分岐する。
【０２１６】
ステップS54にて、全ての輝度色差信号が完了したかを判断し、完了していない場合はステップS51へ分岐し、完了した場合はステップS10へ分岐する。
【０２１７】
ステップS10にて、偶数フィールド信号および奇数フィールド信号に対して公知の同時化処理を行いフレーム信号を生成し、その後に公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理が行われる。
【０２１８】
ステップS11にて、処理が完了したフレーム信号が出力される。
【０２１９】
ステップS55にて、全てのフィールド信号が完了したかを判断し、完了していない場合はステップS50へ分岐し、完了した場合は終了する。
【０２２０】
図１９Ｂは、上記ステップS52における巡回型ノイズ低減処理に関するフローである。なお、図１１Ｃに示す第１の実施形態における巡回型ノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０２２１】
ステップS30にて、過去のフィールド信号を入力する。
【０２２２】
ステップS31にて、過去のフィールド信号から局所領域を包含する所定サイズ、例えば21×21画素のマッチング領域を抽出する。
【０２２３】
ステップS32にて、局所領域とマッチング領域間で公知のマッチング処理を行うことで動き量を推定する。
【０２２４】
ステップS36にて、動き量に基づき(4)式に示されるように閾値を算出する。
【０２２５】
ステップS37にて、ノイズ低減処理がなされた過去のフィールド信号を読み込む。
【０２２６】
ステップS38にて、局所領域およびノイズ低減処理がなされた過去のフィールド信号からの局所領域間で(15)式に示されるように差分信号を算出する。
【０２２７】
ステップS39にて、差分信号に対して閾値に基づき(16)式に示されるように上限値を設定する。
【０２２８】
ステップS40にて、上限値が設定された差分信号と局所領域間で(17)式に示されるように減算処理によりノイズ低減処理を行い終了する。
【０２２９】
図１９Ｃは、上記ステップS53における２次元型ノイズ低減処理に関するフローである。
【０２３０】
ステップS60にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
【０２３１】
ステップS61にて、基準ノイズモデルの座標データおよび補正係数を読み込む。
【０２３２】
ステップS62にて、(20)式に示されるように局所領域の平均値を算出する。
【０２３３】
ステップS63にて、注目画素値が属する基準ノイズモデルの区間の座標データおよび対応する補正係数を選択する。
【０２３４】
ステップS64にて、(23)式に示される補間処理にて基準ノイズ量を求め、(24)式に示される補正処理にてノイズ量を求める。
【０２３５】
ステップS65にて、変化量を入力する。
【０２３６】
ステップS66にて、縮小されている変化量を拡大処理し、局所領域に対応する変化量を算出する。
【０２３７】
ステップS67にて、変化量に対して動き量に基づき公知の動き補償処理を行う。
【０２３８】
ステップS68にて、動き補償された変化量から(9)式に示されるように係数を算出する。
【０２３９】
ステップS69にて、(25)式に示される補正されたノイズ量を求める。
【０２４０】
ステップS70にて、(26)式に示されるコアリング処理を行い２次元型のノイズ低減処理がなされた注目画素値を求めて終了する。
【０２４１】
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０２４２】
第３の実施形態
［構成］
図２０は、本発明の第３の実施形態の構成図である。第３の実施形態は、図１に示す第１の実施形態におけるCCD102が#1CCD700および#2CCD701へ、巡回型ノイズ低減部112が２次元型ノイズ低減部702へ置換され、プリズム系703が追加された構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
【０２４３】
レンズ系100,絞り101を介して入射された光束は、プリズム系703により２方向に分岐され#1CCD700および#2CCD701へ到達する。#1CCD700および#2CCD701による映像信号は、Gain104にて増幅され、A/D105にてデジタル信号へ変換され、バッファ106へ転送される。
【０２４４】
色信号分離部111は２次元型ノイズ低減部702へ、２次元型ノイズ低減部702はバッファ113へ接続されている。バッファ113は、信号処理部114および変化量算出部116へ接続されている。変化量算出部116は、２次元型ノイズ低減部702へ接続されている。測光評価部108は絞り101,#1CCD700,#2CCD701,Gain104へ接続されている。制御部118は、２次元型ノイズ低減部702と双方向に接続されている。さらに、#2CCD701の近傍に配置された温度センサー103からの信号は制御部118へ接続されている。
【０２４５】
［作用］
基本的に第１の実施形態と同等であり、異なる部分のみ説明する。図２０において、信号の流れを説明する。外部I/F部119を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101を介して入射された光束は、プリズム系703により２方向に分岐され#1CCD700および#2CCD701にて所定時間間隔で連続的に映像信号が生成される。以後、連続的に出力される複数の映像信号を単に映像信号、１枚の映像信号をフレーム信号と表記する。第３の実施形態においては、上記所定時間間隔として1/30秒（以後は１フレーム時間と表記する）を想定する。また撮像系として、#1CCD700は赤(R),青(B)フィルタが市松状に配置され、#2CCD701は全画素に緑(G)フィルタが配置された二板CCDを想定する。
【０２４６】
図２１(a),(c)は、二板CCDの色フィルタの構成を示す。二板CCDにおけるフレーム信号は、1つの画素に関してGとR、またはGとBの2色の色信号からなる。上記映像信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。
【０２４７】
バッファ106は、１フレームの信号を記録可能で、撮影にともない古いフレーム信号から順次上書きされることになる。
【０２４８】
色信号分離部111は、制御部118の制御に基づき、以後のノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を色信号ごとに順次抽出する。第３の実施形態においては、注目画素がGとRの場合は図２１(b)に示されるGとRの5×5画素の２つの局所領域が抽出され、注目画素はR22,G22となる。また、注目画素がGとBの場合は図２１(d)に示されるGとBの5×5画素の２つの局所領域が抽出され、注目画素はB22,G22となる。以降は、時刻Tにおける局所領域内の画素をCTij（Cは色信号でC=R,GまたはB,G、iはX座標でi=0〜4、jはY座標でj=0〜4）で、注目画素をCT22で表記する。なお、RまたはBの場合、5×5画素の局所領域内で13画素しか存在しないことになる。欠落する画素は、以降の処理では対象外となる。フレーム信号からもれなく注目画素を抽出するために、図２１(b),(c)に示される5×5画素の局所領域は２行２列ずつ重複して順次抽出されることになる。
【０２４９】
２次元型ノイズ低減部702は、制御部118の制御に基づき、色信号分離部111から上記局所領域を、後述する変化量算出部116から変化量を読み込み、上記局所領域単位に２次元型のノイズ低減処理を行う。以後、ノイズ低減処理がなされた画素をCNで記述する。ノイズ低減処理は局所領域内の注目画素CT22に対して行われ、ノイズ低減処理がなされた注目画素CNT22はバッファ113へ転送され記録される。
【０２５０】
バッファ113は、１フレームの信号を記録可能で、ノイズ低減処理にともない順次上書きされることになる。１フレーム信号のノイズ低減処理が完了した後、信号処理部114は制御部118の制御に基づき、ノイズ低減処理がなされたフレーム信号に対して、公知の補間処理を行い、その後公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理を行う。以後、信号処理がなされた画素をCPで記述する。信号処理がなされたフレーム信号は、バッファ115へ転送され記録される。
【０２５１】
変化量算出部116は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた画素CNをバッファ115から信号処理がなされた画素CPを読み込み、その変化量ΔCを求める。なお、上記の説明ではバッファ113およびバッファ115内に時刻Tにおけるフレーム信号が存在することになるが、２次元型ノイズ低減部702で時刻Tにおけるフレーム信号のノイズ低減処理が行われている時点では、バッファ113およびバッファ115内に時刻T-1におけるフレーム信号が存在することになる。変化量ΔCは、(2)式に示されるように算出される。変化量ΔCは、２次元型ノイズ低減部702へ転送される。
【０２５２】
一方、バッファ115内のフレーム信号は出力部117へ転送される。出力部117は、磁気ディスクやメモリカードなどの記録媒体に順次フレーム信号を記録保存する。
【０２５３】
図２２は２次元型ノイズ低減部702の構成の一例を示すもので、図１６に示す２次元型ノイズ低減部502から変化量動き補償部608が省略された構成になっている。基本構成は図１６に示す２次元型ノイズ低減部502と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０２５４】
色信号分離部111は、局所領域抽出部600へ接続している。領域抽出拡大部607は、関数部609へ接続している。以後の説明は、図２１(b)に示すGとRの２つの局所領域に関して行うが、図２１(d)に示されるGとBの２つの局所領域に関しも局所領域の構成が異なるだけで同様に成立する。
【０２５５】
局所領域抽出部600は、制御部118の制御に基づき、色信号分離部111から局所領域CTijを読み込み、平均値算出部601へ転送する。
【０２５６】
平均値算出部601は、制御部118の制御に基づき、局所領域CTijの平均値C_AV（C=R,G,B）を算出する。図２１(b)に示すGとRの２つの局所領域の場合、平均値は(28)式から得られる。
【０２５７】
【数２８】
算出された平均値C_AVは、パラメータ選択部605へ転送される。また、局所領域CTij内の注目画素CT22および平均値C_AVはコアリング部611へ転送される。
【０２５８】
ゲイン算出部602は、制御部118から転送されるISO感度および露光条件に関する情報に基づきGain104における増幅量を求め、パラメータ選択部605へ転送する。
【０２５９】
また、制御部118は温度センサー103から#2CCD701の温度情報を得て、これをパラメータ選択部605へ転送する。
【０２６０】
パラメータ選択部605は、制御部118の制御に基づき、平均値算出部601からの局所領域の平均値，ゲイン算出部602からのゲインの情報，制御部118からの温度情報に基づき局所領域のノイズ量を推定に使用するパラメータをパラメータ用ROM604から探索し、これをノイズ補間部606へ転送する。
【０２６１】
ノイズ補間部606は、制御部118の制御に基づき、(23)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出し、(24)式に基づきノイズ量Nを算出する。上記ノイズ量Nは、注目画素CT22のノイズ量Nとしてノイズ乗算部610へ転送される。なお、上記パラメータ用ROM604に記録されているノイズモデルは、第１の実施形態では巡回型のノイズ低減処理がなされた後の残存するノイズ量をモデル化していたのに対して、#1CCD700および#2CCD701などの撮像系からのノイズ量をモデル化している。また、上記ノイズ量算出の過程において、温度t，ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部603に記録させておき、算出過程を省略する構成も可能である。
【０２６２】
一方、領域抽出拡大部607は制御部118の制御に基づき、変化量算出部116から(2)式に示される変化量ΔCを読み込む。変化量ΔCは、縮小処理がなされているため、縮小率の逆数に相当する拡大率で拡大処理を行い、局所領域に対応する変化量ΔCijを抽出する。上記変化量ΔCijは、関数部609へ転送される。
【０２６３】
関数部609は、制御部118の制御に基づき、領域抽出拡大部607から変化量ΔCijを読み込み、図７(a)に示されるような係数k1を算出する。係数k1は、ノイズ乗算部610へ転送される。
【０２６４】
ノイズ乗算部610は、制御部118の制御に基づき、ノイズ補間部606からノイズ量Nを関数部609から係数k1を読み込み、(25)式に基づき補正されたノイズ量N'を求める。補正されたノイズ量N'は、コアリング部611へ転送される。
【０２６５】
コアリング部611は、制御部118の制御に基づき、平均値算出部601から注目画素CT22および平均値C#AVをノイズ乗算部610から補正されたノイズ量N'を読み込み、注目画素に関してコアリング処理を行い２次元型のノイズ低減処理がなされた注目画素値CNT22を求める。
【０２６６】
【数２９】
(29)式に示すコアリング処理に用いられる補正されたノイズ量N'は、係数k1の特性から信号処理の変化量が大きい場合は大きく、小さい場合は小さくなる。このため、信号処理の変化量が大きい場合はノイズ低減処理が強めになり、変化量が小さい場合はノイズ低減処理が弱めとなる。これにより、信号処理に起因するノイズの不均質な顕在化を抑制することができる。２次元型のノイズ低減処理がなされた注目画素CNT22は、バッファ113へ転送される。
【０２６７】
なお、上記構成ではノイズ低減処理にコアリング処理を、ノイズ推定処理に補間処理を用いる構成となっていたが、このような構成に限定される必要はない。例えば、ノイズ低減処理に適用的なローパスフィルタ処理を行う構成やノイズ推定処理にルックアップテーブルを用いる構成も可能である。
【０２６８】
図２３は、２次元型ノイズ低減部702の別構成の一例を示すもので、図２２に示すパラメータ用ROM604,パラメータ選択部605,ノイズ補間部606,コアリング部611を削除し、ノイズテーブル部612,フィルタ選択部613,係数用ROM614,ローパスフィルタ部615を追加した構成になっている。基本構成は図２２に示す２次元型ノイズ低減部702と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０２６９】
平均値算出部601,ゲイン算出部602,標準値付与部603は、ノイズテーブル部612へ接続している。ノイズテーブル部612は、ノイズ乗算部610へ接続している。ノイズ乗算部610および係数用ROM614は、フィルタ選択部613へ接続している。平均値算出部601,フィルタ選択部613は、ローパスフィルタ部615へ接続している。ローパスフィルタ部615は、バッファ113へ接続している。制御部118は、ノイズテーブル部612,フィルタ選択部613,ローパスフィルタ部615と双方向に接続されている。
【０２７０】
平均値算出部601からの局所領域の平均値C_AV、ゲイン算出部602からのゲインの情報、制御部118からの温度情報はノイズテーブル部612へ転送される。
【０２７１】
ノイズテーブル部612は、平均値算出部601からの局所領域に関する平均値，ゲイン算出部602からのゲインの情報，制御部118からの温度情報に基づきノイズ量Nを出力する。上記ノイズ量Nは、ノイズ乗算部610へ転送される。
【０２７２】
ノイズ乗算部610は、制御部118の制御に基づき、ノイズテーブル部612からノイズ量Nを関数部609から係数k1を読み込み、(25)式に示される補正されたノイズ量N'を求める。補正されたノイズ量N'は、フィルタ選択部613へ転送される。
【０２７３】
フィルタ選択部613は、制御部118の制御に基づき、ノイズ乗算部610からの補正されたノイズ量N'を用いて係数用ROM614からローパスフィルタ処理に用いる、例えば図１８Ｂに示されるようなフィルタ係数を選択する。この選択は、例えば図１８Ｃに示される補正されたノイズ量N'とフィルタの種類Type間の関係に基づき行われる。フィルタ選択部613は、選択されたフィルタ係数をローパスフィルタ部615へ転送する。
【０２７４】
ローパスフィルタ部615は、制御部118の制御に基づき、平均値算出部601からの局所領域に対してフィルタ選択部613からのフィルタ係数を用いてローパスフィルタ処理を行う。なお、Gの場合は5×5画素の局所領域でローパスフィルタのサイズと一致するが、RまたはBの場合は局所領域内で欠落する画素が存在する。この場合は、存在しない画素に関してはローパスフィルタ処理の対象化から除外し、実際に使用された画素のフィルタ係数に基づき正規化することで対応する。ローパスフィルタ処理による結果は、２次元型のノイズ低減処理がなされた注目画素値として、バッファ113へ転送される。
【０２７５】
[効果]
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
【０２７６】
ノイズ低減処理に２次元型のノイズ低減処理を使用するため、回路規模を縮小することができ、コストを低減することが可能となる。また、残像の発生や時間的遅延などの副作用が少なく、安定した処理が可能となる。後段の信号処理に起因する変化量に基づき２次元型ノイズ低減処理を制御する構成は、制御法が容易となり、コストを低減することが可能となる。２次元型ノイズ低減処理におけるノイズ量の推定は、撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。
【０２７７】
ノイズ量の算出に補間演算を用いる場合はシステムの低コスト化が可能となり、ルックアップテーブルを用いる場合は高速なノイズ量の推定が可能となる。コアリング処理によるノイズ低減処理はノイズ成分のみを重点的に低減でき、かつエッジなどのノイズ以外の画素との連続性が確保できる。一方、フィルタリング処理によりノイズ低減処理は実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。
【０２７８】
また、色信号ごとにノイズ低減処理を行うため、ノイズを高精度に低減することができ、高品位な映像信号が得られる。
【０２７９】
ノイズ低減処理後の信号処理として階調変換処理、エッジ強調処理、色強調処理の少なくとも１つの処理を行う構成は、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０２８０】
また、信号処理の変化率の算出をノイズ低減処理がなされた映像信号と信号処理がなされた映像信号間から直接算出するため、変化量の算出を高精度化できる。
【０２８１】
さらに、縮小処理した信号間から変化量を算出し、ノイズ低減処理に使用する際に拡大する構成では、演算量や必要となる回路規模が削減され、処理の高速化およびシステムのコストを低減することが可能となる。
【０２８２】
［変形例］
上記第３の実施形態ではレンズ系100,絞り101,#1CCD700,#2CCD701,プリズム系703,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらに#1CCD700,#2CCD701の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
【０２８３】
さらに、第３の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、#1CCD700,#2CCD701からの映像信号を未処理のままのRawデータとして、制御部118から#1CCD700,#2CCD701の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０２８４】
図２４Ａは、信号処理のソフトウェア処理に関するフローを示す。なお、図１１Ａに示す第１の実施形態における信号処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０２８５】
ステップS1にて、映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
【０２８６】
ステップS2にて、映像信号から順次フレーム信号を抽出する。
【０２８７】
ステップS3にて、図１１Ｂに示す第１の実施形態の変化量算出処理と同様に、後段の信号処理に起因する変化量を過去の、第３の実施形態では1フレーム過去のフレーム信号から算出する。
【０２８８】
ステップS4にて、図２１(b),(d)に示されるように#1CCD700,#2CCD701の色フィルタに基づき、色信号ごとに分離する。
【０２８９】
ステップS5にて、図２１(b),(d)に示されるようにノイズ低減処理の対象となる注目画素を包含する所定サイズ、例えば5×5画素サイズの局所領域を抽出する。
【０２９０】
ステップS80にて、別途説明するように２次元型のノイズ低減処理を行う。
【０２９１】
ステップS7にて、ノイズ低減処理がなされた信号を出力する。
【０２９２】
ステップS8にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS5へ分岐し、完了した場合はステップS9へ分岐する。
【０２９３】
ステップS9にて、全ての色信号が完了したかを判断し、完了していない場合はステップS4へ分岐し、完了した場合はステップS10へ分岐する。
【０２９４】
ステップS10にて、公知の補間処理の後に公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理が行われる。
【０２９５】
ステップS11にて、処理が完了したフレーム信号が出力される。
【０２９６】
ステップS12にて、全てのフレーム信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合は終了する。
【０２９７】
図２４Ｂは、上記ステップS80における２次元型ノイズ低減処理に関するフローである。なお、図１９Ｃに示す第２の実施形態における２次元型ノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０２９８】
ステップS60にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
【０２９９】
ステップS61にて、基準ノイズモデルの座標データおよび補正係数を読み込む。
【０３００】
ステップS62にて、(28)式に示されるように局所領域の平均値を算出する。
【０３０１】
ステップS63にて、注目画素値が属する基準ノイズモデルの区間の座標データおよび対応する補正係数を選択する。
【０３０２】
ステップS64にて、(23)式に示される補間処理にて基準ノイズ量を求め、(24)式に示される補正処理にてノイズ量を求める。
【０３０３】
ステップS65にて、変化量を入力する。
【０３０４】
ステップS66にて、縮小されている変化量を拡大処理し、局所領域に対応する変化量を算出する。
【０３０５】
ステップS69にて、(25)式に示される補正されたノイズ量を求める。
【０３０６】
ステップS70にて、(29)式に示されるコアリング処理を行い２次元型のノイズ低減処理がなされた注目画素値を求めて終了する。
【０３０７】
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０３０８】
第４の実施形態
［構成］
図２５は、本発明の第４の実施形態の構成図である。第４の実施形態は、図１に示す第１の実施形態におけるCCD102がR#CCD800,G#CCD801,B#CCD802へ、巡回型ノイズ低減部112が２次元型ノイズ低減部803へ置換され、符号化部804,プリズム系805が追加された構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
【０３０９】
レンズ系100,絞り101を介して入射された光束は、プリズム系805により３方向に分岐されR#CCD800,G#CCD801,B#CCD802へ到達する。R#CCD800,G#CCD801,B#CCD802による映像信号は、Gain104にて増幅され、A/D105にてデジタル信号へ変換され、バッファ106へ転送される。
【０３１０】
色信号分離部111は２次元型ノイズ低減部803へ、２次元型ノイズ低減部803はバッファ113へ接続されている。バッファ113は、信号処理部114および変化量算出部116へ接続されている。変化量算出部116は、２次元型ノイズ低減部803へ接続されている。バッファ115は符号化部804へ、符号化部804は出力部117および２次元型ノイズ低減部803へ接続されている。測光評価部108は絞り101,R#CCD800,G#CCD801,B#CCD802,Gain104へ接続されている。制御部118は、２次元型ノイズ低減部803,符号化部804と双方向に接続されている。さらに、G#CCD801の近傍に配置された温度センサー103からの信号は制御部118へ接続されている。
【０３１１】
［作用］
基本的に第１の実施形態と同等であり、異なる部分のみ説明する。図２５において、信号の流れを説明する。外部I/F部119を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101を介して入射された光束は、プリズム系805により３方向に分岐されR#CCD800,G#CCD801,B#CCD802にて所定時間間隔で連続的に映像信号が生成される。以後、連続的に出力される複数の映像信号を単に映像信号、１枚の映像信号をフレーム信号と表記する。第４の実施形態においては、上記所定時間間隔として1/30秒（以後は１フレーム時間と表記する）を想定する。
【０３１２】
また撮像系として、R#CCD800は赤(R)フィルタが、G#CCD801は緑(G)フィルタが、B#CCD802は青(B)フィルタが全画素に配置された三板CCDを想定する。図２６は、三板CCDの色フィルタの構成を示す。三板CCDにおけるフレーム信号は、1つの画素に関してR,G,Bの3色の色信号からなる。
【０３１３】
上記映像信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、１フレームの信号を記録可能で、撮影にともない古いフレーム信号から順次上書きされることになる。
【０３１４】
色信号分離部111は、制御部118の制御に基づき、以後のノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を色信号ごとに順次抽出する。第４の実施形態においては、図２６に示される5×5画素の3つの局所領域が抽出され、注目画素はR22,G22,B22となる。以降は、時刻Tにおける局所領域内の画素をCTij（Cは色信号でC=R,G,B、iはX座標でi=0〜4、jはY座標でj=0〜4）で、注目画素をCT22で表記する。フレーム信号からもれなく注目画素を抽出するために、図２６に示される5×5画素の局所領域は２行２列ずつ重複して順次抽出されることになる。
【０３１５】
２次元型ノイズ低減部803は、制御部118の制御に基づき、色信号分離部111から上記局所領域を、後述する変化量算出部116から変化量を、後述する符号化部804から動き量を読み込み、上記局所領域単位に２次元型のノイズ低減処理を行う。以後、ノイズ低減処理がなされた画素をCNで記述する。ノイズ低減処理は局所領域内の注目画素CT22に対して行われ、ノイズ低減処理がなされた注目画素CNT22はバッファ113へ転送され記録される。バッファ113は、１フレームの信号を記録可能で、ノイズ低減処理にともない順次上書きされることになる。
【０３１６】
１フレーム信号のノイズ低減処理が完了した後、信号処理部114は制御部118の制御に基づき、ノイズ低減処理がなされたフレーム信号に対して公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理を行う。以後、信号処理がなされた画素をCPで記述する。信号処理がなされたフレーム信号は、バッファ115へ転送され記録される。
【０３１７】
変化量算出部116は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた画素CNをバッファ115から信号処理がなされた画素CPを読み込み、その変化量ΔCを求める。なお、上記の説明ではバッファ113およびバッファ115内に時刻Tにおけるフレーム信号が存在することになるが、２次元型ノイズ低減部803で時刻Tにおけるフレーム信号のノイズ低減処理が行われている時点では、バッファ113およびバッファ115内に時刻T-1におけるフレーム信号が存在することになる。変化量ΔCは、(2)式に示されるように算出される。変化量ΔCは、２次元型ノイズ低減部803へ転送される。
【０３１８】
一方、バッファ115内のフレーム信号は符号化部804へ転送される。符号化部804は、制御部118の制御に基づき、公知のMPEGなどの動画像の符号化処理を行う。符号化された映像信号は、出力部117へ転送される。また、動画像の符号化処理にて算出された動き情報は２次元型ノイズ低減部803へ転送される。
【０３１９】
出力部117は、磁気ディスクやメモリカードなどの記録媒体に符号化された映像信号を順次記録保存する。
【０３２０】
図２７は２次元型ノイズ低減部803の構成の一例を示すもので、図１６に示す２次元型ノイズ低減部502と同等な構成になっている。差異は、２次元型ノイズ低減部502においては巡回型ノイズ低減部501が局所領域抽出部600および変化量動き補償部608へ接続していたのに対し、２次元型ノイズ低減部803においては色信号分離部111が局所領域抽出部600へ、符号化部804が変化量動き補償部608へ接続する構成となっている。以下、異なる部分のみ説明する。
【０３２１】
局所領域抽出部600は、制御部118の制御に基づき、色信号分離部111から局所領域CTijを読み込み、平均値算出部601へ転送する。
【０３２２】
平均値算出部601は、制御部118の制御に基づき、局所領域CTijの平均値C_AV（C=R,G,B）を算出する。図２６に示すR,G,Bの３つの局所領域の場合、平均値は(30)式から得られる。
【０３２３】
【数３０】
また、局所領域CTij内の注目画素CT22および平均値C_AVはコアリング部611へ転送される。
【０３２４】
ゲイン算出部602は、制御部118から転送されるISO感度および露光条件に関する情報に基づきGain104における増幅量を求め、パラメータ選択部605へ転送する。
【０３２５】
また、制御部118は温度センサー103からG#CCD801の温度情報を得て、これをパラメータ選択部605へ転送する。パラメータ選択部605は、制御部118の制御に基づき、平均値算出部601からの局所領域の平均値，ゲイン算出部602からのゲインの情報，制御部118からの温度情報に基づき局所領域のノイズ量を推定に使用するパラメータをパラメータ用ROM604から探索し、これをノイズ補間部606へ転送する。
【０３２６】
ノイズ補間部606は、制御部118の制御に基づき、(23)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出し、(24)式に基づきノイズ量Nを算出する。上記ノイズ量Nは、注目画素CT22のノイズ量Nとしてノイズ乗算部610へ転送される。なお、上記パラメータ用ROM604に記録されているノイズモデルはR#CCD800,G#CCD801,B#CCD802などの撮像系からのノイズ量をモデル化している。また、上記ノイズ量算出の過程において、温度t，ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部603に記録させておき、算出過程を省略する構成も可能である。
【０３２７】
一方、領域抽出拡大部607は制御部118の制御に基づき、変化量算出部116から(2)式に示される変化量ΔCを読み込む。変化量ΔCは、縮小処理がなされているため、縮小率の逆数に相当する拡大率で拡大処理を行い、局所領域に対応する変化量ΔCijを抽出する。
【０３２８】
変化量動き補償部608は、制御部118の制御に基づき、符号化部804から動き量Mを領域抽出拡大部607から変化量ΔCijを読み込み、公知の動き補償を行った後に関数部609へ転送する。
【０３２９】
関数部609は、制御部118の制御に基づき、変化量動き補償部608から動き補償された変化量ΔCijを読み込み、(9)式に示される係数k1を算出する。係数k1は、ノイズ乗算部610へ転送される。
【０３３０】
ノイズ乗算部610は、制御部118の制御に基づき、ノイズ補間部606からノイズ量Nを関数部609から係数k1を読み込み、(25)式に基づき補正されたノイズ量N'を求める。補正されたノイズ量N'は、コアリング部611へ転送される。
【０３３１】
コアリング部611は、制御部118の制御に基づき、平均値算出部601から注目画素CT22および平均値C_AVをノイズ乗算部610から補正されたノイズ量N'を読み込み、注目画素に関して(29)式に示されるコアリング処理を行い２次元型のノイズ低減処理がなされた注目画素値CNT22を求める。２次元型のノイズ低減処理がなされた注目画素CNT22は、バッファ113へ転送される。
【０３３２】
なお、上記構成ではノイズ低減処理にコアリング処理を、ノイズ推定処理に補間処理を用いる構成となっていたが、このような構成に限定される必要はない。例えば、ノイズ低減処理に適用的なローパスフィルタ処理を行う構成やノイズ推定処理にルックアップテーブルを用いる構成も可能である。
【０３３３】
[効果]
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
【０３３４】
ノイズ低減処理に２次元型のノイズ低減処理を使用するため、回路規模を縮小することができ、コストを低減することが可能となる。また、残像の発生や時間的遅延などの副作用が少なく、安定した処理が可能となる。後段の信号処理に起因する変化量に基づき２次元型ノイズ低減処理を制御する構成は、制御法が容易となり、コストを低減することが可能となる。２次元型ノイズ低減処理におけるノイズ量の推定は、撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。
【０３３５】
また、色信号ごとにノイズ低減処理を行うため、ノイズを高精度に低減することができ、高品位な映像信号が得られる。
【０３３６】
ノイズ低減処理後の信号処理として階調変換処理、エッジ強調処理、色強調処理の少なくとも１つの処理を行う構成は、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０３３７】
また、信号処理の変化率の算出をノイズ低減処理がなされた映像信号と信号処理がなされた映像信号間から直接算出するため、変化量の算出を高精度化できる。
【０３３８】
さらに、縮小処理した信号間から変化量を算出し、ノイズ低減処理に使用する際に拡大する構成では、演算量や必要となる回路規模が削減され、処理の高速化およびシステムのコストを低減することが可能となる。
【０３３９】
［変形例］
上記第４の実施形態ではレンズ系100,絞り101,R#CCD800,G#CCD801,B#CCD802,プリズム系805,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにR#CCD800,G#CCD801,B#CCD802の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
【０３４０】
さらに、第４の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、R#CCD800,G#CCD801,B#CCD802からの映像信号を未処理のままのRawデータとして、制御部118からR#CCD800,G#CCD801,B#CCD802の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０３４１】
図２８Ａは、信号処理のソフトウェア処理に関するフローを示す。なお、図１１Ａに示す第１の実施形態における信号処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０３４２】
ステップS1にて、映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
【０３４３】
ステップS2にて、映像信号から順次フレーム信号を抽出する。
【０３４４】
ステップS3にて、図１１Ｂに示す第１の実施形態の変化量算出処理と同様に、後段の信号処理に起因する変化量を過去の、第４の実施形態では1フレーム過去のフレーム信号から算出する。
【０３４５】
ステップS4にて、図２６に示されるようにR#CCD800,G#CCD801,B#CCD802の色フィルタに基づき、色信号ごとに分離する。
【０３４６】
ステップS5にて、図２６に示されるようにノイズ低減処理の対象となる注目画素を包含する所定サイズ、例えば5×5画素サイズの局所領域を抽出する。
【０３４７】
ステップS90にて、別途説明するように２次元型のノイズ低減処理を行う。
【０３４８】
ステップS7にて、ノイズ低減処理がなされた信号を出力する。
【０３４９】
ステップS8にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS5へ分岐し、完了した場合はステップS9へ分岐する。
【０３５０】
ステップS9にて、全ての色信号が完了したかを判断し、完了していない場合はステップS4へ分岐し、完了した場合はステップS10へ分岐する。
【０３５１】
ステップS10にて、公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理が行われる。
【０３５２】
ステップS91にて、MPEGなどの公知の動画像符号化処理を行う。
【０３５３】
ステップS92にて、動画像符号化処理にて算出された動き量を出力する。
【０３５４】
ステップS11にて、動画像符号化処理が完了したフレーム信号が出力される。
【０３５５】
ステップS12にて、全てのフレーム信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合は終了する。
【０３５６】
図２８Ｂは、上記ステップS90における２次元型ノイズ低減処理に関するフローである。なお、図１９Ｃに示す第２の実施形態における２次元型ノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０３５７】
ステップS60にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
【０３５８】
ステップS61にて、基準ノイズモデルの座標データおよび補正係数を読み込む。
【０３５９】
ステップS62にて、(30)式に示されるように局所領域の平均値を算出する。
【０３６０】
ステップS63にて、注目画素値が属する基準ノイズモデルの区間の座標データおよび対応する補正係数を選択する。
【０３６１】
ステップS64にて、(23)式に示される補間処理にて基準ノイズ量を求め、(24)式に示される補正処理にてノイズ量を求める。
【０３６２】
ステップS65にて、変化量を入力する。
【０３６３】
ステップS66にて、縮小されている変化量を拡大処理し、局所領域に対応する変化量を算出する。
【０３６４】
ステップS100にて、動き量を入力する。
【０３６５】
ステップS67にて、変化量に対して動き量に基づき公知の動き補償処理を行う。
【０３６６】
ステップS68にて、動き補償された変化量から(9)式に示されるように係数を算出する。
【０３６７】
ステップS69にて、(25)式に示される補正されたノイズ量を求める。
【０３６８】
ステップS70にて、(29)式に示されるコアリング処理を行い２次元型のノイズ低減処理がなされた注目画素値を求めて終了する。
【０３６９】
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０３７０】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【図面の簡単な説明】
【０３７１】
【図１】第１の実施形態の構成図である。
【図２】色フィルタの配置と局所領域に関する説明図である。
【図３】巡回型ノイズ低減部の構成図である。
【図４】動き量と閾値に関する説明図である。
【図５】別構成の巡回型ノイズ低減部の構成図である。
【図６】別構成の巡回型ノイズ低減部の構成図である。
【図７】帰還係数算出に用いられる関数に関する説明図である。
【図８】別構成の巡回型ノイズ低減部の構成図である。
【図９】変化量算出部の構成図である。
【図１０】第１の実施形態の変形例の構成図である。
【図１１Ａ】第１の実施形態の信号処理のフローのうち、全体処理のフローである。
【図１１Ｂ】第１の実施形態の信号処理のフローのうち、変化量算出処理のフローである。
【図１１Ｃ】第１の実施形態の信号処理のフローのうち、巡回型ノイズ低減処理のフローである。
【図１２】第２の実施形態の構成図である。
【図１３】色差線順次型補色フィルタの配置と局所領域に関する説明図である。
【図１４】巡回型ノイズ低減部の構成図である。
【図１５】別構成の巡回型ノイズ低減部の構成図である。
【図１６】２次元型ノイズ低減部の構成図である。
【図１７】ノイズ量の推定に関する説明図である。
【図１８Ａ】別構成の２次元型ノイズ低減部の構成図である。
【図１８Ｂ】平滑用フィルタに関する説明図である。
【図１８Ｃ】平滑用フィルタの選択に関する説明図である。
【図１９Ａ】第２の実施形態の信号処理のフローのうち、全体処理のフローである。
【図１９Ｂ】第２の実施形態の信号処理のフローのうち、巡回型ノイズ低減処理のフローである。
【図１９Ｃ】第２の実施形態の信号処理のフローのうち、２次元型ノイズ低減処理のフローである。
【図２０】第３の実施形態の構成図である。
【図２１】色フィルタの配置と局所領域に関する説明図である。
【図２２】２次元型ノイズ低減部の構成図である。
【図２３】別構成の２次元型ノイズ低減部の構成図である。
【図２４Ａ】第３の実施形態の信号処理のフローのうち、全体処理のフローである。
【図２４Ｂ】第３の実施形態の信号処理のフローのうち、２次元型ノイズ低減処理のフローである。
【図２５】第４の実施形態の構成図である。
【図２６】色フィルタの配置と局所領域に関する説明図である。
【図２７】２次元型ノイズ低減部の構成図である。
【図２８Ａ】第４の実施形態の信号処理のフローのうち、全体処理のフローである。
【図２８Ｂ】第４の実施形態の信号処理のフローのうち、２次元ノイズ低減処理のフローである。
【符号の説明】
【０３７２】
112 巡回型ノイズ低減部
114 信号処理部
116 変化量算出部
【特許請求の範囲】
【請求項１】
撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減システムにおいて、
前記映像信号に対してノイズ低減処理を行うノイズ低減手段と、
前記ノイズ低減処理がなされた映像信号に対して所定の信号処理を行う信号処理手段と、
前記信号処理に起因する映像信号の変化量を算出する変化量算出手段を有し、
前記ノイズ低減手段は時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する
ことを特徴とするノイズ低減システム。
【請求項２】
請求項１に記載のノイズ低減システムにおいて、
前記ノイズ低減手段は、
前記映像信号に対して時系列的に過去の映像信号を利用して巡回型のノイズ低減処理を行う巡回型ノイズ低減手段
を有することを特徴とするノイズ低減システム。
【請求項３】
請求項１に記載のノイズ低減システムにおいて、
前記ノイズ低減手段は、
前記映像信号に対して時系列的に過去の映像信号を利用して巡回型のノイズ低減処理を行う巡回型ノイズ低減手段と、
前記巡回型のノイズ低減処理がなされた映像信号に対して１枚の映像信号内でノイズ低減処理を行う２次元型ノイズ低減手段を有し、
前記２次元型ノイズ低減手段は時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する
ことを特徴とするノイズ低減システム。
【請求項４】
請求項１に記載のノイズ低減システムにおいて、
前記ノイズ低減手段は、
前記映像信号に対して１枚の映像信号内でノイズ低減処理を行う２次元型ノイズ低減手段
を有することを特徴とするノイズ低減システム。
【請求項５】
請求項２に記載のノイズ低減システムにおいて、
前記巡回型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号間の差分信号を算出する差分信号算出手段と、
前記動き量および前記変化量に基づき前記差分信号を補正する差分信号補正手段と、
前記現在の映像信号から前記補正された差分信号を減算することでノイズ低減を行う減算手段
を有することを特徴とするノイズ低減システム。
【請求項６】
請求項５に記載のノイズ低減システムにおいて、
前記差分信号補正手段は、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量および前記動き量に基づき閾値を算出する閾値算出手段と、
前記差分信号の絶対値が前記閾値を超えないよう制限を課す上限値設定手段
を有することを特徴とするノイズ低減システム。
【請求項７】
請求項５に記載のノイズ低減システムにおいて、
前記差分信号補正手段は、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量および前記動き量に基づき閾値を算出する閾値算出手段と、
前記差分信号の絶対値が前記閾値以上の場合に前記差分信号を値零に置換する置換手段
を有することを特徴とするノイズ低減システム。
【請求項８】
請求項２に記載のノイズ低減システムにおいて、
前記巡回型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記動き量および前記変化量に基づき帰還係数を算出する帰還係数算出手段と、
前記帰還係数に基づき前記現在の映像信号と前記時系列的に過去の映像信号間で重み付け加算平均を行うことでノイズ低減を行う加算平均手段
を有することを特徴とするノイズ低減システム。
【請求項９】
請求項８に記載のノイズ低減システムにおいて、
前記帰還係数算出手段は、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量に基づき第１の係数を出力する第１の関数手段と、
前記動き量に基づき第２の係数を出力する第２の関数手段と、
前記第１の係数と前記第２の係数を乗算することで前記帰還係数を合成する帰還係数合成手段
を有することを特徴とするノイズ低減システム。
【請求項１０】
請求項８に記載のノイズ低減システムにおいて、
前記帰還係数算出手段は、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量および前記動き量を入力とし前記帰還係数を出力する帰還係数テーブル手段
を有することを特徴とするノイズ低減システム。
【請求項１１】
請求項３に記載のノイズ低減システムにおいて、
前記巡回型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号間の差分信号を算出する差分信号算出手段と、
前記動き量に基づき前記差分信号を補正する差分信号補正手段と、
前記映像信号から前記補正された差分信号を減算することでノイズ低減を行うノイズ減算手段
を有することを特徴とするノイズ低減システム。
【請求項１２】
請求項３に記載のノイズ低減システムにおいて、
前記巡回型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記動き量に基づき帰還係数を算出する帰還係数算出手段と、
前記帰還係数に基づき前記現在の映像信号と前記時系列的に過去の映像信号間で重み付け加算平均を行うことでノイズ低減を行う加算平均手段
を有することを特徴とするノイズ低減システム。
【請求項１３】
請求項１１または１２に記載のノイズ低減システムにおいて、
前記２次元型ノイズ低減手段は、
前記巡回型のノイズ低減処理がなされた映像信号に対して所定サイズの領域単位でノイズ量を推定するノイズ推定手段と、
前記巡回型ノイズ低減手段で推定された動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量に基づき前記ノイズ量を補正するノイズ量補正手段と、
前記補正されたノイズ量に基づき前記巡回型のノイズ低減処理がなされた映像信号に対して平滑化処理を行う平滑化処理手段と、
を有することを特徴とするノイズ低減システム。
【請求項１４】
請求項１３に記載のノイズ低減システムにおいて、
前記ノイズ推定手段は、
前記巡回型のノイズ低減処理がなされた映像信号から所定サイズの局所領域を抽出する局所領域抽出手段と、
前記局所領域の平均値を算出する平均値算出手段と、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に関して標準値を付与する付与手段と、
基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記収集手段または前記付与手段からの情報および前記局所領域の平均値に基づき前記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
前記局所領域の平均値および前記選択されたパラメータに基づき補間演算により前記局所領域のノイズ量を求める補間手段
を有することを特徴とするノイズ低減システム。
【請求項１５】
請求項１３に記載のノイズ低減システムにおいて、
前記ノイズ推定手段は、
前記巡回型のノイズ低減処理がなされた映像信号から所定サイズの局所領域を抽出する局所領域抽出手段と、
前記局所領域の平均値を算出する平均値算出手段と、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に関して標準値を付与する付与手段と、
前記収集手段または前記付与手段からの情報および前記局所領域の平均値を入力として前記局所領域のノイズ量を出力するノイズテーブル手段
を有することを特徴とするノイズ低減システム。
【請求項１６】
請求項１３に記載のノイズ低減システムにおいて、
前記ノイズ量補正手段は、
前記動き補償された変化量に基づき補正係数を出力する関数手段と、
前記補正係数を前記ノイズ量に乗算することで補正を行うノイズ乗算手段
を有することを特徴とするノイズ低減システム。
【請求項１７】
請求項１３に記載のノイズ低減システムにおいて、
前記平滑化処理手段は、
前記巡回型のノイズ低減処理がなされた映像信号に対して所定サイズの領域単位で平均値を算出する平均値算出手段と、
前記平均値および前記ノイズ量に基づきコアリング処理を行うコアリング手段
を有することを特徴とするノイズ低減システム。
【請求項１８】
請求項１３に記載のノイズ低減システムにおいて、
前記平滑化処理手段は、
所定の周波数特性を有する複数のローパスフィルタを記録するフィルタ記録手段と、
前記ノイズ量に基づき前記ローパスフィルタを選択するフィルタ選択手段と、
前記巡回型のノイズ低減処理がなされた映像信号に対して所定サイズの領域単位で前記選択されたローパスフィルタを用いてフィルタリング処理を行うフィルタリング手段
を有することを特徴とするノイズ低減システム。
【請求項１９】
請求項４に記載のノイズ低減システムにおいて、
前記２次元型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号に対して所定サイズの領域単位でノイズ量を推定するノイズ推定手段と、
前記変化量に基づき前記ノイズ量を補正するノイズ量補正手段と、
前記補正されたノイズ量に基づき前記現在の映像信号に対して平滑化処理を行う平滑化処理手段と、
を有することを特徴とするノイズ低減システム。
【請求項２０】
請求項１９に記載のノイズ低減システムにおいて、
前記ノイズ推定手段は、
前記ノイズ低減処理の対象となる現在の映像信号から所定サイズの局所領域を抽出する局所領域抽出手段と、
前記局所領域の平均値を算出する平均値算出手段と、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に関して標準値を付与する付与手段と、
基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記収集手段または前記付与手段からの情報および前記局所領域の平均値に基づき前記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
前記局所領域の平均値および前記選択されたパラメータに基づき補間演算により前記局所領域のノイズ量を求める補間手段
を有することを特徴とするノイズ低減システム。
【請求項２１】
請求項１９に記載のノイズ低減システムにおいて、
前記ノイズ推定手段は、
前記ノイズ低減処理の対象となる現在の映像信号から所定サイズの局所領域を抽出する局所領域抽出手段と、
前記局所領域の平均値を算出する平均値算出手段と、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に関して標準値を付与する付与手段と、
前記収集手段または前記付与手段からの情報および前記局所領域の平均値を入力として前記局所領域のノイズ量を出力するノイズテーブル手段
を有することを特徴とするノイズ低減システム。
【請求項２２】
請求項１９に記載のノイズ低減システムにおいて、
前記平滑化処理手段は、
前記現在の映像信号に対して所定サイズの領域単位で平均値を算出する平均値算出手段と、
前記平均値および前記ノイズ量に基づきコアリング処理を行うコアリング手段
を有することを特徴とするノイズ低減システム。
【請求項２３】
請求項１９に記載のノイズ低減システムにおいて、
前記平滑化処理手段は、
所定の周波数特性を有する複数のローパスフィルタを記録するフィルタ記録手段と、
前記ノイズ量に基づき前記ローパスフィルタを選択するフィルタ選択手段と、
前記現在の映像信号に対して所定サイズの領域単位で前記選択されたローパスフィルタを用いてフィルタリング処理を行うフィルタリング手段
を有することを特徴とするノイズ低減システム。
【請求項２４】
請求項１９に記載のノイズ低減システムにおいて、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段をさらに有し、
前記ノイズ量補正手段は前記動き補償された変化量に基づき前記ノイズ量を補正する
ことを特徴とするノイズ低減システム。
【請求項２５】
請求項２４に記載のノイズ低減システムにおいて、
前記ノイズ量補正手段は、
前記動き補償された変化量に基づき補正係数を出力する関数手段と、
前記補正係数を前記ノイズ量に乗算することで補正を行うノイズ乗算手段
を有することを特徴とするノイズ低減システム。
【請求項２６】
請求項１から２５のいずれか１つに記載のノイズ低減システムにおいて、
前記撮像系は色フィルタを前面に配置した撮像素子を使用する撮像系であり、
前記撮像素子に使用される色フィルタごとに前記映像信号を複数の色信号に分離する色信号分離手段と、
前記色信号ごとに前記ノイズ低減手段および前記信号処理手段および前記変化量算出手段を適用するよう制御する信号制御手段
を有することを特徴とするノイズ低減システム。
【請求項２７】
請求項１から２５のいずれか１つ記載のノイズ低減システムにおいて、
前記撮像系は色フィルタを前面に配置した撮像素子を使用する撮像系であり、
前記映像信号から輝度信号および色差信号を分離する輝度色差分離手段と、
前記輝度信号および色差信号ごとに前記ノイズ低減手段および前記信号処理手段および前記変化量算出手段を適用するよう制御する信号制御手段
を有することを特徴とするノイズ低減システム。
【請求項２８】
請求項２６または２７に記載のノイズ低減システムにおいて、
前記撮像系の撮像素子は、
Ｒ（赤），Ｇ（緑），Ｂ（青）Bayer型原色フィルタを前面に配置した撮像素子またはＣy（シアン），Ｍg（マゼンタ），Ｙe（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した撮像素子である
ことを特徴とするノイズ低減システム。
【請求項２９】
請求項１から２８のいずれか１つに記載のノイズ低減システムにおいて、
前記信号処理手段は、
階調変換処理、エッジ強調処理、色強調処理の少なくとも１つの処理手段
を有することを特徴とするノイズ低減システム。
【請求項３０】
請求項１から２９のいずれか１つに記載のノイズ低減システムにおいて、
前記変化量算出手段は、
前記ノイズ低減処理がなされた映像信号と前記信号処理がなされた映像信号間の比率を算出する比率算出手段
を有することを特徴とするノイズ低減システム。
【請求項３１】
請求項１から３０のいずれか１つに記載のノイズ低減システムにおいて、
前記変化量算出手段は前記ノイズ低減処理がなされた映像信号および前記信号処理がなされた映像信号を所定の縮小率で縮小する縮小手段と、
前記縮小処理後のノイズ低減処理がなされた映像信号および信号処理がなされた映像信号から比率を算出する比率算出手段を有し、
前記ノイズ低減手段は前記変化量を前記縮小率の逆数で拡大する拡大手段を有する
ことを特徴とするノイズ低減システム。
【請求項３２】
撮像系と、
前記撮像系によって撮影された映像信号を時系列的に取り込む映像信号記憶手段と、
請求項１から３１のいずれか１つに記載のノイズ低減システムを有し、
前記時系列的に取り込まれた映像信号に対し前記ノイズ低減システムによりノイズ低減処理を行う
ことを特徴とする撮像システム。
【請求項３３】
撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減プログラムにおいて、
前記映像信号に対してノイズ低減処理を行うノイズ低減ステップと、
前記ノイズ低減処理がなされた映像信号に対して所定の信号処理を行う信号処理ステップと、
前記信号処理に起因する映像信号の変化量を算出する変化量算出ステップを含み、
前記ノイズ低減ステップは時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する
ことを特徴とするノイズ低減プログラム。
【請求項３４】
請求項３３に記載のノイズ低減プログラムにおいて、
前記ノイズ低減ステップは、
前記映像信号に対して時系列的に過去の映像信号を利用して巡回型のノイズ低減処理を行う巡回型ノイズ低減ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項３５】
請求項３３に記載のノイズ低減プログラムにおいて、
前記ノイズ低減ステップは、
前記映像信号に対して時系列的に過去の映像信号を利用して巡回型のノイズ低減処理を行う巡回型ノイズ低減ステップと、
前記巡回型のノイズ低減処理がなされた映像信号に対して１枚の映像信号内でノイズ低減処理を行う２次元型ノイズ低減ステップを有し、
前記２次元型ノイズ低減ステップは時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する
ことを特徴とするノイズ低減プログラム。
【請求項３６】
請求項３３に記載のノイズ低減プログラムにおいて、
前記ノイズ低減ステップは、
前記映像信号に対して１枚の映像信号内でノイズ低減処理を行う２次元型ノイズ低減ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項３７】
請求項３４に記載のノイズ低減プログラムにおいて、
前記巡回型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号間の差分信号を算出する差分信号算出ステップと、
前記動き量および前記変化量に基づき前記差分信号を補正する差分信号補正ステップと、
前記現在の映像信号から前記補正された差分信号を減算することでノイズ低減を行う減算ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項３８】
請求項３４に記載のノイズ低減プログラムにおいて、
前記巡回型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記動き量および前記変化量に基づき帰還係数を算出する帰還係数算出ステップと、
前記帰還係数に基づき前記現在の映像信号と前記時系列的に過去の映像信号間で重み付け加算平均を行うことでノイズ低減を行う加算平均ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項３９】
請求項３５に記載のノイズ低減プログラムにおいて、
前記巡回型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号間の差分信号を算出する差分信号算出ステップと、
前記動き量に基づき前記差分信号を補正する差分信号補正ステップと、
前記映像信号から前記補正された差分信号を減算することでノイズ低減を行うノイズ減算ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項４０】
請求項３５に記載のノイズ低減プログラムにおいて、
前記巡回型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記動き量に基づき帰還係数を算出する帰還係数算出ステップと、
前記帰還係数に基づき前記現在の映像信号と前記時系列的に過去の映像信号間で重み付け加算平均を行うことでノイズ低減を行う加算平均ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項４１】
請求項３９または４０に記載のノイズ低減プログラムにおいて、
前記２次元型ノイズ低減ステップは、
前記巡回型のノイズ低減処理がなされた映像信号に対して所定サイズの領域単位でノイズ量を推定するノイズ推定ステップと、
前記巡回型ノイズ低減ステップで推定された動き量に基づき前記変化量に対して動き補償を行う変化量動き補償ステップと、
前記動き補償された変化量に基づき前記ノイズ量を補正するノイズ量補正ステップと、
前記補正されたノイズ量に基づき前記巡回型のノイズ低減処理がなされた映像信号に対して平滑化処理を行う平滑化処理ステップと、
を有することを特徴とするノイズ低減プログラム。
【請求項４２】
請求項３６に記載のノイズ低減プログラムにおいて、
前記２次元型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号に対して所定サイズの領域単位でノイズ量を推定するノイズ推定ステップと、
前記変化量に基づき前記ノイズ量を補正するノイズ量補正ステップと、
前記補正されたノイズ量に基づき前記現在の映像信号に対して平滑化処理を行う平滑化処理ステップと、
を有することを特徴とするノイズ低減プログラム。
【請求項４３】
請求項４２に記載のノイズ低減プログラムにおいて、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償ステップをさらに有し、
前記ノイズ量補正ステップは前記動き補償された変化量に基づき前記ノイズ量を補正する
ことを特徴とするノイズ低減プログラム。
【請求項１】
撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減システムにおいて、
前記映像信号に対してノイズ低減処理を行うノイズ低減手段と、
前記ノイズ低減処理がなされた映像信号に対して所定の信号処理を行う信号処理手段と、
前記信号処理に起因する映像信号の変化量を算出する変化量算出手段を有し、
前記ノイズ低減手段は時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する
ことを特徴とするノイズ低減システム。
【請求項２】
請求項１に記載のノイズ低減システムにおいて、
前記ノイズ低減手段は、
前記映像信号に対して時系列的に過去の映像信号を利用して巡回型のノイズ低減処理を行う巡回型ノイズ低減手段
を有することを特徴とするノイズ低減システム。
【請求項３】
請求項１に記載のノイズ低減システムにおいて、
前記ノイズ低減手段は、
前記映像信号に対して時系列的に過去の映像信号を利用して巡回型のノイズ低減処理を行う巡回型ノイズ低減手段と、
前記巡回型のノイズ低減処理がなされた映像信号に対して１枚の映像信号内でノイズ低減処理を行う２次元型ノイズ低減手段を有し、
前記２次元型ノイズ低減手段は時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する
ことを特徴とするノイズ低減システム。
【請求項４】
請求項１に記載のノイズ低減システムにおいて、
前記ノイズ低減手段は、
前記映像信号に対して１枚の映像信号内でノイズ低減処理を行う２次元型ノイズ低減手段
を有することを特徴とするノイズ低減システム。
【請求項５】
請求項２に記載のノイズ低減システムにおいて、
前記巡回型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号間の差分信号を算出する差分信号算出手段と、
前記動き量および前記変化量に基づき前記差分信号を補正する差分信号補正手段と、
前記現在の映像信号から前記補正された差分信号を減算することでノイズ低減を行う減算手段
を有することを特徴とするノイズ低減システム。
【請求項６】
請求項５に記載のノイズ低減システムにおいて、
前記差分信号補正手段は、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量および前記動き量に基づき閾値を算出する閾値算出手段と、
前記差分信号の絶対値が前記閾値を超えないよう制限を課す上限値設定手段
を有することを特徴とするノイズ低減システム。
【請求項７】
請求項５に記載のノイズ低減システムにおいて、
前記差分信号補正手段は、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量および前記動き量に基づき閾値を算出する閾値算出手段と、
前記差分信号の絶対値が前記閾値以上の場合に前記差分信号を値零に置換する置換手段
を有することを特徴とするノイズ低減システム。
【請求項８】
請求項２に記載のノイズ低減システムにおいて、
前記巡回型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記動き量および前記変化量に基づき帰還係数を算出する帰還係数算出手段と、
前記帰還係数に基づき前記現在の映像信号と前記時系列的に過去の映像信号間で重み付け加算平均を行うことでノイズ低減を行う加算平均手段
を有することを特徴とするノイズ低減システム。
【請求項９】
請求項８に記載のノイズ低減システムにおいて、
前記帰還係数算出手段は、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量に基づき第１の係数を出力する第１の関数手段と、
前記動き量に基づき第２の係数を出力する第２の関数手段と、
前記第１の係数と前記第２の係数を乗算することで前記帰還係数を合成する帰還係数合成手段
を有することを特徴とするノイズ低減システム。
【請求項１０】
請求項８に記載のノイズ低減システムにおいて、
前記帰還係数算出手段は、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量および前記動き量を入力とし前記帰還係数を出力する帰還係数テーブル手段
を有することを特徴とするノイズ低減システム。
【請求項１１】
請求項３に記載のノイズ低減システムにおいて、
前記巡回型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号間の差分信号を算出する差分信号算出手段と、
前記動き量に基づき前記差分信号を補正する差分信号補正手段と、
前記映像信号から前記補正された差分信号を減算することでノイズ低減を行うノイズ減算手段
を有することを特徴とするノイズ低減システム。
【請求項１２】
請求項３に記載のノイズ低減システムにおいて、
前記巡回型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記動き量に基づき帰還係数を算出する帰還係数算出手段と、
前記帰還係数に基づき前記現在の映像信号と前記時系列的に過去の映像信号間で重み付け加算平均を行うことでノイズ低減を行う加算平均手段
を有することを特徴とするノイズ低減システム。
【請求項１３】
請求項１１または１２に記載のノイズ低減システムにおいて、
前記２次元型ノイズ低減手段は、
前記巡回型のノイズ低減処理がなされた映像信号に対して所定サイズの領域単位でノイズ量を推定するノイズ推定手段と、
前記巡回型ノイズ低減手段で推定された動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量に基づき前記ノイズ量を補正するノイズ量補正手段と、
前記補正されたノイズ量に基づき前記巡回型のノイズ低減処理がなされた映像信号に対して平滑化処理を行う平滑化処理手段と、
を有することを特徴とするノイズ低減システム。
【請求項１４】
請求項１３に記載のノイズ低減システムにおいて、
前記ノイズ推定手段は、
前記巡回型のノイズ低減処理がなされた映像信号から所定サイズの局所領域を抽出する局所領域抽出手段と、
前記局所領域の平均値を算出する平均値算出手段と、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に関して標準値を付与する付与手段と、
基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記収集手段または前記付与手段からの情報および前記局所領域の平均値に基づき前記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
前記局所領域の平均値および前記選択されたパラメータに基づき補間演算により前記局所領域のノイズ量を求める補間手段
を有することを特徴とするノイズ低減システム。
【請求項１５】
請求項１３に記載のノイズ低減システムにおいて、
前記ノイズ推定手段は、
前記巡回型のノイズ低減処理がなされた映像信号から所定サイズの局所領域を抽出する局所領域抽出手段と、
前記局所領域の平均値を算出する平均値算出手段と、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に関して標準値を付与する付与手段と、
前記収集手段または前記付与手段からの情報および前記局所領域の平均値を入力として前記局所領域のノイズ量を出力するノイズテーブル手段
を有することを特徴とするノイズ低減システム。
【請求項１６】
請求項１３に記載のノイズ低減システムにおいて、
前記ノイズ量補正手段は、
前記動き補償された変化量に基づき補正係数を出力する関数手段と、
前記補正係数を前記ノイズ量に乗算することで補正を行うノイズ乗算手段
を有することを特徴とするノイズ低減システム。
【請求項１７】
請求項１３に記載のノイズ低減システムにおいて、
前記平滑化処理手段は、
前記巡回型のノイズ低減処理がなされた映像信号に対して所定サイズの領域単位で平均値を算出する平均値算出手段と、
前記平均値および前記ノイズ量に基づきコアリング処理を行うコアリング手段
を有することを特徴とするノイズ低減システム。
【請求項１８】
請求項１３に記載のノイズ低減システムにおいて、
前記平滑化処理手段は、
所定の周波数特性を有する複数のローパスフィルタを記録するフィルタ記録手段と、
前記ノイズ量に基づき前記ローパスフィルタを選択するフィルタ選択手段と、
前記巡回型のノイズ低減処理がなされた映像信号に対して所定サイズの領域単位で前記選択されたローパスフィルタを用いてフィルタリング処理を行うフィルタリング手段
を有することを特徴とするノイズ低減システム。
【請求項１９】
請求項４に記載のノイズ低減システムにおいて、
前記２次元型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号に対して所定サイズの領域単位でノイズ量を推定するノイズ推定手段と、
前記変化量に基づき前記ノイズ量を補正するノイズ量補正手段と、
前記補正されたノイズ量に基づき前記現在の映像信号に対して平滑化処理を行う平滑化処理手段と、
を有することを特徴とするノイズ低減システム。
【請求項２０】
請求項１９に記載のノイズ低減システムにおいて、
前記ノイズ推定手段は、
前記ノイズ低減処理の対象となる現在の映像信号から所定サイズの局所領域を抽出する局所領域抽出手段と、
前記局所領域の平均値を算出する平均値算出手段と、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に関して標準値を付与する付与手段と、
基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記収集手段または前記付与手段からの情報および前記局所領域の平均値に基づき前記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
前記局所領域の平均値および前記選択されたパラメータに基づき補間演算により前記局所領域のノイズ量を求める補間手段
を有することを特徴とするノイズ低減システム。
【請求項２１】
請求項１９に記載のノイズ低減システムにおいて、
前記ノイズ推定手段は、
前記ノイズ低減処理の対象となる現在の映像信号から所定サイズの局所領域を抽出する局所領域抽出手段と、
前記局所領域の平均値を算出する平均値算出手段と、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に関して標準値を付与する付与手段と、
前記収集手段または前記付与手段からの情報および前記局所領域の平均値を入力として前記局所領域のノイズ量を出力するノイズテーブル手段
を有することを特徴とするノイズ低減システム。
【請求項２２】
請求項１９に記載のノイズ低減システムにおいて、
前記平滑化処理手段は、
前記現在の映像信号に対して所定サイズの領域単位で平均値を算出する平均値算出手段と、
前記平均値および前記ノイズ量に基づきコアリング処理を行うコアリング手段
を有することを特徴とするノイズ低減システム。
【請求項２３】
請求項１９に記載のノイズ低減システムにおいて、
前記平滑化処理手段は、
所定の周波数特性を有する複数のローパスフィルタを記録するフィルタ記録手段と、
前記ノイズ量に基づき前記ローパスフィルタを選択するフィルタ選択手段と、
前記現在の映像信号に対して所定サイズの領域単位で前記選択されたローパスフィルタを用いてフィルタリング処理を行うフィルタリング手段
を有することを特徴とするノイズ低減システム。
【請求項２４】
請求項１９に記載のノイズ低減システムにおいて、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段をさらに有し、
前記ノイズ量補正手段は前記動き補償された変化量に基づき前記ノイズ量を補正する
ことを特徴とするノイズ低減システム。
【請求項２５】
請求項２４に記載のノイズ低減システムにおいて、
前記ノイズ量補正手段は、
前記動き補償された変化量に基づき補正係数を出力する関数手段と、
前記補正係数を前記ノイズ量に乗算することで補正を行うノイズ乗算手段
を有することを特徴とするノイズ低減システム。
【請求項２６】
請求項１から２５のいずれか１つに記載のノイズ低減システムにおいて、
前記撮像系は色フィルタを前面に配置した撮像素子を使用する撮像系であり、
前記撮像素子に使用される色フィルタごとに前記映像信号を複数の色信号に分離する色信号分離手段と、
前記色信号ごとに前記ノイズ低減手段および前記信号処理手段および前記変化量算出手段を適用するよう制御する信号制御手段
を有することを特徴とするノイズ低減システム。
【請求項２７】
請求項１から２５のいずれか１つ記載のノイズ低減システムにおいて、
前記撮像系は色フィルタを前面に配置した撮像素子を使用する撮像系であり、
前記映像信号から輝度信号および色差信号を分離する輝度色差分離手段と、
前記輝度信号および色差信号ごとに前記ノイズ低減手段および前記信号処理手段および前記変化量算出手段を適用するよう制御する信号制御手段
を有することを特徴とするノイズ低減システム。
【請求項２８】
請求項２６または２７に記載のノイズ低減システムにおいて、
前記撮像系の撮像素子は、
Ｒ（赤），Ｇ（緑），Ｂ（青）Bayer型原色フィルタを前面に配置した撮像素子またはＣy（シアン），Ｍg（マゼンタ），Ｙe（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した撮像素子である
ことを特徴とするノイズ低減システム。
【請求項２９】
請求項１から２８のいずれか１つに記載のノイズ低減システムにおいて、
前記信号処理手段は、
階調変換処理、エッジ強調処理、色強調処理の少なくとも１つの処理手段
を有することを特徴とするノイズ低減システム。
【請求項３０】
請求項１から２９のいずれか１つに記載のノイズ低減システムにおいて、
前記変化量算出手段は、
前記ノイズ低減処理がなされた映像信号と前記信号処理がなされた映像信号間の比率を算出する比率算出手段
を有することを特徴とするノイズ低減システム。
【請求項３１】
請求項１から３０のいずれか１つに記載のノイズ低減システムにおいて、
前記変化量算出手段は前記ノイズ低減処理がなされた映像信号および前記信号処理がなされた映像信号を所定の縮小率で縮小する縮小手段と、
前記縮小処理後のノイズ低減処理がなされた映像信号および信号処理がなされた映像信号から比率を算出する比率算出手段を有し、
前記ノイズ低減手段は前記変化量を前記縮小率の逆数で拡大する拡大手段を有する
ことを特徴とするノイズ低減システム。
【請求項３２】
撮像系と、
前記撮像系によって撮影された映像信号を時系列的に取り込む映像信号記憶手段と、
請求項１から３１のいずれか１つに記載のノイズ低減システムを有し、
前記時系列的に取り込まれた映像信号に対し前記ノイズ低減システムによりノイズ低減処理を行う
ことを特徴とする撮像システム。
【請求項３３】
撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減プログラムにおいて、
前記映像信号に対してノイズ低減処理を行うノイズ低減ステップと、
前記ノイズ低減処理がなされた映像信号に対して所定の信号処理を行う信号処理ステップと、
前記信号処理に起因する映像信号の変化量を算出する変化量算出ステップを含み、
前記ノイズ低減ステップは時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する
ことを特徴とするノイズ低減プログラム。
【請求項３４】
請求項３３に記載のノイズ低減プログラムにおいて、
前記ノイズ低減ステップは、
前記映像信号に対して時系列的に過去の映像信号を利用して巡回型のノイズ低減処理を行う巡回型ノイズ低減ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項３５】
請求項３３に記載のノイズ低減プログラムにおいて、
前記ノイズ低減ステップは、
前記映像信号に対して時系列的に過去の映像信号を利用して巡回型のノイズ低減処理を行う巡回型ノイズ低減ステップと、
前記巡回型のノイズ低減処理がなされた映像信号に対して１枚の映像信号内でノイズ低減処理を行う２次元型ノイズ低減ステップを有し、
前記２次元型ノイズ低減ステップは時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する
ことを特徴とするノイズ低減プログラム。
【請求項３６】
請求項３３に記載のノイズ低減プログラムにおいて、
前記ノイズ低減ステップは、
前記映像信号に対して１枚の映像信号内でノイズ低減処理を行う２次元型ノイズ低減ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項３７】
請求項３４に記載のノイズ低減プログラムにおいて、
前記巡回型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号間の差分信号を算出する差分信号算出ステップと、
前記動き量および前記変化量に基づき前記差分信号を補正する差分信号補正ステップと、
前記現在の映像信号から前記補正された差分信号を減算することでノイズ低減を行う減算ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項３８】
請求項３４に記載のノイズ低減プログラムにおいて、
前記巡回型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記動き量および前記変化量に基づき帰還係数を算出する帰還係数算出ステップと、
前記帰還係数に基づき前記現在の映像信号と前記時系列的に過去の映像信号間で重み付け加算平均を行うことでノイズ低減を行う加算平均ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項３９】
請求項３５に記載のノイズ低減プログラムにおいて、
前記巡回型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号間の差分信号を算出する差分信号算出ステップと、
前記動き量に基づき前記差分信号を補正する差分信号補正ステップと、
前記映像信号から前記補正された差分信号を減算することでノイズ低減を行うノイズ減算ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項４０】
請求項３５に記載のノイズ低減プログラムにおいて、
前記巡回型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記動き量に基づき帰還係数を算出する帰還係数算出ステップと、
前記帰還係数に基づき前記現在の映像信号と前記時系列的に過去の映像信号間で重み付け加算平均を行うことでノイズ低減を行う加算平均ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項４１】
請求項３９または４０に記載のノイズ低減プログラムにおいて、
前記２次元型ノイズ低減ステップは、
前記巡回型のノイズ低減処理がなされた映像信号に対して所定サイズの領域単位でノイズ量を推定するノイズ推定ステップと、
前記巡回型ノイズ低減ステップで推定された動き量に基づき前記変化量に対して動き補償を行う変化量動き補償ステップと、
前記動き補償された変化量に基づき前記ノイズ量を補正するノイズ量補正ステップと、
前記補正されたノイズ量に基づき前記巡回型のノイズ低減処理がなされた映像信号に対して平滑化処理を行う平滑化処理ステップと、
を有することを特徴とするノイズ低減プログラム。
【請求項４２】
請求項３６に記載のノイズ低減プログラムにおいて、
前記２次元型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号に対して所定サイズの領域単位でノイズ量を推定するノイズ推定ステップと、
前記変化量に基づき前記ノイズ量を補正するノイズ量補正ステップと、
前記補正されたノイズ量に基づき前記現在の映像信号に対して平滑化処理を行う平滑化処理ステップと、
を有することを特徴とするノイズ低減プログラム。
【請求項４３】
請求項４２に記載のノイズ低減プログラムにおいて、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償ステップをさらに有し、
前記ノイズ量補正ステップは前記動き補償された変化量に基づき前記ノイズ量を補正する
ことを特徴とするノイズ低減プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８Ａ】
【図１８Ｂ】
【図１８Ｃ】
【図１９Ａ】
【図１９Ｂ】
【図１９Ｃ】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４Ａ】
【図２４Ｂ】
【図２５】
【図２６】
【図２７】
【図２８Ａ】
【図２８Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８Ａ】
【図１８Ｂ】
【図１８Ｃ】
【図１９Ａ】
【図１９Ｂ】
【図１９Ｃ】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４Ａ】
【図２４Ｂ】
【図２５】
【図２６】
【図２７】
【図２８Ａ】
【図２８Ｂ】
【公開番号】特開２００９−１００２０７（Ｐ２００９−１００２０７Ａ）
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願番号】特願２００７−２６９２６３（Ｐ２００７−２６９２６３）
【出願日】平成１９年１０月１６日（２００７．１０．１６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願日】平成１９年１０月１６日（２００７．１０．１６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]