画像処理装置およびその制御方法
【課題】 動画像に対して巡回型ノイズ低減処理を適用する画像処理装置及びその制御方法において、撮像フレームレートに応じたノイズ低減処理を可能とする。
【解決手段】 巡回型ノイズ低減処理を適用する現フレームの画素値と、巡回型ノイズ低減処理を適用後の前フレームの画素値とから、現フレームと前フレームとの相関の大きさを表す情報を算出する。そして、相関の大きさと、動画像のフレームレートとに基づいて、前フレームの重みである巡回係数を決定する。巡回係数を用いて前フレームと現フレームの画素を混合することで現フレームに巡回型ノイズ低減処理を適用する。相関の大きさが同じであれば、フレームレートが低いほど小さくなるように巡回係数を決定する。
【解決手段】 巡回型ノイズ低減処理を適用する現フレームの画素値と、巡回型ノイズ低減処理を適用後の前フレームの画素値とから、現フレームと前フレームとの相関の大きさを表す情報を算出する。そして、相関の大きさと、動画像のフレームレートとに基づいて、前フレームの重みである巡回係数を決定する。巡回係数を用いて前フレームと現フレームの画素を混合することで現フレームに巡回型ノイズ低減処理を適用する。相関の大きさが同じであれば、フレームレートが低いほど小さくなるように巡回係数を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法に関し、特には画像信号のノイズを低減する画像処理装置およびその制御方法に関する。
【背景技術】
【０００２】
撮像素子を用いて得られる画像信号は、一般にノイズ成分を含んでいる。ノイズ成分のうち、時間的、空間的にランダムに発生するランダムノイズは、主に高感度撮像時に発生する。特に時間的にランダムに発生するノイズは動画像の画質を劣化させる要因の一つである。
【０００３】
動画像におけるランダムノイズの低減処理技術としては、動画像フレーム間の相関性を用いた巡回型のノイズ低減処理技術が知られている。例えば特許文献１では、現フレームの画像信号と前フレームの画像信号との差分信号値に基づき、巡回型ノイズ低減処理における巡回係数を制御する技術が記載されている。巡回係数は、現フレームの画像信号のノイズ低減に対して、前フレームの成分を使用する割合を示す係数である。そして、現フレームと前フレームとの差分が大きい場合は巡回係数を小さくして残像の低減を図り、差分が小さければ巡回係数を大きくすることによってノイズの低減を図っている。
【０００４】
特許文献１記載の方法は、差分信号値に基づいて巡回係数の値を制御するので、計算量が少なく低コスト化を図ることができる。しかし、フレーム間の動き成分と、ランダムノイズとの分離精度が十分でないため、ノイズ低減後に得られる画質が十分でない。
【０００５】
これに対して特許文献２では、空間的なノイズ低減処理を施した現フレームと、過去の（空間的なノイズ低減処理後の）１以上のフレームとの差分を用いることにより、動きのある被写体の残像を抑えながら時間的なランダムノイズを削減している。特許文献２に記載された方法は、フレーム間の動き成分とライダムノイズとの分離精度が向上するため、比較的高い画質を得ることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−２０９５０７号
【特許文献２】特開２００９−１４７８２２号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２においては、撮像フレームレートを考慮したノイズ低減処理について開示がない。撮像のフレームレートが大きい場合と小さい場合では、フレーム間の時間的距離（撮像時間間隔）が異なるので、連続するフレーム間の相関の大きさも影響を受ける。しかし、従来はフレームレートを考慮せずに一律なノイズ低減処理を行っていた。そのため、特許文献１，２に記載の方法では、撮像フレームレートが可変の場合に十分な効果が得られなかった。
【０００８】
本発明はこのような従来技術の課題に鑑みてなされたものであり、動画像に対して巡回型ノイズ低減処理を適用する画像処理装置及びその制御方法において、撮像フレームレートに応じたノイズ低減処理を可能とすることを目的とする。
【課題を解決するための手段】
【０００９】
上述の目的は、予め定められたフレームレートを有する動画像に対して巡回型ノイズ低減処理を適用する画像処理装置であって、巡回型ノイズ低減処理を適用する現フレームの画素値と、巡回型ノイズ低減処理を適用後の、現フレームの１フレーム前の前フレームの画素値とから、現フレームと前フレームとの相関の大きさを表す情報を算出する算出手段と、相関の大きさと、フレームレートとに基づいて、前フレームの重みである巡回係数を決定する決定手段と、巡回係数を用いて前フレームと現フレームの画素を混合する第１混合手段と、第１混合手段で得られたフレームを、巡回型ノイズ低減処理を適用した現フレームとして出力する出力手段と、を有し、決定手段は、算出手段で算出された情報で表される相関の大きさが同じであれば、フレームレートが低いほど小さくなるように巡回係数を決定することを特徴とする画像処理装置よって達成される。
【発明の効果】
【００１０】
本発明によれば、動画像に対して巡回型ノイズ低減処理を適用する画像処理装置及びその制御方法において、撮像フレームレートに応じたノイズ低減処理が可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る画像処理装置の一例としてのデジタルカメラの構成例を示すブロック図。
【図２】図１におけるノイズ低減処理部４の構成例を示すブロック図。
【図３】ノイズ低減部４の空間的NR部４０２で行うフィルタ処理を説明するための図。
【図４】ノイズ低減部４のLPF４０３で行うフィルタ処理を説明するための図。
【図５】本発明の第１の実施形態における巡回係数の具体例を示す図。
【図６】本発明の第２の実施形態に係る画像処理装置の一例としての情報処理装置の構成例を示すブロック図。
【図７】第２の実施形態に係る情報処理装置のメモリマップの例を説明するための図。
【図８】第２の実施形態に係る情報処理装置による画像処理アプリケーションの実行処理を説明するフローチャート。
【図９】図８のＳ４における画像処理の詳細を説明するためのフローチャート。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
以下、図面を参照して本発明の例示的な実施形態に基づいて詳細に説明する。なお、以下の説明においては、本発明に係る画像処理装置の一例として、動画撮像機能を有するデジタルカメラを説明する。しかしながら、本発明に動画像を撮像する機能は必須ではなく、情報処理装置など、動画像を処理可能ないかなる装置に対しても適用可能である。
【００１３】
（デジタルカメラの構成）
図１は本実施形態に係るデジタルカメラが有する構成要素のうち、動画像の撮像とノイズ低減処理に関わるものを模式的に示したブロック図である。
【００１４】
デジタルカメラ１００において、絞り、レンズ等の光学系１によって結像される光学像は、CMOSイメージセンサ、CCDイメージセンサ等の撮像素子２で光電変換され、画素単位のアナログ画像信号として第１信号処理部３に供給される。第１信号処理部３ではアナログ画像信号に対してA/D変換やゲインコントロールを行い、デジタル画像信号としてノイズ低減処理部（NR部）４に供給する。NR部４はデジタル画像信号に対して巡回的なノイズ低減処理を適用して第２信号処理部５に供給する。第２信号処理部５では、ノイズ低減処理がなされたデジタル画像信号に対し、リサイズ、色調整などを行い、出力部６に供給する。出力部６は、HDMIなどの出力インタフェースへの出力、半導体メモリカードなどの記録メディアへの記録、デジタルカメラ１００の表示装置（図示せず）への出力の１つ以上を行う。
【００１５】
UI部８は、スイッチ、ボタン、表示装置（図示せず）に設けられたタッチパネルなどの入力機器を１つ以上有し、ユーザがデジタルカメラ１００に対して各種設定や指示を与えるために用いられる。動画撮像モードと静止画撮像モードの切り替え指示、撮像モードと再生モードの切り替え指示、動画撮像の開始、一時停止、終了の指示、表示装置に表示されるGUIの操作などは、UI部８を通じてユーザからデジタルカメラ１００に入力される。
【００１６】
制御部９は、デジタルカメラ１００全体の動作を制御する。制御部９は例えばＣＰＵ、不揮発性の領域を有するＲＡＭ、ＲＯＭを有し、ＲＯＭに記憶された制御プログラムをＲＡＭに展開し、ＣＰＵが実行して各構成要素を制御することにより、デジタルカメラ１００の各種機能を実現する。UI部８を通じて設定された撮像フレームレートや解像度などの撮像パラメータを始めとする設定値などは、例えば制御部９が有する不揮発性ＲＡＭに記憶される。図１に示す各構成要素は、バス７を介して互いに通信可能に接続されている。
【００１７】
（NR部４の構成）
図２はNR部４の構成例を示すブロック図である。以下、図２を参照してNR部４の構成及び動作について説明する。
空間的NR部４０２では、入力端子４０１を介して第１信号処理部３から入力されるデジタル画像信号に対して、２次元的（空間的）なノイズ低減処理を施し、ローパスフィルタ(LPF)４０３、第１混合部４０７、第２混合部４０９に供給する。
【００１８】
例えばUI部８又は制御部９からバス７を介して入力される撮像フレームレートは、巡回係数算出部４０５及び第２混合部４０９に供給される。LPF４０３では、２次元的なノイズ低減処理が行われたデジタル画像信号に対して２次元的なローパスフィルタ処理を行って差分絶対値算出部４０４に出力する。
【００１９】
差分絶対値算出部４０４では、２次元的なノイズ低減処理及びLPF処理を施されたデジタル画像信号と、フレームメモリ４０８からの出力であるデジタル画像信号との差分絶対値を算出して、巡回係数算出部４０５に供給する。
【００２０】
巡回係数算出部４０５では、撮像フレームレートと差分絶対値とに基づいて、巡回係数を算出して第１混合部４０７に供給する。ここで、巡回係数は、現フレームの画像信号のノイズ低減に対して、フレームメモリ４０８からの過去のフレームの画像信号成分を用いる割合を示す係数である。
【００２１】
第１混合部４０７は、空間的NR部４０２の出力するノイズ低減後の（現フレームの）デジタル画像信号と、フレームメモリ４０８から出力されるデジタル画像信号とを、巡回係数算出部４０５からの巡回係数に基づいて混合する。そして第１混合部４０７は、混合後の画像信号を第２混合部４０９と、NR部４の後段の第２信号処理部５とに供給する。
【００２２】
第２混合部４０９は、第１混合部４０７の出力する混合後の画像信号と、空間的NR部４０２が空間的ノイズ低減処理した現フレームのデジタル画像信号とを、撮像フレームレートに基づいて混合し、フレームメモリ４０８に供給する。
【００２３】
フレームメモリ４０８は、入力された画像信号を、１フレーム時間遅延させて第１混合部４０７及び差分絶対値算出部４０４に供給する。
【００２４】
（NR部４の動作の具体例）
NR部４におけるノイズ低減動作の具体例を説明する。なお、以下では、UI部８から設定された撮像フレームレートで動画像信号が撮像されているものとするが、ノイズ低減処理の対象となる動画データとそのフレームレートの入力方法は特に制限されない。例えば出力部６が記録媒体から読み出した動画データと、動画データのヘッダなどから取得したフレームレートがNR部４に供給されてもよい。また、フレームレートは必ずしもNR部４の外部から入力される必要もなく、NR部４が動画データから抽出あるいは判別するように構成されてもよい。
【００２５】
第１信号処理部３からは、動画像信号がフレーム単位で順次入力される。本実施形態では、動画像の解像度は１９２０画素ｘ１０８０画素であり、撮像フレームレートは６０フレーム／秒(fps)または２４fpsのいずれかが選択可能であるものとする。また、撮像感度（ISO感度）は１２８００とする。
【００２６】
空間的NR部４０２は、ε―フィルタを用いて空間的ノイズ低減を行う。注目画素の画素値をＸnとした場合、周辺画素値Ｘn-5〜Ｘn+5を用いて平滑化を行うことにより、ノイズ低減を図るが、図３示すように、注目画素の画素値Ｘnとεとの差の範囲内の中の画素値だけを用いる。例えば図３の例ではＸnとの差がεを超えるＸn-5、Ｘn-2、Ｘn+4については、Ｘnに置き換えて、Ｘn-5〜Ｘn+5の加重平均を求める。以下に計算式を示す。
【００２７】
【数１】
ただし、ａkは各画素における重みを示しており、ｘkから幾何学的に遠いほど小さく、近いほど大きく設定する。また、タップ数（ここでは１１）もしくは平滑化に用いる周辺画素数（ここでは１０）は、単なる例示であり、これに限定されない。
【００２８】
空間的NR部４０２は、このような１次元的なフィルタ処理を画像の水平方向及び垂直方向に適用することにより、２次元的なノイズ低減処理を行う。
【００２９】
LPF４０３は、３ｘ３領域内でのメディアンフィルタを用いる。これは、３ｘ３領域にある９画素を画素値によってソートし、中央の値をＩnとして出力するものである。LPF４０３の動作の具体例を図４に示す。LPF４０３は、空間的NR部４０２の出力画像に対し、このようなフィルタリングを施す。
【００３０】
差分絶対値算出部４０４は、フレームメモリ４０８から出力される画像を前フレーム、LPF４０３から出力される画像を現フレームと呼ぶ場合、前フレームの各画素と現フレームの対応する画素間の差分絶対値を算出する。以下に計算式を示す。
ｄn＝｜ｐn−ｌn｜ （１−３）
ここで、ｌnは現フレームの画素値、ｐnは前フレームの画素値である。
【００３１】
次に、巡回係数算出部４０５について説明する。本実施形態では、巡回係数Ｋ（１≧Ｋ≧０）を、差分絶対値ｄnの大きさだけでなく、撮像フレームレートも考慮して決定する。具体的には、差分絶対値ｄnの値が小さいほど大きく、かつ、撮像フレームレートが高いほど、同じ差分絶対値ｄnに対応する値が大きくなるように巡回係数Ｋの値を決定する。又は、差分絶対値ｄnの値が大きいほど小さく、かつ、撮像フレームレートが低いほど、同じ差分絶対値ｄnに対応する値が小さくなるように巡回係数Ｋの値を決定する。
【００３２】
なお、差分絶対値ｄnの値が小さいほど巡回係数Ｋが大きいとは、ｄa＜ｄbとなるｄa，ｄbの全ての組み合わせに対し、対応する巡回係数ＫがＫa≧Ｋbを満たすことを意味する。差分絶対値ｄnが同一で、異なる撮像フレームレートに対応するに複数の巡回係数Ｋの値についても、同様である。
【００３３】
具体例を説明する。例えば差分絶対値ｄnが０〜２５５（８ビット）の値を取るとする。そして差分絶対値ｄnの複数の離散的な値、例えばｄn＝０、１０、２０、３０、４０、５０、６０、７０、１２０、１５０、１８０に対応する巡回係数Ｋを決定するものとする。
【００３４】
この場合、撮像フレームレートが６０fpsの場合と２４fpsの場合の巡回係数Ｋは、ｄnに対応するＫの値をＫdnとすると、例えば以下のように決定できる。
【００３５】
【表１】
【００３６】
なお、差分絶対値ｄnの他の値に対応する巡回係数Ｋの値は、例えば近傍の値を線形補間して算出することができる。図５（ａ）及び図５（ｂ）に、Ｋを縦軸、ｄnを横軸とした直交座標系での両者の関係を示す。図５（ａ）及び図５（ｂ）では、線形補間した状態を示している。なお、Ｋ＝０となるｄn以上のｄnに対する巡回係数Ｋは全て０、Ｋ＝１となるｄn以下のｄnに対する巡回係数Ｋは全て１となるため、線形補間は不要である。
【００３７】
差分絶対値ｄnが大きい場合や、撮像フレームレートが低い場合には、フレーム間の相関が小さい可能性が高い。そのため、差分絶対値ｄnが大きいほど、また撮像フレームレートが低いほど、巡回係数Ｋの値を小さく決定する。これにより、相関の低いと考えられる過去フレームの画素の画素混合における寄与を小さくする。
【００３８】
なお、ここでは２種類の撮像フレームレートについて、それぞれ１１種類の差分絶対値に対応する巡回係数Ｋを決定しておく例を示した。しかし、撮像フレームレートの種類や撮像フレームレートあたりの巡回係数Ｋの数には制限はない。また、差分絶対値の複数の離散値に対応する巡回係数Ｋを求めておく以外にも、差分絶対値の値と巡回係数の値との関数を撮像フレームレートごとに登録しておき、差分絶対値を関数に代入して巡回係数の値を求めてもよい。また、撮像フレームレートごとに同数の差分絶対値の離散値に対応した巡回係数を決定する必要もない。また、同一の離散的な差分絶対値に対応する巡回係数を全ての撮像フレームレートに対して求める必要もない。例えば、表１に示した例であれば、２４ｆｐｓにおけるＫ50〜Ｋ180と、６０ｆｐｓにおけるＫ0〜Ｋ20は無くてもよい。
【００３９】
巡回係数算出部４０５は、このようにして、撮像フレームレートと差分絶対値とから各画素に対する巡回係数Ｋの値を算出し、第１混合部４０７に供給する。
【００４０】
第１混合部４０７は、空間的NR部４０２の出力である現フレームの画素値ｙnと、フレームメモリ４０８からの出力である１フレーム前の前フレームにおいて対応する位置の画素値ｐnとを巡回係数Ｋを用いて以下のように加重平均する。
ｏn＝Ｋ＊ｐn＋（１−Ｋ）＊ｙn （１−４）
【００４１】
第２混合部４０９は、
・空間的NR部４０２が出力する、巡回型ノイズ低減処理を適用前の現フレームの画素値ｙnと、
・第１混合部４０７が出力する、巡回型ノイズ低減処理を適用後の現フレームの対応する位置の画素値ｏnとを、
ある一定の重みｗで以下のように加重平均して混合する。なお、ここで用いる現フレームは、第１混合部４０７で用いる現フレームと同一である。必要であれば、第１混合部４０７の処理が終わるまで、例えば第２混合部４０９で現フレームを遅延させる。
ｍn＝ｗ＊ｏn＋（１−ｗ）＊ｙn （１−５）
【００４２】
第２混合部４０９は、撮像フレームレートによって重みｗを変化させる。例えば撮像フレームレートが６０fpsのときはｗ＝０．９、撮像フレームレートが２４fpsのときはｗ＝０．６と設定する。このようにして算出されたｍnは、フレームメモリ４０８によって１フレーム時間遅延され、次のフレーム時間でのｐnとなる。
【００４３】
このように、本実施形態では、第２混合部４０９により、撮像フレームレートが低いほど第１混合部４０７からの画像の重みを小さくして現フレームの画像と混合した画像をフレームメモリ４０８に記憶する。あるいは、撮像フレームレートが高いほど第１混合部４０７からの画像の重みを大きくして現フレームの画像と混合した画像をフレームメモリ４０８に記憶する。これにより、次フレームについて第１混合部４０７で得られる画像における被写体の輪郭のぼけや滲みを一層抑制することができる。
【００４４】
以上説明したように、本実施形態によれば、複数のフレーム画像を混合して動画のノイズ低減を行う巡回型ノイズ低減処理において、混合時に用いる１フレーム前のフレームの重みを、撮像フレームレートが低いほど小さくなるようにする。これにより、相関の小さなフレームの影響を抑制し、適切なノイズ低減処理を行うことができる。また、撮像フレームレートが高い場合には、相関の高い過去フレームを利用したノイズ低減処理が実現できる。
【００４５】
また、混合時に用いる過去のフレーム画像として、ノイズ低減処理後のフレーム画像をそのまま遅延して用いるのではなく、ノイズ低減処理の適用前と適用後のフレーム画像とを混合した画像を遅延して用いる。そしてこの際、撮像フレームレートが低いほど、ノイズ低減処理を適用後（混合後）のフレーム画像の重みを小さくする。これにより、ノイズ低減処理後のフレーム画像に発生した輪郭のぼけや滲みが、次フレーム以降のノイズ低減処理結果に与える影響を抑制することができる。
【００４６】
（第１の実施形態の変形例）
なお、例えば回路規模を低減したい場合や、処理を単純化したい場合には、第２混合部４０９を用いなくてもよい。この場合、図２において、第１混合部４０７が出力するノイズ低減処理後のフレーム画像をフレームメモリ４０８に直接入力するように構成すればよい。この場合、第２混合部４０９による画質向上効果は得られないが、第１混合部４０７における撮像フレームレートに応じた混合処理による効果は実現できる。
【００４７】
（第２の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００４８】
図６は、本発明を適用可能な情報処理装置の構成例を示すブロック図である。ＣＰＵ３０１は装置全体の制御、及び種種の処理を行う。メモリ３０２は、ＢＩＯＳやブートプログラムを記憶しているＲＯＭ、及びＣＰＵ３０１がワークエリアとして使用するＲＡＭで構成される。指示入力部３０３はキーボード、マウスなどのポインティングデバイス、及び各種スイッチで構成される。外部記憶装置３０４は本装置の制御に必要なオペレーティングシステム（ＯＳ）、情報処理装置を本発明に係る画像処理装置として機能させるためのプログラム（画像処理アプリケーション）、演算に必要な記憶領域を提供する。外部記憶装置３０４は例えばハードディスク装置である。リーダ３０５は動画像データが記録もしくは記憶されたリムーバブル媒体（例えばメモリカードやディスク状メデイア）にアクセスする記憶装置である。カメラ３０６は動画像を撮像する。また、情報処理装置は、外部機器と有線又は無線の通信回線３０９を通じて通信するための通信インタフェース３０８を有する。
【００４９】
指示入力部３０３で装置に電源が入力されると、ＣＰＵ３０１はメモリ３０２のブートプログラム（ＲＯＭに格納されている）に従って、外部記憶装置３０４からメモリ３０２（ＲＡＭ）にＯＳをロードする。そして、例えばユーザによる指示に従い、外部記憶装置３０４から、画像処理アプリケーションをメモリ３０２にロードし、ＣＰＵ３０１で実行することにより、情報処理装置を本発明に係る画像処理装置として機能させることができる。図７に、アプリケーションプログラムがメモリ３０２のＲＡＭにロードされた際のメモリマップを模式的に示す。
【００５０】
メモリ３０２には装置全体を制御し、各種ソフトウェアを制御するためのＯＳ、空間的ＮＲや巡回型ＮＲを行うような画像処理ソフトウェアが格納されている。メモリ３０２には更に、カメラ３０６を制御して、動画像を１フレームずつ入力（キャプチャ）する画像入力ソフトウェアが格納されている。メモリ３０２には更に、画像データを格納する画像エリア、各種パラメータを格納しておくワーキングエリアが存在する。また、フレームメモリ４０８に相当するメモリ領域もワーキングエリア内に確保する。以下の説明では、このメモリ領域をフレームメモリ４０８と呼ぶ。また、表１に示したようなテーブルは、外部記憶装置３０４に記憶しておくことができる。
【００５１】
図８は、本実施形態の情報処理装置の画像処理アプリケーション実行動作を示すフローチャートである。
Ｓ１でＣＰＵ３０１はプログラムで用いるパラメータを初期値に設定するなどの初期化処理を実行する。Ｓ２でＣＰＵ３０１はプログラムの終了が指示されたかどうか判定する。例えばＣＰＵ３０１は、指示入力部３０３から終了指示が入力されたか否かの判定であってよい。
【００５２】
Ｓ３でＣＰＵ３０１はカメラ３０６を制御して、カメラ３０６が撮像した動画像をフレーム単位で読み込み、メモリ３０２のワーキングエリアに格納する。なお、動画像はリアルタイムで撮像されたものであってもよいし、カメラ３０６が有する記録媒体から再生されたものであってもよい。Ｓ４でＣＰＵ３０１は、読み込んだフレームに対して上述したＮＲ処理部４の動作に対応する巡回型ＮＲ処理を実行し、Ｓ２の処理に戻る。
【００５３】
Ｓ４における巡回型ＮＲ処理の詳細を図９のフローチャートを用いて説明する。
Ｓ４０１でＣＰＵ３０１は、Ｓ３で読み込んだフレーム（現フレーム）に対し、ε−フィルタに相当する演算を２次元的に適用して空間的NR処理を適用し、メモリ３０２に書戻す。Ｓ４０２でＣＰＵ３０１は、空間的NR処理後の現フレームにＬＰＦ４０３に相当するローパスフィルタ演算を適用する。そしてＣＰＵ３０１は、処理フレームメモリ４０８から読み出した前フレーム（第１の実施形態の変形例の場合）と、ＬＰＦ処理後の現フレームとの差分絶対値を画素毎に算出する。Ｓ４０３でＣＰＵ３０１はフレーム間差分絶対値と、動画像の撮像フレームレートと、外部記憶装置３０４から読み出したテーブルを用いて、巡回係数Ｋを求める。なお動画像の撮像フレームレートは、画像処理アプリケーションからユーザが設定した値であってもよいし、カメラ３０６から画像を読み込む前にカメラ３０６又は動画像データから取得してもよい。Ｓ４０４でＣＰＵ３０１は巡回係数Ｋを基に２フレームの加重平均（混合）を行う。Ｓ４０５でＣＰＵ３０１は、加重平均処理で得られたフレームを巡回型ＮＲ処理結果として例えば外部記憶装置３０４に出力するとともに、フレームメモリ４０８（メモリ３０２）に格納する。
【００５４】
なお、第２混合部４０９と同様にして、Ｓ４０４で得たフレームをさらに現フレームと混合してからフレームメモリ４０８に格納するようにしてもよい。
本実施形態によっても、第１の実施形態（変形例含む）と同様の効果が得られる。
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法に関し、特には画像信号のノイズを低減する画像処理装置およびその制御方法に関する。
【背景技術】
【０００２】
撮像素子を用いて得られる画像信号は、一般にノイズ成分を含んでいる。ノイズ成分のうち、時間的、空間的にランダムに発生するランダムノイズは、主に高感度撮像時に発生する。特に時間的にランダムに発生するノイズは動画像の画質を劣化させる要因の一つである。
【０００３】
動画像におけるランダムノイズの低減処理技術としては、動画像フレーム間の相関性を用いた巡回型のノイズ低減処理技術が知られている。例えば特許文献１では、現フレームの画像信号と前フレームの画像信号との差分信号値に基づき、巡回型ノイズ低減処理における巡回係数を制御する技術が記載されている。巡回係数は、現フレームの画像信号のノイズ低減に対して、前フレームの成分を使用する割合を示す係数である。そして、現フレームと前フレームとの差分が大きい場合は巡回係数を小さくして残像の低減を図り、差分が小さければ巡回係数を大きくすることによってノイズの低減を図っている。
【０００４】
特許文献１記載の方法は、差分信号値に基づいて巡回係数の値を制御するので、計算量が少なく低コスト化を図ることができる。しかし、フレーム間の動き成分と、ランダムノイズとの分離精度が十分でないため、ノイズ低減後に得られる画質が十分でない。
【０００５】
これに対して特許文献２では、空間的なノイズ低減処理を施した現フレームと、過去の（空間的なノイズ低減処理後の）１以上のフレームとの差分を用いることにより、動きのある被写体の残像を抑えながら時間的なランダムノイズを削減している。特許文献２に記載された方法は、フレーム間の動き成分とライダムノイズとの分離精度が向上するため、比較的高い画質を得ることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−２０９５０７号
【特許文献２】特開２００９−１４７８２２号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２においては、撮像フレームレートを考慮したノイズ低減処理について開示がない。撮像のフレームレートが大きい場合と小さい場合では、フレーム間の時間的距離（撮像時間間隔）が異なるので、連続するフレーム間の相関の大きさも影響を受ける。しかし、従来はフレームレートを考慮せずに一律なノイズ低減処理を行っていた。そのため、特許文献１，２に記載の方法では、撮像フレームレートが可変の場合に十分な効果が得られなかった。
【０００８】
本発明はこのような従来技術の課題に鑑みてなされたものであり、動画像に対して巡回型ノイズ低減処理を適用する画像処理装置及びその制御方法において、撮像フレームレートに応じたノイズ低減処理を可能とすることを目的とする。
【課題を解決するための手段】
【０００９】
上述の目的は、予め定められたフレームレートを有する動画像に対して巡回型ノイズ低減処理を適用する画像処理装置であって、巡回型ノイズ低減処理を適用する現フレームの画素値と、巡回型ノイズ低減処理を適用後の、現フレームの１フレーム前の前フレームの画素値とから、現フレームと前フレームとの相関の大きさを表す情報を算出する算出手段と、相関の大きさと、フレームレートとに基づいて、前フレームの重みである巡回係数を決定する決定手段と、巡回係数を用いて前フレームと現フレームの画素を混合する第１混合手段と、第１混合手段で得られたフレームを、巡回型ノイズ低減処理を適用した現フレームとして出力する出力手段と、を有し、決定手段は、算出手段で算出された情報で表される相関の大きさが同じであれば、フレームレートが低いほど小さくなるように巡回係数を決定することを特徴とする画像処理装置よって達成される。
【発明の効果】
【００１０】
本発明によれば、動画像に対して巡回型ノイズ低減処理を適用する画像処理装置及びその制御方法において、撮像フレームレートに応じたノイズ低減処理が可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る画像処理装置の一例としてのデジタルカメラの構成例を示すブロック図。
【図２】図１におけるノイズ低減処理部４の構成例を示すブロック図。
【図３】ノイズ低減部４の空間的NR部４０２で行うフィルタ処理を説明するための図。
【図４】ノイズ低減部４のLPF４０３で行うフィルタ処理を説明するための図。
【図５】本発明の第１の実施形態における巡回係数の具体例を示す図。
【図６】本発明の第２の実施形態に係る画像処理装置の一例としての情報処理装置の構成例を示すブロック図。
【図７】第２の実施形態に係る情報処理装置のメモリマップの例を説明するための図。
【図８】第２の実施形態に係る情報処理装置による画像処理アプリケーションの実行処理を説明するフローチャート。
【図９】図８のＳ４における画像処理の詳細を説明するためのフローチャート。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
以下、図面を参照して本発明の例示的な実施形態に基づいて詳細に説明する。なお、以下の説明においては、本発明に係る画像処理装置の一例として、動画撮像機能を有するデジタルカメラを説明する。しかしながら、本発明に動画像を撮像する機能は必須ではなく、情報処理装置など、動画像を処理可能ないかなる装置に対しても適用可能である。
【００１３】
（デジタルカメラの構成）
図１は本実施形態に係るデジタルカメラが有する構成要素のうち、動画像の撮像とノイズ低減処理に関わるものを模式的に示したブロック図である。
【００１４】
デジタルカメラ１００において、絞り、レンズ等の光学系１によって結像される光学像は、CMOSイメージセンサ、CCDイメージセンサ等の撮像素子２で光電変換され、画素単位のアナログ画像信号として第１信号処理部３に供給される。第１信号処理部３ではアナログ画像信号に対してA/D変換やゲインコントロールを行い、デジタル画像信号としてノイズ低減処理部（NR部）４に供給する。NR部４はデジタル画像信号に対して巡回的なノイズ低減処理を適用して第２信号処理部５に供給する。第２信号処理部５では、ノイズ低減処理がなされたデジタル画像信号に対し、リサイズ、色調整などを行い、出力部６に供給する。出力部６は、HDMIなどの出力インタフェースへの出力、半導体メモリカードなどの記録メディアへの記録、デジタルカメラ１００の表示装置（図示せず）への出力の１つ以上を行う。
【００１５】
UI部８は、スイッチ、ボタン、表示装置（図示せず）に設けられたタッチパネルなどの入力機器を１つ以上有し、ユーザがデジタルカメラ１００に対して各種設定や指示を与えるために用いられる。動画撮像モードと静止画撮像モードの切り替え指示、撮像モードと再生モードの切り替え指示、動画撮像の開始、一時停止、終了の指示、表示装置に表示されるGUIの操作などは、UI部８を通じてユーザからデジタルカメラ１００に入力される。
【００１６】
制御部９は、デジタルカメラ１００全体の動作を制御する。制御部９は例えばＣＰＵ、不揮発性の領域を有するＲＡＭ、ＲＯＭを有し、ＲＯＭに記憶された制御プログラムをＲＡＭに展開し、ＣＰＵが実行して各構成要素を制御することにより、デジタルカメラ１００の各種機能を実現する。UI部８を通じて設定された撮像フレームレートや解像度などの撮像パラメータを始めとする設定値などは、例えば制御部９が有する不揮発性ＲＡＭに記憶される。図１に示す各構成要素は、バス７を介して互いに通信可能に接続されている。
【００１７】
（NR部４の構成）
図２はNR部４の構成例を示すブロック図である。以下、図２を参照してNR部４の構成及び動作について説明する。
空間的NR部４０２では、入力端子４０１を介して第１信号処理部３から入力されるデジタル画像信号に対して、２次元的（空間的）なノイズ低減処理を施し、ローパスフィルタ(LPF)４０３、第１混合部４０７、第２混合部４０９に供給する。
【００１８】
例えばUI部８又は制御部９からバス７を介して入力される撮像フレームレートは、巡回係数算出部４０５及び第２混合部４０９に供給される。LPF４０３では、２次元的なノイズ低減処理が行われたデジタル画像信号に対して２次元的なローパスフィルタ処理を行って差分絶対値算出部４０４に出力する。
【００１９】
差分絶対値算出部４０４では、２次元的なノイズ低減処理及びLPF処理を施されたデジタル画像信号と、フレームメモリ４０８からの出力であるデジタル画像信号との差分絶対値を算出して、巡回係数算出部４０５に供給する。
【００２０】
巡回係数算出部４０５では、撮像フレームレートと差分絶対値とに基づいて、巡回係数を算出して第１混合部４０７に供給する。ここで、巡回係数は、現フレームの画像信号のノイズ低減に対して、フレームメモリ４０８からの過去のフレームの画像信号成分を用いる割合を示す係数である。
【００２１】
第１混合部４０７は、空間的NR部４０２の出力するノイズ低減後の（現フレームの）デジタル画像信号と、フレームメモリ４０８から出力されるデジタル画像信号とを、巡回係数算出部４０５からの巡回係数に基づいて混合する。そして第１混合部４０７は、混合後の画像信号を第２混合部４０９と、NR部４の後段の第２信号処理部５とに供給する。
【００２２】
第２混合部４０９は、第１混合部４０７の出力する混合後の画像信号と、空間的NR部４０２が空間的ノイズ低減処理した現フレームのデジタル画像信号とを、撮像フレームレートに基づいて混合し、フレームメモリ４０８に供給する。
【００２３】
フレームメモリ４０８は、入力された画像信号を、１フレーム時間遅延させて第１混合部４０７及び差分絶対値算出部４０４に供給する。
【００２４】
（NR部４の動作の具体例）
NR部４におけるノイズ低減動作の具体例を説明する。なお、以下では、UI部８から設定された撮像フレームレートで動画像信号が撮像されているものとするが、ノイズ低減処理の対象となる動画データとそのフレームレートの入力方法は特に制限されない。例えば出力部６が記録媒体から読み出した動画データと、動画データのヘッダなどから取得したフレームレートがNR部４に供給されてもよい。また、フレームレートは必ずしもNR部４の外部から入力される必要もなく、NR部４が動画データから抽出あるいは判別するように構成されてもよい。
【００２５】
第１信号処理部３からは、動画像信号がフレーム単位で順次入力される。本実施形態では、動画像の解像度は１９２０画素ｘ１０８０画素であり、撮像フレームレートは６０フレーム／秒(fps)または２４fpsのいずれかが選択可能であるものとする。また、撮像感度（ISO感度）は１２８００とする。
【００２６】
空間的NR部４０２は、ε―フィルタを用いて空間的ノイズ低減を行う。注目画素の画素値をＸnとした場合、周辺画素値Ｘn-5〜Ｘn+5を用いて平滑化を行うことにより、ノイズ低減を図るが、図３示すように、注目画素の画素値Ｘnとεとの差の範囲内の中の画素値だけを用いる。例えば図３の例ではＸnとの差がεを超えるＸn-5、Ｘn-2、Ｘn+4については、Ｘnに置き換えて、Ｘn-5〜Ｘn+5の加重平均を求める。以下に計算式を示す。
【００２７】
【数１】
ただし、ａkは各画素における重みを示しており、ｘkから幾何学的に遠いほど小さく、近いほど大きく設定する。また、タップ数（ここでは１１）もしくは平滑化に用いる周辺画素数（ここでは１０）は、単なる例示であり、これに限定されない。
【００２８】
空間的NR部４０２は、このような１次元的なフィルタ処理を画像の水平方向及び垂直方向に適用することにより、２次元的なノイズ低減処理を行う。
【００２９】
LPF４０３は、３ｘ３領域内でのメディアンフィルタを用いる。これは、３ｘ３領域にある９画素を画素値によってソートし、中央の値をＩnとして出力するものである。LPF４０３の動作の具体例を図４に示す。LPF４０３は、空間的NR部４０２の出力画像に対し、このようなフィルタリングを施す。
【００３０】
差分絶対値算出部４０４は、フレームメモリ４０８から出力される画像を前フレーム、LPF４０３から出力される画像を現フレームと呼ぶ場合、前フレームの各画素と現フレームの対応する画素間の差分絶対値を算出する。以下に計算式を示す。
ｄn＝｜ｐn−ｌn｜ （１−３）
ここで、ｌnは現フレームの画素値、ｐnは前フレームの画素値である。
【００３１】
次に、巡回係数算出部４０５について説明する。本実施形態では、巡回係数Ｋ（１≧Ｋ≧０）を、差分絶対値ｄnの大きさだけでなく、撮像フレームレートも考慮して決定する。具体的には、差分絶対値ｄnの値が小さいほど大きく、かつ、撮像フレームレートが高いほど、同じ差分絶対値ｄnに対応する値が大きくなるように巡回係数Ｋの値を決定する。又は、差分絶対値ｄnの値が大きいほど小さく、かつ、撮像フレームレートが低いほど、同じ差分絶対値ｄnに対応する値が小さくなるように巡回係数Ｋの値を決定する。
【００３２】
なお、差分絶対値ｄnの値が小さいほど巡回係数Ｋが大きいとは、ｄa＜ｄbとなるｄa，ｄbの全ての組み合わせに対し、対応する巡回係数ＫがＫa≧Ｋbを満たすことを意味する。差分絶対値ｄnが同一で、異なる撮像フレームレートに対応するに複数の巡回係数Ｋの値についても、同様である。
【００３３】
具体例を説明する。例えば差分絶対値ｄnが０〜２５５（８ビット）の値を取るとする。そして差分絶対値ｄnの複数の離散的な値、例えばｄn＝０、１０、２０、３０、４０、５０、６０、７０、１２０、１５０、１８０に対応する巡回係数Ｋを決定するものとする。
【００３４】
この場合、撮像フレームレートが６０fpsの場合と２４fpsの場合の巡回係数Ｋは、ｄnに対応するＫの値をＫdnとすると、例えば以下のように決定できる。
【００３５】
【表１】
【００３６】
なお、差分絶対値ｄnの他の値に対応する巡回係数Ｋの値は、例えば近傍の値を線形補間して算出することができる。図５（ａ）及び図５（ｂ）に、Ｋを縦軸、ｄnを横軸とした直交座標系での両者の関係を示す。図５（ａ）及び図５（ｂ）では、線形補間した状態を示している。なお、Ｋ＝０となるｄn以上のｄnに対する巡回係数Ｋは全て０、Ｋ＝１となるｄn以下のｄnに対する巡回係数Ｋは全て１となるため、線形補間は不要である。
【００３７】
差分絶対値ｄnが大きい場合や、撮像フレームレートが低い場合には、フレーム間の相関が小さい可能性が高い。そのため、差分絶対値ｄnが大きいほど、また撮像フレームレートが低いほど、巡回係数Ｋの値を小さく決定する。これにより、相関の低いと考えられる過去フレームの画素の画素混合における寄与を小さくする。
【００３８】
なお、ここでは２種類の撮像フレームレートについて、それぞれ１１種類の差分絶対値に対応する巡回係数Ｋを決定しておく例を示した。しかし、撮像フレームレートの種類や撮像フレームレートあたりの巡回係数Ｋの数には制限はない。また、差分絶対値の複数の離散値に対応する巡回係数Ｋを求めておく以外にも、差分絶対値の値と巡回係数の値との関数を撮像フレームレートごとに登録しておき、差分絶対値を関数に代入して巡回係数の値を求めてもよい。また、撮像フレームレートごとに同数の差分絶対値の離散値に対応した巡回係数を決定する必要もない。また、同一の離散的な差分絶対値に対応する巡回係数を全ての撮像フレームレートに対して求める必要もない。例えば、表１に示した例であれば、２４ｆｐｓにおけるＫ50〜Ｋ180と、６０ｆｐｓにおけるＫ0〜Ｋ20は無くてもよい。
【００３９】
巡回係数算出部４０５は、このようにして、撮像フレームレートと差分絶対値とから各画素に対する巡回係数Ｋの値を算出し、第１混合部４０７に供給する。
【００４０】
第１混合部４０７は、空間的NR部４０２の出力である現フレームの画素値ｙnと、フレームメモリ４０８からの出力である１フレーム前の前フレームにおいて対応する位置の画素値ｐnとを巡回係数Ｋを用いて以下のように加重平均する。
ｏn＝Ｋ＊ｐn＋（１−Ｋ）＊ｙn （１−４）
【００４１】
第２混合部４０９は、
・空間的NR部４０２が出力する、巡回型ノイズ低減処理を適用前の現フレームの画素値ｙnと、
・第１混合部４０７が出力する、巡回型ノイズ低減処理を適用後の現フレームの対応する位置の画素値ｏnとを、
ある一定の重みｗで以下のように加重平均して混合する。なお、ここで用いる現フレームは、第１混合部４０７で用いる現フレームと同一である。必要であれば、第１混合部４０７の処理が終わるまで、例えば第２混合部４０９で現フレームを遅延させる。
ｍn＝ｗ＊ｏn＋（１−ｗ）＊ｙn （１−５）
【００４２】
第２混合部４０９は、撮像フレームレートによって重みｗを変化させる。例えば撮像フレームレートが６０fpsのときはｗ＝０．９、撮像フレームレートが２４fpsのときはｗ＝０．６と設定する。このようにして算出されたｍnは、フレームメモリ４０８によって１フレーム時間遅延され、次のフレーム時間でのｐnとなる。
【００４３】
このように、本実施形態では、第２混合部４０９により、撮像フレームレートが低いほど第１混合部４０７からの画像の重みを小さくして現フレームの画像と混合した画像をフレームメモリ４０８に記憶する。あるいは、撮像フレームレートが高いほど第１混合部４０７からの画像の重みを大きくして現フレームの画像と混合した画像をフレームメモリ４０８に記憶する。これにより、次フレームについて第１混合部４０７で得られる画像における被写体の輪郭のぼけや滲みを一層抑制することができる。
【００４４】
以上説明したように、本実施形態によれば、複数のフレーム画像を混合して動画のノイズ低減を行う巡回型ノイズ低減処理において、混合時に用いる１フレーム前のフレームの重みを、撮像フレームレートが低いほど小さくなるようにする。これにより、相関の小さなフレームの影響を抑制し、適切なノイズ低減処理を行うことができる。また、撮像フレームレートが高い場合には、相関の高い過去フレームを利用したノイズ低減処理が実現できる。
【００４５】
また、混合時に用いる過去のフレーム画像として、ノイズ低減処理後のフレーム画像をそのまま遅延して用いるのではなく、ノイズ低減処理の適用前と適用後のフレーム画像とを混合した画像を遅延して用いる。そしてこの際、撮像フレームレートが低いほど、ノイズ低減処理を適用後（混合後）のフレーム画像の重みを小さくする。これにより、ノイズ低減処理後のフレーム画像に発生した輪郭のぼけや滲みが、次フレーム以降のノイズ低減処理結果に与える影響を抑制することができる。
【００４６】
（第１の実施形態の変形例）
なお、例えば回路規模を低減したい場合や、処理を単純化したい場合には、第２混合部４０９を用いなくてもよい。この場合、図２において、第１混合部４０７が出力するノイズ低減処理後のフレーム画像をフレームメモリ４０８に直接入力するように構成すればよい。この場合、第２混合部４０９による画質向上効果は得られないが、第１混合部４０７における撮像フレームレートに応じた混合処理による効果は実現できる。
【００４７】
（第２の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００４８】
図６は、本発明を適用可能な情報処理装置の構成例を示すブロック図である。ＣＰＵ３０１は装置全体の制御、及び種種の処理を行う。メモリ３０２は、ＢＩＯＳやブートプログラムを記憶しているＲＯＭ、及びＣＰＵ３０１がワークエリアとして使用するＲＡＭで構成される。指示入力部３０３はキーボード、マウスなどのポインティングデバイス、及び各種スイッチで構成される。外部記憶装置３０４は本装置の制御に必要なオペレーティングシステム（ＯＳ）、情報処理装置を本発明に係る画像処理装置として機能させるためのプログラム（画像処理アプリケーション）、演算に必要な記憶領域を提供する。外部記憶装置３０４は例えばハードディスク装置である。リーダ３０５は動画像データが記録もしくは記憶されたリムーバブル媒体（例えばメモリカードやディスク状メデイア）にアクセスする記憶装置である。カメラ３０６は動画像を撮像する。また、情報処理装置は、外部機器と有線又は無線の通信回線３０９を通じて通信するための通信インタフェース３０８を有する。
【００４９】
指示入力部３０３で装置に電源が入力されると、ＣＰＵ３０１はメモリ３０２のブートプログラム（ＲＯＭに格納されている）に従って、外部記憶装置３０４からメモリ３０２（ＲＡＭ）にＯＳをロードする。そして、例えばユーザによる指示に従い、外部記憶装置３０４から、画像処理アプリケーションをメモリ３０２にロードし、ＣＰＵ３０１で実行することにより、情報処理装置を本発明に係る画像処理装置として機能させることができる。図７に、アプリケーションプログラムがメモリ３０２のＲＡＭにロードされた際のメモリマップを模式的に示す。
【００５０】
メモリ３０２には装置全体を制御し、各種ソフトウェアを制御するためのＯＳ、空間的ＮＲや巡回型ＮＲを行うような画像処理ソフトウェアが格納されている。メモリ３０２には更に、カメラ３０６を制御して、動画像を１フレームずつ入力（キャプチャ）する画像入力ソフトウェアが格納されている。メモリ３０２には更に、画像データを格納する画像エリア、各種パラメータを格納しておくワーキングエリアが存在する。また、フレームメモリ４０８に相当するメモリ領域もワーキングエリア内に確保する。以下の説明では、このメモリ領域をフレームメモリ４０８と呼ぶ。また、表１に示したようなテーブルは、外部記憶装置３０４に記憶しておくことができる。
【００５１】
図８は、本実施形態の情報処理装置の画像処理アプリケーション実行動作を示すフローチャートである。
Ｓ１でＣＰＵ３０１はプログラムで用いるパラメータを初期値に設定するなどの初期化処理を実行する。Ｓ２でＣＰＵ３０１はプログラムの終了が指示されたかどうか判定する。例えばＣＰＵ３０１は、指示入力部３０３から終了指示が入力されたか否かの判定であってよい。
【００５２】
Ｓ３でＣＰＵ３０１はカメラ３０６を制御して、カメラ３０６が撮像した動画像をフレーム単位で読み込み、メモリ３０２のワーキングエリアに格納する。なお、動画像はリアルタイムで撮像されたものであってもよいし、カメラ３０６が有する記録媒体から再生されたものであってもよい。Ｓ４でＣＰＵ３０１は、読み込んだフレームに対して上述したＮＲ処理部４の動作に対応する巡回型ＮＲ処理を実行し、Ｓ２の処理に戻る。
【００５３】
Ｓ４における巡回型ＮＲ処理の詳細を図９のフローチャートを用いて説明する。
Ｓ４０１でＣＰＵ３０１は、Ｓ３で読み込んだフレーム（現フレーム）に対し、ε−フィルタに相当する演算を２次元的に適用して空間的NR処理を適用し、メモリ３０２に書戻す。Ｓ４０２でＣＰＵ３０１は、空間的NR処理後の現フレームにＬＰＦ４０３に相当するローパスフィルタ演算を適用する。そしてＣＰＵ３０１は、処理フレームメモリ４０８から読み出した前フレーム（第１の実施形態の変形例の場合）と、ＬＰＦ処理後の現フレームとの差分絶対値を画素毎に算出する。Ｓ４０３でＣＰＵ３０１はフレーム間差分絶対値と、動画像の撮像フレームレートと、外部記憶装置３０４から読み出したテーブルを用いて、巡回係数Ｋを求める。なお動画像の撮像フレームレートは、画像処理アプリケーションからユーザが設定した値であってもよいし、カメラ３０６から画像を読み込む前にカメラ３０６又は動画像データから取得してもよい。Ｓ４０４でＣＰＵ３０１は巡回係数Ｋを基に２フレームの加重平均（混合）を行う。Ｓ４０５でＣＰＵ３０１は、加重平均処理で得られたフレームを巡回型ＮＲ処理結果として例えば外部記憶装置３０４に出力するとともに、フレームメモリ４０８（メモリ３０２）に格納する。
【００５４】
なお、第２混合部４０９と同様にして、Ｓ４０４で得たフレームをさらに現フレームと混合してからフレームメモリ４０８に格納するようにしてもよい。
本実施形態によっても、第１の実施形態（変形例含む）と同様の効果が得られる。
【特許請求の範囲】
【請求項１】
予め定められたフレームレートを有する動画像に対して巡回型ノイズ低減処理を適用する画像処理装置であって、
巡回型ノイズ低減処理を適用する現フレームの画素値と、前記巡回型ノイズ低減処理を適用後の、前記現フレームの１フレーム前の前フレームの画素値とから、前記現フレームと前記前フレームとの相関の大きさを表す情報を算出する算出手段と、
前記相関の大きさと、前記フレームレートとに基づいて、前記前フレームの重みである巡回係数を決定する決定手段と、
前記巡回係数を用いて前記前フレームと前記現フレームの画素を混合する第１混合手段と、
前記第１混合手段で得られたフレームを、前記巡回型ノイズ低減処理を適用した前記現フレームとして出力する出力手段と、を有し、
前記決定手段は、前記算出手段で算出された情報で表される相関の大きさが同じであれば、前記フレームレートが低いほど小さくなるように前記巡回係数を決定することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記フレームレートが同じであれば、前記相関の大きさが大きいほど大きくなるように前記巡回係数を決定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
さらに、前記巡回型ノイズ低減処理の適用前と適用後の前記現フレームの画素を混合する第２混合手段をさらに有し、
前記第２混合手段が、前記フレームレートが低いほど前記巡回型ノイズ低減処理を適用後の前記現フレームの重みを小さくして前記混合を行い、
前記第１混合手段は、前記第２混合手段でえられたフレームと前記現フレームの画素を混合することを特徴とする請求項１又は請求項２記載の画像処理装置。
【請求項４】
さらに、前記巡回型ノイズ低減処理の適用前に、前記現フレームに対して空間的ノイズ低減処理を適用するフィルタ手段を有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記算出手段が、前記現フレームと前記前フレームの画素値の差分を、前記相関の大きさを表す情報として算出することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
予め定められたフレームレートを有する動画像に対して巡回型ノイズ低減処理を適用する画像処理装置の制御方法であって、
前記画像処理装置の算出手段が、巡回型ノイズ低減処理を適用する現フレームの画素値と、前記巡回型ノイズ低減処理を適用後の、前記現フレームの１フレーム前の前フレームの画素値とから、前記現フレームと前記前フレームとの相関の大きさを表す情報を算出する算出工程と、
前記画像処理装置の決定手段が、前記相関の大きさと、前記フレームレートとに基づいて、前記前フレームの重みである巡回係数を決定する決定工程と、
前記画像処理装置の第１混合手段が、前記巡回係数を用いて前記前フレームと前記現フレームの画素を混合する第１混合工程と、
前記画像処理装置の出力手段が、前記第１混合手段で得られたフレームを、前記巡回型ノイズ低減処理を適用した前記現フレームとして出力する出力工程と、を有し、
前記決定工程において前記決定手段は、前記算出手段で算出された情報で表される相関の大きさが同じであれば、前記フレームレートが低いほど小さくなるように前記巡回係数を決定することを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータを、請求項１乃至請求項５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１】
予め定められたフレームレートを有する動画像に対して巡回型ノイズ低減処理を適用する画像処理装置であって、
巡回型ノイズ低減処理を適用する現フレームの画素値と、前記巡回型ノイズ低減処理を適用後の、前記現フレームの１フレーム前の前フレームの画素値とから、前記現フレームと前記前フレームとの相関の大きさを表す情報を算出する算出手段と、
前記相関の大きさと、前記フレームレートとに基づいて、前記前フレームの重みである巡回係数を決定する決定手段と、
前記巡回係数を用いて前記前フレームと前記現フレームの画素を混合する第１混合手段と、
前記第１混合手段で得られたフレームを、前記巡回型ノイズ低減処理を適用した前記現フレームとして出力する出力手段と、を有し、
前記決定手段は、前記算出手段で算出された情報で表される相関の大きさが同じであれば、前記フレームレートが低いほど小さくなるように前記巡回係数を決定することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記フレームレートが同じであれば、前記相関の大きさが大きいほど大きくなるように前記巡回係数を決定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
さらに、前記巡回型ノイズ低減処理の適用前と適用後の前記現フレームの画素を混合する第２混合手段をさらに有し、
前記第２混合手段が、前記フレームレートが低いほど前記巡回型ノイズ低減処理を適用後の前記現フレームの重みを小さくして前記混合を行い、
前記第１混合手段は、前記第２混合手段でえられたフレームと前記現フレームの画素を混合することを特徴とする請求項１又は請求項２記載の画像処理装置。
【請求項４】
さらに、前記巡回型ノイズ低減処理の適用前に、前記現フレームに対して空間的ノイズ低減処理を適用するフィルタ手段を有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記算出手段が、前記現フレームと前記前フレームの画素値の差分を、前記相関の大きさを表す情報として算出することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
予め定められたフレームレートを有する動画像に対して巡回型ノイズ低減処理を適用する画像処理装置の制御方法であって、
前記画像処理装置の算出手段が、巡回型ノイズ低減処理を適用する現フレームの画素値と、前記巡回型ノイズ低減処理を適用後の、前記現フレームの１フレーム前の前フレームの画素値とから、前記現フレームと前記前フレームとの相関の大きさを表す情報を算出する算出工程と、
前記画像処理装置の決定手段が、前記相関の大きさと、前記フレームレートとに基づいて、前記前フレームの重みである巡回係数を決定する決定工程と、
前記画像処理装置の第１混合手段が、前記巡回係数を用いて前記前フレームと前記現フレームの画素を混合する第１混合工程と、
前記画像処理装置の出力手段が、前記第１混合手段で得られたフレームを、前記巡回型ノイズ低減処理を適用した前記現フレームとして出力する出力工程と、を有し、
前記決定工程において前記決定手段は、前記算出手段で算出された情報で表される相関の大きさが同じであれば、前記フレームレートが低いほど小さくなるように前記巡回係数を決定することを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータを、請求項１乃至請求項５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２３５３０６（Ｐ２０１２−２３５３０６Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０２３４２（Ｐ２０１１−１０２３４２）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]