画像処理装置および画像処理方法
【課題】画像の重ね合わせによるノイズ低減処理の効果をより高める。
【解決手段】画像処理装置１００は、ターゲット画像と参照画像との間の動きを補償する動き補償部１１６と、動きが補償されたターゲット画像と参照画像とを重ね合わせることによって重ね合わせ画像を生成する画像重ね合わせ部１１７と、重ね合わせ画像を空間フィルタリングする空間フィルタリング部１１８とを備える。空間フィルタリング部１１８は、εフィルタを用いて重ね合わせ画像を空間フィルタリングしてもよい。
【解決手段】画像処理装置１００は、ターゲット画像と参照画像との間の動きを補償する動き補償部１１６と、動きが補償されたターゲット画像と参照画像とを重ね合わせることによって重ね合わせ画像を生成する画像重ね合わせ部１１７と、重ね合わせ画像を空間フィルタリングする空間フィルタリング部１１８とを備える。空間フィルタリング部１１８は、εフィルタを用いて重ね合わせ画像を空間フィルタリングしてもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、画像に含まれるノイズを低減する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
画像の撮影において、連続して撮影された複数の画像（フレーム）を重ね合わせて、ノイズが低減された画像を得る技術が知られている。例えば、処理対象となる画像（ターゲット画像）に、ターゲット画像の前または後に連続して撮影され、動き検出および動き補償によって位置合わせされた複数の画像（参照画像）を重ね合わせた場合、略同一の画像が時間方向で積分されることになるため、各画像にランダムに含まれるノイズが相殺され、結果としてノイズが低減される。以下、このような方法によるノイズ低減（ＮＲ：Noise Reduction）を、フレームＮＲという。
【０００３】
このようなフレームＮＲの利点として、空間周波数に関係なくノイズを低減できるということがある。例えば、空間フィルタを用いたＮＲでは、高周波成分からなるノイズと被写体のエッジとを区別することが難しいのに対し、フレームＮＲでは、被写体のエッジを残しつつ、高周波成分からなるノイズを低減することが可能である（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−８１５９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、画像に含まれるノイズは、必ずしもすべてがランダムノイズではない。ノイズの中には、例えば、センサ特性やレンズ特性の偏りのために、各画像に固定したパターンとして含まれるノイズもある。このような固定パターンノイズは、各画像を時間方向に積分しても相殺されず、それゆえフレームＮＲによって低減することが難しい。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像の重ね合わせによるノイズ低減処理の効果をより高めることが可能な、新規かつ改良された画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、ターゲット画像と参照画像との間の動きを補償する動き補償部と、動きが補償された上記ターゲット画像と上記参照画像とを重ね合わせることによって重ね合わせ画像を生成する画像重ね合わせ部と、上記重ね合わせ画像を空間フィルタリングする空間フィルタリング部とを備える画像処理装置が提供される。
【０００８】
上記空間フィルタリング部は、εフィルタを用いて上記重ね合わせ画像を空間フィルタリングしてもよい。
【０００９】
上記空間フィルタリング部は、上記重ね合わせ画像を縮小して空間フィルタリングしてもよい。
【００１０】
上記重ね合わせ画像の画像信号は、輝度成分と色差成分とを含む画像信号であり、上記空間フィルタリング部は、上記色差成分を空間フィルタリングしてもよい。
【００１１】
上記ターゲット画像および上記参照画像の画像信号は、輝度成分と色差成分とを含む画像信号であってもよい。
【００１２】
また、上記課題を解決するために、本発明の別の観点によれば、ターゲット画像と参照画像との間の動きを補償することと、動きが補償された上記ターゲット画像と上記参照画像とを重ね合わせることによって重ね合わせ画像を生成することと、上記重ね合わせ画像を空間フィルタリングすることとを含む画像処理方法が提供される。
【発明の効果】
【００１３】
以上説明したように本発明によれば、画像の重ね合わせによるノイズ低減処理の効果をより高めることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る撮像装置の機能構成を示すブロック図である。
【図２】本発明の第１の実施形態におけるフレームＮＲ処理の概念図である。
【図３】本発明の第１の実施形態における動きベクトル検出処理についての説明図である。
【図４】本発明の第１の実施形態に係る撮像装置における動き補償部の機能構成を示すブロック図である。
【図５】本発明の第１の実施形態に係る撮像装置において動き補償部に含まれるターゲットブロックバッファ部の機能構成を示すブロック図である。
【図６】本発明の第１の実施形態に係る撮像装置において動き補償部に含まれる参照ブロックバッファ部の機能構成を示すブロック図である
【図７】本発明の第１の実施形態に係る撮像装置における画像重ね合わせ部の機能構成を示すブロック図である。
【図８】本発明の第１の実施形態に係る撮像装置における色差ＮＲ部の機能構成を示すブロック図である。
【図９】タップ数が大きいεフィルタによる空間フィルタリングがフレームＮＲの後に行われる場合とそうでない場合とを比較する模式図である。
【図１０】動き補償部から提供される参照画像のデータを用いない色差ＮＲ部の機能構成を示すブロック図である。
【図１１】本発明の第１の実施形態におけるフレームＮＲ処理および色差ＮＲ処理を示すフローチャートである。
【図１２】本発明の第２の実施形態に係る撮像装置における色差ＮＲ部の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．撮像装置の全体構成
１−２．フレームＮＲ処理について
１−３．フレームＮＲ処理および色差ＮＲ処理の詳細
２．第２の実施形態
３．まとめ
【００１７】
＜１．第１の実施形態＞
＜１−１．撮像装置の全体構成＞
まず、本発明の第１の実施形態に係る撮像装置の構成について説明する。本発明の第１の実施形態において、画像処理装置は撮像装置であり、加算部は画像重ね合わせ部であり、空間フィルタリング部は色差ＮＲ部である。
【００１８】
図１は、本発明の第１の実施形態に係る撮像装置１００の機能構成を示すブロック図である。撮像装置１００は、静止画または動画を撮像してデジタル方式の画像データとして記録媒体に記録する機能を有する、例えばデジタルカメラなどの任意の電子機器でありうる。
【００１９】
図１を参照すると、撮像装置１００は、制御部１０１、操作部１０２、メモリ１０３、ストレージ１０４、撮像光学系１１１、タイミングジェネレータ１１２、撮像素子１１３、信号処理部１１４、ＲＡＷ／ＹＣ変換部１１５、動き補償部１１６、画像重ね合わせ部１１７、色差ＮＲ部１１８、静止画コーデック１１９、動画コーデック１２０、ＮＴＳＣエンコーダ１２１、およびディスプレイ１２２を含む。これらの各構成要素は、システムバス１２５を介して相互に接続される。
【００２０】
制御部１０１は、撮像装置１００の各部の動作を制御する。制御部１０１は、メモリ１０３に格納されたプログラムに基づいて動作することによって、制御のために必要な各種の演算処理を実行するＣＰＵ（Central Processing Unit）でありうる。制御部１０１は、演算処理のための一時格納領域としてメモリ１０３を用いてもよい。なお、制御部１０１が動作するためのプログラムは、メモリ１０３に予め書き込まれたものであってもよく、ディスク状記録媒体またはメモリカードなどのリムーバブル記憶媒体に格納されて撮像装置１００に提供されるものであってもよい。また、制御部１０１が動作するためのプログラムは、ＬＡＮ（Local Area Network）、インターネット等のネットワークを介して撮像装置１００にダウンロードされるものであってもよい。
【００２１】
操作部１０２は、撮像装置１００を操作するためのユーザインターフェースとして機能する、操作部１０２は、例えば、撮像装置１００の外装に設けられたシャッターボタンなどの操作ボタン、タッチパネル、またはリモートコントローラなどでありうる。操作部１０２は、ユーザの操作に基づいて、撮像装置１００の起動および停止、静止画もしくは動画の撮影開始および終了、または撮像装置１００の各種機能の設定などの操作信号を制御部１０１に出力しうる。
【００２２】
メモリ１０３には、撮像装置１００の処理に関するデータが格納される。メモリ１０３は、例えば、フラッシュＲＯＭ（Read Only Memory）またはＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリでありうる。メモリ１０３には、例えば、制御部１０１が用いるプログラム、および画像処理機能によって処理される画像信号が、一時的または継続的に格納されうる。メモリ１０３に格納される画像信号は、例えば、後述する基底面および縮小面のターゲット画像、参照画像、およびＮＲ画像でありうる。
【００２３】
ストレージ１０４には、撮像装置１００によって撮影された画像が、画像データとして格納される。ストレージ１０４は、例えば、フラッシュＲＯＭなどの半導体メモリ、ＢＤ（Blu-ray Disc）、ＤＶＤ（Digital Versatile Disc）、もしくはＣＤ（Compact Disc）などの光ディスク、またはハードディスクなどでありうる。ストレージ１０４は、撮像装置１００に内蔵される記憶装置であってもよく、メモリカードなどの撮像装置１００に着脱可能なリムーバブルメディアであってもよい。
【００２４】
撮像光学系１１１は、フォーカスレンズ、ズームレンズ等の各種レンズ、光学フィルタ、および絞りなどの光学部品からなる。被写体から入射された光学像（被写体像）は、撮像光学系１１１における各光学部品を介して、撮像素子１１３の露光面に結像される。
【００２５】
タイミングジェネレータ１１２は、制御部１０１の指示に従って、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成して撮像素子１１３に供給する。
【００２６】
撮像素子（イメージセンサ）１１２は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子で構成される。撮像素子１１３は、タイミングジェネレータ１１２からの動作パルスによって駆動され、撮像光学系１１１から導かれた被写体像を光電変換する。これによって、撮像画像を表す画像信号が、信号処理部１１４に出力される。ここで出力される画像信号は、タイミングジェネレータ１１２からの動作パルスに同期した信号であって、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３原色から構成されるベイヤー配列のＲＡＷ信号（生の信号）である。
【００２７】
信号処理部１１４以降の各部の画像処理機能は、例えばＤＳＰ（Digital Signal Processor）を用いて実現されうる。信号処理部１１４は、撮像素子１１３から入力された画像信号に、ノイズ除去、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正、解像度変換などの画像信号処理を実行する。信号処理部１１４は、デジタル画像信号をメモリ１０３に一時的に格納してもよい。ＲＡＷ／ＹＣ変換部１１５は、信号処理部１１４から入力されたＲＡＷ信号をＹＣ信号に変換して、動き補償部１１６に出力する。ここで、ＹＣ信号は、輝度成分（Ｙ）、および赤／青の色差成分（Ｃｒ／Ｃｂ）を含む画像信号である。
【００２８】
動き補償部１１６は、ターゲット画像および参照画像の画像信号をメモリ１０３から読み込む。動き補償部１１６は、例えばブロックマッチングなどの処理によって、これらの画像の間の動きベクトルを検出し、ターゲット画像と参照画像との間の動きを補償する。後述するように、動き補償部１１６は、動きベクトルの検出の過程で用いられる縮小面マッチング処理範囲の画像データを、色差ＮＲ部１１８に提供してもよい。
【００２９】
画像重ね合わせ部１１７は、動き補償部１１６に動きが補償されたターゲット画像と参照画像とを重ね合わせて、重ね合わせ画像であるＮＲ画像を生成する。画像重ね合わせ部１１７は、ＮＲ画像を色差ＮＲ部１１８に提供する。ＮＲ画像では、上述したフレームＮＲの効果によって、画像に含まれるノイズが低減されている。なお、動き補償部１１６および画像重ね合わせ部１１７の詳細については後述する。
【００３０】
色差ＮＲ部１１８は、画像重ね合わせ部１１７から提供されたＮＲ画像を空間フィルタリングする。色差ＮＲ部１１８は、εフィルタを用いて、ＮＲ画像を空間フィルタリングしてもよい。空間フィルタリングによって、ＮＲ画像に含まれる低空間周波数のノイズ成分が除去されうる。色差ＮＲ部１１８は、ＮＲ画像のＹＣ信号に含まれる色差成分を空間フィルタリングしてもよい。色差ＮＲ部１１８は、動きベクトルの検出の過程で用いられる縮小面マッチング処理範囲の画像データを、動き補償部１１６から取得してもよい。色差ＮＲ部１１８から出力された画像信号は、メモリ１０３に一時的に格納されうる。なお、色差ＮＲ部１１８の詳細については後述する。
【００３１】
静止画コーデック１１９は、操作部１０２によって静止画撮影の指示が取得されている場合（静止画撮影時）に、ＮＲ処理後の画像信号をメモリ１０３から読み込み、例えばＪＰＥＧ（Joint Photographic Experts Group）などの所定の圧縮符号化様式で圧縮して、画像データとしてストレージ１０４に格納する。また、静止画コーデック１１９は、操作部１０２によって静止画再生の指示が取得されている場合（静止画再生時）に、画像データをストレージ１０４から読み込み、ＪＰＥＧなどの所定の圧縮符号化様式で伸張した画像信号をＮＴＳＣエンコーダ１２１に提供してもよい。
【００３２】
動画コーデック１２０は、操作部１０２によって動画撮影の指示が取得されている場合（動画撮影時）に、ＮＲ処理後の画像信号をメモリ１０３から読み込み、例えばＭＰＥＧ（Moving Picture Experts Group）などの所定の圧縮符号化様式で圧縮して、画像データとしてストレージ１０４に格納する。また、動画コーデック１２０は、操作部１０２によって動画再生の指示が取得されている場合（動画再生時）に、画像データをストレージ１０４から読み込み、ＭＰＥＧなど所定の圧縮符号化様式で伸張した画像信号をＮＴＳＣエンコーダ１２１に提供してもよい。
【００３３】
ＮＴＳＣ（National Television System Committee）エンコーダ１２１は、画像信号をＮＴＳＣ方式の標準カラー映像信号に変換して、ディスプレイ１２２に提供する。静止画撮影時または動画撮影時において、ＮＴＳＣエンコーダ１２１は、ＮＲ処理後の画像信号をメモリ１０３から読み込み、スルー画像または撮影された画像としてディスプレイ１２２に提供してもよい。また、静止画再生時または動画再生時において、ＮＴＳＣエンコーダ１２１は、静止画コーデック１１９または動画コーデック１２０から画像信号を取得し、再生画像としてディスプレイ１２２に提供してもよい。
【００３４】
ディスプレイ１２２は、ＮＴＳＣエンコーダ１２１から取得した映像信号を表示する。ディスプレイ１２２は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどでありうる。また、ＮＴＳＣエンコーダ１２１から出力される映像信号は、図示しないＨＤＭＩ（High-Definition Multimedia Interface）などの通信部によって、撮像装置１００から外部に出力されてもよい。
【００３５】
＜１−２．フレームＮＲ処理について＞
次に、本発明の第１の実施形態におけるフレームＮＲ処理について説明する。本実施形態に係る撮像装置１００において、フレームＮＲ処理は、主に、動き補償部１１６および画像重ね合わせ部１１７によって実行される。
【００３６】
上述のように、撮像装置１００においては、撮像素子１１３によるセンサーコーディングによって生成されたＲＡＷ信号が、ＲＡＷ／ＹＣ変換部１１５によってＹＣ信号に変換される。フレームＮＲは、ＲＡＷ信号に対して行われることが一般的である。しかし、ＲＡＷ信号に対するフレームＮＲでは、撮像装置１００の中で非常に大きなシステムリソースが使用される。そのため、本実施形態では、フレームＮＲをＹＣ信号に対して行うことによって、フレームＮＲで使用されるシステムリソースを抑制する。
【００３７】
図２は、本発明の第１の実施形態におけるフレームＮＲ処理の概念図である。図２を参照すると、本実施形態におけるフレームＮＲ処理では、連続して撮影された複数の画像Ｐ１〜Ｐ３が、位置合わせ（動き補償）後に重ね合わせられて、ノイズが低減された画像Ｐｍｉｘになる。なお、上述のように、連続して撮影された複数の画像を重ね合わせた場合にノイズが低減されるのは、略同一の画像が時間方向で積分され、各画像にランダムに含まれるノイズが相殺されるためである。
【００３８】
図示された例において、重ね合わせられる複数の画像Ｐ１〜Ｐ３は、必ずしも３枚の画像でなくてもよく、２枚または４枚以上の画像であってもよい。例えば、本実施形態に係る撮像装置１００が静止画を撮影する場合、高速で連続して撮影された複数枚の画像のうち、１枚目の画像がターゲット画像になり、このターゲット画像に２枚目以降の画像が参照画像として順次重ね合わせられうる。また、撮像装置１００が動画を撮影する場合、順次撮影される連続したフレームの画像がそれぞれターゲット画像になり、これらのターゲット画像に、それぞれのターゲット画像の１つ前のフレームの画像が参照画像として重ね合わせられうる。つまり、あるフレームの画像は、ターゲット画像にもなりうるし、別のフレームの画像をターゲット画像とした場合の参照画像にもなりうる。
【００３９】
このように、連続して撮影された画像を重ねあわせるフレームＮＲの処理では、重ね合わせられるターゲット画像と参照画像との間での位置合わせ（動き補償）が重要になる。これらの画像には、例えば撮影者の手ぶれなどによる画像の位置ずれが生じている場合がある。また、それぞれの画像において、被写体自体が動いたことによる位置ずれが生じている場合もある。そこで、本実施形態におけるフレームＮＲでは、ターゲット画像を分割して生成される複数個のターゲットブロックのそれぞれについて、ブロック単位の動きベクトルを検出する。さらに、各ブロックについて、ブロック単位の動きベクトルを反映した動き補償をしてから、ターゲット画像と参照画像とを重ね合わせる。
【００４０】
ここで、ブロック単位の動きベクトルを検出する処理では、ターゲット画像の各ブロック（ターゲットブロック）について、参照画像の各ブロック（参照ブロック）の中から相関性が最も高いブロック（動き補償ブロック）が探索されるブロックマッチング法が用いられる。ブロック単位の動きベクトルは、ターゲットブロックと動き補償ブロックとの間の位置ずれとして求められる。ターゲットブロックと参照ブロックとの間の相関性の高さは、例えば、双方のブロック内の各画素の輝度値の差分絶対値総和（ＳＡＤ：Sum of Absolute Difference）値によって評価されうる。
【００４１】
図３は、本発明の第１の実施形態における動きベクトル検出処理についての説明図である。図３を参照すると、本実施形態における動きベクトル検出処理では、まず縮小面における動きベクトルが検出され、その結果に基づいて、基底面における動きベクトルが検出される。
【００４２】
上述のようなブロック単位の動きベクトルを検出する処理では、最小のＳＡＤ値を示す参照ブロックが動き補償ブロックとして特定される。つまり、動き補償ブロックを特定するためには、参照ブロックの位置を順次移動させながら、最小のＳＡＤ値を示す参照ブロックを探索する必要がある。例えば、精度が１ピクセルである動きベクトルを検出しようとする場合、動き補償ブロックを１ピクセルの精度で特定する必要があり、従って、最小のＳＡＤ値を示す参照ブロックの探索においても、参照ブロックを１ピクセル単位で順次移動させる必要がある。
【００４３】
このような参照ブロックの探索を、ターゲット画像および参照画像に対してそのまま実行する場合、ＳＡＤ値を算出する回数が多くなり、処理負荷が増大する。そこで、本実施形態では、図示されている例のように、ターゲット画像および参照画像をそれぞれ縮小した画像（縮小面）を作成し、縮小面において動きベクトルを検出した結果に基づいて、縮小されていないターゲット画像および参照画像（基底面）において動きベクトルを検出する。
【００４４】
具体的には、まず、ターゲット画像および参照画像の水平方向および垂直方向がそれぞれ１／ｎ（ｎ＝２，３，・・・）に縮小されて、縮小面ターゲット画像および縮小面参照画像が作成される。これによって、基底面ターゲットブロック２０１と、基底面ターゲットブロック２０１の参照画像への射影イメージに基づいて設定されるサーチ範囲２０２およびマッチング処理範囲２０３とは、それぞれ１／ｎに縮小されて、縮小面ターゲットブロック３０１、縮小面サーチ範囲３０２、および縮小面マッチング処理範囲３０３になる。
【００４５】
次に、縮小面参照画像において、縮小面マッチング処理範囲３０３内に設定される複数個の縮小面参照ブロック３０４と、縮小面ターゲットブロック３０１との間のＳＡＤ値を算出することによって、縮小面参照ブロック３０４の中で縮小面ターゲットブロック３０１との相関性が最も高いブロックが、縮小面動き補償ブロックとして特定される。さらに、縮小面ターゲットブロック３０１と縮小面動き補償ブロックとの間の位置ずれが、縮小面動きベクトル３０５として取得される。
【００４６】
次に、基底面参照画像において、縮小面動きベクトル３０５をｎ倍した基底面仮動きベクトル２０５が定義される。さらに、基底面ターゲットブロック２０１の基底面参照画像への射影イメージから基底面仮動きベクトル２０５の分だけ移動した位置の近傍に、基底面サーチ範囲２０６および基底面マッチング処理範囲２０７が設定される。続いて、基底面マッチング処理範囲２０７内に設定される複数の基底面参照ブロック２０８と、基底面ターゲットブロック２０１との間のＳＡＤ値を算出することによって、基底面参照ブロック２０８の中で基底面ターゲットブロック２０１との相関性が最も高いブロックが、基底面動き補償ブロックとして特定される。さらに、基底面ターゲットブロック２０１と基底面動き補償ブロックとの間の位置ずれが、基底面動きベクトルとして取得される。
【００４７】
ここで、縮小面参照画像が基底面参照画像に比べて１／ｎに縮小されているため、縮小面動きベクトル３０５の精度は、基底面で同様の探索によって求められる動きベクトルの精度のｎ倍の低い精度になる。例えば、参照ブロックを１ピクセル単位で順次移動させて動き補償ブロックを探索して動きベクトルを得ようとする場合、基底面の探索で得られる動きベクトルの精度は１ピクセルになるが、縮小面の探索で得られる動きベクトルの精度はｎピクセルになる。
【００４８】
それゆえ、本実施形態では、縮小面の探索によって得られた縮小面動きベクトル３０５に基づいて、基底面参照画像において基底面サーチ範囲２０６および基底面マッチング処理範囲２０７が設定され、所望の精度での動き補償ブロック２０８および動きベクトルの探索が実行される。縮小面動きベクトル３０５によって、ｎ倍の低い精度ではあるものの、動き補償ブロック２０８が存在しうる範囲は特定されている。そのため、基底面の探索の範囲は、元のサーチ範囲２０２よりもずっと小さい基底面サーチ範囲２０６でよい。例えば、図示された例において、基底面の探索によって１ピクセル単位の動きベクトルを得ようとする場合、基底面サーチ範囲２０６は、水平方向および垂直方向がいずれもｎピクセルの範囲でありうる。
【００４９】
本実施形態における動きベクトル検出処理では、元のサーチ範囲２０２の全体における動き補償ブロックの探索が、縮小面サーチ範囲３０２における探索に置き換えられる。これによって、参照ブロックのＳＡＤ値を算出する回数が、ターゲット画像および参照画像に対してそのまま実行する場合に比べて例えば１／ｎに削減される。また、本実施形態における動きベクトル検出処理では、基底面サーチ範囲２０６における追加の探索が実行されるが、基底面サーチ範囲２０６は、元のサーチ範囲２０２よりもずっと小さい範囲であるため、この追加の探索において参照ブロックのＳＡＤ値を算出する回数は多くない。従って、本実施形態における動きベクトル検出処理では、ターゲット画像および参照画像に対してそのまま実行する場合に比べて処理負荷が軽減される。
【００５０】
以上説明したように、本実施形態におけるフレームＮＲ処理では、連続して撮影された複数の画像を動き補償後に重ね合わせることによって、画像のノイズが低減される。動き補償のための動きベクトルの検出では、基底面を縮小した縮小面を用いた探索によって、より少ない負荷で処理が実行される。
【００５１】
（空間フィルタリングによるＮＲの利点）
しかしながら、上述のように、画像に含まれるノイズは、必ずしもすべてがランダムノイズではなく、各画像に固定したパターンとして含まれるノイズもある。このような固定パターンノイズは、例えばセンサ特性やレンズ特性の偏りのために生じるものであり、低空間周波数のノイズ成分である。このような固定パターンノイズは、連続して撮影された画像を時間方向に積分しても相殺されないため、フレームＮＲによって低減することが難しい。
【００５２】
人間の視覚特性として、輝度の低空間周波数ノイズ成分には敏感ではないが、色差の低空間周波数ノイズ成分には敏感であるという特性がある。それゆえ、固定パターンノイズがフレームＮＲによって低減されずに残った場合、輝度のノイズは目立たないものの、色差のノイズが目立って観察される。そこで、例えばローパスフィルタ、バンドパスフィルタ、またはεフィルタのような空間フィルタリングによって、固定パターンノイズを除去することが考えられる。
【００５３】
しかし、空間フィルタリングは、多かれ少なかれ解像度の低下を伴う。人間の視覚特性として、輝度の解像度に対しては敏感であるが、色差の解像度には敏感ではないという特性がある。それゆえ、ＲＡＷ信号を空間フィルタリングなどによって輝度および色差ともに解像度が低下した場合、空間フィルタリング後の画像では、特に輝度の解像度が低下したことによって、解像度の低下が目立って観察される。
【００５４】
そこで、本実施形態では、輝度成分と色差成分とが分離して含まれるＹＣ信号を空間フィルタリングすることによって、輝度成分については空間フィルタリングをせず、色差成分について空間フィルタリングする。この場合、色差の解像度は低下するものの、輝度の解像度は低下しない。上述のように、人間の視覚特性として、輝度の解像度に対しては敏感であるが、色差の解像度には敏感ではないという特性があるため、本実施形態による空間フィルタリング後の画像では、解像度の低下が目立って観察されない。
【００５５】
以上で説明した、本実施形態における空間フィルタリングの構成に関連する人間の視覚特性を、表１にまとめて示す。
【００５６】
【表１】
【００５７】
本実施形態のように、フレームＮＲと空間フィルタリングとを組み合わせて画像のノイズを低減する場合、フレームＮＲでは空間周波数帯域全体のランダムノイズを低減し、空間フィルタリングでは低空間周波数の固定パターンノイズを低減する。この場合、空間フィルタリングを行うタイミングとしては、フレームＮＲの前、フレームＮＲの後、またはフレームＮＲと同時、が考えられる。
【００５８】
本実施形態では、動き補償部１１６および画像重ね合わせ部１１７によるフレームＮＲの後に、色差ＮＲ部１１８によって空間フィルタリングを行う。これは、固定パターンノイズは、連続して撮影された画像がフレームＮＲにおいて時間方向に積分されることによってむしろ顕在化する場合があり、顕在化した固定パターンノイズは空間フィルタリングによって除去することが比較的容易であるためである。また、例えばεフィルタのような、閾値を設定して用いられるフィルタを空間フィルタリングに用いる場合、予めフレームＮＲによって高空間周波数のランダムノイズが除去されていれば、空間フィルタリングにおける閾値の設定が容易になるためである。
【００５９】
＜１−３．フレームＮＲ処理および色差ＮＲ処理の詳細＞
次に、本発明の第１の実施形態におけるフレームＮＲ処理および色差ＮＲ処理の詳細について、動き補償部１１６、画像重ね合わせ部１１７、および色差ＮＲ部１１８の機能の詳細とともに説明する。
【００６０】
（動き補償部の詳細）
図４は、本発明の第１の実施形態に係る撮像装置１００における動き補償部１１６の機能構成を示すブロック図である。図４を参照すると、動き補償部１１６は、ターゲットブロックバッファ部１６１、参照ブロックバッファ部１６２、マッチング処理部１６３、動きベクトル算出部１６４、およびコントロール部１６５を含む。これらの各部を含む動き補償部１１６は、例えばＤＳＰを用いて実現されうる。
【００６１】
ここで、図５を参照して、ターゲットブロックバッファ部１６１について説明する。図５は、本発明の第１の実施形態に係る撮像装置１００において動き補償部１１６に含まれるターゲットブロックバッファ部１６１の機能構成を示すブロック図である。図５を参照すると、ターゲットブロックバッファ部１６１は、基底面バッファ部１６１１、縮小面バッファ部１６１２、および縮小化処理部１６１３を含む。
【００６２】
ターゲットブロックバッファ部１６１は、メモリ１０３、またはＲＡＷ／ＹＣ変換部１１５から提供される基底面ターゲットブロック２０１または縮小面ターゲットブロック３０１の画素データを取得する。これらの画素データの取得元は、セレクタ１６１４によって切り替えられうる。例えば、ターゲットブロックバッファ部１６１は、静止画撮影時にはメモリ１０３から画素データを取得し、動画撮影時にはＲＡＷ／ＹＣ変換部１１５から画素データを取得してもよい。なお、ここで取得される縮小面ターゲットブロック３０１の画素データは、後述する画像重ね合わせ部１１７に含まれる縮小面生成部１７４、または、ＲＡＷ／ＹＣ変換部１１５によって生成され、メモリ１０３に格納されたものでありうる。
【００６３】
ターゲットブロックバッファ部１６１は、基底面バッファ部１６１１において、基底面ターゲットブロック２０１の画素データを蓄積する。また、ターゲットブロックバッファ部１６１は、縮小面バッファ部１６１２において、縮小面ターゲットブロック３０１の画素データを蓄積する。例えば、動画撮影時に、ＲＡＷ／ＹＣ変換部１１５から取得される画素データに縮小面ターゲットブロック３０１の画素データが含まれないような場合、ターゲットブロックバッファ部１６１は、縮小化処理部１６１３を用いて、基底面ターゲットブロック２０１の画素データから縮小面ターゲットブロック３０１の画素データを生成する。縮小化処理部１６１３を用いるか否かは、セレクタ１６１５によって切り替えられうる。
【００６４】
ターゲットブロックバッファ部１６１は、画像重ね合わせ部１１７、およびマッチング処理部１６３に、基底面ターゲットブロック２０１または縮小面ターゲットブロック３０１の画素データを提供する。画像重ね合わせ部１１７には、基底面バッファ部１６１１に蓄積された基底面ターゲットブロック２０１の画素データが提供される。マッチング処理部１６３には、縮小面でのブロックマッチング処理時は縮小面バッファ部１６１２に蓄積された縮小面ターゲットブロック３０１の画素データが、基底面でのブロックマッチング処理時には基底面バッファ部１６１１に蓄積された基底面ターゲットブロック２０１の画素データが、それぞれ提供される。マッチング処理部１６３に提供される画素データは、セレクタ１６１６によって切り替えられうる。
【００６５】
続いて、図６を参照して、参照ブロックバッファ部１６２について説明する。図６は、本発明の第１の実施形態に係る撮像装置１００において動き補償部１１６に含まれる参照ブロックバッファ部１６２の機能構成を示すブロック図である。図６を参照すると、参照ブロックバッファ部１６２は、基底面バッファ部１６２１、および縮小面バッファ部１６２２を含む。
【００６６】
参照ブロックバッファ部１６２は、メモリ１０３から、縮小面マッチング処理範囲３０３および基底面マッチング処理範囲２０７の画素データを取得する。取得された縮小面マッチング処理範囲３０３および基底面マッチング処理範囲２０７の画素データは、それぞれ基底面バッファ部１６２１および縮小面バッファ部１６２２に蓄積される。
【００６７】
また、参照ブロックバッファ部１６２は、画像重ね合わせ部１１７、およびマッチング処理部１６３に、基底面または縮小面の参照ブロックの画素データを提供する。画像重ね合わせ部１１７には、基底面バッファ部１６２１に蓄積された基底面マッチング処理範囲２０７の画素データのうち、動き補償ブロックとして特定された範囲の画素データが提供される。マッチング処理部１６３には、縮小面でのブロックマッチング処理時は、縮小面バッファ部１６２２に蓄積された縮小面マッチング処理範囲３０３の画素データのうち、ブロックマッチング処理で用いられる縮小面参照ブロックの画素データが提供される。また、基底面でのブロックマッチング処理時は、基底面バッファ部１６２１に蓄積された基底面マッチング処理範囲２０７の画素データのうち、ブロックマッチング処理で用いられる基底面参照ブロックの画素データが提供される。なお、マッチング処理部１６３に提供される画素データは、セレクタ１６２３によって切り替えられる。
【００６８】
さらに、参照ブロックバッファ部１６２は、色差ＮＲ部１１８に、縮小面バッファ部１６２２に蓄積された縮小面マッチング処理範囲３０３の画素データを提供してもよい。後述するように、ここで提供される縮小面マッチング処理範囲３０３の画素データは、色差ＮＲ部１１８において、空間フィルタリング処理のウインドウとして利用されうる。
【００６９】
再び図４を参照する。マッチング処理部１６３は、ターゲットブロックと参照ブロックとの間の相関の強さを検出するブロックマッチングの処理を実行する。ターゲットブロックと参照ブロックとの間の相関の強さは、例えば、各画素の輝度信号のＳＡＤ値を用いて評価されうる。ターゲットブロックと参照ブロックとの間の相関の強さは、各画素の色差信号などの他の情報を用いて評価されてもよい。また、演算量の削減のために、演算の対象とする画素が間引かれてもよい。
【００７０】
動きベクトル算出部１６４は、マッチング処理部１６３におけるブロックマッチングの処理結果に基づいて、動きベクトルを取得する。動きベクトル算出部１６４は、例えば、マッチング処理部１６３によって算出されたＳＡＤ値の最小値を検出および保持し、さらに、ＳＡＤ値が最小である参照ブロックの近傍の複数の参照ブロックのＳＡＤ値を保持して、二次曲線近似補間処理によって、サブピクセル精度の高精度の動きベクトルを検出してもよい。
【００７１】
コントロール部１６５は、動き補償部１１６の各部を制御する。コントロール部１６５は、例えば、ターゲットブロックバッファ部１６１に含まれるセレクタ１６１４〜１６１６、および参照ブロックバッファ部１６２に含まれるセレクタ１６２３を制御する。また、コントロール部１６５は、ターゲットブロックバッファ部１６１および参照ブロックバッファ部１６２によって提供される画素データに応じて、縮小面または基底面でのブロックマッチング処理を実行するようにマッチング処理部１６３を制御してもよい。さらに、コントロール部１６５は、動きベクトル算出部１６４によって算出された動きベクトルを取得し、この動きベクトルに基づいて、動き補償ブロックを画像重ね合わせ部１１７に提供するように参照ブロックバッファ部１６２を制御してもよい。
【００７２】
（画像重ね合わせ部の詳細）
図７は、本発明の第１の実施形態に係る撮像装置１００における画像重ね合わせ部１１７の機能構成を示すブロック図である。図７を参照すると、画像重ね合わせ部１１７は、加算率計算部１７１、加算部１７２、基底面出力バッファ部１７３、縮小面生成部１７４、および縮小面出力バッファ部１７５を含む。これらの各部を含む画像重ね合わせ部１１７は、例えばＤＳＰを用いて実現されうる。
【００７３】
加算率計算部１７１は、動き補償部１１６から、基底面ターゲットブロックおよび動き補償ブロックの画素データを取得し、これらのブロックの加算率を算出する。基底面ターゲットブロック２０１と動き補償ブロック２０８とは、例えば、単純加算方式または平均加算方式などの加算方式によって加算されうる。加算率計算部１７１は、これらの加算方式に応じて加算率を算出しうる。加算率計算部１７１は、算出した加算率と、基底面ターゲットブロック２０１および動き補償ブロック２０８の画素データとを、加算部１７２に提供する。
【００７４】
加算部１７２は、加算率計算部１７１から、基底面ターゲットブロックおよび動き補償ブロックの画素データと、これらのブロックの加算率とを取得する。加算部１７２は、基底面ターゲットブロックの画素データと動き補償ブロックの画素データとを、取得した加算率で加算し、フレームＮＲの効果によってノイズが低減された基底面ＮＲブロックを生成する。加算部１７２は、基底面ＮＲブロックの画素データを、基底面出力バッファ部１７３および縮小面生成部１７４に提供する。
【００７５】
基底面出力バッファ部１７３は、加算部１７２から提供された基底面ＮＲブロックの画素データを蓄積し、基底面ＮＲ画像として色差ＮＲ部１１８に提供する。
【００７６】
縮小面生成部１７４は、加算部１７２から提供された基底面ＮＲブロックの画素データを縮小して、縮小面ＮＲブロックの画素データを生成する。縮小面生成部１７４は、縮小面ＮＲブロックの画素データを、縮小面出力バッファ部１７５に提供する。
【００７７】
縮小面出力バッファ部１７５は、縮小面生成部１７４から提供された縮小面ＮＲブロックの画素データを蓄積し、縮小面ＮＲ画像としてメモリ１０３に格納する。ここでメモリ１０３に格納された縮小面ＮＲ画像は、例えば、静止画撮影時に、フレームＮＲ後のターゲット画像にさらに参照画像を重ね合わせる場合、縮小面ターゲット画像として用いられうる。また、ここでメモリ１０３に格納された縮小面ＮＲ画像は、動画撮影時に、次のフレームをターゲット画像としてフレームＮＲを実行する場合、縮小面参照画像として用いられうる。
【００７８】
（色差ＮＲ部の詳細）
図８は、本発明の第１の実施形態に係る撮像装置１００における色差ＮＲ部１１８ａの機能構成を示すブロック図である。図８を参照すると、色差ＮＲ部１１８ａは、遅延バッファ１８１、εフィルタ１８２、および色差信号処理部１８３を含む。これらの各部を含む色差ＮＲ部１１８ａは、例えばＤＳＰを用いて実現されうる。
【００７９】
色差ＮＲ部１１８ａは、画像重ね合わせ部１１７から、フレームＮＲ後の基底面ＮＲ画像の画素データを取得する。この基底面ＮＲ画像の画素データは、輝度成分（Ｙ）と色差成分（Ｃ）とを含むＹＣ信号である。基底面ＮＲ画像の画素データは、一方では遅延バッファ１８１に入力され、他方では１／ｎに縮小される。１／ｎに縮小されたＮＲ画像の画素データから、所定のサイズの縮小面ターゲット画が生成され、εフィルタ１８２に入力される。
【００８０】
また、色差ＮＲ部１１８ａは、動き補償部１１６から、縮小面マッチング処理範囲の画素データを取得する。この縮小面マッチング処理範囲の画素データも、輝度成分（Ｙ）と色差成分（Ｃ）とを含むＹＣ信号である。縮小面マッチング処理範囲の画素データは、縮小面ウインドウとしてεフィルタ１８２に入力される。
【００８１】
εフィルタ１８２では、入力されたＹＣ信号に含まれる色差成分（Ｃ）について、空間フィルタリング処理が実行される。ここで、εフィルタは、注目画素とその周辺画素との画素値の差分が所定の閾値以下である場合に、注目画素と周辺画素との画素値の加算平均で注目画素の画素値を置き換える空間フィルタである。なお、かかるεフィルタについては、例えば特開２００５−３１１４５５号公報において詳述されている。
【００８２】
また、εフィルタ１８２に代えて、例えばローパスフィルタまたはバンドパスフィルタのような空間フィルタを用いることも可能である。しかし、本実施形態では、空間フィルタリングの対象となる基底面ＮＲ画像において、既にフレームＮＲによってランダムノイズが低減されているため、閾値を用いて孤立点を除去するεフィルタを用いることが有効である。
【００８３】
また、εフィルタ１８２は、上述のように、フレームＮＲによって低減することが難しい、低空間周波数の固定パターンノイズを除去するために用いられる。従って、εフィルタ１８２は、タップ数が大きいεフィルタであることが望ましい。タップ数が大きいεフィルタは、低空間周波数のノイズの除去において有効である反面、閾値の設定が高すぎる場合には、画像のテクスチャ成分をも除去してしまうという弊害を生じる。本実施形態では、空間フィルタリングの対象となる基底面ＮＲ画像において、既にフレームＮＲによってランダムノイズが低減されている。それゆえ、εフィルタ１８２では、閾値を比較的低く設定することが可能である。つまり、本実施形態では、εフィルタ１８２としてタップ数が大きいεフィルタを用いても、画像のテクスチャ成分が除去されるなどの弊害が生じるおそれは少ない。
【００８４】
本実施形態のように、タップ数が大きいεフィルタによる空間フィルタリングを、フレームＮＲの後に行うことの利点について、図９を参照してさらに説明する。図９は、タップ数が大きい（高Ｔａｐの）εフィルタによる空間フィルタリングが、フレームＮＲの後に行われる場合とそうでない場合とを比較する模式図である。図９を参照すると、入力データの画像信号にフレームＮＲが加えられると、ノイズが低減されるため、フレームＮＲが加えられない場合に比べてεフィルタの閾値を小さく設定できることが示されている。
【００８５】
εフィルタ１８２において色差成分が空間フィルタリングされた画像信号は、ｎ倍に拡大されて、色差信号処理部１８３に入力される。画像のサイズを１／ｎに縮小した状態でεフィルタ１８２によって空間フィルタリングし、その後ｎ倍に拡大して元のサイズに戻すことによって、ウインドウサイズが限られているεフィルタ１８２を用いて、より広い範囲の低空間周波数ノイズを除去することが可能になる。
【００８６】
一方、遅延バッファ１８１に入力された基底面ＮＲ画像の画素データは、εフィルタ１８２による空間フィルタリングの処理の分だけ遅延されて色差信号処理部１８３に入力される。色差信号処理部１８３では、εフィルタにおいて空間フィルタリングされた色差成分（ＣＣＮＲ）が、基底面ＮＲ画像のＹＣ信号のうちの色差成分（ＣＦＮＲ）に混合される。例えば、混合後の基底面ＮＲ画像の色差成分（Ｃ）は、係数ａを用いて
Ｃ＝ａ×ＣＣＮＲ＋（１−ａ）×ＣＦＮＲ
と表されうる。ａ＝１の場合、基底面ＮＲ画像の色差成分（ＣＦＮＲ）は、εフィルタによって空間フィルタリングされた色差成分（ＣＣＮＲ）によって置き換えられる。色差信号処理部１８３から出力された基底面ＮＲ画像の画素データは、メモリ１０３に格納される。
【００８７】
（参照画像のデータを用いる利点）
本実施形態における色差ＮＲ部１１８ａでは、εフィルタ１８２において用いられる縮小面ウインドウとして、動き補償部１１６から提供された縮小面マッチング処理範囲の画素データが用いられる。上述のように、この縮小面マッチング処理範囲の画素データは、動き補償部１１６におけるブロックマッチング処理のために、メモリ１０３に格納された縮小面参照画像から取得される。ここで、上述のように、フレームＮＲにおける参照画像は、ターゲット画像の前または後に連続して撮影された画像である。つまり、本実施形態における色差ＮＲ部１１８ａでは、εフィルタ１８２において用いられる縮小面ウインドウとして、縮小面ターゲット画とは異なるフレームの画像が用いられる。
【００８８】
かかる構成は、本実施形態におけるεフィルタ１８２が、１／ｎに縮小された画像を対象として空間フィルタリングを実行するために可能になる。これは、εフィルタ１８２において用いられる縮小面ターゲット画と縮小面ウインドウとの間にフレームが異なることによる微小な変化があったとしても、その変化はさらに１／ｎに縮小されるため、空間フィルタリングへの影響が無視しうる程度に小さくなるためである。
【００８９】
このように、色差ＮＲ部１１８ａにおいて、動き補償部１１６から提供される参照画像のデータを用いる利点について、図１０を参照してさらに説明する。図１０は、動き補償部１１６から提供される参照画像のデータを用いない色差ＮＲ部１１８ｂの機能構成を示すブロック図である。
【００９０】
色差ＮＲ部１１８ｂの構成は、色差ＮＲ部１１８ａと略同一であるが、εフィルタ１８２に入力される縮小面ウインドウが、基底面ＮＲ画像の画素データを１／ｎに縮小することによって生成される点が異なる。色差ＮＲ部１１８ｂでは、縮小面ターゲット画を生成する縮小処理に加えて、縮小面ターゲット画よりもずっと大きなサイズの縮小面ウインドウを生成する縮小処理が行われる。画像の縮小処理では、生成する画像のサイズが大きくなるほど、大量のデータを保持しなくてはならず、多くのシステムリソースが使用される。従って、色差ＮＲ部１１８ｂにおいて使用されるシステムリソースは、色差ＮＲ部１１８ａにおいて使用されるシステムリソースよりもずっと多くなる。
【００９１】
色差ＮＲ部１１８ｂの構成によっても、フレームＮＲによって低減されなかった固定パターンノイズを除去することは可能である。しかし、色差ＮＲ部１１８ａの構成のように、εフィルタのウインドウとして動き補償部１１６から提供される参照画像のデータを用いることによって、システムリソースの使用を抑制しつつ、εフィルタのウインドウサイズを大きくして、広い範囲の低空間周波数ノイズを効果的に除去することが可能になる。
【００９２】
なお、動き補償のために用いられた参照画像のデータを、空間フィルタリングの検索ウインドウとして用いる構成は、参照画像がフレームＮＲに用いられるか否かに関わらず適用されうる。つまり、本実施形態における動き補償部１１６および画像重ね合わせ部１１７のような構成要素が含まれない場合でも、上記の構成を適用することが可能である。また、空間フィルタリングの種類も、εフィルタには限られず、ローパスフィルタまたはバンドパスフィルタなど、検索ウインドウが用いられるあらゆる種類の空間フィルタリングが行われる場合において、上記の構成は適用されうる。
【００９３】
（フレームＮＲ処理および色差ＮＲ処理についてのまとめ）
図１１を参照して、本実施形態におけるフレームＮＲ処理および色差ＮＲ処理についてまとめる。図１１は、本発明の第１の実施形態におけるフレームＮＲ処理および色差ＮＲ処理を示すフローチャートである。
【００９４】
まず、動き補償部１１６において、縮小面、基底面の２階層を用いた探索によって、ブロック単位の動きベクトルが検出される（ステップＳ１０１）。次に、検出された動きベクトルに基づいて、動き補償ブロックが取得される（ステップＳ１０３）。さらに、画像重ね合わせ部１１７において、ターゲットブロックと動き補償ブロックとの加算率が計算され（ステップＳ１０５）、加算率に基づいてターゲットブロックと動き補償ブロックとが重ね合わせられる（ステップＳ１０７）。ここまでの処理で、ターゲット画像と参照画像とを動き補償して重ね合わせるフレームＮＲの処理が実行され、ノイズが低減されたＮＲ画像が得られる。
【００９５】
続いて、色差ＮＲ部１１８において、ＮＲ画像の画像信号のうち、色差成分（Ｃ）がεフィルタによって空間フィルタリングされる（ステップＳ１０９）。さらに、ＮＲ画像の画像信号のうち、輝度成分（Ｙ）を変更せずに、色差成分（Ｃ）がステップＳ１０９における空間フィルタリング後の色差成分（Ｃ）と混合される（ステップＳ１１１）。以上の処理によって、フレームＮＲによっては低減することが難しい低空間周波数の固定パターンノイズが除去され、結果として、フレームＮＲの効果を補完したより高いＮＲ効果が得られる。
【００９６】
＜２．第２の実施形態＞
続いて、図１２を参照して、本発明の第２の実施形態について説明する。なお、この第２の実施形態は、上述した第１の実施形態と比べて、色差ＮＲ部１１８の構成において相違するが、その他の構成については略同一であるため、詳細説明を省略する。
【００９７】
図１２は、本発明の第２の実施形態に係る撮像装置１００における色差ＮＲ部１１８ｃの機能構成を示すブロック図である。図１２を参照すると、色差ＮＲ部１１８ｃは、遅延バッファ１８１、εフィルタ１８２、および色差信号処理部１８３を含む。これらの各部を含む色差ＮＲ部１１８ｃは、例えばＤＳＰを用いて実現されうる。
【００９８】
本実施形態の色差ＮＲ部１１８ｃは、縮小面ウインドウに加えて、縮小面ターゲット画も、動き補償部１１６によって提供される縮小面マッチング処理範囲の画素データから取得されるという点において、第１の実施形態における色差ＮＲ部１１８ａとは異なる。色差ＮＲ部１１８ｃにおいて、画像重ね合わせ部１１７によって提供されるフレームＮＲ後の基底面ＮＲ画像の画素データは、遅延バッファ１８１に入力されるが、εフィルタで用いるターゲット画および検索ウインドウの生成には用いられない。
【００９９】
このような色差ＮＲ部１１８ｃの構成によれば、εフィルタ１８２において用いられるターゲット画と検索ウインドウとが同じフレームの画像になる。そのため、ターゲット画像と参照画像の間で画像が大きく変化している場合などに、εフィルタ１８２での空間フィルタリングが受ける影響を軽減することが可能である。
【０１００】
＜３．まとめ＞
本発明の実施形態において、画像処理装置は、ターゲット画像と参照画像との間の動きを補償する動き補償部と、動きが補償されたターゲット画像と参照画像とを重ね合わせることによって重ね合わせ画像を生成する画像重ね合わせ部と、重ね合わせ画像を空間フィルタリングする空間フィルタリング部とを含む。かかる構成によれば、画像を重ね合わせるフレームＮＲの処理によって低減することが難しいノイズを、空間フィルタリングによって除去ずることができ、画像の重ね合わせによるノイズ低減処理の効果をより高めることができる。
【０１０１】
空間フィルタリング部は、εフィルタを用いて重ね合わせ画像を空間フィルタリングしてもよい。かかる構成によれば、εフィルタによる閾値を用いた孤立点除去の作用によって、フレームＮＲの処理で低減されなかったノイズを効果的に除去することができる。また、フレームＮＲの後にεフィルタを用いることで、εフィルタの閾値を低く設定することができ、εフィルタの閾値の設定が容易になる。
【０１０２】
空間フィルタリング部は、重ね合わせ画像を縮小して空間フィルタリングしてもよい。かかる構成によれば、ウインドウサイズが限られているεフィルタを用いて、より広い範囲の低空間周波数ノイズを除去することができ、εフィルタの空間フィルタリング効果を高めることができる。
【０１０３】
重ね合わせ画像の画像信号は、輝度成分と色差成分とを含む画像信号であり、空間フィルタリング部は、色差成分を空間フィルタリングしてもよい。かかる構成によれば、輝度成分の解像度が空間フィルタリングによって低下することを防ぎ、空間フィルタリングによる解像度の低下が知覚されにくくすることができる。
【０１０４】
ターゲット画像および参照画像の画像信号は、輝度成分と色差成分とを含む画像信号であってもよい。かかる構成によれば、画像の重ね合わせのために使用されるシステムリソースの増大を抑制することができる。
【０１０５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１０６】
例えば、上記実施形態では、画像処理装置として撮像装置を例示したが、本発明はかかる例に限定されない。例えば、画像処理装置は、保存されている画像データを加工するために用いられる独立した装置であってもよく、また、画像データを加工するアプリケーションとしてＰＣ（Personal Computer）などの情報処理装置に組み込まれていてもよい。
【０１０７】
また、上記実施形態では、画像処理装置の動き補償部、画像重ね合わせ部および色差ＮＲ部の機能がＤＳＰを用いて実現される場合を例示したが、本発明はかかる例に限定されない。例えば、これらの各部の機能は、専用のハードウェアによって実現されてもよく、またＣＰＵを用いてソフトウェアとして実現されてもよい。
【符号の説明】
【０１０８】
１００ 撮像装置
１０３ メモリ
１１６ 動き補償部
１１７ 画像重ね合わせ部
１１８ 色差ＮＲ部
１８２ εフィルタ
２０１ 基底面ターゲットブロック
２０８ 基底面参照ブロック
３０１ 縮小面ターゲットブロック
３０２ 縮小面サーチ範囲
３０３ 縮小面マッチング処理範囲
３０４ 縮小面参照ブロック
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、画像に含まれるノイズを低減する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
画像の撮影において、連続して撮影された複数の画像（フレーム）を重ね合わせて、ノイズが低減された画像を得る技術が知られている。例えば、処理対象となる画像（ターゲット画像）に、ターゲット画像の前または後に連続して撮影され、動き検出および動き補償によって位置合わせされた複数の画像（参照画像）を重ね合わせた場合、略同一の画像が時間方向で積分されることになるため、各画像にランダムに含まれるノイズが相殺され、結果としてノイズが低減される。以下、このような方法によるノイズ低減（ＮＲ：Noise Reduction）を、フレームＮＲという。
【０００３】
このようなフレームＮＲの利点として、空間周波数に関係なくノイズを低減できるということがある。例えば、空間フィルタを用いたＮＲでは、高周波成分からなるノイズと被写体のエッジとを区別することが難しいのに対し、フレームＮＲでは、被写体のエッジを残しつつ、高周波成分からなるノイズを低減することが可能である（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−８１５９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、画像に含まれるノイズは、必ずしもすべてがランダムノイズではない。ノイズの中には、例えば、センサ特性やレンズ特性の偏りのために、各画像に固定したパターンとして含まれるノイズもある。このような固定パターンノイズは、各画像を時間方向に積分しても相殺されず、それゆえフレームＮＲによって低減することが難しい。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像の重ね合わせによるノイズ低減処理の効果をより高めることが可能な、新規かつ改良された画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、ターゲット画像と参照画像との間の動きを補償する動き補償部と、動きが補償された上記ターゲット画像と上記参照画像とを重ね合わせることによって重ね合わせ画像を生成する画像重ね合わせ部と、上記重ね合わせ画像を空間フィルタリングする空間フィルタリング部とを備える画像処理装置が提供される。
【０００８】
上記空間フィルタリング部は、εフィルタを用いて上記重ね合わせ画像を空間フィルタリングしてもよい。
【０００９】
上記空間フィルタリング部は、上記重ね合わせ画像を縮小して空間フィルタリングしてもよい。
【００１０】
上記重ね合わせ画像の画像信号は、輝度成分と色差成分とを含む画像信号であり、上記空間フィルタリング部は、上記色差成分を空間フィルタリングしてもよい。
【００１１】
上記ターゲット画像および上記参照画像の画像信号は、輝度成分と色差成分とを含む画像信号であってもよい。
【００１２】
また、上記課題を解決するために、本発明の別の観点によれば、ターゲット画像と参照画像との間の動きを補償することと、動きが補償された上記ターゲット画像と上記参照画像とを重ね合わせることによって重ね合わせ画像を生成することと、上記重ね合わせ画像を空間フィルタリングすることとを含む画像処理方法が提供される。
【発明の効果】
【００１３】
以上説明したように本発明によれば、画像の重ね合わせによるノイズ低減処理の効果をより高めることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る撮像装置の機能構成を示すブロック図である。
【図２】本発明の第１の実施形態におけるフレームＮＲ処理の概念図である。
【図３】本発明の第１の実施形態における動きベクトル検出処理についての説明図である。
【図４】本発明の第１の実施形態に係る撮像装置における動き補償部の機能構成を示すブロック図である。
【図５】本発明の第１の実施形態に係る撮像装置において動き補償部に含まれるターゲットブロックバッファ部の機能構成を示すブロック図である。
【図６】本発明の第１の実施形態に係る撮像装置において動き補償部に含まれる参照ブロックバッファ部の機能構成を示すブロック図である
【図７】本発明の第１の実施形態に係る撮像装置における画像重ね合わせ部の機能構成を示すブロック図である。
【図８】本発明の第１の実施形態に係る撮像装置における色差ＮＲ部の機能構成を示すブロック図である。
【図９】タップ数が大きいεフィルタによる空間フィルタリングがフレームＮＲの後に行われる場合とそうでない場合とを比較する模式図である。
【図１０】動き補償部から提供される参照画像のデータを用いない色差ＮＲ部の機能構成を示すブロック図である。
【図１１】本発明の第１の実施形態におけるフレームＮＲ処理および色差ＮＲ処理を示すフローチャートである。
【図１２】本発明の第２の実施形態に係る撮像装置における色差ＮＲ部の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．撮像装置の全体構成
１−２．フレームＮＲ処理について
１−３．フレームＮＲ処理および色差ＮＲ処理の詳細
２．第２の実施形態
３．まとめ
【００１７】
＜１．第１の実施形態＞
＜１−１．撮像装置の全体構成＞
まず、本発明の第１の実施形態に係る撮像装置の構成について説明する。本発明の第１の実施形態において、画像処理装置は撮像装置であり、加算部は画像重ね合わせ部であり、空間フィルタリング部は色差ＮＲ部である。
【００１８】
図１は、本発明の第１の実施形態に係る撮像装置１００の機能構成を示すブロック図である。撮像装置１００は、静止画または動画を撮像してデジタル方式の画像データとして記録媒体に記録する機能を有する、例えばデジタルカメラなどの任意の電子機器でありうる。
【００１９】
図１を参照すると、撮像装置１００は、制御部１０１、操作部１０２、メモリ１０３、ストレージ１０４、撮像光学系１１１、タイミングジェネレータ１１２、撮像素子１１３、信号処理部１１４、ＲＡＷ／ＹＣ変換部１１５、動き補償部１１６、画像重ね合わせ部１１７、色差ＮＲ部１１８、静止画コーデック１１９、動画コーデック１２０、ＮＴＳＣエンコーダ１２１、およびディスプレイ１２２を含む。これらの各構成要素は、システムバス１２５を介して相互に接続される。
【００２０】
制御部１０１は、撮像装置１００の各部の動作を制御する。制御部１０１は、メモリ１０３に格納されたプログラムに基づいて動作することによって、制御のために必要な各種の演算処理を実行するＣＰＵ（Central Processing Unit）でありうる。制御部１０１は、演算処理のための一時格納領域としてメモリ１０３を用いてもよい。なお、制御部１０１が動作するためのプログラムは、メモリ１０３に予め書き込まれたものであってもよく、ディスク状記録媒体またはメモリカードなどのリムーバブル記憶媒体に格納されて撮像装置１００に提供されるものであってもよい。また、制御部１０１が動作するためのプログラムは、ＬＡＮ（Local Area Network）、インターネット等のネットワークを介して撮像装置１００にダウンロードされるものであってもよい。
【００２１】
操作部１０２は、撮像装置１００を操作するためのユーザインターフェースとして機能する、操作部１０２は、例えば、撮像装置１００の外装に設けられたシャッターボタンなどの操作ボタン、タッチパネル、またはリモートコントローラなどでありうる。操作部１０２は、ユーザの操作に基づいて、撮像装置１００の起動および停止、静止画もしくは動画の撮影開始および終了、または撮像装置１００の各種機能の設定などの操作信号を制御部１０１に出力しうる。
【００２２】
メモリ１０３には、撮像装置１００の処理に関するデータが格納される。メモリ１０３は、例えば、フラッシュＲＯＭ（Read Only Memory）またはＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリでありうる。メモリ１０３には、例えば、制御部１０１が用いるプログラム、および画像処理機能によって処理される画像信号が、一時的または継続的に格納されうる。メモリ１０３に格納される画像信号は、例えば、後述する基底面および縮小面のターゲット画像、参照画像、およびＮＲ画像でありうる。
【００２３】
ストレージ１０４には、撮像装置１００によって撮影された画像が、画像データとして格納される。ストレージ１０４は、例えば、フラッシュＲＯＭなどの半導体メモリ、ＢＤ（Blu-ray Disc）、ＤＶＤ（Digital Versatile Disc）、もしくはＣＤ（Compact Disc）などの光ディスク、またはハードディスクなどでありうる。ストレージ１０４は、撮像装置１００に内蔵される記憶装置であってもよく、メモリカードなどの撮像装置１００に着脱可能なリムーバブルメディアであってもよい。
【００２４】
撮像光学系１１１は、フォーカスレンズ、ズームレンズ等の各種レンズ、光学フィルタ、および絞りなどの光学部品からなる。被写体から入射された光学像（被写体像）は、撮像光学系１１１における各光学部品を介して、撮像素子１１３の露光面に結像される。
【００２５】
タイミングジェネレータ１１２は、制御部１０１の指示に従って、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成して撮像素子１１３に供給する。
【００２６】
撮像素子（イメージセンサ）１１２は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子で構成される。撮像素子１１３は、タイミングジェネレータ１１２からの動作パルスによって駆動され、撮像光学系１１１から導かれた被写体像を光電変換する。これによって、撮像画像を表す画像信号が、信号処理部１１４に出力される。ここで出力される画像信号は、タイミングジェネレータ１１２からの動作パルスに同期した信号であって、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３原色から構成されるベイヤー配列のＲＡＷ信号（生の信号）である。
【００２７】
信号処理部１１４以降の各部の画像処理機能は、例えばＤＳＰ（Digital Signal Processor）を用いて実現されうる。信号処理部１１４は、撮像素子１１３から入力された画像信号に、ノイズ除去、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正、解像度変換などの画像信号処理を実行する。信号処理部１１４は、デジタル画像信号をメモリ１０３に一時的に格納してもよい。ＲＡＷ／ＹＣ変換部１１５は、信号処理部１１４から入力されたＲＡＷ信号をＹＣ信号に変換して、動き補償部１１６に出力する。ここで、ＹＣ信号は、輝度成分（Ｙ）、および赤／青の色差成分（Ｃｒ／Ｃｂ）を含む画像信号である。
【００２８】
動き補償部１１６は、ターゲット画像および参照画像の画像信号をメモリ１０３から読み込む。動き補償部１１６は、例えばブロックマッチングなどの処理によって、これらの画像の間の動きベクトルを検出し、ターゲット画像と参照画像との間の動きを補償する。後述するように、動き補償部１１６は、動きベクトルの検出の過程で用いられる縮小面マッチング処理範囲の画像データを、色差ＮＲ部１１８に提供してもよい。
【００２９】
画像重ね合わせ部１１７は、動き補償部１１６に動きが補償されたターゲット画像と参照画像とを重ね合わせて、重ね合わせ画像であるＮＲ画像を生成する。画像重ね合わせ部１１７は、ＮＲ画像を色差ＮＲ部１１８に提供する。ＮＲ画像では、上述したフレームＮＲの効果によって、画像に含まれるノイズが低減されている。なお、動き補償部１１６および画像重ね合わせ部１１７の詳細については後述する。
【００３０】
色差ＮＲ部１１８は、画像重ね合わせ部１１７から提供されたＮＲ画像を空間フィルタリングする。色差ＮＲ部１１８は、εフィルタを用いて、ＮＲ画像を空間フィルタリングしてもよい。空間フィルタリングによって、ＮＲ画像に含まれる低空間周波数のノイズ成分が除去されうる。色差ＮＲ部１１８は、ＮＲ画像のＹＣ信号に含まれる色差成分を空間フィルタリングしてもよい。色差ＮＲ部１１８は、動きベクトルの検出の過程で用いられる縮小面マッチング処理範囲の画像データを、動き補償部１１６から取得してもよい。色差ＮＲ部１１８から出力された画像信号は、メモリ１０３に一時的に格納されうる。なお、色差ＮＲ部１１８の詳細については後述する。
【００３１】
静止画コーデック１１９は、操作部１０２によって静止画撮影の指示が取得されている場合（静止画撮影時）に、ＮＲ処理後の画像信号をメモリ１０３から読み込み、例えばＪＰＥＧ（Joint Photographic Experts Group）などの所定の圧縮符号化様式で圧縮して、画像データとしてストレージ１０４に格納する。また、静止画コーデック１１９は、操作部１０２によって静止画再生の指示が取得されている場合（静止画再生時）に、画像データをストレージ１０４から読み込み、ＪＰＥＧなどの所定の圧縮符号化様式で伸張した画像信号をＮＴＳＣエンコーダ１２１に提供してもよい。
【００３２】
動画コーデック１２０は、操作部１０２によって動画撮影の指示が取得されている場合（動画撮影時）に、ＮＲ処理後の画像信号をメモリ１０３から読み込み、例えばＭＰＥＧ（Moving Picture Experts Group）などの所定の圧縮符号化様式で圧縮して、画像データとしてストレージ１０４に格納する。また、動画コーデック１２０は、操作部１０２によって動画再生の指示が取得されている場合（動画再生時）に、画像データをストレージ１０４から読み込み、ＭＰＥＧなど所定の圧縮符号化様式で伸張した画像信号をＮＴＳＣエンコーダ１２１に提供してもよい。
【００３３】
ＮＴＳＣ（National Television System Committee）エンコーダ１２１は、画像信号をＮＴＳＣ方式の標準カラー映像信号に変換して、ディスプレイ１２２に提供する。静止画撮影時または動画撮影時において、ＮＴＳＣエンコーダ１２１は、ＮＲ処理後の画像信号をメモリ１０３から読み込み、スルー画像または撮影された画像としてディスプレイ１２２に提供してもよい。また、静止画再生時または動画再生時において、ＮＴＳＣエンコーダ１２１は、静止画コーデック１１９または動画コーデック１２０から画像信号を取得し、再生画像としてディスプレイ１２２に提供してもよい。
【００３４】
ディスプレイ１２２は、ＮＴＳＣエンコーダ１２１から取得した映像信号を表示する。ディスプレイ１２２は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどでありうる。また、ＮＴＳＣエンコーダ１２１から出力される映像信号は、図示しないＨＤＭＩ（High-Definition Multimedia Interface）などの通信部によって、撮像装置１００から外部に出力されてもよい。
【００３５】
＜１−２．フレームＮＲ処理について＞
次に、本発明の第１の実施形態におけるフレームＮＲ処理について説明する。本実施形態に係る撮像装置１００において、フレームＮＲ処理は、主に、動き補償部１１６および画像重ね合わせ部１１７によって実行される。
【００３６】
上述のように、撮像装置１００においては、撮像素子１１３によるセンサーコーディングによって生成されたＲＡＷ信号が、ＲＡＷ／ＹＣ変換部１１５によってＹＣ信号に変換される。フレームＮＲは、ＲＡＷ信号に対して行われることが一般的である。しかし、ＲＡＷ信号に対するフレームＮＲでは、撮像装置１００の中で非常に大きなシステムリソースが使用される。そのため、本実施形態では、フレームＮＲをＹＣ信号に対して行うことによって、フレームＮＲで使用されるシステムリソースを抑制する。
【００３７】
図２は、本発明の第１の実施形態におけるフレームＮＲ処理の概念図である。図２を参照すると、本実施形態におけるフレームＮＲ処理では、連続して撮影された複数の画像Ｐ１〜Ｐ３が、位置合わせ（動き補償）後に重ね合わせられて、ノイズが低減された画像Ｐｍｉｘになる。なお、上述のように、連続して撮影された複数の画像を重ね合わせた場合にノイズが低減されるのは、略同一の画像が時間方向で積分され、各画像にランダムに含まれるノイズが相殺されるためである。
【００３８】
図示された例において、重ね合わせられる複数の画像Ｐ１〜Ｐ３は、必ずしも３枚の画像でなくてもよく、２枚または４枚以上の画像であってもよい。例えば、本実施形態に係る撮像装置１００が静止画を撮影する場合、高速で連続して撮影された複数枚の画像のうち、１枚目の画像がターゲット画像になり、このターゲット画像に２枚目以降の画像が参照画像として順次重ね合わせられうる。また、撮像装置１００が動画を撮影する場合、順次撮影される連続したフレームの画像がそれぞれターゲット画像になり、これらのターゲット画像に、それぞれのターゲット画像の１つ前のフレームの画像が参照画像として重ね合わせられうる。つまり、あるフレームの画像は、ターゲット画像にもなりうるし、別のフレームの画像をターゲット画像とした場合の参照画像にもなりうる。
【００３９】
このように、連続して撮影された画像を重ねあわせるフレームＮＲの処理では、重ね合わせられるターゲット画像と参照画像との間での位置合わせ（動き補償）が重要になる。これらの画像には、例えば撮影者の手ぶれなどによる画像の位置ずれが生じている場合がある。また、それぞれの画像において、被写体自体が動いたことによる位置ずれが生じている場合もある。そこで、本実施形態におけるフレームＮＲでは、ターゲット画像を分割して生成される複数個のターゲットブロックのそれぞれについて、ブロック単位の動きベクトルを検出する。さらに、各ブロックについて、ブロック単位の動きベクトルを反映した動き補償をしてから、ターゲット画像と参照画像とを重ね合わせる。
【００４０】
ここで、ブロック単位の動きベクトルを検出する処理では、ターゲット画像の各ブロック（ターゲットブロック）について、参照画像の各ブロック（参照ブロック）の中から相関性が最も高いブロック（動き補償ブロック）が探索されるブロックマッチング法が用いられる。ブロック単位の動きベクトルは、ターゲットブロックと動き補償ブロックとの間の位置ずれとして求められる。ターゲットブロックと参照ブロックとの間の相関性の高さは、例えば、双方のブロック内の各画素の輝度値の差分絶対値総和（ＳＡＤ：Sum of Absolute Difference）値によって評価されうる。
【００４１】
図３は、本発明の第１の実施形態における動きベクトル検出処理についての説明図である。図３を参照すると、本実施形態における動きベクトル検出処理では、まず縮小面における動きベクトルが検出され、その結果に基づいて、基底面における動きベクトルが検出される。
【００４２】
上述のようなブロック単位の動きベクトルを検出する処理では、最小のＳＡＤ値を示す参照ブロックが動き補償ブロックとして特定される。つまり、動き補償ブロックを特定するためには、参照ブロックの位置を順次移動させながら、最小のＳＡＤ値を示す参照ブロックを探索する必要がある。例えば、精度が１ピクセルである動きベクトルを検出しようとする場合、動き補償ブロックを１ピクセルの精度で特定する必要があり、従って、最小のＳＡＤ値を示す参照ブロックの探索においても、参照ブロックを１ピクセル単位で順次移動させる必要がある。
【００４３】
このような参照ブロックの探索を、ターゲット画像および参照画像に対してそのまま実行する場合、ＳＡＤ値を算出する回数が多くなり、処理負荷が増大する。そこで、本実施形態では、図示されている例のように、ターゲット画像および参照画像をそれぞれ縮小した画像（縮小面）を作成し、縮小面において動きベクトルを検出した結果に基づいて、縮小されていないターゲット画像および参照画像（基底面）において動きベクトルを検出する。
【００４４】
具体的には、まず、ターゲット画像および参照画像の水平方向および垂直方向がそれぞれ１／ｎ（ｎ＝２，３，・・・）に縮小されて、縮小面ターゲット画像および縮小面参照画像が作成される。これによって、基底面ターゲットブロック２０１と、基底面ターゲットブロック２０１の参照画像への射影イメージに基づいて設定されるサーチ範囲２０２およびマッチング処理範囲２０３とは、それぞれ１／ｎに縮小されて、縮小面ターゲットブロック３０１、縮小面サーチ範囲３０２、および縮小面マッチング処理範囲３０３になる。
【００４５】
次に、縮小面参照画像において、縮小面マッチング処理範囲３０３内に設定される複数個の縮小面参照ブロック３０４と、縮小面ターゲットブロック３０１との間のＳＡＤ値を算出することによって、縮小面参照ブロック３０４の中で縮小面ターゲットブロック３０１との相関性が最も高いブロックが、縮小面動き補償ブロックとして特定される。さらに、縮小面ターゲットブロック３０１と縮小面動き補償ブロックとの間の位置ずれが、縮小面動きベクトル３０５として取得される。
【００４６】
次に、基底面参照画像において、縮小面動きベクトル３０５をｎ倍した基底面仮動きベクトル２０５が定義される。さらに、基底面ターゲットブロック２０１の基底面参照画像への射影イメージから基底面仮動きベクトル２０５の分だけ移動した位置の近傍に、基底面サーチ範囲２０６および基底面マッチング処理範囲２０７が設定される。続いて、基底面マッチング処理範囲２０７内に設定される複数の基底面参照ブロック２０８と、基底面ターゲットブロック２０１との間のＳＡＤ値を算出することによって、基底面参照ブロック２０８の中で基底面ターゲットブロック２０１との相関性が最も高いブロックが、基底面動き補償ブロックとして特定される。さらに、基底面ターゲットブロック２０１と基底面動き補償ブロックとの間の位置ずれが、基底面動きベクトルとして取得される。
【００４７】
ここで、縮小面参照画像が基底面参照画像に比べて１／ｎに縮小されているため、縮小面動きベクトル３０５の精度は、基底面で同様の探索によって求められる動きベクトルの精度のｎ倍の低い精度になる。例えば、参照ブロックを１ピクセル単位で順次移動させて動き補償ブロックを探索して動きベクトルを得ようとする場合、基底面の探索で得られる動きベクトルの精度は１ピクセルになるが、縮小面の探索で得られる動きベクトルの精度はｎピクセルになる。
【００４８】
それゆえ、本実施形態では、縮小面の探索によって得られた縮小面動きベクトル３０５に基づいて、基底面参照画像において基底面サーチ範囲２０６および基底面マッチング処理範囲２０７が設定され、所望の精度での動き補償ブロック２０８および動きベクトルの探索が実行される。縮小面動きベクトル３０５によって、ｎ倍の低い精度ではあるものの、動き補償ブロック２０８が存在しうる範囲は特定されている。そのため、基底面の探索の範囲は、元のサーチ範囲２０２よりもずっと小さい基底面サーチ範囲２０６でよい。例えば、図示された例において、基底面の探索によって１ピクセル単位の動きベクトルを得ようとする場合、基底面サーチ範囲２０６は、水平方向および垂直方向がいずれもｎピクセルの範囲でありうる。
【００４９】
本実施形態における動きベクトル検出処理では、元のサーチ範囲２０２の全体における動き補償ブロックの探索が、縮小面サーチ範囲３０２における探索に置き換えられる。これによって、参照ブロックのＳＡＤ値を算出する回数が、ターゲット画像および参照画像に対してそのまま実行する場合に比べて例えば１／ｎに削減される。また、本実施形態における動きベクトル検出処理では、基底面サーチ範囲２０６における追加の探索が実行されるが、基底面サーチ範囲２０６は、元のサーチ範囲２０２よりもずっと小さい範囲であるため、この追加の探索において参照ブロックのＳＡＤ値を算出する回数は多くない。従って、本実施形態における動きベクトル検出処理では、ターゲット画像および参照画像に対してそのまま実行する場合に比べて処理負荷が軽減される。
【００５０】
以上説明したように、本実施形態におけるフレームＮＲ処理では、連続して撮影された複数の画像を動き補償後に重ね合わせることによって、画像のノイズが低減される。動き補償のための動きベクトルの検出では、基底面を縮小した縮小面を用いた探索によって、より少ない負荷で処理が実行される。
【００５１】
（空間フィルタリングによるＮＲの利点）
しかしながら、上述のように、画像に含まれるノイズは、必ずしもすべてがランダムノイズではなく、各画像に固定したパターンとして含まれるノイズもある。このような固定パターンノイズは、例えばセンサ特性やレンズ特性の偏りのために生じるものであり、低空間周波数のノイズ成分である。このような固定パターンノイズは、連続して撮影された画像を時間方向に積分しても相殺されないため、フレームＮＲによって低減することが難しい。
【００５２】
人間の視覚特性として、輝度の低空間周波数ノイズ成分には敏感ではないが、色差の低空間周波数ノイズ成分には敏感であるという特性がある。それゆえ、固定パターンノイズがフレームＮＲによって低減されずに残った場合、輝度のノイズは目立たないものの、色差のノイズが目立って観察される。そこで、例えばローパスフィルタ、バンドパスフィルタ、またはεフィルタのような空間フィルタリングによって、固定パターンノイズを除去することが考えられる。
【００５３】
しかし、空間フィルタリングは、多かれ少なかれ解像度の低下を伴う。人間の視覚特性として、輝度の解像度に対しては敏感であるが、色差の解像度には敏感ではないという特性がある。それゆえ、ＲＡＷ信号を空間フィルタリングなどによって輝度および色差ともに解像度が低下した場合、空間フィルタリング後の画像では、特に輝度の解像度が低下したことによって、解像度の低下が目立って観察される。
【００５４】
そこで、本実施形態では、輝度成分と色差成分とが分離して含まれるＹＣ信号を空間フィルタリングすることによって、輝度成分については空間フィルタリングをせず、色差成分について空間フィルタリングする。この場合、色差の解像度は低下するものの、輝度の解像度は低下しない。上述のように、人間の視覚特性として、輝度の解像度に対しては敏感であるが、色差の解像度には敏感ではないという特性があるため、本実施形態による空間フィルタリング後の画像では、解像度の低下が目立って観察されない。
【００５５】
以上で説明した、本実施形態における空間フィルタリングの構成に関連する人間の視覚特性を、表１にまとめて示す。
【００５６】
【表１】
【００５７】
本実施形態のように、フレームＮＲと空間フィルタリングとを組み合わせて画像のノイズを低減する場合、フレームＮＲでは空間周波数帯域全体のランダムノイズを低減し、空間フィルタリングでは低空間周波数の固定パターンノイズを低減する。この場合、空間フィルタリングを行うタイミングとしては、フレームＮＲの前、フレームＮＲの後、またはフレームＮＲと同時、が考えられる。
【００５８】
本実施形態では、動き補償部１１６および画像重ね合わせ部１１７によるフレームＮＲの後に、色差ＮＲ部１１８によって空間フィルタリングを行う。これは、固定パターンノイズは、連続して撮影された画像がフレームＮＲにおいて時間方向に積分されることによってむしろ顕在化する場合があり、顕在化した固定パターンノイズは空間フィルタリングによって除去することが比較的容易であるためである。また、例えばεフィルタのような、閾値を設定して用いられるフィルタを空間フィルタリングに用いる場合、予めフレームＮＲによって高空間周波数のランダムノイズが除去されていれば、空間フィルタリングにおける閾値の設定が容易になるためである。
【００５９】
＜１−３．フレームＮＲ処理および色差ＮＲ処理の詳細＞
次に、本発明の第１の実施形態におけるフレームＮＲ処理および色差ＮＲ処理の詳細について、動き補償部１１６、画像重ね合わせ部１１７、および色差ＮＲ部１１８の機能の詳細とともに説明する。
【００６０】
（動き補償部の詳細）
図４は、本発明の第１の実施形態に係る撮像装置１００における動き補償部１１６の機能構成を示すブロック図である。図４を参照すると、動き補償部１１６は、ターゲットブロックバッファ部１６１、参照ブロックバッファ部１６２、マッチング処理部１６３、動きベクトル算出部１６４、およびコントロール部１６５を含む。これらの各部を含む動き補償部１１６は、例えばＤＳＰを用いて実現されうる。
【００６１】
ここで、図５を参照して、ターゲットブロックバッファ部１６１について説明する。図５は、本発明の第１の実施形態に係る撮像装置１００において動き補償部１１６に含まれるターゲットブロックバッファ部１６１の機能構成を示すブロック図である。図５を参照すると、ターゲットブロックバッファ部１６１は、基底面バッファ部１６１１、縮小面バッファ部１６１２、および縮小化処理部１６１３を含む。
【００６２】
ターゲットブロックバッファ部１６１は、メモリ１０３、またはＲＡＷ／ＹＣ変換部１１５から提供される基底面ターゲットブロック２０１または縮小面ターゲットブロック３０１の画素データを取得する。これらの画素データの取得元は、セレクタ１６１４によって切り替えられうる。例えば、ターゲットブロックバッファ部１６１は、静止画撮影時にはメモリ１０３から画素データを取得し、動画撮影時にはＲＡＷ／ＹＣ変換部１１５から画素データを取得してもよい。なお、ここで取得される縮小面ターゲットブロック３０１の画素データは、後述する画像重ね合わせ部１１７に含まれる縮小面生成部１７４、または、ＲＡＷ／ＹＣ変換部１１５によって生成され、メモリ１０３に格納されたものでありうる。
【００６３】
ターゲットブロックバッファ部１６１は、基底面バッファ部１６１１において、基底面ターゲットブロック２０１の画素データを蓄積する。また、ターゲットブロックバッファ部１６１は、縮小面バッファ部１６１２において、縮小面ターゲットブロック３０１の画素データを蓄積する。例えば、動画撮影時に、ＲＡＷ／ＹＣ変換部１１５から取得される画素データに縮小面ターゲットブロック３０１の画素データが含まれないような場合、ターゲットブロックバッファ部１６１は、縮小化処理部１６１３を用いて、基底面ターゲットブロック２０１の画素データから縮小面ターゲットブロック３０１の画素データを生成する。縮小化処理部１６１３を用いるか否かは、セレクタ１６１５によって切り替えられうる。
【００６４】
ターゲットブロックバッファ部１６１は、画像重ね合わせ部１１７、およびマッチング処理部１６３に、基底面ターゲットブロック２０１または縮小面ターゲットブロック３０１の画素データを提供する。画像重ね合わせ部１１７には、基底面バッファ部１６１１に蓄積された基底面ターゲットブロック２０１の画素データが提供される。マッチング処理部１６３には、縮小面でのブロックマッチング処理時は縮小面バッファ部１６１２に蓄積された縮小面ターゲットブロック３０１の画素データが、基底面でのブロックマッチング処理時には基底面バッファ部１６１１に蓄積された基底面ターゲットブロック２０１の画素データが、それぞれ提供される。マッチング処理部１６３に提供される画素データは、セレクタ１６１６によって切り替えられうる。
【００６５】
続いて、図６を参照して、参照ブロックバッファ部１６２について説明する。図６は、本発明の第１の実施形態に係る撮像装置１００において動き補償部１１６に含まれる参照ブロックバッファ部１６２の機能構成を示すブロック図である。図６を参照すると、参照ブロックバッファ部１６２は、基底面バッファ部１６２１、および縮小面バッファ部１６２２を含む。
【００６６】
参照ブロックバッファ部１６２は、メモリ１０３から、縮小面マッチング処理範囲３０３および基底面マッチング処理範囲２０７の画素データを取得する。取得された縮小面マッチング処理範囲３０３および基底面マッチング処理範囲２０７の画素データは、それぞれ基底面バッファ部１６２１および縮小面バッファ部１６２２に蓄積される。
【００６７】
また、参照ブロックバッファ部１６２は、画像重ね合わせ部１１７、およびマッチング処理部１６３に、基底面または縮小面の参照ブロックの画素データを提供する。画像重ね合わせ部１１７には、基底面バッファ部１６２１に蓄積された基底面マッチング処理範囲２０７の画素データのうち、動き補償ブロックとして特定された範囲の画素データが提供される。マッチング処理部１６３には、縮小面でのブロックマッチング処理時は、縮小面バッファ部１６２２に蓄積された縮小面マッチング処理範囲３０３の画素データのうち、ブロックマッチング処理で用いられる縮小面参照ブロックの画素データが提供される。また、基底面でのブロックマッチング処理時は、基底面バッファ部１６２１に蓄積された基底面マッチング処理範囲２０７の画素データのうち、ブロックマッチング処理で用いられる基底面参照ブロックの画素データが提供される。なお、マッチング処理部１６３に提供される画素データは、セレクタ１６２３によって切り替えられる。
【００６８】
さらに、参照ブロックバッファ部１６２は、色差ＮＲ部１１８に、縮小面バッファ部１６２２に蓄積された縮小面マッチング処理範囲３０３の画素データを提供してもよい。後述するように、ここで提供される縮小面マッチング処理範囲３０３の画素データは、色差ＮＲ部１１８において、空間フィルタリング処理のウインドウとして利用されうる。
【００６９】
再び図４を参照する。マッチング処理部１６３は、ターゲットブロックと参照ブロックとの間の相関の強さを検出するブロックマッチングの処理を実行する。ターゲットブロックと参照ブロックとの間の相関の強さは、例えば、各画素の輝度信号のＳＡＤ値を用いて評価されうる。ターゲットブロックと参照ブロックとの間の相関の強さは、各画素の色差信号などの他の情報を用いて評価されてもよい。また、演算量の削減のために、演算の対象とする画素が間引かれてもよい。
【００７０】
動きベクトル算出部１６４は、マッチング処理部１６３におけるブロックマッチングの処理結果に基づいて、動きベクトルを取得する。動きベクトル算出部１６４は、例えば、マッチング処理部１６３によって算出されたＳＡＤ値の最小値を検出および保持し、さらに、ＳＡＤ値が最小である参照ブロックの近傍の複数の参照ブロックのＳＡＤ値を保持して、二次曲線近似補間処理によって、サブピクセル精度の高精度の動きベクトルを検出してもよい。
【００７１】
コントロール部１６５は、動き補償部１１６の各部を制御する。コントロール部１６５は、例えば、ターゲットブロックバッファ部１６１に含まれるセレクタ１６１４〜１６１６、および参照ブロックバッファ部１６２に含まれるセレクタ１６２３を制御する。また、コントロール部１６５は、ターゲットブロックバッファ部１６１および参照ブロックバッファ部１６２によって提供される画素データに応じて、縮小面または基底面でのブロックマッチング処理を実行するようにマッチング処理部１６３を制御してもよい。さらに、コントロール部１６５は、動きベクトル算出部１６４によって算出された動きベクトルを取得し、この動きベクトルに基づいて、動き補償ブロックを画像重ね合わせ部１１７に提供するように参照ブロックバッファ部１６２を制御してもよい。
【００７２】
（画像重ね合わせ部の詳細）
図７は、本発明の第１の実施形態に係る撮像装置１００における画像重ね合わせ部１１７の機能構成を示すブロック図である。図７を参照すると、画像重ね合わせ部１１７は、加算率計算部１７１、加算部１７２、基底面出力バッファ部１７３、縮小面生成部１７４、および縮小面出力バッファ部１７５を含む。これらの各部を含む画像重ね合わせ部１１７は、例えばＤＳＰを用いて実現されうる。
【００７３】
加算率計算部１７１は、動き補償部１１６から、基底面ターゲットブロックおよび動き補償ブロックの画素データを取得し、これらのブロックの加算率を算出する。基底面ターゲットブロック２０１と動き補償ブロック２０８とは、例えば、単純加算方式または平均加算方式などの加算方式によって加算されうる。加算率計算部１７１は、これらの加算方式に応じて加算率を算出しうる。加算率計算部１７１は、算出した加算率と、基底面ターゲットブロック２０１および動き補償ブロック２０８の画素データとを、加算部１７２に提供する。
【００７４】
加算部１７２は、加算率計算部１７１から、基底面ターゲットブロックおよび動き補償ブロックの画素データと、これらのブロックの加算率とを取得する。加算部１７２は、基底面ターゲットブロックの画素データと動き補償ブロックの画素データとを、取得した加算率で加算し、フレームＮＲの効果によってノイズが低減された基底面ＮＲブロックを生成する。加算部１７２は、基底面ＮＲブロックの画素データを、基底面出力バッファ部１７３および縮小面生成部１７４に提供する。
【００７５】
基底面出力バッファ部１７３は、加算部１７２から提供された基底面ＮＲブロックの画素データを蓄積し、基底面ＮＲ画像として色差ＮＲ部１１８に提供する。
【００７６】
縮小面生成部１７４は、加算部１７２から提供された基底面ＮＲブロックの画素データを縮小して、縮小面ＮＲブロックの画素データを生成する。縮小面生成部１７４は、縮小面ＮＲブロックの画素データを、縮小面出力バッファ部１７５に提供する。
【００７７】
縮小面出力バッファ部１７５は、縮小面生成部１７４から提供された縮小面ＮＲブロックの画素データを蓄積し、縮小面ＮＲ画像としてメモリ１０３に格納する。ここでメモリ１０３に格納された縮小面ＮＲ画像は、例えば、静止画撮影時に、フレームＮＲ後のターゲット画像にさらに参照画像を重ね合わせる場合、縮小面ターゲット画像として用いられうる。また、ここでメモリ１０３に格納された縮小面ＮＲ画像は、動画撮影時に、次のフレームをターゲット画像としてフレームＮＲを実行する場合、縮小面参照画像として用いられうる。
【００７８】
（色差ＮＲ部の詳細）
図８は、本発明の第１の実施形態に係る撮像装置１００における色差ＮＲ部１１８ａの機能構成を示すブロック図である。図８を参照すると、色差ＮＲ部１１８ａは、遅延バッファ１８１、εフィルタ１８２、および色差信号処理部１８３を含む。これらの各部を含む色差ＮＲ部１１８ａは、例えばＤＳＰを用いて実現されうる。
【００７９】
色差ＮＲ部１１８ａは、画像重ね合わせ部１１７から、フレームＮＲ後の基底面ＮＲ画像の画素データを取得する。この基底面ＮＲ画像の画素データは、輝度成分（Ｙ）と色差成分（Ｃ）とを含むＹＣ信号である。基底面ＮＲ画像の画素データは、一方では遅延バッファ１８１に入力され、他方では１／ｎに縮小される。１／ｎに縮小されたＮＲ画像の画素データから、所定のサイズの縮小面ターゲット画が生成され、εフィルタ１８２に入力される。
【００８０】
また、色差ＮＲ部１１８ａは、動き補償部１１６から、縮小面マッチング処理範囲の画素データを取得する。この縮小面マッチング処理範囲の画素データも、輝度成分（Ｙ）と色差成分（Ｃ）とを含むＹＣ信号である。縮小面マッチング処理範囲の画素データは、縮小面ウインドウとしてεフィルタ１８２に入力される。
【００８１】
εフィルタ１８２では、入力されたＹＣ信号に含まれる色差成分（Ｃ）について、空間フィルタリング処理が実行される。ここで、εフィルタは、注目画素とその周辺画素との画素値の差分が所定の閾値以下である場合に、注目画素と周辺画素との画素値の加算平均で注目画素の画素値を置き換える空間フィルタである。なお、かかるεフィルタについては、例えば特開２００５−３１１４５５号公報において詳述されている。
【００８２】
また、εフィルタ１８２に代えて、例えばローパスフィルタまたはバンドパスフィルタのような空間フィルタを用いることも可能である。しかし、本実施形態では、空間フィルタリングの対象となる基底面ＮＲ画像において、既にフレームＮＲによってランダムノイズが低減されているため、閾値を用いて孤立点を除去するεフィルタを用いることが有効である。
【００８３】
また、εフィルタ１８２は、上述のように、フレームＮＲによって低減することが難しい、低空間周波数の固定パターンノイズを除去するために用いられる。従って、εフィルタ１８２は、タップ数が大きいεフィルタであることが望ましい。タップ数が大きいεフィルタは、低空間周波数のノイズの除去において有効である反面、閾値の設定が高すぎる場合には、画像のテクスチャ成分をも除去してしまうという弊害を生じる。本実施形態では、空間フィルタリングの対象となる基底面ＮＲ画像において、既にフレームＮＲによってランダムノイズが低減されている。それゆえ、εフィルタ１８２では、閾値を比較的低く設定することが可能である。つまり、本実施形態では、εフィルタ１８２としてタップ数が大きいεフィルタを用いても、画像のテクスチャ成分が除去されるなどの弊害が生じるおそれは少ない。
【００８４】
本実施形態のように、タップ数が大きいεフィルタによる空間フィルタリングを、フレームＮＲの後に行うことの利点について、図９を参照してさらに説明する。図９は、タップ数が大きい（高Ｔａｐの）εフィルタによる空間フィルタリングが、フレームＮＲの後に行われる場合とそうでない場合とを比較する模式図である。図９を参照すると、入力データの画像信号にフレームＮＲが加えられると、ノイズが低減されるため、フレームＮＲが加えられない場合に比べてεフィルタの閾値を小さく設定できることが示されている。
【００８５】
εフィルタ１８２において色差成分が空間フィルタリングされた画像信号は、ｎ倍に拡大されて、色差信号処理部１８３に入力される。画像のサイズを１／ｎに縮小した状態でεフィルタ１８２によって空間フィルタリングし、その後ｎ倍に拡大して元のサイズに戻すことによって、ウインドウサイズが限られているεフィルタ１８２を用いて、より広い範囲の低空間周波数ノイズを除去することが可能になる。
【００８６】
一方、遅延バッファ１８１に入力された基底面ＮＲ画像の画素データは、εフィルタ１８２による空間フィルタリングの処理の分だけ遅延されて色差信号処理部１８３に入力される。色差信号処理部１８３では、εフィルタにおいて空間フィルタリングされた色差成分（ＣＣＮＲ）が、基底面ＮＲ画像のＹＣ信号のうちの色差成分（ＣＦＮＲ）に混合される。例えば、混合後の基底面ＮＲ画像の色差成分（Ｃ）は、係数ａを用いて
Ｃ＝ａ×ＣＣＮＲ＋（１−ａ）×ＣＦＮＲ
と表されうる。ａ＝１の場合、基底面ＮＲ画像の色差成分（ＣＦＮＲ）は、εフィルタによって空間フィルタリングされた色差成分（ＣＣＮＲ）によって置き換えられる。色差信号処理部１８３から出力された基底面ＮＲ画像の画素データは、メモリ１０３に格納される。
【００８７】
（参照画像のデータを用いる利点）
本実施形態における色差ＮＲ部１１８ａでは、εフィルタ１８２において用いられる縮小面ウインドウとして、動き補償部１１６から提供された縮小面マッチング処理範囲の画素データが用いられる。上述のように、この縮小面マッチング処理範囲の画素データは、動き補償部１１６におけるブロックマッチング処理のために、メモリ１０３に格納された縮小面参照画像から取得される。ここで、上述のように、フレームＮＲにおける参照画像は、ターゲット画像の前または後に連続して撮影された画像である。つまり、本実施形態における色差ＮＲ部１１８ａでは、εフィルタ１８２において用いられる縮小面ウインドウとして、縮小面ターゲット画とは異なるフレームの画像が用いられる。
【００８８】
かかる構成は、本実施形態におけるεフィルタ１８２が、１／ｎに縮小された画像を対象として空間フィルタリングを実行するために可能になる。これは、εフィルタ１８２において用いられる縮小面ターゲット画と縮小面ウインドウとの間にフレームが異なることによる微小な変化があったとしても、その変化はさらに１／ｎに縮小されるため、空間フィルタリングへの影響が無視しうる程度に小さくなるためである。
【００８９】
このように、色差ＮＲ部１１８ａにおいて、動き補償部１１６から提供される参照画像のデータを用いる利点について、図１０を参照してさらに説明する。図１０は、動き補償部１１６から提供される参照画像のデータを用いない色差ＮＲ部１１８ｂの機能構成を示すブロック図である。
【００９０】
色差ＮＲ部１１８ｂの構成は、色差ＮＲ部１１８ａと略同一であるが、εフィルタ１８２に入力される縮小面ウインドウが、基底面ＮＲ画像の画素データを１／ｎに縮小することによって生成される点が異なる。色差ＮＲ部１１８ｂでは、縮小面ターゲット画を生成する縮小処理に加えて、縮小面ターゲット画よりもずっと大きなサイズの縮小面ウインドウを生成する縮小処理が行われる。画像の縮小処理では、生成する画像のサイズが大きくなるほど、大量のデータを保持しなくてはならず、多くのシステムリソースが使用される。従って、色差ＮＲ部１１８ｂにおいて使用されるシステムリソースは、色差ＮＲ部１１８ａにおいて使用されるシステムリソースよりもずっと多くなる。
【００９１】
色差ＮＲ部１１８ｂの構成によっても、フレームＮＲによって低減されなかった固定パターンノイズを除去することは可能である。しかし、色差ＮＲ部１１８ａの構成のように、εフィルタのウインドウとして動き補償部１１６から提供される参照画像のデータを用いることによって、システムリソースの使用を抑制しつつ、εフィルタのウインドウサイズを大きくして、広い範囲の低空間周波数ノイズを効果的に除去することが可能になる。
【００９２】
なお、動き補償のために用いられた参照画像のデータを、空間フィルタリングの検索ウインドウとして用いる構成は、参照画像がフレームＮＲに用いられるか否かに関わらず適用されうる。つまり、本実施形態における動き補償部１１６および画像重ね合わせ部１１７のような構成要素が含まれない場合でも、上記の構成を適用することが可能である。また、空間フィルタリングの種類も、εフィルタには限られず、ローパスフィルタまたはバンドパスフィルタなど、検索ウインドウが用いられるあらゆる種類の空間フィルタリングが行われる場合において、上記の構成は適用されうる。
【００９３】
（フレームＮＲ処理および色差ＮＲ処理についてのまとめ）
図１１を参照して、本実施形態におけるフレームＮＲ処理および色差ＮＲ処理についてまとめる。図１１は、本発明の第１の実施形態におけるフレームＮＲ処理および色差ＮＲ処理を示すフローチャートである。
【００９４】
まず、動き補償部１１６において、縮小面、基底面の２階層を用いた探索によって、ブロック単位の動きベクトルが検出される（ステップＳ１０１）。次に、検出された動きベクトルに基づいて、動き補償ブロックが取得される（ステップＳ１０３）。さらに、画像重ね合わせ部１１７において、ターゲットブロックと動き補償ブロックとの加算率が計算され（ステップＳ１０５）、加算率に基づいてターゲットブロックと動き補償ブロックとが重ね合わせられる（ステップＳ１０７）。ここまでの処理で、ターゲット画像と参照画像とを動き補償して重ね合わせるフレームＮＲの処理が実行され、ノイズが低減されたＮＲ画像が得られる。
【００９５】
続いて、色差ＮＲ部１１８において、ＮＲ画像の画像信号のうち、色差成分（Ｃ）がεフィルタによって空間フィルタリングされる（ステップＳ１０９）。さらに、ＮＲ画像の画像信号のうち、輝度成分（Ｙ）を変更せずに、色差成分（Ｃ）がステップＳ１０９における空間フィルタリング後の色差成分（Ｃ）と混合される（ステップＳ１１１）。以上の処理によって、フレームＮＲによっては低減することが難しい低空間周波数の固定パターンノイズが除去され、結果として、フレームＮＲの効果を補完したより高いＮＲ効果が得られる。
【００９６】
＜２．第２の実施形態＞
続いて、図１２を参照して、本発明の第２の実施形態について説明する。なお、この第２の実施形態は、上述した第１の実施形態と比べて、色差ＮＲ部１１８の構成において相違するが、その他の構成については略同一であるため、詳細説明を省略する。
【００９７】
図１２は、本発明の第２の実施形態に係る撮像装置１００における色差ＮＲ部１１８ｃの機能構成を示すブロック図である。図１２を参照すると、色差ＮＲ部１１８ｃは、遅延バッファ１８１、εフィルタ１８２、および色差信号処理部１８３を含む。これらの各部を含む色差ＮＲ部１１８ｃは、例えばＤＳＰを用いて実現されうる。
【００９８】
本実施形態の色差ＮＲ部１１８ｃは、縮小面ウインドウに加えて、縮小面ターゲット画も、動き補償部１１６によって提供される縮小面マッチング処理範囲の画素データから取得されるという点において、第１の実施形態における色差ＮＲ部１１８ａとは異なる。色差ＮＲ部１１８ｃにおいて、画像重ね合わせ部１１７によって提供されるフレームＮＲ後の基底面ＮＲ画像の画素データは、遅延バッファ１８１に入力されるが、εフィルタで用いるターゲット画および検索ウインドウの生成には用いられない。
【００９９】
このような色差ＮＲ部１１８ｃの構成によれば、εフィルタ１８２において用いられるターゲット画と検索ウインドウとが同じフレームの画像になる。そのため、ターゲット画像と参照画像の間で画像が大きく変化している場合などに、εフィルタ１８２での空間フィルタリングが受ける影響を軽減することが可能である。
【０１００】
＜３．まとめ＞
本発明の実施形態において、画像処理装置は、ターゲット画像と参照画像との間の動きを補償する動き補償部と、動きが補償されたターゲット画像と参照画像とを重ね合わせることによって重ね合わせ画像を生成する画像重ね合わせ部と、重ね合わせ画像を空間フィルタリングする空間フィルタリング部とを含む。かかる構成によれば、画像を重ね合わせるフレームＮＲの処理によって低減することが難しいノイズを、空間フィルタリングによって除去ずることができ、画像の重ね合わせによるノイズ低減処理の効果をより高めることができる。
【０１０１】
空間フィルタリング部は、εフィルタを用いて重ね合わせ画像を空間フィルタリングしてもよい。かかる構成によれば、εフィルタによる閾値を用いた孤立点除去の作用によって、フレームＮＲの処理で低減されなかったノイズを効果的に除去することができる。また、フレームＮＲの後にεフィルタを用いることで、εフィルタの閾値を低く設定することができ、εフィルタの閾値の設定が容易になる。
【０１０２】
空間フィルタリング部は、重ね合わせ画像を縮小して空間フィルタリングしてもよい。かかる構成によれば、ウインドウサイズが限られているεフィルタを用いて、より広い範囲の低空間周波数ノイズを除去することができ、εフィルタの空間フィルタリング効果を高めることができる。
【０１０３】
重ね合わせ画像の画像信号は、輝度成分と色差成分とを含む画像信号であり、空間フィルタリング部は、色差成分を空間フィルタリングしてもよい。かかる構成によれば、輝度成分の解像度が空間フィルタリングによって低下することを防ぎ、空間フィルタリングによる解像度の低下が知覚されにくくすることができる。
【０１０４】
ターゲット画像および参照画像の画像信号は、輝度成分と色差成分とを含む画像信号であってもよい。かかる構成によれば、画像の重ね合わせのために使用されるシステムリソースの増大を抑制することができる。
【０１０５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１０６】
例えば、上記実施形態では、画像処理装置として撮像装置を例示したが、本発明はかかる例に限定されない。例えば、画像処理装置は、保存されている画像データを加工するために用いられる独立した装置であってもよく、また、画像データを加工するアプリケーションとしてＰＣ（Personal Computer）などの情報処理装置に組み込まれていてもよい。
【０１０７】
また、上記実施形態では、画像処理装置の動き補償部、画像重ね合わせ部および色差ＮＲ部の機能がＤＳＰを用いて実現される場合を例示したが、本発明はかかる例に限定されない。例えば、これらの各部の機能は、専用のハードウェアによって実現されてもよく、またＣＰＵを用いてソフトウェアとして実現されてもよい。
【符号の説明】
【０１０８】
１００ 撮像装置
１０３ メモリ
１１６ 動き補償部
１１７ 画像重ね合わせ部
１１８ 色差ＮＲ部
１８２ εフィルタ
２０１ 基底面ターゲットブロック
２０８ 基底面参照ブロック
３０１ 縮小面ターゲットブロック
３０２ 縮小面サーチ範囲
３０３ 縮小面マッチング処理範囲
３０４ 縮小面参照ブロック
【特許請求の範囲】
【請求項１】
ターゲット画像と参照画像との間の動きを補償する動き補償部と、
動きが補償された前記ターゲット画像と前記参照画像とを重ね合わせることによって重ね合わせ画像を生成する画像重ね合わせ部と、
前記重ね合わせ画像を空間フィルタリングする空間フィルタリング部と、
を備える画像処理装置。
【請求項２】
前記空間フィルタリング部は、εフィルタを用いて前記重ね合わせ画像を空間フィルタリングする、請求項１に記載の画像処理装置。
【請求項３】
前記空間フィルタリング部は、前記重ね合わせ画像を縮小して空間フィルタリングする、請求項２に記載の画像処理装置。
【請求項４】
前記重ね合わせ画像の画像信号は、輝度成分と色差成分とを含む画像信号であり、
前記空間フィルタリング部は、前記色差成分を空間フィルタリングする、請求項１に記載の画像処理装置。
【請求項５】
前記ターゲット画像および前記参照画像の画像信号は、輝度成分と色差成分とを含む画像信号である、請求項１に記載の画像処理装置。
【請求項６】
ターゲット画像と参照画像との間の動きを補償することと、
動きが補償された前記ターゲット画像と前記参照画像とを重ね合わせることによって重ね合わせ画像を生成することと、
前記重ね合わせ画像を空間フィルタリングすることと、
を含む画像処理方法。
【請求項１】
ターゲット画像と参照画像との間の動きを補償する動き補償部と、
動きが補償された前記ターゲット画像と前記参照画像とを重ね合わせることによって重ね合わせ画像を生成する画像重ね合わせ部と、
前記重ね合わせ画像を空間フィルタリングする空間フィルタリング部と、
を備える画像処理装置。
【請求項２】
前記空間フィルタリング部は、εフィルタを用いて前記重ね合わせ画像を空間フィルタリングする、請求項１に記載の画像処理装置。
【請求項３】
前記空間フィルタリング部は、前記重ね合わせ画像を縮小して空間フィルタリングする、請求項２に記載の画像処理装置。
【請求項４】
前記重ね合わせ画像の画像信号は、輝度成分と色差成分とを含む画像信号であり、
前記空間フィルタリング部は、前記色差成分を空間フィルタリングする、請求項１に記載の画像処理装置。
【請求項５】
前記ターゲット画像および前記参照画像の画像信号は、輝度成分と色差成分とを含む画像信号である、請求項１に記載の画像処理装置。
【請求項６】
ターゲット画像と参照画像との間の動きを補償することと、
動きが補償された前記ターゲット画像と前記参照画像とを重ね合わせることによって重ね合わせ画像を生成することと、
前記重ね合わせ画像を空間フィルタリングすることと、
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１４２８２７（Ｐ２０１２−１４２８２７Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−３４８（Ｐ２０１１−３４８）
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]