画像処理装置、および画像処理方法、並びにプログラム
【課題】動被写体領域も静止被写体領域の双方について効果的なノイズ低減を実行する装置および方法を提供する。
【解決手段】複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部は、画像の動被写体領域を検出し、画像領域単位の動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成し、さらに重ね合わせ画像に対して、動被写体情報に基づいて、動被写体領域においてより強いノイズリダクション処理を実行する。ノイズリダクション処理においては、例えば動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する。これらの処理により動被写体領域、静止被写体領域の双方においてノイズリダクションのなされた画像を生成することが可能となる。
【解決手段】複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部は、画像の動被写体領域を検出し、画像領域単位の動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成し、さらに重ね合わせ画像に対して、動被写体情報に基づいて、動被写体領域においてより強いノイズリダクション処理を実行する。ノイズリダクション処理においては、例えば動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する。これらの処理により動被写体領域、静止被写体領域の双方においてノイズリダクションのなされた画像を生成することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像のノイズ低減や解像度を高める処理を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像のノイズ低減処理（ＮＲ：Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）、あるいは低解像度の画像から高解像度の画像を生成する例えば超解像処理（ＳＲ：Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）と呼ばれる高解像化処理などの画像処理を実行する場合、例えば同じ被写体を含む連続撮影された複数枚の画像を適用した処理が行われる。なお、複数の画像を利用したノイズ低減等の画像処理技術を開示した従来技術としては、例えば、特許文献１（特開２００９−１９４７００）、あるいは特許文献２（特開２００９−２９０８２７号公報）等がある。
【０００３】
特許文献１（特開２００９−１９４７００）には、複数枚の画像を画像間の動き情報を参考に重ね合わせることでノイズ低減を図る撮像装置について開示している。特に、加算枚数が少ない部分に残留するノイズを除去する方法について開示している。具体的には、加算の程度に応じてノイズ除去フィルタ特性を変えた処理を行っている。画素毎に加算された枚数を記憶しておき、加算終了後にその枚数に応じたコアリング設定をおこなって、高周波の色ノイズを除去するよう構成されているが、画素ごとに加算枚数の記録を行う記憶領域が必要であるのと、加算枚数に応じたコアリング設定を用意する必要があるために、加算枚数・画素数が増えた場合にそれに応じて記憶領域・回路規模が増加してしまう問題があった。また、このような加算終了後のノイズ除去処理では、低周波の色ノイズの除去を行う場合に大きなタップのフィルタ処理を必要とするなど、回路規模上の問題がある。
【０００４】
ノイズ低減処理、あるいは高解像化処理を行う場合、より多くの画像を利用することで、効果的なノイズ低減や高解像化が実現されることが知られている。従って、高品質の画像を生成する装置には、多くの枚数の画像を格納するメモリが必要となる。
【０００５】
しかし、画像格納メモリを画像処理装置に多数、備えることはハードウェアの大型化やコスト高を招くことになる。従って、小型化や低コストの要請が大きい撮像装置に、このような多数のメモリを備えるのは難しいという問題がある。
【０００６】
また、画像内に動く被写体、すなわち動被写体領域がある場合、複数の画像の重ね合わせを行ってもノイズの低減効果は少なく、かえってノイズを増加させてしまう場合があるといった問題がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１９４７００号公報
【特許文献２】特開２００９−２９０８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本開示は、例えば上記問題点に鑑みてなされたものであり、簡略化したハードウェア構成を用いて、複数の画像を利用した重ね併せ処理によるノイズ低減あるいは高解像化処理を実現可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【０００９】
また、本開示の一実施例では、動被写体と推定される領域については例えばＬＰＦ（ローパスフィルタ）を適用したノイズ低減処理を実行する構成としてして、動被写体領域においてもノイズの少ない画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本開示の第１の側面は、
複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有し、
前記重ね合わせ処理部は、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出部と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理部と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理部と、
を有する画像処理装置にある。
【００１１】
さらに、本開示の画像処理装置の一実施態様において、前記ノイズリダクション処理部は、ローパスフィルタを適用した画素値更新処理を実行する。
【００１２】
さらに、本開示の画像処理装置の一実施態様において、前記ノイズリダクション処理部は、動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する。
【００１３】
さらに、本開示の画像処理装置の一実施態様において、前記重ね合わせ処理部は、連続撮影された複数の画像のグローバル動きベクトル（ＧＭＶ）を算出するＧＭＶ算出部と、前記グローバル動きベクトル（ＧＭＶ）に従って、参照画像の被写体位置を基準画像の位置に合わせた動き補償画像を生成する位置合わせ処理部を有し、前記動被写体検出部は、前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を取得し、前記ブレンド処理部は、前記基準画像と動き補償画像とを前記動被写体情報に基づくブレンド比率に基づいてブレンドして重ね合わせ画像を生成する。
【００１４】
さらに、本開示の画像処理装置の一実施態様において、前記動被写体検出部は、前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を示すα値を画素単位の動被写体情報として算出し、前記ブレンド処理部は、前記α値の値に応じて動被写体である可能性の高い画素については前記動き補償画像のブレンド比率を低くし、動被写体である可能性の低い画素については前記動き補償画像のブレンド比率を高く設定したブレンド処理を実行する。
【００１５】
さらに、本開示の画像処理装置の一実施態様において、前記重ね合わせ処理部は、処理対象画像の高解像化処理を実行する高解像度化処理部を有し、前記ブレンド処理部は、前記高解像度化処理部において高解像度化された画像の重ね合わせを実行する。
【００１６】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記ＧＭＶ算出部がＲＡＷ画像に基づいて算出した画像のグローバル動きベクトル（ＧＭＶ）を格納するＧＭＶ記録部を有し、前記重ね合わせ処理部がフルカラー画像を処理対象とした重ね合わせ処理を実行する際に前記ＧＭＶ記録部に格納されたグローバル動きベクトル（ＧＭＶ）を利用して処理を行う。
【００１７】
さらに、本開示の画像処理装置の一実施態様において、前記重ね合わせ処理部は、処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行う構成であり、２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行う。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記重ね合わせ処理部は、前記メモリの一部に、重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用する処理を行う。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記重ね合わせ処理部は、ＲＡＷ画像を処理対象とする場合は前記メモリにＲＡＷ画像の各画素対応の画素値データを格納し、ＲＡＷ画像の各画素対応の画素値データに基づく重ね合わせ処理を実行し、フルカラー画像を処理対象とする場合は前記メモリに各画素対応の輝度信号値データを格納し、フルカラー画像の各画素対応の輝度値データに基づく重ね合わせ処理を実行する。
【００２０】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
重ね合わせ処理部が、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを実行し、
前記重ね合わせ処理ステップは、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出処理と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理を実行する画像処理方法にある。
【００２１】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
重ね合わせ処理部に、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを実行させ、
前記重ね合わせ処理ステップにおいて、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出処理と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理を実行させるプログラムにある。
【００２２】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２３】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２４】
本開示の一実施例の構成によれば、動被写体領域と静止被写体領域の双方について効果的なノイズ低減を実行する装置および方法が実現される。
具体的には、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有する。重ね合わせ処理部は、画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成し、動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成し、さらに重ね合わせ画像に対して、動被写体情報に基づいて、動被写体領域においてより強いノイズリダクション処理を実行する。ノイズリダクション処理においては、例えば動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する。
これらの処理により動被写体領域、静止被写体領域の双方においてノイズリダクションのなされた画像を生成することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本開示の画像処理装置の一例である撮像装置１００の構成例を示す図である。
【図２】ベイヤー配列について説明する図である。
【図３】重ね合わせ処理部ａ１０５の実行する処理について説明するフローチャートを示す図である。
【図４】ノイズリダクション処理部の適用するフィルタの構成例について説明する図である。
【図５】重ね合わせ処理部ａ１０８の実行する処理について説明するフローチャートを示す図である。
【図６】固体撮像素子からの入力画像（ＲＡＷ画像）に対する画像重ね合わせ（ブレンド）処理を実行する重ね合わせ処理部の構成と処理について説明する図である。
【図７】図６に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の処理のタイミングチャートを示す図である。
【図８】図６に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。
【図９】図６に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。
【図１０】図６に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。
【図１１】記録再生部からの出力画像に対する画像重ね合わせ（ブレンド）処理を実行する重ね合わせ処理部の構成と処理について説明する図である。
【図１２】図１１に示す重ね合わせ処理部が、フルカラー画像の重ね合わせ処理を実行する場合の処理のタイミングチャートを示す図である。
【図１３】図１１に示す重ね合わせ処理部が、フルカラー画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。
【図１４】高解像度化処理部を備えた重ね合わせ処理部の構成と処理について説明する図である。
【図１５】ＧＭＶ記録部を備えた画像処理装置の構成について説明する図である。
【図１６】本開示の画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．ＲＡＷ画像とフルカラー画像の重ね合わせ処理を同一回路で実行する実施例
（１−１）撮影時のＲＡＷ画像に対する処理
（１−２）再生時のフルカラー画像に対する処理
２．重ね合わせ処理に利用するハードウェア構成例について
（２−１）固体撮像素子からの入力画像（ＲＡＷ画像）に対する処理例
（２−２）記録再生部からの入力画像（ＹＵＶ画像）に対する処理例
３．その他の実施例
（３−１）高解像度化処理部を設定した実施例
（３−２）ＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶをフルカラー画像の重ね合わせ処理に際して利用する実施例
４．画像処理装置のハードウェア構成例について
５．本開示の構成のまとめ
【００２７】
［１．ＲＡＷ画像とフルカラー画像の重ね合わせ処理を同一回路で実行する実施例］
まず、本開示の画像処理装置の第１実施例として、ＲＡＷ画像とフルカラー画像の重ね合わせ処理を同一回路で実行する実施例について説明する。
なお、本開示の画像処理装置は、たとえば撮像装置、あるいはＰＣ等において実現されるが。以下では、本開示に従った画像処理を撮像装置において実行する場合の処理例について説明する。
図１は、本開示の画像処理装置の一例である撮像装置１００の構成例を示している。撮像装置１００は、画像撮影時に、撮影されるＲＡＷ画像、すなわちモザイク画像を入力して、ノイズ低減あるいは高解像化を実現するための画像重ね合わせ処理を行う。
このＲＡＷ画像に対する重ね合わせ処理を実行するのが図１に示す撮像装置１００の重ね合わせ処理部ａ１０５である。
【００２８】
また、本開示の画像処理装置の一例である撮像装置１００は、ＲＡＷ画像に基づいて生成されたフルカラー画像に対して、ノイズ低減あるいは高解像化を実現するための画像重ね合わせ処理を行う。
このフルカラー画像に対する重ね合わせ処理を実行するのが図１に示す撮像装置１００の重ね合わせ処理部ｂ１０８である。
【００２９】
なお、重ね合わせ処理部ａ１０５と、重ね合わせ処理部ｂ１０８は、図１においては、別ブロックとして示しているが、これらは共通のハードウェアを利用した回路構成として設定される。具体的な回路構成については後段で説明する。
【００３０】
以下では、まず、
（１−１）撮影時のＲＡＷ画像に対する処理
（１−２）再生時のフルカラー画像に対する処理
これらの処理について順次説明する。
【００３１】
（１−１）撮影時のＲＡＷ画像に対する処理
まず、図１を参照して、本開示の画像処理装置の一例である撮像装置において、撮像時にＮ＋１枚のＲＡＷ画像を重ね合わせる処理について説明する。Ｎは１以上の整数である。なお、ＲＡＷ画像に対する重ね合わせ処理は、静止画、動画いずれに対しても可能であるが、以下の実施例では、静止画に対する処理例について説明する。
【００３２】
図１は、本開示の画像処理装置の一構成例としての撮像装置１００の構成を示している。シャッタ等のユーザ入力部１００の操作により、撮像を開始したタイミングで、固体撮像素子１０３は、レンズ（光学系）１０２から入射された光学像を２次元の電気信号（以下、画像データ）に変換する。なお。固体撮像素子１０３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）である。
【００３３】
単板方式固体撮像素子の場合は、出力は例えば図２に示すベイヤー配列のＲＡＷ画像となる。すなわち、カラーフィルタの構成に応じたＲＧＢのいずれかの信号のみが、各画素の信号として生成される。この画像は例えばモザイク画像と呼ばれ、このモザイク画像を利用して、全ての画素にＲＧＢの全画素値を設定する補間処理によってフルカラー画像が生成される。なお、この画素値補間処理は、例えばデモザイク処理と呼ばれる。
【００３４】
前述したように、ノイズ低減処理、あるいは高解像化処理を行う場合、同じ被写体を含むより多くの画像を利用することで、効果的なノイズ低減や高解像化が実現されることが知られている。たとえば、これらのノイズ低減や高解像化のための画像処理に、例えばＮ＋１枚の画像を利用する場合は、Ｎ＋１枚の画像を連続撮影して、Ｎ＋１枚のＲＡＷ画像を撮影し、Ｎ＋１枚のＲＡＷ画像を適用した処理、あるいはＮ＋１枚のＲＡＷ画像を適用して生成したＮ＋１枚のフルカラー画像を適用した処理を行う。
【００３５】
プリ処理部１０４では、撮影画像に含まれる例えば縦筋、横筋補正などイメージセンサの欠陥を補正する処理が行われる。プリ処理部１０４から出力された画像は、重ね合わせ処理部ａ１０５に入力され、Ｎ＋１枚の画像の重ね合わせ処理を行う。ポスト処理部１０６では、ＲＡＷ画像からフルカラー画像に変換する色補間処理（デモザイク処理）や、ホワイトバランス、色再現性を高めるリニアマトリクス、視認性を向上する輪郭強調処理などが行われ、ＪＰＥＧなどの圧縮コーデックでエンコード後、記録再生部（ＳＤメモリなど）１０７に保存される。
【００３６】
重ね合わせ処理部ａ１０５の実行する処理について、図３に示すフローチャートを参照して説明する。
ステップＳ１０１において、Ｎ枚の画像の重ね合わせ処理を開始する。
なお、以下では、撮像装置が連続撮影したＮ＋１枚の画像のうち、位置合わせの基準となる画像データを基準フレームと呼ぶ。基準フレームは、例えばシャッタが押下された直後に撮像された１枚の画像フレームを使用する。その後のＮ枚の画像フレームが参照フレームとなる。
Ｎ＋１枚の画像のうち、重ね合わせ処理に使用されるフレームを参照フレームと呼ぶ。
【００３７】
ステップＳ１０２ではグローバル動きベクトル（ＧＭＶ）算出処理を実行する。このＧＭＶ算出処理は、基準フレームと参照フレームを入力とし、２枚のフレーム間の大域的（画像全体）な動きベクトル（Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出する処理である。例えばカメラの動きに相当する動きベクトルを求める。
【００３８】
次のステップＳ１０３では、位置合わせ処理を実行する。この位置合わせ処理は、基準フレームと、グローバル動きベクトル（ＧＭＶ）を求めた１枚の参照フレームを読み出し、ＧＭＶ算出処理において求められたＧＭＶを用いて、参照フレームを基準フレームに位置合わせする処理である。この処理、すなわちＧＭＶに基づいて参照フレームを基準フレームに位置合わせして生成した画像を動き補償画像とよぶ。
【００３９】
ステップＳ１０４では、動被写体検出処理を実行する。この処理は、基準フレームと基準フレームに位置合わせされた参照フレーム画像（動き補償画像）間の差分をとり、動被写体を検出する処理である。
【００４０】
基準フレームと、基準フレームに位置合わせされた参照フレームは、被写体がすべて静止していれば、ステップＳ１０３における位置合わせによって２つの画像の対応画素位置には同じ被写体の同一部分が撮影されていることになり、２つの画像の画素値差分はほぼ０となる。しかし、例えば被写体が車や人などの動被写体が含まれる場合は、これ等の動被写体の画素部分は、画像全体の動きベクトルである前述のＧＭＶとは異なる動きを持つ。従ってＧＭＶに基づいて位置合わせを行っても、２つの画像に含まれる動被写体を含む対応画素位置には同じ被写体の同一部分が位置しないことになり、２つの画像の画素値差分は大きくなる。
【００４１】
ステップＳ１０４では、このように、基準フレームと、基準フレームに位置合わせされた参照フレーム対応画素の差分を取得して動被写体検出処理を実行する。検出結果は、各画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）として出力する。
【００４２】
ステップＳ１０５では、ステップＳ１０４において算出した各画素単位の動き検出情報：α値に基づいて、基準フレームと、ＧＭＶに基づく位置合わせ後の参照フレーム画像（動き補償画像）の重ね合わせ（ブレンド）を実行して、重ね合わせフレーム（ブレンド画像）を生成する。
【００４３】
１枚の初期的な基準画像に対して、Ｎ枚の参照画像の重ね合わせを実行する場合は、ステップＳ１０２〜Ｓ１０６の処理をＮ回繰り返す。ステップＳ１０６において生成した重ね合わせフレームであるブレンド画像は、次の重ね合わせ処理の基準フレームとして利用される。
【００４４】
ステップＳ１０５における基準フレームと、ＧＭＶに基づく位置合わせ後の参照フレーム画像（動き補償画像）の重ね合わせ（ブレンド）処理の詳細について説明する。
Ｎ回目の重ね合わせ処理時の基準フレーム（Ｎ−１回重ね合わせ処理がされたフレーム）および参照フレーム（Ｎ＋１枚目のフレーム）の注目画素の画素値を、
基準フレーム：ｍｌｔＮ−１、
参照フレーム：ｆｒｍＮ＋１、
と表す。なお、（Ｎ−１），（Ｎ＋１）等のインデックスが大きいほど時間的に後に撮像されたことを意味する。
また、注目画素の動被写体検出結果をαとする。
以上のデータを用いたＮ回目の重ね合わせ処理時のブレンド式（式１）を以下に示す。
【００４５】
【数１】
・・・（式１）
【００４６】
上記式（式１）に従って、基準画像と、位置合わせ参照画像（動き補償画像）の対応画素の画素値をブレンドして重ね合わせフレーム（ブレンド画像）を生成する。
【００４７】
ブレンド処理は、このように、Ｎ＋１枚の静止画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、
Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、
Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して上記式に従って実行する。
【００４８】
各画素単位の動き検出情報：α値が大きい場合、すなわち静止被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が大きく設定されるが、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が小さく設定される。このようにして画素単位の動き情報に応じたブレンド処理が行われる。
【００４９】
ステップＳ１０５において、上記のブレンド処理が行われた後に、ステップＳ１０６において、さらにノイズリダクション処理を行う。
ステップＳ１０６の処理は、Ｎ＝２以上の場合に、以下の式（式２）に従って実行する画素値の平滑化を伴う画素値更新処理である。
先のステップＳ１０５におけるブレンド処理において算出したブレンド画像の画素値：ｍｌｔＮの画像を以下の式（式２）に従って更新する。
ｍｌｔＮ＝ＬＰＦ（α）※ｍｌｔＮ
・・・（式２）
【００５０】
ただし、上記式（式２）において、
※は、（ＬＰＦ（α））で定義された２次元データと、ｍｌｔＮという２次元画像との畳み込み演算（コンボルーション）を意味している。
αは、各画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）である。
ＬＰＦ（α）は、αが大きい値になればなるほど、より低域成分のみを通すローパスフィルタのフィルタ係数であり、αが小さい値のときは、ほぼ全周波数帯域（即ち、高域成分も含めて）を通すフィルタ係数である。ローパスフィルタの具体的な数値例は、例えば図４に示す３×３個の２次元データからなるローパスフィルタである。
【００５１】
図４に示すローパスフィルタは３×３画素に対応するローパスフィルタである。例えば処理画像の画像領域から更新画素を中心とした３×３画素を選択して、選択された３×３＝９画素に対して、図４に示す９個のフィルタ係数を、それぞれ乗算して、加算した結果を更新画素値とするフィルタである。
【００５２】
図４に示すように、係数は、動き検出情報：αに依存して設定される。すなわち、ＬＰＦ（α）は、αが大きい値になればなるほど、より低域成分のみを通すローパスフィルタのフィルタ係数であり、αが小さい値のときは、ほぼ全周波数帯域（即ち、高域成分も含めて）を通すフィルタ係数である。
【００５３】
すなわち、α値が大きい場合、すなわち静止被写体と推定される画素位置では、ＬＰＦ処理後の更新値は、中心画素の画素値依存度が高くなり、ＬＰＦを適用した変化率は小さくなる。
一方、α値が大きい場合、すなわち動被写体と推定される画素位置では、周囲画素の依存度が高くなり、ＬＰＦを適用した変化率が大きく表れる。すなわち画素値が平滑化される。
結果として、動被写体領域に対するノイズ低減効果がより大きくなる。
【００５４】
なお、Ｎ＝１のときは、ｍｌｔＮの更新は行わない。各画素単位の動き検出情報：α値が大きい場合、すなわち静止被写体と推定される画素位置では、ローパスフィルタの通過帯域は全周波数帯域となり、実質、画像の更新は行われないので、鮮明な画像のままとなる。一方、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置では、ローパスフィルタの通過帯域は低周波数成分のみに限定され、画像をスムーズにする処理が行われる。
【００５５】
ステップＳ１０５におけるブレンド処理は、静止被写体領域では重ね合わせによるノイズリダクション効果が十分な効果として現れるが、動被写体領域では重ね合わせによるノイズリダクション効果が少ない。
しかし、このステップＳ１０６の処理を行うことで、ブレンド処理にて重ね合わせが行われなかった部分、例えば動被写体領域についてＬＰＦによるノイズリダクションが行われ、結果として、α値によらず、すべての画素について、ノイズリダクションが行われることになる。
【００５６】
すなわち、静止被写体領域についてはステップＳ１０５における画像重ね合わせによるノイズリダクションの効果が発揮され、一方、動被写体領域については、ステップＳ１０６におけるローパスフィルタ等を適用したノイズリダクション効果が発揮されることになる。
結果として、静止被写体領域、動被写体領域のいずれの領域においてもノイズ低減効果が発揮されることになる。
【００５７】
（１−２）再生時のフルカラー画像に対する処理
続いて、フルカラー画像に対する処理例について説明する。この処理は、例えば図１に示す撮像装置１００の表示部１０９に画像を表示する場合に実行される。なお、フルカラー画像に対する重ね合わせ処理は、静止画、動画いずれに対しても可能であるが、以下の実施例では、動画に対する処理例について説明する。
【００５８】
図１に示す撮像装置１００のポスト処理部１０６では、ＲＡＷ画像からフルカラー画像に変換する色補間処理（デモザイク処理）や、ホワイトバランス、色再現性を高めるリニアマトリクス、視認性を向上する輪郭強調処理などが行われ、ＪＰＥＧなどの圧縮コーデックでエンコード（動画コーデック（Ｈ．２６４、ＭＰＥＧ−２など））後、記録再生部（ＳＤメモリなど）１０７に保存される。
【００５９】
表示部１０９には、例えば記録再生部（ＳＤメモリなど）１０７に格納済みのフルカラー画像に対応するサムネイル画像の一覧が表示される。ユーザによりあるサムネイル画像の選択、再生指示が入力されると、記録再生部１０７において選択されたサムネイルに対応する画像のデコードが行われる。デコードされた画像は例えば、ＲＧＢ等のフルカラー画像フォーマットや、輝度、色差のＹＵＶ画像フォーマットを持つ画像データとなる。デコードされた画像は重ね合わせ処理部ｂ１０８に入力される。
【００６０】
重ね合わせ処理部ｂ１０８では、フルカラー画像等のデコード画像を入力してノイズ低減や高解像化のための画像重ね合わせ処理を実行する。この重ね合わせ処理の結果が表示部１０９に送られ、表示される。
【００６１】
重ね合わせ処理部ｂ１０８の実行する処理の手順について、図５に示すフローチャートを参照して説明する。なお、以下に説明する処理例は動画の再生処理例として説明する、動画再生は一定の時間間隔で撮影された静止画を連続表示することで行われる。動画処理の再生時重ね合わせの場合は、例えば基準フレームとしては記録再生部１０７から入力する最も新しいフレームを基準フレームとし、基準フレームの前のフレームを参照フレームとする。
【００６２】
記録再生部１０７からの入力画像がフルカラーフォーマット（ＲＧＢ）で入力された時は、ステップＳ２０１において、ＲＧＢ→ＹＵＶ変換処理が実行され、輝度、色差信号に変換される。一方、ＹＵＶフォーマットで入力された時はステップＳ２０１のＲＧＢ→ＹＵＶ変換処理は省略される。
【００６３】
ステップＳ２０２では。グローバル動きベクトル（ＧＭＶ）算出処理を実行する。このＧＭＶ算出処理は、基準フレームと参照フレームを入力とし、２枚のフレーム間の大域的（画像全体）な動きベクトル（Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出する処理である。例えばカメラの動きに相当する動きベクトルを求める。
【００６４】
次のステップＳ２０３では、位置合わせ処理を実行する。この位置合わせ処理は、基準フレームと、グローバル動きベクトル（ＧＭＶ）を求めた１枚の参照フレームを読み出し、ＧＭＶ算出処理において求められたＧＭＶを用いて、参照フレームを基準フレームに位置合わせする処理である。この処理、すなわちＧＭＶに基づいて参照フレームを基準フレームに位置合わせして生成した画像を動き補償画像とよぶ。
【００６５】
ステップＳ２０４では、動被写体検出処理を実行する。この処理は、基準フレームと基準フレームに位置合わせされた参照フレーム画像（動き補償画像）間の差分をとり、動被写体を検出する処理である。検出結果は、各画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）として出力する。
【００６６】
ステップＳ２０５では、ステップＳ２０４において算出した各画素単位の動き検出情報：α値に基づいて、基準フレームと、ＧＭＶに基づく位置合わせ後の参照フレーム画像（動き補償画像）をブレンドして、重ね合わせフレーム（ブレンド画像）を生成する。
【００６７】
ステップＳ２０５におけるαブレンド処理（重ね合わせ処理）は、動被写体検出部から得られたα値に応じて、基準フレーム（Ｎ＋１枚目のフレームｆｒｍＮ＋１）と参照フレーム（Ｎ−１回目の重ね合わせフレームｍｌｔＮ−１）をブレンドする。αブレンド処理（重ね合わせ処理）に際しては、ＹＵＶフォーマットの輝度（Ｙ）信号に対してのみ重ね合わせ処理を行う。Ｎ回目の重ね合わせ処理の式（式３）を以下に示す。
【００６８】
【数２】
・・・・（式３）
【００６９】
上記式（式３）に従って、基準画像と、位置合わせ参照画像（動き補償画像）の対応画素の画素値をブレンドして重ね合わせフレーム（ブレンド画像）を生成する。
【００７０】
ブレンド処理は、このように、Ｎ＋１枚の動画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、
Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、
Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して上記式に従って実行する。
【００７１】
各画素単位の動き検出情報：α値が大きい場合、すなわち静止被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が大きく設定されるが、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が小さく設定される。このようにして画素単位の動き情報に応じたブレンド処理が行われる。
【００７２】
ステップＳ２０５において、上記のブレンド処理が行われた後に、ステップＳ２０６において、さらにノイズリダクション処理を行う。
ステップＳ２０６の処理は、Ｎ＝２以上の場合に、以下の式（式４）に従って実行する画素値の平滑化を伴う画素値更新処理である。
先のステップＳ２０５におけるブレンド処理において算出したブレンド画像の画素値：ｍｌｔＮの画像を以下の式（式４）に従って更新する。
ｍｌｔＮ＝ＬＰＦ（α）※ｍｌｔＮ
・・・（式４）
【００７３】
ただし、上記式（式４）において、
※は、（ＬＰＦ（α））で定義された２次元データと、ｍｌｔＮという２次元画像との畳み込み演算（コンボルーション）を意味している。
αは、各画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）である。
なお、上記式（式４）は先に図３のフローのステップＳ１０６の処理において説明した式（式２）と同様の式である。
【００７４】
ＬＰＦ（α）は、αが大きい値になればなるほど、より低域成分のみを通すローパスフィルタのフィルタ係数であり、αが小さい値のときは、ほぼ全周波数帯域（即ち、高域成分も含めて）を通すフィルタ係数である。ローパスフィルタの具体的な数値例は、例えば図４に示す３×３個の２次元データである。
【００７５】
なお、Ｎ＝１のときは、ｍｌｔＮの更新は行わない。各画素単位の動き検出情報：α値が大きい場合、すなわち静止被写体と推定される画素位置では、ローパスフィルタの通過帯域は全周波数帯域となり、実質、画像の更新は行われないので、鮮明な画像のままとなる。一方、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置では、ローパスフィルタの通過帯域は低周波数成分のみに限定され、画像をスムーズにする処理が行われる。
【００７６】
ステップＳ２０５におけるブレンド処理は、静止被写体領域では重ね合わせによるノイズリダクション効果が十分な効果として現れるが、動被写体領域では重ね合わせによるノイズリダクション効果が少ない。
しかし、このステップＳ２０６の処理を行うことで、ブレンド処理にて重ね合わせが行われなかった部分、例えば動被写体領域についてＬＰＦによるノイズリダクションが行われ、結果として、α値によらず、すべての画素について、ノイズリダクションが行われることになる。
【００７７】
すなわち、静止被写体領域についてはステップＳ２０５における画像重ね合わせによるノイズリダクションの効果が発揮され、一方、動被写体領域については、ステップＳ２０６におけるローパスフィルタ等を適用した画素値平滑化によるノイズリダクション効果が発揮されることになる。
結果として、静止被写体領域、動被写体領域のいずれの領域においてもノイズ低減効果が発揮されることになる。
【００７８】
ステップＳ２０６の処理によって生成される重ね合わせフレームは次の重ね合わせ処理の参照フレームとなる。次フレームである最新フレームを基準フレームとして新たな重ね合わせ処理が行われる。
【００７９】
最後に、ステップＳ２０７において、重ね合わせ処理が施された輝度信号（Ｙ）と、ＲＧＢ→ＹＵＶ変換部より出力された色差信号（ＵＶ）に対してＹＵＶ→ＲＧＢ変換処理を実行してフルカラーフォーマットに変換し、フルカラー画像を表示部１０９において表示する。
【００８０】
上述した処理例は、
（１−１）撮影時のＲＡＷ画像に対する処理
（１−２）再生時のフルカラー画像に対する処理
これらの処理例であるが、再生時のフルカラー画像に対する処理に際しては、例えば、ＲＧＢ→ＹＵＶ変換し、ＹＵＶフォーマットの輝度（Ｙ）信号に対してのみ重ね合わせ処理を行う。
このような処理を行うことで、重ね合わせ処理を実行する各画素単位の信号は、
（１−１）撮影時のＲＡＷ画像に対する処理の場合は、ＲＡＷ画像の構成画素に設定された信号（例えばＲＧＢのいずれかの信号）となる。
（１−２）再生時のフルカラー画像に対する処理の場合は、フルカラー画像を構成する各画素各々について、ＹＵＶフォーマットの輝度（Ｙ）信号のみとなる。
【００８１】
すなわち、ＲＡＷ画像に対する重ね合わせ処理、フルカラー画像に対する重ね合わせ処理もいずれの場合も画像の構成画素各々について１つの信号値を用いて処理を行うことが可能となる。
この結果、ＲＡＷ画像に対する重ね合わせ処理を実行する重ね合わせ処理部ａ１０５と、フルカラー画像に対する重ね合わせ処理を実行する重ね合わせ処理部ｂ１０８は入力信号をＲＡＷ画像の各画素値とするか、フルカラー画像の各画素の輝度値（Ｙ）とするかのみを異ならせることで、重ね合わせ処理の実行回路としては同一のものを利用することが可能となる。
【００８２】
この構成により、ＲＡＷ画像、フルカラー画像の２つの異なる画像データに対して１つの重ね合わせ処理回路を利用した処理が実現される。
【００８３】
また、本実施例においては、動被写体が投影された為に、重ね合わせ効果によるノイズリダクション効果が期待できない画素については、空間的ＬＰＦにより、ノイズリダクションを行うことで、動被写体の有無にかかわらず、全ての画素について、ノイズのない画像を出力することが出来る。
【００８４】
なお、先に従来技術として説明した特許文献１（特開２００９−１９４７００）では、重ねる枚数をカウントしておき、最後に、その枚数に依存してノイズリダクションの強弱を可変にしている。この従来技術では、重ねる枚数が少ないところは、ノイズリダクションの強めの効果をかけなくてはいけない。強めのノイズリダクションは、ＬＰＦのフィルタのタップ数（フィルタの大きさ）を大きくする必要があり、これは、回路規模や演算量の増大になってしまっていた。
【００８５】
一方、本開示によれば、ノイズリダクション処理部２０６０でのＬＰＦのフィルタのタップ数は少なくてよい。なぜなら、重ねる枚数が少ない場合には、画像が入力される毎に、ノイズリダクション処理部２０６０での処理が行わることになるからである。換言すれば、タップ数の少ないフィルタを複数回処理することになり、結果として、タップ数の多いフィルタ処理をしたことになるからである。このように、本開示の構成では、回路規模や演算量は少なくて済む。
【００８６】
なお、処理対象画像は、動画、静止画のいずれでもよい。上述の例では、静止画のＲＡＷ画像と、動画のフルカラー画像に対する処理例を説明したが、動画のＲＡＷ画像や、静止画のフルカラー画像に対しても１つの共通回路を用いた重ね合わせ処理が可能となる。具体的な回路構成については、次の項目で説明する。
【００８７】
［２．重ね合わせ処理に利用するハードウェア構成例について］
次に、重ね合わせ処理に利用するハードウェア構成例について説明する。
以下では、
（２−１）固体撮像素子からの入力画像（ＲＡＷ画像）に対する処理例
（２−２）記録再生部からの入力画像（フルカラー画像（ＹＵＶ画像））に対する処理例
これら２つの処理例について順次説明する。
なお、以下のハードウェアの説明では、ＲＡＷ画像に対する処理とフルカラー画像に対する処理が１つの共通する回路構成で実現されることとともに、本開示の構成のもう一つの特徴である、重ね合わせ処理において必要となるメモリ容量の削減処理についても説明する。
【００８８】
（２−１）固体撮像素子からの入力画像（ＲＡＷ画像）に対する処理例
まず、図６〜図１０を参照して固体撮像素子からの入力画像（ＲＡＷ画像）に対する画像重ね合わせ（ブレンド）処理の処理例について説明する。
【００８９】
図６は、図１に示す重ね合わせ処理部ａ１０５と重ね合わせ処理部ｂ１０８として利用される共通の具体的回路構成である。
【００９０】
図６に示すグローバル動きベクトル（ＧＭＶ）算出部２０３は、図３に示すフローのステップＳ１０２の処理や、図５に示すフローのステップＳ２０２の処理を実行する。
図６に示す位置合わせ処理部２０４は、図３に示すフローのステップＳ１０３の処理や、図５に示すフローのステップＳ２０３の処理を実行する。
図６に示す動被写体検出部２０５は、図３に示すフローのステップＳ１０４の処理や、図５に示すフローのステップＳ２０４の処理を実行する。
図６に示すブレンド処理部２０６は、図３に示すフローのステップＳ１０５の処理や、図５に示すフローのステップＳ２０５の処理を実行する。
図６に示すノイズリダクション処理部２０７は、図３に示すフローのステップＳ１０６の処理や、図５に示すフローのステップＳ２０６の処理を実行する。
【００９１】
図６に示す重ね合わせ処理部２００が図１に示す重ね合わせ処理部ａ１０５として機能する場合、固体撮像素子２０１（＝図１の固体撮像素子１０３）からＲＡＷ画像を入力してＲＡＷ画像の重ね合わせ処理を実行する。
一方、図１に示す重ね合わせ処理部ｂ１０８として機能する場合、記録再生部２０２（＝図１の記録再生部１０７）からＹＵＶ画像の輝度信号（Ｙ）を入力してフルカラー画像の重ね合わせ処理を実行する。
【００９２】
図６中のフレームメモリａ２１１、メモリｂ２１２はそれぞれ、
、固体撮像素子２０１（＝図１の固体撮像素子１０３）の出力するＲＡＷ画像、または、
記録再生部２０２（＝図１の記録再生部１０７）の出力するフルカラー画像を保存しておくメモリである。
【００９３】
以下では、まず、図１に示す重ね合わせ処理部ａ１０５、すなわち、図３に示すフローチャートを参照して説明した処理を実行する場合の処理例について説明する。
図６に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の処理のタイミングチャートを図７に示す。
【００９４】
図７は左から右に、時間経過、時間Ｔ０，Ｔ１，Ｔ２・・・を示している。
また、上から、以下の（１）〜（６）の各処理を示している。
（１）固体撮像素子２０１からメモリａ２１１，メモリｂ２１２に対するＲＡＷ画像の書き込み（Ｗｒｉｔｅ）処理、
（２）グローバル動きベクトル（ＧＭＶ）算出部２０３に対する固体撮像素子２０１からの画像の入力処理、
（３）グローバル動きベクトル（ＧＭＶ）算出部２０３によるメモリａ２１１からの画像の読み取り（Ｒｅａｄ）処理、
（４）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６、ノイズリダクション処理部２０７によるメモリａ２１１からの画像読み取り（Ｒｅａｄ）処理、
（５）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６、ノイズリダクション処理部２０７によるメモリｂ２１２からの画像読み取り（Ｒｅａｄ）処理、
（６）ブレンド処理部２０６、ノイズリダクション処理部２０７によるメモリａ２１１に対する画像書き込み（Ｗｒｉｔｅ）処理、
【００９５】
なお、メモリａ２１１，メモリｂ２１２に対して書き込まれる画像信号はＲＡＷ画像、またはＲＡＷ画像に基づいて生成される重ね合わせ画像であり、１つの画素に対してＲＧＢいずれか１つの画素値である。すなわち１画素について１つの信号値のみが格納される。
【００９６】
図７に示すｆｒｍ１、ｆｒｍ２、ｆｒｍ３・・・は、重ね合わせ処理において利用される重ね合わせ処理前の画像フレーム（ＲＡＷ画像）を示し、ｍｌｔ１、ｍｌｔ２、ｍｌｔ３、・・・は重ね合わせ処理のなされた画像フレームを示している。
【００９７】
画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって生成される最初の重ね合わせフレームが画像フレーム（ｍｌｔ１）である。
これは、図７に示すタイミングチャートのＴ１〜Ｔ２の（４）と（５）に示す画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって、（６）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）が生成される処理に対応する。
【００９８】
次の、タイミングＴ２〜Ｔ３では、図７に示すタイミングチャートのＴ２〜Ｔ３の（４）と（５）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）と、画像フレーム（ｆｒｍ３）によって、（６）に示す２番目の重ね合わせ画像フレーム（ｍｌｔ２）が生成される。
【００９９】
このようにして、時間経過に伴い、直前で生成された重ね合わせ画像フレーム（ｍｌｔｎ）と最新の入力画像（ｆｒｍｎ＋２）とを利用して、新たな重ね合わせ画像フレーム（ｍｌｔｎ＋１）が順次、生成され、更新されることになる。例えばＮ＋１枚の画像を利用してＮ回の重ね合わせを実行する場合には、Ｎ回の重ね合わせ処理の後に生成される重ね合わせ画像フレーム（ｍｌｔＮ）を生成して１単位の処理が終了する。
【０１００】
以下、図６に示す重ね合わせ処理部２００（＝図１の重ね合わせ処理部ａ１０５＝重ね合わせ処理部ｂ１０８）において実行するＲＡＷ画像に対する重ね合わせ処理の処理シーケンスについて、図７のタイミングチャートと、図８〜図１０の各タイミングにおける状態図を参照して説明する。
【０１０１】
シャッタが押下されるなどして、撮像を開始したタイミングＴ０〜Ｔ１（図７参照）では、図６に示す固体撮像素子２０１から出力された画像データ（ｆｒｍ１）がフレームメモリａ２１１に書き込まれる。
このタイミングＴ０〜Ｔ１の状態を示したのが図８である。
【０１０２】
続いてタイミングＴ１では、２枚目の画像データ（ｆｒｍ２）が固体撮像素子２０１より送信され、今度はフレームメモリｂ２１２に書き込まれると同時にＧＭＶ算出部２０３に入力される。同時に、１枚目の画像データ（ｆｒｍ１）がフレームメモリａ２１１よりＧＭＶ算出部２０３に入力され、ＧＭＶ算出部２０３において１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）との２フレーム間のグローバル動きベクトル（ＧＭＶ）が求められる。
このタイミングＴ１〜Ｔ２の状態を示したのが図９である。
【０１０３】
タイミングＴ２では、位置合わせ部２０４にフレームメモリｂ２１２から２枚目の画像データ（ｆｒｍ２）が入力される。
さらに、ＧＭＶ算出部２０３が算出したＧＭＶ、すなわち、タイミングＴ１〜Ｔ２で求められた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）間のＧＭＶが入力されて、この入力ＧＭＶに基づいて２枚目の画像データ（ｆｒｍ２）を、１枚目の画像データ（ｆｒｍ１）の被写体位置に合わせる位置合わせ処理が行われる。すなわち動き補償画像の生成がなされる。
【０１０４】
なお、本処理例は、静止画に対する重ね合わせ処理例である。静止画の場合は、先行画像を基準画像として後続画像を参照画像とし、後続の参照画像を先行する基準画像の位置に合わせる位置合わせを行う。
【０１０５】
位置合わせされた２枚目の画像データ（ｆｒｍ２）は、１枚目の画像データ（ｆｒｍ１）と共に動被写体検出部２０５とブレンド処理部２０６に入力される。
【０１０６】
動被写体検出部２０５は、１枚目の画像データ（ｆｒｍ１）と位置合わせされた２枚目の画像データ（ｆｒｍ２）との対応位置の画素値比較を実行して差分に応じた画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）を生成してブレンド処理部２０６に出力する。
【０１０７】
ブレンド処理部２０６は、動被写体検出部２０５において求められた画素単位の動き検出情報：α値（０＜＝α＜＝１）を用いて、１枚目の画像データ（ｆｒｍ１）と位置合わせされた２枚目の画像データ（ｆｒｍ２）とのブレンド処理を実行して重ね合わせフレームの生成を行う。
先に説明した式（式１）に従って、基準画像と、位置合わせ参照画像（動き補償画像）の対応画素の画素値をブレンドして重ね合わせフレーム（ブレンド画像）を生成する。
【０１０８】
１枚目の画像データ（ｆｒｍ１）と位置合わせされた２枚目の画像データ（ｆｒｍ２）とのブレンド処理によって生成される１枚目のブレンド画像である重ね合わせフレーム（ｍｌｔ１）が生成される。
【０１０９】
さらに、ノイズリダクション処理部２０７におけるノイズリダクション処理が実行される。すなわち、上記のブレンド処理が行われた後に、先に図３のフローにおいて説明したステップＳ１０６のノイズリダクション処理が実行される。
Ｎ＝２以上の場合に、先に説明した式（式２）に従って画素値更新処理が行われる。すなわち、例えば図４に示すような係数を持つローパスフィルタによるノイズ提言処理が実行される。このＬＰＦを適用した処理は、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置でローパスフィルタの通過帯域が低周波数成分のみに限定され、画像をスムーズにする効果が発揮されることになる。
このノイズリダクション処理部２０７の処理画像は、フレームメモリａ２１１に上書きされる。
このタイミングＴ２〜Ｔ３の状態を示したのが図１０である。
【０１１０】
図６〜図１０を参照して説明した処理から理解されるように、図６に示す重ね合わせ処理部２００を利用した重ね合わせ処理においては、２つの画像を格納する２つのメモリ、すなわちメモリａ２１１、メモリｂ２１２を利用しているのみで、任意枚数、例えばＮ枚の画像の重ね合わせ処理を実現している。
【０１１１】
このように、本実施例では、重ね合わせ枚数によらず、フレームメモリに保存される最大の枚数はフレームメモリａ，ｂ分の２枚となる。本実施例ではフレームメモリ容量を節約しつつ、Ｎ＋１枚全てをフレームメモリに保存する場合と同等の効果が得られる。
【０１１２】
（２−２）記録再生部からの入力画像（フルカラー画像（ＹＵＶ画像））に対する処理例
続いて、記録再生部からの入力画像（フルカラー画像（ＹＵＶ画像））に対する処理例について図１１〜図１３を参照して説明する。
【０１１３】
図１１は、先に図６を参照して説明した回路とほぼ同様の回路であり、図１に示す重ね合わせ処理部ａ１０５と重ね合わせ処理部ｂ１０８として利用される共通の回路構成である。ただし、重ね合わせ処理部ｂ１０８として利用する場合、結線部２５１の接続構成を変更し、さらに入力を記録再生部２０２からの入力構成に変更している。これらはこれらの結線部２５１や記録再生部２０２の接続部に設定したスイッチの切り替え等によって実現される。
【０１１４】
以下では、図１に示す重ね合わせ処理部ｂ１０８において実行する処理、すなわち、図５に示すフローチャートを参照して説明した処理を実行する場合の処理例について説明する。
図１１の重ね合わせ処理部が、フルカラー画像に基づいて生成されるＹＵＶ画像の輝度信号（Ｙ）を適用して重ね合わせ処理を実行する場合の処理のタイミングチャートを図１２に示す。
【０１１５】
図１２は、図７と同様のタイミングチャートであり、左から右に、時間経過、時間Ｔ０，Ｔ１，Ｔ２・・・を示している。
また、上から、以下の（１）〜（６）の各処理を示している。
（１）記録再生部２０２からメモリａ２１１，メモリｂ２１２に対するＹＵＶ画像中の輝度信号（Ｙ）の書き込み（Ｗｒｉｔｅ）処理、
（２）グローバル動きベクトル（ＧＭＶ）算出部２０３に対する記録再生部２０２からのＹＵＶ画像中の輝度信号（Ｙ）の入力処理、
（３）グローバル動きベクトル（ＧＭＶ）算出部２０３によるメモリａ２１１からの画像信号（輝度信号（Ｙ））の読み取り（Ｒｅａｄ）処理、
（４）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６、ノイズリダクション処理部２０７によるメモリａ２１１からの画像信号（輝度信号（Ｙ））読み取り（Ｒｅａｄ）処理、
（５）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６、ノイズリダクション処理部２０７によるメモリｂ２１２からの画像信号（輝度信号（Ｙ））読み取り（Ｒｅａｄ）処理、
（６）ブレンド処理部２０６、ノイズリダクション処理部２０７によるメモリａ２１１に対する画像信号（輝度信号（Ｙ））書き込み（Ｗｒｉｔｅ）処理、
【０１１６】
なお、メモリａ２１１，メモリｂ２１２に対して書き込まれる画像信号はＹＵＶ画像中の輝度信号（Ｙ）画像、またはＹＵＶ画像中の輝度信号（Ｙ）画像に基づいて生成される重ね合わせ画像であり、１つの画素に対して輝度信号（Ｙ）１つの画素値である。すなわち１画素について１つの信号値のみが格納される。
【０１１７】
図１２に示すｆｒｍ１、ｆｒｍ２、ｆｒｍ３・・・は、重ね合わせ処理において利用される重ね合わせ処理前の画像フレームを示し、ｍｌｔ１、ｍｌｔ２、ｍｌｔ３、・・・は重ね合わせ処理のなされた画像フレームを示している。
【０１１８】
画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって生成される最初の重ね合わせフレームが画像フレーム（ｍｌｔ１）である。
これは、図１２に示すタイミングチャートのＴ１〜Ｔ２の（４）と（５）に示す画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって、（６）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）が生成される処理に対応する。
【０１１９】
次の、タイミングＴ２〜Ｔ３では、図１２に示すタイミングチャートのＴ２〜Ｔ３の（４）と（５）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）と、画像フレーム（ｆｒｍ３）によって、（６）に示す２番目の重ね合わせ画像フレーム（ｍｌｔ２）が生成される。
【０１２０】
このようにして、時間経過に伴い、直前で生成された重ね合わせ画像フレーム（ｍｌｔｎ）と最新の入力画像（ｆｒｍｎ＋２）とを利用して、新たな重ね合わせ画像フレーム（ｍｌｔｎ＋１）が順次、生成され、更新されることになる。例えばＮ＋１枚の画像を利用してＮ回の重ね合わせを実行する場合には、Ｎ回の重ね合わせ処理の後に生成される重ね合わせ画像フレーム（ｍｌｔＮ）を生成して１単位の処理が終了する。
【０１２１】
以下、図１１に示す重ね合わせ処理部２００（＝図１の重ね合わせ処理部ｂ１０８＝重ね合わせ処理部ｂ１０５）において実行するＹＵＶ画像に対する重ね合わせ処理の処理シーケンスについて、図１２のタイミングチャートを参照して説明する。
【０１２２】
先に図６〜図１０を参照して説明したＲＡＷ画像に対する処理と異なる部分を中心として説明する。
この処理では、図１１、図１２に示すように、重ね合わせ処理部２００に対する入力は固体撮像素子２０１ではなく、記録再生部２０２から行われる。
【０１２３】
例えばユーザ選択によって選択された再生対象画像が記録再生部１０７においてメモリから選択取得され、重ね合わせ処理部２００に対して出力される。なお。記録再生部１０７は必要に応じてＲＧＢフォーマットからからＹＵＶフォーマットへのフォーマット変換が実行され、生成された輝度信号（Ｙ）がメモリａ２１１、メモリｂ２１２に供給されて処理を開始する。
【０１２４】
タイミングＴ０〜Ｔ１（図１２参照）では、図１１に示す記録再生部２０２から出力された画像データ（ｆｒｍ１）がフレームメモリａ２１１に書き込まれる。なお、本例では、フレームメモリａ２１１，フレームメモリｂ２１２へは輝度信号（Ｙ）の書き込みが行われる。
このタイミングＴ０〜Ｔ１の状態は、先に説明した図８において、記録再生部２０２からデータが出力される点が異なるものとなる。
【０１２５】
続いてタイミングＴ１では、２枚目の画像データ（ｆｒｍ２）が記録再生部２０２から出力され、今度はフレームメモリｂ２１２に書き込まれると同時にＧＭＶ算出部２０３に入力される。同時に、１枚目の画像データ（ｆｒｍ１）がフレームメモリａ２１１よりＧＭＶ算出部２０３に入力され、ＧＭＶ算出部２０３において１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）との２フレーム間のグローバル動きベクトル（ＧＭＶ）が求められる。
このタイミングＴ１〜Ｔ２の状態は、先に説明した図９において、記録再生部２０２からデータが出力される点が異なるものとなる。
【０１２６】
タイミングＴ２では、位置合わせ部２０４にフレームメモリａ２１１から１枚目の画像データ（ｆｒｍ１）が入力され、Ｔ１〜Ｔ２で求められた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）間のＧＭＶが入力されて、この入力ＧＭＶに基づいて１枚目の画像データ（ｆｒｍ１）を、２枚目の画像データ（ｆｒｍ２）の被写体位置に合わせる位置合わせ処理が行われる。すなわち動き補償画像の生成がなされる。
【０１２７】
なお、本処理例は、動画に対する重ね合わせ処理例である。動画の場合は、後続画像を基準画像として先行画像を参照画像とし、先行の参照画像を後続の基準画像の位置に合わせる位置合わせを行う。
【０１２８】
位置合わせされた１枚目の画像データ（ｆｒｍ１）は、２枚目の画像データ（ｆｒｍ２）と共に動被写体検出部２０５とブレンド処理部２０６に入力される。
【０１２９】
動被写体検出部２０５は、位置合わせされた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）との対応位置の画素値比較を実行して差分に応じた画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）を生成してブレンド処理部２０６に出力する。
【０１３０】
ブレンド処理部２０６は、動被写体検出部２０５において求められた画素単位の動き検出情報：α値（０＜＝α＜＝１）を用いて、位置合わせのなされた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）とのブレンド処理を実行して重ね合わせフレームの生成を行う。
先に説明した式（式３）に従って、基準画像と、位置合わせ参照画像（動き補償画像）の対応画素の画素値をブレンドして重ね合わせフレーム（ブレンド画像）を生成する。
【０１３１】
位置合わせのなされた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）とのブレンド処理によって生成される１枚目のブレンド画像である重ね合わせフレーム（ｍｌｔ１）が生成される。
【０１３２】
さらに、ノイズリダクション処理部２０７におけるノイズリダクション処理が実行される。すなわち、上記のブレンド処理が行われた後に、先に図３のフローにおいて説明したステップＳ１０６のノイズリダクション処理が実行される。
Ｎ＝２以上の場合に、先に説明した式（式４）に従って画素値更新処理が行われる。すなわち、例えば図４に示すような係数を持つローパスフィルタによるノイズ提言処理が実行される。このＬＰＦを適用した処理は、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置でローパスフィルタの通過帯域が低周波数成分のみに限定され、画像をスムーズにする効果が発揮されることになる。
このノイズリダクション処理部２０７の処理画像は、フレームメモリａ２１１に上書きされ、かつ表示部１０９に出力される。
このタイミングＴ２〜Ｔ３の状態を示したのが図１３である。
【０１３３】
図６〜図１０を参照して説明したＲＡＷ画像に対する重ね合わせ処理、さらに、図１１〜図１３を参照して説明したフルカラー画像に対する重ね合わせ処理から理解されるように、図６、図１１に示す共通の重ね合わせ処理部２００を利用してＲＡＷ画像に対する重ね合わせ処理と、フルカラー画像に対する重ね合わせ処理が実行される。
【０１３４】
さらに、これ等の異なる画像に対する重ね合わせ処理においては、２つの画像を格納する２つのメモリ、すなわちメモリａ２１１、メモリｂ２１２を利用しているのみで、任意枚数、例えばＮ枚の画像の重ね合わせ処理が実現される。
【０１３５】
［３．その他の実施例］
次にその他の実施例について説明する。
（３−１）高解像度化処理部を設定した実施例
まず、図１４を参照して重ね合わせ処理部に高解像度化処理部を設定した実施例について説明する。
【０１３６】
図１４に示す重ね合わせ処理部３００は、先に図６、図１１を参照して説明した重ね合わせ処理部２００に高解像度化処理部３０１、画像サイズ調整部３０２，３０３を追加した構成である。図１に示す重ね合わせ処理部ａ１０５と重ね合わせ処理部ｂ１０８として利用される共通の回路構成である。ただし、静止画に対する重ね合わせ処理部ａ１０５として利用する場合、結線部３５１の接続構成を、図６を参照して説明したと同様に設定（図１４の結線部３５１の点線）する。また、動画に対する重ね合わせ処理部ｂ１０８として利用する場合、結線部３５１の接続構成を図１１を参照して説明したと同様に設定（図１４の結線部３５１の実線）する。
【０１３７】
さらに入力画像についても、静止画に対する重ね合わせ処理部ａ１０５として利用する場合、固体撮像素子２０１からの入力設定とし、動画に対する重ね合わせ処理部ｂ１０８として利用する場合、記録再生部２０２からの入力構成に変更する。これらはこれらの結線部３５１や、固体撮像素子２０１と記録再生部２０２の接続部に設定したスイッチの切り替え等によって実現される。
【０１３８】
高解像度化処理部３０１は、解像度変換を行う。アップサンプル部１１では、例えば１画素を４画素に設定する等の処理等の拡大画像の生成手法を適用して解像度変換を行う。
【０１３９】
画像サイズ調整部３０２は、メモリａ２１１からの入力画像を、ＧＭＶ算出部２０３でのＧＭＶ算出対象となる記録再生部２０２からの入力画像のサイズに合わせる処理を行う。これは、高解像度化処理部３０１における高解像度化に際して、画像の拡大が行われる場合があり、この拡大された画像をＧＭＶ算出部２０３でのＧＭＶ算出対象となる記録再生部２０２からの入力画像のサイズに合わせるための処理である。
【０１４０】
画像サイズ調整部３０３も、その後の処理で実行される画像の位置合わせ等のために２つの画像のサイズを調整する処理を行う。
【０１４１】
本実施例で実行するシーケンスは、以下のようになる。
ＲＡＷ画像に対する処理では、先に図３を参照して説明したフローチャートに従った処理を基本処理とし、ステップＳ１０３とステップＳ１０４の間に高解像度化処理を実行する。さらに、各ステップの前段に必要に応じて画像サイズ調整処理を実行する設定となる。
【０１４２】
また、フルカラー画像に対する処理では、先に図５を参照して説明したフローチャートに従った処理を基本処理とし、ステップＳ２０３とステップＳ２０４の間に高解像度化処理を実行する。さらに、各ステップの前段に必要に応じて画像サイズ調整処理を実行する設定となる。
【０１４３】
本実施例では、入力フレームを高解像度化後に重ね合わせ処理を行う。これにより、拡大によって生ずる、エッジ部のジャギー（ぎざぎざ）を低減することができる。なお、ＧＭＶ算出部２０３で得られたＧＭＶは高解像度画像の動き量に変換して使用する。
また、本実施例の変形として、高解像度化によるぼけを補償するため、入力フレームにラプラシアンフィルタなどのＨＰＦをかける構成としてもよい。
【０１４４】
（３−２）ＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶをフルカラー画像の重ね合わせ処理に際して利用する実施例
次に、ＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶをフルカラー画像の重ね合わせ処理に際して利用する実施例について説明する。
【０１４５】
先に説明した実施例では、ＲＡＷ画像の重ね合わせ処理においてもＧＭＶの算出を逐次実行しており、さらにフルカラー画像の重ね合わせ処理においてもＧＭＶの算出処理を逐次、実行する構成としていた。
【０１４６】
しかし、フルカラー画像はＲＡＷ画像から生成したものであり、ＧＭＶの算出対象となる２つの画像のペアがおなじであればＲＡＷ画像から算出したＧＭＶもフルカラー画像から算出したＧＭＶも同じになるはずである。従って、例えば撮影の際にＲＡＷ画像の重ね合わせ処理において算出したＧＭＶを各画像に対応づけたデータとしてメモリに記録しておけば、フルカラー画像の重ね合わせ処理に際して、このＧＭＶデータを取得することが可能となり、新たにＧＭＶを算出する処理を行う必要がなくなり処理が簡略化され高速化することがてきる。
【０１４７】
この処理を実行する画像処理装置の構成例を図１５に示す。
図１５は、本開示の画像処理装置の一例である撮像装置５００の構成例を示している。撮像装置５００は、先に説明した図１に示す画像処理装置１００と同様、画像撮影時に、撮影されるＲＡＷ画像、およびＲＡＷ画像に基づいて生成されたフルカラー画像に対して、ノイズ低減あるいは高解像化を実現するための画像重ね合わせ処理を行う。
【０１４８】
ＲＡＷ画像に対する重ね合わせ処理を実行するのが図１５に示す撮像装置５００の重ね合わせ処理部ａ１０５である。フルカラー画像に対する重ね合わせ処理を実行するのが図１５に示す撮像装置５００の重ね合わせ処理部ｂ１０８である。これらは２つのブロックとして示してあるが、先に説明したように共通の回路を利用して構成される。
【０１４９】
図１を参照して説明した画像処理装置１００との差異は、図１５に示す画像処理装置５００は、ＧＭＶ記録部５０１を有する点である。
【０１５０】
ＧＭＶ記録部５０１は、重ね合わせ処理部ａ１０５において実行するＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶを記録する記憶部（メモリ）である。フルカラー画像に対する重ね合わせ処理を実行する重ね合わせ処理部ｂ１０８は、ＧＭＶ算出を実行せず、ＧＭＶ記録部５０１に記録されたＧＭＶを利用する。
【０１５１】
ＧＭＶ記録部５０１には、ＧＭＶのデータが、ＧＭＶ算出のなされた２つの画像フレーム識別子情報に対応づけて格納される。フルカラー画像に対する重ね合わせ処理を実行する重ね合わせ処理部ｂ１０８は、ＧＭＶ算出対象となる画像のペアの識別子に基づいてＧＭＶ記録部５０１に記録されたＧＭＶを選択して利用する。
【０１５２】
この実施例によれば、フルカラー画像の重ね合わせ処理に際して、このＧＭＶデータを取得することが可能となり、新たにＧＭＶを算出する処理を行う必要がなくなり処理が簡略化され高速化することがてきる。また、コーデック前の画像を使うことで、ＧＭＶの精度を向上させることができるというメリットもある。
【０１５３】
［４．画像処理装置のハードウェア構成例について］
最後に、図１６を参照して、上述した処理を実行する画像処理装置の１つのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、または記憶部９０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した画像重ね合わせ（ブレンド）処理やＬＰＦ（ローパスフィルタ）によるによるノイズ低減や高解像化のための画像処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３には、ＣＰＵ９０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、バス９０４により相互に接続されている。
【０１５４】
ＣＰＵ９０１はバス９０４を介して入出力インタフェース９０５に接続され、入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。ＣＰＵ９０１は、入力部９０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部９０７に出力する。
【０１５５】
入出力インタフェース９０５に接続されている記憶部９０８は、例えばハードディスクからなり、ＣＰＵ９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１５６】
入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９０８に転送され記憶される。
【０１５７】
［５．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１５８】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有し、
前記重ね合わせ処理部は、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出部と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理部と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理部と、
を有する画像処理装置。
【０１５９】
（２）前記ノイズリダクション処理部は、ローパスフィルタを適用した画素値更新処理を実行する前記（１）に記載の画像処理装置。
（３）前記ノイズリダクション処理部は、動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する前記（１）または（２）に記載の画像処理装置。
（４）前記重ね合わせ処理部は、連続撮影された複数の画像のグローバル動きベクトル（ＧＭＶ）を算出するＧＭＶ算出部と、前記グローバル動きベクトル（ＧＭＶ）に従って、参照画像の被写体位置を基準画像の位置に合わせた動き補償画像を生成する位置合わせ処理部を有し、前記動被写体検出部は、前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を取得し、前記ブレンド処理部は、前記基準画像と動き補償画像とを前記動被写体情報に基づくブレンド比率に基づいてブレンドして重ね合わせ画像を生成する前記（１）〜（３）いずれかに記載の画像処理装置。
【０１６０】
（５）前記動被写体検出部は、前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を示すα値を画素単位の動被写体情報として算出し、前記ブレンド処理部は、前記α値の値に応じて動被写体である可能性の高い画素については前記動き補償画像のブレンド比率を低くし、動被写体である可能性の低い画素については前記動き補償画像のブレンド比率を高く設定したブレンド処理を実行する前記（４）に記載の画像処理装置。
【０１６１】
（６）前記重ね合わせ処理部は、処理対象画像の高解像化処理を実行する高解像度化処理部を有し、前記ブレンド処理部は、前記高解像度化処理部において高解像度化された画像の重ね合わせを実行する前記（４）または（５）に記載の画像処理装置。
（７）前記画像処理装置は、前記ＧＭＶ算出部がＲＡＷ画像に基づいて算出した画像のグローバル動きベクトル（ＧＭＶ）を格納するＧＭＶ記録部を有し、前記重ね合わせ処理部がフルカラー画像を処理対象とした重ね合わせ処理を実行する際に前記ＧＭＶ記録部に格納されたグローバル動きベクトル（ＧＭＶ）を利用して処理を行う前記（４）〜（６）いずれかに記載の画像処理装置。
【０１６２】
（８）前記重ね合わせ処理部は、処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行う構成であり、２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行う前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記重ね合わせ処理部は、前記メモリの一部に、重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用する処理を行う前記（８）に記載の画像処理装置。
（１０）前記重ね合わせ処理部は、ＲＡＷ画像を処理対象とする場合は前記メモリにＲＡＷ画像の各画素対応の画素値データを格納し、ＲＡＷ画像の各画素対応の画素値データに基づく重ね合わせ処理を実行し、フルカラー画像を処理対象とする場合は前記メモリに各画素対応の輝度信号値データを格納し、フルカラー画像の各画素対応の輝度値データに基づく重ね合わせ処理を実行する前記（８）または（９）に記載の画像処理装置。
【０１６３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１６４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１６５】
以上、説明したように、本開示の一実施例の構成によれば、動被写体領域と静止被写体領域の双方について効果的なノイズ低減を実行する装置および方法が実現される。
具体的には、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有する。重ね合わせ処理部は、画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成し、動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成し、さらに重ね合わせ画像に対して、動被写体情報に基づいて、動被写体領域においてより強いノイズリダクション処理を実行する。ノイズリダクション処理においては、例えば動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する。
これらの処理により動被写体領域、静止被写体領域の双方においてノイズリダクションのなされた画像を生成することが可能となる。
【符号の説明】
【０１６６】
１００ 画像処理装置
１０１ ユーザ入力部
１０２ レンズ
１０３ 固体撮像素子
１０４ プリ処理部
１０５ 重ね合わせ処理部ａ
１０６ ポスト処理部
１０７ 記録再生部
１０８ 重ね合わせ処理部ｂ
１０９ 表示部
２００ 重ね合わせ処理部
２０１ 固体撮像素子
２０２ 記録再生部
２０３ ＧＭＶ算出部
２０４ 位置合わせ処理部
２０５ 動被写体検出部
２０６ ブレンド処理部
２０７ ノイズリダクション処理部
２１１，２１２ メモリ
３００ 重ね合わせ処理部
３０１ 高解像度化処理部
３０２，３０３ 画像サイズ調整部
５００ 画像処理装置
５０１ ＧＭＶ記録部
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４ バス
９０５ 入出力インタフェース
９０６ 入力部
９０７ 出力部
９０８ 記憶部
９０９ 通信部
９１０ ドライブ
９１１ リムーバブルメディア
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像のノイズ低減や解像度を高める処理を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像のノイズ低減処理（ＮＲ：Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）、あるいは低解像度の画像から高解像度の画像を生成する例えば超解像処理（ＳＲ：Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）と呼ばれる高解像化処理などの画像処理を実行する場合、例えば同じ被写体を含む連続撮影された複数枚の画像を適用した処理が行われる。なお、複数の画像を利用したノイズ低減等の画像処理技術を開示した従来技術としては、例えば、特許文献１（特開２００９−１９４７００）、あるいは特許文献２（特開２００９−２９０８２７号公報）等がある。
【０００３】
特許文献１（特開２００９−１９４７００）には、複数枚の画像を画像間の動き情報を参考に重ね合わせることでノイズ低減を図る撮像装置について開示している。特に、加算枚数が少ない部分に残留するノイズを除去する方法について開示している。具体的には、加算の程度に応じてノイズ除去フィルタ特性を変えた処理を行っている。画素毎に加算された枚数を記憶しておき、加算終了後にその枚数に応じたコアリング設定をおこなって、高周波の色ノイズを除去するよう構成されているが、画素ごとに加算枚数の記録を行う記憶領域が必要であるのと、加算枚数に応じたコアリング設定を用意する必要があるために、加算枚数・画素数が増えた場合にそれに応じて記憶領域・回路規模が増加してしまう問題があった。また、このような加算終了後のノイズ除去処理では、低周波の色ノイズの除去を行う場合に大きなタップのフィルタ処理を必要とするなど、回路規模上の問題がある。
【０００４】
ノイズ低減処理、あるいは高解像化処理を行う場合、より多くの画像を利用することで、効果的なノイズ低減や高解像化が実現されることが知られている。従って、高品質の画像を生成する装置には、多くの枚数の画像を格納するメモリが必要となる。
【０００５】
しかし、画像格納メモリを画像処理装置に多数、備えることはハードウェアの大型化やコスト高を招くことになる。従って、小型化や低コストの要請が大きい撮像装置に、このような多数のメモリを備えるのは難しいという問題がある。
【０００６】
また、画像内に動く被写体、すなわち動被写体領域がある場合、複数の画像の重ね合わせを行ってもノイズの低減効果は少なく、かえってノイズを増加させてしまう場合があるといった問題がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１９４７００号公報
【特許文献２】特開２００９−２９０８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本開示は、例えば上記問題点に鑑みてなされたものであり、簡略化したハードウェア構成を用いて、複数の画像を利用した重ね併せ処理によるノイズ低減あるいは高解像化処理を実現可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【０００９】
また、本開示の一実施例では、動被写体と推定される領域については例えばＬＰＦ（ローパスフィルタ）を適用したノイズ低減処理を実行する構成としてして、動被写体領域においてもノイズの少ない画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本開示の第１の側面は、
複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有し、
前記重ね合わせ処理部は、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出部と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理部と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理部と、
を有する画像処理装置にある。
【００１１】
さらに、本開示の画像処理装置の一実施態様において、前記ノイズリダクション処理部は、ローパスフィルタを適用した画素値更新処理を実行する。
【００１２】
さらに、本開示の画像処理装置の一実施態様において、前記ノイズリダクション処理部は、動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する。
【００１３】
さらに、本開示の画像処理装置の一実施態様において、前記重ね合わせ処理部は、連続撮影された複数の画像のグローバル動きベクトル（ＧＭＶ）を算出するＧＭＶ算出部と、前記グローバル動きベクトル（ＧＭＶ）に従って、参照画像の被写体位置を基準画像の位置に合わせた動き補償画像を生成する位置合わせ処理部を有し、前記動被写体検出部は、前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を取得し、前記ブレンド処理部は、前記基準画像と動き補償画像とを前記動被写体情報に基づくブレンド比率に基づいてブレンドして重ね合わせ画像を生成する。
【００１４】
さらに、本開示の画像処理装置の一実施態様において、前記動被写体検出部は、前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を示すα値を画素単位の動被写体情報として算出し、前記ブレンド処理部は、前記α値の値に応じて動被写体である可能性の高い画素については前記動き補償画像のブレンド比率を低くし、動被写体である可能性の低い画素については前記動き補償画像のブレンド比率を高く設定したブレンド処理を実行する。
【００１５】
さらに、本開示の画像処理装置の一実施態様において、前記重ね合わせ処理部は、処理対象画像の高解像化処理を実行する高解像度化処理部を有し、前記ブレンド処理部は、前記高解像度化処理部において高解像度化された画像の重ね合わせを実行する。
【００１６】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記ＧＭＶ算出部がＲＡＷ画像に基づいて算出した画像のグローバル動きベクトル（ＧＭＶ）を格納するＧＭＶ記録部を有し、前記重ね合わせ処理部がフルカラー画像を処理対象とした重ね合わせ処理を実行する際に前記ＧＭＶ記録部に格納されたグローバル動きベクトル（ＧＭＶ）を利用して処理を行う。
【００１７】
さらに、本開示の画像処理装置の一実施態様において、前記重ね合わせ処理部は、処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行う構成であり、２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行う。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記重ね合わせ処理部は、前記メモリの一部に、重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用する処理を行う。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記重ね合わせ処理部は、ＲＡＷ画像を処理対象とする場合は前記メモリにＲＡＷ画像の各画素対応の画素値データを格納し、ＲＡＷ画像の各画素対応の画素値データに基づく重ね合わせ処理を実行し、フルカラー画像を処理対象とする場合は前記メモリに各画素対応の輝度信号値データを格納し、フルカラー画像の各画素対応の輝度値データに基づく重ね合わせ処理を実行する。
【００２０】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
重ね合わせ処理部が、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを実行し、
前記重ね合わせ処理ステップは、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出処理と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理を実行する画像処理方法にある。
【００２１】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
重ね合わせ処理部に、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを実行させ、
前記重ね合わせ処理ステップにおいて、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出処理と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理を実行させるプログラムにある。
【００２２】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２３】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２４】
本開示の一実施例の構成によれば、動被写体領域と静止被写体領域の双方について効果的なノイズ低減を実行する装置および方法が実現される。
具体的には、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有する。重ね合わせ処理部は、画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成し、動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成し、さらに重ね合わせ画像に対して、動被写体情報に基づいて、動被写体領域においてより強いノイズリダクション処理を実行する。ノイズリダクション処理においては、例えば動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する。
これらの処理により動被写体領域、静止被写体領域の双方においてノイズリダクションのなされた画像を生成することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本開示の画像処理装置の一例である撮像装置１００の構成例を示す図である。
【図２】ベイヤー配列について説明する図である。
【図３】重ね合わせ処理部ａ１０５の実行する処理について説明するフローチャートを示す図である。
【図４】ノイズリダクション処理部の適用するフィルタの構成例について説明する図である。
【図５】重ね合わせ処理部ａ１０８の実行する処理について説明するフローチャートを示す図である。
【図６】固体撮像素子からの入力画像（ＲＡＷ画像）に対する画像重ね合わせ（ブレンド）処理を実行する重ね合わせ処理部の構成と処理について説明する図である。
【図７】図６に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の処理のタイミングチャートを示す図である。
【図８】図６に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。
【図９】図６に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。
【図１０】図６に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。
【図１１】記録再生部からの出力画像に対する画像重ね合わせ（ブレンド）処理を実行する重ね合わせ処理部の構成と処理について説明する図である。
【図１２】図１１に示す重ね合わせ処理部が、フルカラー画像の重ね合わせ処理を実行する場合の処理のタイミングチャートを示す図である。
【図１３】図１１に示す重ね合わせ処理部が、フルカラー画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。
【図１４】高解像度化処理部を備えた重ね合わせ処理部の構成と処理について説明する図である。
【図１５】ＧＭＶ記録部を備えた画像処理装置の構成について説明する図である。
【図１６】本開示の画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．ＲＡＷ画像とフルカラー画像の重ね合わせ処理を同一回路で実行する実施例
（１−１）撮影時のＲＡＷ画像に対する処理
（１−２）再生時のフルカラー画像に対する処理
２．重ね合わせ処理に利用するハードウェア構成例について
（２−１）固体撮像素子からの入力画像（ＲＡＷ画像）に対する処理例
（２−２）記録再生部からの入力画像（ＹＵＶ画像）に対する処理例
３．その他の実施例
（３−１）高解像度化処理部を設定した実施例
（３−２）ＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶをフルカラー画像の重ね合わせ処理に際して利用する実施例
４．画像処理装置のハードウェア構成例について
５．本開示の構成のまとめ
【００２７】
［１．ＲＡＷ画像とフルカラー画像の重ね合わせ処理を同一回路で実行する実施例］
まず、本開示の画像処理装置の第１実施例として、ＲＡＷ画像とフルカラー画像の重ね合わせ処理を同一回路で実行する実施例について説明する。
なお、本開示の画像処理装置は、たとえば撮像装置、あるいはＰＣ等において実現されるが。以下では、本開示に従った画像処理を撮像装置において実行する場合の処理例について説明する。
図１は、本開示の画像処理装置の一例である撮像装置１００の構成例を示している。撮像装置１００は、画像撮影時に、撮影されるＲＡＷ画像、すなわちモザイク画像を入力して、ノイズ低減あるいは高解像化を実現するための画像重ね合わせ処理を行う。
このＲＡＷ画像に対する重ね合わせ処理を実行するのが図１に示す撮像装置１００の重ね合わせ処理部ａ１０５である。
【００２８】
また、本開示の画像処理装置の一例である撮像装置１００は、ＲＡＷ画像に基づいて生成されたフルカラー画像に対して、ノイズ低減あるいは高解像化を実現するための画像重ね合わせ処理を行う。
このフルカラー画像に対する重ね合わせ処理を実行するのが図１に示す撮像装置１００の重ね合わせ処理部ｂ１０８である。
【００２９】
なお、重ね合わせ処理部ａ１０５と、重ね合わせ処理部ｂ１０８は、図１においては、別ブロックとして示しているが、これらは共通のハードウェアを利用した回路構成として設定される。具体的な回路構成については後段で説明する。
【００３０】
以下では、まず、
（１−１）撮影時のＲＡＷ画像に対する処理
（１−２）再生時のフルカラー画像に対する処理
これらの処理について順次説明する。
【００３１】
（１−１）撮影時のＲＡＷ画像に対する処理
まず、図１を参照して、本開示の画像処理装置の一例である撮像装置において、撮像時にＮ＋１枚のＲＡＷ画像を重ね合わせる処理について説明する。Ｎは１以上の整数である。なお、ＲＡＷ画像に対する重ね合わせ処理は、静止画、動画いずれに対しても可能であるが、以下の実施例では、静止画に対する処理例について説明する。
【００３２】
図１は、本開示の画像処理装置の一構成例としての撮像装置１００の構成を示している。シャッタ等のユーザ入力部１００の操作により、撮像を開始したタイミングで、固体撮像素子１０３は、レンズ（光学系）１０２から入射された光学像を２次元の電気信号（以下、画像データ）に変換する。なお。固体撮像素子１０３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）である。
【００３３】
単板方式固体撮像素子の場合は、出力は例えば図２に示すベイヤー配列のＲＡＷ画像となる。すなわち、カラーフィルタの構成に応じたＲＧＢのいずれかの信号のみが、各画素の信号として生成される。この画像は例えばモザイク画像と呼ばれ、このモザイク画像を利用して、全ての画素にＲＧＢの全画素値を設定する補間処理によってフルカラー画像が生成される。なお、この画素値補間処理は、例えばデモザイク処理と呼ばれる。
【００３４】
前述したように、ノイズ低減処理、あるいは高解像化処理を行う場合、同じ被写体を含むより多くの画像を利用することで、効果的なノイズ低減や高解像化が実現されることが知られている。たとえば、これらのノイズ低減や高解像化のための画像処理に、例えばＮ＋１枚の画像を利用する場合は、Ｎ＋１枚の画像を連続撮影して、Ｎ＋１枚のＲＡＷ画像を撮影し、Ｎ＋１枚のＲＡＷ画像を適用した処理、あるいはＮ＋１枚のＲＡＷ画像を適用して生成したＮ＋１枚のフルカラー画像を適用した処理を行う。
【００３５】
プリ処理部１０４では、撮影画像に含まれる例えば縦筋、横筋補正などイメージセンサの欠陥を補正する処理が行われる。プリ処理部１０４から出力された画像は、重ね合わせ処理部ａ１０５に入力され、Ｎ＋１枚の画像の重ね合わせ処理を行う。ポスト処理部１０６では、ＲＡＷ画像からフルカラー画像に変換する色補間処理（デモザイク処理）や、ホワイトバランス、色再現性を高めるリニアマトリクス、視認性を向上する輪郭強調処理などが行われ、ＪＰＥＧなどの圧縮コーデックでエンコード後、記録再生部（ＳＤメモリなど）１０７に保存される。
【００３６】
重ね合わせ処理部ａ１０５の実行する処理について、図３に示すフローチャートを参照して説明する。
ステップＳ１０１において、Ｎ枚の画像の重ね合わせ処理を開始する。
なお、以下では、撮像装置が連続撮影したＮ＋１枚の画像のうち、位置合わせの基準となる画像データを基準フレームと呼ぶ。基準フレームは、例えばシャッタが押下された直後に撮像された１枚の画像フレームを使用する。その後のＮ枚の画像フレームが参照フレームとなる。
Ｎ＋１枚の画像のうち、重ね合わせ処理に使用されるフレームを参照フレームと呼ぶ。
【００３７】
ステップＳ１０２ではグローバル動きベクトル（ＧＭＶ）算出処理を実行する。このＧＭＶ算出処理は、基準フレームと参照フレームを入力とし、２枚のフレーム間の大域的（画像全体）な動きベクトル（Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出する処理である。例えばカメラの動きに相当する動きベクトルを求める。
【００３８】
次のステップＳ１０３では、位置合わせ処理を実行する。この位置合わせ処理は、基準フレームと、グローバル動きベクトル（ＧＭＶ）を求めた１枚の参照フレームを読み出し、ＧＭＶ算出処理において求められたＧＭＶを用いて、参照フレームを基準フレームに位置合わせする処理である。この処理、すなわちＧＭＶに基づいて参照フレームを基準フレームに位置合わせして生成した画像を動き補償画像とよぶ。
【００３９】
ステップＳ１０４では、動被写体検出処理を実行する。この処理は、基準フレームと基準フレームに位置合わせされた参照フレーム画像（動き補償画像）間の差分をとり、動被写体を検出する処理である。
【００４０】
基準フレームと、基準フレームに位置合わせされた参照フレームは、被写体がすべて静止していれば、ステップＳ１０３における位置合わせによって２つの画像の対応画素位置には同じ被写体の同一部分が撮影されていることになり、２つの画像の画素値差分はほぼ０となる。しかし、例えば被写体が車や人などの動被写体が含まれる場合は、これ等の動被写体の画素部分は、画像全体の動きベクトルである前述のＧＭＶとは異なる動きを持つ。従ってＧＭＶに基づいて位置合わせを行っても、２つの画像に含まれる動被写体を含む対応画素位置には同じ被写体の同一部分が位置しないことになり、２つの画像の画素値差分は大きくなる。
【００４１】
ステップＳ１０４では、このように、基準フレームと、基準フレームに位置合わせされた参照フレーム対応画素の差分を取得して動被写体検出処理を実行する。検出結果は、各画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）として出力する。
【００４２】
ステップＳ１０５では、ステップＳ１０４において算出した各画素単位の動き検出情報：α値に基づいて、基準フレームと、ＧＭＶに基づく位置合わせ後の参照フレーム画像（動き補償画像）の重ね合わせ（ブレンド）を実行して、重ね合わせフレーム（ブレンド画像）を生成する。
【００４３】
１枚の初期的な基準画像に対して、Ｎ枚の参照画像の重ね合わせを実行する場合は、ステップＳ１０２〜Ｓ１０６の処理をＮ回繰り返す。ステップＳ１０６において生成した重ね合わせフレームであるブレンド画像は、次の重ね合わせ処理の基準フレームとして利用される。
【００４４】
ステップＳ１０５における基準フレームと、ＧＭＶに基づく位置合わせ後の参照フレーム画像（動き補償画像）の重ね合わせ（ブレンド）処理の詳細について説明する。
Ｎ回目の重ね合わせ処理時の基準フレーム（Ｎ−１回重ね合わせ処理がされたフレーム）および参照フレーム（Ｎ＋１枚目のフレーム）の注目画素の画素値を、
基準フレーム：ｍｌｔＮ−１、
参照フレーム：ｆｒｍＮ＋１、
と表す。なお、（Ｎ−１），（Ｎ＋１）等のインデックスが大きいほど時間的に後に撮像されたことを意味する。
また、注目画素の動被写体検出結果をαとする。
以上のデータを用いたＮ回目の重ね合わせ処理時のブレンド式（式１）を以下に示す。
【００４５】
【数１】
・・・（式１）
【００４６】
上記式（式１）に従って、基準画像と、位置合わせ参照画像（動き補償画像）の対応画素の画素値をブレンドして重ね合わせフレーム（ブレンド画像）を生成する。
【００４７】
ブレンド処理は、このように、Ｎ＋１枚の静止画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、
Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、
Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して上記式に従って実行する。
【００４８】
各画素単位の動き検出情報：α値が大きい場合、すなわち静止被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が大きく設定されるが、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が小さく設定される。このようにして画素単位の動き情報に応じたブレンド処理が行われる。
【００４９】
ステップＳ１０５において、上記のブレンド処理が行われた後に、ステップＳ１０６において、さらにノイズリダクション処理を行う。
ステップＳ１０６の処理は、Ｎ＝２以上の場合に、以下の式（式２）に従って実行する画素値の平滑化を伴う画素値更新処理である。
先のステップＳ１０５におけるブレンド処理において算出したブレンド画像の画素値：ｍｌｔＮの画像を以下の式（式２）に従って更新する。
ｍｌｔＮ＝ＬＰＦ（α）※ｍｌｔＮ
・・・（式２）
【００５０】
ただし、上記式（式２）において、
※は、（ＬＰＦ（α））で定義された２次元データと、ｍｌｔＮという２次元画像との畳み込み演算（コンボルーション）を意味している。
αは、各画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）である。
ＬＰＦ（α）は、αが大きい値になればなるほど、より低域成分のみを通すローパスフィルタのフィルタ係数であり、αが小さい値のときは、ほぼ全周波数帯域（即ち、高域成分も含めて）を通すフィルタ係数である。ローパスフィルタの具体的な数値例は、例えば図４に示す３×３個の２次元データからなるローパスフィルタである。
【００５１】
図４に示すローパスフィルタは３×３画素に対応するローパスフィルタである。例えば処理画像の画像領域から更新画素を中心とした３×３画素を選択して、選択された３×３＝９画素に対して、図４に示す９個のフィルタ係数を、それぞれ乗算して、加算した結果を更新画素値とするフィルタである。
【００５２】
図４に示すように、係数は、動き検出情報：αに依存して設定される。すなわち、ＬＰＦ（α）は、αが大きい値になればなるほど、より低域成分のみを通すローパスフィルタのフィルタ係数であり、αが小さい値のときは、ほぼ全周波数帯域（即ち、高域成分も含めて）を通すフィルタ係数である。
【００５３】
すなわち、α値が大きい場合、すなわち静止被写体と推定される画素位置では、ＬＰＦ処理後の更新値は、中心画素の画素値依存度が高くなり、ＬＰＦを適用した変化率は小さくなる。
一方、α値が大きい場合、すなわち動被写体と推定される画素位置では、周囲画素の依存度が高くなり、ＬＰＦを適用した変化率が大きく表れる。すなわち画素値が平滑化される。
結果として、動被写体領域に対するノイズ低減効果がより大きくなる。
【００５４】
なお、Ｎ＝１のときは、ｍｌｔＮの更新は行わない。各画素単位の動き検出情報：α値が大きい場合、すなわち静止被写体と推定される画素位置では、ローパスフィルタの通過帯域は全周波数帯域となり、実質、画像の更新は行われないので、鮮明な画像のままとなる。一方、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置では、ローパスフィルタの通過帯域は低周波数成分のみに限定され、画像をスムーズにする処理が行われる。
【００５５】
ステップＳ１０５におけるブレンド処理は、静止被写体領域では重ね合わせによるノイズリダクション効果が十分な効果として現れるが、動被写体領域では重ね合わせによるノイズリダクション効果が少ない。
しかし、このステップＳ１０６の処理を行うことで、ブレンド処理にて重ね合わせが行われなかった部分、例えば動被写体領域についてＬＰＦによるノイズリダクションが行われ、結果として、α値によらず、すべての画素について、ノイズリダクションが行われることになる。
【００５６】
すなわち、静止被写体領域についてはステップＳ１０５における画像重ね合わせによるノイズリダクションの効果が発揮され、一方、動被写体領域については、ステップＳ１０６におけるローパスフィルタ等を適用したノイズリダクション効果が発揮されることになる。
結果として、静止被写体領域、動被写体領域のいずれの領域においてもノイズ低減効果が発揮されることになる。
【００５７】
（１−２）再生時のフルカラー画像に対する処理
続いて、フルカラー画像に対する処理例について説明する。この処理は、例えば図１に示す撮像装置１００の表示部１０９に画像を表示する場合に実行される。なお、フルカラー画像に対する重ね合わせ処理は、静止画、動画いずれに対しても可能であるが、以下の実施例では、動画に対する処理例について説明する。
【００５８】
図１に示す撮像装置１００のポスト処理部１０６では、ＲＡＷ画像からフルカラー画像に変換する色補間処理（デモザイク処理）や、ホワイトバランス、色再現性を高めるリニアマトリクス、視認性を向上する輪郭強調処理などが行われ、ＪＰＥＧなどの圧縮コーデックでエンコード（動画コーデック（Ｈ．２６４、ＭＰＥＧ−２など））後、記録再生部（ＳＤメモリなど）１０７に保存される。
【００５９】
表示部１０９には、例えば記録再生部（ＳＤメモリなど）１０７に格納済みのフルカラー画像に対応するサムネイル画像の一覧が表示される。ユーザによりあるサムネイル画像の選択、再生指示が入力されると、記録再生部１０７において選択されたサムネイルに対応する画像のデコードが行われる。デコードされた画像は例えば、ＲＧＢ等のフルカラー画像フォーマットや、輝度、色差のＹＵＶ画像フォーマットを持つ画像データとなる。デコードされた画像は重ね合わせ処理部ｂ１０８に入力される。
【００６０】
重ね合わせ処理部ｂ１０８では、フルカラー画像等のデコード画像を入力してノイズ低減や高解像化のための画像重ね合わせ処理を実行する。この重ね合わせ処理の結果が表示部１０９に送られ、表示される。
【００６１】
重ね合わせ処理部ｂ１０８の実行する処理の手順について、図５に示すフローチャートを参照して説明する。なお、以下に説明する処理例は動画の再生処理例として説明する、動画再生は一定の時間間隔で撮影された静止画を連続表示することで行われる。動画処理の再生時重ね合わせの場合は、例えば基準フレームとしては記録再生部１０７から入力する最も新しいフレームを基準フレームとし、基準フレームの前のフレームを参照フレームとする。
【００６２】
記録再生部１０７からの入力画像がフルカラーフォーマット（ＲＧＢ）で入力された時は、ステップＳ２０１において、ＲＧＢ→ＹＵＶ変換処理が実行され、輝度、色差信号に変換される。一方、ＹＵＶフォーマットで入力された時はステップＳ２０１のＲＧＢ→ＹＵＶ変換処理は省略される。
【００６３】
ステップＳ２０２では。グローバル動きベクトル（ＧＭＶ）算出処理を実行する。このＧＭＶ算出処理は、基準フレームと参照フレームを入力とし、２枚のフレーム間の大域的（画像全体）な動きベクトル（Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出する処理である。例えばカメラの動きに相当する動きベクトルを求める。
【００６４】
次のステップＳ２０３では、位置合わせ処理を実行する。この位置合わせ処理は、基準フレームと、グローバル動きベクトル（ＧＭＶ）を求めた１枚の参照フレームを読み出し、ＧＭＶ算出処理において求められたＧＭＶを用いて、参照フレームを基準フレームに位置合わせする処理である。この処理、すなわちＧＭＶに基づいて参照フレームを基準フレームに位置合わせして生成した画像を動き補償画像とよぶ。
【００６５】
ステップＳ２０４では、動被写体検出処理を実行する。この処理は、基準フレームと基準フレームに位置合わせされた参照フレーム画像（動き補償画像）間の差分をとり、動被写体を検出する処理である。検出結果は、各画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）として出力する。
【００６６】
ステップＳ２０５では、ステップＳ２０４において算出した各画素単位の動き検出情報：α値に基づいて、基準フレームと、ＧＭＶに基づく位置合わせ後の参照フレーム画像（動き補償画像）をブレンドして、重ね合わせフレーム（ブレンド画像）を生成する。
【００６７】
ステップＳ２０５におけるαブレンド処理（重ね合わせ処理）は、動被写体検出部から得られたα値に応じて、基準フレーム（Ｎ＋１枚目のフレームｆｒｍＮ＋１）と参照フレーム（Ｎ−１回目の重ね合わせフレームｍｌｔＮ−１）をブレンドする。αブレンド処理（重ね合わせ処理）に際しては、ＹＵＶフォーマットの輝度（Ｙ）信号に対してのみ重ね合わせ処理を行う。Ｎ回目の重ね合わせ処理の式（式３）を以下に示す。
【００６８】
【数２】
・・・・（式３）
【００６９】
上記式（式３）に従って、基準画像と、位置合わせ参照画像（動き補償画像）の対応画素の画素値をブレンドして重ね合わせフレーム（ブレンド画像）を生成する。
【００７０】
ブレンド処理は、このように、Ｎ＋１枚の動画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、
Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、
Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して上記式に従って実行する。
【００７１】
各画素単位の動き検出情報：α値が大きい場合、すなわち静止被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が大きく設定されるが、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が小さく設定される。このようにして画素単位の動き情報に応じたブレンド処理が行われる。
【００７２】
ステップＳ２０５において、上記のブレンド処理が行われた後に、ステップＳ２０６において、さらにノイズリダクション処理を行う。
ステップＳ２０６の処理は、Ｎ＝２以上の場合に、以下の式（式４）に従って実行する画素値の平滑化を伴う画素値更新処理である。
先のステップＳ２０５におけるブレンド処理において算出したブレンド画像の画素値：ｍｌｔＮの画像を以下の式（式４）に従って更新する。
ｍｌｔＮ＝ＬＰＦ（α）※ｍｌｔＮ
・・・（式４）
【００７３】
ただし、上記式（式４）において、
※は、（ＬＰＦ（α））で定義された２次元データと、ｍｌｔＮという２次元画像との畳み込み演算（コンボルーション）を意味している。
αは、各画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）である。
なお、上記式（式４）は先に図３のフローのステップＳ１０６の処理において説明した式（式２）と同様の式である。
【００７４】
ＬＰＦ（α）は、αが大きい値になればなるほど、より低域成分のみを通すローパスフィルタのフィルタ係数であり、αが小さい値のときは、ほぼ全周波数帯域（即ち、高域成分も含めて）を通すフィルタ係数である。ローパスフィルタの具体的な数値例は、例えば図４に示す３×３個の２次元データである。
【００７５】
なお、Ｎ＝１のときは、ｍｌｔＮの更新は行わない。各画素単位の動き検出情報：α値が大きい場合、すなわち静止被写体と推定される画素位置では、ローパスフィルタの通過帯域は全周波数帯域となり、実質、画像の更新は行われないので、鮮明な画像のままとなる。一方、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置では、ローパスフィルタの通過帯域は低周波数成分のみに限定され、画像をスムーズにする処理が行われる。
【００７６】
ステップＳ２０５におけるブレンド処理は、静止被写体領域では重ね合わせによるノイズリダクション効果が十分な効果として現れるが、動被写体領域では重ね合わせによるノイズリダクション効果が少ない。
しかし、このステップＳ２０６の処理を行うことで、ブレンド処理にて重ね合わせが行われなかった部分、例えば動被写体領域についてＬＰＦによるノイズリダクションが行われ、結果として、α値によらず、すべての画素について、ノイズリダクションが行われることになる。
【００７７】
すなわち、静止被写体領域についてはステップＳ２０５における画像重ね合わせによるノイズリダクションの効果が発揮され、一方、動被写体領域については、ステップＳ２０６におけるローパスフィルタ等を適用した画素値平滑化によるノイズリダクション効果が発揮されることになる。
結果として、静止被写体領域、動被写体領域のいずれの領域においてもノイズ低減効果が発揮されることになる。
【００７８】
ステップＳ２０６の処理によって生成される重ね合わせフレームは次の重ね合わせ処理の参照フレームとなる。次フレームである最新フレームを基準フレームとして新たな重ね合わせ処理が行われる。
【００７９】
最後に、ステップＳ２０７において、重ね合わせ処理が施された輝度信号（Ｙ）と、ＲＧＢ→ＹＵＶ変換部より出力された色差信号（ＵＶ）に対してＹＵＶ→ＲＧＢ変換処理を実行してフルカラーフォーマットに変換し、フルカラー画像を表示部１０９において表示する。
【００８０】
上述した処理例は、
（１−１）撮影時のＲＡＷ画像に対する処理
（１−２）再生時のフルカラー画像に対する処理
これらの処理例であるが、再生時のフルカラー画像に対する処理に際しては、例えば、ＲＧＢ→ＹＵＶ変換し、ＹＵＶフォーマットの輝度（Ｙ）信号に対してのみ重ね合わせ処理を行う。
このような処理を行うことで、重ね合わせ処理を実行する各画素単位の信号は、
（１−１）撮影時のＲＡＷ画像に対する処理の場合は、ＲＡＷ画像の構成画素に設定された信号（例えばＲＧＢのいずれかの信号）となる。
（１−２）再生時のフルカラー画像に対する処理の場合は、フルカラー画像を構成する各画素各々について、ＹＵＶフォーマットの輝度（Ｙ）信号のみとなる。
【００８１】
すなわち、ＲＡＷ画像に対する重ね合わせ処理、フルカラー画像に対する重ね合わせ処理もいずれの場合も画像の構成画素各々について１つの信号値を用いて処理を行うことが可能となる。
この結果、ＲＡＷ画像に対する重ね合わせ処理を実行する重ね合わせ処理部ａ１０５と、フルカラー画像に対する重ね合わせ処理を実行する重ね合わせ処理部ｂ１０８は入力信号をＲＡＷ画像の各画素値とするか、フルカラー画像の各画素の輝度値（Ｙ）とするかのみを異ならせることで、重ね合わせ処理の実行回路としては同一のものを利用することが可能となる。
【００８２】
この構成により、ＲＡＷ画像、フルカラー画像の２つの異なる画像データに対して１つの重ね合わせ処理回路を利用した処理が実現される。
【００８３】
また、本実施例においては、動被写体が投影された為に、重ね合わせ効果によるノイズリダクション効果が期待できない画素については、空間的ＬＰＦにより、ノイズリダクションを行うことで、動被写体の有無にかかわらず、全ての画素について、ノイズのない画像を出力することが出来る。
【００８４】
なお、先に従来技術として説明した特許文献１（特開２００９−１９４７００）では、重ねる枚数をカウントしておき、最後に、その枚数に依存してノイズリダクションの強弱を可変にしている。この従来技術では、重ねる枚数が少ないところは、ノイズリダクションの強めの効果をかけなくてはいけない。強めのノイズリダクションは、ＬＰＦのフィルタのタップ数（フィルタの大きさ）を大きくする必要があり、これは、回路規模や演算量の増大になってしまっていた。
【００８５】
一方、本開示によれば、ノイズリダクション処理部２０６０でのＬＰＦのフィルタのタップ数は少なくてよい。なぜなら、重ねる枚数が少ない場合には、画像が入力される毎に、ノイズリダクション処理部２０６０での処理が行わることになるからである。換言すれば、タップ数の少ないフィルタを複数回処理することになり、結果として、タップ数の多いフィルタ処理をしたことになるからである。このように、本開示の構成では、回路規模や演算量は少なくて済む。
【００８６】
なお、処理対象画像は、動画、静止画のいずれでもよい。上述の例では、静止画のＲＡＷ画像と、動画のフルカラー画像に対する処理例を説明したが、動画のＲＡＷ画像や、静止画のフルカラー画像に対しても１つの共通回路を用いた重ね合わせ処理が可能となる。具体的な回路構成については、次の項目で説明する。
【００８７】
［２．重ね合わせ処理に利用するハードウェア構成例について］
次に、重ね合わせ処理に利用するハードウェア構成例について説明する。
以下では、
（２−１）固体撮像素子からの入力画像（ＲＡＷ画像）に対する処理例
（２−２）記録再生部からの入力画像（フルカラー画像（ＹＵＶ画像））に対する処理例
これら２つの処理例について順次説明する。
なお、以下のハードウェアの説明では、ＲＡＷ画像に対する処理とフルカラー画像に対する処理が１つの共通する回路構成で実現されることとともに、本開示の構成のもう一つの特徴である、重ね合わせ処理において必要となるメモリ容量の削減処理についても説明する。
【００８８】
（２−１）固体撮像素子からの入力画像（ＲＡＷ画像）に対する処理例
まず、図６〜図１０を参照して固体撮像素子からの入力画像（ＲＡＷ画像）に対する画像重ね合わせ（ブレンド）処理の処理例について説明する。
【００８９】
図６は、図１に示す重ね合わせ処理部ａ１０５と重ね合わせ処理部ｂ１０８として利用される共通の具体的回路構成である。
【００９０】
図６に示すグローバル動きベクトル（ＧＭＶ）算出部２０３は、図３に示すフローのステップＳ１０２の処理や、図５に示すフローのステップＳ２０２の処理を実行する。
図６に示す位置合わせ処理部２０４は、図３に示すフローのステップＳ１０３の処理や、図５に示すフローのステップＳ２０３の処理を実行する。
図６に示す動被写体検出部２０５は、図３に示すフローのステップＳ１０４の処理や、図５に示すフローのステップＳ２０４の処理を実行する。
図６に示すブレンド処理部２０６は、図３に示すフローのステップＳ１０５の処理や、図５に示すフローのステップＳ２０５の処理を実行する。
図６に示すノイズリダクション処理部２０７は、図３に示すフローのステップＳ１０６の処理や、図５に示すフローのステップＳ２０６の処理を実行する。
【００９１】
図６に示す重ね合わせ処理部２００が図１に示す重ね合わせ処理部ａ１０５として機能する場合、固体撮像素子２０１（＝図１の固体撮像素子１０３）からＲＡＷ画像を入力してＲＡＷ画像の重ね合わせ処理を実行する。
一方、図１に示す重ね合わせ処理部ｂ１０８として機能する場合、記録再生部２０２（＝図１の記録再生部１０７）からＹＵＶ画像の輝度信号（Ｙ）を入力してフルカラー画像の重ね合わせ処理を実行する。
【００９２】
図６中のフレームメモリａ２１１、メモリｂ２１２はそれぞれ、
、固体撮像素子２０１（＝図１の固体撮像素子１０３）の出力するＲＡＷ画像、または、
記録再生部２０２（＝図１の記録再生部１０７）の出力するフルカラー画像を保存しておくメモリである。
【００９３】
以下では、まず、図１に示す重ね合わせ処理部ａ１０５、すなわち、図３に示すフローチャートを参照して説明した処理を実行する場合の処理例について説明する。
図６に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の処理のタイミングチャートを図７に示す。
【００９４】
図７は左から右に、時間経過、時間Ｔ０，Ｔ１，Ｔ２・・・を示している。
また、上から、以下の（１）〜（６）の各処理を示している。
（１）固体撮像素子２０１からメモリａ２１１，メモリｂ２１２に対するＲＡＷ画像の書き込み（Ｗｒｉｔｅ）処理、
（２）グローバル動きベクトル（ＧＭＶ）算出部２０３に対する固体撮像素子２０１からの画像の入力処理、
（３）グローバル動きベクトル（ＧＭＶ）算出部２０３によるメモリａ２１１からの画像の読み取り（Ｒｅａｄ）処理、
（４）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６、ノイズリダクション処理部２０７によるメモリａ２１１からの画像読み取り（Ｒｅａｄ）処理、
（５）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６、ノイズリダクション処理部２０７によるメモリｂ２１２からの画像読み取り（Ｒｅａｄ）処理、
（６）ブレンド処理部２０６、ノイズリダクション処理部２０７によるメモリａ２１１に対する画像書き込み（Ｗｒｉｔｅ）処理、
【００９５】
なお、メモリａ２１１，メモリｂ２１２に対して書き込まれる画像信号はＲＡＷ画像、またはＲＡＷ画像に基づいて生成される重ね合わせ画像であり、１つの画素に対してＲＧＢいずれか１つの画素値である。すなわち１画素について１つの信号値のみが格納される。
【００９６】
図７に示すｆｒｍ１、ｆｒｍ２、ｆｒｍ３・・・は、重ね合わせ処理において利用される重ね合わせ処理前の画像フレーム（ＲＡＷ画像）を示し、ｍｌｔ１、ｍｌｔ２、ｍｌｔ３、・・・は重ね合わせ処理のなされた画像フレームを示している。
【００９７】
画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって生成される最初の重ね合わせフレームが画像フレーム（ｍｌｔ１）である。
これは、図７に示すタイミングチャートのＴ１〜Ｔ２の（４）と（５）に示す画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって、（６）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）が生成される処理に対応する。
【００９８】
次の、タイミングＴ２〜Ｔ３では、図７に示すタイミングチャートのＴ２〜Ｔ３の（４）と（５）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）と、画像フレーム（ｆｒｍ３）によって、（６）に示す２番目の重ね合わせ画像フレーム（ｍｌｔ２）が生成される。
【００９９】
このようにして、時間経過に伴い、直前で生成された重ね合わせ画像フレーム（ｍｌｔｎ）と最新の入力画像（ｆｒｍｎ＋２）とを利用して、新たな重ね合わせ画像フレーム（ｍｌｔｎ＋１）が順次、生成され、更新されることになる。例えばＮ＋１枚の画像を利用してＮ回の重ね合わせを実行する場合には、Ｎ回の重ね合わせ処理の後に生成される重ね合わせ画像フレーム（ｍｌｔＮ）を生成して１単位の処理が終了する。
【０１００】
以下、図６に示す重ね合わせ処理部２００（＝図１の重ね合わせ処理部ａ１０５＝重ね合わせ処理部ｂ１０８）において実行するＲＡＷ画像に対する重ね合わせ処理の処理シーケンスについて、図７のタイミングチャートと、図８〜図１０の各タイミングにおける状態図を参照して説明する。
【０１０１】
シャッタが押下されるなどして、撮像を開始したタイミングＴ０〜Ｔ１（図７参照）では、図６に示す固体撮像素子２０１から出力された画像データ（ｆｒｍ１）がフレームメモリａ２１１に書き込まれる。
このタイミングＴ０〜Ｔ１の状態を示したのが図８である。
【０１０２】
続いてタイミングＴ１では、２枚目の画像データ（ｆｒｍ２）が固体撮像素子２０１より送信され、今度はフレームメモリｂ２１２に書き込まれると同時にＧＭＶ算出部２０３に入力される。同時に、１枚目の画像データ（ｆｒｍ１）がフレームメモリａ２１１よりＧＭＶ算出部２０３に入力され、ＧＭＶ算出部２０３において１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）との２フレーム間のグローバル動きベクトル（ＧＭＶ）が求められる。
このタイミングＴ１〜Ｔ２の状態を示したのが図９である。
【０１０３】
タイミングＴ２では、位置合わせ部２０４にフレームメモリｂ２１２から２枚目の画像データ（ｆｒｍ２）が入力される。
さらに、ＧＭＶ算出部２０３が算出したＧＭＶ、すなわち、タイミングＴ１〜Ｔ２で求められた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）間のＧＭＶが入力されて、この入力ＧＭＶに基づいて２枚目の画像データ（ｆｒｍ２）を、１枚目の画像データ（ｆｒｍ１）の被写体位置に合わせる位置合わせ処理が行われる。すなわち動き補償画像の生成がなされる。
【０１０４】
なお、本処理例は、静止画に対する重ね合わせ処理例である。静止画の場合は、先行画像を基準画像として後続画像を参照画像とし、後続の参照画像を先行する基準画像の位置に合わせる位置合わせを行う。
【０１０５】
位置合わせされた２枚目の画像データ（ｆｒｍ２）は、１枚目の画像データ（ｆｒｍ１）と共に動被写体検出部２０５とブレンド処理部２０６に入力される。
【０１０６】
動被写体検出部２０５は、１枚目の画像データ（ｆｒｍ１）と位置合わせされた２枚目の画像データ（ｆｒｍ２）との対応位置の画素値比較を実行して差分に応じた画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）を生成してブレンド処理部２０６に出力する。
【０１０７】
ブレンド処理部２０６は、動被写体検出部２０５において求められた画素単位の動き検出情報：α値（０＜＝α＜＝１）を用いて、１枚目の画像データ（ｆｒｍ１）と位置合わせされた２枚目の画像データ（ｆｒｍ２）とのブレンド処理を実行して重ね合わせフレームの生成を行う。
先に説明した式（式１）に従って、基準画像と、位置合わせ参照画像（動き補償画像）の対応画素の画素値をブレンドして重ね合わせフレーム（ブレンド画像）を生成する。
【０１０８】
１枚目の画像データ（ｆｒｍ１）と位置合わせされた２枚目の画像データ（ｆｒｍ２）とのブレンド処理によって生成される１枚目のブレンド画像である重ね合わせフレーム（ｍｌｔ１）が生成される。
【０１０９】
さらに、ノイズリダクション処理部２０７におけるノイズリダクション処理が実行される。すなわち、上記のブレンド処理が行われた後に、先に図３のフローにおいて説明したステップＳ１０６のノイズリダクション処理が実行される。
Ｎ＝２以上の場合に、先に説明した式（式２）に従って画素値更新処理が行われる。すなわち、例えば図４に示すような係数を持つローパスフィルタによるノイズ提言処理が実行される。このＬＰＦを適用した処理は、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置でローパスフィルタの通過帯域が低周波数成分のみに限定され、画像をスムーズにする効果が発揮されることになる。
このノイズリダクション処理部２０７の処理画像は、フレームメモリａ２１１に上書きされる。
このタイミングＴ２〜Ｔ３の状態を示したのが図１０である。
【０１１０】
図６〜図１０を参照して説明した処理から理解されるように、図６に示す重ね合わせ処理部２００を利用した重ね合わせ処理においては、２つの画像を格納する２つのメモリ、すなわちメモリａ２１１、メモリｂ２１２を利用しているのみで、任意枚数、例えばＮ枚の画像の重ね合わせ処理を実現している。
【０１１１】
このように、本実施例では、重ね合わせ枚数によらず、フレームメモリに保存される最大の枚数はフレームメモリａ，ｂ分の２枚となる。本実施例ではフレームメモリ容量を節約しつつ、Ｎ＋１枚全てをフレームメモリに保存する場合と同等の効果が得られる。
【０１１２】
（２−２）記録再生部からの入力画像（フルカラー画像（ＹＵＶ画像））に対する処理例
続いて、記録再生部からの入力画像（フルカラー画像（ＹＵＶ画像））に対する処理例について図１１〜図１３を参照して説明する。
【０１１３】
図１１は、先に図６を参照して説明した回路とほぼ同様の回路であり、図１に示す重ね合わせ処理部ａ１０５と重ね合わせ処理部ｂ１０８として利用される共通の回路構成である。ただし、重ね合わせ処理部ｂ１０８として利用する場合、結線部２５１の接続構成を変更し、さらに入力を記録再生部２０２からの入力構成に変更している。これらはこれらの結線部２５１や記録再生部２０２の接続部に設定したスイッチの切り替え等によって実現される。
【０１１４】
以下では、図１に示す重ね合わせ処理部ｂ１０８において実行する処理、すなわち、図５に示すフローチャートを参照して説明した処理を実行する場合の処理例について説明する。
図１１の重ね合わせ処理部が、フルカラー画像に基づいて生成されるＹＵＶ画像の輝度信号（Ｙ）を適用して重ね合わせ処理を実行する場合の処理のタイミングチャートを図１２に示す。
【０１１５】
図１２は、図７と同様のタイミングチャートであり、左から右に、時間経過、時間Ｔ０，Ｔ１，Ｔ２・・・を示している。
また、上から、以下の（１）〜（６）の各処理を示している。
（１）記録再生部２０２からメモリａ２１１，メモリｂ２１２に対するＹＵＶ画像中の輝度信号（Ｙ）の書き込み（Ｗｒｉｔｅ）処理、
（２）グローバル動きベクトル（ＧＭＶ）算出部２０３に対する記録再生部２０２からのＹＵＶ画像中の輝度信号（Ｙ）の入力処理、
（３）グローバル動きベクトル（ＧＭＶ）算出部２０３によるメモリａ２１１からの画像信号（輝度信号（Ｙ））の読み取り（Ｒｅａｄ）処理、
（４）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６、ノイズリダクション処理部２０７によるメモリａ２１１からの画像信号（輝度信号（Ｙ））読み取り（Ｒｅａｄ）処理、
（５）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６、ノイズリダクション処理部２０７によるメモリｂ２１２からの画像信号（輝度信号（Ｙ））読み取り（Ｒｅａｄ）処理、
（６）ブレンド処理部２０６、ノイズリダクション処理部２０７によるメモリａ２１１に対する画像信号（輝度信号（Ｙ））書き込み（Ｗｒｉｔｅ）処理、
【０１１６】
なお、メモリａ２１１，メモリｂ２１２に対して書き込まれる画像信号はＹＵＶ画像中の輝度信号（Ｙ）画像、またはＹＵＶ画像中の輝度信号（Ｙ）画像に基づいて生成される重ね合わせ画像であり、１つの画素に対して輝度信号（Ｙ）１つの画素値である。すなわち１画素について１つの信号値のみが格納される。
【０１１７】
図１２に示すｆｒｍ１、ｆｒｍ２、ｆｒｍ３・・・は、重ね合わせ処理において利用される重ね合わせ処理前の画像フレームを示し、ｍｌｔ１、ｍｌｔ２、ｍｌｔ３、・・・は重ね合わせ処理のなされた画像フレームを示している。
【０１１８】
画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって生成される最初の重ね合わせフレームが画像フレーム（ｍｌｔ１）である。
これは、図１２に示すタイミングチャートのＴ１〜Ｔ２の（４）と（５）に示す画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって、（６）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）が生成される処理に対応する。
【０１１９】
次の、タイミングＴ２〜Ｔ３では、図１２に示すタイミングチャートのＴ２〜Ｔ３の（４）と（５）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）と、画像フレーム（ｆｒｍ３）によって、（６）に示す２番目の重ね合わせ画像フレーム（ｍｌｔ２）が生成される。
【０１２０】
このようにして、時間経過に伴い、直前で生成された重ね合わせ画像フレーム（ｍｌｔｎ）と最新の入力画像（ｆｒｍｎ＋２）とを利用して、新たな重ね合わせ画像フレーム（ｍｌｔｎ＋１）が順次、生成され、更新されることになる。例えばＮ＋１枚の画像を利用してＮ回の重ね合わせを実行する場合には、Ｎ回の重ね合わせ処理の後に生成される重ね合わせ画像フレーム（ｍｌｔＮ）を生成して１単位の処理が終了する。
【０１２１】
以下、図１１に示す重ね合わせ処理部２００（＝図１の重ね合わせ処理部ｂ１０８＝重ね合わせ処理部ｂ１０５）において実行するＹＵＶ画像に対する重ね合わせ処理の処理シーケンスについて、図１２のタイミングチャートを参照して説明する。
【０１２２】
先に図６〜図１０を参照して説明したＲＡＷ画像に対する処理と異なる部分を中心として説明する。
この処理では、図１１、図１２に示すように、重ね合わせ処理部２００に対する入力は固体撮像素子２０１ではなく、記録再生部２０２から行われる。
【０１２３】
例えばユーザ選択によって選択された再生対象画像が記録再生部１０７においてメモリから選択取得され、重ね合わせ処理部２００に対して出力される。なお。記録再生部１０７は必要に応じてＲＧＢフォーマットからからＹＵＶフォーマットへのフォーマット変換が実行され、生成された輝度信号（Ｙ）がメモリａ２１１、メモリｂ２１２に供給されて処理を開始する。
【０１２４】
タイミングＴ０〜Ｔ１（図１２参照）では、図１１に示す記録再生部２０２から出力された画像データ（ｆｒｍ１）がフレームメモリａ２１１に書き込まれる。なお、本例では、フレームメモリａ２１１，フレームメモリｂ２１２へは輝度信号（Ｙ）の書き込みが行われる。
このタイミングＴ０〜Ｔ１の状態は、先に説明した図８において、記録再生部２０２からデータが出力される点が異なるものとなる。
【０１２５】
続いてタイミングＴ１では、２枚目の画像データ（ｆｒｍ２）が記録再生部２０２から出力され、今度はフレームメモリｂ２１２に書き込まれると同時にＧＭＶ算出部２０３に入力される。同時に、１枚目の画像データ（ｆｒｍ１）がフレームメモリａ２１１よりＧＭＶ算出部２０３に入力され、ＧＭＶ算出部２０３において１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）との２フレーム間のグローバル動きベクトル（ＧＭＶ）が求められる。
このタイミングＴ１〜Ｔ２の状態は、先に説明した図９において、記録再生部２０２からデータが出力される点が異なるものとなる。
【０１２６】
タイミングＴ２では、位置合わせ部２０４にフレームメモリａ２１１から１枚目の画像データ（ｆｒｍ１）が入力され、Ｔ１〜Ｔ２で求められた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）間のＧＭＶが入力されて、この入力ＧＭＶに基づいて１枚目の画像データ（ｆｒｍ１）を、２枚目の画像データ（ｆｒｍ２）の被写体位置に合わせる位置合わせ処理が行われる。すなわち動き補償画像の生成がなされる。
【０１２７】
なお、本処理例は、動画に対する重ね合わせ処理例である。動画の場合は、後続画像を基準画像として先行画像を参照画像とし、先行の参照画像を後続の基準画像の位置に合わせる位置合わせを行う。
【０１２８】
位置合わせされた１枚目の画像データ（ｆｒｍ１）は、２枚目の画像データ（ｆｒｍ２）と共に動被写体検出部２０５とブレンド処理部２０６に入力される。
【０１２９】
動被写体検出部２０５は、位置合わせされた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）との対応位置の画素値比較を実行して差分に応じた画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）を生成してブレンド処理部２０６に出力する。
【０１３０】
ブレンド処理部２０６は、動被写体検出部２０５において求められた画素単位の動き検出情報：α値（０＜＝α＜＝１）を用いて、位置合わせのなされた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）とのブレンド処理を実行して重ね合わせフレームの生成を行う。
先に説明した式（式３）に従って、基準画像と、位置合わせ参照画像（動き補償画像）の対応画素の画素値をブレンドして重ね合わせフレーム（ブレンド画像）を生成する。
【０１３１】
位置合わせのなされた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）とのブレンド処理によって生成される１枚目のブレンド画像である重ね合わせフレーム（ｍｌｔ１）が生成される。
【０１３２】
さらに、ノイズリダクション処理部２０７におけるノイズリダクション処理が実行される。すなわち、上記のブレンド処理が行われた後に、先に図３のフローにおいて説明したステップＳ１０６のノイズリダクション処理が実行される。
Ｎ＝２以上の場合に、先に説明した式（式４）に従って画素値更新処理が行われる。すなわち、例えば図４に示すような係数を持つローパスフィルタによるノイズ提言処理が実行される。このＬＰＦを適用した処理は、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置でローパスフィルタの通過帯域が低周波数成分のみに限定され、画像をスムーズにする効果が発揮されることになる。
このノイズリダクション処理部２０７の処理画像は、フレームメモリａ２１１に上書きされ、かつ表示部１０９に出力される。
このタイミングＴ２〜Ｔ３の状態を示したのが図１３である。
【０１３３】
図６〜図１０を参照して説明したＲＡＷ画像に対する重ね合わせ処理、さらに、図１１〜図１３を参照して説明したフルカラー画像に対する重ね合わせ処理から理解されるように、図６、図１１に示す共通の重ね合わせ処理部２００を利用してＲＡＷ画像に対する重ね合わせ処理と、フルカラー画像に対する重ね合わせ処理が実行される。
【０１３４】
さらに、これ等の異なる画像に対する重ね合わせ処理においては、２つの画像を格納する２つのメモリ、すなわちメモリａ２１１、メモリｂ２１２を利用しているのみで、任意枚数、例えばＮ枚の画像の重ね合わせ処理が実現される。
【０１３５】
［３．その他の実施例］
次にその他の実施例について説明する。
（３−１）高解像度化処理部を設定した実施例
まず、図１４を参照して重ね合わせ処理部に高解像度化処理部を設定した実施例について説明する。
【０１３６】
図１４に示す重ね合わせ処理部３００は、先に図６、図１１を参照して説明した重ね合わせ処理部２００に高解像度化処理部３０１、画像サイズ調整部３０２，３０３を追加した構成である。図１に示す重ね合わせ処理部ａ１０５と重ね合わせ処理部ｂ１０８として利用される共通の回路構成である。ただし、静止画に対する重ね合わせ処理部ａ１０５として利用する場合、結線部３５１の接続構成を、図６を参照して説明したと同様に設定（図１４の結線部３５１の点線）する。また、動画に対する重ね合わせ処理部ｂ１０８として利用する場合、結線部３５１の接続構成を図１１を参照して説明したと同様に設定（図１４の結線部３５１の実線）する。
【０１３７】
さらに入力画像についても、静止画に対する重ね合わせ処理部ａ１０５として利用する場合、固体撮像素子２０１からの入力設定とし、動画に対する重ね合わせ処理部ｂ１０８として利用する場合、記録再生部２０２からの入力構成に変更する。これらはこれらの結線部３５１や、固体撮像素子２０１と記録再生部２０２の接続部に設定したスイッチの切り替え等によって実現される。
【０１３８】
高解像度化処理部３０１は、解像度変換を行う。アップサンプル部１１では、例えば１画素を４画素に設定する等の処理等の拡大画像の生成手法を適用して解像度変換を行う。
【０１３９】
画像サイズ調整部３０２は、メモリａ２１１からの入力画像を、ＧＭＶ算出部２０３でのＧＭＶ算出対象となる記録再生部２０２からの入力画像のサイズに合わせる処理を行う。これは、高解像度化処理部３０１における高解像度化に際して、画像の拡大が行われる場合があり、この拡大された画像をＧＭＶ算出部２０３でのＧＭＶ算出対象となる記録再生部２０２からの入力画像のサイズに合わせるための処理である。
【０１４０】
画像サイズ調整部３０３も、その後の処理で実行される画像の位置合わせ等のために２つの画像のサイズを調整する処理を行う。
【０１４１】
本実施例で実行するシーケンスは、以下のようになる。
ＲＡＷ画像に対する処理では、先に図３を参照して説明したフローチャートに従った処理を基本処理とし、ステップＳ１０３とステップＳ１０４の間に高解像度化処理を実行する。さらに、各ステップの前段に必要に応じて画像サイズ調整処理を実行する設定となる。
【０１４２】
また、フルカラー画像に対する処理では、先に図５を参照して説明したフローチャートに従った処理を基本処理とし、ステップＳ２０３とステップＳ２０４の間に高解像度化処理を実行する。さらに、各ステップの前段に必要に応じて画像サイズ調整処理を実行する設定となる。
【０１４３】
本実施例では、入力フレームを高解像度化後に重ね合わせ処理を行う。これにより、拡大によって生ずる、エッジ部のジャギー（ぎざぎざ）を低減することができる。なお、ＧＭＶ算出部２０３で得られたＧＭＶは高解像度画像の動き量に変換して使用する。
また、本実施例の変形として、高解像度化によるぼけを補償するため、入力フレームにラプラシアンフィルタなどのＨＰＦをかける構成としてもよい。
【０１４４】
（３−２）ＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶをフルカラー画像の重ね合わせ処理に際して利用する実施例
次に、ＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶをフルカラー画像の重ね合わせ処理に際して利用する実施例について説明する。
【０１４５】
先に説明した実施例では、ＲＡＷ画像の重ね合わせ処理においてもＧＭＶの算出を逐次実行しており、さらにフルカラー画像の重ね合わせ処理においてもＧＭＶの算出処理を逐次、実行する構成としていた。
【０１４６】
しかし、フルカラー画像はＲＡＷ画像から生成したものであり、ＧＭＶの算出対象となる２つの画像のペアがおなじであればＲＡＷ画像から算出したＧＭＶもフルカラー画像から算出したＧＭＶも同じになるはずである。従って、例えば撮影の際にＲＡＷ画像の重ね合わせ処理において算出したＧＭＶを各画像に対応づけたデータとしてメモリに記録しておけば、フルカラー画像の重ね合わせ処理に際して、このＧＭＶデータを取得することが可能となり、新たにＧＭＶを算出する処理を行う必要がなくなり処理が簡略化され高速化することがてきる。
【０１４７】
この処理を実行する画像処理装置の構成例を図１５に示す。
図１５は、本開示の画像処理装置の一例である撮像装置５００の構成例を示している。撮像装置５００は、先に説明した図１に示す画像処理装置１００と同様、画像撮影時に、撮影されるＲＡＷ画像、およびＲＡＷ画像に基づいて生成されたフルカラー画像に対して、ノイズ低減あるいは高解像化を実現するための画像重ね合わせ処理を行う。
【０１４８】
ＲＡＷ画像に対する重ね合わせ処理を実行するのが図１５に示す撮像装置５００の重ね合わせ処理部ａ１０５である。フルカラー画像に対する重ね合わせ処理を実行するのが図１５に示す撮像装置５００の重ね合わせ処理部ｂ１０８である。これらは２つのブロックとして示してあるが、先に説明したように共通の回路を利用して構成される。
【０１４９】
図１を参照して説明した画像処理装置１００との差異は、図１５に示す画像処理装置５００は、ＧＭＶ記録部５０１を有する点である。
【０１５０】
ＧＭＶ記録部５０１は、重ね合わせ処理部ａ１０５において実行するＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶを記録する記憶部（メモリ）である。フルカラー画像に対する重ね合わせ処理を実行する重ね合わせ処理部ｂ１０８は、ＧＭＶ算出を実行せず、ＧＭＶ記録部５０１に記録されたＧＭＶを利用する。
【０１５１】
ＧＭＶ記録部５０１には、ＧＭＶのデータが、ＧＭＶ算出のなされた２つの画像フレーム識別子情報に対応づけて格納される。フルカラー画像に対する重ね合わせ処理を実行する重ね合わせ処理部ｂ１０８は、ＧＭＶ算出対象となる画像のペアの識別子に基づいてＧＭＶ記録部５０１に記録されたＧＭＶを選択して利用する。
【０１５２】
この実施例によれば、フルカラー画像の重ね合わせ処理に際して、このＧＭＶデータを取得することが可能となり、新たにＧＭＶを算出する処理を行う必要がなくなり処理が簡略化され高速化することがてきる。また、コーデック前の画像を使うことで、ＧＭＶの精度を向上させることができるというメリットもある。
【０１５３】
［４．画像処理装置のハードウェア構成例について］
最後に、図１６を参照して、上述した処理を実行する画像処理装置の１つのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、または記憶部９０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した画像重ね合わせ（ブレンド）処理やＬＰＦ（ローパスフィルタ）によるによるノイズ低減や高解像化のための画像処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３には、ＣＰＵ９０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、バス９０４により相互に接続されている。
【０１５４】
ＣＰＵ９０１はバス９０４を介して入出力インタフェース９０５に接続され、入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。ＣＰＵ９０１は、入力部９０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部９０７に出力する。
【０１５５】
入出力インタフェース９０５に接続されている記憶部９０８は、例えばハードディスクからなり、ＣＰＵ９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１５６】
入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９０８に転送され記憶される。
【０１５７】
［５．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１５８】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有し、
前記重ね合わせ処理部は、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出部と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理部と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理部と、
を有する画像処理装置。
【０１５９】
（２）前記ノイズリダクション処理部は、ローパスフィルタを適用した画素値更新処理を実行する前記（１）に記載の画像処理装置。
（３）前記ノイズリダクション処理部は、動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する前記（１）または（２）に記載の画像処理装置。
（４）前記重ね合わせ処理部は、連続撮影された複数の画像のグローバル動きベクトル（ＧＭＶ）を算出するＧＭＶ算出部と、前記グローバル動きベクトル（ＧＭＶ）に従って、参照画像の被写体位置を基準画像の位置に合わせた動き補償画像を生成する位置合わせ処理部を有し、前記動被写体検出部は、前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を取得し、前記ブレンド処理部は、前記基準画像と動き補償画像とを前記動被写体情報に基づくブレンド比率に基づいてブレンドして重ね合わせ画像を生成する前記（１）〜（３）いずれかに記載の画像処理装置。
【０１６０】
（５）前記動被写体検出部は、前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を示すα値を画素単位の動被写体情報として算出し、前記ブレンド処理部は、前記α値の値に応じて動被写体である可能性の高い画素については前記動き補償画像のブレンド比率を低くし、動被写体である可能性の低い画素については前記動き補償画像のブレンド比率を高く設定したブレンド処理を実行する前記（４）に記載の画像処理装置。
【０１６１】
（６）前記重ね合わせ処理部は、処理対象画像の高解像化処理を実行する高解像度化処理部を有し、前記ブレンド処理部は、前記高解像度化処理部において高解像度化された画像の重ね合わせを実行する前記（４）または（５）に記載の画像処理装置。
（７）前記画像処理装置は、前記ＧＭＶ算出部がＲＡＷ画像に基づいて算出した画像のグローバル動きベクトル（ＧＭＶ）を格納するＧＭＶ記録部を有し、前記重ね合わせ処理部がフルカラー画像を処理対象とした重ね合わせ処理を実行する際に前記ＧＭＶ記録部に格納されたグローバル動きベクトル（ＧＭＶ）を利用して処理を行う前記（４）〜（６）いずれかに記載の画像処理装置。
【０１６２】
（８）前記重ね合わせ処理部は、処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行う構成であり、２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行う前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記重ね合わせ処理部は、前記メモリの一部に、重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用する処理を行う前記（８）に記載の画像処理装置。
（１０）前記重ね合わせ処理部は、ＲＡＷ画像を処理対象とする場合は前記メモリにＲＡＷ画像の各画素対応の画素値データを格納し、ＲＡＷ画像の各画素対応の画素値データに基づく重ね合わせ処理を実行し、フルカラー画像を処理対象とする場合は前記メモリに各画素対応の輝度信号値データを格納し、フルカラー画像の各画素対応の輝度値データに基づく重ね合わせ処理を実行する前記（８）または（９）に記載の画像処理装置。
【０１６３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１６４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１６５】
以上、説明したように、本開示の一実施例の構成によれば、動被写体領域と静止被写体領域の双方について効果的なノイズ低減を実行する装置および方法が実現される。
具体的には、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有する。重ね合わせ処理部は、画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成し、動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成し、さらに重ね合わせ画像に対して、動被写体情報に基づいて、動被写体領域においてより強いノイズリダクション処理を実行する。ノイズリダクション処理においては、例えば動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する。
これらの処理により動被写体領域、静止被写体領域の双方においてノイズリダクションのなされた画像を生成することが可能となる。
【符号の説明】
【０１６６】
１００ 画像処理装置
１０１ ユーザ入力部
１０２ レンズ
１０３ 固体撮像素子
１０４ プリ処理部
１０５ 重ね合わせ処理部ａ
１０６ ポスト処理部
１０７ 記録再生部
１０８ 重ね合わせ処理部ｂ
１０９ 表示部
２００ 重ね合わせ処理部
２０１ 固体撮像素子
２０２ 記録再生部
２０３ ＧＭＶ算出部
２０４ 位置合わせ処理部
２０５ 動被写体検出部
２０６ ブレンド処理部
２０７ ノイズリダクション処理部
２１１，２１２ メモリ
３００ 重ね合わせ処理部
３０１ 高解像度化処理部
３０２，３０３ 画像サイズ調整部
５００ 画像処理装置
５０１ ＧＭＶ記録部
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４ バス
９０５ 入出力インタフェース
９０６ 入力部
９０７ 出力部
９０８ 記憶部
９０９ 通信部
９１０ ドライブ
９１１ リムーバブルメディア
【特許請求の範囲】
【請求項１】
複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有し、
前記重ね合わせ処理部は、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出部と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理部と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理部と、
を有する画像処理装置。
【請求項２】
前記ノイズリダクション処理部は、ローパスフィルタを適用した画素値更新処理を実行する請求項１に記載の画像処理装置。
【請求項３】
前記ノイズリダクション処理部は、動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する請求項１に記載の画像処理装置。
【請求項４】
前記重ね合わせ処理部は、
連続撮影された複数の画像のグローバル動きベクトル（ＧＭＶ）を算出するＧＭＶ算出部と、
前記グローバル動きベクトル（ＧＭＶ）に従って、参照画像の被写体位置を基準画像の位置に合わせた動き補償画像を生成する位置合わせ処理部を有し、
前記動被写体検出部は、
前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を取得し、
前記ブレンド処理部は、
前記基準画像と動き補償画像とを前記動被写体情報に基づくブレンド比率に基づいてブレンドして重ね合わせ画像を生成する請求項１に記載の画像処理装置。
【請求項５】
前記動被写体検出部は、
前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を示すα値を画素単位の動被写体情報として算出し、
前記ブレンド処理部は、
前記α値の値に応じて動被写体である可能性の高い画素については前記動き補償画像のブレンド比率を低くし、動被写体である可能性の低い画素については前記動き補償画像のブレンド比率を高く設定したブレンド処理を実行する請求項４に記載の画像処理装置。
【請求項６】
前記重ね合わせ処理部は、
処理対象画像の高解像化処理を実行する高解像度化処理部を有し、
前記ブレンド処理部は、前記高解像度化処理部において高解像度化された画像の重ね合わせを実行する請求項４に記載の画像処理装置。
【請求項７】
前記画像処理装置は、
前記ＧＭＶ算出部がＲＡＷ画像に基づいて算出した画像のグローバル動きベクトル（ＧＭＶ）を格納するＧＭＶ記録部を有し、
前記重ね合わせ処理部がフルカラー画像を処理対象とした重ね合わせ処理を実行する際に前記ＧＭＶ記録部に格納されたグローバル動きベクトル（ＧＭＶ）を利用して処理を行う請求項４に記載の画像処理装置。
【請求項８】
前記重ね合わせ処理部は、
処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行う構成であり、
２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行う請求項１に記載の画像処理装置。
【請求項９】
前記重ね合わせ処理部は、
前記メモリの一部に、重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用する処理を行う請求項８に記載の画像処理装置。
【請求項１０】
前記重ね合わせ処理部は、
ＲＡＷ画像を処理対象とする場合は前記メモリにＲＡＷ画像の各画素対応の画素値データを格納し、ＲＡＷ画像の各画素対応の画素値データに基づく重ね合わせ処理を実行し、
フルカラー画像を処理対象とする場合は前記メモリに各画素対応の輝度信号値データを格納し、フルカラー画像の各画素対応の輝度値データに基づく重ね合わせ処理を実行する請求項８に記載の画像処理装置。
【請求項１１】
画像処理装置において実行する画像処理方法であり、
重ね合わせ処理部が、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを実行し、
前記重ね合わせ処理ステップは、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出処理と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理を実行する画像処理方法。
【請求項１２】
画像処理装置において画像処理を実行させるプログラムであり、
重ね合わせ処理部に、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを実行させ、
前記重ね合わせ処理ステップにおいて、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出処理と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理を実行させるプログラム。
【請求項１】
複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有し、
前記重ね合わせ処理部は、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出部と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理部と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理部と、
を有する画像処理装置。
【請求項２】
前記ノイズリダクション処理部は、ローパスフィルタを適用した画素値更新処理を実行する請求項１に記載の画像処理装置。
【請求項３】
前記ノイズリダクション処理部は、動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する請求項１に記載の画像処理装置。
【請求項４】
前記重ね合わせ処理部は、
連続撮影された複数の画像のグローバル動きベクトル（ＧＭＶ）を算出するＧＭＶ算出部と、
前記グローバル動きベクトル（ＧＭＶ）に従って、参照画像の被写体位置を基準画像の位置に合わせた動き補償画像を生成する位置合わせ処理部を有し、
前記動被写体検出部は、
前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を取得し、
前記ブレンド処理部は、
前記基準画像と動き補償画像とを前記動被写体情報に基づくブレンド比率に基づいてブレンドして重ね合わせ画像を生成する請求項１に記載の画像処理装置。
【請求項５】
前記動被写体検出部は、
前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を示すα値を画素単位の動被写体情報として算出し、
前記ブレンド処理部は、
前記α値の値に応じて動被写体である可能性の高い画素については前記動き補償画像のブレンド比率を低くし、動被写体である可能性の低い画素については前記動き補償画像のブレンド比率を高く設定したブレンド処理を実行する請求項４に記載の画像処理装置。
【請求項６】
前記重ね合わせ処理部は、
処理対象画像の高解像化処理を実行する高解像度化処理部を有し、
前記ブレンド処理部は、前記高解像度化処理部において高解像度化された画像の重ね合わせを実行する請求項４に記載の画像処理装置。
【請求項７】
前記画像処理装置は、
前記ＧＭＶ算出部がＲＡＷ画像に基づいて算出した画像のグローバル動きベクトル（ＧＭＶ）を格納するＧＭＶ記録部を有し、
前記重ね合わせ処理部がフルカラー画像を処理対象とした重ね合わせ処理を実行する際に前記ＧＭＶ記録部に格納されたグローバル動きベクトル（ＧＭＶ）を利用して処理を行う請求項４に記載の画像処理装置。
【請求項８】
前記重ね合わせ処理部は、
処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行う構成であり、
２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行う請求項１に記載の画像処理装置。
【請求項９】
前記重ね合わせ処理部は、
前記メモリの一部に、重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用する処理を行う請求項８に記載の画像処理装置。
【請求項１０】
前記重ね合わせ処理部は、
ＲＡＷ画像を処理対象とする場合は前記メモリにＲＡＷ画像の各画素対応の画素値データを格納し、ＲＡＷ画像の各画素対応の画素値データに基づく重ね合わせ処理を実行し、
フルカラー画像を処理対象とする場合は前記メモリに各画素対応の輝度信号値データを格納し、フルカラー画像の各画素対応の輝度値データに基づく重ね合わせ処理を実行する請求項８に記載の画像処理装置。
【請求項１１】
画像処理装置において実行する画像処理方法であり、
重ね合わせ処理部が、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを実行し、
前記重ね合わせ処理ステップは、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出処理と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理を実行する画像処理方法。
【請求項１２】
画像処理装置において画像処理を実行させるプログラムであり、
重ね合わせ処理部に、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを実行させ、
前記重ね合わせ処理ステップにおいて、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出処理と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１８６５９３（Ｐ２０１２−１８６５９３Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−４７３６０（Ｐ２０１１−４７３６０）
【出願日】平成２３年３月４日（２０１１．３．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月４日（２０１１．３．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]