画像処理装置及び画像処理プログラム
【課題】合成画像に対して、画素毎に合成回数が異なることに適応してノイズ低減処理を施す。
【解決手段】複数枚の画像を位置合わせし、前記複数枚の画像データを加算して新たな画像データを生成する画像処理装置は、前記新たな画像データの１つ又は複数の画素毎に、画像の加算回数を算出する加算回数算出手段（２０１ｂ、２０２）と、前記新たな画像データの１つ又は複数の画素毎に、ノイズの低減の度合を示すノイズ低減パラメータに応じてノイズを低減するノイズ低減手段（２０３）と、を備え、前記ノイズ低減手段（２０３）は、ノイズを低減する対象となる注目画素における加算回数に基づき、前記注目画素に対するノイズ低減パラメータを設定するノイズ低減パラメータ制御手段（２０３ｂ）を有することを特徴とする。
【解決手段】複数枚の画像を位置合わせし、前記複数枚の画像データを加算して新たな画像データを生成する画像処理装置は、前記新たな画像データの１つ又は複数の画素毎に、画像の加算回数を算出する加算回数算出手段（２０１ｂ、２０２）と、前記新たな画像データの１つ又は複数の画素毎に、ノイズの低減の度合を示すノイズ低減パラメータに応じてノイズを低減するノイズ低減手段（２０３）と、を備え、前記ノイズ低減手段（２０３）は、ノイズを低減する対象となる注目画素における加算回数に基づき、前記注目画素に対するノイズ低減パラメータを設定するノイズ低減パラメータ制御手段（２０３ｂ）を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の画像間の位置合わせをした上で複数枚の画像を加算して新たな画像を生成する画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、複数枚の画像を使って画像間の動きベクトル（動き量）をジャイロセンサや画像処理により求め、この動きベクトルに基づいて複数枚の画像を位置合わせし画像合成することにより、手ブレ補正する技術や高解像度化する技術がある。このような合成された画像に対してコアリングによりノイズを低減する技術が、例えば、特許文献１に記載されている。この技術は、複数枚画像から１枚の高解像度画像を生成する超解像撮影モード時と通常撮影モード時でコアリング設定値を変えてノイズ低減する技術であり、通常時の画像より高解像度な超解像画像に対して通常時のコアリング設定値より小さくすることで、ノイズ以外の小さい画像信号を削除されないようにしている。
【特許文献１】特開２００２−８４４４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、複数枚の画像間の動きベクトルをキャンセルするように画像合成する際、画像の周辺箇所などで合成に使用する画像の枚数分と同じ回数だけ画素が合成されない場合がある。また、画像合成時に被写体ブレやオクルージョンが発生している領域を判定し、該当する領域や画素は合成しないようにする領域選択又は画素選択処理を行うことにより画素毎に合成回数が異なることがある。上記のように画素毎に合成回数が異なると、合成回数が多い箇所はノイズが少なく、合成回数少ない箇所はノイズが多く残り、全体としてばらつきがある合成画像が生成される。この画像に対して特許文献１のようなノイズ低減処理技術を使用し撮影モードによるコアリング設定値を変えても、ノイズのばらつきの影響は改善されない。
【０００４】
また、合成回数の異なる画像周辺箇所をトリミング処理によって切り出して除去する場合は、画像間の動きベクトルが大きいと切り出す領域が増え、最終出力画像のサイズが小さくなってしまう。さらに、最終出力画像のサイズを固定する場合は、画像間の動きベクトルの検出量を最終出力画像サイズに合わせなければならないため、検出量の限度が小さくなってしまい、ブレ補正の効果を低下させてしまう。
【０００５】
本発明は、このような課題を鑑み、画像間の位置合わせを行い画像合成した合成画像に対して、画素毎に合成回数が異なることに適応してノイズ低減処理を施すことで高精細画像の生成することを目的とする。
【課題を解決するための手段】
【０００６】
複数枚の画像を位置合わせし、前記複数枚の画像データを加算して新たな画像データを生成する画像処理装置は、前記新たな画像データの１つ又は複数の画素毎に、画像データの加算回数を算出する加算回数算出手段と、前記新たな画像データの１つ又は複数の画素毎に、ノイズの低減の度合を示すノイズ低減パラメータに応じてノイズを低減するノイズ低減手段と、を備え、前記ノイズ低減手段は、ノイズを低減する対象となる注目画素における加算回数に基づき、前記注目画素に対するノイズ低減パラメータを設定するノイズ低減パラメータ制御手段を有することを特徴とする。
【発明の効果】
【０００７】
本発明においては、ノイズ低減パラメータを、ノイズを低減する対象となる注目画素における加算回数に基づき設定して、加算回数によって生じるノイズのばらつきのある画像に対しても加算回数に適応したノイズ低減処理ができ、高精細画像生成をすることが可能となる。
【発明を実施するための最良の形態】
【０００８】
図１を参照して、本発明に係る第一実施形態を説明する。図１は、第一実施形態に係る電子スチルカメラ（撮像システム）の構成を示すブロック構成図である。
【０００９】
第一実施形態に係る電子スチルカメラは、絞り１０１を内包するレンズ系１００、分光ハーフミラー系１０２、シャッター１０３、ローパスフィルタ１０４、ＣＣＤ撮像素子（電荷結合素子）１０５、Ａ／Ｄ（アナログ−デジタル）変換回路１０６、切替部２００、ＡＥ（自動露出）用フォトセンサ１０７、ＡＦ（自動焦点調節）用モータ１０８、撮像制御部１１０、信号処理部１１１、バッファメモリ２０１ａ、バッファメモリ２０１ｂ、圧縮部１２４、メモリカードＩ／Ｆ（インターフェース）部１１７、メモリカード１１８、シャッター釦１１３、シャッター釦判定部１１２、操作表示部１１９、ブレ補正処理部２０２、ノイズ低減処理部２０３を備える。信号処理部１１１、ブレ補正処理部２０２、ノイズ低減処理部２０３、バッファメモリ２０１ａ、バッファメモリ２０１ｂ等は、画像処理装置を構成する。
【００１０】
絞り１０１を内包するレンズ系１００、分光ハーフミラー系１０２、シャッター１０３、ローパスフィルタ１０４、ＣＣＤ撮像素子１０５は光軸に沿って配置されている。分光ハーフミラー系１０２から分岐した光束はＡＥ用フォトセンサ１０７に導かれる。レンズ系１００には、合焦作業時にレンズ系の一部を移動するためのＡＦ用モータ１０８が接続されている。ＣＣＤ撮像素子１０５からの画像信号は、アナログ−デジタル変換を行うＡ／Ｄ変換回路１０６、信号の経路の切換を行う切換部２００を介して、バッファメモリ２０１ａへ入力される。切換部２００は、切換部２００からの信号の経路を切換え、信号が信号処理部１１１を介してバッファメモリ２０１ａへ入力されるか、又は、直接的にバッファメモリ２０１aへ入力されるかを切換える。
【００１１】
バッファメモリ２０１aは、各種の画像信号処理（後述の信号処理１、２を含む）を行う信号処理部１１１、ブレ補正処理を行うブレ補正処理部２０２、ノイズ低減処理を行うノイズ低減処理部（ノイズ低減手段）２０３、画像圧縮処理を行う圧縮部１２４から入出力のアクセスが可能であり、各処理のワークバッファとしても使用される。バッファメモリ２０１aに保存された画像信号は、メモリカードＩ／Ｆ部１１７を介して、脱着可能なメモリカード１１８へ入力され記録される。
【００１２】
ＡＥ用フォトセンサ１０７からの画像信号は撮像制御部１１０へ入力されている。撮影制御部１１０は、絞り１０１、シャッター１０３、ＡＦ用モータ１０８、ＣＣＤ撮像素子１０５、切替部２００の制御が可能である。また、シャッター釦１１３の状態をシャッター釦判定部１１２が判定し撮像制御部１１０へ入力する。さらに、操作表示部１１９からの信号も撮像制御部１１０へ入力され、撮像制御部１１０は、操作表示部１１９を制御可能である。
【００１３】
ブレ補正処理部２０２は、動き検出部２０２ａ、画素加算部２０２ｂ、画素選択部２０２ｃを備え、バッファメモリ２０１ａに対して読み書きが可能である。画素加算部２０２ｂは、バッファメモリ２０１ｂに対して読み書きが可能である。ブレ補正処理部２０２は、信号処理部１１１及びノイズ低減処理部２０３に、画像信号を出力できる。
【００１４】
ノイズ低減処理部２０３は、ノイズ量推定部２０３ａ、コアリング幅算出部２０３ｂ、コアリング処理部（コアリング処理手段）２０３ｃを備え、バッファメモリ２０１ａに対して読み書きが可能である。ノイズ量推定部２０３ａとコアリング幅算出部２０３ｂは、バッファメモリ２０１ｂに対して読み書きが可能である。ノイズ量推定部２０３ａとコアリング幅算出部２０３ｂは、コアリング幅制御手段を構成する。
【００１５】
図２は、第一実施形態の電子スチルカメラの外観構成図である。第一実施形態の電子スチルカメラは、カメラ本体１１と、カメラ本体１１に備えられた電源スイッチ１２と、前述の操作表示部１１９が表示される液晶表示パネル１３と、操作ボタン１４と、前述のシャッター釦１１３とを有している。
【００１６】
図３は、本発明に係る第一実施形態の電子スチルカメラで行われる画像処理のフローチャートを示す。
【００１７】
電子スチルカメラは、高速連写撮影（ステップＳ１）により複数枚の画像を撮影する。さらに、撮影された複数枚の画像間のブレ量（つまり、画像全体を代表するような動きベクトル）を検出し、ブレ量を打ち消すように各画素をブレ量に対応する分だけシフトして画像データを加算することで電子ブレ補正を行い、ブレ補正した加算画像に対してノイズ低減を行う。この際、電子ブレ補正処理とノイズ低減処理の組み合わせタイプがいくつかあるのでそのタイプを判別する（ステップＳ２）。なお、このようなタイプは、操作表示部１１９等でユーザが設定可能である。タイプ判別後、ＲＡＷデータ（未加工データ）で電子ブレ補正する場合（タイプ１又はタイプ２）は、電子ブレ補正処理を行う（ステップＳ３、Ｓ７）。補間処理（フルカラー化）後に電子ブレ補正を行う場合（タイプ３）は、信号処理１（ステップＳ１１）を行う。
【００１８】
なお、信号処理１（ステップＳ５、Ｓ８、Ｓ１１）は主にデモザイキングのようなフルカラー化処理（補間処理）、デモザイキング後の色変換等を指し、信号処理２（ステップＳ６、Ｓ９、Ｓ１４）は主にエッジ強調処理等を指す。
【００１９】
タイプ１の場合は、電子ブレ補正処理（ステップＳ３）後のＲＡＷデータの加算画像に対してノイズ低減処理（ステップＳ４）を行い、ノイズ低減処理を施したＲＡＷデータの加算画像に対して信号処理１（ステップＳ５）、信号処理２（ステップＳ６）を行う。
【００２０】
タイプ２の場合は、電子ブレ補正処理（ステップＳ７）後のＲＡＷデータ加算画像に対して信号処理１（ステップＳ８）、信号処理２（ステップＳ９）を行い、その後ノイズ低減処理（ステップＳ１０）を施す。
【００２１】
タイプ３の場合は、使用する複数枚の画像に対して全て信号処理１（ステップＳ１１）を行い、フルカラー化された複数枚の画像データに対して電子ブレ補正処理（ステップＳ１２）を行い、ノイズ低減処理（ステップＳ１３）し、信号処理２（ステップＳ１４）を行う。
【００２２】
その後いずれかのタイプで出力された画像データに対して、圧縮処理（ステップＳ１５）を行いデータ圧縮し、圧縮された画像データをメモリカード１１８等に記録（ステップＳ１６）する。
【００２３】
なお、ステップＳ３からＳ１４までの処理は、ハードウェアではなく、ソフトウェア（画像処理プログラム）によっても実行可能である。
【００２４】
次に、電子ブレ補正処理（ステップＳ３、Ｓ７、Ｓ１２）の詳細を説明する。図４に電子ブレ補正処理（ステップＳ３、Ｓ７、Ｓ１２）の処理フローチャートを示す。
【００２５】
図４に示すように、まず加算・合成画像を保存するメモリ（バッファメモリ２０１ａでよい）又はメモリ領域を初期化する（ステップＳ２１）。その後、高速連写撮影された複数枚の画像のうち１枚を基準画像として選択し読み取り（ステップＳ２２）、基準画像以外の参照画像のうち１枚を読み取る（ステップＳ２３）。読み取った基準画像と参照画像との間における動きベクトルを検出するため、動きベクトル算出処理を行う（ステップＳ２４）。この動きベクトル算出処理（ステップＳ２４）では、ＭＰＥＧなどで使用されているブロックマッチング処理を画像中の分割されたブロックで行う。それぞれのブロックで動きベクトルを算出し、各ブロックの動きベクトルの信頼性判定や頻度を解析し、電子ブレ補正で補正しようとするブレ量（つまり、画像全体を代表するような動きベクトル）に換算する。例えば、撮影時の手ブレ量であれば各ブロックの動きベクトルから頻度の高い動きベクトルを手ブレ量だと判断してその動きベクトルをブレ量として使用する。
【００２６】
図５にブロックマッチングの結果から手ブレ量を推定する例を示す。図に示すように、基準画像と参照画像間で分割した領域毎にブロックマッチングを行い、領域毎の動きベクトルが求められる。その動きベクトルから頻度の少ない動きベクトルは被写体のブレ領域であると推定し、頻度が一番高い動きベクトルが存在する領域がフレーム間の手ブレによる動き領域であると推定し、その頻度が一番高い動きベクトルをブレ量として使用する。
【００２７】
なお、撮像装置にジャイロセンサがあり、手ブレ量を検出している場合であれば、センサからの出力データをブレ量として使用しても良い。
【００２８】
基準画像に対する参照画像のブレ量が求められたら、そのブレ量を打ち消すように参照画像の各画素をブレ量と逆方向に同じ大きさでシフトしながら基準画像の各画素に位置合わせする（ステップＳ２５）。その際、画素選択の有無判定を行い（ステップＳ２６）、画素選択が無しであれば、画素加算・合成処理で画素同士を加算し加算・合成画像を更新する。画素選択有りであれば、加算しようとしている画素同士の相関性を解析する画素選択処理を行い（ステップＳ２７）、相関性が高ければ加算し、相関性が低ければ加算しないようにして加算・合成画像を更新する（ステップＳ２８）。画素選択処理は例えば、位置合わせされた画素同士の差分をとってその差分がある閾値より小さければ相関性が高いと判断し、その差が閾値以上であれば相関性が低いと判断することができる。そして、加算・合成画像を更新する際に、各画素の加算回数をカウントし記録しておく（ステップＳ２９）。これらの処理を電子ブレ補正処理に使用する枚数分処理したかを判定し（ステップＳ３０）、使用枚数分処理していたらルーチンを終了し、処理していなかったら参照画像読み取り処理（ステップＳ２３）へ戻り、未使用の参照画像を読み取り処理を繰り返す。
【００２９】
図６Ａと図６Ｂに、基準画像と参照画像の加算・合成処理と加算回数のカウントの例を示す。図６Ａに示すように、基準画像と参照画像の間におけるブレ量が例えば縦Ｘ方向に２ピクセル、横Ｙ方向に２ピクセルだとした場合、参照画像を縦横方向にブレ量と逆方向に２ピクセルずつシフトしながら基準画像の各画素と加算する。図６Ｂ中の上図の加算・合成画像の場合は、基準画像の画素Ｇｂ１２３と参照画像の画素Ｇｂ２４５、基準画像の画素Ｂ１３３と参照画像の画素Ｂ２５５は画素選択処理で相関性が低いと判定された場合で、その画素は加算しない。それらを考慮して加算回数のカウントし図６Ｂ中の下図のような加算回数データを更新していく。
【００３０】
なお、図６は単板式ＣＣＤのＲＡＷデータの例であるが、前述のタイプ３のようにフルカラー化してから電子ブレ補正処理を行う場合や三板式ＣＣＤを使用する場合には、全画素分、ＲＧＢ又は色変換後のＹＣｒＣｂに対して、図中と同様に加算することができる。
【００３１】
図７Ａ−７Ｃに、サブピクセル単位での対応付けを行って複数枚の低解像度画像（基準画像と複数枚の参照画像）から高解像度画像を生成する場合の加算・合成処理と加算回数のカウントの例を示す。
【００３２】
図７Ａ−７Ｃで例示するように、サブピクセル精度で動き量を検出し、その動き量と低解像度画像（元画像）から高解像度画像を生成するような場合でも、基準画像と参照画像１、２の加算・合成処理と加算回数のカウントを行うことができる。図７Ａに示すように、基準画像と参照画像１の間におけるブレ量が例えば縦Ｘ方向に１ピクセル、横Ｙ方向に１ピクセルで、基準画像と参照画像２の間におけるブレ量が縦Ｘ方向に−０．５ピクセル、横Ｙ方向に−０．５ピクセルだとした場合を一例として説明する。まず、基準画像を高解像度のグリッドにし（図の例の場合は縦２倍、横２倍の高解像度化）、参照画像１を縦横方向にブレ量と逆方向に１ピクセルずつシフト（高解像度グリッド上では２ピクセルシフト）しながら基準画像の色（ＲＧＢ）毎の各画素と加算し、参照画像２においても同様に、縦横方向にブレ量と逆方向に０．５ピクセルずつシフト（高解像度グリッド上では１ピクセルシフト）しながら基準画像の色毎の各画素と加算する。図７Ｂは、色（ＲＧＢ）毎の加算・合成画像を示す。そして各色の画素毎で加算回数をカウントし図７Ｃのような加算回数データを更新していく。
【００３３】
なお、図７Ｃ中の下図の空白は“０”を示しており、参照画像の枚数がもっと増えると加算回数“０”が減ってくる。
【００３４】
また、使用する複数枚の参照画像を全て位置合わせしても加算回数“０”の場合は、その画素については周囲の画素から補間、又は、周囲の基準画像の画素から補間などして埋めて処理を行う。補間した際の補間画素の加算回数は、補間時の周囲画素の係数の合計、“１”とする。
【００３５】
次に、ノイズ低減処理（Ｓ４、Ｓ１０、Ｓ１３）の詳細を説明する。
【００３６】
図８と図９にノイズ低減処理（Ｓ４、Ｓ１０、Ｓ１３）の処理フローチャートを示す。本実施形態のノイズ低減処理は、電子ブレ補正処理（Ｓ３、Ｓ７、Ｓ１２）後に、ノイズモデルデータを参照して、加算回数に応じてコアリング幅（ノイズの低減の度合を示すノイズ低減パラメータ）を設定する。コアリング幅の設定方法には、複数のノイズモデルデータからどのノイズモデルデータを使用するかを加算回数に応じて選択して、コアリング幅を参照するもの（第一のコアリング幅設定方法）と、あるひとつのノイズモデルデータを参照して計算によって加算回数に応じてコアリング幅を算出するもの（第二のコアリング幅設定方法）の２通りの方法がある。第一のコアリング幅設定方法は図８に、第二のコアリング幅設定方法は図９に示される。いずれの方法の場合でも、ノイズ量と輝度値との関係を規定するノイズモデルから簡便に加算回数に応じたノイズ量を求めて、ノイズ量に基づいてコアリング幅を設定することができる。
【００３７】
図８の第一のコアリング幅設定方法を使用するノイズ低減処理について示す。加算・合成画像の全画素分のループ処理（ステップＳ４１からＳ４７）で、まず、ある画素を注目画素に設定する（ステップＳ４１）。次に、ノイズ量推定用領域として注目画素の所定の周辺領域を設定し（ステップＳ４２）、その周辺領域内で画素の平均値を算出する（ステップＳ４３）。複数存在するノイズモデルから注目画素の加算回数に応じて適切なノイズモデルを選択し（ステップＳ４４）、選択されたノイズモデルを参照して、既に求めた画素の平均値でのノイズ量を抽出し（ステップＳ４５）、抽出したノイズ量をコアリング幅（ノイズ低減パラメータ）に設定して、コアリング処理を行ってノイズ低減する（ステップＳ４６）。注目画素の位置を全画素隈なく移動し終え、全画素についてステップＳ４２からステップＳ４６の処理を為されたか否か判断する（ステップＳ４７）。全画素についてステップＳ４２からステップＳ４６の処理が為された場合に、ノイズ低減処理を終了する。ステップＳ４２からステップＳ４６の処理が全画素については為されていない場合には、ステップＳ４１に戻り、次の注目画素を設定し、ステップＳ４２からステップＳ４６の処理を繰り返す。こうして全画素分に対するループ処理（ステップＳ４１からＳ４７）を施す。
【００３８】
なお、ステップＳ４２からステップＳ４６の処理は、ノイズ低減手段を構成し、ステップＳ４３からステップＳ４６の処理は、ノイズ低減パラメータ制御手段又はコアリング幅制御手段を構成する。
【００３９】
なお、上記では、注目画素は複数であってもよく、設定した複数の注目画素毎に加算回数を算出して、複数の注目画素毎にノイズ低減パラメータに応じてノイズを低減することも可能である。この場合、例えば、複数の注目画素の所定の周辺領域を設定し、その周辺領域内で画素の平均値を算出し、複数の注目画素の平均的な加算回数に応じて適切なノイズモデルを選択すればよい。
【００４０】
図９の第二のコアリング幅設定方法を使用するノイズ低減処理について示す。本処理は、加算・合成画像の全画素分のループ処理（ステップＳ５１からＳ５７）で、まず、注目画素を設定する（ステップＳ５１）。次に、ノイズ量推定用領域として注目画素の所定の周辺領域を設定し（ステップＳ５２）、その領域内で画素の平均値を算出する（ステップＳ５３）。予め与えられているノイズモデルと画素の平均値からノイズ量を抽出し（ステップＳ５４）、注目画素の加算回数に応じてコアリング幅を算出する（ステップＳ５５）。算出されたコアリング幅（ノイズ低減パラメータ）でコアリング処理を行ってノイズ低減する（ステップＳ５６）。注目画素を全画素に対して設定し終え、全画素についてステップＳ５２からステップＳ５６の処理が為されたか否か判断する（ステップＳ５７）。全画素についてステップＳ５２からステップＳ５６の処理が為された場合に、ノイズ低減処理を終了する。ステップＳ５２からステップＳ５６の処理が全画素については為されていない場合には、ステップＳ５１に戻り、次の注目画素を設定し、ステップＳ５２からステップＳ５６の処理を繰り返す。
【００４１】
なお、ステップＳ５２からステップＳ５６の処理は、ノイズ低減手段を構成し、ステップＳ５３からステップＳ５６の処理は、ノイズ低減パラメータ制御手段又はコアリング幅制御手段を構成する。
【００４２】
なお、上記では、注目画素は複数であってもよく、設定した複数の注目画素毎に加算回数を算出して、複数の注目画素毎にノイズ低減パラメータに応じてノイズを低減することも可能である。この場合、例えば、複数の注目画素の所定の周辺領域を設定し、その周辺領域内で画素の平均値を算出し、予め与えられているノイズモデルと画素の平均値からノイズ量を抽出し、複数の注目画素の平均的な加算回数に応じてコアリング幅を算出すればよい。
【００４３】
図１０Ａ−図１０Ｄにおいて、コアリング幅設定の例を示す。図１０Ａ中の例では、加算・合成画像のＹ３３がコアリング処理の注目画素で、ノイズ量推定用領域が注目画素の近傍である５×５の領域である（図１０Ａ上図）。まず、ノイズ量推定用領域内で画素の平均値を算出する。その際、加算・合成画像の画素値を加算値で保存している場合には、平均値算出時の除数に加算回数を考慮して、加算回数で規格化する。例えば、各画素について加算値（Y11, Y21,・・・, Y45, Y55）をそれぞれの加算回数（n11(=2), n21(=2),・・・, n45(=2), n55(=2)）で除算して加算平均（Y11/n11, Y21/n21,・・・, Y45/n45, Y55/n55）を求めてから、さらにノイズ量推定用領域内での加算平均の平均値（ノイズ量推定用領域平均値）を算出する。他の例として、ノイズ量推定用領域内で各画素についての加算値の合計（Y11+Y21+・・・+Y45+Y55）を、この領域内での加算回数の合計（図１０Ａ下図の例では６８回）で除算して平均値（ノイズ量推定用領域平均値）を算出してもよい。また、領域内の加算・合成画像の画素値を加算回数で加算平均したものを各画素の画素値として保存している場合は、領域内での加算平均の合計（Y11/n11+Y21/n21+・・・+Y45/n45+Y55/n55）を領域内の画素分（図１０Ａ下図の例では２５）で除算して画素の平均値（ノイズ量推定用領域平均値）を算出する。
【００４４】
また、ノイズ量推定用領域内での画素の平均値を算出する際に、上記では加算画像を使用しているが、電子ブレ補正による加算前の基準画像のみを使用してノイズ量推定用領域内での画素の平均値を算出しても良い。
【００４５】
なお、ノイズ量推定用領域は、大きいほどノイズ低減の効果があるが、大き過ぎると計算量が増加するため適度な大きさに設定される。
【００４６】
加算回数からノイズモデルを選択する第一のコアリング幅設定方法の場合には（図１０Ｂ）、複数のノイズモデルデータを予め設定しておく。そして、注目画素における加算回数に応じて、撮影時のＩＳＯ感度から、（加算回数−１）段数分低いＩＳＯ感度のノイズモデルを選択する。図１０Ｂの例では、撮影時のＩＳＯ感度はＩＳＯ３２００であり、注目画素における加算回数（４回）に応じて、３段数分低いＩＳＯ４００のノイズモデルを選択する。そして、選択されたノイズモデルを参照して、算出したノイズ量推定用領域平均値βから注目画素のノイズ量を抽出する（図１０Ｂの例ではα／２）。
【００４７】
なお、複数の注目画素の平均的な加算回数に応じて適切なノイズモデルを選択する場合において、平均的な加算回数が整数でない時には、平均的な加算回数を四捨五入等して整数化するようにしてよい。
【００４８】
ノイズモデルからコアリング幅を計算する第二のコアリング幅設定方法の場合（図１０Ｃ）には、参照できるノイズモデルと算出した平均値からノイズ量を抽出する（図中の例ではα）。参照できるノイズモデルは、撮影時のＩＳＯ感度（例えばＩＳＯ３２００）に対応するノイズモデルが存在すれば、そのノイズモデルとなる。（なお、撮影時のＩＳＯ感度に対応するノイズモデルが存在しない場合は、後述の第二実施形態のコアリング幅設定方法を使用できる。）図１０Ｃのようにノイズモデルから抽出したノイズ量αを変換して、注目画素の加算回数に応じて注目画素のノイズ量を算出する。この時、注目画素のノイズ量は、注目画素の加算回数をｎとするとノイズ量αをｎ-1/2倍した値として算出できる。図１０Ｃの例では、注目画素の加算回数が４回なので注目画素のノイズ量はα／２となる。
【００４９】
第一と第二のコアリング幅設定方法の両方とも、注目画素のノイズ量を決定した後、コアリング幅をノイズ量と同じ値に設定する。
【００５０】
そして、下記のように条件に応じてコアリング処理を行う。まず、数式（１）で注目画素とノイズ量推定用領域平均値との差（＝Ｓ）を算出する。
【００５１】
【数１】
【００５２】
そして、Ｓの絶対値とコアリング幅の大小関係と、Ｓの正負で条件分岐し、以下の数式（２）−（４）のように、コアリング後の画素値が算出される。
【００５３】
【数２】
【００５４】
即ち、（|Ｓ| ≧ コアリング幅）かつ（Ｓ＞０）の場合、数式（２）のように、注目画素の画素値からコアリング幅分だけ減算することによりコアリングを行う。（|Ｓ| ≧ コアリング幅）かつ（Ｓ＜０）の場合、数式（３）のように、注目画素の画素値にコアリング幅分だけ合算することによりコアリングを行う。それ以外の場合、即ち、（|Ｓ| ＜ コアリング幅）の場合には、数式（４）のようにコアリング後の画素値をノイズ量推定用領域平均値に設定する。
【００５５】
図１０Ｄのように、コアリング後の出力信号は、ノイズ低減処理部２０３に入力するコアリング前の入力信号に対して、コアリング幅の分だけ平均化されてノイズ低減処理部２０３から出力される。
【００５６】
次に、図２の電子スチルカメラで行われる上述の処理について、信号の流れに基づいてさらに説明する。
【００５７】
まず、使用者がシャッター釦１１３を押したり電源スイッチ１２をＯＮ状態にすることにより、撮影制御部１１０は、絞り１０１、シャッター１０３、ＡＦ用モータ１０８の制御をして撮影を行う。撮影ではＣＣＤ撮像素子１０５からの信号がＡ／Ｄ変換回路１０６にてデジタル信号化され、切替部２００の制御により、そのままバッファメモリ２０１ａに出力するか、信号処理部１１１へ出力するか制御される。信号処理部１１１では公知のホワイトバランス、補間処理（デモザイキング）などがなされフルカラーの画像信号として、バッファメモリ２０１ａに出力される。
【００５８】
シャッター釦１１３が半押し時のプリ撮像でのＡＦ（自動焦点調節）制御時において、ＣＣＤ撮像素子１０５からの出力信号をＡ／Ｄ変換回路１０６にてデジタル信号化して輝度信号を算出し、合焦位置は、その輝度信号中のエッジ強度から求められる。すなわち、ＡＦ用モータ１０８にてレンズ系１００の合焦位置を段階的に変えることで、エッジ強度が最大となる合焦位置を推定する。ＡＦロック後、撮像制御部１１０が操作表示部１１９へＡＦ完了通知用の信号を出力し、液晶表示パネル１３にＡＦ完了を通知する表示が為される。この通知後、使用者がシャッター釦１１３を完全に押すと撮像制御部１１０が高速連写撮影を行う。
【００５９】
高速連写撮影された複数枚の画像信号は、信号処理部１１１を介す場合も介さない場合もバッファメモリ２０１ａに保存される。バッファメモリ２０１ａに保存された複数枚の画像信号はブレ補正処理部２０２へ入力され、動き検出部２０２aで画像間のブレ量を算出し、画素加算部２０２ｂで画像を加算し、バッファメモリ２０１ａに加算・合成画像が保存される。ブレ補正に使用される枚数分だけ処理を施してバッファメモリ２０１ａの加算画像は上書き更新される。その際、画素加算部２０２ｂは、バッファメモリ２０１ｂに、加算画像の各画素における加算回数をカウント（算出）し記録しておく。画素加算部２０２ｂとバッファメモリ２０１ｂは、加算回数算出手段を構成する。
【００６０】
ノイズ低減処理部２０３は、バッファメモリ２０１ａを介して加算画像を入力し、バッファメモリ２０１ｂに記録されている各画素の加算回数データを用いながらノイズモデル選択、コアリング幅算出する。コアリング処理部２０３ｃは、コアリング幅に応じてコアリングする。コアリング後、画像信号はバッファメモリ２０１ａに上書き更新される。バッファメモリ２０１ａからの画像信号は、圧縮部１２４に入力されて、ＪＰＥＧなどの画像圧縮を施され、圧縮後の画像データは、メモリカードＩ／Ｆ部１１７を介してメモリカード１１８に記録される。
【００６１】
なお、信号処理部１１１内の処理は、大別すると信号処理１（補間／色変換処理等）と信号処理２（エッジ強調処理等）の２つに分けられ、これらの処理はバッファメモリ２０１ａを介して別々に処理できる。また、信号処理部１１１とブレ補正処理部２０２とノイズ低減処理部２０３の処理は、バッファメモリ２０１ａを介して、順不同で実施することが可能である。ただし、図３に示したように、ブレ補正処理部２０２とノイズ低減処理部２０３の処理の順番に関して、ブレ補正処理がノイズ低減処理よりも先に実施される。
【００６２】
次に、図１１を参照して、第二実施形態を説明する。第二実施形態は、撮影時のＩＳＯ感度に対応するノイズモデルが存在しない場合の実施形態であり、撮影時のＩＳＯ感度と参照できるノイズモデルのＩＳＯ感度との感度差（段数差）が考慮されコアリング幅が計算される。この感度差も、１段分感度が下がればノイズ量が２-1/2倍になることから、加算回数１回分と同等に取り扱うことができる。
【００６３】
第二実施形態において、ノイズモデルの選択とコアリング幅の変換演算とが組み合わされている。例として、複数枚の画像撮影時におけるカメラのＩＳＯ感度の設定値がＩＳＯ８００でこれに対応するノイズモデルが存在しない場合を説明する。
【００６４】
図１１Ａ上図のような電子ブレ補正処理によって加算・合成された画像がバッファメモリ２０１ａに存在し、図１１Ａ下図のような加算回数を保存したデータがバッファメモリ２０１ｂに存在する。これらの図では、加算・合成画像のＹ３３がコアリング処理の注目画素で、ノイズ量推定用領域が注目画素の近傍である５×５の領域である。まず、第一実施形態と同様にノイズ量推定用領域内で画素の平均値を算出する。その際、加算・合成画像の画素値を加算値で保存している場合は、平均値算出時の除数に加算回数を考慮して正規化する。加算・合成画像の画素値を加算平均して保存している場合は、平均値算出時の除数を領域内の画素分（図１１Ａ下図の例では２５）として、ノイズ量推定用領域内でこの加算平均の平均値を算出する。
【００６５】
ノイズモデルを選択・参照する時、撮影時のＩＳＯ感度に最も近いＩＳＯ感度のノイズモデルデータを選択する。図１１Ｂの例では、存在するノイズモデルがＩＳＯ感度１６００と３２００で、撮影時のＩＳＯ感度が８００であるため、撮影時のＩＳＯ感度に最も近いＩＳＯ１６００のノイズモデルデータを選択する。選択されたノイズモデルとノイズモデル量推定用領域の平均値（図１１Ｂではβ）からノイズ量を抽出する（図１１Ｂではα）。ここで、選択されたノイズモデルからのノイズ量Ｎ＝α、注目画素の加算回数ｎ＝３、複数枚の画像撮影時のＩＳＯ感度から選択されたノイズモデルのＩＳＯ感度までの感度差ｄ＝１、変換後のノイズ量Ｎ'とすると、
【００６６】
【数３】
【００６７】
より、Ｎ'＝α／２となる。変換演算によって求めたＮ'＝α／２をコアリング幅として、第一実施形態と同様にコアリングを行う。
【００６８】
なお、ＩＳＯ感度の感度差dは、撮影時のＩＳＯ感度からみて、選択されたノイズモデルのＩＳＯ感度への感度差であるので、上記の例の場合＋１段となる。もし、選択されたノイズモデルのＩＳＯ感度１６００、撮影時のＩＳＯ感度４００であれば感度差は＋２段になり、選択されたノイズモデルのＩＳＯ感度１６００、撮影時のＩＳＯ感度６４００であれば感度差は−２段となる。又、撮影時のＩＳＯ感度に対応するノイズモデルが存在する場合には、感度差ｄ＝０となり、図１０Ｃと同様に、ＩＳＯ感度に対応するノイズモデルが選択され、変換後のノイズ量は、選択されたノイズモデルからのノイズ量（Ｎ＝α）のｎ-1/2倍となる。
【００６９】
第二実施形態において、撮影時のＩＳＯ感度に対応するノイズモデルが存在しない場合でも、加算回数に応じたノイズ量を求めて、ノイズ量に基づいてコアリング幅を設定することができる。
【００７０】
次に、図１２を参照して、第三実施形態について説明する。第三実施形態において、画像信号の伝送時のノイズにノイズ低減処理が適用される。図１２は、例示として、カプセル内視鏡システムの構成図を示す。
【００７１】
カプセル内視鏡システムは、撮像素子により取得した複数枚画像の画像信号を無線により伝送するカプセル内視鏡３００（画像取得手段）、カプセル内視鏡３００からの画像信号を受信し画像処理する画像処理装置３０１、画像処理装置３０１からの画像信号を画像として表示する表示装置３０５を備える。画像処理装置３０１は、カプセル内視鏡からの画像信号を受信し又カプセル内視鏡への制御信号を送信する無線部３０２、受信した画像信号をアナログーデジタル変換するＡ／Ｄ（アナログーデジタル）変換回路３０３、Ａ／Ｄ変換回路３０３からの画像信号を処理する画像処理部３０４から構成される。
【００７２】
カプセル内視鏡システムのような無線システムでは、撮像したアナログデータを無線伝送するときに、伝送ノイズが発生する。この場合、第一実施形態及び第二実施形態のような輝度値に応じたノイズでなく、輝度値に無関係な伝送ノイズが発生する。この時の第一実施形態及び第二実施形態と同様の考え方で、注目画素の加算回数ｎを考慮した画像信号の伝送ノイズ量Ｎ’を、そのままの（加算回数を考慮しない）伝送ノイズ量Ｎに基づいて計算する。ここでは、ＩＳＯ感度の感度差分は考慮しないため、第二実施形態の数式（５）が、以下の数式（６）に置き換えられる。
【００７３】
【数４】
【００７４】
画像処理装置３０１内の画像処理部３０４で、伝送されてきた複数枚の画像を位置合わせし画像加算・合成後にノイズ低減処理を施す場合に、数式（６）を用い各画素の加算回数に応じてコアリング幅を変えてノイズ低減する。複数枚の画像の位置合わせ処理、画像加算・合成処理、加算回数のデータ保存、コアリングによるノイズ低減処理の方法は、第一実施形態及び第二実施形態と同様に行う。
【００７５】
以上の第一から第三実施形態によれば、複数枚の画像を使って位置合わせしブレ補正による画像加算・合成した加算画像に対して、コアリング処理によるノイズ低減を行う。この際に、加算回数に応じて参照するノイズモデルを選択あるいはノイズモデルのノイズ量から変換演算することによって加算回数に適したコアリング幅を設定することができる。このため、まばらなノイズのある加算画像に対しても均一な仕上がりになるノイズ低減をすることが可能となる。
【００７６】
なお、本発明は上記の第一実施形態から第三実施形態に限定されるものではない。例えば、上記の第一実施形態から第三実施形態において、ノイズ低減処理はコアリング処理を用いて行われたが、ノイズ低減処理は、ノイズ除去フィルタを用いたフィルタリング処理によっても簡便に行うことができる。ノイズ除去フィルタとして、ある画素についての周辺画素の平均値を基にその画素の補正を行うローパスフィルタや、周辺画素の中央値で補正を行うメディアンフィルタが挙げられる。
【００７７】
この場合には、フィルタ行列のサイズ、フィルタリング回数、又はフィルタ行列の行列要素等のノイズ低減パラメータ（ノイズ低減の度合を示すパラメータ）を、ノイズ低減の対象となる注目画素における加算回数と基準輝度値とに基づき計算して、フィルタリングを行ってよい。
【００７８】
例えば、注目画素における加算回数が小さいほどノイズ量は大きくなるため、加算回数が小さいほど、フィルタ行列のサイズ又はフィルタリング回数を増加させてノイズをより強く低減してよい。又、注目画素における平均輝度値（基準輝度値）が大きいほどノイズ量は大きくなるため、平均輝度値が大きいほど、フィルタ行列のサイズ又はフィルタリング回数を増加させてノイズをより強く低減してよい。このようにノイズ低減パラメータを、ノイズを低減する対象となる注目画素における加算回数と基準輝度値とに基づき制御して、画素毎に合成回数が異なることに適応してノイズ低減処理を施すことができる。
【００７９】
本発明は上記の実施の形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【図面の簡単な説明】
【００８０】
【図１】第一実施形態に係る電子スチルカメラの構成を示すブロック構成図である。
【図２】第一実施形態に係る電子スチルカメラの外観構成図である。
【図３】第一実施形態に係る画像処理を示すフローチャートである。
【図４】第一実施形態に係る電子ブレ補正処理を示すフローチャートである。
【図５】第一実施形態に係るブレ補正値推定の一例を示す図である。
【図６Ａ】画像加算前の基準画像（上図）と参照画像（下図）を示す図である。
【図６Ｂ】第一実施形態に係る画像加算（上図）と各画素の加算回数（下図）の一例を示す図である。
【図７Ａ】高解像度して画像を加算する前の基準画像（上図）、参照画像１（中図）、参照画像２（下図）を示す図である。
【図７Ｂ】高解像度の加算・合成画像の一例を示す図である。
【図７Ｃ】図７Ｂの加算・合成画像の加算回数を示す図である。
【図８】第一実施形態のノイズ低減処理の一例を示すフローチャートである。
【図９】第一実施形態のノイズ低減処理の一例を示すフローチャートである。
【図１０Ａ】加算合成後の画像（上図）と各画素の加算回数（下図）を示す図である。
【図１０Ｂ】ノイズ量と輝度値との関係を示すノイズモデル（ＩＳＯ感度に応じて複数設定されている）と画像加算回数に応じたコアリング幅の設定を示す図である。
【図１０Ｃ】撮影時のＩＳＯ感度に対応する、参照可能なノイズモデルと、画像加算回数に応じたコアリング幅の設定を示す図である。
【図１０Ｄ】第一実施形態に係るコアリング処理について説明する図であり、コアリング前の入力信号とコアリング後の出力信号の関係を示す。
【図１１Ａ】第二実施形態に係る加算合成後の画像（上図）と各画素の加算回数（下図）を示す図である。
【図１１Ｂ】第二実施形態に係るノイズモデル選択とコアリング幅変換演算の例を示す図である。存在するノイズモデルからのノイズモデル選択、及び、コアリング幅変換演算を説明する。
【図１２】第三実施形態に係るカプセル内視鏡システムを示す図である。
【符号の説明】
【００８１】
１００ レンズ系
１０５ ＣＣＤ撮像素子
１１０ 撮像制御部
１１１ 信号処理部
１１３ シャッター釦
２０１ａ バッファメモリ
２０１ｂ バッファメモリ
２０２ ブレ補正処理部
２０２ａ 動き検出部
２０２ｂ 画素加算部
２０２ｃ 画素選択部
２０３ ノイズ低減処理部
２０３ａ ノイズ量推定部
２０３ｂ コアリング幅算出部
２０３ｃ コアリング処理部
３００ カプセル内視鏡
３０１ 画像処理装置
【技術分野】
【０００１】
本発明は、複数枚の画像間の位置合わせをした上で複数枚の画像を加算して新たな画像を生成する画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、複数枚の画像を使って画像間の動きベクトル（動き量）をジャイロセンサや画像処理により求め、この動きベクトルに基づいて複数枚の画像を位置合わせし画像合成することにより、手ブレ補正する技術や高解像度化する技術がある。このような合成された画像に対してコアリングによりノイズを低減する技術が、例えば、特許文献１に記載されている。この技術は、複数枚画像から１枚の高解像度画像を生成する超解像撮影モード時と通常撮影モード時でコアリング設定値を変えてノイズ低減する技術であり、通常時の画像より高解像度な超解像画像に対して通常時のコアリング設定値より小さくすることで、ノイズ以外の小さい画像信号を削除されないようにしている。
【特許文献１】特開２００２−８４４４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、複数枚の画像間の動きベクトルをキャンセルするように画像合成する際、画像の周辺箇所などで合成に使用する画像の枚数分と同じ回数だけ画素が合成されない場合がある。また、画像合成時に被写体ブレやオクルージョンが発生している領域を判定し、該当する領域や画素は合成しないようにする領域選択又は画素選択処理を行うことにより画素毎に合成回数が異なることがある。上記のように画素毎に合成回数が異なると、合成回数が多い箇所はノイズが少なく、合成回数少ない箇所はノイズが多く残り、全体としてばらつきがある合成画像が生成される。この画像に対して特許文献１のようなノイズ低減処理技術を使用し撮影モードによるコアリング設定値を変えても、ノイズのばらつきの影響は改善されない。
【０００４】
また、合成回数の異なる画像周辺箇所をトリミング処理によって切り出して除去する場合は、画像間の動きベクトルが大きいと切り出す領域が増え、最終出力画像のサイズが小さくなってしまう。さらに、最終出力画像のサイズを固定する場合は、画像間の動きベクトルの検出量を最終出力画像サイズに合わせなければならないため、検出量の限度が小さくなってしまい、ブレ補正の効果を低下させてしまう。
【０００５】
本発明は、このような課題を鑑み、画像間の位置合わせを行い画像合成した合成画像に対して、画素毎に合成回数が異なることに適応してノイズ低減処理を施すことで高精細画像の生成することを目的とする。
【課題を解決するための手段】
【０００６】
複数枚の画像を位置合わせし、前記複数枚の画像データを加算して新たな画像データを生成する画像処理装置は、前記新たな画像データの１つ又は複数の画素毎に、画像データの加算回数を算出する加算回数算出手段と、前記新たな画像データの１つ又は複数の画素毎に、ノイズの低減の度合を示すノイズ低減パラメータに応じてノイズを低減するノイズ低減手段と、を備え、前記ノイズ低減手段は、ノイズを低減する対象となる注目画素における加算回数に基づき、前記注目画素に対するノイズ低減パラメータを設定するノイズ低減パラメータ制御手段を有することを特徴とする。
【発明の効果】
【０００７】
本発明においては、ノイズ低減パラメータを、ノイズを低減する対象となる注目画素における加算回数に基づき設定して、加算回数によって生じるノイズのばらつきのある画像に対しても加算回数に適応したノイズ低減処理ができ、高精細画像生成をすることが可能となる。
【発明を実施するための最良の形態】
【０００８】
図１を参照して、本発明に係る第一実施形態を説明する。図１は、第一実施形態に係る電子スチルカメラ（撮像システム）の構成を示すブロック構成図である。
【０００９】
第一実施形態に係る電子スチルカメラは、絞り１０１を内包するレンズ系１００、分光ハーフミラー系１０２、シャッター１０３、ローパスフィルタ１０４、ＣＣＤ撮像素子（電荷結合素子）１０５、Ａ／Ｄ（アナログ−デジタル）変換回路１０６、切替部２００、ＡＥ（自動露出）用フォトセンサ１０７、ＡＦ（自動焦点調節）用モータ１０８、撮像制御部１１０、信号処理部１１１、バッファメモリ２０１ａ、バッファメモリ２０１ｂ、圧縮部１２４、メモリカードＩ／Ｆ（インターフェース）部１１７、メモリカード１１８、シャッター釦１１３、シャッター釦判定部１１２、操作表示部１１９、ブレ補正処理部２０２、ノイズ低減処理部２０３を備える。信号処理部１１１、ブレ補正処理部２０２、ノイズ低減処理部２０３、バッファメモリ２０１ａ、バッファメモリ２０１ｂ等は、画像処理装置を構成する。
【００１０】
絞り１０１を内包するレンズ系１００、分光ハーフミラー系１０２、シャッター１０３、ローパスフィルタ１０４、ＣＣＤ撮像素子１０５は光軸に沿って配置されている。分光ハーフミラー系１０２から分岐した光束はＡＥ用フォトセンサ１０７に導かれる。レンズ系１００には、合焦作業時にレンズ系の一部を移動するためのＡＦ用モータ１０８が接続されている。ＣＣＤ撮像素子１０５からの画像信号は、アナログ−デジタル変換を行うＡ／Ｄ変換回路１０６、信号の経路の切換を行う切換部２００を介して、バッファメモリ２０１ａへ入力される。切換部２００は、切換部２００からの信号の経路を切換え、信号が信号処理部１１１を介してバッファメモリ２０１ａへ入力されるか、又は、直接的にバッファメモリ２０１aへ入力されるかを切換える。
【００１１】
バッファメモリ２０１aは、各種の画像信号処理（後述の信号処理１、２を含む）を行う信号処理部１１１、ブレ補正処理を行うブレ補正処理部２０２、ノイズ低減処理を行うノイズ低減処理部（ノイズ低減手段）２０３、画像圧縮処理を行う圧縮部１２４から入出力のアクセスが可能であり、各処理のワークバッファとしても使用される。バッファメモリ２０１aに保存された画像信号は、メモリカードＩ／Ｆ部１１７を介して、脱着可能なメモリカード１１８へ入力され記録される。
【００１２】
ＡＥ用フォトセンサ１０７からの画像信号は撮像制御部１１０へ入力されている。撮影制御部１１０は、絞り１０１、シャッター１０３、ＡＦ用モータ１０８、ＣＣＤ撮像素子１０５、切替部２００の制御が可能である。また、シャッター釦１１３の状態をシャッター釦判定部１１２が判定し撮像制御部１１０へ入力する。さらに、操作表示部１１９からの信号も撮像制御部１１０へ入力され、撮像制御部１１０は、操作表示部１１９を制御可能である。
【００１３】
ブレ補正処理部２０２は、動き検出部２０２ａ、画素加算部２０２ｂ、画素選択部２０２ｃを備え、バッファメモリ２０１ａに対して読み書きが可能である。画素加算部２０２ｂは、バッファメモリ２０１ｂに対して読み書きが可能である。ブレ補正処理部２０２は、信号処理部１１１及びノイズ低減処理部２０３に、画像信号を出力できる。
【００１４】
ノイズ低減処理部２０３は、ノイズ量推定部２０３ａ、コアリング幅算出部２０３ｂ、コアリング処理部（コアリング処理手段）２０３ｃを備え、バッファメモリ２０１ａに対して読み書きが可能である。ノイズ量推定部２０３ａとコアリング幅算出部２０３ｂは、バッファメモリ２０１ｂに対して読み書きが可能である。ノイズ量推定部２０３ａとコアリング幅算出部２０３ｂは、コアリング幅制御手段を構成する。
【００１５】
図２は、第一実施形態の電子スチルカメラの外観構成図である。第一実施形態の電子スチルカメラは、カメラ本体１１と、カメラ本体１１に備えられた電源スイッチ１２と、前述の操作表示部１１９が表示される液晶表示パネル１３と、操作ボタン１４と、前述のシャッター釦１１３とを有している。
【００１６】
図３は、本発明に係る第一実施形態の電子スチルカメラで行われる画像処理のフローチャートを示す。
【００１７】
電子スチルカメラは、高速連写撮影（ステップＳ１）により複数枚の画像を撮影する。さらに、撮影された複数枚の画像間のブレ量（つまり、画像全体を代表するような動きベクトル）を検出し、ブレ量を打ち消すように各画素をブレ量に対応する分だけシフトして画像データを加算することで電子ブレ補正を行い、ブレ補正した加算画像に対してノイズ低減を行う。この際、電子ブレ補正処理とノイズ低減処理の組み合わせタイプがいくつかあるのでそのタイプを判別する（ステップＳ２）。なお、このようなタイプは、操作表示部１１９等でユーザが設定可能である。タイプ判別後、ＲＡＷデータ（未加工データ）で電子ブレ補正する場合（タイプ１又はタイプ２）は、電子ブレ補正処理を行う（ステップＳ３、Ｓ７）。補間処理（フルカラー化）後に電子ブレ補正を行う場合（タイプ３）は、信号処理１（ステップＳ１１）を行う。
【００１８】
なお、信号処理１（ステップＳ５、Ｓ８、Ｓ１１）は主にデモザイキングのようなフルカラー化処理（補間処理）、デモザイキング後の色変換等を指し、信号処理２（ステップＳ６、Ｓ９、Ｓ１４）は主にエッジ強調処理等を指す。
【００１９】
タイプ１の場合は、電子ブレ補正処理（ステップＳ３）後のＲＡＷデータの加算画像に対してノイズ低減処理（ステップＳ４）を行い、ノイズ低減処理を施したＲＡＷデータの加算画像に対して信号処理１（ステップＳ５）、信号処理２（ステップＳ６）を行う。
【００２０】
タイプ２の場合は、電子ブレ補正処理（ステップＳ７）後のＲＡＷデータ加算画像に対して信号処理１（ステップＳ８）、信号処理２（ステップＳ９）を行い、その後ノイズ低減処理（ステップＳ１０）を施す。
【００２１】
タイプ３の場合は、使用する複数枚の画像に対して全て信号処理１（ステップＳ１１）を行い、フルカラー化された複数枚の画像データに対して電子ブレ補正処理（ステップＳ１２）を行い、ノイズ低減処理（ステップＳ１３）し、信号処理２（ステップＳ１４）を行う。
【００２２】
その後いずれかのタイプで出力された画像データに対して、圧縮処理（ステップＳ１５）を行いデータ圧縮し、圧縮された画像データをメモリカード１１８等に記録（ステップＳ１６）する。
【００２３】
なお、ステップＳ３からＳ１４までの処理は、ハードウェアではなく、ソフトウェア（画像処理プログラム）によっても実行可能である。
【００２４】
次に、電子ブレ補正処理（ステップＳ３、Ｓ７、Ｓ１２）の詳細を説明する。図４に電子ブレ補正処理（ステップＳ３、Ｓ７、Ｓ１２）の処理フローチャートを示す。
【００２５】
図４に示すように、まず加算・合成画像を保存するメモリ（バッファメモリ２０１ａでよい）又はメモリ領域を初期化する（ステップＳ２１）。その後、高速連写撮影された複数枚の画像のうち１枚を基準画像として選択し読み取り（ステップＳ２２）、基準画像以外の参照画像のうち１枚を読み取る（ステップＳ２３）。読み取った基準画像と参照画像との間における動きベクトルを検出するため、動きベクトル算出処理を行う（ステップＳ２４）。この動きベクトル算出処理（ステップＳ２４）では、ＭＰＥＧなどで使用されているブロックマッチング処理を画像中の分割されたブロックで行う。それぞれのブロックで動きベクトルを算出し、各ブロックの動きベクトルの信頼性判定や頻度を解析し、電子ブレ補正で補正しようとするブレ量（つまり、画像全体を代表するような動きベクトル）に換算する。例えば、撮影時の手ブレ量であれば各ブロックの動きベクトルから頻度の高い動きベクトルを手ブレ量だと判断してその動きベクトルをブレ量として使用する。
【００２６】
図５にブロックマッチングの結果から手ブレ量を推定する例を示す。図に示すように、基準画像と参照画像間で分割した領域毎にブロックマッチングを行い、領域毎の動きベクトルが求められる。その動きベクトルから頻度の少ない動きベクトルは被写体のブレ領域であると推定し、頻度が一番高い動きベクトルが存在する領域がフレーム間の手ブレによる動き領域であると推定し、その頻度が一番高い動きベクトルをブレ量として使用する。
【００２７】
なお、撮像装置にジャイロセンサがあり、手ブレ量を検出している場合であれば、センサからの出力データをブレ量として使用しても良い。
【００２８】
基準画像に対する参照画像のブレ量が求められたら、そのブレ量を打ち消すように参照画像の各画素をブレ量と逆方向に同じ大きさでシフトしながら基準画像の各画素に位置合わせする（ステップＳ２５）。その際、画素選択の有無判定を行い（ステップＳ２６）、画素選択が無しであれば、画素加算・合成処理で画素同士を加算し加算・合成画像を更新する。画素選択有りであれば、加算しようとしている画素同士の相関性を解析する画素選択処理を行い（ステップＳ２７）、相関性が高ければ加算し、相関性が低ければ加算しないようにして加算・合成画像を更新する（ステップＳ２８）。画素選択処理は例えば、位置合わせされた画素同士の差分をとってその差分がある閾値より小さければ相関性が高いと判断し、その差が閾値以上であれば相関性が低いと判断することができる。そして、加算・合成画像を更新する際に、各画素の加算回数をカウントし記録しておく（ステップＳ２９）。これらの処理を電子ブレ補正処理に使用する枚数分処理したかを判定し（ステップＳ３０）、使用枚数分処理していたらルーチンを終了し、処理していなかったら参照画像読み取り処理（ステップＳ２３）へ戻り、未使用の参照画像を読み取り処理を繰り返す。
【００２９】
図６Ａと図６Ｂに、基準画像と参照画像の加算・合成処理と加算回数のカウントの例を示す。図６Ａに示すように、基準画像と参照画像の間におけるブレ量が例えば縦Ｘ方向に２ピクセル、横Ｙ方向に２ピクセルだとした場合、参照画像を縦横方向にブレ量と逆方向に２ピクセルずつシフトしながら基準画像の各画素と加算する。図６Ｂ中の上図の加算・合成画像の場合は、基準画像の画素Ｇｂ１２３と参照画像の画素Ｇｂ２４５、基準画像の画素Ｂ１３３と参照画像の画素Ｂ２５５は画素選択処理で相関性が低いと判定された場合で、その画素は加算しない。それらを考慮して加算回数のカウントし図６Ｂ中の下図のような加算回数データを更新していく。
【００３０】
なお、図６は単板式ＣＣＤのＲＡＷデータの例であるが、前述のタイプ３のようにフルカラー化してから電子ブレ補正処理を行う場合や三板式ＣＣＤを使用する場合には、全画素分、ＲＧＢ又は色変換後のＹＣｒＣｂに対して、図中と同様に加算することができる。
【００３１】
図７Ａ−７Ｃに、サブピクセル単位での対応付けを行って複数枚の低解像度画像（基準画像と複数枚の参照画像）から高解像度画像を生成する場合の加算・合成処理と加算回数のカウントの例を示す。
【００３２】
図７Ａ−７Ｃで例示するように、サブピクセル精度で動き量を検出し、その動き量と低解像度画像（元画像）から高解像度画像を生成するような場合でも、基準画像と参照画像１、２の加算・合成処理と加算回数のカウントを行うことができる。図７Ａに示すように、基準画像と参照画像１の間におけるブレ量が例えば縦Ｘ方向に１ピクセル、横Ｙ方向に１ピクセルで、基準画像と参照画像２の間におけるブレ量が縦Ｘ方向に−０．５ピクセル、横Ｙ方向に−０．５ピクセルだとした場合を一例として説明する。まず、基準画像を高解像度のグリッドにし（図の例の場合は縦２倍、横２倍の高解像度化）、参照画像１を縦横方向にブレ量と逆方向に１ピクセルずつシフト（高解像度グリッド上では２ピクセルシフト）しながら基準画像の色（ＲＧＢ）毎の各画素と加算し、参照画像２においても同様に、縦横方向にブレ量と逆方向に０．５ピクセルずつシフト（高解像度グリッド上では１ピクセルシフト）しながら基準画像の色毎の各画素と加算する。図７Ｂは、色（ＲＧＢ）毎の加算・合成画像を示す。そして各色の画素毎で加算回数をカウントし図７Ｃのような加算回数データを更新していく。
【００３３】
なお、図７Ｃ中の下図の空白は“０”を示しており、参照画像の枚数がもっと増えると加算回数“０”が減ってくる。
【００３４】
また、使用する複数枚の参照画像を全て位置合わせしても加算回数“０”の場合は、その画素については周囲の画素から補間、又は、周囲の基準画像の画素から補間などして埋めて処理を行う。補間した際の補間画素の加算回数は、補間時の周囲画素の係数の合計、“１”とする。
【００３５】
次に、ノイズ低減処理（Ｓ４、Ｓ１０、Ｓ１３）の詳細を説明する。
【００３６】
図８と図９にノイズ低減処理（Ｓ４、Ｓ１０、Ｓ１３）の処理フローチャートを示す。本実施形態のノイズ低減処理は、電子ブレ補正処理（Ｓ３、Ｓ７、Ｓ１２）後に、ノイズモデルデータを参照して、加算回数に応じてコアリング幅（ノイズの低減の度合を示すノイズ低減パラメータ）を設定する。コアリング幅の設定方法には、複数のノイズモデルデータからどのノイズモデルデータを使用するかを加算回数に応じて選択して、コアリング幅を参照するもの（第一のコアリング幅設定方法）と、あるひとつのノイズモデルデータを参照して計算によって加算回数に応じてコアリング幅を算出するもの（第二のコアリング幅設定方法）の２通りの方法がある。第一のコアリング幅設定方法は図８に、第二のコアリング幅設定方法は図９に示される。いずれの方法の場合でも、ノイズ量と輝度値との関係を規定するノイズモデルから簡便に加算回数に応じたノイズ量を求めて、ノイズ量に基づいてコアリング幅を設定することができる。
【００３７】
図８の第一のコアリング幅設定方法を使用するノイズ低減処理について示す。加算・合成画像の全画素分のループ処理（ステップＳ４１からＳ４７）で、まず、ある画素を注目画素に設定する（ステップＳ４１）。次に、ノイズ量推定用領域として注目画素の所定の周辺領域を設定し（ステップＳ４２）、その周辺領域内で画素の平均値を算出する（ステップＳ４３）。複数存在するノイズモデルから注目画素の加算回数に応じて適切なノイズモデルを選択し（ステップＳ４４）、選択されたノイズモデルを参照して、既に求めた画素の平均値でのノイズ量を抽出し（ステップＳ４５）、抽出したノイズ量をコアリング幅（ノイズ低減パラメータ）に設定して、コアリング処理を行ってノイズ低減する（ステップＳ４６）。注目画素の位置を全画素隈なく移動し終え、全画素についてステップＳ４２からステップＳ４６の処理を為されたか否か判断する（ステップＳ４７）。全画素についてステップＳ４２からステップＳ４６の処理が為された場合に、ノイズ低減処理を終了する。ステップＳ４２からステップＳ４６の処理が全画素については為されていない場合には、ステップＳ４１に戻り、次の注目画素を設定し、ステップＳ４２からステップＳ４６の処理を繰り返す。こうして全画素分に対するループ処理（ステップＳ４１からＳ４７）を施す。
【００３８】
なお、ステップＳ４２からステップＳ４６の処理は、ノイズ低減手段を構成し、ステップＳ４３からステップＳ４６の処理は、ノイズ低減パラメータ制御手段又はコアリング幅制御手段を構成する。
【００３９】
なお、上記では、注目画素は複数であってもよく、設定した複数の注目画素毎に加算回数を算出して、複数の注目画素毎にノイズ低減パラメータに応じてノイズを低減することも可能である。この場合、例えば、複数の注目画素の所定の周辺領域を設定し、その周辺領域内で画素の平均値を算出し、複数の注目画素の平均的な加算回数に応じて適切なノイズモデルを選択すればよい。
【００４０】
図９の第二のコアリング幅設定方法を使用するノイズ低減処理について示す。本処理は、加算・合成画像の全画素分のループ処理（ステップＳ５１からＳ５７）で、まず、注目画素を設定する（ステップＳ５１）。次に、ノイズ量推定用領域として注目画素の所定の周辺領域を設定し（ステップＳ５２）、その領域内で画素の平均値を算出する（ステップＳ５３）。予め与えられているノイズモデルと画素の平均値からノイズ量を抽出し（ステップＳ５４）、注目画素の加算回数に応じてコアリング幅を算出する（ステップＳ５５）。算出されたコアリング幅（ノイズ低減パラメータ）でコアリング処理を行ってノイズ低減する（ステップＳ５６）。注目画素を全画素に対して設定し終え、全画素についてステップＳ５２からステップＳ５６の処理が為されたか否か判断する（ステップＳ５７）。全画素についてステップＳ５２からステップＳ５６の処理が為された場合に、ノイズ低減処理を終了する。ステップＳ５２からステップＳ５６の処理が全画素については為されていない場合には、ステップＳ５１に戻り、次の注目画素を設定し、ステップＳ５２からステップＳ５６の処理を繰り返す。
【００４１】
なお、ステップＳ５２からステップＳ５６の処理は、ノイズ低減手段を構成し、ステップＳ５３からステップＳ５６の処理は、ノイズ低減パラメータ制御手段又はコアリング幅制御手段を構成する。
【００４２】
なお、上記では、注目画素は複数であってもよく、設定した複数の注目画素毎に加算回数を算出して、複数の注目画素毎にノイズ低減パラメータに応じてノイズを低減することも可能である。この場合、例えば、複数の注目画素の所定の周辺領域を設定し、その周辺領域内で画素の平均値を算出し、予め与えられているノイズモデルと画素の平均値からノイズ量を抽出し、複数の注目画素の平均的な加算回数に応じてコアリング幅を算出すればよい。
【００４３】
図１０Ａ−図１０Ｄにおいて、コアリング幅設定の例を示す。図１０Ａ中の例では、加算・合成画像のＹ３３がコアリング処理の注目画素で、ノイズ量推定用領域が注目画素の近傍である５×５の領域である（図１０Ａ上図）。まず、ノイズ量推定用領域内で画素の平均値を算出する。その際、加算・合成画像の画素値を加算値で保存している場合には、平均値算出時の除数に加算回数を考慮して、加算回数で規格化する。例えば、各画素について加算値（Y11, Y21,・・・, Y45, Y55）をそれぞれの加算回数（n11(=2), n21(=2),・・・, n45(=2), n55(=2)）で除算して加算平均（Y11/n11, Y21/n21,・・・, Y45/n45, Y55/n55）を求めてから、さらにノイズ量推定用領域内での加算平均の平均値（ノイズ量推定用領域平均値）を算出する。他の例として、ノイズ量推定用領域内で各画素についての加算値の合計（Y11+Y21+・・・+Y45+Y55）を、この領域内での加算回数の合計（図１０Ａ下図の例では６８回）で除算して平均値（ノイズ量推定用領域平均値）を算出してもよい。また、領域内の加算・合成画像の画素値を加算回数で加算平均したものを各画素の画素値として保存している場合は、領域内での加算平均の合計（Y11/n11+Y21/n21+・・・+Y45/n45+Y55/n55）を領域内の画素分（図１０Ａ下図の例では２５）で除算して画素の平均値（ノイズ量推定用領域平均値）を算出する。
【００４４】
また、ノイズ量推定用領域内での画素の平均値を算出する際に、上記では加算画像を使用しているが、電子ブレ補正による加算前の基準画像のみを使用してノイズ量推定用領域内での画素の平均値を算出しても良い。
【００４５】
なお、ノイズ量推定用領域は、大きいほどノイズ低減の効果があるが、大き過ぎると計算量が増加するため適度な大きさに設定される。
【００４６】
加算回数からノイズモデルを選択する第一のコアリング幅設定方法の場合には（図１０Ｂ）、複数のノイズモデルデータを予め設定しておく。そして、注目画素における加算回数に応じて、撮影時のＩＳＯ感度から、（加算回数−１）段数分低いＩＳＯ感度のノイズモデルを選択する。図１０Ｂの例では、撮影時のＩＳＯ感度はＩＳＯ３２００であり、注目画素における加算回数（４回）に応じて、３段数分低いＩＳＯ４００のノイズモデルを選択する。そして、選択されたノイズモデルを参照して、算出したノイズ量推定用領域平均値βから注目画素のノイズ量を抽出する（図１０Ｂの例ではα／２）。
【００４７】
なお、複数の注目画素の平均的な加算回数に応じて適切なノイズモデルを選択する場合において、平均的な加算回数が整数でない時には、平均的な加算回数を四捨五入等して整数化するようにしてよい。
【００４８】
ノイズモデルからコアリング幅を計算する第二のコアリング幅設定方法の場合（図１０Ｃ）には、参照できるノイズモデルと算出した平均値からノイズ量を抽出する（図中の例ではα）。参照できるノイズモデルは、撮影時のＩＳＯ感度（例えばＩＳＯ３２００）に対応するノイズモデルが存在すれば、そのノイズモデルとなる。（なお、撮影時のＩＳＯ感度に対応するノイズモデルが存在しない場合は、後述の第二実施形態のコアリング幅設定方法を使用できる。）図１０Ｃのようにノイズモデルから抽出したノイズ量αを変換して、注目画素の加算回数に応じて注目画素のノイズ量を算出する。この時、注目画素のノイズ量は、注目画素の加算回数をｎとするとノイズ量αをｎ-1/2倍した値として算出できる。図１０Ｃの例では、注目画素の加算回数が４回なので注目画素のノイズ量はα／２となる。
【００４９】
第一と第二のコアリング幅設定方法の両方とも、注目画素のノイズ量を決定した後、コアリング幅をノイズ量と同じ値に設定する。
【００５０】
そして、下記のように条件に応じてコアリング処理を行う。まず、数式（１）で注目画素とノイズ量推定用領域平均値との差（＝Ｓ）を算出する。
【００５１】
【数１】
【００５２】
そして、Ｓの絶対値とコアリング幅の大小関係と、Ｓの正負で条件分岐し、以下の数式（２）−（４）のように、コアリング後の画素値が算出される。
【００５３】
【数２】
【００５４】
即ち、（|Ｓ| ≧ コアリング幅）かつ（Ｓ＞０）の場合、数式（２）のように、注目画素の画素値からコアリング幅分だけ減算することによりコアリングを行う。（|Ｓ| ≧ コアリング幅）かつ（Ｓ＜０）の場合、数式（３）のように、注目画素の画素値にコアリング幅分だけ合算することによりコアリングを行う。それ以外の場合、即ち、（|Ｓ| ＜ コアリング幅）の場合には、数式（４）のようにコアリング後の画素値をノイズ量推定用領域平均値に設定する。
【００５５】
図１０Ｄのように、コアリング後の出力信号は、ノイズ低減処理部２０３に入力するコアリング前の入力信号に対して、コアリング幅の分だけ平均化されてノイズ低減処理部２０３から出力される。
【００５６】
次に、図２の電子スチルカメラで行われる上述の処理について、信号の流れに基づいてさらに説明する。
【００５７】
まず、使用者がシャッター釦１１３を押したり電源スイッチ１２をＯＮ状態にすることにより、撮影制御部１１０は、絞り１０１、シャッター１０３、ＡＦ用モータ１０８の制御をして撮影を行う。撮影ではＣＣＤ撮像素子１０５からの信号がＡ／Ｄ変換回路１０６にてデジタル信号化され、切替部２００の制御により、そのままバッファメモリ２０１ａに出力するか、信号処理部１１１へ出力するか制御される。信号処理部１１１では公知のホワイトバランス、補間処理（デモザイキング）などがなされフルカラーの画像信号として、バッファメモリ２０１ａに出力される。
【００５８】
シャッター釦１１３が半押し時のプリ撮像でのＡＦ（自動焦点調節）制御時において、ＣＣＤ撮像素子１０５からの出力信号をＡ／Ｄ変換回路１０６にてデジタル信号化して輝度信号を算出し、合焦位置は、その輝度信号中のエッジ強度から求められる。すなわち、ＡＦ用モータ１０８にてレンズ系１００の合焦位置を段階的に変えることで、エッジ強度が最大となる合焦位置を推定する。ＡＦロック後、撮像制御部１１０が操作表示部１１９へＡＦ完了通知用の信号を出力し、液晶表示パネル１３にＡＦ完了を通知する表示が為される。この通知後、使用者がシャッター釦１１３を完全に押すと撮像制御部１１０が高速連写撮影を行う。
【００５９】
高速連写撮影された複数枚の画像信号は、信号処理部１１１を介す場合も介さない場合もバッファメモリ２０１ａに保存される。バッファメモリ２０１ａに保存された複数枚の画像信号はブレ補正処理部２０２へ入力され、動き検出部２０２aで画像間のブレ量を算出し、画素加算部２０２ｂで画像を加算し、バッファメモリ２０１ａに加算・合成画像が保存される。ブレ補正に使用される枚数分だけ処理を施してバッファメモリ２０１ａの加算画像は上書き更新される。その際、画素加算部２０２ｂは、バッファメモリ２０１ｂに、加算画像の各画素における加算回数をカウント（算出）し記録しておく。画素加算部２０２ｂとバッファメモリ２０１ｂは、加算回数算出手段を構成する。
【００６０】
ノイズ低減処理部２０３は、バッファメモリ２０１ａを介して加算画像を入力し、バッファメモリ２０１ｂに記録されている各画素の加算回数データを用いながらノイズモデル選択、コアリング幅算出する。コアリング処理部２０３ｃは、コアリング幅に応じてコアリングする。コアリング後、画像信号はバッファメモリ２０１ａに上書き更新される。バッファメモリ２０１ａからの画像信号は、圧縮部１２４に入力されて、ＪＰＥＧなどの画像圧縮を施され、圧縮後の画像データは、メモリカードＩ／Ｆ部１１７を介してメモリカード１１８に記録される。
【００６１】
なお、信号処理部１１１内の処理は、大別すると信号処理１（補間／色変換処理等）と信号処理２（エッジ強調処理等）の２つに分けられ、これらの処理はバッファメモリ２０１ａを介して別々に処理できる。また、信号処理部１１１とブレ補正処理部２０２とノイズ低減処理部２０３の処理は、バッファメモリ２０１ａを介して、順不同で実施することが可能である。ただし、図３に示したように、ブレ補正処理部２０２とノイズ低減処理部２０３の処理の順番に関して、ブレ補正処理がノイズ低減処理よりも先に実施される。
【００６２】
次に、図１１を参照して、第二実施形態を説明する。第二実施形態は、撮影時のＩＳＯ感度に対応するノイズモデルが存在しない場合の実施形態であり、撮影時のＩＳＯ感度と参照できるノイズモデルのＩＳＯ感度との感度差（段数差）が考慮されコアリング幅が計算される。この感度差も、１段分感度が下がればノイズ量が２-1/2倍になることから、加算回数１回分と同等に取り扱うことができる。
【００６３】
第二実施形態において、ノイズモデルの選択とコアリング幅の変換演算とが組み合わされている。例として、複数枚の画像撮影時におけるカメラのＩＳＯ感度の設定値がＩＳＯ８００でこれに対応するノイズモデルが存在しない場合を説明する。
【００６４】
図１１Ａ上図のような電子ブレ補正処理によって加算・合成された画像がバッファメモリ２０１ａに存在し、図１１Ａ下図のような加算回数を保存したデータがバッファメモリ２０１ｂに存在する。これらの図では、加算・合成画像のＹ３３がコアリング処理の注目画素で、ノイズ量推定用領域が注目画素の近傍である５×５の領域である。まず、第一実施形態と同様にノイズ量推定用領域内で画素の平均値を算出する。その際、加算・合成画像の画素値を加算値で保存している場合は、平均値算出時の除数に加算回数を考慮して正規化する。加算・合成画像の画素値を加算平均して保存している場合は、平均値算出時の除数を領域内の画素分（図１１Ａ下図の例では２５）として、ノイズ量推定用領域内でこの加算平均の平均値を算出する。
【００６５】
ノイズモデルを選択・参照する時、撮影時のＩＳＯ感度に最も近いＩＳＯ感度のノイズモデルデータを選択する。図１１Ｂの例では、存在するノイズモデルがＩＳＯ感度１６００と３２００で、撮影時のＩＳＯ感度が８００であるため、撮影時のＩＳＯ感度に最も近いＩＳＯ１６００のノイズモデルデータを選択する。選択されたノイズモデルとノイズモデル量推定用領域の平均値（図１１Ｂではβ）からノイズ量を抽出する（図１１Ｂではα）。ここで、選択されたノイズモデルからのノイズ量Ｎ＝α、注目画素の加算回数ｎ＝３、複数枚の画像撮影時のＩＳＯ感度から選択されたノイズモデルのＩＳＯ感度までの感度差ｄ＝１、変換後のノイズ量Ｎ'とすると、
【００６６】
【数３】
【００６７】
より、Ｎ'＝α／２となる。変換演算によって求めたＮ'＝α／２をコアリング幅として、第一実施形態と同様にコアリングを行う。
【００６８】
なお、ＩＳＯ感度の感度差dは、撮影時のＩＳＯ感度からみて、選択されたノイズモデルのＩＳＯ感度への感度差であるので、上記の例の場合＋１段となる。もし、選択されたノイズモデルのＩＳＯ感度１６００、撮影時のＩＳＯ感度４００であれば感度差は＋２段になり、選択されたノイズモデルのＩＳＯ感度１６００、撮影時のＩＳＯ感度６４００であれば感度差は−２段となる。又、撮影時のＩＳＯ感度に対応するノイズモデルが存在する場合には、感度差ｄ＝０となり、図１０Ｃと同様に、ＩＳＯ感度に対応するノイズモデルが選択され、変換後のノイズ量は、選択されたノイズモデルからのノイズ量（Ｎ＝α）のｎ-1/2倍となる。
【００６９】
第二実施形態において、撮影時のＩＳＯ感度に対応するノイズモデルが存在しない場合でも、加算回数に応じたノイズ量を求めて、ノイズ量に基づいてコアリング幅を設定することができる。
【００７０】
次に、図１２を参照して、第三実施形態について説明する。第三実施形態において、画像信号の伝送時のノイズにノイズ低減処理が適用される。図１２は、例示として、カプセル内視鏡システムの構成図を示す。
【００７１】
カプセル内視鏡システムは、撮像素子により取得した複数枚画像の画像信号を無線により伝送するカプセル内視鏡３００（画像取得手段）、カプセル内視鏡３００からの画像信号を受信し画像処理する画像処理装置３０１、画像処理装置３０１からの画像信号を画像として表示する表示装置３０５を備える。画像処理装置３０１は、カプセル内視鏡からの画像信号を受信し又カプセル内視鏡への制御信号を送信する無線部３０２、受信した画像信号をアナログーデジタル変換するＡ／Ｄ（アナログーデジタル）変換回路３０３、Ａ／Ｄ変換回路３０３からの画像信号を処理する画像処理部３０４から構成される。
【００７２】
カプセル内視鏡システムのような無線システムでは、撮像したアナログデータを無線伝送するときに、伝送ノイズが発生する。この場合、第一実施形態及び第二実施形態のような輝度値に応じたノイズでなく、輝度値に無関係な伝送ノイズが発生する。この時の第一実施形態及び第二実施形態と同様の考え方で、注目画素の加算回数ｎを考慮した画像信号の伝送ノイズ量Ｎ’を、そのままの（加算回数を考慮しない）伝送ノイズ量Ｎに基づいて計算する。ここでは、ＩＳＯ感度の感度差分は考慮しないため、第二実施形態の数式（５）が、以下の数式（６）に置き換えられる。
【００７３】
【数４】
【００７４】
画像処理装置３０１内の画像処理部３０４で、伝送されてきた複数枚の画像を位置合わせし画像加算・合成後にノイズ低減処理を施す場合に、数式（６）を用い各画素の加算回数に応じてコアリング幅を変えてノイズ低減する。複数枚の画像の位置合わせ処理、画像加算・合成処理、加算回数のデータ保存、コアリングによるノイズ低減処理の方法は、第一実施形態及び第二実施形態と同様に行う。
【００７５】
以上の第一から第三実施形態によれば、複数枚の画像を使って位置合わせしブレ補正による画像加算・合成した加算画像に対して、コアリング処理によるノイズ低減を行う。この際に、加算回数に応じて参照するノイズモデルを選択あるいはノイズモデルのノイズ量から変換演算することによって加算回数に適したコアリング幅を設定することができる。このため、まばらなノイズのある加算画像に対しても均一な仕上がりになるノイズ低減をすることが可能となる。
【００７６】
なお、本発明は上記の第一実施形態から第三実施形態に限定されるものではない。例えば、上記の第一実施形態から第三実施形態において、ノイズ低減処理はコアリング処理を用いて行われたが、ノイズ低減処理は、ノイズ除去フィルタを用いたフィルタリング処理によっても簡便に行うことができる。ノイズ除去フィルタとして、ある画素についての周辺画素の平均値を基にその画素の補正を行うローパスフィルタや、周辺画素の中央値で補正を行うメディアンフィルタが挙げられる。
【００７７】
この場合には、フィルタ行列のサイズ、フィルタリング回数、又はフィルタ行列の行列要素等のノイズ低減パラメータ（ノイズ低減の度合を示すパラメータ）を、ノイズ低減の対象となる注目画素における加算回数と基準輝度値とに基づき計算して、フィルタリングを行ってよい。
【００７８】
例えば、注目画素における加算回数が小さいほどノイズ量は大きくなるため、加算回数が小さいほど、フィルタ行列のサイズ又はフィルタリング回数を増加させてノイズをより強く低減してよい。又、注目画素における平均輝度値（基準輝度値）が大きいほどノイズ量は大きくなるため、平均輝度値が大きいほど、フィルタ行列のサイズ又はフィルタリング回数を増加させてノイズをより強く低減してよい。このようにノイズ低減パラメータを、ノイズを低減する対象となる注目画素における加算回数と基準輝度値とに基づき制御して、画素毎に合成回数が異なることに適応してノイズ低減処理を施すことができる。
【００７９】
本発明は上記の実施の形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【図面の簡単な説明】
【００８０】
【図１】第一実施形態に係る電子スチルカメラの構成を示すブロック構成図である。
【図２】第一実施形態に係る電子スチルカメラの外観構成図である。
【図３】第一実施形態に係る画像処理を示すフローチャートである。
【図４】第一実施形態に係る電子ブレ補正処理を示すフローチャートである。
【図５】第一実施形態に係るブレ補正値推定の一例を示す図である。
【図６Ａ】画像加算前の基準画像（上図）と参照画像（下図）を示す図である。
【図６Ｂ】第一実施形態に係る画像加算（上図）と各画素の加算回数（下図）の一例を示す図である。
【図７Ａ】高解像度して画像を加算する前の基準画像（上図）、参照画像１（中図）、参照画像２（下図）を示す図である。
【図７Ｂ】高解像度の加算・合成画像の一例を示す図である。
【図７Ｃ】図７Ｂの加算・合成画像の加算回数を示す図である。
【図８】第一実施形態のノイズ低減処理の一例を示すフローチャートである。
【図９】第一実施形態のノイズ低減処理の一例を示すフローチャートである。
【図１０Ａ】加算合成後の画像（上図）と各画素の加算回数（下図）を示す図である。
【図１０Ｂ】ノイズ量と輝度値との関係を示すノイズモデル（ＩＳＯ感度に応じて複数設定されている）と画像加算回数に応じたコアリング幅の設定を示す図である。
【図１０Ｃ】撮影時のＩＳＯ感度に対応する、参照可能なノイズモデルと、画像加算回数に応じたコアリング幅の設定を示す図である。
【図１０Ｄ】第一実施形態に係るコアリング処理について説明する図であり、コアリング前の入力信号とコアリング後の出力信号の関係を示す。
【図１１Ａ】第二実施形態に係る加算合成後の画像（上図）と各画素の加算回数（下図）を示す図である。
【図１１Ｂ】第二実施形態に係るノイズモデル選択とコアリング幅変換演算の例を示す図である。存在するノイズモデルからのノイズモデル選択、及び、コアリング幅変換演算を説明する。
【図１２】第三実施形態に係るカプセル内視鏡システムを示す図である。
【符号の説明】
【００８１】
１００ レンズ系
１０５ ＣＣＤ撮像素子
１１０ 撮像制御部
１１１ 信号処理部
１１３ シャッター釦
２０１ａ バッファメモリ
２０１ｂ バッファメモリ
２０２ ブレ補正処理部
２０２ａ 動き検出部
２０２ｂ 画素加算部
２０２ｃ 画素選択部
２０３ ノイズ低減処理部
２０３ａ ノイズ量推定部
２０３ｂ コアリング幅算出部
２０３ｃ コアリング処理部
３００ カプセル内視鏡
３０１ 画像処理装置
【特許請求の範囲】
【請求項１】
複数枚の画像を位置合わせし、前記複数枚の画像データを加算して新たな画像データを生成する画像処理装置であって、
前記新たな画像データの１つ又は複数の画素毎に、画像データの加算回数を算出する加算回数算出手段と、
前記新たな画像データの１つ又は複数の画素毎に、ノイズの低減の度合を示すノイズ低減パラメータに応じてノイズを低減するノイズ低減手段と、を備え、
前記ノイズ低減手段は、ノイズを低減する対象となる注目画素における加算回数に基づき、前記注目画素に対するノイズ低減パラメータを設定するノイズ低減パラメータ制御手段を有することを特徴とする画像処理装置。
【請求項２】
前記ノイズ低減パラメータが、コアリング幅であり、前記ノイズ低減手段が、基準輝度値及び前記加算回数とに基づき前記コアリング幅を設定するコアリング幅制御手段、及び、コアリングによりノイズを低減するコアリング処理手段からなることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記コアリング幅制御手段は、ノイズ量と輝度値との関係を規定する複数のノイズモデルから、前記注目画素における前記加算回数に応じて一つのノイズモデルを選択かつ参照して、前記基準輝度値に応じてノイズ量を演算し、演算した前記ノイズ量に基づいてコアリング幅を設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記コアリング幅制御手段は、ノイズ量と輝度値との関係を規定するノイズモデルを参照して前記基準輝度値からノイズ量を演算し、演算した前記ノイズ量を前記注目画素における前記加算回数に応じて変換した値をコアリング幅として設定することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
演算した前記ノイズ量を、前記注目画素における前記加算回数と、前記複数枚の画像を撮影した時のＩＳＯ感度と前記参照したノイズモデルのＩＳＯ感度との感度差とに応じて変換し、変換した値をコアリング幅として設定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記複数枚の画像を撮影した時のＩＳＯ感度に対応するノイズモデルが存在しない場合に、前記複数枚の画像を撮影した時のＩＳＯ感度に最も近いＩＳＯ感度のノイズモデルが選択かつ参照されることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記コアリング幅制御手段は、前記ノイズモデルからの前記注目画素のノイズ量をＮ、前記注目画素における前記加算回数をｎ、前記複数枚の画像を撮影した時のＩＳＯ感度から前記ノイズモデルのＩＳＯ感度までの感度差をｄ、変換後のノイズ量Ｎ’とした場合に、
【数１】
によって変換して求めたＮ’をコアリング幅に設定することを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記ノイズ低減手段が、ノイズを低減するノイズ除去フィルタからなり、
前記ノイズ低減手段の前記ノイズ低減パラメータ制御手段が、前記ノイズ低減パラメータとして、前記ノイズ除去フィルタのフィルタ行列のサイズ、行列要素、又は、フィルタリング回数を、基準輝度値及び前記加算回数とに基づき制御することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記ノイズ低減手段が、前記注目画素における前記加算回数が小さいほど、フィルタ行列のサイズ又はフィルタリング回数を増加させることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記ノイズ低減手段が、前記注目画素における前記基準輝度値が大きいほど、フィルタ行列のサイズ又はフィルタリング回数を増加させることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記注目画素の基準輝度値は、前記注目画素の周りの所定範囲における画素の輝度値の平均値であることを特徴とする請求項２又は請求項８に記載の画像処理装置。
【請求項１２】
前記注目画素の周りの前記所定範囲における画素の輝度値は、その画素の加算回数に対する平均輝度値であることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記ノイズ低減手段が、前記複数枚の画像を取得する画像取得手段から前記複数枚の画像を伝送する際に生じる伝送ノイズを、前記複数枚の画像の画素の輝度値に無関係に低減することを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
複数枚の画像を位置合わせし、前記複数枚の画像データを加算して新たな画像データを生成する画像処理プログラムにおいて、
前記新たな画像データの１つ又は複数の画素毎に、画像データの加算回数を算出する加算回数算出手順と、
前記新たな画像データの１つ又は複数の画素毎に、ノイズの低減の度合を示すノイズ低減パラメータに応じてノイズを低減するノイズ低減手順と、を備え、
前記ノイズ低減手順は、ノイズを低減する対象となる注目画素における加算回数に基づき、前記注目画素に対するノイズ低減パラメータを制御するノイズ低減パラメータ制御手順を有することを特徴とする画像処理プログラム。
【請求項１】
複数枚の画像を位置合わせし、前記複数枚の画像データを加算して新たな画像データを生成する画像処理装置であって、
前記新たな画像データの１つ又は複数の画素毎に、画像データの加算回数を算出する加算回数算出手段と、
前記新たな画像データの１つ又は複数の画素毎に、ノイズの低減の度合を示すノイズ低減パラメータに応じてノイズを低減するノイズ低減手段と、を備え、
前記ノイズ低減手段は、ノイズを低減する対象となる注目画素における加算回数に基づき、前記注目画素に対するノイズ低減パラメータを設定するノイズ低減パラメータ制御手段を有することを特徴とする画像処理装置。
【請求項２】
前記ノイズ低減パラメータが、コアリング幅であり、前記ノイズ低減手段が、基準輝度値及び前記加算回数とに基づき前記コアリング幅を設定するコアリング幅制御手段、及び、コアリングによりノイズを低減するコアリング処理手段からなることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記コアリング幅制御手段は、ノイズ量と輝度値との関係を規定する複数のノイズモデルから、前記注目画素における前記加算回数に応じて一つのノイズモデルを選択かつ参照して、前記基準輝度値に応じてノイズ量を演算し、演算した前記ノイズ量に基づいてコアリング幅を設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記コアリング幅制御手段は、ノイズ量と輝度値との関係を規定するノイズモデルを参照して前記基準輝度値からノイズ量を演算し、演算した前記ノイズ量を前記注目画素における前記加算回数に応じて変換した値をコアリング幅として設定することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
演算した前記ノイズ量を、前記注目画素における前記加算回数と、前記複数枚の画像を撮影した時のＩＳＯ感度と前記参照したノイズモデルのＩＳＯ感度との感度差とに応じて変換し、変換した値をコアリング幅として設定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記複数枚の画像を撮影した時のＩＳＯ感度に対応するノイズモデルが存在しない場合に、前記複数枚の画像を撮影した時のＩＳＯ感度に最も近いＩＳＯ感度のノイズモデルが選択かつ参照されることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記コアリング幅制御手段は、前記ノイズモデルからの前記注目画素のノイズ量をＮ、前記注目画素における前記加算回数をｎ、前記複数枚の画像を撮影した時のＩＳＯ感度から前記ノイズモデルのＩＳＯ感度までの感度差をｄ、変換後のノイズ量Ｎ’とした場合に、
【数１】
によって変換して求めたＮ’をコアリング幅に設定することを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記ノイズ低減手段が、ノイズを低減するノイズ除去フィルタからなり、
前記ノイズ低減手段の前記ノイズ低減パラメータ制御手段が、前記ノイズ低減パラメータとして、前記ノイズ除去フィルタのフィルタ行列のサイズ、行列要素、又は、フィルタリング回数を、基準輝度値及び前記加算回数とに基づき制御することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記ノイズ低減手段が、前記注目画素における前記加算回数が小さいほど、フィルタ行列のサイズ又はフィルタリング回数を増加させることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記ノイズ低減手段が、前記注目画素における前記基準輝度値が大きいほど、フィルタ行列のサイズ又はフィルタリング回数を増加させることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記注目画素の基準輝度値は、前記注目画素の周りの所定範囲における画素の輝度値の平均値であることを特徴とする請求項２又は請求項８に記載の画像処理装置。
【請求項１２】
前記注目画素の周りの前記所定範囲における画素の輝度値は、その画素の加算回数に対する平均輝度値であることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記ノイズ低減手段が、前記複数枚の画像を取得する画像取得手段から前記複数枚の画像を伝送する際に生じる伝送ノイズを、前記複数枚の画像の画素の輝度値に無関係に低減することを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
複数枚の画像を位置合わせし、前記複数枚の画像データを加算して新たな画像データを生成する画像処理プログラムにおいて、
前記新たな画像データの１つ又は複数の画素毎に、画像データの加算回数を算出する加算回数算出手順と、
前記新たな画像データの１つ又は複数の画素毎に、ノイズの低減の度合を示すノイズ低減パラメータに応じてノイズを低減するノイズ低減手順と、を備え、
前記ノイズ低減手順は、ノイズを低減する対象となる注目画素における加算回数に基づき、前記注目画素に対するノイズ低減パラメータを制御するノイズ低減パラメータ制御手順を有することを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１０Ｄ】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図５】
【図２】
【図３】
【図４】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１０Ｄ】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図５】
【公開番号】特開２００９−１９４７００（Ｐ２００９−１９４７００Ａ）
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願番号】特願２００８−３４４５８（Ｐ２００８−３４４５８）
【出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]