【課題】低照度環境下で高感度化と高Ｓ／Ｎ比とを実現でき、解像度の低下を抑制できる画像処理装置を提供する。
【解決手段】画像処理装置は、注目画像の複数の面内画素パターンの各々と注目画素との間の相関を表す面内相関評価値を算出し、面内相関評価値に基づいて複数の面内画素パターンの中から当該注目画素と最も相関が高い面内画素加算パターンを選択する面内パターン検出部５０と、当該注目画像に対して時間的に隣接する参照画像の複数の参照画素パターンの各々と当該注目画素との間の相関を表す面間相関評価値を算出し、面間相関評価値に基づいて複数の参照画素パターンの中から当該注目画素と最も相関が高い参照画素加算パターンを選択する参照パターン検出部７０と、前記面内画素加算パターン及び前記参照画素加算パターンの双方の画素を加算して補正画素を生成する画素加算部２０とを備える。

【特許請求の範囲】
【請求項１】
撮像素子から出力された撮像信号を処理する画像処理装置であって、
前記撮像信号に含まれる一連の画像の各々が注目画像として入力されたときに当該注目画像を構成する複数の画素の各々を注目画素として選択し、当該注目画像から抽出された複数の面内画素パターンの各々と当該注目画素との間の相関を表す面内相関評価値を算出し、前記面内相関評価値に基づいて前記複数の面内画素パターンの中から当該注目画素と最も相関が高い面内画素加算パターンを選択する面内パターン検出部と、
前記一連の画像のうち当該注目画像に対して時間的に隣接する参照画像から抽出された複数の参照画素パターンの各々と当該注目画素との間の相関を表す面間相関評価値を算出し、前記面間相関評価値に基づいて前記複数の参照画素パターンの中から当該注目画素と最も相関が高い参照画素加算パターンを選択する参照パターン検出部と、
前記注目画素が選択される毎に、前記面内画素加算パターン及び前記参照画素加算パターンの双方の画素を加算して補正画素を生成する画素加算部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記複数の面内画素パターンの各々は、当該注目画素と当該注目画素を中心とする周辺画素とからなり、
前記面内パターン検出部は、
当該注目画像を構成する画素群から前記複数の面内画素パターンを抽出する面内画素抽出部と、
前記複数の面内画素パターンの各々を構成する複数画素の画素値のうちの最大画素値と最小画素値との間の差分を前記面内相関評価値として算出し、前記複数の面内画素パターンの中から前記面内相関評価値の大きさが最小となる画素パターンを前記面内画素加算パターンとして選択する演算部と、
前記注目画像における前記面内画素加算パターンの画素位置を示す情報を前記画素加算部に通知する画素指定部と
を含むことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記複数の参照画素パターンの各々は、前記参照画像内において当該注目画素の位置に相当する位置を有する注目参照画素と、当該注目参照画素を中心とする周辺参照画素とからなり、
前記参照パターン検出部は、
前記参照画像を構成する画素群から前記複数の参照画素パターンを抽出する参照画素抽出部と、
前記複数の参照画素パターンの各々を構成する複数画素の画素値のうちの最大画素値と最小画素値との間の差分を前記面間相関評価値として算出する演算部と、
前記複数の参照画素パターンの中から前記面間相関評価値の大きさが最小となる画素パターンを前記参照画素加算パターンとして選択し、前記参照画像における前記参照画素加算パターンの画素位置を示す情報を前記画素加算部に通知する加算パターン指定部と
を含むことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記撮像信号を遅延させて前記注目画像における当該注目画素を中心とする第１の局所画素領域内の複数画素の信号を並列に出力する第１の遅延回路と、
前記撮像信号を遅延させて前記参照画像における当該注目参照画素を中心とする第２の局所画素領域内の複数画素の信号を並列に出力する第２の遅延回路と
をさらに備え、
前記画素加算部は、
前記第１の遅延回路により並列に出力された当該第１の局所画素領域内の複数画素の信号から前記面内画素加算パターンの画素を選択する面内画素選択部と、
前記第２の遅延回路により並列に出力された当該第２の局所画素領域内の複数画素の信号から前記参照画素加算パターンの画素を選択する参照画素選択部と、
前記面内画素選択部により選択された画素と前記参照画素選択部により選択された画素とを加算する加算演算部と
を含むことを特徴とする画像処理装置。
【請求項５】
請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
前記撮像素子は、互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなる色フィルタアレイと、前記色フィルタアレイを透過した光学像を検出する撮像面とを有し、
前記一連の画像を構成する各画素は、前記Ｎ個の波長域の色のうちのいずれか１色を有し、
前記面内パターン検出部は、前記Ｎ個の波長域の色をそれぞれ有する第１乃至第Ｎ群の面内画素パターンのうち当該注目画素の色を有する群の面内画素パターンを当該注目画像から抽出するとともに、当該抽出された群の面内画素パターンを前記複数の面内画素パターンとして使用し、
前記参照パターン検出部は、前記Ｎ個の波長域の色をそれぞれ有する第１乃至第Ｎ群の参照画素パターンのうち当該注目画素の色を有する群の参照画素パターンを当該参照画像から抽出するとともに、当該抽出された群の参照画素パターンを前記複数の参照画素パターンとして使用する
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、前記色フィルタの配列はベイヤ配列であることを特徴とする画像処理装置。
【請求項７】
請求項１から６のうちのいずれか１項に記載の画像処理装置であって、
前記参照画像は、
当該注目画像に対して時間的に前方に位置する前方参照画像と、
当該注目画像に対して時間的に後方に位置する後方参照画像とを含み、
前記複数の参照画素パターンは、
前記前方参照画像から抽出された複数の前方参照画素パターンと、
前記後方参照画像から抽出された複数の後方参照画素パターンとを含み、
前記面間相関評価値は、
前記複数の前方参照画素パターンの各々と当該注目画素との間の相関を表す第１の面間相関評価値と、
前記複数の後方参照画素パターンの各々と当該注目画素との間の相関を表す第２の面間相関評価値とを含み、
前記参照パターン検出部は、前記第１の面間相関評価値に基づいて前記複数の前方参照画素パターンの中から当該注目画素と最も相関が高い第１の参照画素加算パターンを前記参照画素パターンの一部として選択するとともに、前記第２の面間相関評価値に基づいて前記複数の後方参照画素パターンの中から当該注目画素と最も相関が高い第２の参照画素加算パターンを前記参照画素パターンの他の一部として選択する
ことを特徴とする画像処理装置。
【請求項８】
請求項１から７のうちのいずれか１項に記載の画像処理装置であって、
前記撮像信号に含まれるノイズ成分を減衰させるフィルタ部をさらに備え、
前記面内パターン検出部は、前記フィルタ部の出力に基づいて前記面内相関評価値を算出するとともに前記面内画素加算パターンを選択し、
前記参照パターン検出部は、前記フィルタ部の出力に基づいて前記面間相関評価値を算出するとともに前記参照画素加算パターンを選択する
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、
前記フィルタ部は、
前記撮像信号を遅延させて前記各画像における第３の局所画素領域内の複数画素の信号を並列に出力する第３の遅延回路と、
前記第３の遅延回路により並列に出力された当該第３の局所画素領域内の複数画素の信号に重み係数を個別に乗算して複数の重み付き画素を生成する乗算部と、
前記複数の重み付き画素の総和を演算する総和演算部と、
前記重み係数を被写体照度情報に応じた値に設定する係数可変設定部と
を有することを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、前記係数可変設定部は、前記被写体照度情報の値が閾値よりも大きいときに前記重み係数を第１の所定値に設定し、前記被写体照度情報の値が前記閾値以下のときは前記重み係数を前記第１の所定値よりも大きい第２の所定値に設定することを特徴とする画像処理装置。
【請求項１１】
請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
前記加算演算部は、前記面内画素加算パターン及び前記参照画素加算パターンの双方の画素を加算した結果に増感倍率を乗算して前記補正画素を生成し、
前記増感倍率の値は、可変に設定される
ことを特徴とする画像処理装置。
【請求項１２】
請求項１から１０のうちのいずれか１項に記載の画像処理装置と
前記撮像素子と
を備えることを特徴とする撮像装置。
【請求項１３】
請求項１１に記載の画像処理装置と
前記撮像素子と、
前記画素加算部の出力に応じて前記増感倍率の値を設定する制御部と
を備えることを特徴とする撮像装置。
【請求項１４】
請求項１３に記載の撮像装置であって、
前記撮像素子の前面に配置された開口絞りと、
前記撮像信号を増幅する信号増幅器と
をさらに備え、
前記制御部は、前記画素加算部の出力に応じて、前記開口絞りの開口量と前記信号増幅器の増幅利得と前記撮像素子の露光時間とのうちの少なくとも１つを設定する
ことを特徴とする撮像装置。
【請求項１５】
請求項１４に記載の撮像装置であって、前記制御部は、前記画素加算部の出力の信号振幅と前記増幅利得と前記露光時間と前記増感倍率とに基づいて被写体照度の換算値を算出し、前記被写体照度の換算値に応じて、前記開口量と前記増幅利得と前記露光時間と前記増感倍率とを個別に設定することを特徴とする撮像装置。
【請求項１６】
請求項１１に記載の画像処理装置と
前記撮像素子と、
前記撮像素子に入射する光学像を測光することにより被写体照度を検出する測光部と、
前記被写体照度の検出値に応じて前記増感倍率の値を設定する制御部と
を備えることを特徴とする撮像装置。
【請求項１７】
請求項１６に記載の撮像装置であって、
前記制御部は、
前記撮像素子の前面に配置された開口絞りと、
前記撮像信号を増幅する信号増幅器と
をさらに備え、
前記制御部は、前記被写体照度の検出値に応じて、前記開口絞りの開口量と前記信号増幅器の増幅利得と前記撮像素子の露光時間と前記増感倍率とを個別に設定する
ことを特徴とする撮像装置。
【請求項１８】
請求項１２から１７のうちのいずれか１項に記載の撮像装置であって、前記撮像素子は、固体撮像素子であることを特徴とする撮像装置。
【請求項１９】
撮像素子から出力された撮像信号を処理する画像処理方法であって、
前記撮像信号に含まれる一連の画像の各々が注目画像として入力されたときに当該注目画像を構成する複数の画素の各々を注目画素として選択し、当該注目画像から抽出された複数の面内画素パターンの各々と当該注目画素との間の相関を表す面内相関評価値を算出するステップと、
前記面内相関評価値に基づいて前記複数の面内画素パターンの中から当該注目画素と最も相関が高い面内画素加算パターンを選択するステップと、
前記一連の画像のうち当該注目画像に対して時間的に隣接する参照画像から抽出された複数の参照画素パターンの各々と当該注目画素との間の相関を表す面間相関評価値を算出するステップと、
前記面間相関評価値に基づいて前記複数の参照画素パターンの中から当該注目画素と最も相関が高い参照画素加算パターンを選択するステップと、
前記注目画素が選択される毎に、前記面内画素加算パターン及び前記参照画素加算パターンの双方の画素を加算して補正画素を生成するステップと
を備えることを特徴とする画像処理方法。
【請求項２０】
請求項１９に記載の画像処理方法であって、
前記複数の面内画素パターンの各々は、当該注目画素と当該注目画素を中心とする周辺画素とからなり、
前記面内相関評価値を算出する当該ステップは、
当該注目画像を構成する画素群から前記複数の面内画素パターンを抽出するステップと、
前記複数の面内画素パターンの各々を構成する複数画素の画素値のうちの最大画素値と最小画素値との間の差分を前記面内相関評価値として算出するステップとを含み、
前記複数の面内画素パターンの中から前記面内相関評価値の大きさが最小となる画素パターンが前記面内画素加算パターンとして選択される
ことを特徴とする画像処理方法。
【請求項２１】
請求項２０に記載の画像処理方法であって、
前記複数の参照画素パターンの各々は、前記参照画像内において当該注目画素の位置に相当する位置を有する注目参照画素と、当該注目参照画素を中心とする周辺参照画素とからなり、
前記面間相関評価値を算出する当該ステップは、
前記参照画像を構成する画素群から前記複数の参照画素パターンを抽出するステップと、
前記複数の参照画素パターンの各々を構成する複数画素の画素値のうちの最大画素値と最小画素値との間の差分を前記面間相関評価値として算出するステップとを含み、
前記複数の参照画素パターンの中から前記面間相関評価値の大きさが最小となる画素パターンが前記参照画素加算パターンとして選択される
ことを特徴とする画像処理方法。
【請求項２２】
請求項１９から２１のうちのいずれか１項に記載の画像処理方法であって、
互いに異なるＮ個の波長域の色をそれぞれ有する第１乃至第Ｎ群の面内画素パターンのうち当該注目画素の色を有する群の面内画素パターンを当該注目画像から抽出するステップと、
Ｎ個の波長域の色をそれぞれ有する第１乃至第Ｎ群の面内画素パターンのうち当該注目画素の色を有する群の面内画素パターンを当該注目画像から抽出するステップと
をさらに備え、
当該抽出された群の面内画素パターンは、前記複数の面内画素パターンとして使用され、
当該抽出された群の参照画素パターンは、前記複数の参照画素パターンとして使用され、
前記撮像素子は、前記Ｎ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなる色フィルタアレイと、前記色フィルタアレイを透過した光学像を検出する撮像面とを有し、
前記一連の画像を構成する各画素は、前記Ｎ個の波長域の色のうちのいずれか１色を有する
ことを特徴とする画像処理方法。
【請求項２３】
記録媒体から読み出されて、請求項１９から２２のうちのいずれか１項に記載の画像処理方法が備えるステップをプロセッサに実行させることを特徴とするコンピュータプログラム。
【請求項２４】
請求項２３に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１４】

【図１５】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

【図２１】

【図２２】

【図２３】

【図２４】

【図２５】

【図２６】

【図２７】

【図２８】

【図２９】

【図３０】

【図３１】

【図３２】

【図３３】

【図３４】

【図３５】

【図３６】

【図３７】

【図３８】

【図３９】

【図４０】

【図４１】

【図４２】

【図４３】

【図４４】

【図４５】

【図４６】

【図４７】

【図４８】

【図４９】

【図５０】

【図５１】

【図５２】

【図５３】

【図５４】

【図５５】

【図５６】

【図５７】

【図５８】

【図５９】

【図６０】

【図６１】

【図６２】

【図６３】

【図６４】

【図６５】

【図６６】

【図６７】

【図６８】

【図６９】

【図７０】

【図７１】

【図７２】

【図７３】

【図７４】

【図７５】

【図７６】

【図７７】

【図７８】

【図７９】

【図８０】

【図８１】

【図８２】

【図８３】

【図８４】

【図８５】

【図８６】

【図８７】

【図８８】

【図８９】

【図９０】

【図９１】

【図９２】

【図９３】

【図９４】

【図９５】

【図９６】

【図９７】

【図９８】

【図９９】

【図１００】

【図１０１】

【図１０２】

【図１０３】

【図１０４】

【図１０５】

【図１０６】

【図１０７】

【図１０８】

【図１０９】

【図１１０】

【図１１１】

【図１１２】

【図１１３】

【図１１４】

【図１１５】

【図１１６】

【図１１７】

【図１１８】

【図１１９】

【図１２０】

【図１２１】

【図１２２】

【図１２３】

【図１２４】

【図１２５】

【図１２６】

【図１２７】

【図１２８】

【図１２９】

【図１３０】

【図１３１】

【図１３２】

【図１３３】

【図１３４】

【図１３５】

【図１３６】

【図１３７】

【図１３８】

【図１３９】

【図１４０】

【図１４１】

【図１４２】

【図１４３】

【図１４４】

【図１４５】

【図１４６】

【図１４７】

【図１４８】

【図１４９】

【図１５０】

【図１５１】

【図１５２】

【図１５３】

【図１５４】

【図１５５】

【図１５６】

【図１５７】

【図１５８】

【図１５９】

【図１６０】

【図１６１】

【図１６２】

【図１６３】

【図１６４】

【図１６５】

【図１６６】

【図１６７】

【図１６８】

【図１６９】

【図１７０】

【図１７１】

【図１７２】

【図１７３】

【図１７４】

【図１７５】

【図１７６】

【図１７７】

【図１７８】

【図１７９】

【図１８０】

【図１８１】

【図１８２】

【図１８３】

【図１８４】

【図１８５】

【図１８６】

【図１８７】

【図１８８】

【図１８９】

【図１９０】

【図１９１】

【図１９２】

【図１９３】

【図１９４】

【図１９５】

【図１９６】

【図１９７】

【図１９８】

【図１９９】

【図２００】

【図２０１】

【図２０２】

【図２０３】

【図２０４】

【図２０５】

【図２０６】

【図２０７】

【図２０８】

【図２０９】

【図２１０】

【図２１１】

【図２１２】

【図２１３】

【図２１４】

【図２１５】

【図２１６】

【図２１７】

【図２１８】

【図２１９】

【図２２０】

【図２２１】

【図２２２】

【図２２３】

【図２２４】

【図２２５】

【図２２６】

【図２２７】

【図２２８】

【図２２９】

【図２３０】

【図２３１】

【図２３２】

【図２３３】

【図２３４】

【図２３５】

【図２３６】

【図２３７】

【図２３８】

【図２３９】

【図２４０】

【図２４１】

【図２４２】

【図２４３】

【図２４４】

【図２４５】

【図２４６】

【図２４７】

【図２４８】

【図２４９】

【図２５０】

【図２５１】

【図２５２】

【図２５３】

【図２５４】

【図２５５】

【図２５６】

【図２５７】

【図２５８】

【図２５９】

【図２６０】

【図２６１】

【図２６２】

【図２６３】

【図２６４】

【図２６５】

【図２６６】

【図２６７】

【図２６８】

【図２６９】

【図２７０】

【図２７１】

【図２７２】

【図２７３】

【図２７４】

【図２７５】

【図２７６】

【図２７７】

【図２７８】

【図２７９】

【図２８０】

【図２８１】

【図２８２】

【図２８３】

【図２８４】

【図２８５】

【図２８６】

【図２８７】

【図２８８】

【図２８９】

【図２９０】

【図２９１】

【図２９２】

【図２９３】

【図２９４】

【図２９５】

【図２９６】

【図２９７】

【図２９８】

【図２９９】

【図３００】

【図３０１】

【図３０２】

【図３０３】

【図３０４】

【図３０５】

【図３０６】

【図３０７】

【図３０８】

【図３０９】

【図３１０】

【図３１１】

【図３１２】

【図３１３】

【図３１４】

【図３１５】

【図３１６】

【図３１７】

【図３１８】

【図３１９】

【図３２０】

【図３２１】

【図３２２】

【図３２３】

【図３２４】

【図３２５】

【図３２６】

【図３２７】

【図３２８】

【図３２９】

【図３３０】

【図３３１】

【図３３２】

【図３３３】

【図３３４】

【図３３５】

【図３３６】

【図３３７】

【図３３８】

【図３３９】

【図３４０】

【図３４１】

【図３４２】

【図３４３】

【図３４４】

【図３４５】

【図３４６】

【図３４７】

【図３４８】

【図３４９】

【図３５０】

【図３５１】

【図３５２】

【図３５３】

【図３５４】

【図３５５】

【図３５６】

【図３５７】

【図３５８】

【図３５９】

【図３６０】

【図３６１】

【図３６２】

【図３６３】

【図３６４】

【図３６５】

【図３６６】

【図３６７】

【図３６８】

【図３６９】

【図３７０】

【図３７１】

【図３７２】

【図３７３】

【図３７４】

【図３７５】

【図３７６】

【図３７７】

【図３７８】

【図３７９】

【図３８０】

【図３８１】

【図３８２】

【図３８３】

【図３８４】

【図３８５】

【図３８６】

【図３８７】

【図３８８】

【図３８９】

【図３９０】

【図３９１】

【図３９２】

【図３９３】

【図３９４】

【図３９５】

【図３９６】

【図３９７】

【図３９８】

【図３９９】

【図４００】

【図４０１】

【図４０２】

【図４０３】

【図４０４】

【図４０５】

【図４０６】

【図４０７】

【図４０８】

【図４０９】

【図４１０】

【図４１１】

【図４１２】

【図４１３】

【図４１４】

【図４１５】

【図４１６】

【図４１７】

【図４１８】

【図４１９】

【図４２０】

【図４２１】

【図４２２】

【図４２３】

【図４２４】

【図４２５】

【図４２６】

【図４２７】

【図４２８】

【図４２９】

【図４３０】

【図４３１】

【図４３２】

【図４３３】

【図４３４】

【図４３５】

【図４３６】

【図４３７】

【図４３８】

【図４３９】

【図４４０】

【図４４１】

【図４４２】

【図４４３】

【図４４４】

【図４４５】

【公開番号】特開２０１３−６６１１４（Ｐ２０１３−６６１１４Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０４６５１（Ｐ２０１１−２０４６５１）
【出願日】平成２３年９月２０日（２０１１．９．２０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】