画像処理装置および画像処理プログラム
【課題】撮影画像から解像度感を損なわずにランダムノイズを低減あるいは除去することができる。
【解決手段】異なる時間に撮影されたフレーム単位の複数画像を入力し記憶する画像記憶部２０と、画像記憶部２０から読み出した近傍の異なる時間の複数画像２1，２2の一つを基準画像とし、当該基準画像２1と基準画像以外の画像２2との相関処理を行って画像相関データ３1を算出する画像相関算出部３０と、算出された画像相関データ３1と予め指定された相関閾値とを比較し、画像相関データ３1が相関閾値以下の場合にのみ基準画像２1と基準画像以外の画像２2とを合成する画像合成部４０とを備える。
【解決手段】異なる時間に撮影されたフレーム単位の複数画像を入力し記憶する画像記憶部２０と、画像記憶部２０から読み出した近傍の異なる時間の複数画像２1，２2の一つを基準画像とし、当該基準画像２1と基準画像以外の画像２2との相関処理を行って画像相関データ３1を算出する画像相関算出部３０と、算出された画像相関データ３1と予め指定された相関閾値とを比較し、画像相関データ３1が相関閾値以下の場合にのみ基準画像２1と基準画像以外の画像２2とを合成する画像合成部４０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮影されたデジタル画像上に現れるランダムノイズの抑制を行う画像処理装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】
周知のように、近年、イメージセンサの高画素化が進み、デジタルカメラはフィルムカメラに近づくほどの高精細な画像を取得できるようになった。しかし、イメージセンサを用いて撮影したデジタル画像の場合、画像上にランダムな粒状のざらつきとなって現れるノイズ（以下、ランダムノイズと呼ぶ）が発生し、画像の品質に大きな影響を及ぼしている。ランダムノイズには、輝度ノイズ(または照度ノイズ)とカラーノイズ(またはクロミナンスノイズ)があり、カラーノイズは、シャドー部分およびカラーが均一な部分に特に発生し、人の目には、輝度ノイズよりも不快に映る。ランダムノイズの原因としては、様々あるが、光とイメージセンサの物理的性質がもっとも大きな要因と言われている。センサノイズにも読み出しノイズ、受光素子ノイズ、光子ノイズ、暗電流など、色々な原因が考えられる。ノイズ除去の簡単な方法としては、画像上のそれぞれのピクセル値を隣接ピクセルとの平均値で置き換えるという方法があるが、ランダムノイズによるばらつきを減少させることはできるが、同時に画像のディテールを平滑化してしまうため、画像の先鋭度を著しく失ってしまうという問題がある。
【０００３】
また、上記ランダムノイズを除去するための技術として、フィルムスキャナによって取得された撮影画像データにおけるランダムノイズを加重平均フィルタリング処理によって抑制する画像処理方法が提案されている（例えば特許文献１参照）。この方法では、撮影画像データを構成する画素群から注目画素を順次設定し、注目画素を中心とした加重平均フィルタリング処理のための演算領域内に位置する各周辺画素と注目画素との間の画素値の差分値を算定し、算出した差分値に応じて加重平均フィルタリング処理に用いられる重み係数を決定し、決定した重み係数を用いて加重平均フィルタリング処理を実行して注目画素の補正画素値を求めるというものである。また、この方法では、上記差分値に応じて、０〜１を定義範囲とする重み係数を決定する際に、差分値が０の場合重み係数を１とし、差分値の絶対値が設定された閾値以上の場合重み係数を０とし、差分値が０より大きくて閾値より小さい場合差分値の絶対値の増加に伴い１から単調減少すると共にその後１に単調増加していく数値群から決められる数値を重み係数としている。この方法によれば、撮影画像データにおいて、平坦領域はもとより、輪郭及びその付近においても十分にランダムノイズを抑制できると共に、写真が持つ細かいディテールと質感が維持されるとしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３０２０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載の画像処理方法では、ランダムノイズを低減させるためにぼかし（平滑化）処理として加重平均フィルタリング処理を施している。その際、注目画素と各周辺画素との間の画素値の差分値を算定し、その差分値に応じて加重平均フィルタリング処理を施すことで、輪郭部分の質感が維持されるランダムノイズ抑制が可能とされている。また、上記特許文献１の方法は、対象となる１フレームの画像内で注目画素とその周辺画素とを用いてフィルタリング処理する、いわゆる空間フィルタリング処理を施している。そのため、差分値に応じて加重平均フィルタリング処理を施すことにより、輪郭部分の質感が維持されるとしているが、輪郭部分以外の領域については、ランダムノイズ低減と共にぼやけてしまう。すなわち、解像度感が低下してしまうという問題がある。
なお、この発明では、後述するように時間的に異なる複数の画像を用いた画像処理により解像度感を損なわずにランダムノイズを低減しているが、上記特許文献１には、対象となる画像以外に他の画像を用いた、いわゆる時間方向の画像処理について示唆する記載は見られない。
【０００６】
この発明は、上記問題点を解決するためになされたもので、撮影画像から解像度感を損なわずにランダムノイズを低減あるいは除去することができる画像処理装置および画像処理プログラムを得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像処理装置は、異なる時間に撮影されたフレーム単位の複数画像を入力し記憶する画像記憶部と、画像記憶部から読み出した近傍の異なる時間の複数画像の一つを基準画像とし、当該基準画像と基準画像以外の画像との相関処理を行って画像相関データを算出する画像相関算出部と、算出された画像相関データと予め指定された相関閾値とを比較し、画像相関データが相関閾値以下の場合にのみ基準画像と基準画像以外の画像とを合成する画像合成部とを備えたものである。
【発明の効果】
【０００８】
この発明によれば、時間的に異なる複数の画像を用い、相関関係が高い部分の画像を合成することで一枚の画像を得るようにしているので、従来のようなぼかし（平滑化）処理を用いないため、解像度を損なうことなくランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による画像処理装置の機能構成を示すブロック図である。
【図２】同実施の形態１に係る画像合成部における合成処理方法を示す説明図である。
【図３】同実施の形態２による画像処理装置の機能構成を示すブロック図である。
【図４】同実施の形態２に係る画像合成部における合成処理方法を示す説明図である。
【図５】同実施の形態３による画像処理装置の機能構成を示すブロック図である。
【図６】同実施の形態３による画像処理装置の機能構成の他の例を示すブロック図である。
【図７】同実施の形態３に係る画像合成部における合成処理方法を示す説明図である。
【図８】同実施の形態３に係るアフィン変換の方法について示す説明図である。
【図９】同実施の形態３に係るアフィン変換後の画像と他の入力画像の比較について示す説明図である。
【図１０】同実施の形態５に係る画像合成部の画像合成方法を示す説明図である。
【図１１】同実施の形態６に係る画像合成部の画像合成方法を示す説明図である。
【図１２】同実施の形態７に係る画像合成部の画像合成方法を示す説明図である。
【図１３】同実施の形態７に係る画像合成部の画像合成方法を示す説明図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１による画像処理装置の機能構成を示すブロック図である。
図１において、実施の形態１の画像処理装置は、画像記憶部２０、画像相関算出部３０および画像合成部４０を備えている。また、１1は入力画像、２1は画像記憶部２０より読み出された画像、２2は画像記憶部２０より読み出された画像であるが、画像２1とは撮影された時間が異なる画像、３1は画像相関算出部３０により演算された画像相関データ、４1は画像合成部４０より出力された合成画像である。
【００１１】
画像記憶部２０には、例えばある所定の画角で、かつ異なる時間（例えば毎秒２コマ、３コマというように）に撮影したフレーム単位の複数の画像１1を順次入力し記憶する。画像相関算出部３０では、画像記憶部２０から、時間的に異なる、例えば２枚の画像２1および画像２2を読み出して、両画像間で相関処理を行って画像相関データ３1を算出する。ここでは、例えば画像２1を基準画像とする。また、画像２1と画像２2とのフレーム間差分絶対値和を画像相関データ３1として算出する。画像合成部４０では、画像相関算出部３０で算出された画像相関データ３1と予め指定された閾値（これを「相関閾値」とする）Ｊ１とを比較し、この比較結果に基づいて画像の合成処理を実施する。ここでは、画像相関データ３1が相関閾値Ｊ１以下の場合、画像２1と画像２2とは相関関係が高いとみなし、その２つの画像の合成処理を行う。一方、画像相関データ３1が相関閾値Ｊ１より大きい場合は、画像２1と画像２2とは相関関係は低いとみなして、画像合成部４０はその２つの画像の合成処理は行わない。画像合成部４０における画像の合成処理としては、画像の加算平均処理を行う。すなわち、画像２1と画像２2は相関関係が高い場合は、図２に示すように、画像２1と画像２2の同一画素位置の画素同士で加算平均処理を施す。これにより、画像２1と画像２2それぞれに混在しているランダムノイズが平均化されて抑制される。また、相関関係が高い画像２1と画像２2で、同一画素位置の画素を用いて加算平均処理を行っているため、空間的に近傍の画素の影響を受けることがなく、解像度を維持することが可能となる。
【００１２】
なお、上記例では、図１において、画像記憶部２０と画像相関算出部３０の間を画像２1と画像２2のパラレル伝送の２本としたが、１本のデータバスにより画像２1、画像２2を時系列で順次伝送するようにしてもよい。また、画像記憶部２０と画像相関算出部３０との間のデータバスの本数によらず、取り扱う画像データを画像２1と画像２2の２つの画像だけでなく、３つ以上の時間的に異なる画像を扱うようにしてもよい。この場合、例えば、画像記憶部２０と画像相関算出部３０との間のデータバスを１本とし、時間的に異なる５つの画像２1〜画像２5を扱った場合、基準画像を例えば画像２1として、その他の画像２2〜画像２5との相関としてそれぞれ画像相関データ３1（基準画像２1と画像２2との相関を指標化したデータ、以下同様）、画像相関データ３2、画像相関データ３3、画像相関データ３4を算出し、各画像相関データと相関閾値Ｊ１とをそれぞれ比較する。そして、何れの画像相関データも相関閾値Ｊ１以下の場合は、画像２1〜画像２5全ての画像の加算平均処理を行って合成画像を算出する。もし、画像相関データ３３だけが相関閾値Ｊ１より大きい場合は、画像２4を除いた残りの４枚の画像２1，２2，２3，２5の加算平均処理を行って合成画像を算出すればよい。
【００１３】
上記例では、画像相関データを算出する場合、対象となる画像のフレーム間差分絶対値和を算出しているが、この場合、対象となる画像のそれぞれの平均値を合わせてからフレーム間差分絶対値和を算出してもよい。また、対象となる画像のそれぞれの最大値を合わせるようにそれぞれの画像にオフセットを加算してからフレーム間差分絶対値和を算出してもよいし、逆に対象となる画像のそれぞれの最小値を合わせるようにそれぞれの画像にオフセットを加算してからフレーム間差分絶対値和を算出してもよい。また、対象となる画像のそれぞれの中央値を合わせるようにそれぞれの画像にオフセットを加算してからフレーム間差分絶対値和を算出してもよい。さらに、対象となる画像を基準画像のダイナミックレンジに合わせるようにそれぞれの画像にオフセットを加算したり、重み付け係数を乗じてダイナミックレンジを合わせてからフレーム間差分絶対値和を算出してもよい。さらに、同一画素位置の画素を用いて画像２1、画像２2等の画像をそのまま加算平均しているが、上記等の処理を対象となる画像に対して施してから加算平均処理を行うようにしてもよい。すなわち、画像相関データを算出する際、対象となる画像を基準画像の特性になるべく合わせるようにしてから画像相関データを算出してもよく、これにより画像の単なる信号レベルの差異だけではなく、信号レベルをなるべく抑制することで画像の絵柄の同一性を評価することができる。
【００１４】
また、上記例では、画像相関データとしてフレーム間差分絶対値和を算出するとしたが、これに代る算出値とし、フレーム間差分２乗和、フレーム間差分絶対値最大値、フレーム間差分絶対値最大値の度数、もしくは対象となる画像の相関を定量的に表した値、またはこれらを組合せた値を用いてもよい。
また、画像相関データの相関閾値Ｊ１の値は任意としてよい。例えば、ノイズが強く画像相関データが大きい場合、相関閾値Ｊ１を大きくすることで対象画像を除外せずに画像合成処理を行うことができる。合成する画像が多いほど画像に混入しているランダムノイズが抑制され、合成画像の画素値が真値に近づく傾向があるが、これはランダムノイズが真値を中心とした正規分布あるいは正規分布に準じる分布傾向があるとみなしているためである。
上記例では、画像２1を基準画像としたが、その他の画像を基準画像としてもよい。例えば、時系列の最初の画像を基準画像にする、あるいは時系列の最後の画像を基準画像にする等、いろいろ考えられるが、この基準画像の決め方は制限されるものではない。このことは、以下の他の実施の形態においても同様である。
【００１５】
以上のように、この実施の形態１によれば、異なる時間に撮影されたフレーム単位の複数の画像を画像記憶部に記憶し、画像記憶部から読み出した近傍の異なる時間の複数の画像の一つを基準画像とし、当該基準画像とその他の画像との相関処理を行って画像相関データを算出し、算出された画像相関データと予め指定された相関閾値とを比較し、この比較結果において画像相関データが相関閾値以下の場合にのみ、基準画像と基準画像以外の画像とを合成するようにしている。したがって、従来技術のようなぼかし（平滑化）処理を用いないため解像度を損なうことなくランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００１６】
実施の形態２．
上記実施の形態１では、画像の相関および画像の合成処理をフレーム単位で行っているが、これは入力画像が時系列で入力された静止画であって、画像の画素位置が画面内で変わらない場合に有効である。一方、入力画像が常時静止画とは限らず、画面内の一部に移動物体が映っている場合がある。このような場合には、移動物体の映像は、時系列で入力されたそれぞれの画面内で異なる位置に現れることになる。この発明の実施の形態２では、このように一部に移動物体が映っているような複数の画像を合成することで、ランダムノイズを抑制する方法について説明する。
図３は、この発明の実施の形態２による画像処理装置の機能構成を示すブロック図である。
図３において、実施の形態２の画像処理装置は、画像記憶部２０、領域探索部５０および画像合成部６０を備えている。また、５1は領域情報データ、５2は画像相関データ、６1は画像合成部６０より出力された合成画像を表わす。なお、図１と同一符号は同じものを意味する。領域探索部５０は、図１の画像相関算出部３０相当の機能を含んでいるものとする。また、この実施の形態２の画像合成部６０では、画像合成処理は対象画像の加算平均処理を行うものとする。
【００１７】
領域探索部５０では、まず、画像記憶部２０から読み出した時系列の画像２1と画像２2から、基準画像とする画像２1上の移動物体が映る対象領域と最も相関が高い領域を画像２2より探索し、最も相関が高い領域を示す領域情報データ５1を生成する。
対象領域の探索は、基準画像（画像２1）を複数の画像ブロック（矩形ブロック）に分割し、ブロック単位で最も評価値（本例では差分絶対値和とする）の小さい画像ブロックを画像２2より探索する。画像ブロック毎に順次探索を行っていき、画面内の各ブロックの動きベクトルの分布をグルーピングする。同一ベクトル値あるいは指定した範囲内のベクトル値をグルーピングし、ベクトル値範囲が条件に合うグルーピングを画像合成対象とする。この時、領域情報データ５1はグルーピングの範囲を表し、［ｘ１，ｙ１］〜［ｘ２，ｙ２］という矩形範囲や［ｘ１１，ｙ１１］〜［ｘ１２，ｙ１２］、［ｘ２１，ｙ２１］〜［ｘ２２，ｙ２２］、［ｘ３１，ｙ３１］〜［ｘ３２，ｙ３２］という矩形範囲の合成範囲等で表す。
【００１８】
領域探索部５０は、次に、画像２1と画像２2で画像間の相関処理を行って画像相関データ５2を算出する。上記グルーピングされた対象領域の相関データは、対象領域内の各ブロックの評価値（差分絶対値和）の総和とする。例えば、［ｘ１１，ｙ１１］〜［ｘ１２，ｙ１２］、［ｘ２１，ｙ２１］〜［ｘ２２，ｙ２２］、［ｘ３１，ｙ３１］〜［ｘ３２，ｙ３２］という矩形範囲の合成範囲が条件に合う対象領域である場合は、３つのブロック評価値の総和を画像相関データ５2とする。
画像合成部６０では、画像相関データ５2が予め指定された相関閾値Ｊ２以下の場合、領域情報データ５1に基づいて画像２2から対象領域を抽出し、基準画像である画像２1の対応する領域と加算平均処理を行う。
【００１９】
この実施の形態２の上記例では、グルーピングされた対象領域の相関データとしては、領域探索の各ブロックの評価値（ブロック間差分絶対値和）の総和としたが、上記評価値の他に、対象領域の差分２乗和、対象領域内の差分絶対値最大値、対象領域内の差分絶対値最大値の度数あるいは対象領域画像の相関を定量的に表した値、その他２つの画像の相違を定量的に表した値、またはこれらの組合せた値を適用してもよい。
また、上記例では、グルーピングされた対象領域のみ画像合成処理を施したが、グルーピングされた対象領域以外にも画像合成処理を施してもよい。例えば、図４に示すように、合成対象の画像が画像２1、画像２2、画像２3であり、画像２1を基準画像とし、画像２1、画像２2、画像２3の画面内に同じ移動物体の映像である対象領域Ａ１，Ａ２，Ａ３がそれぞれあったとする。この場合、画像２1内の対象領域Ａ１と画像２2内の対象領域Ａ２と画像２3内の対象領域Ａ３とを合成（加算平均処理）すると共に、画像２1内の対象領域Ａ１以外の領域と、画像２2内の「対象領域Ａ２と画像２1内の対象領域Ａ１の領域」以外の領域と、画像２3内の「対象領域Ａ３と画像２1内の対象領域Ａ１の領域」以外の領域との画像合成を行ってもよい。さらにこの場合、画像２1、画像２2、画像２3で除外しない同一位置の画素が３画素ある場合（３枚の画像なので、３画素が最大）、同一位置の３画素の合成（加算平均処理）を施し、画像２1、画像２2、画像２3で、各画像内の対象領域Ａ１，Ａ２，Ａ３および画像２1内の対象領域Ａ１に相当する領域を除外した同一画素が２画素の場合（図４では移動する対象領域は移動量が少なくて、画像２1、画像２2、画像２3で何れも対象領域Ａ１，Ａ２，Ａ３である画素位置がないので、少なくとも２画素は対象領域以外の背景画像になる）、同一位置の２画素の合成を施す。
【００２０】
以上のように、この実施の形態２によれば、基準画像上の移動物体が映る対象領域と最も相関が高い領域を基準画像以外の画像より探索して領域情報データとして出力すると共に、基準画像と当該基準画像以外の画像間で相関処理を行って画像相関データを算出し、算出された画像相関データが予め指定された相関閾値よりも低い場合には、基準画像の対象領域に、領域情報データが示す基準画像以外の画像上の相関が最も高い領域を合成し、一方、算出された画像相関データが指定された相関閾値よりも高い場合には、基準画像から対象領域を除いた画像に、基準画像以外の画像から相関が最も高い領域を除いた画像を合成するようにしている。したがって、画面内に移動する対象がある場合でも、基準画像内の移動対象と基準画像以外の画像内の移動対象の画素位置合わせを行えるため、移動対象以外の領域については勿論のこと、移動対象のある領域についても、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００２１】
実施の形態３．
図５は、この発明の実施の形態３による画像処理装置の機能構成を示すブロック図である。
図５において、この実施の形態３の画像処理装置は、画像記憶部２０、画像相関算出部７０、画像変換部８０、領域探索部９０および画像合成部１００を備えている。また、７1は画像相関データ、８1は画像変換パラメータ情報、８2は変換ブロック画像（アフィン変換ブロック画像）、９1は領域情報データ、９2は画像相関データ、９3は変換画像データ、１０1は合成画像データ、２11は変換後の画像（アフィン変換フレーム画像）アフィン変換フレーム画像を表わす。なお、図１および図３と同じ符号を付した部分は同じものを意味する。領域探索部９０は、図３の領域探索部５０と同様、図１の画像相関算出部３０相当の機能を含んでいるものとする。
ここでは、画像２1より時間的に古い画像２2を基準画像とした例について説明するが、時間的に新しい画像を基準画像にしてもよいことは勿論である。
【００２２】
入力される連続的な画像として、画面全体が前方から手前に移動して来る場合や、図７に示すように移動対象が紙面前方から手前に向かって迫って来るように時系列で映っている画像がある。この発明の実施の形態３では、このような複数の画像を合成することで、ランダムノイズを抑制する方法について説明する。
画像相関算出部７０は、画像記憶部２０から読み出した異なる時間の画像２1と画像２2について、画面内を複数領域に分割してそれぞれの領域毎に画像の相関処理を行い、画像相関データ７1を算出して画像変換部８０に与える。
ここで、画面全体が前方から手前に移動する場合や、図７に示すように移動対象Ｂのみ移動する場合があるが、いずれにしても移動領域については、基準画像（画像２2）と比較対象画像（画像２1）とで同一位置の領域の相関は低い傾向を持つ。これは移動により被写体の映像が変化するためである。また、図７が前進する車等の乗り物から前方を撮影した画像を表わしているとした場合、画像２1や画像２2において画面中央の無限遠方周辺と画面端付近とでは見た目の移動量は異なる。すなわち、移動対象Ｂは画面中央近くにあるほどゆっくり移動しており、また画面端に近づくほど速く移動する傾向を持つ。そのため、注目対象が移動している場合は、その画面内での位置が異なるために、図７に示すように、ある時刻で画像２1の位置にある移動対象Ｂは、別の時刻には画像２2の位置に移動しており、移動対象Ｂの形状が変わり大きく映ることになる。この時、乗り物内から見た移動対象Ｂは画像２1と画像２2とで見る位置（角度）が異なるために、画像２1における移動対象Ｂと画像２2における移動対象Ｂとは相似形にはならない。
【００２３】
また、図７で、画像２1と画像２2において画面全体が動いている（例えば、乗り物に乗って撮影している場合、実際には移動しているのは乗り物自身であるが、乗り物内から撮影した外の映像は相対的に動いて見える）場合、画像２1と画像２2を画面全体の相関、あるいは画面を複数の領域に分割してそれぞれの領域に対する上記２つの画像２1と画像２2の相関はいずれも低くなる傾向にある。これは、乗り物から見える外の画像である画像２1と画像２2自身が移動しているため、のっぺりした単調な画像でない限り、同一位置の画素は一般的に同じ対象の画素でないか、あるいは同じ対象であっても絵柄の異なる位置の画素になっているためである。
【００２４】
画像変換部８０では、画像相関データから判定して基準画像とする画像２2内の指定領域（画像２2の画面そのものに相当する）と当該指定領域に対応する画像２1の画像領域との相関が画面内の位置により異なる場合に、画像変換パラメータ８1に基づいて、画像２1の画像領域を画像（基準画像）２2に合わせるように画像変換（アフィン変換）し、変換後の画像（アフィン変換フレーム画像）２11と変換ブロック画像（アフィン変換ブロック画像）８2を領域探索部９０に出力する。
図７で説明したように、画像２1、画像２2は乗り物から前方を撮影した画像であり、画像２1を画像（基準画像）２2と同じように手前に近づいた画像にするために、図８に示すように画像２1の一点破線内の画像（基準画像の指定領域に対応する画像領域）をアフィン変換する。アフィン変換後の画像（アフィン変換フレーム画像）２11上の破線部は、画像２2に写されている移動後の対象領域Ｂを仮想的に記載したもので、実際には変換後の画像２11上には存在していないものである。
ここで用いる画像変換パラメータ８1は、例えば、画面内の位置に応じた水平用および垂直用アフィン変換係数である。なお、設定係数は任意でよく、画面中心（無限遠方点）から画面内の距離（実空間上の距離でなく画面上の見かけの距離）に応じて係数を設定したり、画面内の距離をカテゴリ分けして同一カテゴリには同一係数を設定したり、画面内の領域をカテゴリ分けして同一カテゴリには同一係数を設定したり、図７の対角線のように点線で分割された４つの領域それぞれに係数を設定したりしてもよい。
【００２５】
次に、図９は、変換後の画像２11と基準画像である画像２2を比較する図である。画像２2の中央付近にある実線の矩形領域内は、画像２2で見えてきた領域で、変換後の画像２11では小さすぎて見えなかった領域である。図９（右図）は変換後の画像２11と画像２2を比較した結果を示すものであるが、相対的に相違が大きいのは、破線領域部分である。すなわち、移動に伴う移動対象Ｂの部分（破線領域で重なっている部分であっても、領域内の相対的な位置が異なるため、この重なり領域についても相対的に相違が大きくなる）と画像２2で新たに見えてきた中央付近の矩形領域である。
【００２６】
領域探索部９０では、画像変換部８０で画像変換された変換後の画像２11から、画像合成対象となる領域を探索する。この場合、基準画像である画像２2を複数の画像ブロック領域に分割し、ブロック単位で最も評価値（本例では差分絶対値和とする）の小さい画像ブロックを画像変換後の画像２11より探索する。図９において、画像変換後の画像２11内の対象Ｂが画像（基準画像）２2において移動している場合、画像２2内の対象Ｂと同一画素位置の画像２11の画像ブロックとで評価値を算出すると、対象Ｂが移動しているため差分が大きくなり評価値が大きくなる。よって、画像２2内の対象Ｂに対応する対象を画像２11から求めるため、画像２11内のブロックの画素位置を順次変えて画像２2内の対象Ｂとでブロック単位に評価値（差分絶対値和）を算出する。画像２2内の対象Ｂ自身が特定できない場合は、画像２2をブロック領域に分割して、画像２2の各ブロックに対し評価値が最小となるブロックを画像変換後の画像２11より探索して求める。その際、画像２2の各ブロックの画面内の座標（画素位置）と画像２11の探索されたブロックの画面内の座標が一致した場合は、対象ブロックは移動していないブロック（以下、静止ブロックとする）とみなすことができる。
【００２７】
一方、もし画像２2内の対象Ｂを含むブロックに対応する画像２11内のブロックが画像２2の該当ブロックと画面内の座標が一致しない場合は、対象Ｂは移動していることがわかる。よって、ブロック毎に静止ブロックか、移動ブロックかの情報を領域情報データ９1として設定する。また、ブロック探索で求めた各ブロックの最小評価値を画像相関データ９2に設定する。さらに、ブロック単位の画像を変換画像データ９3として設定する。後段に接続された部位（画像合成部１００）では、変換画像データ９3は領域情報データ９1により移動ブロックか、静止ブロックかがわかる。領域情報データ９1、画像相関データ９2、変換画像データ９3はブロック数分用意する（Ｈ／Ｗではレジスタやメモリイメージ、Ｓ／Ｗでは配列やポインタイメージになる）。
なお、分割するブロックの形状は任意でよい。また、上記例では、画像２2をブロック領域に分割してそのブロック単位に画像変換後の画像２11に対し評価値が最小となるブロックを探索したが、逆に画像２11をブロック領域に分割してそのブロック単位に画像２2に対し評価値が最小となるブロックを探索してもよく、どちらの画像をブロック分割して探索するかは制限されない。
【００２８】
図９において、移動対象Ｂは台形であるので画面分割されたブロックとは形状が異なることもありうるが、移動対象Ｂと画面分割されたブロックの形状の関係に依存せずに相関度の評価（評価値算出）が行えるので、この発明を制限するものではない。ブロック形状が矩形で移動対象Ｂが台形の場合、例えば複数の矩形ブロックにより構成された移動対象Ｂを含むアフィン変換ブロック画像８2で構成されたブロック領域と画像（基準画像）２2で移動対象Ｂを含む上記ブロック領域に相当するブロック領域とで差分をとると、移動対象Ｂ以外のはみ出し領域については差分が大きくなる傾向がある。これは移動対象Ｂが移動しているためで、ブロック領域に切出した際に別の絵柄の画像も合わせて切出されるためである。
【００２９】
画像合成部１００では、領域探索部９０で得られた、領域情報データ９1に対応して移動ブロック領域または静止ブロック領域に対し、変換画像データ９3と基準画像である画像２2を、画像相関データ９2の値に基づいて画像合成（加算平均処理）する。画像相関データ９2が移動ブロック領域または静止ブロック領域それぞれに対し予め指定した相関閾値Ｊ３より小さい場合は、変換画像データ９3と画像２2内の対応ブロックとは相関度が高いとみなし（たとえば、領域探索部９０で探索された対象Ｂや背景は相関度が高い）、変換画像データ９3と画像２2とを合成する。一方、画像相関データ９2が移動ブロック領域または静止ブロック領域それぞれに対し予め指定した相関閾値Ｊ３より大きい領域については、画像合成を行なわない。これは、相関閾値Ｊ３より大きい領域は変換画像データ９3と画像２2内の対応ブロックとで相関が低く、画像合成処理により異なる画像が合成される可能性が高く、ノイズ低減や解像度低下抑制の本来の目的を果たしえないためである。
【００３０】
なお、上記例では、画像２1と基準画像である画像２2の２フレームを用いてアフィン変換処理および画像合成処理を行ったが、３フレーム以上の画像を用いてもよい。
また、画像変換パラメータ情報８1は、アフィン変換係数、アフィン変換係数セット、移動対象領域に対応するアフィン変換係数候補以外に、移動対象領域の位置情報、移動対象領域の相対移動量や対応するアフィン変換係数等を含んでもよい。
また、画像変換部８０、領域探索部９０では画像を複数のブロックに分割したブロックを扱ったが、ブロックの分割数は任意でよく、またブロックの形状は矩形に限らず、三角形等その他の形状であってもよい。
また、アフィン変換は画面全体ではなく、必要領域のみ限定して変換を行ってもよく、アフィン変換の種類、順序、領域については制限されない。
また、上記例では、相関閾値Ｊ３は移動ブロック領域または静止ブロック領域それぞれに対し予め指定した値であるが、図６の他の構成例に示すように、領域情報データ９1を画像合成部１００では用いず移動ブロック領域または静止ブロック領域に依存せず予め指定した値に基づいて画像合成を行なってもよい。
【００３１】
また、上記例では、図７、図８、図９に示すように移動対象は一つであったが、移動対象が複数あっても同様に行えるものである。
さらにまた、上記例では、移動対象領域の相関データとして領域探索の各ブロックの評価値（ブロック間差分絶対値和）の総和を算出したが、上記評価値の他に、移動対象領域の差分２乗和、移動対象領域内の差分絶対値最大値、移動対象領域内の差分絶対値最大値の度数あるいは移動対象領域画像の相関を定量的に表した値、その他２つの画像の相違を定量的に表した値、またはこれらを組合せた値でもよい。
【００３２】
以上のように、この実施の形態３によれば、時間的に近傍の複数画像において、基準画像と基準画像以外の画像との相関処理により第１の画像相関データを算出し、第１の画像相関データから判定して基準画像内の指定領域と当該指定領域に対応する基準画像以外の画像の画像領域との相関が画面内の位置により異なる場合、基準画像以外の画像の対象領域を基準画像内の指定領域に合うように画像変換し、この変換後の画像から基準画像にある移動対象領域と最も相関が高い画像領域を探索し、探索単位毎に、変換画像データ、移動対象領域であるか否かを表す領域情報データ、および変換後の画像と基準画像間の相関処理による第２の画像相関データを算出し、第２の画像相関データが予め指定した相関閾値より小さい場合にのみ、前記変換画像データを前記基準画像の対応する領域と合成するようにしている。したがって、画面全体が変化し、かつ画面内に移動する対象がある場合でも、移動対象について、および移動対象以外の背景領域について、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００３３】
実施の形態４．
上記実施の形態１から実施の形態３では、画像合成処理として加算平均処理を行っているが、これに代って、加算処理、加重加算処理、加重平均処理またはフィルタ処理を行ってもよい。
加算処理は、低照度の画像を合成する時に行うとよい。低照度のため画素レベルが低い範囲で画素値が分布しているが、加算処理を行うことでランダムノイズが抑制されると共に輝度レベルの範囲を広げることができる。
上記実施の形態２、実施の形態３で説明したように、対象領域が移動することにより部分的に合成する画素数が異なる場合は、加重加算処理を行うことで対応することができる。すなわち、３枚の画像に対し、同一位置の画素の加算を３画素で行う場合はそのまま加算し、１画素除外して２画素で加算する場合は、加算結果を３／２倍する。これにより、周辺との画素レベルのレンジが合うことになる。また、加算するそれぞれの画素に対し重み付けを図って加算してもよい。さらに、単純加算平均でなく、平均処理するそれぞれの画素に対し重み付けを図って平均処理する加重平均処理を行ってもよい。
また、実施の形態３では、画像変換部８０での画像変換はアフィン変換を行っているが、拡大、縮小、回転、上下左右斜めの移動、反転の何れか、またはこれらの組合せでもよい。
【００３４】
以上のように、この実施の形態４によれば、画像合成処理として加算平均処理、加算処理、加重加算処理、加重平均処理またはフィルタ処理を行うようにし、また画像変換として拡大、縮小、回転、上下左右斜めの移動、反転の何れか、またはこれらの組合せのアフィン変換を行うようにしたので、画面全体が変化し、かつ画面内に移動する対象がある場合でも、移動対象についておよび移動対象以外の背景領域について、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００３５】
実施の形態５．
図１０は、この発明の実施の形態５に係る画像合成部の画像合成方法を示す説明図である。
図１０（ａ）において、画像２1、画像２2、…、画像２Nは、それぞれが時間的に異なる入力画像で、画像合成の対象となるＮ枚の画像を表わす。ここでは、画像２1を基準画像とする。また、図１０（ｂ）において、合成画像［Ｎ］は、上記実施の形態１から実施の形態４で述べた何れかの処理により図１０（ａ）の合成の対象となるＮ枚の画像を用いて合成された画像を表わす。
【００３６】
画像合成部（図１の画像合成部４０、図３の画像合成部６０または図５の画像合成部１００）では、基準画像（画像２1）と算出した合成画像［Ｎ］との差分絶対値和を評価値として算出し、この算出した評価値を予め指定した閾値（これを「画素ずれ閾値」とする）Ｊ４と比較し、画素ずれ閾値Ｊ４以下であった場合にのみ合成画像［Ｎ］を出力する。これは、合成画像Ｎにランダムノイズ以上の画素レベルのずれがないかを調べるためのものである。合成画像［Ｎ］のランダムノイズが低減または除去された場合は、基準画像（画像２1）と合成画像Ｎによる評価値はランダムノイズの評価値とみなすことができ低い値を示すが、対象領域等で画素ずれが起こり、ランダムノイズ以上のずれが生じている場合は、上記評価値は大きくなる。したがって、上記評価値を画素ずれ閾値Ｊ４と比較することにより、合成画像Ｎが適切か否かを判定することができる。なお、画素ずれ閾値Ｊ４は、ランダムノイズおよびランダムノイズ以外の画素ずれとして許容できる範囲の値であれば任意の値でよい。
【００３７】
以上のように、実施の形態５によれば、画像合成部において、Ｎ枚の画像を用いて生成した合成画像と基準画像の評価値を算出し、当該評価値が予め指定した画素ずれ閾値Ｊ４以下である場合にのみ合成画像を出力するようにしたので、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００３８】
実施の形態６．
図１１は、この発明の実施の形態６に係る画像合成部の画像合成方法を示す説明図である。
図１１（ａ）において、画像２1、画像２2、…、画像２N+1は、それぞれが時間的に異なる入力画像で、画像合成の対象となるＮ＋１枚の画像を表わす。ここでは、画像２1を基準画像とする。また、図１１（ｂ）において、合成画像（第２の画像）［Ｎ＋１］は、上記実施の形態１から実施の形態４で述べた何れかの処理により図１１（ａ）の合成の対象となるＮ＋１枚の画像を用いて合成された画像を表わす。なお、この実施の形態６では、上記実施の形態５と同じようにＮ枚の画像を用いて生成された合成画像（第１の画像）［Ｎ］も用いる。
【００３９】
画像合成部（図１の画像合成部４０、図３の画像合成部６０または図５の画像合成部１００）では、まず、基準画像（画像２1）と第１の合成画像［Ｎ］の差分絶対値和を評価値［Ｎ］として算出すると共に、基準画像（画像２1）と第２の合成画像［Ｎ＋１］の差分絶対値和を評価値［Ｎ＋１］evとして算出する。次に、算出した評価値［Ｎ］evと評価値［Ｎ＋１］evの差分絶対値を算出する。そして、この算出された評価値の差分絶対値を予め指定した閾値（これを「収束閾値」とする）Ｊ５と比較し、収束閾値Ｊ５以下である場合に合成画像［Ｎ］または［Ｎ＋１］を出力する。これは、評価値［Ｎ］evと評価値［Ｎ＋１］evの値が近く、合成画像の評価値が収束しつつある（飽和しつつある）ことを調べるためのものである。装置として実現するためには、性能を維持しつつ、処理時間の短縮、構成するＨ／Ｗの小型化を図るために理論限界に収束するのが必ずしも効率的でない場合は、上記のように打切基準を設けて処理を中断させる方が効率がよい。
【００４０】
上記例では、差分処理は差分絶対値により算出しているが、符号付の差分処理でもよく、特に制限されるものではない。この場合、差分結果が正値で収束閾値Ｊ５より小さい場合には第１の合成画像［Ｎ］または第２の合成画像［Ｎ＋１］を出力し、一方、差分結果が負値の場合には評価値［Ｎ＋１］evが評価値［Ｎ］evより大きくなってしまったことを意味するので、最小評価値［Ｎ］evに対応する第１の合成画像［Ｎ］の方を出力する。
【００４１】
以上のように、実施の形態６によれば、画像合成部において、Ｎ枚の画像を用いて第１の合成画像［Ｎ］を生成すると共に、Ｎ＋１枚の画像を用いて第２の合成画像［Ｎ＋１］を生成し、第１の合成画像［Ｎ］と第２の合成画像［Ｎ＋１］について、それぞれ基準画像との間で合成画像の評価値を算出し、第１の合成画像の評価値と第２の合成画像の評価値との差を求め、当該評価値の差が予め指定した収束閾値Ｊ５以下である場合に第１の合成画像［Ｎ］または第２合成画像［Ｎ＋１］を出力とするようにしたので、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００４２】
実施の形態７．
図１２および図１３は、この発明の実施の形態６に係る画像合成部の画像合成方法を示す説明図である。
図１２（ａ）において、画像２1、画像２2、・・・、画像２N+iは、それぞれが時間的に異なる入力画像で、画像合成の対象となるＮ＋ｉ枚の画像を表わす。また、図１２（ｂ）において、合成画像［Ｎ＋ｉ］は、上記実施の形態１から実施の形態４で述べた何れかの処理により図１２（ａ）のＮ＋ｉ枚の画像を用いて合成された画像を表わす。一方、図１３（ａ）において、画像２1、画像２2、・・・、画像２N+i+1は、それぞれが時間的に異なる入力画像で、画像合成の対象となるＮ＋ｉ＋１枚の画像を表わす。また、図１３（ｂ）において、合成画像［Ｎ＋ｉ＋１］は、上記実施の形態１から実施の形態４で述べた何れかの処理により図１３（ａ）のＮ＋ｉ＋１枚の画像を用いて合成された画像を表わす。
なお、この実施の形態７では、上記実施の形態６で合成画像［Ｎ］と合成画像［Ｎ＋１］のそれぞれの評価値の差が予め指定した収束閾値Ｊ５以上となった場合においても、出力できるように合成画像を再生成する方法について述べる。
【００４３】
画像合成部（図１の画像合成部４０、図３の画像合成部６０または図５の画像合成部１００）では、図１０に示される基準画像（画像２1）と第１の合成画像［Ｎ］の差分絶対値和を評価値［Ｎ］evとして算出すると共に、図１１に示される基準画像（画像２1）と第２の合成画像［Ｎ＋１］の差分絶対値和を評価値［Ｎ＋１］evを算出する。次に、算出した評価値［Ｎ］evと評価値［Ｎ＋１］evの差分絶対値を算出する。そして、これら評価値の差分絶対値を指定した収束閾値Ｊ５と比較し、当該収束閾値Ｊ５以上である場合には、画像を１枚増やして、図１２に示される合成画像［Ｎ＋ｉ］を生成し、基準画像（画像２１）と合成画像［Ｎ＋ｉ］の差分絶対値和を評価値［Ｎ＋ｉ］evとして算出する。この時ｉ＝２である。次に、前回算出した評価値［Ｎ＋１］evと今回算出した評価値［Ｎ＋ｉ］evの差分絶対値を算出し、この評価値の差分絶対値が指定した収束閾値Ｊ５以下となった場合、合成画像［Ｎ＋１］または［Ｎ＋ｉ］を出力する。
【００４４】
一方、上記評価値［Ｎ＋１］evと評価値［Ｎ＋ｉ］evの差分絶対値が指定した収束閾値Ｊ５以上であった場合には、さらに合成する画像を１枚増やし、図１３に示される合成画像［Ｎ＋ｉ＋１］を生成し、基準画像（画像２1）と合成画像［Ｎ＋ｉ＋１］の差分絶対値和を評価値［Ｎ＋ｉ＋１］evとして算出した後、評価値［Ｎ＋ｉ］evと評価値［Ｎ＋ｉ＋１］evの差分絶対値を算出する。そして、この算出された評価値の差分絶対値が指定した収束閾値Ｊ５以上の場合は、順次「ｉ」を１ずつ増やして合成枚数が１枚異なる２つの評価値を算出し、この２つの評価値の差分絶対値と収束閾値Ｊ５とを比較して合成画像を出力するかの判定を行う。すなわち、ＮとＮ＋１、あるいはＮ＋１とＮ＋２の２つの組合せのみで合成画像の出力判定をするのではなく、合成画像数Ｎ枚は任意の枚数でよく、合成枚数が１枚異なる２つの評価値を算出し、その２つの評価値の差分絶対値と収束閾値Ｊ５とを比較して合成画像を出力するかの判定を行えればよい。
【００４５】
上記例では、差分処理は差分絶対値により算出したが、符号付の差分処理でもよく、特に制限されるものではない。この場合、差分結果が正値で閾値より小さい場合は合成画像［Ｎ＋ｉ］または合成画像［Ｎ＋ｉ＋１］を画像合成部より出力し、差分結果が負値の場合は評価値［Ｎ＋ｉ＋１］evが評価値［Ｎ＋ｉ］evより大きくなってしまったことを意味するので最小評価値［Ｎ＋ｉ］evに対応する合成画像［Ｎ＋ｉ］を画像合成部より出力する。
また、上記例は、装置として実現するための例であり、性能を維持しつつ、処理時間の短縮、構成するＨ／Ｗの小型化を図るために理論限界に収束するのが必ずしも効率的でない場合は、上記のように打切基準を設けて処理を中断させる方が効率がよい。
【００４６】
以上のように、この実施の形態７によれば、上記実施の形態６の画像合成部において、Ｎ枚の画像を用いた第１の合成画像の評価値とＮ＋１枚の画像を用いた第２の合成画像の評価値との差が指定した収束閾値Ｊ５より大きい場合、画像を１枚増やしてＮ＋２枚の画像を用いて第３の合成画像を生成すると共に、基準画像との間で第３の合成画像の評価値を算出し、第２の合成画像と第３の合成画像の評価値との差を求め、この評価値の差が収束閾値Ｊ５以下なら第２の合成画像または第３の合成画像を出力し、一方、第２および第３の合成画像の評価値との差が収束閾値Ｊ５より大きい場合には、画像を１枚増やして次の合成画像を生成して同様な合成画像を出力するかの判定を行うというように、合成画像の評価値の差が収束閾値Ｊ５より大きい場合には順次同じ処理を繰り返すようにしたので、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００４７】
実施の形態８．
上記実施の形態１から実施の形態７では、相関データや評価値として差分絶対値和を用いていたが、これらの相関データや評価値は、差分絶対値和の他、差分２乗和、あるいは２つの画像の相違を定量的に表した値であれば任意の算出値でよく、特に限定されるものではない。これは、２つの画像の相違の程度が定量的に表現され、その値の大きさで類似度、相関度が判断できればよいからである。
以上のように、実施の形態８によれば、合成画像の評価値を、差分絶対値和、差分２乗和、あるいは２つの画像の相違を定量的に表した値としたので、２つの画像の相違の程度が定量的に表現でき、その値の大きさで類似度、相関度が判断でき、上記実施の形態１から実施の形態７に適用することで、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００４８】
実施の形態９．
上記実施の形態１から実施の形態８において、Ｎ枚の画像を用いて合成する場合は、そのまま同一位置のＮ個の画素の合成処理を行うか、移動している対象領域については、基準画像以外の対象領域の画素を除き、同一位置相当の画素については画像合成を行っている。低照度等撮影条件が悪い状態で撮影された画像はノイズを多く含んでいる。このノイズを低減または除去するために、上記実施の形態１から実施の形態８の方法により画像合成を行っている。
【００４９】
この実施の形態９では、画像合成部において、さらに合成する画素の選択を行うようにする。すなわち、３枚以上の画像で同一位置の画素の合成処理を行う際に、各画像の同一位置の画素の最大値、最小値の画素値の何れかを除外して合成処理を行う。この合成処理の場合、画素の真値から極端に離れている画素を除外するため、ノイズの影響を抑制することができる。例えば、低照度で画素レベル値が低い領域に集中している場合、特に最大値の画素を除外することで合成画像の画素値が真値から高い方にシフトするのを抑制することができる。
この例では、各画像の同一位置の画素の最大値、最小値の画素値の何れかを除外して合成処理を行うようにしているが、同一位置の画素の最大値、最小値の両方とも除外して合成処理を行ってもよい。
【００５０】
以上のように、この実施の形態９によれば、画像合成部において、３枚以上の画像で同一位置の画素の合成処理を行う際、各画像の同一位置の画素の最大値、最小値の画素値の何れか一方か、または同一位置の画素の最大値、最小値の両方を除外して合成処理を行うようにしたので、合成画像の画素値の真値からのずれ量を抑制し、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００５１】
実施の形態１０．
上記実施の形態９では、３枚以上の画像で、各画像の同一位置の画素の最大値、最小値の画素値の何れか一方、または同一位置の画素の最大値、最小値の両方を除外して合成処理を行うようにしているが、この実施の形態１０では、次のような方法で合成する画素の選択を行う。
画像合成部において、合成対象となるＮ枚の画像に対し同一位置の画素による第１の加重平均と標準偏差を算出し、同Ｎ枚の画像の同一位置の画素のうちから、第１の加重平均が標準偏差に係数を乗じた値より離れた値を持つ画素を除外した残りの画素により合成処理を行うようにする。この方法による処理も、上記実施の形態９と同様、画素の真値から極端に離れている画素を除外するため、ノイズの影響を抑制することができる。
【００５２】
Ｎ枚の合成対象画像において、ある同一位置の画素をＰ、第１の加重平均をＡＶＥｗ、標準偏差をＳＤとし、標準偏差に乗じる係数をｗ1、ｗ2としたとき、例えばＮ枚の画像の同一位置の画素のうちから以下の条件に合う画素を除外する。
１）同一位置の画素Ｐ＜ＡＶＥｗ−（ＳＤ×ｗ1） （画素Ｐ＜ＡＶＥｗ）
２）画素Ｐ＞ＡＶＥｗ＋（ＳＤ×ｗ2） （画素Ｐ＞ＡＶＥｗ）
ここで、例えば上記「ＡＶＥｗ−（ＳＤ×ｗ1）」および「ＡＶＥｗ＋（ＳＤ×ｗ2）」が何れも画素値レンジ内であれば、ｗ1＝ｗ2とすることで、ＡＶＥｗから上下対象に分布されている画素を扱って合成処理を行うことができるが、低照度で画素レベル値が低い領域に集中している場合、特に「ＡＶＥｗ−（ＳＤ×ｗ1）」が画素値レンジの下限を下回る場合、標準偏差に乗ずる係数を平均値より下の場合と上の場合で別の係数にし、平均値より上の場合の係数の方を小さくする（ｗ1＞ｗ2）ことで合成画像の画素値が真値から高い方にシフトするのを抑制する。この時ｗ2＝（ＡＶＥｗ−画素値レベル下限値）とすると、ＡＶＥｗ上下のレンジがちょうど対象になる。
なお、この例では、係数ｗ1，ｗ2の値をＡＶＥｗ上下のレンジがちょうど対象になるように設定したが、ＡＶＥｗ上下のレンジがちょうど対象にならない場合でも、ノイズの影響を抑制するために画素の真値から極端に離れている画素を除外できればよく、また、合成画像の画素値が真値からずれるのを抑制できればよい。
【００５３】
以上のように、この実施の形態１０によれば、画像合成部において、対象となるＮ枚の画像に対し同一位置の画素による第１の加重平均と標準偏差を算出し、Ｎ枚の画像の同一位置の画素のうちから第１の加重平均が標準偏差に係数を乗じた値より離れた値を持つ画素を除外して、残りの画素により合成処理を行うようにしたので、合成画像の画素値の真値からのずれ量を抑制し、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００５４】
以上、各実施の形態では画像処理装置を対象として説明してきたが、これら画像処理装置で行っている各部の処理機能は、コンピュータ上で実行するプログラム（画像処理プログラム）の処理に置き換えることで構成できるものである。したがって、この発明は、画像処理プログラムとして、上記各実施の形態の画像処理装置と同様の処理を実行することで、解像度を維持してランダムノイズを抑制すること、あるいはノイズ抑制により解像度を向上させることを可能にする。
【符号の説明】
【００５５】
２０ 画像記憶部、３０ 画像相関算出部、４０ 画像合成部、５０，９０ 領域探索部、６０ 画像合成部、７０ 画像相関算出部、８０ 画像変換部、１００ 画像合成部。
【技術分野】
【０００１】
この発明は、撮影されたデジタル画像上に現れるランダムノイズの抑制を行う画像処理装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】
周知のように、近年、イメージセンサの高画素化が進み、デジタルカメラはフィルムカメラに近づくほどの高精細な画像を取得できるようになった。しかし、イメージセンサを用いて撮影したデジタル画像の場合、画像上にランダムな粒状のざらつきとなって現れるノイズ（以下、ランダムノイズと呼ぶ）が発生し、画像の品質に大きな影響を及ぼしている。ランダムノイズには、輝度ノイズ(または照度ノイズ)とカラーノイズ(またはクロミナンスノイズ)があり、カラーノイズは、シャドー部分およびカラーが均一な部分に特に発生し、人の目には、輝度ノイズよりも不快に映る。ランダムノイズの原因としては、様々あるが、光とイメージセンサの物理的性質がもっとも大きな要因と言われている。センサノイズにも読み出しノイズ、受光素子ノイズ、光子ノイズ、暗電流など、色々な原因が考えられる。ノイズ除去の簡単な方法としては、画像上のそれぞれのピクセル値を隣接ピクセルとの平均値で置き換えるという方法があるが、ランダムノイズによるばらつきを減少させることはできるが、同時に画像のディテールを平滑化してしまうため、画像の先鋭度を著しく失ってしまうという問題がある。
【０００３】
また、上記ランダムノイズを除去するための技術として、フィルムスキャナによって取得された撮影画像データにおけるランダムノイズを加重平均フィルタリング処理によって抑制する画像処理方法が提案されている（例えば特許文献１参照）。この方法では、撮影画像データを構成する画素群から注目画素を順次設定し、注目画素を中心とした加重平均フィルタリング処理のための演算領域内に位置する各周辺画素と注目画素との間の画素値の差分値を算定し、算出した差分値に応じて加重平均フィルタリング処理に用いられる重み係数を決定し、決定した重み係数を用いて加重平均フィルタリング処理を実行して注目画素の補正画素値を求めるというものである。また、この方法では、上記差分値に応じて、０〜１を定義範囲とする重み係数を決定する際に、差分値が０の場合重み係数を１とし、差分値の絶対値が設定された閾値以上の場合重み係数を０とし、差分値が０より大きくて閾値より小さい場合差分値の絶対値の増加に伴い１から単調減少すると共にその後１に単調増加していく数値群から決められる数値を重み係数としている。この方法によれば、撮影画像データにおいて、平坦領域はもとより、輪郭及びその付近においても十分にランダムノイズを抑制できると共に、写真が持つ細かいディテールと質感が維持されるとしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３０２０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載の画像処理方法では、ランダムノイズを低減させるためにぼかし（平滑化）処理として加重平均フィルタリング処理を施している。その際、注目画素と各周辺画素との間の画素値の差分値を算定し、その差分値に応じて加重平均フィルタリング処理を施すことで、輪郭部分の質感が維持されるランダムノイズ抑制が可能とされている。また、上記特許文献１の方法は、対象となる１フレームの画像内で注目画素とその周辺画素とを用いてフィルタリング処理する、いわゆる空間フィルタリング処理を施している。そのため、差分値に応じて加重平均フィルタリング処理を施すことにより、輪郭部分の質感が維持されるとしているが、輪郭部分以外の領域については、ランダムノイズ低減と共にぼやけてしまう。すなわち、解像度感が低下してしまうという問題がある。
なお、この発明では、後述するように時間的に異なる複数の画像を用いた画像処理により解像度感を損なわずにランダムノイズを低減しているが、上記特許文献１には、対象となる画像以外に他の画像を用いた、いわゆる時間方向の画像処理について示唆する記載は見られない。
【０００６】
この発明は、上記問題点を解決するためになされたもので、撮影画像から解像度感を損なわずにランダムノイズを低減あるいは除去することができる画像処理装置および画像処理プログラムを得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像処理装置は、異なる時間に撮影されたフレーム単位の複数画像を入力し記憶する画像記憶部と、画像記憶部から読み出した近傍の異なる時間の複数画像の一つを基準画像とし、当該基準画像と基準画像以外の画像との相関処理を行って画像相関データを算出する画像相関算出部と、算出された画像相関データと予め指定された相関閾値とを比較し、画像相関データが相関閾値以下の場合にのみ基準画像と基準画像以外の画像とを合成する画像合成部とを備えたものである。
【発明の効果】
【０００８】
この発明によれば、時間的に異なる複数の画像を用い、相関関係が高い部分の画像を合成することで一枚の画像を得るようにしているので、従来のようなぼかし（平滑化）処理を用いないため、解像度を損なうことなくランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による画像処理装置の機能構成を示すブロック図である。
【図２】同実施の形態１に係る画像合成部における合成処理方法を示す説明図である。
【図３】同実施の形態２による画像処理装置の機能構成を示すブロック図である。
【図４】同実施の形態２に係る画像合成部における合成処理方法を示す説明図である。
【図５】同実施の形態３による画像処理装置の機能構成を示すブロック図である。
【図６】同実施の形態３による画像処理装置の機能構成の他の例を示すブロック図である。
【図７】同実施の形態３に係る画像合成部における合成処理方法を示す説明図である。
【図８】同実施の形態３に係るアフィン変換の方法について示す説明図である。
【図９】同実施の形態３に係るアフィン変換後の画像と他の入力画像の比較について示す説明図である。
【図１０】同実施の形態５に係る画像合成部の画像合成方法を示す説明図である。
【図１１】同実施の形態６に係る画像合成部の画像合成方法を示す説明図である。
【図１２】同実施の形態７に係る画像合成部の画像合成方法を示す説明図である。
【図１３】同実施の形態７に係る画像合成部の画像合成方法を示す説明図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１による画像処理装置の機能構成を示すブロック図である。
図１において、実施の形態１の画像処理装置は、画像記憶部２０、画像相関算出部３０および画像合成部４０を備えている。また、１1は入力画像、２1は画像記憶部２０より読み出された画像、２2は画像記憶部２０より読み出された画像であるが、画像２1とは撮影された時間が異なる画像、３1は画像相関算出部３０により演算された画像相関データ、４1は画像合成部４０より出力された合成画像である。
【００１１】
画像記憶部２０には、例えばある所定の画角で、かつ異なる時間（例えば毎秒２コマ、３コマというように）に撮影したフレーム単位の複数の画像１1を順次入力し記憶する。画像相関算出部３０では、画像記憶部２０から、時間的に異なる、例えば２枚の画像２1および画像２2を読み出して、両画像間で相関処理を行って画像相関データ３1を算出する。ここでは、例えば画像２1を基準画像とする。また、画像２1と画像２2とのフレーム間差分絶対値和を画像相関データ３1として算出する。画像合成部４０では、画像相関算出部３０で算出された画像相関データ３1と予め指定された閾値（これを「相関閾値」とする）Ｊ１とを比較し、この比較結果に基づいて画像の合成処理を実施する。ここでは、画像相関データ３1が相関閾値Ｊ１以下の場合、画像２1と画像２2とは相関関係が高いとみなし、その２つの画像の合成処理を行う。一方、画像相関データ３1が相関閾値Ｊ１より大きい場合は、画像２1と画像２2とは相関関係は低いとみなして、画像合成部４０はその２つの画像の合成処理は行わない。画像合成部４０における画像の合成処理としては、画像の加算平均処理を行う。すなわち、画像２1と画像２2は相関関係が高い場合は、図２に示すように、画像２1と画像２2の同一画素位置の画素同士で加算平均処理を施す。これにより、画像２1と画像２2それぞれに混在しているランダムノイズが平均化されて抑制される。また、相関関係が高い画像２1と画像２2で、同一画素位置の画素を用いて加算平均処理を行っているため、空間的に近傍の画素の影響を受けることがなく、解像度を維持することが可能となる。
【００１２】
なお、上記例では、図１において、画像記憶部２０と画像相関算出部３０の間を画像２1と画像２2のパラレル伝送の２本としたが、１本のデータバスにより画像２1、画像２2を時系列で順次伝送するようにしてもよい。また、画像記憶部２０と画像相関算出部３０との間のデータバスの本数によらず、取り扱う画像データを画像２1と画像２2の２つの画像だけでなく、３つ以上の時間的に異なる画像を扱うようにしてもよい。この場合、例えば、画像記憶部２０と画像相関算出部３０との間のデータバスを１本とし、時間的に異なる５つの画像２1〜画像２5を扱った場合、基準画像を例えば画像２1として、その他の画像２2〜画像２5との相関としてそれぞれ画像相関データ３1（基準画像２1と画像２2との相関を指標化したデータ、以下同様）、画像相関データ３2、画像相関データ３3、画像相関データ３4を算出し、各画像相関データと相関閾値Ｊ１とをそれぞれ比較する。そして、何れの画像相関データも相関閾値Ｊ１以下の場合は、画像２1〜画像２5全ての画像の加算平均処理を行って合成画像を算出する。もし、画像相関データ３３だけが相関閾値Ｊ１より大きい場合は、画像２4を除いた残りの４枚の画像２1，２2，２3，２5の加算平均処理を行って合成画像を算出すればよい。
【００１３】
上記例では、画像相関データを算出する場合、対象となる画像のフレーム間差分絶対値和を算出しているが、この場合、対象となる画像のそれぞれの平均値を合わせてからフレーム間差分絶対値和を算出してもよい。また、対象となる画像のそれぞれの最大値を合わせるようにそれぞれの画像にオフセットを加算してからフレーム間差分絶対値和を算出してもよいし、逆に対象となる画像のそれぞれの最小値を合わせるようにそれぞれの画像にオフセットを加算してからフレーム間差分絶対値和を算出してもよい。また、対象となる画像のそれぞれの中央値を合わせるようにそれぞれの画像にオフセットを加算してからフレーム間差分絶対値和を算出してもよい。さらに、対象となる画像を基準画像のダイナミックレンジに合わせるようにそれぞれの画像にオフセットを加算したり、重み付け係数を乗じてダイナミックレンジを合わせてからフレーム間差分絶対値和を算出してもよい。さらに、同一画素位置の画素を用いて画像２1、画像２2等の画像をそのまま加算平均しているが、上記等の処理を対象となる画像に対して施してから加算平均処理を行うようにしてもよい。すなわち、画像相関データを算出する際、対象となる画像を基準画像の特性になるべく合わせるようにしてから画像相関データを算出してもよく、これにより画像の単なる信号レベルの差異だけではなく、信号レベルをなるべく抑制することで画像の絵柄の同一性を評価することができる。
【００１４】
また、上記例では、画像相関データとしてフレーム間差分絶対値和を算出するとしたが、これに代る算出値とし、フレーム間差分２乗和、フレーム間差分絶対値最大値、フレーム間差分絶対値最大値の度数、もしくは対象となる画像の相関を定量的に表した値、またはこれらを組合せた値を用いてもよい。
また、画像相関データの相関閾値Ｊ１の値は任意としてよい。例えば、ノイズが強く画像相関データが大きい場合、相関閾値Ｊ１を大きくすることで対象画像を除外せずに画像合成処理を行うことができる。合成する画像が多いほど画像に混入しているランダムノイズが抑制され、合成画像の画素値が真値に近づく傾向があるが、これはランダムノイズが真値を中心とした正規分布あるいは正規分布に準じる分布傾向があるとみなしているためである。
上記例では、画像２1を基準画像としたが、その他の画像を基準画像としてもよい。例えば、時系列の最初の画像を基準画像にする、あるいは時系列の最後の画像を基準画像にする等、いろいろ考えられるが、この基準画像の決め方は制限されるものではない。このことは、以下の他の実施の形態においても同様である。
【００１５】
以上のように、この実施の形態１によれば、異なる時間に撮影されたフレーム単位の複数の画像を画像記憶部に記憶し、画像記憶部から読み出した近傍の異なる時間の複数の画像の一つを基準画像とし、当該基準画像とその他の画像との相関処理を行って画像相関データを算出し、算出された画像相関データと予め指定された相関閾値とを比較し、この比較結果において画像相関データが相関閾値以下の場合にのみ、基準画像と基準画像以外の画像とを合成するようにしている。したがって、従来技術のようなぼかし（平滑化）処理を用いないため解像度を損なうことなくランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００１６】
実施の形態２．
上記実施の形態１では、画像の相関および画像の合成処理をフレーム単位で行っているが、これは入力画像が時系列で入力された静止画であって、画像の画素位置が画面内で変わらない場合に有効である。一方、入力画像が常時静止画とは限らず、画面内の一部に移動物体が映っている場合がある。このような場合には、移動物体の映像は、時系列で入力されたそれぞれの画面内で異なる位置に現れることになる。この発明の実施の形態２では、このように一部に移動物体が映っているような複数の画像を合成することで、ランダムノイズを抑制する方法について説明する。
図３は、この発明の実施の形態２による画像処理装置の機能構成を示すブロック図である。
図３において、実施の形態２の画像処理装置は、画像記憶部２０、領域探索部５０および画像合成部６０を備えている。また、５1は領域情報データ、５2は画像相関データ、６1は画像合成部６０より出力された合成画像を表わす。なお、図１と同一符号は同じものを意味する。領域探索部５０は、図１の画像相関算出部３０相当の機能を含んでいるものとする。また、この実施の形態２の画像合成部６０では、画像合成処理は対象画像の加算平均処理を行うものとする。
【００１７】
領域探索部５０では、まず、画像記憶部２０から読み出した時系列の画像２1と画像２2から、基準画像とする画像２1上の移動物体が映る対象領域と最も相関が高い領域を画像２2より探索し、最も相関が高い領域を示す領域情報データ５1を生成する。
対象領域の探索は、基準画像（画像２1）を複数の画像ブロック（矩形ブロック）に分割し、ブロック単位で最も評価値（本例では差分絶対値和とする）の小さい画像ブロックを画像２2より探索する。画像ブロック毎に順次探索を行っていき、画面内の各ブロックの動きベクトルの分布をグルーピングする。同一ベクトル値あるいは指定した範囲内のベクトル値をグルーピングし、ベクトル値範囲が条件に合うグルーピングを画像合成対象とする。この時、領域情報データ５1はグルーピングの範囲を表し、［ｘ１，ｙ１］〜［ｘ２，ｙ２］という矩形範囲や［ｘ１１，ｙ１１］〜［ｘ１２，ｙ１２］、［ｘ２１，ｙ２１］〜［ｘ２２，ｙ２２］、［ｘ３１，ｙ３１］〜［ｘ３２，ｙ３２］という矩形範囲の合成範囲等で表す。
【００１８】
領域探索部５０は、次に、画像２1と画像２2で画像間の相関処理を行って画像相関データ５2を算出する。上記グルーピングされた対象領域の相関データは、対象領域内の各ブロックの評価値（差分絶対値和）の総和とする。例えば、［ｘ１１，ｙ１１］〜［ｘ１２，ｙ１２］、［ｘ２１，ｙ２１］〜［ｘ２２，ｙ２２］、［ｘ３１，ｙ３１］〜［ｘ３２，ｙ３２］という矩形範囲の合成範囲が条件に合う対象領域である場合は、３つのブロック評価値の総和を画像相関データ５2とする。
画像合成部６０では、画像相関データ５2が予め指定された相関閾値Ｊ２以下の場合、領域情報データ５1に基づいて画像２2から対象領域を抽出し、基準画像である画像２1の対応する領域と加算平均処理を行う。
【００１９】
この実施の形態２の上記例では、グルーピングされた対象領域の相関データとしては、領域探索の各ブロックの評価値（ブロック間差分絶対値和）の総和としたが、上記評価値の他に、対象領域の差分２乗和、対象領域内の差分絶対値最大値、対象領域内の差分絶対値最大値の度数あるいは対象領域画像の相関を定量的に表した値、その他２つの画像の相違を定量的に表した値、またはこれらの組合せた値を適用してもよい。
また、上記例では、グルーピングされた対象領域のみ画像合成処理を施したが、グルーピングされた対象領域以外にも画像合成処理を施してもよい。例えば、図４に示すように、合成対象の画像が画像２1、画像２2、画像２3であり、画像２1を基準画像とし、画像２1、画像２2、画像２3の画面内に同じ移動物体の映像である対象領域Ａ１，Ａ２，Ａ３がそれぞれあったとする。この場合、画像２1内の対象領域Ａ１と画像２2内の対象領域Ａ２と画像２3内の対象領域Ａ３とを合成（加算平均処理）すると共に、画像２1内の対象領域Ａ１以外の領域と、画像２2内の「対象領域Ａ２と画像２1内の対象領域Ａ１の領域」以外の領域と、画像２3内の「対象領域Ａ３と画像２1内の対象領域Ａ１の領域」以外の領域との画像合成を行ってもよい。さらにこの場合、画像２1、画像２2、画像２3で除外しない同一位置の画素が３画素ある場合（３枚の画像なので、３画素が最大）、同一位置の３画素の合成（加算平均処理）を施し、画像２1、画像２2、画像２3で、各画像内の対象領域Ａ１，Ａ２，Ａ３および画像２1内の対象領域Ａ１に相当する領域を除外した同一画素が２画素の場合（図４では移動する対象領域は移動量が少なくて、画像２1、画像２2、画像２3で何れも対象領域Ａ１，Ａ２，Ａ３である画素位置がないので、少なくとも２画素は対象領域以外の背景画像になる）、同一位置の２画素の合成を施す。
【００２０】
以上のように、この実施の形態２によれば、基準画像上の移動物体が映る対象領域と最も相関が高い領域を基準画像以外の画像より探索して領域情報データとして出力すると共に、基準画像と当該基準画像以外の画像間で相関処理を行って画像相関データを算出し、算出された画像相関データが予め指定された相関閾値よりも低い場合には、基準画像の対象領域に、領域情報データが示す基準画像以外の画像上の相関が最も高い領域を合成し、一方、算出された画像相関データが指定された相関閾値よりも高い場合には、基準画像から対象領域を除いた画像に、基準画像以外の画像から相関が最も高い領域を除いた画像を合成するようにしている。したがって、画面内に移動する対象がある場合でも、基準画像内の移動対象と基準画像以外の画像内の移動対象の画素位置合わせを行えるため、移動対象以外の領域については勿論のこと、移動対象のある領域についても、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００２１】
実施の形態３．
図５は、この発明の実施の形態３による画像処理装置の機能構成を示すブロック図である。
図５において、この実施の形態３の画像処理装置は、画像記憶部２０、画像相関算出部７０、画像変換部８０、領域探索部９０および画像合成部１００を備えている。また、７1は画像相関データ、８1は画像変換パラメータ情報、８2は変換ブロック画像（アフィン変換ブロック画像）、９1は領域情報データ、９2は画像相関データ、９3は変換画像データ、１０1は合成画像データ、２11は変換後の画像（アフィン変換フレーム画像）アフィン変換フレーム画像を表わす。なお、図１および図３と同じ符号を付した部分は同じものを意味する。領域探索部９０は、図３の領域探索部５０と同様、図１の画像相関算出部３０相当の機能を含んでいるものとする。
ここでは、画像２1より時間的に古い画像２2を基準画像とした例について説明するが、時間的に新しい画像を基準画像にしてもよいことは勿論である。
【００２２】
入力される連続的な画像として、画面全体が前方から手前に移動して来る場合や、図７に示すように移動対象が紙面前方から手前に向かって迫って来るように時系列で映っている画像がある。この発明の実施の形態３では、このような複数の画像を合成することで、ランダムノイズを抑制する方法について説明する。
画像相関算出部７０は、画像記憶部２０から読み出した異なる時間の画像２1と画像２2について、画面内を複数領域に分割してそれぞれの領域毎に画像の相関処理を行い、画像相関データ７1を算出して画像変換部８０に与える。
ここで、画面全体が前方から手前に移動する場合や、図７に示すように移動対象Ｂのみ移動する場合があるが、いずれにしても移動領域については、基準画像（画像２2）と比較対象画像（画像２1）とで同一位置の領域の相関は低い傾向を持つ。これは移動により被写体の映像が変化するためである。また、図７が前進する車等の乗り物から前方を撮影した画像を表わしているとした場合、画像２1や画像２2において画面中央の無限遠方周辺と画面端付近とでは見た目の移動量は異なる。すなわち、移動対象Ｂは画面中央近くにあるほどゆっくり移動しており、また画面端に近づくほど速く移動する傾向を持つ。そのため、注目対象が移動している場合は、その画面内での位置が異なるために、図７に示すように、ある時刻で画像２1の位置にある移動対象Ｂは、別の時刻には画像２2の位置に移動しており、移動対象Ｂの形状が変わり大きく映ることになる。この時、乗り物内から見た移動対象Ｂは画像２1と画像２2とで見る位置（角度）が異なるために、画像２1における移動対象Ｂと画像２2における移動対象Ｂとは相似形にはならない。
【００２３】
また、図７で、画像２1と画像２2において画面全体が動いている（例えば、乗り物に乗って撮影している場合、実際には移動しているのは乗り物自身であるが、乗り物内から撮影した外の映像は相対的に動いて見える）場合、画像２1と画像２2を画面全体の相関、あるいは画面を複数の領域に分割してそれぞれの領域に対する上記２つの画像２1と画像２2の相関はいずれも低くなる傾向にある。これは、乗り物から見える外の画像である画像２1と画像２2自身が移動しているため、のっぺりした単調な画像でない限り、同一位置の画素は一般的に同じ対象の画素でないか、あるいは同じ対象であっても絵柄の異なる位置の画素になっているためである。
【００２４】
画像変換部８０では、画像相関データから判定して基準画像とする画像２2内の指定領域（画像２2の画面そのものに相当する）と当該指定領域に対応する画像２1の画像領域との相関が画面内の位置により異なる場合に、画像変換パラメータ８1に基づいて、画像２1の画像領域を画像（基準画像）２2に合わせるように画像変換（アフィン変換）し、変換後の画像（アフィン変換フレーム画像）２11と変換ブロック画像（アフィン変換ブロック画像）８2を領域探索部９０に出力する。
図７で説明したように、画像２1、画像２2は乗り物から前方を撮影した画像であり、画像２1を画像（基準画像）２2と同じように手前に近づいた画像にするために、図８に示すように画像２1の一点破線内の画像（基準画像の指定領域に対応する画像領域）をアフィン変換する。アフィン変換後の画像（アフィン変換フレーム画像）２11上の破線部は、画像２2に写されている移動後の対象領域Ｂを仮想的に記載したもので、実際には変換後の画像２11上には存在していないものである。
ここで用いる画像変換パラメータ８1は、例えば、画面内の位置に応じた水平用および垂直用アフィン変換係数である。なお、設定係数は任意でよく、画面中心（無限遠方点）から画面内の距離（実空間上の距離でなく画面上の見かけの距離）に応じて係数を設定したり、画面内の距離をカテゴリ分けして同一カテゴリには同一係数を設定したり、画面内の領域をカテゴリ分けして同一カテゴリには同一係数を設定したり、図７の対角線のように点線で分割された４つの領域それぞれに係数を設定したりしてもよい。
【００２５】
次に、図９は、変換後の画像２11と基準画像である画像２2を比較する図である。画像２2の中央付近にある実線の矩形領域内は、画像２2で見えてきた領域で、変換後の画像２11では小さすぎて見えなかった領域である。図９（右図）は変換後の画像２11と画像２2を比較した結果を示すものであるが、相対的に相違が大きいのは、破線領域部分である。すなわち、移動に伴う移動対象Ｂの部分（破線領域で重なっている部分であっても、領域内の相対的な位置が異なるため、この重なり領域についても相対的に相違が大きくなる）と画像２2で新たに見えてきた中央付近の矩形領域である。
【００２６】
領域探索部９０では、画像変換部８０で画像変換された変換後の画像２11から、画像合成対象となる領域を探索する。この場合、基準画像である画像２2を複数の画像ブロック領域に分割し、ブロック単位で最も評価値（本例では差分絶対値和とする）の小さい画像ブロックを画像変換後の画像２11より探索する。図９において、画像変換後の画像２11内の対象Ｂが画像（基準画像）２2において移動している場合、画像２2内の対象Ｂと同一画素位置の画像２11の画像ブロックとで評価値を算出すると、対象Ｂが移動しているため差分が大きくなり評価値が大きくなる。よって、画像２2内の対象Ｂに対応する対象を画像２11から求めるため、画像２11内のブロックの画素位置を順次変えて画像２2内の対象Ｂとでブロック単位に評価値（差分絶対値和）を算出する。画像２2内の対象Ｂ自身が特定できない場合は、画像２2をブロック領域に分割して、画像２2の各ブロックに対し評価値が最小となるブロックを画像変換後の画像２11より探索して求める。その際、画像２2の各ブロックの画面内の座標（画素位置）と画像２11の探索されたブロックの画面内の座標が一致した場合は、対象ブロックは移動していないブロック（以下、静止ブロックとする）とみなすことができる。
【００２７】
一方、もし画像２2内の対象Ｂを含むブロックに対応する画像２11内のブロックが画像２2の該当ブロックと画面内の座標が一致しない場合は、対象Ｂは移動していることがわかる。よって、ブロック毎に静止ブロックか、移動ブロックかの情報を領域情報データ９1として設定する。また、ブロック探索で求めた各ブロックの最小評価値を画像相関データ９2に設定する。さらに、ブロック単位の画像を変換画像データ９3として設定する。後段に接続された部位（画像合成部１００）では、変換画像データ９3は領域情報データ９1により移動ブロックか、静止ブロックかがわかる。領域情報データ９1、画像相関データ９2、変換画像データ９3はブロック数分用意する（Ｈ／Ｗではレジスタやメモリイメージ、Ｓ／Ｗでは配列やポインタイメージになる）。
なお、分割するブロックの形状は任意でよい。また、上記例では、画像２2をブロック領域に分割してそのブロック単位に画像変換後の画像２11に対し評価値が最小となるブロックを探索したが、逆に画像２11をブロック領域に分割してそのブロック単位に画像２2に対し評価値が最小となるブロックを探索してもよく、どちらの画像をブロック分割して探索するかは制限されない。
【００２８】
図９において、移動対象Ｂは台形であるので画面分割されたブロックとは形状が異なることもありうるが、移動対象Ｂと画面分割されたブロックの形状の関係に依存せずに相関度の評価（評価値算出）が行えるので、この発明を制限するものではない。ブロック形状が矩形で移動対象Ｂが台形の場合、例えば複数の矩形ブロックにより構成された移動対象Ｂを含むアフィン変換ブロック画像８2で構成されたブロック領域と画像（基準画像）２2で移動対象Ｂを含む上記ブロック領域に相当するブロック領域とで差分をとると、移動対象Ｂ以外のはみ出し領域については差分が大きくなる傾向がある。これは移動対象Ｂが移動しているためで、ブロック領域に切出した際に別の絵柄の画像も合わせて切出されるためである。
【００２９】
画像合成部１００では、領域探索部９０で得られた、領域情報データ９1に対応して移動ブロック領域または静止ブロック領域に対し、変換画像データ９3と基準画像である画像２2を、画像相関データ９2の値に基づいて画像合成（加算平均処理）する。画像相関データ９2が移動ブロック領域または静止ブロック領域それぞれに対し予め指定した相関閾値Ｊ３より小さい場合は、変換画像データ９3と画像２2内の対応ブロックとは相関度が高いとみなし（たとえば、領域探索部９０で探索された対象Ｂや背景は相関度が高い）、変換画像データ９3と画像２2とを合成する。一方、画像相関データ９2が移動ブロック領域または静止ブロック領域それぞれに対し予め指定した相関閾値Ｊ３より大きい領域については、画像合成を行なわない。これは、相関閾値Ｊ３より大きい領域は変換画像データ９3と画像２2内の対応ブロックとで相関が低く、画像合成処理により異なる画像が合成される可能性が高く、ノイズ低減や解像度低下抑制の本来の目的を果たしえないためである。
【００３０】
なお、上記例では、画像２1と基準画像である画像２2の２フレームを用いてアフィン変換処理および画像合成処理を行ったが、３フレーム以上の画像を用いてもよい。
また、画像変換パラメータ情報８1は、アフィン変換係数、アフィン変換係数セット、移動対象領域に対応するアフィン変換係数候補以外に、移動対象領域の位置情報、移動対象領域の相対移動量や対応するアフィン変換係数等を含んでもよい。
また、画像変換部８０、領域探索部９０では画像を複数のブロックに分割したブロックを扱ったが、ブロックの分割数は任意でよく、またブロックの形状は矩形に限らず、三角形等その他の形状であってもよい。
また、アフィン変換は画面全体ではなく、必要領域のみ限定して変換を行ってもよく、アフィン変換の種類、順序、領域については制限されない。
また、上記例では、相関閾値Ｊ３は移動ブロック領域または静止ブロック領域それぞれに対し予め指定した値であるが、図６の他の構成例に示すように、領域情報データ９1を画像合成部１００では用いず移動ブロック領域または静止ブロック領域に依存せず予め指定した値に基づいて画像合成を行なってもよい。
【００３１】
また、上記例では、図７、図８、図９に示すように移動対象は一つであったが、移動対象が複数あっても同様に行えるものである。
さらにまた、上記例では、移動対象領域の相関データとして領域探索の各ブロックの評価値（ブロック間差分絶対値和）の総和を算出したが、上記評価値の他に、移動対象領域の差分２乗和、移動対象領域内の差分絶対値最大値、移動対象領域内の差分絶対値最大値の度数あるいは移動対象領域画像の相関を定量的に表した値、その他２つの画像の相違を定量的に表した値、またはこれらを組合せた値でもよい。
【００３２】
以上のように、この実施の形態３によれば、時間的に近傍の複数画像において、基準画像と基準画像以外の画像との相関処理により第１の画像相関データを算出し、第１の画像相関データから判定して基準画像内の指定領域と当該指定領域に対応する基準画像以外の画像の画像領域との相関が画面内の位置により異なる場合、基準画像以外の画像の対象領域を基準画像内の指定領域に合うように画像変換し、この変換後の画像から基準画像にある移動対象領域と最も相関が高い画像領域を探索し、探索単位毎に、変換画像データ、移動対象領域であるか否かを表す領域情報データ、および変換後の画像と基準画像間の相関処理による第２の画像相関データを算出し、第２の画像相関データが予め指定した相関閾値より小さい場合にのみ、前記変換画像データを前記基準画像の対応する領域と合成するようにしている。したがって、画面全体が変化し、かつ画面内に移動する対象がある場合でも、移動対象について、および移動対象以外の背景領域について、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００３３】
実施の形態４．
上記実施の形態１から実施の形態３では、画像合成処理として加算平均処理を行っているが、これに代って、加算処理、加重加算処理、加重平均処理またはフィルタ処理を行ってもよい。
加算処理は、低照度の画像を合成する時に行うとよい。低照度のため画素レベルが低い範囲で画素値が分布しているが、加算処理を行うことでランダムノイズが抑制されると共に輝度レベルの範囲を広げることができる。
上記実施の形態２、実施の形態３で説明したように、対象領域が移動することにより部分的に合成する画素数が異なる場合は、加重加算処理を行うことで対応することができる。すなわち、３枚の画像に対し、同一位置の画素の加算を３画素で行う場合はそのまま加算し、１画素除外して２画素で加算する場合は、加算結果を３／２倍する。これにより、周辺との画素レベルのレンジが合うことになる。また、加算するそれぞれの画素に対し重み付けを図って加算してもよい。さらに、単純加算平均でなく、平均処理するそれぞれの画素に対し重み付けを図って平均処理する加重平均処理を行ってもよい。
また、実施の形態３では、画像変換部８０での画像変換はアフィン変換を行っているが、拡大、縮小、回転、上下左右斜めの移動、反転の何れか、またはこれらの組合せでもよい。
【００３４】
以上のように、この実施の形態４によれば、画像合成処理として加算平均処理、加算処理、加重加算処理、加重平均処理またはフィルタ処理を行うようにし、また画像変換として拡大、縮小、回転、上下左右斜めの移動、反転の何れか、またはこれらの組合せのアフィン変換を行うようにしたので、画面全体が変化し、かつ画面内に移動する対象がある場合でも、移動対象についておよび移動対象以外の背景領域について、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００３５】
実施の形態５．
図１０は、この発明の実施の形態５に係る画像合成部の画像合成方法を示す説明図である。
図１０（ａ）において、画像２1、画像２2、…、画像２Nは、それぞれが時間的に異なる入力画像で、画像合成の対象となるＮ枚の画像を表わす。ここでは、画像２1を基準画像とする。また、図１０（ｂ）において、合成画像［Ｎ］は、上記実施の形態１から実施の形態４で述べた何れかの処理により図１０（ａ）の合成の対象となるＮ枚の画像を用いて合成された画像を表わす。
【００３６】
画像合成部（図１の画像合成部４０、図３の画像合成部６０または図５の画像合成部１００）では、基準画像（画像２1）と算出した合成画像［Ｎ］との差分絶対値和を評価値として算出し、この算出した評価値を予め指定した閾値（これを「画素ずれ閾値」とする）Ｊ４と比較し、画素ずれ閾値Ｊ４以下であった場合にのみ合成画像［Ｎ］を出力する。これは、合成画像Ｎにランダムノイズ以上の画素レベルのずれがないかを調べるためのものである。合成画像［Ｎ］のランダムノイズが低減または除去された場合は、基準画像（画像２1）と合成画像Ｎによる評価値はランダムノイズの評価値とみなすことができ低い値を示すが、対象領域等で画素ずれが起こり、ランダムノイズ以上のずれが生じている場合は、上記評価値は大きくなる。したがって、上記評価値を画素ずれ閾値Ｊ４と比較することにより、合成画像Ｎが適切か否かを判定することができる。なお、画素ずれ閾値Ｊ４は、ランダムノイズおよびランダムノイズ以外の画素ずれとして許容できる範囲の値であれば任意の値でよい。
【００３７】
以上のように、実施の形態５によれば、画像合成部において、Ｎ枚の画像を用いて生成した合成画像と基準画像の評価値を算出し、当該評価値が予め指定した画素ずれ閾値Ｊ４以下である場合にのみ合成画像を出力するようにしたので、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００３８】
実施の形態６．
図１１は、この発明の実施の形態６に係る画像合成部の画像合成方法を示す説明図である。
図１１（ａ）において、画像２1、画像２2、…、画像２N+1は、それぞれが時間的に異なる入力画像で、画像合成の対象となるＮ＋１枚の画像を表わす。ここでは、画像２1を基準画像とする。また、図１１（ｂ）において、合成画像（第２の画像）［Ｎ＋１］は、上記実施の形態１から実施の形態４で述べた何れかの処理により図１１（ａ）の合成の対象となるＮ＋１枚の画像を用いて合成された画像を表わす。なお、この実施の形態６では、上記実施の形態５と同じようにＮ枚の画像を用いて生成された合成画像（第１の画像）［Ｎ］も用いる。
【００３９】
画像合成部（図１の画像合成部４０、図３の画像合成部６０または図５の画像合成部１００）では、まず、基準画像（画像２1）と第１の合成画像［Ｎ］の差分絶対値和を評価値［Ｎ］として算出すると共に、基準画像（画像２1）と第２の合成画像［Ｎ＋１］の差分絶対値和を評価値［Ｎ＋１］evとして算出する。次に、算出した評価値［Ｎ］evと評価値［Ｎ＋１］evの差分絶対値を算出する。そして、この算出された評価値の差分絶対値を予め指定した閾値（これを「収束閾値」とする）Ｊ５と比較し、収束閾値Ｊ５以下である場合に合成画像［Ｎ］または［Ｎ＋１］を出力する。これは、評価値［Ｎ］evと評価値［Ｎ＋１］evの値が近く、合成画像の評価値が収束しつつある（飽和しつつある）ことを調べるためのものである。装置として実現するためには、性能を維持しつつ、処理時間の短縮、構成するＨ／Ｗの小型化を図るために理論限界に収束するのが必ずしも効率的でない場合は、上記のように打切基準を設けて処理を中断させる方が効率がよい。
【００４０】
上記例では、差分処理は差分絶対値により算出しているが、符号付の差分処理でもよく、特に制限されるものではない。この場合、差分結果が正値で収束閾値Ｊ５より小さい場合には第１の合成画像［Ｎ］または第２の合成画像［Ｎ＋１］を出力し、一方、差分結果が負値の場合には評価値［Ｎ＋１］evが評価値［Ｎ］evより大きくなってしまったことを意味するので、最小評価値［Ｎ］evに対応する第１の合成画像［Ｎ］の方を出力する。
【００４１】
以上のように、実施の形態６によれば、画像合成部において、Ｎ枚の画像を用いて第１の合成画像［Ｎ］を生成すると共に、Ｎ＋１枚の画像を用いて第２の合成画像［Ｎ＋１］を生成し、第１の合成画像［Ｎ］と第２の合成画像［Ｎ＋１］について、それぞれ基準画像との間で合成画像の評価値を算出し、第１の合成画像の評価値と第２の合成画像の評価値との差を求め、当該評価値の差が予め指定した収束閾値Ｊ５以下である場合に第１の合成画像［Ｎ］または第２合成画像［Ｎ＋１］を出力とするようにしたので、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００４２】
実施の形態７．
図１２および図１３は、この発明の実施の形態６に係る画像合成部の画像合成方法を示す説明図である。
図１２（ａ）において、画像２1、画像２2、・・・、画像２N+iは、それぞれが時間的に異なる入力画像で、画像合成の対象となるＮ＋ｉ枚の画像を表わす。また、図１２（ｂ）において、合成画像［Ｎ＋ｉ］は、上記実施の形態１から実施の形態４で述べた何れかの処理により図１２（ａ）のＮ＋ｉ枚の画像を用いて合成された画像を表わす。一方、図１３（ａ）において、画像２1、画像２2、・・・、画像２N+i+1は、それぞれが時間的に異なる入力画像で、画像合成の対象となるＮ＋ｉ＋１枚の画像を表わす。また、図１３（ｂ）において、合成画像［Ｎ＋ｉ＋１］は、上記実施の形態１から実施の形態４で述べた何れかの処理により図１３（ａ）のＮ＋ｉ＋１枚の画像を用いて合成された画像を表わす。
なお、この実施の形態７では、上記実施の形態６で合成画像［Ｎ］と合成画像［Ｎ＋１］のそれぞれの評価値の差が予め指定した収束閾値Ｊ５以上となった場合においても、出力できるように合成画像を再生成する方法について述べる。
【００４３】
画像合成部（図１の画像合成部４０、図３の画像合成部６０または図５の画像合成部１００）では、図１０に示される基準画像（画像２1）と第１の合成画像［Ｎ］の差分絶対値和を評価値［Ｎ］evとして算出すると共に、図１１に示される基準画像（画像２1）と第２の合成画像［Ｎ＋１］の差分絶対値和を評価値［Ｎ＋１］evを算出する。次に、算出した評価値［Ｎ］evと評価値［Ｎ＋１］evの差分絶対値を算出する。そして、これら評価値の差分絶対値を指定した収束閾値Ｊ５と比較し、当該収束閾値Ｊ５以上である場合には、画像を１枚増やして、図１２に示される合成画像［Ｎ＋ｉ］を生成し、基準画像（画像２１）と合成画像［Ｎ＋ｉ］の差分絶対値和を評価値［Ｎ＋ｉ］evとして算出する。この時ｉ＝２である。次に、前回算出した評価値［Ｎ＋１］evと今回算出した評価値［Ｎ＋ｉ］evの差分絶対値を算出し、この評価値の差分絶対値が指定した収束閾値Ｊ５以下となった場合、合成画像［Ｎ＋１］または［Ｎ＋ｉ］を出力する。
【００４４】
一方、上記評価値［Ｎ＋１］evと評価値［Ｎ＋ｉ］evの差分絶対値が指定した収束閾値Ｊ５以上であった場合には、さらに合成する画像を１枚増やし、図１３に示される合成画像［Ｎ＋ｉ＋１］を生成し、基準画像（画像２1）と合成画像［Ｎ＋ｉ＋１］の差分絶対値和を評価値［Ｎ＋ｉ＋１］evとして算出した後、評価値［Ｎ＋ｉ］evと評価値［Ｎ＋ｉ＋１］evの差分絶対値を算出する。そして、この算出された評価値の差分絶対値が指定した収束閾値Ｊ５以上の場合は、順次「ｉ」を１ずつ増やして合成枚数が１枚異なる２つの評価値を算出し、この２つの評価値の差分絶対値と収束閾値Ｊ５とを比較して合成画像を出力するかの判定を行う。すなわち、ＮとＮ＋１、あるいはＮ＋１とＮ＋２の２つの組合せのみで合成画像の出力判定をするのではなく、合成画像数Ｎ枚は任意の枚数でよく、合成枚数が１枚異なる２つの評価値を算出し、その２つの評価値の差分絶対値と収束閾値Ｊ５とを比較して合成画像を出力するかの判定を行えればよい。
【００４５】
上記例では、差分処理は差分絶対値により算出したが、符号付の差分処理でもよく、特に制限されるものではない。この場合、差分結果が正値で閾値より小さい場合は合成画像［Ｎ＋ｉ］または合成画像［Ｎ＋ｉ＋１］を画像合成部より出力し、差分結果が負値の場合は評価値［Ｎ＋ｉ＋１］evが評価値［Ｎ＋ｉ］evより大きくなってしまったことを意味するので最小評価値［Ｎ＋ｉ］evに対応する合成画像［Ｎ＋ｉ］を画像合成部より出力する。
また、上記例は、装置として実現するための例であり、性能を維持しつつ、処理時間の短縮、構成するＨ／Ｗの小型化を図るために理論限界に収束するのが必ずしも効率的でない場合は、上記のように打切基準を設けて処理を中断させる方が効率がよい。
【００４６】
以上のように、この実施の形態７によれば、上記実施の形態６の画像合成部において、Ｎ枚の画像を用いた第１の合成画像の評価値とＮ＋１枚の画像を用いた第２の合成画像の評価値との差が指定した収束閾値Ｊ５より大きい場合、画像を１枚増やしてＮ＋２枚の画像を用いて第３の合成画像を生成すると共に、基準画像との間で第３の合成画像の評価値を算出し、第２の合成画像と第３の合成画像の評価値との差を求め、この評価値の差が収束閾値Ｊ５以下なら第２の合成画像または第３の合成画像を出力し、一方、第２および第３の合成画像の評価値との差が収束閾値Ｊ５より大きい場合には、画像を１枚増やして次の合成画像を生成して同様な合成画像を出力するかの判定を行うというように、合成画像の評価値の差が収束閾値Ｊ５より大きい場合には順次同じ処理を繰り返すようにしたので、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００４７】
実施の形態８．
上記実施の形態１から実施の形態７では、相関データや評価値として差分絶対値和を用いていたが、これらの相関データや評価値は、差分絶対値和の他、差分２乗和、あるいは２つの画像の相違を定量的に表した値であれば任意の算出値でよく、特に限定されるものではない。これは、２つの画像の相違の程度が定量的に表現され、その値の大きさで類似度、相関度が判断できればよいからである。
以上のように、実施の形態８によれば、合成画像の評価値を、差分絶対値和、差分２乗和、あるいは２つの画像の相違を定量的に表した値としたので、２つの画像の相違の程度が定量的に表現でき、その値の大きさで類似度、相関度が判断でき、上記実施の形態１から実施の形態７に適用することで、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００４８】
実施の形態９．
上記実施の形態１から実施の形態８において、Ｎ枚の画像を用いて合成する場合は、そのまま同一位置のＮ個の画素の合成処理を行うか、移動している対象領域については、基準画像以外の対象領域の画素を除き、同一位置相当の画素については画像合成を行っている。低照度等撮影条件が悪い状態で撮影された画像はノイズを多く含んでいる。このノイズを低減または除去するために、上記実施の形態１から実施の形態８の方法により画像合成を行っている。
【００４９】
この実施の形態９では、画像合成部において、さらに合成する画素の選択を行うようにする。すなわち、３枚以上の画像で同一位置の画素の合成処理を行う際に、各画像の同一位置の画素の最大値、最小値の画素値の何れかを除外して合成処理を行う。この合成処理の場合、画素の真値から極端に離れている画素を除外するため、ノイズの影響を抑制することができる。例えば、低照度で画素レベル値が低い領域に集中している場合、特に最大値の画素を除外することで合成画像の画素値が真値から高い方にシフトするのを抑制することができる。
この例では、各画像の同一位置の画素の最大値、最小値の画素値の何れかを除外して合成処理を行うようにしているが、同一位置の画素の最大値、最小値の両方とも除外して合成処理を行ってもよい。
【００５０】
以上のように、この実施の形態９によれば、画像合成部において、３枚以上の画像で同一位置の画素の合成処理を行う際、各画像の同一位置の画素の最大値、最小値の画素値の何れか一方か、または同一位置の画素の最大値、最小値の両方を除外して合成処理を行うようにしたので、合成画像の画素値の真値からのずれ量を抑制し、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００５１】
実施の形態１０．
上記実施の形態９では、３枚以上の画像で、各画像の同一位置の画素の最大値、最小値の画素値の何れか一方、または同一位置の画素の最大値、最小値の両方を除外して合成処理を行うようにしているが、この実施の形態１０では、次のような方法で合成する画素の選択を行う。
画像合成部において、合成対象となるＮ枚の画像に対し同一位置の画素による第１の加重平均と標準偏差を算出し、同Ｎ枚の画像の同一位置の画素のうちから、第１の加重平均が標準偏差に係数を乗じた値より離れた値を持つ画素を除外した残りの画素により合成処理を行うようにする。この方法による処理も、上記実施の形態９と同様、画素の真値から極端に離れている画素を除外するため、ノイズの影響を抑制することができる。
【００５２】
Ｎ枚の合成対象画像において、ある同一位置の画素をＰ、第１の加重平均をＡＶＥｗ、標準偏差をＳＤとし、標準偏差に乗じる係数をｗ1、ｗ2としたとき、例えばＮ枚の画像の同一位置の画素のうちから以下の条件に合う画素を除外する。
１）同一位置の画素Ｐ＜ＡＶＥｗ−（ＳＤ×ｗ1） （画素Ｐ＜ＡＶＥｗ）
２）画素Ｐ＞ＡＶＥｗ＋（ＳＤ×ｗ2） （画素Ｐ＞ＡＶＥｗ）
ここで、例えば上記「ＡＶＥｗ−（ＳＤ×ｗ1）」および「ＡＶＥｗ＋（ＳＤ×ｗ2）」が何れも画素値レンジ内であれば、ｗ1＝ｗ2とすることで、ＡＶＥｗから上下対象に分布されている画素を扱って合成処理を行うことができるが、低照度で画素レベル値が低い領域に集中している場合、特に「ＡＶＥｗ−（ＳＤ×ｗ1）」が画素値レンジの下限を下回る場合、標準偏差に乗ずる係数を平均値より下の場合と上の場合で別の係数にし、平均値より上の場合の係数の方を小さくする（ｗ1＞ｗ2）ことで合成画像の画素値が真値から高い方にシフトするのを抑制する。この時ｗ2＝（ＡＶＥｗ−画素値レベル下限値）とすると、ＡＶＥｗ上下のレンジがちょうど対象になる。
なお、この例では、係数ｗ1，ｗ2の値をＡＶＥｗ上下のレンジがちょうど対象になるように設定したが、ＡＶＥｗ上下のレンジがちょうど対象にならない場合でも、ノイズの影響を抑制するために画素の真値から極端に離れている画素を除外できればよく、また、合成画像の画素値が真値からずれるのを抑制できればよい。
【００５３】
以上のように、この実施の形態１０によれば、画像合成部において、対象となるＮ枚の画像に対し同一位置の画素による第１の加重平均と標準偏差を算出し、Ｎ枚の画像の同一位置の画素のうちから第１の加重平均が標準偏差に係数を乗じた値より離れた値を持つ画素を除外して、残りの画素により合成処理を行うようにしたので、合成画像の画素値の真値からのずれ量を抑制し、解像度を維持してランダムノイズを抑制することができ、あるいはノイズ抑制により解像度を向上させることができる。
【００５４】
以上、各実施の形態では画像処理装置を対象として説明してきたが、これら画像処理装置で行っている各部の処理機能は、コンピュータ上で実行するプログラム（画像処理プログラム）の処理に置き換えることで構成できるものである。したがって、この発明は、画像処理プログラムとして、上記各実施の形態の画像処理装置と同様の処理を実行することで、解像度を維持してランダムノイズを抑制すること、あるいはノイズ抑制により解像度を向上させることを可能にする。
【符号の説明】
【００５５】
２０ 画像記憶部、３０ 画像相関算出部、４０ 画像合成部、５０，９０ 領域探索部、６０ 画像合成部、７０ 画像相関算出部、８０ 画像変換部、１００ 画像合成部。
【特許請求の範囲】
【請求項１】
異なる時間に撮影されたフレーム単位の複数画像を入力し記憶する画像記憶部と、
前記画像記憶部から読み出した近傍の異なる時間の複数画像の一つを基準画像とし、当該基準画像と基準画像以外の画像との相関処理を行って画像相関データを算出する画像相関算出部と、
前記算出された画像相関データと予め指定された相関閾値とを比較し、前記画像相関データが前記相関閾値以下の場合にのみ前記基準画像と前記基準画像以外の画像とを合成する画像合成部とを備えたことを特徴とする画像処理装置。
【請求項２】
異なる時間に撮影されたフレーム単位の複数画像を入力し記憶する画像記憶部と、
前記画像記憶部から読み出した近傍の異なる時間の複数画像の一つを基準画像とし、当該基準画像上の移動物体が映る対象領域と最も相関が高い領域を前記基準画像以外の画像より探索して領域情報データとして出力すると共に、前記基準画像と前記基準画像以外の画像間の相関処理による画像相関データを算出する領域探索部と、
前記算出された画像相関データが予め指定された相関閾値よりも低い場合には、前記基準画像の前記対象領域に、前記領域情報データが示す前記基準画像以外の画像上の相関が最も高い領域を合成し、一方、前記算出された画像相関データが前記相関閾値よりも高い場合には、前記基準画像から対象領域を除いた画像に、前記基準画像以外の画像から相関が最も高い領域を除いた画像を合成して出力する画像合成部とを備えたことを特徴とする画像処理装置。
【請求項３】
異なる時間に撮影されたフレーム単位の複数画像を入力し記憶する画像記憶部と、
前記画像記憶部から読み出した近傍の異なる時間の複数画像の一つを基準画像とし、当該基準画像と基準画像以外の画像との相関処理を行って第１の画像相関データを算出する画像相関算出部と、
前記第１の画像相関データから判定して前記基準画像内の指定領域と当該指定領域に対応する前記基準画像以外の画像の画像領域との相関が画面内の位置により異なる場合に、所定の画像変換パラメータに基づいて前記基準画像以外の画像の対応する画像領域を前記基準画像内の指定領域に合うように画像変換する画像変換部と、
前記画像変換された変換後の画像から前記基準画像にある移動対象領域と最も相関が高い画像領域を探索し、探索単位毎に、変換画像データ、移動対象領域であるか否かを表す領域情報データ、および前記変換後の画像と前記基準画像間の相関処理による第２の画像相関データを算出する領域探索部と、
前記第２の画像相関データが予め指定した相関閾値より小さい場合にのみ、前記変換画像データを前記基準画像の対応する領域と合成する画像合成部を備えたことを特徴とする画像処理装置。
【請求項４】
画像合成部は、加算処理、加重加算処理、加算平均処理、加重平均処理またはフィルタ処理により画像合成を行うことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
【請求項５】
画像変換部は、拡大、縮小、回転、上下左右斜めの移動の何れか、またはこれらの組合せた画像変換を行うことを特徴とする請求項３記載の画像処理装置。
【請求項６】
画像合成部は、Ｎ枚の画像を用いて生成した合成画像と基準画像の評価値を算出し、当該評価値が指定した画素ずれ閾値以下の場合にのみ合成画像を出力するようにしたことを特徴とする請求項１から請求項５のうちのいずれか１項記載の画像処理装置。
【請求項７】
画像合成部は、Ｎ枚の画像を用いて第１の合成画像を生成すると共に、Ｎ＋１枚の画像を用いて第２の合成画像を生成し、第１の合成画像と第２の合成画像について、それぞれ基準画像との間で合成画像の評価値を算出し、第１の合成画像の評価値と第２の合成画像の評価値との差を求め、当該評価値の差が指定した収束閾値以下である場合に第１の合成画像または第２合成画像を出力とするようにしたことを特徴とする請求項１から請求項５のうちのいずれか１項記載の画像処理装置。
【請求項８】
画像合成部は、第１の合成画像の評価値と第２の合成画像の評価値との差が指定した収束閾値より大きい場合、画像を１枚増やしてＮ＋２枚の画像を用いて第３の合成画像を生成すると共に、基準画像との間で第３の合成画像の評価値を算出し、第２の合成画像と第３の合成画像の評価値との差を求め、この評価値の差が収束閾値以下なら第２の合成画像または第３の合成画像を出力し、一方、第２および第３の合成画像の評価値の差が収束閾値より大きい場合には、画像を１枚増やして次の合成画像を生成して同様な合成画像を出力するかの判定を行うというように、合成画像の評価値の差が収束閾値より大きい場合には順次同じ処理を繰り返すことを特徴とする請求項７記載の画像処理装置。
【請求項９】
画像相関データおよび評価値は、差分絶対値和、差分２乗和、あるいは２つの画像の相違を定量的に表した値としたことを特徴とする請求項１から請求項８のうちのいずれか１項記載の画像処理装置。
【請求項１０】
画像合成部は、３枚以上の画像で同一位置の画素の合成処理を行う際、各画像の同一位置の画素の最大値、最小値の画素値の何れか一方か、または同一位置の画素の最大値、最小値の両方を除外して合成処理を行うことを特徴とする請求項１から請求項９のうちのいずれか１項記載の画像処理装置。
【請求項１１】
画像合成部は、合成対象となるＮ枚の画像に対し同一位置の画素による第１の加重平均と標準偏差を算出し、Ｎ枚の画像の同一位置の画素のうちから第１の加重平均が標準偏差に係数を乗じた値より離れた値を持つ画素を除外して、残りの画素により合成処理を行うことを特徴とする請求項１から請求項９のうちのいずれか１項記載の画像処理装置。
【請求項１２】
異なる時間に撮影されたフレーム単位の複数画像を画像記憶部に記憶し、
前記画像記憶部から近傍の異なる時間の複数の画像を読み出し、当該複数の画像の一つを基準画像として、当該基準画像と基準画像以外の画像との相関処理を行って画像相関データを算出し、
前記算出された画像相関データと予め指定された相関閾値とを比較し、前記画像相関データが前記相関閾値以下の場合にのみ前記基準画像と前記基準画像以外の画像とを合成する処理をコンピュータ上で実行することを特徴とする画像処理プログラム。
【請求項１３】
異なる時間に撮影されたフレーム単位の複数画像を画像記憶部に記憶し、
前記画像記憶部から近傍の異なる時間の複数画像読み出し、当該複数の画像の一つを基準画像として、当該基準画像上の移動物体が映る対象領域と最も相関が高い領域を前記基準画像以外の画像より探索して領域情報データとして出力すると共に、前記基準画像と前記基準画像以外の画像間の相関処理による画像相関データを算出し、
前記算出された画像相関データが予め指定された相関閾値よりも低い場合には、前記基準画像の前記対象領域に、前記領域情報データが示す前記基準画像以外の画像上の相関が最も高い領域を合成し、一方、前記算出された画像相関データが前記相関閾値よりも高い場合には、前記基準画像から対象領域を除いた画像に、前記基準画像以外の画像から相関が最も高い領域を除いた画像を合成する処理をコンピュータ上で実行することを特徴とする画像処理プログラム。
【請求項１４】
異なる時間に撮影されたフレーム単位の複数画像を入力し記憶し、
前記画像記憶部から近傍の異なる時間の複数画像を読み出し、当該複数の画像の一つを基準画像として、当該基準画像と基準画像以外の画像との相関処理を行って第１の画像相関データを算出し、
前記第１の画像相関データから判定して前記基準画像内の指定領域と当該指定領域に対応する前記基準画像以外の画像の画像領域との相関が画面内の位置により異なる場合に、所定の画像変換パラメータに基づいて前記基準画像以外の画像の対応する画像領域を前記基準画像内の指定領域に合うように画像変換し、
前記画像変換された変換後の画像から前記基準画像にある移動対象領域と最も相関が高い画像領域を探索し、探索単位毎に、変換画像データ、移動対象領域であるか否かを表す領域情報データ、および前記変換後の画像と前記基準画像間の相関処理による第２の画像相関データを算出し、
前記第２の画像相関データが予め指定した相関閾値より小さい場合にのみ、前記変換画像データを前記基準画像の対応する領域と合成する処理をコンピュータ上で実行することを特徴とする画像処理プログラム。
【請求項１】
異なる時間に撮影されたフレーム単位の複数画像を入力し記憶する画像記憶部と、
前記画像記憶部から読み出した近傍の異なる時間の複数画像の一つを基準画像とし、当該基準画像と基準画像以外の画像との相関処理を行って画像相関データを算出する画像相関算出部と、
前記算出された画像相関データと予め指定された相関閾値とを比較し、前記画像相関データが前記相関閾値以下の場合にのみ前記基準画像と前記基準画像以外の画像とを合成する画像合成部とを備えたことを特徴とする画像処理装置。
【請求項２】
異なる時間に撮影されたフレーム単位の複数画像を入力し記憶する画像記憶部と、
前記画像記憶部から読み出した近傍の異なる時間の複数画像の一つを基準画像とし、当該基準画像上の移動物体が映る対象領域と最も相関が高い領域を前記基準画像以外の画像より探索して領域情報データとして出力すると共に、前記基準画像と前記基準画像以外の画像間の相関処理による画像相関データを算出する領域探索部と、
前記算出された画像相関データが予め指定された相関閾値よりも低い場合には、前記基準画像の前記対象領域に、前記領域情報データが示す前記基準画像以外の画像上の相関が最も高い領域を合成し、一方、前記算出された画像相関データが前記相関閾値よりも高い場合には、前記基準画像から対象領域を除いた画像に、前記基準画像以外の画像から相関が最も高い領域を除いた画像を合成して出力する画像合成部とを備えたことを特徴とする画像処理装置。
【請求項３】
異なる時間に撮影されたフレーム単位の複数画像を入力し記憶する画像記憶部と、
前記画像記憶部から読み出した近傍の異なる時間の複数画像の一つを基準画像とし、当該基準画像と基準画像以外の画像との相関処理を行って第１の画像相関データを算出する画像相関算出部と、
前記第１の画像相関データから判定して前記基準画像内の指定領域と当該指定領域に対応する前記基準画像以外の画像の画像領域との相関が画面内の位置により異なる場合に、所定の画像変換パラメータに基づいて前記基準画像以外の画像の対応する画像領域を前記基準画像内の指定領域に合うように画像変換する画像変換部と、
前記画像変換された変換後の画像から前記基準画像にある移動対象領域と最も相関が高い画像領域を探索し、探索単位毎に、変換画像データ、移動対象領域であるか否かを表す領域情報データ、および前記変換後の画像と前記基準画像間の相関処理による第２の画像相関データを算出する領域探索部と、
前記第２の画像相関データが予め指定した相関閾値より小さい場合にのみ、前記変換画像データを前記基準画像の対応する領域と合成する画像合成部を備えたことを特徴とする画像処理装置。
【請求項４】
画像合成部は、加算処理、加重加算処理、加算平均処理、加重平均処理またはフィルタ処理により画像合成を行うことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
【請求項５】
画像変換部は、拡大、縮小、回転、上下左右斜めの移動の何れか、またはこれらの組合せた画像変換を行うことを特徴とする請求項３記載の画像処理装置。
【請求項６】
画像合成部は、Ｎ枚の画像を用いて生成した合成画像と基準画像の評価値を算出し、当該評価値が指定した画素ずれ閾値以下の場合にのみ合成画像を出力するようにしたことを特徴とする請求項１から請求項５のうちのいずれか１項記載の画像処理装置。
【請求項７】
画像合成部は、Ｎ枚の画像を用いて第１の合成画像を生成すると共に、Ｎ＋１枚の画像を用いて第２の合成画像を生成し、第１の合成画像と第２の合成画像について、それぞれ基準画像との間で合成画像の評価値を算出し、第１の合成画像の評価値と第２の合成画像の評価値との差を求め、当該評価値の差が指定した収束閾値以下である場合に第１の合成画像または第２合成画像を出力とするようにしたことを特徴とする請求項１から請求項５のうちのいずれか１項記載の画像処理装置。
【請求項８】
画像合成部は、第１の合成画像の評価値と第２の合成画像の評価値との差が指定した収束閾値より大きい場合、画像を１枚増やしてＮ＋２枚の画像を用いて第３の合成画像を生成すると共に、基準画像との間で第３の合成画像の評価値を算出し、第２の合成画像と第３の合成画像の評価値との差を求め、この評価値の差が収束閾値以下なら第２の合成画像または第３の合成画像を出力し、一方、第２および第３の合成画像の評価値の差が収束閾値より大きい場合には、画像を１枚増やして次の合成画像を生成して同様な合成画像を出力するかの判定を行うというように、合成画像の評価値の差が収束閾値より大きい場合には順次同じ処理を繰り返すことを特徴とする請求項７記載の画像処理装置。
【請求項９】
画像相関データおよび評価値は、差分絶対値和、差分２乗和、あるいは２つの画像の相違を定量的に表した値としたことを特徴とする請求項１から請求項８のうちのいずれか１項記載の画像処理装置。
【請求項１０】
画像合成部は、３枚以上の画像で同一位置の画素の合成処理を行う際、各画像の同一位置の画素の最大値、最小値の画素値の何れか一方か、または同一位置の画素の最大値、最小値の両方を除外して合成処理を行うことを特徴とする請求項１から請求項９のうちのいずれか１項記載の画像処理装置。
【請求項１１】
画像合成部は、合成対象となるＮ枚の画像に対し同一位置の画素による第１の加重平均と標準偏差を算出し、Ｎ枚の画像の同一位置の画素のうちから第１の加重平均が標準偏差に係数を乗じた値より離れた値を持つ画素を除外して、残りの画素により合成処理を行うことを特徴とする請求項１から請求項９のうちのいずれか１項記載の画像処理装置。
【請求項１２】
異なる時間に撮影されたフレーム単位の複数画像を画像記憶部に記憶し、
前記画像記憶部から近傍の異なる時間の複数の画像を読み出し、当該複数の画像の一つを基準画像として、当該基準画像と基準画像以外の画像との相関処理を行って画像相関データを算出し、
前記算出された画像相関データと予め指定された相関閾値とを比較し、前記画像相関データが前記相関閾値以下の場合にのみ前記基準画像と前記基準画像以外の画像とを合成する処理をコンピュータ上で実行することを特徴とする画像処理プログラム。
【請求項１３】
異なる時間に撮影されたフレーム単位の複数画像を画像記憶部に記憶し、
前記画像記憶部から近傍の異なる時間の複数画像読み出し、当該複数の画像の一つを基準画像として、当該基準画像上の移動物体が映る対象領域と最も相関が高い領域を前記基準画像以外の画像より探索して領域情報データとして出力すると共に、前記基準画像と前記基準画像以外の画像間の相関処理による画像相関データを算出し、
前記算出された画像相関データが予め指定された相関閾値よりも低い場合には、前記基準画像の前記対象領域に、前記領域情報データが示す前記基準画像以外の画像上の相関が最も高い領域を合成し、一方、前記算出された画像相関データが前記相関閾値よりも高い場合には、前記基準画像から対象領域を除いた画像に、前記基準画像以外の画像から相関が最も高い領域を除いた画像を合成する処理をコンピュータ上で実行することを特徴とする画像処理プログラム。
【請求項１４】
異なる時間に撮影されたフレーム単位の複数画像を入力し記憶し、
前記画像記憶部から近傍の異なる時間の複数画像を読み出し、当該複数の画像の一つを基準画像として、当該基準画像と基準画像以外の画像との相関処理を行って第１の画像相関データを算出し、
前記第１の画像相関データから判定して前記基準画像内の指定領域と当該指定領域に対応する前記基準画像以外の画像の画像領域との相関が画面内の位置により異なる場合に、所定の画像変換パラメータに基づいて前記基準画像以外の画像の対応する画像領域を前記基準画像内の指定領域に合うように画像変換し、
前記画像変換された変換後の画像から前記基準画像にある移動対象領域と最も相関が高い画像領域を探索し、探索単位毎に、変換画像データ、移動対象領域であるか否かを表す領域情報データ、および前記変換後の画像と前記基準画像間の相関処理による第２の画像相関データを算出し、
前記第２の画像相関データが予め指定した相関閾値より小さい場合にのみ、前記変換画像データを前記基準画像の対応する領域と合成する処理をコンピュータ上で実行することを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−１８１９５１（Ｐ２０１０−１８１９５１Ａ）
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願番号】特願２００９−２２６７７（Ｐ２００９−２２６７７）
【出願日】平成２１年２月３日（２００９．２．３）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願日】平成２１年２月３日（２００９．２．３）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]