撮像画像補正装置
【課題】ノイズが抑制された高品質な補正撮像画像を後段の画像処理装置に出力する撮像画像補正装置を提供する。
【解決手段】所定の周期で監視対象を撮像し、撮像された画像を出力する画像撮像部１０と、画像撮像部１０から出力する撮像画像をブロック分割し、ブロックごとの画像の動きベクトルを検出する動きベクトル検出部１１と、動きベクトル検出部の検出結果に応じて、画像撮像部から出力する撮像画像をブロックごとに蓄積する画像蓄積部１２と、画像蓄積部で蓄積された蓄積画像と動きベクトル検出部の検出結果に基づいて、ブロックごとに現在の撮像画像の輝度を補正してノイズを抑制する画像補正部１３とを備える。
【解決手段】所定の周期で監視対象を撮像し、撮像された画像を出力する画像撮像部１０と、画像撮像部１０から出力する撮像画像をブロック分割し、ブロックごとの画像の動きベクトルを検出する動きベクトル検出部１１と、動きベクトル検出部の検出結果に応じて、画像撮像部から出力する撮像画像をブロックごとに蓄積する画像蓄積部１２と、画像蓄積部で蓄積された蓄積画像と動きベクトル検出部の検出結果に基づいて、ブロックごとに現在の撮像画像の輝度を補正してノイズを抑制する画像補正部１３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像した画像を補正する撮像画像補正装置に係わり、特に、屋外で交通流を計測する交通流計測装置や駐車場の混雑状況などを監視する駐車場監視装置などの画像処理装置の前段に用いられ、夜間の映像コントラストの低いシーンにおいて画像のノイズ成分を抑制し、より鮮明に補正された撮像画像を、これらの画像処理装置に入力する撮像画像補正装置に関するものである。
【背景技術】
【０００２】
画像処理技術を用いた監視業務の中には、屋外に設置されたカメラ（撮像装置）で撮影された映像（撮像画像）に基づいて監視作業を行うものが多い。
屋外に設置される監視用のカメラは、比較的照明環境の乏しい場所（即ち、暗い場所）に設置されることもあり、特に、夜間の監視においてはカメラへ入力される映像自体が全体的に暗く、画面全体の輝度レベルに対して「画面に発生する高周波のノイズ（高輝度ノイズ）」の影響が大きいという問題があった。
【０００３】
そこで、例えば、特許文献１（特開平３−１４４７９７号公報）に記載の移動物体検知装置では、「ローパスフィルターを用いることにより、カメラで撮影した画像からノイズが除去されている」ことを前提として、入力画像の処理を行っている。
しかし、屋外での夜間の入力画像は、基本的には低い輝度に集中する傾向にあり、その画像に高輝度となるノイズが発生すると、その影響を大きく受けるという問題がある。そのため、背景画像は高輝度ノイズも含めて蓄積した画像となり、全体的に本来の背景画像より明るくなる傾向にある。
【０００４】
また、背景画像および入力画像ともに高輝度ノイズの影響を受けるため(ノイズの発生
箇所はランダム)その差分もノイズの影響を受けた差分画像となる。
ここで、入力画像とはカメラで撮像された画像そのものであり、背景画像とは入力画像を蓄積処理し、移動物体を含まない平滑化された画像を指す。
背景画像の生成方法には様々な手法が存在するが、ここでは例として単純平滑化を想定している。単純平滑化とは、入力画像を画素ごとの輝度値を蓄積加算し、その加算値を蓄積画像数で除算することで得られる画像のことを指す。
【０００５】
また、特許文献２（特開平１１−９６３６７号公報）で記載されている「差分画像を積分処理した発明」の場合は、差分画像自体がノイズの影響を受けやすく、そのノイズの影響を受けた差分画像を積分処理する結果となるため、やはり高輝度ノイズの影響を大きく受けているという問題点があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平３−１４４７９７号公報
【特許文献２】特開平１１−９６３６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、このような問題点を解決するためになされたものであり、夜間で発生しやすいノイズの影響を効果的に抑制して補正された「品質の高い撮像画像」を後段の様々な画像処理装置（例えば、交通流計測装置や駐車場監視装置など）に出力できる撮像画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像画像補正装置は、所定の周期で監視対象を撮像し、撮像された画像を出力する画像撮像部と、前記画像撮像部から出力する撮像画像をブロック分割し、ブロックごとの画像の動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部の検出結果に応じて、前記画像撮像部から出力する撮像画像をブロックごとに蓄積する画像蓄積部と、前記画像蓄積部で蓄積された蓄積画像と前記動きベクトル検出部の検出結果に基づいて前記ブロックごとに現在の撮像画像の輝度を補正してノイズを抑制する画像補正部とを備えたものである。
【発明の効果】
【０００９】
本発明によれば、画像補正部は、画像蓄積部で蓄積された蓄積画像と動きベクトル検出部の検出結果に基づいてブロックごとに現在の撮像画像の輝度を補正するので、ノイズが抑制された品質の高い補正画像を出力することが可能となる。
従って、この補正された画像（即ち、ノイズが抑制された画像）を後段の様々な画像処理装置（例えば、交通流計測装置や駐車場監視装置など）に適用することで、後段の画像処理装置における画像処理精度の向上を図ることができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１における撮像画像補正装置の構成を示すブロック図である。
【図２】実施の形態１における動きベクトル検出部の処理フローを示す図である。
【図３】実施の形態１における画像蓄積部の処理フローを示す図である。
【図４】実施の形態１における輝度補正係数関数の出力グラフの一例である。
【図５】実施の形態１における画像補正部の処理フローを示す図である。
【図６】実施の形態２における撮像画像補正装置の構成を示すブロック図である。
【図７】実施の形態３における撮像画像補正装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて本発明の一実施形態例について説明する。
なお、各図間において、同一符号は、同一あるいは相当のものであることを表す。
実施の形態１．
図１は、実施の形態１に係る撮像画像補正装置の構成を概念的に示す図である。
図１において、画像撮像部１０は、監視用ＩＴＶカメラなどの撮像素子により所定の周期（撮像周期）で監視対象（例えば交通流や駐車場など）を撮像し、撮像した画像をデジタルデータとして記憶する。
画像撮像部１０で取得され一次記憶された画像データは、動きベクトル検出部１１および画像蓄積部１２に入力される。
【００１２】
動きベクトル検出部１１は、画像撮像部１０で撮像された画像を８×８の小ブロックに分割し、各ブロックにおいて現入力画像と前周期の画像とでマッチング処理を行ない、各ブロックでどちらの方向に動きベクトルが発生するかを検出する処理部である。
マッチング処理は、現時刻での入力画像と前時刻での入力画像とを比較することにより行う。
例えば、入力画像が６４０×４８０の画素の場合、８×８画素の小ブロックに分割し、８０×６０ブロックでマッチング処理を行う。
なお、前時刻のブロックが現時刻でどこに移動したかを、ブロックごとに現時刻の同一ブロック位置周囲を探索し、一致する箇所を探す処理をマッチング処理と言う。
【００１３】
画像蓄積部１２は、画像撮像部１０の入力画像と動きベクトル検出部１１の検出結果から、ブロックごとに蓄積映像を更新していく処理部である。
ここで、画像撮像部１０の「入力画像」は、カメラで撮像された静止画のことであり、画像撮像部１０から出力される画像データである。
画像蓄積部１２は、長期蓄積画像(即ち、背景画像)の更新処理を行う。
長期蓄積画像の更新周期をＴｓとすると、過去Ｔｓ周期での動きベクトルの抽出結果から得た「過去Ｔｓ周期間での変化領域ブロック」と「非変化領域ブロック」とに分類され、更新係数ＡＲａ(変化領域更新パラメータ)とＡＲｓ(非変化領域更新パラメータ)とで背景更新率Ａが決定適用される。
背景更新率Ａの画素（ｘ、ｙ）が含まれるブロックが、変化領域あるいは非変化領域と判定されたかにより、ＡＲａかＡＲｓが選択される。
そして、過去Ｔｓ周期で単純蓄積加算平均された短期蓄積画像Ｓとそれまで蓄積された長期蓄積画像Ｇとで更新率ＡＲａもしくはＡＲｓにて長期蓄積画像が更新される。
なお、画像蓄積部１２における更新処理の詳細については、後述している。
【００１４】
画像補正部１３には、画像撮像部１０で得た入力画像（即ち、画像撮像部から出力する撮像画像）と動きベクトル検出部１１で検出された動きベクトル情報と画像蓄積部１２で蓄積された背景画像が入力されており、画像蓄積部１２からの蓄積画像（背景画像）と動きベクトル検出部１１の検出結果に基づいて画像蓄積部１２に蓄積された蓄積画像をブロックごとに補正していく処理部である。
画像補正部１３は、変化領域が検出されたブロックは入力画像そのものを使い、動きが検出されない領域(非変化領域)は背景画像を使い、補正した入力画像を再作成する。
画像補正部１３から出力する補正画像の非変化領域部分は、長期間蓄積した背景画像を用いるため、ノイズの影響が入力画像（即ち、画像撮像部から出力する画像）に比べて低いものとなる。
【００１５】
次に、動きベクトル検出方法とそのグルーピング処理について説明する。
なお、入力画像間でブロックごとの移動方向を検出するのが動きベクトル検出処理であり、動きベクトル検出部１１で検出した動きベクトル方向が同一方向で隣接するブロックを１つのグループとみなす。
同一方向の定義については、各ベクトル方向の±α度としても、ベクトル角度を単純に１６分割等にして２２．５度単位で分類化しても構わない。
図２は、動きベクトル検出部１１における処理フローを示す。
動きベクトル検出は、入力画像を例えば８×８の小ブロックに分割し、その分割されたブロックごとに前周期の画像とでテンプレートマッチング処理を行ない、各ブロックがどちらの方向に移動しているかを検出するものであり、当該ブロック内に移動物体が存在しない場合（即ち、動きベクトルが検出されない場合）は、テンプレートの移動量が０、即ち同じ場所とマッチングされる。
【００１６】
しかしながら、夜間の入力映像は昼間に比べて照度が低いために、基本的に画面全体が低輝度となる。そのため夜間はカメラ自体の撮像感度を上げるため高輝度ノイズが発生しやすくなる。
また、テンプレートマッチング処理の結果も、そのノイズに影響されやすく移動量０とならない場合が多い。
ノイズの混入した入力画像の場合、そのノイズはランダムノイズとなるためテンプレートの移動方向は一定しないが、真なる移動物体が進入してきた場合には、テンプレートの移動方向は連続する時刻においてほぼ同一方向となる。
【００１７】
なお、「テンプレートマッチング処理」とは、２つの入力画像間で同じ位置のブロックが２つの入力画像間でどこに移動したかを検索する処理である。
また、「テンプレート」とは、そのブロックの基準画像となるもので、基本的に過去画像のブロック１つ１つをテンプレートとし、そのテンプレートが現在画像の同一ブロック
位置からどの方向にどれだけ移動したかを検索する。
また、「同じ場所でマッチングされる」というのは、「移動量０(移動方向なし)」、即ち「変化なし」ということである。
【００１８】
このような特性を利用して動きベクトルの方向性によって隣接するブロック間でグループ化処理を行うことで、静止物体が存在するブロックは移動量０でグループ化され（ここではグループＡとする）、ノイズに影響されたブロックは単独ブロックとして存在し（ここではグループＢとする）、真なる移動物体を含むブロックで１つのグループ化（ここではグループＣとする）が行なわれる。ここで、グループＡとＢは非変化領域Ｒｓと呼び、グループＣは変化領域Ｒａと呼ぶことにする。
ノイズはランダムに発生するため、動きベクトル検出の結果は様々な方向、様々な移動量の結果を出力する。
これに対して、真なる移動物体は同一移動方向、同一移動量となるため、その特性を利用してノイズブロックと移動物体ブロックとに分類する。
基本的には、前述したグルーピング処理の際の同一グループに含まれるブロック数の大きさ(カメラの画角によりブロック数の閾値は変化する)で、ノイズか移動物体であるかを分類する。単独ブロックで１つのグループとなった場合は、ノイズと判定します。
【００１９】
また、３つにグループ化されたグループＡ、Ｂ、Ｃのうち、グループＢとＣについては１回の動きベクトル検出処理では区別が付かないため、複数周期の動きベクトルグループ化処理の結果を参照する。
ここで、グループＢはランダム性が高いため移動方向は一定しないが、グループＣは一定方向の移動となるため、複数周期でみるとグループＢとＣは分離が可能となる。
１周期(現周期)での動きベクトル検出結果に基づいてグループ化処理を行うことによりグループＢ（ノイズの影響を受けているグループ）とグループＣ（真なる移動物体を含むクループ）の分離信頼度を高めることができる。
なお、グループＣについては、前周期のグループ化結果と現周期でのグループ化結果において２つ以上の複数ブロック間でグループ化された領域が同じ方向に連続して発生し、その領域は周期間で隣接もしくは一部が重複していることを検出することでグループＣと判定する。
【００２０】
ここで、図２に基づいて、動きベクトル検出部１１の処理フローについて説明する。
まず、入力画像（画像撮像部１０の出力画像）をブロック分割(例えば８×８などカメ
ラ画角に応じて変更可能)し、前周期入力画像のブロックをテンプレートとし、現周期の
入力画像とで各ブロックにおいてテンプレートマッチングを行ない、ブロックごとの移動を検出する。即ち、各ブロックの動きベクトルを算出する。（ステップＳ２０１）
次に、ステップＳ２０１で検出した移動結果から移動方向と移動量を算出する。
移動方向は、Ｘ方向とＹ方向の移動量からｔａｎの関数を用いた方向(角度)を計測しても、そこからさらに単純に１６分割にして２２．５度単位で分類化しても構わない。
移動量に関しては、Ｘ方向移動量とＹ方向移動量から２次元移動距離を算出する。（ステップＳ２０２）
そして、ステップＳ２０２で算出した移動方向と移動量から移動量０のものをグループＡとして検出する。（ステップＳ２０３）
【００２１】
次に、ステップＳ２０２で算出した移動方向と移動量から同一の移動方向(誤差±α度)でかつ同一移動量(誤差β)のものをグループ化し、同一グループ内に含まれるブロック数が一定数以上のものをグループＣとして検出する。
その際、前周期のグループ化結果を利用しグループＣに含まれてしまうグループＢ候補を除外する。
除外手法は、前周期でグループＣとして検出された領域と現周期でグループＣとして検
出された領域が重複して同一方向の移動かどうかで判断する。前周期でグループＣが存在しない場合は、現周期での結果はグループＣと判定する。（ステップＳ２０４）
【００２２】
単独グループ(ブロック数１等)や、ステップ２０４でグループＣから除外されたものをグループＢとして判定する。（ステップＳ２０５）
また、ステップＳ２０４で検出した領域を変化領域と判定する。（ステップＳ２０６）
次に、ステップＳ２０３で検出されたグループＡの領域とステップＳ２０３５検出されたグループＢの領域を統合処理する。（ステップＳ２０７）
そして、ステップＳ２０７で統合された領域を非変化領域と判定する。（ステップＳ２０８）
なお、ステップＳ２０６とステップＳ２０８の結果によって画面全体はブロックごとに変化領域か非変化領域のどちらかに分類される。
ところで、ステップＳ２０７でのグループＡとグループＢの統合処理について、以下に補足説明をしておく。
グループＡはもとから移動量０のため、移動物体としての信頼度は０である。グループＢはノイズの影響で移動しているように見えるが真なる移動物体ではないため信頼度は低く、対してグループＣは信頼度は高くなる。
その信頼度を閾値としてグループＡとグループＢを統合し、移動物体と非移動物体とに最終的に分類する。
【００２３】
次に、画像蓄積部１２の処理手順について記載する。
画像蓄積処理に関しても８×８のブロック分割を行ない、動きベクトルのグループ検出結果を利用して蓄積画像の更新を行うものである。
図３は、画像蓄積部１２の処理フローを示しており、短期蓄積画像Ｓと長期蓄積画像Ｇとを動きベクトル検出結果の情報から、該当する非変化領域蓄積処理と変化領域蓄積処理に分岐して蓄積画像の更新処理を行う。
まず、短期蓄積画像は過去Ｔｓ周期分の入力映像を単純加算して累積した加算累積画像となり、入力画像のビット幅が８ビットグレースケール画像の場合１６ビット蓄積で最大２５６周期可能となり、長期蓄積画像は入力画像のビット幅と等しい画像とする。
【００２４】
図３に基づいて、画像蓄積部１２の処理フローを説明する。
入力画像を、例えば１画素あたり８ビット幅の２５６色グレースケール画像とした場合、１画素あたり１６ビットの容量を持つ画像に対してＴｓ回(Ｔｓ＜２５６)各画素の輝度を加算累積する。（ステップＳ３０１）
前述したように、１画素８ビット幅では２５６色までの色表現が可能となる。濃淡のみに特化した場合、０−２５５までのグレースケール階調で表現が可能となる。
また、１画素１６ビットとした場合、０−６５５３５まで表現可能なため、２５６階調のグレースケール画素を２５６回単純加算累積することが可能となる。
【００２５】
次に、累積回数がＴｓ回を満たすか否かを判断し（ステップＳ３０２）、満たしていない場合は蓄積処理を終了する。（ステップＳ３０４）
ステップＳ３０２において累積回数がＴｓ回を超えた場合は、長期蓄積画像更新処理をおこなう。（ステップＳ３０３）
長期蓄積画像更新処理が終了すると蓄積処理を終了する。（ステップＳ３０４）
なお、ステップＳ３０３においては、更新手続きは、変化領域、非変化領域で変化する背景更新率であるＡと、輝度で重み付けされた輝度補正係数関数ｋにより更新される。
ここで輝度補正係数関数ｋは、単純平滑となる図４（ａ）となるようＴｓでの除算でもよいが、図４（ｂ）のような低輝度での重みを大きくした更新係数としてもよい。
図４（ｂ）のような更新係数をとることで夜間の低輝度が集中する入力画像についての補正度を高くし、高輝度ノイズが集中した領域の補正度を低くする。
【００２６】
また、長期蓄積画像Ｇは短期蓄積画像Ｓで得られた蓄積画像を、以下の式に準じて取り込み更新を行ない、基準背景画像として利用する。
Ｇ（ｘ、ｙ） ＝ Ａ ｘ Ｇ（ｘ、ｙ） + （１−Ａ）ｘ ｋ（Ｓ（ｘ、ｙ））
Ｇ（ｘ、ｙ）：座標（ｘ、ｙ）の長期蓄積画像輝度値
Ｓ（ｘ、ｙ）：座標（ｘ、ｙ）の短期蓄積画像輝度値
ｋ：輝度補正係数関数
Ａ：背景更新率(０．０＜Ａ＜１．０)
ここで、輝度補正係数関数ｋは、図４に示すようなグラフとなり、縦軸が０−２５５の更新輝度で横軸がＴｓ周期蓄積した場合の累積輝度合計値となり、図４（ａ）のように、グラフが原点から傾き２５５／（２５５×Ｔｓ）の直線グラフ場合は単純平滑となり、図４（ｂ）のように、夜間の低輝度が集中する輝度レンジに重みを置いた更新係数としてもよい。
【００２７】
なお、図４（ａ）および図４（ｂ）において、縦軸は蓄積画像のビット幅のため８ビット幅（２５６階調）となり、横軸は累積画像のビット幅のため１６ビット幅(この場合は
２５６×Ｔｓ：Ｔｓは２５６)での数値となる。
累積輝度(１６ビット輝度)を蓄積輝度(８ビット輝度)に平滑化する場合、Ｔｓで除算するだけの単純平滑した結果が図４（ａ）となり、横軸の数値により除算パラメータを可変にしたものが図４（ｂ）となる。
【００２８】
次に、動きベクトル検出結果を利用した非変化領域と変化領域での長期背景画像Ｇの更新手段について記載する。
前記載の長期背景更新式Ｇ（ｘ、ｙ）の背景更新率Ａを非変化領域と変化領域で異なる値を持たせる。
非変化領域の更新パラメータＡＲｓと変化領域の更新パラメータＡＲａとし、このパラメータ数値はＡＲｓ＜ＡＲａとなり、ブロック内に移動物体が存在する場合は短期背景から長期背景への更新率を低く設定し、Ｔｓ周期間で移動物体が存在しなかった場合は背景画像との依存率が高いため更新率を高めに設定することで効率的な長期蓄積画像画像を更新する。
【００２９】
次に、画像補正部１３における処理について説明する。
図５は、画像補正処理フローを示し、画像補正部１３では長期蓄積画像と現周期の入力画像と動きベクトル抽出結果を利用して入力画像を補正する。
補正画像Ｑは、入力画像Ｉと長期蓄積画像Ｇに対して以下の式にて補正を行う。
Ｑ（ｘ、ｙ） ＝ Ｂ ｘ Ｇ（ｘ、ｙ） + （１−Ｂ）ｘ Ｉ（ｘ、ｙ）
Ｇ（ｘ、ｙ）：座標（ｘ、ｙ）の長期蓄積画像輝度値
Ｉ（ｘ、ｙ）：座標（ｘ、ｙ）の入力画像輝度値
Ｑ（ｘ、ｙ）：座標（ｘ、ｙ）の補正画像輝度値
Ｂ：補正率(０．０＜Ｂ＜１．０)
ここで、補正率Ｂは、動きベクトル抽出結果に従い変化領域ブロックではＢＲａとし、非変化領域ブロックではＢＲｓとすると、両者の関係はＢＲａ＜ＢＲｓとなる。
従って、非変化領域ブロックは蓄積画像への依存率が高く、変化領域ブロックは入力画像の依存率が高い。
そこで、変化領域ブロックの補正率ＢＲａを０付近に、非変化領域ブロックの補正率ＢＲｓを１付近に設定することで、静止領域はよりノイズの影響が小さい背景への依存が高い補正画像となり、変化領域はより現入力画像への依存率が高い補正画像となる。
【００３０】
図５に基づいて、画像補正処理の処理フローを説明する。
グループ分類によってグループＡ、Ｂと判定されたブロックについては、入力画像Ｉと
長期蓄積画像Ｇから非変化領域ブロックの入力画像を以下のように補正する。（ステップＳ５０１）
Ｑ（ｘ、ｙ） ＝ ＢＲｓ ｘ Ｇ（ｘ、ｙ） + （１−ＢＲｓ）ｘ Ｉ（ｘ、ｙ）
また、グループ分類によってグループＣと判定されたブロックについて、入力画像Ｉと長期蓄積画像画像Ｇから変化領域ブロックの入力画像を補正する。（ステップＳ５０２）
Ｑ（ｘ、ｙ） ＝ ＢＲａ ｘ Ｇ（ｘ、ｙ） + （１−ＢＲａ）ｘ Ｉ（ｘ、ｙ）
次に、ステップＳ５０１とステップＳ５０２において補正された画像を合成して（ステップＳ５０３）、補正入力画像を出力する（ステップＳ５０４）。
ここで、各ブロックは変化領域と非変化領域のどちらかに分類されているため、出力される補正画像に抜け等は発生しない。また、ＢＲａとＢＲｓの関係は非変化領域の方が長期蓄積背景への依存度が高いためＢＲａ＜ＢＲｓの関係が成立する。
【００３１】
本実施の形態では、入力画像（即ち、画像撮像部から出力される画像）を補正する際、動きのないブロックは長期蓄積画像の情報を優先的に利用することで、１回の撮像に対して発生する高輝度ノイズの影響を抑止することが可能となる。
また、動きの存在するブロックは入力画像の情報を優先的に利用はするものの蓄積画像の情報も参考にする。そして、移動変化の大きい情報は残しつつノイズの影響もある程度抑止します。
そのため、移動物体を検出することを目的とする画像処理に対しては変化領域と非変化領域の区別がつけやすい補正画像となっている。
【００３２】
以上説明したように、本実施の形態による撮像画像補正装置は、所定の周期で監視対象を撮像し、撮像された画像を出力する画像撮像部１０と、画像撮像部１０から出力する撮像画像をブロック分割し、ブロックごとの画像の動きベクトルを検出する動きベクトル検出部１１と、動きベクトル検出部１１の検出結果に応じて、画像撮像部１０から出力する撮像画像をブロックごとに蓄積する画像蓄積部１２と、画像蓄積部１２で蓄積された蓄積画像と動きベクトル検出部１１の検出結果に基づいて、ブロックごとに現在の撮像画像の輝度を補正してノイズを抑制する画像補正部１３とを備えている。
【００３３】
また、本実施の形態による撮像画像補正装置の画像補正部１３は、現在の撮像画像に対しては動きベクトル検出部１１が検出した動きベクトル方向と量を条件としてグループ化処理を行って変化領域と非変化領域に分割し、変化領域は撮像画像に比重を置いて補正し、非変化領域は蓄積画像に比重を置いて補正をする。
また、本実施の形態による撮像画像補正装置の画像補正部１３は、現在の撮像画像と蓄積された蓄積画像に対して以下の式に基づいて補正する。
Ｑ（ｘ、ｙ） ＝ Ｂ ｘ Ｇ（ｘ、ｙ） + （１−Ｂ）ｘ Ｉ（ｘ、ｙ）
ここで、Ｑ（ｘ、ｙ）はブロック座標（ｘ、ｙ）の補正画像輝度値
Ｇ（ｘ、ｙ）はブロック座標（ｘ、ｙ）の長期蓄積画像輝度値
Ｉ（ｘ、ｙ）はブロック座標（ｘ、ｙ）の入力撮像画像輝度値
Ｂは補正率(０．０＜Ｂ＜１．０)
【００３４】
本実施の形態によれば、画像補正部は、画像蓄積部で蓄積された蓄積画像と動きベクトル検出部の検出結果に基づいてブロックごとに現在の撮像画像の輝度を補正するので、ノイズが抑制された品質の高い補正画像を出力することが可能となる。
従って、この補正された画像（即ち、ノイズが抑制された画像）を後段の様々な画像処理装置（例えば、交通流計測装置や駐車場監視装置など）に適用することで、後段の画像処理装置における画像処理精度の向上を図ることができる。
例えば、駐車場監視のような静止物体の監視に比重が高い画像処理の場合は、蓄積画像への依存度を高くした補正パラメータを設定し、道路交通流監視のように移動物体の監視に比重が高い画像処理の場合は現入力画像への依存度を高くすることで、撮像される画像
の状況に適応した補正を行える。
【００３５】
実施の形態２．
図６は、実施の形態２による撮像画像補正装置の構成を示すブロック図である。
本実施の形態による撮像画像補正装置は、前述の実施の形態１による撮像画像補正装置において、さらにフィールド間動きベクトル検出部１４を新たに設けていることを特徴とする。
実施の形態１では、移動物体は一定の大きさで一定の方向となり、ノイズはランダム性が高く、方向も大きさも一定しないことに注目してグループ化を行ない、変化領域と非変化領域とを区別する手法を提案したが、実施の形態２では、形態１とは別の手法を用いてノイズを判別する手法を提案する。
【００３６】
通常、カメラからの入力信号はＮＴＳＣという規格に準じており、その映像の入力周期は１秒あたり３０枚であるが、画像の横方向の偶数ラインと奇数ラインで６０分の１秒ごとに撮像されているフィールド構成である。
そのため、偶数ラインと奇数ラインのフィールド間で画像を分割すると、元画像が６４０×４８０の場合、分割された画像は６４０×２４０となり、６０分の１秒で移動した物体の画像に差分が発生する。
【００３７】
フィールド間動きベクトル検出部１４では、６４０×２４０の画像を８×４のブロックに分割し、実施の形態１に記載の動きベクトル検出処理と同様に、フィールド間で動きベクトル検出処理を行う。
動きベクトル判定部１５は動きベクトル検出部１１とフィールド間動きベクトル検出部１４との結果を比較し、動きベクトル方向と移動量が一致している場合は移動領域ブロックと判定し、一致しない場合はノイズブロックと判定し、判定結果を画像補正部１３への情報とする。
ノイズはランダム性が高いため、画像をフィールド分割した場合もブロックの移動方向と移動量は規則性がない。
そのため、動きベクトル検出部１１で得られる動きベクトル情報とフィールド間動きベクトル検出部１４で得られるフィールド間動きベクトル情報をあわせて画像の動きを判定することで、さらなる効率的なノイズ判定を行うことが可能となる。
【００３８】
以上説明したように、本実施の形態による撮像画像補正装置では、画像撮像部１０から出力する撮像画像は、ＮＴＳＣ規格に準拠した画像であって、偶数ラインフィールド画像と奇数ラインフィールド画像の間の動きベクトルを検出するフィールド間動きベクトル検出部１４を設け、画像補正部１３は、フィールド間動きベクトル検出部１４の検出結果も盛り込んでブロックごとに現在の撮像画像を補正する。
このように、本実施の形態では、インターレス画像をフィールド分割してフィールド間動きベクトルを算出し、その結果を撮像周期間動きベクトルの算出結果と比較することにより精度の高い移動物体検出を可能とするので、変化領域と非変化領域とのグループ分類が実施の形態１の場合に比べて効率的となり、結果として補正画像の品質も向上する。
【００３９】
実施の形態３．
図７は、実施の形態３による撮像画像補正装置の構成を示す図である。
本実施の形態による撮像画像補正装置は、前述の実施の形態２による撮像画像補正装置において、さらに動的ベクトル検出周期設定部１６を設けていることを特徴とする。
先に述べた実施の形態１および２では、撮像周期間動きベクトル検出は、現周期の入力画像と１周期前の入力画像とで動きベクトル検出が行なわれていたが、監視カメラの設置状況によっては画面内に移動物体が進入した場合でもその移動距離に差が発生する。
即ち、カメラが真下に見下ろしている場合は、カメラが地表の水平方向から９０度傾い
ており（この向きを俯角と呼ぶ）、実施の形態１を適用することによって、一定速度で移動する物体は画面内のどこに存在してもほぼ一定の２次元距離を移動するが、俯角が９０度以外の場合は画面の領域によって３次元移動距離に対する２次元移動距離には大きな差が発生する。
【００４０】
そこで、実施の形態３では、まず、事前に２次元座標から３次元座標の変換を行ない、各ブロック内において、一定速度で一定距離を移動するのにどれだけの時間が発生するかの計算を行ない、一定距離移動するのに必要な時刻をＴｂとすると、Ｔｂ時刻前の入力画像をブロックごとに記憶し、動きベクトル検出時のマッチングの基準画像とする。
これにより、周期間マッチングの基準画像はブロックごとに異なり、現周期の入力画像とＴｂ時刻前の入力画像とでマッチングを行うことにより、効率的な動きベクトル検出が可能となる。
動的ベクトル検出周期（動的マッチング周期）設定部１６が設定する動的動きベクトル検出周期とは、前述のとおり、座標変換部１７からブロックごとに３次元位置を算出し、算出された３次元位置での「一定速度で一定距離の移動にかかる時間Ｔｂ」をブロックごとに設定する。
そのため、動的マッチング(動的動きベクトル検出)周期Ｔｂは、座標変換部１７からの情報を元に決定される。
また、動きベクトル検出部１１はマッチング周期Ｔｂによりテンプレート画像が前周期画像固定とはならず、ブロックごとに異なっている。
そのため同じ速度でも動きの速く見えるブロック（カメラ近点）は、マッチング周期Ｔｂは小さな値となり、同じ速度で動きが遅く見えるブロック（カメラ遠方）は、マッチング周期Ｔｂは大きな値となる。
【００４１】
ここで、一定距離の設定は、カメラの設置条件によって数センチメートルから数十メートルまで柔軟に設定可能なものとし、Ｔｂ時刻が極端に大きくなる場合はカメラの焦点に対して無限遠となるため一定の上限を定める。
また、カメラの俯角が０度ではない場合や画像内において一定速度で物体が移動した場合は、カメラからの距離が近い場所は変化量が大きく、カメラからの距離が遠い場所は変化量が小さい。
そのため、遠方はマッチング周期Ｔｂを大きな値にし大きな時間での変化を検出し、近点ではマッチング周期Ｔｂを小さな値にし小さな時間での変化を検出することで結果的に変化領域と非変化領域の分割精度が向上する。仮に動的マッチング周期をとらない場合は遠方での移動量の変化が捉えられず非変化領域とされる場合がある。
【００４２】
以上説明したように、本実施の形態による撮像画像補正装置では、画像撮像部１０から出力する撮像画像を座標変換部１７により２次元座標から３次元座標に変換し、ブロック内で動きベクトルが一定距離移動するのに要する時間を計算し、計算された時間に応じて動きベクトル検出部１１が検出する周期を動的に設定する動的動きベクトル検出周期設定部１６を設けている。
【００４３】
本実施の形態によれば、ブロック内で動きベクトルが一定距離移動するのに要する時間を計算し、計算された時間に応じて動きベクトル検出部が検出する周期を動的に設定する動的動きベクトル検出周期設定部を設けている。
従って、画面内に存在する物体の移動が発生している変化領域に注目して蓄積画像の更新や入力画像の補正に利用し、夜間のコントラストの低い入力画像をより鮮明化することが可能となり、駐車場監視や道路交通流監視などの屋外での夜間監視画像処理の性能向上が期待できる入力画像を出力する撮像画像補正装置を得ることができる。
【産業上の利用可能性】
【００４４】
本発明は、夜間で発生しやすいノイズの影響を効果的に抑制して品質の高い撮像画像を後段の画像処理装置に出力できる撮像画像補正装置の実現に有用である。
【符号の説明】
【００４５】
１０ 画像撮像部 １１ 動きベクトル検出部
１２ 画像蓄積部 １３ 画像補正部
１４ フィールド間動きベクトル検出部
１５ 動きベクトル判定部
１６ 動的動きベクトル検出周期設定部
【技術分野】
【０００１】
この発明は、撮像した画像を補正する撮像画像補正装置に係わり、特に、屋外で交通流を計測する交通流計測装置や駐車場の混雑状況などを監視する駐車場監視装置などの画像処理装置の前段に用いられ、夜間の映像コントラストの低いシーンにおいて画像のノイズ成分を抑制し、より鮮明に補正された撮像画像を、これらの画像処理装置に入力する撮像画像補正装置に関するものである。
【背景技術】
【０００２】
画像処理技術を用いた監視業務の中には、屋外に設置されたカメラ（撮像装置）で撮影された映像（撮像画像）に基づいて監視作業を行うものが多い。
屋外に設置される監視用のカメラは、比較的照明環境の乏しい場所（即ち、暗い場所）に設置されることもあり、特に、夜間の監視においてはカメラへ入力される映像自体が全体的に暗く、画面全体の輝度レベルに対して「画面に発生する高周波のノイズ（高輝度ノイズ）」の影響が大きいという問題があった。
【０００３】
そこで、例えば、特許文献１（特開平３−１４４７９７号公報）に記載の移動物体検知装置では、「ローパスフィルターを用いることにより、カメラで撮影した画像からノイズが除去されている」ことを前提として、入力画像の処理を行っている。
しかし、屋外での夜間の入力画像は、基本的には低い輝度に集中する傾向にあり、その画像に高輝度となるノイズが発生すると、その影響を大きく受けるという問題がある。そのため、背景画像は高輝度ノイズも含めて蓄積した画像となり、全体的に本来の背景画像より明るくなる傾向にある。
【０００４】
また、背景画像および入力画像ともに高輝度ノイズの影響を受けるため(ノイズの発生
箇所はランダム)その差分もノイズの影響を受けた差分画像となる。
ここで、入力画像とはカメラで撮像された画像そのものであり、背景画像とは入力画像を蓄積処理し、移動物体を含まない平滑化された画像を指す。
背景画像の生成方法には様々な手法が存在するが、ここでは例として単純平滑化を想定している。単純平滑化とは、入力画像を画素ごとの輝度値を蓄積加算し、その加算値を蓄積画像数で除算することで得られる画像のことを指す。
【０００５】
また、特許文献２（特開平１１−９６３６７号公報）で記載されている「差分画像を積分処理した発明」の場合は、差分画像自体がノイズの影響を受けやすく、そのノイズの影響を受けた差分画像を積分処理する結果となるため、やはり高輝度ノイズの影響を大きく受けているという問題点があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平３−１４４７９７号公報
【特許文献２】特開平１１−９６３６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、このような問題点を解決するためになされたものであり、夜間で発生しやすいノイズの影響を効果的に抑制して補正された「品質の高い撮像画像」を後段の様々な画像処理装置（例えば、交通流計測装置や駐車場監視装置など）に出力できる撮像画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像画像補正装置は、所定の周期で監視対象を撮像し、撮像された画像を出力する画像撮像部と、前記画像撮像部から出力する撮像画像をブロック分割し、ブロックごとの画像の動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部の検出結果に応じて、前記画像撮像部から出力する撮像画像をブロックごとに蓄積する画像蓄積部と、前記画像蓄積部で蓄積された蓄積画像と前記動きベクトル検出部の検出結果に基づいて前記ブロックごとに現在の撮像画像の輝度を補正してノイズを抑制する画像補正部とを備えたものである。
【発明の効果】
【０００９】
本発明によれば、画像補正部は、画像蓄積部で蓄積された蓄積画像と動きベクトル検出部の検出結果に基づいてブロックごとに現在の撮像画像の輝度を補正するので、ノイズが抑制された品質の高い補正画像を出力することが可能となる。
従って、この補正された画像（即ち、ノイズが抑制された画像）を後段の様々な画像処理装置（例えば、交通流計測装置や駐車場監視装置など）に適用することで、後段の画像処理装置における画像処理精度の向上を図ることができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１における撮像画像補正装置の構成を示すブロック図である。
【図２】実施の形態１における動きベクトル検出部の処理フローを示す図である。
【図３】実施の形態１における画像蓄積部の処理フローを示す図である。
【図４】実施の形態１における輝度補正係数関数の出力グラフの一例である。
【図５】実施の形態１における画像補正部の処理フローを示す図である。
【図６】実施の形態２における撮像画像補正装置の構成を示すブロック図である。
【図７】実施の形態３における撮像画像補正装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて本発明の一実施形態例について説明する。
なお、各図間において、同一符号は、同一あるいは相当のものであることを表す。
実施の形態１．
図１は、実施の形態１に係る撮像画像補正装置の構成を概念的に示す図である。
図１において、画像撮像部１０は、監視用ＩＴＶカメラなどの撮像素子により所定の周期（撮像周期）で監視対象（例えば交通流や駐車場など）を撮像し、撮像した画像をデジタルデータとして記憶する。
画像撮像部１０で取得され一次記憶された画像データは、動きベクトル検出部１１および画像蓄積部１２に入力される。
【００１２】
動きベクトル検出部１１は、画像撮像部１０で撮像された画像を８×８の小ブロックに分割し、各ブロックにおいて現入力画像と前周期の画像とでマッチング処理を行ない、各ブロックでどちらの方向に動きベクトルが発生するかを検出する処理部である。
マッチング処理は、現時刻での入力画像と前時刻での入力画像とを比較することにより行う。
例えば、入力画像が６４０×４８０の画素の場合、８×８画素の小ブロックに分割し、８０×６０ブロックでマッチング処理を行う。
なお、前時刻のブロックが現時刻でどこに移動したかを、ブロックごとに現時刻の同一ブロック位置周囲を探索し、一致する箇所を探す処理をマッチング処理と言う。
【００１３】
画像蓄積部１２は、画像撮像部１０の入力画像と動きベクトル検出部１１の検出結果から、ブロックごとに蓄積映像を更新していく処理部である。
ここで、画像撮像部１０の「入力画像」は、カメラで撮像された静止画のことであり、画像撮像部１０から出力される画像データである。
画像蓄積部１２は、長期蓄積画像(即ち、背景画像)の更新処理を行う。
長期蓄積画像の更新周期をＴｓとすると、過去Ｔｓ周期での動きベクトルの抽出結果から得た「過去Ｔｓ周期間での変化領域ブロック」と「非変化領域ブロック」とに分類され、更新係数ＡＲａ(変化領域更新パラメータ)とＡＲｓ(非変化領域更新パラメータ)とで背景更新率Ａが決定適用される。
背景更新率Ａの画素（ｘ、ｙ）が含まれるブロックが、変化領域あるいは非変化領域と判定されたかにより、ＡＲａかＡＲｓが選択される。
そして、過去Ｔｓ周期で単純蓄積加算平均された短期蓄積画像Ｓとそれまで蓄積された長期蓄積画像Ｇとで更新率ＡＲａもしくはＡＲｓにて長期蓄積画像が更新される。
なお、画像蓄積部１２における更新処理の詳細については、後述している。
【００１４】
画像補正部１３には、画像撮像部１０で得た入力画像（即ち、画像撮像部から出力する撮像画像）と動きベクトル検出部１１で検出された動きベクトル情報と画像蓄積部１２で蓄積された背景画像が入力されており、画像蓄積部１２からの蓄積画像（背景画像）と動きベクトル検出部１１の検出結果に基づいて画像蓄積部１２に蓄積された蓄積画像をブロックごとに補正していく処理部である。
画像補正部１３は、変化領域が検出されたブロックは入力画像そのものを使い、動きが検出されない領域(非変化領域)は背景画像を使い、補正した入力画像を再作成する。
画像補正部１３から出力する補正画像の非変化領域部分は、長期間蓄積した背景画像を用いるため、ノイズの影響が入力画像（即ち、画像撮像部から出力する画像）に比べて低いものとなる。
【００１５】
次に、動きベクトル検出方法とそのグルーピング処理について説明する。
なお、入力画像間でブロックごとの移動方向を検出するのが動きベクトル検出処理であり、動きベクトル検出部１１で検出した動きベクトル方向が同一方向で隣接するブロックを１つのグループとみなす。
同一方向の定義については、各ベクトル方向の±α度としても、ベクトル角度を単純に１６分割等にして２２．５度単位で分類化しても構わない。
図２は、動きベクトル検出部１１における処理フローを示す。
動きベクトル検出は、入力画像を例えば８×８の小ブロックに分割し、その分割されたブロックごとに前周期の画像とでテンプレートマッチング処理を行ない、各ブロックがどちらの方向に移動しているかを検出するものであり、当該ブロック内に移動物体が存在しない場合（即ち、動きベクトルが検出されない場合）は、テンプレートの移動量が０、即ち同じ場所とマッチングされる。
【００１６】
しかしながら、夜間の入力映像は昼間に比べて照度が低いために、基本的に画面全体が低輝度となる。そのため夜間はカメラ自体の撮像感度を上げるため高輝度ノイズが発生しやすくなる。
また、テンプレートマッチング処理の結果も、そのノイズに影響されやすく移動量０とならない場合が多い。
ノイズの混入した入力画像の場合、そのノイズはランダムノイズとなるためテンプレートの移動方向は一定しないが、真なる移動物体が進入してきた場合には、テンプレートの移動方向は連続する時刻においてほぼ同一方向となる。
【００１７】
なお、「テンプレートマッチング処理」とは、２つの入力画像間で同じ位置のブロックが２つの入力画像間でどこに移動したかを検索する処理である。
また、「テンプレート」とは、そのブロックの基準画像となるもので、基本的に過去画像のブロック１つ１つをテンプレートとし、そのテンプレートが現在画像の同一ブロック
位置からどの方向にどれだけ移動したかを検索する。
また、「同じ場所でマッチングされる」というのは、「移動量０(移動方向なし)」、即ち「変化なし」ということである。
【００１８】
このような特性を利用して動きベクトルの方向性によって隣接するブロック間でグループ化処理を行うことで、静止物体が存在するブロックは移動量０でグループ化され（ここではグループＡとする）、ノイズに影響されたブロックは単独ブロックとして存在し（ここではグループＢとする）、真なる移動物体を含むブロックで１つのグループ化（ここではグループＣとする）が行なわれる。ここで、グループＡとＢは非変化領域Ｒｓと呼び、グループＣは変化領域Ｒａと呼ぶことにする。
ノイズはランダムに発生するため、動きベクトル検出の結果は様々な方向、様々な移動量の結果を出力する。
これに対して、真なる移動物体は同一移動方向、同一移動量となるため、その特性を利用してノイズブロックと移動物体ブロックとに分類する。
基本的には、前述したグルーピング処理の際の同一グループに含まれるブロック数の大きさ(カメラの画角によりブロック数の閾値は変化する)で、ノイズか移動物体であるかを分類する。単独ブロックで１つのグループとなった場合は、ノイズと判定します。
【００１９】
また、３つにグループ化されたグループＡ、Ｂ、Ｃのうち、グループＢとＣについては１回の動きベクトル検出処理では区別が付かないため、複数周期の動きベクトルグループ化処理の結果を参照する。
ここで、グループＢはランダム性が高いため移動方向は一定しないが、グループＣは一定方向の移動となるため、複数周期でみるとグループＢとＣは分離が可能となる。
１周期(現周期)での動きベクトル検出結果に基づいてグループ化処理を行うことによりグループＢ（ノイズの影響を受けているグループ）とグループＣ（真なる移動物体を含むクループ）の分離信頼度を高めることができる。
なお、グループＣについては、前周期のグループ化結果と現周期でのグループ化結果において２つ以上の複数ブロック間でグループ化された領域が同じ方向に連続して発生し、その領域は周期間で隣接もしくは一部が重複していることを検出することでグループＣと判定する。
【００２０】
ここで、図２に基づいて、動きベクトル検出部１１の処理フローについて説明する。
まず、入力画像（画像撮像部１０の出力画像）をブロック分割(例えば８×８などカメ
ラ画角に応じて変更可能)し、前周期入力画像のブロックをテンプレートとし、現周期の
入力画像とで各ブロックにおいてテンプレートマッチングを行ない、ブロックごとの移動を検出する。即ち、各ブロックの動きベクトルを算出する。（ステップＳ２０１）
次に、ステップＳ２０１で検出した移動結果から移動方向と移動量を算出する。
移動方向は、Ｘ方向とＹ方向の移動量からｔａｎの関数を用いた方向(角度)を計測しても、そこからさらに単純に１６分割にして２２．５度単位で分類化しても構わない。
移動量に関しては、Ｘ方向移動量とＹ方向移動量から２次元移動距離を算出する。（ステップＳ２０２）
そして、ステップＳ２０２で算出した移動方向と移動量から移動量０のものをグループＡとして検出する。（ステップＳ２０３）
【００２１】
次に、ステップＳ２０２で算出した移動方向と移動量から同一の移動方向(誤差±α度)でかつ同一移動量(誤差β)のものをグループ化し、同一グループ内に含まれるブロック数が一定数以上のものをグループＣとして検出する。
その際、前周期のグループ化結果を利用しグループＣに含まれてしまうグループＢ候補を除外する。
除外手法は、前周期でグループＣとして検出された領域と現周期でグループＣとして検
出された領域が重複して同一方向の移動かどうかで判断する。前周期でグループＣが存在しない場合は、現周期での結果はグループＣと判定する。（ステップＳ２０４）
【００２２】
単独グループ(ブロック数１等)や、ステップ２０４でグループＣから除外されたものをグループＢとして判定する。（ステップＳ２０５）
また、ステップＳ２０４で検出した領域を変化領域と判定する。（ステップＳ２０６）
次に、ステップＳ２０３で検出されたグループＡの領域とステップＳ２０３５検出されたグループＢの領域を統合処理する。（ステップＳ２０７）
そして、ステップＳ２０７で統合された領域を非変化領域と判定する。（ステップＳ２０８）
なお、ステップＳ２０６とステップＳ２０８の結果によって画面全体はブロックごとに変化領域か非変化領域のどちらかに分類される。
ところで、ステップＳ２０７でのグループＡとグループＢの統合処理について、以下に補足説明をしておく。
グループＡはもとから移動量０のため、移動物体としての信頼度は０である。グループＢはノイズの影響で移動しているように見えるが真なる移動物体ではないため信頼度は低く、対してグループＣは信頼度は高くなる。
その信頼度を閾値としてグループＡとグループＢを統合し、移動物体と非移動物体とに最終的に分類する。
【００２３】
次に、画像蓄積部１２の処理手順について記載する。
画像蓄積処理に関しても８×８のブロック分割を行ない、動きベクトルのグループ検出結果を利用して蓄積画像の更新を行うものである。
図３は、画像蓄積部１２の処理フローを示しており、短期蓄積画像Ｓと長期蓄積画像Ｇとを動きベクトル検出結果の情報から、該当する非変化領域蓄積処理と変化領域蓄積処理に分岐して蓄積画像の更新処理を行う。
まず、短期蓄積画像は過去Ｔｓ周期分の入力映像を単純加算して累積した加算累積画像となり、入力画像のビット幅が８ビットグレースケール画像の場合１６ビット蓄積で最大２５６周期可能となり、長期蓄積画像は入力画像のビット幅と等しい画像とする。
【００２４】
図３に基づいて、画像蓄積部１２の処理フローを説明する。
入力画像を、例えば１画素あたり８ビット幅の２５６色グレースケール画像とした場合、１画素あたり１６ビットの容量を持つ画像に対してＴｓ回(Ｔｓ＜２５６)各画素の輝度を加算累積する。（ステップＳ３０１）
前述したように、１画素８ビット幅では２５６色までの色表現が可能となる。濃淡のみに特化した場合、０−２５５までのグレースケール階調で表現が可能となる。
また、１画素１６ビットとした場合、０−６５５３５まで表現可能なため、２５６階調のグレースケール画素を２５６回単純加算累積することが可能となる。
【００２５】
次に、累積回数がＴｓ回を満たすか否かを判断し（ステップＳ３０２）、満たしていない場合は蓄積処理を終了する。（ステップＳ３０４）
ステップＳ３０２において累積回数がＴｓ回を超えた場合は、長期蓄積画像更新処理をおこなう。（ステップＳ３０３）
長期蓄積画像更新処理が終了すると蓄積処理を終了する。（ステップＳ３０４）
なお、ステップＳ３０３においては、更新手続きは、変化領域、非変化領域で変化する背景更新率であるＡと、輝度で重み付けされた輝度補正係数関数ｋにより更新される。
ここで輝度補正係数関数ｋは、単純平滑となる図４（ａ）となるようＴｓでの除算でもよいが、図４（ｂ）のような低輝度での重みを大きくした更新係数としてもよい。
図４（ｂ）のような更新係数をとることで夜間の低輝度が集中する入力画像についての補正度を高くし、高輝度ノイズが集中した領域の補正度を低くする。
【００２６】
また、長期蓄積画像Ｇは短期蓄積画像Ｓで得られた蓄積画像を、以下の式に準じて取り込み更新を行ない、基準背景画像として利用する。
Ｇ（ｘ、ｙ） ＝ Ａ ｘ Ｇ（ｘ、ｙ） + （１−Ａ）ｘ ｋ（Ｓ（ｘ、ｙ））
Ｇ（ｘ、ｙ）：座標（ｘ、ｙ）の長期蓄積画像輝度値
Ｓ（ｘ、ｙ）：座標（ｘ、ｙ）の短期蓄積画像輝度値
ｋ：輝度補正係数関数
Ａ：背景更新率(０．０＜Ａ＜１．０)
ここで、輝度補正係数関数ｋは、図４に示すようなグラフとなり、縦軸が０−２５５の更新輝度で横軸がＴｓ周期蓄積した場合の累積輝度合計値となり、図４（ａ）のように、グラフが原点から傾き２５５／（２５５×Ｔｓ）の直線グラフ場合は単純平滑となり、図４（ｂ）のように、夜間の低輝度が集中する輝度レンジに重みを置いた更新係数としてもよい。
【００２７】
なお、図４（ａ）および図４（ｂ）において、縦軸は蓄積画像のビット幅のため８ビット幅（２５６階調）となり、横軸は累積画像のビット幅のため１６ビット幅(この場合は
２５６×Ｔｓ：Ｔｓは２５６)での数値となる。
累積輝度(１６ビット輝度)を蓄積輝度(８ビット輝度)に平滑化する場合、Ｔｓで除算するだけの単純平滑した結果が図４（ａ）となり、横軸の数値により除算パラメータを可変にしたものが図４（ｂ）となる。
【００２８】
次に、動きベクトル検出結果を利用した非変化領域と変化領域での長期背景画像Ｇの更新手段について記載する。
前記載の長期背景更新式Ｇ（ｘ、ｙ）の背景更新率Ａを非変化領域と変化領域で異なる値を持たせる。
非変化領域の更新パラメータＡＲｓと変化領域の更新パラメータＡＲａとし、このパラメータ数値はＡＲｓ＜ＡＲａとなり、ブロック内に移動物体が存在する場合は短期背景から長期背景への更新率を低く設定し、Ｔｓ周期間で移動物体が存在しなかった場合は背景画像との依存率が高いため更新率を高めに設定することで効率的な長期蓄積画像画像を更新する。
【００２９】
次に、画像補正部１３における処理について説明する。
図５は、画像補正処理フローを示し、画像補正部１３では長期蓄積画像と現周期の入力画像と動きベクトル抽出結果を利用して入力画像を補正する。
補正画像Ｑは、入力画像Ｉと長期蓄積画像Ｇに対して以下の式にて補正を行う。
Ｑ（ｘ、ｙ） ＝ Ｂ ｘ Ｇ（ｘ、ｙ） + （１−Ｂ）ｘ Ｉ（ｘ、ｙ）
Ｇ（ｘ、ｙ）：座標（ｘ、ｙ）の長期蓄積画像輝度値
Ｉ（ｘ、ｙ）：座標（ｘ、ｙ）の入力画像輝度値
Ｑ（ｘ、ｙ）：座標（ｘ、ｙ）の補正画像輝度値
Ｂ：補正率(０．０＜Ｂ＜１．０)
ここで、補正率Ｂは、動きベクトル抽出結果に従い変化領域ブロックではＢＲａとし、非変化領域ブロックではＢＲｓとすると、両者の関係はＢＲａ＜ＢＲｓとなる。
従って、非変化領域ブロックは蓄積画像への依存率が高く、変化領域ブロックは入力画像の依存率が高い。
そこで、変化領域ブロックの補正率ＢＲａを０付近に、非変化領域ブロックの補正率ＢＲｓを１付近に設定することで、静止領域はよりノイズの影響が小さい背景への依存が高い補正画像となり、変化領域はより現入力画像への依存率が高い補正画像となる。
【００３０】
図５に基づいて、画像補正処理の処理フローを説明する。
グループ分類によってグループＡ、Ｂと判定されたブロックについては、入力画像Ｉと
長期蓄積画像Ｇから非変化領域ブロックの入力画像を以下のように補正する。（ステップＳ５０１）
Ｑ（ｘ、ｙ） ＝ ＢＲｓ ｘ Ｇ（ｘ、ｙ） + （１−ＢＲｓ）ｘ Ｉ（ｘ、ｙ）
また、グループ分類によってグループＣと判定されたブロックについて、入力画像Ｉと長期蓄積画像画像Ｇから変化領域ブロックの入力画像を補正する。（ステップＳ５０２）
Ｑ（ｘ、ｙ） ＝ ＢＲａ ｘ Ｇ（ｘ、ｙ） + （１−ＢＲａ）ｘ Ｉ（ｘ、ｙ）
次に、ステップＳ５０１とステップＳ５０２において補正された画像を合成して（ステップＳ５０３）、補正入力画像を出力する（ステップＳ５０４）。
ここで、各ブロックは変化領域と非変化領域のどちらかに分類されているため、出力される補正画像に抜け等は発生しない。また、ＢＲａとＢＲｓの関係は非変化領域の方が長期蓄積背景への依存度が高いためＢＲａ＜ＢＲｓの関係が成立する。
【００３１】
本実施の形態では、入力画像（即ち、画像撮像部から出力される画像）を補正する際、動きのないブロックは長期蓄積画像の情報を優先的に利用することで、１回の撮像に対して発生する高輝度ノイズの影響を抑止することが可能となる。
また、動きの存在するブロックは入力画像の情報を優先的に利用はするものの蓄積画像の情報も参考にする。そして、移動変化の大きい情報は残しつつノイズの影響もある程度抑止します。
そのため、移動物体を検出することを目的とする画像処理に対しては変化領域と非変化領域の区別がつけやすい補正画像となっている。
【００３２】
以上説明したように、本実施の形態による撮像画像補正装置は、所定の周期で監視対象を撮像し、撮像された画像を出力する画像撮像部１０と、画像撮像部１０から出力する撮像画像をブロック分割し、ブロックごとの画像の動きベクトルを検出する動きベクトル検出部１１と、動きベクトル検出部１１の検出結果に応じて、画像撮像部１０から出力する撮像画像をブロックごとに蓄積する画像蓄積部１２と、画像蓄積部１２で蓄積された蓄積画像と動きベクトル検出部１１の検出結果に基づいて、ブロックごとに現在の撮像画像の輝度を補正してノイズを抑制する画像補正部１３とを備えている。
【００３３】
また、本実施の形態による撮像画像補正装置の画像補正部１３は、現在の撮像画像に対しては動きベクトル検出部１１が検出した動きベクトル方向と量を条件としてグループ化処理を行って変化領域と非変化領域に分割し、変化領域は撮像画像に比重を置いて補正し、非変化領域は蓄積画像に比重を置いて補正をする。
また、本実施の形態による撮像画像補正装置の画像補正部１３は、現在の撮像画像と蓄積された蓄積画像に対して以下の式に基づいて補正する。
Ｑ（ｘ、ｙ） ＝ Ｂ ｘ Ｇ（ｘ、ｙ） + （１−Ｂ）ｘ Ｉ（ｘ、ｙ）
ここで、Ｑ（ｘ、ｙ）はブロック座標（ｘ、ｙ）の補正画像輝度値
Ｇ（ｘ、ｙ）はブロック座標（ｘ、ｙ）の長期蓄積画像輝度値
Ｉ（ｘ、ｙ）はブロック座標（ｘ、ｙ）の入力撮像画像輝度値
Ｂは補正率(０．０＜Ｂ＜１．０)
【００３４】
本実施の形態によれば、画像補正部は、画像蓄積部で蓄積された蓄積画像と動きベクトル検出部の検出結果に基づいてブロックごとに現在の撮像画像の輝度を補正するので、ノイズが抑制された品質の高い補正画像を出力することが可能となる。
従って、この補正された画像（即ち、ノイズが抑制された画像）を後段の様々な画像処理装置（例えば、交通流計測装置や駐車場監視装置など）に適用することで、後段の画像処理装置における画像処理精度の向上を図ることができる。
例えば、駐車場監視のような静止物体の監視に比重が高い画像処理の場合は、蓄積画像への依存度を高くした補正パラメータを設定し、道路交通流監視のように移動物体の監視に比重が高い画像処理の場合は現入力画像への依存度を高くすることで、撮像される画像
の状況に適応した補正を行える。
【００３５】
実施の形態２．
図６は、実施の形態２による撮像画像補正装置の構成を示すブロック図である。
本実施の形態による撮像画像補正装置は、前述の実施の形態１による撮像画像補正装置において、さらにフィールド間動きベクトル検出部１４を新たに設けていることを特徴とする。
実施の形態１では、移動物体は一定の大きさで一定の方向となり、ノイズはランダム性が高く、方向も大きさも一定しないことに注目してグループ化を行ない、変化領域と非変化領域とを区別する手法を提案したが、実施の形態２では、形態１とは別の手法を用いてノイズを判別する手法を提案する。
【００３６】
通常、カメラからの入力信号はＮＴＳＣという規格に準じており、その映像の入力周期は１秒あたり３０枚であるが、画像の横方向の偶数ラインと奇数ラインで６０分の１秒ごとに撮像されているフィールド構成である。
そのため、偶数ラインと奇数ラインのフィールド間で画像を分割すると、元画像が６４０×４８０の場合、分割された画像は６４０×２４０となり、６０分の１秒で移動した物体の画像に差分が発生する。
【００３７】
フィールド間動きベクトル検出部１４では、６４０×２４０の画像を８×４のブロックに分割し、実施の形態１に記載の動きベクトル検出処理と同様に、フィールド間で動きベクトル検出処理を行う。
動きベクトル判定部１５は動きベクトル検出部１１とフィールド間動きベクトル検出部１４との結果を比較し、動きベクトル方向と移動量が一致している場合は移動領域ブロックと判定し、一致しない場合はノイズブロックと判定し、判定結果を画像補正部１３への情報とする。
ノイズはランダム性が高いため、画像をフィールド分割した場合もブロックの移動方向と移動量は規則性がない。
そのため、動きベクトル検出部１１で得られる動きベクトル情報とフィールド間動きベクトル検出部１４で得られるフィールド間動きベクトル情報をあわせて画像の動きを判定することで、さらなる効率的なノイズ判定を行うことが可能となる。
【００３８】
以上説明したように、本実施の形態による撮像画像補正装置では、画像撮像部１０から出力する撮像画像は、ＮＴＳＣ規格に準拠した画像であって、偶数ラインフィールド画像と奇数ラインフィールド画像の間の動きベクトルを検出するフィールド間動きベクトル検出部１４を設け、画像補正部１３は、フィールド間動きベクトル検出部１４の検出結果も盛り込んでブロックごとに現在の撮像画像を補正する。
このように、本実施の形態では、インターレス画像をフィールド分割してフィールド間動きベクトルを算出し、その結果を撮像周期間動きベクトルの算出結果と比較することにより精度の高い移動物体検出を可能とするので、変化領域と非変化領域とのグループ分類が実施の形態１の場合に比べて効率的となり、結果として補正画像の品質も向上する。
【００３９】
実施の形態３．
図７は、実施の形態３による撮像画像補正装置の構成を示す図である。
本実施の形態による撮像画像補正装置は、前述の実施の形態２による撮像画像補正装置において、さらに動的ベクトル検出周期設定部１６を設けていることを特徴とする。
先に述べた実施の形態１および２では、撮像周期間動きベクトル検出は、現周期の入力画像と１周期前の入力画像とで動きベクトル検出が行なわれていたが、監視カメラの設置状況によっては画面内に移動物体が進入した場合でもその移動距離に差が発生する。
即ち、カメラが真下に見下ろしている場合は、カメラが地表の水平方向から９０度傾い
ており（この向きを俯角と呼ぶ）、実施の形態１を適用することによって、一定速度で移動する物体は画面内のどこに存在してもほぼ一定の２次元距離を移動するが、俯角が９０度以外の場合は画面の領域によって３次元移動距離に対する２次元移動距離には大きな差が発生する。
【００４０】
そこで、実施の形態３では、まず、事前に２次元座標から３次元座標の変換を行ない、各ブロック内において、一定速度で一定距離を移動するのにどれだけの時間が発生するかの計算を行ない、一定距離移動するのに必要な時刻をＴｂとすると、Ｔｂ時刻前の入力画像をブロックごとに記憶し、動きベクトル検出時のマッチングの基準画像とする。
これにより、周期間マッチングの基準画像はブロックごとに異なり、現周期の入力画像とＴｂ時刻前の入力画像とでマッチングを行うことにより、効率的な動きベクトル検出が可能となる。
動的ベクトル検出周期（動的マッチング周期）設定部１６が設定する動的動きベクトル検出周期とは、前述のとおり、座標変換部１７からブロックごとに３次元位置を算出し、算出された３次元位置での「一定速度で一定距離の移動にかかる時間Ｔｂ」をブロックごとに設定する。
そのため、動的マッチング(動的動きベクトル検出)周期Ｔｂは、座標変換部１７からの情報を元に決定される。
また、動きベクトル検出部１１はマッチング周期Ｔｂによりテンプレート画像が前周期画像固定とはならず、ブロックごとに異なっている。
そのため同じ速度でも動きの速く見えるブロック（カメラ近点）は、マッチング周期Ｔｂは小さな値となり、同じ速度で動きが遅く見えるブロック（カメラ遠方）は、マッチング周期Ｔｂは大きな値となる。
【００４１】
ここで、一定距離の設定は、カメラの設置条件によって数センチメートルから数十メートルまで柔軟に設定可能なものとし、Ｔｂ時刻が極端に大きくなる場合はカメラの焦点に対して無限遠となるため一定の上限を定める。
また、カメラの俯角が０度ではない場合や画像内において一定速度で物体が移動した場合は、カメラからの距離が近い場所は変化量が大きく、カメラからの距離が遠い場所は変化量が小さい。
そのため、遠方はマッチング周期Ｔｂを大きな値にし大きな時間での変化を検出し、近点ではマッチング周期Ｔｂを小さな値にし小さな時間での変化を検出することで結果的に変化領域と非変化領域の分割精度が向上する。仮に動的マッチング周期をとらない場合は遠方での移動量の変化が捉えられず非変化領域とされる場合がある。
【００４２】
以上説明したように、本実施の形態による撮像画像補正装置では、画像撮像部１０から出力する撮像画像を座標変換部１７により２次元座標から３次元座標に変換し、ブロック内で動きベクトルが一定距離移動するのに要する時間を計算し、計算された時間に応じて動きベクトル検出部１１が検出する周期を動的に設定する動的動きベクトル検出周期設定部１６を設けている。
【００４３】
本実施の形態によれば、ブロック内で動きベクトルが一定距離移動するのに要する時間を計算し、計算された時間に応じて動きベクトル検出部が検出する周期を動的に設定する動的動きベクトル検出周期設定部を設けている。
従って、画面内に存在する物体の移動が発生している変化領域に注目して蓄積画像の更新や入力画像の補正に利用し、夜間のコントラストの低い入力画像をより鮮明化することが可能となり、駐車場監視や道路交通流監視などの屋外での夜間監視画像処理の性能向上が期待できる入力画像を出力する撮像画像補正装置を得ることができる。
【産業上の利用可能性】
【００４４】
本発明は、夜間で発生しやすいノイズの影響を効果的に抑制して品質の高い撮像画像を後段の画像処理装置に出力できる撮像画像補正装置の実現に有用である。
【符号の説明】
【００４５】
１０ 画像撮像部 １１ 動きベクトル検出部
１２ 画像蓄積部 １３ 画像補正部
１４ フィールド間動きベクトル検出部
１５ 動きベクトル判定部
１６ 動的動きベクトル検出周期設定部
【特許請求の範囲】
【請求項１】
所定の周期で監視対象を撮像し、撮像された画像を出力する画像撮像部と、
前記画像撮像部から出力する撮像画像をブロック分割し、ブロックごとの画像の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部の検出結果に応じて、前記画像撮像部から出力する撮像画像をブロックごとに蓄積する画像蓄積部と、
前記画像蓄積部で蓄積された蓄積画像と前記動きベクトル検出部の検出結果に基づいて、前記ブロックごとに現在の撮像画像の輝度を補正してノイズを抑制する画像補正部とを備えたことを特徴とする撮像画像補正装置。
【請求項２】
前記画像補正部は、前記現在の撮像画像に対しては前記動きベクトル検出部が検出した動きベクトル方向と量を条件としてグループ化処理を行って変化領域と非変化領域に分割し、前記変化領域は撮像画像に比重を置いて補正し、前記非変化領域は蓄積画像に比重を置いて補正をすることを特徴とする請求項１記載の撮像画像補正装置。
【請求項３】
前記画像補正部は、前記現在の撮像画像と蓄積された蓄積画像に対して以下の式に基づいて補正することを特徴とする請求項１に記載の撮像画像補正装置。
Ｑ（ｘ、ｙ） ＝ Ｂ ｘ Ｇ（ｘ、ｙ） + （１−Ｂ）ｘ Ｉ（ｘ、ｙ）
ここで、Ｑ（ｘ、ｙ）はブロック座標（ｘ、ｙ）の補正画像輝度値
Ｇ（ｘ、ｙ）はブロック座標（ｘ、ｙ）の長期蓄積画像輝度値
Ｉ（ｘ、ｙ）はブロック座標（ｘ、ｙ）の入力撮像画像輝度値
Ｂは補正率(０．０＜Ｂ＜１．０)
【請求項４】
前記画像撮像部から出力する撮像画像は、ＮＴＳＣ規格に準拠した画像であって、
偶数ラインフィールド画像と奇数ラインフィールド画像の間の動きベクトルを検出するフィールド間動きベクトル検出部を設け、
前記画像補正部は、前記フィールド間動きベクトル検出部の検出結果も盛り込んで前記ブロックごとに現在の撮像画像を補正することを特徴とする請求項１または２に記載の撮像画像補正装置。
【請求項５】
前記画像撮像部から出力する撮像画像を２次元座標から３次元座標に変換し、前記ブロック内で動きベクトルが一定距離移動するのに要する時間を計算し、計算された時間に応じて前記動きベクトル検出部が検出する周期を動的に設定する動的動きベクトル検出周期設定部を設けたことを特徴とする請求項１または２に記載の撮像画像補正装置。
【請求項１】
所定の周期で監視対象を撮像し、撮像された画像を出力する画像撮像部と、
前記画像撮像部から出力する撮像画像をブロック分割し、ブロックごとの画像の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部の検出結果に応じて、前記画像撮像部から出力する撮像画像をブロックごとに蓄積する画像蓄積部と、
前記画像蓄積部で蓄積された蓄積画像と前記動きベクトル検出部の検出結果に基づいて、前記ブロックごとに現在の撮像画像の輝度を補正してノイズを抑制する画像補正部とを備えたことを特徴とする撮像画像補正装置。
【請求項２】
前記画像補正部は、前記現在の撮像画像に対しては前記動きベクトル検出部が検出した動きベクトル方向と量を条件としてグループ化処理を行って変化領域と非変化領域に分割し、前記変化領域は撮像画像に比重を置いて補正し、前記非変化領域は蓄積画像に比重を置いて補正をすることを特徴とする請求項１記載の撮像画像補正装置。
【請求項３】
前記画像補正部は、前記現在の撮像画像と蓄積された蓄積画像に対して以下の式に基づいて補正することを特徴とする請求項１に記載の撮像画像補正装置。
Ｑ（ｘ、ｙ） ＝ Ｂ ｘ Ｇ（ｘ、ｙ） + （１−Ｂ）ｘ Ｉ（ｘ、ｙ）
ここで、Ｑ（ｘ、ｙ）はブロック座標（ｘ、ｙ）の補正画像輝度値
Ｇ（ｘ、ｙ）はブロック座標（ｘ、ｙ）の長期蓄積画像輝度値
Ｉ（ｘ、ｙ）はブロック座標（ｘ、ｙ）の入力撮像画像輝度値
Ｂは補正率(０．０＜Ｂ＜１．０)
【請求項４】
前記画像撮像部から出力する撮像画像は、ＮＴＳＣ規格に準拠した画像であって、
偶数ラインフィールド画像と奇数ラインフィールド画像の間の動きベクトルを検出するフィールド間動きベクトル検出部を設け、
前記画像補正部は、前記フィールド間動きベクトル検出部の検出結果も盛り込んで前記ブロックごとに現在の撮像画像を補正することを特徴とする請求項１または２に記載の撮像画像補正装置。
【請求項５】
前記画像撮像部から出力する撮像画像を２次元座標から３次元座標に変換し、前記ブロック内で動きベクトルが一定距離移動するのに要する時間を計算し、計算された時間に応じて前記動きベクトル検出部が検出する周期を動的に設定する動的動きベクトル検出周期設定部を設けたことを特徴とする請求項１または２に記載の撮像画像補正装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１５１５８８（Ｐ２０１２−１５１５８８Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−７６３４（Ｐ２０１１−７６３４）
【出願日】平成２３年１月１８日（２０１１．１．１８）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月１８日（２０１１．１．１８）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]