画像処理装置、方法、およびプログラム
【課題】背景画像とすべきでない物体の背景画像への影響を低減した画像処理装置、方法、およびプログラムを提供する。
【解決手段】本発明の画像処理装置10は、画像入力手段11、統計情報更新手段12、および背景画像生成手段13を有し、入力画像から背景画像を生成する。画像入力手段11は、連続的な入力画像を順次入力する。統計情報更新手段12は、画像入力手段11からの入力画像を元に、入力画像の各画素における統計量の出現頻度を示す統計情報を生成する。背景画像生成手段13は、統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する。
【解決手段】本発明の画像処理装置10は、画像入力手段11、統計情報更新手段12、および背景画像生成手段13を有し、入力画像から背景画像を生成する。画像入力手段11は、連続的な入力画像を順次入力する。統計情報更新手段12は、画像入力手段11からの入力画像を元に、入力画像の各画素における統計量の出現頻度を示す統計情報を生成する。背景画像生成手段13は、統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力画像から画像処理によって背景画像を生成する技術に関する。
【背景技術】
【0002】
カメラなどで撮影した映像の入力画像から、出現したり移動したりした物体を検出する技術がある。予め入力画像から背景画像を生成しておき、入力画像と背景画像の差分から物体を検出する手法が知られている(特許文献1、2参照)。この種の手法では適切な背景画像を生成することにより物体検出の精度を高めることが可能となる。しかし、入力画像に出現したり、入力画像内を移動したりする物体や、天候の変化や時間の経過による明度の変化は適切な背景画像の生成の妨げとなる。
【特許文献1】特開2007−66124号公報
【特許文献2】特開平9−190533号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
特許文献1に開示された手法では、背景画像の更新に各画素の統計量から加重平均値や中央値を算出し、それを適用している。交通渋滞で停留した車両や赤信号で停止した車両が背景画像に取り込まれてしまう可能性があった。
【0004】
特許文献2に開示された手法では、連続して出現する割合の最も大きい輝度値を背景画像における輝度値と推定している。やはりこの手法でも、交通渋滞で停留した車両や赤信号で停止した車両が背景画像に取り込まれてしまう可能性があった。
【0005】
本発明の目的は、背景画像とすべきでない物体の背景画像への影響を低減した画像処理装置、方法、およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明の画像処理装置は、入力画像から背景画像を生成する画像処理装置であって、
連続的な入力画像を順次入力する画像入力手段と、
前記画像入力手段からの前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成する統計情報更新手段と、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する背景画像生成手段と、を有している。
【0007】
本発明の画像処理方法は、入力画像から背景画像を生成するための画像処理方法であって、
連続的な入力画像を順次入力し、
前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成し、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する。
【0008】
本発明の画像処理プログラムは、コンピュータに、入力画像から背景画像を生成させるための画像処理プログラムであって、
連続的な入力画像を順次入力する手順と、
前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成する手順と、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する手順と、をコンピュータに実行させる。
【発明の効果】
【0009】
本発明によれば、各画素における統計量の出現頻度に基づいてその画素の統計量を決定するので、背景画像とすべき画像よりも出現頻度の低い、背景画像とすべきでない画像を背景画像に含まないようにすることができる。
【発明を実施するための最良の形態】
【0010】
本発明を実施するための形態について図面を参照して詳細に説明する。ここでは、入力画像から背景画像を生成し、入力画像と背景画像の差分から、検出対象である動的な物体を検出する画像処理装置について説明する。その際、理解を容易にするために、固定箇所から道路上を撮影した入力画像から、道路上を走行する車両を検出する場合について適宜例示する。
【0011】
(第1の実施形態)
図1は、第1の実施形態の画像処理装置の構成を示すブロック図である。図1を参照すると、画像処理装置10は、画像入力部11、統計情報更新部12、背景画像生成部13、および差分処理部14を有している。
【0012】
画像入力部11はカメラ等で撮影された連続的な入力画像を入力する。画像入力部11からの入力画像は統計情報更新部12および差分処理部14に送られる。
【0013】
統計情報更新部12は、画像入力部11からの入力画像を元に入力画像の統計情報を生成し、順次更新する。入力画像の統計情報は画素毎の統計情報の集合である。各画素の統計情報は、画素の表示する値(例えば輝度値)を統計量とし、その統計量のとりうる各値の出現頻度(例えば出現回数)を示す情報である。これらの統計情報には、現在から遡って過去の一定時間分の入力画像についての情報が集計されている。具体例として、輝度値としてとりうる値をL1、L2、・・・、LMとすれば、各画素の統計情報には輝度値L1の出現回数がN1、輝度値L2の出現回数がN2、・・・、輝度値LMの出現回数がNMという情報が含まれていればよい。その場合、N1+N2+
・・・+NMが上記一定時間内の入力画像(フレーム)数となる。
【0014】
統計情報に集計する入力画像の範囲を規定する上記一定時間は撮影対象の画像変化の性質に応じて適切な時間に設定すればよい。天候変化や時間経過による道路の明度変化のような、背景画像とすべき領域の変化に背景画像が追従することができ、かつ赤信号にて一時的に停止した車両のように、背景画像とすべきでない部分が背景画像に含まれないような時間に設定するのが好ましい。
【0015】
背景画像生成部13は、統計情報更新部12で生成された入力画像の統計情報から背景画像を生成する。背景画像は、各画素について最も出現頻度の高い統計量(最頻値)をその画素の統計量とした画像である。具体的には、背景画像の各画素の輝度値としてその画素において最も出現頻度の高い輝度値が採用される。
【0016】
差分処理部14は、画像入力部11からの入力画像と、背景画像生成部13で生成された背景画像との差分を算出する。この差分で構成された差分画像は入力画像の中の検出対象を表示する画像である。
【0017】
図2は、第1の実施形態の画像処理装置の動作を示すフローチャートである。ここでは既に背景画像が生成されている状態からの動作が示されている。
【0018】
図2を参照すると、画像処理装置10は、カメラ等で撮影された新たな入力画像を入力する(ステップ101)。画像処理装置10は、新たな入力画像と、予め生成していた背景画像との差分を算出する(ステップ102)。
【0019】
更に、画像処理装置10は、新たな入力画像の情報を追加し、最も古い入力画像の情報を削除することにより、入力画像の統計情報を更新する(ステップ103)。続いて、画像処理装置10は、更新された統計情報を用いて背景画像を生成しなおす(ステップ104)。
【0020】
以上説明したように本実施形態によれば、各画素における統計量の出現頻度に基づいてその画素の統計量を決定するので、背景画像とすべき画像よりも出現頻度の低い、背景画像とすべきでない画像を背景画像に含まないようにすることができる。例えば、ある画素において、赤信号などで車両が停止中では、特定の車両による輝度値が連続する時間が長くなり、車両の走行中では、通過する複数の車両の輝度値が挟まることにより道路の輝度値が連続する時間がそれより短くなった場合が想定される。本実施形態では、その場合でも、統計情報の全体に分散して繰り返し出現する道路の輝度値がトータルで最も出現頻度が高ければ、車両が取り込まれていない背景画像を生成することができる。
【0021】
また従来は、天候や日照の変化によって入力画像全体の統計量が急に変化したときに背景画像が変化に追従できない場合があったが、本実施形態によれば、現在から遡って過去の一定時間分の入力画像に限って集計した統計情報を用いるので、一定時間よりも古い過去の入力画像の影響が排除され、入力画像の背景画像とすべき部分の変化に対する追従性が向上する。
【0022】
図3は、第1の実施形態の画像処理装置の具体例について説明するための図である。画像処理装置10は新たな入力画像が入力される毎に、入力画像と背景画像との差分を算出しなおすと共に、入力情報の統計情報と背景画像を更新する。ここでは入力画像21は可視カメラや赤外線カメラなどで定点を撮影した動画像を想定している。また、入力画像10はフレーム単位でのデータ処理が可能である。入力画像21の新たなフレームが入力される毎に、入力画像と背景画像との差分の算出と、入力情報の統計情報と背景画像の更新が行われる。
【0023】
図4は入力画像の一例を示す図である。図5は背景画像の一例を示す図である。図6は背景差分画像の一例を示す図である。
【0024】
図4の入力画像21では、背景画像として抽出されるべき画像は道路の画像であり、背景差分画像として抽出されるべき画像は自動車の画像である。図5の背景画像22には、入力画像21から検出対象である自動者が取り除かれ、道路の画像が示されている。図6の背景差分画像23には、入力画像21と背景画像22との差分として自動車の画像が示されている。
【0025】
入力画像21が入力されると、画像処理装置10は背景差分処理(ステップA1)を実行する。背景差分処理は、ある画像から検出対象となる物体を抽出するために、検出対象となる物体が写っていない背景の画像と、検出対象となる物体が写っている入力画像との統計量の差分を取り、その差分から検出対象となる物体のみが写った画像(背景差分画像)を作成する処理である。この背景差分処理と他の画像処理とを組み合わせることにより検出対象の物体を検出することができる。
【0026】
図3の例では、入力画像21と背景画像22が背景差分処理に用いられ、背景差分処理の結果として背景差分画像23が生成されている。背景差分画像23は、入力画像21と背景画像22とから生成された、検出対象である物体だけが抽出された画像である。ただし厳密には背景差分画像23には検出対象以外に雑音が含まれている。
【0027】
入力画像統計情報24は、背景画像22を更新するために必要な、過去の入力画像に関する統計情報である。具体的には、入力画像21の各画素について、その統計量(輝度値等)と出現回数を含む情報である。入力画像統計情報24は順次更新されており、更新された入力画像統計情報24は背景画像更新処理に提供される。
【0028】
また入力画像21が入力されたとき、画像処理装置10は入力画像統計情報更新処理(ステップA3)を実行する。入力画像統計情報更新処理は、新たな入力画像21を用いて入力画像統計情報24を更新する処理である。
【0029】
入力画像統計情報24は、更新する各画素の統計量およびその出現頻度が時系列的に把握できるような情報である。具体例としては、過去の入力画像21の各画素の統計量が出現頻度順に保持されている。更に入力画像統計情報24は古い入力画像21の統計量を削除できるような構成となっている。入力画像統計情報更新処理としては、新たな入力画像21の情報を追加し、最も古い入力画像21の情報を削除するように、入力画像21の中の更新の対象となる各画素について、その統計量の出現頻度を計上すると共に、統計量の出現頻度の多い順に統計量を並び替える。
【0030】
入力画像統計情報24を更新したら、画像処理装置10は続いて背景画像更新処理を実行する(ステップA2)。背景画像更新処理は、背景差分処理で良好な背景差分画像23が検出されるように、背景画像22を順次更新する処理である。本実施形態では、入力画像統計情報24に含まれている入力画像21の各画素の統計量のうち最も出現頻度の高い値(最頻値)を背景画像22の各画素の更新後の値として選択し、背景画像の各画素に当てはめていく。
【0031】
画像処理装置10は、ステップA1〜A3の処理を入力画像21が入力される毎に繰り返す。
【0032】
(第2の実施形態)
第1の実施形態においては、交通事故におる車両の停止や長時間の駐停車などがあると、検出対象である車両が背景画像に取り込まれてしまう恐れがある。また赤信号による停止や交通渋滞でも、車両の停止時間と、統計情報に用いる入力画像の範囲を決める一定時間の設定値との関係で同様なことが起こる恐れがある。
【0033】
第2の実施形態では、この問題に対して以下に示す3つの対策が適用されている。
【0034】
第1の対策として、第2の実施形態では、検出対象として抽出された部分の画像を入力画像統計情報更新処理および背景画像更新処理の対象外とする。具体的には、車両として抽出された部分に含まれる画素については入力画像の統計情報および背景画像を更新しないとすればよい。
【0035】
第2の対策として、第2の実施形態では、動的な物体が停留しているという事象(以下、停留事象という)の発生を、差分画像を基に監視し、停留事象が発生している間は入力画像統計情報更新処理および背景画像更新処理を停止する。
【0036】
第3の対策として、第2の実施形態では、停留の原因となる事象を外部からの情報(以下、停留事象情報という)で知ることができる場合に、その停留事象情報に基づいて、入力画像統計情報更新処理および背景画像更新処理の実施と停止を制御する。具体的には、信号機の表示状態(青、黄、赤)を示す信号機情報を停留事象情報として用い、青信号のときにだけ、入力画像統計情報更新処理および背景画像更新処理を実施することにすればよい。
【0037】
なお、上述した第1の対策では、物体が長時間にわたって停留すると、検出対象として抽出された部分の背景画像が長時間にわたって更新されない状態が想定される。そこで、物体が検出された部分の入力画像統計情報更新処理および背景画像更新処理を停止する代わりに、物体が検出された部分の背景画像を、その近傍における物体が検出されていない領域の統計情報から推定して更新することにしてもよい。具体的には、車両が検出された部分の道路の輝度値を近傍の道路の輝度値と一致させればよい。
【0038】
上述した第2あるいは第3の対策でも、長時間にわたって停留事象が続くと、長時間にわたって背景画像が更新されない状態が想定される。そこで、入力画像統計情報更新処理および背景画像更新処理を停止する代わりに、物体が検出されていない領域については通常の入力画像統計情報更新処理および背景画像更新処理を継続し、物体が検出された部分については、その近傍における物体が検出されていない領域の統計情報から推定して背景画像を更新することにしてもよい。
【0039】
また、第1の実施形態では、入力画像の全体に対して入力画像統計情報更新処理および背景画像更新処理を行っていた。しかし、検出対象の種類や撮影場所などによっては、入力画像の中に物体が出現しないことが明らかな領域が含まれていることがある。そのような場合、第1の実施形態では、物体の検出に寄与しない部分についても画像処理を行なうこととなり効率的でない。
【0040】
そこで、第2の実施形態では、物体が出現しないことが明らかな領域をマスクし、その領域については入力画像統計情報更新処理、背景画像更新処理、および背景差分処理を行わないこととする。
【0041】
図7は、第2の実施形態の画像処理装置の構成を示すブロック図である。図7を参照すると、画像処理装置30は、画像入力部11、マスク部31、統計情報更新部12、背景画像生成部13、差分処理部14、および事象判別部32を有している。
【0042】
画像入力部11は図1に示した第1の実施形態のものと同じものである。本実施形態では画像入力部11からの入力画像はマスク部31に送られる。
【0043】
マスク部31は、入力画像におけるマスクする部分を示すマスク情報を予め保持しており、そのマスク情報を用いて画像入力部11からの入力画像をマスクする。マスク部31でマスク処理された入力画像は統計情報更新部12および差分処理部14に送られる。
【0044】
統計情報更新部12は、マスク部31からのマスク処理された入力画像を元に、入力画像のマスクされていない領域について統計情報を生成し、順次更新する。
【0045】
ただし、本実施形態では上記第1の対策として、統計情報更新部12は、差分処理部14にて検出対象として抽出された部分の画像については処理を行わない。
【0046】
また、本実施形態では上記第2の対策として、統計情報更新部12は、事象判別部32にて停留事象が検出されている間は処理を停止する。
【0047】
また、本実施形態では上記第3の対策として、統計情報更新部12は、外部からの停留事象情報を基に処理の実施と停止を制御する。具体的には、統計情報更新部12は、信号機の表示状態を示す信号機情報を基に青信号のときにだけ処理を実施する。
【0048】
背景画像生成部13は、統計情報更新部12で生成された入力画像の統計情報から、マスクされていない領域について背景画像を生成する。
【0049】
ただし、本実施形態では上記第1の対策として、背景画像生成部13は、差分処理部14にて検出対象として抽出された部分の画像については処理を行わない。
【0050】
また、本実施形態では上記第2の対策として、背景画像生成部13は、事象判別部32にて停留事象が検出されている間は処理を停止する。
【0051】
また、本実施形態では上記第3の対策として、背景画像生成部13は、外部からの停留事象情報を基に処理の実施と停止を制御する。具体的には、背景画像生成部13は信号機情報を基に青信号のときにだけ処理を実施する。
【0052】
差分処理部14は、マスク部31からのマスク処理された入力画像と、背景画像生成部13で生成された背景画像との差分を算出する。この差分で構成された画像が入力画像の中の検出対象を示す背景差分画像となる。
【0053】
事象判別部32は、差分処理部14で算出された差分を基にして停留事象の発生を監視し、停留事象の発生を統計情報更新部12および背景画像更新部13に通知する。
【0054】
図8は、第2の実施形態の画像処理装置の具体例について説明するための図である。図9はマスク画像の一例を示す図である。道路上を走行する車両を検出する場合には道路以外の部分で車両を検出する必要がないので、ここでは図9のように道路以外の部分をマスクするものとする。図10はマスク処理された入力画像の一例を示す図である。図11はマスク処理された背景画像を示す図である。
【0055】
入力画像21が入力されると、画像処理装置30はマスク画像41を用いて入力画像21に対してマスク処理を行う(ステップB1)。マスク処理された入力画像21′は図10に示されているようになる。また画像処理装置30は、マスク処理された入力画像21′と、マスク処理された背景画像22′を用いて背景差分処理(ステップB2)を実行する。更に画像処理装置30は、背景差分処理で算出した差分を用いて事象判別処理を行う(ステップB5)。事象判別処理は、差分に基づいて、背景画像の更新に影響する事象(例えば上述した停留事象)の発生を監視する処理である。事象の有無は事象情報43として入力画像統計情報更新処理および背景画像更新処理へ入力される。
【0056】
画像処理装置30は、マスク処理された入力画像21′を用いて入力画像統計情報更新処理を行い(ステップB4)、更にその結果である入力画像の統計情報24を用いて背景画像更新処理を行う(ステップB3)。その際、画像処理装置30は、信号機情報42および事象情報43に基づいて入力画像統計情報更新処理および背景画像更新処理の実施と停止を制御する。
【0057】
また、画像処理装置30は、背景画像更新処理において、背景差分画像23に基づき、物体が検出された部分の背景画像を、その近傍における物体が検出されていない領域の統計情報から推定して更新することにしてもよい。具体的には、車両が検出された部分の道路の輝度値を近傍の道路の輝度値と一致させればよい。
【0058】
図12は、検出対象が抽出された部分の更新が停止した背景画像の一例を示す図である。図12の背景画像22″では、車両が停止している間の天候変化等で、車両が抽出された部分の画像が近傍の領域の画像と整合しなくなっている。このような場合でも、車両が抽出された部分の道路の輝度値を近傍の道路の輝度値と一致させる処理を行うことで、図11に示したような背景画像22′に修正することができる。
【0059】
なお、上述した各実施形態の画像処理装置は、画像処理装置を構成する各部の処理手順を規定したソフトウェアプログラムをコンピュータに実行させることにより実現することもできる。
【図面の簡単な説明】
【0060】
【図1】第1の実施形態の画像処理装置の構成を示すブロック図である。
【図2】第1の実施形態の画像処理装置の動作を示すフローチャートである。
【図3】第1の実施形態の画像処理装置の具体例について説明するための図である。
【図4】入力画像の一例を示す図である。
【図5】背景画像の一例を示す図である。
【図6】背景差分画像の一例を示す図である。
【図7】第2の実施形態の画像処理装置の構成を示すブロック図である。
【図8】第2の実施形態の画像処理装置の具体例について説明するための図である。
【図9】マスク画像の一例を示す図である。
【図10】マスク処理された入力画像の一例を示す図である。
【図11】マスク処理された背景画像を示す図である。
【図12】検出対象が抽出された部分の更新が停止した背景画像の一例を示す図である。
【符号の説明】
【0061】
10、30 画像処理装置
11 画像入力部
12 統計情報更新部
13 背景画像生成部
14 差分処理部
31 マスク部
32 事象判別部
【技術分野】
【0001】
本発明は、入力画像から画像処理によって背景画像を生成する技術に関する。
【背景技術】
【0002】
カメラなどで撮影した映像の入力画像から、出現したり移動したりした物体を検出する技術がある。予め入力画像から背景画像を生成しておき、入力画像と背景画像の差分から物体を検出する手法が知られている(特許文献1、2参照)。この種の手法では適切な背景画像を生成することにより物体検出の精度を高めることが可能となる。しかし、入力画像に出現したり、入力画像内を移動したりする物体や、天候の変化や時間の経過による明度の変化は適切な背景画像の生成の妨げとなる。
【特許文献1】特開2007−66124号公報
【特許文献2】特開平9−190533号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
特許文献1に開示された手法では、背景画像の更新に各画素の統計量から加重平均値や中央値を算出し、それを適用している。交通渋滞で停留した車両や赤信号で停止した車両が背景画像に取り込まれてしまう可能性があった。
【0004】
特許文献2に開示された手法では、連続して出現する割合の最も大きい輝度値を背景画像における輝度値と推定している。やはりこの手法でも、交通渋滞で停留した車両や赤信号で停止した車両が背景画像に取り込まれてしまう可能性があった。
【0005】
本発明の目的は、背景画像とすべきでない物体の背景画像への影響を低減した画像処理装置、方法、およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明の画像処理装置は、入力画像から背景画像を生成する画像処理装置であって、
連続的な入力画像を順次入力する画像入力手段と、
前記画像入力手段からの前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成する統計情報更新手段と、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する背景画像生成手段と、を有している。
【0007】
本発明の画像処理方法は、入力画像から背景画像を生成するための画像処理方法であって、
連続的な入力画像を順次入力し、
前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成し、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する。
【0008】
本発明の画像処理プログラムは、コンピュータに、入力画像から背景画像を生成させるための画像処理プログラムであって、
連続的な入力画像を順次入力する手順と、
前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成する手順と、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する手順と、をコンピュータに実行させる。
【発明の効果】
【0009】
本発明によれば、各画素における統計量の出現頻度に基づいてその画素の統計量を決定するので、背景画像とすべき画像よりも出現頻度の低い、背景画像とすべきでない画像を背景画像に含まないようにすることができる。
【発明を実施するための最良の形態】
【0010】
本発明を実施するための形態について図面を参照して詳細に説明する。ここでは、入力画像から背景画像を生成し、入力画像と背景画像の差分から、検出対象である動的な物体を検出する画像処理装置について説明する。その際、理解を容易にするために、固定箇所から道路上を撮影した入力画像から、道路上を走行する車両を検出する場合について適宜例示する。
【0011】
(第1の実施形態)
図1は、第1の実施形態の画像処理装置の構成を示すブロック図である。図1を参照すると、画像処理装置10は、画像入力部11、統計情報更新部12、背景画像生成部13、および差分処理部14を有している。
【0012】
画像入力部11はカメラ等で撮影された連続的な入力画像を入力する。画像入力部11からの入力画像は統計情報更新部12および差分処理部14に送られる。
【0013】
統計情報更新部12は、画像入力部11からの入力画像を元に入力画像の統計情報を生成し、順次更新する。入力画像の統計情報は画素毎の統計情報の集合である。各画素の統計情報は、画素の表示する値(例えば輝度値)を統計量とし、その統計量のとりうる各値の出現頻度(例えば出現回数)を示す情報である。これらの統計情報には、現在から遡って過去の一定時間分の入力画像についての情報が集計されている。具体例として、輝度値としてとりうる値をL1、L2、・・・、LMとすれば、各画素の統計情報には輝度値L1の出現回数がN1、輝度値L2の出現回数がN2、・・・、輝度値LMの出現回数がNMという情報が含まれていればよい。その場合、N1+N2+
・・・+NMが上記一定時間内の入力画像(フレーム)数となる。
【0014】
統計情報に集計する入力画像の範囲を規定する上記一定時間は撮影対象の画像変化の性質に応じて適切な時間に設定すればよい。天候変化や時間経過による道路の明度変化のような、背景画像とすべき領域の変化に背景画像が追従することができ、かつ赤信号にて一時的に停止した車両のように、背景画像とすべきでない部分が背景画像に含まれないような時間に設定するのが好ましい。
【0015】
背景画像生成部13は、統計情報更新部12で生成された入力画像の統計情報から背景画像を生成する。背景画像は、各画素について最も出現頻度の高い統計量(最頻値)をその画素の統計量とした画像である。具体的には、背景画像の各画素の輝度値としてその画素において最も出現頻度の高い輝度値が採用される。
【0016】
差分処理部14は、画像入力部11からの入力画像と、背景画像生成部13で生成された背景画像との差分を算出する。この差分で構成された差分画像は入力画像の中の検出対象を表示する画像である。
【0017】
図2は、第1の実施形態の画像処理装置の動作を示すフローチャートである。ここでは既に背景画像が生成されている状態からの動作が示されている。
【0018】
図2を参照すると、画像処理装置10は、カメラ等で撮影された新たな入力画像を入力する(ステップ101)。画像処理装置10は、新たな入力画像と、予め生成していた背景画像との差分を算出する(ステップ102)。
【0019】
更に、画像処理装置10は、新たな入力画像の情報を追加し、最も古い入力画像の情報を削除することにより、入力画像の統計情報を更新する(ステップ103)。続いて、画像処理装置10は、更新された統計情報を用いて背景画像を生成しなおす(ステップ104)。
【0020】
以上説明したように本実施形態によれば、各画素における統計量の出現頻度に基づいてその画素の統計量を決定するので、背景画像とすべき画像よりも出現頻度の低い、背景画像とすべきでない画像を背景画像に含まないようにすることができる。例えば、ある画素において、赤信号などで車両が停止中では、特定の車両による輝度値が連続する時間が長くなり、車両の走行中では、通過する複数の車両の輝度値が挟まることにより道路の輝度値が連続する時間がそれより短くなった場合が想定される。本実施形態では、その場合でも、統計情報の全体に分散して繰り返し出現する道路の輝度値がトータルで最も出現頻度が高ければ、車両が取り込まれていない背景画像を生成することができる。
【0021】
また従来は、天候や日照の変化によって入力画像全体の統計量が急に変化したときに背景画像が変化に追従できない場合があったが、本実施形態によれば、現在から遡って過去の一定時間分の入力画像に限って集計した統計情報を用いるので、一定時間よりも古い過去の入力画像の影響が排除され、入力画像の背景画像とすべき部分の変化に対する追従性が向上する。
【0022】
図3は、第1の実施形態の画像処理装置の具体例について説明するための図である。画像処理装置10は新たな入力画像が入力される毎に、入力画像と背景画像との差分を算出しなおすと共に、入力情報の統計情報と背景画像を更新する。ここでは入力画像21は可視カメラや赤外線カメラなどで定点を撮影した動画像を想定している。また、入力画像10はフレーム単位でのデータ処理が可能である。入力画像21の新たなフレームが入力される毎に、入力画像と背景画像との差分の算出と、入力情報の統計情報と背景画像の更新が行われる。
【0023】
図4は入力画像の一例を示す図である。図5は背景画像の一例を示す図である。図6は背景差分画像の一例を示す図である。
【0024】
図4の入力画像21では、背景画像として抽出されるべき画像は道路の画像であり、背景差分画像として抽出されるべき画像は自動車の画像である。図5の背景画像22には、入力画像21から検出対象である自動者が取り除かれ、道路の画像が示されている。図6の背景差分画像23には、入力画像21と背景画像22との差分として自動車の画像が示されている。
【0025】
入力画像21が入力されると、画像処理装置10は背景差分処理(ステップA1)を実行する。背景差分処理は、ある画像から検出対象となる物体を抽出するために、検出対象となる物体が写っていない背景の画像と、検出対象となる物体が写っている入力画像との統計量の差分を取り、その差分から検出対象となる物体のみが写った画像(背景差分画像)を作成する処理である。この背景差分処理と他の画像処理とを組み合わせることにより検出対象の物体を検出することができる。
【0026】
図3の例では、入力画像21と背景画像22が背景差分処理に用いられ、背景差分処理の結果として背景差分画像23が生成されている。背景差分画像23は、入力画像21と背景画像22とから生成された、検出対象である物体だけが抽出された画像である。ただし厳密には背景差分画像23には検出対象以外に雑音が含まれている。
【0027】
入力画像統計情報24は、背景画像22を更新するために必要な、過去の入力画像に関する統計情報である。具体的には、入力画像21の各画素について、その統計量(輝度値等)と出現回数を含む情報である。入力画像統計情報24は順次更新されており、更新された入力画像統計情報24は背景画像更新処理に提供される。
【0028】
また入力画像21が入力されたとき、画像処理装置10は入力画像統計情報更新処理(ステップA3)を実行する。入力画像統計情報更新処理は、新たな入力画像21を用いて入力画像統計情報24を更新する処理である。
【0029】
入力画像統計情報24は、更新する各画素の統計量およびその出現頻度が時系列的に把握できるような情報である。具体例としては、過去の入力画像21の各画素の統計量が出現頻度順に保持されている。更に入力画像統計情報24は古い入力画像21の統計量を削除できるような構成となっている。入力画像統計情報更新処理としては、新たな入力画像21の情報を追加し、最も古い入力画像21の情報を削除するように、入力画像21の中の更新の対象となる各画素について、その統計量の出現頻度を計上すると共に、統計量の出現頻度の多い順に統計量を並び替える。
【0030】
入力画像統計情報24を更新したら、画像処理装置10は続いて背景画像更新処理を実行する(ステップA2)。背景画像更新処理は、背景差分処理で良好な背景差分画像23が検出されるように、背景画像22を順次更新する処理である。本実施形態では、入力画像統計情報24に含まれている入力画像21の各画素の統計量のうち最も出現頻度の高い値(最頻値)を背景画像22の各画素の更新後の値として選択し、背景画像の各画素に当てはめていく。
【0031】
画像処理装置10は、ステップA1〜A3の処理を入力画像21が入力される毎に繰り返す。
【0032】
(第2の実施形態)
第1の実施形態においては、交通事故におる車両の停止や長時間の駐停車などがあると、検出対象である車両が背景画像に取り込まれてしまう恐れがある。また赤信号による停止や交通渋滞でも、車両の停止時間と、統計情報に用いる入力画像の範囲を決める一定時間の設定値との関係で同様なことが起こる恐れがある。
【0033】
第2の実施形態では、この問題に対して以下に示す3つの対策が適用されている。
【0034】
第1の対策として、第2の実施形態では、検出対象として抽出された部分の画像を入力画像統計情報更新処理および背景画像更新処理の対象外とする。具体的には、車両として抽出された部分に含まれる画素については入力画像の統計情報および背景画像を更新しないとすればよい。
【0035】
第2の対策として、第2の実施形態では、動的な物体が停留しているという事象(以下、停留事象という)の発生を、差分画像を基に監視し、停留事象が発生している間は入力画像統計情報更新処理および背景画像更新処理を停止する。
【0036】
第3の対策として、第2の実施形態では、停留の原因となる事象を外部からの情報(以下、停留事象情報という)で知ることができる場合に、その停留事象情報に基づいて、入力画像統計情報更新処理および背景画像更新処理の実施と停止を制御する。具体的には、信号機の表示状態(青、黄、赤)を示す信号機情報を停留事象情報として用い、青信号のときにだけ、入力画像統計情報更新処理および背景画像更新処理を実施することにすればよい。
【0037】
なお、上述した第1の対策では、物体が長時間にわたって停留すると、検出対象として抽出された部分の背景画像が長時間にわたって更新されない状態が想定される。そこで、物体が検出された部分の入力画像統計情報更新処理および背景画像更新処理を停止する代わりに、物体が検出された部分の背景画像を、その近傍における物体が検出されていない領域の統計情報から推定して更新することにしてもよい。具体的には、車両が検出された部分の道路の輝度値を近傍の道路の輝度値と一致させればよい。
【0038】
上述した第2あるいは第3の対策でも、長時間にわたって停留事象が続くと、長時間にわたって背景画像が更新されない状態が想定される。そこで、入力画像統計情報更新処理および背景画像更新処理を停止する代わりに、物体が検出されていない領域については通常の入力画像統計情報更新処理および背景画像更新処理を継続し、物体が検出された部分については、その近傍における物体が検出されていない領域の統計情報から推定して背景画像を更新することにしてもよい。
【0039】
また、第1の実施形態では、入力画像の全体に対して入力画像統計情報更新処理および背景画像更新処理を行っていた。しかし、検出対象の種類や撮影場所などによっては、入力画像の中に物体が出現しないことが明らかな領域が含まれていることがある。そのような場合、第1の実施形態では、物体の検出に寄与しない部分についても画像処理を行なうこととなり効率的でない。
【0040】
そこで、第2の実施形態では、物体が出現しないことが明らかな領域をマスクし、その領域については入力画像統計情報更新処理、背景画像更新処理、および背景差分処理を行わないこととする。
【0041】
図7は、第2の実施形態の画像処理装置の構成を示すブロック図である。図7を参照すると、画像処理装置30は、画像入力部11、マスク部31、統計情報更新部12、背景画像生成部13、差分処理部14、および事象判別部32を有している。
【0042】
画像入力部11は図1に示した第1の実施形態のものと同じものである。本実施形態では画像入力部11からの入力画像はマスク部31に送られる。
【0043】
マスク部31は、入力画像におけるマスクする部分を示すマスク情報を予め保持しており、そのマスク情報を用いて画像入力部11からの入力画像をマスクする。マスク部31でマスク処理された入力画像は統計情報更新部12および差分処理部14に送られる。
【0044】
統計情報更新部12は、マスク部31からのマスク処理された入力画像を元に、入力画像のマスクされていない領域について統計情報を生成し、順次更新する。
【0045】
ただし、本実施形態では上記第1の対策として、統計情報更新部12は、差分処理部14にて検出対象として抽出された部分の画像については処理を行わない。
【0046】
また、本実施形態では上記第2の対策として、統計情報更新部12は、事象判別部32にて停留事象が検出されている間は処理を停止する。
【0047】
また、本実施形態では上記第3の対策として、統計情報更新部12は、外部からの停留事象情報を基に処理の実施と停止を制御する。具体的には、統計情報更新部12は、信号機の表示状態を示す信号機情報を基に青信号のときにだけ処理を実施する。
【0048】
背景画像生成部13は、統計情報更新部12で生成された入力画像の統計情報から、マスクされていない領域について背景画像を生成する。
【0049】
ただし、本実施形態では上記第1の対策として、背景画像生成部13は、差分処理部14にて検出対象として抽出された部分の画像については処理を行わない。
【0050】
また、本実施形態では上記第2の対策として、背景画像生成部13は、事象判別部32にて停留事象が検出されている間は処理を停止する。
【0051】
また、本実施形態では上記第3の対策として、背景画像生成部13は、外部からの停留事象情報を基に処理の実施と停止を制御する。具体的には、背景画像生成部13は信号機情報を基に青信号のときにだけ処理を実施する。
【0052】
差分処理部14は、マスク部31からのマスク処理された入力画像と、背景画像生成部13で生成された背景画像との差分を算出する。この差分で構成された画像が入力画像の中の検出対象を示す背景差分画像となる。
【0053】
事象判別部32は、差分処理部14で算出された差分を基にして停留事象の発生を監視し、停留事象の発生を統計情報更新部12および背景画像更新部13に通知する。
【0054】
図8は、第2の実施形態の画像処理装置の具体例について説明するための図である。図9はマスク画像の一例を示す図である。道路上を走行する車両を検出する場合には道路以外の部分で車両を検出する必要がないので、ここでは図9のように道路以外の部分をマスクするものとする。図10はマスク処理された入力画像の一例を示す図である。図11はマスク処理された背景画像を示す図である。
【0055】
入力画像21が入力されると、画像処理装置30はマスク画像41を用いて入力画像21に対してマスク処理を行う(ステップB1)。マスク処理された入力画像21′は図10に示されているようになる。また画像処理装置30は、マスク処理された入力画像21′と、マスク処理された背景画像22′を用いて背景差分処理(ステップB2)を実行する。更に画像処理装置30は、背景差分処理で算出した差分を用いて事象判別処理を行う(ステップB5)。事象判別処理は、差分に基づいて、背景画像の更新に影響する事象(例えば上述した停留事象)の発生を監視する処理である。事象の有無は事象情報43として入力画像統計情報更新処理および背景画像更新処理へ入力される。
【0056】
画像処理装置30は、マスク処理された入力画像21′を用いて入力画像統計情報更新処理を行い(ステップB4)、更にその結果である入力画像の統計情報24を用いて背景画像更新処理を行う(ステップB3)。その際、画像処理装置30は、信号機情報42および事象情報43に基づいて入力画像統計情報更新処理および背景画像更新処理の実施と停止を制御する。
【0057】
また、画像処理装置30は、背景画像更新処理において、背景差分画像23に基づき、物体が検出された部分の背景画像を、その近傍における物体が検出されていない領域の統計情報から推定して更新することにしてもよい。具体的には、車両が検出された部分の道路の輝度値を近傍の道路の輝度値と一致させればよい。
【0058】
図12は、検出対象が抽出された部分の更新が停止した背景画像の一例を示す図である。図12の背景画像22″では、車両が停止している間の天候変化等で、車両が抽出された部分の画像が近傍の領域の画像と整合しなくなっている。このような場合でも、車両が抽出された部分の道路の輝度値を近傍の道路の輝度値と一致させる処理を行うことで、図11に示したような背景画像22′に修正することができる。
【0059】
なお、上述した各実施形態の画像処理装置は、画像処理装置を構成する各部の処理手順を規定したソフトウェアプログラムをコンピュータに実行させることにより実現することもできる。
【図面の簡単な説明】
【0060】
【図1】第1の実施形態の画像処理装置の構成を示すブロック図である。
【図2】第1の実施形態の画像処理装置の動作を示すフローチャートである。
【図3】第1の実施形態の画像処理装置の具体例について説明するための図である。
【図4】入力画像の一例を示す図である。
【図5】背景画像の一例を示す図である。
【図6】背景差分画像の一例を示す図である。
【図7】第2の実施形態の画像処理装置の構成を示すブロック図である。
【図8】第2の実施形態の画像処理装置の具体例について説明するための図である。
【図9】マスク画像の一例を示す図である。
【図10】マスク処理された入力画像の一例を示す図である。
【図11】マスク処理された背景画像を示す図である。
【図12】検出対象が抽出された部分の更新が停止した背景画像の一例を示す図である。
【符号の説明】
【0061】
10、30 画像処理装置
11 画像入力部
12 統計情報更新部
13 背景画像生成部
14 差分処理部
31 マスク部
32 事象判別部
【特許請求の範囲】
【請求項1】
入力画像から背景画像を生成する画像処理装置であって、
連続的な入力画像を順次入力する画像入力手段と、
前記画像入力手段からの前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成する統計情報更新手段と、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する背景画像生成手段と、を有する画像処理装置。
【請求項2】
前記統計情報更新手段は、現在から遡って一定時間分の入力画像の情報を前記統計情報に集計しており、新たな入力画像が入力される毎に、該新たな入力画像の情報を前記統計情報に追加すると共に該統計情報から最も古い入力画像の情報を削除することにより、前記統計情報を更新する、請求項1に記載の画像処理装置。
【請求項3】
前記画像入力手段からの前記入力画像と、前記背景画像生成手段で生成された前記背景画像との差分を算出する差分処理手段を更に有する、請求項1または2に記載の画像処理装置。
【請求項4】
前記統計情報更新手段または前記背景画像生成手段の少なくとも一方は、前記差分処理手段により算出された前記差分として検出対象が検出された部分の画像に対する処理を停止する、請求項3に記載の画像処理装置。
【請求項5】
前記差分処理手段により算出された前記差分に基づいて、前記背景画像の生成に影響する事象の発生を監視する事象判別手段を更に有し、
前記統計情報更新手段または前記背景画像生成手段の少なくとも一方は、前記事象判別手段による監視結果に基づいて処理の実施と停止を制御する、請求項1から4のいずれか1項に記載の画像処理装置。
【請求項6】
前記統計情報更新手段または前記背景画像生成手段の少なくとも一方は、外部から通知される事象に基づいて処理の実施と停止を制御する、請求項1から5のいずれか1項に記載の画像処理装置。
【請求項7】
前記事象は、動的な物体が停留する停留事象であり、
前記統計情報更新手段または前記背景画像生成手段の少なくとも一方は、前記停留事象が発生している間は処理を停止する、請求項6または7に記載の画像処理装置。
【請求項8】
前記背景画像生成手段は、前記差分処理手段により算出された前記差分として検出対象が検出された部分を、その近傍における検出対象が検出されていない領域の統計情報から推定して更新する、請求項3に記載の画像処理装置。
【請求項9】
前記画像入力手段から入力される前記入力画像を、予め定められたマスク情報に従ってマスクするマスク手段を更に有する、請求項1から8のいずれか1項に記載の画像処理装置。
【請求項10】
入力画像から背景画像を生成するための画像処理方法であって、
連続的な入力画像を順次入力し、
前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成し、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する、画像処理方法。
【請求項11】
現在から遡って一定時間分の入力画像の情報を前記統計情報に集計しており、新たな入力画像が入力される毎に、該新たな入力画像の情報を前記統計情報に追加すると共に該統計情報から最も古い入力画像の情報を削除することにより、前記統計情報を更新する、請求項10に記載の画像処理方法。
【請求項12】
更に、前記入力画像と、生成した前記背景画像との差分を算出する、請求項10または11に記載の画像処理装置。
【請求項13】
コンピュータに、入力画像から背景画像を生成させるための画像処理プログラムであって、
連続的な入力画像を順次入力する手順と、
前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成する手順と、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する手順と、をコンピュータに実行させるための画像処理プログラム。
【請求項14】
現在から遡って一定時間分の入力画像の情報を前記統計情報に集計しており、新たな入力画像が入力される毎に、該新たな入力画像の情報を前記統計情報に追加すると共に該統計情報から最も古い入力画像の情報を削除することにより、前記統計情報を更新する、請求項10に記載の画像処理プログラム。
【請求項15】
前記入力画像と、生成した前記背景画像との差分を算出する手順コンピュータに実行させる、請求項13または14に記載の画像処理プログラム。
【請求項1】
入力画像から背景画像を生成する画像処理装置であって、
連続的な入力画像を順次入力する画像入力手段と、
前記画像入力手段からの前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成する統計情報更新手段と、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する背景画像生成手段と、を有する画像処理装置。
【請求項2】
前記統計情報更新手段は、現在から遡って一定時間分の入力画像の情報を前記統計情報に集計しており、新たな入力画像が入力される毎に、該新たな入力画像の情報を前記統計情報に追加すると共に該統計情報から最も古い入力画像の情報を削除することにより、前記統計情報を更新する、請求項1に記載の画像処理装置。
【請求項3】
前記画像入力手段からの前記入力画像と、前記背景画像生成手段で生成された前記背景画像との差分を算出する差分処理手段を更に有する、請求項1または2に記載の画像処理装置。
【請求項4】
前記統計情報更新手段または前記背景画像生成手段の少なくとも一方は、前記差分処理手段により算出された前記差分として検出対象が検出された部分の画像に対する処理を停止する、請求項3に記載の画像処理装置。
【請求項5】
前記差分処理手段により算出された前記差分に基づいて、前記背景画像の生成に影響する事象の発生を監視する事象判別手段を更に有し、
前記統計情報更新手段または前記背景画像生成手段の少なくとも一方は、前記事象判別手段による監視結果に基づいて処理の実施と停止を制御する、請求項1から4のいずれか1項に記載の画像処理装置。
【請求項6】
前記統計情報更新手段または前記背景画像生成手段の少なくとも一方は、外部から通知される事象に基づいて処理の実施と停止を制御する、請求項1から5のいずれか1項に記載の画像処理装置。
【請求項7】
前記事象は、動的な物体が停留する停留事象であり、
前記統計情報更新手段または前記背景画像生成手段の少なくとも一方は、前記停留事象が発生している間は処理を停止する、請求項6または7に記載の画像処理装置。
【請求項8】
前記背景画像生成手段は、前記差分処理手段により算出された前記差分として検出対象が検出された部分を、その近傍における検出対象が検出されていない領域の統計情報から推定して更新する、請求項3に記載の画像処理装置。
【請求項9】
前記画像入力手段から入力される前記入力画像を、予め定められたマスク情報に従ってマスクするマスク手段を更に有する、請求項1から8のいずれか1項に記載の画像処理装置。
【請求項10】
入力画像から背景画像を生成するための画像処理方法であって、
連続的な入力画像を順次入力し、
前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成し、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する、画像処理方法。
【請求項11】
現在から遡って一定時間分の入力画像の情報を前記統計情報に集計しており、新たな入力画像が入力される毎に、該新たな入力画像の情報を前記統計情報に追加すると共に該統計情報から最も古い入力画像の情報を削除することにより、前記統計情報を更新する、請求項10に記載の画像処理方法。
【請求項12】
更に、前記入力画像と、生成した前記背景画像との差分を算出する、請求項10または11に記載の画像処理装置。
【請求項13】
コンピュータに、入力画像から背景画像を生成させるための画像処理プログラムであって、
連続的な入力画像を順次入力する手順と、
前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成する手順と、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する手順と、をコンピュータに実行させるための画像処理プログラム。
【請求項14】
現在から遡って一定時間分の入力画像の情報を前記統計情報に集計しており、新たな入力画像が入力される毎に、該新たな入力画像の情報を前記統計情報に追加すると共に該統計情報から最も古い入力画像の情報を削除することにより、前記統計情報を更新する、請求項10に記載の画像処理プログラム。
【請求項15】
前記入力画像と、生成した前記背景画像との差分を算出する手順コンピュータに実行させる、請求項13または14に記載の画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2009−64228(P2009−64228A)
【公開日】平成21年3月26日(2009.3.26)
【国際特許分類】
【出願番号】特願2007−231374(P2007−231374)
【出願日】平成19年9月6日(2007.9.6)
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】
【公開日】平成21年3月26日(2009.3.26)
【国際特許分類】
【出願日】平成19年9月6日(2007.9.6)
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】
[ Back to top ]