動き検出方法及び装置，プログラム，車両用監視システム
【課題】 演算量を削減でき、しかも複数の検出対象が存在しても個々の動きを検出可能な動き検出方法及び装置、並びにこれを利用した車両用監視システムを提供する。
【解決手段】 撮像装置３からの入力画像と予め設定された背景画像とに基づいて、背景画像に対して変化のある対象領域と変化のない背景領域とからなる二値化画像をフレーム毎に生成し（Ｓ１２０）、この二値化画像をフレーム間で比較することで、対象領域のまま変化のない重なり領域、背景領域から対象領域に変化した増加領域、対象領域から背景領域に変化した減少領域を抽出する（Ｓ１３０）。そして、互いに隣接する増加領域，減少領域，重なり領域を一つの統合領域として抽出し、その抽出した統合領域、及び増加領域，減少領域のそれぞれについて領域パラメータ（領域面積，Ｘ座標和，Ｙ座標和）を求め（Ｓ１４０）、この領域パラメータに基づいて、統合領域毎にその統合領域に示された物体（対象領域）の動きを求める（Ｓ１５０）。
【解決手段】 撮像装置３からの入力画像と予め設定された背景画像とに基づいて、背景画像に対して変化のある対象領域と変化のない背景領域とからなる二値化画像をフレーム毎に生成し（Ｓ１２０）、この二値化画像をフレーム間で比較することで、対象領域のまま変化のない重なり領域、背景領域から対象領域に変化した増加領域、対象領域から背景領域に変化した減少領域を抽出する（Ｓ１３０）。そして、互いに隣接する増加領域，減少領域，重なり領域を一つの統合領域として抽出し、その抽出した統合領域、及び増加領域，減少領域のそれぞれについて領域パラメータ（領域面積，Ｘ座標和，Ｙ座標和）を求め（Ｓ１４０）、この領域パラメータに基づいて、統合領域毎にその統合領域に示された物体（対象領域）の動きを求める（Ｓ１５０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に示された物体の動きを検出する動き検出方法及び装置、並びにこれを利用した車両用監視システムに関する。
【背景技術】
【０００２】
従来より、画像に示された物体の動きを検出する方法として、画像を水平方向及び垂直方向に複数分割し、分割された画像ブロックのそれぞれについて、各画像ブロックがどの方向に移動したかを示す動きベクトルを算出するものが知られている。
【０００３】
具体的には、ある時間の画像から切り出した画像ブロック（以下「対象ブロック」と称する。）と、異なる時間の画像から切り出した画像ブロック（以下「比較ブロック」と称する。）との間でパターンマッチング等の相関演算を行い、比較ブロックの位置を、対象ブロックに対応する位置を中心として設定された探索範囲内で上下左右に１画素分移動しながら同様の処理を繰り返す。これにより得られた相関値の中で、最も相関値が大きい比較ブロックを移動先又は移動元であるとして特定する。
【０００４】
なお、この方法では、画像から切り出される対象ブロックの数をＭ個、各対象ブロックの画素数をＬ×Ｌ画素、対象ブロックの周囲にＮ画素ずつ付加した範囲を探索範囲とすると、Ｌ2 ×Ｍ×（２Ｎ＋１）2 回の相関演算が必要となり、膨大な演算量が必要となる。
【０００５】
例えば、画像が６４０×４８０画素、対象ブロックが１６×１６画素、探索範囲を±３２画素とすると、Ｌ＝１６、Ｍ＝１２００、Ｎ＝３２であり、相関演算の演算量は１フレーム当たり約１．３Ｇ回となる。
【０００６】
これに対して、相関演算の演算量の低減を図るために、画素を間引くことで分解能の異なる複数種類の画像を生成し、まず、最も低分解能の画像で探索を行い、その結果を用いて、より高分解能の画像で探索を行うことを繰り返す方法が知られている（例えば、特許文献１，２参照。）。
【０００７】
また、一方では、予め用意された背景画像と入力画像との差分画像である背景差分画像を入力画像のフレーム毎に求め、フレーム間で背景差分画像を比較することで、差異のある領域（以下「差異領域」と称する。）を抽出し、抽出した差異領域の重心の移動量及び移動方向を求めることにより、パターンマッチングを用いることなく、差分画像に示された物体の移動量及び移動方向を検出する方法が知られている（例えば、特許文献３参照。）。
【０００８】
なお、差異領域の重心の算出は、具体的には、画素の位置を表す二次元座標のＸ座標軸及びＹ座標軸のそれぞれについて、差異領域に含まれる画素数の分布を求め、この分布から差異領域に含まれる画素の総画素数を二分するＸ座標及びＹ座標、即ち、差異領域の面積中心を、差異領域の重心として求めている。
【特許文献１】特開平６−６０１８７号公報
【特許文献２】特開２００３−９９７８２号公報
【特許文献３】特許第１８９５０７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１，２に記載の方法では、基本的にパターンマッチングを用いているため、階層的な方法を用いたとしても、演算量の大幅な削減を期待することができないという問題があった。しかも、探索範囲を大きくすると、指数関数的に演算量が増大するため、演算能力によって探索範囲が制限され、その結果、動き幅の大きな物体、即ち動きの速い物体を検出することができないという問題があった。
【００１０】
また、特許文献３に記載の方法では、画像全体から単一の面積中心を求めているため、検出対象が複数存在する場合には、検出対象毎の動きを検出することができないという問題があった。
【００１１】
本発明は、上記問題点を解決するために、演算量を削減でき、しかも複数の検出対象が存在しても個々の動きを検出可能な動き検出方法及び装置、並びにこれを利用した車両用監視システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するためになされた第一発明の動き検出方法では、まず、フレーム単位で連続的に入力される入力画像と予め設定された背景画像との間の差分画像である背景差分画像を二値化することにより、前記背景画像に対して変化のある対象領域と変化のない背景領域とからなる二値化画像を前記フレーム毎に生成する。
【００１３】
そして、この二値化画像をフレーム間で比較することにより、対象領域のまま変化のない重なり領域、背景領域から対象領域に変化した増加領域、対象領域から背景領域に変化した減少領域を抽出する。
【００１４】
更に、重なり領域とこの重なり領域に隣接する増加領域，減少領域とを統合してなる統合領域、及び増加領域，減少領域のそれぞれについて、その領域に属する画素数と、画素位置を表すための二次元座標におけるＸ座標及びＹ座標の座標値を、その領域に属する全ての画素について各座標毎にそれぞれ加算してなるＸ座標和，Ｙ座標和とからなる領域パラメータを求める。
【００１５】
そして、この領域パラメータに基づいて、統合領域毎にその統合領域に示された移動物体の動きを検出する。
即ち、図７に示すように、統合領域内における、増加領域及び減少領域の位置や大きさ（面積）から、統合領域に示された移動物体の移動方向や移動量を求めることができる。
【００１６】
具体的には、ある領域のＸ座標和を、その領域に属する画素数で割ることで、その領域の重心のＸ座標が求められ、同様にある領域のＹ座標和を、その領域に属する画素数で割ることで、その領域の重心のＹ座標が求められる。また、統合領域から増加領域を除いた領域が、移動前の対象領域であり、統合領域から減少領域を除いた領域が、移動後の対象領域に相当する。
【００１７】
つまり、統合領域，増加領域，減少領域の領域パラメータに基づいて、統合領域に示された移動前の移動物体（前フレーム対象領域）の重心位置と移動後の移動物体（現フレーム対象領域）の重心位置とを求めることができ、その重心位置の変化から、移動物体の動き（移動量や移動方向）を検出することができるのである。
【００１８】
このように、本発明の動き検出方法によれば、統合領域毎に、その統合領域に示された移動物体の動きが検出されるため、入力画像に検出対象が複数存在していても、各検出対象の動きを個々に検出することができる。しかも、本発明によれば、パターンマッチングを行うことなく、統合領域，増加領域，減少領域が検出されるため、動き検出のための演算量を大幅に削減することができる。
【００１９】
即ち、本発明では、統合領域，増加領域，減少領域を抽出する際に、二値化画像（背景差分画像）の生成のための差分演算と、領域抽出のための二値化画像の比較演算とを行えばよい。このため、例えば、入力画像が６４０×４８０画素であるとすると、その演算量は、１フレーム当たり約０．６Ｍ（＝６４０×４８０×２）回となり、上述した従来装置（１フレーム当たり約１．３Ｇ回）と比較して約１／２０００程度となる。
【００２０】
次に第二発明の動き検出装置では、二値画像生成手段が、フレーム単位で連続的に入力される入力画像と予め設定された背景画像との間の差分画像である背景差分画像を二値化することにより、前記背景画像に対して変化のある対象領域と変化のない背景領域とからなる二値化画像を前記フレーム毎に生成する。
【００２１】
すると、領域抽出手段が、二値化画像生成手段にて生成された二値化画像をフレーム間で比較することにより、対象領域のまま変化のない重なり領域、背景領域から対象領域に変化した増加領域、対象領域から背景領域に変化した減少領域を抽出する。
【００２２】
更に、領域パラメータ算出手段が、重なり領域とこの重なり領域に隣接する増加領域，減少領域とを統合してなる統合領域、及び増加領域，減少領域のそれぞれについて、その領域に属する画素数と、画素位置を表すための二次元座標におけるＸ座標及びＹ座標の座標値を、その領域に属する全ての画素について各座標毎にそれぞれ加算してなるＸ座標和，Ｙ座標和とからなる領域パラメータを求める。
【００２３】
そして、動き検出手段が、領域パラメータ算出手段が求めた領域パラメータに基づいて、統合領域毎にその統合領域に示された移動物体の動きを検出する。
つまり、本発明の動き検出装置は、第一発明の動き検出方法を実現する装置であり、従って、第一発明の場合と同様の効果を得ることができる。
【００２４】
なお、動き検出手段は、具体的には、領域パラメータに基づいて、統合領域毎に、その統合領域に示された移動物体の移動前及び移動後の重心位置を求めることで、その移動物体の動きを検出するように構成すればよい。
【００２５】
また、第二発明の動き検出装置を構成する各手段は、電子回路（ハードウェア）により構成してもよいが、コンピュータをこれら各手段として機能させるプログラムとして構成してもよい。この場合、全ての手段をプログラムとして構成してもよいし、一部の手段のみをプログラムとして構成してもよい。
【００２６】
次に第三発明の車両用監視システムでは、上述した動き検出装置を備え、車室内に設置された撮像手段が、車室内及び窓を通して車両周辺を撮像した画像を入力画像として検出装置に供給し、判定手段が、動き検出装置での検出結果に基づいて、侵入者や不審者の存在を判定し、更に、報知手段が、判定手段での判定結果の報知を行う。
【００２７】
このように、本発明の車両用監視システムによれば、第二発明の動き検出装置での検出結果を利用しているため、少ない演算量にて（即ち、安価な演算処理装置を用いて）、侵入者や不審者を含む移動物体の存在を検出することができ、その検出結果に基づいて、侵入者や不審者の存在を判定することができる。
【００２８】
また、動き検出装置では、移動物体毎に動きが検出されるため、判定手段では、移動物体毎に移動状態を追跡することにより、車両の近傍に立ち止まったり、車両周辺を周回したりする不審者を簡単に判定することができる。
【００２９】
なお、撮像手段は、例えば、車室内の天井部分に設置することが望ましい。この場合、車室内の全体及び窓を介して見通すことのできる車両の周辺を、死角を生じさせることなく全て撮像することができる。
【００３０】
また、撮像手段としては、魚眼カメラ又は全方位カメラを用いることが望ましい。この場合、１台のカメラにて広範囲の領域をカバーすることができ、撮像手段の構成を簡略化することができる。
【００３１】
また、撮像手段として、赤外線カメラを用たり、撮像された被測定物までの距離に応じた画素値を有する距離画像を入力画像として供給するものを用いたりしてもよい。これらの場合、低輝度の物体であっても確実に画像として捉えることができる。
【発明を実施するための最良の形態】
【００３２】
以下に本発明の実施形態を図面と共に説明する。
図１は、本発明が適用された車両用監視システムの構成を示すブロック図である。
図１に示すように車両用監視システム１は、魚眼カメラからなる撮像装置３と、撮像装置３から供給される画像信号に基づいて、移動物体の動きを検出する動き検出装置５と、動き検出装置５での検出結果に従って、侵入者や不審者の存在を判定する判定装置７と、判定装置７での判定結果を予め設定された通報先に送信する通信装置９とを備えている。
【００３３】
このうち、撮像装置３は、図２（ａ）に示すように、車室内の天井中央に設置され、図２（ｂ）に示すように、車室内及び窓を通して車両周辺を一台で撮像できるように設定されている。なお、以下では、撮像された画像において、車長方向をＸ軸方向、車幅方向をＹ軸方向、これら両方向に対する直交方向をＺ軸方向とする。
【００３４】
また、動き検出装置５は、撮像装置３からの画像信号をアナログ−デジタル変換するＡ／Ｄ変換器１１と、Ａ／Ｄ変換器１１の出力を１フレーム（１画面）分記憶するフレームメモリ１３と、周知のマイクロコンピュータからなり、フレームメモリ１３の記憶内容に基づいて、撮像された移動物体の動きを検出する動き検出処理等を実行する演算装置１５と、演算装置１５が実行する動き検出処理のプログラムや、動き検出処理で使用する背景画像や、処理の実行過程で生成される各種画像を記憶する記録装置１７とを備えている。
【００３５】
なお、記録装置１７に記憶される背景画像は、撮像範囲内に移動物体が存在しない状態で撮像された画像であり、車両の出荷時に撮像装置３によって撮像された画像を固定的に用いるようにしてもよいし、車両が施錠される毎に、予め設定されたタイミングで撮像装置３によって撮像された画像を用いるようにしてもよい。
【００３６】
ここで演算装置１５が実行する動き検出処理を、図３〜６に示すフローチャートに沿って説明する。なお、本処理は、撮像装置３が撮像に要する時間以上に設定された一定時間毎に繰り返し実行される。
【００３７】
本処理が起動すると、まず、撮像装置３からフレームメモリ１３に１フレーム分の画像データ（以下「入力画像」と称する。）を取り込み（Ｓ１１０）、このフレームメモリ１３に取り込んだ入力画像と記録装置１７に記憶された背景画像との差分画像である背景差分画像を二値化してなる二値化画像を生成する背景差分／二値化処理を実行する（Ｓ１２０）。なお、入力画像は、Ｘ軸方向にｍ（本実施形態ではｍ＝６４０）画素、Ｙ軸方向にｎ（本実施形態ではｎ＝４８０）画素を有するものとする。
【００３８】
この背景差分／二値化処理では、図４に示すように、まず、画像を構成する各画素のＹ座標を指定するためのパラメータｊを０に初期化する（Ｓ２１０）と共に、画像を構成する各画素のＸ座標を指定するためのパラメータｉを０に初期化する（Ｓ２２０）。
【００３９】
そして、背景画像においてパラメータｉ，ｊで指定される画素の画素値Ｂijと、入力画像においてパラメータｉ，ｊで指定される画素の画素値Ｃijとの差分（即ち、背景差分画像における画素の画素値）の絶対値が、予め設定されたしきい値Ｔhrより大きい（｜Ｂij−Ｃij｜＞Ｔhr）か否かを判断する（Ｓ２３０）。なお、しきい値Ｔhrは、固定値を用いてもよいし、画素値の差分（即ち背景差分画像の画素値）の絶対値｜Ｂij−Ｃij｜を履歴データとして保存し、この履歴データの平均値に基づいて設定（例えば、平均値の１／２等）してもよい。
【００４０】
そして、二値化画像においてパラメータｉ，ｊで指定される画素の画素値をＤＣijとして、Ｓ２３０にて背景差分画像の画素値の絶対値｜Ｂij−Ｃij｜がしきい値Ｔhrより大きいと判定された場合には、二値化画像の画素値ＤＣijを１に設定し（Ｓ２４０）、一方、背景差分画像の画素値の絶対値｜Ｂij−Ｃij｜がしきい値Ｔhr以下であると判定された場合には、二値化画像の画素値ＤＣijを０に設定する（Ｓ２５０）。
【００４１】
このようにして二値化画像の画素値ＤＣijが設定されると、パラメータｉをインクリメント（ｉ←ｉ＋１）して（Ｓ２６０）、パラメータｉが画像のＸ軸方向の画素数ｍと等しいか否かを判断する（Ｓ２７０）。この時、パラメータｉが画素数ｍに等しくなければ、Ｓ２３０に戻って、Ｓ２３０〜Ｓ２６０の処理を繰り返し、一方、パラメータｉが画素数ｍに等しければ、パラメータｊをインクリメント（ｊ←ｊ＋１）して（Ｓ２８０）、パラメータｊが画像のＹ軸方向の画素数ｎと等しいか否かを判断する（Ｓ２９０）。この時、パラメータｊが画素数ｎに等しくなければ、Ｓ２２０に戻って、Ｓ２２０〜Ｓ２８０の処理を繰り返し、一方、パラメータｊが画素数ｎに等しければ、全ての画素について二値化処理を終了したものとして、本処理を終了する。
【００４２】
つまり、背景差分／二値化処理により、入力画像と背景画像とを比較して、背景画像から変化のあった部分（以下「対象領域」と称する。）の画素値ＤＣijが１、変化の無かった部分（以下「背景領域」と称する。）の画素値ＤＣijが０で表された２値化画像が生成されることになる。
【００４３】
図３に戻り、このようにして２値化画像が生成されると、次に、Ｓ１２０にて生成された現フレームの２値化画像と、記録装置１７に記憶されている前フレームの２値化画像とを比較して、フレーム間比較画像（画素値Ｒij）を生成するフレーム比較処理を実行する（Ｓ１３０）。
【００４４】
このフレーム比較処理では、図５に示すように、まず、画像を構成する各画素のＹ座標を指定するためのパラメータｊを０に初期化する（Ｓ３１０）と共に、画像を構成する各画素のＸ座標を指定するためのパラメータｉを０に初期化する（Ｓ３２０）。
【００４５】
続けて、現フレームの２値化画像の画素値（以下「現画素値」と称する。）をＤＣij、前フレームの２値化画像の画素値（以下「前画素値」と称する。）をＤＰijとして、パラメータｉ，ｊで指定される現画素値ＤＣijが１に設定されているか否か（Ｓ３３０）、及び、パラメータｉ，ｊで指定される前画素値ＤＰijが１に設定されているか否か（Ｓ３４０，Ｓ３７０）を判断する。
【００４６】
そして、現画素値ＤＣij＝１（Ｓ３３０：ＹＥＳ）且つ前画素値ＤＰij＝１（Ｓ３４０：ＹＥＳ）である場合、即ち、対象領域のまま変化がない場合には、フレーム間比較画像の画素値Ｒijを、重なり領域であることを示す０に設定し（Ｓ３５０）、現画素値ＤＣij＝１（Ｓ３３０：ＹＥＳ）且つ前画素値ＤＰij＝０（Ｓ３４０：ＮＯ）である場合、即ち、背景領域から対象領域に変化した場合には、フレーム間比較画像の画素値Ｒijを、増加領域であることを示す１に設定する（Ｓ３６０）。
【００４７】
また、現画素値ＤＣij＝０（Ｓ３３０：ＮＯ）且つ前画素値ＤＰij＝１（Ｓ３７０：ＹＥＳ）である場合、即ち、対象領域から背景領域に変化した場合には、フレーム間比較画像の画素値Ｒijを、減少領域であることを示す−１に設定し（Ｓ３８０）、現画素値ＤＣij＝０（Ｓ３３０：ＮＯ）且つ前画素値ＤＰij＝０（Ｓ３７０：ＮＯ）である場合、即ち、背景領域のまま変化がない場合には、フレーム間比較画像の画素値Ｒijを、その他領域であることを表す９９に設定する（Ｓ３９０）。
【００４８】
このようにしてフレーム間比較画像の画素値Ｒijが設定されると、パラメータｉをインクリメント（ｉ←ｉ＋１）して（Ｓ４００）、パラメータｉが画像のＸ軸方向の画素数ｍと等しいか否かを判断する（Ｓ４１０）。この時、パラメータｉが画素数ｍに等しくなければ、Ｓ３３０に戻って、Ｓ３３０〜Ｓ４００の処理を繰り返し、一方、パラメータｉが画素数ｍに等しければ、パラメータｊをインクリメント（ｊ←ｊ＋１）して（Ｓ４２０）、パラメータｊが画像のＹ軸方向の画素数ｎと等しいか否かを判断する（Ｓ４３０）。この時、パラメータｊが画素数ｎに等しくなければ、Ｓ３２０に戻って、Ｓ３２０〜Ｓ４２０の処理を繰り返し、一方、パラメータｊが画素数ｎに等しければ、全ての画素につい比較処理を終了したものとして、本処理を終了する。
【００４９】
つまり、フレーム比較処理により、［表１］に示すように、前フレームと比較して、背景領域から対象領域（ＤＣij＝１，ＤＰij＝０）に変化した増加領域（Ｒij＝１）、対象領域から背景領域（ＤＣij＝０，ＤＰij＝１）に変化した減少領域（Ｒij＝−１）、対象領域のまま（ＤＣij＝１，ＤＰij＝１）変化のない重なり領域（Ｒij＝０）、背景領域のまま（ＤＣij＝０，ＤＰij＝０）変化のないその他領域（Ｒij＝９９）からなる４種類の領域に区分けされたフレーム間比較画像が生成されることになる。
【００５０】
【表１】
図３に戻り、このようにしてフレーム間比較画像が生成されると、次に、このフレーム間比較画像に基づいて、同一の移動物体（対象領域）に基づく増加領域，減少領域，重なり領域をグループ化した統合領域を抽出すると共に、統合領域，増加領域，減少領域のそれぞれについて、その領域に属する画素の総数を表す領域面積、その領域に属する全ての画素のＸ座標を積算してなるＸ座標和、その領域に属する全ての画素のＹ座標を積算してなるＹ座標和からなる領域パラメータを求める領域分割処理を実行する（Ｓ１４０）。
【００５１】
この領域分割処理では、図６に示すように、まず、画像を構成する各画素のＹ座標を指定するためのパラメータｊを０に初期化する（Ｓ５１０）と共に、画像を構成する各画素のＸ座標を指定するためのパラメータｉを０に初期化する（Ｓ５２０）。
【００５２】
続けて、フレーム間比較画像においてパラメータｉ，ｊで指定される画素（以下「指定画素」と称する。）の画素値Ｒijが、その他領域であることを表す９９に設定されている否かを判断し（Ｓ５３０）、指定画素の画素値Ｒijが９９に設定されていれば、後述するＳ５４０〜Ｓ６１０の処理を行うことなく、Ｓ６２０に進む。
【００５３】
一方、指定画素の画素値Ｒijが９９以外の値に設定されていれば、その指定画素には隣接する統合領域が存在するか否かを判断し（Ｓ５４０）、隣接する統合領域が存在すれば、その統合領域に関する領域パラメータを読み込み（Ｓ５５０）、一方、隣接する統合領域が存在しなければ、新たな統合領域であるものとして、その統合領域に関する領域パラメータを生成，初期化する（Ｓ５６０）。
【００５４】
そして、Ｓ５５０又はＳ５６０にて用意された領域パラメータのうち、統合領域に関する領域パラメータ（領域面積Ｓ、Ｘ座標和Ｘsum 、Ｙ座標和Ｙsum ）の更新を行う（Ｓ５７０）。具体的には、領域面積Ｓをインクリメント（Ｓ←Ｓ＋１）し、Ｘ座標和Ｘsum に指定画素のＸ座標を表すパラメータｉを加算（Ｘsum ←Ｘsum ＋ｉ）し、Ｙ座標和Ｙsum に指定画素のＹ座標を表すパラメータｊを加算（Ｙsum ←Ｙsum ＋ｊ）する。
【００５５】
続けて、指定画素の画素値Ｒijが増加領域であることを表す１に設定されているか否か（Ｓ５８０）、及び指定画素の画素値Ｒijが減少領域であることを表す−１に設定されているか否か（Ｓ６００）を判断する。
【００５６】
そして、指定画素の画素値Ｒijが１に設定されていれば（Ｓ５８０：ＹＥＳ）、Ｓ５５０又はＳ５６０にて用意された領域パラメータのうち、増加領域に関する領域パラメータ（領域面積Ｓ_Inc、Ｘ座標和Ｘsum_Inc 、Ｙ座標和Ｙsum_Inc ）の更新を行って（Ｓ５９０）、Ｓ６２０に進む。具体的には、領域面積Ｓ_Incをインクリメント（Ｓ_Inc←Ｓ_Inc＋１）し、Ｘ座標和Ｘsum_Inc に指定画素のＸ座標を表すパラメータｉを加算（Ｘsum_Inc ←Ｘsum_Inc ＋ｉ）し、Ｙ座標和Ｙsum_Inc に指定画素のＹ座標を表すパラメータｊを加算（Ｙsum_Inc ←Ｙsum_Inc ＋ｊ）する。
【００５７】
また、指定画素の画素値Ｒijが−１に設定されていれば（Ｓ５８０：ＮＯ，Ｓ６００：ＹＥＳ）、Ｓ５５０又はＳ５６０にて用意された領域パラメータのうち、減少領域に関する領域パラメータ（領域面積Ｓ_Dec、Ｘ座標和Ｘsum_Dec 、Ｙ座標和Ｙsum_Dec ）の更新を行って（Ｓ５９０）、Ｓ６２０に進む。具体的には、領域面積Ｓ_Decをインクリメント（Ｓ_Dec←Ｓ_Dec＋１）し、Ｘ座標和Ｘsum_Dec に指定画素のＸ座標を表すパラメータｉを加算（Ｘsum_Dec ←Ｘsum_Dec ＋ｉ）し、Ｙ座標和Ｙsum_Dec に指定画素のＹ座標を表すパラメータｊを加算（Ｙsum_Dec ←Ｙsum_Dec ＋ｊ）する。
【００５８】
一方、指定画素の画素値Ｒijが１や−１以外の値に設定されていれば（Ｓ５８０：ＮＯ，Ｓ６００：ＮＯ）、増加領域及び減少領域に関する領域パラメータの更新を行うことなくＳ６２０に進む。
【００５９】
このようにして領域パラメータの更新が行われると、パラメータｉをインクリメント（ｉ←ｉ＋１）して（Ｓ６２０）、パラメータｉが画像のＸ軸方向の画素数ｍと等しいか否かを判断する（Ｓ６３０）。この時、パラメータｉが画素数ｍに等しくなければ、Ｓ５３０に戻って、Ｓ５３０〜Ｓ６２０の処理を繰り返し、一方、パラメータｉが画素数ｍに等しければ、パラメータｊをインクリメント（ｊ←ｊ＋１）して（Ｓ６４０）、パラメータｊが画像のＹ軸方向の画素数ｎと等しいか否かを判断する（Ｓ６５０）。この時、パラメータｊが画素数ｎに等しくなければ、Ｓ５２０に戻って、Ｓ５２０〜Ｓ６４０の処理を繰り返し、一方、パラメータｊが画素数ｎに等しければ、全ての画素につい処理を終了したものとして、本処理を終了する。
【００６０】
つまり、領域分割処理では、互いに隣接する増加領域，減少領域，重なり領域が一つの統合領域として抽出されると共に、［表２］に示すように、抽出された統合領域、及び増加領域，減少領域のそれぞれについて、領域パラメータが求められることになる。
【００６１】
【表２】
図３に戻り、このようにして統合領域の抽出及び領域パラメータの算出が行われると、次に、この算出した領域パラメータに基づいて、統合領域に示された物体の動きを算出する動き算出処理を実行して（Ｓ１５０）、本処理を終了する。
【００６２】
この動き算出処理では、Ｓ１４０にて抽出された統合領域毎、即ち入力画像に示された背景とは異なる物体毎に、以下に示す（１）〜（３）式を用いて、移動方向及び移動量を示す動きベクトルＶ＝（Ｖｘ，Ｖｙ，Ｖｚ）を算出すると共に、（４），（５）式を用いて統合領域の重心位置Ｇ＝（Ｇｘ，Ｇｙ）を算出する。
【００６３】
【数１】
但し、統合領域に、増加領域又は減少領域が複数存在する場合（図７（ｃ）（ｄ）参照）には、同種の領域毎に領域パラメータを加算したものが、その領域（増加領域又は減少領域）の領域パラメータとなる。
【００６４】
なお、ここでは統合領域の重心位置を求めているが、代わりに、現フレームにおける対象領域の重心位置を求めるように構成してもよい。この場合、（１）式の右辺の第１項を用いてＧｘ、（２）式の右辺第１項を用いてＧｙを求めればよい。
【００６５】
次に、判定装置７では、動き検出装置５での検出結果に従って、検出された物体（統合領域）毎に、その物体に関する動きベクトルＶ及び重心位置Ｇを用いて、物体の動きを追跡し、その追跡した動きの特徴や位置から不審者や侵入者の判定を行う。
【００６６】
具体的には、車両の近くに一定時間以上停止した物体が存在する場合、又は車両を周回する動作をした物体が存在する場合に、これらの物体を不審者として判断する。また、物体が車両内に存在する場合に、その物体を侵入者として判断する。
【００６７】
そして、通信装置９は、判定装置７での判定結果が不審者又は侵入者ありである場合に、その旨を、予め登録されている通報先（例えば、ユーザの携帯電話など）に通報する。
以上説明したように、本実施形態の車両用監視システム１においては、撮像装置３からの入力画像と予め設定された背景画像とに基づいて、背景画像に対して変化のある対象領域と変化のない背景領域とからなる二値化画像をフレーム毎に生成し（Ｓ１２０）、この二値化画像をフレーム間で比較することにより、対象領域のまま変化のない重なり領域、背景領域から対象領域に変化した増加領域、対象領域から背景領域に変化した減少領域を抽出している（Ｓ１３０）。
【００６８】
そして、互いに隣接する増加領域，減少領域，重なり領域を一つの統合領域として抽出すると共に、抽出した統合領域、及び増加領域，減少領域のそれぞれについて領域パラメータ（領域面積，Ｘ座標和，Ｙ座標和）を求め（Ｓ１４０）、この領域パラメータに基づいて、統合領域毎にその統合領域に示された物体（対象領域）の動きを求める（Ｓ１５０）ようにされている。
【００６９】
従って、本実施形態の車両用監視システム１によれば、統合領域毎に、その統合領域に示された物体の動きが検出されるため、入力画像に検出対象が複数存在していても、各検出対象の動きを個々に検出することができる。
【００７０】
しかも、本実施形態では、二値化画像やフレーム間比較画像の生成を、パターンマッチングを行うことなく、各画素毎の減算と比較演算のみで実現しており、また、統合領域，増加領域，減少領域を抽出を、各画素毎に隣接する統合領域が存在するか否かを判断することにより行っている。更に、領域パラメータの算出を、乗除算を用いることなく、インクリメント処理のみで実現している。このため、本実施形態の車両用監視システム１によれば、従来装置と比較して、動き検出のための演算量を大幅に削減することができ、ひいては、少ない演算量にて動き検出や不審者や侵入者の存在を判定できるため、安価な演算処理装置を用いて当該システム１を構成することができる。
【００７１】
また、本実施形態の車両用監視システム１では、撮像装置３として魚眼カメラを用いると共に、これを車室内の天井中央に配置し、車室内及び窓を通して見える車両周辺の全てを単一のカメラにて撮像している。つまり、入力画像を得るための構成が極めて簡易であるため、スペースの限られた車両内に設置される車載機器として好適に用いることができる。
【００７２】
なお、本実施形態において、撮像装置３が撮像手段、判定装置７が判定手段、通信装置９が報知手段、背景差分／二値化処理Ｓ１２０が二値化画像生成手段、フレーム比較処理Ｓ１３０が領域抽出手段、領域分割処理Ｓ１４０が領域パラメータ算出手段、動き算出処理Ｓ１５０が動き検出手段に相当する。
【００７３】
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲において、様々な態様にて実施可能である。
例えば、上記実施形態では、撮像装置３として魚眼カメラを用いているが、代わりに全方位カメラを用いてもよい。また、撮像装置３として、赤外線カメラを用いたり、撮像された被測定物までの距離に応じた画素値を有する距離画像を入力画像として供給するものを用いてもよい。これらの場合、低輝度の物体であっても確実に画像として捉えることができる。
【図面の簡単な説明】
【００７４】
【図１】実施形態の車両用監視システムの構成を示すブロック図である。
【図２】撮像装置の配置、及び撮像装置にて撮像された画像の例を示す説明図である。
【図３】動き検出処理の内容を示すフローチャートである。
【図４】背景差分／二値化処理の内容を示すフローチャートである。
【図５】フレーム比較処理の内容を示すフローチャートである。
【図６】領域分割処理の内容を示すフローチャートである。
【図７】統合領域に含まれる増加領域及び減少領域から、物体の移動方向及び移動量が求められることを概念的に示した説明図である。
【符号の説明】
【００７５】
１…車両用監視システム、３…撮像装置、５…動き検出装置、７…判定装置、９…通信装置、１１…Ａ／Ｄ変換器、１３…フレームメモリ、１５…演算装置、１７…記録装置。
【技術分野】
【０００１】
本発明は、画像に示された物体の動きを検出する動き検出方法及び装置、並びにこれを利用した車両用監視システムに関する。
【背景技術】
【０００２】
従来より、画像に示された物体の動きを検出する方法として、画像を水平方向及び垂直方向に複数分割し、分割された画像ブロックのそれぞれについて、各画像ブロックがどの方向に移動したかを示す動きベクトルを算出するものが知られている。
【０００３】
具体的には、ある時間の画像から切り出した画像ブロック（以下「対象ブロック」と称する。）と、異なる時間の画像から切り出した画像ブロック（以下「比較ブロック」と称する。）との間でパターンマッチング等の相関演算を行い、比較ブロックの位置を、対象ブロックに対応する位置を中心として設定された探索範囲内で上下左右に１画素分移動しながら同様の処理を繰り返す。これにより得られた相関値の中で、最も相関値が大きい比較ブロックを移動先又は移動元であるとして特定する。
【０００４】
なお、この方法では、画像から切り出される対象ブロックの数をＭ個、各対象ブロックの画素数をＬ×Ｌ画素、対象ブロックの周囲にＮ画素ずつ付加した範囲を探索範囲とすると、Ｌ2 ×Ｍ×（２Ｎ＋１）2 回の相関演算が必要となり、膨大な演算量が必要となる。
【０００５】
例えば、画像が６４０×４８０画素、対象ブロックが１６×１６画素、探索範囲を±３２画素とすると、Ｌ＝１６、Ｍ＝１２００、Ｎ＝３２であり、相関演算の演算量は１フレーム当たり約１．３Ｇ回となる。
【０００６】
これに対して、相関演算の演算量の低減を図るために、画素を間引くことで分解能の異なる複数種類の画像を生成し、まず、最も低分解能の画像で探索を行い、その結果を用いて、より高分解能の画像で探索を行うことを繰り返す方法が知られている（例えば、特許文献１，２参照。）。
【０００７】
また、一方では、予め用意された背景画像と入力画像との差分画像である背景差分画像を入力画像のフレーム毎に求め、フレーム間で背景差分画像を比較することで、差異のある領域（以下「差異領域」と称する。）を抽出し、抽出した差異領域の重心の移動量及び移動方向を求めることにより、パターンマッチングを用いることなく、差分画像に示された物体の移動量及び移動方向を検出する方法が知られている（例えば、特許文献３参照。）。
【０００８】
なお、差異領域の重心の算出は、具体的には、画素の位置を表す二次元座標のＸ座標軸及びＹ座標軸のそれぞれについて、差異領域に含まれる画素数の分布を求め、この分布から差異領域に含まれる画素の総画素数を二分するＸ座標及びＹ座標、即ち、差異領域の面積中心を、差異領域の重心として求めている。
【特許文献１】特開平６−６０１８７号公報
【特許文献２】特開２００３−９９７８２号公報
【特許文献３】特許第１８９５０７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１，２に記載の方法では、基本的にパターンマッチングを用いているため、階層的な方法を用いたとしても、演算量の大幅な削減を期待することができないという問題があった。しかも、探索範囲を大きくすると、指数関数的に演算量が増大するため、演算能力によって探索範囲が制限され、その結果、動き幅の大きな物体、即ち動きの速い物体を検出することができないという問題があった。
【００１０】
また、特許文献３に記載の方法では、画像全体から単一の面積中心を求めているため、検出対象が複数存在する場合には、検出対象毎の動きを検出することができないという問題があった。
【００１１】
本発明は、上記問題点を解決するために、演算量を削減でき、しかも複数の検出対象が存在しても個々の動きを検出可能な動き検出方法及び装置、並びにこれを利用した車両用監視システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するためになされた第一発明の動き検出方法では、まず、フレーム単位で連続的に入力される入力画像と予め設定された背景画像との間の差分画像である背景差分画像を二値化することにより、前記背景画像に対して変化のある対象領域と変化のない背景領域とからなる二値化画像を前記フレーム毎に生成する。
【００１３】
そして、この二値化画像をフレーム間で比較することにより、対象領域のまま変化のない重なり領域、背景領域から対象領域に変化した増加領域、対象領域から背景領域に変化した減少領域を抽出する。
【００１４】
更に、重なり領域とこの重なり領域に隣接する増加領域，減少領域とを統合してなる統合領域、及び増加領域，減少領域のそれぞれについて、その領域に属する画素数と、画素位置を表すための二次元座標におけるＸ座標及びＹ座標の座標値を、その領域に属する全ての画素について各座標毎にそれぞれ加算してなるＸ座標和，Ｙ座標和とからなる領域パラメータを求める。
【００１５】
そして、この領域パラメータに基づいて、統合領域毎にその統合領域に示された移動物体の動きを検出する。
即ち、図７に示すように、統合領域内における、増加領域及び減少領域の位置や大きさ（面積）から、統合領域に示された移動物体の移動方向や移動量を求めることができる。
【００１６】
具体的には、ある領域のＸ座標和を、その領域に属する画素数で割ることで、その領域の重心のＸ座標が求められ、同様にある領域のＹ座標和を、その領域に属する画素数で割ることで、その領域の重心のＹ座標が求められる。また、統合領域から増加領域を除いた領域が、移動前の対象領域であり、統合領域から減少領域を除いた領域が、移動後の対象領域に相当する。
【００１７】
つまり、統合領域，増加領域，減少領域の領域パラメータに基づいて、統合領域に示された移動前の移動物体（前フレーム対象領域）の重心位置と移動後の移動物体（現フレーム対象領域）の重心位置とを求めることができ、その重心位置の変化から、移動物体の動き（移動量や移動方向）を検出することができるのである。
【００１８】
このように、本発明の動き検出方法によれば、統合領域毎に、その統合領域に示された移動物体の動きが検出されるため、入力画像に検出対象が複数存在していても、各検出対象の動きを個々に検出することができる。しかも、本発明によれば、パターンマッチングを行うことなく、統合領域，増加領域，減少領域が検出されるため、動き検出のための演算量を大幅に削減することができる。
【００１９】
即ち、本発明では、統合領域，増加領域，減少領域を抽出する際に、二値化画像（背景差分画像）の生成のための差分演算と、領域抽出のための二値化画像の比較演算とを行えばよい。このため、例えば、入力画像が６４０×４８０画素であるとすると、その演算量は、１フレーム当たり約０．６Ｍ（＝６４０×４８０×２）回となり、上述した従来装置（１フレーム当たり約１．３Ｇ回）と比較して約１／２０００程度となる。
【００２０】
次に第二発明の動き検出装置では、二値画像生成手段が、フレーム単位で連続的に入力される入力画像と予め設定された背景画像との間の差分画像である背景差分画像を二値化することにより、前記背景画像に対して変化のある対象領域と変化のない背景領域とからなる二値化画像を前記フレーム毎に生成する。
【００２１】
すると、領域抽出手段が、二値化画像生成手段にて生成された二値化画像をフレーム間で比較することにより、対象領域のまま変化のない重なり領域、背景領域から対象領域に変化した増加領域、対象領域から背景領域に変化した減少領域を抽出する。
【００２２】
更に、領域パラメータ算出手段が、重なり領域とこの重なり領域に隣接する増加領域，減少領域とを統合してなる統合領域、及び増加領域，減少領域のそれぞれについて、その領域に属する画素数と、画素位置を表すための二次元座標におけるＸ座標及びＹ座標の座標値を、その領域に属する全ての画素について各座標毎にそれぞれ加算してなるＸ座標和，Ｙ座標和とからなる領域パラメータを求める。
【００２３】
そして、動き検出手段が、領域パラメータ算出手段が求めた領域パラメータに基づいて、統合領域毎にその統合領域に示された移動物体の動きを検出する。
つまり、本発明の動き検出装置は、第一発明の動き検出方法を実現する装置であり、従って、第一発明の場合と同様の効果を得ることができる。
【００２４】
なお、動き検出手段は、具体的には、領域パラメータに基づいて、統合領域毎に、その統合領域に示された移動物体の移動前及び移動後の重心位置を求めることで、その移動物体の動きを検出するように構成すればよい。
【００２５】
また、第二発明の動き検出装置を構成する各手段は、電子回路（ハードウェア）により構成してもよいが、コンピュータをこれら各手段として機能させるプログラムとして構成してもよい。この場合、全ての手段をプログラムとして構成してもよいし、一部の手段のみをプログラムとして構成してもよい。
【００２６】
次に第三発明の車両用監視システムでは、上述した動き検出装置を備え、車室内に設置された撮像手段が、車室内及び窓を通して車両周辺を撮像した画像を入力画像として検出装置に供給し、判定手段が、動き検出装置での検出結果に基づいて、侵入者や不審者の存在を判定し、更に、報知手段が、判定手段での判定結果の報知を行う。
【００２７】
このように、本発明の車両用監視システムによれば、第二発明の動き検出装置での検出結果を利用しているため、少ない演算量にて（即ち、安価な演算処理装置を用いて）、侵入者や不審者を含む移動物体の存在を検出することができ、その検出結果に基づいて、侵入者や不審者の存在を判定することができる。
【００２８】
また、動き検出装置では、移動物体毎に動きが検出されるため、判定手段では、移動物体毎に移動状態を追跡することにより、車両の近傍に立ち止まったり、車両周辺を周回したりする不審者を簡単に判定することができる。
【００２９】
なお、撮像手段は、例えば、車室内の天井部分に設置することが望ましい。この場合、車室内の全体及び窓を介して見通すことのできる車両の周辺を、死角を生じさせることなく全て撮像することができる。
【００３０】
また、撮像手段としては、魚眼カメラ又は全方位カメラを用いることが望ましい。この場合、１台のカメラにて広範囲の領域をカバーすることができ、撮像手段の構成を簡略化することができる。
【００３１】
また、撮像手段として、赤外線カメラを用たり、撮像された被測定物までの距離に応じた画素値を有する距離画像を入力画像として供給するものを用いたりしてもよい。これらの場合、低輝度の物体であっても確実に画像として捉えることができる。
【発明を実施するための最良の形態】
【００３２】
以下に本発明の実施形態を図面と共に説明する。
図１は、本発明が適用された車両用監視システムの構成を示すブロック図である。
図１に示すように車両用監視システム１は、魚眼カメラからなる撮像装置３と、撮像装置３から供給される画像信号に基づいて、移動物体の動きを検出する動き検出装置５と、動き検出装置５での検出結果に従って、侵入者や不審者の存在を判定する判定装置７と、判定装置７での判定結果を予め設定された通報先に送信する通信装置９とを備えている。
【００３３】
このうち、撮像装置３は、図２（ａ）に示すように、車室内の天井中央に設置され、図２（ｂ）に示すように、車室内及び窓を通して車両周辺を一台で撮像できるように設定されている。なお、以下では、撮像された画像において、車長方向をＸ軸方向、車幅方向をＹ軸方向、これら両方向に対する直交方向をＺ軸方向とする。
【００３４】
また、動き検出装置５は、撮像装置３からの画像信号をアナログ−デジタル変換するＡ／Ｄ変換器１１と、Ａ／Ｄ変換器１１の出力を１フレーム（１画面）分記憶するフレームメモリ１３と、周知のマイクロコンピュータからなり、フレームメモリ１３の記憶内容に基づいて、撮像された移動物体の動きを検出する動き検出処理等を実行する演算装置１５と、演算装置１５が実行する動き検出処理のプログラムや、動き検出処理で使用する背景画像や、処理の実行過程で生成される各種画像を記憶する記録装置１７とを備えている。
【００３５】
なお、記録装置１７に記憶される背景画像は、撮像範囲内に移動物体が存在しない状態で撮像された画像であり、車両の出荷時に撮像装置３によって撮像された画像を固定的に用いるようにしてもよいし、車両が施錠される毎に、予め設定されたタイミングで撮像装置３によって撮像された画像を用いるようにしてもよい。
【００３６】
ここで演算装置１５が実行する動き検出処理を、図３〜６に示すフローチャートに沿って説明する。なお、本処理は、撮像装置３が撮像に要する時間以上に設定された一定時間毎に繰り返し実行される。
【００３７】
本処理が起動すると、まず、撮像装置３からフレームメモリ１３に１フレーム分の画像データ（以下「入力画像」と称する。）を取り込み（Ｓ１１０）、このフレームメモリ１３に取り込んだ入力画像と記録装置１７に記憶された背景画像との差分画像である背景差分画像を二値化してなる二値化画像を生成する背景差分／二値化処理を実行する（Ｓ１２０）。なお、入力画像は、Ｘ軸方向にｍ（本実施形態ではｍ＝６４０）画素、Ｙ軸方向にｎ（本実施形態ではｎ＝４８０）画素を有するものとする。
【００３８】
この背景差分／二値化処理では、図４に示すように、まず、画像を構成する各画素のＹ座標を指定するためのパラメータｊを０に初期化する（Ｓ２１０）と共に、画像を構成する各画素のＸ座標を指定するためのパラメータｉを０に初期化する（Ｓ２２０）。
【００３９】
そして、背景画像においてパラメータｉ，ｊで指定される画素の画素値Ｂijと、入力画像においてパラメータｉ，ｊで指定される画素の画素値Ｃijとの差分（即ち、背景差分画像における画素の画素値）の絶対値が、予め設定されたしきい値Ｔhrより大きい（｜Ｂij−Ｃij｜＞Ｔhr）か否かを判断する（Ｓ２３０）。なお、しきい値Ｔhrは、固定値を用いてもよいし、画素値の差分（即ち背景差分画像の画素値）の絶対値｜Ｂij−Ｃij｜を履歴データとして保存し、この履歴データの平均値に基づいて設定（例えば、平均値の１／２等）してもよい。
【００４０】
そして、二値化画像においてパラメータｉ，ｊで指定される画素の画素値をＤＣijとして、Ｓ２３０にて背景差分画像の画素値の絶対値｜Ｂij−Ｃij｜がしきい値Ｔhrより大きいと判定された場合には、二値化画像の画素値ＤＣijを１に設定し（Ｓ２４０）、一方、背景差分画像の画素値の絶対値｜Ｂij−Ｃij｜がしきい値Ｔhr以下であると判定された場合には、二値化画像の画素値ＤＣijを０に設定する（Ｓ２５０）。
【００４１】
このようにして二値化画像の画素値ＤＣijが設定されると、パラメータｉをインクリメント（ｉ←ｉ＋１）して（Ｓ２６０）、パラメータｉが画像のＸ軸方向の画素数ｍと等しいか否かを判断する（Ｓ２７０）。この時、パラメータｉが画素数ｍに等しくなければ、Ｓ２３０に戻って、Ｓ２３０〜Ｓ２６０の処理を繰り返し、一方、パラメータｉが画素数ｍに等しければ、パラメータｊをインクリメント（ｊ←ｊ＋１）して（Ｓ２８０）、パラメータｊが画像のＹ軸方向の画素数ｎと等しいか否かを判断する（Ｓ２９０）。この時、パラメータｊが画素数ｎに等しくなければ、Ｓ２２０に戻って、Ｓ２２０〜Ｓ２８０の処理を繰り返し、一方、パラメータｊが画素数ｎに等しければ、全ての画素について二値化処理を終了したものとして、本処理を終了する。
【００４２】
つまり、背景差分／二値化処理により、入力画像と背景画像とを比較して、背景画像から変化のあった部分（以下「対象領域」と称する。）の画素値ＤＣijが１、変化の無かった部分（以下「背景領域」と称する。）の画素値ＤＣijが０で表された２値化画像が生成されることになる。
【００４３】
図３に戻り、このようにして２値化画像が生成されると、次に、Ｓ１２０にて生成された現フレームの２値化画像と、記録装置１７に記憶されている前フレームの２値化画像とを比較して、フレーム間比較画像（画素値Ｒij）を生成するフレーム比較処理を実行する（Ｓ１３０）。
【００４４】
このフレーム比較処理では、図５に示すように、まず、画像を構成する各画素のＹ座標を指定するためのパラメータｊを０に初期化する（Ｓ３１０）と共に、画像を構成する各画素のＸ座標を指定するためのパラメータｉを０に初期化する（Ｓ３２０）。
【００４５】
続けて、現フレームの２値化画像の画素値（以下「現画素値」と称する。）をＤＣij、前フレームの２値化画像の画素値（以下「前画素値」と称する。）をＤＰijとして、パラメータｉ，ｊで指定される現画素値ＤＣijが１に設定されているか否か（Ｓ３３０）、及び、パラメータｉ，ｊで指定される前画素値ＤＰijが１に設定されているか否か（Ｓ３４０，Ｓ３７０）を判断する。
【００４６】
そして、現画素値ＤＣij＝１（Ｓ３３０：ＹＥＳ）且つ前画素値ＤＰij＝１（Ｓ３４０：ＹＥＳ）である場合、即ち、対象領域のまま変化がない場合には、フレーム間比較画像の画素値Ｒijを、重なり領域であることを示す０に設定し（Ｓ３５０）、現画素値ＤＣij＝１（Ｓ３３０：ＹＥＳ）且つ前画素値ＤＰij＝０（Ｓ３４０：ＮＯ）である場合、即ち、背景領域から対象領域に変化した場合には、フレーム間比較画像の画素値Ｒijを、増加領域であることを示す１に設定する（Ｓ３６０）。
【００４７】
また、現画素値ＤＣij＝０（Ｓ３３０：ＮＯ）且つ前画素値ＤＰij＝１（Ｓ３７０：ＹＥＳ）である場合、即ち、対象領域から背景領域に変化した場合には、フレーム間比較画像の画素値Ｒijを、減少領域であることを示す−１に設定し（Ｓ３８０）、現画素値ＤＣij＝０（Ｓ３３０：ＮＯ）且つ前画素値ＤＰij＝０（Ｓ３７０：ＮＯ）である場合、即ち、背景領域のまま変化がない場合には、フレーム間比較画像の画素値Ｒijを、その他領域であることを表す９９に設定する（Ｓ３９０）。
【００４８】
このようにしてフレーム間比較画像の画素値Ｒijが設定されると、パラメータｉをインクリメント（ｉ←ｉ＋１）して（Ｓ４００）、パラメータｉが画像のＸ軸方向の画素数ｍと等しいか否かを判断する（Ｓ４１０）。この時、パラメータｉが画素数ｍに等しくなければ、Ｓ３３０に戻って、Ｓ３３０〜Ｓ４００の処理を繰り返し、一方、パラメータｉが画素数ｍに等しければ、パラメータｊをインクリメント（ｊ←ｊ＋１）して（Ｓ４２０）、パラメータｊが画像のＹ軸方向の画素数ｎと等しいか否かを判断する（Ｓ４３０）。この時、パラメータｊが画素数ｎに等しくなければ、Ｓ３２０に戻って、Ｓ３２０〜Ｓ４２０の処理を繰り返し、一方、パラメータｊが画素数ｎに等しければ、全ての画素につい比較処理を終了したものとして、本処理を終了する。
【００４９】
つまり、フレーム比較処理により、［表１］に示すように、前フレームと比較して、背景領域から対象領域（ＤＣij＝１，ＤＰij＝０）に変化した増加領域（Ｒij＝１）、対象領域から背景領域（ＤＣij＝０，ＤＰij＝１）に変化した減少領域（Ｒij＝−１）、対象領域のまま（ＤＣij＝１，ＤＰij＝１）変化のない重なり領域（Ｒij＝０）、背景領域のまま（ＤＣij＝０，ＤＰij＝０）変化のないその他領域（Ｒij＝９９）からなる４種類の領域に区分けされたフレーム間比較画像が生成されることになる。
【００５０】
【表１】
図３に戻り、このようにしてフレーム間比較画像が生成されると、次に、このフレーム間比較画像に基づいて、同一の移動物体（対象領域）に基づく増加領域，減少領域，重なり領域をグループ化した統合領域を抽出すると共に、統合領域，増加領域，減少領域のそれぞれについて、その領域に属する画素の総数を表す領域面積、その領域に属する全ての画素のＸ座標を積算してなるＸ座標和、その領域に属する全ての画素のＹ座標を積算してなるＹ座標和からなる領域パラメータを求める領域分割処理を実行する（Ｓ１４０）。
【００５１】
この領域分割処理では、図６に示すように、まず、画像を構成する各画素のＹ座標を指定するためのパラメータｊを０に初期化する（Ｓ５１０）と共に、画像を構成する各画素のＸ座標を指定するためのパラメータｉを０に初期化する（Ｓ５２０）。
【００５２】
続けて、フレーム間比較画像においてパラメータｉ，ｊで指定される画素（以下「指定画素」と称する。）の画素値Ｒijが、その他領域であることを表す９９に設定されている否かを判断し（Ｓ５３０）、指定画素の画素値Ｒijが９９に設定されていれば、後述するＳ５４０〜Ｓ６１０の処理を行うことなく、Ｓ６２０に進む。
【００５３】
一方、指定画素の画素値Ｒijが９９以外の値に設定されていれば、その指定画素には隣接する統合領域が存在するか否かを判断し（Ｓ５４０）、隣接する統合領域が存在すれば、その統合領域に関する領域パラメータを読み込み（Ｓ５５０）、一方、隣接する統合領域が存在しなければ、新たな統合領域であるものとして、その統合領域に関する領域パラメータを生成，初期化する（Ｓ５６０）。
【００５４】
そして、Ｓ５５０又はＳ５６０にて用意された領域パラメータのうち、統合領域に関する領域パラメータ（領域面積Ｓ、Ｘ座標和Ｘsum 、Ｙ座標和Ｙsum ）の更新を行う（Ｓ５７０）。具体的には、領域面積Ｓをインクリメント（Ｓ←Ｓ＋１）し、Ｘ座標和Ｘsum に指定画素のＸ座標を表すパラメータｉを加算（Ｘsum ←Ｘsum ＋ｉ）し、Ｙ座標和Ｙsum に指定画素のＹ座標を表すパラメータｊを加算（Ｙsum ←Ｙsum ＋ｊ）する。
【００５５】
続けて、指定画素の画素値Ｒijが増加領域であることを表す１に設定されているか否か（Ｓ５８０）、及び指定画素の画素値Ｒijが減少領域であることを表す−１に設定されているか否か（Ｓ６００）を判断する。
【００５６】
そして、指定画素の画素値Ｒijが１に設定されていれば（Ｓ５８０：ＹＥＳ）、Ｓ５５０又はＳ５６０にて用意された領域パラメータのうち、増加領域に関する領域パラメータ（領域面積Ｓ_Inc、Ｘ座標和Ｘsum_Inc 、Ｙ座標和Ｙsum_Inc ）の更新を行って（Ｓ５９０）、Ｓ６２０に進む。具体的には、領域面積Ｓ_Incをインクリメント（Ｓ_Inc←Ｓ_Inc＋１）し、Ｘ座標和Ｘsum_Inc に指定画素のＸ座標を表すパラメータｉを加算（Ｘsum_Inc ←Ｘsum_Inc ＋ｉ）し、Ｙ座標和Ｙsum_Inc に指定画素のＹ座標を表すパラメータｊを加算（Ｙsum_Inc ←Ｙsum_Inc ＋ｊ）する。
【００５７】
また、指定画素の画素値Ｒijが−１に設定されていれば（Ｓ５８０：ＮＯ，Ｓ６００：ＹＥＳ）、Ｓ５５０又はＳ５６０にて用意された領域パラメータのうち、減少領域に関する領域パラメータ（領域面積Ｓ_Dec、Ｘ座標和Ｘsum_Dec 、Ｙ座標和Ｙsum_Dec ）の更新を行って（Ｓ５９０）、Ｓ６２０に進む。具体的には、領域面積Ｓ_Decをインクリメント（Ｓ_Dec←Ｓ_Dec＋１）し、Ｘ座標和Ｘsum_Dec に指定画素のＸ座標を表すパラメータｉを加算（Ｘsum_Dec ←Ｘsum_Dec ＋ｉ）し、Ｙ座標和Ｙsum_Dec に指定画素のＹ座標を表すパラメータｊを加算（Ｙsum_Dec ←Ｙsum_Dec ＋ｊ）する。
【００５８】
一方、指定画素の画素値Ｒijが１や−１以外の値に設定されていれば（Ｓ５８０：ＮＯ，Ｓ６００：ＮＯ）、増加領域及び減少領域に関する領域パラメータの更新を行うことなくＳ６２０に進む。
【００５９】
このようにして領域パラメータの更新が行われると、パラメータｉをインクリメント（ｉ←ｉ＋１）して（Ｓ６２０）、パラメータｉが画像のＸ軸方向の画素数ｍと等しいか否かを判断する（Ｓ６３０）。この時、パラメータｉが画素数ｍに等しくなければ、Ｓ５３０に戻って、Ｓ５３０〜Ｓ６２０の処理を繰り返し、一方、パラメータｉが画素数ｍに等しければ、パラメータｊをインクリメント（ｊ←ｊ＋１）して（Ｓ６４０）、パラメータｊが画像のＹ軸方向の画素数ｎと等しいか否かを判断する（Ｓ６５０）。この時、パラメータｊが画素数ｎに等しくなければ、Ｓ５２０に戻って、Ｓ５２０〜Ｓ６４０の処理を繰り返し、一方、パラメータｊが画素数ｎに等しければ、全ての画素につい処理を終了したものとして、本処理を終了する。
【００６０】
つまり、領域分割処理では、互いに隣接する増加領域，減少領域，重なり領域が一つの統合領域として抽出されると共に、［表２］に示すように、抽出された統合領域、及び増加領域，減少領域のそれぞれについて、領域パラメータが求められることになる。
【００６１】
【表２】
図３に戻り、このようにして統合領域の抽出及び領域パラメータの算出が行われると、次に、この算出した領域パラメータに基づいて、統合領域に示された物体の動きを算出する動き算出処理を実行して（Ｓ１５０）、本処理を終了する。
【００６２】
この動き算出処理では、Ｓ１４０にて抽出された統合領域毎、即ち入力画像に示された背景とは異なる物体毎に、以下に示す（１）〜（３）式を用いて、移動方向及び移動量を示す動きベクトルＶ＝（Ｖｘ，Ｖｙ，Ｖｚ）を算出すると共に、（４），（５）式を用いて統合領域の重心位置Ｇ＝（Ｇｘ，Ｇｙ）を算出する。
【００６３】
【数１】
但し、統合領域に、増加領域又は減少領域が複数存在する場合（図７（ｃ）（ｄ）参照）には、同種の領域毎に領域パラメータを加算したものが、その領域（増加領域又は減少領域）の領域パラメータとなる。
【００６４】
なお、ここでは統合領域の重心位置を求めているが、代わりに、現フレームにおける対象領域の重心位置を求めるように構成してもよい。この場合、（１）式の右辺の第１項を用いてＧｘ、（２）式の右辺第１項を用いてＧｙを求めればよい。
【００６５】
次に、判定装置７では、動き検出装置５での検出結果に従って、検出された物体（統合領域）毎に、その物体に関する動きベクトルＶ及び重心位置Ｇを用いて、物体の動きを追跡し、その追跡した動きの特徴や位置から不審者や侵入者の判定を行う。
【００６６】
具体的には、車両の近くに一定時間以上停止した物体が存在する場合、又は車両を周回する動作をした物体が存在する場合に、これらの物体を不審者として判断する。また、物体が車両内に存在する場合に、その物体を侵入者として判断する。
【００６７】
そして、通信装置９は、判定装置７での判定結果が不審者又は侵入者ありである場合に、その旨を、予め登録されている通報先（例えば、ユーザの携帯電話など）に通報する。
以上説明したように、本実施形態の車両用監視システム１においては、撮像装置３からの入力画像と予め設定された背景画像とに基づいて、背景画像に対して変化のある対象領域と変化のない背景領域とからなる二値化画像をフレーム毎に生成し（Ｓ１２０）、この二値化画像をフレーム間で比較することにより、対象領域のまま変化のない重なり領域、背景領域から対象領域に変化した増加領域、対象領域から背景領域に変化した減少領域を抽出している（Ｓ１３０）。
【００６８】
そして、互いに隣接する増加領域，減少領域，重なり領域を一つの統合領域として抽出すると共に、抽出した統合領域、及び増加領域，減少領域のそれぞれについて領域パラメータ（領域面積，Ｘ座標和，Ｙ座標和）を求め（Ｓ１４０）、この領域パラメータに基づいて、統合領域毎にその統合領域に示された物体（対象領域）の動きを求める（Ｓ１５０）ようにされている。
【００６９】
従って、本実施形態の車両用監視システム１によれば、統合領域毎に、その統合領域に示された物体の動きが検出されるため、入力画像に検出対象が複数存在していても、各検出対象の動きを個々に検出することができる。
【００７０】
しかも、本実施形態では、二値化画像やフレーム間比較画像の生成を、パターンマッチングを行うことなく、各画素毎の減算と比較演算のみで実現しており、また、統合領域，増加領域，減少領域を抽出を、各画素毎に隣接する統合領域が存在するか否かを判断することにより行っている。更に、領域パラメータの算出を、乗除算を用いることなく、インクリメント処理のみで実現している。このため、本実施形態の車両用監視システム１によれば、従来装置と比較して、動き検出のための演算量を大幅に削減することができ、ひいては、少ない演算量にて動き検出や不審者や侵入者の存在を判定できるため、安価な演算処理装置を用いて当該システム１を構成することができる。
【００７１】
また、本実施形態の車両用監視システム１では、撮像装置３として魚眼カメラを用いると共に、これを車室内の天井中央に配置し、車室内及び窓を通して見える車両周辺の全てを単一のカメラにて撮像している。つまり、入力画像を得るための構成が極めて簡易であるため、スペースの限られた車両内に設置される車載機器として好適に用いることができる。
【００７２】
なお、本実施形態において、撮像装置３が撮像手段、判定装置７が判定手段、通信装置９が報知手段、背景差分／二値化処理Ｓ１２０が二値化画像生成手段、フレーム比較処理Ｓ１３０が領域抽出手段、領域分割処理Ｓ１４０が領域パラメータ算出手段、動き算出処理Ｓ１５０が動き検出手段に相当する。
【００７３】
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲において、様々な態様にて実施可能である。
例えば、上記実施形態では、撮像装置３として魚眼カメラを用いているが、代わりに全方位カメラを用いてもよい。また、撮像装置３として、赤外線カメラを用いたり、撮像された被測定物までの距離に応じた画素値を有する距離画像を入力画像として供給するものを用いてもよい。これらの場合、低輝度の物体であっても確実に画像として捉えることができる。
【図面の簡単な説明】
【００７４】
【図１】実施形態の車両用監視システムの構成を示すブロック図である。
【図２】撮像装置の配置、及び撮像装置にて撮像された画像の例を示す説明図である。
【図３】動き検出処理の内容を示すフローチャートである。
【図４】背景差分／二値化処理の内容を示すフローチャートである。
【図５】フレーム比較処理の内容を示すフローチャートである。
【図６】領域分割処理の内容を示すフローチャートである。
【図７】統合領域に含まれる増加領域及び減少領域から、物体の移動方向及び移動量が求められることを概念的に示した説明図である。
【符号の説明】
【００７５】
１…車両用監視システム、３…撮像装置、５…動き検出装置、７…判定装置、９…通信装置、１１…Ａ／Ｄ変換器、１３…フレームメモリ、１５…演算装置、１７…記録装置。
【特許請求の範囲】
【請求項１】
フレーム単位で連続的に入力される入力画像と予め設定された背景画像との間の差分画像である背景差分画像を二値化することにより、前記背景画像に対して変化のある対象領域と変化のない背景領域とからなる二値化画像を前記フレーム毎に生成し、
該二値化画像をフレーム間で比較することにより、前記対象領域のまま変化のない重なり領域、前記背景領域から前記対象領域に変化した増加領域、前記対象領域から背景領域に変化した減少領域を抽出し、
前記重なり領域と該重なり領域に隣接する増加領域，減少領域とを統合してなる統合領域、及び前記増加領域，前記減少領域のそれぞれについて、該領域に属する画素数と、画素位置を表すための二次元座標におけるＸ座標及びＹ座標の座標値を、該領域に属する全ての画素について各座標毎にそれぞれ加算してなるＸ座標和，Ｙ座標和とからなる領域パラメータを求め、
該領域パラメータに基づいて、前記統合領域毎に該統合領域に示された移動物体の動きを検出することを特徴とする動き検出方法。
【請求項２】
フレーム単位で連続的に入力される入力画像と予め設定された背景画像との間の差分画像である背景差分画像を二値化することにより、前記背景画像に対して変化のある対象領域と変化のない背景領域とからなる二値化画像を前記フレーム毎に生成する二値化画像生成手段と、
該二値化画像生成手段にて生成された二値化画像をフレーム間で比較することにより、前記対象領域のまま変化のない重なり領域、前記背景領域から前記対象領域に変化した増加領域、前記対象領域から背景領域に変化した減少領域を抽出する領域抽出手段と、
前記重なり領域と該重なり領域に隣接する増加領域，減少領域とを統合してなる統合領域、及び前記増加領域，前記減少領域のそれぞれについて、該領域に属する画素数と、画素位置を表すための二次元座標におけるＸ座標及びＹ座標の座標値を、該領域に属する全ての画素について各座標毎にそれぞれ加算してなるＸ座標和，Ｙ座標和とからなる領域パラメータを求める領域パラメータ算出手段と、
該領域パラメータ算出手段が求めた領域パラメータに基づいて、前記統合領域毎に該統合領域に示された移動物体の動きを検出する動き検出手段と、
を備えることを特徴とする動き検出装置。
【請求項３】
前記動き検出手段は、前記領域パラメータに基づいて、前記移動物体の移動前及び移動後の重心位置を求めることで、該移動物体の動きを検出することを特徴とする請求項２に記載の動き検出装置。
【請求項４】
コンピュータを、請求項２又は３に記載の動き検出装置を構成する各手段として機能させるためのプログラム。
【請求項５】
請求項２又は３に記載の動き検出装置と、
車室内に設置され、車室内及び窓を通して車両周辺を撮像した画像を前記入力画像として前記動き検出装置に供給する撮像手段と、
前記動き検出装置での検出結果に基づいて、侵入者や不審者の存在を判定する判定手段と、
該判定手段での判定結果の報知を行う報知手段と、
を備えることを特徴とする車両用監視システム。
【請求項６】
前記撮像手段は、車室内の天井部分に設置されていることをと特徴とする請求項５に記載の車両用監視システム。
【請求項７】
前記撮像手段は、魚眼カメラ又は全方位カメラからなることを特徴とする請求項５又は６に記載の車両用監視システム。
【請求項８】
前記撮像手段は、赤外線カメラからなることを特徴とする請求項５〜７のいずれかに記載の車両用監視システム。
【請求項９】
前記撮像手段は、撮像された被測定物までの距離に応じた画素値を有する距離画像を前記入力画像として供給することを特徴とする請求項５〜７のいずれかに記載の車両用監視システム。
【請求項１】
フレーム単位で連続的に入力される入力画像と予め設定された背景画像との間の差分画像である背景差分画像を二値化することにより、前記背景画像に対して変化のある対象領域と変化のない背景領域とからなる二値化画像を前記フレーム毎に生成し、
該二値化画像をフレーム間で比較することにより、前記対象領域のまま変化のない重なり領域、前記背景領域から前記対象領域に変化した増加領域、前記対象領域から背景領域に変化した減少領域を抽出し、
前記重なり領域と該重なり領域に隣接する増加領域，減少領域とを統合してなる統合領域、及び前記増加領域，前記減少領域のそれぞれについて、該領域に属する画素数と、画素位置を表すための二次元座標におけるＸ座標及びＹ座標の座標値を、該領域に属する全ての画素について各座標毎にそれぞれ加算してなるＸ座標和，Ｙ座標和とからなる領域パラメータを求め、
該領域パラメータに基づいて、前記統合領域毎に該統合領域に示された移動物体の動きを検出することを特徴とする動き検出方法。
【請求項２】
フレーム単位で連続的に入力される入力画像と予め設定された背景画像との間の差分画像である背景差分画像を二値化することにより、前記背景画像に対して変化のある対象領域と変化のない背景領域とからなる二値化画像を前記フレーム毎に生成する二値化画像生成手段と、
該二値化画像生成手段にて生成された二値化画像をフレーム間で比較することにより、前記対象領域のまま変化のない重なり領域、前記背景領域から前記対象領域に変化した増加領域、前記対象領域から背景領域に変化した減少領域を抽出する領域抽出手段と、
前記重なり領域と該重なり領域に隣接する増加領域，減少領域とを統合してなる統合領域、及び前記増加領域，前記減少領域のそれぞれについて、該領域に属する画素数と、画素位置を表すための二次元座標におけるＸ座標及びＹ座標の座標値を、該領域に属する全ての画素について各座標毎にそれぞれ加算してなるＸ座標和，Ｙ座標和とからなる領域パラメータを求める領域パラメータ算出手段と、
該領域パラメータ算出手段が求めた領域パラメータに基づいて、前記統合領域毎に該統合領域に示された移動物体の動きを検出する動き検出手段と、
を備えることを特徴とする動き検出装置。
【請求項３】
前記動き検出手段は、前記領域パラメータに基づいて、前記移動物体の移動前及び移動後の重心位置を求めることで、該移動物体の動きを検出することを特徴とする請求項２に記載の動き検出装置。
【請求項４】
コンピュータを、請求項２又は３に記載の動き検出装置を構成する各手段として機能させるためのプログラム。
【請求項５】
請求項２又は３に記載の動き検出装置と、
車室内に設置され、車室内及び窓を通して車両周辺を撮像した画像を前記入力画像として前記動き検出装置に供給する撮像手段と、
前記動き検出装置での検出結果に基づいて、侵入者や不審者の存在を判定する判定手段と、
該判定手段での判定結果の報知を行う報知手段と、
を備えることを特徴とする車両用監視システム。
【請求項６】
前記撮像手段は、車室内の天井部分に設置されていることをと特徴とする請求項５に記載の車両用監視システム。
【請求項７】
前記撮像手段は、魚眼カメラ又は全方位カメラからなることを特徴とする請求項５又は６に記載の車両用監視システム。
【請求項８】
前記撮像手段は、赤外線カメラからなることを特徴とする請求項５〜７のいずれかに記載の車両用監視システム。
【請求項９】
前記撮像手段は、撮像された被測定物までの距離に応じた画素値を有する距離画像を前記入力画像として供給することを特徴とする請求項５〜７のいずれかに記載の車両用監視システム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【公開番号】特開２００６−５９２５２（Ｐ２００６−５９２５２Ａ）
【公開日】平成１８年３月２日（２００６．３．２）
【国際特許分類】
【出願番号】特願２００４−２４２３８５（Ｐ２００４−２４２３８５）
【出願日】平成１６年８月２３日（２００４．８．２３）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成１８年３月２日（２００６．３．２）
【国際特許分類】
【出願日】平成１６年８月２３日（２００４．８．２３）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]