【課題】日照変化に起因した誤検出を排除して正確な検出を行う。
【解決手段】動画を構成する第ｉ番目の原画像Ｐ（ｉ）を、格納部１２０に格納する。平均画像作成部１３０は、格納部１４０内の第（ｉ−１）番目の平均画像Ａ（ｉ−１）と原画像Ｐ（ｉ）との重みつき平均を求め、平均画像Ａ（ｉ）として格納部１４０に格納し、参照画像作成部１３５は、格納部１４５内の参照画像Ｕ（ｉ−１）をＵ（ｉ）に更新する。画像比較部は、画像Ｐ（ｉ）と画像Ａ（ｉ−１）との比較および画像Ｐ（ｉ）と画像Ｕ（ｉ−１）との比較を画素ごとに行い、いずれも非類似とされた画素を前景画素（Ｊ＝０）、他の画素を背景画素（Ｊ＝１）と判定し、マスク画像Ｍを作成する。参照画像作成部１３５は、前景部分は更新せず、背景部分は平均画像Ａ（ｉ−１）との重みつき平均により更新して、参照画像Ｕ（ｉ）を作成する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画画像に基づいて、画像内の移動物体を検出する移動物体検出装置に関する。
【背景技術】
【０００２】
ビデオカメラを用いた監視システムなどでは、監視領域内に存在する移動物体を自動的に検出する技術が重要になってきている。移動物体の自動検出が可能になれば、当該物体が車両であるのか、人間であるのか、といった識別を行う処理に利用することができる。更に、車両の場合であれば、ナンバーを読み取って車両を特定することができ、人間の場合であれば、個人を特定する処理にも応用することができる。また、検出した不審者を自動的にズームアップして追尾することも可能になる。
【０００３】
移動物体を検出する基本原理は、時系列で連続的に与えられるフレーム単位の入力画像を予め用意した背景画像と比較し、両者の差分を求めることにより、時間的に変化している領域を認識することにある。ただ、屋外の監視システムなどに利用する場合、時刻や天候などによる照明変動が生じるため、必ずしも正確な物体検出を行うことができない。そこで、たとえば、下記の特許文献１には、フレーム単位の入力画像を小領域に分割し、各小領域単位で画素値の統計処理を施して照明変動を推定する手法が開示されている。また、下記の特許文献２には、フレーム単位の入力画像をブロックに分割し、個々のブロックごとに画素値の平均値を求め、背景画像の画素値平均と比較することにより、当該ブロックが移動物体を含むか否かを判定する手法が開示されている。
【０００４】
一方、下記の非特許文献１には、入力画像と背景画像とを画素単位で比較して、当該画素が移動物体を構成する画素であるか否かを判定する手法が開示されている。具体的には、比較対象となる両画素の画素値が類似している場合、当該画素は背景を構成する画素であるとし、類似していない場合、当該画素は移動物体を構成する画素であるとする判定が行われる。このとき、画素の類否判定は、三次元の色空間上で、双方の画素値に対応する座標点をプロットし、一方の座標点が他方の座標点の近傍領域に入っているか否かを調べることにより行われる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−３０２３２８号公報
【特許文献２】特開２００９−０４８２４０号公報
【非特許文献】
【０００６】
【非特許文献１】Kim K, Chalidabhongse T H, Harwood D, Davis L S. "Background Modeling and Subtraction by Codebook Construction" Proceedings of International Conference on Image Processing, Singapore. IEEE, 2004. 5: 3061-3064
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、移動物体を検出する基本原理は、新たな入力画像を背景画像と比較し、時間的に変化している領域を認識することにある。しかしながら、画像の時間変化は、必ずしも移動物体に起因するものではなく、雲の動きによる日照変化、風の作用による樹木の揺れ、波の動きによる海面の変化など、様々な自然現象にも起因する。このため、特に、屋外の監視システムなどから取り込まれた動画画像に基づいて、移動物体の検出を行う場合、このような自然現象による画像変化を移動物体による画像変化と混同した誤検出が生じやすい。
【０００８】
前掲の特許文献１，２には、このような問題を解決するための一手法が開示されているが、入力画像に対して、小領域もしくはブロック単位で画素値のヒストグラムをとるなどの統計処理を施し、当該統計処理によって得られた特徴量を複雑なモデルに当てはめて移動物体の領域を推定する必要があるため、演算処理が極めて複雑になるという問題がある。このため、一般的なプロセッサでは処理時間が長くかかり、リアルタイムでの処理を行うことが困難である。また、より正確な検出を行うためには、多数のフレームにわたって入力画像を格納しておく必要があり、大容量の画像バッファメモリが必要になる。このため、リアルタイムでの監視を目的とした安価な監視システムに利用するには不適当である。
【０００９】
一方、上述した非特許文献１に開示されている手法では、画素単位での比較を行えばよいので、複雑な統計処理を行ったり、複雑なモデルを構築したりする必要はない。しかしながら、領域単位での統計処理を省き、画素単位での比較結果のみによって検出を行うため、上述したように、日照変化などの自然現象に起因した誤検出が生じやすい。
【００１０】
そこで本発明は、演算処理の負担を軽減しつつ、日照変化などの自然現象に起因した誤検出を排除し、より正確な検出を行うことが可能な移動物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
(1) 本発明の第１の態様は、動画画像について移動物体を検出する移動物体検出装置において、
時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する画像入力部と、
入力された原画像を逐次格納する原画像格納部と、
新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した平均画像とに基づいて、新たな平均画像を作成する平均画像作成部と、
作成された平均画像を逐次格納する平均画像格納部と、
新たな原画像が入力されるたびに、直前に作成した参照画像に基づいて新たな参照画像を作成する参照画像作成部と、
作成された参照画像を逐次格納する参照画像格納部と、
原画像格納部に格納された原画像と、平均画像格納部に格納された平均画像と、参照画像格納部に格納された参照画像と、を用いた比較処理により、前景領域と背景領域とを区別するマスク画像を作成する画像比較部と、
マスク画像を格納するマスク画像格納部と、
マスク画像を出力する画像出力部と、
を設け、
画像比較部は、
原画像格納部に格納された第ｉ番目の原画像、平均画像格納部に格納された第（ｉ−１）番目の平均画像、参照画像格納部に格納された第（ｉ−１）番目の参照画像から、それぞれ対応する所定位置にある画素の三原色の各画素値を読み出す画素値読出部と、
画素値読出部によって読み出された画素値に基づいて、第ｉ番目の原画像の所定位置にある画素が前景画素か背景画素かを判定する前背判定部と、
第ｉ番目のマスク画像を構成する所定位置の画素の画素値として、前背判定部が背景画素と判定した場合には背景領域を示す画素値を、前背判定部が前景画素と判定した場合には前景領域を示す画素値を、それぞれマスク画像格納部に書き込む画素値書込部と、
を有し、
前背判定部は、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の平均画像を構成する画素の画素値ａ（ｉ−１）とを比較して類似するか否かを判定する第１判定部と、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の参照画像を構成する画素の画素値ｕ（ｉ−１）とを比較して類似するか否かを判定する第２判定部と、第１判定部による判定結果および第２判定部による判定結果の少なくとも一方が類似を示す場合には背景画素、双方とも非類似を示す場合には前景画素との判定を行う総合判定部と、を有し、
平均画像作成部は、第１番目の原画像をそのまま第１番目の平均画像とし、第ｉ番目の原画像と第（ｉ−１）番目の平均画像とについて、互いに対応する位置にある画素の三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を各画素値とする画素の集合からなる画像を第ｉ番目（ｉ≧２）の平均画像とし、
参照画像作成部は、第１番目の原画像をそのまま第１番目の参照画像とし、第（ｉ−１）番目の参照画像を構成する個々の画素のうち、前背判定部によって第ｉ番目の原画像の対応画素が前景画素と判定された画素については、更新せずに、もとの画素値をそのまま維持し、前背判定部によって第ｉ番目の原画像の対応画素が背景画素と判定された画素については、当該画素と第（ｉ−１）番目の平均画像の対応する位置にある画素とについて、三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を新画素値として更新することにより、第ｉ番目（ｉ≧２）の参照画像を作成するようにしたものである。
【００１２】
(2) 本発明の第２の態様は、上述した第１の態様に係る移動物体検出装置において、
平均画像作成部が、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部へ格納する処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
所定位置の画素の所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
所定位置の画素の所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成するようにしたものである。
【００１３】
(3) 本発明の第３の態様は、上述した第２の態様に係る移動物体検出装置において、
参照画像作成部が、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の参照画像Ｕ（１）として参照画像格納部へ格納する処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の参照画像Ｕ（ｉ）の各画素値を、
背景画素と判定された画素については、
ｕ（ｉ）＝（１−ｖ）・ｕ（ｉ−１）＋ｖ・ａ（ｉ−１）
（但し、ｕ（ｉ）は、平均画像Ｕ（ｉ）の
所定位置の画素の所定色の画素値、
ｕ（ｉ−１）は、平均画像Ｕ（ｉ−１）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
所定位置の画素の所定色の画素値、
ｖは、所定の重みを示すパラメータ（ｖ＜１））
なる演算式を用いて求められた画素値ｕ（ｉ）に更新し、
前景画素と判定された画素については、
ｕ（ｉ）＝ｕ（ｉ−１）
として、更新せずに、もとの画素値をそのまま維持することにより決定するようにしたものである。
【００１４】
(4) 本発明の第４の態様は、上述した第３の態様に係る移動物体検出装置において、
重みを示すパラメータｗ，ｖを、ｗ＞ｖとなるように設定したものである。
【００１５】
(5) 本発明の第５の態様は、上述した第２〜第４の態様に係る移動物体検出装置において、
パラメータ「ｗ」もしくは「ｖ」またはこれら双方を、ユーザの操作入力によって任意の値に設定するパラメータ設定部を更に備えるようにしたものである。
【００１６】
(6) 本発明の第６の態様は、上述した第１〜第５の態様に係る移動物体検出装置において、
第１判定部および第２判定部が、比較対象となる一方の画素の画素値を基準画素値、他方の画素の画素値を比較画素値として、三原色の各画素値を各座標軸にとった三次元座標系において、基準画素値に対応する座標に位置する基準点Ｑと比較画素値に対応する座標に位置する比較点ｑをとり、基準点Ｑを中心とする所定サイズの基準立体と比較点ｑとの位置関係を調べ、比較点ｑが基準立体の外部に位置すると判定できる場合に非類似との判定を行い、内部に位置すると判定できる場合には類似との判定を行うようにしたものである。
【００１７】
(7) 本発明の第７の態様は、上述した第６の態様に係る移動物体検出装置において、
第１判定部が、原画像の画素の画素値を基準画素値、平均画像の画素の画素値を比較画素値として判定を行い、
第２判定部が、原画像の画素の画素値を基準画素値、参照画像の画素の画素値を比較画素値として判定を行うようにしたものである。
【００１８】
(8) 本発明の第８の態様は、上述した第６または第７の態様に係る移動物体検出装置において、
第１判定部および第２判定部が、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、この楕円を基準軸Ｚを中心に回転させることにより得られる同一の回転楕円体Ｅもしくはその近似体を基準立体として用いるようにしたものである。
【００１９】
(9) 本発明の第９の態様は、上述した第８の態様に係る移動物体検出装置において、
第１判定部および第２判定部が、
「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する第１の条件判定部と、
第１の条件判定部が否定的判定を行った場合に「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξもしくはその近似体の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定する第２の条件判定部と、
第２の条件判定部が否定的判定を行った場合に「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定する第３の条件判定部と、
第１の条件判定部、第２の条件判定部、第３の条件判定部のいずれかが肯定的判定を行った場合に、非類似との判定結果を示す判定値を出力し、第１の条件判定部、第２の条件判定部、第３の条件判定部のすべてが否定的判定を行った場合に、類似との判定結果を示す判定値を出力する判定値出力部と、
を有するようにしたものである。
【００２０】
(10) 本発明の第１０の態様は、上述した第８の態様に係る移動物体検出装置において、
第１判定部および第２判定部が、
パラメータｈおよびｋの値を保持するパラメータ保持部と、
画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
Ｄ^２＝Ｒ^２＋Ｇ^２＋Ｂ^２ および
ｄ^２＝ｒ^２＋ｇ^２＋ｂ^２
なる演算を行い、値Ｄ^２および値ｄ^２を算出する基本演算部と、
基本演算部が算出した値Ｄ^２および値ｄ^２とパラメータ保持部に保持されているパラメータｈの値とを用いて、
（１−ｈ）^２・Ｄ^２＞ｄ^２ もしくは
（１＋ｈ）^２・Ｄ^２＜ｄ^２
という条件を満足するか否かを判定するための演算を行う第１の条件判定部と、
第１の条件判定部が否定的判定を行った場合に、画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ
なる演算を行い、値γを算出し、基本演算部が算出した値Ｄ^２および値ｄ^２とパラメータ保持部に保持されているパラメータｋの値と値γとを用いて、
γ^２／（Ｄ^２・ｄ^２）＜（１−ｋ^２／２）^２
という条件を満足するか否かを判定するための演算を行う第２の条件判定部と、
第２の条件判定部が否定的判定を行った場合に、基本演算部が算出した値Ｄ^２および値ｄ^２とパラメータ保持部に保持されているパラメータｈおよびｋの値と第２の条件判定部が算出した値γとを用いて、
α^２＝ｈ^２・Ｄ^２
β^２＝ｋ^２・Ｄ^２
ｘ^２＝Ｄ^２＋γ^２／Ｄ^２−２γ
ｙ^２＝ｄ^２−γ^２／Ｄ^２
なる演算を行い、当該演算結果を用いて、
β^２・ｘ^２＋α^２・ｙ^２−α^２・β^２＞０
という条件を満足するか否かを判定するための演算を行う第３の条件判定部と、
第１の条件判定部、第２の条件判定部、第３の条件判定部のいずれかが肯定的判定を行った場合に、非類似との判定結果を示す判定値を出力し、第１の条件判定部、第２の条件判定部、第３の条件判定部のすべてが否定的判定を行った場合に、類似との判定結果を示す判定値を出力する判定値出力部と、
を有するようにしたものである。
【００２１】
(11) 本発明の第１１の態様は、上述した第８〜第１０の態様に係る移動物体検出装置において、
パラメータ「ｈ」および「ｋ」を、ユーザの操作入力によって任意の値に設定するパラメータ設定部を更に設けたものである。
【００２２】
(12) 本発明の第１２の態様は、上述した第１〜第１１の態様に係る移動物体検出装置を、コンピュータにプログラムを組み込むことにより構成したものである。
【００２３】
(13) 本発明の第１３の態様は、上述した第１〜第１１の態様に係る移動物体検出装置を、半導体集積回路によって構成したものである。
【００２４】
(14) 本発明の第１４の態様は、動画画像について移動物体を検出する移動物体検出方法において、
コンピュータが、時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する画像入力段階と、
コンピュータが、新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した平均画像とに基づいて、新たな平均画像を作成する平均画像作成段階と、
コンピュータが、新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した参照画像とに基づいて、新たな参照画像を作成する参照画像作成段階と、
コンピュータが、原画像と平均画像と参照画像とを用いた比較処理により、前景領域と背景領域とを区別するマスク画像を作成する画像比較段階と、
コンピュータが、マスク画像を出力する画像出力段階と、
を行い、
画像比較段階を、
第ｉ番目の原画像、第（ｉ−１）番目の平均画像、第（ｉ−１）番目の参照画像から、それぞれ対応する所定位置にある画素の三原色の各画素値を読み出す画素値読出ステップと、
第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の平均画像を構成する画素の画素値ａ（ｉ−１）とが類似するか否かを判定する第１判定処理と、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の参照画像を構成する画素の画素値ｕ（ｉ−１）とが類似するか否かを判定する第２判定処理と、を行い、第ｉ番目の原画像の所定位置にある画素について、第１判定処理による判定結果と第２判定処理による判定結果との少なくとも一方が類似を示す場合には背景画素、双方とも非類似を示す場合には前景画素との判定を行う前背判定ステップと、
第ｉ番目のマスク画像を構成する所定位置の画素の画素値として、前背判定ステップにより背景画素と判定された場合には背景領域を示す画素値を、前背判定ステップにより前景画素と判定された場合には前景領域を示す画素値を、それぞれ与えることにより、第ｉ番目のマスク画像を作成するマスク画像作成ステップと、
によって構成し、
平均画像作成段階では、第１番目の原画像をそのまま第１番目の平均画像とし、第ｉ番目（ｉ≧２）の平均画像を作成する際には、第ｉ番目の原画像と第（ｉ−１）番目の平均画像とについて、互いに対応する位置にある画素の三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を各画素値とする画素の集合からなる画像を第ｉ番目の平均画像とし、
参照画像作成段階では、第１番目の原画像をそのまま第１番目の参照画像とし、第ｉ番目（ｉ≧２）の参照画像を作成する際には、第（ｉ−１）番目の参照画像を構成する個々の画素のうち、前背判定ステップにおいて第ｉ番目の原画像の対応画素が前景画素と判定された画素については、更新せずに、もとの画素値をそのまま維持し、前背判定ステップにおいて第ｉ番目の原画像の対応画素が背景画素と判定された画素については、第（ｉ−１）番目の平均画像の対応する位置にある画素との間で、三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を新画素値として更新することにより、第ｉ番目の参照画像を作成するようにしたものである。
【００２５】
(15) 本発明の第１５の態様は、上述した第１４の態様に係る移動物体検出方法において、
平均画像作成段階では、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）とする処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
所定位置の画素の所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
所定位置の画素の所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成し、
参照画像作成段階では、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の参照画像Ｕ（１）とする処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の参照画像Ｕ（ｉ）の各画素値を、
背景画素と判定された画素については、
ｕ（ｉ）＝（１−ｖ）・ｕ（ｉ−１）＋ｖ・ａ（ｉ−１）
（但し、ｕ（ｉ）は、平均画像Ｕ（ｉ）の
所定位置の画素の所定色の画素値、
ｕ（ｉ−１）は、平均画像Ｕ（ｉ−１）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
所定位置の画素の所定色の画素値、
ｖは、所定の重みを示すパラメータ（ｖ＜１、かつｗ＞ｖ））
なる演算式を用いて求められた画素値ｕ（ｉ）に更新し、
前景画素と判定された画素については、
ｕ（ｉ）＝ｕ（ｉ−１）
として、更新せずに、もとの画素値をそのまま維持することにより、参照画像Ｕ（ｉ）を作成するようにしたものである。
【発明の効果】
【００２６】
本発明に係る移動物体検出装置では、過去に入力された複数の原画像の平均的な特徴を有する平均画像が逐次作成され、更に、この平均画像に基づいて参照画像が逐次作成される。そして、新たに入力された原画像は、平均画像と比較されるとともに参照画像とも比較され、両方の比較結果がともに非類似とされた領域が前景領域（移動物体の領域）、それ以外の領域が背景領域と判定される。ここで、平均画像は、新たな原画像が入力されるたびに更新されるため、原画像の変化に追随して変化を遂げる動的画像になる。これに対して、参照画像は、背景領域と判定された部分に対しては平均画像を利用した更新が行われるが、前景領域と判定された部分に対しては更新が行われない。このため、原画像の変化に追随した参照画像の変化は緩慢になる。
【００２７】
このように、平均画像と参照画像とは、原画像の変化に対する追随態様が互いに異なっており、しかも、新たに入力された原画像のうち、平均画像および参照画像の少なくとも一方に類似している領域は背景領域と判定されることになる。したがって、日照変化などの自然現象に起因して変化した背景領域が前景領域（移動物体の領域）として誤検出される可能性を低減することができ、より正確な検出を行うことができるようになる。しかも、実質的には、新たな原画像が入力されるたびに、新たな平均画像および参照画像を作成する処理と、上述した各比較処理と、を行えばよいため、演算処理の負担も比較的軽いものになる。
【００２８】
また、回転楕円体を用いて画素の類否判定を行う実施形態の場合、三次元色空間上において、一方の画素値をプロットした座標点を中心とする回転楕円体内に、他方の画素値をプロットした座標点が入るか否かに基づいて、比較対象となるカラー画素の類否判定を行うようにしたため、演算処理の負担を大幅に軽減することが可能になる。
【図面の簡単な説明】
【００２９】
【図１】動画画像についての移動物体の検出例を示す平面図である。
【図２】一般的な移動物体検出の基本原理を示す図である。
【図３】背景を示す画像として用いられる平均画像の作成方法の一例を示す図である。
【図４】図３に示す方法に基づいて作成される平均画像上の１画素の画素値変遷プロセスを示す図である。
【図５】一般的なマスク画像の画素値決定プロセスを示す図である。
【図６】画素の類否判定方法の一般例を示す三次元色空間図である。
【図７】画素の類否判定方法の別な一般例を示す三次元色空間図である。
【図８】従来提案されている移動物体検出装置の基本構成を示すブロック図である。
【図９】本発明に係る移動物体検出装置の基本構成を示すブロック図である。
【図１０】図９に示す移動物体検出装置の各構成要素で実行される演算内容を示す図である。
【図１１】図９に示す移動物体検出装置における各画像の変遷を示す第１の図である。
【図１２】図９に示す移動物体検出装置における各画像の変遷を示す第２の図である。
【図１３】本発明の一実施形態に係る移動物体検出に利用するための画素の類否判定方法の第１の適用例を示す三次元色空間図である。
【図１４】本発明の一実施形態に係る移動物体検出に利用するための画素の類否判定方法の第２の適用例を示す三次元色空間図である。
【図１５】本発明の一実施形態に係る画素の類否判定方法を示す三次元色空間図である。
【図１６】従来の円柱モデルに対する回転楕円体モデルの利点を示す断面図である。
【図１７】回転楕円体モデルを用いた場合の第１の条件判定原理を示す断面図である。
【図１８】図１７に示す第１の条件判定原理に基づく判定式を示す図である。
【図１９】回転楕円体モデルを用いた場合の第２の条件判定原理を示す断面図である。
【図２０】図１９に示す第２の条件判定原理に基づく判定式を導く第１のプロセスを示す図である。
【図２１】図１９に示す第２の条件判定原理に基づく判定式を導く第２のプロセスを示す図である。
【図２２】図１９に示す第２の条件判定原理に基づく判定式を示す図である。
【図２３】回転楕円体モデルを用いた場合の第３の条件判定原理を示す断面図である。
【図２４】図２３に示す第３の条件判定原理に基づく判定式を示す図である。
【図２５】本発明の一実施形態に係る画素の類否判定方法の実用的な手順を示す流れ図である。
【図２６】図９に示す移動物体検出装置における前背判定部４５０の構成を示すブロック図である。
【図２７】図２６に示す第１判定部４２０の詳細構成を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、本発明を図示する実施形態に基づいて説明する。
【００３１】
＜＜＜ §１．一般的な移動物体検出の基本原理 ＞＞＞
はじめに、一般的な移動物体検出の基本原理を説明する。この基本原理は、動画画像について移動物体を検出するためのものであり、三原色の各画素値を有する画素の集合体として、時系列で連続的にフレーム単位のカラー画像が与えられることを前提としている。
【００３２】
たとえば、図１の左側に示すように、フレーム単位の画像Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０がこの順番で与えられたものとしよう。図示の例は、街頭に設置された定点ビデオカメラによる撮影画像を示すものであり、右から左へと１台の車両（移動物体）が通過する状態が示されている。なお、一般的なビデオカメラの場合、１秒間に３０フレーム程度の周期で連続して撮影画像が出力されるので、実際には、より細かな時間間隔で多数のフレーム画像が得られることになるが、ここでは、説明の便宜上、図示のとおり、４枚のフレーム画像Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０が順番に与えられたものとしよう。
【００３３】
これら４枚の画像を見ると、画像Ｐ１０は街の背景のみであるが、画像Ｐ２０では、右側に車両の一部が侵入したため、背景上に車両の一部が重なった画像になっている。同様に、画像Ｐ３０，Ｐ４０も、背景上に車両が重なった画像になっている。背景は静止しているため、画像Ｐ１０〜Ｐ４０について共通になるが、車両は移動物体であるため、画像Ｐ１０〜Ｐ４０では異なる。ここでは、各画像上において、背景を構成する領域を背景領域Ｂ、車両（移動物体）を構成する領域を前景領域Ｆと呼ぶことにする。
【００３４】
本発明における移動物体検出の目的は、与えられた各画像Ｐ１０〜Ｐ４０について、それぞれ背景領域Ｂと前景領域Ｆとを区別することにある。図１の右側に示す各画像Ｍ１０〜Ｍ４０は、それぞれ左側に示す各画像Ｐ１０〜Ｐ４０について、背景領域Ｂと前景領域Ｆとの区別を示す画像である。図にハッチングを施した領域が背景領域Ｂであり、白地の領域が前景領域Ｆである。いずれの領域かを識別できればよいので、これらの画像Ｍ１０〜Ｍ４０は、二値画像として与えられる。たとえば、背景領域Ｂに所属する画素には画素値「１」を与え、前景領域Ｆに所属する画素には画素値「０」を与えることにすれば、画像Ｍ１０〜Ｍ４０は、１ビットの画素値をもった画素の集合体からなる画像データとして用意することができる。
【００３５】
本発明によれば、与えられた個々のフレーム画像のそれぞれについて、対応する二値画像を作成することができる。結局、本発明に係る移動物体検出処理の本質は、時系列で連続的に与えられた個々のカラー画像について、それぞれ背景領域Ｂと前景領域Ｆとの区別を示す二値画像を作成する処理ということができる。そこで、以下、便宜上、時系列で連続的に与えられるカラー画像を「原画像」と呼び、この「原画像」に基づいて作成される二値画像を「マスク画像」と呼ぶことにする。
【００３６】
図１に示す例では、各原画像Ｐ１０〜Ｐ４０のそれぞれについて、マスク画像Ｍ１０〜Ｍ４０が作成された例が示されている。これらマスク画像を利用すれば、原画像上のどの領域が移動物体であるかを認識できるので、移動物体の形状やサイズを把握したり、移動物体の部分をズームアップして、車両のナンバーを確認したり、人物を特定したりする処理を行うことが可能になる。また、画面上で移動物体をズームアップしたまま追跡したり、移動経路を把握したりすることも可能になる。
【００３７】
もちろん、このようなマスク画像の作成を、１枚の原画像のみから行うことは困難である。たとえば、図示の原画像Ｐ２０のみが静止画像として与えられた場合、人間の脳は様々な情報から車両の存在を認識することができるが、この１枚の静止画像のみから、コンピュータに車両の存在を認識させるには、複雑なアルゴリズムに基づく処理が必要となる。そこで、一般的な移動物体検出アルゴリズムでは、既に述べたとおり、入力画像と背景画像との差を求めることにより、当該差の領域を移動物体の領域（前景領域Ｆ）と判断する手法が採られる。
【００３８】
たとえば、予め原画像Ｐ１０を背景画像として指定しておけば、原画像Ｐ２０が入力された時点で両者を比較することにより、差の領域（異なる領域）を前景領域Ｆと認識し、図示のようなマスク画像Ｍ２０を作成することが可能になる。差の領域の認識手法としては、前述したとおり、小領域単位で画素値の統計処理を施す方法も知られているが、入力画像と背景画像とを画素単位で比較して、両画素の画素値が類似している場合、当該画素は背景領域Ｂを構成する画素であるとし、類似していない場合、当該画素は移動物体を構成する前景領域Ｆを構成する画素であるとする方法が最も簡便な方法である。本発明も、このような画素単位での比較手法を採用することを前提としている。
【００３９】
背景画像としては、予め移動物体が存在しない状態（たとえば、画像Ｐ１０に示す状態）で撮影した静止画像を利用することも可能であるが、天候や時刻などの要因により、照明環境は時々刻々と変化してゆくものであり、ある特定の時点で撮影した静止画像をそのまま背景画像として継続して利用するのは不適切である。そこで、通常は、過去に入力された複数の原画像に基づいて、これら原画像の平均的な特徴を有する平均画像を作成し、この平均画像を背景画像として利用する手法が採られる。本発明でも、基本的には、このような手法で得られた平均画像を、背景画像として利用することになる。平均画像は新たな画像が入力されるたびに逐次更新されるので、天候や時刻などの要因により、照明環境が変化したとしても、当該変化に追随した適切な背景画像として機能する。
【００４０】
図２は、一般的な移動物体検出の基本原理を示す図である。ここで、図の上段に示す画像Ｐ（１），Ｐ（２），... ，Ｐ（ｉ−２），Ｐ（ｉ−１）は、時系列で連続的に与えられるフレーム単位の原画像であり、これまでに第１番目の原画像Ｐ（１）から第（ｉ−１）番目の原画像Ｐ（ｉ−１）まで、（ｉ−１）フレーム分の画像が与えられた状態が示されている。一方、図の中段左に示す画像Ｐ（ｉ）は、新たに与えられた第ｉ番目の原画像であり、図の中段右に示す画像Ａ（ｉ−１）は、図の上段に示す過去に与えられた（ｉ−１）フレーム分の原画像Ｐ（１）〜Ｐ（ｉ−１）の平均的な特徴を有する平均画像である。
【００４１】
新たに入力された原画像Ｐ（ｉ）についてのマスク画像Ｍ（ｉ）は、当該原画像Ｐ（ｉ）と平均画像Ａ（ｉ−１）とを比較することによって作成される。図２の下段は、このようにして作成されたマスク画像Ｍ（ｉ）を示すものである。具体的には、原画像Ｐ（ｉ）上の各画素の画素値を、平均画像Ａ（ｉ−１）上の対応する画素の画素値と比較し、類似範囲内と判定された画素については背景領域Ｂを示す画素値（たとえば、「１」）を与え、類似範囲外と判定された画素については前景領域Ｆを示す画素値（たとえば、「０」）を与えることにより、二値画像からなるマスク画像Ｍ（ｉ）を作成すればよい。
【００４２】
続いて、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）が入力されたときには、過去に入力された第ｉ番目の原画像Ｐ（ｉ）までの平均的な特徴を有する平均画像Ａ（ｉ）が新たに作成され、原画像Ｐ（ｉ＋１）と平均画像Ａ（ｉ）とを比較することにより、マスク画像Ｍ（ｉ＋１）が作成される。このように、平均画像は逐次更新されてゆくため、天候や時刻などの要因により、照明環境が変化した場合でも、各時点に適した背景画像としての機能を果たすことができる。
【００４３】
なお、平均画像を作成する際には、時系列に沿った重みづけを行うようにし、最新の原画像の情報に重みをおいた加重平均を求めるようにするのが好ましい。たとえば、過去１０分間に入力された原画像について重み１、それ以前に入力された原画像について重み０を与えて平均を求めれば、常に、最新１０分間に得られた原画像についての平均画像を得ることができ、照明環境が変化した場合にも対応することができる。もちろん、常に最新の原画像ほど重みづけが大きくなるように、重みづけをきめ細かく設定することもできる。
【００４４】
結局、この図２に示す例の場合、平均画像を作成する際には、第ｉ番目の原画像Ｐ（ｉ）が入力されたときに（ｉ＝１，２，...）、当該原画像Ｐ（ｉ）を含めた過去の原画像について、それぞれ対応する位置の画素の各色別の画素値の重みづけ平均値を算出し、当該平均値をもつ画素の集合体からなる第ｉ番目の平均画像Ａ（ｉ）を作成すればよい。そして、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）が入力されたときには、第（ｉ＋１）番目のマスク画像Ｍ（ｉ＋１）を作成するために、原画像Ｐ（ｉ＋１）と、第ｉ番目の平均画像Ａ（ｉ）とを比較すればよい。
【００４５】
ただ、１秒間に３０フレームという一般的なフレームレートで動画画像が入力された場合、過去１０分間の原画像であっても、その画像データをすべて蓄積しておくには、画像データのバッファにかなりの記憶容量が必要になる。そこで、実用上は、第ｉ番目の原画像Ｐ（ｉ）が与えられたときに、第（ｉ−１）番目の平均画像Ａ（ｉ−１）と、当該第ｉ番目の原画像Ｐ（ｉ）との２枚の画像に基づいて、第ｉ番目の平均画像Ａ（ｉ）を作成する手法が採られる。図３は、このような手法に基づく平均画像の作成方法の一例を示す図である。
【００４６】
まず、最初の原画像Ｐ（１）が与えられたときには、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）とする処理を行う。そして、以後、図３の上段右に示す第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、図３の上段左に示す第（ｉ−１）番目の平均画像Ａ（ｉ−１）を利用して、図３の中段に示す第ｉ番目の平均画像Ａ（ｉ）を、図３の下段に示す
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ） 式（１）
なる演算式を用いて作成すればよい。ここで、ａ（ｉ）は、平均画像Ａ（ｉ）の所定位置の画素の所定色の画素値、ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の前記所定位置の画素の前記所定色の画素値、ｐ（ｉ）は、原画像Ｐ（ｉ）の前記所定位置の画素の前記所定色の画素値、ｗは、所定の重みを示すパラメータ（ｗ＜１）である。
【００４７】
要するに、直前に与えられた原画像Ｐ（ｉ−１）までの原画像について算出された第（ｉ−１）番目の平均画像Ａ（ｉ−１）の画素値ａ（ｉ−１）と、新たに与えられた第ｉ番目の原画像Ｐ（ｉ）の画素値ｐ（ｉ）とについて、重みｗを考慮した平均値が算出され、当該算出値を第ｉ番目の平均画像Ａ（ｉ）の画素値ａ（ｉ）とする処理が行われることになる。このように、新たな原画像Ｐ（ｉ）が入力されるたびに、平均画像Ａ（ｉ）を更新してゆき、しかも更新には直前の平均画像Ａ（ｉ−１）のみを用いるようにすれば、過去の原画像データを何フレーム分にもわたって蓄積保持しておく必要がないので、処理を行うために必要なバッファの容量を大幅に節約することができる。
【００４８】
図３に示すとおり、重みｗの値を大きくすればするほど、最新の原画像Ｐ（ｉ）の画素値が平均画像Ａ（ｉ）の画素値に大きな影響を与えることになる。図４は、図３に示す方法に基づいて作成される平均画像上の１画素の画素値変遷プロセスを示す図である。この例では、重みｗ＝０．０１に設定した具体例が示されている。
【００４９】
たとえば、第１番目（ｉ＝１）の原画像Ｐ（１）の特定位置の画素の画素値がｐ（１）＝１００であったとすると、第１番目の平均画像Ａ（１）の当該特定位置の画素の画素値ａ（１）は、そのままａ（１）＝１００となる。続いて、第２番目の原画像Ｐ（２）の当該特定位置の画素の画素値がｐ（２）＝１００であったとすると、第２番目の平均画像Ａ（２）の当該特定位置の画素の画素値ａ（２）は、ａ（１）とｐ（２）との重みつき平均「０．９９×１００＋０．０１×１００」を計算することにより、ａ（２）＝１００になる。
【００５０】
図示の例では、原画像の当該特定位置の画素値は、ｐ（１）〜ｐ（４）まで１００のまま変化しないため、平均画像の当該特定位置の画素値も、ａ（１）〜ａ（４）まで１００を維持する。ところが、第５番目の原画像Ｐ（５）では、画素値ｐ（５）＝２００に急変したため、第５番目の平均画像Ａ（５）の画素値ａ（５）は、図４の下段の式に示すとおり、ａ（４）とｐ（５）との重みつき平均「０．９９×１００＋０．０１×２００」を計算することにより、ａ（５）＝１０１になる。更に、第６番目の原画像Ｐ（６）および第７番目の原画像Ｐ（７）では、画素値ｐ（６）＝ｐ（７）＝２００が維持されているため、図４の下段の式に示すとおり、第６番目の平均画像Ａ（６）および第７番目の平均画像Ａ（７）では、画素値ａ（６）＝１０２、画素値ａ（７）＝１０３、と徐々に増加している。
【００５１】
この例のように、重みｗを０．０１程度の値に設定すると、原画像の画素値が急激に変化しても、平均画像の画素値は直ちに変化することはなく、原画像の画素値にゆっくりと近づいてゆくことになる。したがって、図１に示す例のように、車両が通過する動画が与えられたとしても、一過性の画素値変化は、平均画像の画素値に大きな変化をもたらすことはなく、平均画像は背景画像としての機能を果たすことができる。一方、時刻が日中から夕暮れに変わった場合など、照明環境に変化が生じた場合、当該変化は多数のフレーム画像にわたって持続するため、平均画像の画素値も当該変化に追従して変化することになる。したがって、日中には日中の背景画像に適した平均画像が得られ、夕暮れには夕暮れの背景画像に適した平均画像が得られることになる。
【００５２】
移動物体の領域を示すマスク画像Ｍは、このような方法で作成された平均画像を背景画像として、個々の原画像を比較することによって作成することができる。図５は、このようにして作成されるマスク画像Ｍの画素値決定プロセスを示す図である。第ｉ番目の原画像Ｐ（ｉ）についてのマスク画像Ｍ（ｉ）は、次のような方法で決定される画素値をもつ画素の集合体からなる二値画像である。すなわち、マスク画像Ｍ（ｉ）の特定位置の画素の画素値ｍ（ｉ）は、原画像Ｐ（ｉ）の当該特定位置の画素の画素値ｐ（ｉ）と、平均画像Ａ（ｉ−１）の当該特定位置の画素の画素値ａ（ｉ−１）との比較によって決定され、両画素値が類似範囲内であれば、背景領域Ｂ内の画素であることを示す画素値（たとえば、「１」）が与えられ、両画素値が類似範囲外であれば、前景領域Ｆ内の画素であることを示す画素値（たとえば、「０」）が与えられる。
【００５３】
なお、実際には、原画像は三原色の各画素値（たとえば、ＲＧＢ表色系の場合、Ｒ，Ｇ，Ｂの３色の画素値）をもったカラー画像であるので、原画像Ｐ（ｉ）を構成する各画素の画素値ｐ（ｉ）や、平均画像Ａ（ｉ）を構成する各画素の画素値ａ（ｉ）は、いずれも色ごとに独立した３つの値から構成されていることになる。そして、式（１）の演算は、個々の色ごとにそれぞれ独立して実行されることになる。たとえば、平均画像Ａ（ｉ）上の特定位置の画素の画素値ａ（ｉ）は、Ｒ色の画素値、Ｇ色の画素値、Ｂ色の画素値という３組の画素値によって構成され、Ｒ色の画素値は、過去の原画像のＲ色の画素値の重みつき平均として得られた値になる。
【００５４】
したがって、図５における画素値ｐ（ｉ）と画素値ａ（ｉ−１）との比較は、単なる２つの値の比較ではなく、３組の画素値と３組の画素値との比較ということになる。当然ながら、画素の類否判定は、この３組の画素値の組み合わせからなる色同士が類似するか否かを判定する処理ということになる。以下、この類否判定を行うための一般的な方法を、§２において詳述する。
【００５５】
＜＜＜ §２．画素の一般的な類否判定方法 ＞＞＞
さて、§１で述べた移動物体検出方法では、原画像（入力画像）と平均画像（背景画像）とを画素単位で比較して、両画素が類似している場合は背景領域Ｂの画素、非類似の場合は前景領域Ｆの画素という判定を行う。このように画素単位での類否判定を行う方法は、領域単位で特徴量を求める方法に比べて処理が単純になり、演算負担は比較的軽くなる。しかしながら、画素の類否判定が移動物体の検出精度を左右するファクターになるため、どのような方法で、どの程度の範囲までを「類似範囲」と判定するかが非常に重要である。
【００５６】
たとえば、§１では、図１の画像Ｐ１０を平均画像（背景画像）とし、画像Ｐ２０を原画像（入力画像）とした場合、両者の比較により、画像Ｍ２０のようなマスク画像が得られることを述べた。ここで、マスク画像Ｍ２０の前景領域Ｆは、両画像Ｐ１０，Ｐ２０を比較した結果、画素が類似範囲外と判定された領域であり、背景画像Ｂは、画素が類似範囲内と判定された領域である。この場合、類似範囲を適切に設定しないと、正しいマスク画像を得ることはできない。
【００５７】
カラー画像の場合、画素の類否は、両画素の色が近似しているか否かに基づいて判定する必要がある。そのためには、一方の画素の３組の画素値と他方の画素の３組の画素値との総合的な比較を行う必要がある。たとえば、ＲＧＢ表色系の場合、カラー画像を構成する個々の画素には、Ｒ，Ｇ，Ｂの３種類の画素値が与えられるが、たとえ、画素値Ｒが同一であっても、それだけでは両画素の色が類似していることにならない。通常、このようなカラー画像の画素の比較は、三次元の色空間上で、双方の画素値に対応する座標点をプロットし、両座標点の空間的な位置関係を調べることによって行われる。以下、各画素がＲＧＢ表色系の画素値をもっている場合について、色空間上での類否判定を行う代表的な方法をいくつか説明しよう。
【００５８】
図６は、画素の類否判定の最も単純な方法を示す三次元色空間図である。図示のとおり、三原色Ｒ，Ｇ，Ｂの画素値を各座標軸にとったＲＧＢ三次元直交座標系に、座標点ＡおよびＰがプロットされている。ここで、座標点Ａ（Ｒａ，Ｇａ，Ｂａ）は、背景を示す平均画像Ａ上の画素の画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした点であり、座標点Ｐ（Ｒｐ，Ｇｐ，Ｂｐ）は、判定対象となる原画像Ｐ上の画素の画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした点である。
【００５９】
ここで、この三次元色空間上での２点Ａ，Ｐの距離をδとすれば、当該距離δは、両画素の類似度を示す１つの指標になる。δ＝０であれば、両画素は全く同一の画素値をもった画素になり、δが大きくなればなるほど、３つの画素値の総合的な類似度は低下する。したがって、予め所定の閾値δthを設定しておき、δ＜δthであれば類似範囲内、δ≧δthであれば類似範囲外と判定するようにすれば、一応の判定基準を設定することができる。
【００６０】
あるいは、原点Ｏを起点として、座標点Ａへ向かうベクトルＶａと座標点Ｐへ向かうベクトルＶｐとを定義し、両ベクトルＶａ，Ｖｐのなす角θを、両画素の類似度を示す指標として用いることもできる。θ＝０の場合、２点Ａ，Ｐは必ずしも同一の点にはならないが、原点Ｏを通る同一直線上の点になるため、少なくとも三原色Ｒ，Ｇ，Ｂの配合割合で決まる両画素の色相は類似したものになる。結局、θが小さければ、色相の類似性は高まることになるので、指標δを用いた判定基準と同様に、予め所定の閾値θthを設定しておき、θ＜θthであれば類似範囲内、θ≧θthであれば類似範囲外と判定するようにすれば、一応の判定基準を設定することができる。
【００６１】
一方、より正確な判定を行う方法として、三原色の各画素値を各座標軸にとった三次元座標系において、一方の画素値に対応する座標に位置する基準点を中心として所定サイズの基準立体を配置し、他方の画素値に対応する座標点との位置関係を調べ、当該座標点が基準立体の外部に位置すると判定できる場合に非類似との判定を行い、内部に位置すると判定できる場合には類似との判定を行う方法が知られている。
【００６２】
たとえば、前掲の非特許文献１には、適切な判定基準を設定するために、基準立体として円柱を用いる類否判定方法が提案されている。図７は、この円柱モデルを用いる方法の基本原理を示す三次元色空間図である。この図７においても、図６と同様に、背景を示す平均画像Ａ上の画素の画素値（Ｒａ，Ｇａ，Ｂａ）が座標点Ａとしてプロットされ、判定対象となる原画像Ｐ上の画素の画素値（Ｒｐ，Ｇｐ，Ｂｐ）が座標点Ｐとしてプロットされている。ここでも、ベクトルＶａ，Ｖｐは、原点Ｏを起点として、各点Ａ，Ｐへ向かうベクトルである。
【００６３】
このモデルでは、図示のとおり、座標点Ａを中心として所定半径をもった長さＬの円柱Ｃが定義されている。別言すれば、円柱Ｃは、ベクトルＶａ上に定義された基準軸Ｚを中心軸とし、その中心点が座標点Ａにくるように配置された円柱ということになる。そして、この円柱Ｃの内部の空間領域を、背景を示す平均画像Ａを構成する画素の類似範囲と定める。したがって、図示の例のように、座標点Ｐに対応する画素値をもった画素は、円柱Ｃの外側に位置するため類似範囲外と判定され、前掲領域Ｆを構成する画素と認定されることになる。逆に、座標点Ｐが円柱Ｃの内部に位置していれば、類似範囲内と判定され、背景領域Ｂを構成する画素と認定される。
【００６４】
ここに示す円柱モデルの特徴は、ベクトルＶａの方向を向いた基準軸Ｚを長手方向とする円柱領域が設定される点である。この円柱Ｃの半径は、色相の類似範囲を決めるパラメータとして機能し、長さＬは明度の類似範囲を決めるパラメータとして機能する。実際の景色では、太陽光による照明環境の変化、風による樹木等の明暗の変化などによって、背景領域Ｂの画素値に時間的変動が生じることになるが、このような変動は、色相よりも明度に大きな影響を及ぼすと考えられる。したがって、このモデルのように、基準軸Ｚを長手方向とする円柱Ｃに基づいて類似範囲を設定することは理にかなっている。
【００６５】
＜＜＜ §３．従来提案されている移動物体検出装置 ＞＞＞
ここでは、§１および§２で述べた原理に基づいて移動物体の検出を行う装置の基本構成を、図８のブロック図を参照しながら説明する。この装置は、特願２００９−２２６１４６号明細書に開示された装置であり、与えられた動画画像について移動物体を検出する機能をもった移動物体検出装置である。図示のとおり、この装置は、画像入力部１１０、原画像格納部１２０、平均画像作成部１３０、平均画像格納部１４０、画像比較部２００、マスク画像格納部３１０、画像出力部３２０、パラメータ設定部３３０によって構成される。
【００６６】
画像入力部１１０は、時系列で連続的に与えられるフレーム単位のカラー原画像Ｐを、三原色の各画素値を有する画素の集合体データとして入力する構成要素であり、原画像格納部１２０は、こうして入力された原画像を逐次格納する構成要素である。一方、平均画像作成部１３０は、過去に入力された複数の原画像Ｐに基づいて、これら原画像の平均的な特徴を有する平均画像Ａを逐次作成する構成要素であり、平均画像格納部１４０は、作成された平均画像Ａを逐次格納する構成要素である。
【００６７】
この平均画像Ａを作成する具体的な処理機能については、図３を参照して§１で述べたとおりである。すなわち、平均画像作成部１３０は、最初の原画像Ｐ（１）が与えられたときには、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部１４０に格納する処理を行う。そして、以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、この原画像Ｐ（ｉ）と平均画像格納部１４０に格納されていた第（ｉ−１）番目の平均画像Ａ（ｉ−１）を利用して、第ｉ番目の平均画像Ａ（ｉ）を作成し、これを平均画像格納部１４０に格納する。
【００６８】
このとき、平均画像Ａ（ｉ）の所定位置の画素の所定色の画素値をａ（ｉ）とすれば、画素値ａ（ｉ）は、既に述べたとおり、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ） 式（１）
なる演算式を用いて算出される。ここで、ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の前記所定位置の画素の前記所定色の画素値、ｐ（ｉ）は、原画像Ｐ（ｉ）の前記所定位置の画素の前記所定色の画素値、ｗは、所定の重みを示すパラメータ（ｗ＜１）である。なお、各画素値は、実際には、§２で述べたとおり、たとえば、ＲＧＢ表色系の場合、Ｒ，Ｇ，Ｂの３種類の画素値から構成され、上記演算は、個々の色ごとの画素値についてそれぞれ別個に行われる。
【００６９】
図８に示す原画像格納部１２０や平均画像格納部１４０は、バッファメモリによって構成することができる。平均画像作成部１３０が、図３に示す方法で重みｗをパラメータとして平均画像を逐次作成し、これを平均画像格納部１４０に格納してゆくようにすれば、原画像格納部１２０には、常に処理に必要な最新の原画像のみが格納されるようにし、平均画像格納部１４０には、常に処理に必要な最新の平均画像Ａのみが格納されるようにすればよいので、バッファメモリの容量を節約することができる。
【００７０】
画像比較部２００は、原画像格納部１２０に格納された原画像Ｐと、平均画像格納部１４０に格納された平均画像Ａとを比較し、前景領域Ｆと背景領域Ｂとを区別するマスク画像Ｍを作成する機能を果たす構成要素であり、図示のとおり、画素値読出部２１０、類否判定部２２０、画素値書込部２３０によって構成されている。
【００７１】
画素値読出部２１０は、比較対象となる一対の画像（すなわち、原画像格納部１２０に格納されている原画像Ｐと、平均画像格納部１４０に格納されている平均画像Ａ）のうち、いずれか一方の画像の所定位置の画素の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として読み出し、他方の画像の対応位置の画素の画素値を比較画素値（ｒ，ｇ，ｂ）として読み出す処理を行う。
【００７２】
類否判定部２２０は、比較画素値（ｒ，ｇ，ｂ）が、基準画素値（Ｒ，Ｇ，Ｂ）について設定された所定の類似範囲に入っているか否かを判定する処理を行う。具体的には、図７に示す円柱モデルを利用する場合、三原色の各画素値を各座標軸にとった三次元座標系において、基準画素値（Ｒ，Ｇ，Ｂ）に対応する座標に位置する基準点Ａ（Ｒ，Ｇ，Ｂ）と比較画素値（ｒ，ｇ，ｂ）に対応する座標に位置する比較点Ｐ（ｒ，ｇ，ｂ）をとり、基準点Ａを中心とする所定サイズの円柱Ｃと比較点Ｐとの位置関係を調べ、比較点Ｐが円柱Ｃの外部に位置する場合には非類似との判定を行い、内部に位置する場合には類似との判定を行う。このとき、円柱Ｃのサイズは、所定の判定パラメータによって決定される。
【００７３】
そして、画素値書込部２３０は、マスク画像Ｍを構成する所定位置（画素値読出部２１０の読出対象となった位置）の画素の画素値として、類否判定部２２０の判定結果に応じた値を定め、マスク画像格納部３１０に書き込む処理を行う。すなわち、類否判定部２２０が類似と判定した場合には背景領域Ｂを示す画素値（たとえば、「１」）を、類否判定部２２０が非類似と判定した場合には前景領域Ｆを示す画素値（たとえば、「０」）を、それぞれマスク画像格納部３１０に書き込む処理を行う。
【００７４】
マスク画像格納部３１０は、こうして作成されたマスク画像Ｍを格納する構成要素であり、画像出力部３２０は、このマスク画像Ｍを出力する構成要素である。
【００７５】
一方、パラメータ設定部３３０は、平均画像作成部１３０による平均画像作成処理に利用されるパラメータｗ（図３に示す重みｗ）と、類否判定部２２０の類否判定処理に利用される判定パラメータ（図７に示す円柱Ｃの半径と長さＬ）とを、ユーザの操作入力によって任意の値に設定する機能を有する。ユーザは、必要に応じて、これらパラメータの値を調整することにより、より精度の高い検出結果を得ることができる。もっとも、これらのパラメータの一部もしくは全部は、固定値にしておくことも可能である。全部のパラメータ値を固定値にする実施例では、パラメータ設定部３３０を設ける必要はない。
【００７６】
なお、実用上、この図８に示す移動物体検出装置は、コンピュータに専用のプログラムを組み込むことにより構築することができ、図８に各ブロックで示す構成要素は、コンピュータのハードウエアとソフトウエアとの組み合わせによって実現することができる。もちろん、この移動物体検出装置を半導体集積回路として構成することも可能である。
【００７７】
この移動物体検出装置による検出精度を向上させるには、各パラメータの値を利用環境に合致した最適値に設定することが重要である。また、類否判定部２２０において適切な判定アルゴリズムを用いることも重要である。ここでは、図７に示す円柱モデルを利用した例を述べたが、たとえば、§７で述べる回転楕円体モデルを利用すると、一般的に検出精度の向上を図ることができる。
【００７８】
このように、図８に示す移動物体検出装置の検出精度を向上させるために、様々な工夫を施すことが可能であるが、本願発明者が行った実験によると、時刻や天候などによる照明変動の影響を完全に排除することは困難であり、依然として、誤検出が生じる問題がある。
【００７９】
図１に示す各原画像Ｐ１０〜Ｐ４０には、背景部分に全く同じ画像が描かれているが、実際の風景では、雲の動きで太陽光による照明環境が変化し、風により樹木の葉の位置や向きが微妙に変化する。したがって、類否判定部２２０における画素の類否判定基準を厳しくすると（たとえば、図７に示す円柱モデルの場合、円柱Ｃのサイズを小さくすると）、実際には背景部分であるのに、非類似との誤判定が生じ、前景領域Ｆ内の画素との認定がなされてしまう。逆に、画素の類否判定基準を緩めると、実際には前景部分であるのに、類似との誤判定が生じ、背景領域Ｂ内の画素との認定がなされてしまう。
【００８０】
もちろん、過去に入力された多数の原画像に対して、より複雑な統計処理を施して背景画像を決定するようにすれば、検出精度の向上を図ることが可能であるが、そのためには演算処理が極めて複雑になり、一般的なプロセッサによるリアルタイム処理を行うことが困難になる。また、多数のフレームにわたって入力画像を格納しておく必要があるため、大容量の画像バッファメモリが必要になる。
【００８１】
本発明は、このような問題を解決するための提案であり、その目的は、演算処理の負担を軽減しつつ、日照変化などの自然現象に起因した誤検出を排除し、より正確な検出を行うことが可能な移動物体検出装置を提供することにある。以下、本発明に係る移動物体検出装置の構成および動作を説明する。
【００８２】
＜＜＜ §４．本発明に係る移動物体検出装置 ＞＞＞
本発明に係る移動物体検出装置は、図８に示した従来提案されている移動物体検出装置を改良したものであり、その基本構成を図９に示す。図示のとおり、この装置は、画像入力部１１０、原画像格納部１２０、平均画像作成部１３０、参照画像作成部１３５、平均画像格納部１４０、参照画像格納部１４５、画像比較部４００、マスク画像格納部３１０、画像出力部３２０、パラメータ設定部３４０によって構成され、動画画像について移動物体を検出する移動物体検出装置として機能する。
【００８３】
この図９に示す各構成要素のうち、画像入力部１１０、原画像格納部１２０、平均画像作成部１３０、平均画像格納部１４０の機能は、図８に同符号で示す各構成要素の機能と全く同じである。すなわち、画像入力部１１０は、時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する機能を果たし、原画像格納部１２０は、入力された原画像を逐次格納する機能を果たす。
【００８４】
また、平均画像作成部１３０は、新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した平均画像とに基づいて、新たな平均画像を作成する機能を果たし、平均画像格納部１４０は、作成された平均画像を逐次格納する機能を果たす。たとえば、画像入力部１１０によって第ｉ番目の原画像Ｐ（ｉ）が入力され、原画像格納部１２０に格納された場合、平均画像作成部１３０は、平均画像格納部１４０から直前に作成した平均画像Ａ（ｉ−１）を読み出し、原画像格納部１２０から新たな原画像Ｐ（ｉ）を読み出し、これらの画像に基づいて、新たな平均画像Ａ（ｉ）を作成し、これを平均画像格納部１４０に格納する。
【００８５】
より具体的には、平均画像作成部１３０は、第１番目の原画像Ｐ（１）をそのまま第１番目の平均画像Ａ（１）として平均画像格納部１４０に格納し、第ｉ番目（ｉ≧２）の原画像Ｐ（ｉ）が入力された場合、この第ｉ番目の原画像Ｐ（ｉ）と第（ｉ−１）番目の平均画像Ａ（ｉ−１）とについて、互いに対応する位置にある画素の三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を各画素値とする画素の集合からなる画像を第ｉ番目（ｉ≧２）の平均画像Ａ（ｉ）として平均画像格納部１４０に格納する。
【００８６】
一方、参照画像作成部１３５および参照画像格納部１４５は、本発明に係る移動物体検出装置において新たに付加された構成要素である。参照画像作成部１３５は、画像入力部１１０によって新たな原画像が入力されるたびに、直前に作成した参照画像に基づいて新たな参照画像を作成する機能を果たし、参照画像格納部１４５は、作成された参照画像を逐次格納する機能を果たす。これらの具体的な機能については、後に詳述する。
【００８７】
また、画像比較部４００は、図８に示す画像比較部２００と同様に、画像を個々の画素単位で比較し、類否判定を行う機能をもった構成要素であるが、その比較対象には、新たに参照画像が加わることになる。すなわち、画像比較部４００は、原画像格納部１２０に格納された原画像Ｐと、平均画像格納部１４０に格納された平均画像Ａと、参照画像格納部１４５に格納された参照画像Ｕと、を用いた比較処理により、前景領域Ｆと背景領域Ｂとを区別するマスク画像Ｍを作成する機能を果たす。図示のとおり、画像比較部４００は、画素値読出部４１０、前背判定部４５０、画素値書込部４６０によって構成されているが、これら各構成要素の機能については後に詳述する。
【００８８】
図９に示すマスク画像格納部３１０および画像出力部３２０の機能も、図８に同符号で示す各構成要素の機能と全く同じである。すなわち、マスク画像格納部３１０は、画像比較部４００によって作成されたマスク画像Ｍを格納する機能を果たし、画像出力部３２０は、当該マスク画像Ｍを出力する機能を果たす。
【００８９】
パラメータ設定部３４０は、この装置で利用されるパラメータを設定する構成要素である。この装置の場合、平均画像作成部１３０で用いられる重みｗ、参照画像作成部１３５で用いられる重みｖ、前背判定部４５０で用いられる判定パラメータ（たとえば、図７に示す円柱モデルを利用した類否判定を行う場合は、円柱Ｃの半径と長さＬ）を、パラメータ設定部３４０によって設定することができる。ユーザは、必要に応じて、パラメータ設定部３４０に対して操作入力を行い、これらパラメータの値を調整し、より精度の高い検出結果を得ることができる。もちろん、これらのパラメータの一部もしくは全部は、固定値にしておくことも可能であり、全部のパラメータ値を固定値にする実施例では、パラメータ設定部３４０を設ける必要はない。
【００９０】
図９に示す本発明に係る移動物体検出装置が、図８に示す従来の移動物体検出装置と大きく異なる点は、参照画像作成部１３５および参照画像格納部１４５を新たに付加した点と、画像比較部２００の代わりに画像比較部４００を設けた点である。そこで、まず、画像比較部４００の処理機能について説明する。図示のとおり、画像比較部４００は、画素値読出部４１０、前背判定部４５０、画素値書込部４６０によって構成されており、前背判定部４５０は、第１判定部４２０、第２判定部４３０、総合判定部４４０によって構成されている。
【００９１】
画素値読出部４１０は、画像入力部１１０が第ｉ番目の原画像Ｐ（ｉ）を入力し、これを原画像格納部１２０に格納するたびに、この原画像格納部１２０に格納されている第ｉ番目の原画像Ｐ（ｉ）、平均画像格納部１４０に格納されている第（ｉ−１）番目の平均画像Ａ（ｉ−１）、参照画像格納部１４５に格納されている第（ｉ−１）番目の参照画像Ｕ（ｉ−１）から、それぞれ対応する所定位置にある画素の画素値を読み出す処理を行う。ここでは、対応する所定位置にある各画素の画素値をそれぞれｐ（ｉ），ａ（ｉ−１），ｕ（ｉ−１）で表すことにする。原画像Ｐ，平均画像Ａ，参照画像Ｕは、いずれも同じ二次元画素配列をもった画像であり、対応する所定位置にある各画素とは、この二次元画素配列において同一座標（ｘ，ｙ）に位置する画素ということになる。
【００９２】
こうして画素値読出部４１０が読み出した、同一座標（ｘ，ｙ）に位置する画素の画素値ｐ（ｉ），ａ（ｉ−１），ｕ（ｉ−１）は、前背判定部４５０に与えられる。なお、前述したとおり、実際には、各画素は、三原色Ｒ，Ｇ，Ｂの成分を有しているので、画素値ｐ（ｉ），ａ（ｉ−１），ｕ（ｉ−１）は、それぞれ三原色Ｒ，Ｇ，Ｂの成分ごとに独立した値をもつことになる。たとえば、画素値ｐ（ｉ）は、実際には、Ｒ色成分ｐ（ｉ）ｒ，Ｇ色成分ｐ（ｉ）ｇ，Ｂ色成分ｐ（ｉ）ｂという３通りの画素値の集合体であるが、ここでは便宜上、単に画素値ｐ（ｉ）と呼ぶことにする。
【００９３】
前背判定部４５０は、画素値読出部４１０によって読み出された画素値ｐ（ｉ），ａ（ｉ−１），ｕ（ｉ−１）に基づいて、第ｉ番目の原画像Ｐ（ｉ）の所定位置（座標（ｘ，ｙ）の位置）にある画素が前景画素か背景画素かを判定する処理を行う。ここでは、判定結果をＪなる論理値で表す。具体的には、判定結果がＪ＝０であれば前景画素、Ｊ＝１であれば背景画素であることを示す。
【００９４】
前背判定部４５０は、第１判定部４２０、第２判定部４３０、総合判定部４４０によって構成されており、座標（ｘ，ｙ）に位置する画素についての判定を次のようなプロセスで実行する。まず、第１判定部４２０は、第ｉ番目の原画像Ｐ（ｉ）を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の平均画像Ａ（ｉ−１）を構成する画素の画素値ａ（ｉ−１）とを比較して類似するか否かを判定する。一方、第２判定部４３０は、第ｉ番目の原画像Ｐ（ｉ）を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の参照画像Ｕ（ｉ−１）を構成する画素の画素値ｕ（ｉ−１）とを比較して類似するか否かを判定する。そして、総合判定部４４０は、第１判定部４２０による判定結果および第２判定部４３０による判定結果の少なくとも一方が類似を示す場合には背景画素との判定を行い判定結果Ｊ＝１を出力し、双方とも非類似を示す場合には前景画素との判定を行い判定結果Ｊ＝０を出力する。
【００９５】
第１判定部４２０および第２判定部４３０は、２つの画素間の類否判定を行うことになるが、その具体的な方法は§２で例示したとおりである。たとえば、図７に示す円柱モデルを利用する場合、第１判定部４２０は、次のような方法で、画素値ｐ（ｉ）と画素値ａ（ｉ−１）との類否判定を行うことができる。まず、画素値ａ（ｉ−１）を構成する三原色の各画素値に基づいて、ＲＧＢ三次元座標系に基準点Ａをプロットし、この基準点Ａを中心とする所定サイズの基準立体として円柱Ｃを配置する。次に、画素値ｐ（ｉ）を構成する三原色の各画素値に基づいて、ＲＧＢ三次元座標系に比較点Ｐをプロットする。そして、円柱Ｃと比較点Ｐとの位置関係を調べ、比較点Ｐが円柱Ｃの外部に位置する場合には非類似との判定を行い、内部に位置する場合には類似との判定を行えばよい。第２判定部４３０も、同様の方法で、画素値ｐ（ｉ）と画素値ｕ（ｉ−１）との類否判定を行うことができる。
【００９６】
総合判定部４４０は、これら２通りの判定結果に基づき、少なくとも一方が類似を示す場合には判定結果Ｊ＝１（背景画素との判定結果）を出力し、双方とも非類似を示す場合には判定結果Ｊ＝０（前景画素との判定結果）を出力する。このような判定結果の出力は、第１判定部４２０および第２判定部４３０の判定結果の論理和として得ることができる。すなわち、第１判定部４２０および第２判定部４３０が、類似との判定結果を論理値「１」として出力し、非類似との判定結果を論理値「０」として出力するようにしておけば、総合判定部４４０は、これらの各判定結果の論理和として、最終的な判定結果Ｊを出力することができる。
【００９７】
画素値書込部４６０は、第ｉ番目のマスク画像Ｍ（ｉ）を構成する所定位置（座標（ｘ，ｙ）の位置）の画素の画素値として、前背判定部４５０が背景画素と判定した場合には背景領域を示す画素値（この例では、判定結果Ｊと同じ論理値「１」）を、前背判定部４５０が前景画素と判定した場合には前景領域を示す画素値（この例では、判定結果Ｊと同じ論理値「０」）を、それぞれマスク画像格納部３１０に書き込む処理を行う。
【００９８】
以上、画像比較部４００が、特定の座標（ｘ，ｙ）に位置する１画素について実行する具体的な処理を述べたが、このような処理が、１枚の画像を構成する全画素について繰り返し実行される。こうして、原画像格納部１２０に格納された第ｉ番目の原画像Ｐ（ｉ）を構成する全画素について、それぞれ背景画素か前景画素かの判定が行われることになり、その判定結果に基づいて、マスク画像格納部３１０内に第ｉ番目（ｉ≧２）のマスク画像Ｍ（ｉ）が得られることになる。こうして得られたマスク画像Ｍ（ｉ）において、前景画素からなる領域（上例の場合、画素値「０」をもった領域）は、前景領域、すなわち、「移動物体が存在する」と判断できる領域ということになる。
【００９９】
続いて、参照画像作成部１３５および参照画像格納部１４５の処理機能について説明する。参照画像作成部１３５および参照画像格納部１４５の役割は、平均画像作成部１３０および平均画像格納部１４０の役割と対比して考えることができる。後者は、平均画像Ａを作成しこれを逐次格納する役割を果たすのに対して、前者は、参照画像Ｕを作成しこれを逐次格納する役割を果たす。そして、平均画像Ａも参照画像Ｕも、画像比較部４００において、原画像Ｐと比較されることになる。この比較処理では、平均画像Ａも参照画像Ｕも、原画像Ｐに対する背景としての意味合いをもつ。ただ、平均画像Ａと参照画像Ｕとは、その作成プロセスが異なるため、原画像に動的変化が生じた場合、その追従性に差が生じることになる。
【０１００】
平均画像作成部１３０による平均画像Ａの作成処理は、既に§３で述べたとおりである。すなわち、平均画像作成部１３０は、まず、初期設定として、第１番目の原画像Ｐ（１）をそのまま第１番目の平均画像Ａ（１）として、平均画像格納部１４０に格納する処理を行う。続いて、第２番目以降の原画像が入力されると、第ｉ番目の原画像Ｐ（ｉ）と第（ｉ−１）番目の平均画像Ａ（ｉ−１）とについて、互いに対応する位置にある画素の三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を各画素値とする画素の集合からなる画像を第ｉ番目（ｉ≧２）の平均画像Ａ（ｉ）として、平均画像格納部１４０に格納する処理を行う。
【０１０１】
図１０は、図９に示す移動物体検出装置の各構成要素で実行される演算内容を示す図である。図の上段には、平均画像作成部１３０で実行される演算内容が式（１Ａ）として示されている。この式（１Ａ）は、図３に示す式（１）と同じものである。要するに、平均画像作成部１３０は、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部１４０へ格納する処理を行い（図１０上段の但し書）、以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ） 式（１Ａ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
前記所定位置の画素の前記所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成することになる。
【０１０２】
これに対して、参照画像作成部１３５による参照画像Ｕの作成処理は、次のようなプロセスによって行われる。すなわち、参照画像作成部１３５は、まず、初期設定として、第１番目の原画像Ｐ（１）をそのまま第１番目の参照画像Ｕ（１）として、参照画像格納部１４５に格納する処理を行う。続いて、第２番目以降の原画像が入力されると、直前の参照画像に基づいて、次のような方法で新たな参照画像を作成する処理を行う。すなわち、第ｉ番目（ｉ≧２）の原画像Ｐ（ｉ）が入力され、この原画像Ｐ（ｉ）を構成する個々の画素について、前背判定部４５０において前景画素か背景画素かの判定が行われたら、参照画像作成部１３５は、参照画像格納部１４５に格納されている第（ｉ−１）番目の参照画像Ｕ（ｉ−１）を構成する個々の画素のうち、前背判定部４５０によって第ｉ番目の原画像Ｐ（ｉ）の対応画素が前景画素と判定された画素については、更新せずに、もとの画素値ｕ（ｉ−１）をそのまま維持し、前背判定部４５０によって第ｉ番目の原画像Ｐ（ｉ）の対応画素が背景画素と判定された画素については、当該画素と第（ｉ−１）番目の平均画像Ａ（ｉ−１）の対応する位置にある画素とについて、三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を新画素値として更新することにより、第ｉ番目（ｉ≧２）の参照画像Ｕ（ｉ）を作成する処理を行う。
【０１０３】
図１０の中段には、参照画像作成部１３５で実行される演算内容が示されている。すなわち、参照画像作成部１３５は、最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の参照画像Ｕ（１）として参照画像格納部へ格納する処理を行い（図１０中段の最下行）、以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の参照画像Ｕ（ｉ）の各画素値を、次のような方法で決定する処理を行う。
【０１０４】
この決定処理では、前背判定部４５０による判定結果が利用される。すなわち、前背判定部４５０によって背景画素と判定された画素（判定結果Ｊ＝１が得られた画素）については、
ｕ（ｉ）＝（１−ｖ）・ｕ（ｉ−１）＋ｖ・ａ（ｉ−１） 式（１Ｂ）
（但し、ｕ（ｉ）は、平均画像Ｕ（ｉ）の
所定位置の画素の所定色の画素値、
ｕ（ｉ−１）は、平均画像Ｕ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｖは、所定の重みを示すパラメータ（ｖ＜１））
なる演算式を用いて求められた画素値ｕ（ｉ）に更新し、
前景画素と判定された画素（判定結果Ｊ＝０が得られた画素）については、
ｕ（ｉ）＝ｕ（ｉ−１） 式（１Ｃ）
として、更新せずに、もとの画素値をそのまま維持する。
【０１０５】
図１０の下段には、前背判定部４５０で実行される判定処理の概念が表として示されている。前述したとおり、前背判定部４５０における判定処理は、第１判定部４２０で行われる画素値ｐ（ｉ）とａ（ｉ−１）との類否判定処理（表の横欄）と、第２判定部４３０で行われる画素値ｐ（ｉ）とｕ（ｉ−１）との類否判定処理（表の縦欄）と、これらの判定結果に基づいて総合判定部４４０で行われる総合判定処理と、によって構成される。図１０下段の表の横欄は、第１判定部４２０による判定結果の別（類似○／非類似×）を示し、縦欄は、第２判定部４３０による判定結果の別（類似○／非類似×）を示している。総合判定部４４０は、少なくとも一方が「類似○」を示す場合には背景画素（Ｊ＝１）、双方とも「非類似×」を示す場合には前景画素（Ｊ＝０）との判定を行うことになる。参照画像作成部１３５は、この判定結果Ｊを利用して、図１０の中段に示す処理を実行する。
【０１０６】
なお、実用上、この図９に示す移動物体検出装置も、コンピュータに専用のプログラムを組み込むことにより構築することができ、図９に各ブロックで示す構成要素は、コンピュータのハードウエアとソフトウエアとの組み合わせによって実現することができる。もちろん、この移動物体検出装置を半導体集積回路として構成することも可能である。
【０１０７】
＜＜＜ §５．画像変遷の実例 ＞＞＞
図１１および図１２は、図９に示す移動物体検出装置における各画像の変遷の一例を示す図である。前述したとおり、本発明を監視システムなどに利用する場合、実際には、原画像Ｐは１秒間に３０フレーム程度の周期で入力されることになるが、ここでは、便宜上、平均画像Ａと参照画像Ｕとの変遷態様の相違を説明するのに都合が良い非現実的なモデルを用いた変遷例を示すことにする。図１１および図１２に股がって示されている縦方向軸は、時間軸に対応しており、ｔ１〜ｔ１５は時間軸上の各時点を示す。また、横方向に並べた３つの画像は、それぞれ各時点における原画像Ｐ，平均画像Ａ，参照画像Ｕを示している。
【０１０８】
＜第１の時点ｔ１＞
まず、第１の時点ｔ１において、図示のような原画像Ｐ（１）が与えられたものとしよう。ここでは、便宜上、原画像Ｐ（１）を真っ白な画像として示しているが、この真っ白な画像は、街頭に設置された監視カメラから見た背景を示す画像であるものとする。
【０１０９】
このような第１番目の原画像Ｐ（１）が与えられると、平均画像作成部１３０は、当該原画像Ｐ（１）をそのまま第１番目の平均画像Ａ（１）として平均画像格納部１４０に格納する。同様に、参照画像作成部１３５は、当該原画像Ｐ（１）をそのまま第１番目の参照画像Ｕ（１）として参照画像格納部１４５に格納する。したがって、図１１の最上段に示すとおり、第１の時点ｔ１では、図示のような画像Ｐ（１），Ａ（１），Ｕ（１）が得られることになる。
【０１１０】
なお、原画像Ｐ（１），平均画像Ａ（１），参照画像Ｕ（１）内に示された小さな正方形は、それぞれ同一位置（ｘ，ｙ）の画素ｐ（１），ａ（１），ｕ（１）を示している。以下、個々の画像について、この特定位置（ｘ，ｙ）に配置された特定の画素を代表画素として、この代表画素についてのみ、その画素値の変遷を追ってゆくことにする。ここで、各画素ｐ（１），ａ（１），ｕ（１）の画素値も画素と同じ符号で示すことにすれば、時点ｔ１では、当然ながら、ｐ（１）＝ａ（１）＝ｕ（１）である。
【０１１１】
＜第２の時点ｔ２＞
続いて、第２の時点ｔ２において、図示のような原画像Ｐ（２）が与えられたものとしよう。ここで、原画像Ｐ（２）は原画像Ｐ（１）と全く同じ画像であり、監視カメラから見た背景に何ら変わりがなかった例を示している。したがって、画素値ｐ（２）＝ｐ（１）である。次に、特定位置（ｘ，ｙ）に配置された画素についての前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（２）と、１つ前の時点の画素ａ（１）との類否判定が行われ、第２判定部４３０では、画素ｐ（２）と、１つ前の時点の画素ｕ（１）との類否判定が行われる。図に実線で示す矢印は、この類否判定の相手先を示しており、矢印上の記号「○／×」は判定結果（○は類似／×は非類似）を示している。図示のとおり、ｐ（２）＝ａ（１）であり、ｐ（２）＝ｕ（１）であるから、いずれも類似「○」との判定結果が得られ、前背判定部４５０は、Ｊ＝１なる判定結果を出す。これは、画素ｐ（２）が背景画素と判定されたことを意味する。
【０１１２】
さて、平均画像作成部１３０は、このような判定結果に依存することなしに、常に、図１０に示す式（１Ａ）に従って、平均画像Ａの画素値ａを更新する処理を行う。すなわち、時点ｔ２における平均画像Ａ（２）の特定位置（ｘ，ｙ）に配置されたの画素の画素値ａ（２）は、式（１Ａ）に従って、ａ（２）＝（１−ｗ）・ａ（１）＋ｗ・ｐ（２）なる演算によって求められ、画素値ａ（１）はａ（２）に更新される。図の画素ａ（１）から画素ａ（２）に向かう破線および画素ｐ（２）から画素ａ（２）に向かう破線は、式（１Ａ）に従って、画素値ａ（１）および画素値ｐ（２）に基づいて画素値ａ（２）が決定されることを示している。もっとも、実際には、ａ（１）＝ｐ（２）であるから、ａ（２）＝ａ（１）となり、画素値自身に変動は生じない。
【０１１３】
これに対して、参照画像作成部１３５は、図１０に示すとおり、判定結果Ｊに依存して異なる処理を行うことになる。ここに示す例の場合、時点ｔ２についての判定結果は、上述したとおり、Ｊ＝１になるので、参照画像作成部１３５は、図１０に示す式（１Ｂ）に従って、参照画像Ｕの画素値ｕを更新する処理を行う。すなわち、時点ｔ２における参照画像Ｕ（２）の特定位置（ｘ，ｙ）に配置されたの画素の画素値ｕ（２）は、式（１Ｂ）に従って、ｕ（２）＝（１−ｖ）・ｕ（１）＋ｖ・ａ（１）なる演算によって求められ、画素値ｕ（１）はｕ（２）に更新される。図の画素ｕ（１）から画素ｕ（２）に向かう破線および画素ａ（１）から画素ｕ（２）に向かう破線は、式（１Ｂ）に従って、画素値ａ（１）および画素値ｕ（１）に基づいて画素値ｕ（２）が決定されることを示している。もっとも、実際には、ａ（１）＝ｕ（１）であるから、ｕ（２）＝ｕ（１）となり、画素値自身に変動は生じない。
【０１１４】
＜第３の時点ｔ３＞
続いて、第３の時点ｔ３において、図示のような原画像Ｐ（３）が与えられたものとしよう。ここで、原画像Ｐ（３）は、視界に車両Ｖが侵入してきたため、背景上に車両Ｖ（移動物体）が重なった状態の画像になっている。したがって、画素値ｐ（３）≠ｐ（２）である。図では、画素ｐ（３）を含む車両Ｖの部分を二重斜線ハッチング領域として示してある。
【０１１５】
この時点ｔ３における特定位置（ｘ，ｙ）に配置された画素についての前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（３）と、１つ前の時点の画素ａ（２）との類否判定が行われ、第２判定部４３０では、画素ｐ（３）と、１つ前の時点の画素ｕ（２）との類否判定が行われる。ここでは、説明の便宜上、車両Ｖの部分（図の二重斜線ハッチング部分）の色が背景部分（図の白地部分）と大きく異なっているものとしよう。そうすると、ｐ（３）≠ａ（２）であり、ｐ（３）≠ｕ（２）であるから、いずれも非類似「×」との判定結果が得られ、前背判定部４５０は、Ｊ＝０なる判定結果を出す。これは、画素ｐ（３）が前景画素と判定されたことを意味する。したがって、第３のマスク画像Ｍ３において、特定位置（ｘ，ｙ）の画素は前景領域（移動物体の領域）に含まれる。
【０１１６】
さて、平均画像作成部１３０は、このような判定結果に依存することなしに、常に、図１０に示す式（１Ａ）に従って、平均画像Ａの画素値ａを更新する処理を行う。すなわち、時点ｔ３における平均画像Ａ（３）の特定位置（ｘ，ｙ）に配置されたの画素の画素値ａ（３）は、式（１Ａ）に従って、ａ（３）＝（１−ｗ）・ａ（２）＋ｗ・ｐ（３）なる演算によって求められ、画素値ａ（２）はａ（３）に更新される。ここで、画素値ａ（３）は、画素値ｐ（３）の影響を受けるため、画素値ａ（２）から変動することになる。図では、このようにして画素値が変動した画素ａ（３）に中濃ハッチングを施して示すことにする。
【０１１７】
一方、参照画像作成部１３５は、図１０に示すとおり、判定結果Ｊ＝０の場合は、値を更新しない。したがって、１つ前の時点の画素値ｕ（２）をそのまま画素値ｕ（３）として維持することになる。図の画素ｕ（２）から画素ｕ（３）に向かう破線は、更新が行われずに、元の画素値がそのまま維持されることを示している。
【０１１８】
＜第４の時点ｔ４＞
続いて、第４の時点ｔ４において、図示のような原画像Ｐ（４）が与えられたものとしよう。この原画像Ｐ（４）では、車両Ｖが視界から消え、元の原画像Ｐ（１），Ｐ（２）と同じ状態に戻っている。したがって、画素値ｐ（４）≠ｐ（３）である。
【０１１９】
この時点ｔ４における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（４）と、１つ前の時点の画素ａ（３）との類否判定が行われ、第２判定部４３０では、画素ｐ（４）と、１つ前の時点の画素ｕ（３）との類否判定が行われる。ここでは、説明の便宜上、図の中濃ハッチング部分で示す色が、白地部分で示す色の類似範囲内にギリギリ入っていたものとしよう。実際、重みｗの値を０．０１程度に設定すると、車両Ｖが視界を通り過ぎた程度では、平均画像Ａの画素値変動はそれほど大きくなく、画素値ｐ（４）とａ（３）とが類似範囲に入るケースは現実的である。また、画素値ｕ（３）は更新されずに画素値ｕ（２）を維持しているので、当然、画素値ｐ（４）＝ｕ（３）である。よって、いずれの判定においても類似「○」との判定結果が得られ、前背判定部４５０は、Ｊ＝１なる判定結果を出す。これは、画素ｐ（４）が背景画素と判定されたことを意味する。
【０１２０】
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（４）＝（１−ｗ）・ａ（３）＋ｗ・ｐ（４）なる演算によって求められ、画素値ａ（３）はａ（４）に更新される。ここで、画素値ａ（４）は、画素値ｐ（４）の影響を受けるため、画素値ａ（３）から変動する。図では、このようにして画素値が変動した画素ａ（４）を白地の画素として示してある。
【０１２１】
これに対して、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（４）＝（１−ｖ）・ｕ（３）＋ｖ・ａ（３）なる演算によって求められ、画素値ｕ（３）はｕ（４）に更新される。図では、このようにして画素値が変動した画素ｕ（４）に薄いハッチングを施して示すことにする。
【０１２２】
＜第５の時点ｔ５＞
続いて、第５の時点ｔ５において、図示のような原画像Ｐ（５）が与えられたものとしよう。この原画像Ｐ（５）では、再び視界に車両Ｖが侵入してきたため、背景上に車両Ｖ（移動物体）が重なった状態の画像になっている。したがって、画素値ｐ（５）≠ｐ（４）である。図では、画素ｐ（５）を含む車両Ｖの部分を二重斜線ハッチング領域として示してある。
【０１２３】
この時点ｔ５における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（５）と、１つ前の時点の画素ａ（４）との類否判定が行われ、第２判定部４３０では、画素ｐ（５）と、１つ前の時点の画素ｕ（４）との類否判定が行われる。図示の例では、いずれも非類似「×」との判定結果が得られ、前背判定部４５０は、Ｊ＝０なる判定結果を出している。これは、画素ｐ（５）が前景画素と判定されたことを意味する。したがって、第５のマスク画像Ｍ５において、特定位置（ｘ，ｙ）の画素は前景領域（移動物体の領域）に含まれる。
【０１２４】
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（５）＝（１−ｗ）・ａ（４）＋ｗ・ｐ（５）なる演算を行い、画素値ａ（４）はａ（５）に更新される。図では、このようにして画素値が変動した画素ａ（５）に中濃ハッチングを施して示してある。一方、参照画像作成部１３５は、判定結果Ｊ＝０を受けて、値を更新しない。したがって、１つ前の時点の画素値ｕ（４）をそのまま画素値ｕ（５）として維持することになる。
【０１２５】
＜第６の時点ｔ６＞
続いて、第６の時点ｔ６において、図示のような原画像Ｐ（６）が与えられたものとしよう。ここでは、時点ｔ５で侵入してきた車両Ｖが、そのままの位置で駐車してしまった場合を考えてみよう。この場合、原画像Ｐ（６）は原画像Ｐ（５）と全く同じになる。
【０１２６】
この時点ｔ６における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（６）と、１つ前の時点の画素ａ（５）との類否判定が行われ、第２判定部４３０では、画素ｐ（６）と、１つ前の時点の画素ｕ（５）との類否判定が行われる。図示の例では、いずれも非類似「×」との判定結果が得られ、前背判定部４５０は、Ｊ＝０なる判定結果を出している。これは、画素ｐ（６）が前景画素と判定されたことを意味する。したがって、第６のマスク画像Ｍ６において、特定位置（ｘ，ｙ）の画素は前景領域（移動物体の領域）に含まれる。
【０１２７】
一般に、重みｗ，ｖを小さく設定しておけば、原画像Ｐに対する平均画像Ａや参照画像Ｕの追随速度は小さくなるので、車両Ｖが駐車していた場合でも、当該車両Ｖが背景に溶け込み、背景の一部として認識されるまでには時間がかかることになる。したがって、図示の例では、車両Ｖは時点ｔ６ではまだ移動物体として認識されることになる。
【０１２８】
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（６）＝（１−ｗ）・ａ（５）＋ｗ・ｐ（６）なる演算を行い、画素値ａ（５）はａ（６）に更新される。図では、このようにして画素値が変動した画素ａ（５）に斜線ハッチングを施して示してある。一方、参照画像作成部１３５は、判定結果Ｊ＝０を受けて、値を更新しない。したがって、１つ前の時点の画素値ｕ（５）をそのまま画素値ｕ（６）として維持することになる。結果的に、時刻ｔ４の画素値ｕ（４）が時刻ｔ６においても画素値ｕ（６）として維持されることになる。
【０１２９】
＜第７の時点ｔ７＞
続いて、第７の時点ｔ７において、図示のような原画像Ｐ（７）が与えられたものとしよう。この例では、時点ｔ５で侵入してきた車両Ｖが駐車状態にあり、原画像Ｐ（７）は原画像Ｐ（６）と全く同じ状態である。
【０１３０】
この時点ｔ７における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（７）と、１つ前の時点の画素ａ（６）との類否判定が行われ、第２判定部４３０では、画素ｐ（７）と、１つ前の時点の画素ｕ（６）との類否判定が行われる。ここでは、第１判定部４２０では類似「○」との判定結果が得られ、第２判定部４３０では非類似「×」との判定結果が得られたものとしよう。平均画像Ａは新たな原画像Ｐにより常に更新されるのに対して、参照画像Ｕは条件付き更新が行われるので、原画像Ｐの変化に対する追随速度は両者で異なる。このため、２つの判定部による判定結果に差が生じることになる。
【０１３１】
図示の例では、画素ａ（６）の色は画素ｐ（７）の色にかなり近くなってきているため類似「○」との判定結果が得られたが、画素ｕ（６）の色は、まだ画素ｐ（７）の色に対して差があるため非類似「×」との判定結果が得られている。図１０の前背判定部４５０の判定表に示すとおり、一方が類似「○」、他方が非類似「×」との判定結果が得られた場合、前背判定部４５０は、当該画素を背景画素と判定し、Ｊ＝１なる判定結果を出力する。したがって、第７のマスク画像Ｍ７において、特定位置（ｘ，ｙ）の画素は背景領域に含まれる。すなわち、時点ｔ７において、駐車中の車両Ｖは背景に溶け込んだものと認識されることになる。
【０１３２】
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（７）＝（１−ｗ）・ａ（６）＋ｗ・ｐ（７）なる演算を行い、画素値ａ（６）はａ（７）に更新される。図では、このようにして画素値が変動した画素ａ（６）に斜線ハッチングを施して示してある（実際には、画素値ａ（６）とａ（７）とは若干異なるが、図では便宜上、同一ハッチングを施して示す）。一方、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（７）＝（１−ｖ）・ｕ（６）＋ｖ・ａ（６）なる演算を行い、画素値ｕ（６）をｕ（７）に更新する。図では、このようにして画素値が変動した画素ｕ（７）に中濃ハッチングを施して示してある。
【０１３３】
＜第８の時点ｔ８＞
続いて、第８の時点ｔ８において、図示のような原画像Ｐ（８）が与えられたものとしよう。この例では、時点ｔ５で侵入してきた車両Ｖが駐車状態にあり、原画像Ｐ（８）は原画像Ｐ（７）と全く同じ状態である。
【０１３４】
この時点ｔ８における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（８）と、１つ前の時点の画素ａ（７）との類否判定が行われ、第２判定部４３０では、画素ｐ（８）と、１つ前の時点の画素ｕ（７）との類否判定が行われる。ここでは、第１判定部４２０では類似「○」との判定結果が得られ、第２判定部４３０では非類似「×」との判定結果が得られたものとしよう。
【０１３５】
図示の例では、画素ａ（７）の色は画素ｐ（８）の色にかなり近くなってきているため類似「○」との判定結果が得られたが、画素ｕ（７）の色は、まだ画素ｐ（８）の色に対して差があるため非類似「×」との判定結果が得られている。その結果、前背判定部４５０は、当該画素を背景画素と判定し、Ｊ＝１なる判定結果を出力する。したがって、第８のマスク画像Ｍ８において、特定位置（ｘ，ｙ）の画素は背景領域に含まれる。
【０１３６】
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（８）＝（１−ｗ）・ａ（７）＋ｗ・ｐ（８）なる演算を行い、画素値ａ（７）はａ（８）に更新される。図では、このようにして画素値が変動した画素ａ（８）に斜線ハッチングを施して示してある（実際には、画素値ａ（７）とａ（８）とは若干異なるが、図では便宜上、同一ハッチングを施して示す）。一方、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（８）＝（１−ｖ）・ｕ（７）＋ｖ・ａ（７）なる演算を行い、画素値ｕ（７）をｕ（８）に更新する。図では、このようにして画素値が変動した画素ｕ（８）に斜線ハッチングを施して示してある。
【０１３７】
＜第９の時点ｔ９＞
続いて、図１２に示す第９の時点ｔ９について説明する（図１２の最上段に示す第８の時点ｔ８の各画像は、図１１の最下段に示す第８の時点ｔ８の各画像と同じものである）。ここでは、第９の時点ｔ９において、図示のような原画像Ｐ（９）が与えられたものとしよう。この例では、時点ｔ５で侵入してきた車両Ｖが依然として駐車状態にあり、原画像Ｐ（９）は原画像Ｐ（８）と全く同じ状態である。
【０１３８】
この時点ｔ９における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（９）と、１つ前の時点の画素ａ（８）との類否判定が行われ、第２判定部４３０では、画素ｐ（９）と、１つ前の時点の画素ｕ（８）との類否判定が行われる。ここでは、いずれの判定結果も類似「○」との判定結果が得られたものとしよう。すなわち、車両Ｖが長時間駐車していたため、平均画像Ａにおいても参照画像Ｕにおいても、この車両Ｖの領域が背景に溶け込んだ状態になり、画素ｐ（９）は、いずれの判定部においても背景画素と判定されるに至ったことになる。したがって、第９のマスク画像Ｍ９において、特定位置（ｘ，ｙ）の画素は背景領域に含まれる。
【０１３９】
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（９）＝（１−ｗ）・ａ（８）＋ｗ・ｐ（９）なる演算を行い、画素値ａ（８）はａ（９）に更新される。図では、このようにして画素値が変動した画素ａ（９）に斜線ハッチングを施して示してある（実際には、画素値ａ（８）とａ（９）とは若干異なるが、図では便宜上、同一ハッチングを施して示す）。一方、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（９）＝（１−ｖ）・ｕ（８）＋ｖ・ａ（８）なる演算を行い、画素値ｕ（８）をｕ（９）に更新する。図では、このようにして画素値が変動した画素ｕ（９）に斜線ハッチングを施して示してある（実際には、画素値ｕ（８）とｕ（９）とは若干異なるが、図では便宜上、同一ハッチングを施して示す）。
【０１４０】
＜第１０の時点ｔ１０＞
続いて、第１０の時点ｔ１０において、図示のような原画像Ｐ（１０）が与えられたものとしよう。この原画像Ｐ（１０）では、これまで駐車していた車両Ｖが視界から消え、第１番目の原画像Ｐ（１）と同じ状態に戻っている。したがって、画素値ｐ（１０）≠ｐ（９）である。
【０１４１】
この時点ｔ１０における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（１０）と、１つ前の時点の画素ａ（９）との類否判定が行われ、第２判定部４３０では、画素ｐ（１０）と、１つ前の時点の画素ｕ（９）との類否判定が行われる。画素ａ（９）および画素ｕ（９）の色は、いずれも車両Ｖの色にかなり近づいていたため、図示の例では、いずれも非類似「×」との判定結果が得られ、前背判定部４５０は、Ｊ＝０なる判定結果を出している。これは、画素ｐ（１０）が前景画素と判定されたことを意味する。したがって、第１０のマスク画像Ｍ１０において、特定位置（ｘ，ｙ）の画素は前景領域（移動物体の領域）に含まれる。
【０１４２】
結局、この例の場合、第１０の原画像Ｐ（１０）上には車両Ｖは存在していないが、第１０のマスク画像Ｍ１０上では、車両Ｖがかつて存在していた領域が前景領域Ｆとして検出されることになる。もちろん、現実的な監視カメラの撮影画像の場合は、時点ｔ９から時点ｔ１０に至るときに車両Ｖが忽然と消えることはなく、車両Ｖは画面上を徐々に移動して去ってゆくことになるので、実際には、徐々に移動中の車両Ｖの占有領域がマスク画像Ｍ上に前景領域Ｆとして現れることになる。
【０１４３】
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（１０）＝（１−ｗ）・ａ（９）＋ｗ・ｐ（１０）なる演算を行い、画素値ａ（９）はａ（１０）に更新される。図では、このようにして画素値が変動した画素ａ（１０）に中濃ハッチングを施して示してある。一方、参照画像作成部１３５は、判定結果Ｊ＝０を受けて、値を更新しない。したがって、１つ前の時点の画素値ｕ（９）をそのまま画素値ｕ（１０）として維持することになる。
【０１４４】
＜第１１の時点ｔ１１＞
続いて、第１１の時点ｔ１１において、図示のような原画像Ｐ（１１）が与えられたものとしよう。この例では、原画像Ｐ（１１）は、視界に車両Ｖが再び侵入してきたため、背景上に車両Ｖ（移動物体）が重なった状態の画像になっている。したがって、画素値ｐ（１１）≠ｐ（１０）である。
【０１４５】
この時点ｔ１１における特定位置（ｘ，ｙ）に配置された画素についての前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（１１）と、１つ前の時点の画素ａ（１０）との類否判定が行われ、第２判定部４３０では、画素ｐ（１１）と、１つ前の時点の画素ｕ（１０）との類否判定が行われる。ここでは、第１判定部４２０では非類似「×」との判定結果が得られ、第２判定部４３０では類似「○」との判定結果が得られたものとしよう。
【０１４６】
図示の例では、画素ａ（１０）の色は画素ｐ（１０）の影響を受けて背景の色に近づいていたため、車両の一部を構成する画素ｐ（１１）に対しては非類似「×」との判定結果が得られたが、画素ｕ（１０）は更新されなかったため、画素ｐ（１１）に対して類似「○」との判定結果が得られたことになる。図１０の前背判定部４５０の判定表に示すとおり、一方が類似「○」、他方が非類似「×」との判定結果が得られた場合、前背判定部４５０は、当該画素を背景画素と判定し、Ｊ＝１なる判定結果を出力する。したがって、第１１のマスク画像Ｍ１１において、特定位置（ｘ，ｙ）の画素は背景領域に含まれる。すなわち、ここに示す非現実的なモデルの場合、時点ｔ１１に出現した車両Ｖは、マスク画像Ｍ１１上では移動物体として検出されない。ただ、後述するように、マスク画像Ｍ１２上で検出されることになる。
【０１４７】
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（１１）＝（１−ｗ）・ａ（１０）＋ｗ・ｐ（１１）なる演算を行い、画素値ａ（１０）はａ（１１）に更新される。図では、このようにして画素値が変動した画素ａ（１１）に斜線ハッチングを施して示してある。一方、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（１１）＝（１−ｖ）・ｕ（１０）＋ｖ・ａ（１０）なる演算を行い、画素値ｕ（１０）をｕ（１１）に更新する。図では、このようにして画素値が変動した画素ｕ（１１）に斜線ハッチングを施して示してある（実際には、画素値ｕ（１０）とｕ（１１）とは若干異なるが、図では便宜上、同一ハッチングを施して示す）。
【０１４８】
＜第１２の時点ｔ１２＞
続いて、第１２の時点ｔ１２について説明する。ここでは、第１２の時点ｔ１２において、図示のような原画像Ｐ（１２）が与えられたものとしよう。この例では、車両Ｖが視界から消え、第１番目の原画像Ｐ（１）と同じ状態に戻っている。したがって、画素値ｐ（１２）≠ｐ（１１）である。
【０１４９】
この時点ｔ１２における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（１２）と、１つ前の時点の画素ａ（１１）との類否判定が行われ、第２判定部４３０では、画素ｐ（１２）と、１つ前の時点の画素ｕ（１１）との類否判定が行われる。画素ａ（１１）および画素ｕ（１１）の色は、いずれも車両Ｖの色にかなり近いため、図示の例では、いずれも非類似「×」との判定結果が得られ、前背判定部４５０は、Ｊ＝０なる判定結果を出している。これは、画素ｐ（１２）が前景画素と判定されたことを意味する。したがって、第１２のマスク画像Ｍ１２において、特定位置（ｘ，ｙ）の画素は前景領域（移動物体の領域）に含まれる。
【０１５０】
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（１２）＝（１−ｗ）・ａ（１１）＋ｗ・ｐ（１２）なる演算を行い、画素値ａ（１１）はａ（１２）に更新される。図では、このようにして画素値が変動した画素ａ（１２）に中濃ハッチングを施して示してある。一方、参照画像作成部１３５は、判定結果Ｊ＝０を受けて、値を更新しない。したがって、１つ前の時点の画素値ｕ（１１）をそのまま画素値ｕ（１２）として維持することになる。
【０１５１】
＜第１３の時点ｔ１３＞
続いて、第１３の時点ｔ１３において、図示のような原画像Ｐ（１３）が与えられたものとしよう。この例では、画像内に新たな車両の侵入はなく、原画像Ｐ（１３）は第１番目の原画像Ｐ（１）と全く同じ状態である。
【０１５２】
この時点ｔ１３における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（１３）と、１つ前の時点の画素ａ（１２）との類否判定が行われ、第２判定部４３０では、画素ｐ（１３）と、１つ前の時点の画素ｕ（１２）との類否判定が行われる。ここでは、第１判定部４２０では類似「○」との判定結果が得られ、第２判定部４３０では非類似「×」との判定結果が得られたものとしよう。前背判定部４５０は、この判定結果に基づいて当該画素を背景画素と判定し、Ｊ＝１なる判定結果を出力する。したがって、第１３のマスク画像Ｍ１３において、特定位置（ｘ，ｙ）の画素は背景領域に含まれる。
【０１５３】
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（１３）＝（１−ｗ）・ａ（１２）＋ｗ・ｐ（１３）なる演算を行い、画素値ａ（１２）はａ（１３）に更新される。図では、このようにして画素値が変動した画素ａ（１３）に薄いハッチングを施して示してある。一方、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（１３）＝（１−ｖ）・ｕ（１２）＋ｖ・ａ（１２）なる演算を行い、画素値ｕ（１２）をｕ（１３）に更新する。図では、このようにして画素値が変動した画素ｕ（１３）に中濃ハッチングを施して示してある。
【０１５４】
＜第１４の時点ｔ１４＞
続いて、第１４の時点ｔ１４について説明する。ここでは、第１４の時点ｔ１４において、図示のような原画像Ｐ（１４）が与えられたものとしよう。この例では、依然として画像内に車両の侵入はなく、原画像Ｐ（１４）は第１番目の原画像Ｐ（１）と全く同じ状態である。
【０１５５】
この時点ｔ１４における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（１４）と、１つ前の時点の画素ａ（１３）との類否判定が行われ、第２判定部４３０では、画素ｐ（１４）と、１つ前の時点の画素ｕ（１３）との類否判定が行われる。ここでは、いずれも類似「○」との判定結果が得られたものとしよう。前背判定部４５０は、この判定結果に基づいて当該画素を背景画素と判定し、Ｊ＝１なる判定結果を出力する。したがって、第１４のマスク画像Ｍ１４において、特定位置（ｘ，ｙ）の画素は背景領域に含まれる。
【０１５６】
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（１４）＝（１−ｗ）・ａ（１３）＋ｗ・ｐ（１４）なる演算を行い、画素値ａ（１３）はａ（１４）に更新される。図では、このようにして画素値が変動した画素ａ（１４）を白地で示してある。一方、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（１４）＝（１−ｖ）・ｕ（１３）＋ｖ・ａ（１３）なる演算を行い、画素値ｕ（１３）をｕ（１４）に更新する。図では、このようにして画素値が変動した画素ｕ（９）に薄いハッチングを施して示してある。
【０１５７】
＜第１５の時点ｔ１５＞
最後に、第１５の時点ｔ１５について説明する。ここでは、第１５の時点ｔ１５において、図示のような原画像Ｐ（１５）が与えられたものとしよう。この例では、依然として画像内に車両の侵入はなく、原画像Ｐ（１５）は第１番目の原画像Ｐ（１）と全く同じ状態である。
【０１５８】
この時点ｔ１５における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（１５）と、１つ前の時点の画素ａ（１４）との類否判定が行われ、第２判定部４３０では、画素ｐ（１５）と、１つ前の時点の画素ｕ（１４）との類否判定が行われる。ここでは、いずれも類似「○」との判定結果が得られたものとしよう。前背判定部４５０は、この判定結果に基づいて当該画素を背景画素と判定し、Ｊ＝１なる判定結果を出力する。したがって、第１５のマスク画像Ｍ１５において、特定位置（ｘ，ｙ）の画素は背景領域に含まれる。
【０１５９】
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（１５）＝（１−ｗ）・ａ（１４）＋ｗ・ｐ（１５）なる演算を行い、画素値ａ（１４）はａ（１５）に更新される。一方、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（１５）＝（１−ｖ）・ｕ（１４）＋ｖ・ａ（１４）なる演算を行い、画素値ｕ（１４）をｕ（１５）に更新する。
【０１６０】
＜＜＜ §６．平均画像と参照画像との双方を用いる利点 ＞＞＞
これまで、§３において、従来提案されている移動物体検出装置の構成（図８）を説明し、§４において、これを改良した本発明に係る移動物体検出装置の構成（図９）を説明した。いずれの装置を用いた場合も、新たに入力された原画像Ｐについて、背景領域Ｂと前景領域Ｆとを区別するマスク画像Ｍを得ることができ、前景領域Ｆは、移動物体が占めると推定される領域ということになる。
【０１６１】
ただ、図８に示す従来装置の場合、マスク画像Ｍは、画像比較部２００における第ｉ番目の原画像Ｐ（ｉ）と第（ｉ−１）番目の平均画像Ａ（ｉ−１）との比較結果に基づいて得られるのに対して、図９に示す本発明に係る装置の場合、マスク画像Ｍは、画像比較部４００における第ｉ番目の原画像Ｐ（ｉ）と第（ｉ−１）番目の平均画像Ａ（ｉ−１）との比較結果（第１判定部４２０の判定結果）と、第ｉ番目の原画像Ｐ（ｉ）と第（ｉ−１）番目の参照画像Ｕ（ｉ−１）との比較結果（第２判定部４３０の判定結果）と、の双方に基づいて得られることになる。別言すれば、図８に示す従来装置の場合、原画像Ｐと平均画像Ａとの比較により移動物体の検出を行っていたのに対し、図９に示す本発明に係る装置の場合、原画像Ｐを平均画像Ａと参照画像Ｕとの双方と比較することにより移動物体の検出を行うことになる。そこで、ここでは、平均画像Ａと参照画像Ｕとの双方を用いた移動物体検出の利点を説明する。
【０１６２】
平均画像Ａと参照画像Ｕとの大きな相違点は、§５に画像変遷の実例を示したように、平均画像Ａの各画素は、新たな原画像Ｐが入力されるたびに毎回必ず更新されるのに対して、参照画像Ｕの各画素は、必ずしも毎回更新されるわけではない、という点である。なお、ここで言う「更新」とは、必ずしも「画素値の変動」を指すものではなく、「前回の画素値をそのまま維持するのではなく、新たな画素値を与える」ことを意味する。したがって、たとえば、図１０上段に示す式（１Ａ）において、ｐ（ｉ）＝ａ（ｉ−１）であった場合、結果的にａ（ｉ）＝ａ（ｉ−１）になるが、第ｉ番目の平均画像Ａ（ｉ）の画素値として新たな画素値ａ（ｉ）が与えられているので、値が更新されていることになる。同様に、図１０中段に示す式（１Ｂ）において、ａ（ｉ−１）＝ｕ（ｉ−１）であった場合、結果的にｕ（ｉ）＝ｕ（ｉ−１）になるが、第ｉ番目の参照画像Ｕ（ｉ）の画素値として新たな画素値ｕ（ｉ）が与えられているので、値が更新されていることになる。これに対して、図１０中段の式（１Ｃ）「ｕ（ｉ）＝ｕ（ｉ−１）」は、「前回の画素値をそのまま維持すること」を意味しており、値は更新されていないことになる。
【０１６３】
上述したとおり、平均画像Ａの各画素は、新たな原画像Ｐが入力されるたびに必ず更新されるため、原画像Ｐの変化に追随して変化を遂げる動的画像になる。もちろん、平均画像Ａを構成する各画素の画素値は、重みｗを考慮した重みつき平均として算出されるため、原画像Ｐの画素値が急激に変動しても、平均画像Ａの画素値がこれに追随して急激に変動することはない。これは、図４に示す画素値ｐ（ｉ）とａ（ｉ）との変動を比べれば容易に理解できよう。しかしながら、平均画像Ａは、新たな原画像Ｐの影響を受けて、必ず変化する画像であるので、たとえば、図１に示すような原画像Ｐ１０〜Ｐ４０が与えられた場合、通過した車両の影響が平均画像Ａにも及ぶことになる。より具体的には、赤色の車両が通過した場合、平均画像Ａの一部も若干赤みを帯びるように変化する。
【０１６４】
これに対して、参照画像Ｕの各画素は、新たな原画像Ｐが入力されるたびに必ずしも更新されるものではない。すなわち、前背判定部４５０において、背景領域（Ｊ＝１）と判定された部分に対しては平均画像Ａを利用した更新が行われるが（図１０の式（１Ｂ））、前景領域（Ｊ＝０）と判定された部分に対しては更新は行われない（図１０の式（１Ｃ））。このため、原画像Ｐの変化に追随した参照画像Ｕの変化は、平均画像Ａに比べて緩慢になる。
【０１６５】
実際、図１１および図１２に示す実例を見ると、時点ｔ３において車両Ｖが通過すると、平均画像Ａ（３）の画素ａ（３）は、これに追随して若干変化しているが、参照画像Ｕ（３）の画素ｕ（３）は、更新されないため、画素ｕ（２）のまま変化していない。同様に、時点ｔ１０，ｔ１２を見ても、平均画像Ａは原画像Ｐの変動に追随して変化しているのに対して、参照画像Ｕは変化していない。要するに、図１１および図１２に示す時点ｔ１〜ｔ１５の画像変遷を見ればわかるとおり、平均画像Ａは、原画像Ｐの変動に追随して逐次変化するのに対して、参照画像Ｕの変化は緩慢であり、原画像Ｐが急激に変動しても、直ちに追随することはない。
【０１６６】
本発明に係る移動物体検出装置では、新たに入力された原画像Ｐは、上述したように追随態様が互いに異なっている平均画像Ａおよび参照画像Ｕの双方と比較され、少なくとも一方に類似している領域は背景領域と判定されることになる。したがって、たとえば、雲の動きなどによって原画像Ｐの背景部分に短期的な日照変化が生じた場合でも、平均画像Ａおよび参照画像Ｕの少なくとも一方に類似している領域は、背景領域Ｂと判定されることになる。その結果、日照変化などの自然現象に起因して変化した背景領域が前景領域Ｆ（移動物体の領域）として誤検出される可能性を低減することができ、より正確な検出を行うことができるようになる。これが、平均画像Ａと参照画像Ｕとの双方を用いて移動物体検出を行う利点である。
【０１６７】
なお、図９に示す移動物体検出装置には、パラメータ設定部３４０が設けられており、ユーザは、パラメータ設定部３４０に対する操作入力によって、各構成要素で用いられるパラメータを任意の値に設定することができる。既に述べたとおり、この装置で設定可能なパラメータは、第１判定部４２０および第２判定部４３０の類否判定の基準となる判定パラメータ（たとえば、図７の円柱モデルを利用した判定を行う場合は、円柱Ｃの半径および長さＬ）と、平均画像作成部１３０で用いる重みｗと、参照画像作成部１３５で用いる重みｖである。最適なパラメータ値は、装置の実際の使用環境に基づいて変わるので、実用上は、個々の使用環境ごとに試行錯誤によって最適なパラメータ値を設定するようにすればよい。
【０１６８】
ところで、本願発明者が行った実験によると、平均画像作成部１３０で用いる重みｗと、参照画像作成部１３５で用いる重みｖとについて、ｗ＞ｖなる関係が得られるような設定を行うと、より良好な検出結果が得られることが判明した。上述したとおり、参照画像Ｕは平均画像Ａに比べて、原画像Ｐの変動に対して緩慢な追従を行うが、参照画像Ｕを作成する際に用いる重みｖを、平均画像Ａを作成する際に用いる重みｗに比べて小さく設定することにより、参照画像Ｕの追従の緩慢度を更に上げることができる。その結果、より良好な検出結果が得られるようになるものと考えられる。
【０１６９】
なお、パラメータ設定部３４０を設けた場合には、ｗ＞ｖなる関係が得られるように、ユーザの操作入力に制限を課する機能を付加しておくのが好ましい。たとえば、ｗ＞ｖなる条件に反するようなパラメータ設定を行う操作入力が行われた場合には、エラー表示を行い、当該操作入力を受け付けないような機能を設けておけばよい。あるいは、たとえば、「ｖ＝０．１×ｗ」というような式により、ｖとｗとの関係を固定しておき、ユーザの操作入力によって、パラメータｗのみが設定できるようにしておいてもよい。
【０１７０】
実際、本願発明者は、屋外に設置した監視カメラから毎秒３０フレームの原画像を取り込んで、重みｗ＝０．０１、重みｖ＝０．００１なる設定で実験を行ったところ、日照変化による誤検出を実用的なレベルまで低減させた良好な検出結果を得ることができた。
【０１７１】
＜＜＜ §７．回転楕円体モデルを用いた類否判定 ＞＞＞
図９に示す移動物体検出装置における第１判定部４２０および第２判定部４３０では、２つの画素についての類否判定が行われる。このような類否判定の一般的な方法は、既に§２においていくつかの例を紹介したとおりである。ただ、本願発明者は、本発明を実施するにあたって特に有効な類否判定方法を着想したので、以下、この方法を述べておく（この方法は、特願２００９−２２６１４６号明細書に開示されている方法である）。
【０１７２】
ここに示す類否判定方法は、基本的には、比較対象となる一方の画素の画素値を基準画素値、他方の画素の画素値を比較画素値として、三原色の各画素値を各座標軸にとった三次元座標系において、基準画素値に対応する座標に位置する基準点Ｑと比較画素値に対応する座標に位置する比較点ｑをとり、基準点Ｑを中心とする所定サイズの基準立体と比較点ｑとの位置関係を調べ、比較点ｑが基準立体の外部に位置すると判定できる場合に非類似との判定を行い、内部に位置すると判定できる場合には類似との判定を行うものである。
【０１７３】
§２で述べた図７に示す例は、基準立体として円柱Ｃを用いる例であるが、ここで述べる例は、基準立体として回転楕円体を用いるようにした点に特徴がある。ここでは、第１判定部４２０による類否判定に、この回転楕円体モデルを用いた場合を説明するが、この回転楕円体モデルは、第２判定部４３０による類否判定にも同様に利用することができる。
【０１７４】
図１３は、図７に示す円柱Ｃを回転楕円体Ｅａに置き換えた回転楕円体モデルを示す三次元色空間図である。ここで、類似範囲を示す回転楕円体Ｅａは、平均画像Ａの画素値を示す座標点Ａを中心点とし、ベクトルＶａ上に定義された基準軸Ｚａを長軸方向とする楕円を、基準軸Ｚａを回転軸として回転させることにより得られる回転体である。この回転楕円体Ｅａのサイズは、長軸方向の長さＬａ１と短軸方向の長さＬａ２によって規定される。
【０１７５】
この回転楕円体モデルを用いた場合でも、類否判定の方法は、前述の円柱モデルを用いた場合の判定方法と同様であり、回転楕円体Ｅａの内部領域にプロットされる画素は、座標点Ａに対応する画素値をもった画素に対して類似する画素と判定されることになる。具体的には、図示の例の場合、座標点Ｐに対応する画素値をもった画素は、回転楕円体Ｅａの外側に位置するため類似範囲外と判定され、両画素は非類似と判定される。逆に、座標点Ｐが回転楕円体Ｅａの内部に位置していれば、両画素は類似と判定される。
【０１７６】
一方、図１４は、図１３に示す回転楕円体モデルのバリエーションを示す三次元色空間図である。図示のとおり、このモデルにおける類似範囲を示す回転楕円体Ｅｐは、判定対象となる原画像Ｐの画素値を示す座標点Ｐを中心点とし、ベクトルＶｐ上に定義された基準軸Ｚｐを長軸方向とする楕円を、基準軸Ｚｐを回転軸として回転させることにより得られる回転体である。この回転楕円体Ｅｐのサイズは、長軸方向の長さＬｐ１と短軸方向の長さＬｐ２によって規定される。
【０１７７】
図１３に示すモデルの場合、背景を示す平均画像Ａの画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした座標点Ａを基準として、類似範囲を示す回転楕円体Ｅａが定義され、比較対象となる原画像Ｐの画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした座標点Ｐが、回転楕円体Ｅａの内側にあるか外側にあるかを判定していたのに対して、図１４に示すモデルの場合、比較対象となる原画像Ｐの画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした座標点Ｐをプロットした座標点Ｐを基準として、類似範囲を示す回転楕円体Ｅｐが定義され、背景を示す平均画像Ａの画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした座標点Ａが、回転楕円体Ｅｐの内側にあるか外側にあるかを判定することになる。
【０１７８】
要するに、前者では、新たに入力された原画像Ｐの画素が、背景を示す過去の平均画像Ａの画素の類似範囲に入っているか否かを判定する手法をとるのに対して、後者では、背景を示す過去の平均画像Ａの画素が、新たに入力された原画像Ｐの画素の類似範囲に入っているか否かを判定する手法をとることになる。結局、両者の相違は、比較対象となる２つの画素のどちらを基準にして回転楕円体を定義するかという点だけである。
【０１７９】
そこで、以下の説明では、比較対象となる２つの画像のうち、一方の画像の画素値を基準画素値（Ｒ，Ｇ，Ｂ）と表記し、他方の画像の画素値を比較画素値（ｒ，ｇ，ｂ）と表記することにする。また、三次元色空間上で基準画素値（Ｒ，Ｇ，Ｂ）をプロットした座標点Ｑ（Ｒ，Ｇ，Ｂ）を基準点Ｑと呼び、比較画素値（ｒ，ｇ，ｂ）をプロットした座標点ｑ（ｒ，ｇ，ｂ）を比較点ｑと呼ぶことにする。類否判定は、基準点Ｑを中心として定義された回転楕円体と比較点ｑとの位置関係に基づいてなされることになる。
【０１８０】
図１５は、このような一般的な表記にしたがって、回転楕円体モデルを図示した三次元色空間図である。原点Ｏを起点として基準点Ｑへ向かうベクトルをベクトルＶとすれば、基準軸Ｚは、このベクトルＶ上の軸になる。そして、回転楕円体Ｅは、基準点Ｑを中心点とし、ベクトルＶ上に定義された基準軸Ｚを長軸方向とする楕円を、基準軸Ｚを回転軸として回転させることにより得られる回転体である。ここで、比較点ｑ（ｒ，ｇ，ｂ）が回転楕円体Ｅの内部に位置すれば、両画素は類似と判定され、回転楕円体Ｅの外部に位置すれば、両画素は非類似と判定される。
【０１８１】
図１３に示すモデルは、類否判定を行う際に、平均画像Ａ（ｉ−１）上の画素ａ（ｉ−１）の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として基準点Ｑ（Ｒ，Ｇ，Ｂ）をプロットし、原画像Ｐ（ｉ）上の画素ｐ（ｉ）の画素値を比較画素値（ｒ，ｇ，ｂ）として比較点ｑ（ｒ，ｇ，ｂ）をプロットしたものである。これに対して、図１４に示すモデルは、類否判定を行う際に、原画像Ｐ（ｉ）上の画素ｐ（ｉ）の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として基準点Ｑ（Ｒ，Ｇ，Ｂ）をプロットし、平均画像Ａ（ｉ−１）上の画素ａ（ｉ−１）の画素値を比較画素値（ｒ，ｇ，ｂ）として比較点ｑ（ｒ，ｇ，ｂ）をプロットしたものである。
【０１８２】
図７に示す円柱モデルに比べて、図１５に示す回転楕円体モデルは、次の２つの利点を有している。第１の利点は、時刻や天候などによる照明変動の影響を排除した、より正確な移動物体の検出が可能になる点である。本願発明者は、ビデオカメラで撮影した様々な実写画像について、図７に示す円柱モデルに基づく類否判定処理を採り入れた移動物体の検出と、図１５に示す回転楕円体モデルに基づく類否判定処理を採り入れた移動物体の検出とを試みたところ、後者の検出の方がより正確である実験結果が得られた。これは、円柱モデルの場合、円柱の長手方向の端部周縁領域において、誤検出が行われる可能性が高くなるためと考えられる。
【０１８３】
図１６は、円柱モデルに対する回転楕円体モデルの利点を示す断面図である。図示の例において、円柱Ｃの断面と回転楕円体Ｅの断面とを比較すると、いずれも基準点Ｑを中心として、基準軸Ｚの方向を長手方向とする図形であるが、図にハッチングを施す領域が、円柱Ｃでは内部領域と判定されるのに対して、回転楕円体Ｅでは外部領域と判定されることがわかる。したがって、比較点ｑが、このハッチング領域に位置する場合、一方では類似範囲内と判定され、他方では類似範囲外と判定される。もちろん、いずれの判定結果が正しいものであるかは、一概には決定できないが、少なくとも実写画像を用いた移動物体の検出処理に利用する限りにおいて、後者の判定結果が正しい結果となる可能性が高いことになる。
【０１８４】
すなわち、円柱モデルの場合、比較点ｑが図のハッチング領域内に位置する場合、判定対象となる画素は背景画像に類似しているため背景領域Ｂ内の画素とされることになるが、実際には、背景画像に対して非類似であり、前景領域Ｆ内の画素とすべきであった、というケースが比較的高い確率で生じてしまうものと考えられる。図１６に示すとおり、断面形状で比較すると、回転楕円体Ｅの断面は曲面からなる楕円であるのに対して、円柱Ｃの断面は直線からなる矩形であり、実写画像を対象物とした類否判定の境界線としては、断面が曲面からなる楕円の方が適していることは、直感的にも理解できよう。
【０１８５】
このように、少なくとも、実写画像に基づく移動物体の検出処理に利用する場合、円柱モデルよりも回転楕円体モデルの方が検出精度が向上するという第１の利点が得られる。一方、回転楕円体モデルを採用することにより得られる第２の利点は、演算負担の軽減を図ることができる点である。この第２の利点の詳細については、§８で述べることにするが、ここでは、演算負担の軽減に寄与する工夫のひとつを簡単に述べておく。
【０１８６】
この工夫は、回転楕円体Ｅのサイズを、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに比例した値に設定することである。具体的には、図１５に示すとおり、距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、基準軸Ｚを中心に回転させることにより回転楕円体Ｅを定義すればよい。
【０１８７】
このような条件で回転楕円体Ｅのサイズを決定すると、基準点Ｑが原点Ｏから離れれば離れるほど、回転楕円体Ｅのサイズは大きくなり、それだけ類似範囲が広くなる。これは、より明度の高い部分、すなわち、画像のハイライト部ほど、類似範囲が広くなることを意味するが、実用上、そのような類似範囲設定がなされても支障は生じない。一方、類似範囲内か否か、すなわち、回転楕円体Ｅの内部か外部かを判定するための演算負担は、長軸半径をα＝ｈ・Ｄ、短軸半径をβ＝ｋ・Ｄと設定することにより（すなわち、楕円のサイズを、距離Ｄに比例した値に設定することにより）、大幅に軽減することができる。その詳細は§８で述べることにする。
【０１８８】
ところで、本願発明者が行った実験によると、回転楕円体Ｅのサイズを、距離Ｄに比例した値に設定する場合は、図１３のモデルよりも、図１４のモデルを用いた方が、検出精度が向上することが判明した。図１４のモデルを採用した場合、図１５において、基準点Ｑ（Ｒ，Ｇ，Ｂ）は、判定対象となる原画像Ｐの画素の画素値を基準画素値としてプロットした点になり、比較点ｑ（ｒ，ｇ，ｂ）は、背景となる平均画像Ａ（第２判定部４３０に適用する場合は、参照画像Ｕ）の画素の画素値を比較画素値としてプロットした点になる。
【０１８９】
上述したとおり、図１３のモデルと図１４のモデルは、原画像Ｐの画素と平均画像Ａ（参照画像Ｕ）の画素とのいずれを基準にして回転楕円体を定義するか、という点において異なる。しかも、回転楕円体のサイズを、距離Ｄに比例した値に設定すれば、定義される回転楕円体のサイズが、両者では異なることになる。すなわち、図１３に示すモデルにおける回転楕円体Ｅａの長軸方向の長さＬａ１および短軸方向の長さＬａ２は、ベクトルＶａの長さに、それぞれパラメータ２ｈおよび２ｋを乗じることにより得られるのに対して、図１４に示すモデルにおける回転楕円体Ｅｐの長軸方向の長さＬｐ１および短軸方向の長さＬｐ２は、ベクトルＶｐの長さに、それぞれパラメータ２ｈおよび２ｋを乗じることにより得られる。したがって、図示の例の場合、回転楕円体Ｅａのサイズよりも、回転楕円体Ｅｐのサイズの方が大きくなっており、より広い類似範囲が設定されている。
【０１９０】
もちろん、常識的には、図１４に示すモデルよりも図１３に示すモデルを採用するのが一般的であろう。すなわち、予め背景とみなすことができる類似範囲を回転楕円体Ｅａとして定義しておき、新たに入力された画像の画素を示す点Ｐが、この類似範囲内に入るか否かを判定することにより、当該画素が移動物体上の点であるか否かを認識する、という方針を採るのが、一般的な考え方である。これに対して、図１４に示すモデルは、新たに入力された画像の画素の類似範囲を回転楕円体Ｅｂとして定め、その中に、背景画素を示す点Ａが入るか否かを判定する手法を採るものであり、一般常識に基づく手法とは逆の手法と言うことができる。
【０１９１】
しかしながら、本願発明者が行った実験によると、少なくとも実写画像を用いた移動物体の検出処理に利用する限りにおいて、図１３に示すモデルを採用するよりも、図１４に示すモデルを採用した方が、より正しい判定結果が得られた。これは、これまで述べた方法で、平均画像Ａの画素値ａ（ｉ）（第２判定部４３０に適用する場合は、参照画像Ｕの画素値ｕ（ｉ））を決定すると、様々な要因により、新たに入力されてくる原画像Ｐの画素値ｐ（ｉ）が大きく変動しても、画素値ａ（ｉ），ｕ（ｉ）の値が当該変動に追従するまでにはある程度の時間がかかるため、類似範囲の広狭を、原画像Ｐの画素値ｐ（ｉ）に応じて定めた方が、正しい判定が可能になるためと考えられる。
【０１９２】
結局、本発明における画素の類否判定を、基準立体モデル（円柱モデルや回転楕円体モデル）を利用して行う場合、第１判定部４２０は、原画像Ｐの画素の画素値を基準画素値、平均画像Ａの画素の画素値を比較画素値として判定を行い、第２判定部４３０は、原画像Ｐの画素の画素値を基準画素値、参照画像Ｕの画素の画素値を比較画素値として判定を行うようにするのが好ましい。
【０１９３】
以上、移動物体の検出に利用する画素の類否判定処理方法において、円柱モデルを採用する方法に比べて、回転楕円体モデルを採用する利点として、より正確な移動物体の検出が可能になる、という第１の利点を述べるとともに、演算負担を軽減することができるという第２の利点についても簡単に説明した。続く§８では、この第２の利点についての詳細を述べることにする。
【０１９４】
＜＜＜ §８．回転楕円体モデルを利用した実用的な類否判定手順 ＞＞＞
一般に、三次元空間上において、ある１点が、円柱の内側にあるか外側にあるかを判定する場合も、回転楕円体の内側にあるか外側にあるかを判定する場合も、座標値を用いた幾何学演算が必要になる。しかしながら、回転楕円体の内側にあるか外側にあるかを判定する場合は、演算式を工夫し、また、一部に近似演算を取り込むことにより、演算負担を大幅に軽減することが可能である。ここでは、図１５に示す回転楕円体モデルにおいて、比較点ｑ（ｒ，ｇ，ｂ）が、基準点Ｑ（Ｒ，Ｇ，Ｂ）を中心として定義された回転楕円体Ｅの内側にあるか外側にあるかを判定する実用的な手順を述べる。
【０１９５】
ここで述べる手順は、３つの条件判定段階によって構成される。図１７は、そのうちの第１の条件判定段階の原理を示す断面図である。図において、下方に示す原点Ｏは、図１５の三次元色空間図に示されているＲＧＢ三次元直交座標系の原点Ｏであり、当該座標系上に、基準点Ｑ（Ｒ，Ｇ，Ｂ）と比較点ｑ（ｒ，ｇ，ｂ）とがプロットされている（座標軸は図示省略）。基準軸Ｚは、原点Ｏと基準点Ｑとを結ぶ線であり、回転楕円体Ｅは、この基準軸Ｚを長軸方向とし、基準点Ｑを中心とする楕円を、基準軸Ｚを回転軸として回転させることによって得られる回転体である。図に断面を示す楕円は、長軸半径をα、短軸半径をβとする楕円であるが、§７で述べたとおり、原点Ｏと基準点Ｑとの距離をＤとしたときに、所定のパラメータｈ，ｋについて、α＝ｈ・Ｄ（但し、ｈ＜１）、β＝ｋ・Ｄ（但し、ｋ＜ｈ）となるように設定されている。
【０１９６】
第１の条件判定段階では、比較点ｑが、図のハッチング領域内にあるかどうかの判定が行われる。すなわち、図の下方のハッチング領域は、「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側領域」であるから、原点Ｏと比較点ｑとの距離をｄとすれば、「Ｄ−α＞ｄ」なる条件が満足されれば、比較点ｑは、球Ｃ１の内側に位置することになる。球Ｃ１は、回転楕円体Ｅの原点Ｏに対する最近接点Ｅ１において、回転楕円体Ｅに接する球であり、球Ｃ１の内側領域は、当然、回転楕円体Ｅの外側領域になる。一方、図の上方のハッチング領域は、「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側領域」であるから、原点Ｏと比較点ｑとの距離をｄとすれば、「Ｄ＋α＜ｄ」なる条件が満足されれば、比較点ｑは、球Ｃ２の外側に位置することになる。球Ｃ２は、回転楕円体Ｅの原点Ｏに対する最遠接点Ｅ２において、回転楕円体Ｅに接する球であり、球Ｃ２の外側領域は、当然、回転楕円体Ｅの外側領域になる。
【０１９７】
図１８は、図１７に示す第１の条件判定原理に基づく判定式を示す図である。図１８(a) は、比較点ｑが球Ｃ１の内側領域にあるための条件式「Ｄ−α＞ｄ」の変形プロセスを示す。すなわち、α＝ｈ・Ｄを代入すると、条件式は「（１−ｈ）・Ｄ＞ｄ」となり、両辺を２乗すると、
（１−ｈ）^２・Ｄ^２＞ｄ^２ 式（２）
が得られる。一方、図１８(b) は、比較点ｑが球Ｃ２の外側領域にあるための条件式「Ｄ＋α＜ｄ」の変形プロセスを示す。すなわち、α＝ｈ・Ｄを代入すると、条件式は「（１＋ｈ）・Ｄ＜ｄ」となり、両辺を２乗すると、
（１＋ｈ）^２・Ｄ^２＜ｄ^２ 式（３）
が得られる。
【０１９８】
ここで、基準点Ｑの座標値が（Ｒ，Ｇ，Ｂ）、比較点ｑの座標値が（ｒ，ｇ，ｂ）であるから、図１８(c) に示すように、
Ｄ＝√（Ｒ^２＋Ｇ^２＋Ｂ^２）
ｄ＝√（ｒ^２＋ｇ^２＋ｂ^２）
であり、両辺を２乗すると、
Ｄ^２＝（Ｒ^２＋Ｇ^２＋Ｂ^２）
ｄ^２＝（ｒ^２＋ｇ^２＋ｂ^２）
となる。したがって、式（２），式（３）を書き直せば、図１８(c) に示すように、
（１−ｈ）^２・（Ｒ^２＋Ｇ^２＋Ｂ^２）
＞（ｒ^２＋ｇ^２＋ｂ^２） 式（２′）
（１＋ｈ）^２・（Ｒ^２＋Ｇ^２＋Ｂ^２）
＜（ｒ^２＋ｇ^２＋ｂ^２） 式（３′）
なる条件式が得られる。ここで、ｈは予め設定された所定のパラメータであり、（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）は、基準点Ｑおよび比較点ｑの座標値（すなわち、比較対象となる２つの画素の三原色の画素値）である。式（２′）および式（３′）は、２乗演算と和差演算のみで構成される演算式であるから、演算負担は非常に軽いものになる。
【０１９９】
こうして、式（２′）もしくは式（３′）のいずれかの条件を満足する結果が得られた場合、比較点ｑは、回転楕円体Ｅの外側に位置すると判断できるので、基準点Ｑの類似範囲外との判定を行うことができる。
【０２００】
一方、式（２′）および式（３′）のいずれの条件も満足しない場合は、図１７において、比較点ｑは、球Ｃ１の外側かつ球Ｃ２の内側の領域に位置することになる。したがって、その場合には、以下に述べる第２の条件判定段階が引き続き行われる。
【０２０１】
図１９は、この第２の条件判定段階の原理を示す断面図である。第２の条件判定段階では、比較点ｑが、図１９のハッチング領域内にあるかどうかの判定が行われる。このハッチング領域は、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの外側領域」として定義される領域である。円錐ξの半頂角は、図示のとおり角φになる。図示の断面図では、円錐ξが接点Ｔにおいて楕円Ｅに接している状態が示されているが、実際には、円錐ξと回転楕円体Ｅとは、接線円Ｔで線接触することになる。三次元空間上での円錐ξと回転楕円体Ｅとの関係は、コーンに卵を挿入した状態を考えれば容易に理解できよう。
【０２０２】
結局、この第２の条件判定段階では、比較点ｑが、円錐ξの内側にあるか、外側にあるかを判定することになる。円錐ξと回転楕円体Ｅとが接する接線円Ｔの位置は、幾何学的な演算によって求めることができ、そのような接線円Ｔを通る円錐ξを示す幾何学的な方程式を求めることも可能である。しかしながら、そのような方程式は比較的複雑な式になる。そこで、ここでは、円錐ξの代わりに、図１９に破線で示す円錐ξ′を利用した近似的な判定を行うことにより、演算負担の軽減を図ることにする。
【０２０３】
図１９に実線で描いた円錐ξは、接線円Ｔで回転楕円体Ｅに接する図形であるが、破線で描いた円錐ξ′は、交線円Ｓで回転楕円体Ｅと交差する図形である。ここで、交線円Ｓは、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線を構成する円であり、基準点Ｑと交線円Ｓ上の任意の点との距離は図示のとおりｆである。結局、この近似的な判定では、「原点Ｏを頂点、基準軸Ｚを中心軸とし、交線円Ｓを通る円錐ξ′の外側に比較点ｑが位置するか否か」という判定が行われることになる。
【０２０４】
図示のとおり、円錐ξ′の半頂角φ′は、円錐ξの半頂角φよりも若干小さくなり、円錐ξ′は、円錐ξよりも若干小さな円錐になる。このため、「円錐ξ′の外側」かつ「円錐ξの内側」の点の場合、実際は回転楕円体Ｅの内部の点であるにもかかわらず、円錐ξ′を代用する近似的な判定方法では、回転楕円体Ｅの外部の点と判定されてしまうことになる。したがって、「回転楕円体Ｅの内外を厳密に判定する」という観点では、円錐ξ′を代用する判定方法は不正確である。ただ、そもそも回転楕円体Ｅ自体が、移動物体を厳密に検出する機能をもつ立体であるわけではなく、あくまでも１つの指標を提供するものであるから、円錐ξ′を代用する近似的な判定方法を用いたとしても、大きな支障は生じない。
【０２０５】
そこで、比較点ｑが、この円錐ξ′の内側にあるのか外側にあるのかを幾何学的に判定するための具体的な方法を考えてみる。いま、図２０(a) に示すように、三辺の長さがそれぞれａ，ｂ，ｃである一般的な三角形を考える。ここで、２辺ｂ，ｃの挟角をφとすると、余弦定理により、
cos φ＝（ｂ^２＋ｃ^２−ａ^２）／２ｂｃ 式（４）
が成り立つ。
【０２０６】
続いて、図２０(b) に示す三角形ＯＱＳを考える。この図２０(b) は、図１９に示す三角形ＯＱＳをそのまま抜き出して示したものである。交線円Ｓは、前述したとおり、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線であるから、２点ＯＳの距離は、２点ＯＱの距離に等しくＤになる。したがって、三角形ＯＱＳは二等辺三角形になり、２つの等辺の挟角はφ′、第３の辺の長さはｆである。この三角形ＯＱＳに、式（４）に示す余弦定理を適用すると、
cos φ′＝（Ｄ^２＋Ｄ^２−ｆ^２）／２Ｄ^２ 式（５）
が成り立つ。
【０２０７】
ここで、図１９を見ると、長さｆは、回転楕円体Ｅの短軸半径βに近い値になることがわかる。そこで、近似的に、ｆ≒βとすると、β＝ｋ・Ｄなので、ｆ≒ｋ・Ｄになり、図２０の下段右に示すとおり、
cos φ′≒１−ｋ^２／２ 式（６）
なる式が得られる。
【０２０８】
次に、図２１に示す三角形ＯＱｑを考える。この図２１は、図１９に示す４点Ｏ，Ｑ，Ｓ，ｑをそのまま抜き出してプロットしたものである。２点ＯＱ間の距離はＤであり、２点Ｏｑ間の距離はｄである。ここで、この長さＤ，ｄをもった２辺の挟角をθとし、第３の辺の長さをｔとする。また、線分ＯＱと線分ＯＳとのなす角φ′は、前述した円錐ξ′の半頂角である。
【０２０９】
さて、図１９において、円錐ξの代わりに円錐ξ′を用いて、比較点ｑがハッチング領域にあるための条件を求めると、θ＞φ′であればよいことがわかる。ここで、座標値（画素値）Ｒ，Ｇ，Ｂ，ｒ，ｇ，ｂが正の値をとるものとすれば、角度θおよびφ′はいずれも鋭角になる。図２１の右側にも記載したとおり、一般に、θ，φ′を正の鋭角とすれば、θ＞φ′の場合、「cos θ＜cos φ′」であり、「cos ^２θ＜cos ^２φ′」である。式（６）より、cos ^２φ′≒（１−ｋ^２／２）^２であるから、結局、
cos ^２θ＜（１−ｋ^２／２）^２ 式（７）
が成り立てば、比較点ｑは、円錐ξ′の外側領域にあると近似的に判断できる。
【０２１０】
続いて、図２１に示す三角形ＯＱｑについて、式（４）の余弦定理を適用すれば、図２１の下段に示すように、
cos θ＝（Ｄ^２＋ｄ^２−ｔ^２）／（２・Ｄ・ｄ） 式（８）
が成り立つ。このとき、図２２にも記載したとおり、
Ｄ^２＝（Ｒ^２＋Ｇ^２＋Ｂ^２）
ｄ^２＝（ｒ^２＋ｇ^２＋ｂ^２）
ｔ^２＝（Ｒ−ｒ）^２＋（Ｇ−ｇ）^２＋（Ｂ−ｂ）^２
だから、これを式（８）に代入して整理すると、
cos θ＝γ／（Ｄ・ｄ） 式（９）
（但し、γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
が得られる。式（９）の両辺を２乗すれば、
cos ^２θ＝γ^２／（Ｄ^２・ｄ^２） 式（１０）
である。よって、式（７）より、
γ^２／（Ｄ^２・ｄ^２）＜（１−ｋ^２／２）^２ 式（１１）
が成り立てば、比較点ｑは、円錐ξ′の外側領域にあると近似的に判断できる。ここで、γ，Ｄ，ｄを画素値を用いて書き直せば、図２２の下段に示すように、
（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）^２／
（（Ｒ^２＋Ｇ^２＋Ｂ^２）・（ｒ^２＋ｇ^２＋ｂ^２））
＜（１−ｋ^２／２）^２ 式（１１′）
が成り立てば、比較点ｑは、円錐ξ′の外側領域にあると近似的に判断できる。
【０２１１】
既に述べたとおり、図１９において、円錐ξ′は、円錐ξに近似的に代用することができるので、上記式（１１′）が成り立てば、比較点ｑは、回転楕円体Ｅの外側領域にある、との近似的判定を行うことができる。もちろん、この近似的な判定結果は、円錐ξ′を円錐ξに代用し、かつ、ｆ≒βとの近似を行うことによって得られる判定結果であるので、厳密な判定結果ではない。しかしながら、そもそも回転楕円体Ｅ自体が、移動物体を厳密に検出する機能をもつ立体であるわけではないので、このような近似的な判定を行っても、大きな支障は生じない。別言すれば、上述した近似的な判定手法は、比較点ｑが回転楕円体Ｅの外部にあるかどうかを判定する代わりに、その近似体の外部に位置するかどうかを判定する手法ということになる。
【０２１２】
このようにして、式（１１′）を満足する結果が得られた場合、比較点ｑは、回転楕円体Ｅの近似体の外側に位置すると判断できるので、基準点Ｑの類似範囲外との判定を行うことができる。
【０２１３】
一方、式（１１′）を満足しない場合は、比較点ｑは、図１９においてハッチングが施されていない円錐ξの内側に位置すると近似的に判断されたことになるので、最終的に、第３の条件判定段階が行われる。
【０２１４】
図２３は、この第３の条件判定段階の原理を示す断面図である。第３の条件判定段階では、比較点ｑが、図２３のハッチング領域内にあるかどうかの判定が行われる。このハッチング領域は、回転楕円体Ｅの外側領域であり、いわば第３の条件判定段階は、§７で述べた回転楕円体モデルを用いた類否判定として行うべき本来の判定段階ということになる。このため、条件判定に用いられる式は、楕円の方程式を用いた式になり、これまでの条件判定式に比べると、若干複雑にならざるを得ない。
【０２１５】
いま、図２３に示すように、基準点Ｑの位置に原点をもち、紙面上に定義されたローカルなＸＹ二次元直交座標系をとり、この二次元座標系上において、楕円Ｅと比較点ｑとの位置関係を考えることにしよう。ここで、Ｘ軸は回転楕円体Ｅの長軸方向の座標軸であり、Ｙ軸は回転楕円体Ｅの短軸方向の座標軸である。もちろん、基準点ＱのＸＹ座標系での座標は（０，０）になる。したがって、比較点ｑは、ＲＧＢ三次元直交座標系ではｑ（ｒ，ｇ，ｂ）なる三次元の座標値をもち、ＸＹローカル座標系ではｑ（ｘ，ｙ）なる二次元の座標値をもつ。
【０２１６】
ここで、比較点ｑの座標値（ｘ，ｙ）を、２点ＯＱ間の距離Ｄ、２点Ｏｑ間の距離ｄ、そして挟角θを用いて表すと、図２３の右下にも記載したとおり、
ｘ＝Ｄ−ｄ・cos θ、 ｙ＝ｄ・sin θ 式（１２）
が成り立つ。一方、図２４に示すとおり、楕円の公式からは、
ｘ^２／α^２＋ｙ^２／β^２＝１ 式（１３）
が得られるので、
ｆ（ｘ，ｙ）＝β^２・ｘ^２＋α^２・ｙ^２−α^２・β^２ 式（１４）
なる判定式を定義すれば、比較点ｑは、
ｆ（ｘ，ｙ）＜０なら楕円内部の点
ｆ（ｘ，ｙ）＝０なら楕円上の点
ｆ（ｘ，ｙ）＞０なら楕円外部の点
ということになる。したがって、
β^２・ｘ^２＋α^２・ｙ^２−α^２・β^２＞０ 式（１５）
であれば、比較点ｑは、楕円外部の点ということになる。ここで、ＸＹローカル座標系を、基準軸Ｚを中心軸として回転しても、上式が成り立つことに変わりはないので、式（１５）は、三次元立体にも拡張することができる。すなわち、式（１５）の条件が満足されていれば、比較点ｑは、回転楕円体Ｅの外側領域の点ということになる。
【０２１７】
なお、式（１５）において、各変数の値は、図２４の下半分に示すように、次のようにして求めることができる。まず、α＝ｈ・Ｄ、β＝ｋ・Ｄであるから、
α^２＝ｈ^２・Ｄ^２、 β^２＝ｋ^２・Ｄ^２ 式（１６）
である。一方、式（１２）より、ｘ＝Ｄ−ｄ・cos θだから、両辺を２乗すると、
ｘ^２＝Ｄ^２＋ｄ^２・cos^２ θ−２Ｄｄ・cos θ
となり、これに式（９）および式（１０）を代入すれば、
ｘ^２＝Ｄ^２＋γ^２／Ｄ^２−２γ 式（１７）
が得られる（但し、γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）。また、式（１２）より、ｙ＝ｄ・sin θだから、両辺を２乗すると、
ｙ^２＝ｄ^２・sin^２ θ＝ｄ^２・（１−cos^２ θ）
となり、これに式（１０）を代入すれば、
ｙ^２＝ｄ^２−γ^２／Ｄ^２ 式（１８）
が得られる（但し、γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）。
【０２１８】
かくして、式（１６）〜式（１８）によって、α^２，β^２，ｘ^２，ｙ^２の各値を求めた後に、式（１５）の条件判定式を演算すれば、比較点ｑが、回転楕円体Ｅの内側領域の点か、外側領域の点かを判定することができる。
【０２１９】
図２５は、これまで述べてきた類否判定方法の手順を示す流れ図である。この類否判定方法によれば、三原色の各画素値（Ｒ，Ｇ，Ｂ）を有する第１のカラー画素と、三原色の各画素値（ｒ，ｇ，ｂ）を有する第２のカラー画素と、の類否判定を行うことができる。なお、実際には、この図２５に示す各手順は、コンピュータによって実行されることになる。
【０２２０】
まず、ステップＳ１１では、回転楕円体Ｅのサイズを決めるパラメータｈ，ｋを設定する。前述したとおり、パラメータｈは、回転楕円体Ｅの長軸半径αを決定する値（ｈ＜１）であり、長軸半径はα＝ｈ・Ｄなる式で定められる。また、パラメータｋは、回転楕円体Ｅの短軸半径βを決定する値（ｋ＜ｈ）であり、短軸半径はβ＝ｋ・Ｄなる式で定められる。これらパラメータｈ，ｋの値は、背景画像の特徴（たとえば、屋外か屋内か、街中か郊外か、といった種別）や、移動物体として侵入してくる前景画像の特徴（たとえば、車両か人間か、といった種別）を考慮して、できるだけ高い検出精度が得られるような値に適宜設定することになる。本願発明者が行った実験によれば、一般的な用途の場合、ｈ＝０．４５〜０．２０、ｋ＝０．１５〜０．０５程度の値に設定すれば、比較的高い検出精度が得られる。図９に示す移動物体検出装置の場合、パラメータ設定部３４０に対する操作入力により、パラメータｈ，ｋの値を任意に設定することができる。
【０２２１】
続く、ステップＳ１２では、基準点Ｑ（Ｒ，Ｇ，Ｂ）と比較点ｑ（ｒ，ｇ，ｂ）の座標値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）が取り込まれる。これらの座標値は、それぞれ２つのカラー画像の三原色の画素値として与えられた値である。これら座標値が取り込まれたら、準備段階は完了である。すなわち、コンピュータには、パラメータｈ（ｈ＜１）およびｋ（ｋ＜ｈ）、画素値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）の値が取り込まれた状態となり、これらの値を用いて、以下の演算処理を実行する準備が整ったことになる。
【０２２２】
以下、ステップＳ１３〜Ｓ１８に示す手順は、図１５に示すように、三原色の各画素値を各座標軸にとった三次元座標系において、画素値（Ｒ，Ｇ，Ｂ）に対応する座標をもつ基準点Ｑを中心とする所定サイズの回転楕円体Ｅと、画素値（ｒ，ｇ，ｂ）に対応する座標をもつ比較点ｑとについて、後者が前者の内部にあるか外部にあるかを調べる位置関係判定段階の手順である。
【０２２３】
具体的には、既に述べたとおり、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、この基準軸Ｚを中心に回転させることにより得られる回転楕円体Ｅを定義する。そして、比較点ｑがこの回転楕円体Ｅの内部にあるか外部にあるかを判定することになる。なお、実際には、前述したような近似を行うため、論理的には、回転楕円体Ｅの代わりに、その近似体について、内部にあるか外部にあるかの判定が行われることになる。この位置関係判定段階は、３つの条件判定段階によって構成される。
【０２２４】
まず、ステップＳ１３に示す第１の条件判定段階では、図１７に示すように、「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という条件を満足するか否かの判定が行われる。そのためには、図１８で説明したとおり、
（１−ｈ）^２・Ｄ^２＞ｄ^２ 式（２）
もしくは
（１＋ｈ）^２・Ｄ^２＜ｄ^２ 式（３）
という条件を満足するか否かを判定するための演算を行えばよい。ここで、
Ｄ^２＝（Ｒ^２＋Ｇ^２＋Ｂ^２）
ｄ^２＝（ｒ^２＋ｇ^２＋ｂ^２）
であるから、結局、ステップＳ１３のブロック内に記載したように、
（１−ｈ）^２・（Ｒ^２＋Ｇ^２＋Ｂ^２）＞（ｒ^２＋ｇ^２＋ｂ^２） 式（２′）
もしくは
（１＋ｈ）^２・（Ｒ^２＋Ｇ^２＋Ｂ^２）＜（ｒ^２＋ｇ^２＋ｂ^２） 式（３′）
という条件を満足するか否かを判定する演算を行えばよい。
【０２２５】
このステップＳ１３に示す第１の条件判定段階において、肯定的な判定がなされた場合（式（２′）もしくは式（３′）の条件を満足する場合）は、ステップＳ１４からステップＳ１９へと進み、位置関係判定段階は終結する。一方、否定的判定がなされた場合には、ステップＳ１４からステップＳ１５へと進む。
【０２２６】
ステップＳ１５に示す第２の条件判定段階では、図１９に示すように、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの外側に比較点ｑが位置する」という第２の条件を満足するか否かの判定が行われる。ただ、前述したとおり、実用上は、円錐ξの代わりに円錐ξ′を用い、しかもｆ≒βと近似する式が用いられる。このような近似的な判定手法を採る場合は、第２の条件は「回転楕円体Ｅの近似体の外側に比較点ｑが位置する」という条件になる。
【０２２７】
この近似的な判定手法を採るのであれば、図２２に示すとおり、
γ^２／（Ｄ^２・ｄ^２）＜（１−ｋ^２／２）^２ 式（１１）
という条件を満足するか否かを判定するための演算を行えばよい。ここで、
Ｄ^２＝（Ｒ^２＋Ｇ^２＋Ｂ^２）
ｄ^２＝（ｒ^２＋ｇ^２＋ｂ^２）、
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
であるから、結局、ステップＳ１５のブロック内に記載したように、
（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）^２／
（（Ｒ^２＋Ｇ^２＋Ｂ^２）・（ｒ^２＋ｇ^２＋ｂ^２））
＜（１−ｋ^２／２）^２ 式（１１′）
という条件を満足するか否かを判定する演算を行えばよい。
【０２２８】
このステップＳ１５に示す第２の条件判定段階において、肯定的な判定がなされた場合（式（１１′）の条件を満足する場合）は、ステップＳ１６からステップＳ１９へと進み、位置関係判定段階は終結する。一方、否定的判定がなされた場合には、ステップＳ１６からステップＳ１７へと進む。
【０２２９】
ステップＳ１７に示す第３の条件判定段階では、図２３に示すように、「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かの判定が行われる。そのためには、ステップＳ１７のブロック内に記載したように、
β^２・ｘ^２＋α^２・ｙ^２−α^２・β^２＞０ 式（１５）
という条件を満足するか否かを判定するための演算を行えばよい。ここで、各変数は、図２４で説明したとおり、
α^２＝ｈ^２・Ｄ^２、 β^２＝ｋ^２・Ｄ^２ 式（１６）
ｘ^２＝Ｄ^２＋γ^２／Ｄ^２−２γ 式（１７）
ｙ^２＝ｄ^２−γ^２／Ｄ^２ 式（１８）
であり、また、既に述べたとおり、
Ｄ^２＝（Ｒ^２＋Ｇ^２＋Ｂ^２）
ｄ^２＝（ｒ^２＋ｇ^２＋ｂ^２）
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
である。
【０２３０】
このステップＳ１７に示す第３の条件判定段階において、肯定的な判定がなされた場合（式（１５）の条件を満足する場合）は、ステップＳ１８からステップＳ１９へと進み、位置関係判定段階は終結する。一方、否定的判定がなされた場合には、ステップＳ１８からステップＳ２０へと進み、やはり位置関係判定段階は終結する。
【０２３１】
ここで注目すべき点は、以上の第１〜第３の条件判定段階で行われる条件判定式には、加減乗除演算のみしか含まれていない点である。すなわち、一般的な幾何学演算に含まれている開平演算や三角関数演算は一切含まれていない。したがって、演算装置の負担は比較的軽いものになり、安価なプロセッサを用いた場合でも、リアルタイム処理が可能になる。
【０２３２】
最後に、ステップＳ１９もしくはステップＳ２０に示す判定結果出力段階が行われる。すなわち、上述したとおり、第１の条件判定段階（ステップＳ１３）、第２の条件判定段階（ステップＳ１５）、第３の条件判定段階（ステップＳ１７）のいずれかにおいて肯定的判定がなされた場合には、ステップＳ１９へと進み、第１のカラー画素と第２のカラー画素とが非類似との判定結果が出力される。一方、第１の条件判定段階（ステップＳ１３）、前記第２の条件判定段階（ステップＳ１５）、前記第３の条件判定段階（ステップＳ１７）のすべてにおいて否定的判定がなされた場合には、ステップＳ２０へ進み、第１のカラー画素と第２のカラー画素とが類似するとの判定結果が出力される。
【０２３３】
要するに、この図２５の流れ図に示す手順によれば、回転楕円体Ｅもしくはその近似体の外部に比較点ｑがあると判断された場合には、第１のカラー画素と第２のカラー画素とが非類似との判定結果が出力され、回転楕円体Ｅもしくはその近似体の内部に比較点ｑがあると判断された場合には、第１のカラー画素と第２のカラー画素とが類似するとの判定結果が出力されることになる。ステップＳ１５の第２の条件判定段階は、ステップＳ１３の第１の条件判定段階において否定的判定がなされた場合にのみ実行され、同様に、ステップＳ１７の第３の条件判定段階は、ステップＳ１５の第２の条件判定段階において否定的判定がなされた場合にのみ実行されることになるので、無駄な演算を省くことが可能になり、演算負担の軽減を図ることができる。
【０２３４】
特に、パラメータｈ，ｋの値を固定値にした運用を行う場合、ステップＳ１３の演算式（２′），（３′）に用いる（１−ｈ）^２および（１＋ｈ）^２の値、ステップＳ１５の演算式（１１′）に用いる（１−ｋ^２／２）^２の値は、予め決められた定数として用意しておくことができるので、演算負担を更に軽減することができる。実際には、まず、（Ｒ^２＋Ｇ^２＋Ｂ^２）の値および（ｒ^２＋ｇ^２＋ｂ^２）の値を計算してしまえば、ステップＳ１３の演算式（２′），（３′）に係る演算は、上記定数を利用した極めて単純な演算になる。同様に、ステップＳ１５の演算式（１１′）に係る演算も、（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）の値を計算してしまえば、既に計算済みの（Ｒ^２＋Ｇ^２＋Ｂ^２）の値および（ｒ^２＋ｇ^２＋ｂ^２）の値と、上記定数を利用することにより、極めて単純な演算になる。
【０２３５】
＜＜＜ §９．前背判定部の実用的な構成 ＞＞＞
ここでは、図９に示す前背判定部４５０において、画素の類否判定に、§８で述べた実用的な類否判定手順を採用する場合の構成を説明する。図２６は、この前背判定部４５０の構成を示すブロック図である。既に述べたとおり、前背判定部４５０は、第１判定部４２０、第２判定部４３０、総合判定部４４０によって構成されている。
【０２３６】
ここで、第１判定部４２０は、第ｉ番目の原画像Ｐ（ｉ）を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の平均画像Ａ（ｉ−１）を構成する画素の画素値ａ（ｉ−１）とを比較して類似するか否かを判定する処理を行い、第２判定部４３０は、第ｉ番目の原画像Ｐ（ｉ）を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の参照画像Ｕ（ｉ−１）を構成する画素の画素値ｕ（ｉ−１）とを比較して類似するか否かを判定する処理を行う。一方、総合判定部４４０は、図示の表に示すとおり、第１判定部４２０による判定結果および第２判定部４３０による判定結果の少なくとも一方が類似を示す場合には背景画素との判定を行い判定結果Ｊ＝１を出力し、双方とも非類似を示す場合には前景画素との判定を行い判定結果Ｊ＝０を出力する。
【０２３７】
第１判定部４２０および第２判定部４３０が、類似との判定結果を論理１、非類似との判定結果を論理０として出力するようにしておけば、総合判定部４４０は、これらの論理値の論理和を判定結果Ｊとして出力することができるので、総合判定部４４０を論理和回路によって構成することができる。
【０２３８】
図２７は、図２６に示す第１判定部４２０の詳細構成を示すブロック図である。この第１判定部４２０は、§８で述べた回転楕円体モデルを利用した実用的な類否判定手順を採用し、図示のとおり、基本演算部４２１、第１の条件判定部４２２、第２の条件判定部４２３、第３の条件判定部４２４、判定値出力部４２５、パラメータ保持部４２６によって構成されている。
【０２３９】
パラメータ保持部４２６は、パラメータｈおよびｋの値を保持する構成要素であり、図９に示すパラメータ設定部３４０を設けた場合には、このパラメータ設定部３４０によって設定されたパラメータｈおよびｋの値がパラメータ保持部４２６に書き込まれることになる。パラメータｈおよびｋの値を固定にする場合には、当該固定値がパラメータ保持部４２６に保持される。
【０２４０】
基本演算部４２１は、図９に示す画素値読出部４１０が読み出した基準画素値（Ｒ，Ｇ，Ｂ）（画素ｐ（ｉ）の画素値）と比較画素値（ｒ，ｇ，ｂ）（画素ａ（ｉ−１）の画素値）とに基づいて、
Ｄ^２＝Ｒ^２＋Ｇ^２＋Ｂ^２ および
ｄ^２＝ｒ^２＋ｇ^２＋ｂ^２
なる演算を行い、値Ｄ^２および値ｄ^２を算出する構成要素である。ここで算出された値Ｄ^２および値ｄ^２は、第１の条件判定部４２２、第２の条件判定部４２３、第３の条件判定部４２４における演算で利用される。
【０２４１】
第１の条件判定部４２２は、図１７に示すように、「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する構成要素である。そのために、基本演算部４２１が算出した値Ｄ^２および値ｄ^２とパラメータ保持部４２６に保持されているパラメータｈの値とを用いて、
（１−ｈ）^２・Ｄ^２＞ｄ^２ 式（２）
もしくは
（１＋ｈ）^２・Ｄ^２＜ｄ^２ 式（３）
という条件を満足するか否かを判定するための演算を行う。そして、「条件満足」との肯定的判定が行われた場合、当該判定結果は、判定値出力部４２５に報知される。一方、「条件満足せず」との否定的判定が行われた場合、当該判定結果は、第２の条件判定部４２３に報知される。
【０２４２】
第２の条件判定部４２３は、第１の条件判定部４２２から、「条件満足せず」との否定的判定結果が報知された場合に限り、条件判定処理を実行する構成要素である。ここで行われる処理の目的は、図１９に示すように、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定することにある。ただ、実用上は、演算負担を軽減するために、円錐ξの代わりに円錐ξ′を用いた判定を行うようにするのが好ましい。
【０２４３】
すなわち、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線を構成する円を交線円Ｓとしたときに、「原点Ｏを頂点、基準軸Ｚを中心軸とし、交線円Ｓを通る円錐ξ′の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定すればよい。このとき、演算負担を更に軽減するために、交線円Ｓ上の任意の点と基準点Ｑとの距離ｆが短軸半径βに等しいとおいた近似式を用いて近似的な判定を行うようにするのが好ましい。
【０２４４】
このような近似的な判定を行う場合、第２の条件判定部４２３は、画素値読出部４１０が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ
なる演算を行い、値γを算出し、更に、基本演算部４２１が算出した値Ｄ^２および値ｄ^２とパラメータ保持部４２６に保持されているパラメータｋの値と、算出した値γとを用いて、
γ^２／（Ｄ^２・ｄ^２）＜（１−ｋ^２／２）^２ 式（１１）
という条件を満足するか否かを判定するための演算を行えばよい。結局、この式（１１）の演算式で示される条件は、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの近似体の外側に比較点ｑが位置する」という条件になる。
【０２４５】
そして、この第２の条件判定部４２３において、「条件満足」との肯定的判定が行われた場合、当該判定結果は、判定値出力部４２５に報知される。一方、「条件満足せず」との否定的判定が行われた場合、当該判定結果は、γの値とともに、第３の条件判定部４２４に報知される。
【０２４６】
第３の条件判定部４２４は、第２の条件判定部４２３から、「条件満足せず」との否定的判定結果が報知された場合に限り、条件判定処理を実行する構成要素である。ここで行われる処理の目的は、図２３に示すように、「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定することにある。そのため、第３の条件判定部４２４は、基本演算部４２１が算出した値Ｄ^２および値ｄ^２と、パラメータ保持部４２６に保持されているパラメータｈおよびｋの値と、第２の条件判定部４２３が算出した値γとを用いて、
α^２＝ｈ^２・Ｄ^２、 β^２＝ｋ^２・Ｄ^２ 式（１６）
ｘ^２＝Ｄ^２＋γ^２／Ｄ^２−２γ 式（１７）
ｙ^２＝ｄ^２−γ^２／Ｄ^２ 式（１８）
なる演算を行い、当該演算結果を用いて、
β^２・ｘ^２＋α^２・ｙ^２−α^２・β^２＞０ 式（１５）
という条件を満足するか否かを判定するための演算を行う。
【０２４７】
そして、この第３の条件判定部４２４における「条件満足」との肯定的判定結果もしくは「条件満足せず」との否定的判定結果は、判定値出力部４２５に報知される。
【０２４８】
判定値出力部４２５は、第１の条件判定部４２２、第２の条件判定部４２３、第３の条件判定部４２４のいずれかが「条件満足」との肯定的判定を行った場合に、非類似との判定結果（論理値「０」）を出力し、第１の条件判定部４２２、第２の条件判定部４２３、第３の条件判定部４２４のすべてが「条件満足せず」との否定的判定を行った場合に、類似との判定結果（論理値「１」）を出力する。
【０２４９】
以上、図２７を参照して、第１判定部４２０の詳細構成を述べたが、第２判定部４３０の構成もこれと全く同様である。なお、第１判定部４２０による類否判定に用いられる回転楕円体と第２判定部４３０による類否判定に用いられる回転楕円体とは、両判定部における判定基準を統一するために、同一サイズの回転楕円体とし、三次元座標系上の同一位置に配置するのが好ましい。
【０２５０】
既に述べたとおり、上記条件判定式には、加減乗除演算のみしか含まれていないため、一般的な幾何学演算に必要とされる開平演算や三角関数演算を行う必要はない。したがって、演算装置の負担は比較的軽いものになり、前背判定部４５０を安価なプロセッサを用いて構成した場合でも、リアルタイム処理が可能になる。
【０２５１】
なお、これまで述べた条件判定式には、「不等号＞」や「不等号＜」を含む演算式が含まれているが、これらの演算式の一部もしくは全部について、「不等号＞」の代わりに「不等号≧」を用いた演算式、もしくは「不等号＜」の代わりに「不等号≦」を用いた演算式を用いてもかまわない。すなわち、各条件判定式は、比較点ｑが何らかの図形の内側領域にあるか外側領域にあるかを示すものであるが、当該図形の境界面上の点は、当該図形の内側領域に含ませても、外側領域に含ませてもかまわない。
【０２５２】
また、これまで述べた実施形態では、三原色を示す符号として、便宜上、（Ｒ，Ｇ，Ｂ）もしくは（ｒ，ｇ，ｂ）という符号を用いているが、これらの符号は、必ずしも（赤，緑，青）なる三原色を意味するものではない。一般的には、ビデオカメラで撮影した画像は、（赤，緑，青）なる三原色の各画素値をもった画素の集合からなるデータとして与えられるが、本発明は、（赤，緑，青）なる三原色を用いた表色系に限定されるものではなく、他の色からなる三原色を用いた別な表色系にも適用可能である。その場合、各演算式に用いられている（Ｒ，Ｇ，Ｂ）もしくは（ｒ，ｇ，ｂ）という符号は、当該別な表色系の三原色の画素値を示すことになる。
【０２５３】
＜＜＜ §１０．本発明に係る移動物体検出方法 ＞＞＞
最後に、本発明を方法の発明として捉えた場合に、当該方法を構成する個々の手順を説明する。この方法は、動画画像について移動物体を検出する移動物体検出方法であり、実用上、この方法を構成する各手順はコンピュータによって実行される。
【０２５４】
すなわち、本発明に係る移動物体検出方法は、コンピュータが、時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する画像入力段階と、コンピュータが、新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した平均画像とに基づいて、新たな平均画像を作成する平均画像作成段階と、コンピュータが、新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した参照画像とに基づいて、新たな参照画像を作成する参照画像作成段階と、コンピュータが、原画像と平均画像と参照画像とを用いた比較処理により、前景領域と背景領域とを区別するマスク画像を作成する画像比較段階と、コンピュータが、作成されたマスク画像を出力する画像出力段階と、によって構成される。
【０２５５】
ここで、画像比較段階は、第ｉ番目の原画像、第（ｉ−１）番目の平均画像、第（ｉ−１）番目の参照画像から、それぞれ対応する所定位置にある画素の三原色の各画素値を読み出す画素値読出ステップと、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の平均画像を構成する画素の画素値ａ（ｉ−１）とが類似するか否かを判定する第１判定処理と、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の参照画像を構成する画素の画素値ｕ（ｉ−１）とが類似するか否かを判定する第２判定処理と、を行い、第ｉ番目の原画像の所定位置にある画素について、第１判定処理による判定結果と第２判定処理による判定結果との少なくとも一方が類似を示す場合には背景画素、双方とも非類似を示す場合には前景画素との判定を行う前背判定ステップと、第ｉ番目のマスク画像を構成する所定位置の画素の画素値として、前背判定ステップにより背景画素と判定された場合には背景領域を示す画素値を、前背判定ステップにより前景画素と判定された場合には前景領域を示す画素値を、それぞれ与えることにより、第ｉ番目のマスク画像を作成するマスク画像作成ステップと、によって構成される。
【０２５６】
また、平均画像作成段階では、第１番目の原画像をそのまま第１番目の平均画像とし、第ｉ番目（ｉ≧２）の平均画像を作成する際には、第ｉ番目の原画像と第（ｉ−１）番目の平均画像とについて、互いに対応する位置にある画素の三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を各画素値とする画素の集合からなる画像を第ｉ番目の平均画像とする処理が行われる。
【０２５７】
より具体的には、平均画像作成段階では、最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）とする処理を行い、以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
所定位置の画素の所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
所定位置の画素の所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成する処理が行われる。
【０２５８】
一方、参照画像作成段階では、第１番目の原画像をそのまま第１番目の参照画像とし、第ｉ番目（ｉ≧２）の参照画像を作成する際には、第（ｉ−１）番目の参照画像を構成する個々の画素のうち、前背判定ステップにおいて第ｉ番目の原画像の対応画素が前景画素と判定された画素については、更新せずに、もとの画素値をそのまま維持し、前背判定ステップにおいて第ｉ番目の原画像の対応画素が背景画素と判定された画素については、第（ｉ−１）番目の平均画像の対応する位置にある画素との間で、三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を新画素値として更新することにより、第ｉ番目の参照画像を作成する処理が行われる。
【０２５９】
より具体的には、参照画像作成段階では、最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の参照画像Ｕ（１）とする処理を行い、以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の参照画像Ｕ（ｉ）の各画素値を、
背景画素と判定された画素については、
ｕ（ｉ）＝（１−ｖ）・ｕ（ｉ−１）＋ｖ・ａ（ｉ−１）
（但し、ｕ（ｉ）は、平均画像Ｕ（ｉ）の
所定位置の画素の所定色の画素値、
ｕ（ｉ−１）は、平均画像Ｕ（ｉ−１）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
所定位置の画素の所定色の画素値、
ｖは、所定の重みを示すパラメータ（ｖ＜１、かつｗ＞ｖ））
なる演算式を用いて求められた画素値ｕ（ｉ）に更新し、
前景画素と判定された画素については、
ｕ（ｉ）＝ｕ（ｉ−１）
として、更新せずに、もとの画素値をそのまま維持することにより、参照画像Ｕ（ｉ）を作成する処理が行われる。
【符号の説明】
【０２６０】
１１０：画像入力部
１２０：原画像格納部
１３０：平均画像作成部
１３５：参照画像作成部
１４０：平均画像格納部
１４５：参照画像格納部
２００：画像比較部
２１０：画素値読出部
２２０：類否判定部
２３０：画素値書込部
３１０：マスク画像格納部
３２０：画像出力部
３３０：パラメータ設定部
３４０：パラメータ設定部
４００：画像比較部
４１０：画素値読出部
４２０：第１判定部
４２１：基本演算部
４２２：第１の条件判定部
４２３：第２の条件判定部
４２４：第３の条件判定部
４２５：判定値出力部
４２６：パラメータ保持部
４３０：第２判定部
４４０：総合判定部
４５０：前背判定部
４６０：画素値書込部
Ａ（１）〜Ａ（ｉ）：平均画像
Ａ，Ａ（Ｒａ，Ｇａ，Ｂａ）：平均画像の画素値を示す座標点
ａ：三角形の一辺
ａ（ｉ−１），ａ（ｉ）：平均画像を構成する１つの画素もしくはその画素値
Ｂ：背景領域／三原色の画素値（基準画素値）
ｂ：三原色の画素値（比較画素値）／三角形の一辺
Ｃ：円柱モデルの円柱
Ｃ１，Ｃ２：球
Ｃ３：球面
ｃ：三角形の一辺
Ｄ：原点Ｏと基準点Ｑとの距離
ｄ：原点Ｏと比較点ｑとの距離
Ｅ，Ｅａ，Ｅｐ：回転楕円体
Ｅ１：回転楕円体Ｅの最近接点
Ｅ２：回転楕円体Ｅの最遠隔点
Ｆ：前景領域
ｆ：交線円Ｓ上の任意の点と基準点Ｑとの距離
Ｇ：三原色の画素値（基準画素値）
ｇ：三原色の画素値（比較画素値）
ｈ：回転楕円体Ｅの長軸半径αを定めるパラメータ
ｉ：時系列の番号
Ｊ：判定結果を示す論理値（０：前景／１：背景）
ｋ：回転楕円体Ｅの短軸半径βを定めるパラメータ
Ｌ：円柱Ｃの長さ
Ｌａ１：回転楕円体Ｅａの長軸方向の長さ
Ｌａ２：回転楕円体Ｅａの短軸方向の長さ
Ｌｐ１：回転楕円体Ｅｐの長軸方向の長さ
Ｌｐ２：回転楕円体Ｅｐの短軸方向の長さ
Ｍ：マスク画像
Ｍ（１）〜Ｍ（ｉ），Ｍ（ｉ＋１），Ｍ１０〜Ｍ４０：マスク画像
ｍ（ｉ）：マスク画像を構成する１つの画素の画素値
Ｏ：三次元色空間を構成するＲＧＢ座標系の原点
Ｐ：原画像／原画像の画素値を示す座標点
Ｐ（１）〜Ｐ（ｉ），Ｐ（ｉ＋１），Ｐ１０〜Ｐ４０：原画像（入力画像）
Ｐ（Ｒｐ，Ｇｐ，Ｂｐ）：原画像の画素値を示す座標点
ｐ（ｉ）：原画像を構成する１つの画素もしくはその画素値
Ｑ：基準点（画素値（Ｒ，Ｇ，Ｂ）をもった座標点）
ｑ：比較点（画素値（ｒ，ｇ，ｂ）をもった座標点）
Ｒ：三原色の画素値（基準画素値）
ｒ：三原色の画素値（比較画素値）
Ｓ：交線円（球面Ｃ３と回転楕円体Ｅとの交線）
Ｓ１１〜Ｓ２０：流れ図の各ステップ
Ｔ：接線円（円錐ξと回転楕円体Ｅとの接線）
ｔ：基準点Ｑと比較点ｑとの距離
ｔ１〜ｔ１５：時系列の各時点
Ｕ（１）〜Ｕ（ｉ）：参照画像
ｕ（ｉ−１），ｕ（ｉ）：参照画像を構成する１つの画素もしくはその画素値
Ｖ：基準画素値を示すベクトル／車両
Ｖａ：平均画像の画素値を示すベクトル
Ｖｐ：原画像の画素値を示すベクトル
ｖ：重みを示すパラメータ
ｗ：重みを示すパラメータ
Ｘ：座標軸
ｘ：楕円方程式の変数
Ｙ：座標軸
ｙ：楕円方程式の変数
Ｚ，Ｚａ，Ｚｐ：基準軸
α：回転楕円体Ｅの長軸半径
β：回転楕円体Ｅの短軸半径
γ：演算値
δ：座標点間の距離
θ：角度
ξ，ξ′：円錐
φ，φ′：円錐の半頂角

【特許請求の範囲】
【請求項１】
動画画像について移動物体を検出する移動物体検出装置であって、
時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する画像入力部と、
入力された原画像を逐次格納する原画像格納部と、
新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した平均画像とに基づいて、新たな平均画像を作成する平均画像作成部と、
作成された平均画像を逐次格納する平均画像格納部と、
新たな原画像が入力されるたびに、直前に作成した参照画像に基づいて新たな参照画像を作成する参照画像作成部と、
作成された参照画像を逐次格納する参照画像格納部と、
前記原画像格納部に格納された原画像と、前記平均画像格納部に格納された平均画像と、前記参照画像格納部に格納された参照画像と、を用いた比較処理により、前景領域と背景領域とを区別するマスク画像を作成する画像比較部と、
前記マスク画像を格納するマスク画像格納部と、
前記マスク画像を出力する画像出力部と、
を備え、
前記画像比較部は、
前記原画像格納部に格納された第ｉ番目の原画像、前記平均画像格納部に格納された第（ｉ−１）番目の平均画像、前記参照画像格納部に格納された第（ｉ−１）番目の参照画像から、それぞれ対応する所定位置にある画素の三原色の各画素値を読み出す画素値読出部と、
前記画素値読出部によって読み出された画素値に基づいて、前記第ｉ番目の原画像の前記所定位置にある画素が前景画素か背景画素かを判定する前背判定部と、
第ｉ番目のマスク画像を構成する前記所定位置の画素の画素値として、前記前背判定部が背景画素と判定した場合には背景領域を示す画素値を、前記前背判定部が前景画素と判定した場合には前景領域を示す画素値を、それぞれ前記マスク画像格納部に書き込む画素値書込部と、
を有し、
前記前背判定部は、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の平均画像を構成する画素の画素値ａ（ｉ−１）とを比較して類似するか否かを判定する第１判定部と、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の参照画像を構成する画素の画素値ｕ（ｉ−１）とを比較して類似するか否かを判定する第２判定部と、前記第１判定部による判定結果および前記第２判定部による判定結果の少なくとも一方が類似を示す場合には背景画素、双方とも非類似を示す場合には前景画素との判定を行う総合判定部と、を有し、
前記平均画像作成部は、第１番目の原画像をそのまま第１番目の平均画像とし、第ｉ番目の原画像と第（ｉ−１）番目の平均画像とについて、互いに対応する位置にある画素の三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を各画素値とする画素の集合からなる画像を第ｉ番目（ｉ≧２）の平均画像とし、
前記参照画像作成部は、第１番目の原画像をそのまま第１番目の参照画像とし、第（ｉ−１）番目の参照画像を構成する個々の画素のうち、前記前背判定部によって第ｉ番目の原画像の対応画素が前景画素と判定された画素については、更新せずに、もとの画素値をそのまま維持し、前記前背判定部によって第ｉ番目の原画像の対応画素が背景画素と判定された画素については、当該画素と第（ｉ−１）番目の平均画像の対応する位置にある画素とについて、三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を新画素値として更新することにより、第ｉ番目（ｉ≧２）の参照画像を作成することを特徴とする移動物体検出装置。
【請求項２】
請求項１に記載の移動物体検出装置において、
平均画像作成部が、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部へ格納する処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
前記所定位置の画素の前記所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成することを特徴とする移動物体検出装置。
【請求項３】
請求項２に記載の移動物体検出装置において、
参照画像作成部が、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の参照画像Ｕ（１）として参照画像格納部へ格納する処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の参照画像Ｕ（ｉ）の各画素値を、
背景画素と判定された画素については、
ｕ（ｉ）＝（１−ｖ）・ｕ（ｉ−１）＋ｖ・ａ（ｉ−１）
（但し、ｕ（ｉ）は、平均画像Ｕ（ｉ）の
所定位置の画素の所定色の画素値、
ｕ（ｉ−１）は、平均画像Ｕ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｖは、所定の重みを示すパラメータ（ｖ＜１））
なる演算式を用いて求められた画素値ｕ（ｉ）に更新し、
前景画素と判定された画素については、
ｕ（ｉ）＝ｕ（ｉ−１）
として、更新せずに、もとの画素値をそのまま維持することにより決定することを特徴とする移動物体検出装置。
【請求項４】
請求項３に記載の移動物体検出装置において、
重みを示すパラメータｗ，ｖを、ｗ＞ｖとなるように設定することを特徴とする移動物体検出装置。
【請求項５】
請求項２〜４のいずれかに記載の移動物体検出装置において、
パラメータ「ｗ」もしくは「ｖ」またはこれら双方を、ユーザの操作入力によって任意の値に設定するパラメータ設定部を更に備えることを特徴とする移動物体検出装置。
【請求項６】
請求項１〜５のいずれかに記載の移動物体検出装置において、
第１判定部および第２判定部が、比較対象となる一方の画素の画素値を基準画素値、他方の画素の画素値を比較画素値として、三原色の各画素値を各座標軸にとった三次元座標系において、前記基準画素値に対応する座標に位置する基準点Ｑと前記比較画素値に対応する座標に位置する比較点ｑをとり、前記基準点Ｑを中心とする所定サイズの基準立体と前記比較点ｑとの位置関係を調べ、前記比較点ｑが前記基準立体の外部に位置すると判定できる場合に非類似との判定を行い、内部に位置すると判定できる場合には類似との判定を行うことを特徴とする移動物体検出装置。
【請求項７】
請求項６に記載の移動物体検出装置において、
第１判定部が、原画像の画素の画素値を基準画素値、平均画像の画素の画素値を比較画素値として判定を行い、
第２判定部が、原画像の画素の画素値を基準画素値、参照画像の画素の画素値を比較画素値として判定を行うことを特徴とする移動物体検出装置。
【請求項８】
請求項６または７に記載の移動物体検出装置において、
第１判定部および第２判定部が、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、この楕円を前記基準軸Ｚを中心に回転させることにより得られる同一の回転楕円体Ｅもしくはその近似体を基準立体として用いることを特徴とする移動物体検出装置。
【請求項９】
請求項８に記載の移動物体検出装置において、
第１判定部および第２判定部が、
「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する第１の条件判定部と、
前記第１の条件判定部が否定的判定を行った場合に「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξもしくはその近似体の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定する第２の条件判定部と、
前記第２の条件判定部が否定的判定を行った場合に「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定する第３の条件判定部と、
前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のいずれかが肯定的判定を行った場合に、非類似との判定結果を示す判定値を出力し、前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のすべてが否定的判定を行った場合に、類似との判定結果を示す判定値を出力する判定値出力部と、
を有することを特徴とする移動物体検出装置。
【請求項１０】
請求項８に記載の移動物体検出装置において、
第１判定部および第２判定部が、
パラメータｈおよびｋの値を保持するパラメータ保持部と、
画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
Ｄ^２＝Ｒ^２＋Ｇ^２＋Ｂ^２ および
ｄ^２＝ｒ^２＋ｇ^２＋ｂ^２
なる演算を行い、値Ｄ^２および値ｄ^２を算出する基本演算部と、
前記基本演算部が算出した値Ｄ^２および値ｄ^２と前記パラメータ保持部に保持されているパラメータｈの値とを用いて、
（１−ｈ）^２・Ｄ^２＞ｄ^２ もしくは
（１＋ｈ）^２・Ｄ^２＜ｄ^２
という条件を満足するか否かを判定するための演算を行う第１の条件判定部と、
前記第１の条件判定部が否定的判定を行った場合に、画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ
なる演算を行い、値γを算出し、前記基本演算部が算出した値Ｄ^２および値ｄ^２と前記パラメータ保持部に保持されているパラメータｋの値と前記値γとを用いて、
γ^２／（Ｄ^２・ｄ^２）＜（１−ｋ^２／２）^２
という条件を満足するか否かを判定するための演算を行う第２の条件判定部と、
前記第２の条件判定部が否定的判定を行った場合に、前記基本演算部が算出した値Ｄ^２および値ｄ^２と前記パラメータ保持部に保持されているパラメータｈおよびｋの値と前記第２の条件判定部が算出した前記値γとを用いて、
α^２＝ｈ^２・Ｄ^２
β^２＝ｋ^２・Ｄ^２
ｘ^２＝Ｄ^２＋γ^２／Ｄ^２−２γ
ｙ^２＝ｄ^２−γ^２／Ｄ^２
なる演算を行い、当該演算結果を用いて、
β^２・ｘ^２＋α^２・ｙ^２−α^２・β^２＞０
という条件を満足するか否かを判定するための演算を行う第３の条件判定部と、
前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のいずれかが肯定的判定を行った場合に、非類似との判定結果を示す判定値を出力し、前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のすべてが否定的判定を行った場合に、類似との判定結果を示す判定値を出力する判定値出力部と、
を有することを特徴とする移動物体検出装置。
【請求項１１】
請求項８〜１０のいずれかに記載の移動物体検出装置において、
パラメータ「ｈ」および「ｋ」を、ユーザの操作入力によって任意の値に設定するパラメータ設定部を更に備えることを特徴とする移動物体検出装置。
【請求項１２】
請求項１〜１１のいずれかに記載の移動物体検出装置としてコンピュータを動作させるプログラム。
【請求項１３】
請求項１〜１１のいずれかに記載の移動物体検出装置として機能する半導体集積回路。
【請求項１４】
動画画像について移動物体を検出する移動物体検出方法であって、
コンピュータが、時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する画像入力段階と、
コンピュータが、新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した平均画像とに基づいて、新たな平均画像を作成する平均画像作成段階と、
コンピュータが、新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した参照画像とに基づいて、新たな参照画像を作成する参照画像作成段階と、
コンピュータが、原画像と平均画像と参照画像とを用いた比較処理により、前景領域と背景領域とを区別するマスク画像を作成する画像比較段階と、
コンピュータが、前記マスク画像を出力する画像出力段階と、
を有し、
前記画像比較段階は、
第ｉ番目の原画像、第（ｉ−１）番目の平均画像、第（ｉ−１）番目の参照画像から、それぞれ対応する所定位置にある画素の三原色の各画素値を読み出す画素値読出ステップと、
第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の平均画像を構成する画素の画素値ａ（ｉ−１）とが類似するか否かを判定する第１判定処理と、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の参照画像を構成する画素の画素値ｕ（ｉ−１）とが類似するか否かを判定する第２判定処理と、を行い、第ｉ番目の原画像の前記所定位置にある画素について、前記第１判定処理による判定結果と前記第２判定処理による判定結果との少なくとも一方が類似を示す場合には背景画素、双方とも非類似を示す場合には前景画素との判定を行う前背判定ステップと、
第ｉ番目のマスク画像を構成する前記所定位置の画素の画素値として、前記前背判定ステップにより背景画素と判定された場合には背景領域を示す画素値を、前記前背判定ステップにより前景画素と判定された場合には前景領域を示す画素値を、それぞれ与えることにより、第ｉ番目のマスク画像を作成するマスク画像作成ステップと、
を有し、
前記平均画像作成段階では、第１番目の原画像をそのまま第１番目の平均画像とし、第ｉ番目（ｉ≧２）の平均画像を作成する際には、第ｉ番目の原画像と第（ｉ−１）番目の平均画像とについて、互いに対応する位置にある画素の三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を各画素値とする画素の集合からなる画像を第ｉ番目の平均画像とし、
前記参照画像作成段階では、第１番目の原画像をそのまま第１番目の参照画像とし、第ｉ番目（ｉ≧２）の参照画像を作成する際には、第（ｉ−１）番目の参照画像を構成する個々の画素のうち、前記前背判定ステップにおいて第ｉ番目の原画像の対応画素が前景画素と判定された画素については、更新せずに、もとの画素値をそのまま維持し、前記前背判定ステップにおいて第ｉ番目の原画像の対応画素が背景画素と判定された画素については、第（ｉ−１）番目の平均画像の対応する位置にある画素との間で、三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を新画素値として更新することにより、第ｉ番目の参照画像を作成することを特徴とする移動物体検出方法。
【請求項１５】
請求項１４に記載の移動物体検出方法において、
平均画像作成段階では、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）とする処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
前記所定位置の画素の前記所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成し、
参照画像作成段階では、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の参照画像Ｕ（１）とする処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の参照画像Ｕ（ｉ）の各画素値を、
背景画素と判定された画素については、
ｕ（ｉ）＝（１−ｖ）・ｕ（ｉ−１）＋ｖ・ａ（ｉ−１）
（但し、ｕ（ｉ）は、平均画像Ｕ（ｉ）の
所定位置の画素の所定色の画素値、
ｕ（ｉ−１）は、平均画像Ｕ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｖは、所定の重みを示すパラメータ（ｖ＜１、かつｗ＞ｖ））
なる演算式を用いて求められた画素値ｕ（ｉ）に更新し、
前景画素と判定された画素については、
ｕ（ｉ）＝ｕ（ｉ−１）
として、更新せずに、もとの画素値をそのまま維持することにより、参照画像Ｕ（ｉ）を作成することを特徴とする移動物体検出方法。

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１４】

【図１５】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

【図２１】

【図２２】

【図２３】

【図２４】

【図２５】

【図２６】

【図２７】

【公開番号】特開２０１２−１６０９７７（Ｐ２０１２−１６０９７７Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−２０２２８（Ｐ２０１１−２０２２８）
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】