移動物体検出装置および画素の類否判定方法
【課題】演算処理負担を軽減しつつ、移動物体の検出を正確に行う。
【解決手段】時系列で連続的に与えられるフレーム単位の入力画像と予め用意された背景画像とを、個々の画素単位で比較する。入力画像の着目画素の画素値（ｒ，ｇ，ｂ）と背景画像の対応する画素の画素値（Ｒ，Ｇ，Ｂ）とを三次元色空間上にプロットし、点ｑ（ｒ，ｇ，ｂ）と点Ｑ（Ｒ，Ｇ，Ｂ）を定義する。原点Ｏと点Ｑとの距離をＤとし、長軸半径α＝ｈ・Ｄ（但し、ｈ＜１）、短軸半径β＝ｋ・Ｄ（但し、ｋ＜ｈ）をもつ楕円を、点Ｑを中心として、２点Ｏ，Ｑを通る基準軸Ｚが長軸方向となるように配置し、基準軸Ｚを中心に回転させて回転楕円体Ｅを定義する。点ｑが回転楕円体Ｅの内部にあれば着目画素は背景領域の画素とし、外部にあれば着目画素は移動物体の画素とする。移動物体の画素の集合体を、当該入力画像上における移動物体の占有領域として検出する。
【解決手段】時系列で連続的に与えられるフレーム単位の入力画像と予め用意された背景画像とを、個々の画素単位で比較する。入力画像の着目画素の画素値（ｒ，ｇ，ｂ）と背景画像の対応する画素の画素値（Ｒ，Ｇ，Ｂ）とを三次元色空間上にプロットし、点ｑ（ｒ，ｇ，ｂ）と点Ｑ（Ｒ，Ｇ，Ｂ）を定義する。原点Ｏと点Ｑとの距離をＤとし、長軸半径α＝ｈ・Ｄ（但し、ｈ＜１）、短軸半径β＝ｋ・Ｄ（但し、ｋ＜ｈ）をもつ楕円を、点Ｑを中心として、２点Ｏ，Ｑを通る基準軸Ｚが長軸方向となるように配置し、基準軸Ｚを中心に回転させて回転楕円体Ｅを定義する。点ｑが回転楕円体Ｅの内部にあれば着目画素は背景領域の画素とし、外部にあれば着目画素は移動物体の画素とする。移動物体の画素の集合体を、当該入力画像上における移動物体の占有領域として検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラーの動画画像に基づいて、画像内の移動物体を検出する移動物体検出装置およびこれに利用する画素の類否判定方法に関する。
【背景技術】
【０００２】
ビデオカメラを用いた監視システムなどでは、監視領域内に存在する移動物体を自動的に検出する技術が重要になってきている。移動物体の自動検出が可能になれば、当該物体が車両であるのか、人間であるのか、といった識別を行う処理に利用することができる。更に、車両の場合であれば、ナンバーを読み取って車両を特定することができ、人間の場合であれば、個人を特定する処理にも応用することができる。また、検出した不審者を自動的にズームアップして追尾することも可能になる。
【０００３】
移動物体を検出する基本原理は、時系列で連続的に与えられるフレーム単位の入力画像を予め用意した背景画像と比較し、両者の差分を求めることにより、時間的に変化している領域を認識することにある。ただ、屋外の監視システムなどに利用する場合、時刻や天候などによる照明変動が生じるため、必ずしも正確な物体検出を行うことができない。そこで、たとえば、下記の特許文献１には、フレーム単位の入力画像を小領域に分割し、各小領域単位で画素値の統計処理を施して照明変動を推定する手法が開示されている。また、下記の特許文献２には、フレーム単位の入力画像をブロックに分割し、個々のブロックごとに画素値の平均値を求め、背景画像の画素値平均と比較することにより、当該ブロックが移動物体を含むか否かを判定する手法が開示されている。
【０００４】
一方、下記の非特許文献１には、入力画像と背景画像とを画素単位で比較して、当該画素が移動物体を構成する画素であるか否かを判定する手法が開示されている。具体的には、比較対象となる両画素の画素値が類似している場合、当該画素は背景を構成する画素であるとし、類似していない場合、当該画素は移動物体を構成する画素であるとする判定が行われる。このとき、画素の類否判定は、三次元の色空間上で、双方の画素値に対応する座標点をプロットし、一方の座標点が他方の座標点の近傍領域に入っているか否かを調べることにより行われる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−３０２３２８号公報
【特許文献２】特開２００９−０４８２４０号公報
【非特許文献】
【０００６】
【非特許文献１】Kim K, Chalidabhongse T H, Harwood D, Davis L S. "Background Modeling and Subtraction by Codebook Construction" Proceedings of International Conference on Image Processing, Singapore. IEEE, 2004. 5: 3061-3064
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した特許文献１，２に開示されている手法では、入力画像に対して、小領域もしくはブロック単位で画素値のヒストグラムをとるなどの統計処理を施し、当該統計処理によって得られた特徴量を複雑なモデルに当てはめて移動物体の領域を推定する必要があるため、演算処理が極めて複雑になるという問題がある。このため、一般的なプロセッサでは処理時間が長くかかり、リアルタイムでの処理を行うことが困難である。また、より正確な検出を行うためには、多数のフレームにわたって入力画像を格納しておく必要があり、大容量の画像バッファメモリが必要になる。このため、リアルタイムでの監視を目的とした安価な監視システムに利用するには不適当である。
【０００８】
一方、上述した非特許文献１に開示されている手法では、画素単位での比較を行えばよいので、複雑な統計処理を行ったり、複雑なモデルを構築したりする必要はない。しかしながら、画素の類否判定を行うためには、三次元の色空間上での幾何学演算が必要になり、安価なプロセッサを用いてリアルタイムの処理を行うには、依然として演算処理の負担が重い。特に、三角関数を含む演算は、安価な汎用プロセッサにとって極めて負担の重い処理になる。また、領域単位での統計処理を省き、画素単位での比較結果のみによって検出を行うため、時刻や天候などによる照明変動の影響を受けやすく、誤検出が生じやすいという問題もある。
【０００９】
そこで本発明は、演算処理の負担を軽減しつつ、より正確な検出を行うことが可能な移動物体検出装置を提供することを目的とする。また、そのような移動物体検出装置に利用可能な画素の類否判定方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
(1) 本発明の第１の態様は、動画画像について移動物体を検出する移動物体検出装置において、
時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する画像入力部と、
入力された原画像を逐次格納する原画像格納部と、
過去に入力された複数の原画像に基づいて、これら原画像の平均的な特徴を有する平均画像を逐次作成する平均画像作成部と、
作成された平均画像を逐次格納する平均画像格納部と、
原画像格納部に格納された原画像と、平均画像格納部に格納された平均画像とを比較し、前景領域と背景領域とを区別するマスク画像を作成する画像比較部と、
マスク画像を格納するマスク画像格納部と、
マスク画像を出力する画像出力部と、
を設け、
画像比較部を、
比較対象となる一方の画像の所定位置の画素の画素値を基準画素値として読み出し、比較対象となる他方の画像の所定位置の画素の画素値を比較画素値として読み出す画素値読出部と、
比較画素値が、基準画素値について設定された所定の類似範囲に入っているか否かを判定する類否判定部と、
マスク画像を構成する所定位置の画素の画素値として、類否判定部が類似範囲内と判定した場合には背景領域を示す画素値を、類否判定部が類似範囲外と判定した場合には前景領域を示す画素値を、それぞれマスク画像格納部に書き込む画素値書込部と、
によって構成し、
類否判定部が、三原色の各画素値を各座標軸にとった三次元座標系において、基準画素値に対応する座標に位置する基準点Ｑと比較画素値に対応する座標に位置する比較点ｑをとり、基準点Ｑを中心とする所定サイズの回転楕円体Ｅと比較点ｑとの位置関係を調べ、比較点ｑが回転楕円体Ｅもしくはその近似体の外部に位置すると判定できる場合には類似範囲外との判定を行い、内部に位置すると判定できる場合には類似範囲内との判定を行うようにしたものである。
【００１１】
(2) 本発明の第２の態様は、上述の第１の態様に係る移動物体検出装置において、
平均画像作成部が、
第ｉ番目の原画像Ｐ（ｉ）が入力されたときに（ｉ＝１，２，...）、当該原画像Ｐ（ｉ）を含めた過去の原画像について、それぞれ対応する位置の画素の各色別の画素値の重みづけ平均値を算出し、当該平均値をもつ画素の集合体からなる第ｉ番目の平均画像Ａ（ｉ）を作成し、
画像比較部が、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）が入力されたときに、当該原画像Ｐ（ｉ＋１）と、第ｉ番目の平均画像Ａ（ｉ）とを比較し、第（ｉ＋１）番目のマスク画像Ｍ（ｉ＋１）を作成するようにしたものである。
【００１２】
(3) 本発明の第３の態様は、上述の第２の態様に係る移動物体検出装置において、
平均画像作成部が、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部へ格納する処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
当該所定位置の画素の当該所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
当該所定位置の画素の当該所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成するようにしたものである。
【００１３】
(4) 本発明の第４の態様は、上述の第１〜第３の態様に係る移動物体検出装置において、
類否判定部が、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、基準軸Ｚを中心に回転させることにより回転楕円体Ｅを定義するようにしたものである。
【００１４】
(5) 本発明の第５の態様は、上述の第４の態様に係る移動物体検出装置において、
類否判定部を、
「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する第１の条件判定部と、
第１の条件判定部が否定的判定を行った場合に「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξもしくはその近似体の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定する第２の条件判定部と、
第２の条件判定部が否定的判定を行った場合に「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定する第３の条件判定部と、
第１の条件判定部、第２の条件判定部、第３の条件判定部のいずれかが肯定的判定を行った場合に、類似範囲外との判定結果を示す判定値を出力し、第１の条件判定部、第２の条件判定部、第３の条件判定部のすべてが否定的判定を行った場合に、類似範囲内との判定結果を示す判定値を出力する判定値出力部と、
によって構成するようにしたものである。
【００１５】
(6) 本発明の第６の態様は、上述の第５の態様に係る移動物体検出装置において、
原点Ｏと基準点Ｑとの距離をＤ、原点Ｏと比較点ｑとの距離をｄとしたときに、
第１の条件判定部が、
（１−ｈ）２・Ｄ２＞ｄ２ もしくは
（１＋ｈ）２・Ｄ２＜ｄ２
という条件を満足するか否かを判定するための演算を行うようにしたものである。
【００１６】
(7) 本発明の第７の態様は、上述の第５の態様に係る移動物体検出装置において、
第２の条件判定部が、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線を構成する円を交線円Ｓとしたときに、「原点Ｏを頂点、基準軸Ｚを中心軸とし、交線円Ｓを通る円錐ξ′の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定するようにしたものである。
【００１７】
(8) 本発明の第８の態様は、上述の第７の態様に係る移動物体検出装置において、
第２の条件判定部が、交線円Ｓ上の任意の点と基準点Ｑとの距離ｆが短軸半径βに等しいとおいた近似式を用いて近似的な判定を行うようにしたものである。
【００１８】
(9) 本発明の第９の態様は、上述の第８の態様に係る移動物体検出装置において、
基準点Ｑの座標を示す基準画素値を（Ｒ，Ｇ，Ｂ）、比較点ｑの座標を示す比較画素値を（ｒ，ｇ，ｂ）、原点Ｏと基準点Ｑとの距離をＤ、原点Ｏと比較点ｑとの距離をｄとしたときに、
第２の条件判定部が、
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
として、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２
という条件を満足するか否かを判定するための演算を行うようにしたものである。
【００１９】
(10) 本発明の第１０の態様は、上述の第５の態様に係る移動物体検出装置において、
基準点Ｑの座標を示す基準画素値を（Ｒ，Ｇ，Ｂ）、比較点ｑの座標を示す比較画素値を（ｒ，ｇ，ｂ）、原点Ｏと基準点Ｑとの距離をＤ、原点Ｏと比較点ｑとの距離をｄとしたときに、
第３の条件判定部が、
α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
として、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
という条件を満足するか否かを判定するための演算を行うようにしたものである。
【００２０】
(11) 本発明の第１１の態様は、上述の第４の態様に係る移動物体検出装置において、
類否判定部を、
パラメータｈおよびｋの値を保持するパラメータ保持部と、
画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
Ｄ２＝Ｒ２＋Ｇ２＋Ｂ２ および
ｄ２＝ｒ２＋ｇ２＋ｂ２
なる演算を行い、値Ｄ２および値ｄ２を算出する基本演算部と、
基本演算部が算出した値Ｄ２および値ｄ２とパラメータ保持部に保持されているパラメータｈの値とを用いて、
（１−ｈ）２・Ｄ２＞ｄ２ もしくは
（１＋ｈ）２・Ｄ２＜ｄ２
という条件を満足するか否かを判定するための演算を行う第１の条件判定部と、
第１の条件判定部が否定的判定を行った場合に、画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ
なる演算を行い、値γを算出し、基本演算部が算出した値Ｄ２および値ｄ２とパラメータ保持部に保持されているパラメータｋの値と値γとを用いて、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２
という条件を満足するか否かを判定するための演算を行う第２の条件判定部と、
第２の条件判定部が否定的判定を行った場合に、基本演算部が算出した値Ｄ２および値ｄ２とパラメータ保持部に保持されているパラメータｈおよびｋの値と第２の条件判定部が算出した値γとを用いて、
α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
なる演算を行い、当該演算結果を用いて、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
という条件を満足するか否かを判定するための演算を行う第３の条件判定部と、
第１の条件判定部、第２の条件判定部、第３の条件判定部のいずれかが肯定的判定を行った場合に、類似範囲外との判定結果を示す判定値を出力し、第１の条件判定部、第２の条件判定部、第３の条件判定部のすべてが否定的判定を行った場合に、類似範囲内との判定結果を示す判定値を出力する判定値出力部と、
によって構成するようにしたものである。
【００２１】
(12) 本発明の第１２の態様は、上述の第６，第９〜第１１の態様に係る移動物体検出装置において、
不等号を含む演算式の一部もしくは全部について、「不等号＞」の代わりに「不等号≧」を用いた演算式、もしくは「不等号＜」の代わりに「不等号≦」を用いた演算式を用いるようにしたものである。
【００２２】
(13) 本発明の第１３の態様は、上述の第３〜第１２の態様に係る移動物体検出装置において、
パラメータ「ｗ」もしくは「ｈおよびｋ」またはこれら全てを、ユーザの操作入力によって任意の値に設定するパラメータ設定部を更に設けるようにしたものである。
【００２３】
(14) 本発明の第１４の態様は、上述の第３〜第１３の態様に係る移動物体検出装置において、
画素値読出部が、原画像の画素の画素値を基準画素値として読み出し、平均画像の画素の画素値を比較画素値として読み出すようにしたものである。
【００２４】
(15) 本発明の第１５の態様は、上述の第１〜第１４の態様に係る移動物体検出装置を、コンピュータにプログラムを組み込むことにより構成したものである。
【００２５】
(16) 本発明の第１６の態様は、上述の第１〜第１４の態様に係る移動物体検出装置を、半導体集積回路により構成したものである。
【００２６】
(17) 本発明の第１７の態様は、三原色の各画素値（Ｒ，Ｇ，Ｂ）を有する第１のカラー画素と、三原色の各画素値（ｒ，ｇ，ｂ）を有する第２のカラー画素と、の類否判定を行う画素の類否判定方法において、
コンピュータが、画素値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）の値を取り込む準備段階と、
コンピュータが、三原色の各画素値を各座標軸にとった三次元座標系において、画素値（Ｒ，Ｇ，Ｂ）に対応する座標をもつ基準点Ｑを中心とする所定サイズの回転楕円体Ｅもしくはその近似体と、画素値（ｒ，ｇ，ｂ）に対応する座標をもつ比較点ｑとについて、後者が前者の内部にあるか外部にあるかを調べる位置関係判定段階と、
コンピュータが、回転楕円体Ｅもしくはその近似体の外部に比較点ｑがあると判断した場合には、第１のカラー画素と第２のカラー画素とが非類似との判定結果を出力し、回転楕円体Ｅもしくはその近似体の内部に比較点ｑがあると判断した場合には、第１のカラー画素と第２のカラー画素とが類似するとの判定結果を出力する判定結果出力段階と、
を行うようにしたものである。
【００２７】
(18) 本発明の第１８の態様は、上述の第１７の態様に係る画素の類否判定方法において、
位置関係判定段階では、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、基準軸Ｚを中心に回転させることにより得られる回転楕円体Ｅを定義するようにしたものである。
【００２８】
(19) 本発明の第１９の態様は、上述の第１８の態様に係る画素の類否判定方法において、
位置関係判定段階を、
「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する第１の条件判定段階と、
第１の条件判定段階において否定的判定がなされた場合に、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξもしくはその近似体の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定する第２の条件判定段階と、
第２の条件判定段階において否定的判定がなされた場合に、「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定する第３の条件判定段階と、
によって構成し、
判定結果出力段階では、第１の条件判定段階、第２の条件判定段階、第３の条件判定段階のいずれかにおいて肯定的判定がなされた場合には、第１のカラー画素と第２のカラー画素とが非類似との判定結果を出力し、第１の条件判定段階、第２の条件判定段階、第３の条件判定段階のすべてにおいて否定的判定がなされた場合には、第１のカラー画素と第２のカラー画素とが類似するとの判定結果を出力するようにしたものである。
【００２９】
(20) 本発明の第２０の態様は、上述の第１９の態様に係る画素の類否判定方法において、
第１の条件判定段階で、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
としたときに、
（１−ｈ）２・Ｄ２＞ｄ２ もしくは
（１＋ｈ）２・Ｄ２＜ｄ２
という条件を満足するか否かを判定するための演算を行うようにしたものである。
【００３０】
(21) 本発明の第２１の態様は、上述の第１９の態様に係る画素の類否判定方法において、
第２の条件判定段階で、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）、
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
としたときに、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２
という条件を満足するか否かを判定するための演算を行うようにしたものである。
【００３１】
(22) 本発明の第２２の態様は、上述の第１９の態様に係る画素の類否判定方法において、
第３の条件判定段階で、
α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
としたときに、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
という条件を満足するか否かを判定するための演算を行うようにしたものである。
【００３２】
(23) 本発明の第２３の態様は、三原色の各画素値（Ｒ，Ｇ，Ｂ）を有する第１のカラー画素と、三原色の各画素値（ｒ，ｇ，ｂ）を有する第２のカラー画素と、の類否判定を行う画素の類否判定方法において、
コンピュータが、パラメータｈ（ｈ＜１）およびｋ（ｋ＜ｈ）、画素値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）の値を取り込む準備段階と、
コンピュータが、
（１−ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）＞（ｒ２＋ｇ２＋ｂ２） もしくは
（１＋ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）＜（ｒ２＋ｇ２＋ｂ２）
という条件を満足するか否かを判定する第１の条件判定段階と、
第１の条件判定段階において否定的判定がなされた場合に、コンピュータが、
（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）２／
（（Ｒ２＋Ｇ２＋Ｂ２）・（ｒ２＋ｇ２＋ｂ２））
＜（１−ｋ２／２）２
という条件を満足するか否かを判定する第２の条件判定段階と、
第２の条件判定段階において否定的判定がなされた場合に、コンピュータが、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
但し、α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
という条件を満足するか否かを判定する第３の条件判定段階と、
コンピュータが、第１の条件判定段階、第２の条件判定段階、第３の条件判定段階のいずれかにおいて肯定的判定がなされた場合には、第１のカラー画素と第２のカラー画素とが非類似との判定結果を出力し、第１の条件判定段階、第２の条件判定段階、第３の条件判定段階のすべてにおいて否定的判定がなされた場合には、第１のカラー画素と第２のカラー画素とが類似するとの判定結果を出力する判定結果出力段階と、
を行うようにしたものである。
【００３３】
(24) 本発明の第２４の態様は、上述の第２０〜第２３の態様に係る画素の類否判定方法において、
不等号を含む演算式の一部もしくは全部について、「不等号＞」の代わりに「不等号≧」を用いた演算式、もしくは「不等号＜」の代わりに「不等号≦」を用いた演算式を用いるようにしたものである。
【発明の効果】
【００３４】
本発明に係る画素の類否判定方法によれば、三次元色空間上において、一方の画素値をプロットした座標点を中心とする回転楕円体内に、他方の画素値をプロットした座標点が入るか否かに基づいて、比較対象となるカラー画素の類否判定を行うようにしたため、演算処理の負担を軽減しつつ、移動物体の検出を行うのに適した類否判定を行うことが可能になる。また、本発明に係る移動物体検出装置では、上述した画素の類否判定方法を採り入れた検出手法を採用したため、演算処理の負担を軽減しつつ、移動物体の検出をより正確に行うことが可能になる。
【図面の簡単な説明】
【００３５】
【図１】動画画像についての移動物体の検出例を示す平面図である。
【図２】本発明における移動物体検出の基本原理を示す図である。
【図３】本発明において背景を示す画像として用いられる平均画像の作成方法の一例を示す図である。
【図４】図３に示す方法に基づいて作成される平均画像上の１画素の画素値変遷プロセスを示す図である。
【図５】本発明におけるマスク画像の画素値決定プロセスを示す図である。
【図６】画素の類否判定方法の従来例を示す三次元色空間図である。
【図７】画素の類否判定方法の別な従来例を示す三次元色空間図である。
【図８】本発明に係る移動物体検出に利用するための画素の類否判定方法の第１の適用例を示す三次元色空間図である。
【図９】本発明に係る移動物体検出に利用するための画素の類否判定方法の第２の適用例を示す三次元色空間図である。
【図１０】本発明に係る画素の類否判定方法を示す三次元色空間図である。
【図１１】従来の円柱モデルに対する本発明の回転楕円体モデルの利点を示す断面図である。
【図１２】回転楕円体モデルを用いた場合の第１の条件判定原理を示す断面図である。
【図１３】図１２に示す第１の条件判定原理に基づく判定式を示す図である。
【図１４】回転楕円体モデルを用いた場合の第２の条件判定原理を示す断面図である。
【図１５】図１４に示す第２の条件判定原理に基づく判定式を導く第１のプロセスを示す図である。
【図１６】図１４に示す第２の条件判定原理に基づく判定式を導く第２のプロセスを示す図である。
【図１７】図１４に示す第２の条件判定原理に基づく判定式を示す図である。
【図１８】回転楕円体モデルを用いた場合の第３の条件判定原理を示す断面図である。
【図１９】図１８に示す第３の条件判定原理に基づく判定式を示す図である。
【図２０】本発明に係る画素の類否判定方法の実用的な手順を示す流れ図である。
【図２１】本発明に係る移動物体検出装置の基本構成を示すブロック図である。
【図２２】図２１に示す装置における類否判定部２２０の詳細構成を示すブロック図である。
【発明を実施するための形態】
【００３６】
以下、本発明を図示する実施形態に基づいて説明する。
【００３７】
＜＜＜ §１．移動物体検出の基本原理 ＞＞＞
はじめに、本発明に係る移動物体検出の基本原理を説明する。この基本原理は、動画画像について移動物体を検出するためのものであり、三原色の各画素値を有する画素の集合体として、時系列で連続的にフレーム単位のカラー画像が与えられることを前提としている。
【００３８】
たとえば、図１の左側に示すように、フレーム単位の画像Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０がこの順番で与えられたものとしよう。図示の例は、街頭に設置された定点ビデオカメラによる撮影画像を示すものであり、右から左へと１台の車両（移動物体）が通過する状態が示されている。なお、一般的なビデオカメラの場合、１秒間に３０フレーム程度の周期で連続して撮影画像が出力されるので、実際には、より細かな時間間隔で多数のフレーム画像が得られることになるが、ここでは、説明の便宜上、図示のとおり、４枚のフレーム画像Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０が順番に与えられたものとしよう。
【００３９】
これら４枚の画像を見ると、画像Ｐ１０は街の背景のみであるが、画像Ｐ２０では、右側に車両の一部が侵入したため、背景上に車両の一部が重なった画像になっている。同様に、画像Ｐ３０，Ｐ４０も、背景上に車両が重なった画像になっている。背景は静止しているため、画像Ｐ１０〜Ｐ４０について共通になるが、車両は移動物体であるため、画像Ｐ１０〜Ｐ４０では異なる。ここでは、各画像上において、背景を構成する領域を背景領域Ｂ、車両（移動物体）を構成する領域を前景領域Ｆと呼ぶことにする。
【００４０】
本発明における移動物体検出の目的は、与えられた各画像Ｐ１０〜Ｐ４０について、それぞれ背景領域Ｂと前景領域Ｆとを区別することにある。図１の右側に示す各画像Ｍ１０〜Ｍ４０は、それぞれ左側に示す各画像Ｐ１０〜Ｐ４０について、背景領域Ｂと前景領域Ｆとの区別を示す画像である。図にハッチングを施した領域が背景領域Ｂであり、白地の領域が前景領域Ｆである。いずれの領域かを識別できればよいので、これらの画像Ｍ１０〜Ｍ４０は、二値画像として与えられる。たとえば、背景領域Ｂに所属する画素には画素値「０」を与え、前景領域Ｆに所属する画素には画素値「１」を与えることにすれば、画像Ｍ１０〜Ｍ４０は、１ビットの画素値をもった画素の集合体からなる画像データとして用意することができる。
【００４１】
本発明によれば、与えられた個々のフレーム画像のそれぞれについて、対応する二値画像を作成することができる。結局、本発明に係る移動物体検出処理の本質は、時系列で連続的に与えられた個々のカラー画像について、それぞれ背景領域Ｂと前景領域Ｆとの区別を示す二値画像を作成する処理ということができる。そこで、以下、便宜上、時系列で連続的に与えられるカラー画像を「原画像」と呼び、この「原画像」に基づいて作成される二値画像を「マスク画像」と呼ぶことにする。
【００４２】
図１に示す例では、各原画像Ｐ１０〜Ｐ４０のそれぞれについて、マスク画像Ｍ１０〜Ｍ４０が作成された例が示されている。これらマスク画像を利用すれば、原画像上のどの領域が移動物体であるかを認識できるので、移動物体の形状やサイズを把握したり、移動物体の部分をズームアップして、車両のナンバーを確認したり、人物を特定したりする処理を行うことが可能になる。また、画面上で移動物体をズームアップしたまま追跡したり、移動経路を把握したりすることも可能になる。
【００４３】
もちろん、このようなマスク画像の作成を、１枚の原画像のみから行うことは困難である。たとえば、図示の原画像Ｐ２０のみが静止画像として与えられた場合、人間の脳は様々な情報から車両の存在を認識することができるが、この１枚の静止画像のみから、コンピュータに車両の存在を認識させるには、複雑なアルゴリズムに基づく処理が必要となる。そこで、一般的な移動物体検出アルゴリズムでは、既に述べたとおり、入力画像と背景画像との差を求めることにより、当該差の領域を移動物体の領域（前景領域Ｆ）と判断する手法が採られる。
【００４４】
たとえば、予め原画像Ｐ１０を背景画像として指定しておけば、原画像Ｐ２０が入力された時点で両者を比較することにより、差の領域を前景領域Ｆと認識し、図示のようなマスク画像Ｍ２０を作成することが可能になる。差の領域の認識手法としては、前述したとおり、小領域単位で画素値の統計処理を施す方法も知られているが、入力画像と背景画像とを画素単位で比較して、両画素の画素値が類似している場合、当該画素は背景領域Ｂを構成する画素であるとし、類似していない場合、当該画素は移動物体を構成する前景領域Ｆを構成する画素であるとする方法が最も簡便な方法である。本発明も、このような画素単位での比較手法を採用することを前提としている。
【００４５】
背景画像としては、予め移動物体が存在しない状態（たとえば、画像Ｐ１０に示す状態）で撮影した静止画像を利用することも可能であるが、天候や時刻などの要因により、照明環境は時々刻々と変化してゆくものであり、ある特定の時点で撮影した静止画像をそのまま背景画像として継続して利用するのは不適切である。そこで、通常は、過去に入力された複数の原画像に基づいて、これら原画像の平均的な特徴を有する平均画像を作成し、この平均画像を背景画像として利用する手法が採られる。本発明でも、このような手法で得られた平均画像を、背景画像として利用している。平均画像は新たな画像が入力されるたびに逐次更新されるので、常に、その時点で最適な背景画像として機能する。
【００４６】
図２は、本発明における移動物体検出の基本原理を示す図である。ここで、図の上段に示す画像Ｐ（１），Ｐ（２），... ，Ｐ（ｉ−２），Ｐ（ｉ−１），Ｐ（ｉ）は、時系列で連続的に与えられるフレーム単位の原画像であり、これまでに第１番目の原画像Ｐ（１）から第ｉ番目の原画像Ｐ（ｉ）まで、ｉフレーム分の画像が与えられた状態が示されている。一方、図の中段左に示す画像Ｐ（ｉ＋１）は、新たに与えられた第（ｉ＋１）番目の原画像であり、図の中段右に示す画像Ａ（ｉ）は、図の上段に示す過去に与えられたｉフレーム分の原画像Ｐ（１）〜Ｐ（ｉ）の平均的な特徴を有する平均画像である。
【００４７】
新たに入力された原画像Ｐ（ｉ＋１）についてのマスク画像Ｍ（ｉ＋１）は、当該原画像Ｐ（ｉ＋１）と平均画像Ａ（ｉ）とを比較することによって作成される。図２の下段は、このようにして作成されたマスク画像Ｍ（ｉ＋１）を示すものである。具体的には、原画像Ｐ（ｉ＋１）上の各画素の画素値を、平均画像Ａ（ｉ）上の対応する画素の画素値と比較し、類似範囲内と判定された画素については背景領域Ｂを示す画素値（たとえば、「０」）を与え、類似範囲外と判定された画素については前景領域Ｆを示す画素値（たとえば、「１」）を与えることにより、二値画像からなるマスク画像Ｍ（ｉ＋１）を作成すればよい。
【００４８】
続いて、第（ｉ＋２）番目の原画像Ｐ（ｉ＋２）が入力されたときには、過去に入力された第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）までの平均的な特徴を有する平均画像Ａ（ｉ＋１）が新たに作成され、原画像Ｐ（ｉ＋２）と平均画像Ａ（ｉ＋１）とを比較することにより、マスク画像Ｍ（ｉ＋２）が作成される。このように、平均画像は逐次更新されてゆくため、天候や時刻などの要因により、照明環境が変化した場合でも、各時点に適した背景画像としての機能を果たすことができる。
【００４９】
なお、平均画像を作成する際には、時系列に沿った重みづけを行うようにし、最新の原画像の情報に重みをおいた加重平均を求めるようにするのが好ましい。たとえば、過去１０分間に入力された原画像について重み１、それ以前に入力された原画像について重み０を与えて平均を求めれば、常に、最新１０分間に得られた原画像についての平均画像を得ることができ、照明環境が変化した場合にも対応することができる。もちろん、常に最新の原画像ほど重みづけが大きくなるように、重みづけをきめ細かく設定することもできる。
【００５０】
結局、この図２に示す例の場合、平均画像を作成する際には、第ｉ番目の原画像Ｐ（ｉ）が入力されたときに（ｉ＝１，２，...）、当該原画像Ｐ（ｉ）を含めた過去の原画像について、それぞれ対応する位置の画素の各色別の画素値の重みづけ平均値を算出し、当該平均値をもつ画素の集合体からなる第ｉ番目の平均画像Ａ（ｉ）を作成すればよい。そして、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）について、第（ｉ＋１）番目のマスク画像Ｍ（ｉ＋１）を作成する際には、原画像Ｐ（ｉ＋１）と、第ｉ番目の平均画像Ａ（ｉ）とを比較すればよい。
【００５１】
ただ、１秒間に３０フレームという一般的なフレームレートで動画画像が入力された場合、過去１０分間の原画像であっても、その画像データをすべて蓄積しておくには、画像データのバッファにかなりの記憶容量が必要になる。そこで、実用上は、第ｉ番目の原画像Ｐ（ｉ）が与えられたときに、第（ｉ−１）番目の平均画像Ａ（ｉ−１）と、当該第ｉ番目の原画像Ｐ（ｉ）との２枚の画像に基づいて、第ｉ番目の平均画像Ａ（ｉ）を作成する手法が採られる。図３は、このような手法に基づく平均画像の作成方法の一例を示す図である。
【００５２】
まず、最初の原画像Ｐ（１）が与えられたときには、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）とする処理を行う。そして、以後、図３の上段右に示す第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、図３の上段左に示す第（ｉ−１）番目の平均画像Ａ（ｉ−１）を利用して、図３の中段に示す第ｉ番目の平均画像Ａ（ｉ）を、図３の下段に示す
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ） 式（１）
なる演算式を用いて作成すればよい。ここで、ａ（ｉ）は、平均画像Ａ（ｉ）の所定位置の画素の所定色の画素値、ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の前記所定位置の画素の前記所定色の画素値、ｐ（ｉ）は、原画像Ｐ（ｉ）の前記所定位置の画素の前記所定色の画素値、ｗは、所定の重みを示すパラメータ（ｗ＜１）である。
【００５３】
要するに、直前に与えられた原画像Ｐ（ｉ−１）までの原画像について算出された第（ｉ−１）番目の平均画像Ａ（ｉ−１）の画素値ａ（ｉ−１）と、新たに与えられた第ｉ番目の原画像Ｐ（ｉ）の画素値ｐ（ｉ）とについて、重みｗを考慮した平均値が算出され、当該算出値を第ｉ番目の平均画像Ａ（ｉ）の画素値ａ（ｉ）とする処理が行われることになる。このように、新たな原画像Ｐ（ｉ）が入力されるたびに、平均画像Ａ（ｉ）を更新してゆき、しかも更新には直前の平均画像Ａ（ｉ−１）のみを用いるようにすれば、過去の原画像データを何フレーム分にもわたって蓄積保持しておく必要がないので、処理を行うために必要なバッファの容量を大幅に節約することができる。
【００５４】
図３に示すとおり、重みｗの値を大きくすればするほど、最新の原画像Ｐ（ｉ）の画素値が平均画像Ａ（ｉ）の画素値に大きな影響を与えることになる。図４は、図３に示す方法に基づいて作成される平均画像上の１画素の画素値変遷プロセスを示す図である。この例では、重みｗ＝０．０１に設定した具体例が示されている。
【００５５】
たとえば、第１番目（ｉ＝１）の原画像Ｐ（１）の特定位置の画素の画素値がｐ（１）＝１００であったとすると、第１番目の平均画像Ａ（１）の当該特定位置の画素の画素値ａ（１）は、そのままａ（１）＝１００となる。続いて、第２番目の原画像Ｐ（２）の当該特定位置の画素の画素値がｐ（２）＝１００であったとすると、第２番目の平均画像Ａ（２）の当該特定位置の画素の画素値ａ（２）は、ａ（１）とｐ（２）との重みつき平均「０．９９×１００＋０．０１×１００」を計算することにより、ａ（２）＝１００になる。
【００５６】
図示の例では、原画像の当該特定位置の画素値は、ｐ（１）〜ｐ（４）まで１００のまま変化しないため、平均画像の当該特定位置の画素値も、ａ（１）〜ａ（４）まで１００を維持する。ところが、第５番目の原画像Ｐ（５）では、画素値ｐ（５）＝２００に急変したため、第５番目の平均画像Ａ（５）の画素値ａ（５）は、図４の下段の式に示すとおり、ａ（４）とｐ（５）との重みつき平均「０．９９×１００＋０．０１×２００」を計算することにより、ａ（５）＝１０１になる。更に、第６番目の原画像Ｐ（６）および第７番目の原画像Ｐ（７）では、画素値ｐ（６）＝ｐ（７）＝２００が維持されているため、図４の下段の式に示すとおり、第６番目の平均画像Ａ（６）および第７番目の平均画像Ａ（７）では、画素値ａ（６）＝１０２、画素値ａ（７）＝１０３、と徐々に増加している。
【００５７】
この例のように、重みｗを０．０１程度の値に設定すると、原画像の画素値が急激に変化しても、平均画像の画素値は直ちに変化することはなく、原画像の画素値にゆっくりと近づいてゆくことになる。したがって、図１に示す例のように、車両が通過する動画が与えられたとしても、一過性の画素値変化は、平均画像の画素値に大きな変化をもたらすことはなく、平均画像は背景画像としての機能を果たすことができる。一方、時刻が日中から夕暮れに変わった場合など、照明環境に変化が生じた場合、当該変化は多数のフレーム画像にわたって持続するため、平均画像の画素値も当該変化に追従して変化することになる。したがって、日中には日中の背景画像に適した平均画像が得られ、夕暮れには夕暮れの背景画像に適した平均画像が得られることになる。
【００５８】
本発明におけるマスク画像は、このような方法で作成された平均画像を背景画像として、個々の原画像を比較することによって作成される。図５は、このようにして作成されるマスク画像の画素値決定プロセスを示す図である。第ｉ番目の原画像Ｐ（ｉ）についてのマスク画像Ｍ（ｉ）は、次のような方法で決定される画素値をもつ画素の集合体からなる二値画像である。すなわち、マスク画像Ｍ（ｉ）の特定位置の画素の画素値ｍ（ｉ）は、原画像Ｐ（ｉ）の当該特定位置の画素の画素値ｐ（ｉ）と、平均画像Ａ（ｉ−１）の当該特定位置の画素の画素値ａ（ｉ−１）との比較によって決定され、両画素値が類似範囲内であれば、背景領域Ｂ内の画素であることを示す画素値（たとえば、「０」）が与えられ、両画素値が類似範囲外であれば、前景領域Ｆ内の画素であることを示す画素値（たとえば、「１」）が与えられる。
【００５９】
なお、実際には、原画像は三原色の各画素値（たとえば、ＲＧＢ表色系の場合、Ｒ，Ｇ，Ｂの３色の画素値）をもったカラー画像であるので、原画像Ｐ（ｉ）を構成する各画素の画素値ｐ（ｉ）や、平均画像Ａ（ｉ）を構成する各画素の画素値ａ（ｉ）は、いずれも色ごとに独立した３つの値から構成されていることになる。そして、式（１）の演算は、個々の色ごとにそれぞれ独立して実行されることになる。たとえば、平均画像Ａ（ｉ）上の特定位置の画素の画素値ａ（ｉ）は、Ｒ色の画素値、Ｇ色の画素値、Ｂ色の画素値という３組の画素値によって構成され、Ｒ色の画素値は、過去の原画像のＲ色の画素値の重みつき平均として得られた値になる。
【００６０】
したがって、図５における画素値ｐ（ｉ）と画素値ａ（ｉ−１）との比較は、単なる２つの値の比較ではなく、３組の画素値と３組の画素値との比較ということになる。当然ながら、画素の類否判定は、この３組の画素値同士が類似するか否かを判定する処理ということになる。本発明の特徴は、この３組の画素値同士の類否を判定する方法にあり、以下、この類否判定方法を、§２において詳述する。
【００６１】
＜＜＜ §２．画素の類否判定方法 ＞＞＞
さて、§１で述べたとおり、本発明では、原画像（入力画像）と平均画像（背景画像）とを画素単位で比較して、両画素が類似している場合は背景領域Ｂの画素、非類似の場合は前景領域Ｆの画素という判定を行う。このように画素単位での類否判定を行う方法は、領域単位で特徴量を求める方法に比べて処理が単純になり、演算負担は比較的軽くなる。しかしながら、画素の類否判定が移動物体の検出精度を左右するファクターになるため、どのような方法で、どの程度の範囲までを「類似範囲」と判定するかが非常に重要である。
【００６２】
たとえば、§１では、図１の画像Ｐ１０を平均画像（背景画像）とし、画像Ｐ２０を原画像（入力画像）とした場合、両者の比較により、画像Ｍ２０のようなマスク画像が得られることを述べた。ここで、マスク画像Ｍ２０の前景領域Ｆは、両画像Ｐ１０，Ｐ２０を比較した結果、画素が類似範囲外と判定された領域であり、背景画像Ｂは、画素が類似範囲内と判定された領域である。この場合、類似範囲を適切に設定しないと、正しいマスク画像を得ることはできない。
【００６３】
すなわち、図１では、背景部分に全く同じ画像が描かれているが、実際の風景では、雲の動きで太陽光による照明環境が変化し、風により樹木の葉の位置や向きが微妙に変化する。したがって、画素の類否判定基準を厳しくすると、実際には背景部分であるのに、類似範囲外との誤判定が生じ、前景領域Ｆ内の画素との認定がなされてしまう。逆に、画素の類否判定基準を緩めると、実際には前景部分であるのに、類似範囲内との誤判定が生じ、背景領域Ｂ内の画素との認定がなされてしまう。
【００６４】
しかも、カラー画像の場合、前述したように、画素の類否は、一方の画素の３組の画素値と他方の画素の３組の画素値との比較に基づいて行う必要があるため、様々な類否判定基準を設定することが可能である。そして、どのような類否判定基準を採用するかによって、判定精度も変わってくる。通常、このようなカラー画像の画素の比較は、三次元の色空間上で、双方の画素値に対応する座標点をプロットし、両座標点の空間的な位置関係を調べることによって行われる。以下、各画素がＲＧＢ表色系の画素値をもっている場合について、色空間上での類否判定を行ういくつかの方法を説明しよう。
【００６５】
図６は、画素の類否判定の最も単純な方法を示す三次元色空間図である。図示のとおり、三原色Ｒ，Ｇ，Ｂの画素値を各座標軸にとったＲＧＢ三次元直交座標系に、座標点ＡおよびＰがプロットされている。ここで、座標点Ａ（Ｒａ，Ｇａ，Ｂａ）は、背景を示す平均画像Ａ上の画素の画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした点であり、座標点Ｐ（Ｒｐ，Ｇｐ，Ｂｐ）は、判定対象となる原画像Ｐ上の画素の画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした点である。
【００６６】
ここで、この三次元色空間上での２点Ａ，Ｐの距離をδとすれば、当該距離δは、両画素の類似度を示す１つの指標になる。δ＝０であれば、両画素は全く同一の画素値をもった画素になり、δが大きくなればなるほど、３つの画素値の総合的な類似度は低下する。したがって、予め所定の閾値δthを設定しておき、δ＜δthであれば類似範囲内、δ≧δthであれば類似範囲外と判定するようにすれば、一応の判定基準を設定することができる。
【００６７】
あるいは、原点Ｏを起点として、座標点Ａへ向かうベクトルＶａと座標点Ｐへ向かうベクトルＶｐとを定義し、両ベクトルＶａ，Ｖｐのなす角θを、両画素の類似度を示す指標として用いることもできる。θ＝０の場合、２点Ａ，Ｐは必ずしも同一の点にはならないが、原点Ｏを通る同一直線上の点になるため、少なくとも三原色Ｒ，Ｇ，Ｂの配合割合で決まる両画素の色相は類似したものになる。結局、θが小さければ、色相の類似性は高まることになるので、指標δを用いた判定基準と同様に、予め所定の閾値θthを設定しておき、θ＜θthであれば類似範囲内、θ≧θthであれば類似範囲外と判定するようにすれば、一応の判定基準を設定することができる。
【００６８】
ただ、このような距離δや角度θを基準とした単純な類否判定方法を、一般的な実写画像における移動物体検出処理に利用した場合、満足した検出結果を得ることが困難であることが知られている。これは、距離δや角度θという単純なパラメータの値だけでは、太陽光による照明環境の変化、風による樹木等の明暗の変化など、実際の撮影環境に対応した適切な判定基準を設定することが困難なためである。
【００６９】
このような問題に対処するために、前掲の非特許文献１には、より適切な判定基準を設定するために、円柱モデルを用いる類否判定方法が提案されている。図７は、この円柱モデルを用いる方法の基本原理を示す三次元色空間図である。この図７においても、図６と同様に、背景を示す平均画像Ａ上の画素の画素値（Ｒａ，Ｇａ，Ｂａ）が座標点Ａとしてプロットされ、判定対象となる原画像Ｐ上の画素の画素値（Ｒｐ，Ｇｐ，Ｂｐ）が座標点Ｐとしてプロットされている。ここでも、ベクトルＶａ，Ｖｐは、原点Ｏを起点として、各点Ａ，Ｐへ向かうベクトルである。
【００７０】
このモデルでは、図示のとおり、座標点Ａを中心として所定半径をもった長さＬの円柱Ｃが定義されている。別言すれば、円柱Ｃは、ベクトルＶａ上に定義された基準軸Ｚを中心軸とし、その中心点が座標点Ａにくるように配置された円柱ということになる。そして、この円柱Ｃの内部の空間領域を、背景を示す平均画像Ａを構成する画素の類似範囲と定める。したがって、図示の例のように、座標点Ｐに対応する画素値をもった画素は、円柱Ｃの外側に位置するため類似範囲外と判定され、前掲領域Ｆを構成する画素と認定されることになる。逆に、座標点Ｐが円柱Ｃの内部に位置していれば、類似範囲内と判定され、背景領域Ｂを構成する画素と認定される。
【００７１】
この円柱モデルの特徴は、ベクトルＶａの方向を向いた基準軸Ｚを長手方向とする円柱領域が設定される点である。この円柱Ｃの半径は、色相の類似範囲を決めるパラメータとして機能し、長さＬは明度の類似範囲を決めるパラメータとして機能する。前述したとおり、実際の景色では、太陽光による照明環境の変化、風による樹木等の明暗の変化などによって、背景領域Ｂの画素値に時間的変動が生じることになるが、このような変動は、色相よりも明度に大きな影響を及ぼすと考えられる。したがって、このモデルのように、基準軸Ｚを長手方向とする円柱Ｃに基づいて類似範囲を設定することは理にかなっている。
【００７２】
しかしながら、この円柱モデルを用いても、時刻や天候などによる照明変動の影響を完全に排除することは困難であり、依然として、誤検出が生じる問題がある。また、座標点Ｐが円柱Ｃの内部に位置するのか外部に位置するのかを判定するためには、三次元の色空間上での幾何学演算が必要になり、安価なプロセッサを用いてリアルタイムの処理を行うには演算処理の負担が重い。特に、三角関数を含む演算は、安価な汎用プロセッサにとって極めて負担の重い処理になる。本発明は、このような問題に対処するために、新たなモデルを用いた画素の類否判定方法を提案するものである。
【００７３】
本発明に係る画素の類否判定方法の最も重要な特徴は、図７に示す円柱モデルの円柱Ｃの代わりに、回転楕円体を用いるようにした点にある。図８は、図７に示す円柱Ｃを回転楕円体Ｅａに置き換えた回転楕円体モデルを示す三次元色空間図である。ここで、類似範囲を示す回転楕円体Ｅａは、平均画像Ａの画素値を示す座標点Ａを中心点とし、ベクトルＶａ上に定義された基準軸Ｚａを長軸方向とする楕円を、基準軸Ｚａを回転軸として回転させることにより得られる回転体である。この回転楕円体Ｅａのサイズは、長軸方向の長さＬａ１と短軸方向の長さＬａ２によって規定される。
【００７４】
この回転楕円体モデルを用いた場合でも、類否判定の方法は、前述の円柱モデルを用いた場合の判定方法と同様であり、回転楕円体Ｅａの内部領域にプロットされる画素は、座標点Ａに対応する画素値をもった画素に対して類似する画素と判定されることになる。具体的には、図示の例の場合、座標点Ｐに対応する画素値をもった画素は、回転楕円体Ｅａの外側に位置するため類似範囲外と判定され、前掲領域Ｆを構成する画素と認定される。逆に、座標点Ｐが回転楕円体Ｅａの内部に位置していれば、類似範囲内と判定され、背景領域Ｂを構成する画素と認定される。
【００７５】
一方、図９は、図８に示す回転楕円体モデルのバリエーションを示す三次元色空間図である。図示のとおり、このモデルにおける類似範囲を示す回転楕円体Ｅｐは、判定対象となる原画像Ｐの画素値を示す座標点Ｐを中心点とし、ベクトルＶｐ上に定義された基準軸Ｚｐを長軸方向とする楕円を、基準軸Ｚｐを回転軸として回転させることにより得られる回転体である。この回転楕円体Ｅｐのサイズは、長軸方向の長さＬｐ１と短軸方向の長さＬｐ２によって規定される。
【００７６】
図８に示すモデルの場合、背景を示す平均画像Ａの画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした座標点Ａを基準として、類似範囲を示す回転楕円体Ｅａが定義され、比較対象となる原画像Ｐの画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした座標点Ｐが、回転楕円体Ｅａの内側にあるか外側にあるかを判定していたのに対して、図９に示すモデルの場合、比較対象となる原画像Ｐの画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした座標点Ｐをプロットした座標点Ｐを基準として、類似範囲を示す回転楕円体Ｅｐが定義され、背景を示す平均画像Ａの画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした座標点Ａが、回転楕円体Ｅｐの内側にあるか外側にあるかを判定することになる。
【００７７】
要するに、前者では、新たに入力された原画像Ｐの画素が、背景を示す過去の平均画像Ａの画素の類似範囲に入っているか否かを判定する手法をとるのに対して、後者では、背景を示す過去の平均画像Ａの画素が、新たに入力された原画像Ｐの画素の類似範囲に入っているか否かを判定する手法をとることになる。結局、両者の相違は、比較対象となる２つの画素のどちらを基準にして回転楕円体を定義するかという点だけである。
【００７８】
そこで、以下の説明では、比較対象となる２つの画像のうち、一方の画像の画素値を基準画素値（Ｒ，Ｇ，Ｂ）と表記し、他方の画像の画素値を比較画素値（ｒ，ｇ，ｂ）と表記することにする。また、三次元色空間上で基準画素値（Ｒ，Ｇ，Ｂ）をプロットした座標点Ｑ（Ｒ，Ｇ，Ｂ）を基準点Ｑと呼び、比較画素値（ｒ，ｇ，ｂ）をプロットした座標点ｑ（ｒ，ｇ，ｂ）を比較点ｑと呼ぶことにする。類否判定は、基準点Ｑを中心として定義された回転楕円体と比較点ｑとの位置関係に基づいてなされることになる。
【００７９】
図１０は、このような一般的な表記にしたがって、本発明に係る回転楕円体モデルを図示した三次元色空間図である。原点Ｏを起点として基準点Ｑへ向かうベクトルをベクトルＶとすれば、基準軸Ｚは、このベクトルＶ上の軸になる。そして、回転楕円体Ｅは、基準点Ｑを中心点とし、ベクトルＶ上に定義された基準軸Ｚを長軸方向とする楕円を、基準軸Ｚを回転軸として回転させることにより得られる回転体である。ここで、比較点ｑ（ｒ，ｇ，ｂ）が回転楕円体Ｅの内部に位置すれば、両画素は類似範囲内と判定され、回転楕円体Ｅの外部に位置すれば、両画素は類似範囲外と判定される。
【００８０】
図８に示すモデルは、図５に示す類否判定を行う際に、平均画像Ａ（ｉ−１）上の画素ａ（ｉ−１）の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として基準点Ｑ（Ｒ，Ｇ，Ｂ）をプロットし、原画像Ｐ（ｉ）上の画素ｐ（ｉ）の画素値を比較画素値（ｒ，ｇ，ｂ）として比較点ｑ（ｒ，ｇ，ｂ）をプロットしたものである。これに対して、図９に示すモデルは、図５に示す類否判定を行う際に、原画像Ｐ（ｉ）上の画素ｐ（ｉ）の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として基準点Ｑ（Ｒ，Ｇ，Ｂ）をプロットし、平均画像Ａ（ｉ−１）上の画素ａ（ｉ−１）の画素値を比較画素値（ｒ，ｇ，ｂ）として比較点ｑ（ｒ，ｇ，ｂ）をプロットしたものである。
【００８１】
図７に示す従来の円柱モデルに比べて、図１０に示す本発明の回転楕円体モデルは、次の２つの利点を有している。第１の利点は、§１で述べた移動物体検出方法における画素の類否判定処理に利用した場合に、時刻や天候などによる照明変動の影響を排除した、より正確な移動物体の検出が可能になる点である。
【００８２】
実際、本願発明者は、ビデオカメラで撮影した様々な実写画像について、図７に示す円柱モデルに基づく類否判定処理を採り入れた移動物体の検出と、図１０に示す回転楕円体モデルに基づく類否判定処理を採り入れた移動物体の検出とを試みたところ、後者の検出の方がより正確である実験結果が得られた。これは、円柱モデルの場合、円柱の長手方向の端部周縁領域において、誤検出が行われる可能性が高くなるためと考えられる。
【００８３】
図１１は、円柱モデルに対する回転楕円体モデルの利点を示す断面図である。図示の例において、円柱Ｃの断面と回転楕円体Ｅの断面とを比較すると、いずれも基準点Ｑを中心として、基準軸Ｚの方向を長手方向とする図形であるが、図にハッチングを施す領域が、円柱Ｃでは内部領域と判定されるのに対して、回転楕円体Ｅでは外部領域と判定されることがわかる。したがって、比較点ｑが、このハッチング領域に位置する場合、一方では類似範囲内と判定され、他方では類似範囲外と判定される。もちろん、いずれの判定結果が正しいものであるかは、一概には決定できないが、少なくとも実写画像を用いた移動物体の検出処理に利用する限りにおいて、後者の判定結果が正しい結果となる可能性が高いことになる。
【００８４】
すなわち、円柱モデルの場合、比較点ｑが図のハッチング領域内に位置する場合、判定対象となる画素は背景画像に類似しているため背景領域Ｂ内の画素とされることになるが、実際には、背景画像に対して非類似であり、前景領域Ｆ内の画素とすべきであった、というケースが比較的高い確率で生じてしまうものと考えられる。図１１に示すとおり、断面形状で比較すると、回転楕円体Ｅの断面は曲面からなる楕円であるのに対して、円柱Ｃの断面は直線からなる矩形であり、実写画像を対象物とした類否判定の境界線としては、断面が曲面からなる楕円の方が適していることは、直感的にも理解できよう。
【００８５】
このように、少なくとも、実写画像に基づく移動物体の検出処理に利用する場合、円柱モデルよりも回転楕円体モデルの方が検出精度が向上するという第１の利点が得られる。一方、回転楕円体モデルを採用することにより得られる第２の利点は、演算負担の軽減を図ることができる点である。この第２の利点の詳細については、§３で述べることにするが、ここでは、演算負担の軽減に寄与する工夫のひとつを簡単に述べておく。
【００８６】
この工夫は、回転楕円体Ｅのサイズを、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに比例した値に設定することである。具体的には、図１０に示すとおり、距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、基準軸Ｚを中心に回転させることにより回転楕円体Ｅを定義すればよい。
【００８７】
このような条件で回転楕円体Ｅのサイズを決定すると、基準点Ｑが原点Ｏから離れれば離れるほど、回転楕円体Ｅのサイズは大きくなり、それだけ類似範囲が広くなる。これは、より明度の高い部分、すなわち、画像のハイライト部ほど、類似範囲が広くなることを意味するが、実用上、そのような類似範囲設定がなされても支障は生じない。一方、類似範囲内か否か、すなわち、回転楕円体Ｅの内部か外部かを判定するための演算負担は、長軸半径をα＝ｈ・Ｄ、短軸半径をβ＝ｋ・Ｄと設定することにより（すなわち、楕円のサイズを、距離Ｄに比例した値に設定することにより）、大幅に軽減することができる。その詳細は§３で述べることにする。
【００８８】
ところで、本願発明者が行った実験によると、回転楕円体Ｅのサイズを、距離Ｄに比例した値に設定する場合は、図８のモデルよりも、図９のモデルを用いた方が、検出精度が向上することが判明した。図９のモデルを採用した場合、図１０において、基準点Ｑ（Ｒ，Ｇ，Ｂ）は、判定対象となる原画像Ｐの画素の画素値を基準画素値としてプロットした点になり、比較点ｑ（ｒ，ｇ，ｂ）は、背景となる平均画像Ａの画素の画素値を比較画素値としてプロットした点になる。
【００８９】
上述したとおり、図８のモデルと図９のモデルは、原画像Ｐの画素と平均画像Ａの画素とのいずれを基準にして回転楕円体を定義するか、という点において異なる。しかも、回転楕円体のサイズを、距離Ｄに比例した値に設定すれば、定義される回転楕円体のサイズが、両者では異なることになる。すなわち、図８に示すモデルにおける回転楕円体Ｅａの長軸方向の長さＬａ１および短軸方向の長さＬａ２は、ベクトルＶａの長さに、それぞれパラメータ２ｈおよび２ｋを乗じることにより得られるのに対して、図９に示すモデルにおける回転楕円体Ｅｐの長軸方向の長さＬｐ１および短軸方向の長さＬｐ２は、ベクトルＶｐの長さに、それぞれパラメータ２ｈおよび２ｋを乗じることにより得られる。したがって、図示の例の場合、回転楕円体Ｅａのサイズよりも、回転楕円体Ｅｐのサイズの方が大きくなっており、より広い類似範囲が設定されている。
【００９０】
もちろん、常識的には、図９に示すモデルよりも図８に示すモデルを採用するのが一般的であろう。すなわち、予め背景とみなすことができる類似範囲を回転楕円体Ｅａとして定義しておき、新たに入力された画像の画素を示す点Ｐが、この類似範囲内に入るか否かを判定することにより、当該画素が移動物体上の点であるか否かを認識する、という方針を採るのが、一般的な考え方である。これに対して、図９に示すモデルは、新たに入力された画像の画素の類似範囲を回転楕円体Ｅｂとして定め、その中に、背景画素を示す点Ａが入るか否かを判定する手法を採るものであり、一般常識に基づく手法とは逆の手法と言うことができる。
【００９１】
しかしながら、本願発明者が行った実験によると、少なくとも実写画像を用いた移動物体の検出処理に利用する限りにおいて、図８に示すモデルを採用するよりも、図９に示すモデルを採用した方が、より正しい判定結果が得られた。これは、図３の式（１）に示すような方法で、平均画像Ａの画素値ａ（ｉ）を決定すると、太陽光や風などの要因により、新たに入力されてくる原画像Ｐの画素値ｐ（ｉ）が大きく変動しても、画素値ａ（ｉ）の値が当該変動に追従するまでにはある程度の時間がかかるため（たとえば、図４の表を参照）、類似範囲の広狭を、背景を示す平均画像Ａの画素値ａ（ｉ）ではなく、原画像Ｐの画素値ｐ（ｉ）に応じて定めた方が、正しい判定が可能になるためと考えられる。
【００９２】
以上、移動物体の検出に利用する画素の類否判定処理方法において、円柱モデルを採用する従来の方法に比べて、回転楕円体モデルを採用する本発明の利点として、時刻や天候などによる照明変動の影響を排除した、より正確な移動物体の検出が可能になる、という第１の利点を述べるとともに、演算負担を軽減することができるという第２の利点についても簡単に説明した。続く§３では、この第２の利点についての詳細を述べることにする。
【００９３】
＜＜＜ §３．実用的な類否判定手順 ＞＞＞
一般に、三次元空間上において、ある１点が、円柱の内側にあるか外側にあるかを判定する場合も、回転楕円体の内側にあるか外側にあるかを判定する場合も、座標値を用いた幾何学演算が必要になる。しかしながら、回転楕円体の内側にあるか外側にあるかを判定する場合は、演算式を工夫し、また、一部に近似演算を取り込むことにより、演算負担を大幅に軽減することが可能である。ここでは、図１０に示す回転楕円体モデルにおいて、比較点ｑ（ｒ，ｇ，ｂ）が、基準点Ｑ（Ｒ，Ｇ，Ｂ）を中心として定義された回転楕円体Ｅの内側にあるか外側にあるかを判定する実用的な手順を述べる。
【００９４】
ここで述べる手順は、３つの条件判定段階によって構成される。図１２は、そのうちの第１の条件判定段階の原理を示す断面図である。図において、下方に示す原点Ｏは、図１０の三次元色空間図に示されているＲＧＢ三次元直交座標系の原点Ｏであり、当該座標系上に、基準点Ｑ（Ｒ，Ｇ，Ｂ）と比較点ｑ（ｒ，ｇ，ｂ）とがプロットされている（座標軸は図示省略）。基準軸Ｚは、原点Ｏと基準点Ｑとを結ぶ線であり、回転楕円体Ｅは、この基準軸Ｚを長軸方向とし、基準点Ｑを中心とする楕円を、基準軸Ｚを回転軸として回転させることによって得られる回転体である。図に断面を示す楕円は、長軸半径をα、短軸半径をβとする楕円であるが、§２で述べたとおり、原点Ｏと基準点Ｑとの距離をＤとしたときに、所定のパラメータｈ，ｋについて、α＝ｈ・Ｄ（但し、ｈ＜１）、β＝ｋ・Ｄ（但し、ｋ＜ｈ）となるように設定されている。
【００９５】
第１の条件判定段階では、比較点ｑが、図のハッチング領域内にあるかどうかの判定が行われる。すなわち、図の下方のハッチング領域は、「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側領域」であるから、原点Ｏと比較点ｑとの距離をｄとすれば、「Ｄ−α＞ｄ」なる条件が満足されれば、比較点ｑは、球Ｃ１の内側に位置することになる。球Ｃ１は、回転楕円体Ｅの原点Ｏに対する最近接点Ｅ１において、回転楕円体Ｅに接する球であり、球Ｃ１の内側領域は、当然、回転楕円体Ｅの外側領域になる。一方、図の上方のハッチング領域は、「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側領域」であるから、原点Ｏと比較点ｑとの距離をｄとすれば、「Ｄ＋α＜ｄ」なる条件が満足されれば、比較点ｑは、球Ｃ２の外側に位置することになる。球Ｃ２は、回転楕円体Ｅの原点Ｏに対する最遠接点Ｅ２において、回転楕円体Ｅに接する球であり、球Ｃ２の外側領域は、当然、回転楕円体Ｅの外側領域になる。
【００９６】
図１３は、図１２に示す第１の条件判定原理に基づく判定式を示す図である。図１３(a) は、比較点ｑが球Ｃ１の内側領域にあるための条件式「Ｄ−α＞ｄ」の変形プロセスを示す。すなわち、α＝ｈ・Ｄを代入すると、条件式は「（１−ｈ）・Ｄ＞ｄ」となり、両辺を２乗すると、
（１−ｈ）２・Ｄ２＞ｄ２ 式（２）
が得られる。一方、図１３(b) は、比較点ｑが球Ｃ２の外側領域にあるための条件式「Ｄ＋α＜ｄ」の変形プロセスを示す。すなわち、α＝ｈ・Ｄを代入すると、条件式は「（１＋ｈ）・Ｄ＜ｄ」となり、両辺を２乗すると、
（１＋ｈ）２・Ｄ２＜ｄ２ 式（３）
が得られる。
【００９７】
ここで、基準点Ｑの座標値が（Ｒ，Ｇ，Ｂ）、比較点ｑの座標値が（ｒ，ｇ，ｂ）であるから、図１３(c) に示すように、
Ｄ＝√（Ｒ２＋Ｇ２＋Ｂ２）
ｄ＝√（ｒ２＋ｇ２＋ｂ２）
であり、両辺を２乗すると、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
となる。したがって、式（２），式（３）を書き直せば、図１３(c) に示すように、
（１−ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）
＞（ｒ２＋ｇ２＋ｂ２） 式（２′）
（１＋ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）
＜（ｒ２＋ｇ２＋ｂ２） 式（３′）
なる条件式が得られる。ここで、ｈは予め設定された所定のパラメータであり、（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）は、基準点Ｑおよび比較点ｑの座標値（すなわち、比較対象となる２つの画素の三原色の画素値）である。式（２′）および式（３′）は、２乗演算と和差演算のみで構成される演算式であるから、演算負担は非常に軽いものになる。
【００９８】
こうして、式（２′）もしくは式（３′）のいずれかの条件を満足する結果が得られた場合、比較点ｑは、回転楕円体Ｅの外側に位置すると判断できるので、基準点Ｑの類似範囲外との判定を行うことができる。
【００９９】
一方、式（２′）および式（３′）のいずれの条件も満足しない場合は、図１２において、比較点ｑは、球Ｃ１の外側かつ球Ｃ２の内側の領域に位置することになる。したがって、その場合には、以下に述べる第２の条件判定段階が引き続き行われる。
【０１００】
図１４は、この第２の条件判定段階の原理を示す断面図である。第２の条件判定段階では、比較点ｑが、図１４のハッチング領域内にあるかどうかの判定が行われる。このハッチング領域は、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの外側領域」として定義される領域である。円錐ξの半頂角は、図示のとおり角φになる。図示の断面図では、円錐ξが接点Ｔにおいて楕円Ｅに接している状態が示されているが、実際には、円錐ξと回転楕円体Ｅとは、接線円Ｔで線接触することになる。三次元空間上での円錐ξと回転楕円体Ｅとの関係は、コーンに卵を挿入した状態を考えれば容易に理解できよう。
【０１０１】
結局、この第２の条件判定段階では、比較点ｑが、円錐ξの内側にあるか、外側にあるかを判定することになる。円錐ξと回転楕円体Ｅとが接する接線円Ｔの位置は、幾何学的な演算によって求めることができ、そのような接線円Ｔを通る円錐ξを示す幾何学的な方程式を求めることも可能である。しかしながら、そのような方程式は比較的複雑な式になる。そこで、ここでは、円錐ξの代わりに、図１４に破線で示す円錐ξ′を利用した近似的な判定を行うことにより、演算負担の軽減を図ることにする。
【０１０２】
図１４に実線で描いた円錐ξは、接線円Ｔで回転楕円体Ｅに接する図形であるが、破線で描いた円錐ξ′は、交線円Ｓで回転楕円体Ｅと交差する図形である。ここで、交線円Ｓは、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線を構成する円であり、基準点Ｑと交線円Ｓ上の任意の点との距離は図示のとおりｆである。結局、この近似的な判定では、「原点Ｏを頂点、基準軸Ｚを中心軸とし、交線円Ｓを通る円錐ξ′の外側に比較点ｑが位置するか否か」という判定が行われることになる。
【０１０３】
図示のとおり、円錐ξ′の半頂角φ′は、円錐ξの半頂角φよりも若干小さくなり、円錐ξ′は、円錐ξよりも若干小さな円錐になる。このため、「円錐ξ′の外側」かつ「円錐ξの内側」の点の場合、実際は回転楕円体Ｅの内部の点であるにもかかわらず、円錐ξ′を代用する近似的な判定方法では、回転楕円体Ｅの外部の点と判定されてしまうことになる。したがって、「回転楕円体Ｅの内外を厳密に判定する」という観点では、円錐ξ′を代用する判定方法は不正確である。ただ、そもそも回転楕円体Ｅ自体が、移動物体を厳密に検出する機能をもつ立体であるわけではなく、あくまでも１つの指標を提供するものであるから、円錐ξ′を代用する近似的な判定方法を用いたとしても、大きな支障は生じない。
【０１０４】
そこで、比較点ｑが、この円錐ξ′の内側にあるのか外側にあるのかを幾何学的に判定するための具体的な方法を考えてみる。いま、図１５(a) に示すように、三辺の長さがそれぞれａ，ｂ，ｃである一般的な三角形を考える。ここで、２辺ｂ，ｃの挟角をφとすると、余弦定理により、
cos φ＝（ｂ２＋ｃ２−ａ２）／２ｂｃ 式（４）
が成り立つ。
【０１０５】
続いて、図１５(b) に示す三角形ＯＱＳを考える。この図１５(b) は、図１４に示す三角形ＯＱＳをそのまま抜き出して示したものである。交線円Ｓは、前述したとおり、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線であるから、２点ＯＳの距離は、２点ＯＱの距離に等しくＤになる。したがって、三角形ＯＱＳは二等辺三角形になり、２つの等辺の挟角はφ′、第３の辺の長さはｆである。この三角形ＯＱＳに、式（４）に示す余弦定理を適用すると、
cos φ′＝（Ｄ２＋Ｄ２−ｆ２）／２Ｄ２ 式（５）
が成り立つ。
【０１０６】
ここで、図１４を見ると、長さｆは、回転楕円体Ｅの短軸半径βに近い値になることがわかる。そこで、近似的に、ｆ≒βとすると、β＝ｋ・Ｄなので、ｆ≒ｋ・Ｄになり、図１５の下段右に示すとおり、
cos φ′≒１−ｋ２／２ 式（６）
なる式が得られる。
【０１０７】
次に、図１６に示す三角形ＯＱｑを考える。この図１６は、図１４に示す４点Ｏ，Ｑ，Ｓ，ｑをそのまま抜き出してプロットしたものである。２点ＯＱ間の距離はＤであり、２点Ｏｑ間の距離はｄである。ここで、この長さＤ，ｄをもった２辺の挟角をθとし、第３の辺の長さをｔとする。また、線分ＯＱと線分ＯＳとのなす角φ′は、前述した円錐ξ′の半頂角である。
【０１０８】
さて、図１４において、円錐ξの代わりに円錐ξ′を用いて、比較点ｑがハッチング領域にあるための条件を求めると、θ＞φ′であればよいことがわかる。ここで、座標値（画素値）Ｒ，Ｇ，Ｂ，ｒ，ｇ，ｂが正の値をとるものとすれば、角度θおよびφ′はいずれも鋭角になる。図１６の右側にも記載したとおり、一般に、θ，φ′を正の鋭角とすれば、θ＞φ′の場合、「cos θ＜cos φ′」であり、「cos ２θ＜cos ２φ′」である。式（６）より、cos ２φ′≒（１−ｋ２／２）２であるから、結局、
cos ２θ＜（１−ｋ２／２）２ 式（７）
が成り立てば、比較点ｑは、円錐ξ′の外側領域にあると近似的に判断できる。
続いて、図１６に示す三角形ＯＱｑについて、式（４）の余弦定理を適用すれば、図１６の下段に示すように、
cos θ＝（Ｄ２＋ｄ２−ｔ２）／（２・Ｄ・ｄ） 式（８）
が成り立つ。このとき、図１７にも記載したとおり、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
ｔ２＝（Ｒ−ｒ）２＋（Ｇ−ｇ）２＋（Ｂ−ｂ）２
だから、これを式（８）に代入して整理すると、
cos θ＝γ／（Ｄ・ｄ） 式（９）
（但し、γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
が得られる。式（９）の両辺を２乗すれば、
cos ２θ＝γ２／（Ｄ２・ｄ２） 式（１０）
である。よって、式（７）より、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２ 式（１１）
が成り立てば、比較点ｑは、円錐ξ′の外側領域にあると近似的に判断できる。ここで、γ，Ｄ，ｄを画素値を用いて書き直せば、図１７の下段に示すように、
（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）２／
（（Ｒ２＋Ｇ２＋Ｂ２）・（ｒ２＋ｇ２＋ｂ２））
＜（１−ｋ２／２）２ 式（１１′）
が成り立てば、比較点ｑは、円錐ξ′の外側領域にあると近似的に判断できる。
【０１０９】
既に述べたとおり、図１４において、円錐ξ′は、円錐ξに近似的に代用することができるので、上記式（１１′）が成り立てば、比較点ｑは、回転楕円体Ｅの外側領域にある、との近似的判定を行うことができる。もちろん、この近似的な判定結果は、円錐ξ′を円錐ξに代用し、かつ、ｆ≒βとの近似を行うことによって得られる判定結果であるので、厳密な判定結果ではない。しかしながら、そもそも回転楕円体Ｅ自体が、移動物体を厳密に検出する機能をもつ立体であるわけではないので、このような近似的な判定を行っても、大きな支障は生じない。別言すれば、上述した近似的な判定手法は、比較点ｑが回転楕円体Ｅの外部にあるかどうかを判定する代わりに、その近似体の外部に位置するかどうかを判定する手法ということになる。
【０１１０】
このようにして、式（１１′）を満足する結果が得られた場合、比較点ｑは、回転楕円体Ｅの近似体の外側に位置すると判断できるので、基準点Ｑの類似範囲外との判定を行うことができる。
【０１１１】
一方、式（１１′）を満足しない場合は、比較点ｑは、図１４においてハッチングが施されていない円錐ξの内側に位置すると近似的に判断されたことになるので、最終的に、第３の条件判定段階が行われる。
【０１１２】
図１８は、この第３の条件判定段階の原理を示す断面図である。第３の条件判定段階では、比較点ｑが、図１８のハッチング領域内にあるかどうかの判定が行われる。このハッチング領域は、回転楕円体Ｅの外側領域であり、いわば第３の条件判定段階は、§２で述べた回転楕円体モデルを用いた類否判定として行うべき本来の判定段階ということになる。このため、条件判定に用いられる式は、楕円の方程式を用いた式になり、これまでの条件判定式に比べると、若干複雑にならざるを得ない。
【０１１３】
いま、図１８に示すように、基準点Ｑの位置に原点をもち、紙面上に定義されたローカルなＸＹ二次元直交座標系をとり、この二次元座標系上において、楕円Ｅと比較点ｑとの位置関係を考えることにしよう。ここで、Ｘ軸は回転楕円体Ｅの長軸方向の座標軸であり、Ｙ軸は回転楕円体Ｅの短軸方向の座標軸である。もちろん、基準点ＱのＸＹ座標系での座標は（０，０）になる。したがって、比較点ｑは、ＲＧＢ三次元直交座標系ではｑ（ｒ，ｇ，ｂ）なる三次元の座標値をもち、ＸＹローカル座標系ではｑ（ｘ，ｙ）なる二次元の座標値をもつ。
【０１１４】
ここで、比較点ｑの座標値（ｘ，ｙ）を、２点ＯＱ間の距離Ｄ、２点Ｏｑ間の距離ｄ、そして挟角θを用いて表すと、図１８の右下にも記載したとおり、
ｘ＝Ｄ−ｄ・cos θ、 ｙ＝ｄ・sin θ 式（１２）
が成り立つ。一方、図１９に示すとおり、楕円の公式からは、
ｘ２／α２＋ｙ２／β２＝１ 式（１３）
が得られるので、
ｆ（ｘ，ｙ）＝β２・ｘ２＋α２・ｙ２−α２・β２ 式（１４）
なる判定式を定義すれば、比較点ｑは、
ｆ（ｘ，ｙ）＜０なら楕円内部の点
ｆ（ｘ，ｙ）＝０なら楕円上の点
ｆ（ｘ，ｙ）＞０なら楕円外部の点
ということになる。したがって、
β２・ｘ２＋α２・ｙ２−α２・β２＞０ 式（１５）
であれば、比較点ｑは、楕円外部の点ということになる。ここで、ＸＹローカル座標系を、基準軸Ｚを中心軸として回転しても、上式が成り立つことに変わりはないので、式（１５）は、三次元立体にも拡張することができる。すなわち、式（１５）の条件が満足されていれば、比較点ｑは、回転楕円体Ｅの外側領域の点ということになる。
【０１１５】
なお、式（１５）において、各変数の値は、図１９の下半分に示すように、次のようにして求めることができる。まず、α＝ｈ・Ｄ、β＝ｋ・Ｄであるから、
α２＝ｈ２・Ｄ２、 β２＝ｋ２・Ｄ２ 式（１６）
である。一方、式（１２）より、ｘ＝Ｄ−ｄ・cos θだから、両辺を２乗すると、
ｘ２＝Ｄ２＋ｄ２・cos２ θ−２Ｄｄ・cos θ
となり、これに式（９）および式（１０）を代入すれば、
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ 式（１７）
が得られる（但し、γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）。また、式（１２）より、ｙ＝ｄ・sin θだから、両辺を２乗すると、
ｙ２＝ｄ２・sin２ θ＝ｄ２・（１−cos２ θ）
となり、これに式（１０）を代入すれば、
ｙ２＝ｄ２−γ２／Ｄ２ 式（１８）
が得られる（但し、γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）。
【０１１６】
かくして、式（１６）〜式（１８）によって、α２，β２，ｘ２，ｙ２の各値を求めた後に、式（１５）の条件判定式を演算すれば、比較点ｑが、回転楕円体Ｅの内側領域の点か、外側領域の点かを判定することができる。
【０１１７】
図２０は、これまで述べてきた本発明に係る実用的な類否判定方法の手順を示す流れ図である。この類否判定方法によれば、三原色の各画素値（Ｒ，Ｇ，Ｂ）を有する第１のカラー画素と、三原色の各画素値（ｒ，ｇ，ｂ）を有する第２のカラー画素と、の類否判定を行うことができる。なお、実際には、この図２０に示す各手順は、コンピュータによって実行されることになる。
【０１１８】
まず、ステップＳ１１では、回転楕円体Ｅのサイズを決めるパラメータｈ，ｋを設定する。前述したとおり、パラメータｈは、回転楕円体Ｅの長軸半径αを決定する値（ｈ＜１）であり、長軸半径はα＝ｈ・Ｄなる式で定められる。また、パラメータｋは、回転楕円体Ｅの短軸半径βを決定する値（ｋ＜ｈ）であり、短軸半径はβ＝ｋ・Ｄなる式で定められる。これらパラメータｈ，ｋの値は、背景画像の特徴（たとえば、屋外か屋内か、街中か郊外か、といった種別）や、移動物体として侵入してくる前景画像の特徴（たとえば、車両か人間か、といった種別）を考慮して、できるだけ高い検出精度が得られるような値に適宜設定することになる。本願発明者が行った実験によれば、一般的な用途の場合、ｈ＝０．４５〜０．２０、ｋ＝０．１５〜０．０５程度の値に設定すれば、比較的高い検出精度が得られる。
【０１１９】
続く、ステップＳ１２では、基準点Ｑ（Ｒ，Ｇ，Ｂ）と比較点ｑ（ｒ，ｇ，ｂ）の座標値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）が取り込まれる。これらの座標値は、それぞれ２つのカラー画像の三原色の画素値として与えられた値である。これら座標値が取り込まれたら、準備段階は完了である。すなわち、コンピュータには、パラメータｈ（ｈ＜１）およびｋ（ｋ＜ｈ）、画素値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）の値が取り込まれた状態となり、これらの値を用いて、以下の演算処理を実行する準備が整ったことになる。
【０１２０】
以下、ステップＳ１３〜Ｓ１８に示す手順は、図１０に示すように、三原色の各画素値を各座標軸にとった三次元座標系において、画素値（Ｒ，Ｇ，Ｂ）に対応する座標をもつ基準点Ｑを中心とする所定サイズの回転楕円体Ｅと、画素値（ｒ，ｇ，ｂ）に対応する座標をもつ比較点ｑとについて、後者が前者の内部にあるか外部にあるかを調べる位置関係判定段階の手順である。
【０１２１】
具体的には、既に述べたとおり、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、この基準軸Ｚを中心に回転させることにより得られる回転楕円体Ｅを定義する。そして、比較点ｑがこの回転楕円体Ｅの内部にあるか外部にあるかを判定することになる。なお、実際には、前述したような近似を行うため、論理的には、回転楕円体Ｅの代わりに、その近似体について、内部にあるか外部にあるかの判定が行われることになる。この位置関係判定段階は、３つの条件判定段階によって構成される。
【０１２２】
まず、ステップＳ１３に示す第１の条件判定段階では、図１２に示すように、「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という条件を満足するか否かの判定が行われる。そのためには、図１３で説明したとおり、
（１−ｈ）２・Ｄ２＞ｄ２ 式（２）
もしくは
（１＋ｈ）２・Ｄ２＜ｄ２ 式（３）
という条件を満足するか否かを判定するための演算を行えばよい。ここで、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
であるから、結局、ステップＳ１３のブロック内に記載したように、
（１−ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）＞（ｒ２＋ｇ２＋ｂ２） 式（２′）
もしくは
（１＋ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）＜（ｒ２＋ｇ２＋ｂ２） 式（３′）
という条件を満足するか否かを判定する演算を行えばよい。
【０１２３】
このステップＳ１３に示す第１の条件判定段階において、肯定的な判定がなされた場合（式（２′）もしくは式（３′）の条件を満足する場合）は、ステップＳ１４からステップＳ１９へと進み、位置関係判定段階は終結する。一方、否定的判定がなされた場合には、ステップＳ１４からステップＳ１５へと進む。
【０１２４】
ステップＳ１５に示す第２の条件判定段階では、図１４に示すように、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの外側に比較点ｑが位置する」という第２の条件を満足するか否かの判定が行われる。ただ、前述したとおり、実用上は、円錐ξの代わりに円錐ξ′を用い、しかもｆ≒βと近似する式が用いられる。このような近似的な判定手法を採る場合は、第２の条件は「回転楕円体Ｅの近似体の外側に比較点ｑが位置する」という条件になる。
【０１２５】
この近似的な判定手法を採るのであれば、図１７に示すとおり、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２ 式（１１）
という条件を満足するか否かを判定するための演算を行えばよい。ここで、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）、
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
であるから、結局、ステップＳ１５のブロック内に記載したように、
（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）２／
（（Ｒ２＋Ｇ２＋Ｂ２）・（ｒ２＋ｇ２＋ｂ２））
＜（１−ｋ２／２）２ 式（１１′）
という条件を満足するか否かを判定する演算を行えばよい。
【０１２６】
このステップＳ１５に示す第２の条件判定段階において、肯定的な判定がなされた場合（式（１１′）の条件を満足する場合）は、ステップＳ１６からステップＳ１９へと進み、位置関係判定段階は終結する。一方、否定的判定がなされた場合には、ステップＳ１６からステップＳ１７へと進む。
【０１２７】
ステップＳ１７に示す第３の条件判定段階では、図１８に示すように、「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かの判定が行われる。そのためには、ステップＳ１７のブロック内に記載したように、
β２・ｘ２＋α２・ｙ２−α２・β２＞０ 式（１５）
という条件を満足するか否かを判定するための演算を行えばよい。ここで、各変数は、図１９で説明したとおり、
α２＝ｈ２・Ｄ２、 β２＝ｋ２・Ｄ２ 式（１６）
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ 式（１７）
ｙ２＝ｄ２−γ２／Ｄ２ 式（１８）
であり、また、既に述べたとおり、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
である。
【０１２８】
このステップＳ１７に示す第３の条件判定段階において、肯定的な判定がなされた場合（式（１５）の条件を満足する場合）は、ステップＳ１８からステップＳ１９へと進み、位置関係判定段階は終結する。一方、否定的判定がなされた場合には、ステップＳ１８からステップＳ２０へと進み、やはり位置関係判定段階は終結する。
【０１２９】
ここで注目すべき点は、以上の第１〜第３の条件判定段階で行われる条件判定式には、加減乗除演算のみしか含まれていない点である。すなわち、一般的な幾何学演算に含まれている開平演算や三角関数演算は一切含まれていない。したがって、演算装置の負担は比較的軽いものになり、安価なプロセッサを用いた場合でも、リアルタイム処理が可能になる。
【０１３０】
最後に、ステップＳ１９もしくはステップＳ２０に示す判定結果出力段階が行われる。すなわち、上述したとおり、第１の条件判定段階（ステップＳ１３）、第２の条件判定段階（ステップＳ１５）、第３の条件判定段階（ステップＳ１７）のいずれかにおいて肯定的判定がなされた場合には、ステップＳ１９へと進み、第１のカラー画素と第２のカラー画素とが非類似との判定結果が出力される。一方、第１の条件判定段階（ステップＳ１３）、前記第２の条件判定段階（ステップＳ１５）、前記第３の条件判定段階（ステップＳ１７）のすべてにおいて否定的判定がなされた場合には、ステップＳ２０へ進み、第１のカラー画素と第２のカラー画素とが類似するとの判定結果が出力される。
【０１３１】
要するに、この図２０の流れ図に示す手順によれば、回転楕円体Ｅもしくはその近似体の外部に比較点ｑがあると判断された場合には、第１のカラー画素と第２のカラー画素とが非類似との判定結果が出力され、回転楕円体Ｅもしくはその近似体の内部に比較点ｑがあると判断された場合には、第１のカラー画素と第２のカラー画素とが類似するとの判定結果が出力されることになる。ステップＳ１５の第２の条件判定段階は、ステップＳ１３の第１の条件判定段階において否定的判定がなされた場合にのみ実行され、同様に、ステップＳ１７の第３の条件判定段階は、ステップＳ１５の第２の条件判定段階において否定的判定がなされた場合にのみ実行されることになるので、無駄な演算を省くことが可能になり、演算負担の軽減を図ることができる。
【０１３２】
特に、パラメータｈ，ｋの値を固定値にした運用を行う場合、ステップＳ１３の演算式（２′），（３′）に用いる（１−ｈ）２および（１＋ｈ）２の値、ステップＳ１５の演算式（１１′）に用いる（１−ｋ２／２）２の値は、予め決められた定数として用意しておくことができるので、演算負担を更に軽減することができる。実際には、まず、（Ｒ２＋Ｇ２＋Ｂ２）の値および（ｒ２＋ｇ２＋ｂ２）の値を計算してしまえば、ステップＳ１３の演算式（２′），（３′）に係る演算は、上記定数を利用した極めて単純な演算になる。同様に、ステップＳ１５の演算式（１１′）に係る演算も、（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）の値を計算してしまえば、既に計算済みの（Ｒ２＋Ｇ２＋Ｂ２）の値および（ｒ２＋ｇ２＋ｂ２）の値と、上記定数を利用することにより、極めて単純な演算になる。
【０１３３】
＜＜＜ §４．本発明に係る移動物体検出装置の構成 ＞＞＞
ここでは、本発明に係る移動物体検出装置の構成を、図２１のブロック図を参照しながら説明する。この装置は、与えられた動画画像について移動物体を検出する機能をもっており、図示のとおり、画像入力部１１０、原画像格納部１２０、平均画像作成部１３０、平均画像格納部１４０、画像比較部２００、マスク画像格納部３１０、画像出力部３２０、パラメータ設定部３３０によって構成される。
【０１３４】
画像入力部１１０は、時系列で連続的に与えられるフレーム単位のカラー原画像Ｐを、三原色の各画素値を有する画素の集合体データとして入力する構成要素であり、原画像格納部１２０は、こうして入力された原画像を逐次格納する構成要素である。一方、平均画像作成部１３０は、過去に入力された複数の原画像Ｐに基づいて、これら原画像の平均的な特徴を有する平均画像Ａを逐次作成する構成要素であり、平均画像格納部１４０は、作成された平均画像Ａを逐次格納する構成要素である。
【０１３５】
これら各構成要素の具体的な処理機能については、既に§１で述べたとおりである。原画像格納部１２０や平均画像格納部１４０は、バッファメモリによって構成することができる。平均画像作成部１３０が、図３に示す方法で重みｗをパラメータとして平均画像を逐次作成し、これを平均画像格納部１４０に格納してゆくようにすれば、原画像格納部１２０には、常に処理に必要な最新の原画像のみが格納されるようにし、平均画像格納部１４０には、常に処理に必要な最新の平均画像Ａのみが格納されるようにすればよいので、バッファメモリの容量を節約することができる。
【０１３６】
画像比較部２００は、原画像格納部１２０に格納された原画像Ｐと、平均画像格納部１４０に格納された平均画像Ａとを比較し、前景領域Ｆと背景領域Ｂとを区別するマスク画像Ｍを作成する機能を果たす構成要素であり、図示のとおり、画素値読出部２１０、類否判定部２２０、画素値書込部２３０によって構成されている。
【０１３７】
画素値読出部２１０は、比較対象となる一対の画像（すなわち、原画像格納部１２０に格納されている原画像Ｐと、平均画像格納部１４０に格納されている平均画像Ａ）のうち、いずれか一方の画像の所定位置の画素の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として読み出し、他方の画像の対応位置の画素の画素値を比較画素値（ｒ，ｇ，ｂ）として読み出す処理を行う。
【０１３８】
既に述べたとおり、図８に示すモデルを採用する場合は、平均画像Ａの画素の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として読み出し、原画像Ｐの画素の画素値を比較画素値（ｒ，ｇ，ｂ）として読み出すことになる。これに対して、図９に示すモデルを採用する場合は、逆に、原画像Ｐの画素の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として読み出し、平均画像Ａの画素の画素値を比較画素値（ｒ，ｇ，ｂ）として読み出すことになる。既に§２で述べたとおり、実用上は、図９に示すモデルを採用するのが好ましい。
【０１３９】
類否判定部２２０は、比較画素値（ｒ，ｇ，ｂ）が、基準画素値（Ｒ，Ｇ，Ｂ）について設定された所定の類似範囲に入っているか否かを判定する処理を行う。具体的には、図１０に示すように、三原色の各画素値を各座標軸にとった三次元座標系において、基準画素値（Ｒ，Ｇ，Ｂ）に対応する座標に位置する基準点Ｑ（Ｒ，Ｇ，Ｂ）と比較画素値（ｒ，ｇ，ｂ）に対応する座標に位置する比較点ｑ（ｒ，ｇ，ｂ）をとり、基準点Ｑを中心とする所定サイズの回転楕円体Ｅと比較点ｑとの位置関係を調べ、比較点ｑが回転楕円体Ｅもしくはその近似体の外部に位置すると判定できる場合には類似範囲外との判定を行い、内部に位置すると判定できる場合には類似範囲内との判定を行う。このとき、回転楕円体Ｅのサイズは、パラメータｈ，ｋを参照して決定される。
【０１４０】
そして、画素値書込部２３０は、マスク画像Ｍを構成する所定位置（画素値読出部２１０の読出対象となった位置）の画素の画素値として、類否判定部２２０の判定結果に応じた値を定め、マスク画像格納部３１０に書き込む処理を行う。すなわち、類否判定部２２０が類似範囲内と判定した場合には背景領域Ｂを示す画素値（たとえば、「０」）を、類否判定部２２０が類似範囲外と判定した場合には前景領域Ｆを示す画素値（たとえば、「１」）を、それぞれマスク画像格納部３１０に書き込む処理を行う。
【０１４１】
マスク画像格納部３１０は、こうして作成されたマスク画像Ｍを格納する構成要素であり、画像出力部３２０は、このマスク画像Ｍを出力する構成要素である。
【０１４２】
一方、パラメータ設定部３３０は、平均画像作成部１３０による平均画像作成処理に利用されるパラメータｗ（図３に示す重みｗ）と、類否判定部２２０の類否判定処理に利用されるパラメータｈ，ｋ（図１０に示す長軸半径αおよび短軸半径βを決定するための値）とを、ユーザの操作入力によって任意の値に設定する機能を有する。ユーザは、必要に応じて、これらパラメータｗ，ｈ，ｋの値を調整することにより、より精度の高い検出結果を得ることができる。もっとも、これらのパラメータの一部もしくは全部は、固定値にしておくことも可能である。全部のパラメータ値を固定値にする実施例では、パラメータ設定部３３０を設ける必要はない。
【０１４３】
なお、実用上、この図２１に示す移動物体検出装置は、コンピュータに専用のプログラムを組み込むことにより構築することができ、図２１に各ブロックで示す構成要素は、コンピュータのハードウエアとソフトウエアとの組み合わせによって実現することができる。もちろん、この移動物体検出装置を半導体集積回路として構成することも可能である。
【０１４４】
図２２は、図２１に示す装置における類否判定部２２０の詳細構成を示すブロック図である。図示のとおり、この類否判定部２２０は、基本演算部２２１、第１の条件判定部２２２、第２の条件判定部２２３、第３の条件判定部２２４、判定値出力部２２５、パラメータ保持部２２６によって構成されている。
【０１４５】
パラメータ保持部２２６は、パラメータｈおよびｋの値を保持する構成要素であり、図２１に示すパラメータ設定部３３０を設けた場合には、このパラメータ設定部３３０によって設定されたパラメータｈおよびｋの値がパラメータ保持部２２６に書き込まれることになる。パラメータｈおよびｋの値を固定にする場合には、当該固定値がパラメータ保持部２２６に保持される。
【０１４６】
基本演算部２２１は、図２１に示す画素値読出部２１０が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
Ｄ２＝Ｒ２＋Ｇ２＋Ｂ２ および
ｄ２＝ｒ２＋ｇ２＋ｂ２
なる演算を行い、値Ｄ２および値ｄ２を算出する構成要素である。ここで算出された値Ｄ２および値ｄ２は、第１の条件判定部２２２、第２の条件判定部２２３、第３の条件判定部２２４における演算で利用される。
【０１４７】
第１の条件判定部２２２は、図１２に示すように、「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する構成要素である。そのために、基本演算部２２１が算出した値Ｄ２および値ｄ２とパラメータ保持部２２６に保持されているパラメータｈの値とを用いて、
（１−ｈ）２・Ｄ２＞ｄ２ 式（２）
もしくは
（１＋ｈ）２・Ｄ２＜ｄ２ 式（３）
という条件を満足するか否かを判定するための演算を行う。そして、「条件満足」との肯定的判定が行われた場合、当該判定結果は、判定値出力部２２５に報知される。一方、「条件満足せず」との否定的判定が行われた場合、当該判定結果は、第２の条件判定部２２３に報知される。
【０１４８】
第２の条件判定部２２３は、第１の条件判定部２２２から、「条件満足せず」との否定的判定結果が報知された場合に限り、条件判定処理を実行する構成要素である。ここで行われる処理の目的は、図１４に示すように、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定することにある。ただ、実用上は、演算負担を軽減するために、円錐ξの代わりに円錐ξ′を用いた判定を行うようにするのが好ましい。
【０１４９】
すなわち、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線を構成する円を交線円Ｓとしたときに、「原点Ｏを頂点、基準軸Ｚを中心軸とし、交線円Ｓを通る円錐ξ′の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定すればよい。このとき、演算負担を更に軽減するために、交線円Ｓ上の任意の点と基準点Ｑとの距離ｆが短軸半径βに等しいとおいた近似式を用いて近似的な判定を行うようにするのが好ましい。
【０１５０】
このような近似的な判定を行う場合、第２の条件判定部２２３は、図２１に示す画素値読出部２１０が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ
なる演算を行い、値γを算出し、更に、基本演算部２２１が算出した値Ｄ２および値ｄ２とパラメータ保持部２２６に保持されているパラメータｋの値と、算出した値γとを用いて、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２ 式（１１）
という条件を満足するか否かを判定するための演算を行えばよい。結局、この式（１１）の演算式で示される条件は、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの近似体の外側に比較点ｑが位置する」という条件になる。
【０１５１】
そして、この第２の条件判定部２２３において、「条件満足」との肯定的判定が行われた場合、当該判定結果は、判定値出力部２２５に報知される。一方、「条件満足せず」との否定的判定が行われた場合、当該判定結果は、γの値とともに、第３の条件判定部２２４に報知される。
【０１５２】
第３の条件判定部２２４は、第２の条件判定部２２３から、「条件満足せず」との否定的判定結果が報知された場合に限り、条件判定処理を実行する構成要素である。ここで行われる処理の目的は、図１８に示すように、「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定することにある。そのため、第３の条件判定部２２４は、基本演算部２２１が算出した値Ｄ２および値ｄ２と、パラメータ保持部２２６に保持されているパラメータｈおよびｋの値と、第２の条件判定部２２３が算出した値γとを用いて、
α２＝ｈ２・Ｄ２、 β２＝ｋ２・Ｄ２ 式（１６）
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ 式（１７）
ｙ２＝ｄ２−γ２／Ｄ２ 式（１８）
なる演算を行い、当該演算結果を用いて、
β２・ｘ２＋α２・ｙ２−α２・β２＞０ 式（１５）
という条件を満足するか否かを判定するための演算を行う。
【０１５３】
そして、この第３の条件判定部２２４における「条件満足」との肯定的判定結果もしくは「条件満足せず」との否定的判定結果は、判定値出力部２２５に報知される。
【０１５４】
判定値出力部２２５は、第１の条件判定部２２２、第２の条件判定部２２３、第３の条件判定部２２４のいずれかが「条件満足」との肯定的判定を行った場合に、類似範囲外との判定結果を示す判定値（たとえば「１」）を出力し、第１の条件判定部２２２、第２の条件判定部２２３、第３の条件判定部２２４のすべてが「条件満足せず」との否定的判定を行った場合に、類似範囲内との判定結果を示す判定値（たとえば「０」）を出力する。これらの判定値は、図２１に示すように、画素値書込部２３０によって、マスク画像格納部３１０内のマスク画像Ｍの画素値として書き込まれる。
【０１５５】
既に述べたとおり、上記条件判定式には、加減乗除演算のみしか含まれていないため、一般的な幾何学演算に必要とされる開平演算や三角関数演算を行う必要はない。したがって、演算装置の負担は比較的軽いものになり、類似判定部２２０を安価なプロセッサを用いて構成した場合でも、リアルタイム処理が可能になる。
【０１５６】
＜＜＜ §５．変形例 ＞＞＞
以上、本発明を基本的な実施形態に基づいて説明したが、最後に、本発明の変形例をいくつか述べておく。
【０１５７】
まず、これまで述べた条件判定式には、「不等号＞」や「不等号＜」を含む演算式が含まれているが、これらの演算式の一部もしくは全部について、「不等号＞」の代わりに「不等号≧」を用いた演算式、もしくは「不等号＜」の代わりに「不等号≦」を用いた演算式を用いてもかまわない。すなわち、各条件判定式は、比較点ｑが何らかの図形の内側領域にあるか外側領域にあるかを示すものであるが、当該図形の境界面上の点は、当該図形の内側領域に含ませても、外側領域に含ませてもかまわない。
【０１５８】
また、これまで述べた実施形態では、三原色を示す符号として、便宜上、（Ｒ，Ｇ，Ｂ）もしくは（ｒ，ｇ，ｂ）という符号を用いているが、これらの符号は、必ずしも（赤，緑，青）なる三原色を意味するものではない。一般的には、ビデオカメラで撮影した画像は、（赤，緑，青）なる三原色の各画素値をもった画素の集合からなるデータとして与えられるが、本発明は、（赤，緑，青）なる三原色を用いた表色系に限定されるものではなく、他の色からなる三原色を用いた別な表色系にも適用可能である。その場合、各演算式に用いられている（Ｒ，Ｇ，Ｂ）もしくは（ｒ，ｇ，ｂ）という符号は、当該別な表色系の三原色の画素値を示すことになる。
【符号の説明】
【０１５９】
１１０：画像入力部
１２０：原画像格納部
１３０：平均画像作成部
１４０：平均画像格納部
２００：画像比較部
２１０：画素値読出部
２２０：類否判定部
２２１：基本演算部
２２２：第１の条件判定部
２２３：第２の条件判定部
２２４：第３の条件判定部
２２５：判定値出力部
２２６：パラメータ保持部
２３０：画素値書込部
３１０：マスク画像格納部
３２０：画像出力部
３３０：パラメータ設定部
Ａ（１）〜Ａ（ｉ）：平均画像（背景画像）
Ａ，Ａ（Ｒａ，Ｇａ，Ｂａ）：平均画像の画素値を示す座標点
ａ：三角形の一辺
ａ（ｉ−１），ａ（ｉ）：平均画像を構成する１つの画素の画素値
Ｂ：背景領域／三原色の画素値（基準画素値）
ｂ：三原色の画素値（比較画素値）／三角形の一辺
Ｃ：円柱モデルの円柱
Ｃ１，Ｃ２：球
Ｃ３：球面
ｃ：三角形の一辺
Ｄ：原点Ｏと基準点Ｑとの距離
ｄ：原点Ｏと比較点ｑとの距離
Ｅ，Ｅａ，Ｅｐ：回転楕円体
Ｅ１：回転楕円体Ｅの最近接点
Ｅ２：回転楕円体Ｅの最遠隔点
Ｆ：前景領域
ｆ：交線円Ｓ上の任意の点と基準点Ｑとの距離
Ｇ：三原色の画素値（基準画素値）
ｇ：三原色の画素値（比較画素値）
ｈ：回転楕円体Ｅの長軸半径αを定めるパラメータ
ｋ：回転楕円体Ｅの短軸半径βを定めるパラメータ
Ｌ：円柱Ｃの長さ
Ｌａ１：回転楕円体Ｅａの長軸方向の長さ
Ｌａ２：回転楕円体Ｅａの短軸方向の長さ
Ｌｐ１：回転楕円体Ｅｐの長軸方向の長さ
Ｌｐ２：回転楕円体Ｅｐの短軸方向の長さ
Ｍ：マスク画像
Ｍ（１）〜Ｍ（ｉ），Ｍ（ｉ＋１），Ｍ１０〜Ｍ４０：マスク画像
ｍ（ｉ）：マスク画像を構成する１つの画素の画素値
Ｏ：三次元色空間を構成するＲＧＢ座標系の原点
Ｐ：原画像／原画像の画素値を示す座標点
Ｐ（１）〜Ｐ（ｉ），Ｐ（ｉ＋１），Ｐ１０〜Ｐ４０：原画像（入力画像）
Ｐ（Ｒｐ，Ｇｐ，Ｂｐ）：原画像の画素値を示す座標点
ｐ（ｉ）：原画像を構成する１つの画素の画素値
Ｑ：基準点（画素値（Ｒ，Ｇ，Ｂ）をもった座標点）
ｑ：比較点（画素値（ｒ，ｇ，ｂ）をもった座標点）
Ｒ：三原色の画素値（基準画素値）
ｒ：三原色の画素値（比較画素値）
Ｓ：交線円（球面Ｃ３と回転楕円体Ｅとの交線）
Ｓ１１〜Ｓ２０：流れ図の各ステップ
Ｔ：接線円（円錐ξと回転楕円体Ｅとの接線）
ｔ：基準点Ｑと比較点ｑとの距離
Ｖ：基準画素値を示すベクトル
Ｖａ：平均画像の画素値を示すベクトル
Ｖｐ：原画像の画素値を示すベクトル
ｗ：重みを示すパラメータ
Ｘ：座標軸
ｘ：楕円方程式の変数
Ｙ：座標軸
ｙ：楕円方程式の変数
Ｚ，Ｚａ，Ｚｐ：基準軸
α：回転楕円体Ｅの長軸半径
β：回転楕円体Ｅの短軸半径
γ：演算値
δ：座標点間の距離
θ：角度
ξ，ξ′：円錐
φ，φ′：円錐の半頂角
【技術分野】
【０００１】
本発明は、カラーの動画画像に基づいて、画像内の移動物体を検出する移動物体検出装置およびこれに利用する画素の類否判定方法に関する。
【背景技術】
【０００２】
ビデオカメラを用いた監視システムなどでは、監視領域内に存在する移動物体を自動的に検出する技術が重要になってきている。移動物体の自動検出が可能になれば、当該物体が車両であるのか、人間であるのか、といった識別を行う処理に利用することができる。更に、車両の場合であれば、ナンバーを読み取って車両を特定することができ、人間の場合であれば、個人を特定する処理にも応用することができる。また、検出した不審者を自動的にズームアップして追尾することも可能になる。
【０００３】
移動物体を検出する基本原理は、時系列で連続的に与えられるフレーム単位の入力画像を予め用意した背景画像と比較し、両者の差分を求めることにより、時間的に変化している領域を認識することにある。ただ、屋外の監視システムなどに利用する場合、時刻や天候などによる照明変動が生じるため、必ずしも正確な物体検出を行うことができない。そこで、たとえば、下記の特許文献１には、フレーム単位の入力画像を小領域に分割し、各小領域単位で画素値の統計処理を施して照明変動を推定する手法が開示されている。また、下記の特許文献２には、フレーム単位の入力画像をブロックに分割し、個々のブロックごとに画素値の平均値を求め、背景画像の画素値平均と比較することにより、当該ブロックが移動物体を含むか否かを判定する手法が開示されている。
【０００４】
一方、下記の非特許文献１には、入力画像と背景画像とを画素単位で比較して、当該画素が移動物体を構成する画素であるか否かを判定する手法が開示されている。具体的には、比較対象となる両画素の画素値が類似している場合、当該画素は背景を構成する画素であるとし、類似していない場合、当該画素は移動物体を構成する画素であるとする判定が行われる。このとき、画素の類否判定は、三次元の色空間上で、双方の画素値に対応する座標点をプロットし、一方の座標点が他方の座標点の近傍領域に入っているか否かを調べることにより行われる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−３０２３２８号公報
【特許文献２】特開２００９−０４８２４０号公報
【非特許文献】
【０００６】
【非特許文献１】Kim K, Chalidabhongse T H, Harwood D, Davis L S. "Background Modeling and Subtraction by Codebook Construction" Proceedings of International Conference on Image Processing, Singapore. IEEE, 2004. 5: 3061-3064
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した特許文献１，２に開示されている手法では、入力画像に対して、小領域もしくはブロック単位で画素値のヒストグラムをとるなどの統計処理を施し、当該統計処理によって得られた特徴量を複雑なモデルに当てはめて移動物体の領域を推定する必要があるため、演算処理が極めて複雑になるという問題がある。このため、一般的なプロセッサでは処理時間が長くかかり、リアルタイムでの処理を行うことが困難である。また、より正確な検出を行うためには、多数のフレームにわたって入力画像を格納しておく必要があり、大容量の画像バッファメモリが必要になる。このため、リアルタイムでの監視を目的とした安価な監視システムに利用するには不適当である。
【０００８】
一方、上述した非特許文献１に開示されている手法では、画素単位での比較を行えばよいので、複雑な統計処理を行ったり、複雑なモデルを構築したりする必要はない。しかしながら、画素の類否判定を行うためには、三次元の色空間上での幾何学演算が必要になり、安価なプロセッサを用いてリアルタイムの処理を行うには、依然として演算処理の負担が重い。特に、三角関数を含む演算は、安価な汎用プロセッサにとって極めて負担の重い処理になる。また、領域単位での統計処理を省き、画素単位での比較結果のみによって検出を行うため、時刻や天候などによる照明変動の影響を受けやすく、誤検出が生じやすいという問題もある。
【０００９】
そこで本発明は、演算処理の負担を軽減しつつ、より正確な検出を行うことが可能な移動物体検出装置を提供することを目的とする。また、そのような移動物体検出装置に利用可能な画素の類否判定方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
(1) 本発明の第１の態様は、動画画像について移動物体を検出する移動物体検出装置において、
時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する画像入力部と、
入力された原画像を逐次格納する原画像格納部と、
過去に入力された複数の原画像に基づいて、これら原画像の平均的な特徴を有する平均画像を逐次作成する平均画像作成部と、
作成された平均画像を逐次格納する平均画像格納部と、
原画像格納部に格納された原画像と、平均画像格納部に格納された平均画像とを比較し、前景領域と背景領域とを区別するマスク画像を作成する画像比較部と、
マスク画像を格納するマスク画像格納部と、
マスク画像を出力する画像出力部と、
を設け、
画像比較部を、
比較対象となる一方の画像の所定位置の画素の画素値を基準画素値として読み出し、比較対象となる他方の画像の所定位置の画素の画素値を比較画素値として読み出す画素値読出部と、
比較画素値が、基準画素値について設定された所定の類似範囲に入っているか否かを判定する類否判定部と、
マスク画像を構成する所定位置の画素の画素値として、類否判定部が類似範囲内と判定した場合には背景領域を示す画素値を、類否判定部が類似範囲外と判定した場合には前景領域を示す画素値を、それぞれマスク画像格納部に書き込む画素値書込部と、
によって構成し、
類否判定部が、三原色の各画素値を各座標軸にとった三次元座標系において、基準画素値に対応する座標に位置する基準点Ｑと比較画素値に対応する座標に位置する比較点ｑをとり、基準点Ｑを中心とする所定サイズの回転楕円体Ｅと比較点ｑとの位置関係を調べ、比較点ｑが回転楕円体Ｅもしくはその近似体の外部に位置すると判定できる場合には類似範囲外との判定を行い、内部に位置すると判定できる場合には類似範囲内との判定を行うようにしたものである。
【００１１】
(2) 本発明の第２の態様は、上述の第１の態様に係る移動物体検出装置において、
平均画像作成部が、
第ｉ番目の原画像Ｐ（ｉ）が入力されたときに（ｉ＝１，２，...）、当該原画像Ｐ（ｉ）を含めた過去の原画像について、それぞれ対応する位置の画素の各色別の画素値の重みづけ平均値を算出し、当該平均値をもつ画素の集合体からなる第ｉ番目の平均画像Ａ（ｉ）を作成し、
画像比較部が、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）が入力されたときに、当該原画像Ｐ（ｉ＋１）と、第ｉ番目の平均画像Ａ（ｉ）とを比較し、第（ｉ＋１）番目のマスク画像Ｍ（ｉ＋１）を作成するようにしたものである。
【００１２】
(3) 本発明の第３の態様は、上述の第２の態様に係る移動物体検出装置において、
平均画像作成部が、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部へ格納する処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
当該所定位置の画素の当該所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
当該所定位置の画素の当該所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成するようにしたものである。
【００１３】
(4) 本発明の第４の態様は、上述の第１〜第３の態様に係る移動物体検出装置において、
類否判定部が、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、基準軸Ｚを中心に回転させることにより回転楕円体Ｅを定義するようにしたものである。
【００１４】
(5) 本発明の第５の態様は、上述の第４の態様に係る移動物体検出装置において、
類否判定部を、
「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する第１の条件判定部と、
第１の条件判定部が否定的判定を行った場合に「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξもしくはその近似体の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定する第２の条件判定部と、
第２の条件判定部が否定的判定を行った場合に「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定する第３の条件判定部と、
第１の条件判定部、第２の条件判定部、第３の条件判定部のいずれかが肯定的判定を行った場合に、類似範囲外との判定結果を示す判定値を出力し、第１の条件判定部、第２の条件判定部、第３の条件判定部のすべてが否定的判定を行った場合に、類似範囲内との判定結果を示す判定値を出力する判定値出力部と、
によって構成するようにしたものである。
【００１５】
(6) 本発明の第６の態様は、上述の第５の態様に係る移動物体検出装置において、
原点Ｏと基準点Ｑとの距離をＤ、原点Ｏと比較点ｑとの距離をｄとしたときに、
第１の条件判定部が、
（１−ｈ）２・Ｄ２＞ｄ２ もしくは
（１＋ｈ）２・Ｄ２＜ｄ２
という条件を満足するか否かを判定するための演算を行うようにしたものである。
【００１６】
(7) 本発明の第７の態様は、上述の第５の態様に係る移動物体検出装置において、
第２の条件判定部が、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線を構成する円を交線円Ｓとしたときに、「原点Ｏを頂点、基準軸Ｚを中心軸とし、交線円Ｓを通る円錐ξ′の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定するようにしたものである。
【００１７】
(8) 本発明の第８の態様は、上述の第７の態様に係る移動物体検出装置において、
第２の条件判定部が、交線円Ｓ上の任意の点と基準点Ｑとの距離ｆが短軸半径βに等しいとおいた近似式を用いて近似的な判定を行うようにしたものである。
【００１８】
(9) 本発明の第９の態様は、上述の第８の態様に係る移動物体検出装置において、
基準点Ｑの座標を示す基準画素値を（Ｒ，Ｇ，Ｂ）、比較点ｑの座標を示す比較画素値を（ｒ，ｇ，ｂ）、原点Ｏと基準点Ｑとの距離をＤ、原点Ｏと比較点ｑとの距離をｄとしたときに、
第２の条件判定部が、
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
として、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２
という条件を満足するか否かを判定するための演算を行うようにしたものである。
【００１９】
(10) 本発明の第１０の態様は、上述の第５の態様に係る移動物体検出装置において、
基準点Ｑの座標を示す基準画素値を（Ｒ，Ｇ，Ｂ）、比較点ｑの座標を示す比較画素値を（ｒ，ｇ，ｂ）、原点Ｏと基準点Ｑとの距離をＤ、原点Ｏと比較点ｑとの距離をｄとしたときに、
第３の条件判定部が、
α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
として、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
という条件を満足するか否かを判定するための演算を行うようにしたものである。
【００２０】
(11) 本発明の第１１の態様は、上述の第４の態様に係る移動物体検出装置において、
類否判定部を、
パラメータｈおよびｋの値を保持するパラメータ保持部と、
画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
Ｄ２＝Ｒ２＋Ｇ２＋Ｂ２ および
ｄ２＝ｒ２＋ｇ２＋ｂ２
なる演算を行い、値Ｄ２および値ｄ２を算出する基本演算部と、
基本演算部が算出した値Ｄ２および値ｄ２とパラメータ保持部に保持されているパラメータｈの値とを用いて、
（１−ｈ）２・Ｄ２＞ｄ２ もしくは
（１＋ｈ）２・Ｄ２＜ｄ２
という条件を満足するか否かを判定するための演算を行う第１の条件判定部と、
第１の条件判定部が否定的判定を行った場合に、画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ
なる演算を行い、値γを算出し、基本演算部が算出した値Ｄ２および値ｄ２とパラメータ保持部に保持されているパラメータｋの値と値γとを用いて、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２
という条件を満足するか否かを判定するための演算を行う第２の条件判定部と、
第２の条件判定部が否定的判定を行った場合に、基本演算部が算出した値Ｄ２および値ｄ２とパラメータ保持部に保持されているパラメータｈおよびｋの値と第２の条件判定部が算出した値γとを用いて、
α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
なる演算を行い、当該演算結果を用いて、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
という条件を満足するか否かを判定するための演算を行う第３の条件判定部と、
第１の条件判定部、第２の条件判定部、第３の条件判定部のいずれかが肯定的判定を行った場合に、類似範囲外との判定結果を示す判定値を出力し、第１の条件判定部、第２の条件判定部、第３の条件判定部のすべてが否定的判定を行った場合に、類似範囲内との判定結果を示す判定値を出力する判定値出力部と、
によって構成するようにしたものである。
【００２１】
(12) 本発明の第１２の態様は、上述の第６，第９〜第１１の態様に係る移動物体検出装置において、
不等号を含む演算式の一部もしくは全部について、「不等号＞」の代わりに「不等号≧」を用いた演算式、もしくは「不等号＜」の代わりに「不等号≦」を用いた演算式を用いるようにしたものである。
【００２２】
(13) 本発明の第１３の態様は、上述の第３〜第１２の態様に係る移動物体検出装置において、
パラメータ「ｗ」もしくは「ｈおよびｋ」またはこれら全てを、ユーザの操作入力によって任意の値に設定するパラメータ設定部を更に設けるようにしたものである。
【００２３】
(14) 本発明の第１４の態様は、上述の第３〜第１３の態様に係る移動物体検出装置において、
画素値読出部が、原画像の画素の画素値を基準画素値として読み出し、平均画像の画素の画素値を比較画素値として読み出すようにしたものである。
【００２４】
(15) 本発明の第１５の態様は、上述の第１〜第１４の態様に係る移動物体検出装置を、コンピュータにプログラムを組み込むことにより構成したものである。
【００２５】
(16) 本発明の第１６の態様は、上述の第１〜第１４の態様に係る移動物体検出装置を、半導体集積回路により構成したものである。
【００２６】
(17) 本発明の第１７の態様は、三原色の各画素値（Ｒ，Ｇ，Ｂ）を有する第１のカラー画素と、三原色の各画素値（ｒ，ｇ，ｂ）を有する第２のカラー画素と、の類否判定を行う画素の類否判定方法において、
コンピュータが、画素値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）の値を取り込む準備段階と、
コンピュータが、三原色の各画素値を各座標軸にとった三次元座標系において、画素値（Ｒ，Ｇ，Ｂ）に対応する座標をもつ基準点Ｑを中心とする所定サイズの回転楕円体Ｅもしくはその近似体と、画素値（ｒ，ｇ，ｂ）に対応する座標をもつ比較点ｑとについて、後者が前者の内部にあるか外部にあるかを調べる位置関係判定段階と、
コンピュータが、回転楕円体Ｅもしくはその近似体の外部に比較点ｑがあると判断した場合には、第１のカラー画素と第２のカラー画素とが非類似との判定結果を出力し、回転楕円体Ｅもしくはその近似体の内部に比較点ｑがあると判断した場合には、第１のカラー画素と第２のカラー画素とが類似するとの判定結果を出力する判定結果出力段階と、
を行うようにしたものである。
【００２７】
(18) 本発明の第１８の態様は、上述の第１７の態様に係る画素の類否判定方法において、
位置関係判定段階では、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、基準軸Ｚを中心に回転させることにより得られる回転楕円体Ｅを定義するようにしたものである。
【００２８】
(19) 本発明の第１９の態様は、上述の第１８の態様に係る画素の類否判定方法において、
位置関係判定段階を、
「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する第１の条件判定段階と、
第１の条件判定段階において否定的判定がなされた場合に、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξもしくはその近似体の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定する第２の条件判定段階と、
第２の条件判定段階において否定的判定がなされた場合に、「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定する第３の条件判定段階と、
によって構成し、
判定結果出力段階では、第１の条件判定段階、第２の条件判定段階、第３の条件判定段階のいずれかにおいて肯定的判定がなされた場合には、第１のカラー画素と第２のカラー画素とが非類似との判定結果を出力し、第１の条件判定段階、第２の条件判定段階、第３の条件判定段階のすべてにおいて否定的判定がなされた場合には、第１のカラー画素と第２のカラー画素とが類似するとの判定結果を出力するようにしたものである。
【００２９】
(20) 本発明の第２０の態様は、上述の第１９の態様に係る画素の類否判定方法において、
第１の条件判定段階で、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
としたときに、
（１−ｈ）２・Ｄ２＞ｄ２ もしくは
（１＋ｈ）２・Ｄ２＜ｄ２
という条件を満足するか否かを判定するための演算を行うようにしたものである。
【００３０】
(21) 本発明の第２１の態様は、上述の第１９の態様に係る画素の類否判定方法において、
第２の条件判定段階で、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）、
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
としたときに、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２
という条件を満足するか否かを判定するための演算を行うようにしたものである。
【００３１】
(22) 本発明の第２２の態様は、上述の第１９の態様に係る画素の類否判定方法において、
第３の条件判定段階で、
α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
としたときに、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
という条件を満足するか否かを判定するための演算を行うようにしたものである。
【００３２】
(23) 本発明の第２３の態様は、三原色の各画素値（Ｒ，Ｇ，Ｂ）を有する第１のカラー画素と、三原色の各画素値（ｒ，ｇ，ｂ）を有する第２のカラー画素と、の類否判定を行う画素の類否判定方法において、
コンピュータが、パラメータｈ（ｈ＜１）およびｋ（ｋ＜ｈ）、画素値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）の値を取り込む準備段階と、
コンピュータが、
（１−ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）＞（ｒ２＋ｇ２＋ｂ２） もしくは
（１＋ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）＜（ｒ２＋ｇ２＋ｂ２）
という条件を満足するか否かを判定する第１の条件判定段階と、
第１の条件判定段階において否定的判定がなされた場合に、コンピュータが、
（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）２／
（（Ｒ２＋Ｇ２＋Ｂ２）・（ｒ２＋ｇ２＋ｂ２））
＜（１−ｋ２／２）２
という条件を満足するか否かを判定する第２の条件判定段階と、
第２の条件判定段階において否定的判定がなされた場合に、コンピュータが、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
但し、α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
という条件を満足するか否かを判定する第３の条件判定段階と、
コンピュータが、第１の条件判定段階、第２の条件判定段階、第３の条件判定段階のいずれかにおいて肯定的判定がなされた場合には、第１のカラー画素と第２のカラー画素とが非類似との判定結果を出力し、第１の条件判定段階、第２の条件判定段階、第３の条件判定段階のすべてにおいて否定的判定がなされた場合には、第１のカラー画素と第２のカラー画素とが類似するとの判定結果を出力する判定結果出力段階と、
を行うようにしたものである。
【００３３】
(24) 本発明の第２４の態様は、上述の第２０〜第２３の態様に係る画素の類否判定方法において、
不等号を含む演算式の一部もしくは全部について、「不等号＞」の代わりに「不等号≧」を用いた演算式、もしくは「不等号＜」の代わりに「不等号≦」を用いた演算式を用いるようにしたものである。
【発明の効果】
【００３４】
本発明に係る画素の類否判定方法によれば、三次元色空間上において、一方の画素値をプロットした座標点を中心とする回転楕円体内に、他方の画素値をプロットした座標点が入るか否かに基づいて、比較対象となるカラー画素の類否判定を行うようにしたため、演算処理の負担を軽減しつつ、移動物体の検出を行うのに適した類否判定を行うことが可能になる。また、本発明に係る移動物体検出装置では、上述した画素の類否判定方法を採り入れた検出手法を採用したため、演算処理の負担を軽減しつつ、移動物体の検出をより正確に行うことが可能になる。
【図面の簡単な説明】
【００３５】
【図１】動画画像についての移動物体の検出例を示す平面図である。
【図２】本発明における移動物体検出の基本原理を示す図である。
【図３】本発明において背景を示す画像として用いられる平均画像の作成方法の一例を示す図である。
【図４】図３に示す方法に基づいて作成される平均画像上の１画素の画素値変遷プロセスを示す図である。
【図５】本発明におけるマスク画像の画素値決定プロセスを示す図である。
【図６】画素の類否判定方法の従来例を示す三次元色空間図である。
【図７】画素の類否判定方法の別な従来例を示す三次元色空間図である。
【図８】本発明に係る移動物体検出に利用するための画素の類否判定方法の第１の適用例を示す三次元色空間図である。
【図９】本発明に係る移動物体検出に利用するための画素の類否判定方法の第２の適用例を示す三次元色空間図である。
【図１０】本発明に係る画素の類否判定方法を示す三次元色空間図である。
【図１１】従来の円柱モデルに対する本発明の回転楕円体モデルの利点を示す断面図である。
【図１２】回転楕円体モデルを用いた場合の第１の条件判定原理を示す断面図である。
【図１３】図１２に示す第１の条件判定原理に基づく判定式を示す図である。
【図１４】回転楕円体モデルを用いた場合の第２の条件判定原理を示す断面図である。
【図１５】図１４に示す第２の条件判定原理に基づく判定式を導く第１のプロセスを示す図である。
【図１６】図１４に示す第２の条件判定原理に基づく判定式を導く第２のプロセスを示す図である。
【図１７】図１４に示す第２の条件判定原理に基づく判定式を示す図である。
【図１８】回転楕円体モデルを用いた場合の第３の条件判定原理を示す断面図である。
【図１９】図１８に示す第３の条件判定原理に基づく判定式を示す図である。
【図２０】本発明に係る画素の類否判定方法の実用的な手順を示す流れ図である。
【図２１】本発明に係る移動物体検出装置の基本構成を示すブロック図である。
【図２２】図２１に示す装置における類否判定部２２０の詳細構成を示すブロック図である。
【発明を実施するための形態】
【００３６】
以下、本発明を図示する実施形態に基づいて説明する。
【００３７】
＜＜＜ §１．移動物体検出の基本原理 ＞＞＞
はじめに、本発明に係る移動物体検出の基本原理を説明する。この基本原理は、動画画像について移動物体を検出するためのものであり、三原色の各画素値を有する画素の集合体として、時系列で連続的にフレーム単位のカラー画像が与えられることを前提としている。
【００３８】
たとえば、図１の左側に示すように、フレーム単位の画像Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０がこの順番で与えられたものとしよう。図示の例は、街頭に設置された定点ビデオカメラによる撮影画像を示すものであり、右から左へと１台の車両（移動物体）が通過する状態が示されている。なお、一般的なビデオカメラの場合、１秒間に３０フレーム程度の周期で連続して撮影画像が出力されるので、実際には、より細かな時間間隔で多数のフレーム画像が得られることになるが、ここでは、説明の便宜上、図示のとおり、４枚のフレーム画像Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０が順番に与えられたものとしよう。
【００３９】
これら４枚の画像を見ると、画像Ｐ１０は街の背景のみであるが、画像Ｐ２０では、右側に車両の一部が侵入したため、背景上に車両の一部が重なった画像になっている。同様に、画像Ｐ３０，Ｐ４０も、背景上に車両が重なった画像になっている。背景は静止しているため、画像Ｐ１０〜Ｐ４０について共通になるが、車両は移動物体であるため、画像Ｐ１０〜Ｐ４０では異なる。ここでは、各画像上において、背景を構成する領域を背景領域Ｂ、車両（移動物体）を構成する領域を前景領域Ｆと呼ぶことにする。
【００４０】
本発明における移動物体検出の目的は、与えられた各画像Ｐ１０〜Ｐ４０について、それぞれ背景領域Ｂと前景領域Ｆとを区別することにある。図１の右側に示す各画像Ｍ１０〜Ｍ４０は、それぞれ左側に示す各画像Ｐ１０〜Ｐ４０について、背景領域Ｂと前景領域Ｆとの区別を示す画像である。図にハッチングを施した領域が背景領域Ｂであり、白地の領域が前景領域Ｆである。いずれの領域かを識別できればよいので、これらの画像Ｍ１０〜Ｍ４０は、二値画像として与えられる。たとえば、背景領域Ｂに所属する画素には画素値「０」を与え、前景領域Ｆに所属する画素には画素値「１」を与えることにすれば、画像Ｍ１０〜Ｍ４０は、１ビットの画素値をもった画素の集合体からなる画像データとして用意することができる。
【００４１】
本発明によれば、与えられた個々のフレーム画像のそれぞれについて、対応する二値画像を作成することができる。結局、本発明に係る移動物体検出処理の本質は、時系列で連続的に与えられた個々のカラー画像について、それぞれ背景領域Ｂと前景領域Ｆとの区別を示す二値画像を作成する処理ということができる。そこで、以下、便宜上、時系列で連続的に与えられるカラー画像を「原画像」と呼び、この「原画像」に基づいて作成される二値画像を「マスク画像」と呼ぶことにする。
【００４２】
図１に示す例では、各原画像Ｐ１０〜Ｐ４０のそれぞれについて、マスク画像Ｍ１０〜Ｍ４０が作成された例が示されている。これらマスク画像を利用すれば、原画像上のどの領域が移動物体であるかを認識できるので、移動物体の形状やサイズを把握したり、移動物体の部分をズームアップして、車両のナンバーを確認したり、人物を特定したりする処理を行うことが可能になる。また、画面上で移動物体をズームアップしたまま追跡したり、移動経路を把握したりすることも可能になる。
【００４３】
もちろん、このようなマスク画像の作成を、１枚の原画像のみから行うことは困難である。たとえば、図示の原画像Ｐ２０のみが静止画像として与えられた場合、人間の脳は様々な情報から車両の存在を認識することができるが、この１枚の静止画像のみから、コンピュータに車両の存在を認識させるには、複雑なアルゴリズムに基づく処理が必要となる。そこで、一般的な移動物体検出アルゴリズムでは、既に述べたとおり、入力画像と背景画像との差を求めることにより、当該差の領域を移動物体の領域（前景領域Ｆ）と判断する手法が採られる。
【００４４】
たとえば、予め原画像Ｐ１０を背景画像として指定しておけば、原画像Ｐ２０が入力された時点で両者を比較することにより、差の領域を前景領域Ｆと認識し、図示のようなマスク画像Ｍ２０を作成することが可能になる。差の領域の認識手法としては、前述したとおり、小領域単位で画素値の統計処理を施す方法も知られているが、入力画像と背景画像とを画素単位で比較して、両画素の画素値が類似している場合、当該画素は背景領域Ｂを構成する画素であるとし、類似していない場合、当該画素は移動物体を構成する前景領域Ｆを構成する画素であるとする方法が最も簡便な方法である。本発明も、このような画素単位での比較手法を採用することを前提としている。
【００４５】
背景画像としては、予め移動物体が存在しない状態（たとえば、画像Ｐ１０に示す状態）で撮影した静止画像を利用することも可能であるが、天候や時刻などの要因により、照明環境は時々刻々と変化してゆくものであり、ある特定の時点で撮影した静止画像をそのまま背景画像として継続して利用するのは不適切である。そこで、通常は、過去に入力された複数の原画像に基づいて、これら原画像の平均的な特徴を有する平均画像を作成し、この平均画像を背景画像として利用する手法が採られる。本発明でも、このような手法で得られた平均画像を、背景画像として利用している。平均画像は新たな画像が入力されるたびに逐次更新されるので、常に、その時点で最適な背景画像として機能する。
【００４６】
図２は、本発明における移動物体検出の基本原理を示す図である。ここで、図の上段に示す画像Ｐ（１），Ｐ（２），... ，Ｐ（ｉ−２），Ｐ（ｉ−１），Ｐ（ｉ）は、時系列で連続的に与えられるフレーム単位の原画像であり、これまでに第１番目の原画像Ｐ（１）から第ｉ番目の原画像Ｐ（ｉ）まで、ｉフレーム分の画像が与えられた状態が示されている。一方、図の中段左に示す画像Ｐ（ｉ＋１）は、新たに与えられた第（ｉ＋１）番目の原画像であり、図の中段右に示す画像Ａ（ｉ）は、図の上段に示す過去に与えられたｉフレーム分の原画像Ｐ（１）〜Ｐ（ｉ）の平均的な特徴を有する平均画像である。
【００４７】
新たに入力された原画像Ｐ（ｉ＋１）についてのマスク画像Ｍ（ｉ＋１）は、当該原画像Ｐ（ｉ＋１）と平均画像Ａ（ｉ）とを比較することによって作成される。図２の下段は、このようにして作成されたマスク画像Ｍ（ｉ＋１）を示すものである。具体的には、原画像Ｐ（ｉ＋１）上の各画素の画素値を、平均画像Ａ（ｉ）上の対応する画素の画素値と比較し、類似範囲内と判定された画素については背景領域Ｂを示す画素値（たとえば、「０」）を与え、類似範囲外と判定された画素については前景領域Ｆを示す画素値（たとえば、「１」）を与えることにより、二値画像からなるマスク画像Ｍ（ｉ＋１）を作成すればよい。
【００４８】
続いて、第（ｉ＋２）番目の原画像Ｐ（ｉ＋２）が入力されたときには、過去に入力された第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）までの平均的な特徴を有する平均画像Ａ（ｉ＋１）が新たに作成され、原画像Ｐ（ｉ＋２）と平均画像Ａ（ｉ＋１）とを比較することにより、マスク画像Ｍ（ｉ＋２）が作成される。このように、平均画像は逐次更新されてゆくため、天候や時刻などの要因により、照明環境が変化した場合でも、各時点に適した背景画像としての機能を果たすことができる。
【００４９】
なお、平均画像を作成する際には、時系列に沿った重みづけを行うようにし、最新の原画像の情報に重みをおいた加重平均を求めるようにするのが好ましい。たとえば、過去１０分間に入力された原画像について重み１、それ以前に入力された原画像について重み０を与えて平均を求めれば、常に、最新１０分間に得られた原画像についての平均画像を得ることができ、照明環境が変化した場合にも対応することができる。もちろん、常に最新の原画像ほど重みづけが大きくなるように、重みづけをきめ細かく設定することもできる。
【００５０】
結局、この図２に示す例の場合、平均画像を作成する際には、第ｉ番目の原画像Ｐ（ｉ）が入力されたときに（ｉ＝１，２，...）、当該原画像Ｐ（ｉ）を含めた過去の原画像について、それぞれ対応する位置の画素の各色別の画素値の重みづけ平均値を算出し、当該平均値をもつ画素の集合体からなる第ｉ番目の平均画像Ａ（ｉ）を作成すればよい。そして、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）について、第（ｉ＋１）番目のマスク画像Ｍ（ｉ＋１）を作成する際には、原画像Ｐ（ｉ＋１）と、第ｉ番目の平均画像Ａ（ｉ）とを比較すればよい。
【００５１】
ただ、１秒間に３０フレームという一般的なフレームレートで動画画像が入力された場合、過去１０分間の原画像であっても、その画像データをすべて蓄積しておくには、画像データのバッファにかなりの記憶容量が必要になる。そこで、実用上は、第ｉ番目の原画像Ｐ（ｉ）が与えられたときに、第（ｉ−１）番目の平均画像Ａ（ｉ−１）と、当該第ｉ番目の原画像Ｐ（ｉ）との２枚の画像に基づいて、第ｉ番目の平均画像Ａ（ｉ）を作成する手法が採られる。図３は、このような手法に基づく平均画像の作成方法の一例を示す図である。
【００５２】
まず、最初の原画像Ｐ（１）が与えられたときには、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）とする処理を行う。そして、以後、図３の上段右に示す第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、図３の上段左に示す第（ｉ−１）番目の平均画像Ａ（ｉ−１）を利用して、図３の中段に示す第ｉ番目の平均画像Ａ（ｉ）を、図３の下段に示す
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ） 式（１）
なる演算式を用いて作成すればよい。ここで、ａ（ｉ）は、平均画像Ａ（ｉ）の所定位置の画素の所定色の画素値、ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の前記所定位置の画素の前記所定色の画素値、ｐ（ｉ）は、原画像Ｐ（ｉ）の前記所定位置の画素の前記所定色の画素値、ｗは、所定の重みを示すパラメータ（ｗ＜１）である。
【００５３】
要するに、直前に与えられた原画像Ｐ（ｉ−１）までの原画像について算出された第（ｉ−１）番目の平均画像Ａ（ｉ−１）の画素値ａ（ｉ−１）と、新たに与えられた第ｉ番目の原画像Ｐ（ｉ）の画素値ｐ（ｉ）とについて、重みｗを考慮した平均値が算出され、当該算出値を第ｉ番目の平均画像Ａ（ｉ）の画素値ａ（ｉ）とする処理が行われることになる。このように、新たな原画像Ｐ（ｉ）が入力されるたびに、平均画像Ａ（ｉ）を更新してゆき、しかも更新には直前の平均画像Ａ（ｉ−１）のみを用いるようにすれば、過去の原画像データを何フレーム分にもわたって蓄積保持しておく必要がないので、処理を行うために必要なバッファの容量を大幅に節約することができる。
【００５４】
図３に示すとおり、重みｗの値を大きくすればするほど、最新の原画像Ｐ（ｉ）の画素値が平均画像Ａ（ｉ）の画素値に大きな影響を与えることになる。図４は、図３に示す方法に基づいて作成される平均画像上の１画素の画素値変遷プロセスを示す図である。この例では、重みｗ＝０．０１に設定した具体例が示されている。
【００５５】
たとえば、第１番目（ｉ＝１）の原画像Ｐ（１）の特定位置の画素の画素値がｐ（１）＝１００であったとすると、第１番目の平均画像Ａ（１）の当該特定位置の画素の画素値ａ（１）は、そのままａ（１）＝１００となる。続いて、第２番目の原画像Ｐ（２）の当該特定位置の画素の画素値がｐ（２）＝１００であったとすると、第２番目の平均画像Ａ（２）の当該特定位置の画素の画素値ａ（２）は、ａ（１）とｐ（２）との重みつき平均「０．９９×１００＋０．０１×１００」を計算することにより、ａ（２）＝１００になる。
【００５６】
図示の例では、原画像の当該特定位置の画素値は、ｐ（１）〜ｐ（４）まで１００のまま変化しないため、平均画像の当該特定位置の画素値も、ａ（１）〜ａ（４）まで１００を維持する。ところが、第５番目の原画像Ｐ（５）では、画素値ｐ（５）＝２００に急変したため、第５番目の平均画像Ａ（５）の画素値ａ（５）は、図４の下段の式に示すとおり、ａ（４）とｐ（５）との重みつき平均「０．９９×１００＋０．０１×２００」を計算することにより、ａ（５）＝１０１になる。更に、第６番目の原画像Ｐ（６）および第７番目の原画像Ｐ（７）では、画素値ｐ（６）＝ｐ（７）＝２００が維持されているため、図４の下段の式に示すとおり、第６番目の平均画像Ａ（６）および第７番目の平均画像Ａ（７）では、画素値ａ（６）＝１０２、画素値ａ（７）＝１０３、と徐々に増加している。
【００５７】
この例のように、重みｗを０．０１程度の値に設定すると、原画像の画素値が急激に変化しても、平均画像の画素値は直ちに変化することはなく、原画像の画素値にゆっくりと近づいてゆくことになる。したがって、図１に示す例のように、車両が通過する動画が与えられたとしても、一過性の画素値変化は、平均画像の画素値に大きな変化をもたらすことはなく、平均画像は背景画像としての機能を果たすことができる。一方、時刻が日中から夕暮れに変わった場合など、照明環境に変化が生じた場合、当該変化は多数のフレーム画像にわたって持続するため、平均画像の画素値も当該変化に追従して変化することになる。したがって、日中には日中の背景画像に適した平均画像が得られ、夕暮れには夕暮れの背景画像に適した平均画像が得られることになる。
【００５８】
本発明におけるマスク画像は、このような方法で作成された平均画像を背景画像として、個々の原画像を比較することによって作成される。図５は、このようにして作成されるマスク画像の画素値決定プロセスを示す図である。第ｉ番目の原画像Ｐ（ｉ）についてのマスク画像Ｍ（ｉ）は、次のような方法で決定される画素値をもつ画素の集合体からなる二値画像である。すなわち、マスク画像Ｍ（ｉ）の特定位置の画素の画素値ｍ（ｉ）は、原画像Ｐ（ｉ）の当該特定位置の画素の画素値ｐ（ｉ）と、平均画像Ａ（ｉ−１）の当該特定位置の画素の画素値ａ（ｉ−１）との比較によって決定され、両画素値が類似範囲内であれば、背景領域Ｂ内の画素であることを示す画素値（たとえば、「０」）が与えられ、両画素値が類似範囲外であれば、前景領域Ｆ内の画素であることを示す画素値（たとえば、「１」）が与えられる。
【００５９】
なお、実際には、原画像は三原色の各画素値（たとえば、ＲＧＢ表色系の場合、Ｒ，Ｇ，Ｂの３色の画素値）をもったカラー画像であるので、原画像Ｐ（ｉ）を構成する各画素の画素値ｐ（ｉ）や、平均画像Ａ（ｉ）を構成する各画素の画素値ａ（ｉ）は、いずれも色ごとに独立した３つの値から構成されていることになる。そして、式（１）の演算は、個々の色ごとにそれぞれ独立して実行されることになる。たとえば、平均画像Ａ（ｉ）上の特定位置の画素の画素値ａ（ｉ）は、Ｒ色の画素値、Ｇ色の画素値、Ｂ色の画素値という３組の画素値によって構成され、Ｒ色の画素値は、過去の原画像のＲ色の画素値の重みつき平均として得られた値になる。
【００６０】
したがって、図５における画素値ｐ（ｉ）と画素値ａ（ｉ−１）との比較は、単なる２つの値の比較ではなく、３組の画素値と３組の画素値との比較ということになる。当然ながら、画素の類否判定は、この３組の画素値同士が類似するか否かを判定する処理ということになる。本発明の特徴は、この３組の画素値同士の類否を判定する方法にあり、以下、この類否判定方法を、§２において詳述する。
【００６１】
＜＜＜ §２．画素の類否判定方法 ＞＞＞
さて、§１で述べたとおり、本発明では、原画像（入力画像）と平均画像（背景画像）とを画素単位で比較して、両画素が類似している場合は背景領域Ｂの画素、非類似の場合は前景領域Ｆの画素という判定を行う。このように画素単位での類否判定を行う方法は、領域単位で特徴量を求める方法に比べて処理が単純になり、演算負担は比較的軽くなる。しかしながら、画素の類否判定が移動物体の検出精度を左右するファクターになるため、どのような方法で、どの程度の範囲までを「類似範囲」と判定するかが非常に重要である。
【００６２】
たとえば、§１では、図１の画像Ｐ１０を平均画像（背景画像）とし、画像Ｐ２０を原画像（入力画像）とした場合、両者の比較により、画像Ｍ２０のようなマスク画像が得られることを述べた。ここで、マスク画像Ｍ２０の前景領域Ｆは、両画像Ｐ１０，Ｐ２０を比較した結果、画素が類似範囲外と判定された領域であり、背景画像Ｂは、画素が類似範囲内と判定された領域である。この場合、類似範囲を適切に設定しないと、正しいマスク画像を得ることはできない。
【００６３】
すなわち、図１では、背景部分に全く同じ画像が描かれているが、実際の風景では、雲の動きで太陽光による照明環境が変化し、風により樹木の葉の位置や向きが微妙に変化する。したがって、画素の類否判定基準を厳しくすると、実際には背景部分であるのに、類似範囲外との誤判定が生じ、前景領域Ｆ内の画素との認定がなされてしまう。逆に、画素の類否判定基準を緩めると、実際には前景部分であるのに、類似範囲内との誤判定が生じ、背景領域Ｂ内の画素との認定がなされてしまう。
【００６４】
しかも、カラー画像の場合、前述したように、画素の類否は、一方の画素の３組の画素値と他方の画素の３組の画素値との比較に基づいて行う必要があるため、様々な類否判定基準を設定することが可能である。そして、どのような類否判定基準を採用するかによって、判定精度も変わってくる。通常、このようなカラー画像の画素の比較は、三次元の色空間上で、双方の画素値に対応する座標点をプロットし、両座標点の空間的な位置関係を調べることによって行われる。以下、各画素がＲＧＢ表色系の画素値をもっている場合について、色空間上での類否判定を行ういくつかの方法を説明しよう。
【００６５】
図６は、画素の類否判定の最も単純な方法を示す三次元色空間図である。図示のとおり、三原色Ｒ，Ｇ，Ｂの画素値を各座標軸にとったＲＧＢ三次元直交座標系に、座標点ＡおよびＰがプロットされている。ここで、座標点Ａ（Ｒａ，Ｇａ，Ｂａ）は、背景を示す平均画像Ａ上の画素の画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした点であり、座標点Ｐ（Ｒｐ，Ｇｐ，Ｂｐ）は、判定対象となる原画像Ｐ上の画素の画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした点である。
【００６６】
ここで、この三次元色空間上での２点Ａ，Ｐの距離をδとすれば、当該距離δは、両画素の類似度を示す１つの指標になる。δ＝０であれば、両画素は全く同一の画素値をもった画素になり、δが大きくなればなるほど、３つの画素値の総合的な類似度は低下する。したがって、予め所定の閾値δthを設定しておき、δ＜δthであれば類似範囲内、δ≧δthであれば類似範囲外と判定するようにすれば、一応の判定基準を設定することができる。
【００６７】
あるいは、原点Ｏを起点として、座標点Ａへ向かうベクトルＶａと座標点Ｐへ向かうベクトルＶｐとを定義し、両ベクトルＶａ，Ｖｐのなす角θを、両画素の類似度を示す指標として用いることもできる。θ＝０の場合、２点Ａ，Ｐは必ずしも同一の点にはならないが、原点Ｏを通る同一直線上の点になるため、少なくとも三原色Ｒ，Ｇ，Ｂの配合割合で決まる両画素の色相は類似したものになる。結局、θが小さければ、色相の類似性は高まることになるので、指標δを用いた判定基準と同様に、予め所定の閾値θthを設定しておき、θ＜θthであれば類似範囲内、θ≧θthであれば類似範囲外と判定するようにすれば、一応の判定基準を設定することができる。
【００６８】
ただ、このような距離δや角度θを基準とした単純な類否判定方法を、一般的な実写画像における移動物体検出処理に利用した場合、満足した検出結果を得ることが困難であることが知られている。これは、距離δや角度θという単純なパラメータの値だけでは、太陽光による照明環境の変化、風による樹木等の明暗の変化など、実際の撮影環境に対応した適切な判定基準を設定することが困難なためである。
【００６９】
このような問題に対処するために、前掲の非特許文献１には、より適切な判定基準を設定するために、円柱モデルを用いる類否判定方法が提案されている。図７は、この円柱モデルを用いる方法の基本原理を示す三次元色空間図である。この図７においても、図６と同様に、背景を示す平均画像Ａ上の画素の画素値（Ｒａ，Ｇａ，Ｂａ）が座標点Ａとしてプロットされ、判定対象となる原画像Ｐ上の画素の画素値（Ｒｐ，Ｇｐ，Ｂｐ）が座標点Ｐとしてプロットされている。ここでも、ベクトルＶａ，Ｖｐは、原点Ｏを起点として、各点Ａ，Ｐへ向かうベクトルである。
【００７０】
このモデルでは、図示のとおり、座標点Ａを中心として所定半径をもった長さＬの円柱Ｃが定義されている。別言すれば、円柱Ｃは、ベクトルＶａ上に定義された基準軸Ｚを中心軸とし、その中心点が座標点Ａにくるように配置された円柱ということになる。そして、この円柱Ｃの内部の空間領域を、背景を示す平均画像Ａを構成する画素の類似範囲と定める。したがって、図示の例のように、座標点Ｐに対応する画素値をもった画素は、円柱Ｃの外側に位置するため類似範囲外と判定され、前掲領域Ｆを構成する画素と認定されることになる。逆に、座標点Ｐが円柱Ｃの内部に位置していれば、類似範囲内と判定され、背景領域Ｂを構成する画素と認定される。
【００７１】
この円柱モデルの特徴は、ベクトルＶａの方向を向いた基準軸Ｚを長手方向とする円柱領域が設定される点である。この円柱Ｃの半径は、色相の類似範囲を決めるパラメータとして機能し、長さＬは明度の類似範囲を決めるパラメータとして機能する。前述したとおり、実際の景色では、太陽光による照明環境の変化、風による樹木等の明暗の変化などによって、背景領域Ｂの画素値に時間的変動が生じることになるが、このような変動は、色相よりも明度に大きな影響を及ぼすと考えられる。したがって、このモデルのように、基準軸Ｚを長手方向とする円柱Ｃに基づいて類似範囲を設定することは理にかなっている。
【００７２】
しかしながら、この円柱モデルを用いても、時刻や天候などによる照明変動の影響を完全に排除することは困難であり、依然として、誤検出が生じる問題がある。また、座標点Ｐが円柱Ｃの内部に位置するのか外部に位置するのかを判定するためには、三次元の色空間上での幾何学演算が必要になり、安価なプロセッサを用いてリアルタイムの処理を行うには演算処理の負担が重い。特に、三角関数を含む演算は、安価な汎用プロセッサにとって極めて負担の重い処理になる。本発明は、このような問題に対処するために、新たなモデルを用いた画素の類否判定方法を提案するものである。
【００７３】
本発明に係る画素の類否判定方法の最も重要な特徴は、図７に示す円柱モデルの円柱Ｃの代わりに、回転楕円体を用いるようにした点にある。図８は、図７に示す円柱Ｃを回転楕円体Ｅａに置き換えた回転楕円体モデルを示す三次元色空間図である。ここで、類似範囲を示す回転楕円体Ｅａは、平均画像Ａの画素値を示す座標点Ａを中心点とし、ベクトルＶａ上に定義された基準軸Ｚａを長軸方向とする楕円を、基準軸Ｚａを回転軸として回転させることにより得られる回転体である。この回転楕円体Ｅａのサイズは、長軸方向の長さＬａ１と短軸方向の長さＬａ２によって規定される。
【００７４】
この回転楕円体モデルを用いた場合でも、類否判定の方法は、前述の円柱モデルを用いた場合の判定方法と同様であり、回転楕円体Ｅａの内部領域にプロットされる画素は、座標点Ａに対応する画素値をもった画素に対して類似する画素と判定されることになる。具体的には、図示の例の場合、座標点Ｐに対応する画素値をもった画素は、回転楕円体Ｅａの外側に位置するため類似範囲外と判定され、前掲領域Ｆを構成する画素と認定される。逆に、座標点Ｐが回転楕円体Ｅａの内部に位置していれば、類似範囲内と判定され、背景領域Ｂを構成する画素と認定される。
【００７５】
一方、図９は、図８に示す回転楕円体モデルのバリエーションを示す三次元色空間図である。図示のとおり、このモデルにおける類似範囲を示す回転楕円体Ｅｐは、判定対象となる原画像Ｐの画素値を示す座標点Ｐを中心点とし、ベクトルＶｐ上に定義された基準軸Ｚｐを長軸方向とする楕円を、基準軸Ｚｐを回転軸として回転させることにより得られる回転体である。この回転楕円体Ｅｐのサイズは、長軸方向の長さＬｐ１と短軸方向の長さＬｐ２によって規定される。
【００７６】
図８に示すモデルの場合、背景を示す平均画像Ａの画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした座標点Ａを基準として、類似範囲を示す回転楕円体Ｅａが定義され、比較対象となる原画像Ｐの画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした座標点Ｐが、回転楕円体Ｅａの内側にあるか外側にあるかを判定していたのに対して、図９に示すモデルの場合、比較対象となる原画像Ｐの画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした座標点Ｐをプロットした座標点Ｐを基準として、類似範囲を示す回転楕円体Ｅｐが定義され、背景を示す平均画像Ａの画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした座標点Ａが、回転楕円体Ｅｐの内側にあるか外側にあるかを判定することになる。
【００７７】
要するに、前者では、新たに入力された原画像Ｐの画素が、背景を示す過去の平均画像Ａの画素の類似範囲に入っているか否かを判定する手法をとるのに対して、後者では、背景を示す過去の平均画像Ａの画素が、新たに入力された原画像Ｐの画素の類似範囲に入っているか否かを判定する手法をとることになる。結局、両者の相違は、比較対象となる２つの画素のどちらを基準にして回転楕円体を定義するかという点だけである。
【００７８】
そこで、以下の説明では、比較対象となる２つの画像のうち、一方の画像の画素値を基準画素値（Ｒ，Ｇ，Ｂ）と表記し、他方の画像の画素値を比較画素値（ｒ，ｇ，ｂ）と表記することにする。また、三次元色空間上で基準画素値（Ｒ，Ｇ，Ｂ）をプロットした座標点Ｑ（Ｒ，Ｇ，Ｂ）を基準点Ｑと呼び、比較画素値（ｒ，ｇ，ｂ）をプロットした座標点ｑ（ｒ，ｇ，ｂ）を比較点ｑと呼ぶことにする。類否判定は、基準点Ｑを中心として定義された回転楕円体と比較点ｑとの位置関係に基づいてなされることになる。
【００７９】
図１０は、このような一般的な表記にしたがって、本発明に係る回転楕円体モデルを図示した三次元色空間図である。原点Ｏを起点として基準点Ｑへ向かうベクトルをベクトルＶとすれば、基準軸Ｚは、このベクトルＶ上の軸になる。そして、回転楕円体Ｅは、基準点Ｑを中心点とし、ベクトルＶ上に定義された基準軸Ｚを長軸方向とする楕円を、基準軸Ｚを回転軸として回転させることにより得られる回転体である。ここで、比較点ｑ（ｒ，ｇ，ｂ）が回転楕円体Ｅの内部に位置すれば、両画素は類似範囲内と判定され、回転楕円体Ｅの外部に位置すれば、両画素は類似範囲外と判定される。
【００８０】
図８に示すモデルは、図５に示す類否判定を行う際に、平均画像Ａ（ｉ−１）上の画素ａ（ｉ−１）の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として基準点Ｑ（Ｒ，Ｇ，Ｂ）をプロットし、原画像Ｐ（ｉ）上の画素ｐ（ｉ）の画素値を比較画素値（ｒ，ｇ，ｂ）として比較点ｑ（ｒ，ｇ，ｂ）をプロットしたものである。これに対して、図９に示すモデルは、図５に示す類否判定を行う際に、原画像Ｐ（ｉ）上の画素ｐ（ｉ）の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として基準点Ｑ（Ｒ，Ｇ，Ｂ）をプロットし、平均画像Ａ（ｉ−１）上の画素ａ（ｉ−１）の画素値を比較画素値（ｒ，ｇ，ｂ）として比較点ｑ（ｒ，ｇ，ｂ）をプロットしたものである。
【００８１】
図７に示す従来の円柱モデルに比べて、図１０に示す本発明の回転楕円体モデルは、次の２つの利点を有している。第１の利点は、§１で述べた移動物体検出方法における画素の類否判定処理に利用した場合に、時刻や天候などによる照明変動の影響を排除した、より正確な移動物体の検出が可能になる点である。
【００８２】
実際、本願発明者は、ビデオカメラで撮影した様々な実写画像について、図７に示す円柱モデルに基づく類否判定処理を採り入れた移動物体の検出と、図１０に示す回転楕円体モデルに基づく類否判定処理を採り入れた移動物体の検出とを試みたところ、後者の検出の方がより正確である実験結果が得られた。これは、円柱モデルの場合、円柱の長手方向の端部周縁領域において、誤検出が行われる可能性が高くなるためと考えられる。
【００８３】
図１１は、円柱モデルに対する回転楕円体モデルの利点を示す断面図である。図示の例において、円柱Ｃの断面と回転楕円体Ｅの断面とを比較すると、いずれも基準点Ｑを中心として、基準軸Ｚの方向を長手方向とする図形であるが、図にハッチングを施す領域が、円柱Ｃでは内部領域と判定されるのに対して、回転楕円体Ｅでは外部領域と判定されることがわかる。したがって、比較点ｑが、このハッチング領域に位置する場合、一方では類似範囲内と判定され、他方では類似範囲外と判定される。もちろん、いずれの判定結果が正しいものであるかは、一概には決定できないが、少なくとも実写画像を用いた移動物体の検出処理に利用する限りにおいて、後者の判定結果が正しい結果となる可能性が高いことになる。
【００８４】
すなわち、円柱モデルの場合、比較点ｑが図のハッチング領域内に位置する場合、判定対象となる画素は背景画像に類似しているため背景領域Ｂ内の画素とされることになるが、実際には、背景画像に対して非類似であり、前景領域Ｆ内の画素とすべきであった、というケースが比較的高い確率で生じてしまうものと考えられる。図１１に示すとおり、断面形状で比較すると、回転楕円体Ｅの断面は曲面からなる楕円であるのに対して、円柱Ｃの断面は直線からなる矩形であり、実写画像を対象物とした類否判定の境界線としては、断面が曲面からなる楕円の方が適していることは、直感的にも理解できよう。
【００８５】
このように、少なくとも、実写画像に基づく移動物体の検出処理に利用する場合、円柱モデルよりも回転楕円体モデルの方が検出精度が向上するという第１の利点が得られる。一方、回転楕円体モデルを採用することにより得られる第２の利点は、演算負担の軽減を図ることができる点である。この第２の利点の詳細については、§３で述べることにするが、ここでは、演算負担の軽減に寄与する工夫のひとつを簡単に述べておく。
【００８６】
この工夫は、回転楕円体Ｅのサイズを、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに比例した値に設定することである。具体的には、図１０に示すとおり、距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、基準軸Ｚを中心に回転させることにより回転楕円体Ｅを定義すればよい。
【００８７】
このような条件で回転楕円体Ｅのサイズを決定すると、基準点Ｑが原点Ｏから離れれば離れるほど、回転楕円体Ｅのサイズは大きくなり、それだけ類似範囲が広くなる。これは、より明度の高い部分、すなわち、画像のハイライト部ほど、類似範囲が広くなることを意味するが、実用上、そのような類似範囲設定がなされても支障は生じない。一方、類似範囲内か否か、すなわち、回転楕円体Ｅの内部か外部かを判定するための演算負担は、長軸半径をα＝ｈ・Ｄ、短軸半径をβ＝ｋ・Ｄと設定することにより（すなわち、楕円のサイズを、距離Ｄに比例した値に設定することにより）、大幅に軽減することができる。その詳細は§３で述べることにする。
【００８８】
ところで、本願発明者が行った実験によると、回転楕円体Ｅのサイズを、距離Ｄに比例した値に設定する場合は、図８のモデルよりも、図９のモデルを用いた方が、検出精度が向上することが判明した。図９のモデルを採用した場合、図１０において、基準点Ｑ（Ｒ，Ｇ，Ｂ）は、判定対象となる原画像Ｐの画素の画素値を基準画素値としてプロットした点になり、比較点ｑ（ｒ，ｇ，ｂ）は、背景となる平均画像Ａの画素の画素値を比較画素値としてプロットした点になる。
【００８９】
上述したとおり、図８のモデルと図９のモデルは、原画像Ｐの画素と平均画像Ａの画素とのいずれを基準にして回転楕円体を定義するか、という点において異なる。しかも、回転楕円体のサイズを、距離Ｄに比例した値に設定すれば、定義される回転楕円体のサイズが、両者では異なることになる。すなわち、図８に示すモデルにおける回転楕円体Ｅａの長軸方向の長さＬａ１および短軸方向の長さＬａ２は、ベクトルＶａの長さに、それぞれパラメータ２ｈおよび２ｋを乗じることにより得られるのに対して、図９に示すモデルにおける回転楕円体Ｅｐの長軸方向の長さＬｐ１および短軸方向の長さＬｐ２は、ベクトルＶｐの長さに、それぞれパラメータ２ｈおよび２ｋを乗じることにより得られる。したがって、図示の例の場合、回転楕円体Ｅａのサイズよりも、回転楕円体Ｅｐのサイズの方が大きくなっており、より広い類似範囲が設定されている。
【００９０】
もちろん、常識的には、図９に示すモデルよりも図８に示すモデルを採用するのが一般的であろう。すなわち、予め背景とみなすことができる類似範囲を回転楕円体Ｅａとして定義しておき、新たに入力された画像の画素を示す点Ｐが、この類似範囲内に入るか否かを判定することにより、当該画素が移動物体上の点であるか否かを認識する、という方針を採るのが、一般的な考え方である。これに対して、図９に示すモデルは、新たに入力された画像の画素の類似範囲を回転楕円体Ｅｂとして定め、その中に、背景画素を示す点Ａが入るか否かを判定する手法を採るものであり、一般常識に基づく手法とは逆の手法と言うことができる。
【００９１】
しかしながら、本願発明者が行った実験によると、少なくとも実写画像を用いた移動物体の検出処理に利用する限りにおいて、図８に示すモデルを採用するよりも、図９に示すモデルを採用した方が、より正しい判定結果が得られた。これは、図３の式（１）に示すような方法で、平均画像Ａの画素値ａ（ｉ）を決定すると、太陽光や風などの要因により、新たに入力されてくる原画像Ｐの画素値ｐ（ｉ）が大きく変動しても、画素値ａ（ｉ）の値が当該変動に追従するまでにはある程度の時間がかかるため（たとえば、図４の表を参照）、類似範囲の広狭を、背景を示す平均画像Ａの画素値ａ（ｉ）ではなく、原画像Ｐの画素値ｐ（ｉ）に応じて定めた方が、正しい判定が可能になるためと考えられる。
【００９２】
以上、移動物体の検出に利用する画素の類否判定処理方法において、円柱モデルを採用する従来の方法に比べて、回転楕円体モデルを採用する本発明の利点として、時刻や天候などによる照明変動の影響を排除した、より正確な移動物体の検出が可能になる、という第１の利点を述べるとともに、演算負担を軽減することができるという第２の利点についても簡単に説明した。続く§３では、この第２の利点についての詳細を述べることにする。
【００９３】
＜＜＜ §３．実用的な類否判定手順 ＞＞＞
一般に、三次元空間上において、ある１点が、円柱の内側にあるか外側にあるかを判定する場合も、回転楕円体の内側にあるか外側にあるかを判定する場合も、座標値を用いた幾何学演算が必要になる。しかしながら、回転楕円体の内側にあるか外側にあるかを判定する場合は、演算式を工夫し、また、一部に近似演算を取り込むことにより、演算負担を大幅に軽減することが可能である。ここでは、図１０に示す回転楕円体モデルにおいて、比較点ｑ（ｒ，ｇ，ｂ）が、基準点Ｑ（Ｒ，Ｇ，Ｂ）を中心として定義された回転楕円体Ｅの内側にあるか外側にあるかを判定する実用的な手順を述べる。
【００９４】
ここで述べる手順は、３つの条件判定段階によって構成される。図１２は、そのうちの第１の条件判定段階の原理を示す断面図である。図において、下方に示す原点Ｏは、図１０の三次元色空間図に示されているＲＧＢ三次元直交座標系の原点Ｏであり、当該座標系上に、基準点Ｑ（Ｒ，Ｇ，Ｂ）と比較点ｑ（ｒ，ｇ，ｂ）とがプロットされている（座標軸は図示省略）。基準軸Ｚは、原点Ｏと基準点Ｑとを結ぶ線であり、回転楕円体Ｅは、この基準軸Ｚを長軸方向とし、基準点Ｑを中心とする楕円を、基準軸Ｚを回転軸として回転させることによって得られる回転体である。図に断面を示す楕円は、長軸半径をα、短軸半径をβとする楕円であるが、§２で述べたとおり、原点Ｏと基準点Ｑとの距離をＤとしたときに、所定のパラメータｈ，ｋについて、α＝ｈ・Ｄ（但し、ｈ＜１）、β＝ｋ・Ｄ（但し、ｋ＜ｈ）となるように設定されている。
【００９５】
第１の条件判定段階では、比較点ｑが、図のハッチング領域内にあるかどうかの判定が行われる。すなわち、図の下方のハッチング領域は、「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側領域」であるから、原点Ｏと比較点ｑとの距離をｄとすれば、「Ｄ−α＞ｄ」なる条件が満足されれば、比較点ｑは、球Ｃ１の内側に位置することになる。球Ｃ１は、回転楕円体Ｅの原点Ｏに対する最近接点Ｅ１において、回転楕円体Ｅに接する球であり、球Ｃ１の内側領域は、当然、回転楕円体Ｅの外側領域になる。一方、図の上方のハッチング領域は、「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側領域」であるから、原点Ｏと比較点ｑとの距離をｄとすれば、「Ｄ＋α＜ｄ」なる条件が満足されれば、比較点ｑは、球Ｃ２の外側に位置することになる。球Ｃ２は、回転楕円体Ｅの原点Ｏに対する最遠接点Ｅ２において、回転楕円体Ｅに接する球であり、球Ｃ２の外側領域は、当然、回転楕円体Ｅの外側領域になる。
【００９６】
図１３は、図１２に示す第１の条件判定原理に基づく判定式を示す図である。図１３(a) は、比較点ｑが球Ｃ１の内側領域にあるための条件式「Ｄ−α＞ｄ」の変形プロセスを示す。すなわち、α＝ｈ・Ｄを代入すると、条件式は「（１−ｈ）・Ｄ＞ｄ」となり、両辺を２乗すると、
（１−ｈ）２・Ｄ２＞ｄ２ 式（２）
が得られる。一方、図１３(b) は、比較点ｑが球Ｃ２の外側領域にあるための条件式「Ｄ＋α＜ｄ」の変形プロセスを示す。すなわち、α＝ｈ・Ｄを代入すると、条件式は「（１＋ｈ）・Ｄ＜ｄ」となり、両辺を２乗すると、
（１＋ｈ）２・Ｄ２＜ｄ２ 式（３）
が得られる。
【００９７】
ここで、基準点Ｑの座標値が（Ｒ，Ｇ，Ｂ）、比較点ｑの座標値が（ｒ，ｇ，ｂ）であるから、図１３(c) に示すように、
Ｄ＝√（Ｒ２＋Ｇ２＋Ｂ２）
ｄ＝√（ｒ２＋ｇ２＋ｂ２）
であり、両辺を２乗すると、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
となる。したがって、式（２），式（３）を書き直せば、図１３(c) に示すように、
（１−ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）
＞（ｒ２＋ｇ２＋ｂ２） 式（２′）
（１＋ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）
＜（ｒ２＋ｇ２＋ｂ２） 式（３′）
なる条件式が得られる。ここで、ｈは予め設定された所定のパラメータであり、（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）は、基準点Ｑおよび比較点ｑの座標値（すなわち、比較対象となる２つの画素の三原色の画素値）である。式（２′）および式（３′）は、２乗演算と和差演算のみで構成される演算式であるから、演算負担は非常に軽いものになる。
【００９８】
こうして、式（２′）もしくは式（３′）のいずれかの条件を満足する結果が得られた場合、比較点ｑは、回転楕円体Ｅの外側に位置すると判断できるので、基準点Ｑの類似範囲外との判定を行うことができる。
【００９９】
一方、式（２′）および式（３′）のいずれの条件も満足しない場合は、図１２において、比較点ｑは、球Ｃ１の外側かつ球Ｃ２の内側の領域に位置することになる。したがって、その場合には、以下に述べる第２の条件判定段階が引き続き行われる。
【０１００】
図１４は、この第２の条件判定段階の原理を示す断面図である。第２の条件判定段階では、比較点ｑが、図１４のハッチング領域内にあるかどうかの判定が行われる。このハッチング領域は、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの外側領域」として定義される領域である。円錐ξの半頂角は、図示のとおり角φになる。図示の断面図では、円錐ξが接点Ｔにおいて楕円Ｅに接している状態が示されているが、実際には、円錐ξと回転楕円体Ｅとは、接線円Ｔで線接触することになる。三次元空間上での円錐ξと回転楕円体Ｅとの関係は、コーンに卵を挿入した状態を考えれば容易に理解できよう。
【０１０１】
結局、この第２の条件判定段階では、比較点ｑが、円錐ξの内側にあるか、外側にあるかを判定することになる。円錐ξと回転楕円体Ｅとが接する接線円Ｔの位置は、幾何学的な演算によって求めることができ、そのような接線円Ｔを通る円錐ξを示す幾何学的な方程式を求めることも可能である。しかしながら、そのような方程式は比較的複雑な式になる。そこで、ここでは、円錐ξの代わりに、図１４に破線で示す円錐ξ′を利用した近似的な判定を行うことにより、演算負担の軽減を図ることにする。
【０１０２】
図１４に実線で描いた円錐ξは、接線円Ｔで回転楕円体Ｅに接する図形であるが、破線で描いた円錐ξ′は、交線円Ｓで回転楕円体Ｅと交差する図形である。ここで、交線円Ｓは、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線を構成する円であり、基準点Ｑと交線円Ｓ上の任意の点との距離は図示のとおりｆである。結局、この近似的な判定では、「原点Ｏを頂点、基準軸Ｚを中心軸とし、交線円Ｓを通る円錐ξ′の外側に比較点ｑが位置するか否か」という判定が行われることになる。
【０１０３】
図示のとおり、円錐ξ′の半頂角φ′は、円錐ξの半頂角φよりも若干小さくなり、円錐ξ′は、円錐ξよりも若干小さな円錐になる。このため、「円錐ξ′の外側」かつ「円錐ξの内側」の点の場合、実際は回転楕円体Ｅの内部の点であるにもかかわらず、円錐ξ′を代用する近似的な判定方法では、回転楕円体Ｅの外部の点と判定されてしまうことになる。したがって、「回転楕円体Ｅの内外を厳密に判定する」という観点では、円錐ξ′を代用する判定方法は不正確である。ただ、そもそも回転楕円体Ｅ自体が、移動物体を厳密に検出する機能をもつ立体であるわけではなく、あくまでも１つの指標を提供するものであるから、円錐ξ′を代用する近似的な判定方法を用いたとしても、大きな支障は生じない。
【０１０４】
そこで、比較点ｑが、この円錐ξ′の内側にあるのか外側にあるのかを幾何学的に判定するための具体的な方法を考えてみる。いま、図１５(a) に示すように、三辺の長さがそれぞれａ，ｂ，ｃである一般的な三角形を考える。ここで、２辺ｂ，ｃの挟角をφとすると、余弦定理により、
cos φ＝（ｂ２＋ｃ２−ａ２）／２ｂｃ 式（４）
が成り立つ。
【０１０５】
続いて、図１５(b) に示す三角形ＯＱＳを考える。この図１５(b) は、図１４に示す三角形ＯＱＳをそのまま抜き出して示したものである。交線円Ｓは、前述したとおり、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線であるから、２点ＯＳの距離は、２点ＯＱの距離に等しくＤになる。したがって、三角形ＯＱＳは二等辺三角形になり、２つの等辺の挟角はφ′、第３の辺の長さはｆである。この三角形ＯＱＳに、式（４）に示す余弦定理を適用すると、
cos φ′＝（Ｄ２＋Ｄ２−ｆ２）／２Ｄ２ 式（５）
が成り立つ。
【０１０６】
ここで、図１４を見ると、長さｆは、回転楕円体Ｅの短軸半径βに近い値になることがわかる。そこで、近似的に、ｆ≒βとすると、β＝ｋ・Ｄなので、ｆ≒ｋ・Ｄになり、図１５の下段右に示すとおり、
cos φ′≒１−ｋ２／２ 式（６）
なる式が得られる。
【０１０７】
次に、図１６に示す三角形ＯＱｑを考える。この図１６は、図１４に示す４点Ｏ，Ｑ，Ｓ，ｑをそのまま抜き出してプロットしたものである。２点ＯＱ間の距離はＤであり、２点Ｏｑ間の距離はｄである。ここで、この長さＤ，ｄをもった２辺の挟角をθとし、第３の辺の長さをｔとする。また、線分ＯＱと線分ＯＳとのなす角φ′は、前述した円錐ξ′の半頂角である。
【０１０８】
さて、図１４において、円錐ξの代わりに円錐ξ′を用いて、比較点ｑがハッチング領域にあるための条件を求めると、θ＞φ′であればよいことがわかる。ここで、座標値（画素値）Ｒ，Ｇ，Ｂ，ｒ，ｇ，ｂが正の値をとるものとすれば、角度θおよびφ′はいずれも鋭角になる。図１６の右側にも記載したとおり、一般に、θ，φ′を正の鋭角とすれば、θ＞φ′の場合、「cos θ＜cos φ′」であり、「cos ２θ＜cos ２φ′」である。式（６）より、cos ２φ′≒（１−ｋ２／２）２であるから、結局、
cos ２θ＜（１−ｋ２／２）２ 式（７）
が成り立てば、比較点ｑは、円錐ξ′の外側領域にあると近似的に判断できる。
続いて、図１６に示す三角形ＯＱｑについて、式（４）の余弦定理を適用すれば、図１６の下段に示すように、
cos θ＝（Ｄ２＋ｄ２−ｔ２）／（２・Ｄ・ｄ） 式（８）
が成り立つ。このとき、図１７にも記載したとおり、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
ｔ２＝（Ｒ−ｒ）２＋（Ｇ−ｇ）２＋（Ｂ−ｂ）２
だから、これを式（８）に代入して整理すると、
cos θ＝γ／（Ｄ・ｄ） 式（９）
（但し、γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
が得られる。式（９）の両辺を２乗すれば、
cos ２θ＝γ２／（Ｄ２・ｄ２） 式（１０）
である。よって、式（７）より、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２ 式（１１）
が成り立てば、比較点ｑは、円錐ξ′の外側領域にあると近似的に判断できる。ここで、γ，Ｄ，ｄを画素値を用いて書き直せば、図１７の下段に示すように、
（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）２／
（（Ｒ２＋Ｇ２＋Ｂ２）・（ｒ２＋ｇ２＋ｂ２））
＜（１−ｋ２／２）２ 式（１１′）
が成り立てば、比較点ｑは、円錐ξ′の外側領域にあると近似的に判断できる。
【０１０９】
既に述べたとおり、図１４において、円錐ξ′は、円錐ξに近似的に代用することができるので、上記式（１１′）が成り立てば、比較点ｑは、回転楕円体Ｅの外側領域にある、との近似的判定を行うことができる。もちろん、この近似的な判定結果は、円錐ξ′を円錐ξに代用し、かつ、ｆ≒βとの近似を行うことによって得られる判定結果であるので、厳密な判定結果ではない。しかしながら、そもそも回転楕円体Ｅ自体が、移動物体を厳密に検出する機能をもつ立体であるわけではないので、このような近似的な判定を行っても、大きな支障は生じない。別言すれば、上述した近似的な判定手法は、比較点ｑが回転楕円体Ｅの外部にあるかどうかを判定する代わりに、その近似体の外部に位置するかどうかを判定する手法ということになる。
【０１１０】
このようにして、式（１１′）を満足する結果が得られた場合、比較点ｑは、回転楕円体Ｅの近似体の外側に位置すると判断できるので、基準点Ｑの類似範囲外との判定を行うことができる。
【０１１１】
一方、式（１１′）を満足しない場合は、比較点ｑは、図１４においてハッチングが施されていない円錐ξの内側に位置すると近似的に判断されたことになるので、最終的に、第３の条件判定段階が行われる。
【０１１２】
図１８は、この第３の条件判定段階の原理を示す断面図である。第３の条件判定段階では、比較点ｑが、図１８のハッチング領域内にあるかどうかの判定が行われる。このハッチング領域は、回転楕円体Ｅの外側領域であり、いわば第３の条件判定段階は、§２で述べた回転楕円体モデルを用いた類否判定として行うべき本来の判定段階ということになる。このため、条件判定に用いられる式は、楕円の方程式を用いた式になり、これまでの条件判定式に比べると、若干複雑にならざるを得ない。
【０１１３】
いま、図１８に示すように、基準点Ｑの位置に原点をもち、紙面上に定義されたローカルなＸＹ二次元直交座標系をとり、この二次元座標系上において、楕円Ｅと比較点ｑとの位置関係を考えることにしよう。ここで、Ｘ軸は回転楕円体Ｅの長軸方向の座標軸であり、Ｙ軸は回転楕円体Ｅの短軸方向の座標軸である。もちろん、基準点ＱのＸＹ座標系での座標は（０，０）になる。したがって、比較点ｑは、ＲＧＢ三次元直交座標系ではｑ（ｒ，ｇ，ｂ）なる三次元の座標値をもち、ＸＹローカル座標系ではｑ（ｘ，ｙ）なる二次元の座標値をもつ。
【０１１４】
ここで、比較点ｑの座標値（ｘ，ｙ）を、２点ＯＱ間の距離Ｄ、２点Ｏｑ間の距離ｄ、そして挟角θを用いて表すと、図１８の右下にも記載したとおり、
ｘ＝Ｄ−ｄ・cos θ、 ｙ＝ｄ・sin θ 式（１２）
が成り立つ。一方、図１９に示すとおり、楕円の公式からは、
ｘ２／α２＋ｙ２／β２＝１ 式（１３）
が得られるので、
ｆ（ｘ，ｙ）＝β２・ｘ２＋α２・ｙ２−α２・β２ 式（１４）
なる判定式を定義すれば、比較点ｑは、
ｆ（ｘ，ｙ）＜０なら楕円内部の点
ｆ（ｘ，ｙ）＝０なら楕円上の点
ｆ（ｘ，ｙ）＞０なら楕円外部の点
ということになる。したがって、
β２・ｘ２＋α２・ｙ２−α２・β２＞０ 式（１５）
であれば、比較点ｑは、楕円外部の点ということになる。ここで、ＸＹローカル座標系を、基準軸Ｚを中心軸として回転しても、上式が成り立つことに変わりはないので、式（１５）は、三次元立体にも拡張することができる。すなわち、式（１５）の条件が満足されていれば、比較点ｑは、回転楕円体Ｅの外側領域の点ということになる。
【０１１５】
なお、式（１５）において、各変数の値は、図１９の下半分に示すように、次のようにして求めることができる。まず、α＝ｈ・Ｄ、β＝ｋ・Ｄであるから、
α２＝ｈ２・Ｄ２、 β２＝ｋ２・Ｄ２ 式（１６）
である。一方、式（１２）より、ｘ＝Ｄ−ｄ・cos θだから、両辺を２乗すると、
ｘ２＝Ｄ２＋ｄ２・cos２ θ−２Ｄｄ・cos θ
となり、これに式（９）および式（１０）を代入すれば、
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ 式（１７）
が得られる（但し、γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）。また、式（１２）より、ｙ＝ｄ・sin θだから、両辺を２乗すると、
ｙ２＝ｄ２・sin２ θ＝ｄ２・（１−cos２ θ）
となり、これに式（１０）を代入すれば、
ｙ２＝ｄ２−γ２／Ｄ２ 式（１８）
が得られる（但し、γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）。
【０１１６】
かくして、式（１６）〜式（１８）によって、α２，β２，ｘ２，ｙ２の各値を求めた後に、式（１５）の条件判定式を演算すれば、比較点ｑが、回転楕円体Ｅの内側領域の点か、外側領域の点かを判定することができる。
【０１１７】
図２０は、これまで述べてきた本発明に係る実用的な類否判定方法の手順を示す流れ図である。この類否判定方法によれば、三原色の各画素値（Ｒ，Ｇ，Ｂ）を有する第１のカラー画素と、三原色の各画素値（ｒ，ｇ，ｂ）を有する第２のカラー画素と、の類否判定を行うことができる。なお、実際には、この図２０に示す各手順は、コンピュータによって実行されることになる。
【０１１８】
まず、ステップＳ１１では、回転楕円体Ｅのサイズを決めるパラメータｈ，ｋを設定する。前述したとおり、パラメータｈは、回転楕円体Ｅの長軸半径αを決定する値（ｈ＜１）であり、長軸半径はα＝ｈ・Ｄなる式で定められる。また、パラメータｋは、回転楕円体Ｅの短軸半径βを決定する値（ｋ＜ｈ）であり、短軸半径はβ＝ｋ・Ｄなる式で定められる。これらパラメータｈ，ｋの値は、背景画像の特徴（たとえば、屋外か屋内か、街中か郊外か、といった種別）や、移動物体として侵入してくる前景画像の特徴（たとえば、車両か人間か、といった種別）を考慮して、できるだけ高い検出精度が得られるような値に適宜設定することになる。本願発明者が行った実験によれば、一般的な用途の場合、ｈ＝０．４５〜０．２０、ｋ＝０．１５〜０．０５程度の値に設定すれば、比較的高い検出精度が得られる。
【０１１９】
続く、ステップＳ１２では、基準点Ｑ（Ｒ，Ｇ，Ｂ）と比較点ｑ（ｒ，ｇ，ｂ）の座標値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）が取り込まれる。これらの座標値は、それぞれ２つのカラー画像の三原色の画素値として与えられた値である。これら座標値が取り込まれたら、準備段階は完了である。すなわち、コンピュータには、パラメータｈ（ｈ＜１）およびｋ（ｋ＜ｈ）、画素値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）の値が取り込まれた状態となり、これらの値を用いて、以下の演算処理を実行する準備が整ったことになる。
【０１２０】
以下、ステップＳ１３〜Ｓ１８に示す手順は、図１０に示すように、三原色の各画素値を各座標軸にとった三次元座標系において、画素値（Ｒ，Ｇ，Ｂ）に対応する座標をもつ基準点Ｑを中心とする所定サイズの回転楕円体Ｅと、画素値（ｒ，ｇ，ｂ）に対応する座標をもつ比較点ｑとについて、後者が前者の内部にあるか外部にあるかを調べる位置関係判定段階の手順である。
【０１２１】
具体的には、既に述べたとおり、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、この基準軸Ｚを中心に回転させることにより得られる回転楕円体Ｅを定義する。そして、比較点ｑがこの回転楕円体Ｅの内部にあるか外部にあるかを判定することになる。なお、実際には、前述したような近似を行うため、論理的には、回転楕円体Ｅの代わりに、その近似体について、内部にあるか外部にあるかの判定が行われることになる。この位置関係判定段階は、３つの条件判定段階によって構成される。
【０１２２】
まず、ステップＳ１３に示す第１の条件判定段階では、図１２に示すように、「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という条件を満足するか否かの判定が行われる。そのためには、図１３で説明したとおり、
（１−ｈ）２・Ｄ２＞ｄ２ 式（２）
もしくは
（１＋ｈ）２・Ｄ２＜ｄ２ 式（３）
という条件を満足するか否かを判定するための演算を行えばよい。ここで、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
であるから、結局、ステップＳ１３のブロック内に記載したように、
（１−ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）＞（ｒ２＋ｇ２＋ｂ２） 式（２′）
もしくは
（１＋ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）＜（ｒ２＋ｇ２＋ｂ２） 式（３′）
という条件を満足するか否かを判定する演算を行えばよい。
【０１２３】
このステップＳ１３に示す第１の条件判定段階において、肯定的な判定がなされた場合（式（２′）もしくは式（３′）の条件を満足する場合）は、ステップＳ１４からステップＳ１９へと進み、位置関係判定段階は終結する。一方、否定的判定がなされた場合には、ステップＳ１４からステップＳ１５へと進む。
【０１２４】
ステップＳ１５に示す第２の条件判定段階では、図１４に示すように、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの外側に比較点ｑが位置する」という第２の条件を満足するか否かの判定が行われる。ただ、前述したとおり、実用上は、円錐ξの代わりに円錐ξ′を用い、しかもｆ≒βと近似する式が用いられる。このような近似的な判定手法を採る場合は、第２の条件は「回転楕円体Ｅの近似体の外側に比較点ｑが位置する」という条件になる。
【０１２５】
この近似的な判定手法を採るのであれば、図１７に示すとおり、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２ 式（１１）
という条件を満足するか否かを判定するための演算を行えばよい。ここで、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）、
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
であるから、結局、ステップＳ１５のブロック内に記載したように、
（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）２／
（（Ｒ２＋Ｇ２＋Ｂ２）・（ｒ２＋ｇ２＋ｂ２））
＜（１−ｋ２／２）２ 式（１１′）
という条件を満足するか否かを判定する演算を行えばよい。
【０１２６】
このステップＳ１５に示す第２の条件判定段階において、肯定的な判定がなされた場合（式（１１′）の条件を満足する場合）は、ステップＳ１６からステップＳ１９へと進み、位置関係判定段階は終結する。一方、否定的判定がなされた場合には、ステップＳ１６からステップＳ１７へと進む。
【０１２７】
ステップＳ１７に示す第３の条件判定段階では、図１８に示すように、「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かの判定が行われる。そのためには、ステップＳ１７のブロック内に記載したように、
β２・ｘ２＋α２・ｙ２−α２・β２＞０ 式（１５）
という条件を満足するか否かを判定するための演算を行えばよい。ここで、各変数は、図１９で説明したとおり、
α２＝ｈ２・Ｄ２、 β２＝ｋ２・Ｄ２ 式（１６）
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ 式（１７）
ｙ２＝ｄ２−γ２／Ｄ２ 式（１８）
であり、また、既に述べたとおり、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
である。
【０１２８】
このステップＳ１７に示す第３の条件判定段階において、肯定的な判定がなされた場合（式（１５）の条件を満足する場合）は、ステップＳ１８からステップＳ１９へと進み、位置関係判定段階は終結する。一方、否定的判定がなされた場合には、ステップＳ１８からステップＳ２０へと進み、やはり位置関係判定段階は終結する。
【０１２９】
ここで注目すべき点は、以上の第１〜第３の条件判定段階で行われる条件判定式には、加減乗除演算のみしか含まれていない点である。すなわち、一般的な幾何学演算に含まれている開平演算や三角関数演算は一切含まれていない。したがって、演算装置の負担は比較的軽いものになり、安価なプロセッサを用いた場合でも、リアルタイム処理が可能になる。
【０１３０】
最後に、ステップＳ１９もしくはステップＳ２０に示す判定結果出力段階が行われる。すなわち、上述したとおり、第１の条件判定段階（ステップＳ１３）、第２の条件判定段階（ステップＳ１５）、第３の条件判定段階（ステップＳ１７）のいずれかにおいて肯定的判定がなされた場合には、ステップＳ１９へと進み、第１のカラー画素と第２のカラー画素とが非類似との判定結果が出力される。一方、第１の条件判定段階（ステップＳ１３）、前記第２の条件判定段階（ステップＳ１５）、前記第３の条件判定段階（ステップＳ１７）のすべてにおいて否定的判定がなされた場合には、ステップＳ２０へ進み、第１のカラー画素と第２のカラー画素とが類似するとの判定結果が出力される。
【０１３１】
要するに、この図２０の流れ図に示す手順によれば、回転楕円体Ｅもしくはその近似体の外部に比較点ｑがあると判断された場合には、第１のカラー画素と第２のカラー画素とが非類似との判定結果が出力され、回転楕円体Ｅもしくはその近似体の内部に比較点ｑがあると判断された場合には、第１のカラー画素と第２のカラー画素とが類似するとの判定結果が出力されることになる。ステップＳ１５の第２の条件判定段階は、ステップＳ１３の第１の条件判定段階において否定的判定がなされた場合にのみ実行され、同様に、ステップＳ１７の第３の条件判定段階は、ステップＳ１５の第２の条件判定段階において否定的判定がなされた場合にのみ実行されることになるので、無駄な演算を省くことが可能になり、演算負担の軽減を図ることができる。
【０１３２】
特に、パラメータｈ，ｋの値を固定値にした運用を行う場合、ステップＳ１３の演算式（２′），（３′）に用いる（１−ｈ）２および（１＋ｈ）２の値、ステップＳ１５の演算式（１１′）に用いる（１−ｋ２／２）２の値は、予め決められた定数として用意しておくことができるので、演算負担を更に軽減することができる。実際には、まず、（Ｒ２＋Ｇ２＋Ｂ２）の値および（ｒ２＋ｇ２＋ｂ２）の値を計算してしまえば、ステップＳ１３の演算式（２′），（３′）に係る演算は、上記定数を利用した極めて単純な演算になる。同様に、ステップＳ１５の演算式（１１′）に係る演算も、（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）の値を計算してしまえば、既に計算済みの（Ｒ２＋Ｇ２＋Ｂ２）の値および（ｒ２＋ｇ２＋ｂ２）の値と、上記定数を利用することにより、極めて単純な演算になる。
【０１３３】
＜＜＜ §４．本発明に係る移動物体検出装置の構成 ＞＞＞
ここでは、本発明に係る移動物体検出装置の構成を、図２１のブロック図を参照しながら説明する。この装置は、与えられた動画画像について移動物体を検出する機能をもっており、図示のとおり、画像入力部１１０、原画像格納部１２０、平均画像作成部１３０、平均画像格納部１４０、画像比較部２００、マスク画像格納部３１０、画像出力部３２０、パラメータ設定部３３０によって構成される。
【０１３４】
画像入力部１１０は、時系列で連続的に与えられるフレーム単位のカラー原画像Ｐを、三原色の各画素値を有する画素の集合体データとして入力する構成要素であり、原画像格納部１２０は、こうして入力された原画像を逐次格納する構成要素である。一方、平均画像作成部１３０は、過去に入力された複数の原画像Ｐに基づいて、これら原画像の平均的な特徴を有する平均画像Ａを逐次作成する構成要素であり、平均画像格納部１４０は、作成された平均画像Ａを逐次格納する構成要素である。
【０１３５】
これら各構成要素の具体的な処理機能については、既に§１で述べたとおりである。原画像格納部１２０や平均画像格納部１４０は、バッファメモリによって構成することができる。平均画像作成部１３０が、図３に示す方法で重みｗをパラメータとして平均画像を逐次作成し、これを平均画像格納部１４０に格納してゆくようにすれば、原画像格納部１２０には、常に処理に必要な最新の原画像のみが格納されるようにし、平均画像格納部１４０には、常に処理に必要な最新の平均画像Ａのみが格納されるようにすればよいので、バッファメモリの容量を節約することができる。
【０１３６】
画像比較部２００は、原画像格納部１２０に格納された原画像Ｐと、平均画像格納部１４０に格納された平均画像Ａとを比較し、前景領域Ｆと背景領域Ｂとを区別するマスク画像Ｍを作成する機能を果たす構成要素であり、図示のとおり、画素値読出部２１０、類否判定部２２０、画素値書込部２３０によって構成されている。
【０１３７】
画素値読出部２１０は、比較対象となる一対の画像（すなわち、原画像格納部１２０に格納されている原画像Ｐと、平均画像格納部１４０に格納されている平均画像Ａ）のうち、いずれか一方の画像の所定位置の画素の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として読み出し、他方の画像の対応位置の画素の画素値を比較画素値（ｒ，ｇ，ｂ）として読み出す処理を行う。
【０１３８】
既に述べたとおり、図８に示すモデルを採用する場合は、平均画像Ａの画素の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として読み出し、原画像Ｐの画素の画素値を比較画素値（ｒ，ｇ，ｂ）として読み出すことになる。これに対して、図９に示すモデルを採用する場合は、逆に、原画像Ｐの画素の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として読み出し、平均画像Ａの画素の画素値を比較画素値（ｒ，ｇ，ｂ）として読み出すことになる。既に§２で述べたとおり、実用上は、図９に示すモデルを採用するのが好ましい。
【０１３９】
類否判定部２２０は、比較画素値（ｒ，ｇ，ｂ）が、基準画素値（Ｒ，Ｇ，Ｂ）について設定された所定の類似範囲に入っているか否かを判定する処理を行う。具体的には、図１０に示すように、三原色の各画素値を各座標軸にとった三次元座標系において、基準画素値（Ｒ，Ｇ，Ｂ）に対応する座標に位置する基準点Ｑ（Ｒ，Ｇ，Ｂ）と比較画素値（ｒ，ｇ，ｂ）に対応する座標に位置する比較点ｑ（ｒ，ｇ，ｂ）をとり、基準点Ｑを中心とする所定サイズの回転楕円体Ｅと比較点ｑとの位置関係を調べ、比較点ｑが回転楕円体Ｅもしくはその近似体の外部に位置すると判定できる場合には類似範囲外との判定を行い、内部に位置すると判定できる場合には類似範囲内との判定を行う。このとき、回転楕円体Ｅのサイズは、パラメータｈ，ｋを参照して決定される。
【０１４０】
そして、画素値書込部２３０は、マスク画像Ｍを構成する所定位置（画素値読出部２１０の読出対象となった位置）の画素の画素値として、類否判定部２２０の判定結果に応じた値を定め、マスク画像格納部３１０に書き込む処理を行う。すなわち、類否判定部２２０が類似範囲内と判定した場合には背景領域Ｂを示す画素値（たとえば、「０」）を、類否判定部２２０が類似範囲外と判定した場合には前景領域Ｆを示す画素値（たとえば、「１」）を、それぞれマスク画像格納部３１０に書き込む処理を行う。
【０１４１】
マスク画像格納部３１０は、こうして作成されたマスク画像Ｍを格納する構成要素であり、画像出力部３２０は、このマスク画像Ｍを出力する構成要素である。
【０１４２】
一方、パラメータ設定部３３０は、平均画像作成部１３０による平均画像作成処理に利用されるパラメータｗ（図３に示す重みｗ）と、類否判定部２２０の類否判定処理に利用されるパラメータｈ，ｋ（図１０に示す長軸半径αおよび短軸半径βを決定するための値）とを、ユーザの操作入力によって任意の値に設定する機能を有する。ユーザは、必要に応じて、これらパラメータｗ，ｈ，ｋの値を調整することにより、より精度の高い検出結果を得ることができる。もっとも、これらのパラメータの一部もしくは全部は、固定値にしておくことも可能である。全部のパラメータ値を固定値にする実施例では、パラメータ設定部３３０を設ける必要はない。
【０１４３】
なお、実用上、この図２１に示す移動物体検出装置は、コンピュータに専用のプログラムを組み込むことにより構築することができ、図２１に各ブロックで示す構成要素は、コンピュータのハードウエアとソフトウエアとの組み合わせによって実現することができる。もちろん、この移動物体検出装置を半導体集積回路として構成することも可能である。
【０１４４】
図２２は、図２１に示す装置における類否判定部２２０の詳細構成を示すブロック図である。図示のとおり、この類否判定部２２０は、基本演算部２２１、第１の条件判定部２２２、第２の条件判定部２２３、第３の条件判定部２２４、判定値出力部２２５、パラメータ保持部２２６によって構成されている。
【０１４５】
パラメータ保持部２２６は、パラメータｈおよびｋの値を保持する構成要素であり、図２１に示すパラメータ設定部３３０を設けた場合には、このパラメータ設定部３３０によって設定されたパラメータｈおよびｋの値がパラメータ保持部２２６に書き込まれることになる。パラメータｈおよびｋの値を固定にする場合には、当該固定値がパラメータ保持部２２６に保持される。
【０１４６】
基本演算部２２１は、図２１に示す画素値読出部２１０が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
Ｄ２＝Ｒ２＋Ｇ２＋Ｂ２ および
ｄ２＝ｒ２＋ｇ２＋ｂ２
なる演算を行い、値Ｄ２および値ｄ２を算出する構成要素である。ここで算出された値Ｄ２および値ｄ２は、第１の条件判定部２２２、第２の条件判定部２２３、第３の条件判定部２２４における演算で利用される。
【０１４７】
第１の条件判定部２２２は、図１２に示すように、「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する構成要素である。そのために、基本演算部２２１が算出した値Ｄ２および値ｄ２とパラメータ保持部２２６に保持されているパラメータｈの値とを用いて、
（１−ｈ）２・Ｄ２＞ｄ２ 式（２）
もしくは
（１＋ｈ）２・Ｄ２＜ｄ２ 式（３）
という条件を満足するか否かを判定するための演算を行う。そして、「条件満足」との肯定的判定が行われた場合、当該判定結果は、判定値出力部２２５に報知される。一方、「条件満足せず」との否定的判定が行われた場合、当該判定結果は、第２の条件判定部２２３に報知される。
【０１４８】
第２の条件判定部２２３は、第１の条件判定部２２２から、「条件満足せず」との否定的判定結果が報知された場合に限り、条件判定処理を実行する構成要素である。ここで行われる処理の目的は、図１４に示すように、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定することにある。ただ、実用上は、演算負担を軽減するために、円錐ξの代わりに円錐ξ′を用いた判定を行うようにするのが好ましい。
【０１４９】
すなわち、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線を構成する円を交線円Ｓとしたときに、「原点Ｏを頂点、基準軸Ｚを中心軸とし、交線円Ｓを通る円錐ξ′の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定すればよい。このとき、演算負担を更に軽減するために、交線円Ｓ上の任意の点と基準点Ｑとの距離ｆが短軸半径βに等しいとおいた近似式を用いて近似的な判定を行うようにするのが好ましい。
【０１５０】
このような近似的な判定を行う場合、第２の条件判定部２２３は、図２１に示す画素値読出部２１０が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ
なる演算を行い、値γを算出し、更に、基本演算部２２１が算出した値Ｄ２および値ｄ２とパラメータ保持部２２６に保持されているパラメータｋの値と、算出した値γとを用いて、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２ 式（１１）
という条件を満足するか否かを判定するための演算を行えばよい。結局、この式（１１）の演算式で示される条件は、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの近似体の外側に比較点ｑが位置する」という条件になる。
【０１５１】
そして、この第２の条件判定部２２３において、「条件満足」との肯定的判定が行われた場合、当該判定結果は、判定値出力部２２５に報知される。一方、「条件満足せず」との否定的判定が行われた場合、当該判定結果は、γの値とともに、第３の条件判定部２２４に報知される。
【０１５２】
第３の条件判定部２２４は、第２の条件判定部２２３から、「条件満足せず」との否定的判定結果が報知された場合に限り、条件判定処理を実行する構成要素である。ここで行われる処理の目的は、図１８に示すように、「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定することにある。そのため、第３の条件判定部２２４は、基本演算部２２１が算出した値Ｄ２および値ｄ２と、パラメータ保持部２２６に保持されているパラメータｈおよびｋの値と、第２の条件判定部２２３が算出した値γとを用いて、
α２＝ｈ２・Ｄ２、 β２＝ｋ２・Ｄ２ 式（１６）
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ 式（１７）
ｙ２＝ｄ２−γ２／Ｄ２ 式（１８）
なる演算を行い、当該演算結果を用いて、
β２・ｘ２＋α２・ｙ２−α２・β２＞０ 式（１５）
という条件を満足するか否かを判定するための演算を行う。
【０１５３】
そして、この第３の条件判定部２２４における「条件満足」との肯定的判定結果もしくは「条件満足せず」との否定的判定結果は、判定値出力部２２５に報知される。
【０１５４】
判定値出力部２２５は、第１の条件判定部２２２、第２の条件判定部２２３、第３の条件判定部２２４のいずれかが「条件満足」との肯定的判定を行った場合に、類似範囲外との判定結果を示す判定値（たとえば「１」）を出力し、第１の条件判定部２２２、第２の条件判定部２２３、第３の条件判定部２２４のすべてが「条件満足せず」との否定的判定を行った場合に、類似範囲内との判定結果を示す判定値（たとえば「０」）を出力する。これらの判定値は、図２１に示すように、画素値書込部２３０によって、マスク画像格納部３１０内のマスク画像Ｍの画素値として書き込まれる。
【０１５５】
既に述べたとおり、上記条件判定式には、加減乗除演算のみしか含まれていないため、一般的な幾何学演算に必要とされる開平演算や三角関数演算を行う必要はない。したがって、演算装置の負担は比較的軽いものになり、類似判定部２２０を安価なプロセッサを用いて構成した場合でも、リアルタイム処理が可能になる。
【０１５６】
＜＜＜ §５．変形例 ＞＞＞
以上、本発明を基本的な実施形態に基づいて説明したが、最後に、本発明の変形例をいくつか述べておく。
【０１５７】
まず、これまで述べた条件判定式には、「不等号＞」や「不等号＜」を含む演算式が含まれているが、これらの演算式の一部もしくは全部について、「不等号＞」の代わりに「不等号≧」を用いた演算式、もしくは「不等号＜」の代わりに「不等号≦」を用いた演算式を用いてもかまわない。すなわち、各条件判定式は、比較点ｑが何らかの図形の内側領域にあるか外側領域にあるかを示すものであるが、当該図形の境界面上の点は、当該図形の内側領域に含ませても、外側領域に含ませてもかまわない。
【０１５８】
また、これまで述べた実施形態では、三原色を示す符号として、便宜上、（Ｒ，Ｇ，Ｂ）もしくは（ｒ，ｇ，ｂ）という符号を用いているが、これらの符号は、必ずしも（赤，緑，青）なる三原色を意味するものではない。一般的には、ビデオカメラで撮影した画像は、（赤，緑，青）なる三原色の各画素値をもった画素の集合からなるデータとして与えられるが、本発明は、（赤，緑，青）なる三原色を用いた表色系に限定されるものではなく、他の色からなる三原色を用いた別な表色系にも適用可能である。その場合、各演算式に用いられている（Ｒ，Ｇ，Ｂ）もしくは（ｒ，ｇ，ｂ）という符号は、当該別な表色系の三原色の画素値を示すことになる。
【符号の説明】
【０１５９】
１１０：画像入力部
１２０：原画像格納部
１３０：平均画像作成部
１４０：平均画像格納部
２００：画像比較部
２１０：画素値読出部
２２０：類否判定部
２２１：基本演算部
２２２：第１の条件判定部
２２３：第２の条件判定部
２２４：第３の条件判定部
２２５：判定値出力部
２２６：パラメータ保持部
２３０：画素値書込部
３１０：マスク画像格納部
３２０：画像出力部
３３０：パラメータ設定部
Ａ（１）〜Ａ（ｉ）：平均画像（背景画像）
Ａ，Ａ（Ｒａ，Ｇａ，Ｂａ）：平均画像の画素値を示す座標点
ａ：三角形の一辺
ａ（ｉ−１），ａ（ｉ）：平均画像を構成する１つの画素の画素値
Ｂ：背景領域／三原色の画素値（基準画素値）
ｂ：三原色の画素値（比較画素値）／三角形の一辺
Ｃ：円柱モデルの円柱
Ｃ１，Ｃ２：球
Ｃ３：球面
ｃ：三角形の一辺
Ｄ：原点Ｏと基準点Ｑとの距離
ｄ：原点Ｏと比較点ｑとの距離
Ｅ，Ｅａ，Ｅｐ：回転楕円体
Ｅ１：回転楕円体Ｅの最近接点
Ｅ２：回転楕円体Ｅの最遠隔点
Ｆ：前景領域
ｆ：交線円Ｓ上の任意の点と基準点Ｑとの距離
Ｇ：三原色の画素値（基準画素値）
ｇ：三原色の画素値（比較画素値）
ｈ：回転楕円体Ｅの長軸半径αを定めるパラメータ
ｋ：回転楕円体Ｅの短軸半径βを定めるパラメータ
Ｌ：円柱Ｃの長さ
Ｌａ１：回転楕円体Ｅａの長軸方向の長さ
Ｌａ２：回転楕円体Ｅａの短軸方向の長さ
Ｌｐ１：回転楕円体Ｅｐの長軸方向の長さ
Ｌｐ２：回転楕円体Ｅｐの短軸方向の長さ
Ｍ：マスク画像
Ｍ（１）〜Ｍ（ｉ），Ｍ（ｉ＋１），Ｍ１０〜Ｍ４０：マスク画像
ｍ（ｉ）：マスク画像を構成する１つの画素の画素値
Ｏ：三次元色空間を構成するＲＧＢ座標系の原点
Ｐ：原画像／原画像の画素値を示す座標点
Ｐ（１）〜Ｐ（ｉ），Ｐ（ｉ＋１），Ｐ１０〜Ｐ４０：原画像（入力画像）
Ｐ（Ｒｐ，Ｇｐ，Ｂｐ）：原画像の画素値を示す座標点
ｐ（ｉ）：原画像を構成する１つの画素の画素値
Ｑ：基準点（画素値（Ｒ，Ｇ，Ｂ）をもった座標点）
ｑ：比較点（画素値（ｒ，ｇ，ｂ）をもった座標点）
Ｒ：三原色の画素値（基準画素値）
ｒ：三原色の画素値（比較画素値）
Ｓ：交線円（球面Ｃ３と回転楕円体Ｅとの交線）
Ｓ１１〜Ｓ２０：流れ図の各ステップ
Ｔ：接線円（円錐ξと回転楕円体Ｅとの接線）
ｔ：基準点Ｑと比較点ｑとの距離
Ｖ：基準画素値を示すベクトル
Ｖａ：平均画像の画素値を示すベクトル
Ｖｐ：原画像の画素値を示すベクトル
ｗ：重みを示すパラメータ
Ｘ：座標軸
ｘ：楕円方程式の変数
Ｙ：座標軸
ｙ：楕円方程式の変数
Ｚ，Ｚａ，Ｚｐ：基準軸
α：回転楕円体Ｅの長軸半径
β：回転楕円体Ｅの短軸半径
γ：演算値
δ：座標点間の距離
θ：角度
ξ，ξ′：円錐
φ，φ′：円錐の半頂角
【特許請求の範囲】
【請求項１】
動画画像について移動物体を検出する移動物体検出装置であって、
時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する画像入力部と、
入力された原画像を逐次格納する原画像格納部と、
過去に入力された複数の原画像に基づいて、これら原画像の平均的な特徴を有する平均画像を逐次作成する平均画像作成部と、
作成された平均画像を逐次格納する平均画像格納部と、
前記原画像格納部に格納された原画像と、前記平均画像格納部に格納された平均画像とを比較し、前景領域と背景領域とを区別するマスク画像を作成する画像比較部と、
前記マスク画像を格納するマスク画像格納部と、
前記マスク画像を出力する画像出力部と、
を備え、
前記画像比較部は、
比較対象となる一方の画像の所定位置の画素の画素値を基準画素値として読み出し、比較対象となる他方の画像の前記所定位置の画素の画素値を比較画素値として読み出す画素値読出部と、
前記比較画素値が、前記基準画素値について設定された所定の類似範囲に入っているか否かを判定する類否判定部と、
前記マスク画像を構成する前記所定位置の画素の画素値として、前記類否判定部が類似範囲内と判定した場合には背景領域を示す画素値を、前記類否判定部が類似範囲外と判定した場合には前景領域を示す画素値を、それぞれ前記マスク画像格納部に書き込む画素値書込部と、
を有し、
前記類否判定部が、前記三原色の各画素値を各座標軸にとった三次元座標系において、前記基準画素値に対応する座標に位置する基準点Ｑと前記比較画素値に対応する座標に位置する比較点ｑをとり、前記基準点Ｑを中心とする所定サイズの回転楕円体Ｅと前記比較点ｑとの位置関係を調べ、前記比較点ｑが前記回転楕円体Ｅもしくはその近似体の外部に位置すると判定できる場合には類似範囲外との判定を行い、内部に位置すると判定できる場合には類似範囲内との判定を行うことを特徴とする移動物体検出装置。
【請求項２】
請求項１に記載の移動物体検出装置において、
平均画像作成部が、
第ｉ番目の原画像Ｐ（ｉ）が入力されたときに（ｉ＝１，２，...）、当該原画像Ｐ（ｉ）を含めた過去の原画像について、それぞれ対応する位置の画素の各色別の画素値の重みづけ平均値を算出し、当該平均値をもつ画素の集合体からなる第ｉ番目の平均画像Ａ（ｉ）を作成し、
画像比較部が、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）が入力されたときに、当該原画像Ｐ（ｉ＋１）と、第ｉ番目の平均画像Ａ（ｉ）とを比較し、第（ｉ＋１）番目のマスク画像Ｍ（ｉ＋１）を作成することを特徴とする移動物体検出装置。
【請求項３】
請求項２に記載の移動物体検出装置において、
平均画像作成部が、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部へ格納する処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
前記所定位置の画素の前記所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成することを特徴とする移動物体検出装置。
【請求項４】
請求項１〜３のいずれかに記載の移動物体検出装置において、
類否判定部が、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、前記基準軸Ｚを中心に回転させることにより回転楕円体Ｅを定義することを特徴とする移動物体検出装置。
【請求項５】
請求項４に記載の移動物体検出装置において、
類否判定部が、
「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する第１の条件判定部と、
前記第１の条件判定部が否定的判定を行った場合に「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξもしくはその近似体の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定する第２の条件判定部と、
前記第２の条件判定部が否定的判定を行った場合に「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定する第３の条件判定部と、
前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のいずれかが肯定的判定を行った場合に、類似範囲外との判定結果を示す判定値を出力し、前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のすべてが否定的判定を行った場合に、類似範囲内との判定結果を示す判定値を出力する判定値出力部と、
を有することを特徴とする移動物体検出装置。
【請求項６】
請求項５に記載の移動物体検出装置において、
原点Ｏと基準点Ｑとの距離をＤ、原点Ｏと比較点ｑとの距離をｄとしたときに、
第１の条件判定部が、
（１−ｈ）２・Ｄ２＞ｄ２ もしくは
（１＋ｈ）２・Ｄ２＜ｄ２
という条件を満足するか否かを判定するための演算を行うことを特徴とする移動物体検出装置。
【請求項７】
請求項５に記載の移動物体検出装置において、
第２の条件判定部が、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線を構成する円を交線円Ｓとしたときに、「原点Ｏを頂点、基準軸Ｚを中心軸とし、前記交線円Ｓを通る円錐ξ′の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定することを特徴とする移動物体検出装置。
【請求項８】
請求項７に記載の移動物体検出装置において、
第２の条件判定部が、交線円Ｓ上の任意の点と基準点Ｑとの距離ｆが短軸半径βに等しいとおいた近似式を用いて近似的な判定を行うことを特徴とする移動物体検出装置。
【請求項９】
請求項８に記載の移動物体検出装置において、
基準点Ｑの座標を示す基準画素値を（Ｒ，Ｇ，Ｂ）、比較点ｑの座標を示す比較画素値を（ｒ，ｇ，ｂ）、原点Ｏと基準点Ｑとの距離をＤ、原点Ｏと比較点ｑとの距離をｄとしたときに、
第２の条件判定部が、
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
として、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２
という条件を満足するか否かを判定するための演算を行うことを特徴とする移動物体検出装置。
【請求項１０】
請求項５に記載の移動物体検出装置において、
基準点Ｑの座標を示す基準画素値を（Ｒ，Ｇ，Ｂ）、比較点ｑの座標を示す比較画素値を（ｒ，ｇ，ｂ）、原点Ｏと基準点Ｑとの距離をＤ、原点Ｏと比較点ｑとの距離をｄとしたときに、
第３の条件判定部が、
α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
として、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
という条件を満足するか否かを判定するための演算を行うことを特徴とする移動物体検出装置。
【請求項１１】
請求項４に記載の移動物体検出装置において、
類否判定部が、
パラメータｈおよびｋの値を保持するパラメータ保持部と、
画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
Ｄ２＝Ｒ２＋Ｇ２＋Ｂ２ および
ｄ２＝ｒ２＋ｇ２＋ｂ２
なる演算を行い、値Ｄ２および値ｄ２を算出する基本演算部と、
前記基本演算部が算出した値Ｄ２および値ｄ２と前記パラメータ保持部に保持されているパラメータｈの値とを用いて、
（１−ｈ）２・Ｄ２＞ｄ２ もしくは
（１＋ｈ）２・Ｄ２＜ｄ２
という条件を満足するか否かを判定するための演算を行う第１の条件判定部と、
前記第１の条件判定部が否定的判定を行った場合に、画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ
なる演算を行い、値γを算出し、前記基本演算部が算出した値Ｄ２および値ｄ２と前記パラメータ保持部に保持されているパラメータｋの値と前記値γとを用いて、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２
という条件を満足するか否かを判定するための演算を行う第２の条件判定部と、
前記第２の条件判定部が否定的判定を行った場合に、前記基本演算部が算出した値Ｄ２および値ｄ２と前記パラメータ保持部に保持されているパラメータｈおよびｋの値と前記第２の条件判定部が算出した前記値γとを用いて、
α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
なる演算を行い、当該演算結果を用いて、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
という条件を満足するか否かを判定するための演算を行う第３の条件判定部と、
前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のいずれかが肯定的判定を行った場合に、類似範囲外との判定結果を示す判定値を出力し、前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のすべてが否定的判定を行った場合に、類似範囲内との判定結果を示す判定値を出力する判定値出力部と、
を有することを特徴とする移動物体検出装置。
【請求項１２】
請求項６、９〜１１のいずれかに記載の移動物体検出装置において、
不等号を含む演算式の一部もしくは全部について、「不等号＞」の代わりに「不等号≧」を用いた演算式、もしくは「不等号＜」の代わりに「不等号≦」を用いた演算式を用いることを特徴とする移動物体検出装置。
【請求項１３】
請求項３〜１２のいずれかに記載の移動物体検出装置において、
パラメータ「ｗ」もしくは「ｈおよびｋ」またはこれら全てを、ユーザの操作入力によって任意の値に設定するパラメータ設定部を更に備えることを特徴とする移動物体検出装置。
【請求項１４】
請求項３〜１３のいずれかに記載の移動物体検出装置において、
画素値読出部が、原画像の画素の画素値を基準画素値として読み出し、平均画像の画素の画素値を比較画素値として読み出すことを特徴とする移動物体検出装置。
【請求項１５】
請求項１〜１４のいずれかに記載の移動物体検出装置としてコンピュータを動作させるプログラム。
【請求項１６】
請求項１〜１４のいずれかに記載の移動物体検出装置として機能する半導体集積回路。
【請求項１７】
三原色の各画素値（Ｒ，Ｇ，Ｂ）を有する第１のカラー画素と、三原色の各画素値（ｒ，ｇ，ｂ）を有する第２のカラー画素と、の類否判定を行う方法であって、
コンピュータが、画素値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）の値を取り込む準備段階と、
コンピュータが、三原色の各画素値を各座標軸にとった三次元座標系において、前記画素値（Ｒ，Ｇ，Ｂ）に対応する座標をもつ基準点Ｑを中心とする所定サイズの回転楕円体Ｅもしくはその近似体と、前記画素値（ｒ，ｇ，ｂ）に対応する座標をもつ比較点ｑとについて、後者が前者の内部にあるか外部にあるかを調べる位置関係判定段階と、
コンピュータが、前記回転楕円体Ｅもしくはその近似体の外部に前記比較点ｑがあると判断した場合には、前記第１のカラー画素と前記第２のカラー画素とが非類似との判定結果を出力し、前記回転楕円体Ｅもしくはその近似体の内部に前記比較点ｑがあると判断した場合には、前記第１のカラー画素と前記第２のカラー画素とが類似するとの判定結果を出力する判定結果出力段階と、
を有することを特徴とする画素の類否判定方法。
【請求項１８】
請求項１７に記載の画素の類否判定方法において、
位置関係判定段階では、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、前記基準軸Ｚを中心に回転させることにより得られる回転楕円体Ｅを定義することを特徴とする画素の類否判定方法。
【請求項１９】
請求項１８に記載の画素の類否判定方法において、
位置関係判定段階が、
「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する第１の条件判定段階と、
前記第１の条件判定段階において否定的判定がなされた場合に、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξもしくはその近似体の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定する第２の条件判定段階と、
前記第２の条件判定段階において否定的判定がなされた場合に、「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定する第３の条件判定段階と、
を有し、
判定結果出力段階では、前記第１の条件判定段階、前記第２の条件判定段階、前記第３の条件判定段階のいずれかにおいて肯定的判定がなされた場合には、前記第１のカラー画素と前記第２のカラー画素とが非類似との判定結果を出力し、前記第１の条件判定段階、前記第２の条件判定段階、前記第３の条件判定段階のすべてにおいて否定的判定がなされた場合には、前記第１のカラー画素と前記第２のカラー画素とが類似するとの判定結果を出力することを特徴とする画素の類否判定方法。
【請求項２０】
請求項１９に記載の画素の類否判定方法において、
第１の条件判定段階で、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
としたときに、
（１−ｈ）２・Ｄ２＞ｄ２ もしくは
（１＋ｈ）２・Ｄ２＜ｄ２
という条件を満足するか否かを判定するための演算を行うことを特徴とする画素の類否判定方法。
【請求項２１】
請求項１９に記載の画素の類否判定方法において、
第２の条件判定段階で、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）、
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
としたときに、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２
という条件を満足するか否かを判定するための演算を行うことを特徴とする画素の類否判定方法。
【請求項２２】
請求項１９に記載の画素の類否判定方法において、
第３の条件判定段階で、
α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
としたときに、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
という条件を満足するか否かを判定するための演算を行うことを特徴とする画素の類否判定方法。
【請求項２３】
三原色の各画素値（Ｒ，Ｇ，Ｂ）を有する第１のカラー画素と、三原色の各画素値（ｒ，ｇ，ｂ）を有する第２のカラー画素と、の類否判定を行う方法であって、
コンピュータが、パラメータｈ（ｈ＜１）およびｋ（ｋ＜ｈ）、画素値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）の値を取り込む準備段階と、
コンピュータが、
（１−ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）＞（ｒ２＋ｇ２＋ｂ２） もしくは
（１＋ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）＜（ｒ２＋ｇ２＋ｂ２）
という条件を満足するか否かを判定する第１の条件判定段階と、
前記第１の条件判定段階において否定的判定がなされた場合に、コンピュータが、
（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）２／
（（Ｒ２＋Ｇ２＋Ｂ２）・（ｒ２＋ｇ２＋ｂ２））
＜（１−ｋ２／２）２
という条件を満足するか否かを判定する第２の条件判定段階と、
前記第２の条件判定段階において否定的判定がなされた場合に、コンピュータが、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
但し、α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
という条件を満足するか否かを判定する第３の条件判定段階と、
コンピュータが、前記第１の条件判定段階、前記第２の条件判定段階、前記第３の条件判定段階のいずれかにおいて肯定的判定がなされた場合には、前記第１のカラー画素と前記第２のカラー画素とが非類似との判定結果を出力し、前記第１の条件判定段階、前記第２の条件判定段階、前記第３の条件判定段階のすべてにおいて否定的判定がなされた場合には、前記第１のカラー画素と前記第２のカラー画素とが類似するとの判定結果を出力する判定結果出力段階と、
を有することを特徴とする画素の類否判定方法。
【請求項２４】
請求項２０〜２３のいずれかに記載の画素の類否判定方法において、
不等号を含む演算式の一部もしくは全部について、「不等号＞」の代わりに「不等号≧」を用いた演算式、もしくは「不等号＜」の代わりに「不等号≦」を用いた演算式を用いることを特徴とする画素の類否判定方法。
【請求項１】
動画画像について移動物体を検出する移動物体検出装置であって、
時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する画像入力部と、
入力された原画像を逐次格納する原画像格納部と、
過去に入力された複数の原画像に基づいて、これら原画像の平均的な特徴を有する平均画像を逐次作成する平均画像作成部と、
作成された平均画像を逐次格納する平均画像格納部と、
前記原画像格納部に格納された原画像と、前記平均画像格納部に格納された平均画像とを比較し、前景領域と背景領域とを区別するマスク画像を作成する画像比較部と、
前記マスク画像を格納するマスク画像格納部と、
前記マスク画像を出力する画像出力部と、
を備え、
前記画像比較部は、
比較対象となる一方の画像の所定位置の画素の画素値を基準画素値として読み出し、比較対象となる他方の画像の前記所定位置の画素の画素値を比較画素値として読み出す画素値読出部と、
前記比較画素値が、前記基準画素値について設定された所定の類似範囲に入っているか否かを判定する類否判定部と、
前記マスク画像を構成する前記所定位置の画素の画素値として、前記類否判定部が類似範囲内と判定した場合には背景領域を示す画素値を、前記類否判定部が類似範囲外と判定した場合には前景領域を示す画素値を、それぞれ前記マスク画像格納部に書き込む画素値書込部と、
を有し、
前記類否判定部が、前記三原色の各画素値を各座標軸にとった三次元座標系において、前記基準画素値に対応する座標に位置する基準点Ｑと前記比較画素値に対応する座標に位置する比較点ｑをとり、前記基準点Ｑを中心とする所定サイズの回転楕円体Ｅと前記比較点ｑとの位置関係を調べ、前記比較点ｑが前記回転楕円体Ｅもしくはその近似体の外部に位置すると判定できる場合には類似範囲外との判定を行い、内部に位置すると判定できる場合には類似範囲内との判定を行うことを特徴とする移動物体検出装置。
【請求項２】
請求項１に記載の移動物体検出装置において、
平均画像作成部が、
第ｉ番目の原画像Ｐ（ｉ）が入力されたときに（ｉ＝１，２，...）、当該原画像Ｐ（ｉ）を含めた過去の原画像について、それぞれ対応する位置の画素の各色別の画素値の重みづけ平均値を算出し、当該平均値をもつ画素の集合体からなる第ｉ番目の平均画像Ａ（ｉ）を作成し、
画像比較部が、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）が入力されたときに、当該原画像Ｐ（ｉ＋１）と、第ｉ番目の平均画像Ａ（ｉ）とを比較し、第（ｉ＋１）番目のマスク画像Ｍ（ｉ＋１）を作成することを特徴とする移動物体検出装置。
【請求項３】
請求項２に記載の移動物体検出装置において、
平均画像作成部が、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部へ格納する処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
前記所定位置の画素の前記所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成することを特徴とする移動物体検出装置。
【請求項４】
請求項１〜３のいずれかに記載の移動物体検出装置において、
類否判定部が、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、前記基準軸Ｚを中心に回転させることにより回転楕円体Ｅを定義することを特徴とする移動物体検出装置。
【請求項５】
請求項４に記載の移動物体検出装置において、
類否判定部が、
「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する第１の条件判定部と、
前記第１の条件判定部が否定的判定を行った場合に「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξもしくはその近似体の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定する第２の条件判定部と、
前記第２の条件判定部が否定的判定を行った場合に「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定する第３の条件判定部と、
前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のいずれかが肯定的判定を行った場合に、類似範囲外との判定結果を示す判定値を出力し、前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のすべてが否定的判定を行った場合に、類似範囲内との判定結果を示す判定値を出力する判定値出力部と、
を有することを特徴とする移動物体検出装置。
【請求項６】
請求項５に記載の移動物体検出装置において、
原点Ｏと基準点Ｑとの距離をＤ、原点Ｏと比較点ｑとの距離をｄとしたときに、
第１の条件判定部が、
（１−ｈ）２・Ｄ２＞ｄ２ もしくは
（１＋ｈ）２・Ｄ２＜ｄ２
という条件を満足するか否かを判定するための演算を行うことを特徴とする移動物体検出装置。
【請求項７】
請求項５に記載の移動物体検出装置において、
第２の条件判定部が、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線を構成する円を交線円Ｓとしたときに、「原点Ｏを頂点、基準軸Ｚを中心軸とし、前記交線円Ｓを通る円錐ξ′の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定することを特徴とする移動物体検出装置。
【請求項８】
請求項７に記載の移動物体検出装置において、
第２の条件判定部が、交線円Ｓ上の任意の点と基準点Ｑとの距離ｆが短軸半径βに等しいとおいた近似式を用いて近似的な判定を行うことを特徴とする移動物体検出装置。
【請求項９】
請求項８に記載の移動物体検出装置において、
基準点Ｑの座標を示す基準画素値を（Ｒ，Ｇ，Ｂ）、比較点ｑの座標を示す比較画素値を（ｒ，ｇ，ｂ）、原点Ｏと基準点Ｑとの距離をＤ、原点Ｏと比較点ｑとの距離をｄとしたときに、
第２の条件判定部が、
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
として、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２
という条件を満足するか否かを判定するための演算を行うことを特徴とする移動物体検出装置。
【請求項１０】
請求項５に記載の移動物体検出装置において、
基準点Ｑの座標を示す基準画素値を（Ｒ，Ｇ，Ｂ）、比較点ｑの座標を示す比較画素値を（ｒ，ｇ，ｂ）、原点Ｏと基準点Ｑとの距離をＤ、原点Ｏと比較点ｑとの距離をｄとしたときに、
第３の条件判定部が、
α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
として、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
という条件を満足するか否かを判定するための演算を行うことを特徴とする移動物体検出装置。
【請求項１１】
請求項４に記載の移動物体検出装置において、
類否判定部が、
パラメータｈおよびｋの値を保持するパラメータ保持部と、
画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
Ｄ２＝Ｒ２＋Ｇ２＋Ｂ２ および
ｄ２＝ｒ２＋ｇ２＋ｂ２
なる演算を行い、値Ｄ２および値ｄ２を算出する基本演算部と、
前記基本演算部が算出した値Ｄ２および値ｄ２と前記パラメータ保持部に保持されているパラメータｈの値とを用いて、
（１−ｈ）２・Ｄ２＞ｄ２ もしくは
（１＋ｈ）２・Ｄ２＜ｄ２
という条件を満足するか否かを判定するための演算を行う第１の条件判定部と、
前記第１の条件判定部が否定的判定を行った場合に、画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ
なる演算を行い、値γを算出し、前記基本演算部が算出した値Ｄ２および値ｄ２と前記パラメータ保持部に保持されているパラメータｋの値と前記値γとを用いて、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２
という条件を満足するか否かを判定するための演算を行う第２の条件判定部と、
前記第２の条件判定部が否定的判定を行った場合に、前記基本演算部が算出した値Ｄ２および値ｄ２と前記パラメータ保持部に保持されているパラメータｈおよびｋの値と前記第２の条件判定部が算出した前記値γとを用いて、
α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
なる演算を行い、当該演算結果を用いて、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
という条件を満足するか否かを判定するための演算を行う第３の条件判定部と、
前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のいずれかが肯定的判定を行った場合に、類似範囲外との判定結果を示す判定値を出力し、前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のすべてが否定的判定を行った場合に、類似範囲内との判定結果を示す判定値を出力する判定値出力部と、
を有することを特徴とする移動物体検出装置。
【請求項１２】
請求項６、９〜１１のいずれかに記載の移動物体検出装置において、
不等号を含む演算式の一部もしくは全部について、「不等号＞」の代わりに「不等号≧」を用いた演算式、もしくは「不等号＜」の代わりに「不等号≦」を用いた演算式を用いることを特徴とする移動物体検出装置。
【請求項１３】
請求項３〜１２のいずれかに記載の移動物体検出装置において、
パラメータ「ｗ」もしくは「ｈおよびｋ」またはこれら全てを、ユーザの操作入力によって任意の値に設定するパラメータ設定部を更に備えることを特徴とする移動物体検出装置。
【請求項１４】
請求項３〜１３のいずれかに記載の移動物体検出装置において、
画素値読出部が、原画像の画素の画素値を基準画素値として読み出し、平均画像の画素の画素値を比較画素値として読み出すことを特徴とする移動物体検出装置。
【請求項１５】
請求項１〜１４のいずれかに記載の移動物体検出装置としてコンピュータを動作させるプログラム。
【請求項１６】
請求項１〜１４のいずれかに記載の移動物体検出装置として機能する半導体集積回路。
【請求項１７】
三原色の各画素値（Ｒ，Ｇ，Ｂ）を有する第１のカラー画素と、三原色の各画素値（ｒ，ｇ，ｂ）を有する第２のカラー画素と、の類否判定を行う方法であって、
コンピュータが、画素値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）の値を取り込む準備段階と、
コンピュータが、三原色の各画素値を各座標軸にとった三次元座標系において、前記画素値（Ｒ，Ｇ，Ｂ）に対応する座標をもつ基準点Ｑを中心とする所定サイズの回転楕円体Ｅもしくはその近似体と、前記画素値（ｒ，ｇ，ｂ）に対応する座標をもつ比較点ｑとについて、後者が前者の内部にあるか外部にあるかを調べる位置関係判定段階と、
コンピュータが、前記回転楕円体Ｅもしくはその近似体の外部に前記比較点ｑがあると判断した場合には、前記第１のカラー画素と前記第２のカラー画素とが非類似との判定結果を出力し、前記回転楕円体Ｅもしくはその近似体の内部に前記比較点ｑがあると判断した場合には、前記第１のカラー画素と前記第２のカラー画素とが類似するとの判定結果を出力する判定結果出力段階と、
を有することを特徴とする画素の類否判定方法。
【請求項１８】
請求項１７に記載の画素の類否判定方法において、
位置関係判定段階では、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、前記基準軸Ｚを中心に回転させることにより得られる回転楕円体Ｅを定義することを特徴とする画素の類否判定方法。
【請求項１９】
請求項１８に記載の画素の類否判定方法において、
位置関係判定段階が、
「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する第１の条件判定段階と、
前記第１の条件判定段階において否定的判定がなされた場合に、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξもしくはその近似体の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定する第２の条件判定段階と、
前記第２の条件判定段階において否定的判定がなされた場合に、「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定する第３の条件判定段階と、
を有し、
判定結果出力段階では、前記第１の条件判定段階、前記第２の条件判定段階、前記第３の条件判定段階のいずれかにおいて肯定的判定がなされた場合には、前記第１のカラー画素と前記第２のカラー画素とが非類似との判定結果を出力し、前記第１の条件判定段階、前記第２の条件判定段階、前記第３の条件判定段階のすべてにおいて否定的判定がなされた場合には、前記第１のカラー画素と前記第２のカラー画素とが類似するとの判定結果を出力することを特徴とする画素の類否判定方法。
【請求項２０】
請求項１９に記載の画素の類否判定方法において、
第１の条件判定段階で、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
としたときに、
（１−ｈ）２・Ｄ２＞ｄ２ もしくは
（１＋ｈ）２・Ｄ２＜ｄ２
という条件を満足するか否かを判定するための演算を行うことを特徴とする画素の類否判定方法。
【請求項２１】
請求項１９に記載の画素の類否判定方法において、
第２の条件判定段階で、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）、
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
としたときに、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２
という条件を満足するか否かを判定するための演算を行うことを特徴とする画素の類否判定方法。
【請求項２２】
請求項１９に記載の画素の類否判定方法において、
第３の条件判定段階で、
α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
としたときに、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
という条件を満足するか否かを判定するための演算を行うことを特徴とする画素の類否判定方法。
【請求項２３】
三原色の各画素値（Ｒ，Ｇ，Ｂ）を有する第１のカラー画素と、三原色の各画素値（ｒ，ｇ，ｂ）を有する第２のカラー画素と、の類否判定を行う方法であって、
コンピュータが、パラメータｈ（ｈ＜１）およびｋ（ｋ＜ｈ）、画素値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）の値を取り込む準備段階と、
コンピュータが、
（１−ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）＞（ｒ２＋ｇ２＋ｂ２） もしくは
（１＋ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）＜（ｒ２＋ｇ２＋ｂ２）
という条件を満足するか否かを判定する第１の条件判定段階と、
前記第１の条件判定段階において否定的判定がなされた場合に、コンピュータが、
（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）２／
（（Ｒ２＋Ｇ２＋Ｂ２）・（ｒ２＋ｇ２＋ｂ２））
＜（１−ｋ２／２）２
という条件を満足するか否かを判定する第２の条件判定段階と、
前記第２の条件判定段階において否定的判定がなされた場合に、コンピュータが、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
但し、α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
という条件を満足するか否かを判定する第３の条件判定段階と、
コンピュータが、前記第１の条件判定段階、前記第２の条件判定段階、前記第３の条件判定段階のいずれかにおいて肯定的判定がなされた場合には、前記第１のカラー画素と前記第２のカラー画素とが非類似との判定結果を出力し、前記第１の条件判定段階、前記第２の条件判定段階、前記第３の条件判定段階のすべてにおいて否定的判定がなされた場合には、前記第１のカラー画素と前記第２のカラー画素とが類似するとの判定結果を出力する判定結果出力段階と、
を有することを特徴とする画素の類否判定方法。
【請求項２４】
請求項２０〜２３のいずれかに記載の画素の類否判定方法において、
不等号を含む演算式の一部もしくは全部について、「不等号＞」の代わりに「不等号≧」を用いた演算式、もしくは「不等号＜」の代わりに「不等号≦」を用いた演算式を用いることを特徴とする画素の類否判定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−７６３１１（Ｐ２０１１−７６３１１Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２２６１４６（Ｐ２００９−２２６１４６）
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]