画像処理装置
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、背景画像と、静止物体またはある速度までの移動物体と背景が含まれる画像を組み合わせ、差分処理を行うことにより静止物体または移動物体を同定したり、移動物体の動きを解析できるようにした画像処理装置に関する。
【０００２】
【０００３】画像中の移動物体を抽出し、解析し、何らかの情報を得る技術は様々な産業分野において必要不可欠である。例えば人間や動物等生物の動きを解析し、それから得た知識を基にして商品の設計等に応用するようなことは、より安全で合理的な商品開発に必要である。
【０００４】また画像を用いた監視処理は種々の場所において利用されており、事故や災害等の発見に寄与している。しかも近年では単に異常や有事を検知するのみにとどまらず、事故や災害を未然に防ぐという防災の目的が強くなってきている。
【０００５】そのためには事故や災害をもたらす異常な動きを示す対象物をいち早く検出する必要がある。そこで移動物体の動きを捕らえ解析したり、移動物体間の距離を精度よく算出したりして、その値からいち早く事故や災害をもたらす異常な動きをする移動物体を検出する効率的な手法が必要である。
【０００６】
【従来の技術】ところで、画像処理を応用した移動物体の解析として、本特許出願人の出願にかかる例えば特願平３−３２０５９４号、特願平３−３２０５９７号等が先行技術としてあるが、これらでは始めに移動物体があるかも知れない領域抽出を行い、それらの領域のサイズや中心位置等の特徴から対象物を区別し、この対象物の時間的な変化からその動きを捕らえている。
【０００７】例えば人間の運動解析を行う場合、始めに解析したい部分を抽出する。この抽出した対象に対して投影値や領域の中心値等の特徴量を算出し、この特徴量を基にして物体を区別する。次にこのような上記の特徴量の算出処理を時間的な流れのある画像つまり連続画像に対して処理を行い、特徴量から画像間での物体の対応付けを行い、動きを解析している。
【０００８】
【発明が解決しようとする課題】このような上記の手法では、時系列画像それぞれに対して、物体全ての領域抽出・同定処理を行い、且つ画像間での物体の対応付けを求めなければ、移動物体の属性の抽出、例えば速度を求めることができない。
【０００９】移動物体がただ１つのみであれば画像間の対応付けは単純であり、比較的簡単にこの時間軸の変化を含めた、例えば速度の如き属性を求めることができる。しかし移動物体が数多く存在する場合においては画像間の対応付けは難しく、しかも物体が静止していたり、別々の速度で移動している場合は、それら全てについてビデオレート処理を行うのは困難である。
【００１０】従って本発明の目的は、移動物体が数多く存在する場合でも、静止していたり異なる速度で移動している場合でもビデオレートでこれらの動きが解析できる画像処理装置及び画像処理方法を提供することである。
【００１１】
【課題を解決するための手段】前記目的を達成するため、本発明では、図１に示す如く、ビデオカメラの如き画像入力部１と、背景画像抽出部２と、第１平均背景抽出部３と、第２平均背景抽出部４と、第１差分演算処理部５と、第２差分演算処理部６と、第３差分演算処理部７を設ける。
【００１２】背景画像抽出部２は静止物体及び移動物体を除き背景のみを抽出し、保持するものであり、例えば静止物体も移動物体も抽出されない時に入力画像を保持蓄積するものである。この背景は予めシステムに組み込んでおくこともできる。第１平均背景抽出部３は、停止物体と低速移動物体及び背景を抽出するもの、第２平均背景抽出部４は、停止物体と低速移動物体と中速移動物体及び背景を抽出するものである。
【００１３】また第１差分演算処理部５は背景画像抽出部２の保持している背景と、第１平均背景抽出部３の出力との差分を取るものである。第２差分演算処理部６は第１平均背景抽出部３の出力と第２平均背景抽出部４の出力との差分を取るものである。第３差分演算処理部７は第２平均背景抽出部４の出力と画像入力部１の出力との差分を取るものである。
【００１４】
【作用】いま、図１のａで示すように、道路の左車線に停止車両が存在しかつ低速車両が走行し、黒印で示す障害物が存在しており、また右車線に２台の中速車両が走行している場合について、本発明の動作を説明する。
【００１５】画像入力部１から画像ａが入力されると、第１平均背景抽出部３からｃで示す画像が出力され、第２平均背景抽出部４からｄで示す画像が出力される。また背景画像抽出部２ではｂで示す背景画像が保持、出力されている。
【００１６】したがって、第１差分演算処理部５からは背景画像ｂと画像ｃとの差分である画像ｅが出力され、第２差分演算処理部６からは画像ｃと画像ｄとの差分である画像ｆが出力される。そして第３差分演算処理部７からは画像ｄと画像ａの差分である画像ｇが出力される。
【００１７】これにより、第１差分演算処理部５からは左車線に存在する２台の停止車両又は低速車両と障害物が画像ｅとして出力され、第２差分演算処理部６からは右車線に存在する２台の中速車両が画像ｆとして出力される。しかし画像ａには中速より速く走行する車両が存在しないので、第３差分演算処理部６の出力する画像ｇには何も出力されないものとなる。
【００１８】このようにして異なる速度で移動する複数の移動物体の動きをビデオレートで処理することができる。
【００１９】
【実施例】Ａ．第１実施例本発明の一実施例を図２〜図１０にもとづき説明する。図２は本発明の一実施例構成図、図３は本発明における原画像説明図、図４は本発明における局所領域説明図、図５は本発明における速度画像抽出説明図、図６は本発明における局所領域内特徴量抽出部の説明図、図７は停止物体と低速移動物体の存在する場合の説明図、図８は中速移動物体説明図、図９は高速移動物体説明図、図１０R>０は大型移動物体説明図である。
【００２０】図中他図と同記号は同一部を示し、１は画像入力部、２は背景画像抽出部、３は第１平均背景抽出部、４′は第ｎ平均背景抽出部、５は第１差分演算処理部、６は第２差分演算処理部、７′は第ｎ＋１差分演算処理部、８は第１局所領域内特徴量抽出部、９は第２局所領域内特徴量抽出部、１０は第ｎ＋１局所領域内特徴量抽出部、２０は軌跡算出部である。
【００２１】画像入力部１は監視すべき領域の画像をビデオレートで入力するものであり、例えばビデオカメラである。背景画像抽出部２は監視すべき領域の背景画像を入力し、保持するものであり、後述するように移動物体と静止物体のいずれも抽出されないときに随時入力して、後述する図５（Ａ）で示す背景画像メモリ２−１に蓄積したり、予めシステムに保持しておくこともできる。
【００２２】第１平均背景抽出部３は停止物体と低速移動物体及び背景を抽出するものであり、また第ｎ平均背景抽出部４′は停止物体と低速〜高速の移動物体及び背景を抽出するものである。これらの第１平均背景抽出部３〜第ｎ平均背景抽出部４′により移動物体の速度別画像を作成することができる。
【００２３】勿論第１平均背景抽出部３と第ｎ平均背景抽出部４′との間に、停止物体と低速〜中速の移動物体及び背景を抽出する他の平均背景抽出部（例えば図１における第２平均背景抽出部４）を設けれることもできる。
【００２４】第１差分演算処理部５は背景画像抽出部２の出力と第１平均背景抽出部３の出力との差分を取るものであり、第２差分演算処理部６は第１平均背景抽出部３の出力と第ｎ平均背景抽出部４′の出力との差分を取るものである。そして第ｎ＋１差分演算処理部７′は第ｎ平均背景抽出部４′の出力と画像入力部１の出力との差分を取るものである。
【００２５】これら差分演算処理部により、目的の速度で移動している物体のみを抽出することができる。勿論図１に示す如く、ｎ＝２の状態で構成することもできる。差分演算処理部の種類は前段の平均画像抽出部に依存しており、その種類つまりどの平均画像抽出部間の出力差を求めるのかということは定まったものではない。しかし最大数は、平均背景画像抽出部の数と背景画像抽出部と原画像すなわち画像入力部の出力画像の和をＸ（図１の場合は４）とすると、Ｘ＊（Ｘ−１）／２（＊は乗算を示す）だけの種類の差分演算処理部を設定することができる。
【００２６】第１局所領域内特徴量抽出部８は、第１差分演算処理部５の出力を受けて、後述するように、その定められた領域内の特徴量の有無や物体の形状特徴等を求める。ここで求めた特徴量の有無とは位置変化を表し、形状特徴は例えばバス乗用車等の対象物体の属性を表すものである。
【００２７】第２局所領域内特徴量抽出部９は、第２差分演算処理部６の出力を受けてその定められた領域内の特徴の有無や物体の形状特徴等を求めるものである。第ｎ＋１局所領域内特徴量抽出部１０は、同様に第ｎ＋１差分演算処理部７′の出力を受けてその定められた領域内の特徴の有無や物体の形状特徴等を求めるものである。
【００２８】軌跡算出部２０はこれら第１局所領域内特徴抽出部９〜第ｎ＋１局所領域内特徴部１０の出力にもとづき、特徴量の有無の時系列変化から物体の軌跡を算出したり、さらに形状特徴から同一物体の軌跡を求める等の処理を行うものであり、物体の形状特徴解析を行う特徴解析部２０−１、作表を行う作表部２０−２、表の解析を行う表解析部２０−３等を具備している。
【００２９】本発明を道路監視用、例えばトンネル内の監視用に使用した場合について以下に説明する。図３（Ａ）はトンネル内に設置した画像入力部１で撮影したある時刻の画像であり、同（Ｂ）はそれから数秒後に撮影した画像である。画像入力部１ではビデオレートで連続して撮影しているので、この２つの画像の間に図示省略した画像が連続撮影されている。
【００３０】図３（Ａ）、（Ｂ）において右車線Ｒは正常に車両が流れているが、左車線には故障車Ｐ1 が停車しており尾燈を点滅させている。しかもこの故障車Ｐ1 の後方には障害物Ｐ2 があり、この障害物Ｐ2 に気づいた後続車両Ｐ3 は減速して低速走行しているものと仮定する。以後この２枚を用いて説明するが、ビデオレートで連続して処理を行っているものと仮定する。
【００３１】また画像入力部１で撮影される画像領域は、図４に示す如く、複数の局所領域に設定される。図４R>４においてＬ０〜Ｌ４は左車線用の車両追跡用局所領域であり、このうちＬ０は大型車検出用の局所領域であり、Ｌ１〜Ｌ４は追跡用の局所領域である。同様にＲ０〜Ｒ４は右車線用の車両追跡用局所領域であり、Ｒ０は右車線での大型車検出用局所領域であり、Ｒ１〜Ｒ４は追跡用の局所領域である。
【００３２】次に図５により本発明における速度画像抽出状態を説明する。図５は、停止物体と低速移動物体、中速移動物体、高速移動物体の３種類をそれぞれ出力するものであり図１に対応するものであり、また図２に関して対応させる場合には、ｎ＝２の場合における背景画像抽出部２、第１平均背景抽出部３、第ｎ平均背景抽出部４′、第１差分演算処理部５、第２差分演算処理部６、第ｎ＋１差分演算処理部７′に相当するものである。
【００３３】背景画像抽出部２の画像メモリ２−１には背景が保持されており、この背景がルックアップテーブル■のｉとして入力される。ルックアップテーブル■の他方の入力ｊは、ルックアップテーブル■の出力である背景＋停止物体＋低速物体が入力される。
【００３４】ルックアップテーブル■は、図５（Ｂ）に示す如く、｜ｉ−ｊ｜の値が閾値ｔｈ２（例えばｔｈ２＝５０）より大きいとき｜ｉ−ｊ｜を出力する。したがって背景の部分についてはｉ＝ｊのためルックアップテーブル■からの出力ｋはｋ＝０であるので、ルックアップテーブル■の出力は停止物体と低速物体の存在する部分だけ｜ｉ−ｊ｜が出力され、ルックアップテーブル■にｉとして入力される。
【００３５】このときルックアップテーブル■の他方の入力ｊには画像入力部１で撮影された入力画像が入力される。この入力画像は、背景と停止物体（障害物も含む）と低速物体と中速物体と高速物体が含まれており、このうち、停止物体（障害物も含む）と低速物体の存在する部分にのみ｜ｉ−ｊ｜の値が入力されることになる。
【００３６】なお、ルックアップテーブル■は、図５（Ｂ）に示す如く、ｉの値が閾値ｔｈ１（例えばｔｈ１＝５）のときｊからの入力を出力ｋとし、それ以外はｋ＝０となる。それ故、ルックアップテーブル■から入力画像の内の停止物体（障害物も含む）と低速物体のみが出力される。
【００３７】ところでルックアップテーブル■は画像入力部１で撮影された入力画像がｉとして入力され、画像メモリ３−１に保持された画像がｊとして入力される。そしてｉ＝ｊのとき出力ｋとして画像メモリ３−１に保持された画像が、そのまま出力されまた画像メモリ３−１に保持される。
【００３８】この外０≦（ｉ−ｊ）≦ｔｈ３１（例えば閾値ｔｈ３１＝１０）の場合はｊにオフセット値α３１（例えばα３１＝１）を加算した値のｋ＝ｊ＋α３１を出力し、同時に画像メモリ３−１に保持する。０≦（ｊ−１）≦ｔｈ３１の場合はｊからα３１を減算した値のｋ＝ｊ−α３１を出力し、同時に画像メモリ３−１に保持する。
【００３９】ｔｈ３１＜（ｉ−ｊ）≦ｔｈ３２（例えば閾値ｔｈ３２＝２５５）の場合はｊにオフセット値α３２（例えばα３２＝３）を加算した値のｋ＝ｊ＋α３２を出力し、同時に画像メモリ３−１に保持する。ｔｈ３１＜（ｊ−ｉ）≦ｔｈ３２の場合はｊからα３２を減算した値のｋ＝ｊ−α３２を出力し、同時に画像メモリ３−１に保持する。
【００４０】このようにして後述する理由により背景と停止物体（これらはいずれもｉ＝ｊ）の外に低速物体の存在する部分にもルックアップテーブル■よりｋが出力され、ルックアップテーブル■′にｉとして入力される。
【００４１】ルックアップテーブル■′の他方の入力ｊは、ルックアップテーブル■の出力である背景＋停止物体＋低速物体＋中速物体が入力される。ルックアップテーブル■′は、図５（Ｂ）の■に示す如く設定され、｜ｉ−ｊ｜の値が閾値ｔｈ２より大きいとき｜ｉ−ｊ｜を出力する。
【００４２】したがって、背景と低速の部分についてはｉ＝ｊのためルックアップテーブル■′からの出力ｋはｋ＝０であり、このためルックアップテーブル■′の出力は入力画像に中速物体の存在する部分だけ｜ｉ−ｊ｜が出力され、ルックアップテーブル■′にｉとして入力される。
【００４３】このときルックアップテーブル■′の他方の入力ｊには画像入力部１で撮影された入力画像が入力される。この入力画像は、背景と停止物体と低速物体と中速物体と高速物体が含まれており、このうち中速物体の存在する部分のみ｜ｉ−ｊ｜の値が入力される。ルックアップテーブル■′は図５（Ｂ）に示す■と同様に動作設定されているので、ルックアップテーブル■′からは中速物体のみが出力される。
【００４４】またルックアップテーブル■は画像入力部１で撮影された入力画像がｉとして入力され、画像メモリ４−１に保持された画像がｊとして入力される。そしてｉ＝ｊのとき出力ｋとして画像メモリ４−１に保持された画像がそのまま出力され、また画像メモリ４−１に保持される。
【００４５】この外０≦（ｉ−ｊ）≦ｔｈ４１（例えば閾値ｔｈ４１＝１０）の場合はｊにオフセット値α４１（例えばα４１＝１）を加算した値のｋ＝ｊ＋α４１を出力し、同時に画像メモリ４−１に保持する。０≦（ｊ−ｉ）≦ｔｈ４１の場合はｊからα４１を減算した値のｋ＝ｊ−α４１を出力し、同時に画像メモリ４−１に保持する。
【００４６】ｔｈ４１＜（ｉ−ｊ）≦ｔｈ４２（例えば閾値ｔｈ４２＝２５５）の場合はｊにオフセット値α４２（例えばα４２＝１０）を加算した値のｋ＝ｊ＋α４２を出力し、同時にこれを画像メモリ４−１に保持する。ｔｈ４１＜（ｊ−ｉ）≦ｔｈ４２の場合はｊからα４２を減算した値のｋ＝ｊ−α４２を出力し、同時にこれを画像メモリ４−１に保持する。
【００４７】このようにして後述する理由によりルックアップテーブル■より背景、停止物体、低速物体の外に中速物体の存在する部分にはｋが出力され、ルックアップテーブル■′及び■″にｉとして入力される。
【００４８】ルックアップテーブル■″の他方の入力ｊには画像入力部１で撮影された入力画像が入力される。ルックアップテーブル■″は、図５（Ｂ）の■に示す如く設定され、｜ｉ−ｊ｜の値が閾値ｔｈ２より大きい時｜ｉ−ｊ｜を出力する。従って、背景と低速と中速の部分についてはｉ＝ｊのため、ルックアップテーブル■″の出力ｋはｋ＝０であり、入力画像に高速物体の存在する部分だけルックアップテーブル■″から｜ｉ−ｊ｜が出力され、ルックアップテーブル■″にｉとして入力される。
【００４９】このときルックアップテーブル■″の他方の入力ｊは画像入力部１で撮影された、背景、停止物体、低速物体、中速物体、高速物体が含まれており、このうち高速物体の存在する部分のみ｜ｉ−ｊ｜の値が入力されるので、ルックアップテーブル■″からは高速物体のみが出力されるものとなる。
【００５０】このように、移動物体の速度別に画像を求め、対象物を抽出することで、監視対象を限定することができる。ところで前記の如くルックアップテーブル■又は■の出力にオセフット値を加算または減算して画像メモリ３−１または画像メモリ４−１のデータを修正し、保持する理由について説明する。
【００５１】これら画像メモリと入力画像の差が閾値以上の場合、オフセット値を加算又は減算して画像メモリを修正する。対象物体の動きが遅い場合には小さなオフセット値により何度か修正すれば、画像メモリの保持出力する値が入力画像と同じになる。しかし動きが早い対象物の場合少ない修正回数で画像メモリの値を修正しないと入力画像の領域外に移動し、消えることになる。
【００５２】このため速度の大きな対象物の検出に対してはオフセット値を大きくして早く修正し、速度の小さな対象物の検出に対してはオフセット値を小さくして修正回数を多くして、時間をかけることにより行う。このようにオフセット値を変えることにより対象物体の速度の違いを判断し、目的とする対象物のみを検出することができる。
【００５３】また、図６により平均背景抽出部による各物体の移動速度に応じて、物体を分離した画像を抽出する他の手法を説明する。図６（Ａ）に示す如く、矢印方向に移動している移動物体Ａと停止物体Ｂが存在しているとき、時刻ｔ1 、ｔ2 ・・・ｔn で移動物体Ａと停止物体Ｂがそれぞれ図示の状態になるが、これらのｔ1〜ｔn の各画像を図示省略したメモリに累積する。そしてその累積画像を平均して平均背景を算出する。
【００５４】この場合、停止物体Ｂはｎ個の画像を累積した値をｎ等分した値で算出されるが、停止物体Ｂは各時刻において停止、つまり位置変化がないので、物体Ｂは変化なく抽出できる。
【００５５】一方、移動物体Ａは、特にこの移動物体Ａの移動速度が速い場合には、各時刻の画像間での移動物体Ａの重なりがなく、１時刻の移動物体Ａと、（ｎ−１）個の背景との平均をとることになるため、平均の濃度値が小さく閾値より小さな値になり移動物体Ａは消失される。かくして平均背景に停止物体Ｂが残り、移動物体Ａは存在しないものとなる。
【００５６】なお、移動物体Ａだけを含む画像は、平均背景と各時刻の画像との差を算出することにより抽出することが可能となる。また図６（Ｂ）に示す如く、停止物体Ｂに加えて、低速移動物体Ｄと、中速移動物体Ｅが存在する場合、これらの移動物体Ｄ、Ｅは次のようにして区分できる。
【００５７】低速の移動物体Ｄは、時刻ｔ2 、ｔ3 、の時刻ではいずれも、時刻ｔ1 の画像とその一部が重複しているが時刻ｔ4 の画像は時刻ｔ1 の画像と重なりがなくなる。
【００５８】また中速の移動物体Ｅは、時刻ｔ2 では時刻ｔ1 の画像とその一部が重複しているが、時刻ｔ3 の画像は時刻ｔ1 の画像と重なりがない。したがって時刻ｔ1 とｔ4 の画像を累積して２等分すれば低速の移動物体Ｄと中速の移動物体Ｅの値は、いずれも閾値以下となり停止物体Ｂが得られる。また時刻ｔ1 とｔ2 とｔ3 の画像を累積して３等分すれば、同様に中速の移動物体Ｅのみの画像濃度値が閾値以下となる。しかし低速の移動物体Ｄは、これらの時刻の重なり部分が存在するため、これにもとづき得ることができる。このとき停止物体Ｂも得られるが、停止物体Ｂは前記の如く別に得たものとの差で消去すれば低速の移動物体Ｄを得ることができる。
【００５９】また低速の移動物体Ｄと停止物体Ｂを原画像より消去することにより中速の移動物体Ｅを抽出することができる。同様にして、更に高速の移動物体が存在するとき、これを抽出することができる。なお、停止物体の背景も、停止物体と一緒に得ることができる。
【００６０】このようにして、図５（Ａ）に示すものとは別の手法により、第１平均背景抽出部から「背景＋停止物体＋低速移動物体」を出力し、第２平均背景抽出部から「背景＋停止物体＋低速移動物体＋中速移動物体」を出力することができる。これらにもとづき、第１差分演算処理部において、背景画像抽出部から出力される背景と、第１平均背景抽出部から出力される「背景＋停止物体＋低速移動物体」との差分を求めることにより、第１差分演算処理部から「停止物体＋低速移動物体」が得られる。
【００６１】第２差分演算処理部において第１平均背景抽出部から出力される「背景＋停止物体＋低速移動物体」と第２平均背景抽出部から出力される「背景＋停止物体＋低速移動物体＋中速移動物体」との差分を求めることにより、第２差分演算処理部から中速移動物体が得られる。
【００６２】さらに第３差分演算処理部において、第２平均背景抽出部から出力される「背景＋停止物体＋低速移動物体＋中速移動物体」と入力画像との差分を求めることにより、第３差分演算処理部から高速移動物体が得られる。
【００６３】例えば図１において、第１平均背景抽出部３が背景＋停止物体（障害物も含む）＋低速移動物体のみを抽出し、第２平均背景抽出部４では背景＋停止物体（障害物も含む）＋低速移動物体＋中速移動物体のみを抽出する場合、第１平均背景抽出部３より得られるものは画像ｃであり、第２平均背景抽出部４から得られるものは画像ｄとなる。
【００６４】この結果第１差分演算処理部５から停止物体＋低速移動物体のみの画像ｅが得られ、第２差分演算処理部６から中速移動物体のみの画像ｆが得られ、第３差分演算処理部７から高速移動物体のみの画像ｇが得られる。ただし図１の例では画像入力部１から得られた入力画像に高速移動物体が存在していない場合であり、このとき画像ｇには何も検出されないものとなる。従って、画像ｅ、ｆ、ｇに何も存在しない時に画像入力部１の入力を背景画像抽出部２で蓄積保持することにより背景を更新することができる。
【００６５】次に第１局所領域内特徴量抽出部８、第２局所領域内特徴量抽出部９、第ｎ＋１局所領域内特徴量抽出部１０については、いずれも同一構成のため、図６により第１局所領域内特徴量抽出部８について代表的に説明する。
【００６６】本発明では、画像入力部１で撮影される画像領域を予め複数の局所領域に設定しておく。例えば図４R>４に示す如く、左車線用の車両追跡用局所領域としてＬ０〜Ｌ４を設定し、右車線用の車両追跡用局所領域としてＲ０〜Ｒ４を設定する。
【００６７】そして各車両追跡用局所領域に対して、図７R>７に示す局所領域内特徴抽出処理部８−１、８−２・・・８−ｍが用意されている。従って図４に示す如く、車両追跡用局所領域Ｌ０〜Ｌ４、Ｒ０〜Ｒ４が設定されているときにはｍ＝１０即ち１０個の局所領域内特徴抽出処理部が必要となる。
【００６８】局所領域内特徴量抽出処理部８−１は局所領域決定部１１−１と、雑音除去部１２−１と、ラベリング処理部１３−１と、特徴量算出部１４−１を有する。局所領域決定部１１−１はその局所領域内特徴量抽出処理部８−１が処理すべき車両追跡用局所領域の１つを定義するものであり、Ｌ０についての処理を行うものであればＬ０の範囲を定義しておき、この局所領域内の入力画像を抽出するものである。雑音除去部１２−１は局所領域決定部１１−１から伝達された信号より雑音を除去するものであり、例えばロ−パス・フィルタで構成されている。
【００６９】ラベリング処理部１３−１は局所領域内の入力画像に対し同一の物体について同一のラベルを付与するラベリング処理を行うものである。そして特徴算出部１４−１は、ラベル付けされた領域の有無を検出し、ラベル付けされた領域があれば同一ラベルの領域に対してそのラベル領域の重心位置や、面積、横方向・縦方向の投影値等を求め、各ラベル領域毎の特徴量を算出するものである。
【００７０】局所領域内特徴量抽出処理部８−２・・・８−ｍも前記局所領域内特徴量抽出処理部８−１と同様に構成され、それぞれ局所領域決定部１１−２・・・１１−ｍ、雑音除去部１２−２・・・１２−ｍ、ラベリング処理部１３−２・・・１３−ｍ、特徴量算出部１４−２・・・１４−ｍを具備している。
【００７１】いま、図８（Ａ）に示す如く、時刻ｔにおいて、ランプの点滅している停止物体Ｐ1 と障害物Ｐ2 と低速移動物体Ｐ3 が存在する場合、図２に示す第１差分演算処理部５の出力は図８（Ｃ）に示す如きものとなり、この車両抽出画像（障害物も含まれる）に、図４に示す局所領域を重ねると図８（Ｅ）に示す如きものとなる。この場合、局所領域Ｌ１、Ｌ２、Ｌ４の部分に車両があり、特徴量を算出することができる。
【００７２】図８（Ａ）に示す速度画像は、ｔ１＋数秒後の時点において、同（Ｂ）に示す如き速度画像となり、これにより同（Ｄ）に示す如き車両抽出画像が得られる。これに局所領域を重ねると図８（Ｆ）に示す如きものとなる。この場合は、局所領域Ｌ２、Ｌ４に車両が存在するので、これに対して特徴量を計算する。
【００７３】これらの結果、図２に示す軌跡算出部２０の作表部２０−２により時系列的にまとめられた表１が作成される。表１における○印は、局所領域Ｌ０〜Ｌ４、Ｒ０〜Ｒ４において各時刻に特徴量が求められたもの、即ち何らかの物体（障害物も含む）が存在していたことを示している。
【００７４】
【表１】
【００７５】図９は、中速移動物体が存在する場合の時刻ｔ及びｔ＋数秒時の速度画像、車両抽出画像、局所領域重ね合わせ状態を示し、図９に対応する時系列的な特徴量検出状態を表２に示す。
【００７６】
【表２】
【００７７】また図１０は高速移動物体に関する時刻ｔ及びｔ＋数秒時の速度画像、車両抽出画像、局所領域重ね合わせ状態を示すが、この場合高速移動物体が存在していないので、図９には高速移動物体は図示されていない。従って、これに対応する表３でも○印はない。
【００７８】
【表３】
【００７９】従って軌跡算出部２０において表解析部２０−３が表３を解析することにより高速で走行している車両が、この場合は存在していないと判断することができる。
【００８０】また表２を解析することによりＬ０〜Ｌ４には○印がないので、左車線には中速で走行中の車両がこの時点では存在しないこと、また右車線には時刻ｔとｔ１には○印がＲ１とＲ４の２ヶ所に有ることから中速で走行中の車両が２台走行していることがわかる。
【００８１】なお時刻ｔ３も○印が２ヶ所有るが、これはＲ１とＲ２という隣接局所領域であり、続く時刻ｔ４には○印が１ヶ所しかないことより、時刻ｔ３におけるＲ１に存在する対象物とＲ２に存在する対象物とは同一であると判断できる。
【００８２】停止物体と低速移動物体についてまとめた前記表１からは、多少複雑であるが以下のことが判断できる。Ｒ０〜Ｒ４には○印がないので、右車線に停止または低速走行している車両が存在していない。しかしＬ１〜Ｌ４には○印があり停止または低速走行車両が存在していると判断できる。
【００８３】この場合、局所領域Ｌ４には一定間隔で○が現れたり消えたりしており、隣接するＬ３には静止物体が存在しているものと推測できる。一方Ｌ１とＬ２における○印の時間的変化（ｔ〜ｔ３まではＬ１に、ｔ４〜ｔ７はＬ１とＬ２と、ｔ８以降はＬ２に存在）から、何か低速で移動している物体が存在していることを判断できる。
【００８４】なお、前記の解析は時刻と場所の関係において、対象物体が存在するか否かについてのみ判断した例について説明したが、これ以外に特徴量として面積や縦横比等を使用するとより多くの情報を抽出することができる。
【００８５】表４は、車線変更を行っている車両について示した例であり、いままでの説明から容易に推察できる。ある領域にある時刻まで存在していた対象物体が瞬間的に消える。しかしその時刻と前後して別の領域、特に隣車線領域に対象物体が出現した場合には車線変更を行った車両であると判断できる。
【００８６】
【表４】
【００８７】表４において、時刻ｔ３までＬ１に存在した○印が、時刻ｔ４でＬ１、Ｌ２、Ｒ２でも○印が表れ、以下時刻ｔ５、ｔ６、ｔ７においてＲ２に表れるようなとき、車線変更と判断できる。
【００８８】なお、物体の移動時間と各局所領域の大きさの実測値がわかれば移動物体の速度も算出することができる。例えばある局所領域の長さをＬ、その領域に存在していた時間をＴとするとＬ／Ｔで速度を求めることができる。
【００８９】また図１１に示す如く、右車線に大型車ＰL と小型車ＰS が走行しているとき、これに図４で示す局所領域を重ねると図１１（Ｂ）に示す状態となる。これにより大型車ＰL の走行によりＲ０に○印が連続して存在するので大型車の存在を検出できる。
【００９０】
【表５】
【００９１】なお、表５、図１１では、小型車ＰS が時刻ｔ４ではＲ４より外に走行した状態を示し、時刻ｔ５では大型車がＲ１を走行し終わりＲ２に入ったことを示している。
【００９２】大型車により走行中の車が隠された状態を表６により説明する。
【００９３】
【表６】
【００９４】表６では、時刻ｔ１において大型車が局所領域Ｒ１を走行し、他の車（例えば小型車）が局所領域Ｒ３を走行しており、時刻ｔ４において大型車が局所領域Ｒ２を走行していることを示す。そして時刻ｔ７において大型車がＲ３を走行しており、このとき大型車がその前を走行中の他の車を隠した状態を示す。なおこの隠された車は時刻ｔ１１において局所領域Ｒ４を走行し、大型車の前方に再び出現した状態を示す。このようなことは表解析部２０−３により判断することができる。
【００９５】軌跡算出部２０ではその特徴解析部２０−１が物体の形状特徴を解析して、同一移動物体を判別し、これにもとづき同一移動物体の軌跡を作表部２０−２に指示してその軌跡を算出作成することができる。
【００９６】Ｂ．第２実施例本発明の第２実施例として、空港のスポット監視の場合について説明する。この例では低速で移動している大きな移動物体（例えば航空機）と、中速或いは、高速で移動している小さな物体例えば作業用の特殊車両）とを分離し、その属性について判断するものである。
【００９７】この例では、図１２（Ａ）に示す状態で局所領域Ｃ０、Ｌ０〜Ｌ７、Ｒ０〜Ｒ７を設定した。局所領域Ｃ０は航空機の機体検出を目的としたものであり、それ以外のＬ０〜Ｌ７、Ｒ０〜Ｒ７は作業用の特殊車両を検出するための局所領域である。
【００９８】図１２（Ｂ）は航空機Ｊがスポットに停止している状態を示し、同（Ｃ）は特殊車両ＳＰ１、ＳＰ２が行き交って走行している状態を示す。そして図１２（Ｂ）及び（Ｃ）に、同（Ａ）で示す局所領域を被せた状態を示したのが同（Ｄ）及び（Ｅ）である。
【００９９】航空機がスポットに近づき低速し、停止すると局所領域Ｃ０に航空機Ｊの機体が表れる。この状態を前記低速移動物体抽出の手法を用いて検出する。この場合、図１３（Ａ）で示すように、局所領域Ｃ０内の長辺方向に航空機Ｊの投影を落としてその長さを求めると、機体の長さを測定することができる。そしてこの機体の長さから機種を判定することができる。航空機がスポットに近づき、停止するまでの投影値の変化を示したのが表７である。
【０１００】
【表７】
【０１０１】表７より明らかなように、時刻ｔ１、ｔ２、ｔ３・・・と変化すると共に投影の長さ即ち投影値が増加し、ある時刻（この例ではｔ４）を越えるとその増加が停止する。そして投影値の変動が止まり安定した段階で航空機が停止したと判断する。一方投影値と実際の長さの関係を求めて変換式を求めておけば航空機の実際の長さが分かり、長さの違いから航空機の種類が判断できる。
【０１０２】また図１２（Ｃ）、（Ｅ）に示している特殊車両ＳＰ１、ＳＰ２に関しては、前記中速・高速移動物体抽出の手法を用いてこれらを検出できる。航空機と同様に投影値を求めることにより局所領域内に存在している対象物の個数を求めることができる。
【０１０３】例えば図１２（Ｅ）において、局所領域Ｌ５について投影値を求めたものが図１３（Ｂ）である。これにより投影値がそれぞれ２つ存在するので、局所領域内に２種類の独立した対象物体が存在していることが判断できる。
【０１０４】図１２（Ｅ）の様に特殊車両が移動した場合の局所領域における対象物体の検出個数の変化を時系列的に示したのが表８である。
【０１０５】
【表８】
【０１０６】この表８により車両の移動とともに局所領域内の対象物体の数が変動しているのがわかる。これにもとづき、時刻ｔ５では、局所領域Ｌ６に存在した特殊車両が局所領域Ｌ７に移動して、その個数が２になったこと、時刻ｔ７では局所領域Ｌ７を走行していた２個のうちの１つが局所領域Ｌ５に移動したこと、時刻ｔ９では他の１つも局所領域Ｌ５に移動して再びその個数が２になったこと等が解析できる。
【０１０７】前記説明ではトンネル及び空港の例について説明したが本発明は勿論これのみに限定されるものではない。走行速度も低中高の３種類の例について説明したが勿論これに限定されるものではなく、例えば０〜３０ｋｍ、３０〜６０ｋｍ、６０〜９０ｋｍ、９０〜１２０ｋｍ、１２０〜１５０ｋｍ、１５０ｋｍ以上というように細かく区分することも勿論できる。
【０１０８】
【発明の効果】本発明により以下の如くすぐれた効果が得られる。本発明では複数の区分の速度画像を生成することができるので、種々の速度で移動している対象物体が数多く存在する場合に、ある速度範囲で対象物体を分離することが可能となり、解析処理を容易に行うことができる。
【０１０９】また対象物体の特徴量を求め、特徴量の時系列変化を求め、特徴量を解析することにより容易に対象物体の軌跡を求めることができる。さらに局所領域における特徴量を算出し、局所領域毎の特徴量の有無から時系列変化を求めることにより、これまた対象物体の軌跡を容易に求めることができる。
【０１１０】しかも特徴量の形状情報を用いることにより、より詳細な対象物体の軌跡を容易に抽出することもできる。時刻毎の位置の変化及び面積の変化が極めて少ない停止物体を容易に抽出することができる。
【０１１１】原画像からでは同定が困難な、急激な速度変化や方向変化を生じた対象物体について特徴量の有無及び形状特徴の時系列変化または速度画像間変化から軌跡を算出し移動物体を容易に同定することができる。
【０１１２】面積の大小のみでは判断できない大型の対象物体の存在を容易に抽出することができる。しかも小型物体が大型の対象物体に隠された状態でも、同一物体の軌跡を抽出することができる。
【０１１３】速度画像に分離したのち、停止＋低速画像に対し、局所領域における物体の有無や、ランプの点滅のような同一形状特徴の周期性を解析することにより点滅している物体を容易に抽出することができる。
【図面の簡単な説明】
【図１】本発明の原理図である。
【図２】本発明一実施例構成図である。
【図３】本発明に使用される原画像説明図である。
【図４】本発明における局所領域説明図の一例である。
【図５】本発明における速度画像抽出説明図である。
【図６】本発明における速度画像抽出の他の例である。
【図７】本発明における局所領域内特徴量抽出部の説明図である。
【図８】停止物体と低速移動物体の存在する場合の説明図である。
【図９】中速移動物体説明図である。
【図１０】高速移動物体説明図である。
【図１１】大型移動物体説明図である。
【図１２】本発明を空港のスポット監視用に使用した場合の説明図である。
【図１３】本発明における投影値算出説明図である。
【符号の説明】
１ 画像入力部
２ 背景画像抽出部
３ 第１平均背景抽出部
４ 第２平均背景抽出部
４′ 第ｎ平均背景抽出部
５ 第１差分演算処理部
６ 第２差分演算処理部
７ 第３差分演算処理部
７′ 第ｎ＋１差分演算処理部
８ 第１局所領域内特徴抽出部
９ 第２局所領域内特徴抽出部
１０ 第ｎ＋１局所領域内特徴抽出部
２０ 軌跡算出部
【０００１】
【産業上の利用分野】本発明は、背景画像と、静止物体またはある速度までの移動物体と背景が含まれる画像を組み合わせ、差分処理を行うことにより静止物体または移動物体を同定したり、移動物体の動きを解析できるようにした画像処理装置に関する。
【０００２】
【０００３】画像中の移動物体を抽出し、解析し、何らかの情報を得る技術は様々な産業分野において必要不可欠である。例えば人間や動物等生物の動きを解析し、それから得た知識を基にして商品の設計等に応用するようなことは、より安全で合理的な商品開発に必要である。
【０００４】また画像を用いた監視処理は種々の場所において利用されており、事故や災害等の発見に寄与している。しかも近年では単に異常や有事を検知するのみにとどまらず、事故や災害を未然に防ぐという防災の目的が強くなってきている。
【０００５】そのためには事故や災害をもたらす異常な動きを示す対象物をいち早く検出する必要がある。そこで移動物体の動きを捕らえ解析したり、移動物体間の距離を精度よく算出したりして、その値からいち早く事故や災害をもたらす異常な動きをする移動物体を検出する効率的な手法が必要である。
【０００６】
【従来の技術】ところで、画像処理を応用した移動物体の解析として、本特許出願人の出願にかかる例えば特願平３−３２０５９４号、特願平３−３２０５９７号等が先行技術としてあるが、これらでは始めに移動物体があるかも知れない領域抽出を行い、それらの領域のサイズや中心位置等の特徴から対象物を区別し、この対象物の時間的な変化からその動きを捕らえている。
【０００７】例えば人間の運動解析を行う場合、始めに解析したい部分を抽出する。この抽出した対象に対して投影値や領域の中心値等の特徴量を算出し、この特徴量を基にして物体を区別する。次にこのような上記の特徴量の算出処理を時間的な流れのある画像つまり連続画像に対して処理を行い、特徴量から画像間での物体の対応付けを行い、動きを解析している。
【０００８】
【発明が解決しようとする課題】このような上記の手法では、時系列画像それぞれに対して、物体全ての領域抽出・同定処理を行い、且つ画像間での物体の対応付けを求めなければ、移動物体の属性の抽出、例えば速度を求めることができない。
【０００９】移動物体がただ１つのみであれば画像間の対応付けは単純であり、比較的簡単にこの時間軸の変化を含めた、例えば速度の如き属性を求めることができる。しかし移動物体が数多く存在する場合においては画像間の対応付けは難しく、しかも物体が静止していたり、別々の速度で移動している場合は、それら全てについてビデオレート処理を行うのは困難である。
【００１０】従って本発明の目的は、移動物体が数多く存在する場合でも、静止していたり異なる速度で移動している場合でもビデオレートでこれらの動きが解析できる画像処理装置及び画像処理方法を提供することである。
【００１１】
【課題を解決するための手段】前記目的を達成するため、本発明では、図１に示す如く、ビデオカメラの如き画像入力部１と、背景画像抽出部２と、第１平均背景抽出部３と、第２平均背景抽出部４と、第１差分演算処理部５と、第２差分演算処理部６と、第３差分演算処理部７を設ける。
【００１２】背景画像抽出部２は静止物体及び移動物体を除き背景のみを抽出し、保持するものであり、例えば静止物体も移動物体も抽出されない時に入力画像を保持蓄積するものである。この背景は予めシステムに組み込んでおくこともできる。第１平均背景抽出部３は、停止物体と低速移動物体及び背景を抽出するもの、第２平均背景抽出部４は、停止物体と低速移動物体と中速移動物体及び背景を抽出するものである。
【００１３】また第１差分演算処理部５は背景画像抽出部２の保持している背景と、第１平均背景抽出部３の出力との差分を取るものである。第２差分演算処理部６は第１平均背景抽出部３の出力と第２平均背景抽出部４の出力との差分を取るものである。第３差分演算処理部７は第２平均背景抽出部４の出力と画像入力部１の出力との差分を取るものである。
【００１４】
【作用】いま、図１のａで示すように、道路の左車線に停止車両が存在しかつ低速車両が走行し、黒印で示す障害物が存在しており、また右車線に２台の中速車両が走行している場合について、本発明の動作を説明する。
【００１５】画像入力部１から画像ａが入力されると、第１平均背景抽出部３からｃで示す画像が出力され、第２平均背景抽出部４からｄで示す画像が出力される。また背景画像抽出部２ではｂで示す背景画像が保持、出力されている。
【００１６】したがって、第１差分演算処理部５からは背景画像ｂと画像ｃとの差分である画像ｅが出力され、第２差分演算処理部６からは画像ｃと画像ｄとの差分である画像ｆが出力される。そして第３差分演算処理部７からは画像ｄと画像ａの差分である画像ｇが出力される。
【００１７】これにより、第１差分演算処理部５からは左車線に存在する２台の停止車両又は低速車両と障害物が画像ｅとして出力され、第２差分演算処理部６からは右車線に存在する２台の中速車両が画像ｆとして出力される。しかし画像ａには中速より速く走行する車両が存在しないので、第３差分演算処理部６の出力する画像ｇには何も出力されないものとなる。
【００１８】このようにして異なる速度で移動する複数の移動物体の動きをビデオレートで処理することができる。
【００１９】
【実施例】Ａ．第１実施例本発明の一実施例を図２〜図１０にもとづき説明する。図２は本発明の一実施例構成図、図３は本発明における原画像説明図、図４は本発明における局所領域説明図、図５は本発明における速度画像抽出説明図、図６は本発明における局所領域内特徴量抽出部の説明図、図７は停止物体と低速移動物体の存在する場合の説明図、図８は中速移動物体説明図、図９は高速移動物体説明図、図１０R>０は大型移動物体説明図である。
【００２０】図中他図と同記号は同一部を示し、１は画像入力部、２は背景画像抽出部、３は第１平均背景抽出部、４′は第ｎ平均背景抽出部、５は第１差分演算処理部、６は第２差分演算処理部、７′は第ｎ＋１差分演算処理部、８は第１局所領域内特徴量抽出部、９は第２局所領域内特徴量抽出部、１０は第ｎ＋１局所領域内特徴量抽出部、２０は軌跡算出部である。
【００２１】画像入力部１は監視すべき領域の画像をビデオレートで入力するものであり、例えばビデオカメラである。背景画像抽出部２は監視すべき領域の背景画像を入力し、保持するものであり、後述するように移動物体と静止物体のいずれも抽出されないときに随時入力して、後述する図５（Ａ）で示す背景画像メモリ２−１に蓄積したり、予めシステムに保持しておくこともできる。
【００２２】第１平均背景抽出部３は停止物体と低速移動物体及び背景を抽出するものであり、また第ｎ平均背景抽出部４′は停止物体と低速〜高速の移動物体及び背景を抽出するものである。これらの第１平均背景抽出部３〜第ｎ平均背景抽出部４′により移動物体の速度別画像を作成することができる。
【００２３】勿論第１平均背景抽出部３と第ｎ平均背景抽出部４′との間に、停止物体と低速〜中速の移動物体及び背景を抽出する他の平均背景抽出部（例えば図１における第２平均背景抽出部４）を設けれることもできる。
【００２４】第１差分演算処理部５は背景画像抽出部２の出力と第１平均背景抽出部３の出力との差分を取るものであり、第２差分演算処理部６は第１平均背景抽出部３の出力と第ｎ平均背景抽出部４′の出力との差分を取るものである。そして第ｎ＋１差分演算処理部７′は第ｎ平均背景抽出部４′の出力と画像入力部１の出力との差分を取るものである。
【００２５】これら差分演算処理部により、目的の速度で移動している物体のみを抽出することができる。勿論図１に示す如く、ｎ＝２の状態で構成することもできる。差分演算処理部の種類は前段の平均画像抽出部に依存しており、その種類つまりどの平均画像抽出部間の出力差を求めるのかということは定まったものではない。しかし最大数は、平均背景画像抽出部の数と背景画像抽出部と原画像すなわち画像入力部の出力画像の和をＸ（図１の場合は４）とすると、Ｘ＊（Ｘ−１）／２（＊は乗算を示す）だけの種類の差分演算処理部を設定することができる。
【００２６】第１局所領域内特徴量抽出部８は、第１差分演算処理部５の出力を受けて、後述するように、その定められた領域内の特徴量の有無や物体の形状特徴等を求める。ここで求めた特徴量の有無とは位置変化を表し、形状特徴は例えばバス乗用車等の対象物体の属性を表すものである。
【００２７】第２局所領域内特徴量抽出部９は、第２差分演算処理部６の出力を受けてその定められた領域内の特徴の有無や物体の形状特徴等を求めるものである。第ｎ＋１局所領域内特徴量抽出部１０は、同様に第ｎ＋１差分演算処理部７′の出力を受けてその定められた領域内の特徴の有無や物体の形状特徴等を求めるものである。
【００２８】軌跡算出部２０はこれら第１局所領域内特徴抽出部９〜第ｎ＋１局所領域内特徴部１０の出力にもとづき、特徴量の有無の時系列変化から物体の軌跡を算出したり、さらに形状特徴から同一物体の軌跡を求める等の処理を行うものであり、物体の形状特徴解析を行う特徴解析部２０−１、作表を行う作表部２０−２、表の解析を行う表解析部２０−３等を具備している。
【００２９】本発明を道路監視用、例えばトンネル内の監視用に使用した場合について以下に説明する。図３（Ａ）はトンネル内に設置した画像入力部１で撮影したある時刻の画像であり、同（Ｂ）はそれから数秒後に撮影した画像である。画像入力部１ではビデオレートで連続して撮影しているので、この２つの画像の間に図示省略した画像が連続撮影されている。
【００３０】図３（Ａ）、（Ｂ）において右車線Ｒは正常に車両が流れているが、左車線には故障車Ｐ1 が停車しており尾燈を点滅させている。しかもこの故障車Ｐ1 の後方には障害物Ｐ2 があり、この障害物Ｐ2 に気づいた後続車両Ｐ3 は減速して低速走行しているものと仮定する。以後この２枚を用いて説明するが、ビデオレートで連続して処理を行っているものと仮定する。
【００３１】また画像入力部１で撮影される画像領域は、図４に示す如く、複数の局所領域に設定される。図４R>４においてＬ０〜Ｌ４は左車線用の車両追跡用局所領域であり、このうちＬ０は大型車検出用の局所領域であり、Ｌ１〜Ｌ４は追跡用の局所領域である。同様にＲ０〜Ｒ４は右車線用の車両追跡用局所領域であり、Ｒ０は右車線での大型車検出用局所領域であり、Ｒ１〜Ｒ４は追跡用の局所領域である。
【００３２】次に図５により本発明における速度画像抽出状態を説明する。図５は、停止物体と低速移動物体、中速移動物体、高速移動物体の３種類をそれぞれ出力するものであり図１に対応するものであり、また図２に関して対応させる場合には、ｎ＝２の場合における背景画像抽出部２、第１平均背景抽出部３、第ｎ平均背景抽出部４′、第１差分演算処理部５、第２差分演算処理部６、第ｎ＋１差分演算処理部７′に相当するものである。
【００３３】背景画像抽出部２の画像メモリ２−１には背景が保持されており、この背景がルックアップテーブル
【００３４】ルックアップテーブル
【００３５】このときルックアップテーブル
【００３６】なお、ルックアップテーブル
【００３７】ところでルックアップテーブル
【００３８】この外０≦（ｉ−ｊ）≦ｔｈ３１（例えば閾値ｔｈ３１＝１０）の場合はｊにオフセット値α３１（例えばα３１＝１）を加算した値のｋ＝ｊ＋α３１を出力し、同時に画像メモリ３−１に保持する。０≦（ｊ−１）≦ｔｈ３１の場合はｊからα３１を減算した値のｋ＝ｊ−α３１を出力し、同時に画像メモリ３−１に保持する。
【００３９】ｔｈ３１＜（ｉ−ｊ）≦ｔｈ３２（例えば閾値ｔｈ３２＝２５５）の場合はｊにオフセット値α３２（例えばα３２＝３）を加算した値のｋ＝ｊ＋α３２を出力し、同時に画像メモリ３−１に保持する。ｔｈ３１＜（ｊ−ｉ）≦ｔｈ３２の場合はｊからα３２を減算した値のｋ＝ｊ−α３２を出力し、同時に画像メモリ３−１に保持する。
【００４０】このようにして後述する理由により背景と停止物体（これらはいずれもｉ＝ｊ）の外に低速物体の存在する部分にもルックアップテーブル
【００４１】ルックアップテーブル
【００４２】したがって、背景と低速の部分についてはｉ＝ｊのためルックアップテーブル
【００４３】このときルックアップテーブル
【００４４】またルックアップテーブル
【００４５】この外０≦（ｉ−ｊ）≦ｔｈ４１（例えば閾値ｔｈ４１＝１０）の場合はｊにオフセット値α４１（例えばα４１＝１）を加算した値のｋ＝ｊ＋α４１を出力し、同時に画像メモリ４−１に保持する。０≦（ｊ−ｉ）≦ｔｈ４１の場合はｊからα４１を減算した値のｋ＝ｊ−α４１を出力し、同時に画像メモリ４−１に保持する。
【００４６】ｔｈ４１＜（ｉ−ｊ）≦ｔｈ４２（例えば閾値ｔｈ４２＝２５５）の場合はｊにオフセット値α４２（例えばα４２＝１０）を加算した値のｋ＝ｊ＋α４２を出力し、同時にこれを画像メモリ４−１に保持する。ｔｈ４１＜（ｊ−ｉ）≦ｔｈ４２の場合はｊからα４２を減算した値のｋ＝ｊ−α４２を出力し、同時にこれを画像メモリ４−１に保持する。
【００４７】このようにして後述する理由によりルックアップテーブル
【００４８】ルックアップテーブル
【００４９】このときルックアップテーブル
【００５０】このように、移動物体の速度別に画像を求め、対象物を抽出することで、監視対象を限定することができる。ところで前記の如くルックアップテーブル
【００５１】これら画像メモリと入力画像の差が閾値以上の場合、オフセット値を加算又は減算して画像メモリを修正する。対象物体の動きが遅い場合には小さなオフセット値により何度か修正すれば、画像メモリの保持出力する値が入力画像と同じになる。しかし動きが早い対象物の場合少ない修正回数で画像メモリの値を修正しないと入力画像の領域外に移動し、消えることになる。
【００５２】このため速度の大きな対象物の検出に対してはオフセット値を大きくして早く修正し、速度の小さな対象物の検出に対してはオフセット値を小さくして修正回数を多くして、時間をかけることにより行う。このようにオフセット値を変えることにより対象物体の速度の違いを判断し、目的とする対象物のみを検出することができる。
【００５３】また、図６により平均背景抽出部による各物体の移動速度に応じて、物体を分離した画像を抽出する他の手法を説明する。図６（Ａ）に示す如く、矢印方向に移動している移動物体Ａと停止物体Ｂが存在しているとき、時刻ｔ1 、ｔ2 ・・・ｔn で移動物体Ａと停止物体Ｂがそれぞれ図示の状態になるが、これらのｔ1〜ｔn の各画像を図示省略したメモリに累積する。そしてその累積画像を平均して平均背景を算出する。
【００５４】この場合、停止物体Ｂはｎ個の画像を累積した値をｎ等分した値で算出されるが、停止物体Ｂは各時刻において停止、つまり位置変化がないので、物体Ｂは変化なく抽出できる。
【００５５】一方、移動物体Ａは、特にこの移動物体Ａの移動速度が速い場合には、各時刻の画像間での移動物体Ａの重なりがなく、１時刻の移動物体Ａと、（ｎ−１）個の背景との平均をとることになるため、平均の濃度値が小さく閾値より小さな値になり移動物体Ａは消失される。かくして平均背景に停止物体Ｂが残り、移動物体Ａは存在しないものとなる。
【００５６】なお、移動物体Ａだけを含む画像は、平均背景と各時刻の画像との差を算出することにより抽出することが可能となる。また図６（Ｂ）に示す如く、停止物体Ｂに加えて、低速移動物体Ｄと、中速移動物体Ｅが存在する場合、これらの移動物体Ｄ、Ｅは次のようにして区分できる。
【００５７】低速の移動物体Ｄは、時刻ｔ2 、ｔ3 、の時刻ではいずれも、時刻ｔ1 の画像とその一部が重複しているが時刻ｔ4 の画像は時刻ｔ1 の画像と重なりがなくなる。
【００５８】また中速の移動物体Ｅは、時刻ｔ2 では時刻ｔ1 の画像とその一部が重複しているが、時刻ｔ3 の画像は時刻ｔ1 の画像と重なりがない。したがって時刻ｔ1 とｔ4 の画像を累積して２等分すれば低速の移動物体Ｄと中速の移動物体Ｅの値は、いずれも閾値以下となり停止物体Ｂが得られる。また時刻ｔ1 とｔ2 とｔ3 の画像を累積して３等分すれば、同様に中速の移動物体Ｅのみの画像濃度値が閾値以下となる。しかし低速の移動物体Ｄは、これらの時刻の重なり部分が存在するため、これにもとづき得ることができる。このとき停止物体Ｂも得られるが、停止物体Ｂは前記の如く別に得たものとの差で消去すれば低速の移動物体Ｄを得ることができる。
【００５９】また低速の移動物体Ｄと停止物体Ｂを原画像より消去することにより中速の移動物体Ｅを抽出することができる。同様にして、更に高速の移動物体が存在するとき、これを抽出することができる。なお、停止物体の背景も、停止物体と一緒に得ることができる。
【００６０】このようにして、図５（Ａ）に示すものとは別の手法により、第１平均背景抽出部から「背景＋停止物体＋低速移動物体」を出力し、第２平均背景抽出部から「背景＋停止物体＋低速移動物体＋中速移動物体」を出力することができる。これらにもとづき、第１差分演算処理部において、背景画像抽出部から出力される背景と、第１平均背景抽出部から出力される「背景＋停止物体＋低速移動物体」との差分を求めることにより、第１差分演算処理部から「停止物体＋低速移動物体」が得られる。
【００６１】第２差分演算処理部において第１平均背景抽出部から出力される「背景＋停止物体＋低速移動物体」と第２平均背景抽出部から出力される「背景＋停止物体＋低速移動物体＋中速移動物体」との差分を求めることにより、第２差分演算処理部から中速移動物体が得られる。
【００６２】さらに第３差分演算処理部において、第２平均背景抽出部から出力される「背景＋停止物体＋低速移動物体＋中速移動物体」と入力画像との差分を求めることにより、第３差分演算処理部から高速移動物体が得られる。
【００６３】例えば図１において、第１平均背景抽出部３が背景＋停止物体（障害物も含む）＋低速移動物体のみを抽出し、第２平均背景抽出部４では背景＋停止物体（障害物も含む）＋低速移動物体＋中速移動物体のみを抽出する場合、第１平均背景抽出部３より得られるものは画像ｃであり、第２平均背景抽出部４から得られるものは画像ｄとなる。
【００６４】この結果第１差分演算処理部５から停止物体＋低速移動物体のみの画像ｅが得られ、第２差分演算処理部６から中速移動物体のみの画像ｆが得られ、第３差分演算処理部７から高速移動物体のみの画像ｇが得られる。ただし図１の例では画像入力部１から得られた入力画像に高速移動物体が存在していない場合であり、このとき画像ｇには何も検出されないものとなる。従って、画像ｅ、ｆ、ｇに何も存在しない時に画像入力部１の入力を背景画像抽出部２で蓄積保持することにより背景を更新することができる。
【００６５】次に第１局所領域内特徴量抽出部８、第２局所領域内特徴量抽出部９、第ｎ＋１局所領域内特徴量抽出部１０については、いずれも同一構成のため、図６により第１局所領域内特徴量抽出部８について代表的に説明する。
【００６６】本発明では、画像入力部１で撮影される画像領域を予め複数の局所領域に設定しておく。例えば図４R>４に示す如く、左車線用の車両追跡用局所領域としてＬ０〜Ｌ４を設定し、右車線用の車両追跡用局所領域としてＲ０〜Ｒ４を設定する。
【００６７】そして各車両追跡用局所領域に対して、図７R>７に示す局所領域内特徴抽出処理部８−１、８−２・・・８−ｍが用意されている。従って図４に示す如く、車両追跡用局所領域Ｌ０〜Ｌ４、Ｒ０〜Ｒ４が設定されているときにはｍ＝１０即ち１０個の局所領域内特徴抽出処理部が必要となる。
【００６８】局所領域内特徴量抽出処理部８−１は局所領域決定部１１−１と、雑音除去部１２−１と、ラベリング処理部１３−１と、特徴量算出部１４−１を有する。局所領域決定部１１−１はその局所領域内特徴量抽出処理部８−１が処理すべき車両追跡用局所領域の１つを定義するものであり、Ｌ０についての処理を行うものであればＬ０の範囲を定義しておき、この局所領域内の入力画像を抽出するものである。雑音除去部１２−１は局所領域決定部１１−１から伝達された信号より雑音を除去するものであり、例えばロ−パス・フィルタで構成されている。
【００６９】ラベリング処理部１３−１は局所領域内の入力画像に対し同一の物体について同一のラベルを付与するラベリング処理を行うものである。そして特徴算出部１４−１は、ラベル付けされた領域の有無を検出し、ラベル付けされた領域があれば同一ラベルの領域に対してそのラベル領域の重心位置や、面積、横方向・縦方向の投影値等を求め、各ラベル領域毎の特徴量を算出するものである。
【００７０】局所領域内特徴量抽出処理部８−２・・・８−ｍも前記局所領域内特徴量抽出処理部８−１と同様に構成され、それぞれ局所領域決定部１１−２・・・１１−ｍ、雑音除去部１２−２・・・１２−ｍ、ラベリング処理部１３−２・・・１３−ｍ、特徴量算出部１４−２・・・１４−ｍを具備している。
【００７１】いま、図８（Ａ）に示す如く、時刻ｔにおいて、ランプの点滅している停止物体Ｐ1 と障害物Ｐ2 と低速移動物体Ｐ3 が存在する場合、図２に示す第１差分演算処理部５の出力は図８（Ｃ）に示す如きものとなり、この車両抽出画像（障害物も含まれる）に、図４に示す局所領域を重ねると図８（Ｅ）に示す如きものとなる。この場合、局所領域Ｌ１、Ｌ２、Ｌ４の部分に車両があり、特徴量を算出することができる。
【００７２】図８（Ａ）に示す速度画像は、ｔ１＋数秒後の時点において、同（Ｂ）に示す如き速度画像となり、これにより同（Ｄ）に示す如き車両抽出画像が得られる。これに局所領域を重ねると図８（Ｆ）に示す如きものとなる。この場合は、局所領域Ｌ２、Ｌ４に車両が存在するので、これに対して特徴量を計算する。
【００７３】これらの結果、図２に示す軌跡算出部２０の作表部２０−２により時系列的にまとめられた表１が作成される。表１における○印は、局所領域Ｌ０〜Ｌ４、Ｒ０〜Ｒ４において各時刻に特徴量が求められたもの、即ち何らかの物体（障害物も含む）が存在していたことを示している。
【００７４】
【表１】
【００７５】図９は、中速移動物体が存在する場合の時刻ｔ及びｔ＋数秒時の速度画像、車両抽出画像、局所領域重ね合わせ状態を示し、図９に対応する時系列的な特徴量検出状態を表２に示す。
【００７６】
【表２】
【００７７】また図１０は高速移動物体に関する時刻ｔ及びｔ＋数秒時の速度画像、車両抽出画像、局所領域重ね合わせ状態を示すが、この場合高速移動物体が存在していないので、図９には高速移動物体は図示されていない。従って、これに対応する表３でも○印はない。
【００７８】
【表３】
【００７９】従って軌跡算出部２０において表解析部２０−３が表３を解析することにより高速で走行している車両が、この場合は存在していないと判断することができる。
【００８０】また表２を解析することによりＬ０〜Ｌ４には○印がないので、左車線には中速で走行中の車両がこの時点では存在しないこと、また右車線には時刻ｔとｔ１には○印がＲ１とＲ４の２ヶ所に有ることから中速で走行中の車両が２台走行していることがわかる。
【００８１】なお時刻ｔ３も○印が２ヶ所有るが、これはＲ１とＲ２という隣接局所領域であり、続く時刻ｔ４には○印が１ヶ所しかないことより、時刻ｔ３におけるＲ１に存在する対象物とＲ２に存在する対象物とは同一であると判断できる。
【００８２】停止物体と低速移動物体についてまとめた前記表１からは、多少複雑であるが以下のことが判断できる。Ｒ０〜Ｒ４には○印がないので、右車線に停止または低速走行している車両が存在していない。しかしＬ１〜Ｌ４には○印があり停止または低速走行車両が存在していると判断できる。
【００８３】この場合、局所領域Ｌ４には一定間隔で○が現れたり消えたりしており、隣接するＬ３には静止物体が存在しているものと推測できる。一方Ｌ１とＬ２における○印の時間的変化（ｔ〜ｔ３まではＬ１に、ｔ４〜ｔ７はＬ１とＬ２と、ｔ８以降はＬ２に存在）から、何か低速で移動している物体が存在していることを判断できる。
【００８４】なお、前記の解析は時刻と場所の関係において、対象物体が存在するか否かについてのみ判断した例について説明したが、これ以外に特徴量として面積や縦横比等を使用するとより多くの情報を抽出することができる。
【００８５】表４は、車線変更を行っている車両について示した例であり、いままでの説明から容易に推察できる。ある領域にある時刻まで存在していた対象物体が瞬間的に消える。しかしその時刻と前後して別の領域、特に隣車線領域に対象物体が出現した場合には車線変更を行った車両であると判断できる。
【００８６】
【表４】
【００８７】表４において、時刻ｔ３までＬ１に存在した○印が、時刻ｔ４でＬ１、Ｌ２、Ｒ２でも○印が表れ、以下時刻ｔ５、ｔ６、ｔ７においてＲ２に表れるようなとき、車線変更と判断できる。
【００８８】なお、物体の移動時間と各局所領域の大きさの実測値がわかれば移動物体の速度も算出することができる。例えばある局所領域の長さをＬ、その領域に存在していた時間をＴとするとＬ／Ｔで速度を求めることができる。
【００８９】また図１１に示す如く、右車線に大型車ＰL と小型車ＰS が走行しているとき、これに図４で示す局所領域を重ねると図１１（Ｂ）に示す状態となる。これにより大型車ＰL の走行によりＲ０に○印が連続して存在するので大型車の存在を検出できる。
【００９０】
【表５】
【００９１】なお、表５、図１１では、小型車ＰS が時刻ｔ４ではＲ４より外に走行した状態を示し、時刻ｔ５では大型車がＲ１を走行し終わりＲ２に入ったことを示している。
【００９２】大型車により走行中の車が隠された状態を表６により説明する。
【００９３】
【表６】
【００９４】表６では、時刻ｔ１において大型車が局所領域Ｒ１を走行し、他の車（例えば小型車）が局所領域Ｒ３を走行しており、時刻ｔ４において大型車が局所領域Ｒ２を走行していることを示す。そして時刻ｔ７において大型車がＲ３を走行しており、このとき大型車がその前を走行中の他の車を隠した状態を示す。なおこの隠された車は時刻ｔ１１において局所領域Ｒ４を走行し、大型車の前方に再び出現した状態を示す。このようなことは表解析部２０−３により判断することができる。
【００９５】軌跡算出部２０ではその特徴解析部２０−１が物体の形状特徴を解析して、同一移動物体を判別し、これにもとづき同一移動物体の軌跡を作表部２０−２に指示してその軌跡を算出作成することができる。
【００９６】Ｂ．第２実施例本発明の第２実施例として、空港のスポット監視の場合について説明する。この例では低速で移動している大きな移動物体（例えば航空機）と、中速或いは、高速で移動している小さな物体例えば作業用の特殊車両）とを分離し、その属性について判断するものである。
【００９７】この例では、図１２（Ａ）に示す状態で局所領域Ｃ０、Ｌ０〜Ｌ７、Ｒ０〜Ｒ７を設定した。局所領域Ｃ０は航空機の機体検出を目的としたものであり、それ以外のＬ０〜Ｌ７、Ｒ０〜Ｒ７は作業用の特殊車両を検出するための局所領域である。
【００９８】図１２（Ｂ）は航空機Ｊがスポットに停止している状態を示し、同（Ｃ）は特殊車両ＳＰ１、ＳＰ２が行き交って走行している状態を示す。そして図１２（Ｂ）及び（Ｃ）に、同（Ａ）で示す局所領域を被せた状態を示したのが同（Ｄ）及び（Ｅ）である。
【００９９】航空機がスポットに近づき低速し、停止すると局所領域Ｃ０に航空機Ｊの機体が表れる。この状態を前記低速移動物体抽出の手法を用いて検出する。この場合、図１３（Ａ）で示すように、局所領域Ｃ０内の長辺方向に航空機Ｊの投影を落としてその長さを求めると、機体の長さを測定することができる。そしてこの機体の長さから機種を判定することができる。航空機がスポットに近づき、停止するまでの投影値の変化を示したのが表７である。
【０１００】
【表７】
【０１０１】表７より明らかなように、時刻ｔ１、ｔ２、ｔ３・・・と変化すると共に投影の長さ即ち投影値が増加し、ある時刻（この例ではｔ４）を越えるとその増加が停止する。そして投影値の変動が止まり安定した段階で航空機が停止したと判断する。一方投影値と実際の長さの関係を求めて変換式を求めておけば航空機の実際の長さが分かり、長さの違いから航空機の種類が判断できる。
【０１０２】また図１２（Ｃ）、（Ｅ）に示している特殊車両ＳＰ１、ＳＰ２に関しては、前記中速・高速移動物体抽出の手法を用いてこれらを検出できる。航空機と同様に投影値を求めることにより局所領域内に存在している対象物の個数を求めることができる。
【０１０３】例えば図１２（Ｅ）において、局所領域Ｌ５について投影値を求めたものが図１３（Ｂ）である。これにより投影値がそれぞれ２つ存在するので、局所領域内に２種類の独立した対象物体が存在していることが判断できる。
【０１０４】図１２（Ｅ）の様に特殊車両が移動した場合の局所領域における対象物体の検出個数の変化を時系列的に示したのが表８である。
【０１０５】
【表８】
【０１０６】この表８により車両の移動とともに局所領域内の対象物体の数が変動しているのがわかる。これにもとづき、時刻ｔ５では、局所領域Ｌ６に存在した特殊車両が局所領域Ｌ７に移動して、その個数が２になったこと、時刻ｔ７では局所領域Ｌ７を走行していた２個のうちの１つが局所領域Ｌ５に移動したこと、時刻ｔ９では他の１つも局所領域Ｌ５に移動して再びその個数が２になったこと等が解析できる。
【０１０７】前記説明ではトンネル及び空港の例について説明したが本発明は勿論これのみに限定されるものではない。走行速度も低中高の３種類の例について説明したが勿論これに限定されるものではなく、例えば０〜３０ｋｍ、３０〜６０ｋｍ、６０〜９０ｋｍ、９０〜１２０ｋｍ、１２０〜１５０ｋｍ、１５０ｋｍ以上というように細かく区分することも勿論できる。
【０１０８】
【発明の効果】本発明により以下の如くすぐれた効果が得られる。本発明では複数の区分の速度画像を生成することができるので、種々の速度で移動している対象物体が数多く存在する場合に、ある速度範囲で対象物体を分離することが可能となり、解析処理を容易に行うことができる。
【０１０９】また対象物体の特徴量を求め、特徴量の時系列変化を求め、特徴量を解析することにより容易に対象物体の軌跡を求めることができる。さらに局所領域における特徴量を算出し、局所領域毎の特徴量の有無から時系列変化を求めることにより、これまた対象物体の軌跡を容易に求めることができる。
【０１１０】しかも特徴量の形状情報を用いることにより、より詳細な対象物体の軌跡を容易に抽出することもできる。時刻毎の位置の変化及び面積の変化が極めて少ない停止物体を容易に抽出することができる。
【０１１１】原画像からでは同定が困難な、急激な速度変化や方向変化を生じた対象物体について特徴量の有無及び形状特徴の時系列変化または速度画像間変化から軌跡を算出し移動物体を容易に同定することができる。
【０１１２】面積の大小のみでは判断できない大型の対象物体の存在を容易に抽出することができる。しかも小型物体が大型の対象物体に隠された状態でも、同一物体の軌跡を抽出することができる。
【０１１３】速度画像に分離したのち、停止＋低速画像に対し、局所領域における物体の有無や、ランプの点滅のような同一形状特徴の周期性を解析することにより点滅している物体を容易に抽出することができる。
【図面の簡単な説明】
【図１】本発明の原理図である。
【図２】本発明一実施例構成図である。
【図３】本発明に使用される原画像説明図である。
【図４】本発明における局所領域説明図の一例である。
【図５】本発明における速度画像抽出説明図である。
【図６】本発明における速度画像抽出の他の例である。
【図７】本発明における局所領域内特徴量抽出部の説明図である。
【図８】停止物体と低速移動物体の存在する場合の説明図である。
【図９】中速移動物体説明図である。
【図１０】高速移動物体説明図である。
【図１１】大型移動物体説明図である。
【図１２】本発明を空港のスポット監視用に使用した場合の説明図である。
【図１３】本発明における投影値算出説明図である。
【符号の説明】
１ 画像入力部
２ 背景画像抽出部
３ 第１平均背景抽出部
４ 第２平均背景抽出部
４′ 第ｎ平均背景抽出部
５ 第１差分演算処理部
６ 第２差分演算処理部
７ 第３差分演算処理部
７′ 第ｎ＋１差分演算処理部
８ 第１局所領域内特徴抽出部
９ 第２局所領域内特徴抽出部
１０ 第ｎ＋１局所領域内特徴抽出部
２０ 軌跡算出部
【特許請求の範囲】
【請求項１】 背景及び物体を含む画像を入力する画像入力手段と、背景を保持、出力する背景画像抽出手段と、第１の速度までの移動物体と背景が含まれる画像を抽出する第１平均背景抽出手段と、第２の速度までの移動物体と背景が含まれる画像を抽出する第２平均背景抽出手段と、背景画像抽出手段の出力と、前記第１平均背景抽出手段の出力との差分を求めて速度画像を生成する第１差分演算処理手段と、前記２つの平均背景抽出手段の出力の差分を求めて速度画像を生成する第２差分演算処理手段と、前記画像入力手段の出力と、前記第２の平均背景抽出手段の出力との差分を求めて速度画像を生成する第３差分演算処理手段を具備したことを特徴とする画像処理装置。
【請求項２】 前記各差分演算処理手段の出力を、複数の局所領域を設定する局所領域決定手段と、前記局所領域決定手段で決定された局所領域内の入力画像にラベルを付与して物体を分離するラベル処理手段と、前記ラベル処理手段において処理された同一ラベル付けされた領域に対して特徴量を算出する特徴量算出手段を有する局所領域内特徴量抽出処理手段により処理することを特徴とする請求項１記載の画像処理装置。
【請求項３】 前記第１差分演算処理手段の出力を、複数の局所領域を設定する局所領域決定手段と、前記局所領域決定手段で決定された局所領域内の入力画像にラベルを付与して物体を分離するラベル処理手段と、前記ラベル処理手段において処理された同一ラベル付けされた領域に対して投影をとり、物体の位置を算出し、物体の縦横の長さ、面積等の特徴量を算出する特徴量算出手段を有する局所領域内特徴量抽出処理手段により処理し、時刻毎に物体の位置変化と特徴量の変化を求め、その変化により停止物体を抽出する軌跡算出手段を具備したことを特徴とする請求項１記載の画像処理装置。
【請求項４】 前記各差分演算処理手段から出力される速度画像毎に、前記局所領域に対応してそれぞれ局所領域内特徴量抽出処理手段を具備する局所領域内特徴抽出手段を設けたことを特徴とする請求項２記載の画像処理装置。
【請求項５】 前記各局所領域内特徴抽出手段の出力にもとづき各局所領域内の物体の存在を時系列的に検知して作表する作表手段を有する軌跡算出手段を設けたことを特徴とする請求項２記載の画像処理装置。
【請求項６】 軌跡算出手段に特徴を抽出する特徴解析手段を設け、前記特徴算出手段より算出された特徴のうち物体の形状特徴により同一移動物体の軌跡を作表するようにしたことを特徴とする請求項５記載の画像処理装置。
【請求項７】 複数の局所的な処理領域における物体の通過の有無と、物体の形状特徴を検知する特徴解析部と、通過時の時刻を示す作表手段より同一移動物体の軌跡を算出し、物体の急激な速度変化や方向変化を判別し移動物体を同定することを特徴とする請求項５記載の画像処理装置。
【請求項８】 複数の局所領域を物体のサイズに応じて設定し、前記各局所領域内の物体の存在を時系列的に検知して作表する作表手段を有する軌跡算出手段に同一移動体を判別する特徴解析部と表を解析する表解析部を設け、大きい物体が小さい物体を隠す場合でもこれらの局所領域の軌跡を判別して同一移動物体の軌跡を認識することを特徴とする請求項５記載の画像処理装置。
【請求項９】 複数の局所領域を設定し、各局所領域における物体の通過の有無の周期性を調べる表解析部と、同一形状特徴の周期性を調べる特徴解析手段を設け、現れたり消えたりしている物体を同定することを特徴とする請求項６記載の画像処理装置。
【請求項１】 背景及び物体を含む画像を入力する画像入力手段と、背景を保持、出力する背景画像抽出手段と、第１の速度までの移動物体と背景が含まれる画像を抽出する第１平均背景抽出手段と、第２の速度までの移動物体と背景が含まれる画像を抽出する第２平均背景抽出手段と、背景画像抽出手段の出力と、前記第１平均背景抽出手段の出力との差分を求めて速度画像を生成する第１差分演算処理手段と、前記２つの平均背景抽出手段の出力の差分を求めて速度画像を生成する第２差分演算処理手段と、前記画像入力手段の出力と、前記第２の平均背景抽出手段の出力との差分を求めて速度画像を生成する第３差分演算処理手段を具備したことを特徴とする画像処理装置。
【請求項２】 前記各差分演算処理手段の出力を、複数の局所領域を設定する局所領域決定手段と、前記局所領域決定手段で決定された局所領域内の入力画像にラベルを付与して物体を分離するラベル処理手段と、前記ラベル処理手段において処理された同一ラベル付けされた領域に対して特徴量を算出する特徴量算出手段を有する局所領域内特徴量抽出処理手段により処理することを特徴とする請求項１記載の画像処理装置。
【請求項３】 前記第１差分演算処理手段の出力を、複数の局所領域を設定する局所領域決定手段と、前記局所領域決定手段で決定された局所領域内の入力画像にラベルを付与して物体を分離するラベル処理手段と、前記ラベル処理手段において処理された同一ラベル付けされた領域に対して投影をとり、物体の位置を算出し、物体の縦横の長さ、面積等の特徴量を算出する特徴量算出手段を有する局所領域内特徴量抽出処理手段により処理し、時刻毎に物体の位置変化と特徴量の変化を求め、その変化により停止物体を抽出する軌跡算出手段を具備したことを特徴とする請求項１記載の画像処理装置。
【請求項４】 前記各差分演算処理手段から出力される速度画像毎に、前記局所領域に対応してそれぞれ局所領域内特徴量抽出処理手段を具備する局所領域内特徴抽出手段を設けたことを特徴とする請求項２記載の画像処理装置。
【請求項５】 前記各局所領域内特徴抽出手段の出力にもとづき各局所領域内の物体の存在を時系列的に検知して作表する作表手段を有する軌跡算出手段を設けたことを特徴とする請求項２記載の画像処理装置。
【請求項６】 軌跡算出手段に特徴を抽出する特徴解析手段を設け、前記特徴算出手段より算出された特徴のうち物体の形状特徴により同一移動物体の軌跡を作表するようにしたことを特徴とする請求項５記載の画像処理装置。
【請求項７】 複数の局所的な処理領域における物体の通過の有無と、物体の形状特徴を検知する特徴解析部と、通過時の時刻を示す作表手段より同一移動物体の軌跡を算出し、物体の急激な速度変化や方向変化を判別し移動物体を同定することを特徴とする請求項５記載の画像処理装置。
【請求項８】 複数の局所領域を物体のサイズに応じて設定し、前記各局所領域内の物体の存在を時系列的に検知して作表する作表手段を有する軌跡算出手段に同一移動体を判別する特徴解析部と表を解析する表解析部を設け、大きい物体が小さい物体を隠す場合でもこれらの局所領域の軌跡を判別して同一移動物体の軌跡を認識することを特徴とする請求項５記載の画像処理装置。
【請求項９】 複数の局所領域を設定し、各局所領域における物体の通過の有無の周期性を調べる表解析部と、同一形状特徴の周期性を調べる特徴解析手段を設け、現れたり消えたりしている物体を同定することを特徴とする請求項６記載の画像処理装置。
【図３】
【図４】
【図１】
【図２】
【図７】
【図６】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図４】
【図１】
【図２】
【図７】
【図６】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【特許番号】特許第３２８８４７４号（Ｐ３２８８４７４）
【登録日】平成１４年３月１５日（２００２．３．１５）
【発行日】平成１４年６月４日（２００２．６．４）
【国際特許分類】
【出願番号】特願平５−１２２５６３
【出願日】平成５年５月２５日（１９９３．５．２５）
【公開番号】特開平６−３３７９３８
【公開日】平成６年１２月６日（１９９４．１２．６）
【審査請求日】平成１１年１１月１９日（１９９９．１１．１９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【参考文献】
【文献】特開 平２−２９４１８４（ＪＰ，Ａ）
【登録日】平成１４年３月１５日（２００２．３．１５）
【発行日】平成１４年６月４日（２００２．６．４）
【国際特許分類】
【出願日】平成５年５月２５日（１９９３．５．２５）
【公開番号】特開平６−３３７９３８
【公開日】平成６年１２月６日（１９９４．１２．６）
【審査請求日】平成１１年１１月１９日（１９９９．１１．１９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【参考文献】
【文献】特開 平２−２９４１８４（ＪＰ，Ａ）
[ Back to top ]