画像上移動物体認識方法及び装置
【課題】移動物体を高速かつより正確に認識する。
【解決手段】時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する。第1段階で移動物体領域の概略をブロック単位で高速に認識し、第2段階で該領域のみについてブロック単位で修正する。第2段階での該基準値を第1段階のそれより大きくし、第2段階での該ブロックのサイズを第1段階のそれより小さくし、第2段階で孤立移動物体ブロックのをその近くの移動物体クラスタと一体化し、又は、第1段階で輝度成分のみ用い第2段階で色成分を用いる。これらのいずれかを行っても同一移動物体が分離認識される場合には、第2段階での該基準値を第1段階のそれより小さくする。
【解決手段】時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する。第1段階で移動物体領域の概略をブロック単位で高速に認識し、第2段階で該領域のみについてブロック単位で修正する。第2段階での該基準値を第1段階のそれより大きくし、第2段階での該ブロックのサイズを第1段階のそれより小さくし、第2段階で孤立移動物体ブロックのをその近くの移動物体クラスタと一体化し、又は、第1段階で輝度成分のみ用い第2段階で色成分を用いる。これらのいずれかを行っても同一移動物体が分離認識される場合には、第2段階での該基準値を第1段階のそれより小さくする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、時系列画像を処理して画像中の移動物体(車、自転車、動物等の移動可能なもの)を認識する画像上移動物体認識方法及び装置に関する。
【背景技術】
【0002】
ビデオカメラで移動物体を撮像し、画像処理して画像上の移動物体を認識し追跡することにより、交通状態や交通事故の検出、駐車場の車の出入り分析、店舗内の客の移動分析等を自動的に行うことができる。
【0003】
画像上の移動物体を認識し追跡する方法として、例えば480×640画素のフレームを8×8画素のブロックに分割して60×80ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体を検出し、時刻t−1とtのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号(ID)及び動きベクトル(MV)を求める方法がある(例えば下記特許文献1〜3)。これにより、同一移動物体と認められるブロックには同一IDが付与される。
【0004】
このような方法では、フレーム画像内の複数の移動物体をリアルタイムで追跡処理する必要があるので、処理を高速化する必要がある。特に、移動物体の速度を計測する場合には、計測精度を高めるためフレーム30フレーム/秒の全てのフレーム画像が処理されるので、より高速化が要求される。
【0005】
この要求に応えるために、モノクロ画像を用いると、移動物体とその影とを区別することが困難となる。また、模様の無い移動物体が多く、特に移動物体の中間部のブロックの特徴量が少ないため、モノクロ画像では移動物体の中間部が背景と区別できない場合が生じ、この場合、同一移動物体でありながら前部と後部が異なる移動物体と認識される。逆に、濃度が類似している2つの移動物体が重なっている場合、1つの移動物体と認識される場合がある。
【0006】
このような問題を解決するため、高解像度のカラー画像を処理すると、フレームを間引かなければリアルタイム処理ができなくなり、移動物体の位置や速度等の物理量の計測精度が低くなる。すなわち、処理の高速化と移動物体認識の正確化は、トレードオフの関係にある。
【0007】
下記特許文献4では、画像上で抽出すべき領域を大まかに位置指定するだけで対象画像を自動的に切り出すために、画像中の一次特徴データを高速に抽出し、その分布に基づいて画像の領域分割を行うことにより、抽出可能性のある画像領域を概略的に抽出し、次に候補領域を核とする二次特徴量(一次特徴と種別、属性などが異なる特徴量)に基づく領域成長を行うことにより、より精細な抽出を行う方法が開示されている。一次特徴としては低解像度データ(例えば画像を間引き処理または平均化などにより低解像化した後、動きベクトルを検出するか、または画像データをサイズの大きいブロックに分割して各ブロックごとの動きベクトルを算出する。)を用い、二次特徴は色成分または同じ種別の高解像度データを用いる。動きベクトル均質度の評価から領域成長核の設までは低解像度で行い、領域成長は高解像度で行うことにより精細な切り出しを行う。領域成長は、均質度に基づく部分領域の併合または分離処理を意味する。
【0008】
しかし、二次特徴量を具体的にどのように処理するのか開示されていない。画像上の複数の移動物体を切り出してより高精度で位置や速度等を計測するには、効率よく画像処理する必要があるが、この要求を満たす具体的な方法が特許文献4には開示されていない。
【特許文献1】特開2002−133421号公報
【特許文献2】特開2003−006655号公報
【特許文献3】特開2003−263626号公報
【特許文献4】特開平09−185720号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
本発明の目的は、上記問題点に鑑み、移動物体を高速かつより正確に認識することができる画像上移動物体認識方法及び装置を提供することにある。
【課題を解決するための手段】
【0010】
本発明による画像上移動物体認識方法では、時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識方法において、第1段階で移動物体領域の概略をブロック単位で高速に認識し、第2段階で該領域のみについてブロック単位で修正することにより、移動物体を高速かつより正確に認識する。
【0011】
本発明の第1態様では、
(a)該基準値を第1の値にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
(b)該基準値を該第1の値より大きい第2の値にし、該領域内において移動物体の存否をブロック単位で判定すことにより、ステップ(a)で移動物体と判定された影の領域をステップ(b)により狭くする。
【0012】
本発明による画像上移動物体認識方法の第2態様では、
(a)該ブロックのサイズを第1の値にして該非類似度に基づき移動物体存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
(b)該領域の周縁部のブロックを、該第1の値より小さい第2の値のサイズのブロックに分割し、該分割された各ブロックにつき該非類似度に基づいて移動物体存否を判定する。
【0013】
本発明による画像上移動物体認識方法の第3態様では、
(a)該基準値を第1の値にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
(b)2つの該領域が所定値以上接近し、かつ、該2つの領域の動きベクトルの差が所定値以下であれば、該2つの領域が内接する矩形を求め、
(c)該矩形内の各ブロックについて該非類似度が、該第1の値より小さい第2の値以上であれば移動物体が該ブロックに存在すると判定する。
【0014】
本発明による画像上移動物体認識方法の第4態様では、移動物体が存在するブロックが連なった第1及び第2の領域について、該第1の領域のブロック数が所定値以下であり、かつ、該第2の領域が該第1の領域から所定距離内に存在すれば、該第1及び第2の領域と両者の間の領域にも移動物体が存在するとみなし、該第1及び第2の領域と該両者の間の領域に同一移動物体が存在するとみなす。
【0015】
本発明による画像上移動物体認識方法第5態様では、
(a)輝度成分を用いて該方法によりブロック単位で移動物体存否を仮判定し、移動物体が存在すると仮判定したブロックが連なった領域を認識し、
(b)該領域について、色成分も用いて該方法によりブロック単位で移動物体存否を本判定する。
【発明の効果】
【0016】
上記第1〜5態様の構成によれば、第1段階で認識された移動物体存在領域に関してのみ第2段階で修正処理されるので、処理が高速になる。
【0017】
上記第1態様の構成によれば、非類似度の比較基準値を第1段階よりも大きくするので、第1段階で移動物体の影を移動物体と認識されても、第2段階でその一部又は全部が移動物体と認識されず、また、第2段階で新たな移動物体不存在ブロックが該領域の縁部を除く内側に生成されても、これらを同一移動物体みなして処理することが可能であるので、処理時間の増大を抑制するとともに、移動物体認識の正確化を図ることができる。
【0018】
上記第2態様の構成によれば、第1段階で認識された移動物体領域の内側のブロックについては再分割されないので、該領域の周縁部形状が従来よりも高速かつ正確に求められ、また、第2段階で新たな移動物体不存在ブロックが該領域の内側に生成されないので、それを移動物体存在ブロックで埋める処理をする必要がない。
【0019】
上記第3又は第4態様の構成によれば、例え上記第1又は第2態様の第1段階で同一移動物体が異なる移動物体として分離認識されても、これらを同一移動物体と認識することが可能となる。
【0020】
上記第5態様の構成によれば、第1段階で認識された移動物体領域の画像とその背景画像との非類似度が、実際に移動物体が存在するブロックについて第2段階で大きくなるので、第2段階では、第1段階で移動物体と認識された影のブロックを除去したり、第1段階で移動物体の一部であるのに移動物体でないと判定されたブロックを移動物体存在ブロックと判定することが可能となる。このため、2つの移動物体の一方の影に他の移動物体が重なっていて、該2つの移動物体と該影とが1つの移動物体と認識されても、これら2つの移動物体を分離して認識することが可能となる。
【0021】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
【発明を実施するための最良の形態】
【0022】
以下、図面に基づいて本発明の実施例を説明する。図中、同一又は類似の要素には、同一又は類似の符号を付している。
【実施例1】
【0023】
図1は、ビデオカメラ(例えばITVカメラ)10で撮像された画像を処理して移動物体を追跡する移動物体追跡装置20の概略機能ブロック図である。ビデオカメラ10は、例えば交差点付近に配置されており、図2はこのビデオカメラ10で撮像された概略フレーム画像を示す。
【0024】
移動物体追跡装置20のうち記憶部以外は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウエアと専用のハードウエアの組み合わせで構成することができる。
【0025】
ビデオカメラ10で撮影された時系列画像は、例えば30フレーム/秒のレートで、画像メモリ21に複数フレーム格納され、最も古いフレームが新しいフレーム画像で書き換えられる。
【0026】
本発明は、画像メモリ21に格納された画像データを構成要素23〜26により、リアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。
【0027】
また、画像メモリ21に格納された画像(原画像)を直接、構成要素23〜26で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は2次元フーリエ変換し所定周波数以上の成分を強調した後逆フーリエ変換したもの(変換画像)を、構成要素23〜26で処理する構成であってもよい。以下、「画像」とは原画像又は変換画像を意味する。
【0028】
背景画像生成部22は、記憶部と処理部とを備え、処理部は、画像メモリ21をアクセスし、例えば過去1分間の全ての又は間引かれたもののフレーム画像の対応する画素について画素値のヒストグラムを作成し、その最頻値(モード)をその画素の値とする画像を、背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
【0029】
ここで、図2に示す如くフレーム30内には、交差点への4つの入口及び交差点からの4つの出口にそれぞれ入口スリットEN1〜EN4及び出口スリットEX1〜EX4が配置される。ID生成/消滅部23には、フレーム30内の入口スリットEN1〜EN4及び出口スリットEX1〜EX4の位置及びサイズのデータが、予め設定されている。ID生成/消滅部23は、画像メモリ21から入口スリットEN1〜EN4内の画像データを読み込み、これら入口スリット内に移動物体が存在するかどうかを上述のブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、ブロック非類似度NSが基準値RV1以上であるかどうかにより判定する。ブロック非類似度NSは例えば、ブロック内の各画素と背景画像の対応する画素との差の絶対値の総和である。
【0030】
ID生成/消滅部23は、ブロック内に移動物体が存在すると判定すると、このブロックに新たな移動物体識別符号(ID)を付与する。ID生成/消滅部23は、ID付与済ブロックと隣接しているブロックに移動物体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のIDを付与する。このID付与済ブロックは入口スリットに隣接しているブロックも含まれる。例えば図2中の入口スリットEN1内のブロックにはID=1が付与される。以下、IDが付与されたブロックの塊をクラスタと称する。
【0031】
IDの付与は、記憶部24内のオブジェクトマップの対応するブロックに対して行われる。オブジェクトマップ記憶部24は、上述の場合60×80ブロックの各ブロックの移動物体情報を記憶するためのものであり、移動物体情報は、IDが付与されているかどうかを示すフラグFと、IDが付与されていることを示している場合にはID及びブロックの動きベクトルMVを含む。なお、該フラグを用いずに又は用いるとともに、ID=0のときIDが付与されていないと判定してもよい。また、IDの最上位ビットをフラグとしてもよい。ブロックマッチングで動きベクトルMVが求まらないブロックの動きベクトルMVは例えば、その回りの同一IDのブロックの動きベクトルMVの平均値に等しくする。
【0032】
入口スリットを通過したクラスタに対しては、移動物体認識部25により公知の方法で追跡処理が行われる。例えば、高速処理のため、時刻t−1(時刻は例えばフレームのシリアルナンバー)での動きベクトルMVに基づいて時刻tでのクラスタの概略移動範囲が推定され、この範囲内で上述の移動物体存否判定がブロック毎に行われ、移動方向側のブロックに対するIDの付与及び移動と反対方向側のブロックに対するIDの消滅が行われて、時刻tでのクラスタが決定される。また、時刻t−1とtのフレーム画像間のブロックマッチングにより、時刻tでIDが付与されているブロックの動きベクトルMVが求められる。高速処理のため、ブロックマッチングを行う範囲は、時刻t−1での動きベクトルMVで予測して定められる。各ブロックのIDと動きベクトルMVは、評価関数を用いて同時に決定することもできる(例えば上記特許文献3)。ID及び動きベクトルMVの更新は、記憶部24内のオブジェクトマップに対して行われる。
【0033】
移動物体認識部25による追跡処理は、各クラスタについて出口スリット内まで行われる。
【0034】
ID生成/消滅部23はさらに、記憶部24内のオブジェクトマップに基づき出口スリットEX1〜EX4内のブロックにIDが付与されているかどうかを調べ、付与されていれば、クラスタが出口スリットを通過したときにそのIDを消滅させる。例えば図2中の出口スリットEX1内のブロックにID=3が付されている状態から、IDが付されない状態に変化したときに、ID=3を消滅させる。消滅IDは、次の生成IDとして用いることができる。
【0035】
次に、本実施例1が解決しようとする問題点を説明する。
【0036】
基準値RV1が大きすぎると、図5(A)に示す如く同一移動物体が複数のクラスタとなって、異なる移動物体と認識される。これを避けるために基準値RV1を小さくすると、図4(A)に示す如く移動物体31の影32も移動物体と認識されてしまう。様々な輝度の移動物体が存在するので、両問題が生じないように基準値RV1を定めるのは困難である。
【0037】
そこで、各ブロックの移動物体存否判定にその周囲のブロック画像まで考慮したり、カラー画像を用いたりすると、処理が遅くなる。これを避けるためには、フレームレートを下げたり、あるいは高性能の高価なハードウェアを用いなければならない。
【0038】
本実施例1は、このような問題を解決するため、図1において、ID生成/消滅部23及び移動物体認識部25により記憶部24に生成されたオブジェクトマップに対し、移動物体認識修正部26により各クラスタ内の移動物体を以下のようにしてより正確に認識する。
【0039】
移動物体認識修正部26はまず、IDのオブジェクトマップ上の各クラスタついて、図4(A)に示す如く、クラスタが内接する矩形33を求める。これは、IDのオブジェクトマップをスキャンして、各IDj、j=1〜NにつきそのブロックのX座標の最小値X0j及び最大値Xmj、並びにY座標の最小値Y0j及び最大値Ymjを求めることにより、
ID1,(X01,Y01),(Xm1,Ym1)
ID2,(X02,Y02),(Xm2,Ym2)
・・・・・・・・・・・・・・・・・・・・・・
IDN,(X0N,Y0N),(XmN,YmN)
として得られる。これら矩形のID1〜IDNは、その矩形内の移動物体ブロックに付与されているIDと同一である。
【0040】
図3は、任意の1つのクラスタが内接する矩形に対する移動物体認識修正部26の処理を示す概略フローチャートである。
【0041】
この矩形33の対角点座標を(X0,Y0)及び(Xm,Ym)、ブロック(X,Y)のID及び非類似度NSをそれぞれID(X,Y)及び非類似度NS(X,Y)と表記する。
【0042】
(S0)X及びYにそれぞれ初期値X0及びY0を代入する。
【0043】
(S1)ID(X,Y)≠0であれば、すなわちブロック(X,Y)に移動物体が存在すれば、ステップS2へ進み、そうでなければステップS4へ進む。
【0044】
(S2)NS(X,Y)≦RV2であればステップS3へ進み、そうでなければステップS4へ進む。
【0045】
基準値RV2は、移動物体認識部25で用いる基準値RV1よりも大きく、移動物体のみを移動物体と認識しその影32を移動物体でないと認識するためのものである。基準値RV2は、移動物体追跡処理前に予め設定されている。
【0046】
この設定は、図1において、マウス等のポインティングデバイス又はキーボード等の入力装置INと、設定を確認する表示装置OUTと、移動物体認識修正部26に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。
【0047】
基準値RV2は例えば、画面上で選択した移動物体を拡大表示させ、各ブロックの非類似度NSをこの画像上に重ねて表示させ、その分布から操作者が決定する。この場合、非類似度NSのヒストグラムを作成して画面に表示させるようにしてもよい。ヒトグラム上で影に対応したピークが現れるので、このピーク又はその裾側のボトムの非類似度NSに基づいて、基準値RV2を自動的に決定する構成であってもよい。
【0048】
(S3)ID(X,Y)に0を代入する。
【0049】
(S4)矩形33内のブロック座標(X,Y)を更新する。
【0050】
(S5)更新した座標が矩形33内であれば、ステップS1へ戻り、そうでなければステップS6へ進む。
【0051】
以上のような処理により、図4(A)に示すような矩形33内のID分布は、図4(B)に示す如くなって、影の一部または全部が移動物体でないと判定される。
【0052】
(S6、S7)移動物体の輝度が背景の輝度に接近しているために、以上の処理により図5(A)に示す如くクラスタが分離したり、移動物体ブロックが欠落する場合があるので、次のようにして移動物体ブロックを補う。
【0053】
すなわち、矩形33内の各行についてX方向へ走査し、同一行内において、移動物体が存在するブロックから存在しないブロックに移り、再度移動物体が存在するブロックに移った場合には、この間の移動物体不存在ブロック(隙間)に、矩形に付与された移動物体のIDを付与する。これにより、図5(B)に示す如く、クラスタ間の隙間が埋まって1つの移動物体クラスタが得られる。すなわち、クラスタが2つ以上に分離したり、分離していないが隙間がある場合には、これら隙間が同一IDの移動物体ブロックで埋められる。
【0054】
基準値を最初からRV2にすると、同一移動物体が複数のクラスタに分離する確率が大きくなり、分離したクラスタをまとめて1つの移動物体と認識するのは容易でなく、また、その処理時間が長くなる。
【0055】
本実施例1では、非類似度の基準値を比較的小さなRV1にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、各領域内において、基準値をRV1より大きいRV2にして移動物体の存否をブロック単位で判定するので、処理時間の増大を抑制するとともに、移動物体の影の一部又は全部を移動物体でないと判定して移動物体認識の正確化を図ることができる。
【実施例2】
【0056】
図6は、ビデオカメラ10で撮像された画像を処理して移動物体を追跡する、本発明の実施例2に係る移動物体追跡装置20Aの概略機能ブロック図である。
【0057】
実施例1と異なる点は、ブロックサイズを大きくし、例えば、図8(A)に示すようにブロックの一辺の長さを2倍にして、ID生成/消滅部23及び移動物体認識部25での処理時間を短縮するとともに、移動物体認識修正部26Aにおいて、オブジェクトマップ上の各移動物体領域の周縁部につき、画像メモリ21及び背景画像生成部22のデータを用い移動物体を、以下のようにしてより正確に認識する点である。
【0058】
ブロックサイズを大きくすることにより1ブロックに含まれる情報量が増えるので、図5(A)に示すようにブロックに移動物体が存在するにも関わらず存在しないと誤判定される確率を低減することができる。
【0059】
しかしながら、ブロックサイズが大きいので、移動物体と判定される領域が広くなりすぎる。
【0060】
移動物体をより正確に認識するために、移動物体と判定された全領域のブロックサイズを小さくすると、1ブロックに含まれる情報量が減少するので、上述の隙間が生じ、1つの移動物体が複数のクラスタに分離したりし、その修正処理に時間を要する。
【0061】
そこで、移動物体認識修正部26Aは、実施例1で述べたように、まず、クラスタが内接する矩形33を求め、次に、各矩形について図7に示す処理を行う。
【0062】
この矩形33の対角点座標を(X0,Y0)及び(Xm,Ym)、ブロック(X,Y)の移動物体存否フラグをF(X,Y)と表記する。
【0063】
(S10)X及びYにそれぞれ初期値X0及びY0を代入する。
【0064】
(S11)F(X,Y)=1であれば、すなわちブロック(X,Y)に移動物体が存在すれば、ステップS12へ進み、そうでなければステップS15へ進む。
【0065】
(S12)着目ブロック(X,Y)を中心とする3×3ブロックのフラグFの値を加算し、これをnとする。矩形33の外側のフラグFは無視する。
【0066】
(S13)n≦6であれば、すなわち着目ブロックの周囲8ブロックのうち3ブロック以上に移動物体が存在しなければ、ステップS14へ進み、そうでなければステップS15へ進む。例えば、ブロックBL1、BL2はそれぞれn=4、n=7である。
【0067】
(S14)図8(B)に示すように、ブロック(X,Y)を4分割し、その各々について非類似度NSを求め基準値と比較して移動物体存否を判定し、存在すると判定されたブロックのみに、上記矩形33のIDを付与する。
【0068】
(S15)矩形33内のブロック座標(X,Y)を更新する。
【0069】
(S16)更新した座標が矩形33内であれば、ステップS11へ戻り、そうでなければ処理を終了する。
【0070】
本実施例2では、ブロックサイズを比較的大きな第1の値にして非類似度NSに基づき移動物体存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を短時間、例えば従来の約1/4の時間で認識し、該領域の周縁部のブロックを、該第1の値より小さい第2の値のサイズのブロックに分割し、該分割された各ブロックにつき非類似度NSに基づいて移動物体存否を判定するので、図8(B)に示すように周縁部の形状がより正確に求められ、また、移動物体の内側のブロックについては分割されないので新たに隙間が形成されず、それを埋める処理をする必要がない。
【0071】
また、着目ブロックに接する移動物体不存在ブロックの数が所定数以上である該着目ブロックを上記周縁部のブロックと判定するので、簡単な処理で分割が必要なブロックのみ分割することが可能となり、短時間で移動物体を正確に認識することが可能となる。
【0072】
なお、ステップS11又はステップS13からステップS15へ進む場合に、ステップ15へ移る前に着目ブロック(X,Y)を分割し、その各々に分割前のID(移動物体が存在しないブロックのIDは0)を付与してもよい。このようにすれば、図7の処理により図9に示すような結果が得られ、矩形33内のデータ構造が簡単になるので、矩形33内に対する他の処理が容易になる。
【0073】
また、図7の処理の後に、図2のステップS6及びS7の処理を行ってもよい。
【実施例3】
【0074】
実施例1又は2において、基準値RV1を比較的小さな値にし又はブロックサイズを大きくしても、移動物体によっては背景と輝度が類似しているために、図11(A)に示す如く、1つの移動物体が2つのクラスタとして認識される場合がある。
【0075】
本実施例3ではこの問題を解決するため、図1の移動物体認識修正部26は、クラスタが内接する複数の矩形のうち隣り合う矩形対に対し、図10に示す処理を行う。
【0076】
(S20)矩形34、35間のX方向距離ΔX及びY方向距離ΔY(矩形間が接する場合は0、重なり合う場合は負)を求める。図11(A)の場合、ΔX>0、ΔY<0である。
【0077】
(S21a、S21b)ΔX≦D1かつΔY≦D2であればステップS21cへ進み、そうでなければ処理を終了する。D1及びD2はいずれも正の値であり、本実施例3の効果が得られるように経験的に定められ、上述の設定手段により予め設定されている。
【0078】
(S21c)それぞれの矩形内のブロックの動きベクトル代表値、例えば平均値M1及びM2を求め、両者の差ΔM=|M1−M2|を求める。ΔM≦D3であればステップS22へ進み、そうでなければ処理を終了する。このD3についても上記D1及びD2と同様に定められ、予め設定されている。
【0079】
(S22)図11(B)に示すように、両矩形が内接する矩形36を求める。また、矩形36内の移動物体ブロックのIDを、いずれか一方の値IDjに統一し、IDjを矩形36に付与する。
【0080】
(S23)RV1−Δを新たな基準値RV3とする。Δは正の値であり、上述のD1〜D3と同様に定められ、上述の設定手段で予め設定されている。基準値RV1は、オブジェクトマップ作成のために移動物体認識部25で用いられた値である。また、X及びYにそれぞれ矩形の一方の対角点座標X0及びY0を代入する。
【0081】
(S24)ID(X,Y)=0であればステップS25へ進み、そうでなければステップS27へ進む。
【0082】
(S25)NS(X,Y)≧RV3であればこのブロックに移動物体が存在すると判定してステップS26へ進み、そうでなければステップS27へ進む。
【0083】
(S26)ID(X,Y)に、矩形に付与されているIDjを代入する。
【0084】
(S27)矩形36内のブロック座標(X,Y)を更新する。
【0085】
(S28)更新した座標が矩形36内であれば、ステップS24へ戻り、そうでなければステップS29へ進む。
【0086】
以上の処理により、図11(B)に示すようなIDのオブジェクトマップが得られる。
【0087】
(S29、29A)図3のステップS6及びS7と同じ処理を行う。
【0088】
本実施例3によれば、以上の処理により、図12に示すようなIDのオブジェクトマップが得られ、移動物体をより正確に認識することが可能となる。
【0089】
なお、1つの移動物体が3以上のクラスタに分離して認識されている場合には、その2つのクラスタについて以上の処理を行い、これを繰り返すことにより、1つの移動物体と認識される。
【実施例4】
【0090】
上記いずれかの実施例において、移動物体認識部25により生成されたIDのオブジェクトマップが図14(A)に示すように、周囲に移動物体ブロックが存在しない孤立移動物体ブロック37(斜線部)が存在する場合がある。このような小さな移動物体が独立して存在する確率は、一般的に小さい。また、孤立移動物体ブロック37は、その近くの移動物体ブロックと同じ移動物体に属する確率が大きい。
【0091】
そこで、本発明の実施例3では、このような孤立移動物体ブロック37が存在する場合、移動物体認識修正部26又は26Aにおいて、各孤立移動物体ブロック毎に図13に示す処理を行う。
【0092】
(S30)矩形36内に孤立移動物体ブロックが存在するかどうかを調べる。存在すればステップS31へ進み、そうでなければ処理を終了する。
【0093】
(S31)孤立移動物体ブロックから距離d内に他の移動物体ブロックが存在するかどうかを調べる。dの単位は1ブロック幅であり、例えばd=2の場合、図14(A)に太線で示す3×3の局所領域38に、辺または頂点が接している移動物体ブロックが存在するかどうかを調べる。dの値は、上述の設定手段で同様に予め設定される
(S32)この孤立移動物体ブロックと上記接している移動物体ブロックの間にある移動物体不存在ブロックを、移動物体存在ブロックとみなす。連なった移動物体ブロックが同一IDになるようにIDを付与又は変更する。これにより、IDのオブジェクトマップは図14(B)に示す如くなる。
【0094】
(S33)このような処理を行っても、隙間ブロックが存在する場合があるので、矩形36内の移動物体不存在ブロックの各々について、これと辺又は頂点が接するブロックに同一IDの移動物体ブロックがm個以上あるかどうかを判定し、あればこの移動物体不存在ブロックに、該同一IDを付与する。mは例えば5である。
【0095】
図13の処理は、例えば、図3のステップS5とS6の間において行われる。この場合、図13のステップS33を省略して、図3のステップS6及びS7の処理により隙間を埋めるようにしてもよい。
【0096】
また、k個以下の移動物体ブロックからなるクラスタを孤立クラスタとし、以上の孤立移動物体ブロックに対する処理と同様の処理を行っても、同様の効果が得られる。kの値は、画像上の移動物体の平均サイズ及びブロックサイズに基づいて経験的に定められる。
【0097】
本実施例4では、移動物体が存在するブロックが連なった第1及び第2の領域について、該第1の領域のブロック数が所定値以下であり、かつ、該第2の領域が該第1の領域から所定距離内に存在すれば、該第1及び第2の領域と両者の間の領域に移動物体が存在するとみなし、これにより連なった領域を1つの移動物体とみなすので、移動物体をより正確に認識することができる。
【実施例5】
【0098】
本発明の実施例5では、図6のビデオカメラ10としてカラービデオカメラを用いる。簡単化のために、ビデオカメラ10の出力信号は輝度信号Yと色差信号I及びQであるとする。
【0099】
処理高速化のため、ID生成/消滅部23及び移動物体認識部25は輝度信号Yの画像(Y画像)のみを用いてオブジェクトマップを作成する。この際、Y画像についてのブロック毎の非類似度NSyを記憶部24に格納しておく。
【0100】
移動物体認識修正部26Aは、作成されたオブジェクトマップ上の各クラスタを含む矩形領域に対してのみ、画像メモリ21及び背景画像生成部22に格納されている色差信号I及びQの画像(I画像及びQ画像)を用いる。移動物体認識修正部26Aは、矩形領域内の各ブロックで、I画像及びQ画像の各々に関し上述の非類似度NSi及びNSq求め、すでに求められているY画像の非類似度NSyにこれらの非類似度NSi及びNSqを加算したものをブロックの非類似度NSとし、これを基準値と比較して移動物体存否を判定する。
【0101】
これにより、背景画像との差が大きくなるので、すなわち非類似度NSが大きくなるので、クラスタから移動物体の影のブロックを除去したり、図5(A)に示すような隙間を埋めることが可能となる。また、移動物体の影に他の移動物体が重なっているため、上記Y画像処理のみではこれらが1つの移動物体と認識された場合、上記I画像及びQ画像処理により影の領域に移動物体が存在しないと判定されて、2つの分離した移動物体と認識される。
【0102】
なお、移動物体が存在すると判定されたブロックの連なった領域について、隣接ブロック間のカラー画像非類似度が所定値以上であり、かつ、該隣接ブロック間の動きベクトルの差が所定範囲以上であれば、両ブロックが異なる移動物体であると判定することにより、画像上で重なった移動物体を異なる移動物体と認識する構成であってもよい。
【0103】
なお、本発明には外にも種々の変形例が含まれる。
【0104】
例えば上記実施例1〜4ではモノクロ画像を用いる場合を説明したが、カラー画像にも適用できることは勿論である。特に、図7のステップS14でカラー画像を用いれば、移動物体をより正確に認識することができる。また、実施例4をカラー画像で行い、これを実施例5と組み合わせた構成であってもよい。
【図面の簡単な説明】
【0105】
【図1】本発明の実施例1に係る、画像を処理して移動物体を追跡する移動物体追跡装置の概略機能ブロック図である。
【図2】設定された入口スリット及び出口スリットを示すための概略フレーム画像を示す図である。
【図3】図1中の移動物体認識修正部による処理を示す概略フローチャートである。
【図4】図3の処理を説明するための図である。
【図5】図3の処理を説明するための図である。
【図6】本発明の実施例1に係る、画像を処理して移動物体を追跡する移動物体追跡装置の概略機能ブロック図である。
【図7】図6中の移動物体認識修正部による処理を示す概略フローチャートである。
【図8】図7の処理を説明するための図である。
【図9】図7の処理を説明するための図である。
【図10】本発明の実施例3に係る移動物体認識修正部による処理を示す概略フローチャートである。
【図11】図10の処理を説明するための図である。
【図12】図10の処理を説明するための図である。
【図13】本発明の実施例3に係る移動物体認識修正部による処理を示す概略フローチャートである。
【図14】図13の処理を説明するための図である。
【符号の説明】
【0106】
10 ビデオカメラ
30 フレーム
31 移動物体
32 影
33〜36 矩形
37 孤立移動物体ブロック
38 局所領域
20、20A 移動物体追跡装置
21 画像メモリ
22 背景画像生成部
23 ID生成/消滅部
24 オブジェクトマップ記憶部
25 移動物体認識部
26、26A 移動物体認識修正部
EN1〜EN4 入口スリット
EX1〜EX4 出口スリット
RV、RV1〜RV3 基準値
NS 非類似度
MV 動きベクトル
【技術分野】
【0001】
本発明は、時系列画像を処理して画像中の移動物体(車、自転車、動物等の移動可能なもの)を認識する画像上移動物体認識方法及び装置に関する。
【背景技術】
【0002】
ビデオカメラで移動物体を撮像し、画像処理して画像上の移動物体を認識し追跡することにより、交通状態や交通事故の検出、駐車場の車の出入り分析、店舗内の客の移動分析等を自動的に行うことができる。
【0003】
画像上の移動物体を認識し追跡する方法として、例えば480×640画素のフレームを8×8画素のブロックに分割して60×80ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体を検出し、時刻t−1とtのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号(ID)及び動きベクトル(MV)を求める方法がある(例えば下記特許文献1〜3)。これにより、同一移動物体と認められるブロックには同一IDが付与される。
【0004】
このような方法では、フレーム画像内の複数の移動物体をリアルタイムで追跡処理する必要があるので、処理を高速化する必要がある。特に、移動物体の速度を計測する場合には、計測精度を高めるためフレーム30フレーム/秒の全てのフレーム画像が処理されるので、より高速化が要求される。
【0005】
この要求に応えるために、モノクロ画像を用いると、移動物体とその影とを区別することが困難となる。また、模様の無い移動物体が多く、特に移動物体の中間部のブロックの特徴量が少ないため、モノクロ画像では移動物体の中間部が背景と区別できない場合が生じ、この場合、同一移動物体でありながら前部と後部が異なる移動物体と認識される。逆に、濃度が類似している2つの移動物体が重なっている場合、1つの移動物体と認識される場合がある。
【0006】
このような問題を解決するため、高解像度のカラー画像を処理すると、フレームを間引かなければリアルタイム処理ができなくなり、移動物体の位置や速度等の物理量の計測精度が低くなる。すなわち、処理の高速化と移動物体認識の正確化は、トレードオフの関係にある。
【0007】
下記特許文献4では、画像上で抽出すべき領域を大まかに位置指定するだけで対象画像を自動的に切り出すために、画像中の一次特徴データを高速に抽出し、その分布に基づいて画像の領域分割を行うことにより、抽出可能性のある画像領域を概略的に抽出し、次に候補領域を核とする二次特徴量(一次特徴と種別、属性などが異なる特徴量)に基づく領域成長を行うことにより、より精細な抽出を行う方法が開示されている。一次特徴としては低解像度データ(例えば画像を間引き処理または平均化などにより低解像化した後、動きベクトルを検出するか、または画像データをサイズの大きいブロックに分割して各ブロックごとの動きベクトルを算出する。)を用い、二次特徴は色成分または同じ種別の高解像度データを用いる。動きベクトル均質度の評価から領域成長核の設までは低解像度で行い、領域成長は高解像度で行うことにより精細な切り出しを行う。領域成長は、均質度に基づく部分領域の併合または分離処理を意味する。
【0008】
しかし、二次特徴量を具体的にどのように処理するのか開示されていない。画像上の複数の移動物体を切り出してより高精度で位置や速度等を計測するには、効率よく画像処理する必要があるが、この要求を満たす具体的な方法が特許文献4には開示されていない。
【特許文献1】特開2002−133421号公報
【特許文献2】特開2003−006655号公報
【特許文献3】特開2003−263626号公報
【特許文献4】特開平09−185720号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
本発明の目的は、上記問題点に鑑み、移動物体を高速かつより正確に認識することができる画像上移動物体認識方法及び装置を提供することにある。
【課題を解決するための手段】
【0010】
本発明による画像上移動物体認識方法では、時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識方法において、第1段階で移動物体領域の概略をブロック単位で高速に認識し、第2段階で該領域のみについてブロック単位で修正することにより、移動物体を高速かつより正確に認識する。
【0011】
本発明の第1態様では、
(a)該基準値を第1の値にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
(b)該基準値を該第1の値より大きい第2の値にし、該領域内において移動物体の存否をブロック単位で判定すことにより、ステップ(a)で移動物体と判定された影の領域をステップ(b)により狭くする。
【0012】
本発明による画像上移動物体認識方法の第2態様では、
(a)該ブロックのサイズを第1の値にして該非類似度に基づき移動物体存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
(b)該領域の周縁部のブロックを、該第1の値より小さい第2の値のサイズのブロックに分割し、該分割された各ブロックにつき該非類似度に基づいて移動物体存否を判定する。
【0013】
本発明による画像上移動物体認識方法の第3態様では、
(a)該基準値を第1の値にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
(b)2つの該領域が所定値以上接近し、かつ、該2つの領域の動きベクトルの差が所定値以下であれば、該2つの領域が内接する矩形を求め、
(c)該矩形内の各ブロックについて該非類似度が、該第1の値より小さい第2の値以上であれば移動物体が該ブロックに存在すると判定する。
【0014】
本発明による画像上移動物体認識方法の第4態様では、移動物体が存在するブロックが連なった第1及び第2の領域について、該第1の領域のブロック数が所定値以下であり、かつ、該第2の領域が該第1の領域から所定距離内に存在すれば、該第1及び第2の領域と両者の間の領域にも移動物体が存在するとみなし、該第1及び第2の領域と該両者の間の領域に同一移動物体が存在するとみなす。
【0015】
本発明による画像上移動物体認識方法第5態様では、
(a)輝度成分を用いて該方法によりブロック単位で移動物体存否を仮判定し、移動物体が存在すると仮判定したブロックが連なった領域を認識し、
(b)該領域について、色成分も用いて該方法によりブロック単位で移動物体存否を本判定する。
【発明の効果】
【0016】
上記第1〜5態様の構成によれば、第1段階で認識された移動物体存在領域に関してのみ第2段階で修正処理されるので、処理が高速になる。
【0017】
上記第1態様の構成によれば、非類似度の比較基準値を第1段階よりも大きくするので、第1段階で移動物体の影を移動物体と認識されても、第2段階でその一部又は全部が移動物体と認識されず、また、第2段階で新たな移動物体不存在ブロックが該領域の縁部を除く内側に生成されても、これらを同一移動物体みなして処理することが可能であるので、処理時間の増大を抑制するとともに、移動物体認識の正確化を図ることができる。
【0018】
上記第2態様の構成によれば、第1段階で認識された移動物体領域の内側のブロックについては再分割されないので、該領域の周縁部形状が従来よりも高速かつ正確に求められ、また、第2段階で新たな移動物体不存在ブロックが該領域の内側に生成されないので、それを移動物体存在ブロックで埋める処理をする必要がない。
【0019】
上記第3又は第4態様の構成によれば、例え上記第1又は第2態様の第1段階で同一移動物体が異なる移動物体として分離認識されても、これらを同一移動物体と認識することが可能となる。
【0020】
上記第5態様の構成によれば、第1段階で認識された移動物体領域の画像とその背景画像との非類似度が、実際に移動物体が存在するブロックについて第2段階で大きくなるので、第2段階では、第1段階で移動物体と認識された影のブロックを除去したり、第1段階で移動物体の一部であるのに移動物体でないと判定されたブロックを移動物体存在ブロックと判定することが可能となる。このため、2つの移動物体の一方の影に他の移動物体が重なっていて、該2つの移動物体と該影とが1つの移動物体と認識されても、これら2つの移動物体を分離して認識することが可能となる。
【0021】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
【発明を実施するための最良の形態】
【0022】
以下、図面に基づいて本発明の実施例を説明する。図中、同一又は類似の要素には、同一又は類似の符号を付している。
【実施例1】
【0023】
図1は、ビデオカメラ(例えばITVカメラ)10で撮像された画像を処理して移動物体を追跡する移動物体追跡装置20の概略機能ブロック図である。ビデオカメラ10は、例えば交差点付近に配置されており、図2はこのビデオカメラ10で撮像された概略フレーム画像を示す。
【0024】
移動物体追跡装置20のうち記憶部以外は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウエアと専用のハードウエアの組み合わせで構成することができる。
【0025】
ビデオカメラ10で撮影された時系列画像は、例えば30フレーム/秒のレートで、画像メモリ21に複数フレーム格納され、最も古いフレームが新しいフレーム画像で書き換えられる。
【0026】
本発明は、画像メモリ21に格納された画像データを構成要素23〜26により、リアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。
【0027】
また、画像メモリ21に格納された画像(原画像)を直接、構成要素23〜26で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は2次元フーリエ変換し所定周波数以上の成分を強調した後逆フーリエ変換したもの(変換画像)を、構成要素23〜26で処理する構成であってもよい。以下、「画像」とは原画像又は変換画像を意味する。
【0028】
背景画像生成部22は、記憶部と処理部とを備え、処理部は、画像メモリ21をアクセスし、例えば過去1分間の全ての又は間引かれたもののフレーム画像の対応する画素について画素値のヒストグラムを作成し、その最頻値(モード)をその画素の値とする画像を、背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
【0029】
ここで、図2に示す如くフレーム30内には、交差点への4つの入口及び交差点からの4つの出口にそれぞれ入口スリットEN1〜EN4及び出口スリットEX1〜EX4が配置される。ID生成/消滅部23には、フレーム30内の入口スリットEN1〜EN4及び出口スリットEX1〜EX4の位置及びサイズのデータが、予め設定されている。ID生成/消滅部23は、画像メモリ21から入口スリットEN1〜EN4内の画像データを読み込み、これら入口スリット内に移動物体が存在するかどうかを上述のブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、ブロック非類似度NSが基準値RV1以上であるかどうかにより判定する。ブロック非類似度NSは例えば、ブロック内の各画素と背景画像の対応する画素との差の絶対値の総和である。
【0030】
ID生成/消滅部23は、ブロック内に移動物体が存在すると判定すると、このブロックに新たな移動物体識別符号(ID)を付与する。ID生成/消滅部23は、ID付与済ブロックと隣接しているブロックに移動物体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のIDを付与する。このID付与済ブロックは入口スリットに隣接しているブロックも含まれる。例えば図2中の入口スリットEN1内のブロックにはID=1が付与される。以下、IDが付与されたブロックの塊をクラスタと称する。
【0031】
IDの付与は、記憶部24内のオブジェクトマップの対応するブロックに対して行われる。オブジェクトマップ記憶部24は、上述の場合60×80ブロックの各ブロックの移動物体情報を記憶するためのものであり、移動物体情報は、IDが付与されているかどうかを示すフラグFと、IDが付与されていることを示している場合にはID及びブロックの動きベクトルMVを含む。なお、該フラグを用いずに又は用いるとともに、ID=0のときIDが付与されていないと判定してもよい。また、IDの最上位ビットをフラグとしてもよい。ブロックマッチングで動きベクトルMVが求まらないブロックの動きベクトルMVは例えば、その回りの同一IDのブロックの動きベクトルMVの平均値に等しくする。
【0032】
入口スリットを通過したクラスタに対しては、移動物体認識部25により公知の方法で追跡処理が行われる。例えば、高速処理のため、時刻t−1(時刻は例えばフレームのシリアルナンバー)での動きベクトルMVに基づいて時刻tでのクラスタの概略移動範囲が推定され、この範囲内で上述の移動物体存否判定がブロック毎に行われ、移動方向側のブロックに対するIDの付与及び移動と反対方向側のブロックに対するIDの消滅が行われて、時刻tでのクラスタが決定される。また、時刻t−1とtのフレーム画像間のブロックマッチングにより、時刻tでIDが付与されているブロックの動きベクトルMVが求められる。高速処理のため、ブロックマッチングを行う範囲は、時刻t−1での動きベクトルMVで予測して定められる。各ブロックのIDと動きベクトルMVは、評価関数を用いて同時に決定することもできる(例えば上記特許文献3)。ID及び動きベクトルMVの更新は、記憶部24内のオブジェクトマップに対して行われる。
【0033】
移動物体認識部25による追跡処理は、各クラスタについて出口スリット内まで行われる。
【0034】
ID生成/消滅部23はさらに、記憶部24内のオブジェクトマップに基づき出口スリットEX1〜EX4内のブロックにIDが付与されているかどうかを調べ、付与されていれば、クラスタが出口スリットを通過したときにそのIDを消滅させる。例えば図2中の出口スリットEX1内のブロックにID=3が付されている状態から、IDが付されない状態に変化したときに、ID=3を消滅させる。消滅IDは、次の生成IDとして用いることができる。
【0035】
次に、本実施例1が解決しようとする問題点を説明する。
【0036】
基準値RV1が大きすぎると、図5(A)に示す如く同一移動物体が複数のクラスタとなって、異なる移動物体と認識される。これを避けるために基準値RV1を小さくすると、図4(A)に示す如く移動物体31の影32も移動物体と認識されてしまう。様々な輝度の移動物体が存在するので、両問題が生じないように基準値RV1を定めるのは困難である。
【0037】
そこで、各ブロックの移動物体存否判定にその周囲のブロック画像まで考慮したり、カラー画像を用いたりすると、処理が遅くなる。これを避けるためには、フレームレートを下げたり、あるいは高性能の高価なハードウェアを用いなければならない。
【0038】
本実施例1は、このような問題を解決するため、図1において、ID生成/消滅部23及び移動物体認識部25により記憶部24に生成されたオブジェクトマップに対し、移動物体認識修正部26により各クラスタ内の移動物体を以下のようにしてより正確に認識する。
【0039】
移動物体認識修正部26はまず、IDのオブジェクトマップ上の各クラスタついて、図4(A)に示す如く、クラスタが内接する矩形33を求める。これは、IDのオブジェクトマップをスキャンして、各IDj、j=1〜NにつきそのブロックのX座標の最小値X0j及び最大値Xmj、並びにY座標の最小値Y0j及び最大値Ymjを求めることにより、
ID1,(X01,Y01),(Xm1,Ym1)
ID2,(X02,Y02),(Xm2,Ym2)
・・・・・・・・・・・・・・・・・・・・・・
IDN,(X0N,Y0N),(XmN,YmN)
として得られる。これら矩形のID1〜IDNは、その矩形内の移動物体ブロックに付与されているIDと同一である。
【0040】
図3は、任意の1つのクラスタが内接する矩形に対する移動物体認識修正部26の処理を示す概略フローチャートである。
【0041】
この矩形33の対角点座標を(X0,Y0)及び(Xm,Ym)、ブロック(X,Y)のID及び非類似度NSをそれぞれID(X,Y)及び非類似度NS(X,Y)と表記する。
【0042】
(S0)X及びYにそれぞれ初期値X0及びY0を代入する。
【0043】
(S1)ID(X,Y)≠0であれば、すなわちブロック(X,Y)に移動物体が存在すれば、ステップS2へ進み、そうでなければステップS4へ進む。
【0044】
(S2)NS(X,Y)≦RV2であればステップS3へ進み、そうでなければステップS4へ進む。
【0045】
基準値RV2は、移動物体認識部25で用いる基準値RV1よりも大きく、移動物体のみを移動物体と認識しその影32を移動物体でないと認識するためのものである。基準値RV2は、移動物体追跡処理前に予め設定されている。
【0046】
この設定は、図1において、マウス等のポインティングデバイス又はキーボード等の入力装置INと、設定を確認する表示装置OUTと、移動物体認識修正部26に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。
【0047】
基準値RV2は例えば、画面上で選択した移動物体を拡大表示させ、各ブロックの非類似度NSをこの画像上に重ねて表示させ、その分布から操作者が決定する。この場合、非類似度NSのヒストグラムを作成して画面に表示させるようにしてもよい。ヒトグラム上で影に対応したピークが現れるので、このピーク又はその裾側のボトムの非類似度NSに基づいて、基準値RV2を自動的に決定する構成であってもよい。
【0048】
(S3)ID(X,Y)に0を代入する。
【0049】
(S4)矩形33内のブロック座標(X,Y)を更新する。
【0050】
(S5)更新した座標が矩形33内であれば、ステップS1へ戻り、そうでなければステップS6へ進む。
【0051】
以上のような処理により、図4(A)に示すような矩形33内のID分布は、図4(B)に示す如くなって、影の一部または全部が移動物体でないと判定される。
【0052】
(S6、S7)移動物体の輝度が背景の輝度に接近しているために、以上の処理により図5(A)に示す如くクラスタが分離したり、移動物体ブロックが欠落する場合があるので、次のようにして移動物体ブロックを補う。
【0053】
すなわち、矩形33内の各行についてX方向へ走査し、同一行内において、移動物体が存在するブロックから存在しないブロックに移り、再度移動物体が存在するブロックに移った場合には、この間の移動物体不存在ブロック(隙間)に、矩形に付与された移動物体のIDを付与する。これにより、図5(B)に示す如く、クラスタ間の隙間が埋まって1つの移動物体クラスタが得られる。すなわち、クラスタが2つ以上に分離したり、分離していないが隙間がある場合には、これら隙間が同一IDの移動物体ブロックで埋められる。
【0054】
基準値を最初からRV2にすると、同一移動物体が複数のクラスタに分離する確率が大きくなり、分離したクラスタをまとめて1つの移動物体と認識するのは容易でなく、また、その処理時間が長くなる。
【0055】
本実施例1では、非類似度の基準値を比較的小さなRV1にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、各領域内において、基準値をRV1より大きいRV2にして移動物体の存否をブロック単位で判定するので、処理時間の増大を抑制するとともに、移動物体の影の一部又は全部を移動物体でないと判定して移動物体認識の正確化を図ることができる。
【実施例2】
【0056】
図6は、ビデオカメラ10で撮像された画像を処理して移動物体を追跡する、本発明の実施例2に係る移動物体追跡装置20Aの概略機能ブロック図である。
【0057】
実施例1と異なる点は、ブロックサイズを大きくし、例えば、図8(A)に示すようにブロックの一辺の長さを2倍にして、ID生成/消滅部23及び移動物体認識部25での処理時間を短縮するとともに、移動物体認識修正部26Aにおいて、オブジェクトマップ上の各移動物体領域の周縁部につき、画像メモリ21及び背景画像生成部22のデータを用い移動物体を、以下のようにしてより正確に認識する点である。
【0058】
ブロックサイズを大きくすることにより1ブロックに含まれる情報量が増えるので、図5(A)に示すようにブロックに移動物体が存在するにも関わらず存在しないと誤判定される確率を低減することができる。
【0059】
しかしながら、ブロックサイズが大きいので、移動物体と判定される領域が広くなりすぎる。
【0060】
移動物体をより正確に認識するために、移動物体と判定された全領域のブロックサイズを小さくすると、1ブロックに含まれる情報量が減少するので、上述の隙間が生じ、1つの移動物体が複数のクラスタに分離したりし、その修正処理に時間を要する。
【0061】
そこで、移動物体認識修正部26Aは、実施例1で述べたように、まず、クラスタが内接する矩形33を求め、次に、各矩形について図7に示す処理を行う。
【0062】
この矩形33の対角点座標を(X0,Y0)及び(Xm,Ym)、ブロック(X,Y)の移動物体存否フラグをF(X,Y)と表記する。
【0063】
(S10)X及びYにそれぞれ初期値X0及びY0を代入する。
【0064】
(S11)F(X,Y)=1であれば、すなわちブロック(X,Y)に移動物体が存在すれば、ステップS12へ進み、そうでなければステップS15へ進む。
【0065】
(S12)着目ブロック(X,Y)を中心とする3×3ブロックのフラグFの値を加算し、これをnとする。矩形33の外側のフラグFは無視する。
【0066】
(S13)n≦6であれば、すなわち着目ブロックの周囲8ブロックのうち3ブロック以上に移動物体が存在しなければ、ステップS14へ進み、そうでなければステップS15へ進む。例えば、ブロックBL1、BL2はそれぞれn=4、n=7である。
【0067】
(S14)図8(B)に示すように、ブロック(X,Y)を4分割し、その各々について非類似度NSを求め基準値と比較して移動物体存否を判定し、存在すると判定されたブロックのみに、上記矩形33のIDを付与する。
【0068】
(S15)矩形33内のブロック座標(X,Y)を更新する。
【0069】
(S16)更新した座標が矩形33内であれば、ステップS11へ戻り、そうでなければ処理を終了する。
【0070】
本実施例2では、ブロックサイズを比較的大きな第1の値にして非類似度NSに基づき移動物体存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を短時間、例えば従来の約1/4の時間で認識し、該領域の周縁部のブロックを、該第1の値より小さい第2の値のサイズのブロックに分割し、該分割された各ブロックにつき非類似度NSに基づいて移動物体存否を判定するので、図8(B)に示すように周縁部の形状がより正確に求められ、また、移動物体の内側のブロックについては分割されないので新たに隙間が形成されず、それを埋める処理をする必要がない。
【0071】
また、着目ブロックに接する移動物体不存在ブロックの数が所定数以上である該着目ブロックを上記周縁部のブロックと判定するので、簡単な処理で分割が必要なブロックのみ分割することが可能となり、短時間で移動物体を正確に認識することが可能となる。
【0072】
なお、ステップS11又はステップS13からステップS15へ進む場合に、ステップ15へ移る前に着目ブロック(X,Y)を分割し、その各々に分割前のID(移動物体が存在しないブロックのIDは0)を付与してもよい。このようにすれば、図7の処理により図9に示すような結果が得られ、矩形33内のデータ構造が簡単になるので、矩形33内に対する他の処理が容易になる。
【0073】
また、図7の処理の後に、図2のステップS6及びS7の処理を行ってもよい。
【実施例3】
【0074】
実施例1又は2において、基準値RV1を比較的小さな値にし又はブロックサイズを大きくしても、移動物体によっては背景と輝度が類似しているために、図11(A)に示す如く、1つの移動物体が2つのクラスタとして認識される場合がある。
【0075】
本実施例3ではこの問題を解決するため、図1の移動物体認識修正部26は、クラスタが内接する複数の矩形のうち隣り合う矩形対に対し、図10に示す処理を行う。
【0076】
(S20)矩形34、35間のX方向距離ΔX及びY方向距離ΔY(矩形間が接する場合は0、重なり合う場合は負)を求める。図11(A)の場合、ΔX>0、ΔY<0である。
【0077】
(S21a、S21b)ΔX≦D1かつΔY≦D2であればステップS21cへ進み、そうでなければ処理を終了する。D1及びD2はいずれも正の値であり、本実施例3の効果が得られるように経験的に定められ、上述の設定手段により予め設定されている。
【0078】
(S21c)それぞれの矩形内のブロックの動きベクトル代表値、例えば平均値M1及びM2を求め、両者の差ΔM=|M1−M2|を求める。ΔM≦D3であればステップS22へ進み、そうでなければ処理を終了する。このD3についても上記D1及びD2と同様に定められ、予め設定されている。
【0079】
(S22)図11(B)に示すように、両矩形が内接する矩形36を求める。また、矩形36内の移動物体ブロックのIDを、いずれか一方の値IDjに統一し、IDjを矩形36に付与する。
【0080】
(S23)RV1−Δを新たな基準値RV3とする。Δは正の値であり、上述のD1〜D3と同様に定められ、上述の設定手段で予め設定されている。基準値RV1は、オブジェクトマップ作成のために移動物体認識部25で用いられた値である。また、X及びYにそれぞれ矩形の一方の対角点座標X0及びY0を代入する。
【0081】
(S24)ID(X,Y)=0であればステップS25へ進み、そうでなければステップS27へ進む。
【0082】
(S25)NS(X,Y)≧RV3であればこのブロックに移動物体が存在すると判定してステップS26へ進み、そうでなければステップS27へ進む。
【0083】
(S26)ID(X,Y)に、矩形に付与されているIDjを代入する。
【0084】
(S27)矩形36内のブロック座標(X,Y)を更新する。
【0085】
(S28)更新した座標が矩形36内であれば、ステップS24へ戻り、そうでなければステップS29へ進む。
【0086】
以上の処理により、図11(B)に示すようなIDのオブジェクトマップが得られる。
【0087】
(S29、29A)図3のステップS6及びS7と同じ処理を行う。
【0088】
本実施例3によれば、以上の処理により、図12に示すようなIDのオブジェクトマップが得られ、移動物体をより正確に認識することが可能となる。
【0089】
なお、1つの移動物体が3以上のクラスタに分離して認識されている場合には、その2つのクラスタについて以上の処理を行い、これを繰り返すことにより、1つの移動物体と認識される。
【実施例4】
【0090】
上記いずれかの実施例において、移動物体認識部25により生成されたIDのオブジェクトマップが図14(A)に示すように、周囲に移動物体ブロックが存在しない孤立移動物体ブロック37(斜線部)が存在する場合がある。このような小さな移動物体が独立して存在する確率は、一般的に小さい。また、孤立移動物体ブロック37は、その近くの移動物体ブロックと同じ移動物体に属する確率が大きい。
【0091】
そこで、本発明の実施例3では、このような孤立移動物体ブロック37が存在する場合、移動物体認識修正部26又は26Aにおいて、各孤立移動物体ブロック毎に図13に示す処理を行う。
【0092】
(S30)矩形36内に孤立移動物体ブロックが存在するかどうかを調べる。存在すればステップS31へ進み、そうでなければ処理を終了する。
【0093】
(S31)孤立移動物体ブロックから距離d内に他の移動物体ブロックが存在するかどうかを調べる。dの単位は1ブロック幅であり、例えばd=2の場合、図14(A)に太線で示す3×3の局所領域38に、辺または頂点が接している移動物体ブロックが存在するかどうかを調べる。dの値は、上述の設定手段で同様に予め設定される
(S32)この孤立移動物体ブロックと上記接している移動物体ブロックの間にある移動物体不存在ブロックを、移動物体存在ブロックとみなす。連なった移動物体ブロックが同一IDになるようにIDを付与又は変更する。これにより、IDのオブジェクトマップは図14(B)に示す如くなる。
【0094】
(S33)このような処理を行っても、隙間ブロックが存在する場合があるので、矩形36内の移動物体不存在ブロックの各々について、これと辺又は頂点が接するブロックに同一IDの移動物体ブロックがm個以上あるかどうかを判定し、あればこの移動物体不存在ブロックに、該同一IDを付与する。mは例えば5である。
【0095】
図13の処理は、例えば、図3のステップS5とS6の間において行われる。この場合、図13のステップS33を省略して、図3のステップS6及びS7の処理により隙間を埋めるようにしてもよい。
【0096】
また、k個以下の移動物体ブロックからなるクラスタを孤立クラスタとし、以上の孤立移動物体ブロックに対する処理と同様の処理を行っても、同様の効果が得られる。kの値は、画像上の移動物体の平均サイズ及びブロックサイズに基づいて経験的に定められる。
【0097】
本実施例4では、移動物体が存在するブロックが連なった第1及び第2の領域について、該第1の領域のブロック数が所定値以下であり、かつ、該第2の領域が該第1の領域から所定距離内に存在すれば、該第1及び第2の領域と両者の間の領域に移動物体が存在するとみなし、これにより連なった領域を1つの移動物体とみなすので、移動物体をより正確に認識することができる。
【実施例5】
【0098】
本発明の実施例5では、図6のビデオカメラ10としてカラービデオカメラを用いる。簡単化のために、ビデオカメラ10の出力信号は輝度信号Yと色差信号I及びQであるとする。
【0099】
処理高速化のため、ID生成/消滅部23及び移動物体認識部25は輝度信号Yの画像(Y画像)のみを用いてオブジェクトマップを作成する。この際、Y画像についてのブロック毎の非類似度NSyを記憶部24に格納しておく。
【0100】
移動物体認識修正部26Aは、作成されたオブジェクトマップ上の各クラスタを含む矩形領域に対してのみ、画像メモリ21及び背景画像生成部22に格納されている色差信号I及びQの画像(I画像及びQ画像)を用いる。移動物体認識修正部26Aは、矩形領域内の各ブロックで、I画像及びQ画像の各々に関し上述の非類似度NSi及びNSq求め、すでに求められているY画像の非類似度NSyにこれらの非類似度NSi及びNSqを加算したものをブロックの非類似度NSとし、これを基準値と比較して移動物体存否を判定する。
【0101】
これにより、背景画像との差が大きくなるので、すなわち非類似度NSが大きくなるので、クラスタから移動物体の影のブロックを除去したり、図5(A)に示すような隙間を埋めることが可能となる。また、移動物体の影に他の移動物体が重なっているため、上記Y画像処理のみではこれらが1つの移動物体と認識された場合、上記I画像及びQ画像処理により影の領域に移動物体が存在しないと判定されて、2つの分離した移動物体と認識される。
【0102】
なお、移動物体が存在すると判定されたブロックの連なった領域について、隣接ブロック間のカラー画像非類似度が所定値以上であり、かつ、該隣接ブロック間の動きベクトルの差が所定範囲以上であれば、両ブロックが異なる移動物体であると判定することにより、画像上で重なった移動物体を異なる移動物体と認識する構成であってもよい。
【0103】
なお、本発明には外にも種々の変形例が含まれる。
【0104】
例えば上記実施例1〜4ではモノクロ画像を用いる場合を説明したが、カラー画像にも適用できることは勿論である。特に、図7のステップS14でカラー画像を用いれば、移動物体をより正確に認識することができる。また、実施例4をカラー画像で行い、これを実施例5と組み合わせた構成であってもよい。
【図面の簡単な説明】
【0105】
【図1】本発明の実施例1に係る、画像を処理して移動物体を追跡する移動物体追跡装置の概略機能ブロック図である。
【図2】設定された入口スリット及び出口スリットを示すための概略フレーム画像を示す図である。
【図3】図1中の移動物体認識修正部による処理を示す概略フローチャートである。
【図4】図3の処理を説明するための図である。
【図5】図3の処理を説明するための図である。
【図6】本発明の実施例1に係る、画像を処理して移動物体を追跡する移動物体追跡装置の概略機能ブロック図である。
【図7】図6中の移動物体認識修正部による処理を示す概略フローチャートである。
【図8】図7の処理を説明するための図である。
【図9】図7の処理を説明するための図である。
【図10】本発明の実施例3に係る移動物体認識修正部による処理を示す概略フローチャートである。
【図11】図10の処理を説明するための図である。
【図12】図10の処理を説明するための図である。
【図13】本発明の実施例3に係る移動物体認識修正部による処理を示す概略フローチャートである。
【図14】図13の処理を説明するための図である。
【符号の説明】
【0106】
10 ビデオカメラ
30 フレーム
31 移動物体
32 影
33〜36 矩形
37 孤立移動物体ブロック
38 局所領域
20、20A 移動物体追跡装置
21 画像メモリ
22 背景画像生成部
23 ID生成/消滅部
24 オブジェクトマップ記憶部
25 移動物体認識部
26、26A 移動物体認識修正部
EN1〜EN4 入口スリット
EX1〜EX4 出口スリット
RV、RV1〜RV3 基準値
NS 非類似度
MV 動きベクトル
【特許請求の範囲】
【請求項1】
時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識方法において、
(a)該基準値を第1の値にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
(b)該基準値を該第1の値より大きい第2の値にし、該領域内において移動物体の存否をブロック単位で判定する
ことにより、ステップ(a)で移動物体と判定された影の領域をステップ(b)により狭くすることを特徴とする画像上移動物体認識方法。
【請求項2】
時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識方法において、
(a)該ブロックのサイズを第1の値にして該非類似度に基づき移動物体存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
(b)該領域の周縁部のブロックを、該第1の値より小さい第2の値のサイズのブロックに分割し、該分割された各ブロックにつき該非類似度に基づいて移動物体存否を判定する
ことを特徴とする画像上移動物体認識方法。
【請求項3】
上記ステップ(b)では、上記領域のうち、着目ブロックに接する移動物体不存在ブロックの数が所定数以上である該着目ブロックを上記周縁部のブロックと判定することを特徴とする請求項2記載の画像上移動物体認識方法。
【請求項4】
(c)上記ステップ(b)で移動物体が存在すると判定されたブロックの連なった領域が2つ存在する場合には、該2つの領域及び該2つの領域の間の領域に同一移動物体が存在するとみなす
ステップをさらに有することを特徴とする請求項1乃至3のいずれか1つに記載の画像上移動物体認識方法。
【請求項5】
時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識方法において、
(a)該基準値を第1の値にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
(b)2つの該領域が所定値以上接近し、かつ、該2つの領域の動きベクトルの差が所定値以下であれば、該2つの領域が内接する矩形を求め、
(c)該矩形内の各ブロックについて該非類似度が、該第1の値より小さい第2の値以上であれば移動物体が該ブロックに存在すると判定する
ことを特徴とする画像上移動物体認識方法。
【請求項6】
(d)上記ステップ(c)で移動物体が存在すると判定されたブロックの連なった領域が2つ存在する場合には、該2つの領域及び該2つの領域の間の領域に同一移動物体が存在するとみなす
ステップをさらに有することを特徴とする請求項5記載の画像上移動物体認識方法。
【請求項7】
時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識方法において、
移動物体が存在するブロックが連なった第1及び第2の領域について、該第1の領域のブロック数が所定値以下であり、かつ、該第2の領域が該第1の領域から所定距離内に存在すれば、該第1及び第2の領域と両者の間の領域にも移動物体が存在するとみなし、該第1及び第2の領域と該両者の間の領域に同一移動物体が存在するとみなす
ことを特徴とする画像上移動物体認識方法。
【請求項8】
時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識方法において、
(a)輝度成分を用いて該方法によりブロック単位で移動物体存否を仮判定し、移動物体が存在すると仮判定したブロックが連なった領域を認識し、
(b)該領域について、色成分も用いて該方法によりブロック単位で移動物体存否を本判定する
ことを特徴とする画像上移動物体認識方法。
【請求項9】
時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識装置において、
該基準値の第1の値及び該第1の値より小さい第2の値を設定する設定手段と、
該基準値を該第1の値にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識する第1認識手段と、
該基準値を該第2の値にし、該領域内において移動物体の存否をブロック単位で判定する第2認識手段と、
を有し、該第1認識手段で移動物体と判定された影の領域を該第2認識手段により狭くすることを特徴とする画像上移動物体認識装置。
【請求項10】
時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識装置において、
第1の値及び該第1の値より小さい第2の値のブロックサイズを設定する設定手段と、
該ブロックサイズを該第1の値にして該非類似度に基づき移動物体存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識する第1認識手段と、
該領域の周縁部のブロックを、該第1の値より小さい第2の値のサイズのブロックに分割し、該分割された各ブロックにつき該非類似度に基づいて移動物体存否を判定する第2認識手段と、
を有することを特徴とする画像上移動物体認識装置。
【請求項1】
時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識方法において、
(a)該基準値を第1の値にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
(b)該基準値を該第1の値より大きい第2の値にし、該領域内において移動物体の存否をブロック単位で判定する
ことにより、ステップ(a)で移動物体と判定された影の領域をステップ(b)により狭くすることを特徴とする画像上移動物体認識方法。
【請求項2】
時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識方法において、
(a)該ブロックのサイズを第1の値にして該非類似度に基づき移動物体存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
(b)該領域の周縁部のブロックを、該第1の値より小さい第2の値のサイズのブロックに分割し、該分割された各ブロックにつき該非類似度に基づいて移動物体存否を判定する
ことを特徴とする画像上移動物体認識方法。
【請求項3】
上記ステップ(b)では、上記領域のうち、着目ブロックに接する移動物体不存在ブロックの数が所定数以上である該着目ブロックを上記周縁部のブロックと判定することを特徴とする請求項2記載の画像上移動物体認識方法。
【請求項4】
(c)上記ステップ(b)で移動物体が存在すると判定されたブロックの連なった領域が2つ存在する場合には、該2つの領域及び該2つの領域の間の領域に同一移動物体が存在するとみなす
ステップをさらに有することを特徴とする請求項1乃至3のいずれか1つに記載の画像上移動物体認識方法。
【請求項5】
時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識方法において、
(a)該基準値を第1の値にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識し、
(b)2つの該領域が所定値以上接近し、かつ、該2つの領域の動きベクトルの差が所定値以下であれば、該2つの領域が内接する矩形を求め、
(c)該矩形内の各ブロックについて該非類似度が、該第1の値より小さい第2の値以上であれば移動物体が該ブロックに存在すると判定する
ことを特徴とする画像上移動物体認識方法。
【請求項6】
(d)上記ステップ(c)で移動物体が存在すると判定されたブロックの連なった領域が2つ存在する場合には、該2つの領域及び該2つの領域の間の領域に同一移動物体が存在するとみなす
ステップをさらに有することを特徴とする請求項5記載の画像上移動物体認識方法。
【請求項7】
時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識方法において、
移動物体が存在するブロックが連なった第1及び第2の領域について、該第1の領域のブロック数が所定値以下であり、かつ、該第2の領域が該第1の領域から所定距離内に存在すれば、該第1及び第2の領域と両者の間の領域にも移動物体が存在するとみなし、該第1及び第2の領域と該両者の間の領域に同一移動物体が存在するとみなす
ことを特徴とする画像上移動物体認識方法。
【請求項8】
時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識方法において、
(a)輝度成分を用いて該方法によりブロック単位で移動物体存否を仮判定し、移動物体が存在すると仮判定したブロックが連なった領域を認識し、
(b)該領域について、色成分も用いて該方法によりブロック単位で移動物体存否を本判定する
ことを特徴とする画像上移動物体認識方法。
【請求項9】
時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識装置において、
該基準値の第1の値及び該第1の値より小さい第2の値を設定する設定手段と、
該基準値を該第1の値にして移動物体の存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識する第1認識手段と、
該基準値を該第2の値にし、該領域内において移動物体の存否をブロック単位で判定する第2認識手段と、
を有し、該第1認識手段で移動物体と判定された影の領域を該第2認識手段により狭くすることを特徴とする画像上移動物体認識装置。
【請求項10】
時系列画像の各々を複数のブロックに分割し、ブロック単位で背景画像の対応するブロックと比較して両者の非類似度を算出し、該非類似度が基準値以上であれば移動物体が該ブロックに存在すると判定する画像上移動物体認識装置において、
第1の値及び該第1の値より小さい第2の値のブロックサイズを設定する設定手段と、
該ブロックサイズを該第1の値にして該非類似度に基づき移動物体存否をブロック単位で判定することにより、移動物体が存在するブロックが連なった領域を認識する第1認識手段と、
該領域の周縁部のブロックを、該第1の値より小さい第2の値のサイズのブロックに分割し、該分割された各ブロックにつき該非類似度に基づいて移動物体存否を判定する第2認識手段と、
を有することを特徴とする画像上移動物体認識装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2006−24149(P2006−24149A)
【公開日】平成18年1月26日(2006.1.26)
【国際特許分類】
【出願番号】特願2004−203855(P2004−203855)
【出願日】平成16年7月9日(2004.7.9)
【出願人】(801000049)財団法人生産技術研究奨励会 (72)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
【公開日】平成18年1月26日(2006.1.26)
【国際特許分類】
【出願日】平成16年7月9日(2004.7.9)
【出願人】(801000049)財団法人生産技術研究奨励会 (72)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
[ Back to top ]