背景画像生成方法及び装置
【課題】移動物体を正確に認識するためのより正確な背景画像を得る。
【解決手段】時系列画像の対応する画素（ｘ，ｙ）について、画素値のヒストグラム２６ｘｙを作成し、その最頻値Ｐｍ０と更新前の背景画像の対応する画素の値Ｐｂとの差の絶対値が所定値以上であれば、画素値Ｐｂを、更新せずに維持する。移動物体の領域の画素値を除いてヒストグラムを作成してもよい。画像フレーム内にカメラぶれ検出領域を３箇所設定し、フレーム画像と背景画像とを比較して各カメラぶれ検出領域の動きベクトルを求め、該動きベクトルに基づいて、カメラぶれによる画像内各部のシフトを定める座標変換式のパラメータを決定し、該座標変換式に基づいて、該時系列画像に対し該背景画像を相対的に対応させる。
【解決手段】時系列画像の対応する画素（ｘ，ｙ）について、画素値のヒストグラム２６ｘｙを作成し、その最頻値Ｐｍ０と更新前の背景画像の対応する画素の値Ｐｂとの差の絶対値が所定値以上であれば、画素値Ｐｂを、更新せずに維持する。移動物体の領域の画素値を除いてヒストグラムを作成してもよい。画像フレーム内にカメラぶれ検出領域を３箇所設定し、フレーム画像と背景画像とを比較して各カメラぶれ検出領域の動きベクトルを求め、該動きベクトルに基づいて、カメラぶれによる画像内各部のシフトを定める座標変換式のパラメータを決定し、該座標変換式に基づいて、該時系列画像に対し該背景画像を相対的に対応させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動物体認識用背景画像として生成する背景画像生成方法及び装置に関する。
【背景技術】
【０００２】
ビデオカメラで移動物体を撮像し、その画像を処理して移動物体を認識し追跡することにより、交通状態や交通事故の検出、駐車場の車の出入り分析、店舗内の客の移動分析等を自動的に行うことができる。
【０００３】
この種の方法としては、例えば４８０×６４０画素のフレームを８×８画素のブロックに分割して６０×８０ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体存否を判定し、時刻ｔ−１とｔのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号及び動きベクトルを求める方法がある（例えば下記特許文献１〜３）。
【０００４】
背景画像は、例えば過去１０分間のフレーム画像から選択した時系列画像の各画素（ｘ、ｙ）について、画素値のヒストグラムを作成し、その最頻値を画素値とすることにより得られる（例えば下記特許文献１〜３）。日照変化により撮影対象の輝度が変化するので、移動物体認識を正確に行うためには背景画像を定期的に更新する必要がある。更新周期を短くするほど、日照条件が現在のものにより近くなるので、得られる背景画像が現在の背景をより反映したものとなる。
【０００５】
しかしながら、更新周期を例えば１分にすると、次のような問題が生ずる。すなわち、図１９に示すようにフレーム画像１０において、交差点１１の中央部に移動物体１２が例えば４０秒間一時停止している場合、この部分が背景として認識され、図２０に示すような移動物体１２（ノイズ）を含む背景画像が作成される。この場合、この背景画像と現フレーム画像とが比較されて移動物体が認識されるので、図１９の移動物体１２の部分に移動物体が存在しないにも関わらず、移動物体が存在すると判定される。
【０００６】
また、背景画像は少し過去のものであるため、次のような問題も生ずる。すなわち、固定したビデオカメラが地震等により揺れた場合に、フレーム画像を背景画像と比較して移動物体を認識すると、背景の一部が移動物体と認識されたり、移動物体とその周囲の背景とが１つの移動物体と認識されたり、移動物体の位置や速度の計測値、或いは移動物体の軌跡が、不正確となる。
【０００７】
下記特許文献４では、動きベクトル検出部、手ブレ判定部、アクティビティ判定部を備え、動きベクトルを検出して手ブレ量を補正している。しかし、被写体全体の画像データに基づいて背景を推定しそのシフト量を求めているので、背景のシフト量が不正確になるとともに、処理時間が長くなり、複数の移動物体をリアルタイムで追跡処理する装置にこの方法を適用するのは現実的でない。
【０００８】
また、下記特許文献５及び６には照明条件の変化による背景画像の変化の問題が記載されているが、上記ノイズを除去可能な背景画像作成方法については記載がない。
【特許文献１】特開２００２−１３３４２１号公報
【特許文献２】特開２００３−００６６５５号公報
【特許文献３】特開２００３−２６３６２６号公報
【特許文献４】特開平０５−１３７０５０号公報
【特許文献５】特開２０００−２５１０７９号公報
【特許文献６】特開平０９−００９２４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、上記問題点に鑑み、移動物体を正確に認識するためのより正確な背景画像を得ることができる背景画像生成方法及び装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明による背景画像生成方法では、時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成する。
【００１１】
本発明による背景画像生成方法の第１態様では、該ヒストグラムに、更新前の背景画像の対応する画素の値の所定頻度を追加し、追加後のヒストグラムの最頻値を、更新後の背景画像の対応する画素の値とする。
【００１２】
本発明による背景画像生成方法の第２態様では、該最頻値と更新前の背景画像の対応する画素の値との差が所定値以上であれば、該更新前の背景画像の対応する画素の値を、更新せずに維持する。
【００１３】
本発明による背景画像生成方法の第３態様では、該ヒストグラム上の最頻値に対応した頻度の変動の大きさが所定値以上であれば、更新前の背景画像の対応する画素の値を、更新せずに維持する。
【００１４】
本発明による背景画像生成方法の第４態様では、該時系列画像と該背景画像とを比較して該時系列画像に含まれる移動物体の領域を認識し、該ヒストグラムでは該移動物体の領域の画素値を除く。
【００１５】
本発明による背景画像生成方法の第５態様では、画像フレーム内にカメラぶれ検出領域を実質的に少なくとも３箇所設定し、フレーム画像と該背景画像とを比較して各カメラぶれ検出領域の動きベクトルを求め、該動きベクトルに基づいて、カメラぶれによる画像内各部のシフトを定める座標変換式のパラメータを決定し、該座標変換式に基づいて、該時系列画像に対し該背景画像を相対的に対応させる。
【発明の効果】
【００１６】
上記第１態様の構成によれば、背景画像更新周期に対し移動物体が比較的長く一時停止しても、停止した移動物体が背景画像に含まれるのを避けることが可能となる。
【００１７】
上記第２、第３態様のいずれの構成によっても、移動物体の一時停止等と考えられる領域のみ背景画像の前回画素値が維持されるので、照明条件変化による背景画像の変化を取り入れるとともに、停止した移動物体が背景画像に含まれるのを避けることが可能となる。
【００１８】
上記第４態様の構成によれば、移動物体不存在領域内の画素値のみのヒストグラムに基づいて背景画像の画素値が更新されるので、照明条件変化による背景画像の変化を取り入れるとともに、停止した移動物体が背景画像に含まれるのを避けることが可能となる。
【００１９】
上記第５態様の構成によれば、設定された検出領域のみについてカメラぶれを検出すればよいので、短時間で容易かつ正確にカメラぶれ量を検出することが可能であり、これにより、リアルタイムで画像上の移動物体を正確に認識することが可能となる。
【００２０】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
【発明を実施するための最良の形態】
【００２１】
以下、図面に基づいて本発明の実施例を説明する。図面において、同一又は類似の要素には、同一又は類似の符号を付している。
【実施例１】
【００２２】
図１は、ビデオカメラ（例えばＩＴＶカメラ）１３で撮像された画像を処理して移動物体を追跡する移動物体追跡装置２０の概略機能ブロック図である。
【００２３】
この装置２０のうち記憶部以外の処理部は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウエアと専用のハードウエアの組み合わせで構成することができる。
【００２４】
ビデオカメラ１３で撮影された時系列画像は、例えば３０フレーム／秒で画像メモリ２１に複数フレームが格納され、最も古いフレームが新しいフレーム画像で書き換えられる。
【００２５】
本発明は、画像メモリ２１に格納された画像データを構成要素２３〜２７により、リアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。
【００２６】
また、画像メモリ２１に格納された画像（原画像）を直接、構成要素２３〜２７で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は２次元フーリエ変換し所定周波数以上の成分を強調した後逆フーリエ変換したもの（変換画像）を、構成要素２３〜２７で処理する構成であってもよい。以下、「画像」とは原画像又は変換画像を意味する。
【００２７】
移動物体認識部２２は、画像メモリ２１に格納されたフレーム画像の、上述の各ブロックについて、記憶部２３に格納された背景画像の対応するブロックとの非類似度を算出し、これが閾値以上であれば、移動物体が存在すると判定し、記憶部２４に格納されているオブジェクトマップの対応するブロックに移動物体識別符号（ＩＤ）を付与する。オブジェクトマップは、画像処理によりブロック単位の情報を取得しこれを記憶したものであり、この情報にはＩＤの他にブロック単位の動きベクトルが含まれる。動きベクトルは、移動物体認識部２２により、時刻ｔ（シリアルフレーム番号）と時刻ｔ−１のフレーム画像を比較して求められる。オブジェクトマップの時系列は、移動物体追跡結果を示しており、装置２０の用途に応じてその情報がさらに処理される。
【００２８】
オブジェクトマップ作成の詳細は、例えば上記特許文献１〜３のいずれかに記載されたものと同じであるので、その説明を省略する。
【００２９】
本実施例１の特徴は、背景画像生成部２５の処理方法にあり、以下、これについて詳説する。
【００３０】
背景画像生成部２５は、画像メモリ２１をアクセスし、例えば過去１分間の全ての又は間引かれたもののフレーム画像の対応する画素（ｘ、ｙ）について画素値のヒストグラムを作成し、その最頻値に関する以下に述べる値を画素（ｘ、ｙ）の値とする背景画像を生成する。背景画像は、この処理が周期的、例えば１分毎に行われて更新される。
【００３１】
図２は、図１中の背景画像生成部２５による処理を示すフローチャートであり、図３は、この処理の説明図である。
【００３２】
ここで、背景画像作成に用いられる、時刻ｔ１〜ｔｎの時系列フレーム画像をＧ０〜Ｇｎで表す。また、時刻ｔにおけるフレーム画像の画素（ｘ，ｙ）の値をＰ（ｔ｜ｘ，ｙ）、背景画像の画素（ｘ，ｙ）の値をＰｂ（ｔ｜ｘ，ｙ）で表す。
【００３３】
最初、画素値Ｐｂが格納される背景画像記憶部２３及び後述の最大頻度Ｆが格納される最大頻度分布記憶部２７は、全画素についてゼロクリアされている。
【００３４】
（Ｓ０）画素（ｘ，ｙ）に初期値（０，０）を代入する。
【００３５】
（Ｓ１）フレーム画像Ｇ０〜Ｇｎの画素（ｘ、ｙ）に着目した画素値Ｐ（ｔ０｜ｘ，ｙ）〜Ｐ（ｔｎ｜ｘ，ｙ）のヒストグラム２６ｘｙを、図１のヒストグラムメモリ２６に作成する。このヒストグラム２６ｘｙの最頻値及びその頻度をそれぞれＰｍ０及びＦ０とする。
【００３６】
ここで、背景画像更新前における補正後のヒストグラム２６ｘｙの最頻値及びその頻度はそれぞれ記憶部２３及び２７に格納されている画素（ｘ，ｙ）についての値Ｐｂ（ｔ｜ｘ，ｙ）及びＦ（ｔ｜ｘ，ｙ）である。
【００３７】
（Ｓ２）ヒストグラム２６ｘｙをこれらＰｂ（ｔ｜ｘ，ｙ）及びＦ（ｔ｜ｘ，ｙ）で補正する。すなわち、ヒストグラム２６ｘｙの画素値Ｐｂ（ｔ｜ｘ，ｙ）の頻度にα・Ｆ（ｔ｜ｘ，ｙ）を加算することにより、ヒストグラム２６ｘｙを補正する。
【００３８】
ここにαは１以下の正の定数であり、本実施例１の効果が得られるように経験的に定められ、例えば０．５であって、予め設定されている。この設定は、図１において、マウス等のポインティングデバイス又はキーボード等の入力装置ＩＮと、設定を確認する表示装置ＯＵＴと、背景画像生成部２５に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。
【００３９】
初回は各（ｘ，ｙ）について最大頻度Ｆ（ｔ｜ｘ，ｙ）＝０であるので、このステップＳ２の処理は初回において実質的に意味がないが、初回も２回目以降と同じ処理を行えばよいことになる。
【００４０】
なお、図３ではヒストグラムを簡単化して模式的に示している。この点は、他の図のヒストグラムについても同様である。
【００４１】
（Ｓ３）補正されたヒストグラム２６ｘｙの最頻値Ｐｍ１を求める。この最頻値Ｐｍ１の頻度をＦ１とする。
【００４２】
（Ｓ４）背景画像の画素（ｘ，ｙ）の値を最頻値Ｐｍ１に更新する。すなわち、Ｐｂ（ｘ，ｙ）に値Ｐｍ１を代入する。
【００４３】
（Ｓ５）画素（ｘ，ｙ）について最大頻度分布記憶部２７を最大頻度Ｆ１に更新する。すなわち、最大頻度Ｆ（ｘ，ｙ）に頻度Ｆ１を代入する。
【００４４】
（Ｓ７）（ｘ，ｙ）の値を更新する。
【００４５】
（Ｓ８）（ｘ，ｙ）がフレーム画像内であればステップＳ１へ戻る。
【００４６】
このような処理により、背景画像記憶部２３及び最大頻度分布記憶部２７の内容が更新される。
【００４７】
なお、初回は補正されないので、最初に作成する背景画像は、移動物体が存在しない時が好ましい。
【００４８】
例えば、更新周期６０秒のうち２５秒間は、図１９において移動物体１２が交差点中央部に一時停止しなかったが、その後３５秒間、移動物体１２がこの位置に一時停止し、図３の補正前のヒストグラム２６ｘｙが得られたとする。この場合、最頻値Ｐｍ０及び次に頻度が多い画素値Ｐｍ１はそれぞれ移動物体及び路面の画素値である。１つ前の更新周期において、移動物体が交差点中央部に殆ど一時停止していなかったとすると、そのヒストグラムにおける画素値Ｐｍ１の頻度Ｆは比較的大きく、図３に示すように補正される。これにより、移動物体が比較的長く一時停止しても、図２０に示すようなノイズを含む背景画像が生成されるのを避けることができ、図４に示すような背景画像が得られる。
【００４９】
本実施例１では最大頻度分布記憶部２７を用いる場合を説明したが、最大頻度分布記憶部２７を用いずに、すなわちステップＳ２でα・Ｆ（ｔ｜ｘ，ｙ）を加算する替わりに、予め設定した値を加算する構成であってもよい。換言すれば、最頻値Ｆの平均値を用いてもよい。
【００５０】
また、実質的に図２の処理が行えればよい。例えば、図２のステップＳ１の時刻ｔに関する各画素の処理を移動物体認識部２２による時刻ｔのフレーム画像に関する処理と並行して行い、所定フレーム数に関する各画素のヒストグラムが得られた後にステップＳ２〜Ｓ５の処理を一括して行う構成であってもよい。また、背景画像の画素の更新時点がＴ／Ｎ（Ｎはフレーム画像の画素数）ずつずれるようにしてもよい。
【実施例２】
【００５１】
図５は、本発明の実施例２に係る移動物体追跡装置２０Ａの概略機能ブロック図である。図６は、この装置の背景画像生成部２５Ａによる処理を示すフローチャートであり、図７は、この処理の説明図である。
【００５２】
図５の設定値記憶部２８には、上述の設定手段により照明条件変化判定幅ΔＰが予め設定されている。背景画像生成部２５Ａは、上記実施例１と同様にしてヒストグラム２６ｘｙを生成し、補正をせずに最頻値Ｐｍ０を求め、更新前の背景画像の対応する最頻値Ｐｍ１との差の絶対値がΔＰ／２より小さい場合のみ、最頻値Ｐｍ０で背景画像の画素値Ｐｂ（ｘ，ｙ）を更新する。以下、この方法を詳説する。
【００５３】
図６のステップＳ１０、Ｓ１１、Ｓ１５及びＳ１６はそれぞれ図２のステップＳ０、Ｓ１、Ｓ６及びＳ７と同一である。
【００５４】
（Ｓ１２）ヒストグラム２６ｘｙの最頻値Ｐｍ０を求める。
【００５５】
（Ｓ１３）｜Ｐｍ０−Ｐｂ（ｘ，ｙ）｜＜ΔＰ／２であればステップＳ１４へ進み、そうでなければ、移動物体の一時停止等による最頻値のシフトであると考えられるので更新せずにステップＳ１５へ進む。
【００５６】
（Ｓ１４）照明条件の変化による最頻値のシフトであると考えられるので、最頻値Ｐｍ０を画素値Ｐｂ（ｘ，ｙ）として背景画像記憶部２３の画素（ｘ，ｙ）に格納し、ステップＳ１５へ進む。
【００５７】
すなわち、背景画像更新周期で日照変化により背景画像の画素値が変動する幅は一般に比較的小さいので、ヒストグラム２６ｘｙの最頻値Ｐｍ０で該画素値を更新し、これが大きくなった場合には移動物体の画像が含まれていることによるものと判断して、更新前の画素値を維持する。これにより、移動物体の一時停止等と考えられる領域のみ背景画像生成部２５Ａによる補正が行われる。
【００５８】
なお、更新しない場合に移動物体の画素値が背景画像中に維持されないようにするため、最初に作成する背景画像は、移動物体が存在しない時が好ましい。
【００５９】
本実施例２によれば、照明条件の変化により背景画像の変化を取り入れるとともに、移動物体の一時停止等によるノイズを含む背景画像の生成を防止することができる。
【実施例３】
【００６０】
実施例２ではヒストグラム２６ｘｙの横軸に着目したが、縦軸に着目した構成であってもよく、これを本発明の実施例３として説明する。
【００６１】
図８は、本発明の実施例３に係る移動物体追跡装置２０Ｂの概略機能ブロック図である。
【００６２】
この装置では、図５の設定値記憶部２８の替わりに、後述の基準値Ｋを設定する設定値記憶部２８Ａを備え、また、図１の最大頻度分布記憶部２７を備えている。
【００６３】
この装置の背景画像生成部２５Ｂは、図１０（Ａ）に示す更新前の背景画像の画素値Ｐｂ（ｔ｜ｘ，ｙ）に対応した最大頻度Ｆ（ｘ，ｙ）に対する、図１０（Ｂ）に示すヒストグラム２６ｘｙ上の画素値Ｐｂ（ｔ｜ｘ，ｙ）の頻度Ｆ１の割合に基づいて、日照変化又は移動物体一時停止であるかを判定する。
【００６４】
図９は、この装置の背景画像生成部２５Ｂによる処理を示すフローチャートであり、図１０は、この処理の説明図である。
【００６５】
図９のステップＳ２０〜Ｓ２２、Ｓ２５及びＳ２６はそれぞれ図６のステップＳ１０〜Ｓ１２、Ｓ１５及びＳ１６と同一である。
【００６６】
（Ｓ２３）Ｆ１／Ｆ（ｘ，ｙ）≧ＫであればステップＳ２４へ進み、そうでなければ、移動物体の一時停止等により最大頻度Ｆ（ｘ，ｙ）から頻度Ｆ１へ比較的大きく低下したと考えられるので、背景画像の画素値Ｐｂ（ｘ，ｙ）を更新せずにステップＳ２５へ進む。ここにＫは、１より小さい正の定数であり、例えば０．８であって、上述の設定手段により予め設定される。
【００６７】
（Ｓ２４）最大頻度Ｆ（ｘ，ｙ）から頻度Ｆ１へ少し低下したとしても、日照変化によるものと考えられるので、ステップＳ２２で求めたヒストグラム２６ｘｙの最頻値Ｐｍ０で背景画像の画素値Ｐｂ（ｘ，ｙ）を更新し、ステップＳ２５へ進む。
【００６８】
すなわち、背景画像更新周期で日照変化により更新前最頻値に対応した頻度が変動する幅は比較的小さく、これが大きくなった場合には移動物体の画像が含まれていることによるものと判断する。
【００６９】
本実施例３によれば、移動物体の一時停止等と考えられる領域のみ背景画像の前回画素値が維持されるので、照明条件変化による背景画像の変化を取り入れるとともに、移動物体の一時停止等によるノイズを含む背景画像の生成を防止することができる。
【００７０】
なお、最大頻度分布記憶部２７を用いずに、最大頻度Ｆを予め設定した値で置き換えた構成であってもよい。
【実施例４】
【００７１】
図１１は、本発明の実施例４に係る移動物体追跡装置２０Ｃの概略機能ブロック図である。
【００７２】
背景画像生成部２５Ｃは、オブジェクトマップ記憶部２４に格納されているＩＤのオブジェクトマップを参照し、フレーム画像のうち移動物体が存在しない領域の画素値のみ用いてヒストグラム２６ｘｙを作成し、ヒストグラム２６ｘｙの頻度の合計ＦＴが設定値以上であれば最頻値Ｐｍ０を背景画像の画素値とし、そうでなければ画素値を更新しないで維持する。
【００７３】
図１４はＩＤのオブジェクトマップ説明図であり、理解を容易にするため移動物体１２が重ねて示されている。１ブロックは例えば８×８画素であり、ブロック単位で移動物体ＩＤが付与されている。
【００７４】
図１３に示す如く、オブジェクトマップのブロックの位置座標を（Ｘ，Ｙ）と表記する。図１３では簡単化のため１ブロックが２×２画素である場合を示している。時刻ｔにおけるブロック（Ｘ，Ｙ）のＩＤをＩＤ（ｔ｜Ｘ，Ｙ）で表す。移動物体が存在しないと判定されたブロックに付与されているＩＤの値は０であるとする。また、画素（ｘ，ｙ）はブロック（Ｘ，Ｙ）内であるとする。
【００７５】
図１２は、背景画像生成部２５Ｃによる背景画像の画素（ｘ，ｙ）の更新処理を示すフローチャートであり、図１３は、この処理の説明図である。
【００７６】
（Ｓ３０）時刻ｔ（フレーム番号に対応）及び頻度合計ＦＴにそれぞれ初期値ｔ０及び０を代入する。
【００７７】
（Ｓ３１）ＩＤ（ｔ｜Ｘ，Ｙ）≠０であれば、すなわち時刻ｔのオブジェクトマップのブロック（Ｘ，Ｙ）が移動物体存在ブロックと判定されていれば、ステップＳ３２へ進み、そうでなければステップＳ３３へ進む。
【００７８】
（Ｓ３２）ヒストグラム２６ｘｙの横軸の値がＰ（ｔ｜ｘ，ｙ）である頻度をインクリメントし、頻度合計ＦＴをインクリメントする。
【００７９】
（Ｓ３３）時刻ｔをインクリメントする。
【００８０】
（Ｓ３４）ｔ≦ｔｎであればステップＳ３１へ戻り、そうでなければステップＳ３５へ進む。
【００８１】
（Ｓ３５）ＦＴ≧ＦＴ０であればステップＳ３６へ進み、そうでなければ処理を終了する。基準値ＦＴｒは１以上の値であり、例えば１０である。本実施例４では移動物体が存在すると判定された領域のみの画素値を用いてヒストグラム２６ｘｙを作成するので、基準値ＦＴｒを比較的小さな値にすることができる。
【００８２】
（Ｓ３６）ヒストグラム２６ｘｙの最頻値Ｐｍ０を求め、これを画素値Ｐｂ（ｘ、ｙ）に代入する。すなわち、背景画像記憶部２３の画素（ｘ、ｙ）の値を最頻値Ｐｍ０で更新する。
【００８３】
ＦＴ＜ＦＴｒの場合には背景画像の画素値更新が行われないので、前回値が維持される。
【００８４】
本実施例４によれば、移動物体認識部２２で作成されたオブジェクトマップを参照し、移動物体不存在ブロック内の画素値のみのヒストグラムに基づいて背景画像の画素値を更新するので、照明条件変化による背景画像の変化を取り入れるとともに、移動物体の一時停止等によるノイズを含む背景画像が生成されるのを防止することができる。
【００８５】
なお、図１４に太線で示すように、同一ＩＤのブロックの集合が内接する矩形を求め、ステップＳ３１でこの矩形内を移動物体領域と判定する構成であってもよい。
【実施例５】
【００８６】
図１５は、本発明の実施例５に係る移動物体追跡装置２０Ｄの概略機能ブロック図である。
【００８７】
本実施例５では、上述の記設定手段により設定部２９に、図１７に示すような検出領域Ａ１〜Ａ３を予め設定しておく。検出領域Ａ１〜Ａ３は、不動物であり、かつ、テクスチャー情報が比較的多くて動きベクトルＭＶを容易に求めることが可能な背景特徴部Ｂ１〜Ｂ３の一部又は全部を含むように設定される。
【００８８】
図１６は、図１５のカメラぶれ検出部３０及び座標変換パラメータ決定部３１による処理を示すフローチャートである。ステップＳ４０〜Ｓ４６はカメラぶれ検出部３０による処理であり、ステップＳ４７及びＳ４８は座標変換パラメータ決定部３１による処理である。
【００８９】
（Ｓ４０）検出領域Ａｉの識別変数ｉに初期値１を代入する。
【００９０】
（Ｓ４１）フレーム画像上の領域検出領域Ａｉ内の画素値Ｐ（ｘ，ｙ）と背景画像内の対応する画素値Ｐｂ（ｘ，ｙ）との差の絶対値の総和を、非類似度ＮＳとして求める。
【００９１】
（Ｓ４２）ＮＳ≧ΔであればステップＳ４３へ進み、そうでなければステップＳ４４へ進む。
【００９２】
（Ｓ４３）背景画像上の検出領域Ａｉ内の画像と時刻ｔのフレーム画像との間でブロックマッチングを行って、検出領域Ａｉ内の画像の動きベクトルＭＶｉを求める。ブロックマッチングを行う範囲は、時刻ｔのフレーム画像上の検出領域Ａｉを中心とする、検出領域Ａｉより広い所定範囲内である。次にステップＳ４５へ進む。
【００９３】
（Ｓ４４）動きベクトルＭＶｉに０を代入する。
【００９４】
（Ｓ４５）ｉを１だけインクリメントする。
【００９５】
（Ｓ４６）Ｉ≦３であればステップＳ４１へ戻り、そうでなければステップＳ４７へ進む。
【００９６】
（Ｓ４７）動きベクトルＭＶ１〜ＭＶ３が全て０であれば処理を終了し、そうでなければステップＳ４８へ進む。
【００９７】
（Ｓ４８）動きベクトルＭＶ１〜ＭＶ３の一端の座標（ｘ，ｙ）をそれぞれの他端の座標（ｘ’，ｙ’）に変換する６個の座標変換パラメータａ（ｉ，ｊ）、ｉ＝１〜２、ｊ＝１〜３を算出する。このパラメータは、次式により求めることができる。
【００９８】
ｘ’＝ａ（１，１）・ｘ＋ａ（１，２）・ｙ＋ａ（１，３）
ｘ’＝ａ（２，１）・ｘ＋ａ（２，２）・ｙ＋ａ（２，３）
図１８中に動きベクトルＭＶ１〜ＭＶ３の具体例を示す。図１８中、実線はカメラぶれが生ずる前のフレーム画像であって、背景画像はこれに対応しており、点線はカメラぶれが生じた後のフレーム画像である。このカメラぶれにより、検出領域Ａ１〜Ａ３はそれぞれＡ１Ｓ〜Ａ３Ｓにシフトし、背景特徴部Ｂ１〜Ｂ３はそれぞれＢ１Ｓ〜Ｂ３Ｓにシフトし、移動物体１４〜１７はそれぞれ１４Ｓ〜１７Ｓにシフトしている。
【００９９】
図１５において、移動物体認識部２２は、座標変換パラメータ決定部３１から座標変換パラメータを受け取ると、このパラメータで定まる座標変換式に基づいて、フレーム画像と背景画像の一方を座標変換し、両画像を比較して公知の方法によりブロック毎に移動物体存否の判定を行う。
【０１００】
本実施例５によれば、上記のような検出領域Ａ１〜Ａ３を設定し、これら制限された領域のみについてカメラぶれを検出すればよいので、短時間で容易かつ正確にカメラぶれ量を検出することが可能であり、これにより、リアルタイムで画像上の移動物体を正確に認識することが可能となる。
【０１０１】
なお、検出領域は実質的に３以上であればよく、４以上にして座標変換誤差がより小さくなるようにしてもよい。「実質的に」とは、例えば検出領域を１つだけ設定し、その領域内の３箇所を検出領域とする場合を含む意味である。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施例１に係る移動物体追跡装置の概略機能ブロック図である。
【図２】図１中の背景画像生成部による処理を示すフローチャートである。
【図３】図２の処理の説明図である。
【図４】図２の処理結果である背景画像を示す図である。
【図５】本発明の実施例２に係る移動物体追跡装置の概略機能ブロック図である。
【図６】図５中の背景画像生成部による処理を示すフローチャートである。
【図７】図６の処理の説明図である。
【図８】本発明の実施例３に係る移動物体追跡装置の概略機能ブロック図である。
【図９】図８中の背景画像生成部による処理を示すフローチャートである。
【図１０】図８の処理の説明図である。
【図１１】本発明の実施例４に係る移動物体追跡装置の概略機能ブロック図である。
【図１２】図１１中の背景画像生成部による処理を示すフローチャートである。
【図１３】図１２の処理の説明図である。
【図１４】移動物体ＩＤのオブジェクトマップ説明図である。
【図１５】本発明の実施例５に係る移動物体追跡装置の概略機能ブロック図である。
【図１６】図１５中のカメラぶれ検出部及び座標変換パラメータ決定部による処理を示すフローチャートである。
【図１７】背景画像動きベクトル検出領域の説明図である。
【図１８】背景画像動きベクトルＭＶ１〜ＭＶ３の具体例を示す図である。
【図１９】従来技術の問題点説明図である。
【図２０】従来技術の問題点説明図である。
【符号の説明】
【０１０３】
１０ フレーム画像
１０Ａ、１０Ｂ 背景画像
１１ 交差点
１２、１４〜１７ 移動物体
１３ ビデオカメラ
２０、２０Ａ、２０Ｂ 移動物体追跡装置
２１ 画像メモリ
２２ 移動物体認識部
２３ 背景画像記憶部
２４ オブジェクトマップ記憶部
２５、２５Ａ、２５Ｂ 背景画像生成部
２６ ヒストグラムメモリ
２６ｘｙ ヒストグラム
２７ 最大頻度分布記憶部
２８ 設定値記憶部
２９ 検出領域設定部
３０ カメラぶれ検出部
３１ 座標変換パラメータ決定部
Ａ１〜Ａ３ 検出領域
Ｂ１〜Ｂ３ 背景特徴部
ＭＶ１〜ＭＶ３ 動きベクトル
【技術分野】
【０００１】
本発明は、時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動物体認識用背景画像として生成する背景画像生成方法及び装置に関する。
【背景技術】
【０００２】
ビデオカメラで移動物体を撮像し、その画像を処理して移動物体を認識し追跡することにより、交通状態や交通事故の検出、駐車場の車の出入り分析、店舗内の客の移動分析等を自動的に行うことができる。
【０００３】
この種の方法としては、例えば４８０×６４０画素のフレームを８×８画素のブロックに分割して６０×８０ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体存否を判定し、時刻ｔ−１とｔのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号及び動きベクトルを求める方法がある（例えば下記特許文献１〜３）。
【０００４】
背景画像は、例えば過去１０分間のフレーム画像から選択した時系列画像の各画素（ｘ、ｙ）について、画素値のヒストグラムを作成し、その最頻値を画素値とすることにより得られる（例えば下記特許文献１〜３）。日照変化により撮影対象の輝度が変化するので、移動物体認識を正確に行うためには背景画像を定期的に更新する必要がある。更新周期を短くするほど、日照条件が現在のものにより近くなるので、得られる背景画像が現在の背景をより反映したものとなる。
【０００５】
しかしながら、更新周期を例えば１分にすると、次のような問題が生ずる。すなわち、図１９に示すようにフレーム画像１０において、交差点１１の中央部に移動物体１２が例えば４０秒間一時停止している場合、この部分が背景として認識され、図２０に示すような移動物体１２（ノイズ）を含む背景画像が作成される。この場合、この背景画像と現フレーム画像とが比較されて移動物体が認識されるので、図１９の移動物体１２の部分に移動物体が存在しないにも関わらず、移動物体が存在すると判定される。
【０００６】
また、背景画像は少し過去のものであるため、次のような問題も生ずる。すなわち、固定したビデオカメラが地震等により揺れた場合に、フレーム画像を背景画像と比較して移動物体を認識すると、背景の一部が移動物体と認識されたり、移動物体とその周囲の背景とが１つの移動物体と認識されたり、移動物体の位置や速度の計測値、或いは移動物体の軌跡が、不正確となる。
【０００７】
下記特許文献４では、動きベクトル検出部、手ブレ判定部、アクティビティ判定部を備え、動きベクトルを検出して手ブレ量を補正している。しかし、被写体全体の画像データに基づいて背景を推定しそのシフト量を求めているので、背景のシフト量が不正確になるとともに、処理時間が長くなり、複数の移動物体をリアルタイムで追跡処理する装置にこの方法を適用するのは現実的でない。
【０００８】
また、下記特許文献５及び６には照明条件の変化による背景画像の変化の問題が記載されているが、上記ノイズを除去可能な背景画像作成方法については記載がない。
【特許文献１】特開２００２−１３３４２１号公報
【特許文献２】特開２００３−００６６５５号公報
【特許文献３】特開２００３−２６３６２６号公報
【特許文献４】特開平０５−１３７０５０号公報
【特許文献５】特開２０００−２５１０７９号公報
【特許文献６】特開平０９−００９２４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、上記問題点に鑑み、移動物体を正確に認識するためのより正確な背景画像を得ることができる背景画像生成方法及び装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明による背景画像生成方法では、時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成する。
【００１１】
本発明による背景画像生成方法の第１態様では、該ヒストグラムに、更新前の背景画像の対応する画素の値の所定頻度を追加し、追加後のヒストグラムの最頻値を、更新後の背景画像の対応する画素の値とする。
【００１２】
本発明による背景画像生成方法の第２態様では、該最頻値と更新前の背景画像の対応する画素の値との差が所定値以上であれば、該更新前の背景画像の対応する画素の値を、更新せずに維持する。
【００１３】
本発明による背景画像生成方法の第３態様では、該ヒストグラム上の最頻値に対応した頻度の変動の大きさが所定値以上であれば、更新前の背景画像の対応する画素の値を、更新せずに維持する。
【００１４】
本発明による背景画像生成方法の第４態様では、該時系列画像と該背景画像とを比較して該時系列画像に含まれる移動物体の領域を認識し、該ヒストグラムでは該移動物体の領域の画素値を除く。
【００１５】
本発明による背景画像生成方法の第５態様では、画像フレーム内にカメラぶれ検出領域を実質的に少なくとも３箇所設定し、フレーム画像と該背景画像とを比較して各カメラぶれ検出領域の動きベクトルを求め、該動きベクトルに基づいて、カメラぶれによる画像内各部のシフトを定める座標変換式のパラメータを決定し、該座標変換式に基づいて、該時系列画像に対し該背景画像を相対的に対応させる。
【発明の効果】
【００１６】
上記第１態様の構成によれば、背景画像更新周期に対し移動物体が比較的長く一時停止しても、停止した移動物体が背景画像に含まれるのを避けることが可能となる。
【００１７】
上記第２、第３態様のいずれの構成によっても、移動物体の一時停止等と考えられる領域のみ背景画像の前回画素値が維持されるので、照明条件変化による背景画像の変化を取り入れるとともに、停止した移動物体が背景画像に含まれるのを避けることが可能となる。
【００１８】
上記第４態様の構成によれば、移動物体不存在領域内の画素値のみのヒストグラムに基づいて背景画像の画素値が更新されるので、照明条件変化による背景画像の変化を取り入れるとともに、停止した移動物体が背景画像に含まれるのを避けることが可能となる。
【００１９】
上記第５態様の構成によれば、設定された検出領域のみについてカメラぶれを検出すればよいので、短時間で容易かつ正確にカメラぶれ量を検出することが可能であり、これにより、リアルタイムで画像上の移動物体を正確に認識することが可能となる。
【００２０】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
【発明を実施するための最良の形態】
【００２１】
以下、図面に基づいて本発明の実施例を説明する。図面において、同一又は類似の要素には、同一又は類似の符号を付している。
【実施例１】
【００２２】
図１は、ビデオカメラ（例えばＩＴＶカメラ）１３で撮像された画像を処理して移動物体を追跡する移動物体追跡装置２０の概略機能ブロック図である。
【００２３】
この装置２０のうち記憶部以外の処理部は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウエアと専用のハードウエアの組み合わせで構成することができる。
【００２４】
ビデオカメラ１３で撮影された時系列画像は、例えば３０フレーム／秒で画像メモリ２１に複数フレームが格納され、最も古いフレームが新しいフレーム画像で書き換えられる。
【００２５】
本発明は、画像メモリ２１に格納された画像データを構成要素２３〜２７により、リアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。
【００２６】
また、画像メモリ２１に格納された画像（原画像）を直接、構成要素２３〜２７で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は２次元フーリエ変換し所定周波数以上の成分を強調した後逆フーリエ変換したもの（変換画像）を、構成要素２３〜２７で処理する構成であってもよい。以下、「画像」とは原画像又は変換画像を意味する。
【００２７】
移動物体認識部２２は、画像メモリ２１に格納されたフレーム画像の、上述の各ブロックについて、記憶部２３に格納された背景画像の対応するブロックとの非類似度を算出し、これが閾値以上であれば、移動物体が存在すると判定し、記憶部２４に格納されているオブジェクトマップの対応するブロックに移動物体識別符号（ＩＤ）を付与する。オブジェクトマップは、画像処理によりブロック単位の情報を取得しこれを記憶したものであり、この情報にはＩＤの他にブロック単位の動きベクトルが含まれる。動きベクトルは、移動物体認識部２２により、時刻ｔ（シリアルフレーム番号）と時刻ｔ−１のフレーム画像を比較して求められる。オブジェクトマップの時系列は、移動物体追跡結果を示しており、装置２０の用途に応じてその情報がさらに処理される。
【００２８】
オブジェクトマップ作成の詳細は、例えば上記特許文献１〜３のいずれかに記載されたものと同じであるので、その説明を省略する。
【００２９】
本実施例１の特徴は、背景画像生成部２５の処理方法にあり、以下、これについて詳説する。
【００３０】
背景画像生成部２５は、画像メモリ２１をアクセスし、例えば過去１分間の全ての又は間引かれたもののフレーム画像の対応する画素（ｘ、ｙ）について画素値のヒストグラムを作成し、その最頻値に関する以下に述べる値を画素（ｘ、ｙ）の値とする背景画像を生成する。背景画像は、この処理が周期的、例えば１分毎に行われて更新される。
【００３１】
図２は、図１中の背景画像生成部２５による処理を示すフローチャートであり、図３は、この処理の説明図である。
【００３２】
ここで、背景画像作成に用いられる、時刻ｔ１〜ｔｎの時系列フレーム画像をＧ０〜Ｇｎで表す。また、時刻ｔにおけるフレーム画像の画素（ｘ，ｙ）の値をＰ（ｔ｜ｘ，ｙ）、背景画像の画素（ｘ，ｙ）の値をＰｂ（ｔ｜ｘ，ｙ）で表す。
【００３３】
最初、画素値Ｐｂが格納される背景画像記憶部２３及び後述の最大頻度Ｆが格納される最大頻度分布記憶部２７は、全画素についてゼロクリアされている。
【００３４】
（Ｓ０）画素（ｘ，ｙ）に初期値（０，０）を代入する。
【００３５】
（Ｓ１）フレーム画像Ｇ０〜Ｇｎの画素（ｘ、ｙ）に着目した画素値Ｐ（ｔ０｜ｘ，ｙ）〜Ｐ（ｔｎ｜ｘ，ｙ）のヒストグラム２６ｘｙを、図１のヒストグラムメモリ２６に作成する。このヒストグラム２６ｘｙの最頻値及びその頻度をそれぞれＰｍ０及びＦ０とする。
【００３６】
ここで、背景画像更新前における補正後のヒストグラム２６ｘｙの最頻値及びその頻度はそれぞれ記憶部２３及び２７に格納されている画素（ｘ，ｙ）についての値Ｐｂ（ｔ｜ｘ，ｙ）及びＦ（ｔ｜ｘ，ｙ）である。
【００３７】
（Ｓ２）ヒストグラム２６ｘｙをこれらＰｂ（ｔ｜ｘ，ｙ）及びＦ（ｔ｜ｘ，ｙ）で補正する。すなわち、ヒストグラム２６ｘｙの画素値Ｐｂ（ｔ｜ｘ，ｙ）の頻度にα・Ｆ（ｔ｜ｘ，ｙ）を加算することにより、ヒストグラム２６ｘｙを補正する。
【００３８】
ここにαは１以下の正の定数であり、本実施例１の効果が得られるように経験的に定められ、例えば０．５であって、予め設定されている。この設定は、図１において、マウス等のポインティングデバイス又はキーボード等の入力装置ＩＮと、設定を確認する表示装置ＯＵＴと、背景画像生成部２５に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。
【００３９】
初回は各（ｘ，ｙ）について最大頻度Ｆ（ｔ｜ｘ，ｙ）＝０であるので、このステップＳ２の処理は初回において実質的に意味がないが、初回も２回目以降と同じ処理を行えばよいことになる。
【００４０】
なお、図３ではヒストグラムを簡単化して模式的に示している。この点は、他の図のヒストグラムについても同様である。
【００４１】
（Ｓ３）補正されたヒストグラム２６ｘｙの最頻値Ｐｍ１を求める。この最頻値Ｐｍ１の頻度をＦ１とする。
【００４２】
（Ｓ４）背景画像の画素（ｘ，ｙ）の値を最頻値Ｐｍ１に更新する。すなわち、Ｐｂ（ｘ，ｙ）に値Ｐｍ１を代入する。
【００４３】
（Ｓ５）画素（ｘ，ｙ）について最大頻度分布記憶部２７を最大頻度Ｆ１に更新する。すなわち、最大頻度Ｆ（ｘ，ｙ）に頻度Ｆ１を代入する。
【００４４】
（Ｓ７）（ｘ，ｙ）の値を更新する。
【００４５】
（Ｓ８）（ｘ，ｙ）がフレーム画像内であればステップＳ１へ戻る。
【００４６】
このような処理により、背景画像記憶部２３及び最大頻度分布記憶部２７の内容が更新される。
【００４７】
なお、初回は補正されないので、最初に作成する背景画像は、移動物体が存在しない時が好ましい。
【００４８】
例えば、更新周期６０秒のうち２５秒間は、図１９において移動物体１２が交差点中央部に一時停止しなかったが、その後３５秒間、移動物体１２がこの位置に一時停止し、図３の補正前のヒストグラム２６ｘｙが得られたとする。この場合、最頻値Ｐｍ０及び次に頻度が多い画素値Ｐｍ１はそれぞれ移動物体及び路面の画素値である。１つ前の更新周期において、移動物体が交差点中央部に殆ど一時停止していなかったとすると、そのヒストグラムにおける画素値Ｐｍ１の頻度Ｆは比較的大きく、図３に示すように補正される。これにより、移動物体が比較的長く一時停止しても、図２０に示すようなノイズを含む背景画像が生成されるのを避けることができ、図４に示すような背景画像が得られる。
【００４９】
本実施例１では最大頻度分布記憶部２７を用いる場合を説明したが、最大頻度分布記憶部２７を用いずに、すなわちステップＳ２でα・Ｆ（ｔ｜ｘ，ｙ）を加算する替わりに、予め設定した値を加算する構成であってもよい。換言すれば、最頻値Ｆの平均値を用いてもよい。
【００５０】
また、実質的に図２の処理が行えればよい。例えば、図２のステップＳ１の時刻ｔに関する各画素の処理を移動物体認識部２２による時刻ｔのフレーム画像に関する処理と並行して行い、所定フレーム数に関する各画素のヒストグラムが得られた後にステップＳ２〜Ｓ５の処理を一括して行う構成であってもよい。また、背景画像の画素の更新時点がＴ／Ｎ（Ｎはフレーム画像の画素数）ずつずれるようにしてもよい。
【実施例２】
【００５１】
図５は、本発明の実施例２に係る移動物体追跡装置２０Ａの概略機能ブロック図である。図６は、この装置の背景画像生成部２５Ａによる処理を示すフローチャートであり、図７は、この処理の説明図である。
【００５２】
図５の設定値記憶部２８には、上述の設定手段により照明条件変化判定幅ΔＰが予め設定されている。背景画像生成部２５Ａは、上記実施例１と同様にしてヒストグラム２６ｘｙを生成し、補正をせずに最頻値Ｐｍ０を求め、更新前の背景画像の対応する最頻値Ｐｍ１との差の絶対値がΔＰ／２より小さい場合のみ、最頻値Ｐｍ０で背景画像の画素値Ｐｂ（ｘ，ｙ）を更新する。以下、この方法を詳説する。
【００５３】
図６のステップＳ１０、Ｓ１１、Ｓ１５及びＳ１６はそれぞれ図２のステップＳ０、Ｓ１、Ｓ６及びＳ７と同一である。
【００５４】
（Ｓ１２）ヒストグラム２６ｘｙの最頻値Ｐｍ０を求める。
【００５５】
（Ｓ１３）｜Ｐｍ０−Ｐｂ（ｘ，ｙ）｜＜ΔＰ／２であればステップＳ１４へ進み、そうでなければ、移動物体の一時停止等による最頻値のシフトであると考えられるので更新せずにステップＳ１５へ進む。
【００５６】
（Ｓ１４）照明条件の変化による最頻値のシフトであると考えられるので、最頻値Ｐｍ０を画素値Ｐｂ（ｘ，ｙ）として背景画像記憶部２３の画素（ｘ，ｙ）に格納し、ステップＳ１５へ進む。
【００５７】
すなわち、背景画像更新周期で日照変化により背景画像の画素値が変動する幅は一般に比較的小さいので、ヒストグラム２６ｘｙの最頻値Ｐｍ０で該画素値を更新し、これが大きくなった場合には移動物体の画像が含まれていることによるものと判断して、更新前の画素値を維持する。これにより、移動物体の一時停止等と考えられる領域のみ背景画像生成部２５Ａによる補正が行われる。
【００５８】
なお、更新しない場合に移動物体の画素値が背景画像中に維持されないようにするため、最初に作成する背景画像は、移動物体が存在しない時が好ましい。
【００５９】
本実施例２によれば、照明条件の変化により背景画像の変化を取り入れるとともに、移動物体の一時停止等によるノイズを含む背景画像の生成を防止することができる。
【実施例３】
【００６０】
実施例２ではヒストグラム２６ｘｙの横軸に着目したが、縦軸に着目した構成であってもよく、これを本発明の実施例３として説明する。
【００６１】
図８は、本発明の実施例３に係る移動物体追跡装置２０Ｂの概略機能ブロック図である。
【００６２】
この装置では、図５の設定値記憶部２８の替わりに、後述の基準値Ｋを設定する設定値記憶部２８Ａを備え、また、図１の最大頻度分布記憶部２７を備えている。
【００６３】
この装置の背景画像生成部２５Ｂは、図１０（Ａ）に示す更新前の背景画像の画素値Ｐｂ（ｔ｜ｘ，ｙ）に対応した最大頻度Ｆ（ｘ，ｙ）に対する、図１０（Ｂ）に示すヒストグラム２６ｘｙ上の画素値Ｐｂ（ｔ｜ｘ，ｙ）の頻度Ｆ１の割合に基づいて、日照変化又は移動物体一時停止であるかを判定する。
【００６４】
図９は、この装置の背景画像生成部２５Ｂによる処理を示すフローチャートであり、図１０は、この処理の説明図である。
【００６５】
図９のステップＳ２０〜Ｓ２２、Ｓ２５及びＳ２６はそれぞれ図６のステップＳ１０〜Ｓ１２、Ｓ１５及びＳ１６と同一である。
【００６６】
（Ｓ２３）Ｆ１／Ｆ（ｘ，ｙ）≧ＫであればステップＳ２４へ進み、そうでなければ、移動物体の一時停止等により最大頻度Ｆ（ｘ，ｙ）から頻度Ｆ１へ比較的大きく低下したと考えられるので、背景画像の画素値Ｐｂ（ｘ，ｙ）を更新せずにステップＳ２５へ進む。ここにＫは、１より小さい正の定数であり、例えば０．８であって、上述の設定手段により予め設定される。
【００６７】
（Ｓ２４）最大頻度Ｆ（ｘ，ｙ）から頻度Ｆ１へ少し低下したとしても、日照変化によるものと考えられるので、ステップＳ２２で求めたヒストグラム２６ｘｙの最頻値Ｐｍ０で背景画像の画素値Ｐｂ（ｘ，ｙ）を更新し、ステップＳ２５へ進む。
【００６８】
すなわち、背景画像更新周期で日照変化により更新前最頻値に対応した頻度が変動する幅は比較的小さく、これが大きくなった場合には移動物体の画像が含まれていることによるものと判断する。
【００６９】
本実施例３によれば、移動物体の一時停止等と考えられる領域のみ背景画像の前回画素値が維持されるので、照明条件変化による背景画像の変化を取り入れるとともに、移動物体の一時停止等によるノイズを含む背景画像の生成を防止することができる。
【００７０】
なお、最大頻度分布記憶部２７を用いずに、最大頻度Ｆを予め設定した値で置き換えた構成であってもよい。
【実施例４】
【００７１】
図１１は、本発明の実施例４に係る移動物体追跡装置２０Ｃの概略機能ブロック図である。
【００７２】
背景画像生成部２５Ｃは、オブジェクトマップ記憶部２４に格納されているＩＤのオブジェクトマップを参照し、フレーム画像のうち移動物体が存在しない領域の画素値のみ用いてヒストグラム２６ｘｙを作成し、ヒストグラム２６ｘｙの頻度の合計ＦＴが設定値以上であれば最頻値Ｐｍ０を背景画像の画素値とし、そうでなければ画素値を更新しないで維持する。
【００７３】
図１４はＩＤのオブジェクトマップ説明図であり、理解を容易にするため移動物体１２が重ねて示されている。１ブロックは例えば８×８画素であり、ブロック単位で移動物体ＩＤが付与されている。
【００７４】
図１３に示す如く、オブジェクトマップのブロックの位置座標を（Ｘ，Ｙ）と表記する。図１３では簡単化のため１ブロックが２×２画素である場合を示している。時刻ｔにおけるブロック（Ｘ，Ｙ）のＩＤをＩＤ（ｔ｜Ｘ，Ｙ）で表す。移動物体が存在しないと判定されたブロックに付与されているＩＤの値は０であるとする。また、画素（ｘ，ｙ）はブロック（Ｘ，Ｙ）内であるとする。
【００７５】
図１２は、背景画像生成部２５Ｃによる背景画像の画素（ｘ，ｙ）の更新処理を示すフローチャートであり、図１３は、この処理の説明図である。
【００７６】
（Ｓ３０）時刻ｔ（フレーム番号に対応）及び頻度合計ＦＴにそれぞれ初期値ｔ０及び０を代入する。
【００７７】
（Ｓ３１）ＩＤ（ｔ｜Ｘ，Ｙ）≠０であれば、すなわち時刻ｔのオブジェクトマップのブロック（Ｘ，Ｙ）が移動物体存在ブロックと判定されていれば、ステップＳ３２へ進み、そうでなければステップＳ３３へ進む。
【００７８】
（Ｓ３２）ヒストグラム２６ｘｙの横軸の値がＰ（ｔ｜ｘ，ｙ）である頻度をインクリメントし、頻度合計ＦＴをインクリメントする。
【００７９】
（Ｓ３３）時刻ｔをインクリメントする。
【００８０】
（Ｓ３４）ｔ≦ｔｎであればステップＳ３１へ戻り、そうでなければステップＳ３５へ進む。
【００８１】
（Ｓ３５）ＦＴ≧ＦＴ０であればステップＳ３６へ進み、そうでなければ処理を終了する。基準値ＦＴｒは１以上の値であり、例えば１０である。本実施例４では移動物体が存在すると判定された領域のみの画素値を用いてヒストグラム２６ｘｙを作成するので、基準値ＦＴｒを比較的小さな値にすることができる。
【００８２】
（Ｓ３６）ヒストグラム２６ｘｙの最頻値Ｐｍ０を求め、これを画素値Ｐｂ（ｘ、ｙ）に代入する。すなわち、背景画像記憶部２３の画素（ｘ、ｙ）の値を最頻値Ｐｍ０で更新する。
【００８３】
ＦＴ＜ＦＴｒの場合には背景画像の画素値更新が行われないので、前回値が維持される。
【００８４】
本実施例４によれば、移動物体認識部２２で作成されたオブジェクトマップを参照し、移動物体不存在ブロック内の画素値のみのヒストグラムに基づいて背景画像の画素値を更新するので、照明条件変化による背景画像の変化を取り入れるとともに、移動物体の一時停止等によるノイズを含む背景画像が生成されるのを防止することができる。
【００８５】
なお、図１４に太線で示すように、同一ＩＤのブロックの集合が内接する矩形を求め、ステップＳ３１でこの矩形内を移動物体領域と判定する構成であってもよい。
【実施例５】
【００８６】
図１５は、本発明の実施例５に係る移動物体追跡装置２０Ｄの概略機能ブロック図である。
【００８７】
本実施例５では、上述の記設定手段により設定部２９に、図１７に示すような検出領域Ａ１〜Ａ３を予め設定しておく。検出領域Ａ１〜Ａ３は、不動物であり、かつ、テクスチャー情報が比較的多くて動きベクトルＭＶを容易に求めることが可能な背景特徴部Ｂ１〜Ｂ３の一部又は全部を含むように設定される。
【００８８】
図１６は、図１５のカメラぶれ検出部３０及び座標変換パラメータ決定部３１による処理を示すフローチャートである。ステップＳ４０〜Ｓ４６はカメラぶれ検出部３０による処理であり、ステップＳ４７及びＳ４８は座標変換パラメータ決定部３１による処理である。
【００８９】
（Ｓ４０）検出領域Ａｉの識別変数ｉに初期値１を代入する。
【００９０】
（Ｓ４１）フレーム画像上の領域検出領域Ａｉ内の画素値Ｐ（ｘ，ｙ）と背景画像内の対応する画素値Ｐｂ（ｘ，ｙ）との差の絶対値の総和を、非類似度ＮＳとして求める。
【００９１】
（Ｓ４２）ＮＳ≧ΔであればステップＳ４３へ進み、そうでなければステップＳ４４へ進む。
【００９２】
（Ｓ４３）背景画像上の検出領域Ａｉ内の画像と時刻ｔのフレーム画像との間でブロックマッチングを行って、検出領域Ａｉ内の画像の動きベクトルＭＶｉを求める。ブロックマッチングを行う範囲は、時刻ｔのフレーム画像上の検出領域Ａｉを中心とする、検出領域Ａｉより広い所定範囲内である。次にステップＳ４５へ進む。
【００９３】
（Ｓ４４）動きベクトルＭＶｉに０を代入する。
【００９４】
（Ｓ４５）ｉを１だけインクリメントする。
【００９５】
（Ｓ４６）Ｉ≦３であればステップＳ４１へ戻り、そうでなければステップＳ４７へ進む。
【００９６】
（Ｓ４７）動きベクトルＭＶ１〜ＭＶ３が全て０であれば処理を終了し、そうでなければステップＳ４８へ進む。
【００９７】
（Ｓ４８）動きベクトルＭＶ１〜ＭＶ３の一端の座標（ｘ，ｙ）をそれぞれの他端の座標（ｘ’，ｙ’）に変換する６個の座標変換パラメータａ（ｉ，ｊ）、ｉ＝１〜２、ｊ＝１〜３を算出する。このパラメータは、次式により求めることができる。
【００９８】
ｘ’＝ａ（１，１）・ｘ＋ａ（１，２）・ｙ＋ａ（１，３）
ｘ’＝ａ（２，１）・ｘ＋ａ（２，２）・ｙ＋ａ（２，３）
図１８中に動きベクトルＭＶ１〜ＭＶ３の具体例を示す。図１８中、実線はカメラぶれが生ずる前のフレーム画像であって、背景画像はこれに対応しており、点線はカメラぶれが生じた後のフレーム画像である。このカメラぶれにより、検出領域Ａ１〜Ａ３はそれぞれＡ１Ｓ〜Ａ３Ｓにシフトし、背景特徴部Ｂ１〜Ｂ３はそれぞれＢ１Ｓ〜Ｂ３Ｓにシフトし、移動物体１４〜１７はそれぞれ１４Ｓ〜１７Ｓにシフトしている。
【００９９】
図１５において、移動物体認識部２２は、座標変換パラメータ決定部３１から座標変換パラメータを受け取ると、このパラメータで定まる座標変換式に基づいて、フレーム画像と背景画像の一方を座標変換し、両画像を比較して公知の方法によりブロック毎に移動物体存否の判定を行う。
【０１００】
本実施例５によれば、上記のような検出領域Ａ１〜Ａ３を設定し、これら制限された領域のみについてカメラぶれを検出すればよいので、短時間で容易かつ正確にカメラぶれ量を検出することが可能であり、これにより、リアルタイムで画像上の移動物体を正確に認識することが可能となる。
【０１０１】
なお、検出領域は実質的に３以上であればよく、４以上にして座標変換誤差がより小さくなるようにしてもよい。「実質的に」とは、例えば検出領域を１つだけ設定し、その領域内の３箇所を検出領域とする場合を含む意味である。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施例１に係る移動物体追跡装置の概略機能ブロック図である。
【図２】図１中の背景画像生成部による処理を示すフローチャートである。
【図３】図２の処理の説明図である。
【図４】図２の処理結果である背景画像を示す図である。
【図５】本発明の実施例２に係る移動物体追跡装置の概略機能ブロック図である。
【図６】図５中の背景画像生成部による処理を示すフローチャートである。
【図７】図６の処理の説明図である。
【図８】本発明の実施例３に係る移動物体追跡装置の概略機能ブロック図である。
【図９】図８中の背景画像生成部による処理を示すフローチャートである。
【図１０】図８の処理の説明図である。
【図１１】本発明の実施例４に係る移動物体追跡装置の概略機能ブロック図である。
【図１２】図１１中の背景画像生成部による処理を示すフローチャートである。
【図１３】図１２の処理の説明図である。
【図１４】移動物体ＩＤのオブジェクトマップ説明図である。
【図１５】本発明の実施例５に係る移動物体追跡装置の概略機能ブロック図である。
【図１６】図１５中のカメラぶれ検出部及び座標変換パラメータ決定部による処理を示すフローチャートである。
【図１７】背景画像動きベクトル検出領域の説明図である。
【図１８】背景画像動きベクトルＭＶ１〜ＭＶ３の具体例を示す図である。
【図１９】従来技術の問題点説明図である。
【図２０】従来技術の問題点説明図である。
【符号の説明】
【０１０３】
１０ フレーム画像
１０Ａ、１０Ｂ 背景画像
１１ 交差点
１２、１４〜１７ 移動物体
１３ ビデオカメラ
２０、２０Ａ、２０Ｂ 移動物体追跡装置
２１ 画像メモリ
２２ 移動物体認識部
２３ 背景画像記憶部
２４ オブジェクトマップ記憶部
２５、２５Ａ、２５Ｂ 背景画像生成部
２６ ヒストグラムメモリ
２６ｘｙ ヒストグラム
２７ 最大頻度分布記憶部
２８ 設定値記憶部
２９ 検出領域設定部
３０ カメラぶれ検出部
３１ 座標変換パラメータ決定部
Ａ１〜Ａ３ 検出領域
Ｂ１〜Ｂ３ 背景特徴部
ＭＶ１〜ＭＶ３ 動きベクトル
【特許請求の範囲】
【請求項１】
時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成する背景画像生成方法において、
該ヒストグラムに、更新前の背景画像の対応する画素の値の所定頻度を追加し、追加後のヒストグラムの最頻値を、更新後の背景画像の対応する画素の値とする
ことを特徴とする背景画像生成方法。
【請求項２】
時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成する背景画像生成方法において、
該最頻値と更新前の背景画像の対応する画素の値との差が所定値以上であれば、該更新前の背景画像の対応する画素の値を、更新せずに維持する
ことを特徴とする背景画像生成方法。
【請求項３】
時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成する背景画像生成方法において、
該ヒストグラム上の最頻値に対応した頻度の変動の大きさが所定値以上であれば、更新前の背景画像の対応する画素の値を、更新せずに維持する
ことを特徴とする背景画像生成方法。
【請求項４】
時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成する背景画像生成方法において、
該時系列画像と該背景画像とを比較して該時系列画像に含まれる移動体の領域を認識し、
該ヒストグラムでは該移動物体の領域の画素値を除く
ことを特徴とする背景画像生成方法。
【請求項５】
時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成する背景画像生成方法において、
画像フレーム内にカメラぶれ検出領域を実質的に少なくとも３箇所設定し、
フレーム画像と該背景画像とを比較して各カメラぶれ検出領域の動きベクトルを求め、
該動きベクトルに基づいて、カメラぶれによる画像内各部のシフトを定める座標変換式のパラメータを決定し、
該座標変換式に基づいて、該時系列画像に対し該背景画像を相対的に対応させる
ことを特徴とする背景画像生成方法。
【請求項６】
時系列画像が格納される画像記憶部と、
該時系列画像の対応する画素について、画素値のヒストグラムが格納されるヒストグラム記憶部と、
背景画像記憶部と、
該ヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成し該背景画像記憶部に格納する背景画像生成部と
を有する背景画像生成装置において、
該背景画像生成部は、該ヒストグラムに、更新前の背景画像の対応する画素の値の所定頻度を追加し、追加後のヒストグラムの最頻値を、更新後の背景画像の対応する画素の値とする
ことを特徴とする背景画像生成装置。
【請求項７】
時系列画像が格納される画像記憶部と、
該時系列画像の対応する画素について、画素値のヒストグラムが格納されるヒストグラム記憶部と、
背景画像記憶部と、
該ヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成し該背景画像記憶部に格納する背景画像生成部と
を有する背景画像生成装置において、
該背景画像生成部は、該最頻値と更新前の背景画像の対応する画素の値との差が所定値以上であれば、該更新前の背景画像の対応する画素の値を、更新せずに維持する
ことを特徴とする背景画像生成装置。
【請求項８】
時系列画像が格納される画像記憶部と、
該時系列画像の対応する画素について、画素値のヒストグラムが格納されるヒストグラム記憶部と、
背景画像記憶部と、
該ヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成し該背景画像記憶部に格納する背景画像生成部と
を有する背景画像生成装置において、
該背景画像生成部は、該ヒストグラム上の最頻値に対応した頻度の変動の大きさが所定値以上であれば、更新前の背景画像の対応する画素の値を、更新せずに維持する
ことを特徴とする背景画像生成装置。
【請求項９】
時系列画像が格納される画像記憶部と、
該時系列画像の対応する画素について、画素値のヒストグラムが格納されるヒストグラム記憶部と、
背景画像記憶部と、
該ヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成し該背景画像記憶部に格納する背景画像生成部と、
該時系列画像と該背景画像とを比較して該時系列画像に含まれる移動体の領域を認識する移動体認識部と
を有する背景画像生成装置において、
該背景画像生成部は、該ヒストグラムでは該移動体の領域の画素値を除く
ことを特徴とする背景画像生成装置。
【請求項１０】
時系列画像が格納される画像記憶部と、
該時系列画像に基づいて生成される背景画像が格納される背景画像記憶部と、
該時系列画像を該背景画像と対比して移動物体を認識する移動物体認識部と、
を有する背景画像生成装置において、
画像フレーム内にカメラぶれ検出領域を実質的に少なくとも３箇所設定するための設定手段と、
フレーム画像と該背景画像とを比較して各カメラぶれ検出領域の動きベクトルを求めるカメラぶれ検出部と、
該動きベクトルに基づいて、カメラぶれによる画像内各部のシフトを定める座標変換式のパラメータを決定する座標変換パラメータ決定部と
をさらに有し、該移動物体認識部は、該座標変換式に基づいて、該時系列画像に対し該背景画像を相対的に対応させる
ことを特徴とする背景画像生成装置。
【請求項１】
時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成する背景画像生成方法において、
該ヒストグラムに、更新前の背景画像の対応する画素の値の所定頻度を追加し、追加後のヒストグラムの最頻値を、更新後の背景画像の対応する画素の値とする
ことを特徴とする背景画像生成方法。
【請求項２】
時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成する背景画像生成方法において、
該最頻値と更新前の背景画像の対応する画素の値との差が所定値以上であれば、該更新前の背景画像の対応する画素の値を、更新せずに維持する
ことを特徴とする背景画像生成方法。
【請求項３】
時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成する背景画像生成方法において、
該ヒストグラム上の最頻値に対応した頻度の変動の大きさが所定値以上であれば、更新前の背景画像の対応する画素の値を、更新せずに維持する
ことを特徴とする背景画像生成方法。
【請求項４】
時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成する背景画像生成方法において、
該時系列画像と該背景画像とを比較して該時系列画像に含まれる移動体の領域を認識し、
該ヒストグラムでは該移動物体の領域の画素値を除く
ことを特徴とする背景画像生成方法。
【請求項５】
時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成する背景画像生成方法において、
画像フレーム内にカメラぶれ検出領域を実質的に少なくとも３箇所設定し、
フレーム画像と該背景画像とを比較して各カメラぶれ検出領域の動きベクトルを求め、
該動きベクトルに基づいて、カメラぶれによる画像内各部のシフトを定める座標変換式のパラメータを決定し、
該座標変換式に基づいて、該時系列画像に対し該背景画像を相対的に対応させる
ことを特徴とする背景画像生成方法。
【請求項６】
時系列画像が格納される画像記憶部と、
該時系列画像の対応する画素について、画素値のヒストグラムが格納されるヒストグラム記憶部と、
背景画像記憶部と、
該ヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成し該背景画像記憶部に格納する背景画像生成部と
を有する背景画像生成装置において、
該背景画像生成部は、該ヒストグラムに、更新前の背景画像の対応する画素の値の所定頻度を追加し、追加後のヒストグラムの最頻値を、更新後の背景画像の対応する画素の値とする
ことを特徴とする背景画像生成装置。
【請求項７】
時系列画像が格納される画像記憶部と、
該時系列画像の対応する画素について、画素値のヒストグラムが格納されるヒストグラム記憶部と、
背景画像記憶部と、
該ヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成し該背景画像記憶部に格納する背景画像生成部と
を有する背景画像生成装置において、
該背景画像生成部は、該最頻値と更新前の背景画像の対応する画素の値との差が所定値以上であれば、該更新前の背景画像の対応する画素の値を、更新せずに維持する
ことを特徴とする背景画像生成装置。
【請求項８】
時系列画像が格納される画像記憶部と、
該時系列画像の対応する画素について、画素値のヒストグラムが格納されるヒストグラム記憶部と、
背景画像記憶部と、
該ヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成し該背景画像記憶部に格納する背景画像生成部と
を有する背景画像生成装置において、
該背景画像生成部は、該ヒストグラム上の最頻値に対応した頻度の変動の大きさが所定値以上であれば、更新前の背景画像の対応する画素の値を、更新せずに維持する
ことを特徴とする背景画像生成装置。
【請求項９】
時系列画像が格納される画像記憶部と、
該時系列画像の対応する画素について、画素値のヒストグラムが格納されるヒストグラム記憶部と、
背景画像記憶部と、
該ヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成し該背景画像記憶部に格納する背景画像生成部と、
該時系列画像と該背景画像とを比較して該時系列画像に含まれる移動体の領域を認識する移動体認識部と
を有する背景画像生成装置において、
該背景画像生成部は、該ヒストグラムでは該移動体の領域の画素値を除く
ことを特徴とする背景画像生成装置。
【請求項１０】
時系列画像が格納される画像記憶部と、
該時系列画像に基づいて生成される背景画像が格納される背景画像記憶部と、
該時系列画像を該背景画像と対比して移動物体を認識する移動物体認識部と、
を有する背景画像生成装置において、
画像フレーム内にカメラぶれ検出領域を実質的に少なくとも３箇所設定するための設定手段と、
フレーム画像と該背景画像とを比較して各カメラぶれ検出領域の動きベクトルを求めるカメラぶれ検出部と、
該動きベクトルに基づいて、カメラぶれによる画像内各部のシフトを定める座標変換式のパラメータを決定する座標変換パラメータ決定部と
をさらに有し、該移動物体認識部は、該座標変換式に基づいて、該時系列画像に対し該背景画像を相対的に対応させる
ことを特徴とする背景画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００６−２４１４７（Ｐ２００６−２４１４７Ａ）
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願番号】特願２００４−２０３８５３（Ｐ２００４−２０３８５３）
【出願日】平成１６年７月９日（２００４．７．９）
【出願人】（８０１００００４９）財団法人生産技術研究奨励会 (72)
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願日】平成１６年７月９日（２００４．７．９）
【出願人】（８０１００００４９）財団法人生産技術研究奨励会 (72)
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]