画像処理による移動物体計測方法及び装置
【課題】計測誤差をより小さくする。
【解決手段】移動物体を撮像するビデオカメラ１０から遠ざかる方向へ移動物体が移動するときには移動物体の略後端を代表点とし、ビデオカメラ１０へ近づく方向に移動物体が移動するときには移動物体の略前端を代表点とし、代表点に関する物理量を計測する。移動物体の領域に対する相対位置を移動物体の代表点として予め定めておいてもよい。移動物体が他の移動物体と重なっていないと判定した場合には、移動物体の幾何学的重心を代表点として求め、移動物体が他の移動物体と重なっていることを検出した場合には、移動物体の動きベクトルに基づいて、重なりがないとしたときの幾何学的重心に相当する点を代表点として求めてもよい。
【解決手段】移動物体を撮像するビデオカメラ１０から遠ざかる方向へ移動物体が移動するときには移動物体の略後端を代表点とし、ビデオカメラ１０へ近づく方向に移動物体が移動するときには移動物体の略前端を代表点とし、代表点に関する物理量を計測する。移動物体の領域に対する相対位置を移動物体の代表点として予め定めておいてもよい。移動物体が他の移動物体と重なっていないと判定した場合には、移動物体の幾何学的重心を代表点として求め、移動物体が他の移動物体と重なっていることを検出した場合には、移動物体の動きベクトルに基づいて、重なりがないとしたときの幾何学的重心に相当する点を代表点として求めてもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列画像を処理して画像中の移動物体（車、自転車、動物等の移動可能なもの）の位置、通過時間又は速度等の物理量を計測する移動物体計測方法及び装置に関する。
【背景技術】
【０００２】
ビデオカメラで移動物体を撮像し、画像処理して画像上の移動物体を追跡することにより、交通状態や交通事故の検出等を自動的に行うことができる。
【０００３】
画像上の移動物体を追跡する方法として、例えば４８０×６４０画素のフレームを８×８画素のブロックに分割して６０×８０ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体を検出し、時刻ｔ−１とｔのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号（ＩＤ）及び動きベクトル（ＭＶ）を求める方法がある（例えば下記特許文献１〜３）。これにより、同一移動物体と認められるブロックには同一ＩＤが付与される。
【０００４】
しかしながら、画像上の移動物体を追跡するので、画像上の移動物体の位置、通過時間又は速度等を計測すると、特有の誤差が生ずる。
【０００５】
例えば、上記のようにブロック単位で移動物体を検出するので、最大で１ブロック幅の移動物体位置計測誤差が生ずる。
【０００６】
図３に示すように路面１１上の位置によりビデオカメラ１０との距離が異なるので、図４に示すように画像フレーム上でブロックサイズが均一であっても、１ブロック幅の実際の幅（実ブロック幅）がフレーム内の位置により異なる。例えば図３の実ブロック幅ＫａとＫｂとは、画像上で同一幅であるが、実ブロック幅Ｋｂの方が実ブロック幅Ｋａより数倍長い。このため、画像フレーム内の位置により計測誤差が大きく異なる。
【０００７】
さらに、同じ位置のブロックでも、移動物体の高さによりビデオカメラとの距離が異なるので、実ブロック幅が異なり、計測誤差も異なる。また、フレームレートが有限であるので、移動物体が不連続的に移動し、移動物体が所定区間を通過するのに要する時間の計測に誤差が生ずる。
【０００８】
したがって、画像処理により移動物体の所定区間平均速度を計測すると、条件により誤差が変化し、計測値の信頼性が低くなる。
【０００９】
また、図１６に示すように、同一ＩＤのブロックの塊であるクラスタの代表点をクラスタの幾何学的重心とした場合、移動物体の一部が他の移動物体に隠れると、代表点が、移動物体が隠れなかった場合の位置からずれるので、代表点に基づいて移動物体の位置、通過時間又は速度等を計測すると、誤差が変動する。図１６は、時刻ｔ１〜ｔ３での同一移動物体１３１〜１３３と、時刻ｔ１〜ｔ３での同一移動物体１４１〜１４３とを重ねて示したものであり、ＲＡ１〜ＲＡ３はそれぞれ移動物体１３１〜１３３の幾何学的重心であり、ＲＢ１〜ＲＢ３はそれぞれ移動物体１４１〜１４３の幾何学的重心である。
【特許文献１】特開２００２−１３３４２１号公報
【特許文献２】特開２００３−００６６５５号公報
【特許文献３】特開２００３−２６３６２６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、上記問題点に鑑み、計測誤差をより小さくすることができる、画像処理による移動物体計測方法及び装置を提供することにある。
【００１１】
本発明の他の目的は、計測値の信頼性を高くすることができる画像処理による移動物体計測方法及び装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明による画像処理による移動物体計測方法の第１態様では、移動物体を撮像するビデオカメラから遠ざかる方向へ該移動物体が移動するときには該移動物体の略後端を該代表点とし、該ビデオカメラへ近づく方向に該移動物体が移動するときには該移動物体の略前端を該代表点とし、該代表点に関する物理量を計測する。
【００１３】
本発明による画像処理による移動物体計測方法の第２態様では、移動物体の領域に対する相対位置を該移動物体の代表点として予め定めておき、該代表点に関する物理量を計測する。
【００１４】
本発明による画像処理による移動物体計測方法の第３態様では、移動物体が他の移動物体と重なっていないと判定した場合には、該移動物体の幾何学的重心を代表点として求め、該移動物体が他の移動物体と重なっていることを検出した場合には、該移動物体の動きベクトルに基づいて、該重なりがないとしたときの該幾何学的重心に相当する点を代表点として求め、該代表点に関する物理量を計測する。
【発明の効果】
【００１５】
上記第１態様の構成によれば、移動物体の代表点が移動物体の高さによらずほぼ基準面付近となるので、基準面上に設定された位置に関する物理量の計測誤差を低減することができる。
【００１６】
上記第２態様の構成によれば、移動物体の領域に対する相対位置が設定されるので、移動物体の影を移動物体と認識しても、計測しようとする物理量に応じた移動物体の着目位置付近を代表点として検出することができるので、計測誤差を低減することができる。
【００１７】
上記第３態様の構成によれば、画像上で移動物体同士の重なりがあっても、移動物体の動きベクトルに基づいて、移動物体の重なりが無いとしたときの幾何学的重心に相当する点が代表点として求まるので、代表点に基づいて求めた物理量の計測誤差を低減することができる。
【００１８】
本発明の他の構成、作用及び効果は、以下の説明から明らかになる。
【発明を実施するための最良の形態】
【００１９】
以下、図面に基づいて本発明の実施例を説明する。図面において、同一又は類似の要素には、同一又は類似の符号を付している。
【実施例１】
【００２０】
図１は、ビデオカメラ（例えばＩＴＶカメラ）１０で撮像された画像を処理して移動物体の平均速度を計測する、本発明の実施例１の移動物体計測装置２０の概略機能ブロック図である。
【００２１】
移動物体計測装置２０のうち記憶部以外は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウエアと専用のハードウエアの組み合わせで構成することができる。
【００２２】
ビデオカメラ１０で撮影された時系列画像は、例えば３０フレーム／秒のレートで、画像メモリ２１に格納され、最も古いフレーム画像が新しいフレーム画像で書き換えられる。
【００２３】
本発明は、画像メモリ２１に格納された画像データを構成要素２３〜２６によりリアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。
【００２４】
また、画像メモリ２１に格納された画像（原画像）を直接、構成要素２３〜２６で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は２次元フーリエ変換し所定周波数以上の成分を強調した後に逆フーリエ変換したもの（変換画像）を、構成要素２３〜２６で処理する構成であってもよい。以下、「画像」とは原画像又は変換画像を意味する。
【００２５】
背景画像生成部２２は、記憶部と処理部とを備え、処理部は、画像メモリ２１をアクセスし、例えば過去１分間の全ての又は間引かれたもののフレーム画像の対応する画素について画素値のヒストグラムを作成し、その最頻値（モード）をその画素の画素値とする画像を、移動物体が存在しない背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
【００２６】
ＩＤ生成／消滅部２３には、図４に示す如くフレーム１５内に配置される入口スリットＡ１、Ｂ２及び出口スリットＢ１、Ａ２の位置及びサイズのデータが、予め設定されている。
【００２７】
この設定は、マウス等のポインティングデバイス又はキーボード等の入力装置ＩＮと、設定を確認する表示装置ＯＵＴと、ＩＤ生成／消滅部２３に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。
【００２８】
図４中のメッシュはブロックの境界線であり、１ブロックは例えば８×８画素である。スリットＡ１、Ｂ１、Ａ２及びＢ２の移動物体通過方向の幅は、図４では１ブロック幅に等しいが、１ブロック幅の整数倍であればよい。
【００２９】
ＩＤ生成／消滅部２３は、画像メモリ２１から入口スリットＡ１及びＢ２内の画像データを読み込み、これらの内側に移動物体が存在するかどうかをブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、このブロック内の各画素と背景画像の対応する画素との差の絶対値の総和が所定値以上であるかどうかにより判定する。
【００３０】
ＩＤ生成／消滅部２３は、ブロック内に移動物体が存在すると判定すると、このブロックに新たな移動物体識別符号（ＩＤ）を付与する。ＩＤ生成／消滅部２３は、ＩＤ付与済ブロックと隣接しているブロックに移動物体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のＩＤを付与する。このＩＤ付与済ブロックは、スリットに隣接しているブロックも含まれる。以下、ＩＤが付与されたブロックの塊をクラスタと称する。
【００３１】
ＩＤの付与は、記憶部２４内のオブジェクトマップの対応するブロックに対して行われる。オブジェクトマップは、上述の場合６０×８０ブロックの各ブロックの移動物体情報を記憶するためのものであり、移動物体情報は、ＩＤが付与されているかどうかを示すフラグと、ＩＤが付与されていることを示している場合にはＩＤ及びブロックの動きベクトル（ＭＶ）を含む。なお、該フラグを用いずに、ＩＤ＝０のときＩＤが付与されていないと判定してもよい。また、ＩＤの最上位ビットをフラグとしてもよい。ブロックマッチングでＭＶが求まらないブロックのＭＶは例えば、その回りの同一ＩＤのブロックのＭＶの平均値に等しくする。
【００３２】
入口スリットＡ１又はＢ２を通過したクラスタに対しては、移動物体追跡部２５により公知の方法で追跡処理が行われる。例えば、高速処理のため、時刻ｔ−１（フレーム番号）でのＭＶに基づいて時刻ｔでのクラスタの概略移動範囲が推定され、この範囲内で上述の移動物体存否判定がブロック毎に行われ、移動方向側のブロックに対するＩＤの付与及び移動と反対方向側のブロックに対するＩＤの消滅が行われて、時刻ｔでのクラスタが決定される。また、時刻ｔ−１とｔのフレーム画像間のブロックマッチングにより、時刻ｔでＩＤが付与されているブロックのＭＶが求められる。高速処理のため、ブロックマッチングを行う範囲は、時刻ｔ−１でのＭＶに基づいて定められる。各ブロックのＩＤとＭＶは、評価関数を用いて同時に決定することもできる（例えば上記特許文献３）。ＩＤ及びＭＶの更新は、記憶部２４内のオブジェクトマップに対して行われる。
【００３３】
移動物体追跡部２５による追跡処理は、各クラスタについて出口スリット内まで行われる。
【００３４】
ＩＤ生成／消滅部２３はさらに、記憶部２４内のオブジェクトマップに基づき出口スリットＢ１及びＡ２内のブロックにＩＤが付与されているかどうかを調べ、付与されていれば、クラスタが出口スリットを通過したときにそのＩＤを消滅させる。
【００３５】
図５は、ＩＤのオブジェクトマップに、理解を容易にするため図４を重ね合わせたものである。
【００３６】
本実施例１の特徴は、平均速度及び誤算算出部２６及びこれに関係したＩＤ生成／消滅部２３の一部の構成にあり、以下これを詳述する。
【００３７】
図３は、画像処理による移動物体の区間平均速度計測説明図である。
【００３８】
ビデオカメラ１０は、路面１１から高さＨの位置に光軸を斜め下方へ向けて配置されている。一般に、移動物体の速度が一定の場合、計測距離が長いほど測定精度が高くなる。そこで、紙面垂直方向のラインＰａからＰｂまでの距離Ｌ１の平均速度Ｖを計測する。すなわち、距離Ｌ１を実測しておくとともに、フレーム画像上でラインＰａ及びＰｂを設定しておき、移動物体の代表点がラインＰａを通ってからラインＰｂを通るまでの時間を計測することにより平均速度Ｖを算出する。
【００３９】
ビデオカメラ１０で撮影される画像は、ビデオカメラ１０の光軸に垂直な面Ｓに被写体を透視的に投影したものとなる。図４は、ビデオカメラ１０で撮影された画像に、上述のブロック境界線及びスリットを描いたものを示す。
【００４０】
図４では、ラインＰａ及びＰｂがそれぞれ入口スリットＡ１及び出口スリットＢ１の前端に一致しており、スリットＡ１及びＢ１を上述のように設定することにより、ラインＰａ及びＰｂが設定されたことになる。なお、ブロック単位で位置を計測するので、スリット自体をラインとみなしてもよい。
【００４１】
ここで、移動物体の代表点を例えばその幾何学的重心とすると、移動物体の高さによりビデオカメラ１０と代表点との距離が異なるので、ラインＰａ及びＰｂの通過時点計測誤差が増加する原因となる。そこで、図３に示すように移動物体がビデオカメラ１０から遠ざかる方向へ移動する場合には、移動物体の後端を移動物体の代表点とする。「後端」は、その辺に対応する複数の移動物体ブロック又はその中の１ブロックのいずれであってもよい。
【００４２】
これにより、移動物体の代表点が移動物体の高さによらずほぼ路面１１付近となるので、ラインＰａ及びＰｂの位置に関する物理量、例えば位置通過時点又は通過位置の計測誤差を低減することができる。なお、図３中の１２Ａ及び１２Ｂはそれぞれ、移動物体後端がラインＰａ及びＰｂを通過した時点における同じ移動物体を示している。
【００４３】
図２は、１フレーム画像における図４の入口スリットＡ１及び出口スリットＢ１に対する図１のＩＤ生成／消滅部２３のライン通過検出処理を示す概略フローチャートである。
【００４４】
（Ｓ１０）入口スリットＡ１内の各ブロックについて、上述の移動物体存否判定処理を行なう。
【００４５】
（Ｓ１１）入口スリットＡ１内に新たな移動物体が存在すればステップＳ１２へ進み、そうでなければステップＳ１３へ進む。
【００４６】
（Ｓ１２）入口スリットＡ１内の、移動物体が存在すると判定されたブロックにＩＤを付与する。次にステップＳ１５へ進む。
【００４７】
（Ｓ１３）移動物体が入口スリットＡ１を通過した場合には、すなわち１つ前のフレームで入口スリットＡ１内に存在した移動物体ブロック（ＩＤが付与されたブロック）が現フレームで存在しなくなった場合には、ラインＰａを移動物体が通過したと判定し、ステップＳ１４へ進み、そうでなければステップＳ１５へ進む。
【００４８】
（Ｓ１４）図１の平均速度及び誤算算出部２６に対し、入口スリットＡ１を通過した移動物体のＩＤ及び現在のフレーム番号Ｆ（入口スリット通過時刻）を通知する。
【００４９】
（Ｓ１５）出口スリットＢ１内の各ブロックについて、上述の移動物体存否判定処理を行なう。
【００５０】
（Ｓ１６）出口スリットＢ１内に新たな移動物体が存在すればステップＳ１７へ進み、そうでなければステップＳ１８へ進む。
【００５１】
（Ｓ１７）出口スリットＢ１内のＩＤを一時記憶し、処理を終了する。
【００５２】
（Ｓ１８）移動物体が出口スリットＢ１を通過した場合にはステップＳ１９へ進み、そうでなければ処理を終了する。
【００５３】
（Ｓ１９）図１の平均速度及び誤算算出部２６に対し、出口スリットＢ１を通過したＩＤ（ステップＳ１７で記憶したＩＤ）及び現在のフレーム番号Ｆを通知し、ステップＳ１７で記憶したＩＤを消去する。
【００５４】
平均速度及び誤算算出部２６は、ステップＳ１４及びＳ１９でＩＤ生成／消滅部２３から受け取ったＩＤ及びフレーム番号Ｆに基づいて、次式により平均速度Ｖ（ｍ／ｓ）を算出する。
【００５５】
Ｖ＝Ｌ１／（（Ｆｂ−Ｆａ）／ｆ） （１）
ここに、Ｆｂ及びＦａはそれぞれ、ステップＳ１４及びＳ１９で受け取った同一ＩＤについてのフレーム番号であり、ｆはフレームレートである。
【００５６】
１フレーム画像における図５の入口スリットＢ２及び出口スリットＡ２に対する図１のＩＤ生成／消滅部２３のライン通過検出処理はそれぞれ、上述の入口スリットＡ１及び出口スリットＢ１に対するライン通過検出処理と同様である。ただし、移動物体１６Ａがビデオカメラ１０に近づく方向へ移動するので、移動物体の前端を移動物体の代表点とする。図４及び図５の１６Ｂ及び１６Ａはそれぞれ、移動物体前端がラインＰｂ及びＰａを通過した時点における同じ移動物体を示している。
【００５７】
次に、平均速度Ｖの計測誤差δＶについて説明する。
【００５８】
誤差δＶは主に、フレームレートによる誤差と、ブロック単位で移動物体存否を判定することによる誤差とを含んでいる。
【００５９】
（１）フレームレートｆのみによる位置計測誤差Ｄ
例えばｆ＝３０で移動物体速度が６０ｋｍ／ｈ及び１００ｋｍ／ｈの場合、それぞれ１フレーム時間（１／ｆ秒）で０．５６ｍ及び０．９３ｍ移動し、これらが最大の位置計測誤差Ｄとなる。
【００６０】
（２）ブロック処理のみによる位置計測誤差Ｋ
ブロック単位で移動物体存否を判定しているので、最大で、画像上の１ブロック幅に対応する実際の幅（実ブロック幅）Ｋの位置計測誤差が生ずる。
【００６１】
実ブロック幅Ｋは、ブロックの位置により異なる。図３において、１ブロック幅の視角をηとし、図４に示すラインＰａ及びＰｂを一端とするブロックＢＫａ及びＢＫｂの実ブロック幅Ｋをそれぞれ図３に示すようにＫａ及びＫｂとすると、次式が成立する。
【００６２】
ｔａｎ（α−η）＝Ｈ／（Ｋａ＋Ｌ２） （２）
ｔａｎ（β−η）＝Ｈ／（Ｋｂ＋Ｌ１＋Ｌ２） （３）
ここに、Ｌ２はビデオカメラ１０の真下からラインＰａまでの距離であり、α及びβはそれぞれビデオカメラ１０からラインＰａ及びＰｂへの視線と路面１１とのなす角度である。
【００６３】
α及びβについては、次式が成立する。
【００６４】
ｔａｎ（α）＝Ｈ／Ｌ２ （４）
ｔａｎ（β）＝Ｈ／（Ｌ１＋Ｌ２） （５）
Ｌ１がｎブロックに分割されているとすると、次式が成立する。
【００６５】
α＝β＋ｎ・η （６）
例えばＨ＝１０ｍ、Ｌ１＝２０ｍ、Ｌ２＝２０ｍの場合、上式（４）及び（５）からα＝０．４６ｒａｄ、β＝０．２５ｒａｄとなり、さらにｎ＝２５の場合、上式（６）からη＝０．００８７ｒａｄとなる。これらの値を上式（２）及び（３）に代入すると、Ｋａ＝０．４５ｍ、Ｋｂ＝１．５ｍとなり、これらがラインＰａ、Ｐｂ通過位置計測の最大の誤差となる。
【００６６】
（３）平均速度計測誤差δＶ
上式（１）の右辺分母をＴと表記すると一般に、
δＶ／Ｖ＝−δＴ／Ｔ （７）
が成立する。ここにδＴは、計測時間Ｔの誤差である。
【００６７】
δＴ及びＴはそれぞれ、区間フレーム数計測誤差Ｘ及び区間フレーム数計測値（Ｆｂ−Ｆａ）に比例するので、式（７）は、
δＶ／Ｖ＝−Ｘ／（Ｆｂ−Ｆａ） （８）
と表される。区間フレーム数計測誤差Ｘは、ラインＰａ及びＰａを移動物体が通過する時点のフレーム番号誤差をそれぞれδＦａ及びδＦｂとすると、平均誤差
Ｘ＝±（δＦａ＋δＦｂ）／２ （９）
で表される。
【００６８】
ここで、実ブロック幅Ｋａ及びＫｂを平均速度Ｖの移動物体が進むのに必要なフレーム数ΔＦａ及びΔＦｂはそれぞれ、次式で表される。
【００６９】
ΔＦａ＝ｆ・Ｋａ／Ｖ （１０）
ΔＦｂ＝ｆ・Ｋｂ／Ｖ （１１）
フレーム番号誤差δＦａは、ΔＦａ＞１のとき、すなわちＫ＞Ｄのとき、上記フレーム誤差が上記ブロック処理による誤差に吸収されて最大でΔＦａになり、ΔＦａ≦１のとき、すなわちＫ≦Ｄのとき、最大で１になる。同様に、フレーム番号誤差δＦｂは、ΔＦｂ＞１のとき最大でΔＦｂになり、ΔＦｂ≦１のとき最大で１になる。
【００７０】
図６は、平均速度Ｖが４０、６０、８０及び１００ｋｍ／ｈの場合の速度計測誤差δＶ及びこれに関係した上述の量の数値計算例を示す。
【００７１】
図１の平均速度及び誤算算出部２６は、上式（１）で表される平均速度Ｖの計測値に応じて、速度計測誤差δＶを上述のように算出し、これらＶ及びδＶを表示装置ＯＵＴに表示させる。本実施例１の応用例として例えば、制限速度がＶｌｉｍである場合、Ｖ−δＶ＞Ｖｌｉｍであればスピード違反と判定してこれを表示装置ＯＵＴに表示するとともに不図示の警報を鳴らし、その時系列画像を不図示の外部記憶装置に格納する。
【００７２】
本実施例１によれば、平均速度Ｖの計測値に応じてその誤差δＶが表示されるので、上述のような複雑な誤差があっても、平均速度計測値の信頼性が高くなり、実用化が可能となる。また、電波や音波を用いないで画像処理により速度を計測するので、妨害電波や妨害音波、あるいは散乱部材などの速度計測回避手段で速度計測が妨げられるということがないという利点を有する。
【００７３】
なお、図３において、路面１１から任意の所定高さの面Ｓｈを面Ｓと対応させることができるので、測定精度向上のための代表点は必ずしも路面１１付近でなくてもよく、測定しようとする物理量やカメラアングルに応じて基準高さＳｈを定めることができる。
【実施例２】
【００７４】
図７は、ビデオカメラ１０で撮像された画像を処理して移動物体の平均速度を計測する、本発明の実施例２の移動物体計測装置２０Ａの概略機能ブロック図である。
【００７５】
代表点追跡部２７は、各フレームに対する記憶部２４内のオブジェクトマップに基づいて移動物体の代表点を求めることにより、代表点を追跡する。
【００７６】
移動物体計測装置２０Ａは、フレーム画像内の複数の移動物体をリアルタイムで追跡処理する必要があるので、処理を高速化する必要がある。このためにモノクロ画像を用いると、移動物体とその影とを区別することが困難となり、計測誤差を最も小さくするための代表点を決定することができない。図９は、影１２ＳＡ、１２ＳＢ、１６ＳＡ及び１６ＳＢがそれぞれ移動物体１２Ａ、１２Ｂ、１６Ａ及び１６Ｂと区別出来ない場合を示す。
【００７７】
本実施例２の特徴は、このような問題を解決する、移動物体の代表点決定方法にある。
【００７８】
ＩＤ生成／消滅部２３Ａでは、図９に示すように、入口スリットＢ２に移動物体が検出されると、入口スリットＢ２に入る前のブロックについても移動物体検出処理を行う。さらに、出口スリットＢ１に移動物体が検出されても、出口スリットＢ１を完全に抜け出るまで移動物体検出処理を行う。
【００７９】
図８は、任意の１つの移動物体クラスタに対する代表点追跡部２７の代表点決定処理を示す概略フローチャートである。
【００８０】
（Ｓ２０）移動物体のクラスタが内接する矩形を求める。図１０は、図９にさらに、４つの移動物体クラスタが内接する矩形１７Ａ、１７Ｂ、１８Ａ及び１８Ｂを追加したものを示す。
【００８１】
（Ｓ２１）代表点Ｒの座標を
（Ｘ０＋ｐｘ・ＬＹ，Ｙ０＋ｐｙ・ＬＹ）
として求める。ここに、（Ｘ０，Ｙ０）は矩形の基準点、例えば矩形の左下頂点の座標である。比率ｐｘ及びｐｙは移動物体追跡処理前に予め設定された値であり、０＜ｐｘ＜１、０＜ｐｘ＜１を満たし、上述の設定手段と同様の手段により設定される。
【００８２】
図７の平均速度及び誤算算出部２６Ａは、代表点以外は上記第１実施例と同様にして、移動物体の平均速度Ｖ及びその誤差δＶを算出し、これらを表示装置ＯＵＴに表示させる。
【００８３】
本実施例２によれば、移動物体の領域に対する相対位置が比率ｐｘ及びｐｙにより設定されるので、移動物体の影を移動物体と認識しても、計測しようとする物理量に応じた移動物体の着目位置付近を代表点として検出することができ、計測精度向上に寄与するところが大きい。
【００８４】
なお、移動物体の一部と見なされる影の大きさは、時間や天候により異なるので、これに応じて比率ｐｘ及びｐｙの設定値を変える必要がある。
【００８５】
しかしながら、例えば実施例１により平均速度Ｖを計測し、スピード違反の疑いがある時系列画像を不図示の外部記憶装置に保存しておき、後でその画像を見てｐｘ及びｐｙを適当に設定することにより、スピード違反の判定をより正確に行なうことが可能となる。
【００８６】
また、平均速度及び誤算算出部２６Ａは、各ブロックの実ブロック幅と代表点追跡部２７で求められた代表点の座標とに基づいて代表点の軌跡の長さを走行距離Ｌ２として求め、他は上記実施例１と同様にして、移動物体の代表点平均速度Ｖ及びその誤差δＶを算出してもよい。
【実施例３】
【００８７】
上記実施例では、ビデオカメラが道路の中央部上方に配置されている場合を説明したが、例えば交差点にビデオカメラを配置した場合には図１２に示すように、ビデオカメラに対する移動物体３０の角度が上述の場合と異なる。図１２中、３０Ｓは移動物体３０の影であり、移動物体の一部と認識され、３１はこれらを含む矩形である。Ｒは、移動物体３０の位置計測誤差を小さくするのに好ましい代表点である。
【００８８】
また、図１３に示すように移動物体が右折すると、移動物体の方向が変化していくので、移動物体の代表点を路面位置付近に設定するのが困難となる。図１３中、３０１〜３０３は、移動中の異なる時間での同一移動物体を示し、３０１Ｓ〜３０３Ｓはそれぞれ移動物体の一部と認識された、移動物体３０１〜３０３の影を示す。
【００８９】
本実施例３では、このような場合でも代表点を路面位置付近に設定できるようにするため、図８の処理の代わりに、図１１に示す処理を行なう。
【００９０】
（Ｓ３０）図８のステップＳ２０と同様に、移動物体のクラスタが内接する矩形を求める。図１３中、３１１〜３１３は移動物体クラスタが内接する矩形を示す。
【００９１】
（Ｓ３１）移動物体の動きベクトルＭＶｍの角度θを求め、次いで比率関数ｐｘ（θ）及びｐｙ（θ）の値を求める。動きベクトルＭＶｍは、同一移動物体に属する全てのブロックの動きベクトルの平均ベクトルである。比率ｐｘ（θ）及びｐｙ（θ）は、予め経験的に決定され、０＜ｐｘ（θ）＜１、０＜ｐｘ（θ）＜１を満たし、θをパラメータとするテーブル又はこれを数式で近似したもので表される。θは、フレーム画像上の角度又は路面上の角度である。路面上の角度の場合には、フレーム画像上の角度を、フレーム画像上の位置に応じた路面上の角度に変換する数式又はテーブルを用いる。
【００９２】
なお、動きベクトルＭＶｍは、平均から所定値以上ずれているものを除いて平均したものであってもよい。動きベクトルＭＶｍはまた、幾何学的重心が含まれるブロックのＭＶ又はその付近のＭＶの平均値であってもよい。
【００９３】
（Ｓ３２）図８のステップＳ２１と同様に、代表点Ｒの座標を
（Ｘ０＋ｐｘ（θ）・ＬＹ，Ｙ０＋ｐｙ（θ）・ＬＹ）
として求める。
【００９４】
本実施例３によれば、比率ｐｘ及びｐｙが移動物体の動きベクトルの角度に応じて定められているので、移動物体の影を移動物体と認識し且つ移動物体がその移動方向を変化させても、計測しようとする物理量に応じた移動物体の着目点付近を代表点として検出することができ、計測精度向上に寄与するところが大きい。
【実施例４】
【００９５】
本発明の実施例４は、背景技術の欄で述べた図１６に示す問題点を解決するためのものである。実施例４における図７の代表点追跡部２７は、各画像フレームに対応するオブジェクトマップ上の各移動物体に対し、図１４に示す処理を行なう。
【００９６】
（Ｓ４０）画像上で移動物体同士の重なりがなければステップＳ４１へ進み、そうでなければステップＳ４３へ進む。
【００９７】
（Ｓ４１）幾何学的重心Ｇの座標を求める。
【００９８】
（Ｓ４２）このＧを、時刻ｔにおける代表点Ｐ（ｔ）として求める。図１５中、×印は、代表点を示し、ＲＸ２以外は幾何学的重心Ｇである。
【００９９】
（Ｓ４３）着目している移動物体の各ブロックの動きベクトルの平均値ＭＶｍを求める。上述のように、動きベクトルＭＶｍは、平均から所定値以上ずれているものを除いて平均したものであってもよい。
【０１００】
（Ｓ４４）１つ前のフレームの対応する移動物体の代表点Ｐ（ｔ−１）をＭＶｍだけ移動させた点を、時刻ｔでの代表点Ｐ（ｔ）として求める。図１５中のＲＸ２は、このようにして求めた移動物体１３２の代表点である。
【０１０１】
本実施例４によれば、画像上で移動物体同士の重なりがあっても、移動物体の動きベクトルに基づいて、移動物体の重なりが無いとしたときの幾何学的重心に相当する点が代表点として求まり、図１５と図１６を比較すれば明らかなように、より正確に移動物体の代表点及びその軌跡を求めることができ、代表点に基づいて求めた他の物理量の計測値もより正確になる。
【図面の簡単な説明】
【０１０２】
【図１】ビデオカメラで撮像された画像を処理して移動物体の平均速度を計測する、本発明の実施例１の移動物体計測装置の概略機能ブロック図である。
【図２】１フレーム画像における入口スリット及び出口スリットに対する図１のＩＤ生成／消滅部２３のライン通過検出処理を示す概略フローチャートである。
【図３】画像処理による移動物体の区間平均速度計測説明図である。
【図４】図３のビデオカメラで撮像された画像を、ブロック境界線、入口スリット及び出口スリットとともに示す説明図である。
【図５】ＩＤのオブジェクトマップに図４を重ね合わせたものを示す説明図である。
【図６】平均速度Ｖが４０、６０、８０及び１００ｋｍ／ｈの場合の速度計測誤差δＶ及びこれに関係した量の数値計算例を示す表である。
【図７】ビデオカメラで撮像された画像を処理して移動物体の平均速度を計測する、本発明の実施例２の移動物体計測装置の概略機能ブロック図である。
【図８】任意の１つの移動物体クラスタに対する代表点追跡部２７の代表点決定処理を示す概略フローチャートである。
【図９】移動物体の影が移動物体と区別出来ない場合を示す説明図である。
【図１０】図８の処理説明図である。
【図１１】本発明の実施例３に係る、任意の１つの移動物体クラスタに対する代表点追跡部２７の代表点決定処理を示す概略フローチャートである。
【図１２】図１１の処理説明図である。
【図１３】図１１の処理説明図である。
【図１４】本発明の実施例４に係る、任意の１つの移動物体クラスタに対する代表点追跡部２７の代表点決定処理を示す概略フローチャートである。
【図１５】図１４の処理説明図である。
【図１６】従来技術の問題点説明図である。
【符号の説明】
【０１０３】
１０ ビデオカメラ
１１ 路面
１２Ａ、１２Ｂ、１３１〜１３３、１４１〜１４３、１６Ａ、１６Ｂ、３０、３０１〜３０３ 移動物体
１２ＳＡ、１２ＳＢ、１６ＳＡ、１６ＳＢ、３０Ｓ、３０１Ｓ、３０３Ｓ 影
１５ フレーム
１７Ａ、１７Ｂ、１８Ａ、１８Ｂ、３１、３１１〜３１３ 矩形
２０、２０Ａ 移動物体計測装置
２１ 画像メモリ
２２ 背景画像生成部
２３ ＩＤ生成／消滅部
２４ オブジェクトマップ記憶部
２５ 移動物体追跡部
２６、２６Ａ 平均速度及び誤算算出部
２７ 代表点追跡部
ＩＮ 入力装置
ＯＵＴ 表示装置
Ｐａ、Ｐｂ ライン
Ａ１、Ｂ２ 入口スリット
Ａ２、Ｂ１ 出口スリット
Ｋ、Ｋａ、Ｋｂ 実ブロック幅
Ｆ、Ｆａ、Ｆｂ フレーム番号
ΔＦａ、ΔＦｂ フレーム数
δＦａ、δＦｂ フレーム番号誤差
Ｖ 平均速度
δＶ 速度計測誤差
ＲＡ１〜ＲＡ３、ＲＢ１〜ＲＢ３ 幾何学的重心
【技術分野】
【０００１】
本発明は、時系列画像を処理して画像中の移動物体（車、自転車、動物等の移動可能なもの）の位置、通過時間又は速度等の物理量を計測する移動物体計測方法及び装置に関する。
【背景技術】
【０００２】
ビデオカメラで移動物体を撮像し、画像処理して画像上の移動物体を追跡することにより、交通状態や交通事故の検出等を自動的に行うことができる。
【０００３】
画像上の移動物体を追跡する方法として、例えば４８０×６４０画素のフレームを８×８画素のブロックに分割して６０×８０ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体を検出し、時刻ｔ−１とｔのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号（ＩＤ）及び動きベクトル（ＭＶ）を求める方法がある（例えば下記特許文献１〜３）。これにより、同一移動物体と認められるブロックには同一ＩＤが付与される。
【０００４】
しかしながら、画像上の移動物体を追跡するので、画像上の移動物体の位置、通過時間又は速度等を計測すると、特有の誤差が生ずる。
【０００５】
例えば、上記のようにブロック単位で移動物体を検出するので、最大で１ブロック幅の移動物体位置計測誤差が生ずる。
【０００６】
図３に示すように路面１１上の位置によりビデオカメラ１０との距離が異なるので、図４に示すように画像フレーム上でブロックサイズが均一であっても、１ブロック幅の実際の幅（実ブロック幅）がフレーム内の位置により異なる。例えば図３の実ブロック幅ＫａとＫｂとは、画像上で同一幅であるが、実ブロック幅Ｋｂの方が実ブロック幅Ｋａより数倍長い。このため、画像フレーム内の位置により計測誤差が大きく異なる。
【０００７】
さらに、同じ位置のブロックでも、移動物体の高さによりビデオカメラとの距離が異なるので、実ブロック幅が異なり、計測誤差も異なる。また、フレームレートが有限であるので、移動物体が不連続的に移動し、移動物体が所定区間を通過するのに要する時間の計測に誤差が生ずる。
【０００８】
したがって、画像処理により移動物体の所定区間平均速度を計測すると、条件により誤差が変化し、計測値の信頼性が低くなる。
【０００９】
また、図１６に示すように、同一ＩＤのブロックの塊であるクラスタの代表点をクラスタの幾何学的重心とした場合、移動物体の一部が他の移動物体に隠れると、代表点が、移動物体が隠れなかった場合の位置からずれるので、代表点に基づいて移動物体の位置、通過時間又は速度等を計測すると、誤差が変動する。図１６は、時刻ｔ１〜ｔ３での同一移動物体１３１〜１３３と、時刻ｔ１〜ｔ３での同一移動物体１４１〜１４３とを重ねて示したものであり、ＲＡ１〜ＲＡ３はそれぞれ移動物体１３１〜１３３の幾何学的重心であり、ＲＢ１〜ＲＢ３はそれぞれ移動物体１４１〜１４３の幾何学的重心である。
【特許文献１】特開２００２−１３３４２１号公報
【特許文献２】特開２００３−００６６５５号公報
【特許文献３】特開２００３−２６３６２６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、上記問題点に鑑み、計測誤差をより小さくすることができる、画像処理による移動物体計測方法及び装置を提供することにある。
【００１１】
本発明の他の目的は、計測値の信頼性を高くすることができる画像処理による移動物体計測方法及び装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明による画像処理による移動物体計測方法の第１態様では、移動物体を撮像するビデオカメラから遠ざかる方向へ該移動物体が移動するときには該移動物体の略後端を該代表点とし、該ビデオカメラへ近づく方向に該移動物体が移動するときには該移動物体の略前端を該代表点とし、該代表点に関する物理量を計測する。
【００１３】
本発明による画像処理による移動物体計測方法の第２態様では、移動物体の領域に対する相対位置を該移動物体の代表点として予め定めておき、該代表点に関する物理量を計測する。
【００１４】
本発明による画像処理による移動物体計測方法の第３態様では、移動物体が他の移動物体と重なっていないと判定した場合には、該移動物体の幾何学的重心を代表点として求め、該移動物体が他の移動物体と重なっていることを検出した場合には、該移動物体の動きベクトルに基づいて、該重なりがないとしたときの該幾何学的重心に相当する点を代表点として求め、該代表点に関する物理量を計測する。
【発明の効果】
【００１５】
上記第１態様の構成によれば、移動物体の代表点が移動物体の高さによらずほぼ基準面付近となるので、基準面上に設定された位置に関する物理量の計測誤差を低減することができる。
【００１６】
上記第２態様の構成によれば、移動物体の領域に対する相対位置が設定されるので、移動物体の影を移動物体と認識しても、計測しようとする物理量に応じた移動物体の着目位置付近を代表点として検出することができるので、計測誤差を低減することができる。
【００１７】
上記第３態様の構成によれば、画像上で移動物体同士の重なりがあっても、移動物体の動きベクトルに基づいて、移動物体の重なりが無いとしたときの幾何学的重心に相当する点が代表点として求まるので、代表点に基づいて求めた物理量の計測誤差を低減することができる。
【００１８】
本発明の他の構成、作用及び効果は、以下の説明から明らかになる。
【発明を実施するための最良の形態】
【００１９】
以下、図面に基づいて本発明の実施例を説明する。図面において、同一又は類似の要素には、同一又は類似の符号を付している。
【実施例１】
【００２０】
図１は、ビデオカメラ（例えばＩＴＶカメラ）１０で撮像された画像を処理して移動物体の平均速度を計測する、本発明の実施例１の移動物体計測装置２０の概略機能ブロック図である。
【００２１】
移動物体計測装置２０のうち記憶部以外は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウエアと専用のハードウエアの組み合わせで構成することができる。
【００２２】
ビデオカメラ１０で撮影された時系列画像は、例えば３０フレーム／秒のレートで、画像メモリ２１に格納され、最も古いフレーム画像が新しいフレーム画像で書き換えられる。
【００２３】
本発明は、画像メモリ２１に格納された画像データを構成要素２３〜２６によりリアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。
【００２４】
また、画像メモリ２１に格納された画像（原画像）を直接、構成要素２３〜２６で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は２次元フーリエ変換し所定周波数以上の成分を強調した後に逆フーリエ変換したもの（変換画像）を、構成要素２３〜２６で処理する構成であってもよい。以下、「画像」とは原画像又は変換画像を意味する。
【００２５】
背景画像生成部２２は、記憶部と処理部とを備え、処理部は、画像メモリ２１をアクセスし、例えば過去１分間の全ての又は間引かれたもののフレーム画像の対応する画素について画素値のヒストグラムを作成し、その最頻値（モード）をその画素の画素値とする画像を、移動物体が存在しない背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
【００２６】
ＩＤ生成／消滅部２３には、図４に示す如くフレーム１５内に配置される入口スリットＡ１、Ｂ２及び出口スリットＢ１、Ａ２の位置及びサイズのデータが、予め設定されている。
【００２７】
この設定は、マウス等のポインティングデバイス又はキーボード等の入力装置ＩＮと、設定を確認する表示装置ＯＵＴと、ＩＤ生成／消滅部２３に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。
【００２８】
図４中のメッシュはブロックの境界線であり、１ブロックは例えば８×８画素である。スリットＡ１、Ｂ１、Ａ２及びＢ２の移動物体通過方向の幅は、図４では１ブロック幅に等しいが、１ブロック幅の整数倍であればよい。
【００２９】
ＩＤ生成／消滅部２３は、画像メモリ２１から入口スリットＡ１及びＢ２内の画像データを読み込み、これらの内側に移動物体が存在するかどうかをブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、このブロック内の各画素と背景画像の対応する画素との差の絶対値の総和が所定値以上であるかどうかにより判定する。
【００３０】
ＩＤ生成／消滅部２３は、ブロック内に移動物体が存在すると判定すると、このブロックに新たな移動物体識別符号（ＩＤ）を付与する。ＩＤ生成／消滅部２３は、ＩＤ付与済ブロックと隣接しているブロックに移動物体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のＩＤを付与する。このＩＤ付与済ブロックは、スリットに隣接しているブロックも含まれる。以下、ＩＤが付与されたブロックの塊をクラスタと称する。
【００３１】
ＩＤの付与は、記憶部２４内のオブジェクトマップの対応するブロックに対して行われる。オブジェクトマップは、上述の場合６０×８０ブロックの各ブロックの移動物体情報を記憶するためのものであり、移動物体情報は、ＩＤが付与されているかどうかを示すフラグと、ＩＤが付与されていることを示している場合にはＩＤ及びブロックの動きベクトル（ＭＶ）を含む。なお、該フラグを用いずに、ＩＤ＝０のときＩＤが付与されていないと判定してもよい。また、ＩＤの最上位ビットをフラグとしてもよい。ブロックマッチングでＭＶが求まらないブロックのＭＶは例えば、その回りの同一ＩＤのブロックのＭＶの平均値に等しくする。
【００３２】
入口スリットＡ１又はＢ２を通過したクラスタに対しては、移動物体追跡部２５により公知の方法で追跡処理が行われる。例えば、高速処理のため、時刻ｔ−１（フレーム番号）でのＭＶに基づいて時刻ｔでのクラスタの概略移動範囲が推定され、この範囲内で上述の移動物体存否判定がブロック毎に行われ、移動方向側のブロックに対するＩＤの付与及び移動と反対方向側のブロックに対するＩＤの消滅が行われて、時刻ｔでのクラスタが決定される。また、時刻ｔ−１とｔのフレーム画像間のブロックマッチングにより、時刻ｔでＩＤが付与されているブロックのＭＶが求められる。高速処理のため、ブロックマッチングを行う範囲は、時刻ｔ−１でのＭＶに基づいて定められる。各ブロックのＩＤとＭＶは、評価関数を用いて同時に決定することもできる（例えば上記特許文献３）。ＩＤ及びＭＶの更新は、記憶部２４内のオブジェクトマップに対して行われる。
【００３３】
移動物体追跡部２５による追跡処理は、各クラスタについて出口スリット内まで行われる。
【００３４】
ＩＤ生成／消滅部２３はさらに、記憶部２４内のオブジェクトマップに基づき出口スリットＢ１及びＡ２内のブロックにＩＤが付与されているかどうかを調べ、付与されていれば、クラスタが出口スリットを通過したときにそのＩＤを消滅させる。
【００３５】
図５は、ＩＤのオブジェクトマップに、理解を容易にするため図４を重ね合わせたものである。
【００３６】
本実施例１の特徴は、平均速度及び誤算算出部２６及びこれに関係したＩＤ生成／消滅部２３の一部の構成にあり、以下これを詳述する。
【００３７】
図３は、画像処理による移動物体の区間平均速度計測説明図である。
【００３８】
ビデオカメラ１０は、路面１１から高さＨの位置に光軸を斜め下方へ向けて配置されている。一般に、移動物体の速度が一定の場合、計測距離が長いほど測定精度が高くなる。そこで、紙面垂直方向のラインＰａからＰｂまでの距離Ｌ１の平均速度Ｖを計測する。すなわち、距離Ｌ１を実測しておくとともに、フレーム画像上でラインＰａ及びＰｂを設定しておき、移動物体の代表点がラインＰａを通ってからラインＰｂを通るまでの時間を計測することにより平均速度Ｖを算出する。
【００３９】
ビデオカメラ１０で撮影される画像は、ビデオカメラ１０の光軸に垂直な面Ｓに被写体を透視的に投影したものとなる。図４は、ビデオカメラ１０で撮影された画像に、上述のブロック境界線及びスリットを描いたものを示す。
【００４０】
図４では、ラインＰａ及びＰｂがそれぞれ入口スリットＡ１及び出口スリットＢ１の前端に一致しており、スリットＡ１及びＢ１を上述のように設定することにより、ラインＰａ及びＰｂが設定されたことになる。なお、ブロック単位で位置を計測するので、スリット自体をラインとみなしてもよい。
【００４１】
ここで、移動物体の代表点を例えばその幾何学的重心とすると、移動物体の高さによりビデオカメラ１０と代表点との距離が異なるので、ラインＰａ及びＰｂの通過時点計測誤差が増加する原因となる。そこで、図３に示すように移動物体がビデオカメラ１０から遠ざかる方向へ移動する場合には、移動物体の後端を移動物体の代表点とする。「後端」は、その辺に対応する複数の移動物体ブロック又はその中の１ブロックのいずれであってもよい。
【００４２】
これにより、移動物体の代表点が移動物体の高さによらずほぼ路面１１付近となるので、ラインＰａ及びＰｂの位置に関する物理量、例えば位置通過時点又は通過位置の計測誤差を低減することができる。なお、図３中の１２Ａ及び１２Ｂはそれぞれ、移動物体後端がラインＰａ及びＰｂを通過した時点における同じ移動物体を示している。
【００４３】
図２は、１フレーム画像における図４の入口スリットＡ１及び出口スリットＢ１に対する図１のＩＤ生成／消滅部２３のライン通過検出処理を示す概略フローチャートである。
【００４４】
（Ｓ１０）入口スリットＡ１内の各ブロックについて、上述の移動物体存否判定処理を行なう。
【００４５】
（Ｓ１１）入口スリットＡ１内に新たな移動物体が存在すればステップＳ１２へ進み、そうでなければステップＳ１３へ進む。
【００４６】
（Ｓ１２）入口スリットＡ１内の、移動物体が存在すると判定されたブロックにＩＤを付与する。次にステップＳ１５へ進む。
【００４７】
（Ｓ１３）移動物体が入口スリットＡ１を通過した場合には、すなわち１つ前のフレームで入口スリットＡ１内に存在した移動物体ブロック（ＩＤが付与されたブロック）が現フレームで存在しなくなった場合には、ラインＰａを移動物体が通過したと判定し、ステップＳ１４へ進み、そうでなければステップＳ１５へ進む。
【００４８】
（Ｓ１４）図１の平均速度及び誤算算出部２６に対し、入口スリットＡ１を通過した移動物体のＩＤ及び現在のフレーム番号Ｆ（入口スリット通過時刻）を通知する。
【００４９】
（Ｓ１５）出口スリットＢ１内の各ブロックについて、上述の移動物体存否判定処理を行なう。
【００５０】
（Ｓ１６）出口スリットＢ１内に新たな移動物体が存在すればステップＳ１７へ進み、そうでなければステップＳ１８へ進む。
【００５１】
（Ｓ１７）出口スリットＢ１内のＩＤを一時記憶し、処理を終了する。
【００５２】
（Ｓ１８）移動物体が出口スリットＢ１を通過した場合にはステップＳ１９へ進み、そうでなければ処理を終了する。
【００５３】
（Ｓ１９）図１の平均速度及び誤算算出部２６に対し、出口スリットＢ１を通過したＩＤ（ステップＳ１７で記憶したＩＤ）及び現在のフレーム番号Ｆを通知し、ステップＳ１７で記憶したＩＤを消去する。
【００５４】
平均速度及び誤算算出部２６は、ステップＳ１４及びＳ１９でＩＤ生成／消滅部２３から受け取ったＩＤ及びフレーム番号Ｆに基づいて、次式により平均速度Ｖ（ｍ／ｓ）を算出する。
【００５５】
Ｖ＝Ｌ１／（（Ｆｂ−Ｆａ）／ｆ） （１）
ここに、Ｆｂ及びＦａはそれぞれ、ステップＳ１４及びＳ１９で受け取った同一ＩＤについてのフレーム番号であり、ｆはフレームレートである。
【００５６】
１フレーム画像における図５の入口スリットＢ２及び出口スリットＡ２に対する図１のＩＤ生成／消滅部２３のライン通過検出処理はそれぞれ、上述の入口スリットＡ１及び出口スリットＢ１に対するライン通過検出処理と同様である。ただし、移動物体１６Ａがビデオカメラ１０に近づく方向へ移動するので、移動物体の前端を移動物体の代表点とする。図４及び図５の１６Ｂ及び１６Ａはそれぞれ、移動物体前端がラインＰｂ及びＰａを通過した時点における同じ移動物体を示している。
【００５７】
次に、平均速度Ｖの計測誤差δＶについて説明する。
【００５８】
誤差δＶは主に、フレームレートによる誤差と、ブロック単位で移動物体存否を判定することによる誤差とを含んでいる。
【００５９】
（１）フレームレートｆのみによる位置計測誤差Ｄ
例えばｆ＝３０で移動物体速度が６０ｋｍ／ｈ及び１００ｋｍ／ｈの場合、それぞれ１フレーム時間（１／ｆ秒）で０．５６ｍ及び０．９３ｍ移動し、これらが最大の位置計測誤差Ｄとなる。
【００６０】
（２）ブロック処理のみによる位置計測誤差Ｋ
ブロック単位で移動物体存否を判定しているので、最大で、画像上の１ブロック幅に対応する実際の幅（実ブロック幅）Ｋの位置計測誤差が生ずる。
【００６１】
実ブロック幅Ｋは、ブロックの位置により異なる。図３において、１ブロック幅の視角をηとし、図４に示すラインＰａ及びＰｂを一端とするブロックＢＫａ及びＢＫｂの実ブロック幅Ｋをそれぞれ図３に示すようにＫａ及びＫｂとすると、次式が成立する。
【００６２】
ｔａｎ（α−η）＝Ｈ／（Ｋａ＋Ｌ２） （２）
ｔａｎ（β−η）＝Ｈ／（Ｋｂ＋Ｌ１＋Ｌ２） （３）
ここに、Ｌ２はビデオカメラ１０の真下からラインＰａまでの距離であり、α及びβはそれぞれビデオカメラ１０からラインＰａ及びＰｂへの視線と路面１１とのなす角度である。
【００６３】
α及びβについては、次式が成立する。
【００６４】
ｔａｎ（α）＝Ｈ／Ｌ２ （４）
ｔａｎ（β）＝Ｈ／（Ｌ１＋Ｌ２） （５）
Ｌ１がｎブロックに分割されているとすると、次式が成立する。
【００６５】
α＝β＋ｎ・η （６）
例えばＨ＝１０ｍ、Ｌ１＝２０ｍ、Ｌ２＝２０ｍの場合、上式（４）及び（５）からα＝０．４６ｒａｄ、β＝０．２５ｒａｄとなり、さらにｎ＝２５の場合、上式（６）からη＝０．００８７ｒａｄとなる。これらの値を上式（２）及び（３）に代入すると、Ｋａ＝０．４５ｍ、Ｋｂ＝１．５ｍとなり、これらがラインＰａ、Ｐｂ通過位置計測の最大の誤差となる。
【００６６】
（３）平均速度計測誤差δＶ
上式（１）の右辺分母をＴと表記すると一般に、
δＶ／Ｖ＝−δＴ／Ｔ （７）
が成立する。ここにδＴは、計測時間Ｔの誤差である。
【００６７】
δＴ及びＴはそれぞれ、区間フレーム数計測誤差Ｘ及び区間フレーム数計測値（Ｆｂ−Ｆａ）に比例するので、式（７）は、
δＶ／Ｖ＝−Ｘ／（Ｆｂ−Ｆａ） （８）
と表される。区間フレーム数計測誤差Ｘは、ラインＰａ及びＰａを移動物体が通過する時点のフレーム番号誤差をそれぞれδＦａ及びδＦｂとすると、平均誤差
Ｘ＝±（δＦａ＋δＦｂ）／２ （９）
で表される。
【００６８】
ここで、実ブロック幅Ｋａ及びＫｂを平均速度Ｖの移動物体が進むのに必要なフレーム数ΔＦａ及びΔＦｂはそれぞれ、次式で表される。
【００６９】
ΔＦａ＝ｆ・Ｋａ／Ｖ （１０）
ΔＦｂ＝ｆ・Ｋｂ／Ｖ （１１）
フレーム番号誤差δＦａは、ΔＦａ＞１のとき、すなわちＫ＞Ｄのとき、上記フレーム誤差が上記ブロック処理による誤差に吸収されて最大でΔＦａになり、ΔＦａ≦１のとき、すなわちＫ≦Ｄのとき、最大で１になる。同様に、フレーム番号誤差δＦｂは、ΔＦｂ＞１のとき最大でΔＦｂになり、ΔＦｂ≦１のとき最大で１になる。
【００７０】
図６は、平均速度Ｖが４０、６０、８０及び１００ｋｍ／ｈの場合の速度計測誤差δＶ及びこれに関係した上述の量の数値計算例を示す。
【００７１】
図１の平均速度及び誤算算出部２６は、上式（１）で表される平均速度Ｖの計測値に応じて、速度計測誤差δＶを上述のように算出し、これらＶ及びδＶを表示装置ＯＵＴに表示させる。本実施例１の応用例として例えば、制限速度がＶｌｉｍである場合、Ｖ−δＶ＞Ｖｌｉｍであればスピード違反と判定してこれを表示装置ＯＵＴに表示するとともに不図示の警報を鳴らし、その時系列画像を不図示の外部記憶装置に格納する。
【００７２】
本実施例１によれば、平均速度Ｖの計測値に応じてその誤差δＶが表示されるので、上述のような複雑な誤差があっても、平均速度計測値の信頼性が高くなり、実用化が可能となる。また、電波や音波を用いないで画像処理により速度を計測するので、妨害電波や妨害音波、あるいは散乱部材などの速度計測回避手段で速度計測が妨げられるということがないという利点を有する。
【００７３】
なお、図３において、路面１１から任意の所定高さの面Ｓｈを面Ｓと対応させることができるので、測定精度向上のための代表点は必ずしも路面１１付近でなくてもよく、測定しようとする物理量やカメラアングルに応じて基準高さＳｈを定めることができる。
【実施例２】
【００７４】
図７は、ビデオカメラ１０で撮像された画像を処理して移動物体の平均速度を計測する、本発明の実施例２の移動物体計測装置２０Ａの概略機能ブロック図である。
【００７５】
代表点追跡部２７は、各フレームに対する記憶部２４内のオブジェクトマップに基づいて移動物体の代表点を求めることにより、代表点を追跡する。
【００７６】
移動物体計測装置２０Ａは、フレーム画像内の複数の移動物体をリアルタイムで追跡処理する必要があるので、処理を高速化する必要がある。このためにモノクロ画像を用いると、移動物体とその影とを区別することが困難となり、計測誤差を最も小さくするための代表点を決定することができない。図９は、影１２ＳＡ、１２ＳＢ、１６ＳＡ及び１６ＳＢがそれぞれ移動物体１２Ａ、１２Ｂ、１６Ａ及び１６Ｂと区別出来ない場合を示す。
【００７７】
本実施例２の特徴は、このような問題を解決する、移動物体の代表点決定方法にある。
【００７８】
ＩＤ生成／消滅部２３Ａでは、図９に示すように、入口スリットＢ２に移動物体が検出されると、入口スリットＢ２に入る前のブロックについても移動物体検出処理を行う。さらに、出口スリットＢ１に移動物体が検出されても、出口スリットＢ１を完全に抜け出るまで移動物体検出処理を行う。
【００７９】
図８は、任意の１つの移動物体クラスタに対する代表点追跡部２７の代表点決定処理を示す概略フローチャートである。
【００８０】
（Ｓ２０）移動物体のクラスタが内接する矩形を求める。図１０は、図９にさらに、４つの移動物体クラスタが内接する矩形１７Ａ、１７Ｂ、１８Ａ及び１８Ｂを追加したものを示す。
【００８１】
（Ｓ２１）代表点Ｒの座標を
（Ｘ０＋ｐｘ・ＬＹ，Ｙ０＋ｐｙ・ＬＹ）
として求める。ここに、（Ｘ０，Ｙ０）は矩形の基準点、例えば矩形の左下頂点の座標である。比率ｐｘ及びｐｙは移動物体追跡処理前に予め設定された値であり、０＜ｐｘ＜１、０＜ｐｘ＜１を満たし、上述の設定手段と同様の手段により設定される。
【００８２】
図７の平均速度及び誤算算出部２６Ａは、代表点以外は上記第１実施例と同様にして、移動物体の平均速度Ｖ及びその誤差δＶを算出し、これらを表示装置ＯＵＴに表示させる。
【００８３】
本実施例２によれば、移動物体の領域に対する相対位置が比率ｐｘ及びｐｙにより設定されるので、移動物体の影を移動物体と認識しても、計測しようとする物理量に応じた移動物体の着目位置付近を代表点として検出することができ、計測精度向上に寄与するところが大きい。
【００８４】
なお、移動物体の一部と見なされる影の大きさは、時間や天候により異なるので、これに応じて比率ｐｘ及びｐｙの設定値を変える必要がある。
【００８５】
しかしながら、例えば実施例１により平均速度Ｖを計測し、スピード違反の疑いがある時系列画像を不図示の外部記憶装置に保存しておき、後でその画像を見てｐｘ及びｐｙを適当に設定することにより、スピード違反の判定をより正確に行なうことが可能となる。
【００８６】
また、平均速度及び誤算算出部２６Ａは、各ブロックの実ブロック幅と代表点追跡部２７で求められた代表点の座標とに基づいて代表点の軌跡の長さを走行距離Ｌ２として求め、他は上記実施例１と同様にして、移動物体の代表点平均速度Ｖ及びその誤差δＶを算出してもよい。
【実施例３】
【００８７】
上記実施例では、ビデオカメラが道路の中央部上方に配置されている場合を説明したが、例えば交差点にビデオカメラを配置した場合には図１２に示すように、ビデオカメラに対する移動物体３０の角度が上述の場合と異なる。図１２中、３０Ｓは移動物体３０の影であり、移動物体の一部と認識され、３１はこれらを含む矩形である。Ｒは、移動物体３０の位置計測誤差を小さくするのに好ましい代表点である。
【００８８】
また、図１３に示すように移動物体が右折すると、移動物体の方向が変化していくので、移動物体の代表点を路面位置付近に設定するのが困難となる。図１３中、３０１〜３０３は、移動中の異なる時間での同一移動物体を示し、３０１Ｓ〜３０３Ｓはそれぞれ移動物体の一部と認識された、移動物体３０１〜３０３の影を示す。
【００８９】
本実施例３では、このような場合でも代表点を路面位置付近に設定できるようにするため、図８の処理の代わりに、図１１に示す処理を行なう。
【００９０】
（Ｓ３０）図８のステップＳ２０と同様に、移動物体のクラスタが内接する矩形を求める。図１３中、３１１〜３１３は移動物体クラスタが内接する矩形を示す。
【００９１】
（Ｓ３１）移動物体の動きベクトルＭＶｍの角度θを求め、次いで比率関数ｐｘ（θ）及びｐｙ（θ）の値を求める。動きベクトルＭＶｍは、同一移動物体に属する全てのブロックの動きベクトルの平均ベクトルである。比率ｐｘ（θ）及びｐｙ（θ）は、予め経験的に決定され、０＜ｐｘ（θ）＜１、０＜ｐｘ（θ）＜１を満たし、θをパラメータとするテーブル又はこれを数式で近似したもので表される。θは、フレーム画像上の角度又は路面上の角度である。路面上の角度の場合には、フレーム画像上の角度を、フレーム画像上の位置に応じた路面上の角度に変換する数式又はテーブルを用いる。
【００９２】
なお、動きベクトルＭＶｍは、平均から所定値以上ずれているものを除いて平均したものであってもよい。動きベクトルＭＶｍはまた、幾何学的重心が含まれるブロックのＭＶ又はその付近のＭＶの平均値であってもよい。
【００９３】
（Ｓ３２）図８のステップＳ２１と同様に、代表点Ｒの座標を
（Ｘ０＋ｐｘ（θ）・ＬＹ，Ｙ０＋ｐｙ（θ）・ＬＹ）
として求める。
【００９４】
本実施例３によれば、比率ｐｘ及びｐｙが移動物体の動きベクトルの角度に応じて定められているので、移動物体の影を移動物体と認識し且つ移動物体がその移動方向を変化させても、計測しようとする物理量に応じた移動物体の着目点付近を代表点として検出することができ、計測精度向上に寄与するところが大きい。
【実施例４】
【００９５】
本発明の実施例４は、背景技術の欄で述べた図１６に示す問題点を解決するためのものである。実施例４における図７の代表点追跡部２７は、各画像フレームに対応するオブジェクトマップ上の各移動物体に対し、図１４に示す処理を行なう。
【００９６】
（Ｓ４０）画像上で移動物体同士の重なりがなければステップＳ４１へ進み、そうでなければステップＳ４３へ進む。
【００９７】
（Ｓ４１）幾何学的重心Ｇの座標を求める。
【００９８】
（Ｓ４２）このＧを、時刻ｔにおける代表点Ｐ（ｔ）として求める。図１５中、×印は、代表点を示し、ＲＸ２以外は幾何学的重心Ｇである。
【００９９】
（Ｓ４３）着目している移動物体の各ブロックの動きベクトルの平均値ＭＶｍを求める。上述のように、動きベクトルＭＶｍは、平均から所定値以上ずれているものを除いて平均したものであってもよい。
【０１００】
（Ｓ４４）１つ前のフレームの対応する移動物体の代表点Ｐ（ｔ−１）をＭＶｍだけ移動させた点を、時刻ｔでの代表点Ｐ（ｔ）として求める。図１５中のＲＸ２は、このようにして求めた移動物体１３２の代表点である。
【０１０１】
本実施例４によれば、画像上で移動物体同士の重なりがあっても、移動物体の動きベクトルに基づいて、移動物体の重なりが無いとしたときの幾何学的重心に相当する点が代表点として求まり、図１５と図１６を比較すれば明らかなように、より正確に移動物体の代表点及びその軌跡を求めることができ、代表点に基づいて求めた他の物理量の計測値もより正確になる。
【図面の簡単な説明】
【０１０２】
【図１】ビデオカメラで撮像された画像を処理して移動物体の平均速度を計測する、本発明の実施例１の移動物体計測装置の概略機能ブロック図である。
【図２】１フレーム画像における入口スリット及び出口スリットに対する図１のＩＤ生成／消滅部２３のライン通過検出処理を示す概略フローチャートである。
【図３】画像処理による移動物体の区間平均速度計測説明図である。
【図４】図３のビデオカメラで撮像された画像を、ブロック境界線、入口スリット及び出口スリットとともに示す説明図である。
【図５】ＩＤのオブジェクトマップに図４を重ね合わせたものを示す説明図である。
【図６】平均速度Ｖが４０、６０、８０及び１００ｋｍ／ｈの場合の速度計測誤差δＶ及びこれに関係した量の数値計算例を示す表である。
【図７】ビデオカメラで撮像された画像を処理して移動物体の平均速度を計測する、本発明の実施例２の移動物体計測装置の概略機能ブロック図である。
【図８】任意の１つの移動物体クラスタに対する代表点追跡部２７の代表点決定処理を示す概略フローチャートである。
【図９】移動物体の影が移動物体と区別出来ない場合を示す説明図である。
【図１０】図８の処理説明図である。
【図１１】本発明の実施例３に係る、任意の１つの移動物体クラスタに対する代表点追跡部２７の代表点決定処理を示す概略フローチャートである。
【図１２】図１１の処理説明図である。
【図１３】図１１の処理説明図である。
【図１４】本発明の実施例４に係る、任意の１つの移動物体クラスタに対する代表点追跡部２７の代表点決定処理を示す概略フローチャートである。
【図１５】図１４の処理説明図である。
【図１６】従来技術の問題点説明図である。
【符号の説明】
【０１０３】
１０ ビデオカメラ
１１ 路面
１２Ａ、１２Ｂ、１３１〜１３３、１４１〜１４３、１６Ａ、１６Ｂ、３０、３０１〜３０３ 移動物体
１２ＳＡ、１２ＳＢ、１６ＳＡ、１６ＳＢ、３０Ｓ、３０１Ｓ、３０３Ｓ 影
１５ フレーム
１７Ａ、１７Ｂ、１８Ａ、１８Ｂ、３１、３１１〜３１３ 矩形
２０、２０Ａ 移動物体計測装置
２１ 画像メモリ
２２ 背景画像生成部
２３ ＩＤ生成／消滅部
２４ オブジェクトマップ記憶部
２５ 移動物体追跡部
２６、２６Ａ 平均速度及び誤算算出部
２７ 代表点追跡部
ＩＮ 入力装置
ＯＵＴ 表示装置
Ｐａ、Ｐｂ ライン
Ａ１、Ｂ２ 入口スリット
Ａ２、Ｂ１ 出口スリット
Ｋ、Ｋａ、Ｋｂ 実ブロック幅
Ｆ、Ｆａ、Ｆｂ フレーム番号
ΔＦａ、ΔＦｂ フレーム数
δＦａ、δＦｂ フレーム番号誤差
Ｖ 平均速度
δＶ 速度計測誤差
ＲＡ１〜ＲＡ３、ＲＢ１〜ＲＢ３ 幾何学的重心
【特許請求の範囲】
【請求項１】
時系列画像上の移動物体を検出して該移動物体の物理量を計測する、画像処理による移動物体計測方法において、
該移動物体を撮像するビデオカメラから遠ざかる方向へ該移動物体が移動するときには該移動物体の略後端を該代表点とし、該ビデオカメラへ近づく方向に該移動物体が移動するときには該移動物体の略前端を該代表点とし、
該代表点に関する物理量を計測することを特徴とする、画像処理による移動物体計測方法。
【請求項２】
時系列画像上の移動物体を検出して該移動物体の物理量を計測する、画像処理による移動物体計測方法において、
該移動物体の領域に対する相対位置を該移動物体の代表点として予め定めておき、
該代表点に関する物理量を計測することを特徴とする、画像処理による移動物体計測方法。
【請求項３】
該移動物体の領域は、該移動物体が内接する矩形であることを特徴とする請求項２記載の方法。
【請求項４】
該相対位置は実質的に、該矩形の１つの頂点を原点として直交座標（ｐｘ・ＬＸ，ｐｙ・ＬＹ）で表され、ここにＬＸ及びＬＹは該矩形の隣り合う２辺の長さであり、ｐｘ及びｐｙは予め定められ、０＜ｐｘ＜１、０＜ｐｘ＜１であることを特徴とする請求項３記載の方法。
【請求項５】
該ｐｘ及びｐｙは、該移動物体の動きベクトルの角度に応じて定められていることを特徴とする請求項３記載の方法。
【請求項６】
時系列画像上の移動物体を検出して該移動物体の物理量を計測する、画像処理による移動物体計測方法において、
該移動物体が他の移動物体と重なっていないと判定した場合には、該移動物体の幾何学的重心を代表点として求め、該移動物体が他の移動物体と重なっていることを検出した場合には、該移動物体の動きベクトルに基づいて、該重なりがないとしたときの該幾何学的重心に相当する点を代表点として求め、
該代表点に関する物理量を計測することを特徴とする、画像処理による移動物体計測方法。
【請求項７】
画像フレーム内に第１及び第２ラインを予め設定するとともに、該第１ラインから該第２ラインまでの実際の距離を予め測定しておき、
該代表点が該第１ラインから該第２ラインまで移動する時間を検出し、該時間と該距離とに基づき該移動物体の平均速度を該物理量として求める
ことを特徴とする請求項１乃至６のいずれか１つに記載の方法。
【請求項８】
該平均速度の誤差を求め、該誤差を該平均速度とともに出力し、該誤差は少なくとも、フレームレートによるもの及び画像フレームをブロックに分割してブロック単位で該移動物体を検出することによるものを含むことを特徴とする請求項７記載の方法。
【請求項９】
該誤差は実質的にＶ・Ｘ／（Ｆｂ−Ｆａ）で表され、ここにＶは該平均速度の計測値、Ｘは該移動物体の代表点が該第１ラインを通過する時点に対応したフレーム番号の誤差と該代表点が該第２ラインを通過する時点に対応したフレーム番号の誤差との平均値、（Ｆｂ−Ｆａ）は該代表点が該第１ラインから該第２ラインまで移動するのに要するフレーム数の計測値であることを特徴とする請求項８記載の方法。
【請求項１０】
時系列画像上の移動物体を検出して該移動物体の物理量を計測する、画像処理による移動物体計測装置において、
該移動物体の領域に対する相対位置を該移動物体の代表点として設定するための設定手段と、
該時系列画像を処理して該代表点に関する物理量を求める処理手段と、
該物理量を出力する出力手段と、
を有することを特徴とする、画像処理による移動物体計測装置。
【請求項１１】
該設定手段はさらに、画像フレーム内に第１及び第２ラインを設定するとともに、該第１ラインから該第２ラインまでの実際の距離を入力するためのものであり、
該物理量は、該代表点が該第１ラインから該第２ラインまで移動する時間と該距離とに基づき求められる該移動物体の平均速度である
ことを特徴とする請求項１０記載の装置。
【請求項１２】
該処理手段は、画像フレームをブロックに分割してブロック単位で該移動物体を検出し、
該処理手段はさらに、該平均速度の誤差を求め、
該出力手段は、該誤差を該平均速度とともに出力し、
該誤差はフレームレートによるものと該移動物体をブロック単位で検出することによるものとを含むことを特徴とする請求項１１記載の装置。
【請求項１３】
時系列画像上の移動物体を検出して該移動物体の物理量を計測する、画像処理による移動物体計測装置において、
該移動物体が他の移動物体と重なっているかどうかを判定する判定手段と、
該判定手段が否定判定した場合には、該移動物体の幾何学的重心を代表点として求め、該判定手段が肯定判定した場合には、該移動物体の動きベクトルに基づいて、該重なりがないとしたときの該幾何学的重心に相当する点を代表点として求め、該代表点に関する物理量を求める処理手段と、
該物理量を出力する手段と、
を有することを特徴とする、画像処理による移動物体計測装置。
【請求項１】
時系列画像上の移動物体を検出して該移動物体の物理量を計測する、画像処理による移動物体計測方法において、
該移動物体を撮像するビデオカメラから遠ざかる方向へ該移動物体が移動するときには該移動物体の略後端を該代表点とし、該ビデオカメラへ近づく方向に該移動物体が移動するときには該移動物体の略前端を該代表点とし、
該代表点に関する物理量を計測することを特徴とする、画像処理による移動物体計測方法。
【請求項２】
時系列画像上の移動物体を検出して該移動物体の物理量を計測する、画像処理による移動物体計測方法において、
該移動物体の領域に対する相対位置を該移動物体の代表点として予め定めておき、
該代表点に関する物理量を計測することを特徴とする、画像処理による移動物体計測方法。
【請求項３】
該移動物体の領域は、該移動物体が内接する矩形であることを特徴とする請求項２記載の方法。
【請求項４】
該相対位置は実質的に、該矩形の１つの頂点を原点として直交座標（ｐｘ・ＬＸ，ｐｙ・ＬＹ）で表され、ここにＬＸ及びＬＹは該矩形の隣り合う２辺の長さであり、ｐｘ及びｐｙは予め定められ、０＜ｐｘ＜１、０＜ｐｘ＜１であることを特徴とする請求項３記載の方法。
【請求項５】
該ｐｘ及びｐｙは、該移動物体の動きベクトルの角度に応じて定められていることを特徴とする請求項３記載の方法。
【請求項６】
時系列画像上の移動物体を検出して該移動物体の物理量を計測する、画像処理による移動物体計測方法において、
該移動物体が他の移動物体と重なっていないと判定した場合には、該移動物体の幾何学的重心を代表点として求め、該移動物体が他の移動物体と重なっていることを検出した場合には、該移動物体の動きベクトルに基づいて、該重なりがないとしたときの該幾何学的重心に相当する点を代表点として求め、
該代表点に関する物理量を計測することを特徴とする、画像処理による移動物体計測方法。
【請求項７】
画像フレーム内に第１及び第２ラインを予め設定するとともに、該第１ラインから該第２ラインまでの実際の距離を予め測定しておき、
該代表点が該第１ラインから該第２ラインまで移動する時間を検出し、該時間と該距離とに基づき該移動物体の平均速度を該物理量として求める
ことを特徴とする請求項１乃至６のいずれか１つに記載の方法。
【請求項８】
該平均速度の誤差を求め、該誤差を該平均速度とともに出力し、該誤差は少なくとも、フレームレートによるもの及び画像フレームをブロックに分割してブロック単位で該移動物体を検出することによるものを含むことを特徴とする請求項７記載の方法。
【請求項９】
該誤差は実質的にＶ・Ｘ／（Ｆｂ−Ｆａ）で表され、ここにＶは該平均速度の計測値、Ｘは該移動物体の代表点が該第１ラインを通過する時点に対応したフレーム番号の誤差と該代表点が該第２ラインを通過する時点に対応したフレーム番号の誤差との平均値、（Ｆｂ−Ｆａ）は該代表点が該第１ラインから該第２ラインまで移動するのに要するフレーム数の計測値であることを特徴とする請求項８記載の方法。
【請求項１０】
時系列画像上の移動物体を検出して該移動物体の物理量を計測する、画像処理による移動物体計測装置において、
該移動物体の領域に対する相対位置を該移動物体の代表点として設定するための設定手段と、
該時系列画像を処理して該代表点に関する物理量を求める処理手段と、
該物理量を出力する出力手段と、
を有することを特徴とする、画像処理による移動物体計測装置。
【請求項１１】
該設定手段はさらに、画像フレーム内に第１及び第２ラインを設定するとともに、該第１ラインから該第２ラインまでの実際の距離を入力するためのものであり、
該物理量は、該代表点が該第１ラインから該第２ラインまで移動する時間と該距離とに基づき求められる該移動物体の平均速度である
ことを特徴とする請求項１０記載の装置。
【請求項１２】
該処理手段は、画像フレームをブロックに分割してブロック単位で該移動物体を検出し、
該処理手段はさらに、該平均速度の誤差を求め、
該出力手段は、該誤差を該平均速度とともに出力し、
該誤差はフレームレートによるものと該移動物体をブロック単位で検出することによるものとを含むことを特徴とする請求項１１記載の装置。
【請求項１３】
時系列画像上の移動物体を検出して該移動物体の物理量を計測する、画像処理による移動物体計測装置において、
該移動物体が他の移動物体と重なっているかどうかを判定する判定手段と、
該判定手段が否定判定した場合には、該移動物体の幾何学的重心を代表点として求め、該判定手段が肯定判定した場合には、該移動物体の動きベクトルに基づいて、該重なりがないとしたときの該幾何学的重心に相当する点を代表点として求め、該代表点に関する物理量を求める処理手段と、
該物理量を出力する手段と、
を有することを特徴とする、画像処理による移動物体計測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００６−２４１４６（Ｐ２００６−２４１４６Ａ）
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願番号】特願２００４−２０３８５２（Ｐ２００４−２０３８５２）
【出願日】平成１６年７月９日（２００４．７．９）
【出願人】（８０１００００４９）財団法人生産技術研究奨励会 (72)
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願日】平成１６年７月９日（２００４．７．９）
【出願人】（８０１００００４９）財団法人生産技術研究奨励会 (72)
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]