車両追跡方法及び装置

【目的】種々の車両走行状態においても車両を追跡できる車両状態分類に基づく「車両追跡方法及び装置」を提供することである。
【構成】車両を追跡する車両追跡方法であり、一つのフレーム画像を取得するステップ、車両の以前のフレーム画像中の位置及び大きさの情報に基づいて、車両運動推定を行って車両が取得されたフレーム画像に存在可能な領域(車両存在可能領域)を決定するステップ、車両の状態分類を決定するステップ、該決定された車両の状態分類に応じた追跡方法により車両存在可能領域の画像データを処理して、取得されたフレーム画像中の車両の位置及び大きさを決定して出力するステップを有している。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両追跡方法及び装置に係り、特に、車両状態分類に基づく追跡方法により車両を追跡する車両追跡方法及び装置に関する。
【背景技術】
【０００２】
従来より車両追跡分野においては、多くの車両追跡方法が提案され、主に、テンプレートマッチング追跡方法（相関追跡ともいう）、特徴に基づく追跡方法、及びオプティカルフロー法追跡方法が提案されている。
テンプレートマッチング追跡方法(非特許文献１，２)は、伝統的な追跡方法であり、テンプレートとマッチング領域との相似度合を計算して、最も相似している位置をマッチング点とする技術である。テンプレートマッチング追跡方法は、安定性がよく、原理が簡単で、車両が正常運転状態、遮られる状態にある場合の追跡を行うことができる利点がある。しかし、テンプレートマッチング追跡方法は、計算方法のリアルタイム性が悪く、車両の画像が変形する時（例えば車両が曲がる時）、又は照光条件が変化する時に、追跡の効果が悪いという欠点がある。このため、テンプレートマッチング位置についてエッジ検出を行い、テンプレート画像の位置補正を行う技術も提案されている(特許文献１)。
【０００３】
一方、特徴に基づく追跡方法は、まず、１つのフレーム画像から幾つかの車両特徴を選定し、次に、その後の各フレーム画像において幾つかの制約条件でこれら車両特徴を探すとともに、マッチングを行う技術である。かかる特徴に基づく従来技術として、車両のコーナーの特徴を抽出すると共に該車両の次の時刻の状況を予測し、該予測したデータと次の時刻の車両状態を比較し、比較結果に基づいて車両の追跡を行う方法が提案されている(非特許文献３)。また、離れた車両を認識するために着目画像の水平エッジマップと垂直エッジマップを取得し、しかる後、各マップより着目画像の左、右、上、下の各エッジを求め、エッジより計算される縦横のアスペクト比が１に近い物を車両候補とみなし、かつ、該候補の4隅画像と車両テンプレートとの相関演算により相関値が大きければ車両であると認識する方法も提案されている(非特許文献４)。さらに、検出した特長(車両のシルエット、微分画像)に基づき、特徴データメモリに記憶されている車両の特徴データを参照して車両の車種(大型/小型、貨物/乗用など)を判別して追跡する技術が提案されている(特許文献2)。しかし、特徴に基づく追跡方法は、追跡速度が速いという利点があるが、フレーム画像における車両特徴が明らかでない場合に、追跡を連続して行えず、追跡が途絶えることがある。
オプティカルフロー法追跡方法は、フレーム画像上の車両の輝度モードが車両の運動に従って変化しない原理に基づいて、車両を追跡する。そのため、前後のフレーム画像についてオプティカルフロー分析を行うことによって、車両の検知及び追跡の目的を達成可能である。オプティカルフロー法追跡方法は、車両のフレーム画像間の運動範囲に対する制限が少なく、車両がフレーム画像の間に大きく転移する場合に実行可能であるという利点がある。しかし、計算方法がかなり複雑で雑音抵抗性能が悪く、リアルタイム性が悪いという欠点がある。
【特許文献１】特開２００１−６０２６３号公報
【特許文献２】特開平１１−３５３５８１号公報
【非特許文献１】"Vehicle Tracking Using Template Matching based on Feature Points" Jong-Ho Choi, Kang-Ho Lee, Kuk-Chan Cha, Jun-Sik Kwon, Dong-Wook Kim, Ho-Keum Song, Information Reuse and Integration, 2006 IEEE International Conference on Publication , Sept. 2006, page 573−577
【非特許文献２】"A Platform for Robust Real-time Vehicle Tracking Using Decomposed Temparatures" M.B. van Leeuwen, F.C.A. Groen
【非特許文献３】”Vehicles Tracking Based on Corner Feature in Video-based ITS", 2006 6th International Conference on ITS Telecommunications Proceedings, Lei Xie, Guangxi Zhu, Miao Tang, Haixiang Xu, Zhenming Zhang, page 163-166
【非特許文献４】”Real-time multiple vehicle detection and tracking from a moving vehicle" Margrit Betke, Esin Haritaoglu, Larry S. Davis, Machine Vision and Applications (2000) 12: 69-83, page 69-83,
【発明の開示】
【発明が解決しようとする課題】
【０００４】
以上のように、各追跡方法は、それぞれある特定の所定状態において車両を追跡する際に用いられる。しかし、実際的に車両は、いろいろな状態をとりつつ走行しており、前記何れか１つの追跡方法だけでは、種々の状態に対応することができない。
また、車両がトンネル又は橋脚の間の空間に入ったような特殊な場合には（車両の大部分の特徴が消失する）、前記何れの追跡方法でも車両を上手に追跡することができない。
以上より、本発明の目的は、車両の走行場面に基づいて車両の走行状態を分類し、走行状態に応じた追跡方法を用いて追跡することにより、種々の走行状態においても車両を正しく追跡できる車両追跡方法及び装置を提供することである。
また、本発明の別の目的は、陰の場面に走行する車両をうまく追跡できる車両状態分類に基づく車両追跡方法及び装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明の第1の態様は車両を追跡する車両追跡方法であり、（ａ）一つのフレーム画像を取得するステップと、（ｂ）車両の以前のフレーム画像中の位置及び大きさの情報に基づいて、車両運動推定を行って前記車両が前記取得されたフレーム画像に存在可能な領域を決定するステップと、（ｃ）前記車両の状態分類を決定するステップと、（ｄ）該決定された車両の状態分類に応じた追跡方法により、前記決定された領域の画像データを処理して、前記車両の前記取得されたフレーム画像中の位置及び大きさを決定するステップと、（ｅ）前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を出力するステップと、を有している。
【０００６】
本発明の第2の態様は車両を追跡する車両追跡装置であり、フレーム画像を取得する取得手段と、以前のフレーム画像中の車両の位置及び大きさの情報に基づいて、車両運動推定を行って該車両が前記取得されたフレーム画像に存在可能な領域を決定する領域決定手段と、前記車両の状態分類を決定する分類決定手段と、決定された前記車両の状態分類に応じた追跡方法により、前記決定された領域の画像データを処理して、前記車両の前記取得されたフレーム画像中の位置及び大きさを決定する位置及び大きさ決定手段と、前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を出力する出力手段と、を含んでいる。
【発明の効果】
【０００７】
本発明の車両追跡方法及び装置は、車両の異なる走行場面に応じた追跡方法を選択し、例えば境界に達すること、陰に入ること、運転変動状態又は正常運転状態にあること等に応じた追跡方法を選択し、該追跡方法により車両を追跡するため、各種の場面において走行する車両をうまく追跡することができる。
【発明を実施するための最良の形態】
【０００８】
図１は本発明の車両状態分類に基づく車両追跡装置による車両追跡処理フローである。以下、図１のフローチャートに基づいて、過去のフレーム画像中(たとえば第１〜９フレーム画像中)の車両位置及び大きさなどの情報を追跡し、該追跡しようとする車両の現フレーム画像中(第１０フレーム画像中)の位置及び大きさなどの情報を取得する場合を例にとって、本発明の車両追跡方法を説明する。なお、車両追跡装置の構成は後述(図１１)する。
まず、車両追跡装置は撮像機又はイメージセンサから第１０フレーム画像を読み込む（ステップＳ１０）。次に、第１〜９フレーム画像中において追跡または検出された車両のうちのどの車両が新たに出現したもの（つまり追跡された回数が所定値より小さい車両）であるか、及び、どの車両が存在したもの（つまり追跡された回数が所定値以上である車両）であるかを判断する（ステップＳ２０）。例えば、最近の二つのフレーム画像(第8、第9フレーム画像)中だけにおいて検知された車両を新出現車両と定義し、最近の三つ以上のフレーム画像中(第７−第9フレーム画像)において追跡又は検知された車両を既知車両と定義する。
【０００９】
新出現車両の第8、第9フレーム画像中の位置及び大きさの情報に基づいて、車両運動の推定を行うことによって該新出現車両が第１０フレーム画像中に存在可能な領域(存在可能領域)を推定する（ステップＳ３０）。次に、周知の「特徴に基づく追跡方法」により該推定された存在可能領域の画像データを処理することによって、新出現車両の第１０フレーム画像中の位置及び大きさを決定する（ステップＳ４０）。特徴に基づく追跡方法でフレーム画像を処理することは周知技術であるので、ここで、その処理過程の詳細を省略する。最後に、決定された新出現車両の第１０フレーム画像中の位置及び大きさの情報を追跡結果として出力する。本発明において、新出現車両の履歴情報（位置及び大きさの情報など）は多くはないので、特徴に基づく簡単な追跡方法だけで追跡することができる。
既知車両については、追跡又は検知により得られた該既知車両の第１〜９フレーム画像中の位置及び大きさの情報に基づいて、車両運動の推定を行うことによって該既知車両が第１０フレーム画像中に存在可能な領域を推定する（ステップＳ５０）。
次に、追跡又は検知により得られた既知車両の第１〜９フレーム画像中の位置及び大きさ情報に基づいて、該既知車両の状態分類を決定する（ステップ６０）。
【００１０】
図２は、本発明のステップ60の車両状態分類の処理フローチャートである。以下、図２を参照して、どのように既知車両の状態分類を決定するかを説明する。
図２に示すように、まず、既知車両の第９フレーム画像中の位置及び大きさの情報に基づいて、該既知車両が第９フレーム画像中に占拠する画像領域を決定する（ステップＳ６００）。
次に、各既知車両が占拠する画像領域は、他の車両が占拠する画像領域により遮られるか否かを判断する（ステップＳ６０２）。既知車両が占拠する画像領域が、他の車両が占拠する画像領域により遮られれば、この存在した車両の状態分類を、"遮られた状態"に設定し（ステップＳ６０４）、かつ、この既知車両の状態分類結果を出力する（ステップＳ６２０）。
【００１１】
一方、既知車両が占拠する画像領域が、他の車両が占拠する画像領域により遮られなければ、該既知車両が占拠する画像領域は第９フレーム画像のフレーム境界に達したか否かを判断する（ステップＳ６０６）。既知車両が占拠する画像領域は第９フレーム画像のフレーム境界に達していれば、この既知車両の状態分類を"境界状態"に設定し（ステップＳ６０８）、かつ、この既知車両の状態分類結果を出力する。
既知車両が占拠する画像領域が第９フレーム画像のフレーム境界に達してなければ、既知車両が建物などの陰に入った旨を示すフラグが設定されているか否かを判断する（ステップＳ６１０）。既知車両が陰に入った旨を示すフラグがすでに設定されていれば、この既知車両の状態分類を"陰状態"に設定して（ステップＳ６１２）、かつ、この既知車両の状態分類結果を出力する（ステップＳ６２０）。
既知車両が陰に入った旨を示すフラグが設定されていなければ、該既知車両の第９フレーム画像中の位置が、それ以前のフレーム画像中の位置に対して顕著な変化を有するか否かを判断する（ステップＳ６１４）。例えば、既知車両の第９フレーム画像中の位置が、それ以前のフレーム画像中の車両位置を接続することにより形成された直線から遠く離れたか、又は、既知車両の第８フレームと第９フレーム画像中の位置変化量がその車両の第７フレームと第８フレーム画像中の位置変化量よりはるかに大きいかを判断する。
既知車両の第９フレーム画像中の位置が、それ以前のフレーム画像中の車両位置に対して顕著な変化を有すれば、この既知車両の状態分類を"運転変動状態"に設定し（ステップＳ６１６）、且つ、この既知車両の状態分類結果を出力する（ステップＳ６２０）。
既知車両の第９フレーム画像中の位置が、それ以前のフレーム画像中の車両位置に対して顕著な変化を有しなければ、この既知車両の状態分類を"正常運転状態"に設定して（ステップＳ６１８）、且つ、この既知車両の状態分類結果を出力する（ステップＳ６２０）。以上が本発明の車両の状態分類の処理流れである。
【００１２】
既知車両の状態分類を決定した後、各既知車両の状態分類に基づいて対応する追跡方法を選択し、該追跡方法により既知車両の第１０フレーム画像中の位置及び大きさを決定する。
具体的に言えば、存在した車両の状態分類が"遮られた状態"であれば、周知の「テンプレートマッチング追跡方法」を採用し、該テンプレートマッチング追跡方法により既知車両の第１０フレーム画像中の位置及び大きさを追跡し、追跡時、該既知車両の遮られない部分のテンプレートだけを利用する（区分されるテンプレートマッチング追跡方法）（ステップＳ７０）。なお、区分されるテンプレートマッチング追跡方法は周知技術であるので、ここで、その処理過程の詳細を省略する。
【００１３】
既知車両の状態分類が"境界状態"であれば、この存在した車両の一部はフレーム画像の外にあったので、"遮られた状態"と同じであり、テンプレートマッチング追跡方法で既知車両の第１０フレーム画像中の位置及び大きさを追跡する（ステップＳ８０）。テンプレートマッチング追跡方法は従来の技術であるので、ここで、その処理過程の詳細を省略する。
既知車両の状態分類が"陰状態"であれば、以下に詳しく説明するような「車両が陰に入った追跡方法」（図４を参照しながら後述する）を用いて、この既知車両の第１０フレーム画像中の位置及び大きさを追跡する（ステップＳ９０）。
既知車両の状態分類が"運転変動状態"又は"正常運転状態"である時に、「特徴に基づく追跡方法」でこの既知車両の第１０フレーム画像中の位置及び大きさを決定し、かつ、この既知車両の以前のフレーム画像中の位置及び大きさの情報を利用してそれを校正する（ステップＳ１００及びＳ１１０）。
【００１４】
次に、既知車両の第９及び第１０フレーム画像中の位置及び大きさの情報に基づいて、既知車両が陰に入ったか否かを判断する方法(図３)を用いて、この既知車両が第１０フレーム画像において陰に入ったか否かを判断し（ステップＳ１２０）、既知車両が第１０フレーム画像中の陰に入ったと判断すれば、「車両が陰に入った追跡方法」を用いて、この既知車両の第１０フレーム画像中の位置及び大きさを改めて追跡する（ステップＳ１３０）。しかる後、既知車両の第１０フレーム画像中の位置及び大きさを決定し、それを追跡結果として出力する（ステップＳ１４０）。以上が本発明の車両の状態分類に基づく車両追跡方法である。
【００１５】
図３は、本発明の車両が陰に入ったことを判断する方法のフローチャートである。以下、図３を参照しながら前記車両が陰に入ったことを判断する方法を詳しく説明する。
前記ステップＳ１００とＳ１１０に記載したように車両の第１０フレーム画像中の位置及び大きさが「特徴に基づく追跡方法」に基づく追跡により得られたら、まず、該車両の第９及び第１０フレーム画像中の位置及び大きさの情報に基づいて、第１０フレーム画像中の車両下辺の位置と、第９フレーム画像中の車両下辺の位置を比べ、大きい位置変化があるか否かを判断する（ステップＳ１１００）。
比較的に大きい変化がないと判断すれば、この既知車両が陰に入っていないと決定する（ステップＳ１１１０）。
【００１６】
一方、比較的に大きい変化があると判断すれば、第１０フレーム画像中における既知車両の存在可能領域内に下部領域を設定する。なお、下部領域の高さは存在可能領域の高さの０．２〜０．６であることが好ましい。ついで、下部領域における総画素数Nと、輝度値が閾値Ｔ（Ｔが３０〜８０であることが好ましい）より小さい暗い画素数Ndとを算出する（ステップＳ１１０２）。次に、この輝度値が閾値Ｔより小さい画素数Ndと前記総画素数Nとの比率Nd/Nが所定値Ｒ（Ｒは０．７より大きいことが好ましい）より大きいか否かを判断する（ステップＳ１１０４）。
比率Nd/Nが前記所定値Ｒより大きければ、着目している既知車両は陰に入ったと判断してフラグをセットし（ステップＳ１１０６）、かつ、該基地車両が陰に入ったと決定する（ステップＳ１１０８）。しかし、比率Nd/Nが所定値Ｒより小さければ、既知車両は陰に入っていないと決定する(ステップS1110)。
【００１７】
図４は、本発明の車両が陰に入った場合の追跡方法のフローチャートである。以下、図４を参照しながら、追跡された車両の第１０フレーム画像中の位置及び大きさの情報を例として、車両が陰に入った場合の追跡方法を詳しく説明する。
図４に示すように、まず、追跡により得られた車両の最近のフレーム画像中の位置及び大きさの情報に基づいて、該車両が依然として陰にあるか否かを判断する（ステップＳ４００）。なお、この車両が陰に入った場合の追跡方法が図２のステップＳ９０の追跡に際して用いられる場合には、上記最近のフレーム画像は第９フレーム画像であり、図２のステップＳ１３０の追跡に際して用いられる場合には、上記最近のフレーム画像は第１０フレーム画像である。
ステップ４００において、基地車両が依然として陰にあるか否かを判断するには、まず、最近のフレーム画像中の車両存在可能領域内に下部領域を設定し、該下部領域の総画素数Nと、輝度値が閾値Ｔ（Ｔが３０〜８０であることが好ましい）より小さい画素数Ndとを算出する。下部領域の高さはこの存在可能領域の高さの０．２〜０．６であることが好ましい。次に、輝度値が閾値Ｔより小さい画素数と前記総画素数との比率Nd/Nが所定値Ｒ（Ｒが０．７より大きいことが好ましい）より大きいか否かを判断する。前記比率が所定値Ｒより大きければ、この車両が依然として陰にあると判断する。さもなければ、この車両が陰にないと判断する。
【００１８】
既知車両が陰にないと判断すれば、この車両が陰に入った旨を示すフラグをリセットし（ステップＳ４０２）、この車両の走行状態は"正常運転状態"であるとして第１０フレーム画像中の位置及び大きさを追跡し（ステップＳ４０４）、かつ、追跡により得られた該車両の第１０フレーム画像中の位置及び大きさの情報を追跡結果として出力する（ステップＳ４１２）。
一方、着目している既知車両が依然として陰にあると判断すれば、最近のフレーム画像に車両の上部特徴が抽出されて保持されているか否かを判断する（ステップＳ４０６）。車両の上部特徴は、主に車両の上辺(エッジ)及び左右辺（エッジ）を含む。
最近のフレーム画像から既知車両の上部特徴が抽出、保持されていなければ、追跡により得られた該車両の第１０フレーム画像の前のフレーム画像（例えば第６〜９フレーム画像）中の位置及び大きさの情報を利用して、車両運動推定を行って該車両の第１０フレーム画像中の位置及び大きさを追跡し（ステップＳ４０８）、かつ、追跡により得られた第１０フレーム画像中の車両位置及び大きさの情報を追跡結果として出力する（ステップＳ４１２）。
最近のフレーム画像から既知車両の上部特徴が抽出、保持されていれば、後述する特徴計算追跡方法でこの既知車両の第１０フレーム画像中の位置及び大きさを追跡し（ステップＳ４１０）、かつ追跡により得られた既知車両の第１０フレーム画像中の位置及び大きさの情報を追跡結果として出力する（ステップＳ４１２）。
【００１９】
図５は、本発明の特徴計算追跡方法のフローチャートである。図６は、本発明の特徴計算追跡方法を説明する画像である。以下、図５及び６を参照しながら、車両の第１０フレーム画像中の位置及び大きさを決定する場合を例として、本発明の特徴計算追跡方法を詳しく説明する。
図５に示すように、まず、第１０フレーム画像中の車両の存在可能領域（例えば図６Ａに示す）から、車両の上部特徴を含む部分画像（図６Ｂに示す）を取得する（ステップＳ５００）。次に、取得した部分画像に対してエッジ抽出を行って画像のエッジ特徴（図６Ｃに示す）を取得する（ステップＳ５０２）。次に、車両の第９フレーム画像中の位置及び大きさの情報と、得られた画像のエッジ特徴とに基づいて、車両の第１０フレーム画像中の上辺と左右辺の位置を決定し、該車両の第１０フレーム画像中の上辺と左右辺によって、車両の第１０フレーム画像中の大体の位置を決定する（ステップＳ５０４）。次に、車両の第１０フレーム画像中の位置情報と、第９フレーム画像中の大きさ情報（つまり上辺、左右辺及び下辺）とに基づいて、該車両の第１０フレーム画像中の下辺位置を計算し、得られた車両の第１０フレーム画像中の上辺、左右辺及び下辺によって、該車両の第１０フレーム画像中の位置及び大きさの情報（図６Ｄに示す）を決定する（ステップＳ５０６）。最後に、得られた車両の第１０フレーム画像中の位置及び大きさの情報を追跡結果として出力する（ステップＳ５０８）。
【００２０】
図７〜図１０は、それぞれ本発明の車両状態分類に基づく車両追跡方法で車両を追跡する場合の説明図であり、追跡する車両TCRがフレーム境界FLBにある場合(図７)、他車両CRにより追跡車両TCRが遮られている場合(図８)、橋脚の間の空間の陰BSHに追跡車両TCRが入った場合(図９)、トンネルTNLの陰に追車両TCRが入った場合(図１０)である。図７〜図１０に示すように、本発明の車両追跡方法を用いれば、異なる状態において走行する車両をうまく追跡することができる。
【００２１】
図１１は本発明の車両状態分類に基づく車両追跡装置を示す図である。その内、本発明に関する手段だけを示し、従来の技術において本発明と関係しない手段を示さない。本発明の車両状態分類に基づく車両追跡装置は、ソフトウエア、ハードウエア、又はソフトウエアとハードウエア組合せる方式を用いて実現される。
図１１に示すように、本発明の車両追跡装置は、フレーム画像を取得する取得手段１０と、追跡又は検出により得られた車両の以前のフレーム画像中の位置及び大きさの情報に基づいて、車両運動推定を行って前記車両が前記取得されたフレーム画像に存在する可能性のある領域(存在可能領域)を決定する領域決定手段２０と、前記車両の走行状態の分類を決定する分類決定手段３０と、決定された前記車両の走行状態の分類に基づいて、相応する追跡方法で前記決定された存在可能領域の画像データを処理して、前記車両の前記取得されたフレーム画像中の位置及び大きさを決定する位置及び大きさ決定手段４０と、前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を出力する出力手段５０とを有している。
【００２２】
その内、分類決定手段３０は、占有領域決定手段３０aと、判断手段３０bと、設定手段３０cとを含む。占有領域決定手段３０aは、車両の取得されたフレーム画像直前の１フレーム画像中の位置及び大きさの情報によって、該直前の１フレーム画像において車両が占める画像領域を決定する。判断手段３０bは、まず、前記直前の１フレーム画像において車両が占める画像領域が他の車両で遮られるか否かを判断し、遮られれば、設定手段３０ｃは、該車両の状態分類を"遮られた状態"に設定し、遮られなければ、判断手段３０ｂは、前記直前の１フレーム画像において車両が占める画像領域が前記直前の１フレーム画像のフレーム境界に達するか否かを続いて判断する。フレーム境界に達していれば、設定手段３０ｃは、車両の状態分類を"境界状態"に設定し、フレーム境界に達してなければ、判断手段３０ｂは、車両が陰に入った旨を示すフラグ設定されているか判断する。フラグが設定されていれば設定手段３０ｃは、車両の状態分類を"陰状態"に設定し、フラグが設定されていなければ、判断手段３０ｂは、車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、車両運動推定によって車両が運転変動状態にあるか否かを判断する。運転変動状態にあれば、設定手段３０ｃは、前車両の状態分類を"運転変動状態"に設定し、運転変動状態になければ、設定手段３０ｃは、車両の状態分類を"正常運転状態"に設定する。
【００２３】
車両の状態分類がそれぞれ"遮られた状態"と"境界状態"である場合、位置及び大きさ決定手段４０は、周知の区分されたテンプレートマッチング追跡方法とテンプレートマッチング追跡方法とで前記決定された可能な領域を処理する。
位置及び大きさ決定手段４０は更に、処理手段４０a、校正手段４０b、陰入れ判断手段４０ｃ、追跡手段４０d、フラグ取消し手段４０e、正常追跡手段４０fを備えている。処理手段４０aは、前記車両の状態分類が"運転変動状態"又は"正常運転状態"であれば、“特徴に基づく追跡方法”で前記存在可能領域の画像データを処理して車両の前記取得されたフレーム画像中の位置及び大きさの情報を取得する。校正手段４０bは、車両の以前のフレーム画像中の位置及び大きさの情報に基づいて、得られた車両の前記取得されたフレーム画像中の位置及び大きさの情報を校正する。陰入れ判断手段４０ｃは、得られた車両の取得されたフレーム画像と直前の１フレーム画像中の位置及び大きさの情報によって、前記取得されたフレーム画像において車両が陰に入ったか否かを判断する。追跡手段４０dは、陰に入ったと判定すれば、“車両が陰に入った追跡方法”で車両の前記取得されたフレーム画像中の位置及び大きさの情報を改めて追跡する。フラグ取消し手段４０eは車両が陰に存在しないと判定すれば、車両が陰に入った旨を示すフラグをリセットする。正常追跡手段４０fは、車両が陰にないと判断すれば、車両を正常運転状態にある車両として、前記取得されたフレーム画像中の位置及び大きさの情報を追跡する。
【００２４】
陰入れ判断手段４０ｃは、さらに、車両の前記取得されたフレーム画像中の下辺の位置と直前の１フレーム画像中の下辺の位置とを比べ、大きい位置変化があるか否かを判断する下辺位置判断手段と、大きい変化があれば、前記取得されたフレーム画像の車両存在可能領域内に下部領域を設定し、該下部領域の総画素数Nと輝度値が所定の閾値より小さい画素数Ndとを算出する画素算出手段と、前記輝度値が閾値より小さい画素数と前記総画素数との比率Nd/Nが所定値より大きいか否かを判断する比率判断手段と、前記閾値より大きければ車両が陰に入った旨を示すフラグセットするフラグ設定手段と、前記取得されたフレーム画像において前記車両が陰に入ったことを決定する陰入れ決定手段と、を含む。
追跡手段４０dは、さらに、前記取得されたフレーム画像において前記車両が依然として陰にあるか否かを判断する陰判断手段と、依然として陰にあると判断する場合に、前記取得されたフレーム画像において車両の上部特徴が抽出されて保持されているか否かを判断する特徴判断手段と、前記車両の上部特徴が保持されていれば、“特徴計算追跡方法”で車両の前記取得されたフレーム画像中の位置及び大きさの情報を改めて追跡する特徴計算追跡手段と、前記車両の上部特徴が保持されていなければ、追跡により得られた車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、車両運動推定を行って車両の前記取得されたフレーム画像中の位置及び大きさの情報を決定する運動推定追跡手段を含む。
【００２５】
前記特徴計算追跡手段は、さらに、前記取得されたフレーム画像の車両存在可能領域から、車両の上部特徴を含む部分の画像を取得する画像取得手段と、取得された部分画像よりエッジ抽出して画像のエッジ特徴を得るエッジ抽出手段と、車両の前記直前の１フレーム画像中の位置及び大きさの情報と前記得られた画像のエッジ特徴に基づいて、車両の前記取得されたフレーム画像中の上辺及び左右辺を決定するエッジ決定手段と、車両の前記取得されたフレーム画像中の上辺、左右辺、及びその前記直前の１フレーム画像中の大きさ情報に基づいて、車両の前記フレーム画像中の下辺位置、サイズを計算し、その内、得られた車両の前記フレーム画像中の上辺、左右辺及び下辺によって、車両の前記フレーム画像中の位置及び大きさの情報を決定する下辺計算手段を含む。
【００２６】
また、位置及び大きさ決定手段４０は、追跡手段40dだけを含み、即ち、車両の状態分類が陰状態であれば、前記直前の１フレーム画像において車両が依然として陰にあるか否かを判断する陰判断手段と、依然として陰にあると判断する場合に、前記直前の１フレーム画像において車両の上部特徴が保持されているか否かを判断する特徴判断手段と、前記車両の上部特徴が保持されていれば、“特徴計算追跡方法”により車両の前記取得されたフレーム画像中の位置及び大きさの情報を追跡する特徴計算追跡手段と、車両の上部特徴が保持されていなければ、追跡により得られた車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、車両運動推定を行って車両の前記取得されたフレーム画像中の位置及び大きさの情報を決定する運動推定追跡手段と、車両が陰に存在しなければ、車両が陰に入った旨を示すフラグをリセットするフラグ取消し手段と、車両が陰に存在しなければ、車両を正常運転状態にある車両として、その前記取得されたフレーム画像中の位置及び大きさの情報を追跡する正常追跡手段と、を含む。
【００２７】
前記特徴計算追跡手段は、さらに、前記取得されたフレーム画像中の車両存在可能領域から、車両の上部特徴を含む部分の画像を取得する画像取得手段と、前記取得された部分の画像よりエッジ抽出して画像のエッジ特徴を得るエッジ抽出手段と、車両の前記直前の１フレーム画像中の位置及び大きさの情報と前記得られた画像のエッジ特徴に基づいて、車両の前記取得されたフレーム画像中の上辺及び左右辺を決定するエッジ決定手段と、車両の前記取得されたフレーム画像中の上辺、左右辺、及びその前記直前の１フレーム画像中の大きさ情報に基づいて、車両の前記フレーム画像中の下辺の位置、サイズを計算し、その内、得られた車両の前記フレーム画像中の上辺、左右辺及び下辺によって、車両の前記フレーム画像中の位置及び大きさの情報を決定する下辺計算手段を含む。
本発明の上記記載は、実質的に好ましい実施形態だけであるので、本発明の主旨から脱離しない各種の変形が可能であるが、該変形は本発明の範囲内にある。このような変形は、本発明の主旨及び範囲からずれるものであると認められない。
【図面の簡単な説明】
【００２８】
【図１】図１は本発明の車両状態分類に基づく車両追跡方法のフローチャートである。
【図２】図２は本発明の車両状態分類の処理フローチャートである。
【図３】図３は本発明の車両が陰に入ったことを判断する方法のフローチャートである。
【図４】図４は本発明の車両が陰に入った場合の追跡方法のフローチャートである。
【図５】図５は本発明の特徴計算追跡方法のフローチャートである。
【図６】図６は本発明の特徴計算追跡方法を説明する画像である。
【図７】図７は本発明の車両状態分類に基づく車両追跡方法で画像境界にある車両を追跡する結果を示す図である。
【図８】図８は本発明の車両状態分類に基づく車両追跡方法で、遮られている車両を追跡する結果を示す図である。
【図９】図９は本発明の車両状態分類に基づく車両追跡方法で、橋脚の間の空間の陰に入った車両を追跡する結果を示す図である。
【図１０】図１０は本発明の車両状態分類に基づく車両追跡方法で、トンネルの陰に入った車両を追跡する結果を示す図である。
【図１１】図１１は本発明の車両状態分類に基づく車両追跡装置を示す図である。
【符号の説明】
【００２９】
１０取得手段
２０領域決定手段
３０分類決定手段
３０a 占有領域決定手段
３０ｂ判断手段
３０c 設定手段
４０位置及び大きさ決定手段
４０a 処理手段
４０b 校正手段
４０c 陰入れ判断手段
４０d 追跡手段
４０e フラグ取消し手段
４０f 正常追跡手段
５０出力手段

【特許請求の範囲】
【請求項１】
車両を追跡する車両追跡方法において、
一つのフレーム画像を取得する第１ステップと、
車両の以前のフレーム画像中の位置及び大きさの情報に基づいて、車両運動推定を行って前記車両が前記取得されたフレーム画像に存在可能な領域(車両存在可能領域)を決定する第２ステップと、
前記車両の状態分類を決定する第３ステップと、
該決定された車両の状態分類に応じた追跡方法により、前記車両存在可能領域の画像データを処理して、前記車両の前記取得されたフレーム画像中の位置及び大きさを決定する第４ステップと、
前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を出力する第５ステップと、
を有することを特徴とする車両追跡方法。
【請求項２】
前記第３ステップは、さらに、
前記車両の前記取得されたフレーム画像直前の１フレーム画像中の位置及び大きさの情報によって、前記直前の１フレーム画像において前記車両が占める画像領域を決定するステップと、
前記直前の１フレーム画像において前記車両が占める画像領域が他の車両で遮られるか否かを判断するステップと、
遮られる場合には、前記車両の状態分類を“遮られた状態”に設定するステップと、
遮られない場合には、前記直前の１フレーム画像において前記車両が占める画像領域が前記直前の１フレーム画像のフレーム境界に達するか否かを判断するステップと、
フレーム境界に達している場合には、前記車両の状態分類を“境界状態”に設定するステップと、
フレーム境界に達していな場合には、前記車両が陰に入ったことを示すフラグが設定されているか判断するステップと、
該フラグ設定されている場合には、前記車両の状態分類を“陰状態”に設定するステップと、
該フラグ設定されていない場合には、前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、前記車両運動推定によって前記車両が運転変動状態にあるか否かを判断するステップと、
運転変動状態にある場合には、前記車両の状態分類を“運転変動状態”に設定するステップと、
運転変動状態にない場合には、前記車両の状態分類を“正常運転状態”に設定するステップと、
を含むことを特徴とする請求項１記載の車両追跡方法。
【請求項３】
前記第４ステップは、さらに
前記車両の状態分類が前記遮られた状態である場合には、区分されたテンプレートマッチング追跡方法により前記車両存在可能領域の画像データを処理するステップ、
を含むことを特徴とする請求項２記載の車両追跡方法。
【請求項４】
前記第４ステップは、さらに
前記車両の状態分類が前記境界状態である場合に、テンプレートマッチング追跡方法により前記車両存在可能領域の画像データを処理するステップ、
を含むことを特徴とする請求項２記載の車両追跡方法。
【請求項５】
前記第４ステップは、さらに、
前記車両の状態分類が前記運転変動状態又は正常運転状態である場合に、特徴に基づく追跡方法により前記車両存在可能領域の画像データを処理して、前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を得る第１サブステップと、
前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、得られた前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を校正する第２サブステップと、
得られた前記車両の前記取得されたフレーム画像と前記直前の１フレーム画像中の位置及び大きさの情報によって、前記取得されたフレーム画像において前記車両が陰に入ったか否かを判断する第３サブステップと、
陰に入っている場合には、車両が陰に入った追跡方法により前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を改めて追跡する第４サブステップと、
を含むことを特徴とする請求項２記載の車両追跡方法。
【請求項６】
前記第３サブステップは、さらに
前記取得されたフレーム画像中の前記車両の下辺の位置と、前記直前の１フレーム画像中の下辺の位置とを比べ、大きい位置変化があるか否かを判断するステップと、
大きい変化がある場合には、前記車両が前記取得されたフレーム画像にある前記車両存在可能領域内の下部領域の総画素数と輝度値が所定の閾値より小さい画素数とを算出するステップと、
前記輝度値が所定の閾値より小さい画素数と前記総画素数との比率が所定値より大きいか否かを判断するステップと、
前記所定値より大きい場合には、前記車両が前記陰に入っている旨を示すフラグを設定すると共に、前記取得されたフレーム画像において前記車両が陰に入っていると決定するステップと、
を含むことを特徴とする請求項５記載の車両追跡方法。
【請求項７】
前記取得されたフレーム画像において前記車両が依然として陰にあるか否かを判断するステップと、
依然として陰にあると判断する場合には、前記取得されたフレーム画像において前記車両の上部特徴を保持しているか否かを判断するステップと、
前記車両の上部特徴を保持している場合には、特徴計算追跡方法で前記車両を改めて追跡することによってその前記取得されたフレーム画像中の位置及び大きさの情報を取得するステップと、
前記車両の上部特徴を保持していない場合には、追跡により得られた前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、前記車両運動推定を行って前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を決定するステップと、
を含むことを特徴とする請求項５記載の車両追跡方法。
【請求項８】
前記第４ステップは、さらに、
前記車両の状態分類が前記陰状態である場合に、前記直前の１フレームにおいて前記車両が依然として陰にあるか否かを判断するステップと、
依然として陰にあると判断する場合に、前記直前の１フレーム画像において前記車両の上部特徴を保持しているか否かを判断するステップと、
前記車両の上部特徴を保持している場合には、特徴計算追跡方法で前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を追跡するステップと、
前記車両の上部特徴を保持していない場合には、追跡により得られた前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、前記車両運動推定を行って前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を決定するステップと、
を含むことを特徴とする請求項２記載の車両追跡方法。
【請求項９】
さらに、
前記車両が陰にないと場合には、前記車両に設置された前記陰に入った旨を示すフラグをリセットするステップと、
前記車両を前記正常運転状態にある車両として、その前記取得されたフレーム画像中の位置及び大きさの情報を追跡するステップと、
を含むことを特徴とする請求項７又は８記載の車両追跡方法。
【請求項１０】
前記特徴計算追跡方法で前記車両を追跡するステップは、さらに、
前記取得されたフレーム画像の車両存在可能域から、前記車両の上部特徴を含む部分の画像を取得するステップと、
前記取得された部分の画像よりエッジ抽出して画像のエッジ特徴を得るステップと、
前記直前の１フレーム画像中の前記車両の位置及び大きさの情報と前記得られた画像のエッジ特徴に基づいて、前記取得されたフレーム画像中の前記車両の上辺及び左右辺を決定するステップと、
前記取得されたフレーム画像中の前記車両の上辺、左辺、右辺、及びその前記直前の１フレーム画像中の大きさ情報に基づいて、前記フレーム画像中の前記車両の下辺位置を計算し、ここで、得られた前記車両の前記フレーム画像中の上辺、左辺、右辺及び下辺によって、前記フレーム画像中の前記車両の位置及び大きさの情報を決定するステップを、
含むことを特徴とする請求項７又は８記載の車両追跡方法。
【請求項１１】
車両を追跡する車両追跡装置において、
フレーム画像を取得する取得手段と、
以前のフレーム画像中の車両の位置及び大きさの情報に基づいて、車両運動推定を行って該車両が前記取得されたフレーム画像に存在可能な領域(車両存在可能領域)を決定する領域決定手段と、
前記車両の状態分類を決定する分類決定手段と、
決定された前記車両の状態分類に応じた追跡方法により、前記決定された領域の画像データを処理して、前記車両の前記取得されたフレーム画像中の位置及び大きさを決定する位置及び大きさ決定手段と、
前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を出力する出力手段と、
を備えたことを特徴とする車両追跡装置。
【請求項１２】
前記分類決定手段は、
前記取得されたフレーム画像直前の１フレーム画像中の前記車両の位置及び大きさの情報によって、前記直前の１フレーム画像において前記車両が占める画像領域を決定する占有領域決定手段と、
前記直前の１フレーム画像において前記車両が占める画像領域が他の車両で遮られるか否かを判断する判断手段と、
遮られたことを決定する場合に、前記車両の状態分類を“遮られた状態”に設定する設定手段と、をさらに含み、
前記判断手段は、遮られていない場合には、前記直前の１フレーム画像において前記車両が占める画像領域が前記直前の１フレーム画像のフレーム境界に達するか否かを判断し、
前記設定手段は、フレーム境界に達している場合には、前記車両の状態分類を“境界状態”に設定し、
前記判断手段は、フレーム境界に達していない場合には、前記車両に陰に入っていることを示すフラグが設定されているか否かを判断し、
前記設定手段は、フラグが設定されている場合には、前記車両の状態分類を“陰状態”に設定し、
前記判断手段は、フラグが設定されていない場合には、前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、前記車両運動推定によって前記車両が運転変動状態にあるか否かを判断し、
前記設定手段は、運転変動状態にあると決定する場合には、前記車両の状態分類を“運転変動状態”に設定し、
前記設定手段は、運転変動状態にない決定する場合には、前記車両の状態分類を“正常運転状態”に設定する、
ことを特徴とする請求項１１記載の車両追跡装置。
【請求項１３】
前記車両の状態分類が前記遮られた状態である場合に、前記位置及び大きさ決定手段は、区分されたテンプレートマッチング追跡方法により前記車両存在可能領域の画像データを処理することを特徴とする請求項１２記載の車両追跡装置。
【請求項１４】
前記車両の状態分類が前記境界状態である場合に、前記位置及び大きさ決定手段は、テンプレートマッチング追跡方法により前記車両存在可能領域の画像データを処理することを特徴とする請求項１２記載の車両追跡装置。
【請求項１５】
前記位置及び大きさ決定手段は、さらに、
前記車両の状態分類が前記運転変動状態又は正常運転状態である場合に、特徴に基づく追跡方法で前記車両存在可能領域の画像データを処理して、前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を得る処理手段と、
前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、得られた前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を校正する校正手段と、
得られた前記車両の前記取得されたフレーム画像と前記直前の１フレーム画像中の位置及び大きさの情報によって、前記取得されたフレーム画像において前記車両が陰に入ったか否かを判断する陰入れ判断手段と、
陰に入ったと決定する場合に、車両が陰に入った追跡方法で前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を改めて追跡する追跡手段と、
を含むことを特徴とする請求項１２記載の車両追跡装置。
【請求項１６】
前記陰入れ判断手段は、さらに
前記車両の前記取得されたフレーム画像中の下辺の位置と、前記直前の１フレーム画像中の下辺の位置とを比べ、大きい位置変化があるか否かを判断する下辺位置判断手段と、
大きい変化がある場合には、前記車両が前記取得されたフレーム画像にある前記車両存在可能領域の下部領域の総画素数と輝度値が所定の閾値より小さい画素数とを算出する画素算出手段と、
前記輝度値が所定の閾値より小さい画素数と前記総画素数との比率が所定値より大きいか否かを判断する比率判断手段と、
前記所定値より大きい場合には、前記車両が前記陰に入ったことを示すフラグを設定するフラグ設定手段と、
前記取得されたフレーム画像において前記車両が陰に入ったことを決定する陰入れ決定手段と、
を含むことを特徴とする請求項１５記載の車両追跡装置。
【請求項１７】
前記追跡手段は、さらに、
前記取得されたフレーム画像において前記車両が依然として陰にあるか否かを判断する陰判断手段と、
依然として陰にあると判断する場合に、前記取得されたフレーム画像において前記車両の上部特徴を保持しているか否かを判断する特徴判断手段と、
前記車両の上部特徴を保持している場合には、特徴計算追跡方法により前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を改めて追跡する特徴計算追跡手段と、
前記車両の上部特徴を保持していない場合には、追跡により得られた前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、前記車両運動推定を行って前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を決定する運動推定追跡手段と、
を含むことを特徴とする請求項１５記載の車両追跡装置。
【請求項１８】
前記位置及び大きさ決定手段は、さらに、
前記車両の状態分類が前記陰状態である場合に、前記直前の１フレームにおいて前記車両が依然として陰にあるか否かを判断する陰判断手段と、
依然として陰にあると判断する場合には、前記直前の１フレーム画像において前記車両の上部特徴を保持しているか否かを判断する特徴判断手段と、
前記車両の上部特徴を保持している場合には、特徴計算追跡方法により前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を追跡する特徴計算追跡手段と、
前記車両の上部特徴を保持していない場合には、追跡により得られた前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、前記車両運動推定を行って前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を決定する運動推定追跡手段と、
を含むことを特徴とする請求項１２記載の車両追跡装置。
【請求項１９】
さらに、
前記車両が陰にないことを決定する場合に、車両が陰に入ったことを示すフラグフラグをリセットするフラグ標識取消し手段と、
前記車両を前記正常運転状態にある車両として、その前記取得されたフレーム画像中の位置及び大きさの情報を追跡する正常追跡手段と、
を含むことを特徴とする請求項１７又は１８記載の車両追跡装置。
【請求項２０】
前記特徴計算追跡手段は、さらに、
前記取得されたフレーム画像の前記車両存在可能領域から、前記車両の上部特徴を含む部分の画像を取得する画像取得手段と、
前記取得された部分の画像よりエッジ抽出して画像のエッジ特徴を得るエッジ抽出手段と、
前記直前の１フレーム画像中の前記車両の位置及び大きさの情報と前記得られた画像のエッジ特徴に基づいて、前記取得されたフレーム画像中の前記車両の上辺及び左右辺を決定するエッジ決定手段と、
前記取得されたフレーム画像中の前記車両の上辺、左辺、右辺、及びその前記直前の１フレーム画像中の大きさ情報に基づいて、前記車両の前記フレーム画像中の下辺位置を計算し、ここで、得られた前記車両の前記フレーム画像中の上辺、左右辺及び下辺によって、前記車両の前記フレーム画像中の位置及び大きさの情報を決定する下辺計算手段と
を含むことを特徴とする請求項１７又は１８記載の車両追跡装置。

【図１】