交通流計測装置及びプログラム
【課題】
混雑した道路でも大型車両と普通車両を問わず個別の車両の末尾を精度よく検出し、台数と速度を高い精度で計測する。
【解決手段】
路上に設置したカメラで道路を俯瞰した動画像を取得し、該取得画像を画像処理装置で車両の位置を検出する交通流計測装置において、車両の形状を直方体モデルであらわし車幅に相当した水平エッジを直方体モデルの末尾の辺と仮定したときに、直方体の背面上と屋根前の２辺に相当する水平エッジのペアが車両の車幅，車高，車長の分布と末尾の候補の幅に応じて設定した範囲から検出されることを条件に車両を検知することを特徴とする交通流計測装置およびプログラム。
混雑した道路でも大型車両と普通車両を問わず個別の車両の末尾を精度よく検出し、台数と速度を高い精度で計測する。
【解決手段】
路上に設置したカメラで道路を俯瞰した動画像を取得し、該取得画像を画像処理装置で車両の位置を検出する交通流計測装置において、車両の形状を直方体モデルであらわし車幅に相当した水平エッジを直方体モデルの末尾の辺と仮定したときに、直方体の背面上と屋根前の２辺に相当する水平エッジのペアが車両の車幅，車高，車長の分布と末尾の候補の幅に応じて設定した範囲から検出されることを条件に車両を検知することを特徴とする交通流計測装置およびプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は路上の車両を検出および追跡して台数や速度などを計測する交通量計測装置及びプログラムに関するものである。
【背景技術】
【０００２】
路上の支柱に設置したカメラで道路および車両を俯瞰した動画を撮影し、撮影した動画を画像処理することにより、車両を検知後に追跡して車線毎の通過台数と速度を計測する交通量計測装置が知られている。カメラ画面内で検出した車両は前記カメラのカメラパラメータたとえば、カメラの高さ，ピッチ角（俯角），ロール角（前記カメラのレンズ光軸を軸とした回転角），ヨー角（道路方向とカメラの向きの偏角），焦点距離（カメラのズーム率に関する）等を反映した射影変換によって、画像上の車両の検知位置や移動量を空間中の座標系に変換することで通行車線の判定と通過速度を計測している。なお、画像の座標系が２次元に対して空間の座標系は３次元なので、画像から道路への座標変換は一定の想定条件、例えば画像上における車両の追跡位置の高さを０ｍとおく。
【０００３】
交通量計測装置の開示技術のうち〔特許文献１〕では、車両の前後の輪郭や、車両の屋根とフロントガラスやリアガラスの窓枠との間の境界線といった部分に出現する水平方向のエッジの並びを車両の特徴として、画像を小ブロック単位で格子分割したときに移動領域の水平方向のエッジがしきい値を超過したブロックの連結領域を車両として検出する技術が開示されている。また〔特許文献２〕では、車線毎の車両の見え方や車両の形状のバリエーションを一つの分布モデルで代表し、背景画像と撮影画像との差分領域と分布モデルとの畳み込み演算によって個々の車両を検知する技術が開示されている。
【０００４】
【特許文献１】特開２００２−３２７４７号公報
【特許文献２】特開２００１−１１８１８２号公報
【特許文献３】特開３４３５６２３号公報
【特許文献４】特開２００１−６０８９広報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
〔特許文献１〕では水平方向のエッジの密度が高い小ブロックの連結領域を車両とするため、隣接する車線の左右の車両や同一車線上の前後の車両が見かけ上重なる場合には、個別の車両を検知することが困難である。図４は路側に立てた支柱に設置のカメラにより道路を俯瞰した画像の例であり、画像において下から上に進む車両を背面から撮影している。図４において、第１車線には手前から中型バス２とバン３、第２車線にはセダン車３が走行している。図４において第２車線の計測において中型バス２のはみ出しとセダン車３が見かけ上重なるので、特許文献１の技術では正確に個別の車両を検知することが困難であり、正確な台数を計測することができないという第１の課題がある。
【０００６】
また〔特許文献１〕では水平方向のエッジの密度が高い小ブロックの連結領域を車両とするため、貨物を積んだ大型車のように屋根および背面に複雑な模様がある車両の屋根および背面のエッジを誤検知することを抑止することが困難という第２の課題がある。前記のように屋根および背面のエッジを検知、追跡したときには、交通流計測装置の速度の精度が低下する。
【０００７】
図２３を用いて車両の屋根および背面を追跡した場合に速度が低下することを説明する。図２３において、８０はカメラ、ＶＰはカメラの視点、８５は時刻ｔにおける車両、８１は車両８５の末尾の追跡位置、８２はＶＰと８１を通る直線と地平面の交点、９５は時刻ｔ＋Δｔにおける車両、９１は車両９５の末尾の追跡位置、９２はＶＰと９１を通る直線と地平面の交点である。時刻ｔから時刻ｔ＋Δｔの間の８１から９１への空間での移動量はＬｔ、追跡位置を高さ０ｍと置いたときの８１から９１への見かけ上の移動量はＬａである。８１および９１の高さは０ｍに近いのでＬａとＬｔの差は小さく、時刻差Δｔで移動量を除算した８１の見かけ上の速度Ｌａ／Δｔは実際の速度Ｌｔ／Δｔに近く精度は高い。
【０００８】
一方、図２３において８３は時刻ｔにおける車両８５の屋根付近の追跡位置、８４はＶＰと８３を通る直線と地平面の交点、９３は時刻ｔ＋Δｔにおける車両９５の屋根付近の追跡位置、９２はＶＰと９１を通る直線と地平面の交点、Ｈは８３と９３の高さ、θはＶＰと８３および８４を結ぶ直線と鉛直方向とが成す俯角、θ＋ΔθはＶＰと９３および９４を結ぶ直線と鉛直方向とが成す俯角である。車両８５および９５の高さにより、８４は８３よりも（数７）だけ前方にあり、９４は９３よりも（数８）だけ前方にある。よって、追跡位置を高さ０ｍと置いたときの８３から９３への見かけの移動量Ｌｂは、実際の移動量Ｌｔよりも（数９）だけ多くなる。時刻差Δｔで移動量を除算した８３の見かけ上の速度Ｌｂ／Δｔは実際の速度Ｌｔ／Δｔよりも、（数９）をΔｔで除した分だけ過剰となり精度が低くなる。（数９）はＨの比例があるので、追跡位置８３が車高の高い車両をとらえるほど見かけの速度は誤差が大きくなることがわかる。
【０００９】
【数１】
【００１０】
【数２】
【００１１】
【数３】
【００１２】
〔特許文献２〕では反映した分布モデルを用いて車両を検知するので、隣接する車線の車両の重なりを誤検知したり車両の屋根や背面を誤検知することは抑止されるが、大型車から普通車までの形状を１つの分布モデルで代表するため、画像上で前後の車両が重なる場合には、個別の車両を検知することが困難という課題がある。車両の大型車の車長の範囲は６ｍ程度から１２ｍであり、一方普通車の車長の範囲は３ｍ程度から５ｍ程度と車両のサイズには大きなばらつきがあるので、図４のようにバン３と中型バス２とが同一車線を近い距離で走行する時には、２台の車両を１台の大型車両と誤って検知してしまうことの抑止が困難という第３の課題がある。
【００１３】
以上述べた第１の課題と第２の課題と第３の課題は、画像上における車両の密度が高くなる混雑時において顕著に現れる。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明の交通流計測装置は、路上のカメラの撮影画像を取得する画像入力手段と、画像座標と道路座標を変換する座標変換手段と画像中の水平エッジを抽出する水平エッジ検出手段と、車両の形状をあらわす直方体モデルの末尾にあたる水平エッジを検出する末尾候補検出手段と、車幅に応じて車高と車長を推定する車高車長範囲推定手段と、末尾候補の水平エッジの幅に応じた画像上の範囲から直方体モデルの背面上と屋根前の辺に当たる水平エッジを検出するペアエッジ検出手段と車両を追跡する車両追跡手段と、交通指標を計測する交通指標計算手段から構成されることを特徴とするものである。
【００１５】
更に、上記課題を解決するために、本発明の交通流計測装置及びプログラムは、路上のカメラの撮影画像から抽出した水平エッジのうち車幅に相当した水平エッジを直方体モデルの末尾の辺と仮定したときに、直方体の背面上の辺と屋根前の辺に相当するエッジが、水平エッジの幅から換算した車幅と、車幅から推定した車高および車長の範囲に応じた画像上の範囲から検出されることを条件に車両を検知し追跡することを特徴とするものである。
【００１６】
また、上記課題を解決するために、本発明は交通流計測装置およびプログラムにおいて、車高および車長の範囲を車幅と車高および車長の比率の上限ならびに下限から求めることを特徴とするものである。
【００１７】
また、上記課題を解決するために、本発明は交通流計測装置およびプログラムにおいて、車高および車長の範囲を車幅と車高および車長の比率の上限ならびに下限の特性曲線から求めることを特徴とするものである。
【００１８】
また、上記課題を解決するために、本発明は交通流計測装置およびプログラムにおいて、現時刻以前に抽出した直方体モデルの現時刻における領域を求めて、現時刻に抽出した直方体モデルが前記現時刻以前に抽出した直方体モデルの現時刻における領域を包含する場合には現時刻以前に抽出した直方体モデルの追跡を中断することを特徴とするものである。
【００１９】
また、上記課題を解決するために、本発明は交通流計測装置およびプログラムにおいて、任意の車両検知手段が同時に動作し、前記任意の車両検知手段の現時刻における領域が直方体モデルの内部にあれば、前記任意の車両検知手段の検知による追跡を中断することを特徴とするものである。
【発明の効果】
【００２０】
本発明の交通流計測システム及びプログラムによれば、車両の密度が高い混雑交通でも、台数と速度を高い精度で計測することが実現出来る。
【発明を実施するための最良の形態】
【００２１】
以下、本発明にかかる交通流計測システムの具体的な実施形態について、図面を参照しながら説明する。なお、本実施形態では、車両の一例として自動車を挙げて説明を行うが発明にかかる「車両」とは自動車に限定されず、路上を走行するあらゆる種類の移動体を含む。
【実施例１】
【００２２】
図１は、本発明の実施例１の機能構成の概略を示すブロック図である。以下の説明において、実施例１の機能構成は最も手前の第１車線を対象としたときの機能を述べるが、第１車線の処理を他の車線にも同様の処理を繰り返し適用することで本発明は複数の車線を対象とすることができる。
【００２３】
図１において、画像入力手段１１は路上のカメラの撮影映像あるいは路上のカメラの録画映像を利用することができ、毎秒６０フレームから５フレーム程度のフレームレートで道路の画像を取り込んで、車両後部絞込み手段１２および車両追跡手段１６に出力する。
【００２４】
図４は、画像入力手段１１が取り込んだ画像の一例であり、１は画像下部に設けた検知領域である。検知領域１は、少なくとも建築限界に定められた最大車幅，最大車高，最大車長の車両が領域内に収まるように設定する。
【００２５】
なお画像入力手段１１が取り込む画像が全体として傾いている場合には、画像入力手段１１が２次元の回転変換等により画像全体あるいは検知領域１付近の車両の水平部が画像上において水平に近づく攻勢をとってもよい。
【００２６】
図１において水平エッジ検出手段は図５のフローに従い、検知領域３１内の画像を水平方向のソーベルフィルタにより水平方向の濃度勾配を求めた後に（Ｓ１０１）、求めた濃度勾配を所定のしきい値で２値化する（Ｓ１０２）。次に、履歴フレームの画像と現フレームの検知領域１内の画像のフレーム差分を求めた後に（Ｓ１０３）、求めたフレーム差分を所定のしきい値で２値化する（Ｓ１０４）。なお、次フレーム以降の処理のために、履歴フレームの画像を保持するバッファの内容を更新しておく。次に、Ｓ１０２の２値画像とＳ１０４の２値画像のＡＮＤ演算を取った水平エッジを出力する（Ｓ１０３）。画像入力手段１１の画像において車両の部分には、車両の前後の輪郭や車両の屋根とフロントガラスやリアガラスの窓枠との間の境界線といった内部の水平部分に水平方向の濃度勾配が生じることと、画像上の車両付近はフレーム間で速度に応じた範囲が明度変化することより、Ｓ１０３の水平エッジは車両の輪郭や水平部位に集中する。図５（ａ）は図４の画像のうち第１車線の検知領域１の画像を示し、図５（ｂ）において２０は水平エッジ検出手段１２が検出した水平エッジの例を示している。水平エッジ２０のうち、２０ａは中型バス２のバンパー、２０ｂと２０ｃは中型バス２の左右のライト、２０ｄと２０ｅは中型バス２のリアガラス窓枠の上端と下端、２０ｆは中型バス２の屋根と背面の境界、２０ｇは中型バス２の屋根の前端に相当している。
【００２７】
図１において座標変換手段１８は画像座標と道路座標を相互に変換する。図２は座標変換手段１８が前提とするピンホールカメラのモデル図であり、ＶＰはカメラの視点であり、距離ＦはＶＰと画像面の焦点距離である。なお、現実にはカメラの高さは路上から数メートルで、焦点距離Ｆは数十ミリメートルであるが、説明のためにデフォルメされている。図２において画像の座標系は画像の右向きにｘ軸、画像の上向きにｙ軸、画像中心を原点ｏに持つ。図２において、空間の座標系は、道路横断方向にＸ軸、道路進行方向にＹ軸、鉛直上向きにＺ軸、ＶＰと点ｏを通る直線と地上面との交点Ｏを原点に持つ。空間中の任意の点Ｐに対応する画像上の点ｐは、点ＰとＶＰとを結ぶ直線と画像面との交点となる。座標変換手段１８は、図３（ａ）のように公知の射影変換により空間中の任意の点Ｐの座標（Ｘ，Ｙ，Ｚ）に対応する画像上の点ｐの座標（ｘ，ｙ）を計算する。射影変換では画像上の点ｐに対応した道路中の点はＶＰと点ｐとを結ぶ直線上で図２の点Ｐと点Ｐ′との用に不定になるが、図３（ｂ）のように道路中の対応点のＺ（高さ）を指定したときには、画像上の点ｐの座標（ｘ，ｙ）に対応した空間中の点Ｐの座標（Ｘ，Ｙ，Ｚ）を一意に求めることができる。また、座標変換手段１８は図３（ｃ）に示すように、Ｚが共通とおいたときの２つの点ｐ１とｐ２の画像座標から、それぞれの空間中の点Ｐ１とＰ２座標を求めて、２点の空間座標のユークリッド距離から、点ｐ１と点ｐ２の空間での距離を求めることができる。また座標変換手段１８は図３（ｄ）に示すように、点ｐ１の画像座標、点ｐ１の空間の対応点のＺ座標、点Ｐ２の点Ｐ１からの変位が既知としたとき、順番に点Ｐ１の空間座標、点Ｐ２の空間座標を求めることで、点Ｐ２の画像上の対応点ｐ２の画像座標を求めることができる。座標変換手段１８の射影変換に必要なデータは、信号処理の開始以前に求めておく。射影変換に必要なデータは、画像入力手段１１が画像を取得するカメラの空間座標での位置と方向と焦点距離Ｆあるいは、座標のわかっている空間と画像の６点以上の対応点から求めることができる。あるいは設計情報のような近似的な手段を用いて、射影変換に必要なデータを求めてもよい。
【００２８】
図１において末尾候補検出手段１３は図６のフローにより、図１３（ａ）のように車両の形状に直方体モデル４０を当てはめたときに末尾の辺４１に相当する末尾候補の水平エッジを、水平エッジ２０の中から検出する。図６を説明すると末尾候補検出手段１３は水平エッジ２０をループで変えながら（Ｓ１２０〜Ｓ１２７）、まず水平エッジ２０［Ｉ］の左右の端が画像上において車線１の範囲内であるかを判定する（Ｓ１２１）。Ｓ１２１の判定がＹであれば、水平エッジ［Ｉ］のＺ座標を０ｍと仮定したときの左右端の画像座標から、図３（ｃ）に示す座標変換手段１８の座標変換によって水平エッジ２０［Ｉ］の空間中の幅を求めて（Ｓ１２１）、Ｓ１２１の幅が最低車幅を考慮したしきい値以上であれば（Ｓ１２３）、Ｓ１２３の条件を満たす水平エッジ２０のうち最も下側のものが末尾候補となるように、末尾候補が未登録の場合や（Ｓ１２４でＹ）、登録済みの末尾候補よりも水平エッジ［Ｉ］が画像上において下側のときに（Ｓ１２４でＮ、Ｓ１２５でＹ）、水平エッジ２０［Ｉ］を末尾候補に登録する（Ｓ１２６）。図７（ｂ）は末尾候補検出手段１３が末尾候補２１を抽出した例であり、末尾候補２１は図７（ｃ）において中型バス２のバンパーに相当した水平エッジ２０ａと一致している。
【００２９】
図１において車高車長範囲推定手段１４は、末尾候補２１の空間座標での幅Ｗに応じて車高Ｈと車長Ｌの範囲を推定する。ここで図８は１ＢＯＸ，ＲＶ，セダン，スポーツカー，コンパクト，軽自動車，軽トラック，小型トラック，中型トラック，中型トラック、大型トラックのように種々の車両の車幅Ｗ，車高Ｈ，車長Ｌのサンプルを一覧したものである。図８において車幅Ｗが最も狭い軽自動車は、車高Ｈも車長Ｌも最小であることがわかる。一方、軽トラックの車幅は軽自動車と同じであるが、軽トラックの車高はセダンやコンパクトカーよりも高く１ＢＯＸと同程度である。よって、図８より車幅Ｗ，車高Ｈ，車長Ｌの間には相関関係があること、また相関関係は一意で無く分布幅を持つことがわかる。図９（ａ）や図９（ｂ）は図８のデータから求めた車高Ｈ／車幅Ｗ，車長Ｌ／車幅Ｗの比率のグラフであり、車幅Ｗを問わず車高Ｈ／車幅Ｗは下限αから上限β，車長Ｌ／車幅Ｗは下限μから上限νの範囲に分布することがわかる。よって、車幅Ｗが既知のときには車高は（数１）の範囲となり車長は（数２）の範囲となる。車高車長範囲推定手段１４は末尾候補２１の空間での幅Ｗを、末尾候補のＺ座標を０ｍと仮定したときの左右端の画像座標から、図３（ｃ）に示す座標変換手段１８の処理により求める。車高車長範囲推定手段１４は末尾候補２１の空間での幅Ｗと（数１）と（数２）により、直方体モデルの車高Ｈ、車長Ｌの範囲を推定する。
【００３０】
【数４】
【００３１】
【数５】
【００３２】
ペアエッジ検出手段１５は図１０と図１１のフローによって末尾候補２１が車両の直方体モデル４０の末尾の辺４１に対応すると仮定したときに、直方体モデル４０の背面上の辺４２および屋根前の辺４３に対応する水平エッジを検出する。
【００３３】
ペアエッジ検出手段１５はまず図１０（ａ）に示すフローによって、画像上における背面上の辺４２の存在範囲を求める。図１０（ａ）のいてペアエッジ検出手段１５は末尾候補２１のＺを０ｍと置いたときに空間中において末尾候補の中央に対応する点Ｐの座標（Ｓ１５０）、点ＰからＺ軸方向に車高の下限αＷだけ離れた点Ｐαの空間座標（Ｓ１５１）、点Ｐαの画像上の対応点ｐαの画像ｙ座標ｙαを求める（Ｓ１５２）。同様に、点ＰからＺ軸方向に車高の上限βＷだけ離れた点Ｐβの空間座標（Ｓ１５３）および点Ｐβの画像上の対応点ｐβの画像ｙ座標ｙβを求める（Ｓ１５４）。そして、背面上の辺４２の画像ｙ座標は［ｙα，ｙβ］にあるとみなす。次にペアエッジ検出手段１５は図１０（ｂ）に示すフローによって、画像上における屋根前の辺４２存在範囲を求める。ペアエッジ検出手段１５は、Ｓ１５０の点ＰからＺ軸方向に車高の下限αＷかつＹ軸方向に車長の下限μＷだけ移動した点Ｐμの空間座標（Ｓ１５５）から点Ｐμの画像上の対応点ｐμの画像ｙ座標ｙμを計算する（Ｓ１５６）とともに、点ＰからＺ軸方向に車高の上限βＷかつＹ軸方向に車長の上限νＷだけ移動した点Ｐνの空間座標（Ｓ１５７）から画像上の対応点ｐνの画像ｙ座標ｙνを求め（Ｓ１５８）、屋根前の辺４３の画像ｙ座標は［ｙμ，ｙν］にあるとみなす。
【００３４】
次に、ペアエッジ検出手段１５は図１１に示すフローにより、水平エッジ２０の中から（Ｓ１３０からＳ１３５）、ｙ座標が図１０（ａ）のフローで求めた背面上の辺４２の範囲にあり（Ｓ１３１でＹ）かつ図１２（ａ）に図示する水平エッジ２０と末尾候補２１の画像ｘ軸方向の重なり３０が所定のしき値Ｔ以上ならば（Ｓ１３２でＹ）、水平エッジ２０［Ｉ］を背面上の辺に相当する背面上ペアみなし、背面上ペアのフラグを１にする（Ｓ１３３）。また、背面上ペアの条件を満たす水平エッジ２０［Ｉ］のうち、画像上において一番上にあるものを更新する（Ｓ１３４）。なお、Ｓ１３２の判定のしきい値Ｔは、サイドのピラーが傾いたセダン車やまるみを帯びた車両のように、実際の車両の形状が直方体モデルからずれる分および水平エッジ２０の端が撮像系のノイズや照明変動により欠落することを考慮して、末尾候補２１の幅に１より小さく０より大きな所定の比率を乗じて求める。
【００３５】
図７（ｄ）は背面上ペアの抽出の一例であり、２５は図１０（ａ）のフローで求めた背面上の辺４２の画像ｙ座標の範囲、２２は背面上ペアである。背面上ペア２２は、図５（ｂ）において屋根と背面の境界に対応した水平エッジ２２ｅおよびリアガラス窓枠の上端に対応した水平エッジ２０ｆと一致している。
【００３６】
Ｓ１３５の後ペアエッジ検出手段１５は水平エッジ２０の中から（Ｓ１４０からＳ１４５）、ｙ座標が図１０（ｂ）で求めた屋根前の辺４３の範囲にあるときには（Ｓ１４１でＹ）、水平エッジ２０［Ｉ］を道路Ｙ軸方向に沿って背面上の辺４２まで移動したときに画像ｘ軸方向の重なりがしきい値Ｔ以上であれば（Ｓ１４２でＹ）、水平エッジ２０［Ｉ］を屋根前の辺４３に相当した水平エッジとして屋根前ペアのフラグを１にする（Ｓ１４３）。Ｓ１４２のしきい値Ｔは、Ｓ１３２のしきい値Ｔと同一である。また、屋根前ペアの条件を満たす水平エッジ２０［Ｉ］のうち、画像上において一番上にあるものを更新する（Ｓ１４４）。
【００３７】
図１２（ｂ）を用いてＳ１４２を補足すると、２５は背面上の辺４３の画像ｙ座標の範囲である。３２および３３は図１３（ａ）に示す直方体モデル４０の屋根の左右の辺４５および４６に相当する直線であり、水平エッジ２０［Ｉ］の左端および右端を通る点ｌの空間での対応点のＺ座標を近似的に（数１）の下限と（数２）の上限の平均（α＋β）／２×Ｗとしたときの空間中の対応する点Ｌおよび点Ｒを通り空間Ｙ軸方向と平行な直線の座標変換手段１８による画像上の像である。３５は点ｌおよび点ｒを直線３２に沿って同一ｙ座標に移動した点ｍおよび点ｎを結ぶ線分、３１は末尾候補２１と線分３５の画像ｘ軸方向の重なりである。Ｓ１４２では車高が正確にはわからないものとして範囲２５内でｙ座標を変えながら線分３５および重なり３１を求め、重なり３１の最大値がしきい値Ｔを超えれば、判定をＹとする。図７（ｅ）は屋根前ペアの抽出の一例であり、２６は図１０（ｂ）のフローで求めた屋根前の辺４３の画像ｙ座標の範囲、２３は屋根前ペアである。屋根前ペア２３は、図５（ｂ）において中型バス２の屋根の前端に対応した水平エッジ２０ｇと一致している。
【００３８】
ペアエッジ検出手段１５はＳ１３３およびＳ１４４で背面上ペアのフラグおよび屋根前のフラグが１になったときには、末尾候補２１，背面上ペア２２，屋根前ペア２３の３つの水平エッジ２０が直方体モデル４０に適合するとして、図１３（ｂ）のように末尾候補２１，背面上ペア２２，屋根前ペア２３を３辺とする直方体モデル４０を車両の領域とする。なお、背面上ペア２２あるいは屋根前ペア２３が複数ある場合には、Ｓ１３４あるいはＳ１４４で求めた画像上で一番上にある背面上ペア２２および屋根前ペア２３を直方体モデル４０の辺とする。以上説明した処理によってペアエッジ検出手段１５、中型バス２の周囲のバン３やセダン車４の水平エッジ２０、および中型バス２の内部の水平エッジ２０の影響を受けることなく、頑強に中型バス２に適合した直方体モデル４０を抽出することができる。
【００３９】
図１４（ａ）は第２車線を対象としたときの検知領域１内の映像であり、検知領域１にはセダン車４および第１車線からはみ出した中型バス２が存在している。図１４（ａ）において、セダン車３の側面は第１車線からはみ出した中型バス２により遮蔽されている。図１４（ｂ）は図１４（ａ）から１２，１３，１４，１５の機能により抽出した結果であり、水平エッジ２０，末尾候補２１，背面上の辺４２の画像ｙ座標の範囲２５，背面上ペア２２を示している。図１４（ｃ）は図１４（ａ）から１４，１５の機能により抽出した結果であり、屋根前の辺４３の画像ｙ座標の範囲２６，屋根前ペア２３を示している。図１４（ｄ）は図１４（ａ）から抽出した末尾候補２１，背面上ペア２２，屋根前ペア２３により構成する直方体モデル４０を示している。図１４（ｂ）と図１４（ｃ）はセダン車４より抽出された末尾候補２２の幅に応じた範囲から背面上ペア２２および屋根前ペア２３が抽出された例、図１４（ｄ）より第１車線からはみ出した中型バス２の水平エッジ２０の影響を受けず、セダン車４の直方体モデル４０が抽出された例を示している。
【００４０】
ペアエッジ検出手段１５が直方体モデル４０を抽出したとき、車両追跡手段１６の追跡処理を開始する。図１５は車両追跡手段１６のフローである。車両追跡手段１６は、まずペアエッジ検出手段１５が抽出した直方体モデル４０の末尾の辺４２の中心位置を追跡体の初期位置として求める（Ｓ２０１）。次に、画像入力手段１１の画像からＳ２０１の初期位置付近を切り取って初期の追跡テンプレートとする（Ｓ２０２）。追跡テンプレートの大きさは〔特許文献３〕に開示されているように、当該画像の切り出し位置における車線の幅に比例して定めることができる。Ｓ２０２で初期のテンプレートを設定した次のフレームでは、Ｓ２０２にて切り取ったテンプレート内の画像の次のフレームの画像における照合位置を特許文献３に開示されているように正規化相関演算によりパタン照合により探索する（Ｓ２０３）。パタン照合により該当領域がある場合（Ｓ２０４でＹ）は、Ｓ２０３で照合したテンプレートの中心から追跡体の位置を求めた後（Ｓ２０５）、次フレームの画像からＳ２０５で更新した追跡体の位置付近の画像を切り出すことによりテンプレートを更新する（Ｓ２０６）。追跡テンプレートの更新後は処理周期ごとにＳ２０３の処理に戻り、Ｓ２０３はＳ２０６で更新したテンプレートの次フレームでの照合処理を繰り返す。パタン照合により該当領域がない場合は（Ｓ２０４でＮ）、追跡テンプレートの最終座標を求めて（Ｓ２０７）追跡を終了する（Ｓ２０８）。
【００４１】
なお、車両追跡手段１６のＳ２０３のパタン照合は、前記の正規化相関のほか、絶対差分のようなほかの類似度、差分の演算を使っても同様の効果が得られる。また、車両追跡手段１６は図１５に示したフロー以外でも、Ｓ２０１，Ｓ２０２，Ｓ２０４，Ｓ２０５，Ｓ２０７の処理を有する任意の追跡手法を適用しても、同様の効果を得ることができる。
【００４２】
交通指標計算手段１７は画像上におけるＳ２０１の座標、Ｓ２０７の座標から、図３（ｂ）に示す座標変換手段１８の処理によって、Ｓ２０１の座標の点とＳ２０７の座標の点の空間での対応点のＺ座標を０ｍとしたときの座標をそれぞれ求めて、２時刻のＹ座標の移動量とＳ２０１の時刻とＳ２０７の時刻の差から速度を計測する。交通指標計算手段１７は、所定周期毎に追跡が終了した追跡体の数の合計から台数、前記計測した速度の平均から平均速度を計算する。なお、交通指標計算手段１７は前記速度の計測において、Ｓ１０１の座標と時刻の変わりに、追跡途中のＳ２０５の時刻を用いても同様の効果が得られる。
【００４３】
本発明の実施例１では以上説明した機能構成により、混雑した交通でも車両の大きさを問わず個別の車両を精度よく抽出し、台数と速度を計測することが可能になる。
【実施例２】
【００４４】
図１６は本発明の実施例２の機能構成の概略を示すブロック図である。図１６において、１６の機能を除いた１１，１２，１３，１４，１５，１７，１８，１９の各機能は図１に示した実施例１と同様の機能を果たす。図１６において車両追跡手段１６は、実施例１の車両追跡手段１６の機能に加えてペアエッジ検出手段１５が検出した直方体モデル４０のデータを追跡体と組にして保持する機能を持つ。
【００４５】
図１６において包含手段１０は、図１７にフローを示す処理を行う。図１８（ａ）と図１８（ｂ）は、包含手段１０を説明する図であり、図１８（ａ）は時刻ｔのフレームにて、バン３の末尾が検知領域１内に進入するより前に、誤ってリアウインドの下端を末尾の辺４１として直方体モデル４０ａを抽出した例を示している。図１８（ａ）において、５１はＳ２０２で求めた追跡体の初期位置である。図１８（ｂ）において、５２は時刻ｔ＋Δｔにおいて更新された追跡体の位置であり、５０は追跡位置５１から追跡位置５２への変位と同じだけ直方体モデル４０ａを移動した直方体モデルである（Ｓ１５１）。包含手段１０は、直方体モデル４１が直方体モデル４０の内部にある場合には（Ｓ１５２でＹ）追跡体５２の追跡を中断して交通指標計算手段１７の対象外とする（Ｓ１５３）。包含手段１０は、Ｓ１５１，Ｓ１５２，Ｓ１５３の処理を、車両追跡手段１６内の追跡体の数だけ繰り返す（Ｓ１５０，Ｓ１５４）。
【００４６】
実施例２では包含手段１０により、末尾候補検出手段１３やペアエッジ検出手段１５の誤判定により車両内部の局所的なエッジから直方体モデル４０を抽出してしまった場合でも、以降の時刻で車両全体をとらえた直方体モデル４０を抽出することによって追跡を中断することで、実施例１以上に高い台数や速度の計測精度を実現する。
【実施例３】
【００４７】
図１９は本発明の実施例３の機能構成の概略を示すブロック図である。図１９において、１０と１６の機能を除いた１１，１２，１３，１４，１５，１７，１８，１９の各機能は実施例１と同様の機能を果たす。
【００４８】
図１９において、追加検知手段９は画像入力手段１１が取り込んだ画像を入力として、本発明以外の方式により車両を検知し、追跡の初期位置を計算する。追加検知手段９の車両検知方式は〔特許文献３〕をはじめとして任意である。また、追加検知手段９の数は１つ以上の複数であってよい。
【００４９】
図１９において、車両追跡手段１６は車両を検知したのがペアエッジ検出手段１５であれば直方体モデル４０のデータを追跡体と組にして保持し、車両を検知したのが追加検知手段９であれば直方体モデル４０のデータ空にする。
【００５０】
図１９において包含手段１０は図２０のフローに従い、追跡体が直方体モデル４０のデータを持つ場合には（Ｓ１６１でＹ）、実施例２の包含手段１０と同様にＳ１５１，Ｓ１５２，Ｓ１５３の処理を行う。直方体モデル４０のデータを持たない場合には（Ｓ１６１でＹ）、図２１（ａ）に示すように時刻ｔ＋Δｔにおける追跡体の位置５２の近傍領域６０を求め（Ｓ１６２）、近傍領域６０が時刻ｔで検知した直方体モデル４０の内部にあれば（Ｓ１６２でＹ）追跡を中断する（Ｓ１５３）。近傍領域６０はＳ２０５で求めるテンプレートの領域で求めることができる。近傍領域６０は他にも、図２１（ｂ）のように追跡位置５２付近の時刻ｔ＋Δｔの水平エッジ２０（図２１（ｂ）において２０ｈ，２０ｉ，２０ｊ）の外接矩形６２で求めてもよい。あるいは、近傍領域６０は追加検知手段９で特定した車両の領域に応じて定めてもよい。
【００５１】
実施例３では、追加検知手段９に直方体モデル４０の抽出が困難な状況でも良好に検知する車両の検知方式を導入することで、広い環境条件をカバーして車両を検知することができる。また、直方体モデル４０が良好に動作する環境下では、追加検知手段９が車両の背面や屋根を検知した場合あるいはペアエッジ検出手段１５と同一箇所を検知した場合でも、包含手段１０により余分な追跡テンプレートの追跡を中断することで台数と速度を良好に計測することができる。
【００５２】
例えば〔特許文献４〕に開示されたのテールランプを検知する検知方式のように、コントラストが極端に低くて水平エッジ２０の検出が困難な夜間の環境条件でも良好に検知する車両検知の方式を導入すれば、夜間をカバーすると共に混雑時において台数および速度の計測精度が良好な交通流計測が可能になる。
【実施例４】
【００５３】
実施例４の装置構成は、図１の機能構成において、１４と１５の機能を除いた１１，１２，１３，１６，１７，１８は実施例１と同一である。
【００５４】
実施例４の車高車長範囲推定手段１４は、図２２（ａ）に示すように車高Ｈ／車幅Ｗの下限を曲線Ｆα、上限を曲線Ｆβで保持し、図３（ｂ）に示すように座標変換手段１８が計算する末尾候補２１のＺ座標を０ｍとしたときの空間での幅Ｗ毎に（数３）および（数４）を用いて車高Ｈ／車幅Ｗの上限αおよび下限βを計算する。同様に前記末尾候補２１のＺ座標を０ｍとしたときの空間での幅Ｗ毎に、（数５）および（数６）を用いて車長Ｌ／車幅Ｗの上限νおよび下限μを計算する。実施例４のペアエッジ検出手段１５では、Ｓ１３１，Ｓ１４１，Ｓ１４２，Ｓ１５１，Ｓ１５２，Ｓ１５３，Ｓ１５４，Ｓ１５５，Ｓ１５６の各処理にて、（数３）および（数４）および（数５）および（数６）の関数で求めたαおよびβおよびνおよびμを用いる。
【００５５】
【数６】
【００５６】
【数７】
【００５７】
【数８】
【００５８】
【数９】
【００５９】
図２２（ａ）および図２３（ｂ）の曲線は車幅Ｗを適当な刻みで離散化したときに（Ｗi＝Ｗ1，Ｗ2，Ｗ3…、離散化した各Ｗiの区間［Ｗi，Ｗi+1］内の車幅をもつ車両を図８のような一覧データから全て抽出したときの車高Ｈ／車幅Ｗ，車高Ｌ／車幅Ｗの上限，下限それぞれを、Ｗiを網羅的に換えて計算することで取得できる。なお、Ｗiの区間に一つも車両がない場合には、前後区間Ｗi-1，Ｗi+1の平均により取得する。また、以上の手順で求めた曲線ＦαおよびＦβおよびＦνおよびＦμを平滑などのフィルタ処理をしてもよい。以上の曲線ＦαおよびＦβおよびＦνおよびＦμの求め方は一例であり、スプライン曲線のように他の方法で求めても同様の効果が得られる。
【００６０】
ここで図２２（ａ）および図２２（ｂ）をみると、車高Ｈ／車幅Ｗと車長Ｌ／車幅Ｗの上限，下限ともに、車幅Ｗに応じて異なることがわかる。特に、図２２（ｂ）に着目すると、車長Ｌ／車幅Ｗの比率は車幅Ｗが大きなものほど上限Ｆν（Ｗ），下限Ｆμ（Ｗ）ともに高くなること、また上限Ｆν（Ｗ）と下限Ｆμ（Ｗ）の差が大きくなることがわかる。実施例４では実施例１と比べると、ＦαおよびＦβおよびＦνおよびＦμの４曲線を作成する手間がかかるが、車幅Ｗに応じて最適なペアエッジ検出手段１５の背面上ペア２２および屋根前ペア２３の範囲２５および２６を計算することで、ペアエッジ検出手段１５が抽出する直方体モデル４０の精度を向上できる。
【００６１】
なお実施例４の車高車長範囲推定手段１４を、図１６に示す実施例２および図１９に示す実施例３の機能構成に置き換えることで、実施例１と同様にペアエッジ検出手段１５が抽出する直方体モデル４０の精度を向上できる。
【００６２】
図１および図１６および図１９において、交通流ＤＢ（ＤＢはデータベースの略記）１９は、９，１０，１１，１２，１３，１４，１５，１６，１７，１８の各機能と図示しない線により接続され、各機能が信号処理に必要なデータを保持する（なお略記したが、図１には９と１０、図１６には９の機能は存在しない）。
【００６３】
実施例１あるいは実施例２あるいは実施例３あるいは実施例４において、９，１０，１１，１２，１３，１４，１５，１６，１７，１８，１９の各機能は路側に設置された計算機上の信号処理にて実現される。あるいは、路側のカメラを伝送するネットワークあるいはカメラの映像を記録した記憶媒体と接続された計算機上の信号処理にて実現される。
【００６４】
なお、実施例１の説明において画像入力手段１１が取り込んだ画像の例として、図４に画像上を下から上の向きに進む車両を後方から撮影した画像を示したが、車両を前面から撮影した場合でも車両の輪郭や車両の屋根とフロントガラス窓枠との間の境界線といった内部に水平方向の濃度勾配が生じることおよび、車両の進行方向を画像上の上から下としても画像上の車両付近はフレーム間で速度に応じた範囲が明度変化することより、水平エッジ検出手段１２は図５のフローにより同様の水平エッジ２０を抽出できる。よって、実施例１および実施例２および実施例３および実施例４は、車両の撮影方向や進行方向によらず同様の効果を発揮できる。
【産業上の利用可能性】
【００６５】
本発明は俯瞰したカメラの画像から車両を検知，追跡する用途に広く一般に適用することができる。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施例１のブロック図。
【図２】座標変換手段１８の処理の説明。
【図３】車両後部絞込み手段の処理画面の例。
【図４】路上カメラにより撮影した画像の例。
【図５】水平エッジ検出手段１２のフロー。
【図６】末尾候補検出手段１３のフロー。
【図７】水平エッジの検出の例。
【図８】車幅，車高，車長の表の例。
【図９】車高／車幅，車長／車幅の分布グラフ。
【図１０】実施例１において車幅から車高の範囲，車幅から車長の範囲を推定するフロー。
【図１１】ペアエッジ検出手段１５のフロー。
【図１２】ペアエッジ検出手段１５のフローにおける水平エッジ２０の重なりを説明する図。
【図１３】（ａ）画像中の車両に直方体モデル４０を当てはめた例および（ｂ）水平エッジ２０に直方体モデル４０を当てはめた例。
【図１４】画像中の車両から水平エッジ２０および直方体モデル４０を抽出したもうひとつの例。
【図１５】車両追跡手段の処理１６フロー。
【図１６】本発明の実施例２のブロック図。
【図１７】本発明の実施例２の包含手段１０のフロー。
【図１８】本発明の実施例２の包含手段１０を説明する図。
【図１９】本発明の実施例３のブロック図。
【図２０】本発明の実施例３の包含手段１０のフロー。
【図２１】本発明の実施例３の包含手段１０を説明する図。
【図２２】本発明の実施例４車高車長範囲推定手段１４を説明する図。
【図２３】速度計測の誤差を説明する図。
【符号の説明】
【００６７】
１１ 画像入力手段
１２ 水平エッジ検出手段
１３ 末尾候補検出手段
１４ 車高車長範囲推定手段
１５ ペアエッジ検出手段
１６ 車両追跡手段
１７ 交通指標計算手段
１８ 座標変換手段
２０ 水平エッジ
２１ 末尾候補
２２ 背面上ペア
２３ 屋根前ペア
４０ 直方体モデル
【技術分野】
【０００１】
本発明は路上の車両を検出および追跡して台数や速度などを計測する交通量計測装置及びプログラムに関するものである。
【背景技術】
【０００２】
路上の支柱に設置したカメラで道路および車両を俯瞰した動画を撮影し、撮影した動画を画像処理することにより、車両を検知後に追跡して車線毎の通過台数と速度を計測する交通量計測装置が知られている。カメラ画面内で検出した車両は前記カメラのカメラパラメータたとえば、カメラの高さ，ピッチ角（俯角），ロール角（前記カメラのレンズ光軸を軸とした回転角），ヨー角（道路方向とカメラの向きの偏角），焦点距離（カメラのズーム率に関する）等を反映した射影変換によって、画像上の車両の検知位置や移動量を空間中の座標系に変換することで通行車線の判定と通過速度を計測している。なお、画像の座標系が２次元に対して空間の座標系は３次元なので、画像から道路への座標変換は一定の想定条件、例えば画像上における車両の追跡位置の高さを０ｍとおく。
【０００３】
交通量計測装置の開示技術のうち〔特許文献１〕では、車両の前後の輪郭や、車両の屋根とフロントガラスやリアガラスの窓枠との間の境界線といった部分に出現する水平方向のエッジの並びを車両の特徴として、画像を小ブロック単位で格子分割したときに移動領域の水平方向のエッジがしきい値を超過したブロックの連結領域を車両として検出する技術が開示されている。また〔特許文献２〕では、車線毎の車両の見え方や車両の形状のバリエーションを一つの分布モデルで代表し、背景画像と撮影画像との差分領域と分布モデルとの畳み込み演算によって個々の車両を検知する技術が開示されている。
【０００４】
【特許文献１】特開２００２−３２７４７号公報
【特許文献２】特開２００１−１１８１８２号公報
【特許文献３】特開３４３５６２３号公報
【特許文献４】特開２００１−６０８９広報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
〔特許文献１〕では水平方向のエッジの密度が高い小ブロックの連結領域を車両とするため、隣接する車線の左右の車両や同一車線上の前後の車両が見かけ上重なる場合には、個別の車両を検知することが困難である。図４は路側に立てた支柱に設置のカメラにより道路を俯瞰した画像の例であり、画像において下から上に進む車両を背面から撮影している。図４において、第１車線には手前から中型バス２とバン３、第２車線にはセダン車３が走行している。図４において第２車線の計測において中型バス２のはみ出しとセダン車３が見かけ上重なるので、特許文献１の技術では正確に個別の車両を検知することが困難であり、正確な台数を計測することができないという第１の課題がある。
【０００６】
また〔特許文献１〕では水平方向のエッジの密度が高い小ブロックの連結領域を車両とするため、貨物を積んだ大型車のように屋根および背面に複雑な模様がある車両の屋根および背面のエッジを誤検知することを抑止することが困難という第２の課題がある。前記のように屋根および背面のエッジを検知、追跡したときには、交通流計測装置の速度の精度が低下する。
【０００７】
図２３を用いて車両の屋根および背面を追跡した場合に速度が低下することを説明する。図２３において、８０はカメラ、ＶＰはカメラの視点、８５は時刻ｔにおける車両、８１は車両８５の末尾の追跡位置、８２はＶＰと８１を通る直線と地平面の交点、９５は時刻ｔ＋Δｔにおける車両、９１は車両９５の末尾の追跡位置、９２はＶＰと９１を通る直線と地平面の交点である。時刻ｔから時刻ｔ＋Δｔの間の８１から９１への空間での移動量はＬｔ、追跡位置を高さ０ｍと置いたときの８１から９１への見かけ上の移動量はＬａである。８１および９１の高さは０ｍに近いのでＬａとＬｔの差は小さく、時刻差Δｔで移動量を除算した８１の見かけ上の速度Ｌａ／Δｔは実際の速度Ｌｔ／Δｔに近く精度は高い。
【０００８】
一方、図２３において８３は時刻ｔにおける車両８５の屋根付近の追跡位置、８４はＶＰと８３を通る直線と地平面の交点、９３は時刻ｔ＋Δｔにおける車両９５の屋根付近の追跡位置、９２はＶＰと９１を通る直線と地平面の交点、Ｈは８３と９３の高さ、θはＶＰと８３および８４を結ぶ直線と鉛直方向とが成す俯角、θ＋ΔθはＶＰと９３および９４を結ぶ直線と鉛直方向とが成す俯角である。車両８５および９５の高さにより、８４は８３よりも（数７）だけ前方にあり、９４は９３よりも（数８）だけ前方にある。よって、追跡位置を高さ０ｍと置いたときの８３から９３への見かけの移動量Ｌｂは、実際の移動量Ｌｔよりも（数９）だけ多くなる。時刻差Δｔで移動量を除算した８３の見かけ上の速度Ｌｂ／Δｔは実際の速度Ｌｔ／Δｔよりも、（数９）をΔｔで除した分だけ過剰となり精度が低くなる。（数９）はＨの比例があるので、追跡位置８３が車高の高い車両をとらえるほど見かけの速度は誤差が大きくなることがわかる。
【０００９】
【数１】
【００１０】
【数２】
【００１１】
【数３】
【００１２】
〔特許文献２〕では反映した分布モデルを用いて車両を検知するので、隣接する車線の車両の重なりを誤検知したり車両の屋根や背面を誤検知することは抑止されるが、大型車から普通車までの形状を１つの分布モデルで代表するため、画像上で前後の車両が重なる場合には、個別の車両を検知することが困難という課題がある。車両の大型車の車長の範囲は６ｍ程度から１２ｍであり、一方普通車の車長の範囲は３ｍ程度から５ｍ程度と車両のサイズには大きなばらつきがあるので、図４のようにバン３と中型バス２とが同一車線を近い距離で走行する時には、２台の車両を１台の大型車両と誤って検知してしまうことの抑止が困難という第３の課題がある。
【００１３】
以上述べた第１の課題と第２の課題と第３の課題は、画像上における車両の密度が高くなる混雑時において顕著に現れる。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明の交通流計測装置は、路上のカメラの撮影画像を取得する画像入力手段と、画像座標と道路座標を変換する座標変換手段と画像中の水平エッジを抽出する水平エッジ検出手段と、車両の形状をあらわす直方体モデルの末尾にあたる水平エッジを検出する末尾候補検出手段と、車幅に応じて車高と車長を推定する車高車長範囲推定手段と、末尾候補の水平エッジの幅に応じた画像上の範囲から直方体モデルの背面上と屋根前の辺に当たる水平エッジを検出するペアエッジ検出手段と車両を追跡する車両追跡手段と、交通指標を計測する交通指標計算手段から構成されることを特徴とするものである。
【００１５】
更に、上記課題を解決するために、本発明の交通流計測装置及びプログラムは、路上のカメラの撮影画像から抽出した水平エッジのうち車幅に相当した水平エッジを直方体モデルの末尾の辺と仮定したときに、直方体の背面上の辺と屋根前の辺に相当するエッジが、水平エッジの幅から換算した車幅と、車幅から推定した車高および車長の範囲に応じた画像上の範囲から検出されることを条件に車両を検知し追跡することを特徴とするものである。
【００１６】
また、上記課題を解決するために、本発明は交通流計測装置およびプログラムにおいて、車高および車長の範囲を車幅と車高および車長の比率の上限ならびに下限から求めることを特徴とするものである。
【００１７】
また、上記課題を解決するために、本発明は交通流計測装置およびプログラムにおいて、車高および車長の範囲を車幅と車高および車長の比率の上限ならびに下限の特性曲線から求めることを特徴とするものである。
【００１８】
また、上記課題を解決するために、本発明は交通流計測装置およびプログラムにおいて、現時刻以前に抽出した直方体モデルの現時刻における領域を求めて、現時刻に抽出した直方体モデルが前記現時刻以前に抽出した直方体モデルの現時刻における領域を包含する場合には現時刻以前に抽出した直方体モデルの追跡を中断することを特徴とするものである。
【００１９】
また、上記課題を解決するために、本発明は交通流計測装置およびプログラムにおいて、任意の車両検知手段が同時に動作し、前記任意の車両検知手段の現時刻における領域が直方体モデルの内部にあれば、前記任意の車両検知手段の検知による追跡を中断することを特徴とするものである。
【発明の効果】
【００２０】
本発明の交通流計測システム及びプログラムによれば、車両の密度が高い混雑交通でも、台数と速度を高い精度で計測することが実現出来る。
【発明を実施するための最良の形態】
【００２１】
以下、本発明にかかる交通流計測システムの具体的な実施形態について、図面を参照しながら説明する。なお、本実施形態では、車両の一例として自動車を挙げて説明を行うが発明にかかる「車両」とは自動車に限定されず、路上を走行するあらゆる種類の移動体を含む。
【実施例１】
【００２２】
図１は、本発明の実施例１の機能構成の概略を示すブロック図である。以下の説明において、実施例１の機能構成は最も手前の第１車線を対象としたときの機能を述べるが、第１車線の処理を他の車線にも同様の処理を繰り返し適用することで本発明は複数の車線を対象とすることができる。
【００２３】
図１において、画像入力手段１１は路上のカメラの撮影映像あるいは路上のカメラの録画映像を利用することができ、毎秒６０フレームから５フレーム程度のフレームレートで道路の画像を取り込んで、車両後部絞込み手段１２および車両追跡手段１６に出力する。
【００２４】
図４は、画像入力手段１１が取り込んだ画像の一例であり、１は画像下部に設けた検知領域である。検知領域１は、少なくとも建築限界に定められた最大車幅，最大車高，最大車長の車両が領域内に収まるように設定する。
【００２５】
なお画像入力手段１１が取り込む画像が全体として傾いている場合には、画像入力手段１１が２次元の回転変換等により画像全体あるいは検知領域１付近の車両の水平部が画像上において水平に近づく攻勢をとってもよい。
【００２６】
図１において水平エッジ検出手段は図５のフローに従い、検知領域３１内の画像を水平方向のソーベルフィルタにより水平方向の濃度勾配を求めた後に（Ｓ１０１）、求めた濃度勾配を所定のしきい値で２値化する（Ｓ１０２）。次に、履歴フレームの画像と現フレームの検知領域１内の画像のフレーム差分を求めた後に（Ｓ１０３）、求めたフレーム差分を所定のしきい値で２値化する（Ｓ１０４）。なお、次フレーム以降の処理のために、履歴フレームの画像を保持するバッファの内容を更新しておく。次に、Ｓ１０２の２値画像とＳ１０４の２値画像のＡＮＤ演算を取った水平エッジを出力する（Ｓ１０３）。画像入力手段１１の画像において車両の部分には、車両の前後の輪郭や車両の屋根とフロントガラスやリアガラスの窓枠との間の境界線といった内部の水平部分に水平方向の濃度勾配が生じることと、画像上の車両付近はフレーム間で速度に応じた範囲が明度変化することより、Ｓ１０３の水平エッジは車両の輪郭や水平部位に集中する。図５（ａ）は図４の画像のうち第１車線の検知領域１の画像を示し、図５（ｂ）において２０は水平エッジ検出手段１２が検出した水平エッジの例を示している。水平エッジ２０のうち、２０ａは中型バス２のバンパー、２０ｂと２０ｃは中型バス２の左右のライト、２０ｄと２０ｅは中型バス２のリアガラス窓枠の上端と下端、２０ｆは中型バス２の屋根と背面の境界、２０ｇは中型バス２の屋根の前端に相当している。
【００２７】
図１において座標変換手段１８は画像座標と道路座標を相互に変換する。図２は座標変換手段１８が前提とするピンホールカメラのモデル図であり、ＶＰはカメラの視点であり、距離ＦはＶＰと画像面の焦点距離である。なお、現実にはカメラの高さは路上から数メートルで、焦点距離Ｆは数十ミリメートルであるが、説明のためにデフォルメされている。図２において画像の座標系は画像の右向きにｘ軸、画像の上向きにｙ軸、画像中心を原点ｏに持つ。図２において、空間の座標系は、道路横断方向にＸ軸、道路進行方向にＹ軸、鉛直上向きにＺ軸、ＶＰと点ｏを通る直線と地上面との交点Ｏを原点に持つ。空間中の任意の点Ｐに対応する画像上の点ｐは、点ＰとＶＰとを結ぶ直線と画像面との交点となる。座標変換手段１８は、図３（ａ）のように公知の射影変換により空間中の任意の点Ｐの座標（Ｘ，Ｙ，Ｚ）に対応する画像上の点ｐの座標（ｘ，ｙ）を計算する。射影変換では画像上の点ｐに対応した道路中の点はＶＰと点ｐとを結ぶ直線上で図２の点Ｐと点Ｐ′との用に不定になるが、図３（ｂ）のように道路中の対応点のＺ（高さ）を指定したときには、画像上の点ｐの座標（ｘ，ｙ）に対応した空間中の点Ｐの座標（Ｘ，Ｙ，Ｚ）を一意に求めることができる。また、座標変換手段１８は図３（ｃ）に示すように、Ｚが共通とおいたときの２つの点ｐ１とｐ２の画像座標から、それぞれの空間中の点Ｐ１とＰ２座標を求めて、２点の空間座標のユークリッド距離から、点ｐ１と点ｐ２の空間での距離を求めることができる。また座標変換手段１８は図３（ｄ）に示すように、点ｐ１の画像座標、点ｐ１の空間の対応点のＺ座標、点Ｐ２の点Ｐ１からの変位が既知としたとき、順番に点Ｐ１の空間座標、点Ｐ２の空間座標を求めることで、点Ｐ２の画像上の対応点ｐ２の画像座標を求めることができる。座標変換手段１８の射影変換に必要なデータは、信号処理の開始以前に求めておく。射影変換に必要なデータは、画像入力手段１１が画像を取得するカメラの空間座標での位置と方向と焦点距離Ｆあるいは、座標のわかっている空間と画像の６点以上の対応点から求めることができる。あるいは設計情報のような近似的な手段を用いて、射影変換に必要なデータを求めてもよい。
【００２８】
図１において末尾候補検出手段１３は図６のフローにより、図１３（ａ）のように車両の形状に直方体モデル４０を当てはめたときに末尾の辺４１に相当する末尾候補の水平エッジを、水平エッジ２０の中から検出する。図６を説明すると末尾候補検出手段１３は水平エッジ２０をループで変えながら（Ｓ１２０〜Ｓ１２７）、まず水平エッジ２０［Ｉ］の左右の端が画像上において車線１の範囲内であるかを判定する（Ｓ１２１）。Ｓ１２１の判定がＹであれば、水平エッジ［Ｉ］のＺ座標を０ｍと仮定したときの左右端の画像座標から、図３（ｃ）に示す座標変換手段１８の座標変換によって水平エッジ２０［Ｉ］の空間中の幅を求めて（Ｓ１２１）、Ｓ１２１の幅が最低車幅を考慮したしきい値以上であれば（Ｓ１２３）、Ｓ１２３の条件を満たす水平エッジ２０のうち最も下側のものが末尾候補となるように、末尾候補が未登録の場合や（Ｓ１２４でＹ）、登録済みの末尾候補よりも水平エッジ［Ｉ］が画像上において下側のときに（Ｓ１２４でＮ、Ｓ１２５でＹ）、水平エッジ２０［Ｉ］を末尾候補に登録する（Ｓ１２６）。図７（ｂ）は末尾候補検出手段１３が末尾候補２１を抽出した例であり、末尾候補２１は図７（ｃ）において中型バス２のバンパーに相当した水平エッジ２０ａと一致している。
【００２９】
図１において車高車長範囲推定手段１４は、末尾候補２１の空間座標での幅Ｗに応じて車高Ｈと車長Ｌの範囲を推定する。ここで図８は１ＢＯＸ，ＲＶ，セダン，スポーツカー，コンパクト，軽自動車，軽トラック，小型トラック，中型トラック，中型トラック、大型トラックのように種々の車両の車幅Ｗ，車高Ｈ，車長Ｌのサンプルを一覧したものである。図８において車幅Ｗが最も狭い軽自動車は、車高Ｈも車長Ｌも最小であることがわかる。一方、軽トラックの車幅は軽自動車と同じであるが、軽トラックの車高はセダンやコンパクトカーよりも高く１ＢＯＸと同程度である。よって、図８より車幅Ｗ，車高Ｈ，車長Ｌの間には相関関係があること、また相関関係は一意で無く分布幅を持つことがわかる。図９（ａ）や図９（ｂ）は図８のデータから求めた車高Ｈ／車幅Ｗ，車長Ｌ／車幅Ｗの比率のグラフであり、車幅Ｗを問わず車高Ｈ／車幅Ｗは下限αから上限β，車長Ｌ／車幅Ｗは下限μから上限νの範囲に分布することがわかる。よって、車幅Ｗが既知のときには車高は（数１）の範囲となり車長は（数２）の範囲となる。車高車長範囲推定手段１４は末尾候補２１の空間での幅Ｗを、末尾候補のＺ座標を０ｍと仮定したときの左右端の画像座標から、図３（ｃ）に示す座標変換手段１８の処理により求める。車高車長範囲推定手段１４は末尾候補２１の空間での幅Ｗと（数１）と（数２）により、直方体モデルの車高Ｈ、車長Ｌの範囲を推定する。
【００３０】
【数４】
【００３１】
【数５】
【００３２】
ペアエッジ検出手段１５は図１０と図１１のフローによって末尾候補２１が車両の直方体モデル４０の末尾の辺４１に対応すると仮定したときに、直方体モデル４０の背面上の辺４２および屋根前の辺４３に対応する水平エッジを検出する。
【００３３】
ペアエッジ検出手段１５はまず図１０（ａ）に示すフローによって、画像上における背面上の辺４２の存在範囲を求める。図１０（ａ）のいてペアエッジ検出手段１５は末尾候補２１のＺを０ｍと置いたときに空間中において末尾候補の中央に対応する点Ｐの座標（Ｓ１５０）、点ＰからＺ軸方向に車高の下限αＷだけ離れた点Ｐαの空間座標（Ｓ１５１）、点Ｐαの画像上の対応点ｐαの画像ｙ座標ｙαを求める（Ｓ１５２）。同様に、点ＰからＺ軸方向に車高の上限βＷだけ離れた点Ｐβの空間座標（Ｓ１５３）および点Ｐβの画像上の対応点ｐβの画像ｙ座標ｙβを求める（Ｓ１５４）。そして、背面上の辺４２の画像ｙ座標は［ｙα，ｙβ］にあるとみなす。次にペアエッジ検出手段１５は図１０（ｂ）に示すフローによって、画像上における屋根前の辺４２存在範囲を求める。ペアエッジ検出手段１５は、Ｓ１５０の点ＰからＺ軸方向に車高の下限αＷかつＹ軸方向に車長の下限μＷだけ移動した点Ｐμの空間座標（Ｓ１５５）から点Ｐμの画像上の対応点ｐμの画像ｙ座標ｙμを計算する（Ｓ１５６）とともに、点ＰからＺ軸方向に車高の上限βＷかつＹ軸方向に車長の上限νＷだけ移動した点Ｐνの空間座標（Ｓ１５７）から画像上の対応点ｐνの画像ｙ座標ｙνを求め（Ｓ１５８）、屋根前の辺４３の画像ｙ座標は［ｙμ，ｙν］にあるとみなす。
【００３４】
次に、ペアエッジ検出手段１５は図１１に示すフローにより、水平エッジ２０の中から（Ｓ１３０からＳ１３５）、ｙ座標が図１０（ａ）のフローで求めた背面上の辺４２の範囲にあり（Ｓ１３１でＹ）かつ図１２（ａ）に図示する水平エッジ２０と末尾候補２１の画像ｘ軸方向の重なり３０が所定のしき値Ｔ以上ならば（Ｓ１３２でＹ）、水平エッジ２０［Ｉ］を背面上の辺に相当する背面上ペアみなし、背面上ペアのフラグを１にする（Ｓ１３３）。また、背面上ペアの条件を満たす水平エッジ２０［Ｉ］のうち、画像上において一番上にあるものを更新する（Ｓ１３４）。なお、Ｓ１３２の判定のしきい値Ｔは、サイドのピラーが傾いたセダン車やまるみを帯びた車両のように、実際の車両の形状が直方体モデルからずれる分および水平エッジ２０の端が撮像系のノイズや照明変動により欠落することを考慮して、末尾候補２１の幅に１より小さく０より大きな所定の比率を乗じて求める。
【００３５】
図７（ｄ）は背面上ペアの抽出の一例であり、２５は図１０（ａ）のフローで求めた背面上の辺４２の画像ｙ座標の範囲、２２は背面上ペアである。背面上ペア２２は、図５（ｂ）において屋根と背面の境界に対応した水平エッジ２２ｅおよびリアガラス窓枠の上端に対応した水平エッジ２０ｆと一致している。
【００３６】
Ｓ１３５の後ペアエッジ検出手段１５は水平エッジ２０の中から（Ｓ１４０からＳ１４５）、ｙ座標が図１０（ｂ）で求めた屋根前の辺４３の範囲にあるときには（Ｓ１４１でＹ）、水平エッジ２０［Ｉ］を道路Ｙ軸方向に沿って背面上の辺４２まで移動したときに画像ｘ軸方向の重なりがしきい値Ｔ以上であれば（Ｓ１４２でＹ）、水平エッジ２０［Ｉ］を屋根前の辺４３に相当した水平エッジとして屋根前ペアのフラグを１にする（Ｓ１４３）。Ｓ１４２のしきい値Ｔは、Ｓ１３２のしきい値Ｔと同一である。また、屋根前ペアの条件を満たす水平エッジ２０［Ｉ］のうち、画像上において一番上にあるものを更新する（Ｓ１４４）。
【００３７】
図１２（ｂ）を用いてＳ１４２を補足すると、２５は背面上の辺４３の画像ｙ座標の範囲である。３２および３３は図１３（ａ）に示す直方体モデル４０の屋根の左右の辺４５および４６に相当する直線であり、水平エッジ２０［Ｉ］の左端および右端を通る点ｌの空間での対応点のＺ座標を近似的に（数１）の下限と（数２）の上限の平均（α＋β）／２×Ｗとしたときの空間中の対応する点Ｌおよび点Ｒを通り空間Ｙ軸方向と平行な直線の座標変換手段１８による画像上の像である。３５は点ｌおよび点ｒを直線３２に沿って同一ｙ座標に移動した点ｍおよび点ｎを結ぶ線分、３１は末尾候補２１と線分３５の画像ｘ軸方向の重なりである。Ｓ１４２では車高が正確にはわからないものとして範囲２５内でｙ座標を変えながら線分３５および重なり３１を求め、重なり３１の最大値がしきい値Ｔを超えれば、判定をＹとする。図７（ｅ）は屋根前ペアの抽出の一例であり、２６は図１０（ｂ）のフローで求めた屋根前の辺４３の画像ｙ座標の範囲、２３は屋根前ペアである。屋根前ペア２３は、図５（ｂ）において中型バス２の屋根の前端に対応した水平エッジ２０ｇと一致している。
【００３８】
ペアエッジ検出手段１５はＳ１３３およびＳ１４４で背面上ペアのフラグおよび屋根前のフラグが１になったときには、末尾候補２１，背面上ペア２２，屋根前ペア２３の３つの水平エッジ２０が直方体モデル４０に適合するとして、図１３（ｂ）のように末尾候補２１，背面上ペア２２，屋根前ペア２３を３辺とする直方体モデル４０を車両の領域とする。なお、背面上ペア２２あるいは屋根前ペア２３が複数ある場合には、Ｓ１３４あるいはＳ１４４で求めた画像上で一番上にある背面上ペア２２および屋根前ペア２３を直方体モデル４０の辺とする。以上説明した処理によってペアエッジ検出手段１５、中型バス２の周囲のバン３やセダン車４の水平エッジ２０、および中型バス２の内部の水平エッジ２０の影響を受けることなく、頑強に中型バス２に適合した直方体モデル４０を抽出することができる。
【００３９】
図１４（ａ）は第２車線を対象としたときの検知領域１内の映像であり、検知領域１にはセダン車４および第１車線からはみ出した中型バス２が存在している。図１４（ａ）において、セダン車３の側面は第１車線からはみ出した中型バス２により遮蔽されている。図１４（ｂ）は図１４（ａ）から１２，１３，１４，１５の機能により抽出した結果であり、水平エッジ２０，末尾候補２１，背面上の辺４２の画像ｙ座標の範囲２５，背面上ペア２２を示している。図１４（ｃ）は図１４（ａ）から１４，１５の機能により抽出した結果であり、屋根前の辺４３の画像ｙ座標の範囲２６，屋根前ペア２３を示している。図１４（ｄ）は図１４（ａ）から抽出した末尾候補２１，背面上ペア２２，屋根前ペア２３により構成する直方体モデル４０を示している。図１４（ｂ）と図１４（ｃ）はセダン車４より抽出された末尾候補２２の幅に応じた範囲から背面上ペア２２および屋根前ペア２３が抽出された例、図１４（ｄ）より第１車線からはみ出した中型バス２の水平エッジ２０の影響を受けず、セダン車４の直方体モデル４０が抽出された例を示している。
【００４０】
ペアエッジ検出手段１５が直方体モデル４０を抽出したとき、車両追跡手段１６の追跡処理を開始する。図１５は車両追跡手段１６のフローである。車両追跡手段１６は、まずペアエッジ検出手段１５が抽出した直方体モデル４０の末尾の辺４２の中心位置を追跡体の初期位置として求める（Ｓ２０１）。次に、画像入力手段１１の画像からＳ２０１の初期位置付近を切り取って初期の追跡テンプレートとする（Ｓ２０２）。追跡テンプレートの大きさは〔特許文献３〕に開示されているように、当該画像の切り出し位置における車線の幅に比例して定めることができる。Ｓ２０２で初期のテンプレートを設定した次のフレームでは、Ｓ２０２にて切り取ったテンプレート内の画像の次のフレームの画像における照合位置を特許文献３に開示されているように正規化相関演算によりパタン照合により探索する（Ｓ２０３）。パタン照合により該当領域がある場合（Ｓ２０４でＹ）は、Ｓ２０３で照合したテンプレートの中心から追跡体の位置を求めた後（Ｓ２０５）、次フレームの画像からＳ２０５で更新した追跡体の位置付近の画像を切り出すことによりテンプレートを更新する（Ｓ２０６）。追跡テンプレートの更新後は処理周期ごとにＳ２０３の処理に戻り、Ｓ２０３はＳ２０６で更新したテンプレートの次フレームでの照合処理を繰り返す。パタン照合により該当領域がない場合は（Ｓ２０４でＮ）、追跡テンプレートの最終座標を求めて（Ｓ２０７）追跡を終了する（Ｓ２０８）。
【００４１】
なお、車両追跡手段１６のＳ２０３のパタン照合は、前記の正規化相関のほか、絶対差分のようなほかの類似度、差分の演算を使っても同様の効果が得られる。また、車両追跡手段１６は図１５に示したフロー以外でも、Ｓ２０１，Ｓ２０２，Ｓ２０４，Ｓ２０５，Ｓ２０７の処理を有する任意の追跡手法を適用しても、同様の効果を得ることができる。
【００４２】
交通指標計算手段１７は画像上におけるＳ２０１の座標、Ｓ２０７の座標から、図３（ｂ）に示す座標変換手段１８の処理によって、Ｓ２０１の座標の点とＳ２０７の座標の点の空間での対応点のＺ座標を０ｍとしたときの座標をそれぞれ求めて、２時刻のＹ座標の移動量とＳ２０１の時刻とＳ２０７の時刻の差から速度を計測する。交通指標計算手段１７は、所定周期毎に追跡が終了した追跡体の数の合計から台数、前記計測した速度の平均から平均速度を計算する。なお、交通指標計算手段１７は前記速度の計測において、Ｓ１０１の座標と時刻の変わりに、追跡途中のＳ２０５の時刻を用いても同様の効果が得られる。
【００４３】
本発明の実施例１では以上説明した機能構成により、混雑した交通でも車両の大きさを問わず個別の車両を精度よく抽出し、台数と速度を計測することが可能になる。
【実施例２】
【００４４】
図１６は本発明の実施例２の機能構成の概略を示すブロック図である。図１６において、１６の機能を除いた１１，１２，１３，１４，１５，１７，１８，１９の各機能は図１に示した実施例１と同様の機能を果たす。図１６において車両追跡手段１６は、実施例１の車両追跡手段１６の機能に加えてペアエッジ検出手段１５が検出した直方体モデル４０のデータを追跡体と組にして保持する機能を持つ。
【００４５】
図１６において包含手段１０は、図１７にフローを示す処理を行う。図１８（ａ）と図１８（ｂ）は、包含手段１０を説明する図であり、図１８（ａ）は時刻ｔのフレームにて、バン３の末尾が検知領域１内に進入するより前に、誤ってリアウインドの下端を末尾の辺４１として直方体モデル４０ａを抽出した例を示している。図１８（ａ）において、５１はＳ２０２で求めた追跡体の初期位置である。図１８（ｂ）において、５２は時刻ｔ＋Δｔにおいて更新された追跡体の位置であり、５０は追跡位置５１から追跡位置５２への変位と同じだけ直方体モデル４０ａを移動した直方体モデルである（Ｓ１５１）。包含手段１０は、直方体モデル４１が直方体モデル４０の内部にある場合には（Ｓ１５２でＹ）追跡体５２の追跡を中断して交通指標計算手段１７の対象外とする（Ｓ１５３）。包含手段１０は、Ｓ１５１，Ｓ１５２，Ｓ１５３の処理を、車両追跡手段１６内の追跡体の数だけ繰り返す（Ｓ１５０，Ｓ１５４）。
【００４６】
実施例２では包含手段１０により、末尾候補検出手段１３やペアエッジ検出手段１５の誤判定により車両内部の局所的なエッジから直方体モデル４０を抽出してしまった場合でも、以降の時刻で車両全体をとらえた直方体モデル４０を抽出することによって追跡を中断することで、実施例１以上に高い台数や速度の計測精度を実現する。
【実施例３】
【００４７】
図１９は本発明の実施例３の機能構成の概略を示すブロック図である。図１９において、１０と１６の機能を除いた１１，１２，１３，１４，１５，１７，１８，１９の各機能は実施例１と同様の機能を果たす。
【００４８】
図１９において、追加検知手段９は画像入力手段１１が取り込んだ画像を入力として、本発明以外の方式により車両を検知し、追跡の初期位置を計算する。追加検知手段９の車両検知方式は〔特許文献３〕をはじめとして任意である。また、追加検知手段９の数は１つ以上の複数であってよい。
【００４９】
図１９において、車両追跡手段１６は車両を検知したのがペアエッジ検出手段１５であれば直方体モデル４０のデータを追跡体と組にして保持し、車両を検知したのが追加検知手段９であれば直方体モデル４０のデータ空にする。
【００５０】
図１９において包含手段１０は図２０のフローに従い、追跡体が直方体モデル４０のデータを持つ場合には（Ｓ１６１でＹ）、実施例２の包含手段１０と同様にＳ１５１，Ｓ１５２，Ｓ１５３の処理を行う。直方体モデル４０のデータを持たない場合には（Ｓ１６１でＹ）、図２１（ａ）に示すように時刻ｔ＋Δｔにおける追跡体の位置５２の近傍領域６０を求め（Ｓ１６２）、近傍領域６０が時刻ｔで検知した直方体モデル４０の内部にあれば（Ｓ１６２でＹ）追跡を中断する（Ｓ１５３）。近傍領域６０はＳ２０５で求めるテンプレートの領域で求めることができる。近傍領域６０は他にも、図２１（ｂ）のように追跡位置５２付近の時刻ｔ＋Δｔの水平エッジ２０（図２１（ｂ）において２０ｈ，２０ｉ，２０ｊ）の外接矩形６２で求めてもよい。あるいは、近傍領域６０は追加検知手段９で特定した車両の領域に応じて定めてもよい。
【００５１】
実施例３では、追加検知手段９に直方体モデル４０の抽出が困難な状況でも良好に検知する車両の検知方式を導入することで、広い環境条件をカバーして車両を検知することができる。また、直方体モデル４０が良好に動作する環境下では、追加検知手段９が車両の背面や屋根を検知した場合あるいはペアエッジ検出手段１５と同一箇所を検知した場合でも、包含手段１０により余分な追跡テンプレートの追跡を中断することで台数と速度を良好に計測することができる。
【００５２】
例えば〔特許文献４〕に開示されたのテールランプを検知する検知方式のように、コントラストが極端に低くて水平エッジ２０の検出が困難な夜間の環境条件でも良好に検知する車両検知の方式を導入すれば、夜間をカバーすると共に混雑時において台数および速度の計測精度が良好な交通流計測が可能になる。
【実施例４】
【００５３】
実施例４の装置構成は、図１の機能構成において、１４と１５の機能を除いた１１，１２，１３，１６，１７，１８は実施例１と同一である。
【００５４】
実施例４の車高車長範囲推定手段１４は、図２２（ａ）に示すように車高Ｈ／車幅Ｗの下限を曲線Ｆα、上限を曲線Ｆβで保持し、図３（ｂ）に示すように座標変換手段１８が計算する末尾候補２１のＺ座標を０ｍとしたときの空間での幅Ｗ毎に（数３）および（数４）を用いて車高Ｈ／車幅Ｗの上限αおよび下限βを計算する。同様に前記末尾候補２１のＺ座標を０ｍとしたときの空間での幅Ｗ毎に、（数５）および（数６）を用いて車長Ｌ／車幅Ｗの上限νおよび下限μを計算する。実施例４のペアエッジ検出手段１５では、Ｓ１３１，Ｓ１４１，Ｓ１４２，Ｓ１５１，Ｓ１５２，Ｓ１５３，Ｓ１５４，Ｓ１５５，Ｓ１５６の各処理にて、（数３）および（数４）および（数５）および（数６）の関数で求めたαおよびβおよびνおよびμを用いる。
【００５５】
【数６】
【００５６】
【数７】
【００５７】
【数８】
【００５８】
【数９】
【００５９】
図２２（ａ）および図２３（ｂ）の曲線は車幅Ｗを適当な刻みで離散化したときに（Ｗi＝Ｗ1，Ｗ2，Ｗ3…、離散化した各Ｗiの区間［Ｗi，Ｗi+1］内の車幅をもつ車両を図８のような一覧データから全て抽出したときの車高Ｈ／車幅Ｗ，車高Ｌ／車幅Ｗの上限，下限それぞれを、Ｗiを網羅的に換えて計算することで取得できる。なお、Ｗiの区間に一つも車両がない場合には、前後区間Ｗi-1，Ｗi+1の平均により取得する。また、以上の手順で求めた曲線ＦαおよびＦβおよびＦνおよびＦμを平滑などのフィルタ処理をしてもよい。以上の曲線ＦαおよびＦβおよびＦνおよびＦμの求め方は一例であり、スプライン曲線のように他の方法で求めても同様の効果が得られる。
【００６０】
ここで図２２（ａ）および図２２（ｂ）をみると、車高Ｈ／車幅Ｗと車長Ｌ／車幅Ｗの上限，下限ともに、車幅Ｗに応じて異なることがわかる。特に、図２２（ｂ）に着目すると、車長Ｌ／車幅Ｗの比率は車幅Ｗが大きなものほど上限Ｆν（Ｗ），下限Ｆμ（Ｗ）ともに高くなること、また上限Ｆν（Ｗ）と下限Ｆμ（Ｗ）の差が大きくなることがわかる。実施例４では実施例１と比べると、ＦαおよびＦβおよびＦνおよびＦμの４曲線を作成する手間がかかるが、車幅Ｗに応じて最適なペアエッジ検出手段１５の背面上ペア２２および屋根前ペア２３の範囲２５および２６を計算することで、ペアエッジ検出手段１５が抽出する直方体モデル４０の精度を向上できる。
【００６１】
なお実施例４の車高車長範囲推定手段１４を、図１６に示す実施例２および図１９に示す実施例３の機能構成に置き換えることで、実施例１と同様にペアエッジ検出手段１５が抽出する直方体モデル４０の精度を向上できる。
【００６２】
図１および図１６および図１９において、交通流ＤＢ（ＤＢはデータベースの略記）１９は、９，１０，１１，１２，１３，１４，１５，１６，１７，１８の各機能と図示しない線により接続され、各機能が信号処理に必要なデータを保持する（なお略記したが、図１には９と１０、図１６には９の機能は存在しない）。
【００６３】
実施例１あるいは実施例２あるいは実施例３あるいは実施例４において、９，１０，１１，１２，１３，１４，１５，１６，１７，１８，１９の各機能は路側に設置された計算機上の信号処理にて実現される。あるいは、路側のカメラを伝送するネットワークあるいはカメラの映像を記録した記憶媒体と接続された計算機上の信号処理にて実現される。
【００６４】
なお、実施例１の説明において画像入力手段１１が取り込んだ画像の例として、図４に画像上を下から上の向きに進む車両を後方から撮影した画像を示したが、車両を前面から撮影した場合でも車両の輪郭や車両の屋根とフロントガラス窓枠との間の境界線といった内部に水平方向の濃度勾配が生じることおよび、車両の進行方向を画像上の上から下としても画像上の車両付近はフレーム間で速度に応じた範囲が明度変化することより、水平エッジ検出手段１２は図５のフローにより同様の水平エッジ２０を抽出できる。よって、実施例１および実施例２および実施例３および実施例４は、車両の撮影方向や進行方向によらず同様の効果を発揮できる。
【産業上の利用可能性】
【００６５】
本発明は俯瞰したカメラの画像から車両を検知，追跡する用途に広く一般に適用することができる。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施例１のブロック図。
【図２】座標変換手段１８の処理の説明。
【図３】車両後部絞込み手段の処理画面の例。
【図４】路上カメラにより撮影した画像の例。
【図５】水平エッジ検出手段１２のフロー。
【図６】末尾候補検出手段１３のフロー。
【図７】水平エッジの検出の例。
【図８】車幅，車高，車長の表の例。
【図９】車高／車幅，車長／車幅の分布グラフ。
【図１０】実施例１において車幅から車高の範囲，車幅から車長の範囲を推定するフロー。
【図１１】ペアエッジ検出手段１５のフロー。
【図１２】ペアエッジ検出手段１５のフローにおける水平エッジ２０の重なりを説明する図。
【図１３】（ａ）画像中の車両に直方体モデル４０を当てはめた例および（ｂ）水平エッジ２０に直方体モデル４０を当てはめた例。
【図１４】画像中の車両から水平エッジ２０および直方体モデル４０を抽出したもうひとつの例。
【図１５】車両追跡手段の処理１６フロー。
【図１６】本発明の実施例２のブロック図。
【図１７】本発明の実施例２の包含手段１０のフロー。
【図１８】本発明の実施例２の包含手段１０を説明する図。
【図１９】本発明の実施例３のブロック図。
【図２０】本発明の実施例３の包含手段１０のフロー。
【図２１】本発明の実施例３の包含手段１０を説明する図。
【図２２】本発明の実施例４車高車長範囲推定手段１４を説明する図。
【図２３】速度計測の誤差を説明する図。
【符号の説明】
【００６７】
１１ 画像入力手段
１２ 水平エッジ検出手段
１３ 末尾候補検出手段
１４ 車高車長範囲推定手段
１５ ペアエッジ検出手段
１６ 車両追跡手段
１７ 交通指標計算手段
１８ 座標変換手段
２０ 水平エッジ
２１ 末尾候補
２２ 背面上ペア
２３ 屋根前ペア
４０ 直方体モデル
【特許請求の範囲】
【請求項１】
路上のカメラの撮影画像を取得する画像入力手段と、画像座標と道路座標を変換する座標変換手段と画像中の水平エッジを抽出する水平エッジ検出手段と、車両の形状をあらわす直方体モデルの末尾にあたる水平エッジを検出する末尾候補検出手段と、車幅に応じて車高と車長を推定する車高車長範囲推定手段と、末尾候補の水平エッジの幅に応じた画像上の範囲から直方体モデルの背面上と屋根前の辺に当たる水平エッジを検出するペアエッジ検出手段と車両を追跡する車両追跡手段と、交通指標を計測する交通指標計算手段から構成されることを特徴とする交通流計測装置。
【請求項２】
路上のカメラの撮影画像から抽出した水平エッジのうち車幅に相当した水平エッジを直方体モデルの末尾の辺と仮定したときに、直方体の背面上の辺と屋根前の辺に相当するエッジが、水平エッジの幅から換算した車幅と、車幅から推定した車高および車長の範囲に応じた画像上の範囲から検出されることを条件に車両を検知し追跡することを特徴とする交通流計測装置およびプログラム。
【請求項３】
請求項１あるいは請求項２に記載の交通流計測装置およびプログラムにおいて、車高および車長の範囲を車幅と車高および車長の比率の上限ならびに下限から求めることを特徴とする交通流計測装置およびプログラム。
【請求項４】
請求項１あるいは請求項２に記載の交通流計測装置およびプログラムにおいて、車高および車長の範囲を車幅と車高および車長の比率の上限ならびに下限の特性曲線から求めることを特徴とする交通流計測装置およびプログラム。
【請求項５】
請求項１あるいは請求項２に記載の交通流計測装置およびプログラムにおいて、現時刻以前に抽出した直方体モデルの現時刻における領域を求めて、現時刻に抽出した直方体モデルが前記現時刻以前に抽出した直方体モデルの現時刻における領域を包含する場合には現時刻以前に抽出した直方体モデルの追跡を中断することを特徴とする交通流計測装置およびプログラム。
【請求項６】
請求項１あるいは請求項２あるいは請求項４に記載の交通流計測装置およびプログラムにおいて、任意の車両検知手段が同時に動作し、前記任意の車両検知手段の現時刻における領域が直方体モデルの内部にあれば、前記任意の車両検知手段の検知による追跡を中断することを特徴とする交通流計測装置およびプログラム。
【請求項１】
路上のカメラの撮影画像を取得する画像入力手段と、画像座標と道路座標を変換する座標変換手段と画像中の水平エッジを抽出する水平エッジ検出手段と、車両の形状をあらわす直方体モデルの末尾にあたる水平エッジを検出する末尾候補検出手段と、車幅に応じて車高と車長を推定する車高車長範囲推定手段と、末尾候補の水平エッジの幅に応じた画像上の範囲から直方体モデルの背面上と屋根前の辺に当たる水平エッジを検出するペアエッジ検出手段と車両を追跡する車両追跡手段と、交通指標を計測する交通指標計算手段から構成されることを特徴とする交通流計測装置。
【請求項２】
路上のカメラの撮影画像から抽出した水平エッジのうち車幅に相当した水平エッジを直方体モデルの末尾の辺と仮定したときに、直方体の背面上の辺と屋根前の辺に相当するエッジが、水平エッジの幅から換算した車幅と、車幅から推定した車高および車長の範囲に応じた画像上の範囲から検出されることを条件に車両を検知し追跡することを特徴とする交通流計測装置およびプログラム。
【請求項３】
請求項１あるいは請求項２に記載の交通流計測装置およびプログラムにおいて、車高および車長の範囲を車幅と車高および車長の比率の上限ならびに下限から求めることを特徴とする交通流計測装置およびプログラム。
【請求項４】
請求項１あるいは請求項２に記載の交通流計測装置およびプログラムにおいて、車高および車長の範囲を車幅と車高および車長の比率の上限ならびに下限の特性曲線から求めることを特徴とする交通流計測装置およびプログラム。
【請求項５】
請求項１あるいは請求項２に記載の交通流計測装置およびプログラムにおいて、現時刻以前に抽出した直方体モデルの現時刻における領域を求めて、現時刻に抽出した直方体モデルが前記現時刻以前に抽出した直方体モデルの現時刻における領域を包含する場合には現時刻以前に抽出した直方体モデルの追跡を中断することを特徴とする交通流計測装置およびプログラム。
【請求項６】
請求項１あるいは請求項２あるいは請求項４に記載の交通流計測装置およびプログラムにおいて、任意の車両検知手段が同時に動作し、前記任意の車両検知手段の現時刻における領域が直方体モデルの内部にあれば、前記任意の車両検知手段の検知による追跡を中断することを特徴とする交通流計測装置およびプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２００９−２４５０４２（Ｐ２００９−２４５０４２Ａ）
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願番号】特願２００８−８９１８２（Ｐ２００８−８９１８２）
【出願日】平成２０年３月３１日（２００８．３．３１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願日】平成２０年３月３１日（２００８．３．３１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]