移動物体の高さ検出方法及び装置並びに物体形状判定方法

【課題】簡単な構成の装置を用いて物体の高さを算出し、この高さ情報に基づいて、物体の形状を詳細に知る。
【解決手段】物体が移動する場所を俯瞰するカメラにより、当該場所を周期的に撮影し、撮影した画像内に移動物体が検出された場合に、その移動物体の速度と、当該画像に表れる、移動物体の移動方向に垂直な移動物体の特徴ラインを検出し、前記特徴ラインを画面上で追跡することにより、当該特徴ラインの高さを算出する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理により、移動物体の高さ情報を検出することのできる移動物体の高さを検出する方法及び装置に関するものである。また本発明は、検出された物体の高さ情報に基づいて物体の形状を判定する方法に関するものである。
【背景技術】
【０００２】
円滑な交通信号制御や交通捜査支援のために、詳細な交通情報提供が求められており、特に詳細な車両種別情報の提供により、車種の混入率に応じた信号制御や、特定車両の追跡が可能になる。
このため、従来の大型／小型の２車種情報よりも、より詳細な情報を高精度かつ安価に提供する方法が求められている。
【０００３】
特開平５−３０７６９５号公報では、カメラ画像上での車両の見かけ上の大きさより車種判定する方式を示しているが、車高の大きい小型車を大型車と誤感知する問題があり、また大型／小型の２車種にしか識別できない。
また、特開平１１−１７５８８０号公報では、複数カメラを路上に設置し、カメラ間の視差より、カメラからの距離を算出し、詳細な車両形状を算出しているが、複数のカメラを用いるため、機器コストが高くなる。また重量も１カメラより増加するため、設置コストも上がる。さらに、カメラ間の光軸の方向を厳密に調整する必要もあり、取り扱いが難しい。
【０００４】
また、文献「単眼画像からの断面形状の認識による車種判別」電学論Ｄ、120巻10号、pp.1182-1188,2000年では、車両の斜め上方からの視点より、車両の左右対称点位置を検出し、それらの画面上でのずれより車高を算出する方式だが、そもそも左右対称点検出において、ボンネットと側面の色合いが同じ場合に、ボンネット範囲内での中心点の検出は困難である。
【０００５】
特開平１０−６３９８７号公報では、連続する複数枚の画像より通過車両全体の詳細な画像を合成し、車種判別する。しかし、画像の合成において、エッジ情報のみより車両の前面部や側面部を推定しているが、一般的に実現は困難である。
【特許文献１】特開平５−３０７６９５号公報
【特許文献２】特開平１１−１７５８８０号公報
【特許文献３】特開平１０−６３９８７号公報
【非特許文献１】松崎、小沢「単眼画像からの断面形状の認識による車種判別」電学論Ｄ、120巻10号、pp.1182-1188,2000年
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで、本発明者は、一台のカメラの視野範囲を所定速度で横切る物体の高さ情報を算出することができることに着目した。
また、この物体の高さ情報を用いれば、車両の外郭形状（シルエット）を容易に合成することができる。
従って、本発明は、従来よりも簡単な構成の装置を用いて物体の高さを算出できる移動物体の高さ検出方法及び装置を提供することを目的とする。
【０００７】
また本発明は、前記高さ情報に基づいて、物体の形状を詳細に知ることのできる物体形状判定方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の移動物体の高さ検出方法は、物体が移動する場所を俯瞰するカメラにより、当該場所を周期的に撮影し、撮影した画像内に移動物体が検出された場合に、その移動物体の速度と、当該画像に表れる、移動物体の移動方向に垂直な移動物体の特徴ラインを検出し、前記特徴ラインを画面上で追跡することにより、当該特徴ラインの高さを算出する方法である。
【０００９】
この方法は、物体が移動する場所を俯瞰する１つのカメラにより当該場所を撮影していると、実空間内をある既知の速度で物体が移動した場合に、移動物体は、その高さに応じて、カメラの画面を横切る時間又はスピードが異なることに注目したものである。
そこで、当該移動物体の速度を検出するとともに、当該画像に表れる、移動物体の移動方向に垂直な移動物体の特徴ラインを検出し、前記特徴ラインを画面上で追跡することにより、当該特徴ラインの高さを算出することができる。
【００１０】
前記特徴ラインの高さを算出する手順において、前記移動物体の速度と、前記特徴ラインが撮影画面の所定位置から所定位置まで通過する時間とに基づいて、当該特徴ラインの高さを算出してもよい。
また、あらかじめ速度、高さの異なる特徴ラインの時間軌跡のパターンを用意し、測定した特徴ラインの時間軌跡点を同じ、速度のパターン群にフィッティングさせることにより、当該特徴ラインの高さを算出してもよい。一般に、２つの離れた時刻における同一特徴ラインの位置の組み合わせを検出することは、照明変動やノイズ等の影響により、ライン位置の誤抽出や抽出漏れが発生するおそれがあり、複数の特徴ラインの組み合わせを精度良く算出することはさらに難しい。このため、尤もらしい軌跡を検出することにより、照明変動やノイズ等の影響に強い方式として、フィッティング方式を提案している。
【００１１】
また本発明の移動物体の高さ検出装置は、道路面を俯瞰するように所定の高さに設置されたカメラと、カメラの撮影画像を取り込み処理する計測装置とを備え、前記計測装置は、カメラの画面上に設定した検出範囲内で移動物体が検出された場合に、その移動物体の速度を検出する速度検出手段と、当該画像に表れる、移動物体の移動方向に垂直な移動物体の特徴ラインを検出する特徴ライン検出手段と、当該車両の特徴ラインを画面上で追跡することにより、当該特徴ラインの高さを算出する高さ算出手段とを備えるものである。
【００１２】
この装置によれば、１カメラの画像において、物体形状の特徴となるラインを複数本抽出し、連続する画像におけるこれらのラインの軌跡を検出し、速度検出手段で算出した移動速度情報を用いて、各水平ラインの高さを精度よく算出することができる。
また、本発明の物体形状判定方法は、前記移動物体の高さ検出方法に基づいて検出された複数の特徴ラインを結合することにより、当該移動物体のシルエット画像を生成する方法である。
【００１３】
前記移動物体が車両である場合は、当該車両のシルエット画像に基づき車種を判定することができる。
【発明の効果】
【００１４】
以上のように本発明によれば、１カメラのみで物体の高さ、形状を算出できるため、機器コスト、設置コスト、調整コストが小さくて済む。また、特徴となるラインを複数回にわたって追跡するため、ノイズに強く、高さ情報を精度よく算出できる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
図１は、本発明の移動物体の高さ検出装置を含む物体形状判定装置の構成図を示す。
道路上方に道路面を俯瞰するように、カメラ２を所定の高さに設置している。カメラ２の視野範囲５は、道路の一車線上にある。
カメラ２の撮影画像は、映像ケーブル３を通して計測装置４に入力される。計測装置４は、通信手段を持ち、計測結果を遠隔地の処理センターに提供することができる。
【００１６】
図２に、カメラ２で撮影した撮影画像の例を示す。
カメラ２の視野範囲５は、図２のように車両のバンパーやフロントガラスなどの、移動物体の移動方向に垂直なラインである水平ラインが抽出しやすい程度の視野（左右方向２〜３ｍ、上下方向２〜３ｍ程度）とする。
図３は、計測装置４の構成例を示す図である。
【００１７】
計測装置４は、カメラ２の画像を取り込み、カメラ２の画面上に設定した車両検出用の計測範囲内での車両の有無を判定し、車両が検出された場合に、水平ラインの抽出、追跡、物体形状判定等の演算処理を実行する。
計測装置４は、画像入力部４１、Ａ／Ｄ変換部４２、画像メモリ４３、演算部４４、通信部４５を有する。
【００１８】
画像入力部４１は、カメラ２の画像を取り込むためのインターフェイスを提供する。Ａ／Ｄ変換部４２は、画像信号をデジタル変換する。画像メモリ４３は、デジタル変換した画像データを一時的に格納する。演算部４４は、水平ラインの抽出、追跡、物体形状判定等の演算処理を実行する。通信部４５は、信号機や表示板、交通管制センター等との通信を行って、物体形状の情報を伝える。
【００１９】
なお、前記カメラ２と前記計測装置４は一体型としても良い。
図４は、計測装置４の行う物体形状算出処理方法を示すフローチャートである。
演算部４４は、画像入力部４１を通して画像を取り込み、画像メモリ４３に記憶させる（ステップＳ１）。画像の取り込み間隔は、例えば１秒間に３０枚とする。
演算部４４は、画像メモリ４３に記憶された画像に基づいて、画面の中に車両が存在するかどうかを検出する（ステップＳ２）。
【００２０】
図５は、車両検出用の計測範囲Ｒを示す図である。計測範囲Ｒは、画面上に四角の太枠で示している。
この枠内において、車両有無を判定する。
例えば、予め車両が存在しない場合の路面画像（以下、背景画像と呼ぶ）を作成しておき、取り込んだ画像（以下、入力画像と呼ぶ）との明るさの差を算出し、閾値以上の変化が検出された場合を車両有りとし、閾値以下の変化の場合は車両なしとする（ステップＳ３）。
【００２１】
あるいは、路面模様の明るさ変化のある部分（以下、エッジと呼ぶ）の位置を予め記憶しておき、入力画像についてもエッジを算出し、それらのエッジの鋭さの差を算出し、閾値以上の差が検出された場合を車両有りとし、閾値以下の変化の場合は車両なしとすることもできる。
車両ありと判定された場合、車両の速度検出を行う（ステップＳ４）。車両の速度検出は公知の手段を用いることができる。例えば、カメラ２の下に超音波式ドップラーレーダを設置して、車両の速度を測定することができる。また、道路に埋め込み式の車両感知器を２つ設置し、車両がこれらの車両感知器を通過した時間を測定して、車両の速度を知ることができる。
【００２２】
次に、特徴ライン抽出処理を行う（ステップＳ５）。
図６は、特徴ライン抽出処理を説明するための詳細フローチャートである。
まず、各画素毎に、前時刻と現時刻の明るさの差を算出し、その差が閾値以上ある場合、時間差分変化ありとする（ステップＴ１）。これは、路面標示等の動かない路面のエッジを消すためである。
【００２３】
次に、時間差分変化ありの画素について、水平エッジの有無を算出する（ステップＴ２）。これは例えば、図７に示すように、注目画素及びその周辺画素の９画素に対して、ソーベルフィルタ処理を行い、計算値Ｄの絶対値が閾値以上であった場合、注目画素（＊）において水平エッジありとする。
計算式は、例えば
Ｄ＝Ｉ11×１＋Ｉ12×２+Ｉ13×１-Ｉ31×１-Ｉ32×２-Ｉ33×１
である（Ｉjkは、行列の第ｊ行第ｋ列の画素の輝度を表す）。
【００２４】
次に、時間差分変化があり、水平エッジを構成する画素に対して、細線化処理をする（ステップＴ３）。これは、近接するエッジを除去し、特徴ラインを抽出しやすくするための処理である。例えば、Hilditchの細線化アルゴリズム（「画像の処理と認識」、安居院他、昭晃堂参照）を用いて、水平エッジ画像を細線化する。
図８は、細線化された水平エッジ画像の一例を示す図である。
【００２５】
次に、この画面の水平方向に水平エッジ数を算出して、図８の右端に示すように、ヒストグラムをつくる（ステップＴ４）。
このヒストグラムに基づいて、画面の上部から下部にかけて（下部から上部でもよい）、水平エッジ数が、その水平ラインの上下に隣接する水平ラインと比較して閾値以上大きいラインを抽出する。これは図７に円で囲んだ、尖ったピークの部分に該当する。この尖ったラインを「特徴ライン」という。
【００２６】
このようにして特徴ラインの抽出処理が終われば、図４に戻り、車両検出回数を１加算し（ステップＳ６）、ステップＳ１に戻る。
以下、次に取り込んだ画像に基づいて、ステップＳ２以下の処理を繰り返す。
ステップＳ３で、画像内に車両がなくなったと判定された場合、ステップＳ７に移り、今までの車両検出回数をしきい値ｎと比較する。
【００２７】
車両検出回数の閾値ｎは、例えば「３」程度に設定する。これは、連続した車両検出が３回以下しかできなかったのであれば、本当に車両であったかどうか疑わしいので、以下の特徴ラインの高さ算出処理をやめるためである。
車両検出回数が閾値ｎを超えていたら、ステップＳ８に移り、特徴ラインの高さ算出処理に入る。
【００２８】
以下、特徴ラインの高さ算出処理を詳しく説明する。
図９は、検出された特徴ラインの画面上の位置を縦軸に、時刻を横軸にとったグラフである。特徴ラインが３本写った場合を例示している。
図９において、各特徴ラインの軌跡は、画面上における見かけの動きであり、各時刻における実空間上での位置を射影したものである。車両の走行に従って、特徴ラインが画面の上から下へ移動している。
【００２９】
ここで、実空間と撮影面上の座標の変換式を定義する。
図１０のように、実空間での座標系を（Ｘ，Ｙ，Ｚ）とし、カメラ２の撮影面上での座標系を（Ｐ，Ｑ）とする。
実空間では、垂直方向をＺ、道路の延びる方向をＹ、道路を横断する方向をＸにとる。
カメラ２は、道路の延長線上に設置されており、その撮影面では、道路横断方向Ｘと平行に横軸Ｐをとり、横軸Ｐと直角に縦軸Ｑをとる。縦軸Ｑは、道路の垂直方向Ｚに対して、俯角に相当する角度αだけ傾いているものとする。
【００３０】
ここでは、カメラ２が道路の延長線上に設置されていて、車両はカメラ２に向かって近づいてくることを前提にしているので、実空間での道路横断方向Ｘへの動きは考慮しない。撮影面では特徴ラインの位置座標ｑのみを考慮し、それに直交する座標ｐは無視する。従って、実空間での車両の座標は（ｙ，ｚ）となり、撮影面ではｑとなる。
撮影面上での座標ｑ（単位：画素数）と、実空間上での座標点（ｙ，ｚ）には、（１）（２）式の関係式が成立する。
【００３１】
ただし、カメラ２レンズの焦点距離ｆ、カメラ２の設置高さＨ、撮影面上のＱ軸方向の高さＳｑと、Ｓｑに相当する撮影面のＱ軸方向の画素数Ｎｑとの比（一画素のサイズ）は既知であり、定数値として扱う。
ｚ＝Ｈ−（ｆtanα−ξ）ｙ／（ξtanα＋ｆ）（１）
ξ＝（Ｓq／Ｎq）ｑ（２）
ここで、ξは特徴ラインの撮像面上の高さである。微少時間（画面上下範囲を通過する時間）内での車両の移動速度ｖは検出済みであるから、所定時刻からの経過時間に基づいて各時刻でのＹ座標ｙ(t)が算出できる。
【００３２】
特徴ラインの実空間上での高さｚを、ある一定値に仮定する。
すると（１）式から、前記ｙ(t)に基づいて、ξ(t)が時間の関数として算出できる。このξ(t)を使えば、（２）式からｑ(t)が時間の関数として求まる。
従って、このｑ(t)を時間の関数として、曲線Ｕを描くことができる。
特徴ラインの実空間上での高さｚを変数（パラメータ）とし、高さｚを変えていけば、複数のｑ(t)を描いた曲線群ができる。
【００３３】
図１１は、特徴ラインの実空間上での高さｚを変数として、これらのｑ(t)の曲線群Ｕを示すグラフである。
同図では、各曲線とも、時刻ｔ0における撮影面上の高さを同一値ｑsに統一している。また同図で、高さｚは、ｚ0＞ｚ1＞ｚ2の関係がある。
高さｚ0に対応する曲線Ｕ0は、短い時間で撮影面を上端から下端まで（撮影面の上端から下端までを「カメラ２の視野」という）通過していることがわかる。この現象は、高さの高い物体、例えば車両の屋根などは、比較的短時間でカメラ２の視野を横切るという経験則に対応している。
【００３４】
これとは逆に、高さの低い物体、例えば車両のバンパーなどは、同じ速度で走行していも、比較的長時間かかってカメラ２の視野を通過する。図１１のグラフでは、高さｚ2に対応する曲線Ｕ2は、長い時間をかけて撮影面を通過している。
従って、車両の移動速度が分かっているとして、特徴ラインがこのカメラ２の視野を通過する時間Ｔを測定すれば、当該物体の高さが求まる。
【００３５】
また、車両の移動速度が分かっているとして、特徴ラインがこのカメラ２の視野を通過する時間Ｔに代えて、特徴ラインがこのカメラ２の視野を通過する見かけ上の速度（画面の上端から下端までの距離（ｑ0−ｑ1）を前記時間Ｔで割ったもの）に基づいても、当該物体の高さを求めることができる。
例えば図１１では、特徴ラインの時々刻々の軌跡例がプロットされており、それらの点がカメラ２の視野を通過するのに時間Ｔかかっているとする。この時間Ｔをかけてカメラ２の視野を通過する曲線Ｕ^*を特定することができる。曲線Ｕ^*に対応する高さをｚ^*とすると、そのｚ^*が特徴ラインの実空間上での高さとなる。
【００３６】
また、前記時間Ｔや見かけ上の速度を測定する代わりに、特徴ラインの時々刻々の軌跡（つまり曲線Ｕの形）が分かるのであるから、この軌跡の形を、曲線群Ｕを構成する各曲線にフィッティングさせて最も傾きの似ている曲線を特定してもよい。すると、この曲線に対応する高さがわかる。
例えば図１１では、撮影された特徴ラインの時々刻々の軌跡がプロットされているが、それらの点は、曲線Ｕ^*にフィットしているとする。曲線Ｕ^*に対応する高さをｚ^*とすると、そのｚ^*が特徴ラインの実空間上での高さとして求まる。
【００３７】
なお、前記曲線群の形は、車両の移動速度が違えば違ったものになるので、車両の移動速度ごとに、曲線群を用意しなければならない。
しかし、１つの移動速度に対応する曲線群を持っておけば、他の移動速度の曲線群は、時間のスケールを延び縮みさせるだけで簡単に求めることができる。
以上の説明では、図１１に示したように、グラフ上で時間を計り、曲線形の一致を調べていたが、これらの処理は、実際には、コンピュータの計算処理機能を利用して行うことは言うまでもない。例えば、前記曲線形の一致を調べるには、最小自乗法など、公知の最尤推定法を用いればよい。
【００３８】
以上のようにして、特徴ラインの実空間上の高さｚが分かったならば、その画面上の時々刻々の位置ｑを用いて、（１）式により、車両からカメラ２までの距離ｙを算出できる。このように、特徴ラインの実空間上の座標（ｙ，ｚ）が分かる。
したがって、特徴ライン位置を結合することにより、図１２に示すように、車両のシルエット画像を作成できる。
【００３９】
算出されたシルエット画像より、車長や車高、形状を判別し、図１３に示すように、大型車／小型車、セダン／ワゴン型などの車種判定を行うことができる。
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではない。例えば、物体として道路を走行する車両を想定したが、移動物体であれば、歩行者、航空機であってもよい。また、水面の上を航行する船舶であっても、その形状を判定することができる。その他、本発明の範囲内で種々の変更を施すことが可能である。
【図面の簡単な説明】
【００４０】
【図１】物体形状判定装置の構成図である。
【図２】撮影画像例を示す図である。
【図３】計測装置４の構成例を示すブロック図である。
【図４】車両形状算出処理方法を示すフローチャートである。
【図５】車両検出用の計測範囲Ｒを示す図である。
【図６】特徴ライン抽出処理を説明するための詳細フローチャートである。
【図７】水平エッジの検出用マスクを示す図である。
【図８】細線化された水平エッジ画像及び水平エッジ数ヒストグラムを示す図である。
【図９】画面に写った各特徴ライン位置の時空間上での軌跡図である。
【図１０】実空間と撮影面上の座標を定義した図である。
【図１１】特徴ラインの実空間上での高さｚを変数として、画面に写った各特徴ライン位置ｑと時間ｔとの関係ｑ(t)を示すグラフである。
【図１２】特徴ライン位置を結合して、車両のシルエット画像を作成した図である。
【図１３】シルエット画像より、車長や車高、形状を判別した結果を示す図である。
【符号の説明】
【００４１】
２カメラ
３映像ケーブル
４計測装置
４１画像入力部
４２Ａ／Ｄ変換部
４３画像メモリ
４４演算部
４５通信部

【特許請求の範囲】
【請求項１】
（ａ）物体が移動する場所を俯瞰するカメラにより、当該場所を周期的に撮影し、
（ｂ）撮影した画像内に移動物体が検出された場合に、その移動物体の速度と、当該画像に表れる、移動物体の移動方向に垂直な移動物体の特徴ラインとを検出し、
（ｃ）前記特徴ラインを画面上で追跡することにより、当該特徴ラインの高さを算出する移動物体の高さ検出方法。
【請求項２】
前記（ｃ）の手順において、
前記移動物体の速度と、前記特徴ラインが撮影画面の所定位置から所定位置まで通過する時間とに基づいて、当該特徴ラインの高さを算出する請求項１記載の移動物体の高さ検出方法。
【請求項３】
前記（ｃ）の手順において、
あらかじめ速度、高さの異なる特徴ラインの時間軌跡のパターンを用意し、測定した特徴ラインの時間軌跡点を同じ、速度のパターン群にフィッティングさせることにより、当該特徴ラインの高さを算出する請求項１記載の移動物体の高さ検出方法。
【請求項４】
道路面を俯瞰するように所定の高さに設置されたカメラと、
カメラの撮影画像を取り込み処理する計測装置と、
カメラの画面上に設定した検出範囲内で移動物体が検出された場合に、その移動物体の速度を検出する速度検出手段とを備え、
前記計測装置は、当該画像に表れる、移動物体の移動方向に垂直な移動物体の特徴ラインを検出する特徴ライン検出手段と、
当該車両の特徴ラインを画面上で追跡することにより、当該特徴ラインの高さを算出する高さ算出手段とを備える移動物体の高さ検出装置。
【請求項５】
請求項１記載の移動物体の高さ検出方法に基づいて検出された複数の特徴ラインを結合することにより、当該移動物体のシルエット画像を生成する物体形状判定方法。
【請求項６】
前記移動物体が車両であり、当該車両のシルエット画像に基づき車種判定する請求項５記載の物体形状判定方法。

【図１】