移動体識別装置、画像処理装置、コンピュータプログラム及び光軸方向特定方法
【課題】ビデオカメラ等の取付角度（レンズの光軸方向）を簡便に設定することができる移動体識別装置、画像処理装置、コンピュータプログラム及び光軸方向特定方法を提供する。
【解決手段】車両存在位置判定部６０は、検出範囲において車両有無識別部５１で車両が識別された場合、通信部１４を介して車両から受信した車両情報に含まれる車両の位置情報に基づいて、該車両が検出範囲内に存在するか否かを判定する。光軸方向特定部７０は、車両存在位置判定部６０で車両が検出範囲内に存在すると判定した場合、識別部５０で識別された車両位置を撮像画像上でプロットし、同様にして、複数の撮像時点で識別した車両位置をプロットする。また、同様の処理を複数の車両に対して行う。これにより、複数の車両それぞれの走行軌跡を表わす仮想直線を求め、仮想直線の交点からレンズの光軸方向を特定する。
【解決手段】車両存在位置判定部６０は、検出範囲において車両有無識別部５１で車両が識別された場合、通信部１４を介して車両から受信した車両情報に含まれる車両の位置情報に基づいて、該車両が検出範囲内に存在するか否かを判定する。光軸方向特定部７０は、車両存在位置判定部６０で車両が検出範囲内に存在すると判定した場合、識別部５０で識別された車両位置を撮像画像上でプロットし、同様にして、複数の撮像時点で識別した車両位置をプロットする。また、同様の処理を複数の車両に対して行う。これにより、複数の車両それぞれの走行軌跡を表わす仮想直線を求め、仮想直線の交点からレンズの光軸方向を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路を含む領域を撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する移動体識別装置、撮像画像に対して所定の処理を行う画像処理装置、前記移動体識別装置及び画像処理装置をコンピュータで実現するためのコンピュータプログラム及び前記移動体識別装置及び画像処理装置による光軸方向特定方法に関する。
【背景技術】
【０００２】
路側インフラ装置と車両（車載装置）とが有線又は無線による路車間通信にて情報を交換し、各装置が単独では実現できなかった機能を実現させるシステムが検討されている。特に、車両の運転者からは死角となる場所に存在する車両又は歩行者の情報をインフラ側より車両側に提供することで未然に交通事故を抑止する路車協調型安全運転支援システムの検討が進められている。
【０００３】
このようなシステムを実現するための主要技術としては、例えば、車両の位置情報、車種情報（例えば、自動車、二輪車又は歩行者等）、車両の移動速度又は移動方向などの情報を検出するセンサが必要である。このようなセンサとしては、例えば、レーザを利用するもの、あるいは、ビデオカメラで撮像した画像を利用するものがあるが、情報を検出することができる範囲の広さ、製品寿命、コスト及び性能などのバランスを考慮すると画像処理方式が有力である。
【０００４】
画像処理方式のセンサ（画像センサ）を使用する例として、例えば、ビデオカメラで撮像された画像情報から、車両の存在、小型車や中型車などの車種、車両速度などを検出して交通流計測を行う装置が開示されている（特許文献１参照）。
【特許文献１】特開平５−３０７６９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に開示されている画像処理方式のセンサの課題の１つは、撮像する道路の幅、車線の位置、車両の進行方向等に応じてビデオカメラで撮像する撮像範囲、ビデオカメラの設置高さ、俯角又は回転角などのビデオカメラの取付角度（ビデオカメラのレンズの光軸方向）の調整及び撮像画像上での車線位置等の設定を要することである。特に、車両の速度計測や位置を精度良く求めるためには、撮像画像上の位置と実際の道路上の位置を一致させておく必要があり、ビデオカメラの取付角度を正確に設定する必要があった。
【０００６】
従来、ビデオカメラの設置場所で取付角度の調整を行っていたが、調整作業には多大の労力を要した。また、調整作業中は、道路の車線規制などを行う必要があり、交通渋滞や交通事故の恐れもあった。このため、簡便な方法でビデオカメラ等の取付角度を設定することが望まれていた。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、ビデオカメラ等の取付角度（レンズの光軸方向）を簡便に設定することができる移動体識別装置及び画像処理装置、前記移動体識別装置及び画像処理装置をコンピュータで実現するためのコンピュータプログラム並びに前記移動体識別装置及び画像処理装置による光軸方向特定方法に関する。
【課題を解決するための手段】
【０００８】
第１発明に係る移動体識別装置は、道路を含む領域を撮像装置で撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する移動体識別装置であって、移動体の位置情報を取得する位置情報取得手段と、撮像画像上の部分画像を特定する部分画像特定手段と、該部分画像特定手段で特定した部分画像の特徴量を抽出する特徴量抽出手段と、該特徴量抽出手段で抽出した特徴量を用いて移動体を識別する識別手段と、該識別手段で移動体を識別した場合、前記位置情報取得手段で取得した位置情報、前記撮像装置のレンズの既知の光軸方向及び前記部分画像特定手段で特定した部分画像の撮像画像上の位置に基づいて、前記位置情報取得手段で位置情報を取得した移動体が前記部分画像に撮像されているか否かを判定する判定手段と、該判定手段で前記移動体が撮像されていると判定した場合、該移動体の撮像画像上の位置を算出する位置算出手段と、該位置算出手段で算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記光軸方向を修正すべく光軸方向を特定する光軸方向特定手段とを備えることを特徴とする。
【０００９】
第２発明に係る移動体識別装置は、第１発明において、前記特徴量抽出手段で抽出した特徴量を用いて天候又は昼夜の別を含む環境状況を識別する環境識別手段を備え、前記識別手段は、前記環境識別手段で識別した環境状況及び前記特徴量を用いて移動体を識別するように構成してあることを特徴とする。
【００１０】
第３発明に係る画像処理装置は、撮像装置で撮像して得られた撮像画像に対して所定の処理を行う画像処理装置において、撮像画像の特徴量を抽出する抽出手段と、該抽出手段で抽出した特徴量を用いて撮像画像上の移動体の位置を算出する位置算出手段と、該位置算出手段で算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記撮像装置のレンズの光軸方向を特定する光軸方向特定手段とを備えることを特徴とする。
【００１１】
第４発明に係るコンピュータプログラムは、コンピュータを、道路を含む領域を撮像装置で撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する手段として機能させるためのコンピュータプログラムであって、コンピュータを、撮像画像上の部分画像を特定する部分画像特定手段と、特定した部分画像の特徴量を抽出する特徴量抽出手段と、抽出した特徴量を用いて移動体を識別する識別手段と、移動体を識別した場合、移動体の位置情報、前記撮像装置のレンズの既知の光軸方向及び特定した部分画像の撮像画像上の位置に基づいて、前記移動体が前記部分画像に撮像されているか否かを判定する判定手段と、前記移動体が撮像されていると判定した場合、該移動体の撮像画像上の位置を算出する位置算出手段と、算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記光軸方向を修正すべく光軸方向を特定する光軸方向特定手段として機能させることを特徴とする。
【００１２】
第５発明に係るコンピュータプログラムは、コンピュータを、撮像装置で撮像して得られた撮像画像に対して所定の処理を行う手段として機能させるためのコンピュータプログラムにおいて、コンピュータを、撮像画像の特徴量を抽出する抽出手段と、抽出した特徴量を用いて撮像画像上の移動体の位置を算出する位置算出手段と、算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記撮像装置のレンズの光軸方向を特定する光軸方向特定手段として機能させることを特徴とする。
【００１３】
第６発明に係る光軸方向特定方法は、道路を含む領域を撮像装置で撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する移動体識別装置による光軸方向特定方法であって、移動体の位置情報を取得し、撮像画像上の部分画像を特定し、特定した部分画像の特徴量を抽出し、抽出した特徴量を用いて移動体を識別し、移動体を識別した場合、取得した位置情報、前記撮像装置のレンズの既知の光軸方向及び特定した部分画像の撮像画像上の位置に基づいて、前記位置情報を取得した移動体が前記部分画像に撮像されているか否かを判定し、前記移動体が撮像されていると判定した場合、該移動体の撮像画像上の位置を算出し、算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記光軸方向を修正すべく光軸方向を特定することを特徴とする。
【００１４】
第７発明に係る光軸方向特定方法は、撮像装置で撮像して得られた撮像画像に対して所定の処理を行う画像処理装置による光軸方向特定方法において、撮像画像の特徴量を抽出し、抽出した特徴量を用いて撮像画像上の移動体の位置を算出し、算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記撮像装置のレンズの光軸方向を特定することを特徴とする。
【００１５】
第１発明、第４発明及び第６発明にあっては、撮像画像上の部分画像を特定し、特定した部分画像の特徴量を抽出する。部分画像は、例えば、２４×３２画素の検出範囲であって、検出範囲を撮像画像上で走査して検出範囲の特徴量を抽出する。特徴量は、例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴を用いることができ、検出範囲の輝度の勾配強度を勾配方向毎にヒストグラム化した特徴ベクトルである。なお、特徴量は、ＨＯＧ特徴に限定されるものではなく、エッジ検出により抽出してもよい。抽出した特徴量を用いて移動体（例えば、車両）を識別手段（識別器）で識別した場合、移動体の位置情報、撮像装置のレンズの既知の光軸方向（例えば、光軸の俯角及び回転角）及び特定した部分画像（移動体を識別した際の特徴量を抽出した検出範囲）の撮像画像上の位置に基づいて、車両の位置情報を取得した移動体が部分画像（検出範囲）内にあるか否かを判定する。識別器は、特徴量（特徴ベクトル）が入力された場合、入力された特徴量と識別器パラメータとにより識別結果（判定情報、例えば、車両あり、車両なし等）を出力するものである。また、既知の光軸方向は、例えば、大凡に設定されたものであり精度良く特定する前のものである。
【００１６】
移動体が撮像されている（検出範囲内にある）と判定した場合、前記移動体の撮像画像上の位置を算出する。複数の撮像時点で同様にして移動体の位置を算出する。これにより、移動体の走行軌跡を表わす仮想直線を撮像画像上で求めることができる。また、複数の移動体について、同様に撮像画像上の複数の位置を算出する。これにより、複数の仮想直線を求めることができる。算出した各位置、すなわち、複数の仮想直線の交点（無限遠点）及び撮像装置の撮像パラメータ（例えば、撮像装置の撮像面の大きさ及び解像度、レンズの焦点距離など）を用いて、撮像装置のレンズの既知の光軸方向を修正すべく光軸方向（例えば、光軸の俯角及び回転角）を特定する。これにより、レンズの光軸方向（俯角及び回転角）を高精度かつ自動的に求めることができる。また、撮像装置の取付角度に関わる調整作業を手作業ではなく自動的に行うことができ、調整作業に要する車線規制なども不要になり、作業労力及び作業コストの低減を図ることができ、また、交通渋滞や交通事故の防止に繋がる。
【００１７】
第２発明にあっては、抽出した特徴量を用いて天候又は昼夜の別を含む環境状況を識別する環境識別手段（環境識別器）を備える。環境識別器は、特徴量（特徴ベクトル）が入力された場合、入力された特徴量と環境識別器パラメータとにより識別結果（判定情報、例えば、昼、夕方、夜、晴天、雨天等などの環境状況を出力するものである。車両を識別する場合、抽出した特徴量及び所要の環境状況（例えば、昼、夕方、晴れの夜間、雨天の夜間など）により車両（移動体）を識別する。これにより、環境状況に関わらず移動体を精度良く識別することができる。
【００１８】
第３発明、第５発明及び第７発明にあっては、撮像画像の特徴量を抽出する。特徴量は、例えば、エッジ検出により抽出してもよく、あるいは、ＨＯＧ（Histograms of Oriented Gradients）特徴を用いることもできる。抽出した特徴量を用いて撮像画像上の移動体の位置を算出する。複数の撮像時点で同様にして移動体の位置を算出する。これにより、移動体の走行軌跡を表わす仮想直線を撮像画像上で求めることができる。また、複数の移動体について、同様に撮像画像上の複数の位置を算出する。これにより、複数の仮想直線を求めることができる。算出した各位置、すなわち、複数の仮想直線の交点（無限遠点）及び撮像装置の撮像パラメータ（例えば、撮像装置の撮像面の大きさ及び解像度、レンズの焦点距離など）を用いて、撮像装置のレンズの光軸方向（例えば、光軸の俯角及び回転角）を特定する。これにより、撮像装置の取付角度に関わる調整作業を手作業ではなく自動的に行うことができ、調整作業に要する車線規制なども不要になり、作業労力及び作業コストの低減を図ることができ、また、交通渋滞や交通事故の防止に繋がる。
【発明の効果】
【００１９】
本発明によれば、撮像装置の取付角度に関わる調整作業を手作業ではなく自動的に行うことができ、調整作業に要する車線規制なども不要になり、作業労力及び作業コストの低減を図ることができ、また、交通渋滞や交通事故の防止に繋がる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る移動体識別装置である車両識別装置１００の構成の一例を示すブロック図である。車両識別装置１００は、画像入力部１１、Ａ／Ｄ変換部１２、画像メモリ１３、通信部１４、記憶部１５、装置全体を制御する制御部２０、部分画像特定部３０、特徴量抽出部４０、識別手段（識別器）としての識別部５０、車両存在位置判定部６０、ビデオカメラ１０のレンズの光軸方向を特定する光軸方向特定部７０などを備える。また、識別部５０は、車両有無識別部５１、車種識別部５２、環境識別部５３、環境別車両有無識別部５４などを備えている。また、画像入力部１１には、ビデオカメラ１０を接続してある。なお、ビデオカメラ１０は、車両識別装置１００とは別個の装置であってもよく、あるいは、両者が一体をなす構成であってもよい。
【００２１】
ビデオカメラ１０は、道路を含む所要の領域を撮像すべく、所定の高さ、レンズの光軸方向（例えば、俯角及び回転角）などの撮像条件が設定された状態で道路付近の所要の地点に設置してある。ビデオカメラ１０は、撮像して得られた撮像画像を映像信号（アナログ信号）として画像入力部１１へ出力する。
【００２２】
まず、ビデオカメラ１０のレンズの光軸方向の大凡の値（初期値）設定方法について説明する。図２は道路座標系を示す説明図である。図２に示すように、ビデオカメラ１０のレンズ中心を原点として、道路座標系（Ｘ、Ｙ、Ｚ）を定義する。道路座標系は、道路の進行方向（ビデオカメラ１０から離れる方向）をＹ軸（前方向を正）、道路方向と垂直な道路面上の方向をＸ軸（前方に向かって右方向を正）、路面と垂直な方向をＺ軸（上方を正）とする。また、ビデオカメラ１０のレンズ中心を原点として、カメラ座標系（Ｘ’、Ｙ’、Ｚ’）を定義する。カメラ座標系は、カメラレンズの光軸をＹ’軸、光軸に垂直であって水平方向の軸をＸ’軸、カメラの上方向をＺ’軸とする。さらに、カメラ座標系の各軸の道路座標系の各軸に対する回転角を、それぞれα（ピッチ角）、β（ロール角）、γ（ヨー角）とし、全て右ねじの進む方向を正（α：水平面より上向きが正、β：右回りが正、γ：左回りが正）とする。この場合、道路座標系からカメラ座標系の変換式は、式（１）で表すことができる。
【００２３】
【数１】
【００２４】
変換行列の係数Ｐ１１〜Ｐ３３それぞれは、式（２）で表すことができる。また、撮像画像上の座標（ｘ、ｙ）は、レンズの焦点距離をＦとすると、式（３）で表すことができる。
【００２５】
図３はビデオカメラ１０の取付状態を示す説明図である。ビデオカメラ１０のレンズの光軸方向は、俯角及び回転角により特定することができる。図３（ａ）に示すように、俯角は、道路面と平行な面とレンズの光軸とのなす角である。レンズの光軸が道路面と平行な場合には、俯角は０度であり、レンズの光軸が下に向く方向を正の俯角と定義する。この場合、俯角は上述のピッチ角の方向とは逆になり、−αで表わすことができる。
【００２６】
また、図３（ｂ）に示すように、回転角は道路の進行方向とレンズの光軸とのなす角である。レンズの光軸が道路の進行方向と平行な場合には、回転角は０度であり、レンズの光軸が左へ向く方向を正の回転角と定義する。この場合、回転角は上述のヨー角（γ）で表わすことができる。なお、ロール角βは水平器を用いて０に設定するものとする。ビデオカメラ１０のレンズの光軸方向の大凡の値を設定するということは、上述のピッチ角（α）、ヨー角（γ）を暫定的に求めることである。
【００２７】
図４はビデオカメラ１０のレンズの光軸方向の初期設定の例を示す説明図である。光軸方向の初期設定は、ビデオカメラ１０を設置した際に、レンズの光軸方向（俯角と回転角）の大凡の値を設定するものである。これにより、俯角及び回転角を予め定めておく。光軸方向の大凡の設定方法としては、例えば、計測範囲の左右端（例えば、道路の端）の境界位置（Ｅ１、Ｅ２、Ｅ３、Ｅ４）を撮像画像上で設定することで２つの境界線を決定する。なお、この作業は人手により容易に行うことができる。そして、２つの境界線の交点Ｅ０により、俯角及び回転角を算出し、撮像画像上の座標と実際の道路上の位置とを合わせておく。
【００２８】
ビデオカメラ１０の撮像パラメータを以下のとおりとする。すなわち、ビデオカメラの設置高さをＨ、撮像面の横サイズをＳＨ、縦サイズをＳＶ、撮像面の横解像度（画素数）をＲＨ、縦解像度（ライン数）をＲＶ、レンズの焦点距離をＦとする。
【００２９】
図４に示すように、撮像画像上の点Ｅ１〜Ｅ４の座標をそれぞれ（ｘ１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）、（ｘ４、ｙ４）とする。点Ｅ１、Ｅ２を結ぶ仮想直線Ｅ１Ｅ２と、点Ｅ３、Ｅ４を結ぶ仮想直線Ｅ３Ｅ４との交点をＥ０とする。仮想直線Ｅ１Ｅ２は式（４）で表わすことができ、仮想直線Ｅ３Ｅ４は式（５）で表わすことができる。
【００３０】
【数２】
【００３１】
また、交点Ｅ０の座標を（ｘ０、ｙ０）とすると、交点Ｅ０は、式（６）により求めることができる。撮像面上での交点Ｅ１の座標（ｓ０、ｔ０）は、式（７）で求めることができ、俯角α及び回転角γは、式（８）で算出することができる。式（８）で算出した俯角及び回転角は、大凡の値であり、光軸方向特定部７０で求める前の暫定的な既知の値である。
【００３２】
画像入力部１１は、取得した映像信号をＡ／Ｄ変換部１２へ出力する。
【００３３】
Ａ／Ｄ変換部１２は、入力された映像信号をデジタル信号に変換し、変換したデジタル信号を画像データとして画像メモリ１３へ記憶する。画像入力部１１を介してビデオカメラ１０から入力された撮像画像は、ビデオカメラ１０のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位（例えば、２４０×３２０画素）の画像データとして画像メモリ１３に記憶される。
【００３４】
図５は撮像画像の一例を示す説明図である。図５に示すように、ビデオカメラ１０を所定の撮像条件で道路付近に設置することで、所要の道路を走行する車両を撮像することができる。なお、ビデオカメラ１０を設置する場合、レンズの光軸方向（例えば、俯角及び回転角など）は、大凡に設定されたものであり、後述のとおり、レンズの光軸方向は、光軸方向特定部７０で自動的に精度良く特定（設定）される。また、図５では、撮像画像の大きさは２４０×３２０画素であるが、撮像画像の大きさはこれに限定されるものではない。
【００３５】
通信部１４は、狭域通信機能、ＵＨＦ帯若しくはＶＨＦ帯などの無線ＬＡＮ等の中域通信機能、及び携帯電話、ＰＨＳ、多重ＦＭ放送若しくはインターネット通信などの広域通信機能を備える。通信部１４は、ビデオカメラ１０の撮像領域内又はその付近に存在する車両から所定の車両情報（例えば、車両の位置情報、車速情報、車種情報、ワイパー及びヘッドライト等の車灯の動作状況を示す情報など）を受信する。また、通信部１４は、車両を識別した結果得られた識別情報を付近に存在する車両へ送信する。また、通信部１４は、交通管制センタ等に設置されたサーバ装置、他の車両識別装置との間で所定の情報の送受信を行う。
【００３６】
記憶部１５は、制御部２０の制御により、車両識別装置１００の処理により得られたデータ、通信部１４を介して受信したデータなどを記憶する。
【００３７】
部分画像特定部３０は、撮像画像上で所要の大きさの部分画像を特定し、特定した部分画像を撮像画像上で走査する。部分画像は、後述する特徴量を抽出するための検出範囲を画定する。
【００３８】
図６は検出範囲の一例を示す説明図である。図６に示すように、検出範囲の大きさは、例えば、２４×３２画素である。検出範囲を撮像画像上で走査する場合、図６に示すように１回の走査で水平方向に１６画素だけ検出範囲を移動させることができる。
【００３９】
特徴量抽出部４０は、検出範囲の特徴量を抽出する。特徴量は、ＨＯＧ（Histograms of Oriented Gradients）特徴を用いることができ、検出範囲の輝度の勾配強度を勾配方向毎にヒストグラム化した特徴ベクトルである。なお、特徴量は、ＨＯＧ特徴に限定されるものではなく、エッジ検出により抽出してもよい。
【００４０】
以下、特徴量としての特徴ベクトルの算出方法について説明する。図７は局所領域の一例を示す説明図である。局所領域（ブロック）は、２４×３２画素の検出範囲から一部が重複するように抽出され、例えば、１６×１６画素の大きさを有する。従って、検出範囲から６つの局所領域を抽出することができる。また、局所領域は、４個のセル（８×８画素の領域）で構成されている。
【００４１】
図８は輝度の勾配強度と勾配方向の一例を示す説明図である。セル内の画素の位置を（ｘ、ｙ）で表わす。画素（ｘ、ｙ）における輝度の勾配強度をｍ（ｘ、ｙ）、勾配方向をθ（ｘ、ｙ）とする。勾配強度ｍ（ｘ、ｙ）、勾配方向θ（ｘ、ｙ）は、式（９）〜式（１１）で求めることができる。ここで、ｆｘ（ｘ、ｙ）は横方向（ｘ方向）の輝度勾配であり、ｆｙ（ｘ、ｙ）は縦方向（ｙ方向）の輝度勾配であり、式（３）以外にも、例えば、Ｓｏｂｅｌフィルタにより求めることができる。また、Ｌ（ｘ、ｙ）は、画素（ｘ、ｙ）の輝度である。
【００４２】
【数３】
【００４３】
そして、セル毎に８方向のヒストグラムを作成する。図９は勾配方向の一例を示す説明図であり、図１０は勾配強度のヒストグラムの一例を示す説明図である。図９に示すように、勾配方向を４５°毎に分割し８方向の（ｊ＝１〜８）勾配方向を設定する。また、図１０に示すように、算出した輝度の勾配強度を勾配方向毎に振り分けてヒストグラムを作成する。勾配強度を算出する場合に、局所領域（ブロック）の中心からの距離に反比例したσ＝１．６のガウシアンフィルタを局所領域に対して施してエッジ強度を平滑化することもできる。
【００４４】
セル毎に求めたヒストグラムを局所領域でまとめ、局所領域毎のヒストグラムの最大要素（勾配強度の最大値）で各ヒストグラムの要素（勾配強度）を除算して正規化する。これにより、１つの局所領域（ブロック）で抽出された３２次元の特徴ベクトルの最大成分は１となる。１つの検出範囲で６つの局所領域があるので、式（１２）に示すように、１つの検出範囲について１９２次元（３２次元×６＝１９２次元）の特徴ベクトルＶを算出することができる。
【００４５】
【数４】
【００４６】
隣接画素の勾配を検出範囲毎にヒストグラム化して正規化するため、道路を撮像して得られる撮像画像に対するノイズ又は明るさの変化、影の有無などの影響を受けにくく局所的な幾何学変化（平行移動、回転など）に対して頑健である。
【００４７】
識別部５０は、特徴量抽出部４０で抽出した特徴量（特徴ベクトル）を入力情報として、車両の有無を含む所定の識別判定を行い、識別結果（判定情報）を出力する。識別部５０は、車両有無識別器を有する車両有無識別部５１、車種識別器を有する車種識別部５２、環境識別器を有する環境識別部５３、環境別車両有無識別器を有する環境別車両有無識別部５４などを備えている。
【００４８】
図１１は識別部５０の各識別器の概要を示す説明図であり、図１２は識別部５０の各識別器の識別内容を示す説明図である。車両有無識別器は、特徴ベクトルＶが入力された場合、識別情報Ｄｃ＝Ａｃ・Ｖを出力する。ここで、Ａｃは車両有無識別器の識別器パラメータである。車両有無識別器は、入力された特徴ベクトルＶに対して、識別器パラメータＡｃによる所定の演算を行って、識別結果（クラス）として車両あり又は車両なしを判定する。出力された識別情報Ｄｃが、例えば、Ｄｃ＞０であれば車両ありと判定され、Ｄｃ＜０であれば車両なしと判定することができる。なお、判定条件は一例であって、これに限定されるものではない。
【００４９】
また、車種識別器は、特徴ベクトルＶが入力された場合、識別情報Ｄｔ＝Ａｔ・Ｖを出力する。ここで、Ａｔは車種識別器の識別器パラメータである。車種識別器は、入力された特徴ベクトルＶに対して、識別器パラメータＡｔによる所定の演算を行って、識別結果（クラス）として、例えば、普通車、大型車、二輪車又は歩行者などの別を判定する。出力された識別情報Ｄｔが、例えば、０＜Ｄｔ＜Ｔｔ１であれば普通車と判定され、Ｔｔ１＜Ｄｔ＜Ｔｔ２であれば大型車と判定され、Ｔｔ２＜Ｄｔ＜Ｔｔ３であれば二輪車と判定され、Ｄｔ＜０であれば歩行者と判定することができる。なお、判定条件は一例であって、これに限定されるものではない。
【００５０】
また、環境識別器は、特徴ベクトルＶが入力された場合、識別情報Ｄｗ＝Ａｗ・Ｖを出力する。ここで、Ａｗは環境識別器の識別器パラメータである。環境識別器は、入力された特徴ベクトルＶに対して、識別器パラメータＡｗによる所定の演算を行って、識別結果（クラス）として、例えば、昼、夕方、晴れの夜間、雨天の夜間などの別を判定する。出力された識別情報Ｄｗが、例えば、０＜Ｄｗ＜Ｔｗ１であれば昼と判定され、Ｔｗ１＜Ｄｗ＜Ｔｗ２であれば夕方と判定され、Ｔｗ２＜Ｄｗ＜Ｔｗ３であれば晴れの夜間と判定され、Ｔｗ３＜Ｄｗ＜Ｔｗ４であれば雨天の夜間と判定することができる。なお、判定条件は一例であって、これに限定されるものではない。
【００５１】
また、環境別車両有無識別器は、特徴ベクトルＶが入力された場合、識別情報Ｄｃｗ＝Ａｃｗ・Ｖを出力する。ここで、Ａｃｗは環境別車両有無識別器の識別器パラメータである。環境別車両有無識別器は、入力された特徴ベクトルＶに対して、識別器パラメータＡｃｗによる所定の演算を行って、識別結果（クラス）として、例えば、昼車両あり、夕方車両あり、晴夜車両あり、雨夜車両あり、昼車両なし、夕方車両なし、晴夜車両なし、雨夜車両なしなどの別を判定する。なお、判定内容は、上述の各識別器と同様に識別情報Ｄｃｗの値に応じて区別することができる。
【００５２】
車両存在位置判定部６０は、検出範囲（部分画像）において車両有無識別部５１で車両が識別された場合（車両ありと判定された場合）、通信部１４を介して車両から受信した車両情報に含まれる車両の位置情報に基づいて、該車両が検出範囲内に存在するか否かを判定する。すなわち、車両存在位置判定部６０は、車両情報を受信したときに、その車両情報を送信した車両が、特徴ベクトルを抽出して車両ありと判定された検出範囲内の車両と同一車両であるか否かを判定する。なお、同一車両である否かの判定は、車両の位置検出精度に応じて所要の誤差範囲を含めることができる。すなわち、車両の位置情報に誤差範囲を加味した位置が検出範囲内にあるか否かで判定すればよい。また、車両有無識別部５１に代えて環境別車両有無識別部５４を用いることもできる。これにより、環境状況に関わらず車両を精度良く識別することができる。
【００５３】
より具体的には、車両が検出範囲内に存在するか否かは、以下のように行うことができる。車両から受信した車両情報に含まれる車両の位置をＰｃａｒとし、特徴ベクトルを抽出して車両ありと判定された検出範囲の中心位置をＰｄｅｔとする。ただし、Ｐｃａｒ及びＰｄｅｔは、カメラ設置位置を基準とする実道路上での位置とする。この場合に、２つの位置の距離がある誤差(Ｅｒｒ)範囲以下のとき、すなわち、｜Ｐｃａｒ−Ｐｄｅｔ|＜Ｅｒｒ、のとき、検出範囲内に車両が存在すると判定する。
【００５４】
光軸方向特定部７０は、ビデオカメラ１０のレンズの予め定められた大凡の光軸方向を手作業による調整を行うことなく自動的かつ高精度に特定する。以下、光軸方向（俯角及び回転角）の特定方法について説明する。
【００５５】
図１３は車両識別装置１００の光軸方向特定モードの適用例を示す説明図である。図１３に示すように、車両識別装置１００は、撮像範囲を走行する車両Ｃ１を撮像するとともに、車両Ｃ１から車両Ｃ１の位置情報を含む車両情報を受信する。車両識別装置１００は、撮像画像から抽出した特徴量（特徴ベクトル）を用いて識別部５０（車両有無識別部５１、又は環境別車両有無識別部５４）で車両を識別する。
【００５６】
光軸方向特定部７０は、車両存在位置判定部６０で車両が検出範囲内に存在すると判定した場合、識別部５０で識別された車両位置（例えば、車両を識別した検出範囲の中心位置）を撮像画像上でプロットし、同様にして、複数の撮像時点で識別した車両位置をプロットする。これにより、車両の走行軌跡を表わす仮想直線を撮像画像上で求めることができる。なお、同じ車両を追跡するには、例えば、テンプレートマチング方式等を用いることができる。また、車両を追跡する場合の位置としては、例えば、検出範囲の重心位置、車両の先頭位置などを用いることができる。
【００５７】
次に、同様の処理を複数の車両に対して行う。これにより、複数の車両それぞれの走行軌跡を表わす仮想直線を求めることができる。
【００５８】
図１４はビデオカメラ１０のレンズの光軸方向の特定方法の一例を示す説明図である。１つの車両の撮像画像上でプロットした位置をＡ、Ｂとし、それぞれの座標をＡ（ｘａ、ｙａ）、Ｂ（ｘｂ、ｙｂ）とする。また、他の車両の撮像画像上でプロットした位置をＣ、Ｄとし、それぞれの座標をＣ（ｘｃ、ｙｃ）、Ｄ（ｘｄ、ｙｄ）とする。なお、プロットした位置は、車両毎に２点に限定されるものではなく、さらに多数の位置をプロットすることができる。
【００５９】
次に、位置Ａ、Ｂを通る車両の走行軌跡を直線近似することにより仮想直線ＡＢを求める。同様にして、位置Ｃ、Ｄを通る車両の走行軌跡を直線近似することにより仮想直線ＣＤを求める。仮想直線ＡＢは式（１３）で表わすことができ、仮想直線ＣＤは式（１４）で表わすことができる。
【００６０】
【数５】
【００６１】
仮想直線ＡＢ及びＣＤの交点（無限遠点）をＭとし、その座標をＭ（ｍｘ、ｍｙ）とすると、無限遠点Ｍ（ｍｘ、ｍｙ）は、式（１５）により算出することができる。そして、撮像面上での無限遠点Ｍの座標（ｍｓ、ｍｔ）は、式（１６）で求めることができ、俯角α′及び回転角γ′は、式（１７）で算出することができる。
【００６２】
なお、式（１６）及び（１７）において、ビデオカメラ１０の撮像パラメータを以下のとおりとする。すなわち、ビデオカメラ１０の撮像面の横サイズをＳＨ、縦サイズをＳＶ、撮像面の横解像度（画素数）をＲＨ、縦解像度（ライン数）をＲＶ、レンズの焦点距離をＦとする。
【００６３】
式（１７）で算出した俯角及び回転角は、図４により求めた暫定的な既知の値を修正するものであり、自動的かつ高精度に求めることができる。
【００６４】
制御部２０、部分画像特定部３０、特徴量抽出部４０、識別部５０、車両存在位置判定部６０、光軸方向特定部７０などは、専用のハードウエア回路で実現することができる。また、各部の機能を定めたコンピュータプログラムをＣＰＵで実行させることで実現することもできる。
【００６５】
従来のような時間差分結果の積分などを用いる方法にあっては、周囲の環境変化により車両以外のノイズ成分も車両存在範囲に含まれるので、正確な車両存在範囲を特定することが困難であった。本発明によれば、ビデオカメラ１０で撮像した撮像画像により求めた車両位置と車両から取得した位置情報との両者を用いることにより、確実に車両が存在する範囲を決定することができる。
【００６６】
図１５は車両識別装置１００の情報提供モードの適用例を示す説明図である。図１５に示すように、車両識別装置１００を交差点付近に設置し、所要の撮像範囲をビデオカメラで撮像する。車両識別装置１００は、撮像範囲が見通し外となる車両Ｃ２、Ｃ３などに対して、見通し外の車両又は見通し外の歩行者などの識別を行い、識別結果に基づいて情報提供を行う。これにより、車両の運転者から死角となる地点の車両や歩行者の情報を提供することができ、交通事故を未然に防止することができる。
【００６７】
次に車両識別装置１００の動作について説明する。図１６は光軸方向特定の処理手順を示すフローチャートである。制御部２０は、撮像画像を取得し（Ｓ１１）、部分画像としての検出範囲を特定した上で走査する（Ｓ１２）。制御部２０は、検出範囲の特徴量としての特徴ベクトルを算出し（Ｓ１３）、算出した特徴ベクトルに対して識別器パラメータによる演算を施して識別処理（例えば、車両の有無の識別）を行う（Ｓ１４）。なお、この場合、識別器としては、車両有無識別器又は環境別車両有無識別器を用いることができる。
【００６８】
制御部２０は、車両の有無を判定し（Ｓ１５）、車両ありの場合（Ｓ１５でＹＥＳ）、車両の位置情報を含む車両情報を受信したか否かを判定する（Ｓ１６）。なお、車両情報は、位置情報のみでもよい。車両情報を受信した場合（Ｓ１６でＹＥＳ）、制御部２０は、受信した位置情報に基づいて車両位置が検出範囲内にあるか否かを判定する（Ｓ１７）。
【００６９】
車両位置が検出範囲内にある場合（Ｓ１７でＹＥＳ）、すなわち、車両情報を受信したときに、その車両情報を送信した車両が、特徴ベクトルを抽出して車両ありと判定された検出範囲内の車両と同一車両である場合、制御部２０は、撮像画像上で車両位置をプロットする（Ｓ１８）。
【００７０】
制御部２０は、複数の撮像時点でのプロット位置により車両の軌跡を算出し（Ｓ１９）、複数車両の軌跡により無限遠点を算出する（Ｓ２０）。制御部２０は、レンズの光軸方向を特定（俯角及び回転角を算出）し（Ｓ２１）、処理を終了する。
【００７１】
また、車両なしの場合（Ｓ１５でＮＯ）、車両情報を受信していない場合（Ｓ１６でＮＯ）、あるいは、車両位置が検出範囲内でない場合（Ｓ１７でＮＯ）、制御部２０は、ステップＳ１１以降の処理を続ける。
【００７２】
これにより、ビデオカメラ１０の取付角度に関わる調整作業を手作業ではなく自動的に行うことができ、調整作業に要する車線規制なども不要になり、作業労力及び作業コストの低減を図ることができ、また、交通渋滞や交通事故の防止に繋がる。
【００７３】
ビデオカメラ１０のレンズの光軸方向の初期値（暫定値）は、図４の例のように手作業で道路上の複数地点を撮像画像上で設定することにより求めることができる。しかし、光軸方向を求める方法は、これに限定されるものではなく、画像処理により求めることもできる。
【００７４】
図１７は本発明に係る画像処理装置２００の構成の一例を示すブロック図である。画像処理装置２００は、必ずしも車両を識別するための装置でなくてもよく、他の所定の画像処理を行うものであればよい。
【００７５】
画像処理装置２００は、画像入力部１１、Ａ／Ｄ変換部１２、画像メモリ１３、通信部１４、記憶部１５、装置全体を制御する制御部２０１、所定の画像処理を行う画像処理部２０２、移動体特定部２０３、光軸方向特定部２０４などを備える。また、画像入力部１１には、ビデオカメラ１０を接続してある。なお、ビデオカメラ１０は、画像処理装置２００とは別個の装置であってもよく、あるいは、両者が一体をなす構成であってもよい。また、車両識別装置１００と同様の構成のものは同一符号を付して説明を省略する。
【００７６】
移動体特定部２０３は、撮像画像の特徴量を抽出し、抽出した特徴量を用いて撮像画像上の移動体（車両）の位置を算出する。特徴量は、例えば、エッジ検出により抽出してもよく、あるいは、ＨＯＧ（Histograms of Oriented Gradients）特徴を用いることもできる。
【００７７】
光軸方向特定部２０４は、移動体特定部２０３で算出した車両位置を撮像画像上でプロットし、同様にして、複数の撮像時点で算出した車両位置をプロットする。これにより、車両の走行軌跡を表わす仮想直線を撮像画像上で求めることができる。なお、同じ車両を追跡するには、例えば、テンプレートマッチング方式等を用いることができる。また、車両を追跡する場合の位置としては、例えば、車両の先頭位置などを用いることができる。
【００７８】
光軸方向特定部２０４は、同様の処理を複数の車両に対して行う。これにより、複数の車両それぞれの走行軌跡を表わす仮想直線を求めることができる。光軸方向特定部２０４は、複数の仮想直線の交点（無限遠点）及びビデオカメラ１０の撮像パラメータ（例えば、撮像面の大きさ及び解像度、レンズの焦点距離など）を用いて、ビデオカメラ１０のレンズの光軸方向（光軸の俯角及び回転角）を特定する。
【００７９】
以上説明したように、本発明の画像処理装置２００によれば、ビデオカメラ１０の取付角度に関わる調整作業を手作業ではなく自動的に行うことができ、調整作業に要する車線規制なども不要になり、作業労力及び作業コストの低減を図ることができ、また、交通渋滞や交通事故の防止に繋がる。
【００８０】
また、本発明の車両識別装置１００によれば、ビデオカメラ１０で撮像した撮像画像により求めた車両位置と車両から取得した位置情報との両者を用いることにより、確実に車両が存在する範囲を決定することができる。このため、レンズの光軸方向（俯角及び回転角）を高精度かつ自動的に求めることができる。また、ビデオカメラ１０の取付角度に関わる調整作業を手作業ではなく自動的に行うことができ、調整作業に要する車線規制なども不要になり、作業労力及び作業コストの低減を図ることができ、また、交通渋滞や交通事故の防止に繋がる。
【００８１】
上述の実施の形態では、車両の走行軌跡を直線近似して求めた仮想直線の交点により、ビデオカメラ１０のレンズの光軸の俯角及び回転角を求める構成であったが、これに限定されるものではない。例えば、ビデオカメラの焦点距離や撮像面の画素の間隔などのビデオカメラの内部パラメータ、ビデオカメラの位置と姿勢により決定される外部パラメータ及びこれら内部パラメータと外部パラメータとを組み合わせたパラメータ等を構成要素とする透視投影行列を用いることもできる。この場合、６個以上の道路面上の位置と撮像画像上の位置との組み合わせにより、レンズの光軸の俯角及び回転角を算出することができる。
【００８２】
上述の実施の形態において、複数の車両の走行軌跡や車両の存在範囲により、道路の車線数や車線位置などを検出することもできる。すなわち、車線境界は各車線における走行軌跡（車両の通過経路）間の中心位置として求めることができる。また、車両の存在分布が少ない範囲において、追跡方向に沿った白線を検出することにより、車線位置を検出することもできる。
【００８３】
以上に開示された実施の形態及び実施例は、全ての点で例示であって制限的なものではないと考慮されるべきである。本発明の範囲は、以上の実施の形態及び実施例ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての修正や変形を含むものと意図される。
【図面の簡単な説明】
【００８４】
【図１】本発明に係る移動体識別装置である車両識別装置の構成の一例を示すブロック図である。
【図２】道路座標系を示す説明図である。
【図３】ビデオカメラの取付状態を示す説明図である。
【図４】ビデオカメラのレンズの光軸方向の初期設定の例を示す説明図である。
【図５】撮像画像の一例を示す説明図である。
【図６】検出範囲の一例を示す説明図である。
【図７】局所領域の一例を示す説明図である。
【図８】輝度の勾配強度と勾配方向の一例を示す説明図である。
【図９】勾配方向の一例を示す説明図である。
【図１０】勾配強度のヒストグラムの一例を示す説明図である。
【図１１】識別部の各識別器の概要を示す説明図である。
【図１２】識別部の各識別器の識別内容を示す説明図である。
【図１３】車両識別装置の光軸方向特定モードの適用例を示す説明図である。
【図１４】ビデオカメラのレンズの光軸方向の特定方法の一例を示す説明図である。
【図１５】車両識別装置の情報提供モードの適用例を示す説明図である。
【図１６】光軸方向特定の処理手順を示すフローチャートである。
【図１７】本発明に係る画像処理装置の構成の一例を示すブロック図である。
【符号の説明】
【００８５】
１０ ビデオカメラ
１１ 画像入力部
１２ Ａ／Ｄ変換部
１３ 画像メモリ
１４ 通信部
１５ 記憶部
２０ 制御部
３０ 部分画像特定部
４０ 特徴量抽出部
５０ 識別部
５１ 車両有無識別部
５２ 車種識別部
５３ 環境識別部
５４ 環境別車両有無識別部
６０ 車両存在位置判定部
７０ 光軸方向特定部
【技術分野】
【０００１】
本発明は、道路を含む領域を撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する移動体識別装置、撮像画像に対して所定の処理を行う画像処理装置、前記移動体識別装置及び画像処理装置をコンピュータで実現するためのコンピュータプログラム及び前記移動体識別装置及び画像処理装置による光軸方向特定方法に関する。
【背景技術】
【０００２】
路側インフラ装置と車両（車載装置）とが有線又は無線による路車間通信にて情報を交換し、各装置が単独では実現できなかった機能を実現させるシステムが検討されている。特に、車両の運転者からは死角となる場所に存在する車両又は歩行者の情報をインフラ側より車両側に提供することで未然に交通事故を抑止する路車協調型安全運転支援システムの検討が進められている。
【０００３】
このようなシステムを実現するための主要技術としては、例えば、車両の位置情報、車種情報（例えば、自動車、二輪車又は歩行者等）、車両の移動速度又は移動方向などの情報を検出するセンサが必要である。このようなセンサとしては、例えば、レーザを利用するもの、あるいは、ビデオカメラで撮像した画像を利用するものがあるが、情報を検出することができる範囲の広さ、製品寿命、コスト及び性能などのバランスを考慮すると画像処理方式が有力である。
【０００４】
画像処理方式のセンサ（画像センサ）を使用する例として、例えば、ビデオカメラで撮像された画像情報から、車両の存在、小型車や中型車などの車種、車両速度などを検出して交通流計測を行う装置が開示されている（特許文献１参照）。
【特許文献１】特開平５−３０７６９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に開示されている画像処理方式のセンサの課題の１つは、撮像する道路の幅、車線の位置、車両の進行方向等に応じてビデオカメラで撮像する撮像範囲、ビデオカメラの設置高さ、俯角又は回転角などのビデオカメラの取付角度（ビデオカメラのレンズの光軸方向）の調整及び撮像画像上での車線位置等の設定を要することである。特に、車両の速度計測や位置を精度良く求めるためには、撮像画像上の位置と実際の道路上の位置を一致させておく必要があり、ビデオカメラの取付角度を正確に設定する必要があった。
【０００６】
従来、ビデオカメラの設置場所で取付角度の調整を行っていたが、調整作業には多大の労力を要した。また、調整作業中は、道路の車線規制などを行う必要があり、交通渋滞や交通事故の恐れもあった。このため、簡便な方法でビデオカメラ等の取付角度を設定することが望まれていた。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、ビデオカメラ等の取付角度（レンズの光軸方向）を簡便に設定することができる移動体識別装置及び画像処理装置、前記移動体識別装置及び画像処理装置をコンピュータで実現するためのコンピュータプログラム並びに前記移動体識別装置及び画像処理装置による光軸方向特定方法に関する。
【課題を解決するための手段】
【０００８】
第１発明に係る移動体識別装置は、道路を含む領域を撮像装置で撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する移動体識別装置であって、移動体の位置情報を取得する位置情報取得手段と、撮像画像上の部分画像を特定する部分画像特定手段と、該部分画像特定手段で特定した部分画像の特徴量を抽出する特徴量抽出手段と、該特徴量抽出手段で抽出した特徴量を用いて移動体を識別する識別手段と、該識別手段で移動体を識別した場合、前記位置情報取得手段で取得した位置情報、前記撮像装置のレンズの既知の光軸方向及び前記部分画像特定手段で特定した部分画像の撮像画像上の位置に基づいて、前記位置情報取得手段で位置情報を取得した移動体が前記部分画像に撮像されているか否かを判定する判定手段と、該判定手段で前記移動体が撮像されていると判定した場合、該移動体の撮像画像上の位置を算出する位置算出手段と、該位置算出手段で算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記光軸方向を修正すべく光軸方向を特定する光軸方向特定手段とを備えることを特徴とする。
【０００９】
第２発明に係る移動体識別装置は、第１発明において、前記特徴量抽出手段で抽出した特徴量を用いて天候又は昼夜の別を含む環境状況を識別する環境識別手段を備え、前記識別手段は、前記環境識別手段で識別した環境状況及び前記特徴量を用いて移動体を識別するように構成してあることを特徴とする。
【００１０】
第３発明に係る画像処理装置は、撮像装置で撮像して得られた撮像画像に対して所定の処理を行う画像処理装置において、撮像画像の特徴量を抽出する抽出手段と、該抽出手段で抽出した特徴量を用いて撮像画像上の移動体の位置を算出する位置算出手段と、該位置算出手段で算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記撮像装置のレンズの光軸方向を特定する光軸方向特定手段とを備えることを特徴とする。
【００１１】
第４発明に係るコンピュータプログラムは、コンピュータを、道路を含む領域を撮像装置で撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する手段として機能させるためのコンピュータプログラムであって、コンピュータを、撮像画像上の部分画像を特定する部分画像特定手段と、特定した部分画像の特徴量を抽出する特徴量抽出手段と、抽出した特徴量を用いて移動体を識別する識別手段と、移動体を識別した場合、移動体の位置情報、前記撮像装置のレンズの既知の光軸方向及び特定した部分画像の撮像画像上の位置に基づいて、前記移動体が前記部分画像に撮像されているか否かを判定する判定手段と、前記移動体が撮像されていると判定した場合、該移動体の撮像画像上の位置を算出する位置算出手段と、算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記光軸方向を修正すべく光軸方向を特定する光軸方向特定手段として機能させることを特徴とする。
【００１２】
第５発明に係るコンピュータプログラムは、コンピュータを、撮像装置で撮像して得られた撮像画像に対して所定の処理を行う手段として機能させるためのコンピュータプログラムにおいて、コンピュータを、撮像画像の特徴量を抽出する抽出手段と、抽出した特徴量を用いて撮像画像上の移動体の位置を算出する位置算出手段と、算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記撮像装置のレンズの光軸方向を特定する光軸方向特定手段として機能させることを特徴とする。
【００１３】
第６発明に係る光軸方向特定方法は、道路を含む領域を撮像装置で撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する移動体識別装置による光軸方向特定方法であって、移動体の位置情報を取得し、撮像画像上の部分画像を特定し、特定した部分画像の特徴量を抽出し、抽出した特徴量を用いて移動体を識別し、移動体を識別した場合、取得した位置情報、前記撮像装置のレンズの既知の光軸方向及び特定した部分画像の撮像画像上の位置に基づいて、前記位置情報を取得した移動体が前記部分画像に撮像されているか否かを判定し、前記移動体が撮像されていると判定した場合、該移動体の撮像画像上の位置を算出し、算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記光軸方向を修正すべく光軸方向を特定することを特徴とする。
【００１４】
第７発明に係る光軸方向特定方法は、撮像装置で撮像して得られた撮像画像に対して所定の処理を行う画像処理装置による光軸方向特定方法において、撮像画像の特徴量を抽出し、抽出した特徴量を用いて撮像画像上の移動体の位置を算出し、算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記撮像装置のレンズの光軸方向を特定することを特徴とする。
【００１５】
第１発明、第４発明及び第６発明にあっては、撮像画像上の部分画像を特定し、特定した部分画像の特徴量を抽出する。部分画像は、例えば、２４×３２画素の検出範囲であって、検出範囲を撮像画像上で走査して検出範囲の特徴量を抽出する。特徴量は、例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴を用いることができ、検出範囲の輝度の勾配強度を勾配方向毎にヒストグラム化した特徴ベクトルである。なお、特徴量は、ＨＯＧ特徴に限定されるものではなく、エッジ検出により抽出してもよい。抽出した特徴量を用いて移動体（例えば、車両）を識別手段（識別器）で識別した場合、移動体の位置情報、撮像装置のレンズの既知の光軸方向（例えば、光軸の俯角及び回転角）及び特定した部分画像（移動体を識別した際の特徴量を抽出した検出範囲）の撮像画像上の位置に基づいて、車両の位置情報を取得した移動体が部分画像（検出範囲）内にあるか否かを判定する。識別器は、特徴量（特徴ベクトル）が入力された場合、入力された特徴量と識別器パラメータとにより識別結果（判定情報、例えば、車両あり、車両なし等）を出力するものである。また、既知の光軸方向は、例えば、大凡に設定されたものであり精度良く特定する前のものである。
【００１６】
移動体が撮像されている（検出範囲内にある）と判定した場合、前記移動体の撮像画像上の位置を算出する。複数の撮像時点で同様にして移動体の位置を算出する。これにより、移動体の走行軌跡を表わす仮想直線を撮像画像上で求めることができる。また、複数の移動体について、同様に撮像画像上の複数の位置を算出する。これにより、複数の仮想直線を求めることができる。算出した各位置、すなわち、複数の仮想直線の交点（無限遠点）及び撮像装置の撮像パラメータ（例えば、撮像装置の撮像面の大きさ及び解像度、レンズの焦点距離など）を用いて、撮像装置のレンズの既知の光軸方向を修正すべく光軸方向（例えば、光軸の俯角及び回転角）を特定する。これにより、レンズの光軸方向（俯角及び回転角）を高精度かつ自動的に求めることができる。また、撮像装置の取付角度に関わる調整作業を手作業ではなく自動的に行うことができ、調整作業に要する車線規制なども不要になり、作業労力及び作業コストの低減を図ることができ、また、交通渋滞や交通事故の防止に繋がる。
【００１７】
第２発明にあっては、抽出した特徴量を用いて天候又は昼夜の別を含む環境状況を識別する環境識別手段（環境識別器）を備える。環境識別器は、特徴量（特徴ベクトル）が入力された場合、入力された特徴量と環境識別器パラメータとにより識別結果（判定情報、例えば、昼、夕方、夜、晴天、雨天等などの環境状況を出力するものである。車両を識別する場合、抽出した特徴量及び所要の環境状況（例えば、昼、夕方、晴れの夜間、雨天の夜間など）により車両（移動体）を識別する。これにより、環境状況に関わらず移動体を精度良く識別することができる。
【００１８】
第３発明、第５発明及び第７発明にあっては、撮像画像の特徴量を抽出する。特徴量は、例えば、エッジ検出により抽出してもよく、あるいは、ＨＯＧ（Histograms of Oriented Gradients）特徴を用いることもできる。抽出した特徴量を用いて撮像画像上の移動体の位置を算出する。複数の撮像時点で同様にして移動体の位置を算出する。これにより、移動体の走行軌跡を表わす仮想直線を撮像画像上で求めることができる。また、複数の移動体について、同様に撮像画像上の複数の位置を算出する。これにより、複数の仮想直線を求めることができる。算出した各位置、すなわち、複数の仮想直線の交点（無限遠点）及び撮像装置の撮像パラメータ（例えば、撮像装置の撮像面の大きさ及び解像度、レンズの焦点距離など）を用いて、撮像装置のレンズの光軸方向（例えば、光軸の俯角及び回転角）を特定する。これにより、撮像装置の取付角度に関わる調整作業を手作業ではなく自動的に行うことができ、調整作業に要する車線規制なども不要になり、作業労力及び作業コストの低減を図ることができ、また、交通渋滞や交通事故の防止に繋がる。
【発明の効果】
【００１９】
本発明によれば、撮像装置の取付角度に関わる調整作業を手作業ではなく自動的に行うことができ、調整作業に要する車線規制なども不要になり、作業労力及び作業コストの低減を図ることができ、また、交通渋滞や交通事故の防止に繋がる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る移動体識別装置である車両識別装置１００の構成の一例を示すブロック図である。車両識別装置１００は、画像入力部１１、Ａ／Ｄ変換部１２、画像メモリ１３、通信部１４、記憶部１５、装置全体を制御する制御部２０、部分画像特定部３０、特徴量抽出部４０、識別手段（識別器）としての識別部５０、車両存在位置判定部６０、ビデオカメラ１０のレンズの光軸方向を特定する光軸方向特定部７０などを備える。また、識別部５０は、車両有無識別部５１、車種識別部５２、環境識別部５３、環境別車両有無識別部５４などを備えている。また、画像入力部１１には、ビデオカメラ１０を接続してある。なお、ビデオカメラ１０は、車両識別装置１００とは別個の装置であってもよく、あるいは、両者が一体をなす構成であってもよい。
【００２１】
ビデオカメラ１０は、道路を含む所要の領域を撮像すべく、所定の高さ、レンズの光軸方向（例えば、俯角及び回転角）などの撮像条件が設定された状態で道路付近の所要の地点に設置してある。ビデオカメラ１０は、撮像して得られた撮像画像を映像信号（アナログ信号）として画像入力部１１へ出力する。
【００２２】
まず、ビデオカメラ１０のレンズの光軸方向の大凡の値（初期値）設定方法について説明する。図２は道路座標系を示す説明図である。図２に示すように、ビデオカメラ１０のレンズ中心を原点として、道路座標系（Ｘ、Ｙ、Ｚ）を定義する。道路座標系は、道路の進行方向（ビデオカメラ１０から離れる方向）をＹ軸（前方向を正）、道路方向と垂直な道路面上の方向をＸ軸（前方に向かって右方向を正）、路面と垂直な方向をＺ軸（上方を正）とする。また、ビデオカメラ１０のレンズ中心を原点として、カメラ座標系（Ｘ’、Ｙ’、Ｚ’）を定義する。カメラ座標系は、カメラレンズの光軸をＹ’軸、光軸に垂直であって水平方向の軸をＸ’軸、カメラの上方向をＺ’軸とする。さらに、カメラ座標系の各軸の道路座標系の各軸に対する回転角を、それぞれα（ピッチ角）、β（ロール角）、γ（ヨー角）とし、全て右ねじの進む方向を正（α：水平面より上向きが正、β：右回りが正、γ：左回りが正）とする。この場合、道路座標系からカメラ座標系の変換式は、式（１）で表すことができる。
【００２３】
【数１】
【００２４】
変換行列の係数Ｐ１１〜Ｐ３３それぞれは、式（２）で表すことができる。また、撮像画像上の座標（ｘ、ｙ）は、レンズの焦点距離をＦとすると、式（３）で表すことができる。
【００２５】
図３はビデオカメラ１０の取付状態を示す説明図である。ビデオカメラ１０のレンズの光軸方向は、俯角及び回転角により特定することができる。図３（ａ）に示すように、俯角は、道路面と平行な面とレンズの光軸とのなす角である。レンズの光軸が道路面と平行な場合には、俯角は０度であり、レンズの光軸が下に向く方向を正の俯角と定義する。この場合、俯角は上述のピッチ角の方向とは逆になり、−αで表わすことができる。
【００２６】
また、図３（ｂ）に示すように、回転角は道路の進行方向とレンズの光軸とのなす角である。レンズの光軸が道路の進行方向と平行な場合には、回転角は０度であり、レンズの光軸が左へ向く方向を正の回転角と定義する。この場合、回転角は上述のヨー角（γ）で表わすことができる。なお、ロール角βは水平器を用いて０に設定するものとする。ビデオカメラ１０のレンズの光軸方向の大凡の値を設定するということは、上述のピッチ角（α）、ヨー角（γ）を暫定的に求めることである。
【００２７】
図４はビデオカメラ１０のレンズの光軸方向の初期設定の例を示す説明図である。光軸方向の初期設定は、ビデオカメラ１０を設置した際に、レンズの光軸方向（俯角と回転角）の大凡の値を設定するものである。これにより、俯角及び回転角を予め定めておく。光軸方向の大凡の設定方法としては、例えば、計測範囲の左右端（例えば、道路の端）の境界位置（Ｅ１、Ｅ２、Ｅ３、Ｅ４）を撮像画像上で設定することで２つの境界線を決定する。なお、この作業は人手により容易に行うことができる。そして、２つの境界線の交点Ｅ０により、俯角及び回転角を算出し、撮像画像上の座標と実際の道路上の位置とを合わせておく。
【００２８】
ビデオカメラ１０の撮像パラメータを以下のとおりとする。すなわち、ビデオカメラの設置高さをＨ、撮像面の横サイズをＳＨ、縦サイズをＳＶ、撮像面の横解像度（画素数）をＲＨ、縦解像度（ライン数）をＲＶ、レンズの焦点距離をＦとする。
【００２９】
図４に示すように、撮像画像上の点Ｅ１〜Ｅ４の座標をそれぞれ（ｘ１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）、（ｘ４、ｙ４）とする。点Ｅ１、Ｅ２を結ぶ仮想直線Ｅ１Ｅ２と、点Ｅ３、Ｅ４を結ぶ仮想直線Ｅ３Ｅ４との交点をＥ０とする。仮想直線Ｅ１Ｅ２は式（４）で表わすことができ、仮想直線Ｅ３Ｅ４は式（５）で表わすことができる。
【００３０】
【数２】
【００３１】
また、交点Ｅ０の座標を（ｘ０、ｙ０）とすると、交点Ｅ０は、式（６）により求めることができる。撮像面上での交点Ｅ１の座標（ｓ０、ｔ０）は、式（７）で求めることができ、俯角α及び回転角γは、式（８）で算出することができる。式（８）で算出した俯角及び回転角は、大凡の値であり、光軸方向特定部７０で求める前の暫定的な既知の値である。
【００３２】
画像入力部１１は、取得した映像信号をＡ／Ｄ変換部１２へ出力する。
【００３３】
Ａ／Ｄ変換部１２は、入力された映像信号をデジタル信号に変換し、変換したデジタル信号を画像データとして画像メモリ１３へ記憶する。画像入力部１１を介してビデオカメラ１０から入力された撮像画像は、ビデオカメラ１０のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位（例えば、２４０×３２０画素）の画像データとして画像メモリ１３に記憶される。
【００３４】
図５は撮像画像の一例を示す説明図である。図５に示すように、ビデオカメラ１０を所定の撮像条件で道路付近に設置することで、所要の道路を走行する車両を撮像することができる。なお、ビデオカメラ１０を設置する場合、レンズの光軸方向（例えば、俯角及び回転角など）は、大凡に設定されたものであり、後述のとおり、レンズの光軸方向は、光軸方向特定部７０で自動的に精度良く特定（設定）される。また、図５では、撮像画像の大きさは２４０×３２０画素であるが、撮像画像の大きさはこれに限定されるものではない。
【００３５】
通信部１４は、狭域通信機能、ＵＨＦ帯若しくはＶＨＦ帯などの無線ＬＡＮ等の中域通信機能、及び携帯電話、ＰＨＳ、多重ＦＭ放送若しくはインターネット通信などの広域通信機能を備える。通信部１４は、ビデオカメラ１０の撮像領域内又はその付近に存在する車両から所定の車両情報（例えば、車両の位置情報、車速情報、車種情報、ワイパー及びヘッドライト等の車灯の動作状況を示す情報など）を受信する。また、通信部１４は、車両を識別した結果得られた識別情報を付近に存在する車両へ送信する。また、通信部１４は、交通管制センタ等に設置されたサーバ装置、他の車両識別装置との間で所定の情報の送受信を行う。
【００３６】
記憶部１５は、制御部２０の制御により、車両識別装置１００の処理により得られたデータ、通信部１４を介して受信したデータなどを記憶する。
【００３７】
部分画像特定部３０は、撮像画像上で所要の大きさの部分画像を特定し、特定した部分画像を撮像画像上で走査する。部分画像は、後述する特徴量を抽出するための検出範囲を画定する。
【００３８】
図６は検出範囲の一例を示す説明図である。図６に示すように、検出範囲の大きさは、例えば、２４×３２画素である。検出範囲を撮像画像上で走査する場合、図６に示すように１回の走査で水平方向に１６画素だけ検出範囲を移動させることができる。
【００３９】
特徴量抽出部４０は、検出範囲の特徴量を抽出する。特徴量は、ＨＯＧ（Histograms of Oriented Gradients）特徴を用いることができ、検出範囲の輝度の勾配強度を勾配方向毎にヒストグラム化した特徴ベクトルである。なお、特徴量は、ＨＯＧ特徴に限定されるものではなく、エッジ検出により抽出してもよい。
【００４０】
以下、特徴量としての特徴ベクトルの算出方法について説明する。図７は局所領域の一例を示す説明図である。局所領域（ブロック）は、２４×３２画素の検出範囲から一部が重複するように抽出され、例えば、１６×１６画素の大きさを有する。従って、検出範囲から６つの局所領域を抽出することができる。また、局所領域は、４個のセル（８×８画素の領域）で構成されている。
【００４１】
図８は輝度の勾配強度と勾配方向の一例を示す説明図である。セル内の画素の位置を（ｘ、ｙ）で表わす。画素（ｘ、ｙ）における輝度の勾配強度をｍ（ｘ、ｙ）、勾配方向をθ（ｘ、ｙ）とする。勾配強度ｍ（ｘ、ｙ）、勾配方向θ（ｘ、ｙ）は、式（９）〜式（１１）で求めることができる。ここで、ｆｘ（ｘ、ｙ）は横方向（ｘ方向）の輝度勾配であり、ｆｙ（ｘ、ｙ）は縦方向（ｙ方向）の輝度勾配であり、式（３）以外にも、例えば、Ｓｏｂｅｌフィルタにより求めることができる。また、Ｌ（ｘ、ｙ）は、画素（ｘ、ｙ）の輝度である。
【００４２】
【数３】
【００４３】
そして、セル毎に８方向のヒストグラムを作成する。図９は勾配方向の一例を示す説明図であり、図１０は勾配強度のヒストグラムの一例を示す説明図である。図９に示すように、勾配方向を４５°毎に分割し８方向の（ｊ＝１〜８）勾配方向を設定する。また、図１０に示すように、算出した輝度の勾配強度を勾配方向毎に振り分けてヒストグラムを作成する。勾配強度を算出する場合に、局所領域（ブロック）の中心からの距離に反比例したσ＝１．６のガウシアンフィルタを局所領域に対して施してエッジ強度を平滑化することもできる。
【００４４】
セル毎に求めたヒストグラムを局所領域でまとめ、局所領域毎のヒストグラムの最大要素（勾配強度の最大値）で各ヒストグラムの要素（勾配強度）を除算して正規化する。これにより、１つの局所領域（ブロック）で抽出された３２次元の特徴ベクトルの最大成分は１となる。１つの検出範囲で６つの局所領域があるので、式（１２）に示すように、１つの検出範囲について１９２次元（３２次元×６＝１９２次元）の特徴ベクトルＶを算出することができる。
【００４５】
【数４】
【００４６】
隣接画素の勾配を検出範囲毎にヒストグラム化して正規化するため、道路を撮像して得られる撮像画像に対するノイズ又は明るさの変化、影の有無などの影響を受けにくく局所的な幾何学変化（平行移動、回転など）に対して頑健である。
【００４７】
識別部５０は、特徴量抽出部４０で抽出した特徴量（特徴ベクトル）を入力情報として、車両の有無を含む所定の識別判定を行い、識別結果（判定情報）を出力する。識別部５０は、車両有無識別器を有する車両有無識別部５１、車種識別器を有する車種識別部５２、環境識別器を有する環境識別部５３、環境別車両有無識別器を有する環境別車両有無識別部５４などを備えている。
【００４８】
図１１は識別部５０の各識別器の概要を示す説明図であり、図１２は識別部５０の各識別器の識別内容を示す説明図である。車両有無識別器は、特徴ベクトルＶが入力された場合、識別情報Ｄｃ＝Ａｃ・Ｖを出力する。ここで、Ａｃは車両有無識別器の識別器パラメータである。車両有無識別器は、入力された特徴ベクトルＶに対して、識別器パラメータＡｃによる所定の演算を行って、識別結果（クラス）として車両あり又は車両なしを判定する。出力された識別情報Ｄｃが、例えば、Ｄｃ＞０であれば車両ありと判定され、Ｄｃ＜０であれば車両なしと判定することができる。なお、判定条件は一例であって、これに限定されるものではない。
【００４９】
また、車種識別器は、特徴ベクトルＶが入力された場合、識別情報Ｄｔ＝Ａｔ・Ｖを出力する。ここで、Ａｔは車種識別器の識別器パラメータである。車種識別器は、入力された特徴ベクトルＶに対して、識別器パラメータＡｔによる所定の演算を行って、識別結果（クラス）として、例えば、普通車、大型車、二輪車又は歩行者などの別を判定する。出力された識別情報Ｄｔが、例えば、０＜Ｄｔ＜Ｔｔ１であれば普通車と判定され、Ｔｔ１＜Ｄｔ＜Ｔｔ２であれば大型車と判定され、Ｔｔ２＜Ｄｔ＜Ｔｔ３であれば二輪車と判定され、Ｄｔ＜０であれば歩行者と判定することができる。なお、判定条件は一例であって、これに限定されるものではない。
【００５０】
また、環境識別器は、特徴ベクトルＶが入力された場合、識別情報Ｄｗ＝Ａｗ・Ｖを出力する。ここで、Ａｗは環境識別器の識別器パラメータである。環境識別器は、入力された特徴ベクトルＶに対して、識別器パラメータＡｗによる所定の演算を行って、識別結果（クラス）として、例えば、昼、夕方、晴れの夜間、雨天の夜間などの別を判定する。出力された識別情報Ｄｗが、例えば、０＜Ｄｗ＜Ｔｗ１であれば昼と判定され、Ｔｗ１＜Ｄｗ＜Ｔｗ２であれば夕方と判定され、Ｔｗ２＜Ｄｗ＜Ｔｗ３であれば晴れの夜間と判定され、Ｔｗ３＜Ｄｗ＜Ｔｗ４であれば雨天の夜間と判定することができる。なお、判定条件は一例であって、これに限定されるものではない。
【００５１】
また、環境別車両有無識別器は、特徴ベクトルＶが入力された場合、識別情報Ｄｃｗ＝Ａｃｗ・Ｖを出力する。ここで、Ａｃｗは環境別車両有無識別器の識別器パラメータである。環境別車両有無識別器は、入力された特徴ベクトルＶに対して、識別器パラメータＡｃｗによる所定の演算を行って、識別結果（クラス）として、例えば、昼車両あり、夕方車両あり、晴夜車両あり、雨夜車両あり、昼車両なし、夕方車両なし、晴夜車両なし、雨夜車両なしなどの別を判定する。なお、判定内容は、上述の各識別器と同様に識別情報Ｄｃｗの値に応じて区別することができる。
【００５２】
車両存在位置判定部６０は、検出範囲（部分画像）において車両有無識別部５１で車両が識別された場合（車両ありと判定された場合）、通信部１４を介して車両から受信した車両情報に含まれる車両の位置情報に基づいて、該車両が検出範囲内に存在するか否かを判定する。すなわち、車両存在位置判定部６０は、車両情報を受信したときに、その車両情報を送信した車両が、特徴ベクトルを抽出して車両ありと判定された検出範囲内の車両と同一車両であるか否かを判定する。なお、同一車両である否かの判定は、車両の位置検出精度に応じて所要の誤差範囲を含めることができる。すなわち、車両の位置情報に誤差範囲を加味した位置が検出範囲内にあるか否かで判定すればよい。また、車両有無識別部５１に代えて環境別車両有無識別部５４を用いることもできる。これにより、環境状況に関わらず車両を精度良く識別することができる。
【００５３】
より具体的には、車両が検出範囲内に存在するか否かは、以下のように行うことができる。車両から受信した車両情報に含まれる車両の位置をＰｃａｒとし、特徴ベクトルを抽出して車両ありと判定された検出範囲の中心位置をＰｄｅｔとする。ただし、Ｐｃａｒ及びＰｄｅｔは、カメラ設置位置を基準とする実道路上での位置とする。この場合に、２つの位置の距離がある誤差(Ｅｒｒ)範囲以下のとき、すなわち、｜Ｐｃａｒ−Ｐｄｅｔ|＜Ｅｒｒ、のとき、検出範囲内に車両が存在すると判定する。
【００５４】
光軸方向特定部７０は、ビデオカメラ１０のレンズの予め定められた大凡の光軸方向を手作業による調整を行うことなく自動的かつ高精度に特定する。以下、光軸方向（俯角及び回転角）の特定方法について説明する。
【００５５】
図１３は車両識別装置１００の光軸方向特定モードの適用例を示す説明図である。図１３に示すように、車両識別装置１００は、撮像範囲を走行する車両Ｃ１を撮像するとともに、車両Ｃ１から車両Ｃ１の位置情報を含む車両情報を受信する。車両識別装置１００は、撮像画像から抽出した特徴量（特徴ベクトル）を用いて識別部５０（車両有無識別部５１、又は環境別車両有無識別部５４）で車両を識別する。
【００５６】
光軸方向特定部７０は、車両存在位置判定部６０で車両が検出範囲内に存在すると判定した場合、識別部５０で識別された車両位置（例えば、車両を識別した検出範囲の中心位置）を撮像画像上でプロットし、同様にして、複数の撮像時点で識別した車両位置をプロットする。これにより、車両の走行軌跡を表わす仮想直線を撮像画像上で求めることができる。なお、同じ車両を追跡するには、例えば、テンプレートマチング方式等を用いることができる。また、車両を追跡する場合の位置としては、例えば、検出範囲の重心位置、車両の先頭位置などを用いることができる。
【００５７】
次に、同様の処理を複数の車両に対して行う。これにより、複数の車両それぞれの走行軌跡を表わす仮想直線を求めることができる。
【００５８】
図１４はビデオカメラ１０のレンズの光軸方向の特定方法の一例を示す説明図である。１つの車両の撮像画像上でプロットした位置をＡ、Ｂとし、それぞれの座標をＡ（ｘａ、ｙａ）、Ｂ（ｘｂ、ｙｂ）とする。また、他の車両の撮像画像上でプロットした位置をＣ、Ｄとし、それぞれの座標をＣ（ｘｃ、ｙｃ）、Ｄ（ｘｄ、ｙｄ）とする。なお、プロットした位置は、車両毎に２点に限定されるものではなく、さらに多数の位置をプロットすることができる。
【００５９】
次に、位置Ａ、Ｂを通る車両の走行軌跡を直線近似することにより仮想直線ＡＢを求める。同様にして、位置Ｃ、Ｄを通る車両の走行軌跡を直線近似することにより仮想直線ＣＤを求める。仮想直線ＡＢは式（１３）で表わすことができ、仮想直線ＣＤは式（１４）で表わすことができる。
【００６０】
【数５】
【００６１】
仮想直線ＡＢ及びＣＤの交点（無限遠点）をＭとし、その座標をＭ（ｍｘ、ｍｙ）とすると、無限遠点Ｍ（ｍｘ、ｍｙ）は、式（１５）により算出することができる。そして、撮像面上での無限遠点Ｍの座標（ｍｓ、ｍｔ）は、式（１６）で求めることができ、俯角α′及び回転角γ′は、式（１７）で算出することができる。
【００６２】
なお、式（１６）及び（１７）において、ビデオカメラ１０の撮像パラメータを以下のとおりとする。すなわち、ビデオカメラ１０の撮像面の横サイズをＳＨ、縦サイズをＳＶ、撮像面の横解像度（画素数）をＲＨ、縦解像度（ライン数）をＲＶ、レンズの焦点距離をＦとする。
【００６３】
式（１７）で算出した俯角及び回転角は、図４により求めた暫定的な既知の値を修正するものであり、自動的かつ高精度に求めることができる。
【００６４】
制御部２０、部分画像特定部３０、特徴量抽出部４０、識別部５０、車両存在位置判定部６０、光軸方向特定部７０などは、専用のハードウエア回路で実現することができる。また、各部の機能を定めたコンピュータプログラムをＣＰＵで実行させることで実現することもできる。
【００６５】
従来のような時間差分結果の積分などを用いる方法にあっては、周囲の環境変化により車両以外のノイズ成分も車両存在範囲に含まれるので、正確な車両存在範囲を特定することが困難であった。本発明によれば、ビデオカメラ１０で撮像した撮像画像により求めた車両位置と車両から取得した位置情報との両者を用いることにより、確実に車両が存在する範囲を決定することができる。
【００６６】
図１５は車両識別装置１００の情報提供モードの適用例を示す説明図である。図１５に示すように、車両識別装置１００を交差点付近に設置し、所要の撮像範囲をビデオカメラで撮像する。車両識別装置１００は、撮像範囲が見通し外となる車両Ｃ２、Ｃ３などに対して、見通し外の車両又は見通し外の歩行者などの識別を行い、識別結果に基づいて情報提供を行う。これにより、車両の運転者から死角となる地点の車両や歩行者の情報を提供することができ、交通事故を未然に防止することができる。
【００６７】
次に車両識別装置１００の動作について説明する。図１６は光軸方向特定の処理手順を示すフローチャートである。制御部２０は、撮像画像を取得し（Ｓ１１）、部分画像としての検出範囲を特定した上で走査する（Ｓ１２）。制御部２０は、検出範囲の特徴量としての特徴ベクトルを算出し（Ｓ１３）、算出した特徴ベクトルに対して識別器パラメータによる演算を施して識別処理（例えば、車両の有無の識別）を行う（Ｓ１４）。なお、この場合、識別器としては、車両有無識別器又は環境別車両有無識別器を用いることができる。
【００６８】
制御部２０は、車両の有無を判定し（Ｓ１５）、車両ありの場合（Ｓ１５でＹＥＳ）、車両の位置情報を含む車両情報を受信したか否かを判定する（Ｓ１６）。なお、車両情報は、位置情報のみでもよい。車両情報を受信した場合（Ｓ１６でＹＥＳ）、制御部２０は、受信した位置情報に基づいて車両位置が検出範囲内にあるか否かを判定する（Ｓ１７）。
【００６９】
車両位置が検出範囲内にある場合（Ｓ１７でＹＥＳ）、すなわち、車両情報を受信したときに、その車両情報を送信した車両が、特徴ベクトルを抽出して車両ありと判定された検出範囲内の車両と同一車両である場合、制御部２０は、撮像画像上で車両位置をプロットする（Ｓ１８）。
【００７０】
制御部２０は、複数の撮像時点でのプロット位置により車両の軌跡を算出し（Ｓ１９）、複数車両の軌跡により無限遠点を算出する（Ｓ２０）。制御部２０は、レンズの光軸方向を特定（俯角及び回転角を算出）し（Ｓ２１）、処理を終了する。
【００７１】
また、車両なしの場合（Ｓ１５でＮＯ）、車両情報を受信していない場合（Ｓ１６でＮＯ）、あるいは、車両位置が検出範囲内でない場合（Ｓ１７でＮＯ）、制御部２０は、ステップＳ１１以降の処理を続ける。
【００７２】
これにより、ビデオカメラ１０の取付角度に関わる調整作業を手作業ではなく自動的に行うことができ、調整作業に要する車線規制なども不要になり、作業労力及び作業コストの低減を図ることができ、また、交通渋滞や交通事故の防止に繋がる。
【００７３】
ビデオカメラ１０のレンズの光軸方向の初期値（暫定値）は、図４の例のように手作業で道路上の複数地点を撮像画像上で設定することにより求めることができる。しかし、光軸方向を求める方法は、これに限定されるものではなく、画像処理により求めることもできる。
【００７４】
図１７は本発明に係る画像処理装置２００の構成の一例を示すブロック図である。画像処理装置２００は、必ずしも車両を識別するための装置でなくてもよく、他の所定の画像処理を行うものであればよい。
【００７５】
画像処理装置２００は、画像入力部１１、Ａ／Ｄ変換部１２、画像メモリ１３、通信部１４、記憶部１５、装置全体を制御する制御部２０１、所定の画像処理を行う画像処理部２０２、移動体特定部２０３、光軸方向特定部２０４などを備える。また、画像入力部１１には、ビデオカメラ１０を接続してある。なお、ビデオカメラ１０は、画像処理装置２００とは別個の装置であってもよく、あるいは、両者が一体をなす構成であってもよい。また、車両識別装置１００と同様の構成のものは同一符号を付して説明を省略する。
【００７６】
移動体特定部２０３は、撮像画像の特徴量を抽出し、抽出した特徴量を用いて撮像画像上の移動体（車両）の位置を算出する。特徴量は、例えば、エッジ検出により抽出してもよく、あるいは、ＨＯＧ（Histograms of Oriented Gradients）特徴を用いることもできる。
【００７７】
光軸方向特定部２０４は、移動体特定部２０３で算出した車両位置を撮像画像上でプロットし、同様にして、複数の撮像時点で算出した車両位置をプロットする。これにより、車両の走行軌跡を表わす仮想直線を撮像画像上で求めることができる。なお、同じ車両を追跡するには、例えば、テンプレートマッチング方式等を用いることができる。また、車両を追跡する場合の位置としては、例えば、車両の先頭位置などを用いることができる。
【００７８】
光軸方向特定部２０４は、同様の処理を複数の車両に対して行う。これにより、複数の車両それぞれの走行軌跡を表わす仮想直線を求めることができる。光軸方向特定部２０４は、複数の仮想直線の交点（無限遠点）及びビデオカメラ１０の撮像パラメータ（例えば、撮像面の大きさ及び解像度、レンズの焦点距離など）を用いて、ビデオカメラ１０のレンズの光軸方向（光軸の俯角及び回転角）を特定する。
【００７９】
以上説明したように、本発明の画像処理装置２００によれば、ビデオカメラ１０の取付角度に関わる調整作業を手作業ではなく自動的に行うことができ、調整作業に要する車線規制なども不要になり、作業労力及び作業コストの低減を図ることができ、また、交通渋滞や交通事故の防止に繋がる。
【００８０】
また、本発明の車両識別装置１００によれば、ビデオカメラ１０で撮像した撮像画像により求めた車両位置と車両から取得した位置情報との両者を用いることにより、確実に車両が存在する範囲を決定することができる。このため、レンズの光軸方向（俯角及び回転角）を高精度かつ自動的に求めることができる。また、ビデオカメラ１０の取付角度に関わる調整作業を手作業ではなく自動的に行うことができ、調整作業に要する車線規制なども不要になり、作業労力及び作業コストの低減を図ることができ、また、交通渋滞や交通事故の防止に繋がる。
【００８１】
上述の実施の形態では、車両の走行軌跡を直線近似して求めた仮想直線の交点により、ビデオカメラ１０のレンズの光軸の俯角及び回転角を求める構成であったが、これに限定されるものではない。例えば、ビデオカメラの焦点距離や撮像面の画素の間隔などのビデオカメラの内部パラメータ、ビデオカメラの位置と姿勢により決定される外部パラメータ及びこれら内部パラメータと外部パラメータとを組み合わせたパラメータ等を構成要素とする透視投影行列を用いることもできる。この場合、６個以上の道路面上の位置と撮像画像上の位置との組み合わせにより、レンズの光軸の俯角及び回転角を算出することができる。
【００８２】
上述の実施の形態において、複数の車両の走行軌跡や車両の存在範囲により、道路の車線数や車線位置などを検出することもできる。すなわち、車線境界は各車線における走行軌跡（車両の通過経路）間の中心位置として求めることができる。また、車両の存在分布が少ない範囲において、追跡方向に沿った白線を検出することにより、車線位置を検出することもできる。
【００８３】
以上に開示された実施の形態及び実施例は、全ての点で例示であって制限的なものではないと考慮されるべきである。本発明の範囲は、以上の実施の形態及び実施例ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての修正や変形を含むものと意図される。
【図面の簡単な説明】
【００８４】
【図１】本発明に係る移動体識別装置である車両識別装置の構成の一例を示すブロック図である。
【図２】道路座標系を示す説明図である。
【図３】ビデオカメラの取付状態を示す説明図である。
【図４】ビデオカメラのレンズの光軸方向の初期設定の例を示す説明図である。
【図５】撮像画像の一例を示す説明図である。
【図６】検出範囲の一例を示す説明図である。
【図７】局所領域の一例を示す説明図である。
【図８】輝度の勾配強度と勾配方向の一例を示す説明図である。
【図９】勾配方向の一例を示す説明図である。
【図１０】勾配強度のヒストグラムの一例を示す説明図である。
【図１１】識別部の各識別器の概要を示す説明図である。
【図１２】識別部の各識別器の識別内容を示す説明図である。
【図１３】車両識別装置の光軸方向特定モードの適用例を示す説明図である。
【図１４】ビデオカメラのレンズの光軸方向の特定方法の一例を示す説明図である。
【図１５】車両識別装置の情報提供モードの適用例を示す説明図である。
【図１６】光軸方向特定の処理手順を示すフローチャートである。
【図１７】本発明に係る画像処理装置の構成の一例を示すブロック図である。
【符号の説明】
【００８５】
１０ ビデオカメラ
１１ 画像入力部
１２ Ａ／Ｄ変換部
１３ 画像メモリ
１４ 通信部
１５ 記憶部
２０ 制御部
３０ 部分画像特定部
４０ 特徴量抽出部
５０ 識別部
５１ 車両有無識別部
５２ 車種識別部
５３ 環境識別部
５４ 環境別車両有無識別部
６０ 車両存在位置判定部
７０ 光軸方向特定部
【特許請求の範囲】
【請求項１】
道路を含む領域を撮像装置で撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する移動体識別装置であって、
移動体の位置情報を取得する位置情報取得手段と、
撮像画像上の部分画像を特定する部分画像特定手段と、
該部分画像特定手段で特定した部分画像の特徴量を抽出する特徴量抽出手段と、
該特徴量抽出手段で抽出した特徴量を用いて移動体を識別する識別手段と、
該識別手段で移動体を識別した場合、前記位置情報取得手段で取得した位置情報、前記撮像装置のレンズの既知の光軸方向及び前記部分画像特定手段で特定した部分画像の撮像画像上の位置に基づいて、前記位置情報取得手段で位置情報を取得した移動体が前記部分画像に撮像されているか否かを判定する判定手段と、
該判定手段で前記移動体が撮像されていると判定した場合、該移動体の撮像画像上の位置を算出する位置算出手段と、
該位置算出手段で算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記光軸方向を修正すべく光軸方向を特定する光軸方向特定手段と
を備えることを特徴とする移動体識別装置。
【請求項２】
前記特徴量抽出手段で抽出した特徴量を用いて天候又は昼夜の別を含む環境状況を識別する環境識別手段を備え、
前記識別手段は、
前記環境識別手段で識別した環境状況及び前記特徴量を用いて移動体を識別するように構成してあることを特徴とする請求項１に記載の移動体識別装置。
【請求項３】
撮像装置で撮像して得られた撮像画像に対して所定の処理を行う画像処理装置において、
撮像画像の特徴量を抽出する抽出手段と、
該抽出手段で抽出した特徴量を用いて撮像画像上の移動体の位置を算出する位置算出手段と、
該位置算出手段で算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記撮像装置のレンズの光軸方向を特定する光軸方向特定手段と
を備えることを特徴とする画像処理装置。
【請求項４】
コンピュータを、道路を含む領域を撮像装置で撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する手段として機能させるためのコンピュータプログラムであって、
コンピュータを、
撮像画像上の部分画像を特定する部分画像特定手段と、
特定した部分画像の特徴量を抽出する特徴量抽出手段と、
抽出した特徴量を用いて移動体を識別する識別手段と、
移動体を識別した場合、移動体の位置情報、前記撮像装置のレンズの既知の光軸方向及び特定した部分画像の撮像画像上の位置に基づいて、前記移動体が前記部分画像に撮像されているか否かを判定する判定手段と、
前記移動体が撮像されていると判定した場合、該移動体の撮像画像上の位置を算出する位置算出手段と、
算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記光軸方向を修正すべく光軸方向を特定する光軸方向特定手段として機能させることを特徴とするコンピュータプログラム。
【請求項５】
コンピュータを、撮像装置で撮像して得られた撮像画像に対して所定の処理を行う手段として機能させるためのコンピュータプログラムにおいて、
コンピュータを、
撮像画像の特徴量を抽出する抽出手段と、
抽出した特徴量を用いて撮像画像上の移動体の位置を算出する位置算出手段と、
算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記撮像装置のレンズの光軸方向を特定する光軸方向特定手段として機能させることを特徴とするコンピュータプログラム。
【請求項６】
道路を含む領域を撮像装置で撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する移動体識別装置による光軸方向特定方法であって、
移動体の位置情報を取得し、
撮像画像上の部分画像を特定し、
特定した部分画像の特徴量を抽出し、
抽出した特徴量を用いて移動体を識別し、
移動体を識別した場合、取得した位置情報、前記撮像装置のレンズの既知の光軸方向及び特定した部分画像の撮像画像上の位置に基づいて、前記位置情報を取得した移動体が前記部分画像に撮像されているか否かを判定し、
前記移動体が撮像されていると判定した場合、該移動体の撮像画像上の位置を算出し、
算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記光軸方向を修正すべく光軸方向を特定することを特徴とする移動体識別装置による光軸方向特定方法。
【請求項７】
撮像装置で撮像して得られた撮像画像に対して所定の処理を行う画像処理装置による光軸方向特定方法において、
撮像画像の特徴量を抽出し、
抽出した特徴量を用いて撮像画像上の移動体の位置を算出し、
算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記撮像装置のレンズの光軸方向を特定することを特徴とする画像処理装置による光軸方向特定方法。
【請求項１】
道路を含む領域を撮像装置で撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する移動体識別装置であって、
移動体の位置情報を取得する位置情報取得手段と、
撮像画像上の部分画像を特定する部分画像特定手段と、
該部分画像特定手段で特定した部分画像の特徴量を抽出する特徴量抽出手段と、
該特徴量抽出手段で抽出した特徴量を用いて移動体を識別する識別手段と、
該識別手段で移動体を識別した場合、前記位置情報取得手段で取得した位置情報、前記撮像装置のレンズの既知の光軸方向及び前記部分画像特定手段で特定した部分画像の撮像画像上の位置に基づいて、前記位置情報取得手段で位置情報を取得した移動体が前記部分画像に撮像されているか否かを判定する判定手段と、
該判定手段で前記移動体が撮像されていると判定した場合、該移動体の撮像画像上の位置を算出する位置算出手段と、
該位置算出手段で算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記光軸方向を修正すべく光軸方向を特定する光軸方向特定手段と
を備えることを特徴とする移動体識別装置。
【請求項２】
前記特徴量抽出手段で抽出した特徴量を用いて天候又は昼夜の別を含む環境状況を識別する環境識別手段を備え、
前記識別手段は、
前記環境識別手段で識別した環境状況及び前記特徴量を用いて移動体を識別するように構成してあることを特徴とする請求項１に記載の移動体識別装置。
【請求項３】
撮像装置で撮像して得られた撮像画像に対して所定の処理を行う画像処理装置において、
撮像画像の特徴量を抽出する抽出手段と、
該抽出手段で抽出した特徴量を用いて撮像画像上の移動体の位置を算出する位置算出手段と、
該位置算出手段で算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記撮像装置のレンズの光軸方向を特定する光軸方向特定手段と
を備えることを特徴とする画像処理装置。
【請求項４】
コンピュータを、道路を含む領域を撮像装置で撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する手段として機能させるためのコンピュータプログラムであって、
コンピュータを、
撮像画像上の部分画像を特定する部分画像特定手段と、
特定した部分画像の特徴量を抽出する特徴量抽出手段と、
抽出した特徴量を用いて移動体を識別する識別手段と、
移動体を識別した場合、移動体の位置情報、前記撮像装置のレンズの既知の光軸方向及び特定した部分画像の撮像画像上の位置に基づいて、前記移動体が前記部分画像に撮像されているか否かを判定する判定手段と、
前記移動体が撮像されていると判定した場合、該移動体の撮像画像上の位置を算出する位置算出手段と、
算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記光軸方向を修正すべく光軸方向を特定する光軸方向特定手段として機能させることを特徴とするコンピュータプログラム。
【請求項５】
コンピュータを、撮像装置で撮像して得られた撮像画像に対して所定の処理を行う手段として機能させるためのコンピュータプログラムにおいて、
コンピュータを、
撮像画像の特徴量を抽出する抽出手段と、
抽出した特徴量を用いて撮像画像上の移動体の位置を算出する位置算出手段と、
算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記撮像装置のレンズの光軸方向を特定する光軸方向特定手段として機能させることを特徴とするコンピュータプログラム。
【請求項６】
道路を含む領域を撮像装置で撮像して得られた撮像画像から特徴量を抽出し、抽出した特徴量を用いて移動体を識別する移動体識別装置による光軸方向特定方法であって、
移動体の位置情報を取得し、
撮像画像上の部分画像を特定し、
特定した部分画像の特徴量を抽出し、
抽出した特徴量を用いて移動体を識別し、
移動体を識別した場合、取得した位置情報、前記撮像装置のレンズの既知の光軸方向及び特定した部分画像の撮像画像上の位置に基づいて、前記位置情報を取得した移動体が前記部分画像に撮像されているか否かを判定し、
前記移動体が撮像されていると判定した場合、該移動体の撮像画像上の位置を算出し、
算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記光軸方向を修正すべく光軸方向を特定することを特徴とする移動体識別装置による光軸方向特定方法。
【請求項７】
撮像装置で撮像して得られた撮像画像に対して所定の処理を行う画像処理装置による光軸方向特定方法において、
撮像画像の特徴量を抽出し、
抽出した特徴量を用いて撮像画像上の移動体の位置を算出し、
算出した複数の撮像時点での１又は複数の移動体の各位置及び前記撮像装置の撮像パラメータを用いて、前記撮像装置のレンズの光軸方向を特定することを特徴とする画像処理装置による光軸方向特定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−４１３２２（Ｐ２０１０−４１３２２Ａ）
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願番号】特願２００８−２０１０１２（Ｐ２００８−２０１０１２）
【出願日】平成２０年８月４日（２００８．８．４）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願日】平成２０年８月４日（２００８．８．４）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]