車幅推定装置、車両推定装置、車幅推定方法及びプログラム
【課題】撮像装置が撮像した画像に写った車両の車幅に対応する長さを精度良く推定する。
【解決手段】差分画像生成部１０２が、撮像装置２００が連続撮像した画像の輝度の差分となる差分画像を生成し、平均輝度算出部１０４は、当該差分画像の車幅方向の各画素に対する車両進行方向の画素の平均輝度を算出する。そして、閾値算出部１０７が、平均輝度算出部１０４が算出した複数の平均輝度を用いて、画像における車両の有無を判定する車両判定閾値を算出し、車幅算出部１０８は、当該車両判定閾値を用いて車幅を算出する。
【解決手段】差分画像生成部１０２が、撮像装置２００が連続撮像した画像の輝度の差分となる差分画像を生成し、平均輝度算出部１０４は、当該差分画像の車幅方向の各画素に対する車両進行方向の画素の平均輝度を算出する。そして、閾値算出部１０７が、平均輝度算出部１０４が算出した複数の平均輝度を用いて、画像における車両の有無を判定する車両判定閾値を算出し、車幅算出部１０８は、当該車両判定閾値を用いて車幅を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通路を通行する車両の車幅を推定する車幅推定装置、車両推定装置、車幅推定方法及びプログラムに関する。
【背景技術】
【０００２】
従来のＥＲＰ（Electronic Road Pricing：電子道路課金）システムは、通路に設けられた第１ガントリ装置に撮像装置を備え、第１ガントリ装置より通路の車両進行方向前方に設けられた第２ガントリ装置に車両検知器を備えている。このようなＥＲＰシステムでは、車両検知器が車両を検知したときに、撮像装置が車両を撮像し、ＣＣＳ（Central Computer System：中央コンピュータシステム）が当該撮像した画像に対してナンバープレートの認識処理を行っている。
【０００３】
ＣＣＳによるナンバープレートの認識処理は、以下の手順で行う。
まず、ＣＣＳは、車両検知器から車幅情報を読み出し、車両が二輪車であるか四輪車であるかを推定する。つまり、車幅が所定の閾値以下である場合に、当該車両が二輪車であると推定し、車幅が所定の閾値以上である場合に、当該車両が四輪車であると推定する。このとき、撮像装置が撮像した画像に複数の車両が写っている場合は、それぞれの車両に対して二輪車であるか四輪車であるかの推定を行う。
そして、ＣＣＳは、車両の推定結果により、二輪車・四輪車の固有のパラメータを用いて、撮像装置が撮像した画像に写ったそれぞれの車両に対してＯＣＲ（Optical Character Recognition：光学文字認識）処理を行う。
【０００４】
また、近年、ＧＰＳ（Global Positioning System：全地球測位システム）や第３世代移動体通信を用いたＥＲＰシステム（以下、次世代ＥＲＰシステムと呼ぶ）の開発が計画されている。次世代ＥＲＰシステムでは、ＧＰＳや移動体通信を用いて車両の認識処理を行うことから、従来のＥＲＰシステムで通路に設置していたアンテナ及びガントリ装置が不要となる。
【０００５】
また、特許文献１には、車両検知器を用いずに、ビデオカメラが撮像した画像データのプロファイルデータを用いることで車両の車幅、位置、速度を計測する技術が開示されている。具体的には、特許文献１に記載の車両検出装置は、テレビカメラ装置が撮像した映像の連続する２フレームの画像をそれぞれ読み出し、当該２つの画像の差分に相当する差分画素を出力する。次に、特許文献１に記載の車両検出装置は、差分画素を、画面の水平方向と垂直方向とでそれぞれ加算処理し、移動物体の中の輝度変化の大きな部分を示すプロファイルデータを生成し、当該プロファイルデータが大きい値を示す両端の距離から車幅を推定する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０５−２５０５９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
次世代ＥＲＰシステムでは、ガントリ装置が不要となることから、従来のＥＲＰシステムで第２ガントリ装置に備えていた車両検知器を用いない構成とすることが検討されている。しかしながら、次世代ＥＲＰシステムが車両検知器を備えない場合、車両が二輪車であるか四輪車であるかの推定を行うことができず、また撮像装置に撮像のトリガを与えることができないために、ナンバープレートの認識処理を適切に行うことができないという問題がある。
【０００８】
また、特許文献１に記載の方法を用いることで、次世代ＥＲＰシステムでも車両を検知することができるが、特許文献１に記載の方法では、移動物体の中の輝度変化の大きな部分を示すプロファイルデータに基づいて車幅を算出するため、撮像環境の変化により、車幅の検出精度にばらつきが発生してしまう惧れがある。撮像環境の変化としては、例えば、太陽の位置による影の大きさの違いや、天候による画像内の相対的な輝度の違いなどが挙げられる。また、特許文献１に記載の方法では、プロファイルデータの特徴点を抽出するための閾値にどのような値を用いるのかが明示されていない。
【課題を解決するための手段】
【０００９】
本発明は上記の課題を解決するためになされたものであり、通路を連続撮像する撮像装置が撮像した画像中における、前記通路を通行する車両の車幅に対応する長さを推定する車幅推定装置であって、前記撮像装置が撮像した連続する２つの画像それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成する差分画像生成部と、前記差分画像生成部が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向に所定のサンプリング間隔で配されたサンプリング点ごとに算出する平均輝度算出部と、前記平均輝度算出部が算出した平均輝度の最小値、及び当該平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値である最小極小値を抽出する最小値抽出部と、前記平均輝度算出部が算出した平均輝度の最大値を抽出する最大値抽出部と、前記最大値抽出部が抽出した最大値と前記最小値抽出部が抽出した最小値または最小極小値との差の値に０超１未満の所定の係数を乗じた値に、前記最小値抽出部が抽出した最小値または最小極小値を加算した値を、車両の有無を判定する車両判定閾値として算出する閾値算出部と、前記平均輝度算出部が算出した平均輝度が、前記閾値算出部が算出した車両判定閾値以上となる連続するサンプリング点の個数を用いて、前記撮像装置が撮像する画像における前記車両の車幅に対応する長さを算出する車幅算出部と、を備えることを特徴とする。
【００１０】
また、本発明において、前記車幅算出部は、前記平均輝度が前記車両判定閾値未満となる連続するサンプリング点の個数が所定の誤差判定閾値以下である場合、当該サンプリング点の個数と、当該サンプリング点に隣接する複数のサンプリング点であって前記平均輝度が前記車両判定閾値以上となる連続するサンプリング点の個数を用いて、前記撮像装置が撮像する画像における前記車両の車幅に対応する長さを算出することを特徴とする。
【００１１】
また、本発明において、前記閾値算出部は、前記平均輝度算出部が算出した平均輝度の最大値が所定の最大輝度閾値以上であり、かつ前記平均輝度算出部が算出した平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値と、前記平均輝度の最大値との比が所定の平坦度閾値以上である場合に、最小値抽出部が抽出した最小極小値を用いて車両判定閾値を算出し、前記平均輝度算出部が算出した平均輝度の最大値が前記最大輝度閾値未満である場合、または前記平均輝度算出部が算出した平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値と、前記平均輝度の最大値との比が前記平坦度閾値未満である場合に、最小値抽出部が抽出した最小値を用いて車両判定閾値を算出することを特徴とする。
【００１２】
また、本発明において、前記平均輝度算出部は、前記差分画像生成部が生成した差分画像を、前記車両進行方向が当該差分画像の縦軸と略同一になるように傾斜させ、当該傾斜させた差分画像の縦軸の画素の輝度の平均を前記サンプリング点ごとに算出することを特徴とする。
【００１３】
また、本発明は、上記した車幅推定装置を備え、前記通路を通行する車両の種類を推定する車両推定装置であって、前記車幅推定装置が推定した長さを用いて前記車両の種類を推定する車両推定部を備えることを特徴とする。
【００１４】
また、本発明において、前記車両推定部は、前記車幅算出部が算出した長さが、前記車両が二輪車であるか否かを推定する二輪車推定閾値以下である場合に、前記車両が二輪車であると推定する二輪車推定部を備えることを特徴とする。
【００１５】
また、本発明において、通路を連続撮像する撮像装置が撮像した画像中の車両が存在する領域における前記車幅方向のエッジ量を算出する車幅エッジ量算出部を備え、前記車両推定部は、前記車幅エッジ量算出部が算出したエッジ量が、前記車両が四輪車であるか否かを推定する四輪車推定閾値以上である場合に、前記車両が四輪車であると推定する四輪車推定部を更に備え、前記二輪車推定部による推定結果と前記四輪車推定部による推定結果を用いて前記車両の種類を推定することを特徴とする。
【００１６】
また、本発明は、通路を連続撮像する撮像装置が撮像した画像中における、前記通路を通行する車両の車幅に対応する長さを推定する車幅推定方法であって、差分画像生成部は、前記通路を連続撮像する撮像装置が撮像した連続する２つの画像それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成し、平均輝度算出部は、前記差分画像生成部が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向に所定のサンプリング間隔で配されたサンプリング点ごとに算出し、最小値抽出部は、前記平均輝度算出部が算出した平均輝度の最小値、または当該平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値である最小極小値を抽出し、最大値抽出部は、前記平均輝度算出部が算出した平均輝度の最大値を抽出し、閾値算出部は、前記最大値抽出部が抽出した最大値と前記最小値抽出部が抽出した最小値または最小極小値との差の値に０超１未満の所定の係数を乗じた値に、前記最小値抽出部が抽出した値を加算した最小値または最小極小値を、車両の有無を判定する車両判定閾値として算出し、車幅算出部は、前記平均輝度算出部が算出した平均輝度が、前記閾値算出部が算出した車両判定閾値以上となる連続するサンプリング点の個数を用いて前記車両の車幅を算出することを特徴とする。
【００１７】
また、本発明は、通路を連続撮像する撮像装置が撮像した画像中における、前記通路を通行する車両の車幅に対応する長さを推定する車幅推定装置を、前記通路を連続撮像する撮像装置が撮像した連続する２つの画像それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成する差分画像生成部、前記差分画像生成部が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向に所定のサンプリング間隔で配されたサンプリング点ごとに算出する平均輝度算出部、前記平均輝度算出部が算出した平均輝度の最小値、または当該平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値である最小極小値を抽出する最小値抽出部、前記平均輝度算出部が算出した平均輝度の最大値を抽出する最大値抽出部、前記最大値抽出部が抽出した最大値と前記最小値抽出部が抽出した最小値または最小極小値との差の値に０超１未満の所定の係数を乗じた値に、前記最小値抽出部が抽出した最小値または最小極小値を加算した値を、車両の有無を判定する車両判定閾値として算出する閾値算出部、前記平均輝度算出部が算出した平均輝度が、前記閾値算出部が算出した車両判定閾値以上となる連続するサンプリング点の個数を用いて前記車両の車幅を算出する車幅算出部として機能させるためのプログラムである。
【発明の効果】
【００１８】
本発明によれば、差分画像生成部が、撮像装置が連続撮像した画像の輝度の差分となる差分画像を生成し、平均輝度算出部が当該差分画像の車幅方向に配された複数のサンプリング点に対する車両進行方向に伸びる直線上に存在する画素の平均輝度を算出する。そして、閾値算出部が、平均輝度算出部が算出した複数の平均輝度を用いて、画像における車両の有無を判定する車両判定閾値を算出し、車幅算出部が当該車両判定閾値を用いて車幅を算出する。
これにより、撮影環境の変化による車幅の検出精度のばらつきを防ぐことができるため、車幅推定装置は、画像に写った車両の車幅に対応する長さを精度良く推定することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態による車両推定装置の構成を示す概略ブロック図である。
【図２】車両推定装置の動作を示す第１のフローチャートである。
【図３】車両推定装置の動作を示す第２のフローチャートである。
【図４】差分画像の例を示す図である。
【図５】傾斜した差分画像を示す図である。
【図６】画像の縦方向の平均輝度を示す図である。
【図７】画像の縦方向の平均輝度と最大輝度閾値、平坦度閾値との関係を示す図である。
【図８】車両領域候補の抽出方法を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による車両推定装置（車幅推定装置）の構成を示す概略ブロック図である。
車両推定装置１００は、入力部１０１、差分画像生成部１０２、傾斜処理部１０３、平均輝度算出部１０４、最小値抽出部１０５、最大値抽出部１０６、閾値算出部１０７、車幅算出部１０８、車両抽出部１０９、車幅エッジ量算出部１１０、車両推定部１１１（二輪車推定部、四輪車推定部）を備える。
また、車両推定装置１００は、通路を通行する車両を連続撮像する撮像装置２００に接続されている。撮像装置２００は、路側に設置されたポールにおける車両の高さより高い位置に設置され、車両の進行方向後方から車両の後部を撮像する。また、撮像装置２００は、撮像する画像に写る車両の車幅方向と当該画像の横軸とが略同一になるように設置されている。
【００２１】
入力部１０１は、撮像装置２００が連続撮像した画像を入力し、続く処理の負担軽減のため、入力した画像から所定の領域のみを切り落とし、当該画像を差分画像生成部１０２及び車両抽出部１０９に出力する。
差分画像生成部１０２は、入力部１０１から連続する２つの画像を入力し、それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成する。また、差分画像生成部１０２は、生成した差分画像を圧縮処理して傾斜処理部１０３に出力する。
傾斜処理部１０３は、撮像装置２００が撮像した車両の画像が車両進行方向に対して傾斜している場合に、差分画像生成部１０２から入力した差分画像を、車両進行方向が当該差分画像の縦軸と略同一になるように傾斜させた傾斜画像を生成し、当該傾斜画像を平均輝度算出部１０４に出力する。
【００２２】
平均輝度算出部１０４は、傾斜処理部１０３が生成した傾斜画像の縦方向に配置された画素の平均輝度を、当該傾斜画像の横軸に配置されたそれぞれの画素について算出する。すなわち、平均輝度算出部１０４は、傾斜画像の横方向に１画素間隔で配されたサンプリング点ごとに、傾斜画像の縦方向に配置された画素の平均輝度を算出する。
最小値抽出部１０５は、平均輝度算出部１０４が算出した平均輝度のうち最小値を示すものを抽出し、閾値算出部１０７に出力する。また、最小値抽出部１０５は、平均輝度算出部１０４が算出した平均輝度のうち、極小値を示す平均輝度の最小値（以下、最小極小値と呼ぶ）を抽出し、閾値算出部１０７に出力する。ここで、極小値を示す平均輝度とは、両隣に隣接する画素の平均輝度の何れよりも低い平均輝度を有する画素の平均輝度のことを示す。
最大値抽出部１０６は、平均輝度算出部１０４が算出した平均輝度のうち最大値を示すものを抽出し、閾値算出部１０７に出力する。
閾値算出部１０７は、最小値抽出部１０５が抽出した最小値及び最小極小値、並びに最大値抽出部１０６が抽出した最大値を用いて、車両の有無を判定する車両判定閾値を算出し、当該車両判定閾値を車幅算出部１０８に出力する。
【００２３】
車幅算出部１０８は、平均輝度算出部１０４が算出した平均輝度と、閾値算出部１０７が算出した車両判定閾値とを用いて、撮像装置２００が撮像した画像における車両の車幅を算出する。そして、車幅算出部１０８は、算出した車幅を車両抽出部１０９及び車両推定部１１１に出力する。
車両抽出部１０９は、車幅算出部１０８が算出した車幅を用いて入力部１０１から入力した画像において車両が存在する領域の横方向（車幅方向）の長さを算出する。また、車両抽出部１０９は、当該算出した長さを用いて、入力部１０１から入力した画像から車両が存在する領域を抽出し、車幅エッジ量算出部１１０に出力する。
車幅エッジ量算出部１１０は、車両抽出部が抽出した車両が存在する領域の画像の横方向のエッジ量を算出し、車両推定部１１１に出力する。
車両推定部１１１は、車幅算出部１０８が算出した車幅、及び車幅エッジ量算出部１１０が算出したエッジ量に基づいて車両が二輪車であるか四輪車であるかを推定する。
【００２４】
そして、車両推定装置１００がこのような構成を備えることで、差分画像生成部１０２は、通路を連続撮像する撮像装置２００が撮像した連続する２つの画像それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成し、平均輝度算出部１０４は、差分画像生成部１０２が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向に所定のサンプリング間隔で配されたサンプリング点ごとに算出する。
【００２５】
次に、最小値抽出部１０５は、平均輝度算出部１０４が算出した平均輝度の最小値、または当該平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値である最小極小値を抽出し、最大値抽出部１０６は、平均輝度算出部１０４が算出した平均輝度の最大値を抽出する。次に、閾値算出部１０７は、最大値抽出部１０６が抽出した最大値と最小値抽出部１０５が抽出した最小値または最小極小値との差の値に０超１未満の所定の係数を乗じた値に、最小値抽出部１０５が抽出した最小値または最小極小値を加算した値を、車両の有無を判定する車両判定閾値として算出する。
【００２６】
次に、車幅算出部１０８は、平均輝度算出部１０４が算出した平均輝度が、閾値算出部１０７が算出した車両判定閾値以上となる連続するサンプリング点の個数を用いて車両の車幅を算出する。そして、車両推定部１１１は、車幅算出部１０８が算出した車幅が、車両が二輪車であるか否かを推定する二輪車推定閾値以下である場合に、車両が二輪車であると推定する。
これにより、車両推定装置１００は、撮影環境の変化による車幅の検出精度のばらつきを防ぐことができるため、画像に写った車両が二輪車であるか四輪車であるかを精度良く推定することができる。
【００２７】
次に、本実施形態による車両推定装置１００の動作を説明する。
図２、図３は、車両推定装置の動作を示すフローチャートである。
まず、入力部１０１は、撮像装置２００が撮像する画像を、撮像装置２００による撮像周期毎に順次入力する（ステップＳ１）。次に、入力部１０１は、続く処理の負担軽減のため、入力した画像から所定の領域のみを切り落とす（ステップＳ２）。なお、撮像装置２００が車両を進行方向後方から撮像しているため、車両が画像の下部から進入することとなる。そのため、入力部１０１は、入力した画像の上部を切り落とす。
【００２８】
図４は、差分画像の例を示す図である。
次に、差分画像生成部１０２は、図４に示すように、入力部１０１から入力した画像（図４（Ａ））と、入力部１０１から１フレーム前に既に入力している画像（図４（Ｂ））との絶対値差分を示す差分画像（図４（Ｃ））を生成する（ステップＳ３）。このとき、差分画像の輝度は、２フレーム間の輝度の変化量が多いほど高く、輝度の変化量が低いほど小さくなる。つまり、差分画像において車両などの動体が存在する部分は輝度が高くなり、背景などの不動体が存在する部分は輝度が低くなる。
次に、差分画像生成部１０２は、生成した差分画像から縦横の画素を間引くことで画像の縮小を行い、さらに画像の圧縮処理を行う（ステップＳ４）。これにより、差分画像生成部１０２は、続く処理の負担を軽減することができる。
【００２９】
図５は、傾斜した差分画像を示す図である。
次に、傾斜処理部１０３は、図５（Ａ）に示すように撮像装置２００が撮像した画像の車両進行方向に伸びる直線と画像の縦軸とがなす角だけ、差分画像生成部１０２が生成した差分画像を傾斜させ、傾斜画像を生成する（ステップＳ５）。画像を傾斜させる方法としては、傾斜処理部１０３は、差分画像生成部１０２が生成した差分画像の上半分を左側にシフトし、差分画像の下半分を右側にシフトすることで行うことができる。この処理により、図５（Ｂ）に示すように差分画像に含まれる車両の傾きを補正することができる。すなわち、画像の縦方向と車両進行方向とを略一致させることができる。
【００３０】
図６は、画像の縦方向の平均輝度を示す図である。
次に、平均輝度算出部１０４は、傾斜処理部１０３が生成した傾斜画像の各縦方向の輝度を平均し、横軸の各画素における平均輝度を示す平均輝度配列を生成する（ステップＳ６）。このとき、平均輝度配列において、車両が存在する領域に対応する部分の平均輝度の値は、図６に示すように、車両が存在しない領域に対応する部分の平均輝度の値と比べて高い値となる。
ステップＳ５、Ｓ６の処理により、平均輝度算出部１０４は、差分画像生成部１０２が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向の画素ごとに算出する。
【００３１】
次に、平均輝度算出部１０４は、平均輝度配列が格納する平均輝度の値の平滑化を行う（ステップＳ７）。具体的には、平均輝度算出部１０４は、平均輝度配列が格納する各平均輝度の移動平均を算出し、平均輝度配列が格納する平均輝度を当該移動平均の値に書き換える。これにより、平均輝度配列に格納された平均輝度のそれぞれの値を平滑化することができ、平均輝度配列に含まれるランダムな検出誤差等を除去することができる。さらに、平均輝度配列における車両推定に影響しない極小値や極大値を除去し、続く処理を簡易化することができる。なお、車両推定に影響しない極小値や極大値とは、平均輝度配列に含まれる雑音であり、例えば、撮像装置２００が撮像した映像に含まれる太陽光の反射による影響（極大値）や車体パーツの輝度差による影響（極小値）などによって発生するものである。
【００３２】
次に、最大値抽出部１０６は、平均輝度算出部１０４が生成した平均輝度配列が格納するそれぞれの平均輝度の最大値を抽出する（ステップＳ８）。また、最小値抽出部１０５は、平均輝度算出部１０４が生成した平均輝度配列が格納するそれぞれの平均輝度の最小値と当該平均輝度の最小極小値とを抽出する（ステップＳ９）。次に、車両推定部１１１は、最大値抽出部１０６が抽出した最大値が、画像内に車両が存在するか否かを判定する車両検出閾値以上であるか否かを判定する（ステップＳ１０）。
【００３３】
車両推定部１１１は、最大値抽出部１０６が抽出した最大値が車両検出閾値未満であると判定した場合（ステップＳ１０：ＮＯ）、差分画像の輝度が全体的に低いことから車両が存在しないと判定し、ステップＳ１に戻る。
他方、車両推定部１１１は、最大値抽出部１０６が抽出した最大値が車両検出閾値以上であると判定した場合（ステップＳ１０：ＹＥＳ）、閾値算出部１０７は、最大値抽出部１０６が抽出した最大値が所定の最大輝度閾値以上であるか否かを判定する（ステップＳ１１）。なお、最大輝度閾値は、平均輝度配列において、車両に相当する部分が明確に平均輝度として現れているか否かを判定する閾値である。
【００３４】
閾値算出部１０７は、最大値抽出部１０６が抽出した最大値が所定の最大輝度閾値以上であると判定した場合（ステップＳ１１：ＹＥＳ）、最小値抽出部１０５が抽出した最小極小値と最大値抽出部１０６が抽出した最大値との比が所定の平坦度閾値以上であるか否かを判定する（ステップＳ１２）。これにより、閾値算出部１０７は、差分画像における最小極小値に相当する部分が、車両と車両の間の領域を示すか、撮像環境による誤差であるかを判定する。
【００３５】
閾値算出部１０７は、最小値抽出部１０５が抽出した最小極小値と最大値抽出部１０６が抽出した最大値との比が所定の平坦度閾値以上であると判定した場合（ステップＳ１２：ＹＥＳ）、式（１）によって、車両の有無を判定する車両判定閾値を算出する（ステップＳ１３）。
【００３６】
【数１】
【００３７】
但し、Ｇｔｈは、車両判定閾値を示す。また、αは、「０」超「１」未満の値の係数を示す。また、Ｇｍａｘは、最大値抽出部１０６が抽出した最大値を示す。また、Ｇｍｉｎは、最小値抽出部１０５が抽出した最小値を示す。
つまり、車両判定閾値は、平均輝度の最小値より大きく、平均輝度の最大値より小さい値となる。これにより、撮像環境による誤差によって最小極小値が生じた場合にも、当該最小極小値を含む範囲で車両の検出を行うことができる。
【００３８】
他方、閾値算出部１０７は、ステップＳ１１で最大値抽出部１０６が抽出した最大値が所定の最大輝度閾値未満であると判定した場合（ステップＳ１１：ＮＯ）、または最小値抽出部１０５が抽出した最小極小値と最大値抽出部１０６が抽出した最大値との比が所定の平坦度閾値未満であると判定した場合（ステップＳ１２：ＮＯ）、式（２）によって、車両の有無を判定する車両判定閾値を算出する（ステップＳ１４）。
【００３９】
【数２】
【００４０】
但し、ＧＴｍｉｎは、最小値抽出部１０５が抽出した最小極小値を示す。
つまり、車両判定閾値は、平均輝度の最小極小値より大きく、平均輝度の最大値より小さい値となる。これにより、最小極小値が最小値より大きい値であった場合でも、車両判定閾値は必ず平均輝度の最小極小値より大きい値となるため、２つの車両をまとめて１つの車両であると誤判定することを防ぐことができる。
【００４１】
図７は、画像の縦方向の平均輝度と最大輝度閾値、平坦度閾値との関係を示す図である。
ここで、平均輝度配列の値と最大輝度閾値、平坦度閾値との関係に応じて車両判定閾値の算出方法を異ならせる理由を説明する。
図７（Ａ）に示すように、平均輝度配列の最大値が最大輝度閾値以上であり、かつ平均輝度配列の最小極小値と最大値との比が平坦度閾値以上である場合、撮像装置２００が撮像した画像に含まれる車両の数は「１」である可能性が高い。しかし、式（２）によって算出された車両判定閾値を用いた場合、当該車両判定閾値は、最小極小値より大きい値となるため、画像中の１つの車両を２つの車両として誤認識してしまうこととなる。そのため、平均輝度配列の最大値が最大輝度閾値以上であり、かつ平均輝度配列の最小極小値と最大値との比が平坦度閾値以上である場合は、式（１）を用いて車両判定閾値を算出することが好ましい。
【００４２】
また、図７（Ｂ）、図７（Ｃ）に示すように、平均輝度配列の最小極小値と最大値との比が平坦度閾値未満である場合、撮像装置２００が撮像した画像に含まれる車両の数は「２」以上である可能性が高い。このとき、式（１）によって車両判定閾値を算出すると、当該車両判定閾値が、最小極小値未満となる可能性がある。この場合、画像中の２つの車両を１つの車両として誤認識してしまうこととなる。そのため、平均輝度配列の最小極小値と最大値との比が平坦度閾値以上である場合は、式（２）を用いて車両判定閾値を算出することが好ましい。
【００４３】
また、図７（Ｄ）に示すように、平均輝度配列の最大値が最大輝度閾値未満であり、かつ平均輝度配列の最小極小値と最大値との比が平坦度閾値未満である場合は、撮像装置２００が撮像した画像に含まれる車両の数が「１」である可能性、また「２」以上の黒い車両が併走している可能性の双方が考えられる。この場合、式（１）によって車両判定閾値を算出すると、併走している車両を分離できない可能性があるため、式（２）を用いて車両判定閾値を算出することが好ましい。
【００４４】
図８は、車両領域候補の抽出方法を示す図である。
ステップＳ１３またはステップＳ１４で閾値算出部１０７が車両判定閾値を算出すると、車幅算出部１０８は、平均輝度算出部１０４が生成した平均輝度配列が格納する平均輝度が、閾値算出部１０７が算出した車両判定閾値以上となるか否かをそれぞれ判定する（ステップＳ１５）。次に、平均輝度算出部１０４は、図７に示すように、車両判定閾値以上となる平均輝度を示す平均輝度配列の連続する要素の集合を車両領域候補として抽出する（ステップＳ１６）。
【００４５】
次に、車幅算出部１０８は、車両判定閾値未満となる平均輝度を示す平均輝度配列の連続する要素の集合（以下、非車両領域候補と呼ぶ）の要素数が、所定の誤差判定閾値以下である場合、当該非車両領域候補を、当該非車両領域候補と隣接する車両領域候補とをあわせた領域を、改めて車両領域候補として抽出することで、車両領域候補の幅を更新する（ステップＳ１７）。
また、車幅算出部１０８は、車両領域候補の要素数が、所定の誤差判定閾値以下である場合、当該車両領域候補を非車両領域候補とみなすことで、ノイズを除去する（ステップＳ１８）。そして、車幅算出部１０８は、抽出した車両領域候補の要素の数を、撮像装置２００が撮像した画像における車両の車幅として算出する。
【００４６】
次に、車両推定装置１００は、車幅算出部１０８が抽出した１つまたは複数の車両領域候補のそれぞれに対して、以下に示すステップＳ２０〜ステップＳ２４の処理を実行する（ステップＳ１９）。
まず、車両抽出部１０９は、車幅算出部１０８が抽出した１つまたは複数の車両領域候補が示す、画像の横方向の座標範囲を読み出し、当該座標範囲を入力部１０１から入力した画像の座標範囲に変換する（ステップＳ２０）。つまり、車幅算出部１０８が算出した座標範囲は、傾斜処理部１０３によって傾斜させた画像の座標範囲を示すため、入力部１０１から入力した画像から車両を抽出するためには、当該座標範囲を傾斜処理部１０３による傾斜以前の画像の座標範囲に変換する必要がある。具体的には、式（３）を用いて座標範囲の変換を行う。
【００４７】
【数３】
【００４８】
但し、Ｗは、変換後の座標範囲を示す。また、Ｗｔｉｌｔは、車幅算出部１０８が抽出した車両領域候補が示す座標範囲を示す。また、Ｈは、車両進行方向の車両の領域の長さを示す。また、θは、傾斜処理部１０３が画像の傾斜を行った角度を示す。
但し、本実施形態では、車両進行方向の車両の領域の長さを算出しないため、予め撮像装置２００が撮像した画像における車両進行方向の車両の長さの平均値や最大値を算出しておき、または予め車両進行方向の車両の長さに用いる適当な値（例えば、画像の縦方向の長さの二分の一など）を定めておき、当該値を車両進行方向の車両の領域の長さとして用いる。
【００４９】
次に、車両抽出部１０９は、入力部１０１から入力した画像から、変換した座標範囲に含まれる領域をそれぞれ抽出する（ステップＳ２１）。次に、車幅エッジ量算出部１１０は、車両抽出部１０９が抽出した画像の横方向のエッジ量を算出する（ステップＳ２２）。ここで、エッジとは、画像において輝度差のある境界のことであり、横方向のエッジ量とは、縦方向に隣接する画素濃度差に相当する値の総和であり、画像内において横方向の傾きを有するエッジの多さを示す値のことである。具体的には、車幅エッジ量算出部１１０は、車両抽出部１０９が抽出した画像に対して、縦方向に隣接する画素の差分を得るフィルタ処理を行った後、二値化処理を行う。そして、車幅エッジ量算出部１１０は、横方向の輝度を全て加算し、これを横方向のエッジ量とする。
【００５０】
次に、車両推定部１１１は、ステップＳ１８で車幅算出部１０８が算出した、撮像装置２００が撮像した画像における車幅を読み出し、当該車幅が所定の二輪車推定閾値以下であるか否かを判定する（ステップＳ２３）。ここで、二輪車推定閾値とは、車両が二輪車であるか否かを推定する閾値である。
車両推定部１１１が、車幅が所定の二輪車推定閾値以下であると判定した場合（ステップＳ２３：ＹＥＳ）、当該車両が二輪車であると推定する（ステップＳ２４）。このとき、ステップＳ１９〜Ｓ２６の処理が行われていない車両領域候補が存在する場合は、ステップＳ１９に戻り、繰り返し処理を実行する。他方、ステップＳ１９〜Ｓ２６の処理が全ての車両領域候補に対して行われている場合は、処理を終了する。
【００５１】
他方、車両推定部１１１が、車幅が所定の二輪車推定閾値より大きいと判定した場合（ステップＳ２３：ＮＯ）、ステップＳ２２で車幅エッジ量算出部が算出した車幅エッジ量が、所定の四輪車推定閾値以上であるか否かを判定する（ステップＳ２５）。ここで、四輪車推定閾値とは、車両が四輪車であるか否かを推定する閾値である。
ここで、車両推定部１１１が、車幅が所定の二輪車推定閾値より大きいと判定した場合に、車両が四輪車であると推定しない理由を説明する。撮像装置２００は、路側に設置されたポールに設置されている。そのため、撮像装置２００の視線方向と通路の車両進行方向とは一致しない。この場合、撮像装置２００の視線方向と、通路の車両進行方向とがなす角が大きいほど、撮像装置２００が撮像する画像における車両の側面の領域は大きくなる。そのため、撮像装置２００が撮像する画像に写る二輪車が占める領域が、四輪車と同程度になる場合がある。そこで、本実施形態では、二輪車を四輪車であると誤判定することを防止するため、さらに一段階判定処理を行う。
【００５２】
車両推定部１１１は、ステップＳ２５で、横方向のエッジ量が所定の四輪車推定閾値以上であると判定した場合、当該車両が四輪車であると推定する（ステップＳ２６）。他方、車両推定部１１１は、車幅エッジ量が所定の四輪車推定閾値未満であると判定した場合、当該車両が二輪車であると推定する（ステップＳ２４）。このとき、ステップＳ１９〜Ｓ２６の処理が行われていない車両領域候補が存在する場合は、ステップＳ１９に戻り、繰り返し処理を実行する。他方、ステップＳ１９〜Ｓ２６の処理が全ての車両領域候補に対して行われている場合は、処理を終了する。
【００５３】
ここで、車幅エッジ量が大きい場合に車両が四輪車であると推定する理由を説明する。
四輪車は二輪車と比較して車幅方向の長さが長いため、バンパー、リアガラス、ルーフなどのパーツによって画像に横方向（車幅方向）のエッジが強く発生することとなる。また、二輪車は運転者が搭乗するため、四輪車に比べ、横方向のエッジは弱くなる。そのため、車両推定部１１１は、車幅エッジ量が四輪車推定閾値以上である場合に、車両が四輪車であると推定する。
【００５４】
このように、本実施形態によれば、差分画像生成部１０２が、撮像装置２００が連続撮像した画像の輝度の差分となる差分画像を生成し、平均輝度算出部１０４は、当該差分画像の横方向の各画素に対する平均輝度を算出する。そして、閾値算出部１０７が、平均輝度算出部１０４が算出した複数の平均輝度を用いて、画像における車両の有無を判定する車両判定閾値を算出し、車幅算出部１０８は、当該車両判定閾値を用いて車幅を算出する。
これにより、撮影環境の変化による車幅の検出精度のばらつきを防ぐことができるため、車両推定部１１１は、画像に写った車両が二輪車であるか四輪車であるかを精度良く推定することができる。
【００５５】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、車幅算出部１０８が算出した車幅が二輪車推定閾値以下であると判定した場合に、車両が二輪車であると推定し、車幅が二輪車推定閾値より大きいと判定した場合に、画像の横方向のエッジ量を用いて車両が二輪車であるか四輪車であるかの推定を行う場合を説明したが、これに限られない。例えば、撮像装置２００の視線方向と、通路の車両進行方向とがなす角が小さいために、撮像装置２００が撮像する画像における車両の側面の領域が小さい場合、画像の横方向のエッジ量を用いた推定を行わず、車幅算出部１０８が算出した車幅が二輪車推定閾値より大きいと判定した場合に、車両が四輪車であると推定するようにしても良い。
【００５６】
また、車両推定部１１１は、エッジ量を用いた推定を、車幅を用いた推定より先に行っても良い。具体的には、車幅エッジ量算出部１１０が算出したエッジ量が四輪車推定閾値以上であると判定した場合に、車両が四輪車であると推定し、エッジ量が四輪車推定閾値未満であると判定した場合に、車幅算出部１０８が算出した車幅を用いて車両が二輪車であるか四輪車であるかの推定を行っても良い。
【００５７】
また、本実施形態では、車幅算出部１０８が算出した車幅が二輪車推定閾値より大きく、かつ画像の横方向のエッジ量が四輪車推定閾値未満である場合、車両が二輪車であると推定する場合を説明したが、これに限られず、例えば、画像の横方向のエッジ量が四輪車推定閾値より小さい第２の二輪車判定閾値未満である場合に、車両が二輪車であると推定し、画像の横方向のエッジ量が四輪車推定閾値未満かつ第２の二輪車判定閾値以上である場合に、「車両を推定できない」とするようにしても良い。
【００５８】
なお、本実施形態では、平均輝度算出部１０４が、傾斜画像の縦方向の画素の平均輝度を、傾斜画像の横方向の画素ごとに算出する場合を説明したが、これに限られず、例えば、傾斜画像の縦方向の画素の平均輝度を、傾斜画像の横方向に所定の間隔（例えば、１０画素ごとの間隔）で配されたサンプリング点ごとに算出するようにしても良い。
【００５９】
なお、本実施形態では、傾斜処理部１０３がステップＳ５で差分画像を傾斜させ、以降の処理で当該傾斜させた差分画像を用いて車両の推定を行う場合を説明したが、これに限られない。傾斜処理部１０３による傾斜処理は、撮像した車両の画像における車両の傾斜を補正するために実行する処理である。そのため、例えば、車両の画像が傾斜しないよう撮像装置２００が設置されている場合などには、傾斜処理部１０３は、画像の傾斜を行わなくても良い。
【００６０】
なお、本実施形態では、撮像する画像に写る車両の車幅方向と当該画像の横軸とが略同一になるように撮像装置２００を設置することで、傾斜処理部１０３による傾斜処理後の画像における車両進行方向と車両の車幅方向とを略直交させる場合を説明したが、これに限られない。例えば、撮像装置２００が撮像する画像の横軸と撮像する画像に写る車両の車幅方向とが一致しない場合、傾斜車両部１０３の処理を行う前に、画像の中央を原点として車幅方向と画像水平方向を一致させるように回転させる処理回転処理を実行する。これにより、本実施形態と同様に、傾斜処理部１０３による傾斜処理後の画像における車両進行方向と車両の車幅方向とを略直交させることができる。
【００６１】
上述の車両推定装置１００は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００６２】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００６３】
１００…車両推定装置 １０１…入力部 １０２…差分画像生成部 １０３…傾斜処理部 １０４…平均輝度算出部 １０５…最小値抽出部 １０６…最大値抽出部 １０７…閾値算出部 １０８…車幅算出部 １０９…車両抽出部 １１０…車幅エッジ量算出部 １１１…車両推定部 ２００…撮像装置
【技術分野】
【０００１】
本発明は、通路を通行する車両の車幅を推定する車幅推定装置、車両推定装置、車幅推定方法及びプログラムに関する。
【背景技術】
【０００２】
従来のＥＲＰ（Electronic Road Pricing：電子道路課金）システムは、通路に設けられた第１ガントリ装置に撮像装置を備え、第１ガントリ装置より通路の車両進行方向前方に設けられた第２ガントリ装置に車両検知器を備えている。このようなＥＲＰシステムでは、車両検知器が車両を検知したときに、撮像装置が車両を撮像し、ＣＣＳ（Central Computer System：中央コンピュータシステム）が当該撮像した画像に対してナンバープレートの認識処理を行っている。
【０００３】
ＣＣＳによるナンバープレートの認識処理は、以下の手順で行う。
まず、ＣＣＳは、車両検知器から車幅情報を読み出し、車両が二輪車であるか四輪車であるかを推定する。つまり、車幅が所定の閾値以下である場合に、当該車両が二輪車であると推定し、車幅が所定の閾値以上である場合に、当該車両が四輪車であると推定する。このとき、撮像装置が撮像した画像に複数の車両が写っている場合は、それぞれの車両に対して二輪車であるか四輪車であるかの推定を行う。
そして、ＣＣＳは、車両の推定結果により、二輪車・四輪車の固有のパラメータを用いて、撮像装置が撮像した画像に写ったそれぞれの車両に対してＯＣＲ（Optical Character Recognition：光学文字認識）処理を行う。
【０００４】
また、近年、ＧＰＳ（Global Positioning System：全地球測位システム）や第３世代移動体通信を用いたＥＲＰシステム（以下、次世代ＥＲＰシステムと呼ぶ）の開発が計画されている。次世代ＥＲＰシステムでは、ＧＰＳや移動体通信を用いて車両の認識処理を行うことから、従来のＥＲＰシステムで通路に設置していたアンテナ及びガントリ装置が不要となる。
【０００５】
また、特許文献１には、車両検知器を用いずに、ビデオカメラが撮像した画像データのプロファイルデータを用いることで車両の車幅、位置、速度を計測する技術が開示されている。具体的には、特許文献１に記載の車両検出装置は、テレビカメラ装置が撮像した映像の連続する２フレームの画像をそれぞれ読み出し、当該２つの画像の差分に相当する差分画素を出力する。次に、特許文献１に記載の車両検出装置は、差分画素を、画面の水平方向と垂直方向とでそれぞれ加算処理し、移動物体の中の輝度変化の大きな部分を示すプロファイルデータを生成し、当該プロファイルデータが大きい値を示す両端の距離から車幅を推定する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０５−２５０５９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
次世代ＥＲＰシステムでは、ガントリ装置が不要となることから、従来のＥＲＰシステムで第２ガントリ装置に備えていた車両検知器を用いない構成とすることが検討されている。しかしながら、次世代ＥＲＰシステムが車両検知器を備えない場合、車両が二輪車であるか四輪車であるかの推定を行うことができず、また撮像装置に撮像のトリガを与えることができないために、ナンバープレートの認識処理を適切に行うことができないという問題がある。
【０００８】
また、特許文献１に記載の方法を用いることで、次世代ＥＲＰシステムでも車両を検知することができるが、特許文献１に記載の方法では、移動物体の中の輝度変化の大きな部分を示すプロファイルデータに基づいて車幅を算出するため、撮像環境の変化により、車幅の検出精度にばらつきが発生してしまう惧れがある。撮像環境の変化としては、例えば、太陽の位置による影の大きさの違いや、天候による画像内の相対的な輝度の違いなどが挙げられる。また、特許文献１に記載の方法では、プロファイルデータの特徴点を抽出するための閾値にどのような値を用いるのかが明示されていない。
【課題を解決するための手段】
【０００９】
本発明は上記の課題を解決するためになされたものであり、通路を連続撮像する撮像装置が撮像した画像中における、前記通路を通行する車両の車幅に対応する長さを推定する車幅推定装置であって、前記撮像装置が撮像した連続する２つの画像それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成する差分画像生成部と、前記差分画像生成部が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向に所定のサンプリング間隔で配されたサンプリング点ごとに算出する平均輝度算出部と、前記平均輝度算出部が算出した平均輝度の最小値、及び当該平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値である最小極小値を抽出する最小値抽出部と、前記平均輝度算出部が算出した平均輝度の最大値を抽出する最大値抽出部と、前記最大値抽出部が抽出した最大値と前記最小値抽出部が抽出した最小値または最小極小値との差の値に０超１未満の所定の係数を乗じた値に、前記最小値抽出部が抽出した最小値または最小極小値を加算した値を、車両の有無を判定する車両判定閾値として算出する閾値算出部と、前記平均輝度算出部が算出した平均輝度が、前記閾値算出部が算出した車両判定閾値以上となる連続するサンプリング点の個数を用いて、前記撮像装置が撮像する画像における前記車両の車幅に対応する長さを算出する車幅算出部と、を備えることを特徴とする。
【００１０】
また、本発明において、前記車幅算出部は、前記平均輝度が前記車両判定閾値未満となる連続するサンプリング点の個数が所定の誤差判定閾値以下である場合、当該サンプリング点の個数と、当該サンプリング点に隣接する複数のサンプリング点であって前記平均輝度が前記車両判定閾値以上となる連続するサンプリング点の個数を用いて、前記撮像装置が撮像する画像における前記車両の車幅に対応する長さを算出することを特徴とする。
【００１１】
また、本発明において、前記閾値算出部は、前記平均輝度算出部が算出した平均輝度の最大値が所定の最大輝度閾値以上であり、かつ前記平均輝度算出部が算出した平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値と、前記平均輝度の最大値との比が所定の平坦度閾値以上である場合に、最小値抽出部が抽出した最小極小値を用いて車両判定閾値を算出し、前記平均輝度算出部が算出した平均輝度の最大値が前記最大輝度閾値未満である場合、または前記平均輝度算出部が算出した平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値と、前記平均輝度の最大値との比が前記平坦度閾値未満である場合に、最小値抽出部が抽出した最小値を用いて車両判定閾値を算出することを特徴とする。
【００１２】
また、本発明において、前記平均輝度算出部は、前記差分画像生成部が生成した差分画像を、前記車両進行方向が当該差分画像の縦軸と略同一になるように傾斜させ、当該傾斜させた差分画像の縦軸の画素の輝度の平均を前記サンプリング点ごとに算出することを特徴とする。
【００１３】
また、本発明は、上記した車幅推定装置を備え、前記通路を通行する車両の種類を推定する車両推定装置であって、前記車幅推定装置が推定した長さを用いて前記車両の種類を推定する車両推定部を備えることを特徴とする。
【００１４】
また、本発明において、前記車両推定部は、前記車幅算出部が算出した長さが、前記車両が二輪車であるか否かを推定する二輪車推定閾値以下である場合に、前記車両が二輪車であると推定する二輪車推定部を備えることを特徴とする。
【００１５】
また、本発明において、通路を連続撮像する撮像装置が撮像した画像中の車両が存在する領域における前記車幅方向のエッジ量を算出する車幅エッジ量算出部を備え、前記車両推定部は、前記車幅エッジ量算出部が算出したエッジ量が、前記車両が四輪車であるか否かを推定する四輪車推定閾値以上である場合に、前記車両が四輪車であると推定する四輪車推定部を更に備え、前記二輪車推定部による推定結果と前記四輪車推定部による推定結果を用いて前記車両の種類を推定することを特徴とする。
【００１６】
また、本発明は、通路を連続撮像する撮像装置が撮像した画像中における、前記通路を通行する車両の車幅に対応する長さを推定する車幅推定方法であって、差分画像生成部は、前記通路を連続撮像する撮像装置が撮像した連続する２つの画像それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成し、平均輝度算出部は、前記差分画像生成部が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向に所定のサンプリング間隔で配されたサンプリング点ごとに算出し、最小値抽出部は、前記平均輝度算出部が算出した平均輝度の最小値、または当該平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値である最小極小値を抽出し、最大値抽出部は、前記平均輝度算出部が算出した平均輝度の最大値を抽出し、閾値算出部は、前記最大値抽出部が抽出した最大値と前記最小値抽出部が抽出した最小値または最小極小値との差の値に０超１未満の所定の係数を乗じた値に、前記最小値抽出部が抽出した値を加算した最小値または最小極小値を、車両の有無を判定する車両判定閾値として算出し、車幅算出部は、前記平均輝度算出部が算出した平均輝度が、前記閾値算出部が算出した車両判定閾値以上となる連続するサンプリング点の個数を用いて前記車両の車幅を算出することを特徴とする。
【００１７】
また、本発明は、通路を連続撮像する撮像装置が撮像した画像中における、前記通路を通行する車両の車幅に対応する長さを推定する車幅推定装置を、前記通路を連続撮像する撮像装置が撮像した連続する２つの画像それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成する差分画像生成部、前記差分画像生成部が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向に所定のサンプリング間隔で配されたサンプリング点ごとに算出する平均輝度算出部、前記平均輝度算出部が算出した平均輝度の最小値、または当該平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値である最小極小値を抽出する最小値抽出部、前記平均輝度算出部が算出した平均輝度の最大値を抽出する最大値抽出部、前記最大値抽出部が抽出した最大値と前記最小値抽出部が抽出した最小値または最小極小値との差の値に０超１未満の所定の係数を乗じた値に、前記最小値抽出部が抽出した最小値または最小極小値を加算した値を、車両の有無を判定する車両判定閾値として算出する閾値算出部、前記平均輝度算出部が算出した平均輝度が、前記閾値算出部が算出した車両判定閾値以上となる連続するサンプリング点の個数を用いて前記車両の車幅を算出する車幅算出部として機能させるためのプログラムである。
【発明の効果】
【００１８】
本発明によれば、差分画像生成部が、撮像装置が連続撮像した画像の輝度の差分となる差分画像を生成し、平均輝度算出部が当該差分画像の車幅方向に配された複数のサンプリング点に対する車両進行方向に伸びる直線上に存在する画素の平均輝度を算出する。そして、閾値算出部が、平均輝度算出部が算出した複数の平均輝度を用いて、画像における車両の有無を判定する車両判定閾値を算出し、車幅算出部が当該車両判定閾値を用いて車幅を算出する。
これにより、撮影環境の変化による車幅の検出精度のばらつきを防ぐことができるため、車幅推定装置は、画像に写った車両の車幅に対応する長さを精度良く推定することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態による車両推定装置の構成を示す概略ブロック図である。
【図２】車両推定装置の動作を示す第１のフローチャートである。
【図３】車両推定装置の動作を示す第２のフローチャートである。
【図４】差分画像の例を示す図である。
【図５】傾斜した差分画像を示す図である。
【図６】画像の縦方向の平均輝度を示す図である。
【図７】画像の縦方向の平均輝度と最大輝度閾値、平坦度閾値との関係を示す図である。
【図８】車両領域候補の抽出方法を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による車両推定装置（車幅推定装置）の構成を示す概略ブロック図である。
車両推定装置１００は、入力部１０１、差分画像生成部１０２、傾斜処理部１０３、平均輝度算出部１０４、最小値抽出部１０５、最大値抽出部１０６、閾値算出部１０７、車幅算出部１０８、車両抽出部１０９、車幅エッジ量算出部１１０、車両推定部１１１（二輪車推定部、四輪車推定部）を備える。
また、車両推定装置１００は、通路を通行する車両を連続撮像する撮像装置２００に接続されている。撮像装置２００は、路側に設置されたポールにおける車両の高さより高い位置に設置され、車両の進行方向後方から車両の後部を撮像する。また、撮像装置２００は、撮像する画像に写る車両の車幅方向と当該画像の横軸とが略同一になるように設置されている。
【００２１】
入力部１０１は、撮像装置２００が連続撮像した画像を入力し、続く処理の負担軽減のため、入力した画像から所定の領域のみを切り落とし、当該画像を差分画像生成部１０２及び車両抽出部１０９に出力する。
差分画像生成部１０２は、入力部１０１から連続する２つの画像を入力し、それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成する。また、差分画像生成部１０２は、生成した差分画像を圧縮処理して傾斜処理部１０３に出力する。
傾斜処理部１０３は、撮像装置２００が撮像した車両の画像が車両進行方向に対して傾斜している場合に、差分画像生成部１０２から入力した差分画像を、車両進行方向が当該差分画像の縦軸と略同一になるように傾斜させた傾斜画像を生成し、当該傾斜画像を平均輝度算出部１０４に出力する。
【００２２】
平均輝度算出部１０４は、傾斜処理部１０３が生成した傾斜画像の縦方向に配置された画素の平均輝度を、当該傾斜画像の横軸に配置されたそれぞれの画素について算出する。すなわち、平均輝度算出部１０４は、傾斜画像の横方向に１画素間隔で配されたサンプリング点ごとに、傾斜画像の縦方向に配置された画素の平均輝度を算出する。
最小値抽出部１０５は、平均輝度算出部１０４が算出した平均輝度のうち最小値を示すものを抽出し、閾値算出部１０７に出力する。また、最小値抽出部１０５は、平均輝度算出部１０４が算出した平均輝度のうち、極小値を示す平均輝度の最小値（以下、最小極小値と呼ぶ）を抽出し、閾値算出部１０７に出力する。ここで、極小値を示す平均輝度とは、両隣に隣接する画素の平均輝度の何れよりも低い平均輝度を有する画素の平均輝度のことを示す。
最大値抽出部１０６は、平均輝度算出部１０４が算出した平均輝度のうち最大値を示すものを抽出し、閾値算出部１０７に出力する。
閾値算出部１０７は、最小値抽出部１０５が抽出した最小値及び最小極小値、並びに最大値抽出部１０６が抽出した最大値を用いて、車両の有無を判定する車両判定閾値を算出し、当該車両判定閾値を車幅算出部１０８に出力する。
【００２３】
車幅算出部１０８は、平均輝度算出部１０４が算出した平均輝度と、閾値算出部１０７が算出した車両判定閾値とを用いて、撮像装置２００が撮像した画像における車両の車幅を算出する。そして、車幅算出部１０８は、算出した車幅を車両抽出部１０９及び車両推定部１１１に出力する。
車両抽出部１０９は、車幅算出部１０８が算出した車幅を用いて入力部１０１から入力した画像において車両が存在する領域の横方向（車幅方向）の長さを算出する。また、車両抽出部１０９は、当該算出した長さを用いて、入力部１０１から入力した画像から車両が存在する領域を抽出し、車幅エッジ量算出部１１０に出力する。
車幅エッジ量算出部１１０は、車両抽出部が抽出した車両が存在する領域の画像の横方向のエッジ量を算出し、車両推定部１１１に出力する。
車両推定部１１１は、車幅算出部１０８が算出した車幅、及び車幅エッジ量算出部１１０が算出したエッジ量に基づいて車両が二輪車であるか四輪車であるかを推定する。
【００２４】
そして、車両推定装置１００がこのような構成を備えることで、差分画像生成部１０２は、通路を連続撮像する撮像装置２００が撮像した連続する２つの画像それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成し、平均輝度算出部１０４は、差分画像生成部１０２が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向に所定のサンプリング間隔で配されたサンプリング点ごとに算出する。
【００２５】
次に、最小値抽出部１０５は、平均輝度算出部１０４が算出した平均輝度の最小値、または当該平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値である最小極小値を抽出し、最大値抽出部１０６は、平均輝度算出部１０４が算出した平均輝度の最大値を抽出する。次に、閾値算出部１０７は、最大値抽出部１０６が抽出した最大値と最小値抽出部１０５が抽出した最小値または最小極小値との差の値に０超１未満の所定の係数を乗じた値に、最小値抽出部１０５が抽出した最小値または最小極小値を加算した値を、車両の有無を判定する車両判定閾値として算出する。
【００２６】
次に、車幅算出部１０８は、平均輝度算出部１０４が算出した平均輝度が、閾値算出部１０７が算出した車両判定閾値以上となる連続するサンプリング点の個数を用いて車両の車幅を算出する。そして、車両推定部１１１は、車幅算出部１０８が算出した車幅が、車両が二輪車であるか否かを推定する二輪車推定閾値以下である場合に、車両が二輪車であると推定する。
これにより、車両推定装置１００は、撮影環境の変化による車幅の検出精度のばらつきを防ぐことができるため、画像に写った車両が二輪車であるか四輪車であるかを精度良く推定することができる。
【００２７】
次に、本実施形態による車両推定装置１００の動作を説明する。
図２、図３は、車両推定装置の動作を示すフローチャートである。
まず、入力部１０１は、撮像装置２００が撮像する画像を、撮像装置２００による撮像周期毎に順次入力する（ステップＳ１）。次に、入力部１０１は、続く処理の負担軽減のため、入力した画像から所定の領域のみを切り落とす（ステップＳ２）。なお、撮像装置２００が車両を進行方向後方から撮像しているため、車両が画像の下部から進入することとなる。そのため、入力部１０１は、入力した画像の上部を切り落とす。
【００２８】
図４は、差分画像の例を示す図である。
次に、差分画像生成部１０２は、図４に示すように、入力部１０１から入力した画像（図４（Ａ））と、入力部１０１から１フレーム前に既に入力している画像（図４（Ｂ））との絶対値差分を示す差分画像（図４（Ｃ））を生成する（ステップＳ３）。このとき、差分画像の輝度は、２フレーム間の輝度の変化量が多いほど高く、輝度の変化量が低いほど小さくなる。つまり、差分画像において車両などの動体が存在する部分は輝度が高くなり、背景などの不動体が存在する部分は輝度が低くなる。
次に、差分画像生成部１０２は、生成した差分画像から縦横の画素を間引くことで画像の縮小を行い、さらに画像の圧縮処理を行う（ステップＳ４）。これにより、差分画像生成部１０２は、続く処理の負担を軽減することができる。
【００２９】
図５は、傾斜した差分画像を示す図である。
次に、傾斜処理部１０３は、図５（Ａ）に示すように撮像装置２００が撮像した画像の車両進行方向に伸びる直線と画像の縦軸とがなす角だけ、差分画像生成部１０２が生成した差分画像を傾斜させ、傾斜画像を生成する（ステップＳ５）。画像を傾斜させる方法としては、傾斜処理部１０３は、差分画像生成部１０２が生成した差分画像の上半分を左側にシフトし、差分画像の下半分を右側にシフトすることで行うことができる。この処理により、図５（Ｂ）に示すように差分画像に含まれる車両の傾きを補正することができる。すなわち、画像の縦方向と車両進行方向とを略一致させることができる。
【００３０】
図６は、画像の縦方向の平均輝度を示す図である。
次に、平均輝度算出部１０４は、傾斜処理部１０３が生成した傾斜画像の各縦方向の輝度を平均し、横軸の各画素における平均輝度を示す平均輝度配列を生成する（ステップＳ６）。このとき、平均輝度配列において、車両が存在する領域に対応する部分の平均輝度の値は、図６に示すように、車両が存在しない領域に対応する部分の平均輝度の値と比べて高い値となる。
ステップＳ５、Ｓ６の処理により、平均輝度算出部１０４は、差分画像生成部１０２が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向の画素ごとに算出する。
【００３１】
次に、平均輝度算出部１０４は、平均輝度配列が格納する平均輝度の値の平滑化を行う（ステップＳ７）。具体的には、平均輝度算出部１０４は、平均輝度配列が格納する各平均輝度の移動平均を算出し、平均輝度配列が格納する平均輝度を当該移動平均の値に書き換える。これにより、平均輝度配列に格納された平均輝度のそれぞれの値を平滑化することができ、平均輝度配列に含まれるランダムな検出誤差等を除去することができる。さらに、平均輝度配列における車両推定に影響しない極小値や極大値を除去し、続く処理を簡易化することができる。なお、車両推定に影響しない極小値や極大値とは、平均輝度配列に含まれる雑音であり、例えば、撮像装置２００が撮像した映像に含まれる太陽光の反射による影響（極大値）や車体パーツの輝度差による影響（極小値）などによって発生するものである。
【００３２】
次に、最大値抽出部１０６は、平均輝度算出部１０４が生成した平均輝度配列が格納するそれぞれの平均輝度の最大値を抽出する（ステップＳ８）。また、最小値抽出部１０５は、平均輝度算出部１０４が生成した平均輝度配列が格納するそれぞれの平均輝度の最小値と当該平均輝度の最小極小値とを抽出する（ステップＳ９）。次に、車両推定部１１１は、最大値抽出部１０６が抽出した最大値が、画像内に車両が存在するか否かを判定する車両検出閾値以上であるか否かを判定する（ステップＳ１０）。
【００３３】
車両推定部１１１は、最大値抽出部１０６が抽出した最大値が車両検出閾値未満であると判定した場合（ステップＳ１０：ＮＯ）、差分画像の輝度が全体的に低いことから車両が存在しないと判定し、ステップＳ１に戻る。
他方、車両推定部１１１は、最大値抽出部１０６が抽出した最大値が車両検出閾値以上であると判定した場合（ステップＳ１０：ＹＥＳ）、閾値算出部１０７は、最大値抽出部１０６が抽出した最大値が所定の最大輝度閾値以上であるか否かを判定する（ステップＳ１１）。なお、最大輝度閾値は、平均輝度配列において、車両に相当する部分が明確に平均輝度として現れているか否かを判定する閾値である。
【００３４】
閾値算出部１０７は、最大値抽出部１０６が抽出した最大値が所定の最大輝度閾値以上であると判定した場合（ステップＳ１１：ＹＥＳ）、最小値抽出部１０５が抽出した最小極小値と最大値抽出部１０６が抽出した最大値との比が所定の平坦度閾値以上であるか否かを判定する（ステップＳ１２）。これにより、閾値算出部１０７は、差分画像における最小極小値に相当する部分が、車両と車両の間の領域を示すか、撮像環境による誤差であるかを判定する。
【００３５】
閾値算出部１０７は、最小値抽出部１０５が抽出した最小極小値と最大値抽出部１０６が抽出した最大値との比が所定の平坦度閾値以上であると判定した場合（ステップＳ１２：ＹＥＳ）、式（１）によって、車両の有無を判定する車両判定閾値を算出する（ステップＳ１３）。
【００３６】
【数１】
【００３７】
但し、Ｇｔｈは、車両判定閾値を示す。また、αは、「０」超「１」未満の値の係数を示す。また、Ｇｍａｘは、最大値抽出部１０６が抽出した最大値を示す。また、Ｇｍｉｎは、最小値抽出部１０５が抽出した最小値を示す。
つまり、車両判定閾値は、平均輝度の最小値より大きく、平均輝度の最大値より小さい値となる。これにより、撮像環境による誤差によって最小極小値が生じた場合にも、当該最小極小値を含む範囲で車両の検出を行うことができる。
【００３８】
他方、閾値算出部１０７は、ステップＳ１１で最大値抽出部１０６が抽出した最大値が所定の最大輝度閾値未満であると判定した場合（ステップＳ１１：ＮＯ）、または最小値抽出部１０５が抽出した最小極小値と最大値抽出部１０６が抽出した最大値との比が所定の平坦度閾値未満であると判定した場合（ステップＳ１２：ＮＯ）、式（２）によって、車両の有無を判定する車両判定閾値を算出する（ステップＳ１４）。
【００３９】
【数２】
【００４０】
但し、ＧＴｍｉｎは、最小値抽出部１０５が抽出した最小極小値を示す。
つまり、車両判定閾値は、平均輝度の最小極小値より大きく、平均輝度の最大値より小さい値となる。これにより、最小極小値が最小値より大きい値であった場合でも、車両判定閾値は必ず平均輝度の最小極小値より大きい値となるため、２つの車両をまとめて１つの車両であると誤判定することを防ぐことができる。
【００４１】
図７は、画像の縦方向の平均輝度と最大輝度閾値、平坦度閾値との関係を示す図である。
ここで、平均輝度配列の値と最大輝度閾値、平坦度閾値との関係に応じて車両判定閾値の算出方法を異ならせる理由を説明する。
図７（Ａ）に示すように、平均輝度配列の最大値が最大輝度閾値以上であり、かつ平均輝度配列の最小極小値と最大値との比が平坦度閾値以上である場合、撮像装置２００が撮像した画像に含まれる車両の数は「１」である可能性が高い。しかし、式（２）によって算出された車両判定閾値を用いた場合、当該車両判定閾値は、最小極小値より大きい値となるため、画像中の１つの車両を２つの車両として誤認識してしまうこととなる。そのため、平均輝度配列の最大値が最大輝度閾値以上であり、かつ平均輝度配列の最小極小値と最大値との比が平坦度閾値以上である場合は、式（１）を用いて車両判定閾値を算出することが好ましい。
【００４２】
また、図７（Ｂ）、図７（Ｃ）に示すように、平均輝度配列の最小極小値と最大値との比が平坦度閾値未満である場合、撮像装置２００が撮像した画像に含まれる車両の数は「２」以上である可能性が高い。このとき、式（１）によって車両判定閾値を算出すると、当該車両判定閾値が、最小極小値未満となる可能性がある。この場合、画像中の２つの車両を１つの車両として誤認識してしまうこととなる。そのため、平均輝度配列の最小極小値と最大値との比が平坦度閾値以上である場合は、式（２）を用いて車両判定閾値を算出することが好ましい。
【００４３】
また、図７（Ｄ）に示すように、平均輝度配列の最大値が最大輝度閾値未満であり、かつ平均輝度配列の最小極小値と最大値との比が平坦度閾値未満である場合は、撮像装置２００が撮像した画像に含まれる車両の数が「１」である可能性、また「２」以上の黒い車両が併走している可能性の双方が考えられる。この場合、式（１）によって車両判定閾値を算出すると、併走している車両を分離できない可能性があるため、式（２）を用いて車両判定閾値を算出することが好ましい。
【００４４】
図８は、車両領域候補の抽出方法を示す図である。
ステップＳ１３またはステップＳ１４で閾値算出部１０７が車両判定閾値を算出すると、車幅算出部１０８は、平均輝度算出部１０４が生成した平均輝度配列が格納する平均輝度が、閾値算出部１０７が算出した車両判定閾値以上となるか否かをそれぞれ判定する（ステップＳ１５）。次に、平均輝度算出部１０４は、図７に示すように、車両判定閾値以上となる平均輝度を示す平均輝度配列の連続する要素の集合を車両領域候補として抽出する（ステップＳ１６）。
【００４５】
次に、車幅算出部１０８は、車両判定閾値未満となる平均輝度を示す平均輝度配列の連続する要素の集合（以下、非車両領域候補と呼ぶ）の要素数が、所定の誤差判定閾値以下である場合、当該非車両領域候補を、当該非車両領域候補と隣接する車両領域候補とをあわせた領域を、改めて車両領域候補として抽出することで、車両領域候補の幅を更新する（ステップＳ１７）。
また、車幅算出部１０８は、車両領域候補の要素数が、所定の誤差判定閾値以下である場合、当該車両領域候補を非車両領域候補とみなすことで、ノイズを除去する（ステップＳ１８）。そして、車幅算出部１０８は、抽出した車両領域候補の要素の数を、撮像装置２００が撮像した画像における車両の車幅として算出する。
【００４６】
次に、車両推定装置１００は、車幅算出部１０８が抽出した１つまたは複数の車両領域候補のそれぞれに対して、以下に示すステップＳ２０〜ステップＳ２４の処理を実行する（ステップＳ１９）。
まず、車両抽出部１０９は、車幅算出部１０８が抽出した１つまたは複数の車両領域候補が示す、画像の横方向の座標範囲を読み出し、当該座標範囲を入力部１０１から入力した画像の座標範囲に変換する（ステップＳ２０）。つまり、車幅算出部１０８が算出した座標範囲は、傾斜処理部１０３によって傾斜させた画像の座標範囲を示すため、入力部１０１から入力した画像から車両を抽出するためには、当該座標範囲を傾斜処理部１０３による傾斜以前の画像の座標範囲に変換する必要がある。具体的には、式（３）を用いて座標範囲の変換を行う。
【００４７】
【数３】
【００４８】
但し、Ｗは、変換後の座標範囲を示す。また、Ｗｔｉｌｔは、車幅算出部１０８が抽出した車両領域候補が示す座標範囲を示す。また、Ｈは、車両進行方向の車両の領域の長さを示す。また、θは、傾斜処理部１０３が画像の傾斜を行った角度を示す。
但し、本実施形態では、車両進行方向の車両の領域の長さを算出しないため、予め撮像装置２００が撮像した画像における車両進行方向の車両の長さの平均値や最大値を算出しておき、または予め車両進行方向の車両の長さに用いる適当な値（例えば、画像の縦方向の長さの二分の一など）を定めておき、当該値を車両進行方向の車両の領域の長さとして用いる。
【００４９】
次に、車両抽出部１０９は、入力部１０１から入力した画像から、変換した座標範囲に含まれる領域をそれぞれ抽出する（ステップＳ２１）。次に、車幅エッジ量算出部１１０は、車両抽出部１０９が抽出した画像の横方向のエッジ量を算出する（ステップＳ２２）。ここで、エッジとは、画像において輝度差のある境界のことであり、横方向のエッジ量とは、縦方向に隣接する画素濃度差に相当する値の総和であり、画像内において横方向の傾きを有するエッジの多さを示す値のことである。具体的には、車幅エッジ量算出部１１０は、車両抽出部１０９が抽出した画像に対して、縦方向に隣接する画素の差分を得るフィルタ処理を行った後、二値化処理を行う。そして、車幅エッジ量算出部１１０は、横方向の輝度を全て加算し、これを横方向のエッジ量とする。
【００５０】
次に、車両推定部１１１は、ステップＳ１８で車幅算出部１０８が算出した、撮像装置２００が撮像した画像における車幅を読み出し、当該車幅が所定の二輪車推定閾値以下であるか否かを判定する（ステップＳ２３）。ここで、二輪車推定閾値とは、車両が二輪車であるか否かを推定する閾値である。
車両推定部１１１が、車幅が所定の二輪車推定閾値以下であると判定した場合（ステップＳ２３：ＹＥＳ）、当該車両が二輪車であると推定する（ステップＳ２４）。このとき、ステップＳ１９〜Ｓ２６の処理が行われていない車両領域候補が存在する場合は、ステップＳ１９に戻り、繰り返し処理を実行する。他方、ステップＳ１９〜Ｓ２６の処理が全ての車両領域候補に対して行われている場合は、処理を終了する。
【００５１】
他方、車両推定部１１１が、車幅が所定の二輪車推定閾値より大きいと判定した場合（ステップＳ２３：ＮＯ）、ステップＳ２２で車幅エッジ量算出部が算出した車幅エッジ量が、所定の四輪車推定閾値以上であるか否かを判定する（ステップＳ２５）。ここで、四輪車推定閾値とは、車両が四輪車であるか否かを推定する閾値である。
ここで、車両推定部１１１が、車幅が所定の二輪車推定閾値より大きいと判定した場合に、車両が四輪車であると推定しない理由を説明する。撮像装置２００は、路側に設置されたポールに設置されている。そのため、撮像装置２００の視線方向と通路の車両進行方向とは一致しない。この場合、撮像装置２００の視線方向と、通路の車両進行方向とがなす角が大きいほど、撮像装置２００が撮像する画像における車両の側面の領域は大きくなる。そのため、撮像装置２００が撮像する画像に写る二輪車が占める領域が、四輪車と同程度になる場合がある。そこで、本実施形態では、二輪車を四輪車であると誤判定することを防止するため、さらに一段階判定処理を行う。
【００５２】
車両推定部１１１は、ステップＳ２５で、横方向のエッジ量が所定の四輪車推定閾値以上であると判定した場合、当該車両が四輪車であると推定する（ステップＳ２６）。他方、車両推定部１１１は、車幅エッジ量が所定の四輪車推定閾値未満であると判定した場合、当該車両が二輪車であると推定する（ステップＳ２４）。このとき、ステップＳ１９〜Ｓ２６の処理が行われていない車両領域候補が存在する場合は、ステップＳ１９に戻り、繰り返し処理を実行する。他方、ステップＳ１９〜Ｓ２６の処理が全ての車両領域候補に対して行われている場合は、処理を終了する。
【００５３】
ここで、車幅エッジ量が大きい場合に車両が四輪車であると推定する理由を説明する。
四輪車は二輪車と比較して車幅方向の長さが長いため、バンパー、リアガラス、ルーフなどのパーツによって画像に横方向（車幅方向）のエッジが強く発生することとなる。また、二輪車は運転者が搭乗するため、四輪車に比べ、横方向のエッジは弱くなる。そのため、車両推定部１１１は、車幅エッジ量が四輪車推定閾値以上である場合に、車両が四輪車であると推定する。
【００５４】
このように、本実施形態によれば、差分画像生成部１０２が、撮像装置２００が連続撮像した画像の輝度の差分となる差分画像を生成し、平均輝度算出部１０４は、当該差分画像の横方向の各画素に対する平均輝度を算出する。そして、閾値算出部１０７が、平均輝度算出部１０４が算出した複数の平均輝度を用いて、画像における車両の有無を判定する車両判定閾値を算出し、車幅算出部１０８は、当該車両判定閾値を用いて車幅を算出する。
これにより、撮影環境の変化による車幅の検出精度のばらつきを防ぐことができるため、車両推定部１１１は、画像に写った車両が二輪車であるか四輪車であるかを精度良く推定することができる。
【００５５】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、車幅算出部１０８が算出した車幅が二輪車推定閾値以下であると判定した場合に、車両が二輪車であると推定し、車幅が二輪車推定閾値より大きいと判定した場合に、画像の横方向のエッジ量を用いて車両が二輪車であるか四輪車であるかの推定を行う場合を説明したが、これに限られない。例えば、撮像装置２００の視線方向と、通路の車両進行方向とがなす角が小さいために、撮像装置２００が撮像する画像における車両の側面の領域が小さい場合、画像の横方向のエッジ量を用いた推定を行わず、車幅算出部１０８が算出した車幅が二輪車推定閾値より大きいと判定した場合に、車両が四輪車であると推定するようにしても良い。
【００５６】
また、車両推定部１１１は、エッジ量を用いた推定を、車幅を用いた推定より先に行っても良い。具体的には、車幅エッジ量算出部１１０が算出したエッジ量が四輪車推定閾値以上であると判定した場合に、車両が四輪車であると推定し、エッジ量が四輪車推定閾値未満であると判定した場合に、車幅算出部１０８が算出した車幅を用いて車両が二輪車であるか四輪車であるかの推定を行っても良い。
【００５７】
また、本実施形態では、車幅算出部１０８が算出した車幅が二輪車推定閾値より大きく、かつ画像の横方向のエッジ量が四輪車推定閾値未満である場合、車両が二輪車であると推定する場合を説明したが、これに限られず、例えば、画像の横方向のエッジ量が四輪車推定閾値より小さい第２の二輪車判定閾値未満である場合に、車両が二輪車であると推定し、画像の横方向のエッジ量が四輪車推定閾値未満かつ第２の二輪車判定閾値以上である場合に、「車両を推定できない」とするようにしても良い。
【００５８】
なお、本実施形態では、平均輝度算出部１０４が、傾斜画像の縦方向の画素の平均輝度を、傾斜画像の横方向の画素ごとに算出する場合を説明したが、これに限られず、例えば、傾斜画像の縦方向の画素の平均輝度を、傾斜画像の横方向に所定の間隔（例えば、１０画素ごとの間隔）で配されたサンプリング点ごとに算出するようにしても良い。
【００５９】
なお、本実施形態では、傾斜処理部１０３がステップＳ５で差分画像を傾斜させ、以降の処理で当該傾斜させた差分画像を用いて車両の推定を行う場合を説明したが、これに限られない。傾斜処理部１０３による傾斜処理は、撮像した車両の画像における車両の傾斜を補正するために実行する処理である。そのため、例えば、車両の画像が傾斜しないよう撮像装置２００が設置されている場合などには、傾斜処理部１０３は、画像の傾斜を行わなくても良い。
【００６０】
なお、本実施形態では、撮像する画像に写る車両の車幅方向と当該画像の横軸とが略同一になるように撮像装置２００を設置することで、傾斜処理部１０３による傾斜処理後の画像における車両進行方向と車両の車幅方向とを略直交させる場合を説明したが、これに限られない。例えば、撮像装置２００が撮像する画像の横軸と撮像する画像に写る車両の車幅方向とが一致しない場合、傾斜車両部１０３の処理を行う前に、画像の中央を原点として車幅方向と画像水平方向を一致させるように回転させる処理回転処理を実行する。これにより、本実施形態と同様に、傾斜処理部１０３による傾斜処理後の画像における車両進行方向と車両の車幅方向とを略直交させることができる。
【００６１】
上述の車両推定装置１００は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００６２】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００６３】
１００…車両推定装置 １０１…入力部 １０２…差分画像生成部 １０３…傾斜処理部 １０４…平均輝度算出部 １０５…最小値抽出部 １０６…最大値抽出部 １０７…閾値算出部 １０８…車幅算出部 １０９…車両抽出部 １１０…車幅エッジ量算出部 １１１…車両推定部 ２００…撮像装置
【特許請求の範囲】
【請求項１】
通路を連続撮像する撮像装置が撮像した画像中における、前記通路を通行する車両の車幅に対応する長さを推定する車幅推定装置であって、
前記撮像装置が撮像した連続する２つの画像それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成する差分画像生成部と、
前記差分画像生成部が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向に所定のサンプリング間隔で配されたサンプリング点ごとに算出する平均輝度算出部と、
前記平均輝度算出部が算出した平均輝度の最小値、及び当該平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値である最小極小値を抽出する最小値抽出部と、
前記平均輝度算出部が算出した平均輝度の最大値を抽出する最大値抽出部と、
前記最大値抽出部が抽出した最大値と前記最小値抽出部が抽出した最小値または最小極小値との差の値に０超１未満の所定の係数を乗じた値に、前記最小値抽出部が抽出した最小値または最小極小値を加算した値を、車両の有無を判定する車両判定閾値として算出する閾値算出部と、
前記平均輝度算出部が算出した平均輝度が、前記閾値算出部が算出した車両判定閾値以上となる連続するサンプリング点の個数を用いて、前記撮像装置が撮像する画像における前記車両の車幅に対応する長さを算出する車幅算出部と、
を備えることを特徴とする車幅推定装置。
【請求項２】
前記車幅算出部は、前記平均輝度が前記車両判定閾値未満となる連続するサンプリング点の個数が所定の誤差判定閾値以下である場合、当該サンプリング点の個数と、当該サンプリング点に隣接する複数のサンプリング点であって前記平均輝度が前記車両判定閾値以上となる連続するサンプリング点の個数を用いて、前記撮像装置が撮像する画像における前記車両の車幅に対応する長さを算出する
ことを特徴とする請求項１に記載の車幅推定装置。
【請求項３】
前記閾値算出部は、
前記平均輝度算出部が算出した平均輝度の最大値が所定の最大輝度閾値以上であり、かつ前記平均輝度算出部が算出した平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値と、前記平均輝度の最大値との比が所定の平坦度閾値以上である場合に、最小値抽出部が抽出した最小極小値を用いて車両判定閾値を算出し、
前記平均輝度算出部が算出した平均輝度の最大値が前記最大輝度閾値未満である場合、または前記平均輝度算出部が算出した平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値と、前記平均輝度の最大値との比が前記平坦度閾値未満である場合に、最小値抽出部が抽出した最小値を用いて車両判定閾値を算出する
ことを特徴とする請求項１または請求項２に記載の車幅推定装置。
【請求項４】
前記平均輝度算出部は、前記差分画像生成部が生成した差分画像を、前記車両進行方向が当該差分画像の縦軸と略同一になるように傾斜させ、当該傾斜させた差分画像の縦軸の画素の輝度の平均を前記サンプリング点ごとに算出する
ことを特徴とする請求項１から請求項３の何れか１項に記載の車幅推定装置。
【請求項５】
請求項１から請求項４の何れか１項に記載の車幅推定装置を備え、前記通路を通行する車両の種類を推定する車両推定装置であって、
前記車幅推定装置が推定した長さを用いて前記車両の種類を推定する車両推定部
を備えることを特徴とする車両推定装置。
【請求項６】
前記車両推定部は、前記車幅算出部が算出した長さが、前記車両が二輪車であるか否かを推定する二輪車推定閾値以下である場合に、前記車両が二輪車であると推定する二輪車推定部を備えることを特徴とする請求項５に記載の車両推定装置。
【請求項７】
通路を連続撮像する撮像装置が撮像した画像中の車両が存在する領域における前記車幅方向のエッジ量を算出する車幅エッジ量算出部を備え、
前記車両推定部は、前記車幅エッジ量算出部が算出したエッジ量が、前記車両が四輪車であるか否かを推定する四輪車推定閾値以上である場合に、前記車両が四輪車であると推定する四輪車推定部を更に備え、前記二輪車推定部による推定結果と前記四輪車推定部による推定結果を用いて前記車両の種類を推定する
ことを特徴とする請求項６に記載の車両推定装置。
【請求項８】
通路を連続撮像する撮像装置が撮像した画像中における、前記通路を通行する車両の車幅に対応する長さを推定する車幅推定方法であって、
差分画像生成部は、前記通路を連続撮像する撮像装置が撮像した連続する２つの画像それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成し、
平均輝度算出部は、前記差分画像生成部が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向に所定のサンプリング間隔で配されたサンプリング点ごとに算出し、
最小値抽出部は、前記平均輝度算出部が算出した平均輝度の最小値、または当該平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値である最小極小値を抽出し、
最大値抽出部は、前記平均輝度算出部が算出した平均輝度の最大値を抽出し、
閾値算出部は、前記最大値抽出部が抽出した最大値と前記最小値抽出部が抽出した最小値または最小極小値との差の値に０超１未満の所定の係数を乗じた値に、前記最小値抽出部が抽出した値を加算した最小値または最小極小値を、車両の有無を判定する車両判定閾値として算出し、
車幅算出部は、前記平均輝度算出部が算出した平均輝度が、前記閾値算出部が算出した車両判定閾値以上となる連続するサンプリング点の個数を用いて前記車両の車幅を算出する
ことを特徴とする車幅推定方法。
【請求項９】
通路を連続撮像する撮像装置が撮像した画像中における、前記通路を通行する車両の車幅に対応する長さを推定する車幅推定装置を、
前記通路を連続撮像する撮像装置が撮像した連続する２つの画像それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成する差分画像生成部、
前記差分画像生成部が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向に所定のサンプリング間隔で配されたサンプリング点ごとに算出する平均輝度算出部、
前記平均輝度算出部が算出した平均輝度の最小値、または当該平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値である最小極小値を抽出する最小値抽出部、
前記平均輝度算出部が算出した平均輝度の最大値を抽出する最大値抽出部、
前記最大値抽出部が抽出した最大値と前記最小値抽出部が抽出した最小値または最小極小値との差の値に０超１未満の所定の係数を乗じた値に、前記最小値抽出部が抽出した最小値または最小極小値を加算した値を、車両の有無を判定する車両判定閾値として算出する閾値算出部、
前記平均輝度算出部が算出した平均輝度が、前記閾値算出部が算出した車両判定閾値以上となる連続するサンプリング点の個数を用いて前記車両の車幅を算出する車幅算出部
として機能させるためのプログラム。
【請求項１】
通路を連続撮像する撮像装置が撮像した画像中における、前記通路を通行する車両の車幅に対応する長さを推定する車幅推定装置であって、
前記撮像装置が撮像した連続する２つの画像それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成する差分画像生成部と、
前記差分画像生成部が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向に所定のサンプリング間隔で配されたサンプリング点ごとに算出する平均輝度算出部と、
前記平均輝度算出部が算出した平均輝度の最小値、及び当該平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値である最小極小値を抽出する最小値抽出部と、
前記平均輝度算出部が算出した平均輝度の最大値を抽出する最大値抽出部と、
前記最大値抽出部が抽出した最大値と前記最小値抽出部が抽出した最小値または最小極小値との差の値に０超１未満の所定の係数を乗じた値に、前記最小値抽出部が抽出した最小値または最小極小値を加算した値を、車両の有無を判定する車両判定閾値として算出する閾値算出部と、
前記平均輝度算出部が算出した平均輝度が、前記閾値算出部が算出した車両判定閾値以上となる連続するサンプリング点の個数を用いて、前記撮像装置が撮像する画像における前記車両の車幅に対応する長さを算出する車幅算出部と、
を備えることを特徴とする車幅推定装置。
【請求項２】
前記車幅算出部は、前記平均輝度が前記車両判定閾値未満となる連続するサンプリング点の個数が所定の誤差判定閾値以下である場合、当該サンプリング点の個数と、当該サンプリング点に隣接する複数のサンプリング点であって前記平均輝度が前記車両判定閾値以上となる連続するサンプリング点の個数を用いて、前記撮像装置が撮像する画像における前記車両の車幅に対応する長さを算出する
ことを特徴とする請求項１に記載の車幅推定装置。
【請求項３】
前記閾値算出部は、
前記平均輝度算出部が算出した平均輝度の最大値が所定の最大輝度閾値以上であり、かつ前記平均輝度算出部が算出した平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値と、前記平均輝度の最大値との比が所定の平坦度閾値以上である場合に、最小値抽出部が抽出した最小極小値を用いて車両判定閾値を算出し、
前記平均輝度算出部が算出した平均輝度の最大値が前記最大輝度閾値未満である場合、または前記平均輝度算出部が算出した平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値と、前記平均輝度の最大値との比が前記平坦度閾値未満である場合に、最小値抽出部が抽出した最小値を用いて車両判定閾値を算出する
ことを特徴とする請求項１または請求項２に記載の車幅推定装置。
【請求項４】
前記平均輝度算出部は、前記差分画像生成部が生成した差分画像を、前記車両進行方向が当該差分画像の縦軸と略同一になるように傾斜させ、当該傾斜させた差分画像の縦軸の画素の輝度の平均を前記サンプリング点ごとに算出する
ことを特徴とする請求項１から請求項３の何れか１項に記載の車幅推定装置。
【請求項５】
請求項１から請求項４の何れか１項に記載の車幅推定装置を備え、前記通路を通行する車両の種類を推定する車両推定装置であって、
前記車幅推定装置が推定した長さを用いて前記車両の種類を推定する車両推定部
を備えることを特徴とする車両推定装置。
【請求項６】
前記車両推定部は、前記車幅算出部が算出した長さが、前記車両が二輪車であるか否かを推定する二輪車推定閾値以下である場合に、前記車両が二輪車であると推定する二輪車推定部を備えることを特徴とする請求項５に記載の車両推定装置。
【請求項７】
通路を連続撮像する撮像装置が撮像した画像中の車両が存在する領域における前記車幅方向のエッジ量を算出する車幅エッジ量算出部を備え、
前記車両推定部は、前記車幅エッジ量算出部が算出したエッジ量が、前記車両が四輪車であるか否かを推定する四輪車推定閾値以上である場合に、前記車両が四輪車であると推定する四輪車推定部を更に備え、前記二輪車推定部による推定結果と前記四輪車推定部による推定結果を用いて前記車両の種類を推定する
ことを特徴とする請求項６に記載の車両推定装置。
【請求項８】
通路を連続撮像する撮像装置が撮像した画像中における、前記通路を通行する車両の車幅に対応する長さを推定する車幅推定方法であって、
差分画像生成部は、前記通路を連続撮像する撮像装置が撮像した連続する２つの画像それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成し、
平均輝度算出部は、前記差分画像生成部が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向に所定のサンプリング間隔で配されたサンプリング点ごとに算出し、
最小値抽出部は、前記平均輝度算出部が算出した平均輝度の最小値、または当該平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値である最小極小値を抽出し、
最大値抽出部は、前記平均輝度算出部が算出した平均輝度の最大値を抽出し、
閾値算出部は、前記最大値抽出部が抽出した最大値と前記最小値抽出部が抽出した最小値または最小極小値との差の値に０超１未満の所定の係数を乗じた値に、前記最小値抽出部が抽出した値を加算した最小値または最小極小値を、車両の有無を判定する車両判定閾値として算出し、
車幅算出部は、前記平均輝度算出部が算出した平均輝度が、前記閾値算出部が算出した車両判定閾値以上となる連続するサンプリング点の個数を用いて前記車両の車幅を算出する
ことを特徴とする車幅推定方法。
【請求項９】
通路を連続撮像する撮像装置が撮像した画像中における、前記通路を通行する車両の車幅に対応する長さを推定する車幅推定装置を、
前記通路を連続撮像する撮像装置が撮像した連続する２つの画像それぞれの画素の輝度の差分に相当する画素からなる差分画像を生成する差分画像生成部、
前記差分画像生成部が生成した差分画像の車両進行方向に伸びる直線上に存在する画素の平均輝度を、車幅方向に所定のサンプリング間隔で配されたサンプリング点ごとに算出する平均輝度算出部、
前記平均輝度算出部が算出した平均輝度の最小値、または当該平均輝度のうち隣接するサンプリング点の平均輝度の何れより低い値となる平均輝度の最小値である最小極小値を抽出する最小値抽出部、
前記平均輝度算出部が算出した平均輝度の最大値を抽出する最大値抽出部、
前記最大値抽出部が抽出した最大値と前記最小値抽出部が抽出した最小値または最小極小値との差の値に０超１未満の所定の係数を乗じた値に、前記最小値抽出部が抽出した最小値または最小極小値を加算した値を、車両の有無を判定する車両判定閾値として算出する閾値算出部、
前記平均輝度算出部が算出した平均輝度が、前記閾値算出部が算出した車両判定閾値以上となる連続するサンプリング点の個数を用いて前記車両の車幅を算出する車幅算出部
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図７】
【図８】
【図４】
【図５】
【図６】
【図２】
【図３】
【図７】
【図８】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−３７０８（Ｐ２０１２−３７０８Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１４０７５２（Ｐ２０１０−１４０７５２）
【出願日】平成２２年６月２１日（２０１０．６．２１）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月２１日（２０１０．６．２１）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
[ Back to top ]