車線内車両検出装置及び車線内車両検出方法
【課題】高速道路の道路表面から所定の高さで設置されたステレオ画像撮像装置により、前方の高速道路を撮像したステレオ画像に基づき、ステレオ画像撮像装置に向かって進行して来る高速道路上の走行車線内の車両を検出して、ほぼリアルタイムで検出した車両の位置・速度を表示する車線内車両検出装置を提供する。
【解決手段】前方の自車線と隣接車線を撮像して基準画像と比較画像を出力するステレオ画像撮像装置と、基準画像と比較画像に基づき、視差画像を生成する視差画像生成部と、車線・車両検出処理部とを備え、車線・車両検出処理部は、基準画像と視差画像に基づき、ステレオ画像撮像装置に向かって進行して来る自車線及び隣接車線内の車両を検出して、検出した車両の位置を、走行車線を表す平面上の２次元位置として表示するとともに、検出した車両の速度と衝突までの時間をも表示する。
【解決手段】前方の自車線と隣接車線を撮像して基準画像と比較画像を出力するステレオ画像撮像装置と、基準画像と比較画像に基づき、視差画像を生成する視差画像生成部と、車線・車両検出処理部とを備え、車線・車両検出処理部は、基準画像と視差画像に基づき、ステレオ画像撮像装置に向かって進行して来る自車線及び隣接車線内の車両を検出して、検出した車両の位置を、走行車線を表す平面上の２次元位置として表示するとともに、検出した車両の速度と衝突までの時間をも表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像に基づき、高速道路上の走行車線内の車両を検出して、ほぼリアルタイムで検出した車両の位置・速度を表示する車両検出技術に関する。
【背景技術】
【０００２】
人や物を運ぶ手段の一つである自動車等の車両は、その利便性と快適性から現代社会においてなくてはならない存在となっている。そこで、自動車の持つ優れた点を犠牲にすることなく、自動車による事故を自動的に回避できる技術の開発が、従来より進められている。
【０００３】
自動車による事故の一つとして、例えば、高速道路において行われる工事の現場（以下、単に、高速道路工事現場と言う。）に突っ込んでくる自動車による事故がある。統計によると、このような事故は年間３００件以上が発生しており、しかも、重大人身事故につながりやすくて、年間５０人以上が死亡している。
【０００４】
また、このような事故が起きた場合では、高速道路工事現場に突っ込んでくる自動車の運転者が、殆ど居眠り運転をしている。しかし、居眠り運転をしている運転者に警報を出しても、運転者がその警報に気付かなければ、警報を出す意味があまり無いと思われる。
【０００５】
そこで、高速道路工事現場で作業している作業員には、自分自身の命を守るために、高速道路工事現場に突っ込んで来る自動車に気付いたら、すぐに逃げる方法しかない。
【０００６】
ここで、高速道路工事現場に居る作業員が安全に逃げるための逃げ時間を１０秒と設定すると、高速道路を時速１００ｋｍ／ｈ（つまり、秒速２７.８ｍ／ｓ）で走っている自動車が、高速道路工事現場に向かって走行して来ることを想定した場合に、高速道路工事現場の約３００ｍ先（≒２７８ｍ＝１０ｓ×２７.８ｍ／ｓ）で自動車を発見して作業員に知らせる必要がある。
【０００７】
換言すれば、高速道路工事現場の３００ｍ先から、高速道路工事現場に近付いてくる自動車を捕捉（検出）して、高速道路工事現場に居る作業員に知らせることにより、このような事故を未然に防ぐことができる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】實吉敬二著,「ステレオ法による立体画像認識の基礎と車載カメラへの応用」,株式会社トリケップス,２００７年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、高速道路工事現場の３００ｍ先から高速道路工事現場に近付いてくる自動車を捕捉し続けるのに、つまり、高速道路工事現場の３００ｍ先から高速道路上の車線内車両を検出するのに、レーダーでは、遠すぎるという問題、また、視野角が広すぎるという問題がある。
【００１０】
そして、３００ｍも距離があると、高速道路にカーブや勾配も存在する場合がある。レーダーでは、特定の方向に存在する物体しか検出できず、高速道路の形状（高速道路上の車線）を検出することができないという問題もある。
【００１１】
一方、ステレオカメラによる画像処理技術は、進歩を続けている（非特許文献１参照）。現在では、車載ステレオカメラに関する画像処理技術も盛んに行われている（非特許文献１参照）。
【００１２】
本発明は、上述のような事情よりなされたものであり、本発明の目的は、高速道路の道路表面から所定の高さで設置されたステレオ画像撮像装置により、前方の高速道路を撮像したステレオ画像に基づき、ステレオ画像撮像装置に向かって進行して来る高速道路上の走行車線内の車両を検出して、ほぼリアルタイムで検出した車両の位置・速度を表示する車線内車両検出装置及び車線内車両検出方法を提供することにある。
【課題を解決するための手段】
【００１３】
本発明は、高速道路上の走行車線内の車両を検出して、検出した車両の位置・速度を表示する車線内車両検出装置に関し、本発明の上記目的は、前方の自車線と隣接車線を撮像して基準画像と比較画像を出力するステレオ画像撮像装置と、前記基準画像と前記比較画像に基づき、視差画像を生成する視差画像生成部と、車線・車両検出処理部とを備え、前記車線・車両検出処理部は、前記基準画像と前記視差画像に基づき、前記ステレオ画像撮像装置に向かって進行して来る自車線及び隣接車線内の車両を検出して、検出した車両の位置を、走行車線を表す平面上の２次元位置として表示するとともに、検出した車両の速度と衝突までの時間をも表示することによって効果的に達成される。
【００１４】
また、本発明の上記目的は、前記視差画像生成部は、領域ステレオ法を用いて画像全体に亘る前記視差画像を生成し、前記車線・車両検出処理部は、白線検出処理部と、車線決定処理部と、車線内車両検出処理部と、車両位置速度算出部とを備えることによってより効果的に達成される。
【００１５】
また、本発明の上記目的は、前記白線検出処理部は、基準画像と視差画像を連続して８枚ずつ取り込むというステップ、８枚の基準画像を時間平均化するとともに、８枚の視差画像も時間平均化するというステップ、時間平均化された基準画像を所定サイズの領域で移動平均するというステップ、移動平均された基準画像にソーベルフィルタをかけることにより、エッジを検出するというステップ、ソーベルフィルタで検出されたエッジ情報および視差情報に基づき、白線検出用の３次元ウィンドウを設定するというステップ、時間平均化された視差画像に基づき、エッジ方向、基準画像の連続、視差の連続を条件として、エッジ点群をグループ化するというステップ、ハフ変換により、３次元ウィンドウに３次元の直線を見つけるというステップ、及び３次元の直線に含まれるエッジ点群に最小二乗法で直線を当てはめ、直線の位置精度を上げるというステップによる処理を行うことにより、道路面の白線を三次元で検出することによってより効果的に達成される。
【００１６】
また、本発明の上記目的は、前記車線決定処理部は、前記白線検出処理部で検出された白線を右車線又は左車線とし、更に、検出された白線の左側又は右側に、一車線の幅分ずつ広げ、前記自車線、前記隣接車線と決定することによってより効果的に達成される。
【００１７】
また、本発明の上記目的は、前記車線内車両検出処理部は、決定した車線内で道路表面から所定の高さまでの視差データを抽出するというステップ、視差画像全体を所定の横幅を有する短冊領域に分割するというステップ、分割された各短冊領域について視差ヒストグラムを作成するというステップ、所定の閾値以上の視差データで平面図を構成するというステップ、隣接する視差データをグループ化するというステップ、及び所定の閾値以上の視差データ数があるグループを車線内の車両として検出するというステップによる処理を行うことにより、決定した各車線内の車両を検出することによってより効果的に達成される。
【００１８】
また、本発明の上記目的は、車両位置速度算出部は、検出した車線内の車両のうち、その車線で最も近い車両の位置を算出して、その車線を表す平面状の２次元位置として表示するというステップ、及びそれぞれの車線内で検出した車両の位置を時系列に記憶し、その位置の時間変化から速度を算出して表示し、さらに、自車線内の車両について衝突までの時間も算出して表示するというステップによる処理を行うことにより、前記自車線内の車両の位置・速度・衝突までの時間を表示するとともに、前記隣接車線内の車両の位置・速度をも表示することによってより効果的に達成される。
【発明の効果】
【００１９】
本発明に係る車線内車両検出装置によれば、高速道路工事現場に突っ込んでくる自動車による人身事故を未然に防ぐことができるという優れた効果を奏する。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る車線内車両検出装置の実施形態を示すブロック構成図である。
【図２】本発明において、ステレオ画像撮像装置（ステレオビデオカメラ）の設置方法の一例を説明する模式図である。
【図３】本発明に係る車線内車両検出装置において、基準カメラ又は比較カメラから見た高速道路上の白線の見え方を説明するための模式図である。
【図４】本発明に係る車線内車両検出装置において、ステレオ画像撮像装置により撮像されたステレオ画像（基準画像及び比較画像）の画像例、及び視差画像生成部により生成された視差画像の画像例を示す。
【図５】本発明に係る車線内車両検出装置における車線・車両検出処理部の実施形態を示すブロック構成図である。
【図６】本発明に係る車線内車両検出装置の白線検出処理部の処理流れを示すフロー図である。
【図７】本発明の白線検出処理部でのソーベルフィルタ処理により生成された、エッジ強度画像例とエッジ方向分布例を示す。
【図８】本発明の白線検出処理部で行われる処理に係る白線検出用３次元ウィンドウの一例を示す。
【図９】本発明の白線検出処理部で行われる処理を説明するための図である。
【図１０】本発明に係る車線内車両検出装置の車線決定処理部の処理流れを示すフロー図である。
【図１１】本発明に係る車線内車両検出装置の車線内車両検出処理部の処理流れを示すフロー図である。
【図１２】本発明に係る車線内車両検出装置の車線・車両検出処理部で行われる処理の一画面を示す。
【図１３】本発明に係る車線内車両検出装置の車両位置速度算出部の処理流れを示すフロー図である。
【図１４】本発明に係る車線内車両検出装置の出力画面例を示す。
【図１５】本発明に係る車線内車両検出装置の出力画面例を示す。
【図１６】本発明に係る車線内車両検出装置の出力画面例を示す。
【発明を実施するための形態】
【００２１】
本発明は、高速道路の道路表面から所定の高さで設置されたステレオ画像撮像装置により、前方の高速道路を撮像したステレオ画像に基づき、ステレオ画像撮像装置に向かって進行して来る高速道路上の走行車線内の車両を検出して、ほぼリアルタイムで検出した車両の位置・速度を表示する車線内車両検出技術に関する。
【００２２】
本発明は、高速道路工事現場で発生する、自動車突っ込みによる人身事故を未然に防ぐために、研究開発されたものである。
【００２３】
本発明に係る車線内車両検出装置の一構成要素であるステレオ画像撮像装置を、高速道路工事現場の工事区間の開始点（つまり、工事区間とする高速道路上の走行車線の所定の位置）に設置する。より厳密に言うと、本発明では、ステレオ画像撮像装置は、走行車線の所定の位置の道路表面から所定の高さで設置される。
【００２４】
本発明では、本発明に係る車線内車両検出装置が設置された高速道路の走行車線（走行レーン）を単に自車線と称する。また、自車線に隣接する高速道路の走行車線を隣接車線と称する。
【００２５】
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
【００２６】
図１は、本発明に係る車線内車両検出装置の実施形態（以下、単に、「本発明の車線内車両検出装置」、又は「車線内車両検出装置１」とも言う。）を示すブロック構成図である。図１に示すように、車線内車両検出装置１は、ステレオ画像撮像装置１０と、視差画像生成部２０と、車線・車両検出処理部３０とから構成される。
【００２７】
図示されていないが、ステレオ画像撮像装置１０は、基準画像を撮像する基準画像撮像装置と、比較画像を撮像する比較画像撮像装置と、基準画像撮像装置の光学的な歪みに起因した基準画像の歪み、及び比較画像撮像装置の光学的な歪みに起因した比較画像の歪みを補正する歪補正処理部と、撮像装置の位置的なずれに起因した画像のずれを校正する校正パラメータに基づき、歪み補正された基準画像と比較画像を校正する校正処理部とから構成される。
【００２８】
本発明では、ステレオ画像撮像装置１０により撮像したステレオ画像、つまり、ステレオ画像撮像装置１０により撮像した基準画像と比較画像は、既に歪み補正され、且つ、位置的なずれも校正された基準画像と比較画像である。
【００２９】
要するに、図１に示された車線内車両検出装置１では、ステレオ画像撮像装置１０から得られた（出力された）基準画像と比較画像は、既に歪み補正され、且つ、位置的なずれも校正された基準画像と比較画像である。
【００３０】
以下、説明を簡単にするため、ステレオ画像撮像装置１０から得られた、既に歪み補正され、且つ、位置的なずれも校正された基準画像と比較画像を、単に、基準画像と比較画像と称する。
【００３１】
車線内車両検出装置１は、ステレオ画像撮像装置１０により前方の自車線と隣接車線を撮像したステレオ画像（基準画像と比較画像）、及びステレオ画像から得られた視差画像に基づき、高速道路上の走行車線を示す白線を二つの線として認識し、走行車線を認識した二つの線の間の平面として捉え、ステレオ画像撮像装置１０に向かって進行して来る自車線及び隣接車線内の車両を検出して、ほぼリアルタイムで検出した車両の位置を走行車線を表す平面上の二次元位置として表示するとともに、検出した車両の速度と衝突までの時間をも表示するものである。
【００３２】
図２は、ステレオ画像撮像装置１０の設置方法の一例を説明する模式図である。本発明では、ステレオ画像撮像装置１０として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた２台の固体撮像素子ビデオカメラと、歪補正校正処理部とから構成されるステレオビデオカメラを用いる。２台の固体撮像素子ビデオカメラのうち、１台は基準画像撮像装置とし、以下単に基準カメラと言い、もう１台は比較画像撮像装置とし、以下単に比較カメラと言う。
【００３３】
図２に示すように、ステレオ画像撮像装置１０としてのステレオビデオカメラは、走行車線の所定の位置の道路表面から所定の高さ（１．５ｍ以上）で設置されている。
【００３４】
図３は、本発明に係る車線内車両検出装置において、基準カメラ又は比較カメラから見た高速道路上の白線の見え方を説明するための模式図である。図３（Ａ）は、基準カメラ又は比較カメラのカメラ位置が低い場合の高速道路上の白線の見え方を示している。また、図３（Ｂ）は、基準カメラ又は比較カメラのカメラ位置が高い場合の高速道路上の白線の見え方を示している。
【００３５】
ここで言う「基準カメラ又は比較カメラのカメラ位置」とは、高速道路の道路表面からステレオ画像撮像装置１０（ステレオビデオカメラ）の設置位置までの距離（高さ）を意味する。図２に示すように、本発明において、その高さは１．５ｍ以上を有することが好ましい。
【００３６】
図３から分かるように、カメラ位置が高い場合（１．５ｍ以上の場合）に、遠方が見え易くなり、白線の傾きも大きくなる。それに対して、カメラ位置が低い場合に、遠方が見え難くなり、また、白線の傾きも小さくなる。
【００３７】
要するに、本発明では、３００ｍ遠方の車両を確実に検出するために、ステレオビデオカメラを道路表面から１．５ｍ以上の高さに設置することにより（図２参照）、遠くを見やすくするとともに、画像に写る白線の傾きを大きくして、ステレオマッチングの横方向の曖昧さを減少し、白線の視差精度（距離精度）を向上させるようにしている（図３参照）。さらに、本発明では、光軸を概ね水平にし、高速道路に上り下り勾配があっても、どちらも道路面が遠くまで見えるようにする（図２参照）。
【００３８】
ここで、ステレオ画像撮像装置１０としてステレオビデオカメラを用いた場合の具体例について説明する。
【００３９】
基準カメラも、比較カメラも、同じ技術仕様を有する固体撮像素子ビデオカメラを使用する。固体撮像素子ビデオカメラは、望遠レンズが付けられ、外部同期の取れるものである。望遠レンズを付けた固体撮像素子ビデオカメラにより撮像した画像は、歪みが少ないため、基準カメラにより撮像した基準画像も、比較カメラにより撮像した比較画像も、歪補正が不要になる。
【００４０】
本具体例では、ステレオビデオカメラは、基準カメラと、比較カメラと、校正パラメータに基づき、基準画像と比較画像を校正する画像校正処理部とから構成される。ここで、校正パラメータは、併進量と比較画像の回転角である。
【００４１】
画像校正処理部では、まず、併進量に基づき、基準画像と比較画像をそれぞれ併進させ、更に、比較画像の回転角に基づき、併進された比較画像を回転させる。なお、校正パラメータ（併進量と比較画像の回転角）を求める処理手順は後述する。
【００４２】
ここで、固体撮像素子ビデオカメラの好適な具体例として、竹中システムのＮＣ３００Ａを選択する。このＮＣ３００Ａは、インターライン転送方式、１／２インチサイズＣＣＤ撮像素子、画素数７６８（Ｈ）×４９４（Ｖ）、画素寸法８．４（Ｈ）×９．８（Ｖ）μｍ、１／６０秒〜１／１００００秒可変、インターレース／ノンインターレース、内部同期／外部同期、水平１５．７３４ｋＨｚ／垂直５９．９Ｈｚといった技術仕様を有する。
【００４３】
ここで、２台のＮＣ３００Ａと画像校正処理部とで構成されるステレオビデオカメラの設計パラメータについて説明する。
【００４４】
まず、基線長×レンズ焦点距離（Ｂｆ値）の決定について説明する。本発明は高速道路工事現場で発生する、自動車突っ込みによる人身事故を防ぐために研究開発されたもので、背景技術で既述したように、作業員が安全に逃げるための逃げ時間を１０秒とする場合、高速道路工事現場の約３００ｍ先、つまり、本発明に係る車線内車両検出装置の設置場所の約３００ｍ先から車両を検出する必要がある。
【００４５】
従って、本発明のステレオ画像撮像装置（ステレオビデオカメラ）に、ステレオ画像撮像装置（ステレオビデオカメラ）の３００ｍ先まで見えるとの性能、及び３０ｍくらい近くまで追跡できるとの性能が必要である。
【００４６】
つまり、本発明では、ステレオビデオカメラの仕様については、３０ｍ手前まで見えるようにし（３０ｍで視差１００画素（一般的なステレオカメラでの探索幅））、３００ｍ先で１０画素（１／４サブピクセルで±２ｍ）の精度を確保するように設計する。
【００４７】
一般的なステレオビデオカメラでの探索幅（探索範囲）は１００画素である。Ｂｆ値は３０００［ｍ・画素］で、（３００ｍ先で視差１０画素→±８ｍの精度）。また、一画素あたりの横幅は８．４×７６８÷６４０＝１０．１μｍであるため、よってＢｆ値［ｍ・ｍｍ］は３０．２４になる。
【００４８】
次に、レンズ焦点距離と基線長の決定について説明する。
【００４９】
本発明のステレオ画像撮像装置（ステレオビデオカメラ）に、３００ｍ先で車両の幅（１．７ｍ）が２０画素程度で、３００ｍ先で１．７×６４０÷２０＝５４．４ｍの幅が見えるとの性能が必要である。
【００５０】
レンズ焦点距離は、撮像素子の横幅（１０．１μｍ×６４０＝６．４６ｍｍ）より、６．４６×３００÷５４．４＝３５．６ｍｍであるため、３５ｍｍとする。また、基線長は、Ｂｆ値が３０．２４であることにより、３０．２４÷３５＝０．８６ｍ（８６ｃｍ）となる。
【００５１】
本発明では、車線内車両検出装置１を用いて自車線及び隣接車線内の車両を検出する前に、ステレオ画像撮像装置１０として、ステレオビデオカメラを用いた場合に、予め、校正パラメータ（併進量と比較画像の回転角）を求める必要がある。
【００５２】
つまり、ステレオビデオカメラが道路表面から所定の高さで設置された後に、まず、校正パラメータを求めるための処理を行なう必要がある。
【００５３】
ステレオビデオカメラの校正パラメータ（併進量と比較画像の回転角）は、次のステップＡ１〜Ａ７による処理で求める。
ステップＡ１：
基準カメラに写る水平ライン付近（実際には画面の中心を通るライン）からその下、画面の下半分の１／３までの範囲を水平方向に８つのブロックに分ける。すなわち、基準画像の縦方向の１／２の線（水平線）から、縦方向の１／６に、平行線を引き、この間を８分割する。このようにして、サンプルデータが局在化することを防ぐ。
ステップＡ２：
それぞれのブロックについて、８×８画素の小領域を各ブロックの左上に取る。
ステップＡ３：
画素の輝度について、セルフＳＡＤ（Ｓｅｌｆ Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を計算する。本発明で言うセルフＳＡＤは、小領域を一画素分右へずらした小領域とのＳＡＤを意味する。このようにして、パターンの輝度の変化が大きい小領域を見つける。
ステップＡ４：
分散（セルフＳＡＤ）が所定の閾値より大きければ、その小領域を選択して探索を終了する。一方、分散（セルフＳＡＤ）が所定の閾値より小さければ、右方向及び下方向に探索して見つける。ブロックの中で、輝度変化の大きい個所１か所を見つける。
ステップＡ５：
ステップＡ４で選択した点（１か所）と同じパターンの小領域を比較画像から見つける。パターン一致度の評価は、ＳＡＤなどを用い、０．１ピクセル程度のサブピクセル精度でその小領域の位置を求める。
ステップＡ６：
基準画像・比較画像の対応する領域の縦方向の位置が一致するように、最小二乗法を用いて、校正パラメータ、即ち、併進量と比較画像の回転角を求める。
【００５４】
本来、基線長の方向と撮像素子の水平方向を合わせるため、回転は基準画像に対しても行なわなければならないが、基準画像に対する回転角も含めると、比較画像の回転角と干渉して、どちらの回転角も不安定になるので、本発明では、校正パラメータは併進量と比較画像の回転角のみにした。
ステップＡ７：
ステップＡ６で得られた校正パラメータ（比較画像の回転角と併進量）を、ステレオビデオカメラの画像校正処理部に記憶しておく。
次に、視差画像生成部２０について説明する。図１に示すように、視差画像生成部２０は、領域ステレオ法を用いて、ステレオ画像撮像装置１０を用いて撮像したステレオ画像（基準画像と比較画像）から画像全体に亘る視差画像を生成する。
【００５５】
なお、視差画像生成部２０では、既存の領域ステレオ法を用いることにより、基準画像と比較画像から画像全体に亘る視差画像を生成する。
【００５６】
図４は、本発明に係る車線内車両検出装置において、ステレオ画像撮像装置により撮像されたステレオ画像（基準画像及び比較画像）の画像例、及び視差画像生成部により生成された視差画像の画像例を示す。
【００５７】
図４（Ａ）に、基準カメラ（ＮＣ３００Ａビデオカメラ）で自車線と隣接車線を撮像した基準画像の一例を示す。図４（Ｂ）に、比較カメラ（ＮＣ３００Ａビデオカメラ）で自車線と隣接車線を撮像した比較画像の一例を示す。また、図４（Ｃ）に、図４（Ａ）の基準画像と図４（Ｂ）の比較画像に基づき、視差画像生成部２０により生成された視差画像を示す。
【００５８】
図５は、本発明に係る車線内車両検出装置における車線・車両検出処理部の実施形態（車線内車両検出装置１における車線・車両検出処理部３０）を示すブロック構成図である。図５に示すように、車線・車両検出処理部３０は、白線検出処理部３１０と、車線決定処理部３２０と、車線内車両検出処理部３３０と、車両位置速度算出部３４０とから構成され、ステレオ画像撮像装置１０から出力された基準画像と、視差画像生成部２０より出力された視差画像に基づき、自車線及び隣接車線内の車両を検出して、検出した車両の位置を平面上の２次元位置として表示するとともに、検出した車両の速度と衝突までの時間をも表示する。
【００５９】
図６は、道路面の白線を三次元で検出する白線検出処理部３１０の処理流れを示すフロー図である。
【００６０】
図６に示すように、白線検出処理部３１０が、まず、基準画像と視差画像を連続して８枚ずつ取り込む（ステップＳ１００を参照）。次に、白線検出処理部３１０が、特異点を除去するために、取り込んだ８枚の基準画像を時間平均化するとともに、取り込んだ８枚の視差画像も時間平均化する（ステップＳ１１０を参照）。
【００６１】
次に、白線検出処理部３１０が、時間平均化された基準画像を所定サイズの領域（例えば、５×５画素の領域）で移動平均する（ステップＳ１２０を参照）。
【００６２】
ステップＳ１２０で行われる処理により、エッジの方向のばらつきが押さえられる。ステップＳ１２０では、時間平均化された基準画像を所定サイズの領域（例えば、５×５画素の領域）で平均することにより、１画素ずつずらした元の画像とほぼ同じ画素数の画像を得る。
【００６３】
白線検出処理部３１０では、ステップＳ１１０及びステップＳ１２０の処理を行なうことにより、基準画像を平均化してぼかすことで、以下の処理をし易くする。
【００６４】
次に、白線検出処理部３１０が、移動平均された基準画像にソーベルフィルタをかけることにより、エッジを検出する（ステップＳ１３０を参照）。
【００６５】
ステップＳ１３０では、エッジを方向（同じ方向でも白→黒、黒→白で符号が違う）情報も含めて検出する。つまり、ステップＳ１３０において、ソーベルフィルタで検出されたエッジ情報は、エッジ強度と、エッジの符号を含めたエッジ方向である。
【００６６】
図７に本発明の白線検出処理部でのソーベルフィルタ処理により生成された、エッジ強度画像例とエッジ方向分布例を示す。図７（Ｂ）は、図７（Ａ）の基準画像にソーベルフィルタをかけて得られたエッジ強度画像である。図７（Ｂ）のエッジ強度画像は、明るくなるほど、エッジ強度が大きくなる。
【００６７】
また、図７（Ｃ）は、図７（Ａ）の基準画像にソーベルフィルタをかけて得られたエッジ方向分布を示すエッジ方向画像である。図７（Ｃ）のエッジ方向画像において、黄はエッジ方向０°、赤はエッジ方向６０°、紫はエッジ方向１２０°、青はエッジ方向１８０°、水色はエッジ方向２４０°、緑はエッジ方向３００°をそれぞれ表す。
【００６８】
ステップＳ１３０で行われる処理により、周囲より白い部分を検出することになるので、薄い白線でも、検出することができる。
【００６９】
次に、白線検出処理部３１０が、ソーベルフィルタで検出されたエッジ情報および視差情報に基づき、白線検出用の３次元ウィンドウを設定する（ステップＳ１４０を参照）。ステップＳ１４０では、道路表面上の白線が存在しそうなところ（例えば、車両に沿った前方右側）に、３次元ウィンドウを設定する。また、ステップＳ１４０では、道路表面上の白線を取り囲む四角錐体が連続した形で、３次元ウィンドウを設定する。
【００７０】
ステップＳ１４０で行われる処理により、白線検出処理部３１０により検出される白線は、道路表面上の白線に限定されることができる。また、ステップＳ１４０で行われる処理により、道路表面上にない白線状のもの（例えば、ガードレールなどの白線状のもの）が除去される。
【００７１】
次に、白線検出処理部３１０が、時間平均化された視差画像に基づき、エッジ方向、基準画像の連続、視差の連続を条件として、エッジ点群をグループ化する（ステップＳ１５０を参照）。
【００７２】
ステップＳ１５０では、ソーベルフィルタ処理で得られたエッジ点群に対し、エッジの符号を含めたエッジ方向、点列の連続性（基準画像の連続性）、視差の連続性に基づき、エッジ点群をグループ化する。
【００７３】
ここで、視差の連続性を加えることにより、より黒から白へ、道路表面上という場所を見つけ易くして、頑強に白線を検出することができる。
【００７４】
次に、白線検出処理部３１０が、ハフ変換により、３次元ウィンドウに３次元の直線を見つける（ステップＳ１６０を参照）。本発明では、３次元として記述された直線（即ち、３次元の直線）が複数存在する平面として道路面を捉えることにより、道路面を三次元的に決定する。
【００７５】
ステップＳ１６０では、ハフ変換を２回使用することにより、３次元ウィンドウ内にエッジ点群を選ぶ。
【００７６】
次に、白線検出処理部３１０が、３次元の直線に含まれるエッジ点群に最小二乗法で直線を当てはめ、直線の位置精度を上げる（ステップＳ１７０を参照）。
【００７７】
ステップＳ１７０では、ハフ変換で選んだエッジ点群に対し、最小二乗法で直線を当てはめ、直線の位置精度を上げ、最後に、高速道路上の白線の幅が１５ｃｍと決められていることを利用して、時間平均化された視差画像から求められる１５ｃｍの幅でエッジ方向の符号が変わり、エッジの間が明るいものを白線として検出する。
【００７８】
時間平均化された視差画像から絶対的な長さとして１５ｃｍが得られるので、高速道路の規格で作られた白線以外のものが検出されることが少なくなる。
【００７９】
白線検出処理部３１０が、手前の白線を構成するエッジ点群データをもとに、順次遠方の白線検出用３次元ウィンドウを設定し、上記の方法で遠方の白線を検出する。これにより、破線状の白線が、たとえ曲がっていても、３次元ウィンドウを下からつないでいくことができる。
【００８０】
図８に、本発明の白線検出処理部で設定した白線検出用３次元ウィンドウの一例を示す。図８から分かるように、白線検出処理部３１０が設定した白線検出用３次元ウィンドウは、白線が存在しうる場所を三次元的に囲むように設置する。
【００８１】
また、図９に、本発明の白線検出処理部で行われたエッジ点群をグループ化した結果、及び検出した白線を示す。
【００８２】
図１０は、車線決定処理部３２０の処理流れを示すフロー図である。白線検出処理部３１０で白線が検出された後に、車線決定処理部３２０は、検出された白線に基づき、自車線と隣接車線を決定する。
【００８３】
図１０に示すように、車線決定処理部３２０が、白線検出処理部３１０で検出された白線を右車線又は左車線とする（ステップＳ２００を参照）。次に、車線決定処理部３２０が、検出された白線の左側又は右側に、一車線の幅分（３．７５ｍ）ずつ広げ、自車線、隣接車線と決定する（ステップＳ２１０を参照）。
【００８４】
図１１は、車線内車両検出処理部３３０の処理流れを示すフロー図である。車線決定処理部３２０で自車線と隣接車線が決定された後に、車線内車両検出処理部３３０が、決定した各車線内の車両を検出する。
【００８５】
図１１に示すように、車線内車両検出処理部３３０が、決定した車線内で道路表面から所定（２．５ｍ）の高さまでの視差データを抽出する（ステップＳ３００を参照）。
【００８６】
ステップＳ３００では、車線を形成する両側の白線の間に平面を当てはめ、それより上で高さが２.５ｍまで、さらに２つの白線の間にある視差データを抽出する。ステップＳ３００での処理により、視差データの変化分が走行可能な３次元空間内の視差データの変化の検出に限定される。
【００８７】
次に、車線内車両検出処理部３３０が、視差画像全体を所定の横幅を有する短冊領域に分割する（ステップＳ３１０を参照）。
【００８８】
ステップＳ３１０では、視差画像全体を、横幅が、視差画像を生成する際に用いた領域ステレオ法での領域の幅に一致させ、縦が視差画像の高さとなる短冊領域に分割する。
【００８９】
換言すれば、ステップＳ３１０では、２次元の視差画像の視差データを、上からみた横軸の１次元の視差データに圧縮する。ここで、車両の横端の位置の視差データを抽出することが重要である。ステップＳ３１０での処理により、縦方向の形状が圧縮されて、データ量を減らす効果がある。
【００９０】
次に、車線内車両検出処理部３３０が、分割された各短冊領域について視差ヒストグラムを作成する（ステップＳ３２０を参照）。
【００９１】
次に、車線内車両検出処理部３３０が、所定の閾値以上の視差データで平面図を構成する（ステップＳ３３０を参照）。
【００９２】
ステップＳ３３０では、設定した閾値以上のデータ数がある視差ｄと、当該短冊の横方向の画面上での位置iとから（ｉ−ｄ）空間での立体物の位置を求める。視差空間でデータ処理することにより、距離データに直すときの割り算を含む計算を多数のデータに施さなくて済み、計算時間が短縮される。
【００９３】
ステップＳ３２０及びステップＳ３３０の処理を各短冊領域に対して繰り返し処理することで、車線内にある立体物の分布が求められる。これは上から見た平面図に相当する。
【００９４】
図１２に、車線・車両検出処理部で行われる処理の一画面を示す。図１２に、視差ヒストグラムの平面表示（平面図）も示している。
【００９５】
次に、車線内車両検出処理部３３０が、隣接する視差データをグループ化する（ステップＳ３４０を参照）。
【００９６】
次に、車線内車両検出処理部３３０が、所定の閾値以上の視差データ数があるグループを車線内の車両として検出する（ステップＳ３５０を参照）。
【００９７】
ステップＳ３５０では、ある閾値を超えたデータ数のある視差データのグループをその車線内の車として検出する。本発明は、視差データのみで車線内の車両を検出する。
【００９８】
図１３は、車両位置速度算出部３４０の処理流れを示すフロー図である。車線内車両検出処理部３３０で自車線及び隣接車線内の車両が検出された後に、車両位置速度算出部３４０は、自車線内の車両の位置・速度・衝突までの時間を表示するとともに、隣接車線内の車両の位置・速度をも表示する。
【００９９】
図１３に示すように、車両位置速度算出部３４０が、検出した車線内の車両のうち、その車線で最も近い車両の位置を算出して、その車線を表す平面状の２次元位置として表示する（ステップＳ４００を参照）。
【０１００】
ステップＳ４００では、車線内車両検出処理部３３０で得られたグループのうち最も視差が大きいグループをその車線で最も近い車両として距離（車両の位置）を算出して表示する。最後に一点のみの距離を計算することで、視差から距離を算出する計算量が減らせる。上面から見た２本の白線内の平面を走行車線として表示し、この走行車線の平面に、当該車線内にある車両の位置を出力（表示）する。
【０１０１】
次に、車両位置速度算出部３４０が、それぞれの車線内で検出した車両の位置を時系列に記憶し、その位置の時間変化から速度を算出して表示し、さらに、自車線内の車両について衝突までの時間も算出して表示する（ステップＳ４１０を参照）。
【０１０２】
図１４、図１５及び図１６に、本発明に係る車線内車両検出装置の出力画面例を示す。
【０１０３】
図１４に、自車線内の車両を検出して、隣接車線内の車両が検出されない場合の例であり、画面上に、自車線の車両の位置・速度・衝突までの時間を表示している。
【０１０４】
また、図１５に、自車線内の車両と隣接車線内の車両の両方を検出した場合の例であり、画面上に、自車線の車両の位置・速度・衝突までの時間を表示しているとともに、隣接車線の車両の位置・速度も表示している。
【０１０５】
そして、図１６は、隣接車線内の車両を検出して、自車線内の車両が検出されない場合の例であり、画面上に、隣接車線の車両の位置・速度を表示している。
【０１０６】
以上のように、本発明に係る車線内車両検出装置について詳細に説明した。本発明に係る車線内車両検出装置における「視差画像生成部」と「車線・車両検出処理部」については、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実装されることも勿論できる。
【０１０７】
本発明に係る車線内車両検出装置は、次の技術特徴を有する。
特徴その１：
道路面の２〜３ｍの上方に車両の進行方向に向けて設置される、ステレオ画像撮像装置（ステレオビデオカメラ）で撮像したステレオ画像より、高速道路上の走行車線を示す白線を二つの線として認識し、走行車線を二つの線の間の平面として捉える。高速道路が左右に曲がっていても、上下に傾斜があっても、走行車線は、二つの線の間の平面として表現される。
特徴その２：
車両の検出は、ステレオ画像の視差の変化データのグループとして捉え、走行車線の進行方向に垂直な平面の画像データを一次元のデータとして圧縮し、走行している車両は、上記の一次元データ中の視差の変化のデータの大きい点として捉えられる。
特徴その３：
走行車線上に停止している車両は検出せず、遠ざかる車両も検出しない。
特徴その４：
車両の距離（位置）の算出は、ステレオ画像の視差データから行い、他の距離を測定する手段、例えば、レーダー、あるいはレーザー、車両の通過センサーなどの装置を必要としない。
特徴その５：
ステレオ画像撮像装置（ステレオビデオカメラ）からの車両の位置については、３００〜３０ｍが、特に正確に車両の距離（位置）を測定する範囲である。
特徴その６：
車両がステレオ画像撮像装置（ステレオビデオカメラ）からの位置、３００〜３０ｍの間をステレオビデオカメラに向かって走行してくる間に、警報を音や表示画像上のマーク、点滅光などとして出力する。
特徴その７：
隣接車線についても、隣接車線として区別して走行してくる車両を常に監視している。例え、急に自車線に車両が飛び込んできても、隣接車線上の走行時から、既にその車両の速度を監視しているため、危険度をすぐに算出することができる。
【符号の説明】
【０１０８】
１ 車線内車両検出装置
１０ ステレオ画像撮像装置
２０ 視差画像生成部
３０ 車線・車両検出処理部
３１０ 白線検出処理部
３２０ 車線決定処理部
３３０ 車線内車両検出処理部
３４０ 車両位置速度算出部
【技術分野】
【０００１】
本発明は、ステレオ画像に基づき、高速道路上の走行車線内の車両を検出して、ほぼリアルタイムで検出した車両の位置・速度を表示する車両検出技術に関する。
【背景技術】
【０００２】
人や物を運ぶ手段の一つである自動車等の車両は、その利便性と快適性から現代社会においてなくてはならない存在となっている。そこで、自動車の持つ優れた点を犠牲にすることなく、自動車による事故を自動的に回避できる技術の開発が、従来より進められている。
【０００３】
自動車による事故の一つとして、例えば、高速道路において行われる工事の現場（以下、単に、高速道路工事現場と言う。）に突っ込んでくる自動車による事故がある。統計によると、このような事故は年間３００件以上が発生しており、しかも、重大人身事故につながりやすくて、年間５０人以上が死亡している。
【０００４】
また、このような事故が起きた場合では、高速道路工事現場に突っ込んでくる自動車の運転者が、殆ど居眠り運転をしている。しかし、居眠り運転をしている運転者に警報を出しても、運転者がその警報に気付かなければ、警報を出す意味があまり無いと思われる。
【０００５】
そこで、高速道路工事現場で作業している作業員には、自分自身の命を守るために、高速道路工事現場に突っ込んで来る自動車に気付いたら、すぐに逃げる方法しかない。
【０００６】
ここで、高速道路工事現場に居る作業員が安全に逃げるための逃げ時間を１０秒と設定すると、高速道路を時速１００ｋｍ／ｈ（つまり、秒速２７.８ｍ／ｓ）で走っている自動車が、高速道路工事現場に向かって走行して来ることを想定した場合に、高速道路工事現場の約３００ｍ先（≒２７８ｍ＝１０ｓ×２７.８ｍ／ｓ）で自動車を発見して作業員に知らせる必要がある。
【０００７】
換言すれば、高速道路工事現場の３００ｍ先から、高速道路工事現場に近付いてくる自動車を捕捉（検出）して、高速道路工事現場に居る作業員に知らせることにより、このような事故を未然に防ぐことができる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】實吉敬二著,「ステレオ法による立体画像認識の基礎と車載カメラへの応用」,株式会社トリケップス,２００７年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、高速道路工事現場の３００ｍ先から高速道路工事現場に近付いてくる自動車を捕捉し続けるのに、つまり、高速道路工事現場の３００ｍ先から高速道路上の車線内車両を検出するのに、レーダーでは、遠すぎるという問題、また、視野角が広すぎるという問題がある。
【００１０】
そして、３００ｍも距離があると、高速道路にカーブや勾配も存在する場合がある。レーダーでは、特定の方向に存在する物体しか検出できず、高速道路の形状（高速道路上の車線）を検出することができないという問題もある。
【００１１】
一方、ステレオカメラによる画像処理技術は、進歩を続けている（非特許文献１参照）。現在では、車載ステレオカメラに関する画像処理技術も盛んに行われている（非特許文献１参照）。
【００１２】
本発明は、上述のような事情よりなされたものであり、本発明の目的は、高速道路の道路表面から所定の高さで設置されたステレオ画像撮像装置により、前方の高速道路を撮像したステレオ画像に基づき、ステレオ画像撮像装置に向かって進行して来る高速道路上の走行車線内の車両を検出して、ほぼリアルタイムで検出した車両の位置・速度を表示する車線内車両検出装置及び車線内車両検出方法を提供することにある。
【課題を解決するための手段】
【００１３】
本発明は、高速道路上の走行車線内の車両を検出して、検出した車両の位置・速度を表示する車線内車両検出装置に関し、本発明の上記目的は、前方の自車線と隣接車線を撮像して基準画像と比較画像を出力するステレオ画像撮像装置と、前記基準画像と前記比較画像に基づき、視差画像を生成する視差画像生成部と、車線・車両検出処理部とを備え、前記車線・車両検出処理部は、前記基準画像と前記視差画像に基づき、前記ステレオ画像撮像装置に向かって進行して来る自車線及び隣接車線内の車両を検出して、検出した車両の位置を、走行車線を表す平面上の２次元位置として表示するとともに、検出した車両の速度と衝突までの時間をも表示することによって効果的に達成される。
【００１４】
また、本発明の上記目的は、前記視差画像生成部は、領域ステレオ法を用いて画像全体に亘る前記視差画像を生成し、前記車線・車両検出処理部は、白線検出処理部と、車線決定処理部と、車線内車両検出処理部と、車両位置速度算出部とを備えることによってより効果的に達成される。
【００１５】
また、本発明の上記目的は、前記白線検出処理部は、基準画像と視差画像を連続して８枚ずつ取り込むというステップ、８枚の基準画像を時間平均化するとともに、８枚の視差画像も時間平均化するというステップ、時間平均化された基準画像を所定サイズの領域で移動平均するというステップ、移動平均された基準画像にソーベルフィルタをかけることにより、エッジを検出するというステップ、ソーベルフィルタで検出されたエッジ情報および視差情報に基づき、白線検出用の３次元ウィンドウを設定するというステップ、時間平均化された視差画像に基づき、エッジ方向、基準画像の連続、視差の連続を条件として、エッジ点群をグループ化するというステップ、ハフ変換により、３次元ウィンドウに３次元の直線を見つけるというステップ、及び３次元の直線に含まれるエッジ点群に最小二乗法で直線を当てはめ、直線の位置精度を上げるというステップによる処理を行うことにより、道路面の白線を三次元で検出することによってより効果的に達成される。
【００１６】
また、本発明の上記目的は、前記車線決定処理部は、前記白線検出処理部で検出された白線を右車線又は左車線とし、更に、検出された白線の左側又は右側に、一車線の幅分ずつ広げ、前記自車線、前記隣接車線と決定することによってより効果的に達成される。
【００１７】
また、本発明の上記目的は、前記車線内車両検出処理部は、決定した車線内で道路表面から所定の高さまでの視差データを抽出するというステップ、視差画像全体を所定の横幅を有する短冊領域に分割するというステップ、分割された各短冊領域について視差ヒストグラムを作成するというステップ、所定の閾値以上の視差データで平面図を構成するというステップ、隣接する視差データをグループ化するというステップ、及び所定の閾値以上の視差データ数があるグループを車線内の車両として検出するというステップによる処理を行うことにより、決定した各車線内の車両を検出することによってより効果的に達成される。
【００１８】
また、本発明の上記目的は、車両位置速度算出部は、検出した車線内の車両のうち、その車線で最も近い車両の位置を算出して、その車線を表す平面状の２次元位置として表示するというステップ、及びそれぞれの車線内で検出した車両の位置を時系列に記憶し、その位置の時間変化から速度を算出して表示し、さらに、自車線内の車両について衝突までの時間も算出して表示するというステップによる処理を行うことにより、前記自車線内の車両の位置・速度・衝突までの時間を表示するとともに、前記隣接車線内の車両の位置・速度をも表示することによってより効果的に達成される。
【発明の効果】
【００１９】
本発明に係る車線内車両検出装置によれば、高速道路工事現場に突っ込んでくる自動車による人身事故を未然に防ぐことができるという優れた効果を奏する。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る車線内車両検出装置の実施形態を示すブロック構成図である。
【図２】本発明において、ステレオ画像撮像装置（ステレオビデオカメラ）の設置方法の一例を説明する模式図である。
【図３】本発明に係る車線内車両検出装置において、基準カメラ又は比較カメラから見た高速道路上の白線の見え方を説明するための模式図である。
【図４】本発明に係る車線内車両検出装置において、ステレオ画像撮像装置により撮像されたステレオ画像（基準画像及び比較画像）の画像例、及び視差画像生成部により生成された視差画像の画像例を示す。
【図５】本発明に係る車線内車両検出装置における車線・車両検出処理部の実施形態を示すブロック構成図である。
【図６】本発明に係る車線内車両検出装置の白線検出処理部の処理流れを示すフロー図である。
【図７】本発明の白線検出処理部でのソーベルフィルタ処理により生成された、エッジ強度画像例とエッジ方向分布例を示す。
【図８】本発明の白線検出処理部で行われる処理に係る白線検出用３次元ウィンドウの一例を示す。
【図９】本発明の白線検出処理部で行われる処理を説明するための図である。
【図１０】本発明に係る車線内車両検出装置の車線決定処理部の処理流れを示すフロー図である。
【図１１】本発明に係る車線内車両検出装置の車線内車両検出処理部の処理流れを示すフロー図である。
【図１２】本発明に係る車線内車両検出装置の車線・車両検出処理部で行われる処理の一画面を示す。
【図１３】本発明に係る車線内車両検出装置の車両位置速度算出部の処理流れを示すフロー図である。
【図１４】本発明に係る車線内車両検出装置の出力画面例を示す。
【図１５】本発明に係る車線内車両検出装置の出力画面例を示す。
【図１６】本発明に係る車線内車両検出装置の出力画面例を示す。
【発明を実施するための形態】
【００２１】
本発明は、高速道路の道路表面から所定の高さで設置されたステレオ画像撮像装置により、前方の高速道路を撮像したステレオ画像に基づき、ステレオ画像撮像装置に向かって進行して来る高速道路上の走行車線内の車両を検出して、ほぼリアルタイムで検出した車両の位置・速度を表示する車線内車両検出技術に関する。
【００２２】
本発明は、高速道路工事現場で発生する、自動車突っ込みによる人身事故を未然に防ぐために、研究開発されたものである。
【００２３】
本発明に係る車線内車両検出装置の一構成要素であるステレオ画像撮像装置を、高速道路工事現場の工事区間の開始点（つまり、工事区間とする高速道路上の走行車線の所定の位置）に設置する。より厳密に言うと、本発明では、ステレオ画像撮像装置は、走行車線の所定の位置の道路表面から所定の高さで設置される。
【００２４】
本発明では、本発明に係る車線内車両検出装置が設置された高速道路の走行車線（走行レーン）を単に自車線と称する。また、自車線に隣接する高速道路の走行車線を隣接車線と称する。
【００２５】
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
【００２６】
図１は、本発明に係る車線内車両検出装置の実施形態（以下、単に、「本発明の車線内車両検出装置」、又は「車線内車両検出装置１」とも言う。）を示すブロック構成図である。図１に示すように、車線内車両検出装置１は、ステレオ画像撮像装置１０と、視差画像生成部２０と、車線・車両検出処理部３０とから構成される。
【００２７】
図示されていないが、ステレオ画像撮像装置１０は、基準画像を撮像する基準画像撮像装置と、比較画像を撮像する比較画像撮像装置と、基準画像撮像装置の光学的な歪みに起因した基準画像の歪み、及び比較画像撮像装置の光学的な歪みに起因した比較画像の歪みを補正する歪補正処理部と、撮像装置の位置的なずれに起因した画像のずれを校正する校正パラメータに基づき、歪み補正された基準画像と比較画像を校正する校正処理部とから構成される。
【００２８】
本発明では、ステレオ画像撮像装置１０により撮像したステレオ画像、つまり、ステレオ画像撮像装置１０により撮像した基準画像と比較画像は、既に歪み補正され、且つ、位置的なずれも校正された基準画像と比較画像である。
【００２９】
要するに、図１に示された車線内車両検出装置１では、ステレオ画像撮像装置１０から得られた（出力された）基準画像と比較画像は、既に歪み補正され、且つ、位置的なずれも校正された基準画像と比較画像である。
【００３０】
以下、説明を簡単にするため、ステレオ画像撮像装置１０から得られた、既に歪み補正され、且つ、位置的なずれも校正された基準画像と比較画像を、単に、基準画像と比較画像と称する。
【００３１】
車線内車両検出装置１は、ステレオ画像撮像装置１０により前方の自車線と隣接車線を撮像したステレオ画像（基準画像と比較画像）、及びステレオ画像から得られた視差画像に基づき、高速道路上の走行車線を示す白線を二つの線として認識し、走行車線を認識した二つの線の間の平面として捉え、ステレオ画像撮像装置１０に向かって進行して来る自車線及び隣接車線内の車両を検出して、ほぼリアルタイムで検出した車両の位置を走行車線を表す平面上の二次元位置として表示するとともに、検出した車両の速度と衝突までの時間をも表示するものである。
【００３２】
図２は、ステレオ画像撮像装置１０の設置方法の一例を説明する模式図である。本発明では、ステレオ画像撮像装置１０として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた２台の固体撮像素子ビデオカメラと、歪補正校正処理部とから構成されるステレオビデオカメラを用いる。２台の固体撮像素子ビデオカメラのうち、１台は基準画像撮像装置とし、以下単に基準カメラと言い、もう１台は比較画像撮像装置とし、以下単に比較カメラと言う。
【００３３】
図２に示すように、ステレオ画像撮像装置１０としてのステレオビデオカメラは、走行車線の所定の位置の道路表面から所定の高さ（１．５ｍ以上）で設置されている。
【００３４】
図３は、本発明に係る車線内車両検出装置において、基準カメラ又は比較カメラから見た高速道路上の白線の見え方を説明するための模式図である。図３（Ａ）は、基準カメラ又は比較カメラのカメラ位置が低い場合の高速道路上の白線の見え方を示している。また、図３（Ｂ）は、基準カメラ又は比較カメラのカメラ位置が高い場合の高速道路上の白線の見え方を示している。
【００３５】
ここで言う「基準カメラ又は比較カメラのカメラ位置」とは、高速道路の道路表面からステレオ画像撮像装置１０（ステレオビデオカメラ）の設置位置までの距離（高さ）を意味する。図２に示すように、本発明において、その高さは１．５ｍ以上を有することが好ましい。
【００３６】
図３から分かるように、カメラ位置が高い場合（１．５ｍ以上の場合）に、遠方が見え易くなり、白線の傾きも大きくなる。それに対して、カメラ位置が低い場合に、遠方が見え難くなり、また、白線の傾きも小さくなる。
【００３７】
要するに、本発明では、３００ｍ遠方の車両を確実に検出するために、ステレオビデオカメラを道路表面から１．５ｍ以上の高さに設置することにより（図２参照）、遠くを見やすくするとともに、画像に写る白線の傾きを大きくして、ステレオマッチングの横方向の曖昧さを減少し、白線の視差精度（距離精度）を向上させるようにしている（図３参照）。さらに、本発明では、光軸を概ね水平にし、高速道路に上り下り勾配があっても、どちらも道路面が遠くまで見えるようにする（図２参照）。
【００３８】
ここで、ステレオ画像撮像装置１０としてステレオビデオカメラを用いた場合の具体例について説明する。
【００３９】
基準カメラも、比較カメラも、同じ技術仕様を有する固体撮像素子ビデオカメラを使用する。固体撮像素子ビデオカメラは、望遠レンズが付けられ、外部同期の取れるものである。望遠レンズを付けた固体撮像素子ビデオカメラにより撮像した画像は、歪みが少ないため、基準カメラにより撮像した基準画像も、比較カメラにより撮像した比較画像も、歪補正が不要になる。
【００４０】
本具体例では、ステレオビデオカメラは、基準カメラと、比較カメラと、校正パラメータに基づき、基準画像と比較画像を校正する画像校正処理部とから構成される。ここで、校正パラメータは、併進量と比較画像の回転角である。
【００４１】
画像校正処理部では、まず、併進量に基づき、基準画像と比較画像をそれぞれ併進させ、更に、比較画像の回転角に基づき、併進された比較画像を回転させる。なお、校正パラメータ（併進量と比較画像の回転角）を求める処理手順は後述する。
【００４２】
ここで、固体撮像素子ビデオカメラの好適な具体例として、竹中システムのＮＣ３００Ａを選択する。このＮＣ３００Ａは、インターライン転送方式、１／２インチサイズＣＣＤ撮像素子、画素数７６８（Ｈ）×４９４（Ｖ）、画素寸法８．４（Ｈ）×９．８（Ｖ）μｍ、１／６０秒〜１／１００００秒可変、インターレース／ノンインターレース、内部同期／外部同期、水平１５．７３４ｋＨｚ／垂直５９．９Ｈｚといった技術仕様を有する。
【００４３】
ここで、２台のＮＣ３００Ａと画像校正処理部とで構成されるステレオビデオカメラの設計パラメータについて説明する。
【００４４】
まず、基線長×レンズ焦点距離（Ｂｆ値）の決定について説明する。本発明は高速道路工事現場で発生する、自動車突っ込みによる人身事故を防ぐために研究開発されたもので、背景技術で既述したように、作業員が安全に逃げるための逃げ時間を１０秒とする場合、高速道路工事現場の約３００ｍ先、つまり、本発明に係る車線内車両検出装置の設置場所の約３００ｍ先から車両を検出する必要がある。
【００４５】
従って、本発明のステレオ画像撮像装置（ステレオビデオカメラ）に、ステレオ画像撮像装置（ステレオビデオカメラ）の３００ｍ先まで見えるとの性能、及び３０ｍくらい近くまで追跡できるとの性能が必要である。
【００４６】
つまり、本発明では、ステレオビデオカメラの仕様については、３０ｍ手前まで見えるようにし（３０ｍで視差１００画素（一般的なステレオカメラでの探索幅））、３００ｍ先で１０画素（１／４サブピクセルで±２ｍ）の精度を確保するように設計する。
【００４７】
一般的なステレオビデオカメラでの探索幅（探索範囲）は１００画素である。Ｂｆ値は３０００［ｍ・画素］で、（３００ｍ先で視差１０画素→±８ｍの精度）。また、一画素あたりの横幅は８．４×７６８÷６４０＝１０．１μｍであるため、よってＢｆ値［ｍ・ｍｍ］は３０．２４になる。
【００４８】
次に、レンズ焦点距離と基線長の決定について説明する。
【００４９】
本発明のステレオ画像撮像装置（ステレオビデオカメラ）に、３００ｍ先で車両の幅（１．７ｍ）が２０画素程度で、３００ｍ先で１．７×６４０÷２０＝５４．４ｍの幅が見えるとの性能が必要である。
【００５０】
レンズ焦点距離は、撮像素子の横幅（１０．１μｍ×６４０＝６．４６ｍｍ）より、６．４６×３００÷５４．４＝３５．６ｍｍであるため、３５ｍｍとする。また、基線長は、Ｂｆ値が３０．２４であることにより、３０．２４÷３５＝０．８６ｍ（８６ｃｍ）となる。
【００５１】
本発明では、車線内車両検出装置１を用いて自車線及び隣接車線内の車両を検出する前に、ステレオ画像撮像装置１０として、ステレオビデオカメラを用いた場合に、予め、校正パラメータ（併進量と比較画像の回転角）を求める必要がある。
【００５２】
つまり、ステレオビデオカメラが道路表面から所定の高さで設置された後に、まず、校正パラメータを求めるための処理を行なう必要がある。
【００５３】
ステレオビデオカメラの校正パラメータ（併進量と比較画像の回転角）は、次のステップＡ１〜Ａ７による処理で求める。
ステップＡ１：
基準カメラに写る水平ライン付近（実際には画面の中心を通るライン）からその下、画面の下半分の１／３までの範囲を水平方向に８つのブロックに分ける。すなわち、基準画像の縦方向の１／２の線（水平線）から、縦方向の１／６に、平行線を引き、この間を８分割する。このようにして、サンプルデータが局在化することを防ぐ。
ステップＡ２：
それぞれのブロックについて、８×８画素の小領域を各ブロックの左上に取る。
ステップＡ３：
画素の輝度について、セルフＳＡＤ（Ｓｅｌｆ Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を計算する。本発明で言うセルフＳＡＤは、小領域を一画素分右へずらした小領域とのＳＡＤを意味する。このようにして、パターンの輝度の変化が大きい小領域を見つける。
ステップＡ４：
分散（セルフＳＡＤ）が所定の閾値より大きければ、その小領域を選択して探索を終了する。一方、分散（セルフＳＡＤ）が所定の閾値より小さければ、右方向及び下方向に探索して見つける。ブロックの中で、輝度変化の大きい個所１か所を見つける。
ステップＡ５：
ステップＡ４で選択した点（１か所）と同じパターンの小領域を比較画像から見つける。パターン一致度の評価は、ＳＡＤなどを用い、０．１ピクセル程度のサブピクセル精度でその小領域の位置を求める。
ステップＡ６：
基準画像・比較画像の対応する領域の縦方向の位置が一致するように、最小二乗法を用いて、校正パラメータ、即ち、併進量と比較画像の回転角を求める。
【００５４】
本来、基線長の方向と撮像素子の水平方向を合わせるため、回転は基準画像に対しても行なわなければならないが、基準画像に対する回転角も含めると、比較画像の回転角と干渉して、どちらの回転角も不安定になるので、本発明では、校正パラメータは併進量と比較画像の回転角のみにした。
ステップＡ７：
ステップＡ６で得られた校正パラメータ（比較画像の回転角と併進量）を、ステレオビデオカメラの画像校正処理部に記憶しておく。
次に、視差画像生成部２０について説明する。図１に示すように、視差画像生成部２０は、領域ステレオ法を用いて、ステレオ画像撮像装置１０を用いて撮像したステレオ画像（基準画像と比較画像）から画像全体に亘る視差画像を生成する。
【００５５】
なお、視差画像生成部２０では、既存の領域ステレオ法を用いることにより、基準画像と比較画像から画像全体に亘る視差画像を生成する。
【００５６】
図４は、本発明に係る車線内車両検出装置において、ステレオ画像撮像装置により撮像されたステレオ画像（基準画像及び比較画像）の画像例、及び視差画像生成部により生成された視差画像の画像例を示す。
【００５７】
図４（Ａ）に、基準カメラ（ＮＣ３００Ａビデオカメラ）で自車線と隣接車線を撮像した基準画像の一例を示す。図４（Ｂ）に、比較カメラ（ＮＣ３００Ａビデオカメラ）で自車線と隣接車線を撮像した比較画像の一例を示す。また、図４（Ｃ）に、図４（Ａ）の基準画像と図４（Ｂ）の比較画像に基づき、視差画像生成部２０により生成された視差画像を示す。
【００５８】
図５は、本発明に係る車線内車両検出装置における車線・車両検出処理部の実施形態（車線内車両検出装置１における車線・車両検出処理部３０）を示すブロック構成図である。図５に示すように、車線・車両検出処理部３０は、白線検出処理部３１０と、車線決定処理部３２０と、車線内車両検出処理部３３０と、車両位置速度算出部３４０とから構成され、ステレオ画像撮像装置１０から出力された基準画像と、視差画像生成部２０より出力された視差画像に基づき、自車線及び隣接車線内の車両を検出して、検出した車両の位置を平面上の２次元位置として表示するとともに、検出した車両の速度と衝突までの時間をも表示する。
【００５９】
図６は、道路面の白線を三次元で検出する白線検出処理部３１０の処理流れを示すフロー図である。
【００６０】
図６に示すように、白線検出処理部３１０が、まず、基準画像と視差画像を連続して８枚ずつ取り込む（ステップＳ１００を参照）。次に、白線検出処理部３１０が、特異点を除去するために、取り込んだ８枚の基準画像を時間平均化するとともに、取り込んだ８枚の視差画像も時間平均化する（ステップＳ１１０を参照）。
【００６１】
次に、白線検出処理部３１０が、時間平均化された基準画像を所定サイズの領域（例えば、５×５画素の領域）で移動平均する（ステップＳ１２０を参照）。
【００６２】
ステップＳ１２０で行われる処理により、エッジの方向のばらつきが押さえられる。ステップＳ１２０では、時間平均化された基準画像を所定サイズの領域（例えば、５×５画素の領域）で平均することにより、１画素ずつずらした元の画像とほぼ同じ画素数の画像を得る。
【００６３】
白線検出処理部３１０では、ステップＳ１１０及びステップＳ１２０の処理を行なうことにより、基準画像を平均化してぼかすことで、以下の処理をし易くする。
【００６４】
次に、白線検出処理部３１０が、移動平均された基準画像にソーベルフィルタをかけることにより、エッジを検出する（ステップＳ１３０を参照）。
【００６５】
ステップＳ１３０では、エッジを方向（同じ方向でも白→黒、黒→白で符号が違う）情報も含めて検出する。つまり、ステップＳ１３０において、ソーベルフィルタで検出されたエッジ情報は、エッジ強度と、エッジの符号を含めたエッジ方向である。
【００６６】
図７に本発明の白線検出処理部でのソーベルフィルタ処理により生成された、エッジ強度画像例とエッジ方向分布例を示す。図７（Ｂ）は、図７（Ａ）の基準画像にソーベルフィルタをかけて得られたエッジ強度画像である。図７（Ｂ）のエッジ強度画像は、明るくなるほど、エッジ強度が大きくなる。
【００６７】
また、図７（Ｃ）は、図７（Ａ）の基準画像にソーベルフィルタをかけて得られたエッジ方向分布を示すエッジ方向画像である。図７（Ｃ）のエッジ方向画像において、黄はエッジ方向０°、赤はエッジ方向６０°、紫はエッジ方向１２０°、青はエッジ方向１８０°、水色はエッジ方向２４０°、緑はエッジ方向３００°をそれぞれ表す。
【００６８】
ステップＳ１３０で行われる処理により、周囲より白い部分を検出することになるので、薄い白線でも、検出することができる。
【００６９】
次に、白線検出処理部３１０が、ソーベルフィルタで検出されたエッジ情報および視差情報に基づき、白線検出用の３次元ウィンドウを設定する（ステップＳ１４０を参照）。ステップＳ１４０では、道路表面上の白線が存在しそうなところ（例えば、車両に沿った前方右側）に、３次元ウィンドウを設定する。また、ステップＳ１４０では、道路表面上の白線を取り囲む四角錐体が連続した形で、３次元ウィンドウを設定する。
【００７０】
ステップＳ１４０で行われる処理により、白線検出処理部３１０により検出される白線は、道路表面上の白線に限定されることができる。また、ステップＳ１４０で行われる処理により、道路表面上にない白線状のもの（例えば、ガードレールなどの白線状のもの）が除去される。
【００７１】
次に、白線検出処理部３１０が、時間平均化された視差画像に基づき、エッジ方向、基準画像の連続、視差の連続を条件として、エッジ点群をグループ化する（ステップＳ１５０を参照）。
【００７２】
ステップＳ１５０では、ソーベルフィルタ処理で得られたエッジ点群に対し、エッジの符号を含めたエッジ方向、点列の連続性（基準画像の連続性）、視差の連続性に基づき、エッジ点群をグループ化する。
【００７３】
ここで、視差の連続性を加えることにより、より黒から白へ、道路表面上という場所を見つけ易くして、頑強に白線を検出することができる。
【００７４】
次に、白線検出処理部３１０が、ハフ変換により、３次元ウィンドウに３次元の直線を見つける（ステップＳ１６０を参照）。本発明では、３次元として記述された直線（即ち、３次元の直線）が複数存在する平面として道路面を捉えることにより、道路面を三次元的に決定する。
【００７５】
ステップＳ１６０では、ハフ変換を２回使用することにより、３次元ウィンドウ内にエッジ点群を選ぶ。
【００７６】
次に、白線検出処理部３１０が、３次元の直線に含まれるエッジ点群に最小二乗法で直線を当てはめ、直線の位置精度を上げる（ステップＳ１７０を参照）。
【００７７】
ステップＳ１７０では、ハフ変換で選んだエッジ点群に対し、最小二乗法で直線を当てはめ、直線の位置精度を上げ、最後に、高速道路上の白線の幅が１５ｃｍと決められていることを利用して、時間平均化された視差画像から求められる１５ｃｍの幅でエッジ方向の符号が変わり、エッジの間が明るいものを白線として検出する。
【００７８】
時間平均化された視差画像から絶対的な長さとして１５ｃｍが得られるので、高速道路の規格で作られた白線以外のものが検出されることが少なくなる。
【００７９】
白線検出処理部３１０が、手前の白線を構成するエッジ点群データをもとに、順次遠方の白線検出用３次元ウィンドウを設定し、上記の方法で遠方の白線を検出する。これにより、破線状の白線が、たとえ曲がっていても、３次元ウィンドウを下からつないでいくことができる。
【００８０】
図８に、本発明の白線検出処理部で設定した白線検出用３次元ウィンドウの一例を示す。図８から分かるように、白線検出処理部３１０が設定した白線検出用３次元ウィンドウは、白線が存在しうる場所を三次元的に囲むように設置する。
【００８１】
また、図９に、本発明の白線検出処理部で行われたエッジ点群をグループ化した結果、及び検出した白線を示す。
【００８２】
図１０は、車線決定処理部３２０の処理流れを示すフロー図である。白線検出処理部３１０で白線が検出された後に、車線決定処理部３２０は、検出された白線に基づき、自車線と隣接車線を決定する。
【００８３】
図１０に示すように、車線決定処理部３２０が、白線検出処理部３１０で検出された白線を右車線又は左車線とする（ステップＳ２００を参照）。次に、車線決定処理部３２０が、検出された白線の左側又は右側に、一車線の幅分（３．７５ｍ）ずつ広げ、自車線、隣接車線と決定する（ステップＳ２１０を参照）。
【００８４】
図１１は、車線内車両検出処理部３３０の処理流れを示すフロー図である。車線決定処理部３２０で自車線と隣接車線が決定された後に、車線内車両検出処理部３３０が、決定した各車線内の車両を検出する。
【００８５】
図１１に示すように、車線内車両検出処理部３３０が、決定した車線内で道路表面から所定（２．５ｍ）の高さまでの視差データを抽出する（ステップＳ３００を参照）。
【００８６】
ステップＳ３００では、車線を形成する両側の白線の間に平面を当てはめ、それより上で高さが２.５ｍまで、さらに２つの白線の間にある視差データを抽出する。ステップＳ３００での処理により、視差データの変化分が走行可能な３次元空間内の視差データの変化の検出に限定される。
【００８７】
次に、車線内車両検出処理部３３０が、視差画像全体を所定の横幅を有する短冊領域に分割する（ステップＳ３１０を参照）。
【００８８】
ステップＳ３１０では、視差画像全体を、横幅が、視差画像を生成する際に用いた領域ステレオ法での領域の幅に一致させ、縦が視差画像の高さとなる短冊領域に分割する。
【００８９】
換言すれば、ステップＳ３１０では、２次元の視差画像の視差データを、上からみた横軸の１次元の視差データに圧縮する。ここで、車両の横端の位置の視差データを抽出することが重要である。ステップＳ３１０での処理により、縦方向の形状が圧縮されて、データ量を減らす効果がある。
【００９０】
次に、車線内車両検出処理部３３０が、分割された各短冊領域について視差ヒストグラムを作成する（ステップＳ３２０を参照）。
【００９１】
次に、車線内車両検出処理部３３０が、所定の閾値以上の視差データで平面図を構成する（ステップＳ３３０を参照）。
【００９２】
ステップＳ３３０では、設定した閾値以上のデータ数がある視差ｄと、当該短冊の横方向の画面上での位置iとから（ｉ−ｄ）空間での立体物の位置を求める。視差空間でデータ処理することにより、距離データに直すときの割り算を含む計算を多数のデータに施さなくて済み、計算時間が短縮される。
【００９３】
ステップＳ３２０及びステップＳ３３０の処理を各短冊領域に対して繰り返し処理することで、車線内にある立体物の分布が求められる。これは上から見た平面図に相当する。
【００９４】
図１２に、車線・車両検出処理部で行われる処理の一画面を示す。図１２に、視差ヒストグラムの平面表示（平面図）も示している。
【００９５】
次に、車線内車両検出処理部３３０が、隣接する視差データをグループ化する（ステップＳ３４０を参照）。
【００９６】
次に、車線内車両検出処理部３３０が、所定の閾値以上の視差データ数があるグループを車線内の車両として検出する（ステップＳ３５０を参照）。
【００９７】
ステップＳ３５０では、ある閾値を超えたデータ数のある視差データのグループをその車線内の車として検出する。本発明は、視差データのみで車線内の車両を検出する。
【００９８】
図１３は、車両位置速度算出部３４０の処理流れを示すフロー図である。車線内車両検出処理部３３０で自車線及び隣接車線内の車両が検出された後に、車両位置速度算出部３４０は、自車線内の車両の位置・速度・衝突までの時間を表示するとともに、隣接車線内の車両の位置・速度をも表示する。
【００９９】
図１３に示すように、車両位置速度算出部３４０が、検出した車線内の車両のうち、その車線で最も近い車両の位置を算出して、その車線を表す平面状の２次元位置として表示する（ステップＳ４００を参照）。
【０１００】
ステップＳ４００では、車線内車両検出処理部３３０で得られたグループのうち最も視差が大きいグループをその車線で最も近い車両として距離（車両の位置）を算出して表示する。最後に一点のみの距離を計算することで、視差から距離を算出する計算量が減らせる。上面から見た２本の白線内の平面を走行車線として表示し、この走行車線の平面に、当該車線内にある車両の位置を出力（表示）する。
【０１０１】
次に、車両位置速度算出部３４０が、それぞれの車線内で検出した車両の位置を時系列に記憶し、その位置の時間変化から速度を算出して表示し、さらに、自車線内の車両について衝突までの時間も算出して表示する（ステップＳ４１０を参照）。
【０１０２】
図１４、図１５及び図１６に、本発明に係る車線内車両検出装置の出力画面例を示す。
【０１０３】
図１４に、自車線内の車両を検出して、隣接車線内の車両が検出されない場合の例であり、画面上に、自車線の車両の位置・速度・衝突までの時間を表示している。
【０１０４】
また、図１５に、自車線内の車両と隣接車線内の車両の両方を検出した場合の例であり、画面上に、自車線の車両の位置・速度・衝突までの時間を表示しているとともに、隣接車線の車両の位置・速度も表示している。
【０１０５】
そして、図１６は、隣接車線内の車両を検出して、自車線内の車両が検出されない場合の例であり、画面上に、隣接車線の車両の位置・速度を表示している。
【０１０６】
以上のように、本発明に係る車線内車両検出装置について詳細に説明した。本発明に係る車線内車両検出装置における「視差画像生成部」と「車線・車両検出処理部」については、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実装されることも勿論できる。
【０１０７】
本発明に係る車線内車両検出装置は、次の技術特徴を有する。
特徴その１：
道路面の２〜３ｍの上方に車両の進行方向に向けて設置される、ステレオ画像撮像装置（ステレオビデオカメラ）で撮像したステレオ画像より、高速道路上の走行車線を示す白線を二つの線として認識し、走行車線を二つの線の間の平面として捉える。高速道路が左右に曲がっていても、上下に傾斜があっても、走行車線は、二つの線の間の平面として表現される。
特徴その２：
車両の検出は、ステレオ画像の視差の変化データのグループとして捉え、走行車線の進行方向に垂直な平面の画像データを一次元のデータとして圧縮し、走行している車両は、上記の一次元データ中の視差の変化のデータの大きい点として捉えられる。
特徴その３：
走行車線上に停止している車両は検出せず、遠ざかる車両も検出しない。
特徴その４：
車両の距離（位置）の算出は、ステレオ画像の視差データから行い、他の距離を測定する手段、例えば、レーダー、あるいはレーザー、車両の通過センサーなどの装置を必要としない。
特徴その５：
ステレオ画像撮像装置（ステレオビデオカメラ）からの車両の位置については、３００〜３０ｍが、特に正確に車両の距離（位置）を測定する範囲である。
特徴その６：
車両がステレオ画像撮像装置（ステレオビデオカメラ）からの位置、３００〜３０ｍの間をステレオビデオカメラに向かって走行してくる間に、警報を音や表示画像上のマーク、点滅光などとして出力する。
特徴その７：
隣接車線についても、隣接車線として区別して走行してくる車両を常に監視している。例え、急に自車線に車両が飛び込んできても、隣接車線上の走行時から、既にその車両の速度を監視しているため、危険度をすぐに算出することができる。
【符号の説明】
【０１０８】
１ 車線内車両検出装置
１０ ステレオ画像撮像装置
２０ 視差画像生成部
３０ 車線・車両検出処理部
３１０ 白線検出処理部
３２０ 車線決定処理部
３３０ 車線内車両検出処理部
３４０ 車両位置速度算出部
【特許請求の範囲】
【請求項１】
高速道路上の走行車線内の車両を検出して、検出した車両の位置・速度を表示する車線内車両検出装置であって、
前方の自車線と隣接車線を撮像して基準画像と比較画像を出力するステレオ画像撮像装置と、
前記基準画像と前記比較画像に基づき、視差画像を生成する視差画像生成部と、
車線・車両検出処理部と、
を備え、
前記車線・車両検出処理部は、前記基準画像と前記視差画像に基づき、前記ステレオ画像撮像装置に向かって進行して来る自車線及び隣接車線内の車両を検出して、検出した車両の位置を、走行車線を表す平面上の２次元位置として表示するとともに、検出した車両の速度と衝突までの時間をも表示することを特徴とする車線内車両検出装置。
【請求項２】
前記視差画像生成部は、領域ステレオ法を用いて画像全体に亘る前記視差画像を生成し、
前記車線・車両検出処理部は、白線検出処理部と、車線決定処理部と、車線内車両検出処理部と、車両位置速度算出部とを備える請求項１に記載の車線内車両検出装置。
【請求項３】
前記白線検出処理部は、
基準画像と視差画像を連続して８枚ずつ取り込むというステップ、
８枚の基準画像を時間平均化するとともに、８枚の視差画像も時間平均化するというステップ、
時間平均化された基準画像を所定サイズの領域で移動平均するというステップ、
移動平均された基準画像にソーベルフィルタをかけることにより、エッジを検出するというステップ、
ソーベルフィルタで検出されたエッジ情報および視差情報に基づき、白線検出用の３次元ウィンドウを設定するというステップ、
時間平均化された視差画像に基づき、エッジ方向、基準画像の連続、視差の連続を条件として、エッジ点群をグループ化するというステップ、
ハフ変換により、３次元ウィンドウに３次元の直線を見つけるというステップ、及び
３次元の直線に含まれるエッジ点群に最小二乗法で直線を当てはめ、直線の位置精度を上げるというステップによる処理を行うことにより、道路面の白線を三次元で検出する請求項２に記載の車線内車両検出装置。
【請求項４】
前記車線決定処理部は、前記白線検出処理部で検出された白線を右車線又は左車線とし、更に、検出された白線の左側又は右側に、一車線の幅分ずつ広げ、前記自車線、前記隣接車線と決定する請求項３に記載の車線内車両検出装置。
【請求項５】
前記車線内車両検出処理部は、
決定した車線内で道路表面から所定の高さまでの視差データを抽出するというステップ、
視差画像全体を所定の横幅を有する短冊領域に分割するというステップ、
分割された各短冊領域について視差ヒストグラムを作成するというステップ、
所定の閾値以上の視差データで平面図を構成するというステップ、
隣接する視差データをグループ化するというステップ、及び
所定の閾値以上の視差データ数があるグループを車線内の車両として検出するというステップによる処理を行うことにより、決定した各車線内の車両を検出する請求項４に記載の車線内車両検出装置。
【請求項６】
車両位置速度算出部は、
検出した車線内の車両のうち、その車線で最も近い車両の位置を算出して、その車線を表す平面状の２次元位置として表示するというステップ、及び
それぞれの車線内で検出した車両の位置を時系列に記憶し、その位置の時間変化から速度を算出して表示し、さらに、自車線内の車両について衝突までの時間も算出して表示するというステップによる処理を行うことにより、
前記自車線内の車両の位置・速度・衝突までの時間を表示するとともに、前記隣接車線内の車両の位置・速度をも表示する請求項５に記載の車線内車両検出装置。
【請求項７】
高速道路上の走行車線内の車両を検出して、検出した車両の位置・速度を表示する車線内車両検出方法であって、
前方の自車線と隣接車線をステレオ画像撮像装置で撮像して基準画像と比較画像を取得するステレオ画像取得ステップと、
取得した基準画像と比較画像に基づき、視差画像を生成する視差画像生成ステップと、
車線・車両検出処理ステップと、
を有し、
前記車線・車両検出処理ステップは、前記基準画像と前記視差画像に基づき、前記ステレオ画像撮像装置に向かって進行して来る自車線及び隣接車線内の車両を検出して、検出した車両の位置を、走行車線を表す平面上の２次元位置として表示するとともに、検出した車両の速度と衝突までの時間をも表示することを特徴とする車線内車両検出方法。
【請求項８】
前記視差画像生成ステップは、領域ステレオ法を用いて画像全体に亘る前記視差画像を生成し、
前記車線・車両検出処理ステップは、白線検出処理ステップと、車線決定処理ステップと、車線内車両検出処理ステップと、車両位置速度算出ステップとを有する請求項７に記載の車線内車両検出方法。
【請求項９】
前記白線検出処理ステップは、道路面の白線を三次元で検出するためのステップであり、
基準画像と視差画像を連続して８枚ずつ取り込むというステップ、
８枚の基準画像を時間平均化するとともに、８枚の視差画像も時間平均化するというステップ、
時間平均化された基準画像を所定サイズの領域で移動平均するというステップ、
移動平均された基準画像にソーベルフィルタをかけることにより、エッジを検出するというステップ、
ソーベルフィルタで検出されたエッジ情報および視差情報に基づき、白線検出用の３次元ウィンドウを設定するというステップ、
時間平均化された視差画像に基づき、エッジ方向、基準画像の連続、視差の連続を条件として、エッジ点群をグループ化するというステップ、
ハフ変換により、３次元ウィンドウに３次元の直線を見つけるというステップ、及び
３次元の直線に含まれるエッジ点群に最小二乗法で直線を当てはめ、直線の位置精度を上げるというステップを有する請求項８に記載の車線内車両検出方法。
【請求項１０】
前記車線決定処理ステップは、前記白線検出処理ステップで検出された白線を右車線又は左車線とし、更に、検出された白線の左側又は右側に、一車線の幅分ずつ広げ、前記自車線、前記隣接車線と決定する請求項９に記載の車線内車両検出方法。
【請求項１１】
前記車線内車両検出処理ステップは、決定した各車線内の車両を検出するためのステップであり、
決定した車線内で道路表面から所定の高さまでの視差データを抽出するというステップ、
視差画像全体を所定の横幅を有する短冊領域に分割するというステップ、
分割された各短冊領域について視差ヒストグラムを作成するというステップ、
所定の閾値以上の視差データで平面図を構成するというステップ、
隣接する視差データをグループ化するというステップ、及び
所定の閾値以上の視差データ数があるグループを車線内の車両として検出するというステップを有する請求項１０に記載の車線内車両検出方法。
【請求項１２】
車両位置速度算出ステップは、前記自車線内の車両の位置・速度・衝突までの時間を表示するとともに、前記隣接車線内の車両の位置・速度をも表示するためのステップであり、
検出した車線内の車両のうち、その車線で最も近い車両の位置を算出して、その車線を表す平面状の２次元位置として表示するというステップ、及び
それぞれの車線内で検出した車両の位置を時系列に記憶し、その位置の時間変化から速度を算出して表示し、さらに、自車線内の車両について衝突までの時間も算出して表示するというステップを有する請求項１１に記載の車線内車両検出方法。
【請求項１】
高速道路上の走行車線内の車両を検出して、検出した車両の位置・速度を表示する車線内車両検出装置であって、
前方の自車線と隣接車線を撮像して基準画像と比較画像を出力するステレオ画像撮像装置と、
前記基準画像と前記比較画像に基づき、視差画像を生成する視差画像生成部と、
車線・車両検出処理部と、
を備え、
前記車線・車両検出処理部は、前記基準画像と前記視差画像に基づき、前記ステレオ画像撮像装置に向かって進行して来る自車線及び隣接車線内の車両を検出して、検出した車両の位置を、走行車線を表す平面上の２次元位置として表示するとともに、検出した車両の速度と衝突までの時間をも表示することを特徴とする車線内車両検出装置。
【請求項２】
前記視差画像生成部は、領域ステレオ法を用いて画像全体に亘る前記視差画像を生成し、
前記車線・車両検出処理部は、白線検出処理部と、車線決定処理部と、車線内車両検出処理部と、車両位置速度算出部とを備える請求項１に記載の車線内車両検出装置。
【請求項３】
前記白線検出処理部は、
基準画像と視差画像を連続して８枚ずつ取り込むというステップ、
８枚の基準画像を時間平均化するとともに、８枚の視差画像も時間平均化するというステップ、
時間平均化された基準画像を所定サイズの領域で移動平均するというステップ、
移動平均された基準画像にソーベルフィルタをかけることにより、エッジを検出するというステップ、
ソーベルフィルタで検出されたエッジ情報および視差情報に基づき、白線検出用の３次元ウィンドウを設定するというステップ、
時間平均化された視差画像に基づき、エッジ方向、基準画像の連続、視差の連続を条件として、エッジ点群をグループ化するというステップ、
ハフ変換により、３次元ウィンドウに３次元の直線を見つけるというステップ、及び
３次元の直線に含まれるエッジ点群に最小二乗法で直線を当てはめ、直線の位置精度を上げるというステップによる処理を行うことにより、道路面の白線を三次元で検出する請求項２に記載の車線内車両検出装置。
【請求項４】
前記車線決定処理部は、前記白線検出処理部で検出された白線を右車線又は左車線とし、更に、検出された白線の左側又は右側に、一車線の幅分ずつ広げ、前記自車線、前記隣接車線と決定する請求項３に記載の車線内車両検出装置。
【請求項５】
前記車線内車両検出処理部は、
決定した車線内で道路表面から所定の高さまでの視差データを抽出するというステップ、
視差画像全体を所定の横幅を有する短冊領域に分割するというステップ、
分割された各短冊領域について視差ヒストグラムを作成するというステップ、
所定の閾値以上の視差データで平面図を構成するというステップ、
隣接する視差データをグループ化するというステップ、及び
所定の閾値以上の視差データ数があるグループを車線内の車両として検出するというステップによる処理を行うことにより、決定した各車線内の車両を検出する請求項４に記載の車線内車両検出装置。
【請求項６】
車両位置速度算出部は、
検出した車線内の車両のうち、その車線で最も近い車両の位置を算出して、その車線を表す平面状の２次元位置として表示するというステップ、及び
それぞれの車線内で検出した車両の位置を時系列に記憶し、その位置の時間変化から速度を算出して表示し、さらに、自車線内の車両について衝突までの時間も算出して表示するというステップによる処理を行うことにより、
前記自車線内の車両の位置・速度・衝突までの時間を表示するとともに、前記隣接車線内の車両の位置・速度をも表示する請求項５に記載の車線内車両検出装置。
【請求項７】
高速道路上の走行車線内の車両を検出して、検出した車両の位置・速度を表示する車線内車両検出方法であって、
前方の自車線と隣接車線をステレオ画像撮像装置で撮像して基準画像と比較画像を取得するステレオ画像取得ステップと、
取得した基準画像と比較画像に基づき、視差画像を生成する視差画像生成ステップと、
車線・車両検出処理ステップと、
を有し、
前記車線・車両検出処理ステップは、前記基準画像と前記視差画像に基づき、前記ステレオ画像撮像装置に向かって進行して来る自車線及び隣接車線内の車両を検出して、検出した車両の位置を、走行車線を表す平面上の２次元位置として表示するとともに、検出した車両の速度と衝突までの時間をも表示することを特徴とする車線内車両検出方法。
【請求項８】
前記視差画像生成ステップは、領域ステレオ法を用いて画像全体に亘る前記視差画像を生成し、
前記車線・車両検出処理ステップは、白線検出処理ステップと、車線決定処理ステップと、車線内車両検出処理ステップと、車両位置速度算出ステップとを有する請求項７に記載の車線内車両検出方法。
【請求項９】
前記白線検出処理ステップは、道路面の白線を三次元で検出するためのステップであり、
基準画像と視差画像を連続して８枚ずつ取り込むというステップ、
８枚の基準画像を時間平均化するとともに、８枚の視差画像も時間平均化するというステップ、
時間平均化された基準画像を所定サイズの領域で移動平均するというステップ、
移動平均された基準画像にソーベルフィルタをかけることにより、エッジを検出するというステップ、
ソーベルフィルタで検出されたエッジ情報および視差情報に基づき、白線検出用の３次元ウィンドウを設定するというステップ、
時間平均化された視差画像に基づき、エッジ方向、基準画像の連続、視差の連続を条件として、エッジ点群をグループ化するというステップ、
ハフ変換により、３次元ウィンドウに３次元の直線を見つけるというステップ、及び
３次元の直線に含まれるエッジ点群に最小二乗法で直線を当てはめ、直線の位置精度を上げるというステップを有する請求項８に記載の車線内車両検出方法。
【請求項１０】
前記車線決定処理ステップは、前記白線検出処理ステップで検出された白線を右車線又は左車線とし、更に、検出された白線の左側又は右側に、一車線の幅分ずつ広げ、前記自車線、前記隣接車線と決定する請求項９に記載の車線内車両検出方法。
【請求項１１】
前記車線内車両検出処理ステップは、決定した各車線内の車両を検出するためのステップであり、
決定した車線内で道路表面から所定の高さまでの視差データを抽出するというステップ、
視差画像全体を所定の横幅を有する短冊領域に分割するというステップ、
分割された各短冊領域について視差ヒストグラムを作成するというステップ、
所定の閾値以上の視差データで平面図を構成するというステップ、
隣接する視差データをグループ化するというステップ、及び
所定の閾値以上の視差データ数があるグループを車線内の車両として検出するというステップを有する請求項１０に記載の車線内車両検出方法。
【請求項１２】
車両位置速度算出ステップは、前記自車線内の車両の位置・速度・衝突までの時間を表示するとともに、前記隣接車線内の車両の位置・速度をも表示するためのステップであり、
検出した車線内の車両のうち、その車線で最も近い車両の位置を算出して、その車線を表す平面状の２次元位置として表示するというステップ、及び
それぞれの車線内で検出した車両の位置を時系列に記憶し、その位置の時間変化から速度を算出して表示し、さらに、自車線内の車両について衝突までの時間も算出して表示するというステップを有する請求項１１に記載の車線内車両検出方法。
【図１】
【図２】
【図３】
【図５】
【図６】
【図１０】
【図１１】
【図１３】
【図４】
【図７】
【図８】
【図９】
【図１２】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図５】
【図６】
【図１０】
【図１１】
【図１３】
【図４】
【図７】
【図８】
【図９】
【図１２】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−１００１７４（Ｐ２０１１−１００１７４Ａ）
【公開日】平成２３年５月１９日（２０１１．５．１９）
【国際特許分類】
【出願番号】特願２００９−２５２５３９（Ｐ２００９−２５２５３９）
【出願日】平成２１年１１月３日（２００９．１１．３）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【出願人】（５０８０９９９２２）知能技術株式会社 (6)
【Ｆターム（参考）】
【公開日】平成２３年５月１９日（２０１１．５．１９）
【国際特許分類】
【出願日】平成２１年１１月３日（２００９．１１．３）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【出願人】（５０８０９９９２２）知能技術株式会社 (6)
【Ｆターム（参考）】
[ Back to top ]