道路画像解析装置及び道路画像解析方法

【課題】道路標示とガードレールとを明確かつ高速に区別することができ、正確な位置情報を取得できる道路画像解析装置及び道路画像解析方法を提供する。
【解決手段】撮像部２６が取得した主画像データに対して前処理部２８がサブエリアを設定し、エッジ抽出部３０がサブエリア毎にエッジ成分を抽出する。直線抽出部３２は、上記抽出されたエッジ成分を解析して直線成分を抽出し、この直線成分を使用して直線成分解析部３４が直線成分の中から連続成分を抽出する。マッチング処理部３６は、上記連続成分の頂点と補助画像データとのマッチング処理を行い、各連続成分の３次元位置情報を取得する。識別部４０は、３次元位置情報に含まれる各連続成分の高さ情報に基づき、連続成分が道路標示かガードレールかを識別する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路画像を解析して車道中央線や車道境界線、車道外側線等の道路標示、ガードレール等を抽出する道路画像解析装置及び道路画像解析方法に関する。
【背景技術】
【０００２】
従来より、高精度の道路地図を作成するため、道路標示やガードレール等に関する正確な位置情報を取得する必要があった。この目的のため、例えば車載された単眼視カメラにより取得された２次元画像を用い、その輝度情報に基づいて解析を行う方法が知られている。このような技術の例が、下記特許文献１に開示されている。
【０００３】
また、下記特許文献２には、ステレオカメラにより取得したステレオ画像から３次元位置データを算出してカードレール等の側壁を検出する技術が開示されている。
【特許文献１】特開平１−２４２９１６号公報
【特許文献２】特開平６−２６６８２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来の技術においては、単眼視カメラが取得する２次元画像を使用する場合、道路標示とガードレールとは共に直線状の画像となるので、その区別が困難であるという問題があった。
【０００５】
また、ステレオカメラが取得するステレオ画像を使用する場合、画像全体に対してマッチング処理を行う必要があるため処理が重く、また画像を小領域に分割しマッチング処理を高速化した場合であっても、小領域内に距離の異なる複数の物体が混在することになるため十分な距離測定精度が得られないという問題があった。更に、得られた３次元位置情報だけでは道路標示とガードレールとの区別が困難であるという問題があった。
【０００６】
本発明は、上記従来の課題に鑑みなされたものであり、その目的は、道路標示とガードレールとを明確かつ高速に区別することができ、正確な位置情報を取得できる道路画像解析装置及び道路画像解析方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、道路画像解析装置であって、同一位置を異なる方向から撮影する２台の撮像手段と、前記撮像手段の一方が取得した画像データから連続成分を抽出する連続成分抽出手段と、前記連続成分と前記撮像手段の他方が取得した画像データとを組合せ、前記連続成分の３次元位置情報を算出する３次元位置算出手段と、前記３次元位置算出手段が算出した３次元位置情報に基づいて前記連続成分を識別する識別手段と、を備えることを特徴とする。
【０００８】
上記構成によれば、連続成分抽出手段が抽出した連続成分に画像解析処理の対象を絞った上で３次元位置算出手段及び識別手段により連続成分の内容を識別するので、簡易な構成で正確な道路画像解析を行うことができる。
【０００９】
ここで、上記連続成分抽出手段は、前記撮像手段の一方が取得した画像データから直線成分を抽出し、この直線成分の位置、傾き及び直線間の関連性に基づいて前記連続成分を抽出することを特徴とする。
【００１０】
また、上記３次元位置算出手段は、前記連続成分の端点と前記撮像手段の他方が取得した画像データとをマッチング処理することにより３次元位置情報を算出することを特徴とする。
【００１１】
また、上記識別手段は、前記３次元位置情報に含まれる前記連続成分の高さ情報に基づいて前記連続成分を識別することを特徴とする。
【００１２】
また、上記連続成分抽出手段、３次元位置算出手段及び識別手段は、道路の走行方向に対して直交する方向に設定されたサブエリアを処理単位とすることを特徴とする。
【００１３】
また、本発明は、道路画像解析方法であって、同一位置を異なる２方向から撮影するステップと、前記撮影した一方の画像データから連続成分を抽出するステップと、前記連続成分と前記撮影した他方の画像データとを組合せ、前記連続成分の３次元位置情報を算出するステップと、前記算出した３次元位置情報に基づいて前記連続成分を識別するステップと、を備えることを特徴とする。
【００１４】
ここで、上記連続成分を抽出するステップは、前記撮影した一方の画像データから直線成分を抽出し、この直線成分の位置、傾き及び直線間の関連性に基づいて前記連続成分を抽出することを特徴とする。
【００１５】
また、上記連続成分の３次元位置情報を算出するステップは、前記連続成分の端点と前記撮影した他方の画像データとをマッチング処理することにより３次元位置情報を算出することを特徴とする。
【００１６】
また、上記連続成分を識別するステップは、前記３次元位置情報に含まれる前記連続成分の高さ情報に基づいて前記連続成分を識別することを特徴とする。
【００１７】
また、上記連続成分を抽出するステップ、連続成分の３次元位置情報を算出するステップ及び連続成分を識別するステップは、道路の走行方向に対して直交する方向に設定されたサブエリアを処理単位として実行されることを特徴とする。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態（以下、実施形態という）を、図面に従って説明する。
【００１９】
図１には、本発明にかかる道路画像解析装置の構成例のブロック図が示される。この道路画像解析装置は、例えばパーソナルコンピュータ等で実現することができる。図１において、道路画像解析装置は、第１カメラ１０、第２カメラ１２、インターフェース１４、１６、プロセッサ１８、記憶部２０、表示部２２及び操作部２４を含んで構成されている。
【００２０】
第１カメラ１０は、ステレオ画像を取得するために２台１組で設けられるステレオカメラの一方、例えば左カメラである。また、第２カメラ１２は、上記ステレオカメラの他方、例えば右カメラである。これらの第１カメラ１０及び第２カメラ１２は、同一位置を異なる方向からカラー画像またはモノクロ画像を撮影し、本発明の撮像手段を構成する。
【００２１】
インターフェース１４、１６は、それぞれ上記第１カメラ１０、第２カメラ１２が取得した画像データを受け取り、プロセッサ１８等に転送する。
【００２２】
プロセッサ１８は、ＣＰＵ（中央処理装置）等により構成され、インターフェース１４、１６、記憶部２０、表示部２２及び操作部２４とデータのやり取りを行いながらこれらの動作を制御する。
【００２３】
記憶部２０は、プロセッサ１８の作業用のＲＡＭ（ランダムアクセスメモリ）、プロセッサ１８が実行するプログラム等が格納されたＲＯＭ（リードオンリーメモリ）、不揮発性メモリとしてのフラッシュメモリ、磁気記憶媒体等で構成されたコンピュータ読み取り可能な記憶媒体である。また、本装置による解析結果である道路標示やガードレールの位置情報を記憶してもよい。
【００２４】
表示部２２は、例えば液晶ディスプレイ（ＬＣＤ）等で構成され、道路画像解析装置の解析結果、ユーザが道路画像解析装置への動作指示等を入力するためのユーザインターフェース等を表示する。
【００２５】
操作部２４は、マウス等のポインティングデバイス、キーボード等の入力装置を含み、ユーザによるデータの入力等に使用する。
【００２６】
図２には、上記道路画像解析装置の各機能を表す機能ブロック図が示される。図２において、道路画像解析装置は、撮像部２６、前処理部２８、エッジ抽出部３０、直線抽出部３２、直線成分解析部３４、マッチング処理部３６、地図座標情報算出部３８、識別部４０及び位置情報取得部４２を含んで構成されている。
【００２７】
撮像部２６は、第１カメラ１０、第２カメラ１２、インターフェース１４、１６により実現され、第１カメラ１０で取得した画像データを主画像データとして、第２カメラ１２で取得した画像データを補助画像データとしてそれぞれ出力する。
【００２８】
前処理部２８は、プロセッサ１８により実現され、上記主画像データに対して画像強調処理等によりエッジ抽出処理を容易にするとともに、画像解析の基本単位である複数のサブエリアに画像を分割する処理を実行する。なお、サブエリアは道路の走行方向に直交するよう設定する。
【００２９】
エッジ抽出部３０は、プロセッサ１８により実現され、上記各サブエリアにおいて、輝度や色が明−暗パターン及び暗−明パターンのエッジ成分の抽出を行う。ここで、エッジ成分とは、上記主画像データに含まれる、道路標示、ガードレール、電柱等の柱状構造物等の輪郭である。また、上記エッジ抽出には、例えば１次水平微分フィルタを使用することができる。
【００３０】
直線抽出部３２は、プロセッサ１８により実現され、上記エッジ抽出部３０が抽出したエッジ成分から直線成分を抽出する。この直線成分の抽出は、例えばハフ変換等を使用して行う。
【００３１】
直線成分解析部３４は、プロセッサ１８により実現され、上記直線抽出部３２が抽出した直線成分の位置や傾き、直線成分間の関連性等に基づき主画像データ中の連続成分を抽出する。ここで、連続成分とは、画像中で一定方向に繰り返し存在し、または一定方向に連続している直線成分である。例えば、道路上に所定長さで繰り返し描かれる車道境界線や道路端部に所定長さ毎に設けられる電柱等が前者の例であり、道路上に連続線として描かれる車道外側線やガードレール等が後者の例である。このような直線成分の連続性は、各サブエリア内及び各サブエリア相互における上記直線成分の位置関係により直線成分解析部３４が判定する。また、電柱等の柱状構造物の直線成分は、その傾きにより除去し、直線解析の対象から除外することができる。さらに、上記直線成分間の関連性は、例えば直線成分相互の間の距離であり、道路上に描かれる道路標示を抽出するために使用される。すなわち、道路標示及び道路標示間の幅は予め分かっているので、上記幅より明らかに大きいまたは小さい距離をなす直線成分の組合わせは道路標示の直線成分ではないと判定することができる。
【００３２】
なお、上述したエッジ抽出部３０、直線抽出部３２及び直線成分解析部３４により、本発明の連続成分抽出手段が構成される。
【００３３】
マッチング処理部３６は、プロセッサ１８により実現され、上記主画像データの連続成分の頂点と補助画像データとのマッチング処理を行い、対応点との視差及びカメラ位置などの情報を基に三角測量により各連続線分の相対的な３次元位置情報を算出する。
【００３４】
地図座標情報算出部３８は、プロセッサ１８により実現され、位置情報取得部４２が取得した座標情報とマッチング処理部３６が求めた相対的な３次元位置情報とに基づき、地図上の座標情報を算出する。
【００３５】
上記マッチング処理部３６により、本発明の３次元位置算出手段が構成される。
【００３６】
識別部４０は、プロセッサ１８により実現され、上記３次元位置情報に含まれる各連続成分の高さ情報に基づき、連続成分が道路標示であるかガードレールであるかを識別する。
【００３７】
位置情報取得部４２は、ＧＰＳ（全地球測位システム）、ジャイロ等により実現され、撮像部２６による撮像位置及び姿勢を求めて、対応する画像データの座標を決定し、座標情報として地図座標情報算出部３８に出力する。
【００３８】
図３には、車載された撮像部２６による撮影エリアの説明図が示される。なお、図３では、撮像部２６の第１カメラ１０及び第２カメラ１２の並び方向がＸで表され、撮影方向（車両の進行方向）がＺで表されている。また、第１カメラ１０としての左カメラによる撮影エリアがαで示され、第２カメラとしての右カメラによる撮影エリアがβで示されている。なお、カメラを車両の進行方向と逆向きに取り付けることも可能である。
【００３９】
図３において、撮影エリアαの画像データが主画像データであり、撮影エリアβの画像データが補助画像データである。上記マッチング処理部３６によるマッチング処理は、撮影エリアαと撮影エリアβとが重複する重複エリアγに存在する対象物の画像データについて行われる。
【００４０】
図４には、図１及び図２で説明した本実施形態にかかる道路画像解析装置の動作例のフローが示される。図４において、前処理部２８が撮像部２６から主画像データを取得する（Ｓ１）。ここで、図２では、第１カメラ１０が撮像した画像データを主画像データとしているが、第２カメラ１２が撮像した画像データを主画像データとしてもよい。
【００４１】
前処理部２８は、上記取得した主画像データに対して上述した初期化処理を実行し、複数のサブエリアを設定する（Ｓ２）。
【００４２】
図５には、サブエリアが設定された主画像が示される。図５において、主画像には複数のサブエリア４４が設定されており、それぞれ破線で区切られて示されている。
【００４３】
次に、エッジ抽出部３０が上記サブエリア４４毎にエッジ成分を抽出する（Ｓ３）。このエッジ抽出処理は、初期化処理された主画像データの各サブエリアにおいて１次水平微分フィルタを使用して輝度や色の明−暗パターン及び暗−明パターンを認識することにより行われる。図５に示された主画像中の道路標示やガードレール、電柱等の柱状構造物は道路等の背景に対して輝度が高いので、明と暗との境界をエッジとして認識することができる。
【００４４】
図６には、エッジ抽出処理の説明図が示される。図６において、エッジ抽出部３０が抽出した各エッジ成分が一点鎖線で示されている。
【００４５】
次に、直線抽出部３２が上記抽出されたエッジ成分を解析し、直線成分を抽出する（Ｓ４）。
【００４６】
図７には、抽出された直線成分の例が実線で示される。この段階では、抽出された直線成分が、道路標示、ガードレール、電柱等の柱状構造物のいずれであるかは区別されていない。
【００４７】
そこで、直線成分解析部３４は、上記直線成分の位置や傾き、直線間の関連性等に基づいて解析対象となる連続成分を抽出する（Ｓ５）。この連続成分を抽出する際には、直線成分の傾きや道路上の位置により電柱等の柱状構造物を除外するのが好適である。これにより、以後の処理を道路標示とガードレールに絞ることができ、処理を簡略化することができる。
【００４８】
図８には、連続成分の抽出処理の結果の例が示される。図８において、画像中で一定方向に繰り返し存在し、または一定方向に連続している直線成分が抽出されている。
【００４９】
次に、マッチング処理部３６は、上記連続成分の頂点と補助画像データとのマッチング処理を行う（Ｓ６）。
【００５０】
図９（ａ）、（ｂ）には、マッチング処理の説明図が示される。ここで、図９（ａ）が直線成分解析部３４が抽出した連続成分を示し、図９（ｂ）が補助画像とのマッチング結果を示す。マッチング処理部３６は、例えば面積相関法により図９（ａ）に示される連続成分の端点と補助画像データとのマッチングを行い、対応点との視差、カメラ位置及び姿勢などの情報を基に三角測量により各連続成分の相対的な３次元位置情報を算出する。図９（ａ）では、端点の例が１２点（ａ１〜ａ１２）示されている。なお、端点の数は上記１２点に限定されず、さらに多くてもよい。以上の処理により、連続成分の全ての点ではなく端点のみで対応点探索を行うので、マッチング処理を高精度かつ高速に行うことができる。
【００５１】
地図座標情報算出部３８は、位置情報取得部４２が取得した座標情報とマッチング処理部３６が求めた相対的な３次元位置情報とに基づき、地図上の座標情報を算出する。また、識別部４０は、上記地図上の座標情報に含まれる各連続成分の高さ情報に基づき、連続成分が道路標示であるかガードレールであるかを識別する（Ｓ７）。この処理は、上記高さ情報に所定の閾値を設定し、この閾値より高さが高い連続成分をガードレールとし、低い連続成分を道路標示とすることにより実行することができる。なお、上記識別処理を相対的な座標情報に基づいて行い、その後、位置情報取得部４２が取得した座標情報から地図上の座標情報を算出してもよい。
【００５２】
上述の解析動作により求められた道路標示及びガードレールの地図上の座標情報は、表示部２２に表示される（Ｓ８）。図１０には、この表示例が示される。図１０では、道路標示及びガードレールの属性毎にＸ、Ｙ、Ｚの各座標値が示されている。なお、上記座標情報をデータベースとして記憶部２０に記憶してもよい。
【００５３】
以上の各工程によれば、直線成分解析部３４により、解析対象を道路標示とガードレールに絞った上でマッチング処理部３６及び識別部４０により道路標示とガードレールを識別している。これにより、道路標示とガードレールとを簡易な処理の組合せで明確に区別することができ、正確な位置情報を取得することもできる。
【図面の簡単な説明】
【００５４】
【図１】本発明にかかる道路画像解析装置の構成例のブロック図である。
【図２】本発明にかかる道路画像解析装置の各機能を表す機能ブロック図である。
【図３】撮像部による撮影エリアの説明図である。
【図４】本発明にかかる道路画像解析装置の動作例のフロー図である。
【図５】サブエリアが設定された主画像の例を示す図である。
【図６】エッジ抽出処理の説明図である。
【図７】抽出された直線成分の例を示す図である。
【図８】連続成分の抽出処理の結果の例を示す図である。
【図９】マッチング処理の説明図である。
【図１０】道路画像の解析結果の表示例を示す図である。
【符号の説明】
【００５５】
１０第１カメラ、１２第２カメラ、１４、１６インターフェース、１８プロセッサ、２０記憶部、２２表示部、２４操作部、２６撮像部、２８前処理部、３０エッジ抽出部、３２直線抽出部、３４直線成分解析部、３６マッチング処理部、３８地図座標情報算出部、４０識別部、４２位置情報取得部、４４サブエリア。

【特許請求の範囲】
【請求項１】
同一位置を異なる方向から撮影する２台の撮像手段と、
前記撮像手段の一方が取得した画像データから連続成分を抽出する連続成分抽出手段と、
前記連続成分と前記撮像手段の他方が取得した画像データとを組合せ、前記連続成分の３次元位置情報を算出する３次元位置算出手段と、
前記３次元位置算出手段が算出した３次元位置情報に基づいて前記連続成分を識別する識別手段と、
を備えることを特徴とする道路画像解析装置。
【請求項２】
請求項１記載の道路画像解析装置において、前記連続成分抽出手段は、前記撮像手段の一方が取得した画像データから直線成分を抽出し、この直線成分の位置、傾き及び直線間の関連性に基づいて前記連続成分を抽出することを特徴とする道路画像解析装置。
【請求項３】
請求項１または請求項２記載の道路画像解析装置において、前記３次元位置算出手段は、前記連続成分の端点と前記撮像手段の他方が取得した画像データとをマッチング処理することにより３次元位置情報を算出することを特徴とする道路画像解析装置。
【請求項４】
請求項１から請求項３のいずれか一項記載の道路画像解析装置において、前記識別手段は、前記３次元位置情報に含まれる前記連続成分の高さ情報に基づいて前記連続成分を識別することを特徴とする道路画像解析装置。
【請求項５】
請求項１から請求項４のいずれか一項記載の道路画像解析装置において、前記連続成分抽出手段、前記３次元位置算出手段及び前記識別手段は、道路の走行方向に対して直交する方向に設定されたサブエリアを処理単位とすることを特徴とする道路画像解析装置。
【請求項６】
同一位置を異なる２方向から撮影するステップと、
前記撮影した一方の画像データから連続成分を抽出するステップと、
前記連続成分と前記撮影した他方の画像データとを組合せ、前記連続成分の３次元位置情報を算出するステップと、
前記算出した３次元位置情報に基づいて前記連続成分を識別するステップと、
を備えることを特徴とする道路画像解析方法。
【請求項７】
請求項６記載の道路画像解析方法において、前記連続成分を抽出するステップは、前記撮影した一方の画像データから直線成分を抽出し、この直線成分の位置、傾き及び直線間の関連性に基づいて前記連続成分を抽出することを特徴とする道路画像解析方法。
【請求項８】
請求項６または請求項７記載の道路画像解析方法において、前記連続成分の３次元位置情報を算出するステップは、前記連続成分の端点と前記撮影した他方の画像データとをマッチング処理することにより３次元位置情報を算出することを特徴とする道路画像解析方法。
【請求項９】
請求項６から請求項８のいずれか一項記載の道路画像解析方法において、前記連続成分を識別するステップは、前記３次元位置情報に含まれる前記連続成分の高さ情報に基づいて前記連続成分を識別することを特徴とする道路画像解析方法。
【請求項１０】
請求項６から請求項９のいずれか一項記載の道路画像解析方法において、前記連続成分を抽出するステップ、前記連続成分の３次元位置情報を算出するステップ及び前記連続成分を識別するステップは、道路の走行方向に対して直交する方向に設定されたサブエリアを処理単位として実行されることを特徴とする道路画像解析方法。

【図１】