説明

地物位置認識装置

【課題】自車に対する対象地物の正確な位置を認識することができる地物位置認識装置を提供する。
【解決手段】地物位置認識装置103は、自車Cの移動に伴って撮像された複数の画像から路面標示2の何処の部位が撮像されているかを推定する。そして、その推定された撮像部位が、路面標示2の予め設定された測定点Pを含む部位であるか否かを判定する。これにより、例えば路面標示2の測定点Pが存在しない部位で測定点を検出した場合に、かかる測定点の検出は誤検出であると判断する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載カメラで撮像した画像に基づいて、路面標示、信号機、標識等の自車周囲に存在する対象地物の位置を認識する地物位置認識装置に関する。
【背景技術】
【0002】
従来より、自車位置の修正を行うために、車載カメラで撮像した画像から地物位置を認識する装置が提案されている(例えば特許文献1を参照)。
【0003】
【特許文献1】特開2008−164384号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1に開示される装置の場合、路面標示の所定部位を測定点として、自車と路面標示との相対距離を測定する方法を採用する。路面標示の測定点とされる部位は、他の部位との識別が可能な形状を有しており、その形状を画像処理によって検出した場合に、かかる形状を有する部位が測定点であると判断している。
【0005】
従って、例えば経年劣化や掠れ等によって路面標示の形状が変化し、測定点とは別の部位に、測定点に類似した形状を有する部分が形成された場合に、その誤った部位を測定点として誤検出するおそれがある。
【0006】
本発明は、上記の点に鑑みてなされたものであり、自車に対する対象地物の正確な位置を認識することができる地物位置認識装置を提供することにある。
【課題を解決するための手段】
【0007】
本発明の地物位置認識装置は、自車の移動に伴って撮像された複数の画像から対象地物の何処の部位が撮像されているかを推定し、その推定された撮像部位が対象地物に対して予め設定された測定点を含む部位であるか否かを判定する。
【発明の効果】
【0008】
本発明の地物位置認識装置によれば、自車の移動に伴って撮像された複数の画像から対象地物の何処の部位が撮像されているかを推定し、その推定された撮像部位が、対象地物に対して予め設定された測定点を含む部位であるか否かを判定するので、例えば対象地物の測定点が存在しないとされる撮像部位で測定点が検出された場合に、かかる測定点の検出は誤検出であると判断することができる。従って、誤った点を測定点として自車位置の認識がなされるのを防ぐことができる。
【発明を実施するための最良の形態】
【0009】
以下に、本発明の実施の形態について図面を用いて詳細に説明する。
図1は、自車位置検出システムが適用されるシーンの一例を示す図、図2は、自車位置検出システムの全体構成を概念的に示す図である。本実施の形態では、図1に示すように自車Cの走行中に路面1を撮像して、その画像から横断歩道等の路面標示2の位置を認識し、自車Cの現在位置を求める自車位置検出システム100の場合を例に説明する。
【0010】
自車位置検出システム100は、図2に示すように、カーナビゲーション装置101と路面標示位置認識装置(地物位置認識装置)103とを備えている。路面標示位置認識装置103は、路面1を撮像した画像を画像処理して路面標示2を検出し、路面標示2の種類と自車Cから路面標示2までの距離Lの情報からなる認識結果をカーナビゲーション装置101に出力する機能を有している。
【0011】
路面1の撮像は、例えば図1に示すように、車両後部に取り付けられたリアカメラ108(車載カメラ)によって行われる。リアカメラ108は、自車後方の路面1を視野角範囲3内に亘って撮像する。路面標示位置認識装置103には、路面標示2における測定点Pの情報と、自車Cから測定点Pまでの距離Lの情報が予め記憶されている。距離Lは、画像内における測定点Pの位置に応じて予め設定されている。
【0012】
カーナビゲーション装置101は、自車位置を演算して、運転手や乗員にその情報を提供し、また、自車位置から目的地までの経路案内を行う機能を備えている。カーナビゲーション装置101は、地図データ102と路面標示位置認識装置103の認識結果とを比較することで、路面標示2の位置を基準にした自車Cの正確な位置を求めることができる。
【0013】
路面標示2は、路面1に描かれたペイントであり、例えば図1に示す横断歩道の他、一次停止線や、最高速度標示、進行方向別通行区分標示、転回禁止標示、車線区分標示等が含まれる。地図データ102には、一般的な地図情報に加えて、路面標示2の種類、形状、位置、方位等の情報が記憶されている。
【0014】
図3は、自車位置検出システムの構成を模式的に示すブロック図である。路面標示位置認識装置103は、図3に示すように、画像処理部111、特徴量抽出部112、状態推定部113、認識結果出力判定部114の各機能部を有している。これらの各機能部は、ハードウェアまたはソフトウェア、あるいはその両方により実装されて構成されている。
【0015】
画像処理部111は、リアカメラ108で自車の移動に伴って撮像された複数の画像をリアカメラ108から取得する。そして、各画像に対して路面標示2を認識するための画像処理を行い、その画像処理の結果に基づいて、認識対象物となる路面標示2の種類を決定し、その路面標示2が有する測定点Pを認識する処理を行う。これらの処理は、例えば公知のテンプレートマッチング等によって決定される。
【0016】
認識対象物とされる路面標示2は、自車Cが進行する方向の前方に存在する路面標示2とすることもでき、その存在は、カーナビゲーション装置101の自車位置演算部121によって算出される自車位置と地図データ102に基づいて把握することができる。路面標示2の測定点Pの情報は、路面標示位置認識装置103内または地図データ102内に路面標示2の種類に応じて読み出し可能に格納されている。
【0017】
測定点Pは、路面標示2の輪郭形状に応じて設定されており、例えば自車Cの進行方向に直交する輪郭線上や、角部を有する場合には当該角部上など、他の部位と識別可能な部位に設定されている。例えば横断歩道の場合、測定点Pは、自車Cの進行方向に沿って延在する複数の平行な帯状の輪郭線において、各前方の短辺をつないだ直線状のライン(例えば図6(c)を参照)とされる。
【0018】
そして、画像内に測定点Pが認識された場合、自車Cと測定点Pとの位置関係を導出する処理が行われる。路面標示位置認識装置103には、リアカメラ108の自車Cへの搭載位置と撮像方向に基づき測定点Pと自車Cとの位置関係が予め求められて記憶されている。従って、画像内における測定点Pの配置に基づいて、撮像時における自車Cと測定点Pとの位置関係を導出することができる。
【0019】
特徴量抽出部112は、路面標示2の特徴が画像に含まれている量(以下、特徴量という)を抽出する。特徴量は、状態推定部113で状態を推定する際に用いられるものであり、路面標示2の特徴に基づいて抽出される。路面標示2の特徴は、路面標示位置認識装置103内に記憶されている。例えば路面標示2が横断歩道の場合は、所定間隔をおいて並ぶ白線の本数や、画像内における白線の長さが特徴とされ、白線の本数が多いほど、あるいは白線の長さが長いほど特徴量が多いとされる。
【0020】
状態推定部(撮像部位推定部)113は、特徴量抽出部112により抽出した特徴量に基づいて、路面標示2の何処の部位が画像中において見えているか、換言すると、画像中に路面標示2の何処の部位が含まれているかという状態を推定する処理を行う。例えば横断歩道の場合、画像中に横断歩道の始端部位(車両進行方向後側に位置する部位)、中央部位、終端部位(車両進行方向前側に位置する部位)のいずれの部位が含まれているかという状態を大局的に推定する(例えば図6を参照)。
【0021】
認識結果出力判定部114は、予め設定された出力条件を満たしているか否かを判定し、出力条件を満たしている場合には、認識結果をカーナビゲーション装置101に出力し、出力条件を満たしていない場合には、認識結果を出力しない。認識結果出力判定部114から出力される認識結果には、画像処理部111で決定された路面標示2の種類と、自車Cから路面標示2までの距離Lの情報が含まれている。
【0022】
カーナビゲーション装置101は、GPS1202等の位置計測手段からの検出信号に基づいて自車位置を演算する自車位置演算部121と、路面標示位置認識装置103の認識結果を利用して自車位置を補正する自車位置補正部122を有する。
【0023】
自車位置補正部122は、自車位置演算部121によって演算された自車位置を、路面標示2の位置に合わせて補正する。自車位置の補正は、路面標示位置認識装置103から受信した認識結果と、地図データ102とを比較することによって行われる。
【0024】
次に、図4〜図6を用いて、路面標示位置認識装置103における処理内容について説明する。図4は、路面標示位置認識装置103において実行される処理の内容を説明するためのフローチャート、図5は、図4のステップS205の処理の内容を説明するためのフローチャート、図6は、自車Cの移動に伴って撮像された複数の画像を示す図である。
【0025】
まず、ステップS201の画像入力処理では、自車Cの移動に伴って撮像された複数の画像が入力される。そして、ステップS202の認識対象物決定処理では、各画像に画像処理が施されて、認識対象物が決定される。本実施の形態では、路面標示2が認識対象物とされ、二値化処理やノイズ除去処理等の画像処理がなされた後に、テンプレートマッチングが行われて路面標示2の種類が決定され、次いで路面標示2の予め設定された測定点Pを認識する処理がなされる。
【0026】
そして、画像内に測定点Pの存在が認識された場合には、測定点Pから自車Cまでの距離Lを得る。これらステップS201の画像入力処理とステップS202の路面標示決定処理は、画像処理部111によって実行される。
【0027】
尚、ステップS202の認識対象物決定処理において複数の路面標示が認識対象物として決定された場合は、以下のステップS203からステップS206までの処理が路面標示の数量分だけ繰り返し実行される。
【0028】
次に、ステップS203の路面標示特徴量抽出処理では、ステップS201で取得した画像から路面標示2の特徴量を抽出する処理が行われる。この路面標示特徴量抽出処理は、特徴量抽出部112によって実行される。
【0029】
ここでは、例えば画像内における路面1と路面標示2との間の輝度値の変化を検出することにより、路面標示2の輪郭を抽出する。そして、路面標示2の種類別に予め設定された抽出条件に基づいて路面標示2の輪郭を解析し、路面標示2の特徴量を抽出する。
【0030】
例えば路面標示2が横断歩道の場合では、横断歩道の始端部位が含まれる画像(図6(a)を参照)及び横断歩道の終端部位が含まれる画像(図6(c)を参照)よりも、横断歩道の中央部位が含まれる画像(図6(b)を参照)の方が、画像中に横断歩道の白線の長さがより長く含まれている。従って、図6(b)に示す画像の場合に、より多くの特徴量が抽出される。
【0031】
ステップS204の状態推定処理では、ステップS203で抽出された特徴量に基づいて、画像内における路面標示2の状態(撮像部位)を推定する処理が行われる。時刻tにおける画像内の路面標示2の状態をS(t)とする。状態推定処理は、状態推定部113によって実行される。画像内における路面標示2の状態S(t)とは、路面標示2の何処の部位が見えているかを示す状態をいう。例えば横断歩道の場合、画像中に横断歩道の始端部位が見えている状態(図6(a)を参照)、横断歩道の中央部位が見えている状態(図6(b)を参照)、横断歩道の終端部位が見えている状態(図6(c)を参照)をいう。
【0032】
時刻tで抽出した特徴量を観測値Y(t)とする。特徴量は、ステップS203の路面標示特徴量抽出処理にて抽出される。これらの状態S(t)と観測値Y(t)のデータとダイナミックベイジアンネットワークの手法により、観測した路面標示2の特徴量の時間変化から、現在の状態(例えば横断歩道の何処の部位が見えているか)を以下の式(1)を用いて確率的に求めることができる。
【数1】

【0033】
この等式の左辺は、観測値Y(t)の時間変化が観測されたときの現在の状態S(t)の確率である。また右辺の第1項目と第2項目は、多数のデータを学習させる等して、事前にその値を求めておく。
【0034】
右辺の第1項目は、ある「状態」が観測された時に、どのような「観測値」を得る可能性があるかという確率である。例えば横断歩道の中央部位が見えている場合(図6(b)の状態)は、横断歩道の特徴量(路面標示の輪郭)が多数観測される可能性が高いという関係を意味する。
【0035】
第2項目は、前回の撮像にて所定の「状態」が観測された時に、次にどのような「状態」に遷移する可能性があるかという確率である。例えば、横断歩道の始端部位(図6(a)の状態)が見えた後は、横断歩道の中央部位が見えている状態(図6(b)の状態)に遷移する可能性が高いという関係を意味する。これらの「状態」と「観測値」の確率的な関係を踏まえて、図5に示す状態推定処理フローにより、現在の状態S(t)(横断歩道の何処が見えているか)を確率的に計算する。
【0036】
まず、図5に示すステップS301の状態遷移確率読み込み処理にて状態遷移確率を読み込む。状態S(t)の値は、図6(a)〜(c)の状態を、それぞれ状態値1、状態値2、状態値3といったように予め定義しておく。
【0037】
状態遷移確率は、各画像の間で画像の状態が遷移する確率として、前回の状態S(t−1)と現在の状態S(t)との間の関係を確率的に求めたものであり、すなわち、前回の状態S(t−1)がある状態であった場合に、現在の状態S(t)がどのような状態になるかを確率的に求めたものである。状態遷移確率は、事前に学習して路面標示位置認識装置103内にデータベースとして保持されており、本処理では、この学習済みのデータをデータベースから読み込むこととなる。
【0038】
次に、ステップS302の観測確率読み込み処理にて観測確率を読み込む。観測確率は、画像から所定の特徴量が抽出された場合にその画像の状態が所定状態となる確率として、観測値Y(t)と状態S(t)の関係を確率的に求めたものであり、すなわち、観測値Y(t)(路面標示の輪郭の見え方)が観測された時に、状態S(t)がどのような状態であるかを確率的に求めたものである。観測確率は、事前に学習してデータベースとして路面標示位置認識装置103内に保持されており、本処理では、この学習済みのデータを読み込むこととなる。
【0039】
そして、ステップS303の状態推定処理にて、ステップS301で読み込んだ状態遷移確率と、ステップS302で読み込んだ観測確率を用いて、上記の式(1)により現在の状態S(t)を推定する。
【0040】
再び、図4に示すフローの説明に戻り、ステップS205の認識結果出力処理では、予め設定されている出力条件を満たしている場合に、認識結果をカーナビゲーション装置101に出力する処理が行われる。認識結果出力処理は、認識結果出力判定部114によって実行される。
【0041】
ここでは、ステップS204の路面標示特徴量抽出処理により抽出した路面標示2の輪郭が認識対象とする路面標示2の輪郭と一致し、且つ認識結果を出力しても良い状態である場合に出力条件を満たしていると判断される。
【0042】
輪郭が一致しているか否かは、ステップS202の認識対象物決定処理で判断される。そして、認識結果を出力しても良い状態であるか否かは、ステップS205の状態推定処理により推定した現在の状態S(t)に基づいて判断される。
【0043】
例えば、状態推定部113で推定した状態が図6(c)に示すように、画像内に測定点Pを含む状態である場合は、認識結果を出力しても良い状態(出力可能状態)と判断される。
【0044】
一方、状態推定部113で推定した状態が図6(a)または図6(b)に示すように、画像内に測定点Pを含まない状態である場合は、認識結果を出力してはいけない状態(出力不可状態)と判断される。
【0045】
例えば、横断歩道の中央部位に道路幅方向に亘って白線が欠けた部分が存在しており、画像処理にて測定点Pが存在すると誤検出される状況において、従来は、そのまま、誤検出された位置に基づいて自車位置が補正されてしまうおそれがあった。
【0046】
これに対して、本実施の形態における路面標示位置認識装置103では、路面標示2の何処の部位が画像中において見えているかを大局的に推定しているので、画像処理によって測定点Pがあると検出された場所は横断歩道の中央部位であり、測定点Pは存在せず、誤検出であると判断することができる。
【0047】
従って、カーナビゲーション装置101に対する認識結果の出力が禁止され(出力不可状態)、誤検出された位置に基づいて自車位置が補正されるのを防ぐことができ、路面標示の測定点Pを正確に検出することができる。
【0048】
最後に、ステップS208において、新しい画像入力信号があるか否かが判断され、新しい画像入力信号が来ていない場合(NO)はウエイトし、新しい画像入力信号が来ている場合(YES)は、処理201へ戻る。
【0049】
次に、図7、図8を用いて、本発明を実現するハードウェア構成について説明する。
図7は、ハードウェア構成の第1実施例、図8は、ハードウェア構成の第2実施例である。
【0050】
まず、第1実施例について説明する。リアカメラ108は、図7に示すように、レンズ1001とCCD1002を有している。CPU1004には、路面標示位置認識装置103とカーナビゲーション装置101が実装され、ハードディスク1005には地図データ102が実装されている。CPU1004は、ハードディスク1005の地図データ102を参照する。
【0051】
リアカメラ108とCPU1004は映像信号線1003で接続され、リアカメラ108の映像は、映像信号線1003を通じてCPU1004の路面標示位置認識装置103に送信される。また、CPU1004は、CAN(コントロールエリアネットワーク)1006に接続され、自車Cが有する他のCPUや制御装置と相互にデータの送受信を行うようになっている。
【0052】
第1実施例の構成は、路面標示位置認識装置103とカーナビゲーション装置101との間のデータ送受信量が多い場合に適用すると、データ送受信速度や容量が大きくなりシステムのパフォーマンスが良い。
【0053】
次に、第2実施例について説明する。リアカメラ108は、図8に示すように、レンズ1101と、CCD1102と、CPU1107を有している。CPU1107には、路面標示位置認識装置103が実装される。
【0054】
一方、リアカメラ108とは別個に設けられたCPU1104には、カーナビゲーション装置101が実装され、ハードディスク1105には地図データ102が実装されている。CPU1104は、ハードディスク1105の地図データ102を参照する。
【0055】
CPU1107とCPU1104は、CAN1106に接続され、路面標示位置認識装置103とカーナビゲーション装置101との間でデータの送受信を行うほか、自車Cが有する他のCPUや制御装置と相互にデータの送受信を行うようになっている。
【0056】
路面標示位置認識装置103とカーナビゲーション装置101との間のデータの送受信は、専用信号線によっても行うことができる。第2実施例の構成は、路面標示位置認識装置103やカーナビゲーション装置101の処理負荷が大きい場合に適用すると、路面標示認識やカーナビゲーション装置101の高負荷な処理が可能となりシステムのパフォーマンスが良い。
【0057】
上記した路面標示位置認識装置103によれば、自車Cの移動に伴って撮像された複数の画像から路面標示2の何処の部位が撮像されているかを推定し、その推定された撮像部位が路面標示2に対して予め設定された測定点Pを含む部位であるか否かを判定する。
【0058】
従って、画像処理部111が、対象地物の測定点の存在しない部位で測定点Pを検出したと判断した場合に、認識結果出力判定部114によってその検出結果は誤検出であると判断され、カーナビゲーション装置101に出力されない。従って、誤った点を測定点Pとして自車位置の認識がなされるのを防ぐことができる。
【0059】
本発明は、上述の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、上述の実施の形態では、リアカメラ108を用いた場合について説明したが、車両の他の部分に設置した車載カメラを使用することでも実現できる。
【0060】
例えば、リアカメラ108の代わりに、自車Cの後側方を撮影範囲とするドアミラー部分に設置した後側方カメラ、自車Cの前方を撮影範囲とするフロントカメラを使用することもできる。また、複数台のカメラを使用して、各カメラの映像の認識結果を相互に照合することにより、路面標示位置認識装置103の信頼性を向上させることができる。その場合、リアカメラ108と後側方カメラの組み合わせ、リアカメラ108とフロントカメラの組み合わせ、左右のドアミラーに設置した2台の後側方カメラの組み合わせ、後側方カメラとフロントカメラの組み合わせが可能である。
【0061】
また、本発明の路面標示位置認識装置103は、車載カメラとカーナビゲーション装置101を搭載した自車Cにおいて、例えば信号機や道路標識等の路面標示以外の周囲の認識対象物を認識することもでき、また、衝突防止や運転支援を行う車両の予防安全システムにも適用可能である。
【図面の簡単な説明】
【0062】
【図1】自車位置検出システムが適用されるシーンの一例を示す図。
【図2】自車位置検出システムの全体構成を概念的に示す図。
【図3】自車位置検出システムの構成を模式的に示すブロック図。
【図4】路面標示位置認識装置の処理内容を説明するフローチャート。
【図5】図4のステップS205の処理の内容を説明するフローチャート。
【図6】自車の移動に伴って撮像された複数の画像を示す図である。
【図7】ハードウェア構成の第1実施例。
【図8】ハードウェア構成の第2実施例。
【符号の説明】
【0063】
1 路面
2 路面標示(横断歩道)
100 自車位置検出システム
101 カーナビゲーション装置
102 地図データ
103 路面標示位置認識装置(地物位置認識装置)
108 リアカメラ
111 画像処理部
112 特徴量抽出部
113 状態推定部(撮像部位推定部)
114 認識結果出力判定部(判定部)
121 自車位置演算手段
122 自車位置補正手段
C 自車
L 距離
P 測定点

【特許請求の範囲】
【請求項1】
車載カメラで撮像した画像を画像処理して自車周囲に存在する対象地物の位置を認識する地物位置認識装置であって、
前記自車の移動に伴って撮像された複数の画像から前記対象地物の何処の部位が撮像されているかを推定し、該推定された撮像部位が、前記対象地物に対して予め設定された測定点を含む部位であるか否かを判定することを特徴とする地物位置認識装置。
【請求項2】
車載カメラで撮像した画像を処理して自車周囲に存在する対象地物の位置を認識する地物位置認識装置であって、
前記自車の移動に伴って撮像された複数の画像から前記対象地物の何処の部位が撮像されているかを推定する撮像部位推定部と、
該撮像部位推定部によって推定された撮像部位が、前記対象地物に対して予め設定された測定点を含む部位であるか否かを判定する判定部と、
を有することを特徴とする地物位置認識装置。
【請求項3】
前記対象地物の特徴が前記画像に含まれている量を抽出する特徴量抽出部を有し、
前記撮像部位推定部は、前記各画像の特徴量の時間変化から前記撮像部位を推定することを特徴とする請求項2に記載の地物位置認識装置。
【請求項4】
前記撮像部位推定部は、
前記各画像の間で前記画像の状態が遷移する確率である状態遷移確率と、
前記画像から所定の特徴量が抽出された場合に該画像の状態が所定状態となる確率である観測確率と、
を用いて前記撮像部位を推定することを特徴とする請求項3に記載の地物位置認識装置。
【請求項5】
前記状態遷移確率と前記観測確率は、事前に学習してデータベースとして記憶されていることを特徴とする請求項4に記載の地物位置認識装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2010−107435(P2010−107435A)
【公開日】平成22年5月13日(2010.5.13)
【国際特許分類】
【出願番号】特願2008−281510(P2008−281510)
【出願日】平成20年10月31日(2008.10.31)
【出願人】(509186579)日立オートモティブシステムズ株式会社 (2,205)
【Fターム(参考)】