説明

車載周辺状況検出装置

【課題】効率的に標識等の認識を行う「車載周辺状況検出装置」を提供する。
【解決手段】前照灯制御部5は、前照灯1の点灯/消灯の繰り返しを制御する。特徴領域抽出部10は、前照灯1の点灯時に撮影した点灯時画像a、前照灯1の点灯時に撮影した消灯時画像bを差し引いた画像を差分画像cとして生成し、差分画像c中の高輝度領域を特徴領域404として抽出する。画像認識処理部11は、点灯時画像aの特徴領域404の部分のみを対象として画像認識による標識等の認識を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動車において走行路の状況などの周辺状況を検出する技術に関するものである。
【背景技術】
【0002】
自動車において走行路の状況などの周辺状況を検出する技術としては、自動車に前方を撮影するカメラを搭載し、カメラで撮影した画像から、センターラインなどの道路の区画線や、道路標識を認識する技術が知られている(たとえば、特許文献1、特許文献2、特許文献3)。
【0003】
また、画像からの道路の区画線の認識にあたって、水たまり等による光の鏡面反射を区画線と誤認識しないようにする技術として、走行中の異なる時点したがって異なる地点から撮影した複数の画像から、高輝度領域の移動の有無を判定し、高輝度領域が移動している場合には、この高輝度領域は水たまり等による遠方光源の光の鏡面反射によるものと判定して、認識の対象から除外する技術が知られている。また、離間して設けた複数のカメラで撮影した複数の画像における、高輝度領域の位置の差を判定し、高輝度領域の位置の差が大きい場合には、この高輝度領域は水たまり等による、近距離光源の光の鏡面反射によるものと判定して、認識の対象から除外する技術が知られている(たとえば、特許文献3)。
【特許文献1】特開平6-233301号公報
【特許文献2】特開2000-90393号公報
【特許文献3】特開平11-203446号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
自動車に前方を撮影するカメラを搭載し、カメラで撮影した画像から、走行路の状況などの周辺状況を検出する技術によれば、撮影された画像全体を対象として区画線や標識などのパターンの認識処理を行うため、その処理量が比較的大きくなる。
また、前述した鏡面反射による水たまり等による光の鏡面反射による区画線の誤認識を防ぐ技術によれば以下の問題がある。
まず、遠方光源の鏡面反射光を認識の対象から除外する技術によれば、撮影画像中において鏡面反射光位置が充分に移動するに足る比較的長い時間間隔をおいて撮影した複数の画像が認識に必要となるため、高速な認識処理を行うことができない。また、近距離にある光源の鏡面反射光を認識の対象から除外する技術によれば、複数のカメラが必要となる。また、これらの技術では、鏡面反射光を認識の対象から除外することはできるが、発光体を認識対象から除外することができないために、長く棒状に連続した店舗の装飾照明などを区画線と誤認識してしまうことを排除することには役立たない。
【0005】
そこで、本発明は、自動車において走行路の状況などの周辺状況を認識する処理を、より効率的に行うことを課題とする。
また、自動車において走行路の状況などの周辺状況を認識する処理を、誤認識を排して、より精度良く行うことを課題とする。
【課題を解決するための手段】
【0006】
前記課題達成のために、本発明は、自動車に搭載され、自動車の周辺の状況を検出する車載周辺状況検出装置を、自動車前方を撮影するカメラと、自動車前方を照明する照明装置と、前記照明装置に点灯と消灯を繰り返させる照明制御手段と、前記カメラが前記照明装置の点灯時に撮影した画像である点灯時画像と、前記カメラが前記照明装置の消灯時に撮影した画像である消灯時画像との差分を表す差分画像を生成する差分画像生成手段と、前記差分画像生成手段が生成した差分画像に基づいた画像認識処理を実行して、自動車の周辺の状況を検出する画像認識処理手段とを備えて構成したものである。
【0007】
すなわち、本車載周辺状況検出装置によれば、前記カメラが前記照明装置の点灯時に撮影した画像である点灯時画像と前記カメラが前記照明装置の消灯時に撮影した画像である消灯時画像との差分を表す差分画像に基づいて画像認識処理を実行することができる。
ここで、このような差分画像では、カメラ方向に対して高い反射率を持つ高反射体のみが高輝度で表されたものとなる。したがって、差分画像によれば、高反射体を、低反射体や発光体や鏡面反射光から容易に分離することができ、画像認識処理の効率化や高精度化を計ることができるようになる。なお、水たまりなどの鏡面は通常水平であり、照明装置の照明に対する鏡面反射の方向はカメラ方向とはならない。
より具体的には、たとえば、このような車載周辺状況検出装置は、前記画像認識処理手段において、前記差分画像の高輝度領域を着目領域として設定し、前記点灯時画像の着目領域に対応する画像部分を対象として画像認識処理を実行するようにしてもよい。
このようにすることにより、高反射体である所定の種類の対象物の検出を行う場合に、対象物の誤検出の抑制しつつ、画像認識の対象とする領域の大きさを削減して処理の高速化を計ることができる。
また、以上の車載周辺状況検出装置において、前記画像認識処理手段は、前記差分画像を対象として画像認識処理を実行するようにしてもよい。
このようにしても、高反射体である所定の種類の対象物の検出を行う場合に、対象物の誤検出の抑制することができる。
ここで、このような高反射体である所定の種類の対象物としては、自動車前方の区画線や道路標識などがある。
また、以上の各車載周辺状況検出装置は、前記照明装置として、自動車に装備された灯火装置を用いるものであってよい。そして、この場合、前記照明制御手段は、ドライバによって前記灯火装置の点灯が指定されている場合には、前記灯火装置に、比較的長時間の点灯と、比較的短時間の瞬間的な消灯を繰り返させるようにするのがよい。このようにすることにより、自動車の灯火装置を照明装置として用いつつ、ドライバによって前記灯火装置の点灯が指定されているときに、灯火装置を人間にとって実質的に灯火装置が点灯していると認知される状態として、ドライバの灯火装置の照明による前方視界の確保に支障が生じないようにすることができる。また、前記照明制御手段は、ドライバによって前記灯火装置の消灯が指定されているときには、前記灯火装置に、比較的長時間の消灯と比較的短時間の瞬間的な点灯を繰り返させるようにするのがよい。このようにすることにより、ドライバによって前記灯火装置の消灯が指定されているときに、灯火装置を、人間にとって実質的に灯火装置が消灯していると認知される状態とし、照明装置による照明によって、ドライバや歩行者などの視界に影響を与えないようにすることができる。
【0008】
また、以上の車載周辺状況検出装置では、前記照明装置を、赤外光による照明を行う照明装置とすることも好ましい。このように人間に認知されない赤外光を用いることにより、照明装置による照明によって、ドライバや歩行者などの視界に影響を与えないようにすることができる。
【0009】
また、以上の車載周辺状況検出装置では、前記照明装置は、光源としてLED(発光ダイオード)を用いることも好ましい。特に、照明装置として自動車の灯火装置を用いる場合には、このように灯火装置を、光源としてLEDを用いたものとすることにより、極めて短時間の瞬間的な点灯や消灯を行うことが可能となり、照明装置の点灯/消灯の繰り返しによる人間の視界に対する影響を充分に小さくすることができるようになる。
【発明の効果】
【0010】
以上のように、本発明によれば、自動車において走行路の状況などの周辺状況を認識する処理を、より効率的に行うことができる。また、自動車において走行路の状況などの周辺状況を認識する処理を、誤認識を排して、より精度良く行うことができる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の実施形態について説明する。
図1に、本実施形態に係る周辺状況検出システムの構成を示す。
図示するように周辺状況検出システムは、車両前部に左右に離間して配置された車両前方を照明する二つの前照灯1、前照灯1を駆動する前照灯ドライバ2、前照灯1の駆動パターンを規定する駆動信号を発生する発振器3、ドライバの前照灯1の点灯/消灯操作を受け付ける前照灯操作スイッチ4、前照灯操作スイッチ4の状態に応じて発振器3で発生する駆動信号の切替の制御を行う前照灯制御部5とを含み、これらは、自動車の前照灯システムを兼ねる。また、周辺状況検出システムは、車両前部に搭載され車両前方を撮影するカメラ6、点灯時画像フレームメモリ7、消灯時画像フレームメモリ8、カメラ6が撮影した画像を取込み点灯時画像フレームメモリ7と消灯時画像フレームメモリ8のいずれかに格納する画像取込部9、特徴領域抽出部10、画像認識処理部11とを有する。
【0012】
ここで、前照灯1は、光源として、円形の領域内に配列した複数のLED111(発光ダイオード111)を用いた前照灯1であり、LED111が発した光を前方に集光する集光鏡112やレンズなどの光学系を備えている。ここで、このように光源としてLED111を用いると、ハロゲンランプやキセノンランプなどを用いた前照灯1に比べ、極めて高速に、その点灯/消灯を制御できるようになる。
【0013】
以下、このような周辺状況検出システムの動作について説明する。
まず、前照灯制御部5の動作を説明する。
図2aに、前照灯制御部5が行う前照灯制御処理の手順を示す。
図示するように、この処理において前照灯制御部5は、まず、前照灯操作スイッチ4の状態を取得する(ステップ202)。そして、前照灯操作スイッチ4の状態が、前回取得した前照灯操作スイッチ4の状態から変化しているかどうかを調べ(ステップ204)、変化していなければステップ202に戻る。ただし、前照灯操作スイッチ4の状態の初回の取得時には、取得した状態は、前回取得した前照灯操作スイッチ4の状態から変化したものとして取り扱う。
【0014】
そして、取得した前照灯操作スイッチ4の状態が変化していれば、前照灯操作スイッチ4の状態が前照灯1の点灯を指示する位置にあるか消灯を指示する位置あるかを調べ(ステップ206、210)、点灯を指示する位置にあれば(ステップ206)、発振器3が発生する前照灯1の駆動信号のパターンを点灯時駆動パターンに切替え(ステップ208)、消灯を指示する位置にあれば発振器3が発生する前照灯1の駆動信号のパターンを消灯時駆動パターンに切替える(ステップ212)。
【0015】
そして、ステップ202からの処理に戻る。
ここで、発振器3が発生する前照灯1の駆動信号のパターンについて説明する。
図3aは駆動信号の点灯時駆動パターンを示し、図3bは駆動信号の消灯時駆動信号パターンを示している。
図3aに示すように点灯時駆動パターンは、点灯した前照灯1を、周期的(たとえば、0.5秒毎)に、人間に認知されない程度に短い時間(たとえば、千分の1秒)だけ、瞬間的に消灯させるパターンとなっている。なお、先の前照灯制御処理で示したように、この点灯時駆動パターンは、ユーザが前照灯操作スイッチ4によって、前照灯1の点灯を指示しているときに用いる。
【0016】
また、図3bに示すように、消灯時駆動パターンは点灯時駆動パターンとは逆に、消灯した前照灯1を、周期的(たとえば、0.5秒毎)に、人間に認知されない程度に短い時間(たとえば、千分の1秒)瞬間的に点灯させるパターンとなっている。
そして、先の前照灯制御処理で示したように、この点灯時駆動パターンは、ユーザが前照灯操作スイッチ4によって、前照灯1の点灯を指示しているときに用いる。
次に、周辺状況検出システムの画像取込部9の動作について説明する。
画像取込部9は、発振器3が発生する駆動信号に位相同期した同期信号を生成してカメラ6に出力することにより、カメラ6に前照灯1の点灯/消灯に同期した撮影を行わせる。
また、発振器3が発生する駆動信号に基づいて、カメラ6が撮影した画像が、前照灯1の点灯時に撮影したものか前照灯1の消灯時に撮影したものかを弁別し、前照灯1の点灯時に撮影した画像については、これを点灯時画像フレームメモリ7に格納し、前照灯1の消灯時に撮影した画像については、これを消灯時画像フレームメモリ8に格納する。
【0017】
次に、周辺状況検出システムの特徴領域抽出部10の動作について図4を用いて説明する。
特徴領域抽出部10は、点灯時画像フレームメモリ7に最後に格納された画像を点灯時画像a、消灯時画像フレームメモリ8に最後に格納された画像を消灯時画像bとして読込み、点灯時画像から消灯時画像を差し引いた画像を差分画像cとして生成する。
そして、図4dに示すように差分画像c中の高輝度領域を特徴領域404として抽出し、画像認識処理部11に通知する。
次に、周辺状況検出システムの画像認識処理部11の行う画像認識処理について説明する。
図2bに、この画像認識処理の手順を示す。
図示するように、この処理において画像認識処理部11は、まず、差分画像を取得する(ステップ252)。そして、この差分画像を対象として、所定の画像認識アルゴリズムを用いた画像認識によって、中央線などの区画線を認識する区画線認識処理を行う(ステップ254)。
次に、特徴領域抽出部10が抽出した特徴領域と点灯時画像を取得し(ステップ256、258)、点灯時画像の特徴領域に対応する部分を対象として、所定の画像認識アルゴリズムを用いた画像認識によって、道路標識を認識する標識認識処理を行う(ステップ260)。
そして、ステップ252からの処理に戻る。
以上、周辺状況検出システムの動作について説明した。
ここで、図4に示すように、カメラ6が撮影した点灯時画像aと消灯時画像b中に、白線などの区画線401や標識402と共に、遠方光源または近距離にある光源からの光の水たまりなどによる鏡面反射光403や、店舗装飾照明などの発光体が、写り込んでいる場合を考える。
【0018】
カメラ6方向に対して高い反射率を持つ高反射体である区画線401や標識402の画像中の輝度は、前照灯1による照明が行われている点灯時画像aと、前照灯1による照明が行われている消灯時画像bでは異なったものとなり、前照灯1による照明が行われている点灯時画像aにおける区画線401や標識402の方が前照灯1の照明の反射光によって高輝度となる。
【0019】
一方、遠方光源または近距離にある光源からの光の水たまりなどによる鏡面反射光403や、店舗装飾照明などの発光体の画像中の輝度は、前照灯1による照明が行われている点灯時画像と、前照灯1による照明が行われている消灯時画像で、大きく変化することはない。なお、水たまりなどの鏡面は通常水平であり、照明装置の照明に対する鏡面反射の方向はカメラ6方向とはならない。
【0020】
したがって、点灯時画像aから消灯時画像bを差し引いた差分画像cでは、点灯時画像aと消灯時画像bとの輝度の差の大きい区画線401や標識402のみが高輝度で表され、点灯時画像aと消灯時画像bとの輝度の差の小さい光源からの光の水たまりなどによる鏡面反射光403や、店舗装飾照明などの発光体は、キャンセルされて低義度で表されるようになる。
【0021】
したがって、この差分画像cを対象に区画線認識処理を行うことにより、遠方光源または近距離にある光源からの光の鏡面反射光403や、店舗装飾照明などの発光体による区画線の誤認識を排除して、精度良く区画線の認識を行うことができる。
また、道路標識は、この差分画像cの高輝度領域として表れることになるので、差分画像cの高輝度領域を図4dに示すように特徴領域404として抽出し、点灯時画像aの、この特徴領域404部分のみを対象として標識認識処理を行うことにより、標識認識処理の処理量を低減し、精度よく、効率的かつ高速な標識認識を実現することができる。
【0022】
ところで、以上の実施形態は、区画線の認識と道路標識の認識とを、異なる点灯時画像と消灯時画像のセットを対象として行うようにしてもよい。また、この場合に、道路標識の認識は次のように行うようにしてもよい。すなわち、前照灯操作スイッチ4が点灯指示位置にある場合には、撮影方向や照明方向を瞬間的に斜め上方に切り替えて点灯時画像を撮影し、撮影方向を瞬間的に斜め上方に切り替えると共に瞬間的に消灯して消灯時画像を撮影し、撮影した両画像を用いて上述した画像認識処理における標識認識を行う。また、前照灯操作スイッチ4が消灯指示位置にある場合には、撮影方向や照明方向を瞬間的に斜め上方に切り替えると共に前照灯1を瞬間的に点灯して点灯時画像を撮影し、撮影方向を瞬間的に斜め上方に切り替え消灯時画像を撮影し、撮影した両画像を用いて上述した画像認識処理における標識認識を行う。
【0023】
また、以上の実施形態では、点灯時画像と消灯時画像の差分を表す差分画像を対象として区画線認識処理を行ったが、特徴領域の形状を基に区画線認識処理を行うようにしてもよいし、点灯時画像の特徴領域に対応する部分のみを対象として区画線認識処理を行うようにしてもよい。また、以上の実施形態では点灯時画像の特徴領域のみを対象として標識認識処理を行ったが、これは、差分画像を対象として、標識認識処理を行うようにしてもよい。
【0024】
また、以上の実施形態では、点灯時画像を撮影する際の照明として、車両の前照灯1を用いたが、この前照灯1に代えて、車両の他の灯火装置、たとえば、霧灯や車幅灯などを用いるようにしても良い。
または、点灯時画像を撮影する際の照明としては、前照灯1に代えて、点灯時画像の撮影用に車両に車両の灯火装置とは別途設けた照明装置を用いるようにしても良い。そして、この場合には、この照明装置としては、赤外光による照明を行う照明装置を用いるようにすることが好ましい。なお、赤外光による照明を行う場合、カメラ6は感応領域が赤外領域に及ぶものを用いる。また、赤外光による照明を行う場合、照明が人間に認知されないので、点灯/消灯の切替はさほど高速に行う必要がない。すなわち、たとえば、0.3秒毎に点灯と消灯を交互に繰り返すものなどとしてよい。
【図面の簡単な説明】
【0025】
【図1】本発明の実施形態に係る周辺状況検出システムの構成を示すブロック図である。
【図2】本発明の実施形態に係る前照灯制御処理と画像認識処理を示すフローチャートである。
【図3】本発明の実施形態に係る前照灯の駆動信号波形を示す図である。
【図4】本発明の実施形態に特徴領域抽出部の処理例を示す図である。
【符号の説明】
【0026】
1…前照灯、2…前照灯ドライバ、3…発振器、4…前照灯操作スイッチ、5…前照灯制御部、6…カメラ、7…点灯時画像フレームメモリ、8…消灯時画像フレームメモリ、9…画像取込部、10…特徴領域抽出部、11…画像認識処理部、111…LED、112…集光鏡。

【特許請求の範囲】
【請求項1】
自動車に搭載され、自動車の周辺の状況を検出する車載周辺状況検出装置であって、
自動車前方を撮影するカメラと、
自動車前方を照明する照明装置と、
前記照明装置に点灯と消灯を繰り返させる照明制御手段と、
前記カメラが前記照明装置の点灯時に撮影した画像である点灯時画像と、前記カメラが前記照明装置の消灯時に撮影した画像である消灯時画像との差分を表す差分画像を生成する差分画像生成手段と、
前記差分画像生成手段が生成した差分画像に基づいた画像認識処理を実行して、自動車の周辺の状況を検出する画像認識処理手段とを有することを特徴とする車載周辺状況検出装置。
【請求項2】
請求項1記載の車載周辺状況検出装置であって、
前記画像認識処理手段は、前記差分画像の高輝度領域を着目領域として設定し、前記点灯時画像の着目領域に対応する画像部分を対象として画像認識処理を実行することを特徴とする車載周辺状況検出装置。
【請求項3】
請求項1記載の車載周辺状況検出装置であって、
前記画像認識処理手段は、前記差分画像を対象として画像認識処理を実行することを特徴とする車載周辺状況検出装置。
【請求項4】
請求項2または3記載の車載周辺状況検出装置であって、
前記画像認識処理手段は、前記画像認識処理によって、自動車前方の区画線または道路標識を検出することを特徴とする車載周辺状況検出装置。
【請求項5】
請求項1、2、3または4記載の車載周辺状況検出装置であって、
前記照明装置は、自動車に装備された灯火装置であることを特徴とする車載周辺状況検出装置。
【請求項6】
請求項5記載の車載周辺状況検出装置であって、
前記照明制御手段は、ドライバによって前記灯火装置の点灯が指定されている場合に、前記灯火装置に、比較的長時間の点灯と、比較的短時間の瞬間的な消灯を繰り返させることを特徴とする車載周辺状況検出装置。
【請求項7】
請求項5記載の車載周辺状況検出装置であって、
前記照明制御手段は、ドライバによって前記灯火装置の消灯が指定されている場合に、前記灯火装置に、比較的長時間の消灯と比較的短時間の瞬間的な点灯を繰り返させることを特徴とする車載周辺状況検出装置。
【請求項8】
請求項1、2、3または4記載の車載周辺状況検出装置であって、
前記照明装置は、赤外光による照明を行う照明装置であることを特徴とする車載周辺状況検出装置。
【請求項9】
請求項1、2、3、4、5、6、7または8記載の車載周辺状況検出装置であって、
前記照明装置は、光源としてLED(発光ダイオード)を用いていることを特徴とする車載周辺状況検出装置。
【請求項10】
自動車の周辺の状況を検出する車載周辺状況検出方法であって、
自動車前方を照明する照明装置に点灯と消灯を繰り返させながら、カメラで自動車前方を撮影するステップと、
前記カメラが前記照明装置の点灯時に撮影した画像である点灯時画像と、前記カメラが前記照明装置の消灯時に撮影した画像である消灯時画像との差分を表す差分画像を生成するステップと、
生成した差分画像に基づいた画像認識処理を実行して、自動車の周辺の状況を検出するステップとを有することを特徴とする車載周辺状況検出方法。

【図2】
image rotate

【図3】
image rotate

【図1】
image rotate

【図4】
image rotate


【公開番号】特開2006−11671(P2006−11671A)
【公開日】平成18年1月12日(2006.1.12)
【国際特許分類】
【出願番号】特願2004−185737(P2004−185737)
【出願日】平成16年6月24日(2004.6.24)
【出願人】(000101732)アルパイン株式会社 (2,424)
【Fターム(参考)】