障害物検出装置
【課題】車載カメラによる撮影画像の横断歩道部分の画像パターンの位置方向が、障害物が存在しない横断歩道部分の画像パターンである基準パターンの位置方向と合わないときにも横断歩道上の障害物を早期に検出できる技術を提供する。
【解決手段】単眼カメラ3の撮影画像の横断歩道部分の画像パターンの位置方向が、記憶手段4に記憶された歩行者が存在しない横断歩道部分の基準パターンの位置方向と合わないときには、単眼カメラ3の撮影画像の横断歩道部分の画像パターンの位置方向が基準パターンに合うように、変換処理が変換手段5aにより撮影画像のパワースペクトルに対して施される。したがって、変換処理されたパワースペクトルの基準パターンを含む横断歩道部分の画像パターンと基準パターンとの差から、単眼カメラ3により撮影された横断歩道上の歩行者11を検出手段5bにより早期に検出することができる。
【解決手段】単眼カメラ3の撮影画像の横断歩道部分の画像パターンの位置方向が、記憶手段4に記憶された歩行者が存在しない横断歩道部分の基準パターンの位置方向と合わないときには、単眼カメラ3の撮影画像の横断歩道部分の画像パターンの位置方向が基準パターンに合うように、変換処理が変換手段5aにより撮影画像のパワースペクトルに対して施される。したがって、変換処理されたパワースペクトルの基準パターンを含む横断歩道部分の画像パターンと基準パターンとの差から、単眼カメラ3により撮影された横断歩道上の歩行者11を検出手段5bにより早期に検出することができる。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、車両に搭載された車載カメラの撮影画像の画像パターンから、車両の走行路の横断歩道上の障害物を検出する技術に関する。
【背景技術】
【0002】
従来、横断歩道周辺に固定して設置されたカメラによる撮影画像の画像パターンと、歩行者が存在しないときの撮影画像の横断歩道部分の画像パターンとから、横断歩道上の歩行者を検出する技術が提案されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平10−247297号公報(段落[0005]〜[0009]、図1、要約書など)
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の技術では、カメラが設置された場所の横断歩道上の障害物(歩行者)しか検出することができない。そこで、車載カメラを車両に搭載し、これにより横断歩道上の障害物を検出することも考えられる。このようにすれば、横断歩道周辺にカメラが設置されていなくとも、車両の走行路の横断歩道上の障害物を検出することができる。しかしながら、例えば車両の右左折の際に、車載カメラにより斜め方向から横断歩道が撮影されることにより、車載カメラによる撮影画像の横断歩道部分の画像パターンの位置方向が、障害物が存在しない横断歩道部分の画像パターンである基準パターンの位置方向と一致しないときは、両パターンの比較ができないため横断歩道上の障害物の検出ができないという問題がある。したがって、車載カメラの撮影画像の画像パターンと基準パターンとの位置方向が、車両が進行することにより一致するまでは両パターンの比較ができず、横断歩道上の障害物の検出が遅れてしまう。
【0005】
本発明は、車載カメラによる撮影画像の横断歩道部分の画像パターンの位置方向が、障害物が存在しない横断歩道部分の画像パターンである基準パターンの位置方向と合わないときにも横断歩道上の障害物を早期に検出できる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記した目的を達成するために、本発明の障害物検出装置は、車両に搭載された車載カメラの撮影画像の画像パターンから、前記車両の走行路の横断歩道上の障害物を検出する障害物検出装置において、障害物が存在しない横断歩道部分の画像パターンを基準パターンとして記憶する記憶手段と、前記撮影画像の横断歩道部分の画像パターンを前記基準パターンに合わせるように、前記撮影画像の位置方向を変換処理する変換手段と、前記変換処理後の前記撮影画像の前記基準パターンを含む横断歩道部分の画像パターンと前記基準パターンとの差から、前記車載カメラにより撮影された横断歩道上の障害物を検出する検出手段とを備えたことを特徴としている(請求項1)。
【0007】
また、本発明の障害物検出装置は、前記記憶手段に記憶された基準パターンは、横断歩道部分の上方視の画像パターンであり、前記変換手段は、前記車載カメラの撮影画像を上方視の画像に射影変換して前記変換処理を行うことを特徴としている(請求項2)。
【発明の効果】
【0008】
請求項1に記載の発明によれば、例えば車両の右左折の際に、車載カメラの撮影画像の横断歩道部分の画像パターンの位置方向が、障害物が存在しない横断歩道部分の画像パターンであって記憶手段に記憶された基準パターンの位置方向と合わないときには、車載カメラの撮影画像の横断歩道部分の画像パターンの位置方向が基準パターンに合うように、回転移動や平行移動などの変換処理が変換手段により撮影画像に対して施される。したがって、変換処理された撮影画像の基準パターンを含む横断歩道部分の画像パターンと基準パターンとの差から、車載カメラにより撮影された横断歩道上の障害物を検出手段により早期に検出することができる。また、車両に車載カメラが搭載されているため、カメラが設置されていない横断歩道であっても、車両の走行路の横断歩道上の障害物を検出することができる。
【0009】
請求項2に記載の発明によれば、記憶手段に記憶された基準パターンは、横断歩道部分の上方視の画像パターンであり、変換手段は、車載カメラの撮影画像を上方視の画像に射影変換することにより、撮影画像の画像パターンを基準パターンに合わせる画像操作を行うときのパラメータなどを容易に導出することができるため、撮影画像の変換処理を容易に、しかも正確に行うことができる。
【図面の簡単な説明】
【0010】
【図1】本発明の障害物検出装置の第1実施形態のブロック図である。
【図2】図1の単眼カメラおよび変換手段の構成の一例を示す図である。
【図3】横断歩道上に歩行者が存在しない場合の撮影画像の一例である。
【図4】図3の撮影画像を上方視の画像に射影変換した図である。
【図5】図4の上方視の画像のパワースペクトルを示す図である。
【図6】横断歩道上に歩行者が存在する場合の撮影画像の一例である。
【図7】図6の撮影画像を上方視の画像に射影変換した図である。
【図8】図7の上方視の画像のパワースペクトルを示す図である。
【図9】図1の動作説明用のフローチャートである。
【図10】横断歩道上に歩行者が存在しない場合の濃淡ヒストグラムを示す図である。
【図11】横断歩道上に歩行者が存在する場合の濃淡ヒストグラムを示す図である。
【図12】本発明の障害物検出装置の第2実施形態の動作説明用のフローチャートである。
【図13】本発明の障害物検出装置の第3実施形態の動作説明用のフローチャートである。
【図14】本発明の障害物検出装置の第4実施形態の動作説明用のフローチャートである。
【図15】本発明の障害物検出装置の第5実施形態の動作説明用のフローチャートである。
【図16】本発明の障害物検出装置の第6実施形態の動作説明用のフローチャートである。
【発明を実施するための形態】
【0011】
<第1実施形態>
本発明の第1実施形態について、図1〜図9を参照して説明する。
【0012】
図1は本発明の障害物検出装置2の第1実施形態のブロック図である。図2は図1の単眼カメラ3および変換手段5aの構成の一例を示す図である。図3は横断歩道10上に歩行者11が存在しない場合の撮影画像IMGの一例である。図4は図3の撮影画像IMGを上方視の画像tIMGに射影変換した図である。図5は図4の上方視の画像tIMGのパワースペクトルpIMGを示す図である。
【0013】
図6は横断歩道10上に歩行者11が存在する場合の撮影画像IMGの一例である。図7は図6の撮影画像IMGを上方視の画像tIMGに射影変換した図である。図8は図7の上方視の画像tIMGのパワースペクトルpIMGを示す図である。図9は図1の動作説明用のフローチャートである。
【0014】
1.構成
図1に示す障害物検出装置2は、車両1に搭載された単眼カメラ(本発明の「車載カメラ」に相当)3の撮影画像IMGの画像パターンから、車両1の走行路の横断歩道10上の障害物(歩行者11)を検出するものであって、単眼カメラ3と、障害物が存在しない横断歩道部分の画像パターンを基準パターンとして記憶する記憶手段4と、単眼カメラ3の撮影画像IMGを処理するマイクロコンピュータ構成のECU5と、例えばインストルメントパネルなどに取付けられたCRT、液晶ディスプレイなどの走行モニタ6と、警報用のスピーカ7とを備えている。
【0015】
単眼カメラ3は、本実施形態では車両1前方の路面撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、撮影した画像IMGの信号を出力する(図3および6参照)。また、図2に示すように、車両1前方の路面撮影を行なうため、単眼カメラ3は、車両1の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。
【0016】
記憶手段4は、障害物(歩行者11)が存在しない横断歩道10部分の画像パターンを基準パターンとして記憶する。本実施形態では、例えば図3に示すような、歩行者が存在しない横断歩道10を正面から撮影した画像IMGの横断歩道10部分を、図4に示すように上方視の画像tIMGに射影変換し、これをFFTなどの手法によりフーリエ変換して導出された2次元のパワースペクトルpIMGの幾何学的な特徴や、周波数成分などの特徴を予め基準パターンとして記憶する(図5参照)。
【0017】
なお、横断歩道10は同一形状で規則的に路面上に形成されるため、横断歩道10の撮影画像IMGを上方視の画像tIMGに射影変換し、この上方視の画像tIMGから導出されたパワースペクトルpIMGは、図5に示すように、所定の周波数に規則的にピークを備えることにより特徴的な幾何学的形状を有するものとなる。
【0018】
ECU5は、例えばイグニッションキーのオンにより、予め設定された障害物検出のプログラムを実行することにより以下の各手段を備えている。
【0019】
(1)変換手段5a
変換手段5aは、車両1の走行中に単眼カメラ3により取得された図3および図6に示すような撮影画像IMGを、図4および図7に示すような上方視の画像tIMGに射影変換する(図2参照)。そして、射影変換後の上方視の画像tIMGをフーリエ変換(FFT)することにより、図5および図8に示すような2次元のパワースペクトル(本発明の「画像パターン」に相当)pIMGを導出する。
【0020】
図5に示すように、横断歩道10上に歩行者(障害物)11が存在しなければ、単眼カメラ3による撮影画像IMGを上方視の画像tIMGに射影変換し、この上方視の画像tIMGから導出された2次元のパワースペクトルpIMGは、障害物が存在しない横断歩道10部分の基準パターンとして記憶手段4に記憶されている2次元のパワースペクトルと同様に所定の周波数に規則的にピークを備え、これにより同様の幾何学的形状を備えるものとなる。一方、図8に示すように、横断歩道10上に歩行者11(障害物)が存在すれば、単眼カメラ3による撮影画像IMGを上方視の画像tIMGに射影変換し、この上方視の画像tIMGから導出された2次元のパワースペクトルpIMGは、図5に示すパワースペクトルpIMGとは異なる周波数成分も多数含み、これにより幾何学的形状が異なるものとなる。
【0021】
次に、変換手段5aは、撮影画像IMGを射影変換した上方視の画像tIMGの横断歩道10部分のパワースペクトルpIMGに平行移動や回転移動などの変換処理を施すことにより、記憶手段4に記憶された基準パターン(本実施形態では、歩行者が存在しない横断歩道10部分を上方視の画像に射影変換した画像のパワースペクトルの各種の特徴)に合わせるように、パワースペクトルpIMGの位置方向を変換する。
【0022】
すなわち、例えば横断歩道10が単眼カメラ3により斜め方向から方向から撮影された場合、その撮影画像IMGが射影変換された上方視の画像tIMGは、図3に示すように、横断歩道10が正面から撮影された撮影画像IMGが射影変換された上方視の画像tIMGと比較すれば、横断歩道10の位置や角度がずれたものとなる。したがって、位置や角度がずれた上方視の画像tIMGから導出された2次元のパワースペクトルpIMGは、図5に示す、横断歩道10の正面からの撮影画像IMGから導出された2次元のパワースペクトルpIMGと位置や角度がずれたものとなる。そこで、本実施形態では、位置がずれたパワースペクトルpIMGに平行移動や回転移動などの処理を施すことにより位置方向を変換して、基準パターンとしてのパワースペクトルpIMGの位置方向と合わす変換処理が変換手段5aにより施される。
【0023】
(2)検出手段5b
検出手段5bは、変換手段5aにより変換処理された後の、基準パターンを含む横断歩道部分のパワースペクトルpIMG(画像パターン)と、記憶手段4に記憶された基準パターンとの差から、単眼カメラ3により撮影された横断歩道10上の障害物(歩行者11)を検出する。
【0024】
例えば、変換手段5aにより変換処理されたパワースペクトルpIMGが、図5に示すようなものであれば、その幾何学的特徴と、各周波数成分とから、検出手段5bは、図5のパワースペクトルpIMGの元の撮影画像IMG(図3)が基準パターン、すなわち横断歩道10は含むが、横断歩道10上に障害物が存在しないことを検出する。すなわち、変換処理されたパワースペクトルpIMGと基準パターンとの幾何学的形状がほぼ同一であり、変換処理されたパワースペクトルpIMGが基準パターンとほぼ同様の周波数成分を有することから、検出手段5aは、横断歩道10上に障害物が存在しないことを検出する。
【0025】
一方、変換手段5aにより変換処理されたパワースペクトルpIMGが、図8に示すようなものであれば、その幾何学的特徴と、各周波数成分とから、検出手段5bは、図8のパワースペクトルpIMGの元の撮影画像IMG(図6)が基準パターン、すなわち横断歩道10を含むと共に、横断歩道10上に歩行者11(障害物)が存在することを検出する。すなわち、変換処理されたパワースペクトルpIMGと基準パターンとの幾何学的形状が異なり、変換処理されたパワースペクトルpIMGが基準パターンとは異なる周波数成分も所定の閾値以上に有することから、検出手段5bは、横断歩道10上に障害物が存在することを検出する。
【0026】
(3)報知手段5c
報知手段5cは、検出手段5bによる、横断歩道10上の歩行者(障害物)11の検出に基づき、例えば走行モニタ6に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、歩行者11の存在を視覚的にドライバに報知する。また、スピーカ7から、検出結果の音声メッセージ、警告音を発生して歩行者11の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
【0027】
2.動作
次に、上記したように構成された障害物検出装置2の動作について図9を参照して説明する。なお、本実施形態では、車両1が、夜間走行を行ったり、トンネル内などを走行することにより、ヘッドライト8を点灯して走行しているときを例に挙げて説明する。一般的に、横断歩道10は路面に白色で形成されている。したがって、ヘッドライト8が点灯されることにより、ヘッドライト8からの投光が横断歩道10の白色の部分で反射されるため、昼間に比べ、より鮮明に単眼カメラ3による横断歩道10の撮影画像IMGを得ることができる。また、ヘッドライト8からの投光が及ばない背景部分は単眼カメラ3により撮影されない蓋然性が高く、障害物検出の対象となる横断歩道10の周辺部分のみがヘッドライト8により照射されて単眼カメラ3により撮影されるため、効率よく画像処理などを行うことができるとともに、背景部分の画像ノイズを原因とする障害物の誤検出を防止できる。
【0028】
まず、車両1のイグニッションキーのオンにより単眼カメラ3による撮影が開始されると、図3および図6に示すような、単眼カメラ3による車両1前方の撮影画像IMGの信号がECU5に取込まれる。そして、取込まれた撮影画像IMGが、図4および図7に示すような上方視の画像tIMGに変換手段5aにより射影変換される(ステップS1)。
【0029】
次に、射影変換された上方視の画像tIMGがFFTによりフーリエ変換されることにより、図5および図8に示すような2次元のパワースペクトルpIMGが変換手段5aにより導出される(ステップS2)。そして、記憶手段4に基準パターンとしてその特徴が記憶された横断歩道10部分のパワースペクトルpIMGの位置方向と合うように、導出されたパワースペクトルpIMGの位置方向が、回転移動または平行移動などされることにより変換手段5aにより変換される(ステップS3)。
【0030】
続いて、変換手段5aにより変換処理されたパワースペクトルpIMGと、記憶手段4に記憶された基準パターンとの幾何学的形状や、各周波数成分などが比較されることにより、単眼カメラ3の撮影画像IMGに横断歩道10が含まれ、その横断歩道10上に障害物が存在するか、存在しないかが検出手段5bにより検出される(ステップS4)。
【0031】
そして、検出手段5bにより横断歩道10上に障害物(歩行者11)が検出されれば、走行モニタ6による警告表示が行われたり、スピーカ7から音声メッセージや警報音が出力されたりすることにより、横断歩道10に障害物が存在することがドライバに報知手段5cにより報知される(ステップS5)。これにより、横断歩道10上の障害物の存在が、ドライバに分かりやすく報知されて、特に夜間や、トンネル内など、ヘッドライト8が点灯されているときの運転支援を実現することができる。
【0032】
以上のように、この実施形態によれば、例えば車両1の右左折の際に、単眼カメラ3の撮影画像IMGの横断歩道10部分の画像パターンの位置方向が、記憶手段4に記憶された障害物(歩行者11)が存在しない横断歩道10部分の基準パターンの位置方向と合わないときには、単眼カメラ3の撮影画像IMGの横断歩道10部分の画像パターンの位置方向が基準パターンに合うように、回転移動や平行移動などの変換処理が変換手段5aにより撮影画像IMGのパワースペクトルpIMGに対して施される。したがって、変換処理されたパワースペクトルpIMGの基準パターンを含む横断歩道10部分の画像パターンと基準パターンとの差から、単眼カメラ3により撮影された横断歩道10上の歩行者11を検出手段5bにより早期に検出することができる。また、車両1に単眼カメラ3が搭載されているため、カメラが設置されていない横断歩道10であっても、車両1の走行路の横断歩道10上の障害物を検出することができる。
【0033】
また、記憶手段4に記憶された基準パターンは、横断歩道10部分の上方視画像tIMgのパワースペクトルpIMGの画像パターンであり、変換手段5aは、単眼カメラ3の撮影画像IMGを上方視の画像tIMGに射影変換することにより、撮影画像IMGの画像パターンの位置方向を基準パターンに合わせる画像操作を行うときのパラメータなどを容易に導出することができるため、撮影画像IMGの各種の変換処理を容易に、しかも正確に行うことができる。
【0034】
また、撮影画像IMGを射影変換した上方視の画像tIMGからパワースペクトルpIMGを導出しているため、撮影画像IMGからパワースペクトルpIMGを導出するのに比べ、より明りょうなパワースペクトルを導出することができる。
【0035】
<第2実施形態>
次に、本発明の第2実施形態について、図10〜図12を参照しつつ、図1,3,4,6,7も参照して説明する。
【0036】
図10は横断歩道10上に歩行者11が存在しない場合の濃淡ヒストグラムHを示す図である。図11は横断歩道10上に歩行者11が存在する場合の濃淡ヒストグラムHを示す図である。図12は本発明の障害物検出装置2の第2実施形態の動作説明用のフローチャートである。
【0037】
この実施形態が上記した第1実施形態と異なる点は、図3に示すような、歩行者11が存在しない横断歩道10の正面からの撮影画像IMGの横断歩道10部分が、図4に示すように上方視の画像tIMGに射影変換され、この上方視の画像tIMGの濃淡ヒストグラムHの幾何学的な特徴が予め基準パターンとして記憶手段4により記憶される点である。その他の構成および動作は、上記した第1実施形態と同一であるため、その構成および動作の説明は同一符号を付すことによりその説明を省略し、以下では、上記した第1実施形態と異なる点を中心に説明する。
【0038】
記憶手段4は、障害物(歩行者11)が存在しない横断歩道10部分の画像パターンを基準パターンとして記憶する。本実施形態では、上記したように、歩行者11が存在しない横断歩道10の正面からの撮影画像IMGが射影変換された上方視の画像tIMGの、横断歩道10部分の濃淡ヒストグラムHの幾何学的な特徴が予め基準パターンとして記憶手段4により記憶される。
【0039】
なお、横断歩道10は全て、同一の形状で規則的に路面上に形成されるため、横断歩道10の撮影画像IMGが射影変換された上方視の画像tIMGの濃淡ヒストグラムHは、所定の間隔で濃淡が繰返し表れる特徴的なものとなる。
【0040】
変換手段5aは、単眼カメラ3により取得された図3および図6に示すような撮影画像IMGを、図4および図7に示すような上方視の画像tIMGに射影変換する。
【0041】
次に、変換手段5aは、撮影画像IMGが射影変換された上方視の画像tIMGの横断歩道10部分の画像パターンに平行移動や回転移動などの画像操作を施すことにより、記憶手段4に記憶された基準パターン(本実施形態では、歩行者が存在しない横断歩道部分を上方視の画像に射影変換した画像の濃淡ヒストグラムの各種の特徴)が導出された上方視の画像tIMGに合わせるように、上方視の画像tIMGの位置方向を変換する。そして、変換処理された上方視の画像tIMGから濃淡ヒストグラムHを導出する。
【0042】
図10の一点鎖線で囲まれた部分に示すように、横断歩道10上に歩行者(障害物)11が存在しなければ、単眼カメラ3による撮影画像IMGが射影変換された上方視の画像tIMGの濃淡ヒストグラムHは、基準パターンとして記憶手段4に記憶されている濃淡ヒストグラムHと同様の幾何学的形状を備え、所定の間隔で濃淡が繰返し表れるものとなる。一方、図11の一点鎖線で囲まれた部分に示すように、横断歩道10上に歩行者11(障害物)が存在すれば、単眼カメラ3による撮影画像IMGが射影変換された上方視の画像tIMGの濃淡ヒストグラムHは、図10に示す濃淡ヒストグラムHの幾何学的形状と異なるものとなる。
【0043】
なお、本実施形態では、図3および図6に示すように、車両1のヘッドライト8により横断歩道10の左側部分が中心に投光されている。したがって、図3および図6に示す撮影画像IMGから得られる濃淡ヒストグラムHは、図10および図11に示すように右側部分の輝度が小さいものとなる。
【0044】
また、本実施形態では、変換手段5aは、射影変換後の上方視の画像tIMGから横断歩道10の白線部分を検出し、これを基準パターン(濃淡ヒストグラム)が導出された元の画像の横断歩道10の位置方向と一致させるように、すなわち、横断歩道10が正面の画像となるように、上方視の画像tIMGに対して回転移動や平行移動などの画像操作を施すように構成されている。
【0045】
検出手段5bは、変換手段5aにより上方視の画像tIMGが変換処理された後の、基準パターンを含む横断歩道10部分の濃淡ヒストグラムH(画像パターン)と、記憶手段4に記憶された基準パターンとの差から、単眼カメラ3により撮影された横断歩道10上の障害物(歩行者11)を検出する。
【0046】
例えば、変換手段5aにより上方視の画像tIMGが変換処理されて得られた濃淡ヒストグラムHが、図10に示すようなものであれば、その一点鎖線で囲まれた部分の幾何学的な特徴から、検出手段5bは、図10の濃淡ヒストグラムHの元の画像IMG(図3)が基準パターン、すなわち横断歩道10は含むが、横断歩道10上に障害物が存在しないことを検出する。すなわち、上方視の画像tIMGが変換処理されて得られた濃淡ヒストグラムHと基準パターンとの幾何学的な形状がほぼ同一あることから、検出手段5bは、横断歩道10上に障害物が存在しないことを検出する。
【0047】
一方、変換手段5aにより変換処理されて得られた濃淡ヒストグラムHが、図11に示すようなものであれば、その一点鎖線で囲まれた部分の幾何学的な特徴から、検出手段5bは、図11の濃淡スペクトルHの元の画像IMG(図6)が基準パターン、すなわち横断歩道10を含むと共に、横断歩道10上に歩行者11(障害物)が存在することを検出する。すなわち、上方視の画像tIMGが変換処理されて得られた濃淡ヒストグラムHと基準パターンとの幾何学的な形状が異なることから、検出手段5aは、横断歩道10上に障害物が存在することを検出する。
【0048】
なお、本実施形態では、検出手段5bは、図10および図11の一点鎖線で囲まれた部分に示すように、横断歩道10がヘッドライト8により照射されることにより濃淡ヒストグラムHにおける濃淡が明りょうに導出された部分を、記憶手段4に記憶された基準パターンの同一箇所と比較するように構成されている。
【0049】
次に、上記したように構成された障害物検出装置2の動作について図12を参照して説明する。まず、車両1のイグニッションキーのオンにより単眼カメラ3による撮影が開始されると、図3および図6に示すような、単眼カメラ3による車両1前方の撮影画像IMGの信号がECU5に取込まれる。そして、取込まれた撮影画像IMGが、図4および図7に示すような上方視の画像tIMGに変換手段5aにより射影変換される(ステップS101)。
【0050】
次に、記憶手段4に記憶された基準パターンとしての横断歩道10部分の濃淡ヒストグラムHを導出した際の画像と位置方向が合うように、回転移動または平行移動などされて上方視の画像tIMGの位置方向が変換手段5aにより変換される(ステップS102)。そして、変換処理された上方視の画像tIMGから濃淡ヒストグラムHが変換手段5aにより導出される(ステップS103、図10,11参照)。
【0051】
続いて、変換手段5aにより導出された濃淡ヒストグラムHと、記憶手段4に記憶された基準パターンとの幾何学的形状が比較されることにより、単眼カメラ3の撮影画像IMGに横断歩道10が含まれ、その横断歩道10上に障害物が存在するか、存在しないかが検出手段5bにより検出される(ステップS104)。
【0052】
そして、検出手段5bにより横断歩道10上に障害物(歩行者11)が検出されれば、走行モニタ6により警告表示が行われたり、スピーカ7から音声メッセージや警報音が出力されたりすることにより、横断歩道10に障害物が存在することがドライバに報知手段5cにより報知される(ステップS105)。これにより、横断歩道10上の障害物の存在が、ドライバに分かりやすく報知されて、特に夜間や、トンネル内など、ヘッドライト8が点灯されているときの運転支援を実現することができる。
【0053】
以上のように、この実施形態によれば上記した第1実施形態と同様の効果を奏することができる。
【0054】
<第3実施形態>
次に、本発明の第2実施形態について、図13を参照しつつ、図1,3,4,6,7も参照して説明する。図13は本発明の障害物検出装置2の第3実施形態の動作説明用のフローチャートである。
【0055】
この実施形態が上記した第1実施形態と異なる点は、変換手段5aが、射影変換された上方視の画像tIMGの位置方向を、記憶手段4に記憶された基準パターン(パワースペクトル)が導出された上方視の画像の位置方向と合わせる変換処理を行い、その後にフーリエ変換を行う点である(ステップS202、S203)。その他の構成および動作は、上記した第1実施形態と同一であるため、その構成および動作の説明は同一符号を付すことによりその説明を省略し、以下では、上記した第1実施形態と異なる点を中心に説明する。
【0056】
このように構成された障害物検出装置2の動作について図13を参照して説明する。まず、単眼カメラ3による車両1前方の撮影画像IMGの信号がECU5に取込まれ、変換手段5aにより、取込まれた撮影画像IMGが上方視の画像tIMGに射影変換される(ステップS201)。
【0057】
次に、記憶手段4に記憶された基準パターンとしてのパワースペクトルを導出した際の上方視の画像と位置方向が合うように、上方視の画像tIMGの位置方向が変換手段5aにより変換処理される(ステップS202)。そして、変換処理された上方視の画像tIMGからパワースペクトルpIMGが変換手段5aにより導出される(ステップS203)。
【0058】
続いて、変換手段5aにより導出されたパワースペクトルpIMGと、記憶手段4に記憶された基準パターンとの差から、横断歩道10上に障害物が存在するか、存在しないかが検出手段5bにより検出される(ステップS204)。
【0059】
そして、検出手段5bにより横断歩道10上に障害物(歩行者11)が検出されれば、走行モニタ6による警告表示や、スピーカ7による音声メッセージや警報音の出力が報知手段5cにより行われて、横断歩道10に障害物が存在することがドライバに報知される(ステップS205)。
【0060】
以上のように、この実施形態によれば上記した第1実施形態と同様の効果を奏することができる。
【0061】
<第4実施形態>
次に、本発明の第4実施形態について、図14を参照しつつ、図1,3,4,6,7も参照して説明する。図14は本発明の障害物検出装置2の第4実施形態の動作説明用のフローチャートである。
【0062】
この実施形態が上記した第1実施形態と異なる点は、変換手段5aが、射影変換を行わない点である。また、記憶手段4は、図3に示すような、歩行者11が存在しない横断歩道10を正面から撮影した画像IMGの横断歩道10部分をフーリエ変換して導出されたパワースペクトルを基準パターンとして記憶する。その他の構成および動作は、上記した第1実施形態と同一であるため、その構成および動作の説明は同一符号を付すことによりその説明を省略し、以下では、上記した第1実施形態と異なる点を中心に説明する。
【0063】
このように構成された障害物検出装置2の動作について図14を参照して説明する。まず、単眼カメラ3による車両1前方の撮影画像IMGの信号がECU5に取込まれ、変換手段5aにより、取込まれた撮影画像IMGからパワースペクトルpIMGが導出される(ステップS301)。
【0064】
次に、記憶手段4に記憶された基準パターンとしてのパワースペクトルと位置方向が合うように、導出されたパワースペクトルpIMGの位置方向が変換手段5aにより変換処理される(ステップS302)。
【0065】
続いて、変換手段5aにより変換処理されたパワースペクトルpIMGと、記憶手段4に記憶された基準パターンとの差から、横断歩道10上に障害物が存在するか、存在しないかが検出手段5bにより検出される(ステップS303)。
【0066】
そして、検出手段5bにより横断歩道10上に障害物(歩行者11)が検出されれば、走行モニタ6による警告表示や、スピーカ7による音声メッセージや警報音の出力が報知手段5cにより行われて、横断歩道10に障害物が存在することがドライバに報知される(ステップS304)。
【0067】
以上のように、この実施形態によれば上記した第1実施形態と同様の効果を奏することができる。
【0068】
<第5実施形態>
次に、本発明の第5実施形態について、図15を参照しつつ、図1,3,4,6,7も参照して説明する。図15は本発明の障害物検出装置2の第5実施形態の動作説明用のフローチャートである。
【0069】
この実施形態が上記した第3実施形態と異なる点は、変換手段5aが、撮影画像IMGの位置方向を、記憶手段4に記憶された基準パターン(パワースペクトル)が導出された画像の位置方向と合わせる処理を行い、その後にフーリエ変換を行う点である(ステップS401、S402)。その他の構成および動作は、上記した第1実施形態と同一であるため、その構成および動作の説明は同一符号を付すことによりその説明を省略し、以下では、上記した第1実施形態と異なる点を中心に説明する。
【0070】
このように構成された障害物検出装置2の動作について図15を参照して説明する。まず、単眼カメラ3による車両1前方の撮影画像IMGの信号がECU5に取込まれ、変換手段5aにより、取込まれた撮影画像IMGの位置方向が、記憶手段4に記憶された基準パターンとしてのパワースペクトルを導出した際の画像の位置方向と合うように変換処理される(ステップS401)。そして、変換処理された撮影画像IMGからパワースペクトルpIMGが変換手段5aにより導出される(ステップS402)。
【0071】
続いて、変換手段5aにより導出されたパワースペクトルpIMGと、記憶手段4に記憶された基準パターンとの差から、横断歩道10上に障害物が存在するか、存在しないかが検出手段5bにより検出される(ステップS403)。
【0072】
そして、検出手段5bにより横断歩道10上に障害物(歩行者11)が検出されれば、走行モニタ6による警告表示や、スピーカ7による音声メッセージや警報音の出力が報知手段5cにより行われて、横断歩道10に障害物が存在することがドライバに報知される(ステップS404)。
【0073】
以上のように、この実施形態によれば上記した第1実施形態と同様の効果を奏することができる。
【0074】
<第6実施形態>
次に、本発明の第6実施形態について、図16を参照しつつ、図1,3,4,6,7も参照して説明する。図14は本発明の障害物検出装置2の第6実施形態の動作説明用のフローチャートである。
【0075】
この実施形態が上記した第2実施形態と異なる点は、変換手段5aが撮影画像IMGの射影変換を行わない点である。また、記憶手段4は、図3に示すような、歩行者11が存在しない横断歩道10を正面から撮影した画像IMGの横断歩道10部分から導出された濃淡ヒストグラムを基準パターンとして記憶する。その他の構成および動作は、上記した第2実施形態と同一であるため、その構成および動作の説明は同一符号を付すことによりその説明を省略し、以下では、上記した第2実施形態と異なる点を中心に説明する。
【0076】
このように構成された障害物検出装置2の動作について図16を参照して説明する。まず、単眼カメラ3による車両1前方の撮影画像IMGの信号がECU5に取込まれ、変換手段5aにより、取込まれた撮影画像IMGの位置方向が、記憶手段4に記憶された基準パターンとしての濃淡ヒストグラムを導出した際の画像の位置方向と合うように変換処理される(ステップS501)。そして、変換処理された撮影画像IMGから濃淡ヒストグラムHが変換手段5aにより導出される(ステップS502)。
【0077】
続いて、変換手段5aにより導出された濃淡ヒストグラムHと、記憶手段4に記憶された基準パターンとの差から、検出手段5bにより横断歩道10上に障害物が存在するか、存在しないかが検出手段5bにより検出される(ステップS503)。
【0078】
そして、検出手段5bにより横断歩道10上に障害物(歩行者11)が検出されれば、走行モニタ6による警告表示や、スピーカ7による音声メッセージや警報音の出力が報知手段5cにより行われて、横断歩道10に障害物が存在することがドライバに報知される(ステップS504)。
【0079】
以上のように、この実施形態によれば上記した第1実施形態と同様の効果を奏することができる。
【0080】
<その他>
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ3を、後進の際に後方の路面を撮影可能に車両1に後部に取付けてもよい。
【0081】
また、記憶手段4に記憶される基準パターンとしては上記した例に限られず、例えば横断歩道10の正面からの撮影画像を射影変換した上方視の画像を基準パターンとして記憶してもよい。このとき、単眼カメラ3の撮影画像IMGの射影変換画像tIMGと、基準パターンとを一般的なパターンマッチングなどの手法により比較することにより、横断歩道10上の障害物を検出することができる。
【0082】
また、上記した実施形態では、夜間走行の際や、トンネル内を走行する際にヘッドライト8が点灯している状態を例に挙げて説明したが、本発明が適用されるのはヘッドライト8が点灯した状態での車両1の走行の際に限られるものではない。
【0083】
また、本発明は種々の車両の障害物検出に適用することができる。
【符号の説明】
【0084】
1 車両
3 単眼カメラ(車載カメラ)
4 記憶手段
5a 変換手段
5b 検出手段
IMG 撮影画像
tIMG 上方視の画像
pIMG パワースペクトル(画像パターン)
H 濃淡ヒストグラム(画像パターン)
【技術分野】
【0001】
この発明は、車両に搭載された車載カメラの撮影画像の画像パターンから、車両の走行路の横断歩道上の障害物を検出する技術に関する。
【背景技術】
【0002】
従来、横断歩道周辺に固定して設置されたカメラによる撮影画像の画像パターンと、歩行者が存在しないときの撮影画像の横断歩道部分の画像パターンとから、横断歩道上の歩行者を検出する技術が提案されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平10−247297号公報(段落[0005]〜[0009]、図1、要約書など)
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の技術では、カメラが設置された場所の横断歩道上の障害物(歩行者)しか検出することができない。そこで、車載カメラを車両に搭載し、これにより横断歩道上の障害物を検出することも考えられる。このようにすれば、横断歩道周辺にカメラが設置されていなくとも、車両の走行路の横断歩道上の障害物を検出することができる。しかしながら、例えば車両の右左折の際に、車載カメラにより斜め方向から横断歩道が撮影されることにより、車載カメラによる撮影画像の横断歩道部分の画像パターンの位置方向が、障害物が存在しない横断歩道部分の画像パターンである基準パターンの位置方向と一致しないときは、両パターンの比較ができないため横断歩道上の障害物の検出ができないという問題がある。したがって、車載カメラの撮影画像の画像パターンと基準パターンとの位置方向が、車両が進行することにより一致するまでは両パターンの比較ができず、横断歩道上の障害物の検出が遅れてしまう。
【0005】
本発明は、車載カメラによる撮影画像の横断歩道部分の画像パターンの位置方向が、障害物が存在しない横断歩道部分の画像パターンである基準パターンの位置方向と合わないときにも横断歩道上の障害物を早期に検出できる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記した目的を達成するために、本発明の障害物検出装置は、車両に搭載された車載カメラの撮影画像の画像パターンから、前記車両の走行路の横断歩道上の障害物を検出する障害物検出装置において、障害物が存在しない横断歩道部分の画像パターンを基準パターンとして記憶する記憶手段と、前記撮影画像の横断歩道部分の画像パターンを前記基準パターンに合わせるように、前記撮影画像の位置方向を変換処理する変換手段と、前記変換処理後の前記撮影画像の前記基準パターンを含む横断歩道部分の画像パターンと前記基準パターンとの差から、前記車載カメラにより撮影された横断歩道上の障害物を検出する検出手段とを備えたことを特徴としている(請求項1)。
【0007】
また、本発明の障害物検出装置は、前記記憶手段に記憶された基準パターンは、横断歩道部分の上方視の画像パターンであり、前記変換手段は、前記車載カメラの撮影画像を上方視の画像に射影変換して前記変換処理を行うことを特徴としている(請求項2)。
【発明の効果】
【0008】
請求項1に記載の発明によれば、例えば車両の右左折の際に、車載カメラの撮影画像の横断歩道部分の画像パターンの位置方向が、障害物が存在しない横断歩道部分の画像パターンであって記憶手段に記憶された基準パターンの位置方向と合わないときには、車載カメラの撮影画像の横断歩道部分の画像パターンの位置方向が基準パターンに合うように、回転移動や平行移動などの変換処理が変換手段により撮影画像に対して施される。したがって、変換処理された撮影画像の基準パターンを含む横断歩道部分の画像パターンと基準パターンとの差から、車載カメラにより撮影された横断歩道上の障害物を検出手段により早期に検出することができる。また、車両に車載カメラが搭載されているため、カメラが設置されていない横断歩道であっても、車両の走行路の横断歩道上の障害物を検出することができる。
【0009】
請求項2に記載の発明によれば、記憶手段に記憶された基準パターンは、横断歩道部分の上方視の画像パターンであり、変換手段は、車載カメラの撮影画像を上方視の画像に射影変換することにより、撮影画像の画像パターンを基準パターンに合わせる画像操作を行うときのパラメータなどを容易に導出することができるため、撮影画像の変換処理を容易に、しかも正確に行うことができる。
【図面の簡単な説明】
【0010】
【図1】本発明の障害物検出装置の第1実施形態のブロック図である。
【図2】図1の単眼カメラおよび変換手段の構成の一例を示す図である。
【図3】横断歩道上に歩行者が存在しない場合の撮影画像の一例である。
【図4】図3の撮影画像を上方視の画像に射影変換した図である。
【図5】図4の上方視の画像のパワースペクトルを示す図である。
【図6】横断歩道上に歩行者が存在する場合の撮影画像の一例である。
【図7】図6の撮影画像を上方視の画像に射影変換した図である。
【図8】図7の上方視の画像のパワースペクトルを示す図である。
【図9】図1の動作説明用のフローチャートである。
【図10】横断歩道上に歩行者が存在しない場合の濃淡ヒストグラムを示す図である。
【図11】横断歩道上に歩行者が存在する場合の濃淡ヒストグラムを示す図である。
【図12】本発明の障害物検出装置の第2実施形態の動作説明用のフローチャートである。
【図13】本発明の障害物検出装置の第3実施形態の動作説明用のフローチャートである。
【図14】本発明の障害物検出装置の第4実施形態の動作説明用のフローチャートである。
【図15】本発明の障害物検出装置の第5実施形態の動作説明用のフローチャートである。
【図16】本発明の障害物検出装置の第6実施形態の動作説明用のフローチャートである。
【発明を実施するための形態】
【0011】
<第1実施形態>
本発明の第1実施形態について、図1〜図9を参照して説明する。
【0012】
図1は本発明の障害物検出装置2の第1実施形態のブロック図である。図2は図1の単眼カメラ3および変換手段5aの構成の一例を示す図である。図3は横断歩道10上に歩行者11が存在しない場合の撮影画像IMGの一例である。図4は図3の撮影画像IMGを上方視の画像tIMGに射影変換した図である。図5は図4の上方視の画像tIMGのパワースペクトルpIMGを示す図である。
【0013】
図6は横断歩道10上に歩行者11が存在する場合の撮影画像IMGの一例である。図7は図6の撮影画像IMGを上方視の画像tIMGに射影変換した図である。図8は図7の上方視の画像tIMGのパワースペクトルpIMGを示す図である。図9は図1の動作説明用のフローチャートである。
【0014】
1.構成
図1に示す障害物検出装置2は、車両1に搭載された単眼カメラ(本発明の「車載カメラ」に相当)3の撮影画像IMGの画像パターンから、車両1の走行路の横断歩道10上の障害物(歩行者11)を検出するものであって、単眼カメラ3と、障害物が存在しない横断歩道部分の画像パターンを基準パターンとして記憶する記憶手段4と、単眼カメラ3の撮影画像IMGを処理するマイクロコンピュータ構成のECU5と、例えばインストルメントパネルなどに取付けられたCRT、液晶ディスプレイなどの走行モニタ6と、警報用のスピーカ7とを備えている。
【0015】
単眼カメラ3は、本実施形態では車両1前方の路面撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、撮影した画像IMGの信号を出力する(図3および6参照)。また、図2に示すように、車両1前方の路面撮影を行なうため、単眼カメラ3は、車両1の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。
【0016】
記憶手段4は、障害物(歩行者11)が存在しない横断歩道10部分の画像パターンを基準パターンとして記憶する。本実施形態では、例えば図3に示すような、歩行者が存在しない横断歩道10を正面から撮影した画像IMGの横断歩道10部分を、図4に示すように上方視の画像tIMGに射影変換し、これをFFTなどの手法によりフーリエ変換して導出された2次元のパワースペクトルpIMGの幾何学的な特徴や、周波数成分などの特徴を予め基準パターンとして記憶する(図5参照)。
【0017】
なお、横断歩道10は同一形状で規則的に路面上に形成されるため、横断歩道10の撮影画像IMGを上方視の画像tIMGに射影変換し、この上方視の画像tIMGから導出されたパワースペクトルpIMGは、図5に示すように、所定の周波数に規則的にピークを備えることにより特徴的な幾何学的形状を有するものとなる。
【0018】
ECU5は、例えばイグニッションキーのオンにより、予め設定された障害物検出のプログラムを実行することにより以下の各手段を備えている。
【0019】
(1)変換手段5a
変換手段5aは、車両1の走行中に単眼カメラ3により取得された図3および図6に示すような撮影画像IMGを、図4および図7に示すような上方視の画像tIMGに射影変換する(図2参照)。そして、射影変換後の上方視の画像tIMGをフーリエ変換(FFT)することにより、図5および図8に示すような2次元のパワースペクトル(本発明の「画像パターン」に相当)pIMGを導出する。
【0020】
図5に示すように、横断歩道10上に歩行者(障害物)11が存在しなければ、単眼カメラ3による撮影画像IMGを上方視の画像tIMGに射影変換し、この上方視の画像tIMGから導出された2次元のパワースペクトルpIMGは、障害物が存在しない横断歩道10部分の基準パターンとして記憶手段4に記憶されている2次元のパワースペクトルと同様に所定の周波数に規則的にピークを備え、これにより同様の幾何学的形状を備えるものとなる。一方、図8に示すように、横断歩道10上に歩行者11(障害物)が存在すれば、単眼カメラ3による撮影画像IMGを上方視の画像tIMGに射影変換し、この上方視の画像tIMGから導出された2次元のパワースペクトルpIMGは、図5に示すパワースペクトルpIMGとは異なる周波数成分も多数含み、これにより幾何学的形状が異なるものとなる。
【0021】
次に、変換手段5aは、撮影画像IMGを射影変換した上方視の画像tIMGの横断歩道10部分のパワースペクトルpIMGに平行移動や回転移動などの変換処理を施すことにより、記憶手段4に記憶された基準パターン(本実施形態では、歩行者が存在しない横断歩道10部分を上方視の画像に射影変換した画像のパワースペクトルの各種の特徴)に合わせるように、パワースペクトルpIMGの位置方向を変換する。
【0022】
すなわち、例えば横断歩道10が単眼カメラ3により斜め方向から方向から撮影された場合、その撮影画像IMGが射影変換された上方視の画像tIMGは、図3に示すように、横断歩道10が正面から撮影された撮影画像IMGが射影変換された上方視の画像tIMGと比較すれば、横断歩道10の位置や角度がずれたものとなる。したがって、位置や角度がずれた上方視の画像tIMGから導出された2次元のパワースペクトルpIMGは、図5に示す、横断歩道10の正面からの撮影画像IMGから導出された2次元のパワースペクトルpIMGと位置や角度がずれたものとなる。そこで、本実施形態では、位置がずれたパワースペクトルpIMGに平行移動や回転移動などの処理を施すことにより位置方向を変換して、基準パターンとしてのパワースペクトルpIMGの位置方向と合わす変換処理が変換手段5aにより施される。
【0023】
(2)検出手段5b
検出手段5bは、変換手段5aにより変換処理された後の、基準パターンを含む横断歩道部分のパワースペクトルpIMG(画像パターン)と、記憶手段4に記憶された基準パターンとの差から、単眼カメラ3により撮影された横断歩道10上の障害物(歩行者11)を検出する。
【0024】
例えば、変換手段5aにより変換処理されたパワースペクトルpIMGが、図5に示すようなものであれば、その幾何学的特徴と、各周波数成分とから、検出手段5bは、図5のパワースペクトルpIMGの元の撮影画像IMG(図3)が基準パターン、すなわち横断歩道10は含むが、横断歩道10上に障害物が存在しないことを検出する。すなわち、変換処理されたパワースペクトルpIMGと基準パターンとの幾何学的形状がほぼ同一であり、変換処理されたパワースペクトルpIMGが基準パターンとほぼ同様の周波数成分を有することから、検出手段5aは、横断歩道10上に障害物が存在しないことを検出する。
【0025】
一方、変換手段5aにより変換処理されたパワースペクトルpIMGが、図8に示すようなものであれば、その幾何学的特徴と、各周波数成分とから、検出手段5bは、図8のパワースペクトルpIMGの元の撮影画像IMG(図6)が基準パターン、すなわち横断歩道10を含むと共に、横断歩道10上に歩行者11(障害物)が存在することを検出する。すなわち、変換処理されたパワースペクトルpIMGと基準パターンとの幾何学的形状が異なり、変換処理されたパワースペクトルpIMGが基準パターンとは異なる周波数成分も所定の閾値以上に有することから、検出手段5bは、横断歩道10上に障害物が存在することを検出する。
【0026】
(3)報知手段5c
報知手段5cは、検出手段5bによる、横断歩道10上の歩行者(障害物)11の検出に基づき、例えば走行モニタ6に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、歩行者11の存在を視覚的にドライバに報知する。また、スピーカ7から、検出結果の音声メッセージ、警告音を発生して歩行者11の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
【0027】
2.動作
次に、上記したように構成された障害物検出装置2の動作について図9を参照して説明する。なお、本実施形態では、車両1が、夜間走行を行ったり、トンネル内などを走行することにより、ヘッドライト8を点灯して走行しているときを例に挙げて説明する。一般的に、横断歩道10は路面に白色で形成されている。したがって、ヘッドライト8が点灯されることにより、ヘッドライト8からの投光が横断歩道10の白色の部分で反射されるため、昼間に比べ、より鮮明に単眼カメラ3による横断歩道10の撮影画像IMGを得ることができる。また、ヘッドライト8からの投光が及ばない背景部分は単眼カメラ3により撮影されない蓋然性が高く、障害物検出の対象となる横断歩道10の周辺部分のみがヘッドライト8により照射されて単眼カメラ3により撮影されるため、効率よく画像処理などを行うことができるとともに、背景部分の画像ノイズを原因とする障害物の誤検出を防止できる。
【0028】
まず、車両1のイグニッションキーのオンにより単眼カメラ3による撮影が開始されると、図3および図6に示すような、単眼カメラ3による車両1前方の撮影画像IMGの信号がECU5に取込まれる。そして、取込まれた撮影画像IMGが、図4および図7に示すような上方視の画像tIMGに変換手段5aにより射影変換される(ステップS1)。
【0029】
次に、射影変換された上方視の画像tIMGがFFTによりフーリエ変換されることにより、図5および図8に示すような2次元のパワースペクトルpIMGが変換手段5aにより導出される(ステップS2)。そして、記憶手段4に基準パターンとしてその特徴が記憶された横断歩道10部分のパワースペクトルpIMGの位置方向と合うように、導出されたパワースペクトルpIMGの位置方向が、回転移動または平行移動などされることにより変換手段5aにより変換される(ステップS3)。
【0030】
続いて、変換手段5aにより変換処理されたパワースペクトルpIMGと、記憶手段4に記憶された基準パターンとの幾何学的形状や、各周波数成分などが比較されることにより、単眼カメラ3の撮影画像IMGに横断歩道10が含まれ、その横断歩道10上に障害物が存在するか、存在しないかが検出手段5bにより検出される(ステップS4)。
【0031】
そして、検出手段5bにより横断歩道10上に障害物(歩行者11)が検出されれば、走行モニタ6による警告表示が行われたり、スピーカ7から音声メッセージや警報音が出力されたりすることにより、横断歩道10に障害物が存在することがドライバに報知手段5cにより報知される(ステップS5)。これにより、横断歩道10上の障害物の存在が、ドライバに分かりやすく報知されて、特に夜間や、トンネル内など、ヘッドライト8が点灯されているときの運転支援を実現することができる。
【0032】
以上のように、この実施形態によれば、例えば車両1の右左折の際に、単眼カメラ3の撮影画像IMGの横断歩道10部分の画像パターンの位置方向が、記憶手段4に記憶された障害物(歩行者11)が存在しない横断歩道10部分の基準パターンの位置方向と合わないときには、単眼カメラ3の撮影画像IMGの横断歩道10部分の画像パターンの位置方向が基準パターンに合うように、回転移動や平行移動などの変換処理が変換手段5aにより撮影画像IMGのパワースペクトルpIMGに対して施される。したがって、変換処理されたパワースペクトルpIMGの基準パターンを含む横断歩道10部分の画像パターンと基準パターンとの差から、単眼カメラ3により撮影された横断歩道10上の歩行者11を検出手段5bにより早期に検出することができる。また、車両1に単眼カメラ3が搭載されているため、カメラが設置されていない横断歩道10であっても、車両1の走行路の横断歩道10上の障害物を検出することができる。
【0033】
また、記憶手段4に記憶された基準パターンは、横断歩道10部分の上方視画像tIMgのパワースペクトルpIMGの画像パターンであり、変換手段5aは、単眼カメラ3の撮影画像IMGを上方視の画像tIMGに射影変換することにより、撮影画像IMGの画像パターンの位置方向を基準パターンに合わせる画像操作を行うときのパラメータなどを容易に導出することができるため、撮影画像IMGの各種の変換処理を容易に、しかも正確に行うことができる。
【0034】
また、撮影画像IMGを射影変換した上方視の画像tIMGからパワースペクトルpIMGを導出しているため、撮影画像IMGからパワースペクトルpIMGを導出するのに比べ、より明りょうなパワースペクトルを導出することができる。
【0035】
<第2実施形態>
次に、本発明の第2実施形態について、図10〜図12を参照しつつ、図1,3,4,6,7も参照して説明する。
【0036】
図10は横断歩道10上に歩行者11が存在しない場合の濃淡ヒストグラムHを示す図である。図11は横断歩道10上に歩行者11が存在する場合の濃淡ヒストグラムHを示す図である。図12は本発明の障害物検出装置2の第2実施形態の動作説明用のフローチャートである。
【0037】
この実施形態が上記した第1実施形態と異なる点は、図3に示すような、歩行者11が存在しない横断歩道10の正面からの撮影画像IMGの横断歩道10部分が、図4に示すように上方視の画像tIMGに射影変換され、この上方視の画像tIMGの濃淡ヒストグラムHの幾何学的な特徴が予め基準パターンとして記憶手段4により記憶される点である。その他の構成および動作は、上記した第1実施形態と同一であるため、その構成および動作の説明は同一符号を付すことによりその説明を省略し、以下では、上記した第1実施形態と異なる点を中心に説明する。
【0038】
記憶手段4は、障害物(歩行者11)が存在しない横断歩道10部分の画像パターンを基準パターンとして記憶する。本実施形態では、上記したように、歩行者11が存在しない横断歩道10の正面からの撮影画像IMGが射影変換された上方視の画像tIMGの、横断歩道10部分の濃淡ヒストグラムHの幾何学的な特徴が予め基準パターンとして記憶手段4により記憶される。
【0039】
なお、横断歩道10は全て、同一の形状で規則的に路面上に形成されるため、横断歩道10の撮影画像IMGが射影変換された上方視の画像tIMGの濃淡ヒストグラムHは、所定の間隔で濃淡が繰返し表れる特徴的なものとなる。
【0040】
変換手段5aは、単眼カメラ3により取得された図3および図6に示すような撮影画像IMGを、図4および図7に示すような上方視の画像tIMGに射影変換する。
【0041】
次に、変換手段5aは、撮影画像IMGが射影変換された上方視の画像tIMGの横断歩道10部分の画像パターンに平行移動や回転移動などの画像操作を施すことにより、記憶手段4に記憶された基準パターン(本実施形態では、歩行者が存在しない横断歩道部分を上方視の画像に射影変換した画像の濃淡ヒストグラムの各種の特徴)が導出された上方視の画像tIMGに合わせるように、上方視の画像tIMGの位置方向を変換する。そして、変換処理された上方視の画像tIMGから濃淡ヒストグラムHを導出する。
【0042】
図10の一点鎖線で囲まれた部分に示すように、横断歩道10上に歩行者(障害物)11が存在しなければ、単眼カメラ3による撮影画像IMGが射影変換された上方視の画像tIMGの濃淡ヒストグラムHは、基準パターンとして記憶手段4に記憶されている濃淡ヒストグラムHと同様の幾何学的形状を備え、所定の間隔で濃淡が繰返し表れるものとなる。一方、図11の一点鎖線で囲まれた部分に示すように、横断歩道10上に歩行者11(障害物)が存在すれば、単眼カメラ3による撮影画像IMGが射影変換された上方視の画像tIMGの濃淡ヒストグラムHは、図10に示す濃淡ヒストグラムHの幾何学的形状と異なるものとなる。
【0043】
なお、本実施形態では、図3および図6に示すように、車両1のヘッドライト8により横断歩道10の左側部分が中心に投光されている。したがって、図3および図6に示す撮影画像IMGから得られる濃淡ヒストグラムHは、図10および図11に示すように右側部分の輝度が小さいものとなる。
【0044】
また、本実施形態では、変換手段5aは、射影変換後の上方視の画像tIMGから横断歩道10の白線部分を検出し、これを基準パターン(濃淡ヒストグラム)が導出された元の画像の横断歩道10の位置方向と一致させるように、すなわち、横断歩道10が正面の画像となるように、上方視の画像tIMGに対して回転移動や平行移動などの画像操作を施すように構成されている。
【0045】
検出手段5bは、変換手段5aにより上方視の画像tIMGが変換処理された後の、基準パターンを含む横断歩道10部分の濃淡ヒストグラムH(画像パターン)と、記憶手段4に記憶された基準パターンとの差から、単眼カメラ3により撮影された横断歩道10上の障害物(歩行者11)を検出する。
【0046】
例えば、変換手段5aにより上方視の画像tIMGが変換処理されて得られた濃淡ヒストグラムHが、図10に示すようなものであれば、その一点鎖線で囲まれた部分の幾何学的な特徴から、検出手段5bは、図10の濃淡ヒストグラムHの元の画像IMG(図3)が基準パターン、すなわち横断歩道10は含むが、横断歩道10上に障害物が存在しないことを検出する。すなわち、上方視の画像tIMGが変換処理されて得られた濃淡ヒストグラムHと基準パターンとの幾何学的な形状がほぼ同一あることから、検出手段5bは、横断歩道10上に障害物が存在しないことを検出する。
【0047】
一方、変換手段5aにより変換処理されて得られた濃淡ヒストグラムHが、図11に示すようなものであれば、その一点鎖線で囲まれた部分の幾何学的な特徴から、検出手段5bは、図11の濃淡スペクトルHの元の画像IMG(図6)が基準パターン、すなわち横断歩道10を含むと共に、横断歩道10上に歩行者11(障害物)が存在することを検出する。すなわち、上方視の画像tIMGが変換処理されて得られた濃淡ヒストグラムHと基準パターンとの幾何学的な形状が異なることから、検出手段5aは、横断歩道10上に障害物が存在することを検出する。
【0048】
なお、本実施形態では、検出手段5bは、図10および図11の一点鎖線で囲まれた部分に示すように、横断歩道10がヘッドライト8により照射されることにより濃淡ヒストグラムHにおける濃淡が明りょうに導出された部分を、記憶手段4に記憶された基準パターンの同一箇所と比較するように構成されている。
【0049】
次に、上記したように構成された障害物検出装置2の動作について図12を参照して説明する。まず、車両1のイグニッションキーのオンにより単眼カメラ3による撮影が開始されると、図3および図6に示すような、単眼カメラ3による車両1前方の撮影画像IMGの信号がECU5に取込まれる。そして、取込まれた撮影画像IMGが、図4および図7に示すような上方視の画像tIMGに変換手段5aにより射影変換される(ステップS101)。
【0050】
次に、記憶手段4に記憶された基準パターンとしての横断歩道10部分の濃淡ヒストグラムHを導出した際の画像と位置方向が合うように、回転移動または平行移動などされて上方視の画像tIMGの位置方向が変換手段5aにより変換される(ステップS102)。そして、変換処理された上方視の画像tIMGから濃淡ヒストグラムHが変換手段5aにより導出される(ステップS103、図10,11参照)。
【0051】
続いて、変換手段5aにより導出された濃淡ヒストグラムHと、記憶手段4に記憶された基準パターンとの幾何学的形状が比較されることにより、単眼カメラ3の撮影画像IMGに横断歩道10が含まれ、その横断歩道10上に障害物が存在するか、存在しないかが検出手段5bにより検出される(ステップS104)。
【0052】
そして、検出手段5bにより横断歩道10上に障害物(歩行者11)が検出されれば、走行モニタ6により警告表示が行われたり、スピーカ7から音声メッセージや警報音が出力されたりすることにより、横断歩道10に障害物が存在することがドライバに報知手段5cにより報知される(ステップS105)。これにより、横断歩道10上の障害物の存在が、ドライバに分かりやすく報知されて、特に夜間や、トンネル内など、ヘッドライト8が点灯されているときの運転支援を実現することができる。
【0053】
以上のように、この実施形態によれば上記した第1実施形態と同様の効果を奏することができる。
【0054】
<第3実施形態>
次に、本発明の第2実施形態について、図13を参照しつつ、図1,3,4,6,7も参照して説明する。図13は本発明の障害物検出装置2の第3実施形態の動作説明用のフローチャートである。
【0055】
この実施形態が上記した第1実施形態と異なる点は、変換手段5aが、射影変換された上方視の画像tIMGの位置方向を、記憶手段4に記憶された基準パターン(パワースペクトル)が導出された上方視の画像の位置方向と合わせる変換処理を行い、その後にフーリエ変換を行う点である(ステップS202、S203)。その他の構成および動作は、上記した第1実施形態と同一であるため、その構成および動作の説明は同一符号を付すことによりその説明を省略し、以下では、上記した第1実施形態と異なる点を中心に説明する。
【0056】
このように構成された障害物検出装置2の動作について図13を参照して説明する。まず、単眼カメラ3による車両1前方の撮影画像IMGの信号がECU5に取込まれ、変換手段5aにより、取込まれた撮影画像IMGが上方視の画像tIMGに射影変換される(ステップS201)。
【0057】
次に、記憶手段4に記憶された基準パターンとしてのパワースペクトルを導出した際の上方視の画像と位置方向が合うように、上方視の画像tIMGの位置方向が変換手段5aにより変換処理される(ステップS202)。そして、変換処理された上方視の画像tIMGからパワースペクトルpIMGが変換手段5aにより導出される(ステップS203)。
【0058】
続いて、変換手段5aにより導出されたパワースペクトルpIMGと、記憶手段4に記憶された基準パターンとの差から、横断歩道10上に障害物が存在するか、存在しないかが検出手段5bにより検出される(ステップS204)。
【0059】
そして、検出手段5bにより横断歩道10上に障害物(歩行者11)が検出されれば、走行モニタ6による警告表示や、スピーカ7による音声メッセージや警報音の出力が報知手段5cにより行われて、横断歩道10に障害物が存在することがドライバに報知される(ステップS205)。
【0060】
以上のように、この実施形態によれば上記した第1実施形態と同様の効果を奏することができる。
【0061】
<第4実施形態>
次に、本発明の第4実施形態について、図14を参照しつつ、図1,3,4,6,7も参照して説明する。図14は本発明の障害物検出装置2の第4実施形態の動作説明用のフローチャートである。
【0062】
この実施形態が上記した第1実施形態と異なる点は、変換手段5aが、射影変換を行わない点である。また、記憶手段4は、図3に示すような、歩行者11が存在しない横断歩道10を正面から撮影した画像IMGの横断歩道10部分をフーリエ変換して導出されたパワースペクトルを基準パターンとして記憶する。その他の構成および動作は、上記した第1実施形態と同一であるため、その構成および動作の説明は同一符号を付すことによりその説明を省略し、以下では、上記した第1実施形態と異なる点を中心に説明する。
【0063】
このように構成された障害物検出装置2の動作について図14を参照して説明する。まず、単眼カメラ3による車両1前方の撮影画像IMGの信号がECU5に取込まれ、変換手段5aにより、取込まれた撮影画像IMGからパワースペクトルpIMGが導出される(ステップS301)。
【0064】
次に、記憶手段4に記憶された基準パターンとしてのパワースペクトルと位置方向が合うように、導出されたパワースペクトルpIMGの位置方向が変換手段5aにより変換処理される(ステップS302)。
【0065】
続いて、変換手段5aにより変換処理されたパワースペクトルpIMGと、記憶手段4に記憶された基準パターンとの差から、横断歩道10上に障害物が存在するか、存在しないかが検出手段5bにより検出される(ステップS303)。
【0066】
そして、検出手段5bにより横断歩道10上に障害物(歩行者11)が検出されれば、走行モニタ6による警告表示や、スピーカ7による音声メッセージや警報音の出力が報知手段5cにより行われて、横断歩道10に障害物が存在することがドライバに報知される(ステップS304)。
【0067】
以上のように、この実施形態によれば上記した第1実施形態と同様の効果を奏することができる。
【0068】
<第5実施形態>
次に、本発明の第5実施形態について、図15を参照しつつ、図1,3,4,6,7も参照して説明する。図15は本発明の障害物検出装置2の第5実施形態の動作説明用のフローチャートである。
【0069】
この実施形態が上記した第3実施形態と異なる点は、変換手段5aが、撮影画像IMGの位置方向を、記憶手段4に記憶された基準パターン(パワースペクトル)が導出された画像の位置方向と合わせる処理を行い、その後にフーリエ変換を行う点である(ステップS401、S402)。その他の構成および動作は、上記した第1実施形態と同一であるため、その構成および動作の説明は同一符号を付すことによりその説明を省略し、以下では、上記した第1実施形態と異なる点を中心に説明する。
【0070】
このように構成された障害物検出装置2の動作について図15を参照して説明する。まず、単眼カメラ3による車両1前方の撮影画像IMGの信号がECU5に取込まれ、変換手段5aにより、取込まれた撮影画像IMGの位置方向が、記憶手段4に記憶された基準パターンとしてのパワースペクトルを導出した際の画像の位置方向と合うように変換処理される(ステップS401)。そして、変換処理された撮影画像IMGからパワースペクトルpIMGが変換手段5aにより導出される(ステップS402)。
【0071】
続いて、変換手段5aにより導出されたパワースペクトルpIMGと、記憶手段4に記憶された基準パターンとの差から、横断歩道10上に障害物が存在するか、存在しないかが検出手段5bにより検出される(ステップS403)。
【0072】
そして、検出手段5bにより横断歩道10上に障害物(歩行者11)が検出されれば、走行モニタ6による警告表示や、スピーカ7による音声メッセージや警報音の出力が報知手段5cにより行われて、横断歩道10に障害物が存在することがドライバに報知される(ステップS404)。
【0073】
以上のように、この実施形態によれば上記した第1実施形態と同様の効果を奏することができる。
【0074】
<第6実施形態>
次に、本発明の第6実施形態について、図16を参照しつつ、図1,3,4,6,7も参照して説明する。図14は本発明の障害物検出装置2の第6実施形態の動作説明用のフローチャートである。
【0075】
この実施形態が上記した第2実施形態と異なる点は、変換手段5aが撮影画像IMGの射影変換を行わない点である。また、記憶手段4は、図3に示すような、歩行者11が存在しない横断歩道10を正面から撮影した画像IMGの横断歩道10部分から導出された濃淡ヒストグラムを基準パターンとして記憶する。その他の構成および動作は、上記した第2実施形態と同一であるため、その構成および動作の説明は同一符号を付すことによりその説明を省略し、以下では、上記した第2実施形態と異なる点を中心に説明する。
【0076】
このように構成された障害物検出装置2の動作について図16を参照して説明する。まず、単眼カメラ3による車両1前方の撮影画像IMGの信号がECU5に取込まれ、変換手段5aにより、取込まれた撮影画像IMGの位置方向が、記憶手段4に記憶された基準パターンとしての濃淡ヒストグラムを導出した際の画像の位置方向と合うように変換処理される(ステップS501)。そして、変換処理された撮影画像IMGから濃淡ヒストグラムHが変換手段5aにより導出される(ステップS502)。
【0077】
続いて、変換手段5aにより導出された濃淡ヒストグラムHと、記憶手段4に記憶された基準パターンとの差から、検出手段5bにより横断歩道10上に障害物が存在するか、存在しないかが検出手段5bにより検出される(ステップS503)。
【0078】
そして、検出手段5bにより横断歩道10上に障害物(歩行者11)が検出されれば、走行モニタ6による警告表示や、スピーカ7による音声メッセージや警報音の出力が報知手段5cにより行われて、横断歩道10に障害物が存在することがドライバに報知される(ステップS504)。
【0079】
以上のように、この実施形態によれば上記した第1実施形態と同様の効果を奏することができる。
【0080】
<その他>
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ3を、後進の際に後方の路面を撮影可能に車両1に後部に取付けてもよい。
【0081】
また、記憶手段4に記憶される基準パターンとしては上記した例に限られず、例えば横断歩道10の正面からの撮影画像を射影変換した上方視の画像を基準パターンとして記憶してもよい。このとき、単眼カメラ3の撮影画像IMGの射影変換画像tIMGと、基準パターンとを一般的なパターンマッチングなどの手法により比較することにより、横断歩道10上の障害物を検出することができる。
【0082】
また、上記した実施形態では、夜間走行の際や、トンネル内を走行する際にヘッドライト8が点灯している状態を例に挙げて説明したが、本発明が適用されるのはヘッドライト8が点灯した状態での車両1の走行の際に限られるものではない。
【0083】
また、本発明は種々の車両の障害物検出に適用することができる。
【符号の説明】
【0084】
1 車両
3 単眼カメラ(車載カメラ)
4 記憶手段
5a 変換手段
5b 検出手段
IMG 撮影画像
tIMG 上方視の画像
pIMG パワースペクトル(画像パターン)
H 濃淡ヒストグラム(画像パターン)
【特許請求の範囲】
【請求項1】
車両に搭載された車載カメラの撮影画像の画像パターンから、前記車両の走行路の横断歩道上の障害物を検出する障害物検出装置において、
障害物が存在しない横断歩道部分の画像パターンを基準パターンとして記憶する記憶手段と、
前記撮影画像の横断歩道部分の画像パターンを前記基準パターンに合わせるように、前記撮影画像の位置方向を変換処理する変換手段と、
前記変換処理後の前記撮影画像の前記基準パターンを含む横断歩道部分の画像パターンと前記基準パターンとの差から、前記車載カメラにより撮影された横断歩道上の障害物を検出する検出手段と
を備えたことを特徴とする障害物検出装置。
【請求項2】
請求項1に記載の障害物検出装置において、
前記記憶手段に記憶された基準パターンは、横断歩道部分の上方視の画像パターンであり、
前記変換手段は、前記車載カメラの撮影画像を上方視の画像に射影変換して前記変換処理を行うことを特徴とする障害物検出装置。
【請求項1】
車両に搭載された車載カメラの撮影画像の画像パターンから、前記車両の走行路の横断歩道上の障害物を検出する障害物検出装置において、
障害物が存在しない横断歩道部分の画像パターンを基準パターンとして記憶する記憶手段と、
前記撮影画像の横断歩道部分の画像パターンを前記基準パターンに合わせるように、前記撮影画像の位置方向を変換処理する変換手段と、
前記変換処理後の前記撮影画像の前記基準パターンを含む横断歩道部分の画像パターンと前記基準パターンとの差から、前記車載カメラにより撮影された横断歩道上の障害物を検出する検出手段と
を備えたことを特徴とする障害物検出装置。
【請求項2】
請求項1に記載の障害物検出装置において、
前記記憶手段に記憶された基準パターンは、横断歩道部分の上方視の画像パターンであり、
前記変換手段は、前記車載カメラの撮影画像を上方視の画像に射影変換して前記変換処理を行うことを特徴とする障害物検出装置。
【図1】
【図2】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図2】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【公開番号】特開2011−70473(P2011−70473A)
【公開日】平成23年4月7日(2011.4.7)
【国際特許分類】
【出願番号】特願2009−222003(P2009−222003)
【出願日】平成21年9月28日(2009.9.28)
【出願人】(000002967)ダイハツ工業株式会社 (2,560)
【Fターム(参考)】
【公開日】平成23年4月7日(2011.4.7)
【国際特許分類】
【出願日】平成21年9月28日(2009.9.28)
【出願人】(000002967)ダイハツ工業株式会社 (2,560)
【Fターム(参考)】
[ Back to top ]