説明

物体認識装置

【課題】撮影画像のコントラストを、当該撮影画像に含まれる道路上の物体を認識するのに最適な状態に調整することができる技術を提供する。
【解決手段】他車両や落下物などの物体が存在する蓋然性の高い道路14部分と、車線(道路14)に沿って道路14上に描かれている白線13とに着目し、特に、白線13部分と道路14部分とのコントラストが強調されるように上方視の画像tFのコントラストを調整することにより、道路14上に物体が含まれているときには、道路14部分と物体との境界が極めて明りょうとなり、上方視の画像tFのコントラストを、上方視の画像tFに含まれる道路14上の物体の認識に最適な状態に調整することができる。したがって、コントラストが画像処理による物体認識に最適な状態に調整された上方視の画像tFを処理することで確実に道路14上の物体を認識することができる。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、車載カメラにより撮影された撮影画像から道路上の物体を認識する技術に関する。
【背景技術】
【0002】
従来、車載カメラにより撮影された撮影画像のコントラストを調整することにより、撮影画像内に含まれる道路上の物体(車両)の認識精度の向上を図る技術が知られている(例えば、特許文献1参照)。すなわち、コントラストが調整された撮影画像の濃淡値を微分処理して得られる微分画像(エッジ画像)に基づいて、道路上の物体が認識される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−90240号公報(段落[0012]〜[0022]、図1,2など)
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の撮影画像のコントラストの調整方法の一例について、図7および図8を参照して説明する。図7は従来のコントラストの調整方法の一例を説明するための図であって、(a)は撮影画像が射影変換された上方視の画像tF、(b)は上方視の画像tFの奥側(自車両から遠い位置)における白線13部分と道路14部分との濃度差を示し、(c)は上方視の画像tFの手前側(自車両に近い位置)における白線13部分と道路14部分との濃度差を示す。また、図8は従来の方法によりコントラストの調整が行われた撮影画像Fの一例を示す図であって、(a)は自車両から遠い位置の他車両12を含む撮影画像F、(b)は撮影画像Fが射影変換された上方視の画像tF全体のコントラストが一律に調整された状態を示し、(c)はコントラストが調整された上方視の画像tFが微分処理された微分画像eFを示す。
【0005】
従来では、例えば図7(a)に示ように、撮影画像が射影変換された上方視の画像tFの濃度ヒストグラムが図7(b),(c)中の点線で描かれた曲線で表される場合に、上方視の画像tF全体の濃度範囲が、所定の濃度範囲に広がるように各画素に対する濃度変換が行われる。したがって、コントラストの調整が行われた上方視の画像tFの濃度ヒストグラムは、図7(b),(c)中の実線で描かれた曲線で示されるように変換される。ところが、このようにして上方視の画像tF全体のコントラストが一律に調整された場合、図7(b),(c)に示すように、特に上方視の画像tFの奥側、すなわち、自車両から遠い部分において、他車両が存在する蓋然性の高い道路14部分と白線13とのコントラストは大きく改善されない。
【0006】
例えば、図8(a)に示すように、自車両から遠い位置の他車両12を含む撮影画像Fが射影変換された上方視の画像tFのコントラストが従来の方法により調整された場合、図8(b)に示すように、他車両12と道路14部分との境界はぼやけたままであり明りょうにならない。したがって、図8(c)に示すように、従来の方法によりコントラストが調整された上方視の画像tFを微分処理した微分画像eFにおいて、他車両12と道路14部分との境界を示すエッジが明りょうに現れないため、微分画像eFに基づいて撮影画像Fに含まれる他車両12を認識できないおそれがあった。
【0007】
本発明は、上記課題に鑑みてなされたものであり、撮影画像のコントラストを、当該撮影画像に含まれる道路上の物体を認識するのに最適な状態に調整することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記した目的を達成するために、本発明の物体認識装置は、車載カメラにより撮影された撮影画像から道路上の物体を認識する物体認識装置であって、前記撮影画像の少なくとも車線境界線が含まれる所定領域において、車線境界線部分の濃度と道路部分の濃度との濃度差が所定以上の大きさとなるように前記撮影画像の前記所定領域におけるコントラストを調整するコントラスト調整手段と、前記コントラスト調整手段によりコントラストが調整された前記撮影画像を処理することにより前記物体を認識する物体認識手段とを備えることを特徴としている(請求項1)。
【発明の効果】
【0009】
請求項1に記載の発明によれば、車載カメラにより撮影された撮影画像から道路上の物体を認識するために、撮影画像の少なくとも車線境界線が含まれる所定領域において、車線境界線部分の濃度と道路部分の濃度との濃度差が所定以上の大きさとなるように撮影画像の所定領域におけるコントラストがコントラスト調整手段により調整され、コントラストが調整された撮影画像を処理することにより物体認識手段により物体が認識される。
【0010】
すなわち、道路上の物体を認識するために、物体が存在する蓋然性の高い道路部分と、道路に沿って道路上に描かれている車線境界線とに着目し、特に、車線境界線と道路部分とのコントラストが強調されるように撮影画像の所定領域におけるコントラストが調整されるため、所定領域における道路上に物体が含まれているときには、道路部分と物体との境界が極めて明りょうとなり、撮影画像のコントラストを、当該撮影画像に含まれる道路上の物体の認識に最適な状態に調整することができる。したがって、所定領域のコントラストが物体認識に最適な状態に調整された撮影画像を処理することで確実に道路上の物体を認識することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の物体認識装置の一実施形態のブロック図である。
【図2】本発明のコントラストの調整方法の一例を説明するための図である。
【図3】コントラストの調整が行われた撮影画像の一例を示す図である。
【図4】基準濃度取得処理を示すフローチャートである。
【図5】図1の動作説明用のフローチャートである。
【図6】コントラスト調整処理を示すフローチャートである。
【図7】従来のコントラストの調整方法の一例を説明するための図である。
【図8】従来の方法によりコントラストの調整が行われた撮影画像の一例を示す図である。
【発明を実施するための形態】
【0012】
本発明の一実施形態について、図1〜図6を参照して説明する。
【0013】
図1は本発明の物体認識装置2の一実施形態のブロック図である。図2は本発明のコントラストの調整方法の一例を説明するための図であって、(a)は撮影画像が射影変換された上方視の画像tF、(b)は上方視の画像tFの奥側(自車両1から遠い位置)における白線13部分と道路14部分との濃度差を示し、(c)は上方視の画像tFの手前側(自車両1に近い位置)における白線13部分と道路14部分と濃度差を示す。図3はコントラストの調整が行われた撮影画像Fの一例を示す図であって、(a)は自車両1から遠い位置の他車両12を含む撮影画像F、(b)は撮影画像Fが射影変換された上方視の画像tFに含まれる白線13部分と道路14部分とのコントラストが強調されるように画像tFのコントラストが調整された状態を示し、(c)はコントラストが調整された上方視の画像tFに基づく微分画像eFを示す。
【0014】
また、図4は基準濃度取得処理を示すフローチャートである。図5は図1の動作説明用のフローチャートである。図6はコントラスト調整処理を示すフローチャートである。
【0015】
1.構成
図1に示す物体認識装置2は、自車両1に搭載された単眼カメラ3(本発明の「車載カメラ」に相当)により撮影された撮影画像Fから道路14上の物体(他車両12)を認識するものであって、単眼カメラ3と、単眼カメラ3による撮影画像Fや種々のデータを記憶する記憶手段4と、単眼カメラ3の撮影画像Fを処理するマイクロコンピュータ構成のECU6と、例えばインストルメントパネルなどに取付けられたCRT、液晶ディスプレイなどの走行モニタ7と、警報用のスピーカ8とを備えている。
【0016】
単眼カメラ3は、この実施形態では自車両1の前方の撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した撮影画像Fの信号を出力する(図3(a)参照)。また、自車両1の前方の路面撮影を行なうため、単眼カメラ3は、自車両1の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。
【0017】
記憶手段4は、各種メモリやハードディスクドライブなどを備え、単眼カメラ3から時々刻々と出力される撮影画像Fに対してECU6により種々の処理を施す際に使用される各種データ、撮影画像Fに対してECU6により種々の処理が施されることにより得られた各種データなどを格納する。
【0018】
ECU6は、例えばイグニッションキーのオンにより、予め設定された物体認識のプログラムを実行することにより以下の各手段を備えている。
【0019】
(1)取得手段6a
取得手段6aは、単眼カメラ3により時々刻々と撮影され、白線13(本発明の「車線境界線」に相当)および道路14部分を含む撮影画像Fを取得する。例えば、図3(a)に示すように、単眼カメラ3により撮影された撮影画像Fには、走行車線の自車両1の前方に先行車として走行する他車両12が撮影されており、取得手段6aはこの撮影画像Fを取得する。なお、この実施形態の撮影画像Fは、例えば480本のライン画像により形成されており、各ライン画像は例えば640画素により形成されている。
【0020】
(2)変換手段6b
変換手段6bは、単眼カメラ3により時々刻々と撮影された各時刻における撮影画像Fを、路面に仮想面を設定し、図3(b)に示す上方視の画像tFに射影変換する。そして、単眼カメラ3により時系列に撮影されて変換手段6bにより射影変換される撮影画像Fに関する種々のデータは記憶手段4に記憶される。なお、図3(b)に示すように、単眼カメラ3の撮影画像Fが路面に設定された仮想面に射影変換された上方視の画像tFでは物体(他車両12)の上端側が歪んだ画像となる。
【0021】
(3)検出手段6c
検出手段6cは、図3(b)に示す上方視の画像tF、図3(c)に示す上方視の画像tFに微分フィルターが施されて2値化されることによる微分画像eF(エッジ画像)などに基づく周知の手法により、上方視の画像tFに含まれる白線13部分、道路14部分などを検出する。
【0022】
(4)調整手段6d
調整手段6d(本発明の「コントラスト調整手段」に相当)は、白線13部分の濃度と道路14との濃度差が所定以上の大きさになるように上方視の画像tFのコントラストを調整する。
【0023】
すなわち、図2に示すように、複数のライン画像により形成される上方視の画像tFの所定のライン画像に含まれる白線13部分の画素の濃度および道路14部分の画素の濃度のそれぞれが、上方視の画像tFの白線13部分において所定値以下の濃度(所定値以上の輝度)を有する画素の濃度および該画素と同じライン画像に含まれる道路14部分の画素の濃度とほぼ同じ濃度となるように、所定のライン画像のコントラストが調整手段6dにより調整される。
【0024】
なお、この実施形態では、上方視の画像tFを形成する各ライン画像に含まれる白線13部分の画素の濃度および道路14部分の画素の濃度それぞれが、検出手段6cにより検出された上方視の画像tFに含まれる白線13部分における最も濃度が低い画素(最も輝度が高い画素)の濃度および該画素と同じライン画像に含まれる道路14部分の画素の濃度となるように、各ライン画像のコントラストが調整される。
【0025】
具体的には、
a)白線濃度の基準値Al:検出手段6cにより検出された上方視の画像tFに含まれる白線13部分における最も濃度が低い画素(最も輝度が高い画素)の濃度、
b)道路濃度の基準値Ar:基準値Alを取得した画素と同じライン画像に含まれる道路14部分の画素の濃度、
c)各ライン画像ごとの白線濃度El:各ライン画像における白線13部分の画素の濃度、
d)各ライン画像ごとの道路濃度Er:各ライン画像における道路14部分の画素の濃度、
が上方視の画像tFのコントラストの調整を行うためのパラメータとして予め記憶手段4に格納されている。
【0026】
そして、上記した各パラメータAl,Ar,El,Erを用いて、各ライン画像ごとにコントラストの調整が行われる。すなわち、所定のライン画像の各画素に対して、
(変換後の画素濃度)=Ar+((変換前の画素濃度)−Er)・(Al−Ar)/(El−Er)
で示される演算が施されることにより所定のライン画像のコントラストの調整が行われ、全てのライン画像のコントラストの調整が行われることにより上方視の画像tFのコントラストが調整される。
【0027】
すなわち、各ライン画像ごとの濃度ヒストグラムにおける白線濃度Elおよび道路濃度Erの濃度範囲が、それぞれ白線濃度の基準値Alおよび道路濃度の基準値Arの濃度範囲となるように、各ライン画像を形成する各画素の濃度が線形変換される(図2参照)。
【0028】
このように上方視の画像tFのコントラストを調整すれば、白線13部分と、他車両12や落下物などの物体が存在する蓋然性の高い道路14部分とのコントラストが強調されると共に、上方視の画像tFの白線13部分全体の濃度が白線13部分における最も濃度が低い画素(最も輝度が高い画素)の濃度とほぼ同じ濃度となり、道路14部分全体の濃度が白線13部分における最も濃度が低い画素と同じライン画像に含まれる道路14部分の画素の濃度とほぼ同じ濃度となる。したがって、道路14部分全体の濃度がほぼ一様となるようにコントラストの調整が行われるため、道路14上に物体が存在する場合に、道路14部分と物体との境界が極めて明りょうな上方視の画像tFを得ることができる。
【0029】
なお、この実施形態では、白線濃度の基準値Alおよび道路濃度の基準値Arを、それぞれ、白線13部分における最も濃度が低い画素の濃度および該画素と同じライン画像に含まれる道路14部分の画素の濃度に設定したが、白線13部分と道路14部分との濃度差が所定以上の大きさとなり白線13部分と道路14部分とのコントラストを強調することができれば、これらの基準値Al,Arを異なる値で設定してもよい。また、道路濃度の基準値Arは、例えば、白線濃度の基準値Alを取得した画素と同じライン画像の道路14部分の任意の画素の濃度とすることができるが、道路14部分の濃度が一番高い(最も輝度が低い)の濃度としてもよく、また、道路14部分の画素の濃度の平均値としてもよい。
【0030】
また、各ライン画像ごとの道路濃度Erは、各ライン画像において、道路濃度の基準値Arを取得した画素と同じ位置の画素の濃度とするのが望ましく、道路濃度の基準値Arが道路14部分の画素の濃度の平均値であれば、道路濃度Erは、各ライン画像における道路14部分の画素の濃度の平均値とするのがよい。また、各ライン画像ごとの白線濃度Elは、各ライン画像において、白線濃度の基準値Alを取得した画素と同じ位置の濃度としてもよいし、各ライン画像における白線13部分の画素の濃度の平均値としてもよい。
【0031】
(5)認識手段6e
認識手段6eは、調整手段6dにより、白線13部分と道路14部分とのコントラストが強調されるようにコントラストが調整された上方視の画像tFに対して、微分フィルターなどの処理を施すことにより得られた微分画像eF(エッジ画像)などに基づいて、周知の手法により上方視の画像tFに含まれる道路14上の物体(他車両12)を認識する。
【0032】
また、複数フレームの撮影画像Fから上記したようにして認識された道路14上の物体の認識結果に基づいて、自車両1と物体(他車両12)との距離の変化を監視する。
【0033】
(6)報知手段6f
報知手段6fは、認識手段6eにより監視される、自車両1と物体(他車両12)との距離の変化に基づき、例えば走行モニタ7に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、物体の存在を視覚的にドライバに報知する。また、スピーカ8から、認識結果の音声メッセージ、警告音を発生して物体の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
【0034】
2.動作
次に、上記したように構成された物体認識装置2の動作について図4〜図6を参照して説明する。なお、この実施形態では、図3(a)に示すように、走行車線の自車両1の前方を先行車として他車両12が走行している状態を例に挙げて説明する。また、記憶手段4には、時系列で撮影された過去の撮影画像Fが射影変換されることによる上方視の画像tFに基づいて認識手段6eにより認識された物体候補としての各エッジの各画像内での位置に関する情報などが格納されるものとする。
【0035】
<基準濃度取得処理>
図4に示す基準濃度取得処理は、調整手段6dによる上方視の画像tFのコントラスト調整のためのパラメータを取得するための処理であり、自車両1の走行中の所定のタイミングで実行される。
【0036】
まず、単眼カメラ3により撮影された撮影画像Fであって、道路14に物体が存在していない撮影画像Fが、変換手段6bにより上方視の画像tFに射影変換される(ステップS1)。そして、検出手段6cにより、上方視の画像tFに含まれる白線13部分および道路14部分が検出される(ステップS2)。
【0037】
次に、調整手段6dにより、白線13部分の最も濃度の低い画素(最も輝度の高い画素)の濃度が白線濃度の基準値Alとして取得され(ステップS3)、基準値Alを取得した画素と同じライン画像に含まれる道路14部分の画素の濃度が道路濃度の基準値Arとして取得され、取得された基準値Al,Arが記憶手段4に記憶される(ステップS4)。
【0038】
そして、各ライン画像ごとに、白線13部分の濃度である白線濃度Elと、道路14部分の濃度である道路濃度Erとが調整手段6dにより取得され、取得された各ライン画像ごとの白線濃度Elおよび道路濃度Erが記憶手段4に記憶されて処理を終了する(ステップS5)。
【0039】
<物体認識装置2の動作の一例>
図5に示す処理は、自車両1の走行中に実行される処理であって、まず、自車両1のイグニッションキーのオンにより単眼カメラ3による撮影が開始されると、図3(a)に示すような、単眼カメラ3による自車両1の前方の撮影画像Fの信号が時々刻々とECU6に取得手段6aにより取込まれる(ステップS11)。そして、図3(b)に示すように、取込まれた撮影画像Fが変換手段6bにより上方視の画像tFに射影変換される(ステップS12)。
【0040】
次に、上方視の画像tFに対して後述するコントラスト調整処理が施されて、上方視の画像tFに含まれる白線13部分と道路14部分とのコントラストが強調される(ステップS13)。続いて、コントラストが調整された上方視の画像tFに基づく微分画像eFなどに基づいて道路14上の物体(他車両12)などが認識手段6eにより認識されて、認識された物体と自車両1との距離の時系列的な変化が監視される(ステップS14)。
【0041】
そして、物体(他車両12)が自車両1に異常接近するものであれば、走行モニタ7による警告表示が行われたり、スピーカ8から音声メッセージや警報音が出力されたりすることにより、物体の存在がドライバに報知手段6fにより報知される(ステップS15)。すなわち、この実施形態では、ECU6がプログラムを実行することにより備える機能により、他車両12が自車両1に異常接近すると判断されれば、報知手段6fによる報知が行われる。
【0042】
<コントラスト調整処理>
図6に示すコントラスト調整処理は、上方視の画像tFのコントラストを調整する処理であって、記憶手段4に記憶された濃度変換のための各パラメータAl,Ar,El,Erに基づいて各ライン画像ごとに調整手段6dによる白線13部分と道路14部分とのコントラストを強調する処理が行われ(ステップS21、ステップS22でNO)、全てのライン画像のコントラストが調整されれば処理を終了する(ステップS22でYES)。
【0043】
以上のように、この実施形態によれば、単眼カメラ3により撮影された撮影画像Fから道路14上の物体を認識するために、撮影画像Fが射影変換された上方視の画像tFに含まれる白線13部分の濃度と道路14部分の濃度との濃度差が所定以上の大きさとなるように上方視の画像tFのコントラストが調整手段6dにより調整され、コントラストが調整された上方視の画像tFを処理することにより認識手段6eにより物体が認識される。
【0044】
すなわち、道路14上の物体を認識するために、他車両12や落下物などの物体が存在する蓋然性の高い道路14部分と、車線(道路14)に沿って道路14上に描かれている白線13とに着目し、特に、白線13部分と道路14部分とのコントラストが強調されるように上方視の画像tFのコントラストが調整されるため、道路14上に物体が含まれているときには、道路14部分と物体との境界が極めて明りょうとなり、上方視の画像tFのコントラストを、上方視の画像tFに含まれる道路14上の物体の認識に最適な状態に調整することができる。したがって、コントラストが画像処理による物体認識に最適な状態に調整された上方視の画像tFを処理することで確実に道路14上の物体を認識することができる。
【0045】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ3を、後方を撮影可能に自車両1の後部に取付けてもよい。このように構成すると、自車両1の後方から異常接近する他車両が存在するかどうかを監視することができる。
【0046】
また、車線境界線としては上記した白線13に限られず、黄線など、車線境界線として道路14上に表示されているものであれば、どのようなものであってもよい。
【0047】
また、上記した実施形態では、予め取得されて記憶手段4に記憶された各パラメータAl,Ar,El,Erに基づいて上方視の画像tFのコントラストが調整されるように構成されているが、走行中に調整手段6dによりリアルタイムで取得された各パラメータAl,Ar,El,Erに基づいて上方視の画像tFのコントラストが調整されるように構成してもよい。また、予め記憶手段4に各パラメータAl,Ar,El,Erが格納された状態で物体認識装置2が搭載された車両などが工場出荷されるようにしてもよく、この場合、天候や走行路の明るさによる路面状況に応じた各パラメータAl,Ar,El,Erを予め記憶手段4に格納しておき、走行中の環境状況に応じて調整手段6dによる上方視の画像tFのコントラスト調整に用いられる各パラメータAl,Ar,El,Erを切換えるようにすることで、上方視の画像tFのコントラストを、路面状況に応じて、より一層、物体認識処理に最適な状態に調整することができる。
【0048】
また、上記した実施形態では、上方視の画像tFを形成する各ライン画像の濃度ヒストグラムを、所謂、線形変換することで、白線13部分と道路14部分とのコントラストが強調されるように構成されているが、濃度ヒストグラムを変換する処理としてはこれに限られず、上方視の画像tFに含まれる白線13部分と道路14部分とのコントラスト比が所定値以上に強調されるようにすれば、周知のどのような手法により上方視の画像tF(撮影画像F)のコントラストを調整してもよい。
【0049】
また、上記した実施形態では、ライン画像ごとに上方視の画像tF全体のコントラストを調整するように構成されているが、上方視の画像tFの白線13が含まれる所定領域のコントラストのみが部分的に調整されるように構成してもよい。また、撮影画像Fのコントラストを上記したように調整し、コントラストが調整された撮影画像Fを上方視の画像tFに射影変換するようにしてもよい。
【0050】
また、本発明は種々の車両の物体認識に適用することができる。
【符号の説明】
【0051】
2 物体認識装置
3 単眼カメラ(車載カメラ)
6d 調整手段(コントラスト調整手段)
12 他車両(物体)
13 白線(車線境界線)
14 道路
F 撮影画像

【特許請求の範囲】
【請求項1】
車載カメラにより撮影された撮影画像から道路上の物体を認識する物体認識装置であって、
前記撮影画像の少なくとも車線境界線が含まれる所定領域において、車線境界線部分の濃度と道路部分の濃度との濃度差が所定以上の大きさとなるように前記撮影画像の前記所定領域におけるコントラストを調整するコントラスト調整手段と、
前記コントラスト調整手段によりコントラストが調整された前記撮影画像を処理することにより前記物体を認識する物体認識手段と
を備えることを特徴とする物体認識装置。

【図1】
image rotate

【図2】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図3】
image rotate

【図8】
image rotate


【公開番号】特開2011−180860(P2011−180860A)
【公開日】平成23年9月15日(2011.9.15)
【国際特許分類】
【出願番号】特願2010−44922(P2010−44922)
【出願日】平成22年3月2日(2010.3.2)
【出願人】(000002967)ダイハツ工業株式会社 (2,560)
【Fターム(参考)】