駐車支援装置
【課題】複数のカメラからの撮影画像間における色合いの違いを、車両に取り付けるカラーリファレンス部材などを必要とせずに、簡単な方法で補正できる駐車支援装置を提供する。
【解決手段】自車周辺をそれぞれ異なる撮影視野で撮影する複数のカメラによる撮影画像から白色系道路標示などの特定の道路標示を抽出し、撮影画像から抽出された特定の道路標示に基づいて当該撮影画像に対してホワイトバランスなどの画像補正を施して補正撮影画像を生成する。生成された補正撮影画像から視点変換を通じて生成されたカメラ毎の俯瞰画像セグメントを合成して、モニタに表示する自車周辺の表示画像としての俯瞰画像が生成される。
【解決手段】自車周辺をそれぞれ異なる撮影視野で撮影する複数のカメラによる撮影画像から白色系道路標示などの特定の道路標示を抽出し、撮影画像から抽出された特定の道路標示に基づいて当該撮影画像に対してホワイトバランスなどの画像補正を施して補正撮影画像を生成する。生成された補正撮影画像から視点変換を通じて生成されたカメラ毎の俯瞰画像セグメントを合成して、モニタに表示する自車周辺の表示画像としての俯瞰画像が生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車周辺をそれぞれ異なる撮影視野で撮影する複数のカメラによる撮影画像に基づいて生成された俯瞰画像をモニタに表示して駐車支援する駐車支援装置に関する。
【０００２】
４台のカメラからの撮影画像から、車両の上方から見た画像である俯瞰画像セグメントを生成し、この４つの俯瞰画像セグメントを予め記憶しておいた車両を示すマークとともに合成してモニタに出力する装置が、特許文献１から知られている。この装置では、カメラで取得した撮像画像の歪みや明るさの違いを補正する変換式が、レンズ系の特徴に基づいて、撮像画像内の位置ごとにあらかじめ設定されており、この変換式に基づいて撮像画像が補正され、カメラの撮像範囲内における位置に関係なく、同じ物体や同じテクスチャが撮像画像内において常に同じように表示されるように意図されている。しかしながら、この装置では、カメラ毎に予め設定された変換式を用いているので、カメラ毎の輝度補正は良好に行えるが、環境光源によって生じる各カメラ間の撮影画像における色バランスなどを調整することができない。したがって、後方カメラがブレーキランプを主光源とする周辺風景を撮影し、前方カメラがフロントランプを主光源とする周辺風景を撮影し、サイドカメラが駐車場ランプを主光源とする周辺風景を撮影しているとすると、それぞれのカメラからの撮影画像に基づいて俯瞰画像を作成した場合、その俯瞰画像における色バランスが大きく崩れており、運転者にとって見づらい画像となる。
【０００３】
一般的には、光源による色かぶりの問題を解消するためにはホワイトバランス調整という技術が知られている。このホワイトバランス調整は、人間が撮像対象物を直接目視した場合に認識される表示色がその撮影画像においても正確に再現されるように撮影画像を調整する画像処理技術のひとつである。例えば、そのようなホワイトバランス調整技術を採用した車載用画像認識装置として、車両における所定の位置に配置された無彩色部材の撮影画像から推定される色温度に基づき、車外における支配的な光源（主光源）の色温度を推定して当該撮影画像における光源による影響を低減させる技術が特許文献２から知られている。つまり、車両に搭載された撮像手段により撮像された撮像画像に基づいて車外の光源の色温度を推定するために、車両における所定の位置に無彩色部材を設け、撮像手段により、無彩色部材及び上空を含むように車両の周辺の画像を撮像する。撮像した撮像画像中の無彩色部材の画像領域についてその画像領域の色温度を推定するとともに、撮像した撮像画像中の上空の画像領域についてその画像領域に存在する一又は複数の光源の色温度を推定する。そして、各推定結果に基づき、上空の画像領域に存在する光源の色温度のうち、無彩色部材の画像領域の色温度を含む所定の色温度判定範囲内にあるものを、最終的な色温度の推定結果とする。この技術では、車両における所定の位置に無彩色部材を配置することが必要となるだけでなく、このカラーリファレンスとなる無彩色部材が汚染されたり、局地的な光源種にさらされたりした場合には、正確な色温度の推定が不可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１５８９５８号公報 （段落番号〔００１１−００２１〕、図１）
【特許文献２】特開２００９‐２７１１２２号公報（段落番号〔０００９−００２１〕、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、上記従来技術の実情に鑑み、複数のカメラからの撮影画像間における色合いや輝度などの画像特性の違いを、車両に取り付けるカラーリファレンス部材などを必要とせずに簡単な方法で補正し、違和感の生じない俯瞰画像を生成する駐車支援装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明による駐車支援装置は、自車周辺をそれぞれ異なる撮影視野で撮影する複数のカメラによる撮影画像を取得する画像入力部と、
前記撮影画像から特定の色成分を有する識別可能な道路要素を抽出する特定道路標示抽出部と、
前記撮影画像から抽出された特定の道路標示に基づいて補正対象画像に対して画像補正を施して補正撮影画像を生成する撮影画像補正部と、
前記撮影画像に基づく画像から視点変換を通じて生成された前記カメラ毎の俯瞰画像セグメントを合成して、モニタに表示する自車周辺の表示画像としての俯瞰画像を生成する俯瞰画像生成部とを備え、前記補正対象画像が前記撮影画像又は前記俯瞰画像セグメントである。
【０００７】
道路路肩周辺や駐車場に区画された駐車領域にはその境界を示すための白線や、道路側に描かれた車線境界線、側道区画線などの道路標識、さらにには路面側溝に装着された溝蓋などの特定の色成分を有する識別可能な道路要素が存在している。この構成によると、そのような特定の色成分を有する道路要素を各カメラから取得された撮影画像から抽出し、この抽出された特定の色成分を有する道路要素を画像補正のためのカラーリファレンスとして用いる。つまり、各撮影画像において、抽出された特定の色成分を有する道路要素が所定の色成分になるように画像補正をする。これによって得られた補正撮影画像では、どのような主光源下で撮影されたものであっても、少なくとも特定の色成分を有する道路要素は特定の色となっている。従って、これらの補正撮影画像を用いて、自車周辺の表示画像としての俯瞰画像を生成し、モニタに表示すると、駐車時において最も重要であり、運転者が認識しやすい特定の色成分を有する道路要素は、俯瞰画像全体において同じ色、つまり特定の色で表示されるので、運転者は駐車支援のためにモニタに表示された俯瞰画像を違和感なしに見ることができる。
【０００８】
撮影画像補正部による、特定の色成分を有する道路要素をカラーリファレンスとした画像補正は、俯瞰画像セグメントを生成するための元画像に対して行ってもよいし、生成された俯瞰画像セグメントに対して行っても良い。従って、好適な実施形態の１つでは、前記俯瞰画像生成部は、前記撮影画像補正部によって生成された補正撮影画像から前記俯瞰画像セグメントを生成する。また、好適な実施形態の他の１つでは、前記撮影画像補正部は、前記俯瞰画像生成部によって生成された俯瞰画像セグメントに対して画像補正を施し、この画像補正された俯瞰画像セグメントから前記俯瞰画像が生成される。
【０００９】
上述したような道路要素をカラーリファレンスとした画像補正において特に好適な画像補正は、ホワイトバランス補正である。従って、特に好適な実施形態として、前記特定の道路要素が白色系道路標示であり、前記画像補正がホワイトバランス補正であり、前記撮影画像補正部は、前記撮影画像から抽出された白色系道路標示に基づいて当該撮影画像に対してホワイトバランス補正を施して補正撮影画像を生成する駐車支援装置が提案される。つまり、この好適な駐車支援装置の特徴は、自車周辺をそれぞれ異なる撮影視野で撮影する複数のカメラによる撮影画像を取得する画像入力部と、前記撮影画像から白色系道路標示を抽出する白色系道路標示抽出部と、前記撮影画像から抽出された白色系道路標示に基づいて当該撮影画像に対してホワイトバランス補正を施して補正撮影画像を生成する撮影画像補正部と、前記補正撮影画像から視点変換を通じて生成された前記カメラ毎の俯瞰画像セグメントを合成して、モニタに表示する自車周辺の表示画像としての俯瞰画像を生成する俯瞰画像生成部とを備えている点にある。
【００１０】
道路路肩周辺や駐車場に区画された駐車領域にはその境界を示すための白線や、道路側に描かれた車線境界線などの白色系道路標示が存在している。この構成によると、そのような白色系道路標示を各カメラから取得された撮影画像から抽出し、この抽出された白色系道路標示をホワイトバランス補正のためのカラーリファレンスとして用いる。つまり、各撮影画像において、抽出された白色系道路標示が所定の白系色になるように色補正する。これによって得られた補正撮影画像では、どのような主光源下で撮影されたものであっても、少なくとも白色系道路標示は所定の白系色となっている。従って、これらの補正撮影画像から視点変換を通じて、自車周辺の表示画像としての俯瞰画像を生成し、モニタに表示すると、駐車時において最も重要であり、運転者が注目する、駐車境界線を示す白線等の白色系道路標示は、俯瞰画像全体において同じ色、つまり所定の白系色で表示されるので、運転者は駐車支援のためにモニタに表示された俯瞰画像を違和感なしに見ることができる。
【００１１】
駐車場では、大抵の場合、白色系道路標示の一例として駐車領域の境界を示すために直線的な駐車白線が存在しているので、俯瞰画像を生成するための各撮影画像にそのような白色系道路標示が含まれている可能性が高い。しかしながら、車両の向きや姿勢によっては、特定のカメラの撮影画像には白色系道路標示が含まれていない可能性もある。したがって本発明の好適な実施形態の１つでは、前記撮影画像補正部は、前記白色系道路標示が抽出されなかった撮影画像に対して、前回の補正撮影画像の生成時に用いられたホワイトバランス補正パラメータに基づいて擬似ホワイトバランス補正を施して補正撮影画像を生成するように構成されている。この構成によれば、ホワイトバランス補正を行うとする撮影画像から白色系道路標示が抽出されなければ、前回に使用されたホワイトバランス補正パラメータを用いてホワイトバランス補正が行われる。環境光源の状態が短い時間間隔で大きく変化する可能性は少ないので、前回の白色系道路標示抽出点から時間的または距離的に所定以上離れていない場合、前回のホワイトバランス補正パラメータに基づいて補正しても、満足できる補正撮影画像が得られる。
【００１２】
駐車経路や車両姿勢によっては、特定のカメラの撮影画像から白色系道路標示が抽出されない状態が続く場合がある。このような事態に対処するため、本発明の好適な実施形態の１つでは、前記白色系道路標示が抽出されなかった撮影画像に対する擬似ホワイトバランス補正は、当該撮影画像のカメラに隣接するカメラによる撮影画像の補正撮影画像の生成時に用いられたホワイトバランス補正パラメータに基づいて行われる。この構成では、隣接する同士のカメラによる撮影画像は主光源が同じ可能性が高いことから、一方の補正に用いられたホワイトバランス補正パラメータを流用される。これにより、相互の補正撮影画像において違和感を生じるような色ずれなどは抑制される。
【００１３】
本発明の好適な実施形態の１つでは、路面に描画されている駐車白線を境界基準として駐車領域を設定する駐車領域設定部が備えられており、当該駐車白線の認識情報が前記白色系道路標示として利用される。この構成は、従来から知られている、所定の駐車位置に車両を駐車させる運転操作を支援する駐車支援装置における、白色系道路標示としての白線認識技術を利用するものである。例えば、特開２００８−２８４９６９号公報に記載されている駐車支援装置では、駐車区画を示す白線を画像認識し、その認識結果に基づいて駐車目標位置を定め、当該駐車目標位置と後退開始位置において停車している車両の位置とに基づいて誘導経路を計算して、当該誘導経路に基づいて駐車支援を行う。このように駐車白線の認識技術を備えている駐車支援装置に本発明によるホワイトバランス補正技術を組み込むことで、違和感のない俯瞰画像をモニタ表示することができる。つまり、認識された駐車白線に関する情報に基づいて撮影画像から駐車白線を抽出して、その抽出された駐車白線をカラーリファレンスとして用いてホワイトバランス補正を施すことにより、違和感のない俯瞰画像が生成される。
【図面の簡単な説明】
【００１４】
【図１】本発明による駐車支援装置の好適な実施形態で用いられている、複数カメラによる撮影画像にホワイトバランス補正を施し、補正された撮影画像に基づいて俯瞰画像を生成する基本的な生成過程を説明する模式図である。
【図２】本発明による駐車支援装置を搭載した車両の一部を切り欠いた車両斜視図である。
【図３】複数の車載カメラの撮影範囲を示す平面図である。
【図４】駐車支援制御ユニットを含む車両制御システムの一部を模式的に示す機能ブロック図である。
【図５】画像処理モジュールの機能ブロック図である。
【図６】撮影画像に対して、白線を用いホワイトバランス補正及び擬似ホワイトバランス補正を施す過程を模式的に示す説明図である。
【図７】補正撮影画像から俯瞰画像が生成される工程を模式的に示す説明図である。
【図８】白線が強調された俯瞰画像を含むモニタ表示画像を示すモニタ画面図である。
【発明を実施するための形態】
【００１５】
まず、図１を用いて、本発明による駐車支援装置の好適な実施形態を説明する。なお、ここでは、 特定の道路要素が白色系道路標示であり、画像補正がホワイトバランス補正である。つまり、当該撮影画像に対してホワイトバランス補正を施して補正撮影画像を生成される構成が採用されている。複数カメラによる撮影画像から抽出された白色系道路標示に基づいて撮影画像にホワイトバランス補正を施すことで補正された撮影画像に基づいて俯瞰画像を生成する基本的な生成過程を説明する。ここでの例では、後進車庫入れ駐車時に４台のカメラで取得される複数の撮影画像を、駐車用白色系道路標示に基づいてホワイトバランス補正を行い、補正された撮影画像から自車周辺俯瞰画像（以後、単に俯瞰画像と略称する）が生成される。駐車領域を境界付けている駐車白線（以下単に白線と略称する）ＷＭが駐車用白色系道路標示の一例として採用されている。ここで駐車支援される乗用車（以下自車と称す）は、リア、フロント、左右サイドをそれぞれ撮影視野とする４台のカメラを搭載しており、各カメラによって取得された、ここでは（１ａ）、（１ｂ）、（１ｃ）、（１ｄ）で符号付けられた４つの撮影画像によって、自車周囲は実質的に隙間なくカバーされている。
【００１６】
駐車領域（この例では、駐車方向に延びた２つの白線ＷＭで区画された領域）が確定され、後進駐車が開始されると、各カメラによって撮影された撮影画像（１ａ）、（１ｂ）、（１ｃ）、（１ｄ）が取得される（＃０１）。取得された撮影画像から、それ自体は公知の白線検出アルゴリズムを用いた、白線ＷＭの検出処理が行われる。白線ＷＭが検出されると、その白線ＷＭの境界線で囲まれた白線領域が抽出され、その領域の平均画素値（例えばＲ・Ｇ・Ｂ値）などを含む白線情報が生成される（＃０２）。白線情報が生成されると、この白線情報の内容と、対応する撮影画像の画像特性（ｋa：平均画素値や輝度ヒストグラムなど）とに基づいて、補正パラメータを生成する（＃０３）。この補正パラメータは、処理対象となっている撮影画像の白線ＷＭが所定の白色に変換されるパラメータ群を意味しており、ホワイトバランス補正パラメータ（ホワイトバランス補正曲線：Ｐa＝ｆ(ｋa)）である。これらのホワイトバランス補正パラメータ（Ｐa＝ｆ(ｋa)；Ｐb＝ｆ(ｋb)；Ｐc＝ｆ(ｋc)；Ｐd＝ｆ(ｋd)）は全ての撮影画像（１ａ）、（１ｂ）、（１ｃ）、（１ｄ）に対して生成される。続いて、このホワイトバランス補正パラメータを当該撮影画像全体に施すことにより、４つの撮影画像に対してホワイトバランス補正が実行され、４つの補正撮影画像が生成される（＃０４）。この４つの補正撮影画像では、少なくとも白線ＷＭの色が統一されているとともに、その他の画像領域における色かぶりなども抑制されるので、相互の色合いの違いが改善されることになる。次いで、各補正撮影画像を視点変換することにより、カメラ毎の俯瞰画像セグメントが生成され、これらの俯瞰画像セグメントが合成され、俯瞰画像が生成される（＃０５）。生成された俯瞰画像は、例えば、バックカメラの撮影画像をそのまま利用したバックモニタ画像とともにモニタ表示される（＃０６）。
【００１７】
図１を用いて説明した実施形態では、駐車用白色系道路標示を用いてホワイトバランス補正された補正撮影画像から俯瞰画像セグメントが生成される手順が示されていたが、これに代えて、先に俯瞰画像セグメントを生成し、この俯瞰画像セグメントに対して駐車用白色系道路標示を用いてホワイトバランス補正を行う手順を採用してもよい。
【００１８】
以下、本発明の実施形態の具体例を図面に基づいて説明する。本実施形態での駐車支援装置は、自車に備えられた前方カメラ、左右サイドカメラ、後方カメラのうちの駐車方向と左右方向とを撮影するカメラの撮影画像とから生成される俯瞰画像をモニタ表示するものである。
図２と、図３に示すように、この車両は、左右の前輪１１ａと１１ｂが操向車輪として、左右の後輪１２ａと１２ｂが非操向車輪として構成されている。車両後部、即ちバックドア９１には後方カメラ１ａが備えられている。左前部ドアに備えられた左サイドミラー９２の下部には左サイドカメラ１ｂが備えられ、右前部ドアに備えられた右サイドミラー９３の下部には右サイドカメラ１ｃが備えられている。また、車両前部には、前方カメラ１ｄが備えられている。以下の説明において、適宜、これらのカメラ１ａ〜１ｄを総称してカメラ１（車載カメラ）と称する。
【００１９】
カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向にほぼ１８０°の視野角が確保されている。後方カメラ１ａ及び前方カメラ１ｄは、光軸に約３０度程度の俯角を有して車両に設置され、車両からおおよそ８ｍ程度までの領域を撮影可能である。左サイドカメラ１ｂ及び右サイドカメラ１ｃはサイドミラー９２及び９３の底部に光軸を下方に向けて設置され、車両側面の一部と路面（地面）とがその視野内となる。駐車支援においては、カメラ１による撮影画像ないしは当該撮影画像を用いて生成された俯瞰画像がモニタ２１に表示される。また、駐車出発点から目標とする駐車領域までの駐車経路に基づく音声による駐車案内もスピーカ２２から発せられる。駐車領域の確認やその他の操作入力はモニタ２１に装着されたタッチパネル２１Ｔを通じて行われる。
【００２０】
車両内部には、本発明の駐車支援装置の中核をなす駐車支援制御ユニット（以下単にＥＣＵと称する）２０が配置されている。このＥＣＵ２０は、図４に示すように、情報の入出力を行う入出力インターフェースとしてセンサ入力インターフェース２３や通信インターフェース７０などを備えると共に、入出力インターフェースを介して得られる情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。また、入出力インターフェースの一部又は全てがこのようなプロセッサに含まれていてもよい。
【００２１】
センサ入力インターフェース２３には、運転操作や移動状態を検出するための車両状態検出センサ群が接続されている。車両状態検出センサ群には、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ２４、シフトレバーのシフト位置を判別するシフト位置センサ２５、アクセルペダルの操作量を計測するアクセルセンサ２６、ブレーキペダルの操作量を検出するブレーキセンサ２７、自車の走行距離を検出する距離センサ２８などが含まれている。
また、通信インターフェース７０は、車載ＬＡＮを採用しており、タッチパネル２１Ｔやモニタ２１だけでなく、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。
【００２２】
ＥＣＵ２０には、報知出力機能部として、表示制御部７１と、音声処理モジュール７２が備えられている。ＧＵＩ用の各種画像情報や車両誘導のための報知メッセージを含む撮影画像情報は表示制御部７１を介してモニタ２１に表示される。音声処理モジュール７２で生成された車両誘導のための音声ガイドや緊急時の警告音などはスピーカ２２から出力される。さらに、ＥＣＵ２０には、白色系道路標示認識部３０と、駐車領域設定部３１と、目標駐車位置算定部３２と、駐車経路生成部３３と、誘導制御部３４と、位置情報算定部３５と、画像処理モジュール５０とが備えられる。
【００２３】
白色系道路標示認識部３０は、ここでは駐車領域の区画を決定している白線を認識する駐車白線認識部として構成されている。この白線認識は、例えば画像処理モジュール５０に一時的に格納されている撮影画像に微分フィルタをかけて得られるエッジ画素に対してハフ変換などを用いて直線当てはめを行うことによって行われる。そのような白線認識アルゴリズムはそれ自体公知であり、例えば特開２００６−１７５９１８号公報や特開２００８−２８４９６９号公報に詳しく記載されているので、ここではこれ以上の説明は省略する。
【００２４】
駐車領域設定部３１は、白色系道路標示認識部３０によって認識された白線の位置情報から自車を駐車させるための駐車領域を設定する。なお、この駐車領域の設定を、モニタ２１に表示された撮影画像を通じてマニュアル操作で設定するような方式を採用してもよい。
目標駐車位置算定部３２は、駐車領域設定部３１によって設定された駐車領域内における駐車走行の到達点となる目標駐車位置としての駐車完了位置を、駐車領域の寸法や自車の寸法や設定する。自車が目標駐車位置で停止することで、自車は駐車領域内の適切な位置（例えば真ん中）に駐車することになる。
【００２５】
駐車経路生成部３３は、駐車経路を生成する。この駐車経路は、駐車支援が開始された駐車出発点から駐車目標位置である駐車完了位置までを結ぶ経路であり、部分的に直線が含まれたり、または全体として直線であったりしてもよいが、実質的には１つ以上の曲線で示すことができる。なお駐車経路の生成アルゴリズムは、従来から知られており、特開２００３‐２３７５１１号公報や特開２００８‐２８４９６９号公報などを参照することができる。
【００２６】
位置情報算定部３５は、自車の移動時に、自車の誘導に必要な現在の車両位置と、自車に対する目標駐車領域の位置とを取得する。つまり、位置情報算定部３５では自車の移動に伴って変化する自車の位置情報を検出する車両位置検出処理と、自車の移動に伴って変化する目標駐車領域との相対的な位置関係を算定する駐車領域相対位置算定処理とを行う。これらの処理はカメラ１で取得された撮影画像と、距離センサ２８で取得する車両移動量と、ステアリングセンサ２４で計測されるステアリングホイールの操舵量とに基づいて行われる。
【００２７】
誘導制御部３４は、駐車経路生成部３３によって生成された直接駐車経路に基づく駐車を誘導する。その際、位置情報算定部３５からの位置情報が参照される。誘導制御部３４は、位置情報算定部３５からの位置情報を参照しながら、駐車経路に沿うように誘導制御によって自車を走行させる制御を実現することができる。しかしながら、誘導制御部３４がパワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫを制御する自動操舵は後進走行だけに限定して、前進走行は人為操舵とするといったように、部分的に人為操舵を組み込んでもよい。この誘導制御部３４による誘導情報は画像処理モジュール５０や音声処理モジュール７２に送られるので、要求に応じてに応じて操舵方向や操舵量がモニタ２１に表示され、あるいは操舵方向や操舵量がスピーカ２２から出力される。いずれにせよ、モニタ２１には、画像処理モジュール５０によって生成された俯瞰画像が表示されるので、運転者は駐車プロセスにおける自車の位置関係を容易に理解できる。
【００２８】
図５に、ＥＣＵ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影する複数のカメラ１によって取得された撮影画像に統一感を与えるように、少なくとも白線ＷＭの色を所定色に合わす機構と、撮影画像から自車上方を視点とする視点変換によって俯瞰画像を生成する機能とを有している。
【００２９】
画像処理モジュール５０は、画像入力部５１、撮影画像メモリ５２、白色系道路標示抽出部５３、撮影画像補正部５４、画像生成部６０、画像合成部６７を含んでいる。画像入力部５１は、各カメラ１によって取得された撮影画像はを撮影画像メモリ５２に展開する。白色系道路標示抽出部５３は、ここでは駐車区画線である白線ＷＭを、上記した白色系道路標示認識部３０から送られてくる白線認識情報に基づいて対応する撮影画像から白線ＷＭの画像領域の画素値などの画像特徴量を抽出する。
【００３０】
撮影画像補正部５４は、補正パラメータ算定部５５、ホワイトバランス補正部５６、擬似ホワイトバランス補正部５７を有する。次に、図６を参照しながら、この撮影画像補正部５４による補正機能を説明する。補正パラメータ算定部５５は、白色系道路標示抽出部５３によって抽出された白線ＷＭに関する画像特徴量や、撮影画像メモリ５２に展開されている処理対象の撮影画像（（１ａ）、（１ｂ）、（１ｃ）、（１ｄ）のいずれか）の画像特徴量などである補正パラメータ算定因子群ｋa、ｋb、ｋc、ｋdから、処理対象の撮影画像で認識された白線ＷＭの色を所定の色（例えば予め設定された白色）とするためのホワイトバランス補正パラメータ（以下単に補正パラメータと略称する）を算定する。この補正パラメータを導出する関数をｆとし、各撮影画像のための補正パラメータをＰa、Ｐb、Ｐc、Ｐdとすると、
Ｐa＝ｆ(ｋa)、Ｐb＝ｆ(ｋb)、Ｐc＝ｆ(ｋc)、Ｐd＝ｆ(ｋd)、
と表すことができる。なお、補正パラメータは一般的にはマトリックスで表されるが、機能的には、入力値を所定の出力値に変換する変換曲線のようなものである。
【００３１】
ホワイトバランス補正部５６は、各補正パラメータＰa、Ｐb、Ｐc、Ｐdを用いて対応する撮影画像に対してホワイトバランス補正を施し、つまり〔補正撮影画像（１ａ）〕＝〔撮影画像（１ａ）〕＊〔Ｐa〕のようなマトリックス演算を施し、各補正撮影画像を生成する。
【００３２】
擬似ホワイトバランス補正部５７は、図６においては、撮影画像（１ｃ）や撮影画像（１ｄ）のように白線ＷＭが認識されなかった場合、以下に説明するような擬似的なホワイトバランス補正を白線ＷＭが認識されなかった撮影画像に施す機能を有する。この擬似ホワイトバランス補正として２種類の例をここで示す。
【００３３】
第１の擬似ホワイトバランス補正は、白線ＷＭが認識されなかった撮影画像を取得したカメラ１による、今回の駐車プロセスにおけるこれまでの撮影画像において認識された白線ＷＭがあれば、その白線ＷＭに基づく補正パラメータを用いて行うホワイトバランス補正である。つまり、時間的または走行距離的に所定値だけ遡った時点で用いた補正パラメータを用いる補正である。第２の擬似ホワイトバランス補正は、白線ＷＭが認識されなかった撮影画像を取得したカメラ１以外の、好ましくは隣接するカメラ１の撮影画像で白線ＷＭが認識されている場合、その白線ＷＭに基づく補正パラメータに基づいて行うホワイトバランス補正である。例えば、図６の例では、撮影画像（１ｄ）を取得するカメラ１ｄに隣接するカメラ１ｂによる撮影画像（１ｂ）で白線ＷＭが認識されているので、その白線ＷＭに基づく補正パラメータＰｂを用いて、つまりＰd＝ｇ(Ｐb)で導出される補正パラメータを用いて、撮影画像（１ｄ）のホワイトバランス補正が行われる。同様に、撮影画像（１ｃ）ホワイトバランス補正が、Ｐc＝ｇ(Ｐa)で導出される補正パラメータを用いて行われる。また、図示された例とは異なるが、撮影画像（１ｄ）を取得するカメラ１ｄに隣接するカメラ１ｂ及び１ｃによる撮影画像（１ｂ）及び（１ｃ）において白線ＷＭが認識されていた場合、それらの白線ＷＭに基づく補正パラメータＰdから撮影画像（１ｄ）のための補正パラメータＰdを導出することも可能である。この導出は、Ｐd＝h(Ｐb,Ｐc)と表されるが、例えばその関数hとしてその中間値を求める関数などを採用することができる。
なお、この第１又は第２の擬似ホワイトバランス補正の選択基準としては、第１の擬似ホワイトバランス補正を、所定走行距離内で生成された補正パラメータＰdが存在することを条件として、優先することが好ましい。
【００３４】
画像生成部６０は、通常画像生成部６１、周辺俯瞰画像生成部６２、マッピングテーブル６３、強調標示イメージ生成部６４、自車イメージ生成部６５、報知イメージ生成部６６を含んでいる。
通常画像生成部６１は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像はカメラ毎に独立しており、そのモニタ表示を任意に選択することができる。
【００３５】
周辺俯瞰画像生成部６２は、図７で模式的に示されているように、撮影画像補正部５４によって補正された後の補正撮影画像をマッピングテーブル６３に仮想視点毎に用意された視点変換テーブルを用いて俯瞰画像セグメントを生成して、画像合成部６７に送る。その際に使用される仮想視点位置は、予め設定しておいてもよいし、任意に設定されるように構成してもよい。なお、マッピングテーブル６３の視点変換テーブルは種々の形態で構築することができるが、撮影画像の画素データと俯瞰画像セグメントの画素データとの対応関係が記述されたテーブルとして構築し、１フレームの撮影画像の各画素に、俯瞰画像セグメントにおける行き先画素座標が記述されたものとするのが好都合である。
【００３６】
強調標示イメージ生成部６４は、ここでは白色系道路標示抽出部５３で抽出された白線ＷＭの色彩的に又は形状的にあるいはその両方で視覚的に強調された白線イメージを生成し、当該白線イメージをその俯瞰画像における座標位置とともに、画像合成部６７に送る。
自車イメージ生成部６５は、俯瞰画像の中央に配置される自車のイメージを準備して、画像合成部６７に送る。報知イメージ生成部６６は、駐車支援時に運転者に与えるメッセージなどが発生した場合これをイメージ化して、画像合成部６７に送る。
【００３７】
画像合成部６６は、周辺俯瞰画像生成部６２からの俯瞰画像セグメントを合成して生成した俯瞰画像に、強調標示イメージ生成部６４からの強調標示イメージ、自車イメージ生成部６５からの自車イメージと、報知イメージ生成部６５からの報知イメージを合成してモニタ表示用俯瞰画像（表示画像）を生成する。その際、モニタ表示画像としては、図８に例示するように、当該俯瞰画像だけでなく、バックモニタ画像などを区分け配置してモニタ出力すると好都合である。
【００３８】
次に、上述のように構成された駐車支援装置による駐車支援制御における一連の動作を以下に説明する。
（１）後進駐車を行う場合には、駐車領域がリアカメラ１ａの撮影視野に入るような位置で停止し、駐車支援を起動する。
（２）リアカメラ１ａからの撮影画像に基づいて、白色系道路標示認識部３０が白線認識を行い、認識された白線ＷＭに関する認識情報を生成する。
（３）この認識情報に基づいて駐車領域設定部３１が駐車領域を設定するとともに、目標駐車位置算定部３２が目標駐車位置を算定する。
（４）停車している自車位置を駐車出発位置とするとともに、この駐車出発位置と駐車目標位置との間の駐車経路を駐車経路生成部３３が生成する。
（５）画像処理モジュール５０において、４台のカメラ１からの撮影画像が取得され、各撮影画像に対して図６に示す手順でホワイトバランス補正が施される。
（６）補正された撮影画像を用いて、図７に示す手順で俯瞰画像が生成され、図８に示すようなモニタ表示画像がモニタ２１に表示される。
（７）誘導制御部３４による車両誘導が始まると、モニタ２１には駐車支援としての車両誘導メッセージなどの報知メッセージも俯瞰画像とともに表示される。
（８）所定距離の走行が行われる毎に、自車が駐車目標位置に到達したかどうかチェックされ、自車が駐車目標位置に到達していなければ、新たな撮影画像での俯瞰画像を生成し、これをモニタ表示しながら車両誘導が続行する。
（９）自車が駐車目標位置に到達すれば、自車は停止し、この駐車支援制御が終了する。
【００３９】
〔変形例〕
（１）上述した実施の形態では、撮影画像はカラー画像として取り扱い、認識された白線をリファレンスとしてホワイトバランス補正パラメータを算定し、この補正パラメータを用いてホワイトバランス補正を行い、補正された撮影画像から俯瞰画像を生成していた。これに代えて、補正された撮影画像をグレースケール変換して得られるモノクロ撮影画像から俯瞰画像を生成して、モニタ画像としてもよい。さらには、このホワイトバランス補正技術をそのままモノクロ画像処理に転用し、モノクロの撮影画像から補正パラメータを算定し、この補正パラメータを用いて画像補正を行い、補正された撮影画像から俯瞰画像を生成してもよい。つまり、ここでのホワイトバランス補正は、広義の意味で解釈されるべきで、例えば、カラー撮影画像のみならず、モノクロ撮影画像にも適用することが可能ものである。
【００４０】
（２）上記実施の形態では、白色系道路標示として、駐車領域を境界付ける白線（駐車）がされていたが、その他の道路標示、例えば、「ＩＮ（入口）」や「ＯＵＴ（出口）」といった文字標示なども同様に取り扱うことができる。
【００４１】
〔別実施形態〕
上述した実施の形態では、特定の道路要素が白色系道路標示であり、前記画像補正がホワイトバランス補正であった。しかしながら、本発明は、そのような特定の道路要素や画像補正に限定されるわけではない。例えば、特定の道路要素として、道路区画線、側道区画線などの道路標識、さらには路面に敷設された縁石、路面側溝に装着された溝蓋などの識別可能な特定の色成分を有する道路要素なら、カラーリファレンスとして採用可能である。また、撮影画像補正部５４もホワイトバランス補正以外に、色あわせ（色合いを合わせる）や、輝度調整、ガンマ調整などの画像補正を行うものとして構成することも可能である。
【産業上の利用可能性】
【００４２】
本発明は、駐車時における自車両周囲の状況を運転者に認識させるための俯瞰画像を表示することで運転者の運転操作を支援する駐車支援装置に利用することができる。
【符号の説明】
【００４３】
１：カメラ
３０：白色系道路標示認識部
５０：入力画像処理モジュール
５１：画像入力部
５３：白色系道路標示抽出部
５４：撮影画像補正部
５５：補正パラメータ算定部
５６：ホワイトバランス補正部
５７：擬似ホワイトバランス補正部
６０：画像生成部
６２：周辺俯瞰画像生成部
６３：マッピングテーブル
６４：強調標示イメージ生成部
ＷＭ：白線（駐車白線、白色系道路標示）
【技術分野】
【０００１】
本発明は、自車周辺をそれぞれ異なる撮影視野で撮影する複数のカメラによる撮影画像に基づいて生成された俯瞰画像をモニタに表示して駐車支援する駐車支援装置に関する。
【０００２】
４台のカメラからの撮影画像から、車両の上方から見た画像である俯瞰画像セグメントを生成し、この４つの俯瞰画像セグメントを予め記憶しておいた車両を示すマークとともに合成してモニタに出力する装置が、特許文献１から知られている。この装置では、カメラで取得した撮像画像の歪みや明るさの違いを補正する変換式が、レンズ系の特徴に基づいて、撮像画像内の位置ごとにあらかじめ設定されており、この変換式に基づいて撮像画像が補正され、カメラの撮像範囲内における位置に関係なく、同じ物体や同じテクスチャが撮像画像内において常に同じように表示されるように意図されている。しかしながら、この装置では、カメラ毎に予め設定された変換式を用いているので、カメラ毎の輝度補正は良好に行えるが、環境光源によって生じる各カメラ間の撮影画像における色バランスなどを調整することができない。したがって、後方カメラがブレーキランプを主光源とする周辺風景を撮影し、前方カメラがフロントランプを主光源とする周辺風景を撮影し、サイドカメラが駐車場ランプを主光源とする周辺風景を撮影しているとすると、それぞれのカメラからの撮影画像に基づいて俯瞰画像を作成した場合、その俯瞰画像における色バランスが大きく崩れており、運転者にとって見づらい画像となる。
【０００３】
一般的には、光源による色かぶりの問題を解消するためにはホワイトバランス調整という技術が知られている。このホワイトバランス調整は、人間が撮像対象物を直接目視した場合に認識される表示色がその撮影画像においても正確に再現されるように撮影画像を調整する画像処理技術のひとつである。例えば、そのようなホワイトバランス調整技術を採用した車載用画像認識装置として、車両における所定の位置に配置された無彩色部材の撮影画像から推定される色温度に基づき、車外における支配的な光源（主光源）の色温度を推定して当該撮影画像における光源による影響を低減させる技術が特許文献２から知られている。つまり、車両に搭載された撮像手段により撮像された撮像画像に基づいて車外の光源の色温度を推定するために、車両における所定の位置に無彩色部材を設け、撮像手段により、無彩色部材及び上空を含むように車両の周辺の画像を撮像する。撮像した撮像画像中の無彩色部材の画像領域についてその画像領域の色温度を推定するとともに、撮像した撮像画像中の上空の画像領域についてその画像領域に存在する一又は複数の光源の色温度を推定する。そして、各推定結果に基づき、上空の画像領域に存在する光源の色温度のうち、無彩色部材の画像領域の色温度を含む所定の色温度判定範囲内にあるものを、最終的な色温度の推定結果とする。この技術では、車両における所定の位置に無彩色部材を配置することが必要となるだけでなく、このカラーリファレンスとなる無彩色部材が汚染されたり、局地的な光源種にさらされたりした場合には、正確な色温度の推定が不可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１５８９５８号公報 （段落番号〔００１１−００２１〕、図１）
【特許文献２】特開２００９‐２７１１２２号公報（段落番号〔０００９−００２１〕、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、上記従来技術の実情に鑑み、複数のカメラからの撮影画像間における色合いや輝度などの画像特性の違いを、車両に取り付けるカラーリファレンス部材などを必要とせずに簡単な方法で補正し、違和感の生じない俯瞰画像を生成する駐車支援装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明による駐車支援装置は、自車周辺をそれぞれ異なる撮影視野で撮影する複数のカメラによる撮影画像を取得する画像入力部と、
前記撮影画像から特定の色成分を有する識別可能な道路要素を抽出する特定道路標示抽出部と、
前記撮影画像から抽出された特定の道路標示に基づいて補正対象画像に対して画像補正を施して補正撮影画像を生成する撮影画像補正部と、
前記撮影画像に基づく画像から視点変換を通じて生成された前記カメラ毎の俯瞰画像セグメントを合成して、モニタに表示する自車周辺の表示画像としての俯瞰画像を生成する俯瞰画像生成部とを備え、前記補正対象画像が前記撮影画像又は前記俯瞰画像セグメントである。
【０００７】
道路路肩周辺や駐車場に区画された駐車領域にはその境界を示すための白線や、道路側に描かれた車線境界線、側道区画線などの道路標識、さらにには路面側溝に装着された溝蓋などの特定の色成分を有する識別可能な道路要素が存在している。この構成によると、そのような特定の色成分を有する道路要素を各カメラから取得された撮影画像から抽出し、この抽出された特定の色成分を有する道路要素を画像補正のためのカラーリファレンスとして用いる。つまり、各撮影画像において、抽出された特定の色成分を有する道路要素が所定の色成分になるように画像補正をする。これによって得られた補正撮影画像では、どのような主光源下で撮影されたものであっても、少なくとも特定の色成分を有する道路要素は特定の色となっている。従って、これらの補正撮影画像を用いて、自車周辺の表示画像としての俯瞰画像を生成し、モニタに表示すると、駐車時において最も重要であり、運転者が認識しやすい特定の色成分を有する道路要素は、俯瞰画像全体において同じ色、つまり特定の色で表示されるので、運転者は駐車支援のためにモニタに表示された俯瞰画像を違和感なしに見ることができる。
【０００８】
撮影画像補正部による、特定の色成分を有する道路要素をカラーリファレンスとした画像補正は、俯瞰画像セグメントを生成するための元画像に対して行ってもよいし、生成された俯瞰画像セグメントに対して行っても良い。従って、好適な実施形態の１つでは、前記俯瞰画像生成部は、前記撮影画像補正部によって生成された補正撮影画像から前記俯瞰画像セグメントを生成する。また、好適な実施形態の他の１つでは、前記撮影画像補正部は、前記俯瞰画像生成部によって生成された俯瞰画像セグメントに対して画像補正を施し、この画像補正された俯瞰画像セグメントから前記俯瞰画像が生成される。
【０００９】
上述したような道路要素をカラーリファレンスとした画像補正において特に好適な画像補正は、ホワイトバランス補正である。従って、特に好適な実施形態として、前記特定の道路要素が白色系道路標示であり、前記画像補正がホワイトバランス補正であり、前記撮影画像補正部は、前記撮影画像から抽出された白色系道路標示に基づいて当該撮影画像に対してホワイトバランス補正を施して補正撮影画像を生成する駐車支援装置が提案される。つまり、この好適な駐車支援装置の特徴は、自車周辺をそれぞれ異なる撮影視野で撮影する複数のカメラによる撮影画像を取得する画像入力部と、前記撮影画像から白色系道路標示を抽出する白色系道路標示抽出部と、前記撮影画像から抽出された白色系道路標示に基づいて当該撮影画像に対してホワイトバランス補正を施して補正撮影画像を生成する撮影画像補正部と、前記補正撮影画像から視点変換を通じて生成された前記カメラ毎の俯瞰画像セグメントを合成して、モニタに表示する自車周辺の表示画像としての俯瞰画像を生成する俯瞰画像生成部とを備えている点にある。
【００１０】
道路路肩周辺や駐車場に区画された駐車領域にはその境界を示すための白線や、道路側に描かれた車線境界線などの白色系道路標示が存在している。この構成によると、そのような白色系道路標示を各カメラから取得された撮影画像から抽出し、この抽出された白色系道路標示をホワイトバランス補正のためのカラーリファレンスとして用いる。つまり、各撮影画像において、抽出された白色系道路標示が所定の白系色になるように色補正する。これによって得られた補正撮影画像では、どのような主光源下で撮影されたものであっても、少なくとも白色系道路標示は所定の白系色となっている。従って、これらの補正撮影画像から視点変換を通じて、自車周辺の表示画像としての俯瞰画像を生成し、モニタに表示すると、駐車時において最も重要であり、運転者が注目する、駐車境界線を示す白線等の白色系道路標示は、俯瞰画像全体において同じ色、つまり所定の白系色で表示されるので、運転者は駐車支援のためにモニタに表示された俯瞰画像を違和感なしに見ることができる。
【００１１】
駐車場では、大抵の場合、白色系道路標示の一例として駐車領域の境界を示すために直線的な駐車白線が存在しているので、俯瞰画像を生成するための各撮影画像にそのような白色系道路標示が含まれている可能性が高い。しかしながら、車両の向きや姿勢によっては、特定のカメラの撮影画像には白色系道路標示が含まれていない可能性もある。したがって本発明の好適な実施形態の１つでは、前記撮影画像補正部は、前記白色系道路標示が抽出されなかった撮影画像に対して、前回の補正撮影画像の生成時に用いられたホワイトバランス補正パラメータに基づいて擬似ホワイトバランス補正を施して補正撮影画像を生成するように構成されている。この構成によれば、ホワイトバランス補正を行うとする撮影画像から白色系道路標示が抽出されなければ、前回に使用されたホワイトバランス補正パラメータを用いてホワイトバランス補正が行われる。環境光源の状態が短い時間間隔で大きく変化する可能性は少ないので、前回の白色系道路標示抽出点から時間的または距離的に所定以上離れていない場合、前回のホワイトバランス補正パラメータに基づいて補正しても、満足できる補正撮影画像が得られる。
【００１２】
駐車経路や車両姿勢によっては、特定のカメラの撮影画像から白色系道路標示が抽出されない状態が続く場合がある。このような事態に対処するため、本発明の好適な実施形態の１つでは、前記白色系道路標示が抽出されなかった撮影画像に対する擬似ホワイトバランス補正は、当該撮影画像のカメラに隣接するカメラによる撮影画像の補正撮影画像の生成時に用いられたホワイトバランス補正パラメータに基づいて行われる。この構成では、隣接する同士のカメラによる撮影画像は主光源が同じ可能性が高いことから、一方の補正に用いられたホワイトバランス補正パラメータを流用される。これにより、相互の補正撮影画像において違和感を生じるような色ずれなどは抑制される。
【００１３】
本発明の好適な実施形態の１つでは、路面に描画されている駐車白線を境界基準として駐車領域を設定する駐車領域設定部が備えられており、当該駐車白線の認識情報が前記白色系道路標示として利用される。この構成は、従来から知られている、所定の駐車位置に車両を駐車させる運転操作を支援する駐車支援装置における、白色系道路標示としての白線認識技術を利用するものである。例えば、特開２００８−２８４９６９号公報に記載されている駐車支援装置では、駐車区画を示す白線を画像認識し、その認識結果に基づいて駐車目標位置を定め、当該駐車目標位置と後退開始位置において停車している車両の位置とに基づいて誘導経路を計算して、当該誘導経路に基づいて駐車支援を行う。このように駐車白線の認識技術を備えている駐車支援装置に本発明によるホワイトバランス補正技術を組み込むことで、違和感のない俯瞰画像をモニタ表示することができる。つまり、認識された駐車白線に関する情報に基づいて撮影画像から駐車白線を抽出して、その抽出された駐車白線をカラーリファレンスとして用いてホワイトバランス補正を施すことにより、違和感のない俯瞰画像が生成される。
【図面の簡単な説明】
【００１４】
【図１】本発明による駐車支援装置の好適な実施形態で用いられている、複数カメラによる撮影画像にホワイトバランス補正を施し、補正された撮影画像に基づいて俯瞰画像を生成する基本的な生成過程を説明する模式図である。
【図２】本発明による駐車支援装置を搭載した車両の一部を切り欠いた車両斜視図である。
【図３】複数の車載カメラの撮影範囲を示す平面図である。
【図４】駐車支援制御ユニットを含む車両制御システムの一部を模式的に示す機能ブロック図である。
【図５】画像処理モジュールの機能ブロック図である。
【図６】撮影画像に対して、白線を用いホワイトバランス補正及び擬似ホワイトバランス補正を施す過程を模式的に示す説明図である。
【図７】補正撮影画像から俯瞰画像が生成される工程を模式的に示す説明図である。
【図８】白線が強調された俯瞰画像を含むモニタ表示画像を示すモニタ画面図である。
【発明を実施するための形態】
【００１５】
まず、図１を用いて、本発明による駐車支援装置の好適な実施形態を説明する。なお、ここでは、 特定の道路要素が白色系道路標示であり、画像補正がホワイトバランス補正である。つまり、当該撮影画像に対してホワイトバランス補正を施して補正撮影画像を生成される構成が採用されている。複数カメラによる撮影画像から抽出された白色系道路標示に基づいて撮影画像にホワイトバランス補正を施すことで補正された撮影画像に基づいて俯瞰画像を生成する基本的な生成過程を説明する。ここでの例では、後進車庫入れ駐車時に４台のカメラで取得される複数の撮影画像を、駐車用白色系道路標示に基づいてホワイトバランス補正を行い、補正された撮影画像から自車周辺俯瞰画像（以後、単に俯瞰画像と略称する）が生成される。駐車領域を境界付けている駐車白線（以下単に白線と略称する）ＷＭが駐車用白色系道路標示の一例として採用されている。ここで駐車支援される乗用車（以下自車と称す）は、リア、フロント、左右サイドをそれぞれ撮影視野とする４台のカメラを搭載しており、各カメラによって取得された、ここでは（１ａ）、（１ｂ）、（１ｃ）、（１ｄ）で符号付けられた４つの撮影画像によって、自車周囲は実質的に隙間なくカバーされている。
【００１６】
駐車領域（この例では、駐車方向に延びた２つの白線ＷＭで区画された領域）が確定され、後進駐車が開始されると、各カメラによって撮影された撮影画像（１ａ）、（１ｂ）、（１ｃ）、（１ｄ）が取得される（＃０１）。取得された撮影画像から、それ自体は公知の白線検出アルゴリズムを用いた、白線ＷＭの検出処理が行われる。白線ＷＭが検出されると、その白線ＷＭの境界線で囲まれた白線領域が抽出され、その領域の平均画素値（例えばＲ・Ｇ・Ｂ値）などを含む白線情報が生成される（＃０２）。白線情報が生成されると、この白線情報の内容と、対応する撮影画像の画像特性（ｋa：平均画素値や輝度ヒストグラムなど）とに基づいて、補正パラメータを生成する（＃０３）。この補正パラメータは、処理対象となっている撮影画像の白線ＷＭが所定の白色に変換されるパラメータ群を意味しており、ホワイトバランス補正パラメータ（ホワイトバランス補正曲線：Ｐa＝ｆ(ｋa)）である。これらのホワイトバランス補正パラメータ（Ｐa＝ｆ(ｋa)；Ｐb＝ｆ(ｋb)；Ｐc＝ｆ(ｋc)；Ｐd＝ｆ(ｋd)）は全ての撮影画像（１ａ）、（１ｂ）、（１ｃ）、（１ｄ）に対して生成される。続いて、このホワイトバランス補正パラメータを当該撮影画像全体に施すことにより、４つの撮影画像に対してホワイトバランス補正が実行され、４つの補正撮影画像が生成される（＃０４）。この４つの補正撮影画像では、少なくとも白線ＷＭの色が統一されているとともに、その他の画像領域における色かぶりなども抑制されるので、相互の色合いの違いが改善されることになる。次いで、各補正撮影画像を視点変換することにより、カメラ毎の俯瞰画像セグメントが生成され、これらの俯瞰画像セグメントが合成され、俯瞰画像が生成される（＃０５）。生成された俯瞰画像は、例えば、バックカメラの撮影画像をそのまま利用したバックモニタ画像とともにモニタ表示される（＃０６）。
【００１７】
図１を用いて説明した実施形態では、駐車用白色系道路標示を用いてホワイトバランス補正された補正撮影画像から俯瞰画像セグメントが生成される手順が示されていたが、これに代えて、先に俯瞰画像セグメントを生成し、この俯瞰画像セグメントに対して駐車用白色系道路標示を用いてホワイトバランス補正を行う手順を採用してもよい。
【００１８】
以下、本発明の実施形態の具体例を図面に基づいて説明する。本実施形態での駐車支援装置は、自車に備えられた前方カメラ、左右サイドカメラ、後方カメラのうちの駐車方向と左右方向とを撮影するカメラの撮影画像とから生成される俯瞰画像をモニタ表示するものである。
図２と、図３に示すように、この車両は、左右の前輪１１ａと１１ｂが操向車輪として、左右の後輪１２ａと１２ｂが非操向車輪として構成されている。車両後部、即ちバックドア９１には後方カメラ１ａが備えられている。左前部ドアに備えられた左サイドミラー９２の下部には左サイドカメラ１ｂが備えられ、右前部ドアに備えられた右サイドミラー９３の下部には右サイドカメラ１ｃが備えられている。また、車両前部には、前方カメラ１ｄが備えられている。以下の説明において、適宜、これらのカメラ１ａ〜１ｄを総称してカメラ１（車載カメラ）と称する。
【００１９】
カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向にほぼ１８０°の視野角が確保されている。後方カメラ１ａ及び前方カメラ１ｄは、光軸に約３０度程度の俯角を有して車両に設置され、車両からおおよそ８ｍ程度までの領域を撮影可能である。左サイドカメラ１ｂ及び右サイドカメラ１ｃはサイドミラー９２及び９３の底部に光軸を下方に向けて設置され、車両側面の一部と路面（地面）とがその視野内となる。駐車支援においては、カメラ１による撮影画像ないしは当該撮影画像を用いて生成された俯瞰画像がモニタ２１に表示される。また、駐車出発点から目標とする駐車領域までの駐車経路に基づく音声による駐車案内もスピーカ２２から発せられる。駐車領域の確認やその他の操作入力はモニタ２１に装着されたタッチパネル２１Ｔを通じて行われる。
【００２０】
車両内部には、本発明の駐車支援装置の中核をなす駐車支援制御ユニット（以下単にＥＣＵと称する）２０が配置されている。このＥＣＵ２０は、図４に示すように、情報の入出力を行う入出力インターフェースとしてセンサ入力インターフェース２３や通信インターフェース７０などを備えると共に、入出力インターフェースを介して得られる情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。また、入出力インターフェースの一部又は全てがこのようなプロセッサに含まれていてもよい。
【００２１】
センサ入力インターフェース２３には、運転操作や移動状態を検出するための車両状態検出センサ群が接続されている。車両状態検出センサ群には、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ２４、シフトレバーのシフト位置を判別するシフト位置センサ２５、アクセルペダルの操作量を計測するアクセルセンサ２６、ブレーキペダルの操作量を検出するブレーキセンサ２７、自車の走行距離を検出する距離センサ２８などが含まれている。
また、通信インターフェース７０は、車載ＬＡＮを採用しており、タッチパネル２１Ｔやモニタ２１だけでなく、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。
【００２２】
ＥＣＵ２０には、報知出力機能部として、表示制御部７１と、音声処理モジュール７２が備えられている。ＧＵＩ用の各種画像情報や車両誘導のための報知メッセージを含む撮影画像情報は表示制御部７１を介してモニタ２１に表示される。音声処理モジュール７２で生成された車両誘導のための音声ガイドや緊急時の警告音などはスピーカ２２から出力される。さらに、ＥＣＵ２０には、白色系道路標示認識部３０と、駐車領域設定部３１と、目標駐車位置算定部３２と、駐車経路生成部３３と、誘導制御部３４と、位置情報算定部３５と、画像処理モジュール５０とが備えられる。
【００２３】
白色系道路標示認識部３０は、ここでは駐車領域の区画を決定している白線を認識する駐車白線認識部として構成されている。この白線認識は、例えば画像処理モジュール５０に一時的に格納されている撮影画像に微分フィルタをかけて得られるエッジ画素に対してハフ変換などを用いて直線当てはめを行うことによって行われる。そのような白線認識アルゴリズムはそれ自体公知であり、例えば特開２００６−１７５９１８号公報や特開２００８−２８４９６９号公報に詳しく記載されているので、ここではこれ以上の説明は省略する。
【００２４】
駐車領域設定部３１は、白色系道路標示認識部３０によって認識された白線の位置情報から自車を駐車させるための駐車領域を設定する。なお、この駐車領域の設定を、モニタ２１に表示された撮影画像を通じてマニュアル操作で設定するような方式を採用してもよい。
目標駐車位置算定部３２は、駐車領域設定部３１によって設定された駐車領域内における駐車走行の到達点となる目標駐車位置としての駐車完了位置を、駐車領域の寸法や自車の寸法や設定する。自車が目標駐車位置で停止することで、自車は駐車領域内の適切な位置（例えば真ん中）に駐車することになる。
【００２５】
駐車経路生成部３３は、駐車経路を生成する。この駐車経路は、駐車支援が開始された駐車出発点から駐車目標位置である駐車完了位置までを結ぶ経路であり、部分的に直線が含まれたり、または全体として直線であったりしてもよいが、実質的には１つ以上の曲線で示すことができる。なお駐車経路の生成アルゴリズムは、従来から知られており、特開２００３‐２３７５１１号公報や特開２００８‐２８４９６９号公報などを参照することができる。
【００２６】
位置情報算定部３５は、自車の移動時に、自車の誘導に必要な現在の車両位置と、自車に対する目標駐車領域の位置とを取得する。つまり、位置情報算定部３５では自車の移動に伴って変化する自車の位置情報を検出する車両位置検出処理と、自車の移動に伴って変化する目標駐車領域との相対的な位置関係を算定する駐車領域相対位置算定処理とを行う。これらの処理はカメラ１で取得された撮影画像と、距離センサ２８で取得する車両移動量と、ステアリングセンサ２４で計測されるステアリングホイールの操舵量とに基づいて行われる。
【００２７】
誘導制御部３４は、駐車経路生成部３３によって生成された直接駐車経路に基づく駐車を誘導する。その際、位置情報算定部３５からの位置情報が参照される。誘導制御部３４は、位置情報算定部３５からの位置情報を参照しながら、駐車経路に沿うように誘導制御によって自車を走行させる制御を実現することができる。しかしながら、誘導制御部３４がパワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫを制御する自動操舵は後進走行だけに限定して、前進走行は人為操舵とするといったように、部分的に人為操舵を組み込んでもよい。この誘導制御部３４による誘導情報は画像処理モジュール５０や音声処理モジュール７２に送られるので、要求に応じてに応じて操舵方向や操舵量がモニタ２１に表示され、あるいは操舵方向や操舵量がスピーカ２２から出力される。いずれにせよ、モニタ２１には、画像処理モジュール５０によって生成された俯瞰画像が表示されるので、運転者は駐車プロセスにおける自車の位置関係を容易に理解できる。
【００２８】
図５に、ＥＣＵ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影する複数のカメラ１によって取得された撮影画像に統一感を与えるように、少なくとも白線ＷＭの色を所定色に合わす機構と、撮影画像から自車上方を視点とする視点変換によって俯瞰画像を生成する機能とを有している。
【００２９】
画像処理モジュール５０は、画像入力部５１、撮影画像メモリ５２、白色系道路標示抽出部５３、撮影画像補正部５４、画像生成部６０、画像合成部６７を含んでいる。画像入力部５１は、各カメラ１によって取得された撮影画像はを撮影画像メモリ５２に展開する。白色系道路標示抽出部５３は、ここでは駐車区画線である白線ＷＭを、上記した白色系道路標示認識部３０から送られてくる白線認識情報に基づいて対応する撮影画像から白線ＷＭの画像領域の画素値などの画像特徴量を抽出する。
【００３０】
撮影画像補正部５４は、補正パラメータ算定部５５、ホワイトバランス補正部５６、擬似ホワイトバランス補正部５７を有する。次に、図６を参照しながら、この撮影画像補正部５４による補正機能を説明する。補正パラメータ算定部５５は、白色系道路標示抽出部５３によって抽出された白線ＷＭに関する画像特徴量や、撮影画像メモリ５２に展開されている処理対象の撮影画像（（１ａ）、（１ｂ）、（１ｃ）、（１ｄ）のいずれか）の画像特徴量などである補正パラメータ算定因子群ｋa、ｋb、ｋc、ｋdから、処理対象の撮影画像で認識された白線ＷＭの色を所定の色（例えば予め設定された白色）とするためのホワイトバランス補正パラメータ（以下単に補正パラメータと略称する）を算定する。この補正パラメータを導出する関数をｆとし、各撮影画像のための補正パラメータをＰa、Ｐb、Ｐc、Ｐdとすると、
Ｐa＝ｆ(ｋa)、Ｐb＝ｆ(ｋb)、Ｐc＝ｆ(ｋc)、Ｐd＝ｆ(ｋd)、
と表すことができる。なお、補正パラメータは一般的にはマトリックスで表されるが、機能的には、入力値を所定の出力値に変換する変換曲線のようなものである。
【００３１】
ホワイトバランス補正部５６は、各補正パラメータＰa、Ｐb、Ｐc、Ｐdを用いて対応する撮影画像に対してホワイトバランス補正を施し、つまり〔補正撮影画像（１ａ）〕＝〔撮影画像（１ａ）〕＊〔Ｐa〕のようなマトリックス演算を施し、各補正撮影画像を生成する。
【００３２】
擬似ホワイトバランス補正部５７は、図６においては、撮影画像（１ｃ）や撮影画像（１ｄ）のように白線ＷＭが認識されなかった場合、以下に説明するような擬似的なホワイトバランス補正を白線ＷＭが認識されなかった撮影画像に施す機能を有する。この擬似ホワイトバランス補正として２種類の例をここで示す。
【００３３】
第１の擬似ホワイトバランス補正は、白線ＷＭが認識されなかった撮影画像を取得したカメラ１による、今回の駐車プロセスにおけるこれまでの撮影画像において認識された白線ＷＭがあれば、その白線ＷＭに基づく補正パラメータを用いて行うホワイトバランス補正である。つまり、時間的または走行距離的に所定値だけ遡った時点で用いた補正パラメータを用いる補正である。第２の擬似ホワイトバランス補正は、白線ＷＭが認識されなかった撮影画像を取得したカメラ１以外の、好ましくは隣接するカメラ１の撮影画像で白線ＷＭが認識されている場合、その白線ＷＭに基づく補正パラメータに基づいて行うホワイトバランス補正である。例えば、図６の例では、撮影画像（１ｄ）を取得するカメラ１ｄに隣接するカメラ１ｂによる撮影画像（１ｂ）で白線ＷＭが認識されているので、その白線ＷＭに基づく補正パラメータＰｂを用いて、つまりＰd＝ｇ(Ｐb)で導出される補正パラメータを用いて、撮影画像（１ｄ）のホワイトバランス補正が行われる。同様に、撮影画像（１ｃ）ホワイトバランス補正が、Ｐc＝ｇ(Ｐa)で導出される補正パラメータを用いて行われる。また、図示された例とは異なるが、撮影画像（１ｄ）を取得するカメラ１ｄに隣接するカメラ１ｂ及び１ｃによる撮影画像（１ｂ）及び（１ｃ）において白線ＷＭが認識されていた場合、それらの白線ＷＭに基づく補正パラメータＰdから撮影画像（１ｄ）のための補正パラメータＰdを導出することも可能である。この導出は、Ｐd＝h(Ｐb,Ｐc)と表されるが、例えばその関数hとしてその中間値を求める関数などを採用することができる。
なお、この第１又は第２の擬似ホワイトバランス補正の選択基準としては、第１の擬似ホワイトバランス補正を、所定走行距離内で生成された補正パラメータＰdが存在することを条件として、優先することが好ましい。
【００３４】
画像生成部６０は、通常画像生成部６１、周辺俯瞰画像生成部６２、マッピングテーブル６３、強調標示イメージ生成部６４、自車イメージ生成部６５、報知イメージ生成部６６を含んでいる。
通常画像生成部６１は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像はカメラ毎に独立しており、そのモニタ表示を任意に選択することができる。
【００３５】
周辺俯瞰画像生成部６２は、図７で模式的に示されているように、撮影画像補正部５４によって補正された後の補正撮影画像をマッピングテーブル６３に仮想視点毎に用意された視点変換テーブルを用いて俯瞰画像セグメントを生成して、画像合成部６７に送る。その際に使用される仮想視点位置は、予め設定しておいてもよいし、任意に設定されるように構成してもよい。なお、マッピングテーブル６３の視点変換テーブルは種々の形態で構築することができるが、撮影画像の画素データと俯瞰画像セグメントの画素データとの対応関係が記述されたテーブルとして構築し、１フレームの撮影画像の各画素に、俯瞰画像セグメントにおける行き先画素座標が記述されたものとするのが好都合である。
【００３６】
強調標示イメージ生成部６４は、ここでは白色系道路標示抽出部５３で抽出された白線ＷＭの色彩的に又は形状的にあるいはその両方で視覚的に強調された白線イメージを生成し、当該白線イメージをその俯瞰画像における座標位置とともに、画像合成部６７に送る。
自車イメージ生成部６５は、俯瞰画像の中央に配置される自車のイメージを準備して、画像合成部６７に送る。報知イメージ生成部６６は、駐車支援時に運転者に与えるメッセージなどが発生した場合これをイメージ化して、画像合成部６７に送る。
【００３７】
画像合成部６６は、周辺俯瞰画像生成部６２からの俯瞰画像セグメントを合成して生成した俯瞰画像に、強調標示イメージ生成部６４からの強調標示イメージ、自車イメージ生成部６５からの自車イメージと、報知イメージ生成部６５からの報知イメージを合成してモニタ表示用俯瞰画像（表示画像）を生成する。その際、モニタ表示画像としては、図８に例示するように、当該俯瞰画像だけでなく、バックモニタ画像などを区分け配置してモニタ出力すると好都合である。
【００３８】
次に、上述のように構成された駐車支援装置による駐車支援制御における一連の動作を以下に説明する。
（１）後進駐車を行う場合には、駐車領域がリアカメラ１ａの撮影視野に入るような位置で停止し、駐車支援を起動する。
（２）リアカメラ１ａからの撮影画像に基づいて、白色系道路標示認識部３０が白線認識を行い、認識された白線ＷＭに関する認識情報を生成する。
（３）この認識情報に基づいて駐車領域設定部３１が駐車領域を設定するとともに、目標駐車位置算定部３２が目標駐車位置を算定する。
（４）停車している自車位置を駐車出発位置とするとともに、この駐車出発位置と駐車目標位置との間の駐車経路を駐車経路生成部３３が生成する。
（５）画像処理モジュール５０において、４台のカメラ１からの撮影画像が取得され、各撮影画像に対して図６に示す手順でホワイトバランス補正が施される。
（６）補正された撮影画像を用いて、図７に示す手順で俯瞰画像が生成され、図８に示すようなモニタ表示画像がモニタ２１に表示される。
（７）誘導制御部３４による車両誘導が始まると、モニタ２１には駐車支援としての車両誘導メッセージなどの報知メッセージも俯瞰画像とともに表示される。
（８）所定距離の走行が行われる毎に、自車が駐車目標位置に到達したかどうかチェックされ、自車が駐車目標位置に到達していなければ、新たな撮影画像での俯瞰画像を生成し、これをモニタ表示しながら車両誘導が続行する。
（９）自車が駐車目標位置に到達すれば、自車は停止し、この駐車支援制御が終了する。
【００３９】
〔変形例〕
（１）上述した実施の形態では、撮影画像はカラー画像として取り扱い、認識された白線をリファレンスとしてホワイトバランス補正パラメータを算定し、この補正パラメータを用いてホワイトバランス補正を行い、補正された撮影画像から俯瞰画像を生成していた。これに代えて、補正された撮影画像をグレースケール変換して得られるモノクロ撮影画像から俯瞰画像を生成して、モニタ画像としてもよい。さらには、このホワイトバランス補正技術をそのままモノクロ画像処理に転用し、モノクロの撮影画像から補正パラメータを算定し、この補正パラメータを用いて画像補正を行い、補正された撮影画像から俯瞰画像を生成してもよい。つまり、ここでのホワイトバランス補正は、広義の意味で解釈されるべきで、例えば、カラー撮影画像のみならず、モノクロ撮影画像にも適用することが可能ものである。
【００４０】
（２）上記実施の形態では、白色系道路標示として、駐車領域を境界付ける白線（駐車）がされていたが、その他の道路標示、例えば、「ＩＮ（入口）」や「ＯＵＴ（出口）」といった文字標示なども同様に取り扱うことができる。
【００４１】
〔別実施形態〕
上述した実施の形態では、特定の道路要素が白色系道路標示であり、前記画像補正がホワイトバランス補正であった。しかしながら、本発明は、そのような特定の道路要素や画像補正に限定されるわけではない。例えば、特定の道路要素として、道路区画線、側道区画線などの道路標識、さらには路面に敷設された縁石、路面側溝に装着された溝蓋などの識別可能な特定の色成分を有する道路要素なら、カラーリファレンスとして採用可能である。また、撮影画像補正部５４もホワイトバランス補正以外に、色あわせ（色合いを合わせる）や、輝度調整、ガンマ調整などの画像補正を行うものとして構成することも可能である。
【産業上の利用可能性】
【００４２】
本発明は、駐車時における自車両周囲の状況を運転者に認識させるための俯瞰画像を表示することで運転者の運転操作を支援する駐車支援装置に利用することができる。
【符号の説明】
【００４３】
１：カメラ
３０：白色系道路標示認識部
５０：入力画像処理モジュール
５１：画像入力部
５３：白色系道路標示抽出部
５４：撮影画像補正部
５５：補正パラメータ算定部
５６：ホワイトバランス補正部
５７：擬似ホワイトバランス補正部
６０：画像生成部
６２：周辺俯瞰画像生成部
６３：マッピングテーブル
６４：強調標示イメージ生成部
ＷＭ：白線（駐車白線、白色系道路標示）
【特許請求の範囲】
【請求項１】
自車周辺をそれぞれ異なる撮影視野で撮影する複数のカメラによる撮影画像を取得する画像入力部と、
前記撮影画像から特定の色成分を有する識別可能な道路要素を抽出する特定道路標示抽出部と、
前記撮影画像から抽出された特定の道路要素に基づいて補正対象画像に対して画像補正を施して補正撮影画像を生成する撮影画像補正部と、
前記撮影画像に基づく画像から視点変換を通じて生成された前記カメラ毎の俯瞰画像セグメントを合成して、モニタに表示する自車周辺の表示画像としての俯瞰画像を生成する俯瞰画像生成部と、を備え、前記補正対象画像が前記撮影画像又は前記俯瞰画像セグメントである駐車支援装置。
【請求項２】
前記俯瞰画像生成部は、前記撮影画像補正部によって生成された補正撮影画像から前記俯瞰画像セグメントを生成する請求項１に記載の駐車支援装置。
【請求項３】
前記撮影画像補正部は、前記俯瞰画像生成部によって生成された俯瞰画像セグメントに対して画像補正を施し、この画像補正された俯瞰画像セグメントから前記俯瞰画像が生成される請求項１に記載の駐車支援装置。
【請求項４】
前記特定の道路要素が白色系道路標示であり、前記画像補正がホワイトバランス補正であり、
前記撮影画像補正部は、前記撮影画像から抽出された白色系道路標示に基づいて当該撮影画像に対してホワイトバランス補正を施して補正撮影画像を生成する請求項１から３のいずれか１つに記載の駐車支援装置。
【請求項５】
前記撮影画像補正部は、前記白色系道路標示が抽出されなかった撮影画像に対して、前回の補正撮影画像の生成時に用いられたホワイトバランス補正パラメータに基づいて擬似ホワイトバランス補正を施して補正撮影画像を生成する請求項４に記載の駐車支援装置。
【請求項６】
前記白色系道路標示が抽出されなかった撮影画像に対する擬似ホワイトバランス補正は、当該撮影画像のカメラに隣接するカメラによる撮影画像の補正撮影画像の生成時に用いられたホワイトバランス補正パラメータに基づいて行われる請求項４または５に記載の駐車支援装置。
【請求項７】
路面に描画されている駐車白線を境界基準として駐車領域を設定する駐車領域設定部が備えられており、当該駐車白線の認識情報が前記白色系道路標示として利用される請求項４から６のいずれか一項に記載の駐車支援装置。
【請求項１】
自車周辺をそれぞれ異なる撮影視野で撮影する複数のカメラによる撮影画像を取得する画像入力部と、
前記撮影画像から特定の色成分を有する識別可能な道路要素を抽出する特定道路標示抽出部と、
前記撮影画像から抽出された特定の道路要素に基づいて補正対象画像に対して画像補正を施して補正撮影画像を生成する撮影画像補正部と、
前記撮影画像に基づく画像から視点変換を通じて生成された前記カメラ毎の俯瞰画像セグメントを合成して、モニタに表示する自車周辺の表示画像としての俯瞰画像を生成する俯瞰画像生成部と、を備え、前記補正対象画像が前記撮影画像又は前記俯瞰画像セグメントである駐車支援装置。
【請求項２】
前記俯瞰画像生成部は、前記撮影画像補正部によって生成された補正撮影画像から前記俯瞰画像セグメントを生成する請求項１に記載の駐車支援装置。
【請求項３】
前記撮影画像補正部は、前記俯瞰画像生成部によって生成された俯瞰画像セグメントに対して画像補正を施し、この画像補正された俯瞰画像セグメントから前記俯瞰画像が生成される請求項１に記載の駐車支援装置。
【請求項４】
前記特定の道路要素が白色系道路標示であり、前記画像補正がホワイトバランス補正であり、
前記撮影画像補正部は、前記撮影画像から抽出された白色系道路標示に基づいて当該撮影画像に対してホワイトバランス補正を施して補正撮影画像を生成する請求項１から３のいずれか１つに記載の駐車支援装置。
【請求項５】
前記撮影画像補正部は、前記白色系道路標示が抽出されなかった撮影画像に対して、前回の補正撮影画像の生成時に用いられたホワイトバランス補正パラメータに基づいて擬似ホワイトバランス補正を施して補正撮影画像を生成する請求項４に記載の駐車支援装置。
【請求項６】
前記白色系道路標示が抽出されなかった撮影画像に対する擬似ホワイトバランス補正は、当該撮影画像のカメラに隣接するカメラによる撮影画像の補正撮影画像の生成時に用いられたホワイトバランス補正パラメータに基づいて行われる請求項４または５に記載の駐車支援装置。
【請求項７】
路面に描画されている駐車白線を境界基準として駐車領域を設定する駐車領域設定部が備えられており、当該駐車白線の認識情報が前記白色系道路標示として利用される請求項４から６のいずれか一項に記載の駐車支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１０５０９０（Ｐ２０１２−１０５０９０Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２５２１８７（Ｐ２０１０−２５２１８７）
【出願日】平成２２年１１月１０日（２０１０．１１．１０）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月１０日（２０１０．１１．１０）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]