車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム
【課題】広角画像を用いて行う、車線に対する車両の位置関係の検出の精度を良くする。
【解決手段】白線部分画像領域抽出処理Ｓ１１０は、道路を走行中の車両の走行方向に対する側方の方向を撮像した側方画像から、第一部分画像領域及び第二部分画像領域を抽出する。この２つの部分画像領域は、道路の路面上に描かれており当該車両が走行している車線の境界を表している白線の破線において当該破線の空線部分を挟み込んでいる白線部分が各々に映っている領域である。推定処理Ｓ１１２は、第一部分画像領域に映っている第一白線と第二部分画像領域に映っている第二白線とを滑らかに結ぶ推定線を側方画像上に推定する。この推定は、側方画像上での第一白線及び第二白線の各々についての線端の位置及び当該線端での向きに基づいて行われる。位置関係検出処理Ｓ１１３は、この推定線の側方画像上での位置に基づき、車線に対する車両の位置関係を検出する。
【解決手段】白線部分画像領域抽出処理Ｓ１１０は、道路を走行中の車両の走行方向に対する側方の方向を撮像した側方画像から、第一部分画像領域及び第二部分画像領域を抽出する。この２つの部分画像領域は、道路の路面上に描かれており当該車両が走行している車線の境界を表している白線の破線において当該破線の空線部分を挟み込んでいる白線部分が各々に映っている領域である。推定処理Ｓ１１２は、第一部分画像領域に映っている第一白線と第二部分画像領域に映っている第二白線とを滑らかに結ぶ推定線を側方画像上に推定する。この推定は、側方画像上での第一白線及び第二白線の各々についての線端の位置及び当該線端での向きに基づいて行われる。位置関係検出処理Ｓ１１３は、この推定線の側方画像上での位置に基づき、車線に対する車両の位置関係を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で議論される実施態様は、車両の運転を支援する技術に関するものである。
【背景技術】
【０００２】
道路を走行中の車両が走行中の車線から逸脱することを防止するために、車線逸脱の可能性の高まりを運転者へ警告する制御や、当該車線内の走行を自動的に維持する制御などを行う技術が知られている。これらの技術では、当該車両についての当該車線に対する位置関係の検出結果に基づいて上述した制御が行われる。
【０００３】
道路を走行中の車両についての、当該車両が走行中の車線に対する位置関係を検出する技術として、車両に固定されている車載カメラで撮像した道路の撮像画像から車線を認識し、その認識結果に基づいて当該位置関係を検出する技術が知られている。この技術では、まず、道路の路面上に描かれている、車線の境界を表している白線の画像領域を当該撮像画像から認識し、当該画像領域についての当該撮像画像上における位置関係を求める。次に、このようにして求めた位置関係を、当該車両についての白線に対する位置関係に変換して、当該車両についての当該車線に対する位置関係の検出結果とする。なお、この変換は、予め計測されている、撮像画像上の位置と実際の位置（車両に対する相対位置）との関係に従って行われる。
【０００４】
ところで、路面上に描かれている上述した白線は、場所によって実線である場合と破線である場合とがある。ここで、該破線における空線部分（白線が描かれない部分）からは、上述した技術を適用して車両と車線との位置関係の検出を行うことはできない。但し、路面上に描かれている白線が破線である場所において、当該破線における白線部分の位置に基づいた直線近似によって当該空線部分においての車線の境界を推定し、その推定結果を利用して車両と車線との位置関係を検出するという技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２０８１９８号公報
【特許文献２】特開２００２−１７５５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
昨今の自動車は、車両側方近傍の広い範囲の画像を撮像するための超広角カメラをサイドミラーに搭載したものがある。このような超広角カメラで撮像される側方画像を利用して、車両についての車線に対する位置関係の検出を行うことを考えてみる。
【０００７】
車載カメラで車両の走行方向の撮影を行うと、車載カメラの設置位置によっては、車両前方直近の路面の像が、自車のボンネットの死角となって得られないことがある。また、このような車両の走行方向の撮像画像では、車線の境界を表している白線を、自車の前方の他車が隠してしまっている場合もある。一方、上述した側方画像には、このような問題はなく、自車の直ぐ傍の路面上に描かれている白線が映るので、この白線の像に基づき車両についての車線に対する位置関係の検出を行うことができれば、高い検出精度が期待できる。
【０００８】
しかし、上述したような超広角カメラで撮像される側方画像には被写体が著しく歪んで映っている。このため、路面上に描かれている白線が破線である場所で上述のように撮像された側方画像に基づく車両と車線との位置関係の検出を、前述のような直線近似による車線の境界の推定結果を利用して行うと、高い検出精度は期待できない。
【０００９】
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、車線に対する車両の位置関係の検出に広角画像を用いても、その検出を精度良く行えるようにすることである。
【課題を解決するための手段】
【００１０】
本明細書で後述する車両検出装置のひとつには、白線部分画像領域抽出手段と、推定手段と、位置関係検出手段と、を有するというものがある。このうち、白線部分画像領域抽出手段は、道路上の車両の側方の方向を撮像した側方画像から、２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する。なお、この２つの部分画像領域は、道路の路面上に描かれており当該車両が走行している車線の境界を表している白線が各々に映っている領域である。また、推定手段は、第一部分画像領域に映っている白線である第一白線と第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を推定する。なお、この推定は、第一白線及び第二白線の各々について、側方画像上での線端の位置及び当該線端での向きに基づいて行われる。そして、位置関係検出手段は、この推定線の側方画像上での位置に基づき、車線に対する車両の位置関係を検出する。
【００１１】
また、本明細書で後述する車両検出方法のひとつは、まず、道路上の車両の側方の方向を撮像した側方画像から、２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する。なお、この２つの部分画像領域は、道路の路面上に描かれており当該車両が走行している車線の境界を表している白線が各々に映っている領域である。次に、第一部分画像領域に映っている白線である第一白線と第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、第一白線及び第二白線の各々について、側方画像上での線端の位置及び当該線端での向きに基づいて推定する。そして、この推定線の側方画像上での位置に基づき、車線に対する車両の位置関係を検出する。
【００１２】
また、本明細書で後述する車両位置検出プログラムのひとつは、演算処理装置が実行することによって、白線部分画像領域抽出処理と、推定処理と、位置関係検出処理とを当該演算処理装置に行わせるというものである。ここで、白線部分画像領域抽出処理は、道路上の車両の側方の方向を撮像した側方画像から、２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する処理である。なお、この２つの部分画像領域は、道路の路面上に描かれており当該車両が走行している車線の境界を表している白線が各々に映っている領域である。また、推定処理は、第一部分画像領域に映っている白線である第一白線と第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を推定する処理である。なお、この推定は、第一白線及び第二白線の各々について、側方画像上での線端の位置及び当該線端での向きに基づいて行われる。そして、位置関係検出処理は、この推定線の側方画像上での位置に基づき、車線に対する車両の位置関係を検出する処理である。
【発明の効果】
【００１３】
本明細書で後述する車両位置検出装置は、車線に対する車両の位置関係の検出に広角画像を用いても、その検出を精度良く行うことができる、という効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】車両位置検出装置の構成図である。
【図２】演算部の構成図である。
【図３】車両位置検出制御処理の処理内容を図解したフローチャートである。
【図４】輝度度数分布生成処理によるヒストグラムの生成を説明する図（その１）である。
【図５】輝度度数分布生成処理によるヒストグラムの生成を説明する図（その２）である。
【図６】輝度閾値設定処理の処理内容を図解したフローチャートである。
【図７】白線補填処理の処理内容を図解したフローチャートである。
【図８】スコア算出処理の処理内容を図解したフローチャートである。
【図９】白線部分画像領域抽出処理の処理内容を図解したフローチャートである。
【図１０】側方画像上の前方矩形及び後方矩形の配置例である。
【図１１】推定白線の推定の手法を説明する図である。
【図１２】推定白線データテーブルの構造を説明する図である。
【発明を実施するための形態】
【００１５】
まず図１について説明する。図１には、車両位置検出装置の構成が図解されている。この車両位置検出装置は、ＥＣＵ１、カメラ２、車両ＩＦ３、及びスピーカ４を有している。なお、この車両位置検出装置は、本実施形態においては自動車に搭載する。
【００１６】
ＥＣＵ（電子制御ユニット）１は、この車両位置検出装置全体の動作制御を行うものである。ＥＣＵ１は、カメラ２と車両ＩＦ３とから送られてくる情報に基づき、道路を走行中の自車両についての走行中の車線に対する位置関係を所定の場合に検出し、その検出結果に応じて所定の音をスピーカ４に放音させて自車両の運転者に注意を促す動作を行う。
【００１７】
カメラ２は、道路を走行中の自車両の走行方向に対する側方の方向の画像（側方画像）を撮像する撮像部である。本実施形態において、このカメラ２には、撮影レンズとして、画角が１８０度を超えるような超広角レンズが装備されており、従って、カメラ２で撮像される側方画像は超広角の画像である。
【００１８】
なお、カメラ２は、自車両との相対位置、撮影方向、及び撮影倍率が固定されており、自車両が走行中の道路の路面上に描かれており自車両の走行車線と隣の走行車線との境界を表している白線が当該側方画像の下部に映るように調整されているものとする。本実施形態においては、カメラ２は、自車両のサイドミラーの下部に取り付けて固定しておくようにする。従って、例えば、カメラ２に装備されている超広角レンズが、前述したような画角が１８０度を超えるようなものであれば、当該側方の方向の地平線が当該側方画像の縦方向のほぼ中間付近にほぼ直線状に映るように撮影方向を調整しておけばよい。
【００１９】
車両ＩＦ３は、自車両の走行等の各動作を制御している車両制御部との間で行う各種の情報の授受を管理するインタフェース部である。この車両制御部からは、自車両の現在の各種の状況を表している車両情報等が送られてくる。
【００２０】
スピーカ４は、ＥＣＵ１によって駆動制御されて所定の音を自車両内に放音し、自車両の運転者に各種の情報を音で通知する。
次に、ＥＣＵ１の構成について更に説明する。ＥＣＵ１は、映像入力部１１、モノクロ変換部１２、車両情報入力部１３、演算部１４、及び警報出力部１５を有している。
【００２１】
映像入力部１１には、カメラ２から出力される、側方画像を表現しているアナログ映像信号が入力される。映像入力部１１は、この映像信号をデジタル画像データに変換して出力する。
【００２２】
モノクロ変換部１２は、映像入力部１１から出力される、カラー画像である側方画像データを、各画素のデータが輝度値のみの情報であるモノクロ画像データに変換する。なお、カメラ２から出力される側方画像が既にモノクロ画像である場合には、モノクロ変換部１２は不要である。また、カラー画像データからモノクロ画像データの変換を、後段の演算部１４で行うようにして、モノクロ変換部１２を削除することも可能である。
【００２３】
車両情報入力部１３は、車両ＩＦ３が受け取った各種の情報が入力される。車両情報入力部１３は、この入力された情報から、演算部１４が行う後述する車両位置検出制御処理において使用される、自車両の現在の各種の状況を表している車両情報を抽出する。
【００２４】
演算部１４は、ＥＣＵ１全体の動作制御を行うものである。演算部１４は、モノクロ変換部１２から出力される側方画像と、車両情報入力部１３から出力される車両情報とに基づき、走行車線に対する自車両の位置関係を所定の場合に検出し、その検出結果に応じて所定の警報音をスピーカ４に放音させる制御動作を行う。
【００２５】
警報出力部１５は、演算部１４からの指示に応じてスピーカ４を駆動制御して、所定の音をスピーカ４に放音させる。
次に、演算部１４の構成について更に説明する。
【００２６】
図２には演算部１４の構成が図解されている。演算部１４は、ＭＰＵ２１、インタフェース部２２、ＲＡＭ２３、及びＲＯＭ２４を有している。なお、これらの構成要素はバス２５を介して接続されており、ＭＰＵ２１の管理の下で各種のデータを相互に授受することができる。
【００２７】
ＭＰＵ（Micro Processing Unit）２１は、この演算部１４全体の動作を制御する演算処理装置である。
インタフェース部２２は、ＥＣＵ１に備えられているモノクロ変換部１２、車両情報入力部１３、及び警報出力部１５と演算部１４との間で行う各種の情報の授受を管理する。
【００２８】
ＲＡＭ（Random Access Memory）２３は、ＭＰＵ２１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【００２９】
ＲＯＭ（Read Only Memory）２４は、所定の基本制御プログラム及び所定の車両位置検出制御プログラムと、これらの制御プログラムの実行の際に使用される各種のデータとが予め記録されている読み出し専用半導体メモリである。ＭＰＵ２１は、基本制御プログラムを車両位置検出装置の起動時にＲＯＭ２４から読み出して実行することにより、この演算部１４の各構成要素の動作制御が可能になる。ＭＰＵ２１は、この後に、更に、車両位置検出制御プログラムをＲＯＭ２４から読み出して実行することにより、後述する車両位置検出制御処理を演算部１４が行うようになる。なお、フラッシュＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）をＲＯＭ２４として使用することは、もちろん可能である。
【００３０】
次に図３について説明する。図３は、図１のＥＣＵ１における演算部１４により行われる、車両位置検出制御処理の処理内容を図解したフローチャートである。
なお、図２の構成を有する演算部１４にこの車両位置検出制御処理を行わせるには、まず、この車両位置検出制御処理の処理内容をＭＰＵ２１に行わせるための車両位置検出制御プログラムを作成する。作成した車両位置検出制御プログラムはＲＯＭ２４に予め格納しておく。そして、ＭＰＵ２１にこの制御プログラムをＲＯＭ２４から読み出させて実行させる。こうすることで、演算部１４に車両位置検出制御処理を行わせることが可能になる。
【００３１】
図３において、この車両位置検出制御処理の実行が開始されると、まず、Ｓ１０１において画像入力処理が行われる。この処理は、カメラ２により撮像されてモノラル画像に変換された側方画像の画像データを、映像入力部１１から受け取って演算部１４が取得する処理である。演算部１４は、この処理を行うことで側方画像取得部として機能する。
【００３２】
次に、Ｓ１０２において車両情報入力処理が行われる。この処理は、自車両の走行等の各動作を制御している車両制御部から送られてくる、自車両の現在の各種の状況を表している車両情報を、車両情報入力部１３から受け取って演算部１４が取得する処理である。演算部１４は、この処理を行うことで車両情報取得部として機能する。
【００３３】
次に、Ｓ１０３において状況判定処理が行われる。この処理は、自車両の現在の状況が、走行車線に対する自車両の位置関係の検出を行う状況であるか否かの判定を、Ｓ１０２の処理で取得した車両情報に基づいて行う処理である。演算部１４は、この処理を行うことで状況判定部として機能する。
【００３４】
車両情報は、自車両の速度、自車両に備えられている方向指示器に対する動作指示状況、自車両に備えられているワイパに対する動作指示状況、及び、自車両に備えられている操舵用のハンドルに対する操作状況等を表している情報を含んでいる。状況判定処理では、これらの情報のうちの少なくともいずれか１つに基づいて、上記の判定を行う。
【００３５】
ここで、車両情報が自車両の速度を含んでいる場合には、演算部１４は、状況判定処理として、この自車両の速度が所定の閾値以上であるか否かを判定する処理を行う。ここで、この自車両の速度が所定の閾値以上である場合には、自車両の走行車線からの逸脱の可能性がある場合にその可能性を運転者に警告すべき状況であるとし、演算部１４は、走行車線に対する自車両の位置関係の検出を行う状況であるとの判定を下す。
【００３６】
また、車両情報が方向指示器に対する動作指示状況を含んでいる場合には、演算部１４は、状況判定処理として、この動作指示状況が方向指示器の動作を指示するものであるか否かを判定する処理を行う。ここで、方向指示器の動作が指示されていない場合には、運転者は走行車線に従った自車の走行を意図しており、自車両の位置関係の検出を行うべき状況にあると判断し、演算部１４は、走行車線に対する自車両の位置関係の検出を行う状況であるとの判定を下す。
【００３７】
また、車両情報がワイパに対する動作指示状況を含んでいる場合には、演算部１４は、状況判定処理として、この動作指示状況がワイパの動作を指示するものであるか否かを判定する処理を行う。ここで、ワイパの動作が指示されていない場合には、現在の天候が雨天ではないので側方画像の品質が確保できているので自車両の位置関係の検出を適切に行えると判断し、演算部１４は、走行車線に対する自車両の位置関係の検出を行う状況であるとの判定を下す。
【００３８】
また、車両情報がハンドルに対する操作状況を含んでいる場合には、演算部１４は、状況判定処理として、ハンドルによる操舵角が所定の閾値以下であるか否かを判定する処理を行う。ここで、この操舵角が所定の閾値以下である場合には、運転者は走行車線に従った自車の走行を意図しており、自車両の位置関係の検出を行うべき状況にあると判断し、演算部１４は、走行車線に対する自車両の位置関係の検出を行う状況であるとの判定を下す。
【００３９】
このＳ１０３の状況判定処理において、走行車線に対する自車両の位置関係の検出を行う状況であると判定したとき（判定結果がＹｅｓのとき）には、Ｓ１０４に処理を進める。一方、ここで、当該検出を行う状況ではないと判定したとき（判定結果がＮｏのとき）には、Ｓ１０１へと処理を戻し、カメラ２により新たに撮像された側方画像に基づく上述した処理が改めて行われる。
【００４０】
次に、Ｓ１０４において輝度閾値設定処理が行われる。この処理は、後述する輝度閾値を、カメラ２が撮像した側方画像を構成する各画素の輝度値に基づいて設定する処理である。演算部１４は、この処理を行うことで輝度閾値設定部として機能する。なお、この輝度閾値設定処理の詳細は後述する。
【００４１】
次に、Ｓ１０５において白線補填処理が行われる。この処理は、側方画像に対して画像処理を施して該白線の像のかすれを補填する。演算部１４は、この処理を行うことで白線補填処理部として機能する。なお、この白線補填処理の詳細も後述する。
【００４２】
次に、Ｓ１０６において輝度度数分布生成処理が行われる。この処理は、カメラ２が撮像した側方画像を構成する各画素についての輝度値の度数分布（ヒストグラム）を各種生成する処理である。演算部１４は、この処理を行うことで輝度度数分布生成処理部として機能する。なお、この輝度度数分布生成処理部により生成されるヒストグラムの詳細は後述する。
【００４３】
次に、Ｓ１０７においてスコア算出処理が行われる。この処理は、Ｓ１０６の処理により生成されるヒストグラムのひとつである横方向ヒストグラム（側方輝度値度数分布）における各階級に対して自車両からの距離に応じて予め与えられている点数の合計を、スコアとして算出する処理である。演算部１４は、この処理を行うことでスコア算出処理部として機能する。なお、横方向ヒストグラムの詳細、及びスコア算出処理部の詳細は後述する。
【００４４】
次に、Ｓ１０８では、実線判定処理が行われる。この処理は、カメラ２が撮像した側方画像に映っている、自車両の走行車線と隣の走行車線との境界を表している白線が実線であるか否かを判定する処理である。この処理では、より具体的には、前述した横方向ヒストグラムにおいて、度数が所定の度数閾値以上である階級が連続して所定数以上存在するか否かの判定を行う。ここで、全ての横方向ヒストグラムについて、そのような階級が連続して所定数以上存在した場合には、当該白線が実線であるとの判定を下し、その他の場合には、当該白線が実線ではないとの判定を下す。この判定手法の詳細については、後に詳しく説明する。演算部１４は、この処理を行うことで実線判定部として機能する。
【００４５】
このＳ１０８の実線判定処理において、当該白線が実線であるとの判定を下したとき（判定結果がＹｅｓのとき）にはＳ１０９に処理を進め、当該白線が実線ではないとの判定を下したとき（判定結果がＮｏのとき）にはＳ１１０に処理を進める。
【００４６】
次に、Ｓ１０９では、接近検出処理が行われる。この処理は、自車両が走行している走行車線の境界への自車両の接近を、Ｓ１０６の処理により生成されるヒストグラムのひとつである、前述した横方向ヒストグラムに基づいて検出する処理である。この処理では、より具体的には、Ｓ１０７のスコア算出処理により算出した、横方向ヒストグラムについてのスコアが、当該接近の発生を示している所定の基準範囲に含まれるか否かの判定を行う。ここで、当該スコアが所定の基準範囲に含まれるものがあった場合には、自車両の走行車線の境界への接近を検出したとの判定を下し、その他の場合には、自車両の走行車線の境界への接近は検出されなかったとの判定を下す。演算部１４は、この処理を行うことで接近検出部として機能する。
【００４７】
このＳ１０９の接近検出処理において、自車両の走行車線の境界への接近を検出したと判定したとき（判定結果がＹｅｓのとき）にはＳ１１５に処理を進める。一方、当該接近が検出されなかったと判定したとき（判定結果がＮｏのとき）には、Ｓ１０１へと処理を戻し、カメラ２により新たに撮像された側方画像に基づく上述した処理が改めて行われる。
【００４８】
ところで、Ｓ１０８の実線判定処理による判定結果がＮｏであった場合には、Ｓ１１０において、白線部分画像領域抽出処理が行われる。この処理は、カメラ２が撮像した側方画像から、実線判定処理により実線でないと判定された白線（ペイント部）が映っている部分画像領域を、側方画像における左端側及び右端側（すなわち、自車両の進行方向の前側及び後側）から１つずつ抽出する処理である。この白線部分画像領域抽出処理の詳細は後述する。演算部１４は、この処理を行うことで白線部分画像領域抽出部として機能する。
【００４９】
次に、Ｓ１１１では、Ｓ１１０の白線部分画像領域抽出処理により、白線が映っている部分画像領域を、側方画像における自車両の進行方向の前側及び後側から１つずつ抽出できたか否かを判定する処理が行われる。この判定処理において、部分画像領域を１つずつ抽出できたとき（判定結果がＹｅｓのとき）にはＳ１１２に処理を進める。一方、部分画像領域を１つずつ抽出することができなかったとき（判定結果がＮｏのとき）には、Ｓ１０１へと処理を戻し、カメラ２により新たに撮像された側方画像に基づく上述した処理が改めて行われる。
【００５０】
実線でないと判定された白線であっても、その白線が破線であれば、白線部分画像領域抽出処理により、当該破線の空線部分を挟み込んでいる２つの白線部分がそれぞれ映っている部分画像領域を、側方画像における左端側及び右端側から１つずつ抽出できる。従って、この場合には、Ｓ１１１の判定結果はＹｅｓとなる。一方、当該白線が破線でもない場合には、白線が映っている部分画像領域を、側方画像における左端側及び右端側から１つずつ抽出することができず、従って、Ｓ１１１の判定結果はＮｏとなる。
【００５１】
次に、Ｓ１１２では推定処理が行われる。この処理では、Ｓ１１０の白線部分画像領域抽出処理により抽出された２つの部分画像領域（第一部分画像領域及び第二部分画像領域）の各々に映っている白線である第一白線と第二白線とを滑らかに結ぶ推定白線を側方画像上に推定する処理が行われる。なお、この推定は、側方画像上での第一白線及び第二白線の各々についての線端の位置と当該該線端での向き（傾き）に基づいて行われる。この推定手法の詳細については、後に詳しく説明する。演算部１４は、この処理を行うことで推定部として機能する。
【００５２】
次に、Ｓ１１３では、位置関係検出処理が行われる。この処理では、自車両の走行車線に対する自車両の位置関係を、Ｓ１１２の推定処理により推定した推定白線の側方画像上での位置に基づいて検出する処理である。演算部１４は、この処理を行うことで位置関係検出部として機能する。
【００５３】
前述したように、側方画像を撮影するカメラ２は、自車両との相対位置、撮影方向、及び撮影倍率が固定されているので、側方画像に映る道路面上の各位置と自車両との位置関係は定まっている。従って、この関係を予め測定しておいてデータテーブルとし、ＲＯＭ２４に格納しておく。位置関係検出処理では、側方画像上に推定した推定白線の位置と自車両との実際の位置関係を、このデータテーブルを参照することによって検出する。
【００５４】
次に、Ｓ１１４では、Ｓ１１３の位置関係検出処理での位置関係の検出結果に基づき、推定白線の位置から自車両までの距離が、所定値以下の近さであるか否かを判定する処理が行われる。ここで、当該距離が所定値以下であると判定したとき（判定結果がＹｅｓのとき）にはＳ１１５に処理を進める。一方、当該距離が所定値よりも長いと判定したとき（判定結果がＮｏのとき）には、Ｓ１０１へと処理を戻し、カメラ２により新たに撮像された側方画像に基づく上述した処理が改めて行われる。
【００５５】
次に、Ｓ１１５では、警報処理が行われる。この処理は、警報出力部１５を制御してスピーカ４を駆動させ、所定の警報音（所定のアナウンス音声や、ブザー音など）をスピーカ４に放音させて自車両の運転者に車線逸脱の可能性を通知する処理である。なお、警報処理として、警報音をスピーカ４に放音させると共に、若しくはその代わりに、不図示の表示装置を動作させる制御を行って、所定の警告表示を行うようにしてもよい。
このＳ１１５の処理を終えると、図３の車両位置検出制御処理が終了する。
【００５６】
次に、図３の車両位置検出制御処理において行われる各処理の詳細について説明する。
まず、図３のＳ１０６の処理である、輝度度数分布生成処理により生成されるヒストグラムについて、図４及び図５参照しながら説明する。
【００５７】
図４及び図５は、側方画像の画像例である。但し、図４及び図５の側方画像は自車両の左側方の画像であり、自車両の進行方向は画像の右方向である。
これらの側方画像上には、画像の縦方向を長辺方向とする矩形である対象領域１００が、この画像例では９個並べられている。対象領域１００は、輝度度数分布生成処理で輝度値のヒストグラムを生成させる対象とする領域である。
【００５８】
この対象領域１００は、側方画像において道路が映っている領域内に配置する。本実施形態では、前述したように、カメラ２の撮影方向が、側方の方向の地平線が側方画像の縦方向のほぼ中間付近にほぼ直線状に映るように調整されているので、同一形である対象領域１００を、側方画像の下半分の領域に全て配置している。つまり、カメラ２の撮影方向を上述のように調整しておいたことで、側方画像の上半分の領域を車両位置検出制御処理での処理対象から一旦除外することができるので、画像処理量の削減に寄与するのである。
【００５９】
また、本実施形態において、側方画像の縦方向における対象領域１００相互の位置関係は、側方画像に映る道路上に対象領域１００を配置したときにおける位置関係が、自車両の進行方向に平行な直線上にほぼ並ぶような位置関係としている。つまり、側方画像の縦方向における対象領域１００各々の位置を、広角画像である側方画像の左右両端付近に存在する画像消失点を通る弦に沿うように配置している。なお、この弦の曲率は、対象領域１００の縦方向の配置位置に応じたものになる。
【００６０】
更に、本実施形態では、側方画像の横方向における対象領域１００の位置関係は、側方画像上で等間隔とし、自車両の全長（進行方向の長さ）の範囲内に全ての対象領域１００を配置している。
【００６１】
対象領域１００の長辺方向の長さ及び短辺方向の長さは任意である。但し、これらの長さは、路面に描かれている白線部分の、検出範囲及び検出精度に関係しており、これを長く設定すると、検出範囲が広くなり、検出精度も向上するが、その検出のための画像処理量が増加する。
以上のように、本実施形態では、対象領域１００の側方画像における位置及び範囲は予め設定されている。
【００６２】
輝度度数分布生成処理では、まず、側方画像上に上述したように設定されている対象領域１００の各々についての横方向ヒストグラムを生成する処理を行う。横方向ヒストグラムとは、側方画像における対象領域１００内の部分画像を構成する各画素についての輝度値の度数分布である。この横方向ヒストグラムは、より具体的には、自車両の側方の方向に、同一幅で、自車両からの距離に応じた階級が定められており、輝度値が、Ｓ１０４の輝度閾値設定処理により設定される輝度閾値以上である画素の度数を示している。輝度を加算した後閾値による判定を行ってもよい（このようにすると判定演算の回数が減り、処理時間の短縮が可能となる）。なお、図４及び図５には、横方向ヒストグラムの一例として、側方画像における最も左の位置に配置されている対象領域１００についてのものが描かれている。
【００６３】
図４の横方向ヒストグラムの例では、自車両に近い順に数えて３番目の階級と、それに連続する４番目の階級との度数がその他の階級から突出して高い度数となっている。これは、対象領域１００内の部分画像において、この度数が高くなる階級の距離範囲には、前述した輝度閾値以上の輝度である画素が多数存在していることを示している。ここでは、道路が映っているはずである対象領域１００内の部分画像の特定の距離範囲に密集しているこのような画素を、路面上の白線（ペイント部）を映した画素であると判定する。
【００６４】
このように、本実施形態では、横方向ヒストグラムにおいて、度数が所定の度数閾値以上である階級が連続して所定数以上存在した場合には、側方画像において車線の境界を表している白線が実線であるとの判定を下す。
【００６５】
なお、輝度度数分布生成処理では、側方画像ついて、縦方向ヒストグラムを更に生成する処理を行うようにしてもよい。縦方向ヒストグラムも、側方画像における各対象領域１００内の部分画像を構成する各画素についての輝度値の度数分布である。但し、縦方向ヒストグラムは、各対象領域１００の位置（自車両の進行方向の位置）を階級とし、その対象領域１００についての横方向ヒストグラムにおける各階級の度数の総和を度数としたものである。
【００６６】
例えば、図５に描かれている横方向ヒストグラムでは、自車両の車体の影響により、白線が路上に描かれていないにも拘らず、自車両に近い順に数えて１番目の階級と、それに連続する２番目の階級との度数がその他の階級から突出して高い度数となっている。このため、対象領域１００内におけるこの度数が高くなる階級の距離範囲に、白線部分が存在すると誤判定する可能性がある。このような場合でも、上述した縦方向ヒストグラムを併用すると、白線の実線の検出精度を高めることができる。
【００６７】
図４に描かれている縦方向ヒストグラムは、各階級の度数がほぼ同数であり、ばらつきが少ない。これは、幅がほぼ同一である単一の白線（すなわち車線の境界を表している白線）の一部が、各対象領域１００内の部分画像に映っているからである。
【００６８】
これに対し、図５に描かれている縦方向ヒストグラムは、各階級の度数のばらつきが、図４のものに比べて顕著に大きい。従って、このような場合には、上述したような、車線の境界を表している白線は、対象領域１００内の部分画像には映っていないと判定するようにする。
【００６９】
このように、縦方向ヒストグラムにおける度数のばらつきが所定値を超えて大きい場合には、白線の実線が対象領域１００内の部分画像に映っていないと判定することで、横方向ヒストグラムのみを用いる場合よりも、白線の実線の検出精度を高めることができる。
【００７０】
次に、図３の車両位置検出制御処理におけるＳ１０４の処理として実行される、輝度閾値設定処理の詳細について説明する。図６は、輝度閾値設定処理の処理内容を図解したフローチャートである。
【００７１】
図６において、まず、Ｓ２０１では、ヒストグラム作成対象領域設定処理が行われる。この処理では、前述した対象領域１００を、側方画像に複数設定する処理が行われる。前述したように、対象領域１００の側方画像における位置及び範囲は予め設定されている。本実施形態では、この設定情報はＲＯＭ２４に予め格納されており、ＭＰＵ２１は、ＲＯＭ２４から読み出した設定情報に従って、対象領域１００を側方画像に設定する処理を行う。
【００７２】
次に、Ｓ２０２では、側方画像に設定された各対象領域１００内の部分画像を構成する画素の輝度平均値を算出する処理が行われる。
次に、Ｓ２０３では、各対象領域１００について算出された輝度平均値に極端なばらつきがあるか否かを判定する処理が行われる。この処理では、具体的には、輝度平均値のばらつき（例えば最大値と最小値との差）が、所定の閾値を超えるほど大きいか否かを判定する処理が行われる。ここで、輝度平均値に極端なばらつきがあると判定されたとき（判定結果がＹｅｓのとき）にはＳ２０４に処理を進め、輝度平均値に極端なばらつきはないと判定されたとき（判定結果がＮｏのとき）にはＳ２０５に処理を進める。
【００７３】
Ｓ２０４では、各対象領域１００について算出された輝度平均値に所定値を加算した値を対象領域１００それぞれについての輝度閾値として設定する処理が行われ、その後はこの輝度閾値設定処理を終了する。
【００７４】
一方、Ｓ２０５では、各対象領域１００について算出された輝度平均値の更に平均値を算出し、その算出された平均値に所定値を加算した値を、対象領域１００の各々についての輝度閾値の共通値として設定する処理が行われる。その後はこの輝度閾値設定処理を終了する。
【００７５】
なお、Ｓ２０５の処理を上述のようにする代わりに、側方画像を構成する全画素（若しくは路面が映っている部分の部分画像を構成する画素）の輝度平均値に所定値を加算した値を、対象領域１００の各々について共通の輝度閾値として設定する処理としてもよい。
【００７６】
また、Ｓ２０４若しくはＳ２０５の処理において、加算する所定値の値をゼロとする、すなわち、得られた平均値そのものを、輝度閾値とする場合も、側方画像の明るさによっては、あり得ることである。
【００７７】
また、図６のＳ２０３以降の処理を行う代わりに、側方画像を構成する全画素（若しくは路面が映っている部分の部分画像を構成する画素）の輝度平均値に基づく値を、対象領域１００の各々について共通の輝度閾値として直ちに設定する処理としてもよい。
【００７８】
また、図６のＳ２０３以降の処理を行う代わりに、側方画像を構成する全画素（若しくは路面が映っている部分の部分画像を構成する画素）の輝度度数分布を求め、この分布に基づき、輝度閾値を設定する処理としてもよい。なお、この設定では、白線部分を表していることで輝度値が顕著に高い画素を十分に抽出できるような輝度閾値を設定するようにする。
【００７９】
次に、図３の車両位置検出制御処理におけるＳ１０５の処理として実行される、白線補填処理の詳細について説明する。図７は、白線補填処理の処理内容を図解したフローチャートである。
【００８０】
この図７の白線補填処理では、側方画像に映っている白線部分に対し、いわゆる膨張処理と一般に称されている画像処理を施して該白線の像のかすれを補填する。
図７において、まず、Ｓ３０１では、白線補填処理の処理対象とする対象領域１００内の部分画像を取得する処理が行われる。
【００８１】
次に、Ｓ３０２では、Ｓ３０１の処理で取得した部分画像を構成している画素のひとつに注目し、その注目画素の輝度が、当該注目画素が白線部分を映していると判定し得る所定の閾値以上であるか否かを判定する処理が行われる。なお、この閾値として、例えば、前述した輝度閾値設定処理により設定した輝度閾値を用いるようにしてもよい。
【００８２】
このＳ３０２の判定処理において、当該注目画素が所定の閾値以上であると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ３０３に処理を進める。一方、当該注目画素が所定の閾値以上であると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ３０４に処理を進める。
【００８３】
Ｓ３０３では、膨張処理として、Ｓ３０２の処理で注目した注目画素と、その注目画素に隣接する８個の隣接画素との輝度値とを、純白を示す値（例えば２５６階調における最大値）に変更する処理が行われる。隣接する上下左右又は斜め方向の４画素のみの処理でもよい。
【００８４】
次に、Ｓ３０４では、Ｓ３０２の処理で注目する画素を他のものに変更する処理が行われる。
次に、Ｓ３０５では、Ｓ３０１の処理で取得した部分画像を構成している全ての画素に対して、Ｓ３０２の判定処理を済ませたか否かを判定する処理が行われる。ここで、全ての画素に対してＳ３０２の判定処理を済ませたと判定したとき（判定結果がＹｅｓのとき）には、この白線補填処理を終了する。一方、Ｓ３０２の判定処理を済ませていない画素が部分画像に残っていると判定したとき（判定結果がＮｏのとき）には、Ｓ３０２に処理を戻して、未判定の画素に対してＳ３０２の判定処理を行う。但し、このときの判定処理では、Ｓ３０３の処理によって変更がされる前の輝度値（すなわち、Ｓ３０１の処理で取得した部分画像における輝度値）に基づいた判定を行う。
【００８５】
以上の白線補填処理を行うことで、側方画像に映っている白線に対して当該白線の像のかすれを補填することができる。なお、車両位置検出制御処理において、この白線補填処理を行わなくても、車両位置を検出することは可能である。
【００８６】
次に、図３の車両位置検出制御処理におけるＳ１０７の処理として実行される、スコア算出処理の詳細について説明する。図８は、スコア算出処理の処理内容を図解したフローチャートである。
【００８７】
まず、Ｓ４０１では、スコア計算用の度数閾値を設定する処理が行われる。この処理では、例えば、前述した輝度閾値設定処理により設定された輝度閾値から第一の所定値（「０」でもよい）を減算した値に第二の所定値（「１」でもよい）を乗じた値を、この度数閾値として設定するようにしてもよい。また、この度数閾値を、例えば、輝度閾値設定処理により設定された輝度閾値と、側方画像を構成する全画素（若しくは路面が映っている部分の部分画像を構成する画素）の輝度平均値との中間値に所定値（「１」でもよい）を乗じた値に設定するようにしてもよい。
【００８８】
次に、Ｓ４０２では、側方画像に設定された各対象領域１００についての横方向ヒストグラムにおいて、度数が、Ｓ４０１の処理で設定した度数閾値以上である階級が連続して存在する場合における、当該階級の連続数を計数して求める処理が行われる。図３の車両位置検出制御処理におけるＳ１０８の実線判定処理では、この計数値に基づいた判定が行われる。
【００８９】
次に、Ｓ４０３では、側方画像に設定された各対象領域１００についての横方向ヒストグラムのスコアを次のようにして計算する処理が行われる。
まず、横方向ヒストグラムの各階級に、自車両から近い順に、＋２、＋２、＋２、＋１、＋１、０、０、−１、（以降全て−１）の獲得可能スコアを設定しておく。そして、横方向ヒストグラムの各階級のうち、Ｓ４０１の処理で設定した度数閾値以上の度数を有していた階級のみに、上記の獲得可能スコアを獲得させる。そして、各階級で獲得したスコアの合計を計算し、得られた合計値を、その対象領域１００についての横方向ヒストグラムのスコアとする。
【００９０】
獲得可能スコアが上記のように設定されているので、車線の境界を示す白線に自車両が接近すると、横方向ヒストグラムのスコアは大きくなり、当該白線から自車両が遠ざかると、横方向ヒストグラムのスコアは小さくなる。つまり、この横方向ヒストグラムのスコアの大きさは、自車両の位置の当該白線からの近さを反映していることになる。
【００９１】
図３の車両位置検出制御処理におけるＳ１０９の接近検出処理では、この横方向ヒストグラムのスコアの大きさが所定の基準閾値を超える基準範囲に含まれるか否かを判定する。そして、当該スコアが所定の基準範囲に含まれるものがあった場合には、自車両の走行車線の境界への接近を検出したとの判定を下し、その他の場合には、自車両の走行車線の境界への接近は検出されなかったとの判定を下す。
【００９２】
次に、Ｓ４０４では、３分割ヒストグラムのスコア計算処理が行われる。
ここで３分割ヒストグラムについて説明する。
まず、側方画像に配置した対象領域１００を、その位置が自車両側方の前輪寄りであるか、後輪寄りであるか、あるいはそれらの中間であるかによって、３つのグループに分類する。例えば、図４及び図５の側方画像例では、９個配置した対象領域１００を、前輪寄り、後輪寄り、中間に各グループに３つずつ分類する。
【００９３】
次に、同一グループに分類された対象領域１００の各々についての横方向ヒストグラムにおいて、同一階級の度数の合計を階級毎に求め、その階級毎の合計値を度数として得られるグループ毎のヒストグラムが３分割ヒストグラムである。
【００９４】
路面に描かれているは白線が実線の場合、３分割ヒストグラムは、各グループ間で似た形状となり、白線が実線でない場合には、その形状が各グループ間で著しく異なったものとなる。すなわち、３分割ヒストグラムの各グループ間での類似度を求めて所定値との大小比較を行うことにより、路面に描かれているは白線が実線であるか否かを判定することができる。従って、図３の車両位置検出制御処理におけるＳ１０８の実線判定処理における判定を、このように３分割ヒストグラムを用いて行うようにすることもできる。
【００９５】
Ｓ４０４のスコア計算処理では、Ｓ４０３の横方向ヒストグラムのスコア計算処理と同様の計算を、各グループの３分割ヒストグラムに対して行う。
図３の車両位置検出制御処理におけるＳ１０９の接近検出処理では、この３分割ヒストグラムのスコアの大きさが所定の閾値以下か否かを判定する。そして、当該スコアが当該閾値以下であった場合には、路面に描かれている白線が実線であることがより確実であるとの判定を下し、自車両が走行している走行車線の境界への自車両の接近の検出の判定を、横方向ヒストグラムに基づいたものに委ねる。一方、当該スコアが当該閾値を超えた場合（白線部分が顕著に広い場合）には、路面に描かれている白線が、走行車線の境界を示す実線ではない（例えば、停止線や、文字・矢印等を路面上に描いたペイントなど）可能性が高いとの判定を下す。このような場合には、横方向ヒストグラムに基づいた前述の検出判定の結果は疑わしいと推定し、横方向ヒストグラムに基づく判定結果に拘らずにＳ１０１に処理を戻し、新たに撮像された側方画像に基づく検出処理が改めて行われる。
【００９６】
なお、３分割ヒストグラムの生成を行う場合には、図３の車両位置検出制御処理におけるＳ１０６の輝度度数分布生成処理により生成する。但し、３分割ヒストグラムの生成を行わずに、前述した横方向ヒストグラムのみでも車両位置の検出を行うことは可能であり、この場合には、Ｓ４０４の処理は不要である。
【００９７】
次に、Ｓ４０５では、縦方向ヒストグラムにおける各階級の度数のばらつきを計算する処理が行われる。この処理は、前述した輝度度数分布生成処理において縦方向ヒストグラムを更に生成した場合に行われる処理である。
【００９８】
この処理は、具体的には、縦方向ヒストグラムにおける度数の分散を示す値として、縦方向ヒストグラムにおける度数の平均値と各階級での度数との差の絶対値の全階級での合計値を算出する。図３の車両位置検出制御処理におけるＳ１０９の接近検出処理では、このＳ４０５の処理で算出された値の大きさが所定の閾値以下か否かを判定する。そして、この値の大きさが所定の閾値以下であった場合には、路面に描かれている白線が実線であることがより確実であるとの判定を下し、自車両が走行している走行車線の境界への自車両の接近の検出の判定を、横方向ヒストグラムに基づいたものに委ねる。一方、この値の大きさが当該閾値を超えた場合には、路面に描かれている白線が、走行車線の境界を示す実線ではない可能性が高いとの判定を下す。このような場合には、横方向ヒストグラムに基づいた前述の検出判定の結果は疑わしいと推定し、横方向ヒストグラムに基づく判定結果に拘らずにＳ１０１に処理を戻し、新たに撮像された側方画像に基づく検出処理が改めて行われる。
以上の処理が完了すると、その後はこのスコア算出処理を終了する。
【００９９】
次に、図３の車両位置検出制御処理におけるＳ１１０の処理として実行される、白線部分画像領域抽出処理の詳細について説明する。
【０１００】
まず図９について説明する。図９は、白線部分画像領域抽出処理の処理内容を図解したフローチャートである。
図９のフローチャートでは、Ｓ５０１からＳ５０５までの処理と、Ｓ５１１からＳ５１２までの処理とが並行して行われる。
【０１０１】
まず、Ｓ５０１では、前方矩形（第一部分画像領域）内の部分画像を取得する処理が行われ、この処理と並行して、Ｓ５１１では、後方矩形（第二部分画像領域）内の部分画像を取得する処理が行われる。
【０１０２】
ここで、前方矩形及び後方矩形について、図１０を参照しながら説明する。
図１０の側方画像には前方矩形２００と後方矩形３００とが配置されている。前方矩形２００は、側方画像における自車両の進行方向の前方の所定位置に配置される矩形であり、後方矩形３００は、側方画像における自車両の進行方向の後方の所定位置に配置される矩形である。なお、本実施形態では、前方矩形２００と後方矩形３００とを同一の形状・大きさとすると共に、この両者の側方画像における縦方向の位置を同一にしている。
【０１０３】
前述した対象領域１００と同様に、前方矩形２００及び後方矩形３００も側方画像において道路が映っている領域内に配置する。本実施形態では、前述したように、カメラ２の撮影方向が、側方の方向の地平線が側方画像の縦方向のほぼ中間付近にほぼ直線状に映るように調整されているので、前方矩形２００及び後方矩形３００を、側方画像の下半分の領域に配置している。つまり、カメラ２の撮影方向を上述のように調整しておいたことで、側方画像の上半分の領域を車両位置検出制御処理での処理対象から一旦除外することができるので、画像処理量の削減に寄与するのである。
【０１０４】
また、本実施形態では、前方矩形２００及び後方矩形３００を、それぞれ、側方画像の左右端における縦方向のほぼ中間付近（且つ、道路が映っている領域内）に配置している。これは、広角画像である側方画像には、左右両端付近における縦方向のほぼ中間付近に画像消失点が存在するので、その画像消失点を取り込む位置若しくは当該画像消失点の近傍の位置に前方矩形２００及び後方矩形３００を配置することを意図したものである。前方矩形２００及び後方矩形３００には、白線部分の画像領域が含まれている必要がどちらにもある。画像消失点を取り込む位置、もしくはその近傍の位置に前方矩形２００及び後方矩形３００を配置すれば、自車両の走行車線との境界を示す白線が破線であっても、両矩形内の部分画像に、その破線の白線部分の画像領域が含まれる期待が高まる。また、前方矩形２００及び後方矩形３００を側方画像の中央付近に設けた場合と比較して、白線部分の画像領域が含まれている領域という条件を満たす為に必要な矩形の面積が小さくて済む。
【０１０５】
図９の説明に戻る。
Ｓ５１１に続くＳ５１２の処理の内容は、Ｓ５０２からＳ５０５までの処理と同一であり、その処理の対象が、Ｓ５０１の処理で取得した部分画像ではなく、Ｓ５１１の処理で取得した部分画像となる点が異なるのみである。そこで、以下の説明では、Ｓ５０２からＳ５０５までの処理の内容を説明し、Ｓ５１２の処理についての説明は省略する。
【０１０６】
Ｓ５０２では、Ｓ５０１の処理で取得した部分画像を構成している画素のひとつに注目し、その注目画素の輝度が、当該注目画素が白線部分を映していると判定し得る所定の閾値以上であるか否かを判定する処理が行われる。なお、この閾値として、例えば、前述した輝度閾値設定処理により設定した輝度閾値を用いるようにしてもよい。
【０１０７】
このＳ５０２の判定処理において、当該注目画素が所定の閾値以上であると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ５０３に処理を進める。一方、当該注目画素が所定の閾値以上ではないと判定されたとき（判定結果がＮｏのとき）には、Ｓ５０４に処理を進める。
【０１０８】
Ｓ５０３では、膨張処理として、Ｓ５０２の処理で注目した注目画素と、その注目画素に隣接する８個の隣接画素との輝度値とを、純白を示す値（例えば２５６階調における最大値）に変更する処理が行われる。
【０１０９】
次に、Ｓ５０４では、Ｓ５０２の処理で注目する画素を他のものに変更する処理が行われる。
次に、Ｓ５０５では、Ｓ５０１の処理で取得した部分画像を構成している全ての画素に対して、Ｓ５０２の判定処理を済ませたか否かを判定する処理が行われる。ここで、全ての画素に対してＳ５０２の判定処理を済ませたと判定したとき（判定結果がＹｅｓのとき）には、この白線部分画像領域抽出処理を終了する。一方、Ｓ５０２の判定処理を済ませていない画素が部分画像に残っていると判定したとき（判定結果がＮｏのとき）には、Ｓ５０２に処理を戻して、未判定の画素に対してＳ５０２の判定処理を行う。但し、このときの判定処理では、Ｓ５０３の処理によって変更がされる前の輝度値（すなわち、Ｓ５０１の処理で取得した部分画像における輝度値）に基づいた判定を行う。
【０１１０】
なお、上述したＳ５０２からＳ５０５までの処理は、図７のＳ３０２からＳ３０５までの処理と同一である。つまり、この図９の処理では、Ｓ５０１及びＳ５１１の処理でそれぞれ取得した前方矩形２００内と後方矩形３００内との部分画像に映っている白線に対し、その白線の像のかすれを補填するための膨張処理を施す白線補填処理も併せて行っているのである。
【０１１１】
次に、Ｓ１１２の処理により実行される推定処理における推定白線の推定手法について、図１１を参照しながら説明する。
図１１は、前方矩形２００若しくは後方矩形３００（以下、これらを総称して単に「矩形」と称することもある）に囲まれている部分画像に白線が映っている状態を描いたものである。なお、図１１の例では、破線状の白線を構成している矩形状の白線（破線部）の全域が矩形内に映っている例を示しているが、この例に限るものではなく、白線の一部が矩形内に映っていればよい。なお、前述した白線部分画像領域抽出処理におけるＳ５０３（あるいはＳ５１２）の処理により、当該部分画像における白線の部分の画素の輝度値は純白を示す値となっている。
【０１１２】
まず、［１］白線を部分画像から抽出する処理が行われる。この処理は、具体的には、部分画像を構成している画素から、輝度値が純白を示す値となっている画素を抽出する処理となる。
【０１１３】
次に、［２］白線の端点の位置を、以下のようにして求める処理が行われる。
まず、側方画像の左側に配置されている矩形内の部分画像に映っている白線の場合には、当該白線の像を構成している画素のうちで、最も左の位置の画素と最も下の位置の画素とを端点と定める。ここで、位置が最も左である画素が縦方向に並んで複数存在した場合には、そのうちで最も位置が下である画素を、最も左の位置の画素とする。また、位置が最も下である画素が横方向に並んで複数存在した場合には、そのうちで最も位置が左である画素を、最も下の位置の画素とする。なお、最も左の位置の画素と最も下の位置の画素との二つを特定できなかった場合は、矩形内に白線を検出できなかったものとし、処理対象外にする。
【０１１４】
一方、側方画像の右側に配置されている矩形内の部分画像に映っている白線の場合には、当該白線の像を構成している画素のうちで、最も右の位置の画素と最も下の位置の画素とを端点と定める。そして、これらの端点の側方画像上の位置を特定する座標を取得する。ここで、位置が最も右である画素が縦方向に並んで複数存在した場合には、そのうちで最も位置が下である画素を、最も右の位置の画素とする。また、位置が最も下である画素が横方向に並んで複数存在した場合には、そのうちで最も位置が右である画素を、最も下の位置の画素とする。なお、最も右の位置の画素と最も下の位置の画素との二つを特定できなかった場合は、矩形内に白線を検出できなかったものとし、処理対象外にする。
【０１１５】
白線の端点の位置を探索する処理において、前述の通り、画像消失点を取り込む位置、もしくはその近傍の位置に前方矩形２００及び後方矩形３００を配置することで、探索対象となる前方矩形もしくは後方矩形の面積を小さくすることができる。これらの矩形の面積を小さくすると、探索に要する計算量を少なくすることができる。
【０１１６】
次に、［３］前方矩形２００内及び後方矩形３００内の部分画像に１つずつ映っている白線を滑らかに結ぶ推定白線を推定する処理を行う。この推定は以下のようにして行われる。
【０１１７】
まず、同一矩形内から求めた２つの端点を結ぶ直線の傾きの値を算出する処理を、前方矩形２００と後方矩形３００との各々について行う。この処理により得られた傾きの値を、矩形内の部分画像に映っている白線における、最も下の位置の画素の存在する側の線端での向きを示す値とする。
【０１１８】
次に、以上のようにして得られた、前方矩形２００内及び後方矩形３００内のそれぞれの部分画像に映っている白線における上記の線端の位置及び向きに対応する推定白線のデータを、ＲＯＭ２４に予め格納されているデータテーブルから取得する処理を行う。
【０１１９】
ＲＯＭ２４に格納されている推定白線データテーブルのデータ構造を図１２に示す。
このデータテーブルにおいて、「横方向位置」の欄には、矩形内の部分画像に映っている白線における最も下の位置の画素についての、側方画像上での横方向の位置を示す座標が格納される。また、「向き」の欄には、矩形内の部分画像に映っている白線における、最も下の位置の画素の存在する側の線端での向きを示す値（すなわち、前述したようにして算出した傾き値）が格納される。そして、推定白線データの欄には、前方矩形２００についての「横方向位置」がｘｆ、「向き」がａｆであり、後方矩形３００についての「横方向位置」がｘｒ、「向き」がａｒである場合における推定白線の位置を特定するデータＷ（ｘ，ｙ）が格納されている。この推定白線のデータは、例えば、上記の場合において、前方矩形２００内及び後方矩形３００内の部分画像に１つずつ映っている白線を滑らかに結ぶ白線を実際に描くことで得られる、その白線を特定する情報を格納しておく。この情報は、例えば、推定白線が通る全ての画素の側方画像上の位置を特定する座標情報でもよく、また、その推定白線を表す関数式の情報でもよい。
【０１２０】
なお、図１２の推定白線データテーブルでは、データ量の削減のため、矩形内の部分画像に映っている白線における最も下の位置の画素についての、側方画像上での縦方向の位置を示す「縦方向位置」の情報を無視している。ここで、ＲＯＭ２４のデータ格納容量に余裕があるならば、前方矩形２００及び後方矩形３００各々の「縦方向位置」の欄を推定白線データテーブルに追加し、推定白線のデータの当該テーブルからの取得を、更に、この「縦方向位置」にも基づくようにしてもよい。
【０１２１】
また、前方矩形２００及び後方矩形３００それぞれについての「横方向位置」及び「向き」（更には「縦方向位置」）の情報を引数とし、推定白線を示す数式を出力する関数を予め作成しておき、この関数を用いて、推定白線の推定を行うようにしてもよい。
【０１２２】
Ｓ１１２の処理により実行される推定処理では、以上のようにして推定白線の推定が行われる。
図１の車両位置検出装置は、以上のように動作するので、車線に対する車両の位置関係の検出に広角画像を用いても、その検出を精度良く行うことができる。
【０１２３】
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する白線部分画像領域抽出手段と、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定する推定手段と、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する位置関係検出手段と、
を有することを特徴とする車両位置検出装置。
（付記２）
前記白線部分画像領域抽出手段は、前記第一部分画像領域及び前記第二部分画像領域として、前記側方画像の画像消失点を含む領域を抽出することを特徴とする付記１に記載の車両位置検出装置。
（付記３）
該側方画像に映っている該車線の境界を表している白線が実線であるか否かを判定する実線判定手段を更に有し、
該推定手段は、該側方画像において該車線の境界を表している白線が実線ではないと該実線判定手段が判定したときに、該推定線の推定を行う、
ことを特徴とする付記１に記載の車両位置検出装置。
（付記４）
該車両との相対位置、撮像方向、及び撮像倍率が固定されており、該白線部分画像領域抽出手段が該部分画像領域を抽出する側方画像の撮像を行う撮像手段と、
該撮像手段が撮像した側方画像において予め位置が設定されている所定の範囲内の部分画像に基づいて、該部分画像を構成する各画素についての輝度値の度数分布であって、該側方の方向に同一幅で距離に応じた階級が定められており輝度値が所定の輝度閾値以上である画素の度数を示している側方輝度値度数分布を生成する輝度度数分布生成手段と、
を更に有し、
該実線判定手段は、該輝度度数分布生成手段が生成した側方輝度値度数分布において、度数が所定の度数閾値以上である階級が連続して所定数以上存在した場合には、該側方画像において該車線の境界を表している白線が実線であるとの判定を下し、その他の場合には、該白線が実線ではないとの判定を下す、
ことを特徴とする付記３に記載の車両位置検出装置。
（付記５）
該所定の輝度閾値を、該撮像手段が撮像した側方画像を構成する各画素の輝度値に基づいて設定する輝度閾値設定手段を更に有することを特徴とする付記４に記載の車両位置検出装置。
（付記６）
該輝度閾値設定手段は、該撮像手段が撮像した側方画像を構成する各画素の輝度値の平均値、若しくは該平均値に所定値を加算した値を、該所定の輝度閾値として設定することを特徴とする付記５に記載の車両位置検出装置。
（付記７）
該実線判定手段が、該側方画像において該車線の境界を表している白線が実線であるとの判定を下したときに、該車両の該車線の境界への接近を、該輝度度数分布生成手段が生成した側方輝度値度数分布に基づいて検出する接近検出手段を更に有することを特徴とする付記３に記載の車両位置検出装置。
（付記８）
該車両との相対位置、撮像方向、及び撮像倍率が固定されており、該白線部分画像領域抽出手段が該部分画像領域を抽出する側方画像の撮像を行う撮像手段を更に有し、
該白線部分画像領域抽出手段は、該部分画像領域を、該側方画像において予め位置が設定されている所定の範囲内から抽出する、
ことを特徴とする付記１に記載の車両位置検出装置。
（付記９）
該車両の状況を表している車両情報の入力を取得する車両情報取得手段と、
該車両の状況が、該位置関係の検出を行う状況であるか否かの判定を、該車両情報取得手段が取得した車両情報に基づいて行う状況判定手段と、
を更に有し、
該位置関係検出手段は、該車両の現在の状況が該位置関係の検出を行う状況であるとの判定結果を該状況判定手段が下したときに、該位置関係の検出を行う、
ことを特徴とする付記１に記載の車両位置検出装置。
（付記１０）
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出し、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定し、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する、
ことを特徴とする車両位置検出方法。
（付記１１）
演算処理装置が実行することによって、
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する白線部分画像領域抽出処理と、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定する推定処理と、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する位置関係検出処理と、
を該演算処理装置に行わせることを特徴とする車両位置検出プログラム。
【符号の説明】
【０１２４】
１ ＥＣＵ
２ カメラ
３ 車両ＩＦ
４ スピーカ
１１ 映像入力部
１２ モノクロ変換部
１３ 車両情報入力部
１４ 演算部
１５ 警報出力部
２１ ＭＰＵ
２２ インタフェース部
２３ ＲＡＭ
２４ ＲＯＭ
２５ バス
１００ 対象領域
２００ 前方矩形
３００ 後方矩形
【技術分野】
【０００１】
本明細書で議論される実施態様は、車両の運転を支援する技術に関するものである。
【背景技術】
【０００２】
道路を走行中の車両が走行中の車線から逸脱することを防止するために、車線逸脱の可能性の高まりを運転者へ警告する制御や、当該車線内の走行を自動的に維持する制御などを行う技術が知られている。これらの技術では、当該車両についての当該車線に対する位置関係の検出結果に基づいて上述した制御が行われる。
【０００３】
道路を走行中の車両についての、当該車両が走行中の車線に対する位置関係を検出する技術として、車両に固定されている車載カメラで撮像した道路の撮像画像から車線を認識し、その認識結果に基づいて当該位置関係を検出する技術が知られている。この技術では、まず、道路の路面上に描かれている、車線の境界を表している白線の画像領域を当該撮像画像から認識し、当該画像領域についての当該撮像画像上における位置関係を求める。次に、このようにして求めた位置関係を、当該車両についての白線に対する位置関係に変換して、当該車両についての当該車線に対する位置関係の検出結果とする。なお、この変換は、予め計測されている、撮像画像上の位置と実際の位置（車両に対する相対位置）との関係に従って行われる。
【０００４】
ところで、路面上に描かれている上述した白線は、場所によって実線である場合と破線である場合とがある。ここで、該破線における空線部分（白線が描かれない部分）からは、上述した技術を適用して車両と車線との位置関係の検出を行うことはできない。但し、路面上に描かれている白線が破線である場所において、当該破線における白線部分の位置に基づいた直線近似によって当該空線部分においての車線の境界を推定し、その推定結果を利用して車両と車線との位置関係を検出するという技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２０８１９８号公報
【特許文献２】特開２００２−１７５５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
昨今の自動車は、車両側方近傍の広い範囲の画像を撮像するための超広角カメラをサイドミラーに搭載したものがある。このような超広角カメラで撮像される側方画像を利用して、車両についての車線に対する位置関係の検出を行うことを考えてみる。
【０００７】
車載カメラで車両の走行方向の撮影を行うと、車載カメラの設置位置によっては、車両前方直近の路面の像が、自車のボンネットの死角となって得られないことがある。また、このような車両の走行方向の撮像画像では、車線の境界を表している白線を、自車の前方の他車が隠してしまっている場合もある。一方、上述した側方画像には、このような問題はなく、自車の直ぐ傍の路面上に描かれている白線が映るので、この白線の像に基づき車両についての車線に対する位置関係の検出を行うことができれば、高い検出精度が期待できる。
【０００８】
しかし、上述したような超広角カメラで撮像される側方画像には被写体が著しく歪んで映っている。このため、路面上に描かれている白線が破線である場所で上述のように撮像された側方画像に基づく車両と車線との位置関係の検出を、前述のような直線近似による車線の境界の推定結果を利用して行うと、高い検出精度は期待できない。
【０００９】
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、車線に対する車両の位置関係の検出に広角画像を用いても、その検出を精度良く行えるようにすることである。
【課題を解決するための手段】
【００１０】
本明細書で後述する車両検出装置のひとつには、白線部分画像領域抽出手段と、推定手段と、位置関係検出手段と、を有するというものがある。このうち、白線部分画像領域抽出手段は、道路上の車両の側方の方向を撮像した側方画像から、２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する。なお、この２つの部分画像領域は、道路の路面上に描かれており当該車両が走行している車線の境界を表している白線が各々に映っている領域である。また、推定手段は、第一部分画像領域に映っている白線である第一白線と第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を推定する。なお、この推定は、第一白線及び第二白線の各々について、側方画像上での線端の位置及び当該線端での向きに基づいて行われる。そして、位置関係検出手段は、この推定線の側方画像上での位置に基づき、車線に対する車両の位置関係を検出する。
【００１１】
また、本明細書で後述する車両検出方法のひとつは、まず、道路上の車両の側方の方向を撮像した側方画像から、２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する。なお、この２つの部分画像領域は、道路の路面上に描かれており当該車両が走行している車線の境界を表している白線が各々に映っている領域である。次に、第一部分画像領域に映っている白線である第一白線と第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、第一白線及び第二白線の各々について、側方画像上での線端の位置及び当該線端での向きに基づいて推定する。そして、この推定線の側方画像上での位置に基づき、車線に対する車両の位置関係を検出する。
【００１２】
また、本明細書で後述する車両位置検出プログラムのひとつは、演算処理装置が実行することによって、白線部分画像領域抽出処理と、推定処理と、位置関係検出処理とを当該演算処理装置に行わせるというものである。ここで、白線部分画像領域抽出処理は、道路上の車両の側方の方向を撮像した側方画像から、２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する処理である。なお、この２つの部分画像領域は、道路の路面上に描かれており当該車両が走行している車線の境界を表している白線が各々に映っている領域である。また、推定処理は、第一部分画像領域に映っている白線である第一白線と第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を推定する処理である。なお、この推定は、第一白線及び第二白線の各々について、側方画像上での線端の位置及び当該線端での向きに基づいて行われる。そして、位置関係検出処理は、この推定線の側方画像上での位置に基づき、車線に対する車両の位置関係を検出する処理である。
【発明の効果】
【００１３】
本明細書で後述する車両位置検出装置は、車線に対する車両の位置関係の検出に広角画像を用いても、その検出を精度良く行うことができる、という効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】車両位置検出装置の構成図である。
【図２】演算部の構成図である。
【図３】車両位置検出制御処理の処理内容を図解したフローチャートである。
【図４】輝度度数分布生成処理によるヒストグラムの生成を説明する図（その１）である。
【図５】輝度度数分布生成処理によるヒストグラムの生成を説明する図（その２）である。
【図６】輝度閾値設定処理の処理内容を図解したフローチャートである。
【図７】白線補填処理の処理内容を図解したフローチャートである。
【図８】スコア算出処理の処理内容を図解したフローチャートである。
【図９】白線部分画像領域抽出処理の処理内容を図解したフローチャートである。
【図１０】側方画像上の前方矩形及び後方矩形の配置例である。
【図１１】推定白線の推定の手法を説明する図である。
【図１２】推定白線データテーブルの構造を説明する図である。
【発明を実施するための形態】
【００１５】
まず図１について説明する。図１には、車両位置検出装置の構成が図解されている。この車両位置検出装置は、ＥＣＵ１、カメラ２、車両ＩＦ３、及びスピーカ４を有している。なお、この車両位置検出装置は、本実施形態においては自動車に搭載する。
【００１６】
ＥＣＵ（電子制御ユニット）１は、この車両位置検出装置全体の動作制御を行うものである。ＥＣＵ１は、カメラ２と車両ＩＦ３とから送られてくる情報に基づき、道路を走行中の自車両についての走行中の車線に対する位置関係を所定の場合に検出し、その検出結果に応じて所定の音をスピーカ４に放音させて自車両の運転者に注意を促す動作を行う。
【００１７】
カメラ２は、道路を走行中の自車両の走行方向に対する側方の方向の画像（側方画像）を撮像する撮像部である。本実施形態において、このカメラ２には、撮影レンズとして、画角が１８０度を超えるような超広角レンズが装備されており、従って、カメラ２で撮像される側方画像は超広角の画像である。
【００１８】
なお、カメラ２は、自車両との相対位置、撮影方向、及び撮影倍率が固定されており、自車両が走行中の道路の路面上に描かれており自車両の走行車線と隣の走行車線との境界を表している白線が当該側方画像の下部に映るように調整されているものとする。本実施形態においては、カメラ２は、自車両のサイドミラーの下部に取り付けて固定しておくようにする。従って、例えば、カメラ２に装備されている超広角レンズが、前述したような画角が１８０度を超えるようなものであれば、当該側方の方向の地平線が当該側方画像の縦方向のほぼ中間付近にほぼ直線状に映るように撮影方向を調整しておけばよい。
【００１９】
車両ＩＦ３は、自車両の走行等の各動作を制御している車両制御部との間で行う各種の情報の授受を管理するインタフェース部である。この車両制御部からは、自車両の現在の各種の状況を表している車両情報等が送られてくる。
【００２０】
スピーカ４は、ＥＣＵ１によって駆動制御されて所定の音を自車両内に放音し、自車両の運転者に各種の情報を音で通知する。
次に、ＥＣＵ１の構成について更に説明する。ＥＣＵ１は、映像入力部１１、モノクロ変換部１２、車両情報入力部１３、演算部１４、及び警報出力部１５を有している。
【００２１】
映像入力部１１には、カメラ２から出力される、側方画像を表現しているアナログ映像信号が入力される。映像入力部１１は、この映像信号をデジタル画像データに変換して出力する。
【００２２】
モノクロ変換部１２は、映像入力部１１から出力される、カラー画像である側方画像データを、各画素のデータが輝度値のみの情報であるモノクロ画像データに変換する。なお、カメラ２から出力される側方画像が既にモノクロ画像である場合には、モノクロ変換部１２は不要である。また、カラー画像データからモノクロ画像データの変換を、後段の演算部１４で行うようにして、モノクロ変換部１２を削除することも可能である。
【００２３】
車両情報入力部１３は、車両ＩＦ３が受け取った各種の情報が入力される。車両情報入力部１３は、この入力された情報から、演算部１４が行う後述する車両位置検出制御処理において使用される、自車両の現在の各種の状況を表している車両情報を抽出する。
【００２４】
演算部１４は、ＥＣＵ１全体の動作制御を行うものである。演算部１４は、モノクロ変換部１２から出力される側方画像と、車両情報入力部１３から出力される車両情報とに基づき、走行車線に対する自車両の位置関係を所定の場合に検出し、その検出結果に応じて所定の警報音をスピーカ４に放音させる制御動作を行う。
【００２５】
警報出力部１５は、演算部１４からの指示に応じてスピーカ４を駆動制御して、所定の音をスピーカ４に放音させる。
次に、演算部１４の構成について更に説明する。
【００２６】
図２には演算部１４の構成が図解されている。演算部１４は、ＭＰＵ２１、インタフェース部２２、ＲＡＭ２３、及びＲＯＭ２４を有している。なお、これらの構成要素はバス２５を介して接続されており、ＭＰＵ２１の管理の下で各種のデータを相互に授受することができる。
【００２７】
ＭＰＵ（Micro Processing Unit）２１は、この演算部１４全体の動作を制御する演算処理装置である。
インタフェース部２２は、ＥＣＵ１に備えられているモノクロ変換部１２、車両情報入力部１３、及び警報出力部１５と演算部１４との間で行う各種の情報の授受を管理する。
【００２８】
ＲＡＭ（Random Access Memory）２３は、ＭＰＵ２１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【００２９】
ＲＯＭ（Read Only Memory）２４は、所定の基本制御プログラム及び所定の車両位置検出制御プログラムと、これらの制御プログラムの実行の際に使用される各種のデータとが予め記録されている読み出し専用半導体メモリである。ＭＰＵ２１は、基本制御プログラムを車両位置検出装置の起動時にＲＯＭ２４から読み出して実行することにより、この演算部１４の各構成要素の動作制御が可能になる。ＭＰＵ２１は、この後に、更に、車両位置検出制御プログラムをＲＯＭ２４から読み出して実行することにより、後述する車両位置検出制御処理を演算部１４が行うようになる。なお、フラッシュＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）をＲＯＭ２４として使用することは、もちろん可能である。
【００３０】
次に図３について説明する。図３は、図１のＥＣＵ１における演算部１４により行われる、車両位置検出制御処理の処理内容を図解したフローチャートである。
なお、図２の構成を有する演算部１４にこの車両位置検出制御処理を行わせるには、まず、この車両位置検出制御処理の処理内容をＭＰＵ２１に行わせるための車両位置検出制御プログラムを作成する。作成した車両位置検出制御プログラムはＲＯＭ２４に予め格納しておく。そして、ＭＰＵ２１にこの制御プログラムをＲＯＭ２４から読み出させて実行させる。こうすることで、演算部１４に車両位置検出制御処理を行わせることが可能になる。
【００３１】
図３において、この車両位置検出制御処理の実行が開始されると、まず、Ｓ１０１において画像入力処理が行われる。この処理は、カメラ２により撮像されてモノラル画像に変換された側方画像の画像データを、映像入力部１１から受け取って演算部１４が取得する処理である。演算部１４は、この処理を行うことで側方画像取得部として機能する。
【００３２】
次に、Ｓ１０２において車両情報入力処理が行われる。この処理は、自車両の走行等の各動作を制御している車両制御部から送られてくる、自車両の現在の各種の状況を表している車両情報を、車両情報入力部１３から受け取って演算部１４が取得する処理である。演算部１４は、この処理を行うことで車両情報取得部として機能する。
【００３３】
次に、Ｓ１０３において状況判定処理が行われる。この処理は、自車両の現在の状況が、走行車線に対する自車両の位置関係の検出を行う状況であるか否かの判定を、Ｓ１０２の処理で取得した車両情報に基づいて行う処理である。演算部１４は、この処理を行うことで状況判定部として機能する。
【００３４】
車両情報は、自車両の速度、自車両に備えられている方向指示器に対する動作指示状況、自車両に備えられているワイパに対する動作指示状況、及び、自車両に備えられている操舵用のハンドルに対する操作状況等を表している情報を含んでいる。状況判定処理では、これらの情報のうちの少なくともいずれか１つに基づいて、上記の判定を行う。
【００３５】
ここで、車両情報が自車両の速度を含んでいる場合には、演算部１４は、状況判定処理として、この自車両の速度が所定の閾値以上であるか否かを判定する処理を行う。ここで、この自車両の速度が所定の閾値以上である場合には、自車両の走行車線からの逸脱の可能性がある場合にその可能性を運転者に警告すべき状況であるとし、演算部１４は、走行車線に対する自車両の位置関係の検出を行う状況であるとの判定を下す。
【００３６】
また、車両情報が方向指示器に対する動作指示状況を含んでいる場合には、演算部１４は、状況判定処理として、この動作指示状況が方向指示器の動作を指示するものであるか否かを判定する処理を行う。ここで、方向指示器の動作が指示されていない場合には、運転者は走行車線に従った自車の走行を意図しており、自車両の位置関係の検出を行うべき状況にあると判断し、演算部１４は、走行車線に対する自車両の位置関係の検出を行う状況であるとの判定を下す。
【００３７】
また、車両情報がワイパに対する動作指示状況を含んでいる場合には、演算部１４は、状況判定処理として、この動作指示状況がワイパの動作を指示するものであるか否かを判定する処理を行う。ここで、ワイパの動作が指示されていない場合には、現在の天候が雨天ではないので側方画像の品質が確保できているので自車両の位置関係の検出を適切に行えると判断し、演算部１４は、走行車線に対する自車両の位置関係の検出を行う状況であるとの判定を下す。
【００３８】
また、車両情報がハンドルに対する操作状況を含んでいる場合には、演算部１４は、状況判定処理として、ハンドルによる操舵角が所定の閾値以下であるか否かを判定する処理を行う。ここで、この操舵角が所定の閾値以下である場合には、運転者は走行車線に従った自車の走行を意図しており、自車両の位置関係の検出を行うべき状況にあると判断し、演算部１４は、走行車線に対する自車両の位置関係の検出を行う状況であるとの判定を下す。
【００３９】
このＳ１０３の状況判定処理において、走行車線に対する自車両の位置関係の検出を行う状況であると判定したとき（判定結果がＹｅｓのとき）には、Ｓ１０４に処理を進める。一方、ここで、当該検出を行う状況ではないと判定したとき（判定結果がＮｏのとき）には、Ｓ１０１へと処理を戻し、カメラ２により新たに撮像された側方画像に基づく上述した処理が改めて行われる。
【００４０】
次に、Ｓ１０４において輝度閾値設定処理が行われる。この処理は、後述する輝度閾値を、カメラ２が撮像した側方画像を構成する各画素の輝度値に基づいて設定する処理である。演算部１４は、この処理を行うことで輝度閾値設定部として機能する。なお、この輝度閾値設定処理の詳細は後述する。
【００４１】
次に、Ｓ１０５において白線補填処理が行われる。この処理は、側方画像に対して画像処理を施して該白線の像のかすれを補填する。演算部１４は、この処理を行うことで白線補填処理部として機能する。なお、この白線補填処理の詳細も後述する。
【００４２】
次に、Ｓ１０６において輝度度数分布生成処理が行われる。この処理は、カメラ２が撮像した側方画像を構成する各画素についての輝度値の度数分布（ヒストグラム）を各種生成する処理である。演算部１４は、この処理を行うことで輝度度数分布生成処理部として機能する。なお、この輝度度数分布生成処理部により生成されるヒストグラムの詳細は後述する。
【００４３】
次に、Ｓ１０７においてスコア算出処理が行われる。この処理は、Ｓ１０６の処理により生成されるヒストグラムのひとつである横方向ヒストグラム（側方輝度値度数分布）における各階級に対して自車両からの距離に応じて予め与えられている点数の合計を、スコアとして算出する処理である。演算部１４は、この処理を行うことでスコア算出処理部として機能する。なお、横方向ヒストグラムの詳細、及びスコア算出処理部の詳細は後述する。
【００４４】
次に、Ｓ１０８では、実線判定処理が行われる。この処理は、カメラ２が撮像した側方画像に映っている、自車両の走行車線と隣の走行車線との境界を表している白線が実線であるか否かを判定する処理である。この処理では、より具体的には、前述した横方向ヒストグラムにおいて、度数が所定の度数閾値以上である階級が連続して所定数以上存在するか否かの判定を行う。ここで、全ての横方向ヒストグラムについて、そのような階級が連続して所定数以上存在した場合には、当該白線が実線であるとの判定を下し、その他の場合には、当該白線が実線ではないとの判定を下す。この判定手法の詳細については、後に詳しく説明する。演算部１４は、この処理を行うことで実線判定部として機能する。
【００４５】
このＳ１０８の実線判定処理において、当該白線が実線であるとの判定を下したとき（判定結果がＹｅｓのとき）にはＳ１０９に処理を進め、当該白線が実線ではないとの判定を下したとき（判定結果がＮｏのとき）にはＳ１１０に処理を進める。
【００４６】
次に、Ｓ１０９では、接近検出処理が行われる。この処理は、自車両が走行している走行車線の境界への自車両の接近を、Ｓ１０６の処理により生成されるヒストグラムのひとつである、前述した横方向ヒストグラムに基づいて検出する処理である。この処理では、より具体的には、Ｓ１０７のスコア算出処理により算出した、横方向ヒストグラムについてのスコアが、当該接近の発生を示している所定の基準範囲に含まれるか否かの判定を行う。ここで、当該スコアが所定の基準範囲に含まれるものがあった場合には、自車両の走行車線の境界への接近を検出したとの判定を下し、その他の場合には、自車両の走行車線の境界への接近は検出されなかったとの判定を下す。演算部１４は、この処理を行うことで接近検出部として機能する。
【００４７】
このＳ１０９の接近検出処理において、自車両の走行車線の境界への接近を検出したと判定したとき（判定結果がＹｅｓのとき）にはＳ１１５に処理を進める。一方、当該接近が検出されなかったと判定したとき（判定結果がＮｏのとき）には、Ｓ１０１へと処理を戻し、カメラ２により新たに撮像された側方画像に基づく上述した処理が改めて行われる。
【００４８】
ところで、Ｓ１０８の実線判定処理による判定結果がＮｏであった場合には、Ｓ１１０において、白線部分画像領域抽出処理が行われる。この処理は、カメラ２が撮像した側方画像から、実線判定処理により実線でないと判定された白線（ペイント部）が映っている部分画像領域を、側方画像における左端側及び右端側（すなわち、自車両の進行方向の前側及び後側）から１つずつ抽出する処理である。この白線部分画像領域抽出処理の詳細は後述する。演算部１４は、この処理を行うことで白線部分画像領域抽出部として機能する。
【００４９】
次に、Ｓ１１１では、Ｓ１１０の白線部分画像領域抽出処理により、白線が映っている部分画像領域を、側方画像における自車両の進行方向の前側及び後側から１つずつ抽出できたか否かを判定する処理が行われる。この判定処理において、部分画像領域を１つずつ抽出できたとき（判定結果がＹｅｓのとき）にはＳ１１２に処理を進める。一方、部分画像領域を１つずつ抽出することができなかったとき（判定結果がＮｏのとき）には、Ｓ１０１へと処理を戻し、カメラ２により新たに撮像された側方画像に基づく上述した処理が改めて行われる。
【００５０】
実線でないと判定された白線であっても、その白線が破線であれば、白線部分画像領域抽出処理により、当該破線の空線部分を挟み込んでいる２つの白線部分がそれぞれ映っている部分画像領域を、側方画像における左端側及び右端側から１つずつ抽出できる。従って、この場合には、Ｓ１１１の判定結果はＹｅｓとなる。一方、当該白線が破線でもない場合には、白線が映っている部分画像領域を、側方画像における左端側及び右端側から１つずつ抽出することができず、従って、Ｓ１１１の判定結果はＮｏとなる。
【００５１】
次に、Ｓ１１２では推定処理が行われる。この処理では、Ｓ１１０の白線部分画像領域抽出処理により抽出された２つの部分画像領域（第一部分画像領域及び第二部分画像領域）の各々に映っている白線である第一白線と第二白線とを滑らかに結ぶ推定白線を側方画像上に推定する処理が行われる。なお、この推定は、側方画像上での第一白線及び第二白線の各々についての線端の位置と当該該線端での向き（傾き）に基づいて行われる。この推定手法の詳細については、後に詳しく説明する。演算部１４は、この処理を行うことで推定部として機能する。
【００５２】
次に、Ｓ１１３では、位置関係検出処理が行われる。この処理では、自車両の走行車線に対する自車両の位置関係を、Ｓ１１２の推定処理により推定した推定白線の側方画像上での位置に基づいて検出する処理である。演算部１４は、この処理を行うことで位置関係検出部として機能する。
【００５３】
前述したように、側方画像を撮影するカメラ２は、自車両との相対位置、撮影方向、及び撮影倍率が固定されているので、側方画像に映る道路面上の各位置と自車両との位置関係は定まっている。従って、この関係を予め測定しておいてデータテーブルとし、ＲＯＭ２４に格納しておく。位置関係検出処理では、側方画像上に推定した推定白線の位置と自車両との実際の位置関係を、このデータテーブルを参照することによって検出する。
【００５４】
次に、Ｓ１１４では、Ｓ１１３の位置関係検出処理での位置関係の検出結果に基づき、推定白線の位置から自車両までの距離が、所定値以下の近さであるか否かを判定する処理が行われる。ここで、当該距離が所定値以下であると判定したとき（判定結果がＹｅｓのとき）にはＳ１１５に処理を進める。一方、当該距離が所定値よりも長いと判定したとき（判定結果がＮｏのとき）には、Ｓ１０１へと処理を戻し、カメラ２により新たに撮像された側方画像に基づく上述した処理が改めて行われる。
【００５５】
次に、Ｓ１１５では、警報処理が行われる。この処理は、警報出力部１５を制御してスピーカ４を駆動させ、所定の警報音（所定のアナウンス音声や、ブザー音など）をスピーカ４に放音させて自車両の運転者に車線逸脱の可能性を通知する処理である。なお、警報処理として、警報音をスピーカ４に放音させると共に、若しくはその代わりに、不図示の表示装置を動作させる制御を行って、所定の警告表示を行うようにしてもよい。
このＳ１１５の処理を終えると、図３の車両位置検出制御処理が終了する。
【００５６】
次に、図３の車両位置検出制御処理において行われる各処理の詳細について説明する。
まず、図３のＳ１０６の処理である、輝度度数分布生成処理により生成されるヒストグラムについて、図４及び図５参照しながら説明する。
【００５７】
図４及び図５は、側方画像の画像例である。但し、図４及び図５の側方画像は自車両の左側方の画像であり、自車両の進行方向は画像の右方向である。
これらの側方画像上には、画像の縦方向を長辺方向とする矩形である対象領域１００が、この画像例では９個並べられている。対象領域１００は、輝度度数分布生成処理で輝度値のヒストグラムを生成させる対象とする領域である。
【００５８】
この対象領域１００は、側方画像において道路が映っている領域内に配置する。本実施形態では、前述したように、カメラ２の撮影方向が、側方の方向の地平線が側方画像の縦方向のほぼ中間付近にほぼ直線状に映るように調整されているので、同一形である対象領域１００を、側方画像の下半分の領域に全て配置している。つまり、カメラ２の撮影方向を上述のように調整しておいたことで、側方画像の上半分の領域を車両位置検出制御処理での処理対象から一旦除外することができるので、画像処理量の削減に寄与するのである。
【００５９】
また、本実施形態において、側方画像の縦方向における対象領域１００相互の位置関係は、側方画像に映る道路上に対象領域１００を配置したときにおける位置関係が、自車両の進行方向に平行な直線上にほぼ並ぶような位置関係としている。つまり、側方画像の縦方向における対象領域１００各々の位置を、広角画像である側方画像の左右両端付近に存在する画像消失点を通る弦に沿うように配置している。なお、この弦の曲率は、対象領域１００の縦方向の配置位置に応じたものになる。
【００６０】
更に、本実施形態では、側方画像の横方向における対象領域１００の位置関係は、側方画像上で等間隔とし、自車両の全長（進行方向の長さ）の範囲内に全ての対象領域１００を配置している。
【００６１】
対象領域１００の長辺方向の長さ及び短辺方向の長さは任意である。但し、これらの長さは、路面に描かれている白線部分の、検出範囲及び検出精度に関係しており、これを長く設定すると、検出範囲が広くなり、検出精度も向上するが、その検出のための画像処理量が増加する。
以上のように、本実施形態では、対象領域１００の側方画像における位置及び範囲は予め設定されている。
【００６２】
輝度度数分布生成処理では、まず、側方画像上に上述したように設定されている対象領域１００の各々についての横方向ヒストグラムを生成する処理を行う。横方向ヒストグラムとは、側方画像における対象領域１００内の部分画像を構成する各画素についての輝度値の度数分布である。この横方向ヒストグラムは、より具体的には、自車両の側方の方向に、同一幅で、自車両からの距離に応じた階級が定められており、輝度値が、Ｓ１０４の輝度閾値設定処理により設定される輝度閾値以上である画素の度数を示している。輝度を加算した後閾値による判定を行ってもよい（このようにすると判定演算の回数が減り、処理時間の短縮が可能となる）。なお、図４及び図５には、横方向ヒストグラムの一例として、側方画像における最も左の位置に配置されている対象領域１００についてのものが描かれている。
【００６３】
図４の横方向ヒストグラムの例では、自車両に近い順に数えて３番目の階級と、それに連続する４番目の階級との度数がその他の階級から突出して高い度数となっている。これは、対象領域１００内の部分画像において、この度数が高くなる階級の距離範囲には、前述した輝度閾値以上の輝度である画素が多数存在していることを示している。ここでは、道路が映っているはずである対象領域１００内の部分画像の特定の距離範囲に密集しているこのような画素を、路面上の白線（ペイント部）を映した画素であると判定する。
【００６４】
このように、本実施形態では、横方向ヒストグラムにおいて、度数が所定の度数閾値以上である階級が連続して所定数以上存在した場合には、側方画像において車線の境界を表している白線が実線であるとの判定を下す。
【００６５】
なお、輝度度数分布生成処理では、側方画像ついて、縦方向ヒストグラムを更に生成する処理を行うようにしてもよい。縦方向ヒストグラムも、側方画像における各対象領域１００内の部分画像を構成する各画素についての輝度値の度数分布である。但し、縦方向ヒストグラムは、各対象領域１００の位置（自車両の進行方向の位置）を階級とし、その対象領域１００についての横方向ヒストグラムにおける各階級の度数の総和を度数としたものである。
【００６６】
例えば、図５に描かれている横方向ヒストグラムでは、自車両の車体の影響により、白線が路上に描かれていないにも拘らず、自車両に近い順に数えて１番目の階級と、それに連続する２番目の階級との度数がその他の階級から突出して高い度数となっている。このため、対象領域１００内におけるこの度数が高くなる階級の距離範囲に、白線部分が存在すると誤判定する可能性がある。このような場合でも、上述した縦方向ヒストグラムを併用すると、白線の実線の検出精度を高めることができる。
【００６７】
図４に描かれている縦方向ヒストグラムは、各階級の度数がほぼ同数であり、ばらつきが少ない。これは、幅がほぼ同一である単一の白線（すなわち車線の境界を表している白線）の一部が、各対象領域１００内の部分画像に映っているからである。
【００６８】
これに対し、図５に描かれている縦方向ヒストグラムは、各階級の度数のばらつきが、図４のものに比べて顕著に大きい。従って、このような場合には、上述したような、車線の境界を表している白線は、対象領域１００内の部分画像には映っていないと判定するようにする。
【００６９】
このように、縦方向ヒストグラムにおける度数のばらつきが所定値を超えて大きい場合には、白線の実線が対象領域１００内の部分画像に映っていないと判定することで、横方向ヒストグラムのみを用いる場合よりも、白線の実線の検出精度を高めることができる。
【００７０】
次に、図３の車両位置検出制御処理におけるＳ１０４の処理として実行される、輝度閾値設定処理の詳細について説明する。図６は、輝度閾値設定処理の処理内容を図解したフローチャートである。
【００７１】
図６において、まず、Ｓ２０１では、ヒストグラム作成対象領域設定処理が行われる。この処理では、前述した対象領域１００を、側方画像に複数設定する処理が行われる。前述したように、対象領域１００の側方画像における位置及び範囲は予め設定されている。本実施形態では、この設定情報はＲＯＭ２４に予め格納されており、ＭＰＵ２１は、ＲＯＭ２４から読み出した設定情報に従って、対象領域１００を側方画像に設定する処理を行う。
【００７２】
次に、Ｓ２０２では、側方画像に設定された各対象領域１００内の部分画像を構成する画素の輝度平均値を算出する処理が行われる。
次に、Ｓ２０３では、各対象領域１００について算出された輝度平均値に極端なばらつきがあるか否かを判定する処理が行われる。この処理では、具体的には、輝度平均値のばらつき（例えば最大値と最小値との差）が、所定の閾値を超えるほど大きいか否かを判定する処理が行われる。ここで、輝度平均値に極端なばらつきがあると判定されたとき（判定結果がＹｅｓのとき）にはＳ２０４に処理を進め、輝度平均値に極端なばらつきはないと判定されたとき（判定結果がＮｏのとき）にはＳ２０５に処理を進める。
【００７３】
Ｓ２０４では、各対象領域１００について算出された輝度平均値に所定値を加算した値を対象領域１００それぞれについての輝度閾値として設定する処理が行われ、その後はこの輝度閾値設定処理を終了する。
【００７４】
一方、Ｓ２０５では、各対象領域１００について算出された輝度平均値の更に平均値を算出し、その算出された平均値に所定値を加算した値を、対象領域１００の各々についての輝度閾値の共通値として設定する処理が行われる。その後はこの輝度閾値設定処理を終了する。
【００７５】
なお、Ｓ２０５の処理を上述のようにする代わりに、側方画像を構成する全画素（若しくは路面が映っている部分の部分画像を構成する画素）の輝度平均値に所定値を加算した値を、対象領域１００の各々について共通の輝度閾値として設定する処理としてもよい。
【００７６】
また、Ｓ２０４若しくはＳ２０５の処理において、加算する所定値の値をゼロとする、すなわち、得られた平均値そのものを、輝度閾値とする場合も、側方画像の明るさによっては、あり得ることである。
【００７７】
また、図６のＳ２０３以降の処理を行う代わりに、側方画像を構成する全画素（若しくは路面が映っている部分の部分画像を構成する画素）の輝度平均値に基づく値を、対象領域１００の各々について共通の輝度閾値として直ちに設定する処理としてもよい。
【００７８】
また、図６のＳ２０３以降の処理を行う代わりに、側方画像を構成する全画素（若しくは路面が映っている部分の部分画像を構成する画素）の輝度度数分布を求め、この分布に基づき、輝度閾値を設定する処理としてもよい。なお、この設定では、白線部分を表していることで輝度値が顕著に高い画素を十分に抽出できるような輝度閾値を設定するようにする。
【００７９】
次に、図３の車両位置検出制御処理におけるＳ１０５の処理として実行される、白線補填処理の詳細について説明する。図７は、白線補填処理の処理内容を図解したフローチャートである。
【００８０】
この図７の白線補填処理では、側方画像に映っている白線部分に対し、いわゆる膨張処理と一般に称されている画像処理を施して該白線の像のかすれを補填する。
図７において、まず、Ｓ３０１では、白線補填処理の処理対象とする対象領域１００内の部分画像を取得する処理が行われる。
【００８１】
次に、Ｓ３０２では、Ｓ３０１の処理で取得した部分画像を構成している画素のひとつに注目し、その注目画素の輝度が、当該注目画素が白線部分を映していると判定し得る所定の閾値以上であるか否かを判定する処理が行われる。なお、この閾値として、例えば、前述した輝度閾値設定処理により設定した輝度閾値を用いるようにしてもよい。
【００８２】
このＳ３０２の判定処理において、当該注目画素が所定の閾値以上であると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ３０３に処理を進める。一方、当該注目画素が所定の閾値以上であると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ３０４に処理を進める。
【００８３】
Ｓ３０３では、膨張処理として、Ｓ３０２の処理で注目した注目画素と、その注目画素に隣接する８個の隣接画素との輝度値とを、純白を示す値（例えば２５６階調における最大値）に変更する処理が行われる。隣接する上下左右又は斜め方向の４画素のみの処理でもよい。
【００８４】
次に、Ｓ３０４では、Ｓ３０２の処理で注目する画素を他のものに変更する処理が行われる。
次に、Ｓ３０５では、Ｓ３０１の処理で取得した部分画像を構成している全ての画素に対して、Ｓ３０２の判定処理を済ませたか否かを判定する処理が行われる。ここで、全ての画素に対してＳ３０２の判定処理を済ませたと判定したとき（判定結果がＹｅｓのとき）には、この白線補填処理を終了する。一方、Ｓ３０２の判定処理を済ませていない画素が部分画像に残っていると判定したとき（判定結果がＮｏのとき）には、Ｓ３０２に処理を戻して、未判定の画素に対してＳ３０２の判定処理を行う。但し、このときの判定処理では、Ｓ３０３の処理によって変更がされる前の輝度値（すなわち、Ｓ３０１の処理で取得した部分画像における輝度値）に基づいた判定を行う。
【００８５】
以上の白線補填処理を行うことで、側方画像に映っている白線に対して当該白線の像のかすれを補填することができる。なお、車両位置検出制御処理において、この白線補填処理を行わなくても、車両位置を検出することは可能である。
【００８６】
次に、図３の車両位置検出制御処理におけるＳ１０７の処理として実行される、スコア算出処理の詳細について説明する。図８は、スコア算出処理の処理内容を図解したフローチャートである。
【００８７】
まず、Ｓ４０１では、スコア計算用の度数閾値を設定する処理が行われる。この処理では、例えば、前述した輝度閾値設定処理により設定された輝度閾値から第一の所定値（「０」でもよい）を減算した値に第二の所定値（「１」でもよい）を乗じた値を、この度数閾値として設定するようにしてもよい。また、この度数閾値を、例えば、輝度閾値設定処理により設定された輝度閾値と、側方画像を構成する全画素（若しくは路面が映っている部分の部分画像を構成する画素）の輝度平均値との中間値に所定値（「１」でもよい）を乗じた値に設定するようにしてもよい。
【００８８】
次に、Ｓ４０２では、側方画像に設定された各対象領域１００についての横方向ヒストグラムにおいて、度数が、Ｓ４０１の処理で設定した度数閾値以上である階級が連続して存在する場合における、当該階級の連続数を計数して求める処理が行われる。図３の車両位置検出制御処理におけるＳ１０８の実線判定処理では、この計数値に基づいた判定が行われる。
【００８９】
次に、Ｓ４０３では、側方画像に設定された各対象領域１００についての横方向ヒストグラムのスコアを次のようにして計算する処理が行われる。
まず、横方向ヒストグラムの各階級に、自車両から近い順に、＋２、＋２、＋２、＋１、＋１、０、０、−１、（以降全て−１）の獲得可能スコアを設定しておく。そして、横方向ヒストグラムの各階級のうち、Ｓ４０１の処理で設定した度数閾値以上の度数を有していた階級のみに、上記の獲得可能スコアを獲得させる。そして、各階級で獲得したスコアの合計を計算し、得られた合計値を、その対象領域１００についての横方向ヒストグラムのスコアとする。
【００９０】
獲得可能スコアが上記のように設定されているので、車線の境界を示す白線に自車両が接近すると、横方向ヒストグラムのスコアは大きくなり、当該白線から自車両が遠ざかると、横方向ヒストグラムのスコアは小さくなる。つまり、この横方向ヒストグラムのスコアの大きさは、自車両の位置の当該白線からの近さを反映していることになる。
【００９１】
図３の車両位置検出制御処理におけるＳ１０９の接近検出処理では、この横方向ヒストグラムのスコアの大きさが所定の基準閾値を超える基準範囲に含まれるか否かを判定する。そして、当該スコアが所定の基準範囲に含まれるものがあった場合には、自車両の走行車線の境界への接近を検出したとの判定を下し、その他の場合には、自車両の走行車線の境界への接近は検出されなかったとの判定を下す。
【００９２】
次に、Ｓ４０４では、３分割ヒストグラムのスコア計算処理が行われる。
ここで３分割ヒストグラムについて説明する。
まず、側方画像に配置した対象領域１００を、その位置が自車両側方の前輪寄りであるか、後輪寄りであるか、あるいはそれらの中間であるかによって、３つのグループに分類する。例えば、図４及び図５の側方画像例では、９個配置した対象領域１００を、前輪寄り、後輪寄り、中間に各グループに３つずつ分類する。
【００９３】
次に、同一グループに分類された対象領域１００の各々についての横方向ヒストグラムにおいて、同一階級の度数の合計を階級毎に求め、その階級毎の合計値を度数として得られるグループ毎のヒストグラムが３分割ヒストグラムである。
【００９４】
路面に描かれているは白線が実線の場合、３分割ヒストグラムは、各グループ間で似た形状となり、白線が実線でない場合には、その形状が各グループ間で著しく異なったものとなる。すなわち、３分割ヒストグラムの各グループ間での類似度を求めて所定値との大小比較を行うことにより、路面に描かれているは白線が実線であるか否かを判定することができる。従って、図３の車両位置検出制御処理におけるＳ１０８の実線判定処理における判定を、このように３分割ヒストグラムを用いて行うようにすることもできる。
【００９５】
Ｓ４０４のスコア計算処理では、Ｓ４０３の横方向ヒストグラムのスコア計算処理と同様の計算を、各グループの３分割ヒストグラムに対して行う。
図３の車両位置検出制御処理におけるＳ１０９の接近検出処理では、この３分割ヒストグラムのスコアの大きさが所定の閾値以下か否かを判定する。そして、当該スコアが当該閾値以下であった場合には、路面に描かれている白線が実線であることがより確実であるとの判定を下し、自車両が走行している走行車線の境界への自車両の接近の検出の判定を、横方向ヒストグラムに基づいたものに委ねる。一方、当該スコアが当該閾値を超えた場合（白線部分が顕著に広い場合）には、路面に描かれている白線が、走行車線の境界を示す実線ではない（例えば、停止線や、文字・矢印等を路面上に描いたペイントなど）可能性が高いとの判定を下す。このような場合には、横方向ヒストグラムに基づいた前述の検出判定の結果は疑わしいと推定し、横方向ヒストグラムに基づく判定結果に拘らずにＳ１０１に処理を戻し、新たに撮像された側方画像に基づく検出処理が改めて行われる。
【００９６】
なお、３分割ヒストグラムの生成を行う場合には、図３の車両位置検出制御処理におけるＳ１０６の輝度度数分布生成処理により生成する。但し、３分割ヒストグラムの生成を行わずに、前述した横方向ヒストグラムのみでも車両位置の検出を行うことは可能であり、この場合には、Ｓ４０４の処理は不要である。
【００９７】
次に、Ｓ４０５では、縦方向ヒストグラムにおける各階級の度数のばらつきを計算する処理が行われる。この処理は、前述した輝度度数分布生成処理において縦方向ヒストグラムを更に生成した場合に行われる処理である。
【００９８】
この処理は、具体的には、縦方向ヒストグラムにおける度数の分散を示す値として、縦方向ヒストグラムにおける度数の平均値と各階級での度数との差の絶対値の全階級での合計値を算出する。図３の車両位置検出制御処理におけるＳ１０９の接近検出処理では、このＳ４０５の処理で算出された値の大きさが所定の閾値以下か否かを判定する。そして、この値の大きさが所定の閾値以下であった場合には、路面に描かれている白線が実線であることがより確実であるとの判定を下し、自車両が走行している走行車線の境界への自車両の接近の検出の判定を、横方向ヒストグラムに基づいたものに委ねる。一方、この値の大きさが当該閾値を超えた場合には、路面に描かれている白線が、走行車線の境界を示す実線ではない可能性が高いとの判定を下す。このような場合には、横方向ヒストグラムに基づいた前述の検出判定の結果は疑わしいと推定し、横方向ヒストグラムに基づく判定結果に拘らずにＳ１０１に処理を戻し、新たに撮像された側方画像に基づく検出処理が改めて行われる。
以上の処理が完了すると、その後はこのスコア算出処理を終了する。
【００９９】
次に、図３の車両位置検出制御処理におけるＳ１１０の処理として実行される、白線部分画像領域抽出処理の詳細について説明する。
【０１００】
まず図９について説明する。図９は、白線部分画像領域抽出処理の処理内容を図解したフローチャートである。
図９のフローチャートでは、Ｓ５０１からＳ５０５までの処理と、Ｓ５１１からＳ５１２までの処理とが並行して行われる。
【０１０１】
まず、Ｓ５０１では、前方矩形（第一部分画像領域）内の部分画像を取得する処理が行われ、この処理と並行して、Ｓ５１１では、後方矩形（第二部分画像領域）内の部分画像を取得する処理が行われる。
【０１０２】
ここで、前方矩形及び後方矩形について、図１０を参照しながら説明する。
図１０の側方画像には前方矩形２００と後方矩形３００とが配置されている。前方矩形２００は、側方画像における自車両の進行方向の前方の所定位置に配置される矩形であり、後方矩形３００は、側方画像における自車両の進行方向の後方の所定位置に配置される矩形である。なお、本実施形態では、前方矩形２００と後方矩形３００とを同一の形状・大きさとすると共に、この両者の側方画像における縦方向の位置を同一にしている。
【０１０３】
前述した対象領域１００と同様に、前方矩形２００及び後方矩形３００も側方画像において道路が映っている領域内に配置する。本実施形態では、前述したように、カメラ２の撮影方向が、側方の方向の地平線が側方画像の縦方向のほぼ中間付近にほぼ直線状に映るように調整されているので、前方矩形２００及び後方矩形３００を、側方画像の下半分の領域に配置している。つまり、カメラ２の撮影方向を上述のように調整しておいたことで、側方画像の上半分の領域を車両位置検出制御処理での処理対象から一旦除外することができるので、画像処理量の削減に寄与するのである。
【０１０４】
また、本実施形態では、前方矩形２００及び後方矩形３００を、それぞれ、側方画像の左右端における縦方向のほぼ中間付近（且つ、道路が映っている領域内）に配置している。これは、広角画像である側方画像には、左右両端付近における縦方向のほぼ中間付近に画像消失点が存在するので、その画像消失点を取り込む位置若しくは当該画像消失点の近傍の位置に前方矩形２００及び後方矩形３００を配置することを意図したものである。前方矩形２００及び後方矩形３００には、白線部分の画像領域が含まれている必要がどちらにもある。画像消失点を取り込む位置、もしくはその近傍の位置に前方矩形２００及び後方矩形３００を配置すれば、自車両の走行車線との境界を示す白線が破線であっても、両矩形内の部分画像に、その破線の白線部分の画像領域が含まれる期待が高まる。また、前方矩形２００及び後方矩形３００を側方画像の中央付近に設けた場合と比較して、白線部分の画像領域が含まれている領域という条件を満たす為に必要な矩形の面積が小さくて済む。
【０１０５】
図９の説明に戻る。
Ｓ５１１に続くＳ５１２の処理の内容は、Ｓ５０２からＳ５０５までの処理と同一であり、その処理の対象が、Ｓ５０１の処理で取得した部分画像ではなく、Ｓ５１１の処理で取得した部分画像となる点が異なるのみである。そこで、以下の説明では、Ｓ５０２からＳ５０５までの処理の内容を説明し、Ｓ５１２の処理についての説明は省略する。
【０１０６】
Ｓ５０２では、Ｓ５０１の処理で取得した部分画像を構成している画素のひとつに注目し、その注目画素の輝度が、当該注目画素が白線部分を映していると判定し得る所定の閾値以上であるか否かを判定する処理が行われる。なお、この閾値として、例えば、前述した輝度閾値設定処理により設定した輝度閾値を用いるようにしてもよい。
【０１０７】
このＳ５０２の判定処理において、当該注目画素が所定の閾値以上であると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ５０３に処理を進める。一方、当該注目画素が所定の閾値以上ではないと判定されたとき（判定結果がＮｏのとき）には、Ｓ５０４に処理を進める。
【０１０８】
Ｓ５０３では、膨張処理として、Ｓ５０２の処理で注目した注目画素と、その注目画素に隣接する８個の隣接画素との輝度値とを、純白を示す値（例えば２５６階調における最大値）に変更する処理が行われる。
【０１０９】
次に、Ｓ５０４では、Ｓ５０２の処理で注目する画素を他のものに変更する処理が行われる。
次に、Ｓ５０５では、Ｓ５０１の処理で取得した部分画像を構成している全ての画素に対して、Ｓ５０２の判定処理を済ませたか否かを判定する処理が行われる。ここで、全ての画素に対してＳ５０２の判定処理を済ませたと判定したとき（判定結果がＹｅｓのとき）には、この白線部分画像領域抽出処理を終了する。一方、Ｓ５０２の判定処理を済ませていない画素が部分画像に残っていると判定したとき（判定結果がＮｏのとき）には、Ｓ５０２に処理を戻して、未判定の画素に対してＳ５０２の判定処理を行う。但し、このときの判定処理では、Ｓ５０３の処理によって変更がされる前の輝度値（すなわち、Ｓ５０１の処理で取得した部分画像における輝度値）に基づいた判定を行う。
【０１１０】
なお、上述したＳ５０２からＳ５０５までの処理は、図７のＳ３０２からＳ３０５までの処理と同一である。つまり、この図９の処理では、Ｓ５０１及びＳ５１１の処理でそれぞれ取得した前方矩形２００内と後方矩形３００内との部分画像に映っている白線に対し、その白線の像のかすれを補填するための膨張処理を施す白線補填処理も併せて行っているのである。
【０１１１】
次に、Ｓ１１２の処理により実行される推定処理における推定白線の推定手法について、図１１を参照しながら説明する。
図１１は、前方矩形２００若しくは後方矩形３００（以下、これらを総称して単に「矩形」と称することもある）に囲まれている部分画像に白線が映っている状態を描いたものである。なお、図１１の例では、破線状の白線を構成している矩形状の白線（破線部）の全域が矩形内に映っている例を示しているが、この例に限るものではなく、白線の一部が矩形内に映っていればよい。なお、前述した白線部分画像領域抽出処理におけるＳ５０３（あるいはＳ５１２）の処理により、当該部分画像における白線の部分の画素の輝度値は純白を示す値となっている。
【０１１２】
まず、［１］白線を部分画像から抽出する処理が行われる。この処理は、具体的には、部分画像を構成している画素から、輝度値が純白を示す値となっている画素を抽出する処理となる。
【０１１３】
次に、［２］白線の端点の位置を、以下のようにして求める処理が行われる。
まず、側方画像の左側に配置されている矩形内の部分画像に映っている白線の場合には、当該白線の像を構成している画素のうちで、最も左の位置の画素と最も下の位置の画素とを端点と定める。ここで、位置が最も左である画素が縦方向に並んで複数存在した場合には、そのうちで最も位置が下である画素を、最も左の位置の画素とする。また、位置が最も下である画素が横方向に並んで複数存在した場合には、そのうちで最も位置が左である画素を、最も下の位置の画素とする。なお、最も左の位置の画素と最も下の位置の画素との二つを特定できなかった場合は、矩形内に白線を検出できなかったものとし、処理対象外にする。
【０１１４】
一方、側方画像の右側に配置されている矩形内の部分画像に映っている白線の場合には、当該白線の像を構成している画素のうちで、最も右の位置の画素と最も下の位置の画素とを端点と定める。そして、これらの端点の側方画像上の位置を特定する座標を取得する。ここで、位置が最も右である画素が縦方向に並んで複数存在した場合には、そのうちで最も位置が下である画素を、最も右の位置の画素とする。また、位置が最も下である画素が横方向に並んで複数存在した場合には、そのうちで最も位置が右である画素を、最も下の位置の画素とする。なお、最も右の位置の画素と最も下の位置の画素との二つを特定できなかった場合は、矩形内に白線を検出できなかったものとし、処理対象外にする。
【０１１５】
白線の端点の位置を探索する処理において、前述の通り、画像消失点を取り込む位置、もしくはその近傍の位置に前方矩形２００及び後方矩形３００を配置することで、探索対象となる前方矩形もしくは後方矩形の面積を小さくすることができる。これらの矩形の面積を小さくすると、探索に要する計算量を少なくすることができる。
【０１１６】
次に、［３］前方矩形２００内及び後方矩形３００内の部分画像に１つずつ映っている白線を滑らかに結ぶ推定白線を推定する処理を行う。この推定は以下のようにして行われる。
【０１１７】
まず、同一矩形内から求めた２つの端点を結ぶ直線の傾きの値を算出する処理を、前方矩形２００と後方矩形３００との各々について行う。この処理により得られた傾きの値を、矩形内の部分画像に映っている白線における、最も下の位置の画素の存在する側の線端での向きを示す値とする。
【０１１８】
次に、以上のようにして得られた、前方矩形２００内及び後方矩形３００内のそれぞれの部分画像に映っている白線における上記の線端の位置及び向きに対応する推定白線のデータを、ＲＯＭ２４に予め格納されているデータテーブルから取得する処理を行う。
【０１１９】
ＲＯＭ２４に格納されている推定白線データテーブルのデータ構造を図１２に示す。
このデータテーブルにおいて、「横方向位置」の欄には、矩形内の部分画像に映っている白線における最も下の位置の画素についての、側方画像上での横方向の位置を示す座標が格納される。また、「向き」の欄には、矩形内の部分画像に映っている白線における、最も下の位置の画素の存在する側の線端での向きを示す値（すなわち、前述したようにして算出した傾き値）が格納される。そして、推定白線データの欄には、前方矩形２００についての「横方向位置」がｘｆ、「向き」がａｆであり、後方矩形３００についての「横方向位置」がｘｒ、「向き」がａｒである場合における推定白線の位置を特定するデータＷ（ｘ，ｙ）が格納されている。この推定白線のデータは、例えば、上記の場合において、前方矩形２００内及び後方矩形３００内の部分画像に１つずつ映っている白線を滑らかに結ぶ白線を実際に描くことで得られる、その白線を特定する情報を格納しておく。この情報は、例えば、推定白線が通る全ての画素の側方画像上の位置を特定する座標情報でもよく、また、その推定白線を表す関数式の情報でもよい。
【０１２０】
なお、図１２の推定白線データテーブルでは、データ量の削減のため、矩形内の部分画像に映っている白線における最も下の位置の画素についての、側方画像上での縦方向の位置を示す「縦方向位置」の情報を無視している。ここで、ＲＯＭ２４のデータ格納容量に余裕があるならば、前方矩形２００及び後方矩形３００各々の「縦方向位置」の欄を推定白線データテーブルに追加し、推定白線のデータの当該テーブルからの取得を、更に、この「縦方向位置」にも基づくようにしてもよい。
【０１２１】
また、前方矩形２００及び後方矩形３００それぞれについての「横方向位置」及び「向き」（更には「縦方向位置」）の情報を引数とし、推定白線を示す数式を出力する関数を予め作成しておき、この関数を用いて、推定白線の推定を行うようにしてもよい。
【０１２２】
Ｓ１１２の処理により実行される推定処理では、以上のようにして推定白線の推定が行われる。
図１の車両位置検出装置は、以上のように動作するので、車線に対する車両の位置関係の検出に広角画像を用いても、その検出を精度良く行うことができる。
【０１２３】
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する白線部分画像領域抽出手段と、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定する推定手段と、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する位置関係検出手段と、
を有することを特徴とする車両位置検出装置。
（付記２）
前記白線部分画像領域抽出手段は、前記第一部分画像領域及び前記第二部分画像領域として、前記側方画像の画像消失点を含む領域を抽出することを特徴とする付記１に記載の車両位置検出装置。
（付記３）
該側方画像に映っている該車線の境界を表している白線が実線であるか否かを判定する実線判定手段を更に有し、
該推定手段は、該側方画像において該車線の境界を表している白線が実線ではないと該実線判定手段が判定したときに、該推定線の推定を行う、
ことを特徴とする付記１に記載の車両位置検出装置。
（付記４）
該車両との相対位置、撮像方向、及び撮像倍率が固定されており、該白線部分画像領域抽出手段が該部分画像領域を抽出する側方画像の撮像を行う撮像手段と、
該撮像手段が撮像した側方画像において予め位置が設定されている所定の範囲内の部分画像に基づいて、該部分画像を構成する各画素についての輝度値の度数分布であって、該側方の方向に同一幅で距離に応じた階級が定められており輝度値が所定の輝度閾値以上である画素の度数を示している側方輝度値度数分布を生成する輝度度数分布生成手段と、
を更に有し、
該実線判定手段は、該輝度度数分布生成手段が生成した側方輝度値度数分布において、度数が所定の度数閾値以上である階級が連続して所定数以上存在した場合には、該側方画像において該車線の境界を表している白線が実線であるとの判定を下し、その他の場合には、該白線が実線ではないとの判定を下す、
ことを特徴とする付記３に記載の車両位置検出装置。
（付記５）
該所定の輝度閾値を、該撮像手段が撮像した側方画像を構成する各画素の輝度値に基づいて設定する輝度閾値設定手段を更に有することを特徴とする付記４に記載の車両位置検出装置。
（付記６）
該輝度閾値設定手段は、該撮像手段が撮像した側方画像を構成する各画素の輝度値の平均値、若しくは該平均値に所定値を加算した値を、該所定の輝度閾値として設定することを特徴とする付記５に記載の車両位置検出装置。
（付記７）
該実線判定手段が、該側方画像において該車線の境界を表している白線が実線であるとの判定を下したときに、該車両の該車線の境界への接近を、該輝度度数分布生成手段が生成した側方輝度値度数分布に基づいて検出する接近検出手段を更に有することを特徴とする付記３に記載の車両位置検出装置。
（付記８）
該車両との相対位置、撮像方向、及び撮像倍率が固定されており、該白線部分画像領域抽出手段が該部分画像領域を抽出する側方画像の撮像を行う撮像手段を更に有し、
該白線部分画像領域抽出手段は、該部分画像領域を、該側方画像において予め位置が設定されている所定の範囲内から抽出する、
ことを特徴とする付記１に記載の車両位置検出装置。
（付記９）
該車両の状況を表している車両情報の入力を取得する車両情報取得手段と、
該車両の状況が、該位置関係の検出を行う状況であるか否かの判定を、該車両情報取得手段が取得した車両情報に基づいて行う状況判定手段と、
を更に有し、
該位置関係検出手段は、該車両の現在の状況が該位置関係の検出を行う状況であるとの判定結果を該状況判定手段が下したときに、該位置関係の検出を行う、
ことを特徴とする付記１に記載の車両位置検出装置。
（付記１０）
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出し、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定し、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する、
ことを特徴とする車両位置検出方法。
（付記１１）
演算処理装置が実行することによって、
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する白線部分画像領域抽出処理と、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定する推定処理と、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する位置関係検出処理と、
を該演算処理装置に行わせることを特徴とする車両位置検出プログラム。
【符号の説明】
【０１２４】
１ ＥＣＵ
２ カメラ
３ 車両ＩＦ
４ スピーカ
１１ 映像入力部
１２ モノクロ変換部
１３ 車両情報入力部
１４ 演算部
１５ 警報出力部
２１ ＭＰＵ
２２ インタフェース部
２３ ＲＡＭ
２４ ＲＯＭ
２５ バス
１００ 対象領域
２００ 前方矩形
３００ 後方矩形
【特許請求の範囲】
【請求項１】
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する白線部分画像領域抽出手段と、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定する推定手段と、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する位置関係検出手段と、
を有することを特徴とする車両位置検出装置。
【請求項２】
前記白線部分画像領域抽出手段は、前記第一部分画像領域及び前記第二部分画像領域として、前記側方画像の画像消失点を含む領域を抽出することを特徴とする請求項１に記載の車両位置検出装置。
【請求項３】
該側方画像に映っている該車線の境界を表している白線が実線であるか否かを判定する実線判定手段を更に有し、
該推定手段は、該側方画像において該車線の境界を表している白線が実線ではないと該実線判定手段が判定したときに、該推定線の推定を行う、
ことを特徴とする請求項１に記載の車両位置検出装置。
【請求項４】
該車両との相対位置、撮像方向、及び撮像倍率が固定されており、該白線部分画像領域抽出手段が該部分画像領域を抽出する側方画像の撮像を行う撮像手段と、
該撮像手段が撮像した側方画像において予め位置が設定されている所定の範囲内の部分画像に基づいて、該部分画像を構成する各画素についての輝度値の度数分布であって、該側方の方向に同一幅で距離に応じた階級が定められており輝度値が所定の輝度閾値以上である画素の度数を示している側方輝度値度数分布を生成する輝度度数分布生成手段と、
を更に有し、
該実線判定手段は、該輝度度数分布生成手段が生成した側方輝度値度数分布において、度数が所定の度数閾値以上である階級が連続して所定数以上存在した場合には、該側方画像において該車線の境界を表している白線が実線であるとの判定を下し、その他の場合には、該白線が実線ではないとの判定を下す、
ことを特徴とする請求項３に記載の車両位置検出装置。
【請求項５】
該所定の輝度閾値を、該撮像手段が撮像した側方画像を構成する各画素の輝度値に基づいて設定する輝度閾値設定手段を更に有することを特徴とする請求項４に記載の車両位置検出装置。
【請求項６】
該輝度閾値設定手段は、該撮像手段が撮像した側方画像を構成する各画素の輝度値の平均値、若しくは該平均値に所定値を加算した値を、該所定の輝度閾値として設定することを特徴とする請求項５に記載の車両位置検出装置。
【請求項７】
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出し、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定し、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する、
ことを特徴とする車両位置検出方法。
【請求項８】
演算処理装置が実行することによって、
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する白線部分画像領域抽出処理と、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて該側方画像上に推定する推定処理と、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する位置関係検出処理と、
を該演算処理装置に行わせることを特徴とする車両位置検出プログラム。
【請求項１】
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する白線部分画像領域抽出手段と、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定する推定手段と、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する位置関係検出手段と、
を有することを特徴とする車両位置検出装置。
【請求項２】
前記白線部分画像領域抽出手段は、前記第一部分画像領域及び前記第二部分画像領域として、前記側方画像の画像消失点を含む領域を抽出することを特徴とする請求項１に記載の車両位置検出装置。
【請求項３】
該側方画像に映っている該車線の境界を表している白線が実線であるか否かを判定する実線判定手段を更に有し、
該推定手段は、該側方画像において該車線の境界を表している白線が実線ではないと該実線判定手段が判定したときに、該推定線の推定を行う、
ことを特徴とする請求項１に記載の車両位置検出装置。
【請求項４】
該車両との相対位置、撮像方向、及び撮像倍率が固定されており、該白線部分画像領域抽出手段が該部分画像領域を抽出する側方画像の撮像を行う撮像手段と、
該撮像手段が撮像した側方画像において予め位置が設定されている所定の範囲内の部分画像に基づいて、該部分画像を構成する各画素についての輝度値の度数分布であって、該側方の方向に同一幅で距離に応じた階級が定められており輝度値が所定の輝度閾値以上である画素の度数を示している側方輝度値度数分布を生成する輝度度数分布生成手段と、
を更に有し、
該実線判定手段は、該輝度度数分布生成手段が生成した側方輝度値度数分布において、度数が所定の度数閾値以上である階級が連続して所定数以上存在した場合には、該側方画像において該車線の境界を表している白線が実線であるとの判定を下し、その他の場合には、該白線が実線ではないとの判定を下す、
ことを特徴とする請求項３に記載の車両位置検出装置。
【請求項５】
該所定の輝度閾値を、該撮像手段が撮像した側方画像を構成する各画素の輝度値に基づいて設定する輝度閾値設定手段を更に有することを特徴とする請求項４に記載の車両位置検出装置。
【請求項６】
該輝度閾値設定手段は、該撮像手段が撮像した側方画像を構成する各画素の輝度値の平均値、若しくは該平均値に所定値を加算した値を、該所定の輝度閾値として設定することを特徴とする請求項５に記載の車両位置検出装置。
【請求項７】
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出し、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定し、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する、
ことを特徴とする車両位置検出方法。
【請求項８】
演算処理装置が実行することによって、
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている２つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する白線部分画像領域抽出処理と、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて該側方画像上に推定する推定処理と、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する位置関係検出処理と、
を該演算処理装置に行わせることを特徴とする車両位置検出プログラム。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１２】
【図４】
【図５】
【図１０】
【図１１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１２】
【図４】
【図５】
【図１０】
【図１１】
【公開番号】特開２０１１−９５８４６（Ｐ２０１１−９５８４６Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２４６８４６（Ｐ２００９−２４６８４６）
【出願日】平成２１年１０月２７日（２００９．１０．２７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１０月２７日（２００９．１０．２７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]