車線逸脱判定装置、車線逸脱警報装置及びナビゲーション装置
【課題】簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができる車線逸脱判定装置を提供する。
【解決手段】車両周辺が撮影された映像中のウィンカランプ7a,7bの位置を検出するウィンカ位置特徴検出部32と、ウィンカ位置特徴検出部32で検出された映像中の方向指示灯の位置における画像特徴を、ウィンカランプ7a,7bの点滅制御に対応する周期で変化する画像特徴と比較した結果に基づいて、ウィンカランプ7a,7bの点滅を判定するウィンカ点滅認識判定部33と、車両の走行車線の逸脱が検出されると、ウィンカ点滅認識判定部33による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する車線検出逸脱判定部31とを備える。
【解決手段】車両周辺が撮影された映像中のウィンカランプ7a,7bの位置を検出するウィンカ位置特徴検出部32と、ウィンカ位置特徴検出部32で検出された映像中の方向指示灯の位置における画像特徴を、ウィンカランプ7a,7bの点滅制御に対応する周期で変化する画像特徴と比較した結果に基づいて、ウィンカランプ7a,7bの点滅を判定するウィンカ点滅認識判定部33と、車両の走行車線の逸脱が検出されると、ウィンカ点滅認識判定部33による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する車線検出逸脱判定部31とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、運転者が意図しない車線の逸脱を判定する車線逸脱判定装置、車線逸脱警報装置及びナビゲーション装置に関する。
【背景技術】
【0002】
特許文献1には、自車両前方の風景を撮像した画像データを画像処理して得られた走行車線での自車両の位置データ、横加速度等の車両状態量データ、操舵角及び操舵トルク等の運転操作量データの少なくともいずれかと、運転者が車線変更を意図したとき及び車線維持を意図しないときの運転行動に関する時系列パターンの統計的特徴量を表す運動行動パターンパラメータを用いて、隠れマルコフモデルの認識アルゴリズムに従い、運転者の車線変更の意図の有無を認識するレーンキープシステムが開示されている。
また、特許文献2には、自車両前方の道路を含む風景が撮像された画像を画像処理して得られた自車両の車線位置、前方を走行する他車両及びこれと自車両の距離に基づいて、運転者が意図的に車線を逸脱する可能性があるか否かを判定する装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−321690号公報
【特許文献2】特開2007−2647号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に代表される従来の技術は、自車両前方の風景が撮像された画像データ以外に、横加速度等の車両状態量データや、操舵角及び操舵トルク等の運転操作量データが利用される。これらのデータは、車両制御に関わる重要な車両情報であり、カーエリアネットワーク(CAN)等の自車両情報網で伝送される。CANでは、情報伝送における信頼性を確保するため、車両の出荷後にユーザが車両情報を取り出せるインタフェースが設けられていないのが一般である。すなわち、特許文献1に記載された発明を適用するには、車両の製造者側で、CANから車両情報を取り出すインタフェースを設けることが前提となり、汎用性に欠ける。
【0005】
また、特許文献2に代表される従来の技術では、自車両前方の風景が撮像された画像を画像処理した結果から、自車両の車線位置及び前方を走行する他車両に加えて、他車両と自車両との距離も取得する。このように画像情報のみから得られた情報に基づいて、運転者が意図的に車線を逸脱する可能性があるか否かを判定するため、車外環境によっては、上記判定の信頼性が下がる場合がある。例えば、雨天や降雪時、夜間では、自車両の車線位置や他車両と自車両との距離のような定量的なデータが正確に得られない。
【0006】
この発明は、上記のような課題を解決するためになされたもので、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができる車線逸脱判定装置、車線逸脱警報装置及びナビゲーション装置を得ることを目的とする。
【課題を解決するための手段】
【0007】
この発明に係る車線逸脱判定装置は、車両周辺が撮影された映像中の方向指示灯の位置を検出する検出部と、検出部で検出された映像中の方向指示灯の位置における画像特徴を、方向指示灯の点滅制御に対応する周期で変化する画像特徴と比較した結果に基づいて、方向指示灯の点滅を判定する方向指示灯点滅判定部と、車両の走行車線の逸脱が検出されると、方向指示灯点滅判定部による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部とを備える。
【発明の効果】
【0008】
この発明によれば、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができるという効果がある。
【図面の簡単な説明】
【0009】
【図1】この発明の実施の形態1による車線逸脱警報装置の構成を示すブロック図である。
【図2】超広角リアカメラの取り付けの一例を示す図である。
【図3】実施の形態1の車線逸脱警報装置による動作の流れを示すフローチャートである。
【図4】超広角リアカメラの映像の一例を示す図である。
【図5】この発明の実施の形態2による車線逸脱警報装置の構成を示すブロック図である。
【図6】ウィンカランプの点滅音の集音形態を示す図である。
【図7】実施の形態2の車線逸脱警報装置による動作の流れを示すフローチャートである。
【図8】この発明の実施の形態3による車線逸脱警報装置の構成を示すブロック図である。
【図9】ウィンカ制御信号の取得形態を示す図である。
【図10】実施の形態3の車線逸脱警報装置による動作の流れを示すフローチャートである。
【図11】この発明の実施の形態4によるナビゲーション装置の構成を示すブロック図である。
【発明を実施するための形態】
【0010】
実施の形態1.
図1は、この発明の実施の形態1による車線逸脱警報装置の構成を示すブロック図である。図1において、実施の形態1の車線逸脱警報装置1は、超広角リアカメラ2で撮影された映像データからウィンカランプ点灯状態を認識した結果に基づいて、運転者が意図的に車線を逸脱したか否かを判定し、意図しない車線の逸脱であれば、運転者に対して警報を行う。その構成として、超広角リアカメラ2、車線逸脱判定装置3、アラーム波形生成部4及びスピーカ5を備える。
【0011】
超広角リアカメラ2は、視野画角が190度以上のカメラであり、少なくともウィンカランプが被写体に含まれる位置に取り付けられる。
図2は、超広角リアカメラ2の取り付けの一例を示す図である。図2に示すように、視野画角が190度以上のカメラは、超広角リアカメラ2として車両6の後部バンパー6a付近に取り付けると、車両後方の風景に加えて、バンパー6a及び左右のウィンカランプ7a,7bも視野範囲に含まれる。このような超広角リアカメラ2は、駐車支援用の車両後方の映像を得るカメラシステムとして普及してきており、また車両の出荷後にユーザが取り付け可能なカメラキットもある。
【0012】
また、車線逸脱判定装置3は、超広角リアカメラ2で撮影された映像データからウィンカランプの点灯状態を認識した結果に基づいて、運転者が意図的に車線を逸脱したか否かを判定する装置である。
アラーム波形生成部4は、車線検出逸脱判定部31の制御に従って所定の波形パターンの警報音データを生成する構成部であり、生成した警報音データは、スピーカ5を介して音放射される。スピーカ5は、車内に設けられ、運転者に対して警報音を音放射する。
【0013】
また、車線逸脱判定装置3は、画像歪み補正部30、車線検出逸脱判定部31、ウィンカ位置特徴検出部32及びウィンカ点滅認識判定部33を備える。
画像歪み補正部30は、超広角リアカメラ2で撮影された映像データの画像歪み補正を行う構成部である。
車線検出逸脱判定部31は、画像歪み補正部30で補正された映像データから自車両の走行道路上の車線を画像認識し、認識した車線を自車両が逸脱しているか否かを判定する構成部である。また、車線検出逸脱判定部31は、車両の走行車線の逸脱を検出すると、ウィンカ点滅認識判定部33の判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部として機能する。
【0014】
ウィンカ位置特徴検出部32は、超広角リアカメラ2で撮影された映像中のウィンカランプ位置を特定する構成部である。なお、超広角リアカメラ2は、視野方向が固定されており、その視野範囲には左右のウィンカランプが含まれる。従って、左右のウィンカランプは、超広角リアカメラ2で撮影された映像中の特定の位置に映し出される。
【0015】
ウィンカ点滅認識判定部33は、ウィンカ位置特徴検出部32で前処理を施された映像中にウィンカランプの点滅制御に対応する周期で変化する画像特徴があるか否かに基づいて、左右のウィンカランプの点滅制御の有無を判定する構成部である。上記画像特徴は、ウィンカランプの色の波長と点滅パターンリズムから予め規定しておく。
【0016】
なお、画像歪み補正部30、車線検出逸脱判定部31、ウィンカ位置特徴検出部32、ウィンカ点滅認識判定部33、及びアラーム波形生成部4は、例えば、この発明の趣旨に従う車線逸脱判定警報用プログラムを、車線逸脱警報装置1として機能するコンピュータのプロセッサに実行させることにより、ハードウェアとソフトウェアが協働した具体的な手段として実現される。また、歪み補正はプロセッサの過負荷になる可能性があるので、画像歪み補正部30については、専用の画像処理チップとしてハードウェアで実現してもかまわない。
【0017】
次に動作について説明する。
図3は、実施の形態1の車線逸脱警報装置による動作の流れを示すフローチャートであり、この図3に沿って運転者が意図した車線逸脱であるか否かの判定処理を説明する。
超広角リアカメラ2で撮影された映像データは、不図示のビデオデコーダによってプロセッサで処理可能な形式に変換された後、画像歪み補正部30及びウィンカ位置特徴検出部32へそれぞれ入力される。
【0018】
画像歪み補正部30は、入力した映像データの画像歪み補正を行う。例えば、超広角リアカメラ2で撮影された映像から自車両の走行車線を検出するために必要な後方の風景が含まれる画像領域を切り出して、切り出した画像領域の歪み補正を行う。歪み補正された映像データは、車線検出逸脱判定部31へ出力される。
【0019】
車線検出逸脱判定部31では、画像歪み補正部30で補正された映像データから自車両の走行道路上の車線を画像認識し、この車線と自車両との相対的な位置関係を示す逸脱量を所定の閾値と比較した結果に応じて、自車両が車線を逸脱しているか否かを判定する。
なお、車両と車線との相対的な位置関係に応じて段階的に警報を行うために、逸脱量の閾値を特定の範囲で設定してもよい。
ここまでの処理がステップST1の走行車線の監視処理に相当する。なお、超広角リアカメラ2を用いた車線逸脱の監視は、ユーザが動作開始を設定した場合、決められた時間周期で実行される。
【0020】
一方、ウィンカ位置特徴検出部32は、超広角リアカメラ2で撮影された映像データの画像中のウィンカランプ7a,7bの位置を特定し、さらにウィンカランプ7a,7bの点滅判定を行うための前処理として、超広角リアカメラ2で撮影した映像の輝度及びコントラスト等の画像特性を正規化する。映像中のウィンカランプ7a,7bの位置は、画像特性が正規化された当該映像データとともにウィンカ点滅認識判定部33へ送られる。
【0021】
ウィンカ点滅認識判定部33では、車線検出逸脱判定部31により自車両が車線を逸脱していることが検出されると(ステップST2)、ウィンカ位置特徴検出部32によって特定されたウィンカランプ7a,7bの位置に基づいて、前処理を施された映像におけるウィンカランプ7a,7bの画像領域を画像解析して当該領域の画像特徴を抽出する。次いで、ウィンカ点滅認識判定部33は、抽出した画像特徴を、予め設定されたウィンカランプの点滅周期に合致する画像特徴を示す参照比較データと比較して、両者が合致するか否かに基づいて、左右のウィンカランプ7a,7bの点滅制御の有無を判定する(ステップST3)。その判定結果は、車線検出逸脱判定部31へ送られる。
【0022】
車線検出逸脱判定部31は、ウィンカ点滅認識判定部33によって左右のウィンカランプ7a,7bのいずれかに点滅制御があると判定されると(ステップST3;YES)、運転者が意図した車線逸脱(車線変更など)であると判断して、アラーム波形生成部4に警報鳴動を指示しない。この後、ステップST1の処理に戻って、走行車線の監視を継続する。
【0023】
また、ウィンカ点滅認識判定部33によってウィンカランプ7a,7bのいずれも点滅制御がないと判定されると(ステップST3;NO)、車線検出逸脱判定部31は、運転者が意図していない車線逸脱であると判断して、アラーム波形生成部4に警報鳴動を指示する。なお、逸脱量の閾値が特定の範囲で設定されている場合、車線検出逸脱判定部31は、自車両の車線逸脱量がどの閾値範囲に属するかに応じた逸脱レベルを、アラーム波形生成部4に通知する。
【0024】
アラーム波形生成部4は、車線検出逸脱判定部31からの指示に従って、自車両の逸脱レベルに応じた波形パターンの警報音データを生成し、生成した警報音データをスピーカ5に出力する。スピーカ5は、アラーム波形生成部4から入力された逸脱レベルに応じた警報音データを音放射する。これにより、運転者に対して警報鳴動がなされる(ステップST4)。
【0025】
図4は、超広角リアカメラの映像の一例を示す図である。図4に示すように、超広角リアカメラ2は視野画角が190度以上あるので、カメラレンズ端よりも後方の映像も撮影できる。このため、自車両のバンパー6a及びウィンカランプ7a,7bについても後方風景と同時に撮影することができる。
【0026】
図4(a)に示す撮影映像2Aでは、左右の車線a1,a2の間を自車両が適切に走行している場合を示している。この場合、車線逸脱がないため、ウィンカ点滅認識判定部33が、撮影映像2Aを画像解析することにより、ウィンカランプ7a,7bがいずれも点滅制御されていないと判定される。
【0027】
図4(b)に示す撮影映像2Bでは、右の車線a1を自車両が逸脱して走行した場合を示している。この場合、自車両の車線の逸脱に応じて、ウィンカ点滅認識判定部33が、撮影映像2Bを画像解析することにより、右のウィンカランプ7aが点滅制御されていると判定される。この判定結果を受けると、車線検出逸脱判定部31は、運転者が右折するために意図的に車線を逸脱していると判断して、アラーム波形生成部4に警報鳴動を指示しない。
【0028】
以上のように、この実施の形態1によれば、車両周辺が撮影された映像中のウィンカランプ7a,7bの位置を検出するウィンカ位置特徴検出部32と、ウィンカ位置特徴検出部32で検出された映像中の方向指示灯の位置における画像特徴を、ウィンカランプ7a,7bの点滅制御に対応する周期で変化する画像特徴と比較した結果に基づいて、ウィンカランプ7a,7bの点滅を判定するウィンカ点滅認識判定部33と、車両の走行車線の逸脱が検出されると、ウィンカ点滅認識判定部33による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する車線検出逸脱判定部31とを備える。
特に、この車線逸脱判定装置3を備えた車線逸脱警報装置1において、アラーム波形生成部4及びスピーカ5が、車線検出逸脱判定部31により運転者が意図した車線逸脱であると判定されると、警報を出力しないようにする。
このようにすることで、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができる。つまり、CAN等の車両制御情報網を使用せずに運転者が意図した車線変更であるかを判定できる。これにより、運転者が意図した車線変更であるときには警報鳴動を行わず、また、出荷後にユーザが取り付けできる構成であることから、汎用的に適応することができる。
【0029】
実施の形態2.
図5は、この発明の実施の形態2による車線逸脱警報装置の構成を示すブロック図であり、図1と同一構成要素には同一符号を付して説明を省略する。図5において、実施の形態2の車線逸脱警報装置1Aは、広角リアカメラ2aで撮影された映像データを画像解析した結果から車両の車線逸脱が検出されると、ウィンカランプの点滅音の検出結果から運転者が意図した車線逸脱であるか否かを判定し、意図しない車線の逸脱であれば、運転者に警報を行う。その構成として、広角リアカメラ2a、車線逸脱判定装置3A、アラーム波形生成部4、スピーカ5、マイク8及び増幅・帯域フィルタ8aを備える。
【0030】
広角リアカメラ2aは、視野画角が140度程度のカメラであり、上記実施の形態1で示した超広角リアカメラ2と異なって、自車両のウィンカランプや後部バンパーの一部は視野範囲に含まれない。このような広角リアカメラ2aは、駐車支援用の後方映像を得るカメラとして超広角リアカメラ2よりも普及している。
【0031】
また、車線逸脱判定装置3Aは、広角リアカメラ2aで撮影された映像データから車線を画像認識した結果に基づいて自車両の車線逸脱を監視し、車両の車線逸脱が検出されると、ウィンカランプの点滅音の検出結果から、運転者が意図した車線の逸脱であるか否かを判定する装置である。
【0032】
マイク8は、車内に設けられ、ウィンカランプの点滅音を集音するマイクである。増幅・帯域フィルタ8aは、マイク8で集音した音データを増幅して、増幅した音データからウィンカランプの点滅音の周波数帯域のみを通過するフィルタ処理を施す構成部である。この増幅・帯域フィルタ8aによって車内の周辺ノイズを除去された音データは、ウィンカ点滅音特徴検出部34に出力される。
【0033】
また、車線逸脱判定装置3Aは、画像歪み補正部30A、車線検出逸脱判定部31A、ウィンカ点滅認識判定部33A及びウィンカ点滅音特徴検出部34を備える。
画像歪み補正部30Aは、広角リアカメラ2aで撮影された映像データの画像の歪み補正を行う構成部である。
車線検出逸脱判定部31Aは、画像歪み補正部30Aで補正された映像データから自車両の走行道路上の車線を画像認識し、認識した車線を自車両が逸脱しているか否かを判定する構成部である。また、車線検出逸脱判定部31Aは、車両の走行車線の逸脱を検出すると、ウィンカ点滅認識判定部33Aの判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部として機能する。
【0034】
ウィンカ点滅認識判定部33Aは、ウィンカ点滅音特徴検出部34によって検出されたウィンカランプの点滅音の音響特徴を含む音データと、予め設定されたウィンカランプの点滅音の音響特徴に関する所定の閾値との比較結果に基づいて、左右のウィンカランプの点滅制御の有無を判定する構成部である。ウィンカランプの点滅音の音響特徴としては、点滅パターンやその周波数特性が挙げられる。
ウィンカ点滅音特徴検出部34は、増幅・帯域フィルタ8aで処理された音データからウィンカランプの点滅音の音響特徴を含む音データを検出する構成部である。
【0035】
図6は、ウィンカランプの点滅音の集音形態を示す図である。図6(a)の例は、車内6bに設けたマイク8によって、ウィンカランプを点滅させるリレースイッチのオンオフによる機械的な作動音を集音する場合を示している。また、図6(b)は、ウィンカランプの点滅に同期してスピーカ9aから音放射される電子音をマイク8で集音する場合を示している。いずれの場合も、車内の騒音から分離可能な音響特徴を有する。従って、この特徴を参照比較データとしてウィンカ点滅音特徴検出部34に予め設定しておくことで、ウィンカランプの点滅音の音響特徴を含む音データを抽出可能である。
【0036】
なお、画像歪み補正部30A、車線検出逸脱判定部31A、ウィンカ点滅認識判定部33A、ウィンカ点滅音特徴検出部34、及びアラーム波形生成部4は、例えば、この発明の趣旨に従う車線逸脱判定警報用プログラムを、車線逸脱警報装置1Aとして機能するコンピュータのプロセッサに実行させることにより、ハードウェアとソフトウェアが協働した具体的な手段として実現される。
【0037】
次に動作について説明する。
図7は、実施の形態2の車線逸脱警報装置による動作の流れを示すフローチャートであり、この図7に沿って運転者が意図した車線逸脱であるか否かの判定処理を説明する。
広角リアカメラ2aで撮影された映像データは、不図示のビデオデコーダによってプロセッサで処理可能な形式に変換された後、画像歪み補正部30Aへ入力される。
画像歪み補正部30Aは、入力した映像データの画像の歪み補正を行う。例えば、広角リアカメラ2aで撮影された映像データの画像から自車両の走行車線を検出するために必要な後方の風景が含まれる画像領域を切り出し、切り出した画像領域の歪み補正を行う。歪み補正された映像データは、車線検出逸脱判定部31Aへ出力される。
【0038】
車線検出逸脱判定部31Aでは、画像歪み補正部30Aで補正された映像データから、自車両の走行道路上の車線を画像認識し、この車線と自車両との相対的な位置関係を示す逸脱量を所定の閾値と比較した結果に応じて、自車両が車線を逸脱しているか否かを判定する。なお、車両と車線との相対的な位置関係に応じて段階的に警報を行うために、逸脱量の閾値を特定の範囲で設定してもよい。
ここまでの処理がステップST1aの走行車線の監視処理に相当する。なお、広角リアカメラ2aを用いた車線逸脱の監視は、ユーザが動作開始を設定した場合、決められた時間周期で実行される。
【0039】
車線検出逸脱判定部31Aにより自車両が車線を逸脱していることが検出されると(ステップST2a)、マイク8が車内6bの音を集音し、その集音データを増幅・帯域フィルタ8aへ出力する。増幅・帯域フィルタ8aでは、マイク8から入力した集音データを増幅し、増幅した音データからウィンカランプの点滅音の周波数帯域のみを通過するフィルタ処理を施して、ウィンカ点滅音特徴検出部34に出力する。
【0040】
ウィンカ点滅音特徴検出部34は、増幅・帯域フィルタ8aで処理された音データと、予め設定されたウィンカランプの点滅音の音響特徴を示す参照比較データとを比較して、増幅・帯域フィルタ8aで処理された音データのうち、この参照比較データの周波数特徴に合致する音データを、ウィンカランプの点滅音の音響特徴を含む音データとして検出する。検出された音データは、ウィンカ点滅認識判定部33Aへ送られる。
【0041】
ウィンカ点滅認識判定部33Aは、ウィンカ点滅音特徴検出部34によって検出されたウィンカランプの点滅音の音響特徴を含む音データと、予め設定されたウィンカランプの点滅音の音響特徴に関する所定の閾値との比較結果に基づいて、左右のウィンカランプの点滅制御の有無を判定する(ステップST3a)。その判定結果は、車線検出逸脱判定部31Aへ送られる。
【0042】
車線検出逸脱判定部31Aは、ウィンカ点滅認識判定部33Aによって左右のウィンカランプのいずれかに点滅制御があると判定されると(ステップST3a;YES)、運転者が意図した車線逸脱(車線変更など)であると判断して、アラーム波形生成部4に警報鳴動を指示しない。この後、ステップST1aの処理に戻って、走行車線の監視を継続する。
【0043】
また、ウィンカ点滅認識判定部33Aによってウィンカランプのいずれも点滅制御がないと判定されると(ステップST3a;NO)、車線検出逸脱判定部31Aは、運転者が意図していない車線逸脱であると判断してアラーム波形生成部4に警報鳴動を指示する。なお、逸脱量の閾値が特定の範囲で設定されている場合、車線検出逸脱判定部31Aは、自車両の車線逸脱量がどの閾値範囲に属するかに応じた逸脱レベルを、アラーム波形生成部4に通知する。
【0044】
アラーム波形生成部4は、車線検出逸脱判定部31Aからの指示に従って、自車両の逸脱レベルに応じた波形パターンの警報音データを生成し、生成した警報音データをスピーカ5に出力する。スピーカ5は、アラーム波形生成部4から入力された逸脱レベルに応じた警報音データを音放射する。これにより、運転者に対して警報鳴動がなされる(ステップST4a)。
【0045】
以上のように、この実施の形態2によれば、車両内で集音された音データから、ウィンカランプの点滅音の音響特徴を含む音データを検出するウィンカ点滅音特徴検出部34と、ウィンカ点滅音特徴検出部34で検出されたウィンカランプの点滅音の音響特徴を含む音データを、ウィンカランプの点滅音の音響特徴に関する所定の閾値と比較した結果に基づいて、ウィンカランプの点滅を判定するウィンカ点滅認識判定部33Aと、車両の走行車線の逸脱が検出されると、ウィンカ点滅認識判定部33Aによる判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する車線検出逸脱判定部31Aを備える。
特に、この車線逸脱判定装置3Aを備えた車線逸脱警報装置1Aにおいて、アラーム波形生成部4及びスピーカ5が、車線検出逸脱判定部31Aにより運転者が意図した車線逸脱であると判定されると、警報を出力しないようにする。
このようにすることで、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができる。つまり、CAN等の車両制御情報網を使用せずに運転者が意図した車線変更であるかを判定できる。これにより、運転者が意図した車線変更であるときには警報鳴動を行わず、また、出荷後にユーザが取り付けできる構成であることから、汎用的に適応することができる。
【0046】
実施の形態3.
図8は、この発明の実施の形態3による車線逸脱警報装置の構成を示すブロック図であり、図1及び図5と同一構成要素には同一符号を付して説明を省略する。図8において、実施の形態3の車線逸脱警報装置1Bは、広角リアカメラ2aで撮影された映像データを画像解析した結果から車両の車線逸脱が検出されると、ウィンカランプの制御信号の漏洩信号取得結果から運転者が意図した車線逸脱であるか否かを判定し、意図しない車線の逸脱であれば、運転者に警報を行う。その構成として、広角リアカメラ2a、車線逸脱判定装置3B、アラーム波形生成部4、スピーカ5、及び車両内の電源ライン10と接続した直流成分除去部10aを備える。
【0047】
直流成分除去部10aは、制御信号が電源ライン10に漏洩してなるノイズ成分を抽出するため、電源ライン10から電源に相当する直流成分を除去する構成部である。
車線逸脱判定装置3Bは、広角リアカメラ2aで撮影された映像データから車線を画像認識した結果に基づいて自車両の車線逸脱を監視しており、車両の車線逸脱が検出されると、ウィンカランプの制御信号の漏洩信号取得結果から、運転者が意図した車線の逸脱であるか否かを判定する装置である。
【0048】
また、車線逸脱判定装置3Bは、画像歪み補正部30A、車線検出逸脱判定部31A、ウィンカ点滅認識判定部33B及びウィンカ制御信号検出部35を備える。
ウィンカ点滅認識判定部33Bは、ウィンカ制御信号検出部35に検出されたウィンカ制御信号と推測されるノイズ成分と、ウィンカ制御信号の信号強度の閾値との比較結果に基づいて、ウィンカランプの点滅制御の有無を判定する構成部である。
ウィンカ制御信号検出部35は、直流成分除去部10aにより得られた電源ライン10のノイズ成分から、電源ライン10に漏洩したウィンカ制御信号と推測されるノイズ成分を検出する構成部である。
【0049】
図9は、ウィンカ制御信号の取得形態を示す図である。図9に示す例では、ウィンカ制御信号検出部35が、ウィンカ制御ECU(電子制御ユニット)11へ電源を供給する電源ライン10に接続しており、予め設定されたウィンカ制御信号波形の参照比較データに基づいて電源ライン10に漏洩しているウィンカ制御信号と推測されるノイズ成分を濾波器36で検出し、これを信号増幅部37で増幅してウィンカ点滅認識判定部33Bへ出力する。ウィンカ点滅認識判定部33Bにおいては、信号判定部38が、ウィンカ制御信号検出部35に検出されたウィンカ制御信号と推測されるノイズ成分と、ウィンカ制御信号の信号強度の閾値との比較結果に基づいてウィンカランプの点滅制御の有無を判定する。この判定結果は、車線検出逸脱判定部31Aへ出力される。
【0050】
なお、画像歪み補正部30A、車線検出逸脱判定部31A、ウィンカ点滅認識判定部33B、ウィンカ制御信号検出部35及びアラーム波形生成部4は、例えば、この発明の趣旨に従う車線逸脱判定警報用プログラムを、車線逸脱警報装置1Bとして機能するコンピュータのプロセッサに実行させることにより、ハードウェアとソフトウェアが協働した具体的な手段として実現される。
【0051】
次に動作について説明する。
図10は、実施の形態3の車線逸脱警報装置による動作の流れを示すフローチャートであり、この図に沿って運転者が意図した車線の逸脱であるか否かの判定処理を説明する。
広角リアカメラ2aで撮影された映像データは、不図示のビデオデコーダによってプロセッサで処理可能な形式に変換された後、画像歪み補正部30Aへ入力される。
画像歪み補正部30Aは、入力した映像データの画像の歪み補正を行う。例えば、広角リアカメラ2aで撮影された映像データの画像から自車両の走行車線を検出するために必要な後方の風景が含まれる画像領域を切り出し、切り出した画像領域の歪み補正を行う。歪み補正された映像データは、車線検出逸脱判定部31Aへ出力される。
【0052】
車線検出逸脱判定部31Aでは、画像歪み補正部30Aで補正された映像データから、自車両の走行道路上の車線を画像認識し、この車線と自車両との相対的な位置関係を示す逸脱量を所定の閾値と比較した結果に応じて、自車両が車線を逸脱しているか否かを判定する。なお、車両と車線との相対的な位置関係に応じて段階的に警報を行うために、逸脱量の閾値を特定の範囲で設定してもよい。
ここまでの処理がステップST1bの走行車線の監視処理に相当する。なお、広角リアカメラ2aを用いた車線逸脱の監視は、ユーザが動作開始を設定した場合、決められた時間周期で実行される。
【0053】
車線検出逸脱判定部31Aにより自車両が車線を逸脱していることが検出されると(ステップST2b)、直流成分除去部10aが、電源ライン10から電源に相当する直流成分を除去し、電源ライン10に重畳しているノイズ成分を増幅した後、ウィンカ制御信号検出部35に出力する。
ウィンカ制御信号検出部35では、直流成分除去部10aにより得られた電源ライン10のノイズ成分と、予め設定されたウィンカ制御周期及び制御信号波形を示す参照比較用データとを比較して、電源ライン10のノイズ成分のうち、この参照比較データの特徴に合致するノイズ成分を、ウィンカ制御信号と推測されるノイズ成分データとして検出する。この検出されたノイズ成分データは、ウィンカ点滅認識判定部33Bへ送られる。
【0054】
ウィンカ点滅認識判定部33Bは、ウィンカ制御信号検出部35に検出されたウィンカ制御信号と推測されるノイズ成分データと、予め設定されたウィンカ制御信号と判定する信号強度の閾値との比較結果に基づいて、左右のウィンカランプの点滅制御の有無を判定する(ステップST3b)。その判定結果は、車線検出逸脱判定部31Aへ送られる。
【0055】
車線検出逸脱判定部31Aは、ウィンカ点滅認識判定部33Bによって左右のウィンカランプのいずれかに点滅制御があると判定されると(ステップST3b;YES)、運転者が意図した車線逸脱(車線変更など)であると判断して、アラーム波形生成部4に警報鳴動を指示しない。この後、ステップST1bの処理に戻って、走行車線の監視を継続する。
【0056】
また、ウィンカ点滅認識判定部33Bによってウィンカランプのいずれも点滅制御がないと判定されると(ステップST3b;NO)、車線検出逸脱判定部31Aは、運転者が意図していない車線逸脱であると判断してアラーム波形生成部4に警報鳴動を指示する。なお、逸脱量の閾値が特定の範囲で設定されている場合、車線検出逸脱判定部31Aは、自車両の車線逸脱量がどの閾値範囲に属するかに応じた逸脱レベルを、アラーム波形生成部4に通知する。
【0057】
アラーム波形生成部4は、車線検出逸脱判定部31Aからの指示に従って、自車両の逸脱レベルに応じた波形パターンの警報音データを生成し、生成した警報音データをスピーカ5に出力する。スピーカ5は、アラーム波形生成部4から入力された逸脱レベルに応じた警報音データを音放射する。これにより、運転者に対して警報鳴動がなされる(ステップST4b)。
【0058】
なお、ウィンカ制御信号が漏洩するのは電源ラインだけでなく、その他の制御ラインにも重畳していることもある。従って、ウィンカ制御信号検出部35をその他の制御ラインにも接続して、これらのラインからウィンカ制御信号を取り出すようにしてもよい。
例えば、ラジオのアンテナラインやパーキングブレーキの制御ライン等は、単線で車内を巡っているため、ウィンカ制御信号が漏洩する可能性がある。このように電源及びその他の信号ラインに重畳されているノイズ成分についてウィンカ制御周期及びその信号強度の振幅を解析することにより、ウィンカ制御信号を検出する。
【0059】
以上のように、この実施の形態3によれば、車両内の電源ライン又は信号ラインから、ウィンカランプの点滅制御周期及び制御信号波形のノイズ成分データを検出するウィンカ制御信号検出部35と、ウィンカ制御信号検出部35で検出されたノイズ成分データを、ウィンカランプの点滅制御信号判定用の閾値と比較した結果に基づいて、ウィンカランプの点滅を判定するウィンカ点滅認識判定部33Bと、車両の走行車線の逸脱が検出されると、ウィンカ点滅認識判定部33Bによる判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する車線検出逸脱判定部31Aとを備える。
特に、この車線逸脱判定装置3Bを備えた車線逸脱警報装置1Bにおいて、アラーム波形生成部4及びスピーカ5が、車線検出逸脱判定部31Aにより運転者が意図した車線逸脱であると判定されると、警報を出力しないようにする。
このようにすることで、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができる。つまり、CAN等の車両制御情報網を使用せずに運転者が意図した車線変更であるかを判定できる。これにより、運転者が意図した車線変更であるときには警報鳴動を行わず、また、出荷後にユーザが取り付けできる構成であることから、汎用的に適応することができる。
【0060】
実施の形態4.
上記実施の形態1〜3による車線逸脱警報装置は、ナビゲーション装置や車両のECUの一つの機能として構成することができる。この実施の形態4では、上記実施の形態1〜3による車線逸脱警報装置をカーナビゲーション装置に適用した場合について述べる。
図11は、この発明の実施の形態4によるナビゲーション装置の構成を示すブロック図である。図11において、実施の形態4のナビゲーション装置11は、上記実施の形態1〜3の車線逸脱警報装置の機能構成を備えたナビゲーション装置である。
ナビゲーション処理部12は、ナビゲーション処理を行う構成部であり、例えば、ナビゲーション処理として経路誘導、経路探索及び地図表示等を行う。また、表示処理部13は、ナビゲーション処理等で使用される画像をモニタ14に表示する構成部である。例えば、地図画像や各種の操作画面の画像を表示する。モニタ14は、表示処理部13に制御されて画像表示を行う表示モニタであり、液晶モニタ等である。
【0061】
車線検出逸脱判定部31Bは、上記実施の形態1と同様に、画像歪み補正部30で補正された映像データから自車両の走行道路上の車線を画像認識して、認識した車線を自車両が逸脱しているか否かを判定する構成部である。また、車線検出逸脱判定部31Bは、車両の走行車線の逸脱を検出すると、ウィンカ点滅認識判定部33Cの判定結果に基づいて運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部として機能する。
ウィンカ点滅認識判定部33Cは、ウィンカ位置特徴検出部32、ウィンカ点滅音特徴検出部34及びウィンカ制御信号検出部35のうちの少なくとも一つによる検出結果に基づいて、ウィンカランプの点滅制御の有無を判定する構成部である。
【0062】
次に動作について説明する。
超広角リアカメラ2で撮影された映像データは、不図示のビデオデコーダによってプロセッサで処理可能な形式に変換された後、画像歪み補正部30及びウィンカ位置特徴検出部32へそれぞれ入力される。画像歪み補正部30は、入力した映像データの画像歪み補正を行う。歪み補正された映像データは、車線検出逸脱判定部31Bへ出力される。
車線検出逸脱判定部31Bでは、画像歪み補正部30で補正された映像データから自車両の走行道路の車線を画像認識し、この車線と自車両との相対的な位置関係を示す逸脱量を所定の閾値と比較した結果に応じて、自車両が車線を逸脱しているか否かを判定する。
【0063】
一方、ウィンカ位置特徴検出部32は、超広角リアカメラ2で撮影された映像中のウィンカランプの位置を特定し、さらにウィンカランプの点滅判定を行うための前処理として、超広角リアカメラ2で撮影した映像中の輝度及びコントラスト等の画像特性を正規化する。映像中のウィンカランプの位置は、画像特性が正規化された当該映像データとともにウィンカ点滅認識判定部33Cへ送られる。
また、ウィンカ点滅音特徴検出部34が、増幅・帯域フィルタ8aで処理された音データと、予め設定されたウィンカランプの点滅音の音響特徴を示す参照比較データとを比較して、増幅・帯域フィルタ8aで処理された音データのうち、この参照比較データの周波数特徴に合致する音データを、ウィンカランプの点滅音の音響特徴を含む音データとして検出する。検出された音データは、ウィンカ点滅認識判定部33Cへ送られる。
さらに、ウィンカ制御信号検出部35が、直流成分除去部10aにより得られた電源ライン10のノイズ成分と、予め設定されたウィンカ制御周期及び制御信号波形を示す参照比較用データとを比較して、電源ライン10のノイズ成分のうち、この参照比較データの特徴に合致するノイズ成分を、ウィンカ制御信号と推測されるノイズ成分データとして検出する。検出されたノイズ成分データは、ウィンカ点滅認識判定部33Cへ送られる。
【0064】
ウィンカ点滅認識判定部33Cでは、車線検出逸脱判定部31Bにより自車両が車線を逸脱していることが検出されると、ウィンカ位置特徴検出部32、ウィンカ点滅音特徴検出部34及びウィンカ制御信号検出部35のうちの少なくとも一つによる検出結果に基づいて、上記実施の形態1〜3と同様にしてウィンカランプの点滅制御の有無を判定する。
例えば、ウィンカ位置特徴検出部32、ウィンカ点滅音特徴検出部34及びウィンカ制御信号検出部35による各検出結果に判定の優先度を設けておき、優先度が高い検出結果を採用する。あるいは、各検出結果に重み付けを設定して判定してもよい。
【0065】
車線検出逸脱判定部31Bは、ウィンカ点滅認識判定部33Cによって左右のウィンカランプのいずれかに点滅制御があると判定されると、運転者が意図した車線逸脱(車線変更等)であると判断して、アラーム波形生成部4に警報鳴動を指示しない。これにより、アラーム波形生成部4及びスピーカ5が、警報を出力しないようにすることができる。
【0066】
また、ウィンカ点滅認識判定部33Cによりウィンカランプのいずれも点滅制御されていないと判定されると、車線検出逸脱判定部31Bは、運転者が意図しない車線逸脱であると判断して、アラーム波形生成部4に警報鳴動を指示する。
アラーム波形生成部4は、車線検出逸脱判定部31Bからの指示に従って、自車両の逸脱レベルに応じた波形パターンの警報音データを生成し、この警報音データをスピーカ5に出力する。スピーカ5は、アラーム波形生成部4から入力された逸脱レベルに応じた警報音データを音放射する。これにより、運転者に対して警報鳴動がなされる。
このとき、ナビゲーション処理部12が、車線検出逸脱判定部31Bから運転者が意図しない車線逸脱である旨を通知されると、表示処理部13に対して警告画像をモニタ14に表示するよう指示する。
表示処理部13は、ナビゲーション処理部12の指示に従って、運転者が意図しない車線逸脱に対する警告画像あるいはテキストをモニタ14に表示する。これにより、警告音のみならず、視覚的に注意喚起することができる。
【0067】
なお、実施の形態4では、上記実施の形態1〜3による車線逸脱警報装置の機能構成を全て備えたナビゲーション装置11を示したが、上記実施の形態1〜3のいずれかの車線逸脱警報装置を備える構成であってもよく、上記実施の形態1〜3のいずれかの車線逸脱警報装置の機能構成を組み合わせたものであってもよい。このように構成しても、同様の効果を得ることができる。
【0068】
以上のように、この実施の形態4によれば、上記実施の形態1〜3による車線逸脱警報装置の少なくとも一つを組み込んでナビゲーション装置を構成したので、ナビゲーション装置11において、CAN等の車両制御情報網を使用せずに運転者が意図した車線変更であるかを判定することができる。これにより、運転者が意図した車線変更であるときには警報鳴動を行わず、また、出荷後にユーザが取り付けできる構成であることから、汎用的に適応することができる。
【0069】
また、上記実施の形態2では、本発明をカーナビゲーション装置に適用した場合を示したが、携帯電話端末又は携帯情報端末(PDA;Personal Digital Assistance)のナビゲーション装置として適用してもよい。また、車両、鉄道、船舶又は航空機等の移動体に、人が携帯して持ち込んで使用するPND(Portable Navigation Device)等に適用してもかまわない。
【0070】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【0071】
1,1A,1B 車線逸脱警報装置、2 超広角リアカメラ、2a 広角リアカメラ、2A,2B 撮影映像、3,3A,3B 車線逸脱判定装置、4 アラーム波形生成部、5,9a スピーカ、6a 後部バンパー、6b 車内、7a,7b ウィンカランプ、8 マイク、8a 増幅・帯域フィルタ、10 電源、10a 直流成分除去部、11 ナビゲーション装置、12 ナビゲーション処理部、13 表示処理部、14 モニタ、30,30A 画像歪み補正部、31,31A,31B 車線検出逸脱判定部、32 ウィンカ位置特徴検出部、33,33A,33B,33C ウィンカ点滅認識判定部、34 ウィンカ点滅音特徴検出部、35 ウィンカ制御信号検出部。
【技術分野】
【0001】
この発明は、運転者が意図しない車線の逸脱を判定する車線逸脱判定装置、車線逸脱警報装置及びナビゲーション装置に関する。
【背景技術】
【0002】
特許文献1には、自車両前方の風景を撮像した画像データを画像処理して得られた走行車線での自車両の位置データ、横加速度等の車両状態量データ、操舵角及び操舵トルク等の運転操作量データの少なくともいずれかと、運転者が車線変更を意図したとき及び車線維持を意図しないときの運転行動に関する時系列パターンの統計的特徴量を表す運動行動パターンパラメータを用いて、隠れマルコフモデルの認識アルゴリズムに従い、運転者の車線変更の意図の有無を認識するレーンキープシステムが開示されている。
また、特許文献2には、自車両前方の道路を含む風景が撮像された画像を画像処理して得られた自車両の車線位置、前方を走行する他車両及びこれと自車両の距離に基づいて、運転者が意図的に車線を逸脱する可能性があるか否かを判定する装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−321690号公報
【特許文献2】特開2007−2647号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に代表される従来の技術は、自車両前方の風景が撮像された画像データ以外に、横加速度等の車両状態量データや、操舵角及び操舵トルク等の運転操作量データが利用される。これらのデータは、車両制御に関わる重要な車両情報であり、カーエリアネットワーク(CAN)等の自車両情報網で伝送される。CANでは、情報伝送における信頼性を確保するため、車両の出荷後にユーザが車両情報を取り出せるインタフェースが設けられていないのが一般である。すなわち、特許文献1に記載された発明を適用するには、車両の製造者側で、CANから車両情報を取り出すインタフェースを設けることが前提となり、汎用性に欠ける。
【0005】
また、特許文献2に代表される従来の技術では、自車両前方の風景が撮像された画像を画像処理した結果から、自車両の車線位置及び前方を走行する他車両に加えて、他車両と自車両との距離も取得する。このように画像情報のみから得られた情報に基づいて、運転者が意図的に車線を逸脱する可能性があるか否かを判定するため、車外環境によっては、上記判定の信頼性が下がる場合がある。例えば、雨天や降雪時、夜間では、自車両の車線位置や他車両と自車両との距離のような定量的なデータが正確に得られない。
【0006】
この発明は、上記のような課題を解決するためになされたもので、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができる車線逸脱判定装置、車線逸脱警報装置及びナビゲーション装置を得ることを目的とする。
【課題を解決するための手段】
【0007】
この発明に係る車線逸脱判定装置は、車両周辺が撮影された映像中の方向指示灯の位置を検出する検出部と、検出部で検出された映像中の方向指示灯の位置における画像特徴を、方向指示灯の点滅制御に対応する周期で変化する画像特徴と比較した結果に基づいて、方向指示灯の点滅を判定する方向指示灯点滅判定部と、車両の走行車線の逸脱が検出されると、方向指示灯点滅判定部による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部とを備える。
【発明の効果】
【0008】
この発明によれば、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができるという効果がある。
【図面の簡単な説明】
【0009】
【図1】この発明の実施の形態1による車線逸脱警報装置の構成を示すブロック図である。
【図2】超広角リアカメラの取り付けの一例を示す図である。
【図3】実施の形態1の車線逸脱警報装置による動作の流れを示すフローチャートである。
【図4】超広角リアカメラの映像の一例を示す図である。
【図5】この発明の実施の形態2による車線逸脱警報装置の構成を示すブロック図である。
【図6】ウィンカランプの点滅音の集音形態を示す図である。
【図7】実施の形態2の車線逸脱警報装置による動作の流れを示すフローチャートである。
【図8】この発明の実施の形態3による車線逸脱警報装置の構成を示すブロック図である。
【図9】ウィンカ制御信号の取得形態を示す図である。
【図10】実施の形態3の車線逸脱警報装置による動作の流れを示すフローチャートである。
【図11】この発明の実施の形態4によるナビゲーション装置の構成を示すブロック図である。
【発明を実施するための形態】
【0010】
実施の形態1.
図1は、この発明の実施の形態1による車線逸脱警報装置の構成を示すブロック図である。図1において、実施の形態1の車線逸脱警報装置1は、超広角リアカメラ2で撮影された映像データからウィンカランプ点灯状態を認識した結果に基づいて、運転者が意図的に車線を逸脱したか否かを判定し、意図しない車線の逸脱であれば、運転者に対して警報を行う。その構成として、超広角リアカメラ2、車線逸脱判定装置3、アラーム波形生成部4及びスピーカ5を備える。
【0011】
超広角リアカメラ2は、視野画角が190度以上のカメラであり、少なくともウィンカランプが被写体に含まれる位置に取り付けられる。
図2は、超広角リアカメラ2の取り付けの一例を示す図である。図2に示すように、視野画角が190度以上のカメラは、超広角リアカメラ2として車両6の後部バンパー6a付近に取り付けると、車両後方の風景に加えて、バンパー6a及び左右のウィンカランプ7a,7bも視野範囲に含まれる。このような超広角リアカメラ2は、駐車支援用の車両後方の映像を得るカメラシステムとして普及してきており、また車両の出荷後にユーザが取り付け可能なカメラキットもある。
【0012】
また、車線逸脱判定装置3は、超広角リアカメラ2で撮影された映像データからウィンカランプの点灯状態を認識した結果に基づいて、運転者が意図的に車線を逸脱したか否かを判定する装置である。
アラーム波形生成部4は、車線検出逸脱判定部31の制御に従って所定の波形パターンの警報音データを生成する構成部であり、生成した警報音データは、スピーカ5を介して音放射される。スピーカ5は、車内に設けられ、運転者に対して警報音を音放射する。
【0013】
また、車線逸脱判定装置3は、画像歪み補正部30、車線検出逸脱判定部31、ウィンカ位置特徴検出部32及びウィンカ点滅認識判定部33を備える。
画像歪み補正部30は、超広角リアカメラ2で撮影された映像データの画像歪み補正を行う構成部である。
車線検出逸脱判定部31は、画像歪み補正部30で補正された映像データから自車両の走行道路上の車線を画像認識し、認識した車線を自車両が逸脱しているか否かを判定する構成部である。また、車線検出逸脱判定部31は、車両の走行車線の逸脱を検出すると、ウィンカ点滅認識判定部33の判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部として機能する。
【0014】
ウィンカ位置特徴検出部32は、超広角リアカメラ2で撮影された映像中のウィンカランプ位置を特定する構成部である。なお、超広角リアカメラ2は、視野方向が固定されており、その視野範囲には左右のウィンカランプが含まれる。従って、左右のウィンカランプは、超広角リアカメラ2で撮影された映像中の特定の位置に映し出される。
【0015】
ウィンカ点滅認識判定部33は、ウィンカ位置特徴検出部32で前処理を施された映像中にウィンカランプの点滅制御に対応する周期で変化する画像特徴があるか否かに基づいて、左右のウィンカランプの点滅制御の有無を判定する構成部である。上記画像特徴は、ウィンカランプの色の波長と点滅パターンリズムから予め規定しておく。
【0016】
なお、画像歪み補正部30、車線検出逸脱判定部31、ウィンカ位置特徴検出部32、ウィンカ点滅認識判定部33、及びアラーム波形生成部4は、例えば、この発明の趣旨に従う車線逸脱判定警報用プログラムを、車線逸脱警報装置1として機能するコンピュータのプロセッサに実行させることにより、ハードウェアとソフトウェアが協働した具体的な手段として実現される。また、歪み補正はプロセッサの過負荷になる可能性があるので、画像歪み補正部30については、専用の画像処理チップとしてハードウェアで実現してもかまわない。
【0017】
次に動作について説明する。
図3は、実施の形態1の車線逸脱警報装置による動作の流れを示すフローチャートであり、この図3に沿って運転者が意図した車線逸脱であるか否かの判定処理を説明する。
超広角リアカメラ2で撮影された映像データは、不図示のビデオデコーダによってプロセッサで処理可能な形式に変換された後、画像歪み補正部30及びウィンカ位置特徴検出部32へそれぞれ入力される。
【0018】
画像歪み補正部30は、入力した映像データの画像歪み補正を行う。例えば、超広角リアカメラ2で撮影された映像から自車両の走行車線を検出するために必要な後方の風景が含まれる画像領域を切り出して、切り出した画像領域の歪み補正を行う。歪み補正された映像データは、車線検出逸脱判定部31へ出力される。
【0019】
車線検出逸脱判定部31では、画像歪み補正部30で補正された映像データから自車両の走行道路上の車線を画像認識し、この車線と自車両との相対的な位置関係を示す逸脱量を所定の閾値と比較した結果に応じて、自車両が車線を逸脱しているか否かを判定する。
なお、車両と車線との相対的な位置関係に応じて段階的に警報を行うために、逸脱量の閾値を特定の範囲で設定してもよい。
ここまでの処理がステップST1の走行車線の監視処理に相当する。なお、超広角リアカメラ2を用いた車線逸脱の監視は、ユーザが動作開始を設定した場合、決められた時間周期で実行される。
【0020】
一方、ウィンカ位置特徴検出部32は、超広角リアカメラ2で撮影された映像データの画像中のウィンカランプ7a,7bの位置を特定し、さらにウィンカランプ7a,7bの点滅判定を行うための前処理として、超広角リアカメラ2で撮影した映像の輝度及びコントラスト等の画像特性を正規化する。映像中のウィンカランプ7a,7bの位置は、画像特性が正規化された当該映像データとともにウィンカ点滅認識判定部33へ送られる。
【0021】
ウィンカ点滅認識判定部33では、車線検出逸脱判定部31により自車両が車線を逸脱していることが検出されると(ステップST2)、ウィンカ位置特徴検出部32によって特定されたウィンカランプ7a,7bの位置に基づいて、前処理を施された映像におけるウィンカランプ7a,7bの画像領域を画像解析して当該領域の画像特徴を抽出する。次いで、ウィンカ点滅認識判定部33は、抽出した画像特徴を、予め設定されたウィンカランプの点滅周期に合致する画像特徴を示す参照比較データと比較して、両者が合致するか否かに基づいて、左右のウィンカランプ7a,7bの点滅制御の有無を判定する(ステップST3)。その判定結果は、車線検出逸脱判定部31へ送られる。
【0022】
車線検出逸脱判定部31は、ウィンカ点滅認識判定部33によって左右のウィンカランプ7a,7bのいずれかに点滅制御があると判定されると(ステップST3;YES)、運転者が意図した車線逸脱(車線変更など)であると判断して、アラーム波形生成部4に警報鳴動を指示しない。この後、ステップST1の処理に戻って、走行車線の監視を継続する。
【0023】
また、ウィンカ点滅認識判定部33によってウィンカランプ7a,7bのいずれも点滅制御がないと判定されると(ステップST3;NO)、車線検出逸脱判定部31は、運転者が意図していない車線逸脱であると判断して、アラーム波形生成部4に警報鳴動を指示する。なお、逸脱量の閾値が特定の範囲で設定されている場合、車線検出逸脱判定部31は、自車両の車線逸脱量がどの閾値範囲に属するかに応じた逸脱レベルを、アラーム波形生成部4に通知する。
【0024】
アラーム波形生成部4は、車線検出逸脱判定部31からの指示に従って、自車両の逸脱レベルに応じた波形パターンの警報音データを生成し、生成した警報音データをスピーカ5に出力する。スピーカ5は、アラーム波形生成部4から入力された逸脱レベルに応じた警報音データを音放射する。これにより、運転者に対して警報鳴動がなされる(ステップST4)。
【0025】
図4は、超広角リアカメラの映像の一例を示す図である。図4に示すように、超広角リアカメラ2は視野画角が190度以上あるので、カメラレンズ端よりも後方の映像も撮影できる。このため、自車両のバンパー6a及びウィンカランプ7a,7bについても後方風景と同時に撮影することができる。
【0026】
図4(a)に示す撮影映像2Aでは、左右の車線a1,a2の間を自車両が適切に走行している場合を示している。この場合、車線逸脱がないため、ウィンカ点滅認識判定部33が、撮影映像2Aを画像解析することにより、ウィンカランプ7a,7bがいずれも点滅制御されていないと判定される。
【0027】
図4(b)に示す撮影映像2Bでは、右の車線a1を自車両が逸脱して走行した場合を示している。この場合、自車両の車線の逸脱に応じて、ウィンカ点滅認識判定部33が、撮影映像2Bを画像解析することにより、右のウィンカランプ7aが点滅制御されていると判定される。この判定結果を受けると、車線検出逸脱判定部31は、運転者が右折するために意図的に車線を逸脱していると判断して、アラーム波形生成部4に警報鳴動を指示しない。
【0028】
以上のように、この実施の形態1によれば、車両周辺が撮影された映像中のウィンカランプ7a,7bの位置を検出するウィンカ位置特徴検出部32と、ウィンカ位置特徴検出部32で検出された映像中の方向指示灯の位置における画像特徴を、ウィンカランプ7a,7bの点滅制御に対応する周期で変化する画像特徴と比較した結果に基づいて、ウィンカランプ7a,7bの点滅を判定するウィンカ点滅認識判定部33と、車両の走行車線の逸脱が検出されると、ウィンカ点滅認識判定部33による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する車線検出逸脱判定部31とを備える。
特に、この車線逸脱判定装置3を備えた車線逸脱警報装置1において、アラーム波形生成部4及びスピーカ5が、車線検出逸脱判定部31により運転者が意図した車線逸脱であると判定されると、警報を出力しないようにする。
このようにすることで、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができる。つまり、CAN等の車両制御情報網を使用せずに運転者が意図した車線変更であるかを判定できる。これにより、運転者が意図した車線変更であるときには警報鳴動を行わず、また、出荷後にユーザが取り付けできる構成であることから、汎用的に適応することができる。
【0029】
実施の形態2.
図5は、この発明の実施の形態2による車線逸脱警報装置の構成を示すブロック図であり、図1と同一構成要素には同一符号を付して説明を省略する。図5において、実施の形態2の車線逸脱警報装置1Aは、広角リアカメラ2aで撮影された映像データを画像解析した結果から車両の車線逸脱が検出されると、ウィンカランプの点滅音の検出結果から運転者が意図した車線逸脱であるか否かを判定し、意図しない車線の逸脱であれば、運転者に警報を行う。その構成として、広角リアカメラ2a、車線逸脱判定装置3A、アラーム波形生成部4、スピーカ5、マイク8及び増幅・帯域フィルタ8aを備える。
【0030】
広角リアカメラ2aは、視野画角が140度程度のカメラであり、上記実施の形態1で示した超広角リアカメラ2と異なって、自車両のウィンカランプや後部バンパーの一部は視野範囲に含まれない。このような広角リアカメラ2aは、駐車支援用の後方映像を得るカメラとして超広角リアカメラ2よりも普及している。
【0031】
また、車線逸脱判定装置3Aは、広角リアカメラ2aで撮影された映像データから車線を画像認識した結果に基づいて自車両の車線逸脱を監視し、車両の車線逸脱が検出されると、ウィンカランプの点滅音の検出結果から、運転者が意図した車線の逸脱であるか否かを判定する装置である。
【0032】
マイク8は、車内に設けられ、ウィンカランプの点滅音を集音するマイクである。増幅・帯域フィルタ8aは、マイク8で集音した音データを増幅して、増幅した音データからウィンカランプの点滅音の周波数帯域のみを通過するフィルタ処理を施す構成部である。この増幅・帯域フィルタ8aによって車内の周辺ノイズを除去された音データは、ウィンカ点滅音特徴検出部34に出力される。
【0033】
また、車線逸脱判定装置3Aは、画像歪み補正部30A、車線検出逸脱判定部31A、ウィンカ点滅認識判定部33A及びウィンカ点滅音特徴検出部34を備える。
画像歪み補正部30Aは、広角リアカメラ2aで撮影された映像データの画像の歪み補正を行う構成部である。
車線検出逸脱判定部31Aは、画像歪み補正部30Aで補正された映像データから自車両の走行道路上の車線を画像認識し、認識した車線を自車両が逸脱しているか否かを判定する構成部である。また、車線検出逸脱判定部31Aは、車両の走行車線の逸脱を検出すると、ウィンカ点滅認識判定部33Aの判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部として機能する。
【0034】
ウィンカ点滅認識判定部33Aは、ウィンカ点滅音特徴検出部34によって検出されたウィンカランプの点滅音の音響特徴を含む音データと、予め設定されたウィンカランプの点滅音の音響特徴に関する所定の閾値との比較結果に基づいて、左右のウィンカランプの点滅制御の有無を判定する構成部である。ウィンカランプの点滅音の音響特徴としては、点滅パターンやその周波数特性が挙げられる。
ウィンカ点滅音特徴検出部34は、増幅・帯域フィルタ8aで処理された音データからウィンカランプの点滅音の音響特徴を含む音データを検出する構成部である。
【0035】
図6は、ウィンカランプの点滅音の集音形態を示す図である。図6(a)の例は、車内6bに設けたマイク8によって、ウィンカランプを点滅させるリレースイッチのオンオフによる機械的な作動音を集音する場合を示している。また、図6(b)は、ウィンカランプの点滅に同期してスピーカ9aから音放射される電子音をマイク8で集音する場合を示している。いずれの場合も、車内の騒音から分離可能な音響特徴を有する。従って、この特徴を参照比較データとしてウィンカ点滅音特徴検出部34に予め設定しておくことで、ウィンカランプの点滅音の音響特徴を含む音データを抽出可能である。
【0036】
なお、画像歪み補正部30A、車線検出逸脱判定部31A、ウィンカ点滅認識判定部33A、ウィンカ点滅音特徴検出部34、及びアラーム波形生成部4は、例えば、この発明の趣旨に従う車線逸脱判定警報用プログラムを、車線逸脱警報装置1Aとして機能するコンピュータのプロセッサに実行させることにより、ハードウェアとソフトウェアが協働した具体的な手段として実現される。
【0037】
次に動作について説明する。
図7は、実施の形態2の車線逸脱警報装置による動作の流れを示すフローチャートであり、この図7に沿って運転者が意図した車線逸脱であるか否かの判定処理を説明する。
広角リアカメラ2aで撮影された映像データは、不図示のビデオデコーダによってプロセッサで処理可能な形式に変換された後、画像歪み補正部30Aへ入力される。
画像歪み補正部30Aは、入力した映像データの画像の歪み補正を行う。例えば、広角リアカメラ2aで撮影された映像データの画像から自車両の走行車線を検出するために必要な後方の風景が含まれる画像領域を切り出し、切り出した画像領域の歪み補正を行う。歪み補正された映像データは、車線検出逸脱判定部31Aへ出力される。
【0038】
車線検出逸脱判定部31Aでは、画像歪み補正部30Aで補正された映像データから、自車両の走行道路上の車線を画像認識し、この車線と自車両との相対的な位置関係を示す逸脱量を所定の閾値と比較した結果に応じて、自車両が車線を逸脱しているか否かを判定する。なお、車両と車線との相対的な位置関係に応じて段階的に警報を行うために、逸脱量の閾値を特定の範囲で設定してもよい。
ここまでの処理がステップST1aの走行車線の監視処理に相当する。なお、広角リアカメラ2aを用いた車線逸脱の監視は、ユーザが動作開始を設定した場合、決められた時間周期で実行される。
【0039】
車線検出逸脱判定部31Aにより自車両が車線を逸脱していることが検出されると(ステップST2a)、マイク8が車内6bの音を集音し、その集音データを増幅・帯域フィルタ8aへ出力する。増幅・帯域フィルタ8aでは、マイク8から入力した集音データを増幅し、増幅した音データからウィンカランプの点滅音の周波数帯域のみを通過するフィルタ処理を施して、ウィンカ点滅音特徴検出部34に出力する。
【0040】
ウィンカ点滅音特徴検出部34は、増幅・帯域フィルタ8aで処理された音データと、予め設定されたウィンカランプの点滅音の音響特徴を示す参照比較データとを比較して、増幅・帯域フィルタ8aで処理された音データのうち、この参照比較データの周波数特徴に合致する音データを、ウィンカランプの点滅音の音響特徴を含む音データとして検出する。検出された音データは、ウィンカ点滅認識判定部33Aへ送られる。
【0041】
ウィンカ点滅認識判定部33Aは、ウィンカ点滅音特徴検出部34によって検出されたウィンカランプの点滅音の音響特徴を含む音データと、予め設定されたウィンカランプの点滅音の音響特徴に関する所定の閾値との比較結果に基づいて、左右のウィンカランプの点滅制御の有無を判定する(ステップST3a)。その判定結果は、車線検出逸脱判定部31Aへ送られる。
【0042】
車線検出逸脱判定部31Aは、ウィンカ点滅認識判定部33Aによって左右のウィンカランプのいずれかに点滅制御があると判定されると(ステップST3a;YES)、運転者が意図した車線逸脱(車線変更など)であると判断して、アラーム波形生成部4に警報鳴動を指示しない。この後、ステップST1aの処理に戻って、走行車線の監視を継続する。
【0043】
また、ウィンカ点滅認識判定部33Aによってウィンカランプのいずれも点滅制御がないと判定されると(ステップST3a;NO)、車線検出逸脱判定部31Aは、運転者が意図していない車線逸脱であると判断してアラーム波形生成部4に警報鳴動を指示する。なお、逸脱量の閾値が特定の範囲で設定されている場合、車線検出逸脱判定部31Aは、自車両の車線逸脱量がどの閾値範囲に属するかに応じた逸脱レベルを、アラーム波形生成部4に通知する。
【0044】
アラーム波形生成部4は、車線検出逸脱判定部31Aからの指示に従って、自車両の逸脱レベルに応じた波形パターンの警報音データを生成し、生成した警報音データをスピーカ5に出力する。スピーカ5は、アラーム波形生成部4から入力された逸脱レベルに応じた警報音データを音放射する。これにより、運転者に対して警報鳴動がなされる(ステップST4a)。
【0045】
以上のように、この実施の形態2によれば、車両内で集音された音データから、ウィンカランプの点滅音の音響特徴を含む音データを検出するウィンカ点滅音特徴検出部34と、ウィンカ点滅音特徴検出部34で検出されたウィンカランプの点滅音の音響特徴を含む音データを、ウィンカランプの点滅音の音響特徴に関する所定の閾値と比較した結果に基づいて、ウィンカランプの点滅を判定するウィンカ点滅認識判定部33Aと、車両の走行車線の逸脱が検出されると、ウィンカ点滅認識判定部33Aによる判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する車線検出逸脱判定部31Aを備える。
特に、この車線逸脱判定装置3Aを備えた車線逸脱警報装置1Aにおいて、アラーム波形生成部4及びスピーカ5が、車線検出逸脱判定部31Aにより運転者が意図した車線逸脱であると判定されると、警報を出力しないようにする。
このようにすることで、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができる。つまり、CAN等の車両制御情報網を使用せずに運転者が意図した車線変更であるかを判定できる。これにより、運転者が意図した車線変更であるときには警報鳴動を行わず、また、出荷後にユーザが取り付けできる構成であることから、汎用的に適応することができる。
【0046】
実施の形態3.
図8は、この発明の実施の形態3による車線逸脱警報装置の構成を示すブロック図であり、図1及び図5と同一構成要素には同一符号を付して説明を省略する。図8において、実施の形態3の車線逸脱警報装置1Bは、広角リアカメラ2aで撮影された映像データを画像解析した結果から車両の車線逸脱が検出されると、ウィンカランプの制御信号の漏洩信号取得結果から運転者が意図した車線逸脱であるか否かを判定し、意図しない車線の逸脱であれば、運転者に警報を行う。その構成として、広角リアカメラ2a、車線逸脱判定装置3B、アラーム波形生成部4、スピーカ5、及び車両内の電源ライン10と接続した直流成分除去部10aを備える。
【0047】
直流成分除去部10aは、制御信号が電源ライン10に漏洩してなるノイズ成分を抽出するため、電源ライン10から電源に相当する直流成分を除去する構成部である。
車線逸脱判定装置3Bは、広角リアカメラ2aで撮影された映像データから車線を画像認識した結果に基づいて自車両の車線逸脱を監視しており、車両の車線逸脱が検出されると、ウィンカランプの制御信号の漏洩信号取得結果から、運転者が意図した車線の逸脱であるか否かを判定する装置である。
【0048】
また、車線逸脱判定装置3Bは、画像歪み補正部30A、車線検出逸脱判定部31A、ウィンカ点滅認識判定部33B及びウィンカ制御信号検出部35を備える。
ウィンカ点滅認識判定部33Bは、ウィンカ制御信号検出部35に検出されたウィンカ制御信号と推測されるノイズ成分と、ウィンカ制御信号の信号強度の閾値との比較結果に基づいて、ウィンカランプの点滅制御の有無を判定する構成部である。
ウィンカ制御信号検出部35は、直流成分除去部10aにより得られた電源ライン10のノイズ成分から、電源ライン10に漏洩したウィンカ制御信号と推測されるノイズ成分を検出する構成部である。
【0049】
図9は、ウィンカ制御信号の取得形態を示す図である。図9に示す例では、ウィンカ制御信号検出部35が、ウィンカ制御ECU(電子制御ユニット)11へ電源を供給する電源ライン10に接続しており、予め設定されたウィンカ制御信号波形の参照比較データに基づいて電源ライン10に漏洩しているウィンカ制御信号と推測されるノイズ成分を濾波器36で検出し、これを信号増幅部37で増幅してウィンカ点滅認識判定部33Bへ出力する。ウィンカ点滅認識判定部33Bにおいては、信号判定部38が、ウィンカ制御信号検出部35に検出されたウィンカ制御信号と推測されるノイズ成分と、ウィンカ制御信号の信号強度の閾値との比較結果に基づいてウィンカランプの点滅制御の有無を判定する。この判定結果は、車線検出逸脱判定部31Aへ出力される。
【0050】
なお、画像歪み補正部30A、車線検出逸脱判定部31A、ウィンカ点滅認識判定部33B、ウィンカ制御信号検出部35及びアラーム波形生成部4は、例えば、この発明の趣旨に従う車線逸脱判定警報用プログラムを、車線逸脱警報装置1Bとして機能するコンピュータのプロセッサに実行させることにより、ハードウェアとソフトウェアが協働した具体的な手段として実現される。
【0051】
次に動作について説明する。
図10は、実施の形態3の車線逸脱警報装置による動作の流れを示すフローチャートであり、この図に沿って運転者が意図した車線の逸脱であるか否かの判定処理を説明する。
広角リアカメラ2aで撮影された映像データは、不図示のビデオデコーダによってプロセッサで処理可能な形式に変換された後、画像歪み補正部30Aへ入力される。
画像歪み補正部30Aは、入力した映像データの画像の歪み補正を行う。例えば、広角リアカメラ2aで撮影された映像データの画像から自車両の走行車線を検出するために必要な後方の風景が含まれる画像領域を切り出し、切り出した画像領域の歪み補正を行う。歪み補正された映像データは、車線検出逸脱判定部31Aへ出力される。
【0052】
車線検出逸脱判定部31Aでは、画像歪み補正部30Aで補正された映像データから、自車両の走行道路上の車線を画像認識し、この車線と自車両との相対的な位置関係を示す逸脱量を所定の閾値と比較した結果に応じて、自車両が車線を逸脱しているか否かを判定する。なお、車両と車線との相対的な位置関係に応じて段階的に警報を行うために、逸脱量の閾値を特定の範囲で設定してもよい。
ここまでの処理がステップST1bの走行車線の監視処理に相当する。なお、広角リアカメラ2aを用いた車線逸脱の監視は、ユーザが動作開始を設定した場合、決められた時間周期で実行される。
【0053】
車線検出逸脱判定部31Aにより自車両が車線を逸脱していることが検出されると(ステップST2b)、直流成分除去部10aが、電源ライン10から電源に相当する直流成分を除去し、電源ライン10に重畳しているノイズ成分を増幅した後、ウィンカ制御信号検出部35に出力する。
ウィンカ制御信号検出部35では、直流成分除去部10aにより得られた電源ライン10のノイズ成分と、予め設定されたウィンカ制御周期及び制御信号波形を示す参照比較用データとを比較して、電源ライン10のノイズ成分のうち、この参照比較データの特徴に合致するノイズ成分を、ウィンカ制御信号と推測されるノイズ成分データとして検出する。この検出されたノイズ成分データは、ウィンカ点滅認識判定部33Bへ送られる。
【0054】
ウィンカ点滅認識判定部33Bは、ウィンカ制御信号検出部35に検出されたウィンカ制御信号と推測されるノイズ成分データと、予め設定されたウィンカ制御信号と判定する信号強度の閾値との比較結果に基づいて、左右のウィンカランプの点滅制御の有無を判定する(ステップST3b)。その判定結果は、車線検出逸脱判定部31Aへ送られる。
【0055】
車線検出逸脱判定部31Aは、ウィンカ点滅認識判定部33Bによって左右のウィンカランプのいずれかに点滅制御があると判定されると(ステップST3b;YES)、運転者が意図した車線逸脱(車線変更など)であると判断して、アラーム波形生成部4に警報鳴動を指示しない。この後、ステップST1bの処理に戻って、走行車線の監視を継続する。
【0056】
また、ウィンカ点滅認識判定部33Bによってウィンカランプのいずれも点滅制御がないと判定されると(ステップST3b;NO)、車線検出逸脱判定部31Aは、運転者が意図していない車線逸脱であると判断してアラーム波形生成部4に警報鳴動を指示する。なお、逸脱量の閾値が特定の範囲で設定されている場合、車線検出逸脱判定部31Aは、自車両の車線逸脱量がどの閾値範囲に属するかに応じた逸脱レベルを、アラーム波形生成部4に通知する。
【0057】
アラーム波形生成部4は、車線検出逸脱判定部31Aからの指示に従って、自車両の逸脱レベルに応じた波形パターンの警報音データを生成し、生成した警報音データをスピーカ5に出力する。スピーカ5は、アラーム波形生成部4から入力された逸脱レベルに応じた警報音データを音放射する。これにより、運転者に対して警報鳴動がなされる(ステップST4b)。
【0058】
なお、ウィンカ制御信号が漏洩するのは電源ラインだけでなく、その他の制御ラインにも重畳していることもある。従って、ウィンカ制御信号検出部35をその他の制御ラインにも接続して、これらのラインからウィンカ制御信号を取り出すようにしてもよい。
例えば、ラジオのアンテナラインやパーキングブレーキの制御ライン等は、単線で車内を巡っているため、ウィンカ制御信号が漏洩する可能性がある。このように電源及びその他の信号ラインに重畳されているノイズ成分についてウィンカ制御周期及びその信号強度の振幅を解析することにより、ウィンカ制御信号を検出する。
【0059】
以上のように、この実施の形態3によれば、車両内の電源ライン又は信号ラインから、ウィンカランプの点滅制御周期及び制御信号波形のノイズ成分データを検出するウィンカ制御信号検出部35と、ウィンカ制御信号検出部35で検出されたノイズ成分データを、ウィンカランプの点滅制御信号判定用の閾値と比較した結果に基づいて、ウィンカランプの点滅を判定するウィンカ点滅認識判定部33Bと、車両の走行車線の逸脱が検出されると、ウィンカ点滅認識判定部33Bによる判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する車線検出逸脱判定部31Aとを備える。
特に、この車線逸脱判定装置3Bを備えた車線逸脱警報装置1Bにおいて、アラーム波形生成部4及びスピーカ5が、車線検出逸脱判定部31Aにより運転者が意図した車線逸脱であると判定されると、警報を出力しないようにする。
このようにすることで、簡易な構成で、運転者が意図的に車線を逸脱したか否かを判定することができる。つまり、CAN等の車両制御情報網を使用せずに運転者が意図した車線変更であるかを判定できる。これにより、運転者が意図した車線変更であるときには警報鳴動を行わず、また、出荷後にユーザが取り付けできる構成であることから、汎用的に適応することができる。
【0060】
実施の形態4.
上記実施の形態1〜3による車線逸脱警報装置は、ナビゲーション装置や車両のECUの一つの機能として構成することができる。この実施の形態4では、上記実施の形態1〜3による車線逸脱警報装置をカーナビゲーション装置に適用した場合について述べる。
図11は、この発明の実施の形態4によるナビゲーション装置の構成を示すブロック図である。図11において、実施の形態4のナビゲーション装置11は、上記実施の形態1〜3の車線逸脱警報装置の機能構成を備えたナビゲーション装置である。
ナビゲーション処理部12は、ナビゲーション処理を行う構成部であり、例えば、ナビゲーション処理として経路誘導、経路探索及び地図表示等を行う。また、表示処理部13は、ナビゲーション処理等で使用される画像をモニタ14に表示する構成部である。例えば、地図画像や各種の操作画面の画像を表示する。モニタ14は、表示処理部13に制御されて画像表示を行う表示モニタであり、液晶モニタ等である。
【0061】
車線検出逸脱判定部31Bは、上記実施の形態1と同様に、画像歪み補正部30で補正された映像データから自車両の走行道路上の車線を画像認識して、認識した車線を自車両が逸脱しているか否かを判定する構成部である。また、車線検出逸脱判定部31Bは、車両の走行車線の逸脱を検出すると、ウィンカ点滅認識判定部33Cの判定結果に基づいて運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部として機能する。
ウィンカ点滅認識判定部33Cは、ウィンカ位置特徴検出部32、ウィンカ点滅音特徴検出部34及びウィンカ制御信号検出部35のうちの少なくとも一つによる検出結果に基づいて、ウィンカランプの点滅制御の有無を判定する構成部である。
【0062】
次に動作について説明する。
超広角リアカメラ2で撮影された映像データは、不図示のビデオデコーダによってプロセッサで処理可能な形式に変換された後、画像歪み補正部30及びウィンカ位置特徴検出部32へそれぞれ入力される。画像歪み補正部30は、入力した映像データの画像歪み補正を行う。歪み補正された映像データは、車線検出逸脱判定部31Bへ出力される。
車線検出逸脱判定部31Bでは、画像歪み補正部30で補正された映像データから自車両の走行道路の車線を画像認識し、この車線と自車両との相対的な位置関係を示す逸脱量を所定の閾値と比較した結果に応じて、自車両が車線を逸脱しているか否かを判定する。
【0063】
一方、ウィンカ位置特徴検出部32は、超広角リアカメラ2で撮影された映像中のウィンカランプの位置を特定し、さらにウィンカランプの点滅判定を行うための前処理として、超広角リアカメラ2で撮影した映像中の輝度及びコントラスト等の画像特性を正規化する。映像中のウィンカランプの位置は、画像特性が正規化された当該映像データとともにウィンカ点滅認識判定部33Cへ送られる。
また、ウィンカ点滅音特徴検出部34が、増幅・帯域フィルタ8aで処理された音データと、予め設定されたウィンカランプの点滅音の音響特徴を示す参照比較データとを比較して、増幅・帯域フィルタ8aで処理された音データのうち、この参照比較データの周波数特徴に合致する音データを、ウィンカランプの点滅音の音響特徴を含む音データとして検出する。検出された音データは、ウィンカ点滅認識判定部33Cへ送られる。
さらに、ウィンカ制御信号検出部35が、直流成分除去部10aにより得られた電源ライン10のノイズ成分と、予め設定されたウィンカ制御周期及び制御信号波形を示す参照比較用データとを比較して、電源ライン10のノイズ成分のうち、この参照比較データの特徴に合致するノイズ成分を、ウィンカ制御信号と推測されるノイズ成分データとして検出する。検出されたノイズ成分データは、ウィンカ点滅認識判定部33Cへ送られる。
【0064】
ウィンカ点滅認識判定部33Cでは、車線検出逸脱判定部31Bにより自車両が車線を逸脱していることが検出されると、ウィンカ位置特徴検出部32、ウィンカ点滅音特徴検出部34及びウィンカ制御信号検出部35のうちの少なくとも一つによる検出結果に基づいて、上記実施の形態1〜3と同様にしてウィンカランプの点滅制御の有無を判定する。
例えば、ウィンカ位置特徴検出部32、ウィンカ点滅音特徴検出部34及びウィンカ制御信号検出部35による各検出結果に判定の優先度を設けておき、優先度が高い検出結果を採用する。あるいは、各検出結果に重み付けを設定して判定してもよい。
【0065】
車線検出逸脱判定部31Bは、ウィンカ点滅認識判定部33Cによって左右のウィンカランプのいずれかに点滅制御があると判定されると、運転者が意図した車線逸脱(車線変更等)であると判断して、アラーム波形生成部4に警報鳴動を指示しない。これにより、アラーム波形生成部4及びスピーカ5が、警報を出力しないようにすることができる。
【0066】
また、ウィンカ点滅認識判定部33Cによりウィンカランプのいずれも点滅制御されていないと判定されると、車線検出逸脱判定部31Bは、運転者が意図しない車線逸脱であると判断して、アラーム波形生成部4に警報鳴動を指示する。
アラーム波形生成部4は、車線検出逸脱判定部31Bからの指示に従って、自車両の逸脱レベルに応じた波形パターンの警報音データを生成し、この警報音データをスピーカ5に出力する。スピーカ5は、アラーム波形生成部4から入力された逸脱レベルに応じた警報音データを音放射する。これにより、運転者に対して警報鳴動がなされる。
このとき、ナビゲーション処理部12が、車線検出逸脱判定部31Bから運転者が意図しない車線逸脱である旨を通知されると、表示処理部13に対して警告画像をモニタ14に表示するよう指示する。
表示処理部13は、ナビゲーション処理部12の指示に従って、運転者が意図しない車線逸脱に対する警告画像あるいはテキストをモニタ14に表示する。これにより、警告音のみならず、視覚的に注意喚起することができる。
【0067】
なお、実施の形態4では、上記実施の形態1〜3による車線逸脱警報装置の機能構成を全て備えたナビゲーション装置11を示したが、上記実施の形態1〜3のいずれかの車線逸脱警報装置を備える構成であってもよく、上記実施の形態1〜3のいずれかの車線逸脱警報装置の機能構成を組み合わせたものであってもよい。このように構成しても、同様の効果を得ることができる。
【0068】
以上のように、この実施の形態4によれば、上記実施の形態1〜3による車線逸脱警報装置の少なくとも一つを組み込んでナビゲーション装置を構成したので、ナビゲーション装置11において、CAN等の車両制御情報網を使用せずに運転者が意図した車線変更であるかを判定することができる。これにより、運転者が意図した車線変更であるときには警報鳴動を行わず、また、出荷後にユーザが取り付けできる構成であることから、汎用的に適応することができる。
【0069】
また、上記実施の形態2では、本発明をカーナビゲーション装置に適用した場合を示したが、携帯電話端末又は携帯情報端末(PDA;Personal Digital Assistance)のナビゲーション装置として適用してもよい。また、車両、鉄道、船舶又は航空機等の移動体に、人が携帯して持ち込んで使用するPND(Portable Navigation Device)等に適用してもかまわない。
【0070】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【0071】
1,1A,1B 車線逸脱警報装置、2 超広角リアカメラ、2a 広角リアカメラ、2A,2B 撮影映像、3,3A,3B 車線逸脱判定装置、4 アラーム波形生成部、5,9a スピーカ、6a 後部バンパー、6b 車内、7a,7b ウィンカランプ、8 マイク、8a 増幅・帯域フィルタ、10 電源、10a 直流成分除去部、11 ナビゲーション装置、12 ナビゲーション処理部、13 表示処理部、14 モニタ、30,30A 画像歪み補正部、31,31A,31B 車線検出逸脱判定部、32 ウィンカ位置特徴検出部、33,33A,33B,33C ウィンカ点滅認識判定部、34 ウィンカ点滅音特徴検出部、35 ウィンカ制御信号検出部。
【特許請求の範囲】
【請求項1】
車両周辺が撮影された映像中の方向指示灯の位置を検出する検出部と、
前記検出部で検出された映像中の方向指示灯の位置における画像特徴を、前記方向指示灯の点滅制御に対応する周期で変化する画像特徴と比較した結果に基づいて、前記方向指示灯の点滅を判定する方向指示灯点滅判定部と、
前記車両の走行車線の逸脱が検出されると、前記方向指示灯点滅判定部による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部とを備えた車線逸脱判定装置。
【請求項2】
車両内で集音された音データから、方向指示灯の点滅音の音響特徴を含む音データを検出する検出部と、
前記検出部で検出された前記方向指示灯の点滅音の音響特徴を含む音データを、前記方向指示灯の点滅音の音響特徴に関する所定の閾値と比較した結果に基づいて、前記方向指示灯の点滅を判定する方向指示灯点滅判定部と、
前記車両の走行車線の逸脱が検出されると、前記方向指示灯点滅判定部による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部とを備えた車線逸脱判定装置。
【請求項3】
車両内の電源ライン又は信号ラインから、方向指示灯の点滅制御周期及び制御信号波形のノイズ成分データを検出する検出部と、
前記検出部で検出された前記ノイズ成分データを、前記方向指示灯の点滅制御信号判定用の閾値と比較した結果に基づいて、前記方向指示灯の点滅を判定する方向指示灯点滅判定部と、
前記車両の走行車線の逸脱が検出されると、前記方向指示灯点滅判定部による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部とを備えた車線逸脱判定装置。
【請求項4】
請求項1から請求項3のうちのいずれか1項記載の車線逸脱判定装置と、
前記車線逸脱判定装置の意図的逸脱判定部の判定結果に応じて、警報音の波形データを生成する波形データ生成部と、
前記波形データ生成部で生成された警報音の波形データを音出力する音出力部とを備えた車線逸脱警報装置。
【請求項5】
前記音出力部は、前記意図的逸脱判定部により運転者が意図した車線逸脱であると判定されると、警報を出力しないことを特徴とする請求項4記載の車線逸脱警報装置。
【請求項6】
請求項4又は請求項5記載の車線逸脱警報装置を備えたナビゲーション装置。
【請求項1】
車両周辺が撮影された映像中の方向指示灯の位置を検出する検出部と、
前記検出部で検出された映像中の方向指示灯の位置における画像特徴を、前記方向指示灯の点滅制御に対応する周期で変化する画像特徴と比較した結果に基づいて、前記方向指示灯の点滅を判定する方向指示灯点滅判定部と、
前記車両の走行車線の逸脱が検出されると、前記方向指示灯点滅判定部による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部とを備えた車線逸脱判定装置。
【請求項2】
車両内で集音された音データから、方向指示灯の点滅音の音響特徴を含む音データを検出する検出部と、
前記検出部で検出された前記方向指示灯の点滅音の音響特徴を含む音データを、前記方向指示灯の点滅音の音響特徴に関する所定の閾値と比較した結果に基づいて、前記方向指示灯の点滅を判定する方向指示灯点滅判定部と、
前記車両の走行車線の逸脱が検出されると、前記方向指示灯点滅判定部による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部とを備えた車線逸脱判定装置。
【請求項3】
車両内の電源ライン又は信号ラインから、方向指示灯の点滅制御周期及び制御信号波形のノイズ成分データを検出する検出部と、
前記検出部で検出された前記ノイズ成分データを、前記方向指示灯の点滅制御信号判定用の閾値と比較した結果に基づいて、前記方向指示灯の点滅を判定する方向指示灯点滅判定部と、
前記車両の走行車線の逸脱が検出されると、前記方向指示灯点滅判定部による判定結果に基づいて、運転者が意図した車線逸脱であるか否かを判定する意図的逸脱判定部とを備えた車線逸脱判定装置。
【請求項4】
請求項1から請求項3のうちのいずれか1項記載の車線逸脱判定装置と、
前記車線逸脱判定装置の意図的逸脱判定部の判定結果に応じて、警報音の波形データを生成する波形データ生成部と、
前記波形データ生成部で生成された警報音の波形データを音出力する音出力部とを備えた車線逸脱警報装置。
【請求項5】
前記音出力部は、前記意図的逸脱判定部により運転者が意図した車線逸脱であると判定されると、警報を出力しないことを特徴とする請求項4記載の車線逸脱警報装置。
【請求項6】
請求項4又は請求項5記載の車線逸脱警報装置を備えたナビゲーション装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−215914(P2012−215914A)
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願番号】特願2011−78831(P2011−78831)
【出願日】平成23年3月31日(2011.3.31)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願日】平成23年3月31日(2011.3.31)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]