車載カメラ及び車載カメラ用付着物検出装置
【課題】車両の室外に設置された撮像装置において、撮像装置の光学系部品に付着した水滴および汚れを検出する装置を提供する。
【解決手段】本発明では、撮像装置によって異なるタイミングで撮像された複数の画像から所定の画素のオプティカルフローを計測し、さらに、車速情報やカーナビゲーションシステムからの情報からオプティカルフローを推定する。推定されたオプティカルフローと計測されたオプティカルフローとの比較結果を基に撮像装置の光学系部品に付着した水滴または汚れの有無を判断する。
【解決手段】本発明では、撮像装置によって異なるタイミングで撮像された複数の画像から所定の画素のオプティカルフローを計測し、さらに、車速情報やカーナビゲーションシステムからの情報からオプティカルフローを推定する。推定されたオプティカルフローと計測されたオプティカルフローとの比較結果を基に撮像装置の光学系部品に付着した水滴または汚れの有無を判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車載カメラに関し、特に自動車等の車外に取り付けられた撮像装置に付着した水滴や汚れを検知する装置および検知する手法に関する。
【背景技術】
【０００２】
自動車における利便性や安全性を向上させる技術として、車両にカメラを搭載し、カメラで撮像された画像から道路上の白線や道路標示を認識したり、車両後方の障害物を検知や、駐車を支援したりする装置が知られている。
【０００３】
この様な装置に用いられるカメラは車外に取り付けられる場合が想定され、カメラのレンズ上に水滴や汚れなどが付着する可能性がある。レンズに付着した水滴や汚れの度合によっては、前述した利便機能や安全機能を満たすことができなくなることが考えられる。よって、カメラのレンズに付着した水滴や汚れを検知し、ユーザーに対して警告を行ったり、自動的に洗浄したりする手段が必要である。
【０００４】
特許文献１では、車両が移動している時に、異なるタイミングにて二つのカメラにて撮影された映像に含まれる濃度値の差分を複数フレームにわたって積算し、その積算された濃度値の映像に基づいてカメラに付着した汚れを検知している。
【０００５】
特許文献２では、車両の室内に設置された車両エアコン用日射センサによって検出された日射量と、カメラから映像情報に基づいて演算された日射量との差分値を算出して、さらに、算出した差分値を積算し、差分値の算出と積算を（Ｎ−１）回繰り返し、ｎ回目に積算された差分値が所定の差分値を超えると、カメラの光学系部品の汚れが生じていると判断している。
【０００６】
【特許文献１】特開２００３−２５９３５８号公報
【特許文献２】特開２００５−１９８００４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の手法では、異なるタイミングにて二つのカメラにて撮影された映像に含まれる濃度値の差分を複数フレームにわたって積算し、その積算された濃度値の映像に基づいてカメラに付着した汚れを検知している。このため、水滴のように、動きのある付着物の検知は困難である。
【０００８】
また、レンズに付着した汚れによって背景が隠れる場合（泥汚れなど）に対しては有効であるが、水滴の様な背景を透過しやすい付着物の検知には積算時間を増やさないと困難であり、汚れを検知するまでに時間がかかる。
【０００９】
特許文献２に記載の手法では、車両の室内に設置された車両エアコン用日射センサによって検出された日射量と、カメラから映像情報に基づいて演算された日射量との差分値に基づいて汚れを検知している。
【００１０】
日射センサとカメラの取り付け箇所は通常異なるため、日射センサでの日射量とカメラから演算される日射量とに誤差が生じる可能性がある（例えば日射センサ部に影がある場合など）。
【００１１】
また、夜間において、日射センサからは、日射量はほとんど検出されないが、カメラで撮像された映像中に対向車両や先行車両や街灯等の光が入り、日射量として算出される可能性がある。よって、両者のセンサから算出される日射量に誤差が生じ、精度良く汚れを検知できない可能性がある。
【課題を解決するための手段】
【００１２】
上記の課題を解決するため、本発明は、光学系と撮像素子とを備え車両外部を撮像する撮像手段と、前記撮像装置によって異なるタイミングで撮像された複数の画像から所定の抽出物の移動量と移動方向とを算出するオプティカルフロー計測手段と、車速情報に基づいて、前記抽出物の移動量と移動方向とを推定するオプティカルフロー推定手段とを備え、前記オプティカルフロー計測手段によって計測された前記抽出物の移動量及び移動方向と、前記オプティカルフロー推定手段によって推定された前記抽出物の移動量及び移動方向とに基づいて、前記撮像手段の光学系に付着した付着物を検出する。
【発明の効果】
【００１３】
車載カメラの光学系に付着した付着物を、従来技術に比べて短時間で検出することができる。また水滴のように当該光学系に対して相対的に移動する付着物、あるいは背景を透過し易い付着物を検知することが可能となる。さらに、日照センサ等の別のセンサを併用しなくても実用的な付着物検知を行なうことができる。
【発明を実施するための最良の形態】
【００１４】
以下、図を用いて本発明の実施形態を説明する。図１は、本発明に関わる車載カメラ用付着物検出装置９の一例を示したものである。
【００１５】
本実施例において、車載カメラ用付着物検出装置９は、撮像装置１によって取得されたアナログの画像信号をデジタル画像信号に変換するＡ／Ｄ変換回路２と、デジタル画像信号を処理する画像処理装置３、メモリ４、演算装置５とを備えている。
【００１６】
演算装置５は、カーナビゲーションシステム６に接続されており、道路形状などの地図情報を取得することができる。また演算装置は車両ネットワークに接続されており、当該車両ネットワークを介して、車両１０に搭載された他のセンサや制御装置から情報を取得することができる。例えば、車両ネットワークには車速センサが接続されており、車速情報を取得することができる。以下、このような他のセンサや制御装置から得られる情報を車両情報７と称する。また、演算装置５は警報装置８にも接続され、撮像装置１の光学系部品１３に付着物８０がある場合、ユーザーに対して警告をすることができる。なお、当該車載カメラ用付着物検出装置９と撮像装置１とが同一の筐体に納められた車載カメラとして構成してもよく、撮像装置１と通信線を介して接続される別体の制御装置の機能として構成してもよい。
【００１７】
図２に示すように、本実施例では、車両１０の後方部に撮像装置１を設置し、車両後方を撮像する。撮像装置１の画角は４５度とする。撮像範囲１１は自車両のバンパーから無限遠とする。
【００１８】
次に、本発明に関わる車載カメラ用付着物検知装置９の動作を図９のフローチャートに沿って説明する。
【００１９】
まず、ステップＳ１で初期設定を行う。初期設定では、認識に必要となる各パラメータを初期化する。
【００２０】
次に、ステップＳ２で車両情報７を取得する。車両情報７は車両ネットワークから車速情報、ヨーレートセンサの情報、ステアリングの舵角情報が含まれている。
【００２１】
さらに、ステップＳ３ではカーナビゲーションシステム６からの情報を取得する。カーナビゲーションシステム６からは、自車両周辺の地図情報を取得する。この地図情報には、自車両が走行している道路の曲率や道路の幅、道路上に描かれた白線６１や道路標示６０の種別情報が含まれている。また、カーナビゲーションシステム６からの付着物検知処理の要求が含まれている。
【００２２】
続いて、ステップＳ４で、ステップＳ２とステップＳ３で取得した車両情報７とカーナビゲーションシステム６からの情報を基に、付着物検知処理の実行の有無を判断する。
【００２３】
ステップＳ２で取得した車速が所定の速度以上である場合で、かつ、ステップＳ３で得られる白線情報や道路標示６０の種別情報が得られた場合、または、カーナビゲーションシステム６からの付着物検知処理の要求がある場合には、次のステップＳ５へ進み、付着物検知処理を実行する。それ以外の条件の場合は、付着物検知処理は実行せず、ステップＳ２へ戻る。上記の所定の速度としては、異なるタイミングで撮像した複数の画像に基づいてオプティカルフローを算出することができる下限の値とすることができる。ここで、オプティカルフローとは、画像中のある点や図形が次の瞬間にどのような方向へ、どの程度の距離を移動するかを示すベクトルのことであり、後述するように異なるタイミングで撮像された複数の画像の差分によって求めることが出来る。
【００２４】
従って上記の所定の速度としては、理論的には車速が時速０kmのときのみ、付着物検知処理を実行しないこととすればよい。しかしながら、実際には車速センサの誤差を考慮する必要がある。車速センサとして頻繁に用いられる車輪速センサは低速度領域では誤差が大きくなるという特性がある。そこで、所定の速度（例えば、時速５kmあるいは時速１０km等）以下では付着物検知を行わない構成とすることが望ましい。
【００２５】
ステップＳ５では、ステップＳ２とステップＳ３で取得した車両情報７とカーナビゲーションシステム６からの情報を基に、取得された画像における処理対象領域の設定を行う。本実施例の場合、オプティカルフローの大きさは車両運動の大きさによって異なる。例えば同じ時間間隔で画像を撮像した場合、車両の速度が大きい方が、複数の画像上で同一の物体が写る位置は大きくずれることになる。従って、車両運動が小さい場合にはオプティカルフローの大きさは比較的に小さいと予測されるので、撮像領域全体についてオプティカルフローの計測処理を行うことは効率的でない。そこで、本実施例では、車速、舵角、若しくは、ヨーレートまたはこれらの組み合わせに応じてオプティカルフロー計測の処理対象領域を設定する。
【００２６】
処理領域の設定には、オプティカルフロー５０の計測範囲２１と、オプティカルフロー５０の計測点２０の位置と数、さらに、設定された各オプティカルフロー計測点２０における探索範囲４０が含まれている。
【００２７】
ステップＳ２で取得された車速が所定の速度より小さい場合、または車速と舵角が所定の大きさより小さい場合には、図３（ａ）に示すように、０.５ｍ と１ｍと２ｍの範囲にオプティカルフロー５０の計測点２０を設定する。
【００２８】
また、上記の条件の場合、オプティカルフロー５０の各計測点２０における探索領域４０は図４（ａ）に示すように探索領域４０を狭く設定する。本実施例では、計測点２０に対して８近傍を探索領域４０としている。
【００２９】
一方、ステップＳ２で取得された車速が所定の速度より大きい場合または、ヨーレートが所定の大きさより大きい場合、または車速と舵角が所定の大きさより大きい場合には、図３（ｂ）に示すように０.５ｍ と１ｍと２ｍと３ｍの範囲にオプティカルフロー５０の計測点２０を設定する。
【００３０】
また、上記の条件の場合、オプティカルフロー５０の各計測点２０における探索領域４０は図４（ｂ）に示すように探索領域４０を広く設定する。本実施例では、計測点２０に対して２４近傍を探索領域４０としている。
【００３１】
また、処理の負荷を考慮して、オプティカルフロー５０の計測点２０の密度を間引いて、計測点数を少なくする。さらに、設定された各オプティカルフロー５０の計測点２０における探索領域４０を広く設定する。
【００３２】
上記の様に、車速、舵角、ヨーレートの少なくともいずれかに基づいて、オプティカルフロー５０の計測範囲２１や計測点２０の数、探索領域４０を可変とする。これにより、オプティカルフロー５０を精度よく計測することが可能となり、さらに、演算装置５を効率よく使用することができる。
【００３３】
ステップＳ６では、ステップＳ２とステップＳ３で得られた車両情報７とカーナビゲーションシステム６からの情報を基に、オプティカルフロー５０の推定値７０を算出する。
【００３４】
カーナビゲーションシステム６から取得された道路上に描かれた白線６１や、道路標示６０の種別情報と、車両情報７から取得された車速情報や、ヨーレート情報、舵角情報から、計測されるオプティカルフロー５０の大きさと角度を推定する。
【００３５】
カーナビゲーションシステム６から得られる白線６１や道路標示６０の大きさやパターンは既知であるため、上記に示した情報から、各計測点２０におけるオプティカルフロー５０を精度よく推定することが可能となる。
【００３６】
また、車両１０に対する撮像装置１の取り付け角度は実質的に一定であるため、撮像素子上の各画素と、その画素に写っている領域の自車両からの距離、方位は一対一の関係を持っている。従って、車両の速度、舵角若しくはヨーレート又はこれらの組み合わせの情報が得られれば、その速度、舵角、ヨーレートが発生している状況において、あるタイミングにおける撮像画像の各画素に写っているものが、次のタイミングにおける撮像画像の何処に現れるかを推定することが出来る。従って、実際に撮像された画像情報を用いなくとも、車両の速度、舵角、ヨーレート等からマップ参照若しくは座標変換を行うことにより、オプティカルフローを推定できる。
【００３７】
次に、ステップＳ７の画像取得設定では、ステップＳ２とステップＳ３で得られた車両情報７とカーナビゲーションシステム６からの情報を基に、画像の取り込み周期と、シャッター速度、画像輝度のゲインを設定する。
【００３８】
ステップＳ２で取得された車速が所定の速度より大きい場合、または、ヨーレートが所定の大きさより大きい場合、または車速と舵角が所定の大きさより大きい場合には、画像の取り込み周期を短く設定し、シャッター速度を速く設定する。
【００３９】
これにより、車両１０の移動速度が速い場合でも、画像ブレの無い画像が取得でき、精度よくオプティカルフロー５０を計測することができる。
【００４０】
また、撮像された映像の輝度分布に基づいて撮像装置１のシャッター速度とゲインを設定する。夜間やトンネル内においては、周囲が暗いため、道路上に描かれた白線６１や道路標示６０が鮮明に撮像することが困難な場合がある。
【００４１】
この場合は、シャッター速度を遅くするか、ゲインを大きくし、確実に道路上に描かれた白線６１や道路標示６０が撮像できるようにそれぞれを設定する。
【００４２】
続いて、ステップＳ８の画像取り込み処理で、撮像装置１によって撮像された画像（画像ＩＤ：ｎ）をメモリ４に蓄える。
【００４３】
次に、ステップＳ９で、オプティカルフロー５０の計測を行う。オプティカルフロー５０は、所定の周期で取得された画像ＩＤ＝ｎ−１と画像ＩＤ＝ｎとを比較することで計測することができる（ｎは自然数）。
【００４４】
ステップＳ５によって設定された各画素の探索領域４０に対して、画像ＩＤ＝ｎ−１におけるオプティカルフロー５０の計測点２０の濃度値が、画像ＩＤ＝ｎの画像中のどの点に移動しているかを探索する。図５（ａ）と図５（ｂ）に示す例では、ＩＤ＝ｎ−１の画像において中央の画素に写っている特定の特徴（抽出物）が、ＩＤ＝ｎの画像では右上の角に移動している。よって、この二つを比較して、ＩＤ探索された画素の座標からオプティカルフロー５０の大きさ（抽出物の画像上での移動量）と角度（同じく、画像上での移動方向）が算出される。
【００４５】
なお、オプティカルフロー５０の計測手法には、時空間勾配法や照合法などが既に公知の技術として存在するため、本実施例では詳細の説明は省略する。
【００４６】
次に、ステップＳ１０のオプティカルフロー解析処理では、ステップＳ６で推定されたオプティカルフロー７０と、ステップＳ９によって計測されたオプティカルフロー５０の照合を行う。
【００４７】
ステップＳ６によって推定された各計測点２０におけるオプティカルフロー７０の大きさと角度が、ステップＳ９で計測された各計測点２０におけるオプティカルフロー５０とを比較し、計測点２０ごとに相関値を算出する。
【００４８】
ここで、図６に示すように車両が菱形の道路標示６０を通過しているシーンを想定する。
【００４９】
まず、ステップＳ６で推定されるオプティカルフロー７０は図７に示すように、車両１０の挙動と道路上に描かれた道路標示６０や道路形状に依存した大きさと角度となる。
【００５０】
撮像装置１の光学系部品１３に付着物８０が無い場合は、ステップＳ９で計測されるオプティカルフロー５０は、図８（ａ）に示すように推定値とほぼ同じ大きさと角度として計測される。よって、高い相関値が得られる。
【００５１】
一方、撮像装置１の光学系部品１３に付着物がある場合は、ステップＳ９で計測されるオプティカルフロー５０は、図８（ｂ）に示すように、推定値とは異なる計測点が存在する。
【００５２】
付着物８０が無い場合は、道路面のテクスチャ（道路上に描かれた白線６１や道路標示６０など）によってオプティカルフロー５０が計測されるが、水滴や汚れなどの付着物８０によって道路面のテクスチャが正確に計測できない。
【００５３】
このため、ステップＳ２で得られる情報から推定された車両の挙動や、ステップＳ３で得られる道路上に描かれた白線６１や道路標示６０から推定されたオプティカルフロー７０とは、異なった大きさや角度のオプティカルフロー５０が計測される。よって、ステップＳ１０で算出される相関値は低い値となる。
【００５４】
次に、ステップＳ１１では、ステップＳ１０で算出された相関値を基に付着物８０の有無を判定する。つまり、相関値が所定の値以上の場合は、付着物無し（ステップＳ１２）と判定し、相関値が所定の値より低い場合には、付着物あり（ステップＳ１３）と判定する。
【００５５】
ステップＳ１１によって付着物ありと判定された場合、ステップＳ１４で警報信号を出力することになる。
【００５６】
ステップＳ１１における警報信号は、警告灯などの警報装置７に出力することで、ユーザーへ通知される。また、カーナビゲーションシステム６の表示画面へ出力したり、警告音や音声で警告したりしてもよい。
【００５７】
上記の様に自動で撮像装置１の光学系部品１３に付着した水滴や汚れなどの付着物８０を検知することで、撮像装置１を使ったアプリケーション（例えば、白線認識や道路上のマーカ認識や車両検知や障害物検知機能）の性能低下を事前に警告することができる。
【００５８】
自動で撮像装置１の光学部品に付着した水滴や汚れなどの付着物８０を検知することで、ユーザーが定期的に行っていた点検が不要となり、効率的な保守が可能となる。
【００５９】
本実施例では、撮像装置１の設置位置を車両後方部としたが、車両の側面部や前方部に設置しても良い。また、撮像装置１におけるレンズの画角を４５度としたが、目的のアプリケーションに合わせて任意の画角のレンズにおいても、本発明を適用することは可能である。
【００６０】
また、本実施例では、車速情報を車両ネットワークから取得しているが、カーナビゲーションシステム６におけるＧＰＳ情報を用いてもよい。さらに、ヨーレート情報においても、カーナビゲーションシステム６に具備されたヨーレートセンサの情報を用いてもよい。
【００６１】
また、本実施例では、付着物検知処理の実行の有無を車速情報やカーナビゲーションシステム６からの情報を用いているが、車両のトランスミッションの情報を用いてもよい。例えば、トランスミッションが、パーキングの位置にある場合、付着物検知処理は実行しないとしてもよい。
【００６２】
また、本実施例では、付着物検知処理の実行の有無を車速情報やカーナビゲーションシステム６からの情報を用いているが、車両のワイパー動作の情報を用いてもよい。例えば、ワイパーが動作している場合、降雨状態である可能性が高いため、撮像装置１の光学部品に水滴が付着している可能性が高い。よって、ワイパーが動作している場合に、付着物検知処理を実行するとしてもよい。
【００６３】
また、本実施例の車載カメラ用付着物検知装置９の演算装置５は、カーナビゲーションシステム６とは別となっているが、カーナビゲーションシステム６の演算装置５を共通で使用してもよい。この場合、付着物検知処理の実行の有無を、演算装置５の負荷率を基に決定してもよい。例えば、カーナビゲーションシステム６において、地図検索や地図描画時においては、カーナビゲーションシステム６の演算負荷が大きくなる。この場合、付着物検知処理は実行せず、カーナビゲーションシステム６の処理を優先することができる。
【００６４】
また、本実施例では、オプティカルフロー５０の計測点２０を０.５ｍ、１ｍ、２ｍ、３ｍに設定しているが、撮像範囲１１の任意の位置に対して設定することができる。
【００６５】
また、本実施例では、車速に応じて、オプティカルフロー５０の各計測点２０における探索領域４０を８近傍と２４近傍としたが、撮像装置１における撮像素子の画素数やレンズの焦点距離、画像処理に使用する画像サイズに応じて任意に変更することができる。
【００６６】
以上、本発明の基本的な実施形態について説明したが、上記の実施形態に加えて、以下に列挙するような構成を採用することができる。またこれらの構成により、以下に説明する効果が得られる。
〔１〕車両の室外に設置された撮像装置１の光学系部品１３に付着した水滴および汚れなどの付着物８０を検出する装置において、前記撮像装置１によって異なるタイミングで撮像された複数の画像から所定の画素の移動量と移動方向を算出するオプティカルフロー計測手段と、車速情報からオプティカルフロー５０を推定するオプティカルフロー推定手段とを具備する。
【００６７】
前記オプティカルフロー計測手段によって計測された所定の画素の移動量と移動方向と、前記オプティカルフロー推定手段によって推定された所定の画素の移動量と移動方向を比較する。この比較結果を基に撮像装置１の光学系部品１３に付着した水滴および汚れなどの付着物８０を検出する。
【００６８】
これにより、水滴の様に、背景を透過しやすい付着物においても、従来技術に比べて処理時間をかけずに検知することができる。また、水滴のように、動きのある付着物８０でも従来技術に比べて精度良く検知することが可能である。日照センサを使用せずに精度良く付着物８０を検知することが可能となる。
〔２〕前記オプティカルフロー推定手段には、車速情報７以外に、ヨーレートセンサ情報や、舵角センサ情報や、ＧＰＳ情報や、カーナビゲーションシステム６の地図情報を複合的に使用してもよい。
【００６９】
車速情報以外の前記情報を利用することで、車両１０の挙動が推定できるため、前記オプティカルフロー５０の推定精度が向上し、撮像装置１の光学系部品１３に付着した水滴や汚れなどの付着物８０をより確実に検出することができる。また車両１０の動きからオプティカルフロー７０が推定できるため、撮像装置１の光学系部品１３に付着した水滴や汚れなどの付着物８か、道路面上のペイント６０やビルなどの構造物かを精度良く区別することができる。
〔３〕前記車載カメラ用付着物検出装置９において、撮像装置１の光軸方向と画角に応じて、前記オプティカルフロー計測手段におけるオプティカルフロー５０の探索領域４０を狭くする、または、オプティカルフロー計測点２０の座標を変化させてもよい。このことにより、撮像範囲におけるオプティカルフロー５０の計測をムラ無く実施することが可能となる。
〔４〕本実施例において、カーナビゲーションシステム６と通信を行い、前記カーナビゲーションシステム６からの通信情報に基づいて付着物８０の検出を実行し、かつ処理シーケンスを変化させることとしてもよい。具体的には、前記カーナビゲーションシステム６との通信情報によって車載カメラの撮像範囲１１内に道路標示ペイント６０（例えば、横断歩道や減速帯等）が存在するといった情報を受信した場合、前記オプティカルフロー計測手段を実行させる。
【００７０】
これにより、道路標示ペイント６０が無い場合、オプティカルフロー５０の計測処理を行わないため、演算装置５を効率的に動作させることができる。
【００７１】
さらに、道路標示ペイント６０の形状や色は既知であるため、より正確なオプティカルフロー５０の計測が行える。よって、撮像装置１の光学系部品１３に付着した水滴または汚れなどの付着物８０を精度良く検出することができる。
〔５〕前記オプティカルフロー計測手段において、車速センサやＧＰＳ情報から算出される車速が大きい場合、車両１０のヨーレートが大きい場合、舵角が大きい場合等の条件時にはオプティカルフロー５０の探索領域４０と計測範囲２１を狭くすることができる。当該構成により、車両運動の状態に応じてオプティカルフロー５０の計測に必要となる演算量を調節することができ、演算装置５をより効率的に動作させることができる。また、上記の条件においてはオプティカルフロー計測点２０の数を減少させることが望ましい。
なお、車両運動の状態にかかわらず、演算装置５の負荷が高い場合にもオプティカルフロー５０の探索領域４０と計測範囲２１を狭くする構成としてもよい。これにより、演算装置５の処理負荷を低減し、システム全体としての演算効率を上げることができる。
〔６〕車速情報に応じて付着物検出処理の実行頻度を変化させてもよい。これにより、演算負荷のさらなる効率化が可能となる。また、前記付着物検出処理の実行頻度を変化させる手段において、演算装置５の負荷率すなわち付着物検出処理以外の処理により、演算装置５の負荷率が高くなることが予測される場合には、付着物検出処理の実行頻度を低下させることができる。さらに、
〔７〕本実施例において、雨滴の付着する可能性が低いと考えられる場合には付着物検出処理の実行頻度を低くする構成としてもよい。具体的には、演算装置５が車両情報７としてワイパー情報を受信し、ワイパーが動作していないときには付着物検出処理の実行頻度を低くする。これにより円滑なシステムの動作が可能となる。
〔８〕本実施例において、撮像された映像の輝度分布に基づいて撮像素子の露光時間を制御したり、撮像素子に蓄積される電荷に対するゲインを制御したりしてもよい。これにより、夜間でも撮像装置１の光学系部品１３に付着した付着物８０を精度良く検出することができる。
【図面の簡単な説明】
【００７２】
【図１】本発明に関わる車載カメラ用付着物検出装置９の一例を示す図である。
【図２】車載カメラ用付着物検出装置９の設置位置と撮像範囲１１の一例を示す図である。
【図３】車載カメラ用付着物検出装置９におけるオプティカルフロー５０の計測点２０と計測範囲２１の一例を示す図である。
【図４】オプティカルフロー５０の計測点２０における探索範囲４０を示す図である。
【図５】オプティカルフロー５０の計測方法を示す図である。
【図６】車両が菱形の道路標示６０を通過しているシーンを示す図である。
【図７】推定されたオプティカルフロー７０を示す図である。
【図８】付着物がある場合と無い場合において計測されるオプティカルフロー５０を示す図である。
【図９】車載カメラ用付着物検出装置９における動作例を示すフローチャート。
【符号の説明】
【００７３】
１…撮像装置、２…Ａ／Ｄ変換回路、３…画像処理装置、４…メモリ、５…演算装置、６…カーナビゲーションシステム、７…車両情報、８…警報装置、９…車載カメラ用付着物検知装置、１０…車両、１１…撮像範囲、１３…光学系光学部品、２０…オプティカルフロー計測点、２１…オプティカルフロー計測範囲、４０…オプティカルフロー計測点におけるオプティカルフロー探索範囲、５０…計測されたオプティカルフロー、６０…道路標示、６１…白線、７０…推定されたオプティカルフロー、８０…付着物。
【技術分野】
【０００１】
本発明は車載カメラに関し、特に自動車等の車外に取り付けられた撮像装置に付着した水滴や汚れを検知する装置および検知する手法に関する。
【背景技術】
【０００２】
自動車における利便性や安全性を向上させる技術として、車両にカメラを搭載し、カメラで撮像された画像から道路上の白線や道路標示を認識したり、車両後方の障害物を検知や、駐車を支援したりする装置が知られている。
【０００３】
この様な装置に用いられるカメラは車外に取り付けられる場合が想定され、カメラのレンズ上に水滴や汚れなどが付着する可能性がある。レンズに付着した水滴や汚れの度合によっては、前述した利便機能や安全機能を満たすことができなくなることが考えられる。よって、カメラのレンズに付着した水滴や汚れを検知し、ユーザーに対して警告を行ったり、自動的に洗浄したりする手段が必要である。
【０００４】
特許文献１では、車両が移動している時に、異なるタイミングにて二つのカメラにて撮影された映像に含まれる濃度値の差分を複数フレームにわたって積算し、その積算された濃度値の映像に基づいてカメラに付着した汚れを検知している。
【０００５】
特許文献２では、車両の室内に設置された車両エアコン用日射センサによって検出された日射量と、カメラから映像情報に基づいて演算された日射量との差分値を算出して、さらに、算出した差分値を積算し、差分値の算出と積算を（Ｎ−１）回繰り返し、ｎ回目に積算された差分値が所定の差分値を超えると、カメラの光学系部品の汚れが生じていると判断している。
【０００６】
【特許文献１】特開２００３−２５９３５８号公報
【特許文献２】特開２００５−１９８００４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の手法では、異なるタイミングにて二つのカメラにて撮影された映像に含まれる濃度値の差分を複数フレームにわたって積算し、その積算された濃度値の映像に基づいてカメラに付着した汚れを検知している。このため、水滴のように、動きのある付着物の検知は困難である。
【０００８】
また、レンズに付着した汚れによって背景が隠れる場合（泥汚れなど）に対しては有効であるが、水滴の様な背景を透過しやすい付着物の検知には積算時間を増やさないと困難であり、汚れを検知するまでに時間がかかる。
【０００９】
特許文献２に記載の手法では、車両の室内に設置された車両エアコン用日射センサによって検出された日射量と、カメラから映像情報に基づいて演算された日射量との差分値に基づいて汚れを検知している。
【００１０】
日射センサとカメラの取り付け箇所は通常異なるため、日射センサでの日射量とカメラから演算される日射量とに誤差が生じる可能性がある（例えば日射センサ部に影がある場合など）。
【００１１】
また、夜間において、日射センサからは、日射量はほとんど検出されないが、カメラで撮像された映像中に対向車両や先行車両や街灯等の光が入り、日射量として算出される可能性がある。よって、両者のセンサから算出される日射量に誤差が生じ、精度良く汚れを検知できない可能性がある。
【課題を解決するための手段】
【００１２】
上記の課題を解決するため、本発明は、光学系と撮像素子とを備え車両外部を撮像する撮像手段と、前記撮像装置によって異なるタイミングで撮像された複数の画像から所定の抽出物の移動量と移動方向とを算出するオプティカルフロー計測手段と、車速情報に基づいて、前記抽出物の移動量と移動方向とを推定するオプティカルフロー推定手段とを備え、前記オプティカルフロー計測手段によって計測された前記抽出物の移動量及び移動方向と、前記オプティカルフロー推定手段によって推定された前記抽出物の移動量及び移動方向とに基づいて、前記撮像手段の光学系に付着した付着物を検出する。
【発明の効果】
【００１３】
車載カメラの光学系に付着した付着物を、従来技術に比べて短時間で検出することができる。また水滴のように当該光学系に対して相対的に移動する付着物、あるいは背景を透過し易い付着物を検知することが可能となる。さらに、日照センサ等の別のセンサを併用しなくても実用的な付着物検知を行なうことができる。
【発明を実施するための最良の形態】
【００１４】
以下、図を用いて本発明の実施形態を説明する。図１は、本発明に関わる車載カメラ用付着物検出装置９の一例を示したものである。
【００１５】
本実施例において、車載カメラ用付着物検出装置９は、撮像装置１によって取得されたアナログの画像信号をデジタル画像信号に変換するＡ／Ｄ変換回路２と、デジタル画像信号を処理する画像処理装置３、メモリ４、演算装置５とを備えている。
【００１６】
演算装置５は、カーナビゲーションシステム６に接続されており、道路形状などの地図情報を取得することができる。また演算装置は車両ネットワークに接続されており、当該車両ネットワークを介して、車両１０に搭載された他のセンサや制御装置から情報を取得することができる。例えば、車両ネットワークには車速センサが接続されており、車速情報を取得することができる。以下、このような他のセンサや制御装置から得られる情報を車両情報７と称する。また、演算装置５は警報装置８にも接続され、撮像装置１の光学系部品１３に付着物８０がある場合、ユーザーに対して警告をすることができる。なお、当該車載カメラ用付着物検出装置９と撮像装置１とが同一の筐体に納められた車載カメラとして構成してもよく、撮像装置１と通信線を介して接続される別体の制御装置の機能として構成してもよい。
【００１７】
図２に示すように、本実施例では、車両１０の後方部に撮像装置１を設置し、車両後方を撮像する。撮像装置１の画角は４５度とする。撮像範囲１１は自車両のバンパーから無限遠とする。
【００１８】
次に、本発明に関わる車載カメラ用付着物検知装置９の動作を図９のフローチャートに沿って説明する。
【００１９】
まず、ステップＳ１で初期設定を行う。初期設定では、認識に必要となる各パラメータを初期化する。
【００２０】
次に、ステップＳ２で車両情報７を取得する。車両情報７は車両ネットワークから車速情報、ヨーレートセンサの情報、ステアリングの舵角情報が含まれている。
【００２１】
さらに、ステップＳ３ではカーナビゲーションシステム６からの情報を取得する。カーナビゲーションシステム６からは、自車両周辺の地図情報を取得する。この地図情報には、自車両が走行している道路の曲率や道路の幅、道路上に描かれた白線６１や道路標示６０の種別情報が含まれている。また、カーナビゲーションシステム６からの付着物検知処理の要求が含まれている。
【００２２】
続いて、ステップＳ４で、ステップＳ２とステップＳ３で取得した車両情報７とカーナビゲーションシステム６からの情報を基に、付着物検知処理の実行の有無を判断する。
【００２３】
ステップＳ２で取得した車速が所定の速度以上である場合で、かつ、ステップＳ３で得られる白線情報や道路標示６０の種別情報が得られた場合、または、カーナビゲーションシステム６からの付着物検知処理の要求がある場合には、次のステップＳ５へ進み、付着物検知処理を実行する。それ以外の条件の場合は、付着物検知処理は実行せず、ステップＳ２へ戻る。上記の所定の速度としては、異なるタイミングで撮像した複数の画像に基づいてオプティカルフローを算出することができる下限の値とすることができる。ここで、オプティカルフローとは、画像中のある点や図形が次の瞬間にどのような方向へ、どの程度の距離を移動するかを示すベクトルのことであり、後述するように異なるタイミングで撮像された複数の画像の差分によって求めることが出来る。
【００２４】
従って上記の所定の速度としては、理論的には車速が時速０kmのときのみ、付着物検知処理を実行しないこととすればよい。しかしながら、実際には車速センサの誤差を考慮する必要がある。車速センサとして頻繁に用いられる車輪速センサは低速度領域では誤差が大きくなるという特性がある。そこで、所定の速度（例えば、時速５kmあるいは時速１０km等）以下では付着物検知を行わない構成とすることが望ましい。
【００２５】
ステップＳ５では、ステップＳ２とステップＳ３で取得した車両情報７とカーナビゲーションシステム６からの情報を基に、取得された画像における処理対象領域の設定を行う。本実施例の場合、オプティカルフローの大きさは車両運動の大きさによって異なる。例えば同じ時間間隔で画像を撮像した場合、車両の速度が大きい方が、複数の画像上で同一の物体が写る位置は大きくずれることになる。従って、車両運動が小さい場合にはオプティカルフローの大きさは比較的に小さいと予測されるので、撮像領域全体についてオプティカルフローの計測処理を行うことは効率的でない。そこで、本実施例では、車速、舵角、若しくは、ヨーレートまたはこれらの組み合わせに応じてオプティカルフロー計測の処理対象領域を設定する。
【００２６】
処理領域の設定には、オプティカルフロー５０の計測範囲２１と、オプティカルフロー５０の計測点２０の位置と数、さらに、設定された各オプティカルフロー計測点２０における探索範囲４０が含まれている。
【００２７】
ステップＳ２で取得された車速が所定の速度より小さい場合、または車速と舵角が所定の大きさより小さい場合には、図３（ａ）に示すように、０.５ｍ と１ｍと２ｍの範囲にオプティカルフロー５０の計測点２０を設定する。
【００２８】
また、上記の条件の場合、オプティカルフロー５０の各計測点２０における探索領域４０は図４（ａ）に示すように探索領域４０を狭く設定する。本実施例では、計測点２０に対して８近傍を探索領域４０としている。
【００２９】
一方、ステップＳ２で取得された車速が所定の速度より大きい場合または、ヨーレートが所定の大きさより大きい場合、または車速と舵角が所定の大きさより大きい場合には、図３（ｂ）に示すように０.５ｍ と１ｍと２ｍと３ｍの範囲にオプティカルフロー５０の計測点２０を設定する。
【００３０】
また、上記の条件の場合、オプティカルフロー５０の各計測点２０における探索領域４０は図４（ｂ）に示すように探索領域４０を広く設定する。本実施例では、計測点２０に対して２４近傍を探索領域４０としている。
【００３１】
また、処理の負荷を考慮して、オプティカルフロー５０の計測点２０の密度を間引いて、計測点数を少なくする。さらに、設定された各オプティカルフロー５０の計測点２０における探索領域４０を広く設定する。
【００３２】
上記の様に、車速、舵角、ヨーレートの少なくともいずれかに基づいて、オプティカルフロー５０の計測範囲２１や計測点２０の数、探索領域４０を可変とする。これにより、オプティカルフロー５０を精度よく計測することが可能となり、さらに、演算装置５を効率よく使用することができる。
【００３３】
ステップＳ６では、ステップＳ２とステップＳ３で得られた車両情報７とカーナビゲーションシステム６からの情報を基に、オプティカルフロー５０の推定値７０を算出する。
【００３４】
カーナビゲーションシステム６から取得された道路上に描かれた白線６１や、道路標示６０の種別情報と、車両情報７から取得された車速情報や、ヨーレート情報、舵角情報から、計測されるオプティカルフロー５０の大きさと角度を推定する。
【００３５】
カーナビゲーションシステム６から得られる白線６１や道路標示６０の大きさやパターンは既知であるため、上記に示した情報から、各計測点２０におけるオプティカルフロー５０を精度よく推定することが可能となる。
【００３６】
また、車両１０に対する撮像装置１の取り付け角度は実質的に一定であるため、撮像素子上の各画素と、その画素に写っている領域の自車両からの距離、方位は一対一の関係を持っている。従って、車両の速度、舵角若しくはヨーレート又はこれらの組み合わせの情報が得られれば、その速度、舵角、ヨーレートが発生している状況において、あるタイミングにおける撮像画像の各画素に写っているものが、次のタイミングにおける撮像画像の何処に現れるかを推定することが出来る。従って、実際に撮像された画像情報を用いなくとも、車両の速度、舵角、ヨーレート等からマップ参照若しくは座標変換を行うことにより、オプティカルフローを推定できる。
【００３７】
次に、ステップＳ７の画像取得設定では、ステップＳ２とステップＳ３で得られた車両情報７とカーナビゲーションシステム６からの情報を基に、画像の取り込み周期と、シャッター速度、画像輝度のゲインを設定する。
【００３８】
ステップＳ２で取得された車速が所定の速度より大きい場合、または、ヨーレートが所定の大きさより大きい場合、または車速と舵角が所定の大きさより大きい場合には、画像の取り込み周期を短く設定し、シャッター速度を速く設定する。
【００３９】
これにより、車両１０の移動速度が速い場合でも、画像ブレの無い画像が取得でき、精度よくオプティカルフロー５０を計測することができる。
【００４０】
また、撮像された映像の輝度分布に基づいて撮像装置１のシャッター速度とゲインを設定する。夜間やトンネル内においては、周囲が暗いため、道路上に描かれた白線６１や道路標示６０が鮮明に撮像することが困難な場合がある。
【００４１】
この場合は、シャッター速度を遅くするか、ゲインを大きくし、確実に道路上に描かれた白線６１や道路標示６０が撮像できるようにそれぞれを設定する。
【００４２】
続いて、ステップＳ８の画像取り込み処理で、撮像装置１によって撮像された画像（画像ＩＤ：ｎ）をメモリ４に蓄える。
【００４３】
次に、ステップＳ９で、オプティカルフロー５０の計測を行う。オプティカルフロー５０は、所定の周期で取得された画像ＩＤ＝ｎ−１と画像ＩＤ＝ｎとを比較することで計測することができる（ｎは自然数）。
【００４４】
ステップＳ５によって設定された各画素の探索領域４０に対して、画像ＩＤ＝ｎ−１におけるオプティカルフロー５０の計測点２０の濃度値が、画像ＩＤ＝ｎの画像中のどの点に移動しているかを探索する。図５（ａ）と図５（ｂ）に示す例では、ＩＤ＝ｎ−１の画像において中央の画素に写っている特定の特徴（抽出物）が、ＩＤ＝ｎの画像では右上の角に移動している。よって、この二つを比較して、ＩＤ探索された画素の座標からオプティカルフロー５０の大きさ（抽出物の画像上での移動量）と角度（同じく、画像上での移動方向）が算出される。
【００４５】
なお、オプティカルフロー５０の計測手法には、時空間勾配法や照合法などが既に公知の技術として存在するため、本実施例では詳細の説明は省略する。
【００４６】
次に、ステップＳ１０のオプティカルフロー解析処理では、ステップＳ６で推定されたオプティカルフロー７０と、ステップＳ９によって計測されたオプティカルフロー５０の照合を行う。
【００４７】
ステップＳ６によって推定された各計測点２０におけるオプティカルフロー７０の大きさと角度が、ステップＳ９で計測された各計測点２０におけるオプティカルフロー５０とを比較し、計測点２０ごとに相関値を算出する。
【００４８】
ここで、図６に示すように車両が菱形の道路標示６０を通過しているシーンを想定する。
【００４９】
まず、ステップＳ６で推定されるオプティカルフロー７０は図７に示すように、車両１０の挙動と道路上に描かれた道路標示６０や道路形状に依存した大きさと角度となる。
【００５０】
撮像装置１の光学系部品１３に付着物８０が無い場合は、ステップＳ９で計測されるオプティカルフロー５０は、図８（ａ）に示すように推定値とほぼ同じ大きさと角度として計測される。よって、高い相関値が得られる。
【００５１】
一方、撮像装置１の光学系部品１３に付着物がある場合は、ステップＳ９で計測されるオプティカルフロー５０は、図８（ｂ）に示すように、推定値とは異なる計測点が存在する。
【００５２】
付着物８０が無い場合は、道路面のテクスチャ（道路上に描かれた白線６１や道路標示６０など）によってオプティカルフロー５０が計測されるが、水滴や汚れなどの付着物８０によって道路面のテクスチャが正確に計測できない。
【００５３】
このため、ステップＳ２で得られる情報から推定された車両の挙動や、ステップＳ３で得られる道路上に描かれた白線６１や道路標示６０から推定されたオプティカルフロー７０とは、異なった大きさや角度のオプティカルフロー５０が計測される。よって、ステップＳ１０で算出される相関値は低い値となる。
【００５４】
次に、ステップＳ１１では、ステップＳ１０で算出された相関値を基に付着物８０の有無を判定する。つまり、相関値が所定の値以上の場合は、付着物無し（ステップＳ１２）と判定し、相関値が所定の値より低い場合には、付着物あり（ステップＳ１３）と判定する。
【００５５】
ステップＳ１１によって付着物ありと判定された場合、ステップＳ１４で警報信号を出力することになる。
【００５６】
ステップＳ１１における警報信号は、警告灯などの警報装置７に出力することで、ユーザーへ通知される。また、カーナビゲーションシステム６の表示画面へ出力したり、警告音や音声で警告したりしてもよい。
【００５７】
上記の様に自動で撮像装置１の光学系部品１３に付着した水滴や汚れなどの付着物８０を検知することで、撮像装置１を使ったアプリケーション（例えば、白線認識や道路上のマーカ認識や車両検知や障害物検知機能）の性能低下を事前に警告することができる。
【００５８】
自動で撮像装置１の光学部品に付着した水滴や汚れなどの付着物８０を検知することで、ユーザーが定期的に行っていた点検が不要となり、効率的な保守が可能となる。
【００５９】
本実施例では、撮像装置１の設置位置を車両後方部としたが、車両の側面部や前方部に設置しても良い。また、撮像装置１におけるレンズの画角を４５度としたが、目的のアプリケーションに合わせて任意の画角のレンズにおいても、本発明を適用することは可能である。
【００６０】
また、本実施例では、車速情報を車両ネットワークから取得しているが、カーナビゲーションシステム６におけるＧＰＳ情報を用いてもよい。さらに、ヨーレート情報においても、カーナビゲーションシステム６に具備されたヨーレートセンサの情報を用いてもよい。
【００６１】
また、本実施例では、付着物検知処理の実行の有無を車速情報やカーナビゲーションシステム６からの情報を用いているが、車両のトランスミッションの情報を用いてもよい。例えば、トランスミッションが、パーキングの位置にある場合、付着物検知処理は実行しないとしてもよい。
【００６２】
また、本実施例では、付着物検知処理の実行の有無を車速情報やカーナビゲーションシステム６からの情報を用いているが、車両のワイパー動作の情報を用いてもよい。例えば、ワイパーが動作している場合、降雨状態である可能性が高いため、撮像装置１の光学部品に水滴が付着している可能性が高い。よって、ワイパーが動作している場合に、付着物検知処理を実行するとしてもよい。
【００６３】
また、本実施例の車載カメラ用付着物検知装置９の演算装置５は、カーナビゲーションシステム６とは別となっているが、カーナビゲーションシステム６の演算装置５を共通で使用してもよい。この場合、付着物検知処理の実行の有無を、演算装置５の負荷率を基に決定してもよい。例えば、カーナビゲーションシステム６において、地図検索や地図描画時においては、カーナビゲーションシステム６の演算負荷が大きくなる。この場合、付着物検知処理は実行せず、カーナビゲーションシステム６の処理を優先することができる。
【００６４】
また、本実施例では、オプティカルフロー５０の計測点２０を０.５ｍ、１ｍ、２ｍ、３ｍに設定しているが、撮像範囲１１の任意の位置に対して設定することができる。
【００６５】
また、本実施例では、車速に応じて、オプティカルフロー５０の各計測点２０における探索領域４０を８近傍と２４近傍としたが、撮像装置１における撮像素子の画素数やレンズの焦点距離、画像処理に使用する画像サイズに応じて任意に変更することができる。
【００６６】
以上、本発明の基本的な実施形態について説明したが、上記の実施形態に加えて、以下に列挙するような構成を採用することができる。またこれらの構成により、以下に説明する効果が得られる。
〔１〕車両の室外に設置された撮像装置１の光学系部品１３に付着した水滴および汚れなどの付着物８０を検出する装置において、前記撮像装置１によって異なるタイミングで撮像された複数の画像から所定の画素の移動量と移動方向を算出するオプティカルフロー計測手段と、車速情報からオプティカルフロー５０を推定するオプティカルフロー推定手段とを具備する。
【００６７】
前記オプティカルフロー計測手段によって計測された所定の画素の移動量と移動方向と、前記オプティカルフロー推定手段によって推定された所定の画素の移動量と移動方向を比較する。この比較結果を基に撮像装置１の光学系部品１３に付着した水滴および汚れなどの付着物８０を検出する。
【００６８】
これにより、水滴の様に、背景を透過しやすい付着物においても、従来技術に比べて処理時間をかけずに検知することができる。また、水滴のように、動きのある付着物８０でも従来技術に比べて精度良く検知することが可能である。日照センサを使用せずに精度良く付着物８０を検知することが可能となる。
〔２〕前記オプティカルフロー推定手段には、車速情報７以外に、ヨーレートセンサ情報や、舵角センサ情報や、ＧＰＳ情報や、カーナビゲーションシステム６の地図情報を複合的に使用してもよい。
【００６９】
車速情報以外の前記情報を利用することで、車両１０の挙動が推定できるため、前記オプティカルフロー５０の推定精度が向上し、撮像装置１の光学系部品１３に付着した水滴や汚れなどの付着物８０をより確実に検出することができる。また車両１０の動きからオプティカルフロー７０が推定できるため、撮像装置１の光学系部品１３に付着した水滴や汚れなどの付着物８か、道路面上のペイント６０やビルなどの構造物かを精度良く区別することができる。
〔３〕前記車載カメラ用付着物検出装置９において、撮像装置１の光軸方向と画角に応じて、前記オプティカルフロー計測手段におけるオプティカルフロー５０の探索領域４０を狭くする、または、オプティカルフロー計測点２０の座標を変化させてもよい。このことにより、撮像範囲におけるオプティカルフロー５０の計測をムラ無く実施することが可能となる。
〔４〕本実施例において、カーナビゲーションシステム６と通信を行い、前記カーナビゲーションシステム６からの通信情報に基づいて付着物８０の検出を実行し、かつ処理シーケンスを変化させることとしてもよい。具体的には、前記カーナビゲーションシステム６との通信情報によって車載カメラの撮像範囲１１内に道路標示ペイント６０（例えば、横断歩道や減速帯等）が存在するといった情報を受信した場合、前記オプティカルフロー計測手段を実行させる。
【００７０】
これにより、道路標示ペイント６０が無い場合、オプティカルフロー５０の計測処理を行わないため、演算装置５を効率的に動作させることができる。
【００７１】
さらに、道路標示ペイント６０の形状や色は既知であるため、より正確なオプティカルフロー５０の計測が行える。よって、撮像装置１の光学系部品１３に付着した水滴または汚れなどの付着物８０を精度良く検出することができる。
〔５〕前記オプティカルフロー計測手段において、車速センサやＧＰＳ情報から算出される車速が大きい場合、車両１０のヨーレートが大きい場合、舵角が大きい場合等の条件時にはオプティカルフロー５０の探索領域４０と計測範囲２１を狭くすることができる。当該構成により、車両運動の状態に応じてオプティカルフロー５０の計測に必要となる演算量を調節することができ、演算装置５をより効率的に動作させることができる。また、上記の条件においてはオプティカルフロー計測点２０の数を減少させることが望ましい。
なお、車両運動の状態にかかわらず、演算装置５の負荷が高い場合にもオプティカルフロー５０の探索領域４０と計測範囲２１を狭くする構成としてもよい。これにより、演算装置５の処理負荷を低減し、システム全体としての演算効率を上げることができる。
〔６〕車速情報に応じて付着物検出処理の実行頻度を変化させてもよい。これにより、演算負荷のさらなる効率化が可能となる。また、前記付着物検出処理の実行頻度を変化させる手段において、演算装置５の負荷率すなわち付着物検出処理以外の処理により、演算装置５の負荷率が高くなることが予測される場合には、付着物検出処理の実行頻度を低下させることができる。さらに、
〔７〕本実施例において、雨滴の付着する可能性が低いと考えられる場合には付着物検出処理の実行頻度を低くする構成としてもよい。具体的には、演算装置５が車両情報７としてワイパー情報を受信し、ワイパーが動作していないときには付着物検出処理の実行頻度を低くする。これにより円滑なシステムの動作が可能となる。
〔８〕本実施例において、撮像された映像の輝度分布に基づいて撮像素子の露光時間を制御したり、撮像素子に蓄積される電荷に対するゲインを制御したりしてもよい。これにより、夜間でも撮像装置１の光学系部品１３に付着した付着物８０を精度良く検出することができる。
【図面の簡単な説明】
【００７２】
【図１】本発明に関わる車載カメラ用付着物検出装置９の一例を示す図である。
【図２】車載カメラ用付着物検出装置９の設置位置と撮像範囲１１の一例を示す図である。
【図３】車載カメラ用付着物検出装置９におけるオプティカルフロー５０の計測点２０と計測範囲２１の一例を示す図である。
【図４】オプティカルフロー５０の計測点２０における探索範囲４０を示す図である。
【図５】オプティカルフロー５０の計測方法を示す図である。
【図６】車両が菱形の道路標示６０を通過しているシーンを示す図である。
【図７】推定されたオプティカルフロー７０を示す図である。
【図８】付着物がある場合と無い場合において計測されるオプティカルフロー５０を示す図である。
【図９】車載カメラ用付着物検出装置９における動作例を示すフローチャート。
【符号の説明】
【００７３】
１…撮像装置、２…Ａ／Ｄ変換回路、３…画像処理装置、４…メモリ、５…演算装置、６…カーナビゲーションシステム、７…車両情報、８…警報装置、９…車載カメラ用付着物検知装置、１０…車両、１１…撮像範囲、１３…光学系光学部品、２０…オプティカルフロー計測点、２１…オプティカルフロー計測範囲、４０…オプティカルフロー計測点におけるオプティカルフロー探索範囲、５０…計測されたオプティカルフロー、６０…道路標示、６１…白線、７０…推定されたオプティカルフロー、８０…付着物。
【特許請求の範囲】
【請求項１】
光学系と撮像素子と当該撮像素子により撮像された画像を処理する演算装置とを備え、車両外部を撮像する車載カメラにおいて、
前記撮像装置によって異なるタイミングで撮像された複数の画像から所定の抽出物の移動量と移動方向とを算出するオプティカルフロー計測手段と、
車速情報に基づいて、前記抽出物の移動量と移動方向とを推定するオプティカルフロー推定手段とを備え、
前記オプティカルフロー計測手段によって計測された前記抽出物の移動量及び移動方向と、前記オプティカルフロー推定手段によって推定された前記抽出物の移動量及び移動方向とに基づいて、前記撮像手段の光学系に付着した付着物を検出する車載カメラ。
【請求項２】
請求項１において
前記オプティカルフロー推定手段は、前記車速情報に加え、ヨーレートセンサ情報を用いて前記抽出物の移動量と移動方向とを推定することを特徴とする車載カメラ。
【請求項３】
請求項１において、
前記オプティカルフロー推定手段は、前記車速情報に加え、舵角センサ情報を用いて前記抽出物の移動量と移動方向とを推定することを特徴とする車載カメラ。
【請求項４】
請求項１乃至３記載のいずれか一項において、
通信経路を介してＧＰＳによる自車位置及び地図情報を取得し、当該車載カメラの撮像範囲内に所定の目標物があると予測される場合に前記付着物の検出を行なうことを特徴とする車載カメラ。
【請求項５】
請求項４において、
前記所定の目標物として道路上のペイントを用いることを特徴とする車載カメラ。
【請求項６】
請求項１乃至５のいずれか一項において、
カーナビゲーションシステムと通信を行い、前記カーナビゲーションシステムからの通信情報に基づいて付着物の検出を実行し、かつ処理シーケンスを変化させることを特徴とする車載カメラ。
【請求項７】
請求項６において、
前記カーナビゲーションシステムから当該車載カメラの撮像範囲内に道路標示ペイントありの情報を受信した場合、前記付着物の検出を行なうことを特徴とする車載カメラ。
【請求項８】
請求項１乃至７のいずれか一項において、
前記演算装置の負荷が高い場合には、前記オプティカルフロー計測手段におけるオプティカルフローの探索領域を狭くすることを特徴とする車載カメラ。
【請求項９】
請求項１乃至７のいずれか一項において、
前記演算装置の負荷が高い場合には、前記オプティカルフロー計測手段におけるオプティカルフロー計測点数を減少させることを特徴とする車載カメラ。
【請求項１０】
請求項１乃至７のいずれか一項において、
車速情報とヨーレートセンサ情報に基づいて、前記オプティカルフロー計測手段のけるオプティカルフローの探索領域、またはオプティカルフロー計測点数を変化させることを特徴とする車載カメラ。
【請求項１１】
請求項１乃至７のいずれか一項において、
車速情報と舵角センサ情報に基づいて、前記オプティカルフロー計測手段におけるオプティカルフローの探索領域、またはオプティカルフロー計測点数を変化させることを特徴とする車載カメラ。
【請求項１２】
請求項１乃至７のいずれか一項において、
ＧＰＳ情報に基づいて、前記オプティカルフロー計測手段におけるオプティカルフローの探索領域、またはオプティカルフロー計測点数を変化させることを特徴とする車載カメラ。
【請求項１３】
請求項１乃至１２のいずれか一項において、
前記付着物の検出処理を実行する頻度を、車速情報に基づいて変化させることを特徴とする車載カメラ。
【請求項１４】
請求項１乃至１２のいずれか一項において、
前記付着物の検出処理を実行するか否かを、前記車両に具備されたトランスミッションの情報に基づいて決定することを特徴とする車載カメラ。
【請求項１５】
請求項１乃至１４のいずれか一項において、
前記付着物の検出処理を実行するか否かを、前記演算装置の負荷率に基づいて決定することを特徴とする車載カメラ。
【請求項１６】
請求項１乃至１５のいずれか一項において、
前記付着物の検出処理を実行するか否かを、ワイパー情報に基づいて決定することを特徴とする車載カメラ。
【請求項１７】
請求項１乃至１６のいずれか一項において、
前記光学系に付着物があると認識された場合、警報情報を出力することを特徴とする車載カメラ。
【請求項１８】
請求項１乃至１７のいずれか一項において、
撮像された映像の輝度分布に基づいて前記撮像素子の露光時間を制御することを特徴とする車載カメラ。
【請求項１９】
請求項１８に記載の車載カメラにおいて、撮像された映像の輝度分布に基づいて前記撮像素子に蓄積される電荷に対するゲインを制御することを特徴とする車載カメラ。
【請求項１】
光学系と撮像素子と当該撮像素子により撮像された画像を処理する演算装置とを備え、車両外部を撮像する車載カメラにおいて、
前記撮像装置によって異なるタイミングで撮像された複数の画像から所定の抽出物の移動量と移動方向とを算出するオプティカルフロー計測手段と、
車速情報に基づいて、前記抽出物の移動量と移動方向とを推定するオプティカルフロー推定手段とを備え、
前記オプティカルフロー計測手段によって計測された前記抽出物の移動量及び移動方向と、前記オプティカルフロー推定手段によって推定された前記抽出物の移動量及び移動方向とに基づいて、前記撮像手段の光学系に付着した付着物を検出する車載カメラ。
【請求項２】
請求項１において
前記オプティカルフロー推定手段は、前記車速情報に加え、ヨーレートセンサ情報を用いて前記抽出物の移動量と移動方向とを推定することを特徴とする車載カメラ。
【請求項３】
請求項１において、
前記オプティカルフロー推定手段は、前記車速情報に加え、舵角センサ情報を用いて前記抽出物の移動量と移動方向とを推定することを特徴とする車載カメラ。
【請求項４】
請求項１乃至３記載のいずれか一項において、
通信経路を介してＧＰＳによる自車位置及び地図情報を取得し、当該車載カメラの撮像範囲内に所定の目標物があると予測される場合に前記付着物の検出を行なうことを特徴とする車載カメラ。
【請求項５】
請求項４において、
前記所定の目標物として道路上のペイントを用いることを特徴とする車載カメラ。
【請求項６】
請求項１乃至５のいずれか一項において、
カーナビゲーションシステムと通信を行い、前記カーナビゲーションシステムからの通信情報に基づいて付着物の検出を実行し、かつ処理シーケンスを変化させることを特徴とする車載カメラ。
【請求項７】
請求項６において、
前記カーナビゲーションシステムから当該車載カメラの撮像範囲内に道路標示ペイントありの情報を受信した場合、前記付着物の検出を行なうことを特徴とする車載カメラ。
【請求項８】
請求項１乃至７のいずれか一項において、
前記演算装置の負荷が高い場合には、前記オプティカルフロー計測手段におけるオプティカルフローの探索領域を狭くすることを特徴とする車載カメラ。
【請求項９】
請求項１乃至７のいずれか一項において、
前記演算装置の負荷が高い場合には、前記オプティカルフロー計測手段におけるオプティカルフロー計測点数を減少させることを特徴とする車載カメラ。
【請求項１０】
請求項１乃至７のいずれか一項において、
車速情報とヨーレートセンサ情報に基づいて、前記オプティカルフロー計測手段のけるオプティカルフローの探索領域、またはオプティカルフロー計測点数を変化させることを特徴とする車載カメラ。
【請求項１１】
請求項１乃至７のいずれか一項において、
車速情報と舵角センサ情報に基づいて、前記オプティカルフロー計測手段におけるオプティカルフローの探索領域、またはオプティカルフロー計測点数を変化させることを特徴とする車載カメラ。
【請求項１２】
請求項１乃至７のいずれか一項において、
ＧＰＳ情報に基づいて、前記オプティカルフロー計測手段におけるオプティカルフローの探索領域、またはオプティカルフロー計測点数を変化させることを特徴とする車載カメラ。
【請求項１３】
請求項１乃至１２のいずれか一項において、
前記付着物の検出処理を実行する頻度を、車速情報に基づいて変化させることを特徴とする車載カメラ。
【請求項１４】
請求項１乃至１２のいずれか一項において、
前記付着物の検出処理を実行するか否かを、前記車両に具備されたトランスミッションの情報に基づいて決定することを特徴とする車載カメラ。
【請求項１５】
請求項１乃至１４のいずれか一項において、
前記付着物の検出処理を実行するか否かを、前記演算装置の負荷率に基づいて決定することを特徴とする車載カメラ。
【請求項１６】
請求項１乃至１５のいずれか一項において、
前記付着物の検出処理を実行するか否かを、ワイパー情報に基づいて決定することを特徴とする車載カメラ。
【請求項１７】
請求項１乃至１６のいずれか一項において、
前記光学系に付着物があると認識された場合、警報情報を出力することを特徴とする車載カメラ。
【請求項１８】
請求項１乃至１７のいずれか一項において、
撮像された映像の輝度分布に基づいて前記撮像素子の露光時間を制御することを特徴とする車載カメラ。
【請求項１９】
請求項１８に記載の車載カメラにおいて、撮像された映像の輝度分布に基づいて前記撮像素子に蓄積される電荷に対するゲインを制御することを特徴とする車載カメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−６０８７４（Ｐ２００８−６０８７４Ａ）
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願番号】特願２００６−２３４８４８（Ｐ２００６−２３４８４８）
【出願日】平成１８年８月３１日（２００６．８．３１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願日】平成１８年８月３１日（２００６．８．３１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]