車両周囲物体検出装置、および車両周囲物体検出方法
【課題】 カメラで撮像した画像内に存在する物体を検出すること。
【解決手段】 制御装置１０４は、ヘッドライト制御装置１０１を制御して、車両の右側ヘッドライト１０１ａおよび左側ヘッドライト１０１ｂを交互に点灯させ、いずれか一方のヘッドライトが点灯した時点での画像をカメラ１０２で撮像する。そして、右側ヘッドライト１０１ａを点灯したときに撮像した画像、および左側ヘッドライト１０１ｂを点灯させたときに撮像した画像の差分画像を算出し、当該差分画像に対してエッジ抽出処理を行う。抽出したエッジの移動速度、および移動方向を算出し、移動方向、および移動速度が近似するエッジをグルーピングして、各グループを個々の物体として検出する。
【解決手段】 制御装置１０４は、ヘッドライト制御装置１０１を制御して、車両の右側ヘッドライト１０１ａおよび左側ヘッドライト１０１ｂを交互に点灯させ、いずれか一方のヘッドライトが点灯した時点での画像をカメラ１０２で撮像する。そして、右側ヘッドライト１０１ａを点灯したときに撮像した画像、および左側ヘッドライト１０１ｂを点灯させたときに撮像した画像の差分画像を算出し、当該差分画像に対してエッジ抽出処理を行う。抽出したエッジの移動速度、および移動方向を算出し、移動方向、および移動速度が近似するエッジをグルーピングして、各グループを個々の物体として検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラで撮像された画像を処理する車両周囲物体検出装置、および車両周囲物体検出方法に関する。
【背景技術】
【０００２】
次のような異物検出装置が特許文献１によって知られている。この異物検出装置によれば、光軸上に一定間隔のピッチを有する格子を配置した送光装置から光を照射し、その反射光を格子を介して受光した結果を画像処理することによってモアレ像を得て、撮像視野範囲内に存在する異物を検出する。
【０００３】
【特許文献１】特開２００３−２４０５２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置によれば、モアレ像に基づいて撮像視野範囲内に存在する異物を検出するため、撮像視野範囲内のモアレ像ができる範囲内に存在する異物しか検出できず、撮像視野範囲全体をカバーできないという問題が生じていた。
【課題を解決するための手段】
【０００５】
本発明は、車両周囲の監視物体に対して少なくとも異なる第１および第２の方向からそれぞれ光を照射し、照射手段から前記監視物体に前記第１の方向から光を照射した状態で監視物体を撮像するとともに、第２の方向から光を照射した状態で監視物体を撮像し、光を第１の方向から照射したときに撮像手段で撮像された画像データと、光を第２の方向から照射したときに撮像手段で撮像された画像データとの差分を演算して監視物体を検出することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、異なる方向から光を照射したときに撮像したそれぞれの画像の差分画像を演算することによって監視物体を検出するようにした。これによって、監視物体に異なる方向から光を照射することで監視物体の影を強調した画像を得て、それぞれの画像の差分を取ることによって物体の輪郭を強調することができるため、撮像画像内全体から精度高く監視物体を検出することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本実施の形態における車両周囲物体検出装置の一実施の形態の構成を示すブロック図である。車両周囲物体検出装置１００は、車両のヘッドライトの点灯、消灯を制御するヘッドライト制御装置１０１と、車両のオーバーヘッドコンソールに取り付けられ、車両前方を撮像するカメラ１０２と、カメラ１０２で撮像された画像データを格納する画像メモリ１０３と、制御装置１０４と、後述する画素カウンタを格納するカウンタメモリ１０５とを備えている。
【０００８】
ヘッドライト制御装置１０１は、車両の右側ヘッドライト１０１ａおよび左側ヘッドライト１０１ｂを制御して、それぞれ独立に点灯、消灯させることができる。また、カメラ１０２は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有した高速カメラであり、極めて微小な一定時間Δｔ間隔、例えば１ｍｓ間隔で連続的に車両前方を撮像し、各フレームごとに画像メモリ１０３に出力する。
【０００９】
制御装置１０４は、後述するように、ヘッドライト制御装置１０１、およびカメラ１０２を制御して、右側ヘッドライト１０１ａ、左側ヘッドライト１０１ｂのそれぞれの点灯タイミングと、カメラ１０２による撮像タイミングとを同期させることによって、それぞれのヘッドライトを点灯させた時点における車両前方の画像を得る。そして、このときの車両前方を撮像した画像を画像処理して、自車両前方に存在する物体を検出することができる。
【００１０】
具体的には次のように処理を行う。まず、制御装置１０４は、左右のヘッドライトの点灯タイミング、およびカメラ１０２の撮像タイミングが図２に示すように制御する。すなわち、左右いずれのヘッドライトも消灯している状態において、図２（ａ）に示す左点灯タイミングで左側ヘッドライト１０１ｂを点灯して車両の左側から光（可視光）を照射（投光）する。そして、左側ヘッドライト１０１ｂの点灯と同時にカメラ１０２による撮像（露光）を行う。これによって、図２（ｂ）に示すように、左側から光を照射した状態における先行車両２ｂを含む前方画像を撮像することができる。
【００１１】
その後、左側ヘッドライト１０１ｂを消灯し、図２（ａ）に示す右点灯タイミングで右側ヘッドライト１０１ａを点灯して車両の右側から光を照射する。そして、右側ヘッドライト１０１ａの点灯と同時にカメラ１０２による撮像を行う。これによって、図２（ｃ）に示すように、右側から光を照射した状態における先行車両２ｂを含む前方画像を撮像することができる。このように、左側ヘッドライト１０１ｂと右側ヘッドライト１０１ａを交互に点灯させながら、その点灯タイミングと同時にカメラ１０２による前方画像の撮像を繰り返す。
【００１２】
なお、本実施の形態における左右各ヘッドライトの点灯タイミング、およびカメラ１０２による撮像タイミングは、あらかじめその点灯、および撮像タイミングの時間間隔が設定されており、その設定値に基づいて制御される。また、左右各ヘッドライトの点灯時間は、人の目のフリッカー値以下とする。これによって、周囲の人がヘッドライトの点灯および消灯によるちらつきを感じさせないようにすることができる。また、運転者もヘッドライトの点灯および消灯を感じることがないため、違和感無く運転を継続することができる。
【００１３】
図３は、左右のヘッドライトをそれぞれ点灯させた状態で撮像された前方画像の具体例を示す図である。図３（ａ）は、左側ヘッドライト１０１ｂを点灯させて前方を照射した状態で撮像したときの前方画像（左点灯時の前方画像）であり、左側ヘッドライト１０１ｂを点灯させたことによって先行車両２ｂの右側に影３ａができている。一方、図３（ｂ）は、右側ヘッドライト１０１ａを点灯させて前方を照射した状態で撮像したときの前方画像（右点灯時の前方画像）であり、右側ヘッドライト１０１ａを点灯させたことによって先行車両２ｂの左側に影３ｂができている。このように、異なる方向（角度）から前方に存在する物体、例えば先行車両２ｂに対して横方向に光を照射することによって、先行車両２ｂの輪郭部分に影を発生させることができ、先行車両２ｂの縦方向の輪郭を強調することができる。
【００１４】
そして、これらの左点灯時の前方画像、および右点灯時の前方画像を画像メモリ１０３から読み込んで、左点灯時の前方画像と右点灯時の前方画像との差分画像を算出する。このように、異なる方向から光を照射して得た２枚の画像の差分を算出することによって、図３（ｃ）に示すように、先行車両２ｂの輪郭の濃度勾配を強調させることができる。すなわち、先行車両２ｂと背景の境界線のＳ／Ｎを向上させることができる。
【００１５】
この差分画像に対して、例えばＳｏｂｅｌフィルタなどのエッジ抽出フィルタを適用して２値化することによって、画像内に存在する物体のエッジを抽出する。これによって、濃度勾配が大きい箇所、すなわち物体の輪郭のみを抽出することができる。なお、図４は、図３（ｃ）に示した差分画像に対してエッジ抽出処理を行って、先行車両２ｂのエッジを抽出した例を示す図である。このように、差分画像からエッジを抽出することにより、光を照射することによって発生した濃度勾配が小さなグラデーションを排除し、かつ比較的濃度勾配が大きくなる物体と背景の境界線のみを抽出することができる。なお、差分画像内に発生するグラデーションとしては、例えば、光を照射することによって路面が照らされたときに生じる連続的な濃淡が挙げられる。
【００１６】
エッジ抽出処理で差分画像から抽出した各エッジに対して、次に説明するように画像処理を行うことによって、各エッジの画像内における移動速度を算出する。まず、画像内のエッジに対して細線化処理を行ってエッジの中心を正確に求める。そして、細線化されたエッジを、エッジ幅が一定の幅、例えば３画素分の幅になるように膨張させる。このように抽出したエッジを正規化することによって、各エッジが均一な幅を持ったエッジ画像を得ることができる。
【００１７】
図５は、上述した抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す図である。すなわち、図５（ａ）に示す２値化して得たエッジに対して、細線化処理を行って図５（ｂ）に示す細線化後のエッジを得る。そして、細線化したエッジを膨張させ、図５（ｃ）に示すようにエッジに一定の幅を持たせる。
【００１８】
その後、カウンタメモリ１０５に保存された画素カウンタの内、エッジ画像内にエッジが存在している画素に対応した画素カウンタのカウント値を更新する。画素カウンタとは、エッジ画像の各画素に対応したカウンタであり、エッジが存在する画素に対応する画素カウンタのカウント値に１を加算し、エッジが存在しない画素に対応する画素カウンタのカウント値は０で初期化する。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像される毎フレームごとに行うことで、エッジ存在時間が長い画素はカウント値が大きく、エッジ存在時間が短い画素はカウント値が小さくなる。
【００１９】
そして、エッジ画像において、横方向に隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して、当該エッジが１画素移動するのに要する時間を得る。そして、この値の逆数を得ることで、各画素における画像上の横方向の速度とそのときの速度方向を算出することができる。この各画素における画像内の横方向の速度、および速度方向は、各画素に含まれるエッジの横方向の移動速度、および移動方向に相当する。
【００２０】
以上の処理によって算出したエッジの移動速度に基づいて、エッジ画像内に存在する個々の物体を識別する。すなわち、エッジ画像内で近似する移動速度、および移動方向を有する物体をグルーピングし、そのグルーピングされたエッジを含む領域をエッジ画像上に設定する。そして設定したそれぞれの領域内には、同一の物体から抽出されたエッジが含むものと考えられるため、これらの領域を個々の物体を含む対象領域であると特定する。これによって、例えば、図６に示すように、エッジ画像内における先行車両２ｂを含む対象領域６ｂを特定することができ、車両前方に存在する監視物体を検出することができる。
【００２１】
図７は、本実施の形態における車両周囲物体検出装置１００の処理を示すフローチャートである。図７に示す処理は、車両のイグニションスイッチがオンされることによって、車両周囲物体検出装置１００の電源がオンされると起動するプログラムとして制御装置１０４により実行される。ステップＳ１０において、ヘッドライト制御装置１０１を制御して、図２（ａ）に示した左点灯タイミングで左側ヘッドライト１０１ｂを点灯し、車両の左側から光を照射する。その後、ステップＳ２０へ進み、カメラ１０２を制御して左側ヘッドライト１０１ｂを点灯した状態における前方画像を撮像する。その後、ステップＳ３０へ進む。
【００２２】
ステップＳ３０では、ヘッドライト制御装置１０１を制御して、図２（ａ）に示した右点灯タイミングで右側ヘッドライト１０１ａを点灯し、車両の右側から光を照射する。その後、ステップＳ４０へ進み、カメラ１０２を制御して右側ヘッドライト１０１ａを点灯した状態における前方画像を撮像する。その後、ステップＳ５０へ進む。ステップＳ５０では、上述したように、左点灯時の前方画像と右点灯時の前方画像との差分画像を算出して、ステップＳ６０へ進む。
【００２３】
ステップＳ６０では、算出した差分画像に対してエッジ抽出処理を行い、差分画像の中から濃度勾配が大きい箇所、すなわち物体の輪郭を抽出する。その後、ステップＳ７０へ進み、図５により上述したように、抽出したエッジを細線化、および膨張化させてエッジを正規化し、各エッジに一定の幅を持たせて、ステップＳ８０へ進む。ステップＳ８０では、上述したように、エッジ画像内にエッジが存在している画素に対応した画素カウンタのカウント値をフレームごとに更新していく。そして、隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して当該エッジが１画素移動するのに要する時間を得て、さらにこの値の逆数を得ることで各エッジの移動速度を算出する。その後、ステップＳ９０へ進む。
【００２４】
ステップＳ９０では、エッジ画像内で近似する移動速度、および移動方向を有する物体をグルーピングし、そのグルーピングされたエッジを含む領域をエッジ画像上に設定する。そして、設定された各領域を個々の監視物体を含む対象領域であると特定する。その後、ステップＳ１００へ進み、自車両のイグニションスイッチがオフされたか否かを判断する。イグニションスイッチがオフされないと判断した場合には、ステップＳ１０へ戻って処理を繰り返す。これに対して、イグニションスイッチがオフされたと判断した場合には、処理を終了する。
【００２５】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）左側ヘッドライト１０１ｂと右側ヘッドライト１０１ａとを交互に点灯させながら、それぞれの点灯タイミングで画像を撮像し、このとき得た右点灯時の前方画像と右点灯時の前方画像との差分画像を算出するようにした。これによって、車両の前方に存在する物体に左右の異なる角度から光を照射して、物体の左右方向の影を強調した画像を得ることができ、それぞれの画像の差分を取ることによって、物体の縦方向の輪郭を強調することができる。
（２）算出した差分画像に対してエッジ抽出処理を行ってエッジ画像を得るようにした。これによってヘッドライトで光を照射することによって画像内に発生した濃度勾配が小さなグラデーションを排除し、かつ比較的濃度勾配が大きくなる物体と背景の境界線のみを抽出することができる。
（３）エッジ画像内における各エッジの移動速度算出し、近似する移動速度、および移動方向を有するエッジを含む画像上の領域を物体が存在する対象領域として特定するようにした。これによって、同一物体から検出されたエッジは、近似する移動速度、および移動方向を有することを加味して、画像内で個々の物体が存在する範囲を精度高く特定することができる。
【００２６】
―変形例―
なお、上述した実施の形態の車両周囲物体検出装置は、以下のように変形することもできる。
（１）上述した実施の形態では、左右のヘッドライトの点灯タイミング、およびカメラ１０２の撮像タイミングを図２に示すように制御する例について説明した。すなわち、左右いずれのヘッドライトも消灯している状態から、左側ヘッドライト１０１ｂを点灯し消灯した後、右側ヘッドライト１０１ａを点灯し消灯するようにした。しかしこれに限定されず、図８に示すタイミングとしてもよい。
【００２７】
すなわち、左右いずれのヘッドライトも点灯している状態から、右側ヘッドライト１０１ａのみを消灯することによって、左側ヘッドライト１０１ｂのみが点灯している状態として、そのときの前方画像を撮像し、次に、右側ヘッドライト１０１ａを点灯させて、左側ヘッドライト１０１ｂのみを消灯することによって、右側ヘッドライト１０１ａのみが点灯している状態として、そのときの前方画像を撮像するようにしてもよい。これによって、例えば夜間など、ヘッドライトを常時点灯しておく必要がある場合でも、上述した実施の形態と同様の効果を得ることができる。
【００２８】
（２）また、上述した実施の形態では、左右のヘッドライトのいずれか一方を消灯した状態で前方に存在する物体に影を発生させて、そのときの画像をカメラ１０２で撮像する例について説明したが、左右のヘッドライトがいずれも点灯している状態で、片方を他方よりも暗くする（光量を落とす）ことによって、前方に存在する物体に影を発生させてもよい。
【００２９】
（３）上述した実施の形態では、光を照射する装置として車両の左右のヘッドライトを使用する例について説明したが、これに限定されず、例えばヘッドライトとは別に車両に補助灯などの照明装置を設置し、この照明装置の点灯タイミングを制御するようにしてもよい。なお、照明装置は必ずしも車両の左右前方に設置して、左右から光を照射する必要はなく、それぞれの照明装置から光を照射した場合に、車両前方に存在する物体の縦方向の輪郭を示す影、すなわち物体の輪郭を強調するような影が発生するように設置すればよい。
【００３０】
（４）また、ヘッドライトに代えて補助灯などの照明装置を使用する場合には、その照明装置の数は２つに限定されず３つ以上でもよい。照明装置を３つ以上設置した場合には、それぞれの照明装置を順番に点灯させて前方画像を撮像し、それぞれ異なる２つの照明装置を点灯させたときに撮像した前方画像の全ての組み合わせで差分画像を算出する。そして、算出した複数の差分画像の中で、最も物体の輪郭の濃度勾配が強い差分画像を抽出し、抽出した差分画像に基づいて上述したエッジ抽出処理を行うようにする。
【００３１】
（５）上述した実施の形態では、左右のヘッドライトを交互に点灯しながら、カメラ１０２で車両前方を撮像し、車両前方に存在する物体を検出する例について説明したが、これに限定されず、車両後方を照射する複数の照明装置を備え、カメラ１０２で車両後方を撮像することによって、車両後方に存在する物体を検出するようにしてもよい。また、車両の前方、および後方のそれぞれに照明装置とカメラを設け、車両の前方、および後方に存在する物体をそれぞれ検出するようにしてもよい。
【００３２】
（６）上述した実施の形態では、ヘッドライトから光を照射する順番として、左側ヘッドライト１０１ｂ→右側ヘッドライト１０１ａの順番で交互に点灯させる例について説明した。しかしこれに限定されず、左右のいずれを先に点灯してもよい。
【００３３】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【００３４】
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。右側ヘッドライト１０１ａ、および左側ヘッドライト１０１ｂは照射手段に、撮像手段はカメラ１０２に、制御装置１０４は検出手段に相当する。なお、以上の説明はあくまでも一例であり、発明を解釈する際、上記の実施形態の記載事項と特許請求の範囲の記載事項の対応関係に何ら限定も拘束もされない。
【図面の簡単な説明】
【００３５】
【図１】本実施の形態における車両周囲物体検出装置の一実施の形態の構成を示すブロック図である。
【図２】ヘッドライトの点灯タイミング、およびカメラによる撮像タイミングを示す図である。
【図３】左右のヘッドライトをそれぞれ点灯させた状態で撮像された前方画像の具体例を示す図である。
【図４】差分画像に対してエッジ抽出処理を行って、先行車両のエッジを抽出した例を示す図である。
【図５】抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す図である。
【図６】エッジ画像内において対象領域を特定した場合の具体例を示す図である。
【図７】本実施の形態における車両周囲物体検出装置１００の処理を示すフローチャート図である。
【図８】ヘッドライトの点灯タイミング、およびカメラによる撮像タイミングの変形例を示す図である。
【符号の説明】
【００３６】
１００ 車両周囲物体検出装置
１０１ ヘッドライト制御装置
１０１ａ 右側ヘッドライト
１０１ｂ 左側ヘッドライト
１０２ カメラ
１０３ 画像メモリ
１０４ 制御装置
１０５ カウンタメモリ
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラで撮像された画像を処理する車両周囲物体検出装置、および車両周囲物体検出方法に関する。
【背景技術】
【０００２】
次のような異物検出装置が特許文献１によって知られている。この異物検出装置によれば、光軸上に一定間隔のピッチを有する格子を配置した送光装置から光を照射し、その反射光を格子を介して受光した結果を画像処理することによってモアレ像を得て、撮像視野範囲内に存在する異物を検出する。
【０００３】
【特許文献１】特開２００３−２４０５２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置によれば、モアレ像に基づいて撮像視野範囲内に存在する異物を検出するため、撮像視野範囲内のモアレ像ができる範囲内に存在する異物しか検出できず、撮像視野範囲全体をカバーできないという問題が生じていた。
【課題を解決するための手段】
【０００５】
本発明は、車両周囲の監視物体に対して少なくとも異なる第１および第２の方向からそれぞれ光を照射し、照射手段から前記監視物体に前記第１の方向から光を照射した状態で監視物体を撮像するとともに、第２の方向から光を照射した状態で監視物体を撮像し、光を第１の方向から照射したときに撮像手段で撮像された画像データと、光を第２の方向から照射したときに撮像手段で撮像された画像データとの差分を演算して監視物体を検出することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、異なる方向から光を照射したときに撮像したそれぞれの画像の差分画像を演算することによって監視物体を検出するようにした。これによって、監視物体に異なる方向から光を照射することで監視物体の影を強調した画像を得て、それぞれの画像の差分を取ることによって物体の輪郭を強調することができるため、撮像画像内全体から精度高く監視物体を検出することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本実施の形態における車両周囲物体検出装置の一実施の形態の構成を示すブロック図である。車両周囲物体検出装置１００は、車両のヘッドライトの点灯、消灯を制御するヘッドライト制御装置１０１と、車両のオーバーヘッドコンソールに取り付けられ、車両前方を撮像するカメラ１０２と、カメラ１０２で撮像された画像データを格納する画像メモリ１０３と、制御装置１０４と、後述する画素カウンタを格納するカウンタメモリ１０５とを備えている。
【０００８】
ヘッドライト制御装置１０１は、車両の右側ヘッドライト１０１ａおよび左側ヘッドライト１０１ｂを制御して、それぞれ独立に点灯、消灯させることができる。また、カメラ１０２は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有した高速カメラであり、極めて微小な一定時間Δｔ間隔、例えば１ｍｓ間隔で連続的に車両前方を撮像し、各フレームごとに画像メモリ１０３に出力する。
【０００９】
制御装置１０４は、後述するように、ヘッドライト制御装置１０１、およびカメラ１０２を制御して、右側ヘッドライト１０１ａ、左側ヘッドライト１０１ｂのそれぞれの点灯タイミングと、カメラ１０２による撮像タイミングとを同期させることによって、それぞれのヘッドライトを点灯させた時点における車両前方の画像を得る。そして、このときの車両前方を撮像した画像を画像処理して、自車両前方に存在する物体を検出することができる。
【００１０】
具体的には次のように処理を行う。まず、制御装置１０４は、左右のヘッドライトの点灯タイミング、およびカメラ１０２の撮像タイミングが図２に示すように制御する。すなわち、左右いずれのヘッドライトも消灯している状態において、図２（ａ）に示す左点灯タイミングで左側ヘッドライト１０１ｂを点灯して車両の左側から光（可視光）を照射（投光）する。そして、左側ヘッドライト１０１ｂの点灯と同時にカメラ１０２による撮像（露光）を行う。これによって、図２（ｂ）に示すように、左側から光を照射した状態における先行車両２ｂを含む前方画像を撮像することができる。
【００１１】
その後、左側ヘッドライト１０１ｂを消灯し、図２（ａ）に示す右点灯タイミングで右側ヘッドライト１０１ａを点灯して車両の右側から光を照射する。そして、右側ヘッドライト１０１ａの点灯と同時にカメラ１０２による撮像を行う。これによって、図２（ｃ）に示すように、右側から光を照射した状態における先行車両２ｂを含む前方画像を撮像することができる。このように、左側ヘッドライト１０１ｂと右側ヘッドライト１０１ａを交互に点灯させながら、その点灯タイミングと同時にカメラ１０２による前方画像の撮像を繰り返す。
【００１２】
なお、本実施の形態における左右各ヘッドライトの点灯タイミング、およびカメラ１０２による撮像タイミングは、あらかじめその点灯、および撮像タイミングの時間間隔が設定されており、その設定値に基づいて制御される。また、左右各ヘッドライトの点灯時間は、人の目のフリッカー値以下とする。これによって、周囲の人がヘッドライトの点灯および消灯によるちらつきを感じさせないようにすることができる。また、運転者もヘッドライトの点灯および消灯を感じることがないため、違和感無く運転を継続することができる。
【００１３】
図３は、左右のヘッドライトをそれぞれ点灯させた状態で撮像された前方画像の具体例を示す図である。図３（ａ）は、左側ヘッドライト１０１ｂを点灯させて前方を照射した状態で撮像したときの前方画像（左点灯時の前方画像）であり、左側ヘッドライト１０１ｂを点灯させたことによって先行車両２ｂの右側に影３ａができている。一方、図３（ｂ）は、右側ヘッドライト１０１ａを点灯させて前方を照射した状態で撮像したときの前方画像（右点灯時の前方画像）であり、右側ヘッドライト１０１ａを点灯させたことによって先行車両２ｂの左側に影３ｂができている。このように、異なる方向（角度）から前方に存在する物体、例えば先行車両２ｂに対して横方向に光を照射することによって、先行車両２ｂの輪郭部分に影を発生させることができ、先行車両２ｂの縦方向の輪郭を強調することができる。
【００１４】
そして、これらの左点灯時の前方画像、および右点灯時の前方画像を画像メモリ１０３から読み込んで、左点灯時の前方画像と右点灯時の前方画像との差分画像を算出する。このように、異なる方向から光を照射して得た２枚の画像の差分を算出することによって、図３（ｃ）に示すように、先行車両２ｂの輪郭の濃度勾配を強調させることができる。すなわち、先行車両２ｂと背景の境界線のＳ／Ｎを向上させることができる。
【００１５】
この差分画像に対して、例えばＳｏｂｅｌフィルタなどのエッジ抽出フィルタを適用して２値化することによって、画像内に存在する物体のエッジを抽出する。これによって、濃度勾配が大きい箇所、すなわち物体の輪郭のみを抽出することができる。なお、図４は、図３（ｃ）に示した差分画像に対してエッジ抽出処理を行って、先行車両２ｂのエッジを抽出した例を示す図である。このように、差分画像からエッジを抽出することにより、光を照射することによって発生した濃度勾配が小さなグラデーションを排除し、かつ比較的濃度勾配が大きくなる物体と背景の境界線のみを抽出することができる。なお、差分画像内に発生するグラデーションとしては、例えば、光を照射することによって路面が照らされたときに生じる連続的な濃淡が挙げられる。
【００１６】
エッジ抽出処理で差分画像から抽出した各エッジに対して、次に説明するように画像処理を行うことによって、各エッジの画像内における移動速度を算出する。まず、画像内のエッジに対して細線化処理を行ってエッジの中心を正確に求める。そして、細線化されたエッジを、エッジ幅が一定の幅、例えば３画素分の幅になるように膨張させる。このように抽出したエッジを正規化することによって、各エッジが均一な幅を持ったエッジ画像を得ることができる。
【００１７】
図５は、上述した抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す図である。すなわち、図５（ａ）に示す２値化して得たエッジに対して、細線化処理を行って図５（ｂ）に示す細線化後のエッジを得る。そして、細線化したエッジを膨張させ、図５（ｃ）に示すようにエッジに一定の幅を持たせる。
【００１８】
その後、カウンタメモリ１０５に保存された画素カウンタの内、エッジ画像内にエッジが存在している画素に対応した画素カウンタのカウント値を更新する。画素カウンタとは、エッジ画像の各画素に対応したカウンタであり、エッジが存在する画素に対応する画素カウンタのカウント値に１を加算し、エッジが存在しない画素に対応する画素カウンタのカウント値は０で初期化する。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像される毎フレームごとに行うことで、エッジ存在時間が長い画素はカウント値が大きく、エッジ存在時間が短い画素はカウント値が小さくなる。
【００１９】
そして、エッジ画像において、横方向に隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して、当該エッジが１画素移動するのに要する時間を得る。そして、この値の逆数を得ることで、各画素における画像上の横方向の速度とそのときの速度方向を算出することができる。この各画素における画像内の横方向の速度、および速度方向は、各画素に含まれるエッジの横方向の移動速度、および移動方向に相当する。
【００２０】
以上の処理によって算出したエッジの移動速度に基づいて、エッジ画像内に存在する個々の物体を識別する。すなわち、エッジ画像内で近似する移動速度、および移動方向を有する物体をグルーピングし、そのグルーピングされたエッジを含む領域をエッジ画像上に設定する。そして設定したそれぞれの領域内には、同一の物体から抽出されたエッジが含むものと考えられるため、これらの領域を個々の物体を含む対象領域であると特定する。これによって、例えば、図６に示すように、エッジ画像内における先行車両２ｂを含む対象領域６ｂを特定することができ、車両前方に存在する監視物体を検出することができる。
【００２１】
図７は、本実施の形態における車両周囲物体検出装置１００の処理を示すフローチャートである。図７に示す処理は、車両のイグニションスイッチがオンされることによって、車両周囲物体検出装置１００の電源がオンされると起動するプログラムとして制御装置１０４により実行される。ステップＳ１０において、ヘッドライト制御装置１０１を制御して、図２（ａ）に示した左点灯タイミングで左側ヘッドライト１０１ｂを点灯し、車両の左側から光を照射する。その後、ステップＳ２０へ進み、カメラ１０２を制御して左側ヘッドライト１０１ｂを点灯した状態における前方画像を撮像する。その後、ステップＳ３０へ進む。
【００２２】
ステップＳ３０では、ヘッドライト制御装置１０１を制御して、図２（ａ）に示した右点灯タイミングで右側ヘッドライト１０１ａを点灯し、車両の右側から光を照射する。その後、ステップＳ４０へ進み、カメラ１０２を制御して右側ヘッドライト１０１ａを点灯した状態における前方画像を撮像する。その後、ステップＳ５０へ進む。ステップＳ５０では、上述したように、左点灯時の前方画像と右点灯時の前方画像との差分画像を算出して、ステップＳ６０へ進む。
【００２３】
ステップＳ６０では、算出した差分画像に対してエッジ抽出処理を行い、差分画像の中から濃度勾配が大きい箇所、すなわち物体の輪郭を抽出する。その後、ステップＳ７０へ進み、図５により上述したように、抽出したエッジを細線化、および膨張化させてエッジを正規化し、各エッジに一定の幅を持たせて、ステップＳ８０へ進む。ステップＳ８０では、上述したように、エッジ画像内にエッジが存在している画素に対応した画素カウンタのカウント値をフレームごとに更新していく。そして、隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して当該エッジが１画素移動するのに要する時間を得て、さらにこの値の逆数を得ることで各エッジの移動速度を算出する。その後、ステップＳ９０へ進む。
【００２４】
ステップＳ９０では、エッジ画像内で近似する移動速度、および移動方向を有する物体をグルーピングし、そのグルーピングされたエッジを含む領域をエッジ画像上に設定する。そして、設定された各領域を個々の監視物体を含む対象領域であると特定する。その後、ステップＳ１００へ進み、自車両のイグニションスイッチがオフされたか否かを判断する。イグニションスイッチがオフされないと判断した場合には、ステップＳ１０へ戻って処理を繰り返す。これに対して、イグニションスイッチがオフされたと判断した場合には、処理を終了する。
【００２５】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）左側ヘッドライト１０１ｂと右側ヘッドライト１０１ａとを交互に点灯させながら、それぞれの点灯タイミングで画像を撮像し、このとき得た右点灯時の前方画像と右点灯時の前方画像との差分画像を算出するようにした。これによって、車両の前方に存在する物体に左右の異なる角度から光を照射して、物体の左右方向の影を強調した画像を得ることができ、それぞれの画像の差分を取ることによって、物体の縦方向の輪郭を強調することができる。
（２）算出した差分画像に対してエッジ抽出処理を行ってエッジ画像を得るようにした。これによってヘッドライトで光を照射することによって画像内に発生した濃度勾配が小さなグラデーションを排除し、かつ比較的濃度勾配が大きくなる物体と背景の境界線のみを抽出することができる。
（３）エッジ画像内における各エッジの移動速度算出し、近似する移動速度、および移動方向を有するエッジを含む画像上の領域を物体が存在する対象領域として特定するようにした。これによって、同一物体から検出されたエッジは、近似する移動速度、および移動方向を有することを加味して、画像内で個々の物体が存在する範囲を精度高く特定することができる。
【００２６】
―変形例―
なお、上述した実施の形態の車両周囲物体検出装置は、以下のように変形することもできる。
（１）上述した実施の形態では、左右のヘッドライトの点灯タイミング、およびカメラ１０２の撮像タイミングを図２に示すように制御する例について説明した。すなわち、左右いずれのヘッドライトも消灯している状態から、左側ヘッドライト１０１ｂを点灯し消灯した後、右側ヘッドライト１０１ａを点灯し消灯するようにした。しかしこれに限定されず、図８に示すタイミングとしてもよい。
【００２７】
すなわち、左右いずれのヘッドライトも点灯している状態から、右側ヘッドライト１０１ａのみを消灯することによって、左側ヘッドライト１０１ｂのみが点灯している状態として、そのときの前方画像を撮像し、次に、右側ヘッドライト１０１ａを点灯させて、左側ヘッドライト１０１ｂのみを消灯することによって、右側ヘッドライト１０１ａのみが点灯している状態として、そのときの前方画像を撮像するようにしてもよい。これによって、例えば夜間など、ヘッドライトを常時点灯しておく必要がある場合でも、上述した実施の形態と同様の効果を得ることができる。
【００２８】
（２）また、上述した実施の形態では、左右のヘッドライトのいずれか一方を消灯した状態で前方に存在する物体に影を発生させて、そのときの画像をカメラ１０２で撮像する例について説明したが、左右のヘッドライトがいずれも点灯している状態で、片方を他方よりも暗くする（光量を落とす）ことによって、前方に存在する物体に影を発生させてもよい。
【００２９】
（３）上述した実施の形態では、光を照射する装置として車両の左右のヘッドライトを使用する例について説明したが、これに限定されず、例えばヘッドライトとは別に車両に補助灯などの照明装置を設置し、この照明装置の点灯タイミングを制御するようにしてもよい。なお、照明装置は必ずしも車両の左右前方に設置して、左右から光を照射する必要はなく、それぞれの照明装置から光を照射した場合に、車両前方に存在する物体の縦方向の輪郭を示す影、すなわち物体の輪郭を強調するような影が発生するように設置すればよい。
【００３０】
（４）また、ヘッドライトに代えて補助灯などの照明装置を使用する場合には、その照明装置の数は２つに限定されず３つ以上でもよい。照明装置を３つ以上設置した場合には、それぞれの照明装置を順番に点灯させて前方画像を撮像し、それぞれ異なる２つの照明装置を点灯させたときに撮像した前方画像の全ての組み合わせで差分画像を算出する。そして、算出した複数の差分画像の中で、最も物体の輪郭の濃度勾配が強い差分画像を抽出し、抽出した差分画像に基づいて上述したエッジ抽出処理を行うようにする。
【００３１】
（５）上述した実施の形態では、左右のヘッドライトを交互に点灯しながら、カメラ１０２で車両前方を撮像し、車両前方に存在する物体を検出する例について説明したが、これに限定されず、車両後方を照射する複数の照明装置を備え、カメラ１０２で車両後方を撮像することによって、車両後方に存在する物体を検出するようにしてもよい。また、車両の前方、および後方のそれぞれに照明装置とカメラを設け、車両の前方、および後方に存在する物体をそれぞれ検出するようにしてもよい。
【００３２】
（６）上述した実施の形態では、ヘッドライトから光を照射する順番として、左側ヘッドライト１０１ｂ→右側ヘッドライト１０１ａの順番で交互に点灯させる例について説明した。しかしこれに限定されず、左右のいずれを先に点灯してもよい。
【００３３】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【００３４】
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。右側ヘッドライト１０１ａ、および左側ヘッドライト１０１ｂは照射手段に、撮像手段はカメラ１０２に、制御装置１０４は検出手段に相当する。なお、以上の説明はあくまでも一例であり、発明を解釈する際、上記の実施形態の記載事項と特許請求の範囲の記載事項の対応関係に何ら限定も拘束もされない。
【図面の簡単な説明】
【００３５】
【図１】本実施の形態における車両周囲物体検出装置の一実施の形態の構成を示すブロック図である。
【図２】ヘッドライトの点灯タイミング、およびカメラによる撮像タイミングを示す図である。
【図３】左右のヘッドライトをそれぞれ点灯させた状態で撮像された前方画像の具体例を示す図である。
【図４】差分画像に対してエッジ抽出処理を行って、先行車両のエッジを抽出した例を示す図である。
【図５】抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す図である。
【図６】エッジ画像内において対象領域を特定した場合の具体例を示す図である。
【図７】本実施の形態における車両周囲物体検出装置１００の処理を示すフローチャート図である。
【図８】ヘッドライトの点灯タイミング、およびカメラによる撮像タイミングの変形例を示す図である。
【符号の説明】
【００３６】
１００ 車両周囲物体検出装置
１０１ ヘッドライト制御装置
１０１ａ 右側ヘッドライト
１０１ｂ 左側ヘッドライト
１０２ カメラ
１０３ 画像メモリ
１０４ 制御装置
１０５ カウンタメモリ
【特許請求の範囲】
【請求項１】
車両周囲の監視物体に対して少なくとも異なる第１および第２の方向からそれぞれ光を照射する照射手段と、
前記照射手段から前記監視物体に前記第１の方向から光を照射した状態で前記監視物体を撮像するとともに、前記第２の方向から光を照射した状態で前記監視物体を撮像する撮像手段と、
前記光を第１の方向から照射したときに前記撮像手段で撮像された画像データと、前記光を第２の方向から照射したときに前記撮像手段で撮像された画像データとの差分を演算して前記監視物体を検出する検出手段とを備えることを特徴とする車両周囲物体検出装置。
【請求項２】
請求項１に記載の車両周囲物体検出装置において、
前記検出手段は、前記光を第１の方向から照射したときに前記撮像手段で撮像された画像データと、前記光を第２の方向から照射したときに前記撮像手段で撮像された画像データとの差分画像内に存在するエッジを抽出し、抽出したエッジの移動速度、および移動方向を算出して、その移動速度、および移動方向が近似するエッジは同一の物体であるものとして、前記監視物体を検出することを特徴とする車両周囲物体検出装置。
【請求項３】
請求項１または２に記載の車両周囲物体検出装置において、
前記第１の方向から光を照射した状態は、前記第１の方向からのみ光を照射した状態、または前記第１の方向から照射した光が、前記第２の方向から照射した光よりも明るい状態のいずれか一方であり、
前記第２の方向から光を照射した状態は、前記第２の方向からのみ光を照射した状態、または前記第２の方向から照射した光が、前記第１の方向から照射した光よりも明るい状態のいずれか一方であることを特徴とする車両周囲物体検出装置。
【請求項４】
車両周囲の監視物体に対して少なくとも異なる第１および第２の方向からそれぞれ光を照射し、
前記照射手段から前記監視物体に前記第１の方向から光を照射した状態で前記監視物体を撮像するとともに、前記第２の方向から光を照射した状態で前記監視物体を撮像し、
前記光を第１の方向から照射したときに前記撮像手段で撮像された画像データと、前記光を第２の方向から照射したときに前記撮像手段で撮像された画像データとの差分を演算して前記監視物体を検出することを特徴とする車両周囲物体検出方法。
【請求項１】
車両周囲の監視物体に対して少なくとも異なる第１および第２の方向からそれぞれ光を照射する照射手段と、
前記照射手段から前記監視物体に前記第１の方向から光を照射した状態で前記監視物体を撮像するとともに、前記第２の方向から光を照射した状態で前記監視物体を撮像する撮像手段と、
前記光を第１の方向から照射したときに前記撮像手段で撮像された画像データと、前記光を第２の方向から照射したときに前記撮像手段で撮像された画像データとの差分を演算して前記監視物体を検出する検出手段とを備えることを特徴とする車両周囲物体検出装置。
【請求項２】
請求項１に記載の車両周囲物体検出装置において、
前記検出手段は、前記光を第１の方向から照射したときに前記撮像手段で撮像された画像データと、前記光を第２の方向から照射したときに前記撮像手段で撮像された画像データとの差分画像内に存在するエッジを抽出し、抽出したエッジの移動速度、および移動方向を算出して、その移動速度、および移動方向が近似するエッジは同一の物体であるものとして、前記監視物体を検出することを特徴とする車両周囲物体検出装置。
【請求項３】
請求項１または２に記載の車両周囲物体検出装置において、
前記第１の方向から光を照射した状態は、前記第１の方向からのみ光を照射した状態、または前記第１の方向から照射した光が、前記第２の方向から照射した光よりも明るい状態のいずれか一方であり、
前記第２の方向から光を照射した状態は、前記第２の方向からのみ光を照射した状態、または前記第２の方向から照射した光が、前記第１の方向から照射した光よりも明るい状態のいずれか一方であることを特徴とする車両周囲物体検出装置。
【請求項４】
車両周囲の監視物体に対して少なくとも異なる第１および第２の方向からそれぞれ光を照射し、
前記照射手段から前記監視物体に前記第１の方向から光を照射した状態で前記監視物体を撮像するとともに、前記第２の方向から光を照射した状態で前記監視物体を撮像し、
前記光を第１の方向から照射したときに前記撮像手段で撮像された画像データと、前記光を第２の方向から照射したときに前記撮像手段で撮像された画像データとの差分を演算して前記監視物体を検出することを特徴とする車両周囲物体検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−２５２３６３（Ｐ２００６−２５２３６３Ａ）
【公開日】平成１８年９月２１日（２００６．９．２１）
【国際特許分類】
【出願番号】特願２００５−７０２０６（Ｐ２００５−７０２０６）
【出願日】平成１７年３月１４日（２００５．３．１４）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成１８年９月２１日（２００６．９．２１）
【国際特許分類】
【出願日】平成１７年３月１４日（２００５．３．１４）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]