車両前方監視装置
【課題】車両のフロントガラスを払拭するワイパーの払拭動作に伴い、前方物体が未検出となる頻度を低減可能な車両前方監視装置を提供する。
【解決手段】車両前方監視装置は、狭角カメラと、広角カメラと、狭角画像情報Ｄｎ及び広角画像情報Ｄｗの何れか一方を用いて画像処理を行い前方物体を検出する物体検出部と、物体相対距離Ｄｆｗに応じて狭角画像情報Ｄｎ及び広角画像情報Ｄｗの何れか一方を物体検出部が用いる画像情報として選択する画像情報選択部と、処理用カメラの視野内にワイパーが含まれているか否かを判別するワイパー取り込み判別部とを備える。物体検出部は、ワイパー取り込み判別部が処理用カメラの視野内にワイパーが含まれていると判別している場合、非選択画像情報を用いて前方物体を検出する。
【解決手段】車両前方監視装置は、狭角カメラと、広角カメラと、狭角画像情報Ｄｎ及び広角画像情報Ｄｗの何れか一方を用いて画像処理を行い前方物体を検出する物体検出部と、物体相対距離Ｄｆｗに応じて狭角画像情報Ｄｎ及び広角画像情報Ｄｗの何れか一方を物体検出部が用いる画像情報として選択する画像情報選択部と、処理用カメラの視野内にワイパーが含まれているか否かを判別するワイパー取り込み判別部とを備える。物体検出部は、ワイパー取り込み判別部が処理用カメラの視野内にワイパーが含まれていると判別している場合、非選択画像情報を用いて前方物体を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両前方監視装置に関する。
【背景技術】
【０００２】
車両に搭載されたカメラやレーダなどを用いて車両前方の状態を監視する車両前方監視装置が公知である。この種の車両前方監視装置では、自車両前方に存在する対向車両（自車両前方をその走行方向と逆方向に走行する車両）、先行車両（自車両前方を、その走行方向と同方向に走行する車両）、障害物、歩行者等の物体（本明細書においては、これらを纏めて「前方物体」と称す）を検出する。車両前方監視装置による前方物体の検出結果は、例えば衝突時の衝撃を最小限に抑えるプリクラッシュセーフティー（ＰＣＳ）や、先行車との車間距離を一定に保つアダプティブクルーズコントロール（ＡＣＣ）等の運転支援システムにおいて利用されている。
【０００３】
レーダは、一般に、前方物体との距離に関する検出精度が高い反面、横方向の分解能が比較的低いという特性を有する。そして、カメラは一般に横方向の分解能が高く、前方物体の境界検出が容易であるという利点を有する。そこで例えば、レーダによって前方物体と自車両との相対距離を取得し、カメラによって前方物体の大きさや、自車両の前後軸を基準とした場合の相対的な横方向の位置に関わる情報（以下、「横位置情報」ともいう）等を取得することが行われる。
【０００４】
雨や埃等の影響を避けるため、カメラは車室内のフロントガラスの内側等に前方を向けて設置されることが多い。これに対して、フロントガラスに付着した雨滴を払拭するワイパーの払拭動作に伴いワイパーがカメラの視野内を横切ると、それが画像（映像）として取り込まれてしまう。その結果、自車両前方における実際の風景画像とは異なった情報を処理するおそれが生じる。すなわち、ワイパーによる雨滴等の払拭動作時に、ワイパーが車両前方の風景にオーバーラップして撮像されてしまい、前方物体を検出することができない状況を招いてしまう。なお、カメラの視野がワイパーの払拭範囲外になるようにカメラを設置すれば上記の問題は生じないが、その方法ではフロントガラスに着いた雨滴によってカメラの画像が不明瞭になるという問題が生じてしまう。
【０００５】
これに関連して、ワイパーによる雨滴等の払拭動作時に、カメラの撮像範囲内にワイパーの像が写り込む期間においては、画像信号の取り込みを禁止する技術が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−０７２６４１号公報
【特許文献２】特開２００１−２７３５９６号公報
【特許文献３】特開２００８−２５０９０４号公報
【特許文献４】特開２００３−２１２０４１号公報
【特許文献５】特開平１１−０３９５９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上記従来技術のように、カメラの撮像範囲内にワイパーの像が写り込み期間にわたり画像信号の取り込みを禁止すると、その間は前方物体の検出を行うことができず、例えば運転支援システムを本来作動させるべき時に作動することができないという不具合
を招いてしまう。
【０００８】
本発明は、上記したような問題点に鑑みてなされたものであり、その目的は、車両のフロントガラスを払拭するワイパーの払拭動作に伴い、前方物体が未検出となる頻度を低減可能な車両前方監視装置を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係る車両前方監視装置は、車室内に設けられた互いに画角（視野角）の異なる一組のカメラを用いてフロントガラス越しに自車両前方を撮像する車両前方監視装置であって、フロントガラスを払拭するワイパーが一方のカメラの視野内（撮像範囲内）に含まれる場合、他方のカメラが撮像した画像に基づいて生成される画像情報を用いて前方物体を検出することを最大の特徴とする。
【００１０】
より詳しくは、本発明による車両前方監視装置は、
フロントガラス越しに自車両前方を撮像する、車室内に設けられた狭角カメラと、
前記狭角カメラよりも広い画角を有し、且つフロントガラス越しに自車両前方を撮像する、車室内に設けられた広角カメラと、
前記狭角カメラが生成する画像情報である狭角画像情報および前記広角カメラが生成する画像情報である広角画像情報の何れか一方を用いて画像処理を行い、自車両前方に存在する前方物体を検出する検出手段と、
前記前方物体と自車両との相対距離に応じて、前記狭角画像情報および広角画像情報の何れか一方を前記検出手段が用いる画像情報として選択する選択手段と、
前記選択手段により選択されている画像情報を生成するカメラの視野内に自車両のフロントガラスを払拭するワイパーが含まれているか否かを判別する判別手段と、を備え、
前記検出手段は、前記判別手段が前記視野内に前記ワイパーが含まれていると判別している場合、前記選択手段により選択されていない方の画像情報を用いて前記前方物体を検出することを特徴とする。
【００１１】
本発明において、狭角画像情報は狭角カメラが撮像した画像に基づいて生成され、広角画像情報は広角カメラが撮像した画像に基づいて生成される。
【００１２】
車両前方監視装置は、前方物体と自車両との相対距離（以下、「物体相対距離」ともいう）を取得（検出）するレーダを備えても良い。そして、物体相対距離に応じて、検出手段が画像処理に用いる画像情報を、狭角画像情報と広角画像情報の何れか一方から選択することができる。
【００１３】
選択手段は、例えば物体相対距離が短く、前方物体が自車両に近接している場合、広角画像情報を検出手段が画像処理に用いる画像情報として選択すると良い。これにより、例えば自車両に対する隣接車両の側方接近や、レーン変更等に備えることができる。一方、物体相対距離が長く、前方物体が自車両の遠方に位置する場合、選択手段は、検出手段が画像処理に用いる画像情報として狭角画像情報を選択すると良い。狭角カメラは広角カメラに比して画角（視野角）が小さいため、焦点距離が広角カメラよりも長い。従って、狭角画像情報を用いて自車両の遠方に位置する前方物体を検出することにより、該前方物体の分解能が高められ、より確実に前方物体を検出することができる。
【００１４】
また、本発明において、前記選択手段は、前記前方物体と自車両との相対距離（物体相対距離）が所定の基準距離以上の場合に前記狭角画像情報を選択し、該相対距離が該基準距離未満の場合に前記広角画像情報を選択しても良い。この基準距離は、例えば広角画像情報を用いて検出手段が前方物体の検出を試みる場合、該前方物体の境界（エッジ）検出が所望の精度を満たすことができる限度内における前方物体と自車両との最大距離である
。
【００１５】
ここで、ワイパーによるフロントガラスの払拭動作が行われると、例えば、選択手段により選択されている方の画像情報を生成するカメラの視野内をワイパーが横切ることになる。これに対して、本発明によれば、選択手段により選択されている方の画像情報を生成するカメラの視野内にワイパーが含まれる状態（以下、「ワイパー取り込み状態」という）においては、選択手段が選択していない方の画像情報を用いて前方物体が検出される。例えば、自車両に近接する前方物体を検出する際、選択手段が広角画像情報を選択している状況下においてワイパー取り込み状態となっているタイミングでは、検出手段が広角画像情報ではなく狭角画像情報を用いて前方物体を検出する。つまり、前方物体の検出にあたりワイパー取り込み状態となっている期間において、検出手段は、画像処理に供する画像情報を広角画像情報から狭角画像情報に切り替える。
【００１６】
一方、例えば、自車両の遠方に位置する前方物体を検出する際、選択手段が狭角画像情報を選択している条件下においてワイパー取り込み状態となっているタイミングでは、検出手段が狭角画像情報ではなく広角画像情報を用いて前方物体を検出する。つまり、前方物体の検出にあたりワイパー取り込み状態となっている期間において、検出手段は、画像処理に供する画像情報を狭角画像情報から広角画像情報に切り替える。
【００１７】
以上のように、本発明によれば、車両のフロントガラスを払拭するワイパーの払拭動作に伴いワイパー取り込み状態となる場合であっても、前方物体が未検出となる頻度を好適に低減することが可能となる。
【発明の効果】
【００１８】
本発明に係る車両前方監視装置によれば、車両のフロントガラスを払拭するワイパーの払拭動作に伴って前方物体が未検出となる頻度を、好適に低減することができる。
【図面の簡単な説明】
【００１９】
【図１】実施例に係る車両前方監視装置の概略構成を示すブロック図である。
【図２】車両前方監視装置の画像情報選択部が画像情報選択フラグＦｇを１に設定する領域と０に設定する領域の各々を例示した図である。
【図３】車両の側方から眺めた場合の広角カメラ、狭角カメラ及びワイパーの位置関係を模式的に示した図である。
【図４】車両の前方且つ斜め上方から眺めた場合の広角カメラ、狭角カメラ及びワイパーの位置関係を模式的に示した図である。
【図５】実施例における制御ルーチンを示したフローチャートである。
【図６】処理用カメラの視野内にワイパーが含まれないタイミングで処理用カメラが撮像した画像に基づいて生成された画像情報の一例である。
【図７】処理用カメラの視野内にワイパーが含まれるタイミングで処理用カメラが撮像した画像に基づいて生成された画像情報の一例である。
【発明を実施するための形態】
【００２０】
以下に図面を参照して、この発明を実施するための形態を例示的に詳しく説明する。尚、本実施の形態に記載されている構成要素の寸法、材質、形状、その相対配置等は、特に特定的な記載がない限りは、発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【００２１】
＜実施例１＞
図１は、本実施例に係る車両前方監視装置１の概略構成を示すブロック図である。車両前方監視装置１は、自車両の前方に存在する他車両（対向車両、先行車両等）、障害物、
歩行者等の総称である「前方物体」を監視、検出する装置である。そして、車両前方監視装置１による前方物体の監視結果に基づいて、プリクラッシュセーフティシステム（ＰＣＳ）が作動するようになっている。例えば、前方物体と自車両が衝突する可能性が高いと判断した場合、運転者へ警報を発信すると共に衝突被害低減制御を実施する。衝突被害低減制御としては、シートベルトの巻き取りやプリクラッシュブレーキによる衝突速度の低減等を例示することができる。
【００２２】
車両前方監視装置１は、ミリ波レーダ２、画角（視野角）が相違する一組のカメラ３，４、車両前方監視装置１に係るシステム系統全般を制御する電子制御ユニットであるＥＣＵ（Electronic Control Unit）５を備える。本実施例において、単に「車両」と記す場
合には自車両をさすものとする。
【００２３】
ミリ波レーダ２は、自車両の前部に設けられており、自車両の前方に存在する前方物体と自車両との相対距離（以下、「物体相対距離」という）Ｄｆｗ、及び自車両に対する前方物体の方向を検知する。ミリ波レーダ２は、自車両の前方の所定範囲においてミリ波を走査して、その反射波を受信する。そして、反射波を受信した夫々の方向について、前方物体までの距離を検知する。ミリ波レーダ２による検知は所定時間毎に行われる。ミリ波レーダ２はＥＣＵ５と電気的に接続されており、物体相対距離Ｄｆｗおよび自車両に対する前方物体の方向に関わる情報（以下、「レーダ情報」という）をＥＣＵ５に逐次出力する。なお、自車両に対する前方物体の方向とは、自車両の前後軸を基準とした場合の前方物体の方向であり、例えば前方物体が他車両である場合には、自車両の前後軸と他車両の前後軸とがなす角度をさす。
【００２４】
一組のカメラ３，４のうち、相対的に画角が大きい方のカメラ３を「広角カメラ」と称し、広角カメラ３に比して画角が小さいカメラ４を「狭角カメラ」と称する。広角カメラ３及び狭角カメラ４は、レンズと、ＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子とを含んで構成されている。広角カメラ３及び狭角カメラ４の夫々は、車室（運転室）内のルームミラーのステイ（図示省略）付近に設置されており、自車両の前方の風景を撮像する。広角カメラ３及び狭角カメラ４はＥＣＵ５と電気的に接続されており、これらが撮像した自車両前方の画像は、画像信号化された画像情報（画像データ）としてＥＣＵ５に逐次入力される。以下、広角カメラ３が撮像した画像から生成された画像情報を「広角画像情報Ｄｗ」と称し、狭角カメラ４が撮像した画像から生成された画像情報を「狭角画像情報Ｄｎ」と称する。本実施例における広角カメラ３、狭角カメラ４による画像の取り込み頻度（撮像頻度）は、例えば３０ｍｓ（ミリ秒）程度に設定されている。
【００２５】
ＥＣＵ５は、ＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータを主体として構成されており、画像情報選択部５０１、物体検出部５０２、ワイパー作動検知部５０３、ワイパー取り込み判別部５０４、衝突判定部５０５を有する。
【００２６】
一般にレーダは、前方物体との距離に関する検出精度が高い反面、横方向の分解能が比較的低い。これに対して、カメラは横方向の分解能が優れており、前方物体の境界（エッジ）検出が容易である。そこで、ＥＣＵ５は、ミリ波レーダ２から取得するレーダ情報に基づいて検知した車両前方を、狭角画像情報Ｄｎ及び広角画像情報Ｄｗの何れか一方を用いて画像解析処理を行い、前方物体を画像検出する。
【００２７】
ここで、広角カメラ３及び狭角カメラ４を比較すると、狭角カメラ４は広角カメラ３に比べて画角が小さいため、その焦点距離が長く、遠方の物標に対する分解能が広角カメラ３よりも優れている。一方、自車両に近接する前方物体を撮像する場合には、画角（視野角）の大きな広角カメラ３を用いた方が前方物体を視野内に収めやすいという利点がある
。
【００２８】
そこで、物体検出部５０２は、前方物体が自車両に近接している場合には広角画像情報Ｄｗを用いて画像解析処理を行い、ミリ波レーダ２により検知した前方物体を検出する。一方、前方物体が自車両から遠方に位置している場合には狭角画像情報Ｄｎを用いて画像解析処理を行い、ミリ波レーダ２が検知した前方物体を検出する。
【００２９】
画像情報選択部５０１は、前方物体と自車両との相対距離である物体相対距離Ｄｆｗに応じて、狭角画像情報Ｄｎ及び広角画像情報Ｄｗの何れか一方を物体検出部５０２が前方物体を検出するための画像処理に用いる画像情報（以下、「処理用画像情報」という）として選択する。ここで、画像情報選択部５０１が狭角画像情報Ｄｎ及び広角画像情報Ｄｗの双方ではなく、何れか一方を択一的に選択するのは、画像解析処理にかかる負荷の軽減を図るためである。
【００３０】
ここで、より具体的には、画像情報選択部５０１は、物体相対距離Ｄｆｗが基準距離Ｄｂ以上である場合には、前方物体が自車両の遠方に位置していると判別する。この場合、画像情報選択部５０１は、狭角画像情報Ｄｎを処理用画像情報として選択するとともに、画像情報選択フラグＦｇを１に設定（セット）する。画像情報選択フラグＦｇは、ＲＡＭに設定された記憶領域である。
【００３１】
一方、物体相対距離Ｄｆｗが基準距離Ｄｂ未満である場合、画像情報選択部５０１は、前方物体が自車両に近接していると判別する。この場合、画像情報選択部５０１は、広角画像情報Ｄｗを処理用画像情報として選択するとともに、画像情報選択フラグＦｇを０に設定（セット）する。そして、物体検出部５０２は、画像情報選択フラグＦｇが１に設定されている場合には、選択されている狭角画像情報Ｄｎを用いて画像処理を行い、前方物体を検出する。また、画像情報選択フラグＦｇが０に設定されている場合には、選択されている広角画像情報Ｄｗを用いて画像処理を行い、前方物体を検出する。
【００３２】
なお、上記の基準距離Ｄｂは、例えば広角画像情報Ｄｗを用いて画像解析処理を行い、前方物体の検出を試みる場合に、前方物体の境界（エッジ）検出が所望の精度を満たすことができる限度内においての最大の物体相対距離Ｄｆｗである。
【００３３】
図２は、車両前方監視装置１の画像情報選択部５０１が画像情報選択フラグＦｇを１に設定する領域と（図中、斜めハッチングにて示す）と０に設定する領域（図中、格子ハッチングにて示す）の各々を例示した図である。画像情報選択フラグＦｇが１に設定されることで処理用画像情報として狭角画像情報Ｄｎが選択される領域は狭角カメラ４の視野（撮像範囲）内に含まれている。また、画像情報選択フラグＦｇが０に設定されることで処理用画像情報として広角画像情報Ｄｗが選択される領域は、広角カメラ３の視野内に含まれている。
【００３４】
図中、狭角カメラ４の視野は一点鎖線で挟まれている部分の領域であり、広角カメラ３の視野は二点鎖線で挟まれている部分の領域である。狭角カメラ４及び広角カメラ３の各々の画角は、自車両から遠方の前方物体が狭角カメラ４の視野内に含まれ、且つ自車両に近接する前方物体が広角カメラ３の視野内に含まれるように、各々が適正な角度として設定されている。
【００３５】
図中の符号「ＭＦ１」、「ＭＦ２」は自車両の前方に存在する前方物体を表したものである。前方物体ＭＦ１は、自車両からの相対距離（物体相対距離Ｄｆｗ）が基準距離Ｄｂより大きく、物体検出部５０２は狭角画像情報Ｄｎに基づいて前方物体ＭＦ１を検出する。一方、前方物体ＭＦ２は、自車両からの相対距離（物体相対距離Ｄｆｗ）が基準距離Ｄ
ｂより小さく、物体検出部５０２は、広角画像情報Ｄｗに基づいて前方物体ＭＦ２を検出する。
【００３６】
次に、図３及び図４を参照して、広角カメラ３、狭角カメラ４、フロントガラス（ウインドシールド）１０１に付着した雨滴等を払拭するワイパー１０２の位置関係について説明する。図３は、車両の側方から眺めた場合の広角カメラ３、狭角カメラ４及びワイパー１０２の位置関係を模式的に示した図である。図４は、車両の前方且つ斜め上方から眺めた場合の広角カメラ３、狭角カメラ４及びワイパー１０２の位置関係を模式的に示した図である。
【００３７】
ワイパー１０２は、ワイパーモータ１０３によって駆動される。ワイパーモータ１０３は、ワイパースイッチ１０４からの指示に従い、ワイパー動作（フロントガラス１０１の払拭動作）を制御する。ワイパースイッチ１０４は、運転者の操作に従って、例えば高速連続動作モード、低速連続動作モード、間欠動作モード、及び動作停止モードの何れかが選択可能に構成されている。また、ワイパースイッチ１０４は、ＥＣＵ５に対して、ワイパー１０２が作動しているか否か（払拭動作を行っているかどうか）を表す信号を出力する。
【００３８】
広角カメラ３及び狭角カメラ４の夫々は、雨や埃等の影響を避けるため、フロントガラス１０１の内側（車室側）に前方を向けて設置されている。更には、広角カメラ３、狭角カメラ４の各々は、その撮像範囲（視野）の少なくとも一部がワイパー１０２の払拭領域（払拭範囲）と重複するように配置されている。これにより、フロントガラス１０１に付着した雨滴によってカメラ３，４の画像が不明瞭になることが抑止される。しかし、カメラの撮像範囲にワイパー１０２の払拭領域が重なることはワイパー１０２が当該カメラの視野内を横切ることを意味するため、ワイパー１０２によるフロントガラスの往復払拭動作において、ワイパー１０２がカメラの視野内を横切るタイミングの度に、カメラが撮像した画像内にワイパー１０２が映り込む結果、車両前方の風景がワイパー１０２によって遮蔽されてしまうという背反が生じ得る。
【００３９】
車両前方監視装置１では、ワイパー１０２が画像に映り込んでいる（取り込まれている）間にミリ波レーダ２が検知した前方物体を画像認識して検出、識別することができなくなることを回避すべく、以下に説明する画像情報切り替え制御が実行される。ここで、ワイパー取り込み判別部５０４は、狭角カメラ４および広角カメラ３のうち、物体相対距離Ｄｆｗに応じて画像情報選択部５０１により選択されている処理用画像情報を生成する方のカメラ（以下、「処理用カメラ」という）の視野内にワイパー１０２が含まれている状態、すなわちワイパー取り込み状態であるか否かを判別する。本実施例の画像情報切り替え制御では、ワイパー取り込み判別部５０４がワイパー取り込み状態であると判別している場合、画像情報選択部５０１により選択されていない方の画像情報（以下、「非選択画像情報」という）に処理用画像情報を切り替えて、物体検出部５０２に前方物体を検出させる。
【００４０】
図５は、本実施例における制御ルーチンを示したフローチャートである。本制御ルーチンは、ＥＣＵ５によって一定時間（例えば、１００ｍｓ程度）毎に繰り返し行われるルーチンである。本ルーチンが実行されると、ステップＳ１０１では、ミリ波レーダ２からレーダ情報に基づいて、物体検出部５０２によって検出すべき対象となる前方物体を特定する。
【００４１】
ステップＳ１０２では、画像情報選択部５０１が、物体相対距離Ｄｆｗに基づいて狭角画像情報Ｄｎ及び広角画像情報Ｄｗのいずれか一方を処理用画像情報として選択する。すなわち、本ステップでは、物体相対距離Ｄｆｗが基準距離Ｄｂ以上であるか否かが判定さ
れる。そして、肯定判定された場合（Ｄｆｗ≧Ｄｂ）には、画像情報選択部５０１は狭角画像情報Ｄｎを処理用画像情報として選択するとともに、画像情報選択フラグＦｇを１に設定（セット）する。一方、否定判定された場合（Ｄｆｗ＜Ｄｂ）には、画像情報選択部５０１は広角画像情報Ｄｗを処理用画像情報として選択するとともに、画像情報選択フラグＦｇを０に設定（セット）する。本ステップの処理が終了すると、ステップＳ１０３の処理に進む。
【００４２】
ステップＳ１０３では、ワイパー作動検知部５０３が、ワイパースイッチ１０４の出力信号に基づいてワイパー１０２の作動状況を検知する。ワイパー１０２が作動中（高速連続動作モード、低速連続動作モード、間欠動作モードの何れか）であることを検知した場合には、ステップＳ１０４に進む。一方、ワイパー１０２が作動停止中（動作停止モード）であることを検知した場合には、ステップＳ１０６に進む。
【００４３】
ステップＳ１０４において、ワイパー取り込み判別部５０４は、現在の状態がワイパー取り込み状態であるか否かを判別する。図６及び図７を参照して、ワイパー取り込み状態であるか否かの判別手法について説明する。
【００４４】
ここで、図６は、処理用カメラの視野内にワイパー１０２が含まれないタイミングで処理用カメラが撮像した画像に基づいて生成された画像情報の一例である。図７は、処理用カメラの視野内にワイパー１０２が含まれるタイミングで処理用カメラが撮像した画像に基づいて生成された画像情報の一例である。処理用カメラにより撮像されたワイパー１０２の像は、ハッチングにて図示している。図７に示したように、処理用カメラの視野内にワイパー１０２が含まれる（存在する）と、車両前方の風景の大部分がワイパー１０２の像によって遮蔽されてしまう。その結果、画像領域内における輝度平均値は、処理用カメラの視野内にワイパー１０２が含まれない（存在しない）タイミングで撮像された画像に比べて著しく低下する。
【００４５】
そこで、図５の制御フローにおけるステップＳ１０４では、「処理用カメラ」から物体検出部５０２が取得した最新の画像情報（以下、「最新画像情報」ともいう）の画像領域における輝度平均値と、１つ（１フレーム）前の画像情報（以下、「前画像情報」ともいう）の画像領域における輝度平均値を対比する。この場合、例えば前画像情報の輝度平均値に対する最新画像情報の輝度平均値の比率が所定の基準値以上の場合にワイパー取り込み判別部５０４は、現在、ワイパー取り込み状態ではないと判別し、ステップＳ１０５に進む。一方、前画像情報の輝度平均値に対する最新画像情報の輝度平均値の比率が基準値を下回っている場合、ワイパー取り込み判別部５０４は、現在、ワイパー取り込み状態であると判別し、ステップＳ１０６に進む。
【００４６】
なお、ステップＳ１０４において、前画像情報の輝度平均値と最新画像情報の輝度平均値との差分の大きさに基づいてワイパー取り込み状態であるか否かを判別しても構わない。例えば、前画像情報の輝度平均値から最新画像情報の輝度平均値を減算して得られた値が第２の基準値を超える場合にワイパー取り込み状態であると判別し、そうでない場合にワイパー取り込み状態でないと判別しても良い。上述した基準値、第２の基準値は、実験等の経験則に基づき適正な値をそれぞれ求めておくと良い。また、上記判別手法は例示的に示したものであり、その他の手法を採用しても構わないのは勿論である。
【００４７】
ステップＳ１０５において、物体検出部５０２は、ステップＳ１０２で設定された画像情報選択フラグＦｇを読み込む。そして、狭角画像情報Ｄｎ及び広角画像情報Ｄｗのうち、画像情報選択部５０１が処理用画像情報として選択した方の画像情報を用いて前方物体を検出する。すなわち、画像情報選択フラグＦｇが１にセットされている場合、狭角画像情報Ｄｎを用いて画像解析処理を行い、前方物体を検出する。一方、画像情報選択フラグ
Ｆｇが０にセットされている場合、広角画像情報Ｄｗを用いて画像解析処理を行い、前方物体を検出する。ステップＳ１０５の処理が終了すると、ステップＳ１０７に進む。
【００４８】
ステップＳ１０６においては、物体検出部５０２が、ステップＳ１０２で設定された画像情報選択フラグＦｇを読み込み、狭角画像情報Ｄｎ及び広角画像情報Ｄｗのうち、画像情報選択部５０１が処理用画像情報として選択した方の画像情報とは逆の画像情報（すなわち、処理用画像情報として選択されていない方の画像情報）である非選択画像情報を用いて前方物体を検出する。すなわち、画像情報選択フラグＦｇが１にセットされている場合、狭角画像情報Ｄｎの代わりに広角画像情報Ｄｗを用いて画像解析処理を行い、前方物体を検出する。
【００４９】
一方、画像情報選択フラグＦｇが０にセットされている場合、広角画像情報Ｄｗの代わりに狭角画像情報Ｄｎを用いて画像解析処理を行い、前方物体を検出する。なお、狭角カメラ４は広角カメラ３よりも画角（視野角）が小さいため、検出対象たる前方物体が狭角カメラ４の視野外に位置する場合には、狭角画像情報Ｄｎを用いて前方物体を検出することができないとも考えられる。そのような場合、本ステップにおいて処理用画像情報を広角画像情報Ｄｗから狭角画像情報Ｄｎへと切り替えず、ワイパー取り込み状態になる直前（例えば、１フレーム前）に広角カメラ３が生成した広角画像情報Ｄｗを用いて前方物体を検出すると良い。
【００５０】
例えば、広角カメラ３の画像の取り込み間隔は３０ｍｓ程度（つまり、３０ｍｓ程度に１回の頻度で画像が撮像される）であるのに対して、ＥＣＵ５（物体検出部５０２）における画像処理間隔は１００ｍｓ程度（つまり、１００ｍｓ程度に１回の頻度で画像処理が行われる）である。このように、物体検出部５０２が画像処理を行う頻度に比べて広角カメラ３が画像を取り込む頻度の方が多いため、ワイパー１０２が広角カメラ３の視野内に入る直前に該カメラ３が撮像した画像から生成された広角画像情報Ｄｗを用いることで、前方物体を検出できないという事態を好適に回避することができる。ステップＳ１０６の処理が終了すると、ステップＳ１０７に進む。
【００５１】
なお、上記ステップＳ１０５、Ｓ１０６にかかる処理に際して、物体検出部５０２は、前方物体を検出するために用いる画像情報の画像領域内における前方物体の存在領域の周辺にいわゆるウィンドウを設定し、当該ウィンドウの内部領域について画像処理を行っても良い。ウィンドウは、画像処理の対象領域を全画像領域から画定する（切り出す）ように機能する。なお、画像領域内における前方物体の存在領域については、ミリ波レーダ２から取得するレーダ情報（自車両に対する前方物体の方向及び物体相対距離Ｄｆｗ）に基づいて求めることができる。
【００５２】
ステップＳ１０７では、衝突判定部５０５により、物体検出部５０２が検出した前方物体に自車両が衝突する可能性が高いか否かが判定される。衝突判定部５０５は、物体検出部５０２により検出された前方物体の横位置情報（横位置、大きさ）、及びミリ波レーダ２から取得するレーダ情報、並びに自車両と前方物体との相対速度等に基づいて、自車両と前方物体とが衝突する可能性が高いか否かを判定する。
【００５３】
本ステップにおいて、前方物体が自車両に衝突する可能性が低いと判定された場合、ＥＣＵ５は本ルーチンを一旦終了する。一方、前方物体が自車両に衝突する可能性が高いと判定された場合、ＥＣＵ５はステップＳ１０８に進み、シートベルト巻き取り用アクチュエータやプリクラッシュブレーキアクチュエータ等（図示省略）に制御信号を発信することで衝突被害低減制御を実施する。更に、ＥＣＵ５は、運転者への警報装置（図示省略）に警報ＯＮの信号を発信し、自車両が前方物体と衝突する可能性が高いことを報知する（警報を発する）。ＥＣＵ５は本ステップの処理を終了すると、本ルーチンを一旦終了する
。
【００５４】
以上説明したように本実施例に係る制御によれば、自車両の前方に存在する前方物体の検出にあたり、ワイパー１０２によるフロントガラスの払拭動作に伴って、ワイパー１０２が処理用カメラの視野内を横切る場合であっても、前方物体が未検出となってしまう頻度を好適に低減することができる。また、再び、ワイパー１０２が処理用カメラの視野内に存在しなくなったあとは、画像情報選択部５０１により選択されている方の画像情報を用いて画像処理が行われる。そのため、遠方の前方物体に対しては焦点距離の大きなカメラを用いることで境界検出精度を向上できるという効果を実現し、近接する前方物体に対しては画角（視野角）の大きなカメラを用いることで前方物体をより確実に捉えることができるという効果を実現する。
【００５５】
ところで、本実施例にかかる車両前方監視装置１を適用した車両の走行時において、自車両前方に複数の前方物体が同時に存在するような場合がある。以下、ミリ波レーダ２によって複数の前方物体が検知された場合の制御内容について説明する。
【００５６】
かかる場合、ミリ波レーダ２によって検知された各々の前方物体ごとに、物体相対距離Ｄｆｗが取得される。そして、画像情報選択部５０１は、物体相対距離Ｄｆｗが基準距離Ｄｂ以上である前方物体に対しては処理用画像情報に狭角画像情報Ｄｎを選択し、物体相対距離Ｄｆｗが基準距離Ｄｂ未満である前方物体に対しては処理用画像情報に広角画像情報Ｄｗを選択する。
【００５７】
例えば、自車両の遠方（物体相対距離Ｄｆｗが基準距離Ｄｂ以上）に前方物体Ａ、Ｂが存在し、自車両の近傍（物体相対距離Ｄｆｗが基準距離Ｄｂ未満）に前方物体Ｃが存在する場合、画像情報選択フラグＦｇは前方物体Ａ〜Ｃごとに個別に設定される。この場合、前方物体Ａ及びＢに対しては画像情報選択フラグＦｇが１に設定され、前方物体Ｃに対しては画像情報選択フラグＦｇが０に設定される。
【００５８】
そして、物体検出部５０１は、前方物体Ｃに対応する処理用カメラである広角カメラ３の視野内を払拭動作中のワイパー１０２が横切っていないときには、広角画像情報Ｄｗを用いて前方物体Ｃを検出する。そして、上記広角カメラ３の視野内を払拭動作中のワイパー１０２が横切っているときには、広角画像情報Ｄｗの代わりに狭角画像情報Ｄｎを用いて前方物体Ｃを検出する。これにより、ワイパー１０２の払拭動作時においても前方物体Ｃがワイパー１０２の像に隠れて未検出となってしまうことの頻度を少なくすることができる。
【００５９】
次に、前方物体Ａ、Ｂに関しては、これらに対応する処理用カメラである狭角カメラ４の視野内を払拭動作中のワイパー１０２が横切っていないときには、狭角画像情報Ｄｎを用いて前方物体Ｃを検出する。ここで、狭角画像情報Ｄｎにおける画像領域内には前方物体Ａ、Ｂの２つの検出対象が存在するため、ミリ波レーダ２から取得するレーダ情報に基づいて、前方物体ごとに対応するウィンドウを設定するとよい。そして、狭角カメラ４の視野内を払拭動作中のワイパー１０２が横切っているときには、狭角画像情報Ｄｎの代わりに広角画像情報Ｄｗを用いて前方物体Ａ及びＢを検出する。これにより、ワイパー１０２の払拭動作時においても前方物体Ａ及びＢがワイパー１０２の像に隠れて未検出となってしまうことの頻度を少なくすることができる。
【００６０】
本実施例においては、ＥＣＵ５を構成する画像情報選択部５０１、物体検出部５０２、ワイパー取り込み判別部５０４のそれぞれが、本発明における選択手段、検出手段、判別手段に対応している。
【符号の説明】
【００６１】
１・・・車両前方監視装置
２・・・ミリ波レーダ
３・・・広角カメラ
４・・・狭角カメラ
５・・・ＥＣＵ
５０１・画像情報選択部
５０２・物体検出部
５０３・ワイパー作動検知部
５０４・ワイパー取り込み判別部
５０５・衝突判定部
【技術分野】
【０００１】
本発明は、車両前方監視装置に関する。
【背景技術】
【０００２】
車両に搭載されたカメラやレーダなどを用いて車両前方の状態を監視する車両前方監視装置が公知である。この種の車両前方監視装置では、自車両前方に存在する対向車両（自車両前方をその走行方向と逆方向に走行する車両）、先行車両（自車両前方を、その走行方向と同方向に走行する車両）、障害物、歩行者等の物体（本明細書においては、これらを纏めて「前方物体」と称す）を検出する。車両前方監視装置による前方物体の検出結果は、例えば衝突時の衝撃を最小限に抑えるプリクラッシュセーフティー（ＰＣＳ）や、先行車との車間距離を一定に保つアダプティブクルーズコントロール（ＡＣＣ）等の運転支援システムにおいて利用されている。
【０００３】
レーダは、一般に、前方物体との距離に関する検出精度が高い反面、横方向の分解能が比較的低いという特性を有する。そして、カメラは一般に横方向の分解能が高く、前方物体の境界検出が容易であるという利点を有する。そこで例えば、レーダによって前方物体と自車両との相対距離を取得し、カメラによって前方物体の大きさや、自車両の前後軸を基準とした場合の相対的な横方向の位置に関わる情報（以下、「横位置情報」ともいう）等を取得することが行われる。
【０００４】
雨や埃等の影響を避けるため、カメラは車室内のフロントガラスの内側等に前方を向けて設置されることが多い。これに対して、フロントガラスに付着した雨滴を払拭するワイパーの払拭動作に伴いワイパーがカメラの視野内を横切ると、それが画像（映像）として取り込まれてしまう。その結果、自車両前方における実際の風景画像とは異なった情報を処理するおそれが生じる。すなわち、ワイパーによる雨滴等の払拭動作時に、ワイパーが車両前方の風景にオーバーラップして撮像されてしまい、前方物体を検出することができない状況を招いてしまう。なお、カメラの視野がワイパーの払拭範囲外になるようにカメラを設置すれば上記の問題は生じないが、その方法ではフロントガラスに着いた雨滴によってカメラの画像が不明瞭になるという問題が生じてしまう。
【０００５】
これに関連して、ワイパーによる雨滴等の払拭動作時に、カメラの撮像範囲内にワイパーの像が写り込む期間においては、画像信号の取り込みを禁止する技術が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−０７２６４１号公報
【特許文献２】特開２００１−２７３５９６号公報
【特許文献３】特開２００８−２５０９０４号公報
【特許文献４】特開２００３−２１２０４１号公報
【特許文献５】特開平１１−０３９５９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上記従来技術のように、カメラの撮像範囲内にワイパーの像が写り込み期間にわたり画像信号の取り込みを禁止すると、その間は前方物体の検出を行うことができず、例えば運転支援システムを本来作動させるべき時に作動することができないという不具合
を招いてしまう。
【０００８】
本発明は、上記したような問題点に鑑みてなされたものであり、その目的は、車両のフロントガラスを払拭するワイパーの払拭動作に伴い、前方物体が未検出となる頻度を低減可能な車両前方監視装置を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係る車両前方監視装置は、車室内に設けられた互いに画角（視野角）の異なる一組のカメラを用いてフロントガラス越しに自車両前方を撮像する車両前方監視装置であって、フロントガラスを払拭するワイパーが一方のカメラの視野内（撮像範囲内）に含まれる場合、他方のカメラが撮像した画像に基づいて生成される画像情報を用いて前方物体を検出することを最大の特徴とする。
【００１０】
より詳しくは、本発明による車両前方監視装置は、
フロントガラス越しに自車両前方を撮像する、車室内に設けられた狭角カメラと、
前記狭角カメラよりも広い画角を有し、且つフロントガラス越しに自車両前方を撮像する、車室内に設けられた広角カメラと、
前記狭角カメラが生成する画像情報である狭角画像情報および前記広角カメラが生成する画像情報である広角画像情報の何れか一方を用いて画像処理を行い、自車両前方に存在する前方物体を検出する検出手段と、
前記前方物体と自車両との相対距離に応じて、前記狭角画像情報および広角画像情報の何れか一方を前記検出手段が用いる画像情報として選択する選択手段と、
前記選択手段により選択されている画像情報を生成するカメラの視野内に自車両のフロントガラスを払拭するワイパーが含まれているか否かを判別する判別手段と、を備え、
前記検出手段は、前記判別手段が前記視野内に前記ワイパーが含まれていると判別している場合、前記選択手段により選択されていない方の画像情報を用いて前記前方物体を検出することを特徴とする。
【００１１】
本発明において、狭角画像情報は狭角カメラが撮像した画像に基づいて生成され、広角画像情報は広角カメラが撮像した画像に基づいて生成される。
【００１２】
車両前方監視装置は、前方物体と自車両との相対距離（以下、「物体相対距離」ともいう）を取得（検出）するレーダを備えても良い。そして、物体相対距離に応じて、検出手段が画像処理に用いる画像情報を、狭角画像情報と広角画像情報の何れか一方から選択することができる。
【００１３】
選択手段は、例えば物体相対距離が短く、前方物体が自車両に近接している場合、広角画像情報を検出手段が画像処理に用いる画像情報として選択すると良い。これにより、例えば自車両に対する隣接車両の側方接近や、レーン変更等に備えることができる。一方、物体相対距離が長く、前方物体が自車両の遠方に位置する場合、選択手段は、検出手段が画像処理に用いる画像情報として狭角画像情報を選択すると良い。狭角カメラは広角カメラに比して画角（視野角）が小さいため、焦点距離が広角カメラよりも長い。従って、狭角画像情報を用いて自車両の遠方に位置する前方物体を検出することにより、該前方物体の分解能が高められ、より確実に前方物体を検出することができる。
【００１４】
また、本発明において、前記選択手段は、前記前方物体と自車両との相対距離（物体相対距離）が所定の基準距離以上の場合に前記狭角画像情報を選択し、該相対距離が該基準距離未満の場合に前記広角画像情報を選択しても良い。この基準距離は、例えば広角画像情報を用いて検出手段が前方物体の検出を試みる場合、該前方物体の境界（エッジ）検出が所望の精度を満たすことができる限度内における前方物体と自車両との最大距離である
。
【００１５】
ここで、ワイパーによるフロントガラスの払拭動作が行われると、例えば、選択手段により選択されている方の画像情報を生成するカメラの視野内をワイパーが横切ることになる。これに対して、本発明によれば、選択手段により選択されている方の画像情報を生成するカメラの視野内にワイパーが含まれる状態（以下、「ワイパー取り込み状態」という）においては、選択手段が選択していない方の画像情報を用いて前方物体が検出される。例えば、自車両に近接する前方物体を検出する際、選択手段が広角画像情報を選択している状況下においてワイパー取り込み状態となっているタイミングでは、検出手段が広角画像情報ではなく狭角画像情報を用いて前方物体を検出する。つまり、前方物体の検出にあたりワイパー取り込み状態となっている期間において、検出手段は、画像処理に供する画像情報を広角画像情報から狭角画像情報に切り替える。
【００１６】
一方、例えば、自車両の遠方に位置する前方物体を検出する際、選択手段が狭角画像情報を選択している条件下においてワイパー取り込み状態となっているタイミングでは、検出手段が狭角画像情報ではなく広角画像情報を用いて前方物体を検出する。つまり、前方物体の検出にあたりワイパー取り込み状態となっている期間において、検出手段は、画像処理に供する画像情報を狭角画像情報から広角画像情報に切り替える。
【００１７】
以上のように、本発明によれば、車両のフロントガラスを払拭するワイパーの払拭動作に伴いワイパー取り込み状態となる場合であっても、前方物体が未検出となる頻度を好適に低減することが可能となる。
【発明の効果】
【００１８】
本発明に係る車両前方監視装置によれば、車両のフロントガラスを払拭するワイパーの払拭動作に伴って前方物体が未検出となる頻度を、好適に低減することができる。
【図面の簡単な説明】
【００１９】
【図１】実施例に係る車両前方監視装置の概略構成を示すブロック図である。
【図２】車両前方監視装置の画像情報選択部が画像情報選択フラグＦｇを１に設定する領域と０に設定する領域の各々を例示した図である。
【図３】車両の側方から眺めた場合の広角カメラ、狭角カメラ及びワイパーの位置関係を模式的に示した図である。
【図４】車両の前方且つ斜め上方から眺めた場合の広角カメラ、狭角カメラ及びワイパーの位置関係を模式的に示した図である。
【図５】実施例における制御ルーチンを示したフローチャートである。
【図６】処理用カメラの視野内にワイパーが含まれないタイミングで処理用カメラが撮像した画像に基づいて生成された画像情報の一例である。
【図７】処理用カメラの視野内にワイパーが含まれるタイミングで処理用カメラが撮像した画像に基づいて生成された画像情報の一例である。
【発明を実施するための形態】
【００２０】
以下に図面を参照して、この発明を実施するための形態を例示的に詳しく説明する。尚、本実施の形態に記載されている構成要素の寸法、材質、形状、その相対配置等は、特に特定的な記載がない限りは、発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【００２１】
＜実施例１＞
図１は、本実施例に係る車両前方監視装置１の概略構成を示すブロック図である。車両前方監視装置１は、自車両の前方に存在する他車両（対向車両、先行車両等）、障害物、
歩行者等の総称である「前方物体」を監視、検出する装置である。そして、車両前方監視装置１による前方物体の監視結果に基づいて、プリクラッシュセーフティシステム（ＰＣＳ）が作動するようになっている。例えば、前方物体と自車両が衝突する可能性が高いと判断した場合、運転者へ警報を発信すると共に衝突被害低減制御を実施する。衝突被害低減制御としては、シートベルトの巻き取りやプリクラッシュブレーキによる衝突速度の低減等を例示することができる。
【００２２】
車両前方監視装置１は、ミリ波レーダ２、画角（視野角）が相違する一組のカメラ３，４、車両前方監視装置１に係るシステム系統全般を制御する電子制御ユニットであるＥＣＵ（Electronic Control Unit）５を備える。本実施例において、単に「車両」と記す場
合には自車両をさすものとする。
【００２３】
ミリ波レーダ２は、自車両の前部に設けられており、自車両の前方に存在する前方物体と自車両との相対距離（以下、「物体相対距離」という）Ｄｆｗ、及び自車両に対する前方物体の方向を検知する。ミリ波レーダ２は、自車両の前方の所定範囲においてミリ波を走査して、その反射波を受信する。そして、反射波を受信した夫々の方向について、前方物体までの距離を検知する。ミリ波レーダ２による検知は所定時間毎に行われる。ミリ波レーダ２はＥＣＵ５と電気的に接続されており、物体相対距離Ｄｆｗおよび自車両に対する前方物体の方向に関わる情報（以下、「レーダ情報」という）をＥＣＵ５に逐次出力する。なお、自車両に対する前方物体の方向とは、自車両の前後軸を基準とした場合の前方物体の方向であり、例えば前方物体が他車両である場合には、自車両の前後軸と他車両の前後軸とがなす角度をさす。
【００２４】
一組のカメラ３，４のうち、相対的に画角が大きい方のカメラ３を「広角カメラ」と称し、広角カメラ３に比して画角が小さいカメラ４を「狭角カメラ」と称する。広角カメラ３及び狭角カメラ４は、レンズと、ＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子とを含んで構成されている。広角カメラ３及び狭角カメラ４の夫々は、車室（運転室）内のルームミラーのステイ（図示省略）付近に設置されており、自車両の前方の風景を撮像する。広角カメラ３及び狭角カメラ４はＥＣＵ５と電気的に接続されており、これらが撮像した自車両前方の画像は、画像信号化された画像情報（画像データ）としてＥＣＵ５に逐次入力される。以下、広角カメラ３が撮像した画像から生成された画像情報を「広角画像情報Ｄｗ」と称し、狭角カメラ４が撮像した画像から生成された画像情報を「狭角画像情報Ｄｎ」と称する。本実施例における広角カメラ３、狭角カメラ４による画像の取り込み頻度（撮像頻度）は、例えば３０ｍｓ（ミリ秒）程度に設定されている。
【００２５】
ＥＣＵ５は、ＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータを主体として構成されており、画像情報選択部５０１、物体検出部５０２、ワイパー作動検知部５０３、ワイパー取り込み判別部５０４、衝突判定部５０５を有する。
【００２６】
一般にレーダは、前方物体との距離に関する検出精度が高い反面、横方向の分解能が比較的低い。これに対して、カメラは横方向の分解能が優れており、前方物体の境界（エッジ）検出が容易である。そこで、ＥＣＵ５は、ミリ波レーダ２から取得するレーダ情報に基づいて検知した車両前方を、狭角画像情報Ｄｎ及び広角画像情報Ｄｗの何れか一方を用いて画像解析処理を行い、前方物体を画像検出する。
【００２７】
ここで、広角カメラ３及び狭角カメラ４を比較すると、狭角カメラ４は広角カメラ３に比べて画角が小さいため、その焦点距離が長く、遠方の物標に対する分解能が広角カメラ３よりも優れている。一方、自車両に近接する前方物体を撮像する場合には、画角（視野角）の大きな広角カメラ３を用いた方が前方物体を視野内に収めやすいという利点がある
。
【００２８】
そこで、物体検出部５０２は、前方物体が自車両に近接している場合には広角画像情報Ｄｗを用いて画像解析処理を行い、ミリ波レーダ２により検知した前方物体を検出する。一方、前方物体が自車両から遠方に位置している場合には狭角画像情報Ｄｎを用いて画像解析処理を行い、ミリ波レーダ２が検知した前方物体を検出する。
【００２９】
画像情報選択部５０１は、前方物体と自車両との相対距離である物体相対距離Ｄｆｗに応じて、狭角画像情報Ｄｎ及び広角画像情報Ｄｗの何れか一方を物体検出部５０２が前方物体を検出するための画像処理に用いる画像情報（以下、「処理用画像情報」という）として選択する。ここで、画像情報選択部５０１が狭角画像情報Ｄｎ及び広角画像情報Ｄｗの双方ではなく、何れか一方を択一的に選択するのは、画像解析処理にかかる負荷の軽減を図るためである。
【００３０】
ここで、より具体的には、画像情報選択部５０１は、物体相対距離Ｄｆｗが基準距離Ｄｂ以上である場合には、前方物体が自車両の遠方に位置していると判別する。この場合、画像情報選択部５０１は、狭角画像情報Ｄｎを処理用画像情報として選択するとともに、画像情報選択フラグＦｇを１に設定（セット）する。画像情報選択フラグＦｇは、ＲＡＭに設定された記憶領域である。
【００３１】
一方、物体相対距離Ｄｆｗが基準距離Ｄｂ未満である場合、画像情報選択部５０１は、前方物体が自車両に近接していると判別する。この場合、画像情報選択部５０１は、広角画像情報Ｄｗを処理用画像情報として選択するとともに、画像情報選択フラグＦｇを０に設定（セット）する。そして、物体検出部５０２は、画像情報選択フラグＦｇが１に設定されている場合には、選択されている狭角画像情報Ｄｎを用いて画像処理を行い、前方物体を検出する。また、画像情報選択フラグＦｇが０に設定されている場合には、選択されている広角画像情報Ｄｗを用いて画像処理を行い、前方物体を検出する。
【００３２】
なお、上記の基準距離Ｄｂは、例えば広角画像情報Ｄｗを用いて画像解析処理を行い、前方物体の検出を試みる場合に、前方物体の境界（エッジ）検出が所望の精度を満たすことができる限度内においての最大の物体相対距離Ｄｆｗである。
【００３３】
図２は、車両前方監視装置１の画像情報選択部５０１が画像情報選択フラグＦｇを１に設定する領域と（図中、斜めハッチングにて示す）と０に設定する領域（図中、格子ハッチングにて示す）の各々を例示した図である。画像情報選択フラグＦｇが１に設定されることで処理用画像情報として狭角画像情報Ｄｎが選択される領域は狭角カメラ４の視野（撮像範囲）内に含まれている。また、画像情報選択フラグＦｇが０に設定されることで処理用画像情報として広角画像情報Ｄｗが選択される領域は、広角カメラ３の視野内に含まれている。
【００３４】
図中、狭角カメラ４の視野は一点鎖線で挟まれている部分の領域であり、広角カメラ３の視野は二点鎖線で挟まれている部分の領域である。狭角カメラ４及び広角カメラ３の各々の画角は、自車両から遠方の前方物体が狭角カメラ４の視野内に含まれ、且つ自車両に近接する前方物体が広角カメラ３の視野内に含まれるように、各々が適正な角度として設定されている。
【００３５】
図中の符号「ＭＦ１」、「ＭＦ２」は自車両の前方に存在する前方物体を表したものである。前方物体ＭＦ１は、自車両からの相対距離（物体相対距離Ｄｆｗ）が基準距離Ｄｂより大きく、物体検出部５０２は狭角画像情報Ｄｎに基づいて前方物体ＭＦ１を検出する。一方、前方物体ＭＦ２は、自車両からの相対距離（物体相対距離Ｄｆｗ）が基準距離Ｄ
ｂより小さく、物体検出部５０２は、広角画像情報Ｄｗに基づいて前方物体ＭＦ２を検出する。
【００３６】
次に、図３及び図４を参照して、広角カメラ３、狭角カメラ４、フロントガラス（ウインドシールド）１０１に付着した雨滴等を払拭するワイパー１０２の位置関係について説明する。図３は、車両の側方から眺めた場合の広角カメラ３、狭角カメラ４及びワイパー１０２の位置関係を模式的に示した図である。図４は、車両の前方且つ斜め上方から眺めた場合の広角カメラ３、狭角カメラ４及びワイパー１０２の位置関係を模式的に示した図である。
【００３７】
ワイパー１０２は、ワイパーモータ１０３によって駆動される。ワイパーモータ１０３は、ワイパースイッチ１０４からの指示に従い、ワイパー動作（フロントガラス１０１の払拭動作）を制御する。ワイパースイッチ１０４は、運転者の操作に従って、例えば高速連続動作モード、低速連続動作モード、間欠動作モード、及び動作停止モードの何れかが選択可能に構成されている。また、ワイパースイッチ１０４は、ＥＣＵ５に対して、ワイパー１０２が作動しているか否か（払拭動作を行っているかどうか）を表す信号を出力する。
【００３８】
広角カメラ３及び狭角カメラ４の夫々は、雨や埃等の影響を避けるため、フロントガラス１０１の内側（車室側）に前方を向けて設置されている。更には、広角カメラ３、狭角カメラ４の各々は、その撮像範囲（視野）の少なくとも一部がワイパー１０２の払拭領域（払拭範囲）と重複するように配置されている。これにより、フロントガラス１０１に付着した雨滴によってカメラ３，４の画像が不明瞭になることが抑止される。しかし、カメラの撮像範囲にワイパー１０２の払拭領域が重なることはワイパー１０２が当該カメラの視野内を横切ることを意味するため、ワイパー１０２によるフロントガラスの往復払拭動作において、ワイパー１０２がカメラの視野内を横切るタイミングの度に、カメラが撮像した画像内にワイパー１０２が映り込む結果、車両前方の風景がワイパー１０２によって遮蔽されてしまうという背反が生じ得る。
【００３９】
車両前方監視装置１では、ワイパー１０２が画像に映り込んでいる（取り込まれている）間にミリ波レーダ２が検知した前方物体を画像認識して検出、識別することができなくなることを回避すべく、以下に説明する画像情報切り替え制御が実行される。ここで、ワイパー取り込み判別部５０４は、狭角カメラ４および広角カメラ３のうち、物体相対距離Ｄｆｗに応じて画像情報選択部５０１により選択されている処理用画像情報を生成する方のカメラ（以下、「処理用カメラ」という）の視野内にワイパー１０２が含まれている状態、すなわちワイパー取り込み状態であるか否かを判別する。本実施例の画像情報切り替え制御では、ワイパー取り込み判別部５０４がワイパー取り込み状態であると判別している場合、画像情報選択部５０１により選択されていない方の画像情報（以下、「非選択画像情報」という）に処理用画像情報を切り替えて、物体検出部５０２に前方物体を検出させる。
【００４０】
図５は、本実施例における制御ルーチンを示したフローチャートである。本制御ルーチンは、ＥＣＵ５によって一定時間（例えば、１００ｍｓ程度）毎に繰り返し行われるルーチンである。本ルーチンが実行されると、ステップＳ１０１では、ミリ波レーダ２からレーダ情報に基づいて、物体検出部５０２によって検出すべき対象となる前方物体を特定する。
【００４１】
ステップＳ１０２では、画像情報選択部５０１が、物体相対距離Ｄｆｗに基づいて狭角画像情報Ｄｎ及び広角画像情報Ｄｗのいずれか一方を処理用画像情報として選択する。すなわち、本ステップでは、物体相対距離Ｄｆｗが基準距離Ｄｂ以上であるか否かが判定さ
れる。そして、肯定判定された場合（Ｄｆｗ≧Ｄｂ）には、画像情報選択部５０１は狭角画像情報Ｄｎを処理用画像情報として選択するとともに、画像情報選択フラグＦｇを１に設定（セット）する。一方、否定判定された場合（Ｄｆｗ＜Ｄｂ）には、画像情報選択部５０１は広角画像情報Ｄｗを処理用画像情報として選択するとともに、画像情報選択フラグＦｇを０に設定（セット）する。本ステップの処理が終了すると、ステップＳ１０３の処理に進む。
【００４２】
ステップＳ１０３では、ワイパー作動検知部５０３が、ワイパースイッチ１０４の出力信号に基づいてワイパー１０２の作動状況を検知する。ワイパー１０２が作動中（高速連続動作モード、低速連続動作モード、間欠動作モードの何れか）であることを検知した場合には、ステップＳ１０４に進む。一方、ワイパー１０２が作動停止中（動作停止モード）であることを検知した場合には、ステップＳ１０６に進む。
【００４３】
ステップＳ１０４において、ワイパー取り込み判別部５０４は、現在の状態がワイパー取り込み状態であるか否かを判別する。図６及び図７を参照して、ワイパー取り込み状態であるか否かの判別手法について説明する。
【００４４】
ここで、図６は、処理用カメラの視野内にワイパー１０２が含まれないタイミングで処理用カメラが撮像した画像に基づいて生成された画像情報の一例である。図７は、処理用カメラの視野内にワイパー１０２が含まれるタイミングで処理用カメラが撮像した画像に基づいて生成された画像情報の一例である。処理用カメラにより撮像されたワイパー１０２の像は、ハッチングにて図示している。図７に示したように、処理用カメラの視野内にワイパー１０２が含まれる（存在する）と、車両前方の風景の大部分がワイパー１０２の像によって遮蔽されてしまう。その結果、画像領域内における輝度平均値は、処理用カメラの視野内にワイパー１０２が含まれない（存在しない）タイミングで撮像された画像に比べて著しく低下する。
【００４５】
そこで、図５の制御フローにおけるステップＳ１０４では、「処理用カメラ」から物体検出部５０２が取得した最新の画像情報（以下、「最新画像情報」ともいう）の画像領域における輝度平均値と、１つ（１フレーム）前の画像情報（以下、「前画像情報」ともいう）の画像領域における輝度平均値を対比する。この場合、例えば前画像情報の輝度平均値に対する最新画像情報の輝度平均値の比率が所定の基準値以上の場合にワイパー取り込み判別部５０４は、現在、ワイパー取り込み状態ではないと判別し、ステップＳ１０５に進む。一方、前画像情報の輝度平均値に対する最新画像情報の輝度平均値の比率が基準値を下回っている場合、ワイパー取り込み判別部５０４は、現在、ワイパー取り込み状態であると判別し、ステップＳ１０６に進む。
【００４６】
なお、ステップＳ１０４において、前画像情報の輝度平均値と最新画像情報の輝度平均値との差分の大きさに基づいてワイパー取り込み状態であるか否かを判別しても構わない。例えば、前画像情報の輝度平均値から最新画像情報の輝度平均値を減算して得られた値が第２の基準値を超える場合にワイパー取り込み状態であると判別し、そうでない場合にワイパー取り込み状態でないと判別しても良い。上述した基準値、第２の基準値は、実験等の経験則に基づき適正な値をそれぞれ求めておくと良い。また、上記判別手法は例示的に示したものであり、その他の手法を採用しても構わないのは勿論である。
【００４７】
ステップＳ１０５において、物体検出部５０２は、ステップＳ１０２で設定された画像情報選択フラグＦｇを読み込む。そして、狭角画像情報Ｄｎ及び広角画像情報Ｄｗのうち、画像情報選択部５０１が処理用画像情報として選択した方の画像情報を用いて前方物体を検出する。すなわち、画像情報選択フラグＦｇが１にセットされている場合、狭角画像情報Ｄｎを用いて画像解析処理を行い、前方物体を検出する。一方、画像情報選択フラグ
Ｆｇが０にセットされている場合、広角画像情報Ｄｗを用いて画像解析処理を行い、前方物体を検出する。ステップＳ１０５の処理が終了すると、ステップＳ１０７に進む。
【００４８】
ステップＳ１０６においては、物体検出部５０２が、ステップＳ１０２で設定された画像情報選択フラグＦｇを読み込み、狭角画像情報Ｄｎ及び広角画像情報Ｄｗのうち、画像情報選択部５０１が処理用画像情報として選択した方の画像情報とは逆の画像情報（すなわち、処理用画像情報として選択されていない方の画像情報）である非選択画像情報を用いて前方物体を検出する。すなわち、画像情報選択フラグＦｇが１にセットされている場合、狭角画像情報Ｄｎの代わりに広角画像情報Ｄｗを用いて画像解析処理を行い、前方物体を検出する。
【００４９】
一方、画像情報選択フラグＦｇが０にセットされている場合、広角画像情報Ｄｗの代わりに狭角画像情報Ｄｎを用いて画像解析処理を行い、前方物体を検出する。なお、狭角カメラ４は広角カメラ３よりも画角（視野角）が小さいため、検出対象たる前方物体が狭角カメラ４の視野外に位置する場合には、狭角画像情報Ｄｎを用いて前方物体を検出することができないとも考えられる。そのような場合、本ステップにおいて処理用画像情報を広角画像情報Ｄｗから狭角画像情報Ｄｎへと切り替えず、ワイパー取り込み状態になる直前（例えば、１フレーム前）に広角カメラ３が生成した広角画像情報Ｄｗを用いて前方物体を検出すると良い。
【００５０】
例えば、広角カメラ３の画像の取り込み間隔は３０ｍｓ程度（つまり、３０ｍｓ程度に１回の頻度で画像が撮像される）であるのに対して、ＥＣＵ５（物体検出部５０２）における画像処理間隔は１００ｍｓ程度（つまり、１００ｍｓ程度に１回の頻度で画像処理が行われる）である。このように、物体検出部５０２が画像処理を行う頻度に比べて広角カメラ３が画像を取り込む頻度の方が多いため、ワイパー１０２が広角カメラ３の視野内に入る直前に該カメラ３が撮像した画像から生成された広角画像情報Ｄｗを用いることで、前方物体を検出できないという事態を好適に回避することができる。ステップＳ１０６の処理が終了すると、ステップＳ１０７に進む。
【００５１】
なお、上記ステップＳ１０５、Ｓ１０６にかかる処理に際して、物体検出部５０２は、前方物体を検出するために用いる画像情報の画像領域内における前方物体の存在領域の周辺にいわゆるウィンドウを設定し、当該ウィンドウの内部領域について画像処理を行っても良い。ウィンドウは、画像処理の対象領域を全画像領域から画定する（切り出す）ように機能する。なお、画像領域内における前方物体の存在領域については、ミリ波レーダ２から取得するレーダ情報（自車両に対する前方物体の方向及び物体相対距離Ｄｆｗ）に基づいて求めることができる。
【００５２】
ステップＳ１０７では、衝突判定部５０５により、物体検出部５０２が検出した前方物体に自車両が衝突する可能性が高いか否かが判定される。衝突判定部５０５は、物体検出部５０２により検出された前方物体の横位置情報（横位置、大きさ）、及びミリ波レーダ２から取得するレーダ情報、並びに自車両と前方物体との相対速度等に基づいて、自車両と前方物体とが衝突する可能性が高いか否かを判定する。
【００５３】
本ステップにおいて、前方物体が自車両に衝突する可能性が低いと判定された場合、ＥＣＵ５は本ルーチンを一旦終了する。一方、前方物体が自車両に衝突する可能性が高いと判定された場合、ＥＣＵ５はステップＳ１０８に進み、シートベルト巻き取り用アクチュエータやプリクラッシュブレーキアクチュエータ等（図示省略）に制御信号を発信することで衝突被害低減制御を実施する。更に、ＥＣＵ５は、運転者への警報装置（図示省略）に警報ＯＮの信号を発信し、自車両が前方物体と衝突する可能性が高いことを報知する（警報を発する）。ＥＣＵ５は本ステップの処理を終了すると、本ルーチンを一旦終了する
。
【００５４】
以上説明したように本実施例に係る制御によれば、自車両の前方に存在する前方物体の検出にあたり、ワイパー１０２によるフロントガラスの払拭動作に伴って、ワイパー１０２が処理用カメラの視野内を横切る場合であっても、前方物体が未検出となってしまう頻度を好適に低減することができる。また、再び、ワイパー１０２が処理用カメラの視野内に存在しなくなったあとは、画像情報選択部５０１により選択されている方の画像情報を用いて画像処理が行われる。そのため、遠方の前方物体に対しては焦点距離の大きなカメラを用いることで境界検出精度を向上できるという効果を実現し、近接する前方物体に対しては画角（視野角）の大きなカメラを用いることで前方物体をより確実に捉えることができるという効果を実現する。
【００５５】
ところで、本実施例にかかる車両前方監視装置１を適用した車両の走行時において、自車両前方に複数の前方物体が同時に存在するような場合がある。以下、ミリ波レーダ２によって複数の前方物体が検知された場合の制御内容について説明する。
【００５６】
かかる場合、ミリ波レーダ２によって検知された各々の前方物体ごとに、物体相対距離Ｄｆｗが取得される。そして、画像情報選択部５０１は、物体相対距離Ｄｆｗが基準距離Ｄｂ以上である前方物体に対しては処理用画像情報に狭角画像情報Ｄｎを選択し、物体相対距離Ｄｆｗが基準距離Ｄｂ未満である前方物体に対しては処理用画像情報に広角画像情報Ｄｗを選択する。
【００５７】
例えば、自車両の遠方（物体相対距離Ｄｆｗが基準距離Ｄｂ以上）に前方物体Ａ、Ｂが存在し、自車両の近傍（物体相対距離Ｄｆｗが基準距離Ｄｂ未満）に前方物体Ｃが存在する場合、画像情報選択フラグＦｇは前方物体Ａ〜Ｃごとに個別に設定される。この場合、前方物体Ａ及びＢに対しては画像情報選択フラグＦｇが１に設定され、前方物体Ｃに対しては画像情報選択フラグＦｇが０に設定される。
【００５８】
そして、物体検出部５０１は、前方物体Ｃに対応する処理用カメラである広角カメラ３の視野内を払拭動作中のワイパー１０２が横切っていないときには、広角画像情報Ｄｗを用いて前方物体Ｃを検出する。そして、上記広角カメラ３の視野内を払拭動作中のワイパー１０２が横切っているときには、広角画像情報Ｄｗの代わりに狭角画像情報Ｄｎを用いて前方物体Ｃを検出する。これにより、ワイパー１０２の払拭動作時においても前方物体Ｃがワイパー１０２の像に隠れて未検出となってしまうことの頻度を少なくすることができる。
【００５９】
次に、前方物体Ａ、Ｂに関しては、これらに対応する処理用カメラである狭角カメラ４の視野内を払拭動作中のワイパー１０２が横切っていないときには、狭角画像情報Ｄｎを用いて前方物体Ｃを検出する。ここで、狭角画像情報Ｄｎにおける画像領域内には前方物体Ａ、Ｂの２つの検出対象が存在するため、ミリ波レーダ２から取得するレーダ情報に基づいて、前方物体ごとに対応するウィンドウを設定するとよい。そして、狭角カメラ４の視野内を払拭動作中のワイパー１０２が横切っているときには、狭角画像情報Ｄｎの代わりに広角画像情報Ｄｗを用いて前方物体Ａ及びＢを検出する。これにより、ワイパー１０２の払拭動作時においても前方物体Ａ及びＢがワイパー１０２の像に隠れて未検出となってしまうことの頻度を少なくすることができる。
【００６０】
本実施例においては、ＥＣＵ５を構成する画像情報選択部５０１、物体検出部５０２、ワイパー取り込み判別部５０４のそれぞれが、本発明における選択手段、検出手段、判別手段に対応している。
【符号の説明】
【００６１】
１・・・車両前方監視装置
２・・・ミリ波レーダ
３・・・広角カメラ
４・・・狭角カメラ
５・・・ＥＣＵ
５０１・画像情報選択部
５０２・物体検出部
５０３・ワイパー作動検知部
５０４・ワイパー取り込み判別部
５０５・衝突判定部
【特許請求の範囲】
【請求項１】
フロントガラス越しに自車両前方を撮像する、車室内に設けられた狭角カメラと、
前記狭角カメラよりも広い画角を有し、且つフロントガラス越しに自車両前方を撮像する、車室内に設けられた広角カメラと、
前記狭角カメラが生成する画像情報である狭角画像情報および前記広角カメラが生成する画像情報である広角画像情報の何れか一方を用いて画像処理を行い、自車両前方に存在する前方物体を検出する検出手段と、
前記前方物体と自車両との相対距離に応じて、前記狭角画像情報および広角画像情報の何れか一方を前記検出手段が用いる画像情報として選択する選択手段と、
前記選択手段により選択されている画像情報を生成するカメラの視野内に自車両のフロントガラスを払拭するワイパーが含まれているか否かを判別する判別手段と、を備え、
前記検出手段は、前記判別手段が前記視野内に前記ワイパーが含まれていると判別している場合、前記選択手段により選択されていない方の画像情報を用いて前記前方物体を検出することを特徴とする車両前方監視装置。
【請求項２】
前記選択手段は、前記前方物体と自車両との相対距離が所定の基準距離以上の場合に前記狭角画像情報を選択し、該相対距離が該基準距離未満の場合に前記広角画像情報を選択することを特徴とする請求項１に記載の車両前方監視装置。
【請求項１】
フロントガラス越しに自車両前方を撮像する、車室内に設けられた狭角カメラと、
前記狭角カメラよりも広い画角を有し、且つフロントガラス越しに自車両前方を撮像する、車室内に設けられた広角カメラと、
前記狭角カメラが生成する画像情報である狭角画像情報および前記広角カメラが生成する画像情報である広角画像情報の何れか一方を用いて画像処理を行い、自車両前方に存在する前方物体を検出する検出手段と、
前記前方物体と自車両との相対距離に応じて、前記狭角画像情報および広角画像情報の何れか一方を前記検出手段が用いる画像情報として選択する選択手段と、
前記選択手段により選択されている画像情報を生成するカメラの視野内に自車両のフロントガラスを払拭するワイパーが含まれているか否かを判別する判別手段と、を備え、
前記検出手段は、前記判別手段が前記視野内に前記ワイパーが含まれていると判別している場合、前記選択手段により選択されていない方の画像情報を用いて前記前方物体を検出することを特徴とする車両前方監視装置。
【請求項２】
前記選択手段は、前記前方物体と自車両との相対距離が所定の基準距離以上の場合に前記狭角画像情報を選択し、該相対距離が該基準距離未満の場合に前記広角画像情報を選択することを特徴とする請求項１に記載の車両前方監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１２３５４８（Ｐ２０１１−１２３５４８Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２００９−２７８５６０（Ｐ２００９−２７８５６０）
【出願日】平成２１年１２月８日（２００９．１２．８）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２１年１２月８日（２００９．１２．８）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]