車両周辺監視装置
【課題】視差オフセット量を算出するに際に基準とする対象物を移動する対象物として高精度に視差オフセット量を算出することができる車両周辺監視装置を提供する。
【解決手段】本発明の車両周辺監視装置によれば、２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量が算出される。レーダ装置により距離が検出される一の照射領域に対象物が１つのみ存在し、かつ、一の照射領域に対応する撮像画像における一の局所画像領域に、抽出された対象物が１つのみ存在するという所定条件を満たす場合に、レーダ装置により対象物までの距離が検出されるとともに、２つの撮像装置により得られた対象物の視差が算出される。前記のことより、視差オフセット量を高精度に算出することができる。
【解決手段】本発明の車両周辺監視装置によれば、２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量が算出される。レーダ装置により距離が検出される一の照射領域に対象物が１つのみ存在し、かつ、一の照射領域に対応する撮像画像における一の局所画像領域に、抽出された対象物が１つのみ存在するという所定条件を満たす場合に、レーダ装置により対象物までの距離が検出されるとともに、２つの撮像装置により得られた対象物の視差が算出される。前記のことより、視差オフセット量を高精度に算出することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像装置によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
車両に搭載された２つの撮像手段によって得られる２つの画像に基づいて対象物の視差を算出し、この視差から対象物までの距離を検出する技術が知られている（例えば、特許文献１参照）。上記従来技術では、第１および第２の時刻において静止している対象物の視差を算出するとともに、車速センサから第１の時刻から第２の時刻までの期間における車両の移動量を算出する。そして、前記視差ならびに車両の移動量に基づいて、２つの撮像手段の光軸間平行度ずれに起因する視差オフセット量を算出し、この算出した視差オフセット量により視差を補正する。
【特許文献１】特開２００１−１６９３１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記従来技術は、視差オフセット量を算出する際に第１および第２の時刻における視差の基準となる対象物を静止している対象物としている。このため、視差オフセット量を算出するに際に第１および第２の時刻における視差の基準となる対象物を移動する対象物とすると、第１および第２の時刻における視差の変化量と車両の移動量との対応関係は一定しないので、上記従来技術の手法により算出される視差オフセット量が保証できなくなる。
【０００４】
そこで、本発明は、視差オフセット量を算出する際に基準とする対象物を移動する対象物として高精度に視差オフセット量を算出することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
第１発明の車両周辺監視装置は、車両に搭載された２つの撮像装置により得られた２つの撮像画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出して車両の周辺を監視する車両周辺監視装置であって、前記車両から放射状に広がる複数の送信波の照射領域における反射波の強度を検知することにより第１の対象物までの距離を検出するレーダ装置と、前記２つの撮像装置により得られた第２の対象物の視差を算出する視差算出手段と、前記第１の対象物と前記第２の対象物とが同一対象物であるか否かを判定する同一対象物判定手段と、前記同一対象物判定手段により前記第１の対象物と前記第２の対象物とが前記同一対象物であると判定された場合、前記レーダ装置で検出された前記車両から前記同一対象物までの距離と前記視差算出手段により算出された前記２つの撮像装置により得られた前記同一対象物の視差とに基づいて、前記２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量を算出する視差オフセット量算出手段と、前記視差オフセット量算出手段により算出された視差オフセット量に基づいて視差を補正する視差補正手段とを備えることを特徴とする。
【０００６】
第１発明の車両周辺監視装置によれば、レーダ装置により車両からの距離が検出された第１の対象物と２つの撮像装置により得られた第２の対象物とが同一対象物であると判定された場合、レーダ装置で検出された車両から同一対象物までの距離と２つの撮像装置により得られた同一対象物の視差とに基づいて、２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量を算出する視差オフセット量が算出される。レーダ装置により車両から第１の対象物までの距離が静止している対象物または移動する対象物によらず正確に検出されることに鑑みて、前記のような手法により視差オフセット量を高精度に算出することができる。
【０００７】
第２発明の車両周辺監視装置は、請求項１に記載の車両周辺監視装置において、前記同一対象物判定手段は、前記レーダ装置により距離が検出された一の前記照射領域に第１の対象物が１つのみ存在し、かつ、前記一の照射領域に対応する前記撮像画像における一の局所画像領域に、前記２つの撮像装置により得られた第２の対象物が１つのみ存在するという所定条件が満たされているか否かに応じて、前記第１の対象物と前記第２の対象物とが同一対象物であるか否かを判定することを特徴とする。
【０００８】
第２発明の車両周辺監視装置によれば、レーダ装置により検出された車両から対象物までの距離と２つの撮像装置により得られた対象物から算出された視差とに基づいて、２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量が算出される。レーダ装置により距離が検出される一の照射領域に対象物が１つのみ存在し、かつ、一の照射領域に対応する撮像画像における一の局所画像領域に、抽出された対象物が１つのみ存在するという所定条件を満たさなければ、一の照射領域においてレーダ装置により距離が検出された対象物とこれに対応する一の局所画像領域から抽出された対象物が同一の対象物であるか否かを判定するのが困難であり、視差オフセット量を高精度に算出することができない。一方、前記所定条件が満たされれば一の照射領域においてレーダ装置により距離が検出された対象物とこれに対応する一の局所画像領域から抽出された対象物が同一の対象物である可能性が高い。この点に鑑みて、前記所定条件が満たす場合に、レーダ装置により対象物までの距離が検出されるとともに、２つの撮像装置により得られた対象物の視差が算出される。前記のことにより、視差オフセット量を高精度に算出することができる。
【０００９】
第３発明の車両周辺監視装置は、第２発明の車両周辺監視装置において、前記視差オフセット量算出手段は、前記同一対象物判定手段により複数の前記照射領域と該複数の照射領域にそれぞれ対応する複数の前記局所画像領域とについて前記所定条件が満たされている場合、前記第１の対象物と前記第２の対象物とが同一であると判定された複数の前記同一対象物における前記視差オフセット量を平均し、前記視差補正手段は、前記平均された視差オフセット量に基づいて視差を補正することを特徴とする。
【００１０】
第３発明の車両周辺監視装置によれば、複数の照射領域とこの複数の照射領域にそれぞれ対応する複数の局所画像領域について所定条件が満たされていると判定された場合、所定条件を満たす複数の対象物における視差オフセット量が平均される。したがって、所定条件を満たす複数の照射領域における対象物までの測定距離誤差にばらつきがあるような場合でも、測定誤差ばらつきの影響が低減され高精度に視差オフセット量を算出することができる。
【００１１】
第４発明の車両周辺監視装置は、車両に搭載された２つの撮像装置により得られた２つの撮像画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出して車両の周辺を監視する車両周辺監視装置であって、前記車両から放射状に広がる複数の送信波の照射領域における反射波の強度を検知することにより対象物までの距離を検出するレーダ装置と、前記レーダ装置により前記対象物までの距離に基づいて前記対象物が前方車両があるか否かを判定する車両判定手段と、前記２つの撮像装置により得られた前記対象物の視差を算出する視差算出手段と、前記車両判定手段により前記前方車両があると判定された場合、前記レーダ装置で検出された前記車両から前記前方車両までの距離と前記視差算出手段により算出された前記２つの撮像装置により得られた前記前方車両の視差とに基づいて、前記２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量を算出する視差オフセット量算出手段と、前記視差オフセット量算出手段により算出された視差オフセット量に基づいて視差を補正する視差補正手段とを備えることを特徴とする。
【００１２】
第４発明の車両周辺監視装置によれば、レーダ装置により対象物までの距離に基づいて対象物が前方車両であると判定された場合、レーダ装置で検出された車両から前方車両までの距離と２つの撮像装置により得られた前方車両の視差とに基づいて、２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量が算出される。レーダ装置により車両から前方車両までの距離が正確に検出されることに鑑みて、前記のような手法により視差オフセット量を高精度に算出することができる。
【００１３】
第５発明の車両周辺監視装置は、車両に搭載された２つの撮像装置により得られた２つの撮像画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出して車両の周辺を監視する車両周辺監視装置であって、前記車両から放射状に広がる複数の送信波の照射領域における反射波の強度を検知することにより対象物までの距離を検出するレーダ装置と、前記２つの撮像装置により得られた前記対象物が前方車両があるか否かを判定する車両判定手段と、前記２つの撮像装置により得られた前記対象物の視差を算出する視差算出手段と、前記車両判定手段により前記前方車両があると判定された場合、前記レーダ装置で検出された前記車両から前記前方車両までの距離と前記視差算出手段により算出された前記２つの撮像装置により得られた前記前方車両の視差とに基づいて、前記２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量を算出する視差オフセット量算出手段と、前記視差オフセット量算出手段により算出された視差オフセット量に基づいて視差を補正する視差補正手段とを備えることを特徴とする。
【００１４】
第５発明の車両周辺監視装置によれば、２つの撮像装置により得られた対象物が前方車両があると判定された場合、レーダ装置で検出された車両から前方車両までの距離と２つの撮像装置により得られた前方車両の視差とに基づいて、２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量が算出される。レーダ装置により車両から前方車両までの距離が正確に検出されることに鑑みて、前記のような手法により視差オフセット量を高精度に算出することができる。
【発明を実施するための最良の形態】
【００１５】
[第１実施形態]
本発明の車両周辺監視装置の第１実施形態について説明する。まず、本実施形態の車両周辺監視装置の構成について説明する。車両周辺監視装置は図１および図２に示されている画像処理ユニット１を備えている。画像処理ユニット１には、自車両１０の前方の画像を撮像する撮像装置としての２つの赤外線カメラ２Ｒ，２Ｌおよび自車両１０の前方の対象物までの距離を検出するレーダ装置３が接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを検出するヨーレートセンサ４、自車両１０の走行速度（車速）を検出する車速センサ５、および自車両１０のブレーキ操作の有無を検出するブレーキセンサ６とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な通報情報を出力するためのスピーカ７、および赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な通報情報を表示するための表示装置８が接続されている。なお、赤外線カメラ２Ｒ，２Ｌが本発明における撮像装置に相当する。
【００１６】
画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する）、画像メモリなどを含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、レーダ装置３、ヨーレートセンサ４、車速センサ５およびブレーキセンサ６から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化されて、マイクロコンピュータに入力される。そして、マイクロコンピュータは、入力されたデータを基に、人（歩行者、自転車に乗っている者）などの対象物を検出し、検出した対象物が所定の通報要件を満す場合にスピーカ７や表示装置８により運転者に通報を発する処理を実行する。
【００１７】
図２に示されているように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、自車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それら位置は、自車両１０の車幅方向の中心に対して左右対称である。赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に自車両１０の前後方向に延在し、かつ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。
【００１８】
レーダ装置３は自車両１０の前側に赤外線カメラ２Ｒ，２Ｌの上方に位置するように取り付けられている。レーダ装置３は上方から見たときに図３に示されているように赤外線カメラ２Ｒ，２Ｌの撮像領域より狭い幅で広がるミリ波（電磁波）のビームＢＭを自車両１０の前方に送信する。レーダ装置３における照射領域は、第１の照射領域ＢＭ１〜第７の照射領域ＢＭ７に分かれている。レーダ装置３は走査型のレーダ装置であり、自車両３の前方領域が自車両１０の左右方向に走査されるように、一定強度のビームＢＭがその送信角度を一定角度ずつずらしながら送信される。ビームＢＭの左右方向の走査範囲は赤外線カメラ２Ｒ，２Ｌの撮像領域を水平方向についてすべて包含するように設定されている。また、ビームＢＭの上下方向の幅は、赤外線カメラ２Ｒ，２Ｌの上下方向の視野を含むように設定されている。そして、レーダ装置３はこのミリ波の反射波、すなわち、自車両１０の前方に存在する対象物により反射されたミリ波を上下方向に配列された受信アンテナ（図示略）により受信する。また、レーダ装置３は照射領域ごとに反射波の強度を測定し、かつ、反射強度と、自車両１０から、反射波の原因となった物体までの距離との相関関係を表わす反射強度データを画像処理ユニット１に出力する。なお、レーダ装置としてはミリ波等の電磁波（レーザー光など）のほか、超音波等の弾性振動波を用いるレーダ装置が採用されてもよい。
【００１９】
また、本実施形態では、表示装置８として、自車両１０のフロントウィンドウに画像情報を表示するヘッド・アップ・ディスプレイ８ａ（以下、ＨＵＤ８ａという）を備えている。なお、表示装置８として、ＨＵＤ８ａの代わりに、もしくは、ＨＵＤ８ａとともに、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを用いてもよい。
【００２０】
次に、本実施形態の車両周辺監視装置の主要な機能である視差オフセット量算出処理について図４のフローチャートを用いて説明する。
【００２１】
まず、レーダ装置３により対象物までの距離を検出する（図４／ＳＴＥＰ１００）。具体的には、レーダ装置３は照射領域ごとに反射波の強度を測定し、かつ、反射強度と、自車両１０から、反射波の原因となった物体までの距離との相関関係を表わす反射強度データを画像処理ユニット１に出力する。
【００２２】
次いで、レーダ装置３により距離が検出された一の照射領域に対象物が１つのみ存在し、かつ、一の照射領域に対応する撮像画像における一の局所画像領域に、対象物抽出手段により抽出された対象物が１つのみ存在するという所定条件を満たしている照射領域および局所画像領域の組の有無を判定する（図４／ＳＴＥＰ１０２）。なお、レーダ装置３の第１の照射領域ＢＭ１〜第７のＢＭ７では、たとえば図５に示すように対象物が検出される。第１の照射領域ＢＭ１〜第７の照射領域ＢＭ７における「○」は対象物を示している。また、レーダ装置３における各照射領域ＢＭ１〜ＢＭ７に対応する赤外線カメラ２Ｒ，２Ｌの撮像画像における各局所画像領域は、たとえば図６に示すように、レーダ装置３における第１の照射領域ＢＭ１〜第７の照射領域ＢＭ７に対応するように赤外線カメラ２Ｒ，２Ｌの撮像画像を左右方向に分割した第１の局所画像領域ＬＡ１〜第７の局所画像領域ＬＡ７である。第１の局所画像領域ＬＡ１〜第７の局所画像領域ＬＡ７における「○」は対象物を示している。第１の照射領域では、距離が検出された対象物が重なって２つ検出され、かつ、第１の照射領域ＢＭ１に対応する第１の局所画像領域ＬＡ１では、対象物が１つのみ抽出される。したがって、第１の照射領域ＢＭ１と第１の局所画像領域ＬＡ１との組は前記所定条件を満たしていないと判定される。また、第２の照射領域ＢＭ２では、距離が検出された対象物が離れて２つ検出され、かつ、第２の照射領域ＢＭ２に対応する第２の局所画像領域ＬＡ２には対象物が離れて２つ抽出される。したがって、第２の照射領域ＢＭ２と第２の局所画像領域ＬＡ２との組は前記所定条件を満たしていないと判定される。また、第３の照射領域ＢＭ３では、距離が検出された対象物が１つのみ検出され、かつ、第３の照射領域ＢＭ３に対応する第３の局所画像領域ＬＡ３では、対象物が１つのみ抽出される。したがって、第３の照射領域ＢＭ３と第３の局所画像領域ＬＡ３との組は前記所定条件を満たしていると判定される。また、第４の照射領域ＢＭ４では、距離が検出された対象物が１のみ検出され、かつ、第４の照射領域ＢＭ４に対応する第４の局所画像領域では、対象物が１のみ抽出される。したがって、第４の照射領域ＢＭ４と第４の局所画像領域ＬＡ４との組は前記所定条件を満たしている判定される。また、第５の照射領域ＢＭ５では、距離が検出された対象物が１つのみ検出され、かつ、第５の照射領域ＢＭ５に対応する第５の局所画像領域では、対象物が１つのみ抽出される。したがって、第５の照射領域ＢＭ５と第５の局所画像領域ＬＡ５との組は前記所定条件を満たしている判定される。また、第６の照射領域ＢＭ６では、距離が検出された対象物が２つ検出され、かつ、第６の照射領域ＢＭ６に対応する第６の局所画像領域ＬＡ６では、対象物が２つ抽出される。したがって、第６の照射領域ＢＭ６と第６の局所画像領域ＬＡ６との組は前記所定条件を満たしていないと判定される。また、第７の照射領域ＢＭ７では、対象物が検出されなく、かつ、第７の照射領域ＢＭ７に対応する第７の局所画像領域ＬＡ７では、対象物が抽出されない。したがって、第７の照射領域ＢＭ７と第７の局所画像領域ＬＡ７との組は前記所定条件を満たしていないと判定される。以上より、前記所定条件を満たすと判定される照射領域と局所画像領域は、第３の照射領域と第３の局所画像領域、第４の照射領域と第４の局所画像領域、および、第５の照射領域と第５の局所画像領域である。
【００２３】
そして、前記所定条件が満たされていると判定された照射領域と局所画像領域が存在する場合（図４／ＳＴＥＰ１０２‥ＹＥＳ）、一の照射領域に存在する１つの対象物までの距離を、レーダ装置３から画像処理ユニット１に送信された反射強度データに基づいて算出する（図４／ＳＴＥＰ１０４）。
【００２４】
その後、赤外線カメラ２Ｒ，２Ｌの撮像画像により得られた一の照射領域に対応する一の局所画像領域に存在する対象物の視差を算出する（図４／ＳＴＥＰ１０６）。なお、当該視差は、図６に示すように、基準画像の対象物ＢＯと同一の探索画像の対象物ＳＯを水平方向の位置が一致するようにするエピポーラ拘束の基で算出する。
【００２５】
次いで、ＳＴＥＰ１０４により算出された自車両１０から対象物までの距離と、ＳＴＥＰ１０６により算出された対象物の視差とに基づいて視差オフセット量が算出される（図４／ＳＴＥＰ１０８）。具体的に視差オフセット量Ｏｆｆｓｅｔは式（１）で算出される。なお、Ｚは、ＳＴＥＰ１０４により算出された自車両１０から対象物までの距離、Ｄｎは、ＳＴＥＰ１０６により算出された対象物の視差、Ｄは、赤外線カメラ２Ｒ，２Ｌの左右の間隔である基線長、および、Ｆは、赤外線カメラ２Ｒ，２Ｌのレンズの焦点距離を画素ピッチで割った値である。
【００２６】
【数１】
【００２７】
そして、視差オフセット量を、本視差オフセット量算出処理の結果により得られた値に更新する（視差補正手段）。
【００２８】
なお、図５および図６に示すように、前記所定条件を満たしている照射領域および局所画像領域の組の有無を複数の対象物について判定して、複数の組について所定条件が満たされる場合には複数の視差オフセット量を平均するようにしてもよい。
【００２９】
前記機能を発揮する車両周辺監視装置によれば、レーダ装置３により検出された自車両１０から対象物までの距離と赤外線カメラ２Ｒ，２Ｌにより得られた対象物から算出された視差とに基づいて、赤外線カメラ２Ｒ，２Ｌの光軸間平行度ずれに起因する視差オフセット量が算出される（図４／Ｓ１００〜Ｓ１０８、図５、図６参照）。レーダ装置３により距離が検出される一の照射領域に対象物が１つのみ存在し、かつ、一の照射領域に対応する撮像画像における一の局所画像領域に、抽出された対象物が１つのみ存在するという所定条件を満たさなければ、一の照射領域のレーダ装置３により距離が検出された対象物とこれに対応する一の局所画像領域から抽出された対象物が同一の対象物であるか否かを判定するのが困難であり、視差オフセット量を高精度に算出することができない。一方、前記所定条件が満たされれば一の照射領域のレーダ装置３により距離が検出された対象物とこれに対応する一の局所画像領域から抽出された対象物が同一の対象物である可能性が高い。この点に鑑みて、前記所定条件が満たす場合に、レーダ装置３により対象物までの距離が検出されるとともに、赤外線カメラ２Ｒ，２Ｌにより得られた対象物の視差が算出される。前記のことにより、視差オフセット量を高精度に算出することができる。
【００３０】
また、前記所定条件を満たす複数の対象物があり、ＳＴＥＰ１０４により算出される各対象物における自車両１０からこの対象物までの距離の差が所定値以下の場合、複数のこの対象物における視差オフセット量を平均するようにしてもよい。たとえば、図７に示すように、視差オフセット量を算出する際に基準とする対象物を赤外線カメラ２Ｒ，２Ｌの撮像画像により得られた前方車両ＦＢとすることができる。前方車両ＦＢは、複数の局所画像領域ＬＡ３〜ＬＡ５に亘る１つの対象物である。なお、この場合に視差は、基準画像の対象物ＢＯと同一の探索画像の対象物ＳＯを水平方向の位置が一致するようにするエピポーラ拘束の基で算出する。なお、赤外線カメラ２Ｒ，２Ｌの撮像画像から抽出された対象物が車両であるか否かの判定は、例えば本出願人による特開２００４−３４８６４５号の図７に記載されている処理で行うことができる。本例によれば、複数の照射領域におけるそれぞれの自車両１０から対象物までの距離の差が所定値以下の場合、複数の対象物における視差オフセット量を平均する。したがって、所定条件を満たす複数の照射領域における対象物までの測定距離誤差にばらつきがあるような場合でも、測定誤差ばらつきの影響が低減され、当該複数の照射領域のそれぞれにおいて距離が測定された複数の対象物を一部として有する１つの物体（具体的には、前方車両）について高精度に視差オフセット量を算出することができる。
【００３１】
なお、画像処理ユニット１によりＳＴＥＰ１０２の処理を実行する構成が、本発明の同一対象物判定手段に相当し、ＳＴＥＰ１０６の処理を実行する構成が、本発明の視差算出手段に相当し、ＳＴＥＰ１０８の処理を実行する構成が、本発明の視差オフセット量算出手段に相当する。
[第２実施形態]
次に、本発明の車両周辺監視装置における第２実施形態について説明する。本実施形態は、第１実施形態における図４に示す視差オフセット量算出処理を、図８に示す視差オフセット量算出処理にしたものである。
【００３２】
まず、レーダ装置３により対象物までの距離に基づいて対象物が前方車両があるか否かを判定する（図８／ＳＴＥＰ２００）。具体的には、第１の時刻においてレーダ装置３で測定した対象物までの距離と、第２の時刻においてレーダ装置３で測定した対象物までの距離との差が、あらかじめ設定した所定値以内である場合に、レーダ装置３により距離を測定した対象物が前方車両であると判定する。
【００３３】
次いで、レーダ装置３により距離を測定した対象物が前方車両であると判定された場合（図８／ＳＴＥＰ２００‥ＹＥＳ）、前方車両までの距離を、レーダ装置３から画像処理ユニット１に送信された反射強度データに基づいて算出する（図８／ＳＴＥＰ２０２）。
【００３４】
そして、赤外線カメラ２Ｒ，２Ｌの撮像画像により得られた前方車両の視差を算出する（図８／ＳＴＥＰ２０４）。なお、当該視差は、図７に示すように、基準画像の対象物ＢＯと同一の探索画像の対象物ＳＯを水平方向の位置が一致するようにするエピポーラ拘束の基で算出する。
【００３５】
その後、ＳＴＥＰ２０２により算出された自車両１０から対象物までの距離と、ＳＴＥＰ２０４により算出された対象物の視差とに基づいて視差オフセット量が算出される（図８／ＳＴＥＰ２０６）。具体的に視差オフセット量Ｏｆｆｓｅｔは式（１）で算出される。
【００３６】
そして、視差オフセット量を、本視差オフセット量算出処理の結果により得られた値に更新する（視差補正手段）。
【００３７】
なお、レーダ装置３により距離測定した対象物が前方車両であると判定された対象物が複数ある場合には、複数の対象物における視差オフセット量を平均するようにしてもよい。
【００３８】
前記機能を発揮する車両周辺監視装置によれば、レーダ装置３により対象物までの距離に基づいて対象物が前方車両があると判定された場合、レーダ装置３で検出された車両から前方車両までの距離と赤外線カメラ２Ｒ，２Ｌにより得られた前方車両の視差とに基づいて、２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量が算出される（図８／Ｓ２００〜２０６、図７参照）。自車両と同一速度で移動している対象物は、自車両との相対距離が変化しないため視差は一定であることに鑑みて、前記のような方法により視差オフセット量を高精度に算出することができる。
【００３９】
なお、画像処理ユニット１によりＳＴＥＰ２００の処理を実行する構成が、本発明の車両判定手段に相当し、ＳＴＥＰ２０４の処理を実行する構成が、本発明の視差算出手段に相当し、ＳＴＥＰ２０６の処理を実行する構成が、本発明の視差オフセット量算出手段に相当する。
[第３実施形態]
次に、本発明の車両周辺監視装置における第３実施形態について説明する。本実施形態は、第１実施形態における図４に示す視差オフセット量算出処理を、図９に示す視差オフセット量算出処理にしたものである。
【００４０】
まず、赤外線カメラ２Ｒ，２Ｌにより得られた対象物が前方車両があるか否かを判定する（図９／ＳＴＥＰ３００）。たとえば、メモリにあらかじめ保存されているテンプレートとパターンマッチングすることにより判定する。
【００４１】
次いで、赤外線カメラ２Ｒ，２Ｌにより得られた対象物が前方車両であると判定された場合（図９／ＳＴＥＰ３００‥ＹＥＳ）、前方車両までの距離を、レーダ装置３から画像処理ユニット１に送信された反射強度データに基づいて算出する（図９／ＳＴＥＰ３０２）。
【００４２】
そして、赤外線カメラ２Ｒ，２Ｌの撮像画像により得られた前方車両の視差を算出する（図９／ＳＴＥＰ３０４）。なお、当該視差は、図７に示すように、基準画像の対象物ＢＯと同一の探索画像の対象物ＳＯを水平方向の位置が一致するようにするエピポーラ拘束の基で算出する。
【００４３】
その後、ＳＴＥＰ３０２により算出された自車両１０から対象物までの距離と、ＳＴＥＰ３０４により算出された対象物の視差とに基づいて視差オフセット量が算出される（図９／ＳＴＥＰ３０６）。具体的に視差オフセット量Ｏｆｆｓｅｔは式（１）で算出される。
【００４４】
そして、視差オフセット量を、本視差オフセット量算出処理の結果により得られた値に更新する（視差補正手段）。
【００４５】
前記機能を発揮する車両周辺監視装置によれば、赤外線カメラ２Ｒ，２Ｌにより得られた対象物が前方車両があると判定された場合、レーダ装置３で検出された車両から前方車両までの距離と赤外線カメラ２Ｒ，２Ｌにより得られた前方車両の視差とに基づいて、赤外線カメラ２Ｒ，２Ｌの光軸間平行度ずれに起因する視差オフセット量が算出される（図９／Ｓ３００〜３０６、図７参照）。自車両と同一速度で移動している対象物は、自車両との相対距離が変化しないため視差は一定であることに鑑みて、前記のような方法により視差オフセット量を高精度に算出することができる。
【００４６】
なお、画像処理ユニット１によりＳＴＥＰ３００の処理を実行する構成が、本発明の車両判定手段に相当し、ＳＴＥＰ３０４の処理を実行する構成が、本発明の視差算出手段に相当し、ＳＴＥＰ３０６の処理を実行する構成が、本発明の視差オフセット量算出手段に相当する。
【図面の簡単な説明】
【００４７】
【図１】本発明の車両の周辺監視装置の一実施形態の全体構成を示す図
【図２】図１の周辺監視装置を備えた車両の斜視図
【図３】レーダ装置の走査範囲に関する説明図
【図４】第１実施形態における視差オフセット量算出処理を示すフローチャート
【図５】画像処理ユニットの処理を説明するための図
【図６】画像処理ユニットの処理を説明するための図
【図７】画像処理ユニットの処理を説明するための図
【図８】第２実施形態における視差オフセット量算出処理を示すフローチャート
【図９】第３実施形態における視差オフセット量算出処理を示すフローチャート
【符号の説明】
【００４８】
１…画像処理ユニット（同一対象物判定手段、車両判定手段、視差オフセット量算出手段、視差補正手段）、２Ｒ，２Ｌ…赤外線カメラ（撮像装置）、３…レーダ装置
【技術分野】
【０００１】
本発明は、車両に搭載された撮像装置によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
車両に搭載された２つの撮像手段によって得られる２つの画像に基づいて対象物の視差を算出し、この視差から対象物までの距離を検出する技術が知られている（例えば、特許文献１参照）。上記従来技術では、第１および第２の時刻において静止している対象物の視差を算出するとともに、車速センサから第１の時刻から第２の時刻までの期間における車両の移動量を算出する。そして、前記視差ならびに車両の移動量に基づいて、２つの撮像手段の光軸間平行度ずれに起因する視差オフセット量を算出し、この算出した視差オフセット量により視差を補正する。
【特許文献１】特開２００１−１６９３１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記従来技術は、視差オフセット量を算出する際に第１および第２の時刻における視差の基準となる対象物を静止している対象物としている。このため、視差オフセット量を算出するに際に第１および第２の時刻における視差の基準となる対象物を移動する対象物とすると、第１および第２の時刻における視差の変化量と車両の移動量との対応関係は一定しないので、上記従来技術の手法により算出される視差オフセット量が保証できなくなる。
【０００４】
そこで、本発明は、視差オフセット量を算出する際に基準とする対象物を移動する対象物として高精度に視差オフセット量を算出することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
第１発明の車両周辺監視装置は、車両に搭載された２つの撮像装置により得られた２つの撮像画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出して車両の周辺を監視する車両周辺監視装置であって、前記車両から放射状に広がる複数の送信波の照射領域における反射波の強度を検知することにより第１の対象物までの距離を検出するレーダ装置と、前記２つの撮像装置により得られた第２の対象物の視差を算出する視差算出手段と、前記第１の対象物と前記第２の対象物とが同一対象物であるか否かを判定する同一対象物判定手段と、前記同一対象物判定手段により前記第１の対象物と前記第２の対象物とが前記同一対象物であると判定された場合、前記レーダ装置で検出された前記車両から前記同一対象物までの距離と前記視差算出手段により算出された前記２つの撮像装置により得られた前記同一対象物の視差とに基づいて、前記２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量を算出する視差オフセット量算出手段と、前記視差オフセット量算出手段により算出された視差オフセット量に基づいて視差を補正する視差補正手段とを備えることを特徴とする。
【０００６】
第１発明の車両周辺監視装置によれば、レーダ装置により車両からの距離が検出された第１の対象物と２つの撮像装置により得られた第２の対象物とが同一対象物であると判定された場合、レーダ装置で検出された車両から同一対象物までの距離と２つの撮像装置により得られた同一対象物の視差とに基づいて、２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量を算出する視差オフセット量が算出される。レーダ装置により車両から第１の対象物までの距離が静止している対象物または移動する対象物によらず正確に検出されることに鑑みて、前記のような手法により視差オフセット量を高精度に算出することができる。
【０００７】
第２発明の車両周辺監視装置は、請求項１に記載の車両周辺監視装置において、前記同一対象物判定手段は、前記レーダ装置により距離が検出された一の前記照射領域に第１の対象物が１つのみ存在し、かつ、前記一の照射領域に対応する前記撮像画像における一の局所画像領域に、前記２つの撮像装置により得られた第２の対象物が１つのみ存在するという所定条件が満たされているか否かに応じて、前記第１の対象物と前記第２の対象物とが同一対象物であるか否かを判定することを特徴とする。
【０００８】
第２発明の車両周辺監視装置によれば、レーダ装置により検出された車両から対象物までの距離と２つの撮像装置により得られた対象物から算出された視差とに基づいて、２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量が算出される。レーダ装置により距離が検出される一の照射領域に対象物が１つのみ存在し、かつ、一の照射領域に対応する撮像画像における一の局所画像領域に、抽出された対象物が１つのみ存在するという所定条件を満たさなければ、一の照射領域においてレーダ装置により距離が検出された対象物とこれに対応する一の局所画像領域から抽出された対象物が同一の対象物であるか否かを判定するのが困難であり、視差オフセット量を高精度に算出することができない。一方、前記所定条件が満たされれば一の照射領域においてレーダ装置により距離が検出された対象物とこれに対応する一の局所画像領域から抽出された対象物が同一の対象物である可能性が高い。この点に鑑みて、前記所定条件が満たす場合に、レーダ装置により対象物までの距離が検出されるとともに、２つの撮像装置により得られた対象物の視差が算出される。前記のことにより、視差オフセット量を高精度に算出することができる。
【０００９】
第３発明の車両周辺監視装置は、第２発明の車両周辺監視装置において、前記視差オフセット量算出手段は、前記同一対象物判定手段により複数の前記照射領域と該複数の照射領域にそれぞれ対応する複数の前記局所画像領域とについて前記所定条件が満たされている場合、前記第１の対象物と前記第２の対象物とが同一であると判定された複数の前記同一対象物における前記視差オフセット量を平均し、前記視差補正手段は、前記平均された視差オフセット量に基づいて視差を補正することを特徴とする。
【００１０】
第３発明の車両周辺監視装置によれば、複数の照射領域とこの複数の照射領域にそれぞれ対応する複数の局所画像領域について所定条件が満たされていると判定された場合、所定条件を満たす複数の対象物における視差オフセット量が平均される。したがって、所定条件を満たす複数の照射領域における対象物までの測定距離誤差にばらつきがあるような場合でも、測定誤差ばらつきの影響が低減され高精度に視差オフセット量を算出することができる。
【００１１】
第４発明の車両周辺監視装置は、車両に搭載された２つの撮像装置により得られた２つの撮像画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出して車両の周辺を監視する車両周辺監視装置であって、前記車両から放射状に広がる複数の送信波の照射領域における反射波の強度を検知することにより対象物までの距離を検出するレーダ装置と、前記レーダ装置により前記対象物までの距離に基づいて前記対象物が前方車両があるか否かを判定する車両判定手段と、前記２つの撮像装置により得られた前記対象物の視差を算出する視差算出手段と、前記車両判定手段により前記前方車両があると判定された場合、前記レーダ装置で検出された前記車両から前記前方車両までの距離と前記視差算出手段により算出された前記２つの撮像装置により得られた前記前方車両の視差とに基づいて、前記２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量を算出する視差オフセット量算出手段と、前記視差オフセット量算出手段により算出された視差オフセット量に基づいて視差を補正する視差補正手段とを備えることを特徴とする。
【００１２】
第４発明の車両周辺監視装置によれば、レーダ装置により対象物までの距離に基づいて対象物が前方車両であると判定された場合、レーダ装置で検出された車両から前方車両までの距離と２つの撮像装置により得られた前方車両の視差とに基づいて、２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量が算出される。レーダ装置により車両から前方車両までの距離が正確に検出されることに鑑みて、前記のような手法により視差オフセット量を高精度に算出することができる。
【００１３】
第５発明の車両周辺監視装置は、車両に搭載された２つの撮像装置により得られた２つの撮像画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出して車両の周辺を監視する車両周辺監視装置であって、前記車両から放射状に広がる複数の送信波の照射領域における反射波の強度を検知することにより対象物までの距離を検出するレーダ装置と、前記２つの撮像装置により得られた前記対象物が前方車両があるか否かを判定する車両判定手段と、前記２つの撮像装置により得られた前記対象物の視差を算出する視差算出手段と、前記車両判定手段により前記前方車両があると判定された場合、前記レーダ装置で検出された前記車両から前記前方車両までの距離と前記視差算出手段により算出された前記２つの撮像装置により得られた前記前方車両の視差とに基づいて、前記２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量を算出する視差オフセット量算出手段と、前記視差オフセット量算出手段により算出された視差オフセット量に基づいて視差を補正する視差補正手段とを備えることを特徴とする。
【００１４】
第５発明の車両周辺監視装置によれば、２つの撮像装置により得られた対象物が前方車両があると判定された場合、レーダ装置で検出された車両から前方車両までの距離と２つの撮像装置により得られた前方車両の視差とに基づいて、２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量が算出される。レーダ装置により車両から前方車両までの距離が正確に検出されることに鑑みて、前記のような手法により視差オフセット量を高精度に算出することができる。
【発明を実施するための最良の形態】
【００１５】
[第１実施形態]
本発明の車両周辺監視装置の第１実施形態について説明する。まず、本実施形態の車両周辺監視装置の構成について説明する。車両周辺監視装置は図１および図２に示されている画像処理ユニット１を備えている。画像処理ユニット１には、自車両１０の前方の画像を撮像する撮像装置としての２つの赤外線カメラ２Ｒ，２Ｌおよび自車両１０の前方の対象物までの距離を検出するレーダ装置３が接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを検出するヨーレートセンサ４、自車両１０の走行速度（車速）を検出する車速センサ５、および自車両１０のブレーキ操作の有無を検出するブレーキセンサ６とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な通報情報を出力するためのスピーカ７、および赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な通報情報を表示するための表示装置８が接続されている。なお、赤外線カメラ２Ｒ，２Ｌが本発明における撮像装置に相当する。
【００１６】
画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する）、画像メモリなどを含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、レーダ装置３、ヨーレートセンサ４、車速センサ５およびブレーキセンサ６から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化されて、マイクロコンピュータに入力される。そして、マイクロコンピュータは、入力されたデータを基に、人（歩行者、自転車に乗っている者）などの対象物を検出し、検出した対象物が所定の通報要件を満す場合にスピーカ７や表示装置８により運転者に通報を発する処理を実行する。
【００１７】
図２に示されているように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、自車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それら位置は、自車両１０の車幅方向の中心に対して左右対称である。赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に自車両１０の前後方向に延在し、かつ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。
【００１８】
レーダ装置３は自車両１０の前側に赤外線カメラ２Ｒ，２Ｌの上方に位置するように取り付けられている。レーダ装置３は上方から見たときに図３に示されているように赤外線カメラ２Ｒ，２Ｌの撮像領域より狭い幅で広がるミリ波（電磁波）のビームＢＭを自車両１０の前方に送信する。レーダ装置３における照射領域は、第１の照射領域ＢＭ１〜第７の照射領域ＢＭ７に分かれている。レーダ装置３は走査型のレーダ装置であり、自車両３の前方領域が自車両１０の左右方向に走査されるように、一定強度のビームＢＭがその送信角度を一定角度ずつずらしながら送信される。ビームＢＭの左右方向の走査範囲は赤外線カメラ２Ｒ，２Ｌの撮像領域を水平方向についてすべて包含するように設定されている。また、ビームＢＭの上下方向の幅は、赤外線カメラ２Ｒ，２Ｌの上下方向の視野を含むように設定されている。そして、レーダ装置３はこのミリ波の反射波、すなわち、自車両１０の前方に存在する対象物により反射されたミリ波を上下方向に配列された受信アンテナ（図示略）により受信する。また、レーダ装置３は照射領域ごとに反射波の強度を測定し、かつ、反射強度と、自車両１０から、反射波の原因となった物体までの距離との相関関係を表わす反射強度データを画像処理ユニット１に出力する。なお、レーダ装置としてはミリ波等の電磁波（レーザー光など）のほか、超音波等の弾性振動波を用いるレーダ装置が採用されてもよい。
【００１９】
また、本実施形態では、表示装置８として、自車両１０のフロントウィンドウに画像情報を表示するヘッド・アップ・ディスプレイ８ａ（以下、ＨＵＤ８ａという）を備えている。なお、表示装置８として、ＨＵＤ８ａの代わりに、もしくは、ＨＵＤ８ａとともに、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを用いてもよい。
【００２０】
次に、本実施形態の車両周辺監視装置の主要な機能である視差オフセット量算出処理について図４のフローチャートを用いて説明する。
【００２１】
まず、レーダ装置３により対象物までの距離を検出する（図４／ＳＴＥＰ１００）。具体的には、レーダ装置３は照射領域ごとに反射波の強度を測定し、かつ、反射強度と、自車両１０から、反射波の原因となった物体までの距離との相関関係を表わす反射強度データを画像処理ユニット１に出力する。
【００２２】
次いで、レーダ装置３により距離が検出された一の照射領域に対象物が１つのみ存在し、かつ、一の照射領域に対応する撮像画像における一の局所画像領域に、対象物抽出手段により抽出された対象物が１つのみ存在するという所定条件を満たしている照射領域および局所画像領域の組の有無を判定する（図４／ＳＴＥＰ１０２）。なお、レーダ装置３の第１の照射領域ＢＭ１〜第７のＢＭ７では、たとえば図５に示すように対象物が検出される。第１の照射領域ＢＭ１〜第７の照射領域ＢＭ７における「○」は対象物を示している。また、レーダ装置３における各照射領域ＢＭ１〜ＢＭ７に対応する赤外線カメラ２Ｒ，２Ｌの撮像画像における各局所画像領域は、たとえば図６に示すように、レーダ装置３における第１の照射領域ＢＭ１〜第７の照射領域ＢＭ７に対応するように赤外線カメラ２Ｒ，２Ｌの撮像画像を左右方向に分割した第１の局所画像領域ＬＡ１〜第７の局所画像領域ＬＡ７である。第１の局所画像領域ＬＡ１〜第７の局所画像領域ＬＡ７における「○」は対象物を示している。第１の照射領域では、距離が検出された対象物が重なって２つ検出され、かつ、第１の照射領域ＢＭ１に対応する第１の局所画像領域ＬＡ１では、対象物が１つのみ抽出される。したがって、第１の照射領域ＢＭ１と第１の局所画像領域ＬＡ１との組は前記所定条件を満たしていないと判定される。また、第２の照射領域ＢＭ２では、距離が検出された対象物が離れて２つ検出され、かつ、第２の照射領域ＢＭ２に対応する第２の局所画像領域ＬＡ２には対象物が離れて２つ抽出される。したがって、第２の照射領域ＢＭ２と第２の局所画像領域ＬＡ２との組は前記所定条件を満たしていないと判定される。また、第３の照射領域ＢＭ３では、距離が検出された対象物が１つのみ検出され、かつ、第３の照射領域ＢＭ３に対応する第３の局所画像領域ＬＡ３では、対象物が１つのみ抽出される。したがって、第３の照射領域ＢＭ３と第３の局所画像領域ＬＡ３との組は前記所定条件を満たしていると判定される。また、第４の照射領域ＢＭ４では、距離が検出された対象物が１のみ検出され、かつ、第４の照射領域ＢＭ４に対応する第４の局所画像領域では、対象物が１のみ抽出される。したがって、第４の照射領域ＢＭ４と第４の局所画像領域ＬＡ４との組は前記所定条件を満たしている判定される。また、第５の照射領域ＢＭ５では、距離が検出された対象物が１つのみ検出され、かつ、第５の照射領域ＢＭ５に対応する第５の局所画像領域では、対象物が１つのみ抽出される。したがって、第５の照射領域ＢＭ５と第５の局所画像領域ＬＡ５との組は前記所定条件を満たしている判定される。また、第６の照射領域ＢＭ６では、距離が検出された対象物が２つ検出され、かつ、第６の照射領域ＢＭ６に対応する第６の局所画像領域ＬＡ６では、対象物が２つ抽出される。したがって、第６の照射領域ＢＭ６と第６の局所画像領域ＬＡ６との組は前記所定条件を満たしていないと判定される。また、第７の照射領域ＢＭ７では、対象物が検出されなく、かつ、第７の照射領域ＢＭ７に対応する第７の局所画像領域ＬＡ７では、対象物が抽出されない。したがって、第７の照射領域ＢＭ７と第７の局所画像領域ＬＡ７との組は前記所定条件を満たしていないと判定される。以上より、前記所定条件を満たすと判定される照射領域と局所画像領域は、第３の照射領域と第３の局所画像領域、第４の照射領域と第４の局所画像領域、および、第５の照射領域と第５の局所画像領域である。
【００２３】
そして、前記所定条件が満たされていると判定された照射領域と局所画像領域が存在する場合（図４／ＳＴＥＰ１０２‥ＹＥＳ）、一の照射領域に存在する１つの対象物までの距離を、レーダ装置３から画像処理ユニット１に送信された反射強度データに基づいて算出する（図４／ＳＴＥＰ１０４）。
【００２４】
その後、赤外線カメラ２Ｒ，２Ｌの撮像画像により得られた一の照射領域に対応する一の局所画像領域に存在する対象物の視差を算出する（図４／ＳＴＥＰ１０６）。なお、当該視差は、図６に示すように、基準画像の対象物ＢＯと同一の探索画像の対象物ＳＯを水平方向の位置が一致するようにするエピポーラ拘束の基で算出する。
【００２５】
次いで、ＳＴＥＰ１０４により算出された自車両１０から対象物までの距離と、ＳＴＥＰ１０６により算出された対象物の視差とに基づいて視差オフセット量が算出される（図４／ＳＴＥＰ１０８）。具体的に視差オフセット量Ｏｆｆｓｅｔは式（１）で算出される。なお、Ｚは、ＳＴＥＰ１０４により算出された自車両１０から対象物までの距離、Ｄｎは、ＳＴＥＰ１０６により算出された対象物の視差、Ｄは、赤外線カメラ２Ｒ，２Ｌの左右の間隔である基線長、および、Ｆは、赤外線カメラ２Ｒ，２Ｌのレンズの焦点距離を画素ピッチで割った値である。
【００２６】
【数１】
【００２７】
そして、視差オフセット量を、本視差オフセット量算出処理の結果により得られた値に更新する（視差補正手段）。
【００２８】
なお、図５および図６に示すように、前記所定条件を満たしている照射領域および局所画像領域の組の有無を複数の対象物について判定して、複数の組について所定条件が満たされる場合には複数の視差オフセット量を平均するようにしてもよい。
【００２９】
前記機能を発揮する車両周辺監視装置によれば、レーダ装置３により検出された自車両１０から対象物までの距離と赤外線カメラ２Ｒ，２Ｌにより得られた対象物から算出された視差とに基づいて、赤外線カメラ２Ｒ，２Ｌの光軸間平行度ずれに起因する視差オフセット量が算出される（図４／Ｓ１００〜Ｓ１０８、図５、図６参照）。レーダ装置３により距離が検出される一の照射領域に対象物が１つのみ存在し、かつ、一の照射領域に対応する撮像画像における一の局所画像領域に、抽出された対象物が１つのみ存在するという所定条件を満たさなければ、一の照射領域のレーダ装置３により距離が検出された対象物とこれに対応する一の局所画像領域から抽出された対象物が同一の対象物であるか否かを判定するのが困難であり、視差オフセット量を高精度に算出することができない。一方、前記所定条件が満たされれば一の照射領域のレーダ装置３により距離が検出された対象物とこれに対応する一の局所画像領域から抽出された対象物が同一の対象物である可能性が高い。この点に鑑みて、前記所定条件が満たす場合に、レーダ装置３により対象物までの距離が検出されるとともに、赤外線カメラ２Ｒ，２Ｌにより得られた対象物の視差が算出される。前記のことにより、視差オフセット量を高精度に算出することができる。
【００３０】
また、前記所定条件を満たす複数の対象物があり、ＳＴＥＰ１０４により算出される各対象物における自車両１０からこの対象物までの距離の差が所定値以下の場合、複数のこの対象物における視差オフセット量を平均するようにしてもよい。たとえば、図７に示すように、視差オフセット量を算出する際に基準とする対象物を赤外線カメラ２Ｒ，２Ｌの撮像画像により得られた前方車両ＦＢとすることができる。前方車両ＦＢは、複数の局所画像領域ＬＡ３〜ＬＡ５に亘る１つの対象物である。なお、この場合に視差は、基準画像の対象物ＢＯと同一の探索画像の対象物ＳＯを水平方向の位置が一致するようにするエピポーラ拘束の基で算出する。なお、赤外線カメラ２Ｒ，２Ｌの撮像画像から抽出された対象物が車両であるか否かの判定は、例えば本出願人による特開２００４−３４８６４５号の図７に記載されている処理で行うことができる。本例によれば、複数の照射領域におけるそれぞれの自車両１０から対象物までの距離の差が所定値以下の場合、複数の対象物における視差オフセット量を平均する。したがって、所定条件を満たす複数の照射領域における対象物までの測定距離誤差にばらつきがあるような場合でも、測定誤差ばらつきの影響が低減され、当該複数の照射領域のそれぞれにおいて距離が測定された複数の対象物を一部として有する１つの物体（具体的には、前方車両）について高精度に視差オフセット量を算出することができる。
【００３１】
なお、画像処理ユニット１によりＳＴＥＰ１０２の処理を実行する構成が、本発明の同一対象物判定手段に相当し、ＳＴＥＰ１０６の処理を実行する構成が、本発明の視差算出手段に相当し、ＳＴＥＰ１０８の処理を実行する構成が、本発明の視差オフセット量算出手段に相当する。
[第２実施形態]
次に、本発明の車両周辺監視装置における第２実施形態について説明する。本実施形態は、第１実施形態における図４に示す視差オフセット量算出処理を、図８に示す視差オフセット量算出処理にしたものである。
【００３２】
まず、レーダ装置３により対象物までの距離に基づいて対象物が前方車両があるか否かを判定する（図８／ＳＴＥＰ２００）。具体的には、第１の時刻においてレーダ装置３で測定した対象物までの距離と、第２の時刻においてレーダ装置３で測定した対象物までの距離との差が、あらかじめ設定した所定値以内である場合に、レーダ装置３により距離を測定した対象物が前方車両であると判定する。
【００３３】
次いで、レーダ装置３により距離を測定した対象物が前方車両であると判定された場合（図８／ＳＴＥＰ２００‥ＹＥＳ）、前方車両までの距離を、レーダ装置３から画像処理ユニット１に送信された反射強度データに基づいて算出する（図８／ＳＴＥＰ２０２）。
【００３４】
そして、赤外線カメラ２Ｒ，２Ｌの撮像画像により得られた前方車両の視差を算出する（図８／ＳＴＥＰ２０４）。なお、当該視差は、図７に示すように、基準画像の対象物ＢＯと同一の探索画像の対象物ＳＯを水平方向の位置が一致するようにするエピポーラ拘束の基で算出する。
【００３５】
その後、ＳＴＥＰ２０２により算出された自車両１０から対象物までの距離と、ＳＴＥＰ２０４により算出された対象物の視差とに基づいて視差オフセット量が算出される（図８／ＳＴＥＰ２０６）。具体的に視差オフセット量Ｏｆｆｓｅｔは式（１）で算出される。
【００３６】
そして、視差オフセット量を、本視差オフセット量算出処理の結果により得られた値に更新する（視差補正手段）。
【００３７】
なお、レーダ装置３により距離測定した対象物が前方車両であると判定された対象物が複数ある場合には、複数の対象物における視差オフセット量を平均するようにしてもよい。
【００３８】
前記機能を発揮する車両周辺監視装置によれば、レーダ装置３により対象物までの距離に基づいて対象物が前方車両があると判定された場合、レーダ装置３で検出された車両から前方車両までの距離と赤外線カメラ２Ｒ，２Ｌにより得られた前方車両の視差とに基づいて、２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量が算出される（図８／Ｓ２００〜２０６、図７参照）。自車両と同一速度で移動している対象物は、自車両との相対距離が変化しないため視差は一定であることに鑑みて、前記のような方法により視差オフセット量を高精度に算出することができる。
【００３９】
なお、画像処理ユニット１によりＳＴＥＰ２００の処理を実行する構成が、本発明の車両判定手段に相当し、ＳＴＥＰ２０４の処理を実行する構成が、本発明の視差算出手段に相当し、ＳＴＥＰ２０６の処理を実行する構成が、本発明の視差オフセット量算出手段に相当する。
[第３実施形態]
次に、本発明の車両周辺監視装置における第３実施形態について説明する。本実施形態は、第１実施形態における図４に示す視差オフセット量算出処理を、図９に示す視差オフセット量算出処理にしたものである。
【００４０】
まず、赤外線カメラ２Ｒ，２Ｌにより得られた対象物が前方車両があるか否かを判定する（図９／ＳＴＥＰ３００）。たとえば、メモリにあらかじめ保存されているテンプレートとパターンマッチングすることにより判定する。
【００４１】
次いで、赤外線カメラ２Ｒ，２Ｌにより得られた対象物が前方車両であると判定された場合（図９／ＳＴＥＰ３００‥ＹＥＳ）、前方車両までの距離を、レーダ装置３から画像処理ユニット１に送信された反射強度データに基づいて算出する（図９／ＳＴＥＰ３０２）。
【００４２】
そして、赤外線カメラ２Ｒ，２Ｌの撮像画像により得られた前方車両の視差を算出する（図９／ＳＴＥＰ３０４）。なお、当該視差は、図７に示すように、基準画像の対象物ＢＯと同一の探索画像の対象物ＳＯを水平方向の位置が一致するようにするエピポーラ拘束の基で算出する。
【００４３】
その後、ＳＴＥＰ３０２により算出された自車両１０から対象物までの距離と、ＳＴＥＰ３０４により算出された対象物の視差とに基づいて視差オフセット量が算出される（図９／ＳＴＥＰ３０６）。具体的に視差オフセット量Ｏｆｆｓｅｔは式（１）で算出される。
【００４４】
そして、視差オフセット量を、本視差オフセット量算出処理の結果により得られた値に更新する（視差補正手段）。
【００４５】
前記機能を発揮する車両周辺監視装置によれば、赤外線カメラ２Ｒ，２Ｌにより得られた対象物が前方車両があると判定された場合、レーダ装置３で検出された車両から前方車両までの距離と赤外線カメラ２Ｒ，２Ｌにより得られた前方車両の視差とに基づいて、赤外線カメラ２Ｒ，２Ｌの光軸間平行度ずれに起因する視差オフセット量が算出される（図９／Ｓ３００〜３０６、図７参照）。自車両と同一速度で移動している対象物は、自車両との相対距離が変化しないため視差は一定であることに鑑みて、前記のような方法により視差オフセット量を高精度に算出することができる。
【００４６】
なお、画像処理ユニット１によりＳＴＥＰ３００の処理を実行する構成が、本発明の車両判定手段に相当し、ＳＴＥＰ３０４の処理を実行する構成が、本発明の視差算出手段に相当し、ＳＴＥＰ３０６の処理を実行する構成が、本発明の視差オフセット量算出手段に相当する。
【図面の簡単な説明】
【００４７】
【図１】本発明の車両の周辺監視装置の一実施形態の全体構成を示す図
【図２】図１の周辺監視装置を備えた車両の斜視図
【図３】レーダ装置の走査範囲に関する説明図
【図４】第１実施形態における視差オフセット量算出処理を示すフローチャート
【図５】画像処理ユニットの処理を説明するための図
【図６】画像処理ユニットの処理を説明するための図
【図７】画像処理ユニットの処理を説明するための図
【図８】第２実施形態における視差オフセット量算出処理を示すフローチャート
【図９】第３実施形態における視差オフセット量算出処理を示すフローチャート
【符号の説明】
【００４８】
１…画像処理ユニット（同一対象物判定手段、車両判定手段、視差オフセット量算出手段、視差補正手段）、２Ｒ，２Ｌ…赤外線カメラ（撮像装置）、３…レーダ装置
【特許請求の範囲】
【請求項１】
車両に搭載された２つの撮像装置により得られた２つの撮像画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出して車両の周辺を監視する車両周辺監視装置であって、
前記車両から放射状に広がる複数の送信波の照射領域における反射波の強度を検知することにより第１の対象物までの距離を検出するレーダ装置と、
前記２つの撮像装置により得られた第２の対象物の視差を算出する視差算出手段と、
前記第１の対象物と前記第２の対象物とが同一対象物であるか否かを判定する同一対象物判定手段と、
前記同一対象物判定手段により前記第１の対象物と前記第２の対象物とが前記同一対象物であると判定された場合、前記レーダ装置で検出された前記車両から前記同一対象物までの距離と前記視差算出手段により算出された前記２つの撮像装置により得られた前記同一対象物の視差とに基づいて、前記２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量を算出する視差オフセット量算出手段と、
前記視差オフセット量算出手段により算出された視差オフセット量に基づいて視差を補正する視差補正手段と
を備えることを特徴とする車両周辺監視装置。
【請求項２】
請求項１に記載の車両周辺監視装置において、
前記同一対象物判定手段は、前記レーダ装置により距離が検出された一の前記照射領域に第１の対象物が１つのみ存在し、かつ、前記一の照射領域に対応する前記撮像画像における一の局所画像領域に、前記２つの撮像装置により得られた第２の対象物が１つのみ存在するという所定条件が満たされているか否かに応じて、前記第１の対象物と前記第２の対象物とが同一対象物であるか否かを判定することを特徴とする車両周辺監視装置。
【請求項３】
請求項２に記載の車両周辺監視装置において、
前記視差オフセット量算出手段は、前記同一対象物判定手段により複数の前記照射領域と該複数の照射領域にそれぞれ対応する複数の前記局所画像領域とについて前記所定条件が満たされている場合、前記第１の対象物と前記第２の対象物とが同一であると判定された複数の前記同一対象物における前記視差オフセット量を平均し、
前記視差補正手段は、前記平均された視差オフセット量に基づいて視差を補正することを特徴とする車両周辺監視装置。
【請求項４】
車両に搭載された２つの撮像装置により得られた２つの撮像画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出して車両の周辺を監視する車両周辺監視装置であって、
前記車両から放射状に広がる複数の送信波の照射領域における反射波の強度を検知することにより対象物までの距離を検出するレーダ装置と、
前記レーダ装置により前記対象物までの距離に基づいて前記対象物が前方車両があるか否かを判定する車両判定手段と、
前記２つの撮像装置により得られた前記対象物の視差を算出する視差算出手段と、
前記車両判定手段により前記前方車両があると判定された場合、前記レーダ装置で検出された前記車両から前記前方車両までの距離と前記視差算出手段により算出された前記２つの撮像装置により得られた前記前方車両の視差とに基づいて、前記２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量を算出する視差オフセット量算出手段と、
前記視差オフセット量算出手段により算出された視差オフセット量に基づいて視差を補正する視差補正手段と
を備えることを特徴とする車両周辺監視装置。
【請求項５】
車両に搭載された２つの撮像装置により得られた２つの撮像画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出して車両の周辺を監視する車両周辺監視装置であって、
前記車両から放射状に広がる複数の送信波の照射領域における反射波の強度を検知することにより対象物までの距離を検出するレーダ装置と、
前記２つの撮像装置により得られた前記対象物が前方車両があるか否かを判定する車両判定手段と、
前記２つの撮像装置により得られた前記対象物の視差を算出する視差算出手段と、
前記車両判定手段により前記前方車両があると判定された場合、前記レーダ装置で検出された前記車両から前記前方車両までの距離と前記視差算出手段により算出された前記２つの撮像装置により得られた前記前方車両の視差とに基づいて、前記２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量を算出する視差オフセット量算出手段と、
前記視差オフセット量算出手段により算出された視差オフセット量に基づいて視差を補正する視差補正手段と
を備えることを特徴とする車両周辺監視装置。
【請求項１】
車両に搭載された２つの撮像装置により得られた２つの撮像画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出して車両の周辺を監視する車両周辺監視装置であって、
前記車両から放射状に広がる複数の送信波の照射領域における反射波の強度を検知することにより第１の対象物までの距離を検出するレーダ装置と、
前記２つの撮像装置により得られた第２の対象物の視差を算出する視差算出手段と、
前記第１の対象物と前記第２の対象物とが同一対象物であるか否かを判定する同一対象物判定手段と、
前記同一対象物判定手段により前記第１の対象物と前記第２の対象物とが前記同一対象物であると判定された場合、前記レーダ装置で検出された前記車両から前記同一対象物までの距離と前記視差算出手段により算出された前記２つの撮像装置により得られた前記同一対象物の視差とに基づいて、前記２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量を算出する視差オフセット量算出手段と、
前記視差オフセット量算出手段により算出された視差オフセット量に基づいて視差を補正する視差補正手段と
を備えることを特徴とする車両周辺監視装置。
【請求項２】
請求項１に記載の車両周辺監視装置において、
前記同一対象物判定手段は、前記レーダ装置により距離が検出された一の前記照射領域に第１の対象物が１つのみ存在し、かつ、前記一の照射領域に対応する前記撮像画像における一の局所画像領域に、前記２つの撮像装置により得られた第２の対象物が１つのみ存在するという所定条件が満たされているか否かに応じて、前記第１の対象物と前記第２の対象物とが同一対象物であるか否かを判定することを特徴とする車両周辺監視装置。
【請求項３】
請求項２に記載の車両周辺監視装置において、
前記視差オフセット量算出手段は、前記同一対象物判定手段により複数の前記照射領域と該複数の照射領域にそれぞれ対応する複数の前記局所画像領域とについて前記所定条件が満たされている場合、前記第１の対象物と前記第２の対象物とが同一であると判定された複数の前記同一対象物における前記視差オフセット量を平均し、
前記視差補正手段は、前記平均された視差オフセット量に基づいて視差を補正することを特徴とする車両周辺監視装置。
【請求項４】
車両に搭載された２つの撮像装置により得られた２つの撮像画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出して車両の周辺を監視する車両周辺監視装置であって、
前記車両から放射状に広がる複数の送信波の照射領域における反射波の強度を検知することにより対象物までの距離を検出するレーダ装置と、
前記レーダ装置により前記対象物までの距離に基づいて前記対象物が前方車両があるか否かを判定する車両判定手段と、
前記２つの撮像装置により得られた前記対象物の視差を算出する視差算出手段と、
前記車両判定手段により前記前方車両があると判定された場合、前記レーダ装置で検出された前記車両から前記前方車両までの距離と前記視差算出手段により算出された前記２つの撮像装置により得られた前記前方車両の視差とに基づいて、前記２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量を算出する視差オフセット量算出手段と、
前記視差オフセット量算出手段により算出された視差オフセット量に基づいて視差を補正する視差補正手段と
を備えることを特徴とする車両周辺監視装置。
【請求項５】
車両に搭載された２つの撮像装置により得られた２つの撮像画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出して車両の周辺を監視する車両周辺監視装置であって、
前記車両から放射状に広がる複数の送信波の照射領域における反射波の強度を検知することにより対象物までの距離を検出するレーダ装置と、
前記２つの撮像装置により得られた前記対象物が前方車両があるか否かを判定する車両判定手段と、
前記２つの撮像装置により得られた前記対象物の視差を算出する視差算出手段と、
前記車両判定手段により前記前方車両があると判定された場合、前記レーダ装置で検出された前記車両から前記前方車両までの距離と前記視差算出手段により算出された前記２つの撮像装置により得られた前記前方車両の視差とに基づいて、前記２つの撮像装置の光軸間平行度ずれに起因する視差オフセット量を算出する視差オフセット量算出手段と、
前記視差オフセット量算出手段により算出された視差オフセット量に基づいて視差を補正する視差補正手段と
を備えることを特徴とする車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−４４００９（Ｐ２０１０−４４００９Ａ）
【公開日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願番号】特願２００８−２０９６２０（Ｐ２００８−２０９６２０）
【出願日】平成２０年８月１８日（２００８．８．１８）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願日】平成２０年８月１８日（２００８．８．１８）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]