車両周辺監視装置
【課題】車両に搭載された２台の撮像手段により撮像された同一の対象物の画像部分の視差に基づいて、対象物と車両との距離を算出するときの誤差を低減することができる車両周辺監視装置を提供する。
【解決手段】所定時点で前記第１の撮像手段により撮像された第１画像から、実空間上の対象物の第１画像部分を抽出し、該所定時点で前記第２の撮像手段により撮像された第２画像から、該第１画像部分と相関性を有する第２画像部分を抽出して、該第１画像部分と該第２画像部分との視差を算出する視差算出手段２２と、実空間上の同一の対象物について、視差算出手段２２により時系列的に視差を算出して、視差勾配を算出する視差勾配算出手段２３と、車両の速度を検出する速度センサ４と、視差勾配と車両の速度とに基づいて、車両から対象物までの距離を算出する第１の距離算出手段２４とを備える。
【解決手段】所定時点で前記第１の撮像手段により撮像された第１画像から、実空間上の対象物の第１画像部分を抽出し、該所定時点で前記第２の撮像手段により撮像された第２画像から、該第１画像部分と相関性を有する第２画像部分を抽出して、該第１画像部分と該第２画像部分との視差を算出する視差算出手段２２と、実空間上の同一の対象物について、視差算出手段２２により時系列的に視差を算出して、視差勾配を算出する視差勾配算出手段２３と、車両の速度を検出する速度センサ４と、視差勾配と車両の速度とに基づいて、車両から対象物までの距離を算出する第１の距離算出手段２４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像手段により撮像された画像に基づいて、前記車両の周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、２台のカメラを光軸を互いに平行にして搭載したいわゆるステレオカメラを備えて、同一の対象物についての右カメラの画像中の画像部分と左カメラの画像中の画像部分との視差を算出し、該視差を用いて対象物と車両との距離を算出する構成として、このようにして算出した対象物と車両間の距離に基づいて、対象物と車両との接触可能性を判定するようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００１−６０６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
同一の対象物について、右カメラにより撮像された画像から抽出された第１画像部分と、左カメラにより撮像された画像から抽出された第２画像部分との視差がｄｘである場合、車両と対象物との距離Ｚは、以下の式（１）により算出することができる。
【０００４】
【数１】
【０００５】
但し、Ｚ：対象物と車両との距離、ｆ：カメラの焦点距離、ｐ：画素ピッチ、Ｄ：カメラの基線長、ｄｘ：視差。
【０００６】
しかし、実際には、(a)車両走行時における振動の影響、(b)カメラを車両に搭載するときのエイミング精度、(c)同一の対象物の画像部分を抽出するときの相関演算による影響、等の要因によって、車両と対象物との実際の距離（実距離）と、上記式（１）により算出した距離（算出距離）との間に誤差が生じる。
【０００７】
このような実距離と算出距離との誤差は、上記式（１）については、以下の式（２）に示したように、視差オフセットαとして影響が現れる。
【０００８】
【数２】
【０００９】
そして、特に車両と対象物との距離Ｚが長くなると視差ｄｘが小さくなって、上記式（２）の視差オフセットαの影響が無視できなくなる。そのため、距離を用いた対象物と車両との接触可能性の判定タイミングのばらつきが生じて、接触可能性の判定精度が低下するという不都合が生じる。
【００１０】
本発明は上記背景を鑑みてなされたものであり、車両に搭載された２台の撮像手段により撮像された同一の対象物の画像部分の視差に基づいて、対象物と車両との距離を算出するときの誤差を低減することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は上記目的を達成するためになされたものであり、車両に搭載されて重複した撮像範囲を有する第１の撮像手段及び第２の撮像手段により撮像された画像に基づいて、該車両の周辺を監視する車両周辺監視装置の改良に関する。
【００１２】
そして、所定時点で前記第１の撮像手段により撮像された第１画像から、実空間上の対象物の第１画像部分を抽出する対象物抽出手段と、前記所定時点で前記第２の撮像手段により撮像された第２画像から、該第１画像部分と相関性を有する第２画像部分を抽出する対応画像抽出手段と、前記第１画像部分と前記第２画像部分との視差を算出する視差算出手段と、前記対象物について、前記視差算出手段により時系列的に前記視差を算出して、所定時間あたりの視差変化率を算出する視差変化率算出手段と、前記車両の速度を検出する速度検出手段と、前記視差変化率と前記車両の速度とに基づいて、前記車両と前記対象物間の距離を算出する算出する第１の距離算出手段とを備えたことを特徴とする。
【００１３】
かかる本発明によれば、詳細は後述するが、前記第１の撮像手段及び前記第２の撮像手段の車両走行時における振動の影響等によって、同一の対象物について前記第１の撮像手段により撮像された画像部分と前記第２の撮像手段により撮像された画像部分との間に視差オフセットが生じても、前記車両が所定速度で走行しているときの所定時間あたりの視差変化率は、視差オフセットが生じていないときと変わらない。
【００１４】
そこで、前記第１の距離算出手段により、前記視差変化率算出手段により算出された前記視差変化率と、前記速度検出手段により検出された前記車両の速度とに基づいて、視差オフセットの影響を排除して前記車両と対象物間の距離を精度良く算出することができる。
【００１５】
また、前記第１の距離算出手段は、前記第１の撮像手段と前記第２の撮像手段の前記車両への搭載態様が予め規定された条件を満たしており、前記車両が前記速度検出手段により検出される速度で走行しているときを想定して算出した、該速度における理論的な視差の時系列データから、サンプリング期間をずらして理論的な視差変化率を算出し、該理論的な視差変化率と前記視差変化率算出手段により算出された視差変化率とが一致するときのサンプリング期間における前記理論的な視差の時系列データに基いて、前記車両と前記対象物間の距離を算出することを特徴とする。
【００１６】
かかる本発明によれば、前記理論的な視差の時系列データから、サンプリング期間をずらして理論的な視差変化率を算出し、該理論的な視差変化率と前記視差変化率算出手段により算出された視差変化率と比較することにより、前記視差変化率算出手段により算出された視差変化率に対応する理論的な視差の時系列データを決定して、前記車両と前記対象物間の距離を容易に算出することができる。
【００１７】
また、前記視差算出手段により算出された１つの視差に基づいて、前記車両と該視差を算出した前記第１画像部分に対応する実空間上の対象物との距離を算出する第２の距離算出手段と、実空間上の同一の対象物について、前記第１の距離算出手段により算出された前記車両との距離と、前記第２の距離算出手段により算出された前記車両との距離との差が、第１の所定値以上となったときに、前記第１の距離算出手段により算出された前記車両との距離に基づく対象物の監視処理を禁止する距離信頼性判定手段とを備えたことを特徴とする。
【００１８】
かかる本発明によれば、前記第２の距離算出手段により算出される前記車両と対象物との距離は、前記第１の撮像手段と前記第２の撮像手段により撮像された同一の対象物の画像部分の視差オフセットの影響による誤差を含んでいる。一方、前記第１の距離算出手段により算出される前記車両と対象物との距離は、上述したように視差オフセットの影響を受けない。そのため、同一の対象物について、前記第１の距離算出手段により算出された前記車両との距離と、前記第２の距離算出手段により算出された前記車両との距離との差が、前記第１の所定値を超えたときには、視差オフセットが大きくなっていると判断することができる。
【００１９】
そして、このように視差オフセットが大きくなっているときには、前記第１の撮像手段又は前記第２の撮像手段の取付位置のずれ等の異常が生じている可能性が高い。そこで、この場合には、前記距離信頼性判定手段により対象物の監視処理を禁止することによって、前記第１の撮像手段又は前記第２の撮像手段による正常な対象物の検出が困難な状態で、対象物の監視処理がなされることを防止することができる。
【００２０】
また、前記第１の距離算出手段により算出された距離から、前記第１画像部分と前記第２画像部分の推定視差を算出する推定視差算出手段と、前記視差算出手段により算出された前記視差と前記推定視差との差が、第２の所定値以上となったときに、前記第１の距離算出手段により算出された前記車両との距離に基づく対象物の監視処理を禁止する距離信頼性判定手段とを備えたことを特徴とする。
【００２１】
かかる本発明によれば、前記視差算出手段により算出された視差は、前記第１の撮像手段と前記第２の撮像手段により撮像された同一の対象物の画像部分の視差オフセットの影響による誤差を含んでいる。一方、前記第１の距離算出手段により算出された距離から求められた前記第１画像部分と前記第２画像部分の推定視差は、上述したように視差オフセットの影響を受けない。そのため、同一の対象物について、前記視差算出手段により算出された視差と、前記推定視差算出手段により算出された推定視差との差が、前記第２の所定値以上となったときには、視差オフセットが大きくなっていると判断することができる。
【００２２】
そして、このように視差オフセットが大きくなっているときには、前記第１の撮像手段又は前記第２の撮像手段の取付位置のずれ等の異常が生じている可能性が高い。そこで、この場合には、前記距離信頼性判定手段により対象物の監視処理を禁止することによって、前記第１の撮像手段又は前記第２の撮像手段による対象物の正常な検出が困難な状態で、対象物の監視処理がなされることを防止することができる。
【００２３】
また、前記第１の距離算出手段は、前記車両の速度が所定速度以上であるときにのみ、前記視差変化率と前記車両の速度とに基づいて、前記車両から前記対象物までの距離を算出することを特徴とする。
【００２４】
かかる本発明によれば、前記車両の速度が速いほど、対象物との接近に対する注意喚起を開始する距離を長くする必要がある。そして、視差オフセットの影響は、車両と対象物との距離が離れるほど大きくなる。そのため、前記車両の速度が前記所定速度以上であるときに限定して、前記第１の距離算出手段により前記車両と対象物との距離を精度良く算出し、前記車両の速度が前記所定速度よりも低いときには、前記第２の距離算出手段により前記車両と対象物との距離を算出することによって、距離算出の演算量を減少させることができる。
【発明を実施するための最良の形態】
【００２５】
本発明の実施の形態について、図１〜９を参照して説明する。図１は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は画像処理ユニット１により構成されている。画像処理ユニット１には、遠赤外線を検出可能な赤外線カメラ２Ｒ（本発明の第１の撮像手段に相当する），２Ｌ（本発明の第２の撮像手段に相当する）、車両のヨーレートを検出するヨーレートセンサ３、車両の走行速度を検出する車速センサ４（本発明の速度検出手段に相当する）、運転者によるブレーキの操作量を検出するブレーキセンサ５、音声により注意喚起を行うためのスピーカ６、及び、赤外線カメラ２Ｒ，２Ｌにより得られた画像を表示すると共に、接触の可能性が高い対象物を運転者に視認させる表示を行うための表示装置７が接続されている。
【００２６】
図２を参照して、赤外線カメラ２Ｒ，２Ｌは、車両１０の前部に、車両１０の車幅方向の中心部に対してほぼ対象な位置に配置され、２台の赤外線カメラ２Ｒ，２Ｌの光軸を互いに平行とし、各赤外線カメラ２Ｒ，２Ｌの路面からの高さを等しくして固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
【００２７】
また、図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない）等により構成された電子ユニットであり、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。
【００２８】
そして、該マイクロコンピュータに、車両監視用プログラムを実行させることによって、該マイクロコンピュータが、赤外線カメラ２Ｒにより撮像された第１画像から、実空間上の対象物の第１画像部分を抽出する対象物抽出手段２０、赤外線カメラ２Ｌにより撮像された第２画像から、該第１画像部分と相関性を有する第２画像部分を抽出する対応画像抽出手段２１、対象物抽出手段２０により抽出された第１画像部分と対応画像抽出手段２１により抽出された第２画像部分との視差を算出する視差算出手段２２、視差算出手段２２により算出された同一の対象物についての視差の時系列データから、単位時間あたりの視差の変化率である視差勾配を算出する視差勾配算出手段２３、視差勾配に基づいて対象物と車両１０との距離を算出する第１の距離算出手段２４、１つの視差のデータに基いて対象物と車両１０との距離を算出する第２の距離算出手段２５、第１の距離算出手段２４により算出された距離の信頼性を判定する距離信頼性判定手段２６、及び、車両１０と対象物との接触可能性を判定する接触判定手段２７として機能する。
【００２９】
次に、図３に示したフローチャートに従って、画像処理ユニット１による車両１０の周辺の監視処理について説明する。
【００３０】
画像処理ユニット１は、先ずＳＴＥＰ１で赤外線カメラ２Ｒ，２Ｌから出力される赤外線画像のアナログ信号を入力し、続くＳＴＥＰ２で該アナログ信号をＡ／Ｄ変換によりデジタル化したグレースケール画像を画像メモリに格納する。
【００３１】
なお、ＳＴＥＰ１〜ＳＴＥＰ２では、赤外線カメラ２Ｒによるグレースケール画像（以下、右画像という。本発明の第１画像に相当する）と、赤外線カメラ２Ｌによるグレースケール画像（以下、左画像という。本発明の第２画像に相当する）とが取得される。そして、右画像と左画像では、同一の対象物の画像部分の水平位置にずれ（視差）が生じるため、この視差に基づいて実空間における車両１０から該対象物までの距離を算出することができる。
【００３２】
続くＳＴＥＰ３で、画像処理ユニット１は、右画像を基準画像として２値化処理（輝度が閾値以上の画素を「１（白）」とし、該閾値よりも小さい画素を「０（黒）」とする処理）を行って２値画像を生成する。次のＳＴＥＰ４〜ＳＴＥＰ６は、対象物抽出手段２０による処理である。対象物抽出手段２０は、ＳＴＥＰ４で、２値画像に含まれる各白領域の画像部分をランレングスデータ（２値画像のｘ（水平）方向に連続する白の画素のラインのデータ）化する。また、対象物抽出手段２０は、ＳＴＥＰ５で、２値画像のｙ（垂直）方向に重なる部分があるラインを一つの画像部分としてラベリングし、ＳＴＥＰ６で、ラベリングした画像部分を監視対象物の画像候補として抽出する。
【００３３】
次のＳＴＥＰ７で、画像処理ユニット１は、各画像候補の重心Ｇ、面積Ｓ、及び外接四角形の縦横比ＡＳＰＥＣＴを算出する。なお、具体的な算出方法については、前掲した特開２００１−６０９６号公報に詳説されているので、ここでは説明を省略する。そして、画像処理ユニット１は、続くＳＴＥＰ８〜ＳＴＥＰ９と、ＳＴＥＰ２０〜ＳＴＥＰ２２を平行して実行する。
【００３４】
ＳＴＥＰ８で、画像処理ユニット１は、所定のサンプリング周期毎に赤外線カメラ２Ｒ，２Ｌにより撮像された画像に基づく２値画像から抽出された画像部分について、同一性判定を行い、同一の対象物の画像であると判定された画像部分の位置（重心位置）の時系列データをメモリに格納する（時刻間追跡）。また、ＳＴＥＰ９で、画像処理ユニット１は、車速センサ４により検出される車速ＶCAR及びヨーレートセンサ３により検出されるヨーレートＹRを読み込み、ヨーレートＹRを時間積分することにより、車両１０の回頭角θrを算出する。
【００３５】
また、ＳＴＥＰ２０〜ＳＴＥＰ２１は対応画像抽出手段２１による処理である。図４を参照して、対応画像抽出手段２１は、ＳＴＥＰ２０で、対象物抽出手段２０により抽出された監視対象物の画像候補の中の一つを選択して、右画像のグレースケール画像３０から対応する探索画像３０ａ（選択された候補画像の外接四角形で囲まれる領域全体の画像、本発明の第１画像部分に相当する）を抽出する。続くＳＴＥＰ２１で、対応画像抽出手段２０は、左画像のグレースケール画像３１から探索画像３０ａに対応する画像を探索する探索領域３２を設定し、探索画像３０ａとの相間演算を実行して対応画像３１ａ（本発明の第２画像部分に相当する）を抽出する。
【００３６】
続くＳＴＥＰ２２は、視差算出手段２２による処理である。視差算出手段２２は、探索画像３０ａの重心位置と対応画像３１ａの重心位置との差を視差ｄｘとして算出し、ＳＴＥＰ１０に進む。
【００３７】
ＳＴＥＰ１０で、画像処理ユニット１は、探索画像３０ａ及び対応画像３１ａに対応する実空間上の対象物と、車両１０との距離を算出する「距離算出処理」を実行する。「距離算出処理」については、後述する。
【００３８】
続くＳＴＥＰ１１〜ＳＴＥＰ１５及びＳＴＥＰ３０は、接触判定手段２７による処理である。ＳＴＥＰ１１で、接触判定手段２７は、探索画像３０ａの座標（ｘ，ｙ）とＳＴＥＰ１０で算出された対象物と車両１０との距離ｚを、実空間座標（Ｘ，Ｙ，Ｚ）に変換して、探索画像１０ａに対応する実空間上の対象物の位置の座標を算出する。なお、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示したように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点の位置を原点０として、Ｘを車両１０の車幅方向、Ｙを鉛直方向、Ｚを車両１０の前方向に設定されている。また、画像座標は、画像の中心を原点とし、水平方向がｘ、垂直方向がｙに設定されている。
【００３９】
次のＳＴＥＰ１２で、接触判定手段２７は、車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。また、ＳＴＥＰ１３で、接触判定手段２７は、所定のモニタ期間内で撮像された複数の画像から得られた回頭角補正後の同一の対象物の実空間位置の時系列データから、対象物と車両１０との相対的な移動ベクトルを算出する。
【００４０】
なお、対象物の実空間座標（Ｘ，Ｙ，Ｚ）及び移動ベクトルの具体的な算出方法については、前掲した特開２００１−６０９６号公報に詳説されているので、ここでは説明を省略する。
【００４１】
次に、ＳＴＥＰ１４で、接触判定手段２７は、車両１０と対象物との接触可能性を判断して、注意喚起を行う必要があるか否かを判定する「注意喚起判定処理」を実行する。そして、「注意喚起判定処理」により、注意喚起を行う必要があると判定されたときは、ＳＴＥＰ３０に分岐してブザー６による注意喚起音の出力と、表示装置７への注意喚起表示を行う。一方、「注意喚起判定処理」により注意喚起を行う必要がないと判定されたときにはＳＴＥＰ１に戻り、画像処理ユニット１は注意喚起を行わない。
【００４２】
画像処理ユニット１は、「注意喚起判定処理」において、対象物が余裕時間内に自車両１０と接触する可能性、対象物が自車両周囲に設定した接近判定領域内に存在するか否か、対象物が接近判定領域外から接近判定領域内に進入して自車両１０と接触する可能性、対象物が歩行者であるか否か、対象物が人工構造物であるか否か等を判定して、注意喚起を行う必要があるか否かを判定する。
【００４３】
なお、「注意喚起判定処理」の具体的な処理内容については、前掲した特開２００１−６０６９に「警報判定処理」として詳説されているので、ここでは説明を省略する。
【００４４】
次に、図５〜図９を参照して、図３のＳＴＥＰ１０における「距離算出処理」について説明する。図４に示したように、実空間上の同一の対象物について、右画像から探索画像３０ａが抽出されると共に、左画像３１から対応画像３１ａが抽出されて、視差ｄｘが算出された場合、対象物と車両１０間の距離Ｚは、基本的には以下の式（３）により算出することができる。
【００４５】
【数３】
【００４６】
但し、Ｚ：対象物と車両１０との距離、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの画素ピッチ、Ｄ：赤外線カメラ２Ｒ，２Ｌの基線長、ｄｘ：視差。
【００４７】
しかし、実際には、(a)車両１０の走行時における振動の影響、(b)赤外線カメラ２Ｒ，２Ｌを車両１０に搭載するときのエイミング精度、(c)対応画像抽出手段２１により同一の対象物の画像部分を抽出するときの相関演算による影響等の要因によって、車両と対象物との実際の距離（実距離）と、上記式（３）により算出した距離（算出距離）との間に誤差が生じる。
【００４８】
このような実距離と算出距離との誤差は、上記式（３）については、以下の式（４）に示したように、視差オフセットαとして影響が現れる。
【００４９】
【数４】
【００５０】
そして、特に車両１０と対象物との距離Ｚが長くなると視差算出手段２２により算出される視差ｄｘが小さくなって、上記式（４）の視差オフセットαの影響が無視できなくなる。そのため、算出距離を用いた接触判定手段２７による対象物と車両１０との接触可能性の判定精度が低下するという不都合が生じる。
【００５１】
ここで、図５（ａ）は、例えば、車両１０が７２km/hで走行しているときの視差ｄｘと距離Ｚとの関係を、縦軸を視差ｄｘに設定し、横軸を車両１０と対象物との距離Ｚに設定して示したものである。図中ｄ1は視差オフセットα＝０のとき、ｄ2は視差オフセットα＝−２（pixel）のとき、ｄ3は視差オフセットα＝−４（pixel）のときを示している。
【００５２】
図５（ａ）から明らかなように、視差オフセットαの値に応じて距離に対応する視差ｄｘの値が変化するため、距離の算出誤差が生じる。例えば、実際の車両１０と対象物との距離が１５０ｍであるときに、視差オフセットα＝−２（pixel）があると距離の算出値は２０５ｍとなり、視差オフセットα＝−４（pixel）があると距離の算出値は３２２ｍとなる。
【００５３】
しかし、視差勾配は、視差オフセットが生じても変化しない。そこで、第１の距離算出手段２４は、視差の時系列データから視差勾配を算出し、視差勾配を用いて対象物と車両１０との距離を算出することによって、視差オフセットαの影響を排除している。
【００５４】
第１の距離算出手段２４は、図６に示したフローチャートに従って、視差勾配を用いて車両１０と対象物との距離を算出する。第１の距離算出手段２４は、ＳＴＥＰ５０で、予め設定された時系列時間Ｔs（例えば１秒間）の間に、視差算出手段２２により算出された視差の時系列データから、視差が算出されなかったときのデータ（対応画像抽出手段２１による相関演算が失敗したときのデータ等）や、視差の値が他のデータから極端に乖離しているデータを除外する外れ値除外処理を行う。
【００５５】
また、ＳＴＥＰ５１で、第１の距離算出手段２４は、視差の時系列データの個数や視差を求める際の相関演算における相関度等に基づいて、視差の時系列データの信頼性を判定する。そして、視差の時系列データの信頼性があると判定したときは、次のＳＴＥＰ５２からＳＴＥＰ５３に進む。一方、視差の時系列データの信頼性がないと判定したときには、ＳＴＥＰ５２からＳＴＥＰ７０に分岐し、今回の視差の時系列データに基く接触判定手段２７による処理が禁止される。
【００５６】
ＳＴＥＰ５３で、第１の距離算出手段２４は、視差の時系列データから視差勾配を算出し、ＳＴＥＰ５４で視差勾配に基づいて車両１０と対象物との距離を推定する。ＳＴＥＰ５４の距離推定処理の詳細については、後述する。
【００５７】
続くＳＴＥＰ５５は、距離信頼性判定手段２６による処理である。距離信頼性判定手段２６は、視差勾配を用いて、第１の距離算出手段２４により算出された車両１０と対象物との距離Ｚ1と、例えば視差の時系列データの中間値を用いて、第２の距離算出手段２５により上記式（３）によって算出された車両１０と対象物との距離Ｚ2とを比較する。
【００５８】
そして、距離信頼性判定手段２６は、Ｚ1とのＺ2との差が所定範囲内（赤外線カメラ２Ｒ，２Ｌの取付精度や車両の振動等により変化する車両１０固有の範囲、本発明の第１の所定値以下に相当する）から外れたときは、視差オフセットαが大きく、Ｚ1の信頼性が低いと判定する。距離信頼性判定手段２６は、Ｚ1の信頼性が低いと判定したときは、次のＳＴＥＰ５６からＳＴＥＰ７０に分岐する。一方、Ｚ1の信頼性が低くないと判定したときには、ＳＴＥＰ５６からＳＴＥＰ７０に進み、この場合には、接触判定手段２７による図３のＳＴＥＰ１１以降の接触判定処理が実行される。
【００５９】
次に、図７を参照して、図６のＳＴＥＰ５４における第１の距離算出手段２４による「距離推定処理」について説明する。第１の距離算出手段２４は、ＳＴＥＰ７０で、車速センサ４により算出される車両１０の走行速度ＶCARを入力する。また、続くＳＴＥＰ７１で、第１の距離算出手段２４は、図６のＳＴＥＰ５３で算出された視差勾配の算出値Ｉaを入力し、ＳＴＥＰ７２で時系列時間（視差の時系列データのサンプリング時間）Ｔs（例えば、１秒）を入力する。
【００６０】
そして、第１の距離算出手段２４は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループを繰り返し実行して、視差勾配の算出値Ｉaに対応する視差を算出する。図５（ｂ）は、視差オフセットα＝０（本発明の第１の撮像手段と第２の撮像手段の車両への搭載態様が予め規定された条件を満たしているときに相当する）であって、車両１０が１００km/hで走行しているときの視差と視差勾配の変化を、左側の縦軸を視差に設定し、右側の縦軸を視差勾配に設定し、横軸を時間に設定して、静止した対象物について示したものである。図中ｅ1が視差の時系列データ（理論的な視差の時系列データ）であり、ｅ2が視差勾配（理論的な視差勾配）である。
【００６１】
第１の距離算出手段２４は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループにおいて、ＳＴＥＰ７３で、視差のサンプリング期間Ｔwを図５（ｂ）の５秒経過時から０秒に向かって、サンプリング時間Ｔs（例えば１秒）ずつずらしながら設定し（例えば、４〜５秒、３．５〜４．５秒、３．０〜４．０秒、２．５〜３．５秒、…）、ＳＴＥＰ７４で、車両１０の速度ＶCARとサンプリング期間Ｔwとに基づいて、Ｔwにおける視差の理論的な時系列データを作成する。
【００６２】
そして、第１の距離算出手段２４は、続くＳＴＥＰ７５で、各サンプリング期間Ｔwにおける視差の理論的な時系列データから視差勾配の理論値Ｉtを算出して、ＳＴＥＰ７６で視差勾配の算出値Ｉaが理論値Ｉt以上となったか否かを判断する。
【００６３】
そして、ＳＴＥＰ７６で視差勾配の算出値Ｉaが理論値Ｉt以上となったときは、ループを抜けてＳＴＥＰ７７に進み、視差勾配の算出値Ｉaが理論値Ｉtよりも小さいときにはＳＴＥＰ７３に戻って、次のサンプリング期間Ｔwを設定してＳＴＥＰ７４以降の処理を行う。
【００６４】
ＳＴＥＰ７７で、第１の距離算出手段２４は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループで最後に算出した示唆勾配の理論値Ｉtに対応する視差ｄx_tを取得する。例えば、視差勾配の算出値Ｉaが１５０であったときには、図５（ｂ）に示したように、視差勾配の算出値Ｉaが理論値Ｉt以上となったサンプリング期間Ｔw（２．５〜３．５秒）の中間値である３．０秒における理論的な時系列データの視差９．０が取得される。
【００６５】
そして、第１の距離算出手段２４は、続くＳＴＥＰ７８で、視差９．０を上記式（３）に代入して車両と対象物との距離を算出する。
【００６６】
次に、図８〜図９を参照して、示唆勾配から車両と対象物との距離を推定する処理の他の実施形態について説明する。
【００６７】
先ず、図８（ａ）及び図８（ｂ）は、視差の時系列データの分布を、縦軸を視差に設定し、横軸を時間に設定して示したものであり、図８（ａ）はｔ11〜ｔ13のサンプリング期間における９個の視差の算出データから直線Ｓaを求めている。
【００６８】
また、図８（ｂ）は、視差オフセットα＝０としたときの理論的な視差勾配を持つ直線を、車両と対象物との距離毎に示したものであり、Ｓ1は距離を１９０ｍに設定した直線、Ｓ2は距離を１８０ｍに設定した直線、Ｓnは距離を１００ｍに設定した直線を示している。
【００６９】
そして、第１の距離算出手段２４は、図８（ａ）に示したように、視差の時系列データから作成した直線Ｓaの勾配と同じ勾配を有する直線を、図８（ｂ）のＳ1〜Ｓnの直線の中から選択し、選択した直線の設定距離を車両１０と対象物の距離として求めることができる。
【００７０】
次に、図９は、車両１０の走行速度毎（図９では、７０km/h，９５km/h，１００km/h）に、視差勾配と対象物との距離との相関マップＭ1，Ｍ2，Ｍ3，…を予め用意するものである。第１の距離算出手段２４は、視差の時系列データから算出した視差勾配を、車両１０の走行速度に応じて選択した相関マップに適用することによって、車両１０と対象物との距離を求めることができる。
【００７１】
例えば、車両１０の走行速度が７０km/hであって、視差の時系列データから算出した視差勾配がＩaであるときには、第１の距離算出手段２４は、図９の相関マップＭ1を選択して視差勾配Ｉaを適用することにより、車両１０と対象物との距離Ｚ1を得ることができる。
【００７２】
また、上述した実施の形態においては、距離信頼性判定手段２６は、第１の距離算出手段２４により、視差勾配を用いて算出された車両１０と対象物との距離Ｚ1と、第２の距離算出手段２５により、例えば視差の時系列データの中間値を用いて上記式（３）によって算出された車両１０と対象物との距離Ｚ2とを比較して、Ｚ1の信頼性を判断したが、他の手法によりＺ1の信頼性を判断してもよい。以下では、距離信頼性判定手段２６によるＺ1の信頼性の判断の他の手法について説明する。
【００７３】
距離信頼性判定手段２６は、図６のＳＴＥＰ５５において、上記式（３）の逆算式である以下の式（５）に、第１の距離算出手段２４により視差勾配を用いて算出された車両１０との距離Ｚ1を代入して算出される、距離Ｚ1に対応する推定視差ｄｘ'と、視差算出手段２２により算出された視差ｄｘとを比較する。なお、以下の式（５）により推定視差を算出する構成が、本発明の推定視差算出手段に相当する。
【００７４】
【数５】
【００７５】
但し、ｄｘ'：推定視差、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの画素ピッチ、Ｄ：赤外線カメラ２Ｒ，２Ｌの基線長、Ｚ1：第１の距離算出手段２４により算出された対象物と車両１０との距離。
【００７６】
そして、距離信頼性判定手段２６は、視差ｄｘと推定視差ｄｘ'との差が第２の所定範囲内（赤外線カメラ２Ｒ，２Ｌの取付精度や車両の振動等により変化する車両１０固有の範囲、本発明の第２の所定値以下に相当する）から外れたときは、視差オフセットαが大きく、Ｚ1の信頼性が低いと判定する。
【００７７】
距離信頼性判定手段２６は、Ｚ1の信頼性が低いと判定したときは、次のＳＴＥＰ５６からＳＴＥＰ７０に分岐する。一方、Ｚ1の信頼性が低くないと判定したときには、ＳＴＥＰ５６からＳＴＥＰ７０に進み、この場合には、接触判定手段２７による図３のＳＴＥＰ１１以降の接触判定処理が実行される。
【００７８】
なお、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して対象物との接触可能性を判断するようにしてもよい。
【００７９】
また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２Ｒ，２Ｌを用いたが、可視画像を撮像する可視カメラを用いてもよい。
【図面の簡単な説明】
【００８０】
【図１】本発明の車両周囲監視装置の構成図。
【図２】図１に示した車両周囲監視装置の車両への取り付け態様の説明図。
【図３】図１に示した画像処理ユニットにおける処理手順を示したフローチャート。
【図４】対応画像抽出手段による画像の抽出処理と、画像間の視差の説明図。
【図５】視差オフセットによる影響の説明図、及び視差勾配に基づく理論的な視差の算出の説明図。
【図６】視差の時系列データの信頼性を判定して視差勾配を算出し、視差勾配に基づく対象物との推定距離の信頼性を判定する処理のフローチャート。
【図７】視差勾配に基づいて、対象物との距離を求める処理のフローチャート。
【図８】視差勾配に基づいて対象物との距離を求める処理の説明図。
【図９】視差勾配に基づいて対象物との距離を求める処理の説明図。
【符号の説明】
【００８１】
１…画像処理ユニット、２Ｒ…赤外線カメラ（第１の撮像手段）、２Ｌ…赤外線カメラ（第２の撮像手段）、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…表示装置、２０…対象物抽出手段、２１…対応画像抽出手段、２２…視差算出手段、２３…視差勾配算出手段、２４…第１の距離算出手段、２５…第２の距離算出手段、２６…距離信頼性判定手段、２７…接触判定手段
【技術分野】
【０００１】
本発明は、車両に搭載された撮像手段により撮像された画像に基づいて、前記車両の周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、２台のカメラを光軸を互いに平行にして搭載したいわゆるステレオカメラを備えて、同一の対象物についての右カメラの画像中の画像部分と左カメラの画像中の画像部分との視差を算出し、該視差を用いて対象物と車両との距離を算出する構成として、このようにして算出した対象物と車両間の距離に基づいて、対象物と車両との接触可能性を判定するようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００１−６０６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
同一の対象物について、右カメラにより撮像された画像から抽出された第１画像部分と、左カメラにより撮像された画像から抽出された第２画像部分との視差がｄｘである場合、車両と対象物との距離Ｚは、以下の式（１）により算出することができる。
【０００４】
【数１】
【０００５】
但し、Ｚ：対象物と車両との距離、ｆ：カメラの焦点距離、ｐ：画素ピッチ、Ｄ：カメラの基線長、ｄｘ：視差。
【０００６】
しかし、実際には、(a)車両走行時における振動の影響、(b)カメラを車両に搭載するときのエイミング精度、(c)同一の対象物の画像部分を抽出するときの相関演算による影響、等の要因によって、車両と対象物との実際の距離（実距離）と、上記式（１）により算出した距離（算出距離）との間に誤差が生じる。
【０００７】
このような実距離と算出距離との誤差は、上記式（１）については、以下の式（２）に示したように、視差オフセットαとして影響が現れる。
【０００８】
【数２】
【０００９】
そして、特に車両と対象物との距離Ｚが長くなると視差ｄｘが小さくなって、上記式（２）の視差オフセットαの影響が無視できなくなる。そのため、距離を用いた対象物と車両との接触可能性の判定タイミングのばらつきが生じて、接触可能性の判定精度が低下するという不都合が生じる。
【００１０】
本発明は上記背景を鑑みてなされたものであり、車両に搭載された２台の撮像手段により撮像された同一の対象物の画像部分の視差に基づいて、対象物と車両との距離を算出するときの誤差を低減することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は上記目的を達成するためになされたものであり、車両に搭載されて重複した撮像範囲を有する第１の撮像手段及び第２の撮像手段により撮像された画像に基づいて、該車両の周辺を監視する車両周辺監視装置の改良に関する。
【００１２】
そして、所定時点で前記第１の撮像手段により撮像された第１画像から、実空間上の対象物の第１画像部分を抽出する対象物抽出手段と、前記所定時点で前記第２の撮像手段により撮像された第２画像から、該第１画像部分と相関性を有する第２画像部分を抽出する対応画像抽出手段と、前記第１画像部分と前記第２画像部分との視差を算出する視差算出手段と、前記対象物について、前記視差算出手段により時系列的に前記視差を算出して、所定時間あたりの視差変化率を算出する視差変化率算出手段と、前記車両の速度を検出する速度検出手段と、前記視差変化率と前記車両の速度とに基づいて、前記車両と前記対象物間の距離を算出する算出する第１の距離算出手段とを備えたことを特徴とする。
【００１３】
かかる本発明によれば、詳細は後述するが、前記第１の撮像手段及び前記第２の撮像手段の車両走行時における振動の影響等によって、同一の対象物について前記第１の撮像手段により撮像された画像部分と前記第２の撮像手段により撮像された画像部分との間に視差オフセットが生じても、前記車両が所定速度で走行しているときの所定時間あたりの視差変化率は、視差オフセットが生じていないときと変わらない。
【００１４】
そこで、前記第１の距離算出手段により、前記視差変化率算出手段により算出された前記視差変化率と、前記速度検出手段により検出された前記車両の速度とに基づいて、視差オフセットの影響を排除して前記車両と対象物間の距離を精度良く算出することができる。
【００１５】
また、前記第１の距離算出手段は、前記第１の撮像手段と前記第２の撮像手段の前記車両への搭載態様が予め規定された条件を満たしており、前記車両が前記速度検出手段により検出される速度で走行しているときを想定して算出した、該速度における理論的な視差の時系列データから、サンプリング期間をずらして理論的な視差変化率を算出し、該理論的な視差変化率と前記視差変化率算出手段により算出された視差変化率とが一致するときのサンプリング期間における前記理論的な視差の時系列データに基いて、前記車両と前記対象物間の距離を算出することを特徴とする。
【００１６】
かかる本発明によれば、前記理論的な視差の時系列データから、サンプリング期間をずらして理論的な視差変化率を算出し、該理論的な視差変化率と前記視差変化率算出手段により算出された視差変化率と比較することにより、前記視差変化率算出手段により算出された視差変化率に対応する理論的な視差の時系列データを決定して、前記車両と前記対象物間の距離を容易に算出することができる。
【００１７】
また、前記視差算出手段により算出された１つの視差に基づいて、前記車両と該視差を算出した前記第１画像部分に対応する実空間上の対象物との距離を算出する第２の距離算出手段と、実空間上の同一の対象物について、前記第１の距離算出手段により算出された前記車両との距離と、前記第２の距離算出手段により算出された前記車両との距離との差が、第１の所定値以上となったときに、前記第１の距離算出手段により算出された前記車両との距離に基づく対象物の監視処理を禁止する距離信頼性判定手段とを備えたことを特徴とする。
【００１８】
かかる本発明によれば、前記第２の距離算出手段により算出される前記車両と対象物との距離は、前記第１の撮像手段と前記第２の撮像手段により撮像された同一の対象物の画像部分の視差オフセットの影響による誤差を含んでいる。一方、前記第１の距離算出手段により算出される前記車両と対象物との距離は、上述したように視差オフセットの影響を受けない。そのため、同一の対象物について、前記第１の距離算出手段により算出された前記車両との距離と、前記第２の距離算出手段により算出された前記車両との距離との差が、前記第１の所定値を超えたときには、視差オフセットが大きくなっていると判断することができる。
【００１９】
そして、このように視差オフセットが大きくなっているときには、前記第１の撮像手段又は前記第２の撮像手段の取付位置のずれ等の異常が生じている可能性が高い。そこで、この場合には、前記距離信頼性判定手段により対象物の監視処理を禁止することによって、前記第１の撮像手段又は前記第２の撮像手段による正常な対象物の検出が困難な状態で、対象物の監視処理がなされることを防止することができる。
【００２０】
また、前記第１の距離算出手段により算出された距離から、前記第１画像部分と前記第２画像部分の推定視差を算出する推定視差算出手段と、前記視差算出手段により算出された前記視差と前記推定視差との差が、第２の所定値以上となったときに、前記第１の距離算出手段により算出された前記車両との距離に基づく対象物の監視処理を禁止する距離信頼性判定手段とを備えたことを特徴とする。
【００２１】
かかる本発明によれば、前記視差算出手段により算出された視差は、前記第１の撮像手段と前記第２の撮像手段により撮像された同一の対象物の画像部分の視差オフセットの影響による誤差を含んでいる。一方、前記第１の距離算出手段により算出された距離から求められた前記第１画像部分と前記第２画像部分の推定視差は、上述したように視差オフセットの影響を受けない。そのため、同一の対象物について、前記視差算出手段により算出された視差と、前記推定視差算出手段により算出された推定視差との差が、前記第２の所定値以上となったときには、視差オフセットが大きくなっていると判断することができる。
【００２２】
そして、このように視差オフセットが大きくなっているときには、前記第１の撮像手段又は前記第２の撮像手段の取付位置のずれ等の異常が生じている可能性が高い。そこで、この場合には、前記距離信頼性判定手段により対象物の監視処理を禁止することによって、前記第１の撮像手段又は前記第２の撮像手段による対象物の正常な検出が困難な状態で、対象物の監視処理がなされることを防止することができる。
【００２３】
また、前記第１の距離算出手段は、前記車両の速度が所定速度以上であるときにのみ、前記視差変化率と前記車両の速度とに基づいて、前記車両から前記対象物までの距離を算出することを特徴とする。
【００２４】
かかる本発明によれば、前記車両の速度が速いほど、対象物との接近に対する注意喚起を開始する距離を長くする必要がある。そして、視差オフセットの影響は、車両と対象物との距離が離れるほど大きくなる。そのため、前記車両の速度が前記所定速度以上であるときに限定して、前記第１の距離算出手段により前記車両と対象物との距離を精度良く算出し、前記車両の速度が前記所定速度よりも低いときには、前記第２の距離算出手段により前記車両と対象物との距離を算出することによって、距離算出の演算量を減少させることができる。
【発明を実施するための最良の形態】
【００２５】
本発明の実施の形態について、図１〜９を参照して説明する。図１は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は画像処理ユニット１により構成されている。画像処理ユニット１には、遠赤外線を検出可能な赤外線カメラ２Ｒ（本発明の第１の撮像手段に相当する），２Ｌ（本発明の第２の撮像手段に相当する）、車両のヨーレートを検出するヨーレートセンサ３、車両の走行速度を検出する車速センサ４（本発明の速度検出手段に相当する）、運転者によるブレーキの操作量を検出するブレーキセンサ５、音声により注意喚起を行うためのスピーカ６、及び、赤外線カメラ２Ｒ，２Ｌにより得られた画像を表示すると共に、接触の可能性が高い対象物を運転者に視認させる表示を行うための表示装置７が接続されている。
【００２６】
図２を参照して、赤外線カメラ２Ｒ，２Ｌは、車両１０の前部に、車両１０の車幅方向の中心部に対してほぼ対象な位置に配置され、２台の赤外線カメラ２Ｒ，２Ｌの光軸を互いに平行とし、各赤外線カメラ２Ｒ，２Ｌの路面からの高さを等しくして固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
【００２７】
また、図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない）等により構成された電子ユニットであり、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。
【００２８】
そして、該マイクロコンピュータに、車両監視用プログラムを実行させることによって、該マイクロコンピュータが、赤外線カメラ２Ｒにより撮像された第１画像から、実空間上の対象物の第１画像部分を抽出する対象物抽出手段２０、赤外線カメラ２Ｌにより撮像された第２画像から、該第１画像部分と相関性を有する第２画像部分を抽出する対応画像抽出手段２１、対象物抽出手段２０により抽出された第１画像部分と対応画像抽出手段２１により抽出された第２画像部分との視差を算出する視差算出手段２２、視差算出手段２２により算出された同一の対象物についての視差の時系列データから、単位時間あたりの視差の変化率である視差勾配を算出する視差勾配算出手段２３、視差勾配に基づいて対象物と車両１０との距離を算出する第１の距離算出手段２４、１つの視差のデータに基いて対象物と車両１０との距離を算出する第２の距離算出手段２５、第１の距離算出手段２４により算出された距離の信頼性を判定する距離信頼性判定手段２６、及び、車両１０と対象物との接触可能性を判定する接触判定手段２７として機能する。
【００２９】
次に、図３に示したフローチャートに従って、画像処理ユニット１による車両１０の周辺の監視処理について説明する。
【００３０】
画像処理ユニット１は、先ずＳＴＥＰ１で赤外線カメラ２Ｒ，２Ｌから出力される赤外線画像のアナログ信号を入力し、続くＳＴＥＰ２で該アナログ信号をＡ／Ｄ変換によりデジタル化したグレースケール画像を画像メモリに格納する。
【００３１】
なお、ＳＴＥＰ１〜ＳＴＥＰ２では、赤外線カメラ２Ｒによるグレースケール画像（以下、右画像という。本発明の第１画像に相当する）と、赤外線カメラ２Ｌによるグレースケール画像（以下、左画像という。本発明の第２画像に相当する）とが取得される。そして、右画像と左画像では、同一の対象物の画像部分の水平位置にずれ（視差）が生じるため、この視差に基づいて実空間における車両１０から該対象物までの距離を算出することができる。
【００３２】
続くＳＴＥＰ３で、画像処理ユニット１は、右画像を基準画像として２値化処理（輝度が閾値以上の画素を「１（白）」とし、該閾値よりも小さい画素を「０（黒）」とする処理）を行って２値画像を生成する。次のＳＴＥＰ４〜ＳＴＥＰ６は、対象物抽出手段２０による処理である。対象物抽出手段２０は、ＳＴＥＰ４で、２値画像に含まれる各白領域の画像部分をランレングスデータ（２値画像のｘ（水平）方向に連続する白の画素のラインのデータ）化する。また、対象物抽出手段２０は、ＳＴＥＰ５で、２値画像のｙ（垂直）方向に重なる部分があるラインを一つの画像部分としてラベリングし、ＳＴＥＰ６で、ラベリングした画像部分を監視対象物の画像候補として抽出する。
【００３３】
次のＳＴＥＰ７で、画像処理ユニット１は、各画像候補の重心Ｇ、面積Ｓ、及び外接四角形の縦横比ＡＳＰＥＣＴを算出する。なお、具体的な算出方法については、前掲した特開２００１−６０９６号公報に詳説されているので、ここでは説明を省略する。そして、画像処理ユニット１は、続くＳＴＥＰ８〜ＳＴＥＰ９と、ＳＴＥＰ２０〜ＳＴＥＰ２２を平行して実行する。
【００３４】
ＳＴＥＰ８で、画像処理ユニット１は、所定のサンプリング周期毎に赤外線カメラ２Ｒ，２Ｌにより撮像された画像に基づく２値画像から抽出された画像部分について、同一性判定を行い、同一の対象物の画像であると判定された画像部分の位置（重心位置）の時系列データをメモリに格納する（時刻間追跡）。また、ＳＴＥＰ９で、画像処理ユニット１は、車速センサ４により検出される車速ＶCAR及びヨーレートセンサ３により検出されるヨーレートＹRを読み込み、ヨーレートＹRを時間積分することにより、車両１０の回頭角θrを算出する。
【００３５】
また、ＳＴＥＰ２０〜ＳＴＥＰ２１は対応画像抽出手段２１による処理である。図４を参照して、対応画像抽出手段２１は、ＳＴＥＰ２０で、対象物抽出手段２０により抽出された監視対象物の画像候補の中の一つを選択して、右画像のグレースケール画像３０から対応する探索画像３０ａ（選択された候補画像の外接四角形で囲まれる領域全体の画像、本発明の第１画像部分に相当する）を抽出する。続くＳＴＥＰ２１で、対応画像抽出手段２０は、左画像のグレースケール画像３１から探索画像３０ａに対応する画像を探索する探索領域３２を設定し、探索画像３０ａとの相間演算を実行して対応画像３１ａ（本発明の第２画像部分に相当する）を抽出する。
【００３６】
続くＳＴＥＰ２２は、視差算出手段２２による処理である。視差算出手段２２は、探索画像３０ａの重心位置と対応画像３１ａの重心位置との差を視差ｄｘとして算出し、ＳＴＥＰ１０に進む。
【００３７】
ＳＴＥＰ１０で、画像処理ユニット１は、探索画像３０ａ及び対応画像３１ａに対応する実空間上の対象物と、車両１０との距離を算出する「距離算出処理」を実行する。「距離算出処理」については、後述する。
【００３８】
続くＳＴＥＰ１１〜ＳＴＥＰ１５及びＳＴＥＰ３０は、接触判定手段２７による処理である。ＳＴＥＰ１１で、接触判定手段２７は、探索画像３０ａの座標（ｘ，ｙ）とＳＴＥＰ１０で算出された対象物と車両１０との距離ｚを、実空間座標（Ｘ，Ｙ，Ｚ）に変換して、探索画像１０ａに対応する実空間上の対象物の位置の座標を算出する。なお、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示したように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点の位置を原点０として、Ｘを車両１０の車幅方向、Ｙを鉛直方向、Ｚを車両１０の前方向に設定されている。また、画像座標は、画像の中心を原点とし、水平方向がｘ、垂直方向がｙに設定されている。
【００３９】
次のＳＴＥＰ１２で、接触判定手段２７は、車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。また、ＳＴＥＰ１３で、接触判定手段２７は、所定のモニタ期間内で撮像された複数の画像から得られた回頭角補正後の同一の対象物の実空間位置の時系列データから、対象物と車両１０との相対的な移動ベクトルを算出する。
【００４０】
なお、対象物の実空間座標（Ｘ，Ｙ，Ｚ）及び移動ベクトルの具体的な算出方法については、前掲した特開２００１−６０９６号公報に詳説されているので、ここでは説明を省略する。
【００４１】
次に、ＳＴＥＰ１４で、接触判定手段２７は、車両１０と対象物との接触可能性を判断して、注意喚起を行う必要があるか否かを判定する「注意喚起判定処理」を実行する。そして、「注意喚起判定処理」により、注意喚起を行う必要があると判定されたときは、ＳＴＥＰ３０に分岐してブザー６による注意喚起音の出力と、表示装置７への注意喚起表示を行う。一方、「注意喚起判定処理」により注意喚起を行う必要がないと判定されたときにはＳＴＥＰ１に戻り、画像処理ユニット１は注意喚起を行わない。
【００４２】
画像処理ユニット１は、「注意喚起判定処理」において、対象物が余裕時間内に自車両１０と接触する可能性、対象物が自車両周囲に設定した接近判定領域内に存在するか否か、対象物が接近判定領域外から接近判定領域内に進入して自車両１０と接触する可能性、対象物が歩行者であるか否か、対象物が人工構造物であるか否か等を判定して、注意喚起を行う必要があるか否かを判定する。
【００４３】
なお、「注意喚起判定処理」の具体的な処理内容については、前掲した特開２００１−６０６９に「警報判定処理」として詳説されているので、ここでは説明を省略する。
【００４４】
次に、図５〜図９を参照して、図３のＳＴＥＰ１０における「距離算出処理」について説明する。図４に示したように、実空間上の同一の対象物について、右画像から探索画像３０ａが抽出されると共に、左画像３１から対応画像３１ａが抽出されて、視差ｄｘが算出された場合、対象物と車両１０間の距離Ｚは、基本的には以下の式（３）により算出することができる。
【００４５】
【数３】
【００４６】
但し、Ｚ：対象物と車両１０との距離、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの画素ピッチ、Ｄ：赤外線カメラ２Ｒ，２Ｌの基線長、ｄｘ：視差。
【００４７】
しかし、実際には、(a)車両１０の走行時における振動の影響、(b)赤外線カメラ２Ｒ，２Ｌを車両１０に搭載するときのエイミング精度、(c)対応画像抽出手段２１により同一の対象物の画像部分を抽出するときの相関演算による影響等の要因によって、車両と対象物との実際の距離（実距離）と、上記式（３）により算出した距離（算出距離）との間に誤差が生じる。
【００４８】
このような実距離と算出距離との誤差は、上記式（３）については、以下の式（４）に示したように、視差オフセットαとして影響が現れる。
【００４９】
【数４】
【００５０】
そして、特に車両１０と対象物との距離Ｚが長くなると視差算出手段２２により算出される視差ｄｘが小さくなって、上記式（４）の視差オフセットαの影響が無視できなくなる。そのため、算出距離を用いた接触判定手段２７による対象物と車両１０との接触可能性の判定精度が低下するという不都合が生じる。
【００５１】
ここで、図５（ａ）は、例えば、車両１０が７２km/hで走行しているときの視差ｄｘと距離Ｚとの関係を、縦軸を視差ｄｘに設定し、横軸を車両１０と対象物との距離Ｚに設定して示したものである。図中ｄ1は視差オフセットα＝０のとき、ｄ2は視差オフセットα＝−２（pixel）のとき、ｄ3は視差オフセットα＝−４（pixel）のときを示している。
【００５２】
図５（ａ）から明らかなように、視差オフセットαの値に応じて距離に対応する視差ｄｘの値が変化するため、距離の算出誤差が生じる。例えば、実際の車両１０と対象物との距離が１５０ｍであるときに、視差オフセットα＝−２（pixel）があると距離の算出値は２０５ｍとなり、視差オフセットα＝−４（pixel）があると距離の算出値は３２２ｍとなる。
【００５３】
しかし、視差勾配は、視差オフセットが生じても変化しない。そこで、第１の距離算出手段２４は、視差の時系列データから視差勾配を算出し、視差勾配を用いて対象物と車両１０との距離を算出することによって、視差オフセットαの影響を排除している。
【００５４】
第１の距離算出手段２４は、図６に示したフローチャートに従って、視差勾配を用いて車両１０と対象物との距離を算出する。第１の距離算出手段２４は、ＳＴＥＰ５０で、予め設定された時系列時間Ｔs（例えば１秒間）の間に、視差算出手段２２により算出された視差の時系列データから、視差が算出されなかったときのデータ（対応画像抽出手段２１による相関演算が失敗したときのデータ等）や、視差の値が他のデータから極端に乖離しているデータを除外する外れ値除外処理を行う。
【００５５】
また、ＳＴＥＰ５１で、第１の距離算出手段２４は、視差の時系列データの個数や視差を求める際の相関演算における相関度等に基づいて、視差の時系列データの信頼性を判定する。そして、視差の時系列データの信頼性があると判定したときは、次のＳＴＥＰ５２からＳＴＥＰ５３に進む。一方、視差の時系列データの信頼性がないと判定したときには、ＳＴＥＰ５２からＳＴＥＰ７０に分岐し、今回の視差の時系列データに基く接触判定手段２７による処理が禁止される。
【００５６】
ＳＴＥＰ５３で、第１の距離算出手段２４は、視差の時系列データから視差勾配を算出し、ＳＴＥＰ５４で視差勾配に基づいて車両１０と対象物との距離を推定する。ＳＴＥＰ５４の距離推定処理の詳細については、後述する。
【００５７】
続くＳＴＥＰ５５は、距離信頼性判定手段２６による処理である。距離信頼性判定手段２６は、視差勾配を用いて、第１の距離算出手段２４により算出された車両１０と対象物との距離Ｚ1と、例えば視差の時系列データの中間値を用いて、第２の距離算出手段２５により上記式（３）によって算出された車両１０と対象物との距離Ｚ2とを比較する。
【００５８】
そして、距離信頼性判定手段２６は、Ｚ1とのＺ2との差が所定範囲内（赤外線カメラ２Ｒ，２Ｌの取付精度や車両の振動等により変化する車両１０固有の範囲、本発明の第１の所定値以下に相当する）から外れたときは、視差オフセットαが大きく、Ｚ1の信頼性が低いと判定する。距離信頼性判定手段２６は、Ｚ1の信頼性が低いと判定したときは、次のＳＴＥＰ５６からＳＴＥＰ７０に分岐する。一方、Ｚ1の信頼性が低くないと判定したときには、ＳＴＥＰ５６からＳＴＥＰ７０に進み、この場合には、接触判定手段２７による図３のＳＴＥＰ１１以降の接触判定処理が実行される。
【００５９】
次に、図７を参照して、図６のＳＴＥＰ５４における第１の距離算出手段２４による「距離推定処理」について説明する。第１の距離算出手段２４は、ＳＴＥＰ７０で、車速センサ４により算出される車両１０の走行速度ＶCARを入力する。また、続くＳＴＥＰ７１で、第１の距離算出手段２４は、図６のＳＴＥＰ５３で算出された視差勾配の算出値Ｉaを入力し、ＳＴＥＰ７２で時系列時間（視差の時系列データのサンプリング時間）Ｔs（例えば、１秒）を入力する。
【００６０】
そして、第１の距離算出手段２４は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループを繰り返し実行して、視差勾配の算出値Ｉaに対応する視差を算出する。図５（ｂ）は、視差オフセットα＝０（本発明の第１の撮像手段と第２の撮像手段の車両への搭載態様が予め規定された条件を満たしているときに相当する）であって、車両１０が１００km/hで走行しているときの視差と視差勾配の変化を、左側の縦軸を視差に設定し、右側の縦軸を視差勾配に設定し、横軸を時間に設定して、静止した対象物について示したものである。図中ｅ1が視差の時系列データ（理論的な視差の時系列データ）であり、ｅ2が視差勾配（理論的な視差勾配）である。
【００６１】
第１の距離算出手段２４は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループにおいて、ＳＴＥＰ７３で、視差のサンプリング期間Ｔwを図５（ｂ）の５秒経過時から０秒に向かって、サンプリング時間Ｔs（例えば１秒）ずつずらしながら設定し（例えば、４〜５秒、３．５〜４．５秒、３．０〜４．０秒、２．５〜３．５秒、…）、ＳＴＥＰ７４で、車両１０の速度ＶCARとサンプリング期間Ｔwとに基づいて、Ｔwにおける視差の理論的な時系列データを作成する。
【００６２】
そして、第１の距離算出手段２４は、続くＳＴＥＰ７５で、各サンプリング期間Ｔwにおける視差の理論的な時系列データから視差勾配の理論値Ｉtを算出して、ＳＴＥＰ７６で視差勾配の算出値Ｉaが理論値Ｉt以上となったか否かを判断する。
【００６３】
そして、ＳＴＥＰ７６で視差勾配の算出値Ｉaが理論値Ｉt以上となったときは、ループを抜けてＳＴＥＰ７７に進み、視差勾配の算出値Ｉaが理論値Ｉtよりも小さいときにはＳＴＥＰ７３に戻って、次のサンプリング期間Ｔwを設定してＳＴＥＰ７４以降の処理を行う。
【００６４】
ＳＴＥＰ７７で、第１の距離算出手段２４は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループで最後に算出した示唆勾配の理論値Ｉtに対応する視差ｄx_tを取得する。例えば、視差勾配の算出値Ｉaが１５０であったときには、図５（ｂ）に示したように、視差勾配の算出値Ｉaが理論値Ｉt以上となったサンプリング期間Ｔw（２．５〜３．５秒）の中間値である３．０秒における理論的な時系列データの視差９．０が取得される。
【００６５】
そして、第１の距離算出手段２４は、続くＳＴＥＰ７８で、視差９．０を上記式（３）に代入して車両と対象物との距離を算出する。
【００６６】
次に、図８〜図９を参照して、示唆勾配から車両と対象物との距離を推定する処理の他の実施形態について説明する。
【００６７】
先ず、図８（ａ）及び図８（ｂ）は、視差の時系列データの分布を、縦軸を視差に設定し、横軸を時間に設定して示したものであり、図８（ａ）はｔ11〜ｔ13のサンプリング期間における９個の視差の算出データから直線Ｓaを求めている。
【００６８】
また、図８（ｂ）は、視差オフセットα＝０としたときの理論的な視差勾配を持つ直線を、車両と対象物との距離毎に示したものであり、Ｓ1は距離を１９０ｍに設定した直線、Ｓ2は距離を１８０ｍに設定した直線、Ｓnは距離を１００ｍに設定した直線を示している。
【００６９】
そして、第１の距離算出手段２４は、図８（ａ）に示したように、視差の時系列データから作成した直線Ｓaの勾配と同じ勾配を有する直線を、図８（ｂ）のＳ1〜Ｓnの直線の中から選択し、選択した直線の設定距離を車両１０と対象物の距離として求めることができる。
【００７０】
次に、図９は、車両１０の走行速度毎（図９では、７０km/h，９５km/h，１００km/h）に、視差勾配と対象物との距離との相関マップＭ1，Ｍ2，Ｍ3，…を予め用意するものである。第１の距離算出手段２４は、視差の時系列データから算出した視差勾配を、車両１０の走行速度に応じて選択した相関マップに適用することによって、車両１０と対象物との距離を求めることができる。
【００７１】
例えば、車両１０の走行速度が７０km/hであって、視差の時系列データから算出した視差勾配がＩaであるときには、第１の距離算出手段２４は、図９の相関マップＭ1を選択して視差勾配Ｉaを適用することにより、車両１０と対象物との距離Ｚ1を得ることができる。
【００７２】
また、上述した実施の形態においては、距離信頼性判定手段２６は、第１の距離算出手段２４により、視差勾配を用いて算出された車両１０と対象物との距離Ｚ1と、第２の距離算出手段２５により、例えば視差の時系列データの中間値を用いて上記式（３）によって算出された車両１０と対象物との距離Ｚ2とを比較して、Ｚ1の信頼性を判断したが、他の手法によりＺ1の信頼性を判断してもよい。以下では、距離信頼性判定手段２６によるＺ1の信頼性の判断の他の手法について説明する。
【００７３】
距離信頼性判定手段２６は、図６のＳＴＥＰ５５において、上記式（３）の逆算式である以下の式（５）に、第１の距離算出手段２４により視差勾配を用いて算出された車両１０との距離Ｚ1を代入して算出される、距離Ｚ1に対応する推定視差ｄｘ'と、視差算出手段２２により算出された視差ｄｘとを比較する。なお、以下の式（５）により推定視差を算出する構成が、本発明の推定視差算出手段に相当する。
【００７４】
【数５】
【００７５】
但し、ｄｘ'：推定視差、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの画素ピッチ、Ｄ：赤外線カメラ２Ｒ，２Ｌの基線長、Ｚ1：第１の距離算出手段２４により算出された対象物と車両１０との距離。
【００７６】
そして、距離信頼性判定手段２６は、視差ｄｘと推定視差ｄｘ'との差が第２の所定範囲内（赤外線カメラ２Ｒ，２Ｌの取付精度や車両の振動等により変化する車両１０固有の範囲、本発明の第２の所定値以下に相当する）から外れたときは、視差オフセットαが大きく、Ｚ1の信頼性が低いと判定する。
【００７７】
距離信頼性判定手段２６は、Ｚ1の信頼性が低いと判定したときは、次のＳＴＥＰ５６からＳＴＥＰ７０に分岐する。一方、Ｚ1の信頼性が低くないと判定したときには、ＳＴＥＰ５６からＳＴＥＰ７０に進み、この場合には、接触判定手段２７による図３のＳＴＥＰ１１以降の接触判定処理が実行される。
【００７８】
なお、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して対象物との接触可能性を判断するようにしてもよい。
【００７９】
また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２Ｒ，２Ｌを用いたが、可視画像を撮像する可視カメラを用いてもよい。
【図面の簡単な説明】
【００８０】
【図１】本発明の車両周囲監視装置の構成図。
【図２】図１に示した車両周囲監視装置の車両への取り付け態様の説明図。
【図３】図１に示した画像処理ユニットにおける処理手順を示したフローチャート。
【図４】対応画像抽出手段による画像の抽出処理と、画像間の視差の説明図。
【図５】視差オフセットによる影響の説明図、及び視差勾配に基づく理論的な視差の算出の説明図。
【図６】視差の時系列データの信頼性を判定して視差勾配を算出し、視差勾配に基づく対象物との推定距離の信頼性を判定する処理のフローチャート。
【図７】視差勾配に基づいて、対象物との距離を求める処理のフローチャート。
【図８】視差勾配に基づいて対象物との距離を求める処理の説明図。
【図９】視差勾配に基づいて対象物との距離を求める処理の説明図。
【符号の説明】
【００８１】
１…画像処理ユニット、２Ｒ…赤外線カメラ（第１の撮像手段）、２Ｌ…赤外線カメラ（第２の撮像手段）、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…表示装置、２０…対象物抽出手段、２１…対応画像抽出手段、２２…視差算出手段、２３…視差勾配算出手段、２４…第１の距離算出手段、２５…第２の距離算出手段、２６…距離信頼性判定手段、２７…接触判定手段
【特許請求の範囲】
【請求項１】
車両に搭載されて重複した撮像範囲を有する第１の撮像手段及び第２の撮像手段により撮像された画像に基づいて、該車両の周辺を監視する車両周辺監視装置であって、
所定時点で前記第１の撮像手段により撮像された第１画像から、実空間上の対象物の第１画像部分を抽出する対象物抽出手段と、
前記所定時点で前記第２の撮像手段により撮像された第２画像から、該第１画像部分と相関性を有する第２画像部分を抽出する対応画像抽出手段と、
前記第１画像部分と前記第２画像部分との視差を算出する視差算出手段と、
前記対象物について、前記視差算出手段により時系列的に前記視差を算出して、所定時間あたりの視差変化率を算出する視差変化率算出手段と、
前記車両の速度を検出する速度検出手段と、
前記視差変化率と前記車両の速度とに基づいて、前記車両と前記対象物間の距離を算出する算出する第１の距離算出手段とを備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記第１の距離算出手段は、前記第１の撮像手段と前記第２の撮像手段の前記車両への搭載態様が予め規定された条件を満たしており、前記車両が前記速度検出手段により検出される速度で走行しているときを想定して算出した、該速度における理論的な視差の時系列データから、サンプリング期間をずらして理論的な視差変化率を算出し、該理論的な視差変化率と前記視差変化率算出手段により算出された視差変化率とが一致するときのサンプリング期間における前記理論的な視差の時系列データに基いて、前記車両と前記対象物間の距離を算出することを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は請求項２記載の車両周辺監視装置において、
前記視差算出手段により算出された１つの視差に基づいて、前記車両と該視差を算出した前記第１画像部分に対応する実空間上の対象物との距離を算出する第２の距離算出手段と、
実空間上の同一の対象物について、前記第１の距離算出手段により算出された前記車両との距離と、前記第２の距離算出手段により算出された前記車両との距離との差が、第１の所定値以上となったときに、前記第１の距離算出手段により算出された前記車両との距離に基づく対象物の監視処理を禁止する距離信頼性判定手段とを備えたことを特徴とする車両周辺監視装置。
【請求項４】
請求項１又は請求項２記載の車両周辺監視装置において、
前記第１の距離算出手段により算出された距離から、前記第１画像部分と前記第２画像部分の推定視差を算出する推定視差算出手段と、
前記視差算出手段により算出された前記視差と、前記推定視差との差が、第２の所定値以上となったときに、前記第１の距離算出手段により算出された前記車両との距離に基づく対象物の監視処理を禁止する距離信頼性判定手段とを備えたことを特徴とする車両周辺監視装置。
【請求項５】
請求項１から請求項４のうちいずれか１項記載の車両周辺監視装置において、
前記第１の距離算出手段は、前記車両の速度が所定速度以上であるときにのみ、前記視差変化率と前記車両の速度とに基づいて、前記車両と前記対象物間の距離を算出することを特徴とする車両周辺監視装置。
【請求項１】
車両に搭載されて重複した撮像範囲を有する第１の撮像手段及び第２の撮像手段により撮像された画像に基づいて、該車両の周辺を監視する車両周辺監視装置であって、
所定時点で前記第１の撮像手段により撮像された第１画像から、実空間上の対象物の第１画像部分を抽出する対象物抽出手段と、
前記所定時点で前記第２の撮像手段により撮像された第２画像から、該第１画像部分と相関性を有する第２画像部分を抽出する対応画像抽出手段と、
前記第１画像部分と前記第２画像部分との視差を算出する視差算出手段と、
前記対象物について、前記視差算出手段により時系列的に前記視差を算出して、所定時間あたりの視差変化率を算出する視差変化率算出手段と、
前記車両の速度を検出する速度検出手段と、
前記視差変化率と前記車両の速度とに基づいて、前記車両と前記対象物間の距離を算出する算出する第１の距離算出手段とを備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記第１の距離算出手段は、前記第１の撮像手段と前記第２の撮像手段の前記車両への搭載態様が予め規定された条件を満たしており、前記車両が前記速度検出手段により検出される速度で走行しているときを想定して算出した、該速度における理論的な視差の時系列データから、サンプリング期間をずらして理論的な視差変化率を算出し、該理論的な視差変化率と前記視差変化率算出手段により算出された視差変化率とが一致するときのサンプリング期間における前記理論的な視差の時系列データに基いて、前記車両と前記対象物間の距離を算出することを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は請求項２記載の車両周辺監視装置において、
前記視差算出手段により算出された１つの視差に基づいて、前記車両と該視差を算出した前記第１画像部分に対応する実空間上の対象物との距離を算出する第２の距離算出手段と、
実空間上の同一の対象物について、前記第１の距離算出手段により算出された前記車両との距離と、前記第２の距離算出手段により算出された前記車両との距離との差が、第１の所定値以上となったときに、前記第１の距離算出手段により算出された前記車両との距離に基づく対象物の監視処理を禁止する距離信頼性判定手段とを備えたことを特徴とする車両周辺監視装置。
【請求項４】
請求項１又は請求項２記載の車両周辺監視装置において、
前記第１の距離算出手段により算出された距離から、前記第１画像部分と前記第２画像部分の推定視差を算出する推定視差算出手段と、
前記視差算出手段により算出された前記視差と、前記推定視差との差が、第２の所定値以上となったときに、前記第１の距離算出手段により算出された前記車両との距離に基づく対象物の監視処理を禁止する距離信頼性判定手段とを備えたことを特徴とする車両周辺監視装置。
【請求項５】
請求項１から請求項４のうちいずれか１項記載の車両周辺監視装置において、
前記第１の距離算出手段は、前記車両の速度が所定速度以上であるときにのみ、前記視差変化率と前記車両の速度とに基づいて、前記車両と前記対象物間の距離を算出することを特徴とする車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−９７５６１（Ｐ２０１０−９７５６１Ａ）
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願番号】特願２００８−２６９９５１（Ｐ２００８−２６９９５１）
【出願日】平成２０年１０月２０日（２００８．１０．２０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願日】平成２０年１０月２０日（２００８．１０．２０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]