車両周辺監視装置
【課題】対象物の時系列画像に基づいて対象物と車両との距離を算出する場合に、距離算出のタイミングの遅れが生じることを抑制した車両周辺監視装置を提供する。
【解決手段】所定のサンプリング期間内の異なる時点で赤外線カメラ２Ｒ，２Ｌにより撮像された複数の画像間における、同一対象物の画像部分の視差勾配を用いて、車両１０と対象物間の距離を算出する第１の距離算出手段２５と、車両１０の車速を検出する車速センサ４と、車両１０の車速が高いほど、サンプリング期間を短い時間に設定するサンプリング期間設定手段２３とを備える。
【解決手段】所定のサンプリング期間内の異なる時点で赤外線カメラ２Ｒ，２Ｌにより撮像された複数の画像間における、同一対象物の画像部分の視差勾配を用いて、車両１０と対象物間の距離を算出する第１の距離算出手段２５と、車両１０の車速を検出する車速センサ４と、車両１０の車速が高いほど、サンプリング期間を短い時間に設定するサンプリング期間設定手段２３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像手段により撮像された画像に基づいて、車両の周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、例えば、車両に搭載された１台のカメラにより撮像された時系列画像から、同一の対象物の画像部分の大きさの変化率を算出し、この変化率から対象物と車両との距離を算出するようにした車両周辺監視装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１３５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１には、対象物の画像部分の変化率の算出に用いる画像のサンプリング期間の具体的な設定については記載されていない。そして、対象物の時系列画像を用いて距離を算出する場合に、時系列画像のサンプリング期間を一定にすると、車両と対象物間の距離が長いほど対象物の画像の大きさの変化率が小さくなるため、車両から遠い対象物ほど距離の算出精度が低くなる。
【０００５】
そのため、車両から所定距離以内の範囲を検出領域として、対象物（歩行者、自転車、大型動物等）を検出する場合、この検出領域内において最も遠い位置に存在する対象物にと車両間の距離の算出精度を確保するためには、時系列画像のサンプリング期間をある程度長い時間に設定する必要がある。
【０００６】
そして、このように、遠距離に存在する対象物を基準として時系列画像のサンプリング期間を一定時間に設定した場合、近距離に存在する対象物との距離を算出するときには、サンプリング期間が必要以上に長くなる。そのため、近距離に存在する対象物と車両との距離の算出タイミングが遅れるおそれがある。
【０００７】
そこで、本発明は、対象物の時系列画像に基づいて対象物と車両との距離を算出する場合に、距離算出のタイミングの遅れが生じることを抑制した車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上記目的を達成するためになされたものであり、車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置に関する。
【０００９】
そして、本発明の第１の態様は、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、前記車両の車速を検出する車速検出手段と、前記車両の車速が低いほど、前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする。
【００１０】
かかる本発明によれば、前記サンプリング期間設定手段により、前記車両の車速が低いほど前記サンプリング期間を短い時間に設定することによって、高速道路を走行している場合のように前記車両の車速が高く、遠方の対象物を検知する必要があるときは、前記サンプリング期間を長く設定して前記車両と対象物間の距離の算出精度を維持することができる。また、市街地の狭い道路を走行している場合のように前記車両の車速が低く、近くの対象物を検知する必要があるときには、前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
【００１１】
また、前記第１の態様において、前記距離算出手段は、所定の制御周期毎に前記車両と対象物間の距離を算出し、前記サンプリング期間設定手段は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする。
【００１２】
かかる本発明によれば、今回の制御周期における前記車両と対象物間の距離は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と同程度になると想定される。そして、前記車両と対象物間の距離が長いほど、前記サンプリング期間を長くして前記サンプリング期間をもって撮像された画像間における前記所定要素の変化度合いを大きくすることにより、距離の算出精度を維持する必要がある。それに対して、前記車両と対象物間の距離が短いほど、前記サンプリング期間を短い時間に設定しても画像間における前記所定要素の変化度合いが大きくなるため、距離の算出精度が高くなる。そこで、前記サンプリング期間設定手段により、前回の制御周期で算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することによって、前記車両と対象物間の距離が長いときに前記サンプリング期間を長く設定して距離の算出精度を維持すると共に、前記車両と対象物間の距離が短いときには前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
【００１３】
また、前記第１の態様において、前記距離算出手段は、所定の制御周期毎に前記車両と対象物間の距離を算出し、前記サンプリング期間設定手段は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と、前記車両の車速と、前回の制御周期での前記車両と対象物間の距離の算出時からの経過時間とを用いて、今回の制御周期における前記車両と対象物間の推定距離を算出し、該推定距離が短いほど今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする。
【００１４】
かかる本発明において、前記車両と対象物間の距離が長いほど、前記サンプリング期間を長くして前記サンプリング期間をもって撮像された画像間における前記所定要素の変化度合いを大きくすることにより、距離の算出精度を維持する必要がある。それに対して、前記車両と対象物間の距離が短いほど、前記サンプリング期間を短い時間に設定しても画像間における前記所定要素の変化度合いが大きくなるため、距離の算出精度が高くなる。そこで、前記サンプリング期間設定手段により、前記推定距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することによって、前記車両と対象物間の距離が長いときに前記サンプリング期間を長く設定して距離の算出精度を維持すると共に、前記車両と対象物間の距離が短いときには前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
【００１５】
次に、本発明の第２の態様は、所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする。
【００１６】
かかる本発明によれば、今回の制御周期における前記車両と対象物間の距離は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と同程度になると想定される。そして、前記車両と対象物間の距離が長いほど、前記サンプリング期間を長くして前記サンプリング期間をもって撮像された画像間における前記所定要素の変化度合いを大きくすることにより、距離の算出精度を維持する必要がある。それに対して、前記車両と対象物間の距離が短いほど、前記サンプリング期間を短い時間に設定しても画像間における前記所定要素の変化度合いが大きくなるため、距離の算出精度が高くなる。そこで、前記サンプリング期間設定手段により、前回の制御周期で算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することによって、前記車両と対象物間の距離が長いときは前記サンプリング期間を長く設定して距離の算出精度を維持すると共に、前記車両と対象物間の距離が短いときには前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
【００１７】
次に本発明の第３の態様は、所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と、前記車両の車速と、前回の制御周期での前記車両と対象物間の算出時からの経過時間とを用いて、今回の制御周期における前記車両と対象物間の推定距離を算出し、該推定距離が短いほど今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする。
【００１８】
かかる発明において、前記車両と対象物間の距離が長いほど、前記サンプリング期間を長くして前記サンプリング期間をもって撮像された画像間における前記所定要素の変化度合いを大きくすることにより、距離の算出精度を維持する必要がある。それに対して、前記車両と対象物間の距離が短いほど、前記サンプリング期間を短い時間に設定しても画像間における前記所定要素の変化度合いが大きくなるため、距離の算出精度が高くなる。そこで、前記サンプリング期間設定手段により、前記推定距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することによって、前記車両と対象物間の距離が長いときに前記サンプリング期間を長く設定して距離の算出精度を維持すると共に、前記車両と対象物間の距離が短いときには前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の車両周囲監視装置の構成図。
【図２】図１に示した車両周囲監視装置の車両への取り付け態様の説明図。
【図３】図１に示した画像処理ユニットにおける処理手順を示したフローチャート。
【図４】対応画像抽出手段による画像の抽出処理と、画像間の視差の説明図。
【図５】視差オフセットによる影響の説明図、及び視差勾配に基づく理論的な視差の算出の説明図。
【図６】サンプリング期間の設定する処理のフローチャート。
【図７】サンプリング期間の設定方法の説明図。
【図８】視差の時系列データの信頼性を判定して視差勾配を算出し、視差勾配に基づく対象物との推定距離の信頼性を判定する処理のフローチャート。
【図９】視差勾配に基づいて、対象物との距離を求める処理のフローチャート。
【図１０】視差勾配に基づいて対象物との距離を求める処理の説明図。
【図１１】視差勾配に基づいて対象物との距離を求める処理の説明図。
【発明を実施するための形態】
【００２０】
本発明の実施の形態について、図１〜１１を参照して説明する。図１は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は画像処理ユニット１により構成されている。画像処理ユニット１には、遠赤外線を検出可能な赤外線カメラ２Ｒ，２Ｌ（本発明の撮像手段に相当する）、車両のヨーレートを検出するヨーレートセンサ３、車両の走行速度を検出する車速センサ４（本発明の車速検出手段に相当する）、運転者によるブレーキの操作量を検出するブレーキセンサ５、音声により注意喚起を行うためのスピーカ６、及び、赤外線カメラ２Ｒ，２Ｌにより得られた画像を表示すると共に、接触の可能性が高い対象物を運転者に視認させる表示を行うための表示装置７が接続されている。
【００２１】
図２を参照して、赤外線カメラ２Ｒ，２Ｌは、車両１０の前部に、車両１０の車幅方向の中心部に対してほぼ対象な位置に配置され、２台の赤外線カメラ２Ｒ，２Ｌの光軸を互いに平行とし、各赤外線カメラ２Ｒ，２Ｌの路面からの高さを等しくして固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
【００２２】
また、図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない）等により構成された電子ユニットであり、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。
【００２３】
そして、該マイクロコンピュータに、車両監視用プログラムを実行させることによって、該マイクロコンピュータが、赤外線カメラ２Ｒにより撮像された第１画像から、実空間上の対象物の第１画像部分を抽出する対象物抽出手段２０、赤外線カメラ２Ｌにより撮像された第２画像から、該第１画像部分と相関性を有する第２画像部分を抽出する対応画像抽出手段２１、対象物抽出手段２０により抽出された第１画像部分と対応画像抽出手段２１により抽出された第２画像部分との視差を算出する視差算出手段２２、視差算出手段２２により同一の対象物についての視差の時系列データを算出するための、第１画像及び第２画像を取得するサンプリング期間を設定するサンプリング期間設定手段２３、視差算出手段２２により算出された同一の対象物についての視差の時系列データから、単位時間あたりの視差の変化率である視差勾配を算出する視差勾配算出手段２４、視差勾配に基づいて対象物と車両１０との距離を算出する第１の距離算出手段２５、１つの視差のデータに基いて対象物と車両１０との距離を算出する第２の距離算出手段２６、第１の距離算出手段２５により算出された距離の信頼性を判定する距離信頼性判定手段２７、及び、車両１０と対象物との接触可能性を判定する接触判定手段２８として機能する。
【００２４】
次に、図３に示したフローチャートに従って、画像処理ユニット１による車両１０の周辺の監視処理について説明する。画像処理ユニット１は、所定の制御周期毎に図３に示したフローチャートによる処理を実行して車両１０の周辺を監視する。
【００２５】
画像処理ユニット１は、先ずＳＴＥＰ１で赤外線カメラ２Ｒ，２Ｌから出力される赤外線画像のアナログ信号を入力し、続くＳＴＥＰ２で該アナログ信号をＡ／Ｄ変換によりデジタル化したグレースケール画像を画像メモリに格納する。
【００２６】
なお、ＳＴＥＰ１〜ＳＴＥＰ２では、赤外線カメラ２Ｒによるグレースケール画像（以下、右画像という。）と、赤外線カメラ２Ｌによるグレースケール画像（以下、左画像という。）とが取得される。そして、右画像と左画像では、同一の対象物の画像部分の水平位置にずれ（視差）が生じるため、この視差に基づいて実空間における車両１０から該対象物までの距離を算出することができる。
【００２７】
続くＳＴＥＰ３で、画像処理ユニット１は、右画像を基準画像として２値化処理（輝度が閾値以上の画素を「１（白）」とし、該閾値よりも小さい画素を「０（黒）」とする処理）を行って２値画像を生成する。次のＳＴＥＰ４〜ＳＴＥＰ６は、対象物抽出手段２０による処理である。対象物抽出手段２０は、ＳＴＥＰ４で、２値画像に含まれる各白領域の画像部分をランレングスデータ（２値画像のｘ（水平）方向に連続する白の画素のラインのデータ）化する。また、対象物抽出手段２０は、ＳＴＥＰ５で、２値画像のｙ（垂直）方向に重なる部分があるラインを一つの画像部分としてラベリングし、ＳＴＥＰ６で、ラベリングした画像部分を監視対象物の画像候補として抽出する。
【００２８】
次のＳＴＥＰ７で、画像処理ユニット１は、各画像候補の重心Ｇ、面積Ｓ、及び外接四角形の縦横比ＡＳＰＥＣＴを算出する。なお、具体的な算出方法については、例えば特開２００１−６０９６号公報等に記載された一般的なものであるため、ここでは説明を省略する。そして、画像処理ユニット１は、続くＳＴＥＰ８〜ＳＴＥＰ９と、ＳＴＥＰ２０〜ＳＴＥＰ２２を平行して実行する。
【００２９】
ＳＴＥＰ８で、画像処理ユニット１は、所定のサンプリング周期毎に赤外線カメラ２Ｒ，２Ｌにより撮像された画像に基づく２値画像から抽出された画像部分について、同一性判定を行い、同一の対象物の画像であると判定された画像部分の位置（重心位置）の時系列データをメモリに格納する（時刻間追跡）。また、ＳＴＥＰ９で、画像処理ユニット１は、車速センサ４により検出される車速ＶCAR及びヨーレートセンサ３により検出されるヨーレートＹRを読み込み、ヨーレートＹRを時間積分することにより、車両１０の回頭角θrを算出する。
【００３０】
また、ＳＴＥＰ２０〜ＳＴＥＰ２１は対応画像抽出手段２１による処理である。図４を参照して、対応画像抽出手段２１は、ＳＴＥＰ２０で、対象物抽出手段２０により抽出された監視対象物の画像候補の中の一つを選択して、右画像のグレースケール画像３０から対応する探索画像３０ａ（選択された候補画像の外接四角形で囲まれる領域全体の画像）を抽出する。続くＳＴＥＰ２１で、対応画像抽出手段２０は、左画像のグレースケール画像３１から探索画像３０ａに対応する画像を探索する探索領域３２を設定し、探索画像３０ａとの相間演算を実行して対応画像３１ａを抽出する。
【００３１】
続くＳＴＥＰ２２は、視差算出手段２２による処理である。視差算出手段２２は、探索画像３０ａの重心位置と対応画像３１ａの重心位置との差を視差ｄｘとして算出し、ＳＴＥＰ１０に進む。
【００３２】
ＳＴＥＰ１０で、画像処理ユニット１は、探索画像３０ａ及び対応画像３１ａに対応する実空間上の対象物と、車両１０との距離を算出する「距離算出処理」を実行する。「距離算出処理」については、後述する。
【００３３】
続くＳＴＥＰ１１〜ＳＴＥＰ１５及びＳＴＥＰ３０は、接触判定手段２８による処理である。ＳＴＥＰ１１で、接触判定手段２８は、探索画像３０ａの座標（ｘ，ｙ）とＳＴＥＰ１０で算出された対象物と車両１０との距離ｚを、実空間座標（Ｘ，Ｙ，Ｚ）に変換して、探索画像１０ａに対応する実空間上の対象物の位置の座標を算出する。なお、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示したように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点の位置を原点０として、Ｘを車両１０の車幅方向、Ｙを鉛直方向、Ｚを車両１０の前方向に設定されている。また、画像座標は、画像の中心を原点とし、水平方向がｘ、垂直方向がｙに設定されている。
【００３４】
次のＳＴＥＰ１２で、接触判定手段２８は、車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。また、ＳＴＥＰ１３で、接触判定手段２８は、所定のモニタ期間内で撮像された複数の画像から得られた回頭角補正後の同一の対象物の実空間位置の時系列データから、対象物と車両１０との相対的な移動ベクトルを算出する。
【００３５】
なお、対象物の実空間座標（Ｘ，Ｙ，Ｚ）及び移動ベクトルの具体的な算出方法については、前掲した特開２００１−６０９６号公報に詳説されているので、ここでは説明を省略する。
【００３６】
次に、ＳＴＥＰ１４で、接触判定手段２８は、車両１０と対象物との接触可能性を判断して、注意喚起を行う必要があるか否かを判定する「注意喚起判定処理」を実行する。そして、「注意喚起判定処理」により、注意喚起を行う必要があると判定されたときは、ＳＴＥＰ３０に分岐してスピーカ６による注意喚起音の出力と、表示装置７への注意喚起表示を行う。一方、「注意喚起判定処理」により注意喚起を行う必要がないと判定されたときにはＳＴＥＰ１に戻り、画像処理ユニット１は注意喚起を行わない。
【００３７】
画像処理ユニット１は、「注意喚起判定処理」において、対象物が余裕時間内に自車両１０と接触する可能性、対象物が自車両周囲に設定した接近判定領域内に存在するか否か、対象物が接近判定領域外から接近判定領域内に進入して自車両１０と接触する可能性、対象物が歩行者であるか否か、対象物が人工構造物であるか否か等を判定して、注意喚起を行う必要があるか否かを判定する。
【００３８】
なお、「注意喚起判定処理」の具体的な処理内容については、前掲した特開２００１−６０６９に「警報判定処理」として詳説されているので、ここでは説明を省略する。
【００３９】
次に、図５〜図１１を参照して、図３のＳＴＥＰ１０における「距離算出処理」について説明する。図４に示したように、実空間上の同一の対象物について、右画像から探索画像３０ａが抽出されると共に、左画像３１から対応画像３１ａが抽出されて、視差ｄｘが算出された場合、対象物と車両１０間の距離Ｚは、基本的には以下の式（１）により算出することができる。
【００４０】
【数１】
【００４１】
但し、Ｚ：対象物と車両１０との距離、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの画素ピッチ、Ｄ：赤外線カメラ２Ｒ，２Ｌの基線長、ｄｘ：視差。
【００４２】
しかし、実際には、(a)車両１０の走行時における振動の影響、(b)赤外線カメラ２Ｒ，２Ｌを車両１０に搭載するときのエイミング精度、(c)対応画像抽出手段２１により同一の対象物の画像部分を抽出するときの相関演算による影響等の要因によって、車両と対象物との実際の距離（実距離）と、上記式（１）により算出した距離（算出距離）との間に誤差が生じる。
【００４３】
このような実距離と算出距離との誤差は、上記式（１）については、以下の式（２）に示したように、視差オフセットαとして影響が現れる。
【００４４】
【数２】
【００４５】
そして、特に車両１０と対象物との距離Ｚが長くなると視差算出手段２２により算出される視差ｄｘが小さくなって、上記式（２）の視差オフセットαの影響が無視できなくなる。そのため、算出距離を用いた接触判定手段２８による対象物と車両１０との接触可能性の判定精度が低下するという不都合が生じる。
【００４６】
ここで、図５（ａ）は、例えば、車両１０が７２km/hで走行しているときの視差ｄｘと距離Ｚとの関係を、縦軸を視差ｄｘに設定し、横軸を車両１０と対象物との距離Ｚに設定して示したものである。図中ｄ1は視差オフセットα＝０のとき、ｄ2は視差オフセットα＝−２（pixel）のとき、ｄ3は視差オフセットα＝−４（pixel）のときを示している。
【００４７】
図５（ａ）から明らかなように、視差オフセットαの値に応じて距離に対応する視差ｄｘの値が変化するため、距離の算出誤差が生じる。例えば、実際の車両１０と対象物との距離が１５０ｍであるときに、視差オフセットα＝−２（pixel）があると距離の算出値は２０５ｍとなり、視差オフセットα＝−４（pixel）があると距離の算出値は３２２ｍとなる。
【００４８】
しかし、視差勾配は、視差オフセットが生じても変化しない。そこで、第１の距離算出手段２５は、視差の時系列データから視差勾配を算出し、視差勾配を用いて対象物と車両１０との距離を算出することによって、視差オフセットαの影響を排除している。
【００４９】
なお、右画像及び左画像から得られる同一の対象物の画像部分の視差は、本発明における同一対象物の画像部分の所定要素に相当する。また、視差の時系列データから算出される視差勾配は、本発明における所定要素の変化度合いに相当する。
【００５０】
次に、サンプリング期間設定手段２３は、図６に示したフローチャートに従って、視差勾配を算出する際に用いる視差の時系列データを取得するサンプリング期間を設定する。サンプリング期間設定手段２３は、ＳＴＥＰ９０で前回の制御周期で算出された対象物と車両１０との距離Ｌ(n-1)のデータがメモリ（図示しない）に保持されているか否かを判断する。
【００５１】
ここで、画像処理ユニット１は、車両１０の走行時に図３に示したフローチャートによる周辺の監視処理を行うため、前回の制御周期で算出された対象物と車両１０との距離Ｌ(n-1)のデータがメモリに保持されているのは、車両１０が走行している時となる。
【００５２】
ＳＴＥＰ９０で、前回の制御周期で算出された対象物と車両１０との距離Ｌ(n-1)のデータがメモリ（図示しない）に保持されているときはＳＴＥＰ９１に進む。そして、サンプリング期間設定手段２３は、車速センサ４により検出される車速ＶCARと、前回の制御周期における距離Ｌ(n-1)の算出時から現時点までの経過時間Δｔを取得する。
【００５３】
続くＳＴＥＰ９２で、サンプリング期間設定手段２３は、以下の式（３）により今回の制御周期における対象物と車両１０との推定距離Ｌeを算出する。
【００５４】
【数３】
【００５５】
但し、Ｌe：今回の制御周期における対象物と車両１０との推定距離、Ｌ(n-1)：前回の制御周期における対象物と車両１０との算出距離、ＶCAR：車両１０の車速、Δｔ：前回の制御周期における対象物と車両１０との距離の算出時から現時点までの経過時間。
【００５６】
そして、サンプリング期間設定手段２３は、図７（ａ）のａ1に示した、推定距離Ｌeとサンプリング期間Ｔwとの対応マップに、推定距離Ｌeを適用して得たサンプリング期間Ｔwを、今回の制御周期におけるサンプリング期間Ｔwとする。この場合、対象物と車両１０との距離が短いほど、サンプリング期間Ｔwが短い時間に設定される。
【００５７】
この場合、対象物が車両１０に近付くに従ってサンプリング期間Ｔwが短く設定される。そのため、図７（ａ）のａ2に示したように、サンプリング期間Ｔwを遠距離の対象物の距離算出精度を維持するための一定時間とした場合と比べて、対象物と車両１０との距離を速やかに算出して、対象物を検知することができる。また、サンプリング期間Ｔwにおける撮像画像の数が少なくて済むため、距離を算出する際の画像処理ユニット１の処理負荷を軽減することができる。
【００５８】
なお、本実施の形態では、上記式（３）により算出した対象物と車両１０との推定距離Ｌeを用いて、Ｌeが短いほどサンプリング期間Ｔwを短い時間に設定したが、前回の制御周期における対象物と車両１０との算出距離Ｌ(n-1)を用いて、Ｌ(n-1)が短いほどサンプリングＴwを短い時間に設定するようにしてもよい。
【００５９】
また、推定距離Ｌeや算出距離Ｌ(n-1)には誤差が含まれるため、この誤差を考慮して、図７（ａ）のａ3に示したように、サンプリング期間Ｔwを階段状に設定するようにしてもよい。
【００６０】
また、図７（ｂ）に示したように、推定距離Ｌeが短いほど小さくなる係数ｋ1（０＜ｋ≦１）を設定し、対象物と車両との距離が長いときを想定して予め設定したサンプリング期間の初期値に、この係数ｋ1を乗じて今回の制御周期におけるサンプリング期間Ｔwを設定するようにしてもよい。
【００６１】
一方、ＳＴＥＰ９０で、前回の制御周期で算出された対象物と車両１０との距離Ｌ(n-1)のデータがメモリ（図示しない）に保持されていないときには、ＳＴＥＰ１００に分岐する。そして、サンプリング期間設定手段２３は、車速センサ４により検出される車速ＶCARを取得する。
【００６２】
続くＳＴＥＰ１０１で、サンプリング期間設定手段２３は、図７（ｃ）のｂ1に示した、車速ＶCARとサンプリング期間Ｔwとの対応マップに、車速ＶCARを適用して得たサンプリング期間Ｔwを、今回の制御期間におけるサンプリング期間Ｔwとする。この場合、車両１０の車速が低いほど、サンプリング期間Ｔwが短い時間に設定される。
【００６３】
この場合、車速が低くなる場合として、市街地の狭い道路を走行しているような状況が想定されるが、この場合には脇道からの歩行者が飛び出すおそれがある。そこで、車速が遅いほどサンプリング期間Ｔwを短い時間に設定することにより、このような歩行者との距離を算出するまでの時間を短くして、歩行者の検知の遅れが生じることを抑制することができる。
【００６４】
そして、サンプリング期間設定手段２３は、ＳＴＥＰ９３で、ＳＴＥＰ９２又はＳＴＥＰ１０１で設定されたサンプリング期間Ｔw以上の期間における時系列画像が得られるのを待ってＳＴＥＰ９４に進む。ＳＴＥＰ９４は第１の距離算出手段２５による処理であり、第１の距離算出手段２５は、ＳＴＥＰ９４で視差勾配を用いて対象物と車両１０との距離を算出し、ＳＴＥＰ９５に進んで図３のフローチャートに戻る。
【００６５】
次に、図８に示したフローチャートに従って、図６のＳＴＥＰ９４における第１の距離算出手段２５による処理について説明する。
【００６６】
第１の距離算出手段２５は、ＳＴＥＰ５０で、予め設定された時系列時間Ｔs（例えば１秒間）の間に、視差算出手段２２により算出された視差の時系列データから、視差が算出されなかったときのデータ（対応画像抽出手段２１による相関演算が失敗したときのデータ等）や、視差の値が他のデータから極端に乖離しているデータを除外する外れ値除外処理を行う。
【００６７】
また、ＳＴＥＰ５１で、第１の距離算出手段２５は、視差の時系列データの個数や視差を求める際の相関演算における相関度等に基づいて、視差の時系列データの信頼性を判定する。そして、視差の時系列データの信頼性があると判定したときは、次のＳＴＥＰ５２からＳＴＥＰ５３に進む。一方、視差の時系列データの信頼性がないと判定したときには、ＳＴＥＰ５２からＳＴＥＰ６０に分岐し、今回の視差の時系列データに基く接触判定手段２８による処理が禁止される。
【００６８】
ＳＴＥＰ５３で、第１の距離算出手段２５は、視差の時系列データから視差勾配を算出し、ＳＴＥＰ５４で視差勾配に基づいて車両１０と対象物との距離を推定する。ＳＴＥＰ５４の距離推定処理の詳細については、後述する。
【００６９】
続くＳＴＥＰ５５は、距離信頼性判定手段２７による処理である。距離信頼性判定手段２７は、視差勾配を用いて、第１の距離算出手段２５により算出された車両１０と対象物との距離Ｚ1と、例えば視差の時系列データの中間値を用いて、第２の距離算出手段２６により上記式（１）によって算出された車両１０と対象物との距離Ｚ2とを比較する。
【００７０】
そして、距離信頼性判定手段２７は、Ｚ1とのＺ2との差が所定範囲内（赤外線カメラ２Ｒ，２Ｌの取付精度や車両の振動等により変化する車両１０固有の範囲）から外れたときは、視差オフセットαが大きく、Ｚ1の信頼性が低いと判定する。距離信頼性判定手段２７は、Ｚ1の信頼性が低いと判定したときは、次のＳＴＥＰ５６からＳＴＥＰ６０に分岐する。一方、Ｚ1の信頼性が高いと判定したときには、ＳＴＥＰ５６からＳＴＥＰ５７に進み、この場合には、接触判定手段２８による図３のＳＴＥＰ１１以降の接触判定処理が実行される。
【００７１】
次に、図９を参照して、図８のＳＴＥＰ５４における第１の距離算出手段２５による「距離推定処理」について説明する。第１の距離算出手段２５は、ＳＴＥＰ７０で、車速センサ４により算出される車両１０の走行速度ＶCARを入力する。また、続くＳＴＥＰ７１で、第１の距離算出手段２５は、図６のＳＴＥＰ５３で算出された視差勾配の算出値Ｉaを入力し、ＳＴＥＰ７２で時系列時間Ｔs（例えば、１秒）を入力する。
【００７２】
そして、第１の距離算出手段２５は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループを繰り返し実行して、視差勾配の算出値Ｉaに対応する視差を算出する。図５（ｂ）は、視差オフセットα＝０であって、車両１０が１００km/hで走行しているときの視差と視差勾配の変化を、左側の縦軸を視差に設定し、右側の縦軸を視差勾配に設定し、横軸を時間に設定して、静止した対象物について示したものである。図中ｅ1が視差の時系列データ（理論的な視差の時系列データ）であり、ｅ2が視差勾配（理論的な視差勾配）である。
【００７３】
第１の距離算出手段２５は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループにおいて、ＳＴＥＰ７３で、視差のサンプリング期間Ｔwを図５（ｂ）の５秒経過時から０秒に向かって、時系列時間Ｔs（例えば１秒）ずつずらしながら設定し（例えば、４〜５秒、３．５〜４．５秒、３．０〜４．０秒、２．５〜３．５秒、…）、ＳＴＥＰ７４で、車両１０の速度ＶCARとサンプリング期間Ｔwとに基づいて、Ｔwにおける視差の理論的な時系列データを作成する。
【００７４】
そして、第１の距離算出手段２５は、続くＳＴＥＰ７５で、各サンプリング期間Ｔwにおける視差の理論的な時系列データから視差勾配の理論値Ｉtを算出して、ＳＴＥＰ７６で視差勾配の算出値Ｉaが理論値Ｉt以上となったか否かを判断する。
【００７５】
そして、ＳＴＥＰ７６で視差勾配の算出値Ｉaが理論値Ｉt以上となったときは、ループを抜けてＳＴＥＰ７７に進み、視差勾配の算出値Ｉaが理論値Ｉtよりも小さいときにはＳＴＥＰ７３に戻って、次のサンプリング期間Ｔwを設定してＳＴＥＰ７４以降の処理を行う。
【００７６】
ＳＴＥＰ７７で、第１の距離算出手段２５は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループで最後に算出した視差勾配の理論値Ｉtに対応する視差ｄx_tを取得する。例えば、視差勾配の算出値Ｉaが１５０であったときには、図５（ｂ）に示したように、視差勾配の算出値Ｉaが理論値Ｉt以上となったサンプリング期間Ｔw（２．５〜３．５秒）の中間値である３．０秒における理論的な時系列データの視差９．０が取得される。
【００７７】
そして、第１の距離算出手段２５は、続くＳＴＥＰ７８で、視差９．０を上記式（１）のｄｘに代入して車両と対象物との距離を算出する。
【００７８】
次に、図１０〜図１１を参照して、視差勾配から車両と対象物との距離を推定する処理の他の実施形態について説明する。
【００７９】
先ず、図１０（ａ）及び図１０（ｂ）は、視差の時系列データの分布を、縦軸を視差に設定し、横軸を時間に設定して示したものであり、図１０（ａ）はｔ11〜ｔ13のサンプリング期間における９個の視差の算出データから直線Ｓaを求めている。
【００８０】
また、図１０（ｂ）は、視差オフセットα＝０としたときの理論的な視差勾配を持つ直線を、車両と対象物との距離毎に示したものであり、Ｓ1は距離を１９０ｍに設定した直線、Ｓ2は距離を１８０ｍに設定した直線、Ｓnは距離を１００ｍに設定した直線を示している。
【００８１】
そして、第１の距離算出手段２５は、図１０（ａ）に示したように、視差の時系列データから作成した直線Ｓaの勾配と同じ勾配を有する直線を、図１０（ｂ）のＳ1〜Ｓnの直線の中から選択し、選択した直線の設定距離を車両１０と対象物の距離として求めることができる。
【００８２】
次に、図１１は、車両１０の走行速度毎（図１１では、７０km/h，９５km/h，１００km/h）に、視差勾配と対象物との距離との相関マップＭ1，Ｍ2，Ｍ3，…を予め用意するものである。第１の距離算出手段２５は、視差の時系列データから算出した視差勾配を、車両１０の走行速度に応じて選択した相関マップに適用することによって、車両１０と対象物との距離を求めることができる。
【００８３】
例えば、車両１０の走行速度が７０km/hであって、視差の時系列データから算出した視差勾配がＩaであるときには、第１の距離算出手段２５は、図１１の相関マップＭ1を選択して視差勾配Ｉaを適用することにより、車両１０と対象物との距離Ｚ1を得ることができる。
【００８４】
また、上述した実施の形態においては、距離信頼性判定手段２７は、第１の距離算出手段２５により、視差勾配を用いて算出された車両１０と対象物との距離Ｚ1と、第２の距離算出手段２６により、例えば視差の時系列データの中間値を用いて上記式（１）によって算出された車両１０と対象物との距離Ｚ2とを比較して、Ｚ1の信頼性を判断したが、他の手法によりＺ1の信頼性を判断してもよい。以下では、距離信頼性判定手段２７によるＺ1の信頼性の判断の他の手法について説明する。
【００８５】
距離信頼性判定手段２７は、図８のＳＴＥＰ５５において、上記式（１）の逆算式である以下の式（４）に、第１の距離算出手段２５により視差勾配を用いて算出された車両１０との距離Ｚ1を代入して算出される、距離Ｚ1に対応する推定視差ｄｘ'と、視差算出手段２２により算出された視差ｄｘとを比較する。
【００８６】
【数４】
【００８７】
但し、ｄｘ'：推定視差、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの画素ピッチ、Ｄ：赤外線カメラ２Ｒ，２Ｌの基線長、Ｚ1：第１の距離算出手段２５により算出された対象物と車両１０との距離。
【００８８】
そして、距離信頼性判定手段２７は、視差ｄｘと推定視差ｄｘ'との差が第２の所定範囲内（赤外線カメラ２Ｒ，２Ｌの取付精度や車両の振動等により変化する車両１０固有の範囲）から外れたときは、視差オフセットαが大きく、Ｚ1の信頼性が低いと判定する。
【００８９】
距離信頼性判定手段２７は、Ｚ1の信頼性が低いと判定したときは、次のＳＴＥＰ５６からＳＴＥＰ６０に分岐する。一方、Ｚ1の信頼性が低くないと判定したときには、ＳＴＥＰ５６からＳＴＥＰ５７に進み、この場合には、接触判定手段２８による図３のＳＴＥＰ１１以降の接触判定処理が実行される。
【００９０】
なお、本実施の形態では、２台の赤外線カメラ２Ｒ，２Ｌを備え、右画像と左画像間の同一対象物の画像部分の視差を用いて、車両１０と対象物との距離を算出したが、例えば、特開２００７−２１３５６１号公報に記載されているように、１台のカメラにより撮像された時系列画像間における同一対象物の画像部分の大きさの変化率を用いて、車両と対象物との距離を算出する場合にも、本発明の適用が可能である。
【００９１】
この場合には、同一対象物の画像部分の大きさの変化率を算出するための２つの画像のサンプリング周期（２つの画像の撮像時点間の時間）を、車速が低いほど短い時間に設定するか、或いは、前回の制御周期で算出された対象物と車両間の距離が短いほど今回の制御周期におけるサンプリング期間を短い時間に設定すればよい。また、前回の制御周期で算出された対象物と車両間の距離と、車速と、前記の制御周期における対象物と車両間の距離の算出時からの経過時間とを用いて、今回の制御周期における対象物と車両との推定距離を算出し、この推定距離が短いほど今回の制御周期における２つの画像のサンプリング周期を短い時間に設定するようにしてもよい。
【００９２】
なお、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して対象物との接触可能性を判断するようにしてもよい。
【００９３】
また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２Ｒ，２Ｌを用いたが、可視画像を撮像する可視カメラを用いてもよい。
【符号の説明】
【００９４】
１…画像処理ユニット、２Ｒ，２Ｌ…赤外線カメラ、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…表示装置、２０…対象物抽出手段、２１…対応画像抽出手段、２２…視差算出手段、２３…視差勾配算出手段、２４…サンプリング期間設定手段、２５…第１の距離算出手段、２６…第２の距離算出手段、２７…距離信頼性判定手段、２８…接触判定手段。
【技術分野】
【０００１】
本発明は、車両に搭載された撮像手段により撮像された画像に基づいて、車両の周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、例えば、車両に搭載された１台のカメラにより撮像された時系列画像から、同一の対象物の画像部分の大きさの変化率を算出し、この変化率から対象物と車両との距離を算出するようにした車両周辺監視装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１３５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１には、対象物の画像部分の変化率の算出に用いる画像のサンプリング期間の具体的な設定については記載されていない。そして、対象物の時系列画像を用いて距離を算出する場合に、時系列画像のサンプリング期間を一定にすると、車両と対象物間の距離が長いほど対象物の画像の大きさの変化率が小さくなるため、車両から遠い対象物ほど距離の算出精度が低くなる。
【０００５】
そのため、車両から所定距離以内の範囲を検出領域として、対象物（歩行者、自転車、大型動物等）を検出する場合、この検出領域内において最も遠い位置に存在する対象物にと車両間の距離の算出精度を確保するためには、時系列画像のサンプリング期間をある程度長い時間に設定する必要がある。
【０００６】
そして、このように、遠距離に存在する対象物を基準として時系列画像のサンプリング期間を一定時間に設定した場合、近距離に存在する対象物との距離を算出するときには、サンプリング期間が必要以上に長くなる。そのため、近距離に存在する対象物と車両との距離の算出タイミングが遅れるおそれがある。
【０００７】
そこで、本発明は、対象物の時系列画像に基づいて対象物と車両との距離を算出する場合に、距離算出のタイミングの遅れが生じることを抑制した車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上記目的を達成するためになされたものであり、車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置に関する。
【０００９】
そして、本発明の第１の態様は、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、前記車両の車速を検出する車速検出手段と、前記車両の車速が低いほど、前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする。
【００１０】
かかる本発明によれば、前記サンプリング期間設定手段により、前記車両の車速が低いほど前記サンプリング期間を短い時間に設定することによって、高速道路を走行している場合のように前記車両の車速が高く、遠方の対象物を検知する必要があるときは、前記サンプリング期間を長く設定して前記車両と対象物間の距離の算出精度を維持することができる。また、市街地の狭い道路を走行している場合のように前記車両の車速が低く、近くの対象物を検知する必要があるときには、前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
【００１１】
また、前記第１の態様において、前記距離算出手段は、所定の制御周期毎に前記車両と対象物間の距離を算出し、前記サンプリング期間設定手段は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする。
【００１２】
かかる本発明によれば、今回の制御周期における前記車両と対象物間の距離は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と同程度になると想定される。そして、前記車両と対象物間の距離が長いほど、前記サンプリング期間を長くして前記サンプリング期間をもって撮像された画像間における前記所定要素の変化度合いを大きくすることにより、距離の算出精度を維持する必要がある。それに対して、前記車両と対象物間の距離が短いほど、前記サンプリング期間を短い時間に設定しても画像間における前記所定要素の変化度合いが大きくなるため、距離の算出精度が高くなる。そこで、前記サンプリング期間設定手段により、前回の制御周期で算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することによって、前記車両と対象物間の距離が長いときに前記サンプリング期間を長く設定して距離の算出精度を維持すると共に、前記車両と対象物間の距離が短いときには前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
【００１３】
また、前記第１の態様において、前記距離算出手段は、所定の制御周期毎に前記車両と対象物間の距離を算出し、前記サンプリング期間設定手段は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と、前記車両の車速と、前回の制御周期での前記車両と対象物間の距離の算出時からの経過時間とを用いて、今回の制御周期における前記車両と対象物間の推定距離を算出し、該推定距離が短いほど今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする。
【００１４】
かかる本発明において、前記車両と対象物間の距離が長いほど、前記サンプリング期間を長くして前記サンプリング期間をもって撮像された画像間における前記所定要素の変化度合いを大きくすることにより、距離の算出精度を維持する必要がある。それに対して、前記車両と対象物間の距離が短いほど、前記サンプリング期間を短い時間に設定しても画像間における前記所定要素の変化度合いが大きくなるため、距離の算出精度が高くなる。そこで、前記サンプリング期間設定手段により、前記推定距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することによって、前記車両と対象物間の距離が長いときに前記サンプリング期間を長く設定して距離の算出精度を維持すると共に、前記車両と対象物間の距離が短いときには前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
【００１５】
次に、本発明の第２の態様は、所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする。
【００１６】
かかる本発明によれば、今回の制御周期における前記車両と対象物間の距離は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と同程度になると想定される。そして、前記車両と対象物間の距離が長いほど、前記サンプリング期間を長くして前記サンプリング期間をもって撮像された画像間における前記所定要素の変化度合いを大きくすることにより、距離の算出精度を維持する必要がある。それに対して、前記車両と対象物間の距離が短いほど、前記サンプリング期間を短い時間に設定しても画像間における前記所定要素の変化度合いが大きくなるため、距離の算出精度が高くなる。そこで、前記サンプリング期間設定手段により、前回の制御周期で算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することによって、前記車両と対象物間の距離が長いときは前記サンプリング期間を長く設定して距離の算出精度を維持すると共に、前記車両と対象物間の距離が短いときには前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
【００１７】
次に本発明の第３の態様は、所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と、前記車両の車速と、前回の制御周期での前記車両と対象物間の算出時からの経過時間とを用いて、今回の制御周期における前記車両と対象物間の推定距離を算出し、該推定距離が短いほど今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする。
【００１８】
かかる発明において、前記車両と対象物間の距離が長いほど、前記サンプリング期間を長くして前記サンプリング期間をもって撮像された画像間における前記所定要素の変化度合いを大きくすることにより、距離の算出精度を維持する必要がある。それに対して、前記車両と対象物間の距離が短いほど、前記サンプリング期間を短い時間に設定しても画像間における前記所定要素の変化度合いが大きくなるため、距離の算出精度が高くなる。そこで、前記サンプリング期間設定手段により、前記推定距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することによって、前記車両と対象物間の距離が長いときに前記サンプリング期間を長く設定して距離の算出精度を維持すると共に、前記車両と対象物間の距離が短いときには前記サンプリング期間を短く設定して距離の算出タイミングが遅れることを抑制することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の車両周囲監視装置の構成図。
【図２】図１に示した車両周囲監視装置の車両への取り付け態様の説明図。
【図３】図１に示した画像処理ユニットにおける処理手順を示したフローチャート。
【図４】対応画像抽出手段による画像の抽出処理と、画像間の視差の説明図。
【図５】視差オフセットによる影響の説明図、及び視差勾配に基づく理論的な視差の算出の説明図。
【図６】サンプリング期間の設定する処理のフローチャート。
【図７】サンプリング期間の設定方法の説明図。
【図８】視差の時系列データの信頼性を判定して視差勾配を算出し、視差勾配に基づく対象物との推定距離の信頼性を判定する処理のフローチャート。
【図９】視差勾配に基づいて、対象物との距離を求める処理のフローチャート。
【図１０】視差勾配に基づいて対象物との距離を求める処理の説明図。
【図１１】視差勾配に基づいて対象物との距離を求める処理の説明図。
【発明を実施するための形態】
【００２０】
本発明の実施の形態について、図１〜１１を参照して説明する。図１は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は画像処理ユニット１により構成されている。画像処理ユニット１には、遠赤外線を検出可能な赤外線カメラ２Ｒ，２Ｌ（本発明の撮像手段に相当する）、車両のヨーレートを検出するヨーレートセンサ３、車両の走行速度を検出する車速センサ４（本発明の車速検出手段に相当する）、運転者によるブレーキの操作量を検出するブレーキセンサ５、音声により注意喚起を行うためのスピーカ６、及び、赤外線カメラ２Ｒ，２Ｌにより得られた画像を表示すると共に、接触の可能性が高い対象物を運転者に視認させる表示を行うための表示装置７が接続されている。
【００２１】
図２を参照して、赤外線カメラ２Ｒ，２Ｌは、車両１０の前部に、車両１０の車幅方向の中心部に対してほぼ対象な位置に配置され、２台の赤外線カメラ２Ｒ，２Ｌの光軸を互いに平行とし、各赤外線カメラ２Ｒ，２Ｌの路面からの高さを等しくして固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
【００２２】
また、図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない）等により構成された電子ユニットであり、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。
【００２３】
そして、該マイクロコンピュータに、車両監視用プログラムを実行させることによって、該マイクロコンピュータが、赤外線カメラ２Ｒにより撮像された第１画像から、実空間上の対象物の第１画像部分を抽出する対象物抽出手段２０、赤外線カメラ２Ｌにより撮像された第２画像から、該第１画像部分と相関性を有する第２画像部分を抽出する対応画像抽出手段２１、対象物抽出手段２０により抽出された第１画像部分と対応画像抽出手段２１により抽出された第２画像部分との視差を算出する視差算出手段２２、視差算出手段２２により同一の対象物についての視差の時系列データを算出するための、第１画像及び第２画像を取得するサンプリング期間を設定するサンプリング期間設定手段２３、視差算出手段２２により算出された同一の対象物についての視差の時系列データから、単位時間あたりの視差の変化率である視差勾配を算出する視差勾配算出手段２４、視差勾配に基づいて対象物と車両１０との距離を算出する第１の距離算出手段２５、１つの視差のデータに基いて対象物と車両１０との距離を算出する第２の距離算出手段２６、第１の距離算出手段２５により算出された距離の信頼性を判定する距離信頼性判定手段２７、及び、車両１０と対象物との接触可能性を判定する接触判定手段２８として機能する。
【００２４】
次に、図３に示したフローチャートに従って、画像処理ユニット１による車両１０の周辺の監視処理について説明する。画像処理ユニット１は、所定の制御周期毎に図３に示したフローチャートによる処理を実行して車両１０の周辺を監視する。
【００２５】
画像処理ユニット１は、先ずＳＴＥＰ１で赤外線カメラ２Ｒ，２Ｌから出力される赤外線画像のアナログ信号を入力し、続くＳＴＥＰ２で該アナログ信号をＡ／Ｄ変換によりデジタル化したグレースケール画像を画像メモリに格納する。
【００２６】
なお、ＳＴＥＰ１〜ＳＴＥＰ２では、赤外線カメラ２Ｒによるグレースケール画像（以下、右画像という。）と、赤外線カメラ２Ｌによるグレースケール画像（以下、左画像という。）とが取得される。そして、右画像と左画像では、同一の対象物の画像部分の水平位置にずれ（視差）が生じるため、この視差に基づいて実空間における車両１０から該対象物までの距離を算出することができる。
【００２７】
続くＳＴＥＰ３で、画像処理ユニット１は、右画像を基準画像として２値化処理（輝度が閾値以上の画素を「１（白）」とし、該閾値よりも小さい画素を「０（黒）」とする処理）を行って２値画像を生成する。次のＳＴＥＰ４〜ＳＴＥＰ６は、対象物抽出手段２０による処理である。対象物抽出手段２０は、ＳＴＥＰ４で、２値画像に含まれる各白領域の画像部分をランレングスデータ（２値画像のｘ（水平）方向に連続する白の画素のラインのデータ）化する。また、対象物抽出手段２０は、ＳＴＥＰ５で、２値画像のｙ（垂直）方向に重なる部分があるラインを一つの画像部分としてラベリングし、ＳＴＥＰ６で、ラベリングした画像部分を監視対象物の画像候補として抽出する。
【００２８】
次のＳＴＥＰ７で、画像処理ユニット１は、各画像候補の重心Ｇ、面積Ｓ、及び外接四角形の縦横比ＡＳＰＥＣＴを算出する。なお、具体的な算出方法については、例えば特開２００１−６０９６号公報等に記載された一般的なものであるため、ここでは説明を省略する。そして、画像処理ユニット１は、続くＳＴＥＰ８〜ＳＴＥＰ９と、ＳＴＥＰ２０〜ＳＴＥＰ２２を平行して実行する。
【００２９】
ＳＴＥＰ８で、画像処理ユニット１は、所定のサンプリング周期毎に赤外線カメラ２Ｒ，２Ｌにより撮像された画像に基づく２値画像から抽出された画像部分について、同一性判定を行い、同一の対象物の画像であると判定された画像部分の位置（重心位置）の時系列データをメモリに格納する（時刻間追跡）。また、ＳＴＥＰ９で、画像処理ユニット１は、車速センサ４により検出される車速ＶCAR及びヨーレートセンサ３により検出されるヨーレートＹRを読み込み、ヨーレートＹRを時間積分することにより、車両１０の回頭角θrを算出する。
【００３０】
また、ＳＴＥＰ２０〜ＳＴＥＰ２１は対応画像抽出手段２１による処理である。図４を参照して、対応画像抽出手段２１は、ＳＴＥＰ２０で、対象物抽出手段２０により抽出された監視対象物の画像候補の中の一つを選択して、右画像のグレースケール画像３０から対応する探索画像３０ａ（選択された候補画像の外接四角形で囲まれる領域全体の画像）を抽出する。続くＳＴＥＰ２１で、対応画像抽出手段２０は、左画像のグレースケール画像３１から探索画像３０ａに対応する画像を探索する探索領域３２を設定し、探索画像３０ａとの相間演算を実行して対応画像３１ａを抽出する。
【００３１】
続くＳＴＥＰ２２は、視差算出手段２２による処理である。視差算出手段２２は、探索画像３０ａの重心位置と対応画像３１ａの重心位置との差を視差ｄｘとして算出し、ＳＴＥＰ１０に進む。
【００３２】
ＳＴＥＰ１０で、画像処理ユニット１は、探索画像３０ａ及び対応画像３１ａに対応する実空間上の対象物と、車両１０との距離を算出する「距離算出処理」を実行する。「距離算出処理」については、後述する。
【００３３】
続くＳＴＥＰ１１〜ＳＴＥＰ１５及びＳＴＥＰ３０は、接触判定手段２８による処理である。ＳＴＥＰ１１で、接触判定手段２８は、探索画像３０ａの座標（ｘ，ｙ）とＳＴＥＰ１０で算出された対象物と車両１０との距離ｚを、実空間座標（Ｘ，Ｙ，Ｚ）に変換して、探索画像１０ａに対応する実空間上の対象物の位置の座標を算出する。なお、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示したように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点の位置を原点０として、Ｘを車両１０の車幅方向、Ｙを鉛直方向、Ｚを車両１０の前方向に設定されている。また、画像座標は、画像の中心を原点とし、水平方向がｘ、垂直方向がｙに設定されている。
【００３４】
次のＳＴＥＰ１２で、接触判定手段２８は、車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。また、ＳＴＥＰ１３で、接触判定手段２８は、所定のモニタ期間内で撮像された複数の画像から得られた回頭角補正後の同一の対象物の実空間位置の時系列データから、対象物と車両１０との相対的な移動ベクトルを算出する。
【００３５】
なお、対象物の実空間座標（Ｘ，Ｙ，Ｚ）及び移動ベクトルの具体的な算出方法については、前掲した特開２００１−６０９６号公報に詳説されているので、ここでは説明を省略する。
【００３６】
次に、ＳＴＥＰ１４で、接触判定手段２８は、車両１０と対象物との接触可能性を判断して、注意喚起を行う必要があるか否かを判定する「注意喚起判定処理」を実行する。そして、「注意喚起判定処理」により、注意喚起を行う必要があると判定されたときは、ＳＴＥＰ３０に分岐してスピーカ６による注意喚起音の出力と、表示装置７への注意喚起表示を行う。一方、「注意喚起判定処理」により注意喚起を行う必要がないと判定されたときにはＳＴＥＰ１に戻り、画像処理ユニット１は注意喚起を行わない。
【００３７】
画像処理ユニット１は、「注意喚起判定処理」において、対象物が余裕時間内に自車両１０と接触する可能性、対象物が自車両周囲に設定した接近判定領域内に存在するか否か、対象物が接近判定領域外から接近判定領域内に進入して自車両１０と接触する可能性、対象物が歩行者であるか否か、対象物が人工構造物であるか否か等を判定して、注意喚起を行う必要があるか否かを判定する。
【００３８】
なお、「注意喚起判定処理」の具体的な処理内容については、前掲した特開２００１−６０６９に「警報判定処理」として詳説されているので、ここでは説明を省略する。
【００３９】
次に、図５〜図１１を参照して、図３のＳＴＥＰ１０における「距離算出処理」について説明する。図４に示したように、実空間上の同一の対象物について、右画像から探索画像３０ａが抽出されると共に、左画像３１から対応画像３１ａが抽出されて、視差ｄｘが算出された場合、対象物と車両１０間の距離Ｚは、基本的には以下の式（１）により算出することができる。
【００４０】
【数１】
【００４１】
但し、Ｚ：対象物と車両１０との距離、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの画素ピッチ、Ｄ：赤外線カメラ２Ｒ，２Ｌの基線長、ｄｘ：視差。
【００４２】
しかし、実際には、(a)車両１０の走行時における振動の影響、(b)赤外線カメラ２Ｒ，２Ｌを車両１０に搭載するときのエイミング精度、(c)対応画像抽出手段２１により同一の対象物の画像部分を抽出するときの相関演算による影響等の要因によって、車両と対象物との実際の距離（実距離）と、上記式（１）により算出した距離（算出距離）との間に誤差が生じる。
【００４３】
このような実距離と算出距離との誤差は、上記式（１）については、以下の式（２）に示したように、視差オフセットαとして影響が現れる。
【００４４】
【数２】
【００４５】
そして、特に車両１０と対象物との距離Ｚが長くなると視差算出手段２２により算出される視差ｄｘが小さくなって、上記式（２）の視差オフセットαの影響が無視できなくなる。そのため、算出距離を用いた接触判定手段２８による対象物と車両１０との接触可能性の判定精度が低下するという不都合が生じる。
【００４６】
ここで、図５（ａ）は、例えば、車両１０が７２km/hで走行しているときの視差ｄｘと距離Ｚとの関係を、縦軸を視差ｄｘに設定し、横軸を車両１０と対象物との距離Ｚに設定して示したものである。図中ｄ1は視差オフセットα＝０のとき、ｄ2は視差オフセットα＝−２（pixel）のとき、ｄ3は視差オフセットα＝−４（pixel）のときを示している。
【００４７】
図５（ａ）から明らかなように、視差オフセットαの値に応じて距離に対応する視差ｄｘの値が変化するため、距離の算出誤差が生じる。例えば、実際の車両１０と対象物との距離が１５０ｍであるときに、視差オフセットα＝−２（pixel）があると距離の算出値は２０５ｍとなり、視差オフセットα＝−４（pixel）があると距離の算出値は３２２ｍとなる。
【００４８】
しかし、視差勾配は、視差オフセットが生じても変化しない。そこで、第１の距離算出手段２５は、視差の時系列データから視差勾配を算出し、視差勾配を用いて対象物と車両１０との距離を算出することによって、視差オフセットαの影響を排除している。
【００４９】
なお、右画像及び左画像から得られる同一の対象物の画像部分の視差は、本発明における同一対象物の画像部分の所定要素に相当する。また、視差の時系列データから算出される視差勾配は、本発明における所定要素の変化度合いに相当する。
【００５０】
次に、サンプリング期間設定手段２３は、図６に示したフローチャートに従って、視差勾配を算出する際に用いる視差の時系列データを取得するサンプリング期間を設定する。サンプリング期間設定手段２３は、ＳＴＥＰ９０で前回の制御周期で算出された対象物と車両１０との距離Ｌ(n-1)のデータがメモリ（図示しない）に保持されているか否かを判断する。
【００５１】
ここで、画像処理ユニット１は、車両１０の走行時に図３に示したフローチャートによる周辺の監視処理を行うため、前回の制御周期で算出された対象物と車両１０との距離Ｌ(n-1)のデータがメモリに保持されているのは、車両１０が走行している時となる。
【００５２】
ＳＴＥＰ９０で、前回の制御周期で算出された対象物と車両１０との距離Ｌ(n-1)のデータがメモリ（図示しない）に保持されているときはＳＴＥＰ９１に進む。そして、サンプリング期間設定手段２３は、車速センサ４により検出される車速ＶCARと、前回の制御周期における距離Ｌ(n-1)の算出時から現時点までの経過時間Δｔを取得する。
【００５３】
続くＳＴＥＰ９２で、サンプリング期間設定手段２３は、以下の式（３）により今回の制御周期における対象物と車両１０との推定距離Ｌeを算出する。
【００５４】
【数３】
【００５５】
但し、Ｌe：今回の制御周期における対象物と車両１０との推定距離、Ｌ(n-1)：前回の制御周期における対象物と車両１０との算出距離、ＶCAR：車両１０の車速、Δｔ：前回の制御周期における対象物と車両１０との距離の算出時から現時点までの経過時間。
【００５６】
そして、サンプリング期間設定手段２３は、図７（ａ）のａ1に示した、推定距離Ｌeとサンプリング期間Ｔwとの対応マップに、推定距離Ｌeを適用して得たサンプリング期間Ｔwを、今回の制御周期におけるサンプリング期間Ｔwとする。この場合、対象物と車両１０との距離が短いほど、サンプリング期間Ｔwが短い時間に設定される。
【００５７】
この場合、対象物が車両１０に近付くに従ってサンプリング期間Ｔwが短く設定される。そのため、図７（ａ）のａ2に示したように、サンプリング期間Ｔwを遠距離の対象物の距離算出精度を維持するための一定時間とした場合と比べて、対象物と車両１０との距離を速やかに算出して、対象物を検知することができる。また、サンプリング期間Ｔwにおける撮像画像の数が少なくて済むため、距離を算出する際の画像処理ユニット１の処理負荷を軽減することができる。
【００５８】
なお、本実施の形態では、上記式（３）により算出した対象物と車両１０との推定距離Ｌeを用いて、Ｌeが短いほどサンプリング期間Ｔwを短い時間に設定したが、前回の制御周期における対象物と車両１０との算出距離Ｌ(n-1)を用いて、Ｌ(n-1)が短いほどサンプリングＴwを短い時間に設定するようにしてもよい。
【００５９】
また、推定距離Ｌeや算出距離Ｌ(n-1)には誤差が含まれるため、この誤差を考慮して、図７（ａ）のａ3に示したように、サンプリング期間Ｔwを階段状に設定するようにしてもよい。
【００６０】
また、図７（ｂ）に示したように、推定距離Ｌeが短いほど小さくなる係数ｋ1（０＜ｋ≦１）を設定し、対象物と車両との距離が長いときを想定して予め設定したサンプリング期間の初期値に、この係数ｋ1を乗じて今回の制御周期におけるサンプリング期間Ｔwを設定するようにしてもよい。
【００６１】
一方、ＳＴＥＰ９０で、前回の制御周期で算出された対象物と車両１０との距離Ｌ(n-1)のデータがメモリ（図示しない）に保持されていないときには、ＳＴＥＰ１００に分岐する。そして、サンプリング期間設定手段２３は、車速センサ４により検出される車速ＶCARを取得する。
【００６２】
続くＳＴＥＰ１０１で、サンプリング期間設定手段２３は、図７（ｃ）のｂ1に示した、車速ＶCARとサンプリング期間Ｔwとの対応マップに、車速ＶCARを適用して得たサンプリング期間Ｔwを、今回の制御期間におけるサンプリング期間Ｔwとする。この場合、車両１０の車速が低いほど、サンプリング期間Ｔwが短い時間に設定される。
【００６３】
この場合、車速が低くなる場合として、市街地の狭い道路を走行しているような状況が想定されるが、この場合には脇道からの歩行者が飛び出すおそれがある。そこで、車速が遅いほどサンプリング期間Ｔwを短い時間に設定することにより、このような歩行者との距離を算出するまでの時間を短くして、歩行者の検知の遅れが生じることを抑制することができる。
【００６４】
そして、サンプリング期間設定手段２３は、ＳＴＥＰ９３で、ＳＴＥＰ９２又はＳＴＥＰ１０１で設定されたサンプリング期間Ｔw以上の期間における時系列画像が得られるのを待ってＳＴＥＰ９４に進む。ＳＴＥＰ９４は第１の距離算出手段２５による処理であり、第１の距離算出手段２５は、ＳＴＥＰ９４で視差勾配を用いて対象物と車両１０との距離を算出し、ＳＴＥＰ９５に進んで図３のフローチャートに戻る。
【００６５】
次に、図８に示したフローチャートに従って、図６のＳＴＥＰ９４における第１の距離算出手段２５による処理について説明する。
【００６６】
第１の距離算出手段２５は、ＳＴＥＰ５０で、予め設定された時系列時間Ｔs（例えば１秒間）の間に、視差算出手段２２により算出された視差の時系列データから、視差が算出されなかったときのデータ（対応画像抽出手段２１による相関演算が失敗したときのデータ等）や、視差の値が他のデータから極端に乖離しているデータを除外する外れ値除外処理を行う。
【００６７】
また、ＳＴＥＰ５１で、第１の距離算出手段２５は、視差の時系列データの個数や視差を求める際の相関演算における相関度等に基づいて、視差の時系列データの信頼性を判定する。そして、視差の時系列データの信頼性があると判定したときは、次のＳＴＥＰ５２からＳＴＥＰ５３に進む。一方、視差の時系列データの信頼性がないと判定したときには、ＳＴＥＰ５２からＳＴＥＰ６０に分岐し、今回の視差の時系列データに基く接触判定手段２８による処理が禁止される。
【００６８】
ＳＴＥＰ５３で、第１の距離算出手段２５は、視差の時系列データから視差勾配を算出し、ＳＴＥＰ５４で視差勾配に基づいて車両１０と対象物との距離を推定する。ＳＴＥＰ５４の距離推定処理の詳細については、後述する。
【００６９】
続くＳＴＥＰ５５は、距離信頼性判定手段２７による処理である。距離信頼性判定手段２７は、視差勾配を用いて、第１の距離算出手段２５により算出された車両１０と対象物との距離Ｚ1と、例えば視差の時系列データの中間値を用いて、第２の距離算出手段２６により上記式（１）によって算出された車両１０と対象物との距離Ｚ2とを比較する。
【００７０】
そして、距離信頼性判定手段２７は、Ｚ1とのＺ2との差が所定範囲内（赤外線カメラ２Ｒ，２Ｌの取付精度や車両の振動等により変化する車両１０固有の範囲）から外れたときは、視差オフセットαが大きく、Ｚ1の信頼性が低いと判定する。距離信頼性判定手段２７は、Ｚ1の信頼性が低いと判定したときは、次のＳＴＥＰ５６からＳＴＥＰ６０に分岐する。一方、Ｚ1の信頼性が高いと判定したときには、ＳＴＥＰ５６からＳＴＥＰ５７に進み、この場合には、接触判定手段２８による図３のＳＴＥＰ１１以降の接触判定処理が実行される。
【００７１】
次に、図９を参照して、図８のＳＴＥＰ５４における第１の距離算出手段２５による「距離推定処理」について説明する。第１の距離算出手段２５は、ＳＴＥＰ７０で、車速センサ４により算出される車両１０の走行速度ＶCARを入力する。また、続くＳＴＥＰ７１で、第１の距離算出手段２５は、図６のＳＴＥＰ５３で算出された視差勾配の算出値Ｉaを入力し、ＳＴＥＰ７２で時系列時間Ｔs（例えば、１秒）を入力する。
【００７２】
そして、第１の距離算出手段２５は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループを繰り返し実行して、視差勾配の算出値Ｉaに対応する視差を算出する。図５（ｂ）は、視差オフセットα＝０であって、車両１０が１００km/hで走行しているときの視差と視差勾配の変化を、左側の縦軸を視差に設定し、右側の縦軸を視差勾配に設定し、横軸を時間に設定して、静止した対象物について示したものである。図中ｅ1が視差の時系列データ（理論的な視差の時系列データ）であり、ｅ2が視差勾配（理論的な視差勾配）である。
【００７３】
第１の距離算出手段２５は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループにおいて、ＳＴＥＰ７３で、視差のサンプリング期間Ｔwを図５（ｂ）の５秒経過時から０秒に向かって、時系列時間Ｔs（例えば１秒）ずつずらしながら設定し（例えば、４〜５秒、３．５〜４．５秒、３．０〜４．０秒、２．５〜３．５秒、…）、ＳＴＥＰ７４で、車両１０の速度ＶCARとサンプリング期間Ｔwとに基づいて、Ｔwにおける視差の理論的な時系列データを作成する。
【００７４】
そして、第１の距離算出手段２５は、続くＳＴＥＰ７５で、各サンプリング期間Ｔwにおける視差の理論的な時系列データから視差勾配の理論値Ｉtを算出して、ＳＴＥＰ７６で視差勾配の算出値Ｉaが理論値Ｉt以上となったか否かを判断する。
【００７５】
そして、ＳＴＥＰ７６で視差勾配の算出値Ｉaが理論値Ｉt以上となったときは、ループを抜けてＳＴＥＰ７７に進み、視差勾配の算出値Ｉaが理論値Ｉtよりも小さいときにはＳＴＥＰ７３に戻って、次のサンプリング期間Ｔwを設定してＳＴＥＰ７４以降の処理を行う。
【００７６】
ＳＴＥＰ７７で、第１の距離算出手段２５は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループで最後に算出した視差勾配の理論値Ｉtに対応する視差ｄx_tを取得する。例えば、視差勾配の算出値Ｉaが１５０であったときには、図５（ｂ）に示したように、視差勾配の算出値Ｉaが理論値Ｉt以上となったサンプリング期間Ｔw（２．５〜３．５秒）の中間値である３．０秒における理論的な時系列データの視差９．０が取得される。
【００７７】
そして、第１の距離算出手段２５は、続くＳＴＥＰ７８で、視差９．０を上記式（１）のｄｘに代入して車両と対象物との距離を算出する。
【００７８】
次に、図１０〜図１１を参照して、視差勾配から車両と対象物との距離を推定する処理の他の実施形態について説明する。
【００７９】
先ず、図１０（ａ）及び図１０（ｂ）は、視差の時系列データの分布を、縦軸を視差に設定し、横軸を時間に設定して示したものであり、図１０（ａ）はｔ11〜ｔ13のサンプリング期間における９個の視差の算出データから直線Ｓaを求めている。
【００８０】
また、図１０（ｂ）は、視差オフセットα＝０としたときの理論的な視差勾配を持つ直線を、車両と対象物との距離毎に示したものであり、Ｓ1は距離を１９０ｍに設定した直線、Ｓ2は距離を１８０ｍに設定した直線、Ｓnは距離を１００ｍに設定した直線を示している。
【００８１】
そして、第１の距離算出手段２５は、図１０（ａ）に示したように、視差の時系列データから作成した直線Ｓaの勾配と同じ勾配を有する直線を、図１０（ｂ）のＳ1〜Ｓnの直線の中から選択し、選択した直線の設定距離を車両１０と対象物の距離として求めることができる。
【００８２】
次に、図１１は、車両１０の走行速度毎（図１１では、７０km/h，９５km/h，１００km/h）に、視差勾配と対象物との距離との相関マップＭ1，Ｍ2，Ｍ3，…を予め用意するものである。第１の距離算出手段２５は、視差の時系列データから算出した視差勾配を、車両１０の走行速度に応じて選択した相関マップに適用することによって、車両１０と対象物との距離を求めることができる。
【００８３】
例えば、車両１０の走行速度が７０km/hであって、視差の時系列データから算出した視差勾配がＩaであるときには、第１の距離算出手段２５は、図１１の相関マップＭ1を選択して視差勾配Ｉaを適用することにより、車両１０と対象物との距離Ｚ1を得ることができる。
【００８４】
また、上述した実施の形態においては、距離信頼性判定手段２７は、第１の距離算出手段２５により、視差勾配を用いて算出された車両１０と対象物との距離Ｚ1と、第２の距離算出手段２６により、例えば視差の時系列データの中間値を用いて上記式（１）によって算出された車両１０と対象物との距離Ｚ2とを比較して、Ｚ1の信頼性を判断したが、他の手法によりＺ1の信頼性を判断してもよい。以下では、距離信頼性判定手段２７によるＺ1の信頼性の判断の他の手法について説明する。
【００８５】
距離信頼性判定手段２７は、図８のＳＴＥＰ５５において、上記式（１）の逆算式である以下の式（４）に、第１の距離算出手段２５により視差勾配を用いて算出された車両１０との距離Ｚ1を代入して算出される、距離Ｚ1に対応する推定視差ｄｘ'と、視差算出手段２２により算出された視差ｄｘとを比較する。
【００８６】
【数４】
【００８７】
但し、ｄｘ'：推定視差、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの画素ピッチ、Ｄ：赤外線カメラ２Ｒ，２Ｌの基線長、Ｚ1：第１の距離算出手段２５により算出された対象物と車両１０との距離。
【００８８】
そして、距離信頼性判定手段２７は、視差ｄｘと推定視差ｄｘ'との差が第２の所定範囲内（赤外線カメラ２Ｒ，２Ｌの取付精度や車両の振動等により変化する車両１０固有の範囲）から外れたときは、視差オフセットαが大きく、Ｚ1の信頼性が低いと判定する。
【００８９】
距離信頼性判定手段２７は、Ｚ1の信頼性が低いと判定したときは、次のＳＴＥＰ５６からＳＴＥＰ６０に分岐する。一方、Ｚ1の信頼性が低くないと判定したときには、ＳＴＥＰ５６からＳＴＥＰ５７に進み、この場合には、接触判定手段２８による図３のＳＴＥＰ１１以降の接触判定処理が実行される。
【００９０】
なお、本実施の形態では、２台の赤外線カメラ２Ｒ，２Ｌを備え、右画像と左画像間の同一対象物の画像部分の視差を用いて、車両１０と対象物との距離を算出したが、例えば、特開２００７−２１３５６１号公報に記載されているように、１台のカメラにより撮像された時系列画像間における同一対象物の画像部分の大きさの変化率を用いて、車両と対象物との距離を算出する場合にも、本発明の適用が可能である。
【００９１】
この場合には、同一対象物の画像部分の大きさの変化率を算出するための２つの画像のサンプリング周期（２つの画像の撮像時点間の時間）を、車速が低いほど短い時間に設定するか、或いは、前回の制御周期で算出された対象物と車両間の距離が短いほど今回の制御周期におけるサンプリング期間を短い時間に設定すればよい。また、前回の制御周期で算出された対象物と車両間の距離と、車速と、前記の制御周期における対象物と車両間の距離の算出時からの経過時間とを用いて、今回の制御周期における対象物と車両との推定距離を算出し、この推定距離が短いほど今回の制御周期における２つの画像のサンプリング周期を短い時間に設定するようにしてもよい。
【００９２】
なお、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して対象物との接触可能性を判断するようにしてもよい。
【００９３】
また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２Ｒ，２Ｌを用いたが、可視画像を撮像する可視カメラを用いてもよい。
【符号の説明】
【００９４】
１…画像処理ユニット、２Ｒ，２Ｌ…赤外線カメラ、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…表示装置、２０…対象物抽出手段、２１…対応画像抽出手段、２２…視差算出手段、２３…視差勾配算出手段、２４…サンプリング期間設定手段、２５…第１の距離算出手段、２６…第２の距離算出手段、２７…距離信頼性判定手段、２８…接触判定手段。
【特許請求の範囲】
【請求項１】
車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置であって、
所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、
前記車両の車速を検出する車速検出手段と、
前記車両の車速が低いほど、前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記距離算出手段は、所定の制御周期毎に前記車両と対象物間の距離を算出し、
前記サンプリング期間設定手段は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする車両周辺監視装置。
【請求項３】
請求項１記載の車両周辺監視装置において、
前記距離算出手段は、所定の制御周期毎に前記車両と対象物間の距離を算出し、
前記サンプリング期間設定手段は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と、前記車両の車速と、前回の制御周期での前記車両と対象物間の距離の算出時からの経過時間とを用いて、今回の制御周期における前記車両と対象物間の推定距離を算出し、該推定距離が短いほど今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする車両周辺監視装置。
【請求項４】
車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置であって、
所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、
前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする車両周辺監視装置。
【請求項５】
車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置であって、
所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、
前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と、前記車両の車速と、前回の制御周期での前記車両と対象物間の算出時からの経過時間とを用いて、今回の制御周期における前記車両と対象物間の推定距離を算出し、該推定距離が短いほど今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする車両周辺監視装置。
【請求項１】
車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置であって、
所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、
前記車両の車速を検出する車速検出手段と、
前記車両の車速が低いほど、前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記距離算出手段は、所定の制御周期毎に前記車両と対象物間の距離を算出し、
前記サンプリング期間設定手段は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする車両周辺監視装置。
【請求項３】
請求項１記載の車両周辺監視装置において、
前記距離算出手段は、所定の制御周期毎に前記車両と対象物間の距離を算出し、
前記サンプリング期間設定手段は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と、前記車両の車速と、前回の制御周期での前記車両と対象物間の距離の算出時からの経過時間とを用いて、今回の制御周期における前記車両と対象物間の推定距離を算出し、該推定距離が短いほど今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする車両周辺監視装置。
【請求項４】
車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置であって、
所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、
前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする車両周辺監視装置。
【請求項５】
車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置であって、
所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像間における、同一対象物の画像部分の所定要素の変化度合いを用いて、前記車両と対象物間の距離を算出する距離算出手段と、
前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と、前記車両の車速と、前回の制御周期での前記車両と対象物間の算出時からの経過時間とを用いて、今回の制御周期における前記車両と対象物間の推定距離を算出し、該推定距離が短いほど今回の制御周期における前記サンプリング期間を短い時間に設定することを特徴とする車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−２５７３７７（Ｐ２０１０−２５７３７７Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０９０８０（Ｐ２００９−１０９０８０）
【出願日】平成２１年４月２８日（２００９．４．２８）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２８日（２００９．４．２８）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]