車両周辺監視装置、車両、車両周辺監視用プログラム
【課題】カメラの撮像画像による車両周囲の対象物の監視が不十分となることを防止して、撮像素子のキャリブレーションを実行する車両周囲監視装置を提供する。
【解決手段】時刻ｔ1で対象物Ｍの実空間位置Ｚの算出を開始し、所定時間ΔＴ1が経過するまでの間に、キャリブレーションの実行タイミングと重なってΔＴ2の間にキャリブレーションが実行されたときには、キャリブレーションにより車両周囲の画像が入力できなかったΔＴ2の分だけ画像を取得する期間を延長して、時刻ｔ7，ｔ8，ｔ9で画像を取得して対象物Ｍの実空間位置Ｚを算出し、ΔＴ1＋ΔＴ2の期間における時刻ｔ1，ｔ2，ｔ3，ｔ7，ｔ8，ｔ9で取得した車両周囲の６個の画像から検出した対象物の実空間位置Ｍの変化により、対象物と車両間の相対速度を算出する相対速度算出手段を備える。
【解決手段】時刻ｔ1で対象物Ｍの実空間位置Ｚの算出を開始し、所定時間ΔＴ1が経過するまでの間に、キャリブレーションの実行タイミングと重なってΔＴ2の間にキャリブレーションが実行されたときには、キャリブレーションにより車両周囲の画像が入力できなかったΔＴ2の分だけ画像を取得する期間を延長して、時刻ｔ7，ｔ8，ｔ9で画像を取得して対象物Ｍの実空間位置Ｚを算出し、ΔＴ1＋ΔＴ2の期間における時刻ｔ1，ｔ2，ｔ3，ｔ7，ｔ8，ｔ9で取得した車両周囲の６個の画像から検出した対象物の実空間位置Ｍの変化により、対象物と車両間の相対速度を算出する相対速度算出手段を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラによる車両周囲の撮像画像から、車両周辺に所在する監視対象物を検出して車両周辺を監視する車両周辺監視装置、車両、及び車両周辺監視用プログラムに関する。
【背景技術】
【０００２】
従来より、車両に搭載されたカメラによる車両周囲の撮像画像から、車両周囲の対象物を検出し、実空間における該対象物と車両との相対位置と相対速度を算出して、所定時間内における車両と対象物との接触可能性を判断する車両周辺監視装置が知られている（例えば、特許文献１参照）。
【０００３】
また、カメラの撮像素子は温度等により感度特性が変化するため、例えば、赤外線カメラにおいて、定期的に撮像素子の感度を再設定するキャリブレーションを行なうことが知られている（例えば、特許文献２参照）。キャリブレーションは、カメラのシャッターを閉じて撮像素子への入光が遮断された状態とし、この状態での撮像素子による撮像画像の輝度が一定となるように撮像素子の感度を設定して行なわれる。
【特許文献１】特開２００１−６０９６号公報
【特許文献２】米国特許第６９２９４１０Ｂ２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
撮像素子のキャリブレーションを定期的に行なうことは、カメラの撮像画像による対象物の検出精度を高めるために必要となる。しかし、上述したように、撮像素子のキャリブレーションはカメラのシャッターを閉じて行なわれ、シャッターが閉じられている間は車両周囲の画像を撮像することができない。そのため、キャリブレーションを実行するタイミングによっては、カメラの撮像画像による車両周囲の対象物の監視が不十分となるおそれがある。
【０００５】
そこで、本発明は、カメラの撮像画像による車両周囲の対象物の監視が不十分となることを防止して、撮像素子のキャリブレーションを実行する車両周囲監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置は、車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段とを備え、該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視装置に関する。
【０００７】
そして、本発明の車両周辺監視装置の第１の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする。
【０００８】
かかる本発明によれば、前記キャリブレーション時期判断手段により、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて該対象物の相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記相対速度算出手段は、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出する。これにより、前記相対速度算出手段は、前記キャリブレーションが実行された場合であっても、前記所定時間分の対象物の実空間位置の変化に基いて対象物の車両に対する相対速度を精度良く算出することができる。そのため、キャリブレーションの実行により対象物の車両に対する相対速度の算出精度が低下して、車両周囲の監視が不十分となることを防止することができる。
【０００９】
なお、車両が停止している場合（車両の速度がゼロ）には、対象物が車両方向に移動する速度が、上述した対象物の車両に対する相対速度となる。
【００１０】
また、本発明の車両周辺監視装置の第２の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、前記カメラ校正手段は、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする。
【００１１】
かかる本発明によれば、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から前記所定距離以内であると判定されたときには、前記カメラ校正手段は前記キャリブレーションを行なわない。これにより、対象物が車両に接近した状態で、前記キャリブレーションの実行により車両周辺の画像の取得が中断されて、車両周辺の監視が不十分となることを防止することができる。
【００１２】
次に、本発明の車両は、周囲を撮像するシャッター付きのカメラと、該カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段とを備えた車両に関する。
【００１３】
そして、本発明の車両の第１の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする。
【００１４】
かかる本発明によれば、上述した本発明の車両周辺監視装置の第１の態様と同様に、前記キャリブレーション時期判断手段により、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて該対象物の相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記相対速度算出手段は、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出する。これにより、前記相対速度算出手段は、前記キャリブレーションが実行された場合であっても、前記所定時間分の対象物の実空間位置の変化に基いて対象物の車両に対する相対速度を精度良く算出することができる。そのため、キャリブレーションの実行により対象物の車両に対する相対速度の算出精度が低下して、車両周辺の監視が不十分となることを防止することができる。
【００１５】
また、本発明の車両の第２の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする。
【００１６】
かかる本発明によれば、上述した本発明の車両周辺監視装置の第２の態様と同様に、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から前記所定距離以内であると判定されたときには、前記カメラ校正手段は前記キャリブレーションを行なわない。これにより、対象物が車両に接近した状態で、前記キャリブレーションの実行により車両周辺の画像の取得が中断されて、車両周辺の監視が不十分となることを防止することができる。
【００１７】
次に、本発明の車両周辺監視用プログラムは、車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像から該車両周辺の対象物を監視する機能を実現するプログラムであって、該コンピュータを、前記カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段として機能させるプログラムに関する。
【００１８】
そして、本発明の車両周辺監視用プログラムの第１の態様は、前記コンピュータを、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段として機能させ、前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする。
【００１９】
かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、上述した本発明の車両周辺監視装置の第１の態様及び本発明の車両の第１の態様における、前記対象物検出手段と、前記実空間位置算出手段と、前記相対速度算出手段と、前記カメラ校正手段と、前記キャリブレーション時期判断手段とを構成することができる。
【００２０】
また、本発明の車両周辺監視用プログラムの第２の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段として機能させ、前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする。
【００２１】
かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、上述した本発明の車両周辺監視装置の第１の態様及び本発明の車両の第２の態様における、前記対象物検出手段と、前記実空間位置算出手段と、前記相対速度算出手段と、前記カメラ校正手段と、前記接触判定手段とを構成することができる。
【発明を実施するための最良の形態】
【００２２】
本発明の実施の形態について、図１〜図４を参照して説明する。図１は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ（本発明のカメラに相当する）２Ｒ，２Ｌと、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、ブレーキペダルの操作状態を検出するプレーキセンサ５と、音声により警報を行うためのスピーカ６と、監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。
【００２３】
赤外線カメラ２Ｒ，２Ｌは、車両（図示しない）の前部に、車両の横方向の中心軸に対して対象な位置に配置されており、赤外線カメラ２Ｒ，２Ｌの光軸を互いに平行とし、赤外線カメラ２Ｒ，２Ｌの路面からの高さを等しくして設けられている。赤外線カメラ１Ｒ，１Ｌは、撮像する対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増大する）特性を有している。また、赤外線カメラ２Ｒには、撮像素子への入光を遮断するためのシャッター２０Ｒが設けられており、同様に、赤外線カメラ２Ｌにはシャッター２０Ｌが設けられている。
【００２４】
画像処理ユニット２は、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル変換した画像データを保持する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備えている。
【００２５】
そして、ＣＰＵがＲＯＭに保持された制御用プログラムを実行することによって、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌにより得られる画像から対象物を検出する対象物検出手段１０、該対象物の実空間位置を算出する実空間位置算出手段１１、該対象物と車両間の相対速度を算出する相対速度算出手段１２、該対象物と車両の接触可能性を判定する接触判定手段１３（本発明の車両周辺監視手段の機能を含む）、対象物の相対速度の算出中に赤外線カメラ２Ｒ，２Ｌの撮像素子のキャリブレーション時期が重なるか否かを判断するキャリブレーション時期判断手段１４、及び赤外線カメラ２Ｒ，２Ｌの撮像素子のキャリブレーションを行なうカメラ校正手段１５として機能する。
【００２６】
次に、図２〜３に示したフローチャートに従って、画像処理ユニット１による車両周辺の対象物の監視処理と、赤外線カメラ２Ｒ，２Ｌの撮像素子のキャリブレーション（以下、単にキャリブレーションという）について説明する。画像処理ユニット１は、図２，図３のフローチャートを繰り返し実行して、車両周辺の対象物の監視処理を行うと共に、所定のキャリブレーション実行条件が成立したときにキャリブレーションを行なう。
【００２７】
ここで、キャリブレーションは、赤外線カメラ２Ｒ，２Ｌの撮像素子の感度特性の変化を補償するために、適宜行なう必要がある。キャリブレーションを実行する条件（本発明の所定条件に相当する）として、本実施の形態では、所定周期毎にキャリブレーションを行うことが設定されている。
【００２８】
図２のＳＴＥＰ１で、画像処理ユニット１はカウンタ変数ｃｔをゼロとする。そして、キャリブレーション時期判断手段１４は、図２のＳＴＥＰ２〜ＳＴＥＰ７のループにより、車両周囲の対象物の実空間位置が検出されているときに、ＳＴＥＰ２でキャリブレーションの実行タイミングとなっているか否かを判断する。そして、キャリブレーションの実行タイミングとなっているときにはＳＴＥＰ２０に分岐し、キャリブレーションの実行タイミングとなっていないときにはＳＴＥＰ３に進む。
【００２９】
ＳＴＥＰ３で、対象物検出手段１０が、赤外線カメラ２Ｒ，２Ｌの撮像画像から車両周辺の対象物を検出し、続くＳＴＥＰ４で、実空間位置算出手段１１が、該対象物の実空間位置（実空間における車両から対象物までの距離）Ｚを算出する。そして、ＳＴＥＰ５でカウンタ変数ｃｔがカウントアップされ（ｃｔ←ｃｔ＋１）、ＳＴＥＰ６で対象物の実空間位置Ｚの算出値が配列変数Ｌ［ct］（ｃｔ＝１〜６）に保持される。
【００３０】
そして、ＳＴＥＰ７でカウント変数ｃｔが６になったときにＳＴＥＰ８に進み、相対速度算出手段１２が、配列変数Ｌ[１]〜Ｌ[６]に保持された対象物の６個の実空間距離Ｚのデータから、対象物と車両間の相対速度Ｖsを算出する。
【００３１】
また、次のＳＴＥＰ９で、接触判定手段１３が、対象物と車両が所定時間（例えば２〜５秒程度に設定される）以内に接触する可能性があるか否かを判定する。そして、接触判定手段１３は、対象物と車両が所定時間以内に接触する可能性があると判定したときは、ＨＵＤ７に警報表示を行なうと共に、スピーカ６から警報音声を出力して、運転者に注意を促す。
【００３２】
なお、ＳＴＥＰ４における対象物の実空間位置Ｚの算出処理、ＳＴＥＰ８における対象物と車両間の相対速度Ｖsの算出処理、及びＳＴＥＰ９における対象物と車両との接触可能性の判定処理については、上述した特開２００１−６０９６号公報等に記載された従来の技術により実行可能であるため、ここでは説明を省略する。
【００３３】
次に、図４を参照して、対象物の実空間位置（実空間における車両から対象物までの距離）Ｚの算出とキャリブレーションの実行タイミングの調整について説明する。図４は、縦軸を対象物の実空間位置Ｚとし、横軸を画像入力のタイミングｔとした説明図である。
【００３４】
画像処理ユニット１は、図２のＳＴＥＰ２〜ＳＴＥＰ７のループによる制御周期ΔＴ3毎にカメラ２Ｒ，２Ｌにより車両周辺の画像を取り込んで対象物の実空間位置Ｚを算出し、６個分の対象物の実空間位置Ｚ（Ｌ[1]，Ｌ[2]，・・・，Ｌ[6]）を算出したときに、ＳＴＥＰ８で、対象物と車両間の相対速度Ｖsを算出している。そして、このように制御周期ΔＴ3の６周期分の期間ΔＴ1（＝６×ΔＴ3、本発明の所定時間に相当する）における対象物の実空間位置Ｚの変化に基いて、対象物と車両間の相対速度Ｖsを算出することにより、相対速度Ｖsの算出精度を高めている。
【００３５】
一方、キャブレーションは、基本的には、所定周期（例えば２分）が経過する毎に実行されるが、キャリブレーションはカメラ２Ｒ，２Ｌのシャッター２０Ｒ，２０Ｌを閉じて行うため、キャリブレーションの実行中（図中ΔＴ2の間）は、車両周辺の画像を取得することができない。
【００３６】
図４では、ｔ1でＳＴＥＰ２〜ＳＴＥＰ７のループが開始され、ｔ1，ｔ2，ｔ3で対象物Ｍの実空間位置Ｚが取得されている。そして、ｔ4でキャリブレーションの実行タイミングとなって、ｔ4〜ｔ5の間（ΔＴ2）キャリブレーションが実行されている。この場合、ｔ1からΔＴ1の期間で対象物と車両間の相対速度Ｖsを算出すると、ｔ1，ｔ2，ｔ3における３個分の対象物Ｍの実空間位置Ｚから相対速度Ｖsを算出することになり、相対速度Ｖsの算出精度が低下する。
【００３７】
そこで、図２のＳＴＥＰ２〜ＳＴＥＰ７のループでは、ＳＴＥＰ７でカウンタ変数ｃｔが６になったとき、すなわち、６個分の対象物の実空間位置Ｚが算出されたときに、ＳＴＥＰ８に進んで、６個分の対象物Ｍの実空間位置の算出値（Ｌ[1]，Ｌ[2]，・・・，Ｌ[6]）から対象物と車両間の相対速度Ｖsを算出している。そして、これにより、対象物と車両間の相対速度Ｖsの算出精度の低下を防止している。
【００３８】
図４の例では、ｔ1，ｔ2，ｔ3，ｔ7，ｔ8，ｔ9で取得された車両周囲の画像から検出された対象物の実空間位置Ｚの変化により、対象物と車両間の相対速度Ｖsを算出している。この場合、ΔＴ1からキャリブレーションの実行時間ΔＴ2分延長された期間（ΔＴ1＋ΔＴ2）における対象物Ｍの実空間位置Ｚの変化によって、対象物と車両間の相対速度Ｖsが算出される。
【００３９】
また、対象物Ｍが車両に接近して、対象物Ｍの実空間位置Ｚが警報予測限界Ｚl内に入ったときには、キャリブレーションを禁止して、接近した対象物Ｍとの接触可能性の判定を優先することが有効である。そこで、接触判定手段１３は、図３に示したフローチャートを実行し、ＳＴＥＰ５０で警報予測対象物がある（対象物Ｍが車両に接近して警報予測限界Ｚl内に入っている）と判断したときは、ＳＴＥＰ６０に分岐して警報予測フラグＡL_Ｆをセット（ＡL_Ｆ＝１）する。また、警報予測対象物がない（対象物Ｍが車両から警報予測限界Ｚlよりも離れている）ときにはＳＴＥＰ５１に進み、接触判定手段１３は、警報予測フラグＡL_Ｆをリセット（ＡL_Ｆ＝０）する。
【００４０】
そして、これにより、図２のＳＴＥＰ２でキャリブレーションの実行条件が成立してＳＴＥＰ２０に分岐し、ＳＴＥＰ２０で警報予測フラグＡL_Ｆがセット（ＡL_Ｆ＝１）されていたときにはＳＴＥＰ３に進むようにして、キャリブレーションを禁止している。
【００４１】
例えば、図４のｔ10から図２のＳＴＥＰ２〜ＳＴＥＰ７のループを開始した場合に、ｔ11でキャリブレーションを実行すると、ＳＴＥＰ２〜ＳＴＥＰ７のループにより６個分の対象物の実空間位置Ｚを算出して、対象物と車両間の相対速度を算出するタイミングが、対象物が警報予測限界以内に接近した時になる。そのため、この場合には、接触判定手段１３により警報予測フラグＡL_Ｆがセット（ＡL_Ｆ＝１）され、カメラ校正手段１５によるキャリブレーションの実行が禁止される。
【００４２】
また、ＳＴＥＰ２０で警報予測フラグＡL_Ｆがリセット（ＡL_Ｆ＝０）されていたときはＳＴＥＰ３０に分岐し、カメラ校正手段１５は、キャリブレーションを実行する。カメラ校正手段１５は、カメラ２Ｒのシャッター２０Ｒとカメラ２Ｌのシャッター２０Ｌを閉じて、カメラ２Ｒとカメラ２Ｌの撮像素子に入光されない状態とし、この状態における撮像画像の輝度が一定となるように赤外線撮像素子の感度を設定して、キャリブレーションを行なう。
【００４３】
なお、本実施の形態においては、本発明の撮像手段として赤外線カメラ２を用いたが、可視光のみを検出可能な通常のカメラを用いる場合であっても、本発明の適用が可能である。
【００４４】
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。
【図面の簡単な説明】
【００４５】
【図１】本発明の車両周囲監視装置の構成図。
【図２】図１に示した車両周囲監視装置による車両周囲の対象物と車両との接触可能性の判定処理及びキャリブレーションのフローチャート。
【図３】キャリブレーションの許可と禁止を設定する処理のフローチャート。
【図４】対象物と車両間の相対速度の算出とキャリブレーションの実行タイミングの調整態様の説明図。
【符号の説明】
【００４６】
１…画像処理ユニット、２…赤外線カメラ（カメラ）、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…ＨＵＤ、１０…対象物検出手段、１１…実空間位置算出手段、１２…相対速度算出手段、１３…接触判定手段、１４…キャリブレーション時期判断手段、１５…カメラ校正手段
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラによる車両周囲の撮像画像から、車両周辺に所在する監視対象物を検出して車両周辺を監視する車両周辺監視装置、車両、及び車両周辺監視用プログラムに関する。
【背景技術】
【０００２】
従来より、車両に搭載されたカメラによる車両周囲の撮像画像から、車両周囲の対象物を検出し、実空間における該対象物と車両との相対位置と相対速度を算出して、所定時間内における車両と対象物との接触可能性を判断する車両周辺監視装置が知られている（例えば、特許文献１参照）。
【０００３】
また、カメラの撮像素子は温度等により感度特性が変化するため、例えば、赤外線カメラにおいて、定期的に撮像素子の感度を再設定するキャリブレーションを行なうことが知られている（例えば、特許文献２参照）。キャリブレーションは、カメラのシャッターを閉じて撮像素子への入光が遮断された状態とし、この状態での撮像素子による撮像画像の輝度が一定となるように撮像素子の感度を設定して行なわれる。
【特許文献１】特開２００１−６０９６号公報
【特許文献２】米国特許第６９２９４１０Ｂ２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
撮像素子のキャリブレーションを定期的に行なうことは、カメラの撮像画像による対象物の検出精度を高めるために必要となる。しかし、上述したように、撮像素子のキャリブレーションはカメラのシャッターを閉じて行なわれ、シャッターが閉じられている間は車両周囲の画像を撮像することができない。そのため、キャリブレーションを実行するタイミングによっては、カメラの撮像画像による車両周囲の対象物の監視が不十分となるおそれがある。
【０００５】
そこで、本発明は、カメラの撮像画像による車両周囲の対象物の監視が不十分となることを防止して、撮像素子のキャリブレーションを実行する車両周囲監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置は、車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段とを備え、該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視装置に関する。
【０００７】
そして、本発明の車両周辺監視装置の第１の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする。
【０００８】
かかる本発明によれば、前記キャリブレーション時期判断手段により、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて該対象物の相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記相対速度算出手段は、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出する。これにより、前記相対速度算出手段は、前記キャリブレーションが実行された場合であっても、前記所定時間分の対象物の実空間位置の変化に基いて対象物の車両に対する相対速度を精度良く算出することができる。そのため、キャリブレーションの実行により対象物の車両に対する相対速度の算出精度が低下して、車両周囲の監視が不十分となることを防止することができる。
【０００９】
なお、車両が停止している場合（車両の速度がゼロ）には、対象物が車両方向に移動する速度が、上述した対象物の車両に対する相対速度となる。
【００１０】
また、本発明の車両周辺監視装置の第２の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、前記カメラ校正手段は、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする。
【００１１】
かかる本発明によれば、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から前記所定距離以内であると判定されたときには、前記カメラ校正手段は前記キャリブレーションを行なわない。これにより、対象物が車両に接近した状態で、前記キャリブレーションの実行により車両周辺の画像の取得が中断されて、車両周辺の監視が不十分となることを防止することができる。
【００１２】
次に、本発明の車両は、周囲を撮像するシャッター付きのカメラと、該カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段とを備えた車両に関する。
【００１３】
そして、本発明の車両の第１の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする。
【００１４】
かかる本発明によれば、上述した本発明の車両周辺監視装置の第１の態様と同様に、前記キャリブレーション時期判断手段により、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて該対象物の相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記相対速度算出手段は、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出する。これにより、前記相対速度算出手段は、前記キャリブレーションが実行された場合であっても、前記所定時間分の対象物の実空間位置の変化に基いて対象物の車両に対する相対速度を精度良く算出することができる。そのため、キャリブレーションの実行により対象物の車両に対する相対速度の算出精度が低下して、車両周辺の監視が不十分となることを防止することができる。
【００１５】
また、本発明の車両の第２の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする。
【００１６】
かかる本発明によれば、上述した本発明の車両周辺監視装置の第２の態様と同様に、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から前記所定距離以内であると判定されたときには、前記カメラ校正手段は前記キャリブレーションを行なわない。これにより、対象物が車両に接近した状態で、前記キャリブレーションの実行により車両周辺の画像の取得が中断されて、車両周辺の監視が不十分となることを防止することができる。
【００１７】
次に、本発明の車両周辺監視用プログラムは、車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像から該車両周辺の対象物を監視する機能を実現するプログラムであって、該コンピュータを、前記カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段として機能させるプログラムに関する。
【００１８】
そして、本発明の車両周辺監視用プログラムの第１の態様は、前記コンピュータを、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段として機能させ、前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする。
【００１９】
かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、上述した本発明の車両周辺監視装置の第１の態様及び本発明の車両の第１の態様における、前記対象物検出手段と、前記実空間位置算出手段と、前記相対速度算出手段と、前記カメラ校正手段と、前記キャリブレーション時期判断手段とを構成することができる。
【００２０】
また、本発明の車両周辺監視用プログラムの第２の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段として機能させ、前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする。
【００２１】
かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、上述した本発明の車両周辺監視装置の第１の態様及び本発明の車両の第２の態様における、前記対象物検出手段と、前記実空間位置算出手段と、前記相対速度算出手段と、前記カメラ校正手段と、前記接触判定手段とを構成することができる。
【発明を実施するための最良の形態】
【００２２】
本発明の実施の形態について、図１〜図４を参照して説明する。図１は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ（本発明のカメラに相当する）２Ｒ，２Ｌと、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、ブレーキペダルの操作状態を検出するプレーキセンサ５と、音声により警報を行うためのスピーカ６と、監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。
【００２３】
赤外線カメラ２Ｒ，２Ｌは、車両（図示しない）の前部に、車両の横方向の中心軸に対して対象な位置に配置されており、赤外線カメラ２Ｒ，２Ｌの光軸を互いに平行とし、赤外線カメラ２Ｒ，２Ｌの路面からの高さを等しくして設けられている。赤外線カメラ１Ｒ，１Ｌは、撮像する対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増大する）特性を有している。また、赤外線カメラ２Ｒには、撮像素子への入光を遮断するためのシャッター２０Ｒが設けられており、同様に、赤外線カメラ２Ｌにはシャッター２０Ｌが設けられている。
【００２４】
画像処理ユニット２は、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル変換した画像データを保持する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備えている。
【００２５】
そして、ＣＰＵがＲＯＭに保持された制御用プログラムを実行することによって、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌにより得られる画像から対象物を検出する対象物検出手段１０、該対象物の実空間位置を算出する実空間位置算出手段１１、該対象物と車両間の相対速度を算出する相対速度算出手段１２、該対象物と車両の接触可能性を判定する接触判定手段１３（本発明の車両周辺監視手段の機能を含む）、対象物の相対速度の算出中に赤外線カメラ２Ｒ，２Ｌの撮像素子のキャリブレーション時期が重なるか否かを判断するキャリブレーション時期判断手段１４、及び赤外線カメラ２Ｒ，２Ｌの撮像素子のキャリブレーションを行なうカメラ校正手段１５として機能する。
【００２６】
次に、図２〜３に示したフローチャートに従って、画像処理ユニット１による車両周辺の対象物の監視処理と、赤外線カメラ２Ｒ，２Ｌの撮像素子のキャリブレーション（以下、単にキャリブレーションという）について説明する。画像処理ユニット１は、図２，図３のフローチャートを繰り返し実行して、車両周辺の対象物の監視処理を行うと共に、所定のキャリブレーション実行条件が成立したときにキャリブレーションを行なう。
【００２７】
ここで、キャリブレーションは、赤外線カメラ２Ｒ，２Ｌの撮像素子の感度特性の変化を補償するために、適宜行なう必要がある。キャリブレーションを実行する条件（本発明の所定条件に相当する）として、本実施の形態では、所定周期毎にキャリブレーションを行うことが設定されている。
【００２８】
図２のＳＴＥＰ１で、画像処理ユニット１はカウンタ変数ｃｔをゼロとする。そして、キャリブレーション時期判断手段１４は、図２のＳＴＥＰ２〜ＳＴＥＰ７のループにより、車両周囲の対象物の実空間位置が検出されているときに、ＳＴＥＰ２でキャリブレーションの実行タイミングとなっているか否かを判断する。そして、キャリブレーションの実行タイミングとなっているときにはＳＴＥＰ２０に分岐し、キャリブレーションの実行タイミングとなっていないときにはＳＴＥＰ３に進む。
【００２９】
ＳＴＥＰ３で、対象物検出手段１０が、赤外線カメラ２Ｒ，２Ｌの撮像画像から車両周辺の対象物を検出し、続くＳＴＥＰ４で、実空間位置算出手段１１が、該対象物の実空間位置（実空間における車両から対象物までの距離）Ｚを算出する。そして、ＳＴＥＰ５でカウンタ変数ｃｔがカウントアップされ（ｃｔ←ｃｔ＋１）、ＳＴＥＰ６で対象物の実空間位置Ｚの算出値が配列変数Ｌ［ct］（ｃｔ＝１〜６）に保持される。
【００３０】
そして、ＳＴＥＰ７でカウント変数ｃｔが６になったときにＳＴＥＰ８に進み、相対速度算出手段１２が、配列変数Ｌ[１]〜Ｌ[６]に保持された対象物の６個の実空間距離Ｚのデータから、対象物と車両間の相対速度Ｖsを算出する。
【００３１】
また、次のＳＴＥＰ９で、接触判定手段１３が、対象物と車両が所定時間（例えば２〜５秒程度に設定される）以内に接触する可能性があるか否かを判定する。そして、接触判定手段１３は、対象物と車両が所定時間以内に接触する可能性があると判定したときは、ＨＵＤ７に警報表示を行なうと共に、スピーカ６から警報音声を出力して、運転者に注意を促す。
【００３２】
なお、ＳＴＥＰ４における対象物の実空間位置Ｚの算出処理、ＳＴＥＰ８における対象物と車両間の相対速度Ｖsの算出処理、及びＳＴＥＰ９における対象物と車両との接触可能性の判定処理については、上述した特開２００１−６０９６号公報等に記載された従来の技術により実行可能であるため、ここでは説明を省略する。
【００３３】
次に、図４を参照して、対象物の実空間位置（実空間における車両から対象物までの距離）Ｚの算出とキャリブレーションの実行タイミングの調整について説明する。図４は、縦軸を対象物の実空間位置Ｚとし、横軸を画像入力のタイミングｔとした説明図である。
【００３４】
画像処理ユニット１は、図２のＳＴＥＰ２〜ＳＴＥＰ７のループによる制御周期ΔＴ3毎にカメラ２Ｒ，２Ｌにより車両周辺の画像を取り込んで対象物の実空間位置Ｚを算出し、６個分の対象物の実空間位置Ｚ（Ｌ[1]，Ｌ[2]，・・・，Ｌ[6]）を算出したときに、ＳＴＥＰ８で、対象物と車両間の相対速度Ｖsを算出している。そして、このように制御周期ΔＴ3の６周期分の期間ΔＴ1（＝６×ΔＴ3、本発明の所定時間に相当する）における対象物の実空間位置Ｚの変化に基いて、対象物と車両間の相対速度Ｖsを算出することにより、相対速度Ｖsの算出精度を高めている。
【００３５】
一方、キャブレーションは、基本的には、所定周期（例えば２分）が経過する毎に実行されるが、キャリブレーションはカメラ２Ｒ，２Ｌのシャッター２０Ｒ，２０Ｌを閉じて行うため、キャリブレーションの実行中（図中ΔＴ2の間）は、車両周辺の画像を取得することができない。
【００３６】
図４では、ｔ1でＳＴＥＰ２〜ＳＴＥＰ７のループが開始され、ｔ1，ｔ2，ｔ3で対象物Ｍの実空間位置Ｚが取得されている。そして、ｔ4でキャリブレーションの実行タイミングとなって、ｔ4〜ｔ5の間（ΔＴ2）キャリブレーションが実行されている。この場合、ｔ1からΔＴ1の期間で対象物と車両間の相対速度Ｖsを算出すると、ｔ1，ｔ2，ｔ3における３個分の対象物Ｍの実空間位置Ｚから相対速度Ｖsを算出することになり、相対速度Ｖsの算出精度が低下する。
【００３７】
そこで、図２のＳＴＥＰ２〜ＳＴＥＰ７のループでは、ＳＴＥＰ７でカウンタ変数ｃｔが６になったとき、すなわち、６個分の対象物の実空間位置Ｚが算出されたときに、ＳＴＥＰ８に進んで、６個分の対象物Ｍの実空間位置の算出値（Ｌ[1]，Ｌ[2]，・・・，Ｌ[6]）から対象物と車両間の相対速度Ｖsを算出している。そして、これにより、対象物と車両間の相対速度Ｖsの算出精度の低下を防止している。
【００３８】
図４の例では、ｔ1，ｔ2，ｔ3，ｔ7，ｔ8，ｔ9で取得された車両周囲の画像から検出された対象物の実空間位置Ｚの変化により、対象物と車両間の相対速度Ｖsを算出している。この場合、ΔＴ1からキャリブレーションの実行時間ΔＴ2分延長された期間（ΔＴ1＋ΔＴ2）における対象物Ｍの実空間位置Ｚの変化によって、対象物と車両間の相対速度Ｖsが算出される。
【００３９】
また、対象物Ｍが車両に接近して、対象物Ｍの実空間位置Ｚが警報予測限界Ｚl内に入ったときには、キャリブレーションを禁止して、接近した対象物Ｍとの接触可能性の判定を優先することが有効である。そこで、接触判定手段１３は、図３に示したフローチャートを実行し、ＳＴＥＰ５０で警報予測対象物がある（対象物Ｍが車両に接近して警報予測限界Ｚl内に入っている）と判断したときは、ＳＴＥＰ６０に分岐して警報予測フラグＡL_Ｆをセット（ＡL_Ｆ＝１）する。また、警報予測対象物がない（対象物Ｍが車両から警報予測限界Ｚlよりも離れている）ときにはＳＴＥＰ５１に進み、接触判定手段１３は、警報予測フラグＡL_Ｆをリセット（ＡL_Ｆ＝０）する。
【００４０】
そして、これにより、図２のＳＴＥＰ２でキャリブレーションの実行条件が成立してＳＴＥＰ２０に分岐し、ＳＴＥＰ２０で警報予測フラグＡL_Ｆがセット（ＡL_Ｆ＝１）されていたときにはＳＴＥＰ３に進むようにして、キャリブレーションを禁止している。
【００４１】
例えば、図４のｔ10から図２のＳＴＥＰ２〜ＳＴＥＰ７のループを開始した場合に、ｔ11でキャリブレーションを実行すると、ＳＴＥＰ２〜ＳＴＥＰ７のループにより６個分の対象物の実空間位置Ｚを算出して、対象物と車両間の相対速度を算出するタイミングが、対象物が警報予測限界以内に接近した時になる。そのため、この場合には、接触判定手段１３により警報予測フラグＡL_Ｆがセット（ＡL_Ｆ＝１）され、カメラ校正手段１５によるキャリブレーションの実行が禁止される。
【００４２】
また、ＳＴＥＰ２０で警報予測フラグＡL_Ｆがリセット（ＡL_Ｆ＝０）されていたときはＳＴＥＰ３０に分岐し、カメラ校正手段１５は、キャリブレーションを実行する。カメラ校正手段１５は、カメラ２Ｒのシャッター２０Ｒとカメラ２Ｌのシャッター２０Ｌを閉じて、カメラ２Ｒとカメラ２Ｌの撮像素子に入光されない状態とし、この状態における撮像画像の輝度が一定となるように赤外線撮像素子の感度を設定して、キャリブレーションを行なう。
【００４３】
なお、本実施の形態においては、本発明の撮像手段として赤外線カメラ２を用いたが、可視光のみを検出可能な通常のカメラを用いる場合であっても、本発明の適用が可能である。
【００４４】
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。
【図面の簡単な説明】
【００４５】
【図１】本発明の車両周囲監視装置の構成図。
【図２】図１に示した車両周囲監視装置による車両周囲の対象物と車両との接触可能性の判定処理及びキャリブレーションのフローチャート。
【図３】キャリブレーションの許可と禁止を設定する処理のフローチャート。
【図４】対象物と車両間の相対速度の算出とキャリブレーションの実行タイミングの調整態様の説明図。
【符号の説明】
【００４６】
１…画像処理ユニット、２…赤外線カメラ（カメラ）、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…ＨＵＤ、１０…対象物検出手段、１１…実空間位置算出手段、１２…相対速度算出手段、１３…接触判定手段、１４…キャリブレーション時期判断手段、１５…カメラ校正手段
【特許請求の範囲】
【請求項１】
車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段とを備え、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視装置であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、
前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする車両周辺監視装置。
【請求項２】
車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段とを備え、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視装置であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、
前記カメラ校正手段は、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする車両周辺監視装置。
【請求項３】
周囲を撮像するシャッター付きのカメラと、
該カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段とを備えた車両であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、
前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする車両。
【請求項４】
周囲を撮像するシャッター付きのカメラと、
該カメラによる撮像画像から周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段とを備えた車両であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、
前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする車両。
【請求項５】
車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像から該車両周辺の対象物を監視する機能を実現するプログラムであって、該コンピュータを、
前記カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段と、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段として機能させ、
前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする車両周辺監視用プログラム。
【請求項６】
車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像から該車両周辺の対象物を監視する機能を実現するプログラムであって、該コンピュータを、
前記カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段と、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段として機能させ、
前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする車両周辺監視用プログラム。
【請求項１】
車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段とを備え、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視装置であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、
前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする車両周辺監視装置。
【請求項２】
車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段とを備え、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視装置であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、
前記カメラ校正手段は、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする車両周辺監視装置。
【請求項３】
周囲を撮像するシャッター付きのカメラと、
該カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段とを備えた車両であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、
前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする車両。
【請求項４】
周囲を撮像するシャッター付きのカメラと、
該カメラによる撮像画像から周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段とを備えた車両であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、
前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする車両。
【請求項５】
車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像から該車両周辺の対象物を監視する機能を実現するプログラムであって、該コンピュータを、
前記カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段と、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段として機能させ、
前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする車両周辺監視用プログラム。
【請求項６】
車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像から該車両周辺の対象物を監視する機能を実現するプログラムであって、該コンピュータを、
前記カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段と、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段として機能させ、
前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする車両周辺監視用プログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００９−１６３５０６（Ｐ２００９−１６３５０６Ａ）
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願番号】特願２００８−６０１（Ｐ２００８−６０１）
【出願日】平成２０年１月７日（２００８．１．７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願日】平成２０年１月７日（２００８．１．７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]