距離検出装置
【課題】 従来に比べて少ない演算量で、車両に搭載された２つの撮像装置の光軸間平行度ずれに起因する誤差を補正して正確な視差を算出し、距離検出精度を向上させることできる距離検出装置を提供する。
【解決手段】 時刻ｔ０及びｔ１において、静止対象物の視差δｄ（ｔ０）δｄ（ｔ１）の検出を行うとともに、時刻ｔ０からｔ１までの車両の走行距離Ｌを算出する。検出視差δｄ（ｔ０）、δｄ（ｔ１）及び走行距離Ｌに基づいて、カメラ１Ｒ、１Ｌの光軸間平行度ずれに起因する誤差を視差オフセット量Ｄ（φ）として求め、視差オフセット量Ｄ（φ）により検出視差δｄを補正する。時刻ｔ０からｔ１までの時間Ｔｍは車速ＶＣＡＲが高いほど短くなるように設定される。
【解決手段】 時刻ｔ０及びｔ１において、静止対象物の視差δｄ（ｔ０）δｄ（ｔ１）の検出を行うとともに、時刻ｔ０からｔ１までの車両の走行距離Ｌを算出する。検出視差δｄ（ｔ０）、δｄ（ｔ１）及び走行距離Ｌに基づいて、カメラ１Ｒ、１Ｌの光軸間平行度ずれに起因する誤差を視差オフセット量Ｄ（φ）として求め、視差オフセット量Ｄ（φ）により検出視差δｄを補正する。時刻ｔ０からｔ１までの時間Ｔｍは車速ＶＣＡＲが高いほど短くなるように設定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された２つの撮像装置により得られる２つの画像から対象物の視差を算出し、その視差に基づいて対象物までの距離を検出する距離検出装置に関する。
【背景技術】
【０００２】
２つの撮像装置により得られる２つの画像に基づいて、画像内に含まれる対象物までの距離を検出するための手法は従来より知られており、この手法では２つの撮像装置の光軸の平行度が距離検出精度に大きく影響する。すなわち、２つの撮像装置の光軸が平行でない場合（光軸間平行度ずれがある場合）には、２つの撮像装置の取り付け間隔に比べて十分遠い位置にある対象物（事実上無限遠にあるとみなせる対象物）の視差が「０」とならないため、検出される視差に常に誤差が含まれることとなる。
【０００３】
そこで、２つの撮像装置の取り付け間隔（基線長）を短くして小型堅牢な構造とし、光軸間平行度を正確に保持することが考えられるが、基線長を短くすると光軸の平行度が確保されても、距離検出精度が低下するという問題がある。また車両などに搭載される場合には、小型堅牢であっても運転にともなう振動や車体の歪みによって、光軸平行度が経年変化する可能性が高い。
【０００４】
そこで、車両に搭載された２つ撮像装置の取り付け角度差を、各撮像装置から得られる画像に基づいて算出し、該算出した取り付け角度差を考慮して距離を検出する測距装置が、既に提案されている（特許文献１）。この特許文献１に示された取り付け角度差算出手法は、自車両近傍の道路上の白線を認識し、その白線に基づいて各撮像装置の無限遠点に対応する画像上の位置を求め、その位置のずれから取り付け角度差を算出するものである。
【０００５】
【特許文献１】特開平９−１２６７５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記公報に示された手法は、自車両の近傍の白線を認識し、その白線に基づいて無限遠点に対応する画像上の位置を求めるものであるため、演算量が多くなる上、精度が出にくく、安定した結果を得ることが困難であった。
【０００７】
本発明は上述した点に鑑みなされたものであり、従来に比べて少ない演算量で、車両に搭載された２つの撮像装置の光軸間平行度ずれに起因する誤差を補正して正確な視差を算出し、距離検出精度を向上させることができる距離検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため請求項１に記載の発明は、車両に搭載された２つの撮像手段によって得られる２つの画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出する距離検出装置において、第１及び第２の時刻において静止対象物の視差を算出する静止対象物視差算出手段と、前記第１の時刻から前記第２の時刻までの期間における前記車両の移動量を算出する車両移動量算出手段と、前記第１及び第２の時刻における前記静止対象物の視差並びに前記車両移動量に基づいて、前記２つの撮像手段の光軸間平行度ずれに起因する視差オフセット量を算出し、該算出した視差オフセット量により視差を補正する視差補正手段とを備えることを特徴とする。
【０００９】
静止対象物視差算出手段は、車両走行中に検知される可能性が高く、且つ確実に静止している対象物（例えば、信号機や電柱）の特徴の有無により、静止対象物を判定することが望ましい。
【発明の効果】
【００１０】
請求項１に記載の発明によれば、第１及び第２の時刻において静止対象物の視差が算出されるとともに、第１の時刻から第２の時刻までの間の車両移動量が算出され、第１及び第２の時刻における静止対象物の視差並びに車両移動量に基づいて、２つの撮像手段の光軸間平行度ずれに起因する誤差を補正するための視差オフセット量が算出され、この視差オフセット量により視差が補正されるので、従来に比べて少ない演算量で、２つの撮像手段の光軸間平行度ずれに起因する誤差を補正して正確な視差を算出し、距離検出精度を向上させることできる。
【発明を実施するための最良の形態】
【００１１】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる車両の周辺監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。
【００１２】
カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００１３】
画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。
【００１４】
図３及び４は画像処理ユニット２における処理の手順を示すフローチャートである。先ずステップＳ１０では、カメラ１Ｒ、１Ｌの光軸間平行度のずれに対応した視差オフセット量Ｄ（φ）を初期値（例えば工場出荷時に設定された値、あるいは前回運転時に算出され、記憶装置に格納されていた視差オフセット量）に設定し、次いでカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像は、輝度情報を含んだグレースケール画像である。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１５】
図３のステップＳ１４では、右画像を基準画像とし、その画像信号の２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図６に図５（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。
【００１６】
続くステップＳ１５では、２値化した画像データをランレングスデータに変換する処理を行う。図７（ａ）はこれを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００１７】
ステップＳ１６、Ｓ１７では、図７（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図６に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００１８】
ステップＳ１８では図７（ｃ）に示すように、抽出した対象物の重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出し、重心Ｇの座標は、面積Ｓをｘ方向に２等分する線のｘ座標及びｙ方向に２等分する線のｙ座標として算出し、縦横比ＡＰＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出する。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１９】
ステップＳ１９では、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物の認識を行う。アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図８（ａ）に示すように時刻ｋで対象物１，２を抽出した場合において、時刻（ｋ＋１）で抽出した対象物３，４と、対象物１，２との同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物１、２と対象物３、４とは同一であると判定し、対象物３、４をそれぞれ１，２というラベルに変更することにより、時刻間追跡が行われる。
【００２０】
１）時刻ｋにおける対象物ｉ（＝１，２）の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、
｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜Δｘ
｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜Δｙ
であること。ただし、Δｘ、Δｙは、それぞれｘ方向及びｙ方向の画像上の移動量の許容値である。
【００２１】
２）時刻ｋにおける対象物ｉ（＝１，２）の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での面積をＳｊ（ｋ＋１）としたとき、
Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ
であること。ただし、ΔＳは面積変化の許容値である。
【００２２】
３）時刻ｋにおける対象物ｉ（＝１，２）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、
ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴ
であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。
【００２３】
図８（ａ）と（ｂ）とを対比すると、各対象物は画像上での大きさが大きくなっているが、対象物１と３とが上記同一性判定条件を満たし、対象物２と４とが上記同一性判定条件を満たすので、対象物３、４はそれぞれ対象物１、２と認識される。このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
なお以上説明したステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。
【００２４】
図３のステップＳ２０では、車速センサ６により検出される車速ＶＣＡＲ及びヨーレートセンサ５より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒ（図１６参照）を算出する。
【００２５】
一方、ステップＳ３１〜Ｓ３４では、ステップＳ１９，Ｓ２０の処理と平行して、対象物と自車両１０と距離ｚを算出する処理を行う。この演算はステップＳ１９，Ｓ２０より長い時間を要するため、ステップＳ１９，Ｓ２０より長い周期（例えばステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行される。
【００２６】
ステップＳ３１では、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、図９（ａ）に示すように右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する。続くステップＳ３２では、左画像中から探索画像に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する。具体的には、探索画像Ｒ１の各頂点座標に応じて左画像中に図９（ｂ）に示すように、探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式（１）により算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値画像ではなくグレースケール画像を用いて行う。また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａ（図９（ｂ）に破線で示す）を探索領域として設定する。
【数１】
【００２７】
ここで、ＩＲ（ｍ，ｎ）は、図１０に示す探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状の局所領域Ｒ３内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対応画像の位置が特定される。
【００２８】
ステップＳ３２の処理により、図１１に示すように探索画像Ｒ１と、この対象物に対応する対応画像Ｒ４とが抽出されるので、ステップＳ３３では、探索画像Ｒ１の重心位置と、画像中心線ＬＣＴＲとの距離ｄＲ（画素数）及び対応画像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、距離ｄＲ及びｄＬを加算することにより、検出視差δｄ（＝ｄＲ＋ｄＬ）を算出し、下記式（２）に検出視差δｄ及び視差オフセット量Ｄ（φ）を適用して、視差Δｄを算出する。視差オフセット量Ｄ（φ）は、後述するステップＳ２７（図４）において、運転中に検出される静止対象物を用いた演算により更新されるので、式（２）により検出視差δｄを補正することにより、２つのカメラ１Ｒ、１Ｌの光軸間平行度ずれに起因する誤差を除き、正確な視差、ひいては正確な距離ｚを得ることができる。
Δｄ＝δｄ−Ｄ（φ） （２）
【００２９】
図１２に示すように、カメラ１Ｌの光軸２１Ｌが、カメラ１Ｒの光軸２１Ｒに平行な直線２２に対して角度φ（以下「パン角φ」という）分だけ平行度がずれている場合の視差オフセット量をＤ（φ）とすると、図１３に示すように、距離ｚにかかわらず、検出視差δｄは、真の視差Δｄより視差オフセット量Ｄ（φ）分だけ大きくなるので、上記式（２）により正確な視差を得ることができる。本実施形態では、２つカメラの光軸が互いに開く方向（図１２の方向）にずれたときのパン角φ及び視差オフセット量Ｄ（φ）を正の値とし、逆にずれたときを負の値としている。また検出視差δｄは、パン角φが負の値の場合、すなわち２つカメラの光軸が互いに閉じる方向（図１２の方向と逆方向）にずれたときは、右画像中の対象物像が、左画像中の対象物像より右側に位置することがあるので、そのような場合は、検出視差δｄを負の値とする。
【００３０】
続くステップＳ３３では、視差Δｄを下記式（３）に適用して、自車両１０と、対象物との距離ｚを算出する。
【数２】
ここで、Ｂは基線長、すなわち図１４に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔である。
【００３１】
図４のステップＳ２１では、画像内の座標（ｘ，ｙ）及び式（３）により算出した距離ｚを下記式（４）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図１５（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は同図（ｂ）に示すように、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【数３】
【００３２】
ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００３３】
ステップＳ２２では、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。図１６に示すように、時刻ｋから（ｋ＋１）までの期間中に自車両が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、図１７に示すようにΔｘだけｘ方向にずれるので、これを補正する処理である。具体的には、下記式（５）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリに格納する。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【数４】
【００３４】
ステップＳ２３では、図１８に示すように同一対象物について、ΔＴの期間内に得られた、回頭角補正後のＮ個の実空間位置データ（例えばＮ＝１０程度）、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬｕ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌｕ｜＝１）とすると、下記式（６）で表される直線を求める。
【数５】
【００３５】
ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ，Ｙａｖ及びＺａｖは、それぞれ実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値及びＺ座標の平均値である。なお、式（６）は媒介変数ｕを消去すれば下記式（６ａ）のようになる。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ
…（６ａ）
【００３６】
図１８は、近似直線ＬＭＶを説明するための図であり、同図のＰ（０），Ｐ（１），Ｐ（２），…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正後の時系列データを示し、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の２乗の平均値が最小となるような直線として求められる。ここで各データ点の座標を示すＰに付した（）内の数値はその値が増加するほど過去のデータであることを示す。例えば、Ｐ（０）は最新の位置座標、Ｐ（１）は１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。以下の説明におけるＤ（ｊ）、Ｘ（ｊ）、Ｙ（ｊ）、Ｚ（ｊ）等も同様である。
【００３７】
より具体的には、平均位置座標Ｐａｖから各データ点の座標Ｐ（０）〜Ｐ（Ｎ−１）に向かうベクトルＤ（ｊ）＝（ＤＸ（ｊ），ＤＹ（ｊ），ＤＺ（ｊ））＝（Ｘ（ｊ）−Ｘａｖ，Ｙ（ｊ）−Ｙａｖ，Ｚ（ｊ）−Ｚａｖ）と、方向ベクトルＬｕとの内積ｓを下記式（７）により算出し、この内積ｓの分散が最大となる方向ベクトルＬｕ＝（ｌｘ，ｌｙ，ｌｚ）を求める。
ｓ＝ｌｘ・ＤＸ（ｊ）＋ｌｙ・ＤＹ（ｊ）＋ｌｚ・ＤＺ（ｊ） （７）
【００３８】
各データ点の座標の分散共分散行列Ｖは、下記式（８）で表され、この行列の固有値σが内積ｓの分散に相当するので、この行列から算出される３つの固有値のうち最大の固有値に対応する固有ベクトルが求める方向ベクトルＬｕとなる。なお、式（８）の行列から固有値と固有ベクトルを算出するには、ヤコビ法（例えば「数値計算ハンドブック」（オーム社）に示されている）として知られている手法を用いる。
【数６】
【００３９】
次いで最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正する。具体的には、前記式（６ａ）にＺ座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、すなわち下記式（９）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【数７】
【００４０】
式（９）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００４１】
図４に戻り、ステップＳ２４では、その時点で検出されている対象物の中に静止対象物が存在するか否かを判別する。ここでいう「静止対象物」は、例えば図１９に示す信号機１０１や電柱１０２のように、車両走行中に検知される可能性が高く、且つ確実に静止している対象物とし、このような対象物の特徴の有無により判定する。具体的には、以下のような条件を満たすものを「静止対象物」と判定する。
【００４２】
１）円形の同一サイズの対象物が並んで存在し、高さが４．５ｍ以上の対象物
２）高さが５ｍ以上の長方形の対象物
ステップＳ２４で静止対象物が存在しないとき、直ちにステップＳ２８に進み、存在するときは、ステップＳ２５〜Ｓ２７により視差オフセット量Ｄ（φ）の更新を行う。以下に静止対象物を用いた視差オフセット量Ｄ（φ）の算出手法を、図２０を参照して説明する。
【００４３】
図２０に示すように第１の時刻ｔ０における自車両から静止対象物までの距離及び検出視差をそれぞれＺ（ｔ０）及びδｄ（ｔ０）とし、第１の時刻ｔ０から時間Ｔｍだけ経過した第２の時刻ｔ１における自車両から静止対象物までの距離及び検出視差をＺ（ｔ１）及びδｄ（ｔ１）とすると、式（２），（３）より、距離Ｚ（ｔ０），Ｚ（ｔ１）は、下記式（１０）、（１１）のようになる。なお時間Ｔｍは、例えば車速ＶＣＡＲが高いほど短くなるように設定される。
【数８】
【００４４】
式（１０）（１１）から視差オフセット量Ｄ（φ）を消去することより、下記式（１２）を得る。
【数９】
ここで、変数αを下記式（１３）で定義し、Ｚ（ｔ１）＝Ｚ（ｔ０）−Ｌという関係を用いると式（１２）は、下記式（１４）に変形される。
【数１０】
【００４５】
式（１４）をＺ（ｔ０）＞０の条件で解くと、距離Ｚ（ｔ０）は下記式（１５）で与えられる。
【数１１】
一方、式（１０）を変形すると視差オフセット量Ｄ（φ）は、下記式（１０ａ）で与えられるので、式（１５）を代入して下記式（１６）を得る。
【数１２】
【００４６】
式（１６）に第１及び第２の時刻ｔ０、ｔ１における検出視差δｄ（ｔ０）、δｄ（ｔ１）と、その間の自車両１０の走行距離Ｌと適用することにより、視差オフセット量Ｄ（φ）を求めることができる。
【００４７】
なお、道路が曲線状となっている場合には、道路形状に沿った走行距離Ｌを、第１の時刻ｔ０から第２の時刻ｔ１の期間の回頭角θｒに応じて直線移動量に換算することにより、前記式（１６）を用いて視差オフセット量Ｄ（φ）を算出することができる。
【００４８】
図４に戻り、ステップＳ２４の答が肯定（ＹＥＳ）、すなわち上記した条件を満たす静止対象物が存在するときは、第１の時刻ｔ０から第２の時刻ｔ１までの期間で車速ＶＣＡＲを積分することにより、自車両１０の走行距離Ｌを算出するともに時刻ｔ０，ｔ１においてそれぞれ視差δｄ（ｔ０）及びδｄ（ｔ１）を算出し（ステップＳ２５、Ｓ２６）、次いで前記式（１６）に走行距離Ｌ及び検出視差δｄ（ｔ０）、δｄ（ｔ１）を適用して、視差オフセット量Ｄ（φ）を最新の値に更新する（ステップＳ２７）。
【００４９】
続くステップＳ２８では、対象物までの距離と、対象物の他の位置情報（自車両１０の進行方向に対して垂直な水平方向及び高さ方向の座標）とに基づいて、その対象物と自車両１０との衝突の可能性を判定し、衝突の可能性が高いときは、スピーカ３及びＨＵＤ４を介して運転者への警報を発する。ステップＳ２８実行後は、ステップＳ１１に戻り、処理を繰り返す。
【００５０】
以上のように本実施形態では、走行中に静止対象物の有無を判定し、静止対象物が存在するときは、２つの時点、すなわち第１及び第２の時刻ｔ０，ｔ１において静止対象物の検出視差δｄ（ｔ０）及びδｄ（ｔ１）を算出し、これらの検出視差δｄ（ｔ０）及びδｄ（ｔ１）と、時刻ｔ０からｔ１までの間の自車両の移動量Ｌとに基づいて視差オフセット量Ｄ（φ）を算出し、視差オフセット量Ｄ（φ）により検出視差δｄを補正し、正確な視差Δｄを得るようにしたので、この視差Δｄを用いることにより、カメラ１Ｒ、１Ｌの光軸間平行度ずれ（パン角φ）に起因する誤差を補正して正確な視差を算出し、対象物までの距離検出精度を向上させることができる。また、工場における検査、あるいは販売店における確認は、静止対象物に向かって車両を走行させることにより、容易に行うことができるので、距離が既知の対象物を用いる必要がないので、検査・確認専用のスペースや設備を不要とすることができる。
【００５１】
本実施形態では、赤外線カメラ１Ｒ、１Ｌが撮像手段に相当し、画像処理ユニット２が距離検出装置を構成する。具体的には、図４のステップＳ２４及びＳ２６が静止対象物視差算出手段に相当し、同図のステップＳ２５が車両移動量算出手段に相当し、図３のステップＳ３３及び図４のステップＳ２７が視差補正手段に相当する。
【００５２】
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、撮像手段として赤外線カメラを用いたが、通常の可視光線のみ検出可能なテレビカメラなどを使用してもよい。また、２つの撮像手段は、離間して配置されていればよく、図２に示した配置に限定されるものではない。
【図面の簡単な説明】
【００５３】
【図１】本発明の一実施形態にかかる距離検出装置を含む車両用周辺監視装置の構成を示すブロック図である。
【図２】図１に示すカメラの取り付け位置を説明するための図である。
【図３】図１の画像処理ユニットにおける処理の手順を示すフローチャートである。
【図４】図１の画像処理ユニットにおける処理の手順を示すフローチャートである。
【図５】赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。
【図６】グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。
【図７】ランレングスデータへの変換処理及びラベリングを説明するための図である。
【図８】対象物の時刻間追跡を説明するための図である。
【図９】右画像中の探索画像と、左画像に設定する探索領域を説明するための図である。
【図１０】探索領域を対象とした相関演算処理を説明するための図である。
【図１１】視差の算出方法を説明するための図である。
【図１２】２つのカメラの光軸間平行度ずれを説明するための図である。
【図１３】光軸間平行度ずれに起因する検出視差の誤差を説明するため図である。
【図１４】視差から距離を算出する手法を説明するための図である。
【図１５】本実施形態における座標系を示す図である。
【図１６】回頭角補正を説明するための図である。
【図１７】車両の回頭により発生する画像上の対象物位置のずれを示す図である。
【図１８】相対移動ベクトルの算出手法を説明するための図である。
【図１９】静止対象物の例を示す図である。
【図２０】静止対象物を利用して視差オフセット量を算出する手法を説明するための図である。
【符号の説明】
【００５４】
１Ｒ、１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット（静止対象物視差算出手段、車両移動量算出手段、視差補正手段）
６ 車速センサ
【技術分野】
【０００１】
本発明は、車両に搭載された２つの撮像装置により得られる２つの画像から対象物の視差を算出し、その視差に基づいて対象物までの距離を検出する距離検出装置に関する。
【背景技術】
【０００２】
２つの撮像装置により得られる２つの画像に基づいて、画像内に含まれる対象物までの距離を検出するための手法は従来より知られており、この手法では２つの撮像装置の光軸の平行度が距離検出精度に大きく影響する。すなわち、２つの撮像装置の光軸が平行でない場合（光軸間平行度ずれがある場合）には、２つの撮像装置の取り付け間隔に比べて十分遠い位置にある対象物（事実上無限遠にあるとみなせる対象物）の視差が「０」とならないため、検出される視差に常に誤差が含まれることとなる。
【０００３】
そこで、２つの撮像装置の取り付け間隔（基線長）を短くして小型堅牢な構造とし、光軸間平行度を正確に保持することが考えられるが、基線長を短くすると光軸の平行度が確保されても、距離検出精度が低下するという問題がある。また車両などに搭載される場合には、小型堅牢であっても運転にともなう振動や車体の歪みによって、光軸平行度が経年変化する可能性が高い。
【０００４】
そこで、車両に搭載された２つ撮像装置の取り付け角度差を、各撮像装置から得られる画像に基づいて算出し、該算出した取り付け角度差を考慮して距離を検出する測距装置が、既に提案されている（特許文献１）。この特許文献１に示された取り付け角度差算出手法は、自車両近傍の道路上の白線を認識し、その白線に基づいて各撮像装置の無限遠点に対応する画像上の位置を求め、その位置のずれから取り付け角度差を算出するものである。
【０００５】
【特許文献１】特開平９−１２６７５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記公報に示された手法は、自車両の近傍の白線を認識し、その白線に基づいて無限遠点に対応する画像上の位置を求めるものであるため、演算量が多くなる上、精度が出にくく、安定した結果を得ることが困難であった。
【０００７】
本発明は上述した点に鑑みなされたものであり、従来に比べて少ない演算量で、車両に搭載された２つの撮像装置の光軸間平行度ずれに起因する誤差を補正して正確な視差を算出し、距離検出精度を向上させることができる距離検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため請求項１に記載の発明は、車両に搭載された２つの撮像手段によって得られる２つの画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出する距離検出装置において、第１及び第２の時刻において静止対象物の視差を算出する静止対象物視差算出手段と、前記第１の時刻から前記第２の時刻までの期間における前記車両の移動量を算出する車両移動量算出手段と、前記第１及び第２の時刻における前記静止対象物の視差並びに前記車両移動量に基づいて、前記２つの撮像手段の光軸間平行度ずれに起因する視差オフセット量を算出し、該算出した視差オフセット量により視差を補正する視差補正手段とを備えることを特徴とする。
【０００９】
静止対象物視差算出手段は、車両走行中に検知される可能性が高く、且つ確実に静止している対象物（例えば、信号機や電柱）の特徴の有無により、静止対象物を判定することが望ましい。
【発明の効果】
【００１０】
請求項１に記載の発明によれば、第１及び第２の時刻において静止対象物の視差が算出されるとともに、第１の時刻から第２の時刻までの間の車両移動量が算出され、第１及び第２の時刻における静止対象物の視差並びに車両移動量に基づいて、２つの撮像手段の光軸間平行度ずれに起因する誤差を補正するための視差オフセット量が算出され、この視差オフセット量により視差が補正されるので、従来に比べて少ない演算量で、２つの撮像手段の光軸間平行度ずれに起因する誤差を補正して正確な視差を算出し、距離検出精度を向上させることできる。
【発明を実施するための最良の形態】
【００１１】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる車両の周辺監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。
【００１２】
カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００１３】
画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。
【００１４】
図３及び４は画像処理ユニット２における処理の手順を示すフローチャートである。先ずステップＳ１０では、カメラ１Ｒ、１Ｌの光軸間平行度のずれに対応した視差オフセット量Ｄ（φ）を初期値（例えば工場出荷時に設定された値、あるいは前回運転時に算出され、記憶装置に格納されていた視差オフセット量）に設定し、次いでカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像は、輝度情報を含んだグレースケール画像である。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１５】
図３のステップＳ１４では、右画像を基準画像とし、その画像信号の２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図６に図５（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。
【００１６】
続くステップＳ１５では、２値化した画像データをランレングスデータに変換する処理を行う。図７（ａ）はこれを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００１７】
ステップＳ１６、Ｓ１７では、図７（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図６に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００１８】
ステップＳ１８では図７（ｃ）に示すように、抽出した対象物の重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出し、重心Ｇの座標は、面積Ｓをｘ方向に２等分する線のｘ座標及びｙ方向に２等分する線のｙ座標として算出し、縦横比ＡＰＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出する。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１９】
ステップＳ１９では、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物の認識を行う。アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図８（ａ）に示すように時刻ｋで対象物１，２を抽出した場合において、時刻（ｋ＋１）で抽出した対象物３，４と、対象物１，２との同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物１、２と対象物３、４とは同一であると判定し、対象物３、４をそれぞれ１，２というラベルに変更することにより、時刻間追跡が行われる。
【００２０】
１）時刻ｋにおける対象物ｉ（＝１，２）の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、
｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜Δｘ
｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜Δｙ
であること。ただし、Δｘ、Δｙは、それぞれｘ方向及びｙ方向の画像上の移動量の許容値である。
【００２１】
２）時刻ｋにおける対象物ｉ（＝１，２）の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での面積をＳｊ（ｋ＋１）としたとき、
Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ
であること。ただし、ΔＳは面積変化の許容値である。
【００２２】
３）時刻ｋにおける対象物ｉ（＝１，２）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、
ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴ
であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。
【００２３】
図８（ａ）と（ｂ）とを対比すると、各対象物は画像上での大きさが大きくなっているが、対象物１と３とが上記同一性判定条件を満たし、対象物２と４とが上記同一性判定条件を満たすので、対象物３、４はそれぞれ対象物１、２と認識される。このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
なお以上説明したステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。
【００２４】
図３のステップＳ２０では、車速センサ６により検出される車速ＶＣＡＲ及びヨーレートセンサ５より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒ（図１６参照）を算出する。
【００２５】
一方、ステップＳ３１〜Ｓ３４では、ステップＳ１９，Ｓ２０の処理と平行して、対象物と自車両１０と距離ｚを算出する処理を行う。この演算はステップＳ１９，Ｓ２０より長い時間を要するため、ステップＳ１９，Ｓ２０より長い周期（例えばステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行される。
【００２６】
ステップＳ３１では、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、図９（ａ）に示すように右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する。続くステップＳ３２では、左画像中から探索画像に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する。具体的には、探索画像Ｒ１の各頂点座標に応じて左画像中に図９（ｂ）に示すように、探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式（１）により算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値画像ではなくグレースケール画像を用いて行う。また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａ（図９（ｂ）に破線で示す）を探索領域として設定する。
【数１】
【００２７】
ここで、ＩＲ（ｍ，ｎ）は、図１０に示す探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状の局所領域Ｒ３内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対応画像の位置が特定される。
【００２８】
ステップＳ３２の処理により、図１１に示すように探索画像Ｒ１と、この対象物に対応する対応画像Ｒ４とが抽出されるので、ステップＳ３３では、探索画像Ｒ１の重心位置と、画像中心線ＬＣＴＲとの距離ｄＲ（画素数）及び対応画像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、距離ｄＲ及びｄＬを加算することにより、検出視差δｄ（＝ｄＲ＋ｄＬ）を算出し、下記式（２）に検出視差δｄ及び視差オフセット量Ｄ（φ）を適用して、視差Δｄを算出する。視差オフセット量Ｄ（φ）は、後述するステップＳ２７（図４）において、運転中に検出される静止対象物を用いた演算により更新されるので、式（２）により検出視差δｄを補正することにより、２つのカメラ１Ｒ、１Ｌの光軸間平行度ずれに起因する誤差を除き、正確な視差、ひいては正確な距離ｚを得ることができる。
Δｄ＝δｄ−Ｄ（φ） （２）
【００２９】
図１２に示すように、カメラ１Ｌの光軸２１Ｌが、カメラ１Ｒの光軸２１Ｒに平行な直線２２に対して角度φ（以下「パン角φ」という）分だけ平行度がずれている場合の視差オフセット量をＤ（φ）とすると、図１３に示すように、距離ｚにかかわらず、検出視差δｄは、真の視差Δｄより視差オフセット量Ｄ（φ）分だけ大きくなるので、上記式（２）により正確な視差を得ることができる。本実施形態では、２つカメラの光軸が互いに開く方向（図１２の方向）にずれたときのパン角φ及び視差オフセット量Ｄ（φ）を正の値とし、逆にずれたときを負の値としている。また検出視差δｄは、パン角φが負の値の場合、すなわち２つカメラの光軸が互いに閉じる方向（図１２の方向と逆方向）にずれたときは、右画像中の対象物像が、左画像中の対象物像より右側に位置することがあるので、そのような場合は、検出視差δｄを負の値とする。
【００３０】
続くステップＳ３３では、視差Δｄを下記式（３）に適用して、自車両１０と、対象物との距離ｚを算出する。
【数２】
ここで、Ｂは基線長、すなわち図１４に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔である。
【００３１】
図４のステップＳ２１では、画像内の座標（ｘ，ｙ）及び式（３）により算出した距離ｚを下記式（４）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図１５（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は同図（ｂ）に示すように、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【数３】
【００３２】
ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００３３】
ステップＳ２２では、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。図１６に示すように、時刻ｋから（ｋ＋１）までの期間中に自車両が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、図１７に示すようにΔｘだけｘ方向にずれるので、これを補正する処理である。具体的には、下記式（５）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリに格納する。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【数４】
【００３４】
ステップＳ２３では、図１８に示すように同一対象物について、ΔＴの期間内に得られた、回頭角補正後のＮ個の実空間位置データ（例えばＮ＝１０程度）、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬｕ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌｕ｜＝１）とすると、下記式（６）で表される直線を求める。
【数５】
【００３５】
ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ，Ｙａｖ及びＺａｖは、それぞれ実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値及びＺ座標の平均値である。なお、式（６）は媒介変数ｕを消去すれば下記式（６ａ）のようになる。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ
…（６ａ）
【００３６】
図１８は、近似直線ＬＭＶを説明するための図であり、同図のＰ（０），Ｐ（１），Ｐ（２），…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正後の時系列データを示し、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の２乗の平均値が最小となるような直線として求められる。ここで各データ点の座標を示すＰに付した（）内の数値はその値が増加するほど過去のデータであることを示す。例えば、Ｐ（０）は最新の位置座標、Ｐ（１）は１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。以下の説明におけるＤ（ｊ）、Ｘ（ｊ）、Ｙ（ｊ）、Ｚ（ｊ）等も同様である。
【００３７】
より具体的には、平均位置座標Ｐａｖから各データ点の座標Ｐ（０）〜Ｐ（Ｎ−１）に向かうベクトルＤ（ｊ）＝（ＤＸ（ｊ），ＤＹ（ｊ），ＤＺ（ｊ））＝（Ｘ（ｊ）−Ｘａｖ，Ｙ（ｊ）−Ｙａｖ，Ｚ（ｊ）−Ｚａｖ）と、方向ベクトルＬｕとの内積ｓを下記式（７）により算出し、この内積ｓの分散が最大となる方向ベクトルＬｕ＝（ｌｘ，ｌｙ，ｌｚ）を求める。
ｓ＝ｌｘ・ＤＸ（ｊ）＋ｌｙ・ＤＹ（ｊ）＋ｌｚ・ＤＺ（ｊ） （７）
【００３８】
各データ点の座標の分散共分散行列Ｖは、下記式（８）で表され、この行列の固有値σが内積ｓの分散に相当するので、この行列から算出される３つの固有値のうち最大の固有値に対応する固有ベクトルが求める方向ベクトルＬｕとなる。なお、式（８）の行列から固有値と固有ベクトルを算出するには、ヤコビ法（例えば「数値計算ハンドブック」（オーム社）に示されている）として知られている手法を用いる。
【数６】
【００３９】
次いで最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正する。具体的には、前記式（６ａ）にＺ座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、すなわち下記式（９）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【数７】
【００４０】
式（９）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００４１】
図４に戻り、ステップＳ２４では、その時点で検出されている対象物の中に静止対象物が存在するか否かを判別する。ここでいう「静止対象物」は、例えば図１９に示す信号機１０１や電柱１０２のように、車両走行中に検知される可能性が高く、且つ確実に静止している対象物とし、このような対象物の特徴の有無により判定する。具体的には、以下のような条件を満たすものを「静止対象物」と判定する。
【００４２】
１）円形の同一サイズの対象物が並んで存在し、高さが４．５ｍ以上の対象物
２）高さが５ｍ以上の長方形の対象物
ステップＳ２４で静止対象物が存在しないとき、直ちにステップＳ２８に進み、存在するときは、ステップＳ２５〜Ｓ２７により視差オフセット量Ｄ（φ）の更新を行う。以下に静止対象物を用いた視差オフセット量Ｄ（φ）の算出手法を、図２０を参照して説明する。
【００４３】
図２０に示すように第１の時刻ｔ０における自車両から静止対象物までの距離及び検出視差をそれぞれＺ（ｔ０）及びδｄ（ｔ０）とし、第１の時刻ｔ０から時間Ｔｍだけ経過した第２の時刻ｔ１における自車両から静止対象物までの距離及び検出視差をＺ（ｔ１）及びδｄ（ｔ１）とすると、式（２），（３）より、距離Ｚ（ｔ０），Ｚ（ｔ１）は、下記式（１０）、（１１）のようになる。なお時間Ｔｍは、例えば車速ＶＣＡＲが高いほど短くなるように設定される。
【数８】
【００４４】
式（１０）（１１）から視差オフセット量Ｄ（φ）を消去することより、下記式（１２）を得る。
【数９】
ここで、変数αを下記式（１３）で定義し、Ｚ（ｔ１）＝Ｚ（ｔ０）−Ｌという関係を用いると式（１２）は、下記式（１４）に変形される。
【数１０】
【００４５】
式（１４）をＺ（ｔ０）＞０の条件で解くと、距離Ｚ（ｔ０）は下記式（１５）で与えられる。
【数１１】
一方、式（１０）を変形すると視差オフセット量Ｄ（φ）は、下記式（１０ａ）で与えられるので、式（１５）を代入して下記式（１６）を得る。
【数１２】
【００４６】
式（１６）に第１及び第２の時刻ｔ０、ｔ１における検出視差δｄ（ｔ０）、δｄ（ｔ１）と、その間の自車両１０の走行距離Ｌと適用することにより、視差オフセット量Ｄ（φ）を求めることができる。
【００４７】
なお、道路が曲線状となっている場合には、道路形状に沿った走行距離Ｌを、第１の時刻ｔ０から第２の時刻ｔ１の期間の回頭角θｒに応じて直線移動量に換算することにより、前記式（１６）を用いて視差オフセット量Ｄ（φ）を算出することができる。
【００４８】
図４に戻り、ステップＳ２４の答が肯定（ＹＥＳ）、すなわち上記した条件を満たす静止対象物が存在するときは、第１の時刻ｔ０から第２の時刻ｔ１までの期間で車速ＶＣＡＲを積分することにより、自車両１０の走行距離Ｌを算出するともに時刻ｔ０，ｔ１においてそれぞれ視差δｄ（ｔ０）及びδｄ（ｔ１）を算出し（ステップＳ２５、Ｓ２６）、次いで前記式（１６）に走行距離Ｌ及び検出視差δｄ（ｔ０）、δｄ（ｔ１）を適用して、視差オフセット量Ｄ（φ）を最新の値に更新する（ステップＳ２７）。
【００４９】
続くステップＳ２８では、対象物までの距離と、対象物の他の位置情報（自車両１０の進行方向に対して垂直な水平方向及び高さ方向の座標）とに基づいて、その対象物と自車両１０との衝突の可能性を判定し、衝突の可能性が高いときは、スピーカ３及びＨＵＤ４を介して運転者への警報を発する。ステップＳ２８実行後は、ステップＳ１１に戻り、処理を繰り返す。
【００５０】
以上のように本実施形態では、走行中に静止対象物の有無を判定し、静止対象物が存在するときは、２つの時点、すなわち第１及び第２の時刻ｔ０，ｔ１において静止対象物の検出視差δｄ（ｔ０）及びδｄ（ｔ１）を算出し、これらの検出視差δｄ（ｔ０）及びδｄ（ｔ１）と、時刻ｔ０からｔ１までの間の自車両の移動量Ｌとに基づいて視差オフセット量Ｄ（φ）を算出し、視差オフセット量Ｄ（φ）により検出視差δｄを補正し、正確な視差Δｄを得るようにしたので、この視差Δｄを用いることにより、カメラ１Ｒ、１Ｌの光軸間平行度ずれ（パン角φ）に起因する誤差を補正して正確な視差を算出し、対象物までの距離検出精度を向上させることができる。また、工場における検査、あるいは販売店における確認は、静止対象物に向かって車両を走行させることにより、容易に行うことができるので、距離が既知の対象物を用いる必要がないので、検査・確認専用のスペースや設備を不要とすることができる。
【００５１】
本実施形態では、赤外線カメラ１Ｒ、１Ｌが撮像手段に相当し、画像処理ユニット２が距離検出装置を構成する。具体的には、図４のステップＳ２４及びＳ２６が静止対象物視差算出手段に相当し、同図のステップＳ２５が車両移動量算出手段に相当し、図３のステップＳ３３及び図４のステップＳ２７が視差補正手段に相当する。
【００５２】
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、撮像手段として赤外線カメラを用いたが、通常の可視光線のみ検出可能なテレビカメラなどを使用してもよい。また、２つの撮像手段は、離間して配置されていればよく、図２に示した配置に限定されるものではない。
【図面の簡単な説明】
【００５３】
【図１】本発明の一実施形態にかかる距離検出装置を含む車両用周辺監視装置の構成を示すブロック図である。
【図２】図１に示すカメラの取り付け位置を説明するための図である。
【図３】図１の画像処理ユニットにおける処理の手順を示すフローチャートである。
【図４】図１の画像処理ユニットにおける処理の手順を示すフローチャートである。
【図５】赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。
【図６】グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。
【図７】ランレングスデータへの変換処理及びラベリングを説明するための図である。
【図８】対象物の時刻間追跡を説明するための図である。
【図９】右画像中の探索画像と、左画像に設定する探索領域を説明するための図である。
【図１０】探索領域を対象とした相関演算処理を説明するための図である。
【図１１】視差の算出方法を説明するための図である。
【図１２】２つのカメラの光軸間平行度ずれを説明するための図である。
【図１３】光軸間平行度ずれに起因する検出視差の誤差を説明するため図である。
【図１４】視差から距離を算出する手法を説明するための図である。
【図１５】本実施形態における座標系を示す図である。
【図１６】回頭角補正を説明するための図である。
【図１７】車両の回頭により発生する画像上の対象物位置のずれを示す図である。
【図１８】相対移動ベクトルの算出手法を説明するための図である。
【図１９】静止対象物の例を示す図である。
【図２０】静止対象物を利用して視差オフセット量を算出する手法を説明するための図である。
【符号の説明】
【００５４】
１Ｒ、１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット（静止対象物視差算出手段、車両移動量算出手段、視差補正手段）
６ 車速センサ
【特許請求の範囲】
【請求項１】
車両に搭載された２つの撮像手段によって得られる２つの画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出する距離検出装置において、
第１及び第２の時刻において静止対象物の視差を算出する静止対象物視差算出手段と、
前記第１の時刻から前記第２の時刻までの期間における前記車両の移動量を算出する車両移動量算出手段と、
前記第１及び第２の時刻における前記静止対象物の視差並びに前記車両移動量に基づいて、前記２つの撮像手段の光軸間平行度ずれに起因する視差オフセット量を算出し、該算出した視差オフセット量により視差を補正する視差補正手段とを備えることを特徴とする距離検出装置。
【請求項１】
車両に搭載された２つの撮像手段によって得られる２つの画像に基づいて対象物の視差を算出し、該視差から前記対象物までの距離を検出する距離検出装置において、
第１及び第２の時刻において静止対象物の視差を算出する静止対象物視差算出手段と、
前記第１の時刻から前記第２の時刻までの期間における前記車両の移動量を算出する車両移動量算出手段と、
前記第１及び第２の時刻における前記静止対象物の視差並びに前記車両移動量に基づいて、前記２つの撮像手段の光軸間平行度ずれに起因する視差オフセット量を算出し、該算出した視差オフセット量により視差を補正する視差補正手段とを備えることを特徴とする距離検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００９−７５１２４（Ｐ２００９−７５１２４Ａ）
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願番号】特願２００８−２８４９３１（Ｐ２００８−２８４９３１）
【出願日】平成２０年１１月６日（２００８．１１．６）
【分割の表示】特願平１１−３４５９９６の分割
【原出願日】平成１１年１２月６日（１９９９．１２．６）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願日】平成２０年１１月６日（２００８．１１．６）
【分割の表示】特願平１１−３４５９９６の分割
【原出願日】平成１１年１２月６日（１９９９．１２．６）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]