移動対象物検出装置
【課題】 カメラにより得られる対象物像が画像の端部に接しているような場合において、対象物の相対的な移動方向を誤って検出することを防止できる移動対象物検出装置を提供する。
【解決手段】 カメラ１Ｒにより得られる基準画像に含まれる対象物像が、基準画像の端部に接するときは、その対象物像の位置を代表する判定点が、対象物像の面積重心Ｇから、画像の中心に近い外接四角形の端部の点ＧＥに移動され、該移動後の判定点に基づいて対象物の移動方向が検出される。
【解決手段】 カメラ１Ｒにより得られる基準画像に含まれる対象物像が、基準画像の端部に接するときは、その対象物像の位置を代表する判定点が、対象物像の面積重心Ｇから、画像の中心に近い外接四角形の端部の点ＧＥに移動され、該移動後の判定点に基づいて対象物の移動方向が検出される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、互いに離間して配置された２つカメラにより得られる対象物の画像情報に基づいて、対象物の移動方向を検出する移動対象物検出装置に関する。
【背景技術】
【０００２】
車両に２つのＣＣＤカメラを搭載し、２つのカメラから得られる画像のずれ、すなわち視差に基づいて、対象物と当該車両との距離を検出し、車両の３０〜６０ｍ前方の歩行者を検出するようにした横断物の検出装置が従来より知られている（特許文献１）。
【特許文献１】特開平９−２２６４９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら上記従来の装置は、カメラにより得られる画像に基づいて検出した対象物のオプティカルフローの方向をそのまま使用して、衝突の可能性を判定しているため、自車両と対象物との相対距離や車速によっては判定精度が低下するという問題があった。すなわち、例えば対象物の移動速度に比べて車速が大きい場合には、実際には道路の中心に向かって移動している対象物に対応する画像上のオプティカルフローが道路の外側に向かうベクトルとなってとらえられることがあり、誤判定が発生する。
【０００４】
そこで、対象物の移動ベクトルを正確に検出するために、カメラにより得られる画像に含まれる対象物像の面積重心を、対象物像の位置を代表する判定点として使用し、判定点の実空間上の位置を示す時系列データを、２つのカメラにより得られる画像に基づいて求めるようにすると、対象物像がカメラにより得られる画像の端部に接する場合には、以下のような問題が発生する。なお、面積重心とは、３次元空間において対象物像が均一な厚さを持つ薄板であると仮定した場合の重心を意味する。
【０００５】
すなわち図２３（ａ）に示すように、対象物１０１が静止しているか若しくは走行中の車両１０２に向かって移動している場合に、車両１０２に搭載されたカメラ１０３により得られる、時刻ｔ＝ｋ−２，ｋ−１，ｋにおける時系列の対象物像１０１ａ，１０１ｂ，１０１ｃは、同図（ｂ）にハッチングを付して示すように推移し、面積重心Ｇは、画像上を左方向へ移動する。この画像（右側のカメラ１０３により得られる画像）に含まれる対象物像の判定点、すなわち面積重心の位置と、左側のカメラ１０４により得られる画像に含まれる対象物像（図示せず）の判定点の位置とから視差を算出し、その視差から対象物１０１と車両１０２との距離を求め、対象物１０１の相対移動ベクトルを求めると、対象物１０１が実際は図２４に実線で示すように静止または車両１０２の進行方向と平行に移動しているにもかかわらず、破線で示すような相対移動ベクトルが得られる。その結果、車両１０２と衝突する可能性がないのに、可能性ありと誤判定する可能性があった。
【０００６】
本発明はこの点に着目してなされたものであり、カメラにより得られる対象物像が画像の端部に接しているような場合において、対象物の相対的な移動方向を誤って検出することを防止できる移動対象物検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため請求項１に記載の発明は、互いに離間して配置された２つのカメラにより得られる対象物の画像情報に基づいて、前記対象物の移動方向を検出する移動対象物検出装置において、前記２つのカメラのうち、少なくとも何れか一方のカメラにより得られる対象物像が、画像の端部に接することを判定する画像端部判定手段と、該画像端部判定手段により、画像の端部に接すると判定された対象物像については、該対象物像の位置を代表する判定点を、前記対象物像の面積重心から、前記画像の中心に近い所定点に移動させる判定点移動手段と、該移動後の判定点に基づいて前記対象物の移動方向を検出する移動方向検出手段とを備えることを特徴とする。
【０００８】
「前記画像の中心に近い所定点」は、前記画像の中心に近い、前記対象物像及び対応対象物像の端部、または前記画像の中心に近い、前記対象物像及び対応対象物像の外接四角形の端部とする。
前記判定点移動手段は、前記２つのカメラにより得られる画像のうちの一方を基準画像とし、基準画像中の対象物像について前記判定点の移動を行う。また前記判定点移動手段は、前記判定点を移動させた対象物については、過去に取得し、記憶している位置データを、移動後の判定点を用いた位置データに変更することが望ましい。
【０００９】
請求項２に記載の発明は、請求項１に記載の移動対象物検出装置において、前記２つのカメラにより得られる対象物の画像情報のうち、前記画像端部判定手段にて画像の端部に接すると判定された対象物の画像情報を基準画像とし、他方を探索画像として相関演算を行うことにより、該対象物の距離を算出する距離算出手段をさらに備え、前記移動方向検出手段は、前記判定点移動手段による移動後の判定点と、前記距離算出手段によって算出された距離とに基づいて、前記対象物の移動方向を検出することを特徴とする。
【００１０】
請求項３に記載の発明は、請求項２に記載の移動対象物検出装置において、前記画像端部判定手段により、前記２つのカメラにより得られる対象物像がともに画像の端部に接する判定された場合は、前記距離算出手段は、前記対象物像の表示面積が小さい方の画像を基準画像として用いることを特徴とする。
【００１１】
また、互いに離間して配置された２つのカメラにより得られる対象物の画像情報に基づいて、前記対象物までの距離を検出する距離検出装置を構成する場合には、前記２つのカメラのうち、何れか一方のカメラにより得られる画像に含まれる対象物像（ＯＢＪＲ２）に基づいて、他方のカメラにより得られる画像に対して相関演算を実行し、その結果得られた第１の対応対象物像（ＣＯＢＪＬ２）が、画像の端部に接するときは、その第１の対応対象物像（ＣＯＢＪＬ２）に基づいて前記一方のカメラにより得られる画像に対して相関演算を実行し、その結果得られた第２の対応対象物像（ＣＯＢＪＲ２）と、前記第１の対応対象物像（ＣＯＢＪＬ２）とに基づいて視差を算出し、該算出した視差からその対象物までの距離を算出することが望ましい。
【発明の効果】
【００１２】
請求項１に記載の発明によれば、画像の端部に接すると判定された対象物像については、その対象物像の位置を代表する判定点が、対象物像の面積重心から、画像の中心に近い所定点に移動され、該移動後の判定点に基づいて対象物の移動方向が検出されるので、対象物像の面積重心の時系列データから移動方向を検出する場合のような不具合がなく、正確な移動方向を検出することができる。
【発明を実施するための最良の形態】
【００１３】
以下本発明の実施の形態を図面を参照して説明する。
（第１の実施形態）
図１は本発明の第１の実施形態にかかる、車両に搭載された移動対象物検出装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。
【００１４】
カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００１５】
画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。
【００１６】
図３は画像処理ユニット２における処理の手順を示すフローチャートであり、先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像のデータは、輝度情報を含んだグレースケール画像のデータである。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１７】
図３のステップＳ１４では、右画像を基準画像とし、そのディジタル画像データの２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図６に図５（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。なお、本明細書では、基準画像（右画像）と対をなす画像（左画像）を、「探索画像」という。
【００１８】
続くステップＳ１５では、２値化した画像データをランレングスデータに変換する処理を行う。図７（ａ）はこれを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００１９】
ステップＳ１６、Ｓ１７では、図７（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図６に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００２０】
ステップＳ１８では図７（ｃ）に示すように、抽出した対象物像の面積重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出し、縦横比ＡＰＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出し、面積重心Ｇの座標（ｘｇ，ｙｇ）は、下記式（１）により算出する。
【数１】
ここで、Ｓは面積、ｘ（ｉ），ｙ（ｉ）は、対象物像を構成する画素の座標である。なお、面積重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００２１】
ステップＳ１９では、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物の認識を行う。アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図８（ａ）に示すように時刻ｋで対象物像１，２を抽出した場合において、時刻（ｋ＋１）で抽出した対象物像３，４と、対象物像１，２との同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物像１、２と対象物像３、４とは同一であると判定し、対象物像３、４をそれぞれ１，２というラベルに変更することにより、時刻間追跡が行われる。
【００２２】
１）時刻ｋにおける対象物像ｉ（＝１，２）の面積重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物像ｊ（＝３，４）の面積重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、
｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜Δｘ
｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜Δｙ
であること。ただし、Δｘ、Δｙは、それぞれｘ方向及びｙ方向の画像上の移動量の許容値である。
【００２３】
２）時刻ｋにおける対象物像ｉ（＝１，２）の面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物像ｊ（＝３，４）の面積をＳｊ（ｋ＋１）としたとき、
Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ
であること。ただし、ΔＳは面積変化の許容値である。
【００２４】
３）時刻ｋにおける対象物像ｉ（＝１，２）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物像ｊ（＝３，４）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、
ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴ
であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。
【００２５】
図８（ａ）と（ｂ）とを対比すると、各対象物像はその大きさが大きくなっているが、対象物像１と３とが上記同一性判定条件を満たし、対象物像２と４とが上記同一性判定条件を満たすので、対象物像３、４はそれぞれ対象物像１、２に対応すると認識される。このようにして認識された各対象物像の面積重心の位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
なお以上説明したステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。
【００２６】
図３のステップＳ２０では、車速センサ６により検出される車速ＶＣＡＲ及びヨーレートセンサ５より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒ（図１８参照）を算出する。
【００２７】
一方、ステップＳ３１では、ステップＳ１９，Ｓ２０の処理と平行して、対象物と自車両１０と距離ｚを算出する処理（図４）を実行する。この演算はステップＳ１９，Ｓ２０より長い時間を要するため、ステップＳ１９，Ｓ２０より長い周期（例えばステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行される。
【００２８】
図４のステップＳ４１では、１）基準画像（右画像）の２値化画像によって追跡される対象物像の中の１つを選択することにより、図９（ａ）に示すように右画像から対象物像ＯＢＪＲ１（ここでは、外接四角形で囲まれる領域全体を対象物像とする）を抽出し、２）探索画像（左画像）中から対象物像ＯＢＪＲ１に対応する画像（以下「対応対象物像」という）を探索する探索領域を設定し、相関演算を実行する。
【００２９】
具体的には、対象物像ＯＢＪＲ１の各頂点座標に応じて探索画像中に図９（ｂ）に示すように、探索領域ＳＬ１を設定し、探索領域ＳＬ１内で対象物像ＯＢＪＲ１との相関度の高さを示す相関度パラメータＣ（ａ，ｂ）を下記式（２）により算出する。相関度パラメータＣはその値が小さくなるほど、相関が高いことを示す。なお、この相関演算は、２値画像ではなくグレースケール画像を用いて行う。また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域ＳＬ１より狭い領域ＳＬ１ａ（図９（ｂ）に破線で示す）を探索領域として設定する。
【数２】
ここで、ＩＲ（ｍ，ｎ）は、図１０に示す対象物像ＯＢＪＲ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を基点とした、対象物像ＯＢＪＲ１と同一形状の局所領域ＬＲ内の座標（ｍ，ｎ）の位置の輝度値である。
基点の座標（ａ，ｂ）を変化させて相関度パラメータＣ（ａ，ｂ）が最小となる位置及びそのときの相関度パラメータの値（以下「最小値」という）ＣＭＩＮを求める。
【００３０】
続くステップＳ４２では、相関度が高いか否か、すなわちステップＳ４１で算出した最小値ＣＭＩＮが、所定閾値ＣＭＩＮＴＨ以下であるか否かをを判別する。ＣＭＩＮ＞ＣＭＩＮＴＨであって、相関度が低いときは、探索画像中に対応対象物像が存在しないと判定する。この場合、視差は算出できないので、距離が定まらない（不定）として（ステップＳ４９）、本処理を終了する。
【００３１】
一方ＣＭＩＮ≦ＣＭＩＮＴＨであって、相関度が高いときは、ステップＳ４３に進む。ステップＳ４３〜Ｓ４５では、基準画像中の対象物像及び／または探索画像中の対応対象物像が、それぞれの画像の端部に接している（かかっている）か否か応じてケースＣ０〜Ｃ４に場合分けし、距離の算出を行う。
【００３２】
図１１は、基準画像中の対象物像ＯＢＪ１〜ＯＢＪ３が、基準画像の端部（以下「画像端」という）ＷＲに接しており、対象物像ＯＢＪ４が画像端ＷＲに接していない状態を示している。各対象物像は、前述したようにランレングスデータで把握されているので、同図中に黒丸で示す始点の座標が画像端ＷＲに存在する対象物像は、画像端ＷＲに接していると判定される。同様に、始点座標に長さ（ランレングス）を加算して得られる終点座標が画像端ＷＲに存在する対象物像は、画像端ＷＲに接していると判定される。
【００３３】
図１２には、基準画像中の対象物像及び探索画像中の対応対象物像がいずれも画像端に接してない場合（ケースＣ０）と、基準画像中の対象物像が画像端に接していないが、探索画像中の対応対象物像が画像端に接している場合（ケースＣ２）とが示されている。同図に示すケースＣ０では、基準画像中の対象物像ＯＢＪＲ１と、相関演算により抽出される対応対象物像ＣＯＢＪＬ１は、いずれも画像端に接していないので、両者の面積重心Ｇを用いて視差を算出し、その対象物までの距離ｚを算出することができる。なお、相関演算は、実際には背景部分を少し含むように対象物像ＯＢＪＲ１より若干広い領域ついて行われるので、対応対象物像ＣＯＢＪＬ１は、対象物像ＯＢＪＲ１と同一形状の真の対応対象物像ＯＢＪＬ１より少し広い領域として抽出される。
【００３４】
一方ケースＣ２では、対象物像ＯＢＪＲ２は、画像端に接していないが、対象物像ＯＢＪＲ２と同一形状の真の対応対象物像が、実線及び破線によりＯＢＪＬ２として示すように位置している場合（破線部は、実際には画像として得られない部分を示している）には、相関演算により抽出される対応対象物像ＣＯＢＪＬ２は、探索画像の画像端に接した状態で抽出される。
なお、図１２に示す領域ＳＬ１，ＳＬ２は、探索領域である。
【００３５】
図１３（ａ）は、基準画像中の対象物像ＯＢＪＲ１が画像端に接しており、かつ探索画像中の真の対応対象物像ＯＢＪＬ１が画像端に接していない場合（ケースＣ１）を示し、同図（ｂ）は、前述したケースＣ２、すなわち基準画像中の対象物像ＯＢＪＲ２が画像端に接していないが、探索画像中の真の対応対象物像ＯＢＪＬ２が画像端に接している場合を示し、同図（ｃ）は、基準画像中の対象物像ＯＢＪＲ３が画像端に接しており、かつ探索画像中の真の対応対象物像ＯＢＪＬ３も画像端に接しており、かつ基準画像中の対象物像ＯＢＪＲ３の方が真の対応対象物像ＯＢＪＬ３より小さい場合（ケースＣ３）を示し、同図（ｄ）は、基準画像中の対象物像ＯＢＪＲ４が画像端に接しており、かつ探索画像中の対応対象物像ＣＯＢＪＬ４も画像端に接しており、かつ基準画像中の対象物像ＯＢＪＲ４の方が真の対応対象物像ＯＢＪＬ４より大きい場合（ケースＣ４）を示す。図１３において、領域ＳＬ１〜ＳＬ４及びＳＲ１，ＳＲ２は、探索領域である。
【００３６】
ケースＣ１では、探索画像に含まれる真の対応対象物像ＯＢＪＬ１が、画像端に接していないため、正しいマッチングが行われて、対応対象物像ＣＯＢＪＬ１が抽出される。したがって、対象物像ＯＢＪＲ１及び対応対象物像ＣＯＢＪＬ１の面積重心を用いて視差を算出し、この対象物までの距離する。
【００３７】
ケースＣ２では、基準画像から探索画像への相関演算により抽出される対応対象物像ＣＯＢＪＬ２と、対象物像ＯＢＪＲ２とは、正しいマッチング関係にない。そこでこの場合には、探索画像から基準画像への相関演算、すなわち対応対象物像ＣＯＢＪＬ２に対応する対象物像を基準画像中から探索する相関演算を実行する。その結果得られた基準画像中の対応対象物像ＣＯＢＪＲ２と、探索画像中の対応対象物像ＣＯＢＪＬ２とは、正しいマッチング関係にあるので、これらの像の面積重心を用いて視差を算出し、この対象物までの距離を算出する。
【００３８】
ケースＣ３では、ケースＣ１と同様に正しいマッチングが行われるので、対象物像ＯＢＪＲ３及び対応対象物像ＣＯＢＪＬ３の面積重心を用いて視差を算出し、この対象物までの距離を算出する。
ケースＣ４では、ケースＣ２と同様に、基準画像から探索画像への相関演算により抽出される対応対象物像ＣＯＢＪＬ４と、対象物像ＯＢＪＲ４とは、正しいマッチング関係にない。そこでこの場合も、探索画像から基準画像への相関演算、すなわち対応対象物像ＣＯＢＪＬ４に対応する対象物像を基準画像中から探索する相関演算を実行する。その結果得られた基準画像中の対応対象物像ＣＯＢＪＲ４と、探索画像中の対応対象物像ＣＯＢＪＬ４とは、正しいマッチング関係にあるので、これらの像の面積重心を用いて視差を算出し、この対象物までの距離を算出する。
【００３９】
図４に戻り、ステップＳ４３では、基準画像中の対象物像が画像端に接しておらずかつ探索画像中の対応対象物像が画像端に接していないか否か、すなわちケースＣ０に該当するか否かを判別し、相関演算の結果がケースＣ０に該当するときは、直ちにステップＳ４８に進んで、視差から距離を算出し、本処理を終了する。
【００４０】
相関演算の結果がケースＣ０に該当しないときは、基準画像中の対象物像が画像端に接しておりかつ探索画像中の対応対象物像が画像端に接しているか否か、すなわちケースＣ４に該当するか否かを判別し、相関演算の結果がケースＣ４に該当するときは、上述したように探索画像から基準画像への相関演算を実行する（ステップＳ４６）。次いで相関度が高いか否か、すなわち相関度パラメータの最小値ＣＭＩＮが所定閾値ＣＭＩＮＴＨ以下か否かを判別し（ステップＳ４７）、ＣＭＩＮ＞ＣＭＩＮＴＨであるときは、前記ステップＳ４９に進む。またＣＭＩＮ≦ＣＭＩＮＴＨであって相関度が高いときは、前記ステップＳ４８に進んで距離の算出を行う。
【００４１】
ステップＳ４４で相関演算の結果がケースＣ４に該当しないとき、すなわちケースＣ１〜Ｃ３に該当するときは、対応対象物像が画像端に接しているか、すなわちケースＣ２に該当するか否かを判別し（ステップＳ４５）、ケースＣ２に該当するときは、前記ステップＳ４６に進む。また、ケースＣ１またはＣ３に該当するときは、ステップＳ４５から直ちにステップＳ４８に進む。
【００４２】
ステップＳ４８における視差から距離を算出する処理は、以下のように行う。
図１４に示すように対象物像ＯＪＢＲ１の面積重心位置と、画像左端との距離ｄＲ（画素数）及び対応対象物像ＣＯＢＪＬ１の面積重心位置と画像左端との距離ｄＬ（画素数）を求め、下記式（３）に適用して、自車両１０と、対象物との距離ｚを算出する。
【数３】
ここで、Ｂは基線長、すなわち図１５に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔であり、Δｄ（＝ｄＬ−ｄＲ）が視差である。
以上のようにして距離ｚの算出が行われる。
【００４３】
図３に戻り、ステップＳ２１では、画像内の座標（ｘ，ｙ）及び式（３）により算出した距離ｚを下記式（４）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図１６（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は同図（ｂ）に示すように、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【数４】
【００４４】
ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００４５】
なお、この実空間座標の変換をする際には、前述したステップＳ３１の処理により、基準画像中の対象物像のうち画像端に接していると判定された対象物像（図１１に示す例では、対象物像ＯＢＪ１〜３）について、図１７（ａ）に示すように、対象物像の位置を代表する判定点を、面積重心Ｇからより基準画像の中心に近い、外接四角形の端部の点ＧＥに移動させ、該移動後の座標を実空間座標に変換する。すなわち、基準画像の左端に接している対象物像ＯＢＪ１については、面積重心Ｇ１のｙ座標と同一のｙ座標を有し、外接四角形の右端に位置する点ＧＥ１に判定点を移動し、基準画像の上端に接している対象物像ＯＢＪ２については、面積重心Ｇ２のｘ座標と同一のｘ座標を有し、外接四角形の下端に位置する点ＧＥ２に判定点を移動し、基準画像の右端に接している対象物像ＯＢＪ３については、面積重心Ｇ３のｙ座標と同一のｙ座標を有し、外接四角形の左端に位置する点ＧＥ３に判定点を移動する。
【００４６】
そしてこのように判定点を移動させた対象物については、過去の位置データも、同様に面積重心Ｇに対応するデータからより基準画像の中心に近い、外接四角形の端部の点ＧＥに対応するデータに変更する処理を行う。このようにすることにより、後述する相対移動ベクトルの算出に用いる時系列データが、移動後の判定点で統一された時系列データとなり、正確な相対移動ベクトルを求めることができる。
なお、判定点は図１７（ｂ）に示すように、外接四角形の端部ではなく、対象物像の端部に位置する点ＧＥ１ａ，ＧＥ２ａ，ＧＥ３ａに移動させるようにしてもよい。
【００４７】
ステップＳ２２では、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。図１８に示すように、時刻ｋから（ｋ＋１）までの期間中に自車両が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、図１９に示すようにΔｘだけｘ方向にずれるので、これを補正する処理である。具体的には、下記式（５）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリに格納する。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【数５】
【００４８】
ステップＳ２３では、図２０に示すように同一対象物について、ΔＴの期間内に得られた、回頭角補正後のＮ個の実空間位置データ（例えばＮ＝１０程度）、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とすると、下記式（６）で表される直線を求める。
【数６】
【００４９】
ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ，Ｙａｖ及びＺａｖは、それぞれ実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値及びＺ座標の平均値である。なお、式（６）は媒介変数ｕを消去すれば下記式（６ａ）のようになる。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ
…（６ａ）
【００５０】
図２０は、近似直線ＬＭＶを説明するための図であり、同図のＰ（０），Ｐ（１），Ｐ（２），…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正後の時系列データを示し、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の２乗の平均値が最小となるような直線として求められる。ここで各データ点の座標を示すＰに付した（）内の数値はその値が増加するほど過去のデータであることを示す。例えば、Ｐ（０）は最新の位置座標、Ｐ（１）は１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。以下の説明におけるＤ（ｊ）、Ｘ（ｊ）、Ｙ（ｊ）、Ｚ（ｊ）等も同様である。
【００５１】
より具体的には、平均位置座標Ｐａｖから各データ点の座標Ｐ（０）〜Ｐ（Ｎ−１）に向かうベクトルＤ（ｊ）＝（ＤＸ（ｊ），ＤＹ（ｊ），ＤＺ（ｊ））＝（Ｘ（ｊ）−Ｘａｖ，Ｙ（ｊ）−Ｙａｖ，Ｚ（ｊ）−Ｚａｖ）と、方向ベクトルＬとの内積ｓを下記式（７）により算出し、この内積ｓの分散が最大となる方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）を求める。
ｓ＝ｌｘ・ＤＸ（ｊ）＋ｌｙ・ＤＹ（ｊ）＋ｌｚ・ＤＺ（ｊ） （７）
【００５２】
各データ点の座標の分散共分散行列Ｖは、下記式（８）で表され、この行列の固有値σが内積ｓの分散に相当するので、この行列から算出される３つの固有値のうち最大の固有値に対応する固有ベクトルが求める方向ベクトルＬとなる。なお、式（８）の行列から固有値と固有ベクトルを算出するには、ヤコビ法（例えば「数値計算ハンドブック」（オーム社）に示されている）として知られている手法を用いる。
【数７】
【００５３】
次いで最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正する。具体的には、前記式（６ａ）にＺ座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、すなわち下記式（９）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【数８】
【００５４】
式（９）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００５５】
図３に戻り、ステップＳ２４では、ステップＳ２３で算出した相対移動ベクトルに基づいて、対象物が自車両１０に衝突する可能性が高いか否かを判定し、高い場合には、スピーカ３やＨＵＤ４を用いた音声や表示により、運転者への警報を発する処理を実行する。ステップＳ２４実行後は、ステップＳ１１に戻る。
【００５６】
以上のように本実施形態では、基準画像中の対象物像が画像端に接しているときは、その対象物像の位置を代表する判定点を、その対象物像の面積重心から寄り基準画像の画像端に近い、その対象物像の外接四角形の端部に位置する点（またはその対象物像の端部に位置する点）に移動させ、移動後の判定点を用いて相対移動ベクトルを算出するようにしたので、対象物の相対移動方向を正確に検出することができる。
【００５７】
また例えば図１３（ｂ）に示すように、基準画像に含まれる対象物像ＯＢＪＲ２に基づいて、探索画像に対して相関演算を実行し、その結果得られた対応対象物像ＣＯＢＪＬ２が、画像の端部に接するときは、その対応対象物像ＣＯＢＪＬ２に基づいて、基準画像に対して相関演算を実行し、その結果得られた対応対象物像ＣＯＢＪＲ２と、対応対象物像ＣＯＢＪＬ２とに基づいて視差を算出し、該算出した視差からその対象物までの距離を算出するようにしたので、相関演算により抽出された探索画像中の対応対象物像が画像端に接する場合でも、正確な距離を算出することができる。
【００５８】
本実施形態では、画像処理ユニット２が、画像端部判定手段、判定点移動手段、及び移動方向検出手段を構成する。より具体的には、図４のステップＳ４３〜Ｓ４５が画像端部判定手段に相当し、図４のステップＳ４１，Ｓ４２，Ｓ４６，Ｓ４７及び図３のステップＳ２１が判定点移動手段に相当し、図３のステップＳ２３が移動方向検出手段に相当する。
【００５９】
（第２の実施形態）
図２１は本発明の第２の実施形態にかかる障害物検出・警報処理のフローチャートである。この処理は、図３に示す処理に、ステップＳ１７ａを追加するとともに、図３のステップＳ３１をステップＳ３１ａに変更したものである。また図２２は、ステップＳ３１ａにおける距離算出処理を示すフローチャートであり、この処理は図４に示す処理から、ステップＳ４３，Ｓ４４及びＳ４７を削除するとともに、ステップＳ４６をステップＳ４６ａに変更したものである。以上の点以外は、第１の実施形態と同一である。
【００６０】
ステップＳ１７ａでは、ステップＳ１７で抽出された対象物のうち、その基準画像中の対象物像が画像端に接するものは、監視対象から除く処理を行う。
ステップＳ３１ａでは、図２２に示す距離算出処理を実行する。ステップＳ４２で相関度が高いと判別されたときは、相関演算により得られた対応対象物像が探索画像の画像端に接しているか否かを判別し（ステップＳ４５）、接していなければ、視差から距離を算出する（ステップＳ４８）。一方対応対象物像が画像端に接しているときは、この対象物を監視対象から除く処理を行い（ステップＳ４６ａ）、直ちに本処理を終了する。
【００６１】
以上のように本実施形態では、対象物像が基準画像の画像端に接する対象物、及び相関演算により抽出された対応対象物像が探索画像の画像端に接する対象物を監視対象から除くようにしたので、そのような対象物の移動方向及びその対象物までの距離を誤って認識することを防止することができる。
【００６２】
本実施形態では、画像処理ユニット２が、画像端部判定手段を構成し、より具体的には、図２２のステップＳ４５が画像端部判定手段に相当する。
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、本実施形態では、対象物像を得るためのカメラとして赤外線カメラを使用したが、例えば特開平９−２２６４９０号公報に示されるように通常の可視光線のみ検出可能なテレビカメラを使用してもよい。ただし、赤外線カメラを用いることにより、動物あるいは走行中の車両などの抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現できる。
【図面の簡単な説明】
【００６３】
【図１】本発明の一実施形態にかかる移動対象物検出装置の構成を示すブロック図である。
【図２】図１に示すカメラの取り付け位置を説明するための図である。
【図３】図１の画像処理ユニットによる処理の手順を示すフローチャートである。
【図４】図３の距離算出処理を詳細に示すフローチャートである。
【図５】赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。
【図６】グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。
【図７】ランレングスデータへの変換処理及びラベリングを説明するための図である。
【図８】対象物の時刻間追跡を説明するための図である。
【図９】右画像中の探索対象物像と、左画像に設定する探索領域を説明するための図である。
【図１０】探索領域を対象とした相関演算処理を説明するための図である。
【図１１】対象物像が画像の端部に接する場合を説明するための図である。
【図１２】探索画像中の対象物像が画像の端部に接している場合を説明するための図である。
【図１３】対象物像が画像の端部に接する４つの場合を説明するための図である。
【図１４】視差の算出方法を説明するための図である。
【図１５】視差から距離を算出する手法を説明するための図である。
【図１６】本実施形態における座標系を示す図である。
【図１７】判定点の移動を説明するための図である。
【図１８】回頭角補正を説明するための図である。
【図１９】車両の回頭により発生する画像上の対象物位置のずれを示す図である。
【図２０】相対移動ベクトルの算出手法を説明するための図である。
【図２１】本発明の第２の実施形態における、画像処理ユニットによる処理の手順を示すフローチャートである。
【図２２】図２１の距離算出処理を詳細に示すフローチャートである。
【図２３】従来の手法の問題点を説明するための図である。
【図２４】従来の手法の問題点を説明するための図である。
【符号の説明】
【００６４】
１Ｒ、１Ｌ 赤外線カメラ（カメラ）
２ 画像処理ユニット（画像端部判定手段、判定点移動手段、移動方向検出手段）
５ ヨーレートセンサ
６ 車速センサ
【技術分野】
【０００１】
本発明は、互いに離間して配置された２つカメラにより得られる対象物の画像情報に基づいて、対象物の移動方向を検出する移動対象物検出装置に関する。
【背景技術】
【０００２】
車両に２つのＣＣＤカメラを搭載し、２つのカメラから得られる画像のずれ、すなわち視差に基づいて、対象物と当該車両との距離を検出し、車両の３０〜６０ｍ前方の歩行者を検出するようにした横断物の検出装置が従来より知られている（特許文献１）。
【特許文献１】特開平９−２２６４９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら上記従来の装置は、カメラにより得られる画像に基づいて検出した対象物のオプティカルフローの方向をそのまま使用して、衝突の可能性を判定しているため、自車両と対象物との相対距離や車速によっては判定精度が低下するという問題があった。すなわち、例えば対象物の移動速度に比べて車速が大きい場合には、実際には道路の中心に向かって移動している対象物に対応する画像上のオプティカルフローが道路の外側に向かうベクトルとなってとらえられることがあり、誤判定が発生する。
【０００４】
そこで、対象物の移動ベクトルを正確に検出するために、カメラにより得られる画像に含まれる対象物像の面積重心を、対象物像の位置を代表する判定点として使用し、判定点の実空間上の位置を示す時系列データを、２つのカメラにより得られる画像に基づいて求めるようにすると、対象物像がカメラにより得られる画像の端部に接する場合には、以下のような問題が発生する。なお、面積重心とは、３次元空間において対象物像が均一な厚さを持つ薄板であると仮定した場合の重心を意味する。
【０００５】
すなわち図２３（ａ）に示すように、対象物１０１が静止しているか若しくは走行中の車両１０２に向かって移動している場合に、車両１０２に搭載されたカメラ１０３により得られる、時刻ｔ＝ｋ−２，ｋ−１，ｋにおける時系列の対象物像１０１ａ，１０１ｂ，１０１ｃは、同図（ｂ）にハッチングを付して示すように推移し、面積重心Ｇは、画像上を左方向へ移動する。この画像（右側のカメラ１０３により得られる画像）に含まれる対象物像の判定点、すなわち面積重心の位置と、左側のカメラ１０４により得られる画像に含まれる対象物像（図示せず）の判定点の位置とから視差を算出し、その視差から対象物１０１と車両１０２との距離を求め、対象物１０１の相対移動ベクトルを求めると、対象物１０１が実際は図２４に実線で示すように静止または車両１０２の進行方向と平行に移動しているにもかかわらず、破線で示すような相対移動ベクトルが得られる。その結果、車両１０２と衝突する可能性がないのに、可能性ありと誤判定する可能性があった。
【０００６】
本発明はこの点に着目してなされたものであり、カメラにより得られる対象物像が画像の端部に接しているような場合において、対象物の相対的な移動方向を誤って検出することを防止できる移動対象物検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため請求項１に記載の発明は、互いに離間して配置された２つのカメラにより得られる対象物の画像情報に基づいて、前記対象物の移動方向を検出する移動対象物検出装置において、前記２つのカメラのうち、少なくとも何れか一方のカメラにより得られる対象物像が、画像の端部に接することを判定する画像端部判定手段と、該画像端部判定手段により、画像の端部に接すると判定された対象物像については、該対象物像の位置を代表する判定点を、前記対象物像の面積重心から、前記画像の中心に近い所定点に移動させる判定点移動手段と、該移動後の判定点に基づいて前記対象物の移動方向を検出する移動方向検出手段とを備えることを特徴とする。
【０００８】
「前記画像の中心に近い所定点」は、前記画像の中心に近い、前記対象物像及び対応対象物像の端部、または前記画像の中心に近い、前記対象物像及び対応対象物像の外接四角形の端部とする。
前記判定点移動手段は、前記２つのカメラにより得られる画像のうちの一方を基準画像とし、基準画像中の対象物像について前記判定点の移動を行う。また前記判定点移動手段は、前記判定点を移動させた対象物については、過去に取得し、記憶している位置データを、移動後の判定点を用いた位置データに変更することが望ましい。
【０００９】
請求項２に記載の発明は、請求項１に記載の移動対象物検出装置において、前記２つのカメラにより得られる対象物の画像情報のうち、前記画像端部判定手段にて画像の端部に接すると判定された対象物の画像情報を基準画像とし、他方を探索画像として相関演算を行うことにより、該対象物の距離を算出する距離算出手段をさらに備え、前記移動方向検出手段は、前記判定点移動手段による移動後の判定点と、前記距離算出手段によって算出された距離とに基づいて、前記対象物の移動方向を検出することを特徴とする。
【００１０】
請求項３に記載の発明は、請求項２に記載の移動対象物検出装置において、前記画像端部判定手段により、前記２つのカメラにより得られる対象物像がともに画像の端部に接する判定された場合は、前記距離算出手段は、前記対象物像の表示面積が小さい方の画像を基準画像として用いることを特徴とする。
【００１１】
また、互いに離間して配置された２つのカメラにより得られる対象物の画像情報に基づいて、前記対象物までの距離を検出する距離検出装置を構成する場合には、前記２つのカメラのうち、何れか一方のカメラにより得られる画像に含まれる対象物像（ＯＢＪＲ２）に基づいて、他方のカメラにより得られる画像に対して相関演算を実行し、その結果得られた第１の対応対象物像（ＣＯＢＪＬ２）が、画像の端部に接するときは、その第１の対応対象物像（ＣＯＢＪＬ２）に基づいて前記一方のカメラにより得られる画像に対して相関演算を実行し、その結果得られた第２の対応対象物像（ＣＯＢＪＲ２）と、前記第１の対応対象物像（ＣＯＢＪＬ２）とに基づいて視差を算出し、該算出した視差からその対象物までの距離を算出することが望ましい。
【発明の効果】
【００１２】
請求項１に記載の発明によれば、画像の端部に接すると判定された対象物像については、その対象物像の位置を代表する判定点が、対象物像の面積重心から、画像の中心に近い所定点に移動され、該移動後の判定点に基づいて対象物の移動方向が検出されるので、対象物像の面積重心の時系列データから移動方向を検出する場合のような不具合がなく、正確な移動方向を検出することができる。
【発明を実施するための最良の形態】
【００１３】
以下本発明の実施の形態を図面を参照して説明する。
（第１の実施形態）
図１は本発明の第１の実施形態にかかる、車両に搭載された移動対象物検出装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。
【００１４】
カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００１５】
画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。
【００１６】
図３は画像処理ユニット２における処理の手順を示すフローチャートであり、先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像のデータは、輝度情報を含んだグレースケール画像のデータである。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１７】
図３のステップＳ１４では、右画像を基準画像とし、そのディジタル画像データの２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図６に図５（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。なお、本明細書では、基準画像（右画像）と対をなす画像（左画像）を、「探索画像」という。
【００１８】
続くステップＳ１５では、２値化した画像データをランレングスデータに変換する処理を行う。図７（ａ）はこれを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００１９】
ステップＳ１６、Ｓ１７では、図７（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図６に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００２０】
ステップＳ１８では図７（ｃ）に示すように、抽出した対象物像の面積重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出し、縦横比ＡＰＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出し、面積重心Ｇの座標（ｘｇ，ｙｇ）は、下記式（１）により算出する。
【数１】
ここで、Ｓは面積、ｘ（ｉ），ｙ（ｉ）は、対象物像を構成する画素の座標である。なお、面積重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００２１】
ステップＳ１９では、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物の認識を行う。アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図８（ａ）に示すように時刻ｋで対象物像１，２を抽出した場合において、時刻（ｋ＋１）で抽出した対象物像３，４と、対象物像１，２との同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物像１、２と対象物像３、４とは同一であると判定し、対象物像３、４をそれぞれ１，２というラベルに変更することにより、時刻間追跡が行われる。
【００２２】
１）時刻ｋにおける対象物像ｉ（＝１，２）の面積重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物像ｊ（＝３，４）の面積重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、
｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜Δｘ
｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜Δｙ
であること。ただし、Δｘ、Δｙは、それぞれｘ方向及びｙ方向の画像上の移動量の許容値である。
【００２３】
２）時刻ｋにおける対象物像ｉ（＝１，２）の面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物像ｊ（＝３，４）の面積をＳｊ（ｋ＋１）としたとき、
Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ
であること。ただし、ΔＳは面積変化の許容値である。
【００２４】
３）時刻ｋにおける対象物像ｉ（＝１，２）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物像ｊ（＝３，４）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、
ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴ
であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。
【００２５】
図８（ａ）と（ｂ）とを対比すると、各対象物像はその大きさが大きくなっているが、対象物像１と３とが上記同一性判定条件を満たし、対象物像２と４とが上記同一性判定条件を満たすので、対象物像３、４はそれぞれ対象物像１、２に対応すると認識される。このようにして認識された各対象物像の面積重心の位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
なお以上説明したステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。
【００２６】
図３のステップＳ２０では、車速センサ６により検出される車速ＶＣＡＲ及びヨーレートセンサ５より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒ（図１８参照）を算出する。
【００２７】
一方、ステップＳ３１では、ステップＳ１９，Ｓ２０の処理と平行して、対象物と自車両１０と距離ｚを算出する処理（図４）を実行する。この演算はステップＳ１９，Ｓ２０より長い時間を要するため、ステップＳ１９，Ｓ２０より長い周期（例えばステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行される。
【００２８】
図４のステップＳ４１では、１）基準画像（右画像）の２値化画像によって追跡される対象物像の中の１つを選択することにより、図９（ａ）に示すように右画像から対象物像ＯＢＪＲ１（ここでは、外接四角形で囲まれる領域全体を対象物像とする）を抽出し、２）探索画像（左画像）中から対象物像ＯＢＪＲ１に対応する画像（以下「対応対象物像」という）を探索する探索領域を設定し、相関演算を実行する。
【００２９】
具体的には、対象物像ＯＢＪＲ１の各頂点座標に応じて探索画像中に図９（ｂ）に示すように、探索領域ＳＬ１を設定し、探索領域ＳＬ１内で対象物像ＯＢＪＲ１との相関度の高さを示す相関度パラメータＣ（ａ，ｂ）を下記式（２）により算出する。相関度パラメータＣはその値が小さくなるほど、相関が高いことを示す。なお、この相関演算は、２値画像ではなくグレースケール画像を用いて行う。また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域ＳＬ１より狭い領域ＳＬ１ａ（図９（ｂ）に破線で示す）を探索領域として設定する。
【数２】
ここで、ＩＲ（ｍ，ｎ）は、図１０に示す対象物像ＯＢＪＲ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を基点とした、対象物像ＯＢＪＲ１と同一形状の局所領域ＬＲ内の座標（ｍ，ｎ）の位置の輝度値である。
基点の座標（ａ，ｂ）を変化させて相関度パラメータＣ（ａ，ｂ）が最小となる位置及びそのときの相関度パラメータの値（以下「最小値」という）ＣＭＩＮを求める。
【００３０】
続くステップＳ４２では、相関度が高いか否か、すなわちステップＳ４１で算出した最小値ＣＭＩＮが、所定閾値ＣＭＩＮＴＨ以下であるか否かをを判別する。ＣＭＩＮ＞ＣＭＩＮＴＨであって、相関度が低いときは、探索画像中に対応対象物像が存在しないと判定する。この場合、視差は算出できないので、距離が定まらない（不定）として（ステップＳ４９）、本処理を終了する。
【００３１】
一方ＣＭＩＮ≦ＣＭＩＮＴＨであって、相関度が高いときは、ステップＳ４３に進む。ステップＳ４３〜Ｓ４５では、基準画像中の対象物像及び／または探索画像中の対応対象物像が、それぞれの画像の端部に接している（かかっている）か否か応じてケースＣ０〜Ｃ４に場合分けし、距離の算出を行う。
【００３２】
図１１は、基準画像中の対象物像ＯＢＪ１〜ＯＢＪ３が、基準画像の端部（以下「画像端」という）ＷＲに接しており、対象物像ＯＢＪ４が画像端ＷＲに接していない状態を示している。各対象物像は、前述したようにランレングスデータで把握されているので、同図中に黒丸で示す始点の座標が画像端ＷＲに存在する対象物像は、画像端ＷＲに接していると判定される。同様に、始点座標に長さ（ランレングス）を加算して得られる終点座標が画像端ＷＲに存在する対象物像は、画像端ＷＲに接していると判定される。
【００３３】
図１２には、基準画像中の対象物像及び探索画像中の対応対象物像がいずれも画像端に接してない場合（ケースＣ０）と、基準画像中の対象物像が画像端に接していないが、探索画像中の対応対象物像が画像端に接している場合（ケースＣ２）とが示されている。同図に示すケースＣ０では、基準画像中の対象物像ＯＢＪＲ１と、相関演算により抽出される対応対象物像ＣＯＢＪＬ１は、いずれも画像端に接していないので、両者の面積重心Ｇを用いて視差を算出し、その対象物までの距離ｚを算出することができる。なお、相関演算は、実際には背景部分を少し含むように対象物像ＯＢＪＲ１より若干広い領域ついて行われるので、対応対象物像ＣＯＢＪＬ１は、対象物像ＯＢＪＲ１と同一形状の真の対応対象物像ＯＢＪＬ１より少し広い領域として抽出される。
【００３４】
一方ケースＣ２では、対象物像ＯＢＪＲ２は、画像端に接していないが、対象物像ＯＢＪＲ２と同一形状の真の対応対象物像が、実線及び破線によりＯＢＪＬ２として示すように位置している場合（破線部は、実際には画像として得られない部分を示している）には、相関演算により抽出される対応対象物像ＣＯＢＪＬ２は、探索画像の画像端に接した状態で抽出される。
なお、図１２に示す領域ＳＬ１，ＳＬ２は、探索領域である。
【００３５】
図１３（ａ）は、基準画像中の対象物像ＯＢＪＲ１が画像端に接しており、かつ探索画像中の真の対応対象物像ＯＢＪＬ１が画像端に接していない場合（ケースＣ１）を示し、同図（ｂ）は、前述したケースＣ２、すなわち基準画像中の対象物像ＯＢＪＲ２が画像端に接していないが、探索画像中の真の対応対象物像ＯＢＪＬ２が画像端に接している場合を示し、同図（ｃ）は、基準画像中の対象物像ＯＢＪＲ３が画像端に接しており、かつ探索画像中の真の対応対象物像ＯＢＪＬ３も画像端に接しており、かつ基準画像中の対象物像ＯＢＪＲ３の方が真の対応対象物像ＯＢＪＬ３より小さい場合（ケースＣ３）を示し、同図（ｄ）は、基準画像中の対象物像ＯＢＪＲ４が画像端に接しており、かつ探索画像中の対応対象物像ＣＯＢＪＬ４も画像端に接しており、かつ基準画像中の対象物像ＯＢＪＲ４の方が真の対応対象物像ＯＢＪＬ４より大きい場合（ケースＣ４）を示す。図１３において、領域ＳＬ１〜ＳＬ４及びＳＲ１，ＳＲ２は、探索領域である。
【００３６】
ケースＣ１では、探索画像に含まれる真の対応対象物像ＯＢＪＬ１が、画像端に接していないため、正しいマッチングが行われて、対応対象物像ＣＯＢＪＬ１が抽出される。したがって、対象物像ＯＢＪＲ１及び対応対象物像ＣＯＢＪＬ１の面積重心を用いて視差を算出し、この対象物までの距離する。
【００３７】
ケースＣ２では、基準画像から探索画像への相関演算により抽出される対応対象物像ＣＯＢＪＬ２と、対象物像ＯＢＪＲ２とは、正しいマッチング関係にない。そこでこの場合には、探索画像から基準画像への相関演算、すなわち対応対象物像ＣＯＢＪＬ２に対応する対象物像を基準画像中から探索する相関演算を実行する。その結果得られた基準画像中の対応対象物像ＣＯＢＪＲ２と、探索画像中の対応対象物像ＣＯＢＪＬ２とは、正しいマッチング関係にあるので、これらの像の面積重心を用いて視差を算出し、この対象物までの距離を算出する。
【００３８】
ケースＣ３では、ケースＣ１と同様に正しいマッチングが行われるので、対象物像ＯＢＪＲ３及び対応対象物像ＣＯＢＪＬ３の面積重心を用いて視差を算出し、この対象物までの距離を算出する。
ケースＣ４では、ケースＣ２と同様に、基準画像から探索画像への相関演算により抽出される対応対象物像ＣＯＢＪＬ４と、対象物像ＯＢＪＲ４とは、正しいマッチング関係にない。そこでこの場合も、探索画像から基準画像への相関演算、すなわち対応対象物像ＣＯＢＪＬ４に対応する対象物像を基準画像中から探索する相関演算を実行する。その結果得られた基準画像中の対応対象物像ＣＯＢＪＲ４と、探索画像中の対応対象物像ＣＯＢＪＬ４とは、正しいマッチング関係にあるので、これらの像の面積重心を用いて視差を算出し、この対象物までの距離を算出する。
【００３９】
図４に戻り、ステップＳ４３では、基準画像中の対象物像が画像端に接しておらずかつ探索画像中の対応対象物像が画像端に接していないか否か、すなわちケースＣ０に該当するか否かを判別し、相関演算の結果がケースＣ０に該当するときは、直ちにステップＳ４８に進んで、視差から距離を算出し、本処理を終了する。
【００４０】
相関演算の結果がケースＣ０に該当しないときは、基準画像中の対象物像が画像端に接しておりかつ探索画像中の対応対象物像が画像端に接しているか否か、すなわちケースＣ４に該当するか否かを判別し、相関演算の結果がケースＣ４に該当するときは、上述したように探索画像から基準画像への相関演算を実行する（ステップＳ４６）。次いで相関度が高いか否か、すなわち相関度パラメータの最小値ＣＭＩＮが所定閾値ＣＭＩＮＴＨ以下か否かを判別し（ステップＳ４７）、ＣＭＩＮ＞ＣＭＩＮＴＨであるときは、前記ステップＳ４９に進む。またＣＭＩＮ≦ＣＭＩＮＴＨであって相関度が高いときは、前記ステップＳ４８に進んで距離の算出を行う。
【００４１】
ステップＳ４４で相関演算の結果がケースＣ４に該当しないとき、すなわちケースＣ１〜Ｃ３に該当するときは、対応対象物像が画像端に接しているか、すなわちケースＣ２に該当するか否かを判別し（ステップＳ４５）、ケースＣ２に該当するときは、前記ステップＳ４６に進む。また、ケースＣ１またはＣ３に該当するときは、ステップＳ４５から直ちにステップＳ４８に進む。
【００４２】
ステップＳ４８における視差から距離を算出する処理は、以下のように行う。
図１４に示すように対象物像ＯＪＢＲ１の面積重心位置と、画像左端との距離ｄＲ（画素数）及び対応対象物像ＣＯＢＪＬ１の面積重心位置と画像左端との距離ｄＬ（画素数）を求め、下記式（３）に適用して、自車両１０と、対象物との距離ｚを算出する。
【数３】
ここで、Ｂは基線長、すなわち図１５に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔であり、Δｄ（＝ｄＬ−ｄＲ）が視差である。
以上のようにして距離ｚの算出が行われる。
【００４３】
図３に戻り、ステップＳ２１では、画像内の座標（ｘ，ｙ）及び式（３）により算出した距離ｚを下記式（４）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図１６（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は同図（ｂ）に示すように、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【数４】
【００４４】
ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００４５】
なお、この実空間座標の変換をする際には、前述したステップＳ３１の処理により、基準画像中の対象物像のうち画像端に接していると判定された対象物像（図１１に示す例では、対象物像ＯＢＪ１〜３）について、図１７（ａ）に示すように、対象物像の位置を代表する判定点を、面積重心Ｇからより基準画像の中心に近い、外接四角形の端部の点ＧＥに移動させ、該移動後の座標を実空間座標に変換する。すなわち、基準画像の左端に接している対象物像ＯＢＪ１については、面積重心Ｇ１のｙ座標と同一のｙ座標を有し、外接四角形の右端に位置する点ＧＥ１に判定点を移動し、基準画像の上端に接している対象物像ＯＢＪ２については、面積重心Ｇ２のｘ座標と同一のｘ座標を有し、外接四角形の下端に位置する点ＧＥ２に判定点を移動し、基準画像の右端に接している対象物像ＯＢＪ３については、面積重心Ｇ３のｙ座標と同一のｙ座標を有し、外接四角形の左端に位置する点ＧＥ３に判定点を移動する。
【００４６】
そしてこのように判定点を移動させた対象物については、過去の位置データも、同様に面積重心Ｇに対応するデータからより基準画像の中心に近い、外接四角形の端部の点ＧＥに対応するデータに変更する処理を行う。このようにすることにより、後述する相対移動ベクトルの算出に用いる時系列データが、移動後の判定点で統一された時系列データとなり、正確な相対移動ベクトルを求めることができる。
なお、判定点は図１７（ｂ）に示すように、外接四角形の端部ではなく、対象物像の端部に位置する点ＧＥ１ａ，ＧＥ２ａ，ＧＥ３ａに移動させるようにしてもよい。
【００４７】
ステップＳ２２では、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。図１８に示すように、時刻ｋから（ｋ＋１）までの期間中に自車両が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、図１９に示すようにΔｘだけｘ方向にずれるので、これを補正する処理である。具体的には、下記式（５）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリに格納する。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【数５】
【００４８】
ステップＳ２３では、図２０に示すように同一対象物について、ΔＴの期間内に得られた、回頭角補正後のＮ個の実空間位置データ（例えばＮ＝１０程度）、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とすると、下記式（６）で表される直線を求める。
【数６】
【００４９】
ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ，Ｙａｖ及びＺａｖは、それぞれ実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値及びＺ座標の平均値である。なお、式（６）は媒介変数ｕを消去すれば下記式（６ａ）のようになる。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ
…（６ａ）
【００５０】
図２０は、近似直線ＬＭＶを説明するための図であり、同図のＰ（０），Ｐ（１），Ｐ（２），…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正後の時系列データを示し、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の２乗の平均値が最小となるような直線として求められる。ここで各データ点の座標を示すＰに付した（）内の数値はその値が増加するほど過去のデータであることを示す。例えば、Ｐ（０）は最新の位置座標、Ｐ（１）は１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。以下の説明におけるＤ（ｊ）、Ｘ（ｊ）、Ｙ（ｊ）、Ｚ（ｊ）等も同様である。
【００５１】
より具体的には、平均位置座標Ｐａｖから各データ点の座標Ｐ（０）〜Ｐ（Ｎ−１）に向かうベクトルＤ（ｊ）＝（ＤＸ（ｊ），ＤＹ（ｊ），ＤＺ（ｊ））＝（Ｘ（ｊ）−Ｘａｖ，Ｙ（ｊ）−Ｙａｖ，Ｚ（ｊ）−Ｚａｖ）と、方向ベクトルＬとの内積ｓを下記式（７）により算出し、この内積ｓの分散が最大となる方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）を求める。
ｓ＝ｌｘ・ＤＸ（ｊ）＋ｌｙ・ＤＹ（ｊ）＋ｌｚ・ＤＺ（ｊ） （７）
【００５２】
各データ点の座標の分散共分散行列Ｖは、下記式（８）で表され、この行列の固有値σが内積ｓの分散に相当するので、この行列から算出される３つの固有値のうち最大の固有値に対応する固有ベクトルが求める方向ベクトルＬとなる。なお、式（８）の行列から固有値と固有ベクトルを算出するには、ヤコビ法（例えば「数値計算ハンドブック」（オーム社）に示されている）として知られている手法を用いる。
【数７】
【００５３】
次いで最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正する。具体的には、前記式（６ａ）にＺ座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、すなわち下記式（９）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【数８】
【００５４】
式（９）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００５５】
図３に戻り、ステップＳ２４では、ステップＳ２３で算出した相対移動ベクトルに基づいて、対象物が自車両１０に衝突する可能性が高いか否かを判定し、高い場合には、スピーカ３やＨＵＤ４を用いた音声や表示により、運転者への警報を発する処理を実行する。ステップＳ２４実行後は、ステップＳ１１に戻る。
【００５６】
以上のように本実施形態では、基準画像中の対象物像が画像端に接しているときは、その対象物像の位置を代表する判定点を、その対象物像の面積重心から寄り基準画像の画像端に近い、その対象物像の外接四角形の端部に位置する点（またはその対象物像の端部に位置する点）に移動させ、移動後の判定点を用いて相対移動ベクトルを算出するようにしたので、対象物の相対移動方向を正確に検出することができる。
【００５７】
また例えば図１３（ｂ）に示すように、基準画像に含まれる対象物像ＯＢＪＲ２に基づいて、探索画像に対して相関演算を実行し、その結果得られた対応対象物像ＣＯＢＪＬ２が、画像の端部に接するときは、その対応対象物像ＣＯＢＪＬ２に基づいて、基準画像に対して相関演算を実行し、その結果得られた対応対象物像ＣＯＢＪＲ２と、対応対象物像ＣＯＢＪＬ２とに基づいて視差を算出し、該算出した視差からその対象物までの距離を算出するようにしたので、相関演算により抽出された探索画像中の対応対象物像が画像端に接する場合でも、正確な距離を算出することができる。
【００５８】
本実施形態では、画像処理ユニット２が、画像端部判定手段、判定点移動手段、及び移動方向検出手段を構成する。より具体的には、図４のステップＳ４３〜Ｓ４５が画像端部判定手段に相当し、図４のステップＳ４１，Ｓ４２，Ｓ４６，Ｓ４７及び図３のステップＳ２１が判定点移動手段に相当し、図３のステップＳ２３が移動方向検出手段に相当する。
【００５９】
（第２の実施形態）
図２１は本発明の第２の実施形態にかかる障害物検出・警報処理のフローチャートである。この処理は、図３に示す処理に、ステップＳ１７ａを追加するとともに、図３のステップＳ３１をステップＳ３１ａに変更したものである。また図２２は、ステップＳ３１ａにおける距離算出処理を示すフローチャートであり、この処理は図４に示す処理から、ステップＳ４３，Ｓ４４及びＳ４７を削除するとともに、ステップＳ４６をステップＳ４６ａに変更したものである。以上の点以外は、第１の実施形態と同一である。
【００６０】
ステップＳ１７ａでは、ステップＳ１７で抽出された対象物のうち、その基準画像中の対象物像が画像端に接するものは、監視対象から除く処理を行う。
ステップＳ３１ａでは、図２２に示す距離算出処理を実行する。ステップＳ４２で相関度が高いと判別されたときは、相関演算により得られた対応対象物像が探索画像の画像端に接しているか否かを判別し（ステップＳ４５）、接していなければ、視差から距離を算出する（ステップＳ４８）。一方対応対象物像が画像端に接しているときは、この対象物を監視対象から除く処理を行い（ステップＳ４６ａ）、直ちに本処理を終了する。
【００６１】
以上のように本実施形態では、対象物像が基準画像の画像端に接する対象物、及び相関演算により抽出された対応対象物像が探索画像の画像端に接する対象物を監視対象から除くようにしたので、そのような対象物の移動方向及びその対象物までの距離を誤って認識することを防止することができる。
【００６２】
本実施形態では、画像処理ユニット２が、画像端部判定手段を構成し、より具体的には、図２２のステップＳ４５が画像端部判定手段に相当する。
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、本実施形態では、対象物像を得るためのカメラとして赤外線カメラを使用したが、例えば特開平９−２２６４９０号公報に示されるように通常の可視光線のみ検出可能なテレビカメラを使用してもよい。ただし、赤外線カメラを用いることにより、動物あるいは走行中の車両などの抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現できる。
【図面の簡単な説明】
【００６３】
【図１】本発明の一実施形態にかかる移動対象物検出装置の構成を示すブロック図である。
【図２】図１に示すカメラの取り付け位置を説明するための図である。
【図３】図１の画像処理ユニットによる処理の手順を示すフローチャートである。
【図４】図３の距離算出処理を詳細に示すフローチャートである。
【図５】赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。
【図６】グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。
【図７】ランレングスデータへの変換処理及びラベリングを説明するための図である。
【図８】対象物の時刻間追跡を説明するための図である。
【図９】右画像中の探索対象物像と、左画像に設定する探索領域を説明するための図である。
【図１０】探索領域を対象とした相関演算処理を説明するための図である。
【図１１】対象物像が画像の端部に接する場合を説明するための図である。
【図１２】探索画像中の対象物像が画像の端部に接している場合を説明するための図である。
【図１３】対象物像が画像の端部に接する４つの場合を説明するための図である。
【図１４】視差の算出方法を説明するための図である。
【図１５】視差から距離を算出する手法を説明するための図である。
【図１６】本実施形態における座標系を示す図である。
【図１７】判定点の移動を説明するための図である。
【図１８】回頭角補正を説明するための図である。
【図１９】車両の回頭により発生する画像上の対象物位置のずれを示す図である。
【図２０】相対移動ベクトルの算出手法を説明するための図である。
【図２１】本発明の第２の実施形態における、画像処理ユニットによる処理の手順を示すフローチャートである。
【図２２】図２１の距離算出処理を詳細に示すフローチャートである。
【図２３】従来の手法の問題点を説明するための図である。
【図２４】従来の手法の問題点を説明するための図である。
【符号の説明】
【００６４】
１Ｒ、１Ｌ 赤外線カメラ（カメラ）
２ 画像処理ユニット（画像端部判定手段、判定点移動手段、移動方向検出手段）
５ ヨーレートセンサ
６ 車速センサ
【特許請求の範囲】
【請求項１】
互いに離間して配置された２つのカメラにより得られる対象物の画像情報に基づいて、前記対象物の移動方向を検出する移動対象物検出装置において、
前記２つのカメラのうち、少なくとも何れか一方のカメラにより得られる対象物像が、画像の端部に接することを判定する画像端部判定手段と、
該画像端部判定手段により、画像の端部に接すると判定された対象物像については、該対象物像の位置を代表する判定点を、前記対象物像の面積重心から、前記画像の中心に近い所定点に移動させる判定点移動手段と、
該移動後の判定点に基づいて前記対象物の移動方向を検出する移動方向検出手段とを備えることを特徴とする移動対象物検出装置。
【請求項２】
前記２つのカメラにより得られる対象物の画像情報のうち、前記画像端部判定手段にて画像の端部に接すると判定された対象物の画像情報を基準画像とし、他方を探索画像として相関演算を行うことにより、該対象物の距離を算出する距離算出手段をさらに備え、
前記移動方向検出手段は、前記判定点移動手段による移動後の判定点と、前記距離算出手段によって算出された距離とに基づいて、前記対象物の移動方向を検出することを特徴とする請求項１に記載の移動対象物検出装置。
【請求項３】
前記画像端部判定手段により、前記２つのカメラにより得られる対象物像がともに画像の端部に接する判定された場合は、前記距離算出手段は、前記対象物像の表示面積が小さい方の画像を基準画像として用いることを特徴とする請求項２に記載の移動対象物検出装置。
【請求項１】
互いに離間して配置された２つのカメラにより得られる対象物の画像情報に基づいて、前記対象物の移動方向を検出する移動対象物検出装置において、
前記２つのカメラのうち、少なくとも何れか一方のカメラにより得られる対象物像が、画像の端部に接することを判定する画像端部判定手段と、
該画像端部判定手段により、画像の端部に接すると判定された対象物像については、該対象物像の位置を代表する判定点を、前記対象物像の面積重心から、前記画像の中心に近い所定点に移動させる判定点移動手段と、
該移動後の判定点に基づいて前記対象物の移動方向を検出する移動方向検出手段とを備えることを特徴とする移動対象物検出装置。
【請求項２】
前記２つのカメラにより得られる対象物の画像情報のうち、前記画像端部判定手段にて画像の端部に接すると判定された対象物の画像情報を基準画像とし、他方を探索画像として相関演算を行うことにより、該対象物の距離を算出する距離算出手段をさらに備え、
前記移動方向検出手段は、前記判定点移動手段による移動後の判定点と、前記距離算出手段によって算出された距離とに基づいて、前記対象物の移動方向を検出することを特徴とする請求項１に記載の移動対象物検出装置。
【請求項３】
前記画像端部判定手段により、前記２つのカメラにより得られる対象物像がともに画像の端部に接する判定された場合は、前記距離算出手段は、前記対象物像の表示面積が小さい方の画像を基準画像として用いることを特徴とする請求項２に記載の移動対象物検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００６−２５２５６６（Ｐ２００６−２５２５６６Ａ）
【公開日】平成１８年９月２１日（２００６．９．２１）
【国際特許分類】
【出願番号】特願２００６−６８４９２（Ｐ２００６−６８４９２）
【出願日】平成１８年３月１４日（２００６．３．１４）
【分割の表示】特願２０００−１５９６４０（Ｐ２０００−１５９６４０）の分割
【原出願日】平成１２年５月３０日（２０００．５．３０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成１８年９月２１日（２００６．９．２１）
【国際特許分類】
【出願日】平成１８年３月１４日（２００６．３．１４）
【分割の表示】特願２０００−１５９６４０（Ｐ２０００−１５９６４０）の分割
【原出願日】平成１２年５月３０日（２０００．５．３０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]