車両周辺監視装置
【課題】 スミアによる物体の誤検出をなくすことができる車両周辺監視装置を提供する。
【解決手段】 車両周辺の所定範囲を撮像するＣＣＤカメラ（１１）を有し、当該ＣＣＤカメラ（１１）からの画像情報に基づいて前記車両の周辺に存在する物体に関する情報を運転者に与える車両周辺監視装置において、高輝度光源によりＣＣＤカメラ（１１）による撮像画像上に現れる直線状のスミア画像を検出するスミア検出手段（４１ａ）と、前記スミア検出手段により検出されたスミア画像を除去するスミア除去手段（４１ｂ）を有する。
【解決手段】 車両周辺の所定範囲を撮像するＣＣＤカメラ（１１）を有し、当該ＣＣＤカメラ（１１）からの画像情報に基づいて前記車両の周辺に存在する物体に関する情報を運転者に与える車両周辺監視装置において、高輝度光源によりＣＣＤカメラ（１１）による撮像画像上に現れる直線状のスミア画像を検出するスミア検出手段（４１ａ）と、前記スミア検出手段により検出されたスミア画像を除去するスミア除去手段（４１ｂ）を有する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は車両周辺監視装置にかかり、より詳細には、自動車などの車両の周辺を監視して車両運転における運転者の安全確認を支援するのに有効に適用される車両周辺監視装置に関するものである。
【０００２】
【従来の技術】従来より、自動車などの車両の周辺を監視する車両周辺監視装置が提案され、実用化されている。この車両周辺監視装置は、車両の後方や側方といった運転者からの視認が難しい領域（監視領域）あるいは車両の前方の領域について、車両に取り付けたビデオカメラを用いてこの監視領域を撮像するとともにこの撮像画像を運転席のダッシュボード上などに取り付けられたディスプレイにより表示し、監視領域の監視を行うものである。
【０００３】このような車両周辺監視装置としては、本出願人が、特願平６−４２４３３号にて、提案した装置（以下先願装置という）がある。この先願装置は、車両に所定距離だけ離して設置された２台のＣＣＤカメラと、この画像情報を個別に格納保持するフレームメモリと、ＣＰＵなどにより構成されるデータ処理部と、ＣＣＤカメラからの画像あるいはデータ処理部により処理されたグラフィック画像などを表示するディスプレイと、ブザーなどにより構成される警報部とを有している。
【０００４】そして、この先願装置では、上記フレームメモリの一方に記録されている全ての画像情報を高さ０と仮定し、この画像情報を他方のカメラで撮像したとして得られる投影画像情報を作成し、作成された投影画像情報と他方のメモリに記録されている画像情報との差より路面上の画像を除去する。また、他方のフレームメモリに記録されているデータの水平方向の微分値と前記路面画像が除去された画像情報に基づいて物体のエッジを検出する。そして、この物体エッジについて、フレームメモリに記録されている画像情報により物体の位置を算出するとともにこの算出した物体の位置情報に基づいて警報を出力するものである。
【０００５】このような先願装置は、ＣＣＤカメラにより撮像された画像情報に基づいて、高さ「０」である背景画像すなわち路面画像を除去することにより物体のエッジ画像を生成し、生成したエッジ画像に基づいて物体と車両との相対位置などを算出するように構成したので、無用な演算処理が省け、処理を高速化できるという特徴を有している。
【０００６】
【発明が解決しようとする課題】ところで、上述したようにこの先願装置においては、撮像手段としてＣＣＤカメラを採用しているので、撮像領域内に太陽光による反射面や光源といった極めて高輝度の画像が存在すると、この高輝度画像から画面の上下方向の全域に亘って直線状に延びる高輝度の直線画像、いわゆるスミアと呼ばれる画像が現れる。このスミアは、上述した２台のＣＣＤカメラにより撮像した画像情報において、双方の画像情報あるいは一方の画像情報上に現れる。すなわち、その撮像条件に応じて様々なパターンで現れる。
【０００７】そして、このようなスミアが出現した場合には、このスミアを物体のエッジ点と誤認識することにより、本来存在しない物体を検出してしまう可能性があり、この点において、さらなる改良の余地があった。よって本発明は、このような改良点に鑑み、スミアによる物体の誤検出をなくすことができる車両周辺監視装置を提供することを課題とする。
【０００８】
【課題を解決するための手段】上記課題を解決するため、本発明によりなされた車両周辺監視装置は、図１の基本構成図に示すように、車両周辺の所定範囲を撮像するＣＣＤカメラ（１１）を有し、当該ＣＣＤカメラ（１１）からの画像情報に基づいて前記車両の周辺に存在する物体に関する情報を運転者に与える車両周辺監視装置において、高輝度光源によりＣＣＤカメラ（１１）による撮像画像上に現れる直線状のスミア画像を検出するスミア検出手段（４１ａ）と、前記スミア検出手段により検出されたスミア画像を除去するスミア除去手段（４１ｂ）を有することを特徴としている。（請求項１）
【０００９】また、前記スミア検出手段（４１ａ）は、前記ＣＣＤカメラ（１１）からの画像情報に基づいてエッジ画像を生成するエッジ画像生成手段（４１ｃ）と、前記エッジ画像を構成する画素の着目画素について、その座標値を取得する座標値取得手段（４１ｄ）と、前記着目画素の座標値に基づいて、前記ＣＣＤカメラ（１１）からの画像情報中にて前記着目画素に対応する対応画素の輝度値を取得する第１輝度値取得手段（４１ｅ）と、前記第１輝度値取得手段（４１ｅ）からの対応画素の輝度値に基づき、前記対応画素の輝度値が規定値以上であった場合に、前記ＣＣＤカメラ（１１）からの画像情報を参照し、前記対応画素を含む直線上に存在する画素群の輝度値を取得する第２輝度値取得手段（４１ｆ）と、前記第２輝度値取得手段（４１ｆ）により取得された画素群の輝度値に基づき、前記対応画素を含む直線上に存在する画素群がスミア画像であるか否かを判定するスミア判定手段（４１ｇ）とを有していることを特徴としている。（請求項２）
【００１０】また、前記スミア除去手段（４１ｂ）は、前記スミア判定手段（４１ｇ）によりスミア画像と判定された画素群に隣接する境界線上の画素群の輝度値を取得する第３輝度値取得手段（４１ｈ）と、前記第３輝度値取得手段（４１ｈ）により取得された境界線上の画素群の輝度値に基づいて前記スミア画像と判定された画素群の輝度値を算出するとともに当該算出した輝度値によりスミア画像と判定された画素群を補間する画像補間手段（４１ｉ）とを有することを特徴としている。（請求項３）
【００１１】また、前記座標値取得手段（４１ｄ）は、前記エッジ画像生成手段（４１ｃ）により生成されたエッジ画像中の任意の一列についてエッジ点を探索することを特徴としている。（請求項４）
【００１２】また、車両に所定距離だけ離して設置され、車両周辺の所定範囲を撮像する２台のＣＣＤカメラ（１１Ｒ、１１Ｌ）を有し、当該ＣＣＤカメラ（１１Ｒ、１１Ｌ）からの画像情報に基づいて前記車両の周辺に存在する物体に関する情報を運転者に与える車両周辺監視装置において、高輝度光源によりＣＣＤカメラ（１１）による撮像画像上に現れる直線状のスミア画像を検出するスミア検出手段（４１ａ）と、前記スミア検出手段（４１ａ）により検出されたスミア画像を除去するスミア除去手段（４１ｂ）と、前記スミア除去手段（４１ｂ）によりスミア画像が除去された撮像画像について、一方のＣＣＤカメラ（１１Ｒ）にて撮像された全ての画像を高さ０と仮定し、この画像を他方のカメラで撮像したとして得られる投影画像データを作成し、作成された投影画像データと他方のメモリに記録されている画像データとの差より路面上の画像を除去し、物体のエッジを検出する物体エッジ検出手段（４１ｊ）と、前記物体エッジ検出手段（４１ｊ）にて検出された物体エッジにより物体の位置を算出する物体位置算出手段（４１ｋ）と、前記物体位置算出手段（４１ｋ）より算出された物体の位置に基づいて警報を出力する警報手段（６０）とを有すること特徴としている。（請求項５）
【００１３】上記請求項１の構成によれば、スミア検出手段（４１ａ）は、高輝度光源により現れる直線状のスミア画像を検出し、スミア除去手段（４１ｂ）は、この検出されたスミア画像を除去する。
【００１４】すなわち、スミア画像を検出する手段と、検出されたスミア画像を除去する手段とを設けたので、スミアによる物体の誤検出をなくすことができる。
【００１５】そして、上記スミア検出手段（４１ａ）の具体的構成としては、請求項２に示す構成が適用される。そして、同請求項の各構成は、次の作用をなす。すなわち、エッジ画像生成手段（４１ｃ）は、ＣＣＤカメラ（１１）からの画像情報に基づいて物体の縁部画像であるエッジ画像を生成し、座標値取得手段（４１ｄ）は、エッジ画像を構成する画素の着目画素について、その座標値を取得する。
【００１６】第１輝度値取得手段（４１ｅ）は、着目画素に対応する対応画素の輝度値をＣＣＤカメラ（１１）からの画像情報を参照することにより取得し、第２輝度値取得手段（４１ｆ）は、上記対応画素の輝度値が規定値以上であった場合に、前記ＣＣＤカメラ（１１）からの画像情報を参照し、前記対応画素を含む直線上に存在する画素群の輝度値を取得する。そして、スミア判定手段（４１ｇ）は、取得された画素群の輝度値に基づいてこの画素群がスミア画像であるか否かを判定する。
【００１７】このように、スミアを物体と同等に扱うことによりＣＣＤカメラからの撮像画像からスミアのエッジ画像を含むエッジ画像を取得する手段と、このスミアが直線状に現れるという性質を有することに基づいてスミア候補点を含む直線上に存在する画素群すなわちスミア画像の輝度値を取得するとともにこの取得した画素群の輝度値に基づいてこのスミア候補点がスミアに属するか否かを判定する手段とを設けたので、処理を単純化することができるとともにスミアを高速にかつ確実に検出することができる。
【００１８】また、上記スミア除去手段（４１ｂ）の具体的構成としては、請求項３に示す構成が適用される。そして、同請求項の各構成は、次の作用をなす。すなわち、第３輝度値取得手段（４１ｈ）は、前記スミア判定手段（４１ｇ）によりスミア画像と判定された画素群に隣接する境界線上の画素群の輝度値を取得し、画像補間手段（４１ｉ）は、この境界線上の画素群の輝度値に基づいて前記スミア画像と判定された画素群の輝度値を算出するとともに当該算出した輝度値によりスミア画像と判定された画素群の補間を行う。
【００１９】このように、スミアと判定された領域（直線）に隣接する撮像画像の境界線上に存在する画素の輝度値に基づき、スミアと判定された画素群の輝度値を算出し、この算出した輝度値によりスミア画像の補間を行うように構成したので、スミアと判定された領域に関し、その周囲領域の画素の輝度値に近い輝度値の画素として補間されるので、スミア除去後の画像に関して違和感の少ない画像を得ることができる。
【００２０】また、上記請求項４の構成においては、請求項２記載の座標値取得手段（４１ｄ）にてエッジ点を探索する場合に、前記エッジ画像中の任意の一列について探索を行うように構成している。
【００２１】すなわち、この請求項４の構成においては、スミアが画像の全域に亘って直線状に現れる性質を利用し、任意の一列のみを探索時の対象としているので、その処理が単純となり高速に行うことができる。
【００２２】また、上記請求項５の構成においては、スミア検出手段（４１ａ）は、高輝度光源により現れる直線状のスミア画像を検出し、スミア除去手段（４１ｂ）は、この検出されたスミア画像を除去する。
【００２３】物体エッジ検出手段（４１ｊ）は、スミア画像が除去された撮像画像について、一方のＣＣＤカメラ（１１Ｒ）にて撮像された全ての画像を高さ０と仮定し、この画像を他方のカメラで撮像したとして得られる投影画像データを作成し、作成された投影画像データと他方のメモリに記録されている画像データとの差より路面上の画像を除去することにより物体のエッジを検出する。物体位置算出手段（４１ｋ）は、この物体エッジにより物体の位置を算出し、警報手段（６０）は、算出された物体の位置に基づいて警報を出力する。
【００２４】すなわち、この請求項５の構成においては、スミア検出手段（４１ａ）及びスミア除去手段（４１ｂ）によりスミア画像が除去された撮像画像について、高さ「０」である背景画像すなわち路面画像を除去することにより物体のエッジ画像を生成し、生成したエッジ画像に基づいて物体と車両との相対位置などを算出するように構成したので、スミアが現れた画像においても物体と車両との相対位置などを算出することができる。
【００２５】
【発明の実施の形態】以下、本発明の実施の形態の具体例を図面を参照して説明する。図２は、本発明が適用される装置の構成を説明するブロック図で、同図において、１０は車両周辺を撮像する撮像部、２０はハンドルの舵角あるいは操舵輪の操舵角を検出し、この舵角情報を転回情報として出力する舵角検出部、３０は撮像部１０から得られた撮像画像情報あるいは車両の形状情報等を保持する記憶部、４０は予め格納されたプログラムに従って動作するコンピュータによって構成されるデータ処理部、５０はディスプレイ５１を備えた表示部、６０は警報音あるいは音声ガイダンスを発生する警報部である。
【００２６】上記撮像部１０は、ＣＣＤカメラ１１により構成されている。そして、このＣＣＤカメラ１１は、右側ＣＣＤカメラ１１Ｒと左側ＣＣＤカメラ１１Ｌとから構成されている。そして、これらのＣＣＤカメラ１１Ｒ及び１１Ｌは、所定距離隔てて互いに平行な状態で車両に取り付けられている。例えば、図３に示すように、車両１００の後方中央部の高さＨの位置に、車両の後方に向けて所定距離隔てて互いに平行に且つ俯角θS で取り付けられている。これにより、この撮像部１０は車両後方の監視領域１００ａ〔１００ａ（１１Ｒ）及び１００ａ（１１Ｌ）〕を撮像する。
【００２７】舵角検出部２０は、ハンドルの回転量及び回転方向を検出するハンドル舵角センサや操舵輪（一般的に前輪）の操舵角を検出する操舵角センサ（いずれも図示せず）などにより構成され、これらのセンサからの検出信号により車両の転回方向を転回情報として出力する。
【００２８】記憶部３０は、右側フレームメモリ３１Ｒ、左側フレームメモリ３１Ｌ、右側補正画像メモリ３２Ｒ、左側補正画像メモリ３２Ｌ、差分画像メモリ３３、微分画像メモリ３４及びエッジ画像メモリ３５を有している。上記右側フレームメモリ３１Ｒ及び左側フレームメモリ３１Ｌには、撮像部１０の右側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌにより撮像された画像情報が一時的に蓄えられる。
【００２９】上記右側補正画像メモリ３２Ｒ及び左側補正画像メモリ３２Ｌには、右側フレームメモリ３１Ｒ及び左側フレームメモリ３１Ｌに蓄えられた画像情報のそれぞれに対して所定の補正処理が施された補正画像情報が保持される。そして、上記差分画像メモリ３３、微分画像メモリ３４及びエッジ画像メモリ３５には、それぞれ後述する差分画像、微分画像及びエッジ画像が保持される。
【００３０】これらの各メモリ（フレームメモリ３１乃至エッジ画像メモリ３５）は、ｍ行×ｎ列の構成を有し、例えば５１２画素（ｍ）×５１２画素（ｎ）のメモリとして構成されている。そして、このメモリを構成する各画素には、例えば２５６階調（「０」乃至「２５５」）あるいは２階調（「０」または「１」）の輝度値データが格納される。
【００３１】データ処理部４０は、動作プログラムに従って動作するＣＰＵ４１と、この動作プログラムが格納されたＲＯＭ４２と、ＣＰＵ４１の動作時において必要な情報を一時格納するＲＡＭ４３とを有している。表示部５０は、ディスプレイ５１を有し、このディスプレイ５１はＣＰＵ４１から出力された表示画像信号に基づいて、物体の車両との相対位置を表示したりあるいは運転者に対するメッセージを表示したりする。警報部６０は、ＣＰＵ４１から出力されたブザー音信号あるいは音声ガイダンス信号に基づいて、スピーカ６１からブザー音あるいは音声ガイダンスを出力する。
【００３２】次に、以上説明した構成を有する具体例の動作をフローチャートを参照して説明する。この具体例においては、まず、図４のフローチャートのステップＳ１１０にて、撮像部１０の右側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌからの撮像画像を、それぞれ右側画像情報及び左側画像情報として、対応する右側フレームメモリ３１Ｒ及び左側フレームメモリ３１Ｌに格納する。
【００３３】すなわち、このステップＳ１１０では、例えば図６に示すような、２本の白線３００が描かれた路面４００及びこの路面４００に立設され、その表面が例えば金属光沢面といった反射面とされたポール状の物体２００（以下、単にポール２００という）の画像と、このポール２００に太陽光などの強い光が反射することにより現れた縦方向（Ｖ方向）の全域に亘って延びる直線状の光であるスミア５００の画像とが右側フレームメモリ３１Ｒ及び左側フレームメモリ３１Ｌに格納される。そして、このステップＳ１１０の処理が終了するとステップＳ１２０に移行する。
【００３４】ステップＳ１２０では、スミア除去処理を行う。このスミア除去処理は具体的には、図５のフローチャートによりなされる。以下、この図５のフローチャートを参照してこのスミア除去処理を説明する。
【００３５】このスミア除去処理では、まず、ステップＳ２１０にて処理対象となる画像の選択を行う。上述したように、このスミアは、その撮像条件に応じて、２台のＣＣＤカメラにより撮像した画像情報の双方の画像情報あるいは一方の画像情報上に様々なパターンで現れる。従って、スミアの検出並びに除去処理は、右側フレームメモリ３１Ｒ及び左側フレームメモリ３１Ｌに格納された双方の撮像画像について行う必要がある。そして、このステップＳ２１０では、処理対象とする撮像画像を右側フレームメモリ３１Ｒに格納された撮像画像と、左側フレームメモリ３１Ｌに格納された撮像画像のいずれにするかを選択する。
【００３６】引き続くステップＳ２２０では、上記ステップＳ２１０で選択された撮像画像について微分処理を施し、微分画像を作成する。より詳細には、このステップＳ２２０では、検出対象とされた側のフレームメモリ３１Ｒあるいは３１Ｌに格納された撮像画像に関し、そのｍ行ｎ列の画像データの輝度値Ｉm,n を水平方向（図６におけるＨ方向に相当）に走査し、次式（１）の演算によって微分画像を生成する。
｜Ｉm,n+1 −Ｉm,n ｜≧Ｅ0 ならば Ｅm,n ＝１ ｜Ｉm,n+1 −Ｉm,n ｜＜Ｅ0 ならば Ｅm,n ＝０ ・・・（１）
上記式中、Ｅ0 はしきい値
【００３７】そして、この微分処理を撮像画像に対して行った場合には、水平方向（図６におけるＨ方向）の輝度境界すなわち明るさに差を有する部分がエッジ画像すなわち値「１」が付与された画像として抽出される。このようにして作成された微分画像については、微分画像メモリ３４に格納される。そして微分画像を格納した後にステップＳ２３０に移行する。
【００３８】ステップＳ２３０では、エッジ点の探索を行う。このエッジ点の探索処理では、ステップＳ２２０で作成された微分画像（すなわち物体のエッジ画像）中の任意の一列の画素群について、この画素群を水平方向に走査しながらエッジ点を検出する処理すなわち値「１」が付与された画素を検出する処理がなされる。
【００３９】引き続くステップＳ２３１では、対象画像（撮像画像）中の画素の輝度値の取得処理がなされる。詳細には、このステップＳ２３１では、上記ステップＳ２３０で探索された画素群において、検出された画素すなわち値「１」が付与された画素についてその座標値を取得し、対象画像すなわちフレームメモリ３１Ｒあるいは３１Ｌに格納された撮像画像において対応する座標値の画素の輝度値を取得する。そして、このステップＳ２３１の処理が終了するとステップＳ２３２に移行する。
【００４０】ステップＳ２３２では、上記ステップＳ２３１で取得された撮像画像中の画素の輝度値を参照し、この輝度値が規定値以上であるかを判定する。この判定処理における規定値は、スミアを判定するための高輝度の所定値として与えられており、例えば値「２００」として与えられる。
【００４１】そして、このステップＳ２３２の判定処理では、上記ステップＳ２３１で取得した画素の輝度値に基づき、この輝度値が規定値（値「２００」）を超えていた場合（Ｙ）には、この画素をスミア候補点と判定し、引き続くステップＳ２４０に移行する。一方、この画素の輝度値が規定値（値「２００」）以下であった場合（Ｎ）には、この画素を通常の可視画像と判定するとともに上述したステップＳ２３０に移行してエッジ点の探索を行い、次のエッジ点の検出を行う。
【００４２】ステップＳ２４０では、垂直方向に存在する画素群の輝度値を取得する。この輝度値取得処理では、上記ステップＳ２３２でスミア候補点と判定された画素について、その画素から垂直方向に延びる直線上に存在する画素群の輝度値を、フレームメモリ３１Ｒあるいは３１Ｌを参照することにより取得する処理がなされる。
【００４３】引き続くステップＳ２４１では、上記ステップＳ２４０で取得した画素群の輝度値に基づき、この画素群を構成する全ての画素の輝度値が規定値以上であるかを判定する。なお、この判定処理における規定値は、上記ステップＳ２３２の規定値と同じくスミアを判定するための高輝度の所定値として与えられており、例えば値「２００」として与えられている。
【００４４】この判定処理において、判定対象の画素群の輝度値がこの規定値以上であった場合、すなわち上述したスミア候補点を含めた垂直方向に延びる画素群が全て高輝度の画素で構成されていた場合（Ｙ）にはステップＳ２４２に移行し、このステップＳ２４２にて、判定対象の画素群をスミア画像として認識する。そして、この認識したスミア画像の情報例えばスミア画像を示す座標情報については、データ処理部４０のＲＡＭ４３に格納保持する。
【００４５】一方、判定対象の画素群中に、輝度値が上述した規定値以下である画素が存在した場合（Ｎ）には、この判定対象の画素群はスミア画像ではないとして、上述したステップＳ２３０に移行してエッジ点の探索を行い、次のエッジ点の検出を行う。そして、上述したステップＳ２４２の処理が終了すると、ステップＳ２５０に移行する。
【００４６】ステップＳ２５０では、エッジ点の探索が終了したか否かを判定する。すなわち、このステップＳ２５０では、上記ステップＳ２３０で説明した画素群を水平方向に走査しながらエッジ点を検出する処理を、その水平方向全域に亘って実行したか否かを判定する。この判定処理は、その時点において走査対象となっている画素の座標値に基づいてなされ、この座標値が水平方向終端に相当する座標値であるか否かによりなされる。
【００４７】そして、この判定処理にて探索終了すなわち走査対象となっている画素の座標値水平方向終端に相当する座標値であった場合（Ｙ）にはステップＳ２６０に移行し、未だ探索途中である場合（Ｎ）には、上述したステップＳ２３０に移行して残りのエッジ点の探索を行う。
【００４８】ステップＳ２６０では、スミア画像の有無を判定する。このスミア画像の有無判定は、データ処理部４０のＲＡＭ４３に格納保持されたスミア画像の情報に基づいてなされる。そして、このＲＡＭ４３にスミア画像の存在を示す情報が格納されている場合には「スミア有（Ｙ）」と判定してステップＳ２７０に移行し、またスミア画像の存在を示す情報が格納されていない場合には「スミア無（Ｎ）」と判定してステップＳ２８０に移行する。
【００４９】ステップＳ２７０では、境界線上画素群の輝度値取得処理を行う。詳細には、このステップＳ２７０では、上記ステップＳ２６０によりスミア画像と判定された画素群の座標値をＲＡＭ４３を参照することにより取得し、この取得した座標値に基づきこのスミア画像に隣接する境界線上の画素群の輝度値を取得する。なお、このステップＳ２７０の輝度値取得処理は、上述したスミア画像を挟む両脇の境界線上画素群について行なわれる。
【００５０】引き続くステップＳ２７１では、ステップＳ２７０で取得した境界線上画素群の輝度値に基づき、スミア画像と判定された画素群の輝度値を算出するとともに当該算出した輝度値によりスミア画像と判定された画素群の補間を行う。すなわち、この補間処理では、処理対象となるフレームメモリ３１Ｒあるいは３１Ｌに格納された撮像画像を参照し、上記ステップＳ２７０で取得したスミア画像の両脇に存在する境界線上画素群の輝度値に基づき、補間対象となる画素の両脇の画素の輝度値を平均し、この平均値を補間対象となる画素の輝度値に置換することにより上記撮像画像に対する補間を行う。そして、このステップＳ２７１の補間処理が終了すると、ステップＳ２８０に移行する。
【００５１】ステップＳ２８０では、上述した一連の処理が、右側フレームメモリ３１Ｒ及び左側フレームメモリ３１Ｌに格納された双方の撮像画像について行なわれたか否かを判定する。そして、このステップＳ２８０にて、一連のスミア除去処理が双方の撮像画像に対して行われた場合（Ｙ）には、このスミア除去処理を終了し、図４のフローチャートにおけるステップＳ１３０に移行する。また、一連のスミア除去処理が一方の撮像画像にしか行われていない場合（Ｎ）には、再度ステップＳ２１０に移行し、未処理の撮像画像に対する一連の処理を実行する。
【００５２】ここで、以上説明した一連のスミア除去処理の実際の動作について、図６乃至図９の模式図を参照して説明する。このスミア除去処理においては、まず処理対象となる撮像画像を設定し（Ｓ２１０）、そして、この処理対象となる撮像画像に対し、上式（１）にて説明した微分処理を実行する（Ｓ２２０）。
【００５３】例えば、図６にて例示した撮像画像に対してこの微分処理を行った場合には、図７に示すように、符号ＥＤ１及びＥＤ２、ＥＤ７及びＥＤ８で示す２本の白線３００の縁部の画像と、符号ＥＤ３及びＥＤ４で示すポール２００の垂直方向縁部の画像と、符号ＥＤ５及びＥＤ６で示すスミア５００の縁部の画像がエッジ画像として抽出された微分画像、すなわちこのエッジ画像については値「１」が付与され、その他の画像については値「０」が付与された画像が作成される。そして、この作成された微分画像が、記憶部３０の微分画像メモリ３４に格納される。
【００５４】次いで、図７に符号ＨＬで示す左端画素Ｈ１から右端画素Ｈ６に亘る水平方向画素列について、左端画素Ｈ１から順に走査を行うことによりエッジ点の探索を行う。この探索により、同図の例においてはまず符号Ｈ２で示すエッジ点が検出される（Ｓ２３０）。そして、このエッジ点Ｈ２に対応する撮像画像中の画素の輝度値すなわち図６に符号Ｈ２´で示す画素の輝度値を取得し（Ｓ２３１）、この画素Ｈ２´の輝度値がスミアを判定するための規定値を超えているかを判定する。
【００５５】仮に、この規定値が図８に示すように輝度値「２００」であり、また画素Ｈ２´の輝度値が値「１８０」であったとすると、このエッジ点Ｈ２はスミア候補点でないと判定される（Ｓ２３２）。そして、再度、水平方向画素列について探索を行うことより、次の検出点であるエッジ点Ｈ３が検出される（Ｓ２３０）。このエッジ点Ｈ３についても対応する撮像画像中の画素の輝度値の取得がなされ、これにより図６に符号Ｈ３´で示す画素の輝度値が取得される（Ｓ２３１）。
【００５６】そして、この画素Ｈ３´の輝度値が値「２１０」であったとすると、このエッジ点Ｈ３は上述した規定値「２００」を超えているので、このエッジ点Ｈ３はスミア候補点と判定される（Ｓ２３２）。この判定を受けて、撮像画像中にて対応する画素群、すなわち画素Ｈ３´を含む垂直方向に存在する画素群の輝度値を取得する。より詳細には、図６に符号Ｖ１１´並びにＶ１２´で示す上下端画素を結ぶ垂直方向の直線ＶＬ１´上に存在する垂直画素群の輝度値を取得する（Ｓ２４０）。
【００５７】次に、この取得した画素群の輝度値が、図８で説明したスミアを判定するための規定値を超えているかを判定する。この場合、この直線ＶＬ１´上の垂直画素群には、比較的低輝度の路面４００の画像が含まれているので、この垂直画素群を構成する画素に規定値以下である画素が存在していると判定され、これによりこのエッジ点Ｈ３はスミア画像でないと判定する（Ｓ２４１）。
【００５８】これにより、再度、水平方向画素列について探索が行なわれ、次の検出点であるエッジ点Ｈ４が検出され、対応する撮像画像中の画素、すなわち図６に符号Ｈ４´で示す画素の輝度値が取得される（Ｓ２３０、Ｓ２３１）。
【００５９】そして、この画素Ｈ４´の輝度値が値「２４０」であったとすると、このエッジ点Ｈ４はスミア候補点と判定される（Ｓ２３２）。これにより、画素Ｈ４´を含む垂直方向に存在する画素群、すなわち図６に符号Ｖ２１´並びにＶ２２´で示す上下端画素を結ぶ垂直方向の直線ＶＬ２´上に存在する垂直画素群の輝度値が取得される（Ｓ２４０）。
【００６０】次に、この取得した画素群の輝度値についての判定がなされる。この場合、この直線ＶＬ２´上の垂直画素群は、スミア５００の画像であるので、その全てが上述した規定値「２００」を超えている。これにより、このエッジ点Ｈ４はスミア画像であると判定され（Ｓ２４１、Ｓ２４２）、このエッジ点Ｈ４を含む直線ＶＬ２´上の垂直画素群すなわち図６における直線ＶＬ２に関する情報がスミア画像情報としてＲＡＭ４３に格納される。
【００６１】そして、再度、水平方向画素列について探索が行なわれ、次の検出点であるエッジ点Ｈ５が検出され、対応する撮像画像中の画素、すなわち図６に符号Ｈ５´で示す画素の輝度値（値「２４０」）が取得される（Ｓ２３０、Ｓ２３１）。この画素Ｈ５´についても、先の画素Ｈ４´と同様にその輝度値に基づいて候補点と判定され（Ｓ２３２）、その垂直画素群すなわちＶＬ３´上に存在する垂直画素群の輝度値が取得される（Ｓ２４０）。
【００６２】さらに、この取得した垂直画素群の輝度値について判定がなされる。この垂直画素群は、上述したエッジ点Ｈ４の垂直画素群と同様にスミア５００の画像であるので、スミア画像であると判定され（Ｓ２４１、Ｓ２４２）、このエッジ点Ｈ５を含む直線ＶＬ３´上の垂直画素群すなわち図７における直線ＶＬ３に関する情報がスミア画像情報としてＲＡＭ４３に格納される。
【００６３】そして、図７における右端画素Ｈ６まで探索が終了したことを確認した（Ｓ２５０）後にスミアの有無を判定する（Ｓ２６０）。上述した例においては、スミア５００によるエッジ画像（図７におけるＶＬ２、ＶＬ３）が検出されているので、「スミア有」と判定してこのスミア画像を除去する処理を行う。
【００６４】このスミア画像の除去処理では、まず、スミアとして検出されたエッジ画像に隣接する境界線上の画素群の輝度値を取得する処理を行う。例えば、図９（ａ）に示すように、α、β及びγ行及びａ、ｂ、ｃ及びｄ列の画素からなるマトリクス状のフレームメモリ構成が与えられ、ｃ列がスミア画像に対応する画素群であったとすると、同図に示すように、画素αｃ、・・・・、γｃがいずれも輝度値「２３０」と高輝度を示す。
【００６５】そして、この場合にはスミア画像の両脇であるｂ列（画素αｂ、・・・・、γｂ）及びｄ列（画素αｄ、・・・・、γｄ）の画素群の輝度値を取得する（Ｓ２７０）。続いて、この取得した画素群の輝度値に基づき、スミア画像と判定された画素群を補間するための輝度値を算出する（Ｓ２７１）。この輝度値の算出は、スミア画像と判定された画素の両脇の画素の平均値を算出することによりなされる。
【００６６】そして、図９（ｂ）に示すように、α行では、画素αｂの輝度値「１００」と画素αｄの輝度値「１１０」の平均値「１０５」をスミア画像の画素αｃの輝度値とする。同様に、β行では、画素βｂの輝度値と画素βｄの輝度値とが同値「１２０」であるので、この値「１２０」をスミア画像の画素βｃの輝度値とし、γ行では、画素γｂの輝度値「１１０」と画素γｄの輝度値「９０」の平均値「１００」をスミア画像の画素γｃの輝度値とし、各輝度値による画像の補間を行っている。
【００６７】また、図９（ｃ）に示すように、スミア画像が複数列（ｂ列乃至ｄ列）に亘っている場合には、上述した例と同様にスミア画像の両脇であるａ列（画素αａ、・・・・、γａ）及びｅ列（画素αｅ、・・・・、γｅ）の画素群の輝度値を取得し、この取得した輝度値に基づいて各画素の輝度値を段階的に変化させている。例えば、図９（ｄ）に示すように、その画素αａが輝度値「１００」であり画素αｅが輝度値「１２０」であった場合、このα行については、画素αｂに輝度値「１０５」、画素αｃに輝度値「１１０」、画素αｄに輝度値「１１５」がっといったように、その輝度値の変化量が略等しくなるように段階的に変化させた輝度値が与えられている。
【００６８】このように、スミアと判定された領域（直線）に隣接する撮像画像の境界線上に存在する画素の輝度値に基づき、スミアと判定された画素群の輝度値を算出し、この算出した輝度値によりスミア画像の補間を行うように構成したので、スミアと判定された領域に関し、その周囲領域の画素の輝度値に近い輝度値の画素として補間されるので、スミア除去後の画像に関して違和感の少ない画像を得ることができる。
【００６９】また、上述した一連のスミア除去処理においては、スミア５００を物体と同等に扱うことによりＣＣＤカメラ１１からの撮像画像からスミアのエッジ画像を含むエッジ画像を取得し、このスミアが直線状に現れるという性質を有することに基づいてスミア候補点を含む直線上に存在する画素群すなわちスミア画像の輝度値を取得するとともにこの取得した画素群の輝度値に基づいてこのスミア候補点がスミアに属するか否かを判定するように構成したので、処理を単純化することができるとともにスミアを高速にかつ確実に検出することができる。
【００７０】また、スミアが画像の全域に亘って直線状に現れる性質を利用し、任意の一列のみを探索時の対象としているので、その処理が単純となり高速に行うことができる。
【００７１】次に、以上説明したステップＳ１２０の処理に続いてなされるステップＳ１３０以降の処理について説明する。ステップＳ１３０では、上述したステップＳ１２０のスミア除去処理が施された撮像画像に対し、歪曲収差の補正処理を行う。すなわち、上記ステップＳ１２０の撮像画像は、ＣＣＤカメラ１１が有するレンズの歪曲収差を含んだ画像となっている。そしてこの歪曲収差は後述する物体の位置検出における誤差の原因となる。
【００７２】例えば、格子状の模様を撮像した場合について考えてみると、ＣＣＤカメラ１１のレンズに収差がないときには、図１０（ａ）に示すようにこの格子状の模様がそのままフレームメモリ３１に格納されている。また、そのレンズに収差があるときには、図１０（ｂ）に示すように光軸を中心としてその中央部の画像が外方に膨らんだ樽形に歪曲した画像、あるいは図１０（ｃ）に示すように光軸を中心としてその中央部の画像が内側に湾曲した糸巻形に歪曲した画像がフレームメモリ３１に格納されている。
【００７３】そして、このステップＳ１３０では、上述した図１０（ｂ）あるいは図１０（ｃ）に示すような歪曲画像に対して補正処理を施すことにより補正画像情報を生成し、この補正画像情報を右側補正画像メモリ３２Ｒ及び左側補正画像メモリ３２Ｌに格納する。以下、この画像の歪曲収差の補正処理について説明する。
【００７４】図１０（ｄ）に示すように、歪曲収差が無い時の点Ｐ（ｘ0 ，ｙ0 ）が歪曲収差によって点Ｐ′（ｘ，ｙ）に結像したものとすると、その収差量Ｄは次式（２）により表すことができる。
Ｄ＝［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 ・・・（２）
【００７５】そして、図１０（ｂ）あるいは図１０（ｃ）に示すような歪曲画像において、その収差量Ｄは光軸からの距離の３乗に比例して大きくなる。すなわち、レンズの中心点より点Ｐまでの距離の３乗に比例するので、上記式（２）の右辺は、次式（３）により表すことができる。
［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 ＝ｋ1 ［（ｘ02−ｙ02）0.5 ］3 ・・・（３）
上記式中、ｋ1 はレンズによって定まる比例定数
【００７６】従って、レンズに歪曲収差が存在する場合は、例えば次式（４）の演算を行うことによりこの歪曲収差を補正することができる。
ｘ0 ≒ｘ（１＋ｋ1 （ｘ2 ＋ｙ2 ））
ｙ0 ≒ｙ（１＋ｋ1 （ｘ2 ＋ｙ2 ）） ・・・（４）
【００７７】ところで、この式（４）の演算により画像の歪曲収差の補正を行った場合には、隣接画素間の距離が離れてしまい画像の抜けが生じることがある。データ処理部４０は、この画像の抜けに関し、隣接する画素の情報に基づいて補間を行う。そして、このような補正処理及び補間処理が施された画像情報は、補正画像情報として右側補正画像メモリ３２Ｒ及び左側補正画像メモリ３２Ｌにそれぞれ格納し、ステップＳ１３０の歪曲収差の補正処理を終了する。
【００７８】引き続くステップＳ１４０では、路面画像の除去処理を行う。この路面画像の除去処理を説明するにあたり、まず、図３にて説明した光学系において撮像領域（監視領域１００ａ）内における物体の位置算出処理について説明する。
【００７９】ＣＣＤカメラ１１は、図３にて説明したように、車両後方の所定位置に設置俯角θS で取り付けられており、監視領域１００ａを撮像している。従ってＣＣＤカメラ１１による撮像画像はこの所定位置を基準とした画像となっているので、この撮像画像から算出した位置もこの所定位置を基準とした位置となっている。そこで、以後の説明を容易にするため、図１１に示すように、この所定位置すなわちカメラ設置位置を基準とした座標をＸ′，Ｙ′，Ｚ′で表わし、路面を基準とした座標をＸ，Ｙ，Ｚで表わすものとする。
【００８０】そして、このカメラ設置位置を基準としたＸ′，Ｙ′，Ｚ′座標系においては、図１２（ａ）に示すように、Ｚ′軸はＣＣＤカメラ１１のレンズ光軸として定義され、上記Ｘ′軸は路面と平行な軸として定義され、また上記Ｙ′軸はＺ′軸とＸ′軸の双方に直交する軸として定義されている。従って、右側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌは、それぞれのレンズ光軸がＺ′軸と一致するように配置されている。また、Ｘ′軸に関し、このＸ′軸上にそれぞれのレンズの中心点が位置するよう配置されるとともに互いに距離ｄｘａだけ離間して配置されている。以後の説明を容易にするため、Ｘ′，Ｙ′およびＺ′軸の原点Ｏを左側ＣＣＤカメラ１１Ｒのレンズの中心として定義することとする。
【００８１】以上のように設置されたＣＣＤカメラ１１によって撮像された点Ｐ（ＸP ′，ＹP ′，ＺP ′）は、右側補正情報メモリ３２ＲにＰR （ｘRP，ｙRP）として保持され、左側補正情報メモリ３２ＬにＰL （ｘLP，ｙLP）として保持される。
【００８２】そしてこの点ＰのＺ′座標ＺP ′は、図１２（ｂ）のＸ′Ｚ′平面における模式図で示すように、三角形の相似にて求めることができる。すなわち、この距離ＺP ′は、次式（５）で表すことができる。
ＺP ′＝ｄｘａ・ｆ／（ｘLP−ｘRP） ・・・（５）
上記式中、ｄｘａは両レンズの間隔ｆはレンズの焦点距離
【００８３】同様に点ＰのＸ′座標ＸP ′についても、図１２（ｂ）のＸ′Ｚ′平面の模式図で示すように、三角形の相似にて求めることができる。そして点ＰのＹ′座標ＹP ′についても、図示しないＹ′Ｚ′平面を想定することにより、同様にして求めることができる。すなわち、これら点ＰのＸ′座標ＸP ′及びＹ′座標ＹP ′は、それぞれ次式（６）及び式（７）で求めることができる。
ＸP ′＝ＺP ′ｘLP／ｆ ＝ｄｘａ・ｘLP／（ｘLP−ｘRP） ・・・（６）
ＹP ′＝ＺP ′ｙLP／ｆ ＝ｄｘａ・ｙLP／（ｘLP−ｘRP） ・・・（７）
なお、上記座標ＸP ′に関し、その基準座標を右側ＣＣＤカメラ１１Ｒと左側ＣＣＤカメラ１１Ｌの間とする場合には、上式（５）で算出された座標ＸP ′と両レンズの間隔ｄｘａの１／２の差分をとればよい。
【００８４】以上の式（５）乃至式（７）にて算出されたＸ′Ｙ′Ｚ′座標系における点Ｐ（ＸP ′，ＹP ′，ＺP ′）は、上述したようにカメラ設置位置を基準とした座標系の座標値であるので、この座標値を路面を基準としたＸＹＺ座標系における座標値に変換する必要がある。この場合、撮像部１０（ＣＣＤカメラ１１）の俯角がθS であるとすれば、Ｘ′Ｙ′Ｚ′座標での点Ｐの座標（ＸP ′，ＹP ′，ＺP ′）と路面を基準としたＸＹＺ座標との関係は上述した図１１で示すようになる。
【００８５】従って、上式（５）乃至式（７）で算出した座標（ＺP ′，ＹP ′，ＸP ′）は、次式（８）〜式（10）の実行により、ＸＹＺ座標系における点Ｐの座標（ＸP ，ＹP ，ＺP ）に変換することができる。
ＸP ＝ＸP ′ ・・・（８）
ＹP ＝Ｈ−ＺP ′cos θS ＋ＹP ′sin θS ・・・（９）
ＺP ＝ＺP ′sin θS ＋ＹP ′cos θS ・・・（10）
【００８６】次に、このステップＳ１４０の路面画像（高さ「０」の画像）の除去処理について説明する。図１３（ａ）は、右側ＣＣＤカメラ１１Ｒで撮像された後、上述した歪曲収差補正が施され、そして右側補正画像メモリ３２Ｒに保持された右側補正画像を示している。同図において、３００は路面上に画かれた白線、また２００はポール状の物体である。ここで、この右側補正画像メモリ３２Ｒに保持されている右側補正画像に関し、その全ての画像が高さ「０」の背景画像すなわち路面上に描かれている画像だと仮定する。そしてこのように仮定した右側補正画像に基づき、この右側補正画像があたかも左側ＣＣＤカメラ１１Ｌの撮像位置で撮像された画像（投影画像）となるよう変換処理を行う〔図１３（ｂ）〕。
【００８７】以下、この投影画像の変換処理について説明する。ここで、右画像の点ＰR （ｘRP，ｙRP）に対応する投影画像の点をＰL ′（ｘLP′，ｙLP′）とする。図１１に示すように、カメラ座標のＸ′軸と路面座標のＸ軸は平行であり、また、カメラによって撮像する走査線のｘ軸（図１２のｘL 軸およびｘR 軸）も共に平行であるとすると、同一物体を撮像した場合の撮像画像のｙL とｙR 値は一致する。そして、画像の全てが路面上であるとすれば、上式（９）で示すＹP の値は０となる。以上から次式（１１）及び式（１２）を導くことができる。そして、式（１２）のＺP ′およびＹP ′に式（５）のＺP ′及び式（７）のＹP ′を代入することにより、式（１３）に示すように、ｘLP′を求めることができる。
【００８８】
ｙLP′＝ｙRP ・・・（11）
０＝ＨP −ＺP ′cos θS ＋ＹP ′sin θS ・・・（12）
ｘLP′＝（ｄｘａ・ｆcos θS −ｄｘａ・ｙRPsin θS ）／Ｈ＋ｘRP ・・・（13）
そして、上式（１１）及び式（１３）の演算を行なうことにより、データ処理部４０（ＣＰＵ４１）は、投影画像〔図１３（ｂ）〕を作成する。
【００８９】そして、このようにして作成した投影画像を左側補正画像に重畳すると図１３（ｃ）のようになる。すなわち、右側ＣＣＤカメラ１１Ｒで撮像された画像を投影した場合、路面上に画かれている白線等の模様は左側ＣＣＤカメラ１１Ｌで撮像された模様と位置、輝度共に一致し、物体が路面より高くなるに従って差が大きくなる。
【００９０】従って、左画像データと投影画像データの差分をとることにより、高さのある物体を構成する画素以外の路面を構成する画素の輝度値は値「０」または値「０」に近い値となる。そして所定しきい値以下を値「０」とすれば、全て値「０」となる。
【００９１】このようにして、左画像データと投影画像データの差分をとることにより、その差分画像は図１３（ｄ）に示すように、路面画像（高さ「０」の背景画像）が除去され、高さのある部分のみが値「０」以外の値として取り出される。そして、この差分画像については記憶部３０の差分画像メモリ３３に格納される。
【００９２】以上説明したように、このステップＳ１４０では、撮像画像中の高さ「０」の路面画像を除去し、高さのある画像すなわち物体の画像のみを抽出する。そして、このステップＳ１４０の路面画像除去処理が終了するとステップＳ１５０に移行して物体の位置算出処理を行う。
【００９３】このステップＳ１５０の物体の位置算出処理では、まず抽出した物体画像についてのエッジの抽出処理を行う。以下、この物体エッジ抽出処理について説明する。この物体エッジ抽出処理は、左側補正画像メモリ３２Ｌに格納された画像情報に対してなされる。すなわち、左側補正画像メモリ３２Ｌに格納されている左側補正画像に関し、そのｍ行ｎ列の画像データの輝度値Ｉm,n を水平方向すなわち図１２におけるＸ′軸方向に走査し、次式（１４）の演算によって微分画像を生成する。
｜Ｉm,n+1 −Ｉm,n ｜≧Ｅ0 ならば Ｅm,n ＝１ ｜Ｉm,n+1 −Ｉm,n ｜＜Ｅ0 ならば Ｅm,n ＝０ ・・・（14）
上記式中、Ｅ0 はしきい値
【００９４】この微分画像は、図１４（ｂ）に示すように、物体や路面に画かれている文字等の縦方向エッジ部分が「１」に、その他の部分は「０」となった画像となる。そして、この微分画像は記憶部３の微分画像メモリ３４に上書きされ保持される。
【００９５】このようにして求めた微分画像〔図１４（ｂ）〕と、前述した路面画像除去処理で生成され差分画像メモリ３３に保持された差分画像〔図１３（ｄ）〕と重ね合せてアンドを取ると、図１４（ｃ）で示す物体のエッジ部分のみが抽出された物体エッジの画像が生成される。そして、この物体エッジ画像を物体を示す情報として、エッジ画像メモリ３５に格納する。
【００９６】そしてデータ処理部４０（ＣＰＵ４１）は、このエッジ画像メモリ３５に格納された物体エッジ画像に基づいて物体を認識し、この物体エッジ画像の各座標点について図１１及び図１２にて説明した３次元位置座標算出動作を行い、このエッジ画像の３次元座標値を算出する ことにより、認識した物体すなわち物体エッジと車両との相対位置を算出する。
【００９７】引き続くステップＳ１６０では、障害物の有無を判定する。すなわち、このステップＳ１６０では、上記ステップＳ１５０にて算出したエッジ画像の３次元座標値に基づき、図３にて説明した撮像領域１００ａ内に障害物があるか否かを判定する。そして、このステップＳ１６０にて「障害物無」と判定した場合には、ステップＳ１１０に移行し、次動作周期の処理動作を再度実行する。また、このステップＳ１６０にて「障害物有」と判定した場合には、引き続くステップＳ１７０に移行する。
【００９８】ステップＳ１７０では、車両進路予測処理を行う。このステップＳ１７０の車両進路予測処理では、舵角検出部２０（図２参照）からの転回情報を読み込むとともにこの読み込んだ転回情報に基づいて車両の進路を予測し、この予測進路にさらに車両の形状情報を加味して車両の予測軌跡を算出する。そして、この算出した車両の予測軌跡は、データ処理部４０のＲＡＭ４３に格納する。
【００９９】引き続くステップＳ１８０では、上記ステップＳ１７０にて算出した予測軌跡と上記ステップＳ１５０にて算出した障害物の３次元座標値に基づいて、障害物と車両の衝突の可能性が有るか否かを判定する。そして「衝突の可能性有り」と判定された場合には警報部６０のスピーカにより警報音を発生して運転者にその旨を知らせる。そして、このステップＳ１８０の警報処理の終了により一連の処理動作が終了し、再度ステップＳ１１０に移行して次動作周期における処理動作を実行する。
【０１００】以上の説明から明らかなように、この具体例においては、スミア画像が除去された撮像画像について、高さ「０」である背景画像すなわち路面画像を除去することにより物体のエッジ画像を生成し、生成したエッジ画像に基づいて物体と車両との相対位置などを算出するように構成したので、スミアが現れた画像においても物体と車両との相対位置などを算出することができる。
【０１０１】また、スミアの除去処理をレンズの歪曲収差を補正する処理より前に行なうように構成しているので、スミア画像がレンズの歪曲収差の補正により湾曲することながない。これにより、スミアを簡単に除去することができる。
【０１０２】そして、本発明の基本構成と具体例の動作を示すフローチャートは、次の対応関係を有している。すなわち、スミア検出手段（４１ａ）は図５のフローチャートにおけるステップＳ２１０乃至Ｓ２５０に対応し、スミア除去手段（４１ｂ）は同じくステップＳ２７０乃至Ｓ２７１に対応している。
【０１０３】また、エッジ画像生成手段（４１ｃ）は同フローチャートにおけるステップＳ２２０に、座標値取得手段（４１ｄ）は同じくステップＳ２３０に、第１輝度値取得手段（４１ｅ）は同じくステップＳ２３１に、第２輝度値取得手段（４１ｆ）は同じくステップＳ２４０に、スミア判定手段（４１ｇ）は同じくステップＳ２４１に対応している。
【０１０４】また、第３輝度値取得手段（４１ｈ）は同フローチャートにおけるステップＳ２７０に対応し、画像補間手段（４１ｉ）は同じくステップＳ２７１に対応している。
【０１０５】また、物体エッジ検出手段（４１ｊ）は図４フローチャートにおけるステップＳ１４０に対応し、物体位置算出手段（４１ｋ）は同じくステップＳ１５０に対応している。
【０１０６】
【発明の効果】以上説明したように、本発明の車両周辺監視装置によれば次の効果を奏する。すなわち、スミア画像を検出する手段と、検出されたスミア画像を除去する手段とを設けたので、スミアによる物体の誤検出をなくすことができる。
【０１０７】また、スミアを物体と同等に扱うことによりＣＣＤカメラからの撮像画像からスミアのエッジ画像を含むエッジ画像を取得する手段と、このスミアが直線状に現れるという性質を有することに基づいてスミア候補点を含む直線上に存在する画素群すなわちスミア画像の輝度値を取得するとともにこの取得した画素群の輝度値に基づいてこのスミア候補点がスミアに属するか否かを判定する手段とを設けたので、処理を単純化することができるとともにスミアを高速にかつ確実に検出することができる。
【０１０８】また、スミアと判定された領域（直線）に隣接する撮像画像の境界線上に存在する画素の輝度値に基づき、スミアと判定された画素群の輝度値を算出し、この算出した輝度値によりスミア画像の補間を行うように構成したので、スミアと判定された領域に関し、その周囲領域の画素の輝度値に近い輝度値の画素とて補間されるので、スミア除去後の画像に関して違和感の少ない画像を得ることができる。
【０１０９】また、スミアが画像の全域に亘って直線状に現れる性質を利用し、任意の一列のみを探索時の対象としているので、その処理が単純となり高速に行うことができる。
【０１１０】また、スミア検出手段及びスミア除去手段によりスミア画像が除去された撮像画像について、高さ「０」である背景画像すなわち路面画像を除去することにより物体のエッジ画像を生成し、生成したエッジ画像に基づいて物体と車両との相対位置などを算出するように構成したので、スミアが現れた画像においても物体と車両との相対位置などを算出することができる。
【図面の簡単な説明】
【図１】本発明の基本構成を示す図である。
【図２】本発明が適用される装置の構成を説明するブロック図である。
【図３】撮像部１０を構成するＣＣＤカメラ１１の取付態様の説明図である。
【図４】具体例の動作を説明するフローチャートである。
【図５】スミア除去処理を説明するフローチャートである。
【図６】スミアを含む撮像画像を説明する図である。
【図７】スミアを含む撮像画像から生成された微分画像を説明する図である。
【図８】具体例におけるスミアを判定する規定値を説明する模式図である。
【図９】スミア画像を補間する処理を説明する図である。
【図１０】具体例におけるレンズ収差補正の説明図である。
【図１１】具体例におけるＣＣＤカメラの俯角補正の説明図である。
【図１２】具体例における３次元位置測定の説明図である。
【図１３】具体例における路面画像除去の説明図である。
【図１４】具体例における物体エッジ検出の説明図である。
【符号の説明】
１０ 撮像部
１１、１１Ｒ、１１Ｌ ＣＣＤカメラ
２０ 舵角検出部
３０ 記憶部
３１Ｒ，３１Ｌ フレームメモリ
３４ 微分画像メモリ
３５ エッジ画像メモリ
４０ データ処理部
４１ ＣＰＵ
４２ ＲＯＭ
４３ ＲＡＭ
５０ 表示部
６０ 警報部
１００ 車両
２００ 障害物
５００ スミア
【０００１】
【発明の属する技術分野】本発明は車両周辺監視装置にかかり、より詳細には、自動車などの車両の周辺を監視して車両運転における運転者の安全確認を支援するのに有効に適用される車両周辺監視装置に関するものである。
【０００２】
【従来の技術】従来より、自動車などの車両の周辺を監視する車両周辺監視装置が提案され、実用化されている。この車両周辺監視装置は、車両の後方や側方といった運転者からの視認が難しい領域（監視領域）あるいは車両の前方の領域について、車両に取り付けたビデオカメラを用いてこの監視領域を撮像するとともにこの撮像画像を運転席のダッシュボード上などに取り付けられたディスプレイにより表示し、監視領域の監視を行うものである。
【０００３】このような車両周辺監視装置としては、本出願人が、特願平６−４２４３３号にて、提案した装置（以下先願装置という）がある。この先願装置は、車両に所定距離だけ離して設置された２台のＣＣＤカメラと、この画像情報を個別に格納保持するフレームメモリと、ＣＰＵなどにより構成されるデータ処理部と、ＣＣＤカメラからの画像あるいはデータ処理部により処理されたグラフィック画像などを表示するディスプレイと、ブザーなどにより構成される警報部とを有している。
【０００４】そして、この先願装置では、上記フレームメモリの一方に記録されている全ての画像情報を高さ０と仮定し、この画像情報を他方のカメラで撮像したとして得られる投影画像情報を作成し、作成された投影画像情報と他方のメモリに記録されている画像情報との差より路面上の画像を除去する。また、他方のフレームメモリに記録されているデータの水平方向の微分値と前記路面画像が除去された画像情報に基づいて物体のエッジを検出する。そして、この物体エッジについて、フレームメモリに記録されている画像情報により物体の位置を算出するとともにこの算出した物体の位置情報に基づいて警報を出力するものである。
【０００５】このような先願装置は、ＣＣＤカメラにより撮像された画像情報に基づいて、高さ「０」である背景画像すなわち路面画像を除去することにより物体のエッジ画像を生成し、生成したエッジ画像に基づいて物体と車両との相対位置などを算出するように構成したので、無用な演算処理が省け、処理を高速化できるという特徴を有している。
【０００６】
【発明が解決しようとする課題】ところで、上述したようにこの先願装置においては、撮像手段としてＣＣＤカメラを採用しているので、撮像領域内に太陽光による反射面や光源といった極めて高輝度の画像が存在すると、この高輝度画像から画面の上下方向の全域に亘って直線状に延びる高輝度の直線画像、いわゆるスミアと呼ばれる画像が現れる。このスミアは、上述した２台のＣＣＤカメラにより撮像した画像情報において、双方の画像情報あるいは一方の画像情報上に現れる。すなわち、その撮像条件に応じて様々なパターンで現れる。
【０００７】そして、このようなスミアが出現した場合には、このスミアを物体のエッジ点と誤認識することにより、本来存在しない物体を検出してしまう可能性があり、この点において、さらなる改良の余地があった。よって本発明は、このような改良点に鑑み、スミアによる物体の誤検出をなくすことができる車両周辺監視装置を提供することを課題とする。
【０００８】
【課題を解決するための手段】上記課題を解決するため、本発明によりなされた車両周辺監視装置は、図１の基本構成図に示すように、車両周辺の所定範囲を撮像するＣＣＤカメラ（１１）を有し、当該ＣＣＤカメラ（１１）からの画像情報に基づいて前記車両の周辺に存在する物体に関する情報を運転者に与える車両周辺監視装置において、高輝度光源によりＣＣＤカメラ（１１）による撮像画像上に現れる直線状のスミア画像を検出するスミア検出手段（４１ａ）と、前記スミア検出手段により検出されたスミア画像を除去するスミア除去手段（４１ｂ）を有することを特徴としている。（請求項１）
【０００９】また、前記スミア検出手段（４１ａ）は、前記ＣＣＤカメラ（１１）からの画像情報に基づいてエッジ画像を生成するエッジ画像生成手段（４１ｃ）と、前記エッジ画像を構成する画素の着目画素について、その座標値を取得する座標値取得手段（４１ｄ）と、前記着目画素の座標値に基づいて、前記ＣＣＤカメラ（１１）からの画像情報中にて前記着目画素に対応する対応画素の輝度値を取得する第１輝度値取得手段（４１ｅ）と、前記第１輝度値取得手段（４１ｅ）からの対応画素の輝度値に基づき、前記対応画素の輝度値が規定値以上であった場合に、前記ＣＣＤカメラ（１１）からの画像情報を参照し、前記対応画素を含む直線上に存在する画素群の輝度値を取得する第２輝度値取得手段（４１ｆ）と、前記第２輝度値取得手段（４１ｆ）により取得された画素群の輝度値に基づき、前記対応画素を含む直線上に存在する画素群がスミア画像であるか否かを判定するスミア判定手段（４１ｇ）とを有していることを特徴としている。（請求項２）
【００１０】また、前記スミア除去手段（４１ｂ）は、前記スミア判定手段（４１ｇ）によりスミア画像と判定された画素群に隣接する境界線上の画素群の輝度値を取得する第３輝度値取得手段（４１ｈ）と、前記第３輝度値取得手段（４１ｈ）により取得された境界線上の画素群の輝度値に基づいて前記スミア画像と判定された画素群の輝度値を算出するとともに当該算出した輝度値によりスミア画像と判定された画素群を補間する画像補間手段（４１ｉ）とを有することを特徴としている。（請求項３）
【００１１】また、前記座標値取得手段（４１ｄ）は、前記エッジ画像生成手段（４１ｃ）により生成されたエッジ画像中の任意の一列についてエッジ点を探索することを特徴としている。（請求項４）
【００１２】また、車両に所定距離だけ離して設置され、車両周辺の所定範囲を撮像する２台のＣＣＤカメラ（１１Ｒ、１１Ｌ）を有し、当該ＣＣＤカメラ（１１Ｒ、１１Ｌ）からの画像情報に基づいて前記車両の周辺に存在する物体に関する情報を運転者に与える車両周辺監視装置において、高輝度光源によりＣＣＤカメラ（１１）による撮像画像上に現れる直線状のスミア画像を検出するスミア検出手段（４１ａ）と、前記スミア検出手段（４１ａ）により検出されたスミア画像を除去するスミア除去手段（４１ｂ）と、前記スミア除去手段（４１ｂ）によりスミア画像が除去された撮像画像について、一方のＣＣＤカメラ（１１Ｒ）にて撮像された全ての画像を高さ０と仮定し、この画像を他方のカメラで撮像したとして得られる投影画像データを作成し、作成された投影画像データと他方のメモリに記録されている画像データとの差より路面上の画像を除去し、物体のエッジを検出する物体エッジ検出手段（４１ｊ）と、前記物体エッジ検出手段（４１ｊ）にて検出された物体エッジにより物体の位置を算出する物体位置算出手段（４１ｋ）と、前記物体位置算出手段（４１ｋ）より算出された物体の位置に基づいて警報を出力する警報手段（６０）とを有すること特徴としている。（請求項５）
【００１３】上記請求項１の構成によれば、スミア検出手段（４１ａ）は、高輝度光源により現れる直線状のスミア画像を検出し、スミア除去手段（４１ｂ）は、この検出されたスミア画像を除去する。
【００１４】すなわち、スミア画像を検出する手段と、検出されたスミア画像を除去する手段とを設けたので、スミアによる物体の誤検出をなくすことができる。
【００１５】そして、上記スミア検出手段（４１ａ）の具体的構成としては、請求項２に示す構成が適用される。そして、同請求項の各構成は、次の作用をなす。すなわち、エッジ画像生成手段（４１ｃ）は、ＣＣＤカメラ（１１）からの画像情報に基づいて物体の縁部画像であるエッジ画像を生成し、座標値取得手段（４１ｄ）は、エッジ画像を構成する画素の着目画素について、その座標値を取得する。
【００１６】第１輝度値取得手段（４１ｅ）は、着目画素に対応する対応画素の輝度値をＣＣＤカメラ（１１）からの画像情報を参照することにより取得し、第２輝度値取得手段（４１ｆ）は、上記対応画素の輝度値が規定値以上であった場合に、前記ＣＣＤカメラ（１１）からの画像情報を参照し、前記対応画素を含む直線上に存在する画素群の輝度値を取得する。そして、スミア判定手段（４１ｇ）は、取得された画素群の輝度値に基づいてこの画素群がスミア画像であるか否かを判定する。
【００１７】このように、スミアを物体と同等に扱うことによりＣＣＤカメラからの撮像画像からスミアのエッジ画像を含むエッジ画像を取得する手段と、このスミアが直線状に現れるという性質を有することに基づいてスミア候補点を含む直線上に存在する画素群すなわちスミア画像の輝度値を取得するとともにこの取得した画素群の輝度値に基づいてこのスミア候補点がスミアに属するか否かを判定する手段とを設けたので、処理を単純化することができるとともにスミアを高速にかつ確実に検出することができる。
【００１８】また、上記スミア除去手段（４１ｂ）の具体的構成としては、請求項３に示す構成が適用される。そして、同請求項の各構成は、次の作用をなす。すなわち、第３輝度値取得手段（４１ｈ）は、前記スミア判定手段（４１ｇ）によりスミア画像と判定された画素群に隣接する境界線上の画素群の輝度値を取得し、画像補間手段（４１ｉ）は、この境界線上の画素群の輝度値に基づいて前記スミア画像と判定された画素群の輝度値を算出するとともに当該算出した輝度値によりスミア画像と判定された画素群の補間を行う。
【００１９】このように、スミアと判定された領域（直線）に隣接する撮像画像の境界線上に存在する画素の輝度値に基づき、スミアと判定された画素群の輝度値を算出し、この算出した輝度値によりスミア画像の補間を行うように構成したので、スミアと判定された領域に関し、その周囲領域の画素の輝度値に近い輝度値の画素として補間されるので、スミア除去後の画像に関して違和感の少ない画像を得ることができる。
【００２０】また、上記請求項４の構成においては、請求項２記載の座標値取得手段（４１ｄ）にてエッジ点を探索する場合に、前記エッジ画像中の任意の一列について探索を行うように構成している。
【００２１】すなわち、この請求項４の構成においては、スミアが画像の全域に亘って直線状に現れる性質を利用し、任意の一列のみを探索時の対象としているので、その処理が単純となり高速に行うことができる。
【００２２】また、上記請求項５の構成においては、スミア検出手段（４１ａ）は、高輝度光源により現れる直線状のスミア画像を検出し、スミア除去手段（４１ｂ）は、この検出されたスミア画像を除去する。
【００２３】物体エッジ検出手段（４１ｊ）は、スミア画像が除去された撮像画像について、一方のＣＣＤカメラ（１１Ｒ）にて撮像された全ての画像を高さ０と仮定し、この画像を他方のカメラで撮像したとして得られる投影画像データを作成し、作成された投影画像データと他方のメモリに記録されている画像データとの差より路面上の画像を除去することにより物体のエッジを検出する。物体位置算出手段（４１ｋ）は、この物体エッジにより物体の位置を算出し、警報手段（６０）は、算出された物体の位置に基づいて警報を出力する。
【００２４】すなわち、この請求項５の構成においては、スミア検出手段（４１ａ）及びスミア除去手段（４１ｂ）によりスミア画像が除去された撮像画像について、高さ「０」である背景画像すなわち路面画像を除去することにより物体のエッジ画像を生成し、生成したエッジ画像に基づいて物体と車両との相対位置などを算出するように構成したので、スミアが現れた画像においても物体と車両との相対位置などを算出することができる。
【００２５】
【発明の実施の形態】以下、本発明の実施の形態の具体例を図面を参照して説明する。図２は、本発明が適用される装置の構成を説明するブロック図で、同図において、１０は車両周辺を撮像する撮像部、２０はハンドルの舵角あるいは操舵輪の操舵角を検出し、この舵角情報を転回情報として出力する舵角検出部、３０は撮像部１０から得られた撮像画像情報あるいは車両の形状情報等を保持する記憶部、４０は予め格納されたプログラムに従って動作するコンピュータによって構成されるデータ処理部、５０はディスプレイ５１を備えた表示部、６０は警報音あるいは音声ガイダンスを発生する警報部である。
【００２６】上記撮像部１０は、ＣＣＤカメラ１１により構成されている。そして、このＣＣＤカメラ１１は、右側ＣＣＤカメラ１１Ｒと左側ＣＣＤカメラ１１Ｌとから構成されている。そして、これらのＣＣＤカメラ１１Ｒ及び１１Ｌは、所定距離隔てて互いに平行な状態で車両に取り付けられている。例えば、図３に示すように、車両１００の後方中央部の高さＨの位置に、車両の後方に向けて所定距離隔てて互いに平行に且つ俯角θS で取り付けられている。これにより、この撮像部１０は車両後方の監視領域１００ａ〔１００ａ（１１Ｒ）及び１００ａ（１１Ｌ）〕を撮像する。
【００２７】舵角検出部２０は、ハンドルの回転量及び回転方向を検出するハンドル舵角センサや操舵輪（一般的に前輪）の操舵角を検出する操舵角センサ（いずれも図示せず）などにより構成され、これらのセンサからの検出信号により車両の転回方向を転回情報として出力する。
【００２８】記憶部３０は、右側フレームメモリ３１Ｒ、左側フレームメモリ３１Ｌ、右側補正画像メモリ３２Ｒ、左側補正画像メモリ３２Ｌ、差分画像メモリ３３、微分画像メモリ３４及びエッジ画像メモリ３５を有している。上記右側フレームメモリ３１Ｒ及び左側フレームメモリ３１Ｌには、撮像部１０の右側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌにより撮像された画像情報が一時的に蓄えられる。
【００２９】上記右側補正画像メモリ３２Ｒ及び左側補正画像メモリ３２Ｌには、右側フレームメモリ３１Ｒ及び左側フレームメモリ３１Ｌに蓄えられた画像情報のそれぞれに対して所定の補正処理が施された補正画像情報が保持される。そして、上記差分画像メモリ３３、微分画像メモリ３４及びエッジ画像メモリ３５には、それぞれ後述する差分画像、微分画像及びエッジ画像が保持される。
【００３０】これらの各メモリ（フレームメモリ３１乃至エッジ画像メモリ３５）は、ｍ行×ｎ列の構成を有し、例えば５１２画素（ｍ）×５１２画素（ｎ）のメモリとして構成されている。そして、このメモリを構成する各画素には、例えば２５６階調（「０」乃至「２５５」）あるいは２階調（「０」または「１」）の輝度値データが格納される。
【００３１】データ処理部４０は、動作プログラムに従って動作するＣＰＵ４１と、この動作プログラムが格納されたＲＯＭ４２と、ＣＰＵ４１の動作時において必要な情報を一時格納するＲＡＭ４３とを有している。表示部５０は、ディスプレイ５１を有し、このディスプレイ５１はＣＰＵ４１から出力された表示画像信号に基づいて、物体の車両との相対位置を表示したりあるいは運転者に対するメッセージを表示したりする。警報部６０は、ＣＰＵ４１から出力されたブザー音信号あるいは音声ガイダンス信号に基づいて、スピーカ６１からブザー音あるいは音声ガイダンスを出力する。
【００３２】次に、以上説明した構成を有する具体例の動作をフローチャートを参照して説明する。この具体例においては、まず、図４のフローチャートのステップＳ１１０にて、撮像部１０の右側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌからの撮像画像を、それぞれ右側画像情報及び左側画像情報として、対応する右側フレームメモリ３１Ｒ及び左側フレームメモリ３１Ｌに格納する。
【００３３】すなわち、このステップＳ１１０では、例えば図６に示すような、２本の白線３００が描かれた路面４００及びこの路面４００に立設され、その表面が例えば金属光沢面といった反射面とされたポール状の物体２００（以下、単にポール２００という）の画像と、このポール２００に太陽光などの強い光が反射することにより現れた縦方向（Ｖ方向）の全域に亘って延びる直線状の光であるスミア５００の画像とが右側フレームメモリ３１Ｒ及び左側フレームメモリ３１Ｌに格納される。そして、このステップＳ１１０の処理が終了するとステップＳ１２０に移行する。
【００３４】ステップＳ１２０では、スミア除去処理を行う。このスミア除去処理は具体的には、図５のフローチャートによりなされる。以下、この図５のフローチャートを参照してこのスミア除去処理を説明する。
【００３５】このスミア除去処理では、まず、ステップＳ２１０にて処理対象となる画像の選択を行う。上述したように、このスミアは、その撮像条件に応じて、２台のＣＣＤカメラにより撮像した画像情報の双方の画像情報あるいは一方の画像情報上に様々なパターンで現れる。従って、スミアの検出並びに除去処理は、右側フレームメモリ３１Ｒ及び左側フレームメモリ３１Ｌに格納された双方の撮像画像について行う必要がある。そして、このステップＳ２１０では、処理対象とする撮像画像を右側フレームメモリ３１Ｒに格納された撮像画像と、左側フレームメモリ３１Ｌに格納された撮像画像のいずれにするかを選択する。
【００３６】引き続くステップＳ２２０では、上記ステップＳ２１０で選択された撮像画像について微分処理を施し、微分画像を作成する。より詳細には、このステップＳ２２０では、検出対象とされた側のフレームメモリ３１Ｒあるいは３１Ｌに格納された撮像画像に関し、そのｍ行ｎ列の画像データの輝度値Ｉm,n を水平方向（図６におけるＨ方向に相当）に走査し、次式（１）の演算によって微分画像を生成する。
｜Ｉm,n+1 −Ｉm,n ｜≧Ｅ0 ならば Ｅm,n ＝１ ｜Ｉm,n+1 −Ｉm,n ｜＜Ｅ0 ならば Ｅm,n ＝０ ・・・（１）
上記式中、Ｅ0 はしきい値
【００３７】そして、この微分処理を撮像画像に対して行った場合には、水平方向（図６におけるＨ方向）の輝度境界すなわち明るさに差を有する部分がエッジ画像すなわち値「１」が付与された画像として抽出される。このようにして作成された微分画像については、微分画像メモリ３４に格納される。そして微分画像を格納した後にステップＳ２３０に移行する。
【００３８】ステップＳ２３０では、エッジ点の探索を行う。このエッジ点の探索処理では、ステップＳ２２０で作成された微分画像（すなわち物体のエッジ画像）中の任意の一列の画素群について、この画素群を水平方向に走査しながらエッジ点を検出する処理すなわち値「１」が付与された画素を検出する処理がなされる。
【００３９】引き続くステップＳ２３１では、対象画像（撮像画像）中の画素の輝度値の取得処理がなされる。詳細には、このステップＳ２３１では、上記ステップＳ２３０で探索された画素群において、検出された画素すなわち値「１」が付与された画素についてその座標値を取得し、対象画像すなわちフレームメモリ３１Ｒあるいは３１Ｌに格納された撮像画像において対応する座標値の画素の輝度値を取得する。そして、このステップＳ２３１の処理が終了するとステップＳ２３２に移行する。
【００４０】ステップＳ２３２では、上記ステップＳ２３１で取得された撮像画像中の画素の輝度値を参照し、この輝度値が規定値以上であるかを判定する。この判定処理における規定値は、スミアを判定するための高輝度の所定値として与えられており、例えば値「２００」として与えられる。
【００４１】そして、このステップＳ２３２の判定処理では、上記ステップＳ２３１で取得した画素の輝度値に基づき、この輝度値が規定値（値「２００」）を超えていた場合（Ｙ）には、この画素をスミア候補点と判定し、引き続くステップＳ２４０に移行する。一方、この画素の輝度値が規定値（値「２００」）以下であった場合（Ｎ）には、この画素を通常の可視画像と判定するとともに上述したステップＳ２３０に移行してエッジ点の探索を行い、次のエッジ点の検出を行う。
【００４２】ステップＳ２４０では、垂直方向に存在する画素群の輝度値を取得する。この輝度値取得処理では、上記ステップＳ２３２でスミア候補点と判定された画素について、その画素から垂直方向に延びる直線上に存在する画素群の輝度値を、フレームメモリ３１Ｒあるいは３１Ｌを参照することにより取得する処理がなされる。
【００４３】引き続くステップＳ２４１では、上記ステップＳ２４０で取得した画素群の輝度値に基づき、この画素群を構成する全ての画素の輝度値が規定値以上であるかを判定する。なお、この判定処理における規定値は、上記ステップＳ２３２の規定値と同じくスミアを判定するための高輝度の所定値として与えられており、例えば値「２００」として与えられている。
【００４４】この判定処理において、判定対象の画素群の輝度値がこの規定値以上であった場合、すなわち上述したスミア候補点を含めた垂直方向に延びる画素群が全て高輝度の画素で構成されていた場合（Ｙ）にはステップＳ２４２に移行し、このステップＳ２４２にて、判定対象の画素群をスミア画像として認識する。そして、この認識したスミア画像の情報例えばスミア画像を示す座標情報については、データ処理部４０のＲＡＭ４３に格納保持する。
【００４５】一方、判定対象の画素群中に、輝度値が上述した規定値以下である画素が存在した場合（Ｎ）には、この判定対象の画素群はスミア画像ではないとして、上述したステップＳ２３０に移行してエッジ点の探索を行い、次のエッジ点の検出を行う。そして、上述したステップＳ２４２の処理が終了すると、ステップＳ２５０に移行する。
【００４６】ステップＳ２５０では、エッジ点の探索が終了したか否かを判定する。すなわち、このステップＳ２５０では、上記ステップＳ２３０で説明した画素群を水平方向に走査しながらエッジ点を検出する処理を、その水平方向全域に亘って実行したか否かを判定する。この判定処理は、その時点において走査対象となっている画素の座標値に基づいてなされ、この座標値が水平方向終端に相当する座標値であるか否かによりなされる。
【００４７】そして、この判定処理にて探索終了すなわち走査対象となっている画素の座標値水平方向終端に相当する座標値であった場合（Ｙ）にはステップＳ２６０に移行し、未だ探索途中である場合（Ｎ）には、上述したステップＳ２３０に移行して残りのエッジ点の探索を行う。
【００４８】ステップＳ２６０では、スミア画像の有無を判定する。このスミア画像の有無判定は、データ処理部４０のＲＡＭ４３に格納保持されたスミア画像の情報に基づいてなされる。そして、このＲＡＭ４３にスミア画像の存在を示す情報が格納されている場合には「スミア有（Ｙ）」と判定してステップＳ２７０に移行し、またスミア画像の存在を示す情報が格納されていない場合には「スミア無（Ｎ）」と判定してステップＳ２８０に移行する。
【００４９】ステップＳ２７０では、境界線上画素群の輝度値取得処理を行う。詳細には、このステップＳ２７０では、上記ステップＳ２６０によりスミア画像と判定された画素群の座標値をＲＡＭ４３を参照することにより取得し、この取得した座標値に基づきこのスミア画像に隣接する境界線上の画素群の輝度値を取得する。なお、このステップＳ２７０の輝度値取得処理は、上述したスミア画像を挟む両脇の境界線上画素群について行なわれる。
【００５０】引き続くステップＳ２７１では、ステップＳ２７０で取得した境界線上画素群の輝度値に基づき、スミア画像と判定された画素群の輝度値を算出するとともに当該算出した輝度値によりスミア画像と判定された画素群の補間を行う。すなわち、この補間処理では、処理対象となるフレームメモリ３１Ｒあるいは３１Ｌに格納された撮像画像を参照し、上記ステップＳ２７０で取得したスミア画像の両脇に存在する境界線上画素群の輝度値に基づき、補間対象となる画素の両脇の画素の輝度値を平均し、この平均値を補間対象となる画素の輝度値に置換することにより上記撮像画像に対する補間を行う。そして、このステップＳ２７１の補間処理が終了すると、ステップＳ２８０に移行する。
【００５１】ステップＳ２８０では、上述した一連の処理が、右側フレームメモリ３１Ｒ及び左側フレームメモリ３１Ｌに格納された双方の撮像画像について行なわれたか否かを判定する。そして、このステップＳ２８０にて、一連のスミア除去処理が双方の撮像画像に対して行われた場合（Ｙ）には、このスミア除去処理を終了し、図４のフローチャートにおけるステップＳ１３０に移行する。また、一連のスミア除去処理が一方の撮像画像にしか行われていない場合（Ｎ）には、再度ステップＳ２１０に移行し、未処理の撮像画像に対する一連の処理を実行する。
【００５２】ここで、以上説明した一連のスミア除去処理の実際の動作について、図６乃至図９の模式図を参照して説明する。このスミア除去処理においては、まず処理対象となる撮像画像を設定し（Ｓ２１０）、そして、この処理対象となる撮像画像に対し、上式（１）にて説明した微分処理を実行する（Ｓ２２０）。
【００５３】例えば、図６にて例示した撮像画像に対してこの微分処理を行った場合には、図７に示すように、符号ＥＤ１及びＥＤ２、ＥＤ７及びＥＤ８で示す２本の白線３００の縁部の画像と、符号ＥＤ３及びＥＤ４で示すポール２００の垂直方向縁部の画像と、符号ＥＤ５及びＥＤ６で示すスミア５００の縁部の画像がエッジ画像として抽出された微分画像、すなわちこのエッジ画像については値「１」が付与され、その他の画像については値「０」が付与された画像が作成される。そして、この作成された微分画像が、記憶部３０の微分画像メモリ３４に格納される。
【００５４】次いで、図７に符号ＨＬで示す左端画素Ｈ１から右端画素Ｈ６に亘る水平方向画素列について、左端画素Ｈ１から順に走査を行うことによりエッジ点の探索を行う。この探索により、同図の例においてはまず符号Ｈ２で示すエッジ点が検出される（Ｓ２３０）。そして、このエッジ点Ｈ２に対応する撮像画像中の画素の輝度値すなわち図６に符号Ｈ２´で示す画素の輝度値を取得し（Ｓ２３１）、この画素Ｈ２´の輝度値がスミアを判定するための規定値を超えているかを判定する。
【００５５】仮に、この規定値が図８に示すように輝度値「２００」であり、また画素Ｈ２´の輝度値が値「１８０」であったとすると、このエッジ点Ｈ２はスミア候補点でないと判定される（Ｓ２３２）。そして、再度、水平方向画素列について探索を行うことより、次の検出点であるエッジ点Ｈ３が検出される（Ｓ２３０）。このエッジ点Ｈ３についても対応する撮像画像中の画素の輝度値の取得がなされ、これにより図６に符号Ｈ３´で示す画素の輝度値が取得される（Ｓ２３１）。
【００５６】そして、この画素Ｈ３´の輝度値が値「２１０」であったとすると、このエッジ点Ｈ３は上述した規定値「２００」を超えているので、このエッジ点Ｈ３はスミア候補点と判定される（Ｓ２３２）。この判定を受けて、撮像画像中にて対応する画素群、すなわち画素Ｈ３´を含む垂直方向に存在する画素群の輝度値を取得する。より詳細には、図６に符号Ｖ１１´並びにＶ１２´で示す上下端画素を結ぶ垂直方向の直線ＶＬ１´上に存在する垂直画素群の輝度値を取得する（Ｓ２４０）。
【００５７】次に、この取得した画素群の輝度値が、図８で説明したスミアを判定するための規定値を超えているかを判定する。この場合、この直線ＶＬ１´上の垂直画素群には、比較的低輝度の路面４００の画像が含まれているので、この垂直画素群を構成する画素に規定値以下である画素が存在していると判定され、これによりこのエッジ点Ｈ３はスミア画像でないと判定する（Ｓ２４１）。
【００５８】これにより、再度、水平方向画素列について探索が行なわれ、次の検出点であるエッジ点Ｈ４が検出され、対応する撮像画像中の画素、すなわち図６に符号Ｈ４´で示す画素の輝度値が取得される（Ｓ２３０、Ｓ２３１）。
【００５９】そして、この画素Ｈ４´の輝度値が値「２４０」であったとすると、このエッジ点Ｈ４はスミア候補点と判定される（Ｓ２３２）。これにより、画素Ｈ４´を含む垂直方向に存在する画素群、すなわち図６に符号Ｖ２１´並びにＶ２２´で示す上下端画素を結ぶ垂直方向の直線ＶＬ２´上に存在する垂直画素群の輝度値が取得される（Ｓ２４０）。
【００６０】次に、この取得した画素群の輝度値についての判定がなされる。この場合、この直線ＶＬ２´上の垂直画素群は、スミア５００の画像であるので、その全てが上述した規定値「２００」を超えている。これにより、このエッジ点Ｈ４はスミア画像であると判定され（Ｓ２４１、Ｓ２４２）、このエッジ点Ｈ４を含む直線ＶＬ２´上の垂直画素群すなわち図６における直線ＶＬ２に関する情報がスミア画像情報としてＲＡＭ４３に格納される。
【００６１】そして、再度、水平方向画素列について探索が行なわれ、次の検出点であるエッジ点Ｈ５が検出され、対応する撮像画像中の画素、すなわち図６に符号Ｈ５´で示す画素の輝度値（値「２４０」）が取得される（Ｓ２３０、Ｓ２３１）。この画素Ｈ５´についても、先の画素Ｈ４´と同様にその輝度値に基づいて候補点と判定され（Ｓ２３２）、その垂直画素群すなわちＶＬ３´上に存在する垂直画素群の輝度値が取得される（Ｓ２４０）。
【００６２】さらに、この取得した垂直画素群の輝度値について判定がなされる。この垂直画素群は、上述したエッジ点Ｈ４の垂直画素群と同様にスミア５００の画像であるので、スミア画像であると判定され（Ｓ２４１、Ｓ２４２）、このエッジ点Ｈ５を含む直線ＶＬ３´上の垂直画素群すなわち図７における直線ＶＬ３に関する情報がスミア画像情報としてＲＡＭ４３に格納される。
【００６３】そして、図７における右端画素Ｈ６まで探索が終了したことを確認した（Ｓ２５０）後にスミアの有無を判定する（Ｓ２６０）。上述した例においては、スミア５００によるエッジ画像（図７におけるＶＬ２、ＶＬ３）が検出されているので、「スミア有」と判定してこのスミア画像を除去する処理を行う。
【００６４】このスミア画像の除去処理では、まず、スミアとして検出されたエッジ画像に隣接する境界線上の画素群の輝度値を取得する処理を行う。例えば、図９（ａ）に示すように、α、β及びγ行及びａ、ｂ、ｃ及びｄ列の画素からなるマトリクス状のフレームメモリ構成が与えられ、ｃ列がスミア画像に対応する画素群であったとすると、同図に示すように、画素αｃ、・・・・、γｃがいずれも輝度値「２３０」と高輝度を示す。
【００６５】そして、この場合にはスミア画像の両脇であるｂ列（画素αｂ、・・・・、γｂ）及びｄ列（画素αｄ、・・・・、γｄ）の画素群の輝度値を取得する（Ｓ２７０）。続いて、この取得した画素群の輝度値に基づき、スミア画像と判定された画素群を補間するための輝度値を算出する（Ｓ２７１）。この輝度値の算出は、スミア画像と判定された画素の両脇の画素の平均値を算出することによりなされる。
【００６６】そして、図９（ｂ）に示すように、α行では、画素αｂの輝度値「１００」と画素αｄの輝度値「１１０」の平均値「１０５」をスミア画像の画素αｃの輝度値とする。同様に、β行では、画素βｂの輝度値と画素βｄの輝度値とが同値「１２０」であるので、この値「１２０」をスミア画像の画素βｃの輝度値とし、γ行では、画素γｂの輝度値「１１０」と画素γｄの輝度値「９０」の平均値「１００」をスミア画像の画素γｃの輝度値とし、各輝度値による画像の補間を行っている。
【００６７】また、図９（ｃ）に示すように、スミア画像が複数列（ｂ列乃至ｄ列）に亘っている場合には、上述した例と同様にスミア画像の両脇であるａ列（画素αａ、・・・・、γａ）及びｅ列（画素αｅ、・・・・、γｅ）の画素群の輝度値を取得し、この取得した輝度値に基づいて各画素の輝度値を段階的に変化させている。例えば、図９（ｄ）に示すように、その画素αａが輝度値「１００」であり画素αｅが輝度値「１２０」であった場合、このα行については、画素αｂに輝度値「１０５」、画素αｃに輝度値「１１０」、画素αｄに輝度値「１１５」がっといったように、その輝度値の変化量が略等しくなるように段階的に変化させた輝度値が与えられている。
【００６８】このように、スミアと判定された領域（直線）に隣接する撮像画像の境界線上に存在する画素の輝度値に基づき、スミアと判定された画素群の輝度値を算出し、この算出した輝度値によりスミア画像の補間を行うように構成したので、スミアと判定された領域に関し、その周囲領域の画素の輝度値に近い輝度値の画素として補間されるので、スミア除去後の画像に関して違和感の少ない画像を得ることができる。
【００６９】また、上述した一連のスミア除去処理においては、スミア５００を物体と同等に扱うことによりＣＣＤカメラ１１からの撮像画像からスミアのエッジ画像を含むエッジ画像を取得し、このスミアが直線状に現れるという性質を有することに基づいてスミア候補点を含む直線上に存在する画素群すなわちスミア画像の輝度値を取得するとともにこの取得した画素群の輝度値に基づいてこのスミア候補点がスミアに属するか否かを判定するように構成したので、処理を単純化することができるとともにスミアを高速にかつ確実に検出することができる。
【００７０】また、スミアが画像の全域に亘って直線状に現れる性質を利用し、任意の一列のみを探索時の対象としているので、その処理が単純となり高速に行うことができる。
【００７１】次に、以上説明したステップＳ１２０の処理に続いてなされるステップＳ１３０以降の処理について説明する。ステップＳ１３０では、上述したステップＳ１２０のスミア除去処理が施された撮像画像に対し、歪曲収差の補正処理を行う。すなわち、上記ステップＳ１２０の撮像画像は、ＣＣＤカメラ１１が有するレンズの歪曲収差を含んだ画像となっている。そしてこの歪曲収差は後述する物体の位置検出における誤差の原因となる。
【００７２】例えば、格子状の模様を撮像した場合について考えてみると、ＣＣＤカメラ１１のレンズに収差がないときには、図１０（ａ）に示すようにこの格子状の模様がそのままフレームメモリ３１に格納されている。また、そのレンズに収差があるときには、図１０（ｂ）に示すように光軸を中心としてその中央部の画像が外方に膨らんだ樽形に歪曲した画像、あるいは図１０（ｃ）に示すように光軸を中心としてその中央部の画像が内側に湾曲した糸巻形に歪曲した画像がフレームメモリ３１に格納されている。
【００７３】そして、このステップＳ１３０では、上述した図１０（ｂ）あるいは図１０（ｃ）に示すような歪曲画像に対して補正処理を施すことにより補正画像情報を生成し、この補正画像情報を右側補正画像メモリ３２Ｒ及び左側補正画像メモリ３２Ｌに格納する。以下、この画像の歪曲収差の補正処理について説明する。
【００７４】図１０（ｄ）に示すように、歪曲収差が無い時の点Ｐ（ｘ0 ，ｙ0 ）が歪曲収差によって点Ｐ′（ｘ，ｙ）に結像したものとすると、その収差量Ｄは次式（２）により表すことができる。
Ｄ＝［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 ・・・（２）
【００７５】そして、図１０（ｂ）あるいは図１０（ｃ）に示すような歪曲画像において、その収差量Ｄは光軸からの距離の３乗に比例して大きくなる。すなわち、レンズの中心点より点Ｐまでの距離の３乗に比例するので、上記式（２）の右辺は、次式（３）により表すことができる。
［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 ＝ｋ1 ［（ｘ02−ｙ02）0.5 ］3 ・・・（３）
上記式中、ｋ1 はレンズによって定まる比例定数
【００７６】従って、レンズに歪曲収差が存在する場合は、例えば次式（４）の演算を行うことによりこの歪曲収差を補正することができる。
ｘ0 ≒ｘ（１＋ｋ1 （ｘ2 ＋ｙ2 ））
ｙ0 ≒ｙ（１＋ｋ1 （ｘ2 ＋ｙ2 ）） ・・・（４）
【００７７】ところで、この式（４）の演算により画像の歪曲収差の補正を行った場合には、隣接画素間の距離が離れてしまい画像の抜けが生じることがある。データ処理部４０は、この画像の抜けに関し、隣接する画素の情報に基づいて補間を行う。そして、このような補正処理及び補間処理が施された画像情報は、補正画像情報として右側補正画像メモリ３２Ｒ及び左側補正画像メモリ３２Ｌにそれぞれ格納し、ステップＳ１３０の歪曲収差の補正処理を終了する。
【００７８】引き続くステップＳ１４０では、路面画像の除去処理を行う。この路面画像の除去処理を説明するにあたり、まず、図３にて説明した光学系において撮像領域（監視領域１００ａ）内における物体の位置算出処理について説明する。
【００７９】ＣＣＤカメラ１１は、図３にて説明したように、車両後方の所定位置に設置俯角θS で取り付けられており、監視領域１００ａを撮像している。従ってＣＣＤカメラ１１による撮像画像はこの所定位置を基準とした画像となっているので、この撮像画像から算出した位置もこの所定位置を基準とした位置となっている。そこで、以後の説明を容易にするため、図１１に示すように、この所定位置すなわちカメラ設置位置を基準とした座標をＸ′，Ｙ′，Ｚ′で表わし、路面を基準とした座標をＸ，Ｙ，Ｚで表わすものとする。
【００８０】そして、このカメラ設置位置を基準としたＸ′，Ｙ′，Ｚ′座標系においては、図１２（ａ）に示すように、Ｚ′軸はＣＣＤカメラ１１のレンズ光軸として定義され、上記Ｘ′軸は路面と平行な軸として定義され、また上記Ｙ′軸はＺ′軸とＸ′軸の双方に直交する軸として定義されている。従って、右側ＣＣＤカメラ１１Ｒ及び左側ＣＣＤカメラ１１Ｌは、それぞれのレンズ光軸がＺ′軸と一致するように配置されている。また、Ｘ′軸に関し、このＸ′軸上にそれぞれのレンズの中心点が位置するよう配置されるとともに互いに距離ｄｘａだけ離間して配置されている。以後の説明を容易にするため、Ｘ′，Ｙ′およびＺ′軸の原点Ｏを左側ＣＣＤカメラ１１Ｒのレンズの中心として定義することとする。
【００８１】以上のように設置されたＣＣＤカメラ１１によって撮像された点Ｐ（ＸP ′，ＹP ′，ＺP ′）は、右側補正情報メモリ３２ＲにＰR （ｘRP，ｙRP）として保持され、左側補正情報メモリ３２ＬにＰL （ｘLP，ｙLP）として保持される。
【００８２】そしてこの点ＰのＺ′座標ＺP ′は、図１２（ｂ）のＸ′Ｚ′平面における模式図で示すように、三角形の相似にて求めることができる。すなわち、この距離ＺP ′は、次式（５）で表すことができる。
ＺP ′＝ｄｘａ・ｆ／（ｘLP−ｘRP） ・・・（５）
上記式中、ｄｘａは両レンズの間隔ｆはレンズの焦点距離
【００８３】同様に点ＰのＸ′座標ＸP ′についても、図１２（ｂ）のＸ′Ｚ′平面の模式図で示すように、三角形の相似にて求めることができる。そして点ＰのＹ′座標ＹP ′についても、図示しないＹ′Ｚ′平面を想定することにより、同様にして求めることができる。すなわち、これら点ＰのＸ′座標ＸP ′及びＹ′座標ＹP ′は、それぞれ次式（６）及び式（７）で求めることができる。
ＸP ′＝ＺP ′ｘLP／ｆ ＝ｄｘａ・ｘLP／（ｘLP−ｘRP） ・・・（６）
ＹP ′＝ＺP ′ｙLP／ｆ ＝ｄｘａ・ｙLP／（ｘLP−ｘRP） ・・・（７）
なお、上記座標ＸP ′に関し、その基準座標を右側ＣＣＤカメラ１１Ｒと左側ＣＣＤカメラ１１Ｌの間とする場合には、上式（５）で算出された座標ＸP ′と両レンズの間隔ｄｘａの１／２の差分をとればよい。
【００８４】以上の式（５）乃至式（７）にて算出されたＸ′Ｙ′Ｚ′座標系における点Ｐ（ＸP ′，ＹP ′，ＺP ′）は、上述したようにカメラ設置位置を基準とした座標系の座標値であるので、この座標値を路面を基準としたＸＹＺ座標系における座標値に変換する必要がある。この場合、撮像部１０（ＣＣＤカメラ１１）の俯角がθS であるとすれば、Ｘ′Ｙ′Ｚ′座標での点Ｐの座標（ＸP ′，ＹP ′，ＺP ′）と路面を基準としたＸＹＺ座標との関係は上述した図１１で示すようになる。
【００８５】従って、上式（５）乃至式（７）で算出した座標（ＺP ′，ＹP ′，ＸP ′）は、次式（８）〜式（10）の実行により、ＸＹＺ座標系における点Ｐの座標（ＸP ，ＹP ，ＺP ）に変換することができる。
ＸP ＝ＸP ′ ・・・（８）
ＹP ＝Ｈ−ＺP ′cos θS ＋ＹP ′sin θS ・・・（９）
ＺP ＝ＺP ′sin θS ＋ＹP ′cos θS ・・・（10）
【００８６】次に、このステップＳ１４０の路面画像（高さ「０」の画像）の除去処理について説明する。図１３（ａ）は、右側ＣＣＤカメラ１１Ｒで撮像された後、上述した歪曲収差補正が施され、そして右側補正画像メモリ３２Ｒに保持された右側補正画像を示している。同図において、３００は路面上に画かれた白線、また２００はポール状の物体である。ここで、この右側補正画像メモリ３２Ｒに保持されている右側補正画像に関し、その全ての画像が高さ「０」の背景画像すなわち路面上に描かれている画像だと仮定する。そしてこのように仮定した右側補正画像に基づき、この右側補正画像があたかも左側ＣＣＤカメラ１１Ｌの撮像位置で撮像された画像（投影画像）となるよう変換処理を行う〔図１３（ｂ）〕。
【００８７】以下、この投影画像の変換処理について説明する。ここで、右画像の点ＰR （ｘRP，ｙRP）に対応する投影画像の点をＰL ′（ｘLP′，ｙLP′）とする。図１１に示すように、カメラ座標のＸ′軸と路面座標のＸ軸は平行であり、また、カメラによって撮像する走査線のｘ軸（図１２のｘL 軸およびｘR 軸）も共に平行であるとすると、同一物体を撮像した場合の撮像画像のｙL とｙR 値は一致する。そして、画像の全てが路面上であるとすれば、上式（９）で示すＹP の値は０となる。以上から次式（１１）及び式（１２）を導くことができる。そして、式（１２）のＺP ′およびＹP ′に式（５）のＺP ′及び式（７）のＹP ′を代入することにより、式（１３）に示すように、ｘLP′を求めることができる。
【００８８】
ｙLP′＝ｙRP ・・・（11）
０＝ＨP −ＺP ′cos θS ＋ＹP ′sin θS ・・・（12）
ｘLP′＝（ｄｘａ・ｆcos θS −ｄｘａ・ｙRPsin θS ）／Ｈ＋ｘRP ・・・（13）
そして、上式（１１）及び式（１３）の演算を行なうことにより、データ処理部４０（ＣＰＵ４１）は、投影画像〔図１３（ｂ）〕を作成する。
【００８９】そして、このようにして作成した投影画像を左側補正画像に重畳すると図１３（ｃ）のようになる。すなわち、右側ＣＣＤカメラ１１Ｒで撮像された画像を投影した場合、路面上に画かれている白線等の模様は左側ＣＣＤカメラ１１Ｌで撮像された模様と位置、輝度共に一致し、物体が路面より高くなるに従って差が大きくなる。
【００９０】従って、左画像データと投影画像データの差分をとることにより、高さのある物体を構成する画素以外の路面を構成する画素の輝度値は値「０」または値「０」に近い値となる。そして所定しきい値以下を値「０」とすれば、全て値「０」となる。
【００９１】このようにして、左画像データと投影画像データの差分をとることにより、その差分画像は図１３（ｄ）に示すように、路面画像（高さ「０」の背景画像）が除去され、高さのある部分のみが値「０」以外の値として取り出される。そして、この差分画像については記憶部３０の差分画像メモリ３３に格納される。
【００９２】以上説明したように、このステップＳ１４０では、撮像画像中の高さ「０」の路面画像を除去し、高さのある画像すなわち物体の画像のみを抽出する。そして、このステップＳ１４０の路面画像除去処理が終了するとステップＳ１５０に移行して物体の位置算出処理を行う。
【００９３】このステップＳ１５０の物体の位置算出処理では、まず抽出した物体画像についてのエッジの抽出処理を行う。以下、この物体エッジ抽出処理について説明する。この物体エッジ抽出処理は、左側補正画像メモリ３２Ｌに格納された画像情報に対してなされる。すなわち、左側補正画像メモリ３２Ｌに格納されている左側補正画像に関し、そのｍ行ｎ列の画像データの輝度値Ｉm,n を水平方向すなわち図１２におけるＸ′軸方向に走査し、次式（１４）の演算によって微分画像を生成する。
｜Ｉm,n+1 −Ｉm,n ｜≧Ｅ0 ならば Ｅm,n ＝１ ｜Ｉm,n+1 −Ｉm,n ｜＜Ｅ0 ならば Ｅm,n ＝０ ・・・（14）
上記式中、Ｅ0 はしきい値
【００９４】この微分画像は、図１４（ｂ）に示すように、物体や路面に画かれている文字等の縦方向エッジ部分が「１」に、その他の部分は「０」となった画像となる。そして、この微分画像は記憶部３の微分画像メモリ３４に上書きされ保持される。
【００９５】このようにして求めた微分画像〔図１４（ｂ）〕と、前述した路面画像除去処理で生成され差分画像メモリ３３に保持された差分画像〔図１３（ｄ）〕と重ね合せてアンドを取ると、図１４（ｃ）で示す物体のエッジ部分のみが抽出された物体エッジの画像が生成される。そして、この物体エッジ画像を物体を示す情報として、エッジ画像メモリ３５に格納する。
【００９６】そしてデータ処理部４０（ＣＰＵ４１）は、このエッジ画像メモリ３５に格納された物体エッジ画像に基づいて物体を認識し、この物体エッジ画像の各座標点について図１１及び図１２にて説明した３次元位置座標算出動作を行い、このエッジ画像の３次元座標値を算出する ことにより、認識した物体すなわち物体エッジと車両との相対位置を算出する。
【００９７】引き続くステップＳ１６０では、障害物の有無を判定する。すなわち、このステップＳ１６０では、上記ステップＳ１５０にて算出したエッジ画像の３次元座標値に基づき、図３にて説明した撮像領域１００ａ内に障害物があるか否かを判定する。そして、このステップＳ１６０にて「障害物無」と判定した場合には、ステップＳ１１０に移行し、次動作周期の処理動作を再度実行する。また、このステップＳ１６０にて「障害物有」と判定した場合には、引き続くステップＳ１７０に移行する。
【００９８】ステップＳ１７０では、車両進路予測処理を行う。このステップＳ１７０の車両進路予測処理では、舵角検出部２０（図２参照）からの転回情報を読み込むとともにこの読み込んだ転回情報に基づいて車両の進路を予測し、この予測進路にさらに車両の形状情報を加味して車両の予測軌跡を算出する。そして、この算出した車両の予測軌跡は、データ処理部４０のＲＡＭ４３に格納する。
【００９９】引き続くステップＳ１８０では、上記ステップＳ１７０にて算出した予測軌跡と上記ステップＳ１５０にて算出した障害物の３次元座標値に基づいて、障害物と車両の衝突の可能性が有るか否かを判定する。そして「衝突の可能性有り」と判定された場合には警報部６０のスピーカにより警報音を発生して運転者にその旨を知らせる。そして、このステップＳ１８０の警報処理の終了により一連の処理動作が終了し、再度ステップＳ１１０に移行して次動作周期における処理動作を実行する。
【０１００】以上の説明から明らかなように、この具体例においては、スミア画像が除去された撮像画像について、高さ「０」である背景画像すなわち路面画像を除去することにより物体のエッジ画像を生成し、生成したエッジ画像に基づいて物体と車両との相対位置などを算出するように構成したので、スミアが現れた画像においても物体と車両との相対位置などを算出することができる。
【０１０１】また、スミアの除去処理をレンズの歪曲収差を補正する処理より前に行なうように構成しているので、スミア画像がレンズの歪曲収差の補正により湾曲することながない。これにより、スミアを簡単に除去することができる。
【０１０２】そして、本発明の基本構成と具体例の動作を示すフローチャートは、次の対応関係を有している。すなわち、スミア検出手段（４１ａ）は図５のフローチャートにおけるステップＳ２１０乃至Ｓ２５０に対応し、スミア除去手段（４１ｂ）は同じくステップＳ２７０乃至Ｓ２７１に対応している。
【０１０３】また、エッジ画像生成手段（４１ｃ）は同フローチャートにおけるステップＳ２２０に、座標値取得手段（４１ｄ）は同じくステップＳ２３０に、第１輝度値取得手段（４１ｅ）は同じくステップＳ２３１に、第２輝度値取得手段（４１ｆ）は同じくステップＳ２４０に、スミア判定手段（４１ｇ）は同じくステップＳ２４１に対応している。
【０１０４】また、第３輝度値取得手段（４１ｈ）は同フローチャートにおけるステップＳ２７０に対応し、画像補間手段（４１ｉ）は同じくステップＳ２７１に対応している。
【０１０５】また、物体エッジ検出手段（４１ｊ）は図４フローチャートにおけるステップＳ１４０に対応し、物体位置算出手段（４１ｋ）は同じくステップＳ１５０に対応している。
【０１０６】
【発明の効果】以上説明したように、本発明の車両周辺監視装置によれば次の効果を奏する。すなわち、スミア画像を検出する手段と、検出されたスミア画像を除去する手段とを設けたので、スミアによる物体の誤検出をなくすことができる。
【０１０７】また、スミアを物体と同等に扱うことによりＣＣＤカメラからの撮像画像からスミアのエッジ画像を含むエッジ画像を取得する手段と、このスミアが直線状に現れるという性質を有することに基づいてスミア候補点を含む直線上に存在する画素群すなわちスミア画像の輝度値を取得するとともにこの取得した画素群の輝度値に基づいてこのスミア候補点がスミアに属するか否かを判定する手段とを設けたので、処理を単純化することができるとともにスミアを高速にかつ確実に検出することができる。
【０１０８】また、スミアと判定された領域（直線）に隣接する撮像画像の境界線上に存在する画素の輝度値に基づき、スミアと判定された画素群の輝度値を算出し、この算出した輝度値によりスミア画像の補間を行うように構成したので、スミアと判定された領域に関し、その周囲領域の画素の輝度値に近い輝度値の画素とて補間されるので、スミア除去後の画像に関して違和感の少ない画像を得ることができる。
【０１０９】また、スミアが画像の全域に亘って直線状に現れる性質を利用し、任意の一列のみを探索時の対象としているので、その処理が単純となり高速に行うことができる。
【０１１０】また、スミア検出手段及びスミア除去手段によりスミア画像が除去された撮像画像について、高さ「０」である背景画像すなわち路面画像を除去することにより物体のエッジ画像を生成し、生成したエッジ画像に基づいて物体と車両との相対位置などを算出するように構成したので、スミアが現れた画像においても物体と車両との相対位置などを算出することができる。
【図面の簡単な説明】
【図１】本発明の基本構成を示す図である。
【図２】本発明が適用される装置の構成を説明するブロック図である。
【図３】撮像部１０を構成するＣＣＤカメラ１１の取付態様の説明図である。
【図４】具体例の動作を説明するフローチャートである。
【図５】スミア除去処理を説明するフローチャートである。
【図６】スミアを含む撮像画像を説明する図である。
【図７】スミアを含む撮像画像から生成された微分画像を説明する図である。
【図８】具体例におけるスミアを判定する規定値を説明する模式図である。
【図９】スミア画像を補間する処理を説明する図である。
【図１０】具体例におけるレンズ収差補正の説明図である。
【図１１】具体例におけるＣＣＤカメラの俯角補正の説明図である。
【図１２】具体例における３次元位置測定の説明図である。
【図１３】具体例における路面画像除去の説明図である。
【図１４】具体例における物体エッジ検出の説明図である。
【符号の説明】
１０ 撮像部
１１、１１Ｒ、１１Ｌ ＣＣＤカメラ
２０ 舵角検出部
３０ 記憶部
３１Ｒ，３１Ｌ フレームメモリ
３４ 微分画像メモリ
３５ エッジ画像メモリ
４０ データ処理部
４１ ＣＰＵ
４２ ＲＯＭ
４３ ＲＡＭ
５０ 表示部
６０ 警報部
１００ 車両
２００ 障害物
５００ スミア
【特許請求の範囲】
【請求項１】 車両周辺の所定範囲を撮像するＣＣＤカメラを有し、当該ＣＣＤカメラからの画像情報に基づいて前記車両の周辺に存在する物体に関する情報を運転者に与える車両周辺監視装置において、高輝度光源によりＣＣＤカメラによる撮像画像上に現れる直線状のスミア画像を検出するスミア検出手段と、前記スミア検出手段により検出されたスミア画像を除去するスミア除去手段を有することを特徴とする車両周辺監視装置。
【請求項２】 前記スミア検出手段は、前記ＣＣＤカメラからの画像情報に基づいてエッジ画像を生成するエッジ画像生成手段と、前記エッジ画像を構成する画素の着目画素について、その座標値を取得する座標値取得手段と、前記着目画素の座標値に基づいて、前記ＣＣＤカメラからの画像情報中にて前記着目画素に対応する対応画素の輝度値を取得する第１輝度値取得手段と、前記第１輝度値取得手段からの対応画素の輝度値に基づき、前記対応画素の輝度値が規定値以上であった場合に、前記ＣＣＤカメラからの画像情報を参照し、前記対応画素を含む直線上に存在する画素群の輝度値を取得する第２輝度値取得手段と、前記第２輝度値取得手段により取得された画素群の輝度値に基づき、前記対応画素を含む直線上に存在する画素群がスミア画像であるか否かを判定するスミア判定手段とを有していることを特徴とする請求項１記載の車両周辺監視装置。
【請求項３】 前記スミア除去手段は、前記スミア判定手段によりスミア画像と判定された画素群に隣接する境界線上の画素群の輝度値を取得する第３輝度値取得手段と、前記第３輝度値取得手段により取得された境界線上の画素群の輝度値に基づいて前記スミア画像と判定された画素群の輝度値を算出するとともに当該算出した輝度値によりスミア画像と判定された画素群を補間する画像補間手段とを有することを特徴とする請求項２記載の車両周辺監視装置。
【請求項４】 前記座標値取得手段は、前記エッジ画像生成手段により生成されたエッジ画像中の任意の一列についてエッジ点を探索することを特徴とする請求項１乃至３記載の車両周辺監視装置。
【請求項５】 車両に所定距離だけ離して設置され、車両周辺の所定範囲を撮像する２台のＣＣＤカメラを有し、当該ＣＣＤカメラからの画像情報に基づいて前記車両の周辺に存在する物体に関する情報を運転者に与える車両周辺監視装置において、高輝度光源によりＣＣＤカメラによる撮像画像上に現れる直線状のスミア画像を検出するスミア検出手段と、前記スミア検出手段により検出されたスミア画像を除去するスミア除去手段と、前記スミア除去手段によりスミア画像が除去された撮像画像について、一方のＣＣＤカメラにて撮像された全ての画像を高さ０と仮定し、この画像を他方のカメラで撮像したとして得られる投影画像データを作成し、作成された投影画像データと他方のメモリに記録されている画像データとの差より路面上の画像を除去し、物体のエッジを検出する物体エッジ検出手段と、前記物体エッジ検出手段にて検出された物体エッジにより物体の位置を算出する物体位置算出手段と、前記物体位置算出手段より算出された物体の位置に基づいて警報を出力する警報手段とを有すること特徴とする車両周辺監視装置。
【請求項１】 車両周辺の所定範囲を撮像するＣＣＤカメラを有し、当該ＣＣＤカメラからの画像情報に基づいて前記車両の周辺に存在する物体に関する情報を運転者に与える車両周辺監視装置において、高輝度光源によりＣＣＤカメラによる撮像画像上に現れる直線状のスミア画像を検出するスミア検出手段と、前記スミア検出手段により検出されたスミア画像を除去するスミア除去手段を有することを特徴とする車両周辺監視装置。
【請求項２】 前記スミア検出手段は、前記ＣＣＤカメラからの画像情報に基づいてエッジ画像を生成するエッジ画像生成手段と、前記エッジ画像を構成する画素の着目画素について、その座標値を取得する座標値取得手段と、前記着目画素の座標値に基づいて、前記ＣＣＤカメラからの画像情報中にて前記着目画素に対応する対応画素の輝度値を取得する第１輝度値取得手段と、前記第１輝度値取得手段からの対応画素の輝度値に基づき、前記対応画素の輝度値が規定値以上であった場合に、前記ＣＣＤカメラからの画像情報を参照し、前記対応画素を含む直線上に存在する画素群の輝度値を取得する第２輝度値取得手段と、前記第２輝度値取得手段により取得された画素群の輝度値に基づき、前記対応画素を含む直線上に存在する画素群がスミア画像であるか否かを判定するスミア判定手段とを有していることを特徴とする請求項１記載の車両周辺監視装置。
【請求項３】 前記スミア除去手段は、前記スミア判定手段によりスミア画像と判定された画素群に隣接する境界線上の画素群の輝度値を取得する第３輝度値取得手段と、前記第３輝度値取得手段により取得された境界線上の画素群の輝度値に基づいて前記スミア画像と判定された画素群の輝度値を算出するとともに当該算出した輝度値によりスミア画像と判定された画素群を補間する画像補間手段とを有することを特徴とする請求項２記載の車両周辺監視装置。
【請求項４】 前記座標値取得手段は、前記エッジ画像生成手段により生成されたエッジ画像中の任意の一列についてエッジ点を探索することを特徴とする請求項１乃至３記載の車両周辺監視装置。
【請求項５】 車両に所定距離だけ離して設置され、車両周辺の所定範囲を撮像する２台のＣＣＤカメラを有し、当該ＣＣＤカメラからの画像情報に基づいて前記車両の周辺に存在する物体に関する情報を運転者に与える車両周辺監視装置において、高輝度光源によりＣＣＤカメラによる撮像画像上に現れる直線状のスミア画像を検出するスミア検出手段と、前記スミア検出手段により検出されたスミア画像を除去するスミア除去手段と、前記スミア除去手段によりスミア画像が除去された撮像画像について、一方のＣＣＤカメラにて撮像された全ての画像を高さ０と仮定し、この画像を他方のカメラで撮像したとして得られる投影画像データを作成し、作成された投影画像データと他方のメモリに記録されている画像データとの差より路面上の画像を除去し、物体のエッジを検出する物体エッジ検出手段と、前記物体エッジ検出手段にて検出された物体エッジにより物体の位置を算出する物体位置算出手段と、前記物体位置算出手段より算出された物体の位置に基づいて警報を出力する警報手段とを有すること特徴とする車両周辺監視装置。
【図３】
【図６】
【図８】
【図１】
【図２】
【図４】
【図１０】
【図１１】
【図５】
【図１３】
【図１４】
【図７】
【図９】
【図１２】
【図６】
【図８】
【図１】
【図２】
【図４】
【図１０】
【図１１】
【図５】
【図１３】
【図１４】
【図７】
【図９】
【図１２】
【公開番号】特開平９−１４２２０８
【公開日】平成９年（１９９７）６月３日
【国際特許分類】
【出願番号】特願平７−３００２３９
【出願日】平成７年（１９９５）１１月１７日
【出願人】（０００００６８９５）矢崎総業株式会社 (7,019)
【公開日】平成９年（１９９７）６月３日
【国際特許分類】
【出願日】平成７年（１９９５）１１月１７日
【出願人】（０００００６８９５）矢崎総業株式会社 (7,019)
[ Back to top ]