物体検出方法および物体検出装置
【課題】複数種類の物体の検出が可能であり、かつ、検出精度の向上をはかることができる物体検出装置を提供すること。
【解決手段】カメラ１とレーダ２とから得られる情報に基づいて物体を検出するコントロールユニットＣＵが、入力した情報に対して物体検出用の所定の変換を行う情報変換処理と、入力情報と変換情報との少なくとも一方の情報に対し、検出対象となる物体との相関性に対応して重み付けを行う重み付け処理と、この重み付けした後の情報に基づいて物体の検出を行う検出処理と、を実行するようにした。
【解決手段】カメラ１とレーダ２とから得られる情報に基づいて物体を検出するコントロールユニットＣＵが、入力した情報に対して物体検出用の所定の変換を行う情報変換処理と、入力情報と変換情報との少なくとも一方の情報に対し、検出対象となる物体との相関性に対応して重み付けを行う重み付け処理と、この重み付けした後の情報に基づいて物体の検出を行う検出処理と、を実行するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レーダやカメラなどのセンサを用いて物体を検出する物体検出装置に関する。
【背景技術】
【０００２】
従来、車両において衝突防止装置、車間距離制御装置、追従走行装置などの運転支援装置が提案されている。これらの運転支援装置では、自車両の前方を走行する車両などの物体（障害物）を検出する物体検出装置が用いられている。
【０００３】
このような物体検出装置では、高い精度で物体を検出することが求められる。また、検出した物体の種類を判別することも重要となる。例えば、検出している物体が、車両であるのか道路構造物であるかなどの種類を特定する必要がある。
【０００４】
このような検出精度の向上や物体の種類判定精度の向上を図る従来技術として、例えば、検出センサとしてカメラとレーダとを備え、検出対象として先行車両に限定した車両認識装置が知られている（特許文献１参照）。
【０００５】
この従来技術は、カメラから得られる情報とレーダから得られる情報とに基づいて、両方で検出されている物体を取り出し、さらに、車両はその後部に左右対称でリフレクタ（反射素材）を持つという特徴から、車両の車幅方向の中央位置や車幅などを車両特徴量として検出し、自車両の前方車両を正確に認識するようになっている。
【０００６】
したがって、この従来技術では、カメラとレーダとの両方で検出されているものを物体として検出しているため、誤検出を減らして検出精度を向上させることができる。
【特許文献１】特開２００５−１５７８７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の従来技術にあっては、先行車両以外の種類の物体を検出することができないもので、精度高く複数の種類の物体を検出することができなかった。
【０００８】
本発明は、センサを増やすことなく、高精度で複数種類の物体の検出が可能な物体検出方法および物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上述事情に鑑みなされたもので、物体に関する情報を入力し、入力した情報のうち、少なくとも１種類の情報に対して物体検出用の所定の変換を行い、入力情報および変換情報に対し、検出対象としての物体に関する相関性に対応して重み付けを行い、この重み付けした情報に基づいて物体の検出を行うことを最も主要な特徴とする物体検出方法である。
【発明の効果】
【００１０】
本発明は、物体に関する相関性に対応した重み付けを行い、この重み付けを行なった後の情報に基づいて物体の検出を行うようにしたため、重み付けを行なわない場合に比べ、検出対象となる物体の種類と情報との相関性や情報と情報との相関性など物体に関する相関性を高め、物体の検出精度を高めることができるとともに、物体の判別精度を高めることが可能となる。
【００１１】
このように、本発明では、センサを増やすことなく、物体の検出精度および物体の種類の判別の精度を向上させることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１３】
この実施の形態の物体検出装置は、車両ＭＢに設けられ、外界に存在する物体に関する情報を入力するカメラ１およびレーダ２から得られる情報に基づいて、物体を検出するコントロールユニットＣＵを備えた物体検出装置であって、コントロールユニットＣＵが、入力した情報のうち、少なくとも１種類の情報に対して物体検出用の所定の変換を行う情報変換処理と、入力情報と変換情報との少なくとも一方の情報に対し、検出対象となる物体との相関性に対応して重み付けを行う重み付け処理と、この重み付けした後の情報に基づいて物体の検出を行う検出処理と、を実行することを特徴とする。
【実施例１】
【００１４】
図１〜図１４に基づいて本発明の最良の実施の形態の実施例１の物体検出装置について説明する。
【００１５】
実施例１の物体検出装置は、図１に示すように、車両ＭＢに搭載されており、物体センサとしてカメラ１とレーダ２とを備えている。
【００１６】
カメラ１は、例えば、車室内の図示を省略したルームミラーの近傍位置に搭載されている。このカメラ１としては、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いた輝度画像を撮像する輝度カメラと赤外線画像を撮像する赤外カメラとの少なくとも一方を用いることができるが、本実施例１では、輝度カメラを用いている。
【００１７】
レーダ２は、車両ＭＢの前部に取り付けられ、車両前方（矢印ＦＲ方向）を水平方向にスキャニングし、車両前方に存在する物体（検知点）の距離と反射強度を検出する。なお、検知点は、物体を検出した位置であって、図１に示すＸＺ軸の座標上の位置として検出する。
【００１８】
このレーダ２としては、ミリ波レーダやレーザレーダや超音波レーダを用いることができるが、本実施例１では、レーザレーダを使用している。なお、ミリ波レーダの場合、検出物体の情報として、距離・反射強度・相対速度を得ることができる。また、レーザレーダの場合、検出物体の情報として、距離と光の反射強度とを得ることができる。
【００１９】
カメラ１およびレーダ２で得られた情報は、検出処理手段としてのコントロールユニットＣＵに入力される。コントロールユニットＣＵは、物体センサとしてのカメラ１やレーダ２を含む車載のセンサから信号を入力して、物体を検出しかつその種類を判別する物体検出制御を行うもので、ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory），ＣＰＵ（Central Processing Unit）などを備えた周知のものである。
【００２０】
このコントロールユニットＣＵにおける物体検出制御における処理の流れを、図２により、簡単に説明すると、まず、カメラ１とレーダ２を含むセンサから情報を入力し、図示を省略したメモリに保存する入力処理を実行する（ステップＳ１）。
【００２１】
次に、保存した検知点に関する情報に対し、これ以降の処理において使用する情報に変換する情報変換処理を実行する（ステップＳ２）。
【００２２】
次に、保存した入力情報および変換処理を行った変換情報に対し、検出対象である物体の種類との相関性に対応して重み付けを行う重み付け処理を実行する（ステップＳ３）。
【００２３】
次に、重み付けを行なった後の情報を含む情報の中から必要な情報を抽出する有効情報抽出処理を実行する（ステップＳ４）。
【００２４】
そして、この有効情報抽出処理で抽出された情報を用いて検出領域内に存在する物体を検出するとともに、その物体の種類を判定する物体検出処理を実行する（ステップＳ５）。なお、本実施例１では、物体の種類として、車両ＡＢ（以下、車両ＡＢと車両ＭＢとを区別するために、前者を先行車両ＡＢ、後者を自車両ＭＢと称する）、二輪車ＭＳ、人ＰＥ、道路構造物（壁ＷＯなど）を判別する。
【００２５】
次に、上記各処理について詳細に説明する。
まず、入力処理では、図３に示すように、カメラ１が撮像した画像情報（輝度画像情報）と、レーダ２が検知した検知点の情報とを、コントロールユニットＣＵ内のメモリ（図示省略）に保存する。本実施例１では、画像情報として、画素の輝度値を保存する。また、レーダ２の検知点の情報としては、レーダ２の水平方向のスキャン分解能ごとに、各角度における物体までの距離と反射強度とを保存する。
【００２６】
ここで、カメラ１による画像情報の一例を図４および図５に示す。
図４および図５は、自車両（車両ＭＢ）の前方に先行車両ＡＢと人（歩行者）ＰＥと道路構造物としての壁ＷＯとが存在する場合の画像の一例を示しており、これらがカメラ１の撮像面１ａにおいて同図（ｂ）に示すように投影される。なお、図４（ａ）は、横から見た状態を示し、図５（ａ）は上から見た状態を示している。また、両図において、（ｃ）はカメラ１として赤外線カメラを用いた場合の赤外画像を示している。
【００２７】
これら図４、５では、カメラ１の路面への垂直投影点ＰＡから点ＰＦまでの距離をｚ、点ＰＡと点ＰＦとのｘ軸方向の間隔をｘｓとしている。
【００２８】
そこで、基準座標をカメラ１のレンズ１ｂの中心を原点とすると、基準座標系における点ＰＦの位置は、（ｘｓ，−Ｈ，ｚ）と表され、撮像面１ａの画像上において点ＰＦが位置する座標（ｘｃ，ｙｃ）は、焦点距離ｆを用いて、下記の式（１）および式（２）の関係で表される。
ｘｃ＝ｘｓ・ｆ／ｚ ・・・（１）
ｙｃ＝−Ｈ・ｆ／ｚ ・・・（２）
【００２９】
次に、レーダ２による検知点の情報の一例を図８に示す。
図８では（ａ）に示す図４および図５に示した画像情報と同様の物体の検知例を（ｂ）に示している。この図に示すように、自車両（車両ＭＢ）の前方に存在する先行車両ＡＢと人（歩行者）ＰＥと壁ＷＯとにおいて、光波が反射することで、物体が存在することを検出できる。なお、図において円形で示すｑＰ，ｑＡ，ｑＷが、それぞれ各物体の検知点を示している。
【００３０】
次に、ステップＳ２の変換処理を説明する。
この変換処理では、図３に示すように、輝度画像情報に対して、縦エッジ、横エッジ、エッジ強度を形成するエッジ検出処理と、方向ベクトルを形成する方向ベクトル算出処理と、オプティカルフローを形成するオプティカルフロー処理を実行する。
【００３１】
まず、エッジ検出処理におけるエッジの検出は、ソーベルフィルダなどとのコンボリューション（たたみこみ（掛け合わせ））演算により算出できる。
【００３２】
図６は、単純なソーベルフィルタの例であり、（ａ）（ｂ）が縦エッジ用のフィルタ、（ｃ）（ｄ）が横エッジ用のフィルタである。このようなフィルタと画像情報とを掛け合わせることで、縦エッジと横エッジとを求めることができる。なお、これらのエッジ強度は、例えば、これらの値の絶対値として求めることができる。
【００３３】
また、方向ベクトルは、縦エッジの強度をＤｘ、横エッジの強度をＤｙとしたときに下記の式（３）の演算により求めることができる。
方向ベクトル＝Ｄｘ／Ｄｙ ・・・（３）
【００３４】
なお、この方向ベクトルの角度とエッジ強度との関係を図７に示す。
【００３５】
次に、オプティカルフローについて説明する。
オプティカルフローとは、ある時刻の画像上において、画像上のある点（ｘｃ、ｙｃ）に表示された映像と、その映像がΔｔ秒後に位置する画像上の点を結んだ矢印のことであり、一般的に画像上に撮像されたある物体上のある点の動きを示すこととなる。このようなオプティカルフローは、ブロックマッチングや勾配法など、従来提案されているいずれかの手法を適用して求めることができる。
【００３６】
このオプティカルフローについて、図８および図９を用いて具体的に説明する。
これらの図８および図９では、人ＰＥが止まっていて、先行車両ＡＢが自車両ＭＢと同方向に前進している場合を示しており、図９は図８に示す時点からΔｔ秒後の状態を示している。また、両図において、（ａ）は図４，図５で示したのと同様のカメラ１の画像であり、（ｂ）はレーダ２による検出範囲を上方から見た状態を示している。
【００３７】
ここで図８において人ＰＥを示す値ｘｃ１，ｙｃ１，ｈｃ１は、図９に示すΔｔ秒後には、前述した式（１）（２）において、分母となるｚの値だけが小さくなるため、自車両ＭＢの前進に伴って大きくなる。そこで、オプティカルフローの矢印は原点から遠ざかる方向に長くなる。
【００３８】
同様に、壁ＷＯの上にある点なども、止まっているため、オプティカルフローは長くなる。また、これらのオプティカルフローは、消失点ＶＰ（画像上の前方の無限遠点が撮像される点のことであり、図４，５の設定のように、カメラ１の光軸ＬＺを路面ＲＳと平行にした場合は、画像中心が消失点ＶＰとなる）を中心としてそこから画像の外側に向く矢印となる。
【００３９】
そこで、図９の（ａ）に示す人ＰＥのオプティカルフローは、足元では右下向きとなり、画像の中心近くの頭部付近では右向きとなる。
【００４０】
一方、先行車両ＡＢは、自車両ＭＢと等速運動をしていて、距離関係が略一定で前述の式（１）（２）においてｚの値が変化しないため、先行車両ＡＢの上方となる値に変化が殆ど無いことから、オプティカルフローの長さは短くなる．
【００４１】
次に、図３に戻り、レーダ２で検出した検知点の情報の変換処理について説明する。
レーダ２の検知点情報の変換処理としては、距離データに基づいて相対速度を求める処理を行う。この相対速度は、時周期的に（例えば、０．１秒ごとに）レーダ２からの距離情報を取得する場合、同一の検知点に対する距離変化／観測時間の長さで求めることができる。
【００４２】
次に、重み付け処理について説明する。
この重み付け処理は、物体の種類と各情報（縦エッジ、横エッジ、エッジ強度、方向ベクトル、オプティカルフロー、相対速度）との相関性に基づいて行なわれ、本実施例１では、図１０（ａ）に示す必要度特性に基づいてフラグを添付し、図１０（ｂ）に示す有効度特性に基づいて重み付けを行う。
【００４３】
この図１０の必要度および有効度の説明を、ステップＳ５における物体検出処理と併せて説明する。
【００４４】
物体検出処理では、物体の検出および判別として、先行車両ＡＢ、二輪車ＭＳ、人（歩行者）ＰＥ、道路構造物（壁ＷＯなど）を検出および判別する。そこで、以下に、それぞれの物体の種類と、カメラ１およびレーダ２から入力された情報と、の相関について説明する。
【００４５】
一般的に、先行車両ＡＢや二輪車ＭＳはリフレクタ（反射板）を備え、レーダ２では、その検知点の反射強度が高い。よって、先行車両ＡＢや二輪車ＭＳの検出および判別には、反射強度の有効度が高く、正確に距離を検出することができる。また、距離の精度が高いことから相対速度の有効度も高い。
【００４６】
一方、先行車両ＡＢと二輪車ＭＳとの差異として、一般的に、画像上では、先行車両ＡＢの場合は、水平エッジが強く長いのに対して、二輪車ＭＳの場合、形状が歩行者と似ていて、特徴的な直線エッジが無く、かつ、エッジの方向ベクトルの分散が大きい（エッジがいろいろな方向を向く）という特徴がある。
【００４７】
そこで、図１０（ａ）に示すように、先行車両ＡＢと二輪車ＭＳとでは、その必要度が、図１０（ａ）に示すように、縦エッジ・横エッジ・エッジ強度・方向ベクトル分散、反射強度・相対速度の必要度を高く「１」に設定し、これ以外を「０」に設定している。
【００４８】
また、先行車両ＡＢと二輪車ＭＳとの検出および判別の有効度は、図１０（ｂ）に示すように、先行車両ＡＢの場合は、横エッジ・エッジ強度・反射強度・相対速度が「高く」設定され、それ以外は「低く」設定されている。これに対し、二輪車ＭＳは、縦エッジ・斜めエッジ・方向ベクトル分散・相対速度が「高く」設定され、それ以外は「低く」設定されている。
【００４９】
このように先行車両ＡＢと二輪車ＭＳとでは、必要度は同じに設定しているが、有効度は、縦エッジ・横エッジ・斜めエッジ・方向ベクトル分散で逆の設定としている。すなわち、情報と物体の種類との相関性に応じた特性の設定が成され、両者に異なる重み付けを行なって、両者の判別を行うようにしている。
【００５０】
一方、人（歩行者）ＰＥは、レーダ２でも検出できる場合もあるが反射強度が低いため、形状の特徴などからカメラ１による画像情報により判別する。すなわち、人ＰＥは形状が縦長であり、かつ、歩行者独特の足などの動き（つまりオプティカルフローの分布）などに特徴を有している。
【００５１】
そこで、人ＰＥの場合、必要度は、図１０（ａ）に示すように、縦エッジ・エッジ強度・方向ベクトル分散・相対速度を高く「１」に設定され、その他は「０」に設定されている。また、有効度は、上記のような形状の特徴から、図１０（ｂ）に示すように、縦エッジ・斜めエッジ・方向ベクトル分散が「高く」設定され、横エッジ・エッジ強度・反射強度・相対速度が「低く」設定されている。
【００５２】
また、先に述べた二輪車ＭＳは、形状が人ＰＥと類似しているが、前述したように、リフレクタを有していることで、人ＰＥとは横エッジ・反射強度の設定が相違している。すなわち、二輪車ＭＳは、リフレクタを有していることから横エッジおよび反射強度が強く検出されるのに対し、人ＰＥは、反射物が少なく反射強度が低くなるとともに、横に長い人工物を有していないことから横エッジの値が低くなる。そこで、二輪車ＭＳの必要度は、図１０（ａ）に示すように、人ＰＥの必要度に、横エッジ・反射強度を加えた設定とされている。
【００５３】
道路構造物（壁ＷＯなど）は、一般的に形状の規定が難しいが、道路に沿って並んで配置されており、かつ、人工物であることから、直線成分（エッジの強度と直線性）が強いという特徴がある。また、道路構造物（壁ＷＯなど）は、停止物であることから、時系列的な観測において、動かない物体である。そして、このような停止物は、画像上のオプティカルフローやレーダ２から求められる物体の距離変化から算出した相対速度が、自車両ＭＢに近づく速度として観測される。したがって、道路構造物（壁ＷＯなど）は、この相対速度の特徴と、形状や物体の位置が、道路よりも外で道路に沿う並びであることなどから判別することができる。
【００５４】
そこで、道路構造物（壁ＷＯなど）は、その必要度は、図１０（ａ）に示すように、縦エッジ・横エッジ・エッジ強度・方向ベクトル分散・相対速度が高く「１」に設定され、その他が「０」に設定されている。また、有効度は、図１０（ｂ）に示すように、縦エッジ・横エッジ・斜めエッジ・エッジ強度が「高く」設定されている一方、その他の方向ベクトル分散・反射強度・相対速度が「低く」設定されている。
【００５５】
以上のことから本実施例１では、ステップＳ４の重み付け処理において、図１０（ａ）に示すように、必要度が「１」に設定されているものに、それぞれの物体の種類に応じたフラグを添付する。そして、各情報は、後述する投票表ＴＳに投票するが、このとき、フラグが添付された情報のみを抽出して、それぞれフラグに対応した種類の物体用の投票表に投票し、フラグの添付のない情報は投票しない。さらに、投票の際には、その情報に対して、図１０（ｂ）に示す有効度に応じて、有効度が高い場合には、有効度が低い場合よりも大きな係数を掛ける。
【００５６】
このように、重み付け処理においては、必要な情報のみを抽出する処理、および、有効度の高さに応じた係数を掛ける処理、から成る重み付けを行う。
【００５７】
また、実施例１では、人ＰＥ、先行車両ＡＢ、二輪車ＭＳ、道路構造物（壁ＷＯなど）のそれぞれに対応した重み付けを行った情報を投票表ＴＳに投票する。この投票表ＴＳとして、人ＰＥ、先行車両ＡＢ、二輪車ＭＳ、道路構造物（壁ＷＯなど）のそれぞれに対応した投票表を用意している。あるいは、投票表ＴＳにおいて、分割された各領域を、人ＰＥ、先行車両ＡＢ、二輪車ＭＳ、道路構造物（壁ＷＯなど）のそれぞれに対応した階層を並列に設定している。そして、判別する物体の種類である人ＰＥ、先行車両ＡＢ、二輪車ＭＳ、道路構造物（壁ＷＯなど）のそれぞれに対応して重み付けが行われた情報を、それぞれ物体の種類に対応した投票表あるいは階層に並列に投票する。この投票は、同時に並行して行ってもよいし、あるいは、投票時間をずらして行ってもよい。
【００５８】
次に、この投票表ＴＳへの投票を含むステップＳ４の有効情報抽出処理について説明する。
本実施例１では、この有効情報抽出処理を実行するにあたり、図１１に示す投票表ＴＳへの加算を行う。なお、図では、投票表ＴＳに加えて、カメラ１からの情報である輝度画像ＫＰ、そのエッジ成分距離ＥＫ、レーダ２からの情報である反射強度ＲＫ、距離ＬＫ、および後述する実施例で示す赤外カメラからの情報である温度画像ＳＰを示している。また、図１１では、検出例として、先行車両ＡＢ、人ＰＥ、道路構造物としての樹木ＴＲを検出する場合を示している。
【００５９】
投票表ＴＳは、前述した基準座標系におけるＸＺ平面に相当し、このＸＺを、Δｘ，Δｚの小領域に分割している。このΔｘ，Δｚは、例えば、１ｍや５０ｃｍ程度の分解能とする。また、投票表ＴＳの大きさ、すなわち、ｚ軸方向寸法、ｘ軸方向寸法は、物体検出の要求距離や、物体検出精度などに応じて任意に設定する。
【００６０】
そして、図１１では、投票表ＴＳとして、１つの表のみを示しているが、前述したように、本実施例１では、投票表ＴＳとして、人ＰＥ用のもの、先行車両ＡＢ用のもの、二輪車ＭＳ用のもの、道路構造物（壁ＷＯ、樹木ＴＲなど）用のものがそれぞれ設定されている（図示省略）。あるいは、投票表ＴＳの各領域において、物体の種類毎に並列に投票が行われるようになっている。
【００６１】
次に、画像情報と投票表ＴＳとの関係を説明する。すなわち、画像上でも図１２（ａ）、図１３（ａ）に示すｘ，ｙ座標の画像表ＰＳを設定する。この画像表ＰＳの分解能Δｘ、Δｙは、図１４に示すように、実座標系上ではある微小角度θを示すこととなる。本実施例１では、画像処理結果の投票のしやすさから画像上に表を設け、その角度分解能をｘ方向とｙ方向ともθとし、その範囲に求められたエッジをＸＺ軸の投票表ＴＳに投票する。また、ここでθは、例えば1度から5度程度の間の角度に設定している。この分解能角度も、物体判別処理の精度や物体検出の要求距離や位置精度に応じて適宜設定すればよい。
【００６２】
なお、ＸＺ平面の投票表ＴＳと同様に基準座標系におけるＸＹ平面上に投票表を設定することもできる。
【００６３】
次に、図１２、図１３に示すように先行車両ＡＢ、二輪車ＭＳ、人（歩行者）ＰＥ、壁ＷＯが存在する場合の投票表ＴＳへの投票例について説明する。なお、この投票例の説明として、カメラ１による画像情報を変換したエッジと、レーダ２による距離情報の投票例を説明する。
【００６４】
まず、レーダ２による距離情報の投票例として、人ＰＥを観測した場合の点Ｑへの投票について説明する。
【００６５】
図１２に示すように、レーダ２により投票表ＴＳ上の点Ｑに相当する位置Ｑｘｚにおいて物体を計測した場合、投票表ＴＳのＱの位置が含まれる小領域Ｓｎに投票値を加算する。また、この際、投票値は、本実施例１の場合には、図１０（ｂ）の有効度に応じた値とする。なお、この投票値は、図１０（ｂ）のあらかじめ設定した有効度に応じた数を投票するのに替えて、「１」などの固定値を用いてもよいし、あるいは、反射強度などの検出した情報に相当する値としてもよい。
【００６６】
次に、カメラ１の画像情報から得られたエッジの投票例を説明する。
まず、図１２（ａ）に示すように、ＸＹ軸をΔｘ，Δｙで分割した画像表ＰＳを設定しこれに投票する。図１３（ａ）は、エッジ処理した情報の投票例としての画像表ＰＳｅであり、このようなエッジが存在する場合、このエッジが存在する小領域に対応する投票表（ＸＺ軸）ＴＳの小領域に、このエッジを示す値に、図１０（ｂ）の有効度を掛けた値、すなわち重み付けを行った値を加算する。
【００６７】
この際、ＸＹ軸の投票表の小領域と投票表ＴＳの小領域との対応は、以下のようにして求める。例えば、画像表ＰＳｅのΔｘｅ，Δｙｅの大きさは、図１３（ｂ）に示すようにΔｘｅ＝ｆ×ｔａｎθ，Δｙｅ＝ｆ×ｔａｎθのようにある微小角度θに相当する大きさとして設定する。ここで、ｆは焦点距離である。
【００６８】
そして、画像表ＰＳｅの小領域が画像の原点（ｘ＝０，ｙ＝０の点）に対してなす角度を、投票表ＴＳにおける小領域がＸＺ表の原点（ｘ＝０，ｚ＝０の点）に対してなす角度に換算すればよい。具体的には、図１３（ａ）において、ｘ＝ｘｃｅの位置に存在している縦エッジＢｅを、投票表ＴＳに投票する場合を説明する。
【００６９】
この縦エッジＢｅは、画像表ＰＳｅの原点からΔｘｅの５個目に相当する位置に存在している。ここで、Δｘｅは、投票表ＴＳの角度θに相当することから、ｘ＝ｘｃｅは、投票表ＴＳの原点からα＝５×θだけ左に位置する。そこで、投票表ＴＳでは、原点から左側にα＝５×θだけ回動した位置において、角度θの幅の部分に相当する小領域に投票を行う（図においてＢに示す扇形の領域に投票する）。
【００７０】
また、同様の考えで先行車両ＡＢに相当する物体の位置の投票を考える。この場合、角度の計算は同じである。しかし、レーダ２からの情報の投票に基づいて、先行車両ＡＢまでの距離がわかっている場合は、その距離に相当する位置（ここでは、ｚ＝ｚ０付近）だけの小領域に投票を行う（図１３（ｂ）において符号ＡＢＲの部分）。
そして、以上のような投票処理を図１０に示した各情報について行う。すなわち、縦エッジ・横エッジ・斜めエッジ・エッジ強度・方向ベクトル分散・反射強度・相対速度について、これらの情報が得られた観測点について、ＸＺ軸の投票表ＴＳ上で対応する位置を求め、その領域に投票を行い、これらを加算する。この結果を示すのが、図１１であり、先行車両ＡＢに対応する投票部分を符号ｔＡＢ、人ＰＥに対応する投票部分を符号ｔＰＥ、樹木ＴＲに対応する投票部分を符号ｔＴＲで示している。
【００７１】
次に、この投票表ＴＳへの投票が終了した後の、検出処理について説明する。
一般に、何らかの物体が存在する場合、距離やエッジなどの情報が多く存在することが多い。つまり、図１１に示す先行車両ｔＡＢ、人（歩行者）ｔＰＥ、樹木ｔＴＲの領域のように、投票結果の値が高い位置には物体が存在すると判定する。
【００７２】
すなわち、その検出した物体の位置は、投票結果そのものが小領域の位置を示すことになるため、例えば、図１３の先行車両ＡＢの位置（ＡＢＲ）であれば、方位が左にα，距離ｚ０の位置に物体が検出されたと判定する。
【００７３】
次に、この検出された物体の種類の判別は、この表に加算された情報の内容に基づいて行う。すなわち、図１０（ｂ）に示す有効度の特性などと照合することで求める。
【００７４】
例えば、反射強度が非常に強く、横エッジも強ければ先行車両ＡＢであると判別する。また、反射強度も横エッジも弱いがエッジの方向ベクトルの分散が高ければ人ＰＥと判別する。さらに、人と同様に、横エッジ、エッジ強度が弱く、方向ベクトル分散が強いが、反射強度が強かったり、相対速度が小さかったりした場合には、走行中の二輪車ＭＳと判別する。また、相対速度が高く、縦エッジやエッジ強度が強い場合には、道路構造物（壁ＷＯなど）と判別する。
【００７５】
本実施例１では、これらの判定を、各物体の種類用の投票表あるいは領域の各階層において行い、その種類判別結果を１つの投票表ＴＳに反映させるもので、物体の種類により特徴が異なることから、複数種類の判定結果が出ることはない。すなわち、人用の投票表あるいは階層において、人ＰＥであると判別された場合、同じ領域では、他の種類用の投票表あるいは階層において、先行車両ＡＢや二輪車ＭＳなどと判定されることはない。
【００７６】
以上説明したように、本実施例１の物体検出装置では、カメラ１からの入力情報およびレーダ２からの入力情報に所定の変換を行い、この変換情報および入力情報を投票表ＴＳに投票し、この投票結果に基づいて物体の種類を判別するようにした。
【００７７】
このため、検出対象となる物体に対し、どのセンサが検出していなければならないという条件（例えば、カメラ１とレーダ２との両方で検出しなければならないというような条件）が無くなる。よって、カメラ１とレーダ２との一方で検出できないような環境であっても、物体の検出およびその種類の判別が可能となり、ロバストな検出が可能となるという効果が得られる。しかも、この効果と同時に、カメラ１とレーダ２という複数の物体センサを搭載していることによる、信頼度の高い計測という効果も同時に得ることができるという利点も維持できる。
【００７８】
加えて、本実施例１では、判別する物体の種類に応じて、その種類に応じた情報を抽出して投票し、さらに、この投票の際には、情報の有効度に応じた重み付けを行うようにしている。このため、後段の検出処理で必要とされ、かつ、有効度の高い情報だけを活用した物体の検出および物体の種類判定が可能となり、物体の検出信頼度および物体種類判別の信頼度を向上させることができる。しかも、物体の検出に利用される必要情報だけを抽出するため、情報の保管用のメモリ容量の削減や計算量の削減にも効果がある。また、検出処理において使用する情報の数を減らして、検出処理の単純化を図ることも可能となる。
【００７９】
すなわち、本実施例１では、図１０（ａ）の必要度特性に基づいて物体の種類毎に、必要な情報にフラグを添付し、実際に後段の処理で利用されるデータだけを後段の処理に渡すようにしている。したがって、検出処理で扱う情報の量や計算量を削減することができる。しかも、有効度に応じた重み付けを行うことで、上記のように不必要な情報を減らすだけではなく、残ったデータは信頼性が高くなり、正確な検出や種類の判別が可能となる。
【００８０】
さらに、本実施例１では、入力情報を変換する情報変換処理において、画像情報からエッジを形成するとともに、オプティカルフローを形成し、これらの変換情報を後段の検出処理で使用するようにしたため、物体の種類の判別における信頼性を向上させることができる。すなわち、一般に先行車両ＡＢやガードレールなど路上に存在する道路構造物（壁ＷＯなど）などの人工物はエッジ強度が強い場合が多いのに対し、人ＰＥや乗車状態の二輪車ＭＳは、エッジ強度が弱い。また、オプティカルフローによる方向ベクトル分散は、相対速度が低くい先行車両ＡＢや先行する二輪車ＭＳなどは低いのに対し、相対速度が高くなる人ＰＥや道路構造物（壁ＷＯなど）は高くなる、というように物体の種類との相関性が高い。このような物体の種類との相関性の高い情報に変換して、物体検出処理を行うようにしているため、高い検出信頼性を得ることができる。加えて、前述したように、このような信頼性の高い情報を投票により加算して物体の検出および種類判別を行なっていることからも、信頼性の向上を図ることができる。
【実施例２】
【００８１】
次に、図１５に基づいて本発明実施の形態の実施例２の物体検出装置について説明する。なお、この実施例２を説明するにあたり、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。
【００８２】
この実施例２の物体検出装置は、実施例１のごく一部を変更した例である。すなわち、この実施例２では、有効情報抽出処理において、投票表ＴＳに投票するにあたり、投票する値と投票数との少なくとも一方にしきい値を設定しており、このしきい値を越えた情報のみを投票するようにしている。
【００８３】
図１５は、その投票結果を示している。図１５と実施例１の図１１とを比較すると分かるように、図１１では投票されていた小さな値が削除されている。
【００８４】
すなわち、図１１に示す投票値（高さ）が低いデータはノイズである可能性が高い。そこで、本実施例２のように、投票する値と投票数との少なくとも一方にしきい値を設定することにより、ノイズを取り除いて、誤検出を防止し、検出精度の向上を図ることができる。
【００８５】
さらに、これにより、比較的少ない情報の種類数だけを用いた物体の種類判別が可能になり、情報の保管用のメモリ容量の削減や計算量の削減を図る効果が、さらに高まる。
他の構成および作用効果については、実施例１と同様であり、説明を省略する。
【実施例３】
【００８６】
次に、本発明実施の形態の実施例３の物体検出装置について説明する。なお、この実施例３を説明するにあたり、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。
【００８７】
実施例３の物体検出装置では、重み付け処理および物体検出処理が実施例１とは相違する。
【００８８】
この実施例３では、重み付け処理において、所定の情報の相関の高さを必要度とし、所定の情報の強さを有効度としている。
【００８９】
例えば、先行車両ＡＢや道路構造物（壁ＷＯなど）などのような人工物は直線成分が多く、先行車両ＡＢや二輪車ＭＳの場合、反射強度が強い場合が多い。さらに、情報の有効度を考える場合、他の情報との相関があれば有効度が高い可能性が高い。
【００９０】
このような特徴から、検出対象を人工物とする場合、画像のエッジの強さとレーダ２の反射強度の強さとに基づいて有効度を設定し、また、オプティカルフローと相対速度との相関の高さを必要度としている。このような設定の重み付けを行うことで、人工物に適した情報とすることができる。
【００９１】
このような重み付けを行なった情報は、実施例１と同様に、図１１に示す投票表ＴＳに投票する。
【００９２】
また、この実施例３では、物体検出処理において、図１６に示す種類判別表を用いる。この種類判別表は、判別する物体の種類と情報との相関性に基づいて設定されている。
【００９３】
そこで、図１１に示した投票表ＴＳに各領域において、所定数以上の情報が投票されている場合、物体が存在すると判断し、さらに、その情報の種類とその値の高低とを、図１６の種類判別表と比較し、各領域で検出されている物体の種類を判別する。
【００９４】
この実施例３にあっても、実施例１と同様の作用効果を得ることができる。
【実施例４】
【００９５】
次に、本発明実施の形態の実施例４の物体検出装置について説明する。なお、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。
【００９６】
実施例４の物体検出装置は、物体センサとして、カメラ１と並列に赤外カメラ（図示省略）を用いた例である。なお、これらのカメラ１と赤外カメラとの画像例を、図４（ｂ）（ｃ）、図５の（ｂ）（ｃ）に示している。また、図１１、図１５にも温度画像ＳＰを示している。
【００９７】
赤外カメラは、温度に相当する値を画素値に変換できるカメラである。ここで、一般に二輪車ＭＳに乗った人物と、人（歩行者）ＰＥとは、図１０の特性図にも示すように、輝度のカメラ１の画像処理だけからは区別しにくい。この図の設定でも、両者の画像上の相違は、横エッジだけである。
【００９８】
また、両者は、レーダ２からの情報である、反射強度および相対速度が相違するが、特に、二輪車ＭＳの速度が低い場合には、相対速度の差異が小さくなり、人ＰＥと二輪車ＭＳとの判別が難しくなる。
【００９９】
そこで、本実施例５では、二輪車ＭＳが持つマフラの温度が、人ＰＥの温度よりもはるかに高いことを利用し、赤外カメラから得られる温度情報に基づいて、投票された情報のうち、温度が高い情報が含まれる場合には、二輪車ＭＳと判別し、温度が高い情報が含まれない場合には、人（歩行者）ＰＥと判別する。
【０１００】
さらに説明を加えると、温度が高い領域の有無は、赤外画像上で人ＰＥまたは二輪車ＭＳが検出された位置の（複数の）画素値を判定し、その画素の中に、しきい値以上の画素値を持つ画素が、所定の個数（例えば３画素）以上存在する場合に、二輪車ＭＳと判定する。ここで、しきい値以上の画素値を持つ画素の個数は、ノイズにはならない程度となるように、単独（１画素）ではなく、例えば、少なくとも３画素が連続していることなどから判定する。また、温度（画素値）のしきい値は、人体では観測されることがありえない温度として、例えば、４５℃以上程度に設定する。
【０１０１】
以上のように、実施例４の物体検出装置では、通常、形状が似ているために、判別が難しい人ＰＥと二輪車ＭＳとの判別の精度を向上させることができる。
【０１０２】
また、人工物という点で、共通点が存在する先行車両ＡＢと道路構造物（壁ＷＯなど）との判別においても、温度の要素を判別に加えることで、両者の差異を明確にして、判別精度を向上させることができる。
他の構成および作用効果については、実施例１と同様であり、説明を省略する。
【実施例５】
【０１０３】
次に、本発明実施の形態の実施例５の物体検出装置について説明する。なお、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。
【０１０４】
この実施例５の物体検出装置は、重み付け処理の内容が実施例１とは異なる。すなわち、実施例５の物体検出装置では、変換処理を経て得られた情報の全てを投票表ＴＳの対応する領域へ投票するようにしている。
【０１０５】
そして、各領域へ投票された情報の数に基づいて、その領域に物体が存在するか否かの判断、すなわち物体検出の判断を行う。さらに、投票された情報の種類から物体の種類の判別を行う。この判別には、例えば、図１０（ｂ）に示した、有効度の特性や図１６に示した特性に基づいて判断する。
【０１０６】
したがって、この実施例５にあっても、実施例１と同様に、複数の物体センサ（本実施例６では、カメラ１とレーダ２）のうちの少なくとも一つから情報が得られていれば物体の検出およびその種類の判別が可能となるため、ロバストな物体の検出が可能となるという効果を奏する。
【０１０７】
さらに、全ての情報を加算していることから、検出経験の無い初めて検出するような物体の検出が可能となる。加えて、検出結果の内容を再確認し、物体別に利用されたデータを調査し直すことで、必要度のデータの更新だけでなく、ある種類の物体を検出対象とするときの必要データが分かることから、最適センサ構成の選択にも役立てることができる。
【０１０８】
他の構成および作用効果については、実施例１と同様であり、説明を省略する。
【０１０９】
以上、図面を参照して、本発明の実施の形態および実施例１ないし実施例６を詳述してきたが、具体的な構成は、この実施の形態および実施例１ないし実施例６に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
【０１１０】
例えば、実施例では、本発明の物体検出方法および物体検出装置として、車両に搭載して実行するものを示したが、これに限定されず、産業ロボットなど車両以外にも適用することができる。
【０１１１】
なお、実施例１では、重み付け処理と有効情報抽出処理とを分けた例を示したが、これらを１つの処理とすることもできる。例えば、抽出処理において有効情報を抽出することを重み付けとすることもできる。
【０１１２】
また、重み付け処理について、実施例１では、必要度および有効度をそれぞれあらかじめ設定した図１０に示す特性を参照して決定した。また、実施例３では、所定の情報（具体的には、オプティカルフローと相対速度）の相関の高さを必要度とし、所定の情報の強さ（具体的には、エッジの強さと反射強度の強さ）を有効度としている。しかし、これらに限定されるものではなく、必要度は、あらかじめ設定した表を参照し、有効度は、入力された情報の強さなどに基づいて算出するようにしてもよい。
【０１１３】
また、実施例３において、必要度を決定する相関の高さとして、画像から得られたオプティカルフローとレーダ２から得られた相対速度との相関を示したが、例えば、相対速度に替えて、この相対速度から求めたオプティカルフロートを用いるようにしてもよい。
【図面の簡単な説明】
【０１１４】
【図１】本発明の実施の形態の実施例１の物体検出装置を搭載した車両ＭＢを示す概略図であり、（ａ）は側方から見た図、（ｂ）は上方から見た図である。
【図２】本発明の実施の形態の実施例１の物体検出装置の物体検出制御の流れを示すフローチャートである。
【図３】本発明の実施の形態の実施例１の物体検出装置の物体検出制御における入力処理と情報変換処理との概略を説明する概念図である。
【図４】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１の画像情報を説明する図であって、（ａ）は実施例１の物体検出装置を横から見た状態を示し、（ｂ）はカメラ１の撮像面１ａに投影された輝度画像を示しており、（ｃ）はカメラ１として赤外線カメラを用いた場合の赤外画像を示している。
【図５】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１の画像情報を説明する図であって、（ａ）は実施例１の物体検出装置を上方から見た状態を示し、（ｂ）はカメラ１の撮像面１ａに投影された輝度画像を示しており、（ｃ）はカメラ１として赤外線カメラを用いた場合の赤外画像を示している。
【図６】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理で用いるソーベルフィルタを示す概略図である。
【図７】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理において、エッジの方向ベクトルの求め方の説明図であり、（ａ）は垂直エッジ成分算出用のフィルタを示し、（ｂ）は水平エッジ成分算出用のフィルタを示し、（ｃ）はエッジ強度とエッジ方向ベクトルとの関係を示している。
【図８】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理において、オプティカルフローとレーダの距離検出の状態を示す説明図である。
【図９】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理において、オプティカルフローとレーダの距離検出の状態を示す説明図である。
【図１０】本発明の実施の形態の実施例１の物体検出装置における重み付け処理で用いる重み付けの特性を示す特性図であって、（ａ）は必要度、（ｂ）は有効度を示している。
【図１１】本発明の実施の形態の実施例１の物体検出装置における重み付け処理で用いる投票表ＴＳへの投票例を示す説明図である。
【図１２】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１による画像情報とレーダ２による距離情報との関係を説明する説明図であり、（ａ）は画像情報を示し、（ｂ）は距離情報を示している。
【図１３】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１による画像情報とレーダ２による距離情報と投票との関係を説明する説明図であり、（ａ）はエッジ処理を行った画像情報を示し、（ｂ）は距離情報と投票する領域との関係を示している。
【図１４】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１による画像情報を投票表ＴＳへ投票する位置関係を説明する説明図であり、（ａ）は側方から見た状態を示し、（ｂ）は上方から見た状態を示す。
【図１５】本発明の実施の形態の実施例２の物体検出装置における重み付け処理で用いる投票表ＴＳへの投票例を示す説明図である。
【図１６】本発明の実施の形態の実施例３の物体検出装置における種類判別表を示す特性図である。
【符号の説明】
【０１１５】
１ カメラ（物体センサ）
２ レーダ（物体センサ）
ＡＢ 車両（物体）
ＣＵ コントロールユニット（検出処理手段）
ＭＢ 車両
ＭＳ 二輪車（物体）
ＰＥ 人（物体）
ＴＲ 樹木（物体）
ＷＯ 壁（物体）
【技術分野】
【０００１】
本発明は、レーダやカメラなどのセンサを用いて物体を検出する物体検出装置に関する。
【背景技術】
【０００２】
従来、車両において衝突防止装置、車間距離制御装置、追従走行装置などの運転支援装置が提案されている。これらの運転支援装置では、自車両の前方を走行する車両などの物体（障害物）を検出する物体検出装置が用いられている。
【０００３】
このような物体検出装置では、高い精度で物体を検出することが求められる。また、検出した物体の種類を判別することも重要となる。例えば、検出している物体が、車両であるのか道路構造物であるかなどの種類を特定する必要がある。
【０００４】
このような検出精度の向上や物体の種類判定精度の向上を図る従来技術として、例えば、検出センサとしてカメラとレーダとを備え、検出対象として先行車両に限定した車両認識装置が知られている（特許文献１参照）。
【０００５】
この従来技術は、カメラから得られる情報とレーダから得られる情報とに基づいて、両方で検出されている物体を取り出し、さらに、車両はその後部に左右対称でリフレクタ（反射素材）を持つという特徴から、車両の車幅方向の中央位置や車幅などを車両特徴量として検出し、自車両の前方車両を正確に認識するようになっている。
【０００６】
したがって、この従来技術では、カメラとレーダとの両方で検出されているものを物体として検出しているため、誤検出を減らして検出精度を向上させることができる。
【特許文献１】特開２００５−１５７８７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の従来技術にあっては、先行車両以外の種類の物体を検出することができないもので、精度高く複数の種類の物体を検出することができなかった。
【０００８】
本発明は、センサを増やすことなく、高精度で複数種類の物体の検出が可能な物体検出方法および物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上述事情に鑑みなされたもので、物体に関する情報を入力し、入力した情報のうち、少なくとも１種類の情報に対して物体検出用の所定の変換を行い、入力情報および変換情報に対し、検出対象としての物体に関する相関性に対応して重み付けを行い、この重み付けした情報に基づいて物体の検出を行うことを最も主要な特徴とする物体検出方法である。
【発明の効果】
【００１０】
本発明は、物体に関する相関性に対応した重み付けを行い、この重み付けを行なった後の情報に基づいて物体の検出を行うようにしたため、重み付けを行なわない場合に比べ、検出対象となる物体の種類と情報との相関性や情報と情報との相関性など物体に関する相関性を高め、物体の検出精度を高めることができるとともに、物体の判別精度を高めることが可能となる。
【００１１】
このように、本発明では、センサを増やすことなく、物体の検出精度および物体の種類の判別の精度を向上させることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１３】
この実施の形態の物体検出装置は、車両ＭＢに設けられ、外界に存在する物体に関する情報を入力するカメラ１およびレーダ２から得られる情報に基づいて、物体を検出するコントロールユニットＣＵを備えた物体検出装置であって、コントロールユニットＣＵが、入力した情報のうち、少なくとも１種類の情報に対して物体検出用の所定の変換を行う情報変換処理と、入力情報と変換情報との少なくとも一方の情報に対し、検出対象となる物体との相関性に対応して重み付けを行う重み付け処理と、この重み付けした後の情報に基づいて物体の検出を行う検出処理と、を実行することを特徴とする。
【実施例１】
【００１４】
図１〜図１４に基づいて本発明の最良の実施の形態の実施例１の物体検出装置について説明する。
【００１５】
実施例１の物体検出装置は、図１に示すように、車両ＭＢに搭載されており、物体センサとしてカメラ１とレーダ２とを備えている。
【００１６】
カメラ１は、例えば、車室内の図示を省略したルームミラーの近傍位置に搭載されている。このカメラ１としては、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いた輝度画像を撮像する輝度カメラと赤外線画像を撮像する赤外カメラとの少なくとも一方を用いることができるが、本実施例１では、輝度カメラを用いている。
【００１７】
レーダ２は、車両ＭＢの前部に取り付けられ、車両前方（矢印ＦＲ方向）を水平方向にスキャニングし、車両前方に存在する物体（検知点）の距離と反射強度を検出する。なお、検知点は、物体を検出した位置であって、図１に示すＸＺ軸の座標上の位置として検出する。
【００１８】
このレーダ２としては、ミリ波レーダやレーザレーダや超音波レーダを用いることができるが、本実施例１では、レーザレーダを使用している。なお、ミリ波レーダの場合、検出物体の情報として、距離・反射強度・相対速度を得ることができる。また、レーザレーダの場合、検出物体の情報として、距離と光の反射強度とを得ることができる。
【００１９】
カメラ１およびレーダ２で得られた情報は、検出処理手段としてのコントロールユニットＣＵに入力される。コントロールユニットＣＵは、物体センサとしてのカメラ１やレーダ２を含む車載のセンサから信号を入力して、物体を検出しかつその種類を判別する物体検出制御を行うもので、ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory），ＣＰＵ（Central Processing Unit）などを備えた周知のものである。
【００２０】
このコントロールユニットＣＵにおける物体検出制御における処理の流れを、図２により、簡単に説明すると、まず、カメラ１とレーダ２を含むセンサから情報を入力し、図示を省略したメモリに保存する入力処理を実行する（ステップＳ１）。
【００２１】
次に、保存した検知点に関する情報に対し、これ以降の処理において使用する情報に変換する情報変換処理を実行する（ステップＳ２）。
【００２２】
次に、保存した入力情報および変換処理を行った変換情報に対し、検出対象である物体の種類との相関性に対応して重み付けを行う重み付け処理を実行する（ステップＳ３）。
【００２３】
次に、重み付けを行なった後の情報を含む情報の中から必要な情報を抽出する有効情報抽出処理を実行する（ステップＳ４）。
【００２４】
そして、この有効情報抽出処理で抽出された情報を用いて検出領域内に存在する物体を検出するとともに、その物体の種類を判定する物体検出処理を実行する（ステップＳ５）。なお、本実施例１では、物体の種類として、車両ＡＢ（以下、車両ＡＢと車両ＭＢとを区別するために、前者を先行車両ＡＢ、後者を自車両ＭＢと称する）、二輪車ＭＳ、人ＰＥ、道路構造物（壁ＷＯなど）を判別する。
【００２５】
次に、上記各処理について詳細に説明する。
まず、入力処理では、図３に示すように、カメラ１が撮像した画像情報（輝度画像情報）と、レーダ２が検知した検知点の情報とを、コントロールユニットＣＵ内のメモリ（図示省略）に保存する。本実施例１では、画像情報として、画素の輝度値を保存する。また、レーダ２の検知点の情報としては、レーダ２の水平方向のスキャン分解能ごとに、各角度における物体までの距離と反射強度とを保存する。
【００２６】
ここで、カメラ１による画像情報の一例を図４および図５に示す。
図４および図５は、自車両（車両ＭＢ）の前方に先行車両ＡＢと人（歩行者）ＰＥと道路構造物としての壁ＷＯとが存在する場合の画像の一例を示しており、これらがカメラ１の撮像面１ａにおいて同図（ｂ）に示すように投影される。なお、図４（ａ）は、横から見た状態を示し、図５（ａ）は上から見た状態を示している。また、両図において、（ｃ）はカメラ１として赤外線カメラを用いた場合の赤外画像を示している。
【００２７】
これら図４、５では、カメラ１の路面への垂直投影点ＰＡから点ＰＦまでの距離をｚ、点ＰＡと点ＰＦとのｘ軸方向の間隔をｘｓとしている。
【００２８】
そこで、基準座標をカメラ１のレンズ１ｂの中心を原点とすると、基準座標系における点ＰＦの位置は、（ｘｓ，−Ｈ，ｚ）と表され、撮像面１ａの画像上において点ＰＦが位置する座標（ｘｃ，ｙｃ）は、焦点距離ｆを用いて、下記の式（１）および式（２）の関係で表される。
ｘｃ＝ｘｓ・ｆ／ｚ ・・・（１）
ｙｃ＝−Ｈ・ｆ／ｚ ・・・（２）
【００２９】
次に、レーダ２による検知点の情報の一例を図８に示す。
図８では（ａ）に示す図４および図５に示した画像情報と同様の物体の検知例を（ｂ）に示している。この図に示すように、自車両（車両ＭＢ）の前方に存在する先行車両ＡＢと人（歩行者）ＰＥと壁ＷＯとにおいて、光波が反射することで、物体が存在することを検出できる。なお、図において円形で示すｑＰ，ｑＡ，ｑＷが、それぞれ各物体の検知点を示している。
【００３０】
次に、ステップＳ２の変換処理を説明する。
この変換処理では、図３に示すように、輝度画像情報に対して、縦エッジ、横エッジ、エッジ強度を形成するエッジ検出処理と、方向ベクトルを形成する方向ベクトル算出処理と、オプティカルフローを形成するオプティカルフロー処理を実行する。
【００３１】
まず、エッジ検出処理におけるエッジの検出は、ソーベルフィルダなどとのコンボリューション（たたみこみ（掛け合わせ））演算により算出できる。
【００３２】
図６は、単純なソーベルフィルタの例であり、（ａ）（ｂ）が縦エッジ用のフィルタ、（ｃ）（ｄ）が横エッジ用のフィルタである。このようなフィルタと画像情報とを掛け合わせることで、縦エッジと横エッジとを求めることができる。なお、これらのエッジ強度は、例えば、これらの値の絶対値として求めることができる。
【００３３】
また、方向ベクトルは、縦エッジの強度をＤｘ、横エッジの強度をＤｙとしたときに下記の式（３）の演算により求めることができる。
方向ベクトル＝Ｄｘ／Ｄｙ ・・・（３）
【００３４】
なお、この方向ベクトルの角度とエッジ強度との関係を図７に示す。
【００３５】
次に、オプティカルフローについて説明する。
オプティカルフローとは、ある時刻の画像上において、画像上のある点（ｘｃ、ｙｃ）に表示された映像と、その映像がΔｔ秒後に位置する画像上の点を結んだ矢印のことであり、一般的に画像上に撮像されたある物体上のある点の動きを示すこととなる。このようなオプティカルフローは、ブロックマッチングや勾配法など、従来提案されているいずれかの手法を適用して求めることができる。
【００３６】
このオプティカルフローについて、図８および図９を用いて具体的に説明する。
これらの図８および図９では、人ＰＥが止まっていて、先行車両ＡＢが自車両ＭＢと同方向に前進している場合を示しており、図９は図８に示す時点からΔｔ秒後の状態を示している。また、両図において、（ａ）は図４，図５で示したのと同様のカメラ１の画像であり、（ｂ）はレーダ２による検出範囲を上方から見た状態を示している。
【００３７】
ここで図８において人ＰＥを示す値ｘｃ１，ｙｃ１，ｈｃ１は、図９に示すΔｔ秒後には、前述した式（１）（２）において、分母となるｚの値だけが小さくなるため、自車両ＭＢの前進に伴って大きくなる。そこで、オプティカルフローの矢印は原点から遠ざかる方向に長くなる。
【００３８】
同様に、壁ＷＯの上にある点なども、止まっているため、オプティカルフローは長くなる。また、これらのオプティカルフローは、消失点ＶＰ（画像上の前方の無限遠点が撮像される点のことであり、図４，５の設定のように、カメラ１の光軸ＬＺを路面ＲＳと平行にした場合は、画像中心が消失点ＶＰとなる）を中心としてそこから画像の外側に向く矢印となる。
【００３９】
そこで、図９の（ａ）に示す人ＰＥのオプティカルフローは、足元では右下向きとなり、画像の中心近くの頭部付近では右向きとなる。
【００４０】
一方、先行車両ＡＢは、自車両ＭＢと等速運動をしていて、距離関係が略一定で前述の式（１）（２）においてｚの値が変化しないため、先行車両ＡＢの上方となる値に変化が殆ど無いことから、オプティカルフローの長さは短くなる．
【００４１】
次に、図３に戻り、レーダ２で検出した検知点の情報の変換処理について説明する。
レーダ２の検知点情報の変換処理としては、距離データに基づいて相対速度を求める処理を行う。この相対速度は、時周期的に（例えば、０．１秒ごとに）レーダ２からの距離情報を取得する場合、同一の検知点に対する距離変化／観測時間の長さで求めることができる。
【００４２】
次に、重み付け処理について説明する。
この重み付け処理は、物体の種類と各情報（縦エッジ、横エッジ、エッジ強度、方向ベクトル、オプティカルフロー、相対速度）との相関性に基づいて行なわれ、本実施例１では、図１０（ａ）に示す必要度特性に基づいてフラグを添付し、図１０（ｂ）に示す有効度特性に基づいて重み付けを行う。
【００４３】
この図１０の必要度および有効度の説明を、ステップＳ５における物体検出処理と併せて説明する。
【００４４】
物体検出処理では、物体の検出および判別として、先行車両ＡＢ、二輪車ＭＳ、人（歩行者）ＰＥ、道路構造物（壁ＷＯなど）を検出および判別する。そこで、以下に、それぞれの物体の種類と、カメラ１およびレーダ２から入力された情報と、の相関について説明する。
【００４５】
一般的に、先行車両ＡＢや二輪車ＭＳはリフレクタ（反射板）を備え、レーダ２では、その検知点の反射強度が高い。よって、先行車両ＡＢや二輪車ＭＳの検出および判別には、反射強度の有効度が高く、正確に距離を検出することができる。また、距離の精度が高いことから相対速度の有効度も高い。
【００４６】
一方、先行車両ＡＢと二輪車ＭＳとの差異として、一般的に、画像上では、先行車両ＡＢの場合は、水平エッジが強く長いのに対して、二輪車ＭＳの場合、形状が歩行者と似ていて、特徴的な直線エッジが無く、かつ、エッジの方向ベクトルの分散が大きい（エッジがいろいろな方向を向く）という特徴がある。
【００４７】
そこで、図１０（ａ）に示すように、先行車両ＡＢと二輪車ＭＳとでは、その必要度が、図１０（ａ）に示すように、縦エッジ・横エッジ・エッジ強度・方向ベクトル分散、反射強度・相対速度の必要度を高く「１」に設定し、これ以外を「０」に設定している。
【００４８】
また、先行車両ＡＢと二輪車ＭＳとの検出および判別の有効度は、図１０（ｂ）に示すように、先行車両ＡＢの場合は、横エッジ・エッジ強度・反射強度・相対速度が「高く」設定され、それ以外は「低く」設定されている。これに対し、二輪車ＭＳは、縦エッジ・斜めエッジ・方向ベクトル分散・相対速度が「高く」設定され、それ以外は「低く」設定されている。
【００４９】
このように先行車両ＡＢと二輪車ＭＳとでは、必要度は同じに設定しているが、有効度は、縦エッジ・横エッジ・斜めエッジ・方向ベクトル分散で逆の設定としている。すなわち、情報と物体の種類との相関性に応じた特性の設定が成され、両者に異なる重み付けを行なって、両者の判別を行うようにしている。
【００５０】
一方、人（歩行者）ＰＥは、レーダ２でも検出できる場合もあるが反射強度が低いため、形状の特徴などからカメラ１による画像情報により判別する。すなわち、人ＰＥは形状が縦長であり、かつ、歩行者独特の足などの動き（つまりオプティカルフローの分布）などに特徴を有している。
【００５１】
そこで、人ＰＥの場合、必要度は、図１０（ａ）に示すように、縦エッジ・エッジ強度・方向ベクトル分散・相対速度を高く「１」に設定され、その他は「０」に設定されている。また、有効度は、上記のような形状の特徴から、図１０（ｂ）に示すように、縦エッジ・斜めエッジ・方向ベクトル分散が「高く」設定され、横エッジ・エッジ強度・反射強度・相対速度が「低く」設定されている。
【００５２】
また、先に述べた二輪車ＭＳは、形状が人ＰＥと類似しているが、前述したように、リフレクタを有していることで、人ＰＥとは横エッジ・反射強度の設定が相違している。すなわち、二輪車ＭＳは、リフレクタを有していることから横エッジおよび反射強度が強く検出されるのに対し、人ＰＥは、反射物が少なく反射強度が低くなるとともに、横に長い人工物を有していないことから横エッジの値が低くなる。そこで、二輪車ＭＳの必要度は、図１０（ａ）に示すように、人ＰＥの必要度に、横エッジ・反射強度を加えた設定とされている。
【００５３】
道路構造物（壁ＷＯなど）は、一般的に形状の規定が難しいが、道路に沿って並んで配置されており、かつ、人工物であることから、直線成分（エッジの強度と直線性）が強いという特徴がある。また、道路構造物（壁ＷＯなど）は、停止物であることから、時系列的な観測において、動かない物体である。そして、このような停止物は、画像上のオプティカルフローやレーダ２から求められる物体の距離変化から算出した相対速度が、自車両ＭＢに近づく速度として観測される。したがって、道路構造物（壁ＷＯなど）は、この相対速度の特徴と、形状や物体の位置が、道路よりも外で道路に沿う並びであることなどから判別することができる。
【００５４】
そこで、道路構造物（壁ＷＯなど）は、その必要度は、図１０（ａ）に示すように、縦エッジ・横エッジ・エッジ強度・方向ベクトル分散・相対速度が高く「１」に設定され、その他が「０」に設定されている。また、有効度は、図１０（ｂ）に示すように、縦エッジ・横エッジ・斜めエッジ・エッジ強度が「高く」設定されている一方、その他の方向ベクトル分散・反射強度・相対速度が「低く」設定されている。
【００５５】
以上のことから本実施例１では、ステップＳ４の重み付け処理において、図１０（ａ）に示すように、必要度が「１」に設定されているものに、それぞれの物体の種類に応じたフラグを添付する。そして、各情報は、後述する投票表ＴＳに投票するが、このとき、フラグが添付された情報のみを抽出して、それぞれフラグに対応した種類の物体用の投票表に投票し、フラグの添付のない情報は投票しない。さらに、投票の際には、その情報に対して、図１０（ｂ）に示す有効度に応じて、有効度が高い場合には、有効度が低い場合よりも大きな係数を掛ける。
【００５６】
このように、重み付け処理においては、必要な情報のみを抽出する処理、および、有効度の高さに応じた係数を掛ける処理、から成る重み付けを行う。
【００５７】
また、実施例１では、人ＰＥ、先行車両ＡＢ、二輪車ＭＳ、道路構造物（壁ＷＯなど）のそれぞれに対応した重み付けを行った情報を投票表ＴＳに投票する。この投票表ＴＳとして、人ＰＥ、先行車両ＡＢ、二輪車ＭＳ、道路構造物（壁ＷＯなど）のそれぞれに対応した投票表を用意している。あるいは、投票表ＴＳにおいて、分割された各領域を、人ＰＥ、先行車両ＡＢ、二輪車ＭＳ、道路構造物（壁ＷＯなど）のそれぞれに対応した階層を並列に設定している。そして、判別する物体の種類である人ＰＥ、先行車両ＡＢ、二輪車ＭＳ、道路構造物（壁ＷＯなど）のそれぞれに対応して重み付けが行われた情報を、それぞれ物体の種類に対応した投票表あるいは階層に並列に投票する。この投票は、同時に並行して行ってもよいし、あるいは、投票時間をずらして行ってもよい。
【００５８】
次に、この投票表ＴＳへの投票を含むステップＳ４の有効情報抽出処理について説明する。
本実施例１では、この有効情報抽出処理を実行するにあたり、図１１に示す投票表ＴＳへの加算を行う。なお、図では、投票表ＴＳに加えて、カメラ１からの情報である輝度画像ＫＰ、そのエッジ成分距離ＥＫ、レーダ２からの情報である反射強度ＲＫ、距離ＬＫ、および後述する実施例で示す赤外カメラからの情報である温度画像ＳＰを示している。また、図１１では、検出例として、先行車両ＡＢ、人ＰＥ、道路構造物としての樹木ＴＲを検出する場合を示している。
【００５９】
投票表ＴＳは、前述した基準座標系におけるＸＺ平面に相当し、このＸＺを、Δｘ，Δｚの小領域に分割している。このΔｘ，Δｚは、例えば、１ｍや５０ｃｍ程度の分解能とする。また、投票表ＴＳの大きさ、すなわち、ｚ軸方向寸法、ｘ軸方向寸法は、物体検出の要求距離や、物体検出精度などに応じて任意に設定する。
【００６０】
そして、図１１では、投票表ＴＳとして、１つの表のみを示しているが、前述したように、本実施例１では、投票表ＴＳとして、人ＰＥ用のもの、先行車両ＡＢ用のもの、二輪車ＭＳ用のもの、道路構造物（壁ＷＯ、樹木ＴＲなど）用のものがそれぞれ設定されている（図示省略）。あるいは、投票表ＴＳの各領域において、物体の種類毎に並列に投票が行われるようになっている。
【００６１】
次に、画像情報と投票表ＴＳとの関係を説明する。すなわち、画像上でも図１２（ａ）、図１３（ａ）に示すｘ，ｙ座標の画像表ＰＳを設定する。この画像表ＰＳの分解能Δｘ、Δｙは、図１４に示すように、実座標系上ではある微小角度θを示すこととなる。本実施例１では、画像処理結果の投票のしやすさから画像上に表を設け、その角度分解能をｘ方向とｙ方向ともθとし、その範囲に求められたエッジをＸＺ軸の投票表ＴＳに投票する。また、ここでθは、例えば1度から5度程度の間の角度に設定している。この分解能角度も、物体判別処理の精度や物体検出の要求距離や位置精度に応じて適宜設定すればよい。
【００６２】
なお、ＸＺ平面の投票表ＴＳと同様に基準座標系におけるＸＹ平面上に投票表を設定することもできる。
【００６３】
次に、図１２、図１３に示すように先行車両ＡＢ、二輪車ＭＳ、人（歩行者）ＰＥ、壁ＷＯが存在する場合の投票表ＴＳへの投票例について説明する。なお、この投票例の説明として、カメラ１による画像情報を変換したエッジと、レーダ２による距離情報の投票例を説明する。
【００６４】
まず、レーダ２による距離情報の投票例として、人ＰＥを観測した場合の点Ｑへの投票について説明する。
【００６５】
図１２に示すように、レーダ２により投票表ＴＳ上の点Ｑに相当する位置Ｑｘｚにおいて物体を計測した場合、投票表ＴＳのＱの位置が含まれる小領域Ｓｎに投票値を加算する。また、この際、投票値は、本実施例１の場合には、図１０（ｂ）の有効度に応じた値とする。なお、この投票値は、図１０（ｂ）のあらかじめ設定した有効度に応じた数を投票するのに替えて、「１」などの固定値を用いてもよいし、あるいは、反射強度などの検出した情報に相当する値としてもよい。
【００６６】
次に、カメラ１の画像情報から得られたエッジの投票例を説明する。
まず、図１２（ａ）に示すように、ＸＹ軸をΔｘ，Δｙで分割した画像表ＰＳを設定しこれに投票する。図１３（ａ）は、エッジ処理した情報の投票例としての画像表ＰＳｅであり、このようなエッジが存在する場合、このエッジが存在する小領域に対応する投票表（ＸＺ軸）ＴＳの小領域に、このエッジを示す値に、図１０（ｂ）の有効度を掛けた値、すなわち重み付けを行った値を加算する。
【００６７】
この際、ＸＹ軸の投票表の小領域と投票表ＴＳの小領域との対応は、以下のようにして求める。例えば、画像表ＰＳｅのΔｘｅ，Δｙｅの大きさは、図１３（ｂ）に示すようにΔｘｅ＝ｆ×ｔａｎθ，Δｙｅ＝ｆ×ｔａｎθのようにある微小角度θに相当する大きさとして設定する。ここで、ｆは焦点距離である。
【００６８】
そして、画像表ＰＳｅの小領域が画像の原点（ｘ＝０，ｙ＝０の点）に対してなす角度を、投票表ＴＳにおける小領域がＸＺ表の原点（ｘ＝０，ｚ＝０の点）に対してなす角度に換算すればよい。具体的には、図１３（ａ）において、ｘ＝ｘｃｅの位置に存在している縦エッジＢｅを、投票表ＴＳに投票する場合を説明する。
【００６９】
この縦エッジＢｅは、画像表ＰＳｅの原点からΔｘｅの５個目に相当する位置に存在している。ここで、Δｘｅは、投票表ＴＳの角度θに相当することから、ｘ＝ｘｃｅは、投票表ＴＳの原点からα＝５×θだけ左に位置する。そこで、投票表ＴＳでは、原点から左側にα＝５×θだけ回動した位置において、角度θの幅の部分に相当する小領域に投票を行う（図においてＢに示す扇形の領域に投票する）。
【００７０】
また、同様の考えで先行車両ＡＢに相当する物体の位置の投票を考える。この場合、角度の計算は同じである。しかし、レーダ２からの情報の投票に基づいて、先行車両ＡＢまでの距離がわかっている場合は、その距離に相当する位置（ここでは、ｚ＝ｚ０付近）だけの小領域に投票を行う（図１３（ｂ）において符号ＡＢＲの部分）。
そして、以上のような投票処理を図１０に示した各情報について行う。すなわち、縦エッジ・横エッジ・斜めエッジ・エッジ強度・方向ベクトル分散・反射強度・相対速度について、これらの情報が得られた観測点について、ＸＺ軸の投票表ＴＳ上で対応する位置を求め、その領域に投票を行い、これらを加算する。この結果を示すのが、図１１であり、先行車両ＡＢに対応する投票部分を符号ｔＡＢ、人ＰＥに対応する投票部分を符号ｔＰＥ、樹木ＴＲに対応する投票部分を符号ｔＴＲで示している。
【００７１】
次に、この投票表ＴＳへの投票が終了した後の、検出処理について説明する。
一般に、何らかの物体が存在する場合、距離やエッジなどの情報が多く存在することが多い。つまり、図１１に示す先行車両ｔＡＢ、人（歩行者）ｔＰＥ、樹木ｔＴＲの領域のように、投票結果の値が高い位置には物体が存在すると判定する。
【００７２】
すなわち、その検出した物体の位置は、投票結果そのものが小領域の位置を示すことになるため、例えば、図１３の先行車両ＡＢの位置（ＡＢＲ）であれば、方位が左にα，距離ｚ０の位置に物体が検出されたと判定する。
【００７３】
次に、この検出された物体の種類の判別は、この表に加算された情報の内容に基づいて行う。すなわち、図１０（ｂ）に示す有効度の特性などと照合することで求める。
【００７４】
例えば、反射強度が非常に強く、横エッジも強ければ先行車両ＡＢであると判別する。また、反射強度も横エッジも弱いがエッジの方向ベクトルの分散が高ければ人ＰＥと判別する。さらに、人と同様に、横エッジ、エッジ強度が弱く、方向ベクトル分散が強いが、反射強度が強かったり、相対速度が小さかったりした場合には、走行中の二輪車ＭＳと判別する。また、相対速度が高く、縦エッジやエッジ強度が強い場合には、道路構造物（壁ＷＯなど）と判別する。
【００７５】
本実施例１では、これらの判定を、各物体の種類用の投票表あるいは領域の各階層において行い、その種類判別結果を１つの投票表ＴＳに反映させるもので、物体の種類により特徴が異なることから、複数種類の判定結果が出ることはない。すなわち、人用の投票表あるいは階層において、人ＰＥであると判別された場合、同じ領域では、他の種類用の投票表あるいは階層において、先行車両ＡＢや二輪車ＭＳなどと判定されることはない。
【００７６】
以上説明したように、本実施例１の物体検出装置では、カメラ１からの入力情報およびレーダ２からの入力情報に所定の変換を行い、この変換情報および入力情報を投票表ＴＳに投票し、この投票結果に基づいて物体の種類を判別するようにした。
【００７７】
このため、検出対象となる物体に対し、どのセンサが検出していなければならないという条件（例えば、カメラ１とレーダ２との両方で検出しなければならないというような条件）が無くなる。よって、カメラ１とレーダ２との一方で検出できないような環境であっても、物体の検出およびその種類の判別が可能となり、ロバストな検出が可能となるという効果が得られる。しかも、この効果と同時に、カメラ１とレーダ２という複数の物体センサを搭載していることによる、信頼度の高い計測という効果も同時に得ることができるという利点も維持できる。
【００７８】
加えて、本実施例１では、判別する物体の種類に応じて、その種類に応じた情報を抽出して投票し、さらに、この投票の際には、情報の有効度に応じた重み付けを行うようにしている。このため、後段の検出処理で必要とされ、かつ、有効度の高い情報だけを活用した物体の検出および物体の種類判定が可能となり、物体の検出信頼度および物体種類判別の信頼度を向上させることができる。しかも、物体の検出に利用される必要情報だけを抽出するため、情報の保管用のメモリ容量の削減や計算量の削減にも効果がある。また、検出処理において使用する情報の数を減らして、検出処理の単純化を図ることも可能となる。
【００７９】
すなわち、本実施例１では、図１０（ａ）の必要度特性に基づいて物体の種類毎に、必要な情報にフラグを添付し、実際に後段の処理で利用されるデータだけを後段の処理に渡すようにしている。したがって、検出処理で扱う情報の量や計算量を削減することができる。しかも、有効度に応じた重み付けを行うことで、上記のように不必要な情報を減らすだけではなく、残ったデータは信頼性が高くなり、正確な検出や種類の判別が可能となる。
【００８０】
さらに、本実施例１では、入力情報を変換する情報変換処理において、画像情報からエッジを形成するとともに、オプティカルフローを形成し、これらの変換情報を後段の検出処理で使用するようにしたため、物体の種類の判別における信頼性を向上させることができる。すなわち、一般に先行車両ＡＢやガードレールなど路上に存在する道路構造物（壁ＷＯなど）などの人工物はエッジ強度が強い場合が多いのに対し、人ＰＥや乗車状態の二輪車ＭＳは、エッジ強度が弱い。また、オプティカルフローによる方向ベクトル分散は、相対速度が低くい先行車両ＡＢや先行する二輪車ＭＳなどは低いのに対し、相対速度が高くなる人ＰＥや道路構造物（壁ＷＯなど）は高くなる、というように物体の種類との相関性が高い。このような物体の種類との相関性の高い情報に変換して、物体検出処理を行うようにしているため、高い検出信頼性を得ることができる。加えて、前述したように、このような信頼性の高い情報を投票により加算して物体の検出および種類判別を行なっていることからも、信頼性の向上を図ることができる。
【実施例２】
【００８１】
次に、図１５に基づいて本発明実施の形態の実施例２の物体検出装置について説明する。なお、この実施例２を説明するにあたり、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。
【００８２】
この実施例２の物体検出装置は、実施例１のごく一部を変更した例である。すなわち、この実施例２では、有効情報抽出処理において、投票表ＴＳに投票するにあたり、投票する値と投票数との少なくとも一方にしきい値を設定しており、このしきい値を越えた情報のみを投票するようにしている。
【００８３】
図１５は、その投票結果を示している。図１５と実施例１の図１１とを比較すると分かるように、図１１では投票されていた小さな値が削除されている。
【００８４】
すなわち、図１１に示す投票値（高さ）が低いデータはノイズである可能性が高い。そこで、本実施例２のように、投票する値と投票数との少なくとも一方にしきい値を設定することにより、ノイズを取り除いて、誤検出を防止し、検出精度の向上を図ることができる。
【００８５】
さらに、これにより、比較的少ない情報の種類数だけを用いた物体の種類判別が可能になり、情報の保管用のメモリ容量の削減や計算量の削減を図る効果が、さらに高まる。
他の構成および作用効果については、実施例１と同様であり、説明を省略する。
【実施例３】
【００８６】
次に、本発明実施の形態の実施例３の物体検出装置について説明する。なお、この実施例３を説明するにあたり、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。
【００８７】
実施例３の物体検出装置では、重み付け処理および物体検出処理が実施例１とは相違する。
【００８８】
この実施例３では、重み付け処理において、所定の情報の相関の高さを必要度とし、所定の情報の強さを有効度としている。
【００８９】
例えば、先行車両ＡＢや道路構造物（壁ＷＯなど）などのような人工物は直線成分が多く、先行車両ＡＢや二輪車ＭＳの場合、反射強度が強い場合が多い。さらに、情報の有効度を考える場合、他の情報との相関があれば有効度が高い可能性が高い。
【００９０】
このような特徴から、検出対象を人工物とする場合、画像のエッジの強さとレーダ２の反射強度の強さとに基づいて有効度を設定し、また、オプティカルフローと相対速度との相関の高さを必要度としている。このような設定の重み付けを行うことで、人工物に適した情報とすることができる。
【００９１】
このような重み付けを行なった情報は、実施例１と同様に、図１１に示す投票表ＴＳに投票する。
【００９２】
また、この実施例３では、物体検出処理において、図１６に示す種類判別表を用いる。この種類判別表は、判別する物体の種類と情報との相関性に基づいて設定されている。
【００９３】
そこで、図１１に示した投票表ＴＳに各領域において、所定数以上の情報が投票されている場合、物体が存在すると判断し、さらに、その情報の種類とその値の高低とを、図１６の種類判別表と比較し、各領域で検出されている物体の種類を判別する。
【００９４】
この実施例３にあっても、実施例１と同様の作用効果を得ることができる。
【実施例４】
【００９５】
次に、本発明実施の形態の実施例４の物体検出装置について説明する。なお、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。
【００９６】
実施例４の物体検出装置は、物体センサとして、カメラ１と並列に赤外カメラ（図示省略）を用いた例である。なお、これらのカメラ１と赤外カメラとの画像例を、図４（ｂ）（ｃ）、図５の（ｂ）（ｃ）に示している。また、図１１、図１５にも温度画像ＳＰを示している。
【００９７】
赤外カメラは、温度に相当する値を画素値に変換できるカメラである。ここで、一般に二輪車ＭＳに乗った人物と、人（歩行者）ＰＥとは、図１０の特性図にも示すように、輝度のカメラ１の画像処理だけからは区別しにくい。この図の設定でも、両者の画像上の相違は、横エッジだけである。
【００９８】
また、両者は、レーダ２からの情報である、反射強度および相対速度が相違するが、特に、二輪車ＭＳの速度が低い場合には、相対速度の差異が小さくなり、人ＰＥと二輪車ＭＳとの判別が難しくなる。
【００９９】
そこで、本実施例５では、二輪車ＭＳが持つマフラの温度が、人ＰＥの温度よりもはるかに高いことを利用し、赤外カメラから得られる温度情報に基づいて、投票された情報のうち、温度が高い情報が含まれる場合には、二輪車ＭＳと判別し、温度が高い情報が含まれない場合には、人（歩行者）ＰＥと判別する。
【０１００】
さらに説明を加えると、温度が高い領域の有無は、赤外画像上で人ＰＥまたは二輪車ＭＳが検出された位置の（複数の）画素値を判定し、その画素の中に、しきい値以上の画素値を持つ画素が、所定の個数（例えば３画素）以上存在する場合に、二輪車ＭＳと判定する。ここで、しきい値以上の画素値を持つ画素の個数は、ノイズにはならない程度となるように、単独（１画素）ではなく、例えば、少なくとも３画素が連続していることなどから判定する。また、温度（画素値）のしきい値は、人体では観測されることがありえない温度として、例えば、４５℃以上程度に設定する。
【０１０１】
以上のように、実施例４の物体検出装置では、通常、形状が似ているために、判別が難しい人ＰＥと二輪車ＭＳとの判別の精度を向上させることができる。
【０１０２】
また、人工物という点で、共通点が存在する先行車両ＡＢと道路構造物（壁ＷＯなど）との判別においても、温度の要素を判別に加えることで、両者の差異を明確にして、判別精度を向上させることができる。
他の構成および作用効果については、実施例１と同様であり、説明を省略する。
【実施例５】
【０１０３】
次に、本発明実施の形態の実施例５の物体検出装置について説明する。なお、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。
【０１０４】
この実施例５の物体検出装置は、重み付け処理の内容が実施例１とは異なる。すなわち、実施例５の物体検出装置では、変換処理を経て得られた情報の全てを投票表ＴＳの対応する領域へ投票するようにしている。
【０１０５】
そして、各領域へ投票された情報の数に基づいて、その領域に物体が存在するか否かの判断、すなわち物体検出の判断を行う。さらに、投票された情報の種類から物体の種類の判別を行う。この判別には、例えば、図１０（ｂ）に示した、有効度の特性や図１６に示した特性に基づいて判断する。
【０１０６】
したがって、この実施例５にあっても、実施例１と同様に、複数の物体センサ（本実施例６では、カメラ１とレーダ２）のうちの少なくとも一つから情報が得られていれば物体の検出およびその種類の判別が可能となるため、ロバストな物体の検出が可能となるという効果を奏する。
【０１０７】
さらに、全ての情報を加算していることから、検出経験の無い初めて検出するような物体の検出が可能となる。加えて、検出結果の内容を再確認し、物体別に利用されたデータを調査し直すことで、必要度のデータの更新だけでなく、ある種類の物体を検出対象とするときの必要データが分かることから、最適センサ構成の選択にも役立てることができる。
【０１０８】
他の構成および作用効果については、実施例１と同様であり、説明を省略する。
【０１０９】
以上、図面を参照して、本発明の実施の形態および実施例１ないし実施例６を詳述してきたが、具体的な構成は、この実施の形態および実施例１ないし実施例６に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
【０１１０】
例えば、実施例では、本発明の物体検出方法および物体検出装置として、車両に搭載して実行するものを示したが、これに限定されず、産業ロボットなど車両以外にも適用することができる。
【０１１１】
なお、実施例１では、重み付け処理と有効情報抽出処理とを分けた例を示したが、これらを１つの処理とすることもできる。例えば、抽出処理において有効情報を抽出することを重み付けとすることもできる。
【０１１２】
また、重み付け処理について、実施例１では、必要度および有効度をそれぞれあらかじめ設定した図１０に示す特性を参照して決定した。また、実施例３では、所定の情報（具体的には、オプティカルフローと相対速度）の相関の高さを必要度とし、所定の情報の強さ（具体的には、エッジの強さと反射強度の強さ）を有効度としている。しかし、これらに限定されるものではなく、必要度は、あらかじめ設定した表を参照し、有効度は、入力された情報の強さなどに基づいて算出するようにしてもよい。
【０１１３】
また、実施例３において、必要度を決定する相関の高さとして、画像から得られたオプティカルフローとレーダ２から得られた相対速度との相関を示したが、例えば、相対速度に替えて、この相対速度から求めたオプティカルフロートを用いるようにしてもよい。
【図面の簡単な説明】
【０１１４】
【図１】本発明の実施の形態の実施例１の物体検出装置を搭載した車両ＭＢを示す概略図であり、（ａ）は側方から見た図、（ｂ）は上方から見た図である。
【図２】本発明の実施の形態の実施例１の物体検出装置の物体検出制御の流れを示すフローチャートである。
【図３】本発明の実施の形態の実施例１の物体検出装置の物体検出制御における入力処理と情報変換処理との概略を説明する概念図である。
【図４】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１の画像情報を説明する図であって、（ａ）は実施例１の物体検出装置を横から見た状態を示し、（ｂ）はカメラ１の撮像面１ａに投影された輝度画像を示しており、（ｃ）はカメラ１として赤外線カメラを用いた場合の赤外画像を示している。
【図５】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１の画像情報を説明する図であって、（ａ）は実施例１の物体検出装置を上方から見た状態を示し、（ｂ）はカメラ１の撮像面１ａに投影された輝度画像を示しており、（ｃ）はカメラ１として赤外線カメラを用いた場合の赤外画像を示している。
【図６】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理で用いるソーベルフィルタを示す概略図である。
【図７】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理において、エッジの方向ベクトルの求め方の説明図であり、（ａ）は垂直エッジ成分算出用のフィルタを示し、（ｂ）は水平エッジ成分算出用のフィルタを示し、（ｃ）はエッジ強度とエッジ方向ベクトルとの関係を示している。
【図８】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理において、オプティカルフローとレーダの距離検出の状態を示す説明図である。
【図９】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理において、オプティカルフローとレーダの距離検出の状態を示す説明図である。
【図１０】本発明の実施の形態の実施例１の物体検出装置における重み付け処理で用いる重み付けの特性を示す特性図であって、（ａ）は必要度、（ｂ）は有効度を示している。
【図１１】本発明の実施の形態の実施例１の物体検出装置における重み付け処理で用いる投票表ＴＳへの投票例を示す説明図である。
【図１２】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１による画像情報とレーダ２による距離情報との関係を説明する説明図であり、（ａ）は画像情報を示し、（ｂ）は距離情報を示している。
【図１３】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１による画像情報とレーダ２による距離情報と投票との関係を説明する説明図であり、（ａ）はエッジ処理を行った画像情報を示し、（ｂ）は距離情報と投票する領域との関係を示している。
【図１４】本発明の実施の形態の実施例１の物体検出装置におけるカメラ１による画像情報を投票表ＴＳへ投票する位置関係を説明する説明図であり、（ａ）は側方から見た状態を示し、（ｂ）は上方から見た状態を示す。
【図１５】本発明の実施の形態の実施例２の物体検出装置における重み付け処理で用いる投票表ＴＳへの投票例を示す説明図である。
【図１６】本発明の実施の形態の実施例３の物体検出装置における種類判別表を示す特性図である。
【符号の説明】
【０１１５】
１ カメラ（物体センサ）
２ レーダ（物体センサ）
ＡＢ 車両（物体）
ＣＵ コントロールユニット（検出処理手段）
ＭＢ 車両
ＭＳ 二輪車（物体）
ＰＥ 人（物体）
ＴＲ 樹木（物体）
ＷＯ 壁（物体）
【特許請求の範囲】
【請求項１】
物体センサから得られる外界に存在する物体に関する情報を入力して物体の検出を行う物体検出方法であって、
前記物体に関する情報を入力し、
入力した情報のうち、少なくとも１種類の情報に対して物体検出用の所定の変換を行い、
入力情報および変換情報に対し、検出対象としての物体に関する相関性に対応して重み付けを行い、
この重み付けした情報に基づいて物体の検出を行うことを特徴とする物体検出方法。
【請求項２】
外界に存在する物体に関する情報を入力する物体センサと、
この物体センサから得られる情報に基づいて、物体を検出する検出処理手段と、
を備えた物体検出装置であって、
前記検出処理手段が、入力した情報のうち、少なくとも１種類の情報に対して物体検出用の所定の変換を行う情報変換処理と、入力情報と変換情報との少なくとも一方の情報に対し、検出対象となる物体との相関性に対応して重み付けを行う重み付け処理と、この重み付けした後の情報に基づいて物体の検出を行う検出処理と、を実行することを特徴とする物体検出装置。
【請求項３】
前記物体センサは、車両に搭載され、少なくとも車両の進行方向に存在する物体を検出することを特徴とする請求項２に記載の物体検出装置。
【請求項４】
前記物体センサは、可視光領域の画像を時系列に撮影するカメラと、光波・電波・超音波などを照射し、その反射により物体を捉えるレーダと、の少なくとも一方を備えている
ことを特徴とする請求項２または請求項３に記載の物体検出装置。
【請求項５】
前記検出処理手段は、前記情報変換処理として、
前記可視光領域の画像情報に基づいて、時系列微分により得られる物体の動き情報と、水平と垂直の少なくとも一方向の微分により得られる画像エッジ強度および画像エッジの方向成分と、の少なくとも１つを求める画像情報変換処理と、
前記レーダにより得られる、物体の方位毎の反射強度と、物体との距離と、物体との相対速度と、の少なくとも１つをデジタル情報に変換するレーダ情報変換処理と、
の少なくとも１つの処理を行うことを特徴とする請求項４に記載の物体検出装置。
【請求項６】
前記検出処理手段は、前記重み付け処理として、検出対象となる物体の種類ごとに、物体の種類と各情報の必要度あるいは有効度の大きさに応じた重み付けの程度が予め設定されており、この設定に基づいて各情報に重み付けを行うことを特徴とする請求項２〜５のいずれか１項に記載の物体検出装置。
【請求項７】
前記検出処理手段は、前記重み付け処理として、前記入力情報および変換情報の相関の高さに基づいて、各情報に重み付けを行うことを特徴とする請求項２〜５のいずれか１項に記載の物体検出装置。
【請求項８】
前記物体センサとして、カメラとレーダとを備え、
前記重み付け処理において、必要度に対応した重み付けは、あらかじめ前記物体の種類ごとに設定された各情報の必要度を参照して行い、有効度に対応した重み付けは、画像のエッジ強度と、レーダの反射強度と、複数データの相関の高さとのうちで、すべてまたはいずれかの値から算出された値に基づいて行うことを特徴とする請求項６または請求項７に記載の物体検出装置。
【請求項９】
前記物体センサとして、カメラとレーダとを備え、
前記検出処理手段の前記重み付け処理に、物体センサの検出範囲を、所定の分解能で区切った表を用意し、この表を投票表として、各情報を投票表の対応する位置に投票する投票処理が含まれ、
前記検出処理では、前記投票表において、投票された情報の数に基づいて物体の検出を行い、かつ、投票された情報の種類から物体の種類判定を行うことを特徴とする請求項４〜８のいずれかに記載の物体検出装置。
【請求項１０】
前記投票処理において、投票する情報は、そのときの検出対象物の種類に応じ、必要度が高いと判定された情報を抽出し、この抽出した情報に、有効度の値に応じた重みを掛け合わせて重み付けを行った値を投票表に加算することを特徴とする請求項９に記載の物体検出装置。
【請求項１１】
前記物体センサとして、カメラとレーダとを備え、
前記判別する物体の種類に人工物が含まれ、
前記検出処理手段は、人工物の判定に用いる重み付け処理として、必要度を、情報どうしの相関の高さに基づいて決定し、有効度を、画像情報から得られたエッジの強さとレーダ情報から得られた反射強度との少なくとも一方に基づいて決定することを特徴とする請求項４〜１０のいずれか１項に記載の物体検出装置。
【請求項１２】
前記物体センサとして、カメラとレーダとを備え、
前記検出処理手段は、
前記変換処理において、画像情報からオプティカルフローを求める処理と、レーダ情報としての距離から得た相対速度からオプティカルフローを求める処理を行い、
前記重み付け処理では、２つのオプティカルフローの相関を必要度、エッジ強度を有効度とした重み付けを行なって、その領域内に存在するエッジ強度、エッジ方向のベクトル、相対速度の情報を抽出し、
前記検出処理では、抽出した情報に基づいて、車両、走行中の二輪車、歩行者、道路構造物を判別することを特徴とする請求項４〜１１のいずれか１項に記載の物体検出装置。
【請求項１３】
前記物体センサとして、赤外波長の画像を撮影する赤外線カメラが含まれ、
前記検出処理手段は、前記情報変換処理において、前記赤外線カメラの出力画像の画素毎に温度値を求める処理を実行し、
前記検出処理では、車両、乗車中の二輪車、歩行者、道路構造物の種類の判別において、投票表の結果の物体検出領域内の情報から、あらかじめ設定されたしきい値以上の温度が観測されている場合は歩行者ではないと判別することを特徴とする請求項４〜１２のいずれか１項に記載の物体検出装置。
【請求項１】
物体センサから得られる外界に存在する物体に関する情報を入力して物体の検出を行う物体検出方法であって、
前記物体に関する情報を入力し、
入力した情報のうち、少なくとも１種類の情報に対して物体検出用の所定の変換を行い、
入力情報および変換情報に対し、検出対象としての物体に関する相関性に対応して重み付けを行い、
この重み付けした情報に基づいて物体の検出を行うことを特徴とする物体検出方法。
【請求項２】
外界に存在する物体に関する情報を入力する物体センサと、
この物体センサから得られる情報に基づいて、物体を検出する検出処理手段と、
を備えた物体検出装置であって、
前記検出処理手段が、入力した情報のうち、少なくとも１種類の情報に対して物体検出用の所定の変換を行う情報変換処理と、入力情報と変換情報との少なくとも一方の情報に対し、検出対象となる物体との相関性に対応して重み付けを行う重み付け処理と、この重み付けした後の情報に基づいて物体の検出を行う検出処理と、を実行することを特徴とする物体検出装置。
【請求項３】
前記物体センサは、車両に搭載され、少なくとも車両の進行方向に存在する物体を検出することを特徴とする請求項２に記載の物体検出装置。
【請求項４】
前記物体センサは、可視光領域の画像を時系列に撮影するカメラと、光波・電波・超音波などを照射し、その反射により物体を捉えるレーダと、の少なくとも一方を備えている
ことを特徴とする請求項２または請求項３に記載の物体検出装置。
【請求項５】
前記検出処理手段は、前記情報変換処理として、
前記可視光領域の画像情報に基づいて、時系列微分により得られる物体の動き情報と、水平と垂直の少なくとも一方向の微分により得られる画像エッジ強度および画像エッジの方向成分と、の少なくとも１つを求める画像情報変換処理と、
前記レーダにより得られる、物体の方位毎の反射強度と、物体との距離と、物体との相対速度と、の少なくとも１つをデジタル情報に変換するレーダ情報変換処理と、
の少なくとも１つの処理を行うことを特徴とする請求項４に記載の物体検出装置。
【請求項６】
前記検出処理手段は、前記重み付け処理として、検出対象となる物体の種類ごとに、物体の種類と各情報の必要度あるいは有効度の大きさに応じた重み付けの程度が予め設定されており、この設定に基づいて各情報に重み付けを行うことを特徴とする請求項２〜５のいずれか１項に記載の物体検出装置。
【請求項７】
前記検出処理手段は、前記重み付け処理として、前記入力情報および変換情報の相関の高さに基づいて、各情報に重み付けを行うことを特徴とする請求項２〜５のいずれか１項に記載の物体検出装置。
【請求項８】
前記物体センサとして、カメラとレーダとを備え、
前記重み付け処理において、必要度に対応した重み付けは、あらかじめ前記物体の種類ごとに設定された各情報の必要度を参照して行い、有効度に対応した重み付けは、画像のエッジ強度と、レーダの反射強度と、複数データの相関の高さとのうちで、すべてまたはいずれかの値から算出された値に基づいて行うことを特徴とする請求項６または請求項７に記載の物体検出装置。
【請求項９】
前記物体センサとして、カメラとレーダとを備え、
前記検出処理手段の前記重み付け処理に、物体センサの検出範囲を、所定の分解能で区切った表を用意し、この表を投票表として、各情報を投票表の対応する位置に投票する投票処理が含まれ、
前記検出処理では、前記投票表において、投票された情報の数に基づいて物体の検出を行い、かつ、投票された情報の種類から物体の種類判定を行うことを特徴とする請求項４〜８のいずれかに記載の物体検出装置。
【請求項１０】
前記投票処理において、投票する情報は、そのときの検出対象物の種類に応じ、必要度が高いと判定された情報を抽出し、この抽出した情報に、有効度の値に応じた重みを掛け合わせて重み付けを行った値を投票表に加算することを特徴とする請求項９に記載の物体検出装置。
【請求項１１】
前記物体センサとして、カメラとレーダとを備え、
前記判別する物体の種類に人工物が含まれ、
前記検出処理手段は、人工物の判定に用いる重み付け処理として、必要度を、情報どうしの相関の高さに基づいて決定し、有効度を、画像情報から得られたエッジの強さとレーダ情報から得られた反射強度との少なくとも一方に基づいて決定することを特徴とする請求項４〜１０のいずれか１項に記載の物体検出装置。
【請求項１２】
前記物体センサとして、カメラとレーダとを備え、
前記検出処理手段は、
前記変換処理において、画像情報からオプティカルフローを求める処理と、レーダ情報としての距離から得た相対速度からオプティカルフローを求める処理を行い、
前記重み付け処理では、２つのオプティカルフローの相関を必要度、エッジ強度を有効度とした重み付けを行なって、その領域内に存在するエッジ強度、エッジ方向のベクトル、相対速度の情報を抽出し、
前記検出処理では、抽出した情報に基づいて、車両、走行中の二輪車、歩行者、道路構造物を判別することを特徴とする請求項４〜１１のいずれか１項に記載の物体検出装置。
【請求項１３】
前記物体センサとして、赤外波長の画像を撮影する赤外線カメラが含まれ、
前記検出処理手段は、前記情報変換処理において、前記赤外線カメラの出力画像の画素毎に温度値を求める処理を実行し、
前記検出処理では、車両、乗車中の二輪車、歩行者、道路構造物の種類の判別において、投票表の結果の物体検出領域内の情報から、あらかじめ設定されたしきい値以上の温度が観測されている場合は歩行者ではないと判別することを特徴とする請求項４〜１２のいずれか１項に記載の物体検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００７−２５５９７７（Ｐ２００７−２５５９７７Ａ）
【公開日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願番号】特願２００６−７８４８４（Ｐ２００６−７８４８４）
【出願日】平成１８年３月２２日（２００６．３．２２）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願日】平成１８年３月２２日（２００６．３．２２）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]