物体識別装置
【課題】センサで検出した物体が人（または動物）であるかを正確に識別し、その位置や距離を求めることができる物体識別装置を提供する。
【解決手段】レーザレーダ制御部８はレーザレーダ２で所定強度以上の反射が有った場合に、物体が存在するとして判定するとともに、その物体の方向、および距離を求める。画像処理部４は、カメラ３で撮影した画像から人の顔を検出する。座標変換部５は、画像認識により検出した顔の座標をレーザレーダのスキャン範囲内の位置に置き換える。空間対応処理部７は、この顔の位置に対応する物体を人として識別する。これによりレーザレーダで検出した物体が人であるかを正確に識別することができ、人の存在する方向や距離を求めることができる。
【解決手段】レーザレーダ制御部８はレーザレーダ２で所定強度以上の反射が有った場合に、物体が存在するとして判定するとともに、その物体の方向、および距離を求める。画像処理部４は、カメラ３で撮影した画像から人の顔を検出する。座標変換部５は、画像認識により検出した顔の座標をレーザレーダのスキャン範囲内の位置に置き換える。空間対応処理部７は、この顔の位置に対応する物体を人として識別する。これによりレーザレーダで検出した物体が人であるかを正確に識別することができ、人の存在する方向や距離を求めることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、自動車の前方に存在する物体の種類を正確に識別することができる物体識別装置に関する。
【背景技術】
【０００２】
自動車による交通事故を防止するため、近年、近赤外線レーザビームで前方をスキャンするレーザスキャン装置を用い、その反射光を受信して前方の物体（先行車、障害物、歩行者等）の有無およびその距離を検出する光学式測距装置が実用化されている。このような測距装置を用い、先行車との距離に応じて自車の車速等をコントロールするクルージングコントロールや歩行者との接触を避けるための緊急停止制御等が行われている。
【０００３】
上記の様なクルージングコントロールや、緊急停止制御等を行うためには、物体の種類を特定することが重要となる。そこで、被検出物体について連続性を判断してグルーピングし、各グループの被検出物体の総数とその相対位置から、被検出物体が道路設備であるか先行車であるかを判定する対象判別装置が提案されている（例えば特許文献１参照）。
【０００４】
また、遠赤外線カメラを用いて人の熱を感知し、歩行者として検出する装置が提案されている（例えば特許文献２参照）。
【特許文献１】特開平７−２７０５３６号公報
【特許文献２】特開平８−２６３７８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１の装置では物体が先行車であるか道路設備であるかを判定することはできるが、歩行者（人）であるかを判定することができなかった。緊急停止制御を行うためには、検出した物体が人であるかを正確に識別する必要がある。例えば人を検出した場合に、これを誤って人ではないと識別しては、人と接触する可能性が有り、交通事故が発生してしまうおそれがある。また、道路設備等を検出した場合に、これを誤って人として判定した場合に急停止しては他の車両の通行の妨げとなる。
【０００６】
一方で、カメラ等で自動車前方を撮影し、特定の領域内の物体の画像の形状が人の形状に近いときにその物体を人と識別する技術が有るが、人の外観形状は常に同一ではなく、正確に人として識別することはできなかった。例えば、シルエットが大きく変わるようなコート等の衣服を着ていたり、鞄などの物を持っていたりする場合、形状が変化するので人と識別できない可能性が有った。
【０００７】
また、特許文献２の装置では遠赤外線カメラで人の熱を感知し、識別する方法が提案されているが、低温（冬）期にダウンジャケットなど保温性の高い衣服を着ている場合や、長時間冷気にさらされて顔や手等が露出して温度低下した場合に人に対応する画像形状が変化して検出できない可能性が有った。
【０００８】
この発明は、センサで検出した物体が人（または動物）であるかを正確に識別し、その位置や距離を求めることができる物体識別装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の発明は、自動車の前方に存在する物体を検出する物体センサと、前記物体センサが検出した物体の方向、および距離を示す情報である位置情報を算出する位置情報算出手段と、自動車の前方の映像を取得し、この映像の中から特定の画像を認識する画像センサと、前記画像センサが認識した特定の画像の前記映像内での座標を算出する座標算出手段と、前記座標算出手段が算出した特定の画像の座標を、前記位置情報算出手段が算出する物体の方向を示す情報に変換し、前記特定の画像と前記物体センサが検出した物体とを対応付け、対応付けられた物体を特定物体と判断する対応処理部と、前記対応処理部が特定物体として判断した物体の位置情報を、特定物体の位置情報として出力する位置情報出力手段と、を備えたことを特徴とする。
【００１０】
この発明では、物体センサ（例えばレーザレーダ）で自動車前方をスキャンし、画像センサ（例えばカメラ）で自動車前方の映像を取得する。レーザレーダで物体の方向、および距離を検出し、画像センサで特定の映像（例えば人の顔）を認識する。レーザレーダで検出した物体の方向と人の顔の画像の座標とを比較し、画像座標に対応する物体を特定の物体（例えば人）として識別する。
【００１１】
具体的には、レーザレーダで所定強度以上の反射が有った場合に、物体が存在するとして判定するとともに、その物体のスキャン範囲内の方向（および距離）を求める。また、カメラで人の顔を画像認識により検出する。画像認識により検出した顔の座標をレーザレーダのスキャン範囲内の方向に置き換え、この顔の座標に対応する（一致する）物体を人として識別し、人の方向、距離の情報を出力する。これによりレーザレーダで検出した物体が人であるかを正確に識別することができ、人の位置や距離を求めることができる。
【００１２】
なお、物体センサは、レーザレーダ以外にも電波式レーダ、静電容量型センサ、ステレオ画像センサ等であってもよい。
【００１３】
請求項２に記載の発明は、上記発明において、前記対応処理部は、前記物体センサが継続的に検出した複数の物体のうち、所定時間内における移動方向、および距離が一致する複数の物体を同一グループとして判定し、前記特定の画像に対応付けた物体と同一グループの複数の物体を１つの物体として前記特定の画像と対応付けることを特徴とする。
【００１４】
この発明では、１スキャンの時間における移動距離と方向（移動ベクトル）が一致する各物体を同一のグループとする。特定画像に対応する物体と同一のグループに属する物体を全て１つの物体であると判定する。
【００１５】
請求項３に記載の発明は、上記発明において、前記物体センサが物体を検出した場合に、前記物体センサの検出閾値を下げて、検出した物体の周囲を前記物体センサに再スキャンさせる物体センサ制御手段をさらに備えたことを特徴とする。
【００１６】
この発明では、物体センサで物体を検出した場合、物体が存在するとして判定する閾値を下げ、周囲を再スキャンする。これにより、反射率の低い人の顔等も確実に検出することができる。
【００１７】
請求項４に記載の発明は、上記発明において、前記対応処理部は、前記物体センサが今回のスキャン時に検出した物体と同一または隣接の領域に前回スキャン時に物体が検出されていた場合、これらの物体を同一の物体として判断することを特徴とする。
【００１８】
この発明では、レーザレーダの今回の動作フレーム時に検出した各物体について、それぞれ同一または隣接する領域に前回の動作フレーム時に物体が検出されていた場合、これらを同一物体とする。したがって、この物体が顔位置に対応する場合、この物体を人であるとして時間軸でトレースする。
【００１９】
請求項５に記載の発明は、上記発明において、前記対応処理部は、前記物体センサが今回のスキャン時に検出した物体が前記特定の画像と対応付けられなかった場合であっても、この物体と同一物体であると判断された前回スキャン時に検出した物体が前記特定の画像と対応付けられていた場合、今回のスキャン時に検出した物体を継続して特定物体であると判断することを特徴とする。
【００２０】
この発明では、人であるとして判断した物体について、カメラで顔を認識できなくなった場合であっても、その物体を人として判断し続ける。つまり、一度でも顔を認識した場合、これに対応する物体を人として判断し続ける。時間経過と共に人の顔の向きが変わったり、スカーフなどで顔が隠されたりしても、人として判断することができる。
【００２１】
請求項６に記載の発明は、上記発明において、前記対応処理部は、前記物体センサが検出した複数の物体のうち、隣接領域に検出された複数の物体の集合が前記特定の画像に対応する場合、これらの物体を特定物体の集合であると判断することを特徴とする。
【００２２】
この発明では、人であるとして判断した物体の隣接領域の複数の物体が人であると判断した場合、これらを人を含む物体の集合とする。
【発明の効果】
【００２３】
この発明によれば、物体センサで検出した物体の位置と画像センサにより取得した人の顔の画像位置とを比較し、画像位置に対応する物体を人として識別するので、人の外観形状（服装など）に関わらず、センサで検出した物体が人（または動物）であるかを正確に識別し、その位置や距離を求めることができる。
【発明を実施するための最良の形態】
【００２４】
図１はこの発明の実施形態である物体識別装置を備えた自動車を示す図である。この物体識別装置は、自動車１の先端部に取り付けられたレーザレーダ２と、カメラ３と、を備えている。レーザレーダ２は、自動車１の前方に近赤外線を照射し、反射光をフォトダイオード等で検出して物体等の検出を行う。また、カメラ３は、自動車１前方を撮影し、継続的または間欠的に画像を取り込む。この画像から特定の画像を認識する。
【００２５】
図１（Ａ）は自動車１を側面から表した図であり、図１（Ｂ）は自動車１を上面から表した図である。レーザレーダ２は、自動車１の前方に設けられている。レーザレーダ２は、自動車の前方に、近赤外線のレーザ光を照射する。レーザ光は、水平に所定の角度（例えば左右２０度）で走査して照射されるように調整される。また、自動車１前方の垂直方向にも所定の角度で照射されるように調整される。レーザ光は、水平照射範囲の末端で、垂直方向の照射角度を変更するように設定される。すなわち、水平に１度走査した後、垂直方向に角度を変えて再度水平に走査を繰り返す。
【００２６】
レーザ光は約１度の角度で広がるビーム光として放射状に出力する。レーザ光を平行光で出力すると人の目に障害を与える可能性が有るからである。自動車から離れるにつれ、ビーム幅が広がるように出力し、人の目に高強度の近赤外線を照射しないようにする。
【００２７】
図２は、レーザレーダ２を詳細に説明する図である。同図（Ａ）はレーザレーダ２の構成を示した図である。同図（Ａ）に示すように、レーザダイオード５０で照射したレーザ光は、レンズ５２によって形成され、ビーム状に照射される。反射光は、レンズ５３を経てフォトダイオード５１で検出される。レンズ５２、５３はフレーム５７に取り付けられている。フレーム５７は、略コ字形をしており、両側面５７ａは板バネで構成され、レンズ５２、５３とともに左右に揺動可能である。フレーム５７の中央には電磁コイル５４が設けられており、この電磁コイル５４の左右には、永久磁石５５、５６が設けられている。電磁コイル５４に同図（Ｂ）に示すようなスキャン制御信号を入力することにより、この電磁コイル５４に発生する磁力と永久磁石５５、５６の磁力との吸引力、反発力によりフレーム５７（レンズ５２、５３）が左右に揺動する。
【００２８】
同図（Ｂ）および（Ｃ）は、スキャン制御信号を示した図である。同図（Ｂ）に示すように、コイル５４には、レンズ５２、５３が水平方向に２０度の角度で振動するように水平方向のスキャン制御信号が入力される。また、同図（Ｃ）に示すように水平照射方向の末端で、垂直方向の照射角が変更されるように垂直方向のスキャン制御信号が入力される。垂直方向は電磁アクチュエータ等を用いればよい。
【００２９】
なお、垂直方向に関しては、本発明の実施形態の構成要素としての要件ではなく、水平方向にのみ１次元でスキャンするようにしてもよい。この場合、レンズの特性を調整して自動車前方にさらに縦長のレーザビームを照射し、垂直方向の照射範囲を確保すればよい。
【００３０】
レーザレーダ２は、自動車１の前方で反射したレーザ光の強度をフォトダイオード５１で測定する。測定した強度は、後述するレーザレーダ制御部に出力する。レーザレーダ制御部では所定の強度以上の反射が有った場合に物体が存在するとして判定する。
【００３１】
図１において、カメラ３は、自動車１の前方に設けられている。カメラ３は、自動車前方を撮影し、継続的または間欠的に画像を取り込む。取り込んだ画像は画像処理部（後述する）に出力する。カメラ３の視野は、レーザスキャン範囲よりも広くなるように設置され、レーザスキャン範囲と同方向になるように自動車１に組み付けられている。
【００３２】
このカメラ３は、広ダイナミックレンジのＣＭＯＳカメラであることが望ましい。広ダイナミックレンジのＣＭＯＳカメラであれば、日光に照らされた極めて明るい顔面等と、日陰に存在する暗い顔面等の被写体も同時に的確に撮影することができる。すなわち、自動車の前方は、昼間は日光によって高照度になる一方で、夜間は極めて低い照度になる劣悪な撮影環境となるが、広ダイナミックレンジのＣＭＯＳカメラであれば、人間の眼と同等以上のダイナミックレンジを有するので、明暗の幅が広いコントラストの強い被写体であっても、「白飛び」や「黒つぶれ」の画像になることがない。
【００３３】
次に、図３は、物体識別装置の構成を示すブロック図である。この物体識別装置は、前述のレーザレーダ２、カメラ３、センサ６に加え、カメラ３で取り込んだ画像が入力され、特定の画像を認識する画像処理部４、画像処理部４で認識された特定画像の位置（撮影範囲内の座標）をレーザレーダ２のスキャン方向に座標変換する座標変換部５、座標変換部５で座標変換された特定画像の座標情報とレーザレーダ２で検出した物体の位置（方向、距離）が入力される空間対応処理部７、レーザレーダ２のレーザ照射方向やレーザ照射強度を制御するレーザレーダ制御部８、空間対応処理部７から入力される座標一致情報から人の存在位置を算出する人認識部９、および人認識部９に接続される車両制御部１０を備えている。
【００３４】
レーザレーダ２は、前述のように自動車１の前方で反射したレーザ光をフォトダイオード５１で検出し、その反射強度を測定する。測定した反射強度は、レーザレーダ制御部８に入力される。レーザレーダ制御部８は、この反射強度があらかじめ設定した強度（閾値）以上となった場合、物体が存在すると判定する。また、レーザレーダ制御部８は、レーザ照射タイミングと、受光タイミングの遅延時間を測定して、その遅延時間から物体との距離を測定することができる。
【００３５】
センサ６は、レーザスキャン範囲において、レーザ光の水平方向の照射角度（パン）と垂直方向の照射角度（チルト）を検出し、これらをレーザレーダ制御部８に入力する。レーザレーダ制御部８は、レーザ照射のタイミングまたは反射したレーザの受光タイミングにおけるレーザ照射角度から物体の存在する方向を判定することができる。すなわち、レーザレーダ制御部６は、反射強度があらかじめ設定した強度（閾値）以上となった時、センサ６で検出した照射角度を参照し、この照射角度（方向）を物体の存在する方向とする。
【００３６】
このようにしてレーザレーダ制御部８は、レーザ反射強度、遅延時間、照射方向から周囲の物体の方向、距離に関する情報を得ることができる。レーザレーダ制御部８で計測された物体の方向、および物体との距離情報は、空間対応処理部７に入力される。
【００３７】
画像処理部４は、ＤＳＰ等で構成され、所定の認識アルゴリズムに基づいて特定の画像を認識する。本発明の実施形態では、特定の画像として人の顔を認識する。例えば、カメラ３で取得した画像を複数の小領域に分割して、それぞれの画像をあらかじめ登録しておいた顔パターンと照合する。また、カラー画像を取得して肌色と一致するか判定してもよい。なお、より詳細に人の眼を認識するようにしてもよい。
【００３８】
顔を認識した場合に画像処理部４は、カメラ撮影視野内で認識した顔の座標位置の情報を座標変換部５に入力する。座標変換部５は、カメラ撮影視野内で認識した顔の座標位置をレーザスキャン範囲の座標位置（スキャン方向）に座標変換する。座標変換部５で座標変換された顔の座標情報は、空間対応処理部７に入力される。
【００３９】
空間対応処理部７は、座標変換部５から入力された顔の座標情報とレーザレーダ制御部８から入力された物体の方向を比較し、顔の存在する座標と物体の方向が一致する場合に座標一致情報を人認識部９に伝達する。
【００４０】
人認識部９は、空間対応処理部７から入力された座標一致情報と、レーザレーダ制御部８から空間対応処理部７を介して取得する物体の方向、距離から人の存在する位置情報を算出する。すなわち、顔の存在する座標に一致する物体の方向、距離を人の存在する方向、距離として算出する。
【００４１】
人認識部９で算出された人の位置情報は車両制御部１０に入力される。車両制御部１０は、人の位置情報に応じて自車の車速等をコントロールする。すなわち、車両制御部１０は、人との接触を避けるための緊急停止制御等を行う。なお、緊急停止制御以外にも、人の代わりに先行車の位置情報を入力して、先行車に追随し、自車の速度をコントロールするクルージングコントロールを行ってもよい。
【００４２】
次に、顔の座標と物体の方向との対応処理について詳細に説明する。図４は、レーザレーダ２のスキャン範囲とカメラ３の画像撮影範囲を示す図である。同図（Ａ）に示すように、カメラの画像撮影範囲は、レーザスキャン範囲よりも広くなるように設定されている。画像処理部４は、カメラ視野内で顔を認識した時、同図（Ｂ）に示すように、顔の画素座標を検出し、座標変換部５に入力する。座標変換部５は、入力された画素座標をレーザスキャン範囲内の水平方向の照射角度（パン）と垂直方向の照射角度（チルト）に変換する。変換方法は、所定の変換式を用いて変換すればよい。この変換式は、レーザレーダ２とカメラ３を自動車１に取り付けた時のキャリブレーションで求めればよい。
【００４３】
空間対応処理部７は、顔の存在する座標位置とレーザレーダ制御部８で検出した物体の方向（パン、チルト）を比較する。この結果、顔の座標位置と物体の方向とが一致する場合に座標一致情報を人認識部９に伝達する。
【００４４】
人認識部９は、空間対応処理部７から座標一致情報が入力された場合、同図（Ｃ）に示すように、レーザレーダ制御部８から物体の存在範囲の位置情報（照射角度、距離）を取得し、これを人の存在する位置情報として認識する。このとき、人認識部９は、顔の座標位置だけではなく、レーザレーダ制御部８で検出した人領域全体（同一物体と認められる複数の検出物）を人の存在位置として認識する。すなわち、顔の存在位置を検出することで、人全体（自転車などの人に接している物体も含む）の存在位置を検出する。人全体の存在位置を検出するので、車両制御部１０において正確に緊急停止制御を行うことができる。
【００４５】
以下、図５〜図９を参照して物体識別装置の動作を説明する。図５のフローチャートは、人領域の検出動作を示すフローチャートである。まず、物体が検出されたか否かを判定する（ｓ１１）。物体が検出された場合、その物体の周囲の閾値を低減し（ｓ１２）、再スキャンを行う（ｓ１３）。一般的に人の体は反射率が低く、通常の閾値ではその周囲の反射率が高い物（自転車、鞄等）のみ検出される。そこで、物体を検出した場合は閾値を低減してから再検出を行う。
【００４６】
この再検出について図６を参照して詳細に説明する。ここでは自転車に乗った人を検出する例について説明する。同図（Ａ）に示すように、レーザレーダのスキャン範囲には自転車に乗った人が存在している。図中における罫線（マス目）はレーザレーダの分解能を示す。一般に自転車の車輪部分は金属製が多く、レーザ等の光反射強度が大きい。したがって高い閾値によるスキャン時には、同図（Ｂ）に示すように、レーザ受信強度の大きい車輪部分のみが検出される。これ以外のスキャン範囲では高い閾値において（実際には物体が存在するが受信強度が小さく）物体が検出されることはない。
【００４７】
ここでレーザレーダ制御部８は、受信強度の大きい領域の周囲（同図（Ｂ）における再検出領域）について、閾値を低く設定し直して、再スキャンを行う。通常よりも低い閾値で再スキャンを行うことで、前回に閾値以下で検出されなかった物体についても検出することができる。したがって、例えば同図（Ｂ）においては受信強度の小さいサドル部分を検出することができる。ここで、再スキャンによって新たに物体を検出した場合はその検出領域の周囲についてさらに再スキャンを行う。さらに再スキャンを行った結果、新たに物体を検出した場合はスキャンを繰り返す。このようにして、新たな物体を検出しなくなるまでスキャンを繰り返す（図５のｓ１４）。図７に示すように、受信強度の小さい人の身体を全て検出し、これらの検出領域の周囲をスキャンしても新たな物体を検出しなくなった場合、再スキャンを終了し、それぞれの物体の方向、距離の情報を、空間対応処理部７に出力する（ｓ１５）。
【００４８】
このようなスキャンを繰り返すことで受信強度の小さい人の体を確実に検出することができる。なお、レーザレーダ制御部８は、検出した物体が移動物（移動ベクトルを有する物体）か否かを判断して、移動物であった場合に閾値を低減して再検出するようにしてもよい。再検出を移動物に限定することで処理を簡略化できる。
【００４９】
次に、空間対応処理部７の動作について説明する。図８に空間対応処理部７の動作のフローチャートを示す。上述したように、空間対応処理部７は、レーザレーダ制御部８からそれぞれの物体の方向、距離の情報を入力し（ｓ２１）、座標変換部５から顔の座標を入力する（ｓ２２）。なお、レーザレーダ２のスキャンとカメラ３の撮影は同期されており、例えば画像の撮影は、スキャンの両端のタイミングに行う構成とする。
【００５０】
ここで、空間対応処理部７は、レーザレーダ制御部８から入力された各物体の方向、距離の情報に基づいて、各物体のグルーピングを行う。上述したようにレーザレーダ制御部８において低い閾値でスキャンを行うと、ノイズ等、物体ではない場合であっても閾値以上の反射強度が有るとして検出される可能性が有り、空間対応処理部７においては、検出した物体についてそれぞれの移動ベクトルを算出し（ｓ２３）、各物体のグルーピングを行う（ｓ２４）ことで、ノイズ等を排除する処理を行う。
【００５１】
このグルーピングについて図９を参照して詳細に説明する。図９に示すグラフの横軸は各物体の水平方向における検出位置を表し、縦軸は各物体との距離を示す。なお、垂直方向については図示していないが、垂直方向についても検出位置と各物体との距離を比較するものとする。同図における丸印は検出した各物体を示し、矢印は移動ベクトルを示す。移動ベクトルは、１スキャンの時間における各物体の移動距離と方向を表し、前回スキャンにおける検出位置と今回スキャンにおける検出位置の差から算出する。１スキャンは例えば１００ｍｓｅｃとする。
【００５２】
空間対応処理部７は、各物体の移動ベクトルを算出し、比較する。その結果、移動ベクトル、および距離が同一（類似）と判断された物体を同一の物体としてグルーピングする。同図においては、物体１０１Ａ〜１０１Ｈが検出されており、物体１０１Ａ〜１０１Ｅは略同一の距離、移動ベクトルを有している。したがって空間対応処理部７は、物体１０１Ａ〜１０１Ｅを同一の物体としてグルーピングする。ここで、物体１０１Ｆは物体１０１Ａ〜１０１Ｅと略同一の距離であるが、移動ベクトルが異なる（反対方向である）ために同一の物体ではないとして判断する。また、物体１０１Ｇは物体１０１Ａ〜１０１Ｅと略同一の移動ベクトルを有するが、距離が大きく異なるために、同一の物体ではないとして判断する。物体１０１Ｈは物体１０１Ａ〜１０１Ｅと距離、移動ベクトルともに異なるために、同一の物体ではないとして判断する。
【００５３】
空間対応処理部７、以上のようにしてグルーピングした後の各物体についてカメラ３で取得した画像から物体識別を行う。空間対応処理部７は、受信した物体の方向の情報と顔の座標を比較し（ｓ２５）、これらが一致するか否かを判断する（ｓ２６）。一致しなければ最初から処理を繰り返す。これらの座標が一致した場合に座標一致情報とその物体（グルーピングした場合はグループ単位）の位置情報（方向、距離）を人認識部９に出力する（ｓ２７）。
【００５４】
人認識部９は、空間対応処理部７から座標一致情報、および物体の位置情報が入力された場合、この物体を人として識別する。このとき、物体がグルーピングされている場合はグループ全体を人として判断する。つまり、顔を認識した付近における略同一の距離、移動ベクトルを有する物体はすべて人として判断する。また、人認識部９は、入力した物体の位置情報よりも広い範囲を人の存在位置とする。これにより、レーザレーダの検出精度に空間的なマージンを持たせることとなり、安全性の向上が期待できる。
【００５５】
また、人認識部９は、一旦人であるとして判断した物体について、画像処理部４で顔を認識できなくなり、空間対応処理部７で座標一致されなくなった場合であっても、その物体を人として判断し続ける。つまり、一度でも顔を認識した場合、これに対応する位置の物体を人として識別し続ける。これにより、時間経過と共に人の顔の向きが変わったり、スカーフなどで顔が隠されたりしても、人として識別することができる。
【００５６】
なお、画像処理部４において、一度顔を認識した後に、（後ろ向きになった等して）顔が認識できなくなった場合、顔を認識していた位置の画像（例えば後頭部等）を認識し続けて、これを人として判断するようにしてもよい。さらに画像処理部４は、より詳細に顔の特徴量（目、鼻、口などの配置）を解析し、これを内蔵メモリ（図示せず）に記憶しておくことで、一旦顔を認識できなくなった後に再度顔を認識した場合は、これら特徴量についてパターンマッチングすることで同一人物であるか否かを確認するようにしてもよい。
【００５７】
レーザレーダ制御部８は、スキャン範囲内を連続的に同じ移動ベクトルで移動する物体を全て同一物体として認識し、この位置情報を出力するので、空間対応処理部７で上記の画像処理部４が認識した顔の位置座標と対応付けることで、人の位置を正確に、かつ、継続的に判定することができる。
【００５８】
なお、人が密集して歩いている場合などは、画像撮影範囲の広い領域に多くの顔が検出されることとなるが、このような場合は検出した顔付近における物体の存在領域に群衆がいると判定し、人認識部９は、レーザレーダ制御部８で検出した物体について人の集合体として判定する。さらに、集合体として判定した場合、上記パターンマッチングにより、既に認識した顔と同一人物が存在するか否かを判定するようにしてもよい。その結果、同一人物でないと判定した顔の人数をカウントすることができ、その集合体に少なくとも何人の人が存在するかを認識することもできる。
【００５９】
なお、本実施形態においては、レーザレーダを用いて物体の存在を検出したが、レーザレーダ以外にも電波式レーダ、静電容量型センサ、ステレオ画像センサ等を用いて物体の存在を検出するようにしてもよい。
【００６０】
なお、この実施形態では、レーザスキャン装置を自動車に適用した例を示したが、自動車以外に、鉄道車両、船舶等に適用することも可能である。無論、識別する物体は人である例に限らず、予め設定した特定の物体であればどのような物であってもよい。
【図面の簡単な説明】
【００６１】
【図１】この発明の実施形態である物体識別装置を搭載した自動車を説明する図
【図２】レーザレーダを詳細に説明する図
【図３】物体識別装置の構成を示すブロック図
【図４】スキャン範囲とレーザ照射範囲を示す図
【図５】レーザレーダ制御部８における人領域の検出動作を示すフローチャート
【図６】再検出を説明する模式図
【図７】新たな物体を検出しなくなった場合の状況を説明する模式図
【図８】空間対応処理部７の動作を示すフローチャート
【図９】グルーピングを説明する図
【符号の説明】
【００６２】
１−自動車
２−レーザレーダ
３−カメラ
４−画像処理部
５−座標変換部
６−センサ
７−空間対応処理部
８−レーザレーダ制御部
９−人認識部
１０−車両制御部
【技術分野】
【０００１】
この発明は、自動車の前方に存在する物体の種類を正確に識別することができる物体識別装置に関する。
【背景技術】
【０００２】
自動車による交通事故を防止するため、近年、近赤外線レーザビームで前方をスキャンするレーザスキャン装置を用い、その反射光を受信して前方の物体（先行車、障害物、歩行者等）の有無およびその距離を検出する光学式測距装置が実用化されている。このような測距装置を用い、先行車との距離に応じて自車の車速等をコントロールするクルージングコントロールや歩行者との接触を避けるための緊急停止制御等が行われている。
【０００３】
上記の様なクルージングコントロールや、緊急停止制御等を行うためには、物体の種類を特定することが重要となる。そこで、被検出物体について連続性を判断してグルーピングし、各グループの被検出物体の総数とその相対位置から、被検出物体が道路設備であるか先行車であるかを判定する対象判別装置が提案されている（例えば特許文献１参照）。
【０００４】
また、遠赤外線カメラを用いて人の熱を感知し、歩行者として検出する装置が提案されている（例えば特許文献２参照）。
【特許文献１】特開平７−２７０５３６号公報
【特許文献２】特開平８−２６３７８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１の装置では物体が先行車であるか道路設備であるかを判定することはできるが、歩行者（人）であるかを判定することができなかった。緊急停止制御を行うためには、検出した物体が人であるかを正確に識別する必要がある。例えば人を検出した場合に、これを誤って人ではないと識別しては、人と接触する可能性が有り、交通事故が発生してしまうおそれがある。また、道路設備等を検出した場合に、これを誤って人として判定した場合に急停止しては他の車両の通行の妨げとなる。
【０００６】
一方で、カメラ等で自動車前方を撮影し、特定の領域内の物体の画像の形状が人の形状に近いときにその物体を人と識別する技術が有るが、人の外観形状は常に同一ではなく、正確に人として識別することはできなかった。例えば、シルエットが大きく変わるようなコート等の衣服を着ていたり、鞄などの物を持っていたりする場合、形状が変化するので人と識別できない可能性が有った。
【０００７】
また、特許文献２の装置では遠赤外線カメラで人の熱を感知し、識別する方法が提案されているが、低温（冬）期にダウンジャケットなど保温性の高い衣服を着ている場合や、長時間冷気にさらされて顔や手等が露出して温度低下した場合に人に対応する画像形状が変化して検出できない可能性が有った。
【０００８】
この発明は、センサで検出した物体が人（または動物）であるかを正確に識別し、その位置や距離を求めることができる物体識別装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の発明は、自動車の前方に存在する物体を検出する物体センサと、前記物体センサが検出した物体の方向、および距離を示す情報である位置情報を算出する位置情報算出手段と、自動車の前方の映像を取得し、この映像の中から特定の画像を認識する画像センサと、前記画像センサが認識した特定の画像の前記映像内での座標を算出する座標算出手段と、前記座標算出手段が算出した特定の画像の座標を、前記位置情報算出手段が算出する物体の方向を示す情報に変換し、前記特定の画像と前記物体センサが検出した物体とを対応付け、対応付けられた物体を特定物体と判断する対応処理部と、前記対応処理部が特定物体として判断した物体の位置情報を、特定物体の位置情報として出力する位置情報出力手段と、を備えたことを特徴とする。
【００１０】
この発明では、物体センサ（例えばレーザレーダ）で自動車前方をスキャンし、画像センサ（例えばカメラ）で自動車前方の映像を取得する。レーザレーダで物体の方向、および距離を検出し、画像センサで特定の映像（例えば人の顔）を認識する。レーザレーダで検出した物体の方向と人の顔の画像の座標とを比較し、画像座標に対応する物体を特定の物体（例えば人）として識別する。
【００１１】
具体的には、レーザレーダで所定強度以上の反射が有った場合に、物体が存在するとして判定するとともに、その物体のスキャン範囲内の方向（および距離）を求める。また、カメラで人の顔を画像認識により検出する。画像認識により検出した顔の座標をレーザレーダのスキャン範囲内の方向に置き換え、この顔の座標に対応する（一致する）物体を人として識別し、人の方向、距離の情報を出力する。これによりレーザレーダで検出した物体が人であるかを正確に識別することができ、人の位置や距離を求めることができる。
【００１２】
なお、物体センサは、レーザレーダ以外にも電波式レーダ、静電容量型センサ、ステレオ画像センサ等であってもよい。
【００１３】
請求項２に記載の発明は、上記発明において、前記対応処理部は、前記物体センサが継続的に検出した複数の物体のうち、所定時間内における移動方向、および距離が一致する複数の物体を同一グループとして判定し、前記特定の画像に対応付けた物体と同一グループの複数の物体を１つの物体として前記特定の画像と対応付けることを特徴とする。
【００１４】
この発明では、１スキャンの時間における移動距離と方向（移動ベクトル）が一致する各物体を同一のグループとする。特定画像に対応する物体と同一のグループに属する物体を全て１つの物体であると判定する。
【００１５】
請求項３に記載の発明は、上記発明において、前記物体センサが物体を検出した場合に、前記物体センサの検出閾値を下げて、検出した物体の周囲を前記物体センサに再スキャンさせる物体センサ制御手段をさらに備えたことを特徴とする。
【００１６】
この発明では、物体センサで物体を検出した場合、物体が存在するとして判定する閾値を下げ、周囲を再スキャンする。これにより、反射率の低い人の顔等も確実に検出することができる。
【００１７】
請求項４に記載の発明は、上記発明において、前記対応処理部は、前記物体センサが今回のスキャン時に検出した物体と同一または隣接の領域に前回スキャン時に物体が検出されていた場合、これらの物体を同一の物体として判断することを特徴とする。
【００１８】
この発明では、レーザレーダの今回の動作フレーム時に検出した各物体について、それぞれ同一または隣接する領域に前回の動作フレーム時に物体が検出されていた場合、これらを同一物体とする。したがって、この物体が顔位置に対応する場合、この物体を人であるとして時間軸でトレースする。
【００１９】
請求項５に記載の発明は、上記発明において、前記対応処理部は、前記物体センサが今回のスキャン時に検出した物体が前記特定の画像と対応付けられなかった場合であっても、この物体と同一物体であると判断された前回スキャン時に検出した物体が前記特定の画像と対応付けられていた場合、今回のスキャン時に検出した物体を継続して特定物体であると判断することを特徴とする。
【００２０】
この発明では、人であるとして判断した物体について、カメラで顔を認識できなくなった場合であっても、その物体を人として判断し続ける。つまり、一度でも顔を認識した場合、これに対応する物体を人として判断し続ける。時間経過と共に人の顔の向きが変わったり、スカーフなどで顔が隠されたりしても、人として判断することができる。
【００２１】
請求項６に記載の発明は、上記発明において、前記対応処理部は、前記物体センサが検出した複数の物体のうち、隣接領域に検出された複数の物体の集合が前記特定の画像に対応する場合、これらの物体を特定物体の集合であると判断することを特徴とする。
【００２２】
この発明では、人であるとして判断した物体の隣接領域の複数の物体が人であると判断した場合、これらを人を含む物体の集合とする。
【発明の効果】
【００２３】
この発明によれば、物体センサで検出した物体の位置と画像センサにより取得した人の顔の画像位置とを比較し、画像位置に対応する物体を人として識別するので、人の外観形状（服装など）に関わらず、センサで検出した物体が人（または動物）であるかを正確に識別し、その位置や距離を求めることができる。
【発明を実施するための最良の形態】
【００２４】
図１はこの発明の実施形態である物体識別装置を備えた自動車を示す図である。この物体識別装置は、自動車１の先端部に取り付けられたレーザレーダ２と、カメラ３と、を備えている。レーザレーダ２は、自動車１の前方に近赤外線を照射し、反射光をフォトダイオード等で検出して物体等の検出を行う。また、カメラ３は、自動車１前方を撮影し、継続的または間欠的に画像を取り込む。この画像から特定の画像を認識する。
【００２５】
図１（Ａ）は自動車１を側面から表した図であり、図１（Ｂ）は自動車１を上面から表した図である。レーザレーダ２は、自動車１の前方に設けられている。レーザレーダ２は、自動車の前方に、近赤外線のレーザ光を照射する。レーザ光は、水平に所定の角度（例えば左右２０度）で走査して照射されるように調整される。また、自動車１前方の垂直方向にも所定の角度で照射されるように調整される。レーザ光は、水平照射範囲の末端で、垂直方向の照射角度を変更するように設定される。すなわち、水平に１度走査した後、垂直方向に角度を変えて再度水平に走査を繰り返す。
【００２６】
レーザ光は約１度の角度で広がるビーム光として放射状に出力する。レーザ光を平行光で出力すると人の目に障害を与える可能性が有るからである。自動車から離れるにつれ、ビーム幅が広がるように出力し、人の目に高強度の近赤外線を照射しないようにする。
【００２７】
図２は、レーザレーダ２を詳細に説明する図である。同図（Ａ）はレーザレーダ２の構成を示した図である。同図（Ａ）に示すように、レーザダイオード５０で照射したレーザ光は、レンズ５２によって形成され、ビーム状に照射される。反射光は、レンズ５３を経てフォトダイオード５１で検出される。レンズ５２、５３はフレーム５７に取り付けられている。フレーム５７は、略コ字形をしており、両側面５７ａは板バネで構成され、レンズ５２、５３とともに左右に揺動可能である。フレーム５７の中央には電磁コイル５４が設けられており、この電磁コイル５４の左右には、永久磁石５５、５６が設けられている。電磁コイル５４に同図（Ｂ）に示すようなスキャン制御信号を入力することにより、この電磁コイル５４に発生する磁力と永久磁石５５、５６の磁力との吸引力、反発力によりフレーム５７（レンズ５２、５３）が左右に揺動する。
【００２８】
同図（Ｂ）および（Ｃ）は、スキャン制御信号を示した図である。同図（Ｂ）に示すように、コイル５４には、レンズ５２、５３が水平方向に２０度の角度で振動するように水平方向のスキャン制御信号が入力される。また、同図（Ｃ）に示すように水平照射方向の末端で、垂直方向の照射角が変更されるように垂直方向のスキャン制御信号が入力される。垂直方向は電磁アクチュエータ等を用いればよい。
【００２９】
なお、垂直方向に関しては、本発明の実施形態の構成要素としての要件ではなく、水平方向にのみ１次元でスキャンするようにしてもよい。この場合、レンズの特性を調整して自動車前方にさらに縦長のレーザビームを照射し、垂直方向の照射範囲を確保すればよい。
【００３０】
レーザレーダ２は、自動車１の前方で反射したレーザ光の強度をフォトダイオード５１で測定する。測定した強度は、後述するレーザレーダ制御部に出力する。レーザレーダ制御部では所定の強度以上の反射が有った場合に物体が存在するとして判定する。
【００３１】
図１において、カメラ３は、自動車１の前方に設けられている。カメラ３は、自動車前方を撮影し、継続的または間欠的に画像を取り込む。取り込んだ画像は画像処理部（後述する）に出力する。カメラ３の視野は、レーザスキャン範囲よりも広くなるように設置され、レーザスキャン範囲と同方向になるように自動車１に組み付けられている。
【００３２】
このカメラ３は、広ダイナミックレンジのＣＭＯＳカメラであることが望ましい。広ダイナミックレンジのＣＭＯＳカメラであれば、日光に照らされた極めて明るい顔面等と、日陰に存在する暗い顔面等の被写体も同時に的確に撮影することができる。すなわち、自動車の前方は、昼間は日光によって高照度になる一方で、夜間は極めて低い照度になる劣悪な撮影環境となるが、広ダイナミックレンジのＣＭＯＳカメラであれば、人間の眼と同等以上のダイナミックレンジを有するので、明暗の幅が広いコントラストの強い被写体であっても、「白飛び」や「黒つぶれ」の画像になることがない。
【００３３】
次に、図３は、物体識別装置の構成を示すブロック図である。この物体識別装置は、前述のレーザレーダ２、カメラ３、センサ６に加え、カメラ３で取り込んだ画像が入力され、特定の画像を認識する画像処理部４、画像処理部４で認識された特定画像の位置（撮影範囲内の座標）をレーザレーダ２のスキャン方向に座標変換する座標変換部５、座標変換部５で座標変換された特定画像の座標情報とレーザレーダ２で検出した物体の位置（方向、距離）が入力される空間対応処理部７、レーザレーダ２のレーザ照射方向やレーザ照射強度を制御するレーザレーダ制御部８、空間対応処理部７から入力される座標一致情報から人の存在位置を算出する人認識部９、および人認識部９に接続される車両制御部１０を備えている。
【００３４】
レーザレーダ２は、前述のように自動車１の前方で反射したレーザ光をフォトダイオード５１で検出し、その反射強度を測定する。測定した反射強度は、レーザレーダ制御部８に入力される。レーザレーダ制御部８は、この反射強度があらかじめ設定した強度（閾値）以上となった場合、物体が存在すると判定する。また、レーザレーダ制御部８は、レーザ照射タイミングと、受光タイミングの遅延時間を測定して、その遅延時間から物体との距離を測定することができる。
【００３５】
センサ６は、レーザスキャン範囲において、レーザ光の水平方向の照射角度（パン）と垂直方向の照射角度（チルト）を検出し、これらをレーザレーダ制御部８に入力する。レーザレーダ制御部８は、レーザ照射のタイミングまたは反射したレーザの受光タイミングにおけるレーザ照射角度から物体の存在する方向を判定することができる。すなわち、レーザレーダ制御部６は、反射強度があらかじめ設定した強度（閾値）以上となった時、センサ６で検出した照射角度を参照し、この照射角度（方向）を物体の存在する方向とする。
【００３６】
このようにしてレーザレーダ制御部８は、レーザ反射強度、遅延時間、照射方向から周囲の物体の方向、距離に関する情報を得ることができる。レーザレーダ制御部８で計測された物体の方向、および物体との距離情報は、空間対応処理部７に入力される。
【００３７】
画像処理部４は、ＤＳＰ等で構成され、所定の認識アルゴリズムに基づいて特定の画像を認識する。本発明の実施形態では、特定の画像として人の顔を認識する。例えば、カメラ３で取得した画像を複数の小領域に分割して、それぞれの画像をあらかじめ登録しておいた顔パターンと照合する。また、カラー画像を取得して肌色と一致するか判定してもよい。なお、より詳細に人の眼を認識するようにしてもよい。
【００３８】
顔を認識した場合に画像処理部４は、カメラ撮影視野内で認識した顔の座標位置の情報を座標変換部５に入力する。座標変換部５は、カメラ撮影視野内で認識した顔の座標位置をレーザスキャン範囲の座標位置（スキャン方向）に座標変換する。座標変換部５で座標変換された顔の座標情報は、空間対応処理部７に入力される。
【００３９】
空間対応処理部７は、座標変換部５から入力された顔の座標情報とレーザレーダ制御部８から入力された物体の方向を比較し、顔の存在する座標と物体の方向が一致する場合に座標一致情報を人認識部９に伝達する。
【００４０】
人認識部９は、空間対応処理部７から入力された座標一致情報と、レーザレーダ制御部８から空間対応処理部７を介して取得する物体の方向、距離から人の存在する位置情報を算出する。すなわち、顔の存在する座標に一致する物体の方向、距離を人の存在する方向、距離として算出する。
【００４１】
人認識部９で算出された人の位置情報は車両制御部１０に入力される。車両制御部１０は、人の位置情報に応じて自車の車速等をコントロールする。すなわち、車両制御部１０は、人との接触を避けるための緊急停止制御等を行う。なお、緊急停止制御以外にも、人の代わりに先行車の位置情報を入力して、先行車に追随し、自車の速度をコントロールするクルージングコントロールを行ってもよい。
【００４２】
次に、顔の座標と物体の方向との対応処理について詳細に説明する。図４は、レーザレーダ２のスキャン範囲とカメラ３の画像撮影範囲を示す図である。同図（Ａ）に示すように、カメラの画像撮影範囲は、レーザスキャン範囲よりも広くなるように設定されている。画像処理部４は、カメラ視野内で顔を認識した時、同図（Ｂ）に示すように、顔の画素座標を検出し、座標変換部５に入力する。座標変換部５は、入力された画素座標をレーザスキャン範囲内の水平方向の照射角度（パン）と垂直方向の照射角度（チルト）に変換する。変換方法は、所定の変換式を用いて変換すればよい。この変換式は、レーザレーダ２とカメラ３を自動車１に取り付けた時のキャリブレーションで求めればよい。
【００４３】
空間対応処理部７は、顔の存在する座標位置とレーザレーダ制御部８で検出した物体の方向（パン、チルト）を比較する。この結果、顔の座標位置と物体の方向とが一致する場合に座標一致情報を人認識部９に伝達する。
【００４４】
人認識部９は、空間対応処理部７から座標一致情報が入力された場合、同図（Ｃ）に示すように、レーザレーダ制御部８から物体の存在範囲の位置情報（照射角度、距離）を取得し、これを人の存在する位置情報として認識する。このとき、人認識部９は、顔の座標位置だけではなく、レーザレーダ制御部８で検出した人領域全体（同一物体と認められる複数の検出物）を人の存在位置として認識する。すなわち、顔の存在位置を検出することで、人全体（自転車などの人に接している物体も含む）の存在位置を検出する。人全体の存在位置を検出するので、車両制御部１０において正確に緊急停止制御を行うことができる。
【００４５】
以下、図５〜図９を参照して物体識別装置の動作を説明する。図５のフローチャートは、人領域の検出動作を示すフローチャートである。まず、物体が検出されたか否かを判定する（ｓ１１）。物体が検出された場合、その物体の周囲の閾値を低減し（ｓ１２）、再スキャンを行う（ｓ１３）。一般的に人の体は反射率が低く、通常の閾値ではその周囲の反射率が高い物（自転車、鞄等）のみ検出される。そこで、物体を検出した場合は閾値を低減してから再検出を行う。
【００４６】
この再検出について図６を参照して詳細に説明する。ここでは自転車に乗った人を検出する例について説明する。同図（Ａ）に示すように、レーザレーダのスキャン範囲には自転車に乗った人が存在している。図中における罫線（マス目）はレーザレーダの分解能を示す。一般に自転車の車輪部分は金属製が多く、レーザ等の光反射強度が大きい。したがって高い閾値によるスキャン時には、同図（Ｂ）に示すように、レーザ受信強度の大きい車輪部分のみが検出される。これ以外のスキャン範囲では高い閾値において（実際には物体が存在するが受信強度が小さく）物体が検出されることはない。
【００４７】
ここでレーザレーダ制御部８は、受信強度の大きい領域の周囲（同図（Ｂ）における再検出領域）について、閾値を低く設定し直して、再スキャンを行う。通常よりも低い閾値で再スキャンを行うことで、前回に閾値以下で検出されなかった物体についても検出することができる。したがって、例えば同図（Ｂ）においては受信強度の小さいサドル部分を検出することができる。ここで、再スキャンによって新たに物体を検出した場合はその検出領域の周囲についてさらに再スキャンを行う。さらに再スキャンを行った結果、新たに物体を検出した場合はスキャンを繰り返す。このようにして、新たな物体を検出しなくなるまでスキャンを繰り返す（図５のｓ１４）。図７に示すように、受信強度の小さい人の身体を全て検出し、これらの検出領域の周囲をスキャンしても新たな物体を検出しなくなった場合、再スキャンを終了し、それぞれの物体の方向、距離の情報を、空間対応処理部７に出力する（ｓ１５）。
【００４８】
このようなスキャンを繰り返すことで受信強度の小さい人の体を確実に検出することができる。なお、レーザレーダ制御部８は、検出した物体が移動物（移動ベクトルを有する物体）か否かを判断して、移動物であった場合に閾値を低減して再検出するようにしてもよい。再検出を移動物に限定することで処理を簡略化できる。
【００４９】
次に、空間対応処理部７の動作について説明する。図８に空間対応処理部７の動作のフローチャートを示す。上述したように、空間対応処理部７は、レーザレーダ制御部８からそれぞれの物体の方向、距離の情報を入力し（ｓ２１）、座標変換部５から顔の座標を入力する（ｓ２２）。なお、レーザレーダ２のスキャンとカメラ３の撮影は同期されており、例えば画像の撮影は、スキャンの両端のタイミングに行う構成とする。
【００５０】
ここで、空間対応処理部７は、レーザレーダ制御部８から入力された各物体の方向、距離の情報に基づいて、各物体のグルーピングを行う。上述したようにレーザレーダ制御部８において低い閾値でスキャンを行うと、ノイズ等、物体ではない場合であっても閾値以上の反射強度が有るとして検出される可能性が有り、空間対応処理部７においては、検出した物体についてそれぞれの移動ベクトルを算出し（ｓ２３）、各物体のグルーピングを行う（ｓ２４）ことで、ノイズ等を排除する処理を行う。
【００５１】
このグルーピングについて図９を参照して詳細に説明する。図９に示すグラフの横軸は各物体の水平方向における検出位置を表し、縦軸は各物体との距離を示す。なお、垂直方向については図示していないが、垂直方向についても検出位置と各物体との距離を比較するものとする。同図における丸印は検出した各物体を示し、矢印は移動ベクトルを示す。移動ベクトルは、１スキャンの時間における各物体の移動距離と方向を表し、前回スキャンにおける検出位置と今回スキャンにおける検出位置の差から算出する。１スキャンは例えば１００ｍｓｅｃとする。
【００５２】
空間対応処理部７は、各物体の移動ベクトルを算出し、比較する。その結果、移動ベクトル、および距離が同一（類似）と判断された物体を同一の物体としてグルーピングする。同図においては、物体１０１Ａ〜１０１Ｈが検出されており、物体１０１Ａ〜１０１Ｅは略同一の距離、移動ベクトルを有している。したがって空間対応処理部７は、物体１０１Ａ〜１０１Ｅを同一の物体としてグルーピングする。ここで、物体１０１Ｆは物体１０１Ａ〜１０１Ｅと略同一の距離であるが、移動ベクトルが異なる（反対方向である）ために同一の物体ではないとして判断する。また、物体１０１Ｇは物体１０１Ａ〜１０１Ｅと略同一の移動ベクトルを有するが、距離が大きく異なるために、同一の物体ではないとして判断する。物体１０１Ｈは物体１０１Ａ〜１０１Ｅと距離、移動ベクトルともに異なるために、同一の物体ではないとして判断する。
【００５３】
空間対応処理部７、以上のようにしてグルーピングした後の各物体についてカメラ３で取得した画像から物体識別を行う。空間対応処理部７は、受信した物体の方向の情報と顔の座標を比較し（ｓ２５）、これらが一致するか否かを判断する（ｓ２６）。一致しなければ最初から処理を繰り返す。これらの座標が一致した場合に座標一致情報とその物体（グルーピングした場合はグループ単位）の位置情報（方向、距離）を人認識部９に出力する（ｓ２７）。
【００５４】
人認識部９は、空間対応処理部７から座標一致情報、および物体の位置情報が入力された場合、この物体を人として識別する。このとき、物体がグルーピングされている場合はグループ全体を人として判断する。つまり、顔を認識した付近における略同一の距離、移動ベクトルを有する物体はすべて人として判断する。また、人認識部９は、入力した物体の位置情報よりも広い範囲を人の存在位置とする。これにより、レーザレーダの検出精度に空間的なマージンを持たせることとなり、安全性の向上が期待できる。
【００５５】
また、人認識部９は、一旦人であるとして判断した物体について、画像処理部４で顔を認識できなくなり、空間対応処理部７で座標一致されなくなった場合であっても、その物体を人として判断し続ける。つまり、一度でも顔を認識した場合、これに対応する位置の物体を人として識別し続ける。これにより、時間経過と共に人の顔の向きが変わったり、スカーフなどで顔が隠されたりしても、人として識別することができる。
【００５６】
なお、画像処理部４において、一度顔を認識した後に、（後ろ向きになった等して）顔が認識できなくなった場合、顔を認識していた位置の画像（例えば後頭部等）を認識し続けて、これを人として判断するようにしてもよい。さらに画像処理部４は、より詳細に顔の特徴量（目、鼻、口などの配置）を解析し、これを内蔵メモリ（図示せず）に記憶しておくことで、一旦顔を認識できなくなった後に再度顔を認識した場合は、これら特徴量についてパターンマッチングすることで同一人物であるか否かを確認するようにしてもよい。
【００５７】
レーザレーダ制御部８は、スキャン範囲内を連続的に同じ移動ベクトルで移動する物体を全て同一物体として認識し、この位置情報を出力するので、空間対応処理部７で上記の画像処理部４が認識した顔の位置座標と対応付けることで、人の位置を正確に、かつ、継続的に判定することができる。
【００５８】
なお、人が密集して歩いている場合などは、画像撮影範囲の広い領域に多くの顔が検出されることとなるが、このような場合は検出した顔付近における物体の存在領域に群衆がいると判定し、人認識部９は、レーザレーダ制御部８で検出した物体について人の集合体として判定する。さらに、集合体として判定した場合、上記パターンマッチングにより、既に認識した顔と同一人物が存在するか否かを判定するようにしてもよい。その結果、同一人物でないと判定した顔の人数をカウントすることができ、その集合体に少なくとも何人の人が存在するかを認識することもできる。
【００５９】
なお、本実施形態においては、レーザレーダを用いて物体の存在を検出したが、レーザレーダ以外にも電波式レーダ、静電容量型センサ、ステレオ画像センサ等を用いて物体の存在を検出するようにしてもよい。
【００６０】
なお、この実施形態では、レーザスキャン装置を自動車に適用した例を示したが、自動車以外に、鉄道車両、船舶等に適用することも可能である。無論、識別する物体は人である例に限らず、予め設定した特定の物体であればどのような物であってもよい。
【図面の簡単な説明】
【００６１】
【図１】この発明の実施形態である物体識別装置を搭載した自動車を説明する図
【図２】レーザレーダを詳細に説明する図
【図３】物体識別装置の構成を示すブロック図
【図４】スキャン範囲とレーザ照射範囲を示す図
【図５】レーザレーダ制御部８における人領域の検出動作を示すフローチャート
【図６】再検出を説明する模式図
【図７】新たな物体を検出しなくなった場合の状況を説明する模式図
【図８】空間対応処理部７の動作を示すフローチャート
【図９】グルーピングを説明する図
【符号の説明】
【００６２】
１−自動車
２−レーザレーダ
３−カメラ
４−画像処理部
５−座標変換部
６−センサ
７−空間対応処理部
８−レーザレーダ制御部
９−人認識部
１０−車両制御部
【特許請求の範囲】
【請求項１】
自動車の前方に存在する物体を検出する物体センサと、
前記物体センサが検出した物体の方向、および距離を示す情報である位置情報を算出する位置情報算出手段と、
自動車の前方の映像を取得し、この映像の中から特定の画像を認識する画像センサと、
前記画像センサが認識した特定の画像の前記映像内での座標を算出する座標算出手段と、
前記座標算出手段が算出した特定の画像の座標を、前記位置情報算出手段が算出する物体の方向を示す情報に変換し、前記特定の画像と前記物体センサが検出した物体とを対応付け、対応付けられた物体を特定物体と判断する対応処理部と、
前記対応処理部が特定物体として判断した物体の位置情報を、特定物体の位置情報として出力する位置情報出力手段と、
を備えた物体識別装置。
【請求項２】
前記対応処理部は、前記物体センサが継続的に検出した複数の物体のうち、所定時間内における移動方向、および距離が一致する複数の物体を同一グループとして判定し、前記特定の画像に対応付けた物体と同一グループの複数の物体を１つの物体として前記特定の画像と対応付ける請求項１に記載の物体識別装置。
【請求項３】
前記物体センサが物体を検出した場合に、前記物体センサの検出閾値を下げて、検出した物体の周囲を前記物体センサに再スキャンさせる物体センサ制御手段をさらに備えた請求項２に記載の物体識別装置。
【請求項４】
前記対応処理部は、前記物体センサが今回のスキャン時に検出した物体と同一または隣接の領域に前回スキャン時に物体が検出されていた場合、これらの物体を同一の物体として判断する請求項１、請求項２、または請求項３に記載の物体識別装置。
【請求項５】
前記対応処理部は、前記物体センサが今回のスキャン時に検出した物体が前記特定の画像と対応付けられなかった場合であっても、この物体と同一物体であると判断された前回スキャン時に検出した物体が前記特定の画像と対応付けられていた場合、今回のスキャン時に検出した物体を継続して特定物体であると判断する請求項４に記載の物体識別装置。
【請求項６】
前記対応処理部は、前記物体センサが検出した複数の物体のうち、隣接領域に検出された複数の物体の集合が前記特定の画像に対応する場合、これらの物体を特定物体の集合であると判断する請求項１乃至請求項５のいずれかに記載の物体識別装置。
【請求項１】
自動車の前方に存在する物体を検出する物体センサと、
前記物体センサが検出した物体の方向、および距離を示す情報である位置情報を算出する位置情報算出手段と、
自動車の前方の映像を取得し、この映像の中から特定の画像を認識する画像センサと、
前記画像センサが認識した特定の画像の前記映像内での座標を算出する座標算出手段と、
前記座標算出手段が算出した特定の画像の座標を、前記位置情報算出手段が算出する物体の方向を示す情報に変換し、前記特定の画像と前記物体センサが検出した物体とを対応付け、対応付けられた物体を特定物体と判断する対応処理部と、
前記対応処理部が特定物体として判断した物体の位置情報を、特定物体の位置情報として出力する位置情報出力手段と、
を備えた物体識別装置。
【請求項２】
前記対応処理部は、前記物体センサが継続的に検出した複数の物体のうち、所定時間内における移動方向、および距離が一致する複数の物体を同一グループとして判定し、前記特定の画像に対応付けた物体と同一グループの複数の物体を１つの物体として前記特定の画像と対応付ける請求項１に記載の物体識別装置。
【請求項３】
前記物体センサが物体を検出した場合に、前記物体センサの検出閾値を下げて、検出した物体の周囲を前記物体センサに再スキャンさせる物体センサ制御手段をさらに備えた請求項２に記載の物体識別装置。
【請求項４】
前記対応処理部は、前記物体センサが今回のスキャン時に検出した物体と同一または隣接の領域に前回スキャン時に物体が検出されていた場合、これらの物体を同一の物体として判断する請求項１、請求項２、または請求項３に記載の物体識別装置。
【請求項５】
前記対応処理部は、前記物体センサが今回のスキャン時に検出した物体が前記特定の画像と対応付けられなかった場合であっても、この物体と同一物体であると判断された前回スキャン時に検出した物体が前記特定の画像と対応付けられていた場合、今回のスキャン時に検出した物体を継続して特定物体であると判断する請求項４に記載の物体識別装置。
【請求項６】
前記対応処理部は、前記物体センサが検出した複数の物体のうち、隣接領域に検出された複数の物体の集合が前記特定の画像に対応する場合、これらの物体を特定物体の集合であると判断する請求項１乃至請求項５のいずれかに記載の物体識別装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００７−１８７６１８（Ｐ２００７−１８７６１８Ａ）
【公開日】平成１９年７月２６日（２００７．７．２６）
【国際特許分類】
【出願番号】特願２００６−７３９４（Ｐ２００６−７３９４）
【出願日】平成１８年１月１６日（２００６．１．１６）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成１９年７月２６日（２００７．７．２６）
【国際特許分類】
【出願日】平成１８年１月１６日（２００６．１．１６）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]