物体検出装置
【課題】運転者が目視し易い物体と目視し難い物体とを識別して物体検出を行う物体検出装置を提供する。
【解決手段】物体検出装置１は、所定の輝度より大きな輝度を有する高輝度領域Ｋｊを抽出する高輝度領域抽出部１３と、物体に対応した物体領域Ｏｉと高輝度領域Ｋｊとが接触しているか否かを判定する接触判定部１９とを備え、撮像した画像情報の中から、所定の輝度より大きな輝度を有する高輝度領域Ｋｊを抽出し、物体領域Ｏｉと高輝度領域Ｋｊとが接触しているか否かを判定し、物体に高輝度体が付随しているか否かを識別することによって、照明器を保有していない歩行者のみを検出することができる。
【解決手段】物体検出装置１は、所定の輝度より大きな輝度を有する高輝度領域Ｋｊを抽出する高輝度領域抽出部１３と、物体に対応した物体領域Ｏｉと高輝度領域Ｋｊとが接触しているか否かを判定する接触判定部１９とを備え、撮像した画像情報の中から、所定の輝度より大きな輝度を有する高輝度領域Ｋｊを抽出し、物体領域Ｏｉと高輝度領域Ｋｊとが接触しているか否かを判定し、物体に高輝度体が付随しているか否かを識別することによって、照明器を保有していない歩行者のみを検出することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を検出する物体検出装置に関するものである。
【背景技術】
【０００２】
従来、周囲の物体を検出する装置は、車両の走行支援に活用されている。例えば、夜間などにおいて、運転者が見えにくい部分を映像化し、運転者の視覚を支援する装置に用いられている。このような装置として、撮像した画像から形状に基づいて歩行者を抽出しアラーム音で警告すると共に、抽出した歩行者を強調して映像化する物体検出装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００５−１５９３９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の装置においては、運転者が目視できる物体に対しても警告処理が行われるため、運転者にとって注意喚起が煩わしい場合がある。また、照明器を点灯していない自転車など、目視し難く注意喚起が必要な物体を優先して強調することが困難である。
【０００４】
そこで本発明は、このような技術課題を解決するためになされたものであって、運転者が目視し易い物体と目視し難い物体とを識別して物体検出を行う物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
すなわち、本発明に係る物体検出装置は、車載された撮像手段によって撮像した画像の画像情報の中から物体を検出する物体検出手段と、前記画像情報の中から所定の輝度より大きな輝度を有する高輝度領域を抽出し、高輝度体として検出する高輝度体検出手段と、前記物体の検出結果と前記高輝度体の検出結果とに基づいて、前記高輝度体が付随する前記物体と前記高輝度体が付随しない前記物体とを識別する識別手段とを備えて構成される。
【０００６】
この発明によれば、撮像した画像情報の中から、所定の輝度より大きな輝度を有する高輝度領域を抽出して高輝度体として検出し、物体に高輝度体が付随しているか否かを識別することができる。これにより、高輝度体が付随している物体、すなわち運転者が比較的目視し易い物体と、高輝度体が付随していない物体、すなわち比較的目視し難い物体とを識別することができる。
【０００７】
ここで、物体検出装置は、前記高輝度体が付随する前記物体の存在よりも、前記高輝度体が付随していない前記物体の存在を強調して運転者に報知し車両の運転支援を行う運転支援手段を備えることが好適である。
【０００８】
このように構成することで、高輝度体が付随していない物体の存在が、高輝度体が付随している物体の存在よりも強調して運転者に報知し車両の運転支援を行うことができるため、運転者は比較的目視し難い物体の存在を迅速に認識することができる。
【０００９】
また、物体検出装置は、前記高輝度体が付随する前記物体を、運転支援の対象から除外して運転支援を行う運転支援手段を備えてもよい。
【００１０】
このように構成することで、高輝度体が付随する物体を、運転支援の対象から除外することができるため、運転者は既に認識している物体の存在を報知されることが無いので、運転者が煩わしく感じることを回避することができる。
【００１１】
また、物体検出装置は、前記画像の撮像方向に向けて所定の投光時間で投光する投光手段を備え、前記撮像手段は、前記投光時間より撮像時間を長くすることが好適である。
【００１２】
このように構成することで、撮像手段の撮像時間を投光手段の投光時間よりも長くすることができるため、自ら発光していない物体は投光手段で投光されたタイミングの静止画像として、自ら発光している物体は撮像時間の間の動作の軌跡を示す画像として撮像することができる。これにより、自ら発光している高輝度体と瞬間的に反射した物体とを区別することができるため、高輝度体が照明器であるか否かを識別することができる。
【００１３】
また、投光手段を備える物体検出装置は、前記高輝度領域の特徴量を導出する特徴量導出手段と、前記物体に対応する領域と前記高輝度領域とが互いに接触しているか否かを判定する接触判定手段と、前記接触判定手段によって前記物体に対応する領域と前記高輝度領域とが互いに接触していると判定した場合には、前記特徴量に基づいて、前記高輝度体が照明器であるか否かを判定する照明器判定手段とを備えることが好適である。
【００１４】
このように構成することで、高輝度領域の特徴量を導出し、物体に対応する領域と高輝度領域とが互いに接触しているか否かを判定し、接触していると判定した場合には、高輝度領域の特徴量に基づいて、高輝度領域に対応する高輝度体が照明器であるか否かを判定することができる。これにより、高輝度体が照明器であるか否かをより精度よく判定することができる。
【００１５】
また、投光手段を備える物体検出装置において、前記特徴量導出手段は、前記特徴量として前記高輝度領域の面積を算出し、前記照明器判定手段は、前記物体に対応する領域と前記高輝度領域との面積比に基づいて、前記高輝度体が照明器であるか否かを判定することが好適である。
【００１６】
このように構成することで、特徴量として高輝度領域の面積を算出し、物体に対応する面積と高輝度領域の面積との比に基づいて、高輝度体が照明器であるか否かを判定することができる。これにより、高輝度体が照明器であるか否かを一層精度よく判定することができる。
【００１７】
さらに、投光手段を備える物体検出装置は、前記高輝度領域の軌跡の形状に基づいて前記画像の消失点の位置を決定する消失点決定手段と、前記消失点の位置と車両の所定のピッチ角度における消失点の位置とを比較して前記車両のピッチ角度を算出するピッチ角度算出手段と、前記ピッチ角度に基づいて前記画像情報の探索する範囲を限定する範囲限定手段とを備えて構成されることが好ましい。
【００１８】
このように構成することで、高輝度領域に基づいて画像の消失点の位置を決定し、決定した消失点の位置と、所定のピッチ角度における消失点の位置とを比較して車両のピッチ角度を算出することができる。また、算出したピッチ角度に基づいて画像情報の探索する範囲を限定することができるため、物体に対応する領域や高輝度領域の抽出を的確かつ迅速に行うことができる。
【発明の効果】
【００１９】
本発明によれば、運転者が目視し易い物体と目視し難い物体とを識別して物体検出することができる。
【発明を実施するための最良の形態】
【００２０】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００２１】
まず、本実施形態に係る物体検出装置１の構成について、図１を用いて説明する。図１は、本実施形態の物体検出装置１の構成図である。本実施形態に係る物体検出装置１は、撮像した画像情報の中から特定物体を検出する装置であって、例えば、夜間の車両の運転において、歩行者や自転車を検知して運転支援を行う運転支援システムに好適に用いられるものである。
【００２２】
図１に示すように、物体検出装置１は、情報取得部５０、ＥＣＵ１０及び情報提供部３０を備えている。ここで、ＥＣＵ（Electronic Control Unit）とは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、および入出力インターフェイスなどを備えて構成されている。
【００２３】
情報取得部５０は、車両周辺の情報を取得する機能を有しており、撮像部（撮像手段）２１、投光器（投光手段）２２及び車速センサ５３を備えて構成される。
【００２４】
撮像部５１は、主に車両進行方向の画像情報を取得する機能を有している。また、撮像部５１は、ＥＣＵ１０から入力した信号に基づいて撮像時間を変化させて画像情報を取得する機能を有している。撮像部５１としては、例えば近赤外線カメラが用いられる。また、撮像部５１は、撮像した画像情報をＥＣＵ１０へ出力する機能を有している。
【００２５】
投光器５２は、撮像部５１が撮像する方向に投光する機能を有している。また、投光器５２は、ＥＣＵ１０から入力した信号に基づいて投光時間を変化させる機能を有している。投光器５２は、例えば近赤外線を投光するストロボが用いられる。なお、投光器５２として、可視光、赤外線又は紫外線などを投光するものを用いる場合もある。
【００２６】
車速センサ５３は、車輪速パルスを検出するセンサであり、例えば、車輪の回転による磁束変化を検出することで車輪の回転を検出し、車両の速度を取得する。車速センサ５３は、取得した車速をＥＣＵ１０へ出力する機能を有している。
【００２７】
ＥＣＵ１０は、同期制御部１１、情報入力部１２、高輝度領域抽出部（高輝度体検出手段）１３、特徴量導出部（特徴量導出手段）１４、消失点導出部（消失点決定手段）１５、ピッチ角度算出部（ピッチ角度算出手段）１６、探索範囲限定部（範囲限定手段）１７、物体領域抽出部（物体検出手段）１８、接触判定部（接触判定手段、識別手段）１９、照明器判定部（照明器判定手段）２０、物体識別部（識別手段）２１、出力部（運転支援手段）２２を備えて構成される。
【００２８】
同期制御部１１は、撮像部５１の撮像時間及び投光器５２の投光時間を制御する機能を有している。同期制御部１１は、撮像部５１及び投光器５２へ同期信号を出力して撮像時間及び投光時間を制御する。また、同期制御部１１は、車速センサ５３から車速を入力し、入力した車速に基づいて撮像時間及び投光時間を制御する機能を有している。なお、車速に基づいた同期制御の機能は、必ずしも必要な機能ではなく、個々の車両への要求に応じて備えればよい。さらに、同期制御部１１は、撮像部５１で撮像した画像情報の入力タイミングを情報入力部１２へ出力する機能を有している。
【００２９】
情報入力部１２は、同期制御部１１から入力した画像情報の入力タイミングに基づいて撮像部５１で撮像した画像情報を入力する機能を有している。また、情報入力部１２は、入力した画像情報を高輝度領域抽出部１３へ出力する機能を有している。
【００３０】
高輝度領域抽出部１３は、画像情報の輝度を入力し、所定の輝度より大きな輝度を持つ画素を抽出する機能を有している。高輝度領域抽出部１３は、情報入力部１２から入力した画像情報の各画素に対して所定の輝度より大きいか否かを判定し、所定の輝度より大きいと判断した場合には、その画素は高輝度であることを示す高輝度フラグを付与し、付与した高輝度フラグに基づいて高輝度領域に関する情報のみを画像情報から抽出する機能を有している。高輝度フラグの付与は、例えば、所定のメモリ領域において、情報ビットを０から１に変更することによって行う。また、高輝度領域抽出部１３は、画像情報を探索範囲限定部１７へ出力すると共に、抽出した高輝度領域に関する情報を特徴量導出部１４へ出力する機能を有している。
【００３１】
特徴量導出部１４は、高輝度領域抽出部１３から高輝度領域に関する情報を入力し、入力した高輝度領域の特徴量を導出する機能を有している。特徴量導出部１４は、高輝度領域の慣性主軸を導出し、高輝度領域の面積、面積重心位置、慣性主軸の長軸長、画像水平線に対する角度、慣性主軸の短軸長、周囲長等を特徴量として導出する。また、特徴量導出部１４は、導出した特長量を消失点導出部１５へ出力する機能を有している。
【００３２】
消失点導出部１５は、特徴量導出部１４から入力した特長量に基づいて画像の消失点を導出する機能を有している。消失点導出部１５は、高輝度領域の慣性主軸の長軸を通る直線を高輝度領域ごとに算出し、各直線が交わる点の位置（最尤交点の位置）を導出する。この最尤交点の位置を算出する方法として、例えば投票法が用いられる。算出した最尤交点は画像の消失点となる。また、消失点導出部１５は、導出した最尤交点の位置をピッチ角度導出部１６へ出力する機能を有している。
【００３３】
ピッチ角度算出部１６は、消失点導出部１５から入力した最尤交点（消失点）を用いて車両のピッチ角度を算出する機能を有している。ピッチ角度算出部１６は、最尤交点の位置と、所定のピッチ角度の時に撮像した画像の消失点の位置との差に基づいて車両のピッチ角度を算出する。また、ピッチ角度導出部１６は、算出したピッチ角度を探索範囲限定部１７へ出力する機能を有している。
【００３４】
探索範囲限定部１７は、高輝度領域抽出部１３から入力した画像情報と、ピッチ角度算出部１６から入力したピッチ角度に基づいて、道路平面の位置を推定し、歩行者等の物体検出処理の探索範囲を設定する機能を有している。また、探索範囲限定部１７は、画像情報、高輝度領域の特長量、及び限定した探索範囲に関する情報を物体領域抽出部１８へ出力する機能を有している。
【００３５】
物体領域抽出部１８は、探索範囲限定部１７で限定した画像範囲の中から、歩行者等の物体と対応する領域、すなわち物体領域を抽出する機能を有している。物体領域の抽出には、例えば、正規化相関を用いたテンプレートマッチング、ニューラルネットワーク、又はＳＶＭ（Support Vector Machine）などの画像認識技術が用いられる。また、物体領域抽出部１８は、抽出した物体領域のそれぞれに対応したＩＤ番号、位置情報、縦幅の情報、横幅の情報及び属性情報などの検知物体情報を作成する。さらに、物体領域抽出部１８は、画像情報、高輝度領域の特長量、及び物体領域に関する情報を接触判定部１９へ出力する機能を有している。
【００３６】
接触判定部１９は、物体領域抽出部１８から入力した高輝度領域の特長量、及び物体領域に関する情報に基づいて、高輝度領域の最尤交点側の端と物体領域とが接触しているか否かを判定する機能を有している。また、接触判定部１９は、画像情報及び判定結果を照明器判定部２０へ出力する機能を有している。
【００３７】
照明器判定部２０は、接触判定部１９から入力した判定結果に基づいて、高輝度領域が照明器であるか否かを判定する機能を有している。照明器判定部２０は、高輝度領域と物体領域とが接触していると判定された高輝度領域について、接触する物体と高輝度領域との面積比、高輝度領域の複雑度、慣性主軸（長軸）の方向の条件などを用いて照明器らしさの判定を行う機能を有している。また、照明器判定部２０は、画像情報及び判定結果を物体識別部２１へ出力する機能を有している。
【００３８】
物体識別部２１は、照明器判定部２０から入力した判定結果に基づいて、照明器を保有している物体と、照明器を保有していない物体とを識別する機能を有している。また、物体識別部２１は、照明器を有している物体に関する検知物体情報を除外する機能を有している。除外の方法は、検知物体情報から照明器を有している物体に関する検知物体情報そのものを削除する方法であっても良いし、検知物体情報の属性情報に無効情報である旨を記録する方法であっても良い。物体識別部２１は、画像情報及び識別した検知物体情報を出力部２２へ出力する機能を有している。
【００３９】
出力部２２は、物体識別部２１から入力した画像情報及び識別した検出物体情報に基づいて情報提供部３０へ運転支援命令を出力する機能を有している。
【００４０】
情報提供部３０は、ＥＣＵ１０から得られた情報に基づいて運転者に情報提供する機能を有しており、例えば、ディスプレイ３１やスピーカー３２から構成される。
【００４１】
次に、本実施形態に係る物体検出装置１の動作について、図２〜１７を用いて説明する。図２〜５は、本実施形態に係る物体検出装置１の動作を示すフローチャート、図６は、投光時間と撮像時間との関係を示す概要図、図７は、先幕シンクロかつスローシンクロを用いた場合の画像の一例、図８〜１７は、本実施形態に係る物体検出装置１の動作を説明するための概要図である。
【００４２】
まず、図２及び図３を用いて物体検出装置１の動作について説明する。図２及び図３は、例えば、車両に運転支援ボタンを備え、その運転支援ボタンをＯＮされたタイミングで開始され、所定の間隔で繰り返し実行される。
【００４３】
物体検出装置１は、車速入力処理から開始する（Ｓ１０）。Ｓ１０の処理は、車速センサ５３及び同期制御部１１で実行され、車速をＥＣＵ１０に入力する処理である。Ｓ１０の処理が終了すると、投光パルス出力処理へ移行する（Ｓ１２）。
【００４４】
Ｓ１２の処理は、同期制御部１１及び投光器５２で実行され、投光器５２の発光を行うための投光パルスを出力する処理である。同期制御部１１は、例えば、図６の（ｂ）に示すように、投光器５２がＯＮ状態の時に発光され、投光器５２がＯＦＦ状態の時に発光されないとすると、ＯＮ状態とＯＦＦ状態が所定の間隔で繰り返されるパルスを出力する。投光器５２がＯＮ状態となるパルスの時間長、すなわち繰り返しの投光時間は、撮像部５１の繰り返しの撮像時間よりも短い時間であり、ここでは５msecとする。Ｓ１２の処理が終了すると、画像撮像処理へ移行する（Ｓ１４）。
【００４５】
Ｓ１４の処理は、同期制御部１１及び撮像部５１で実行され、撮像時間長を決定し、画像を撮像する処理である。同期制御部１１は、例えば、図６の（ａ）に示すように、撮像部５１の撮像ボタンがＯＮ状態の時に撮像部５１の撮像が開始され、撮像部５１の撮像ボタンがＯＦＦ状態の時に撮像部５１の撮像が終了するとした場合、ＯＮ状態とＯＦＦ状態が所定の間隔で繰り返されるパルスを出力する。また、撮像部５１の撮像ボタンがＯＮ状態となる時間長、すなわち撮像時間長は投光器５２の投光時間よりも長い時間であり、いわゆるスローシンクロである。ここでは撮像時間長を１００msecとする。さらに、同期制御部１１は、撮像時間の開始タイミングを、投光器５２の投光開始タイミングと同期するように制御する。このように、撮像時間の開始タイミングと投光タイミングとを同期して撮像する、いわゆる先幕シンクロを行う場合において、投光時間に比べて撮像時間を充分長くすると、図７に示すように、投光器５２が投光した光の反射光によって撮像された静止画と、自ら発光する物体が撮像時間の間に移動した軌跡を示す画像とを合成した画像を撮像することができる。図７においては、例えば、バイク４０、乗員４１及び木４２等は投光器５２で投光したタイミングの位置の静止画であり、バイク４０のヘッドライト４３は、撮像時間の間に移動した軌跡４４として撮像されて表示される。このように、Ｓ１４の処理では、同期制御部１１が投光器５２及び撮像部５１を制御して画像を撮像し、撮像した画像情報を情報入力部１２へ出力する。Ｓ１４の処理が終了すると、輝度値判定処理へ移行する（Ｓ１６）。
【００４６】
Ｓ１６の処理は、高輝度領域抽出部１３で実行され、入力した画像の輝度値を判定する処理である。高輝度領域抽出部１３は、入力した画像情報の画素情報を入力し、所定の輝度値よりも大きいか否かを判定する。画素情報の入力は、例えば位置情報である座標の小さいものから実行される。また、所定の輝度値の一例として、輝度値０〜２５５の２５６階調のうち、ここでは２３０が設定される。Ｓ１６の処理において、所定の輝度値より大きいと判定した場合には、高輝度フラグ付与処理へ移行する（Ｓ１８）。一方、Ｓ１６の処理において、所定の輝度値より大きくないと判定した場合には、全範囲の実施判定処理へ移行する（Ｓ２０）。
【００４７】
Ｓ１８の処理は、高輝度領域抽出部１３で実行され、Ｓ１６の処理で判定した画素情報が高輝度であることを示す高輝度フラグを、判定した画素情報に付与する処理である。高輝度フラグの付与は、例えば所定のメモリ領域において、情報ビットを０から１へ変更することによって行われる。Ｓ１８の処理が終了すると、全範囲実施判定処理へ移行する（Ｓ２０）。
【００４８】
Ｓ２０の処理は、画像の全範囲の画素情報についてＳ１６の処理を実行したか否かを判定する処理である。Ｓ２０の処理において、全範囲の画素情報について判定されていない場合には、再度Ｓ１６の処理へ移行する。一方、Ｓ２０の処理において、全範囲の画素情報について判定した場合には、高輝度画素抽出処理へ移行する（Ｓ２２）。
【００４９】
Ｓ２２の処理は、高輝度領域抽出部１３で実行され、Ｓ１８の処理で高輝度フラグを付与された画素のみを抽出する処理である。例えば、Ｓ１４の処理で入力した画像が図８で示す画像であるとすると、高輝度領域に該当する画素のみを抽出した画像は、図９で示す画像となる。Ｓ２２の処理が終了すると、高輝度領域のＩＤ付与処理へ移行する（Ｓ２４）。
【００５０】
Ｓ２４の処理は、高輝度領域抽出部１３で実行され、Ｓ２２の処理で抽出した画素から構成される高輝度領域のそれぞれにＩＤを付与する処理である。高輝度領域抽出部１３は、Ｓ２２の処理で抽出した画素の連結性を確認し、図１０に示すように高輝度領域ごとにＩＤを付与する。ＩＤは例えば数字であり、高輝度領域は付与されたＩＤを用いて、例えばＫｊ（ｊ：自然数）のように識別される。Ｓ２４の処理が終了すると、特徴量導出処理へ移行する（Ｓ２６）。
【００５１】
Ｓ２６の処理は、特徴量導出部１４で実行され、Ｓ２４の処理でＩＤを付与した各高輝度領域Ｋｊの特徴量を導出する処理である。高輝度領域Ｋｊの特徴量について、図１１を用いて説明する。図１１は図１０の高輝度領域Ｋ１の特徴量について図示した概要図であり、特徴量は高輝度領域の大きさ、向きを含む情報である。例えば、特長量として高輝度領域Ｋ１の面積Ｓ１、面積重心位置（Ｘ１、Ｙ１）、慣性主軸の長軸長Ｌ１、画像水平線に対する角度α１、慣性主軸の短軸長Ｍ１、周囲長Ｃ１等を含む情報を導出する。特徴量導出部１４は、各高輝度領域Ｋｊについて、高輝度領域Ｋｊの面積Ｓｊ、面積重心位置（Ｘｊ、Ｙｊ）、慣性主軸の長軸長Ｌｊ、画像水平線に対する角度αｊ、慣性主軸の短軸長Ｍｊ、周囲長Ｃｊ等を導出して特徴量とする。Ｓ２６の処理が終了すると、最尤交点導出処理へ移行する（Ｓ２８）。
【００５２】
Ｓ２８の処理は、消失点導出部１５で実行され、Ｓ２６の処理で導出した高輝度領域Ｋｊの特長量に基づいて消失点を導出する処理である。消失点導出部１５は、図１２に示すように、各高輝度領域Ｋｊの慣性主軸を延長して交わる最尤交点Ｐfを導出する。この最尤交点Ｐfは投票法等で決定される。また、導出した最尤交点Ｐfは、画像の消失点となる。Ｓ２８の処理が終了すると、ピッチ角度導出処理へ移行する（Ｓ３０）。
【００５３】
Ｓ３０の処理は、ピッチ角度算出部１６で実行され、Ｓ２８で導出した最尤交点（消失点）Ｐfから自車両のピッチ角度を算出する処理である。最尤交点Ｐfの時のピッチ角度をβとし、図１３に示すように、消失点のＹ軸座標値をＹｂ、ピッチ角度が０°の時の消失点のＹ座標値をＹ０とすると、画像の縦視野角度Θ及び縦画素数nを用いて、自車両のピッチ角度βは式（１）で算出することができる。
【００５４】
β＝（Ｙｂ−Ｙ０）・Θ／ｎ …（１）
【００５５】
Ｓ３０の処理が終了すると、探索範囲の限定処理へ移行する（Ｓ３２）。
【００５６】
Ｓ３２の処理は、探索範囲限定部１７で実行され、Ｓ３０の処理で算出したピッチ角度βに基づいて道路平面の位置を推定し、物体を探索する画像範囲を限定する処理である。探索範囲限定部１７は、例えば図１４に示すように、ピッチ角度０°の時の探索範囲を基準として、ピッチ角度βの分だけ上方に探索範囲をシフトさせる。Ｓ３２の処理が終了すると、物体領域の抽出処理へ移行する（Ｓ３４）。
【００５７】
Ｓ３４の処理は、物体領域抽出部１８で実行され、Ｓ３２の処理で得られた画像の探索範囲内にある物体に対応する物体領域を抽出する処理である。ここでは、検出する物体を歩行者とする。物体領域抽出部１８は、テンプレートマッチング、ニューラルネットワーク、又はＳＶＭなどの画像認識技術を利用して図１５に示すように歩行者に対応する画像領域を検知する。また、物体領域抽出部１８は、検知した歩行者に対応する画像領域を、例えば矩形状の物体領域として抽出し、それぞれに検知物体情報を作成する。例えば、図１５に示す歩行者に対応する物体領域Ｏ０を検知した場合には、物体領域Ｏ０の検知物体情報として、ＩＤ＝０、位置＝（ｘ０、ｙ０）、縦幅＝Ｈ０、横幅＝Ｗ０、属性＝ＰＰＰを作成する。また、自転車を持つ歩行者に対応する物体領域Ｏ１を検知した場合には、物体領域Ｏ１の検知物体情報として、ＩＤ＝１、位置＝（ｘ１、ｙ１）、縦幅＝Ｈ１、横幅＝Ｗ１、属性＝ＰＰＰを作成する。属性情報は検知した物体の種別や情報の有効性を表す文字列が採用され、ここではＰＰＰは歩行者であることを示す属性とする。このように、物体領域抽出部１８は、物体に対応する領域を抽出し、抽出した領域ごとに検知物体情報を作成する。Ｓ３４の処理が終了すると、照明器保有判定処理へ移行する（Ｓ３６）。
【００５８】
Ｓ３６の処理は、接触判定部１９及び照明器判定部２０で実行され、高輝度領域Ｋｊが照明器であるか否かを判定する処理である。この処理の詳細については、後述する。Ｓ３６の処理が終了すると、物体の識別処理へ移行する（Ｓ３８）。
【００５９】
Ｓ３８の処理は、物体識別部２１で実行され、物体情報から照明器を保有する物体を、検知物体情報から除外する処理である。この処理の詳細については、後述する。Ｓ３８の処理が終了すると、情報出力処理へ移行する（Ｓ４０）。
【００６０】
Ｓ４０の処理は、出力部２２で実行され、Ｓ３８の処理で得られた検知物体情報を出力し、運転支援する処理である。出力部２２は、例えばディスプレイ３１上に表示された画像情報の中で照明器を保有していない検知物体を強調したり、スピーカー３２を用いて運転者へ注意喚起を行ったりする。
【００６１】
以上のように、物体検出装置１は、撮像時間と投光時間を制御した画像を用いて探索範囲を限定して効率的に物体検出を行うと共に、照明器を保有していない歩行者等を識別して運転支援を行うことができる。
【００６２】
次に、照明器保有判定処理について、図４を用いて詳細に説明する。図４は、図３のＳ３６の処理の詳細を示すフローチャートである。照明器保有判定処理は、初期化処理から開始される（Ｓ５０）。
【００６３】
Ｓ５０の処理は、接触判定部１９で実行され、変数の初期化を行う処理である。ここでは変数ｉ（ｉ：整数）、ｊを使用するため、変数ｉを０とし、変数ｊを１とする。Ｓ５０の処理が終了すると、接触判定処理へ移行する（Ｓ５２）。
【００６４】
Ｓ５２の処理は、接触判定部１９で実行され、図２のＳ２２で抽出した光輝度領域Ｋｊが、図３のＳ３４で抽出した物体領域Ｏｉに付随するか否かを判定する処理である。付随するか否かの判定は、光輝度領域Ｋｊの最尤交点Ｐfに近い端と物体領域Ｏｉとが接触するか否かで判定する。この接触の判定は、物体領域Ｏｉと高輝度領域Ｋｊが隣り合って接触する場合だけでなく、物体領域Ｏｉ内に光輝度領域Ｋｊの最尤交点Ｐfに近い端が存在する場合も、光輝度領域Ｋｊの最尤交点Ｐfに近い端と物体領域Ｏｉとが接触していると判定する。例えば、図１６に示すように、物体領域Ｏ１と光輝度領域Ｋ７とを判定すると、物体領域Ｏ１内に光輝度領域Ｋ７の最尤交点Ｐf側の端が存在しているため、物体領域Ｏ１と光輝度領域Ｋ７とは接触していると判定される。Ｓ５２の処理において、光輝度領域Ｋｊの最尤交点Ｐfに近い端と物体領域Ｏｉとが接触すると判定した場合には、照明器判定処理へ移行する（Ｓ５４）。
【００６５】
Ｓ５４の処理は、照明器判定部２０で実行され、高輝度領域Ｋｊが照明器であるか否かを判定する処理である。照明器であるか否かの判定は、Ｓ５２の処理で接触していると判定した高輝度領域Ｋｊと物体領域Ｏｉとの面積比によって判定する。例えば、高輝度領域Ｋｊの面積をＳｊ、物体領域Ｏｉの面積をＳｉ、想定される面積比の最小値をＴｓ１、想定される面積比の最大値をＴｓ２とすると、式（２）の条件を満たすか否かを判定する。
【００６６】
Ｔｓ１＜（Ｓｊ／Ｓｉ）＜Ｔｓ２ …（２）
【００６７】
Ｔｓ１、Ｔｓ２は設定値であり、例えば、Ｔｓ１＝０．１、Ｔｓ２＝０．２が設定される。Ｓ５４の処理において、照明器であると判定された場合には、保有フラグ付与処理へ移行する（Ｓ５６）。
【００６８】
Ｓ５６の処理は、照明器判定部２０で実行され、Ｓ５４の処理において照明器を保有していると判定した物体領域Ｏｉに照明器保有フラグを付与する処理である。照明器保有フラグの付与は、例えば、所定のメモリ領域において、情報ビットを０から１へ変更することによって行われる。Ｓ５６の処理が終了すると、全ての物体領域Ｏｉの実施判定処理へ移行する（Ｓ６０）。
【００６９】
Ｓ６０の処理は、照明器判定部２０で実行され、Ｓ５４の照明器判定処理を全ての物体領域Ｏｉに対して実行したか否かを判定する処理である。Ｓ６０の処理において、全ての物体領域Ｏｉに対して照明器判定処理を行っている場合には、図４の制御処理を終了する。
【００７０】
一方、Ｓ５２の処理において、光輝度領域Ｋｊの最尤交点Ｐfに近い端と物体領域Ｏｉとが接触していないと判定した場合には、全ての高輝度領域Ｋｊの実施判定処理へ移行する（Ｓ５８）。Ｓ５８の処理は、照明器判定部２０で実行され、Ｓ５２の接触判定処理を全ての光輝度領域Ｋｊに対して実行したか否かを判定する処理である。Ｓ５８の処理において、全ての光輝度領域Ｋｊに対して接触判定処理を行っている場合には、全ての物体領域Ｏｉの実施判定処理へ移行する（Ｓ６０）。また、Ｓ５８の処理において、全ての高輝度領域Ｋｊに対して接触判定処理を行っていない場合には、判定対象変更処理へ移行する（Ｓ６２）。
【００７１】
Ｓ６２の処理は、照明器判定部２０で実行され、Ｓ５２の接触判定処理の判定対象となる高輝度領域Ｋｊを変更する処理である。照明器判定部２０は、ｊをｊ＋１とし、判定対象を光輝度領域Ｋｊから光輝度領域Ｋｊ＋１へ変更する。Ｓ６２の処理が終了すると、接触判定処理へ移行する（Ｓ５２）。
【００７２】
一方、Ｓ６０の処理において、全ての物体領域Ｏｉに対して照明器判定処理を行っていない場合には、判定対象変更処理へ移行する（Ｓ６４）。Ｓ６４の処理は、照明器判定部２０で実行され、Ｓ５２の接触判定処理の判定対象となる物体領域Ｏｉを変更する処理である。照明器判定部２０は、ｉをｉ＋１とし、判定対象を物体領域Ｏｉから物体領域Ｏｉ＋１へ変更する。Ｓ６２の処理が終了すると、接触判定処理へ移行する（Ｓ５２）。
【００７３】
以上で図４の制御処理が終了する。図４の制御処理によって、撮像した画像から物体が照明器を保有しているか否かを判定することができる。
【００７４】
次に、物体識別処理について、図５を用いて詳細に説明する。図５は、図３のＳ３８の処理の詳細を示すフローチャートである。物体識別処理は、初期化処理から開始される（Ｓ７０）。
【００７５】
Ｓ７０の処理は、物体識別部２１で実行され、変数の初期化を行う処理である。ここでは変数ｉを使用するため、変数ｉを０とする。Ｓ７０の処理が終了すると、保有判定処理へ移行する（Ｓ７２）。
【００７６】
Ｓ７２の処理は、物体識別部２１で実行され、物体領域Ｏｉに保有フラグが付与されているか否かを判定する処理である。Ｓ７２の処理において、保有フラグが付与されていると判定された場合には、除外処理へ移行する（Ｓ７４）。一方、Ｓ７２の処理において、保有フラグが付与されていないと判定された場合には、全ての物体領域Ｏｉの実施判定処理へ移行する（Ｓ７６）。
【００７７】
Ｓ７４の処理は、物体識別部２１で実行され、Ｓ７２の処理で保有フラグが付与されていると判定された物体領域Ｏｉ、すなわち照明器を保有していると判定された物体に関する情報を物体情報から削除する処理である。Ｓ７４の処理が終了すると、全ての物体領域Ｏｉの実施判定処理へ移行する（Ｓ７６）。
【００７８】
Ｓ７６の処理は、物体識別部２１で実行され、全ての物体領域に対してＳ７２の保有判定処理を実施したか否かを判定する処理である。Ｓ７６の処理において、全ての物体領域Ｏｉに対して保有判定処理を実施したと判定した場合には、図５の制御処理を終了する。一方、Ｓ７６の処理において、全ての物体領域Ｏｉに対して保有判定処理を実施していないと判定した場合には、判定対象変更処理へ移行する（Ｓ７８）。
【００７９】
Ｓ７８の処理は、物体識別部２１で実行され、判定対象となる物体領域Ｏｉを変更する処理である。照明器判定部２０は、ｉ＝ｉ＋１を行い、判定対象を物体領域Ｏｉから物体領域Ｏｉ＋１へ変更する。Ｓ７８の処理が終了すると、保有判定処理へ移行する（Ｓ７２）。
【００８０】
上述のように、図５の制御処理を行うことで、照明器を保有する物体と照明器を保有しない物体とを識別し、照明器を保有する物体を運転支援から除外することができる。例えば、図１７に示すように、照明器を保有しない物体領域Ｏ０に対応する物体のみを運転支援の対象とすることができる。
【００８１】
以上のように、本実施形態に係る物体検出装置１は、撮像した画像情報の中から、所定の輝度より大きな輝度を有する高輝度領域Ｋｊを抽出して高輝度体として検出し、運転支援対象の候補となる物体に対応した物体領域Ｏｉと、高輝度領域Ｋｊとが接触しているか否かを判定することによって、物体に高輝度体が付随しているか否かを識別することができる。これにより、高輝度体が付随している物体、すなわち運転者が比較的目視し易い物体と、高輝度体が付随していない物体、すなわち比較的目視し難い物体とを識別することができる。よって、運転者が比較的目視し難い物体のみを検出することができる。
【００８２】
また、本実施形態に係る物体検出装置１は、高輝度体が付随していない物体の存在を、高輝度体が付随している物体の存在よりも強調して運転者に報知して車両の運転支援を行うことができるため、運転者が比較的目視し難い物を迅速に認識することができる。
【００８３】
また、本実施形態に係る物体検出装置１は、高輝度体が付随する物体を、運転支援の対象から除外することができるため、運転者は既に認識している物体の存在を報知されることが無いので、運転者が煩わしく感じることを回避することができる。
【００８４】
また、本実施形態に係る物体検出装置１は、撮像部５１の撮像時間を投光器５２の投光時間よりも長くすることができるため、自ら発光していない物体は投光手段で投光されたタイミングの静止画像として、自ら発光している物体は撮像時間の間の動作の軌跡を示す画像として撮像することができる。これにより、自ら発光している高輝度体と瞬間的に反射した物体とを区別することができるため、高輝度体が照明器であるか否かを識別することができる。
【００８５】
また、本実施形態に係る物体検出装置１は、高輝度領域Ｋｊの特徴量を算出し、物体領域Ｏｉと高輝度領域Ｋｊとが互いに接触しているか否かを判定し、接触していると判定した場合には、高輝度領域Ｋｊの特徴量に基づいて、高輝度領域Ｋｊに対応する高輝度体が照明器であるか否かを判定することができる。これにより、高輝度体が照明器であるか否かをより精度よく判定することができる。
【００８６】
また、本実施形態に係る物体検出装置１は、高輝度領域Ｋｊの特徴量として高輝度領域Ｋｊの面積を算出し、物体領域Ｏｉの面積と高輝度領域Ｋｊの面積との比に基づいて、高輝度体が照明器であるか否かを判定することができる。これにより、高輝度体が照明器であるか否かを一層精度よく判定することができる。
【００８７】
さらに、本実施形態に係る物体検出装置１は、高輝度領域Ｋｊに基づいて画像の消失点の位置を決定し、決定した消失点の位置と、所定のピッチ角度における消失点の位置とを比較して車両のピッチ角度βを算出することができる。また、算出したピッチ角度βに基づいて画像情報の探索する範囲を限定することができるため、物体領域Ｏｉや高輝度領域Ｋｊの抽出を的確かつ迅速に行うことができる。
【００８８】
なお、上述した実施形態は本発明に係る物体検出装置の一例を示すものである。本発明に係る物体検出装置は、このようなものに限られるものではなく、各請求項に記載した要旨を変更しないように実施形態に係る物体検出装置を変形し、又は他のものに適用したものであってもよい。
【００８９】
例えば、実施形態において、撮像部５１と投光器５２の同期が先幕シンクロの場合について説明したが、後幕シンクロであっても良い。後幕シンクロの場合、高輝度領域Ｋｊの最尤交点Ｐｆ側と反対側の端が物体領域Ｏｉと接触するか否かを判定することで、本実施形態と同様の効果を得ることができる。
【００９０】
また、実施形態において、物体検出装置の最適な例として、スローシンクロによって撮像した画像を用いた例を説明したが、通常の撮像方法で撮像した画像を用いた場合であっても本実施形態と同様の効果を得ることができる。
【００９１】
また、実施形態において、物体領域Ｏｉ内に高輝度領域Ｋｊの最尤交点Ｐｆに近い端が含まれるか否かによって、高輝度領域Ｋｊと物体領域Ｏｉとが接触するか否かを判定する例を説明したが、例えば、物体領域Ｏｉの中心位置から設定距離以内に高輝度領域Ｋｊの最尤交点Ｐｆに近い端が存在するか否かを判定するなど、物体領域Ｏｉと高輝度領域Ｋｊの最尤交点Ｐｆに近い端との位置関係によって接触しているか否かの判定をしても良い。
【００９２】
また、実施形態において、照明器であるか否かの判定を高輝度領域Ｋｊと物体領域Ｏｉとの面積比によって判定する例を説明したが、例えば、高輝度領域Ｋｊの複雑度を用いて判定しても良い。高輝度領域Ｋｊの複雑度Ａは、周囲長をＣｊ、面積をＳｊとすると、Ａ＝Ｃｊ２／Ｓｊで表すことができ、複雑度が所定値より大きい場合には、高輝度領域Ｋｊを照明器では無いと判定することができる。
【００９３】
また、実施形態において、照明器であるか否かの判定を高輝度領域Ｋｊと物体領域Ｏｉとの面積比によって判定する例を説明したが、高輝度領域Ｋｊの慣性主軸の方向を利用して照明器であるか否かを判定しても良い。例えば、高輝度領域Ｋｊの慣性主軸の方向が垂直に近いものは照明器の条件に当てはまらないとして除外することができる。
【００９４】
また、実施形態において、照明器を保有している物体領域Ｏｉを検知物体情報から除外する方法として削除する例を説明したが、例えば属性情報を変更する例であっても良い。この場合、属性情報＝ＮＮＮの場合には検知物体情報が無効であるとし、図５のＳ７４の処理において、照明器を保有している物体領域Ｏｉを検知物体情報から削除せずに、照明器を保有している物体領域Ｏｉの検知物体情報の属性情報をＰＰＰからＮＮＮへ変更することで、照明器を保有している物体領域Ｏｉを検知物体情報から除外することができる。
【００９５】
さらに、実施形態において、照明器を保有している物体領域Ｏｉを検知物体情報から除外する方法を説明したが、照明器を保有している物体領域Ｏｉを検知物体情報から除外せずに、注意喚起レベルを変更する場合であっても良い。例えば、属性情報＝ＬＯＷの場合には検知物体情報の注意喚起レベルが低いものであるとし、図５のＳ７４の処理において、照明器を保有している物体領域Ｏｉを検知物体情報から削除せずに、照明器を保有している物体領域Ｏｉの検知物体情報の属性情報をＰＰＰからＬＯＷへ変更することで、照明器を保有している物体は、検知物体情報の中でも注意喚起レベルが低いものであるとして運転者へ情報提供することができる。注意喚起レベルが低い場合とは、例えば、照明器を保有している物体をディスプレイ上で薄く表示したり、スピーカーでの警告音量を下げたりすることによって実現される。
【図面の簡単な説明】
【００９６】
【図１】本実施形態に係る物体検出装置の構成図である。
【図２】図１の物体検出装置の動作を示すフローチャートである。
【図３】図１の物体検出装置の動作を示すフローチャートである。
【図４】図３の照明器保有判断処理の詳細を示すフローチャートである。
【図５】図３の物体の識別処理の詳細を示すフローチャートである。
【図６】撮像部の撮像時間及び投光器の投光時間を示す概要図である。
【図７】先幕シンクロかつスローシンクロで撮像した画像例である。
【図８】先幕シンクロかつスローシンクロで撮像した画像例である。
【図９】図８の画像の中から高輝度領域のみ抽出した画像例である。
【図１０】図９に示す高輝度領域にＩＤを付与した画像例である。
【図１１】図１０に示す高輝度領域の特徴量を示す概要図である。
【図１２】最尤交点の導出を説明するための画像例である。
【図１３】ピッチ角度算出部の動作を説明するための画像例である。
【図１４】探索範囲を限定する動作を説明するための画像例である。
【図１５】物体領域の抽出を説明するための画像例である。
【図１６】高輝度領域と物体領域との接触判定を説明するための画像例である。
【図１７】物体領域の識別を説明するための画像例である。
【符号の説明】
【００９７】
１…物体検出装置、１３…高輝度領域抽出部（高輝度体検出手段）、１４…特徴量導出部（特徴量導出手段）、１５…消失点導出部（消失点決定手段）、１６…ピッチ角度算出部（ピッチ角度算出手段）、１７…探索範囲限定部（範囲限定手段）、１８…物体領域抽出部（物体検出手段）、１９…接触判定部（識別手段、接触判定手段）、２０…照明器判定部（照明器判定手段）、２１…物体識別部（識別手段）、２２…出力部（運転支援手段）。
【技術分野】
【０００１】
本発明は、物体を検出する物体検出装置に関するものである。
【背景技術】
【０００２】
従来、周囲の物体を検出する装置は、車両の走行支援に活用されている。例えば、夜間などにおいて、運転者が見えにくい部分を映像化し、運転者の視覚を支援する装置に用いられている。このような装置として、撮像した画像から形状に基づいて歩行者を抽出しアラーム音で警告すると共に、抽出した歩行者を強調して映像化する物体検出装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００５−１５９３９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の装置においては、運転者が目視できる物体に対しても警告処理が行われるため、運転者にとって注意喚起が煩わしい場合がある。また、照明器を点灯していない自転車など、目視し難く注意喚起が必要な物体を優先して強調することが困難である。
【０００４】
そこで本発明は、このような技術課題を解決するためになされたものであって、運転者が目視し易い物体と目視し難い物体とを識別して物体検出を行う物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
すなわち、本発明に係る物体検出装置は、車載された撮像手段によって撮像した画像の画像情報の中から物体を検出する物体検出手段と、前記画像情報の中から所定の輝度より大きな輝度を有する高輝度領域を抽出し、高輝度体として検出する高輝度体検出手段と、前記物体の検出結果と前記高輝度体の検出結果とに基づいて、前記高輝度体が付随する前記物体と前記高輝度体が付随しない前記物体とを識別する識別手段とを備えて構成される。
【０００６】
この発明によれば、撮像した画像情報の中から、所定の輝度より大きな輝度を有する高輝度領域を抽出して高輝度体として検出し、物体に高輝度体が付随しているか否かを識別することができる。これにより、高輝度体が付随している物体、すなわち運転者が比較的目視し易い物体と、高輝度体が付随していない物体、すなわち比較的目視し難い物体とを識別することができる。
【０００７】
ここで、物体検出装置は、前記高輝度体が付随する前記物体の存在よりも、前記高輝度体が付随していない前記物体の存在を強調して運転者に報知し車両の運転支援を行う運転支援手段を備えることが好適である。
【０００８】
このように構成することで、高輝度体が付随していない物体の存在が、高輝度体が付随している物体の存在よりも強調して運転者に報知し車両の運転支援を行うことができるため、運転者は比較的目視し難い物体の存在を迅速に認識することができる。
【０００９】
また、物体検出装置は、前記高輝度体が付随する前記物体を、運転支援の対象から除外して運転支援を行う運転支援手段を備えてもよい。
【００１０】
このように構成することで、高輝度体が付随する物体を、運転支援の対象から除外することができるため、運転者は既に認識している物体の存在を報知されることが無いので、運転者が煩わしく感じることを回避することができる。
【００１１】
また、物体検出装置は、前記画像の撮像方向に向けて所定の投光時間で投光する投光手段を備え、前記撮像手段は、前記投光時間より撮像時間を長くすることが好適である。
【００１２】
このように構成することで、撮像手段の撮像時間を投光手段の投光時間よりも長くすることができるため、自ら発光していない物体は投光手段で投光されたタイミングの静止画像として、自ら発光している物体は撮像時間の間の動作の軌跡を示す画像として撮像することができる。これにより、自ら発光している高輝度体と瞬間的に反射した物体とを区別することができるため、高輝度体が照明器であるか否かを識別することができる。
【００１３】
また、投光手段を備える物体検出装置は、前記高輝度領域の特徴量を導出する特徴量導出手段と、前記物体に対応する領域と前記高輝度領域とが互いに接触しているか否かを判定する接触判定手段と、前記接触判定手段によって前記物体に対応する領域と前記高輝度領域とが互いに接触していると判定した場合には、前記特徴量に基づいて、前記高輝度体が照明器であるか否かを判定する照明器判定手段とを備えることが好適である。
【００１４】
このように構成することで、高輝度領域の特徴量を導出し、物体に対応する領域と高輝度領域とが互いに接触しているか否かを判定し、接触していると判定した場合には、高輝度領域の特徴量に基づいて、高輝度領域に対応する高輝度体が照明器であるか否かを判定することができる。これにより、高輝度体が照明器であるか否かをより精度よく判定することができる。
【００１５】
また、投光手段を備える物体検出装置において、前記特徴量導出手段は、前記特徴量として前記高輝度領域の面積を算出し、前記照明器判定手段は、前記物体に対応する領域と前記高輝度領域との面積比に基づいて、前記高輝度体が照明器であるか否かを判定することが好適である。
【００１６】
このように構成することで、特徴量として高輝度領域の面積を算出し、物体に対応する面積と高輝度領域の面積との比に基づいて、高輝度体が照明器であるか否かを判定することができる。これにより、高輝度体が照明器であるか否かを一層精度よく判定することができる。
【００１７】
さらに、投光手段を備える物体検出装置は、前記高輝度領域の軌跡の形状に基づいて前記画像の消失点の位置を決定する消失点決定手段と、前記消失点の位置と車両の所定のピッチ角度における消失点の位置とを比較して前記車両のピッチ角度を算出するピッチ角度算出手段と、前記ピッチ角度に基づいて前記画像情報の探索する範囲を限定する範囲限定手段とを備えて構成されることが好ましい。
【００１８】
このように構成することで、高輝度領域に基づいて画像の消失点の位置を決定し、決定した消失点の位置と、所定のピッチ角度における消失点の位置とを比較して車両のピッチ角度を算出することができる。また、算出したピッチ角度に基づいて画像情報の探索する範囲を限定することができるため、物体に対応する領域や高輝度領域の抽出を的確かつ迅速に行うことができる。
【発明の効果】
【００１９】
本発明によれば、運転者が目視し易い物体と目視し難い物体とを識別して物体検出することができる。
【発明を実施するための最良の形態】
【００２０】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００２１】
まず、本実施形態に係る物体検出装置１の構成について、図１を用いて説明する。図１は、本実施形態の物体検出装置１の構成図である。本実施形態に係る物体検出装置１は、撮像した画像情報の中から特定物体を検出する装置であって、例えば、夜間の車両の運転において、歩行者や自転車を検知して運転支援を行う運転支援システムに好適に用いられるものである。
【００２２】
図１に示すように、物体検出装置１は、情報取得部５０、ＥＣＵ１０及び情報提供部３０を備えている。ここで、ＥＣＵ（Electronic Control Unit）とは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、および入出力インターフェイスなどを備えて構成されている。
【００２３】
情報取得部５０は、車両周辺の情報を取得する機能を有しており、撮像部（撮像手段）２１、投光器（投光手段）２２及び車速センサ５３を備えて構成される。
【００２４】
撮像部５１は、主に車両進行方向の画像情報を取得する機能を有している。また、撮像部５１は、ＥＣＵ１０から入力した信号に基づいて撮像時間を変化させて画像情報を取得する機能を有している。撮像部５１としては、例えば近赤外線カメラが用いられる。また、撮像部５１は、撮像した画像情報をＥＣＵ１０へ出力する機能を有している。
【００２５】
投光器５２は、撮像部５１が撮像する方向に投光する機能を有している。また、投光器５２は、ＥＣＵ１０から入力した信号に基づいて投光時間を変化させる機能を有している。投光器５２は、例えば近赤外線を投光するストロボが用いられる。なお、投光器５２として、可視光、赤外線又は紫外線などを投光するものを用いる場合もある。
【００２６】
車速センサ５３は、車輪速パルスを検出するセンサであり、例えば、車輪の回転による磁束変化を検出することで車輪の回転を検出し、車両の速度を取得する。車速センサ５３は、取得した車速をＥＣＵ１０へ出力する機能を有している。
【００２７】
ＥＣＵ１０は、同期制御部１１、情報入力部１２、高輝度領域抽出部（高輝度体検出手段）１３、特徴量導出部（特徴量導出手段）１４、消失点導出部（消失点決定手段）１５、ピッチ角度算出部（ピッチ角度算出手段）１６、探索範囲限定部（範囲限定手段）１７、物体領域抽出部（物体検出手段）１８、接触判定部（接触判定手段、識別手段）１９、照明器判定部（照明器判定手段）２０、物体識別部（識別手段）２１、出力部（運転支援手段）２２を備えて構成される。
【００２８】
同期制御部１１は、撮像部５１の撮像時間及び投光器５２の投光時間を制御する機能を有している。同期制御部１１は、撮像部５１及び投光器５２へ同期信号を出力して撮像時間及び投光時間を制御する。また、同期制御部１１は、車速センサ５３から車速を入力し、入力した車速に基づいて撮像時間及び投光時間を制御する機能を有している。なお、車速に基づいた同期制御の機能は、必ずしも必要な機能ではなく、個々の車両への要求に応じて備えればよい。さらに、同期制御部１１は、撮像部５１で撮像した画像情報の入力タイミングを情報入力部１２へ出力する機能を有している。
【００２９】
情報入力部１２は、同期制御部１１から入力した画像情報の入力タイミングに基づいて撮像部５１で撮像した画像情報を入力する機能を有している。また、情報入力部１２は、入力した画像情報を高輝度領域抽出部１３へ出力する機能を有している。
【００３０】
高輝度領域抽出部１３は、画像情報の輝度を入力し、所定の輝度より大きな輝度を持つ画素を抽出する機能を有している。高輝度領域抽出部１３は、情報入力部１２から入力した画像情報の各画素に対して所定の輝度より大きいか否かを判定し、所定の輝度より大きいと判断した場合には、その画素は高輝度であることを示す高輝度フラグを付与し、付与した高輝度フラグに基づいて高輝度領域に関する情報のみを画像情報から抽出する機能を有している。高輝度フラグの付与は、例えば、所定のメモリ領域において、情報ビットを０から１に変更することによって行う。また、高輝度領域抽出部１３は、画像情報を探索範囲限定部１７へ出力すると共に、抽出した高輝度領域に関する情報を特徴量導出部１４へ出力する機能を有している。
【００３１】
特徴量導出部１４は、高輝度領域抽出部１３から高輝度領域に関する情報を入力し、入力した高輝度領域の特徴量を導出する機能を有している。特徴量導出部１４は、高輝度領域の慣性主軸を導出し、高輝度領域の面積、面積重心位置、慣性主軸の長軸長、画像水平線に対する角度、慣性主軸の短軸長、周囲長等を特徴量として導出する。また、特徴量導出部１４は、導出した特長量を消失点導出部１５へ出力する機能を有している。
【００３２】
消失点導出部１５は、特徴量導出部１４から入力した特長量に基づいて画像の消失点を導出する機能を有している。消失点導出部１５は、高輝度領域の慣性主軸の長軸を通る直線を高輝度領域ごとに算出し、各直線が交わる点の位置（最尤交点の位置）を導出する。この最尤交点の位置を算出する方法として、例えば投票法が用いられる。算出した最尤交点は画像の消失点となる。また、消失点導出部１５は、導出した最尤交点の位置をピッチ角度導出部１６へ出力する機能を有している。
【００３３】
ピッチ角度算出部１６は、消失点導出部１５から入力した最尤交点（消失点）を用いて車両のピッチ角度を算出する機能を有している。ピッチ角度算出部１６は、最尤交点の位置と、所定のピッチ角度の時に撮像した画像の消失点の位置との差に基づいて車両のピッチ角度を算出する。また、ピッチ角度導出部１６は、算出したピッチ角度を探索範囲限定部１７へ出力する機能を有している。
【００３４】
探索範囲限定部１７は、高輝度領域抽出部１３から入力した画像情報と、ピッチ角度算出部１６から入力したピッチ角度に基づいて、道路平面の位置を推定し、歩行者等の物体検出処理の探索範囲を設定する機能を有している。また、探索範囲限定部１７は、画像情報、高輝度領域の特長量、及び限定した探索範囲に関する情報を物体領域抽出部１８へ出力する機能を有している。
【００３５】
物体領域抽出部１８は、探索範囲限定部１７で限定した画像範囲の中から、歩行者等の物体と対応する領域、すなわち物体領域を抽出する機能を有している。物体領域の抽出には、例えば、正規化相関を用いたテンプレートマッチング、ニューラルネットワーク、又はＳＶＭ（Support Vector Machine）などの画像認識技術が用いられる。また、物体領域抽出部１８は、抽出した物体領域のそれぞれに対応したＩＤ番号、位置情報、縦幅の情報、横幅の情報及び属性情報などの検知物体情報を作成する。さらに、物体領域抽出部１８は、画像情報、高輝度領域の特長量、及び物体領域に関する情報を接触判定部１９へ出力する機能を有している。
【００３６】
接触判定部１９は、物体領域抽出部１８から入力した高輝度領域の特長量、及び物体領域に関する情報に基づいて、高輝度領域の最尤交点側の端と物体領域とが接触しているか否かを判定する機能を有している。また、接触判定部１９は、画像情報及び判定結果を照明器判定部２０へ出力する機能を有している。
【００３７】
照明器判定部２０は、接触判定部１９から入力した判定結果に基づいて、高輝度領域が照明器であるか否かを判定する機能を有している。照明器判定部２０は、高輝度領域と物体領域とが接触していると判定された高輝度領域について、接触する物体と高輝度領域との面積比、高輝度領域の複雑度、慣性主軸（長軸）の方向の条件などを用いて照明器らしさの判定を行う機能を有している。また、照明器判定部２０は、画像情報及び判定結果を物体識別部２１へ出力する機能を有している。
【００３８】
物体識別部２１は、照明器判定部２０から入力した判定結果に基づいて、照明器を保有している物体と、照明器を保有していない物体とを識別する機能を有している。また、物体識別部２１は、照明器を有している物体に関する検知物体情報を除外する機能を有している。除外の方法は、検知物体情報から照明器を有している物体に関する検知物体情報そのものを削除する方法であっても良いし、検知物体情報の属性情報に無効情報である旨を記録する方法であっても良い。物体識別部２１は、画像情報及び識別した検知物体情報を出力部２２へ出力する機能を有している。
【００３９】
出力部２２は、物体識別部２１から入力した画像情報及び識別した検出物体情報に基づいて情報提供部３０へ運転支援命令を出力する機能を有している。
【００４０】
情報提供部３０は、ＥＣＵ１０から得られた情報に基づいて運転者に情報提供する機能を有しており、例えば、ディスプレイ３１やスピーカー３２から構成される。
【００４１】
次に、本実施形態に係る物体検出装置１の動作について、図２〜１７を用いて説明する。図２〜５は、本実施形態に係る物体検出装置１の動作を示すフローチャート、図６は、投光時間と撮像時間との関係を示す概要図、図７は、先幕シンクロかつスローシンクロを用いた場合の画像の一例、図８〜１７は、本実施形態に係る物体検出装置１の動作を説明するための概要図である。
【００４２】
まず、図２及び図３を用いて物体検出装置１の動作について説明する。図２及び図３は、例えば、車両に運転支援ボタンを備え、その運転支援ボタンをＯＮされたタイミングで開始され、所定の間隔で繰り返し実行される。
【００４３】
物体検出装置１は、車速入力処理から開始する（Ｓ１０）。Ｓ１０の処理は、車速センサ５３及び同期制御部１１で実行され、車速をＥＣＵ１０に入力する処理である。Ｓ１０の処理が終了すると、投光パルス出力処理へ移行する（Ｓ１２）。
【００４４】
Ｓ１２の処理は、同期制御部１１及び投光器５２で実行され、投光器５２の発光を行うための投光パルスを出力する処理である。同期制御部１１は、例えば、図６の（ｂ）に示すように、投光器５２がＯＮ状態の時に発光され、投光器５２がＯＦＦ状態の時に発光されないとすると、ＯＮ状態とＯＦＦ状態が所定の間隔で繰り返されるパルスを出力する。投光器５２がＯＮ状態となるパルスの時間長、すなわち繰り返しの投光時間は、撮像部５１の繰り返しの撮像時間よりも短い時間であり、ここでは５msecとする。Ｓ１２の処理が終了すると、画像撮像処理へ移行する（Ｓ１４）。
【００４５】
Ｓ１４の処理は、同期制御部１１及び撮像部５１で実行され、撮像時間長を決定し、画像を撮像する処理である。同期制御部１１は、例えば、図６の（ａ）に示すように、撮像部５１の撮像ボタンがＯＮ状態の時に撮像部５１の撮像が開始され、撮像部５１の撮像ボタンがＯＦＦ状態の時に撮像部５１の撮像が終了するとした場合、ＯＮ状態とＯＦＦ状態が所定の間隔で繰り返されるパルスを出力する。また、撮像部５１の撮像ボタンがＯＮ状態となる時間長、すなわち撮像時間長は投光器５２の投光時間よりも長い時間であり、いわゆるスローシンクロである。ここでは撮像時間長を１００msecとする。さらに、同期制御部１１は、撮像時間の開始タイミングを、投光器５２の投光開始タイミングと同期するように制御する。このように、撮像時間の開始タイミングと投光タイミングとを同期して撮像する、いわゆる先幕シンクロを行う場合において、投光時間に比べて撮像時間を充分長くすると、図７に示すように、投光器５２が投光した光の反射光によって撮像された静止画と、自ら発光する物体が撮像時間の間に移動した軌跡を示す画像とを合成した画像を撮像することができる。図７においては、例えば、バイク４０、乗員４１及び木４２等は投光器５２で投光したタイミングの位置の静止画であり、バイク４０のヘッドライト４３は、撮像時間の間に移動した軌跡４４として撮像されて表示される。このように、Ｓ１４の処理では、同期制御部１１が投光器５２及び撮像部５１を制御して画像を撮像し、撮像した画像情報を情報入力部１２へ出力する。Ｓ１４の処理が終了すると、輝度値判定処理へ移行する（Ｓ１６）。
【００４６】
Ｓ１６の処理は、高輝度領域抽出部１３で実行され、入力した画像の輝度値を判定する処理である。高輝度領域抽出部１３は、入力した画像情報の画素情報を入力し、所定の輝度値よりも大きいか否かを判定する。画素情報の入力は、例えば位置情報である座標の小さいものから実行される。また、所定の輝度値の一例として、輝度値０〜２５５の２５６階調のうち、ここでは２３０が設定される。Ｓ１６の処理において、所定の輝度値より大きいと判定した場合には、高輝度フラグ付与処理へ移行する（Ｓ１８）。一方、Ｓ１６の処理において、所定の輝度値より大きくないと判定した場合には、全範囲の実施判定処理へ移行する（Ｓ２０）。
【００４７】
Ｓ１８の処理は、高輝度領域抽出部１３で実行され、Ｓ１６の処理で判定した画素情報が高輝度であることを示す高輝度フラグを、判定した画素情報に付与する処理である。高輝度フラグの付与は、例えば所定のメモリ領域において、情報ビットを０から１へ変更することによって行われる。Ｓ１８の処理が終了すると、全範囲実施判定処理へ移行する（Ｓ２０）。
【００４８】
Ｓ２０の処理は、画像の全範囲の画素情報についてＳ１６の処理を実行したか否かを判定する処理である。Ｓ２０の処理において、全範囲の画素情報について判定されていない場合には、再度Ｓ１６の処理へ移行する。一方、Ｓ２０の処理において、全範囲の画素情報について判定した場合には、高輝度画素抽出処理へ移行する（Ｓ２２）。
【００４９】
Ｓ２２の処理は、高輝度領域抽出部１３で実行され、Ｓ１８の処理で高輝度フラグを付与された画素のみを抽出する処理である。例えば、Ｓ１４の処理で入力した画像が図８で示す画像であるとすると、高輝度領域に該当する画素のみを抽出した画像は、図９で示す画像となる。Ｓ２２の処理が終了すると、高輝度領域のＩＤ付与処理へ移行する（Ｓ２４）。
【００５０】
Ｓ２４の処理は、高輝度領域抽出部１３で実行され、Ｓ２２の処理で抽出した画素から構成される高輝度領域のそれぞれにＩＤを付与する処理である。高輝度領域抽出部１３は、Ｓ２２の処理で抽出した画素の連結性を確認し、図１０に示すように高輝度領域ごとにＩＤを付与する。ＩＤは例えば数字であり、高輝度領域は付与されたＩＤを用いて、例えばＫｊ（ｊ：自然数）のように識別される。Ｓ２４の処理が終了すると、特徴量導出処理へ移行する（Ｓ２６）。
【００５１】
Ｓ２６の処理は、特徴量導出部１４で実行され、Ｓ２４の処理でＩＤを付与した各高輝度領域Ｋｊの特徴量を導出する処理である。高輝度領域Ｋｊの特徴量について、図１１を用いて説明する。図１１は図１０の高輝度領域Ｋ１の特徴量について図示した概要図であり、特徴量は高輝度領域の大きさ、向きを含む情報である。例えば、特長量として高輝度領域Ｋ１の面積Ｓ１、面積重心位置（Ｘ１、Ｙ１）、慣性主軸の長軸長Ｌ１、画像水平線に対する角度α１、慣性主軸の短軸長Ｍ１、周囲長Ｃ１等を含む情報を導出する。特徴量導出部１４は、各高輝度領域Ｋｊについて、高輝度領域Ｋｊの面積Ｓｊ、面積重心位置（Ｘｊ、Ｙｊ）、慣性主軸の長軸長Ｌｊ、画像水平線に対する角度αｊ、慣性主軸の短軸長Ｍｊ、周囲長Ｃｊ等を導出して特徴量とする。Ｓ２６の処理が終了すると、最尤交点導出処理へ移行する（Ｓ２８）。
【００５２】
Ｓ２８の処理は、消失点導出部１５で実行され、Ｓ２６の処理で導出した高輝度領域Ｋｊの特長量に基づいて消失点を導出する処理である。消失点導出部１５は、図１２に示すように、各高輝度領域Ｋｊの慣性主軸を延長して交わる最尤交点Ｐfを導出する。この最尤交点Ｐfは投票法等で決定される。また、導出した最尤交点Ｐfは、画像の消失点となる。Ｓ２８の処理が終了すると、ピッチ角度導出処理へ移行する（Ｓ３０）。
【００５３】
Ｓ３０の処理は、ピッチ角度算出部１６で実行され、Ｓ２８で導出した最尤交点（消失点）Ｐfから自車両のピッチ角度を算出する処理である。最尤交点Ｐfの時のピッチ角度をβとし、図１３に示すように、消失点のＹ軸座標値をＹｂ、ピッチ角度が０°の時の消失点のＹ座標値をＹ０とすると、画像の縦視野角度Θ及び縦画素数nを用いて、自車両のピッチ角度βは式（１）で算出することができる。
【００５４】
β＝（Ｙｂ−Ｙ０）・Θ／ｎ …（１）
【００５５】
Ｓ３０の処理が終了すると、探索範囲の限定処理へ移行する（Ｓ３２）。
【００５６】
Ｓ３２の処理は、探索範囲限定部１７で実行され、Ｓ３０の処理で算出したピッチ角度βに基づいて道路平面の位置を推定し、物体を探索する画像範囲を限定する処理である。探索範囲限定部１７は、例えば図１４に示すように、ピッチ角度０°の時の探索範囲を基準として、ピッチ角度βの分だけ上方に探索範囲をシフトさせる。Ｓ３２の処理が終了すると、物体領域の抽出処理へ移行する（Ｓ３４）。
【００５７】
Ｓ３４の処理は、物体領域抽出部１８で実行され、Ｓ３２の処理で得られた画像の探索範囲内にある物体に対応する物体領域を抽出する処理である。ここでは、検出する物体を歩行者とする。物体領域抽出部１８は、テンプレートマッチング、ニューラルネットワーク、又はＳＶＭなどの画像認識技術を利用して図１５に示すように歩行者に対応する画像領域を検知する。また、物体領域抽出部１８は、検知した歩行者に対応する画像領域を、例えば矩形状の物体領域として抽出し、それぞれに検知物体情報を作成する。例えば、図１５に示す歩行者に対応する物体領域Ｏ０を検知した場合には、物体領域Ｏ０の検知物体情報として、ＩＤ＝０、位置＝（ｘ０、ｙ０）、縦幅＝Ｈ０、横幅＝Ｗ０、属性＝ＰＰＰを作成する。また、自転車を持つ歩行者に対応する物体領域Ｏ１を検知した場合には、物体領域Ｏ１の検知物体情報として、ＩＤ＝１、位置＝（ｘ１、ｙ１）、縦幅＝Ｈ１、横幅＝Ｗ１、属性＝ＰＰＰを作成する。属性情報は検知した物体の種別や情報の有効性を表す文字列が採用され、ここではＰＰＰは歩行者であることを示す属性とする。このように、物体領域抽出部１８は、物体に対応する領域を抽出し、抽出した領域ごとに検知物体情報を作成する。Ｓ３４の処理が終了すると、照明器保有判定処理へ移行する（Ｓ３６）。
【００５８】
Ｓ３６の処理は、接触判定部１９及び照明器判定部２０で実行され、高輝度領域Ｋｊが照明器であるか否かを判定する処理である。この処理の詳細については、後述する。Ｓ３６の処理が終了すると、物体の識別処理へ移行する（Ｓ３８）。
【００５９】
Ｓ３８の処理は、物体識別部２１で実行され、物体情報から照明器を保有する物体を、検知物体情報から除外する処理である。この処理の詳細については、後述する。Ｓ３８の処理が終了すると、情報出力処理へ移行する（Ｓ４０）。
【００６０】
Ｓ４０の処理は、出力部２２で実行され、Ｓ３８の処理で得られた検知物体情報を出力し、運転支援する処理である。出力部２２は、例えばディスプレイ３１上に表示された画像情報の中で照明器を保有していない検知物体を強調したり、スピーカー３２を用いて運転者へ注意喚起を行ったりする。
【００６１】
以上のように、物体検出装置１は、撮像時間と投光時間を制御した画像を用いて探索範囲を限定して効率的に物体検出を行うと共に、照明器を保有していない歩行者等を識別して運転支援を行うことができる。
【００６２】
次に、照明器保有判定処理について、図４を用いて詳細に説明する。図４は、図３のＳ３６の処理の詳細を示すフローチャートである。照明器保有判定処理は、初期化処理から開始される（Ｓ５０）。
【００６３】
Ｓ５０の処理は、接触判定部１９で実行され、変数の初期化を行う処理である。ここでは変数ｉ（ｉ：整数）、ｊを使用するため、変数ｉを０とし、変数ｊを１とする。Ｓ５０の処理が終了すると、接触判定処理へ移行する（Ｓ５２）。
【００６４】
Ｓ５２の処理は、接触判定部１９で実行され、図２のＳ２２で抽出した光輝度領域Ｋｊが、図３のＳ３４で抽出した物体領域Ｏｉに付随するか否かを判定する処理である。付随するか否かの判定は、光輝度領域Ｋｊの最尤交点Ｐfに近い端と物体領域Ｏｉとが接触するか否かで判定する。この接触の判定は、物体領域Ｏｉと高輝度領域Ｋｊが隣り合って接触する場合だけでなく、物体領域Ｏｉ内に光輝度領域Ｋｊの最尤交点Ｐfに近い端が存在する場合も、光輝度領域Ｋｊの最尤交点Ｐfに近い端と物体領域Ｏｉとが接触していると判定する。例えば、図１６に示すように、物体領域Ｏ１と光輝度領域Ｋ７とを判定すると、物体領域Ｏ１内に光輝度領域Ｋ７の最尤交点Ｐf側の端が存在しているため、物体領域Ｏ１と光輝度領域Ｋ７とは接触していると判定される。Ｓ５２の処理において、光輝度領域Ｋｊの最尤交点Ｐfに近い端と物体領域Ｏｉとが接触すると判定した場合には、照明器判定処理へ移行する（Ｓ５４）。
【００６５】
Ｓ５４の処理は、照明器判定部２０で実行され、高輝度領域Ｋｊが照明器であるか否かを判定する処理である。照明器であるか否かの判定は、Ｓ５２の処理で接触していると判定した高輝度領域Ｋｊと物体領域Ｏｉとの面積比によって判定する。例えば、高輝度領域Ｋｊの面積をＳｊ、物体領域Ｏｉの面積をＳｉ、想定される面積比の最小値をＴｓ１、想定される面積比の最大値をＴｓ２とすると、式（２）の条件を満たすか否かを判定する。
【００６６】
Ｔｓ１＜（Ｓｊ／Ｓｉ）＜Ｔｓ２ …（２）
【００６７】
Ｔｓ１、Ｔｓ２は設定値であり、例えば、Ｔｓ１＝０．１、Ｔｓ２＝０．２が設定される。Ｓ５４の処理において、照明器であると判定された場合には、保有フラグ付与処理へ移行する（Ｓ５６）。
【００６８】
Ｓ５６の処理は、照明器判定部２０で実行され、Ｓ５４の処理において照明器を保有していると判定した物体領域Ｏｉに照明器保有フラグを付与する処理である。照明器保有フラグの付与は、例えば、所定のメモリ領域において、情報ビットを０から１へ変更することによって行われる。Ｓ５６の処理が終了すると、全ての物体領域Ｏｉの実施判定処理へ移行する（Ｓ６０）。
【００６９】
Ｓ６０の処理は、照明器判定部２０で実行され、Ｓ５４の照明器判定処理を全ての物体領域Ｏｉに対して実行したか否かを判定する処理である。Ｓ６０の処理において、全ての物体領域Ｏｉに対して照明器判定処理を行っている場合には、図４の制御処理を終了する。
【００７０】
一方、Ｓ５２の処理において、光輝度領域Ｋｊの最尤交点Ｐfに近い端と物体領域Ｏｉとが接触していないと判定した場合には、全ての高輝度領域Ｋｊの実施判定処理へ移行する（Ｓ５８）。Ｓ５８の処理は、照明器判定部２０で実行され、Ｓ５２の接触判定処理を全ての光輝度領域Ｋｊに対して実行したか否かを判定する処理である。Ｓ５８の処理において、全ての光輝度領域Ｋｊに対して接触判定処理を行っている場合には、全ての物体領域Ｏｉの実施判定処理へ移行する（Ｓ６０）。また、Ｓ５８の処理において、全ての高輝度領域Ｋｊに対して接触判定処理を行っていない場合には、判定対象変更処理へ移行する（Ｓ６２）。
【００７１】
Ｓ６２の処理は、照明器判定部２０で実行され、Ｓ５２の接触判定処理の判定対象となる高輝度領域Ｋｊを変更する処理である。照明器判定部２０は、ｊをｊ＋１とし、判定対象を光輝度領域Ｋｊから光輝度領域Ｋｊ＋１へ変更する。Ｓ６２の処理が終了すると、接触判定処理へ移行する（Ｓ５２）。
【００７２】
一方、Ｓ６０の処理において、全ての物体領域Ｏｉに対して照明器判定処理を行っていない場合には、判定対象変更処理へ移行する（Ｓ６４）。Ｓ６４の処理は、照明器判定部２０で実行され、Ｓ５２の接触判定処理の判定対象となる物体領域Ｏｉを変更する処理である。照明器判定部２０は、ｉをｉ＋１とし、判定対象を物体領域Ｏｉから物体領域Ｏｉ＋１へ変更する。Ｓ６２の処理が終了すると、接触判定処理へ移行する（Ｓ５２）。
【００７３】
以上で図４の制御処理が終了する。図４の制御処理によって、撮像した画像から物体が照明器を保有しているか否かを判定することができる。
【００７４】
次に、物体識別処理について、図５を用いて詳細に説明する。図５は、図３のＳ３８の処理の詳細を示すフローチャートである。物体識別処理は、初期化処理から開始される（Ｓ７０）。
【００７５】
Ｓ７０の処理は、物体識別部２１で実行され、変数の初期化を行う処理である。ここでは変数ｉを使用するため、変数ｉを０とする。Ｓ７０の処理が終了すると、保有判定処理へ移行する（Ｓ７２）。
【００７６】
Ｓ７２の処理は、物体識別部２１で実行され、物体領域Ｏｉに保有フラグが付与されているか否かを判定する処理である。Ｓ７２の処理において、保有フラグが付与されていると判定された場合には、除外処理へ移行する（Ｓ７４）。一方、Ｓ７２の処理において、保有フラグが付与されていないと判定された場合には、全ての物体領域Ｏｉの実施判定処理へ移行する（Ｓ７６）。
【００７７】
Ｓ７４の処理は、物体識別部２１で実行され、Ｓ７２の処理で保有フラグが付与されていると判定された物体領域Ｏｉ、すなわち照明器を保有していると判定された物体に関する情報を物体情報から削除する処理である。Ｓ７４の処理が終了すると、全ての物体領域Ｏｉの実施判定処理へ移行する（Ｓ７６）。
【００７８】
Ｓ７６の処理は、物体識別部２１で実行され、全ての物体領域に対してＳ７２の保有判定処理を実施したか否かを判定する処理である。Ｓ７６の処理において、全ての物体領域Ｏｉに対して保有判定処理を実施したと判定した場合には、図５の制御処理を終了する。一方、Ｓ７６の処理において、全ての物体領域Ｏｉに対して保有判定処理を実施していないと判定した場合には、判定対象変更処理へ移行する（Ｓ７８）。
【００７９】
Ｓ７８の処理は、物体識別部２１で実行され、判定対象となる物体領域Ｏｉを変更する処理である。照明器判定部２０は、ｉ＝ｉ＋１を行い、判定対象を物体領域Ｏｉから物体領域Ｏｉ＋１へ変更する。Ｓ７８の処理が終了すると、保有判定処理へ移行する（Ｓ７２）。
【００８０】
上述のように、図５の制御処理を行うことで、照明器を保有する物体と照明器を保有しない物体とを識別し、照明器を保有する物体を運転支援から除外することができる。例えば、図１７に示すように、照明器を保有しない物体領域Ｏ０に対応する物体のみを運転支援の対象とすることができる。
【００８１】
以上のように、本実施形態に係る物体検出装置１は、撮像した画像情報の中から、所定の輝度より大きな輝度を有する高輝度領域Ｋｊを抽出して高輝度体として検出し、運転支援対象の候補となる物体に対応した物体領域Ｏｉと、高輝度領域Ｋｊとが接触しているか否かを判定することによって、物体に高輝度体が付随しているか否かを識別することができる。これにより、高輝度体が付随している物体、すなわち運転者が比較的目視し易い物体と、高輝度体が付随していない物体、すなわち比較的目視し難い物体とを識別することができる。よって、運転者が比較的目視し難い物体のみを検出することができる。
【００８２】
また、本実施形態に係る物体検出装置１は、高輝度体が付随していない物体の存在を、高輝度体が付随している物体の存在よりも強調して運転者に報知して車両の運転支援を行うことができるため、運転者が比較的目視し難い物を迅速に認識することができる。
【００８３】
また、本実施形態に係る物体検出装置１は、高輝度体が付随する物体を、運転支援の対象から除外することができるため、運転者は既に認識している物体の存在を報知されることが無いので、運転者が煩わしく感じることを回避することができる。
【００８４】
また、本実施形態に係る物体検出装置１は、撮像部５１の撮像時間を投光器５２の投光時間よりも長くすることができるため、自ら発光していない物体は投光手段で投光されたタイミングの静止画像として、自ら発光している物体は撮像時間の間の動作の軌跡を示す画像として撮像することができる。これにより、自ら発光している高輝度体と瞬間的に反射した物体とを区別することができるため、高輝度体が照明器であるか否かを識別することができる。
【００８５】
また、本実施形態に係る物体検出装置１は、高輝度領域Ｋｊの特徴量を算出し、物体領域Ｏｉと高輝度領域Ｋｊとが互いに接触しているか否かを判定し、接触していると判定した場合には、高輝度領域Ｋｊの特徴量に基づいて、高輝度領域Ｋｊに対応する高輝度体が照明器であるか否かを判定することができる。これにより、高輝度体が照明器であるか否かをより精度よく判定することができる。
【００８６】
また、本実施形態に係る物体検出装置１は、高輝度領域Ｋｊの特徴量として高輝度領域Ｋｊの面積を算出し、物体領域Ｏｉの面積と高輝度領域Ｋｊの面積との比に基づいて、高輝度体が照明器であるか否かを判定することができる。これにより、高輝度体が照明器であるか否かを一層精度よく判定することができる。
【００８７】
さらに、本実施形態に係る物体検出装置１は、高輝度領域Ｋｊに基づいて画像の消失点の位置を決定し、決定した消失点の位置と、所定のピッチ角度における消失点の位置とを比較して車両のピッチ角度βを算出することができる。また、算出したピッチ角度βに基づいて画像情報の探索する範囲を限定することができるため、物体領域Ｏｉや高輝度領域Ｋｊの抽出を的確かつ迅速に行うことができる。
【００８８】
なお、上述した実施形態は本発明に係る物体検出装置の一例を示すものである。本発明に係る物体検出装置は、このようなものに限られるものではなく、各請求項に記載した要旨を変更しないように実施形態に係る物体検出装置を変形し、又は他のものに適用したものであってもよい。
【００８９】
例えば、実施形態において、撮像部５１と投光器５２の同期が先幕シンクロの場合について説明したが、後幕シンクロであっても良い。後幕シンクロの場合、高輝度領域Ｋｊの最尤交点Ｐｆ側と反対側の端が物体領域Ｏｉと接触するか否かを判定することで、本実施形態と同様の効果を得ることができる。
【００９０】
また、実施形態において、物体検出装置の最適な例として、スローシンクロによって撮像した画像を用いた例を説明したが、通常の撮像方法で撮像した画像を用いた場合であっても本実施形態と同様の効果を得ることができる。
【００９１】
また、実施形態において、物体領域Ｏｉ内に高輝度領域Ｋｊの最尤交点Ｐｆに近い端が含まれるか否かによって、高輝度領域Ｋｊと物体領域Ｏｉとが接触するか否かを判定する例を説明したが、例えば、物体領域Ｏｉの中心位置から設定距離以内に高輝度領域Ｋｊの最尤交点Ｐｆに近い端が存在するか否かを判定するなど、物体領域Ｏｉと高輝度領域Ｋｊの最尤交点Ｐｆに近い端との位置関係によって接触しているか否かの判定をしても良い。
【００９２】
また、実施形態において、照明器であるか否かの判定を高輝度領域Ｋｊと物体領域Ｏｉとの面積比によって判定する例を説明したが、例えば、高輝度領域Ｋｊの複雑度を用いて判定しても良い。高輝度領域Ｋｊの複雑度Ａは、周囲長をＣｊ、面積をＳｊとすると、Ａ＝Ｃｊ２／Ｓｊで表すことができ、複雑度が所定値より大きい場合には、高輝度領域Ｋｊを照明器では無いと判定することができる。
【００９３】
また、実施形態において、照明器であるか否かの判定を高輝度領域Ｋｊと物体領域Ｏｉとの面積比によって判定する例を説明したが、高輝度領域Ｋｊの慣性主軸の方向を利用して照明器であるか否かを判定しても良い。例えば、高輝度領域Ｋｊの慣性主軸の方向が垂直に近いものは照明器の条件に当てはまらないとして除外することができる。
【００９４】
また、実施形態において、照明器を保有している物体領域Ｏｉを検知物体情報から除外する方法として削除する例を説明したが、例えば属性情報を変更する例であっても良い。この場合、属性情報＝ＮＮＮの場合には検知物体情報が無効であるとし、図５のＳ７４の処理において、照明器を保有している物体領域Ｏｉを検知物体情報から削除せずに、照明器を保有している物体領域Ｏｉの検知物体情報の属性情報をＰＰＰからＮＮＮへ変更することで、照明器を保有している物体領域Ｏｉを検知物体情報から除外することができる。
【００９５】
さらに、実施形態において、照明器を保有している物体領域Ｏｉを検知物体情報から除外する方法を説明したが、照明器を保有している物体領域Ｏｉを検知物体情報から除外せずに、注意喚起レベルを変更する場合であっても良い。例えば、属性情報＝ＬＯＷの場合には検知物体情報の注意喚起レベルが低いものであるとし、図５のＳ７４の処理において、照明器を保有している物体領域Ｏｉを検知物体情報から削除せずに、照明器を保有している物体領域Ｏｉの検知物体情報の属性情報をＰＰＰからＬＯＷへ変更することで、照明器を保有している物体は、検知物体情報の中でも注意喚起レベルが低いものであるとして運転者へ情報提供することができる。注意喚起レベルが低い場合とは、例えば、照明器を保有している物体をディスプレイ上で薄く表示したり、スピーカーでの警告音量を下げたりすることによって実現される。
【図面の簡単な説明】
【００９６】
【図１】本実施形態に係る物体検出装置の構成図である。
【図２】図１の物体検出装置の動作を示すフローチャートである。
【図３】図１の物体検出装置の動作を示すフローチャートである。
【図４】図３の照明器保有判断処理の詳細を示すフローチャートである。
【図５】図３の物体の識別処理の詳細を示すフローチャートである。
【図６】撮像部の撮像時間及び投光器の投光時間を示す概要図である。
【図７】先幕シンクロかつスローシンクロで撮像した画像例である。
【図８】先幕シンクロかつスローシンクロで撮像した画像例である。
【図９】図８の画像の中から高輝度領域のみ抽出した画像例である。
【図１０】図９に示す高輝度領域にＩＤを付与した画像例である。
【図１１】図１０に示す高輝度領域の特徴量を示す概要図である。
【図１２】最尤交点の導出を説明するための画像例である。
【図１３】ピッチ角度算出部の動作を説明するための画像例である。
【図１４】探索範囲を限定する動作を説明するための画像例である。
【図１５】物体領域の抽出を説明するための画像例である。
【図１６】高輝度領域と物体領域との接触判定を説明するための画像例である。
【図１７】物体領域の識別を説明するための画像例である。
【符号の説明】
【００９７】
１…物体検出装置、１３…高輝度領域抽出部（高輝度体検出手段）、１４…特徴量導出部（特徴量導出手段）、１５…消失点導出部（消失点決定手段）、１６…ピッチ角度算出部（ピッチ角度算出手段）、１７…探索範囲限定部（範囲限定手段）、１８…物体領域抽出部（物体検出手段）、１９…接触判定部（識別手段、接触判定手段）、２０…照明器判定部（照明器判定手段）、２１…物体識別部（識別手段）、２２…出力部（運転支援手段）。
【特許請求の範囲】
【請求項１】
車載された撮像手段によって撮像した画像の画像情報の中から物体を検出する物体検出手段と、
前記画像情報の中から所定の輝度より大きな輝度を有する高輝度領域を抽出し、高輝度体として検出する高輝度体検出手段と、
前記物体の検出結果と前記高輝度体の検出結果とに基づいて、前記高輝度体が付随する前記物体と前記高輝度体が付随しない前記物体とを識別する識別手段と、
を備えた物体検出装置。
【請求項２】
前記高輝度体が付随する前記物体の存在よりも、前記高輝度体が付随していない前記物体の存在を強調して運転者に報知し車両の運転支援を行う運転支援手段を備えることを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記高輝度体が付随する前記物体を、運転支援の対象から除外して運転支援を行う運転支援手段を備えることを特徴とする請求項１に記載の物体検出装置。
【請求項４】
前記画像の撮像方向に向けて所定の投光時間で投光する投光手段を備え、
前記撮像手段は、前記投光時間より撮像時間を長くすること、
を特徴とする請求項１〜３の何れか一項に記載の物体検出装置。
【請求項５】
前記高輝度領域の特徴量を導出する特徴量導出手段と、
前記物体に対応する領域と前記高輝度領域とが互いに接触しているか否かを判定する接触判定手段と、
前記接触判定手段によって前記物体に対応する領域と前記高輝度領域とが互いに接触していると判定した場合には、前記特徴量に基づいて、前記高輝度体が照明器であるか否かを判定する照明器判定手段と、
を備えることを特徴とする請求項４に記載の物体検出装置。
【請求項６】
前記特徴量導出手段は、前記特徴量として前記高輝度領域の面積を算出し、
前記照明器判定手段は、前記物体に対応する領域と前記高輝度領域との面積比に基づいて、前記高輝度体が照明器であるか否かを判定することを特徴とする請求項５に記載の物体検出装置。
【請求項７】
前記高輝度領域の軌跡の形状に基づいて前記画像の消失点の位置を決定する消失点決定手段と、
前記消失点の位置と車両の所定のピッチ角度における消失点の位置とを比較して前記車両のピッチ角度を算出するピッチ角度算出手段と、
前記ピッチ角度に基づいて前記画像情報の探索する範囲を限定する範囲限定手段と、
を特徴とする請求項４〜６の何れか一項に記載の物体検出装置。
【請求項１】
車載された撮像手段によって撮像した画像の画像情報の中から物体を検出する物体検出手段と、
前記画像情報の中から所定の輝度より大きな輝度を有する高輝度領域を抽出し、高輝度体として検出する高輝度体検出手段と、
前記物体の検出結果と前記高輝度体の検出結果とに基づいて、前記高輝度体が付随する前記物体と前記高輝度体が付随しない前記物体とを識別する識別手段と、
を備えた物体検出装置。
【請求項２】
前記高輝度体が付随する前記物体の存在よりも、前記高輝度体が付随していない前記物体の存在を強調して運転者に報知し車両の運転支援を行う運転支援手段を備えることを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記高輝度体が付随する前記物体を、運転支援の対象から除外して運転支援を行う運転支援手段を備えることを特徴とする請求項１に記載の物体検出装置。
【請求項４】
前記画像の撮像方向に向けて所定の投光時間で投光する投光手段を備え、
前記撮像手段は、前記投光時間より撮像時間を長くすること、
を特徴とする請求項１〜３の何れか一項に記載の物体検出装置。
【請求項５】
前記高輝度領域の特徴量を導出する特徴量導出手段と、
前記物体に対応する領域と前記高輝度領域とが互いに接触しているか否かを判定する接触判定手段と、
前記接触判定手段によって前記物体に対応する領域と前記高輝度領域とが互いに接触していると判定した場合には、前記特徴量に基づいて、前記高輝度体が照明器であるか否かを判定する照明器判定手段と、
を備えることを特徴とする請求項４に記載の物体検出装置。
【請求項６】
前記特徴量導出手段は、前記特徴量として前記高輝度領域の面積を算出し、
前記照明器判定手段は、前記物体に対応する領域と前記高輝度領域との面積比に基づいて、前記高輝度体が照明器であるか否かを判定することを特徴とする請求項５に記載の物体検出装置。
【請求項７】
前記高輝度領域の軌跡の形状に基づいて前記画像の消失点の位置を決定する消失点決定手段と、
前記消失点の位置と車両の所定のピッチ角度における消失点の位置とを比較して前記車両のピッチ角度を算出するピッチ角度算出手段と、
前記ピッチ角度に基づいて前記画像情報の探索する範囲を限定する範囲限定手段と、
を特徴とする請求項４〜６の何れか一項に記載の物体検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００９−４４６３１（Ｐ２００９−４４６３１Ａ）
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願番号】特願２００７−２０９６５０（Ｐ２００７−２０９６５０）
【出願日】平成１９年８月１０日（２００７．８．１０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願日】平成１９年８月１０日（２００７．８．１０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]