物体検出装置
【課題】画像の背景と物体とを容易に分離して検出することができる物体検出装置を提供する。
【解決手段】車両４周辺を繰り返し撮像した画像に基づいて物体を検出する物体検出装置１であって、画像から物体候補の移動量を取得する移動量取得部２２と、移動量の大きさが所定値以上の場合には、物体候補を物体として検出する物体検出部２４とを備えることで、車両４から遠い地点に存在する物体候補（背景）、及び、車両４に近い地点に存在する物体候補（物体）のオプティカルフローをそれぞれ取得し、取得したオプティカルフローの大きさが所定値以上の場合には物体として検出する。
【解決手段】車両４周辺を繰り返し撮像した画像に基づいて物体を検出する物体検出装置１であって、画像から物体候補の移動量を取得する移動量取得部２２と、移動量の大きさが所定値以上の場合には、物体候補を物体として検出する物体検出部２４とを備えることで、車両４から遠い地点に存在する物体候補（背景）、及び、車両４に近い地点に存在する物体候補（物体）のオプティカルフローをそれぞれ取得し、取得したオプティカルフローの大きさが所定値以上の場合には物体として検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を検出する物体検出装置に関するものである。
【背景技術】
【０００２】
従来、物体を検出する装置として、例えば、撮像した画像情報に基づいて物体を検知するものが知られている（例えば、特許文献１参照）。この装置は、画像中の各点の動きを表す動きベクトル（オプティカルフロー）を抽出し、移動物体の動きの消失点と、移動観測系の自己移動による動きの消失点との位置が異なることを利用して、背景とは独立して移動する移動物体と背景とを分離する装置である。
【特許文献１】特開２００４−２２００５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の物体検出装置にあっては、例えば静止物体である場合には、オプティカルフローが背景と同様となるため、物体であるのか背景であるのかを認識することができない。
【０００４】
そこで、本発明はこのような技術課題を解決するためになされたものであって、画像の背景と物体とを容易に分離して検出することができる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
すなわち、本発明に係る物体検出装置は、車両周辺を繰り返し撮像した画像に基づいて物体を検出する物体検出装置であって、前記画像から物体候補の移動量を取得する移動量取得手段と、前記移動量の大きさが所定値以上の場合には、前記物体候補を物体として検出する物体検出手段とを備えて構成される。
【０００６】
この発明によれば、物体候補の移動量、例えば単位時間当たりの移動ベクトル（オプティカルフロー）を取得し、その大きさが所定値以上の場合には物体として検出する。背景を示す物体候補のオプティカルフローは、遠い地点に存在するため小さくなる傾向にあり、他方、物体を示す物体候補のオプティカルフローは、近い地点に存在するため大きくなる傾向にある。このため、物体候補のオプティカルフローの大きさに基づいて、容易に物体と背景とを分離して検出することができる。
【０００７】
ここで、物体検出装置は、車両周辺に電波を発信し、反射波を受信して物体の距離情報を取得する距離情報取得手段と、前記物体候補の移動量の大きさから前記物体候補の距離情報を推定する距離情報推定手段と、を備え、前記物体検出手段は、前記距離情報取得手段により取得した距離情報と前記距離推定手段により推定した距離情報とを比較して、その差が大きい場合には物体として検出しないことが好適である。
【０００８】
このように、物体候補のオプティカルフローから推定される距離情報と、測定した物体候補の距離情報とを比較し、差が大きい場合には物体として検出しない構成とすることで、画像から得られた情報の信頼性を確認することができる。このため、より正確に物体と背景とを分離することが可能となる。
【０００９】
また、物体検出装置において、前記物体候補情報抽出手段は、前記画像から検出領域を抽出し、前記検出領域の下方領域の前記物体候補の移動量を抽出することが好適である。
【００１０】
このよう構成することで、画像から検出領域を抽出し、抽出した検出領域の下方領域の物体候補のオプティカルフローを用いて物体検出をすることができる。背景を示す物体情報は遠い地点に存在するため画像の上方領域のみに集中する傾向にあり、他方、物体を示す物体情報は近い地点に存在するため画像の上方領域のみならず下方領域にも存在する傾向にある。このため、検出領域の下方領域にある物体候補のオプティカルフローに基づいて物体を検出することにより、さらに容易に物体と背景とを分離して検出することができる。
【発明の効果】
【００１１】
本発明によれば、画像の背景と物体とを容易に分離して検出することができる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
【００１３】
本実施形態に係る物体検出装置は、車両周辺の物体を検出する装置であって、例えば、プリクラッシュセーフティシステムやＡＣＣ（Adaptive Cruise Control）等、走行の安全性を向上させる運転支援システムを搭載した車両に好適に採用されるものである。
【００１４】
最初に、本実施形態に係る物体検出装置の構成を説明する。図１は本発明の実施形態に係る物体検出装置を備えた車両の構成を示すブロック図である。
【００１５】
車両４は、画像センサ３０、測距センサ（距離情報取得手段）３１、ＥＣＵ（Electronic Control Unit）２及び運転支援システム４０を備えている。ここで、ＥＣＵとは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（CentralProcessing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び入出力インターフェイスなどを備えて構成されている。
【００１６】
画像センサ３０は、車両４の周辺の画像を取得する機能を有している。画像センサ３０として、例えば単眼カメラが用いられる。画像センサ３０は、取得した画像の画像情報をＥＣＵ２へ出力する機能を有している。
【００１７】
測距センサ３１は、車両４の周辺に存在する物体候補までの距離を取得する機能を有している。例えば、車両４の周辺に電磁波を発信し反射波を受信して、車両４周辺の物体候補の有無を検知し、検知した物体候補までの距離情報、物体候補の幅情報、車両４と物体候補との相対速度等を取得する機能を有している。測距センサ３１として、例えばミリ波センサが用いられる。そして、測距センサ３１は、取得した情報をＥＣＵ２へ出力する機能を有している。
【００１８】
ＥＣＵ２は、領域抽出部２１、移動量取得部（移動量取得手段）２２、距離情報推定部（距離情報推定手段）２３及び物体検出部（物体検出手段）２４を備えており、移動量取得部２２、距離情報推定部２３及び物体検出部２４によって物体検出装置１が構成されている。
【００１９】
領域抽出部２１は、画像センサ３０により出力された画像から検出領域を抽出する機能を有している。領域抽出部２１は、例えば、測距センサ３１により出力された物体検知情報及び物体位置情報に基づいて、測距センサ３１により検知された物体候補が画像のどの領域に位置するのかを特定し、特定した領域（検出領域）を画像から抽出する機能を有している。この検出領域は、画像センサ３０により出力された画像全体又はその一部の領域である。そして、領域抽出部２１は、抽出した検出領域の画像を移動量取得部２２へ出力する機能を有している。
【００２０】
移動量取得部２２は、領域抽出部２１により出力された検出領域の画像に基づいて、物体候補のオプティカルフローを取得する機能を有している。例えば、移動量取得部２２は、連続的な検出領域の画像（フレーム）を取得し、二つのフレーム間における物体候補上の各点（各画素）の単位時間当たりの移動ベクトルを取得する機能を有している。さらに、移動量取得部２２は、検出領域全体の画素についてオプティカルフローを取得するのではなく、検出領域のうち下方領域の各画素についてオプティカルフローを取得する機能を有している。ここで、検出領域における下方領域とは、例えば、上下方向の中心位置が検出領域の上下方向の中心位置よりも下となる領域である。また、移動量取得部２２は、取得した物体候補の単位時間当たりの移動量（オプティカルフローの大きさ）を距離情報推定部２３及び物体検出部２４へ出力する機能を有している。
【００２１】
距離情報推定部２３は、移動量取得部２２により出力されたオプティカルフローの大きさから物体候補の移動量を算出し、物体候補の移動量と車両４の移動距離とに基づいて、車両４から物体候補までの距離情報を推定する機能を有している。また、距離情報推定部２３は、推定した物体候補までの推定距離情報を物体検出部２４へ出力する機能を有している。
【００２２】
物体検出部２４は、移動量取得部２２により出力されたオプティカルフローの大きさに基づいて物体を検出する機能を有している。例えば、物体検出部２４は、物体候補のオプティカルフローの大きさが所定値より大きい場合には、物体候補を物体として検出する機能を有している。また、物体検出部２４は、画像情報から推定される物体候補までの距離情報と、実測の距離情報とを比較して画像から得られた情報の信頼性を確認する機能を有している。例えば、距離情報推定部２３により出力された推定距離情報と、測距センサ３１により出力された距離情報との差が所定値よりも大きい場合には、物体として検出しない機能を有している。そして、物体検出部２４は、認識結果を運転支援システム４０へ出力する機能を有している。
【００２３】
運転支援システム４０は、例えば警報装置、車両制御装置、乗員保護装置等を備えている。運転支援システム４０は、物体検出部２４が出力した物体検知情報に基づいて、例えば車両制御や警報等を行う運転支援機能を有している。
【００２４】
次に、本実施形態に係る物体検出装置１の動作について図２を用いて説明する。図２は、本実施形態に係る物体検出装置１の動作を示すフローチャートである。また、図３は、本実施形態に係る物体検出装置１の動作を説明するための概要図である。なお、以下では、説明理解の容易性を考慮し、車両４が走行しながら物体検知する場合において、検出する物体を歩行者Ｐとした場合を説明する。
【００２５】
図２に示す制御処理は、例えばイグニッションオンされてから所定のタイミングで繰り返し実行される。図２に示す制御処理が開始されると、物体検出装置１は、情報入力処理を開始する（Ｓ１０）。Ｓ１０の処理は、領域抽出部２１が実行し、例えば、画像センサ３０により出力された図３の（ａ）に示す画像を入力すると共に、測距センサ３１が出力した物体候補の情報を入力する処理である。Ｓ１０の処理が終了すると、領域抽出処理へ移行する（Ｓ１２）。
【００２６】
Ｓ１２の処理は、領域抽出部２１が実行し、Ｓ１０の処理で入力した画像情報から画像領域を抽出する処理である。領域抽出部２１は、例えば、Ｓ１０の処理で入力した物体候補の情報に基づいて、測距センサ３１により物体候補が存在すると判定された領域周辺を検出領域として抽出する。例えば、図３の（ａ）に示す画像内において、測距センサ３１により物体候補Ｐ，Ｑ１，Ｑ２が存在すると判定された場合には、物体候補Ｐ，Ｑ１，Ｑ２の周辺の画像領域（検出領域）Ｄ１を抽出する。検出領域Ｄ１として、例えば図３の（ｂ）に示す領域が抽出される。ここで、領域抽出部２１が抽出する検出領域Ｄ１の大きさは、予め定めた大きさの領域であってもよいし、測距センサ３１が出力した物体の幅情報に応じて設定してもよい。Ｓ１２の処理が終了すると、移動量算出処理へ移行する（Ｓ１４）。
【００２７】
Ｓ１４の処理は、移動量取得部２２が実行し、Ｓ１２の処理で抽出した検出領域Ｄ１の下方領域Ｄ２における物体候補の移動量を取得する処理である。まず、移動量取得部２２は、検出領域Ｄ１の下方領域Ｄ２を、その中心が検出領域Ｄ１の中心よりも下方になるように設定する。下方領域Ｄ２の詳細位置や大きさは、例えばＳ１０の処理で入力した物体候補までの距離情報に応じて設定する。例えば、物体候補までの距離が遠い程、物体と背景との区別がつきにくくなるので、より下方となる領域を下方領域Ｄ２として設定する。その後、移動量取得部２２は、時間的に連続する検出領域Ｄ１の下方領域Ｄ２の画像を入力し、例えば照合法や勾配法等により、各物体候補のオプティカルフローを算出する。例えば、図３の（ｂ）に示すように、物体候補Ｐ，Ｑ１，Ｑ２のそれぞれに対してオプティカルフローを算出する。Ｓ１４の処理が終了すると、距離情報推定処理へ移行する（Ｓ１６）。
【００２８】
Ｓ１６の処理は、距離情報推定部２３が実行し、Ｓ１４の処理で生成した物体候補のオプティカルフローに基づいて、車両４から物体候補までの距離情報を推定する処理である。例えば、距離情報推定部２３は、物体候補のオプティカルフローと、車両４の単位時間当たりの移動量とを用いて三角測量等により物体候補までの距離を推定する。Ｓ１６の処理が終了すると、物体検出処理へ移行する（Ｓ１８）。
【００２９】
Ｓ１８の処理は、物体検出部２４が実行し、Ｓ１４の処理で生成したオプティカルフローの大きさに基づいて物体を検知する処理である。背景を示す物体候補のオプティカルフローは、車両４から遠い地点に存在するため小さくなる傾向にあり、他方、物体を示す物体候補のオプティカルフローは、車両４から近い地点に存在するため大きくなる傾向にある。このため、物体検出部２４は、各物体候補Ｐ，Ｑ１，Ｑ２のオプティカルフローの大きさが所定値よりも大きいか否かをそれぞれ判定し、所定値よりも大きい物体候補の場合には、その物体候補を物体として検出する。他方、所定値よりも大きくない場合には、その物体候補を物体としては検出せず、背景として認識する。判定に用いる所定値は、測距センサ３１により取得した物体候補までの距離情報や車両４の速度等に基づいて適宜設定すればよい。
【００３０】
また、物体検出部２４は、画像から得られた情報の信頼性を確認するために、Ｓ１６の処理で取得した物体候補までの推定距離情報と、測距センサ３１により取得した物体候補までの距離情報とを比較する。比較により、ある物体候補について、推定距離情報と測定距離情報とに大きな差がある場合（例えば、差が１０％以上の場合等）には、画像から得られた情報の信頼性が低いものとして、当該物体候補を物体としては検知せず、背景として認識する。Ｓ１８の処理が終了すると、図２に示す制御処理を終了する。
【００３１】
以上で物体検出装置１の動作の説明を終了する。図２に示す制御処理を行うことで、物体検出装置１は、物体候補のオプティカルフローの大きさを用いて物体であるか否かを判定することができるので、画像の背景と物体とを容易に分離して検出することができる。
【００３２】
従来であれば、例えば、図４に示すように、画像情報を取得し（図４の（ａ））、検出領域Ｄ１を抽出し（図４の（ｂ））、抽出した検出領域Ｄ１のエッジ画像からエッジヒストグラムを生成し（図４の（ｃ））、生成したエッジヒストグラムに基づいて物体検知を行う。しかしながら、エッジ情報のみでは、静止又は低速移動している歩行者Ｐと背景Ｑ１，Ｑ２とを区別することが困難である。また、オプティカルフローを用いて物体検出する際にも、ベクトル（向き）情報を特徴量として検出しているため、静止又は低速移動している歩行者Ｐは背景Ｑ１，Ｑ２と同様のベクトル情報となることから背景と物体とを分離することが困難である。
【００３３】
これに対して、物体検出装置１は、物体候補までの距離の違いがオプティカルフローの大きさに表れる点に着目して物体検出する。物体候補のうち、静止又は低速移動している歩行者Ｐと、その歩行者Ｐ周辺に存在する背景Ｑ１，Ｑ２とは距離が離れているため、歩行者Ｐと背景Ｑ１，Ｑ２とでは所定期間の移動量が大きく異なる。よって、物体候補Ｐ，Ｑ１，Ｑ２のオプティカルフローの大きさに基づいて、歩行者Ｐを正確に物体として検出することができる。よって、正確な物体検出情報に基づいて運転支援システム４０が運転支援することにより、より走行の安全性を向上させることができる。
【００３４】
上述した通り、本実施形態の物体検出装置１によれば、オプティカルフローを取得し、その大きさが所定値以上の場合には物体として検出する。背景を示す物体候補Ｑ１，Ｑ２のオプティカルフローは、遠い地点に存在するため小さくなる傾向にあり、他方、物体を示す物体候補Ｐのオプティカルフローは、近い地点に存在するため大きくなる傾向にある。このため、物体候補のオプティカルフローの大きさに基づいて、容易に物体と背景とを分離して検出することができる。
【００３５】
また、本実施形態の物体検出装置１によれば、物体候補Ｐ，Ｑ１，Ｑ２のオプティカルフローから推定される距離情報と、測距センサ３１で測定した物体候補の距離情報とを比較し、差が大きい場合には物体として検出しない構成とすることで、画像から得られた情報の信頼性を確認することができる。このため、より正確に物体と背景とを分離することが可能となる。
【００３６】
さらに、本実施形態の物体検出装置１によれば、画像から検出領域を抽出し、抽出した検出領域の下方領域の物体候補のオプティカルフローを用いて物体検出をすることができる。背景を示す物体候補Ｑ１，Ｑ２は遠い地点に存在するため画像の上方領域のみに集中する傾向にあり、他方、物体を示す物体候補Ｐは近い地点に存在するため画像の上方領域のみならず下方領域にも存在する傾向にある。このため、検出領域Ｄ１の下方領域Ｄ２にある物体候補Ｐ，Ｑ１，Ｑ２のオプティカルフローに基づいて物体を検出することにより、背景の影響が少ない領域を処理対象とすることができるので、より正確に物体と背景とを分離することが可能となる。さらに、処理対象の領域を限定することにより、少ない計算量で物体と背景とを分離して検出することができる。
【００３７】
なお、上述した実施形態は本発明に係る物体検出装置の一例を示すものである。本発明に係る物体検出装置は、この実施形態に係る物体検出装置に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る物体検出装置を変形し、又は他のものに適用したものであってもよい。
【００３８】
例えば、上記実施形態では、画像情報の信頼性を確認するために距離情報推定部２３を備えた例を説明したが、距離情報推定部２３は必ずしも備える必要は無く、車両に要求される性能を考慮して、個々の車両ごとに適宜備えればよい。
【００３９】
また、上記実施形態では、検出領域Ｄ１の下方領域Ｄ２における物体候補についてオプティカルフローを算出する例を説明したが、検出領域Ｄ１の全体領域における物体候補についてオプティカルフローを算出する構成としてもよい。
【図面の簡単な説明】
【００４０】
【図１】本実施形態に係る物体検出装置を備えた車両の構成概要を示すブロック図である。
【図２】図１の物体検出装置の動作を示すフローチャートである。
【図３】図１の物体検出装置の動作を説明する概要図である。
【図４】従来の物体検出装置の動作を説明する概要図である。
【符号の説明】
【００４１】
１…物体検出装置、２…ＥＣＵ、２１…領域抽出部、２２…移動量取得部（移動量取得手段）、２３…距離情報推定部（距離情報推定手段）、２４…物体検出部（物体検出手段）、３０…画像センサ、３１…測距センサ、４…車両、４０…運転支援システム。
【技術分野】
【０００１】
本発明は、物体を検出する物体検出装置に関するものである。
【背景技術】
【０００２】
従来、物体を検出する装置として、例えば、撮像した画像情報に基づいて物体を検知するものが知られている（例えば、特許文献１参照）。この装置は、画像中の各点の動きを表す動きベクトル（オプティカルフロー）を抽出し、移動物体の動きの消失点と、移動観測系の自己移動による動きの消失点との位置が異なることを利用して、背景とは独立して移動する移動物体と背景とを分離する装置である。
【特許文献１】特開２００４−２２００５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の物体検出装置にあっては、例えば静止物体である場合には、オプティカルフローが背景と同様となるため、物体であるのか背景であるのかを認識することができない。
【０００４】
そこで、本発明はこのような技術課題を解決するためになされたものであって、画像の背景と物体とを容易に分離して検出することができる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
すなわち、本発明に係る物体検出装置は、車両周辺を繰り返し撮像した画像に基づいて物体を検出する物体検出装置であって、前記画像から物体候補の移動量を取得する移動量取得手段と、前記移動量の大きさが所定値以上の場合には、前記物体候補を物体として検出する物体検出手段とを備えて構成される。
【０００６】
この発明によれば、物体候補の移動量、例えば単位時間当たりの移動ベクトル（オプティカルフロー）を取得し、その大きさが所定値以上の場合には物体として検出する。背景を示す物体候補のオプティカルフローは、遠い地点に存在するため小さくなる傾向にあり、他方、物体を示す物体候補のオプティカルフローは、近い地点に存在するため大きくなる傾向にある。このため、物体候補のオプティカルフローの大きさに基づいて、容易に物体と背景とを分離して検出することができる。
【０００７】
ここで、物体検出装置は、車両周辺に電波を発信し、反射波を受信して物体の距離情報を取得する距離情報取得手段と、前記物体候補の移動量の大きさから前記物体候補の距離情報を推定する距離情報推定手段と、を備え、前記物体検出手段は、前記距離情報取得手段により取得した距離情報と前記距離推定手段により推定した距離情報とを比較して、その差が大きい場合には物体として検出しないことが好適である。
【０００８】
このように、物体候補のオプティカルフローから推定される距離情報と、測定した物体候補の距離情報とを比較し、差が大きい場合には物体として検出しない構成とすることで、画像から得られた情報の信頼性を確認することができる。このため、より正確に物体と背景とを分離することが可能となる。
【０００９】
また、物体検出装置において、前記物体候補情報抽出手段は、前記画像から検出領域を抽出し、前記検出領域の下方領域の前記物体候補の移動量を抽出することが好適である。
【００１０】
このよう構成することで、画像から検出領域を抽出し、抽出した検出領域の下方領域の物体候補のオプティカルフローを用いて物体検出をすることができる。背景を示す物体情報は遠い地点に存在するため画像の上方領域のみに集中する傾向にあり、他方、物体を示す物体情報は近い地点に存在するため画像の上方領域のみならず下方領域にも存在する傾向にある。このため、検出領域の下方領域にある物体候補のオプティカルフローに基づいて物体を検出することにより、さらに容易に物体と背景とを分離して検出することができる。
【発明の効果】
【００１１】
本発明によれば、画像の背景と物体とを容易に分離して検出することができる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
【００１３】
本実施形態に係る物体検出装置は、車両周辺の物体を検出する装置であって、例えば、プリクラッシュセーフティシステムやＡＣＣ（Adaptive Cruise Control）等、走行の安全性を向上させる運転支援システムを搭載した車両に好適に採用されるものである。
【００１４】
最初に、本実施形態に係る物体検出装置の構成を説明する。図１は本発明の実施形態に係る物体検出装置を備えた車両の構成を示すブロック図である。
【００１５】
車両４は、画像センサ３０、測距センサ（距離情報取得手段）３１、ＥＣＵ（Electronic Control Unit）２及び運転支援システム４０を備えている。ここで、ＥＣＵとは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（CentralProcessing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び入出力インターフェイスなどを備えて構成されている。
【００１６】
画像センサ３０は、車両４の周辺の画像を取得する機能を有している。画像センサ３０として、例えば単眼カメラが用いられる。画像センサ３０は、取得した画像の画像情報をＥＣＵ２へ出力する機能を有している。
【００１７】
測距センサ３１は、車両４の周辺に存在する物体候補までの距離を取得する機能を有している。例えば、車両４の周辺に電磁波を発信し反射波を受信して、車両４周辺の物体候補の有無を検知し、検知した物体候補までの距離情報、物体候補の幅情報、車両４と物体候補との相対速度等を取得する機能を有している。測距センサ３１として、例えばミリ波センサが用いられる。そして、測距センサ３１は、取得した情報をＥＣＵ２へ出力する機能を有している。
【００１８】
ＥＣＵ２は、領域抽出部２１、移動量取得部（移動量取得手段）２２、距離情報推定部（距離情報推定手段）２３及び物体検出部（物体検出手段）２４を備えており、移動量取得部２２、距離情報推定部２３及び物体検出部２４によって物体検出装置１が構成されている。
【００１９】
領域抽出部２１は、画像センサ３０により出力された画像から検出領域を抽出する機能を有している。領域抽出部２１は、例えば、測距センサ３１により出力された物体検知情報及び物体位置情報に基づいて、測距センサ３１により検知された物体候補が画像のどの領域に位置するのかを特定し、特定した領域（検出領域）を画像から抽出する機能を有している。この検出領域は、画像センサ３０により出力された画像全体又はその一部の領域である。そして、領域抽出部２１は、抽出した検出領域の画像を移動量取得部２２へ出力する機能を有している。
【００２０】
移動量取得部２２は、領域抽出部２１により出力された検出領域の画像に基づいて、物体候補のオプティカルフローを取得する機能を有している。例えば、移動量取得部２２は、連続的な検出領域の画像（フレーム）を取得し、二つのフレーム間における物体候補上の各点（各画素）の単位時間当たりの移動ベクトルを取得する機能を有している。さらに、移動量取得部２２は、検出領域全体の画素についてオプティカルフローを取得するのではなく、検出領域のうち下方領域の各画素についてオプティカルフローを取得する機能を有している。ここで、検出領域における下方領域とは、例えば、上下方向の中心位置が検出領域の上下方向の中心位置よりも下となる領域である。また、移動量取得部２２は、取得した物体候補の単位時間当たりの移動量（オプティカルフローの大きさ）を距離情報推定部２３及び物体検出部２４へ出力する機能を有している。
【００２１】
距離情報推定部２３は、移動量取得部２２により出力されたオプティカルフローの大きさから物体候補の移動量を算出し、物体候補の移動量と車両４の移動距離とに基づいて、車両４から物体候補までの距離情報を推定する機能を有している。また、距離情報推定部２３は、推定した物体候補までの推定距離情報を物体検出部２４へ出力する機能を有している。
【００２２】
物体検出部２４は、移動量取得部２２により出力されたオプティカルフローの大きさに基づいて物体を検出する機能を有している。例えば、物体検出部２４は、物体候補のオプティカルフローの大きさが所定値より大きい場合には、物体候補を物体として検出する機能を有している。また、物体検出部２４は、画像情報から推定される物体候補までの距離情報と、実測の距離情報とを比較して画像から得られた情報の信頼性を確認する機能を有している。例えば、距離情報推定部２３により出力された推定距離情報と、測距センサ３１により出力された距離情報との差が所定値よりも大きい場合には、物体として検出しない機能を有している。そして、物体検出部２４は、認識結果を運転支援システム４０へ出力する機能を有している。
【００２３】
運転支援システム４０は、例えば警報装置、車両制御装置、乗員保護装置等を備えている。運転支援システム４０は、物体検出部２４が出力した物体検知情報に基づいて、例えば車両制御や警報等を行う運転支援機能を有している。
【００２４】
次に、本実施形態に係る物体検出装置１の動作について図２を用いて説明する。図２は、本実施形態に係る物体検出装置１の動作を示すフローチャートである。また、図３は、本実施形態に係る物体検出装置１の動作を説明するための概要図である。なお、以下では、説明理解の容易性を考慮し、車両４が走行しながら物体検知する場合において、検出する物体を歩行者Ｐとした場合を説明する。
【００２５】
図２に示す制御処理は、例えばイグニッションオンされてから所定のタイミングで繰り返し実行される。図２に示す制御処理が開始されると、物体検出装置１は、情報入力処理を開始する（Ｓ１０）。Ｓ１０の処理は、領域抽出部２１が実行し、例えば、画像センサ３０により出力された図３の（ａ）に示す画像を入力すると共に、測距センサ３１が出力した物体候補の情報を入力する処理である。Ｓ１０の処理が終了すると、領域抽出処理へ移行する（Ｓ１２）。
【００２６】
Ｓ１２の処理は、領域抽出部２１が実行し、Ｓ１０の処理で入力した画像情報から画像領域を抽出する処理である。領域抽出部２１は、例えば、Ｓ１０の処理で入力した物体候補の情報に基づいて、測距センサ３１により物体候補が存在すると判定された領域周辺を検出領域として抽出する。例えば、図３の（ａ）に示す画像内において、測距センサ３１により物体候補Ｐ，Ｑ１，Ｑ２が存在すると判定された場合には、物体候補Ｐ，Ｑ１，Ｑ２の周辺の画像領域（検出領域）Ｄ１を抽出する。検出領域Ｄ１として、例えば図３の（ｂ）に示す領域が抽出される。ここで、領域抽出部２１が抽出する検出領域Ｄ１の大きさは、予め定めた大きさの領域であってもよいし、測距センサ３１が出力した物体の幅情報に応じて設定してもよい。Ｓ１２の処理が終了すると、移動量算出処理へ移行する（Ｓ１４）。
【００２７】
Ｓ１４の処理は、移動量取得部２２が実行し、Ｓ１２の処理で抽出した検出領域Ｄ１の下方領域Ｄ２における物体候補の移動量を取得する処理である。まず、移動量取得部２２は、検出領域Ｄ１の下方領域Ｄ２を、その中心が検出領域Ｄ１の中心よりも下方になるように設定する。下方領域Ｄ２の詳細位置や大きさは、例えばＳ１０の処理で入力した物体候補までの距離情報に応じて設定する。例えば、物体候補までの距離が遠い程、物体と背景との区別がつきにくくなるので、より下方となる領域を下方領域Ｄ２として設定する。その後、移動量取得部２２は、時間的に連続する検出領域Ｄ１の下方領域Ｄ２の画像を入力し、例えば照合法や勾配法等により、各物体候補のオプティカルフローを算出する。例えば、図３の（ｂ）に示すように、物体候補Ｐ，Ｑ１，Ｑ２のそれぞれに対してオプティカルフローを算出する。Ｓ１４の処理が終了すると、距離情報推定処理へ移行する（Ｓ１６）。
【００２８】
Ｓ１６の処理は、距離情報推定部２３が実行し、Ｓ１４の処理で生成した物体候補のオプティカルフローに基づいて、車両４から物体候補までの距離情報を推定する処理である。例えば、距離情報推定部２３は、物体候補のオプティカルフローと、車両４の単位時間当たりの移動量とを用いて三角測量等により物体候補までの距離を推定する。Ｓ１６の処理が終了すると、物体検出処理へ移行する（Ｓ１８）。
【００２９】
Ｓ１８の処理は、物体検出部２４が実行し、Ｓ１４の処理で生成したオプティカルフローの大きさに基づいて物体を検知する処理である。背景を示す物体候補のオプティカルフローは、車両４から遠い地点に存在するため小さくなる傾向にあり、他方、物体を示す物体候補のオプティカルフローは、車両４から近い地点に存在するため大きくなる傾向にある。このため、物体検出部２４は、各物体候補Ｐ，Ｑ１，Ｑ２のオプティカルフローの大きさが所定値よりも大きいか否かをそれぞれ判定し、所定値よりも大きい物体候補の場合には、その物体候補を物体として検出する。他方、所定値よりも大きくない場合には、その物体候補を物体としては検出せず、背景として認識する。判定に用いる所定値は、測距センサ３１により取得した物体候補までの距離情報や車両４の速度等に基づいて適宜設定すればよい。
【００３０】
また、物体検出部２４は、画像から得られた情報の信頼性を確認するために、Ｓ１６の処理で取得した物体候補までの推定距離情報と、測距センサ３１により取得した物体候補までの距離情報とを比較する。比較により、ある物体候補について、推定距離情報と測定距離情報とに大きな差がある場合（例えば、差が１０％以上の場合等）には、画像から得られた情報の信頼性が低いものとして、当該物体候補を物体としては検知せず、背景として認識する。Ｓ１８の処理が終了すると、図２に示す制御処理を終了する。
【００３１】
以上で物体検出装置１の動作の説明を終了する。図２に示す制御処理を行うことで、物体検出装置１は、物体候補のオプティカルフローの大きさを用いて物体であるか否かを判定することができるので、画像の背景と物体とを容易に分離して検出することができる。
【００３２】
従来であれば、例えば、図４に示すように、画像情報を取得し（図４の（ａ））、検出領域Ｄ１を抽出し（図４の（ｂ））、抽出した検出領域Ｄ１のエッジ画像からエッジヒストグラムを生成し（図４の（ｃ））、生成したエッジヒストグラムに基づいて物体検知を行う。しかしながら、エッジ情報のみでは、静止又は低速移動している歩行者Ｐと背景Ｑ１，Ｑ２とを区別することが困難である。また、オプティカルフローを用いて物体検出する際にも、ベクトル（向き）情報を特徴量として検出しているため、静止又は低速移動している歩行者Ｐは背景Ｑ１，Ｑ２と同様のベクトル情報となることから背景と物体とを分離することが困難である。
【００３３】
これに対して、物体検出装置１は、物体候補までの距離の違いがオプティカルフローの大きさに表れる点に着目して物体検出する。物体候補のうち、静止又は低速移動している歩行者Ｐと、その歩行者Ｐ周辺に存在する背景Ｑ１，Ｑ２とは距離が離れているため、歩行者Ｐと背景Ｑ１，Ｑ２とでは所定期間の移動量が大きく異なる。よって、物体候補Ｐ，Ｑ１，Ｑ２のオプティカルフローの大きさに基づいて、歩行者Ｐを正確に物体として検出することができる。よって、正確な物体検出情報に基づいて運転支援システム４０が運転支援することにより、より走行の安全性を向上させることができる。
【００３４】
上述した通り、本実施形態の物体検出装置１によれば、オプティカルフローを取得し、その大きさが所定値以上の場合には物体として検出する。背景を示す物体候補Ｑ１，Ｑ２のオプティカルフローは、遠い地点に存在するため小さくなる傾向にあり、他方、物体を示す物体候補Ｐのオプティカルフローは、近い地点に存在するため大きくなる傾向にある。このため、物体候補のオプティカルフローの大きさに基づいて、容易に物体と背景とを分離して検出することができる。
【００３５】
また、本実施形態の物体検出装置１によれば、物体候補Ｐ，Ｑ１，Ｑ２のオプティカルフローから推定される距離情報と、測距センサ３１で測定した物体候補の距離情報とを比較し、差が大きい場合には物体として検出しない構成とすることで、画像から得られた情報の信頼性を確認することができる。このため、より正確に物体と背景とを分離することが可能となる。
【００３６】
さらに、本実施形態の物体検出装置１によれば、画像から検出領域を抽出し、抽出した検出領域の下方領域の物体候補のオプティカルフローを用いて物体検出をすることができる。背景を示す物体候補Ｑ１，Ｑ２は遠い地点に存在するため画像の上方領域のみに集中する傾向にあり、他方、物体を示す物体候補Ｐは近い地点に存在するため画像の上方領域のみならず下方領域にも存在する傾向にある。このため、検出領域Ｄ１の下方領域Ｄ２にある物体候補Ｐ，Ｑ１，Ｑ２のオプティカルフローに基づいて物体を検出することにより、背景の影響が少ない領域を処理対象とすることができるので、より正確に物体と背景とを分離することが可能となる。さらに、処理対象の領域を限定することにより、少ない計算量で物体と背景とを分離して検出することができる。
【００３７】
なお、上述した実施形態は本発明に係る物体検出装置の一例を示すものである。本発明に係る物体検出装置は、この実施形態に係る物体検出装置に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る物体検出装置を変形し、又は他のものに適用したものであってもよい。
【００３８】
例えば、上記実施形態では、画像情報の信頼性を確認するために距離情報推定部２３を備えた例を説明したが、距離情報推定部２３は必ずしも備える必要は無く、車両に要求される性能を考慮して、個々の車両ごとに適宜備えればよい。
【００３９】
また、上記実施形態では、検出領域Ｄ１の下方領域Ｄ２における物体候補についてオプティカルフローを算出する例を説明したが、検出領域Ｄ１の全体領域における物体候補についてオプティカルフローを算出する構成としてもよい。
【図面の簡単な説明】
【００４０】
【図１】本実施形態に係る物体検出装置を備えた車両の構成概要を示すブロック図である。
【図２】図１の物体検出装置の動作を示すフローチャートである。
【図３】図１の物体検出装置の動作を説明する概要図である。
【図４】従来の物体検出装置の動作を説明する概要図である。
【符号の説明】
【００４１】
１…物体検出装置、２…ＥＣＵ、２１…領域抽出部、２２…移動量取得部（移動量取得手段）、２３…距離情報推定部（距離情報推定手段）、２４…物体検出部（物体検出手段）、３０…画像センサ、３１…測距センサ、４…車両、４０…運転支援システム。
【特許請求の範囲】
【請求項１】
車両周辺を繰り返し撮像した画像に基づいて物体を検出する物体検出装置であって、
前記画像から物体候補の移動量を取得する移動量取得手段と、
前記移動量の大きさが所定値以上の場合には、前記物体候補を物体として検出する物体検出手段と、
を備えることを特徴とする物体検出装置。
【請求項２】
車両周辺に電波を発信し、反射波を受信して物体の距離情報を取得する距離情報取得手段と、
前記物体候補の移動量の大きさから前記物体候補の距離情報を推定する距離情報推定手段と、
を備え、
前記物体検出手段は、前記距離情報取得手段により取得した距離情報と前記距離推定手段により推定した距離情報とを比較して、その差が大きい場合には物体として検出しないこと、
を特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記物体候補情報抽出手段は、前記画像から検出領域を抽出し、前記検出領域の下方領域の前記物体候補の移動量を抽出すること、
を特徴とする請求項１又は２に記載の物体検出装置。
【請求項４】
前記移動量取得手段は、前記物体候補のオプティカルフローを取得することを特徴とする請求項１〜３の何れか一項に記載の物体検出装置。
【請求項１】
車両周辺を繰り返し撮像した画像に基づいて物体を検出する物体検出装置であって、
前記画像から物体候補の移動量を取得する移動量取得手段と、
前記移動量の大きさが所定値以上の場合には、前記物体候補を物体として検出する物体検出手段と、
を備えることを特徴とする物体検出装置。
【請求項２】
車両周辺に電波を発信し、反射波を受信して物体の距離情報を取得する距離情報取得手段と、
前記物体候補の移動量の大きさから前記物体候補の距離情報を推定する距離情報推定手段と、
を備え、
前記物体検出手段は、前記距離情報取得手段により取得した距離情報と前記距離推定手段により推定した距離情報とを比較して、その差が大きい場合には物体として検出しないこと、
を特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記物体候補情報抽出手段は、前記画像から検出領域を抽出し、前記検出領域の下方領域の前記物体候補の移動量を抽出すること、
を特徴とする請求項１又は２に記載の物体検出装置。
【請求項４】
前記移動量取得手段は、前記物体候補のオプティカルフローを取得することを特徴とする請求項１〜３の何れか一項に記載の物体検出装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００９−２３０２２９（Ｐ２００９−２３０２２９Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７１８９６（Ｐ２００８−７１８９６）
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]