物体検出装置および物体検出方法
【課題】画像における検出対象の検出の精度を向上させることを課題とする。
【解決手段】画像センサー３１によって撮像された画像情報に含まれる検出対象を検出する物体検出装置１に、画像情報に含まれる特徴点毎の実際のオプティカルフローを取得するオプティカルフロー取得部２７と、ミリ波レーダー３２によって測定された、ミリ波レーダー３２と検出対象との間の距離および相対速度に係る情報を取得する距離・速度取得部２１と、検出対象が画像センサー３１によって撮像されたと仮定した場合のオプティカルフローの理論値を、距離および相対速度に係る情報に基づいて算出する理論値算出部２６と、特徴点毎の実際のオプティカルフローと理論値とを比較し、実際のオプティカルフローが理論値に一致または近似する特徴点を、端点候補として抽出する検出対象抽出部２８と、を備えた。
【解決手段】画像センサー３１によって撮像された画像情報に含まれる検出対象を検出する物体検出装置１に、画像情報に含まれる特徴点毎の実際のオプティカルフローを取得するオプティカルフロー取得部２７と、ミリ波レーダー３２によって測定された、ミリ波レーダー３２と検出対象との間の距離および相対速度に係る情報を取得する距離・速度取得部２１と、検出対象が画像センサー３１によって撮像されたと仮定した場合のオプティカルフローの理論値を、距離および相対速度に係る情報に基づいて算出する理論値算出部２６と、特徴点毎の実際のオプティカルフローと理論値とを比較し、実際のオプティカルフローが理論値に一致または近似する特徴点を、端点候補として抽出する検出対象抽出部２８と、を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を検出するための技術に関する。
【背景技術】
【０００２】
従来、画像から検出したピークの位置と、レーザレーダの反射点の位置とを照合して、先行車両の両端位置を決定する技術がある（特許文献１を参照）。
【０００３】
また、レーダーを用いて検出点を取得し、更にこの検出点のオプティカルフローを算出して、同じ方向に同じ量だけ移動している検出点を、同一の物体に係る検出点として抽出する技術があり（特許文献２を参照）、エッジヒストグラムから車両の候補としての矩形領域を選定し、選定した矩形領域の夫々についてその内部におけるオプティカルフローの整合性の有無を判断し、整合性がある矩形領域を先行車両であると判定する技術がある（特許文献３を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５７８７５号公報
【特許文献２】特開２００９−１９２４３０号公報
【特許文献３】特開平１１−０５３６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来、車載カメラやレーダー装置を用いて他の車両等の検出対象（例えば、道路上の立体物）を検知することが行われている。このような物体検出では、車載カメラによって撮像された画像において検出対象が占める範囲を特定するために、画像中の検出対象の端点（例えば、左右の端点）の検出が行われる。そして、従来、端点の検出には、車載カメラによって撮像された画像からエッジ（特徴点）を検知して端点とする方法等が用いられている。
【０００６】
しかし、一般に画像は対象までの距離情報を有さないため、検出されたエッジが検出対象のものであるか背景のものであるかを識別することは困難である。このため、従来の端点検出方法では、画像に映っている背景等のエッジを、検出対象であると誤検出し、検出対象がない場所に検出対象の端点があると誤判定する虞があった。また、一旦間違って背景のエッジを検出対象のエッジであると誤検出してしまうと、誤った対象検出パターンを保持してしまい、実際に検出対象が画像中に入ってきた場合に、検出対象が検出されない虞がある。
【０００７】
本発明は、上記した問題に鑑み、画像における検出対象の検出の精度を向上させることを課題とする。
【課題を解決するための手段】
【０００８】
本発明は、上記した課題を解決するために、画像から得られた実際のオプティカルフローと、検出対象に対する距離および相対速度から算出されたオプティカルフローの理論値と、を比較することで、画像における検出対象の検出の精度を向上させることを可能とした。
【０００９】
詳細には、本発明は、撮像装置によって撮像された画像情報に含まれる検出対象を検出
する物体検出装置であって、前記画像情報における、該画像情報に含まれる特徴点毎の実際のオプティカルフローを取得するオプティカルフロー取得手段と、測定装置によって測定された、該測定装置と前記検出対象との間の距離および相対速度に係る情報を取得する距離・速度取得手段と、前記距離・速度取得手段によって取得された情報に係る検出対象が前記撮像装置によって撮像されたと仮定した場合のオプティカルフローの理論値を、前記距離および相対速度に係る情報に基づいて算出する理論値算出手段と、前記オプティカルフロー取得手段によって取得された前記特徴点毎の実際のオプティカルフローと、前記理論値とを比較し、前記実際のオプティカルフローが前記理論値に一致または近似する特徴点を、前記検出対象上の点として抽出する検出対象抽出手段と、を備える、物体検出装置である。
【００１０】
ここで、検出対象とは、画像センサー等の撮像装置を用いて撮像された画像情報に含まれる、何らかの物体（立体物）である。特に、物体検出装置が車載されて用いられる場合には、車両の運航、制御のために周辺情報として検出すべき物体が、検出対象として検出される。
【００１１】
本発明に係る物体検出装置は、画像情報に基づく実際のオプティカルフローと、オプティカルフローの理論値を算出するために必要な検出対象との間の距離・相対速度情報とを取得する。ここで、「取得」とは、目的となるパラメータ等を得ることを意味しており、物体検出装置に測定または算出のための装置を備えることで自ら取得する場合に限られず、外部に接続等された装置によって測定または算出された結果のみを取得する場合や、外部に接続等された装置による測定等の結果を用いて算出する場合等も含む。
【００１２】
また、本発明では、距離・速度取得手段によって測定装置と検出対象との間の距離および相対速度に係る情報が取得されるが、ここで取得される情報は、必ずしも距離および相対速度そのものである必要はなく、検出対象との間の、単位時間当たりの距離の変化が把握可能な情報であればよい。例えば、距離・速度取得手段は、距離および相対速度に係る情報として、複数の異なる時刻に係る距離を取得することとしてもよい。
【００１３】
本発明は、画像情報に基づくオプティカルフロー（実際のオプティカルフロー）と、検出対象に対する距離および相対速度から算出されたオプティカルフローの理論値と、を比較することで、実際のオプティカルフローが、距離および相対速度に係る検出対象に係るものであるか否かを判断する。即ち、実際のオプティカルフローが理論値に一致または近似している場合、理論値に一致または近似する実際のオプティカルフローに係る特徴点は、距離および相対速度が取得された検出対象の特徴点であると判断することが出来る。反対に、実際のオプティカルフローが理論値に一致も近似もしない場合、理論値に一致も近似もしない実際のオプティカルフローに係る特徴点は、距離および相対速度が取得された検出対象の特徴点ではないと判断することが出来る。本発明によれば、このような検出対象抽出を行うことによって、画像における対象の検出精度を向上させることを可能にしている。
【００１４】
また、本発明に係る物体検出装置は、前記画像情報に含まれる特徴点のうち、特に周辺との差分が大きいピークを基準に、前記検出対象抽出手段による比較の対象となる比較領域を設定する比較領域設定手段を更に備え、前記検出対象抽出手段は、前記比較領域における前記実際のオプティカルフローが前記理論値に一致または近似する場合に、該比較領域に含まれる前記ピークを、前記検出対象上の点として抽出してもよい。
【００１５】
撮像された画像には、検出対象の他に、背景や、検出対象以外の移動物体等が映り込んでおり、また、画像情報には多くの特徴点が含まれる。このため、特徴点のうち特に周辺との差分が大きいピークを抽出し、このピークの周辺を比較領域として設定した上で、比
較領域内のオプティカルフローの判定処理を行うことで、多くの特徴点を有する画像情報が取得される場合にも、より正確に対象物上の点を抽出することが可能となる。
【００１６】
より具体的には、比較領域設定手段は、例えば、画像情報を構成する画素の情報を用いて作成されたヒストグラムを参照することでピークを抽出し、抽出されたピークの周辺を、比較領域として設定する。
【００１７】
また、本発明に係る物体検出装置は、前記比較領域内に、該比較領域よりも狭い部分領域を設定する部分領域設定手段を更に備え、前記検出対象抽出手段は、前記比較領域に、前記実際のオプティカルフローが前記理論値に一致または近似する前記部分領域が存在する場合に、該比較領域に含まれる前記ピークを、前記検出対象上の点として抽出してもよい。
【００１８】
比較領域内には、検出対象に係る特徴点と、背景等に係る特徴点とが混在する場合がある。この場合、背景等に係る特徴点のオプティカルフローは、オプティカルフローの理論値に一致又は近似しないため、検出対象に係る特徴点が比較領域に含まれているにも拘らず、比較領域に係るピークが検出対象上の点ではないと誤判定してしまう虞がある。本発明では、比較領域内に、より小さな部分領域を設定して判定を行うことで、比較領域内に背景に係る特徴点等が混在しているような場合であっても、誤判定の確率を低減し、正確に検出対象の点を抽出することが出来る。
【００１９】
なお、本発明において、前記部分領域設定手段は、前記比較領域を分割することで、前記部分領域を設定してもよいし、前記部分領域設定手段は、前記検出対象抽出手段による比較処理の都度、異なる領域を前記部分領域として設定してもよい。
【００２０】
また、本発明に係る物体検出装置は、前記検出対象抽出手段によって抽出された前記検出対象上の点のうち、最も外側にある２点を、前記検出対象の両端点として設定する端点設定手段を更に備えてもよい。
【００２１】
このような端点設定手段を更に備えることで、本発明によれば、画像情報における検出対象の端点を正確に検出し、画像情報において検出対象が占める範囲を正確に特定することが可能となる。
【００２２】
また、本発明は、物体検出方法、物体検出用プログラム、およびこの物体検出用プログラムが記録されたコンピュータ読み取り可能な記録媒体の発明としても把握することが可能である。例えば、本発明は、撮像装置によって撮像された画像情報に含まれる検出対象を検出する物体検出方法であって、前記画像情報における、該画像情報に含まれる特徴点毎の実際のオプティカルフローを取得するオプティカルフロー取得ステップと、測定装置によって測定された、該測定装置と前記検出対象との間の距離および相対速度を取得する距離・速度取得ステップと、前記距離・速度取得ステップにおいて取得された情報に係る検出対象が前記撮像装置によって撮像されたと仮定した場合のオプティカルフローの理論値を、前記距離および相対速度に基づいて算出する理論値算出ステップと、前記オプティカルフロー取得ステップにおいて取得された前記特徴点毎の実際のオプティカルフローと、前記理論値とを比較し、前記実際のオプティカルフローが前記理論値に一致または近似する特徴点を、前記検出対象上の点として抽出する検出対象抽出ステップと、を備える、物体検出方法である。
【発明の効果】
【００２３】
本発明によれば、画像における検出対象の検出の精度を向上させることが可能である。
【図面の簡単な説明】
【００２４】
【図１】実施形態に係る物体検出装置のハードウェア構成の概略を示す図である。
【図２】実施形態に係る物体検出装置の機能構成の概略を示す図である。
【図３Ａ】実施形態に係る物体検出処理の流れを示す図である。
【図３Ｂ】実施形態に係る物体検出処理の流れを示す図である。
【図４】実施形態において、ミリ波レーダーによって検出対象が検出される様子を示した図である。
【図５】実施形態において、画像センサーによって撮像された画像情報を示す図である。
【図６】実施形態におけるエッジヒストグラム作成、およびエッジヒストグラムに基づいて抽出された特徴点を示す図である。
【図７】実施形態において、画像情報から得られたオプティカルフローとオプティカルフローの理論値との比較方法を示す図である。
【図８】実施形態において相対横速度を有する検出対象が検出される場合の処理方法の概要を示す図である。
【図９】実施形態に係る物体検出装置の機能構成の概略を示す図である。
【図１０】実施形態に係る物体検出処理の流れを示す図である。
【図１１】実施形態において、比較領域が更に分割されることで設定された部分領域を示す図である。
【発明を実施するための形態】
【００２５】
以下、本発明に係る物体検出装置の実施の形態について、図面に基づいて説明する。本実施形態では、物体検出装置を車載し、車両周辺の物体を検出する用途に用いる場合について説明する。検出結果は、例えば車両の衝突回避制御等の目的に用いることが出来る。但し、本発明に係る物体検出装置は、車載用途以外の用途、例えば、車両以外の移動体に搭載される等の様々な用途に用いられてよい。
【００２６】
＜第一の実施形態＞
図１は、本実施形態に係る物体検出装置１のハードウェア構成の概略を示す図である。物体検出装置１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４、電子制御ユニット（以下、「ＥＣＵ」と称する）１１、および補助記憶装置１３を備え、これらがバス等を介して電気的に接続された情報処理装置である。ここで、ＥＣＵ１１は、ＲＡＭ１２等に展開された命令およびデータを処理することで物体検出装置１を制御する。また、補助記憶装置１３には、ＲＡＭ１２にロードされる各種プログラム等物体検出装置１によって使用される各種データが記憶される。補助記憶装置１３としては、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ
Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）やＨＤＤ（Ｈａｒｄ
Ｄｉｓｋ Ｄｒｉｖｅ）等を用いることが出来る。
【００２７】
また、物体検出装置１には、車両周辺監視用の画像センサー３１と、検出対象までの距離および検出対象との相対速度を検出可能なミリ波レーダー３２と、が電気的に接続されている。画像センサー３１は、車両に搭載され、車両周辺を撮像する撮像装置であり、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーが搭載されていることで、周辺の様子を撮像することが出来る。
【００２８】
また、本実施形態では、検出対象までの距離および検出対象との相対速度を検出するための装置としてミリ波レーダー３２を採用しているが、検出対象に対する距離および相対速度を検出するための装置としては、ミリ波レーダー３２以外のレーダー等、その他の距離・相対速度測定装置が用いられてもよい。なお、本実施形態では、ミリ波レーダー３２
によって検出される検出対象の方向、検出対象までの距離、および検出対象との相対速度を含む情報を、ミリ波情報と称する。
【００２９】
図２は、本実施形態に係る物体検出装置１の機能構成の概略を示す図である。本実施形態に係る物体検出装置１は、ＲＡＭ１２又はＲＯＭ１４に展開された物体検出用プログラムをＥＣＵ１１が解釈および実行することで、距離・速度取得部２１、画像情報取得部２２、処理領域設定部２３、特徴点抽出部２４、比較領域設定部２５、理論値算出部２６、オプティカルフロー取得部２７、検出対象抽出部２８、および端点設定部２９を備える物体検出装置１として機能する。
【００３０】
距離・速度取得部２１は、ミリ波レーダー３２によって測定された、ミリ波レーダー３２または物体検出装置１から見た検出対象の方向と、ミリ波レーダー３２または物体検出装置１から検出対象までの距離と、ミリ波レーダー３２または物体検出装置１に対する検出対象の相対速度と、を含むミリ波情報を取得する。
【００３１】
画像情報取得部２２は、物体検出装置１に接続された画像センサー３１から、画像センサー３１によって撮像された車両周辺の画像情報を取得する。本実施形態では、画像情報取得部２２によって取得される画像情報は、画素の集合によって構成される画像を表示するための情報であって、後述するヒストグラムを作成するための輝度情報等を含む。
【００３２】
処理領域設定部２３は、取得されたミリ波情報に基づいて、処理領域を設定する。ここで、処理領域とは、画像情報中の、物体検出処理の対象となる領域であり、後述する比較領域等は、ここで設定された処理領域において更にオプティカルフローの比較対象となる領域を限定することで設定される。
【００３３】
特徴点抽出部２４は、処理領域のエッジヒストグラムを作成し、このエッジヒストグラムに基づいて、特徴点およびピークを抽出する。より具体的な処理については、後述する。比較領域設定部２５は、画像情報に含まれる特徴点のうち、特に周辺との差分が大きいピークを基準に、検出対象抽出部２８による比較の対象となる比較領域を設定する。理論値算出部２６は、距離・速度取得部２１によって取得された情報に係る検出対象が画像センサー３１によって撮像されたと仮定した場合のオプティカルフローの理論値を、ミリ波情報に基づいて算出する。オプティカルフロー取得部２７は、画像情報における、特徴点毎の実際のオプティカルフローを取得する。
【００３４】
検出対象抽出部２８は、オプティカルフロー取得部２７によって取得された特徴点毎の実際のオプティカルフローと、理論値算出部２６によって算出された理論値とを比較し、実際のオプティカルフローが理論値に一致または近似する比較領域に係るピーク（特徴点）を、検出対象の端点候補として抽出する。端点設定部２９は、検出対象抽出部２８によって抽出された端点候補のうち、最も外側にある２点を、検出対象の両端点として設定する。
【００３５】
図３Ａおよび図３Ｂは、本実施形態に係る物体検出処理の流れを示す図である。図３Ａおよび図３Ｂに示された処理は、物体検出装置１の動作中、所定時間毎に定期的に行われる。なお、図３Ａおよび図３Ｂに示された処理の順序や具体的な内容等は、本発明を実施するための処理の一例であり、物体検出処理の順序や具体的な内容等には、実施の形態に応じて適宜最適なものが採用されることが好ましい。
【００３６】
ステップＳ１０１およびステップＳ１０２では、ミリ波情報および画像情報が取得される。距離・速度取得部２１は、物体検出装置１に接続されたミリ波レーダー３２から、ミリ波レーダー３２によって検出または算出された検出対象の方向、検出対象までの距離、
および検出対象との相対速度を含むミリ波情報を取得する（ステップＳ１０１）。また、画像情報取得部２２は、物体検出装置１に接続された画像センサー３１から、画像センサー３１によって撮像された車両周辺の画像情報を取得する（ステップＳ１０２）。なお、ミリ波情報および画像情報は、所定の時間間隔を開けて定期的に取得される。ここで設定される所定の時間間隔は、検出対象の移動を検出するのに適した間隔であることが好ましい。
【００３７】
図４は、本実施形態において、ミリ波レーダー３２によって検出対象が検出される様子を示した図である。本実施形態では、図４に示すように、車両の前方にミリ波レーダー３２を搭載し、車両の前方にある検出対象（例えば、先行車両等）を検出することとしている。図４では、太線十字で示した位置が、ミリ波レーダー３２による対象検出位置である。また、ミリ波レーダー３２による測定結果からは、検出対象の方向、ミリ波レーダーから検出対象までの距離、およびミリ波レーダー３２に対する検出対象の相対速度を算出することが可能である。測定結果に基づく方向、距離および相対速度の算出は、ミリ波レーダー３２に備えられたプロセッサによって行われ、物体検出装置１によって取得されてもよいし、ミリ波レーダー３２による測定結果の入力を用いて物体検出装置１によって算出・取得されてもよい。ミリ波情報および画像情報が取得されると、処理はステップＳ１０３へ進む。
【００３８】
ステップＳ１０３では、取得された画像の処理領域が設定される。処理領域設定部２３は、取得されたミリ波情報に基づいて、画像情報中の、処理の対象となる領域（処理領域）を設定する。処理領域は、例えば、検出対象がミリ波レーダー３２によって検出された位置を、画像情報に重ね合わせて、その周辺領域を処理領域とすることで設定される。
【００３９】
図５は、本実施形態において、画像センサー３１によって撮像された画像情報を示す図である。処理領域設定部２３は、画像センサー３１による撮像位置、撮像の方向および撮像範囲と、ミリ波レーダー３２による測定位置および検出方向とに基づいて、ステップＳ１０２で取得された画像情報における、ステップＳ１０１で取得された対象検出位置を特定する。図５に示した例では、太線十字で示した位置が、ミリ波レーダー３２による対象検出位置である。処理領域設定部２３は、画像情報において特定された対象検出位置の周辺領域を、処理領域（図５の破線で示した矩形領域を参照）として設定する。その後、処理はステップＳ１０４へ進む。
【００４０】
ステップＳ１０４からステップＳ１０６では、エッジヒストグラムが作成され、特徴点およびピークが抽出される。特徴点抽出部２４は、ステップＳ１０３で決定された処理領域のエッジヒストグラムを作成し、このエッジヒストグラムに基づいて、特徴点およびピークを抽出する。
【００４１】
図６は、本実施形態におけるエッジヒストグラム作成、およびエッジヒストグラムに基づいて抽出された特徴点を示す図である。図６の上段には、処理領域の画像が示されており、図６の下段には、処理領域に係るエッジヒストグラムが示されている。特徴点抽出部２４は、処理領域の画像を構成する画素の輝度情報を、縦方向に並ぶ画素同士で積算し、画素の列毎の輝度の積算値を算出することで、エッジヒストグラムを作成する（ステップＳ１０４）。
【００４２】
なお、本実施形態では、先行車両の左右端点を検出することを目的としているため、縦方向に並ぶ画素の輝度情報を積算することで、横軸方向のエッジヒストグラムを作成しているが、撮像された検出対象の上下端点を検出する場合には、横方向に並ぶ画素の輝度情報を積算することで、縦軸方向のエッジヒストグラムを作成することが出来る。また、本実施形態では、画像中の特徴点やピークを抽出するために、輝度情報に基づくエッジヒス
トグラムを作成することとしているが、画像情報に基づいて画像中の特徴点を抽出する方法には、その他の実施の形態に即した手法が用いられてよい。
【００４３】
エッジヒストグラムが作成されると、特徴点抽出部２４は、エッジヒストグラムを参照し、他の部分（画素の列）に比べて輝度の積算値が高い部分に含まれるポイント（画素）を、特徴点として抽出する（ステップＳ１０５）。特徴点は、エッジヒストグラムの値や値の差分、勾配等を、予め設定された閾値等と比較することで抽出することが出来る。図６に示された例では、特徴点抽出部２４によって抽出された特徴点Ｆ１−Ｆ８が、上段の画像中に黒丸で示されている。
【００４４】
特徴点抽出部２４は、更に、ステップＳ１０５で抽出された特徴点のうち、より大きな特徴を示すピークを抽出する（ステップＳ１０６）。ピークは、特徴点と同様、エッジヒストグラムの値や値の差分、勾配等を、予め設定された閾値等と比較することで抽出することが出来る。ここで、ピークの抽出に用いられる閾値等は、エッジヒストグラムの値や値の差分、勾配等が他の特徴点に比べてより大きな特徴を示すものが抽出可能なように設定されている。図６に示された例では、特徴点抽出部２４によって、特徴点Ｆ１がピークＰ１として、特徴点Ｆ６がピークＰ２として、特徴点Ｆ８がピークＰ３として抽出されている（図６下段に示されたエッジヒストグラムを参照）。エッジヒストグラムが作成され、特徴点およびピークが抽出されると、処理はステップＳ１０７に進む。
【００４５】
ステップＳ１０７では、比較領域が設定される。比較領域設定部２５は、ステップＳ１０６で抽出されたピークを基準として、後述するオプティカルフローの比較処理の単位となる比較領域を設定する。比較領域設定部２５は、画像情報中に抽出されたピークの座標を基準とした所定の範囲を、比較領域として設定する。ここで、所定の範囲は、比較領域に検出対象の特徴点と背景の特徴点とが同時に含まれないような広さに設定されることで、比較領域に係るピークが検出対象の端点であるか否かを高い精度で判断出来るような範囲であることが好ましい。図６に示された例では、比較領域設定部２５によって、はじめに、ピークＰ１を含む比較領域Ａ１が設定される（図中に破線で示された矩形領域を参照）。なお、ステップＳ１０７では、当該ステップに示された処理が繰り返して実行される毎に、ピークＰ２を含む比較領域Ａ２、ピークＰ３を含む比較領域Ａ３が、順次設定される（図中に破線で示された矩形領域を参照）。その後、処理はステップＳ１０８へ進む。
【００４６】
ここで、オプティカルフローの理論値の算出、および実際のオプティカルフローの算出について説明する。オプティカルフローの理論値、および実際のオプティカルフローは、ステップＳ１０８およびステップＳ１０９の比較・判定処理の前に予め算出されており、ステップＳ１０８およびステップＳ１０９では、以下に説明する方法で算出されたオプティカルフローの比較が行われる。
【００４７】
理論値算出部２６は、ステップＳ１０１で取得されたミリ波情報に含まれる検出対象までの距離、および検出対象との相対速度に基づいて、検出対象が画像センサー３１によって撮像されたと仮定した場合のオプティカルフローの理論値を算出する。
【００４８】
ミリ波情報から得られるある時刻ｔ−１における検出対象までの距離Ｚ、ある時刻ｔ−１に対して所定の単位時間分後の時刻ｔにおける検出対象までの距離Ｚ’を用いる場合、オプティカルフローの理論値は、以下の式を用いて算出することが出来る。但し、以下に示す式は例示であり、オプティカルフローの理論値は、検出対象までの距離および相対速度に係る情報（例えば、以下に示す式では異なる２時刻における距離）を用いることで算出可能である。
【００４９】
【数１】
【００５０】
ここで、ｘは画像情報中の座標を、Ｘ０は画像情報における中心座標を、ｙａｗはカメラ取り付け角（ヨー角）を、ｆは焦点距離をピクセル換算した値を表す。なお、ｆｔａｎ（ｙａｗ）は省略されてもよい。上記式を用いることで、画像情報中の全ての点が物体検出装置１から同じ距離にあると仮定した場合、換言すると、画像情報中の全ての点がミリ波レーダー３２によって検知された検出対象の点であると仮定した場合の、オプティカルフローの理論値を得ることが出来る。
【００５１】
図７は、本実施形態において、画像情報から得られたオプティカルフローとオプティカルフローの理論値との比較方法を示す図である。図７の下段には、距離・相対速度に基づいて算出された理論値が示されている。図７に示した理論値は、検出対象が接近してきた場合の理論値であり、画像情報における右方向へのオプティカルフローを正、左方向へのオプティカルフローを負として算出した場合、右肩上がりのグラフで表される理論値が算出されることが分かる。
【００５２】
また、オプティカルフロー取得部２７は、ステップＳ１０２で取得された、撮像された時刻の異なる複数の画像情報を比較することで、特徴点毎のオプティカルフロー（複数の画像情報間における特徴点の位置の変化）を算出する。図７の上段には、画像情報に基づいて算出された実際のオプティカルフローが、太線矢印をもって示されている。図７に示された実際のオプティカルフローでは、接近する検出対象上の特徴点のオプティカルフローは、ミリ波情報に基づいて算出された理論値に近似または一致する値を示すが、検出対象上にない特徴点（図７に示した例では、道路上の白線）のオプティカルフローは、理論値と大きく異なる値を示していることが分かる。
【００５３】
ステップＳ１０８では、比較領域において、理論値と実際のオプティカルフローとが比較され、照合度が算出される。検出対象抽出部２８は、ステップＳ１０７で設定された比較領域において、予め算出されたオプティカルフローの理論値と、実際のオプティカルフローとの差分を算出することで、理論値と実際のオプティカルフローとを比較し、比較の結果理論値と実際のオプティカルフローとがどの程度近似しているかを示す照合度を算出する。照合度は、例えば、比較領域に含まれる特徴点のうち、理論値と実際のオプティカルフローとの差分が予め設定されている閾値以下である特徴点がどれだけの割合を占めているかを算出する方法等を用いて算出することが出来る。
【００５４】
図７の下段には、×印をもって、特徴点Ｆ１−Ｆ８毎の、理論値と実際のオプティカルフローとの差分Ｄ１−Ｄ８が示されている。例えば、特徴点Ｆ１、Ｆ２のオプティカルフローと理論値との差分Ｄ１、Ｄ２は略ゼロであり、特徴点Ｆ１、Ｆ２のオプティカルフローは、ミリ波情報に基づく理論値と略一致していることが分かる。この場合、検出対象抽出部２８は、比較領域Ａ１に含まれる特徴点Ｆ１、Ｆ２を、検出対象上の特徴点であると判断する。なお、本実施形態では、ステップＳ１０７からステップＳ１１１までの処理が繰り返されることにより、特徴点Ｆ２−Ｆ８に関しても差分が算出され、特徴点Ｆ２−Ｆ６については、特徴点Ｆ１と同様に検出対象上の特徴点であると判断される（図７を参照）。ここで、特徴点Ｆ７、Ｆ８のオプティカルフローと理論値との差分Ｄ７、Ｄ８は閾値以上であり、特徴点Ｆ７、Ｆ８のオプティカルフローは、ミリ波情報に基づく理論値と一致または近似しているといえる範囲にないことが分かる。この場合、検出対象抽出部２８は、比較領域Ａ３に含まれる特徴点Ｆ７、Ｆ８を、検出対象上の特徴点ではないと判断す
る。照合度が算出されると、処理はステップＳ１０９へ進む。
【００５５】
ステップＳ１０９では、比較領域における照合度が所定以上であるか否かが判定される。検出対象抽出部２８は、ステップＳ１０８で算出された照合度を、所定の閾値と比較することで、算出された照合度が所定以上であるか否かを判定する。ステップＳ１０８で算出された照合度が所定以上である場合、処理はステップＳ１１０へ進む。照合度が所定未満である場合、処理はステップＳ１１１へ進む。
【００５６】
ステップＳ１１０では、端点候補が設定される。検出対象抽出部２８は、ステップＳ１０９で照合度が所定以上であると判定された比較領域に係るピークを、検出対象の端点候補として設定する。図７の下段には、破線で示された矩形をもって、比較領域Ａ１−Ａ３毎の、特徴点の比較結果が示されている。例えば、比較領域Ａ１、Ａ２では、全ての特徴点のオプティカルフローと理論値とが略一致しており、照合度が高いことが分かる。この場合、検出対象抽出部２８は、比較領域Ａ１、Ａ２に係るピークＰ１、Ｐ２が、検出対象の端点であり得ると判断し、ピークＰ１、Ｐ２を検出対象の端点候補として設定する。これに対して、比較領域Ａ３では、全ての特徴点のオプティカルフローと理論値とが一致も近似もしておらず、照合度が低いため、ピークＰ３は検出対象の端点となり得ない。端点候補が設定されると、処理はステップＳ１１１へ進む。
【００５７】
ステップＳ１１１では、全てのピークに係る比較領域について判定が終了したか否かが判定される。全てのピークに係る比較領域について判定が終了していない場合、処理はステップＳ１０７へ進む。全てのピークに係る比較領域について判定が終了した場合、処理はステップＳ１１２へ進む。即ち、本実施形態に示された物体検出処理の例では、全てのピークＰ１、Ｐ２、Ｐ３に係る比較領域Ａ１、Ａ２、Ａ３について、照合度の判定による端点候補としての適格性の判断が終了するまで、ステップＳ１０７からステップＳ１１１までに示された処理が繰り返される。
【００５８】
ステップＳ１１２では、検出対象の端点が設定される。端点設定部２９は、ステップＳ１０７からステップＳ１１１までに示された処理の繰り返しによって全てのピークについての判断処理が終了すると、端点候補のうち、最も左側にある端点候補（本実施形態では、ピークＰ１）を検出対象の左端点に設定し、最も右側にある端点候補（本実施形態では、ピークＰ２）を検出対象の右端点に設定する。なお、図７に示した例では、端点候補が２つのみ設定されているが、端点候補が３つ以上設定された場合にも、最も外側にある２つの端点候補を両端点に設定すること、即ち、最も左側にある端点候補を左端点に設定し、最も右側にある端点候補を右端点に設定することで、検出対象の左右の端点を設定可能である。検出対象の左右の端点が設定されると、本フローチャートに示された処理は終了する。
【００５９】
なお、検出対象が相対横速度を有する場合、換言すると、画像センサー３１による撮像範囲を横切るような移動を行う検出対象である場合、ミリ波レーダー３２と画像センサー３１との間の通信遅延やタイムラグ等が原因で、画像情報が取得された時点での画像内の検出対象の位置と、ミリ波レーダー３２によって検出された検出対象の位置と、にズレが生じる場合がある。しかし、本実施形態に係る物体検出装置１によれば、オプティカルフローの理論値と実際のオプティカルフローとの照合によって端点を特定するため、検出対象が相対横速度を有し、撮像時の位置とミリ波レーダー３２による検出位置とにズレが生じるような場合であっても、正確に検出対象の端点を特定することが可能である。
【００６０】
図８は、本実施形態において相対横速度を有する検出対象が検出される場合の処理方法の概要を示す図である。図８に示した例では、検出対象が撮像範囲を横切ることにより、レーダー３２による検出位置と撮像された位置とにズレが発生しているが、オプティカル
フローの理論値と実際のオプティカルフローとを比較することで検出対象に係るピークを特定した結果、正確に画像中の検出対象の端点を特定することに成功している。
【００６１】
また、このような相対横速度を有する対象を正確に検知し易くするために、処理領域を、画像情報中において検出対象が占めると推測される範囲よりも広く設定することとしてもよい。処理領域を、画像情報中において検出対象が占めると推測される範囲よりも広く設定することで、画像情報中の処理領域から検出対象が外れてしまうことによる誤検出の発生を回避することが出来る。
【００６２】
＜第二の実施形態＞
なお、上記説明した第一の実施形態では、比較領域に、検出対象に係る特徴点と背景に係る特徴点とが同時に含まれた場合、比較領域に含まれる検出対象と背景との比率によっては、検出対象を含む比較領域に係るピークが端点候補に設定されない等の誤検出が発生する可能性がある。このため、第二の実施形態に係る物体検出装置１ｂでは、第一の実施形態において説明した物体検出装置１に、更に部分領域設定部３０を備え、第一の実施形態において図３Ａを用いて説明した処理に続く処理として、図３Ｂに示した処理に代えて、図１０に示す処理を実行することで、誤検出の確率を更に低減させることとしている。
【００６３】
図９は、第二の実施形態に係る物体検出装置１ｂの機能構成の概略を示す図である。本実施形態に係る物体検出装置１ｂは、第一の実施形態において説明した物体検出装置１に、更に部分領域設定部３０を備える。
【００６４】
部分領域設定部３０は、比較領域内に、比較領域よりも狭い部分領域を設定する。ここで、部分領域設定部３０は、比較領域を分割することで部分領域を設定してもよいし、検出対象抽出手段による比較処理の都度、異なる領域を部分領域として設定してもよい。部分領域設定部３０によって部分領域が設定されると、検出対象抽出部２８は、部分領域毎に実際のオプティカルフローとオプティカルフローの理論値とを比較する。比較の結果、照合度が所定以上の部分領域が比較領域内に存在する場合に、検出対象抽出部２８は、この比較領域に含まれるピークを端点候補として抽出する。なお、物体検出装置１ｂのその他の構成および処理内容は第一の実施形態において説明した物体検出装置１と概略同様であるため、説明を省略する。
【００６５】
図１０は、本実施形態に係る物体検出処理の流れを示す図である。図１０に示された処理は、物体検出装置１ｂの動作中、所定時間毎に定期的に行われる図３Ａの処理に続いて実行される。なお、図１０に示された処理の順序や具体的な内容等は、本発明を実施するための処理の一例であり、物体検出処理の順序や具体的な内容等には、実施の形態に応じて適宜最適なものが採用されることが好ましい。
【００６６】
ステップＳ２０７では、比較領域が設定される。比較領域設定部２５は、ステップＳ１０６で抽出されたピークを基準として、後述するオプティカルフローの比較処理の単位となる比較領域を設定する。具体的な処理の詳細は図３ＢのステップＳ１０７において説明したものと概略同様であるため、説明を省略する。その後、処理はステップＳ２０８へ進む。
【００６７】
ステップＳ２０８では、比較領域において、部分領域が設定される。部分領域設定部３０は、ステップＳ２０７で設定された比較領域を、比較領域よりも小さい数個の部分領域に分割することで、部分領域を設定する。
【００６８】
図１１は、本実施形態において、比較領域が更に分割されることで設定された部分領域を示す図である。図１１に示した例では、比較領域Ａ４が３つに分割されることで、部分
領域Ｂ１、Ｂ２、Ｂ３が設定される。
【００６９】
なお、本実施形態では、部分領域は、比較領域を更に小さな領域に分割することで設定されるが、このような方法に代えて、比較領域内に小さな領域（部分領域）を設定し、オプティカルフローの比較処理の都度部分領域をずらしながら照合度が高い領域を探索する方法が採用されてもよい。部分領域が設定されると、処理はステップＳ２０９へ進む。
【００７０】
ステップＳ２０９では、比較領域に含まれる部分領域について、理論値と実際のオプティカルフローとが比較され、照合度が算出される。検出対象抽出部２８は、ステップＳ２０８で設定された部分領域において、予め算出されたオプティカルフローの理論値と、実際のオプティカルフローとの差分を算出することで、理論値と実際のオプティカルフローとを比較し、比較の結果理論値と実際のオプティカルフローがどの程度近似しているかを示す照合度を算出する。照合度は、例えば、部分領域に含まれる特徴点のうち、理論値と実際のオプティカルフローとの差分が予め設定されている閾値以下である特徴点がどれだけの割合を占めているかを算出する方法等を用いて算出することが出来る。照合度が算出されると、処理はステップＳ２１０へ進む。
【００７１】
ステップＳ２１０では、比較領域内に、照合度が所定以上の部分領域が存在するか否かが判定される。検出対象抽出部２８は、ステップＳ２０９で算出された照合度を、所定の閾値と比較することで、算出された照合度が所定以上であるか否かを判定する。更に、検出対象抽出部２８は、比較領域に含まれる部分領域のうち、照合度が所定以上である部分領域が存在するか否かを判定する。
【００７２】
図１１に示した例では、部分領域Ｂ１およびＢ２の照合度が所定以上であり、比較領域Ａ４には照合度が所定以上の部分領域が含まれているといえる。なお、道路上の白線に係る部分領域Ｂ３については、照合度が所定未満であることが分かる。照合度が所定以上である部分領域が存在する場合、処理はステップＳ２１１へ進む。照合度が所定以上である部分領域が存在しない場合、処理はステップＳ２１２へ進む。
【００７３】
なお、本フローチャートでは、照合度が所定以上である部分領域が存在する場合に、ピークを端点候補とする処理を採用しているが、このような判定手法に代えて、所定数または所定割合以上の部分領域の照合度が所定以上であるか否かを判定することとしてもよい。この場合、検出対象抽出部２８は、比較領域に含まれる部分領域のうち、照合度が所定以上である部分領域の数または割合を算出し、これを閾値と比較する。比較の結果、照合度が所定以上である部分領域の数または割合が所定以上である場合、処理はステップＳ２１１へ進む。照合度が所定以上である部分領域の数または割合が所定未満である場合、処理はステップＳ２１２へ進む。
【００７４】
ステップＳ２１１では、端点候補が設定される。検出対象抽出部２８は、ステップＳ２１０で照合度が所定以上である部分領域が存在する判定された比較領域に係るピークを、検出対象の端点候補として設定する。図１１に示した例では、比較領域Ａ４に係るピークＰ４は、端点候補として設定される。端点候補が設定されると、処理はステップＳ２１２へ進む。
【００７５】
ステップＳ２１２では、全てのピークに係る比較領域について判定が終了したか否かが判定される。全てのピークに係る比較領域について判定が終了していない場合、処理はステップＳ２０７へ進む。全てのピークに係る比較領域について判定が終了した場合、処理はステップＳ２１３へ進む。
【００７６】
ステップＳ２１３では、検出対象の端点が設定される。端点設定部２９は、ステップＳ
２０７からステップＳ２１２までに示された処理の繰り返しによって全てのピークについての判断処理が終了すると、端点候補のうち、最も左側にある端点候補を検出対象の左端点に設定し、最も右側にある端点候補を検出対象の右端点に設定する。なお、端点候補が３つ以上設定された場合にも、最も外側にある２つの端点候補を両端点に設定することで、検出対象の左右の端点を設定可能である。検出対象の左右の端点が設定されると、本フローチャートに示された処理は終了する。
【００７７】
上記第一の実施形態に係る物体検出装置１、および第二の実施形態に係る物体検出装置１ｂによれば、画像情報から得られた実際のオプティカルフローと、ミリ波情報に基づいて算出されたオプティカルフローの理論値と、を比較することで、実際のオプティカルフローが、距離および相対速度に係る検出対象に係るものであるか否かを判断し、画像情報における対象の検出精度を向上させることが出来る。
【００７８】
なお、従来、単眼で撮像された画像から立体物を検出する手法（例えば、パターン認識や移動ステレオ等）も存在しているが、精度およびコストの面で制約がある。例えば、パターン認識には、学習データにより認識できるパターンが限定され、歩行者の向きや日のあたり方等により精度が低下する、処理に必要なリソースが大きい、等の問題がある。また、移動ステレオには、距離算出精度が低い、処理量および計算精度の面から自車両の移動量算出が困難、等の問題がある。本実施形態に係る物体検出装置１によれば、画像情報における対象の検出精度が向上する効果が得られることに加えて、単眼で撮像された画像を用いた高精度での検出が可能となり、コストやリソース上有利な装置構成で実現することが可能である。但し、本願発明は、単眼で撮像された画像のみならず、ステレオ撮像等その他の方式で撮像された画像を用いても当然に実施可能である。
【符号の説明】
【００７９】
１、１ｂ 物体検出装置
２１ 距離・速度取得部
２２ 画像情報取得部
２５ 比較領域設定部
２６ 理論値算出部
２７ オプティカルフロー取得部
２８ 検出対象抽出部
２９ 端点設定部
３０ 部分領域設定部
【技術分野】
【０００１】
本発明は、物体を検出するための技術に関する。
【背景技術】
【０００２】
従来、画像から検出したピークの位置と、レーザレーダの反射点の位置とを照合して、先行車両の両端位置を決定する技術がある（特許文献１を参照）。
【０００３】
また、レーダーを用いて検出点を取得し、更にこの検出点のオプティカルフローを算出して、同じ方向に同じ量だけ移動している検出点を、同一の物体に係る検出点として抽出する技術があり（特許文献２を参照）、エッジヒストグラムから車両の候補としての矩形領域を選定し、選定した矩形領域の夫々についてその内部におけるオプティカルフローの整合性の有無を判断し、整合性がある矩形領域を先行車両であると判定する技術がある（特許文献３を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５７８７５号公報
【特許文献２】特開２００９−１９２４３０号公報
【特許文献３】特開平１１−０５３６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来、車載カメラやレーダー装置を用いて他の車両等の検出対象（例えば、道路上の立体物）を検知することが行われている。このような物体検出では、車載カメラによって撮像された画像において検出対象が占める範囲を特定するために、画像中の検出対象の端点（例えば、左右の端点）の検出が行われる。そして、従来、端点の検出には、車載カメラによって撮像された画像からエッジ（特徴点）を検知して端点とする方法等が用いられている。
【０００６】
しかし、一般に画像は対象までの距離情報を有さないため、検出されたエッジが検出対象のものであるか背景のものであるかを識別することは困難である。このため、従来の端点検出方法では、画像に映っている背景等のエッジを、検出対象であると誤検出し、検出対象がない場所に検出対象の端点があると誤判定する虞があった。また、一旦間違って背景のエッジを検出対象のエッジであると誤検出してしまうと、誤った対象検出パターンを保持してしまい、実際に検出対象が画像中に入ってきた場合に、検出対象が検出されない虞がある。
【０００７】
本発明は、上記した問題に鑑み、画像における検出対象の検出の精度を向上させることを課題とする。
【課題を解決するための手段】
【０００８】
本発明は、上記した課題を解決するために、画像から得られた実際のオプティカルフローと、検出対象に対する距離および相対速度から算出されたオプティカルフローの理論値と、を比較することで、画像における検出対象の検出の精度を向上させることを可能とした。
【０００９】
詳細には、本発明は、撮像装置によって撮像された画像情報に含まれる検出対象を検出
する物体検出装置であって、前記画像情報における、該画像情報に含まれる特徴点毎の実際のオプティカルフローを取得するオプティカルフロー取得手段と、測定装置によって測定された、該測定装置と前記検出対象との間の距離および相対速度に係る情報を取得する距離・速度取得手段と、前記距離・速度取得手段によって取得された情報に係る検出対象が前記撮像装置によって撮像されたと仮定した場合のオプティカルフローの理論値を、前記距離および相対速度に係る情報に基づいて算出する理論値算出手段と、前記オプティカルフロー取得手段によって取得された前記特徴点毎の実際のオプティカルフローと、前記理論値とを比較し、前記実際のオプティカルフローが前記理論値に一致または近似する特徴点を、前記検出対象上の点として抽出する検出対象抽出手段と、を備える、物体検出装置である。
【００１０】
ここで、検出対象とは、画像センサー等の撮像装置を用いて撮像された画像情報に含まれる、何らかの物体（立体物）である。特に、物体検出装置が車載されて用いられる場合には、車両の運航、制御のために周辺情報として検出すべき物体が、検出対象として検出される。
【００１１】
本発明に係る物体検出装置は、画像情報に基づく実際のオプティカルフローと、オプティカルフローの理論値を算出するために必要な検出対象との間の距離・相対速度情報とを取得する。ここで、「取得」とは、目的となるパラメータ等を得ることを意味しており、物体検出装置に測定または算出のための装置を備えることで自ら取得する場合に限られず、外部に接続等された装置によって測定または算出された結果のみを取得する場合や、外部に接続等された装置による測定等の結果を用いて算出する場合等も含む。
【００１２】
また、本発明では、距離・速度取得手段によって測定装置と検出対象との間の距離および相対速度に係る情報が取得されるが、ここで取得される情報は、必ずしも距離および相対速度そのものである必要はなく、検出対象との間の、単位時間当たりの距離の変化が把握可能な情報であればよい。例えば、距離・速度取得手段は、距離および相対速度に係る情報として、複数の異なる時刻に係る距離を取得することとしてもよい。
【００１３】
本発明は、画像情報に基づくオプティカルフロー（実際のオプティカルフロー）と、検出対象に対する距離および相対速度から算出されたオプティカルフローの理論値と、を比較することで、実際のオプティカルフローが、距離および相対速度に係る検出対象に係るものであるか否かを判断する。即ち、実際のオプティカルフローが理論値に一致または近似している場合、理論値に一致または近似する実際のオプティカルフローに係る特徴点は、距離および相対速度が取得された検出対象の特徴点であると判断することが出来る。反対に、実際のオプティカルフローが理論値に一致も近似もしない場合、理論値に一致も近似もしない実際のオプティカルフローに係る特徴点は、距離および相対速度が取得された検出対象の特徴点ではないと判断することが出来る。本発明によれば、このような検出対象抽出を行うことによって、画像における対象の検出精度を向上させることを可能にしている。
【００１４】
また、本発明に係る物体検出装置は、前記画像情報に含まれる特徴点のうち、特に周辺との差分が大きいピークを基準に、前記検出対象抽出手段による比較の対象となる比較領域を設定する比較領域設定手段を更に備え、前記検出対象抽出手段は、前記比較領域における前記実際のオプティカルフローが前記理論値に一致または近似する場合に、該比較領域に含まれる前記ピークを、前記検出対象上の点として抽出してもよい。
【００１５】
撮像された画像には、検出対象の他に、背景や、検出対象以外の移動物体等が映り込んでおり、また、画像情報には多くの特徴点が含まれる。このため、特徴点のうち特に周辺との差分が大きいピークを抽出し、このピークの周辺を比較領域として設定した上で、比
較領域内のオプティカルフローの判定処理を行うことで、多くの特徴点を有する画像情報が取得される場合にも、より正確に対象物上の点を抽出することが可能となる。
【００１６】
より具体的には、比較領域設定手段は、例えば、画像情報を構成する画素の情報を用いて作成されたヒストグラムを参照することでピークを抽出し、抽出されたピークの周辺を、比較領域として設定する。
【００１７】
また、本発明に係る物体検出装置は、前記比較領域内に、該比較領域よりも狭い部分領域を設定する部分領域設定手段を更に備え、前記検出対象抽出手段は、前記比較領域に、前記実際のオプティカルフローが前記理論値に一致または近似する前記部分領域が存在する場合に、該比較領域に含まれる前記ピークを、前記検出対象上の点として抽出してもよい。
【００１８】
比較領域内には、検出対象に係る特徴点と、背景等に係る特徴点とが混在する場合がある。この場合、背景等に係る特徴点のオプティカルフローは、オプティカルフローの理論値に一致又は近似しないため、検出対象に係る特徴点が比較領域に含まれているにも拘らず、比較領域に係るピークが検出対象上の点ではないと誤判定してしまう虞がある。本発明では、比較領域内に、より小さな部分領域を設定して判定を行うことで、比較領域内に背景に係る特徴点等が混在しているような場合であっても、誤判定の確率を低減し、正確に検出対象の点を抽出することが出来る。
【００１９】
なお、本発明において、前記部分領域設定手段は、前記比較領域を分割することで、前記部分領域を設定してもよいし、前記部分領域設定手段は、前記検出対象抽出手段による比較処理の都度、異なる領域を前記部分領域として設定してもよい。
【００２０】
また、本発明に係る物体検出装置は、前記検出対象抽出手段によって抽出された前記検出対象上の点のうち、最も外側にある２点を、前記検出対象の両端点として設定する端点設定手段を更に備えてもよい。
【００２１】
このような端点設定手段を更に備えることで、本発明によれば、画像情報における検出対象の端点を正確に検出し、画像情報において検出対象が占める範囲を正確に特定することが可能となる。
【００２２】
また、本発明は、物体検出方法、物体検出用プログラム、およびこの物体検出用プログラムが記録されたコンピュータ読み取り可能な記録媒体の発明としても把握することが可能である。例えば、本発明は、撮像装置によって撮像された画像情報に含まれる検出対象を検出する物体検出方法であって、前記画像情報における、該画像情報に含まれる特徴点毎の実際のオプティカルフローを取得するオプティカルフロー取得ステップと、測定装置によって測定された、該測定装置と前記検出対象との間の距離および相対速度を取得する距離・速度取得ステップと、前記距離・速度取得ステップにおいて取得された情報に係る検出対象が前記撮像装置によって撮像されたと仮定した場合のオプティカルフローの理論値を、前記距離および相対速度に基づいて算出する理論値算出ステップと、前記オプティカルフロー取得ステップにおいて取得された前記特徴点毎の実際のオプティカルフローと、前記理論値とを比較し、前記実際のオプティカルフローが前記理論値に一致または近似する特徴点を、前記検出対象上の点として抽出する検出対象抽出ステップと、を備える、物体検出方法である。
【発明の効果】
【００２３】
本発明によれば、画像における検出対象の検出の精度を向上させることが可能である。
【図面の簡単な説明】
【００２４】
【図１】実施形態に係る物体検出装置のハードウェア構成の概略を示す図である。
【図２】実施形態に係る物体検出装置の機能構成の概略を示す図である。
【図３Ａ】実施形態に係る物体検出処理の流れを示す図である。
【図３Ｂ】実施形態に係る物体検出処理の流れを示す図である。
【図４】実施形態において、ミリ波レーダーによって検出対象が検出される様子を示した図である。
【図５】実施形態において、画像センサーによって撮像された画像情報を示す図である。
【図６】実施形態におけるエッジヒストグラム作成、およびエッジヒストグラムに基づいて抽出された特徴点を示す図である。
【図７】実施形態において、画像情報から得られたオプティカルフローとオプティカルフローの理論値との比較方法を示す図である。
【図８】実施形態において相対横速度を有する検出対象が検出される場合の処理方法の概要を示す図である。
【図９】実施形態に係る物体検出装置の機能構成の概略を示す図である。
【図１０】実施形態に係る物体検出処理の流れを示す図である。
【図１１】実施形態において、比較領域が更に分割されることで設定された部分領域を示す図である。
【発明を実施するための形態】
【００２５】
以下、本発明に係る物体検出装置の実施の形態について、図面に基づいて説明する。本実施形態では、物体検出装置を車載し、車両周辺の物体を検出する用途に用いる場合について説明する。検出結果は、例えば車両の衝突回避制御等の目的に用いることが出来る。但し、本発明に係る物体検出装置は、車載用途以外の用途、例えば、車両以外の移動体に搭載される等の様々な用途に用いられてよい。
【００２６】
＜第一の実施形態＞
図１は、本実施形態に係る物体検出装置１のハードウェア構成の概略を示す図である。物体検出装置１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４、電子制御ユニット（以下、「ＥＣＵ」と称する）１１、および補助記憶装置１３を備え、これらがバス等を介して電気的に接続された情報処理装置である。ここで、ＥＣＵ１１は、ＲＡＭ１２等に展開された命令およびデータを処理することで物体検出装置１を制御する。また、補助記憶装置１３には、ＲＡＭ１２にロードされる各種プログラム等物体検出装置１によって使用される各種データが記憶される。補助記憶装置１３としては、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ
Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）やＨＤＤ（Ｈａｒｄ
Ｄｉｓｋ Ｄｒｉｖｅ）等を用いることが出来る。
【００２７】
また、物体検出装置１には、車両周辺監視用の画像センサー３１と、検出対象までの距離および検出対象との相対速度を検出可能なミリ波レーダー３２と、が電気的に接続されている。画像センサー３１は、車両に搭載され、車両周辺を撮像する撮像装置であり、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーが搭載されていることで、周辺の様子を撮像することが出来る。
【００２８】
また、本実施形態では、検出対象までの距離および検出対象との相対速度を検出するための装置としてミリ波レーダー３２を採用しているが、検出対象に対する距離および相対速度を検出するための装置としては、ミリ波レーダー３２以外のレーダー等、その他の距離・相対速度測定装置が用いられてもよい。なお、本実施形態では、ミリ波レーダー３２
によって検出される検出対象の方向、検出対象までの距離、および検出対象との相対速度を含む情報を、ミリ波情報と称する。
【００２９】
図２は、本実施形態に係る物体検出装置１の機能構成の概略を示す図である。本実施形態に係る物体検出装置１は、ＲＡＭ１２又はＲＯＭ１４に展開された物体検出用プログラムをＥＣＵ１１が解釈および実行することで、距離・速度取得部２１、画像情報取得部２２、処理領域設定部２３、特徴点抽出部２４、比較領域設定部２５、理論値算出部２６、オプティカルフロー取得部２７、検出対象抽出部２８、および端点設定部２９を備える物体検出装置１として機能する。
【００３０】
距離・速度取得部２１は、ミリ波レーダー３２によって測定された、ミリ波レーダー３２または物体検出装置１から見た検出対象の方向と、ミリ波レーダー３２または物体検出装置１から検出対象までの距離と、ミリ波レーダー３２または物体検出装置１に対する検出対象の相対速度と、を含むミリ波情報を取得する。
【００３１】
画像情報取得部２２は、物体検出装置１に接続された画像センサー３１から、画像センサー３１によって撮像された車両周辺の画像情報を取得する。本実施形態では、画像情報取得部２２によって取得される画像情報は、画素の集合によって構成される画像を表示するための情報であって、後述するヒストグラムを作成するための輝度情報等を含む。
【００３２】
処理領域設定部２３は、取得されたミリ波情報に基づいて、処理領域を設定する。ここで、処理領域とは、画像情報中の、物体検出処理の対象となる領域であり、後述する比較領域等は、ここで設定された処理領域において更にオプティカルフローの比較対象となる領域を限定することで設定される。
【００３３】
特徴点抽出部２４は、処理領域のエッジヒストグラムを作成し、このエッジヒストグラムに基づいて、特徴点およびピークを抽出する。より具体的な処理については、後述する。比較領域設定部２５は、画像情報に含まれる特徴点のうち、特に周辺との差分が大きいピークを基準に、検出対象抽出部２８による比較の対象となる比較領域を設定する。理論値算出部２６は、距離・速度取得部２１によって取得された情報に係る検出対象が画像センサー３１によって撮像されたと仮定した場合のオプティカルフローの理論値を、ミリ波情報に基づいて算出する。オプティカルフロー取得部２７は、画像情報における、特徴点毎の実際のオプティカルフローを取得する。
【００３４】
検出対象抽出部２８は、オプティカルフロー取得部２７によって取得された特徴点毎の実際のオプティカルフローと、理論値算出部２６によって算出された理論値とを比較し、実際のオプティカルフローが理論値に一致または近似する比較領域に係るピーク（特徴点）を、検出対象の端点候補として抽出する。端点設定部２９は、検出対象抽出部２８によって抽出された端点候補のうち、最も外側にある２点を、検出対象の両端点として設定する。
【００３５】
図３Ａおよび図３Ｂは、本実施形態に係る物体検出処理の流れを示す図である。図３Ａおよび図３Ｂに示された処理は、物体検出装置１の動作中、所定時間毎に定期的に行われる。なお、図３Ａおよび図３Ｂに示された処理の順序や具体的な内容等は、本発明を実施するための処理の一例であり、物体検出処理の順序や具体的な内容等には、実施の形態に応じて適宜最適なものが採用されることが好ましい。
【００３６】
ステップＳ１０１およびステップＳ１０２では、ミリ波情報および画像情報が取得される。距離・速度取得部２１は、物体検出装置１に接続されたミリ波レーダー３２から、ミリ波レーダー３２によって検出または算出された検出対象の方向、検出対象までの距離、
および検出対象との相対速度を含むミリ波情報を取得する（ステップＳ１０１）。また、画像情報取得部２２は、物体検出装置１に接続された画像センサー３１から、画像センサー３１によって撮像された車両周辺の画像情報を取得する（ステップＳ１０２）。なお、ミリ波情報および画像情報は、所定の時間間隔を開けて定期的に取得される。ここで設定される所定の時間間隔は、検出対象の移動を検出するのに適した間隔であることが好ましい。
【００３７】
図４は、本実施形態において、ミリ波レーダー３２によって検出対象が検出される様子を示した図である。本実施形態では、図４に示すように、車両の前方にミリ波レーダー３２を搭載し、車両の前方にある検出対象（例えば、先行車両等）を検出することとしている。図４では、太線十字で示した位置が、ミリ波レーダー３２による対象検出位置である。また、ミリ波レーダー３２による測定結果からは、検出対象の方向、ミリ波レーダーから検出対象までの距離、およびミリ波レーダー３２に対する検出対象の相対速度を算出することが可能である。測定結果に基づく方向、距離および相対速度の算出は、ミリ波レーダー３２に備えられたプロセッサによって行われ、物体検出装置１によって取得されてもよいし、ミリ波レーダー３２による測定結果の入力を用いて物体検出装置１によって算出・取得されてもよい。ミリ波情報および画像情報が取得されると、処理はステップＳ１０３へ進む。
【００３８】
ステップＳ１０３では、取得された画像の処理領域が設定される。処理領域設定部２３は、取得されたミリ波情報に基づいて、画像情報中の、処理の対象となる領域（処理領域）を設定する。処理領域は、例えば、検出対象がミリ波レーダー３２によって検出された位置を、画像情報に重ね合わせて、その周辺領域を処理領域とすることで設定される。
【００３９】
図５は、本実施形態において、画像センサー３１によって撮像された画像情報を示す図である。処理領域設定部２３は、画像センサー３１による撮像位置、撮像の方向および撮像範囲と、ミリ波レーダー３２による測定位置および検出方向とに基づいて、ステップＳ１０２で取得された画像情報における、ステップＳ１０１で取得された対象検出位置を特定する。図５に示した例では、太線十字で示した位置が、ミリ波レーダー３２による対象検出位置である。処理領域設定部２３は、画像情報において特定された対象検出位置の周辺領域を、処理領域（図５の破線で示した矩形領域を参照）として設定する。その後、処理はステップＳ１０４へ進む。
【００４０】
ステップＳ１０４からステップＳ１０６では、エッジヒストグラムが作成され、特徴点およびピークが抽出される。特徴点抽出部２４は、ステップＳ１０３で決定された処理領域のエッジヒストグラムを作成し、このエッジヒストグラムに基づいて、特徴点およびピークを抽出する。
【００４１】
図６は、本実施形態におけるエッジヒストグラム作成、およびエッジヒストグラムに基づいて抽出された特徴点を示す図である。図６の上段には、処理領域の画像が示されており、図６の下段には、処理領域に係るエッジヒストグラムが示されている。特徴点抽出部２４は、処理領域の画像を構成する画素の輝度情報を、縦方向に並ぶ画素同士で積算し、画素の列毎の輝度の積算値を算出することで、エッジヒストグラムを作成する（ステップＳ１０４）。
【００４２】
なお、本実施形態では、先行車両の左右端点を検出することを目的としているため、縦方向に並ぶ画素の輝度情報を積算することで、横軸方向のエッジヒストグラムを作成しているが、撮像された検出対象の上下端点を検出する場合には、横方向に並ぶ画素の輝度情報を積算することで、縦軸方向のエッジヒストグラムを作成することが出来る。また、本実施形態では、画像中の特徴点やピークを抽出するために、輝度情報に基づくエッジヒス
トグラムを作成することとしているが、画像情報に基づいて画像中の特徴点を抽出する方法には、その他の実施の形態に即した手法が用いられてよい。
【００４３】
エッジヒストグラムが作成されると、特徴点抽出部２４は、エッジヒストグラムを参照し、他の部分（画素の列）に比べて輝度の積算値が高い部分に含まれるポイント（画素）を、特徴点として抽出する（ステップＳ１０５）。特徴点は、エッジヒストグラムの値や値の差分、勾配等を、予め設定された閾値等と比較することで抽出することが出来る。図６に示された例では、特徴点抽出部２４によって抽出された特徴点Ｆ１−Ｆ８が、上段の画像中に黒丸で示されている。
【００４４】
特徴点抽出部２４は、更に、ステップＳ１０５で抽出された特徴点のうち、より大きな特徴を示すピークを抽出する（ステップＳ１０６）。ピークは、特徴点と同様、エッジヒストグラムの値や値の差分、勾配等を、予め設定された閾値等と比較することで抽出することが出来る。ここで、ピークの抽出に用いられる閾値等は、エッジヒストグラムの値や値の差分、勾配等が他の特徴点に比べてより大きな特徴を示すものが抽出可能なように設定されている。図６に示された例では、特徴点抽出部２４によって、特徴点Ｆ１がピークＰ１として、特徴点Ｆ６がピークＰ２として、特徴点Ｆ８がピークＰ３として抽出されている（図６下段に示されたエッジヒストグラムを参照）。エッジヒストグラムが作成され、特徴点およびピークが抽出されると、処理はステップＳ１０７に進む。
【００４５】
ステップＳ１０７では、比較領域が設定される。比較領域設定部２５は、ステップＳ１０６で抽出されたピークを基準として、後述するオプティカルフローの比較処理の単位となる比較領域を設定する。比較領域設定部２５は、画像情報中に抽出されたピークの座標を基準とした所定の範囲を、比較領域として設定する。ここで、所定の範囲は、比較領域に検出対象の特徴点と背景の特徴点とが同時に含まれないような広さに設定されることで、比較領域に係るピークが検出対象の端点であるか否かを高い精度で判断出来るような範囲であることが好ましい。図６に示された例では、比較領域設定部２５によって、はじめに、ピークＰ１を含む比較領域Ａ１が設定される（図中に破線で示された矩形領域を参照）。なお、ステップＳ１０７では、当該ステップに示された処理が繰り返して実行される毎に、ピークＰ２を含む比較領域Ａ２、ピークＰ３を含む比較領域Ａ３が、順次設定される（図中に破線で示された矩形領域を参照）。その後、処理はステップＳ１０８へ進む。
【００４６】
ここで、オプティカルフローの理論値の算出、および実際のオプティカルフローの算出について説明する。オプティカルフローの理論値、および実際のオプティカルフローは、ステップＳ１０８およびステップＳ１０９の比較・判定処理の前に予め算出されており、ステップＳ１０８およびステップＳ１０９では、以下に説明する方法で算出されたオプティカルフローの比較が行われる。
【００４７】
理論値算出部２６は、ステップＳ１０１で取得されたミリ波情報に含まれる検出対象までの距離、および検出対象との相対速度に基づいて、検出対象が画像センサー３１によって撮像されたと仮定した場合のオプティカルフローの理論値を算出する。
【００４８】
ミリ波情報から得られるある時刻ｔ−１における検出対象までの距離Ｚ、ある時刻ｔ−１に対して所定の単位時間分後の時刻ｔにおける検出対象までの距離Ｚ’を用いる場合、オプティカルフローの理論値は、以下の式を用いて算出することが出来る。但し、以下に示す式は例示であり、オプティカルフローの理論値は、検出対象までの距離および相対速度に係る情報（例えば、以下に示す式では異なる２時刻における距離）を用いることで算出可能である。
【００４９】
【数１】
【００５０】
ここで、ｘは画像情報中の座標を、Ｘ０は画像情報における中心座標を、ｙａｗはカメラ取り付け角（ヨー角）を、ｆは焦点距離をピクセル換算した値を表す。なお、ｆｔａｎ（ｙａｗ）は省略されてもよい。上記式を用いることで、画像情報中の全ての点が物体検出装置１から同じ距離にあると仮定した場合、換言すると、画像情報中の全ての点がミリ波レーダー３２によって検知された検出対象の点であると仮定した場合の、オプティカルフローの理論値を得ることが出来る。
【００５１】
図７は、本実施形態において、画像情報から得られたオプティカルフローとオプティカルフローの理論値との比較方法を示す図である。図７の下段には、距離・相対速度に基づいて算出された理論値が示されている。図７に示した理論値は、検出対象が接近してきた場合の理論値であり、画像情報における右方向へのオプティカルフローを正、左方向へのオプティカルフローを負として算出した場合、右肩上がりのグラフで表される理論値が算出されることが分かる。
【００５２】
また、オプティカルフロー取得部２７は、ステップＳ１０２で取得された、撮像された時刻の異なる複数の画像情報を比較することで、特徴点毎のオプティカルフロー（複数の画像情報間における特徴点の位置の変化）を算出する。図７の上段には、画像情報に基づいて算出された実際のオプティカルフローが、太線矢印をもって示されている。図７に示された実際のオプティカルフローでは、接近する検出対象上の特徴点のオプティカルフローは、ミリ波情報に基づいて算出された理論値に近似または一致する値を示すが、検出対象上にない特徴点（図７に示した例では、道路上の白線）のオプティカルフローは、理論値と大きく異なる値を示していることが分かる。
【００５３】
ステップＳ１０８では、比較領域において、理論値と実際のオプティカルフローとが比較され、照合度が算出される。検出対象抽出部２８は、ステップＳ１０７で設定された比較領域において、予め算出されたオプティカルフローの理論値と、実際のオプティカルフローとの差分を算出することで、理論値と実際のオプティカルフローとを比較し、比較の結果理論値と実際のオプティカルフローとがどの程度近似しているかを示す照合度を算出する。照合度は、例えば、比較領域に含まれる特徴点のうち、理論値と実際のオプティカルフローとの差分が予め設定されている閾値以下である特徴点がどれだけの割合を占めているかを算出する方法等を用いて算出することが出来る。
【００５４】
図７の下段には、×印をもって、特徴点Ｆ１−Ｆ８毎の、理論値と実際のオプティカルフローとの差分Ｄ１−Ｄ８が示されている。例えば、特徴点Ｆ１、Ｆ２のオプティカルフローと理論値との差分Ｄ１、Ｄ２は略ゼロであり、特徴点Ｆ１、Ｆ２のオプティカルフローは、ミリ波情報に基づく理論値と略一致していることが分かる。この場合、検出対象抽出部２８は、比較領域Ａ１に含まれる特徴点Ｆ１、Ｆ２を、検出対象上の特徴点であると判断する。なお、本実施形態では、ステップＳ１０７からステップＳ１１１までの処理が繰り返されることにより、特徴点Ｆ２−Ｆ８に関しても差分が算出され、特徴点Ｆ２−Ｆ６については、特徴点Ｆ１と同様に検出対象上の特徴点であると判断される（図７を参照）。ここで、特徴点Ｆ７、Ｆ８のオプティカルフローと理論値との差分Ｄ７、Ｄ８は閾値以上であり、特徴点Ｆ７、Ｆ８のオプティカルフローは、ミリ波情報に基づく理論値と一致または近似しているといえる範囲にないことが分かる。この場合、検出対象抽出部２８は、比較領域Ａ３に含まれる特徴点Ｆ７、Ｆ８を、検出対象上の特徴点ではないと判断す
る。照合度が算出されると、処理はステップＳ１０９へ進む。
【００５５】
ステップＳ１０９では、比較領域における照合度が所定以上であるか否かが判定される。検出対象抽出部２８は、ステップＳ１０８で算出された照合度を、所定の閾値と比較することで、算出された照合度が所定以上であるか否かを判定する。ステップＳ１０８で算出された照合度が所定以上である場合、処理はステップＳ１１０へ進む。照合度が所定未満である場合、処理はステップＳ１１１へ進む。
【００５６】
ステップＳ１１０では、端点候補が設定される。検出対象抽出部２８は、ステップＳ１０９で照合度が所定以上であると判定された比較領域に係るピークを、検出対象の端点候補として設定する。図７の下段には、破線で示された矩形をもって、比較領域Ａ１−Ａ３毎の、特徴点の比較結果が示されている。例えば、比較領域Ａ１、Ａ２では、全ての特徴点のオプティカルフローと理論値とが略一致しており、照合度が高いことが分かる。この場合、検出対象抽出部２８は、比較領域Ａ１、Ａ２に係るピークＰ１、Ｐ２が、検出対象の端点であり得ると判断し、ピークＰ１、Ｐ２を検出対象の端点候補として設定する。これに対して、比較領域Ａ３では、全ての特徴点のオプティカルフローと理論値とが一致も近似もしておらず、照合度が低いため、ピークＰ３は検出対象の端点となり得ない。端点候補が設定されると、処理はステップＳ１１１へ進む。
【００５７】
ステップＳ１１１では、全てのピークに係る比較領域について判定が終了したか否かが判定される。全てのピークに係る比較領域について判定が終了していない場合、処理はステップＳ１０７へ進む。全てのピークに係る比較領域について判定が終了した場合、処理はステップＳ１１２へ進む。即ち、本実施形態に示された物体検出処理の例では、全てのピークＰ１、Ｐ２、Ｐ３に係る比較領域Ａ１、Ａ２、Ａ３について、照合度の判定による端点候補としての適格性の判断が終了するまで、ステップＳ１０７からステップＳ１１１までに示された処理が繰り返される。
【００５８】
ステップＳ１１２では、検出対象の端点が設定される。端点設定部２９は、ステップＳ１０７からステップＳ１１１までに示された処理の繰り返しによって全てのピークについての判断処理が終了すると、端点候補のうち、最も左側にある端点候補（本実施形態では、ピークＰ１）を検出対象の左端点に設定し、最も右側にある端点候補（本実施形態では、ピークＰ２）を検出対象の右端点に設定する。なお、図７に示した例では、端点候補が２つのみ設定されているが、端点候補が３つ以上設定された場合にも、最も外側にある２つの端点候補を両端点に設定すること、即ち、最も左側にある端点候補を左端点に設定し、最も右側にある端点候補を右端点に設定することで、検出対象の左右の端点を設定可能である。検出対象の左右の端点が設定されると、本フローチャートに示された処理は終了する。
【００５９】
なお、検出対象が相対横速度を有する場合、換言すると、画像センサー３１による撮像範囲を横切るような移動を行う検出対象である場合、ミリ波レーダー３２と画像センサー３１との間の通信遅延やタイムラグ等が原因で、画像情報が取得された時点での画像内の検出対象の位置と、ミリ波レーダー３２によって検出された検出対象の位置と、にズレが生じる場合がある。しかし、本実施形態に係る物体検出装置１によれば、オプティカルフローの理論値と実際のオプティカルフローとの照合によって端点を特定するため、検出対象が相対横速度を有し、撮像時の位置とミリ波レーダー３２による検出位置とにズレが生じるような場合であっても、正確に検出対象の端点を特定することが可能である。
【００６０】
図８は、本実施形態において相対横速度を有する検出対象が検出される場合の処理方法の概要を示す図である。図８に示した例では、検出対象が撮像範囲を横切ることにより、レーダー３２による検出位置と撮像された位置とにズレが発生しているが、オプティカル
フローの理論値と実際のオプティカルフローとを比較することで検出対象に係るピークを特定した結果、正確に画像中の検出対象の端点を特定することに成功している。
【００６１】
また、このような相対横速度を有する対象を正確に検知し易くするために、処理領域を、画像情報中において検出対象が占めると推測される範囲よりも広く設定することとしてもよい。処理領域を、画像情報中において検出対象が占めると推測される範囲よりも広く設定することで、画像情報中の処理領域から検出対象が外れてしまうことによる誤検出の発生を回避することが出来る。
【００６２】
＜第二の実施形態＞
なお、上記説明した第一の実施形態では、比較領域に、検出対象に係る特徴点と背景に係る特徴点とが同時に含まれた場合、比較領域に含まれる検出対象と背景との比率によっては、検出対象を含む比較領域に係るピークが端点候補に設定されない等の誤検出が発生する可能性がある。このため、第二の実施形態に係る物体検出装置１ｂでは、第一の実施形態において説明した物体検出装置１に、更に部分領域設定部３０を備え、第一の実施形態において図３Ａを用いて説明した処理に続く処理として、図３Ｂに示した処理に代えて、図１０に示す処理を実行することで、誤検出の確率を更に低減させることとしている。
【００６３】
図９は、第二の実施形態に係る物体検出装置１ｂの機能構成の概略を示す図である。本実施形態に係る物体検出装置１ｂは、第一の実施形態において説明した物体検出装置１に、更に部分領域設定部３０を備える。
【００６４】
部分領域設定部３０は、比較領域内に、比較領域よりも狭い部分領域を設定する。ここで、部分領域設定部３０は、比較領域を分割することで部分領域を設定してもよいし、検出対象抽出手段による比較処理の都度、異なる領域を部分領域として設定してもよい。部分領域設定部３０によって部分領域が設定されると、検出対象抽出部２８は、部分領域毎に実際のオプティカルフローとオプティカルフローの理論値とを比較する。比較の結果、照合度が所定以上の部分領域が比較領域内に存在する場合に、検出対象抽出部２８は、この比較領域に含まれるピークを端点候補として抽出する。なお、物体検出装置１ｂのその他の構成および処理内容は第一の実施形態において説明した物体検出装置１と概略同様であるため、説明を省略する。
【００６５】
図１０は、本実施形態に係る物体検出処理の流れを示す図である。図１０に示された処理は、物体検出装置１ｂの動作中、所定時間毎に定期的に行われる図３Ａの処理に続いて実行される。なお、図１０に示された処理の順序や具体的な内容等は、本発明を実施するための処理の一例であり、物体検出処理の順序や具体的な内容等には、実施の形態に応じて適宜最適なものが採用されることが好ましい。
【００６６】
ステップＳ２０７では、比較領域が設定される。比較領域設定部２５は、ステップＳ１０６で抽出されたピークを基準として、後述するオプティカルフローの比較処理の単位となる比較領域を設定する。具体的な処理の詳細は図３ＢのステップＳ１０７において説明したものと概略同様であるため、説明を省略する。その後、処理はステップＳ２０８へ進む。
【００６７】
ステップＳ２０８では、比較領域において、部分領域が設定される。部分領域設定部３０は、ステップＳ２０７で設定された比較領域を、比較領域よりも小さい数個の部分領域に分割することで、部分領域を設定する。
【００６８】
図１１は、本実施形態において、比較領域が更に分割されることで設定された部分領域を示す図である。図１１に示した例では、比較領域Ａ４が３つに分割されることで、部分
領域Ｂ１、Ｂ２、Ｂ３が設定される。
【００６９】
なお、本実施形態では、部分領域は、比較領域を更に小さな領域に分割することで設定されるが、このような方法に代えて、比較領域内に小さな領域（部分領域）を設定し、オプティカルフローの比較処理の都度部分領域をずらしながら照合度が高い領域を探索する方法が採用されてもよい。部分領域が設定されると、処理はステップＳ２０９へ進む。
【００７０】
ステップＳ２０９では、比較領域に含まれる部分領域について、理論値と実際のオプティカルフローとが比較され、照合度が算出される。検出対象抽出部２８は、ステップＳ２０８で設定された部分領域において、予め算出されたオプティカルフローの理論値と、実際のオプティカルフローとの差分を算出することで、理論値と実際のオプティカルフローとを比較し、比較の結果理論値と実際のオプティカルフローがどの程度近似しているかを示す照合度を算出する。照合度は、例えば、部分領域に含まれる特徴点のうち、理論値と実際のオプティカルフローとの差分が予め設定されている閾値以下である特徴点がどれだけの割合を占めているかを算出する方法等を用いて算出することが出来る。照合度が算出されると、処理はステップＳ２１０へ進む。
【００７１】
ステップＳ２１０では、比較領域内に、照合度が所定以上の部分領域が存在するか否かが判定される。検出対象抽出部２８は、ステップＳ２０９で算出された照合度を、所定の閾値と比較することで、算出された照合度が所定以上であるか否かを判定する。更に、検出対象抽出部２８は、比較領域に含まれる部分領域のうち、照合度が所定以上である部分領域が存在するか否かを判定する。
【００７２】
図１１に示した例では、部分領域Ｂ１およびＢ２の照合度が所定以上であり、比較領域Ａ４には照合度が所定以上の部分領域が含まれているといえる。なお、道路上の白線に係る部分領域Ｂ３については、照合度が所定未満であることが分かる。照合度が所定以上である部分領域が存在する場合、処理はステップＳ２１１へ進む。照合度が所定以上である部分領域が存在しない場合、処理はステップＳ２１２へ進む。
【００７３】
なお、本フローチャートでは、照合度が所定以上である部分領域が存在する場合に、ピークを端点候補とする処理を採用しているが、このような判定手法に代えて、所定数または所定割合以上の部分領域の照合度が所定以上であるか否かを判定することとしてもよい。この場合、検出対象抽出部２８は、比較領域に含まれる部分領域のうち、照合度が所定以上である部分領域の数または割合を算出し、これを閾値と比較する。比較の結果、照合度が所定以上である部分領域の数または割合が所定以上である場合、処理はステップＳ２１１へ進む。照合度が所定以上である部分領域の数または割合が所定未満である場合、処理はステップＳ２１２へ進む。
【００７４】
ステップＳ２１１では、端点候補が設定される。検出対象抽出部２８は、ステップＳ２１０で照合度が所定以上である部分領域が存在する判定された比較領域に係るピークを、検出対象の端点候補として設定する。図１１に示した例では、比較領域Ａ４に係るピークＰ４は、端点候補として設定される。端点候補が設定されると、処理はステップＳ２１２へ進む。
【００７５】
ステップＳ２１２では、全てのピークに係る比較領域について判定が終了したか否かが判定される。全てのピークに係る比較領域について判定が終了していない場合、処理はステップＳ２０７へ進む。全てのピークに係る比較領域について判定が終了した場合、処理はステップＳ２１３へ進む。
【００７６】
ステップＳ２１３では、検出対象の端点が設定される。端点設定部２９は、ステップＳ
２０７からステップＳ２１２までに示された処理の繰り返しによって全てのピークについての判断処理が終了すると、端点候補のうち、最も左側にある端点候補を検出対象の左端点に設定し、最も右側にある端点候補を検出対象の右端点に設定する。なお、端点候補が３つ以上設定された場合にも、最も外側にある２つの端点候補を両端点に設定することで、検出対象の左右の端点を設定可能である。検出対象の左右の端点が設定されると、本フローチャートに示された処理は終了する。
【００７７】
上記第一の実施形態に係る物体検出装置１、および第二の実施形態に係る物体検出装置１ｂによれば、画像情報から得られた実際のオプティカルフローと、ミリ波情報に基づいて算出されたオプティカルフローの理論値と、を比較することで、実際のオプティカルフローが、距離および相対速度に係る検出対象に係るものであるか否かを判断し、画像情報における対象の検出精度を向上させることが出来る。
【００７８】
なお、従来、単眼で撮像された画像から立体物を検出する手法（例えば、パターン認識や移動ステレオ等）も存在しているが、精度およびコストの面で制約がある。例えば、パターン認識には、学習データにより認識できるパターンが限定され、歩行者の向きや日のあたり方等により精度が低下する、処理に必要なリソースが大きい、等の問題がある。また、移動ステレオには、距離算出精度が低い、処理量および計算精度の面から自車両の移動量算出が困難、等の問題がある。本実施形態に係る物体検出装置１によれば、画像情報における対象の検出精度が向上する効果が得られることに加えて、単眼で撮像された画像を用いた高精度での検出が可能となり、コストやリソース上有利な装置構成で実現することが可能である。但し、本願発明は、単眼で撮像された画像のみならず、ステレオ撮像等その他の方式で撮像された画像を用いても当然に実施可能である。
【符号の説明】
【００７９】
１、１ｂ 物体検出装置
２１ 距離・速度取得部
２２ 画像情報取得部
２５ 比較領域設定部
２６ 理論値算出部
２７ オプティカルフロー取得部
２８ 検出対象抽出部
２９ 端点設定部
３０ 部分領域設定部
【特許請求の範囲】
【請求項１】
撮像装置によって撮像された画像情報に含まれる検出対象を検出する物体検出装置であって、
前記画像情報における、該画像情報に含まれる特徴点毎の実際のオプティカルフローを取得するオプティカルフロー取得手段と、
測定装置によって測定された、該測定装置と前記検出対象との間の距離および相対速度に係る情報を取得する距離・速度取得手段と、
前記距離・速度取得手段によって取得された情報に係る検出対象が前記撮像装置によって撮像されたと仮定した場合のオプティカルフローの理論値を、前記距離および相対速度に係る情報に基づいて算出する理論値算出手段と、
前記オプティカルフロー取得手段によって取得された前記特徴点毎の実際のオプティカルフローと、前記理論値とを比較し、前記実際のオプティカルフローが前記理論値に一致または近似する特徴点を、前記検出対象上の点として抽出する検出対象抽出手段と、
を備える、物体検出装置。
【請求項２】
前記画像情報に含まれる特徴点のうち、特に周辺との差分が大きいピークを基準に、前記検出対象抽出手段による比較の対象となる比較領域を設定する比較領域設定手段を更に備え、
前記検出対象抽出手段は、前記比較領域における前記実際のオプティカルフローが前記理論値に一致または近似する場合に、該比較領域に含まれる前記ピークを、前記検出対象上の点として抽出する、
請求項１に記載の物体検出装置。
【請求項３】
前記比較領域内に、該比較領域よりも狭い部分領域を設定する部分領域設定手段を更に備え、
前記検出対象抽出手段は、前記比較領域に、前記実際のオプティカルフローが前記理論値に一致または近似する前記部分領域が存在する場合に、該比較領域に含まれる前記ピークを、前記検出対象上の点として抽出する、
請求項２に記載の物体検出装置。
【請求項４】
前記部分領域設定手段は、前記比較領域を分割することで、前記部分領域を設定する、
請求項３に記載の物体検出装置。
【請求項５】
前記部分領域設定手段は、前記検出対象抽出手段による比較処理の都度、異なる領域を前記部分領域として設定する、
請求項３に記載の物体検出装置。
【請求項６】
前記検出対象抽出手段によって抽出された前記検出対象上の点のうち、最も外側にある２点を、前記検出対象の両端点として設定する端点設定手段を更に備える、
請求項１から５の何れか一項に記載の物体検出装置。
【請求項７】
撮像装置によって撮像された画像情報に含まれる検出対象を検出する物体検出方法であって、
前記画像情報における、該画像情報に含まれる特徴点毎の実際のオプティカルフローを取得するオプティカルフロー取得ステップと、
測定装置によって測定された、該測定装置と前記検出対象との間の距離および相対速度に係る情報を取得する距離・速度取得ステップと、
前記距離・速度取得ステップにおいて取得された情報に係る検出対象が前記撮像装置によって撮像されたと仮定した場合のオプティカルフローの理論値を、前記距離および相対
速度に係る情報に基づいて算出する理論値算出ステップと、
前記オプティカルフロー取得ステップにおいて取得された前記特徴点毎の実際のオプティカルフローと、前記理論値とを比較し、前記実際のオプティカルフローが前記理論値に一致または近似する特徴点を、前記検出対象上の点として抽出する検出対象抽出ステップと、
を備える、物体検出方法。
【請求項１】
撮像装置によって撮像された画像情報に含まれる検出対象を検出する物体検出装置であって、
前記画像情報における、該画像情報に含まれる特徴点毎の実際のオプティカルフローを取得するオプティカルフロー取得手段と、
測定装置によって測定された、該測定装置と前記検出対象との間の距離および相対速度に係る情報を取得する距離・速度取得手段と、
前記距離・速度取得手段によって取得された情報に係る検出対象が前記撮像装置によって撮像されたと仮定した場合のオプティカルフローの理論値を、前記距離および相対速度に係る情報に基づいて算出する理論値算出手段と、
前記オプティカルフロー取得手段によって取得された前記特徴点毎の実際のオプティカルフローと、前記理論値とを比較し、前記実際のオプティカルフローが前記理論値に一致または近似する特徴点を、前記検出対象上の点として抽出する検出対象抽出手段と、
を備える、物体検出装置。
【請求項２】
前記画像情報に含まれる特徴点のうち、特に周辺との差分が大きいピークを基準に、前記検出対象抽出手段による比較の対象となる比較領域を設定する比較領域設定手段を更に備え、
前記検出対象抽出手段は、前記比較領域における前記実際のオプティカルフローが前記理論値に一致または近似する場合に、該比較領域に含まれる前記ピークを、前記検出対象上の点として抽出する、
請求項１に記載の物体検出装置。
【請求項３】
前記比較領域内に、該比較領域よりも狭い部分領域を設定する部分領域設定手段を更に備え、
前記検出対象抽出手段は、前記比較領域に、前記実際のオプティカルフローが前記理論値に一致または近似する前記部分領域が存在する場合に、該比較領域に含まれる前記ピークを、前記検出対象上の点として抽出する、
請求項２に記載の物体検出装置。
【請求項４】
前記部分領域設定手段は、前記比較領域を分割することで、前記部分領域を設定する、
請求項３に記載の物体検出装置。
【請求項５】
前記部分領域設定手段は、前記検出対象抽出手段による比較処理の都度、異なる領域を前記部分領域として設定する、
請求項３に記載の物体検出装置。
【請求項６】
前記検出対象抽出手段によって抽出された前記検出対象上の点のうち、最も外側にある２点を、前記検出対象の両端点として設定する端点設定手段を更に備える、
請求項１から５の何れか一項に記載の物体検出装置。
【請求項７】
撮像装置によって撮像された画像情報に含まれる検出対象を検出する物体検出方法であって、
前記画像情報における、該画像情報に含まれる特徴点毎の実際のオプティカルフローを取得するオプティカルフロー取得ステップと、
測定装置によって測定された、該測定装置と前記検出対象との間の距離および相対速度に係る情報を取得する距離・速度取得ステップと、
前記距離・速度取得ステップにおいて取得された情報に係る検出対象が前記撮像装置によって撮像されたと仮定した場合のオプティカルフローの理論値を、前記距離および相対
速度に係る情報に基づいて算出する理論値算出ステップと、
前記オプティカルフロー取得ステップにおいて取得された前記特徴点毎の実際のオプティカルフローと、前記理論値とを比較し、前記実際のオプティカルフローが前記理論値に一致または近似する特徴点を、前記検出対象上の点として抽出する検出対象抽出ステップと、
を備える、物体検出方法。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１２９０６０（Ｐ２０１１−１２９０６０Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２００９−２８９６１７（Ｐ２００９−２８９６１７）
【出願日】平成２１年１２月２１日（２００９．１２．２１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年１２月２１日（２００９．１２．２１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]