物体認識装置
【課題】 物体を識別できない場合においても、物体の移動を予測して危険度の推定を行うことを可能とする物体認識装置を提供する。
【解決手段】 物体認識装置１０は、センサ入力部１、物体識別部２及びモデル配置部４を備えている。センサ入力部１は、自車両の周辺に存在する物体を検出する。物体識別部２は、検出された物体の識別を行う。モデル配置部４は、物体識別部２が物体を識別できない場合に、物体の大きさに基づいて、センサ入力部１で検出された物体を含む物体領域に対して物体モデルを配置する。
【解決手段】 物体認識装置１０は、センサ入力部１、物体識別部２及びモデル配置部４を備えている。センサ入力部１は、自車両の周辺に存在する物体を検出する。物体識別部２は、検出された物体の識別を行う。モデル配置部４は、物体識別部２が物体を識別できない場合に、物体の大きさに基づいて、センサ入力部１で検出された物体を含む物体領域に対して物体モデルを配置する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された物体認識装置に関する。
【背景技術】
【０００２】
上記技術分野の従来の物体認識装置として、例えば特許文献１に記載の移動体・施設制御システムが知られている。特許文献１に記載の移動体・施設制御システムは、移動体を観測して得られる画像情報に対して所定の処理を施し、処理後の画像情報に基づいて、移動体の属性を識別する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−６５００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の移動体・施設制御システムによれば、上記のようにして識別した移動体の属性に基づいて、移動体の移動を予測して危険度の推定を行うことが可能となる。しかしながら、特許文献１に記載の移動体・施設制御システムにあっては、観測対象の移動体が複数であって、ぞれぞれの移動体の一部分同士が観測方向に重なっている場合等には、当該複数の移動体が１つの移動体として認識されてしまう虞がある。このように複数の移動体が１つの移動体として認識された場合には、移動体の属性を識別できず、その結果、移動体の移動を予測して危険度の推定を行うことが困難となることがある。
【０００５】
本発明は、そのような事情に鑑みてなされたものであり、物体を識別できない場合においても、物体の移動を予測して危険度の推定を行うことを可能とする物体認識装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の物体認識装置は、車両に搭載された物体認識装置であって、車両の周辺の物体を検出する物体検出センサと、物体検出センサの検出結果に基づいて物体を識別する識別手段と、識別手段が物体を識別できない場合に、検出結果から得られる物体の大きさに対応する物体モデルを、物体検出センサにより検出された物体を含む物体領域に対して配置するモデル配置手段と、を備えることを特徴とする。
【０００７】
この物体認識装置においては、識別手段が物体を識別できない場合に、モデル配置手段が、物体の大きさに対応する物体モデルを物体領域に対して配置する。このため、識別手段によって物体の識別ができない場合であっても、物体領域に配置された物体モデルを利用することによって、物体の移動を予測して危険度の推定を行うことを可能となる。
【０００８】
本発明の物体認識装置においては、モデル配置手段は、検出結果から得られる物体の移動速度に基づいて、物体領域に配置する物体モデルを決定することが好ましい。この場合、物体の移動速度に基づいて物体モデル決定するので、実際の物体の移動速度に即した危険度の推定が可能となる。
【０００９】
また、本発明の物体認識装置においては、モデル配置手段は、検出結果から得られる物体の移動速度に応じた占有空間を物体モデルに設定し、該占有空間を考慮して、物体領域に対して物体モデルを配置することが好ましい。この場合、物体の移動速度に応じた占有空間を考慮して物体モデルが配置されるので、物体領域に対して過剰に物体モデルが配置されることが防止される。
【００１０】
さらに、本発明の物体認識装置においては、モデル配置手段は、検出結果の信頼度に応じた重みを検出結果に付与し、該重みが付与された検出結果に基づいて、物体領域に配置する物体モデルを決定することが好ましい。この場合、例えば、検出手段によって信頼度が異なる複数の検出結果が得られた場合においても、より実際の物体に即した物体モデルを決定することができる。
【発明の効果】
【００１１】
本発明によれば、物体を識別できない場合においても、物体の移動を予測して危険度の推定を行うことが可能となる。その結果、適切な運転支援が可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の物体認識装置の第１実施形態の構成を示すブロック図である。
【図２】図１に示された物体認識装置の動作を示すフローチャートである。
【図３】図１に示された物体認識装置の動作を説明するための図である。
【図４】本発明の物体認識装置の第２実施形態の構成を示すブロック図えある。
【図５】図４に示された物体認識装置の動作を示すフローチャートである。
【図６】物体モデルの決定の様子を示す図である。
【図７】占有空間の設定の様子を示す図である。
【図８】物体モデルの配置の様子を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明に係わる物体認識装置の好適な実施形態について、図面を参照して詳細に説明する。なお、図面の説明において、同一の要素には同一の符号を付し、重複する説明を省略する。
【００１４】
［第１実施形態］
図１は、本発明の物体認識装置の第１実施形態の構成を示すブロック図である。図１に示されるように、本実施形態に係る物体認識装置１０は、センサ入力部（物体検出センサ）１、物体識別部（識別手段）２、物体識別データベース３、モデル配置部（モデル配置手段）４、物体モデルデータベース５、及び、危険度推定部６を備えている。このような物体認識装置１０は車両に搭載されている。
【００１５】
センサ入力部１は、車両の周辺に存在する物体を検出する。センサ入力部１は、例えば、カメラやレーザレンジファインダ等の外界認識センサとすることができる。以下では、センサ入力部１が検出した物体を認識対象物体と称する。
【００１６】
物体識別部２は、センサ入力部１の検出結果に基づいて、認識対象物体の位置や大きさを取得する。その際、例えばセンサ入力部１がカメラである場合には、その検出結果に含まれるテクスチャ情報（絵柄情報）を使用するＳＩＦＴやＨＯＧを用いることができる。また、物体識別部２は、認識対象物体を含む物体領域や認識対象物体の移動速度を推定する。
【００１７】
また、物体識別部２は、物体識別データベース３に格納された情報（例えば、テクスチャパターンを登録した辞書等）を参照することにより、認識対象物体の大きさ等に基づいて、認識対象物体の識別を行う。なお、ここでの認識対象物体の識別とは、認識対象物体が歩行者であるのか車両であるのか、或いは、乗用車であるのかトラックであるのか等を認識することである。
【００１８】
モデル配置部４は、物体識別部２が認識対象物体を識別できない場合に、認識対象物体の大きさに対応する物体モデルを物体領域に配置する。その際に、モデル配置部４は、物体モデルデータベース５が保持する各種の物体モデルを参照する。
【００１９】
物体モデルデータベース５が保持する物体モデルとしては、歩行者をモデル化した歩行者モデルや、車両をモデル化した車両モデル等が例示される。また、物体モデルデータベース５が保持する各種の物体モデルのそれぞれには、大きさや移動速度等が登録されている。
【００２０】
危険度推定部６は、物体識別部２による認識対象物体の識別結果や認識対象物体の移動速度を利用して、或いは、物体領域に配置された物体モデルを利用して、認識対象物体の移動を予測して危険度の推定を行う。
【００２１】
なお、物体識別部２、モデル配置部４及び危険度推定部６は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を含むコンピュータを主体として構成される電子制御ユニット（ＥＣＵ）を用いて構成される。
【００２２】
次に、物体認識装置１０の動作について説明する。図２は、物体認識装置１０の動作を示すフローチャートである。物体認識装置１０においては、図２に示されるように、まず、センサ入力部１が車両の周辺に存在する物体の検出を行う（ステップＳ１）。
【００２３】
図３（ａ）は、センサ入力部１がレーザレンジファインダである場合の検出結果の一例を示す図である。図３（ａ）に示されるように、ここでは、例えばレーザの反射点Ｒの集合Ｓとして認識対象物体が検出される。そして、センサ入力部１は、そのような検出結果を示す情報を、物体識別部２に送信する。
【００２４】
続いて、物体識別部２が、ステップＳ１でセンサ入力部１から送信された検出結果を示す情報に基づいて、認識対象物体の位置や大きさを取得する（ステップＳ２）。
【００２５】
続いて、物体識別部２が、センサ入力部１から送信される検出結果を示す情報に基づいて、認識対象物体を含む物体領域や認識対象物体の移動速度を推定する（ステップＳ３）。ここで、物体領域は、例えば、図３（ａ）に示されるように、２つの近接する集合Ｓを含む領域Ａとして推定される。
【００２６】
続いて、物体識別部２が、物体識別データベース３を参照することにより、ステップＳ２，３で取得・推定した認識対象物体の位置や大きさや移動速度に基づいて、認識対象物体の識別を行う（ステップＳ４）。
【００２７】
続いて、物体識別部２が、認識対象物体の識別が成功したか否かを判定する（ステップＳ５）。この判定の結果、認識対象物体の識別が成功した場合、物体識別部２は、識別結果を示す識別情報と、ステップＳ３で推定した認識対象物体の移動速度を示す速度情報とを危険度推定部６に送信する（ステップＳ６）。
【００２８】
一方、ステップＳ５の判定の結果、認識対象物体の識別が失敗した場合、物体識別部２は、ステップＳ２で取得した認識対象物体の大きさを示す大きさ情報、及び、ステップＳ３で推定した物体領域を示す物体領域情報をモデル配置部４に送信する（ステップＳ７）。
【００２９】
続いて、モデル配置部４が、物体モデルデータベース５が保持する各種の物体モデルを参照し、ステップＳ７で物体識別部２から送信された大きさ情報に基づいて、認識対象物体の大きさに対応する物体モデルを認識対象物体に当て嵌める（ステップＳ８）。換言すれば、モデル配置部４は、物体モデルデータベース５が保持する各種の物体モデルから、認識対象物体の大きさに適合する物体モデルを選別する。なお、ここでの認識対象物体の大きさとは、認識対象物体の面積や形状等を含む。
【００３０】
続いて、モデル配置部４が、ステップＳ８で認識対象物体に当て嵌めた物体モデルを物体領域に対して配置する（ステップＳ９）。このとき、例えば、認識対象物体の大きさに対応する物体モデルが歩行者モデルであった場合、図３（ｂ）に示されるように、物体領域Ａに納まるように３つの歩行者モデルＭ１を配置する。すなわち、認識対象物体の面積よりも小さく、かつ、認識対象物体の形状に包含されるような物体モデルを選別するように構成してもよい。
【００３１】
そして、危険度推定部６が、ステップＳ６で物体識別部２から送信された識別情報と速度情報とを利用して、或いは、ステップＳ９で物体領域に配置された物体モデルを利用して、認識対象物体の移動を予測して危険度の推定を行う（ステップＳ１０）。
【００３２】
以上説明したように、本実施形態に係わる物体認識装置１０においては、まず、物体識別部２によって認識対象物体の識別が行われる。その後、物体識別部２による認識対象物体の識別が失敗した場合（即ち、認識対象物体が不明物体である場合）、モデル配置部４によって、認識対象物体の大きさに対応する物体モデルが選別されて物体領域に配置される。このため、物体認識装置１０によれば、認識対象物体が識別できない場合であっても、物体領域に配置された物体モデルを利用し、認識対象物体の移動を予測して危険度の推定を行うことができる。
【００３３】
［第２実施形態］
図４は、本実施形態に係わる物体認識装置の構成を示すブロック図である。図４に示されるように、物体認識装置２０は、第１実施形態に係わる物体認識装置１０のセンサ入力部１及びモデル配置部４に換えて、センサ入力部１１及びモデル配置部１４を備えている。このような物体認識装置２０も、物体認識装置１０と同様に車両に搭載されている。
【００３４】
センサ入力部１１は、センサ入力部１と同様に、カメラやレーザレンジファインダ等の外界認識センサであって、車両の周辺に存在する物体を検出する。ただし、センサ入力部１１の検出結果には、その信頼度を示す情報が付されている。
【００３５】
検出結果の信頼度は、例えば、センサ入力部１１の種類や性能に応じて評価することができる。具体的には、検出結果の信頼度は、センサ入力部１１がカメラである場合にはエッジの強弱等に基づいて、センサ入力部１１がレーザレンジファインダである場合にはレーザの反射強度の強弱等に基づいて評価することができる。
【００３６】
モデル配置部１４は、物体識別部２が認識対象物体を識別できない場合に、物体モデルデータベース５が保持する各種の物体モデルを参照して、認識対象物体の大きさに対応する物体モデルを物体領域に対して配置する。その際に、モデル配置部１４は、検出結果の信頼度に応じた重みを検出結果に付与し、重みが付与された検出結果に基づいて、物体領域に配置する物体モデルを決定する。
【００３７】
また、モデル配置部１４は、物体識別部２が認識対象物体を識別できない場合に、認識対象物体の移動速度に基づいて、物体領域に配置する物体モデルを決定する。さらに、モデル配置部１４は、物体識別部２が認識対象物体を識別できない場合に、認識対象物体の移動速度に応じた占有空間を物体モデルに設定し、その占有空間を考慮して、物体領域に対して物体モデルを配置する。
【００３８】
なお、モデル配置部１４は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を含むコンピュータを主体として構成される電子制御ユニットを用いて構成される。
【００３９】
次に、物体認識装置２０の動作について説明する。図５は、物体認識装置２０の動作を示すフローチャートである。物体認識装置２０においては、図５に示されるように、まず、センサ入力部１１が車両の周辺に存在する物体の検出を行う（ステップＳ１１）。そして、センサ入力部１１は、信頼度が付与された検出結果を示す情報を、物体識別部２及びモデル配置部１４に送信する。
【００４０】
続いて、物体識別部２が、ステップＳ１１でセンサ入力部１１から送信された検出結果を示す情報に基づいて、認識対象物体の位置や大きさを取得する（ステップＳ１２）。続いて、物体識別部２が、検出結果を示す情報に基づいて、認識対象物体を含む物体領域や認識対象物体の移動速度を推定する（ステップＳ１３）。
【００４１】
続いて、物体識別部２が、物体識別データベース３を参照することにより、ステップＳ１２，１３で取得・推定した認識対象物体の位置や大きさや移動速度に基づいて、認識対象物体の識別を行う（ステップＳ１４）。
【００４２】
続いて、物体識別部２が、認識対象物体の識別が成功したか否かを判定する（ステップＳ１５）。この判定の結果、認識対象物の識別が成功した場合、物体識別部２は、識別結果を示す識別情報と、ステップＳ１３で推定した認識対象物体の移動速度を示す速度情報とを危険度推定部６へ送信する（ステップＳ１６）。
【００４３】
一方、ステップＳ１５の判定の結果、認識対象物体の識別が失敗した場合、物体識別部２は、ステップＳ１３で推定した物体領域を示す物体領域情報と速度情報とをモデル配置部１４へ送信する（ステップＳ１７）。
【００４４】
続いて、モデル配置部１４が、ステップＳ１１でセンサ入力部１１から送信された検出結果を示す情報に基づいて、検出結果に対してその信頼度に応じた重みを付与する（ステップＳ１８）。より具体的には、例えば、検出結果が、図６に示されるように、一点鎖線で示された検出結果Ｃ２と、二点鎖線で示された検出結果Ｃ３との２つであった場合、検出結果Ｃ２，Ｃ３のそれぞれに対して重み付けを行う。
【００４５】
この重み付けは、例えば、検出結果Ｃ２の信頼度と検出結果Ｃ３の信頼度とを比較して、検出結果Ｃ２の信頼度の方が検出結果Ｃ３の信頼度よりも高い場合には、検出結果Ｃ２の重みを検出結果Ｃ３の重みよりも大きくするといったように行われる。
【００４６】
続いて、モデル配置部１４が、物体モデルデータベース５が保持する各種の物体モデルを参照し、重みが付与された検出結果に基づいて、認識対象物体の大きさに対応する物体モデルを認識対象物体に当て嵌める（ステップＳ１９）。換言すれば、モデル配置部１４は、物体モデルデータベース５が保持する各種の物体モデルから、検出結果の信頼度を考慮した上で、検出結果に基づき、認識対象物体の大きさに適合する物体モデルを選別する。
【００４７】
より具体的には、検出結果Ｃ２の方が検出結果Ｃ３よりも信頼度が高く、大きな重みが付与されている場合には、例えば、図６に示されるように、検出結果Ｃ３に即した高さのある物体モデルＭ３（例えばトラック等の車両モデル）でなく、検出結果Ｃ２に即した高さのない物体モデルＭ２（例えば乗用車等の車両モデル）を認識対象物体に当て嵌める。
【００４８】
続いて、モデル配置部１４が、認識対象物体の移動速度に基づいて、物体領域に配置する物体モデルを決定する（ステップＳ２０）。このステップＳ２０においては、モデル配置部１４は、物体モデルデータベース５が保持する各種の物体モデルから、認識対象物体の移動速度に適合する物体モデルを選別する。
【００４９】
例えば、ステップＳ１９で認識対象物体に当て嵌められた物体モデルが歩行者モデルであって、認識対象物体の移動速度が時速５０ｋｍであった場合、歩行者が時速５０ｋｍで移動することが困難であることから、物体領域に配置する物体モデルを、時速５０ｋｍで移動可能な車両モデルとして決定する。つまり、モデル配置部１４は、認識対象物体の大きさよりも移動速度を優先して物体モデルを決定する。
【００５０】
続いて、モデル配置部１４が、認識対象物体の移動速度に応じた占有空間を、ステップＳ２０で決定された物体モデルに設定する（ステップＳ２１）。一般に、静止している車両においては、縦列駐車等により他車両との間隔が狭い場合がある。このため、ステップＳ２０で決定された物体モデルが車両モデルであり、認識対象物体の移動速度が比較的小さい場合には（認識対象物体が静止中である場合には）、モデル配置部１４は、図７（ａ）に示されるように、前後方向に短い占有空間Ｐ４を物体モデルＭ４に設定する。
【００５１】
一方で、移動している車両においては、その移動速度に応じて他車両との間隔が大きくなる場合がある。このため、ステップＳ２０で決定された物体モデルが車両モデルであり、認識対象物体の移動速度が比較的大きい場合には（認識対象物体が移動中である場合には）、モデル配置部１４は、図７（ｂ）に示されるように、移動方向（前方向）に延長された占有空間Ｐ５を物体モデルＭ５に設定する。
【００５２】
さらに、ステップＳ２０で決定された物体モデルが歩行者モデルである場合には、モデル配置部１４は、図７（ｃ）に示されるように、例えば半径５０ｃｍ程度の円形の占有空間Ｐ６を物体モデルＭ６に設定する。
【００５３】
続いて、モデル配置部１４が、ステップＳ２１で設定した占有空間を考慮して、物体領域に対して物体モデルを配置する（ステップＳ２２）。より具体的には、例えば、物体モデルが歩行者モデルである場合には、図８に示されるように、互いの占有空間Ｐ６が重ならないように、物体領域Ａに対して物体モデルＭ６を４つ配置する。
【００５４】
そして、危険度推定部６が、ステップＳ１６で物体識別部２から送信された識別情報と速度情報とを利用して、或いは、ステップＳ２２で物体領域に配置された物体モデルを利用して、認識対象物体の移動を予測して危険度の推定を行う（ステップＳ２３）。
【００５５】
以上説明したように、本実施形態に係わる物体認識装置２０においても、第１実施形態に係わる物体認識装置１０と同様に、認識対象物体が識別できない場合であっても、物体領域に配置された物体モデルを利用し、認識対象物体の移動を予測して危険度の推定を行うことができる。
【００５６】
また、本実施形態に係わる物体認識装置２０においては、センサ入力部１１の検出結果の信頼度を考慮して、モデル配置部１４が認識対象物体に物体モデルを当て嵌める。このため、物体モデルの当て嵌めの精度が向上する。
【００５７】
また、本実施形態に係わる物体認識装置２０においては、認識対象物体の大きさに適合するように選別した物体モデルが、認識対象物体の移動速度に適合しない場合には、移動速度を優先して物体モデルを決定する。このため、物体の大きさを誤って認識した場合であっても、移動速度が合致する物体モデルを用いて、最悪条件での危険度の推定が可能となる。
【００５８】
さらに、本実施形態に係わる物体認識装置２０においては、モデル配置部１４が、認識対象物体の移動速度に応じた占有空間を物体モデルに設定して、その占有空間を考慮して、物体領域に対して物体モデルを配置する。このため、占有空間に対して過剰に物体モデルを配置することが避けられる。その結果、危険度推定部６における危険度の推定に際して、危険度推定部６の演算負荷を低減することができる。
【００５９】
なお、本実施形態に係わる物体認識装置２０は、検出結果の信頼度を考慮した物体モデルの当て嵌めの後に、認識対象物体の移動速度に基づいた物体モデルの決定と、占有空間を考慮した物体モデルの配置とを行っているが、そのうちのいずれか一方のみを行う態様としてもよい。
【００６０】
上述した第１及び第２実施形態に係る物体認識装置１０及び物体認識装置２０においては、認識対象物体が大きい場合に、物体領域も大きいものとなる。そのような場合には、物体領域に対する物体モデルの配置の自由度が高く、ステップＳ９及びステップＳ２２において、複数の物体モデル配置パターンが発生することがある。
【００６１】
そこで、モデル配置部４及びモデル配置部１４は、ステップＳ９及びステップＳ２２において物体領域に対する物体モデルの配置パターンが複数発生した場合に、それらの複数の配置パターンのうちの最も移動速度が大きい配置パターンを、危険度推定に供するものとして決定することが好ましい。
【００６２】
この場合、危険度推定部６において危険度の推定を行う際に、多数の配置パターンについての演算を行うことが避けられるので、危険度推定部６の処理負荷が低減される。
【符号の説明】
【００６３】
１，１１…センサ入力部（物体検出センサ）、２…物体識別部（識別手段）、４，１４…モデル配置部（モデル配置手段）、１０，２０…物体認識装置、Ａ…物体領域、Ｃ２，Ｃ３…検出結果、Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，Ｍ６…物体モデル、Ｐ４，Ｐ５，Ｐ６…占有空間。
【技術分野】
【０００１】
本発明は、車両に搭載された物体認識装置に関する。
【背景技術】
【０００２】
上記技術分野の従来の物体認識装置として、例えば特許文献１に記載の移動体・施設制御システムが知られている。特許文献１に記載の移動体・施設制御システムは、移動体を観測して得られる画像情報に対して所定の処理を施し、処理後の画像情報に基づいて、移動体の属性を識別する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−６５００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の移動体・施設制御システムによれば、上記のようにして識別した移動体の属性に基づいて、移動体の移動を予測して危険度の推定を行うことが可能となる。しかしながら、特許文献１に記載の移動体・施設制御システムにあっては、観測対象の移動体が複数であって、ぞれぞれの移動体の一部分同士が観測方向に重なっている場合等には、当該複数の移動体が１つの移動体として認識されてしまう虞がある。このように複数の移動体が１つの移動体として認識された場合には、移動体の属性を識別できず、その結果、移動体の移動を予測して危険度の推定を行うことが困難となることがある。
【０００５】
本発明は、そのような事情に鑑みてなされたものであり、物体を識別できない場合においても、物体の移動を予測して危険度の推定を行うことを可能とする物体認識装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の物体認識装置は、車両に搭載された物体認識装置であって、車両の周辺の物体を検出する物体検出センサと、物体検出センサの検出結果に基づいて物体を識別する識別手段と、識別手段が物体を識別できない場合に、検出結果から得られる物体の大きさに対応する物体モデルを、物体検出センサにより検出された物体を含む物体領域に対して配置するモデル配置手段と、を備えることを特徴とする。
【０００７】
この物体認識装置においては、識別手段が物体を識別できない場合に、モデル配置手段が、物体の大きさに対応する物体モデルを物体領域に対して配置する。このため、識別手段によって物体の識別ができない場合であっても、物体領域に配置された物体モデルを利用することによって、物体の移動を予測して危険度の推定を行うことを可能となる。
【０００８】
本発明の物体認識装置においては、モデル配置手段は、検出結果から得られる物体の移動速度に基づいて、物体領域に配置する物体モデルを決定することが好ましい。この場合、物体の移動速度に基づいて物体モデル決定するので、実際の物体の移動速度に即した危険度の推定が可能となる。
【０００９】
また、本発明の物体認識装置においては、モデル配置手段は、検出結果から得られる物体の移動速度に応じた占有空間を物体モデルに設定し、該占有空間を考慮して、物体領域に対して物体モデルを配置することが好ましい。この場合、物体の移動速度に応じた占有空間を考慮して物体モデルが配置されるので、物体領域に対して過剰に物体モデルが配置されることが防止される。
【００１０】
さらに、本発明の物体認識装置においては、モデル配置手段は、検出結果の信頼度に応じた重みを検出結果に付与し、該重みが付与された検出結果に基づいて、物体領域に配置する物体モデルを決定することが好ましい。この場合、例えば、検出手段によって信頼度が異なる複数の検出結果が得られた場合においても、より実際の物体に即した物体モデルを決定することができる。
【発明の効果】
【００１１】
本発明によれば、物体を識別できない場合においても、物体の移動を予測して危険度の推定を行うことが可能となる。その結果、適切な運転支援が可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の物体認識装置の第１実施形態の構成を示すブロック図である。
【図２】図１に示された物体認識装置の動作を示すフローチャートである。
【図３】図１に示された物体認識装置の動作を説明するための図である。
【図４】本発明の物体認識装置の第２実施形態の構成を示すブロック図えある。
【図５】図４に示された物体認識装置の動作を示すフローチャートである。
【図６】物体モデルの決定の様子を示す図である。
【図７】占有空間の設定の様子を示す図である。
【図８】物体モデルの配置の様子を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明に係わる物体認識装置の好適な実施形態について、図面を参照して詳細に説明する。なお、図面の説明において、同一の要素には同一の符号を付し、重複する説明を省略する。
【００１４】
［第１実施形態］
図１は、本発明の物体認識装置の第１実施形態の構成を示すブロック図である。図１に示されるように、本実施形態に係る物体認識装置１０は、センサ入力部（物体検出センサ）１、物体識別部（識別手段）２、物体識別データベース３、モデル配置部（モデル配置手段）４、物体モデルデータベース５、及び、危険度推定部６を備えている。このような物体認識装置１０は車両に搭載されている。
【００１５】
センサ入力部１は、車両の周辺に存在する物体を検出する。センサ入力部１は、例えば、カメラやレーザレンジファインダ等の外界認識センサとすることができる。以下では、センサ入力部１が検出した物体を認識対象物体と称する。
【００１６】
物体識別部２は、センサ入力部１の検出結果に基づいて、認識対象物体の位置や大きさを取得する。その際、例えばセンサ入力部１がカメラである場合には、その検出結果に含まれるテクスチャ情報（絵柄情報）を使用するＳＩＦＴやＨＯＧを用いることができる。また、物体識別部２は、認識対象物体を含む物体領域や認識対象物体の移動速度を推定する。
【００１７】
また、物体識別部２は、物体識別データベース３に格納された情報（例えば、テクスチャパターンを登録した辞書等）を参照することにより、認識対象物体の大きさ等に基づいて、認識対象物体の識別を行う。なお、ここでの認識対象物体の識別とは、認識対象物体が歩行者であるのか車両であるのか、或いは、乗用車であるのかトラックであるのか等を認識することである。
【００１８】
モデル配置部４は、物体識別部２が認識対象物体を識別できない場合に、認識対象物体の大きさに対応する物体モデルを物体領域に配置する。その際に、モデル配置部４は、物体モデルデータベース５が保持する各種の物体モデルを参照する。
【００１９】
物体モデルデータベース５が保持する物体モデルとしては、歩行者をモデル化した歩行者モデルや、車両をモデル化した車両モデル等が例示される。また、物体モデルデータベース５が保持する各種の物体モデルのそれぞれには、大きさや移動速度等が登録されている。
【００２０】
危険度推定部６は、物体識別部２による認識対象物体の識別結果や認識対象物体の移動速度を利用して、或いは、物体領域に配置された物体モデルを利用して、認識対象物体の移動を予測して危険度の推定を行う。
【００２１】
なお、物体識別部２、モデル配置部４及び危険度推定部６は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を含むコンピュータを主体として構成される電子制御ユニット（ＥＣＵ）を用いて構成される。
【００２２】
次に、物体認識装置１０の動作について説明する。図２は、物体認識装置１０の動作を示すフローチャートである。物体認識装置１０においては、図２に示されるように、まず、センサ入力部１が車両の周辺に存在する物体の検出を行う（ステップＳ１）。
【００２３】
図３（ａ）は、センサ入力部１がレーザレンジファインダである場合の検出結果の一例を示す図である。図３（ａ）に示されるように、ここでは、例えばレーザの反射点Ｒの集合Ｓとして認識対象物体が検出される。そして、センサ入力部１は、そのような検出結果を示す情報を、物体識別部２に送信する。
【００２４】
続いて、物体識別部２が、ステップＳ１でセンサ入力部１から送信された検出結果を示す情報に基づいて、認識対象物体の位置や大きさを取得する（ステップＳ２）。
【００２５】
続いて、物体識別部２が、センサ入力部１から送信される検出結果を示す情報に基づいて、認識対象物体を含む物体領域や認識対象物体の移動速度を推定する（ステップＳ３）。ここで、物体領域は、例えば、図３（ａ）に示されるように、２つの近接する集合Ｓを含む領域Ａとして推定される。
【００２６】
続いて、物体識別部２が、物体識別データベース３を参照することにより、ステップＳ２，３で取得・推定した認識対象物体の位置や大きさや移動速度に基づいて、認識対象物体の識別を行う（ステップＳ４）。
【００２７】
続いて、物体識別部２が、認識対象物体の識別が成功したか否かを判定する（ステップＳ５）。この判定の結果、認識対象物体の識別が成功した場合、物体識別部２は、識別結果を示す識別情報と、ステップＳ３で推定した認識対象物体の移動速度を示す速度情報とを危険度推定部６に送信する（ステップＳ６）。
【００２８】
一方、ステップＳ５の判定の結果、認識対象物体の識別が失敗した場合、物体識別部２は、ステップＳ２で取得した認識対象物体の大きさを示す大きさ情報、及び、ステップＳ３で推定した物体領域を示す物体領域情報をモデル配置部４に送信する（ステップＳ７）。
【００２９】
続いて、モデル配置部４が、物体モデルデータベース５が保持する各種の物体モデルを参照し、ステップＳ７で物体識別部２から送信された大きさ情報に基づいて、認識対象物体の大きさに対応する物体モデルを認識対象物体に当て嵌める（ステップＳ８）。換言すれば、モデル配置部４は、物体モデルデータベース５が保持する各種の物体モデルから、認識対象物体の大きさに適合する物体モデルを選別する。なお、ここでの認識対象物体の大きさとは、認識対象物体の面積や形状等を含む。
【００３０】
続いて、モデル配置部４が、ステップＳ８で認識対象物体に当て嵌めた物体モデルを物体領域に対して配置する（ステップＳ９）。このとき、例えば、認識対象物体の大きさに対応する物体モデルが歩行者モデルであった場合、図３（ｂ）に示されるように、物体領域Ａに納まるように３つの歩行者モデルＭ１を配置する。すなわち、認識対象物体の面積よりも小さく、かつ、認識対象物体の形状に包含されるような物体モデルを選別するように構成してもよい。
【００３１】
そして、危険度推定部６が、ステップＳ６で物体識別部２から送信された識別情報と速度情報とを利用して、或いは、ステップＳ９で物体領域に配置された物体モデルを利用して、認識対象物体の移動を予測して危険度の推定を行う（ステップＳ１０）。
【００３２】
以上説明したように、本実施形態に係わる物体認識装置１０においては、まず、物体識別部２によって認識対象物体の識別が行われる。その後、物体識別部２による認識対象物体の識別が失敗した場合（即ち、認識対象物体が不明物体である場合）、モデル配置部４によって、認識対象物体の大きさに対応する物体モデルが選別されて物体領域に配置される。このため、物体認識装置１０によれば、認識対象物体が識別できない場合であっても、物体領域に配置された物体モデルを利用し、認識対象物体の移動を予測して危険度の推定を行うことができる。
【００３３】
［第２実施形態］
図４は、本実施形態に係わる物体認識装置の構成を示すブロック図である。図４に示されるように、物体認識装置２０は、第１実施形態に係わる物体認識装置１０のセンサ入力部１及びモデル配置部４に換えて、センサ入力部１１及びモデル配置部１４を備えている。このような物体認識装置２０も、物体認識装置１０と同様に車両に搭載されている。
【００３４】
センサ入力部１１は、センサ入力部１と同様に、カメラやレーザレンジファインダ等の外界認識センサであって、車両の周辺に存在する物体を検出する。ただし、センサ入力部１１の検出結果には、その信頼度を示す情報が付されている。
【００３５】
検出結果の信頼度は、例えば、センサ入力部１１の種類や性能に応じて評価することができる。具体的には、検出結果の信頼度は、センサ入力部１１がカメラである場合にはエッジの強弱等に基づいて、センサ入力部１１がレーザレンジファインダである場合にはレーザの反射強度の強弱等に基づいて評価することができる。
【００３６】
モデル配置部１４は、物体識別部２が認識対象物体を識別できない場合に、物体モデルデータベース５が保持する各種の物体モデルを参照して、認識対象物体の大きさに対応する物体モデルを物体領域に対して配置する。その際に、モデル配置部１４は、検出結果の信頼度に応じた重みを検出結果に付与し、重みが付与された検出結果に基づいて、物体領域に配置する物体モデルを決定する。
【００３７】
また、モデル配置部１４は、物体識別部２が認識対象物体を識別できない場合に、認識対象物体の移動速度に基づいて、物体領域に配置する物体モデルを決定する。さらに、モデル配置部１４は、物体識別部２が認識対象物体を識別できない場合に、認識対象物体の移動速度に応じた占有空間を物体モデルに設定し、その占有空間を考慮して、物体領域に対して物体モデルを配置する。
【００３８】
なお、モデル配置部１４は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を含むコンピュータを主体として構成される電子制御ユニットを用いて構成される。
【００３９】
次に、物体認識装置２０の動作について説明する。図５は、物体認識装置２０の動作を示すフローチャートである。物体認識装置２０においては、図５に示されるように、まず、センサ入力部１１が車両の周辺に存在する物体の検出を行う（ステップＳ１１）。そして、センサ入力部１１は、信頼度が付与された検出結果を示す情報を、物体識別部２及びモデル配置部１４に送信する。
【００４０】
続いて、物体識別部２が、ステップＳ１１でセンサ入力部１１から送信された検出結果を示す情報に基づいて、認識対象物体の位置や大きさを取得する（ステップＳ１２）。続いて、物体識別部２が、検出結果を示す情報に基づいて、認識対象物体を含む物体領域や認識対象物体の移動速度を推定する（ステップＳ１３）。
【００４１】
続いて、物体識別部２が、物体識別データベース３を参照することにより、ステップＳ１２，１３で取得・推定した認識対象物体の位置や大きさや移動速度に基づいて、認識対象物体の識別を行う（ステップＳ１４）。
【００４２】
続いて、物体識別部２が、認識対象物体の識別が成功したか否かを判定する（ステップＳ１５）。この判定の結果、認識対象物の識別が成功した場合、物体識別部２は、識別結果を示す識別情報と、ステップＳ１３で推定した認識対象物体の移動速度を示す速度情報とを危険度推定部６へ送信する（ステップＳ１６）。
【００４３】
一方、ステップＳ１５の判定の結果、認識対象物体の識別が失敗した場合、物体識別部２は、ステップＳ１３で推定した物体領域を示す物体領域情報と速度情報とをモデル配置部１４へ送信する（ステップＳ１７）。
【００４４】
続いて、モデル配置部１４が、ステップＳ１１でセンサ入力部１１から送信された検出結果を示す情報に基づいて、検出結果に対してその信頼度に応じた重みを付与する（ステップＳ１８）。より具体的には、例えば、検出結果が、図６に示されるように、一点鎖線で示された検出結果Ｃ２と、二点鎖線で示された検出結果Ｃ３との２つであった場合、検出結果Ｃ２，Ｃ３のそれぞれに対して重み付けを行う。
【００４５】
この重み付けは、例えば、検出結果Ｃ２の信頼度と検出結果Ｃ３の信頼度とを比較して、検出結果Ｃ２の信頼度の方が検出結果Ｃ３の信頼度よりも高い場合には、検出結果Ｃ２の重みを検出結果Ｃ３の重みよりも大きくするといったように行われる。
【００４６】
続いて、モデル配置部１４が、物体モデルデータベース５が保持する各種の物体モデルを参照し、重みが付与された検出結果に基づいて、認識対象物体の大きさに対応する物体モデルを認識対象物体に当て嵌める（ステップＳ１９）。換言すれば、モデル配置部１４は、物体モデルデータベース５が保持する各種の物体モデルから、検出結果の信頼度を考慮した上で、検出結果に基づき、認識対象物体の大きさに適合する物体モデルを選別する。
【００４７】
より具体的には、検出結果Ｃ２の方が検出結果Ｃ３よりも信頼度が高く、大きな重みが付与されている場合には、例えば、図６に示されるように、検出結果Ｃ３に即した高さのある物体モデルＭ３（例えばトラック等の車両モデル）でなく、検出結果Ｃ２に即した高さのない物体モデルＭ２（例えば乗用車等の車両モデル）を認識対象物体に当て嵌める。
【００４８】
続いて、モデル配置部１４が、認識対象物体の移動速度に基づいて、物体領域に配置する物体モデルを決定する（ステップＳ２０）。このステップＳ２０においては、モデル配置部１４は、物体モデルデータベース５が保持する各種の物体モデルから、認識対象物体の移動速度に適合する物体モデルを選別する。
【００４９】
例えば、ステップＳ１９で認識対象物体に当て嵌められた物体モデルが歩行者モデルであって、認識対象物体の移動速度が時速５０ｋｍであった場合、歩行者が時速５０ｋｍで移動することが困難であることから、物体領域に配置する物体モデルを、時速５０ｋｍで移動可能な車両モデルとして決定する。つまり、モデル配置部１４は、認識対象物体の大きさよりも移動速度を優先して物体モデルを決定する。
【００５０】
続いて、モデル配置部１４が、認識対象物体の移動速度に応じた占有空間を、ステップＳ２０で決定された物体モデルに設定する（ステップＳ２１）。一般に、静止している車両においては、縦列駐車等により他車両との間隔が狭い場合がある。このため、ステップＳ２０で決定された物体モデルが車両モデルであり、認識対象物体の移動速度が比較的小さい場合には（認識対象物体が静止中である場合には）、モデル配置部１４は、図７（ａ）に示されるように、前後方向に短い占有空間Ｐ４を物体モデルＭ４に設定する。
【００５１】
一方で、移動している車両においては、その移動速度に応じて他車両との間隔が大きくなる場合がある。このため、ステップＳ２０で決定された物体モデルが車両モデルであり、認識対象物体の移動速度が比較的大きい場合には（認識対象物体が移動中である場合には）、モデル配置部１４は、図７（ｂ）に示されるように、移動方向（前方向）に延長された占有空間Ｐ５を物体モデルＭ５に設定する。
【００５２】
さらに、ステップＳ２０で決定された物体モデルが歩行者モデルである場合には、モデル配置部１４は、図７（ｃ）に示されるように、例えば半径５０ｃｍ程度の円形の占有空間Ｐ６を物体モデルＭ６に設定する。
【００５３】
続いて、モデル配置部１４が、ステップＳ２１で設定した占有空間を考慮して、物体領域に対して物体モデルを配置する（ステップＳ２２）。より具体的には、例えば、物体モデルが歩行者モデルである場合には、図８に示されるように、互いの占有空間Ｐ６が重ならないように、物体領域Ａに対して物体モデルＭ６を４つ配置する。
【００５４】
そして、危険度推定部６が、ステップＳ１６で物体識別部２から送信された識別情報と速度情報とを利用して、或いは、ステップＳ２２で物体領域に配置された物体モデルを利用して、認識対象物体の移動を予測して危険度の推定を行う（ステップＳ２３）。
【００５５】
以上説明したように、本実施形態に係わる物体認識装置２０においても、第１実施形態に係わる物体認識装置１０と同様に、認識対象物体が識別できない場合であっても、物体領域に配置された物体モデルを利用し、認識対象物体の移動を予測して危険度の推定を行うことができる。
【００５６】
また、本実施形態に係わる物体認識装置２０においては、センサ入力部１１の検出結果の信頼度を考慮して、モデル配置部１４が認識対象物体に物体モデルを当て嵌める。このため、物体モデルの当て嵌めの精度が向上する。
【００５７】
また、本実施形態に係わる物体認識装置２０においては、認識対象物体の大きさに適合するように選別した物体モデルが、認識対象物体の移動速度に適合しない場合には、移動速度を優先して物体モデルを決定する。このため、物体の大きさを誤って認識した場合であっても、移動速度が合致する物体モデルを用いて、最悪条件での危険度の推定が可能となる。
【００５８】
さらに、本実施形態に係わる物体認識装置２０においては、モデル配置部１４が、認識対象物体の移動速度に応じた占有空間を物体モデルに設定して、その占有空間を考慮して、物体領域に対して物体モデルを配置する。このため、占有空間に対して過剰に物体モデルを配置することが避けられる。その結果、危険度推定部６における危険度の推定に際して、危険度推定部６の演算負荷を低減することができる。
【００５９】
なお、本実施形態に係わる物体認識装置２０は、検出結果の信頼度を考慮した物体モデルの当て嵌めの後に、認識対象物体の移動速度に基づいた物体モデルの決定と、占有空間を考慮した物体モデルの配置とを行っているが、そのうちのいずれか一方のみを行う態様としてもよい。
【００６０】
上述した第１及び第２実施形態に係る物体認識装置１０及び物体認識装置２０においては、認識対象物体が大きい場合に、物体領域も大きいものとなる。そのような場合には、物体領域に対する物体モデルの配置の自由度が高く、ステップＳ９及びステップＳ２２において、複数の物体モデル配置パターンが発生することがある。
【００６１】
そこで、モデル配置部４及びモデル配置部１４は、ステップＳ９及びステップＳ２２において物体領域に対する物体モデルの配置パターンが複数発生した場合に、それらの複数の配置パターンのうちの最も移動速度が大きい配置パターンを、危険度推定に供するものとして決定することが好ましい。
【００６２】
この場合、危険度推定部６において危険度の推定を行う際に、多数の配置パターンについての演算を行うことが避けられるので、危険度推定部６の処理負荷が低減される。
【符号の説明】
【００６３】
１，１１…センサ入力部（物体検出センサ）、２…物体識別部（識別手段）、４，１４…モデル配置部（モデル配置手段）、１０，２０…物体認識装置、Ａ…物体領域、Ｃ２，Ｃ３…検出結果、Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，Ｍ６…物体モデル、Ｐ４，Ｐ５，Ｐ６…占有空間。
【特許請求の範囲】
【請求項１】
車両に搭載された物体認識装置であって、
前記車両の周辺の物体を検出する物体検出センサと、
前記物体検出センサの検出結果に基づいて前記物体を識別する識別手段と、
前記識別手段が前記物体を識別できない場合に、前記検出結果から得られる前記物体の大きさに対応する物体モデルを、前記物体検出センサにより検出された前記物体を含む物体領域に対して配置するモデル配置手段と、を備えることを特徴とする物体認識装置。
【請求項２】
前記モデル配置手段は、前記検出結果から得られる前記物体の移動速度に基づいて、前記物体領域に配置する物体モデルを決定することを特徴とする請求項１に記載の物体認識装置。
【請求項３】
前記モデル配置手段は、前記検出結果から得られる前記物体の移動速度に応じた占有空間を物体モデルに設定し、該占有空間を考慮して、前記物体領域に対して物体モデルを配置することを特徴とする請求項１又は２に記載の物体認識装置。
【請求項４】
前記モデル配置手段は、前記検出結果の信頼度に応じた重みを前記検出結果に付与し、該重みが付与された前記検出結果に基づいて、前記物体領域に配置する物体モデルを決定することを特徴とする請求項１〜３のいずれか一項に記載の物体認識装置。
【請求項１】
車両に搭載された物体認識装置であって、
前記車両の周辺の物体を検出する物体検出センサと、
前記物体検出センサの検出結果に基づいて前記物体を識別する識別手段と、
前記識別手段が前記物体を識別できない場合に、前記検出結果から得られる前記物体の大きさに対応する物体モデルを、前記物体検出センサにより検出された前記物体を含む物体領域に対して配置するモデル配置手段と、を備えることを特徴とする物体認識装置。
【請求項２】
前記モデル配置手段は、前記検出結果から得られる前記物体の移動速度に基づいて、前記物体領域に配置する物体モデルを決定することを特徴とする請求項１に記載の物体認識装置。
【請求項３】
前記モデル配置手段は、前記検出結果から得られる前記物体の移動速度に応じた占有空間を物体モデルに設定し、該占有空間を考慮して、前記物体領域に対して物体モデルを配置することを特徴とする請求項１又は２に記載の物体認識装置。
【請求項４】
前記モデル配置手段は、前記検出結果の信頼度に応じた重みを前記検出結果に付与し、該重みが付与された前記検出結果に基づいて、前記物体領域に配置する物体モデルを決定することを特徴とする請求項１〜３のいずれか一項に記載の物体認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−４３３６４（Ｐ２０１２−４３３６４Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１０−１８６３４７（Ｐ２０１０−１８６３４７）
【出願日】平成２２年８月２３日（２０１０．８．２３）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２２年８月２３日（２０１０．８．２３）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]