周囲環境認識装置
【課題】車両周囲の環境認識精度を向上させる。
【解決手段】障害物認識処理部４は、撮像した撮像画像及び地図情報の少なくとも一方に基づき、自車ＭＭ周囲に存在し且つ光を透過及び反射の少なくとも一方の作用を有する反射物体を推定する。そして、障害物認識処理部４は、推定した反射物体を参照しつつ、撮像した撮像画像から自車ＭＭの周囲の物体を認識する。
【解決手段】障害物認識処理部４は、撮像した撮像画像及び地図情報の少なくとも一方に基づき、自車ＭＭ周囲に存在し且つ光を透過及び反射の少なくとも一方の作用を有する反射物体を推定する。そして、障害物認識処理部４は、推定した反射物体を参照しつつ、撮像した撮像画像から自車ＭＭの周囲の物体を認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像部が撮像した撮像画像に基づき、車両の周囲に存在する物体を認識する技術に関する。なお、本明細書では、物体には、構造物や人などの他、路面に表示されている交通標識なども含まれる。
【背景技術】
【０００２】
車両周囲の障害物を認識する技術としては、例えば特許文献１に記載の技術がある。この従来技術では、複数の車両に共通する障害物の位置を記憶する記憶部を備える。そして、上記従来技術では、その記憶部の記憶内容に基づき、障害物と干渉しないように複数の車両を誘導する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２９６２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般の公道などを走行する車両では、障害物の認識は、例えばカメラが撮像した撮像画像の画像認識で実行する。しかし、店舗のショーウインドウなどの光を反射する反射物体は、画像からの物体認識では、障害物として正しく認識されないことがある。
本発明は、上記のような点に着目したもので、車両周囲の環境認識精度を向上させることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、撮像した撮像画像及び地図情報の少なくとも一方に基づき、自車周囲に存在し且つ光を透過及び反射の少なくとも一方の作用を有する反射物体を推定する。そして、本発明は、推定した反射物体を参照しつつ、撮像した撮像画像から自車周囲の物体を認識する。
【発明の効果】
【０００６】
本発明によれば、反射物体を推定し、その推定した反射物体を考慮して撮像した撮像画像から自車周囲の物体を認識する。これによって、物体認識のための画像処理が不得意とする反射物体による悪影響を抑制しつつ、自車周囲の物体をより精度良く認識可能となる。この結果、本発明によれば、車両周囲の環境認識精度を向上させることが出来る。
【図面の簡単な説明】
【０００７】
【図１】本発明に基づく実施形態に係る車両の構成を説明する概要構成図である。
【図２】障害物認識処理部の構成を説明する図である。
【図３】障害物認識処理部の処理を説明する図である。
【図４】動作の一例を説明する模式図である。
【図５】撮像画像の例を示す模式図である。
【発明を実施するための形態】
【０００８】
次に、本発明の実施形態について図面を参照しつつ説明する。
本実施形態では、自車の周囲環境から認識する物体として障害物（構造物や人など）を認識する場合を例に挙げて説明する。本発明は、認識する物体が、走行車線などの路面標示や路面の凹凸などであっても適用可能である。この場合には、車線維持制御で認識結果が使用される。
【０００９】
（構成）
図１は、本発明の車両の構成を説明する概要構成図である。
車両は、車載カメラ１、自車位置取得部２、地図情報を蓄積した地図データ３、障害物認識処理部４、及び運転支援装置５を備える。
車載カメラ１は、自車周囲を撮像可能となっている。車載カメラ１は、前方カメラ、後方カメラ、側方カメラの少なくとも一つのカメラから構成する。図１では、前方カメラだけの場合を例示しており、前方カメラは、自車両前方を撮像する。車載カメラ１は、前方を撮像するカメラに限定されない。また、画像処理は、複数のカメラでそれぞれ撮像した撮像画像を処理して、最終的な物体認識をする処理構成であっても良い。
【００１０】
自車位置取得部２は、ＧＰＳ受信器などによって、自車位置を取得する。
障害物認識処理部４は、１又は２以上の車載カメラ１が撮像した撮像画像から自車周囲の障害物を認識する。ここで、障害物認識処理部４及び運転支援装置５の制御部は、１又は２以上のマイクロコンピュータおよびその周辺回路から構成される。
障害物認識処理部４は、図２に示すように、画像前処理部４Ａ、障害物認識部４Ｂ、障害物特定部４Ｃを備える。上記画像前処理部４Ａは、反射物体推定部４Ａａ、反射情報登録部４Ａｂを備える。
【００１１】
反射物体推定部４Ａａは、地図情報を参照して、自車位置取得部２が取得した自車位置にから、自車周囲に存在する地図上の構造物の範囲を特定し、その特定した範囲の構造物のうちから反射物体を推定して抽出する。
ここで、本明細書で「反射物体」とは、ミラー、ガラス、鏡面磨きの壁部や壁部など、光を透過及び反射の少なくとも一方の作用を有する物体である。光が反射する場合には、他の物体が反射面に映し出されている可能性があり、光が透過する場合には、その反射物体自体を撮像画像から認識し難い可能性がある。
本実施形態の反射物体推定部４Ａａは、構造物の属性から上記反射物体を推定する。例えば、反射物体推定部４Ａａは、コンビニの壁面、特に正面の壁面は、反射物体としてのガラス板部と推定する。
【００１２】
若しくは反射物体推定部４Ａａは、撮像された画像中の物体表面に基づき反射面位置を推定することで、反射物体を推定しても良い。例えば撮像画像中における物体表面の映像の歪み（形状）の具合から反射面を推定する。ここで、完璧な平面からなるガラス面は少ない。このため、反射像は歪曲して直線がないことが多い。このことに基づき、反射物体推定部４Ａａは反射面を推定することが可能である。又は、反射物体推定部４Ａａは、撮像された画像中の物体の属性を、その物体の形状などから特定し、特定した物体がコンビニなどと判定した場合には、その物体の壁面位置を反射物体と推定する。
【００１３】
反射情報登録部４Ａｂは、反射物推定部が推定した反射物体の推定情報を地図データ３に登録する。
障害物認識部４Ｂは、車載カメラ１の撮像画像に基づき、物体の位置、形状、属性（車両、歩行者など）を、モーションステレオ方式などの公知の手法を使用したが画像処理によって、障害物候補となる物体として認識する。なお、障害物認識部４Ｂは、撮像画像の他、レーザ距離計などの周囲環境検出装置による障害物検出結果も加味して、物体位置の認識処理を実施しても良い。
【００１４】
次に、障害物認識部４Ｂは、撮像画像中における、地図データ３中の反射物体の推定情報に基づき、反射物体位置である反射領域を特定し、認識した物体のうち反射領域に存在する物体であって、カメラ位置に対して（つまり自車位置に対して）対象とする反射物体の奥側に位置すると認識した補正対象物体を抽出する。
次に、障害物認識部４Ｂは、抽出した補正対象物体が対象とする反射物体の表面で反射した虚像の物体か否かを判定し、虚像と判定した場合には、カメラ位置、反射物体の表面に基づき実像位置を算出する。そして、虚像の物体の位置を、算出した実像位置に補正する。虚像か否かは、映像の歪具合によって判定する。このとき、算出した実像位置が自車位置の場合には、虚像が自車を映したものであるので、その抽出した物体は、物体情報から削除する。
【００１５】
一方、障害物認識部４Ｂは、抽出した物体が対象とする反射物体の表面で反射した虚像か否かが特定出来ないと判定した場合には、その抽出した物体の情報として信頼性が低いという情報を付加する。信頼性が低い認識については、例えば、その抽出した物体を障害物として認識しないとするか、他の撮像画像による認識結果を優先する。
障害物特定部４Ｃは、障害物認識部４Ｂが撮像画像から認識した物体情報に対し、地図情報から取得した反射物体の情報も物体情報として付加して、障害物候補の物体情報を生成する。
運転支援装置５は、障害物特定部４Ｃが生成した障害物候補の物体情報に基づき、車両挙動を制御する必要がある障害物を特定する。そして、運転支援装置５は、その特定した障害物に対する車両の制駆動を制御したり、特定した障害物に対する報知処理を実施することで、運転支援の処理を実施する。
【００１６】
次に、上記障害物認識処理部４の処理の一例を、図３のフローチャートを参照して説明する。ここで障害物認識処理部４は、予め設定されたサンプリング周期で処理を実行する。
障害物認識処理部４は、まずステップＳ１０にて、車載カメラ１が撮像した撮像画面を読み込む。
次に、ステップＳ２０では、自車位置取得部２が取得した自車位置を取得する。
【００１７】
次に、ステップＳ３０では、画像前処理部４Ａが、地図情報から自車位置の周囲の反射する物体である反射物体の情報（位置、形状など）を読み込む。例えば、画像前処理部４Ａは、「コンビニ」などの施設情報（物体の属性）から反射面、つまり反射物体の位置を推測する。このとき、撮像画像中の映像の歪み具合から反射物体を推測しても良い。
次に、ステップＳ４０では、障害物認識部４Ｂが、撮像画像から、自車周囲の（動く）物体の位置、形状、属性（車両、歩行者、など）を、モーションステレオやステレオカメラなどの公知の画像処理で認識する。
【００１８】
次に、ステップＳ５０では、障害物認識部４Ｂが、車載カメラ１の位置を基準に、反射物体の反射面の奥にあるものとして認識された動く物体については、反射面とカメラと物体の位置関係から、その物体の位置を修正する。具体的には、障害物認識部４Ｂは、反射面の奥にある物体が虚像と認識した場合には、その物体の実像位置を算出し、その算出した実像位置に物体の位置を補正する。障害物認識部４Ｂは、実際に反射面の奥に存在する物体と判定した場合には、その物体を認識対象から削除する。
【００１９】
ここで、障害物認識部４Ｂは、反射物体の反射面が単純な平面などではなく上記位置の補正が難しい場合、あるいは、透過しているものか反射しているものかの特定が難しい場合は、その物体を信頼性が低いという付加情報を付加して画像処理を継続する。例えば、他の認識した物体との整合に矛盾がある場合には、信頼性が低いという付加情報を付加した物体の情報は無視する。
【００２０】
さらに、ステップＳ６０では、障害物特定部４Ｃが、地図情報を参照して反射物体を抽出する。障害物特定部４Ｃは、障害物認識部４Ｂが認識した障害物候補の物体に、抽出した反射物体が存在しない場合には、その抽出した反射物体を障害物候補の物体として追加する。
次に、ステップＳ７０では、ステップＳ６０で求めた障害物候補の物体の認識情報である外界認識結果（障害物の認識結果）を運転支援部その他の処理部に出力する。
【００２１】
ここで、ステップＳ３０において、画像前処理部４Ａが、推定した反射物体位置の領域をマスキングして、ステップＳ４０での物体認識の処理対象から反射物体位置の領域を外す処理を実施しても良い。この場合には、ステップＳ５０の処理は不要となる。ただしこの場合であっても、ステップＳ４０にて、障害物認識部４Ｂが、反射物体位置よりもカメラ側に位置すると認識される物体は、障害物候補として認識する。
【００２２】
（動作その他）
障害物認識処理部４は、車載カメラ１によって撮像された撮像画像によって車両周囲の障害物の認識処理を行う。このとき、障害物認識処理部４は、推定した反射物体を参照して、撮像画像に対する画像処理を行う。
すなわち、障害物認識処理部４は、自車位置取得部２が取得した自車ＭＭの位置に基づき、地図上の自車ＭＭの位置を特定し、地図上における自車ＭＭの周辺に反射物体１０が存在するか否かを推定する。そして、障害物認識処理部４は、自車ＭＭの位置に対して反射物体１０の反射面よりも奥側に位置すると認識した物体Ａ′、Ｂ′が虚像か否かを判定する。物体が虚像の場合には、図４に示すように、反射面の奥側に存在するように認識されるおそれがあるが、物体の実像Ｂは反射面の手前に存在する。しかし、撮像画像では、図５のように撮像される。図５では、車線部分が反射物体１０の位置領域とする。
【００２３】
障害物認識処理部４は、虚像と判定した物体Ａ′、Ｂ′の実像位置を算出して、その虚像と判定した物体の位置を実像の位置に補正する。これによって、物体の位置の認識精度が向上する。図４の例では、反射面を考慮しないと、図５のように、撮像画像からは、他車両Ａ′が自分に向かって来ると共に、その他車両Ａ′の左側に他の障害物Ｂ′があるように誤認識されるおそれがある。これに対し、本実施形態では、実際の位置に物体の位置を補正することで、上記誤認識を抑制可能となる。
【００２４】
なおこのとき、障害物認識処理部４は、実像位置の算出が困難と判定すると、その物体の信頼性が低いとし、他の撮像画像から認識した物体の情報を優先する。
なお、虚像位置が図４のＡ′のような場合、実像位置は、自車ＭＭの位置となる。すなわち、自車ＭＭが反射面に映し出されたものである。そして、障害物認識処理部４は、実像位置が自車ＭＭの位置の物体Ａ′は、認識対象から除外する。これによって、例えば自車ＭＭの進行方向前方のガラス面に映し出された自車ＭＭの虚像Ａ′が、自車ＭＭに迫ってくる物体（車両）と認識されることが回避出来る。
【００２５】
また障害物認識処理部４は、反射物体自体が画像認識で認識されていない場合には、地図情報から特定される反射物体が、地図から特定される位置に存在するとして認識対象に追加する。
そして、運転支援装置５は、障害物認識処理部４の認識結果に基づき、障害物回避制御その他の運転支援処理を行う。
このとき、本実施形態の障害物認識処理部４は、画像認識で認識が不得意な反射物体の誤認識を抑制するため、運転支援装置５による運転支援精度か向上する。
ここで、車載カメラ１は撮像部を構成する。障害物認識部４Ｂは画像処理部を構成する。
【００２６】
（本実施形態の効果）
本実施形態は、次の効果を奏する。
（１）反射物体推定部４Ａａは、車載カメラ１が撮像した撮像画像及び地図情報の少なくとも一方に基づき、自車ＭＭ周囲に存在し且つ光を透過及び反射の少なくとも一方の作用を有する反射物体を推定する。そして、障害物認識部４Ｂは、上記反射物体推定部４Ａａが推定した反射物体の位置を参照して、上記車載カメラ１が撮像した撮像画像から自車ＭＭ周囲の物体を認識するための画像処理を行う。
【００２７】
この構成によれば、推定した反射物体を考慮して撮像した撮像画像から自車ＭＭ周囲の物体を認識する。これによって、物体認識のための画像処理が不得意とする反射物体による悪影響を抑制しつつ、自車ＭＭの周囲の物体をより精度良く認識することが可能となる。この結果、本発明によれば、車両周囲の環境認識精度を向上させることが出来る。
【００２８】
（２）反射情報登録部４Ａｂは、上記反射物体推定部４Ａａが推定した反射物体の情報を上記地図データ３に登録する。
これによって、反射物体の情報の取得が容易となる。すなわち、反射物体の情報を登録しておくことで、地図データから反射物体の抽出が容易となる。
（３）反射物体推定部４Ａａは、地図情報若しくは車載カメラ１が撮像した撮像画像から特定される物体の属性から上記反射物体を推定する。
この構成によれば、反射物体の推定が可能となる。特に対応する物体の属性によって判定することで、必ずしも特殊な地図を使用する必要もない。
【００２９】
（４）上記反射物体推定部４Ａａは、車載カメラ１が撮像した撮像画像中の物体の形状情報から上記反射物体を推定する。
この構成によれば、地図を使用することなく、反射物体の推定が可能となる。
（５）障害物認識部４Ｂは、前処理として上記撮像画像のうち上記反射物体位置の領域をマスキングした後に、上記物体を認識する画像処理を実行する。
この構成によれば、反射面に映っている物体を認識対象から除外するので、反射物体による誤認識を抑制可能となる。
【００３０】
（６）障害物認識部４Ｂは、上記撮像画像中の上記反射物体位置の領域において、自車ＭＭに対して上記反射物体の反射面の後方に位置すると認識される物体を検出すると、その検出した物体を、信頼性の低い物体として物体の認識を行う。
この構成によれば、反射面に映っている物体の信頼性を低くすることで、反射物体による誤認識を抑制可能となる。
【００３１】
（７）障害物認識部４Ｂは、上記撮像画像中の上記反射物体位置の領域で認識された物体が反射物体の反射面により反射した虚像と判定すると、上記認識された物体の位置を実像位置に補正する処理を行う。
この構成によれば、反射して映っている物体の認識精度が向上する。
（８）補正した位置が自車ＭＭ位置の場合には、その物体を認識対象から除外する。
自車ＭＭの映り込みによる誤認識を抑制可能となる。
（９）地図情報に基づき、反射物体の位置を、自車ＭＭ周囲の物体の一つとして認識する。
反射物体を撮像画像から認識出来ない場合であっても、その反射物体を自車ＭＭ周囲の物体として認識可能となる。
【符号の説明】
【００３２】
１ 車載カメラ
２ 自車位置取得部
３ 地図データ
４ 障害物認識処理部
４Ａ 画像前処理部
４Ａａ 反射物体推定部
４Ａｂ 反射情報登録部
４Ｂ 障害物認識部
４Ｃ 障害物特定部
５ 運転支援装置
１０ 反射物体
Ａ′、Ｂ′ 虚像
Ｂ 実像
ＭＭ 自車
【技術分野】
【０００１】
本発明は、撮像部が撮像した撮像画像に基づき、車両の周囲に存在する物体を認識する技術に関する。なお、本明細書では、物体には、構造物や人などの他、路面に表示されている交通標識なども含まれる。
【背景技術】
【０００２】
車両周囲の障害物を認識する技術としては、例えば特許文献１に記載の技術がある。この従来技術では、複数の車両に共通する障害物の位置を記憶する記憶部を備える。そして、上記従来技術では、その記憶部の記憶内容に基づき、障害物と干渉しないように複数の車両を誘導する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２９６２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般の公道などを走行する車両では、障害物の認識は、例えばカメラが撮像した撮像画像の画像認識で実行する。しかし、店舗のショーウインドウなどの光を反射する反射物体は、画像からの物体認識では、障害物として正しく認識されないことがある。
本発明は、上記のような点に着目したもので、車両周囲の環境認識精度を向上させることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、撮像した撮像画像及び地図情報の少なくとも一方に基づき、自車周囲に存在し且つ光を透過及び反射の少なくとも一方の作用を有する反射物体を推定する。そして、本発明は、推定した反射物体を参照しつつ、撮像した撮像画像から自車周囲の物体を認識する。
【発明の効果】
【０００６】
本発明によれば、反射物体を推定し、その推定した反射物体を考慮して撮像した撮像画像から自車周囲の物体を認識する。これによって、物体認識のための画像処理が不得意とする反射物体による悪影響を抑制しつつ、自車周囲の物体をより精度良く認識可能となる。この結果、本発明によれば、車両周囲の環境認識精度を向上させることが出来る。
【図面の簡単な説明】
【０００７】
【図１】本発明に基づく実施形態に係る車両の構成を説明する概要構成図である。
【図２】障害物認識処理部の構成を説明する図である。
【図３】障害物認識処理部の処理を説明する図である。
【図４】動作の一例を説明する模式図である。
【図５】撮像画像の例を示す模式図である。
【発明を実施するための形態】
【０００８】
次に、本発明の実施形態について図面を参照しつつ説明する。
本実施形態では、自車の周囲環境から認識する物体として障害物（構造物や人など）を認識する場合を例に挙げて説明する。本発明は、認識する物体が、走行車線などの路面標示や路面の凹凸などであっても適用可能である。この場合には、車線維持制御で認識結果が使用される。
【０００９】
（構成）
図１は、本発明の車両の構成を説明する概要構成図である。
車両は、車載カメラ１、自車位置取得部２、地図情報を蓄積した地図データ３、障害物認識処理部４、及び運転支援装置５を備える。
車載カメラ１は、自車周囲を撮像可能となっている。車載カメラ１は、前方カメラ、後方カメラ、側方カメラの少なくとも一つのカメラから構成する。図１では、前方カメラだけの場合を例示しており、前方カメラは、自車両前方を撮像する。車載カメラ１は、前方を撮像するカメラに限定されない。また、画像処理は、複数のカメラでそれぞれ撮像した撮像画像を処理して、最終的な物体認識をする処理構成であっても良い。
【００１０】
自車位置取得部２は、ＧＰＳ受信器などによって、自車位置を取得する。
障害物認識処理部４は、１又は２以上の車載カメラ１が撮像した撮像画像から自車周囲の障害物を認識する。ここで、障害物認識処理部４及び運転支援装置５の制御部は、１又は２以上のマイクロコンピュータおよびその周辺回路から構成される。
障害物認識処理部４は、図２に示すように、画像前処理部４Ａ、障害物認識部４Ｂ、障害物特定部４Ｃを備える。上記画像前処理部４Ａは、反射物体推定部４Ａａ、反射情報登録部４Ａｂを備える。
【００１１】
反射物体推定部４Ａａは、地図情報を参照して、自車位置取得部２が取得した自車位置にから、自車周囲に存在する地図上の構造物の範囲を特定し、その特定した範囲の構造物のうちから反射物体を推定して抽出する。
ここで、本明細書で「反射物体」とは、ミラー、ガラス、鏡面磨きの壁部や壁部など、光を透過及び反射の少なくとも一方の作用を有する物体である。光が反射する場合には、他の物体が反射面に映し出されている可能性があり、光が透過する場合には、その反射物体自体を撮像画像から認識し難い可能性がある。
本実施形態の反射物体推定部４Ａａは、構造物の属性から上記反射物体を推定する。例えば、反射物体推定部４Ａａは、コンビニの壁面、特に正面の壁面は、反射物体としてのガラス板部と推定する。
【００１２】
若しくは反射物体推定部４Ａａは、撮像された画像中の物体表面に基づき反射面位置を推定することで、反射物体を推定しても良い。例えば撮像画像中における物体表面の映像の歪み（形状）の具合から反射面を推定する。ここで、完璧な平面からなるガラス面は少ない。このため、反射像は歪曲して直線がないことが多い。このことに基づき、反射物体推定部４Ａａは反射面を推定することが可能である。又は、反射物体推定部４Ａａは、撮像された画像中の物体の属性を、その物体の形状などから特定し、特定した物体がコンビニなどと判定した場合には、その物体の壁面位置を反射物体と推定する。
【００１３】
反射情報登録部４Ａｂは、反射物推定部が推定した反射物体の推定情報を地図データ３に登録する。
障害物認識部４Ｂは、車載カメラ１の撮像画像に基づき、物体の位置、形状、属性（車両、歩行者など）を、モーションステレオ方式などの公知の手法を使用したが画像処理によって、障害物候補となる物体として認識する。なお、障害物認識部４Ｂは、撮像画像の他、レーザ距離計などの周囲環境検出装置による障害物検出結果も加味して、物体位置の認識処理を実施しても良い。
【００１４】
次に、障害物認識部４Ｂは、撮像画像中における、地図データ３中の反射物体の推定情報に基づき、反射物体位置である反射領域を特定し、認識した物体のうち反射領域に存在する物体であって、カメラ位置に対して（つまり自車位置に対して）対象とする反射物体の奥側に位置すると認識した補正対象物体を抽出する。
次に、障害物認識部４Ｂは、抽出した補正対象物体が対象とする反射物体の表面で反射した虚像の物体か否かを判定し、虚像と判定した場合には、カメラ位置、反射物体の表面に基づき実像位置を算出する。そして、虚像の物体の位置を、算出した実像位置に補正する。虚像か否かは、映像の歪具合によって判定する。このとき、算出した実像位置が自車位置の場合には、虚像が自車を映したものであるので、その抽出した物体は、物体情報から削除する。
【００１５】
一方、障害物認識部４Ｂは、抽出した物体が対象とする反射物体の表面で反射した虚像か否かが特定出来ないと判定した場合には、その抽出した物体の情報として信頼性が低いという情報を付加する。信頼性が低い認識については、例えば、その抽出した物体を障害物として認識しないとするか、他の撮像画像による認識結果を優先する。
障害物特定部４Ｃは、障害物認識部４Ｂが撮像画像から認識した物体情報に対し、地図情報から取得した反射物体の情報も物体情報として付加して、障害物候補の物体情報を生成する。
運転支援装置５は、障害物特定部４Ｃが生成した障害物候補の物体情報に基づき、車両挙動を制御する必要がある障害物を特定する。そして、運転支援装置５は、その特定した障害物に対する車両の制駆動を制御したり、特定した障害物に対する報知処理を実施することで、運転支援の処理を実施する。
【００１６】
次に、上記障害物認識処理部４の処理の一例を、図３のフローチャートを参照して説明する。ここで障害物認識処理部４は、予め設定されたサンプリング周期で処理を実行する。
障害物認識処理部４は、まずステップＳ１０にて、車載カメラ１が撮像した撮像画面を読み込む。
次に、ステップＳ２０では、自車位置取得部２が取得した自車位置を取得する。
【００１７】
次に、ステップＳ３０では、画像前処理部４Ａが、地図情報から自車位置の周囲の反射する物体である反射物体の情報（位置、形状など）を読み込む。例えば、画像前処理部４Ａは、「コンビニ」などの施設情報（物体の属性）から反射面、つまり反射物体の位置を推測する。このとき、撮像画像中の映像の歪み具合から反射物体を推測しても良い。
次に、ステップＳ４０では、障害物認識部４Ｂが、撮像画像から、自車周囲の（動く）物体の位置、形状、属性（車両、歩行者、など）を、モーションステレオやステレオカメラなどの公知の画像処理で認識する。
【００１８】
次に、ステップＳ５０では、障害物認識部４Ｂが、車載カメラ１の位置を基準に、反射物体の反射面の奥にあるものとして認識された動く物体については、反射面とカメラと物体の位置関係から、その物体の位置を修正する。具体的には、障害物認識部４Ｂは、反射面の奥にある物体が虚像と認識した場合には、その物体の実像位置を算出し、その算出した実像位置に物体の位置を補正する。障害物認識部４Ｂは、実際に反射面の奥に存在する物体と判定した場合には、その物体を認識対象から削除する。
【００１９】
ここで、障害物認識部４Ｂは、反射物体の反射面が単純な平面などではなく上記位置の補正が難しい場合、あるいは、透過しているものか反射しているものかの特定が難しい場合は、その物体を信頼性が低いという付加情報を付加して画像処理を継続する。例えば、他の認識した物体との整合に矛盾がある場合には、信頼性が低いという付加情報を付加した物体の情報は無視する。
【００２０】
さらに、ステップＳ６０では、障害物特定部４Ｃが、地図情報を参照して反射物体を抽出する。障害物特定部４Ｃは、障害物認識部４Ｂが認識した障害物候補の物体に、抽出した反射物体が存在しない場合には、その抽出した反射物体を障害物候補の物体として追加する。
次に、ステップＳ７０では、ステップＳ６０で求めた障害物候補の物体の認識情報である外界認識結果（障害物の認識結果）を運転支援部その他の処理部に出力する。
【００２１】
ここで、ステップＳ３０において、画像前処理部４Ａが、推定した反射物体位置の領域をマスキングして、ステップＳ４０での物体認識の処理対象から反射物体位置の領域を外す処理を実施しても良い。この場合には、ステップＳ５０の処理は不要となる。ただしこの場合であっても、ステップＳ４０にて、障害物認識部４Ｂが、反射物体位置よりもカメラ側に位置すると認識される物体は、障害物候補として認識する。
【００２２】
（動作その他）
障害物認識処理部４は、車載カメラ１によって撮像された撮像画像によって車両周囲の障害物の認識処理を行う。このとき、障害物認識処理部４は、推定した反射物体を参照して、撮像画像に対する画像処理を行う。
すなわち、障害物認識処理部４は、自車位置取得部２が取得した自車ＭＭの位置に基づき、地図上の自車ＭＭの位置を特定し、地図上における自車ＭＭの周辺に反射物体１０が存在するか否かを推定する。そして、障害物認識処理部４は、自車ＭＭの位置に対して反射物体１０の反射面よりも奥側に位置すると認識した物体Ａ′、Ｂ′が虚像か否かを判定する。物体が虚像の場合には、図４に示すように、反射面の奥側に存在するように認識されるおそれがあるが、物体の実像Ｂは反射面の手前に存在する。しかし、撮像画像では、図５のように撮像される。図５では、車線部分が反射物体１０の位置領域とする。
【００２３】
障害物認識処理部４は、虚像と判定した物体Ａ′、Ｂ′の実像位置を算出して、その虚像と判定した物体の位置を実像の位置に補正する。これによって、物体の位置の認識精度が向上する。図４の例では、反射面を考慮しないと、図５のように、撮像画像からは、他車両Ａ′が自分に向かって来ると共に、その他車両Ａ′の左側に他の障害物Ｂ′があるように誤認識されるおそれがある。これに対し、本実施形態では、実際の位置に物体の位置を補正することで、上記誤認識を抑制可能となる。
【００２４】
なおこのとき、障害物認識処理部４は、実像位置の算出が困難と判定すると、その物体の信頼性が低いとし、他の撮像画像から認識した物体の情報を優先する。
なお、虚像位置が図４のＡ′のような場合、実像位置は、自車ＭＭの位置となる。すなわち、自車ＭＭが反射面に映し出されたものである。そして、障害物認識処理部４は、実像位置が自車ＭＭの位置の物体Ａ′は、認識対象から除外する。これによって、例えば自車ＭＭの進行方向前方のガラス面に映し出された自車ＭＭの虚像Ａ′が、自車ＭＭに迫ってくる物体（車両）と認識されることが回避出来る。
【００２５】
また障害物認識処理部４は、反射物体自体が画像認識で認識されていない場合には、地図情報から特定される反射物体が、地図から特定される位置に存在するとして認識対象に追加する。
そして、運転支援装置５は、障害物認識処理部４の認識結果に基づき、障害物回避制御その他の運転支援処理を行う。
このとき、本実施形態の障害物認識処理部４は、画像認識で認識が不得意な反射物体の誤認識を抑制するため、運転支援装置５による運転支援精度か向上する。
ここで、車載カメラ１は撮像部を構成する。障害物認識部４Ｂは画像処理部を構成する。
【００２６】
（本実施形態の効果）
本実施形態は、次の効果を奏する。
（１）反射物体推定部４Ａａは、車載カメラ１が撮像した撮像画像及び地図情報の少なくとも一方に基づき、自車ＭＭ周囲に存在し且つ光を透過及び反射の少なくとも一方の作用を有する反射物体を推定する。そして、障害物認識部４Ｂは、上記反射物体推定部４Ａａが推定した反射物体の位置を参照して、上記車載カメラ１が撮像した撮像画像から自車ＭＭ周囲の物体を認識するための画像処理を行う。
【００２７】
この構成によれば、推定した反射物体を考慮して撮像した撮像画像から自車ＭＭ周囲の物体を認識する。これによって、物体認識のための画像処理が不得意とする反射物体による悪影響を抑制しつつ、自車ＭＭの周囲の物体をより精度良く認識することが可能となる。この結果、本発明によれば、車両周囲の環境認識精度を向上させることが出来る。
【００２８】
（２）反射情報登録部４Ａｂは、上記反射物体推定部４Ａａが推定した反射物体の情報を上記地図データ３に登録する。
これによって、反射物体の情報の取得が容易となる。すなわち、反射物体の情報を登録しておくことで、地図データから反射物体の抽出が容易となる。
（３）反射物体推定部４Ａａは、地図情報若しくは車載カメラ１が撮像した撮像画像から特定される物体の属性から上記反射物体を推定する。
この構成によれば、反射物体の推定が可能となる。特に対応する物体の属性によって判定することで、必ずしも特殊な地図を使用する必要もない。
【００２９】
（４）上記反射物体推定部４Ａａは、車載カメラ１が撮像した撮像画像中の物体の形状情報から上記反射物体を推定する。
この構成によれば、地図を使用することなく、反射物体の推定が可能となる。
（５）障害物認識部４Ｂは、前処理として上記撮像画像のうち上記反射物体位置の領域をマスキングした後に、上記物体を認識する画像処理を実行する。
この構成によれば、反射面に映っている物体を認識対象から除外するので、反射物体による誤認識を抑制可能となる。
【００３０】
（６）障害物認識部４Ｂは、上記撮像画像中の上記反射物体位置の領域において、自車ＭＭに対して上記反射物体の反射面の後方に位置すると認識される物体を検出すると、その検出した物体を、信頼性の低い物体として物体の認識を行う。
この構成によれば、反射面に映っている物体の信頼性を低くすることで、反射物体による誤認識を抑制可能となる。
【００３１】
（７）障害物認識部４Ｂは、上記撮像画像中の上記反射物体位置の領域で認識された物体が反射物体の反射面により反射した虚像と判定すると、上記認識された物体の位置を実像位置に補正する処理を行う。
この構成によれば、反射して映っている物体の認識精度が向上する。
（８）補正した位置が自車ＭＭ位置の場合には、その物体を認識対象から除外する。
自車ＭＭの映り込みによる誤認識を抑制可能となる。
（９）地図情報に基づき、反射物体の位置を、自車ＭＭ周囲の物体の一つとして認識する。
反射物体を撮像画像から認識出来ない場合であっても、その反射物体を自車ＭＭ周囲の物体として認識可能となる。
【符号の説明】
【００３２】
１ 車載カメラ
２ 自車位置取得部
３ 地図データ
４ 障害物認識処理部
４Ａ 画像前処理部
４Ａａ 反射物体推定部
４Ａｂ 反射情報登録部
４Ｂ 障害物認識部
４Ｃ 障害物特定部
５ 運転支援装置
１０ 反射物体
Ａ′、Ｂ′ 虚像
Ｂ 実像
ＭＭ 自車
【特許請求の範囲】
【請求項１】
車載されて自車周囲を撮像する撮像部と、
自車の位置情報を取得する位置情報取得部と、
地図情報を記憶した地図データと、
撮像部が撮像した撮像画像及び地図情報の少なくとも一方に基づき、自車周囲に存在し且つ光を透過及び反射の少なくとも一方の作用を有する反射物体を推定する反射物体推定部と、
上記反射物体推定部が推定した反射物体の位置を参照して、上記撮像部が撮像した撮像画像から自車周囲の物体を認識するための画像処理を行う画像処理部と、を備えることを特徴とする周囲環境認識装置。
【請求項２】
上記反射物体推定部が推定した反射物体の情報を上記地図データに登録する反射情報登録部を備えることを特徴とする請求項１に記載した周囲環境認識装置。
【請求項３】
上記反射物体推定部は、地図情報若しくは撮像部が撮像した撮像画像から特定される物体の属性から上記反射物体を推定することを特徴とする請求項１又は請求項２に記載した周囲環境認識装置。
【請求項４】
上記反射物体推定部は、撮像部が撮像した撮像画像中の物体の形状情報から上記反射物体を推定することを特徴とする請求項１〜請求項３のいずれか１項に記載した周囲環境認識装置。
【請求項５】
上記画像処理部は、前処理として上記撮像画像のうち上記反射物体位置の領域をマスキングした後に、上記物体を認識する画像処理を実行することを特徴とする請求項１〜請求項４のいずれか１項に記載した周囲環境認識装置。
【請求項６】
上記画像処理部は、上記撮像画像中の上記反射物体位置の領域において、自車に対して上記反射物体の反射面の後方に位置すると認識される物体を検出すると、その検出した物体を、信頼性の低い物体として物体の認識を行うことを特徴とする請求項１〜請求項４のいずれか１項に記載した周囲環境認識装置。
【請求項７】
上記画像処理部は、上記撮像画像中の上記反射物体位置の領域で認識された物体が反射物体の反射面による虚像と判定すると、上記認識された物体の位置を実像位置に補正する処理を行うことを特徴とする請求項１〜請求項４，請求項６のいずれか１項に記載した周囲環境認識装置。
【請求項８】
上記補正した位置が自車位置の場合には、その物体を認識対象から除外することを特徴とする請求項７に記載した周囲環境認識装置。
【請求項９】
上記地図情報に基づき、上記反射物体の位置を、自車周囲の物体の一つとして認識することを特徴とする請求項１〜請求項８のいずれか１項に記載した周囲環境認識装置。
【請求項１】
車載されて自車周囲を撮像する撮像部と、
自車の位置情報を取得する位置情報取得部と、
地図情報を記憶した地図データと、
撮像部が撮像した撮像画像及び地図情報の少なくとも一方に基づき、自車周囲に存在し且つ光を透過及び反射の少なくとも一方の作用を有する反射物体を推定する反射物体推定部と、
上記反射物体推定部が推定した反射物体の位置を参照して、上記撮像部が撮像した撮像画像から自車周囲の物体を認識するための画像処理を行う画像処理部と、を備えることを特徴とする周囲環境認識装置。
【請求項２】
上記反射物体推定部が推定した反射物体の情報を上記地図データに登録する反射情報登録部を備えることを特徴とする請求項１に記載した周囲環境認識装置。
【請求項３】
上記反射物体推定部は、地図情報若しくは撮像部が撮像した撮像画像から特定される物体の属性から上記反射物体を推定することを特徴とする請求項１又は請求項２に記載した周囲環境認識装置。
【請求項４】
上記反射物体推定部は、撮像部が撮像した撮像画像中の物体の形状情報から上記反射物体を推定することを特徴とする請求項１〜請求項３のいずれか１項に記載した周囲環境認識装置。
【請求項５】
上記画像処理部は、前処理として上記撮像画像のうち上記反射物体位置の領域をマスキングした後に、上記物体を認識する画像処理を実行することを特徴とする請求項１〜請求項４のいずれか１項に記載した周囲環境認識装置。
【請求項６】
上記画像処理部は、上記撮像画像中の上記反射物体位置の領域において、自車に対して上記反射物体の反射面の後方に位置すると認識される物体を検出すると、その検出した物体を、信頼性の低い物体として物体の認識を行うことを特徴とする請求項１〜請求項４のいずれか１項に記載した周囲環境認識装置。
【請求項７】
上記画像処理部は、上記撮像画像中の上記反射物体位置の領域で認識された物体が反射物体の反射面による虚像と判定すると、上記認識された物体の位置を実像位置に補正する処理を行うことを特徴とする請求項１〜請求項４，請求項６のいずれか１項に記載した周囲環境認識装置。
【請求項８】
上記補正した位置が自車位置の場合には、その物体を認識対象から除外することを特徴とする請求項７に記載した周囲環境認識装置。
【請求項９】
上記地図情報に基づき、上記反射物体の位置を、自車周囲の物体の一つとして認識することを特徴とする請求項１〜請求項８のいずれか１項に記載した周囲環境認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−２５５４４（Ｐ２０１３−２５５４４Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５９３１１（Ｐ２０１１−１５９３１１）
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]