周囲確認支援装置
【課題】ドライバーが車両の周囲を容易に確認することができるように支援する周囲確認支援装置を提供する。
【解決手段】車両の周囲を互いに異なる露出で撮像して、複数の画像を取得する。そして、その取得した画像内の対象物を画像認識する処理を行う。そして、各画像を比較して、各画像から対象物の画像認識の確度が良好な画像を選択し、その選択した画像を連結合成して、自車周囲合成画像を生成する。これにより、ダイナミックレンジが広く、視認性の高い画像を生成し、ドライバーによる車両周囲の確認を容易にする。
【解決手段】車両の周囲を互いに異なる露出で撮像して、複数の画像を取得する。そして、その取得した画像内の対象物を画像認識する処理を行う。そして、各画像を比較して、各画像から対象物の画像認識の確度が良好な画像を選択し、その選択した画像を連結合成して、自車周囲合成画像を生成する。これにより、ダイナミックレンジが広く、視認性の高い画像を生成し、ドライバーによる車両周囲の確認を容易にする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラで撮像した車両周囲の画像を表示して乗員による車両周囲の確認を支援する周囲確認支援装置に関する。
【背景技術】
【０００２】
車両を駐車場に駐車させる際に、路面に描かれた白線や他車両のない空間を認識することにより、自動的に駐車可能な駐車スペースを認識し、周囲の状況を察知した上で、駐車動作を支援する方法が知られている。
【０００３】
例えば、車両の操舵状態を検出する操舵状態検出手段と、カメラからの画像を元に画像認識により駐車区画を検出する駐車区画検出手段と、操舵状態検出手段からの情報により車両の走行予想軌跡を算出する走行予想軌跡算出手段と、走行予想軌跡と駐車区画の情報により駐車を補助する情報を運転者に提供する報知手段を備えた駐車補助装置が提案されている（例えば特許文献１を参照）。
【０００４】
また、近年、駐車動作時に車両と駐車区画との相対位置を容易に把握することを目的として、複数の車載カメラからの画像を合成し、車両を真上から撮像したのと同等の俯瞰画像を作成する技術が提案されている。
【０００５】
しかしながら、複数の車載カメラで撮像した複数の画像を合成することで、１枚の俯瞰画像を作成する際、カメラ間あるいは各車載カメラの画像内で明度およびコントラストが適切に調整できず、認識したい対象が視認性良く観測できないという問題がある。例えば、ある車載カメラでは綺麗で見やすい画像が撮像されている場合でも、別の車載カメラは太陽の方を向き、更に別の車載カメラは隣接車の影に入っているということが往々にしてある。そして、各車載カメラの向きは制御することができず固定されていることが多いため、道路のアップダウンや進行方向、天候の変化などでカメラ毎の被写体の状態が時々刻々と変わり、各車載カメラの撮像画像も時々刻々とその輝度や色バランスがバラバラに変化する。
【０００６】
複数のカメラで撮像した画像を合成する技術として、例えば、特許文献２、３が知られている。特許文献２には、複数の車載カメラで撮像した画像の重複領域の輝度値平均を基準値として、階調補正を行う技術が示されている。特許文献２に示された技術では、車が移動しながら露光量の異なる画像を撮影し、撮影された複数の画像を俯瞰変換した後に合成することで、ダイナミックレンジが広く、視認性の高い画像を生成することを目的としている。
【０００７】
また、複数カメラの撮像画像から、それぞれ露光量の適切な部分画像をとりだして画像を合成する技術が、特許文献３に開示されている。特許文献３に示された技術は、露光量の異なる複数の撮像装置を用いて同一の領域を撮影した複数の画像から、それぞれ露光量が適切な画像をとりだして合成画像を生成することで、見やすい合成映像を生成することを目的としている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−３３９１９４号公報
【特許文献２】特許第３２９７０４０号公報
【特許文献３】特開２００４−９６４８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献２に開示されている技術に基づき、重複部分の輝度値を用いて複数の画像を調整すると、各カメラ内の画像での駐車区画線や周囲人物など、ユーザが目視で確認したい部位のコントラストが低下したり、強い光によるハレーションが発生する場合にその影響で暗い領域での明度が更に低下したりする。特に、駐車動作中の周辺監視の目的で俯瞰映像を提供する場合、視認性が低下して周囲の人物等が見えなくなることは、大きな問題となる。
【００１０】
また、特許文献３に開示されている技術には、重複画像から適正な部分画像を取り出して合成する際に、合成の境界部分において不連続になるため、やはり視認性が低下してしまう。
【００１１】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、車載カメラで撮像した画像に基づいて乗員が車両の周囲を容易に確認することができるように支援する周囲確認支援装置を提供することである。
【課題を解決するための手段】
【００１２】
上記課題を解決する本発明の周囲確認支援装置は、車両の周囲を撮像した画像を表示して乗員による車両周囲の確認を支援する周囲確認支援装置であって、車両周囲の所定範囲を互いに異なる露光量で撮像する撮像部と、撮像部により撮像された互いに露光量が異なる複数の画像を画像処理して、予め設定された認識対象物の認識を行う画像認識部と、画像認識部の認識結果に基づいて画像から合成画像を生成する画像合成部と、画像合成部により合成した合成画像を表示する表示部とを有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、照明変動の大きい屋外環境において、駐車枠線や自車周囲の歩行者など、駐車動作においてドライバーが注目すべき対象の視認性を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態に係わる外界認識装置のシステム構成図。
【図２】車両に搭載される撮像部の配置例を示す図。
【図３】単一の撮像部を持つ構成を示す図。
【図４】シャッタ速度制御部に制御信号を与えられない場合の構成を示す図。
【図５】複数の画像記憶部を持つ場合の構成を示す図。
【図６】全体の処理の流れを示す図。
【図７】俯瞰画像において人物がどのように写るかを示した図。
【図８】駐車支援方法の内容を説明する図。
【図９】俯瞰変換を示す図。
【図１０】駐車支援時の自車周囲状況を示す図。
【図１１】カメラから得られる画像例を示す図。
【図１２】カメラから得られる画像例を示す図。
【図１３】露光量により、駐車枠の見え方が異なることを示す図。
【図１４】異なる露光量の画像と、その重みマップを示す図。
【図１５】駐車枠の認識結果を示す図。
【図１６】シャッタ速度を変更する方式を示す図。
【図１７】異なるシャッタ速度を変更する方式を示す図。
【図１８】第１実施の形態における重みマップの生成方法を示す図。
【図１９】物理的なシャッタ制御に代えて画像認識の明度補正パラメタを用いる構成図。
【図２０】駐車枠の認識結果を示す図。
【図２１】異なる露光時間の画像と、その重みマップを示す図。
【発明を実施するための形態】
【００１５】
（第１実施の形態）
次に、第１実施の形態に係わる周囲確認支援装置について図面を用いて説明する。
例えば駐車動作において乗員であるドライバーが注目する対象物は、場面や目的に応じて変わるが、本実施の形態では、地面に描かれた駐車枠を一例として挙げて説明をする。なお、対象物として、駐車枠以外にも、自車両周辺を移動する歩行者や他車両、壁や柱・輪留め・停車車両といった立体的な構造物、落下物や側溝などの危険物など、様々なものが存在する。
【００１６】
ドライバーは、駐車の目的地である駐車スペース内に自車両を確実に走行させ、かつ位置や向きを微調整するために、駐車スペースの外周を構成する駐車枠に注目をする（例えば図８、図１０を参照）。駐車枠２０は、通常、アスファルトやコンクリート路面等の地面に描かれた路面標示としての白線や黄色線からなり、例えば図１０に示すように、前線２１、左右側線２２、後線２３によって形成される。
【００１７】
照明の強い環境下で、白いコンクリート路面に明るい黄色線で駐車枠２０が描かれており、さらに近辺に黒い油汚れがあるような環境を考えると、通常、このような環境で撮影された画像は、画像全体のコントラスト自体は高いが、白飛びしやすい路面と枠線とはコントラストが低下し視認性が悪い。
【００１８】
この場合は、カメラの絞り径を狭くし、露光時間を短く（露光量を少なく）することで路面と枠線とのコントラストを高めることができるが、それ以外の部分では画像が暗くなってしまう。このように、従来技術を用いて画質を改善しようとする場合、常に必要な対象の視認性が改善できないという問題がある。
【００１９】
本実施の形態における周囲確認支援装置では、互いに露光量が異なるように取得した複数の画像に対して、それぞれ駐車枠の認識処理を行い、認識が成功した領域は人間にとってもその露光量における視認性が高いと判断して、画像合成の際に優先的に用いるようにしている。
【００２０】
＜周囲確認支援装置の構成の説明(基本部)＞
図１は、本実施の形態における周囲確認支援装置の構成を説明する図である。
周囲確認支援装置１は、複数の撮像部１０１〜１０４と、これら撮像部１０１〜１０４の露出を制御するためのシャッタ速度制御部１１１〜１１４と、撮像部１０１〜１０４により撮像した画像を記憶する画像記憶部１２１と、画像記憶部１２１に記憶されている画像から対象物の認識処理を行う画像認識部１３１と、画像記憶部１２１に記憶されている画像と画像認識部１３１から得られる画像認識の結果に基づいて画像を合成する画像合成部１４１と、画像合成部１４１から得られる合成画像を表示する表示部１５１を備えている。
【００２１】
撮像部１０１〜１０４は、自車周囲の所定範囲を撮像してその画像を画像記憶部１２１に入力するもので、例えば、ＣＣＤとレンズを有するカメラによって構成される。各撮像部１０１〜１０４は、それぞれにおいて互いに異なる露光量で撮像する。
【００２２】
図２は、車両に搭載される撮像部の配置例を示す図である。図２に示すように、撮像部１０１は、車両１０の左部に配置されて、車両１０の左側方を撮像する左サイドカメラを構成し、撮像部１０２は、車両１０の右部に配置されて、車両１０の右側方を撮像する右サイドカメラを構成している。
【００２３】
そして、撮像部１０３は、車両１０の後部に配置されて、車両１０の後方を撮像するリヤカメラを構成し、撮像部１０４は、車両１０の前部に配置されて、車両１０の前方を撮像するフロントカメラを構成している。
【００２４】
撮像部１０１〜１０４は、例えば図１０に示すような駐車スペースに車両１０を駐車させる際に、自車周囲５メートル程度の範囲を撮像できるように車両１０に取り付けられている。従って、例えば撮像部１０１、１０２によって図１１、図１２に示すような画像が得られる。また、車両１０には、照明として、自車周辺を照らすためのライトがドアミラー部に内蔵されて搭載されている（いずれも図示せず）。なお、前述した５メートルという距離は一例であり、自車両の大きさや稼働環境により変えても良い。例えば、大型油圧ショベルなどの建設機械において周囲の人物の視認性をあげる目的で本発明を利用する場合には、より広い範囲を撮像するのが適している。
【００２５】
画像記憶部１２１は、撮像部１０１〜１０４から得られた各画像と、画像が得られた時刻、露光時間とをセットとして記憶する。また、画像認識部１３１に対して各撮像部１０１〜１０４で撮像された最新の画像を提供する。さらに、画像合成部１４１の要求に応じて、過去に記憶された画像を含め、任意の記憶されている画像を提供する。画像記憶部１２１の記憶形態としては、例えばＲＡＭなどのメモリと通信用インタフェース、制御用のマイコンで構成されている、もしくは独立したモジュールではなく、計算機上のプログラムとして構成されていてもよい。
【００２６】
画像認識部１３１では、撮像部１０１〜１０４から得られた、ある時刻、ある露光量の画像に対して駐車枠２０を認識する画像認識処理を実行する。撮像部１０１〜１０４のうち、同一の撮像部から得られた、異なる露光量の画像に対する駐車枠認識の結果が異なる場合、画像認識処理によって認識された駐車枠２０の確度に基づき、どの露光量の画像の領域が認識に適しているか、すなわち視認性が高いかを算出する。なお、確度とは、画像認識部１３１による認識対象物の認識の正確さを表すものである。
【００２７】
画像合成部１４１は、画像認識部１３１で算出された画像領域の視認性の高さ（確度）を基準に、互いに露光量が異なる複数の画像を合成する。まず、撮像部１０１〜１０４でそれぞれ得られた互いに露光量が異なる複数の画像について、各撮像部１０１〜１０４ごとに画像を合成して、各撮像部１０１〜１０４ごとに１つずつの合成画像を生成する。そして、次に、各撮像部１０１〜１０４ごとに作成された視認性の高い４つの合成画像を連結合成することで、視認性の高い自車周囲合成画像（例えば図２０を参照）を生成する。
【００２８】
なお、ある撮像部から得られた一つの画像の全ての領域が単一の露光量であるときに視認性が高いとは限らない。図１３は、車両の左側方を撮像した画像の例を示した図であり、露光量Ｅ１で撮像した画像Ｉ１、露光量Ｅ２で撮像した画像Ｉ２、露光量Ｅ３で撮像した画像Ｉ３を示している。
【００２９】
例えば、露光量Ｅ１で撮像した画像Ｉ１は、画像左側領域において視認性が高く、画像右側領域において視認性が低い。また、露光量Ｅ２で撮像した画像Ｉ２は、画像右側領域において視認性が高く、画像左側領域において視認性が低い。
【００３０】
このような場合には、画像Ｉ１の左側領域と、画像Ｉ２の右側領域とを合成した合成画像である画像Ｉ３が画像合成部１４１によって生成される。従って、合成画像Ｉ３の中の認識対象物である駐車枠２０の視認性を高くすることができる。
【００３１】
そして、画像合成部１４１は、各撮像部１０１〜１０４ごとに作成された各合成画像を連結合成して、車両１０を真上から撮像したのと同等の俯瞰画像である自車周囲合成画像を生成する。
【００３２】
表示部１５１は、画像合成部１４１で生成した自車周囲合成画像を、ユーザであるドライバーに提示するための装置である。例えば、カーナビゲーションのモニタや、ルームミラーに内蔵されたモニタ、フロントガラスに投影できるようにしたプロジェクタ装置等、ドライバー等のユーザに映像情報を提示できるものである。本構成では、まず各撮像部１０１〜１０４の領域において、それぞれ複数の露光量の画像を合成し、その後に各撮像部１０１〜１０４の合成画像を連結合成することで、各撮像部１０１〜１０４の視認性が高くなるように最適化できるという効果がある。
【００３３】
また、前述の構成に加えて、拡張部として車両情報提供部１６１、露光量情報保持部を有していてもよい。これらの車両情報提供部１６１と露光量情報保持部は、画像認識部１３１および画像合成部１４１の処理を改善するために用いられる。
【００３４】
車両情報提供部１６１では、車速、車輪速、舵角、車輪角、自車位置測位システムなどの車両１０に搭載されたセンサの情報より、撮像されたそれぞれの画像における相対的な自車位置を算出し、画像記憶部１２１で画像を記憶する際の情報に付加する。
【００３５】
複数の異なる露光量の画像を、同一の撮像部で撮像する場合、各画像の撮像タイミングが異なるため、自車や周囲物体が移動していると、撮像対象物が画像中を移動し、正しく画像合成を行うことができない。
【００３６】
このため、相対的な自車位置を元に各画像間での見かけの移動量が算出でき、画像合成部１４１において、複数画像を位置合わせすることができる。また、サイドブレーキによるブレーキランプ点灯情報が得られる場合には、自車が停止していることが明らかであり、複数画像を位置あわせする必要がないことが分かるため、ブレーキランプ点灯情報も画像記憶部１２１で画像を記憶する際の情報に付加しておき、画像合成部１４１での合成処理に利用できる。
【００３７】
さらに、ヘッドランプ点灯情報、ワイパ稼働情報が得られる場合には、外部の照明状態が暗く、撮像されている画像が暈けている可能性が高く、複数画像を合成する際に明確な特徴点が出にくいことが分かるため、これも画像記憶部１２１で画像を記憶する際の情報に付加しておくことで、画像合成部１４１での合成処理に利用できる。
【００３８】
露光量情報保持部は、各撮像部１０１〜１０４で撮像する画像における露光量の情報を保存する。時系列で保存された各撮像部１０１〜１０４の露光量と、画像認識部１３１における認識可否により、今後露光量をどのように変更すればよいかを決定することで、画像認識部１３１は最適な露光量の組み合わせを決定し、シャッタ速度制御部１１１〜１１４によりシャッタ速度を制御して、各撮像部１０１〜１０４の露光量を指定することができる。露光量情報保持部は、画像記憶部１２１内に設けてもよい。
【００３９】
＜処理の流れ (基本部)＞
次に、本実施の形態において、前述した装置構成に対応する処理の流れを説明する。
まず、撮像部１０１〜１０４は、シャッタ速度制御部１１１〜１１４の指定に従って、異なるタイミングで複数の異なる露出での車両周辺の画像を撮像する。得られた画像と撮像時のパラメタは、画像記憶部１２１に記憶される。
【００４０】
撮像時のパラメタには、撮像時のシャッタ速度と撮像時間、および車両情報が含まれている。車両情報とは、車速、車輪速、舵角、車輪角、自車位置測位システムによる自車位置、ヘッドランプ点灯情報、ワイパ稼働情報などの車両内部のネットワークにより車両１０の複数の装置間で受け渡される情報のことであり、車車間通信と路車間通信により自車両と送受信される情報も含むものである。
【００４１】
次に、画像記憶部１２１に記憶された画像は、画像認識部１３１に送られ、駐車枠認識処理が実行される。この駐車枠認識の処理は、駐車枠２０を形成する線分の認識と、線分の組み合わせが駐車枠２０として適切か否かの判定、という２段階で構成される。例えば、線分の認識は、画像に対して縦方向および横方向のＳｏｂｅｌフィルタを適用し、適当な閾値で二値化することによって画像中のエッジ点を抽出し、抽出されたエッジ点の座標群にＨｏｕｇｈ変換を適用することで、直線状に並んでいるエッジ点群を抽出することができる。
【００４２】
また、駐車枠２０として適切か否かの判定は、例えば普通乗用車のための駐車枠２０を認識する場合には、車両幅相当の２ｍ〜４ｍの間隔（並列の駐車枠）、もしくは車両長さ相当の４ｍ〜６ｍの間隔（縦列の駐車枠）で、ほぼ平行な２本の駐車枠線２２、２２が路面に描かれていることを検出できた場合に、その挟まれた領域を、車両１０を停めることができる駐車枠２０として確定すればよい。
【００４３】
この駐車枠認識は、異なる複数の露光量の画像に対して行われるが、自車周囲の環境に対してシャッタ速度制御が不適切な画像に対しては、前述の画像中のエッジ点が抽出されない。
【００４４】
例えば、明るい照明環境下において、シャッタ速度が遅く、長時間の露光を行った場合には、画像が白飛びし、隣接画素の輝度値の差がなくなるために、Ｓｏｂｅｌフィルタ適用後の画像でエッジ点が抽出されず、駐車枠２０が認識されない。
【００４５】
ある露出の映像で認識がされない画像領域がある場合、当該領域には駐車枠２０が存在しないか、あるいは露出調整が不適切なために認識可能な画質ではなかったことを意味している。
【００４６】
また、画像認識部１３１では、エッジ点がどの程度はっきりと検出できたか、Ｈｏｕｇｈ変換を施した際に直線性がどの程度正確だったか、などを基準として、駐車枠認識の確度を算出する。
【００４７】
具体的な算出例は後述するが、この確度が高いほど明らかに駐車枠認識が成功であることを示すように指標を設定する。前述したように、明らかに画像認識によって対象が認識できる領域は、人間にとっても視認性が高いと考えることができる。このように、画像認識部１３１からは、ある露出の画像中から検出できた駐車枠２０が存在する位置と、検出された駐車枠２０の確度が出力として得られる。
【００４８】
また、画像認識部１３１では、事前に設定されている複数段階のシャッタ速度のうちの異なる１つの露出で撮像するように、シャッタ速度制御部１１１〜１１４に信号を送る。なお、車両情報提供部１６１が存在する場合には、ヘッドランプ点灯信号やワイパ稼働状況をチェックし、周囲環境が暗い場合には、よりシャッタ速度を遅くし、明るい映像が得られるようシャッタ速度制御部１１１〜１１４に信号を送る。
【００４９】
そして、車両情報提供部１６１からの車速情報が高速である場合には、画像がブレることが考えられるため、よりシャッタ速度を早くし、ブレのないシャープな映像を得られるように、シャッタ速度制御部１１１〜１１４に信号を送る。
【００５０】
画像合成部１４１では、画像認識部１３１で認識できた駐車枠２０が存在する画像領域と、その認識の確度、すなわち視認性の高さを基準に、異なる露光量の画像を合成する。この合成では、まず、画像間の移動量を考慮して位置合わせを行った画像間での、各画像の各領域をどの程度の重みをつけて用いるかを表す、重みマップを作成する。
【００５１】
次に、この重みマップに従って、複数画像の各画素の輝度値および色情報（色相、彩度）を混合して合成画像を作成する。このとき、視認性の悪い画像では色情報が欠落することが多いため、輝度値情報のみを混合の対象にして、色情報は彩度が高い画像の値を使っても良い。
【００５２】
図１８は、重みマップの例を示した図である。重みマップＭ１、Ｍ２は各画像Ｉ１、Ｉ２の各部位がどの程度認識しやすい映像であるかを示しており、他の露出の画像に比べて、図中の白い部分は視認性が高く、黒い部分は視認性が低いことを表した濃淡画像である。この重みマップＭ１、Ｍ２と画像Ｉ１、Ｉ２の積和をとることで、出力画像Ｉ３を得る。
【００５３】
例えば、同一の撮像部によって、近い時刻で撮像された、露光量が少ない状態で撮影した画像Ｉ１と、露光量が多い状態で撮影した画像Ｉ２を考える。画像Ｉ１および画像Ｉ２には、それぞれ３本の駐車枠線が映っているが、画像Ｉ１においては画像左側にある駐車枠線Ｌ１、Ｌ２のみが、画像Ｉ２においては画像右側にある駐車枠線Ｌ２、Ｌ３のみが検出されている。
【００５４】
この検出された駐車枠線の領域に応じて、検出の確度と検出領域からの距離に応じて、画像合成マップＣ１を生成する。検出の確度の算出方法については後述する。画像合成マップＣ１において、領域Ａ１は画像Ｉ１を１００％使用する領域、領域Ａ２は画像Ｉ１を５１〜９９％使用して残りを画像Ｉ２を使用する領域、領域Ａ３は画像Ｉ１と画像Ｉ２をそれぞれ５０％ずつ使用する領域、領域Ａ４は画像Ｉ２を５１〜９９％使用して残りを画像Ｉ１を使用する領域、領域Ａ５は画像Ｉ２を１００％使用する領域として、画像合成を行う際に各画像をどの割合で使用するかを連続的に変化するように定義したものである。この画像合成マップＣ１に応じて、入力画像Ｉ１、Ｉ２に重みをつけて加算し、合成することで出力画像Ｉ３を生成する。
【００５５】
それぞれの撮像装置から得られた４枚の合成画像に対し、ひずみ補正を行い、各撮像部１０１〜１０４の相対関係を考慮して連結合成することで、俯瞰変換を行い、視認性の高い自車周囲合成画像を生成する。俯瞰変換とは、図９に示すように、撮像部１０１〜１０４によって得られた映像をもとに、画像中の全ての点が路面Ｇにあることを仮定し、仮想的なカメラ視点１０５から見下ろしたかのように変換する、画像変換方法の一種である。この自車周囲合成画像の生成方法に関しては、公知の技術であるため、ここでは特に説明しない。
【００５６】
シャッタ速度制御部１１１〜１１４では、画像認識部１３１からの信号に応じてシャッタ速度を調整するように撮像部１０１〜１０４を制御し撮像する信号を送る。画像合成部１４１では、画像認識部１３１から得られるそれぞれの露出でのマスク画像と、画像記憶部１２１から得られる対応する露出でのカメラ画像とから、マスク画像の重みに応じて画像を合成し、表示部１５１に送る。
【００５７】
なお、合成する際、自車が移動していると位置ずれが起こり、合成画像がぼけたり、２重写しになったりするため、俯瞰画像に対して自車移動量を補正した上で合成する。自車移動量は車輪速センサや車速センサ、測位センサなどのほか、画像からオプティカルフローを算出することで求めることができる。表示部１５１は、例えば液晶モニタやウィンドウガラスへの投光表示部であり、画像合成部１４１から得られた画像を表示する。なお、図６は、上述した処理の流れを示すフローチャートである。
【００５８】
＜駐車枠の確度算出方法の詳細＞
駐車枠の確度は、画質情報の確度Ｒｉｍｇと、認識対象の構造情報の確度Ｒｓｔｒの和として定義できる。
【００５９】
画質情報の確度Ｒｉｍｇは、駐車枠線の近傍の画像領域のコントラストと鮮鋭度から定義できる。駐車枠線の近傍の画像領域とは、例えば駐車枠線の場合、駐車枠線が幅Ｗ、長さＬとすると、枠線と同程度の幅の路面を両側に含むように、駐車枠線の中心軸を中心とした幅３Ｗ、長さＬの領域として定義できる。
【００６０】
画像領域のコントラストとは、その領域内に含まれる最小輝度値Ｙｍｉｎ、最大輝度値Ｙｍａｘの比、すなわちＹｍａｘ／Ｙｍｉｎとして定義できる。注目対象である駐車枠線と路面とがどの程度の対比で認識できるかを表す指標であり、画像の視認性が悪い場合に小さい値をとる。鮮鋭度とは、枠線領域と路面との境界に垂直な直線を考え、この直線上で輝度値の二次微分をとったときの極値間の距離の逆数である。境界がぼやけていて視認性が悪い画像の場合、この数値は小さな値になる。
【００６１】
また、認識対象の構造情報の確度Ｒｓｔｒは、枠線の直線性および平行性、直角性に対する歪みといった、画像から得られた見かけの形状に対する評価指標として定義できる。枠線の直線性に対する歪みとは、前述したエッジ点群の座標に対してＨｏｕｇｈ変換等で近似直線を算出し、その近似直線から各エッジ点までの距離の二乗和として定義できる。
【００６２】
枠線の平行性に対する歪みとは、例えば２本の線分で駐車枠が構成されている場合、各線分の近似直線のなす角度をθ（０≦θ≦９０［ｄｅｇ］）とするとｃｏｓθとして定義できる。また、枠線の直角に対する歪みとは、例えば２本の線分で駐車枠が構成されている場合、各枠線の駐車枠入り口側の端点同士を結んだ線を仮定し、この線と各枠線の近似直線のなす角度をθ（０≦θ≦９０［ｄｅｇ］）とするとｃｏｓθとして定義できる。なお、４本の線分で駐車枠が構成されている場合には、同様に各枠線の近似直線のなす角度の余弦として定義できる。これらの値はいずれも歪みが大きい場合に小さくなる。
【００６３】
このように、画質情報の確度Ｒｉｍｇと、認識対象の構造情報の確度Ｒｓｔｒは、歪みが大きく視認性が悪い場合に小さい値をとり、逆に歪みが少なく視認性が良い場合に大きい値をとる。
【００６４】
＜合成方法の詳細＞
画像合成方法の詳細について図１４を用いて説明する。同一の撮像部で異なる時刻に撮影した４枚の画像７０１〜７０４に対して駐車枠認識を行うことを考える。ただし、画像７０１は、時刻Ｔ１、ある露光量Ｅ１において撮像した画像、画像７０２は、画像７０１の撮像時刻とは異なる時刻Ｔ２、露光量Ｅ２において撮像した画像である。そして、画像７０３は、画像７０１、７０２とは異なる時刻Ｔ３、露光量Ｅ３において撮像した画像、画像７０４は、画像７０１〜７０３とは異なる時刻Ｔ４、露光量Ｅ４において撮像した画像である。
【００６５】
画像認識部１３１では、画像７０１〜７０４に対して、それぞれ駐車枠線認識処理を行い、その認識結果の領域と駐車枠の確度とを画像合成部１４１に送る。例えば、図１５では画像７０１で２つの駐車枠Ｐ１１、Ｐ１２、画像７０２で１つの駐車枠Ｐ２１が認識されており、その際の駐車枠認識の確度をＲ１１、Ｒ１２、Ｒ２１とする（Ｒ１１＜Ｒ２１）。
【００６６】
自車が静止している場合、Ｐ１１とＰ２１は画像中のほぼ同一位置にあるため、同一の駐車枠であることが明らかであるが、駐車枠Ｐ２１の確度Ｒ２１が大きいため、この画像領域では画像７０２の視認性が高いことが分かる。
【００６７】
このとき画像７０１、７０２に対する重みマップをそれぞれ７１１、７１２とすると、７１１中の駐車枠Ｐ１１に相当する領域の重みはＲ１１／（Ｒ１１＋Ｒ２１）、７１２中の駐車枠Ｐ２１に相当する領域の重みＲ２１／（Ｒ１１＋Ｒ２１）と定義できる。すなわち、この領域では露光量Ｅ１、露光量Ｅ２ともに適切ではあったが、より視認性の良い画像は画像７０２であったことになる。
【００６８】
一方、画像７０１の駐車枠Ｐ１２に相当する駐車枠が画像７０２で認識されていないことから、この領域では露光量Ｅ１のみ適切であり、露光量Ｅ２が不適切であったことが分かる。このため、重みマップ７１１中の駐車枠Ｐ１２に相当する領域の重みは１、重みマップ７１２中の駐車枠Ｐ１２に相当する領域の重みは０とする。
【００６９】
画像７０１、７０２のいずれからも駐車枠が認識されなかった領域の重みは、重みが決定された領域からの距離に応じて重みを伝搬させて決めることができる。すなわち、図１５において、画像７０１中の点Ｐの重みは、駐車枠Ｐ１１の領域からの距離がＬ１、駐車枠Ｐ１２の領域からの距離がＬ２であるため、決定された重みからの距離の比に応じて重みを変化させ、｛Ｒ１１／（Ｒ１１＋Ｒ２１）｝×｛Ｌ２／（Ｌ１＋Ｌ２）｝＋｛Ｒ２１／（Ｒ１１＋Ｒ２１）｝×｛Ｌ１／（Ｌ１＋Ｌ２）｝と定義できる。この重みの伝搬は、距離の二乗に比例させたり、シグモイド関数など適当な単調関数で変換してもよい。
【００７０】
また、画像認識部１３１は、時系列に対する合成画像明度安定化の機能を持っていても良い。
【００７１】
この機能がない場合、駐車枠認識が不安定で、フレーム毎に検出・非検出を繰り返す場合、重みマップをそのたびに変更すると、出力される画像の明度がめまぐるしく変わり、見にくくなってしまうおそれがある。このような問題に対応するためには、合成画像の明度安定化を行うために、重みマップを露出量毎に保持しておき、急激に重みが変わらないようにすればよい。
【００７２】
すなわち、時刻ｔ−１の露出量Ｅ１、Ｅ２のそれぞれの重みマップをＷ（ｔ−１、Ｅ１）、Ｗ（ｔ−１、Ｅ２）とし、前記のように算出した時刻ｔの露出量Ｅ１、Ｅ２のそれぞれの重みがＷ（ｔ、Ｅ１）、Ｗ（ｔ、Ｅ２）の場合、画像合成の際に使用する時刻ｔの重みマップをＷ’（ｔ、Ｅ１）＝α×Ｗ（ｔ、Ｅ１）＋（１−α）×Ｗ（ｔ−１、Ｅ１）、Ｗ’（ｔ、Ｅ２）＝α×Ｗ（ｔ、Ｅ２）＋（１−α）×Ｗ（ｔ−１、Ｅ２）とすることで、重みマップの急激な変化をさけることができる。ここでαは新しい画像から算出される重みを反映させる度合いを表しており、実験的に決められる適当な係数である。または、カルマンフィルタを用いてＷ’を安定化させてもよい。
【００７３】
なお、自車が移動している場合には、画像から見かけの自車移動を算出し、画像を回転や並進移動などアフィン変換して位置合わせすることにより、自車が静止している状態と同様に考えることができる。この見かけの移動量は、例えば、オプティカルフロー法やＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）による特徴点追跡により、画像の動きを算出することで算出できる。
【００７４】
そして、次に、各撮像部ごとに作成された視認性の高い４つの画像を連結合成することで、視認性の高い自車周囲画像を生成する。
【００７５】
なお、本実施の形態では、周囲確認支援装置１が複数の撮像部１０１〜１０４を有する構成の場合を例に説明したが、カメラ数が変わっても問題はない。すなわち、例えば左側方と後方の２カメラの構成や、後方のみの１カメラの構成であっても、前述したとおりの手段で、視認性の高い画像を提供することが容易に類推できる。図３は、１カメラの場合の構成を示す図である。
【００７６】
＜車両情報提供部の処理＞
車両情報提供部１６１の役割は、自車の移動量と、周囲環境をセンサ情報から取得して、より適切な画像合成を行うための情報提供をすることである。
【００７７】
自車の移動量を計算するために、車両１０に搭載されたセンサから、車速、車輪速、舵角、車輪角といった情報を取得する。これらのセンサ情報からの自車移動量の算出方法は、一般的なデッドレコニング法もしくは自律航法と同様であるので、ここでの説明は省略する。
【００７８】
また、自車位置測位システムにより地球に対する絶対的な自車位置が得られる場合、その時系列情報の差分をとることにより、自車の移動量を計算できる。この自車の移動量を画像記憶部１２１に記憶させておくことで、画像間の位置合わせ精度を向上させる効果が期待できる。
【００７９】
周囲環境を認識するために、サイドブレーキによるブレーキランプ点灯情報が得られる場合には、自車の移動量を０として画像記憶部１２１に記憶させ、画像間の位置が変化ないことを明らかにすることで、認識対象の同定処理の確実性を増す効果が期待できる。
【００８０】
さらに、ヘッドランプ点灯情報、ワイパ稼働情報が得られる場合には、夜間や雨天などの原因で外部の照明状態が暗い状態であることを画像記憶部１２１に記憶させる。撮像されている画像がぼけている可能性が高く、複数画像を合成する際に明確な特徴点が出にくいことから、ぼけている画像に対してエッジ抽出できるよう画像認識部１３１の二値化閾値などのパラメタを変更することで、認識性能を向上させる効果が期待できる。また、自車前方路面の局所領域がヘッドランプに照らされて駐車枠線の誤認識がでるため当該領域のエッジを無視する処理を画像認識部１３１に行わせることでも、認識性能を向上させる効果が期待できる。
【００８１】
＜露光量情報保持部の処理＞
露光量情報保持部の役割は、過去の各撮像部１０１〜１０４で撮像する画像における露光量を保存し、今後各撮像部がどのような露光量で画像を撮像すればよいかを計画し、シャッタ速度制御部１１１〜１１４に露光量を指定することである。
【００８２】
各露光量の画像を撮像したとき、各画像における認識結果がどのように得られているかを記憶することで、現在の複数のシャッタ制御のうち、いずれが適切かを判断することができる。例えば、あるシャッタ速度Ｓ１と、それより長いシャッタ速度Ｓ２の２種類のシャッタ速度を交互に繰り返しているカメラを考える。
【００８３】
図１６の区間ａのように、シャッタ速度Ｓ１とＳ２の両方で何らかの認識結果が得られているが、Ｓ１の場合により適切な認識結果が得られている場合、よりシャッタ時間が短い方が適切に認識できることになるため、適当な変化係数ΔＳを用いて、Ｓ１’＝Ｓ１−ΔＳ、Ｓ２’＝Ｓ２−ΔＳ、と両方のシャッタ時間をより短くするように調整する。
【００８４】
シャッタ速度Ｓ１とＳ２の間に最適なシャッタ速度の平均値が挟まれるように調整することで、ダイナミックレンジの高い映像に対して認識対象を検出できる。なお、シャッタ速度Ｓ１では認識結果が得られているが、シャッタ速度Ｓ２では全く認識結果が得られていない場合、例えばΔＳ＝Ｓ２−Ｓ１とすると、図１７のようになり、認識結果が得られているシャッタ速度での撮像を行いながら、それより短いシャッタ速度の映像と長いシャッタ速度の映像を交互に撮影し、適するシャッタ速度を探索することができ、シャッタ速度の探索が安定化する効果がある。また、シャッタ速度Ｓ１およびＳ２の両方で全く認識結果が得られていない場合、シャッタ速度の設定が大きくずれている可能性と画像中に認識対象物が存在しない可能性の両方があるため、そのような場合には標準的なシャッタ速度にリセットすればよい。
【００８５】
なお、ここまで物理的にシャッタ速度を変更する構成で記載してきたが、例えば、ガンマ変換の係数や、二値化、エッジ検出の際の閾値を変更する構成にしても構わない。すなわち、露出量の多い映像が入力されたと仮定した際の閾値と、露出量の少ない映像が入力されたと仮定した際のガンマ変換の係数や閾値を順次変更しながら処理を実行してもよい。例えば、図１９に示すように、明度補正パラメタ保持部５１０を設けて、画像認識部１３１の画像認識において、画像の露光量を補正するための複数のパラメタを保持する構成としてもよい。
【００８６】
図４は、図３の変形例を示すブロック図である。図４に示す周囲確認支援装置１は、シャッタ速度制御１１０への制御を行うことができない構成となっている。図３との相違点に関して主に説明する。シャッタ速度制御１１０は、図３の構成と異なり、画像認識部１３１からの信号がないため、事前に規定された複数のシャッタ速度を撮像部１００に送るとともに、画像認識部１３１に送る。
【００８７】
図５は、図３の他の変形例を示すブロック図である。図５に示す周囲確認支援装置１は、撮像部１００、シャッタ速度制御部１１０、画像記憶部１２１をそれぞれ２つ備える構成を有している。図３との相違点に関して主に説明する。２つの撮像部１００で同一対象を撮像している場合、画像認識部１３１では各シャッタ速度制御部１１０にそれぞれ異なるシャッタ速度の制御信号を出力することで、同一時刻で複数の異なる露出の映像を得ることができる。なお、複数の撮像部１００を完全に同一の空間に置くことはできないため、俯瞰変換などの画像視点変換を用いることで複数の撮像部１００を同一箇所に置くのと同じ効果を出すことができる。このように１台の撮像部の構成に対しても、複数の撮像部の構成に対しても、本発明を適用することができる。
【００８８】
（第２実施の形態）
次に、第２実施の形態について図２０、図２１を用いて以下に説明する。なお、第１実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。
【００８９】
本実施の形態において特徴的なことは、まず、複数の撮像部で撮像した画像を連結合成して自車周囲合成画像を生成し、次に、互いに露光量が異なる複数の自車周囲合成画像に対して画像認識を行い、認識結果に応じて複数の露光量の画像を合成する点である。
【００９０】
図２０を用いて説明する。まず、各撮像部１０１〜１０４において互いに露光量が異なる複数の画像を撮像し、これら複数の画像に対してひずみ補正を行い、各撮像部１０１〜１０４の相対関係を考慮して連結合成する。例えば、シャッタ速度を高速にして撮像した露光量が少ない４枚の画像を連結合成して画像７０１を生成すると共に、シャッタ速度を低速にして撮像した露光量が多い４枚の画像を練結合して画像７０２を生成する。
【００９１】
画像７０１、画像７０２は、各撮像部１０１〜１０４間の露出量がほぼ合っている画像になっている。この画像７０１、７０２に対して、駐車枠認識を行い、その結果に応じて異なる露出の画像を生成する点は、前述した各カメラ映像における画像合成方法と同様である。
【００９２】
図２１に示すように、連結された自車周囲の画像に対して重みマップ７１１〜７１４を定義し、入力画像７０１〜７０４に重みをつけて加算することにより、出力画像７１５を得ることができる。
【００９３】
このように本構成では、まず各撮像部１０１〜１０４で撮像した画像を連結合成して自車周囲合成画像を生成する。そして、その後に、互いに露光量が異なる複数の自車周囲合成画像を合成する。従って、局所的な最適化に陥らず、全体的に連結された画像の見かけを滑らかに自然な状態になるように最適化できるという効果がある。
【００９４】
（第３実施形態）
次に、第３実施の形態について以下に説明する。
本実施の形態では、注目対象が自車の周囲を移動する移動体（歩行者）である場合について説明する。
【００９５】
さて、前進と後退を繰り返し、かつ大きい操舵角で急旋回を行う駐車動作は、自車周囲の死角が多く、旋回時の内輪差も大きくなることから、事故を誘発しやすく、全周囲の壁や歩行者に注意を払う必要がある。このような駐車動作を安全に行うために、ドライバーが特に注意すべき対象は、自車周囲を移動する歩行者（以下、移動体という）である。
【００９６】
一般に、駐車枠の白線と路面とのコントラストよりも、移動体と路面とのコントラストの方が低く、従来技術のように、単純にある領域範囲のコントラストを基準に画像を合成すると、ドライバーが注意すべき対象のコントラストが悪い画像が生成される問題がある。注目対象が静止しているものであれば、上述の第１実施の形態によって、この問題を解決することもできるが、対象が移動している場合にはそのまま適用できない。
【００９７】
本実施の形態では、複数の露光量で取得した画像に対して、それぞれの画像に対して認識処理を行い、移動体を追跡し、認識が成功しなかった場合でも移動位置を予測するようにし、その予測位置の明度とコントラストを適切に調整することで、視認性が高い画像を生成することができる。なお、カメラ配置と装置構成自体は第１実施の形態と同様のため、ここでは説明を省略する。
【００９８】
＜処理の流れ (基本部)＞
本実施の形態における処理の流れについて、第１の実施例と異なる部分を中心に説明する。まず、撮像部１０１〜１０４は、シャッタ速度制御部１１１〜１１４の指定に従って、異なるタイミングで複数の異なる露出での車両周辺の画像を撮像し、得られた画像と撮像時のパラメタとを画像記憶部１２１に送られて記憶される。
【００９９】
次に、画像記憶部１２１に記憶された画像は、画像認識部１３１に送られ、移動体認識の処理が試行される。この移動体認識は、自車が静止している場合には背景差分法を用い、適切な閾値で二値化を行うことにより、変化があった領域を移動体領域として抽出することができる。自車が動いている場合には、オプティカルフロー法を用いて画像の動きベクトルを検出し、その動きベクトルを方向と大きさに基づいてセグメンテーションを行うことにより、路面領域と移動体領域を分離して求めることができる。
【０１００】
この移動体認識は異なる複数の露光量の画像に対して行われるが、自車周囲の環境に対してシャッタ速度制御が不適切な画像に対しては、輝度値が明側もしくは暗側に飽和しているため、差分もしくは動きベクトルが抽出されない。ある露出の映像で認識がされない画像領域がある場合、当該領域は移動体がいないか、あるいは露出調整が不適切なために認識可能な画質ではなかったことを意味している。
【０１０１】
また、画像認識部１３１では、移動体領域内部のコントラストや、抽出された移動体形状などを基準として、移動体認識の確度を算出する。画像認識部１３１からは、ある露出の画像中から検出できた移動体が存在する位置と、検出された移動体の確度が出力として得られる。
【０１０２】
画像合成部１４１では、画像認識部１３１で認識できた移動体が存在する画像領域と、その認識の確度、すなわち視認性の高さを基準に、異なる露光量の画像を合成する。シャッタ速度制御部１１１では、画像認識部１３１からの信号に応じてシャッタ速度を調整するよう撮像部１０１〜１０４を制御し撮像する信号を送る。画像合成部１４１では、画像認識部１３１からの結果に基づき画像を合成し、表示部１５１に送り、合成画像が表示される。
【０１０３】
＜移動体認識の確度算出方法の詳細＞
移動体認識の確度は、画質情報の確度Ｒｉｍｇと、認識対象の形状情報の確度Ｒｓｔｒの和として定義できる。
【０１０４】
画質情報の確度Ｒｉｍｇは、移動体領域の内部および近傍のコントラストとテクスチャの複雑さから定義できる。移動体領域の内部および近傍のコントラストとは、例えば移動体領域を１割程度膨張させた領域を考え、この領域内に含まれる最小輝度値Ｙｍｉｎ、最大輝度値Ｙｍａｘの比、すなわちＹｍａｘ／Ｙｍｉｎとして定義できる。テクスチャの複雑さとは、移動体領域内部のエネルギー、エントロピー、相関、局所一様性、モーメントなどを同時正規行列から計算したり、移動体領域の画素の輝度値の平均、分散、ヒストグラムの対称性（歪度）、ヒストグラムの尖鋭性を用いて、より複雑であれば値が大きくなるように定義する。これらは一般的な画像処理手法であるため、ここでは詳細の説明を省く。
【０１０５】
認識対象の形状情報の確度Ｒｓｔｒは、認識された人物形状から定義できる。例えば、図７に示すように、車両１０の後方に足を閉じて立っている人物３２は（図７（ａ）を参照）、俯瞰画像３８上では足元位置を基準として扇形の形状３５として観測される（図７（ｂ）を参照）。
【０１０６】
特に、足元位置は地表平面上にあり、画像上の大きさから実空間での大きさに換算することができる。このような形状・大きさが一般的な人物の大きさのモデルと一致していれば高くなるよう定義すればよい。
【０１０７】
例えば足の大きさは、画像と実空間との変換パラメタをβ［ｃｍ／ｐｉｘｅｌ］とし、画像上で足の大きさがｗ［ｐｉｘｅｌ］として観測されている場合、実空間での足の大きさｆ［ｃｍ］は、ｆ＝β×ｗ、であり、標準的には２５ｃｍ、かつ一般的に２０≦ｆ≦３０の範囲にあると仮定すると、足の大きさに関する形状情報の確度Ｒｆｏｏｔ＝５−｜β×ｗ−２５｜、かつ｜β×ｗ−２５｜＞５のときＲｆｏｏｔ＝０とする。
【０１０８】
このように、画質情報の確度Ｒｉｍｇと、認識対象の構造情報の確度Ｒｓｔｒは、視認性が良い場合に大きい値をとる。このように、移動体認識の確度を定義および算出することができる。
【０１０９】
なお、本発明は、上述の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１１０】
１ 周囲確認支援装置
１０ 車両
２０ 駐車枠
１００〜１０４ 撮像部
１１０〜１１４ シャッタ速度制御部
１２１ 画像記憶部
１３１ 画像認識部
１４１ 画像合成部
１５１ 表示部
１６１ 車両情報提供部
【技術分野】
【０００１】
本発明は、車載カメラで撮像した車両周囲の画像を表示して乗員による車両周囲の確認を支援する周囲確認支援装置に関する。
【背景技術】
【０００２】
車両を駐車場に駐車させる際に、路面に描かれた白線や他車両のない空間を認識することにより、自動的に駐車可能な駐車スペースを認識し、周囲の状況を察知した上で、駐車動作を支援する方法が知られている。
【０００３】
例えば、車両の操舵状態を検出する操舵状態検出手段と、カメラからの画像を元に画像認識により駐車区画を検出する駐車区画検出手段と、操舵状態検出手段からの情報により車両の走行予想軌跡を算出する走行予想軌跡算出手段と、走行予想軌跡と駐車区画の情報により駐車を補助する情報を運転者に提供する報知手段を備えた駐車補助装置が提案されている（例えば特許文献１を参照）。
【０００４】
また、近年、駐車動作時に車両と駐車区画との相対位置を容易に把握することを目的として、複数の車載カメラからの画像を合成し、車両を真上から撮像したのと同等の俯瞰画像を作成する技術が提案されている。
【０００５】
しかしながら、複数の車載カメラで撮像した複数の画像を合成することで、１枚の俯瞰画像を作成する際、カメラ間あるいは各車載カメラの画像内で明度およびコントラストが適切に調整できず、認識したい対象が視認性良く観測できないという問題がある。例えば、ある車載カメラでは綺麗で見やすい画像が撮像されている場合でも、別の車載カメラは太陽の方を向き、更に別の車載カメラは隣接車の影に入っているということが往々にしてある。そして、各車載カメラの向きは制御することができず固定されていることが多いため、道路のアップダウンや進行方向、天候の変化などでカメラ毎の被写体の状態が時々刻々と変わり、各車載カメラの撮像画像も時々刻々とその輝度や色バランスがバラバラに変化する。
【０００６】
複数のカメラで撮像した画像を合成する技術として、例えば、特許文献２、３が知られている。特許文献２には、複数の車載カメラで撮像した画像の重複領域の輝度値平均を基準値として、階調補正を行う技術が示されている。特許文献２に示された技術では、車が移動しながら露光量の異なる画像を撮影し、撮影された複数の画像を俯瞰変換した後に合成することで、ダイナミックレンジが広く、視認性の高い画像を生成することを目的としている。
【０００７】
また、複数カメラの撮像画像から、それぞれ露光量の適切な部分画像をとりだして画像を合成する技術が、特許文献３に開示されている。特許文献３に示された技術は、露光量の異なる複数の撮像装置を用いて同一の領域を撮影した複数の画像から、それぞれ露光量が適切な画像をとりだして合成画像を生成することで、見やすい合成映像を生成することを目的としている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−３３９１９４号公報
【特許文献２】特許第３２９７０４０号公報
【特許文献３】特開２００４−９６４８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献２に開示されている技術に基づき、重複部分の輝度値を用いて複数の画像を調整すると、各カメラ内の画像での駐車区画線や周囲人物など、ユーザが目視で確認したい部位のコントラストが低下したり、強い光によるハレーションが発生する場合にその影響で暗い領域での明度が更に低下したりする。特に、駐車動作中の周辺監視の目的で俯瞰映像を提供する場合、視認性が低下して周囲の人物等が見えなくなることは、大きな問題となる。
【００１０】
また、特許文献３に開示されている技術には、重複画像から適正な部分画像を取り出して合成する際に、合成の境界部分において不連続になるため、やはり視認性が低下してしまう。
【００１１】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、車載カメラで撮像した画像に基づいて乗員が車両の周囲を容易に確認することができるように支援する周囲確認支援装置を提供することである。
【課題を解決するための手段】
【００１２】
上記課題を解決する本発明の周囲確認支援装置は、車両の周囲を撮像した画像を表示して乗員による車両周囲の確認を支援する周囲確認支援装置であって、車両周囲の所定範囲を互いに異なる露光量で撮像する撮像部と、撮像部により撮像された互いに露光量が異なる複数の画像を画像処理して、予め設定された認識対象物の認識を行う画像認識部と、画像認識部の認識結果に基づいて画像から合成画像を生成する画像合成部と、画像合成部により合成した合成画像を表示する表示部とを有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、照明変動の大きい屋外環境において、駐車枠線や自車周囲の歩行者など、駐車動作においてドライバーが注目すべき対象の視認性を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態に係わる外界認識装置のシステム構成図。
【図２】車両に搭載される撮像部の配置例を示す図。
【図３】単一の撮像部を持つ構成を示す図。
【図４】シャッタ速度制御部に制御信号を与えられない場合の構成を示す図。
【図５】複数の画像記憶部を持つ場合の構成を示す図。
【図６】全体の処理の流れを示す図。
【図７】俯瞰画像において人物がどのように写るかを示した図。
【図８】駐車支援方法の内容を説明する図。
【図９】俯瞰変換を示す図。
【図１０】駐車支援時の自車周囲状況を示す図。
【図１１】カメラから得られる画像例を示す図。
【図１２】カメラから得られる画像例を示す図。
【図１３】露光量により、駐車枠の見え方が異なることを示す図。
【図１４】異なる露光量の画像と、その重みマップを示す図。
【図１５】駐車枠の認識結果を示す図。
【図１６】シャッタ速度を変更する方式を示す図。
【図１７】異なるシャッタ速度を変更する方式を示す図。
【図１８】第１実施の形態における重みマップの生成方法を示す図。
【図１９】物理的なシャッタ制御に代えて画像認識の明度補正パラメタを用いる構成図。
【図２０】駐車枠の認識結果を示す図。
【図２１】異なる露光時間の画像と、その重みマップを示す図。
【発明を実施するための形態】
【００１５】
（第１実施の形態）
次に、第１実施の形態に係わる周囲確認支援装置について図面を用いて説明する。
例えば駐車動作において乗員であるドライバーが注目する対象物は、場面や目的に応じて変わるが、本実施の形態では、地面に描かれた駐車枠を一例として挙げて説明をする。なお、対象物として、駐車枠以外にも、自車両周辺を移動する歩行者や他車両、壁や柱・輪留め・停車車両といった立体的な構造物、落下物や側溝などの危険物など、様々なものが存在する。
【００１６】
ドライバーは、駐車の目的地である駐車スペース内に自車両を確実に走行させ、かつ位置や向きを微調整するために、駐車スペースの外周を構成する駐車枠に注目をする（例えば図８、図１０を参照）。駐車枠２０は、通常、アスファルトやコンクリート路面等の地面に描かれた路面標示としての白線や黄色線からなり、例えば図１０に示すように、前線２１、左右側線２２、後線２３によって形成される。
【００１７】
照明の強い環境下で、白いコンクリート路面に明るい黄色線で駐車枠２０が描かれており、さらに近辺に黒い油汚れがあるような環境を考えると、通常、このような環境で撮影された画像は、画像全体のコントラスト自体は高いが、白飛びしやすい路面と枠線とはコントラストが低下し視認性が悪い。
【００１８】
この場合は、カメラの絞り径を狭くし、露光時間を短く（露光量を少なく）することで路面と枠線とのコントラストを高めることができるが、それ以外の部分では画像が暗くなってしまう。このように、従来技術を用いて画質を改善しようとする場合、常に必要な対象の視認性が改善できないという問題がある。
【００１９】
本実施の形態における周囲確認支援装置では、互いに露光量が異なるように取得した複数の画像に対して、それぞれ駐車枠の認識処理を行い、認識が成功した領域は人間にとってもその露光量における視認性が高いと判断して、画像合成の際に優先的に用いるようにしている。
【００２０】
＜周囲確認支援装置の構成の説明(基本部)＞
図１は、本実施の形態における周囲確認支援装置の構成を説明する図である。
周囲確認支援装置１は、複数の撮像部１０１〜１０４と、これら撮像部１０１〜１０４の露出を制御するためのシャッタ速度制御部１１１〜１１４と、撮像部１０１〜１０４により撮像した画像を記憶する画像記憶部１２１と、画像記憶部１２１に記憶されている画像から対象物の認識処理を行う画像認識部１３１と、画像記憶部１２１に記憶されている画像と画像認識部１３１から得られる画像認識の結果に基づいて画像を合成する画像合成部１４１と、画像合成部１４１から得られる合成画像を表示する表示部１５１を備えている。
【００２１】
撮像部１０１〜１０４は、自車周囲の所定範囲を撮像してその画像を画像記憶部１２１に入力するもので、例えば、ＣＣＤとレンズを有するカメラによって構成される。各撮像部１０１〜１０４は、それぞれにおいて互いに異なる露光量で撮像する。
【００２２】
図２は、車両に搭載される撮像部の配置例を示す図である。図２に示すように、撮像部１０１は、車両１０の左部に配置されて、車両１０の左側方を撮像する左サイドカメラを構成し、撮像部１０２は、車両１０の右部に配置されて、車両１０の右側方を撮像する右サイドカメラを構成している。
【００２３】
そして、撮像部１０３は、車両１０の後部に配置されて、車両１０の後方を撮像するリヤカメラを構成し、撮像部１０４は、車両１０の前部に配置されて、車両１０の前方を撮像するフロントカメラを構成している。
【００２４】
撮像部１０１〜１０４は、例えば図１０に示すような駐車スペースに車両１０を駐車させる際に、自車周囲５メートル程度の範囲を撮像できるように車両１０に取り付けられている。従って、例えば撮像部１０１、１０２によって図１１、図１２に示すような画像が得られる。また、車両１０には、照明として、自車周辺を照らすためのライトがドアミラー部に内蔵されて搭載されている（いずれも図示せず）。なお、前述した５メートルという距離は一例であり、自車両の大きさや稼働環境により変えても良い。例えば、大型油圧ショベルなどの建設機械において周囲の人物の視認性をあげる目的で本発明を利用する場合には、より広い範囲を撮像するのが適している。
【００２５】
画像記憶部１２１は、撮像部１０１〜１０４から得られた各画像と、画像が得られた時刻、露光時間とをセットとして記憶する。また、画像認識部１３１に対して各撮像部１０１〜１０４で撮像された最新の画像を提供する。さらに、画像合成部１４１の要求に応じて、過去に記憶された画像を含め、任意の記憶されている画像を提供する。画像記憶部１２１の記憶形態としては、例えばＲＡＭなどのメモリと通信用インタフェース、制御用のマイコンで構成されている、もしくは独立したモジュールではなく、計算機上のプログラムとして構成されていてもよい。
【００２６】
画像認識部１３１では、撮像部１０１〜１０４から得られた、ある時刻、ある露光量の画像に対して駐車枠２０を認識する画像認識処理を実行する。撮像部１０１〜１０４のうち、同一の撮像部から得られた、異なる露光量の画像に対する駐車枠認識の結果が異なる場合、画像認識処理によって認識された駐車枠２０の確度に基づき、どの露光量の画像の領域が認識に適しているか、すなわち視認性が高いかを算出する。なお、確度とは、画像認識部１３１による認識対象物の認識の正確さを表すものである。
【００２７】
画像合成部１４１は、画像認識部１３１で算出された画像領域の視認性の高さ（確度）を基準に、互いに露光量が異なる複数の画像を合成する。まず、撮像部１０１〜１０４でそれぞれ得られた互いに露光量が異なる複数の画像について、各撮像部１０１〜１０４ごとに画像を合成して、各撮像部１０１〜１０４ごとに１つずつの合成画像を生成する。そして、次に、各撮像部１０１〜１０４ごとに作成された視認性の高い４つの合成画像を連結合成することで、視認性の高い自車周囲合成画像（例えば図２０を参照）を生成する。
【００２８】
なお、ある撮像部から得られた一つの画像の全ての領域が単一の露光量であるときに視認性が高いとは限らない。図１３は、車両の左側方を撮像した画像の例を示した図であり、露光量Ｅ１で撮像した画像Ｉ１、露光量Ｅ２で撮像した画像Ｉ２、露光量Ｅ３で撮像した画像Ｉ３を示している。
【００２９】
例えば、露光量Ｅ１で撮像した画像Ｉ１は、画像左側領域において視認性が高く、画像右側領域において視認性が低い。また、露光量Ｅ２で撮像した画像Ｉ２は、画像右側領域において視認性が高く、画像左側領域において視認性が低い。
【００３０】
このような場合には、画像Ｉ１の左側領域と、画像Ｉ２の右側領域とを合成した合成画像である画像Ｉ３が画像合成部１４１によって生成される。従って、合成画像Ｉ３の中の認識対象物である駐車枠２０の視認性を高くすることができる。
【００３１】
そして、画像合成部１４１は、各撮像部１０１〜１０４ごとに作成された各合成画像を連結合成して、車両１０を真上から撮像したのと同等の俯瞰画像である自車周囲合成画像を生成する。
【００３２】
表示部１５１は、画像合成部１４１で生成した自車周囲合成画像を、ユーザであるドライバーに提示するための装置である。例えば、カーナビゲーションのモニタや、ルームミラーに内蔵されたモニタ、フロントガラスに投影できるようにしたプロジェクタ装置等、ドライバー等のユーザに映像情報を提示できるものである。本構成では、まず各撮像部１０１〜１０４の領域において、それぞれ複数の露光量の画像を合成し、その後に各撮像部１０１〜１０４の合成画像を連結合成することで、各撮像部１０１〜１０４の視認性が高くなるように最適化できるという効果がある。
【００３３】
また、前述の構成に加えて、拡張部として車両情報提供部１６１、露光量情報保持部を有していてもよい。これらの車両情報提供部１６１と露光量情報保持部は、画像認識部１３１および画像合成部１４１の処理を改善するために用いられる。
【００３４】
車両情報提供部１６１では、車速、車輪速、舵角、車輪角、自車位置測位システムなどの車両１０に搭載されたセンサの情報より、撮像されたそれぞれの画像における相対的な自車位置を算出し、画像記憶部１２１で画像を記憶する際の情報に付加する。
【００３５】
複数の異なる露光量の画像を、同一の撮像部で撮像する場合、各画像の撮像タイミングが異なるため、自車や周囲物体が移動していると、撮像対象物が画像中を移動し、正しく画像合成を行うことができない。
【００３６】
このため、相対的な自車位置を元に各画像間での見かけの移動量が算出でき、画像合成部１４１において、複数画像を位置合わせすることができる。また、サイドブレーキによるブレーキランプ点灯情報が得られる場合には、自車が停止していることが明らかであり、複数画像を位置あわせする必要がないことが分かるため、ブレーキランプ点灯情報も画像記憶部１２１で画像を記憶する際の情報に付加しておき、画像合成部１４１での合成処理に利用できる。
【００３７】
さらに、ヘッドランプ点灯情報、ワイパ稼働情報が得られる場合には、外部の照明状態が暗く、撮像されている画像が暈けている可能性が高く、複数画像を合成する際に明確な特徴点が出にくいことが分かるため、これも画像記憶部１２１で画像を記憶する際の情報に付加しておくことで、画像合成部１４１での合成処理に利用できる。
【００３８】
露光量情報保持部は、各撮像部１０１〜１０４で撮像する画像における露光量の情報を保存する。時系列で保存された各撮像部１０１〜１０４の露光量と、画像認識部１３１における認識可否により、今後露光量をどのように変更すればよいかを決定することで、画像認識部１３１は最適な露光量の組み合わせを決定し、シャッタ速度制御部１１１〜１１４によりシャッタ速度を制御して、各撮像部１０１〜１０４の露光量を指定することができる。露光量情報保持部は、画像記憶部１２１内に設けてもよい。
【００３９】
＜処理の流れ (基本部)＞
次に、本実施の形態において、前述した装置構成に対応する処理の流れを説明する。
まず、撮像部１０１〜１０４は、シャッタ速度制御部１１１〜１１４の指定に従って、異なるタイミングで複数の異なる露出での車両周辺の画像を撮像する。得られた画像と撮像時のパラメタは、画像記憶部１２１に記憶される。
【００４０】
撮像時のパラメタには、撮像時のシャッタ速度と撮像時間、および車両情報が含まれている。車両情報とは、車速、車輪速、舵角、車輪角、自車位置測位システムによる自車位置、ヘッドランプ点灯情報、ワイパ稼働情報などの車両内部のネットワークにより車両１０の複数の装置間で受け渡される情報のことであり、車車間通信と路車間通信により自車両と送受信される情報も含むものである。
【００４１】
次に、画像記憶部１２１に記憶された画像は、画像認識部１３１に送られ、駐車枠認識処理が実行される。この駐車枠認識の処理は、駐車枠２０を形成する線分の認識と、線分の組み合わせが駐車枠２０として適切か否かの判定、という２段階で構成される。例えば、線分の認識は、画像に対して縦方向および横方向のＳｏｂｅｌフィルタを適用し、適当な閾値で二値化することによって画像中のエッジ点を抽出し、抽出されたエッジ点の座標群にＨｏｕｇｈ変換を適用することで、直線状に並んでいるエッジ点群を抽出することができる。
【００４２】
また、駐車枠２０として適切か否かの判定は、例えば普通乗用車のための駐車枠２０を認識する場合には、車両幅相当の２ｍ〜４ｍの間隔（並列の駐車枠）、もしくは車両長さ相当の４ｍ〜６ｍの間隔（縦列の駐車枠）で、ほぼ平行な２本の駐車枠線２２、２２が路面に描かれていることを検出できた場合に、その挟まれた領域を、車両１０を停めることができる駐車枠２０として確定すればよい。
【００４３】
この駐車枠認識は、異なる複数の露光量の画像に対して行われるが、自車周囲の環境に対してシャッタ速度制御が不適切な画像に対しては、前述の画像中のエッジ点が抽出されない。
【００４４】
例えば、明るい照明環境下において、シャッタ速度が遅く、長時間の露光を行った場合には、画像が白飛びし、隣接画素の輝度値の差がなくなるために、Ｓｏｂｅｌフィルタ適用後の画像でエッジ点が抽出されず、駐車枠２０が認識されない。
【００４５】
ある露出の映像で認識がされない画像領域がある場合、当該領域には駐車枠２０が存在しないか、あるいは露出調整が不適切なために認識可能な画質ではなかったことを意味している。
【００４６】
また、画像認識部１３１では、エッジ点がどの程度はっきりと検出できたか、Ｈｏｕｇｈ変換を施した際に直線性がどの程度正確だったか、などを基準として、駐車枠認識の確度を算出する。
【００４７】
具体的な算出例は後述するが、この確度が高いほど明らかに駐車枠認識が成功であることを示すように指標を設定する。前述したように、明らかに画像認識によって対象が認識できる領域は、人間にとっても視認性が高いと考えることができる。このように、画像認識部１３１からは、ある露出の画像中から検出できた駐車枠２０が存在する位置と、検出された駐車枠２０の確度が出力として得られる。
【００４８】
また、画像認識部１３１では、事前に設定されている複数段階のシャッタ速度のうちの異なる１つの露出で撮像するように、シャッタ速度制御部１１１〜１１４に信号を送る。なお、車両情報提供部１６１が存在する場合には、ヘッドランプ点灯信号やワイパ稼働状況をチェックし、周囲環境が暗い場合には、よりシャッタ速度を遅くし、明るい映像が得られるようシャッタ速度制御部１１１〜１１４に信号を送る。
【００４９】
そして、車両情報提供部１６１からの車速情報が高速である場合には、画像がブレることが考えられるため、よりシャッタ速度を早くし、ブレのないシャープな映像を得られるように、シャッタ速度制御部１１１〜１１４に信号を送る。
【００５０】
画像合成部１４１では、画像認識部１３１で認識できた駐車枠２０が存在する画像領域と、その認識の確度、すなわち視認性の高さを基準に、異なる露光量の画像を合成する。この合成では、まず、画像間の移動量を考慮して位置合わせを行った画像間での、各画像の各領域をどの程度の重みをつけて用いるかを表す、重みマップを作成する。
【００５１】
次に、この重みマップに従って、複数画像の各画素の輝度値および色情報（色相、彩度）を混合して合成画像を作成する。このとき、視認性の悪い画像では色情報が欠落することが多いため、輝度値情報のみを混合の対象にして、色情報は彩度が高い画像の値を使っても良い。
【００５２】
図１８は、重みマップの例を示した図である。重みマップＭ１、Ｍ２は各画像Ｉ１、Ｉ２の各部位がどの程度認識しやすい映像であるかを示しており、他の露出の画像に比べて、図中の白い部分は視認性が高く、黒い部分は視認性が低いことを表した濃淡画像である。この重みマップＭ１、Ｍ２と画像Ｉ１、Ｉ２の積和をとることで、出力画像Ｉ３を得る。
【００５３】
例えば、同一の撮像部によって、近い時刻で撮像された、露光量が少ない状態で撮影した画像Ｉ１と、露光量が多い状態で撮影した画像Ｉ２を考える。画像Ｉ１および画像Ｉ２には、それぞれ３本の駐車枠線が映っているが、画像Ｉ１においては画像左側にある駐車枠線Ｌ１、Ｌ２のみが、画像Ｉ２においては画像右側にある駐車枠線Ｌ２、Ｌ３のみが検出されている。
【００５４】
この検出された駐車枠線の領域に応じて、検出の確度と検出領域からの距離に応じて、画像合成マップＣ１を生成する。検出の確度の算出方法については後述する。画像合成マップＣ１において、領域Ａ１は画像Ｉ１を１００％使用する領域、領域Ａ２は画像Ｉ１を５１〜９９％使用して残りを画像Ｉ２を使用する領域、領域Ａ３は画像Ｉ１と画像Ｉ２をそれぞれ５０％ずつ使用する領域、領域Ａ４は画像Ｉ２を５１〜９９％使用して残りを画像Ｉ１を使用する領域、領域Ａ５は画像Ｉ２を１００％使用する領域として、画像合成を行う際に各画像をどの割合で使用するかを連続的に変化するように定義したものである。この画像合成マップＣ１に応じて、入力画像Ｉ１、Ｉ２に重みをつけて加算し、合成することで出力画像Ｉ３を生成する。
【００５５】
それぞれの撮像装置から得られた４枚の合成画像に対し、ひずみ補正を行い、各撮像部１０１〜１０４の相対関係を考慮して連結合成することで、俯瞰変換を行い、視認性の高い自車周囲合成画像を生成する。俯瞰変換とは、図９に示すように、撮像部１０１〜１０４によって得られた映像をもとに、画像中の全ての点が路面Ｇにあることを仮定し、仮想的なカメラ視点１０５から見下ろしたかのように変換する、画像変換方法の一種である。この自車周囲合成画像の生成方法に関しては、公知の技術であるため、ここでは特に説明しない。
【００５６】
シャッタ速度制御部１１１〜１１４では、画像認識部１３１からの信号に応じてシャッタ速度を調整するように撮像部１０１〜１０４を制御し撮像する信号を送る。画像合成部１４１では、画像認識部１３１から得られるそれぞれの露出でのマスク画像と、画像記憶部１２１から得られる対応する露出でのカメラ画像とから、マスク画像の重みに応じて画像を合成し、表示部１５１に送る。
【００５７】
なお、合成する際、自車が移動していると位置ずれが起こり、合成画像がぼけたり、２重写しになったりするため、俯瞰画像に対して自車移動量を補正した上で合成する。自車移動量は車輪速センサや車速センサ、測位センサなどのほか、画像からオプティカルフローを算出することで求めることができる。表示部１５１は、例えば液晶モニタやウィンドウガラスへの投光表示部であり、画像合成部１４１から得られた画像を表示する。なお、図６は、上述した処理の流れを示すフローチャートである。
【００５８】
＜駐車枠の確度算出方法の詳細＞
駐車枠の確度は、画質情報の確度Ｒｉｍｇと、認識対象の構造情報の確度Ｒｓｔｒの和として定義できる。
【００５９】
画質情報の確度Ｒｉｍｇは、駐車枠線の近傍の画像領域のコントラストと鮮鋭度から定義できる。駐車枠線の近傍の画像領域とは、例えば駐車枠線の場合、駐車枠線が幅Ｗ、長さＬとすると、枠線と同程度の幅の路面を両側に含むように、駐車枠線の中心軸を中心とした幅３Ｗ、長さＬの領域として定義できる。
【００６０】
画像領域のコントラストとは、その領域内に含まれる最小輝度値Ｙｍｉｎ、最大輝度値Ｙｍａｘの比、すなわちＹｍａｘ／Ｙｍｉｎとして定義できる。注目対象である駐車枠線と路面とがどの程度の対比で認識できるかを表す指標であり、画像の視認性が悪い場合に小さい値をとる。鮮鋭度とは、枠線領域と路面との境界に垂直な直線を考え、この直線上で輝度値の二次微分をとったときの極値間の距離の逆数である。境界がぼやけていて視認性が悪い画像の場合、この数値は小さな値になる。
【００６１】
また、認識対象の構造情報の確度Ｒｓｔｒは、枠線の直線性および平行性、直角性に対する歪みといった、画像から得られた見かけの形状に対する評価指標として定義できる。枠線の直線性に対する歪みとは、前述したエッジ点群の座標に対してＨｏｕｇｈ変換等で近似直線を算出し、その近似直線から各エッジ点までの距離の二乗和として定義できる。
【００６２】
枠線の平行性に対する歪みとは、例えば２本の線分で駐車枠が構成されている場合、各線分の近似直線のなす角度をθ（０≦θ≦９０［ｄｅｇ］）とするとｃｏｓθとして定義できる。また、枠線の直角に対する歪みとは、例えば２本の線分で駐車枠が構成されている場合、各枠線の駐車枠入り口側の端点同士を結んだ線を仮定し、この線と各枠線の近似直線のなす角度をθ（０≦θ≦９０［ｄｅｇ］）とするとｃｏｓθとして定義できる。なお、４本の線分で駐車枠が構成されている場合には、同様に各枠線の近似直線のなす角度の余弦として定義できる。これらの値はいずれも歪みが大きい場合に小さくなる。
【００６３】
このように、画質情報の確度Ｒｉｍｇと、認識対象の構造情報の確度Ｒｓｔｒは、歪みが大きく視認性が悪い場合に小さい値をとり、逆に歪みが少なく視認性が良い場合に大きい値をとる。
【００６４】
＜合成方法の詳細＞
画像合成方法の詳細について図１４を用いて説明する。同一の撮像部で異なる時刻に撮影した４枚の画像７０１〜７０４に対して駐車枠認識を行うことを考える。ただし、画像７０１は、時刻Ｔ１、ある露光量Ｅ１において撮像した画像、画像７０２は、画像７０１の撮像時刻とは異なる時刻Ｔ２、露光量Ｅ２において撮像した画像である。そして、画像７０３は、画像７０１、７０２とは異なる時刻Ｔ３、露光量Ｅ３において撮像した画像、画像７０４は、画像７０１〜７０３とは異なる時刻Ｔ４、露光量Ｅ４において撮像した画像である。
【００６５】
画像認識部１３１では、画像７０１〜７０４に対して、それぞれ駐車枠線認識処理を行い、その認識結果の領域と駐車枠の確度とを画像合成部１４１に送る。例えば、図１５では画像７０１で２つの駐車枠Ｐ１１、Ｐ１２、画像７０２で１つの駐車枠Ｐ２１が認識されており、その際の駐車枠認識の確度をＲ１１、Ｒ１２、Ｒ２１とする（Ｒ１１＜Ｒ２１）。
【００６６】
自車が静止している場合、Ｐ１１とＰ２１は画像中のほぼ同一位置にあるため、同一の駐車枠であることが明らかであるが、駐車枠Ｐ２１の確度Ｒ２１が大きいため、この画像領域では画像７０２の視認性が高いことが分かる。
【００６７】
このとき画像７０１、７０２に対する重みマップをそれぞれ７１１、７１２とすると、７１１中の駐車枠Ｐ１１に相当する領域の重みはＲ１１／（Ｒ１１＋Ｒ２１）、７１２中の駐車枠Ｐ２１に相当する領域の重みＲ２１／（Ｒ１１＋Ｒ２１）と定義できる。すなわち、この領域では露光量Ｅ１、露光量Ｅ２ともに適切ではあったが、より視認性の良い画像は画像７０２であったことになる。
【００６８】
一方、画像７０１の駐車枠Ｐ１２に相当する駐車枠が画像７０２で認識されていないことから、この領域では露光量Ｅ１のみ適切であり、露光量Ｅ２が不適切であったことが分かる。このため、重みマップ７１１中の駐車枠Ｐ１２に相当する領域の重みは１、重みマップ７１２中の駐車枠Ｐ１２に相当する領域の重みは０とする。
【００６９】
画像７０１、７０２のいずれからも駐車枠が認識されなかった領域の重みは、重みが決定された領域からの距離に応じて重みを伝搬させて決めることができる。すなわち、図１５において、画像７０１中の点Ｐの重みは、駐車枠Ｐ１１の領域からの距離がＬ１、駐車枠Ｐ１２の領域からの距離がＬ２であるため、決定された重みからの距離の比に応じて重みを変化させ、｛Ｒ１１／（Ｒ１１＋Ｒ２１）｝×｛Ｌ２／（Ｌ１＋Ｌ２）｝＋｛Ｒ２１／（Ｒ１１＋Ｒ２１）｝×｛Ｌ１／（Ｌ１＋Ｌ２）｝と定義できる。この重みの伝搬は、距離の二乗に比例させたり、シグモイド関数など適当な単調関数で変換してもよい。
【００７０】
また、画像認識部１３１は、時系列に対する合成画像明度安定化の機能を持っていても良い。
【００７１】
この機能がない場合、駐車枠認識が不安定で、フレーム毎に検出・非検出を繰り返す場合、重みマップをそのたびに変更すると、出力される画像の明度がめまぐるしく変わり、見にくくなってしまうおそれがある。このような問題に対応するためには、合成画像の明度安定化を行うために、重みマップを露出量毎に保持しておき、急激に重みが変わらないようにすればよい。
【００７２】
すなわち、時刻ｔ−１の露出量Ｅ１、Ｅ２のそれぞれの重みマップをＷ（ｔ−１、Ｅ１）、Ｗ（ｔ−１、Ｅ２）とし、前記のように算出した時刻ｔの露出量Ｅ１、Ｅ２のそれぞれの重みがＷ（ｔ、Ｅ１）、Ｗ（ｔ、Ｅ２）の場合、画像合成の際に使用する時刻ｔの重みマップをＷ’（ｔ、Ｅ１）＝α×Ｗ（ｔ、Ｅ１）＋（１−α）×Ｗ（ｔ−１、Ｅ１）、Ｗ’（ｔ、Ｅ２）＝α×Ｗ（ｔ、Ｅ２）＋（１−α）×Ｗ（ｔ−１、Ｅ２）とすることで、重みマップの急激な変化をさけることができる。ここでαは新しい画像から算出される重みを反映させる度合いを表しており、実験的に決められる適当な係数である。または、カルマンフィルタを用いてＷ’を安定化させてもよい。
【００７３】
なお、自車が移動している場合には、画像から見かけの自車移動を算出し、画像を回転や並進移動などアフィン変換して位置合わせすることにより、自車が静止している状態と同様に考えることができる。この見かけの移動量は、例えば、オプティカルフロー法やＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）による特徴点追跡により、画像の動きを算出することで算出できる。
【００７４】
そして、次に、各撮像部ごとに作成された視認性の高い４つの画像を連結合成することで、視認性の高い自車周囲画像を生成する。
【００７５】
なお、本実施の形態では、周囲確認支援装置１が複数の撮像部１０１〜１０４を有する構成の場合を例に説明したが、カメラ数が変わっても問題はない。すなわち、例えば左側方と後方の２カメラの構成や、後方のみの１カメラの構成であっても、前述したとおりの手段で、視認性の高い画像を提供することが容易に類推できる。図３は、１カメラの場合の構成を示す図である。
【００７６】
＜車両情報提供部の処理＞
車両情報提供部１６１の役割は、自車の移動量と、周囲環境をセンサ情報から取得して、より適切な画像合成を行うための情報提供をすることである。
【００７７】
自車の移動量を計算するために、車両１０に搭載されたセンサから、車速、車輪速、舵角、車輪角といった情報を取得する。これらのセンサ情報からの自車移動量の算出方法は、一般的なデッドレコニング法もしくは自律航法と同様であるので、ここでの説明は省略する。
【００７８】
また、自車位置測位システムにより地球に対する絶対的な自車位置が得られる場合、その時系列情報の差分をとることにより、自車の移動量を計算できる。この自車の移動量を画像記憶部１２１に記憶させておくことで、画像間の位置合わせ精度を向上させる効果が期待できる。
【００７９】
周囲環境を認識するために、サイドブレーキによるブレーキランプ点灯情報が得られる場合には、自車の移動量を０として画像記憶部１２１に記憶させ、画像間の位置が変化ないことを明らかにすることで、認識対象の同定処理の確実性を増す効果が期待できる。
【００８０】
さらに、ヘッドランプ点灯情報、ワイパ稼働情報が得られる場合には、夜間や雨天などの原因で外部の照明状態が暗い状態であることを画像記憶部１２１に記憶させる。撮像されている画像がぼけている可能性が高く、複数画像を合成する際に明確な特徴点が出にくいことから、ぼけている画像に対してエッジ抽出できるよう画像認識部１３１の二値化閾値などのパラメタを変更することで、認識性能を向上させる効果が期待できる。また、自車前方路面の局所領域がヘッドランプに照らされて駐車枠線の誤認識がでるため当該領域のエッジを無視する処理を画像認識部１３１に行わせることでも、認識性能を向上させる効果が期待できる。
【００８１】
＜露光量情報保持部の処理＞
露光量情報保持部の役割は、過去の各撮像部１０１〜１０４で撮像する画像における露光量を保存し、今後各撮像部がどのような露光量で画像を撮像すればよいかを計画し、シャッタ速度制御部１１１〜１１４に露光量を指定することである。
【００８２】
各露光量の画像を撮像したとき、各画像における認識結果がどのように得られているかを記憶することで、現在の複数のシャッタ制御のうち、いずれが適切かを判断することができる。例えば、あるシャッタ速度Ｓ１と、それより長いシャッタ速度Ｓ２の２種類のシャッタ速度を交互に繰り返しているカメラを考える。
【００８３】
図１６の区間ａのように、シャッタ速度Ｓ１とＳ２の両方で何らかの認識結果が得られているが、Ｓ１の場合により適切な認識結果が得られている場合、よりシャッタ時間が短い方が適切に認識できることになるため、適当な変化係数ΔＳを用いて、Ｓ１’＝Ｓ１−ΔＳ、Ｓ２’＝Ｓ２−ΔＳ、と両方のシャッタ時間をより短くするように調整する。
【００８４】
シャッタ速度Ｓ１とＳ２の間に最適なシャッタ速度の平均値が挟まれるように調整することで、ダイナミックレンジの高い映像に対して認識対象を検出できる。なお、シャッタ速度Ｓ１では認識結果が得られているが、シャッタ速度Ｓ２では全く認識結果が得られていない場合、例えばΔＳ＝Ｓ２−Ｓ１とすると、図１７のようになり、認識結果が得られているシャッタ速度での撮像を行いながら、それより短いシャッタ速度の映像と長いシャッタ速度の映像を交互に撮影し、適するシャッタ速度を探索することができ、シャッタ速度の探索が安定化する効果がある。また、シャッタ速度Ｓ１およびＳ２の両方で全く認識結果が得られていない場合、シャッタ速度の設定が大きくずれている可能性と画像中に認識対象物が存在しない可能性の両方があるため、そのような場合には標準的なシャッタ速度にリセットすればよい。
【００８５】
なお、ここまで物理的にシャッタ速度を変更する構成で記載してきたが、例えば、ガンマ変換の係数や、二値化、エッジ検出の際の閾値を変更する構成にしても構わない。すなわち、露出量の多い映像が入力されたと仮定した際の閾値と、露出量の少ない映像が入力されたと仮定した際のガンマ変換の係数や閾値を順次変更しながら処理を実行してもよい。例えば、図１９に示すように、明度補正パラメタ保持部５１０を設けて、画像認識部１３１の画像認識において、画像の露光量を補正するための複数のパラメタを保持する構成としてもよい。
【００８６】
図４は、図３の変形例を示すブロック図である。図４に示す周囲確認支援装置１は、シャッタ速度制御１１０への制御を行うことができない構成となっている。図３との相違点に関して主に説明する。シャッタ速度制御１１０は、図３の構成と異なり、画像認識部１３１からの信号がないため、事前に規定された複数のシャッタ速度を撮像部１００に送るとともに、画像認識部１３１に送る。
【００８７】
図５は、図３の他の変形例を示すブロック図である。図５に示す周囲確認支援装置１は、撮像部１００、シャッタ速度制御部１１０、画像記憶部１２１をそれぞれ２つ備える構成を有している。図３との相違点に関して主に説明する。２つの撮像部１００で同一対象を撮像している場合、画像認識部１３１では各シャッタ速度制御部１１０にそれぞれ異なるシャッタ速度の制御信号を出力することで、同一時刻で複数の異なる露出の映像を得ることができる。なお、複数の撮像部１００を完全に同一の空間に置くことはできないため、俯瞰変換などの画像視点変換を用いることで複数の撮像部１００を同一箇所に置くのと同じ効果を出すことができる。このように１台の撮像部の構成に対しても、複数の撮像部の構成に対しても、本発明を適用することができる。
【００８８】
（第２実施の形態）
次に、第２実施の形態について図２０、図２１を用いて以下に説明する。なお、第１実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。
【００８９】
本実施の形態において特徴的なことは、まず、複数の撮像部で撮像した画像を連結合成して自車周囲合成画像を生成し、次に、互いに露光量が異なる複数の自車周囲合成画像に対して画像認識を行い、認識結果に応じて複数の露光量の画像を合成する点である。
【００９０】
図２０を用いて説明する。まず、各撮像部１０１〜１０４において互いに露光量が異なる複数の画像を撮像し、これら複数の画像に対してひずみ補正を行い、各撮像部１０１〜１０４の相対関係を考慮して連結合成する。例えば、シャッタ速度を高速にして撮像した露光量が少ない４枚の画像を連結合成して画像７０１を生成すると共に、シャッタ速度を低速にして撮像した露光量が多い４枚の画像を練結合して画像７０２を生成する。
【００９１】
画像７０１、画像７０２は、各撮像部１０１〜１０４間の露出量がほぼ合っている画像になっている。この画像７０１、７０２に対して、駐車枠認識を行い、その結果に応じて異なる露出の画像を生成する点は、前述した各カメラ映像における画像合成方法と同様である。
【００９２】
図２１に示すように、連結された自車周囲の画像に対して重みマップ７１１〜７１４を定義し、入力画像７０１〜７０４に重みをつけて加算することにより、出力画像７１５を得ることができる。
【００９３】
このように本構成では、まず各撮像部１０１〜１０４で撮像した画像を連結合成して自車周囲合成画像を生成する。そして、その後に、互いに露光量が異なる複数の自車周囲合成画像を合成する。従って、局所的な最適化に陥らず、全体的に連結された画像の見かけを滑らかに自然な状態になるように最適化できるという効果がある。
【００９４】
（第３実施形態）
次に、第３実施の形態について以下に説明する。
本実施の形態では、注目対象が自車の周囲を移動する移動体（歩行者）である場合について説明する。
【００９５】
さて、前進と後退を繰り返し、かつ大きい操舵角で急旋回を行う駐車動作は、自車周囲の死角が多く、旋回時の内輪差も大きくなることから、事故を誘発しやすく、全周囲の壁や歩行者に注意を払う必要がある。このような駐車動作を安全に行うために、ドライバーが特に注意すべき対象は、自車周囲を移動する歩行者（以下、移動体という）である。
【００９６】
一般に、駐車枠の白線と路面とのコントラストよりも、移動体と路面とのコントラストの方が低く、従来技術のように、単純にある領域範囲のコントラストを基準に画像を合成すると、ドライバーが注意すべき対象のコントラストが悪い画像が生成される問題がある。注目対象が静止しているものであれば、上述の第１実施の形態によって、この問題を解決することもできるが、対象が移動している場合にはそのまま適用できない。
【００９７】
本実施の形態では、複数の露光量で取得した画像に対して、それぞれの画像に対して認識処理を行い、移動体を追跡し、認識が成功しなかった場合でも移動位置を予測するようにし、その予測位置の明度とコントラストを適切に調整することで、視認性が高い画像を生成することができる。なお、カメラ配置と装置構成自体は第１実施の形態と同様のため、ここでは説明を省略する。
【００９８】
＜処理の流れ (基本部)＞
本実施の形態における処理の流れについて、第１の実施例と異なる部分を中心に説明する。まず、撮像部１０１〜１０４は、シャッタ速度制御部１１１〜１１４の指定に従って、異なるタイミングで複数の異なる露出での車両周辺の画像を撮像し、得られた画像と撮像時のパラメタとを画像記憶部１２１に送られて記憶される。
【００９９】
次に、画像記憶部１２１に記憶された画像は、画像認識部１３１に送られ、移動体認識の処理が試行される。この移動体認識は、自車が静止している場合には背景差分法を用い、適切な閾値で二値化を行うことにより、変化があった領域を移動体領域として抽出することができる。自車が動いている場合には、オプティカルフロー法を用いて画像の動きベクトルを検出し、その動きベクトルを方向と大きさに基づいてセグメンテーションを行うことにより、路面領域と移動体領域を分離して求めることができる。
【０１００】
この移動体認識は異なる複数の露光量の画像に対して行われるが、自車周囲の環境に対してシャッタ速度制御が不適切な画像に対しては、輝度値が明側もしくは暗側に飽和しているため、差分もしくは動きベクトルが抽出されない。ある露出の映像で認識がされない画像領域がある場合、当該領域は移動体がいないか、あるいは露出調整が不適切なために認識可能な画質ではなかったことを意味している。
【０１０１】
また、画像認識部１３１では、移動体領域内部のコントラストや、抽出された移動体形状などを基準として、移動体認識の確度を算出する。画像認識部１３１からは、ある露出の画像中から検出できた移動体が存在する位置と、検出された移動体の確度が出力として得られる。
【０１０２】
画像合成部１４１では、画像認識部１３１で認識できた移動体が存在する画像領域と、その認識の確度、すなわち視認性の高さを基準に、異なる露光量の画像を合成する。シャッタ速度制御部１１１では、画像認識部１３１からの信号に応じてシャッタ速度を調整するよう撮像部１０１〜１０４を制御し撮像する信号を送る。画像合成部１４１では、画像認識部１３１からの結果に基づき画像を合成し、表示部１５１に送り、合成画像が表示される。
【０１０３】
＜移動体認識の確度算出方法の詳細＞
移動体認識の確度は、画質情報の確度Ｒｉｍｇと、認識対象の形状情報の確度Ｒｓｔｒの和として定義できる。
【０１０４】
画質情報の確度Ｒｉｍｇは、移動体領域の内部および近傍のコントラストとテクスチャの複雑さから定義できる。移動体領域の内部および近傍のコントラストとは、例えば移動体領域を１割程度膨張させた領域を考え、この領域内に含まれる最小輝度値Ｙｍｉｎ、最大輝度値Ｙｍａｘの比、すなわちＹｍａｘ／Ｙｍｉｎとして定義できる。テクスチャの複雑さとは、移動体領域内部のエネルギー、エントロピー、相関、局所一様性、モーメントなどを同時正規行列から計算したり、移動体領域の画素の輝度値の平均、分散、ヒストグラムの対称性（歪度）、ヒストグラムの尖鋭性を用いて、より複雑であれば値が大きくなるように定義する。これらは一般的な画像処理手法であるため、ここでは詳細の説明を省く。
【０１０５】
認識対象の形状情報の確度Ｒｓｔｒは、認識された人物形状から定義できる。例えば、図７に示すように、車両１０の後方に足を閉じて立っている人物３２は（図７（ａ）を参照）、俯瞰画像３８上では足元位置を基準として扇形の形状３５として観測される（図７（ｂ）を参照）。
【０１０６】
特に、足元位置は地表平面上にあり、画像上の大きさから実空間での大きさに換算することができる。このような形状・大きさが一般的な人物の大きさのモデルと一致していれば高くなるよう定義すればよい。
【０１０７】
例えば足の大きさは、画像と実空間との変換パラメタをβ［ｃｍ／ｐｉｘｅｌ］とし、画像上で足の大きさがｗ［ｐｉｘｅｌ］として観測されている場合、実空間での足の大きさｆ［ｃｍ］は、ｆ＝β×ｗ、であり、標準的には２５ｃｍ、かつ一般的に２０≦ｆ≦３０の範囲にあると仮定すると、足の大きさに関する形状情報の確度Ｒｆｏｏｔ＝５−｜β×ｗ−２５｜、かつ｜β×ｗ−２５｜＞５のときＲｆｏｏｔ＝０とする。
【０１０８】
このように、画質情報の確度Ｒｉｍｇと、認識対象の構造情報の確度Ｒｓｔｒは、視認性が良い場合に大きい値をとる。このように、移動体認識の確度を定義および算出することができる。
【０１０９】
なお、本発明は、上述の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１１０】
１ 周囲確認支援装置
１０ 車両
２０ 駐車枠
１００〜１０４ 撮像部
１１０〜１１４ シャッタ速度制御部
１２１ 画像記憶部
１３１ 画像認識部
１４１ 画像合成部
１５１ 表示部
１６１ 車両情報提供部
【特許請求の範囲】
【請求項１】
車両の周囲を撮像した画像を表示して乗員による車両周囲の確認を支援する周囲確認支援装置であって、
車両周囲の所定範囲を互いに異なる露光量で撮像する撮像部と、
該撮像部により撮像された互いに露光量が異なる複数の画像を画像処理して、予め設定された認識対象物の認識を行う画像認識部と、
該画像認識部の認識結果に基づいて前記画像から合成画像を生成する画像合成部と、
該画像合成部により合成した合成画像を表示する表示部と、を有することを特徴とする周囲確認支援装置。
【請求項２】
前記画像合成部は、前記画像認識部によって前記認識対象物が認識された複数の画像を互いに比較して、該複数の画像からそれぞれ前記認識対象物の確度が高い画像領域を抽出し、該抽出した画像領域を用いて合成画像を生成することを特徴とする請求項１に記載の周囲確認支援装置。
【請求項３】
前記画像合成部は、前記画像合成を行う際に使用する各画像領域の割合を定義した重みマップを、前記認識対象物の確度と前記認識対象物の検出領域からの距離に応じて作成し、該重みマップに従って前記合成画像を生成することを特徴とする請求項２に記載の周囲確認支援装置。
【請求項４】
前記画像合成部は、前記重みマップに従って前記複数の画像の各画素の輝度値と色情報を混合して前記合成画像を生成することを特徴とする請求項３に記載の周囲確認支援装置。
【請求項５】
前記撮像部で撮像された画像における相対的な自車位置を所定の車両情報に基づいて算出する車両情報提供部を有し、
前記画像合成部は、前記車両情報提供部により算出された自車位置の情報を用いて前記合成画像を生成することを特徴とする請求項１から請求項４のいずれか一項に記載の周囲確認支援装置。
【請求項６】
前記車両情報とは、車速、車輪速、舵角、車輪角、ブレーキランプ点灯情報、ヘッドランプ点灯情報、ワイパ稼働情報、自車位置測位システムによる自車位置情報のうち、少なくとも１つを含むものであることを特徴とする請求項５に記載の周囲確認支援装置。
【請求項７】
前記画像認識部の認識結果に基づいて前記撮像部のシャッタ速度を制御するシャッタ速度制御部を有することを特徴とする請求項１〜請求項６のいずれか一項に記載の周囲確認支援装置。
【請求項８】
前記撮像部で撮像する画像の露光量の情報を保存する露光量情報保持部を有し、
前記シャッタ速度制御部は、前記露光量情報保持部に保存された前記露光量の情報と、前記画像認識部の認識結果に基づいて、前記撮像部のシャッタ速度を制御することを特徴とする請求項７に記載の周囲確認支援装置。
【請求項９】
前記撮像部を複数有し、各撮像部において互いに露光量が異なる複数の画像を得ることを特徴とする請求項１から請求項８のいずれか一項に記載の周囲確認支援装置。
【請求項１０】
同一の撮像部で複数回撮像することによって互いに露光量が異なる複数の画像を得ることを特徴とする請求項１から請求項８のいずれか一項に記載の周囲確認支援装置。
【請求項１１】
前記画像認識部による認識結果に基づいて移動体を追跡し、該画像認識部による認識が成功しなかった場合でも前記移動体の移動位置を予測する対象追跡部を有することを特徴とする請求項１から請求項１０のいずれか一項に記載の周囲確認支援装置。
【請求項１２】
前記対象追跡部は、前記画像認識部で認識された移動体をそれぞれ時系列順に追跡して前記移動体の移動を予測することを特徴とする請求項１１に記載の周囲確認支援装置。
【請求項１３】
前記互いに露光量が異なる複数の画像は、同一の撮像部で複数回撮像し、該撮像した画像を累積することによって生成されることを特徴とする請求項１から請求項１２のいずれか一項に記載の周囲確認支援装置。
【請求項１４】
前記互いに露光量が異なる複数の画像は、複数の撮像部で撮像されて生成されることを特徴とする請求項１から請求項１２のいずれか一項に記載の周囲確認支援装置。
【請求項１】
車両の周囲を撮像した画像を表示して乗員による車両周囲の確認を支援する周囲確認支援装置であって、
車両周囲の所定範囲を互いに異なる露光量で撮像する撮像部と、
該撮像部により撮像された互いに露光量が異なる複数の画像を画像処理して、予め設定された認識対象物の認識を行う画像認識部と、
該画像認識部の認識結果に基づいて前記画像から合成画像を生成する画像合成部と、
該画像合成部により合成した合成画像を表示する表示部と、を有することを特徴とする周囲確認支援装置。
【請求項２】
前記画像合成部は、前記画像認識部によって前記認識対象物が認識された複数の画像を互いに比較して、該複数の画像からそれぞれ前記認識対象物の確度が高い画像領域を抽出し、該抽出した画像領域を用いて合成画像を生成することを特徴とする請求項１に記載の周囲確認支援装置。
【請求項３】
前記画像合成部は、前記画像合成を行う際に使用する各画像領域の割合を定義した重みマップを、前記認識対象物の確度と前記認識対象物の検出領域からの距離に応じて作成し、該重みマップに従って前記合成画像を生成することを特徴とする請求項２に記載の周囲確認支援装置。
【請求項４】
前記画像合成部は、前記重みマップに従って前記複数の画像の各画素の輝度値と色情報を混合して前記合成画像を生成することを特徴とする請求項３に記載の周囲確認支援装置。
【請求項５】
前記撮像部で撮像された画像における相対的な自車位置を所定の車両情報に基づいて算出する車両情報提供部を有し、
前記画像合成部は、前記車両情報提供部により算出された自車位置の情報を用いて前記合成画像を生成することを特徴とする請求項１から請求項４のいずれか一項に記載の周囲確認支援装置。
【請求項６】
前記車両情報とは、車速、車輪速、舵角、車輪角、ブレーキランプ点灯情報、ヘッドランプ点灯情報、ワイパ稼働情報、自車位置測位システムによる自車位置情報のうち、少なくとも１つを含むものであることを特徴とする請求項５に記載の周囲確認支援装置。
【請求項７】
前記画像認識部の認識結果に基づいて前記撮像部のシャッタ速度を制御するシャッタ速度制御部を有することを特徴とする請求項１〜請求項６のいずれか一項に記載の周囲確認支援装置。
【請求項８】
前記撮像部で撮像する画像の露光量の情報を保存する露光量情報保持部を有し、
前記シャッタ速度制御部は、前記露光量情報保持部に保存された前記露光量の情報と、前記画像認識部の認識結果に基づいて、前記撮像部のシャッタ速度を制御することを特徴とする請求項７に記載の周囲確認支援装置。
【請求項９】
前記撮像部を複数有し、各撮像部において互いに露光量が異なる複数の画像を得ることを特徴とする請求項１から請求項８のいずれか一項に記載の周囲確認支援装置。
【請求項１０】
同一の撮像部で複数回撮像することによって互いに露光量が異なる複数の画像を得ることを特徴とする請求項１から請求項８のいずれか一項に記載の周囲確認支援装置。
【請求項１１】
前記画像認識部による認識結果に基づいて移動体を追跡し、該画像認識部による認識が成功しなかった場合でも前記移動体の移動位置を予測する対象追跡部を有することを特徴とする請求項１から請求項１０のいずれか一項に記載の周囲確認支援装置。
【請求項１２】
前記対象追跡部は、前記画像認識部で認識された移動体をそれぞれ時系列順に追跡して前記移動体の移動を予測することを特徴とする請求項１１に記載の周囲確認支援装置。
【請求項１３】
前記互いに露光量が異なる複数の画像は、同一の撮像部で複数回撮像し、該撮像した画像を累積することによって生成されることを特徴とする請求項１から請求項１２のいずれか一項に記載の周囲確認支援装置。
【請求項１４】
前記互いに露光量が異なる複数の画像は、複数の撮像部で撮像されて生成されることを特徴とする請求項１から請求項１２のいずれか一項に記載の周囲確認支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１１−７７７７２（Ｐ２０１１−７７７７２Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２２６３７３（Ｐ２００９−２２６３７３）
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
[ Back to top ]