説明

車両周辺監視装置

【課題】通常の俯瞰画像だけでなく、その部分拡大俯瞰画像もモニタ表示する際、それぞれの表示目的に適合した俯瞰画像が生成される車両周辺監視装置の提供。
【解決手段】車載カメラモジュールによって取得された撮影画像を元画像として二次平面射影変換によって第1俯瞰画像を生成する第1俯瞰画像生成部と、撮影画像を元画像として三次面射影変換によって第2俯瞰画像を生成する第2俯瞰画像生成部と、第1俯瞰画像からモニタ表示用の第1表示画像を生成するとともに、当該第1表示画像の所定領域に対応する第2俯瞰画像の所定領域から第1表示画像より大きな表示倍率を有するモニタ表示用の第2表示画像を生成する表示画像生成部とを備えている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、本発明は、自車の周辺領域を撮影する車載カメラによって取得された撮影画像を射影変換することでカメラ視点より上方の上方仮想視点からの俯瞰画像を表示画像として生成し、モニタに表示する車両周辺監視装置に関する。
【背景技術】
【0002】
従来から、自車の死角領域の確認のために車両の上方仮想視点から見下ろした俯瞰画像をモニタ表示して、運転者を支援する技術は知られている。この俯瞰画像は、複数の車載カメラで車両周囲を撮影し、これら複数の車載カメラで取得された撮影画像を車両上方の仮想視点から見下ろした画像に視点変換して繋ぎ合わせることにより得られる。その際、自車を表す自車イメージをモニタ表示される俯瞰画像の中心に合成することで、自車周囲の様子が運転者に容易に認識させる工夫がなされている。
【0003】
そのような俯瞰画像を用いた車両周辺表示装置が特許文献1から知られている。この車両周辺表示装置では、複数のカメラにより撮られた各撮影画像に基づいて車両周辺の俯瞰画像が表示されるが、この俯瞰画像を複数の領域に分割し、ユーザにより選択された領域に対応する対象画像が該ディスプレイに拡大表示される。従って、ユーザによって選択された俯瞰画像の特定領域が拡大表示されるので、周辺の注目すべき領域だけが拡大表示されるという利点がある。しかしながら、撮影画像から射影変換を通じて得られた上方仮想視点からの俯瞰画像では路面からの高さをもつ物体が大きく歪み、運転者にとって距離感や大きさを認識しにくいという問題がある。
【0004】
さらに特許文献2から知られている駐車支援装置では、自車の周囲の画像を取得する撮像手段と、前記自車の周囲の画像及び自車の画像から前記自車を上方の仮想視点から見た俯瞰画像を生成する画像変換手段と、自車の周囲の立体物を検出し、立体物情報として立体物の自車からの距離及び相対速度を算出する立体物検出手段とが備えられている。さらに、立体物情報に基づいて立体物が移動体であると判定したとき、当該立体物が俯瞰画像の端に表示されるように縮尺を変更してモニタに表示される。つまり、俯瞰画像の表示において、自車と周囲の立体物とが接近したとき、自車を中心として立体物が俯瞰画像の端になるように縮尺を変更して俯瞰画像が拡大して表示される。しかしながら、この装置でも俯瞰画像の一部を拡大しているだけなので、その拡大図において、路面からの高さをもつ物体が大きく歪み、運転者にとって距離感や大きさを認識しにくいという問題がある。
【0005】
また、視点の異なる複数のカメラから得られた撮影画像を合成する際に、路面平面である二次元投影面を用いた投影画像に対してさらに球面と円筒面からなる三次元投影面を用いて射影変換された投影画像を生成することで、画像ひずみを低減しようとする画像合成装置も知られている。しかしながら、この装置では、最終的に表示される表示画像は三次元投影面を用いた投影画像であるため、上方仮想視点からの俯瞰画像では可能であった白線などの路面上の識別シンボルの直線性が十分に確保できないという問題点がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009‐239674号公報(段落番号〔0008−0013〕、図14)
【特許文献1】特開2009‐111946号公報(段落番号〔0011−0057〕、図4)
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記実情に鑑み、通常の俯瞰画像だけでなく、その部分拡大俯瞰画像もモニタ表示する際、それぞれの表示目的に適合した俯瞰画像が生成される車両周辺監視装置が要望されている。
【課題を解決するための手段】
【0008】
本発明の車両周辺監視装置は、車両の周辺領域を撮影する車載カメラモジュールと、前記車載カメラモジュールによって取得された撮影画像を元画像として二次平面射影変換によって第1俯瞰画像を生成する第1俯瞰画像生成部と、前記撮影画像を元画像として三次面射影変換によって第2俯瞰画像を生成する第2俯瞰画像生成部と、前記第1俯瞰画像からモニタ表示用の第1表示画像を生成するとともに、当該第1表示画像の所定領域に対応する前記第2俯瞰画像の所定領域から前記第1表示画像より大きな表示倍率を有するモニタ表示用の第2表示画像を生成する表示画像生成部とを備えている。
【0009】
この構成では、第1表示画像は投影面として二次平面(通常は路面)を用いた、これまでよく知られている通常の俯瞰画像(第1俯瞰画像)に基づいており、路面平面に描かれた白線などの直線性は良好であり、この第1表示画像を通じて、運転者は、容易に概略的な周囲状況を把握することができる。第2表示画像は、投影面として三次面を用いることで路面上から立ち上がった立体物(駐車車両や三角ポールなど)の変形が第1俯瞰画像より少ない第2俯瞰画像に基づいている。さらに、この第2表示画像は第1表示画像の所定領域に対応する領域に限定され拡大表示されることから、自車近傍の注目領域、例えば自車の近傍に存在する立体物に対する運転者の視認性が良好なものとなる。
【0010】
なお、ここでいう投影面としての三次面とは、路面のような単一平面でないという意味であり、曲面だけではなく、複数の異なる平面からなる平面体、例えば屈曲平面や階段状平面も含まれる。ただ、視認性や直線性などを考慮した場合、半球面やドーム面などを含む凹曲面が適している。従って、本発明の好適な実施形態では、前記三次面射影変換は投影面として凹曲面を用いている。
【0011】
本発明の好適な実施形態の1つでは、前記第1表示画像と前記第2表示画像とが同一モニタ画面上に表示される。これにより、運転者は、周辺状況を地図的に把握できる第1表示画像と、路面上立体物の自車との距離感を把握し易い第2表示画像を見比べることで、より正確にかつ容易に車両周辺を監視することができる。
【0012】
注目すべき特定領域がないにもかかわらず、前記第1表示画像と前記第2表示画像とを表示スペースが限られているモニタに表示さする必要はない。特に、第1表示画像の特定領域の拡大画像でもある第2表示画像は、路上立体物が自車周辺に存在している場合に重要となる。従って、本発明の好適な実施形態の1つでは、車両周辺の立体物を検出する立体物検出部から受け取った立体物検出情報に基づいて前記立体物の存在する領域を含む前記第2表示画像がモニタ表示される。
ただし立体物検出部が搭載されていない場合や、立体物検出部で立体物が検出されていない領域の第2表示画像を見たいという要望を満たすために、車両乗員が指定する車両周辺領域を含む前記第2表示画像がモニタ表示される構成を採用してもよい。
さらに、車両周辺領域の拡大された俯瞰画像である第2表示画像は、駐車走行時に他車などの走行障害物と自車との位置関係を把握するために適している。特に、予め駐車可能な駐車領域を設定し、その駐車領域への駐車経路を演算して、当該駐車経路に沿った駐車走行を支援する、駐車支援装置では、駐車領域の設定時や駐車経路の演算時に駐車しようとする自車に近接する立体物を検知している場合が少なくない。このような条件が満たされる場合、駐車走行時に自車の一部が立体物に接近したときに、第2表示画像を表示すると好都合である。このため、本発明の好適な実施形態の1つでは、駐車領域を設定するとともに当該駐車領域に車両を誘導するための駐車経路を生成する駐車制御を行う駐車支援モジュールから取得された駐車経路と駐車領域と駐車車両に関する情報を含む駐車支援情報から、前記第2表示画像を表示するタイミングが求められ、当該タイミングで前記第2表示画像がモニタ画面上に表示される。
【0013】
本発明では、車載カメラモジュールが1台のカメラで構成され、当該カメラからの撮影画像から第1と第2の俯瞰画像及び表示画像が生成されてもよい。特に運転者にとっての最大の死角となりやすい後方周辺領域を撮影するバックカメラの撮影画像だけを利用しても運転支援において十分な効果がある。しかしながら、車載カメラモジュールが互いの撮影領域が重なり合うオーバラップ領域を有する複数の車載カメラから構成され、各カメラからの撮影画像の俯瞰画像をパノラマ合成して全周囲画像とすると、車両周辺監視としては最適である。その際、隣り合う撮影画像の俯瞰画像をオーバラップ領域で重ね合わせて合成する場合には、そのオーバラップ領域に存在する被写体が変形しているために、オーバラップ領域ではブレンド合成されると好都合である。このため、複数カメラからの撮影画像を利用する本発明の好適な実施形態では、前記第1俯瞰画像及び前記第2俯瞰画像はそれぞれの撮影画像のパノラマ合成により生成され、その際前記オーバラップ領域が所定幅と所定比率でブレンドされる。さらには、そのオーバラップ領域に存在する被写体の変形形態は、二次平面射影変換と三次面射影変換とでは異なっている。この問題を解決するためには、前記第1俯瞰画像と前記第2俯瞰画像とでオーバラップ領域の所定幅又は所定比率あるいはその両方が異なるように個別に設定されるとよい。
【0014】
第2俯瞰画像の生成方法として、撮影画像から第1俯瞰画像を生成し、その第1俯瞰画像を三次平面射影変換することで第2俯瞰画像を生成する方法と、撮影画像から直接第2俯瞰画像を生成してもよい。いずれにせよ、第1俯瞰画像は常時生成されているので、第1俯瞰画像を三次面射影変換することにより第2俯瞰画像を生成するように第2俯瞰画像生成部を構築することが好都合である。
【図面の簡単な説明】
【0015】
【図1】本発明による運転支援装置で用いられる、撮影画像を出発画像として二次平面射影変換を通じて得られた第1俯瞰画像と、撮影画像を出発画像として三次面射影変換を通じて得られた第2俯瞰画像とを表示する過程を図解する模式図である。
【図2】複数カメラによる撮影画像から二次平面射影変換と合成処理を通じて得られた全周囲第1俯瞰画像と、この第1俯瞰画から三次面射影変換を通じて得られた全周囲第2俯瞰画像とを表示する過程を図解する模式図である。
【図3】複数カメラによる撮影画像から二次平面射影変換と合成処理とを通じて得られた全周囲第1俯瞰画像と、撮影画像からから三次面射影変換と合成処理とを通じて得られた全周囲第2俯瞰画像とを表示する過程を図解する模式図である。
【図4】運転支援装置のコントロールユニットを含む電子制御系の機能を説明する機能ブロック図である。
【図5】画像処理モジュールの機能ブロック図である。
【図6】種々の射影変換マップから選択された射影変換マップを用いて第2俯瞰画像を生成する過程を図解した模式図である。
【図7】俯瞰画像表示ルーチンを示すフローチャートである。
【発明を実施するための形態】
【0016】
まず、本発明による運転支援装置で用いられる、撮影画像を出発画像として二次平面射影変換を通じて得られた第1俯瞰画像と、撮影画像を出発画像として三次面射影変換を通じて得られた第2俯瞰画像とを表示する基本的な過程を、図1を用いて説明する。ここでは車載カメラはバックカメラであり、撮影画像は車両後方の周辺を写しだしたものである。つまり、図1では、バックカメラによる撮影画像だけを用いた俯瞰画像の生成が示されている。
【0017】
車両周辺監視画面としての俯瞰画像をモニタ表示するためには、まずバックカメラによって自車の後方周辺領域の撮影画像が取得される(#1)。この撮影画像から、投影面を路面に平行な面とする第1の射影変換(二次平面射影変換)、つまり真上に仮想視点を設定した視点変換が行われる(#2)。この二次平面射影変換処理を通じて、車両後方領域の真上からの俯瞰画像である第1俯瞰画像が得られる。この第1俯瞰画像は、整形のためのトリミング処理を受けて、第1表示画像としてモニタ画面に表示される(#3)。
【0018】
さらに、撮影画像から、投影面を路面上に配置された三次面とする第2の射影変換(三次面射影変換)、つまり真上に仮想視点を設定した視点変換だけでなく、投影面も湾曲面ないしは屈曲平面とされた射影変換が行われる(#4)。ここでは、三次面としてドーム状の凹湾曲面が用いられていることにする。この三次面射影変換を通じて、車両後方領域の真上から路面上に配置された湾曲面への俯瞰画像である第2俯瞰画像が得られる。この第2俯瞰画像は屈曲平面や湾曲平面のような三次面への投影画像であるため、それなりの変形をうけるが、上方仮想視点による視点変換での変形と部分的に相殺することになる。このため、第2俯瞰画像は、例えば、路上立体物が伸び上がるという上記視点変換におる変形が逆に抑えられることにより、自車と路上立体物との距離間隔が把握し易いという利点が得られる。
【0019】
この第2俯瞰画像から指定された画像領域が切り出され、その切り出し画像領域をさらに拡大したものが第2表示画像として、第1表示画像に並んでモニタ画面に表示される(#5)。なお、第2表示画像が表示される領域には、第2表示画像が表示される前は例えばバックカメラ1aで撮影された映像が表示されている。
第2表示画像の表示タイミングや第2俯瞰画像からの切り出し領域は、ユーザによって選択されてもよいが、車両に立体物検出機能が備わっていれば、立体物が検出した時点で、検出された立体物が写っている画像領域を切り出して、第2表示画像としてモニタ画面に表示することができる。それ以外では、第2表示画像の表示枠にはバックカメラの撮影画像をそのまま通常画像として表示するとよい。
【0020】
図1における本発明の図解説明では、バックカメラからの撮影画像だけを用いて、二次平面射影変換(路面射影変換)による第1俯瞰画像と三次面射影変換(凹湾曲面射影変換)による第2俯瞰画像とを生成し、さらにそれぞれの俯瞰画像から第1表示画像と第2表示画像が生成された。しかしながら、自車を中心とする四方の周辺状況、特に路面状況が把握できる全周囲俯瞰画像を運転者に見せることが周辺監視としては最適の形態である。以下に、全周囲俯瞰画像を用いた周辺監視の基本的な画像処理の流れを説明する。図2は、複数カメラによる撮影画像から二次平面射影変換と合成処理を通じて得られた全周囲第1俯瞰画像と、この第1俯瞰画から三次面射影変換を通じて得られた全周囲第2俯瞰画像とを表示する過程を図解する模式図である。図3は、複数カメラによる撮影画像から二次平面射影変換と合成処理とを通じて得られた全周囲第1俯瞰画像と、撮影画像から三次面射影変換と合成処理とを通じて得られた全周囲第2俯瞰画像とを表示する過程を図解する模式図である。図2及び図3では、車載カメラモジュールとしてバックカメラ1a、左サイドカメラ1b、右サイドカメラ1c、フロントカメラ1dが用意されており、後進での縦列駐車における駐車支援のために、これらのカメラからの4つの周辺撮影画像から2種類の俯瞰画像を生成する装置が取り扱われている。
【0021】
図2で図解された画像処理過程では、まず、バックカメラ1aによる後方撮影画像が車両真上からの通常の二次平面射影変換による全周囲俯瞰画像の後方領域画像として射影変換される。同様に、フロントカメラによる撮影画像、左サイドカメラ1bによる左撮影画像、フロントカメラ1dによる右撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。ここでは、射影変換は、二次平面射影変換用マッピングテーブルを用いたマッピングによって行われる。各撮影画像から生成された俯瞰画像(最終的な第1俯瞰画像の1つのセグメント)が隣り合う撮影画像同士でオーバラップ領域を形成しながら画像合成されることで第1俯瞰画像が生成される。この画像合成では所定幅のオーバラップ領域において所定比率でのブレンド合成処理(アルファブレンド)が実施される。
【0022】
生成された第1俯瞰画像は、一方では、必要に応じてトリミング処理を施され、第1表示画像としてモニタ表示される。生成された第1俯瞰画像は、他方では、さらに三次面射影変換、例えば、凹湾曲状投影面への射影変換が、三次面射影変換用マッピングテーブルを用いたマッピングによって行われる。このマッピングにより、第2俯瞰画像が生成される。この第2俯瞰画像は三次面に投影されることによる変形を受けるが、この変形によって第1俯瞰画像で生じていた路上立体物の伸び上がり変形を相殺させることも可能である。生成された第2俯瞰画像は、指定された画像領域、例えば後進での縦列駐車において運転者が注目すべき場所に対応する画像領域で、切り出され、さらに拡大されて、第2表示画像として第1表示画像に隣接してモニタ表示される。図2の例では、縦列駐車走行中の自車の左前部分と駐車車両の右後部分との近接領域が運転者が注目すべき場所とみなされ、第2表示画像として表示されている。
この第2表示画像をモニタ表示する好適なタイミングの一例を図2も用いて説明する。図2では縦列駐車が模式的に示されているが、駐車支援装置などが稼動している場合、まずは、駐車すべき駐車領域を探す探索走行(図中Sで示された走行経路)が行われる。その探索走行時に駐車車両のいない空きスペースである駐車領域が検知されると、その駐車領域に駐車するための駐車開始点(後退の開始位置)まで車両を進める。駐車領域を検知する際に、その駐車領域を境界付けている駐車車両(立体物)の情報(駐車車両がいないという情報も含まれる)が得られていることになる。駐車支援プロセスでは、駐車開始点から駐車領域への駐車経路(図中Kで示された走行経路)を演算し、その駐車経路に沿った駐車支援が行われる。なお、この駐車支援では、駐車経路に沿うように自動で操舵制御を行い、運転者は速度調節のみを行うようにしてもよい。この駐車経路に沿った後退の際、駐車車両(立体物)の情報が既に得られているため、例えば、自車の左前方が、前方の駐車車両に近づき、接触しそうなタイミングで、当該駐車車両を映し出している撮影画像に基づく第2表示画像をモニタ画面に表示する。
【0023】
図3で図解された画像処理過程でも、まず、バックカメラ1aによる後方撮影画像が車両真上からの通常の二次平面射影変換による全周囲俯瞰画像の後方領域画像として射影変換される。同様に、フロントカメラによる撮影画像、左サイドカメラ1bによる左撮影画像、フロントカメラ1dによる右撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。さらに、各撮影画像から生成された俯瞰画像(最終的な第1俯瞰画像の1つのセグメント)が隣り合う撮影画像同士でオーバラップ領域を形成しながら画像合成されることで第1俯瞰画像が生成される。この画像合成においては、二次平面射影変換による全周囲俯瞰画像に適した所定幅のオーバラップ領域を設定し、同様にこの全周囲俯瞰画像に適した所定比率でのブレンド合成処理(アルファブレンド)が実施される。生成された第1俯瞰画像は、必要に応じてトリミング処理を施され、第1表示画像としてモニタ表示される。
【0024】
図3による画像処理過程では、第2俯瞰画像は、各カメラからの撮影画像毎に三次面射影変換された俯瞰画像セグメントを合成することで生成される。つまり、バックカメラ1aによる後方撮影画像が最終的な全周囲俯瞰画像の後方領域画像として生成されるように車両真上から路面上に配置された三次投影面への射影変換である三次面射影変換を受ける。同様に、フロントカメラによる撮影画像、左サイドカメラ1bによる左撮影画像、フロントカメラ1dによる右撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として同様な射影変換を受ける。このようにして各撮影画像から生成された俯瞰画像(最終的な第2俯瞰画像の1つのセグメント)が隣り合う撮影画像同士でオーバラップ領域を形成しながら画像合成されることで第2俯瞰画像が生成される。この画像合成においても、三次面射影変換による全周囲俯瞰画像に適した所定幅のオーバラップ領域を設定し、同様にこの全周囲俯瞰画像に適した所定比率でのブレンド合成処理(アルファブレンド)が実施される。第1俯瞰画像と第2俯瞰画像とでは、周辺部における画像の変形(歪み)が異なるため、互いに異なるオーバラップ領域幅及びブレンド比率が設定される。生成された第2俯瞰画像は、指定された画像領域で切り出され、さらに拡大されて、第2表示画像として第1表示画像に隣接してモニタ表示される。
【0025】
以下、本発明による車両周辺監視装置の具体的な実施形態の構成を図面に基づいて説明する。本実施形態では、図3で図解された画像処理が採用されているとする。従って、4つの車載カメラ、バックカメラ1a、フロントカメラ1d、左サイドカメラ1b、右サイドカメラ1cからの撮影画像から前述した第1表示画像と第2表示画像を生成する画像処理系が構築された車両周辺監視装置が車両に組み込まれている。以下の説明において、適宜、これらの車載カメラ1a、1b、1c、1dを単にカメラ1と総称する場合がある。
【0026】
カメラ1はCCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を用いて、毎秒30フレームの2次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ1は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に140〜190°の視野角が確保されているとともに、光軸に約30度程度の俯角を有して車両に設置されている。
【0027】
車両内部には、車両周辺監視装置の中核をなすコントロールユニット(以下単にECUと称する)20が設置されている。このECU20は、図4に示すように、車両状態検出センサ群からの信号入力をそのまま、あるいは評価してECU20の内部に転送するセンサ入力インターフェース23や通信インターフェース70などを備えると共に、入力情報を処理するマイクロプロセッサや、DSP(digital signal processor)を備えている。
【0028】
センサ入力インターフェース23に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向(操舵方向)と操作量(操舵量)とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
【0029】
また、入出力インターフェースとして用いられている通信インターフェース70は、データ伝送線として車載LANを採用しており、モニタ21、タッチパネル21T、パワーステアリングユニットPS、変速機構T、ブレーキ装置BKなどの制御ユニットがデータ伝送可能に接続されている。その他、音声情報の出力デバイスとしてスピーカ22も備えられている。
【0030】
ECU20には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、本発明の立体物検知部としての立体物検知モジュール30と、画像処理モジュール50と、表示制御部71と、音声処理モジュール72と、とが挙げられる。画像処理モジュール50で生成されたモニタ表示画像は表示制御部71でビデオ信号に変換されてモニタ21に送られる。音声処理モジュール72で生成された音声ガイドや緊急時の警告音などはスピーカ22で鳴らされる。
駐車支援モジュール73は、駐車領域設定機能、駐車経路生成機能、位置算定機能、駐車誘導機能などの、自車が所定の駐車領域に駐車することを支援するための機能を備えている。駐車領域設定機能は、撮影画像に基づく画像処理や立体物検出モジュール30からの立体物情報に基づく推定処理などによる自動設定、または人為操作による設定、あるいはそれらの組み合わせで、自車を駐車させるための駐車領域を設定する機能である。駐車経路生成機能は、駐車開始点から駐車領域への駐車経路を算定する機能である。位置算定機能は、自車の移動に伴って変化する自車の位置情報を検出するするとともに、自車の移動に伴って変化する駐車領域との相対的な位置関係を検出する機能である。実際の駐車走行時の自車位置は、例えば、距離センサで取得する車両移動量と、ステアリングセンサで計測されるステアリングホイールの操舵量とに基づいて求めることができる。駐車誘導機能は、求められた自車位置を参照しながら、駐車経路に沿うように自車を誘導する機能である。駐車誘導機能は、駐車経路に沿うように自動でステアリングホイールを制御してもよいし、運転者に駐車経路に沿うようなステアリングホイールの操作方向、操作量を画面や音声で指示するようにしてもよい。
【0031】
立体物検知モジュール30には、複数の超音波センサ3からの検出信号を評価して立体物検知を行う超音波評価部31と、カメラ1からの撮影画像を用いて立体物検知を行う画像認識部32とが含まれている。超音波センサ3は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体(立体物)をそれらからの反射波を通じて検知することができる。各超音波センサ3における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ3の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。画像認識部32は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を検知する。
立体物の検知のためには、超音波評価部31と画像認識部32のいずれか1つでもよいが、立体物の形態を検知するのに優れた画像認識部32と、立体物までの距離、つまり立体物の位置を算出するのに優れた超音波評価部31の両方を備えて協働作業させることでより正確な立体物検知が可能となる。これにより、立体物検知モジュール30は、検知した立体物の位置、姿勢、大きさ、色調などを記述した立体物情報を出力することができる。従って、超音波評価部31と画像認識部32のいずれでもあるいはその組み合わせであっても本発明における立体物検知部として機能するものであり、さらには、レーザーレーダを用いるような他の立体物検知装置も含むものである。
【0032】
図5に、ECU20の画像処理モジュール50の機能ブロック図が示されている。画像処理モジュール50は、自車周辺を撮影するカメラ1によって取得された撮影画像から射影変換によって変換された俯瞰画像等の画像を生成する機能を有している。
【0033】
画像処理モジュール50は、撮影画像メモリ51、前処理部52、画像生成部60、表示画像生成部53、フレームメモリ56、立体物情報取得部57を含んでいる。カメラ1によって取得された撮影画像は撮影画像メモリ51に展開され、前処理部52はカメラ1によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物情報取得部57は、立体物検知モジュール30から出力された立体物情報を受け取り、当該立体物情報に記述された立体物の位置、姿勢、大きさ、色調などを読み出す。さらに、この立体物情報取得部57は、付加的な立体物情報として、駐車支援モジュール73からの、駐車領域を設定する際に得られた駐車車両(立体物)の位置及び当該駐車車両(立体物)と自車との位置関係などを含む駐車支援情報を受け取るように構成されている。
【0034】
画像生成部60は、通常画像生成部61、俯瞰画像生成管理部62、マッピングテーブル63、第1俯瞰画像生成部64、第2俯瞰画像生成部65、ブレンド調整部66を含んでいる。通常画像生成部61は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、バックカメラ1a、左・右サイドカメラ1b,1c、フロントカメラ1dによる撮影画像から運転者によって選択された1つでもよいし、複数撮影画像の組み合わせででもよい。
【0035】
第1俯瞰画像生成部64は、撮影画像メモリ51に展開されている撮影画像を用いて上述した二次平面射影変換を行い、第1俯瞰画像を生成する。この二次平面射影変換として、ここでは車両の上方に位置する点を仮想視点とし路面に一致する面を投影面とした射影変換がデフォルト設定されているが、運転者の嗜好あるいは運転状況に応じて変更可能である。
【0036】
第2俯瞰画像生成部65は、撮影画像メモリ51に展開されている撮影画像を用いて上述した三次面射影変換を行い、第2俯瞰画像を生成する。この三次面射影変換として、ここでは車両の上方に位置する点を仮想視点とし路面上に配置されたドーム状の凹湾曲面を投影面とした射影変換がデフォルト設定されている。この三次面射影変換での投影面は、その他の三次面、例えば半球面、円柱面、屈曲平面などから選ぶことができるし、またその投影面中心と投影中心とを所定オフセット量だけずらすことも可能である。
【0037】
なお、この実施形態では、第1俯瞰画像生成部64及び第2俯瞰画像生成部65における射影変換は、マッピングテーブルを用いたマップ変換によって行われるので、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、マッピングテーブル63と称する。マッピングテーブル63を構成する各マッピングテーブル(以下点にマップと略称する)は種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像(俯瞰画像)の画素データとの対応関係が記述されたマップとして構築され、1フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたものである。
【0038】
第1俯瞰画像生成部64は通常の俯瞰画像を生成するので、マッピングテーブル63から選択されるマップは限定される。しかしながら、第2俯瞰画像生成部65で利用される三次面射影変換の種類は多いので、多くの種類の三次面射影変換のためのマップをマッピングテーブル63に登録しておいて、適切なものを選択するように構成することができる。さらには、用いる三次面射影変換用マップの選択を立体物の存在位置、大きさなどの特性に基づいて決定することができる。そのような三次面射影変換用マップを立体物情報に基づいて選択する過程が図6に模式的に図示されている。このような第1俯瞰画像生成部64及び第2俯瞰画像生成部65で利用される射影変換種類、つまりマッピングテーブル63からの使用マップの選択は俯瞰画像生成管理部62が行う。
【0039】
第2俯瞰画像生成部65で利用される射影変換種類の選択に関して、図6を用いてさらに詳しく説明する。
立体物検出モジュール30から出力された立体物情報に記述された立体物のデータ(位置、姿勢、形状など)に基づいて、あるいは駐車支援モジュール73から出力された駐車支援情報に基づいて、第1俯瞰画像生成部64による俯瞰画像である第1表示画像の横に当該立体物が写っている撮影画像に基づく第2表示画像を表示する処理が開始される。まず、立体物情報から読み取られた立体物の特性データを入力パラメータとしてルール演算処理を行って、最適種類の射影変換を指示するマップ選択指令が決定される。このマップ選択指令に基づいて、適合するマップがマッピングテーブル63から選択され、第2俯瞰画像生成部65に設定される。例えば、立体物の特性データに基づいて、射影変換を規定する投影面形状や当該投影面と立体物(正確には射影変換元画像としての立体物画像)との相対位置を表す変換パラメータが設定される。
ここでは、立体物の歪みを低減する射影変換として、図5で模式的に示すように、投影面形状と立体物との相対位置とが異なる複数の射影変換がマップの形態で準備されている。投影面形状としては、円柱状湾曲面、途中で折り曲げられた平面からなる屈曲面、球面状湾曲面などが挙げられる。もちろん、路面に垂直な垂直平面や路面に対して傾斜平面も投影面として利用可能である。また、それぞれの投影面は、立体物との異なる相対位置に配置することで異なる射影変換を実現することができる。特に好適な配置としては、立体物が投影面の路面からの立ち上がった傾斜面領域又は湾曲面領域で投影されることあり、これにより、立体物の投影画像全体にわたって、路面と平行な投影面において生じる間延びした歪が抑制される。このことから、立体物の路面側端部の投影位置が投影面の路面からの立ち上がった領域位置と一致する配置が好都合である。その際は、立体物の路面側端部の位置はエッジ検出処理で検出することができるので、この位置が投影面の路面からの立ち上がり位置に一致させるように配置した投影面を用いて立体物の俯瞰画像を生成するとよい。
【0040】
表示画像生成部53は、画像生成部60によって生成された画像を合成する画像合成部54や画像をトリミングして拡大する画像拡大部55を含む。画像合成部54は、各カメラの撮影画像毎に生成された俯瞰画像セグメントをパノラマ合成して、全周囲の第1俯瞰画像及び第2俯瞰画像を生成する。このパノラマ合成の際、上述したブレンド合成処理を行うために、ブレンド調整部66によって決定された、利用射影変換に最適なオーバラップ領域幅及びブレンド比率が用いられる。画像拡大部55は、第2俯瞰画像から第2表示画像を生成するために立体物が写っている第2俯瞰画像の画像領域を切り出して拡大する。
最終的な第1表示画像と第2表示画像は所定のテンプレート枠にはめ込まれて、モニタ表示画像としてフレームメモリ56に転送され、表示制御部71を介してモニタ21に表示される。
【0041】
次に、上述のように構成された画像生成装置を組み込んだ車両周辺監視装置による俯瞰画像表示の流れを図7のフローチャートを用いて説明する。
この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、第1俯瞰画像生成部64で用いられる二次平面射影変換のためのマップ、ここでは路面を投影面とする射影変換のためのマップが設定される(#01)。また、俯瞰画像セグメントの合成時のオーバラップ領域の幅やブレンド比率なども設定される(#02)。次いで、各車載カメラ1の撮影画像が取得され(#03)、設定されたマップを用いて各撮影画像から俯瞰画像セグメントが生成される(#04)。生成された俯瞰画像セグメントは設定されたオーバラップ領域の幅やブレンド比率でもって組み合わせ合成され、通常の俯瞰画像である第1俯瞰画像が生成される(#05)。その際、自車両位置に予め設定されている車両の俯瞰イメージ画像(イラストやシンボルでも良い)が配置される。
【0042】
立体物検知モジュール30あるいは駐車支援モジュール73から立体物情報が出力されているかどうかチェックされる(#06)。立体物情報が出力されていない場合(#06No分岐)、どの撮影画像にも注目すべき立体物が写り込んでいないとみなされ、ステップ#05で生成された第1俯瞰画像は、通常画像(例えば、バックモニタ画像)と組み合わされ表示俯瞰画像が生成される(#14)。生成された表示俯瞰画像はモニタ21に表示される(#15)。ここで、俯瞰画像表示ルーチンの終了指令がない限り(#16No分岐)、再びステップ#01に戻って、このルーチンを繰り返す。
【0043】
ステップ#06のチェックで、立体物情報が出力されている場合(#06Yes分岐)、
注目すべき立体物が撮影画像に写り込んでいるとみなし、まず、立体物情報から検知された立体物の位置、姿勢、大きさなどのデータを読み出す(#07)。読み出した立体物に関するデータに基づいて撮影画像における当該立体物の画像領域を算定する(#08)。さらに、この実施形態では、立体物に関するデータに基づいて、第1俯瞰画像生成部64で用いられる三次面射影変換のためのマップ、ここでは半球面を投影面とする射影変換のためのマップが設定される(#09)。同様に立体物に関するデータに基づいて、俯瞰画像セグメントの合成時のオーバラップ領域の幅やブレンド比率などが設定される(#10)。この設定された三次面射影変換のためのマップを用いて撮影画像から俯瞰画像セグメントが生成される(#11)。生成された俯瞰画像セグメントは設定されたオーバラップ領域の幅やブレンド比率でもって組み合わせ合成され、球面投影俯瞰画像である第2俯瞰画像が生成される(#12)。生成された第2俯瞰画像は、算定された立体物の画像領域に基づいて当該立体物が含まれる範囲で切り出され、拡大される(#13)。この拡大された第2俯瞰画像の部分領域が、表示のための第2俯瞰画像となる。従って、ステップ#12での第2俯瞰画像の生成の際、当該立体物が含まれる撮影画像だけを用いてもよい。このようにして生成された部分拡大俯瞰画像としての第2俯瞰画像が第1俯瞰画像と組み合わされ表示俯瞰画像が生成される(#14)。生成された表示俯瞰画像をモニタ21は表示される(#15)。なお、車両近傍に立体物が存在することにより第2俯瞰画像に基づく第2表示画像が生成され、第1表示画像とともに第2表示画像がモニタ21に表示されたが、このモニタ画面としては、図2や図3で示したモニタ画面が参照される。
【0044】
〔別実施の形態〕
(1)上述した具体的に実施形態では、図3で図解された画像処理方法が採用されていたが、実質的に同一な構成によって図3で図解された画像処理方法を採用することも、さらには、図1で図解された画像処理方法、つまり単一カメラによる2種類の俯瞰画像生成を行う画像処理方法も採用可能である。
(2)上述した実施形態では、画像処理モジュール50の機能を分かりやすく説明するため、図5に示すように、その構成を機能別にブロック化しているが、この機能ブロックは説明目的であり、本発明がこのように区画された機能ブロックに限定されるわけではない。例えば、各機能部のいずれかを組み合わせて構築してもよいし、逆に、各機能部をさらに分割してもよい。また、画像処理モジュール50自体もその全ての機能あるいはその一部の機能を他のECUに組み込んでもよい。
(3)上述した実施形態では、立体物検知方法として、超音波を用いた立体物検知と画像認識による立体物検知のいずれか又はその組み合わせが提示されていたが、もちろん、これ以外の立体物検知方法、例えば、レーザーレーダ法や赤外線法を利用することも本発明の範囲内である。
(4)上述した実施形態では、第2表示画像を第1表示画像に並んでモニタ画面に表示したが、例えば、第1表示画像に代えて第2表示画像を表示するように、第1表示画像と第2表示画像とを切り換えて表示して構成してもよい。
【産業上の利用可能性】
【0045】
本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
【符号の説明】
【0046】
1:カメラモジュール
30:立体物検知モジュール
21:モニタ
50:画像処理モジュール
53:表示画像生成部
54:画像合成部
55:画像拡大部
60:画像生成部
61:通常画像生成部
62:俯瞰画像生成管理部
63:マッピングテーブル
64:第1俯瞰画像生成部
65:第2俯瞰画像生成部
66:ブレンド調整部
67:立体物情報取得部
71:表示制御部
73:駐車支援モジュール

【特許請求の範囲】
【請求項1】
車両の周辺領域を撮影する車載カメラモジュールと、
前記車載カメラモジュールによって取得された撮影画像を元画像として二次平面射影変換によって第1俯瞰画像を生成する第1俯瞰画像生成部と、
前記撮影画像を元画像として三次面射影変換によって第2俯瞰画像を生成する第2俯瞰画像生成部と、
前記第1俯瞰画像からモニタ表示用の第1表示画像を生成するとともに、当該第1表示画像の所定領域に対応する前記第2俯瞰画像の所定領域から前記第1表示画像より大きな表示倍率を有するモニタ表示用の第2表示画像を生成する表示画像生成部と、
を備えた車両周辺監視装置。
【請求項2】
前記三次面射影変換は投影面として凹曲面を用いる請求項1に記載の車両周辺監視装置。
【請求項3】
前記第1表示画像と前記第2表示画像とが同一モニタ画面上に表示される請求項1または2に記載の車両周辺監視装置。
【請求項4】
車両周辺の立体物を検出する立体物検出部から受け取った立体物検出情報に基づいて前記立体物の存在する領域を含む前記第2表示画像がモニタ表示される請求項1から3のいずれか一項に記載の車両周辺監視装置。
【請求項5】
車両乗員が指定する車両周辺領域を含む前記第2表示画像がモニタ表示される請求項1から3のいずれか一項に記載の車両周辺監視装置。
【請求項6】
前記車載カメラモジュールが互いの撮影領域が重なり合うオーバラップ領域を有する複数の車載カメラから構成され、前記第1俯瞰画像及び前記第2俯瞰画像はそれぞれの撮影画像のパノラマ合成により生成され、その際前記オーバラップ領域が所定幅と所定比率でブレンドされる請求項1から5のいずれか一項に記載の車両周辺監視装置。
【請求項7】
前記所定幅又は前記所定比率あるいはその両方が前記第1俯瞰画像と前記第2俯瞰画像とで異なっている請求項6に記載の車両周辺監視装置。
【請求項8】
前記第2俯瞰画像生成部は、前記第1俯瞰画像を曲面射影変換することにより前記第2俯瞰画像を生成する請求項1から5のいずれか一項に記載の車両周辺監視装置。
【請求項9】
駐車領域を設定するとともに当該駐車領域に車両を誘導するための駐車経路を生成する駐車制御を行う駐車支援モジュールから取得された駐車経路と駐車領域と駐車車両に関する情報を含む駐車支援情報から、前記第2表示画像を表示するタイミングが求められ、当該タイミングで前記第2表示画像がモニタ画面上に表示される請求項1から8のいずれか一項に記載の車両周辺監視装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2013−74423(P2013−74423A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−211289(P2011−211289)
【出願日】平成23年9月27日(2011.9.27)
【出願人】(000000011)アイシン精機株式会社 (5,421)
【Fターム(参考)】