画像生成装置
【課題】路面上に存在している立体物を良好な距離感をもって認識することができる俯瞰画像を車載カメラの撮影画像から生成する。
【解決手段】第１射影変換を用いて撮影画像から周辺俯瞰画像を生成する周辺俯瞰画像生成部と、車載カメラの視野内に存在する立体物を検知して、当該立体物の位置を含む立体物情報を出力する立体物検知部と、立体物情報に基づいて撮影画像から立体物が写っている画像領域である立体物画像を抽出する立体物抽出部と、周辺俯瞰画像における立体物の歪みを低減する第２射影変換を用いて立体物画像から立体物俯瞰画像を生成する立体物俯瞰画像生成部と、立体物情報に基づき周辺俯瞰画像に立体物俯瞰画像を画像合成する画像合成部を備えた画像生成装置。
【解決手段】第１射影変換を用いて撮影画像から周辺俯瞰画像を生成する周辺俯瞰画像生成部と、車載カメラの視野内に存在する立体物を検知して、当該立体物の位置を含む立体物情報を出力する立体物検知部と、立体物情報に基づいて撮影画像から立体物が写っている画像領域である立体物画像を抽出する立体物抽出部と、周辺俯瞰画像における立体物の歪みを低減する第２射影変換を用いて立体物画像から立体物俯瞰画像を生成する立体物俯瞰画像生成部と、立体物情報に基づき周辺俯瞰画像に立体物俯瞰画像を画像合成する画像合成部を備えた画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車の周辺領域を撮影する車載カメラによって取得された撮影画像を射影変換することでカメラ視点より上方の上方仮想視点からの俯瞰画像を表示画像として生成する画像生成装置に関する。
【背景技術】
【０００２】
従来の俯瞰画像生成装置では、車載カメラによって取得された撮影画像を路面に平行な投影面に投影することで、つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像が生成される。従って、この俯瞰画像がモニタに表示させることで、運転者が車両周辺の路面状況を把握することを支援している。しかしながら、そのような射影変換を通じて得られた俯瞰画像では車載カメラの近傍領域に比べ遠方領域において画像の歪み方が大きくなり、運転者にとって距離感をつかみ難いという問題がある。
【０００３】
このような問題を解決するため、例えば特許文献１に記載された画像処理装置では、車載カメラによって撮像された撮影画像（カメラ画像）を取得する取得部と、前記撮影画像を平面に投影して、平面投影画像に変換する第１画像変換部と、前記カメラ画像を曲面に投影して、曲面投影画像（例えば、円筒面投影画像）に変換する第２画像変換部とを備え、前記第１画像変換部は、前記撮影画像内において所定の幅を有する第１画像領域を前記平面投影画像に変換し、前記第２画像変換部は、前記撮影画像内において前記第１画像領域の幅方向外側の領域である第２画像領域（円筒面投影領域）を前記曲面投影画像に変換する。したがって、この装置によって変換された画像を表示部に与えることで、運転者が実際に目視で見える画像に近い平面投影画像と、視野の広い曲面投影画像とをあわせもつ画像が表示される。このため、運転者の視認性の低下が抑制される。しかしながら、この特許文献１による装置は、路面上に描かれた道路区画線や路肩などの表示は見やすくなるとしても、路面に配置された上方に延びた立体物（人や車だけでなく、工事用三角コーンなどの路上障害物）は撮影方向に間延びした歪な形状体となってしまう。
【０００４】
また、特許文献２に記載された画像生成装置では、仮想投影面として、路面上に設定した近景用スクリーンと、該近景用スクリーンの実カメラから遠い側に連接すると共に所定の上向き傾斜角度を持って設定した遠景用スクリーンとを有する仮想立体投影面が設定され、実撮像面に投影される画像によりカメラ映像データを取得する実カメラより高い位置に仮想カメラが設定される。そして、実カメラにより取得した単独のカメラ映像データの各画素位置と、仮想立体投影面を介した仮想カメラの仮想撮像面上の各画素位置と、の間で座標変換され、座標変換にしたがって仮想カメラの仮想撮像面上にカメラ撮影画像の各画素が移され、仮想カメラから仮想立体投影面を見たときに仮想撮像面に投影される画像がモニタに表示される。これにより、モニタ画像は、距離感を認識しやすい近景の俯瞰画像と、遠いものは小さく見え近いものは大きく見えるという遠近感を認識しやすい中景から遠景のパース画像とを合成した画像となる。しかしながら、この装置でも、路面上に配置された立体物の撮影画像が路面に水平な仮想投影面で変換された場合には、長く間延びした形状となり、立体物の視認性の低下は避けられない。
【０００５】
さらに、特許文献３による車両周囲監視システムでは、複数の車載カメラで撮影された原画像をもとに作成した俯瞰表示画像の表示中に、複数の車載カメラで重複して撮影される重複領域内に存在する障害物を障害物検知装置が検知したときに、表示装置に表示させる画像を、俯瞰表示画像から、重複領域を撮影する複数の車載カメラの原画像へと切り替えるように構成されている。この構成では、障害物の検知時に、障害物の種類などを原画像を通じて直感的且つ瞬時に特定することを図っているが、俯瞰画像を通じて障害物を良好に視認したいという要望を満たすことはできない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１８１３３０号公報（段落番号〔００１０−００１６〕、図５）
【特許文献２】特開２００８−８３７８６号公報（段落番号〔０００７−００１２〕、図１,２）
【特許文献３】特開２００７−２３５５２９号公報（段落番号〔０００７−０００８〕、図１１）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記実情に鑑み、本発明の目的は、路面上に存在している立体物を良好な距離感をもって認識することができる俯瞰画像を車載カメラの撮影画像から生成することにある。
【課題を解決するための手段】
【０００８】
車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する、本発明に係る画像生成装置の特徴は、第１射影変換を用いて前記撮影画像から周辺俯瞰画像を生成する周辺俯瞰画像生成部と、
前記車載カメラの視野内に存在する立体物を検知して、当該立体物の位置を含む立体物情報を出力する立体物検知部と、前記立体物情報に基づいて前記撮影画像から前記立体物が写っている画像領域である立体物画像を抽出する立体物抽出部と、前記周辺俯瞰画像における前記立体物の歪みを低減する第２射影変換を用いて前記立体物画像から立体物俯瞰画像を生成する立体物俯瞰画像生成部と、前記立体物情報に基づき前記周辺俯瞰画像に前記立体物俯瞰画像を画像合成する画像合成部とを備えた点にある。
【０００９】
この構成によると、第１射影変換を用いて車載カメラの撮影画像を上方仮想視点からの周辺俯瞰画像に変換する際に、視野内に立体物の存在が検知されると、その撮影画像から抽出された立体物画像を第１射影変換とは異なる第２射影変換を用いて立体物俯瞰画像を生成し、この立体物俯瞰画像を周辺俯瞰画像に合成する。第２射影変換は周辺俯瞰画像の生成に用いられた第１射影変換に比べて当該周辺俯瞰画像における立体物の歪みが低減するようなパラメータを備えている。従って、合成された周辺俯瞰画像における立体物は従来のように細長く間延びした形状とならず、より視認しやすい自然な形状になっている。このことから、運転者は、この周辺俯瞰画像から路面上に存在している立体物を良好な距離感をもって認識することができる。
【００１０】
上記説明から明らかなように、第１射影変換が上方仮想視点からの俯瞰画像、つまり上から撮影画像を撮影視点から路面に平行な投影面に投影するような射影変換であることから、路面に置かれた立体物の投影画像は間延びした歪みをもってしまう。このことから第２射影変換は、その投影面が路面に平行ではなく、できるだけ路面に対して傾斜させた投影面を用いることが好適である。従って、本発明の好適な実施形態の１つでは、前記第２射影変換として、前記撮影画像を撮影視点から路面に垂直な投影面に投影する射影変換を採用している。
【００１１】
撮影画像中に含まれる路面上の立体物を、その俯瞰画像における歪みできるだけ小さくする射影変換のパラメータを設定するためには、射影変換に用いる投影面に形状と当該投影面と立体物との位置関係が重要なファクタとなる。このことから、本発明の好適な実施形態では、撮影空間における立体物に位置や立体物の形状などを含む立体物情報に基づいて、投投影面の形状又は投影面と投影される立体物との相対位置あるいはその両方である前記第２射影変換の変換パラメータを設定するように構成されている。投影面の形状としては、前述した特許文献１や２に記載されているような湾曲面や屈曲面が好適である。その際、特に、立体物と路面との境界領域を境にしてその前方側を路面に平行な投影面部とし、その後方側を垂直面ないしは垂直面に近い傾斜面とすることが好ましい。これにより、俯瞰画像において立体物の頂上が間延びしてしまうという視認上の欠点を取り除くことができる。
【００１２】
異なる射影変換、つまり異なる投影面を用いて生成された周辺俯瞰画像と立体物俯瞰画像では立体物が写る座標位置が異なるので、周辺俯瞰画像に立体物俯瞰画像を合成しても、元々周辺俯瞰画像に写っていた立体物が画像合成後の周辺俯瞰画像に残ってしまう。特に周辺俯瞰画像が複数の撮影方向の異なる車載カメラの撮影画像を組み合わせている場合には、周辺俯瞰画像に立体物俯瞰画像との間での立体物の位置の不一致は顕著となる。このため、本発明の好適な実施形態では、前記周辺俯瞰画像における前記立体物画像の領域を目立たないように抑制処理をする立体物抑制部が備えられている。そのような抑制処理としては、ぼかし処理、低彩度化処理、周辺画素群とのブレンド処理などが利用できる。
【００１３】
また、車両周辺の立体物をより明確に視認させるためには、周辺俯瞰画像に合成される立体物俯瞰画像を目立たせることが有効である。このため、本発明の好適な実施形態では、前記立体物俯瞰画像が強調表示されるように前記立体物俯瞰画像に色補正処理が施される。例えば、立体物の色を高彩度化することは好ましい実施形態である。
【００１４】
周辺俯瞰画像が複数の撮影方向の異なる車載カメラの撮影画像を組み合わせている場合には、２つの撮影画像に立体物が写りこむことがある。そのようなケースにおいては、各撮影画像から立体物を抽出することができるので、そのうちの１つだけをより適切な立体物として選択することが好ましい。この目的のため、前記車載カメラが車両全周囲を撮影するために複数設置されている実施形態の好適な１つでは、前記立体物が２つ以上のカメラの撮影画像に含まれている場合には、より面積の小さい方の立体物領域を有する立体物画像が抽出されるように構成されている。その理由は立体物領域の面積が小さい方が俯瞰画像における立体物の歪、特に傾きが小さいことが実験的な結果として示されているからである。
【図面の簡単な説明】
【００１５】
【図１】本発明による画像生成装置で用いられている、車載カメラの撮影画像から周辺俯瞰図と立体物俯瞰図とを異なる射影変換で別個に生成して合成する基本的な画像処理過程を模式的に説明する模式図である。
【図２】周辺俯瞰画像に立体物俯瞰画像を合成して最終的な表示用俯瞰画像を生成する過程を図解した模式図である。
【図３】本は発明による画像生成装置を組み込んだ車両周辺監視システムの機能ブロック図である。
【図４】車両周辺監視システムを構成する画像処理モジュールの機能ブロック図である。
【図５】種々の射影変換から選択された射影変換を用いて立体物俯瞰画像を生成する過程を図解した模式図である。
【図６】俯瞰画像表示ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１６】
まず、本発明による画像生成装置で用いられている、車載カメラの撮影画像から周辺俯瞰図と立体物俯瞰図とを異なる射影変換で別個に生成して合成する基本的な画像処理過程を説明する。図１は、２つの異なる射影変換を用いた俯瞰画像の生成を模式的に図解している基本構想図であり、ここでは説明を簡単にするため、車載カメラとしてのバックカメラによる撮影画像だけを用いた俯瞰画像の生成が示されている。
【００１７】
車両周辺監視画面としての俯瞰画像をモニタ表示するためには、まず車載カメラによって自車の進行方向の周辺領域の撮影画像が取得される（＃１）。同時に、車両周辺における立体物の検出処理が行われており、車載カメラの撮影視野内に立体物が検知された場合、その立体物の位置、姿勢、大きさなどのデータを記述した立体物情報が生成される（＃１０１）。バックカメラの撮影画像から、投影面を路面に平行な面とする第１の射影変換、つまり真上に仮想視点を設定した視点変換が行われる（＃２）。この第１射影変換処理を通じて、撮影画像の真上からの俯瞰画像である周辺俯瞰画像が得られる。立体物情報が生成されていると、この周辺俯瞰画像中にも立体物が写っているはずである。従って、その立体物領域を立体物情報からの位置情報やエッジ検出処理などを用いて算定し、その立体物領域が周辺部から目立たないように立体物領域に対して抑制処理を施し、立体物抑制周辺俯瞰画像を得る（＃３）。なお、このように生成される周辺俯瞰画では、カメラの手前に立体物が存在する場合、立体物の頂部付近が間延びするといった歪みが発生する。この抑制処理としてぼかし、周辺画素とのブレンド（αブレンドなど）、低彩度化などの画像処理が行われる
【００１８】
また、立体物情報が生成されていると、撮影画像から、その立体物領域を立体物情報からの位置情報やエッジ検出処理などを用いて抽出する（＃１０２）。抽出された立体物画像に対して、少なくとも遠方側では路面に対して鉛直に近い傾斜角を有する投影面を用いた第２の射影変換が行われ、立体物俯瞰画像が得られる（＃１０３）。図１の例では路面から鉛直方向に上向き湾曲した湾曲面が用いられている。このような投影面を用いた第２射影変換では、立体物の頂部付近は上方から路面を見る仮想視点ではなく、ほぼ水平方向から路面を見る仮想視点を用いた俯瞰となる。従って、前述した第１射影変換で生じたような立体物の頂部付近が間延びするような不都合は回避される。
【００１９】
ステップ＃３で立体物抑制周辺俯瞰画像上の立体物が存在する位置に立体物俯瞰画像が上から重ね合わさるように合成される（＃４）。合成された最終的な俯瞰画像はモニタ表示用俯瞰画像としてモニタに送られる。
【００２０】
図１の基本構想図ではバックカメラからの唯一の撮影画像だけを用いて、モニタ表示目的の最終的な俯瞰画像を生成していたが、自車を中心とする四方の周辺状況、特に路面状況が把握できる全周囲俯瞰画像の要望が高い。図２は、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄからの４つの周辺撮影画像から全周囲俯瞰画像を作成する処理過程を示す基本構想図である。
【００２１】
図２では、後進での縦列駐車における駐車支援のためにモニタに表示する全周囲俯瞰画像の生成手順が例示されている。なお、この例では、バックカメラ１ａの撮影画像に注目すべき立体物として三角コーンが写り込んでいることにする。バックカメラ１ａによる後方撮影画像が車両真上からの全周囲俯瞰画像の後方領域画像として射影変換される。同様に、フロントカメラによる撮影画像、左サイドカメラ１ｂによる左撮影画像、フロントカメラ１ｄによる右撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。ここでは、射影変換は、マッピングテーブル６３を用いて行われている。それぞれのマップデータの値は異なっているので、それぞれ適合するマップが設定されている。ただし、これらの各マップは、路面に平行な面を投影面とする射影変換をもたらすように作成されたのであり、この射影変換が本発明における第１射影変換に相当する。
【００２２】
４つの車載カメラのうち、バックカメラ１ａからの後方撮影画像には立体物（三角コーン）が含まれているが、この立体物の存在は、この車両に搭載されている立体物検知機能によって検知され、立体物情報が出力される。従って、この立体物情報に基づいて、後方撮影画像から立体物が写されている領域が立体物画像として抽出される。カメラ側が路面に対して実質的に平行で、遠方側が路面に対してほぼ鉛直（垂直）となる湾曲面ないしは屈曲面（球面や円筒面を含む）を投影面とする射影変換が、抽出された立体物画像に行われることで、立体物俯瞰画像が生成される。この射影変換が本発明における第２射影変換に相当する。ここでも、この射影変換はマッピングテーブル６３を用いて行われる。この第２射影変換では、検知された立体物の位置や姿勢や大きさによって、立体物が見やすくなる射影変換を求めることができるため、複数のマッピングテーブルを用意しておき、第２射影変換のために最適な射影変換を選択するようにすると好都合である。その際、三次元形状が異なる投影面を選択するだけでなく、投影面と立体物位置関係も適切に選択することで、より立体物が見やすい俯瞰画像が得られる。
【００２３】
また、生成された立体物俯瞰画像と合成される全周囲俯瞰画像の後方領域の画像（後方側俯瞰画像セグメント）において、予め立体物情報に基づいて算定された立体物領域が抑制処理を受ける。抑制処理された立体物領域を含む後方俯瞰画像セグメントに立体物俯瞰画像が合成され、全周囲俯瞰画像として合成される後方俯瞰画像セグメントが出力される。この後方俯瞰画像セグメントを含め、左俯瞰画像セグメント、右俯瞰画像セグメント、前方俯瞰画像セグメントが合成され、最終的にモニタ表示される全周囲俯瞰画像が生成される。もちろん、立体物俯瞰画像の合成を、先に生成しておいた全周囲俯瞰画像の所定の領域に行うようにしてもよい。
【００２４】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、図２で例示されているように、４つの車載カメラ、バックカメラ１ａ、フロントカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃからの撮影画像と立体物検知情報とから全周囲俯瞰画像を作成する画像生成装置が車両周辺監視システムの構築のために車両に組み込まれている。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。車両周辺監視が動作する際には、カメラ１による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。
【００２５】
カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。
【００２６】
車両内部には、車両周辺監視システムの中核をなすＥＣＵ２０が設置されている。このＥＣＵ２０は、図３に示すように、車両状態検出センサ群からの信号入力をそのまま、あるいは評価してＥＣＵ２０の内部に転送するセンサ入力インターフェース２３や通信インターフェース７０などを備えると共に、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。
【００２７】
センサ入力インターフェース２３に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ２７、自車の走行距離を検出する距離センサなどが含まれる。
【００２８】
また、入出力インターフェースとして用いられている通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、モニタ２１、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。その他、音声情報の出力デバイスとしてスピーカ２２も備えられている。
【００２９】
そのほか、ＥＣＵ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、本発明の立体物検知部としての立体物検知モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
【００３０】
立体物検知モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う超音波評価部３１と、車載カメラ１からの撮影画像を用いて立体物検知を行う画像認識部３２とが含まれている。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。画像認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を検知する。
立体物の検知のためには、超音波評価部３１と画像認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた画像認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた超音波評価部３１の両方を備えて協働作業させることでより正確な立体物検知が可能となる。これにより、立体物検知モジュール３０は、検知した立体物の位置、姿勢、大きさ、色調などを記述した立体物情報を出力することができる。従って、超音波評価部３１と画像認識部３２のいずれでもあるいはその組み合わせであってもは本発明における立体物検知部として機能するものであり、さらには、レーザレーダを用いるような他の立体物検知装置も含むものである。
【００３１】
図４に、ＥＣＵ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から射影変換によって変換された俯瞰画像等の画像を生成する機能を有している。
【００３２】
画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部６０、立体物情報取得部５３、画像合成部５５、フレームメモリ５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物情報取得部５３は、立体物検知モジュール３０から出力された立体物情報を受け取り、当該立体物情報に記述された立体物の位置、姿勢、大きさ、色調などを読み出す。
【００３３】
画像生成部６０は、通常画像生成部６１、射影変換選択部６２、マッピングテーブル６３、周辺俯瞰画像生成部６４、立体物俯瞰画像生成部６５、立体物抽出部６６、立体物抑制部６７を含
んでいる。通常画像生成部６１は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄによる撮影画像から運転者によって選択された１つでもよいし、複数撮影画像の組み合わせででもよい。
【００３４】
周辺俯瞰画像生成部６４は、撮影画像メモリ５１に展開されている撮影画像を用いて第１射影変換を行い、周辺俯瞰画像を生成する。この第１射影変換として、ここでは車両の上方に位置する仮想視点、及び路面に一致する面又は平行な面を投影面とした射影変換がデフォルト設定されているが、運転者の嗜好あるいは運転状況に応じて変更可能である。
立体物俯瞰画像生成部６５は、撮影画像メモリ５１に展開されている撮影画像をそのまま用いるのではなく、撮影画像に写っている立体物の画像領域を抽出して得られた立体物画像を用いて第２射影変換を行い、立体物俯瞰画像を生成する。撮影画像からの立体物画像の抽出は、立体物情報取得部５３によって立体物情報から読み出された位置データなどに基づいて立体物抽出部６６が行う。このため、立体物抽出部６６には、立体物の位置データを撮影画像系の位置座標に変換し、立体物が写されている大まかな領域を算定し、その算定された領域においてエッジ検出フィルタなどを用いて推定される立体物の境界線を検知する機能を有する。立体物抽出部６６は、この境界線によって囲まれた領域、ないしはこの境界線から所定長さ分だけ広げた領域を立体物画像として抽出して、立体物俯瞰画像生成部６５に与える。また、立体物俯瞰画像生成部６５で実行される第２射影変換として、複数の種類の射影変換が用意されている。立体物俯瞰画像生成部６５で実行される射影変換の選択は、当該立体物のカメラ１に対する相対位置、その姿勢、その大きさ等に基づいて射影変換選択部６２が行う。
【００３５】
なお、この実施形態では、周辺俯瞰画像生成部６４及び立体物俯瞰画像生成部６５における射影変換は、マッピングテーブルを用いたマップ変換によって行われるので、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、マッピングテーブル６３と称し、図４においても模式的に図示されている。マッピングテーブル６３を構成する各マッピングテーブル（以下点にマップと略称する）は種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（通常は俯瞰画像）の画素データとの対応関係が記述されたマップとして構築され、１フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたものである。従って、車載カメラ毎に異なるマップが適用される。
【００３６】
射影変換選択部６２は、立体物俯瞰画像生成部６５に対しては、立体物情報から読み出されたデータに基づいて、射影変換後の立体物の形状を推定し、周辺俯瞰画像とできるだけ調和するとともに間延び等の歪が低減する射影変換を選択する。さらに立体物俯瞰画像生成部６５は、立体物を示す画像領域に対して強調表示されるように彩度増加などの色補正処理や輪郭強調処理を必要に応じて施すことができる。
【００３７】
図５には、立体物俯瞰画像生成部６５に対して適切なマップが、射影変換選択部６２によって選択されて、最終的な俯瞰画像が生成される様子が模式的に示されている。
立体物情報が出力されると、一方では立体物情報に記述された立体物のデータ（位置、姿勢、形状など）に基づいて、撮影画像から立体物画像が抽出される。また、他方ではそのような立体物のデータを入力パラメータとしてルール演算処理を行って、最適種類の射影変換を指示するマップ選択指令が決定される。このマップ選択指令に基づいて、適用マップが立体物俯瞰画像生成部に設定される。つまり、立体物のデータに基づいて、射影変換を規定する投影面形状や当該投影面と立体物（正確には射影変換元画像としての立体物画像）との相対位置を表す変換パラメータが設定される構成となっている。
ここでは、立体物の歪みを低減する射影変換として、図５で模式的に示すように、投影面形状と立体物との相対位置とが異なる複数の射影変換がマップの形態で準備されている。投影面形状としては、円柱状湾曲面、途中で折り曲げられた平面からなる屈曲面、球面状湾曲面などが挙げられる。もちろん、路面に垂直な垂直平面や路面に対して傾斜平面も投影面として利用可能である。また、それぞれの投影面は、立体物との異なる相対位置に配置することで異なる射影変換を実現することができる。特に好適な配置としては、立体物が投影面の路面からの立ち上がった傾斜面領域又は湾曲面領域で投影されることあり、これにより、立体物の投影画像全体にわたって、路面と平行な投影面において生じる間延びした歪が抑制される。このことから、立体物の路面側端部の投影位置が投影面の路面からの立ち上がった領域位置と一致する配置が好都合である。その際は、立体物の路面側端部の位置はエッジ検出処理で検出することができるので、この位置が投影面の路面からの立ち上がり位置に一致させるように配置した投影面を用いて立体物の俯瞰画像を生成するとよい。
準備された射影変換の種類が多くなると、その選択ルールが複雑になる。従ってそのような場合、立体物情報に記述された立体物のデータ（位置、姿勢、形状など）を入力パラメータ、マップ選択指令を出力パラメータとするニューラルネットワークを構築して射影変換選択部６２に組み込むとよい。立体物画像に適した射影変換のためのマップが選択されると、当該マップを用いて、立体物画像から立体物俯瞰画像が生成される。
【００３８】
立体物抑制部６７は、周辺俯瞰画像生成部６４によって生成された周辺俯瞰画像における立体物画像の領域に対して目立たないように抑制処理をするために、ブレンド機能を備えている。このブレンド機能の典型的な処理は、立体物画像の領域の周辺領域、例えば右側領域と左側領域の画素値に基づいて立体物画像の領域の画素値を置き換える処理である。また、複数カメラを使用している場合であれば、立体物が写り込んでいない側のカメラによる路面投影画像を用いる処理、例えば当該路面投影画像の画素値で立体物画像の領域の画素値を置き換える処理もブレンド処理として有効である。もちろん、その他の処理を採用してもよい。また、周辺画素とのブレンド機能に代えて、ぼかし処理や彩度低減処理を用いる構成でもよい。
【００３９】
画像合成部５５は、必要に応じて、立体物抑制部６７によって立体物の抑制処理を施した周辺俯瞰画像の当該立体物の領域に、立体物俯瞰画像生成部６５によって生成された立体物俯瞰画像を重ね合わせ合成する。合成された最終的な周辺俯瞰画像は表示俯瞰画像としてフレームメモリ５６に転送され、表示制御部７１を介してモニタ２１に表示される。
【００４０】
次に、上述のように構成された画像生成装置を組み込んだ車両周辺監視システムによる俯瞰画像表示の流れを図６のフローチャートを用いて説明する。
この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアル設定されるか又はデフォルトで設定されている俯瞰画像の表示種別が読み出される（＃０１）。ここでの俯瞰画像の表示種別とは、周辺俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された表示俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて周辺俯瞰画像生成部６４で用いられる第１射影変換のためのマップが、利用される車載カメラ１の撮影画像毎に設定される（＃０２）。車載カメラ１の撮影画像を取得する（＃０３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃０４）。生成された俯瞰画像セグメントを組み合わせるとともに、自車両位置に予め設定されている車両の俯瞰イメージ画像（イラストやシンボルでも良い）が配置され、周辺俯瞰画像が生成される（＃０５）。
【００４１】
立体物検知モジュール３０から立体物情報が出力されているかどうかチェックする（＃０６）。立体物情報が出力されていない場合（＃０６No分岐）、どの撮影画像にも注目すべき立体物が写り込んでいないとみなして、ステップ＃０５で生成された周辺俯瞰画像をそのまま利用して表示俯瞰画像が生成される（＃１４）。生成された表示俯瞰画像をモニタ２１に表示させ（＃１５）、この俯瞰画像表示ルーチンの終了指令がない限り（＃１６No分岐）、再びステップ＃０１に戻って、このルーチンを繰り返す。
【００４２】
ステップ＃０６のチェックで、立体物情報が出力されている場合（＃０６Yes分岐）、注目すべき立体物が撮影画像に写り込んでいるとみなし、まず、立体物情報から検知された立体物の位置、姿勢、大きさなどのデータを読み出す（＃０７）。読み出した立体物に関するデータに基づいて撮影画像における当該立体物の画像領域を算定し（＃０８）、立体物画像を抽出して一時的にメモリに格納する（＃０９）。さらに、周辺俯瞰画像における立体物の画像領域に対して、その周辺領域の画素値を用いてブレンド処理を行い、立体物の存在をなくするかもしくは弱めるような立体物抑制処理を行う（＃１０）。
【００４３】
周辺俯瞰画像では、立体物の路面からの高さやカメラ１からの距離に依存するが、上方に延びている立体物の上端は間延びして示される。このような上方の仮想視点からの俯瞰画像における立体物の歪みを低減するため、撮影画像から抽出された立体物画像だけを別な射影変換、つまり第２射影変換を用いて射影変換画像を生成する。このために、まず、図５で示されているような種々の形態から第２射影変換のために最適なマップを立体物情報に基づいて選択して設定する（＃１１）。次いで、立体物俯瞰画像生成部６５は設定されたマップを用いて立体物画像を射影変換し、周辺俯瞰画像に比べて歪が低減されている立体物俯瞰画像を生成する（＃１２）。その際、必要に応じて、立体物俯瞰画像における立体物領域の彩度を上げる色補正処理や輪郭を強調したりする形状明確化処理を施してもよい。さらに、立体物俯瞰画像は周辺俯瞰画像における立体物の画像領域に重ね合わせ合成される（＃１３）。このようにして生成された最終的な周辺俯瞰画像は、表示俯瞰画像として生成され（＃１４）、モニタ２１に表示される（＃１５）。
【００４４】
〔別実施の形態〕
【００４５】
（１）上述した実施形態では、注目すべき一つの立体物が４つのカメラ１から取得した撮影画像の１つに写されている例を取り上げたが、隣り合うカメラ視野の境界領域では、注目すべき一つの立体物が複数の撮影画像に写されている場合も考えられる。従って、車載カメラが車両全周囲を撮影するために複数設置されているような実施形態において、立体物が２つ以上のカメラの撮影画像に含まれている場合、より面積の大きい方の立体物領域を有する立体物画像が立体物俯瞰画像生成のために抽出されると好都合である。
（２）注目すべき立体物として２つの異なる立体物を取り扱うようにしてもよい。さらにこの場合、立体物によって異なる射影変換を用いて立体物俯瞰画像を生成して、周辺俯瞰画像と合成してもよい。
（３）上述した実施の形態では、立体物検知方法として、超音波を用いた立体物検知と画像認識による立体物検知のいずれか又はその組み合わせが提示されていたが、もちろん、これ以外の立体物検知方法、例えば、レーザーレーダ法や赤外線法を利用することも本発明の範囲内である。
【産業上の利用可能性】
【００４６】
本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
【符号の説明】
【００４７】
３０：立体物検知モジュール
２１：モニタ
５０：画像処理モジュール
５３：立体物情報取得部
５４：仮想立体物選定部
５５：画像合成部
６０：画像生成部
６１：通常画像生成部
６２：射影変換選択部
６３：マッピングテーブル
６４：周辺俯瞰画像生成部
６５：立体物俯瞰画像生成部
６６：立体物抽出部
６７：立体物抑制部
７１：表示制御部
【技術分野】
【０００１】
本発明は、自車の周辺領域を撮影する車載カメラによって取得された撮影画像を射影変換することでカメラ視点より上方の上方仮想視点からの俯瞰画像を表示画像として生成する画像生成装置に関する。
【背景技術】
【０００２】
従来の俯瞰画像生成装置では、車載カメラによって取得された撮影画像を路面に平行な投影面に投影することで、つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像が生成される。従って、この俯瞰画像がモニタに表示させることで、運転者が車両周辺の路面状況を把握することを支援している。しかしながら、そのような射影変換を通じて得られた俯瞰画像では車載カメラの近傍領域に比べ遠方領域において画像の歪み方が大きくなり、運転者にとって距離感をつかみ難いという問題がある。
【０００３】
このような問題を解決するため、例えば特許文献１に記載された画像処理装置では、車載カメラによって撮像された撮影画像（カメラ画像）を取得する取得部と、前記撮影画像を平面に投影して、平面投影画像に変換する第１画像変換部と、前記カメラ画像を曲面に投影して、曲面投影画像（例えば、円筒面投影画像）に変換する第２画像変換部とを備え、前記第１画像変換部は、前記撮影画像内において所定の幅を有する第１画像領域を前記平面投影画像に変換し、前記第２画像変換部は、前記撮影画像内において前記第１画像領域の幅方向外側の領域である第２画像領域（円筒面投影領域）を前記曲面投影画像に変換する。したがって、この装置によって変換された画像を表示部に与えることで、運転者が実際に目視で見える画像に近い平面投影画像と、視野の広い曲面投影画像とをあわせもつ画像が表示される。このため、運転者の視認性の低下が抑制される。しかしながら、この特許文献１による装置は、路面上に描かれた道路区画線や路肩などの表示は見やすくなるとしても、路面に配置された上方に延びた立体物（人や車だけでなく、工事用三角コーンなどの路上障害物）は撮影方向に間延びした歪な形状体となってしまう。
【０００４】
また、特許文献２に記載された画像生成装置では、仮想投影面として、路面上に設定した近景用スクリーンと、該近景用スクリーンの実カメラから遠い側に連接すると共に所定の上向き傾斜角度を持って設定した遠景用スクリーンとを有する仮想立体投影面が設定され、実撮像面に投影される画像によりカメラ映像データを取得する実カメラより高い位置に仮想カメラが設定される。そして、実カメラにより取得した単独のカメラ映像データの各画素位置と、仮想立体投影面を介した仮想カメラの仮想撮像面上の各画素位置と、の間で座標変換され、座標変換にしたがって仮想カメラの仮想撮像面上にカメラ撮影画像の各画素が移され、仮想カメラから仮想立体投影面を見たときに仮想撮像面に投影される画像がモニタに表示される。これにより、モニタ画像は、距離感を認識しやすい近景の俯瞰画像と、遠いものは小さく見え近いものは大きく見えるという遠近感を認識しやすい中景から遠景のパース画像とを合成した画像となる。しかしながら、この装置でも、路面上に配置された立体物の撮影画像が路面に水平な仮想投影面で変換された場合には、長く間延びした形状となり、立体物の視認性の低下は避けられない。
【０００５】
さらに、特許文献３による車両周囲監視システムでは、複数の車載カメラで撮影された原画像をもとに作成した俯瞰表示画像の表示中に、複数の車載カメラで重複して撮影される重複領域内に存在する障害物を障害物検知装置が検知したときに、表示装置に表示させる画像を、俯瞰表示画像から、重複領域を撮影する複数の車載カメラの原画像へと切り替えるように構成されている。この構成では、障害物の検知時に、障害物の種類などを原画像を通じて直感的且つ瞬時に特定することを図っているが、俯瞰画像を通じて障害物を良好に視認したいという要望を満たすことはできない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１８１３３０号公報（段落番号〔００１０−００１６〕、図５）
【特許文献２】特開２００８−８３７８６号公報（段落番号〔０００７−００１２〕、図１,２）
【特許文献３】特開２００７−２３５５２９号公報（段落番号〔０００７−０００８〕、図１１）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記実情に鑑み、本発明の目的は、路面上に存在している立体物を良好な距離感をもって認識することができる俯瞰画像を車載カメラの撮影画像から生成することにある。
【課題を解決するための手段】
【０００８】
車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する、本発明に係る画像生成装置の特徴は、第１射影変換を用いて前記撮影画像から周辺俯瞰画像を生成する周辺俯瞰画像生成部と、
前記車載カメラの視野内に存在する立体物を検知して、当該立体物の位置を含む立体物情報を出力する立体物検知部と、前記立体物情報に基づいて前記撮影画像から前記立体物が写っている画像領域である立体物画像を抽出する立体物抽出部と、前記周辺俯瞰画像における前記立体物の歪みを低減する第２射影変換を用いて前記立体物画像から立体物俯瞰画像を生成する立体物俯瞰画像生成部と、前記立体物情報に基づき前記周辺俯瞰画像に前記立体物俯瞰画像を画像合成する画像合成部とを備えた点にある。
【０００９】
この構成によると、第１射影変換を用いて車載カメラの撮影画像を上方仮想視点からの周辺俯瞰画像に変換する際に、視野内に立体物の存在が検知されると、その撮影画像から抽出された立体物画像を第１射影変換とは異なる第２射影変換を用いて立体物俯瞰画像を生成し、この立体物俯瞰画像を周辺俯瞰画像に合成する。第２射影変換は周辺俯瞰画像の生成に用いられた第１射影変換に比べて当該周辺俯瞰画像における立体物の歪みが低減するようなパラメータを備えている。従って、合成された周辺俯瞰画像における立体物は従来のように細長く間延びした形状とならず、より視認しやすい自然な形状になっている。このことから、運転者は、この周辺俯瞰画像から路面上に存在している立体物を良好な距離感をもって認識することができる。
【００１０】
上記説明から明らかなように、第１射影変換が上方仮想視点からの俯瞰画像、つまり上から撮影画像を撮影視点から路面に平行な投影面に投影するような射影変換であることから、路面に置かれた立体物の投影画像は間延びした歪みをもってしまう。このことから第２射影変換は、その投影面が路面に平行ではなく、できるだけ路面に対して傾斜させた投影面を用いることが好適である。従って、本発明の好適な実施形態の１つでは、前記第２射影変換として、前記撮影画像を撮影視点から路面に垂直な投影面に投影する射影変換を採用している。
【００１１】
撮影画像中に含まれる路面上の立体物を、その俯瞰画像における歪みできるだけ小さくする射影変換のパラメータを設定するためには、射影変換に用いる投影面に形状と当該投影面と立体物との位置関係が重要なファクタとなる。このことから、本発明の好適な実施形態では、撮影空間における立体物に位置や立体物の形状などを含む立体物情報に基づいて、投投影面の形状又は投影面と投影される立体物との相対位置あるいはその両方である前記第２射影変換の変換パラメータを設定するように構成されている。投影面の形状としては、前述した特許文献１や２に記載されているような湾曲面や屈曲面が好適である。その際、特に、立体物と路面との境界領域を境にしてその前方側を路面に平行な投影面部とし、その後方側を垂直面ないしは垂直面に近い傾斜面とすることが好ましい。これにより、俯瞰画像において立体物の頂上が間延びしてしまうという視認上の欠点を取り除くことができる。
【００１２】
異なる射影変換、つまり異なる投影面を用いて生成された周辺俯瞰画像と立体物俯瞰画像では立体物が写る座標位置が異なるので、周辺俯瞰画像に立体物俯瞰画像を合成しても、元々周辺俯瞰画像に写っていた立体物が画像合成後の周辺俯瞰画像に残ってしまう。特に周辺俯瞰画像が複数の撮影方向の異なる車載カメラの撮影画像を組み合わせている場合には、周辺俯瞰画像に立体物俯瞰画像との間での立体物の位置の不一致は顕著となる。このため、本発明の好適な実施形態では、前記周辺俯瞰画像における前記立体物画像の領域を目立たないように抑制処理をする立体物抑制部が備えられている。そのような抑制処理としては、ぼかし処理、低彩度化処理、周辺画素群とのブレンド処理などが利用できる。
【００１３】
また、車両周辺の立体物をより明確に視認させるためには、周辺俯瞰画像に合成される立体物俯瞰画像を目立たせることが有効である。このため、本発明の好適な実施形態では、前記立体物俯瞰画像が強調表示されるように前記立体物俯瞰画像に色補正処理が施される。例えば、立体物の色を高彩度化することは好ましい実施形態である。
【００１４】
周辺俯瞰画像が複数の撮影方向の異なる車載カメラの撮影画像を組み合わせている場合には、２つの撮影画像に立体物が写りこむことがある。そのようなケースにおいては、各撮影画像から立体物を抽出することができるので、そのうちの１つだけをより適切な立体物として選択することが好ましい。この目的のため、前記車載カメラが車両全周囲を撮影するために複数設置されている実施形態の好適な１つでは、前記立体物が２つ以上のカメラの撮影画像に含まれている場合には、より面積の小さい方の立体物領域を有する立体物画像が抽出されるように構成されている。その理由は立体物領域の面積が小さい方が俯瞰画像における立体物の歪、特に傾きが小さいことが実験的な結果として示されているからである。
【図面の簡単な説明】
【００１５】
【図１】本発明による画像生成装置で用いられている、車載カメラの撮影画像から周辺俯瞰図と立体物俯瞰図とを異なる射影変換で別個に生成して合成する基本的な画像処理過程を模式的に説明する模式図である。
【図２】周辺俯瞰画像に立体物俯瞰画像を合成して最終的な表示用俯瞰画像を生成する過程を図解した模式図である。
【図３】本は発明による画像生成装置を組み込んだ車両周辺監視システムの機能ブロック図である。
【図４】車両周辺監視システムを構成する画像処理モジュールの機能ブロック図である。
【図５】種々の射影変換から選択された射影変換を用いて立体物俯瞰画像を生成する過程を図解した模式図である。
【図６】俯瞰画像表示ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１６】
まず、本発明による画像生成装置で用いられている、車載カメラの撮影画像から周辺俯瞰図と立体物俯瞰図とを異なる射影変換で別個に生成して合成する基本的な画像処理過程を説明する。図１は、２つの異なる射影変換を用いた俯瞰画像の生成を模式的に図解している基本構想図であり、ここでは説明を簡単にするため、車載カメラとしてのバックカメラによる撮影画像だけを用いた俯瞰画像の生成が示されている。
【００１７】
車両周辺監視画面としての俯瞰画像をモニタ表示するためには、まず車載カメラによって自車の進行方向の周辺領域の撮影画像が取得される（＃１）。同時に、車両周辺における立体物の検出処理が行われており、車載カメラの撮影視野内に立体物が検知された場合、その立体物の位置、姿勢、大きさなどのデータを記述した立体物情報が生成される（＃１０１）。バックカメラの撮影画像から、投影面を路面に平行な面とする第１の射影変換、つまり真上に仮想視点を設定した視点変換が行われる（＃２）。この第１射影変換処理を通じて、撮影画像の真上からの俯瞰画像である周辺俯瞰画像が得られる。立体物情報が生成されていると、この周辺俯瞰画像中にも立体物が写っているはずである。従って、その立体物領域を立体物情報からの位置情報やエッジ検出処理などを用いて算定し、その立体物領域が周辺部から目立たないように立体物領域に対して抑制処理を施し、立体物抑制周辺俯瞰画像を得る（＃３）。なお、このように生成される周辺俯瞰画では、カメラの手前に立体物が存在する場合、立体物の頂部付近が間延びするといった歪みが発生する。この抑制処理としてぼかし、周辺画素とのブレンド（αブレンドなど）、低彩度化などの画像処理が行われる
【００１８】
また、立体物情報が生成されていると、撮影画像から、その立体物領域を立体物情報からの位置情報やエッジ検出処理などを用いて抽出する（＃１０２）。抽出された立体物画像に対して、少なくとも遠方側では路面に対して鉛直に近い傾斜角を有する投影面を用いた第２の射影変換が行われ、立体物俯瞰画像が得られる（＃１０３）。図１の例では路面から鉛直方向に上向き湾曲した湾曲面が用いられている。このような投影面を用いた第２射影変換では、立体物の頂部付近は上方から路面を見る仮想視点ではなく、ほぼ水平方向から路面を見る仮想視点を用いた俯瞰となる。従って、前述した第１射影変換で生じたような立体物の頂部付近が間延びするような不都合は回避される。
【００１９】
ステップ＃３で立体物抑制周辺俯瞰画像上の立体物が存在する位置に立体物俯瞰画像が上から重ね合わさるように合成される（＃４）。合成された最終的な俯瞰画像はモニタ表示用俯瞰画像としてモニタに送られる。
【００２０】
図１の基本構想図ではバックカメラからの唯一の撮影画像だけを用いて、モニタ表示目的の最終的な俯瞰画像を生成していたが、自車を中心とする四方の周辺状況、特に路面状況が把握できる全周囲俯瞰画像の要望が高い。図２は、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄからの４つの周辺撮影画像から全周囲俯瞰画像を作成する処理過程を示す基本構想図である。
【００２１】
図２では、後進での縦列駐車における駐車支援のためにモニタに表示する全周囲俯瞰画像の生成手順が例示されている。なお、この例では、バックカメラ１ａの撮影画像に注目すべき立体物として三角コーンが写り込んでいることにする。バックカメラ１ａによる後方撮影画像が車両真上からの全周囲俯瞰画像の後方領域画像として射影変換される。同様に、フロントカメラによる撮影画像、左サイドカメラ１ｂによる左撮影画像、フロントカメラ１ｄによる右撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。ここでは、射影変換は、マッピングテーブル６３を用いて行われている。それぞれのマップデータの値は異なっているので、それぞれ適合するマップが設定されている。ただし、これらの各マップは、路面に平行な面を投影面とする射影変換をもたらすように作成されたのであり、この射影変換が本発明における第１射影変換に相当する。
【００２２】
４つの車載カメラのうち、バックカメラ１ａからの後方撮影画像には立体物（三角コーン）が含まれているが、この立体物の存在は、この車両に搭載されている立体物検知機能によって検知され、立体物情報が出力される。従って、この立体物情報に基づいて、後方撮影画像から立体物が写されている領域が立体物画像として抽出される。カメラ側が路面に対して実質的に平行で、遠方側が路面に対してほぼ鉛直（垂直）となる湾曲面ないしは屈曲面（球面や円筒面を含む）を投影面とする射影変換が、抽出された立体物画像に行われることで、立体物俯瞰画像が生成される。この射影変換が本発明における第２射影変換に相当する。ここでも、この射影変換はマッピングテーブル６３を用いて行われる。この第２射影変換では、検知された立体物の位置や姿勢や大きさによって、立体物が見やすくなる射影変換を求めることができるため、複数のマッピングテーブルを用意しておき、第２射影変換のために最適な射影変換を選択するようにすると好都合である。その際、三次元形状が異なる投影面を選択するだけでなく、投影面と立体物位置関係も適切に選択することで、より立体物が見やすい俯瞰画像が得られる。
【００２３】
また、生成された立体物俯瞰画像と合成される全周囲俯瞰画像の後方領域の画像（後方側俯瞰画像セグメント）において、予め立体物情報に基づいて算定された立体物領域が抑制処理を受ける。抑制処理された立体物領域を含む後方俯瞰画像セグメントに立体物俯瞰画像が合成され、全周囲俯瞰画像として合成される後方俯瞰画像セグメントが出力される。この後方俯瞰画像セグメントを含め、左俯瞰画像セグメント、右俯瞰画像セグメント、前方俯瞰画像セグメントが合成され、最終的にモニタ表示される全周囲俯瞰画像が生成される。もちろん、立体物俯瞰画像の合成を、先に生成しておいた全周囲俯瞰画像の所定の領域に行うようにしてもよい。
【００２４】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、図２で例示されているように、４つの車載カメラ、バックカメラ１ａ、フロントカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃからの撮影画像と立体物検知情報とから全周囲俯瞰画像を作成する画像生成装置が車両周辺監視システムの構築のために車両に組み込まれている。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。車両周辺監視が動作する際には、カメラ１による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。
【００２５】
カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。
【００２６】
車両内部には、車両周辺監視システムの中核をなすＥＣＵ２０が設置されている。このＥＣＵ２０は、図３に示すように、車両状態検出センサ群からの信号入力をそのまま、あるいは評価してＥＣＵ２０の内部に転送するセンサ入力インターフェース２３や通信インターフェース７０などを備えると共に、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。
【００２７】
センサ入力インターフェース２３に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ２７、自車の走行距離を検出する距離センサなどが含まれる。
【００２８】
また、入出力インターフェースとして用いられている通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、モニタ２１、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。その他、音声情報の出力デバイスとしてスピーカ２２も備えられている。
【００２９】
そのほか、ＥＣＵ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、本発明の立体物検知部としての立体物検知モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
【００３０】
立体物検知モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う超音波評価部３１と、車載カメラ１からの撮影画像を用いて立体物検知を行う画像認識部３２とが含まれている。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。画像認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を検知する。
立体物の検知のためには、超音波評価部３１と画像認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた画像認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた超音波評価部３１の両方を備えて協働作業させることでより正確な立体物検知が可能となる。これにより、立体物検知モジュール３０は、検知した立体物の位置、姿勢、大きさ、色調などを記述した立体物情報を出力することができる。従って、超音波評価部３１と画像認識部３２のいずれでもあるいはその組み合わせであってもは本発明における立体物検知部として機能するものであり、さらには、レーザレーダを用いるような他の立体物検知装置も含むものである。
【００３１】
図４に、ＥＣＵ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から射影変換によって変換された俯瞰画像等の画像を生成する機能を有している。
【００３２】
画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部６０、立体物情報取得部５３、画像合成部５５、フレームメモリ５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物情報取得部５３は、立体物検知モジュール３０から出力された立体物情報を受け取り、当該立体物情報に記述された立体物の位置、姿勢、大きさ、色調などを読み出す。
【００３３】
画像生成部６０は、通常画像生成部６１、射影変換選択部６２、マッピングテーブル６３、周辺俯瞰画像生成部６４、立体物俯瞰画像生成部６５、立体物抽出部６６、立体物抑制部６７を含
んでいる。通常画像生成部６１は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄによる撮影画像から運転者によって選択された１つでもよいし、複数撮影画像の組み合わせででもよい。
【００３４】
周辺俯瞰画像生成部６４は、撮影画像メモリ５１に展開されている撮影画像を用いて第１射影変換を行い、周辺俯瞰画像を生成する。この第１射影変換として、ここでは車両の上方に位置する仮想視点、及び路面に一致する面又は平行な面を投影面とした射影変換がデフォルト設定されているが、運転者の嗜好あるいは運転状況に応じて変更可能である。
立体物俯瞰画像生成部６５は、撮影画像メモリ５１に展開されている撮影画像をそのまま用いるのではなく、撮影画像に写っている立体物の画像領域を抽出して得られた立体物画像を用いて第２射影変換を行い、立体物俯瞰画像を生成する。撮影画像からの立体物画像の抽出は、立体物情報取得部５３によって立体物情報から読み出された位置データなどに基づいて立体物抽出部６６が行う。このため、立体物抽出部６６には、立体物の位置データを撮影画像系の位置座標に変換し、立体物が写されている大まかな領域を算定し、その算定された領域においてエッジ検出フィルタなどを用いて推定される立体物の境界線を検知する機能を有する。立体物抽出部６６は、この境界線によって囲まれた領域、ないしはこの境界線から所定長さ分だけ広げた領域を立体物画像として抽出して、立体物俯瞰画像生成部６５に与える。また、立体物俯瞰画像生成部６５で実行される第２射影変換として、複数の種類の射影変換が用意されている。立体物俯瞰画像生成部６５で実行される射影変換の選択は、当該立体物のカメラ１に対する相対位置、その姿勢、その大きさ等に基づいて射影変換選択部６２が行う。
【００３５】
なお、この実施形態では、周辺俯瞰画像生成部６４及び立体物俯瞰画像生成部６５における射影変換は、マッピングテーブルを用いたマップ変換によって行われるので、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、マッピングテーブル６３と称し、図４においても模式的に図示されている。マッピングテーブル６３を構成する各マッピングテーブル（以下点にマップと略称する）は種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（通常は俯瞰画像）の画素データとの対応関係が記述されたマップとして構築され、１フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたものである。従って、車載カメラ毎に異なるマップが適用される。
【００３６】
射影変換選択部６２は、立体物俯瞰画像生成部６５に対しては、立体物情報から読み出されたデータに基づいて、射影変換後の立体物の形状を推定し、周辺俯瞰画像とできるだけ調和するとともに間延び等の歪が低減する射影変換を選択する。さらに立体物俯瞰画像生成部６５は、立体物を示す画像領域に対して強調表示されるように彩度増加などの色補正処理や輪郭強調処理を必要に応じて施すことができる。
【００３７】
図５には、立体物俯瞰画像生成部６５に対して適切なマップが、射影変換選択部６２によって選択されて、最終的な俯瞰画像が生成される様子が模式的に示されている。
立体物情報が出力されると、一方では立体物情報に記述された立体物のデータ（位置、姿勢、形状など）に基づいて、撮影画像から立体物画像が抽出される。また、他方ではそのような立体物のデータを入力パラメータとしてルール演算処理を行って、最適種類の射影変換を指示するマップ選択指令が決定される。このマップ選択指令に基づいて、適用マップが立体物俯瞰画像生成部に設定される。つまり、立体物のデータに基づいて、射影変換を規定する投影面形状や当該投影面と立体物（正確には射影変換元画像としての立体物画像）との相対位置を表す変換パラメータが設定される構成となっている。
ここでは、立体物の歪みを低減する射影変換として、図５で模式的に示すように、投影面形状と立体物との相対位置とが異なる複数の射影変換がマップの形態で準備されている。投影面形状としては、円柱状湾曲面、途中で折り曲げられた平面からなる屈曲面、球面状湾曲面などが挙げられる。もちろん、路面に垂直な垂直平面や路面に対して傾斜平面も投影面として利用可能である。また、それぞれの投影面は、立体物との異なる相対位置に配置することで異なる射影変換を実現することができる。特に好適な配置としては、立体物が投影面の路面からの立ち上がった傾斜面領域又は湾曲面領域で投影されることあり、これにより、立体物の投影画像全体にわたって、路面と平行な投影面において生じる間延びした歪が抑制される。このことから、立体物の路面側端部の投影位置が投影面の路面からの立ち上がった領域位置と一致する配置が好都合である。その際は、立体物の路面側端部の位置はエッジ検出処理で検出することができるので、この位置が投影面の路面からの立ち上がり位置に一致させるように配置した投影面を用いて立体物の俯瞰画像を生成するとよい。
準備された射影変換の種類が多くなると、その選択ルールが複雑になる。従ってそのような場合、立体物情報に記述された立体物のデータ（位置、姿勢、形状など）を入力パラメータ、マップ選択指令を出力パラメータとするニューラルネットワークを構築して射影変換選択部６２に組み込むとよい。立体物画像に適した射影変換のためのマップが選択されると、当該マップを用いて、立体物画像から立体物俯瞰画像が生成される。
【００３８】
立体物抑制部６７は、周辺俯瞰画像生成部６４によって生成された周辺俯瞰画像における立体物画像の領域に対して目立たないように抑制処理をするために、ブレンド機能を備えている。このブレンド機能の典型的な処理は、立体物画像の領域の周辺領域、例えば右側領域と左側領域の画素値に基づいて立体物画像の領域の画素値を置き換える処理である。また、複数カメラを使用している場合であれば、立体物が写り込んでいない側のカメラによる路面投影画像を用いる処理、例えば当該路面投影画像の画素値で立体物画像の領域の画素値を置き換える処理もブレンド処理として有効である。もちろん、その他の処理を採用してもよい。また、周辺画素とのブレンド機能に代えて、ぼかし処理や彩度低減処理を用いる構成でもよい。
【００３９】
画像合成部５５は、必要に応じて、立体物抑制部６７によって立体物の抑制処理を施した周辺俯瞰画像の当該立体物の領域に、立体物俯瞰画像生成部６５によって生成された立体物俯瞰画像を重ね合わせ合成する。合成された最終的な周辺俯瞰画像は表示俯瞰画像としてフレームメモリ５６に転送され、表示制御部７１を介してモニタ２１に表示される。
【００４０】
次に、上述のように構成された画像生成装置を組み込んだ車両周辺監視システムによる俯瞰画像表示の流れを図６のフローチャートを用いて説明する。
この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアル設定されるか又はデフォルトで設定されている俯瞰画像の表示種別が読み出される（＃０１）。ここでの俯瞰画像の表示種別とは、周辺俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された表示俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて周辺俯瞰画像生成部６４で用いられる第１射影変換のためのマップが、利用される車載カメラ１の撮影画像毎に設定される（＃０２）。車載カメラ１の撮影画像を取得する（＃０３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃０４）。生成された俯瞰画像セグメントを組み合わせるとともに、自車両位置に予め設定されている車両の俯瞰イメージ画像（イラストやシンボルでも良い）が配置され、周辺俯瞰画像が生成される（＃０５）。
【００４１】
立体物検知モジュール３０から立体物情報が出力されているかどうかチェックする（＃０６）。立体物情報が出力されていない場合（＃０６No分岐）、どの撮影画像にも注目すべき立体物が写り込んでいないとみなして、ステップ＃０５で生成された周辺俯瞰画像をそのまま利用して表示俯瞰画像が生成される（＃１４）。生成された表示俯瞰画像をモニタ２１に表示させ（＃１５）、この俯瞰画像表示ルーチンの終了指令がない限り（＃１６No分岐）、再びステップ＃０１に戻って、このルーチンを繰り返す。
【００４２】
ステップ＃０６のチェックで、立体物情報が出力されている場合（＃０６Yes分岐）、注目すべき立体物が撮影画像に写り込んでいるとみなし、まず、立体物情報から検知された立体物の位置、姿勢、大きさなどのデータを読み出す（＃０７）。読み出した立体物に関するデータに基づいて撮影画像における当該立体物の画像領域を算定し（＃０８）、立体物画像を抽出して一時的にメモリに格納する（＃０９）。さらに、周辺俯瞰画像における立体物の画像領域に対して、その周辺領域の画素値を用いてブレンド処理を行い、立体物の存在をなくするかもしくは弱めるような立体物抑制処理を行う（＃１０）。
【００４３】
周辺俯瞰画像では、立体物の路面からの高さやカメラ１からの距離に依存するが、上方に延びている立体物の上端は間延びして示される。このような上方の仮想視点からの俯瞰画像における立体物の歪みを低減するため、撮影画像から抽出された立体物画像だけを別な射影変換、つまり第２射影変換を用いて射影変換画像を生成する。このために、まず、図５で示されているような種々の形態から第２射影変換のために最適なマップを立体物情報に基づいて選択して設定する（＃１１）。次いで、立体物俯瞰画像生成部６５は設定されたマップを用いて立体物画像を射影変換し、周辺俯瞰画像に比べて歪が低減されている立体物俯瞰画像を生成する（＃１２）。その際、必要に応じて、立体物俯瞰画像における立体物領域の彩度を上げる色補正処理や輪郭を強調したりする形状明確化処理を施してもよい。さらに、立体物俯瞰画像は周辺俯瞰画像における立体物の画像領域に重ね合わせ合成される（＃１３）。このようにして生成された最終的な周辺俯瞰画像は、表示俯瞰画像として生成され（＃１４）、モニタ２１に表示される（＃１５）。
【００４４】
〔別実施の形態〕
【００４５】
（１）上述した実施形態では、注目すべき一つの立体物が４つのカメラ１から取得した撮影画像の１つに写されている例を取り上げたが、隣り合うカメラ視野の境界領域では、注目すべき一つの立体物が複数の撮影画像に写されている場合も考えられる。従って、車載カメラが車両全周囲を撮影するために複数設置されているような実施形態において、立体物が２つ以上のカメラの撮影画像に含まれている場合、より面積の大きい方の立体物領域を有する立体物画像が立体物俯瞰画像生成のために抽出されると好都合である。
（２）注目すべき立体物として２つの異なる立体物を取り扱うようにしてもよい。さらにこの場合、立体物によって異なる射影変換を用いて立体物俯瞰画像を生成して、周辺俯瞰画像と合成してもよい。
（３）上述した実施の形態では、立体物検知方法として、超音波を用いた立体物検知と画像認識による立体物検知のいずれか又はその組み合わせが提示されていたが、もちろん、これ以外の立体物検知方法、例えば、レーザーレーダ法や赤外線法を利用することも本発明の範囲内である。
【産業上の利用可能性】
【００４６】
本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
【符号の説明】
【００４７】
３０：立体物検知モジュール
２１：モニタ
５０：画像処理モジュール
５３：立体物情報取得部
５４：仮想立体物選定部
５５：画像合成部
６０：画像生成部
６１：通常画像生成部
６２：射影変換選択部
６３：マッピングテーブル
６４：周辺俯瞰画像生成部
６５：立体物俯瞰画像生成部
６６：立体物抽出部
６７：立体物抑制部
７１：表示制御部
【特許請求の範囲】
【請求項１】
車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置であって、
第１射影変換を用いて前記撮影画像から周辺俯瞰画像を生成する周辺俯瞰画像生成部と、
前記車載カメラの視野内に存在する立体物を検知して、当該立体物の位置を含む立体物情報を出力する立体物検知部と、
前記立体物情報に基づいて前記撮影画像から前記立体物が写っている画像領域である立体物画像を抽出する立体物抽出部と、
前記周辺俯瞰画像における前記立体物の歪みを低減する第２射影変換を用いて前記立体物画像から立体物俯瞰画像を生成する立体物俯瞰画像生成部と、
前記立体物情報に基づき前記周辺俯瞰画像に前記立体物俯瞰画像を画像合成する画像合成部と、
を備えた画像生成装置。
【請求項２】
前記第２射影変換は、前記撮影画像を撮影視点から路面に垂直な投影面に投影する射影変換である請求項１に記載の画像生成装置。
【請求項３】
投影面の形状又は投影面と投影される立体物との相対位置あるいはその両方である前記第２射影変換の変換パラメータは、前記立体物情報に基づいて設定される請求項１又は２に記載の画像生成装置。
【請求項４】
前記周辺俯瞰画像における前記立体物画像の領域を目立たないように抑制処理をする立体物抑制部が備えられている請求項１から３のいずれか一項に記載の画像生成装置。
【請求項５】
前記立体物俯瞰画像が強調表示されるように前記立体物俯瞰画像に色補正処理が施される請求項１から４のいずれか一項に記載の画像生成装置。
【請求項６】
前記車載カメラは、車両全周囲を撮影するために複数設置されており、前記立体物が２つ以上のカメラの撮影画像に含まれている場合、より面積の小さい方の立体物領域を有する立体物画像が抽出される請求項１から５のいずれか一項に記載の画像生成装置。
【請求項１】
車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置であって、
第１射影変換を用いて前記撮影画像から周辺俯瞰画像を生成する周辺俯瞰画像生成部と、
前記車載カメラの視野内に存在する立体物を検知して、当該立体物の位置を含む立体物情報を出力する立体物検知部と、
前記立体物情報に基づいて前記撮影画像から前記立体物が写っている画像領域である立体物画像を抽出する立体物抽出部と、
前記周辺俯瞰画像における前記立体物の歪みを低減する第２射影変換を用いて前記立体物画像から立体物俯瞰画像を生成する立体物俯瞰画像生成部と、
前記立体物情報に基づき前記周辺俯瞰画像に前記立体物俯瞰画像を画像合成する画像合成部と、
を備えた画像生成装置。
【請求項２】
前記第２射影変換は、前記撮影画像を撮影視点から路面に垂直な投影面に投影する射影変換である請求項１に記載の画像生成装置。
【請求項３】
投影面の形状又は投影面と投影される立体物との相対位置あるいはその両方である前記第２射影変換の変換パラメータは、前記立体物情報に基づいて設定される請求項１又は２に記載の画像生成装置。
【請求項４】
前記周辺俯瞰画像における前記立体物画像の領域を目立たないように抑制処理をする立体物抑制部が備えられている請求項１から３のいずれか一項に記載の画像生成装置。
【請求項５】
前記立体物俯瞰画像が強調表示されるように前記立体物俯瞰画像に色補正処理が施される請求項１から４のいずれか一項に記載の画像生成装置。
【請求項６】
前記車載カメラは、車両全周囲を撮影するために複数設置されており、前記立体物が２つ以上のカメラの撮影画像に含まれている場合、より面積の小さい方の立体物領域を有する立体物画像が抽出される請求項１から５のいずれか一項に記載の画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１４７１４９（Ｐ２０１２−１４７１４９Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−２７７８（Ｐ２０１１−２７７８）
【出願日】平成２３年１月１１日（２０１１．１．１１）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月１１日（２０１１．１．１１）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]