画像生成装置
【課題】認識された立体物と、当該立体物の撮影画像である立体物画像の領域に合成される代替画像との視認性を高めること。
【解決手段】車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置。周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力し、この立体物属性情報に含まれている位置情報に基づいて撮影画像における立体物の画像領域である立体物画像領域を決定し、立体物属性情報に含まれている種別情報と姿勢情報とに基づいて特定された立体物の特定された向き姿勢での代替画像を出力し、この出力された代替画像が立体物画像領域の位置に合成された代替画像付き俯瞰画像が生成される。
【解決手段】車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置。周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力し、この立体物属性情報に含まれている位置情報に基づいて撮影画像における立体物の画像領域である立体物画像領域を決定し、立体物属性情報に含まれている種別情報と姿勢情報とに基づいて特定された立体物の特定された向き姿勢での代替画像を出力し、この出力された代替画像が立体物画像領域の位置に合成された代替画像付き俯瞰画像が生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置に関する。
【背景技術】
【０００２】
従来の俯瞰画像生成装置では、車載カメラによって取得された撮影画像を路面に平行な投影面に投影することで、つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像が生成される。従って、この俯瞰画像をモニタに表示させることで、運転者が車両周辺の路面状況を把握することを支援している。しかしながら、そのような射影変換を通じて得られた俯瞰画像では車載カメラの近傍領域に比べ遠方領域において画像の歪み方が大きくなり、運転者にとって距離感をつかみ難いという問題がある。特に、路面に配置された上方に延びた立体物（人や車だけでなく、工事用三角コーンなどの路上障害物）は撮影方向に間延びした歪な形状体となり、見づらくなる。
【０００３】
このような問題を解決するため、例えば特許文献１に記載された車両周囲画像表示システムは、車両周囲を撮像するためのカメラと、自車両周囲の障害物を検出する障害物検出手段と、障害物に対応する代替画像を予め格納しておくメモリ部と、カメラが取得した画像を基に自車両周囲の仮想視点からの俯瞰画像を生成する画像処理部とからなり、障害物検出手段が障害物を検出した場合に、画像処理部は、障害物を同定し、同定された障害物に対応する代替画像を選択して前記メモリ部から読出して、選択した代替画像の向きと傾きを仮想視点に合わせて変更して前記俯瞰画像に重畳する。このシステムでは、画像処理部が、撮像手段より撮像した画像を車両上部又は車両側面からの俯瞰画像に変換し、障害物検出手段からの情報をもとに、車両周囲の立体障害物の大きさ、動作に見合った代替画像をメモリ部から選定して、同俯瞰画像上に上書き表示している。
しかしながら、実際の立体障害物を映し出している障害物画像に代えて代替画像を表示する場合、代替画像と実際の立体障害物との同定が困難となる場合が生じる。例えば、認識された立体障害物が人物であり、イラストや写真で表現された人物像が表示された場合、表示画面が小さいと表示画面上の人物像とバックミラーや肉眼で確認した実際の人物とが同一であるかどうか判断することが難しい。特に、実際に確認できる人物が後向き姿勢であるにもかかわらず代替画像が前向き姿勢の人物であれば、同定が困難になる。また、認識された立体障害物が自動車の場合でも、実際に確認できる自動車が後向き姿勢のミニバンであるにもかかわらず代替画像が前向き姿勢のセダンであれば、同定が著しく困難になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０‐２５１９３９号公報（段落番号〔０００８−００５６〕、図7、図１０）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記実情から、認識された立体物と、当該立体物の撮影画像である立体物画像の領域に合成される代替画像との同一視認性を高める技術が望まれている。
【課題を解決するための手段】
【０００６】
車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する、本発明による画像生成装置は、前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物認識部と、前記立体物属性情報に含まれている位置情報に基づいて前記撮影画像における前記立体物の画像領域である立体物画像領域を決定する立体物画像領域決定部と、前記立体物属性情報に含まれている種別情報と姿勢情報とに基づいて特定された立体物の特定された向き姿勢での代替画像を出力する代替画像出力部と、前記立体物画像領域の位置に前記代替画像出力部から出力された代替画像が合成された代替画像付き俯瞰画像を生成する画像合成部とを備えている。
【０００７】
上記本発明の構成によると、撮影画像に含まれていた認識立体物は、当該立体物の種別とその向き姿勢が実質的に同一である代替画像の形となって、その俯瞰画像に含まれることになる。つまり、実際の立体物と表示画面上の代替画像との同定が、認識された実際の立体物の種別とその姿勢に対応する代替画像を用いることで改善され、実際の立体物と代替画像との同一視認性が高まる。従って、運転者は、この代替画像代替画像付き俯瞰画像から車両周辺に位置する立体物を容易に認めることができる。
【０００８】
種別や姿勢を考慮した代替画像を小さな演算負荷で出力するためには、前もって種別と姿勢の異なる代替画像データベース化しておき、種別及び姿勢などを検索条件として代替画像を抽出するとよい。従って、本発明の好適な実施形態の１つでは、前記代替画像出力部は、前記立体物の代替画像を格納する代替画像データベースと、当該代替画像データベースから前記立体物属性情報に含まれている種別情報及び姿勢情報を検索条件として前記代替画像を抽出する代替画像抽出部とが備えられている。
【０００９】
車両にとって重要な走行障害物であるとともにその向き姿勢によって見た印象が著しく異なる立体物として、人物と自動車とが挙げられる。このことから、認識された立体物が人物や自動車である場合、その向き姿勢に合った代替画像を用いることで実際の立体物と代替画像との同一視認性を高めることができる。
従って、本発明の好適な実施形態の１つでは、前記立体物認識部には人物の顔を検出する顔検出部が備えられており、前記顔検出部による検出結果に基づいて、認識された立体物が人物であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定されるように構成されている。
また、本発明の好適な実施形態の他の１つでは、前記立体物認識部には、車車間通信による車車間通信情報に基づいて、認識された立体物が自動車であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定されるように構成されている。
これらの構成を採用することで、代替画像出力部は、種別情報と姿勢情報との内容に基づいて特定される、実際の立体物（人物または自動車）に適合した代替画像を出力することができる。
【００１０】
さらに、実際の立体物と表示画面上の代替画像との同定が、代替画像に実際の立体物の色に対応する色を付与することで改善されることから、本発明の好適な実施形態では、前記代替画像出力部は、さらに前記立体物属性情報に含まれている色情報に基づく色で色付けられた前記代替画像を出力するように構成されている。この発明構成は、実際の立体物と代替画像との視認性が高まるという事実に基づいている。この構成によると、撮影画像に含まれていた認識立体物は、当該立体物の特徴、特にその特徴的な色を明確に表している代替画像の形となって、その俯瞰画像に含まれることになる。従って、運転者は、この代替画像代替画像付き俯瞰画像から車両周辺に位置する立体物をさらに容易に認めることができる。
【００１１】
撮影画像から視点を上方に移動させた射影変換を用いて俯瞰撮影画像を生成することができるが、元になる撮影画像が、車両の前後左右の周囲を撮影した複数の撮影画像であれば、車両を中心とした車両周囲領域を俯瞰する俯瞰撮影画像を生成することができる。さらに、その俯瞰撮影画像に対して代替画像を合成するなら、代替画像が射影変換によって歪んで見づらくなることも抑制できる。従って、本発明の好適な実施形態の１つでは、前記車両の周囲をカバーするそれぞれ撮影方向が異なる複数の撮影画像から射影変換を用いて車両周囲の俯瞰撮影画像を生成する俯瞰撮影画像生成部が備えられ、前記画像合成部は前記俯瞰撮影画像の前記立体物画像領域に前記代替画像を付与するように構成されている。
また、この複数の撮影方向が異なる撮影画像を処理する俯瞰撮影画像生成部に撮影画像とは異なる視点での射影変換を行う機能を付加するので、俯瞰撮影画像と代替画像との間の視点に関する違和感と、射影変換歪みの違和感とを調和させた代替画像付き俯瞰撮影画像を作り出すことも可能となる。
【図面の簡単な説明】
【００１２】
【図１】立体物画像を代替画像で置き換え、さらに代替画像に着色を施す本発明の基本構想を説明する模式図である。
【図２】図１に対して、代替画像も射影変換されることを追加した模式図である。
【図３】前後左右の４つの撮影画像を用いた俯瞰画像に本発明の代替画像を適用した例を示す模式図である。
【図４】本発明による画像生成装置を適用した車両周辺監視システムの機能ブロック図である。
【図５】車両周辺監視システムを構成する画像処理モジュールの機能ブロック図である。
【図６】立体物画像を代替画像で置き換えた俯瞰画像を表示する制御の流れを示すフローチャートである。
【図７】立体物画像を代替画像で置き換えた俯瞰画像を表示する過程を説明する模式図である。
【発明を実施するための形態】
【００１３】
まず、車載カメラの撮影画像に認識された立体物が含まれている場合、その立体物画像を代替画像で置き換えた俯瞰画像が作成される、本発明による俯瞰画像生成過程の基本構想を、図１の模式図を用いて説明する。ここでは説明を簡単にするため、車載カメラとしてのバックカメラによる撮影画像だけを用いた俯瞰画像の生成が示されているが、一般的には、前後のカメラと左右のサイドカメラとからの撮影画像から車両を中心とする車両周囲俯瞰画像が生成される。
【００１４】
車両周辺監視画面としての俯瞰画像をモニタ表示するためには、まず車載カメラによって自車の進行方向の周辺領域の撮影画像が取得される（＃１）。ここでは、取得された撮影画像は、車両周辺の障害物となる立体物の検出処理にも利用される。立体物の検出には、一般的な画像認識処理が用いられるが、補助的に、超音波やレーザレーダー法や赤外線法を用いた立体物検知が利用される。立体物の認識アルゴリズムはよく知られているのでここでは詳しく述べないが、動きベクトル法や差分法を用いた動体か静止体かの判定、大きさ、エッジ検出による形状特定、色情報からの種別特定などにより立体物が認識される。また、図１で採用しているように、超音波やレーザレーダーによって立体物を検知した後、その検知情報に基づいて、撮影画像を用いた画像認識でより詳しく立体物を認識してもよい。さらに対象物は限定されるが、立体物が外部通信可能な車両の場合、車車間通信を用いて認識された立体物（自動車）の向き姿勢や車種や車色を決定することができる。また立体物が携帯電話を持った人物の場合、認識された立体物が人物であることを携帯電話の発信電波から判定することも可能である。さらには、顔検出アルゴリズムによって立体物が人物であること、及びその人物の向き姿勢を決定することも可能である（＃２）。いずれかの方法及びそれらの組み合わせによって、車載カメラの撮影視野内に存在している立体物の位置、種別、姿勢、大きさ、色などの立体物属性値を含む立体物属性情報が生成される（＃３）。さらに、立体物属性情報に含まれている位置情報から、撮影画像における立体物の画像領域である立体物画像領域が決定される（＃４）。
【００１５】
一方、バックカメラの撮影画像から、ここでは、投影面を路面に平行な面とする射影変換、つまり真上に仮想視点を設定した視点変換が行われる（＃５）。この第１射影変換処理を通じて、撮影画像の真上からの俯瞰画像である車両周辺の俯瞰画像が得られる。なお、立体物画像領域は、撮影画像に対してだけではなく、その俯瞰画像に対しても、立体物属性情報に含まれている位置情報から決定することが可能である。
【００１６】
上方視点を用いた射影変換処理による周辺俯瞰画では、カメラの手前に立体物が存在する場合、立体物の頂部付近が間延びするといった歪みが発生する。このため、立体物画像領域は、以下に説明するように、代替画像に置き換える上書き処理あるいは上から重ね合わせる重畳処理などの合成処理が行われることによって、立体物が視認しやすいように修正される。
【００１７】
まず、立体物画像領域に割り当てる代替画像を代替画像データベースから抽出する（＃６）。この代替画像データベースは、車両周辺に存在する可能性があり、このシステムによって認識可能な種別の立体物が、立体物属性情報に含まれている種別情報、姿勢情報、色情報、大きさ情報、動体／静止体情報などを検索条件として抽出可能に登録されている。従って、適切な代替画像を抽出するために、種別情報と姿勢情報とを検索条件として代替画像データベースにアクセスする。なお、その際、検索条件としての姿勢情報は、得られた姿勢情報から、処理対象となっている撮影画像における立体物の向き姿勢、例えば前向き姿勢、横向き姿勢、後向き姿勢、に置き換えられる。認識された立体物と種別と姿勢が実質的に一致することで抽出された代替画像は、周辺俯瞰画像における立体物画像領域に位置合わせされ、俯瞰画像と合成される（＃８）。なお、合成の際には、立体物画像領域と代替画像とのサイズを合わせるために、必要に応じて代替画像の拡縮処理が行われる。さらに代替画像と合成元の俯瞰画像との境界を目立たなくするために、境界周辺領域は、ぼかし、周辺画素とのブレンド（αブレンドなど）、低彩度化などの抑制処理が行われる。合成処理により代替画像が組み込まれた最終的な俯瞰画像はモニタに送られ、車両周辺監視の目的でモニタに表示される（＃９）。
【００１８】
図２も、図１と同様に発明の基本構想を説明する模式図であるが、図１による基本構想との相違点は、代替画像も視点変換処理が施されてから、俯瞰画像に合成されることである。代替画像データベースの登録されている代替画像も所定の視点から作成された立体物画像であるが、俯瞰画像における合成されるべき画像位置によっては無視できない違和感が生じる場合がある。この問題を回避するために、合成されるべき画像位置や立体物の種別等に応じて決定される上記違和感がなくなるような視点変換処理を代替画像に対して施す（＃５ａ）。
このような視点変換を通じての違和感の回避方法に代えて、俯瞰画像に視点変換される前の撮影画像に対して着色代替画像を合成し、合成された撮影画像を視点変換することで、着色代替画像を含む俯瞰画像を生成し、モニタに送るような構成を採用してもよい。
なおオプション的な処理であるが、立体物属性情報に色情報が含まれており、当該色情報による色と抽出された代替画像の色とが異なっている場合、あるいは抽出された代替画像が無色の場合、抽出された代替画像に対して色情報による色での着色処理が実行される（＃７）。
【００１９】
図１と図２の基本構想図ではバックカメラからの撮影画像だけを用いて、モニタ表示目的の最終的な俯瞰画像を生成していたが、自車を中心とする四方の周辺状況、特に路面状況を良好に把握するためには全周囲俯瞰画像が有効である。図３は、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄからの４つの撮影画像から、撮影画像に含まれる立体物の着色代替画像を含む全周囲俯瞰画像を作成する処理過程を示す基本構想図である。
【００２０】
図３では、後進での縦列駐車における駐車支援のためにモニタに表示する全周囲俯瞰画像の生成手順が例示されている。なお、この例では、バックカメラ１ａの撮影画像に注目すべき立体物として三角コーンが写り込んでいることにする。バックカメラ１ａによる後方撮影画像が車両真上からの全周囲俯瞰画像の後方領域画像として射影変換される。同様に、左サイドカメラ１ｂによる左撮影画像、右サイドカメラ１ｃによる右撮影画像、フロントカメラ１ｄによる前方撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。ここでは、射影変換は、マッピングテーブルを用いて行われている。それぞれのマップデータの値は異なっているので、それぞれ適合するマップが設定されている。ただし、これらの各マップは、路面に平行な面を投影面とする射影変換をもたらすように作成されている。
【００２１】
４つの車載カメラのうち、バックカメラ１ａからの後方撮影画像には立体物（この例では三角コーン）が含まれているが、この立体物の存在は、この車両に搭載されている立体物検知機能によって検知されるとともに、その立体物を含む周辺領域を撮影した撮影画像から画像認識により認識される。さらに、立体物が自動車の場合、車車間通信を通じて車種・向き姿勢情報を取得することができる。認識された立体物に関する位置情報、種別情報、姿勢（向き）情報、色情報などを含む立体物属性情報が、バックカメラ１ａからの撮影画像（後方撮影画像）とリンク可能なように出力される。従って、立体物属性情報に含まれている位置情報に基づいて、後方領域画像における立体物が写されている領域が立体物画像領域として決定される。
【００２２】
さらに、立体物属性情報に含まれている種別情報や姿勢情報などを検索条件として後方領域画像に含まれている立体物（三角コーンと自動車の一部分）の代替画像が抽出される。抽出された代替画像が、後方側俯瞰画像に合成される。その際、後方側俯瞰画像を生成した視点変換マッピングテーブル又はより着色代替画像（三角コーンと自動車の一部分）が見やすくなる最適な視点変換マッピングテーブルを用いて着色代替画像を俯瞰画像化してから合成してもよい。
【００２３】
また、出力された着色代替画像と合成される全周囲俯瞰画像の後方領域の画像（後方側俯瞰画像セグメント）において、先に決定された立体物画像領域に抑制処理を施すことが好ましい。このようにして生成された代替画像を含む後方俯瞰画像セグメントを含め、左俯瞰画像セグメント、右俯瞰画像セグメント、前方俯瞰画像セグメントが合成され、最終的にモニタ表示される全周囲俯瞰画像が生成される。
【００２４】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、図３で例示したように、４つの車載カメラ、バックカメラ１ａ、フロントカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃからの撮影画像と立体物検知情報とから全周囲俯瞰画像を作成する画像生成装置が車両周辺監視システムの構築のために車両に組み込まれている。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。車両周辺監視が動作する際には、カメラ１による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。
【００２５】
カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。
【００２６】
車両内部には、車両周辺監視システムの中核をなす車両周辺監視コントローラ２０が設置されている。この車両周辺監視コントローラ２０は、図４に示すように、車載ＬＡＮインターフェースとして用いられる通信インターフェース７０を備えると共に、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。
【００２７】
通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、車両状態検出センサ群からの信号入力をそのまま、あるいは評価して車両周辺監視コントローラ２０の内部に転送するセンサ入力ユニット２３、外部通信部２４、モニタ２１やタッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。その他、音声情報の出力デバイスとしてスピーカ２２も備えられている。
【００２８】
センサ入力ユニット２３に接続されている各種センサ群は、運転操作や車両走行の状態などを検出する。センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
外部通信部２４は、外部の通信機器からの発せられる電波を受信し、情報の双方伝送や一方的な信号受信などを行い、受け取った通信情報を車載ＬＡＮに流す。本発明に特に関係する通信情報は、車車間通信による周辺車両（認識立体物）の車種や姿勢（向き）に関する情報、認識立体物が人物であることを携帯電話の電波傍受によって確定するための情報などである。
【００２９】
車両周辺監視コントローラ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、車両周辺の立体物を認識する立体物認識モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
【００３０】
立体物認識モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う立体物検知部３１と、車載カメラ１からの撮影画像を用いて立体物の認識を行う立体物認識部３２と、顔検出部３３と、通信情報処理部３４が含まれている。
超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。立体物認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を認識する。立体物の検知のためには、立体物検知部３１と立体物認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた立体物認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた立体物検知部３１の両方を備えて協働作業させることでより正確な立体物の認識が可能となる。立体物認識モジュール３０は、認識した立体物の位置、姿勢、大きさ、色調などを記述した立体物属性情報を出力する。立体物検知部３１として、レーザレーダーを用いるような他の立体物検知装置の適用も可能である。
【００３１】
顔検出部３３は、認識された立体物の立体物領域に顔が含まれているかどうかを公知の顔検出アルゴリズムを用いてチェックする。顔が含まれている場合、その立体物が人物であると特定し、さらにその顔の向きによって人物の姿勢、横向き姿勢、前向き姿勢を推定する。また、他の機能部で立体物が人物であることが推定されている場合に、その立体物から顔が検出されていない場合は、その人物が後向き姿勢であると推定する。
通信情報処理部３４は、外部通信部２４によって行われた車車間通信で得られた周辺車両の位置、姿勢（向き）、車種、車色などの他車情報を受け取って、推定立体物がその他車であることが推定されると、推定立体物を自動車とし、その姿勢（向き）、車種、車色などの情報を取り込む。
立体物認識モジュール３０は、内蔵する上記機能部によって得られた、種別、姿勢、色などの立体物の属性情報をまとめて立体物属性情報を生成し、画像処理モジュールに出力する。
【００３２】
図５に、車両周辺監視コントローラ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から射影変換によって変換された俯瞰画像等の画像を生成する機能を有している。
画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、立体物属性情報取得部５４、画像合成部５５、フレームメモリ５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物属性情報取得部５４は、立体物認識モジュール３０から出力された立体物属性情報を受け取り、当該立体物属性情報に記述された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)を読み出す。
【００３３】
画像生成部５３は、俯瞰画像生成部６０、代替画像出力部８０、通常画像生成部６６、立体物画像領域決定部６７を含んでいる。通常画像生成部６６は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄによる撮影画像から運転者によって選択された１つでもよいし、複数撮影画像の組み合わせでもよい。立体物画像領域決定部６７は、立体物属性情報取得部５４から立体物属性情報に含まれている、認識された立体物の位置情報から撮影画像におけるその立体物の画像領域を決定する。その際、撮影画像または俯瞰撮影画像あるいはその両方における立体物画像領域を決定することができる
【００３４】
俯瞰画像生成部６０は、撮影画像メモリ５１に展開されている1枚又は複数の撮影画像から視点変換処理を通じて俯瞰画像を生成する俯瞰撮影画像生成部６３と、さらにこの実施形態では、後で詳しく説明する代替画像から視点変換処理を通じて俯瞰画像を生成する俯瞰代替画像生成部６４とを備えている。なお、この実施形態では、俯瞰撮影画像生成部６３及び俯瞰代替画像生成部６４における射影変換は、マッピングテーブルを用いたマップ変換によって行われるので、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能に格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、マッピングテーブル６２と称している。マッピングテーブル６２を構成する各マッピングテーブル（以下単にマップと略称する）は種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（通常は俯瞰撮影画像）の画素データとの対応関係が記述されたマップ及び代替画像の画素データと射影変換画像の画素データとの対応関係が記述されたマップとして構築されている。特に、１フレームの撮影画像の各画素に、俯瞰撮影画像における行き先画素座標が記述されており、車載カメラ毎に異なるマップが適用される。射影変換選択部６１は、俯瞰代替画像生成部６４に対しては、立体物属性情報から読み出された属性に基づいて、俯瞰撮影画像とできるだけ調和する射影変換を選択する。
俯瞰代替画像生成部６４にも複数の種類の射影変換が設定される。俯瞰代替画像生成部６４で実行される射影変換の選択は、代替物（立体物）の種別や、合成先の撮影画像（俯瞰撮影画像）の射影変換の種類（視点位置）に基づいて射影変換選択部６１が行う。なお、俯瞰代替画像生成部６４には、入力した代替画像をそのままスルーして出力する機能も含まれている。
【００３５】
代替画像出力部８０は、検索条件設定部８１、代替画像データベース８２、代替画像抽出部８３、代替画像着色部８４を含む。代替画像データベース８２には、立体物認識部３２によって認識される可能性のある立体物の種別（人物や自動車など）や立体物の姿勢（前向き、横向き、後向きなど）など毎に予め作成されたイメージ（写真やイラストなど）画像が代替画像として検索条件によって選択されるように登録され、格納されている。検索条件設定部８１は、立体物属性情報取得部５４によって立体物属性情報から読み出された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)に基づいて、適合する代替画像を代替画像データベース８２から抽出するための検索条件を設定する。代替画像抽出部８３は、検索条件設定部８１によって設定された検索条件に基づいて代替画像データベースから抽出する。代替画像着色部８４は、抽出された代替画像に対して立体物属性情報に含まれている色情報に基づいて着色する。着色のやり方は、代替画像によって適切なものを採用すればよいが、人物なら上半身部分と下半身部分に分けて設定された塗り付け領域に適正な色を付与するようにしたり、全体を適正色で塗りつけるようにしたりしてもよい。また予め、代替画像に適正色を付与しておいてもよい。ここで適正色とは、運転者がその色で着色された代替画像をみて実際の立体物を想像しやすい色である。三角コーンなら予め付与されている橙色か黄色となり、人物なら撮影画像から得られる上着の色やスカートの色、自動車なら撮影画像や立体物属性情報から得られる車色である。
【００３６】
画像合成部５５は、俯瞰撮影画像の立体物画像領域に俯瞰代替画像生成部６４によって生成された俯瞰代替画像を重ね合わせ合成する。合成方法としては、上書きに限定されず、透明化による重ね合わせなどを採用することができる。合成された代替画像付き俯瞰画像は表示画像としてフレームメモリ５６に転送され、表示制御部７１を介して表示画面としてのモニタ２１の画面に表示される。
【００３７】
次に、上述のように構成された画像生成装置を組み込んだ車両周辺監視システムによる俯瞰画像表示ルーチンを図６のフローチャートと、図７の説明図とを用いて説明する。
この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定されるか又はデフォルト設定されている俯瞰画像の表示種別が読み出される（＃０１）。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰撮影画像生成部６３で用いられる射影変換のためのマップが、利用される車載カメラ１の撮影画像毎に設定される（＃０２）。４台の車載カメラ１の撮影画像を取得する（＃０３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃０４）。生成された俯瞰画像セグメントを組み合わせるとともに、自車両位置に予め設定されている車両の俯瞰イメージ画像（イラストやシンボルでも良い）が配置され、表示用の俯瞰画像が生成される（＃０５）。
【００３８】
以上のルーチンの実行に平行して、立体物属性情報作成ルーチンも実行される。まず、立体物認識モジュール３０を通じて撮影領域に立体物が認識されたかどうかチェックする（＃２０）。立体物が認識された場合（＃２０Yes分岐）、その立体物の位置を算定する（＃２１）。さらに、立体物の種別・姿勢検出処理を行う（＃２２）。この種別・姿勢検出処理には、例えば、顔検出処理や車車間通信処理がある。顔検出処理では、撮影画像における認識された立体物の領域に対して顔検出を行い、もし顔が検出されると、その立体物は人物であると特定され、さらに、その顔の向きから、前向きまたは横向きといった人物の姿勢も推定できる。車車間通信処理では、立体物に対する車車間通信が実現すると、その立体物は自動車であると特定され、さらに、その車両位置ないしは車両の向き、車種（車両形式）などの自動車属性値も得ることが可能となる。この種別・姿勢検出処理において、立体物の種別特定などができなかった場合、その立体物は種別不定、姿勢不定として取り扱われる。種別・姿勢検出処理の結果に基づいて、立体物属性情報が作成される（＃２３）。立体物が認識されない場合（＃２０No分岐）はもちろん立体物属性情報は作成されないが、いずれにしてもこの段階で、属性情報有無通知が出力される（＃２４）。
【００３９】
ここで、俯瞰画像表示ルーチンに戻ると、立体物属性情報が出力されているかどうか上述した属性情報有無通知からチェックされる（＃０６）。立体物属性情報が出力されていない場合（＃０６No分岐）、どの撮影画像にも注目すべき立体物が写り込んでいないとみなして、ステップ＃０５で生成された俯瞰撮影画像をそのまま利用して表示俯瞰画像が生成される（＃１５）。生成された表示俯瞰画像をモニタ２１に表示させ（＃１６）、この俯瞰画像表示ルーチンの終了指令がない限り（＃１７No分岐）、再びステップ＃０１に戻って、このルーチンを繰り返す。
ステップ＃０６のチェックで、立体物認識モジュール３０で立体物属性情報が作成されている場合（＃０６Yes分岐）、注目すべき立体物が撮影画像に写り込んでいるとみなし、立体物属性情報を取得して、立体物属性情報に含まれている、認識された立体物に関する位置、種別、姿勢、色、大きさなどのデータを読み出す（＃０７）。読み出した立体物の位置に関するデータに基づいて俯瞰撮影画像における当該立体物の画像領域を決定する（＃０８）。
【００４０】
次いで、読み出した立体物の属性情報に基づいて、適切な代替画像を抽出するための検索条件を設定する（＃０９）。この検索条件を用いて代替画像データベース８２から代替画像を抽出して、メモリに展開する（＃１０）。必要に応じて、抽出された代替画像に対する画像加工が行われる（＃１１）。画像加工には、抽出された代替画像の大きさを立体物画像領域の大きさに合わせるための拡縮処理や立体物属性情報に含まれている色情報に基づいて代替画像の予め決められている着色領域を着色する着色処理などが含まれる。なお、立体物属性情報に含まれている色情報は、撮影画像に含まれている立体物の画素値に基づいていることから、照明条件等によって、本来の立体物を特徴付けるような色が検知されていないことも有り得る。この着色処理では、そのような事情が発生していると判断された場合、代替画像に着色する色が強調される。また代替画像の輪郭を強調したりする形状明確化処理を代替画像に施してもよい。
【００４１】
着色された代替画像は、撮影画像に対して施された射影変換の種類（視点位置）と、代替画像で代替された立体物の種別や姿勢などに基づいて、最適な射影変換が選択され、そのマップピングデータが俯瞰代替画像生成部６４に設定され（＃１２）、代替画像が射影変換される（＃１３）。もちろん、スルー用マップピングデータが設定され、少なくとも射影変換を施されない代替画像が生成されてもよい。次いで、俯瞰代替画像は俯瞰撮影画像における立体物画像領域に重ね合わせ合成される（＃１４）。このようにして生成された最終的な車両周辺の俯瞰画像は、図７に示すような表示俯瞰画像として生成され（＃１５）、モニタ２１に表示される（＃１６）。最後に、このルーチンの終了チェック、例えば、このバックモニタルーチンに対する中止指令が入っているかどうかがチェックされ（＃１７）、このバックモニタが続行される限り（＃１７No分岐）、ステップ＃０１に戻り、上記プロセスが繰り返される。
【００４２】
〔別実施の形態〕
【００４３】
（１）上述した実施形態では、注目すべき一つの立体物が４つのカメラ１から取得した撮影画像の１つに写されている例を取り上げたが、隣り合うカメラ視野の境界領域では、注目すべき一つの立体物が複数の撮影画像に写されている場合も考えられる。従って、車載カメラが車両全周囲を撮影するために複数設置されているような実施形態において、立体物が２つ以上のカメラの撮影画像に含まれている場合、より面積の大きい方の立体物領域を有する立体物画像が立体物俯瞰画像生成のために抽出されると好都合である。
（２）上述した実施形態では、表示俯瞰画像として４つの撮影画像からを用いた真上視点の俯瞰画像が採用されていた。これに代えて、１つの撮影画像に対して視点変換を行った俯瞰画像を表示俯瞰画像としてもよい。
【産業上の利用可能性】
【００４４】
本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
【符号の説明】
【００４５】
２１：モニタ
２４：外部通信部（車車間通信部）
３０：立体物検知モジュール
３１：立体物検知部
３２：立体物認識部
３３：顔検出部
３４：通信情報処理部
５０：画像処理モジュール
５３：画像生成部
５４：立体物属性情報取得部
５５：画像合成部
６０：俯瞰画像生成部
６１：通常画像生成部
６２：マッピングテーブル
６３：俯瞰撮影画像生成部
６４：俯瞰代替画像生成部
６５：立体物俯瞰画像生成部
６７：立体物画像領域決定部
８０：代替画像出力部
８１：検索条件設定部
８２：代替画像データベース
８３：代替画像抽出部
８４：代替画像着色部
【技術分野】
【０００１】
本発明は、車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置に関する。
【背景技術】
【０００２】
従来の俯瞰画像生成装置では、車載カメラによって取得された撮影画像を路面に平行な投影面に投影することで、つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像が生成される。従って、この俯瞰画像をモニタに表示させることで、運転者が車両周辺の路面状況を把握することを支援している。しかしながら、そのような射影変換を通じて得られた俯瞰画像では車載カメラの近傍領域に比べ遠方領域において画像の歪み方が大きくなり、運転者にとって距離感をつかみ難いという問題がある。特に、路面に配置された上方に延びた立体物（人や車だけでなく、工事用三角コーンなどの路上障害物）は撮影方向に間延びした歪な形状体となり、見づらくなる。
【０００３】
このような問題を解決するため、例えば特許文献１に記載された車両周囲画像表示システムは、車両周囲を撮像するためのカメラと、自車両周囲の障害物を検出する障害物検出手段と、障害物に対応する代替画像を予め格納しておくメモリ部と、カメラが取得した画像を基に自車両周囲の仮想視点からの俯瞰画像を生成する画像処理部とからなり、障害物検出手段が障害物を検出した場合に、画像処理部は、障害物を同定し、同定された障害物に対応する代替画像を選択して前記メモリ部から読出して、選択した代替画像の向きと傾きを仮想視点に合わせて変更して前記俯瞰画像に重畳する。このシステムでは、画像処理部が、撮像手段より撮像した画像を車両上部又は車両側面からの俯瞰画像に変換し、障害物検出手段からの情報をもとに、車両周囲の立体障害物の大きさ、動作に見合った代替画像をメモリ部から選定して、同俯瞰画像上に上書き表示している。
しかしながら、実際の立体障害物を映し出している障害物画像に代えて代替画像を表示する場合、代替画像と実際の立体障害物との同定が困難となる場合が生じる。例えば、認識された立体障害物が人物であり、イラストや写真で表現された人物像が表示された場合、表示画面が小さいと表示画面上の人物像とバックミラーや肉眼で確認した実際の人物とが同一であるかどうか判断することが難しい。特に、実際に確認できる人物が後向き姿勢であるにもかかわらず代替画像が前向き姿勢の人物であれば、同定が困難になる。また、認識された立体障害物が自動車の場合でも、実際に確認できる自動車が後向き姿勢のミニバンであるにもかかわらず代替画像が前向き姿勢のセダンであれば、同定が著しく困難になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０‐２５１９３９号公報（段落番号〔０００８−００５６〕、図7、図１０）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記実情から、認識された立体物と、当該立体物の撮影画像である立体物画像の領域に合成される代替画像との同一視認性を高める技術が望まれている。
【課題を解決するための手段】
【０００６】
車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する、本発明による画像生成装置は、前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物認識部と、前記立体物属性情報に含まれている位置情報に基づいて前記撮影画像における前記立体物の画像領域である立体物画像領域を決定する立体物画像領域決定部と、前記立体物属性情報に含まれている種別情報と姿勢情報とに基づいて特定された立体物の特定された向き姿勢での代替画像を出力する代替画像出力部と、前記立体物画像領域の位置に前記代替画像出力部から出力された代替画像が合成された代替画像付き俯瞰画像を生成する画像合成部とを備えている。
【０００７】
上記本発明の構成によると、撮影画像に含まれていた認識立体物は、当該立体物の種別とその向き姿勢が実質的に同一である代替画像の形となって、その俯瞰画像に含まれることになる。つまり、実際の立体物と表示画面上の代替画像との同定が、認識された実際の立体物の種別とその姿勢に対応する代替画像を用いることで改善され、実際の立体物と代替画像との同一視認性が高まる。従って、運転者は、この代替画像代替画像付き俯瞰画像から車両周辺に位置する立体物を容易に認めることができる。
【０００８】
種別や姿勢を考慮した代替画像を小さな演算負荷で出力するためには、前もって種別と姿勢の異なる代替画像データベース化しておき、種別及び姿勢などを検索条件として代替画像を抽出するとよい。従って、本発明の好適な実施形態の１つでは、前記代替画像出力部は、前記立体物の代替画像を格納する代替画像データベースと、当該代替画像データベースから前記立体物属性情報に含まれている種別情報及び姿勢情報を検索条件として前記代替画像を抽出する代替画像抽出部とが備えられている。
【０００９】
車両にとって重要な走行障害物であるとともにその向き姿勢によって見た印象が著しく異なる立体物として、人物と自動車とが挙げられる。このことから、認識された立体物が人物や自動車である場合、その向き姿勢に合った代替画像を用いることで実際の立体物と代替画像との同一視認性を高めることができる。
従って、本発明の好適な実施形態の１つでは、前記立体物認識部には人物の顔を検出する顔検出部が備えられており、前記顔検出部による検出結果に基づいて、認識された立体物が人物であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定されるように構成されている。
また、本発明の好適な実施形態の他の１つでは、前記立体物認識部には、車車間通信による車車間通信情報に基づいて、認識された立体物が自動車であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定されるように構成されている。
これらの構成を採用することで、代替画像出力部は、種別情報と姿勢情報との内容に基づいて特定される、実際の立体物（人物または自動車）に適合した代替画像を出力することができる。
【００１０】
さらに、実際の立体物と表示画面上の代替画像との同定が、代替画像に実際の立体物の色に対応する色を付与することで改善されることから、本発明の好適な実施形態では、前記代替画像出力部は、さらに前記立体物属性情報に含まれている色情報に基づく色で色付けられた前記代替画像を出力するように構成されている。この発明構成は、実際の立体物と代替画像との視認性が高まるという事実に基づいている。この構成によると、撮影画像に含まれていた認識立体物は、当該立体物の特徴、特にその特徴的な色を明確に表している代替画像の形となって、その俯瞰画像に含まれることになる。従って、運転者は、この代替画像代替画像付き俯瞰画像から車両周辺に位置する立体物をさらに容易に認めることができる。
【００１１】
撮影画像から視点を上方に移動させた射影変換を用いて俯瞰撮影画像を生成することができるが、元になる撮影画像が、車両の前後左右の周囲を撮影した複数の撮影画像であれば、車両を中心とした車両周囲領域を俯瞰する俯瞰撮影画像を生成することができる。さらに、その俯瞰撮影画像に対して代替画像を合成するなら、代替画像が射影変換によって歪んで見づらくなることも抑制できる。従って、本発明の好適な実施形態の１つでは、前記車両の周囲をカバーするそれぞれ撮影方向が異なる複数の撮影画像から射影変換を用いて車両周囲の俯瞰撮影画像を生成する俯瞰撮影画像生成部が備えられ、前記画像合成部は前記俯瞰撮影画像の前記立体物画像領域に前記代替画像を付与するように構成されている。
また、この複数の撮影方向が異なる撮影画像を処理する俯瞰撮影画像生成部に撮影画像とは異なる視点での射影変換を行う機能を付加するので、俯瞰撮影画像と代替画像との間の視点に関する違和感と、射影変換歪みの違和感とを調和させた代替画像付き俯瞰撮影画像を作り出すことも可能となる。
【図面の簡単な説明】
【００１２】
【図１】立体物画像を代替画像で置き換え、さらに代替画像に着色を施す本発明の基本構想を説明する模式図である。
【図２】図１に対して、代替画像も射影変換されることを追加した模式図である。
【図３】前後左右の４つの撮影画像を用いた俯瞰画像に本発明の代替画像を適用した例を示す模式図である。
【図４】本発明による画像生成装置を適用した車両周辺監視システムの機能ブロック図である。
【図５】車両周辺監視システムを構成する画像処理モジュールの機能ブロック図である。
【図６】立体物画像を代替画像で置き換えた俯瞰画像を表示する制御の流れを示すフローチャートである。
【図７】立体物画像を代替画像で置き換えた俯瞰画像を表示する過程を説明する模式図である。
【発明を実施するための形態】
【００１３】
まず、車載カメラの撮影画像に認識された立体物が含まれている場合、その立体物画像を代替画像で置き換えた俯瞰画像が作成される、本発明による俯瞰画像生成過程の基本構想を、図１の模式図を用いて説明する。ここでは説明を簡単にするため、車載カメラとしてのバックカメラによる撮影画像だけを用いた俯瞰画像の生成が示されているが、一般的には、前後のカメラと左右のサイドカメラとからの撮影画像から車両を中心とする車両周囲俯瞰画像が生成される。
【００１４】
車両周辺監視画面としての俯瞰画像をモニタ表示するためには、まず車載カメラによって自車の進行方向の周辺領域の撮影画像が取得される（＃１）。ここでは、取得された撮影画像は、車両周辺の障害物となる立体物の検出処理にも利用される。立体物の検出には、一般的な画像認識処理が用いられるが、補助的に、超音波やレーザレーダー法や赤外線法を用いた立体物検知が利用される。立体物の認識アルゴリズムはよく知られているのでここでは詳しく述べないが、動きベクトル法や差分法を用いた動体か静止体かの判定、大きさ、エッジ検出による形状特定、色情報からの種別特定などにより立体物が認識される。また、図１で採用しているように、超音波やレーザレーダーによって立体物を検知した後、その検知情報に基づいて、撮影画像を用いた画像認識でより詳しく立体物を認識してもよい。さらに対象物は限定されるが、立体物が外部通信可能な車両の場合、車車間通信を用いて認識された立体物（自動車）の向き姿勢や車種や車色を決定することができる。また立体物が携帯電話を持った人物の場合、認識された立体物が人物であることを携帯電話の発信電波から判定することも可能である。さらには、顔検出アルゴリズムによって立体物が人物であること、及びその人物の向き姿勢を決定することも可能である（＃２）。いずれかの方法及びそれらの組み合わせによって、車載カメラの撮影視野内に存在している立体物の位置、種別、姿勢、大きさ、色などの立体物属性値を含む立体物属性情報が生成される（＃３）。さらに、立体物属性情報に含まれている位置情報から、撮影画像における立体物の画像領域である立体物画像領域が決定される（＃４）。
【００１５】
一方、バックカメラの撮影画像から、ここでは、投影面を路面に平行な面とする射影変換、つまり真上に仮想視点を設定した視点変換が行われる（＃５）。この第１射影変換処理を通じて、撮影画像の真上からの俯瞰画像である車両周辺の俯瞰画像が得られる。なお、立体物画像領域は、撮影画像に対してだけではなく、その俯瞰画像に対しても、立体物属性情報に含まれている位置情報から決定することが可能である。
【００１６】
上方視点を用いた射影変換処理による周辺俯瞰画では、カメラの手前に立体物が存在する場合、立体物の頂部付近が間延びするといった歪みが発生する。このため、立体物画像領域は、以下に説明するように、代替画像に置き換える上書き処理あるいは上から重ね合わせる重畳処理などの合成処理が行われることによって、立体物が視認しやすいように修正される。
【００１７】
まず、立体物画像領域に割り当てる代替画像を代替画像データベースから抽出する（＃６）。この代替画像データベースは、車両周辺に存在する可能性があり、このシステムによって認識可能な種別の立体物が、立体物属性情報に含まれている種別情報、姿勢情報、色情報、大きさ情報、動体／静止体情報などを検索条件として抽出可能に登録されている。従って、適切な代替画像を抽出するために、種別情報と姿勢情報とを検索条件として代替画像データベースにアクセスする。なお、その際、検索条件としての姿勢情報は、得られた姿勢情報から、処理対象となっている撮影画像における立体物の向き姿勢、例えば前向き姿勢、横向き姿勢、後向き姿勢、に置き換えられる。認識された立体物と種別と姿勢が実質的に一致することで抽出された代替画像は、周辺俯瞰画像における立体物画像領域に位置合わせされ、俯瞰画像と合成される（＃８）。なお、合成の際には、立体物画像領域と代替画像とのサイズを合わせるために、必要に応じて代替画像の拡縮処理が行われる。さらに代替画像と合成元の俯瞰画像との境界を目立たなくするために、境界周辺領域は、ぼかし、周辺画素とのブレンド（αブレンドなど）、低彩度化などの抑制処理が行われる。合成処理により代替画像が組み込まれた最終的な俯瞰画像はモニタに送られ、車両周辺監視の目的でモニタに表示される（＃９）。
【００１８】
図２も、図１と同様に発明の基本構想を説明する模式図であるが、図１による基本構想との相違点は、代替画像も視点変換処理が施されてから、俯瞰画像に合成されることである。代替画像データベースの登録されている代替画像も所定の視点から作成された立体物画像であるが、俯瞰画像における合成されるべき画像位置によっては無視できない違和感が生じる場合がある。この問題を回避するために、合成されるべき画像位置や立体物の種別等に応じて決定される上記違和感がなくなるような視点変換処理を代替画像に対して施す（＃５ａ）。
このような視点変換を通じての違和感の回避方法に代えて、俯瞰画像に視点変換される前の撮影画像に対して着色代替画像を合成し、合成された撮影画像を視点変換することで、着色代替画像を含む俯瞰画像を生成し、モニタに送るような構成を採用してもよい。
なおオプション的な処理であるが、立体物属性情報に色情報が含まれており、当該色情報による色と抽出された代替画像の色とが異なっている場合、あるいは抽出された代替画像が無色の場合、抽出された代替画像に対して色情報による色での着色処理が実行される（＃７）。
【００１９】
図１と図２の基本構想図ではバックカメラからの撮影画像だけを用いて、モニタ表示目的の最終的な俯瞰画像を生成していたが、自車を中心とする四方の周辺状況、特に路面状況を良好に把握するためには全周囲俯瞰画像が有効である。図３は、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄからの４つの撮影画像から、撮影画像に含まれる立体物の着色代替画像を含む全周囲俯瞰画像を作成する処理過程を示す基本構想図である。
【００２０】
図３では、後進での縦列駐車における駐車支援のためにモニタに表示する全周囲俯瞰画像の生成手順が例示されている。なお、この例では、バックカメラ１ａの撮影画像に注目すべき立体物として三角コーンが写り込んでいることにする。バックカメラ１ａによる後方撮影画像が車両真上からの全周囲俯瞰画像の後方領域画像として射影変換される。同様に、左サイドカメラ１ｂによる左撮影画像、右サイドカメラ１ｃによる右撮影画像、フロントカメラ１ｄによる前方撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。ここでは、射影変換は、マッピングテーブルを用いて行われている。それぞれのマップデータの値は異なっているので、それぞれ適合するマップが設定されている。ただし、これらの各マップは、路面に平行な面を投影面とする射影変換をもたらすように作成されている。
【００２１】
４つの車載カメラのうち、バックカメラ１ａからの後方撮影画像には立体物（この例では三角コーン）が含まれているが、この立体物の存在は、この車両に搭載されている立体物検知機能によって検知されるとともに、その立体物を含む周辺領域を撮影した撮影画像から画像認識により認識される。さらに、立体物が自動車の場合、車車間通信を通じて車種・向き姿勢情報を取得することができる。認識された立体物に関する位置情報、種別情報、姿勢（向き）情報、色情報などを含む立体物属性情報が、バックカメラ１ａからの撮影画像（後方撮影画像）とリンク可能なように出力される。従って、立体物属性情報に含まれている位置情報に基づいて、後方領域画像における立体物が写されている領域が立体物画像領域として決定される。
【００２２】
さらに、立体物属性情報に含まれている種別情報や姿勢情報などを検索条件として後方領域画像に含まれている立体物（三角コーンと自動車の一部分）の代替画像が抽出される。抽出された代替画像が、後方側俯瞰画像に合成される。その際、後方側俯瞰画像を生成した視点変換マッピングテーブル又はより着色代替画像（三角コーンと自動車の一部分）が見やすくなる最適な視点変換マッピングテーブルを用いて着色代替画像を俯瞰画像化してから合成してもよい。
【００２３】
また、出力された着色代替画像と合成される全周囲俯瞰画像の後方領域の画像（後方側俯瞰画像セグメント）において、先に決定された立体物画像領域に抑制処理を施すことが好ましい。このようにして生成された代替画像を含む後方俯瞰画像セグメントを含め、左俯瞰画像セグメント、右俯瞰画像セグメント、前方俯瞰画像セグメントが合成され、最終的にモニタ表示される全周囲俯瞰画像が生成される。
【００２４】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、図３で例示したように、４つの車載カメラ、バックカメラ１ａ、フロントカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃからの撮影画像と立体物検知情報とから全周囲俯瞰画像を作成する画像生成装置が車両周辺監視システムの構築のために車両に組み込まれている。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。車両周辺監視が動作する際には、カメラ１による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。
【００２５】
カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。
【００２６】
車両内部には、車両周辺監視システムの中核をなす車両周辺監視コントローラ２０が設置されている。この車両周辺監視コントローラ２０は、図４に示すように、車載ＬＡＮインターフェースとして用いられる通信インターフェース７０を備えると共に、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。
【００２７】
通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、車両状態検出センサ群からの信号入力をそのまま、あるいは評価して車両周辺監視コントローラ２０の内部に転送するセンサ入力ユニット２３、外部通信部２４、モニタ２１やタッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。その他、音声情報の出力デバイスとしてスピーカ２２も備えられている。
【００２８】
センサ入力ユニット２３に接続されている各種センサ群は、運転操作や車両走行の状態などを検出する。センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
外部通信部２４は、外部の通信機器からの発せられる電波を受信し、情報の双方伝送や一方的な信号受信などを行い、受け取った通信情報を車載ＬＡＮに流す。本発明に特に関係する通信情報は、車車間通信による周辺車両（認識立体物）の車種や姿勢（向き）に関する情報、認識立体物が人物であることを携帯電話の電波傍受によって確定するための情報などである。
【００２９】
車両周辺監視コントローラ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、車両周辺の立体物を認識する立体物認識モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
【００３０】
立体物認識モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う立体物検知部３１と、車載カメラ１からの撮影画像を用いて立体物の認識を行う立体物認識部３２と、顔検出部３３と、通信情報処理部３４が含まれている。
超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。立体物認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を認識する。立体物の検知のためには、立体物検知部３１と立体物認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた立体物認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた立体物検知部３１の両方を備えて協働作業させることでより正確な立体物の認識が可能となる。立体物認識モジュール３０は、認識した立体物の位置、姿勢、大きさ、色調などを記述した立体物属性情報を出力する。立体物検知部３１として、レーザレーダーを用いるような他の立体物検知装置の適用も可能である。
【００３１】
顔検出部３３は、認識された立体物の立体物領域に顔が含まれているかどうかを公知の顔検出アルゴリズムを用いてチェックする。顔が含まれている場合、その立体物が人物であると特定し、さらにその顔の向きによって人物の姿勢、横向き姿勢、前向き姿勢を推定する。また、他の機能部で立体物が人物であることが推定されている場合に、その立体物から顔が検出されていない場合は、その人物が後向き姿勢であると推定する。
通信情報処理部３４は、外部通信部２４によって行われた車車間通信で得られた周辺車両の位置、姿勢（向き）、車種、車色などの他車情報を受け取って、推定立体物がその他車であることが推定されると、推定立体物を自動車とし、その姿勢（向き）、車種、車色などの情報を取り込む。
立体物認識モジュール３０は、内蔵する上記機能部によって得られた、種別、姿勢、色などの立体物の属性情報をまとめて立体物属性情報を生成し、画像処理モジュールに出力する。
【００３２】
図５に、車両周辺監視コントローラ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から射影変換によって変換された俯瞰画像等の画像を生成する機能を有している。
画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、立体物属性情報取得部５４、画像合成部５５、フレームメモリ５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物属性情報取得部５４は、立体物認識モジュール３０から出力された立体物属性情報を受け取り、当該立体物属性情報に記述された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)を読み出す。
【００３３】
画像生成部５３は、俯瞰画像生成部６０、代替画像出力部８０、通常画像生成部６６、立体物画像領域決定部６７を含んでいる。通常画像生成部６６は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄによる撮影画像から運転者によって選択された１つでもよいし、複数撮影画像の組み合わせでもよい。立体物画像領域決定部６７は、立体物属性情報取得部５４から立体物属性情報に含まれている、認識された立体物の位置情報から撮影画像におけるその立体物の画像領域を決定する。その際、撮影画像または俯瞰撮影画像あるいはその両方における立体物画像領域を決定することができる
【００３４】
俯瞰画像生成部６０は、撮影画像メモリ５１に展開されている1枚又は複数の撮影画像から視点変換処理を通じて俯瞰画像を生成する俯瞰撮影画像生成部６３と、さらにこの実施形態では、後で詳しく説明する代替画像から視点変換処理を通じて俯瞰画像を生成する俯瞰代替画像生成部６４とを備えている。なお、この実施形態では、俯瞰撮影画像生成部６３及び俯瞰代替画像生成部６４における射影変換は、マッピングテーブルを用いたマップ変換によって行われるので、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能に格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、マッピングテーブル６２と称している。マッピングテーブル６２を構成する各マッピングテーブル（以下単にマップと略称する）は種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（通常は俯瞰撮影画像）の画素データとの対応関係が記述されたマップ及び代替画像の画素データと射影変換画像の画素データとの対応関係が記述されたマップとして構築されている。特に、１フレームの撮影画像の各画素に、俯瞰撮影画像における行き先画素座標が記述されており、車載カメラ毎に異なるマップが適用される。射影変換選択部６１は、俯瞰代替画像生成部６４に対しては、立体物属性情報から読み出された属性に基づいて、俯瞰撮影画像とできるだけ調和する射影変換を選択する。
俯瞰代替画像生成部６４にも複数の種類の射影変換が設定される。俯瞰代替画像生成部６４で実行される射影変換の選択は、代替物（立体物）の種別や、合成先の撮影画像（俯瞰撮影画像）の射影変換の種類（視点位置）に基づいて射影変換選択部６１が行う。なお、俯瞰代替画像生成部６４には、入力した代替画像をそのままスルーして出力する機能も含まれている。
【００３５】
代替画像出力部８０は、検索条件設定部８１、代替画像データベース８２、代替画像抽出部８３、代替画像着色部８４を含む。代替画像データベース８２には、立体物認識部３２によって認識される可能性のある立体物の種別（人物や自動車など）や立体物の姿勢（前向き、横向き、後向きなど）など毎に予め作成されたイメージ（写真やイラストなど）画像が代替画像として検索条件によって選択されるように登録され、格納されている。検索条件設定部８１は、立体物属性情報取得部５４によって立体物属性情報から読み出された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)に基づいて、適合する代替画像を代替画像データベース８２から抽出するための検索条件を設定する。代替画像抽出部８３は、検索条件設定部８１によって設定された検索条件に基づいて代替画像データベースから抽出する。代替画像着色部８４は、抽出された代替画像に対して立体物属性情報に含まれている色情報に基づいて着色する。着色のやり方は、代替画像によって適切なものを採用すればよいが、人物なら上半身部分と下半身部分に分けて設定された塗り付け領域に適正な色を付与するようにしたり、全体を適正色で塗りつけるようにしたりしてもよい。また予め、代替画像に適正色を付与しておいてもよい。ここで適正色とは、運転者がその色で着色された代替画像をみて実際の立体物を想像しやすい色である。三角コーンなら予め付与されている橙色か黄色となり、人物なら撮影画像から得られる上着の色やスカートの色、自動車なら撮影画像や立体物属性情報から得られる車色である。
【００３６】
画像合成部５５は、俯瞰撮影画像の立体物画像領域に俯瞰代替画像生成部６４によって生成された俯瞰代替画像を重ね合わせ合成する。合成方法としては、上書きに限定されず、透明化による重ね合わせなどを採用することができる。合成された代替画像付き俯瞰画像は表示画像としてフレームメモリ５６に転送され、表示制御部７１を介して表示画面としてのモニタ２１の画面に表示される。
【００３７】
次に、上述のように構成された画像生成装置を組み込んだ車両周辺監視システムによる俯瞰画像表示ルーチンを図６のフローチャートと、図７の説明図とを用いて説明する。
この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定されるか又はデフォルト設定されている俯瞰画像の表示種別が読み出される（＃０１）。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰撮影画像生成部６３で用いられる射影変換のためのマップが、利用される車載カメラ１の撮影画像毎に設定される（＃０２）。４台の車載カメラ１の撮影画像を取得する（＃０３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃０４）。生成された俯瞰画像セグメントを組み合わせるとともに、自車両位置に予め設定されている車両の俯瞰イメージ画像（イラストやシンボルでも良い）が配置され、表示用の俯瞰画像が生成される（＃０５）。
【００３８】
以上のルーチンの実行に平行して、立体物属性情報作成ルーチンも実行される。まず、立体物認識モジュール３０を通じて撮影領域に立体物が認識されたかどうかチェックする（＃２０）。立体物が認識された場合（＃２０Yes分岐）、その立体物の位置を算定する（＃２１）。さらに、立体物の種別・姿勢検出処理を行う（＃２２）。この種別・姿勢検出処理には、例えば、顔検出処理や車車間通信処理がある。顔検出処理では、撮影画像における認識された立体物の領域に対して顔検出を行い、もし顔が検出されると、その立体物は人物であると特定され、さらに、その顔の向きから、前向きまたは横向きといった人物の姿勢も推定できる。車車間通信処理では、立体物に対する車車間通信が実現すると、その立体物は自動車であると特定され、さらに、その車両位置ないしは車両の向き、車種（車両形式）などの自動車属性値も得ることが可能となる。この種別・姿勢検出処理において、立体物の種別特定などができなかった場合、その立体物は種別不定、姿勢不定として取り扱われる。種別・姿勢検出処理の結果に基づいて、立体物属性情報が作成される（＃２３）。立体物が認識されない場合（＃２０No分岐）はもちろん立体物属性情報は作成されないが、いずれにしてもこの段階で、属性情報有無通知が出力される（＃２４）。
【００３９】
ここで、俯瞰画像表示ルーチンに戻ると、立体物属性情報が出力されているかどうか上述した属性情報有無通知からチェックされる（＃０６）。立体物属性情報が出力されていない場合（＃０６No分岐）、どの撮影画像にも注目すべき立体物が写り込んでいないとみなして、ステップ＃０５で生成された俯瞰撮影画像をそのまま利用して表示俯瞰画像が生成される（＃１５）。生成された表示俯瞰画像をモニタ２１に表示させ（＃１６）、この俯瞰画像表示ルーチンの終了指令がない限り（＃１７No分岐）、再びステップ＃０１に戻って、このルーチンを繰り返す。
ステップ＃０６のチェックで、立体物認識モジュール３０で立体物属性情報が作成されている場合（＃０６Yes分岐）、注目すべき立体物が撮影画像に写り込んでいるとみなし、立体物属性情報を取得して、立体物属性情報に含まれている、認識された立体物に関する位置、種別、姿勢、色、大きさなどのデータを読み出す（＃０７）。読み出した立体物の位置に関するデータに基づいて俯瞰撮影画像における当該立体物の画像領域を決定する（＃０８）。
【００４０】
次いで、読み出した立体物の属性情報に基づいて、適切な代替画像を抽出するための検索条件を設定する（＃０９）。この検索条件を用いて代替画像データベース８２から代替画像を抽出して、メモリに展開する（＃１０）。必要に応じて、抽出された代替画像に対する画像加工が行われる（＃１１）。画像加工には、抽出された代替画像の大きさを立体物画像領域の大きさに合わせるための拡縮処理や立体物属性情報に含まれている色情報に基づいて代替画像の予め決められている着色領域を着色する着色処理などが含まれる。なお、立体物属性情報に含まれている色情報は、撮影画像に含まれている立体物の画素値に基づいていることから、照明条件等によって、本来の立体物を特徴付けるような色が検知されていないことも有り得る。この着色処理では、そのような事情が発生していると判断された場合、代替画像に着色する色が強調される。また代替画像の輪郭を強調したりする形状明確化処理を代替画像に施してもよい。
【００４１】
着色された代替画像は、撮影画像に対して施された射影変換の種類（視点位置）と、代替画像で代替された立体物の種別や姿勢などに基づいて、最適な射影変換が選択され、そのマップピングデータが俯瞰代替画像生成部６４に設定され（＃１２）、代替画像が射影変換される（＃１３）。もちろん、スルー用マップピングデータが設定され、少なくとも射影変換を施されない代替画像が生成されてもよい。次いで、俯瞰代替画像は俯瞰撮影画像における立体物画像領域に重ね合わせ合成される（＃１４）。このようにして生成された最終的な車両周辺の俯瞰画像は、図７に示すような表示俯瞰画像として生成され（＃１５）、モニタ２１に表示される（＃１６）。最後に、このルーチンの終了チェック、例えば、このバックモニタルーチンに対する中止指令が入っているかどうかがチェックされ（＃１７）、このバックモニタが続行される限り（＃１７No分岐）、ステップ＃０１に戻り、上記プロセスが繰り返される。
【００４２】
〔別実施の形態〕
【００４３】
（１）上述した実施形態では、注目すべき一つの立体物が４つのカメラ１から取得した撮影画像の１つに写されている例を取り上げたが、隣り合うカメラ視野の境界領域では、注目すべき一つの立体物が複数の撮影画像に写されている場合も考えられる。従って、車載カメラが車両全周囲を撮影するために複数設置されているような実施形態において、立体物が２つ以上のカメラの撮影画像に含まれている場合、より面積の大きい方の立体物領域を有する立体物画像が立体物俯瞰画像生成のために抽出されると好都合である。
（２）上述した実施形態では、表示俯瞰画像として４つの撮影画像からを用いた真上視点の俯瞰画像が採用されていた。これに代えて、１つの撮影画像に対して視点変換を行った俯瞰画像を表示俯瞰画像としてもよい。
【産業上の利用可能性】
【００４４】
本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
【符号の説明】
【００４５】
２１：モニタ
２４：外部通信部（車車間通信部）
３０：立体物検知モジュール
３１：立体物検知部
３２：立体物認識部
３３：顔検出部
３４：通信情報処理部
５０：画像処理モジュール
５３：画像生成部
５４：立体物属性情報取得部
５５：画像合成部
６０：俯瞰画像生成部
６１：通常画像生成部
６２：マッピングテーブル
６３：俯瞰撮影画像生成部
６４：俯瞰代替画像生成部
６５：立体物俯瞰画像生成部
６７：立体物画像領域決定部
８０：代替画像出力部
８１：検索条件設定部
８２：代替画像データベース
８３：代替画像抽出部
８４：代替画像着色部
【特許請求の範囲】
【請求項１】
車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置であって、
前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物認識部と、
前記立体物属性情報に含まれている位置情報に基づいて前記撮影画像における前記立体物の画像領域である立体物画像領域を決定する立体物画像領域決定部と、
前記立体物属性情報に含まれている種別情報と姿勢情報とに基づいて特定された立体物の特定された向き姿勢での代替画像を出力する代替画像出力部と、
前記立体物画像領域の位置に前記代替画像出力部から出力された代替画像が合成された代替画像付き俯瞰画像を生成する画像合成部と、
を備えた画像生成装置。
【請求項２】
前記代替画像出力部は、前記立体物の代替画像を格納する代替画像データベースと、当該代替画像データベースから前記立体物属性情報に含まれている種別情報及び姿勢情報を検索条件として前記代替画像を抽出する代替画像抽出部とを含む請求項１に記載の画像生成装置。
【請求項３】
前記立体物認識部には人物の顔を検出する顔検出部が備えられており、前記顔検出部による検出結果に基づいて、認識された立体物が人物であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定される請求項１又は２に記載の画像生成装置。
【請求項４】
前記立体物認識部には、車車間通信による車車間通信情報に基づいて、認識された立体物が自動車であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定される請求項１から３のいずれか一項に記載の画像生成装置。
【請求項５】
前記代替画像出力部は、さらに前記立体物属性情報に含まれている色情報に基づく色で色付けられた前記代替画像を出力する請求項１から４のいずれか一項に記載の画像生成装置。
【請求項６】
前記車両の周囲をカバーするそれぞれ撮影方向が異なる複数の撮影画像から射影変換を用いて車両周囲の俯瞰撮影画像を生成する俯瞰撮影画像生成部が備えられ、前記画像合成部は前記俯瞰撮影画像の前記立体物画像領域に前記代替画像を付与する請求項１から５のいずれか一項に記載の画像生成装置。
【請求項１】
車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置であって、
前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物認識部と、
前記立体物属性情報に含まれている位置情報に基づいて前記撮影画像における前記立体物の画像領域である立体物画像領域を決定する立体物画像領域決定部と、
前記立体物属性情報に含まれている種別情報と姿勢情報とに基づいて特定された立体物の特定された向き姿勢での代替画像を出力する代替画像出力部と、
前記立体物画像領域の位置に前記代替画像出力部から出力された代替画像が合成された代替画像付き俯瞰画像を生成する画像合成部と、
を備えた画像生成装置。
【請求項２】
前記代替画像出力部は、前記立体物の代替画像を格納する代替画像データベースと、当該代替画像データベースから前記立体物属性情報に含まれている種別情報及び姿勢情報を検索条件として前記代替画像を抽出する代替画像抽出部とを含む請求項１に記載の画像生成装置。
【請求項３】
前記立体物認識部には人物の顔を検出する顔検出部が備えられており、前記顔検出部による検出結果に基づいて、認識された立体物が人物であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定される請求項１又は２に記載の画像生成装置。
【請求項４】
前記立体物認識部には、車車間通信による車車間通信情報に基づいて、認識された立体物が自動車であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定される請求項１から３のいずれか一項に記載の画像生成装置。
【請求項５】
前記代替画像出力部は、さらに前記立体物属性情報に含まれている色情報に基づく色で色付けられた前記代替画像を出力する請求項１から４のいずれか一項に記載の画像生成装置。
【請求項６】
前記車両の周囲をカバーするそれぞれ撮影方向が異なる複数の撮影画像から射影変換を用いて車両周囲の俯瞰撮影画像を生成する俯瞰撮影画像生成部が備えられ、前記画像合成部は前記俯瞰撮影画像の前記立体物画像領域に前記代替画像を付与する請求項１から５のいずれか一項に記載の画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２５７１０７（Ｐ２０１２−２５７１０７Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２９３２３（Ｐ２０１１−１２９３２３）
【出願日】平成２３年６月９日（２０１１．６．９）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月９日（２０１１．６．９）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]