車両周辺監視システム
【課題】複数の撮影画像から生成される俯瞰画像の重複領域に現れる物体の撮影方向に関する運転者の理解を容易にする車両周辺監視システムの提供。
【解決手段】部分的に重複させた撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように組み合わせて表示用俯瞰画像を生成する。俯瞰画像における重複領域に重複する撮影画像の境界領域を表す境界指標を付与した境界付き俯瞰画像が表示された後に、俯瞰画像における重複領域に予め設定された融合関係で融合して得られた融合重複画像を用いた融合俯瞰画像が表示される。
【解決手段】部分的に重複させた撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように組み合わせて表示用俯瞰画像を生成する。俯瞰画像における重複領域に重複する撮影画像の境界領域を表す境界指標を付与した境界付き俯瞰画像が表示された後に、俯瞰画像における重複領域に予め設定された融合関係で融合して得られた融合重複画像を用いた融合俯瞰画像が表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように組み合わせて生成された表示用俯瞰画像を表示部に表示する車両周辺監視システムに関する。
【背景技術】
【０００２】
俯瞰画像を生成する従来の車両周辺監視システムでは、一般的に、車載カメラによって取得された撮影画像を路面に平行な投影面に投影することで、つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像が生成される。従って、この俯瞰画像をモニタに表示させることで、運転者が車両周辺の路面状況、特に路面に存在する障害物を良好に監視することができる。しかしながら、その車載カメラには広角レンズが用いられていることから、射影変換を通じて得られた俯瞰画像においてカメラの近傍領域に比べ遠方領域では画像の歪み方が大きくなり、運転者にとって障害物の方向性がつかみ難いという問題がある。例えば、路面に配置された上方に延びた立体物（人や車、さらには工事用三角コーンなどの路上立体物）が各カメラの撮影方向に間延びした歪な形状体となってしまう。特に、各撮影画像から生成された俯瞰画像セグメントを合成した際に生じる互いの重複領域を単純に融合（ブレンド）した場合に、立体物の像がそれぞれの撮影方向に間延びした２つの形状体となるので、さらに見づらくなる。
【０００３】
上記問題を低減するため、特許文献１に記載された車両周辺監視装置では、撮像領域が重複している複数の撮像手段によって、自車の周囲の映像を撮像し、撮像された複数の撮像画像を変換して複数の俯瞰画像を生成し、前記複数の俯瞰画像の差分を計算し、前記重複領域において画像が一致する一致領域と一致しない不一致領域とを確定させ、前記一致領域と前記不一致領域とを異なる方法で合成して出力画像を生成して運転者に表示する。この一致領域と不一致領域とを異なる方法で合成して出力画像を生成することで、重複領域における画像の見にくさの解消を図っている。しかしながら、このようにして生成俯瞰画像において重複領域と非重複領域との境界が分からないので、重複領域に位置している物体の像が、どのカメラで写されたものであるかの判断が難しい。その結果、重複領域に現れている物体（障害物）の位置を把握しづらいという不都合がある。
【０００４】
隣り合うカメラによる２つの撮影画像を合成した際に生じるつなぎ目部分につなぎ目マスクパターン（図では太直線で示されている）を描画する機能や、２つの撮影画像の重複領域の画素を２つの撮影画像の対応する画素の交互選択により平均画像を生成する機能を有する車両周囲監視装置が特許文献２に記載されている。さらに、この特許文献２では、超音波式の障害物検出センサがそのつなぎ目部分に障害物が検出された場合にはそのつなぎ目マスクパターンを点滅させて、運転者に注意を促す機能も記載されている。つまり、つなぎ目部分は撮影画像上の死角としてマスクされているので、つなぎ目部分の俯瞰画像は表示されない。従って、障害物検出センサが搭載されていない場合、運転者がつなぎ目部分に存在する障害物を表示画面で視認することができない。また障害物検出センサが搭載されていたとしても、つなぎ目マスクパターンが点滅するだけであるので、運転者がつなぎ目部分に存在する障害物を表示画面で視認することは困難である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２７９４８号公報（段落番号〔００１１−００５７〕、図８）
【特許文献２】特開２００３‐１６９３２３号公報（段落番号〔００２６−００５２〕、図５、図６）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
車両周辺の俯瞰画像は、上方視点への視点変換処理によって得られる俯瞰画像セグメントの合成によって生成される。この視点変換処理は、路面などである撮影平面に固定した視点変換であるため、各撮影画像において撮影平面上の見え方は同等であるが、その平面から立ち上がった高さを持つ物体に関しては異なる見え方となる。そのため、各俯瞰画像セグメントの境界を示す境界指標を表示した場合、境界指標を境に物体の見え方が急激に変化することで違和感が発生する。特に物体が、細長い立体物の場合は境界付近で完全に消失することも起こり得る。また、重複領域を融合した場合、そのような立体物の消失度合いは改善されるが、物体の投影像が各撮影方向に延びて二重に見えることになり、やはり違和感が発生してしまう。また、融合すべき重複領域のデータ量が大きい場合その融合処理の演算負荷が大きく、かなりの処理時間が要求される。
【０００７】
上記実情に鑑み、パノラマ画像のような連続性のある俯瞰画像を表示して運転者の車両周辺監視を容易にするだけでなく、複数の撮影画像から生成される俯瞰画像セグメントの重複領域に現れる物体の撮影方向に関する運転者の理解も容易にする車両周辺監視システムが要望されている。
【課題を解決するための手段】
【０００８】
車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように組み合わせて生成された表示用俯瞰画像を表示部に表示する車両周辺監視システムにおいて、上記課題を解決するため、本発明のシステムでは、前記表示用俯瞰画像における前記重複領域に、重複する前記撮影画像の境界領域を表す境界指標を付与する境界指標付与部と、前記重複領域を予め設定された融合関係で融合して融合重複画像を生成する融合部と、前記境界指標を有する境界付き俯瞰画像及び前記融合重複画像を有する融合俯瞰画像を前記表示用俯瞰画像として生成する表示用俯瞰画像生成部と、前記表示用俯瞰画像として、前記境界付き俯瞰画像を表示した後に前記融合俯瞰画像を前記表示部に表示する表示画像決定部とを備えている。
【０００９】
この構成では、表示部に表示される表示用俯瞰画像が境界付き俯瞰画像と融合俯瞰画像の２種類が用意される。境界付き俯瞰画像には、複数の撮影画像から生成された俯瞰画像における各撮影画像の境界領域を示す境界指標が含まれているので、それぞれの撮影方向によって取得された各撮影画像が俯瞰画像に及ぼしている範囲、各カメラの撮影視野を把握することができる。従って、この境界指標としては、車両周辺を俯瞰している俯瞰画像における各撮影画像の割り当てが明示される区画線のようなものが適している。これに対して、融合俯瞰画像は、各撮影画像から生成された俯瞰画像セグメントがその重複領域を融合させて合成しているので、パノラマ画像のような連続的につながった画像である。さらに、境界付き俯瞰画像を表示した後に融合俯瞰画像が表示されるので、最初、運転者は、境界指標によって俯瞰画像の元となっている各撮影画像の区分けを明示している境界付き俯瞰画像を通じて撮影方向の境界を頭に入れることができる。そして、その状態で、境界付き俯瞰画像から融合俯瞰画像に表示切り替えが行われることで、運転者は、パノラマ画像のような連続性のある融合俯瞰画像を通じて車両周辺監視が容易となる。しかも、俯瞰画像における撮影方向の境界も記憶に残っているので、重複領域に現れる物体の撮影方向に関する理解も容易となる。
【００１０】
本発明の好適な実施形態の１つでは、前記境界付き俯瞰画像における前記重複領域が一方の俯瞰画像セグメントの重複領域を流用することで前記境界付き俯瞰画像が生成され、当該重複領域が前記融合部で生成された融合重複瞰画像によって置き替わることで前記融合俯瞰画像が生成される。この構成では、まず簡単な視点変換処理と合成で生成できる境界付き俯瞰画像を表示しておいて、その間に融合重複瞰画像用のマッピングテーブルを生成することができる。このため、俯瞰画像変換及び融合処理に使用する変換テーブルをシステムの毎回の起動時に生成する場合、起動時の融合処理の演算に時間的余裕が得られるので、コストのかかる高速の演算ユニットや大容量のＲＯＭを必要としない利点が得られる。
【００１１】
また、融合処理演算が十分な速度で実行できる場合には、融合重複瞰画像が生成されると同時に表示用俯瞰画像として境界付き俯瞰画像に代えて融合俯瞰画像を表示するのではなく、境界付き俯瞰画像を運転者に適切な時間だけ見せておく時間を確保することが重要である。このためには、前記表示画像決定部を、前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前設定された時間の経過後、前記融合俯瞰画像を表示用俯瞰画像として表示するように構成するとよい。
【００１２】
前記表示用俯瞰画像として境界付き俯瞰画像の表示から融合俯瞰画像への切り替え表示を違和感なくスムーズに行うために提案される好適なひとつの形態は、境界付き俯瞰画像が表示されている状態からスタートして、車両近傍から同心円状に順次融合重複画像に切り替えられる形態である。車両周辺の撮影画像を取得する車載カメラは一般的に車両の周囲縁端に取り付けられるので、カメラで自車周辺を走査するように境界付き俯瞰画像の重複領域を車両近傍から同心円状に融合重複画像に切り替えていくと視覚的にはスムーズな画像切り替えとなる。
他の一つの形態は、境界付き俯瞰画像が表示されている状態から融合俯瞰画像に切り替えられる際に境界指標の領域から順次融合重複画像に切り替えられる形態である。境界付き俯瞰画像から融合俯瞰画像への移行にともなって境界指標が消滅するが、この形態では、その境界指標の画像領域から画像切り替えがスタートして融合重複画像がどんどん広がっていくので、運転者の記憶に留めていて欲しい境界指標の位置が意識しやすいという利点がある。
【００１３】
境界付き俯瞰画像が表示されている状態から融合重複画像に切り替えられる際に、運転者の記憶に残って欲しいことは最終的に表示される融合俯瞰画像においてその前まで表示されていた境界指標による境界付き俯瞰画像における区画である。そのため、前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前記融合俯瞰画像への表示替え過程において前記境界指標を強調表示することは有意義である。
また、融合俯瞰画像においても何らかの表示形態で境界の存在を暗示させるため、前記境界付き俯瞰画像から切り替えられた前記融合俯瞰画像にも、前記表示用俯瞰画像の境界指標の表示形態と異なる表示形態の境界指標が付与されてもよい。境界付き俯瞰画像に付与される表示形態の境界指標（境界線）として、半透明性、点線、境界線の一部だけを示す部分線などが好適である。さらには、それらの組み合わせた表示形態を用いてもよい。
【００１４】
前記境界付き俯瞰画像を迅速に生成するための好適な実施形態として、前記複数の俯瞰画像セグメントが互いに重複する重複領域を作り出す際に、融合処理などの演算処理を用いるのではなく、どちらか一方の俯瞰画像セグメントの対応領域をそのまま用いるか、それぞれの俯瞰画像セグメントが互いに分担し合うことで、重複領域に対して融合処理を行わない構成も提案される。
【００１５】
さらに、前記車両周辺監視システムが起動した後に、前記境界付き俯瞰画像が表示されるような構成を採用すると、最初に前記境界付き俯瞰画像を見ることで、画面が融合重複瞰画像に切り替わっても俯瞰画像における撮影方向の境界も記憶に残るので、好都合である。
【図面の簡単な説明】
【００１６】
【図１】、車両周辺領域の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように合成することで表示用俯瞰画像を生成する過程を図解している模式図である。
【図２】表示用俯瞰画像として境界付き俯瞰画像と融合俯瞰画像とが時間差をもって表示される様子を示す模式図である。
【図３】本発明による車両周辺監視システムの一例を搭載した車両の縦列駐車時にモニタに表示する全周囲俯瞰画像の生成手順を図解する模式図である。
【図４】車両周辺監視システムの機能ブロック図である。
【図５】撮影画像から俯瞰画像を含む種々の表示画面を生成する画像処理モジュールの機能ブロック図である。
【図６】車両周辺監視システムによる俯瞰画像表示の流れを示すフローチャートである。
【図７】境界指標としての境界線の種々の描画形態を示す説明図である。
【発明を実施するための形態】
【００１７】
本発明による車両周辺監視システムの具体的な実施形態を説明する前に、その基本原理を説明する。図１には、車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように合成することで表示用俯瞰画像を生成する過程が模式的に示されている。最終的に表示部（モニタ）に表示される表示用俯瞰画像の形態は、境界付き俯瞰画像と融合俯瞰画像の２種類である。なお、一般的には表示用俯瞰画像に車両全周の周辺領域が含まれるように、少なくとも前後左右の４つのカメラが用いられる。各カメラによって取得された４つの撮影画像から生成された俯瞰画像セグメントを組み合わせることで表示用俯瞰画像の基本俯瞰画像としての全周囲俯瞰画像が生成される。図１では図面の複雑化を避けるため、基本的には、フロントカメラ（ここでは第１カメラと称する）と左サイドカメラ（ここでは第２カメラと称する）による第１撮影画像と第２撮影画像とから表示用俯瞰画像を生成する過程に簡略化されているが、この図１とその説明から、容易に車両を中心とする全周囲俯瞰画像の生成過程が推定できる。
【００１８】
表示用俯瞰画像を生成するために、まず車載カメラ、図１では車両前方を撮影領域とする第１カメラと車両左側方を撮影領域とする第２カメラによって車両周辺を撮影する（＃０１）。第１カメラによって取得された第１撮影画像と第２カメラによって取得された第２撮影画像とを用いて、投影面を路面に平行な面とする射影変換処理、つまり真上に仮想視点を設定した視点変換が行われる（＃０２）。この射影変換処理を通じて、各撮影画像からその撮影領域の車両真上からの俯瞰画像である、第１俯瞰画像セグメントと第２俯瞰画像セグメントが得られる（＃０３）。
【００１９】
第１カメラと第２カメラは互いに重複する撮影領域（重複撮影領域）を有するように設定されているので、第１撮影画像と第２撮影画像には重複撮影領域を映し出している重複領域が含まれており、その結果、第１俯瞰画像セグメントと第２俯瞰画像セグメントにも重複領域が含まれる。第１カメラと第２カメラとによる車両周囲の俯瞰画像を得るためには、第１俯瞰画像セグメントと第２俯瞰画像セグメントとが、互いの重複領域が重ね合わさるように組み合わせて合成される。なお、この合成処理は、境界付き俯瞰画像となる表示用俯瞰画像を生成する場合と融合俯瞰画像となる表示用俯瞰画像を生成する場合とでは異なっている。
【００２０】
境界付き俯瞰画像を生成する場合の１つの手法は、第１撮影画像と第２撮影画像のどちらか一方の重複領域をそのまま適用することである。他の１つの手法は、重複領域の等分線である境界線を境として、第１撮影画像側の領域には第１撮影画像の重複領域を適用し、第２撮影画像側の領域には第２撮影画像の重複領域を適用することである。換言すると、融合（ブレンド）処理を行わないと言うことであり、例えば、単なる画像の切り貼り等によって重複領域を作り出すことができる。いずれの手法も単なる画像の移動だけなので高速に処理される。俯瞰画像セグメントを合成して得られた合成画像には、さらに車両イラスト画像と境界指標が付与される。
【００２１】
車両イラスト画像は、車両の上方からみた写真やイラストに基づいて予め作成され、用意されている。境界指標は、元となった第１撮影画像と第２撮影画像の境界領域を表示用俯瞰画像上の重複領域において表すものであり、例えば、重複領域を二等分する境界線の形態を採用することができる。俯瞰画像セグメントの合成画像に、さらに車両イラスト画像と境界指標とを付与することにより、境界付き俯瞰画像が生成される（＃０４）。この境界付き俯瞰画像は、表示用俯瞰画像の初期画像として、最初にモニタに表示される（＃０５）。
【００２２】
表示用俯瞰画像として融合俯瞰画像を生成する場合には、第１俯瞰画像セグメントと第２俯瞰画像セグメントとの互いの重複領域が、所定の融合割合で融合（ブレンド）される（＃１１）。各重複領域において、撮影中心線により近い画素ほど明確な撮影像を作り出す重要な画素であるとみなすと、第１カメラの撮影中心線に近く第２カメラの撮影中心線から遠い位置の画素は第１俯瞰画像セグメントの画素の成分を大きく受けた方がよい。逆に、第２カメラの撮影中心線に近く第１カメラの撮影中心線から遠い位置の画素は第２俯瞰画像セグメントの画素の成分を大きく受けた方がよい。しかしながら、より視認性の高い重複領域の画像を得るためには、第１俯瞰画像セグメントと第２俯瞰画像セグメントの画素成分の平均化する領域も必要である。このことを実現するため、ここでは、以下の式で表されるような融合関数：Ｂを用いて、第１俯瞰画像セグメントと第２俯瞰画像セグメントの融合割合：αを導出する。
α＝Ｂ（Ｌ），
０＜Ｌ≦ａの定義域においてＢは平均変化率または一定変化率λ1で増加する関数、
ｂ＜Ｌ≦最大値の定義域においてＢは平均変化率または一定変化率λ3で増加する関数、
ａ＜Ｌ≦ｂの定義域においてＢはλ1やλ3より小さな変化率λ2で増加又は一定となる関数、
ここで、Ｌは各カメラの視野限界線または各撮影中心線からの距離あるいは視野限界線交点周りの角度であり、この明細書ではこれらの総称として「撮影偏差」を用いる。例えば、重複領域を平面直角座標とすれば、注目画素の位置を第１視野限界線からの距離ｐ１と第２視野限界線からの距離ｐ2で表され、Ｌ＝ｐ１／ｐ2とすることができる。また重複領域を極座標で表し、注目画素の偏角をθとするとＬ＝θとなる。
この関数によって導出される融合割合を持って第１俯瞰画像セグメントと第２俯瞰画像セグメントとの重複領域を融合する。融合された重複領域と第１俯瞰画像セグメントと第２俯瞰画像セグメントとを用いて融合俯瞰画像が生成される（＃１２）。融合俯瞰画像は、境界付き俯瞰画像に対してその重複領域を融合された重複領域で置き替えてモニタに表示される（＃１３）。
【００２３】
つまり、本発明による車両周辺監視システムでは、図２に示すように、モニタに表示される表示用俯瞰画像として、最初に境界付き俯瞰画像が表示され、その後に融合俯瞰画像が表示される。
【００２４】
以下、本発明の具体的な実施形態を図面に基づいて説明する。図３は、本発明による車両周辺監視システムの一例を搭載した自動車（以下車両と略称する）が、後進で縦列駐車する際の周辺監視ためにモニタに表示する全周囲俯瞰画像の生成手順を図解説明する模式図である。図４は、車両周辺監視コントローラ２０を中核要素とする車両周辺監視システムの機能ブロック図である。図５は、周辺監視のために撮影画像から俯瞰画像を含む種々の表示画面を生成する画像処理モジュールの機能ブロック図である。
【００２５】
この実施形態の車両周辺監視システムでは、４つの車載カメラ１、つまりフロントカメラ（第１カメラ）１１、左サイドカメラ（第２カメラ）１２、右サイドカメラ（第３カメラ）１３、バックカメラ（第４カメラ）１４からの撮影画像から車両の全周囲をカバーする表示用俯瞰画像が作成され、モニタ２１に表示される。以下の説明において、適宜、これらの車載カメラ１１、１２、１３、１４を単にカメラ１と総称する。表示用俯瞰画像として、境界付き俯瞰画像と融合俯瞰画像が生成され、この全周囲俯瞰画像による車両周辺監視のスタート時には、まず境界付き俯瞰画像がモニタに表示され、その数秒後に境界付き俯瞰画像に代えて融合俯瞰画像が表示される。
【００２６】
カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えており、水平方向にほぼ１８０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。
【００２７】
俯瞰画像の生成過程では、フロントカメラ１１による前方撮影画像（第１撮影画像と称す）が車両真上からの全周囲俯瞰画像の前方領域画像（第１俯瞰画像セグメントと称する）として射影変換される。同様に、左サイドカメラ１２による左撮影画像（第２撮影画像と称す）、フロントカメラ１３による右撮影画像（第３撮影画像と称す）、バックカメラ１４による後方撮影画像（第４撮影画像と称す）がそれぞれ、全周囲俯瞰画像の左領域画像（第２俯瞰画像セグメントと称する）、右領域画像（第３俯瞰画像セグメントと称する）、後方領域画像（第４俯瞰画像セグメントと称する）として射影変換される。ここでは、射影変換は、マッピングテーブルを用いて行われている。これらの各マッピングテーブルは、路面に平行な面を投影面とする射影変換をもたらすように作成されている。
【００２８】
境界付き俯瞰画像は、第１俯瞰画像セグメントから第４俯瞰画像セグメントまでの俯瞰画像セグメントをその重複領域が重なるように合成し、その重複領域に、対応する２つのカメラ１の撮影視野の境界を明示する境界指標を付与することで生成される。ここでは、境界指標は、重複領域を斜めに二等分する境界線である。従って、４つの各俯瞰画像セグメントの形状は等脚台形となっている。
【００２９】
融合俯瞰画像は、第１俯瞰画像セグメントから第４俯瞰画像セグメントまでの俯瞰画像セグメントをその重複領域が重なるように合成するという点では境界付き俯瞰画像と同じである。重複領域が、当該重複領域を作り出している各俯瞰画像セグメントの対応する画素を所定の融合割合で融合して生成されることで、融合俯瞰画像は境界付き俯瞰画像と異なっている。この実施形態では、各画素における、融合割合：αは、上述した融合関数：α＝Ｂ（Ｌ）に基づいて作成された融合テーブルを用いて読み出すことができる。この融合テーブルは、融合される画素の撮影偏差Ｌを入力パラメータとして、融合割合：αを出力するテーブル構造体である。矩形で表される重複領域の最も車両に近いコーナを原点とした平面直角座標または極座標を考えると、撮影偏差：Ｌが、ｘ座標値とｙ座標値の組み合わせ、あるいは偏角で表すことができる。ここでの、この融合関数の基本的な特徴は、第１定義域と第２定義域と第３定義域の３つの定義域に区分けした場合、第１定義域と第３定義域では単調増加し、第２定義域ではほぼ５０％の一定値をとることである。５０％の融合割合とは、一方の俯瞰画像セグメントの画素と他方の俯瞰画像セグメントの画素が平均化されることである。
【００３０】
車両内部には、車両周辺監視システムの中核をなす車両周辺監視コントローラ２０が設置されている。この車両周辺監視コントローラ２０は、マイクロプロセッサやＤＳＰ（digital signal processor）を備えている。車両周辺監視コントローラ２０は、入出力インターフェースとして通信インターフェース７０を備えている。通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、種々の情報の表示部としてのモニタ２１、入力デバイスとしてのタッチパネル２１Ｔ、車両状態検出センサ群からの信号入力をそのまま又は評価して他のコントローラに転送するセンサコントローラ２３がデータ伝送可能に接続されている。さらにこの車載ＬＡＮには、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御コントローラとしてユニットが備えられている。
【００３１】
センサコントローラ２３に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
【００３２】
そのほか、車両周辺監視コントローラ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部として、車両周辺の立体物を認識する立体物認識モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が備えられている。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
【００３３】
立体物認識モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う立体物検知部３１と、車載カメラ１からの撮影画像を用いて立体物の認識を行う立体物認識部３２とが含まれている。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。立体物認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を認識する。立体物の検知のためには、立体物検知部３１と立体物認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた立体物認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた立体物検知部３１の両方を備えて協働作業させることでより正確な立体物の認識が可能となる。立体物認識モジュール３０は、認識した立体物の位置、姿勢、大きさ、色調などを記述した立体物属性情報を出力する。立体物検知部３１として、レーザレーダーを用いるような他の立体物検知装置の適用も可能である。
【００３４】
図５には、車両周辺監視コントローラ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像を処理して、モニタ２１に表示するための表示用画像を生成する機能を有している。
【００３５】
画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、フレームメモリ５４、表示画像決定部５５、立体物情報取得部５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。表示画像決定部５５は、画像生成部５３で生成される表示画像をモニタ２１に表示するタイミングを決定する。立体物情報取得部５６は、立体物認識モジュール３０から出力された立体物情報を受け取り、当該立体物情報に記述された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)を読み出す。
【００３６】
画像生成部５３は、通常画像生成部４０と表示用俯瞰画像生成部６を備えている。通常画像生成部４０は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、フロントカメラ１１、左・右サイドカメラ１２,１３、バックカメラ１４による撮影画像から運転者によって選択された１つでもよいし、複数の撮影画像の組み合わせでもよい。
【００３７】
表示用俯瞰画像生成部６には、俯瞰画像生成部６１、俯瞰マッピングテーブル６２、境界付き俯瞰画像生成部６３、融合俯瞰画像生成部６４が含まれている。複数の撮影画像からそれぞれの俯瞰画像セグメントを生成し、当該俯瞰画像セグメントを互いの重複領域を重ね合わせるように組み合わせて表示用俯瞰画像を生成する。表示用俯瞰画像としては、重複領域に対応するカメラ視野の境界領域（撮影画像の境界領域）を表す境界指標が付与されている境界付き俯瞰画像、及び重複領域が予め設定された融合関係で２つの俯瞰画像セグメントの対応する領域を融合している融合俯瞰画像が生成される。
【００３８】
俯瞰画像生成部６１は、撮影画像メモリ５１に展開されている撮影画像から視点変換（射影変換）処理を通じて、車両を中心とした車両周辺の俯瞰画像を生成する。この実施形態では、俯瞰画像生成部６１は、各カメラ１からの撮影画像を俯瞰マッピングテーブル６２に格納されている射影変換テーブルを用いたマップ変換によって俯瞰画像セグメントを生成する、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、俯瞰マッピングテーブル６２と称している。俯瞰マッピングテーブル６２を構成する変換マップは、撮影画像の画素データと俯瞰撮影画像の画素データとの対応関係を記述している。１フレームの撮影画像の各画素に、俯瞰撮影画像における行き先画素座標が記述されており、車載カメラ毎に異なるマップが適用される。フロントカメラ１１からの第１撮影画像から第１俯瞰画像セグメントが生成され、左サイドカメラ１２からの第２撮影画像から第２俯瞰画像セグメントが生成され、右サイドカメラカメラ１３からの第３撮影画像から第３俯瞰画像セグメントが生成され、バックカメラ１４からの第４撮影画像から第４俯瞰画像セグメントが生成される。なお、複数の異なる視点からの俯瞰画像を選択的に生成する構成を採用する場合には、異なる変換マップが選択可能なように構築される。
【００３９】
第１俯瞰画像セグメントから第４俯瞰画像セグメントを組み合わせて車両を中心とする車両全周囲の俯瞰画像を生成する際に隣り合う俯瞰画像セグメントとの間に４つの重複領域が生じる。境界付き俯瞰画像生成部６３と融合俯瞰画像生成部６４との違いは、この重複領域の画像生成の方法である。
境界付き俯瞰画像生成部６３は、この重複領域に、重複する撮影画像の境界領域を表す境界指標を描画する。例えば、重複する撮影画像の境界領域とは、双方の撮影視野を区分けする領域であるので、第１俯瞰画像セグメントと第２俯瞰セグメントとの重複領域の中心線を、この矩形の重複領域の対角線（車両の左前コーナ部と一端とする対角線）とみなすことができる。従って、ここでは、この重複領域の対角線上に描画される特定色の太線を境界指標とする。もちろん、太線以外に点線を用いても良いし、形状を扇形にしても良い。特定色としては黒色が適しているが、背景が黒系色の場合、白色など識別しやすい色を用いることが好ましい。境界指標の種類や色は、自動的に選択するようにしてもよいし、ユーザによって選択可能としてもよい。この目的のために、境界付き俯瞰画像生成部６３は、重複領域に境界領域を表す境界指標を付与する境界指標付与部６６とそのような境界指標の画像アイテムを格納している境界指標格納部６７を含んでいる。
【００４０】
融合俯瞰画像生成部６４は、この重複領域に２つの俯瞰画像セグメントの重複部分を用いて融合させた融合画像（アルファブレンド画像）を適用する。この目的のため、融合俯瞰画像生成部６４は、俯瞰画像セグメントの重複領域を予め設定された融合関係で融合して融合重複画像を生成する融合部６８と、当該融合関係をテーブル化して設定している融合テーブル６９とを含んでいる。融合（アルファブレンド）処理自体はよく知られているが、本発明で用いられている融合処理は、撮影画像から視点変換された俯瞰画像という特殊な条件に鑑み、そのような俯瞰画像の重複領域に適した以下のような融合関係を用いている。
【００４１】
この融合関係の主旨は、重複領域を作り出している２つのカメラのうちの一方の撮影中心線から極めて近い位置をもつ画素はその一方のカメラに基づく俯瞰画像セグメントの方の画素に重きをおき、他方の撮影中心線から極めて近い位置をもつ画素はその他方のカメラに基づく俯瞰画像セグメントの方の画素に重きをおくということである。さらに重要なことは、それ以外の画素では両方の俯瞰画像セグメントの平均をとるということである。
この融合関係を一般的な融合関数：Ｂで言い換えると、
α＝Ｂ（Ｌ）となる。
ここで、αは一方の俯瞰画像セグメントと他方の俯瞰画像セグメントの融合割合であり、Ｌは撮影偏差である。
しかも、この融合関数は以下の３つの定義域で異なっている。
（１）０＜Ｌ≦ａの定義域においてＢは平均変化率または一定変化率λ1で増加する。
（２）ｂ＜Ｌ≦最大値の定義域においてＢは平均変化率または一定変化率λ3で増加する。
（３）ａ＜Ｌ≦ｂの定義域においてＢはλ1やλ3より小さな変化率λ2で増加又は一定となる。
【００４２】
境界付き俯瞰画像生成部６３によって生成される境界付き俯瞰画像及び融合俯瞰画像生成部６４によって生成される融合俯瞰画像はフレームメモリ５４に転送される。境界付き俯瞰画像は単に画像貼り付けだけで、融合俯瞰画像に比べてはるかに短時間で生成される。さらに、境界付き俯瞰画像は、その境界指標を通じて車両中心の車両周囲俯瞰画像における各カメラによる撮影視野を運転者に把握させる役割を持っている。従って、境界付き俯瞰画像を融合俯瞰画像に先立って（数秒程度）モニタ２１に表示することが重要である。このことは、境界付き俯瞰画像を表示させている間に、融合俯瞰画像を生成するという利点も得られる。表示画像決定部５５は、フレームメモリ５４に転送された境界付き俯瞰画像と融合俯瞰画像とを適切なタイミングで表示用俯瞰画像として、表示制御部７１に送り、モニタ２１に表示させる。
【００４３】
次に、上述のように構成された車両周辺監視システムによる俯瞰画像表示の流れを図６のフローチャートを用いて説明する。
車両周辺を監視するために俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定された表示種別又はデフォルト設定されている俯瞰画像の表示種別が読み出される（＃２１）。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰画像生成部６１で用いられる射影変換のためのマップが俯瞰マッピングテーブル６２において設定される（＃２２）。ここでは、４台の車載カメラ１の撮影画像が取得される（＃２３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃２４）。次いで、生成された第１から第４までの俯瞰画像セグメントを用いた境界付き俯瞰画像の生成処理要求が境界付き俯瞰画像生成部６３に与えられ（＃２５）、図１による基本原理に基づく境界付き俯瞰画像生成処理が実行される（＃３０）。同時に、生成された第１俯瞰画像セグメントから第４俯瞰画像セグメントまでの俯瞰画像セグメントを用いた融合俯瞰画像の生成処理要求が融合俯瞰画像生成部６４に与えられ（＃２６）、図１による基本原理に基づく融合俯瞰画像生成処理が実行される（＃４０）。
【００４４】
境界付き俯瞰画像の生成が完了したかどうか判定される（＃５１）。この判定は境界付き俯瞰画像生成部６３で発行される生成完了通知により行われる。境界付き俯瞰画像の生成が完了すると（＃５１Yes分岐）、タイマをスタートさせて（＃５２）、境界付き俯瞰画像をモニタに表示させる（＃５３）。次に、タイマが設定時間（数秒）に達したかどうかチェックして（＃５４）、設定時間に達するまで境界付き俯瞰画像の表示が続く（＃５４No分岐）。タイマが設定時間に達すると（＃５４Yes分岐）、次は、融合俯瞰画像の生成が完了しているかどうか判定される（＃５５）。この判定は融合俯瞰画像生成部６４で発行される生成完了通知により行われる。融合俯瞰画像の生成が完了していると（＃５５Yes分岐）、まず、境界付き俯瞰画像の境界指標（境界太線）を所定時間だけ点滅させ、運転者に境界付き俯瞰画像から融合俯瞰画像へ表示変更することを知らせる（＃５６）。なお、融合俯瞰画像へ表示変更の直前に境界指標を点滅させるのではなく、最初から境界指標が点滅するように境界付き俯瞰画像を表示させてもよい。次いで、融合俯瞰画像を境界付き俯瞰画像に代えてモニタ２１に表示させる（＃５７）。この俯瞰画像表示ルーチンの終了指令がない限り（＃５８No分岐）、再びステップ＃２１に戻って、このルーチンを繰り返す。
【００４５】
なお、上述したルーチンでは、境界付き俯瞰画像の生成と表示が新しい撮影画像が取得するたびに行われる制御の流れで説明していたが、境界付き俯瞰画像の生成と表示をこのルーチンの起動時だけ、あるいは所定の時間間隔で行うのが一般的である。より具体的には、この車両周辺監視システムが、ドライバによるスイッチ（車両周辺監視システムの起動スイッチなど）オンやシフトリバース（後進段への変速操作）や車速をトリガとして起動した後に境界付き俯瞰画像の生成と表示を行う。そして、車両周辺監視システムは境界付き俯瞰画像の表示中に並行して融合俯瞰画像を生成しておき、所定時間後に融合俯瞰画像を表示する。このように構成することの１つの利点は、起動後すぐに境界付き俯瞰画像を表示できるので運転者に違和感を与えないという点である。
【００４６】
〔別実施の形態〕
（１）上述した実施形態では、図２に示すように、最初に表示された境界付き俯瞰画像はその後に境界指標（境界線）のない融合俯瞰画像に切り替えられていた。これに代えて、融合俯瞰画像においても何らかの表示形態で境界指標（境界線）の存在を暗示させてもよい。つまり、上述した実施形態で、境界付き俯瞰画像において隣接するカメラ１の撮影視野の境界を明示するために描画された境界指標としての重複領域を斜めに二等分する太実線の境界線を、図７で示すように種々の表示形態で融合俯瞰画像においても描画する。図７の（ａ）で示された表示形態では、境界線は半透明化されている。例えば５０％透明化することより、境界線の視認と境界領域の融合画像の視認が可能となる。また、図７の（ｂ）で示された表示形態では、境界線の一部だけが表示され、他の一部は消去されている。この例では、境界線の外端部分だけが表示されている。換言すると、融合俯瞰画像における境界指標（境界線）の長さが、境界付き俯瞰画像における境界指標（境界線）の長さよりも短くなっているとも言える。この場合は、表示される境界線が部分的であっても視認しやすいように強調表示すると好都合である。さらに、図７の（ｃ）で示された表示形態では、境界線が部分的に描画されている。ここでは点線として描画されているが、もちろん等間隔ピッチでなく不等間隔ピッチの点線を用いてもよい。なお、図７の（ｂ）や（ｃ）の表示形態においても、その境界線を半透明化してもよい。
これらのように構成することで、融合俯瞰画像において境界線の視認と境界領域の融合画像の視認が可能となる。すなわち、融合俯瞰画像において境界線が存在する領域の近傍は、複数のカメラにより撮影された画像が融合された部位であることをユーザに伝達することが可能となる。
さらには、図示されていないが、融合俯瞰画像において境界線の視認と境界領域の融合画像の視認とが可能となるように境界の存在を暗示させる細線を用いていもよい。特にこの場合、最初に表示された境界付き俯瞰画像には、太線で境界指標（境界線）を描画し、その後に切り替えられた融合俯瞰画像に境界指標（境界線）を細線で描画する形態（すなわち、融合俯瞰画像に表示された境界指標（境界線）の太さを、境界付き俯瞰画像に表示される境界指標（境界線）の太さよりも細くして描画される形態）は、視覚的に境界線の視認と境界領域の融合画像の視認に関して効果的なものとなる。
また、図７の（ａ）（ｂ）（ｃ）で示した境界指標（境界線）の表示形態に上記細線による境界指標（境界線）の描画を組み合わせる形態も採用可能である。例えば、図７の（ａ）（ｂ）（ｃ）で示した境界指標（境界線）の各表示形態と、上記細線による境界指標（境界線）の表示形態とを全て組み合わせてもよいし、図７の（ａ）（ｂ）（ｃ）で示した境界指標（境界線）の表示形態それぞれに上記細線による境界指標（境界線）の表示形態を組み合わせる形態も採用可能である。
【００４７】
（２）上述した実施形態では、境界付き俯瞰画像や融合俯瞰画像の表示は、立体物認識モジュール３０による立体物の検出と関係なしに行われた。これに代えて、立体物情報処理部５６が立体物情報を受け取った場合、その立体物の位置に応じて、融合部６８によって使用する融合関数を変更してもよいし、立体物の位置俯瞰画像を生成する際の視点位置を変更してもよい。
（３）上述した実施形態では、表示用俯瞰画像の生成過程を分かりやすく説明するため、表示用俯瞰画像生成部６の構成を機能別にブロック化しているが、この機能ブロックは説明目的であり、本発明がこのようなブロックレイアウトに限定されるわけではない。例えば、撮影画像から複合的な変換テーブルを用いて直接境界付き俯瞰画像や融合俯瞰画像を生成してもよい。記載された機能が実現できる限り、その機能ブロックは種々の形態をとることができる。
【産業上の利用可能性】
【００４８】
本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
【符号の説明】
【００４９】
２１：モニタ（表示部）
５０：画像処理モジュール
５３：画像生成部
５５：表示画像決定部
６：表示用俯瞰画像生成部
６１：俯瞰画像生成部
６２：俯瞰マッピングテーブル
６３：境界付き俯瞰画像生成部
６４：融合俯瞰画像生成部
６６：境界指標付与部
６７：境界指標格納部
６８：融合部
６９：融合テーブル
７１：表示制御部
【技術分野】
【０００１】
本発明は、車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように組み合わせて生成された表示用俯瞰画像を表示部に表示する車両周辺監視システムに関する。
【背景技術】
【０００２】
俯瞰画像を生成する従来の車両周辺監視システムでは、一般的に、車載カメラによって取得された撮影画像を路面に平行な投影面に投影することで、つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像が生成される。従って、この俯瞰画像をモニタに表示させることで、運転者が車両周辺の路面状況、特に路面に存在する障害物を良好に監視することができる。しかしながら、その車載カメラには広角レンズが用いられていることから、射影変換を通じて得られた俯瞰画像においてカメラの近傍領域に比べ遠方領域では画像の歪み方が大きくなり、運転者にとって障害物の方向性がつかみ難いという問題がある。例えば、路面に配置された上方に延びた立体物（人や車、さらには工事用三角コーンなどの路上立体物）が各カメラの撮影方向に間延びした歪な形状体となってしまう。特に、各撮影画像から生成された俯瞰画像セグメントを合成した際に生じる互いの重複領域を単純に融合（ブレンド）した場合に、立体物の像がそれぞれの撮影方向に間延びした２つの形状体となるので、さらに見づらくなる。
【０００３】
上記問題を低減するため、特許文献１に記載された車両周辺監視装置では、撮像領域が重複している複数の撮像手段によって、自車の周囲の映像を撮像し、撮像された複数の撮像画像を変換して複数の俯瞰画像を生成し、前記複数の俯瞰画像の差分を計算し、前記重複領域において画像が一致する一致領域と一致しない不一致領域とを確定させ、前記一致領域と前記不一致領域とを異なる方法で合成して出力画像を生成して運転者に表示する。この一致領域と不一致領域とを異なる方法で合成して出力画像を生成することで、重複領域における画像の見にくさの解消を図っている。しかしながら、このようにして生成俯瞰画像において重複領域と非重複領域との境界が分からないので、重複領域に位置している物体の像が、どのカメラで写されたものであるかの判断が難しい。その結果、重複領域に現れている物体（障害物）の位置を把握しづらいという不都合がある。
【０００４】
隣り合うカメラによる２つの撮影画像を合成した際に生じるつなぎ目部分につなぎ目マスクパターン（図では太直線で示されている）を描画する機能や、２つの撮影画像の重複領域の画素を２つの撮影画像の対応する画素の交互選択により平均画像を生成する機能を有する車両周囲監視装置が特許文献２に記載されている。さらに、この特許文献２では、超音波式の障害物検出センサがそのつなぎ目部分に障害物が検出された場合にはそのつなぎ目マスクパターンを点滅させて、運転者に注意を促す機能も記載されている。つまり、つなぎ目部分は撮影画像上の死角としてマスクされているので、つなぎ目部分の俯瞰画像は表示されない。従って、障害物検出センサが搭載されていない場合、運転者がつなぎ目部分に存在する障害物を表示画面で視認することができない。また障害物検出センサが搭載されていたとしても、つなぎ目マスクパターンが点滅するだけであるので、運転者がつなぎ目部分に存在する障害物を表示画面で視認することは困難である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２７９４８号公報（段落番号〔００１１−００５７〕、図８）
【特許文献２】特開２００３‐１６９３２３号公報（段落番号〔００２６−００５２〕、図５、図６）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
車両周辺の俯瞰画像は、上方視点への視点変換処理によって得られる俯瞰画像セグメントの合成によって生成される。この視点変換処理は、路面などである撮影平面に固定した視点変換であるため、各撮影画像において撮影平面上の見え方は同等であるが、その平面から立ち上がった高さを持つ物体に関しては異なる見え方となる。そのため、各俯瞰画像セグメントの境界を示す境界指標を表示した場合、境界指標を境に物体の見え方が急激に変化することで違和感が発生する。特に物体が、細長い立体物の場合は境界付近で完全に消失することも起こり得る。また、重複領域を融合した場合、そのような立体物の消失度合いは改善されるが、物体の投影像が各撮影方向に延びて二重に見えることになり、やはり違和感が発生してしまう。また、融合すべき重複領域のデータ量が大きい場合その融合処理の演算負荷が大きく、かなりの処理時間が要求される。
【０００７】
上記実情に鑑み、パノラマ画像のような連続性のある俯瞰画像を表示して運転者の車両周辺監視を容易にするだけでなく、複数の撮影画像から生成される俯瞰画像セグメントの重複領域に現れる物体の撮影方向に関する運転者の理解も容易にする車両周辺監視システムが要望されている。
【課題を解決するための手段】
【０００８】
車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように組み合わせて生成された表示用俯瞰画像を表示部に表示する車両周辺監視システムにおいて、上記課題を解決するため、本発明のシステムでは、前記表示用俯瞰画像における前記重複領域に、重複する前記撮影画像の境界領域を表す境界指標を付与する境界指標付与部と、前記重複領域を予め設定された融合関係で融合して融合重複画像を生成する融合部と、前記境界指標を有する境界付き俯瞰画像及び前記融合重複画像を有する融合俯瞰画像を前記表示用俯瞰画像として生成する表示用俯瞰画像生成部と、前記表示用俯瞰画像として、前記境界付き俯瞰画像を表示した後に前記融合俯瞰画像を前記表示部に表示する表示画像決定部とを備えている。
【０００９】
この構成では、表示部に表示される表示用俯瞰画像が境界付き俯瞰画像と融合俯瞰画像の２種類が用意される。境界付き俯瞰画像には、複数の撮影画像から生成された俯瞰画像における各撮影画像の境界領域を示す境界指標が含まれているので、それぞれの撮影方向によって取得された各撮影画像が俯瞰画像に及ぼしている範囲、各カメラの撮影視野を把握することができる。従って、この境界指標としては、車両周辺を俯瞰している俯瞰画像における各撮影画像の割り当てが明示される区画線のようなものが適している。これに対して、融合俯瞰画像は、各撮影画像から生成された俯瞰画像セグメントがその重複領域を融合させて合成しているので、パノラマ画像のような連続的につながった画像である。さらに、境界付き俯瞰画像を表示した後に融合俯瞰画像が表示されるので、最初、運転者は、境界指標によって俯瞰画像の元となっている各撮影画像の区分けを明示している境界付き俯瞰画像を通じて撮影方向の境界を頭に入れることができる。そして、その状態で、境界付き俯瞰画像から融合俯瞰画像に表示切り替えが行われることで、運転者は、パノラマ画像のような連続性のある融合俯瞰画像を通じて車両周辺監視が容易となる。しかも、俯瞰画像における撮影方向の境界も記憶に残っているので、重複領域に現れる物体の撮影方向に関する理解も容易となる。
【００１０】
本発明の好適な実施形態の１つでは、前記境界付き俯瞰画像における前記重複領域が一方の俯瞰画像セグメントの重複領域を流用することで前記境界付き俯瞰画像が生成され、当該重複領域が前記融合部で生成された融合重複瞰画像によって置き替わることで前記融合俯瞰画像が生成される。この構成では、まず簡単な視点変換処理と合成で生成できる境界付き俯瞰画像を表示しておいて、その間に融合重複瞰画像用のマッピングテーブルを生成することができる。このため、俯瞰画像変換及び融合処理に使用する変換テーブルをシステムの毎回の起動時に生成する場合、起動時の融合処理の演算に時間的余裕が得られるので、コストのかかる高速の演算ユニットや大容量のＲＯＭを必要としない利点が得られる。
【００１１】
また、融合処理演算が十分な速度で実行できる場合には、融合重複瞰画像が生成されると同時に表示用俯瞰画像として境界付き俯瞰画像に代えて融合俯瞰画像を表示するのではなく、境界付き俯瞰画像を運転者に適切な時間だけ見せておく時間を確保することが重要である。このためには、前記表示画像決定部を、前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前設定された時間の経過後、前記融合俯瞰画像を表示用俯瞰画像として表示するように構成するとよい。
【００１２】
前記表示用俯瞰画像として境界付き俯瞰画像の表示から融合俯瞰画像への切り替え表示を違和感なくスムーズに行うために提案される好適なひとつの形態は、境界付き俯瞰画像が表示されている状態からスタートして、車両近傍から同心円状に順次融合重複画像に切り替えられる形態である。車両周辺の撮影画像を取得する車載カメラは一般的に車両の周囲縁端に取り付けられるので、カメラで自車周辺を走査するように境界付き俯瞰画像の重複領域を車両近傍から同心円状に融合重複画像に切り替えていくと視覚的にはスムーズな画像切り替えとなる。
他の一つの形態は、境界付き俯瞰画像が表示されている状態から融合俯瞰画像に切り替えられる際に境界指標の領域から順次融合重複画像に切り替えられる形態である。境界付き俯瞰画像から融合俯瞰画像への移行にともなって境界指標が消滅するが、この形態では、その境界指標の画像領域から画像切り替えがスタートして融合重複画像がどんどん広がっていくので、運転者の記憶に留めていて欲しい境界指標の位置が意識しやすいという利点がある。
【００１３】
境界付き俯瞰画像が表示されている状態から融合重複画像に切り替えられる際に、運転者の記憶に残って欲しいことは最終的に表示される融合俯瞰画像においてその前まで表示されていた境界指標による境界付き俯瞰画像における区画である。そのため、前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前記融合俯瞰画像への表示替え過程において前記境界指標を強調表示することは有意義である。
また、融合俯瞰画像においても何らかの表示形態で境界の存在を暗示させるため、前記境界付き俯瞰画像から切り替えられた前記融合俯瞰画像にも、前記表示用俯瞰画像の境界指標の表示形態と異なる表示形態の境界指標が付与されてもよい。境界付き俯瞰画像に付与される表示形態の境界指標（境界線）として、半透明性、点線、境界線の一部だけを示す部分線などが好適である。さらには、それらの組み合わせた表示形態を用いてもよい。
【００１４】
前記境界付き俯瞰画像を迅速に生成するための好適な実施形態として、前記複数の俯瞰画像セグメントが互いに重複する重複領域を作り出す際に、融合処理などの演算処理を用いるのではなく、どちらか一方の俯瞰画像セグメントの対応領域をそのまま用いるか、それぞれの俯瞰画像セグメントが互いに分担し合うことで、重複領域に対して融合処理を行わない構成も提案される。
【００１５】
さらに、前記車両周辺監視システムが起動した後に、前記境界付き俯瞰画像が表示されるような構成を採用すると、最初に前記境界付き俯瞰画像を見ることで、画面が融合重複瞰画像に切り替わっても俯瞰画像における撮影方向の境界も記憶に残るので、好都合である。
【図面の簡単な説明】
【００１６】
【図１】、車両周辺領域の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように合成することで表示用俯瞰画像を生成する過程を図解している模式図である。
【図２】表示用俯瞰画像として境界付き俯瞰画像と融合俯瞰画像とが時間差をもって表示される様子を示す模式図である。
【図３】本発明による車両周辺監視システムの一例を搭載した車両の縦列駐車時にモニタに表示する全周囲俯瞰画像の生成手順を図解する模式図である。
【図４】車両周辺監視システムの機能ブロック図である。
【図５】撮影画像から俯瞰画像を含む種々の表示画面を生成する画像処理モジュールの機能ブロック図である。
【図６】車両周辺監視システムによる俯瞰画像表示の流れを示すフローチャートである。
【図７】境界指標としての境界線の種々の描画形態を示す説明図である。
【発明を実施するための形態】
【００１７】
本発明による車両周辺監視システムの具体的な実施形態を説明する前に、その基本原理を説明する。図１には、車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように合成することで表示用俯瞰画像を生成する過程が模式的に示されている。最終的に表示部（モニタ）に表示される表示用俯瞰画像の形態は、境界付き俯瞰画像と融合俯瞰画像の２種類である。なお、一般的には表示用俯瞰画像に車両全周の周辺領域が含まれるように、少なくとも前後左右の４つのカメラが用いられる。各カメラによって取得された４つの撮影画像から生成された俯瞰画像セグメントを組み合わせることで表示用俯瞰画像の基本俯瞰画像としての全周囲俯瞰画像が生成される。図１では図面の複雑化を避けるため、基本的には、フロントカメラ（ここでは第１カメラと称する）と左サイドカメラ（ここでは第２カメラと称する）による第１撮影画像と第２撮影画像とから表示用俯瞰画像を生成する過程に簡略化されているが、この図１とその説明から、容易に車両を中心とする全周囲俯瞰画像の生成過程が推定できる。
【００１８】
表示用俯瞰画像を生成するために、まず車載カメラ、図１では車両前方を撮影領域とする第１カメラと車両左側方を撮影領域とする第２カメラによって車両周辺を撮影する（＃０１）。第１カメラによって取得された第１撮影画像と第２カメラによって取得された第２撮影画像とを用いて、投影面を路面に平行な面とする射影変換処理、つまり真上に仮想視点を設定した視点変換が行われる（＃０２）。この射影変換処理を通じて、各撮影画像からその撮影領域の車両真上からの俯瞰画像である、第１俯瞰画像セグメントと第２俯瞰画像セグメントが得られる（＃０３）。
【００１９】
第１カメラと第２カメラは互いに重複する撮影領域（重複撮影領域）を有するように設定されているので、第１撮影画像と第２撮影画像には重複撮影領域を映し出している重複領域が含まれており、その結果、第１俯瞰画像セグメントと第２俯瞰画像セグメントにも重複領域が含まれる。第１カメラと第２カメラとによる車両周囲の俯瞰画像を得るためには、第１俯瞰画像セグメントと第２俯瞰画像セグメントとが、互いの重複領域が重ね合わさるように組み合わせて合成される。なお、この合成処理は、境界付き俯瞰画像となる表示用俯瞰画像を生成する場合と融合俯瞰画像となる表示用俯瞰画像を生成する場合とでは異なっている。
【００２０】
境界付き俯瞰画像を生成する場合の１つの手法は、第１撮影画像と第２撮影画像のどちらか一方の重複領域をそのまま適用することである。他の１つの手法は、重複領域の等分線である境界線を境として、第１撮影画像側の領域には第１撮影画像の重複領域を適用し、第２撮影画像側の領域には第２撮影画像の重複領域を適用することである。換言すると、融合（ブレンド）処理を行わないと言うことであり、例えば、単なる画像の切り貼り等によって重複領域を作り出すことができる。いずれの手法も単なる画像の移動だけなので高速に処理される。俯瞰画像セグメントを合成して得られた合成画像には、さらに車両イラスト画像と境界指標が付与される。
【００２１】
車両イラスト画像は、車両の上方からみた写真やイラストに基づいて予め作成され、用意されている。境界指標は、元となった第１撮影画像と第２撮影画像の境界領域を表示用俯瞰画像上の重複領域において表すものであり、例えば、重複領域を二等分する境界線の形態を採用することができる。俯瞰画像セグメントの合成画像に、さらに車両イラスト画像と境界指標とを付与することにより、境界付き俯瞰画像が生成される（＃０４）。この境界付き俯瞰画像は、表示用俯瞰画像の初期画像として、最初にモニタに表示される（＃０５）。
【００２２】
表示用俯瞰画像として融合俯瞰画像を生成する場合には、第１俯瞰画像セグメントと第２俯瞰画像セグメントとの互いの重複領域が、所定の融合割合で融合（ブレンド）される（＃１１）。各重複領域において、撮影中心線により近い画素ほど明確な撮影像を作り出す重要な画素であるとみなすと、第１カメラの撮影中心線に近く第２カメラの撮影中心線から遠い位置の画素は第１俯瞰画像セグメントの画素の成分を大きく受けた方がよい。逆に、第２カメラの撮影中心線に近く第１カメラの撮影中心線から遠い位置の画素は第２俯瞰画像セグメントの画素の成分を大きく受けた方がよい。しかしながら、より視認性の高い重複領域の画像を得るためには、第１俯瞰画像セグメントと第２俯瞰画像セグメントの画素成分の平均化する領域も必要である。このことを実現するため、ここでは、以下の式で表されるような融合関数：Ｂを用いて、第１俯瞰画像セグメントと第２俯瞰画像セグメントの融合割合：αを導出する。
α＝Ｂ（Ｌ），
０＜Ｌ≦ａの定義域においてＢは平均変化率または一定変化率λ1で増加する関数、
ｂ＜Ｌ≦最大値の定義域においてＢは平均変化率または一定変化率λ3で増加する関数、
ａ＜Ｌ≦ｂの定義域においてＢはλ1やλ3より小さな変化率λ2で増加又は一定となる関数、
ここで、Ｌは各カメラの視野限界線または各撮影中心線からの距離あるいは視野限界線交点周りの角度であり、この明細書ではこれらの総称として「撮影偏差」を用いる。例えば、重複領域を平面直角座標とすれば、注目画素の位置を第１視野限界線からの距離ｐ１と第２視野限界線からの距離ｐ2で表され、Ｌ＝ｐ１／ｐ2とすることができる。また重複領域を極座標で表し、注目画素の偏角をθとするとＬ＝θとなる。
この関数によって導出される融合割合を持って第１俯瞰画像セグメントと第２俯瞰画像セグメントとの重複領域を融合する。融合された重複領域と第１俯瞰画像セグメントと第２俯瞰画像セグメントとを用いて融合俯瞰画像が生成される（＃１２）。融合俯瞰画像は、境界付き俯瞰画像に対してその重複領域を融合された重複領域で置き替えてモニタに表示される（＃１３）。
【００２３】
つまり、本発明による車両周辺監視システムでは、図２に示すように、モニタに表示される表示用俯瞰画像として、最初に境界付き俯瞰画像が表示され、その後に融合俯瞰画像が表示される。
【００２４】
以下、本発明の具体的な実施形態を図面に基づいて説明する。図３は、本発明による車両周辺監視システムの一例を搭載した自動車（以下車両と略称する）が、後進で縦列駐車する際の周辺監視ためにモニタに表示する全周囲俯瞰画像の生成手順を図解説明する模式図である。図４は、車両周辺監視コントローラ２０を中核要素とする車両周辺監視システムの機能ブロック図である。図５は、周辺監視のために撮影画像から俯瞰画像を含む種々の表示画面を生成する画像処理モジュールの機能ブロック図である。
【００２５】
この実施形態の車両周辺監視システムでは、４つの車載カメラ１、つまりフロントカメラ（第１カメラ）１１、左サイドカメラ（第２カメラ）１２、右サイドカメラ（第３カメラ）１３、バックカメラ（第４カメラ）１４からの撮影画像から車両の全周囲をカバーする表示用俯瞰画像が作成され、モニタ２１に表示される。以下の説明において、適宜、これらの車載カメラ１１、１２、１３、１４を単にカメラ１と総称する。表示用俯瞰画像として、境界付き俯瞰画像と融合俯瞰画像が生成され、この全周囲俯瞰画像による車両周辺監視のスタート時には、まず境界付き俯瞰画像がモニタに表示され、その数秒後に境界付き俯瞰画像に代えて融合俯瞰画像が表示される。
【００２６】
カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えており、水平方向にほぼ１８０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。
【００２７】
俯瞰画像の生成過程では、フロントカメラ１１による前方撮影画像（第１撮影画像と称す）が車両真上からの全周囲俯瞰画像の前方領域画像（第１俯瞰画像セグメントと称する）として射影変換される。同様に、左サイドカメラ１２による左撮影画像（第２撮影画像と称す）、フロントカメラ１３による右撮影画像（第３撮影画像と称す）、バックカメラ１４による後方撮影画像（第４撮影画像と称す）がそれぞれ、全周囲俯瞰画像の左領域画像（第２俯瞰画像セグメントと称する）、右領域画像（第３俯瞰画像セグメントと称する）、後方領域画像（第４俯瞰画像セグメントと称する）として射影変換される。ここでは、射影変換は、マッピングテーブルを用いて行われている。これらの各マッピングテーブルは、路面に平行な面を投影面とする射影変換をもたらすように作成されている。
【００２８】
境界付き俯瞰画像は、第１俯瞰画像セグメントから第４俯瞰画像セグメントまでの俯瞰画像セグメントをその重複領域が重なるように合成し、その重複領域に、対応する２つのカメラ１の撮影視野の境界を明示する境界指標を付与することで生成される。ここでは、境界指標は、重複領域を斜めに二等分する境界線である。従って、４つの各俯瞰画像セグメントの形状は等脚台形となっている。
【００２９】
融合俯瞰画像は、第１俯瞰画像セグメントから第４俯瞰画像セグメントまでの俯瞰画像セグメントをその重複領域が重なるように合成するという点では境界付き俯瞰画像と同じである。重複領域が、当該重複領域を作り出している各俯瞰画像セグメントの対応する画素を所定の融合割合で融合して生成されることで、融合俯瞰画像は境界付き俯瞰画像と異なっている。この実施形態では、各画素における、融合割合：αは、上述した融合関数：α＝Ｂ（Ｌ）に基づいて作成された融合テーブルを用いて読み出すことができる。この融合テーブルは、融合される画素の撮影偏差Ｌを入力パラメータとして、融合割合：αを出力するテーブル構造体である。矩形で表される重複領域の最も車両に近いコーナを原点とした平面直角座標または極座標を考えると、撮影偏差：Ｌが、ｘ座標値とｙ座標値の組み合わせ、あるいは偏角で表すことができる。ここでの、この融合関数の基本的な特徴は、第１定義域と第２定義域と第３定義域の３つの定義域に区分けした場合、第１定義域と第３定義域では単調増加し、第２定義域ではほぼ５０％の一定値をとることである。５０％の融合割合とは、一方の俯瞰画像セグメントの画素と他方の俯瞰画像セグメントの画素が平均化されることである。
【００３０】
車両内部には、車両周辺監視システムの中核をなす車両周辺監視コントローラ２０が設置されている。この車両周辺監視コントローラ２０は、マイクロプロセッサやＤＳＰ（digital signal processor）を備えている。車両周辺監視コントローラ２０は、入出力インターフェースとして通信インターフェース７０を備えている。通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、種々の情報の表示部としてのモニタ２１、入力デバイスとしてのタッチパネル２１Ｔ、車両状態検出センサ群からの信号入力をそのまま又は評価して他のコントローラに転送するセンサコントローラ２３がデータ伝送可能に接続されている。さらにこの車載ＬＡＮには、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御コントローラとしてユニットが備えられている。
【００３１】
センサコントローラ２３に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
【００３２】
そのほか、車両周辺監視コントローラ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部として、車両周辺の立体物を認識する立体物認識モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が備えられている。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
【００３３】
立体物認識モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う立体物検知部３１と、車載カメラ１からの撮影画像を用いて立体物の認識を行う立体物認識部３２とが含まれている。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。立体物認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を認識する。立体物の検知のためには、立体物検知部３１と立体物認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた立体物認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた立体物検知部３１の両方を備えて協働作業させることでより正確な立体物の認識が可能となる。立体物認識モジュール３０は、認識した立体物の位置、姿勢、大きさ、色調などを記述した立体物属性情報を出力する。立体物検知部３１として、レーザレーダーを用いるような他の立体物検知装置の適用も可能である。
【００３４】
図５には、車両周辺監視コントローラ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像を処理して、モニタ２１に表示するための表示用画像を生成する機能を有している。
【００３５】
画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、フレームメモリ５４、表示画像決定部５５、立体物情報取得部５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。表示画像決定部５５は、画像生成部５３で生成される表示画像をモニタ２１に表示するタイミングを決定する。立体物情報取得部５６は、立体物認識モジュール３０から出力された立体物情報を受け取り、当該立体物情報に記述された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)を読み出す。
【００３６】
画像生成部５３は、通常画像生成部４０と表示用俯瞰画像生成部６を備えている。通常画像生成部４０は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、フロントカメラ１１、左・右サイドカメラ１２,１３、バックカメラ１４による撮影画像から運転者によって選択された１つでもよいし、複数の撮影画像の組み合わせでもよい。
【００３７】
表示用俯瞰画像生成部６には、俯瞰画像生成部６１、俯瞰マッピングテーブル６２、境界付き俯瞰画像生成部６３、融合俯瞰画像生成部６４が含まれている。複数の撮影画像からそれぞれの俯瞰画像セグメントを生成し、当該俯瞰画像セグメントを互いの重複領域を重ね合わせるように組み合わせて表示用俯瞰画像を生成する。表示用俯瞰画像としては、重複領域に対応するカメラ視野の境界領域（撮影画像の境界領域）を表す境界指標が付与されている境界付き俯瞰画像、及び重複領域が予め設定された融合関係で２つの俯瞰画像セグメントの対応する領域を融合している融合俯瞰画像が生成される。
【００３８】
俯瞰画像生成部６１は、撮影画像メモリ５１に展開されている撮影画像から視点変換（射影変換）処理を通じて、車両を中心とした車両周辺の俯瞰画像を生成する。この実施形態では、俯瞰画像生成部６１は、各カメラ１からの撮影画像を俯瞰マッピングテーブル６２に格納されている射影変換テーブルを用いたマップ変換によって俯瞰画像セグメントを生成する、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、俯瞰マッピングテーブル６２と称している。俯瞰マッピングテーブル６２を構成する変換マップは、撮影画像の画素データと俯瞰撮影画像の画素データとの対応関係を記述している。１フレームの撮影画像の各画素に、俯瞰撮影画像における行き先画素座標が記述されており、車載カメラ毎に異なるマップが適用される。フロントカメラ１１からの第１撮影画像から第１俯瞰画像セグメントが生成され、左サイドカメラ１２からの第２撮影画像から第２俯瞰画像セグメントが生成され、右サイドカメラカメラ１３からの第３撮影画像から第３俯瞰画像セグメントが生成され、バックカメラ１４からの第４撮影画像から第４俯瞰画像セグメントが生成される。なお、複数の異なる視点からの俯瞰画像を選択的に生成する構成を採用する場合には、異なる変換マップが選択可能なように構築される。
【００３９】
第１俯瞰画像セグメントから第４俯瞰画像セグメントを組み合わせて車両を中心とする車両全周囲の俯瞰画像を生成する際に隣り合う俯瞰画像セグメントとの間に４つの重複領域が生じる。境界付き俯瞰画像生成部６３と融合俯瞰画像生成部６４との違いは、この重複領域の画像生成の方法である。
境界付き俯瞰画像生成部６３は、この重複領域に、重複する撮影画像の境界領域を表す境界指標を描画する。例えば、重複する撮影画像の境界領域とは、双方の撮影視野を区分けする領域であるので、第１俯瞰画像セグメントと第２俯瞰セグメントとの重複領域の中心線を、この矩形の重複領域の対角線（車両の左前コーナ部と一端とする対角線）とみなすことができる。従って、ここでは、この重複領域の対角線上に描画される特定色の太線を境界指標とする。もちろん、太線以外に点線を用いても良いし、形状を扇形にしても良い。特定色としては黒色が適しているが、背景が黒系色の場合、白色など識別しやすい色を用いることが好ましい。境界指標の種類や色は、自動的に選択するようにしてもよいし、ユーザによって選択可能としてもよい。この目的のために、境界付き俯瞰画像生成部６３は、重複領域に境界領域を表す境界指標を付与する境界指標付与部６６とそのような境界指標の画像アイテムを格納している境界指標格納部６７を含んでいる。
【００４０】
融合俯瞰画像生成部６４は、この重複領域に２つの俯瞰画像セグメントの重複部分を用いて融合させた融合画像（アルファブレンド画像）を適用する。この目的のため、融合俯瞰画像生成部６４は、俯瞰画像セグメントの重複領域を予め設定された融合関係で融合して融合重複画像を生成する融合部６８と、当該融合関係をテーブル化して設定している融合テーブル６９とを含んでいる。融合（アルファブレンド）処理自体はよく知られているが、本発明で用いられている融合処理は、撮影画像から視点変換された俯瞰画像という特殊な条件に鑑み、そのような俯瞰画像の重複領域に適した以下のような融合関係を用いている。
【００４１】
この融合関係の主旨は、重複領域を作り出している２つのカメラのうちの一方の撮影中心線から極めて近い位置をもつ画素はその一方のカメラに基づく俯瞰画像セグメントの方の画素に重きをおき、他方の撮影中心線から極めて近い位置をもつ画素はその他方のカメラに基づく俯瞰画像セグメントの方の画素に重きをおくということである。さらに重要なことは、それ以外の画素では両方の俯瞰画像セグメントの平均をとるということである。
この融合関係を一般的な融合関数：Ｂで言い換えると、
α＝Ｂ（Ｌ）となる。
ここで、αは一方の俯瞰画像セグメントと他方の俯瞰画像セグメントの融合割合であり、Ｌは撮影偏差である。
しかも、この融合関数は以下の３つの定義域で異なっている。
（１）０＜Ｌ≦ａの定義域においてＢは平均変化率または一定変化率λ1で増加する。
（２）ｂ＜Ｌ≦最大値の定義域においてＢは平均変化率または一定変化率λ3で増加する。
（３）ａ＜Ｌ≦ｂの定義域においてＢはλ1やλ3より小さな変化率λ2で増加又は一定となる。
【００４２】
境界付き俯瞰画像生成部６３によって生成される境界付き俯瞰画像及び融合俯瞰画像生成部６４によって生成される融合俯瞰画像はフレームメモリ５４に転送される。境界付き俯瞰画像は単に画像貼り付けだけで、融合俯瞰画像に比べてはるかに短時間で生成される。さらに、境界付き俯瞰画像は、その境界指標を通じて車両中心の車両周囲俯瞰画像における各カメラによる撮影視野を運転者に把握させる役割を持っている。従って、境界付き俯瞰画像を融合俯瞰画像に先立って（数秒程度）モニタ２１に表示することが重要である。このことは、境界付き俯瞰画像を表示させている間に、融合俯瞰画像を生成するという利点も得られる。表示画像決定部５５は、フレームメモリ５４に転送された境界付き俯瞰画像と融合俯瞰画像とを適切なタイミングで表示用俯瞰画像として、表示制御部７１に送り、モニタ２１に表示させる。
【００４３】
次に、上述のように構成された車両周辺監視システムによる俯瞰画像表示の流れを図６のフローチャートを用いて説明する。
車両周辺を監視するために俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定された表示種別又はデフォルト設定されている俯瞰画像の表示種別が読み出される（＃２１）。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰画像生成部６１で用いられる射影変換のためのマップが俯瞰マッピングテーブル６２において設定される（＃２２）。ここでは、４台の車載カメラ１の撮影画像が取得される（＃２３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃２４）。次いで、生成された第１から第４までの俯瞰画像セグメントを用いた境界付き俯瞰画像の生成処理要求が境界付き俯瞰画像生成部６３に与えられ（＃２５）、図１による基本原理に基づく境界付き俯瞰画像生成処理が実行される（＃３０）。同時に、生成された第１俯瞰画像セグメントから第４俯瞰画像セグメントまでの俯瞰画像セグメントを用いた融合俯瞰画像の生成処理要求が融合俯瞰画像生成部６４に与えられ（＃２６）、図１による基本原理に基づく融合俯瞰画像生成処理が実行される（＃４０）。
【００４４】
境界付き俯瞰画像の生成が完了したかどうか判定される（＃５１）。この判定は境界付き俯瞰画像生成部６３で発行される生成完了通知により行われる。境界付き俯瞰画像の生成が完了すると（＃５１Yes分岐）、タイマをスタートさせて（＃５２）、境界付き俯瞰画像をモニタに表示させる（＃５３）。次に、タイマが設定時間（数秒）に達したかどうかチェックして（＃５４）、設定時間に達するまで境界付き俯瞰画像の表示が続く（＃５４No分岐）。タイマが設定時間に達すると（＃５４Yes分岐）、次は、融合俯瞰画像の生成が完了しているかどうか判定される（＃５５）。この判定は融合俯瞰画像生成部６４で発行される生成完了通知により行われる。融合俯瞰画像の生成が完了していると（＃５５Yes分岐）、まず、境界付き俯瞰画像の境界指標（境界太線）を所定時間だけ点滅させ、運転者に境界付き俯瞰画像から融合俯瞰画像へ表示変更することを知らせる（＃５６）。なお、融合俯瞰画像へ表示変更の直前に境界指標を点滅させるのではなく、最初から境界指標が点滅するように境界付き俯瞰画像を表示させてもよい。次いで、融合俯瞰画像を境界付き俯瞰画像に代えてモニタ２１に表示させる（＃５７）。この俯瞰画像表示ルーチンの終了指令がない限り（＃５８No分岐）、再びステップ＃２１に戻って、このルーチンを繰り返す。
【００４５】
なお、上述したルーチンでは、境界付き俯瞰画像の生成と表示が新しい撮影画像が取得するたびに行われる制御の流れで説明していたが、境界付き俯瞰画像の生成と表示をこのルーチンの起動時だけ、あるいは所定の時間間隔で行うのが一般的である。より具体的には、この車両周辺監視システムが、ドライバによるスイッチ（車両周辺監視システムの起動スイッチなど）オンやシフトリバース（後進段への変速操作）や車速をトリガとして起動した後に境界付き俯瞰画像の生成と表示を行う。そして、車両周辺監視システムは境界付き俯瞰画像の表示中に並行して融合俯瞰画像を生成しておき、所定時間後に融合俯瞰画像を表示する。このように構成することの１つの利点は、起動後すぐに境界付き俯瞰画像を表示できるので運転者に違和感を与えないという点である。
【００４６】
〔別実施の形態〕
（１）上述した実施形態では、図２に示すように、最初に表示された境界付き俯瞰画像はその後に境界指標（境界線）のない融合俯瞰画像に切り替えられていた。これに代えて、融合俯瞰画像においても何らかの表示形態で境界指標（境界線）の存在を暗示させてもよい。つまり、上述した実施形態で、境界付き俯瞰画像において隣接するカメラ１の撮影視野の境界を明示するために描画された境界指標としての重複領域を斜めに二等分する太実線の境界線を、図７で示すように種々の表示形態で融合俯瞰画像においても描画する。図７の（ａ）で示された表示形態では、境界線は半透明化されている。例えば５０％透明化することより、境界線の視認と境界領域の融合画像の視認が可能となる。また、図７の（ｂ）で示された表示形態では、境界線の一部だけが表示され、他の一部は消去されている。この例では、境界線の外端部分だけが表示されている。換言すると、融合俯瞰画像における境界指標（境界線）の長さが、境界付き俯瞰画像における境界指標（境界線）の長さよりも短くなっているとも言える。この場合は、表示される境界線が部分的であっても視認しやすいように強調表示すると好都合である。さらに、図７の（ｃ）で示された表示形態では、境界線が部分的に描画されている。ここでは点線として描画されているが、もちろん等間隔ピッチでなく不等間隔ピッチの点線を用いてもよい。なお、図７の（ｂ）や（ｃ）の表示形態においても、その境界線を半透明化してもよい。
これらのように構成することで、融合俯瞰画像において境界線の視認と境界領域の融合画像の視認が可能となる。すなわち、融合俯瞰画像において境界線が存在する領域の近傍は、複数のカメラにより撮影された画像が融合された部位であることをユーザに伝達することが可能となる。
さらには、図示されていないが、融合俯瞰画像において境界線の視認と境界領域の融合画像の視認とが可能となるように境界の存在を暗示させる細線を用いていもよい。特にこの場合、最初に表示された境界付き俯瞰画像には、太線で境界指標（境界線）を描画し、その後に切り替えられた融合俯瞰画像に境界指標（境界線）を細線で描画する形態（すなわち、融合俯瞰画像に表示された境界指標（境界線）の太さを、境界付き俯瞰画像に表示される境界指標（境界線）の太さよりも細くして描画される形態）は、視覚的に境界線の視認と境界領域の融合画像の視認に関して効果的なものとなる。
また、図７の（ａ）（ｂ）（ｃ）で示した境界指標（境界線）の表示形態に上記細線による境界指標（境界線）の描画を組み合わせる形態も採用可能である。例えば、図７の（ａ）（ｂ）（ｃ）で示した境界指標（境界線）の各表示形態と、上記細線による境界指標（境界線）の表示形態とを全て組み合わせてもよいし、図７の（ａ）（ｂ）（ｃ）で示した境界指標（境界線）の表示形態それぞれに上記細線による境界指標（境界線）の表示形態を組み合わせる形態も採用可能である。
【００４７】
（２）上述した実施形態では、境界付き俯瞰画像や融合俯瞰画像の表示は、立体物認識モジュール３０による立体物の検出と関係なしに行われた。これに代えて、立体物情報処理部５６が立体物情報を受け取った場合、その立体物の位置に応じて、融合部６８によって使用する融合関数を変更してもよいし、立体物の位置俯瞰画像を生成する際の視点位置を変更してもよい。
（３）上述した実施形態では、表示用俯瞰画像の生成過程を分かりやすく説明するため、表示用俯瞰画像生成部６の構成を機能別にブロック化しているが、この機能ブロックは説明目的であり、本発明がこのようなブロックレイアウトに限定されるわけではない。例えば、撮影画像から複合的な変換テーブルを用いて直接境界付き俯瞰画像や融合俯瞰画像を生成してもよい。記載された機能が実現できる限り、その機能ブロックは種々の形態をとることができる。
【産業上の利用可能性】
【００４８】
本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
【符号の説明】
【００４９】
２１：モニタ（表示部）
５０：画像処理モジュール
５３：画像生成部
５５：表示画像決定部
６：表示用俯瞰画像生成部
６１：俯瞰画像生成部
６２：俯瞰マッピングテーブル
６３：境界付き俯瞰画像生成部
６４：融合俯瞰画像生成部
６６：境界指標付与部
６７：境界指標格納部
６８：融合部
６９：融合テーブル
７１：表示制御部
【特許請求の範囲】
【請求項１】
車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントに基づいて生成された表示用俯瞰画像を表示部に表示する車両周辺監視システムにおいて、
隣り合う前記俯瞰画像セグメントの境界領域を表す境界指標を前記表示用俯瞰画像に付与する境界指標付与部と、
前記複数の俯瞰画像セグメントが互いに重複する重複領域を予め設定された融合関係で融合して融合重複画像を生成する融合部と、
前記境界指標を有する境界付き俯瞰画像及び前記融合重複画像を有する融合俯瞰画像を前記表示用俯瞰画像として生成する表示用俯瞰画像生成部と、
前記表示用俯瞰画像として、前記境界付き俯瞰画像を表示した後に前記融合俯瞰画像を前記表示部に表示する表示画像決定部とを備える車両周辺監視システム。
【請求項２】
前記境界付き俯瞰画像における前記重複領域が一方の俯瞰画像セグメントの重複領域を流用することで前記境界付き俯瞰画像が生成され、当該重複領域が前記融合部で生成された融合重複瞰画像によって置き替えられることで前記融合俯瞰画像が生成される請求項１に記載の車両周辺監視システム。
【請求項３】
前記表示画像決定部は、前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前設定された時間の経過後、前記融合俯瞰画像を表示用俯瞰画像として表示する請求項１に記載の車両周辺監視システム。
【請求項４】
前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前記融合俯瞰画像への表示替え過程において、車両近傍から同心円状に順次前記融合重複画像に切り替えられる請求項１から３のいずれか一項に記載の車両周辺監視システム。
【請求項５】
前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前記融合俯瞰画像への表示替え過程において、前記境界指標領域から順次前記融合重複画像に切り替えられる請求項１から３のいずれか一項に記載の車両周辺監視システム。
【請求項６】
前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前記融合俯瞰画像への表示替え過程において前記境界指標を強調表示する請求項１から５のいずれか一項に記載の車両周辺監視システム。
【請求項７】
前記境界付き俯瞰画像では、前記複数の俯瞰画像セグメントが互いに重複する重複領域に対して融合処理を行わない請求項１から６のいずれか一項に記載の車両周辺監視システム。
【請求項８】
前記境界付き俯瞰画像は、前記車両周辺監視システムが起動した後に表示される請求項１から７のいずれか一項に記載の車両周辺監視システム。
【請求項９】
前記融合俯瞰画像に境界指標を付与する請求項１から８のいずれか一項に記載の車両周辺監視システム。
【請求項１０】
前記融合俯瞰画像に付与される境界指標は半透明である請求項９に記載の車両周辺監視システム。
【請求項１１】
前記融合俯瞰画像に付与される境界指標は、前記表示用俯瞰画像に付与される境界指標よりも短い請求項９または１０に記載の車両周辺監視システム。
【請求項１２】
前記融合俯瞰画像に付与される境界指標は、点線である請求項９から１１のいずれか一項に記載の車両周辺監視システム。
【請求項１３】
前記融合俯瞰画像に付与される境界指標は、前記表示用俯瞰画像に付与される境界指標よりも細い請求項９から１２のいずれか一項に記載の車両周辺監視システム。
【請求項１４】
前記融合俯瞰画像には、前記表示用俯瞰画像の境界指標の表示形態と異なる表示形態の境界指標が付与される請求項１から８のいずれか一項に記載の車両周辺監視システム。
【請求項１】
車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントに基づいて生成された表示用俯瞰画像を表示部に表示する車両周辺監視システムにおいて、
隣り合う前記俯瞰画像セグメントの境界領域を表す境界指標を前記表示用俯瞰画像に付与する境界指標付与部と、
前記複数の俯瞰画像セグメントが互いに重複する重複領域を予め設定された融合関係で融合して融合重複画像を生成する融合部と、
前記境界指標を有する境界付き俯瞰画像及び前記融合重複画像を有する融合俯瞰画像を前記表示用俯瞰画像として生成する表示用俯瞰画像生成部と、
前記表示用俯瞰画像として、前記境界付き俯瞰画像を表示した後に前記融合俯瞰画像を前記表示部に表示する表示画像決定部とを備える車両周辺監視システム。
【請求項２】
前記境界付き俯瞰画像における前記重複領域が一方の俯瞰画像セグメントの重複領域を流用することで前記境界付き俯瞰画像が生成され、当該重複領域が前記融合部で生成された融合重複瞰画像によって置き替えられることで前記融合俯瞰画像が生成される請求項１に記載の車両周辺監視システム。
【請求項３】
前記表示画像決定部は、前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前設定された時間の経過後、前記融合俯瞰画像を表示用俯瞰画像として表示する請求項１に記載の車両周辺監視システム。
【請求項４】
前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前記融合俯瞰画像への表示替え過程において、車両近傍から同心円状に順次前記融合重複画像に切り替えられる請求項１から３のいずれか一項に記載の車両周辺監視システム。
【請求項５】
前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前記融合俯瞰画像への表示替え過程において、前記境界指標領域から順次前記融合重複画像に切り替えられる請求項１から３のいずれか一項に記載の車両周辺監視システム。
【請求項６】
前記表示用俯瞰画像としての前記境界付き俯瞰画像の表示から前記融合俯瞰画像への表示替え過程において前記境界指標を強調表示する請求項１から５のいずれか一項に記載の車両周辺監視システム。
【請求項７】
前記境界付き俯瞰画像では、前記複数の俯瞰画像セグメントが互いに重複する重複領域に対して融合処理を行わない請求項１から６のいずれか一項に記載の車両周辺監視システム。
【請求項８】
前記境界付き俯瞰画像は、前記車両周辺監視システムが起動した後に表示される請求項１から７のいずれか一項に記載の車両周辺監視システム。
【請求項９】
前記融合俯瞰画像に境界指標を付与する請求項１から８のいずれか一項に記載の車両周辺監視システム。
【請求項１０】
前記融合俯瞰画像に付与される境界指標は半透明である請求項９に記載の車両周辺監視システム。
【請求項１１】
前記融合俯瞰画像に付与される境界指標は、前記表示用俯瞰画像に付与される境界指標よりも短い請求項９または１０に記載の車両周辺監視システム。
【請求項１２】
前記融合俯瞰画像に付与される境界指標は、点線である請求項９から１１のいずれか一項に記載の車両周辺監視システム。
【請求項１３】
前記融合俯瞰画像に付与される境界指標は、前記表示用俯瞰画像に付与される境界指標よりも細い請求項９から１２のいずれか一項に記載の車両周辺監視システム。
【請求項１４】
前記融合俯瞰画像には、前記表示用俯瞰画像の境界指標の表示形態と異なる表示形態の境界指標が付与される請求項１から８のいずれか一項に記載の車両周辺監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−３０８３３（Ｐ２０１３−３０８３３Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６３４８２（Ｐ２０１１−１６３４８２）
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]