車両周辺監視システム
【課題】各撮影画像から構成される車両周辺俯瞰画像において俯瞰画像セグメントの重複領域に現れる物体に対する運転者の視認性を改善する。
【解決手段】俯瞰画像セグメントの重複領域を予め設定された融合関数で融合して融合重複画像が生成される。融合関数は、重ね合わされる一方の撮影画像の撮影視野限界線と他方の撮影画像の撮影視野限界線との交点である基準点周りの角度に基づいて、または、一方の撮影画像の撮影視野限界線からの距離である第１パラメータと他方の撮影画像の撮影視野限界線からの距離である第２パラメータとに基づいて、あるいは、一方の撮影画像の撮影点と他方の撮影画像の撮影点とからの離散度に基づいて、重複領域における一方の撮影画像の画素成分と他方の撮影画像の画素成分との融合割合を導出する。
【解決手段】俯瞰画像セグメントの重複領域を予め設定された融合関数で融合して融合重複画像が生成される。融合関数は、重ね合わされる一方の撮影画像の撮影視野限界線と他方の撮影画像の撮影視野限界線との交点である基準点周りの角度に基づいて、または、一方の撮影画像の撮影視野限界線からの距離である第１パラメータと他方の撮影画像の撮影視野限界線からの距離である第２パラメータとに基づいて、あるいは、一方の撮影画像の撮影点と他方の撮影画像の撮影点とからの離散度に基づいて、重複領域における一方の撮影画像の画素成分と他方の撮影画像の画素成分との融合割合を導出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように組み合わせて生成された表示用俯瞰画像を表示部に表示する車両周辺監視システムに関する。
【背景技術】
【０００２】
俯瞰画像を生成する従来の車両周辺監視システムでは、一般的に、車載カメラによって取得された撮影画像を路面に平行な投影面に投影することで、つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像が生成される。従って、この俯瞰画像をモニタに表示させることで、運転者が車両周辺の路面状況、特に路面に存在する障害物を良好に監視することができる。しかしながら、その車載カメラには広角レンズが用いられていることから、射影変換を通じて得られた俯瞰画像においてカメラの近傍領域に比べ遠方領域では画像の歪み方が大きくなり、運転者にとって障害物の方向性がつかみ難いという問題がある。例えば、路面に配置された上方に延びた立体物（人や車、さらには工事用三角コーンなどの路上立体物）が各カメラの撮影方向に間延びした歪な形状体となってしまう。特に、各撮影画像から生成された俯瞰画像セグメントを合成した際に生じる互いの重複領域を単純に融合（ブレンド）した場合に、立体物の像がそれぞれの撮影方向に間延びした２つの形状体となるので、さらに見づらくなる。
【０００３】
上記問題を低減するため、特許文献１に記載された車両周辺監視装置では、撮像領域が重複している複数の撮像手段によって、自車の周囲の映像を撮像し、撮像された複数の撮像画像を変換して複数の俯瞰画像を生成し、前記複数の俯瞰画像の差分を計算し、前記重複領域において画像が一致する一致領域と一致しない不一致領域とを確定させ、前記一致領域と前記不一致領域とを異なる方法で合成して出力画像を生成して運転者に表示する。この一致領域と不一致領域とを異なる方法で合成して出力画像を生成することで、重複領域における画像の見にくさの解消を図っている。しかしながら、このようにして生成俯瞰画像において重複領域と非重複領域との境界が分からないので、重複領域に位置している物体の像が、どのカメラで写されたものであるかの判断が難しい。その結果、重複領域に現れている物体（障害物）の位置を把握しづらいという不都合がある。
【０００４】
隣り合うカメラによる２つの撮影画像の重複領域の画素を２つの撮影画像の対応する画素の交互選択により平均画像を生成する機能を有する車両周囲監視装置が特許文献２に記載されている。このように重複領域の全てを平均化しても、結果的には、立体物の撮影方向に延びた投影像がぼやけてしまうことになる。また、この重複領域に対して、互いの撮影中心からの距離に比例する重みを施してブレンドするアルファブレンド処理を施しても、やはり立体物の投影像がぼやけることになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２７９４８号公報（段落番号〔００１１−００５７〕、図８）
【特許文献２】特開２００３‐１６９３２３号公報（段落番号〔００２６−００５２〕、図５、図６）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
車両周辺の俯瞰画像は、上方視点への視点変換処理によって得られる俯瞰画像セグメントの合成によって生成される。この視点変換処理は、路面などである撮影平面に固定した視点変換であるため、各撮影画像において撮影平面上の見え方は同等であるが、その平面から立ち上がった高さを持つ物体に関しては異なる見え方となる。その際に、歪な物体の見え方、つまり物体の投影像が各撮影方向に延びてしまう違和感は、その投影像が撮影点ないしは撮影中心から遠ざかった位置にあるほど大きくなり、重複領域に現れる物体に対する運転者の視認性を悪くしている。
【０００７】
上記実情に鑑み、パノラマ画像のような連続性のある俯瞰画像を表示して運転者の車両周辺監視を容易にするだけでなく、各撮影画像から生成される俯瞰画像セグメントの組み合わせで構成される車両周辺俯瞰画像において俯瞰画像セグメントの重複領域に現れる物体に対する運転者の視認性を改善することが要望されている。
【課題を解決するための手段】
【０００８】
上記課題を解決する本発明は、前記重複領域を、各カメラの視野限界線または各撮影中心からの距離あるいは視野限界線交点周りの角度に応じて融合度を変化させる領域と変化させない一定割合となる領域とに設定することで、従来よりも視認性の高い画質が得られるという発明者の知見に基づいている。ここでの「融合度を変化させない一定割合」は厳密な意味ではなく、変化させる領域に比べてその変化度がきわめて少ないという意味である。つまり、この融合度の変化曲線が線形ではないと解釈できる。なお、この明細書では、各カメラの視野限界線または各撮影中心からの距離あるいは視野限界線交点周りの角度を「撮影偏差」と呼ぶ。「撮影偏差」は、２つのカメラに基づく画像の重なり領域である重複領域における画素の位置を、視点変換による像の歪みを考慮して定義している値である。
【０００９】
車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように組み合わせて生成された表示用俯瞰画像を表示部に表示する車両周辺監視システムにおいて上記課題を解決するために、本発明によるシステムでは、前記俯瞰画像セグメントの重複領域を予め設定された融合関数で融合して融合重複画像を生成する融合部が備えられ、前記融合関数は、前記重ね合わされる一方の撮影画像の撮影視野限界線と他方の撮影画像の撮影視野限界線との交点である基準点周りの角度に基づいて、または、前記一方の撮影画像の撮影視野限界線からの距離である第１パラメータと前記他方の撮影画像の撮影視野限界線からの距離である第２パラメータとに基づいて、あるいは、前記一方の撮影画像の撮影点と前記他方の撮影画像の撮影点とからの離散度に基づいて、前記重複領域における一方の撮影画像の画素成分と他方の撮影画像の画素成分との融合割合を導出する。
この構成により、重複領域は、撮影画像に依存するパラメータに応じて決定される融合割合で、一方の撮影画像と他方の撮影画像の融合が行われる。これにより、融合された撮影画像に対する違和感が低減される。
【００１０】
本発明による好適な形態の１つでは、前記融合関数は、前記基準点周りの角度が前記いずれかの撮影画像の撮影点側に寄るほど当該撮影画像の画素成分の融合割合が増加する増加定義領域と、当該増加領域に挟まれた、融合割合が一定となる中間定義領域を有する。
この構成では、一方の撮影画像の撮影視野限界線と他方の撮影画像の撮影視野限界線との交点である基準点を角度中心とする注目画素（融合すべき画素）の極座標値がパラメータとなって、融合度を変化させる領域と変化させない一定割合となる領域とに設定することで、従来よりも視認性の高い重複領域の画質が得られる。このパラメータは重複領域を極座標とする角度（偏角）で表されるので、融合演算処理が簡単となる。
【００１１】
本発明による好適な形態の他の１つでは、前記融合関数は、前記第１パラメータと前記第２パラメータとの比が増加するほど前記画素成分の融合割合が大きくなる２つの端部定義領域と、この２つの端部定義領域に挟まれて前記第１パラメータ対前記第２パラメータの比の増減に関わらず前記画素成分の融合割合が一定となる中間定義領域を有する。
この構成では、重複領域の内側境界線を形成する各撮影視野限界線を横・縦座標軸とした注目画素（融合すべき画素）の座標値が第１パラメータと第２パラメータとなって、融合度を変化させる領域と変化させない一定割合となる領域とに設定することで、従来よりも視認性の高い調伏領域の画質が得られる。第１パラメータと第２パラメータは重複領域を平面直角座標とする座標値で表されるので、融合演算処理が簡単となる。
【００１２】
上述した本発明で採用されている融合関数は、数学的な表現で一般化することができる。そのように表現された本発明による好適な形態の他の１つでは、
前記融合関数：Ｂが、以下の式、
α＝Ｂ（Ｌ），
０≦Ｌ≦ａの定義域においてＢは平均変化率λ1で増加する関数、
ｂ≦Ｌ≦最大値の定義域においてＢは平均変化率λ3で増加する関数、
ａ＜Ｌ＜ｂの定義域においてＢはλ1及びλ3より小さな変化率λ2で増加又は一定となる関数、
ここで、
α：前記重ね合わされる一方の撮影画像対他方の撮影画像の融合割合、
Ｌ：融合される画素位置の一方の撮影視野における離散度と他方の撮影視野に対する離散度との比、前記一方の撮影画像の撮影点からの離散度と前記他方の撮影視野に対する離散度との比で表される。この離散度は上記撮影偏差の１つの形態である。
上述した融合関数：Ｂは一般的にはテーブル化されると、高速に融合割合が求められるので、融合画像が簡単かつ迅速に得ることができる。
【００１３】
上記融合関数：Ｂにおいて、前記離散度（撮影偏差）：Ｌが、融合される画素の一方の撮影画像の撮影限界線からの距離：ｐ1と、融合される画素の他方の撮影画像の撮影限界線からの距離：ｐ2との比：ｐ１／ｐ2で求められる。つまり、注目画素（融合される画素）の離散度：Ｌは、重複領域を平面直角座標面とした場合、ｐ１, ｐ2で規定されるその注目画素の位置から求めることができる。
また、上記融合関数：Ｂにおいて、前記離散度：Ｌが融合すべき画素が存在する角度：θであり、当該角度を、一方の撮影画像の像の撮影点（カメラ中心またはカメラの設置位置と言い換えることができる）と他方の撮影画像の撮影点との中間に位置する仮想基準点周りの角度とすれば、注目画素の離散度：Ｌは重複領域を極座標とするその注目画素の偏角である角度：θから直接求めることができる。
前記離散度：Ｌが、一方の撮影画像の像の撮影点と他方の撮影画像の撮影点との中間に位置する仮想的な基準点周りの、融合される画素が存在する角度：θで表される
【００１４】
本発明の好適な実施形態の１つとして、融合関数：Ｂの３つ区分けされた定義域を決定するａとｂを、撮影画像に応じて可変にすることが提案される。２つの画像の最適な融合割合は、撮影画像によっても異なることが少なくない。従って、融合関数の形によって特に、３つの定義域の長さを調整することにより低的な融合割合を求めることは利点がある。また、２つの画像の最適な融合割合は、その重複領域に障害物が存在する場合、その障害物の位置によっても左右される。従って、前記定義域を決定するａとｂが、前記重複領域に現れた障害物の位置に応じて変更される構成も利点がある。
【図面の簡単な説明】
【００１５】
【図１】、車両周辺領域の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように合成することで表示用俯瞰画像を生成する過程を図解している模式図である。
【図２】重複領域の融合処理を図解している模式図である。
【図３】本発明による車両周辺監視システムの一例を搭載した車両の縦列駐車時にモニタに表示する全周囲俯瞰画像の生成手順を図解する模式図である。
【図４】車両周辺監視システムの機能ブロック図である。
【図５】撮影画像から俯瞰画像を含む種々の表示画面を生成する画像処理モジュールの機能ブロック図である。
【図６】車両周辺監視システムによる俯瞰画像表示の流れを示すフローチャートである。
【図７】重複領域の１つの画素位置における一方の俯瞰画像セグメントに属する画素値と他方の俯瞰画像セグメントに属する画素値との融合割合：αと角度：θとの関数関係を示すグラフ図である。
【発明を実施するための形態】
【００１６】
本発明による車両周辺監視システムの具体的な実施形態を説明する前に、その基本原理を説明する。図１には、車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように合成することで表示用俯瞰画像を生成する過程が模式的に示されている。最終的に表示部（モニタ）に表示される表示用俯瞰画像の形態は、境界付き俯瞰画像と融合俯瞰画像の２種類である。なお、一般的には表示用俯瞰画像に車両全周の周辺領域が含まれるように、少なくとも前後左右の４つのカメラが用いられる。各カメラによって取得された４つの撮影画像から生成された俯瞰画像セグメントを組み合わせることで表示用俯瞰画像の基本俯瞰画像としての全周囲俯瞰画像が生成される。図１では図面の複雑化を避けるため、基本的には、フロントカメラ（ここでは第１カメラと称する）と左サイドカメラ（ここでは第２カメラと称する）による第１撮影画像と第２撮影画像とから表示用俯瞰画像を生成する過程に簡略化されているが、この図１とその説明から、容易に車両を中心とする全周囲俯瞰画像の生成過程が推定できる。
【００１７】
表示用俯瞰画像を生成するために、まず車載カメラ、図１では車両前方を撮影領域とする第１カメラと車両左側方を撮影領域とする第２カメラによって車両周辺を撮影する（＃０１）。第１カメラによって取得された第１撮影画像と第２カメラによって取得された第２撮影画像とを用いて、投影面を路面に平行な面とする射影変換処理、つまり真上に仮想視点を設定した視点変換が行われる（＃０２）。この射影変換処理を通じて、各撮影画像からその撮影領域の車両真上からの俯瞰画像である、第１俯瞰画像セグメントと第２俯瞰画像セグメントが得られる（＃０３）。
【００１８】
第１カメラと第２カメラは互いに重複する撮影領域（重複撮影領域）を有するように設定されているので、第１撮影画像と第２撮影画像には重複撮影領域を映し出している重複領域が含まれており、その結果、第１俯瞰画像セグメントと第２俯瞰画像セグメントにも重複領域が含まれる。第１カメラと第２カメラとによる車両周囲の俯瞰画像を得るためには、第１俯瞰画像セグメントと第２俯瞰画像セグメントとが、互いの重複領域が重ね合わさるように組み合わせて合成される。なお、この合成処理は、境界付き俯瞰画像となる表示用俯瞰画像を生成する場合と融合俯瞰画像となる表示用俯瞰画像を生成する場合とでは異なっている。
【００１９】
境界付き俯瞰画像を生成する場合の１つの手法は、第１撮影画像と第２撮影画像のどちらか一方の重複領域をそのまま適用することである。他の１つの手法は、重複領域の等分線である境界線を境として、第１撮影画像側の領域には第１撮影画像の重複領域を適用し、第２撮影画像側の領域には第２撮影画像の重複領域を適用することである。いずれの手法も単なる画像の移動だけなので高速に処理される。俯瞰画像セグメントを合成して得られた合成画像には、さらに車両イラスト画像と境界指標が付与される。
【００２０】
車両イラスト画像は、車両の上方からみた写真やイラストに基づいて予め作成され、用意されている。境界指標は、元となった第１撮影画像と第２撮影画像の境界領域を表示用俯瞰画像上の重複領域において表すものであり、例えば、重複領域を二等分する境界線の形態を採用することができる。俯瞰画像セグメントの合成画像に、さらに車両イラスト画像と境界指標とを付与することにより、境界付き俯瞰画像が生成される（＃０４）。この境界付き俯瞰画像は、表示用俯瞰画像の初期画像として、最初にモニタに表示される（＃０５）。
表示用俯瞰画像として融合俯瞰画像を生成する場合には、第１俯瞰画像セグメントと第２俯瞰画像セグメントとの互いの重複領域が、所定の融合割合で融合（ブレンド）される（＃１１）。
【００２１】
各重複領域において、撮影中心線により近い画素ほど明確な撮影画像を作り出す重要な画素であるとみなすと、第１カメラの撮影中心線に近く第２カメラの撮影中心線から遠い位置の画素は第１俯瞰画像セグメントの画素の成分を大きく受けた方がよい。逆に、第２カメラの撮影中心線に近く第１カメラの撮影中心線から遠い位置の画素は第１俯瞰画像セグメントの画素の成分を大きく受けた方がよい。しかしながら、より視認性の高い重複領域の画像を得るためには、第１俯瞰画像セグメントと第２俯瞰画像セグメントの画素成分の平均化する領域も必要である。このことを実現するため、第１俯瞰画像セグメントと第２俯瞰画像セグメントの重複領域画素の融合割合の導出が重要となるが、融合割合を導出する融合関数を以下に説明する。
図２の（ａ）から、第１俯瞰画像セグメントと第２俯瞰画像セグメントとの重複領域が、第１カメラの視野限界線と第２カメラの視野限界線で境界付けられていることが理解できる。図２の（ｂ）では、この重複領域を視野限界線の交点を基準点とする平面直角座標で表している。この重複領域の画素Ｐの位置は、第１視野限界線からの距離ｐ１と第２視野限界線からの距離ｐ2を用いて求めることができる。ここでは、第１俯瞰画像セグメントと第２俯瞰画像セグメントの融合割合：α（第１俯瞰画像セグメントと第２俯瞰画像セグメントとを融合する場合における第１俯瞰画像セグメントの画素値を使用する割合）を導出する融合関数：Ｂは以下の式で表される；
α＝Ｂ（Ｌ）、
Ｌ＝ｐ１／ｐ2、
０≦Ｌ≦ａの定義域においてＢは平均変化率λ1で増加する関数、
ｂ≦Ｌ≦最大値の定義域においてＢは平均変化率λ3で増加する関数、
ａ＜Ｌ＜ｂの定義域においてＢはλ1やλ3より小さな変化率λ2で増加又は一定となる関数である。
なお、この平均変化率は、一般的には、関数Ｂ（Ｌ）のＬの値が、０からａ、ａからｂ、ｂから最大値というように第１所定値から第２所定値まで変化したときのαの変化量をＬの値の増加量で割った、その区間で平均化された変化率を示すものであるが、ここでは、第１所定値と第２所定値との間をさらに区画割りして、各区画の平均変化率の平均率も含めている。
なお、ｐ2＝０の場合は、α＝１（１００％）とする。
また、図２の（ｃ）では、この重複領域を視野限界線の交点を角度中心（基準点）とする極座標で表しており、注目画素は偏角：θで規定される。すなわち、この図２（ｃ）の場合は、融合関数：Ｂはθの関数となる。
なお、図２（ｂ）、図２（ｃ）に示す融合関数のように、３つの定義域の境界で連続するよう関数を定義すると、Ｐ１／Ｐ2及び角度に対して融合割合が連続的に変化することになり、生成された融合画像も見やすいものとなり、好適である。
このように定義することができる融合関数によって導出される融合割合を持って第１俯瞰画像セグメントと第２俯瞰画像セグメントとの重複領域を融合する。融合された重複領域と第１俯瞰画像セグメントと第２俯瞰画像セグメントとを用いて融合俯瞰画像が生成される（＃１２）。融合俯瞰画像は、境界付き俯瞰画像に対してその重複領域を融合された重複領域で置き換えることによって生成することも可能である。生成された融合俯瞰画像は、境界付き俯瞰画像に代わってモニタに表示される（＃１３）。
【００２２】
つまり、本発明による車両周辺監視システムでは、図３に示すようにモニタに表示される表示用俯瞰画像として、最初に境界付き俯瞰画像が表示され、その後に融合俯瞰画像が表示される。
【００２３】
以下、本発明の具体的な実施形態を図面に基づいて説明する。図３は、本発明による車両周辺監視システムの一例を搭載した自動車（以下車両と略称する）が、後進で縦列駐車する際の周辺監視ためにモニタに表示する全周囲俯瞰画像の生成手順を図解説明する模式図である。図４は、車両周辺監視コントローラ２０を中核要素とする車両周辺監視システムの機能ブロック図である。図５は、周辺監視のために撮影画像から俯瞰画像を含む種々の表示画面を生成する画像処理モジュールの機能ブロック図である。
【００２４】
この実施形態の車両周辺監視システムでは、４つの車載カメラ１、つまりフロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３、バックカメラ１４からの撮影画像から車両の全周囲をカバーする表示用俯瞰画像が作成され、モニタ２１に表示される。以下の説明において、適宜、これらの車載カメラ１１、１２、１３、１４を単にカメラ１と総称する。表示用俯瞰画像として、境界付き俯瞰画像と融合俯瞰画像が生成され、この全周囲俯瞰画像による車両周辺監視のスタート時には、まず境界付き俯瞰画像がモニタに表示され、その数秒後に境界付き俯瞰画像に代えて融合俯瞰画像が表示される。
【００２５】
カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えており、水平方向にほぼ１８０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。
【００２６】
俯瞰画像の生成過程では、フロントカメラ１１による前方撮影画像（第１撮影画像と称す）が車両真上からの全周囲俯瞰画像の前方領域画像（第１俯瞰画像セグメントと称する）として射影変換される。同様に、左サイドカメラ１２による左撮影画像（第２撮影画像と称す）、フロントカメラ１３による右撮影画像（第３撮影画像と称す）、バックカメラ１４による後方撮影画像（第４撮影画像と称す）がそれぞれ、全周囲俯瞰画像の左領域画像（第２俯瞰画像セグメントと称する）、右領域画像（第３俯瞰画像セグメントと称する）、後方領域画像（第４俯瞰画像セグメントと称する）として射影変換される。ここでは、射影変換は、マッピングテーブルを用いて行われている。これらの各マッピングテーブルは、路面に平行な面を投影面とする射影変換をもたらすように作成されている。
【００２７】
境界付き俯瞰画像は、第１俯瞰画像セグメントから第４俯瞰画像セグメントまでの俯瞰画像セグメントをその重複領域が重なるように合成し、その重複領域に、対応する２つのカメラ１の撮影視野の境界を明示する境界指標を付与することで生成される。ここでは、境界指標は、重複領域を斜めに二等分する境界線である。従って、４つの各俯瞰画像セグメントの形状は等脚台形となっている。
【００２８】
融合俯瞰画像は、第１俯瞰画像セグメントから第４俯瞰画像セグメントまでの俯瞰画像セグメントをその重複領域が重なるように合成するという点では境界付き俯瞰画像と同じである。重複領域が、当該重複領域を作り出している各俯瞰画像セグメントの対応する画素を所定の融合割合で融合して生成されることで、融合俯瞰画像は境界付き俯瞰画像と異なっている。この実施形態では、各画素における、融合割合：αは、上述した融合関数：α＝Ｂ（Ｌ）に基づいて作成された融合テーブルを用いて読み出すことができる。この融合テーブルは、融合される画素の撮影偏差Ｌを入力パラメータとして、融合割合：αを出力するテーブル構造体である。矩形で表される重複領域の最も車両に近いコーナを原点とした平面直角座標または極座標を考えると、撮影偏差：Ｌが、ｘ座標値とｙ座標値の組み合わせ、あるいは偏角で表すことができる。ここでの、この融合関数の基本的な特徴は、第１定義域と第２定義域と第３定義域の３つの定義域に区分けした場合、第１定義域と第３定義域では単調増加し、第２定義域ではほぼ５０％の一定値をとることである。５０％の融合割合とは、一方の俯瞰画像セグメントの画素と他方の俯瞰画像セグメントの画素が平均化されることである。
【００２９】
車両内部には、車両周辺監視システムの中核をなす車両周辺監視コントローラ２０が設置されている。この車両周辺監視コントローラ２０は、マイクロプロセッサやＤＳＰ（digital signal processor）を備えている。車両周辺監視コントローラ２０は、入出力インターフェースとして通信インターフェース７０を備えている。通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、種々の情報の表示部としてのモニタ２１、入力デバイスとしてのタッチパネル２１Ｔ、車両状態検出センサ群からの信号入力をそのまま又は評価して他のコントローラに転送するセンサコントローラ２３がデータ伝送可能に接続されている。さらにこの車載ＬＡＮには、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御コントローラとしてユニットが備えられている。
【００３０】
センサコントローラ２３に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
【００３１】
そのほか、車両周辺監視コントローラ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部として、車両周辺の立体物を認識する立体物認識モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が備えられている。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
【００３２】
立体物認識モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う立体物検知部３１と、車載カメラ１からの撮影画像を用いて立体物の認識を行う立体物認識部３２とが含まれている。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。立体物認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を認識する。立体物の検知のためには、立体物検知部３１と立体物認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた立体物認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた立体物検知部３１の両方を備えて協働作業させることでより正確な立体物の認識が可能となる。立体物認識モジュール３０は、認識した立体物の位置、姿勢、大きさ、色調などを記述した立体物属性情報を出力する。立体物検知部３１として、レーザレーダーを用いるような他の立体物検知装置の適用も可能である。
【００３３】
図５には、車両周辺監視コントローラ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像を処理して、モニタ２１に表示するための表示用画像を生成する機能を有している。
【００３４】
画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、フレームメモリ５４、表示画像決定部５５、立体物情報取得部５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。表示画像決定部５５は、画像生成部５３で生成される表示画像をモニタ２１に表示するタイミングを決定する。立体物情報取得部５６は、立体物認識モジュール３０から出力された立体物情報を受け取り、当該立体物情報に記述された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)を読み出す。
【００３５】
画像生成部５３は、通常画像生成部４０と表示用俯瞰画像生成部６を備えている。通常画像生成部４０は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、フロントカメラ１１、左・右サイドカメラ１２,１３、バックカメラ１４による撮影画像から運転者によって選択された１つでもよいし、複数の撮影画像の組み合わせでもよい。
【００３６】
表示用俯瞰画像生成部６には、俯瞰画像生成部６１、俯瞰マッピングテーブル６２、境界付き俯瞰画像生成部６３、融合俯瞰画像生成部６４が含まれている。複数の撮影画像からそれぞれの俯瞰画像セグメントを生成し、当該俯瞰画像セグメントを互いの重複領域を重ね合わせるように組み合わせて表示用俯瞰画像を生成する。表示用俯瞰画像としては、重複領域に対応するカメラ視野の境界領域（撮影画像の境界領域）を表す境界指標が付与されている境界付き俯瞰画像、及び重複領域が予め設定された融合関係で２つの俯瞰画像セグメントの対応する領域を融合している融合俯瞰画像が生成される。
【００３７】
俯瞰画像生成部６１は、撮影画像メモリ５１に展開されている撮影画像から視点変換（射影変換）処理を通じて、車両を中心とした車両周辺の俯瞰画像を生成する。この実施形態では、俯瞰画像生成部６１は、各カメラ１からの撮影画像を俯瞰マッピングテーブル６２に格納されている射影変換テーブルを用いたマップ変換によって俯瞰画像セグメントを生成する、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、俯瞰マッピングテーブル６２と称している。俯瞰マッピングテーブル６２を構成する変換マップは、撮影画像の画素データと俯瞰撮影画像の画素データとの対応関係を記述している。１フレームの撮影画像の各画素に、俯瞰撮影画像における行き先画素座標が記述されており、車載カメラ毎に異なるマップが適用される。フロントカメラ１１からの第１撮影画像から第１俯瞰画像セグメントが生成され、左サイドカメラ１２からの第２撮影画像から第２俯瞰画像セグメントが生成され、右サイドカメラカメラ１３からの第３撮影画像から第３俯瞰画像セグメントが生成され、バックカメラ１４からの第４撮影画像から第４俯瞰画像セグメントが生成される。なお、複数の異なる視点からの俯瞰画像を選択的に生成する構成を採用する場合には、異なる変換マップが選択可能なように構築される。
【００３８】
第１俯瞰画像セグメントから第４俯瞰画像セグメントを組み合わせて車両を中心とする車両全周囲の俯瞰画像を生成する際に隣り合う俯瞰画像セグメントとの間に４つの重複領域が生じる。境界付き俯瞰画像生成部６３と融合俯瞰画像生成部６４との違いは、この重複領域の画像生成の方法である。
境界付き俯瞰画像生成部６３は、この重複領域に、重複する撮影画像の境界領域を表す境界指標を描画する。例えば、重複する撮影画像の境界領域とは、双方の撮影視野を区分けする領域であるので、第１俯瞰画像セグメントと第２俯瞰画像セグメントとの重複領域の中心線を、この矩形の重複領域の対角線（車両の左前コーナ部と一端とする対角線）とみなすことができる。従って、ここでは、この重複領域の対角線上に描画される特定色の太線を境界指標とする。もちろん、太線以外に点線を用いても良いし、形状を扇形にしても良い。特定色としては黒色が適しているが、背景が黒系色の場合、白色など識別しやすい色を用いることが好ましい。境界指標の種類や色は、自動的に選択するようにしてもよいし、ユーザによって選択可能としてもよい。この目的のために、境界付き俯瞰画像生成部６３は、重複領域に境界領域を表す境界指標を付与する境界指標付与部６６とそのような境界指標の画像アイテムを格納している境界指標格納部６７を含んでいる。
【００３９】
融合俯瞰画像生成部６４は、この重複領域に２つの俯瞰画像セグメントの重複部分を用いて融合させた融合画像（アルファブレンド画像）を適用する。この目的のため、融合俯瞰画像生成部６４は、俯瞰画像セグメントの重複領域を予め設定された融合関係で融合して融合重複画像を生成する融合部６８と、当該融合関係をテーブル化して設定している融合テーブル６９とを含んでいる。融合（アルファブレンド）処理自体はよく知られているが、本発明で用いられている融合処理は、撮影画像から視点変換された俯瞰画像という特殊な条件に鑑み、そのような俯瞰画像の重複領域に適した以下のような融合関係を用いている。
【００４０】
この融合関係の主旨は、重複領域を作り出している２つのカメラのうちの一方の撮影中心線から極めて近い位置をもつ画素はその一方のカメラに基づく俯瞰画像セグメントの方の画素に重きをおき、他方の撮影中心線から極めて近い位置をもつ画素はその他方のカメラに基づく俯瞰画像セグメントの方の画素に重きをおくということである。さらに重要なことは、それ以外の画素では両方の俯瞰画像セグメントの平均をとるということである。
この融合関係を一般的な融合関数：Ｂで言い換えると、
α＝Ｂ（Ｌ）となる。
ここで、αは、重複領域の１つの画素位置における一方の俯瞰画像セグメントに属する画素値と他方の俯瞰画像セグメントに属する画素値との融合割合である。例えば、αが０．６であれば、一方の俯瞰画像セグメントに属する画素値が融合に際して使われる割合が０．６（パーセンテージで表示すると６０％）で、他方の俯瞰画像セグメントに属する画素値が融合に際して使われる割合が０．４（パーセンテージで表示すると４０％）となる。つまり、一方の俯瞰画像セグメントに属する画素と他方の俯瞰画像セグメントに属する画素とを融合させる比は、α：（１−α）となる。Ｌは、前述した撮影偏差であり、重複領域の１つの画素位置に対する一方の俯瞰画像セグメントにおける撮影上の重みと他方の俯瞰画像セグメントにおける撮影上の重みの比を示しているともいえる。撮影画像の端に位置するほど、その重みは小さいことになる。
しかも、この融合関数：Ｂでは以下の３つの定義域で異なっている。
（１）０＜Ｌ≦ａの定義域においてＢは平均変化率λ1で増加する。
（２）ｂ＜Ｌ≦最大値の定義域においてＢは平均変化率λ3で増加する。
（３）ａ＜Ｌ≦ｂの定義域においてＢはλ1やλ3より小さな変化率λ2で増加又は一定となる。
この実施形態では、Ｌには前述したθを用い、ａ＝１５°、ｂ＝７５°を採用している。この融合関数：Ｂで導出される融合割合：αは、０＜Ｌ≦ａの定義域で線形に単調増加（０％〜５０％）し、ｂ＜Ｌ≦最大値の定義域で線形に単調増加（５０％〜１００％）、ａ＜Ｌ≦ｂの定義域は一定でα＝５０％である。なお、ａは１０°〜２０°、ｂは７０°〜８０°が好適である。
【００４１】
境界付き俯瞰画像生成部６３によって生成される境界付き俯瞰画像及び融合俯瞰画像生成部６４によって生成される融合俯瞰画像はフレームメモリ５４に転送される。境界付き俯瞰画像は単に画像貼り付けだけで、融合俯瞰画像に比べてはるかに短時間で生成される。さらに、境界付き俯瞰画像は、その境界指標を通じて車両中心の車両周囲俯瞰画像における各カメラによる撮影視野を運転者に把握させる役割を持っている。従って、境界付き俯瞰画像を融合俯瞰画像に先立って（数秒程度）モニタ２１に表示することが重要である。このことは、境界付き俯瞰画像を表示させている間に、融合俯瞰画像を生成するという利点も得られる。表示画像決定部５５は、フレームメモリ５４に転送された境界付き俯瞰画像と融合俯瞰画像とを適切なタイミングで表示用俯瞰画像として、表示制御部７１に送り、モニタ２１に表示させる。
【００４２】
次に、上述のように構成された車両周辺監視システムによる俯瞰画像表示の流れを図６のフローチャートを用いて説明する。
車両周辺を監視するために俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定されるか又はデフォルト設定されている俯瞰画像の表示種別が読み出される（＃２１）。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰画像生成部６１で用いられる射影変換のためのマップが俯瞰マッピングテーブル６２において設定される（＃２２）。ここでは、４台の車載カメラ１の撮影画像が取得される（＃２３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃２４）。次いで、生成された第１から第４までの俯瞰画像セグメントを用いた境界付き俯瞰画像の生成処理要求が境界付き俯瞰画像生成部６３に与えられ（＃２５）、境界付き俯瞰画像生成処理が実行される（＃３０）。同時に、生成された第１から第４までの俯瞰画像セグメントを用いた融合俯瞰画像の生成処理要求が融合俯瞰画像生成部６４に与えられ（＃２６）、融合俯瞰画像生成処理が実行される（＃４０）。
【００４３】
境界付き俯瞰画像の生成が完了したかどうか判定される（＃５１）。この判定は境界付き俯瞰画像生成部６３で発行される生成完了通知により行われる。境界付き俯瞰画像の生成が完了すると（＃５１Yes分岐）、タイマをスタートさせて（＃５２）、境界付き俯瞰画像をモニタに表示させる（＃５３）。次に、タイマが設定時間（数秒）に達したかどうかチェックして（＃５４）、設定時間に達するまで境界付き俯瞰画像の表示が続く（＃５４No分岐）。タイマが設定時間に達すると（＃５４Yes分岐）、次は、融合俯瞰画像の生成が完了しているかどうか判定される（＃５５）。この判定は融合俯瞰画像生成部６４で発行される生成完了通知により行われる。融合俯瞰画像の生成が完了していると（＃５５Yes分岐）、まず、境界付き俯瞰画像の境界指標（境界太線）を所定時間だけ点滅させ、運転者に境界付き俯瞰画像から融合俯瞰画像へ表示変更することを知らせる（＃５６）。なお、融合俯瞰画像へ表示変更の直前に境界指標を点滅させるのではなく、最初から境界指標が点滅するように境界付き俯瞰画像を表示させてもよい。次いで、融合俯瞰画像を境界付き俯瞰画像に代えてモニタ２１に表示させる（＃５７）。この俯瞰画像表示ルーチンの終了指令がない限り（＃５８No分岐）、再びステップ＃２１に戻って、このルーチンを繰り返す。
【００４４】
なお、上述したルーチンでは、境界付き俯瞰画像の生成と表示が新しい撮影画像が取得するたびに行われる制御の流れで説明していたが、境界付き俯瞰画像の生成と表示をこのルーチンの起動時だけ、あるいは所定の時間間隔で行うのが一般的である。
【００４５】
〔別実施の形態〕
（１）上述した実施形態では、境界付き俯瞰画像や融合俯瞰画像の表示は、立体物認識モジュール３０による立体物の検出と関係なしに行われた。これに代えて、立体物情報取得部５６が立体物情報を受け取った場合、その立体物の位置に応じて、融合部６８によって使用する融合関数を変更してもよいし、立体物の位置俯瞰画像を生成する際の視点位置を変更してもよい。
（２）上述した実施形態では、表示用俯瞰画像の生成過程を分かりやすく説明するため、表示用俯瞰画像生成部６の構成を機能別にブロック化しているが、この機能ブロックは説明目的であり、本発明がこのようなブロックレイアウトに限定されるわけではない。例えば、撮影画像から複合的な変換テーブルを用いて直接境界付き俯瞰画像や融合俯瞰画像を生成してもよい。記載された機能が実現できる限り、その機能ブロックは種々の形態をとることができる。
（３）図２に示された融合関数は、連続関数のように表されており、そのような説明になっていたが、実際にはこの融合関数はテーブル化されるのが一般的である。そのような場合はもちろん、この融合関数は、図７で示すような離散的な関数として表されることになる。
【産業上の利用可能性】
【００４６】
本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
【符号の説明】
【００４７】
２１：モニタ（表示部）
５０：画像処理モジュール
５３：画像生成部
５５：表示画像決定部
６：表示用俯瞰画像生成部
６１：俯瞰画像生成部
６２：俯瞰マッピングテーブル
６３：境界付き俯瞰画像生成部
６４：融合俯瞰画像生成部
６６：境界指標付与部
６７：境界指標格納部
６８：融合部
６９：融合テーブル
７１：表示制御部
【技術分野】
【０００１】
本発明は、車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように組み合わせて生成された表示用俯瞰画像を表示部に表示する車両周辺監視システムに関する。
【背景技術】
【０００２】
俯瞰画像を生成する従来の車両周辺監視システムでは、一般的に、車載カメラによって取得された撮影画像を路面に平行な投影面に投影することで、つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像が生成される。従って、この俯瞰画像をモニタに表示させることで、運転者が車両周辺の路面状況、特に路面に存在する障害物を良好に監視することができる。しかしながら、その車載カメラには広角レンズが用いられていることから、射影変換を通じて得られた俯瞰画像においてカメラの近傍領域に比べ遠方領域では画像の歪み方が大きくなり、運転者にとって障害物の方向性がつかみ難いという問題がある。例えば、路面に配置された上方に延びた立体物（人や車、さらには工事用三角コーンなどの路上立体物）が各カメラの撮影方向に間延びした歪な形状体となってしまう。特に、各撮影画像から生成された俯瞰画像セグメントを合成した際に生じる互いの重複領域を単純に融合（ブレンド）した場合に、立体物の像がそれぞれの撮影方向に間延びした２つの形状体となるので、さらに見づらくなる。
【０００３】
上記問題を低減するため、特許文献１に記載された車両周辺監視装置では、撮像領域が重複している複数の撮像手段によって、自車の周囲の映像を撮像し、撮像された複数の撮像画像を変換して複数の俯瞰画像を生成し、前記複数の俯瞰画像の差分を計算し、前記重複領域において画像が一致する一致領域と一致しない不一致領域とを確定させ、前記一致領域と前記不一致領域とを異なる方法で合成して出力画像を生成して運転者に表示する。この一致領域と不一致領域とを異なる方法で合成して出力画像を生成することで、重複領域における画像の見にくさの解消を図っている。しかしながら、このようにして生成俯瞰画像において重複領域と非重複領域との境界が分からないので、重複領域に位置している物体の像が、どのカメラで写されたものであるかの判断が難しい。その結果、重複領域に現れている物体（障害物）の位置を把握しづらいという不都合がある。
【０００４】
隣り合うカメラによる２つの撮影画像の重複領域の画素を２つの撮影画像の対応する画素の交互選択により平均画像を生成する機能を有する車両周囲監視装置が特許文献２に記載されている。このように重複領域の全てを平均化しても、結果的には、立体物の撮影方向に延びた投影像がぼやけてしまうことになる。また、この重複領域に対して、互いの撮影中心からの距離に比例する重みを施してブレンドするアルファブレンド処理を施しても、やはり立体物の投影像がぼやけることになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２７９４８号公報（段落番号〔００１１−００５７〕、図８）
【特許文献２】特開２００３‐１６９３２３号公報（段落番号〔００２６−００５２〕、図５、図６）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
車両周辺の俯瞰画像は、上方視点への視点変換処理によって得られる俯瞰画像セグメントの合成によって生成される。この視点変換処理は、路面などである撮影平面に固定した視点変換であるため、各撮影画像において撮影平面上の見え方は同等であるが、その平面から立ち上がった高さを持つ物体に関しては異なる見え方となる。その際に、歪な物体の見え方、つまり物体の投影像が各撮影方向に延びてしまう違和感は、その投影像が撮影点ないしは撮影中心から遠ざかった位置にあるほど大きくなり、重複領域に現れる物体に対する運転者の視認性を悪くしている。
【０００７】
上記実情に鑑み、パノラマ画像のような連続性のある俯瞰画像を表示して運転者の車両周辺監視を容易にするだけでなく、各撮影画像から生成される俯瞰画像セグメントの組み合わせで構成される車両周辺俯瞰画像において俯瞰画像セグメントの重複領域に現れる物体に対する運転者の視認性を改善することが要望されている。
【課題を解決するための手段】
【０００８】
上記課題を解決する本発明は、前記重複領域を、各カメラの視野限界線または各撮影中心からの距離あるいは視野限界線交点周りの角度に応じて融合度を変化させる領域と変化させない一定割合となる領域とに設定することで、従来よりも視認性の高い画質が得られるという発明者の知見に基づいている。ここでの「融合度を変化させない一定割合」は厳密な意味ではなく、変化させる領域に比べてその変化度がきわめて少ないという意味である。つまり、この融合度の変化曲線が線形ではないと解釈できる。なお、この明細書では、各カメラの視野限界線または各撮影中心からの距離あるいは視野限界線交点周りの角度を「撮影偏差」と呼ぶ。「撮影偏差」は、２つのカメラに基づく画像の重なり領域である重複領域における画素の位置を、視点変換による像の歪みを考慮して定義している値である。
【０００９】
車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように組み合わせて生成された表示用俯瞰画像を表示部に表示する車両周辺監視システムにおいて上記課題を解決するために、本発明によるシステムでは、前記俯瞰画像セグメントの重複領域を予め設定された融合関数で融合して融合重複画像を生成する融合部が備えられ、前記融合関数は、前記重ね合わされる一方の撮影画像の撮影視野限界線と他方の撮影画像の撮影視野限界線との交点である基準点周りの角度に基づいて、または、前記一方の撮影画像の撮影視野限界線からの距離である第１パラメータと前記他方の撮影画像の撮影視野限界線からの距離である第２パラメータとに基づいて、あるいは、前記一方の撮影画像の撮影点と前記他方の撮影画像の撮影点とからの離散度に基づいて、前記重複領域における一方の撮影画像の画素成分と他方の撮影画像の画素成分との融合割合を導出する。
この構成により、重複領域は、撮影画像に依存するパラメータに応じて決定される融合割合で、一方の撮影画像と他方の撮影画像の融合が行われる。これにより、融合された撮影画像に対する違和感が低減される。
【００１０】
本発明による好適な形態の１つでは、前記融合関数は、前記基準点周りの角度が前記いずれかの撮影画像の撮影点側に寄るほど当該撮影画像の画素成分の融合割合が増加する増加定義領域と、当該増加領域に挟まれた、融合割合が一定となる中間定義領域を有する。
この構成では、一方の撮影画像の撮影視野限界線と他方の撮影画像の撮影視野限界線との交点である基準点を角度中心とする注目画素（融合すべき画素）の極座標値がパラメータとなって、融合度を変化させる領域と変化させない一定割合となる領域とに設定することで、従来よりも視認性の高い重複領域の画質が得られる。このパラメータは重複領域を極座標とする角度（偏角）で表されるので、融合演算処理が簡単となる。
【００１１】
本発明による好適な形態の他の１つでは、前記融合関数は、前記第１パラメータと前記第２パラメータとの比が増加するほど前記画素成分の融合割合が大きくなる２つの端部定義領域と、この２つの端部定義領域に挟まれて前記第１パラメータ対前記第２パラメータの比の増減に関わらず前記画素成分の融合割合が一定となる中間定義領域を有する。
この構成では、重複領域の内側境界線を形成する各撮影視野限界線を横・縦座標軸とした注目画素（融合すべき画素）の座標値が第１パラメータと第２パラメータとなって、融合度を変化させる領域と変化させない一定割合となる領域とに設定することで、従来よりも視認性の高い調伏領域の画質が得られる。第１パラメータと第２パラメータは重複領域を平面直角座標とする座標値で表されるので、融合演算処理が簡単となる。
【００１２】
上述した本発明で採用されている融合関数は、数学的な表現で一般化することができる。そのように表現された本発明による好適な形態の他の１つでは、
前記融合関数：Ｂが、以下の式、
α＝Ｂ（Ｌ），
０≦Ｌ≦ａの定義域においてＢは平均変化率λ1で増加する関数、
ｂ≦Ｌ≦最大値の定義域においてＢは平均変化率λ3で増加する関数、
ａ＜Ｌ＜ｂの定義域においてＢはλ1及びλ3より小さな変化率λ2で増加又は一定となる関数、
ここで、
α：前記重ね合わされる一方の撮影画像対他方の撮影画像の融合割合、
Ｌ：融合される画素位置の一方の撮影視野における離散度と他方の撮影視野に対する離散度との比、前記一方の撮影画像の撮影点からの離散度と前記他方の撮影視野に対する離散度との比で表される。この離散度は上記撮影偏差の１つの形態である。
上述した融合関数：Ｂは一般的にはテーブル化されると、高速に融合割合が求められるので、融合画像が簡単かつ迅速に得ることができる。
【００１３】
上記融合関数：Ｂにおいて、前記離散度（撮影偏差）：Ｌが、融合される画素の一方の撮影画像の撮影限界線からの距離：ｐ1と、融合される画素の他方の撮影画像の撮影限界線からの距離：ｐ2との比：ｐ１／ｐ2で求められる。つまり、注目画素（融合される画素）の離散度：Ｌは、重複領域を平面直角座標面とした場合、ｐ１, ｐ2で規定されるその注目画素の位置から求めることができる。
また、上記融合関数：Ｂにおいて、前記離散度：Ｌが融合すべき画素が存在する角度：θであり、当該角度を、一方の撮影画像の像の撮影点（カメラ中心またはカメラの設置位置と言い換えることができる）と他方の撮影画像の撮影点との中間に位置する仮想基準点周りの角度とすれば、注目画素の離散度：Ｌは重複領域を極座標とするその注目画素の偏角である角度：θから直接求めることができる。
前記離散度：Ｌが、一方の撮影画像の像の撮影点と他方の撮影画像の撮影点との中間に位置する仮想的な基準点周りの、融合される画素が存在する角度：θで表される
【００１４】
本発明の好適な実施形態の１つとして、融合関数：Ｂの３つ区分けされた定義域を決定するａとｂを、撮影画像に応じて可変にすることが提案される。２つの画像の最適な融合割合は、撮影画像によっても異なることが少なくない。従って、融合関数の形によって特に、３つの定義域の長さを調整することにより低的な融合割合を求めることは利点がある。また、２つの画像の最適な融合割合は、その重複領域に障害物が存在する場合、その障害物の位置によっても左右される。従って、前記定義域を決定するａとｂが、前記重複領域に現れた障害物の位置に応じて変更される構成も利点がある。
【図面の簡単な説明】
【００１５】
【図１】、車両周辺領域の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように合成することで表示用俯瞰画像を生成する過程を図解している模式図である。
【図２】重複領域の融合処理を図解している模式図である。
【図３】本発明による車両周辺監視システムの一例を搭載した車両の縦列駐車時にモニタに表示する全周囲俯瞰画像の生成手順を図解する模式図である。
【図４】車両周辺監視システムの機能ブロック図である。
【図５】撮影画像から俯瞰画像を含む種々の表示画面を生成する画像処理モジュールの機能ブロック図である。
【図６】車両周辺監視システムによる俯瞰画像表示の流れを示すフローチャートである。
【図７】重複領域の１つの画素位置における一方の俯瞰画像セグメントに属する画素値と他方の俯瞰画像セグメントに属する画素値との融合割合：αと角度：θとの関数関係を示すグラフ図である。
【発明を実施するための形態】
【００１６】
本発明による車両周辺監視システムの具体的な実施形態を説明する前に、その基本原理を説明する。図１には、車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように合成することで表示用俯瞰画像を生成する過程が模式的に示されている。最終的に表示部（モニタ）に表示される表示用俯瞰画像の形態は、境界付き俯瞰画像と融合俯瞰画像の２種類である。なお、一般的には表示用俯瞰画像に車両全周の周辺領域が含まれるように、少なくとも前後左右の４つのカメラが用いられる。各カメラによって取得された４つの撮影画像から生成された俯瞰画像セグメントを組み合わせることで表示用俯瞰画像の基本俯瞰画像としての全周囲俯瞰画像が生成される。図１では図面の複雑化を避けるため、基本的には、フロントカメラ（ここでは第１カメラと称する）と左サイドカメラ（ここでは第２カメラと称する）による第１撮影画像と第２撮影画像とから表示用俯瞰画像を生成する過程に簡略化されているが、この図１とその説明から、容易に車両を中心とする全周囲俯瞰画像の生成過程が推定できる。
【００１７】
表示用俯瞰画像を生成するために、まず車載カメラ、図１では車両前方を撮影領域とする第１カメラと車両左側方を撮影領域とする第２カメラによって車両周辺を撮影する（＃０１）。第１カメラによって取得された第１撮影画像と第２カメラによって取得された第２撮影画像とを用いて、投影面を路面に平行な面とする射影変換処理、つまり真上に仮想視点を設定した視点変換が行われる（＃０２）。この射影変換処理を通じて、各撮影画像からその撮影領域の車両真上からの俯瞰画像である、第１俯瞰画像セグメントと第２俯瞰画像セグメントが得られる（＃０３）。
【００１８】
第１カメラと第２カメラは互いに重複する撮影領域（重複撮影領域）を有するように設定されているので、第１撮影画像と第２撮影画像には重複撮影領域を映し出している重複領域が含まれており、その結果、第１俯瞰画像セグメントと第２俯瞰画像セグメントにも重複領域が含まれる。第１カメラと第２カメラとによる車両周囲の俯瞰画像を得るためには、第１俯瞰画像セグメントと第２俯瞰画像セグメントとが、互いの重複領域が重ね合わさるように組み合わせて合成される。なお、この合成処理は、境界付き俯瞰画像となる表示用俯瞰画像を生成する場合と融合俯瞰画像となる表示用俯瞰画像を生成する場合とでは異なっている。
【００１９】
境界付き俯瞰画像を生成する場合の１つの手法は、第１撮影画像と第２撮影画像のどちらか一方の重複領域をそのまま適用することである。他の１つの手法は、重複領域の等分線である境界線を境として、第１撮影画像側の領域には第１撮影画像の重複領域を適用し、第２撮影画像側の領域には第２撮影画像の重複領域を適用することである。いずれの手法も単なる画像の移動だけなので高速に処理される。俯瞰画像セグメントを合成して得られた合成画像には、さらに車両イラスト画像と境界指標が付与される。
【００２０】
車両イラスト画像は、車両の上方からみた写真やイラストに基づいて予め作成され、用意されている。境界指標は、元となった第１撮影画像と第２撮影画像の境界領域を表示用俯瞰画像上の重複領域において表すものであり、例えば、重複領域を二等分する境界線の形態を採用することができる。俯瞰画像セグメントの合成画像に、さらに車両イラスト画像と境界指標とを付与することにより、境界付き俯瞰画像が生成される（＃０４）。この境界付き俯瞰画像は、表示用俯瞰画像の初期画像として、最初にモニタに表示される（＃０５）。
表示用俯瞰画像として融合俯瞰画像を生成する場合には、第１俯瞰画像セグメントと第２俯瞰画像セグメントとの互いの重複領域が、所定の融合割合で融合（ブレンド）される（＃１１）。
【００２１】
各重複領域において、撮影中心線により近い画素ほど明確な撮影画像を作り出す重要な画素であるとみなすと、第１カメラの撮影中心線に近く第２カメラの撮影中心線から遠い位置の画素は第１俯瞰画像セグメントの画素の成分を大きく受けた方がよい。逆に、第２カメラの撮影中心線に近く第１カメラの撮影中心線から遠い位置の画素は第１俯瞰画像セグメントの画素の成分を大きく受けた方がよい。しかしながら、より視認性の高い重複領域の画像を得るためには、第１俯瞰画像セグメントと第２俯瞰画像セグメントの画素成分の平均化する領域も必要である。このことを実現するため、第１俯瞰画像セグメントと第２俯瞰画像セグメントの重複領域画素の融合割合の導出が重要となるが、融合割合を導出する融合関数を以下に説明する。
図２の（ａ）から、第１俯瞰画像セグメントと第２俯瞰画像セグメントとの重複領域が、第１カメラの視野限界線と第２カメラの視野限界線で境界付けられていることが理解できる。図２の（ｂ）では、この重複領域を視野限界線の交点を基準点とする平面直角座標で表している。この重複領域の画素Ｐの位置は、第１視野限界線からの距離ｐ１と第２視野限界線からの距離ｐ2を用いて求めることができる。ここでは、第１俯瞰画像セグメントと第２俯瞰画像セグメントの融合割合：α（第１俯瞰画像セグメントと第２俯瞰画像セグメントとを融合する場合における第１俯瞰画像セグメントの画素値を使用する割合）を導出する融合関数：Ｂは以下の式で表される；
α＝Ｂ（Ｌ）、
Ｌ＝ｐ１／ｐ2、
０≦Ｌ≦ａの定義域においてＢは平均変化率λ1で増加する関数、
ｂ≦Ｌ≦最大値の定義域においてＢは平均変化率λ3で増加する関数、
ａ＜Ｌ＜ｂの定義域においてＢはλ1やλ3より小さな変化率λ2で増加又は一定となる関数である。
なお、この平均変化率は、一般的には、関数Ｂ（Ｌ）のＬの値が、０からａ、ａからｂ、ｂから最大値というように第１所定値から第２所定値まで変化したときのαの変化量をＬの値の増加量で割った、その区間で平均化された変化率を示すものであるが、ここでは、第１所定値と第２所定値との間をさらに区画割りして、各区画の平均変化率の平均率も含めている。
なお、ｐ2＝０の場合は、α＝１（１００％）とする。
また、図２の（ｃ）では、この重複領域を視野限界線の交点を角度中心（基準点）とする極座標で表しており、注目画素は偏角：θで規定される。すなわち、この図２（ｃ）の場合は、融合関数：Ｂはθの関数となる。
なお、図２（ｂ）、図２（ｃ）に示す融合関数のように、３つの定義域の境界で連続するよう関数を定義すると、Ｐ１／Ｐ2及び角度に対して融合割合が連続的に変化することになり、生成された融合画像も見やすいものとなり、好適である。
このように定義することができる融合関数によって導出される融合割合を持って第１俯瞰画像セグメントと第２俯瞰画像セグメントとの重複領域を融合する。融合された重複領域と第１俯瞰画像セグメントと第２俯瞰画像セグメントとを用いて融合俯瞰画像が生成される（＃１２）。融合俯瞰画像は、境界付き俯瞰画像に対してその重複領域を融合された重複領域で置き換えることによって生成することも可能である。生成された融合俯瞰画像は、境界付き俯瞰画像に代わってモニタに表示される（＃１３）。
【００２２】
つまり、本発明による車両周辺監視システムでは、図３に示すようにモニタに表示される表示用俯瞰画像として、最初に境界付き俯瞰画像が表示され、その後に融合俯瞰画像が表示される。
【００２３】
以下、本発明の具体的な実施形態を図面に基づいて説明する。図３は、本発明による車両周辺監視システムの一例を搭載した自動車（以下車両と略称する）が、後進で縦列駐車する際の周辺監視ためにモニタに表示する全周囲俯瞰画像の生成手順を図解説明する模式図である。図４は、車両周辺監視コントローラ２０を中核要素とする車両周辺監視システムの機能ブロック図である。図５は、周辺監視のために撮影画像から俯瞰画像を含む種々の表示画面を生成する画像処理モジュールの機能ブロック図である。
【００２４】
この実施形態の車両周辺監視システムでは、４つの車載カメラ１、つまりフロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３、バックカメラ１４からの撮影画像から車両の全周囲をカバーする表示用俯瞰画像が作成され、モニタ２１に表示される。以下の説明において、適宜、これらの車載カメラ１１、１２、１３、１４を単にカメラ１と総称する。表示用俯瞰画像として、境界付き俯瞰画像と融合俯瞰画像が生成され、この全周囲俯瞰画像による車両周辺監視のスタート時には、まず境界付き俯瞰画像がモニタに表示され、その数秒後に境界付き俯瞰画像に代えて融合俯瞰画像が表示される。
【００２５】
カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えており、水平方向にほぼ１８０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。
【００２６】
俯瞰画像の生成過程では、フロントカメラ１１による前方撮影画像（第１撮影画像と称す）が車両真上からの全周囲俯瞰画像の前方領域画像（第１俯瞰画像セグメントと称する）として射影変換される。同様に、左サイドカメラ１２による左撮影画像（第２撮影画像と称す）、フロントカメラ１３による右撮影画像（第３撮影画像と称す）、バックカメラ１４による後方撮影画像（第４撮影画像と称す）がそれぞれ、全周囲俯瞰画像の左領域画像（第２俯瞰画像セグメントと称する）、右領域画像（第３俯瞰画像セグメントと称する）、後方領域画像（第４俯瞰画像セグメントと称する）として射影変換される。ここでは、射影変換は、マッピングテーブルを用いて行われている。これらの各マッピングテーブルは、路面に平行な面を投影面とする射影変換をもたらすように作成されている。
【００２７】
境界付き俯瞰画像は、第１俯瞰画像セグメントから第４俯瞰画像セグメントまでの俯瞰画像セグメントをその重複領域が重なるように合成し、その重複領域に、対応する２つのカメラ１の撮影視野の境界を明示する境界指標を付与することで生成される。ここでは、境界指標は、重複領域を斜めに二等分する境界線である。従って、４つの各俯瞰画像セグメントの形状は等脚台形となっている。
【００２８】
融合俯瞰画像は、第１俯瞰画像セグメントから第４俯瞰画像セグメントまでの俯瞰画像セグメントをその重複領域が重なるように合成するという点では境界付き俯瞰画像と同じである。重複領域が、当該重複領域を作り出している各俯瞰画像セグメントの対応する画素を所定の融合割合で融合して生成されることで、融合俯瞰画像は境界付き俯瞰画像と異なっている。この実施形態では、各画素における、融合割合：αは、上述した融合関数：α＝Ｂ（Ｌ）に基づいて作成された融合テーブルを用いて読み出すことができる。この融合テーブルは、融合される画素の撮影偏差Ｌを入力パラメータとして、融合割合：αを出力するテーブル構造体である。矩形で表される重複領域の最も車両に近いコーナを原点とした平面直角座標または極座標を考えると、撮影偏差：Ｌが、ｘ座標値とｙ座標値の組み合わせ、あるいは偏角で表すことができる。ここでの、この融合関数の基本的な特徴は、第１定義域と第２定義域と第３定義域の３つの定義域に区分けした場合、第１定義域と第３定義域では単調増加し、第２定義域ではほぼ５０％の一定値をとることである。５０％の融合割合とは、一方の俯瞰画像セグメントの画素と他方の俯瞰画像セグメントの画素が平均化されることである。
【００２９】
車両内部には、車両周辺監視システムの中核をなす車両周辺監視コントローラ２０が設置されている。この車両周辺監視コントローラ２０は、マイクロプロセッサやＤＳＰ（digital signal processor）を備えている。車両周辺監視コントローラ２０は、入出力インターフェースとして通信インターフェース７０を備えている。通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、種々の情報の表示部としてのモニタ２１、入力デバイスとしてのタッチパネル２１Ｔ、車両状態検出センサ群からの信号入力をそのまま又は評価して他のコントローラに転送するセンサコントローラ２３がデータ伝送可能に接続されている。さらにこの車載ＬＡＮには、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御コントローラとしてユニットが備えられている。
【００３０】
センサコントローラ２３に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
【００３１】
そのほか、車両周辺監視コントローラ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部として、車両周辺の立体物を認識する立体物認識モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が備えられている。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
【００３２】
立体物認識モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う立体物検知部３１と、車載カメラ１からの撮影画像を用いて立体物の認識を行う立体物認識部３２とが含まれている。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。立体物認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を認識する。立体物の検知のためには、立体物検知部３１と立体物認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた立体物認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた立体物検知部３１の両方を備えて協働作業させることでより正確な立体物の認識が可能となる。立体物認識モジュール３０は、認識した立体物の位置、姿勢、大きさ、色調などを記述した立体物属性情報を出力する。立体物検知部３１として、レーザレーダーを用いるような他の立体物検知装置の適用も可能である。
【００３３】
図５には、車両周辺監視コントローラ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像を処理して、モニタ２１に表示するための表示用画像を生成する機能を有している。
【００３４】
画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、フレームメモリ５４、表示画像決定部５５、立体物情報取得部５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。表示画像決定部５５は、画像生成部５３で生成される表示画像をモニタ２１に表示するタイミングを決定する。立体物情報取得部５６は、立体物認識モジュール３０から出力された立体物情報を受け取り、当該立体物情報に記述された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)を読み出す。
【００３５】
画像生成部５３は、通常画像生成部４０と表示用俯瞰画像生成部６を備えている。通常画像生成部４０は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、フロントカメラ１１、左・右サイドカメラ１２,１３、バックカメラ１４による撮影画像から運転者によって選択された１つでもよいし、複数の撮影画像の組み合わせでもよい。
【００３６】
表示用俯瞰画像生成部６には、俯瞰画像生成部６１、俯瞰マッピングテーブル６２、境界付き俯瞰画像生成部６３、融合俯瞰画像生成部６４が含まれている。複数の撮影画像からそれぞれの俯瞰画像セグメントを生成し、当該俯瞰画像セグメントを互いの重複領域を重ね合わせるように組み合わせて表示用俯瞰画像を生成する。表示用俯瞰画像としては、重複領域に対応するカメラ視野の境界領域（撮影画像の境界領域）を表す境界指標が付与されている境界付き俯瞰画像、及び重複領域が予め設定された融合関係で２つの俯瞰画像セグメントの対応する領域を融合している融合俯瞰画像が生成される。
【００３７】
俯瞰画像生成部６１は、撮影画像メモリ５１に展開されている撮影画像から視点変換（射影変換）処理を通じて、車両を中心とした車両周辺の俯瞰画像を生成する。この実施形態では、俯瞰画像生成部６１は、各カメラ１からの撮影画像を俯瞰マッピングテーブル６２に格納されている射影変換テーブルを用いたマップ変換によって俯瞰画像セグメントを生成する、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、俯瞰マッピングテーブル６２と称している。俯瞰マッピングテーブル６２を構成する変換マップは、撮影画像の画素データと俯瞰撮影画像の画素データとの対応関係を記述している。１フレームの撮影画像の各画素に、俯瞰撮影画像における行き先画素座標が記述されており、車載カメラ毎に異なるマップが適用される。フロントカメラ１１からの第１撮影画像から第１俯瞰画像セグメントが生成され、左サイドカメラ１２からの第２撮影画像から第２俯瞰画像セグメントが生成され、右サイドカメラカメラ１３からの第３撮影画像から第３俯瞰画像セグメントが生成され、バックカメラ１４からの第４撮影画像から第４俯瞰画像セグメントが生成される。なお、複数の異なる視点からの俯瞰画像を選択的に生成する構成を採用する場合には、異なる変換マップが選択可能なように構築される。
【００３８】
第１俯瞰画像セグメントから第４俯瞰画像セグメントを組み合わせて車両を中心とする車両全周囲の俯瞰画像を生成する際に隣り合う俯瞰画像セグメントとの間に４つの重複領域が生じる。境界付き俯瞰画像生成部６３と融合俯瞰画像生成部６４との違いは、この重複領域の画像生成の方法である。
境界付き俯瞰画像生成部６３は、この重複領域に、重複する撮影画像の境界領域を表す境界指標を描画する。例えば、重複する撮影画像の境界領域とは、双方の撮影視野を区分けする領域であるので、第１俯瞰画像セグメントと第２俯瞰画像セグメントとの重複領域の中心線を、この矩形の重複領域の対角線（車両の左前コーナ部と一端とする対角線）とみなすことができる。従って、ここでは、この重複領域の対角線上に描画される特定色の太線を境界指標とする。もちろん、太線以外に点線を用いても良いし、形状を扇形にしても良い。特定色としては黒色が適しているが、背景が黒系色の場合、白色など識別しやすい色を用いることが好ましい。境界指標の種類や色は、自動的に選択するようにしてもよいし、ユーザによって選択可能としてもよい。この目的のために、境界付き俯瞰画像生成部６３は、重複領域に境界領域を表す境界指標を付与する境界指標付与部６６とそのような境界指標の画像アイテムを格納している境界指標格納部６７を含んでいる。
【００３９】
融合俯瞰画像生成部６４は、この重複領域に２つの俯瞰画像セグメントの重複部分を用いて融合させた融合画像（アルファブレンド画像）を適用する。この目的のため、融合俯瞰画像生成部６４は、俯瞰画像セグメントの重複領域を予め設定された融合関係で融合して融合重複画像を生成する融合部６８と、当該融合関係をテーブル化して設定している融合テーブル６９とを含んでいる。融合（アルファブレンド）処理自体はよく知られているが、本発明で用いられている融合処理は、撮影画像から視点変換された俯瞰画像という特殊な条件に鑑み、そのような俯瞰画像の重複領域に適した以下のような融合関係を用いている。
【００４０】
この融合関係の主旨は、重複領域を作り出している２つのカメラのうちの一方の撮影中心線から極めて近い位置をもつ画素はその一方のカメラに基づく俯瞰画像セグメントの方の画素に重きをおき、他方の撮影中心線から極めて近い位置をもつ画素はその他方のカメラに基づく俯瞰画像セグメントの方の画素に重きをおくということである。さらに重要なことは、それ以外の画素では両方の俯瞰画像セグメントの平均をとるということである。
この融合関係を一般的な融合関数：Ｂで言い換えると、
α＝Ｂ（Ｌ）となる。
ここで、αは、重複領域の１つの画素位置における一方の俯瞰画像セグメントに属する画素値と他方の俯瞰画像セグメントに属する画素値との融合割合である。例えば、αが０．６であれば、一方の俯瞰画像セグメントに属する画素値が融合に際して使われる割合が０．６（パーセンテージで表示すると６０％）で、他方の俯瞰画像セグメントに属する画素値が融合に際して使われる割合が０．４（パーセンテージで表示すると４０％）となる。つまり、一方の俯瞰画像セグメントに属する画素と他方の俯瞰画像セグメントに属する画素とを融合させる比は、α：（１−α）となる。Ｌは、前述した撮影偏差であり、重複領域の１つの画素位置に対する一方の俯瞰画像セグメントにおける撮影上の重みと他方の俯瞰画像セグメントにおける撮影上の重みの比を示しているともいえる。撮影画像の端に位置するほど、その重みは小さいことになる。
しかも、この融合関数：Ｂでは以下の３つの定義域で異なっている。
（１）０＜Ｌ≦ａの定義域においてＢは平均変化率λ1で増加する。
（２）ｂ＜Ｌ≦最大値の定義域においてＢは平均変化率λ3で増加する。
（３）ａ＜Ｌ≦ｂの定義域においてＢはλ1やλ3より小さな変化率λ2で増加又は一定となる。
この実施形態では、Ｌには前述したθを用い、ａ＝１５°、ｂ＝７５°を採用している。この融合関数：Ｂで導出される融合割合：αは、０＜Ｌ≦ａの定義域で線形に単調増加（０％〜５０％）し、ｂ＜Ｌ≦最大値の定義域で線形に単調増加（５０％〜１００％）、ａ＜Ｌ≦ｂの定義域は一定でα＝５０％である。なお、ａは１０°〜２０°、ｂは７０°〜８０°が好適である。
【００４１】
境界付き俯瞰画像生成部６３によって生成される境界付き俯瞰画像及び融合俯瞰画像生成部６４によって生成される融合俯瞰画像はフレームメモリ５４に転送される。境界付き俯瞰画像は単に画像貼り付けだけで、融合俯瞰画像に比べてはるかに短時間で生成される。さらに、境界付き俯瞰画像は、その境界指標を通じて車両中心の車両周囲俯瞰画像における各カメラによる撮影視野を運転者に把握させる役割を持っている。従って、境界付き俯瞰画像を融合俯瞰画像に先立って（数秒程度）モニタ２１に表示することが重要である。このことは、境界付き俯瞰画像を表示させている間に、融合俯瞰画像を生成するという利点も得られる。表示画像決定部５５は、フレームメモリ５４に転送された境界付き俯瞰画像と融合俯瞰画像とを適切なタイミングで表示用俯瞰画像として、表示制御部７１に送り、モニタ２１に表示させる。
【００４２】
次に、上述のように構成された車両周辺監視システムによる俯瞰画像表示の流れを図６のフローチャートを用いて説明する。
車両周辺を監視するために俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定されるか又はデフォルト設定されている俯瞰画像の表示種別が読み出される（＃２１）。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰画像生成部６１で用いられる射影変換のためのマップが俯瞰マッピングテーブル６２において設定される（＃２２）。ここでは、４台の車載カメラ１の撮影画像が取得される（＃２３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃２４）。次いで、生成された第１から第４までの俯瞰画像セグメントを用いた境界付き俯瞰画像の生成処理要求が境界付き俯瞰画像生成部６３に与えられ（＃２５）、境界付き俯瞰画像生成処理が実行される（＃３０）。同時に、生成された第１から第４までの俯瞰画像セグメントを用いた融合俯瞰画像の生成処理要求が融合俯瞰画像生成部６４に与えられ（＃２６）、融合俯瞰画像生成処理が実行される（＃４０）。
【００４３】
境界付き俯瞰画像の生成が完了したかどうか判定される（＃５１）。この判定は境界付き俯瞰画像生成部６３で発行される生成完了通知により行われる。境界付き俯瞰画像の生成が完了すると（＃５１Yes分岐）、タイマをスタートさせて（＃５２）、境界付き俯瞰画像をモニタに表示させる（＃５３）。次に、タイマが設定時間（数秒）に達したかどうかチェックして（＃５４）、設定時間に達するまで境界付き俯瞰画像の表示が続く（＃５４No分岐）。タイマが設定時間に達すると（＃５４Yes分岐）、次は、融合俯瞰画像の生成が完了しているかどうか判定される（＃５５）。この判定は融合俯瞰画像生成部６４で発行される生成完了通知により行われる。融合俯瞰画像の生成が完了していると（＃５５Yes分岐）、まず、境界付き俯瞰画像の境界指標（境界太線）を所定時間だけ点滅させ、運転者に境界付き俯瞰画像から融合俯瞰画像へ表示変更することを知らせる（＃５６）。なお、融合俯瞰画像へ表示変更の直前に境界指標を点滅させるのではなく、最初から境界指標が点滅するように境界付き俯瞰画像を表示させてもよい。次いで、融合俯瞰画像を境界付き俯瞰画像に代えてモニタ２１に表示させる（＃５７）。この俯瞰画像表示ルーチンの終了指令がない限り（＃５８No分岐）、再びステップ＃２１に戻って、このルーチンを繰り返す。
【００４４】
なお、上述したルーチンでは、境界付き俯瞰画像の生成と表示が新しい撮影画像が取得するたびに行われる制御の流れで説明していたが、境界付き俯瞰画像の生成と表示をこのルーチンの起動時だけ、あるいは所定の時間間隔で行うのが一般的である。
【００４５】
〔別実施の形態〕
（１）上述した実施形態では、境界付き俯瞰画像や融合俯瞰画像の表示は、立体物認識モジュール３０による立体物の検出と関係なしに行われた。これに代えて、立体物情報取得部５６が立体物情報を受け取った場合、その立体物の位置に応じて、融合部６８によって使用する融合関数を変更してもよいし、立体物の位置俯瞰画像を生成する際の視点位置を変更してもよい。
（２）上述した実施形態では、表示用俯瞰画像の生成過程を分かりやすく説明するため、表示用俯瞰画像生成部６の構成を機能別にブロック化しているが、この機能ブロックは説明目的であり、本発明がこのようなブロックレイアウトに限定されるわけではない。例えば、撮影画像から複合的な変換テーブルを用いて直接境界付き俯瞰画像や融合俯瞰画像を生成してもよい。記載された機能が実現できる限り、その機能ブロックは種々の形態をとることができる。
（３）図２に示された融合関数は、連続関数のように表されており、そのような説明になっていたが、実際にはこの融合関数はテーブル化されるのが一般的である。そのような場合はもちろん、この融合関数は、図７で示すような離散的な関数として表されることになる。
【産業上の利用可能性】
【００４６】
本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
【符号の説明】
【００４７】
２１：モニタ（表示部）
５０：画像処理モジュール
５３：画像生成部
５５：表示画像決定部
６：表示用俯瞰画像生成部
６１：俯瞰画像生成部
６２：俯瞰マッピングテーブル
６３：境界付き俯瞰画像生成部
６４：融合俯瞰画像生成部
６６：境界指標付与部
６７：境界指標格納部
６８：融合部
６９：融合テーブル
７１：表示制御部
【特許請求の範囲】
【請求項１】
車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように組み合わせて生成された表示用俯瞰画像を表示部に表示する車両周辺監視システムにおいて、
前記俯瞰画像セグメントの重複領域を予め設定された融合関数で融合して融合重複画像を生成する融合部が備えられ、
前記融合関数は、前記重ね合わされる一方の撮影画像の撮影視野限界線と他方の撮影画像の撮影視野限界線との交点である基準点周りの角度に基づいて、または、前記一方の撮影画像の撮影視野限界線からの距離である第１パラメータと前記他方の撮影画像の撮影視野限界線からの距離である第２パラメータとに基づいて、あるいは、前記一方の撮影画像の撮影点と前記他方の撮影画像の撮影点とからの離散度に基づいて、前記重複領域における一方の撮影画像の画素成分と他方の撮影画像の画素成分との融合割合を導出する車両周辺監視システム。
【請求項２】
前記融合関数は、前記基準点周りの角度が前記いずれかの撮影画像の撮影点側に寄るほど当該撮影画像の画素成分の融合割合が増加する増加定義領域と、当該増加領域に挟まれた、融合割合が一定となる中間定義領域を有する請求項１に記載の車両周辺監視システム。
【請求項３】
前記融合関数は、前記第１パラメータと前記第２パラメータとの比が増加するほど前記画素成分の融合割合が大きくなる２つの端部定義領域と、この２つの端部定義領域に挟まれて前記第１パラメータ対前記第２パラメータの比の増減に関わらず前記画素成分の融合割合が一定となる中間定義領域を有する請求項１に記載の車両周辺監視システム。
【請求項４】
前記融合関数：Ｂが、以下の式、
α＝Ｂ（Ｌ），
０≦Ｌ≦ａの定義域においてＢは平均変化率λ1で増加する関数、
ｂ≦Ｌ≦最大値の定義域においてＢは平均変化率λ3で増加する関数、
ａ＜Ｌ＜ｂの定義域においてＢはλ1及びλ3より小さな変化率λ2で増加又は一定となる関数、
ここで、
α：前記重ね合わされる一方の撮影画像対他方の撮影画像の融合割合、
Ｌ：融合される画素位置の一方の撮影視野における離散度と他方の撮影視野に対する離散度との比、前記一方の撮影画像の撮影点からの離散度と前記他方の撮影視野に対する離散度との比で表される請求項１に記載の車両周辺監視システム。
【請求項５】
前記離散度：Ｌが、融合される画素の一方の撮影画像の撮影中心線からの距離：ｐ1と、融合される画素の他方の撮影画像の撮影中心線からの距離：ｐ2との比：ｐ１／ｐ2で求められる請求項４に記載の車両周辺監視システム。
【請求項６】
前記離散度：Ｌが、一方の撮影画像の像の撮影点と他方の撮影画像の撮影点との中間に位置する仮想的な基準点周りの、融合される画素が存在する角度：θで表される請求項４に記載の車両周辺監視システム。
【請求項７】
前記定義域を決定するａとｂが、撮影画像に応じて可変である請求項４から６のいずれか一項に記載の車両周辺監視システム。
【請求項８】
前記定義域を決定するａとｂが、前記重複領域に現れた障害物の位置に応じて変更される請求項７に記載の車両周辺監視システム。
【請求項１】
車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように組み合わせて生成された表示用俯瞰画像を表示部に表示する車両周辺監視システムにおいて、
前記俯瞰画像セグメントの重複領域を予め設定された融合関数で融合して融合重複画像を生成する融合部が備えられ、
前記融合関数は、前記重ね合わされる一方の撮影画像の撮影視野限界線と他方の撮影画像の撮影視野限界線との交点である基準点周りの角度に基づいて、または、前記一方の撮影画像の撮影視野限界線からの距離である第１パラメータと前記他方の撮影画像の撮影視野限界線からの距離である第２パラメータとに基づいて、あるいは、前記一方の撮影画像の撮影点と前記他方の撮影画像の撮影点とからの離散度に基づいて、前記重複領域における一方の撮影画像の画素成分と他方の撮影画像の画素成分との融合割合を導出する車両周辺監視システム。
【請求項２】
前記融合関数は、前記基準点周りの角度が前記いずれかの撮影画像の撮影点側に寄るほど当該撮影画像の画素成分の融合割合が増加する増加定義領域と、当該増加領域に挟まれた、融合割合が一定となる中間定義領域を有する請求項１に記載の車両周辺監視システム。
【請求項３】
前記融合関数は、前記第１パラメータと前記第２パラメータとの比が増加するほど前記画素成分の融合割合が大きくなる２つの端部定義領域と、この２つの端部定義領域に挟まれて前記第１パラメータ対前記第２パラメータの比の増減に関わらず前記画素成分の融合割合が一定となる中間定義領域を有する請求項１に記載の車両周辺監視システム。
【請求項４】
前記融合関数：Ｂが、以下の式、
α＝Ｂ（Ｌ），
０≦Ｌ≦ａの定義域においてＢは平均変化率λ1で増加する関数、
ｂ≦Ｌ≦最大値の定義域においてＢは平均変化率λ3で増加する関数、
ａ＜Ｌ＜ｂの定義域においてＢはλ1及びλ3より小さな変化率λ2で増加又は一定となる関数、
ここで、
α：前記重ね合わされる一方の撮影画像対他方の撮影画像の融合割合、
Ｌ：融合される画素位置の一方の撮影視野における離散度と他方の撮影視野に対する離散度との比、前記一方の撮影画像の撮影点からの離散度と前記他方の撮影視野に対する離散度との比で表される請求項１に記載の車両周辺監視システム。
【請求項５】
前記離散度：Ｌが、融合される画素の一方の撮影画像の撮影中心線からの距離：ｐ1と、融合される画素の他方の撮影画像の撮影中心線からの距離：ｐ2との比：ｐ１／ｐ2で求められる請求項４に記載の車両周辺監視システム。
【請求項６】
前記離散度：Ｌが、一方の撮影画像の像の撮影点と他方の撮影画像の撮影点との中間に位置する仮想的な基準点周りの、融合される画素が存在する角度：θで表される請求項４に記載の車両周辺監視システム。
【請求項７】
前記定義域を決定するａとｂが、撮影画像に応じて可変である請求項４から６のいずれか一項に記載の車両周辺監視システム。
【請求項８】
前記定義域を決定するａとｂが、前記重複領域に現れた障害物の位置に応じて変更される請求項７に記載の車両周辺監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−２６８０１（Ｐ２０１３−２６８０１Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５９３４４（Ｐ２０１１−１５９３４４）
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]