車両周囲画像表示システム
【課題】従来の俯瞰合成画像の表示上の違和感（障害物等の障害物が路面に倒れているように見える、等）を安価な方法で解消できる車両周囲画像表示システムを提供する。
【解決手段】車両周囲を撮像するためのカメラと、自車両周囲の障害物を検出する障害物検出手段と、障害物に対応する代替画像を予め格納しておくメモリ部と、カメラが取得した画像を基に自車両周囲の仮想視点からの俯瞰画像を生成する画像処理部と、からなり、障害物検出手段が障害物を検出した場合に、画像処理部は、障害物を同定し、同定された障害物に対応する代替画像を選択してメモリ部から読出して、選択した代替画像の向きと傾きを仮想視点に合わせて変更して、俯瞰画像に重畳する。
【解決手段】車両周囲を撮像するためのカメラと、自車両周囲の障害物を検出する障害物検出手段と、障害物に対応する代替画像を予め格納しておくメモリ部と、カメラが取得した画像を基に自車両周囲の仮想視点からの俯瞰画像を生成する画像処理部と、からなり、障害物検出手段が障害物を検出した場合に、画像処理部は、障害物を同定し、同定された障害物に対応する代替画像を選択してメモリ部から読出して、選択した代替画像の向きと傾きを仮想視点に合わせて変更して、俯瞰画像に重畳する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車等の車両の周囲画像を表示する技術に係り、特に、車両周囲を撮影する複数のカメラから得た画像をもとに、車両及びその周辺の俯瞰画像を合成して表示する際に、俯瞰画像上に表示される立体物（運転上障害となる物体、又は危害を与える恐れのある人体などの立体物であって、以下、障害物という）を違和感なく表示する技術に関するものである。
【背景技術】
【０００２】
車両周囲に取り付けた複数のカメラ画像と車両の代替画像とを合成して、車両上空の仮想視点より車両を俯瞰した画像を運転者に提供するシステムとしては、例えば日産自動車株式会社の「アラウンドビュー・モニタ（Ａｒｏｕｎｄ＿Ｖｉｅｗ＿Ｍｏｎｉｔｏｒ）」がある。
しかしながら、この種の従来技術による場合、俯瞰画像上では障害物等の障害物が路面に倒れているように見えるという問題がある。又、障害物、即ち、原理的に高さのある物体は、カメラの撮像範囲よりも上方部分が表示不可能となるという問題がある。更に、高さのある物体は、カメラ設置位置と、物体の路面上の位置を結んだ直線状に、車両側から外側に向かって伸びていくように見えるという、違和感のある表示状態となる。
【０００３】
特許文献１には、障害物に対してカメラが撮像不可能な領域（カメラ方向から見て、障害物の裏側）について、障害物が検出されたとき、検出された障害物の車両側の縁の位置を用いて、画像欠落領域を特定し、代替画像で埋める技術が記載されている。しかしながら、この技術は、トップビュー表示上での発明であり、車両周囲、例えば後面や側面から俯瞰する画像に対する表示改善の記述がない。また、障害物の代替画像に動的表現が含まれていないので、人間などの障害物の動作に対して注意喚起性が低い。
【０００４】
特許文献２には、障害物が検出された場合、検出された障害物の種類（人、自転車、車両、など）に応じて模式的な絵表示（静的な代替画像）を検出された位置に表示する技術が記載されている。
しかしながら、これらの障害物の表示は、動作の有無や姿勢の向きを伴うものではなく、依然として違和感が甚だしい。
また、特許文献３には、検出した障害物（人）が表示する画像の範囲外にある場合に、その移動状況をトップビュー上での代替画像で示す技術が記載されているが、代替画像は真上からのものに固定されている。また、障害物が表示する画面の範囲内にある場合は、そのまま表示するものであり、いずれにしても上記違和感は解消されない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１８９２９３号公報
【特許文献２】特開平７−２２３４８８号公報
【特許文献３】特開２００７−２９５０４３号公報
【非特許文献】
【０００６】
【非特許文献１】「モーションステレオ法による単眼測距原理」、ＳＥＩ＿Ｔｅｃｈｎｉｃａｌ＿Ｒｅｖｉｅｗ ２００６年７月第１６９号。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このような諸問題を解決する為になされた本発明の目的は、従来の俯瞰合成画像が抱える表示上の違和感（障害物が路面に倒れているように見える、等）を安価な方法で解消し、運転者が直感的且つ迅速に車両周囲の障害物を発見できるようにして、車両周囲の安全確認を補助することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１に記載された発明による車両周囲画像表示システムは、車両周囲を撮像するためのカメラと、自車両周囲の障害物を検出する障害物検出手段と、前記障害物に対応する代替画像を予め格納しておくメモリ部と、前記カメラが取得した画像を基に自車両周囲の仮想視点からの俯瞰画像を生成する画像処理部と、からなり、前記障害物検出手段が前記障害物を検出した場合に、前記画像処理部は、前記障害物を同定し、前記同定された障害物に対応する代替画像を選択して前記メモリ部から読出して、前記選択した代替画像の向きと傾きを前記仮想視点に合わせて変更して、前記俯瞰画像に重畳することを特徴とする。
【０００９】
請求項２によれば、前記画像処理部は、前記同定された障害物のサイズを測定し、動作の有無を検出し、測定されたサイズに相当する動画像又は静止画像の代替画像を選択する。
また請求項３によれば、前記メモリ部は、同種の障害物に対して大きさの異なる複数の静止代替画像及び動画代替画像の双方又は一方を格納する。
また請求項４によれば、前記画像処理部は前記代替画像を重畳する過程において、前記代替画像の重畳に先立って、前記障害物画像を除去し、前記障害物画像の周囲の画素情報を用いて補完処理を行う。
また請求項５によれば、前記画像処理部は、さらに、前記代替画像を重畳した後に、前記重畳した代替画像の周囲に「ぼかし」効果用画像を挿入する、又は、予め前記「ぼかし」効果用画像と一組になっている前記代替画像を前記メモリ部から読み出して重畳する。
また請求項６によれば、前記画像処理部は、障害物検出手段が検出した障害物の大きさが、ある一定の値よりも大きい場合は、代替画像を重畳しない。
また請求項７によれば、前記画像処理部は、自車両中心部から前記障害物の路面上の位置を結ぶ直線上に前記代替画像を重畳する。
また請求項８によれば、前記メモリ部は、同種の前記障害物に対して自車両からの距離に応じた複数個のモデルを備え、前記モデルは、前記障害物が前記カメラの撮像範囲に部分的に入っている場合に対するモデルを含み、前記画像処理部は、検出された障害物の画像を前記モデルと比較して前記障害物を同定し、前記障害物の全体代替画像を選択する。
【発明の効果】
【００１０】
本発明によれば、画像処理部が、撮像手段より撮像した画像を車両上部又は車両側面からの俯瞰画像に変換し、障害物検出手段からの情報をもとに、車両周囲の立体障害物の大きさ、動作に見合った代替画像をメモリ部から選定して、同俯瞰画像上に上書き表示するので、車両周囲の立体障害物が違和感なく表現され、運転者は車両周囲の障害物を容易に発見できる。
【図面の簡単な説明】
【００１１】
【図１】車両周囲画像表示システムの全体構成を示すブロック図であり、（Ａ）は別途の障害物検出手段を備える場合であり、（Ｂ）は撮像手段と画像処理手段の組が障害物検出手段を包含する場合である。
【図２】車両周囲の仮想視点の位置を表す図であり、（Ａ）は上方から見た場合、（Ｂ）は横方から見た場合の図である。
【図３】仮想視点に相当する位置から自車両と側方に立つ障害物を見た画像であり、（Ａ）は障害物の高さが低い場合のサイドビュー視点、（Ｂ）は障害物の高さが高い場合と低い場合に共通するトップビュー視点、（Ｃ）は障害物の高さが高い場合のサイドビュー視点、（Ｄ）は障害物の高さが高い場合のバックビュー視点、の場合である。
【図４】障害物の高さが低い場合について、撮像手段（サイドカメラ）の画像をサイドビュー仮想視点から見た俯瞰画像に変換する流れを説明する図であり、（Ａ）は入力画像、（Ｂ）は回転処理画像、（Ｃ）は射影変換画像、（Ｄ）は出力画像、である。
【図５】障害物の高さが高い場合について、撮像手段（サイドカメラ）の画像をサイドビュー仮想視点から見た俯瞰画像に変換する流れを説明する図であり、（Ａ）は入力画像、（Ｂ）は回転処理画像、（Ｃ）は射影変換画像、（Ｄ）は出力画像、である。
【図６】撮像手段（前後左右４つのサイドカメラ）の画像を、トップビュー仮想視点から見た俯瞰画像に変換する流れを説明する図である。
【図７】サイドカメラの画像をサイドビュー仮想視点から見た俯瞰画像に変換する際に、障害物の画像を本発明による代替画像により置き換える流れを表す図である。
【図８】図７における画像処理のフローチャート図である。
【図９】図７における代替画像の例を表す図である。
【図１０】トップビュー画像において、斜め上から見た代替画像を用いた場合（Ａ）と、さらに角度補正した代替画像を用いた場合（Ｂ）とを比較した図である。
【図１１】自車両との距離に応じた障害物の撮像可能範囲（Ａ）と、代替画像の選択例（Ｂ）を表す図である。
【図１２】「ぼかし」効果を付与した代替画像を用いた場合の効果を示すトップビュー画像の例を表す図であり、（Ａ）は従来の（角度補正しない）画像、（Ｂ）は角度補正した代替画像を上書きした画像、（Ｃ）は「ぼかし」効果を付与した代替画像を用いた画像、（Ｄ）は理想的画像である。
【図１３】「ぼかし」効果を付与した代替画像を説明する図である。
【図１４】モーションステレオ法による単眼測距原理を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を添付の図表に基づいて説明する。
図１に示すように、車両周囲画像表示システムは、車両周囲を撮像するカメラ（撮像手段）１１と、車両周囲の障害物を検出する障害物検出手段１２と、代替画像のデータを格納するメモリ部１３と、カメラで撮像した画像を俯瞰画像に変換し、俯瞰画像上の障害物（立体物）を代替画像に置換した画像を生成する画像処理部１６と、画像処理部１６で生成された画像を表示するモニタ（表示部）１５とを備える。
【００１３】
メモリ部１３と画像処理部１６は通常、ＥＣＵ（電子処理装置）１４に含まれる。
障害物検出手段１２は、図１（Ａ）に示すように、Ｌａｓｅｒ、Ｓｏｎａｒ、Ｒａｄａｒのいずれかからなる場合もあり、図１（Ｂ）に示すように、撮像手段１１と画像処理部１６に包含され、撮像手段で撮像された画像を画像処理部で分析して障害物を検出する場合もある。
【００１４】
カメラ１１は通常、車両の前後左右の側部に備えたミラーに取り付けられる。また、モニタ１５は車両内に独立して備えても良いが、ナビ用のモニタと兼用し、低速走行時又は停止時に自動的に俯瞰画像用に切り替えてもよい。
【００１５】
図２（Ａ）（Ｂ）に示すように、自車両２０の周囲の俯瞰画像を生成する際の仮想視点としては、自車両上方、自車両側方、自車両前方、自車両後方の仮想視点２１、２２、２３、２４を設定し、各々、トップビュー、サイドビュー、フロントビュー、バックビュー視点とすることが考えられる。
【００１６】
実際に例えばサイドビュー視点及びトップビュー視点に相当する位置から自車両２０とその側部に立つ障害物２５を見た場合の画像は、障害物の高さが低い場合は、各々の場合の路面画像５５、５０に対して図３（Ａ）、（Ｂ）のようでなければならない。
また、障害物の高さが高い場合は、各々の場合の路面画像５５、５０に対して図３（Ｃ）、（Ｂ）のようでなければならない。
【００１７】
しかしながら、例えばサイドドアミラーに取り付けられたカメラ１１から撮像した画像を画像処理して、サイドビュー視点から見た俯瞰画像を生成した場合、障害物の高さが低い場合でも、後面を見せて立っているべき障害物２５が、通常は図４（Ｄ）に示す出力画像のように、前面を見せて倒立している、もしくは「倒れこんで」見える、即ち、障害物２８が仰向けに寝ているように見えるという違和感がある。
（以下、障害物２５の前面、後面は各々、障害物が自車両２０（即ち、サイドドアミラーに取り付けられたカメラ１１）に見せている面と、その逆の面である。）
【００１８】
さらに図５のように、障害物２５の高さが高い場合は、障害物の上部がカメラの視野に入らないので、後面を見せて立っているべき障害物２５が、通常は図５（Ｄ）に示す出力画像のように前面を見せて倒立している、もしくは「倒れこんで」見える、即ち、仰向けに寝ているように見えるだけでなく、下部しか表示されない状態の障害物２８となる現象を生じ、運転者の判断を狂わせる違和感がある。
【００１９】
上記の現象の発生原因を、障害物の高さが低い場合について、図４（Ａ）〜（Ｄ）に示す俯瞰画像生成の流れをもとに説明する。
（Ａ）は、サイドドアミラーに取付けたカメラによって撮像した入力画像である。
【００２０】
（Ｂ）は、この「カメラ側から見た画像」を「サイドビュー視点から見た画像」にするため、１８０度回転し、「画像の上側を車両側、下側をサイドビュー視点側」とする。ここで、障害物２６は、その上下が反転する。
【００２１】
（Ｃ）は、次に、回転した画像（Ｂ）の遠近感を自然にするため、射影変換により、車両側（画像上側）を狭く縮小し、手前の車両外側（下側）を引き伸ばす。この時点で、障害物２７が大きく変形してしまい、違和感がさらに増す。
【００２２】
（Ｄ）は、射影変換した画像（Ｃ）と自車両の代替画像を合成し、サイドビュー視点の画像を完成するが、障害物２８は、その上下が反転し（又は、「仰向けに倒れこんで」見える）、形状が大きく変形してしまい、違和感が甚だしく、却って運転者の誤判断を招く場合がある。
【００２３】
上記の現象の発生原因は、障害物の高さが高い場合についても、図５（Ａ）〜（Ｄ）に示す俯瞰画像生成の流れを追うならば、上記と同様に理解される。ただし、この場合は、障害物２５はその下部だけが撮像され、上部は撮像できないので、出力俯瞰画像である図５（Ｄ）では、上下が反転し変形した障害物の下部２８が表れる。
【００２４】
同様の問題は、車両の前後左右側部に備えた４つのカメラによる画像を用いてトップビュー視点から見た俯瞰画像を生成した場合にも生ずる。
図６に、この場合の俯瞰画像の通常の生成手順を示す。
【００２５】
よく知られているように、４つのカメラで捕らえた原画画像は各々幾何変換されてカメラの設けられた車両の各辺に沿った矩形画像になり、各々台形のマスクにより必要な画像情報が切り出されて、最後に車両の代替画像の４周に各々台形画像が貼りあわされ、台形の重畳部分のスムージングが行なわれて、トップビュー視点の俯瞰画像が生成される。
この場合、上記のような１８０度回転処理は不要なので、障害物２５の前後及び上下反転は生じないが、「仰向けに倒れこんで」見える変形現象が同様に生じ、運転者の感じる違和感が甚だしい。
【００２６】
次に、上記の、障害物が仰向けに倒れこんで見える変形状態を解決する本発明による手順を、画像処理の流れを説明する図７と、図７に対応するフローチャートである図８を用いて、ステップＳ１〜ステップＳ１２の順に順次説明する。
[ステップ１〜２の説明]
【００２７】
図７と図８を参照すると、ステップＳ１で、例えばサイドドアミラーに取り付けられたカメラ１１が自車両外部の画像を取得する。
【００２８】
そして、ステップＳ２で、障害物検出手段１２が自車両周囲の障害物の有無を検出する。図７のステップＳ２において、上段・下段の図は各々、障害物２５の有・無に対応する。
障害物検出手段１２が上記図１（Ｂ）に示すように、撮像手段１１と画像処理部１６で構成されている場合は、障害物検出手段１２は、取得したカメラ画像を分析し、障害物２５を検出する。
また、障害物検出手段１２が上記図１（Ａ）に示すように、別途備えられている場合（例えば、レーダーである場合）は、これによって障害物２５を検出する。
ステップＳ２で障害物が検出されない場合は、後述のステップＳ１０に直行する。
[ステップ３〜７の説明]
【００２９】
次に、ステップＳ３で障害物のサイズを測定し、ステップＳ４で障害物の動作有無を検出する。例えば、障害物検出手段１２がレーダーの場合は、障害物をレーダーで走査することにより、障害物のサイズの測定及び障害物の動作の有無を検出する。
【００３０】
障害物検出手段１２が上記図１（Ｂ）に示すように、撮像手段１１と画像処理部１６で構成されている場合、例えば、カメラ画像に対するモーションステレオ（Ｍｏｔｉｏｎ＿Ｓｔｅｒｅｏ）原理の適用が考えられる。この原理を用いることにより、周囲画像の撮影と、障害物との距離計測と、障害物の形状認識と、障害物の動作判別とを実現できる。
【００３１】
例えば、非特許文献１に示されているように、モーションステレオ法は、図１４を参照すると、時刻ｔで取得した画像データと、時刻ｔ＋Δｔで取得した画像データから、障害物との距離、障害物の形状を推定するものである。
【００３２】
なお、この方法では、自車両と障害物の両方が停止している場合は障害物を検出できないが、その場合は接触の危険が無いので致命的問題にならない。
【００３３】
ここで障害物が動く物体であると判定された場合は、ステップＳ５でメモリ部１３に格納されている動画代替画像を検索し、ステップＳ７で、検索された中で測定されたサイズに相当する代替画像３５を選択する。
又、ステップＳ４で障害物が動かない、障害物（例えば、立っている人）であると判定された場合は、ステップＳ６でメモリ部１３に格納されている静止画代替画像を検索し、ステップＳ７で、検索された中で測定されたサイズに相当する代替画像３５を選択する。
このようにして、ステップＳ７で動画又は静止画の代替画像が決定される。
【００３４】
さらに、代替画像３５の向きと傾きは、本実施形態における俯瞰画像の視点であるサイドビュー視点（横方向斜め上方から自車両を見る）に合わせて代替画像３５を各々、変更される。
向きは、この場合、障害物（例えば、立っている人）の後面画像とし、傾きは、通常直立（９０度）であるが、障害物が柱などの場合で傾いていると判定した場合は、判定された傾き角度に合わす。
これらの「向きと傾き」は、その都度演算してもよく、メモリ部から対応代替画像のうちで最適なものを選択してもよい。
【００３５】
なお、カメラ画像をもとに障害物の距離計測、形状認識、動作判別等を計算するモーションステレオ原理では、カメラ１１の撮像範囲外の高さのある障害物が存在する場合、正確に障害物の特徴を捉えることができず、適切な代替画像をメモリ部より選択することが困難となる。
【００３６】
具体的には、例えば、図１１（Ａ）に示すように、カメラ１１の視野は通常、サイドドアミラーの高さから遠方で路面に達する範囲にある。
従って、上記のように、障害物の位置が自車両に近く障害物の高さがサイドドアミラーより高い場合や、大きい障害物が自車両に接近している場合は、障害物２５がカメラの撮像範囲からはみ出してしまうので、障害物の大きさが正確に計測できない。
また、表示上の遠方部から車両付近に障害物が接近してきた場合など、途中で代替画像が変化してしまうことが考えられる。
【００３７】
このような場合に対処するため本発明による車両周囲画像表示システムでは、障害物（人）２５の高さの大小（大人と小人）、及びその自車両との距離に応じて、同種の障害物に対して図１１（Ｂ）に示すように、障害物を部分的に表わす場合を含む数種類のモデルを用意しておく。
【００３８】
取得した障害物の画像をいずれかのモデルに分類して同定することによって、カメラ撮像範囲外の部分がある障害物に対しても、カメラ撮像範囲外の部分を含む障害物全体の適切な代替画像３５を割り当てることが可能となる。
【００３９】
より具体的には、図１１（Ａ）に示すように、大人の障害物２５の場合、自車両との距離に応じて４段階のモデル（１．首下、２．胸下、３．腰下、４．膝下）を撮像形状認識モデルとして用意しておき、図１１（Ｂ）に示すように、撮像範囲外の部分を補完して大人の全体に対する代替画像を提供する。
小人に対しても、類似の手順を採用する。
【００４０】
また、障害物検出手段が検出した障害物が、車両や、壁など、所定の大きさ、例えば、自車両の前後左右のいずれかの撮像範囲の５０％以上を占めていると判断した場合は、以下の画像処理を行うことなく、現状の表示状態を維持する。
［ステップ８〜９の説明］
【００４１】
一方、ステップＳ８では、上記ステップ１でカメラ１１により取得した、障害物２５と路面画像５１を含む画像から、上記ステップＳ２で検出した障害物２５（と判定された画像）の画素を一旦除去して路面画像５２を得る。
次にステップＳ９では、路面画像５２の違和感を取り除くため、周辺の路面部分の画素の色情報をもとに補完再生して上書きして路面画像５３を作成する。
【００４２】
この補完再生には、最隣接（Ｎｅａｒｅｓｔ＿Ｎｅｉｇｈｂｏｒ）画素法などの画素補完技術を適用する。
なお、路面上に描かれた分離線などの交通標識は、それが障害物と認識されないように判定され、路面画像の一部を形成するものとする。
【００４３】
なお本発明によれば、上記ステップ７において、代替画像３５自体に上記画素補完に近い「ぼかし」効果を有する画像を付加して、路面画像の違和感を低減できる。
この「ぼかし」効果用画像は、ステップ７において、その都度付加してもよいが、代替画像ごとに対応する「ぼかし」効果用画像を予め付加して一組になっている形で、メモリ部に保存しておいてもよい。
例えば図１３を参照すると、代替画像３５に「ぼかし」効果用画像４５を付加して代替画像とすることができる。
【００４４】
「ぼかし」効果用画像４５は、円、楕円などの滑らかな閉曲線からなる単純な輪郭と、グレイスケールの単色の色彩を有し、もとの障害物の画像に由来する、変形された障害物画像を目立たないように被覆する。
この場合、上記のステップＳ８（障害物の画素除去）と、ステップＳ９（路面画素の補間再生）というステップを省略することができ、上記の路面画像の違和感を安価に軽減できる。
また、上記ステップＳ９を省略してＳ８のみを実行してもよく、ステップＳ８とＳ９の双方を省略せずに実行してもよい。
［ステップ１０〜ステップ１２の説明］
【００４５】
次に、ステップＳ１０では俯瞰処理を行なう。即ち、自車両２０が画面の上部に位置するように路面画像５３を１８０度反転して路面画像５４とし、次に反転した路面画像５４に対し、手前側が近く、車両側が遠くに位置するように自然な遠近感を持たせるように射影変換し、路面画像５５を作成する。
ステップＳ８において障害物２５の画像を除去した後もステップＳ９〜Ｓ１０を通じて、障害物の路面上の位置２６ａ、２７ａ、２８ａは保存される。
【００４６】
次に、ステップＳ１１では画像重畳処理を行なう。即ち、仮想視点から見た自車両２０の代替画像と、上記ステップＳ１０で生成された路面画像５５とを合成する。
また、ステップ２で障害物２５を検出していた場合は、上記のように自車両２０の代替画像（これも「２０」で表わす）と路面画像５５を合成した後の画像に対して、上記ステップＳ７で決定された障害物２５の代替画像３５をさらに重畳することによって、自車両及び障害物を仮想視点から見た俯瞰画像を完成し、ステップ１２でモニタ１５に対して表示出力させる。
その際、障害物の代替画像３５は路面画像５５上の路面上の位置２８ａに合わせて上書き合成される。
【００４７】
以上、本発明による車両周囲画像表示システムの特徴と利点を、サイドドアミラーカメラによる画像を用いた上記図２における自車両側方の仮想視点（サイドビュー視点）２２からの俯瞰画像形成の場合について、上記図７と図８の手順に従って説明した。
本発明による図７と図８の手順は、図２における自車両前方の仮想視点（フロントビュー視点）２３、自車両後方の仮想視点（バックビュー視点）２４からの俯瞰画像形成に対しても全く同様に適用できる。
［トップビュー視点からの俯瞰画像］
【００４８】
次に、図２における車両中心部上方の仮想視点（トップビュー視点）２１からの俯瞰画像の場合は、上記図６に示したように、車両の前後左右側部に備えた４つのカメラによる画像を用い、各々のカメラ画像に対して、やはり上記図７と図８の手順が適用できる。
ただし、この場合は、ステップＳ９において、１８０度反転処理は不要であり、路面画像５３は直ちに射影変換して路面画像５５とする。
【００４９】
このトップビュー視点２１からの俯瞰画像の場合、障害物の代替画像３５として真上からの画像を採用すると、障害物が、例えば、人か柱状物か、判断し難くなる。
そこで図１０（Ａ）を参照すると、もとのカメラ画像上の障害物２５の画像に戻って、例えばフロントカメラ１１の画像をもとにした俯瞰画像における障害物２５の場合、フロントカメラ１１と、障害物の路面上の位置２７ａとを結ぶ方向に沿った、斜め上からの代替画像３６を表示する。
【００５０】
それでも、図１０（Ａ）の場合、代替画像３６には、なお「倒れこんだ」ような違和感が残る。
そこで、さらに図１０（Ｂ）を参照すると、代替画像３７の向きと傾きは、本実施形態における俯瞰画像の視点であるトップビュー視点（自車両の中心部上方の視点）２１に合わせ、向きは、障害物（例えば、立っている人）の正面画像とし、傾きは、自車両の中心部（トップビュー視点２１）と障害物の路面上の位置２７ａを結ぶ方向に沿って後傾させる。代替画像３７では、「倒れこんだ」ように見えるという違和感が取り除かれている。
［「ぼかし」効果用画像］
【００５１】
図１２を参照すると、「ぼかし」効果を付与した代替画像を用いた場合の効果を示すトップビュー画像の例を表す図である。
この場合、図１２（Ａ）は、上記図６に示した手順で得られた俯瞰画像であり、例えばフロントカメラ１１の画像をもとにした俯瞰画像における障害物２５ｂの画像は、フロントカメラ１１と、障害物の路面上の位置２７ａとを結ぶ方向に沿って、著しく大きく、且つ路面に「倒れこんで」いる。
【００５２】
図１２（Ｂ）は、車両中心部２１と障害物の路面上の位置２７ａを結ぶ方向に沿って傾けた、斜め上からの代替画像３７を上書きした画像である。
代替画像３７自身は違和感がないが、障害物２５ｂの画像の相当部分が代替画像３７によって隠されず露出しており、混乱を招き違和感がある。
【００５３】
図１２（Ｃ）は、図１３に示したような代替画像３５に対する「ぼかし」効果用画像４５を、代替画像３７に付与した場合であり、障害物２５ｂの画像を実質的に隠すことができ、図１２（Ｄ）に示す理想的画像と比較して遜色がなく、実用的に違和感が抑えられる。
（Ｃ）は安価に実現できるが、運転者に警告を与えるという観点からは、実用上は（Ｄ）と実質的に同等である。
［代替画像］
【００５４】
メモリ部に格納する代替画像の例を図９に示す。
代替画像を動画代替画像として俯瞰画像上に表示する場合、障害物が動物や人間の場合、両手や両足を交互に動かした静止代替画像を交互に表示して、歩いているように表現しても良い。
【００５５】
又、メモリ部に格納される代替画像の中には、静止代替画像として、柱（棒杭）、自動販売機、ベンチ等を用意する。
【００５６】
障害物検出手段は、車から障害物との距離や、障害物の大きさ、動きの有無が分かるものであれば良く、前述したように、カメラを用いて、画像により障害物との距離を測定するモーションステレオ原理によるものが、画像取得手段と兼ねるという意味でコスト的に望ましいが、レーザや超音波センサなどであっても良い。
【符号の説明】
【００５７】
１１ カメラ（撮像手段）
１２ 障害物検出手段
１３ メモリ部
１４ ＥＣＵ
１５ モニタ（表示部）
１６ 画像処理部
２０ 自車両
２１、２２、２３、２４ 自車両上方、自車両側方、自車両前方、自車両後方、の仮想視点
２５、２６、２７、２８ 障害物（立体物）
２６ａ、２７ａ、２８ａ 障害物の路面上の位置
２５ｂ 障害物（立体物）
３５、３６、３７ 代替画像
４５ 「ぼかし」効果用画像
５０、５１、５２、５３、５４、５５ 路面画像
【技術分野】
【０００１】
本発明は、自動車等の車両の周囲画像を表示する技術に係り、特に、車両周囲を撮影する複数のカメラから得た画像をもとに、車両及びその周辺の俯瞰画像を合成して表示する際に、俯瞰画像上に表示される立体物（運転上障害となる物体、又は危害を与える恐れのある人体などの立体物であって、以下、障害物という）を違和感なく表示する技術に関するものである。
【背景技術】
【０００２】
車両周囲に取り付けた複数のカメラ画像と車両の代替画像とを合成して、車両上空の仮想視点より車両を俯瞰した画像を運転者に提供するシステムとしては、例えば日産自動車株式会社の「アラウンドビュー・モニタ（Ａｒｏｕｎｄ＿Ｖｉｅｗ＿Ｍｏｎｉｔｏｒ）」がある。
しかしながら、この種の従来技術による場合、俯瞰画像上では障害物等の障害物が路面に倒れているように見えるという問題がある。又、障害物、即ち、原理的に高さのある物体は、カメラの撮像範囲よりも上方部分が表示不可能となるという問題がある。更に、高さのある物体は、カメラ設置位置と、物体の路面上の位置を結んだ直線状に、車両側から外側に向かって伸びていくように見えるという、違和感のある表示状態となる。
【０００３】
特許文献１には、障害物に対してカメラが撮像不可能な領域（カメラ方向から見て、障害物の裏側）について、障害物が検出されたとき、検出された障害物の車両側の縁の位置を用いて、画像欠落領域を特定し、代替画像で埋める技術が記載されている。しかしながら、この技術は、トップビュー表示上での発明であり、車両周囲、例えば後面や側面から俯瞰する画像に対する表示改善の記述がない。また、障害物の代替画像に動的表現が含まれていないので、人間などの障害物の動作に対して注意喚起性が低い。
【０００４】
特許文献２には、障害物が検出された場合、検出された障害物の種類（人、自転車、車両、など）に応じて模式的な絵表示（静的な代替画像）を検出された位置に表示する技術が記載されている。
しかしながら、これらの障害物の表示は、動作の有無や姿勢の向きを伴うものではなく、依然として違和感が甚だしい。
また、特許文献３には、検出した障害物（人）が表示する画像の範囲外にある場合に、その移動状況をトップビュー上での代替画像で示す技術が記載されているが、代替画像は真上からのものに固定されている。また、障害物が表示する画面の範囲内にある場合は、そのまま表示するものであり、いずれにしても上記違和感は解消されない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１８９２９３号公報
【特許文献２】特開平７−２２３４８８号公報
【特許文献３】特開２００７−２９５０４３号公報
【非特許文献】
【０００６】
【非特許文献１】「モーションステレオ法による単眼測距原理」、ＳＥＩ＿Ｔｅｃｈｎｉｃａｌ＿Ｒｅｖｉｅｗ ２００６年７月第１６９号。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このような諸問題を解決する為になされた本発明の目的は、従来の俯瞰合成画像が抱える表示上の違和感（障害物が路面に倒れているように見える、等）を安価な方法で解消し、運転者が直感的且つ迅速に車両周囲の障害物を発見できるようにして、車両周囲の安全確認を補助することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１に記載された発明による車両周囲画像表示システムは、車両周囲を撮像するためのカメラと、自車両周囲の障害物を検出する障害物検出手段と、前記障害物に対応する代替画像を予め格納しておくメモリ部と、前記カメラが取得した画像を基に自車両周囲の仮想視点からの俯瞰画像を生成する画像処理部と、からなり、前記障害物検出手段が前記障害物を検出した場合に、前記画像処理部は、前記障害物を同定し、前記同定された障害物に対応する代替画像を選択して前記メモリ部から読出して、前記選択した代替画像の向きと傾きを前記仮想視点に合わせて変更して、前記俯瞰画像に重畳することを特徴とする。
【０００９】
請求項２によれば、前記画像処理部は、前記同定された障害物のサイズを測定し、動作の有無を検出し、測定されたサイズに相当する動画像又は静止画像の代替画像を選択する。
また請求項３によれば、前記メモリ部は、同種の障害物に対して大きさの異なる複数の静止代替画像及び動画代替画像の双方又は一方を格納する。
また請求項４によれば、前記画像処理部は前記代替画像を重畳する過程において、前記代替画像の重畳に先立って、前記障害物画像を除去し、前記障害物画像の周囲の画素情報を用いて補完処理を行う。
また請求項５によれば、前記画像処理部は、さらに、前記代替画像を重畳した後に、前記重畳した代替画像の周囲に「ぼかし」効果用画像を挿入する、又は、予め前記「ぼかし」効果用画像と一組になっている前記代替画像を前記メモリ部から読み出して重畳する。
また請求項６によれば、前記画像処理部は、障害物検出手段が検出した障害物の大きさが、ある一定の値よりも大きい場合は、代替画像を重畳しない。
また請求項７によれば、前記画像処理部は、自車両中心部から前記障害物の路面上の位置を結ぶ直線上に前記代替画像を重畳する。
また請求項８によれば、前記メモリ部は、同種の前記障害物に対して自車両からの距離に応じた複数個のモデルを備え、前記モデルは、前記障害物が前記カメラの撮像範囲に部分的に入っている場合に対するモデルを含み、前記画像処理部は、検出された障害物の画像を前記モデルと比較して前記障害物を同定し、前記障害物の全体代替画像を選択する。
【発明の効果】
【００１０】
本発明によれば、画像処理部が、撮像手段より撮像した画像を車両上部又は車両側面からの俯瞰画像に変換し、障害物検出手段からの情報をもとに、車両周囲の立体障害物の大きさ、動作に見合った代替画像をメモリ部から選定して、同俯瞰画像上に上書き表示するので、車両周囲の立体障害物が違和感なく表現され、運転者は車両周囲の障害物を容易に発見できる。
【図面の簡単な説明】
【００１１】
【図１】車両周囲画像表示システムの全体構成を示すブロック図であり、（Ａ）は別途の障害物検出手段を備える場合であり、（Ｂ）は撮像手段と画像処理手段の組が障害物検出手段を包含する場合である。
【図２】車両周囲の仮想視点の位置を表す図であり、（Ａ）は上方から見た場合、（Ｂ）は横方から見た場合の図である。
【図３】仮想視点に相当する位置から自車両と側方に立つ障害物を見た画像であり、（Ａ）は障害物の高さが低い場合のサイドビュー視点、（Ｂ）は障害物の高さが高い場合と低い場合に共通するトップビュー視点、（Ｃ）は障害物の高さが高い場合のサイドビュー視点、（Ｄ）は障害物の高さが高い場合のバックビュー視点、の場合である。
【図４】障害物の高さが低い場合について、撮像手段（サイドカメラ）の画像をサイドビュー仮想視点から見た俯瞰画像に変換する流れを説明する図であり、（Ａ）は入力画像、（Ｂ）は回転処理画像、（Ｃ）は射影変換画像、（Ｄ）は出力画像、である。
【図５】障害物の高さが高い場合について、撮像手段（サイドカメラ）の画像をサイドビュー仮想視点から見た俯瞰画像に変換する流れを説明する図であり、（Ａ）は入力画像、（Ｂ）は回転処理画像、（Ｃ）は射影変換画像、（Ｄ）は出力画像、である。
【図６】撮像手段（前後左右４つのサイドカメラ）の画像を、トップビュー仮想視点から見た俯瞰画像に変換する流れを説明する図である。
【図７】サイドカメラの画像をサイドビュー仮想視点から見た俯瞰画像に変換する際に、障害物の画像を本発明による代替画像により置き換える流れを表す図である。
【図８】図７における画像処理のフローチャート図である。
【図９】図７における代替画像の例を表す図である。
【図１０】トップビュー画像において、斜め上から見た代替画像を用いた場合（Ａ）と、さらに角度補正した代替画像を用いた場合（Ｂ）とを比較した図である。
【図１１】自車両との距離に応じた障害物の撮像可能範囲（Ａ）と、代替画像の選択例（Ｂ）を表す図である。
【図１２】「ぼかし」効果を付与した代替画像を用いた場合の効果を示すトップビュー画像の例を表す図であり、（Ａ）は従来の（角度補正しない）画像、（Ｂ）は角度補正した代替画像を上書きした画像、（Ｃ）は「ぼかし」効果を付与した代替画像を用いた画像、（Ｄ）は理想的画像である。
【図１３】「ぼかし」効果を付与した代替画像を説明する図である。
【図１４】モーションステレオ法による単眼測距原理を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を添付の図表に基づいて説明する。
図１に示すように、車両周囲画像表示システムは、車両周囲を撮像するカメラ（撮像手段）１１と、車両周囲の障害物を検出する障害物検出手段１２と、代替画像のデータを格納するメモリ部１３と、カメラで撮像した画像を俯瞰画像に変換し、俯瞰画像上の障害物（立体物）を代替画像に置換した画像を生成する画像処理部１６と、画像処理部１６で生成された画像を表示するモニタ（表示部）１５とを備える。
【００１３】
メモリ部１３と画像処理部１６は通常、ＥＣＵ（電子処理装置）１４に含まれる。
障害物検出手段１２は、図１（Ａ）に示すように、Ｌａｓｅｒ、Ｓｏｎａｒ、Ｒａｄａｒのいずれかからなる場合もあり、図１（Ｂ）に示すように、撮像手段１１と画像処理部１６に包含され、撮像手段で撮像された画像を画像処理部で分析して障害物を検出する場合もある。
【００１４】
カメラ１１は通常、車両の前後左右の側部に備えたミラーに取り付けられる。また、モニタ１５は車両内に独立して備えても良いが、ナビ用のモニタと兼用し、低速走行時又は停止時に自動的に俯瞰画像用に切り替えてもよい。
【００１５】
図２（Ａ）（Ｂ）に示すように、自車両２０の周囲の俯瞰画像を生成する際の仮想視点としては、自車両上方、自車両側方、自車両前方、自車両後方の仮想視点２１、２２、２３、２４を設定し、各々、トップビュー、サイドビュー、フロントビュー、バックビュー視点とすることが考えられる。
【００１６】
実際に例えばサイドビュー視点及びトップビュー視点に相当する位置から自車両２０とその側部に立つ障害物２５を見た場合の画像は、障害物の高さが低い場合は、各々の場合の路面画像５５、５０に対して図３（Ａ）、（Ｂ）のようでなければならない。
また、障害物の高さが高い場合は、各々の場合の路面画像５５、５０に対して図３（Ｃ）、（Ｂ）のようでなければならない。
【００１７】
しかしながら、例えばサイドドアミラーに取り付けられたカメラ１１から撮像した画像を画像処理して、サイドビュー視点から見た俯瞰画像を生成した場合、障害物の高さが低い場合でも、後面を見せて立っているべき障害物２５が、通常は図４（Ｄ）に示す出力画像のように、前面を見せて倒立している、もしくは「倒れこんで」見える、即ち、障害物２８が仰向けに寝ているように見えるという違和感がある。
（以下、障害物２５の前面、後面は各々、障害物が自車両２０（即ち、サイドドアミラーに取り付けられたカメラ１１）に見せている面と、その逆の面である。）
【００１８】
さらに図５のように、障害物２５の高さが高い場合は、障害物の上部がカメラの視野に入らないので、後面を見せて立っているべき障害物２５が、通常は図５（Ｄ）に示す出力画像のように前面を見せて倒立している、もしくは「倒れこんで」見える、即ち、仰向けに寝ているように見えるだけでなく、下部しか表示されない状態の障害物２８となる現象を生じ、運転者の判断を狂わせる違和感がある。
【００１９】
上記の現象の発生原因を、障害物の高さが低い場合について、図４（Ａ）〜（Ｄ）に示す俯瞰画像生成の流れをもとに説明する。
（Ａ）は、サイドドアミラーに取付けたカメラによって撮像した入力画像である。
【００２０】
（Ｂ）は、この「カメラ側から見た画像」を「サイドビュー視点から見た画像」にするため、１８０度回転し、「画像の上側を車両側、下側をサイドビュー視点側」とする。ここで、障害物２６は、その上下が反転する。
【００２１】
（Ｃ）は、次に、回転した画像（Ｂ）の遠近感を自然にするため、射影変換により、車両側（画像上側）を狭く縮小し、手前の車両外側（下側）を引き伸ばす。この時点で、障害物２７が大きく変形してしまい、違和感がさらに増す。
【００２２】
（Ｄ）は、射影変換した画像（Ｃ）と自車両の代替画像を合成し、サイドビュー視点の画像を完成するが、障害物２８は、その上下が反転し（又は、「仰向けに倒れこんで」見える）、形状が大きく変形してしまい、違和感が甚だしく、却って運転者の誤判断を招く場合がある。
【００２３】
上記の現象の発生原因は、障害物の高さが高い場合についても、図５（Ａ）〜（Ｄ）に示す俯瞰画像生成の流れを追うならば、上記と同様に理解される。ただし、この場合は、障害物２５はその下部だけが撮像され、上部は撮像できないので、出力俯瞰画像である図５（Ｄ）では、上下が反転し変形した障害物の下部２８が表れる。
【００２４】
同様の問題は、車両の前後左右側部に備えた４つのカメラによる画像を用いてトップビュー視点から見た俯瞰画像を生成した場合にも生ずる。
図６に、この場合の俯瞰画像の通常の生成手順を示す。
【００２５】
よく知られているように、４つのカメラで捕らえた原画画像は各々幾何変換されてカメラの設けられた車両の各辺に沿った矩形画像になり、各々台形のマスクにより必要な画像情報が切り出されて、最後に車両の代替画像の４周に各々台形画像が貼りあわされ、台形の重畳部分のスムージングが行なわれて、トップビュー視点の俯瞰画像が生成される。
この場合、上記のような１８０度回転処理は不要なので、障害物２５の前後及び上下反転は生じないが、「仰向けに倒れこんで」見える変形現象が同様に生じ、運転者の感じる違和感が甚だしい。
【００２６】
次に、上記の、障害物が仰向けに倒れこんで見える変形状態を解決する本発明による手順を、画像処理の流れを説明する図７と、図７に対応するフローチャートである図８を用いて、ステップＳ１〜ステップＳ１２の順に順次説明する。
[ステップ１〜２の説明]
【００２７】
図７と図８を参照すると、ステップＳ１で、例えばサイドドアミラーに取り付けられたカメラ１１が自車両外部の画像を取得する。
【００２８】
そして、ステップＳ２で、障害物検出手段１２が自車両周囲の障害物の有無を検出する。図７のステップＳ２において、上段・下段の図は各々、障害物２５の有・無に対応する。
障害物検出手段１２が上記図１（Ｂ）に示すように、撮像手段１１と画像処理部１６で構成されている場合は、障害物検出手段１２は、取得したカメラ画像を分析し、障害物２５を検出する。
また、障害物検出手段１２が上記図１（Ａ）に示すように、別途備えられている場合（例えば、レーダーである場合）は、これによって障害物２５を検出する。
ステップＳ２で障害物が検出されない場合は、後述のステップＳ１０に直行する。
[ステップ３〜７の説明]
【００２９】
次に、ステップＳ３で障害物のサイズを測定し、ステップＳ４で障害物の動作有無を検出する。例えば、障害物検出手段１２がレーダーの場合は、障害物をレーダーで走査することにより、障害物のサイズの測定及び障害物の動作の有無を検出する。
【００３０】
障害物検出手段１２が上記図１（Ｂ）に示すように、撮像手段１１と画像処理部１６で構成されている場合、例えば、カメラ画像に対するモーションステレオ（Ｍｏｔｉｏｎ＿Ｓｔｅｒｅｏ）原理の適用が考えられる。この原理を用いることにより、周囲画像の撮影と、障害物との距離計測と、障害物の形状認識と、障害物の動作判別とを実現できる。
【００３１】
例えば、非特許文献１に示されているように、モーションステレオ法は、図１４を参照すると、時刻ｔで取得した画像データと、時刻ｔ＋Δｔで取得した画像データから、障害物との距離、障害物の形状を推定するものである。
【００３２】
なお、この方法では、自車両と障害物の両方が停止している場合は障害物を検出できないが、その場合は接触の危険が無いので致命的問題にならない。
【００３３】
ここで障害物が動く物体であると判定された場合は、ステップＳ５でメモリ部１３に格納されている動画代替画像を検索し、ステップＳ７で、検索された中で測定されたサイズに相当する代替画像３５を選択する。
又、ステップＳ４で障害物が動かない、障害物（例えば、立っている人）であると判定された場合は、ステップＳ６でメモリ部１３に格納されている静止画代替画像を検索し、ステップＳ７で、検索された中で測定されたサイズに相当する代替画像３５を選択する。
このようにして、ステップＳ７で動画又は静止画の代替画像が決定される。
【００３４】
さらに、代替画像３５の向きと傾きは、本実施形態における俯瞰画像の視点であるサイドビュー視点（横方向斜め上方から自車両を見る）に合わせて代替画像３５を各々、変更される。
向きは、この場合、障害物（例えば、立っている人）の後面画像とし、傾きは、通常直立（９０度）であるが、障害物が柱などの場合で傾いていると判定した場合は、判定された傾き角度に合わす。
これらの「向きと傾き」は、その都度演算してもよく、メモリ部から対応代替画像のうちで最適なものを選択してもよい。
【００３５】
なお、カメラ画像をもとに障害物の距離計測、形状認識、動作判別等を計算するモーションステレオ原理では、カメラ１１の撮像範囲外の高さのある障害物が存在する場合、正確に障害物の特徴を捉えることができず、適切な代替画像をメモリ部より選択することが困難となる。
【００３６】
具体的には、例えば、図１１（Ａ）に示すように、カメラ１１の視野は通常、サイドドアミラーの高さから遠方で路面に達する範囲にある。
従って、上記のように、障害物の位置が自車両に近く障害物の高さがサイドドアミラーより高い場合や、大きい障害物が自車両に接近している場合は、障害物２５がカメラの撮像範囲からはみ出してしまうので、障害物の大きさが正確に計測できない。
また、表示上の遠方部から車両付近に障害物が接近してきた場合など、途中で代替画像が変化してしまうことが考えられる。
【００３７】
このような場合に対処するため本発明による車両周囲画像表示システムでは、障害物（人）２５の高さの大小（大人と小人）、及びその自車両との距離に応じて、同種の障害物に対して図１１（Ｂ）に示すように、障害物を部分的に表わす場合を含む数種類のモデルを用意しておく。
【００３８】
取得した障害物の画像をいずれかのモデルに分類して同定することによって、カメラ撮像範囲外の部分がある障害物に対しても、カメラ撮像範囲外の部分を含む障害物全体の適切な代替画像３５を割り当てることが可能となる。
【００３９】
より具体的には、図１１（Ａ）に示すように、大人の障害物２５の場合、自車両との距離に応じて４段階のモデル（１．首下、２．胸下、３．腰下、４．膝下）を撮像形状認識モデルとして用意しておき、図１１（Ｂ）に示すように、撮像範囲外の部分を補完して大人の全体に対する代替画像を提供する。
小人に対しても、類似の手順を採用する。
【００４０】
また、障害物検出手段が検出した障害物が、車両や、壁など、所定の大きさ、例えば、自車両の前後左右のいずれかの撮像範囲の５０％以上を占めていると判断した場合は、以下の画像処理を行うことなく、現状の表示状態を維持する。
［ステップ８〜９の説明］
【００４１】
一方、ステップＳ８では、上記ステップ１でカメラ１１により取得した、障害物２５と路面画像５１を含む画像から、上記ステップＳ２で検出した障害物２５（と判定された画像）の画素を一旦除去して路面画像５２を得る。
次にステップＳ９では、路面画像５２の違和感を取り除くため、周辺の路面部分の画素の色情報をもとに補完再生して上書きして路面画像５３を作成する。
【００４２】
この補完再生には、最隣接（Ｎｅａｒｅｓｔ＿Ｎｅｉｇｈｂｏｒ）画素法などの画素補完技術を適用する。
なお、路面上に描かれた分離線などの交通標識は、それが障害物と認識されないように判定され、路面画像の一部を形成するものとする。
【００４３】
なお本発明によれば、上記ステップ７において、代替画像３５自体に上記画素補完に近い「ぼかし」効果を有する画像を付加して、路面画像の違和感を低減できる。
この「ぼかし」効果用画像は、ステップ７において、その都度付加してもよいが、代替画像ごとに対応する「ぼかし」効果用画像を予め付加して一組になっている形で、メモリ部に保存しておいてもよい。
例えば図１３を参照すると、代替画像３５に「ぼかし」効果用画像４５を付加して代替画像とすることができる。
【００４４】
「ぼかし」効果用画像４５は、円、楕円などの滑らかな閉曲線からなる単純な輪郭と、グレイスケールの単色の色彩を有し、もとの障害物の画像に由来する、変形された障害物画像を目立たないように被覆する。
この場合、上記のステップＳ８（障害物の画素除去）と、ステップＳ９（路面画素の補間再生）というステップを省略することができ、上記の路面画像の違和感を安価に軽減できる。
また、上記ステップＳ９を省略してＳ８のみを実行してもよく、ステップＳ８とＳ９の双方を省略せずに実行してもよい。
［ステップ１０〜ステップ１２の説明］
【００４５】
次に、ステップＳ１０では俯瞰処理を行なう。即ち、自車両２０が画面の上部に位置するように路面画像５３を１８０度反転して路面画像５４とし、次に反転した路面画像５４に対し、手前側が近く、車両側が遠くに位置するように自然な遠近感を持たせるように射影変換し、路面画像５５を作成する。
ステップＳ８において障害物２５の画像を除去した後もステップＳ９〜Ｓ１０を通じて、障害物の路面上の位置２６ａ、２７ａ、２８ａは保存される。
【００４６】
次に、ステップＳ１１では画像重畳処理を行なう。即ち、仮想視点から見た自車両２０の代替画像と、上記ステップＳ１０で生成された路面画像５５とを合成する。
また、ステップ２で障害物２５を検出していた場合は、上記のように自車両２０の代替画像（これも「２０」で表わす）と路面画像５５を合成した後の画像に対して、上記ステップＳ７で決定された障害物２５の代替画像３５をさらに重畳することによって、自車両及び障害物を仮想視点から見た俯瞰画像を完成し、ステップ１２でモニタ１５に対して表示出力させる。
その際、障害物の代替画像３５は路面画像５５上の路面上の位置２８ａに合わせて上書き合成される。
【００４７】
以上、本発明による車両周囲画像表示システムの特徴と利点を、サイドドアミラーカメラによる画像を用いた上記図２における自車両側方の仮想視点（サイドビュー視点）２２からの俯瞰画像形成の場合について、上記図７と図８の手順に従って説明した。
本発明による図７と図８の手順は、図２における自車両前方の仮想視点（フロントビュー視点）２３、自車両後方の仮想視点（バックビュー視点）２４からの俯瞰画像形成に対しても全く同様に適用できる。
［トップビュー視点からの俯瞰画像］
【００４８】
次に、図２における車両中心部上方の仮想視点（トップビュー視点）２１からの俯瞰画像の場合は、上記図６に示したように、車両の前後左右側部に備えた４つのカメラによる画像を用い、各々のカメラ画像に対して、やはり上記図７と図８の手順が適用できる。
ただし、この場合は、ステップＳ９において、１８０度反転処理は不要であり、路面画像５３は直ちに射影変換して路面画像５５とする。
【００４９】
このトップビュー視点２１からの俯瞰画像の場合、障害物の代替画像３５として真上からの画像を採用すると、障害物が、例えば、人か柱状物か、判断し難くなる。
そこで図１０（Ａ）を参照すると、もとのカメラ画像上の障害物２５の画像に戻って、例えばフロントカメラ１１の画像をもとにした俯瞰画像における障害物２５の場合、フロントカメラ１１と、障害物の路面上の位置２７ａとを結ぶ方向に沿った、斜め上からの代替画像３６を表示する。
【００５０】
それでも、図１０（Ａ）の場合、代替画像３６には、なお「倒れこんだ」ような違和感が残る。
そこで、さらに図１０（Ｂ）を参照すると、代替画像３７の向きと傾きは、本実施形態における俯瞰画像の視点であるトップビュー視点（自車両の中心部上方の視点）２１に合わせ、向きは、障害物（例えば、立っている人）の正面画像とし、傾きは、自車両の中心部（トップビュー視点２１）と障害物の路面上の位置２７ａを結ぶ方向に沿って後傾させる。代替画像３７では、「倒れこんだ」ように見えるという違和感が取り除かれている。
［「ぼかし」効果用画像］
【００５１】
図１２を参照すると、「ぼかし」効果を付与した代替画像を用いた場合の効果を示すトップビュー画像の例を表す図である。
この場合、図１２（Ａ）は、上記図６に示した手順で得られた俯瞰画像であり、例えばフロントカメラ１１の画像をもとにした俯瞰画像における障害物２５ｂの画像は、フロントカメラ１１と、障害物の路面上の位置２７ａとを結ぶ方向に沿って、著しく大きく、且つ路面に「倒れこんで」いる。
【００５２】
図１２（Ｂ）は、車両中心部２１と障害物の路面上の位置２７ａを結ぶ方向に沿って傾けた、斜め上からの代替画像３７を上書きした画像である。
代替画像３７自身は違和感がないが、障害物２５ｂの画像の相当部分が代替画像３７によって隠されず露出しており、混乱を招き違和感がある。
【００５３】
図１２（Ｃ）は、図１３に示したような代替画像３５に対する「ぼかし」効果用画像４５を、代替画像３７に付与した場合であり、障害物２５ｂの画像を実質的に隠すことができ、図１２（Ｄ）に示す理想的画像と比較して遜色がなく、実用的に違和感が抑えられる。
（Ｃ）は安価に実現できるが、運転者に警告を与えるという観点からは、実用上は（Ｄ）と実質的に同等である。
［代替画像］
【００５４】
メモリ部に格納する代替画像の例を図９に示す。
代替画像を動画代替画像として俯瞰画像上に表示する場合、障害物が動物や人間の場合、両手や両足を交互に動かした静止代替画像を交互に表示して、歩いているように表現しても良い。
【００５５】
又、メモリ部に格納される代替画像の中には、静止代替画像として、柱（棒杭）、自動販売機、ベンチ等を用意する。
【００５６】
障害物検出手段は、車から障害物との距離や、障害物の大きさ、動きの有無が分かるものであれば良く、前述したように、カメラを用いて、画像により障害物との距離を測定するモーションステレオ原理によるものが、画像取得手段と兼ねるという意味でコスト的に望ましいが、レーザや超音波センサなどであっても良い。
【符号の説明】
【００５７】
１１ カメラ（撮像手段）
１２ 障害物検出手段
１３ メモリ部
１４ ＥＣＵ
１５ モニタ（表示部）
１６ 画像処理部
２０ 自車両
２１、２２、２３、２４ 自車両上方、自車両側方、自車両前方、自車両後方、の仮想視点
２５、２６、２７、２８ 障害物（立体物）
２６ａ、２７ａ、２８ａ 障害物の路面上の位置
２５ｂ 障害物（立体物）
３５、３６、３７ 代替画像
４５ 「ぼかし」効果用画像
５０、５１、５２、５３、５４、５５ 路面画像
【特許請求の範囲】
【請求項１】
車両周囲を撮像するためのカメラと、
自車両周囲の障害物を検出する障害物検出手段と、
前記障害物に対応する代替画像を予め格納しておくメモリ部と、
前記カメラが取得した画像を基に自車両周囲の仮想視点からの俯瞰画像を生成する画像処理部と、からなり、
前記障害物検出手段が前記障害物を検出した場合に、前記画像処理部は、前記障害物を同定し、
前記同定された障害物に対応する代替画像を選択して前記メモリ部から読出して、前記選択した代替画像の向きと傾きを前記仮想視点に合わせて変更して、前記俯瞰画像に重畳することを特徴とする車両周囲画像表示システム。
【請求項２】
前記画像処理部は、前記同定された障害物のサイズを測定し、動作の有無を検出し、測定されたサイズに相当する動画像又は静止画像の代替画像を選択することを特徴とする請求項１に記載の車両周囲画像表示システム。
【請求項３】
前記メモリ部は、同種の障害物に対して大きさの異なる複数の静止代替画像及び動画代替画像の双方又は一方を格納することを特徴とする請求項１に記載の車両周囲画像表示システム。
【請求項４】
前記画像処理部は前記代替画像を重畳する過程において、前記代替画像の重畳に先立って、前記障害物画像を除去し、前記障害物画像の周囲の画素情報を用いて補完処理を行うことを特徴とする請求項１に記載の車両周囲画像表示システム。
【請求項５】
前記画像処理部は、さらに、前記代替画像を重畳した後に、前記重畳した代替画像の周囲に「ぼかし」効果用画像を挿入する、又は、予め前記「ぼかし」効果用画像と一組になっている前記代替画像を前記メモリ部から読み出して重畳することを特徴とする請求項１に記載の車両周囲画像表示システム。
【請求項６】
前記画像処理部は、障害物検出手段が検出した障害物の大きさが、ある一定の値よりも大きい場合は、代替画像を重畳しないことを特徴とする請求項１に記載の車両周囲画像表示システム。
【請求項７】
前記画像処理部は、自車両中心部から前記障害物の路面上の位置を結ぶ直線上に前記代替画像を重畳することを特徴とする請求項１に記載の車両周囲画像表示システム。
【請求項８】
前記メモリ部は、同種の前記障害物に対して自車両からの距離に応じた複数個のモデルを備え、前記モデルは、前記障害物が前記カメラの撮像範囲に部分的に入っている場合に対するモデルを含み、前記画像処理部は、検出された障害物の画像を前記モデルと比較して前記障害物を同定し、前記障害物の全体代替画像を選択することを特徴とする請求項１に記載の車両周囲画像表示システム。
【請求項１】
車両周囲を撮像するためのカメラと、
自車両周囲の障害物を検出する障害物検出手段と、
前記障害物に対応する代替画像を予め格納しておくメモリ部と、
前記カメラが取得した画像を基に自車両周囲の仮想視点からの俯瞰画像を生成する画像処理部と、からなり、
前記障害物検出手段が前記障害物を検出した場合に、前記画像処理部は、前記障害物を同定し、
前記同定された障害物に対応する代替画像を選択して前記メモリ部から読出して、前記選択した代替画像の向きと傾きを前記仮想視点に合わせて変更して、前記俯瞰画像に重畳することを特徴とする車両周囲画像表示システム。
【請求項２】
前記画像処理部は、前記同定された障害物のサイズを測定し、動作の有無を検出し、測定されたサイズに相当する動画像又は静止画像の代替画像を選択することを特徴とする請求項１に記載の車両周囲画像表示システム。
【請求項３】
前記メモリ部は、同種の障害物に対して大きさの異なる複数の静止代替画像及び動画代替画像の双方又は一方を格納することを特徴とする請求項１に記載の車両周囲画像表示システム。
【請求項４】
前記画像処理部は前記代替画像を重畳する過程において、前記代替画像の重畳に先立って、前記障害物画像を除去し、前記障害物画像の周囲の画素情報を用いて補完処理を行うことを特徴とする請求項１に記載の車両周囲画像表示システム。
【請求項５】
前記画像処理部は、さらに、前記代替画像を重畳した後に、前記重畳した代替画像の周囲に「ぼかし」効果用画像を挿入する、又は、予め前記「ぼかし」効果用画像と一組になっている前記代替画像を前記メモリ部から読み出して重畳することを特徴とする請求項１に記載の車両周囲画像表示システム。
【請求項６】
前記画像処理部は、障害物検出手段が検出した障害物の大きさが、ある一定の値よりも大きい場合は、代替画像を重畳しないことを特徴とする請求項１に記載の車両周囲画像表示システム。
【請求項７】
前記画像処理部は、自車両中心部から前記障害物の路面上の位置を結ぶ直線上に前記代替画像を重畳することを特徴とする請求項１に記載の車両周囲画像表示システム。
【請求項８】
前記メモリ部は、同種の前記障害物に対して自車両からの距離に応じた複数個のモデルを備え、前記モデルは、前記障害物が前記カメラの撮像範囲に部分的に入っている場合に対するモデルを含み、前記画像処理部は、検出された障害物の画像を前記モデルと比較して前記障害物を同定し、前記障害物の全体代替画像を選択することを特徴とする請求項１に記載の車両周囲画像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１４】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１４】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−２５１９３９（Ｐ２０１０−２５１９３９Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２００９−９７６８５（Ｐ２００９−９７６８５）
【出願日】平成２１年４月１４日（２００９．４．１４）
【出願人】（５９１２５１６３６）現代自動車株式会社 (1,064)
【出願人】（５００５１８０５０）起亞自動車株式会社 (449)
【出願人】（５０６４０７５２３）株式会社現代自動車日本技術研究所 (34)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２１年４月１４日（２００９．４．１４）
【出願人】（５９１２５１６３６）現代自動車株式会社 (1,064)
【出願人】（５００５１８０５０）起亞自動車株式会社 (449)
【出願人】（５０６４０７５２３）株式会社現代自動車日本技術研究所 (34)
【Ｆターム（参考）】
[ Back to top ]