車両用画像表示装置
【課題】ミラー画像を表示したときに現実の映像と誤認しないように区分して表示することができる車両用画像表示装置を提供する。
【解決手段】複数のカメラを含み車両の周囲を撮影可能な撮像部と、車両の俯瞰画像を生成する俯瞰画像生成部と、複数のカメラで撮影した画像を処理して車両の背景画像を生成し、背景画像と俯瞰画像を合成した第１の画像を出力する第１の画像生成部と、車両の後部又は前方部の背景画像付近の自車両の進行方向に対して垂直かつ地面に対して垂直な面を基準に、第１の画像を面対称させた画像を形成するとともに面対称であることを識別可能にした第２の画像を生成する第２の画像生成部と、第１の画像及び第２の画像を選択的に合成する画像合成部と、画像合成部からの出力画像を表示可能な表示部と、を具備する。
【解決手段】複数のカメラを含み車両の周囲を撮影可能な撮像部と、車両の俯瞰画像を生成する俯瞰画像生成部と、複数のカメラで撮影した画像を処理して車両の背景画像を生成し、背景画像と俯瞰画像を合成した第１の画像を出力する第１の画像生成部と、車両の後部又は前方部の背景画像付近の自車両の進行方向に対して垂直かつ地面に対して垂直な面を基準に、第１の画像を面対称させた画像を形成するとともに面対称であることを識別可能にした第２の画像を生成する第２の画像生成部と、第１の画像及び第２の画像を選択的に合成する画像合成部と、画像合成部からの出力画像を表示可能な表示部と、を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に複数のカメラを搭載し、複数のカメラで撮影された画像を合成して表示する車両用画像表示装置に係り、特に車両の後方を撮影した画像を左右反転させてミラー画像として表示し、かつ運転者がミラー画像であることを識別できるようにした車両用画像表示装置に関する。
【背景技術】
【０００２】
従来、車両に複数のカメラを搭載し車両の周囲の映像を撮影し、撮影した画像を車両に設けたディスプレイ等に表示するようにした車両用画像表示装置がある。このような車両用画像表示装では、ディスプレイに表示された画像を確認することにより、車両が障害物に衝突或いは追突するのを避けることができる。
【０００３】
また最近では、複数のカメラで撮影した画像を合成して表示する際に車両の俯瞰画像を生成し、トップビュー画像のように、生成した俯瞰画像を合成して表示するようにしたものもある。自車両の俯瞰画像を表示することで周囲の状況を把握しやすくなり、運転者の運転を支援することができる。尚、俯瞰画像は、自車両の上方などに設定した仮想視点から見た画像であり、仮想視点の位置を変えることで俯瞰画像等の見え方を変えることができる。
【０００４】
特許文献１には、複数のカメラで撮影した画像を入力し、仮想視点から見た合成画像を生成するとともに、自車両を示すイラスト画像を表示するようにした画像処理装置が開示されている。
【０００５】
ところで、運転者は車両の後方を確認する際に、通常はサイドミラーや、ルームミラーに映る映像を見ることが多いが、ミラーに映る映像は左右が反転しているため、車両の後方を撮影した画像をディスプレイに表示する場合は、左右反転して表示した方が運転者は分かりやすい。したがって後方画像を左右反転させてミラー画像をディスプレイに表示した例もある。
【０００６】
特許文献２には、同じ場所を複数の視点で撮影し、複数の画像を並べて表示する車両用モニタ装置が開示されている。しかしながら、特許文献２では複数の視点の映像をばらばらに表示しているため、直感的にどこの映像か分かりにくい。また、左右反転させたミラー画像と反転させていない画像を同時に表示させた場合、その位置関係の意味がはっきりせず、直感的にどこの映像を表示したものか分かりにくいという欠点がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３３００３３４号公報
【特許文献２】特開２００３−１４９７１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の車両用画像表示装置では、左右反転させたミラー画像を表示したときに、それがミラー画像であることを識別しづらく、現実の画像とミラー画像の区別ができないため、ミラー画像を表示しても却って誤解を与える可能性がある。
【０００９】
本発明はこのような事情に鑑み、ミラー画像を表示したときに現実の画像と誤認しないように区分して表示することができる車両用画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１記載の車両用画像表示装置は、車両に分散して配置された複数のカメラを含み、前記車両の周囲を撮影可能な撮像部と、前記車両の俯瞰画像を生成する俯瞰画像生成部と、前記複数のカメラで撮影した画像を処理して前記車両の背景画像を生成し、前記背景画像と前記俯瞰画像を合成した第１の画像を出力する第１の画像生成部と、前記車両の後部又は前方部の背景画像付近の自車両の進行方向に対して垂直かつ地面に対して垂直な面を基準に、第１の画像を面対称させた画像を形成するとともに面対称であることを識別可能にした第２の画像を生成する第２の画像生成部と、前記第１の画像生成部からの第１の画像及び前記第２の画像生成部からの前記第２の画像を選択的に合成する画像合成部と、前記画像合成部からの出力画像を表示可能な表示部と、を具備したことを特徴とする。
【発明の効果】
【００１１】
本発明の車両用画像表示装置によれば、運転者に対して車両の周辺の状況を的確に知らせることができ、安全運転の補助を行うことができる。また車両の後方を撮影した画像を左右反転してミラー画像として表示したときに、運転者に対してミラー画像であることを明確に認識させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る車両用画像表示装置の全体構成を示すブロック図。
【図２】仮想視点と車両の関係を示す説明図。
【図３】車両の俯瞰画像と背景画像の一例を概略的に示す説明図。
【図４】車両へのカメラの取付け配置とカメラの視野角の一例を示す説明図。
【図５】ミラー画像の生成を説明する説明図。
【図６】ミラー画像の実例を示す説明図。
【図７】ミラー画像の表示例を示す説明図。
【図８】仮想視点を移動したときの表示部での表示例を示す説明図。
【図９】車両が交差点に進入する際の表示例を示す説明図。
【図１０】車両をバックする際の表示例を示す説明図。
【図１１】左に車線変更する際の表示例を示す説明図。
【図１２】右に車線変更する際の表示例を示す説明図。
【図１３】交差点を左折する際の表示例を示す説明図。
【図１４】交差点を右折する際の表示例を示す説明図。
【図１５】ミラー画像の他の表示例を示す説明図。
【図１６】ミラー画像の表示処理を説明するフローチャート。
【発明を実施するための形態】
【００１３】
以下、この発明の一実施形態について図面を参照して説明する。
【実施例１】
【００１４】
図１は、本発明の一実施形態に係る車両用画像表示装置の全体構成を示すブロック図である。図１の車両用画像表示装置は、撮像部１０、車両情報生成部２０、表示パターン記憶部３０、表示パターン決定部４０、画像処理部５０及び表示部６０を備えている。
【００１５】
撮像部１０は、自車両の周囲の映像を撮影する例えば４つのカメラ１１，１２，１３，１４を有している。４つのカメラ１１，１２，１３，１４は、車両の前方、後方、左側、右側をそれぞれ撮影するものであり、車両の同じ高さ位置に取付けるのが望ましい。また各カメラ１１〜１４は、魚眼カメラを使用するとよい。各カメラ１１〜１４の位置については後述する。
【００１６】
車両情報生成部２０は、ナビゲーション装置２１を含む。ナビゲーション装置２１は、自車両の現在位置を検出するＧＰＳ受信部、地図データを格納した記録媒体、目的地までの経路を探索する探索部等を有する。また自車両の車速、加速度、傾き等を検出する車速度センサやジャイロセンサ等を有し、これらＧＰＳ受信部、記録媒体、探索部、車速センサやジャイロセンサ等がＣＡＮ（Controller Area Network）等の車内ＬＡＮを介して接続されている。したがって、車両情報生成部２０からは、自車両の現在位置や進行方向（前進、バック、右・左折）等の情報を得ることができる。
【００１７】
表示パターン記憶部３０は、画像記憶部３１とマッピングテーブル３２を含む。画像記憶部３１は、自車両を真上からみた俯瞰画像や、斜め後方等からみた俯瞰画像を記憶するものである。即ち、カメラ１１〜１４は自車両の周囲をそれぞれ撮影し、撮影した画像に基づいて自車両の背景画像を生成するが、背景画像に表示されるのは実景のみである。したがって、背景画像の所定の位置に自車両の俯瞰画像を合成するため、予め自車両を真上から撮影した画像や斜め後方等からみた画像を俯瞰画像として画像記憶部３１に記憶している。或いは、自車両を示すイラスト画像を生成し、このイラスト画像を俯瞰画像として記憶している。撮影した画像やイラスト画像は１つに限らず、複数種記憶しておき、任意のものを選択できるようにしている。
【００１８】
マッピングテーブル３２は、カメラ１１〜１４で撮影した画像の画素データと、自車両の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像の画素が背景画像のどの画素に対応するかを示す変換情報を記憶している。表示パターン決定部４０は、画像記憶部３１に記憶した画像データから合成画像の生成に必要な自車両の俯瞰画像を決定する。尚、画像記憶部３１と表示パターン決定部４０は俯瞰画像生成部を構成する。
【００１９】
画像処理部５０は、第１の画像生成部５１と、第２の画像生成部５２と、画像合成部５３を含む。第１の画像生成部５１は、カメラ１１〜１４で撮影した車両の前方画像と、後方画像と、左側方画像と、右側方画像とをマッピングテーブル３２を参照して合成処理して背景画像を生成する。また、この背景画像に表示パターン決定部４０で決定した俯瞰画像を合成して第１の画像（トップビュー画像）を生成する。マッピングテーブル３２を参照することで、仮想視点の位置が変わると視点に合わせて表示された背景画像が変化する。マッピングテーブルを用いた背景画像の生成方法の詳細は、例えば特許文献１に記載されている。
【００２０】
また第１の画像生成部５１は、車両情報生成部２０から車両の位置や進行方向及び角度情報を得て、車両の移動方向（前進、バック）と曲がる方向（右折・左折）を判断し、車両の状況に合わせてカメラ１１〜１４の撮影画像を選択して合成処理を行う。
【００２１】
第２の画像生成部５２は、第１の画像生成部５１で生成した第１の画像のうち、車両の後方部周辺部の画像を左右反転して面対称の第２の画像（ミラー画像）を生成し、ミラー画像が面対称の画像であることを識別可能にするため特定の色模様を施す。ミラー画像の詳細については後述する。画像合成部５３は、第１の画像生成部５１で生成した第１の画像と第２の画像生成で生成した第２の画像を選択的に合成して表示部６０に出力する。表示部６０は、画像合成部５３から出力された合成画像を表示するものであり、液晶ディスプレイ等で構成される。
【００２２】
図２は、仮想視点を概念的に示す図であり、例えば車両１の上方に仮想視点１００を設定した例を示している。
【００２３】
図３は、表示部６０に表示された背景画像と自車両の俯瞰画像とを含む第１の画像（トップビュー画像Ｐ０）の一例を示し、図２の仮想視点１００から見たトップビュー画像Ｐ０を示している。図３では、車両の前方画像及び後方画像と左側方画像と右側方画像とを合成して車両の周辺部を垂直の壁で囲むように背景画像Ｐ２をパノラマ表示し、背景画像Ｐ２に車両の俯瞰画像Ｐ１を合成して表示した例を示している。
【００２４】
図３では仮想視点１００の位置を車両の真上に設定しているが、仮想視点１００の位置を変えるとトップビュー画像Ｐ０の表示も変わる。尚、図３では、車両（俯瞰画像Ｐ１）の底面（地面）を水平面Ａ０とし、水平面Ａ０の左右にできる垂直の壁を右垂直面Ａ１及び左垂直面Ａ２と呼び、水平面Ａ０の前後にできる垂直の壁を前方垂直面Ｂ１及び後方垂直部Ｂ２と呼ぶ。
【００２５】
次にカメラ１１〜１４の配置の一例を図４を参照して説明する。即ち車両１に複数のカメラを配置する際、俯瞰画像を作り出すには４つのカメラで撮影した画像が必要になる。また安全に運転できる情報を提供するには、極力、死角になる部分をなくす必要がある。このような点を考慮して、本実施形態では、図４（ａ）に示すように４つのカメラ１１〜１４を配置している。
【００２６】
図４（ａ）は車両１を真上から見た図であり、例えば車両１の前方部にカメラ１１を配置し、後方部にカメラ１２を配置する。また車両１の左側のサイドミラーにカメラ１３を配置し、右側のサイドミラーにカメラ１４を配置する。こうして各カメラ１１〜１４は、車両１の４辺に配置される。各カメラ１１〜１４は、車両１の全周囲を撮影するため、各カメラ１１〜１４の描写範囲を１８０度よりも広くすると良い。尚、以下の説明では、カメラ１１を前方カメラ、カメラ１２を後方カメラ、カメラ１３を左カメラ、カメラ１４を右カメラと呼ぶこともある。またカメラ１１〜１４を備えた車両１を自車両１と呼ぶこともある。
【００２７】
図４（ｂ）は、カメラ１１〜１４の撮影範囲（視野角）の一例を示す図であり、自車両１の真上に仮想視点を設定したときの背景画像Ｐ２を示し、各カメラ１１〜１４が自車両１のどの位置に配置されているかを俯瞰画像Ｐ１に対応させて示している。尚、背景画像Ｐ２はお椀状にパノラマ表示された例を示している。
【００２８】
図４（ｂ）において、カメラ１１〜１４は例えば太線で示す範囲内をそれぞれ撮影する。各カメラ１１〜１４は視野角を調整可能であって、例えば狭い道路から交差点に進入するような場合は前方カメラ１１の視野角を最大限に広げる。また車両が左折する場合には左カメラ１３での視野角を広くし、車両が右折する場合には右カメラ１４の視野角を広くし、車両バックする場合は後方カメラ１２視野角を最大限に広げる。
【００２９】
本発明では、各カメラ１１〜１４で車両１の周囲の映像を撮影してトップビュー画像Ｐ０を生成した際に、車両の後部周辺を撮影した画像を左右反転させてミラー画像として表示するとともに、反転した画像がミラー画像であることを運転者に認識させるために識別表示する点に特徴がある。
【００３０】
即ち、運転者は後方部分の映像を通常はサイドミラーや、ルームミラーで見ているが、ミラーで見た映像は左右が反転している。このため車両の後方を撮影した画像をディスプレイに表示する場合は、左右反転して表示した方が運転者は分かりやすい。したがって後方画像を左右反転させてミラー画像として表示することがある。
【００３１】
しかしながら、表示画像には車両の前方を撮影した画像も含まれ、前方画像は左右反転することなく表示されるため、同じ画面に左右が反転していない画像と左右が反転した画像とが混在する。そこで、表示されたトップビュー画像Ｐ０にミラー画像が表示されている場合は、ミラー画像であることを識別するため、例えばミラー画像の周辺部に色模様を施し、ミラー画像の周辺部から中心部に向かって段階的に色濃度を変えてグラデーション表示する。
【００３２】
図５は本発明のミラー画像の表示を概念的に示した説明図である。図５において、カメラ１１〜１４で撮影した画像をもとに、第１の画像生成部５１では背景画像Ｐ２を生成し自車両の俯瞰画像Ｐ１と合成する。
【００３３】
また仮想視点が自車両の位置よりかなり後方であるため、後方垂直部Ｂ２が仮想視点に対して背面に表示されるため見ることができない。そのため第２の画像生成部５２は、後方垂直部Ｂ２の画像を左右反転（面対称）して後方垂直部Ｂ２の背面に表示させ、第２の画像（以下、ミラー画像Ｐ３と称す）を生成する。さらにミラー画像であることを強調するため色模様を施す。例えばミラー画像Ｐ３の枠の周りを着色し、枠の周辺から中心に向かって色を濃い色から淡い色へ順次に変えてグラデーション表示する。これにより、左右が反転したミラー画像Ｐ３であることを運転者に認識させることができる。
【００３４】
図６は、実験によって得たミラー画像の実例を示す。図６において、Ｐ２は現実の映像の背景画像である。またＰ３はミラー画像であり、周辺部が所定の色でグラデーション表示されている。第２の画像生成部５２は、後方垂直部Ｂ２の面を基準にして車両の後部の背景画像を面対称にした第２の画像（ミラー画像Ｐ３）を生成する。尚、図４（ｂ）のように背景画像Ｐ２がお椀状にパノラマ表示された場合には、その表示画像の一番後方にあたる自車両後方の背景画像の最上部の位置付近を基準に、地面に対して垂直かつ自車両の進行方向に対して垂直な面を基準に面対称にした第２の画像を生成する。
【００３５】
こうして、表示部６０にはミラー画像Ｐ３が手前側に表示され、反転されない背景画映像Ｐ２が奥側に表示される。したがって、通常は見ることのできない後方の画像がミラー画像Ｐ３として表示され、かつ現実の映像よりも手前に大きく表示される。尚、以下の説明では、左右反転することなく実際に撮影する映像空間を現実世界と呼び、撮影した画像を左右反転してミラー画像として表示する映像空間をミラー世界と呼ぶことにする。
【００３６】
図７は、表示部６０に表示された背景画像Ｐ２とミラー画像Ｐ３の一例を示す。図７では、上方に自車両の前方部分を示す俯瞰画像Ｐ１が表示され、自車両の前方周辺を囲むように現実世界の背景画像Ｐ２がパノラマ表示されている。また下方の後方垂直部の後方にミラー画像Ｐ３が表示されている。ミラー画像Ｐ３では、自車両の後部を示す俯瞰画像Ｐ１が表示され、自車両の後方周辺を囲むようにミラー世界の画像が表示されている。
【００３７】
上方に車両前方の現実世界の背景画像Ｐ２が表示され、下方に自車両の後方のミラー画像Ｐ３が表示されることで、位置関係が分かりやすく、また自車両の俯瞰画像Ｐ１も存在するため、距離感をつかむことができる。またミラー画像Ｐ３の周辺部はグラデーション表示により色模様が施されているため、ミラー世界の画像であることを容易に識別することができる。
【００３８】
尚、本発明では、表示部６０に表示された画像は、現実世界とミラー世界の映像が同一の３次元空間上に配置されることになるため、仮想視点１００を移動することで、現実世界だけ、又はミラー世界だけ、さらには現実世界とミラー世界の混在した状態を表示することができる。したがって、仮想視点１００の移動に応じてカメラ１１〜１４の視野角を変更することで、より一層理解しやすい画像を表示することができる。以下、図８〜図１４を参照して、仮想視点１００を移動したときの表示部６０での表示形態を具体的に説明する。
【００３９】
図８〜図１４において、（ａ）は車両１に取り付けた各カメラ１１〜１４の視野角を示し、図４（ｂ）に対応する図である。尚、現実世界（太線）とミラー世界（細線）は上下対称となり、現実世界おける視野角とミラー世界（細線）での視野角は上下対称となる。（ｂ）は、車両１を横から見たときの仮想視点１００の位置と方向を示す。現実世界（右）に対してミラー世界（左）は左右対称となる。（ｃ）は車両１を真後ろからみたときの仮想視点１００の位置を示す。また（ｄ）は、表示部６０での表示画面を示し、自車両の俯瞰画像をＰ１とし、現実世界の背景画像をＰ２とし、ミラー画像をＰ３として示す。
【００４０】
先ず、図８は車両がオフロードにいる場合を示している。オフロードでは、どこから障害物が近づくか分からないため、車両の周囲全方向を表示したい。そのため仮想視点１００を車両の真上に設定にする。また車両が曲がるときに横に障害物がないかを確認するために、曲がる方向が見えるように前方カメラ１１の視野は最大限に広げる。また後ろから何かが近づいてくることを想定し、左右のカメラ１３，１４は真後ろまで見えるように視野角を広げ、後方カメラ１２は後方のみを見るようにする。
【００４１】
このとき、表示部６０には自車両を真上から見た俯瞰画像Ｐ１と、その周囲全方位の背景画像Ｐ２が表示される。仮想視点１００が現実世界の車両の真上にあるため、ミラー世界の画像は表示されない。尚、表示部６０の画面の半分だけに画像Ｐ１，Ｐ２が表示されるため、残りの画面は地図情報等の付属画像を表示（いわゆる多画面表示）してもよい。
【００４２】
図９は、狭い道路から交差点に入る場合を示している。狭い道路から交差点に入る場合は、仮想視点１００の位置を自車両のやや後方上部から見るように設定する。また横切る道路が横方向の障害物によって見えない可能性があるため、前方カメラ１１の視野を最大限に広げる。また自車両の周りに何かが接近していないか見るために自車両の周りの映像を表示させる。
【００４３】
このとき、表示部６０には画面全体に俯瞰画像Ｐ１とその前方周囲の背景画像Ｐ２が広く表示される。仮想視点１００は現実世界の車両の後方上部にあるため、ミラー世界の画像は表示されない。また、オフロードから道路に出る場合も、図９と同様の形態で表示される。
【００４４】
図１０は、車両をバックする場合を示している。例えばバックしながら道路に出る場合は、仮想視点１００をミラー世界までずれた位置に設定し、車両の前方から斜めに見下ろす位置に設定する。また後方カメラ１２の視野は最大限に広げ、かつ自車両の周りに何かが近づいて来ないかを確認するために自車両の周りの映像も表示させる。さらに駐車場に車をバック入れる場合など、隣の車との隙間がどれくらいあるか確認するために、左右のカメラ１３，１４の視野も最大限に広げる。
【００４５】
このとき、表示部６０には自車両の後方のミラー画像Ｐ３が画面全体に表示され、ミラー画像の俯瞰画像Ｐ１と、その後方周囲の背景画像が表示される。仮想視点１００がミラー世界の上にあるため、現実世界の画像は表示されず、ミラー画像Ｐ３のみが表示される。
【００４６】
図１１は、左に車線変更する場合を示している。左に車線変更する場合は、行きたい車線に車がいるか確認する必要があるため、仮想視点１００は現実世界の車両の後方上部からミラー世界にかかる位置に設定し、かつ車両の左上にシフトした位置に設定する。また後ろの車が同時に車線変更してくる可能性もあるため、左カメラ１３は後方が極力見えるように視野を広げ、真後ろを後方カメラ１２で捉えるようにする。また車線変更先が渋滞しているときは車線変更を断念する場合もあるので、右カメラ１４で現進行車線が見えるようにし、かつ前の車が突然止まっても確認できるように前方カメラ１１で前方を捉えるような視野にする。
【００４７】
このとき、表示部６０には左側に傾いた自車両の俯瞰画像Ｐ１と、自車両の左側から前方の背景画像Ｐ２が表示され、かつ自車両の後方を示すミラー画像Ｐ３が表示される。尚、表示部６０の画面は半分だけ画像Ｐ１，Ｐ２，Ｐ３が表示されるため、残りの画面には地図情報等が表示される。
【００４８】
図１２は、右に車線変更する場合を示している。右に車線変更する場合は、左に車線変更する場合と逆になり、仮想視点１００は現実世界の車両の後方上部からミラー世界にかかる位置に設定し、かつ車両の右上にシフトした位置に設定する。また後ろの車が同時に車線変更してくる可能性もあるため、右カメラ１４は後方が極力見えるように視野を広げ、真後ろを後方カメラ１２で捉えるようにする。また車線変更先が渋滞しているときは車線変更を断念する場合もあるので、左カメラ１３で現進行車線が見えるようにし、かつ前の車が突然止まっても見えるように、前方カメラ１１で前方を捉えるような視野にする。
【００４９】
このとき、表示部６０には右側に傾いた自車両の俯瞰画像Ｐ１と、自車両の右側から前方の背景画像Ｐ２が表示され、かつ自車両の後方を示すミラー画像Ｐ３が表示される。
【００５０】
図１３は、広い道路から交差点を左折する場合を示している。広い道路から左へ曲がる場合、左側の道路に車がいるか確認する必要があるため、仮想視点１００は現実世界の車両の後方上部からミラー世界にかかる位置に設定し、かつ車両の左上にシフトした位置に設定する。また後から自転車やバイクなどが高速で近づいてきて巻き込む恐れがあるため、左カメラ１３は後方が見えるように視野角を広くする。また障害物などにより曲がる先の道路の状況が運転者から見にくいことを想定し、前方カメラ１１の視野も広げる。
【００５１】
このとき、表示部６０には左側に傾いた自車両の俯瞰画像Ｐ１と、自車両の前方及び左側の背景画像Ｐ２が広く表示され、かつ自車両の後方を示すミラー画像Ｐ３が表示される。勿論、表示部６０の画面全体に表示するようにしてもよい。
【００５２】
図１４は、広い道路から交差点を右折する場合を示している。広い道路から右へ曲がる場合は、仮想視点１００の位置を車両の後方上部から見るように設定し、かつ車両の右上にシフトした位置に設定する。また対向車が来ていないか確認する必要があるため、対向車線の状況がよく見えるように、右カメラ１４で前方から右側まで広く見えるように視野角を広げる。このとき、表示部６０には右側に傾いた自車両の俯瞰画像Ｐ１と、自車両の右側から前方の背景画像Ｐ２が表示される。
【００５３】
図８〜図１４の表示例では、各場面に合わせて仮想視点１００の位置や方向、及び各カメラ１１〜１４の視野角を切り替えているが、車両がオフロードにいるか、狭い道路から交差点に進入しようとしているか等の情報はナビゲーション装置２０からの情報を基に判断することができる。また車両が車線変更しようとしているか、右左折しようとしているか、或いはバックしようとしているのかは、ジャイロセンサやハンドル舵角等の車両情報から判断することができる。したがって、撮影部１０及び画像処理部５０は、それそれぞれの状況に応じてどのカメラの画像が重要になるかを判断して、背景画像の生成やカメラの視野角の調整を行う。
【００５４】
また道路状況や車両の進行に応じて、表示部６０の表示が切り替わるが、切り替えは、仮想視点１００の移動に伴ってモーションを持たせて表示させてもよい。例えば画面が切り替わる際に前画面と新たな画面をアルファブレンドしてアルファを変えながら表示を切り替えていってもよいし、カメラの視野角をずらしていってもよい。さらに地図情報などの付属画像を含む多画面表示から単一画面の表示に切り替える際には、付属画像の表示範囲が徐々に狭くなるように切り替えてもよい。逆に単一画面の表示から付属画像を含む多画面表示に切り替える際には、付属画像の表示範囲が徐々に広くなるように切り替えてもよい。
【００５５】
図１５は、ミラー画像Ｐ３の他の表示形態を示す図である。図１５では、ミラー画像Ｐ３を現実世界の背景画像Ｐ２の上に表示したものである。この場合は、ルームミラーを連想させるため、ミラー画像Ｐ３がどの部分の映像かを認識しやすくなる。
【００５６】
図１６はミラー画像の表示処理を説明するフローチャートであり、表示パターン決定部４０と画像処理部５０の動作を説明する図である。図１６において、ステップＳ０で車両の運転が開始されると、ステップＳ１では表示パターン決定部４０にて自車両の俯瞰画像Ｐ１決定し、例えば自車両を示すイラストを描写する。ステップＳ２では、トップビュー画像Ｐ０に対して車両の後部に折り返し点Ｑを設定して垂直な面を設置し、垂直な面（後方垂直部）の背面に左右を反転した画像を描写する。
【００５７】
以下、ループＳ３から運転終了のループＳ１３の間において表示パターンの切り替えを行う。即ち、ステップＳ４では、現在の状況での表示パターンを確認し、ステップＳ５では車両の状況が変わったか（つまり表示パターンが変わったか）を判断する。状況に変化がない場合はステップＳ６で現表示パターンを継続して描写する。状況が変わった場合はステップＳ７において、変化する前の表示状態、例えば仮想視点の位置やカメラの視野角や表示画面の幅等をメモリに記憶する。
【００５８】
ステップＳ８では状況に応じて切り替え後の表示状態を決定し、ステップＳ９では、表示切り替え推移数分のループに従って切り替えモーションを設定する。ステップＳ１０では切り替え前と後の表示状態と推移の順番に従って表示状態を変更し、ステップＳ１１では、ステップＳ２で設定した折り返し点を境界として手前側をミラー画像の領域として、その領域の大きさに従って所定の色を付けてグラデーション表示させる。ステップＳ９とステップＳ１２間のループにより、表示の切り替えの都度、表示状態の変更とグラデーション表示が行われ、ステップＳ１３で運転終了になると、ステップＳ１４で終了する。
【００５９】
以上説明したように本発明の実施形態によれば、運転者に対して車両の周辺の状況を的確に知らせることができ、安全運転の補助を行うことができる。また車両の後方を撮影した画像を左右反転してミラー画像として表示したときに、運転者に対してミラー画像であることを明確に認識させることができる。
【００６０】
尚、本発明の実施形態については、幾つかの変形例が考えられる。例えば、ミラー画像を表示させるか否か等、各種のモード設定をユーザ操作によってオン・オフできるようにしてもよい。また、車両周辺の背景画像Ｐ２に対する自車両の俯瞰画像Ｐ１の相対貼り付け位置が、前後対称や左右対称ではなくてもよい。例えば後ろの地面部が少なくてもミラー画像としては平面的に地面部まで見ることができるので違和感が軽減される。
【００６１】
また車両の起動時などでは現実世界の画像を表示させ、次にミラー画像を車両後方上部に表示させてミラー世界の画像を表示させ、次に視点をミラー世界に移動させ表示させるようにしてもよい。或いは車両の起動時にミラー画像と現実世界の画像の両方を表示して、両者がどのような配置で表示されるかを事前に知られるようにしてもよい。
【００６２】
また左右のカメラ１３，１４やそれと異なる位置にある後方カメラ１２を使用してミラー画像Ｐ３をつくりだす場合には、ミラー画像Ｐ３の周辺部のグラデーション表示の色をカメラごとに変えてもよい。また異なる位置にあるカメラで撮影した画像をアルファブレンド等でつなぎ合わせるときには、ミラー画像Ｐ３のグラデーション表示の色を多色が混ざりあうような中間色としてもよい。これにより、後方カメラと左右のカメラで取り付け位置が異なるような場合にカメラの違いを認識させて、どの部分の画像かを分かりやすくすることができる。
【００６３】
またミラー画像Ｐ３を認識させるため、ミラー画像Ｐ３の全体を均一な色で表示したり、ミラー画像Ｐ３の枠から中心に向かって変化するグラデーション表示の形状を任意の形に変更したり、グラデーション表示の代わりに画像をぼやかす等の特殊効果を施してもよい。
【００６４】
また、カメラ１１〜１４は、特定の取付具を用いて取付けられるが、サイドミラーや、フェンダーミラーまたはサイドアンダーミラー(フェンダーミラーの左前だけにある地面を見るための小さなミラー)、リアアンダーミラーなどの突起物に取り付けてもよい。またカメラの取付位置や設置台数は任意に設定することができる。さらに特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。
【符号の説明】
【００６５】
１０…撮像部
１１，１２，１３，１４…カメラ
２０…車両情報生成部
２１…ナビゲーション装置
３０…表示パターン記憶部
３１…画像記憶部
３２…マッピングテーブル
４０…表示パターン決定部
５０…画像処理部
５１…第１の画像生成部
５２…第１の画像生成部（ミラー画像生成部）
５３…画像合成部
６０…表示部
【技術分野】
【０００１】
本発明は、車両に複数のカメラを搭載し、複数のカメラで撮影された画像を合成して表示する車両用画像表示装置に係り、特に車両の後方を撮影した画像を左右反転させてミラー画像として表示し、かつ運転者がミラー画像であることを識別できるようにした車両用画像表示装置に関する。
【背景技術】
【０００２】
従来、車両に複数のカメラを搭載し車両の周囲の映像を撮影し、撮影した画像を車両に設けたディスプレイ等に表示するようにした車両用画像表示装置がある。このような車両用画像表示装では、ディスプレイに表示された画像を確認することにより、車両が障害物に衝突或いは追突するのを避けることができる。
【０００３】
また最近では、複数のカメラで撮影した画像を合成して表示する際に車両の俯瞰画像を生成し、トップビュー画像のように、生成した俯瞰画像を合成して表示するようにしたものもある。自車両の俯瞰画像を表示することで周囲の状況を把握しやすくなり、運転者の運転を支援することができる。尚、俯瞰画像は、自車両の上方などに設定した仮想視点から見た画像であり、仮想視点の位置を変えることで俯瞰画像等の見え方を変えることができる。
【０００４】
特許文献１には、複数のカメラで撮影した画像を入力し、仮想視点から見た合成画像を生成するとともに、自車両を示すイラスト画像を表示するようにした画像処理装置が開示されている。
【０００５】
ところで、運転者は車両の後方を確認する際に、通常はサイドミラーや、ルームミラーに映る映像を見ることが多いが、ミラーに映る映像は左右が反転しているため、車両の後方を撮影した画像をディスプレイに表示する場合は、左右反転して表示した方が運転者は分かりやすい。したがって後方画像を左右反転させてミラー画像をディスプレイに表示した例もある。
【０００６】
特許文献２には、同じ場所を複数の視点で撮影し、複数の画像を並べて表示する車両用モニタ装置が開示されている。しかしながら、特許文献２では複数の視点の映像をばらばらに表示しているため、直感的にどこの映像か分かりにくい。また、左右反転させたミラー画像と反転させていない画像を同時に表示させた場合、その位置関係の意味がはっきりせず、直感的にどこの映像を表示したものか分かりにくいという欠点がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３３００３３４号公報
【特許文献２】特開２００３−１４９７１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の車両用画像表示装置では、左右反転させたミラー画像を表示したときに、それがミラー画像であることを識別しづらく、現実の画像とミラー画像の区別ができないため、ミラー画像を表示しても却って誤解を与える可能性がある。
【０００９】
本発明はこのような事情に鑑み、ミラー画像を表示したときに現実の画像と誤認しないように区分して表示することができる車両用画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１記載の車両用画像表示装置は、車両に分散して配置された複数のカメラを含み、前記車両の周囲を撮影可能な撮像部と、前記車両の俯瞰画像を生成する俯瞰画像生成部と、前記複数のカメラで撮影した画像を処理して前記車両の背景画像を生成し、前記背景画像と前記俯瞰画像を合成した第１の画像を出力する第１の画像生成部と、前記車両の後部又は前方部の背景画像付近の自車両の進行方向に対して垂直かつ地面に対して垂直な面を基準に、第１の画像を面対称させた画像を形成するとともに面対称であることを識別可能にした第２の画像を生成する第２の画像生成部と、前記第１の画像生成部からの第１の画像及び前記第２の画像生成部からの前記第２の画像を選択的に合成する画像合成部と、前記画像合成部からの出力画像を表示可能な表示部と、を具備したことを特徴とする。
【発明の効果】
【００１１】
本発明の車両用画像表示装置によれば、運転者に対して車両の周辺の状況を的確に知らせることができ、安全運転の補助を行うことができる。また車両の後方を撮影した画像を左右反転してミラー画像として表示したときに、運転者に対してミラー画像であることを明確に認識させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る車両用画像表示装置の全体構成を示すブロック図。
【図２】仮想視点と車両の関係を示す説明図。
【図３】車両の俯瞰画像と背景画像の一例を概略的に示す説明図。
【図４】車両へのカメラの取付け配置とカメラの視野角の一例を示す説明図。
【図５】ミラー画像の生成を説明する説明図。
【図６】ミラー画像の実例を示す説明図。
【図７】ミラー画像の表示例を示す説明図。
【図８】仮想視点を移動したときの表示部での表示例を示す説明図。
【図９】車両が交差点に進入する際の表示例を示す説明図。
【図１０】車両をバックする際の表示例を示す説明図。
【図１１】左に車線変更する際の表示例を示す説明図。
【図１２】右に車線変更する際の表示例を示す説明図。
【図１３】交差点を左折する際の表示例を示す説明図。
【図１４】交差点を右折する際の表示例を示す説明図。
【図１５】ミラー画像の他の表示例を示す説明図。
【図１６】ミラー画像の表示処理を説明するフローチャート。
【発明を実施するための形態】
【００１３】
以下、この発明の一実施形態について図面を参照して説明する。
【実施例１】
【００１４】
図１は、本発明の一実施形態に係る車両用画像表示装置の全体構成を示すブロック図である。図１の車両用画像表示装置は、撮像部１０、車両情報生成部２０、表示パターン記憶部３０、表示パターン決定部４０、画像処理部５０及び表示部６０を備えている。
【００１５】
撮像部１０は、自車両の周囲の映像を撮影する例えば４つのカメラ１１，１２，１３，１４を有している。４つのカメラ１１，１２，１３，１４は、車両の前方、後方、左側、右側をそれぞれ撮影するものであり、車両の同じ高さ位置に取付けるのが望ましい。また各カメラ１１〜１４は、魚眼カメラを使用するとよい。各カメラ１１〜１４の位置については後述する。
【００１６】
車両情報生成部２０は、ナビゲーション装置２１を含む。ナビゲーション装置２１は、自車両の現在位置を検出するＧＰＳ受信部、地図データを格納した記録媒体、目的地までの経路を探索する探索部等を有する。また自車両の車速、加速度、傾き等を検出する車速度センサやジャイロセンサ等を有し、これらＧＰＳ受信部、記録媒体、探索部、車速センサやジャイロセンサ等がＣＡＮ（Controller Area Network）等の車内ＬＡＮを介して接続されている。したがって、車両情報生成部２０からは、自車両の現在位置や進行方向（前進、バック、右・左折）等の情報を得ることができる。
【００１７】
表示パターン記憶部３０は、画像記憶部３１とマッピングテーブル３２を含む。画像記憶部３１は、自車両を真上からみた俯瞰画像や、斜め後方等からみた俯瞰画像を記憶するものである。即ち、カメラ１１〜１４は自車両の周囲をそれぞれ撮影し、撮影した画像に基づいて自車両の背景画像を生成するが、背景画像に表示されるのは実景のみである。したがって、背景画像の所定の位置に自車両の俯瞰画像を合成するため、予め自車両を真上から撮影した画像や斜め後方等からみた画像を俯瞰画像として画像記憶部３１に記憶している。或いは、自車両を示すイラスト画像を生成し、このイラスト画像を俯瞰画像として記憶している。撮影した画像やイラスト画像は１つに限らず、複数種記憶しておき、任意のものを選択できるようにしている。
【００１８】
マッピングテーブル３２は、カメラ１１〜１４で撮影した画像の画素データと、自車両の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像の画素が背景画像のどの画素に対応するかを示す変換情報を記憶している。表示パターン決定部４０は、画像記憶部３１に記憶した画像データから合成画像の生成に必要な自車両の俯瞰画像を決定する。尚、画像記憶部３１と表示パターン決定部４０は俯瞰画像生成部を構成する。
【００１９】
画像処理部５０は、第１の画像生成部５１と、第２の画像生成部５２と、画像合成部５３を含む。第１の画像生成部５１は、カメラ１１〜１４で撮影した車両の前方画像と、後方画像と、左側方画像と、右側方画像とをマッピングテーブル３２を参照して合成処理して背景画像を生成する。また、この背景画像に表示パターン決定部４０で決定した俯瞰画像を合成して第１の画像（トップビュー画像）を生成する。マッピングテーブル３２を参照することで、仮想視点の位置が変わると視点に合わせて表示された背景画像が変化する。マッピングテーブルを用いた背景画像の生成方法の詳細は、例えば特許文献１に記載されている。
【００２０】
また第１の画像生成部５１は、車両情報生成部２０から車両の位置や進行方向及び角度情報を得て、車両の移動方向（前進、バック）と曲がる方向（右折・左折）を判断し、車両の状況に合わせてカメラ１１〜１４の撮影画像を選択して合成処理を行う。
【００２１】
第２の画像生成部５２は、第１の画像生成部５１で生成した第１の画像のうち、車両の後方部周辺部の画像を左右反転して面対称の第２の画像（ミラー画像）を生成し、ミラー画像が面対称の画像であることを識別可能にするため特定の色模様を施す。ミラー画像の詳細については後述する。画像合成部５３は、第１の画像生成部５１で生成した第１の画像と第２の画像生成で生成した第２の画像を選択的に合成して表示部６０に出力する。表示部６０は、画像合成部５３から出力された合成画像を表示するものであり、液晶ディスプレイ等で構成される。
【００２２】
図２は、仮想視点を概念的に示す図であり、例えば車両１の上方に仮想視点１００を設定した例を示している。
【００２３】
図３は、表示部６０に表示された背景画像と自車両の俯瞰画像とを含む第１の画像（トップビュー画像Ｐ０）の一例を示し、図２の仮想視点１００から見たトップビュー画像Ｐ０を示している。図３では、車両の前方画像及び後方画像と左側方画像と右側方画像とを合成して車両の周辺部を垂直の壁で囲むように背景画像Ｐ２をパノラマ表示し、背景画像Ｐ２に車両の俯瞰画像Ｐ１を合成して表示した例を示している。
【００２４】
図３では仮想視点１００の位置を車両の真上に設定しているが、仮想視点１００の位置を変えるとトップビュー画像Ｐ０の表示も変わる。尚、図３では、車両（俯瞰画像Ｐ１）の底面（地面）を水平面Ａ０とし、水平面Ａ０の左右にできる垂直の壁を右垂直面Ａ１及び左垂直面Ａ２と呼び、水平面Ａ０の前後にできる垂直の壁を前方垂直面Ｂ１及び後方垂直部Ｂ２と呼ぶ。
【００２５】
次にカメラ１１〜１４の配置の一例を図４を参照して説明する。即ち車両１に複数のカメラを配置する際、俯瞰画像を作り出すには４つのカメラで撮影した画像が必要になる。また安全に運転できる情報を提供するには、極力、死角になる部分をなくす必要がある。このような点を考慮して、本実施形態では、図４（ａ）に示すように４つのカメラ１１〜１４を配置している。
【００２６】
図４（ａ）は車両１を真上から見た図であり、例えば車両１の前方部にカメラ１１を配置し、後方部にカメラ１２を配置する。また車両１の左側のサイドミラーにカメラ１３を配置し、右側のサイドミラーにカメラ１４を配置する。こうして各カメラ１１〜１４は、車両１の４辺に配置される。各カメラ１１〜１４は、車両１の全周囲を撮影するため、各カメラ１１〜１４の描写範囲を１８０度よりも広くすると良い。尚、以下の説明では、カメラ１１を前方カメラ、カメラ１２を後方カメラ、カメラ１３を左カメラ、カメラ１４を右カメラと呼ぶこともある。またカメラ１１〜１４を備えた車両１を自車両１と呼ぶこともある。
【００２７】
図４（ｂ）は、カメラ１１〜１４の撮影範囲（視野角）の一例を示す図であり、自車両１の真上に仮想視点を設定したときの背景画像Ｐ２を示し、各カメラ１１〜１４が自車両１のどの位置に配置されているかを俯瞰画像Ｐ１に対応させて示している。尚、背景画像Ｐ２はお椀状にパノラマ表示された例を示している。
【００２８】
図４（ｂ）において、カメラ１１〜１４は例えば太線で示す範囲内をそれぞれ撮影する。各カメラ１１〜１４は視野角を調整可能であって、例えば狭い道路から交差点に進入するような場合は前方カメラ１１の視野角を最大限に広げる。また車両が左折する場合には左カメラ１３での視野角を広くし、車両が右折する場合には右カメラ１４の視野角を広くし、車両バックする場合は後方カメラ１２視野角を最大限に広げる。
【００２９】
本発明では、各カメラ１１〜１４で車両１の周囲の映像を撮影してトップビュー画像Ｐ０を生成した際に、車両の後部周辺を撮影した画像を左右反転させてミラー画像として表示するとともに、反転した画像がミラー画像であることを運転者に認識させるために識別表示する点に特徴がある。
【００３０】
即ち、運転者は後方部分の映像を通常はサイドミラーや、ルームミラーで見ているが、ミラーで見た映像は左右が反転している。このため車両の後方を撮影した画像をディスプレイに表示する場合は、左右反転して表示した方が運転者は分かりやすい。したがって後方画像を左右反転させてミラー画像として表示することがある。
【００３１】
しかしながら、表示画像には車両の前方を撮影した画像も含まれ、前方画像は左右反転することなく表示されるため、同じ画面に左右が反転していない画像と左右が反転した画像とが混在する。そこで、表示されたトップビュー画像Ｐ０にミラー画像が表示されている場合は、ミラー画像であることを識別するため、例えばミラー画像の周辺部に色模様を施し、ミラー画像の周辺部から中心部に向かって段階的に色濃度を変えてグラデーション表示する。
【００３２】
図５は本発明のミラー画像の表示を概念的に示した説明図である。図５において、カメラ１１〜１４で撮影した画像をもとに、第１の画像生成部５１では背景画像Ｐ２を生成し自車両の俯瞰画像Ｐ１と合成する。
【００３３】
また仮想視点が自車両の位置よりかなり後方であるため、後方垂直部Ｂ２が仮想視点に対して背面に表示されるため見ることができない。そのため第２の画像生成部５２は、後方垂直部Ｂ２の画像を左右反転（面対称）して後方垂直部Ｂ２の背面に表示させ、第２の画像（以下、ミラー画像Ｐ３と称す）を生成する。さらにミラー画像であることを強調するため色模様を施す。例えばミラー画像Ｐ３の枠の周りを着色し、枠の周辺から中心に向かって色を濃い色から淡い色へ順次に変えてグラデーション表示する。これにより、左右が反転したミラー画像Ｐ３であることを運転者に認識させることができる。
【００３４】
図６は、実験によって得たミラー画像の実例を示す。図６において、Ｐ２は現実の映像の背景画像である。またＰ３はミラー画像であり、周辺部が所定の色でグラデーション表示されている。第２の画像生成部５２は、後方垂直部Ｂ２の面を基準にして車両の後部の背景画像を面対称にした第２の画像（ミラー画像Ｐ３）を生成する。尚、図４（ｂ）のように背景画像Ｐ２がお椀状にパノラマ表示された場合には、その表示画像の一番後方にあたる自車両後方の背景画像の最上部の位置付近を基準に、地面に対して垂直かつ自車両の進行方向に対して垂直な面を基準に面対称にした第２の画像を生成する。
【００３５】
こうして、表示部６０にはミラー画像Ｐ３が手前側に表示され、反転されない背景画映像Ｐ２が奥側に表示される。したがって、通常は見ることのできない後方の画像がミラー画像Ｐ３として表示され、かつ現実の映像よりも手前に大きく表示される。尚、以下の説明では、左右反転することなく実際に撮影する映像空間を現実世界と呼び、撮影した画像を左右反転してミラー画像として表示する映像空間をミラー世界と呼ぶことにする。
【００３６】
図７は、表示部６０に表示された背景画像Ｐ２とミラー画像Ｐ３の一例を示す。図７では、上方に自車両の前方部分を示す俯瞰画像Ｐ１が表示され、自車両の前方周辺を囲むように現実世界の背景画像Ｐ２がパノラマ表示されている。また下方の後方垂直部の後方にミラー画像Ｐ３が表示されている。ミラー画像Ｐ３では、自車両の後部を示す俯瞰画像Ｐ１が表示され、自車両の後方周辺を囲むようにミラー世界の画像が表示されている。
【００３７】
上方に車両前方の現実世界の背景画像Ｐ２が表示され、下方に自車両の後方のミラー画像Ｐ３が表示されることで、位置関係が分かりやすく、また自車両の俯瞰画像Ｐ１も存在するため、距離感をつかむことができる。またミラー画像Ｐ３の周辺部はグラデーション表示により色模様が施されているため、ミラー世界の画像であることを容易に識別することができる。
【００３８】
尚、本発明では、表示部６０に表示された画像は、現実世界とミラー世界の映像が同一の３次元空間上に配置されることになるため、仮想視点１００を移動することで、現実世界だけ、又はミラー世界だけ、さらには現実世界とミラー世界の混在した状態を表示することができる。したがって、仮想視点１００の移動に応じてカメラ１１〜１４の視野角を変更することで、より一層理解しやすい画像を表示することができる。以下、図８〜図１４を参照して、仮想視点１００を移動したときの表示部６０での表示形態を具体的に説明する。
【００３９】
図８〜図１４において、（ａ）は車両１に取り付けた各カメラ１１〜１４の視野角を示し、図４（ｂ）に対応する図である。尚、現実世界（太線）とミラー世界（細線）は上下対称となり、現実世界おける視野角とミラー世界（細線）での視野角は上下対称となる。（ｂ）は、車両１を横から見たときの仮想視点１００の位置と方向を示す。現実世界（右）に対してミラー世界（左）は左右対称となる。（ｃ）は車両１を真後ろからみたときの仮想視点１００の位置を示す。また（ｄ）は、表示部６０での表示画面を示し、自車両の俯瞰画像をＰ１とし、現実世界の背景画像をＰ２とし、ミラー画像をＰ３として示す。
【００４０】
先ず、図８は車両がオフロードにいる場合を示している。オフロードでは、どこから障害物が近づくか分からないため、車両の周囲全方向を表示したい。そのため仮想視点１００を車両の真上に設定にする。また車両が曲がるときに横に障害物がないかを確認するために、曲がる方向が見えるように前方カメラ１１の視野は最大限に広げる。また後ろから何かが近づいてくることを想定し、左右のカメラ１３，１４は真後ろまで見えるように視野角を広げ、後方カメラ１２は後方のみを見るようにする。
【００４１】
このとき、表示部６０には自車両を真上から見た俯瞰画像Ｐ１と、その周囲全方位の背景画像Ｐ２が表示される。仮想視点１００が現実世界の車両の真上にあるため、ミラー世界の画像は表示されない。尚、表示部６０の画面の半分だけに画像Ｐ１，Ｐ２が表示されるため、残りの画面は地図情報等の付属画像を表示（いわゆる多画面表示）してもよい。
【００４２】
図９は、狭い道路から交差点に入る場合を示している。狭い道路から交差点に入る場合は、仮想視点１００の位置を自車両のやや後方上部から見るように設定する。また横切る道路が横方向の障害物によって見えない可能性があるため、前方カメラ１１の視野を最大限に広げる。また自車両の周りに何かが接近していないか見るために自車両の周りの映像を表示させる。
【００４３】
このとき、表示部６０には画面全体に俯瞰画像Ｐ１とその前方周囲の背景画像Ｐ２が広く表示される。仮想視点１００は現実世界の車両の後方上部にあるため、ミラー世界の画像は表示されない。また、オフロードから道路に出る場合も、図９と同様の形態で表示される。
【００４４】
図１０は、車両をバックする場合を示している。例えばバックしながら道路に出る場合は、仮想視点１００をミラー世界までずれた位置に設定し、車両の前方から斜めに見下ろす位置に設定する。また後方カメラ１２の視野は最大限に広げ、かつ自車両の周りに何かが近づいて来ないかを確認するために自車両の周りの映像も表示させる。さらに駐車場に車をバック入れる場合など、隣の車との隙間がどれくらいあるか確認するために、左右のカメラ１３，１４の視野も最大限に広げる。
【００４５】
このとき、表示部６０には自車両の後方のミラー画像Ｐ３が画面全体に表示され、ミラー画像の俯瞰画像Ｐ１と、その後方周囲の背景画像が表示される。仮想視点１００がミラー世界の上にあるため、現実世界の画像は表示されず、ミラー画像Ｐ３のみが表示される。
【００４６】
図１１は、左に車線変更する場合を示している。左に車線変更する場合は、行きたい車線に車がいるか確認する必要があるため、仮想視点１００は現実世界の車両の後方上部からミラー世界にかかる位置に設定し、かつ車両の左上にシフトした位置に設定する。また後ろの車が同時に車線変更してくる可能性もあるため、左カメラ１３は後方が極力見えるように視野を広げ、真後ろを後方カメラ１２で捉えるようにする。また車線変更先が渋滞しているときは車線変更を断念する場合もあるので、右カメラ１４で現進行車線が見えるようにし、かつ前の車が突然止まっても確認できるように前方カメラ１１で前方を捉えるような視野にする。
【００４７】
このとき、表示部６０には左側に傾いた自車両の俯瞰画像Ｐ１と、自車両の左側から前方の背景画像Ｐ２が表示され、かつ自車両の後方を示すミラー画像Ｐ３が表示される。尚、表示部６０の画面は半分だけ画像Ｐ１，Ｐ２，Ｐ３が表示されるため、残りの画面には地図情報等が表示される。
【００４８】
図１２は、右に車線変更する場合を示している。右に車線変更する場合は、左に車線変更する場合と逆になり、仮想視点１００は現実世界の車両の後方上部からミラー世界にかかる位置に設定し、かつ車両の右上にシフトした位置に設定する。また後ろの車が同時に車線変更してくる可能性もあるため、右カメラ１４は後方が極力見えるように視野を広げ、真後ろを後方カメラ１２で捉えるようにする。また車線変更先が渋滞しているときは車線変更を断念する場合もあるので、左カメラ１３で現進行車線が見えるようにし、かつ前の車が突然止まっても見えるように、前方カメラ１１で前方を捉えるような視野にする。
【００４９】
このとき、表示部６０には右側に傾いた自車両の俯瞰画像Ｐ１と、自車両の右側から前方の背景画像Ｐ２が表示され、かつ自車両の後方を示すミラー画像Ｐ３が表示される。
【００５０】
図１３は、広い道路から交差点を左折する場合を示している。広い道路から左へ曲がる場合、左側の道路に車がいるか確認する必要があるため、仮想視点１００は現実世界の車両の後方上部からミラー世界にかかる位置に設定し、かつ車両の左上にシフトした位置に設定する。また後から自転車やバイクなどが高速で近づいてきて巻き込む恐れがあるため、左カメラ１３は後方が見えるように視野角を広くする。また障害物などにより曲がる先の道路の状況が運転者から見にくいことを想定し、前方カメラ１１の視野も広げる。
【００５１】
このとき、表示部６０には左側に傾いた自車両の俯瞰画像Ｐ１と、自車両の前方及び左側の背景画像Ｐ２が広く表示され、かつ自車両の後方を示すミラー画像Ｐ３が表示される。勿論、表示部６０の画面全体に表示するようにしてもよい。
【００５２】
図１４は、広い道路から交差点を右折する場合を示している。広い道路から右へ曲がる場合は、仮想視点１００の位置を車両の後方上部から見るように設定し、かつ車両の右上にシフトした位置に設定する。また対向車が来ていないか確認する必要があるため、対向車線の状況がよく見えるように、右カメラ１４で前方から右側まで広く見えるように視野角を広げる。このとき、表示部６０には右側に傾いた自車両の俯瞰画像Ｐ１と、自車両の右側から前方の背景画像Ｐ２が表示される。
【００５３】
図８〜図１４の表示例では、各場面に合わせて仮想視点１００の位置や方向、及び各カメラ１１〜１４の視野角を切り替えているが、車両がオフロードにいるか、狭い道路から交差点に進入しようとしているか等の情報はナビゲーション装置２０からの情報を基に判断することができる。また車両が車線変更しようとしているか、右左折しようとしているか、或いはバックしようとしているのかは、ジャイロセンサやハンドル舵角等の車両情報から判断することができる。したがって、撮影部１０及び画像処理部５０は、それそれぞれの状況に応じてどのカメラの画像が重要になるかを判断して、背景画像の生成やカメラの視野角の調整を行う。
【００５４】
また道路状況や車両の進行に応じて、表示部６０の表示が切り替わるが、切り替えは、仮想視点１００の移動に伴ってモーションを持たせて表示させてもよい。例えば画面が切り替わる際に前画面と新たな画面をアルファブレンドしてアルファを変えながら表示を切り替えていってもよいし、カメラの視野角をずらしていってもよい。さらに地図情報などの付属画像を含む多画面表示から単一画面の表示に切り替える際には、付属画像の表示範囲が徐々に狭くなるように切り替えてもよい。逆に単一画面の表示から付属画像を含む多画面表示に切り替える際には、付属画像の表示範囲が徐々に広くなるように切り替えてもよい。
【００５５】
図１５は、ミラー画像Ｐ３の他の表示形態を示す図である。図１５では、ミラー画像Ｐ３を現実世界の背景画像Ｐ２の上に表示したものである。この場合は、ルームミラーを連想させるため、ミラー画像Ｐ３がどの部分の映像かを認識しやすくなる。
【００５６】
図１６はミラー画像の表示処理を説明するフローチャートであり、表示パターン決定部４０と画像処理部５０の動作を説明する図である。図１６において、ステップＳ０で車両の運転が開始されると、ステップＳ１では表示パターン決定部４０にて自車両の俯瞰画像Ｐ１決定し、例えば自車両を示すイラストを描写する。ステップＳ２では、トップビュー画像Ｐ０に対して車両の後部に折り返し点Ｑを設定して垂直な面を設置し、垂直な面（後方垂直部）の背面に左右を反転した画像を描写する。
【００５７】
以下、ループＳ３から運転終了のループＳ１３の間において表示パターンの切り替えを行う。即ち、ステップＳ４では、現在の状況での表示パターンを確認し、ステップＳ５では車両の状況が変わったか（つまり表示パターンが変わったか）を判断する。状況に変化がない場合はステップＳ６で現表示パターンを継続して描写する。状況が変わった場合はステップＳ７において、変化する前の表示状態、例えば仮想視点の位置やカメラの視野角や表示画面の幅等をメモリに記憶する。
【００５８】
ステップＳ８では状況に応じて切り替え後の表示状態を決定し、ステップＳ９では、表示切り替え推移数分のループに従って切り替えモーションを設定する。ステップＳ１０では切り替え前と後の表示状態と推移の順番に従って表示状態を変更し、ステップＳ１１では、ステップＳ２で設定した折り返し点を境界として手前側をミラー画像の領域として、その領域の大きさに従って所定の色を付けてグラデーション表示させる。ステップＳ９とステップＳ１２間のループにより、表示の切り替えの都度、表示状態の変更とグラデーション表示が行われ、ステップＳ１３で運転終了になると、ステップＳ１４で終了する。
【００５９】
以上説明したように本発明の実施形態によれば、運転者に対して車両の周辺の状況を的確に知らせることができ、安全運転の補助を行うことができる。また車両の後方を撮影した画像を左右反転してミラー画像として表示したときに、運転者に対してミラー画像であることを明確に認識させることができる。
【００６０】
尚、本発明の実施形態については、幾つかの変形例が考えられる。例えば、ミラー画像を表示させるか否か等、各種のモード設定をユーザ操作によってオン・オフできるようにしてもよい。また、車両周辺の背景画像Ｐ２に対する自車両の俯瞰画像Ｐ１の相対貼り付け位置が、前後対称や左右対称ではなくてもよい。例えば後ろの地面部が少なくてもミラー画像としては平面的に地面部まで見ることができるので違和感が軽減される。
【００６１】
また車両の起動時などでは現実世界の画像を表示させ、次にミラー画像を車両後方上部に表示させてミラー世界の画像を表示させ、次に視点をミラー世界に移動させ表示させるようにしてもよい。或いは車両の起動時にミラー画像と現実世界の画像の両方を表示して、両者がどのような配置で表示されるかを事前に知られるようにしてもよい。
【００６２】
また左右のカメラ１３，１４やそれと異なる位置にある後方カメラ１２を使用してミラー画像Ｐ３をつくりだす場合には、ミラー画像Ｐ３の周辺部のグラデーション表示の色をカメラごとに変えてもよい。また異なる位置にあるカメラで撮影した画像をアルファブレンド等でつなぎ合わせるときには、ミラー画像Ｐ３のグラデーション表示の色を多色が混ざりあうような中間色としてもよい。これにより、後方カメラと左右のカメラで取り付け位置が異なるような場合にカメラの違いを認識させて、どの部分の画像かを分かりやすくすることができる。
【００６３】
またミラー画像Ｐ３を認識させるため、ミラー画像Ｐ３の全体を均一な色で表示したり、ミラー画像Ｐ３の枠から中心に向かって変化するグラデーション表示の形状を任意の形に変更したり、グラデーション表示の代わりに画像をぼやかす等の特殊効果を施してもよい。
【００６４】
また、カメラ１１〜１４は、特定の取付具を用いて取付けられるが、サイドミラーや、フェンダーミラーまたはサイドアンダーミラー(フェンダーミラーの左前だけにある地面を見るための小さなミラー)、リアアンダーミラーなどの突起物に取り付けてもよい。またカメラの取付位置や設置台数は任意に設定することができる。さらに特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。
【符号の説明】
【００６５】
１０…撮像部
１１，１２，１３，１４…カメラ
２０…車両情報生成部
２１…ナビゲーション装置
３０…表示パターン記憶部
３１…画像記憶部
３２…マッピングテーブル
４０…表示パターン決定部
５０…画像処理部
５１…第１の画像生成部
５２…第１の画像生成部（ミラー画像生成部）
５３…画像合成部
６０…表示部
【特許請求の範囲】
【請求項１】
車両に分散して配置された複数のカメラを含み、前記車両の周囲を撮影可能な撮像部と、
前記車両の俯瞰画像を生成する俯瞰画像生成部と、
前記複数のカメラで撮影した画像を処理して前記車両の背景画像を生成し、前記背景画像と前記俯瞰画像を合成した第１の画像を出力する第１の画像生成部と、
前記車両の後部又は前方部の背景画像付近の自車両の進行方向に対して垂直かつ地面に対して垂直な面を基準に、第１の画像を面対称させた画像を形成するとともに面対称であることを識別可能にした第２の画像を生成する第２の画像生成部と、
前記第１の画像生成部からの第１の画像及び前記第２の画像生成部からの前記第２の画像を選択的に合成する画像合成部と、
前記画像合成部からの出力画像を表示可能な表示部と、を具備したことを特徴とする車両用画像表示装置。
【請求項２】
前記第１の画像生成部は、前記車両の進行状況に合わせて仮想視点を設定し、前記車両を前記仮想視点から見た前記第１の画像を生成し、
前記画像合成部は、前記仮想視点の位置に応じて前記第１の画像及び前記第２の画像を選択的に合成して出力することを特徴とする請求項１記載の車両用画像表示装置。
【請求項３】
前記撮影部は、前記車両の進行状況に合わせて前記複数のカメラの視野角を調整し、前記第１の画像生成部は、前記車両の進行に合わせて前記背景画像及び前記俯瞰画像を切り替えることを特徴とする請求項１記載の車両用画像表示装置。
【請求項４】
前記第２の画像生成部は、前記面対称であることを識別可能にするため、前記面対称の画像の少なくとも周辺部に特定の色模様を施したことを特徴とする請求項１記載の車両用画像表示装置。
【請求項５】
前記画像合成部は、前記車両が右・左折又は車線変更するときは、前記表示部に前記第１の画像及び前記第２の画像を含む合成画像を前記表示部に出力することを特徴とする請求項１記載の車両用画像表示装置。
【請求項６】
前記画像合成部は、前記車両がバックして車道に進入するときは前記第２の画像を主体とする合成画像を前記表示部に出力することを特徴とする請求項１記載の車両用画像表示装置。
【請求項１】
車両に分散して配置された複数のカメラを含み、前記車両の周囲を撮影可能な撮像部と、
前記車両の俯瞰画像を生成する俯瞰画像生成部と、
前記複数のカメラで撮影した画像を処理して前記車両の背景画像を生成し、前記背景画像と前記俯瞰画像を合成した第１の画像を出力する第１の画像生成部と、
前記車両の後部又は前方部の背景画像付近の自車両の進行方向に対して垂直かつ地面に対して垂直な面を基準に、第１の画像を面対称させた画像を形成するとともに面対称であることを識別可能にした第２の画像を生成する第２の画像生成部と、
前記第１の画像生成部からの第１の画像及び前記第２の画像生成部からの前記第２の画像を選択的に合成する画像合成部と、
前記画像合成部からの出力画像を表示可能な表示部と、を具備したことを特徴とする車両用画像表示装置。
【請求項２】
前記第１の画像生成部は、前記車両の進行状況に合わせて仮想視点を設定し、前記車両を前記仮想視点から見た前記第１の画像を生成し、
前記画像合成部は、前記仮想視点の位置に応じて前記第１の画像及び前記第２の画像を選択的に合成して出力することを特徴とする請求項１記載の車両用画像表示装置。
【請求項３】
前記撮影部は、前記車両の進行状況に合わせて前記複数のカメラの視野角を調整し、前記第１の画像生成部は、前記車両の進行に合わせて前記背景画像及び前記俯瞰画像を切り替えることを特徴とする請求項１記載の車両用画像表示装置。
【請求項４】
前記第２の画像生成部は、前記面対称であることを識別可能にするため、前記面対称の画像の少なくとも周辺部に特定の色模様を施したことを特徴とする請求項１記載の車両用画像表示装置。
【請求項５】
前記画像合成部は、前記車両が右・左折又は車線変更するときは、前記表示部に前記第１の画像及び前記第２の画像を含む合成画像を前記表示部に出力することを特徴とする請求項１記載の車両用画像表示装置。
【請求項６】
前記画像合成部は、前記車両がバックして車道に進入するときは前記第２の画像を主体とする合成画像を前記表示部に出力することを特徴とする請求項１記載の車両用画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１４】
【図１６】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１４】
【図１６】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【公開番号】特開２０１１−３００７８（Ｐ２０１１−３００７８Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７５４５２（Ｐ２００９−１７５４５２）
【出願日】平成２１年７月２８日（２００９．７．２８）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２８日（２００９．７．２８）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
[ Back to top ]