車両用画像表示装置
【課題】死角の発生を低減した車両用画像表示装置を提供する。
【解決手段】車両の複数個所に配置された複数のカメラを含み、前記車両の周囲を撮影する撮像部と、車両の俯瞰画像を生成する画像生成部と、複数のカメラで撮影した複数の画像を放射状に区分して交互に配置して背景画像を生成し、背景画像と俯瞰画像とを合成する画像合成部と、画像合成部で合成された画像を表示可能な表示部と、を具備する。
【解決手段】車両の複数個所に配置された複数のカメラを含み、前記車両の周囲を撮影する撮像部と、車両の俯瞰画像を生成する画像生成部と、複数のカメラで撮影した複数の画像を放射状に区分して交互に配置して背景画像を生成し、背景画像と俯瞰画像とを合成する画像合成部と、画像合成部で合成された画像を表示可能な表示部と、を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に複数のカメラを搭載し、複数のカメラで撮影された画像を合成して表示する車両用画像表示装置に関する。
【背景技術】
【０００２】
従来、車両に複数のカメラを搭載し車両の周囲の映像を撮影し、撮影した画像を車両に設けたディスプレイ等に表示するようにした車両用画像表示装置がある。このような車両用画像表示装置では、表示部に表示された画像を確認することにより、車両の周囲にある障害物を把握することができ、車両が障害物に衝突或いは追突するのを避けることができる。
【０００３】
また最近では、複数のカメラで撮影した画像を合成して表示する際に、自車両のトップビュー画像（俯瞰画像）を生成し、このトップビュー画像を合成画像に表示するようにしたものもある。自車両のトップビュー画像を表示することで周囲の状況を把握しやすくなり、運転者の運転を支援することができる。尚、トップビュー画像は、自車両の上方に設定した仮想視点から見た画像であり、仮想視点の位置を変えることで合成画像の見え方を変えることができる。
【０００４】
特許文献１には、複数のカメラで撮影した画像を入力し、仮想視点から見た合成画像を生成するとともに、自車両を示すイラスト画像を表示するようにした画像処理装置が開示されている。
【０００５】
ところで、複数のカメラを搭載した従来の車両用画像表示装置では、周囲の映像を撮影する際に死角が発生することがある。特に自車両の近くに壁や他の車両などの障害物がある場合には、運転者から見てその裏の死角を見ることができない。
【０００６】
特許文献２には、複数の撮影装置によって撮影したそれぞれの画像を鳥瞰図画像に変換し、各鳥瞰図画像を合成して合成鳥瞰図画像を生成する際に、２つの鳥瞰図画像が重なり合う部分に対して２つの領域が交互に配置されるようにした運転支援シテスムが開示されている。しかしながら、死角を見たいカメラとは別のカメラの映像が映ることにもなり、死角の画像が見づらくなる。また死角から近づいてくる障害物が途切れて見えることがある。
【０００７】
特許文献３には、複数の鳥瞰図画像を合成する合成手段を有し、複数の鳥瞰図画像が重なり合う共通領域の画像について、立体物をより捉えているカメラの画像を鳥瞰図画像として採用するようにした画像処理装置が開示されている。しかしながら、障害物が複数ある場合に対応できなくなり、つなぎ目が頻繁に変更されるため見づらいという不具合がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３３００３３４号公報
【特許文献２】特開２００７−１０９１６６号公報
【特許文献３】特開２００８−４８３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の車両用画像表示装置では、自車両の近くに壁や他の車両などの障害物がある場合には、運転者から見てその裏の死角を見ることができないため、更なる改善が要求されている。
【００１０】
本発明はこのような事情に鑑み、死角の発生を低減した車両用画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
請求項１記載の実施形態に係る車両用画像表示装置は、車両の複数個所に配置された複数のカメラを含み、前記車両の周囲を撮影する撮像部と、前記車両の俯瞰画像を生成する画像生成部と、前記複数のカメラで撮影した複数の画像を放射状に区分して交互に配置して背景画像を生成し、前記背景画像と前記俯瞰画像とを合成する画像合成部と、前記画像合成部で合成された画像を表示可能な表示部と、を具備して成ることを特徴とする。
【発明の効果】
【００１２】
本発明の実施形態に係る車両用画像表示装置によれば、自車両の近くに壁や他の車両などの障害物がある場合でも、運転者から見て死角となる位置の画像を表示することができ、死角を低減することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る車両用画像表示装置の構成を示すブロック図。
【図２】車両への複数のカメラの配置例を示す平面図。
【図３】画像合成部でのカメラ画像の合成処理を示す説明図。
【図４】複数のカメラでそれぞれ撮影した画像の一例を示す説明図。
【図５】複数のカメラで撮影した画像の合成処理の一例を示す説明図。
【図６】画像合成部でのカメラ画像の他の合成処理を示す説明図。
【図７】画像合成部でのカメラ画像のさらに他の合成処理を示す説明図。
【図８】仮想光源を設定して合成処理する例を示す説明図。
【図９】車両の進行方向を案内する画像を付加した合成画像の一例を示す説明図。
【図１０】車両の進行方向を強調した合成画像の一例を示す説明図。
【図１１】車道の描写方法の一例を示す説明図。
【図１２】図１０の表示画像の生成方法の一例を示す説明図。
【図１３】画像合成部でのカメラ画像の別の合成処理を示す説明図。
【図１４】ナビゲーション装置から車道情報が得られない場合の表示形態を示す説明図。
【図１５】第２の実施形態におけるステレオ視のためのカメラの配置例を示す平面図と側面図。
【図１６】ステレオ視のための合成処理を示す説明図。
【図１７】第３の実施形態におけるステレオ視のためのカメラの配置例を示す平面図と側面図。
【図１８】ステレオ視のための合成処理（２ディスプレイ）を示す説明図。
【図１９】ディスプレイの角度調整に伴う俯瞰画像の表示例を示す説明図。
【図２０】鏡で反射してディスプレイの画像を見る場合の説明図。
【図２１】３Ｄ表示の一例を示す説明図。
【発明を実施するための形態】
【００１４】
以下、この発明の一実施形態について図面を参照して説明する。
【実施例１】
【００１５】
図１は、本発明の一実施形態に係る車両用画像表示装置の全体構成を示すブロック図である。図１の車両用画像表示装置は、撮像部１０、車両情報生成部２０、表示パターン記憶部３０、表示パターン決定部４０、画像合成部５０及び表示部６０を備えている。
【００１６】
撮像部１０は、自車両の周囲の映像を撮影する４つのカメラ１１，１２，１３，１４を有している。４つのカメラ１１，１２，１３，１４は、車両の前方、後方、左側、右側をそれぞれ撮影するものであり、車両の同じ高さ位置に取付けるのが望ましい。また各カメラ１１〜１４は、全周囲（３６０度）の視界を撮影するため、例えば魚眼カメラを使用する。
【００１７】
車両情報生成部２０は、ナビゲーション装置２１を含む。ナビゲーション装置２１は、自車両の現在位置を検出するＧＰＳ受信部や、地図データを格納した記録媒体、目的地までの経路を探索する探索部等を有する。また自車両の車速や傾きを検出する車速度センサやジャイロセンサ等を有し、これらＧＰＳ受信部、記録媒体、探索部、車速センサやジャイロセンサ等がＣＡＮ（Controller Area Network）等の車内ＬＡＮを介して接続されている。したがって、車両情報生成部２０からは、自車両の現在位置や進行方向（前進、バック、右・左折）等の情報を得ることができる。
【００１８】
表示パターン記憶部３０は、画像記憶部３１とマッピングテーブル３２を含む。画像記憶部３１は、自車両を真上からみたトップビュー画像や斜め後方からみた画像などの俯瞰画像を記憶するものである。即ち、カメラ１１〜１４は自車両の周囲をそれぞれ撮影し、撮影した画像に基づいて自車両の背景画像を生成するが、背景画像に表示されるのは実景のみである。したがって、背景画像の所定の位置に俯瞰画像を合成するため、予め自車両を真上から撮影した画像や斜め後方からみた画像を俯瞰画像として画像記憶部３１に記憶している。或いは、自車両を示すイラスト画像を生成し、このイラスト画像を俯瞰画像として記憶している。撮影した画像やイラスト画像は１つに限らず、複数種記憶しておき、任意のものを選択できるようにしている。
【００１９】
マッピングテーブル３２は、カメラ１１〜１４で撮影した画像の画素データと、自車両の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像の画素が背景画像のどの画素に対応するかを示す変換情報を記憶している。
【００２０】
表示パターン決定部４０は、画像記憶部３１に記憶した画像データから合成画像の生成に必要な俯瞰画像を決定する。尚、画像記憶部３１と表示パターン決定部４０は画像生成部を構成する。画像合成部５０は、カメラ１１〜１４で撮影した車両の前方画像と、後方画像と、左方画像と、右方画像とをマッピングテーブル３２を参照して合成処理し、背景画像を生成する。また、この背景画像に表示パターン決定部４０で決定した俯瞰画像を合成する。マッピングテーブル３２を参照することで、仮想視点の位置が変わると視点に合わせて表示された背景画像が変化する。マッピングテーブルを用いた背景画像の生成方法の詳細は、例えば特許文献１に記載されている。
【００２１】
また画像合成部５０は、カメラ１１〜１４の撮影画像（カメラ画像）を選択して合成処理を行う。具体的には後述するが、複数のカメラ画像を交互に配置する。また車両情報生成部２０から車両の位置や進行方向の情報を得て、車両の進行方向（右折・左折）を判断し、合成画像の色などを制御する。表示部６０は、背景画像と自車両の俯瞰画像との合成画像を表示するものであり、液晶ディスプレイ等で構成される。
【００２２】
次にカメラ１１〜１４の配置の一例を、図２を参照して説明する。本実施形態では、４つのカメラ１１〜１４を配置している。図２は、車両１を真上から見た図であり、例えば車両１の前方部にカメラ１１を配置し、後方部にカメラ１２を配置する。また車両１の左側のサイドミラーにカメラ１３を配置し、右側のサイドミラーにカメラ１４を配置する。
【００２３】
こうして各カメラ１１〜１４は、車両１の４辺に配置される。各カメラ１１〜１４は、車両１の全周囲を撮影するため魚眼カメラにすると良い。尚、以下の説明では、カメラ１１を前方カメラ、カメラ１２を後方カメラ、カメラ１３を左カメラ、カメラ１４を右カメラと呼ぶ。またカメラ１１〜１４を備えた車両１を自車両１と呼ぶこともある。
【００２４】
図３は、画像合成部５０における複数のカメラ画像の合成処理の仕方を示す説明図である。本実施形態では、カメラ１１〜１４で撮影した前方画像、後方画像、左側方画像及び右側方画像を合成処理して背景画像１００を生成する。また、背景画像１００に表示パターン決定部４０で決定した自車両を示す俯瞰画像２００を合成する。
【００２５】
また画像合成部５０は、図３に示すように、複数のカメラ画像が交互に配置されるように合成する。例えば、自車両の前方の中心部には前方カメラの画像が表示され、自車両の後方の中心部には後方カメラの画像が表示される。また自車両の左側の中心部には左カメラの画像が表示され、自車両の右側の中心部には右カメラの画像が表示される。
【００２６】
また前方カメラの画像の左側の視野に左カメラの画像が入り込み、前方カメラの画像の右側の視野に右カメラの画像が入り込むように合成する。同様に、後方カメラの画像の左側の視野に左カメラの画像が入り込み、後方カメラの画像の右側の視野に右カメラの画像が入り込むように合成する。
【００２７】
したがって、車両近くに壁などの障害物があった場合に、運転者から見て死角となる位置には別のカメラ画像を配置するため、運転者から見てその裏の死角画像を表示することができる。また、障害物があった場合に、運転者からは死角となるがカメラでは見ることができる位置にカメラ画像がすべて表示されることになるので、死角画像を見るために表示を切り替える必要がない。
【００２８】
図４（ａ）は、自車両１の周辺に他の車両２や壁３があり、複数の立体物４（例えば人）がある場合を想定した状況図である。このように状況で各カメラ１１〜１４が撮影した画像は、図４（ｂ）〜（ｅ）のようになる。即ち、図４（ｂ）は前方カメラ１１の画像であり、（ｃ）は後方カメラ１２の画像であり、（ｄ）は左カメラ１３の画像であり、（ｅ）は右カメラ１４の画像である。
【００２９】
これら（ｂ）〜（ｅ）の画像を単純に合成処理すると、例えば図５（ａ）のような背景画像１００と自車両を示す俯瞰画像２００が得られる。しかしながら、他の車両２や壁３に隠れている人が見えなかったり、自車両１の後方部にいる人の画像が消えてしまうことがある。
【００３０】
本実施形態では、複数のカメラ画像が自車両を中心にして放射線状に、かつ交互に配置されるように合成されるため、例えば図５（ｂ）に示すような合成画像が得られる。したがって、水平線方向の俯瞰画像に関して、自車両近くに他の車両２や壁３などの障害物がある場合にも、それら障害物に隠れている人４が表示されるため、運転者からの死角を見ることができる。
【００３１】
一方、地面方向に対しては、通常の合成処理では、つなぎ目の部分の立体物４（人など）が消失することがあるが、実施形態での合成処理では消失せずに表示される。また立体物が二重に見えることもあるが、二重に見えることで注意喚起することができる。つなぎ目が変更されないので運転者は安心して映像を見ることができる。特に自車両の近くにいる人（障害物）を容易に把握することができる。尚、図では表示画像を円形で示しているが、四角形等で表示しても良い。
【００３２】
図６は合成処理の変形例を示す説明図である。特許文献１のように同一面上に複数のカメラ画像を合成した場合、死角の画像もそれ以外の画像も同じ大きさに表示されるため、見たい死角の画像が小さくなってしまう。また死角の方向に関して言えば、Ｔ字路などでは遠くまで見たいが、その画像も小さくなってしまう。
【００３３】
図６（ａ）は、複数のカメラ画像が交互に配置された合成画像を模式的に示しているが、どこを注視すれば分かりづらくなる。通常、車両の走行中は、前方は運転者から見えているし、後方や側面の画像については、前進中はそれほど注視する必要はない。そこで、図６（ｂ）のように前後と左右の中間にある斜めの領域（死角領域）の画像を奥に伸びるようにし、死角の画像を大きく見せるようにする。
【００３４】
図４（ａ）の状況図に当てはめると、図６（ａ）のように配置した画像は、図６（ｃ）のように表示され、図６（ｂ）のように配置した画像は、図６（ｄ）のように表示される。したがって、死角の画像１０１を的確に運転者に提示することができる。また、複数の画像のつなぎ目がはっきりする。
【００３５】
また図６（ｄ）に示すように、自車両に対して、前方、後方及び左側、右側の画像１０２を、少し手前側に折り曲げて展開先の高さを低く表示し、斜めの死角領域の画像１０１の奥方向を見やすくしても良い。
【００３６】
例えば、図６（ｃ）の表示形態では自車両の右側にある立体物は、それほど危険ではないのに目立ち過ぎているが、図６（ｄ）の表示形態では、自車両の右側（及び左側）の画像１０２を折り曲げることで、左・右の画像が目立つのを抑え、死角領域１０１の画像に注視させることができる。こうして、より一層死角を見ていると思わせることができる。またカメラの正面となる画像１０２の横幅を狭くし、斜め領域の死角画像をより見やすくしてもよい。また、カメラの正面となる画像１０２の裏に、斜め領域の死角画像１０１を広げて配置し、自車両の画像も映りこむように合成しても良い。また他の複数のカメラ画像に自車両の画像も映り込むように合成してもよい。これにより、自車両と周辺映像との境目が明確になる。
【００３７】
図７は、合成処理の他の変形例を示す説明図である。図６（ｄ）のように、死角領域（斜めの領域）の画像１０１を相対的に大きくすると、表示画像の配置関係が見づらくなることが懸念される。そこで図７に示すように、車両の前方、後方、左右の画像１０２（死角領域に対して相対的に小さい画像）の裏側に壁画像を張り付け、立体物１０３として表示させる。これにより、斜め領域１０１は障害物（他の車両や壁）の裏側であるという印象を持たせることができる。また、立体物１０３をαブレンドにより透明にしておき、斜め領域１０１が立体物１０３の裏で見えなくなることを防ぐようにしても良い。
【００３８】
また、斜め領域の画像１０１の外周部に平面画像１０４を表示し、総合的に円形の画像表示になるようにしても良い。尚、図７では円形の画像を例示しているが、四角形や１２角形などの形で表示してもよい。
【００３９】
また図７の合成画像の内、どの画像がどのカメラで撮影した画像であるかを把握できるようにするため、各画像の円周部に着色を施してもよい。つまり、壁画像１０３と平面画像１０４にそれぞれカメラ毎に異なる色をつけて表示する。これにより、画像がどのカメラ画像であるかを認識させやすくなる。また、俯瞰画像２００に各カメラを示すマークなどを、カメラ毎に異なる色で表示させても良い。尚、円周部の着色をαブレンドにより外周から徐々に薄くなるように表示させてもよい。
【００４０】
図８は、合成処理のさらに他の変形例を示す説明図である。例えば、Ｔ字路などでは、運転者が見るべき場所が限定される。そこで図８に示すように仮想の光源１０５を適正な場所に設定して、見るべき死角領域を照らして表示し、他の領域は影で暗くする。或いは光源１０５からの距離が遠い領域を暗くして表示してもよい。
【００４１】
仮想光源１０５の設定により、光源によって照らされる領域１０６と影になる領域１０７が生じ、見るべき場所が明確となり運転者に視線を促すことができる。例えばＴ字路では、光源１０５を自車両前方の立体物（他の車両）の上方に設置して、前方の左右の部分のみが明るく照らされるようにする。
【００４２】
Ｔ字路のほかに車線変更の場合には、変更する方向の立体物の上方に仮想光源１０５を設定して、変更する側の車線領域が前後ともに照らされるようし、他の領域を暗くする。また影の部分や光源から遠い部分を相対的に暗く表示してもよい。暗くする以外にカラーコントラストや、解像度を下げたり、アニメ絵のように単純化してもよい。また、照らされている領域が立体物（壁）で死角となり見にくいときは、その立体物を透けて見えるように表示してもよい。尚、仮想光源１０５は、１つに限らず複数個設定してもよい。
【００４３】
図９は、合成処理の別の変形例を示す説明図である。図９（ａ）は自車両の状況図であり、図９（ｂ）は表示画像を示している。図９（ｂ）の例では、自車両の進むべき案内方向が分かるように、表示画像の外周部に車道を示す画像１０８と進行方向を案内する画像１０９を表示する。車道画像１０８と案内画像１０９はそれぞれ異なる色で表示しても良い。着色することで進行すべき方向を明確化することができる。
【００４４】
自車両がどの方向に進もうとしているかは、ナビゲーション装置２１からの情報をもとに判断することができ、実際にどの向きにハンドルを回したかは車両情報生成部２０からの情報をもとに判断する。またナビゲーション装置２１からのデータをもとに、図１０に示すように、車道のある方向の画像は奥行きを広げた画像１１０として相対的に大きく見せるように表示してもよい。車道や進行方向を大きく見せることで危険の認識がしやすくなる。尚、画像１１０を広げる際に、車両の斜め方向となる死角領域の画像のみを広げてもよい。
【００４５】
画像の広げ方は、車道のない通常の状態での表示領域をどのカメラのどこの座標から引っ張ってくるかを入力してあるルックアップテーブルと、車道が全方向にある広い状態の表示領域を入力したルックアップテーブルを用意する。そして、車道情報を道の太さなどを考慮して真上からの視点で描写しておき、自車からの相対的な位置関係により車道があるか否かが分かるようにしておく。
【００４６】
また用意した通常状態でのルックアップテーブルの画素ごとに、自車両からの相対位置を入力しておく。入力しておいた相対位置に車道がなければ通常状態でのルックアップテーブルを呼び込み、車道があれば広い状態にしたルックアップテーブルを呼び込むようにする。これにより簡単に車道方向を広げることができる。車道方向を広げる場合は、通常の表示に対して表示の視点位置を高い位置に変更し、より見やすくするとよい。また自車両の案内方向を示す強調画像１１１を表示しても良い。
【００４７】
図１１は、車道の境界が滑らかになるように、車道情報の端をグデーション表示する例を示す説明図である。即ち、車道情報の端はグラデーションを持たせて描写しておき、２つのルックアップテーブルの中間の座標を使用する。車道の境界から離れるほど通常のルックアップテーブルの座標の割合を大きくさせる。車道があるか否かの判定は、ある基準点（前方カメラ１１）を中心に一定の距離間隔で角度ごとに確認する。また用意するルックアップテーブルも角度情報を持たせ、角度情報により広げる領域か否かを判定してもよい。
【００４８】
尚、基準点は車体の中心や、運転席に設定する。またバック時には後方カメラ１２に変更する。また右・左折折には、右ウインカー又は左ウインカーの情報をもとに右カメラ１４又は左カメラ１３などに変更してもよい。また、中間を広くしたルックアップテーブルを用意しておき、境界付近はそれを使うようにしてもよい。
【００４９】
図１２は、図１０の表示画像の生成方法の一例を示す説明図である。図１２（ａ）は角度情報、（ｂ）は車道以外の描写情報、（ｃ）は車道の描写情報であり、（ｄ）は角度情報に車道の有無の確認結果を反映した情報である。これらの情報を基に（ｅ）で示すような描写情報を得ることができ、（ｄ）において色の濃い部分ほど車道の描写情報の割合を大きくする。また（ｄ）において色のない部分は車道以外の描写情報の割合を大きくする。こうして図１０の表示画像を生成することができる。
【００５０】
また、車の境界にグラデーションを持たせず、車道のある角度を検出し、その境界付近は所定の角度分だけ描写の割合を変えて表示し、滑らかになるようにしてもよい。また車道の太さが太いほど車道の描写を奥に配置するようにしてもよい。これにより、より遠くを見たい広い車道を相対的に大きく見せることができる。この場合、広くするルックアップテーブルを複数パターン用意しておく。
【００５１】
また車道が傾斜している場合、例えば上に向かって傾斜のある車道は、表示画像の上限面より上に表示画像を表示してもよい。また、車道方向が下に向かって傾斜している場合は、車道の描写面の曲線を下にずらして表示してもよい。さらに自車両の地面に対する傾きを測定し、その測定結果を反映すれば車道に高配があっても自然に見せることができる。
【００５２】
また信号のある交差点や車線変更する場合のように、見たい死角が限定されている場合は、車両の横の死角はすぐに通り過ぎるので、あまり見る必要がない。したがって、車両の横については複数のカメラ画像を交互に配置する必要がない。そこで、図１３のように横方向の所定の範囲については、右カメラの画像と左カメラの画像をつなぎ目をなくして合成するとよい。図１３では、円１１２で示す部分はつなぎ目がなくなり見やすくなる
図１４は、駐車場などナビゲーション装置２１から車道情報が得られない場合の表示形態を示す説明図である。図１４の例では表示部６０がタッチパネル形式のものである。図１４（ａ）は自車両が駐車場にあるときの合成画像を示している。この表示画像で強調表示させた地点（２点：６１，６２）をタッチパネルで指定する。２点（６１，６２）を指定することにより車道があるものとして決定される。
【００５３】
図１４（ｂ）では、２点（６１，６２）の指定により、仮想の車道が設定され、前方カメラ１１からみて２点（６１，６２）を含む強調表示範囲６３，６４を決定する。これにより、強調表示範囲６３，６４の画像が強調して表示される。また図１４（ｃ）に示すように、強調表示範囲６３，６４は、自車両の移動量によって変化する。
【実施例２】
【００５４】
図１５，図１６は第２の実施形態におけるカメラの設置位置と表示画像の一例を示す説明図である。即ち、第２の実施形態では合成画像をステレオ画像とするものである。
【００５５】
図１５（ａ）はカメラの設置位置を示す平面図であり、（ｂ）は側面図である。前方カメラ１１ａ，１１ｂ及び後方カメラ１２ａ，１２ｂは、垂直方向にずらした位置に設置され、左カメラ１３ａ，１３ｂ及び右カメラ１４ａ，１４ｂは水平方向にずらした位置に設置している。
【００５６】
画像合成部５０における合成処理の仕方は、図１６に示すように、複数のカメラ画像が交互に配置されるが、合成画像の左半分と右半分で配置が異なる。即ち左半分では、前方カメラ画像は左目に上側のカメラ画像を合成し、右目に下側のカメラ画像を合成する。また後方カメラ画像は左目に上側のカメラ画像を合成し、右目に下側のカメラ画像を合成する。また左カメラ画像は左目に左側のカメラ画像を合成し、右目に右側のカメラ画像を合成する。
【００５７】
一方、右半分では、前方カメラ画像は左目に下側のカメラ画像を合成し、右目に上側のカメラ画像を合成する。また後方カメラ画像は左目に下側のカメラ画像を合成し、右目に上側のカメラ画像を合成する。また右カメラ画像は左目に左側のカメラ画像を合成し、右目に右側のカメラ画像を合成する。
【００５８】
したがって、死角領域（斜め領域）の画像をステレオ画像として見ることができ、距離が遠くても障害物を認識しやすくなる。また立体感を出すためにカメラ１１ａと１１ｂの間隔、１２ａと１２ｂの間隔を大きくし、カメラ１３ａと１３ｂの間隔、カメラ１４ａと１４ｂの間隔を大きくとってもよい。またカメラの正面方向の画像を立体視するために、それぞれ２つのカメラにより画像処理をし、近い障害物を近く、遠い障害物を遠くに見えるようにステレオ表示しても良い。また、前方カメラと後方カメラを車体に対して左右に、左カメラと右カメラを車体に対して上下にカメラを追加して設置してもよい。
【００５９】
また、立体視映像が見やすいように、画像の貼り付け面を曲面ではなく平面にしても良い。その場合、地面部と風景部を分けて平面としてもよい。また、自車両付近では地面の高さとし、自車両から離れるにしたがって高くなるような平面としても良い。また、立体視する自車両から斜めの死角領域のみ平面としても良い。
【実施例３】
【００６０】
図１７，図１８は第３の実施形態におけるカメラの設置位置と表示画像の一例を示す説明図である。第３の実施形態では、合成画像をステレオ画像とするとともに、運転者の左右に、車の進行方向に対して平行にディスプレイをそれぞれ設置した例である。
【００６１】
図１７（ａ）はカメラの設置位置を示す平面図であり、（ｂ）は側面図である。例えば、前方カメラ１１ａ及び後方カメラ１２ａはそれぞれ１つずつ設置し、左カメラ１３ａ，１３ｂ及び右カメラ１４ａ，１４ｂは垂直方向にずらした位置に設置している。
【００６２】
図１８は、運転者の左右にそれぞれディスプレイを表示したときの各ディスプレイでの表示画像の一例を示す説明図である。即ち左側のディスプレイでは、前方カメラ画像に対して、左カメラ画像は左目に下側のカメラ画像を合成し、右目に上側のカメラ画像を合成する。また後方カメラ画像に対して、左カメラ画像は左目に上側のカメラ画像を合成し、右目に下側のカメラ画像を合成する。
【００６３】
一方、右側のディスプレイでは、前方カメラ画像に対して、右カメラ画像は左目に上側のカメラ画像を合成し、右目に下側のカメラ画像を合成する。また後方カメラ画像に対して、右カメラ画像は左目に下側のカメラ画像を合成し、右目に上側のカメラ画像を合成する。したがって、運転者は右左折時に曲がる方向のディスプレイを見ることで障害物の有無を判別することができる。尚、ディスプレイを分けて表示する場合は、それぞれのディスプレイに一部の画像が重複するように表示させるとよい。
【００６４】
またディスプレイを回転できるようにした場合は、ディスプレイを見る角度が変わるため、俯瞰画像の視点の位置や向きを変更して表示するとよい。図１９（ａ）は、ディスプレイ面を上向きにした場合を示している。この場合、仮想視点は真上に設定し、自車両を真上から見た俯瞰画像２００を背景画像１００に合成して表示する。実際の視線と表示の視線が一致するため運転しやすくなる。
【００６５】
図１９（ｂ）は、ディスプレイを傾けた場合を示し、傾き角に応じて仮想視点の角度も切り替え、斜め下向きに見た俯瞰画像２００を表示する。図１９（ｃ）は、ディスプレイを垂直方向にし、正面から観察するようにしたものである。この場合の仮想視点は真横の方向からみた俯瞰画像２００を表示する。ディスプレイを普通のサイドミラーとして見る場合に適している。
【００６６】
図１９のように、ディスプレイの傾きにより俯瞰画像の視点の位置や向きを変更して表示することにより、どこの画像をどの視点で見ているか分かりやすくなる。また、ディスプレイの回転角度と俯瞰画像の視点の回転角度の倍率は、図１９（ｂ）のように１：１ではなく変えてもよい。そうすることによりディスプレイの少しの回転で俯瞰画像がより多く回転できるため、ディスプレイの回転に制限があってもより広い視点で見ることができる。
【００６７】
また首を傾けた場合、左右の目の高さがずれるが、それに連動して表示画像の上方向を回転させて表示してもよい。この場合は運転者の頭部（顔）の動きを検出するセンサを設け、頭部の傾き角を判別し表示画像を回転させればよい。
【００６８】
また頭の位置をずらした場合、ディスプレイと運転者との視点位置の関係が変わるため、それに連動して映像の視点位置を変更しても良い。その場合、頭の位置が標準位置からずれたときのみ表示させても良い。そうすることにより例えばＴ字路などで、頭を前方にずらすことにより、そのときだけ前方の映像が見やすい状態で表示させることができる。また直感的に死角を見ているとの印象を持たせることができるようになる。
【００６９】
一方、車載ディスプレイではディスクの取り出しなどでディスプレイを傾けることがあるが、ディスプレイを傾け過ぎると見づらくなるので、図２０のように車内に鏡を設置し、ディスプレイの画像を鏡で反射させて見るようにしてもよい。鏡の位置は、運転者がルームミラーを見る方向に近い位置に設置する。ルームミラーを見ながら俯瞰画像も同時に見ることができ、運転しやすくなる。また鏡に映るため上下を反転させて表示させるとよい。
【００７０】
またディスプレイは、サンバイザーの位置に設置してもよい。サンバイザーの位置は運転者の目線に対して上にあるため、画像の視点が上からの俯瞰画像を表示する場合は、画像を上下逆としたミラー画像としてもよい。またサンバイザーの向きに応じて、俯瞰画像の視点の向きや位置も変更できるようにしておいてもよい。
【００７１】
またディスプレイは、通常横長であるため、表示画像も横長にしたい。したがって、あまり必要としない自車両の真横の画像は、縦に圧縮して表示するとよい。これにより表示画像も横長にすることができる。
【００７２】
図２１は、複数の視差表示が横方向や上下左右に表示できる３Ｄディスプレイを用いた例を示す説明図である。例えば上下に３分割、左右に３分割のディスプレイでは、図２１（ａ）のように画素ごとに中心を含めた９方向の映像がある。図２１（ｂ）はディスプレイの真上から見た状態を示し、（ｃ）はディスプレイの正面からみた状態を示す。
【００７３】
図２１（ｃ）のように、それぞれの画素から見て、運転者の２つの目の中心を通り２つの目を結ぶ直線に対して垂直な線を基準線としたとき、それぞれの画素のそれぞれの表示方向が基準線に対して左右のどちら側になるかを判定して、左右の画像を合成表示させる。これにより、車の振動などでの少しの視点移動があっても、左右の目に入る画像がずれないため見やすくなる。
【００７４】
以上述べたように本発明の実施形態では、複数のカメラ画像を合成して表示する際に、複数のカメラ画像を交互に配置することにより、車両近くに壁などの障害物がある場合にも、運転者から見て障害物の裏にある死角画像を見ることができる。また死角画像を見るために表示を切り替えなくて済む。また従来の合成処理では消えてしまうような障害物の画像も消失することなく表示される。場合によっては障害物が２重に見えるが、注意喚起することができる。
【００７５】
また本発明の実施形態は、以上説明した構成に限定されるものではなく、特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。
【符号の説明】
【００７６】
１０…撮像部
１１，１２，１３，１４…カメラ
２０…車両情報生成部
２１…ナビゲーション装置
３０…表示パターン記憶部
３１…画像記憶部
３２…マッピングテーブル
４０…表示パターン決定部
５０…画像合成部
６０…表示部
１００…背景画像
２００…車両の俯瞰画像
【技術分野】
【０００１】
本発明は、車両に複数のカメラを搭載し、複数のカメラで撮影された画像を合成して表示する車両用画像表示装置に関する。
【背景技術】
【０００２】
従来、車両に複数のカメラを搭載し車両の周囲の映像を撮影し、撮影した画像を車両に設けたディスプレイ等に表示するようにした車両用画像表示装置がある。このような車両用画像表示装置では、表示部に表示された画像を確認することにより、車両の周囲にある障害物を把握することができ、車両が障害物に衝突或いは追突するのを避けることができる。
【０００３】
また最近では、複数のカメラで撮影した画像を合成して表示する際に、自車両のトップビュー画像（俯瞰画像）を生成し、このトップビュー画像を合成画像に表示するようにしたものもある。自車両のトップビュー画像を表示することで周囲の状況を把握しやすくなり、運転者の運転を支援することができる。尚、トップビュー画像は、自車両の上方に設定した仮想視点から見た画像であり、仮想視点の位置を変えることで合成画像の見え方を変えることができる。
【０００４】
特許文献１には、複数のカメラで撮影した画像を入力し、仮想視点から見た合成画像を生成するとともに、自車両を示すイラスト画像を表示するようにした画像処理装置が開示されている。
【０００５】
ところで、複数のカメラを搭載した従来の車両用画像表示装置では、周囲の映像を撮影する際に死角が発生することがある。特に自車両の近くに壁や他の車両などの障害物がある場合には、運転者から見てその裏の死角を見ることができない。
【０００６】
特許文献２には、複数の撮影装置によって撮影したそれぞれの画像を鳥瞰図画像に変換し、各鳥瞰図画像を合成して合成鳥瞰図画像を生成する際に、２つの鳥瞰図画像が重なり合う部分に対して２つの領域が交互に配置されるようにした運転支援シテスムが開示されている。しかしながら、死角を見たいカメラとは別のカメラの映像が映ることにもなり、死角の画像が見づらくなる。また死角から近づいてくる障害物が途切れて見えることがある。
【０００７】
特許文献３には、複数の鳥瞰図画像を合成する合成手段を有し、複数の鳥瞰図画像が重なり合う共通領域の画像について、立体物をより捉えているカメラの画像を鳥瞰図画像として採用するようにした画像処理装置が開示されている。しかしながら、障害物が複数ある場合に対応できなくなり、つなぎ目が頻繁に変更されるため見づらいという不具合がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３３００３３４号公報
【特許文献２】特開２００７−１０９１６６号公報
【特許文献３】特開２００８−４８３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の車両用画像表示装置では、自車両の近くに壁や他の車両などの障害物がある場合には、運転者から見てその裏の死角を見ることができないため、更なる改善が要求されている。
【００１０】
本発明はこのような事情に鑑み、死角の発生を低減した車両用画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
請求項１記載の実施形態に係る車両用画像表示装置は、車両の複数個所に配置された複数のカメラを含み、前記車両の周囲を撮影する撮像部と、前記車両の俯瞰画像を生成する画像生成部と、前記複数のカメラで撮影した複数の画像を放射状に区分して交互に配置して背景画像を生成し、前記背景画像と前記俯瞰画像とを合成する画像合成部と、前記画像合成部で合成された画像を表示可能な表示部と、を具備して成ることを特徴とする。
【発明の効果】
【００１２】
本発明の実施形態に係る車両用画像表示装置によれば、自車両の近くに壁や他の車両などの障害物がある場合でも、運転者から見て死角となる位置の画像を表示することができ、死角を低減することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る車両用画像表示装置の構成を示すブロック図。
【図２】車両への複数のカメラの配置例を示す平面図。
【図３】画像合成部でのカメラ画像の合成処理を示す説明図。
【図４】複数のカメラでそれぞれ撮影した画像の一例を示す説明図。
【図５】複数のカメラで撮影した画像の合成処理の一例を示す説明図。
【図６】画像合成部でのカメラ画像の他の合成処理を示す説明図。
【図７】画像合成部でのカメラ画像のさらに他の合成処理を示す説明図。
【図８】仮想光源を設定して合成処理する例を示す説明図。
【図９】車両の進行方向を案内する画像を付加した合成画像の一例を示す説明図。
【図１０】車両の進行方向を強調した合成画像の一例を示す説明図。
【図１１】車道の描写方法の一例を示す説明図。
【図１２】図１０の表示画像の生成方法の一例を示す説明図。
【図１３】画像合成部でのカメラ画像の別の合成処理を示す説明図。
【図１４】ナビゲーション装置から車道情報が得られない場合の表示形態を示す説明図。
【図１５】第２の実施形態におけるステレオ視のためのカメラの配置例を示す平面図と側面図。
【図１６】ステレオ視のための合成処理を示す説明図。
【図１７】第３の実施形態におけるステレオ視のためのカメラの配置例を示す平面図と側面図。
【図１８】ステレオ視のための合成処理（２ディスプレイ）を示す説明図。
【図１９】ディスプレイの角度調整に伴う俯瞰画像の表示例を示す説明図。
【図２０】鏡で反射してディスプレイの画像を見る場合の説明図。
【図２１】３Ｄ表示の一例を示す説明図。
【発明を実施するための形態】
【００１４】
以下、この発明の一実施形態について図面を参照して説明する。
【実施例１】
【００１５】
図１は、本発明の一実施形態に係る車両用画像表示装置の全体構成を示すブロック図である。図１の車両用画像表示装置は、撮像部１０、車両情報生成部２０、表示パターン記憶部３０、表示パターン決定部４０、画像合成部５０及び表示部６０を備えている。
【００１６】
撮像部１０は、自車両の周囲の映像を撮影する４つのカメラ１１，１２，１３，１４を有している。４つのカメラ１１，１２，１３，１４は、車両の前方、後方、左側、右側をそれぞれ撮影するものであり、車両の同じ高さ位置に取付けるのが望ましい。また各カメラ１１〜１４は、全周囲（３６０度）の視界を撮影するため、例えば魚眼カメラを使用する。
【００１７】
車両情報生成部２０は、ナビゲーション装置２１を含む。ナビゲーション装置２１は、自車両の現在位置を検出するＧＰＳ受信部や、地図データを格納した記録媒体、目的地までの経路を探索する探索部等を有する。また自車両の車速や傾きを検出する車速度センサやジャイロセンサ等を有し、これらＧＰＳ受信部、記録媒体、探索部、車速センサやジャイロセンサ等がＣＡＮ（Controller Area Network）等の車内ＬＡＮを介して接続されている。したがって、車両情報生成部２０からは、自車両の現在位置や進行方向（前進、バック、右・左折）等の情報を得ることができる。
【００１８】
表示パターン記憶部３０は、画像記憶部３１とマッピングテーブル３２を含む。画像記憶部３１は、自車両を真上からみたトップビュー画像や斜め後方からみた画像などの俯瞰画像を記憶するものである。即ち、カメラ１１〜１４は自車両の周囲をそれぞれ撮影し、撮影した画像に基づいて自車両の背景画像を生成するが、背景画像に表示されるのは実景のみである。したがって、背景画像の所定の位置に俯瞰画像を合成するため、予め自車両を真上から撮影した画像や斜め後方からみた画像を俯瞰画像として画像記憶部３１に記憶している。或いは、自車両を示すイラスト画像を生成し、このイラスト画像を俯瞰画像として記憶している。撮影した画像やイラスト画像は１つに限らず、複数種記憶しておき、任意のものを選択できるようにしている。
【００１９】
マッピングテーブル３２は、カメラ１１〜１４で撮影した画像の画素データと、自車両の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像の画素が背景画像のどの画素に対応するかを示す変換情報を記憶している。
【００２０】
表示パターン決定部４０は、画像記憶部３１に記憶した画像データから合成画像の生成に必要な俯瞰画像を決定する。尚、画像記憶部３１と表示パターン決定部４０は画像生成部を構成する。画像合成部５０は、カメラ１１〜１４で撮影した車両の前方画像と、後方画像と、左方画像と、右方画像とをマッピングテーブル３２を参照して合成処理し、背景画像を生成する。また、この背景画像に表示パターン決定部４０で決定した俯瞰画像を合成する。マッピングテーブル３２を参照することで、仮想視点の位置が変わると視点に合わせて表示された背景画像が変化する。マッピングテーブルを用いた背景画像の生成方法の詳細は、例えば特許文献１に記載されている。
【００２１】
また画像合成部５０は、カメラ１１〜１４の撮影画像（カメラ画像）を選択して合成処理を行う。具体的には後述するが、複数のカメラ画像を交互に配置する。また車両情報生成部２０から車両の位置や進行方向の情報を得て、車両の進行方向（右折・左折）を判断し、合成画像の色などを制御する。表示部６０は、背景画像と自車両の俯瞰画像との合成画像を表示するものであり、液晶ディスプレイ等で構成される。
【００２２】
次にカメラ１１〜１４の配置の一例を、図２を参照して説明する。本実施形態では、４つのカメラ１１〜１４を配置している。図２は、車両１を真上から見た図であり、例えば車両１の前方部にカメラ１１を配置し、後方部にカメラ１２を配置する。また車両１の左側のサイドミラーにカメラ１３を配置し、右側のサイドミラーにカメラ１４を配置する。
【００２３】
こうして各カメラ１１〜１４は、車両１の４辺に配置される。各カメラ１１〜１４は、車両１の全周囲を撮影するため魚眼カメラにすると良い。尚、以下の説明では、カメラ１１を前方カメラ、カメラ１２を後方カメラ、カメラ１３を左カメラ、カメラ１４を右カメラと呼ぶ。またカメラ１１〜１４を備えた車両１を自車両１と呼ぶこともある。
【００２４】
図３は、画像合成部５０における複数のカメラ画像の合成処理の仕方を示す説明図である。本実施形態では、カメラ１１〜１４で撮影した前方画像、後方画像、左側方画像及び右側方画像を合成処理して背景画像１００を生成する。また、背景画像１００に表示パターン決定部４０で決定した自車両を示す俯瞰画像２００を合成する。
【００２５】
また画像合成部５０は、図３に示すように、複数のカメラ画像が交互に配置されるように合成する。例えば、自車両の前方の中心部には前方カメラの画像が表示され、自車両の後方の中心部には後方カメラの画像が表示される。また自車両の左側の中心部には左カメラの画像が表示され、自車両の右側の中心部には右カメラの画像が表示される。
【００２６】
また前方カメラの画像の左側の視野に左カメラの画像が入り込み、前方カメラの画像の右側の視野に右カメラの画像が入り込むように合成する。同様に、後方カメラの画像の左側の視野に左カメラの画像が入り込み、後方カメラの画像の右側の視野に右カメラの画像が入り込むように合成する。
【００２７】
したがって、車両近くに壁などの障害物があった場合に、運転者から見て死角となる位置には別のカメラ画像を配置するため、運転者から見てその裏の死角画像を表示することができる。また、障害物があった場合に、運転者からは死角となるがカメラでは見ることができる位置にカメラ画像がすべて表示されることになるので、死角画像を見るために表示を切り替える必要がない。
【００２８】
図４（ａ）は、自車両１の周辺に他の車両２や壁３があり、複数の立体物４（例えば人）がある場合を想定した状況図である。このように状況で各カメラ１１〜１４が撮影した画像は、図４（ｂ）〜（ｅ）のようになる。即ち、図４（ｂ）は前方カメラ１１の画像であり、（ｃ）は後方カメラ１２の画像であり、（ｄ）は左カメラ１３の画像であり、（ｅ）は右カメラ１４の画像である。
【００２９】
これら（ｂ）〜（ｅ）の画像を単純に合成処理すると、例えば図５（ａ）のような背景画像１００と自車両を示す俯瞰画像２００が得られる。しかしながら、他の車両２や壁３に隠れている人が見えなかったり、自車両１の後方部にいる人の画像が消えてしまうことがある。
【００３０】
本実施形態では、複数のカメラ画像が自車両を中心にして放射線状に、かつ交互に配置されるように合成されるため、例えば図５（ｂ）に示すような合成画像が得られる。したがって、水平線方向の俯瞰画像に関して、自車両近くに他の車両２や壁３などの障害物がある場合にも、それら障害物に隠れている人４が表示されるため、運転者からの死角を見ることができる。
【００３１】
一方、地面方向に対しては、通常の合成処理では、つなぎ目の部分の立体物４（人など）が消失することがあるが、実施形態での合成処理では消失せずに表示される。また立体物が二重に見えることもあるが、二重に見えることで注意喚起することができる。つなぎ目が変更されないので運転者は安心して映像を見ることができる。特に自車両の近くにいる人（障害物）を容易に把握することができる。尚、図では表示画像を円形で示しているが、四角形等で表示しても良い。
【００３２】
図６は合成処理の変形例を示す説明図である。特許文献１のように同一面上に複数のカメラ画像を合成した場合、死角の画像もそれ以外の画像も同じ大きさに表示されるため、見たい死角の画像が小さくなってしまう。また死角の方向に関して言えば、Ｔ字路などでは遠くまで見たいが、その画像も小さくなってしまう。
【００３３】
図６（ａ）は、複数のカメラ画像が交互に配置された合成画像を模式的に示しているが、どこを注視すれば分かりづらくなる。通常、車両の走行中は、前方は運転者から見えているし、後方や側面の画像については、前進中はそれほど注視する必要はない。そこで、図６（ｂ）のように前後と左右の中間にある斜めの領域（死角領域）の画像を奥に伸びるようにし、死角の画像を大きく見せるようにする。
【００３４】
図４（ａ）の状況図に当てはめると、図６（ａ）のように配置した画像は、図６（ｃ）のように表示され、図６（ｂ）のように配置した画像は、図６（ｄ）のように表示される。したがって、死角の画像１０１を的確に運転者に提示することができる。また、複数の画像のつなぎ目がはっきりする。
【００３５】
また図６（ｄ）に示すように、自車両に対して、前方、後方及び左側、右側の画像１０２を、少し手前側に折り曲げて展開先の高さを低く表示し、斜めの死角領域の画像１０１の奥方向を見やすくしても良い。
【００３６】
例えば、図６（ｃ）の表示形態では自車両の右側にある立体物は、それほど危険ではないのに目立ち過ぎているが、図６（ｄ）の表示形態では、自車両の右側（及び左側）の画像１０２を折り曲げることで、左・右の画像が目立つのを抑え、死角領域１０１の画像に注視させることができる。こうして、より一層死角を見ていると思わせることができる。またカメラの正面となる画像１０２の横幅を狭くし、斜め領域の死角画像をより見やすくしてもよい。また、カメラの正面となる画像１０２の裏に、斜め領域の死角画像１０１を広げて配置し、自車両の画像も映りこむように合成しても良い。また他の複数のカメラ画像に自車両の画像も映り込むように合成してもよい。これにより、自車両と周辺映像との境目が明確になる。
【００３７】
図７は、合成処理の他の変形例を示す説明図である。図６（ｄ）のように、死角領域（斜めの領域）の画像１０１を相対的に大きくすると、表示画像の配置関係が見づらくなることが懸念される。そこで図７に示すように、車両の前方、後方、左右の画像１０２（死角領域に対して相対的に小さい画像）の裏側に壁画像を張り付け、立体物１０３として表示させる。これにより、斜め領域１０１は障害物（他の車両や壁）の裏側であるという印象を持たせることができる。また、立体物１０３をαブレンドにより透明にしておき、斜め領域１０１が立体物１０３の裏で見えなくなることを防ぐようにしても良い。
【００３８】
また、斜め領域の画像１０１の外周部に平面画像１０４を表示し、総合的に円形の画像表示になるようにしても良い。尚、図７では円形の画像を例示しているが、四角形や１２角形などの形で表示してもよい。
【００３９】
また図７の合成画像の内、どの画像がどのカメラで撮影した画像であるかを把握できるようにするため、各画像の円周部に着色を施してもよい。つまり、壁画像１０３と平面画像１０４にそれぞれカメラ毎に異なる色をつけて表示する。これにより、画像がどのカメラ画像であるかを認識させやすくなる。また、俯瞰画像２００に各カメラを示すマークなどを、カメラ毎に異なる色で表示させても良い。尚、円周部の着色をαブレンドにより外周から徐々に薄くなるように表示させてもよい。
【００４０】
図８は、合成処理のさらに他の変形例を示す説明図である。例えば、Ｔ字路などでは、運転者が見るべき場所が限定される。そこで図８に示すように仮想の光源１０５を適正な場所に設定して、見るべき死角領域を照らして表示し、他の領域は影で暗くする。或いは光源１０５からの距離が遠い領域を暗くして表示してもよい。
【００４１】
仮想光源１０５の設定により、光源によって照らされる領域１０６と影になる領域１０７が生じ、見るべき場所が明確となり運転者に視線を促すことができる。例えばＴ字路では、光源１０５を自車両前方の立体物（他の車両）の上方に設置して、前方の左右の部分のみが明るく照らされるようにする。
【００４２】
Ｔ字路のほかに車線変更の場合には、変更する方向の立体物の上方に仮想光源１０５を設定して、変更する側の車線領域が前後ともに照らされるようし、他の領域を暗くする。また影の部分や光源から遠い部分を相対的に暗く表示してもよい。暗くする以外にカラーコントラストや、解像度を下げたり、アニメ絵のように単純化してもよい。また、照らされている領域が立体物（壁）で死角となり見にくいときは、その立体物を透けて見えるように表示してもよい。尚、仮想光源１０５は、１つに限らず複数個設定してもよい。
【００４３】
図９は、合成処理の別の変形例を示す説明図である。図９（ａ）は自車両の状況図であり、図９（ｂ）は表示画像を示している。図９（ｂ）の例では、自車両の進むべき案内方向が分かるように、表示画像の外周部に車道を示す画像１０８と進行方向を案内する画像１０９を表示する。車道画像１０８と案内画像１０９はそれぞれ異なる色で表示しても良い。着色することで進行すべき方向を明確化することができる。
【００４４】
自車両がどの方向に進もうとしているかは、ナビゲーション装置２１からの情報をもとに判断することができ、実際にどの向きにハンドルを回したかは車両情報生成部２０からの情報をもとに判断する。またナビゲーション装置２１からのデータをもとに、図１０に示すように、車道のある方向の画像は奥行きを広げた画像１１０として相対的に大きく見せるように表示してもよい。車道や進行方向を大きく見せることで危険の認識がしやすくなる。尚、画像１１０を広げる際に、車両の斜め方向となる死角領域の画像のみを広げてもよい。
【００４５】
画像の広げ方は、車道のない通常の状態での表示領域をどのカメラのどこの座標から引っ張ってくるかを入力してあるルックアップテーブルと、車道が全方向にある広い状態の表示領域を入力したルックアップテーブルを用意する。そして、車道情報を道の太さなどを考慮して真上からの視点で描写しておき、自車からの相対的な位置関係により車道があるか否かが分かるようにしておく。
【００４６】
また用意した通常状態でのルックアップテーブルの画素ごとに、自車両からの相対位置を入力しておく。入力しておいた相対位置に車道がなければ通常状態でのルックアップテーブルを呼び込み、車道があれば広い状態にしたルックアップテーブルを呼び込むようにする。これにより簡単に車道方向を広げることができる。車道方向を広げる場合は、通常の表示に対して表示の視点位置を高い位置に変更し、より見やすくするとよい。また自車両の案内方向を示す強調画像１１１を表示しても良い。
【００４７】
図１１は、車道の境界が滑らかになるように、車道情報の端をグデーション表示する例を示す説明図である。即ち、車道情報の端はグラデーションを持たせて描写しておき、２つのルックアップテーブルの中間の座標を使用する。車道の境界から離れるほど通常のルックアップテーブルの座標の割合を大きくさせる。車道があるか否かの判定は、ある基準点（前方カメラ１１）を中心に一定の距離間隔で角度ごとに確認する。また用意するルックアップテーブルも角度情報を持たせ、角度情報により広げる領域か否かを判定してもよい。
【００４８】
尚、基準点は車体の中心や、運転席に設定する。またバック時には後方カメラ１２に変更する。また右・左折折には、右ウインカー又は左ウインカーの情報をもとに右カメラ１４又は左カメラ１３などに変更してもよい。また、中間を広くしたルックアップテーブルを用意しておき、境界付近はそれを使うようにしてもよい。
【００４９】
図１２は、図１０の表示画像の生成方法の一例を示す説明図である。図１２（ａ）は角度情報、（ｂ）は車道以外の描写情報、（ｃ）は車道の描写情報であり、（ｄ）は角度情報に車道の有無の確認結果を反映した情報である。これらの情報を基に（ｅ）で示すような描写情報を得ることができ、（ｄ）において色の濃い部分ほど車道の描写情報の割合を大きくする。また（ｄ）において色のない部分は車道以外の描写情報の割合を大きくする。こうして図１０の表示画像を生成することができる。
【００５０】
また、車の境界にグラデーションを持たせず、車道のある角度を検出し、その境界付近は所定の角度分だけ描写の割合を変えて表示し、滑らかになるようにしてもよい。また車道の太さが太いほど車道の描写を奥に配置するようにしてもよい。これにより、より遠くを見たい広い車道を相対的に大きく見せることができる。この場合、広くするルックアップテーブルを複数パターン用意しておく。
【００５１】
また車道が傾斜している場合、例えば上に向かって傾斜のある車道は、表示画像の上限面より上に表示画像を表示してもよい。また、車道方向が下に向かって傾斜している場合は、車道の描写面の曲線を下にずらして表示してもよい。さらに自車両の地面に対する傾きを測定し、その測定結果を反映すれば車道に高配があっても自然に見せることができる。
【００５２】
また信号のある交差点や車線変更する場合のように、見たい死角が限定されている場合は、車両の横の死角はすぐに通り過ぎるので、あまり見る必要がない。したがって、車両の横については複数のカメラ画像を交互に配置する必要がない。そこで、図１３のように横方向の所定の範囲については、右カメラの画像と左カメラの画像をつなぎ目をなくして合成するとよい。図１３では、円１１２で示す部分はつなぎ目がなくなり見やすくなる
図１４は、駐車場などナビゲーション装置２１から車道情報が得られない場合の表示形態を示す説明図である。図１４の例では表示部６０がタッチパネル形式のものである。図１４（ａ）は自車両が駐車場にあるときの合成画像を示している。この表示画像で強調表示させた地点（２点：６１，６２）をタッチパネルで指定する。２点（６１，６２）を指定することにより車道があるものとして決定される。
【００５３】
図１４（ｂ）では、２点（６１，６２）の指定により、仮想の車道が設定され、前方カメラ１１からみて２点（６１，６２）を含む強調表示範囲６３，６４を決定する。これにより、強調表示範囲６３，６４の画像が強調して表示される。また図１４（ｃ）に示すように、強調表示範囲６３，６４は、自車両の移動量によって変化する。
【実施例２】
【００５４】
図１５，図１６は第２の実施形態におけるカメラの設置位置と表示画像の一例を示す説明図である。即ち、第２の実施形態では合成画像をステレオ画像とするものである。
【００５５】
図１５（ａ）はカメラの設置位置を示す平面図であり、（ｂ）は側面図である。前方カメラ１１ａ，１１ｂ及び後方カメラ１２ａ，１２ｂは、垂直方向にずらした位置に設置され、左カメラ１３ａ，１３ｂ及び右カメラ１４ａ，１４ｂは水平方向にずらした位置に設置している。
【００５６】
画像合成部５０における合成処理の仕方は、図１６に示すように、複数のカメラ画像が交互に配置されるが、合成画像の左半分と右半分で配置が異なる。即ち左半分では、前方カメラ画像は左目に上側のカメラ画像を合成し、右目に下側のカメラ画像を合成する。また後方カメラ画像は左目に上側のカメラ画像を合成し、右目に下側のカメラ画像を合成する。また左カメラ画像は左目に左側のカメラ画像を合成し、右目に右側のカメラ画像を合成する。
【００５７】
一方、右半分では、前方カメラ画像は左目に下側のカメラ画像を合成し、右目に上側のカメラ画像を合成する。また後方カメラ画像は左目に下側のカメラ画像を合成し、右目に上側のカメラ画像を合成する。また右カメラ画像は左目に左側のカメラ画像を合成し、右目に右側のカメラ画像を合成する。
【００５８】
したがって、死角領域（斜め領域）の画像をステレオ画像として見ることができ、距離が遠くても障害物を認識しやすくなる。また立体感を出すためにカメラ１１ａと１１ｂの間隔、１２ａと１２ｂの間隔を大きくし、カメラ１３ａと１３ｂの間隔、カメラ１４ａと１４ｂの間隔を大きくとってもよい。またカメラの正面方向の画像を立体視するために、それぞれ２つのカメラにより画像処理をし、近い障害物を近く、遠い障害物を遠くに見えるようにステレオ表示しても良い。また、前方カメラと後方カメラを車体に対して左右に、左カメラと右カメラを車体に対して上下にカメラを追加して設置してもよい。
【００５９】
また、立体視映像が見やすいように、画像の貼り付け面を曲面ではなく平面にしても良い。その場合、地面部と風景部を分けて平面としてもよい。また、自車両付近では地面の高さとし、自車両から離れるにしたがって高くなるような平面としても良い。また、立体視する自車両から斜めの死角領域のみ平面としても良い。
【実施例３】
【００６０】
図１７，図１８は第３の実施形態におけるカメラの設置位置と表示画像の一例を示す説明図である。第３の実施形態では、合成画像をステレオ画像とするとともに、運転者の左右に、車の進行方向に対して平行にディスプレイをそれぞれ設置した例である。
【００６１】
図１７（ａ）はカメラの設置位置を示す平面図であり、（ｂ）は側面図である。例えば、前方カメラ１１ａ及び後方カメラ１２ａはそれぞれ１つずつ設置し、左カメラ１３ａ，１３ｂ及び右カメラ１４ａ，１４ｂは垂直方向にずらした位置に設置している。
【００６２】
図１８は、運転者の左右にそれぞれディスプレイを表示したときの各ディスプレイでの表示画像の一例を示す説明図である。即ち左側のディスプレイでは、前方カメラ画像に対して、左カメラ画像は左目に下側のカメラ画像を合成し、右目に上側のカメラ画像を合成する。また後方カメラ画像に対して、左カメラ画像は左目に上側のカメラ画像を合成し、右目に下側のカメラ画像を合成する。
【００６３】
一方、右側のディスプレイでは、前方カメラ画像に対して、右カメラ画像は左目に上側のカメラ画像を合成し、右目に下側のカメラ画像を合成する。また後方カメラ画像に対して、右カメラ画像は左目に下側のカメラ画像を合成し、右目に上側のカメラ画像を合成する。したがって、運転者は右左折時に曲がる方向のディスプレイを見ることで障害物の有無を判別することができる。尚、ディスプレイを分けて表示する場合は、それぞれのディスプレイに一部の画像が重複するように表示させるとよい。
【００６４】
またディスプレイを回転できるようにした場合は、ディスプレイを見る角度が変わるため、俯瞰画像の視点の位置や向きを変更して表示するとよい。図１９（ａ）は、ディスプレイ面を上向きにした場合を示している。この場合、仮想視点は真上に設定し、自車両を真上から見た俯瞰画像２００を背景画像１００に合成して表示する。実際の視線と表示の視線が一致するため運転しやすくなる。
【００６５】
図１９（ｂ）は、ディスプレイを傾けた場合を示し、傾き角に応じて仮想視点の角度も切り替え、斜め下向きに見た俯瞰画像２００を表示する。図１９（ｃ）は、ディスプレイを垂直方向にし、正面から観察するようにしたものである。この場合の仮想視点は真横の方向からみた俯瞰画像２００を表示する。ディスプレイを普通のサイドミラーとして見る場合に適している。
【００６６】
図１９のように、ディスプレイの傾きにより俯瞰画像の視点の位置や向きを変更して表示することにより、どこの画像をどの視点で見ているか分かりやすくなる。また、ディスプレイの回転角度と俯瞰画像の視点の回転角度の倍率は、図１９（ｂ）のように１：１ではなく変えてもよい。そうすることによりディスプレイの少しの回転で俯瞰画像がより多く回転できるため、ディスプレイの回転に制限があってもより広い視点で見ることができる。
【００６７】
また首を傾けた場合、左右の目の高さがずれるが、それに連動して表示画像の上方向を回転させて表示してもよい。この場合は運転者の頭部（顔）の動きを検出するセンサを設け、頭部の傾き角を判別し表示画像を回転させればよい。
【００６８】
また頭の位置をずらした場合、ディスプレイと運転者との視点位置の関係が変わるため、それに連動して映像の視点位置を変更しても良い。その場合、頭の位置が標準位置からずれたときのみ表示させても良い。そうすることにより例えばＴ字路などで、頭を前方にずらすことにより、そのときだけ前方の映像が見やすい状態で表示させることができる。また直感的に死角を見ているとの印象を持たせることができるようになる。
【００６９】
一方、車載ディスプレイではディスクの取り出しなどでディスプレイを傾けることがあるが、ディスプレイを傾け過ぎると見づらくなるので、図２０のように車内に鏡を設置し、ディスプレイの画像を鏡で反射させて見るようにしてもよい。鏡の位置は、運転者がルームミラーを見る方向に近い位置に設置する。ルームミラーを見ながら俯瞰画像も同時に見ることができ、運転しやすくなる。また鏡に映るため上下を反転させて表示させるとよい。
【００７０】
またディスプレイは、サンバイザーの位置に設置してもよい。サンバイザーの位置は運転者の目線に対して上にあるため、画像の視点が上からの俯瞰画像を表示する場合は、画像を上下逆としたミラー画像としてもよい。またサンバイザーの向きに応じて、俯瞰画像の視点の向きや位置も変更できるようにしておいてもよい。
【００７１】
またディスプレイは、通常横長であるため、表示画像も横長にしたい。したがって、あまり必要としない自車両の真横の画像は、縦に圧縮して表示するとよい。これにより表示画像も横長にすることができる。
【００７２】
図２１は、複数の視差表示が横方向や上下左右に表示できる３Ｄディスプレイを用いた例を示す説明図である。例えば上下に３分割、左右に３分割のディスプレイでは、図２１（ａ）のように画素ごとに中心を含めた９方向の映像がある。図２１（ｂ）はディスプレイの真上から見た状態を示し、（ｃ）はディスプレイの正面からみた状態を示す。
【００７３】
図２１（ｃ）のように、それぞれの画素から見て、運転者の２つの目の中心を通り２つの目を結ぶ直線に対して垂直な線を基準線としたとき、それぞれの画素のそれぞれの表示方向が基準線に対して左右のどちら側になるかを判定して、左右の画像を合成表示させる。これにより、車の振動などでの少しの視点移動があっても、左右の目に入る画像がずれないため見やすくなる。
【００７４】
以上述べたように本発明の実施形態では、複数のカメラ画像を合成して表示する際に、複数のカメラ画像を交互に配置することにより、車両近くに壁などの障害物がある場合にも、運転者から見て障害物の裏にある死角画像を見ることができる。また死角画像を見るために表示を切り替えなくて済む。また従来の合成処理では消えてしまうような障害物の画像も消失することなく表示される。場合によっては障害物が２重に見えるが、注意喚起することができる。
【００７５】
また本発明の実施形態は、以上説明した構成に限定されるものではなく、特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。
【符号の説明】
【００７６】
１０…撮像部
１１，１２，１３，１４…カメラ
２０…車両情報生成部
２１…ナビゲーション装置
３０…表示パターン記憶部
３１…画像記憶部
３２…マッピングテーブル
４０…表示パターン決定部
５０…画像合成部
６０…表示部
１００…背景画像
２００…車両の俯瞰画像
【特許請求の範囲】
【請求項１】
車両の複数個所に配置された複数のカメラを含み、前記車両の周囲を撮影する撮像部と、
前記車両の俯瞰画像を生成する画像生成部と、
前記複数のカメラで撮影した複数の画像を放射状に区分して交互に配置して背景画像を生成し、前記背景画像と前記俯瞰画像とを合成する画像合成部と、
前記画像合成部で合成された画像を表示可能な表示部と、
を具備して成る車両用画像表示装置。
【請求項２】
前記撮影部は、前記車両の前方、後方及び左側、右側方向の所定範囲の画像を夫々撮影する複数のカメラを含み、
前記画像合成部は、前方カメラの画像に左カメラの画像及び右カメラの画像がそれぞれ対応する視野に入り込み、後方カメラの画像に左カメラの画像及び右カメラの画像がそれぞれ対応する視野に入り込むように合成することを特徴とする請求項１記載の車両用画像表示装置。
【請求項３】
前記画像合成部は、前記前方カメラの画像及び前記後方カメラの画像に入り込んだ前記左カメラの画像と右カメラの画像の奥行きを伸ばすとともに、奥行きを伸ばしていないカメラ画像の裏側に壁画像を設定して立体物に見えるように合成処理することを特徴とする請求項２記載の車両用画像表示装置。
【請求項４】
前記画像合成部は、前記交互に配置した画像の外周部に、前記複数のカメラ毎に指定した色の画像を付加することを特徴とする請求項２記載の車両用画像表示装置。
【請求項５】
前記画像合成部は、仮想光源を設定して、前記仮想光源によって照らされる領域と障害物によって影となる領域の明度を異ならせて表示するようにしたことを特徴とする請求項２記載の車両用画像表示装置。
【請求項６】
ナビゲーション装置を備え、前記画像合成部は、ナビゲーション装置からの情報をもとに車道の情報を合成するとともに、前記車両の進行方向の車道の情報を他の車道と区別可能な形態で表示することを特徴とする請求項２記載の車両用画像表示装置。
【請求項７】
前記画像合成部は、前記車道の奥行きを伸ばすように前記車道情報を合成することを特徴とする請求項６記載の車両用画像表示装置。
【請求項８】
前記撮影部は、前記前方カメラと後方カメラ、及び前記左カメラと右カメラの少なくとも一方を、カメラ画像の高さ方向が表示画像の縦方向となる場合には、カメラを水平方向にずらし、カメラの高さ方向が表示画像の横方向となる場合には、カメラを垂直方向にずらして２台以上取り付け、前記画像合成部は前記複数のカメラ画像を合成してステレオ視が可能な前記背景画像を生成することを特徴とする請求項２記載の車両用画像表示装置。
【請求項９】
前記表示部は、２つ以上のディスプレイを含み、前記画像合成部で合成処理した画像をそれぞれのディスプレイに分割して表示することを特徴とする請求項１記載の車両用画像表示装置。
【請求項１０】
前記表示部は、角度を調整可能なディスプレイを含み、
前記画像合成部は、前記ディスプレイの角度に応じて視点方向を変えた前記俯瞰画像と前記背景画像を合成処理することを特徴とする請求項２記載の車両用画像表示装置。
【請求項１１】
運転者の頭部の位置を取得可能なセンサを含み、
前記画像合成部は、前記運転者の頭部の位置に応じて画像の視点位置を変えた前記俯瞰画像と前記背景画像を合成処理することを特徴とする請求項２記載の車両用画像表示装置。
【請求項１２】
運転者の頭部の位置を取得可能なセンサを含み、
前記画像合成部は、前記運転者の頭部の位置に応じて画像の表示の有無を変更することを特徴とする請求項２記載の車両用画像表示装置。
【請求項１】
車両の複数個所に配置された複数のカメラを含み、前記車両の周囲を撮影する撮像部と、
前記車両の俯瞰画像を生成する画像生成部と、
前記複数のカメラで撮影した複数の画像を放射状に区分して交互に配置して背景画像を生成し、前記背景画像と前記俯瞰画像とを合成する画像合成部と、
前記画像合成部で合成された画像を表示可能な表示部と、
を具備して成る車両用画像表示装置。
【請求項２】
前記撮影部は、前記車両の前方、後方及び左側、右側方向の所定範囲の画像を夫々撮影する複数のカメラを含み、
前記画像合成部は、前方カメラの画像に左カメラの画像及び右カメラの画像がそれぞれ対応する視野に入り込み、後方カメラの画像に左カメラの画像及び右カメラの画像がそれぞれ対応する視野に入り込むように合成することを特徴とする請求項１記載の車両用画像表示装置。
【請求項３】
前記画像合成部は、前記前方カメラの画像及び前記後方カメラの画像に入り込んだ前記左カメラの画像と右カメラの画像の奥行きを伸ばすとともに、奥行きを伸ばしていないカメラ画像の裏側に壁画像を設定して立体物に見えるように合成処理することを特徴とする請求項２記載の車両用画像表示装置。
【請求項４】
前記画像合成部は、前記交互に配置した画像の外周部に、前記複数のカメラ毎に指定した色の画像を付加することを特徴とする請求項２記載の車両用画像表示装置。
【請求項５】
前記画像合成部は、仮想光源を設定して、前記仮想光源によって照らされる領域と障害物によって影となる領域の明度を異ならせて表示するようにしたことを特徴とする請求項２記載の車両用画像表示装置。
【請求項６】
ナビゲーション装置を備え、前記画像合成部は、ナビゲーション装置からの情報をもとに車道の情報を合成するとともに、前記車両の進行方向の車道の情報を他の車道と区別可能な形態で表示することを特徴とする請求項２記載の車両用画像表示装置。
【請求項７】
前記画像合成部は、前記車道の奥行きを伸ばすように前記車道情報を合成することを特徴とする請求項６記載の車両用画像表示装置。
【請求項８】
前記撮影部は、前記前方カメラと後方カメラ、及び前記左カメラと右カメラの少なくとも一方を、カメラ画像の高さ方向が表示画像の縦方向となる場合には、カメラを水平方向にずらし、カメラの高さ方向が表示画像の横方向となる場合には、カメラを垂直方向にずらして２台以上取り付け、前記画像合成部は前記複数のカメラ画像を合成してステレオ視が可能な前記背景画像を生成することを特徴とする請求項２記載の車両用画像表示装置。
【請求項９】
前記表示部は、２つ以上のディスプレイを含み、前記画像合成部で合成処理した画像をそれぞれのディスプレイに分割して表示することを特徴とする請求項１記載の車両用画像表示装置。
【請求項１０】
前記表示部は、角度を調整可能なディスプレイを含み、
前記画像合成部は、前記ディスプレイの角度に応じて視点方向を変えた前記俯瞰画像と前記背景画像を合成処理することを特徴とする請求項２記載の車両用画像表示装置。
【請求項１１】
運転者の頭部の位置を取得可能なセンサを含み、
前記画像合成部は、前記運転者の頭部の位置に応じて画像の視点位置を変えた前記俯瞰画像と前記背景画像を合成処理することを特徴とする請求項２記載の車両用画像表示装置。
【請求項１２】
運転者の頭部の位置を取得可能なセンサを含み、
前記画像合成部は、前記運転者の頭部の位置に応じて画像の表示の有無を変更することを特徴とする請求項２記載の車両用画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図１１】
【公開番号】特開２０１２−２３６５８（Ｐ２０１２−２３６５８Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１６１５９１（Ｐ２０１０−１６１５９１）
【出願日】平成２２年７月１６日（２０１０．７．１６）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１６日（２０１０．７．１６）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
[ Back to top ]