車両用表示装置
【課題】車両の乗員が、障害物の種類、及び障害物と車両との間の距離を把握することを容易にする車両用表示装置を提供する。
【解決手段】車両の周囲撮影画像を取得する撮影手段と、周囲撮影画像を座標変換することにより、ミラー変換画像を生成する画像変換手段と、車両の全体画像を含む俯瞰画像を生成する俯瞰画像生成手段と、ミラー変換画像と俯瞰画像とを同一の表示画面上に表示する表示手段とを備え、表示手段は、表示画面に予め設定された矩形の第１表示領域に車両の全体画像の車両前方が上を向くように俯瞰画像を表示し、矩形の第１表示領域の側方であって、かつ該矩形の側辺の下側に偏って設定された第２表示領域に、ミラー変換画像を表示する。
【解決手段】車両の周囲撮影画像を取得する撮影手段と、周囲撮影画像を座標変換することにより、ミラー変換画像を生成する画像変換手段と、車両の全体画像を含む俯瞰画像を生成する俯瞰画像生成手段と、ミラー変換画像と俯瞰画像とを同一の表示画面上に表示する表示手段とを備え、表示手段は、表示画面に予め設定された矩形の第１表示領域に車両の全体画像の車両前方が上を向くように俯瞰画像を表示し、矩形の第１表示領域の側方であって、かつ該矩形の側辺の下側に偏って設定された第２表示領域に、ミラー変換画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載され、その車両の周囲を撮影した画像を車両の乗員に視認させる車両用表示装置に関する。
【背景技術】
【０００２】
従来、車両駐車時における運転支援のために、車両の前方、後方、左側方、及び右側方を複数台（例えば４台）の車載カメラで撮影し、さらに、各車載カメラで撮影した撮影画像を、車両の上方から見下ろした俯瞰画像に変換して繋ぎ合わせることにより、車両およびその周囲全体を俯瞰した１枚の俯瞰画像（以下、全体俯瞰画像という）を生成し、この全体俯瞰画像を表示する車両用表示装置が知られている。
【０００３】
このような車両用表示装置において、隣り合う車載カメラで重複して撮影される撮影重複領域に車両の走行を妨げるような物体（以下、障害物という）が存在する場合に、この障害物が全体俯瞰画像に表示されなかったり、鮮明に表示されなかったりするという問題が指摘されている。
【０００４】
このような問題を解決するために、全体俯瞰画像を表示している状態で障害物を検出したときには、各車載カメラで撮影した撮影画像を表示する状態に切り替える車両用表示装置が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２３５５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の車両用表示装置において、各車載カメラで撮影した撮影画像が表示されたときに、この撮影画像を視認しただけでは、車両の乗員は、車両後方の障害物の種類や、障害物と車両との間の距離を把握しづらいという問題があった。全体俯瞰画像を生成するために撮影する車載カメラは、少ないカメラ個数で車両の周囲全体を撮影する必要があり、車載カメラによる撮影画像は、車両の乗員が障害物を直接視認する場合の像と大きく異なるからである。
【０００７】
本発明は、こうした問題に鑑みてなされたものであり、車両の乗員が、障害物の種類、及び障害物と車両との間の距離を把握することを容易にする車両用表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するためになされた請求項１に記載の車両用表示装置では、車両に設置される車両用表示装置であって、車両の周囲における予め設定された所定撮影領域を繰り返し撮影し、周囲撮影画像を取得する撮影手段と、周囲撮影画像を座標変換することにより、車両内の所定の座席に座っている乗員の視点からミラー越しに車両の後方を見た画像を模したミラー変換画像を生成する画像変換手段と、周囲撮影画像を用いて、車両の上方の視点から車両を俯瞰した画像であって車両の全体画像を含む俯瞰画像を生成する俯瞰画像生成手段と、ミラー変換画像と俯瞰画像とを同一の表示画面上に表示する表示手段とを備え、表示手段は、表示画面に予め設定された矩形の第１表示領域に車両の全体画像の車両前方が上を向くように俯瞰画像を表示し、矩形の第１表示領域の側方であって、かつ該矩形の側辺の下側に偏って設定された第２表示領域に、ミラー変換画像を表示することを特徴とする。
【０００９】
このように構成された車両用表示装置によれば、車両の乗員が、障害物の種類、及び障害物と車両との間の距離を把握することが容易となる。
【００１０】
また請求項１に記載の車両用表示装置において、請求項２に記載のように、表示手段が、車載用ミラーの枠を示すミラー枠画像を表示するとともに、ミラー枠画像が示す枠の内部にミラー変換画像を表示するようにしてもよい。
【００１１】
このように構成された車両用表示装置では、ミラー変換画像の周囲に車載用ミラーの枠が表示されるので、ミラー変換画像が車載用ミラーに映っている画像に相当するものであるということを車両の乗員に容易に把握させることができる。
【００１２】
また、請求項１または２に記載の車両用表示装置において、請求項３に記載のように、ミラー枠画像が透過しているようにミラー枠画像を表示するようにしてもよい。
【００１３】
このように構成された車両用表示装置によれば、運転者ミラー像と、その周辺の領域を示す画像との境界部分の画像が、ミラー枠画像が示す枠に隠れて見えなくなるということがない。
【００１４】
また請求項１ないし請求項３の何れかに記載の車両用表示装置において、請求項４に記載のように、表示手段が左右のミラー変換画像を同一表示画面上に表示するようにしてもよい。
【００１５】
このように構成された車両用表示装置によれば、車両の乗員は、一つの表示画面を見れば、左右のミラー変換画像を同時に確認することができる。したがって車両の乗員は、視線を移動させる必要がなくなり、車両後方の確認作業を容易に行うことができる。
【図面の簡単な説明】
【００１６】
【図１】車両用表示システム１の構成を示すブロック図である。
【図２】周辺画像表示処理の前半部分を示すフローチャートである。
【図３】周辺画像表示処理の後半部分を示すフローチャートである。
【図４】第１，２，３の参考表示態様を示す図である。
【図５】第４，５，６の参考表示態様を示す図である。
【図６】第７，８，９の参考表示態様を示す図である。
【図７】表示装置の表示態様を示す図である。
【図８】第１０の参考表示態様を示す図である。
【図９】第１参考例の車両用表示システム１の構成を示すブロック図である。
【図１０】第１参考例の周辺画像表示処理を示すフローチャートである。
【図１１】接近判定方法を示す図である。
【図１２】第１参考例の表示態様を示す図である。
【図１３】第２参考例の車両用表示システム１の構成を示すブロック図である。
【図１４】第２参考例の周辺画像表示処理を示すフローチャートである。
【図１５】縦列駐車からの発進状況を示す図である。
【図１６】別の参考例の表示態様を示す図である。
【図１７】別の参考例の表示態様を示す図である。
【図１８】車両の移動範囲ＭＲを示す図である。
【図１９】駐車時に移動体が車両後方から接近する状況を示す図である。
【図２０】別の参考例の表示態様を示す図である。
【発明を実施するための形態】
【００１７】
（第１実施形態）
以下に本発明の第１実施形態を図面とともに説明する。
【００１８】
図１は、本実施形態の車両用表示システム１の構成を示すブロック図である。
【００１９】
車両用表示システム１は、車両に搭載され、図１に示すように、車両の周辺を連続して撮影する車載カメラ２と、車両の状態を検出する複数のセンサからなるセンサ群３と、車載カメラ２による撮影画像とセンサ群３による検出結果とに基づいて画像処理を行う画像処理装置４と、画像処理装置４により処理された画像を表示する表示装置５とを備えている。
【００２０】
そして車載カメラ２は、前方カメラ１１、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から構成されている。前方カメラ１１は、車両の前端部（本実施形態ではフロントバンパー）に設置されており、車両の前方の状況を撮影する。また後方カメラ１２は、車両の後端部（本実施形態ではリアバンパー）に設置されており、車両の後方の状況を撮影する。また左側方カメラ１３は、車両の左端部（本実施形態では車両左側のサイドミラー）に設置されており、車両の左側方の状況を撮影する。また右側方カメラ１４は、車両の右端部（本実施形態では車両右側のサイドミラー）に設置されており、車両の右側方の状況を撮影する。
【００２１】
さらにセンサ群３は、シフトレバー位置センサ２１と、ミラー角度センサ２２とから構成されている。シフトレバー位置センサ２１は、車両のシフトレバーの位置を検出する。またミラー角度センサ２２は、車両左側のサイドミラー（以下、左サイドミラーという）、車両右側のサイドミラー（以下、右サイドミラーという）、及び車室内のバックミラーの傾斜角度を検出する。
【００２２】
画像処理装置４は、カメラインタフェース（以下、カメラＩ／Ｆという）３１と、車両インタフェース（以下、車両Ｉ／Ｆという）３２と、表示インタフェース（以下、表示Ｉ／Ｆという）３３と、記憶部３４と、操作部３５と、制御部３６と、これらを結ぶバス３７とを備える。
【００２３】
カメラＩ／Ｆ３１は、前方カメラ１１、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から撮影画像を入力するためのインタフェースである。
【００２４】
車両Ｉ／Ｆ３２は、各種センサ２１，２２から信号を入力するためのインタフェースである。なお、センサ２１〜２３からの信号は、直接入力されてもよく、また、車両に搭載されている各種ＥＣＵ（電子制御装置）等を介して入力されてもよい。
【００２５】
表示Ｉ／Ｆ３３は、画像処理装置４により画像処理された画像データを表示装置５へ出力するためのインタフェースである。
【００２６】
記憶部３４は、不揮発性記憶媒体（本実施形態ではハードディスク）に各種情報を記憶する。この記憶部３４には、視点変換マップデータベース４１が記憶されている。
【００２７】
そして視点変換マップデータベース４１には、複数種類の視点変換マップが記憶されている。ここで、視点変換マップとは、車載カメラ２の撮影画像を座標変換することにより撮影時の視点とは異なる視点から見た変換画像を生成するためのマップである。本実施形態では、車両の上方の視点から見た変換画像を生成するための視点変換マップＭ１、運転席に着座している乗員（以下、運転者という）からの視点で左サイドミラーを見た変換画像を生成するための視点変換マップＭ２、運転者からの視点で右サイドミラーを見た変換画像を生成するための視点変換マップＭ３と、運転者からの視点でバックミラーを見た変換画像を生成するための視点変換マップＭ４、後方カメラ１２の撮影画像を左右逆に座標変換した変換画像を生成するための視点変換マップＭ５、及び車両の前方の斜め上の視点から車両を見た変換画像を生成するための視点変換マップＭ６が記憶されている。
【００２８】
操作部３５は、車両の乗員からの外部操作による指令を入力するものであり、外部操作用の複数のキー等を備えている。
【００２９】
制御部３６は、ＣＰＵ５１、ＲＯＭ５２、及びＲＡＭ５３等からなるマイクロコンピュータを中心に構成されている。ここでＲＯＭ５２には、後述する周辺画像表示処理をＣＰＵ５１に実行させるためのプログラムが記憶されている。
【００３０】
このように構成された車両用表示システム１において、制御部３６のＣＰＵ５１は、車両周辺の画像を表示する周辺画像表示処理を実行する。
【００３１】
ここで、車両用表示システム１のＣＰＵ５１が実行する周辺画像表示処理の手順を、図２，３を用いて説明する。図２は周辺画像表示処理の前半部分を示すフローチャート、図３は周辺画像表示処理の後半部分を示すフローチャートである。この周辺画像表示処理は、制御部３６のＣＰＵ５１が起動（電源オン）している間に繰り返し実行される処理である。
【００３２】
この周辺画像表示処理が実行されると、ＣＰＵ５１は、まずＳ１０にて、表示装置５の表示態様を設定するための操作（以下、表示態様設定操作という）が、操作部３５を介して行われたか否かを判断する。
【００３３】
本実施形態では、上記の表示態様は、図７が示す表示態様と、図４〜６、図８が示す参考表示態様の合計１１種類設けられており、車両の乗員が操作部３５を介して表示態様設定操作を行うことにより、表示態様を選択できるように構成されている。
【００３４】
まず第１の参考表示態様は、図４（ａ）に示すように、車両の上方の視点から車両とその周辺を見た画像（以下、トップビュー画像という）ＴＶ０１と、運転者からの視点で左サイドミラーを見た画像（以下、左サイドミラー画像という）ＬＭ０１と、運転者からの視点で右サイドミラーを見た画像（以下、右サイドミラー画像という）ＲＭ０１とを表示する態様である。この第１の表示態様では、表示画面の中央部にトップビュー画像ＴＶ０１、表示画面の左側に左サイドミラー画像ＬＭ０１、表示画面の右側に右サイドミラー画像ＲＭ０１が配置される。また、左サイドミラー画像ＬＭ０１及び右サイドミラー画像ＲＭ０１は、その表示領域が略矩形状に形成されている。
【００３５】
また第２の参考表示態様は、図４（ｂ）に示すように、トップビュー画像ＴＶ０２と左サイドミラー画像ＬＭ０２と右サイドミラー画像ＲＭ０２とを表示する態様である。この第２の表示態様では、表示画面の中央部にトップビュー画像ＴＶ０２、表示画面の左側に左サイドミラー画像ＬＭ０２、表示画面の右側に右サイドミラー画像ＲＭ０２が配置される。また、左サイドミラー画像ＬＭ０２及び右サイドミラー画像ＲＭ０２は、その表示領域が略矩形状に形成されている。さらにトップビュー画像ＴＶ０２上では、左サイドミラー画像ＬＭ０２（右サイドミラー画像ＲＭ０２）で映っている車両周辺領域の範囲を示す表示ＲＤＬ（ＲＤＲ）が追加されている（図中の点線で囲われた領域を参照）。
【００３６】
また第３の参考表示態様は、図４（ｃ）に示すように、トップビュー画像ＴＶ０３と左サイドミラー画像ＬＭ０３と右サイドミラー画像ＲＭ０３とを表示する態様である。この第３の表示態様では、表示画面の中央部にトップビュー画像ＴＶ０３、表示画面の左側に左サイドミラー画像ＬＭ０３、表示画面の右側に右サイドミラー画像ＲＭ０３が配置される。また、左サイドミラー画像ＬＭ０３（右サイドミラー画像ＲＭ０３）は、車両用表示システム１が搭載されている車両のサイドミラーと同じ形状の枠を示すミラー枠画像ＦＬ０３（ＦＲ０３）と、ミラー枠画像ＦＬ０３（ＦＲ０３）の内部に表示された変換画像ＴＬ０３（ＴＲ０３）とから構成される。
【００３７】
また第４の参考表示態様は、図５（ａ）に示すように、車両用表示システム１が搭載されている車両の全体像を示す車両全体画像ＣＡ０４と、左サイドミラー画像ＬＭ０４と右サイドミラー画像ＲＭ０４とを表示する態様である。この第４の表示態様では、表示画面の中央部に車両全体画像ＣＡ０４、表示画面の左側に左サイドミラー画像ＬＭ０４、表示画面の右側に右サイドミラー画像ＲＭ０４が配置される。また、左サイドミラー画像ＬＭ０４（右サイドミラー画像ＲＭ０４）は、車両用表示システム１が搭載されている車両のサイドミラーと同じ形状の枠を示すミラー枠画像ＦＬ０４（ＦＲ０４）と、ミラー枠画像ＦＬ０４（ＦＲ０４）の内部に表示された変換画像ＴＬ０４（ＴＲ０４）とから構成される。
【００３８】
また第５の参考表示態様は、図５（ｂ）に示すように、車両全体画像ＣＡ０５と左サイドミラー画像ＬＭ０５と右サイドミラー画像ＲＭ０５と、運転者からの視点で車室内のバックミラーを見た画像（以下、バックミラー画像という）ＢＭ０５とを表示する態様である。この第５の表示態様では、表示画面の中央部に車両全体画像ＣＡ０５、表示画面の左側に左サイドミラー画像ＬＭ０５、表示画面の右側に右サイドミラー画像ＲＭ０５、表示画面の上側にバックミラー画像ＢＭ０５が配置される。また、左サイドミラー画像ＬＭ０５（右サイドミラー画像ＲＭ０５）は、車両用表示システム１が搭載されている車両のサイドミラーと同じ形状の枠を示すミラー枠画像ＦＬ０５（ＦＲ０５）と、ミラー枠画像ＦＬ０５（ＦＲ０５）の内部に表示された変換画像ＴＬ０５（ＴＲ０５）とから構成される。さらにバックミラー画像ＢＭ０５は、車両用表示システム１が搭載されている車両のバックミラーと同じ形状の枠を示すミラー枠画像ＦＢ０５と、ミラー枠画像ＦＢ０５の内部に表示された変換画像ＴＢ０５とから構成される。
【００３９】
また第６の参考表示態様は、図５（ｃ）に示すように、トップビュー画像ＴＶ０６と左サイドミラー画像ＬＭ０６と右サイドミラー画像ＲＭ０６とバックミラー画像ＢＭ０６とを表示する態様である。この第６の表示態様では、表示画面の中央部にトップビュー画像ＴＶ０６、表示画面の左側に左サイドミラー画像ＬＭ０６、表示画面の右側に右サイドミラー画像ＲＭ０６、表示画面の上側にバックミラー画像ＢＭ０６が配置される。また、左サイドミラー画像ＬＭ０６及び右サイドミラー画像ＲＭ０６は、その表示領域が略矩形状に形成されている。さらにバックミラー画像ＢＭ０６は、車両用表示システム１が搭載されている車両のバックミラーと同じ形状の枠を示すミラー枠画像ＦＢ０６と、ミラー枠画像ＦＢ０６の内部に表示された変換画像ＴＢ０６とから構成される。
【００４０】
また第７の参考表示態様は、図６（ａ）に示すように、トップビュー画像ＴＶ０７と左サイドミラー画像ＬＭ０７と右サイドミラー画像ＲＭ０７とバックミラー画像ＢＭ０７とを表示する態様である。この第７の表示態様では、表示画面の中央部にトップビュー画像ＴＶ０７、表示画面の左側に左サイドミラー画像ＬＭ０７、表示画面の右側に右サイドミラー画像ＲＭ０７、表示画面の下側にバックミラー画像ＢＭ０７が配置される。また、左サイドミラー画像ＬＭ０７、右サイドミラー画像ＲＭ０７、及びバックミラー画像ＢＭ０７は、その表示領域が略矩形状に形成されている。
【００４１】
また第８の参考表示態様は、図６（ｂ）に示すように、後方カメラ１２の撮影画像を左右逆に座標変換した画像（以下、後方左右逆変換画像という）ＲＶ０８と、左サイドミラー画像ＬＭ０８と右サイドミラー画像ＲＭ０８とを表示する態様である。この第８の表示態様では、表示画面の中央部に後方左右逆変換画像ＲＶ０８、表示画面の左側に左サイドミラー画像ＬＭ０８、表示画面の右側に右サイドミラー画像ＲＭ０８が配置される。また、左サイドミラー画像ＬＭ０８、及び右サイドミラー画像ＲＭ０８は、その表示領域が略矩形状に形成されている。
【００４２】
また第９の参考表示態様は、図６（ｃ）に示すように、車両の前方の斜め上の視点から車両を見た画像（以下、トップリアビュー画像という）ＴＲ０９と、左サイドミラー画像ＬＭ０９と右サイドミラー画像ＲＭ０９とを表示する態様である。この第９の表示態様では、表示画面の中央部にトップリアビュー画像ＴＲ０９、表示画面の左側に左サイドミラー画像ＬＭ０９、表示画面の右側に右サイドミラー画像ＲＭ０９が配置される。また、左サイドミラー画像ＬＭ０９、及び右サイドミラー画像ＲＭ０９は、その表示領域が略矩形状に形成されている。
【００４３】
ここで、本実施形態における表示態様は、図７に示すように、トップビュー画像ＴＶ１０と左サイドミラー画像ＬＭ１０と右サイドミラー画像ＲＭ１０とを表示する態様である。この第１０の表示態様では、表示画面の中央部にトップビュー画像ＴＶ１０、表示画面の左側に左サイドミラー画像ＬＭ１０、表示画面の右側に右サイドミラー画像ＲＭ１０が配置される。また左サイドミラー画像ＬＭ１０（右サイドミラー画像ＲＭ１０）は、運転者が左サイドミラー（右サイドミラー）を介して見る視点で左側方カメラ１３（右側方カメラ１４）の撮影画像を座標変換した変換画像（以下、サイドミラー視点変換画像という）ＴＬ１０（ＴＲ１０）と、車両用表示システム１が搭載されている車両のサイドミラーと同じ形状の枠が変換画像に対して透過しているように表わしたミラー枠画像ＦＬ１０（ＦＲ１０）とから構成される。すなわち、サイドミラー視点変換画像ＴＬ１０（ＴＲ１０）のうち、ミラー枠画像ＦＬ１０（ＦＲ１０）の枠内の画像が、運転者がサイドミラーを介して視認する景色に相当する。
【００４４】
また第１０の参考表示態様は、図８（ａ）〜（ｃ）に示すように、３段階で表示を変化させる態様である。すなわち、まず図８（ａ）に示すように、表示画面の中央部にトップビュー画像ＴＶ１１のみを表示する。そして予め設定された表示開始条件が成立すると、図８（ｂ）に示すように、トップビュー画像ＴＶ１１と、左サイドミラー画像ＬＭ１１及び右サイドミラー画像ＲＭ１１とを表示する。その後、予め設定された表示開始時間（例えば、５秒）が経過すると、図８（ｃ）に示すように、左サイドミラー画像ＬＭ１１及び右サイドミラー画像ＲＭ１１の代わりに、サイドミラー視点変換画像ＴＬ１１及びＴＲ１１を表示する。
【００４５】
そして図２に示すように、Ｓ１０にて、表示態様設定操作が行われていないと判断した場合には（Ｓ１０：ＮＯ）、Ｓ３０に移行する。一方、表示態様設定操作が行われたと判断した場合には（Ｓ１０：ＹＥＳ）、Ｓ２０にて、表示態様設定操作により指示された表示態様に応じた表示設定を行い、Ｓ３０に移行する。例えば、表示態様設定操作が第１の表示態様を指示するものである場合には、第１の表示態様で表示するように設定する。
【００４６】
そしてＳ３０に移行すると、シフトレバー位置センサ２１からの信号に基づき、シフトレバーの位置がリバース「Ｒ」であるか否かを判断する。ここで、シフトレバーの位置がリバース「Ｒ」でない場合には（Ｓ３０：ＮＯ）、Ｓ１６０に移行する。一方、シフトレバーの位置がリバース「Ｒ」である場合には（Ｓ３０：ＹＥＳ）、Ｓ４０にて、Ｓ２０で設定された表示態様がトップビュー画像を表示するものであるか否かを判断する。つまり、図７の表示態様、第１，２，３，６，７，１０の参考表示態様が設定されているか否かを判断する。
【００４７】
ここで、表示態様がトップビュー画像を表示するものである場合には（Ｓ４０：ＹＥＳ）、Ｓ５０にて、前方カメラ１１、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から撮影画像を取得する。
【００４８】
そしてＳ６０にて、Ｓ５０で取得した撮影画像を用いてトップビュー画像を生成する。具体的には、まず、前方カメラ１１、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から取得した４つの撮影画像をそれぞれ、視点変換マップデータベース４１に記憶されている視点変換マップＭ１を用いて座標変換する。その後、座標変換処理が行われた４つの変換画像について、これら４つの変換画像の重複部分を繋ぎ合わせる合成処理を行う。これにより、車両およびその周囲全体を俯瞰した１枚のトップビュー画像が生成される。さらにＳ７０にて、Ｓ６０で生成されたトップビュー画像を、Ｓ２０で設定した表示態様で表示装置５に表示させ、Ｓ１６０に移行する。
【００４９】
またＳ４０にて、表示態様がトップビュー画像を表示するものでない場合には（Ｓ４０：ＮＯ）、Ｓ８０にて、表示態様が後方左右逆変換画像を表示するものであるか否かを判断する。つまり、第８の表示態様が設定されているか否かを判断する。ここで、表示態様が後方左右逆変換画像を表示するものである場合には（Ｓ８０：ＹＥＳ）、Ｓ９０にて、後方カメラ１２から撮影画像を取得する。
【００５０】
そしてＳ１００にて、Ｓ９０で取得した撮影画像を用いて後方左右逆変換画像を生成する。具体的には、後方カメラ１２から取得した撮影画像を、視点変換マップデータベース４１に記憶されている視点変換マップＭ５を用いて座標変換する。これにより、１枚の後方左右逆変換画像が生成される。さらにＳ１１０にて、Ｓ１００で生成された後方左右逆変換画像を、Ｓ２０で設定した表示態様で表示装置５に表示させ、Ｓ１６０に移行する。
【００５１】
またＳ８０にて、表示態様が後方左右逆変換画像を表示するものでない場合には（Ｓ８０：ＮＯ）、Ｓ１２０にて、表示態様がトップリアビュー画像を表示するものであるか否かを判断する。つまり、第９の表示態様が設定されているか否かを判断する。ここで、表示態様がトップリアビュー画像を表示するものである場合には（Ｓ１２０：ＹＥＳ）、Ｓ１３０にて、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から撮影画像を取得する。
【００５２】
そしてＳ１４０にて、Ｓ１３０で取得した撮影画像を用いてトップリアビュー画像を生成する。具体的には、まず、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から取得した３つの撮影画像をそれぞれ、視点変換マップデータベース４１に記憶されている視点変換マップＭ６を用いて座標変換する。その後、座標変換処理が行われた３つの変換画像について、これら３つの変換画像の重複部分を繋ぎ合わせる合成処理を行う。これにより、トップリアビュー画像が生成される。さらにＳ１５０にて、Ｓ１４０で生成されたトップリアビュー画像を、Ｓ２０で設定した表示態様で表示装置５に表示させ、Ｓ１６０に移行する。
【００５３】
またＳ１２０にて、表示態様がトップリアビュー画像を表示するものでない場合には（Ｓ１２０：ＮＯ）、Ｓ１６０に移行する。
【００５４】
そしてＳ１６０に移行すると、図３に示すように、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から撮影画像を取得する。その後Ｓ１７０にて、Ｓ１６０で取得した撮影画像を用いて、運転者からの視点で左サイドミラーを見た変換画像（以下、左サイドミラー変換画像という）、運転者からの視点で右サイドミラーを見た変換画像（以下、右サイドミラー変換画像という）、及び運転者からの視点でバックミラーを見た変換画像（以下、バックミラー変換画像という）を生成する。具体的には、左側方カメラ１３、右側方カメラ１４、及び後方カメラ１２から取得した３つの撮影画像をそれぞれ、視点変換マップデータベース４１に記憶されている視点変換マップＭ２、視点変換マップＭ３、及び視点変換マップＭ４と、ミラー角度センサ２２の検出結果とに基づいて、座標変換する。したがって、左サイドミラー、右サイドミラー、及びバックミラーの傾斜角度の変化に連動して、それぞれ左サイドミラー変換画像、右サイドミラー変換画像、及びバックミラー変換画像が変化する。
【００５５】
その後Ｓ１８０にて、Ｓ２０で設定した表示態様に応じて、Ｓ１７０で生成された左サイドミラー変換画像、右サイドミラー変換画像、及びバックミラー変換画像を加工する。例えば、第５の表示態様に設定されている場合には、左サイドミラー変換画像、右サイドミラー変換画像、及びバックミラー変換画像に対してそれぞれ、ミラー枠画像ＦＬ０５、ミラー枠画像ＦＲ０５、及びミラー枠画像ＦＢ０５を追加する加工を行い、左サイドミラー画像ＬＭ０５、右サイドミラー画像ＲＭ０５、及びバックミラー画像ＢＭ０５を生成する。
【００５６】
そしてＳ１９０にて、Ｓ１８０で生成された画像を表示装置５に表示させ、周辺画像表示処理を一旦終了する。なおＳ１９０では、第４，５の表示態様の場合に、車両全体画像ＣＡ０４，ＣＡ０５を追加して表示する。
【００５７】
このように構成された車両用表示システム１では、まず、車両の後方、左側方、及び右側方を後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４で繰り返し撮影し、撮影した画像（以下、周囲撮影画像という）を取得する（Ｓ１６０）。そして、運転席に着座している乗員（運転者）の視点から、左サイドミラー、右サイドミラー、及びバックミラーを見たときに運転者により視認される左サイドミラー、右サイドミラー、及びバックミラーの映像を示す左サイドミラー変換画像、右サイドミラー変換画像、及びバックミラー変換画像を、取得した周囲撮影画像を座標変換することにより生成する（Ｓ１７０）。その後に、左サイドミラー変換画像、右サイドミラー変換画像、及びバックミラー変換画像を表示する（Ｓ１９０）。なお以下、左サイドミラー、右サイドミラー、及びバックミラーをまとめて車載用ミラーともいう。また、左サイドミラー変換画像、右サイドミラー変換画像、及びバックミラー変換画像をまとめてミラー変換画像ともいう。
【００５８】
このように構成された車両用表示システム１によれば、運転者の視点から車載用ミラーを見たときの車載用ミラーの画像を表示することができる。なお、運転者は通常、車載用ミラーに映る画像により車両後方の障害物を確認するため、運転者は、車載用ミラーに映る画像を見ることにより、車両後方の障害物の種類、及び障害物と車両との間の距離などを把握する。つまり、車両用表示システム１は、運転者が、車載用ミラーを視認することなく、車両後方の障害物の種類、及び障害物と車両との間の距離を把握することを容易にすることができる。
【００５９】
また図７の表示態様、第３，４，５，１０の参考表示態様では、車載用ミラーの枠を示す画像（ミラー枠画像）を表示するとともに、ミラー枠画像の内部にミラー変換画像を表示する。すなわち、ミラー変換画像の周囲に車載用ミラーの枠が表示されるので、ミラー変換画像が車載用ミラーに映っている画像に相当するものであるということを車両の乗員に容易に把握させることができる。
【００６０】
また図７の表示態様、第３，４，５の参考表示態様では、ミラー枠画像が、車載用ミラーの枠と同じ枠を示す画像である。このため、ミラー変換画像が車載用ミラーに映っている画像に相当するものであるということを車両の乗員に更に容易に把握させることができる。
【００６１】
また図７の表示態様では、運転者の視点から、左サイドミラー（右サイドミラー）を見たときに運転者により視認される左サイドミラー（右サイドミラー）の映像（以下、運転者ミラー像）を示す画像と、この画像の周囲に配置されて運転者ミラー像に対応した撮影領域の周辺の領域を示す画像とから構成され、左サイドミラー変換画像（右サイドミラー変換画像）のうち、運転者ミラー像に相当する部分を、ミラー枠画像が示す枠の内部に表示するとともに、ミラー枠画像が示す枠が左サイドミラー変換画像（右サイドミラー変換画像）に対して透過しているようにミラー枠画像を表示する。このため、運転者の視点から車載用ミラーを見たときの車載用ミラーの画像（運転者ミラー像）と、その周辺の領域の画像が表示されるので、運転者が、車載用ミラーを視認する場合よりも広い領域を確認することができる。さらに、ミラー枠画像が示す枠がミラー変換画像に対して透過している。このため、運転者ミラー像と、その周辺の領域を示す画像との境界部分の画像が、ミラー枠画像が示す枠に隠れて見えなくなるということがない。
【００６２】
また、車両には左サイドミラー、右サイドミラー、及びバックミラーが取り付けられており、左サイドミラー、右サイドミラー、及びバックミラーそれぞれに対応する複数の運転者ミラー像について、これら複数の運転者ミラー像それぞれを示す複数のミラー変換画像を同一表示画面上に表示する。このため、車両の乗員は、一つの表示画面を見れば、左サイドミラー、右サイドミラー、及びバックミラーそれぞれに対応する画像を同時に確認することができる。したがって車両の乗員は、複数の車載用ミラーに映る画像を確認するために、或る車載用ミラーから他の車載用ミラーに視線を移動させる必要がなくなり、車両後方の確認作業を容易に行うことができる。
【００６３】
また第５，６の参考表示態様では、左サイドミラー、右サイドミラー、及びバックミラーの互いの位置関係に合うように、同一表示画面上において、左サイドミラー変換画像、右サイドミラー変換画像、及びバックミラー変換画像を配置する。このため、同一表示画面上に表示されている複数のミラー変換画像のそれぞれが、車両に取り付けられた複数の車載用ミラーのうちの何れに対応するものであるかを、車両の乗員に容易に把握させることができる。
【００６４】
また第２の参考表示態様では、左サイドミラー変換画像、右サイドミラー変換画像に映っている領域が、車両の周囲の何処に対応する領域であるかを示す表示ＲＤＬ，ＲＤＲを行う。このため、左サイドミラー変換画像、右サイドミラー変換画像に映っている領域を、車両の乗員に容易に把握させることができる。
【００６５】
また、車載用ミラーはその傾斜角度を調整可能に構成されており、ミラー角度センサ２２が車載用ミラーの傾斜角度を検出する。そして、ミラー角度センサ２２により検出された角度に応じた座標変換を行うことにより、ミラー変換画像を生成する（Ｓ１７０）。このため、車載用ミラーの傾斜角度の変化に連動して、その傾斜角度にある車載用ミラーを運転者の視点から見た画像を表示することができる。
【００６６】
また第８の参考表示態様では、後方カメラ１２により撮影された画像を、ミラー変換画像と同一の表示画面上に表示する（Ｓ９０，Ｓ１１０）。このため車両の乗員は、一つの表示画面を見れば、車載用ミラーに対応する画像と、後方カメラ１２により撮影された画像とを同時に確認することができる。
【００６７】
また第８の参考表示態様では、後方カメラ１２により撮影された画像と左右が逆になった画像を生成し（Ｓ１００）、この画像をミラー変換画像と同一の表示画面上に表示する（Ｓ１１０）。このため、後方カメラ１２により撮影された画像を表示すると、その表示された画像は車両の乗員に対して左右が一致した画像となる。
【００６８】
また図７の表示態様、第１，２，３，６，７，１０の参考表示態様では、車載カメラ２により撮影された撮影画像を用いて、車両およびその周囲全体を俯瞰したトップビュー画像を生成し、このトップビュー画像を、ミラー変換画像と同一の表示画面上に表示する。このため、車両の乗員は、一つの表示画面を見れば、車載用ミラーに対応する画像とトップビュー画像とを同時に確認することができる。
【００６９】
以上説明した実施形態において、車両用表示システム１は本発明における車両用表示装置、車載カメラ２とＳ５０，Ｓ９０，Ｓ１３０の処理は本発明における撮影手段、Ｓ１７０の処理は本発明における画像変換手段、左サイドミラー、右サイドミラー、及びバックミラーは本発明における車載用ミラー、Ｓ７０，Ｓ１１０，Ｓ１９０の処理は本発明における表示手段、ミラー角度センサ２２は本発明におけるミラー角度検出手段、Ｓ１００の処理は本発明における左右逆画像生成手段、Ｓ６０の処理は本発明における俯瞰画像生成手段である。
【００７０】
また、車両の前方、後方、左側方、及び右側方は本発明における所定撮影領域、運転者は本発明における所定座席乗員である。
【００７１】
本発明は上記実施例に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
【００７２】
例えば上記実施形態においては、運転者からの視点でミラーを見た画像を表示するものを示したが、運転席以外の座席に座る乗員からの視点でミラーを見た画像を表示するようにしてもよい。
【００７３】
（第１参考例）
以下に第１参考例を説明する。なお、第１参考例では、上記実施形態と異なる部分のみを説明する。
【００７４】
第１参考例の車両用表示システム１は、車両用表示システム１の構成と周辺画像表示処理が変更された点以外は第１実施形態と同じである。
【００７５】
図９は、第１参考例の車両用表示システム１の構成を示すブロック図である。
【００７６】
第１参考例の車両用表示システム１は、図９に示すように、検出波としての超音波を発信しその反射波を受信することにより物体の存在および距離を検出するクリアランスソナー２３がセンサ群３に追加された点以外は第１実施形態と同じである。
【００７７】
次に、第１参考例の周辺画像表示処理の手順を、図１０を用いて説明する。図１０は第１参考例の周辺画像表示処理を示すフローチャートである。
【００７８】
この周辺画像表示処理が実行されると、ＣＰＵ５１は、まずＳ３１０にて、サイドミラー画像の表示範囲を設定するための操作（以下、表示範囲設定操作という）が、操作部３５を介して行われたか否かを判断する。ここで、表示範囲設定操作が行われていないと判断した場合には（Ｓ３１０：ＮＯ）、Ｓ３３０に移行する。一方、表示範囲設定操作が行われたと判断した場合には（Ｓ１０：ＹＥＳ）、Ｓ３２０にて、表示範囲設定操作により指示された表示範囲に応じた表示設定を行い、Ｓ３３０に移行する。
【００７９】
そしてＳ３３０に移行すると、左サイドミラーと右サイドミラーの傾斜角度を設定するための操作（以下、傾斜角度設定操作という）が、操作部３５を介して行われたか否かを判断する。ここで、傾斜角度設定操作が行われていないと判断した場合には（Ｓ３３０：ＮＯ）、Ｓ３５０に移行する。一方、傾斜角度設定操作が行われたと判断した場合には（Ｓ３３０：ＹＥＳ）、Ｓ３４０にて、傾斜角度設定操作により指示された傾斜角度に応じた表示設定を行い、Ｓ３５０に移行する。
【００８０】
そしてＳ３５０に移行すると、シフトレバー位置センサ２１からの信号に基づき、シフトレバーの位置がリバース「Ｒ」であるか否かを判断する。ここで、シフトレバーの位置がリバース「Ｒ」でない場合には（Ｓ３５０：ＮＯ）、周辺画像表示処理を一旦終了する。一方、シフトレバーの位置がリバース「Ｒ」である場合には（Ｓ３５０：ＹＥＳ）、Ｓ３６０にて、前方カメラ１１、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から撮影画像を取得する。
【００８１】
そしてＳ３７０にて、Ｓ３６０で取得した撮影画像を用いてトップビュー画像を生成する。具体的には、まず、前方カメラ１１、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から取得した４つの撮影画像をそれぞれ、視点変換マップデータベース４１に記憶されている視点変換マップＭ１を用いて座標変換する。その後、座標変換処理が行われた４つの変換画像について、これら４つの変換画像の重複部分を繋ぎ合わせる合成処理を行う。これにより、車両およびその周囲全体を俯瞰した１枚のトップビュー画像が生成される。さらにＳ３８０にて、Ｓ３７０で生成されたトップビュー画像を、表示装置５に表示させる。
【００８２】
その後Ｓ３９０にて、クリアランスソナー２３の検出結果に基づいて、物体が車両に接近しているか否かと、その接近の危険度を判定する。
【００８３】
具体的には、まず物体が移動体である場合には、図１１（ａ）に示すように、移動体が車両に近付く速度Ｖｍと、車両と移動体との間の距離Ｌｍとに基づいて、移動体が車両に到達するまでに要する時間（以下、到達時間という）を算出し、この算出時間に応じて、「緊急」、「危険」、「注意」、及び「安全」の４種類の危険度を設定している。すなわち、到達時間が第１判定時間Ｔ１（例えば１秒）未満である場合には「緊急」と判定し、到達時間が第１判定時間Ｔ１より長い第２判定時間Ｔ２（例えば３秒）未満である場合には「危険」と判定し、到達時間が第２判定時間Ｔ２より長い第３判定時間Ｔ３（例えば５秒）未満である場合には「注意」と判定する。また、到達時間が第３判定時間Ｔ３以上であるか、移動体が遠ざかっている場合には、「安全」と判定する。
【００８４】
また、物体が固定物である場合には、図１１（ｂ）に示すように、車両と固定物との間の距離Ｌｍに応じて、「緊急」、「危険」、「注意」、及び「安全」の４種類の危険度を設定している。すなわち、固定物が近付いており且つ距離Ｌｍが第１判定距離Ｌ１（例えば、１ｍ）未満である場合には「緊急」と判定し、距離Ｌｍが第１判定距離Ｌ１より長い第２判定距離Ｌ２（例えば３ｍ）未満である場合には「危険」と判定し、距離Ｌｍが第２判定距離Ｌ２より長い第３判定距離Ｌ３（例えば５ｍ）未満である場合には「注意」と判定する。また、距離Ｌｍが第３判定距離Ｌ３以上であるか、固定物が遠ざかっている場合には、「安全」と判定する。
【００８５】
そしてＳ４００にて、Ｓ３９０で「安全」と判定されたか否かを判断する。ここで、「安全」と判定された場合には（Ｓ４００：ＹＥＳ）、周辺画像表示処理を一旦終了する。
【００８６】
一方、「安全」と判定されなかった場合には（Ｓ４００：ＮＯ）、Ｓ４１０にて、左側方カメラ１３、及び右側方カメラ１４から撮影画像を取得する。その後Ｓ４２０にて、Ｓ４１０で取得した撮影画像を用いて、運転者からの視点で左サイドミラーを見た変換画像（以下、左サイドミラー変換画像という）、及び運転者からの視点で右サイドミラーを見た変換画像（以下、右サイドミラー変換画像という）を生成する。具体的には、左側方カメラ１３、及び右側方カメラ１４から取得した２つの撮影画像をそれぞれ、視点変換マップデータベース４１に記憶されている視点変換マップＭ２、及び視点変換マップＭ３と、Ｓ３４０で設定された傾斜角度とに基づいて、座標変換する。したがって、Ｓ３４０で設定された傾斜角度の変化に連動して、それぞれ左サイドミラー変換画像、及び右サイドミラー変換画像が変化する。
【００８７】
その後Ｓ４３０にて、Ｓ３２０で設定された表示範囲と、Ｓ３９０で判定した危険度とに応じて、図１２に示すように、Ｓ４２０で生成された左サイドミラー変換画像、及び右サイドミラー変換画像を加工する。
【００８８】
具体的には、まず、Ｓ３２０で設定された表示範囲に応じて、Ｓ４２０で生成された左サイドミラー変換画像、及び右サイドミラー変換画像を切り取り、ミラー枠画像内に嵌め込む加工を行う。すなわち、Ｓ３４０で設定された表示範囲によっては、ミラー変換画像の表示範囲は、サイドミラーに実際に映っている範囲と異なる。その後、Ｓ３９０で「注意」と判定された場合には、図１２（ａ）に示すように、トップビュー画像ＴＶＧの横にサイドミラー画像ＳＭＧ０１が表示されるように加工する（図では右サイドミラーの画像のみを示す）。このサイドミラー画像ＳＭＧ０１は、サイドミラーの枠を示すミラー枠画像ＭＦＧ０１と、ミラー枠画像ＭＦＧ０１の内部に表示されたミラー変換画像ＭＴＧ０１と、接近している物体を示す物体指示画像ＯＰＧ０１と、接近している物体の移動方向を示す方向指示画像ＤＰＧ０１とから構成される。なお、物体指示画像ＯＰＧ０１と方向指示画像ＤＰＧ０１はミラー変換画像ＭＴＧ０１上に表示される。
【００８９】
また、Ｓ３９０で「注意」と判定された場合には、図１２（ｂ）に示すように、トップビュー画像ＴＶＧの横にサイドミラー画像ＳＭＧ０２が表示されるように加工する。このサイドミラー画像ＳＭＧ０２は、ミラー枠画像ＭＦＧ０２とミラー変換画像ＭＴＧ０２と物体指示画像ＯＰＧ０２と方向指示画像ＤＰＧ０２とから構成される。なおサイドミラー画像ＳＭＧ０２は、ミラー枠画像ＭＦＧ０１よりも、濃い色で且つ大きく表示される。さらに、物体指示画像ＯＰＧ０２と方向指示画像ＤＰＧ０２は、ミラー変換画像ＭＴＧ０２上において、物体指示画像ＯＰＧ０１と方向指示画像ＤＰＧ０１より大きく表示される。
【００９０】
また、Ｓ３９０で「緊急」と判定された場合には、図１２（ｃ）に示すように、トップビュー画像ＴＶＧの横にサイドミラー画像ＳＭＧ０３が表示されるように加工する。このサイドミラー画像ＳＭＧ０３は、ミラー枠画像ＭＦＧ０３とミラー変換画像ＭＴＧ０３と物体指示画像ＯＰＧ０３と方向指示画像ＤＰＧ０３とから構成される。なおサイドミラー画像ＳＭＧ０３は、ミラー枠画像ＭＦＧ０２よりも大きく表示される。さらに、物体指示画像ＯＰＧ０３と方向指示画像ＤＰＧ０３は、ミラー変換画像ＭＴＧ０３上において、物体指示画像ＯＰＧ０２と方向指示画像ＤＰＧ０２より大きく表示される。また、物体指示画像ＯＰＧ０１，０２と方向指示画像ＤＰＧ０１，０２が平面表示であるのに対して、物体指示画像ＯＰＧ０３と方向指示画像ＤＰＧ０３は、立体表示である。
【００９１】
そしてＳ４３０の処理が終了すると、Ｓ４４０にて、Ｓ４３０で生成された画像を表示装置５に表示させ、周辺画像表示処理を一旦終了する。
【００９２】
このように構成された車両用表示システム１では、サイドミラー画像の表示範囲を設定するための操作（表示範囲設定操作）が行われると、表示範囲設定操作により指示された表示範囲に応じた表示設定を行う（Ｓ３１０，Ｓ３２０）。このため、車両の乗員の操作により、ミラー変換画像の表示範囲を変更することを可能にする。
【００９３】
また、左サイドミラーと右サイドミラーの傾斜角度を設定するための操作（傾斜角度設定操作）が行われると、傾斜角度設定操作により指示された傾斜角度に応じた表示設定を行う（Ｓ３３０，Ｓ３４０）。そして、左サイドミラーと右サイドミラーの傾斜角度が設定された傾斜角度であると仮定した場合に運転者により視認される左サイドミラーと右サイドミラーの映像を、左側方カメラ１３および右側方カメラ１４から取得した撮影画像を座標変換することにより生成する（Ｓ４２０）。このため、左サイドミラーと右サイドミラーの傾斜角度が設定された傾斜角度であると仮定した場合に運転者により視認される車載用ミラーの映像について、上記設定される傾斜角度を、車両の乗員の操作により変更することを可能にする。
【００９４】
また、クリアランスソナー２３により車両に接近する物体を検出し（Ｓ３９０）、車両に接近する物体を検出したときにミラー変換画像を表示する（Ｓ４００，Ｓ４４０）。このため、車両に物体が接近すると自動的にミラー変換画像が表示されるので、ミラー変換画像が表示されることにより、車両の乗員に、車両に物体が接近していることを知らせることができる。
【００９５】
以上説明した参考例において、Ｓ４２０の処理は本参考例における画像変換手段、Ｓ４４０の処理は本参考例における表示手段、Ｓ３１０，Ｓ３２０の処理は本参考例における第１設定手段、Ｓ３３０，Ｓ３４０の処理は本参考例における第２設定手段、クリアランスソナー２３とＳ３９０の処理は本参考例における接近検出手段、表示範囲設定操作は本参考例における第１外部操作、傾斜角度設定操作は本参考例における第２外部操作である。
【００９６】
（第２参考例）
以下に第２参考例を説明する。なお、第２参考例では、第１参考例と異なる部分のみを説明する。
【００９７】
第２参考例の車両用表示システム１は、車両用表示システム１の構成と周辺画像表示処理が変更された点以外は第２実施形態と同じである。
【００９８】
図１３は、第２参考例の車両用表示システム１の構成を示すブロック図である。
【００９９】
第２参考例の車両用表示システム１は、図１３に示すように、車両の走行速度を検出する車速センサ２４と、車両のウインカーのオン・オフを検出するウインカーセンサ２５がセンサ群３に追加された点以外は第１参考例と同じである。
【０１００】
次に、第２参考例の周辺画像表示処理の手順を、図１４を用いて説明する。図１４は第２参考例の周辺画像表示処理を示すフローチャートである。
【０１０１】
この周辺画像表示処理が実行されると、ＣＰＵ５１は、まずＳ５１０にて、車速センサ２４の検出結果に基づいて、車両用表示システム１が搭載されている車両が停止しているか否かを判断する。ここで、車両が停止していない場合には（Ｓ５１０：ＮＯ）、周辺画像表示処理を一旦終了する。一方、車両が停止している場合には（Ｓ５１０：ＹＥＳ）、Ｓ５２０にて、シフトレバー位置センサ２１からの信号に基づき、シフトレバーの位置がドライブ「Ｄ」であるか否かを判断する。
【０１０２】
ここで、シフトレバーの位置がドライブ「Ｄ」でない場合には（Ｓ５２０：ＮＯ）、周辺画像表示処理を一旦終了する。一方、シフトレバーの位置がドライブ「Ｄ」である場合には（Ｓ５２０：ＹＥＳ）、Ｓ５３０にて、前方カメラ１１、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から撮影画像を取得する。
【０１０３】
そしてＳ５４０にて、Ｓ５３０で取得した撮影画像を用いてトップビュー画像を生成する。さらにＳ５５０にて、Ｓ５４０で生成されたトップビュー画像を、表示装置５に表示させる。
【０１０４】
その後Ｓ５６０にて、Ｓ３９０と同様にして、クリアランスソナー２３の検出結果に基づき、物体が車両に接近しているか否かと、その接近の危険度を判定する。そしてＳ５７０にて、Ｓ５６０で「安全」と判定されたか否かを判断する。ここで、「安全」と判定された場合には（Ｓ５７０：ＹＥＳ）、Ｓ５８０にて、ウインカーセンサ２５の検出結果に基づき、ウインカーがオンであるか否かを判断する。
【０１０５】
ここで、ウインカーがオフである場合には（Ｓ５８０：ＮＯ）、周辺画像表示処理を一旦終了する。一方、ウインカーがオンである場合には（Ｓ５８０：ＹＥＳ）、Ｓ５９０に移行する。またＳ５７０にて、Ｓ５６０で「安全」と判定されなかった場合には（Ｓ５７０：ＮＯ）、Ｓ５９０に移行する。
【０１０６】
そしてＳ５９０に移行すると、左側方カメラ１３及び右側方カメラ１４から撮影画像を取得する。その後Ｓ６００にて、Ｓ５９０で取得した撮影画像を用いて、左サイドミラー変換画像と右サイドミラー変換画像を生成する。
【０１０７】
さらにＳ６１０にて、Ｓ４３０と同様にして、Ｓ５６０で判定した危険度に応じて、Ｓ６００で生成された左サイドミラー変換画像、及び右サイドミラー変換画像を加工する。そしてＳ６２０にて、Ｓ６１０で生成された画像を表示装置５に表示させ、周辺画像表示処理を一旦終了する。
【０１０８】
このように構成された車両用表示システム１では、車速センサ２４が車両の走行速度を検出し、シフトレバー位置センサ２１が車両のシフトレバーの位置を検出し、ウインカーセンサ２５が車両のウインカーのオン・オフを検出する。そして、車速センサ２４、シフトレバー位置センサ２１、及びウインカーセンサ２５の検出結果に基づき、車両が停止し、且つシフトレバーの位置がドライブ「Ｄ」であり、且つウインカーがオンである場合に、ミラー変換画像を表示する（Ｓ５１０，Ｓ５２０，Ｓ５８０，Ｓ６２０）。このため、例えば図１５に示すように、車両停止状態から車道に進入しながら発進するという、後方確認が必要な状況において、車載用ミラーを見たときの画像を、車両の乗員の操作や指示によらず自動的に表示させることができる。
【０１０９】
以上説明した参考例において、Ｓ６００の処理は本参考例における画像変換手段、Ｓ６２０の処理は本参考例における表示手段、車速センサ２４は本参考例における車速検出手段、シフトレバー位置センサ２１は本参考例におけるシフト位置検出手段、ウインカーセンサ２５は本参考例におけるウインカー検出手段である。
【０１１０】
また、図１６〜２０は別の参考例を説明するための図である。
【０１１１】
図１６のサイドミラー画像ＳＭＧ１１で示すように、道路の消失点ＶＰまで表示することにより、遠くの障害物を確実に表示するようにしてもよい。また、移動体の接近速度に応じてハイライト色を変えたり、モーションブラー表示のような、移動速度を強調する表示を行ったりするようにしてもよい。
【０１１２】
また、車両が移動してもサイドミラーの背景を固定して表示するようにしてもよい。これにより、物体の移動速度を利用者に直感的に把握させることができる。また、物体の位置を運転者に把握し易くするために、距離等の補助情報をサイドミラー画像ＳＭＧ１１に追加してもよい。
【０１１３】
また、図１６のバックミラー画像ＢＭＧ１１で示すように、接近する移動体が映っている領域まで、表示範囲を拡大するようにしてもよい。バックミラー画像ＢＭＧ１１では、表示領域の右側から移動体が接近しているため（矢印Ｙ１１を参照）、バックミラー画像ＢＭＧ１１の右側の表示領域を延ばしている。
【０１１４】
また、図１６のバックミラー画像ＢＭＧ１１で示すように、駐車の目安となる物体があるときは、この物体を運転者が認識し易くするために、立体的な強調表示を行ったり、バックミラー画像ＢＭＧ１１からはみ出させたりするようにしてもよい（表示物体ＯＢ１１を参照）。なお、上記の立体的な強調表示については、普段の撮影画像から形状を３次元座標として取り込み、表面の材質等も画像をテクスチャとして貼り付けて、仮想現実（ＶＲ）イメージとして記録し、車両の移動位置に応じて、運転者が確実に駐車の目安として利用できるように表示してもよい。これにより、夜間や雨天でも、晴天時の目安となる物体が明確に表示されるため、運転者は安全に車両を駐車させることができる。
【０１１５】
また、図１６のトップビュー画像ＴＶＧ１１で示すように、ポールなどの固定物が設定距離以内に近付いた場合に、トップビュー画像にこの固定物を見やすく表示するようにしてもよい（ポール表示ＰＤ１１を参照）。
【０１１６】
また上記参考例では、シフトレバーの位置がリバース「Ｒ」で物体が接近しているときに、例えば図１７（ａ）に示すように、トップビュー画像ＴＶＧ２１、左サイドミラー画像ＳＭＧ２１、及び右サイドミラー画像ＳＭＧ２２を表示するものを示した。しかし、車両の左側後方（右側後方）から物体が接近しているときに、図１７（ｂ）に示すように、トップビュー画像ＴＶＧ２２および左サイドミラー画像ＳＭＧ２３を表示するとともに左サイドミラー画像ＳＭＧ２３を拡大表示するようにしてもよい。また、車両の右側後方から物体が接近しているときに、図１７（ｃ）に示すように、トップビュー画像ＴＶＧ２３および右サイドミラー画像ＳＭＧ２４を表示するとともに右サイドミラー画像ＳＭＧ２４を拡大表示するようにしてもよい。
【０１１７】
また上記の例では、図１１に示すように、移動体が車両に到達するまでに要する時間（到達時間）と、車両と固定物との間の距離とに基づいて、危険度を設定するものを示した。しかし、接近する物体の方向に応じて距離を変更して危険度を設定するようにしてもよい。また、相対速度や車両の移動方向に応じて危険度を設定するようにしてもよい。また、車両の進行方向に対する物体の角度に応じて危険度を設定するようにしてもよい。
【０１１８】
なお、上記の危険度を、以下の基準に基づいて設定するようにしてもよい。すなわち、車両の移動範囲ＭＲ（後述）内に物体が既に入っている場合には「緊急」、移動範囲ＭＲに物体が入りそうである場合には「危険」、移動範囲ＭＲに物体が近付いている場合には「注意」、移動範囲ＭＲに物体が近付いていない場合には「安全」と設定するようにしてもよい。ここで移動範囲ＭＲは、図１８に示すように、停車位置ＳＰから指定駐車位置ＰＰまで移動する際、駐車移動速度を例えば０．５ｍ／秒として、どの時刻に車両がどの移動空間範囲に存在するか否かを計算して求める。
【０１１９】
なお、運転者の運転技量に応じて、駐車移動速度を変えて移動範囲ＭＲを求めるようにしてもよい。例えば、熟練の運転者は、駐車時の車両移動速度が大きく短時間で駐車できる場合があるため、駐車移動速度を大きくして移動範囲ＭＲを求めるようにするとよい。また駐車移動速度に応じて、サイドミラー画像の表示による注意・危険の報知タイミングを変更できるようにすると、報知タイミングの遅れが低減され、報知による運転者の煩わしさが軽減される。
【０１２０】
また、固定物の接近判定については、設定された大きさ以上の物体を対象とするようにしてもよい。また、運転者が普段から駐車の目安としている固定物がある場合には、その固定物が移動範囲ＭＲ内に存在しない場合であっても、表示するようにしてもよい。このために、利用回数の多い駐車場では、駐車の目安となる物体を利用者が指定できるようにするとよい。例えば、駐車枠、輪止め、側方の壁などが表示された画像データを使って設定できるようにしてもよい。
【０１２１】
また、車両を駐車させようとしているときに、物体が車両に接触しそうであることを検出すると、接触しそうな側のサイドミラー画像（例えば、歩行者が車両の左側に接触しそうな場合には左サイドミラー画像）におけるミラー枠の形状の拡大表示と縮小表示と、音声報知（例えば、クラックが入るような音）を行い、乗員に危急状況であることを知らせるようにしてもよい。また、ミラー枠の形状の拡大表示と縮小表示と同時に、エンジン制御またはブレーキ制御装置に緊急停止のための処理を行わせて、車両に物体が接触したときに、車両を停止状態に近い状態にするようにしてもよい。
【０１２２】
また、サイドミラーに物体が接触したときに、サイドミラーが閉じるような動画を表示し、側方の障害物との接触を報知するようにしてもよい。
【０１２３】
また、駐車完了後にドアを開けると側方の固定物または移動体に接触する可能性がある場合に、サイドミラーがドアに変化する画像を表示して、接触の注意を促すようにしてもよい。また、車両後方も同様にして、トランクのドアが接触しそうな場合には、トランクドアの接触の注意を促す表示を、バックミラー画像の代わりにサイドミラー画像に追加するようにしてもよい。
【０１２４】
また図１９に示すように、車両を９０度回転させながら後退させて駐車区画に駐車する際に自動車、自転車、歩行者などが車両後方から接近する状況では、これらの接近物体は、運転者の視野から見づらく且つサイドミラー及びバックミラーでは見えない。このため、車載ミラーでは見えない範囲に位置する物体が接近する場合に、車載カメラ２による撮影画像を用いてサイドミラー画像やバックミラー画像を生成し、表示装置５に表示させるようにしてもよい。これにより、運転者に危険を知らせることができる。
【０１２５】
例えば、駐車区画ＰＫＡへの駐車を開始する前に停止するための位置Ｐ１に車両が位置しているときに、車両後方の車道、歩道の左側から移動体が接近していることが検知されると、左サイドミラー画像を表示するとともに、検知した物体の位置および速度に応じて対象物体を左サイドミラー画像上に強調表示するようにしてもよい。
【０１２６】
また、駐車区画ＰＫＡへ駐車するために車両を旋回させる位置Ｐ２に車両が位置しているときに、移動体が移動する道路（背景）がほぼ固定されて見えるようにサイドミラー画像を表示するようにしてもよい。すなわち、車両の旋回によっても、その影響を受けない画像を表示する。これにより、どの道路および歩道に障害物や歩行者がいて、それが近付くか遠ざかるかという接近位置判定が容易になる。このためには、車載カメラ２による撮影画像を回転補正するか、以前に駐車した位置であればそのときに記録した道路画像を固定画像として用い、これに、検出した障害物、歩行者、及び移動体を重ね合わせて表示するようにしてもよい。さらに、駐車区画ＰＫＡに対し、どの範囲に車両が入っているかを画像やソナー等で判定し、運転の修正が必要な場合に、サイドミラー画像を表示させる（例えば、接触する方向のサイドミラーを人の耳に見立てる）注意表示を行うようにしてもよい。
【０１２７】
また、駐車区画ＰＫＡに進入するために車両を後退させて歩道等を横切るときに、歩道に歩行者や自転車が通過しそう、または通過中であれば、移動体の接近を示す表示をサイドミラー画像に追加するようにしてもよい。また、駐車区画ＰＫＡを歩行者等が通過しようとする場合に、歩行者が近付く方向のサイドミラー画像（例えば、歩行者が車両の左側から近付いている場合には左サイドミラー画像）に、歩行者の位置と距離を示す表示を追加するようにしてもよい。また、衝突の危険がある場合には、衝突を報知するための警報を出すようにしてもよい。
【０１２８】
また、駐車区画ＰＫＡ内に車両が収容される位置Ｐ３に車両が位置しているときに、その車両の後方に輪止めがある場合には、輪止めに接触することを報知するようにしてもよい。また、輪止めがあっても後方の区画の車両と接触する可能性がある場合に、後方の車両との距離を案内するようにしてもよい。
【０１２９】
また、駐車区画ＰＫＡ内で車両が停止したときに、車両のドアの開閉機構（スライドドアであるか否か）に応じて、自車駐車区画の左右の駐車区画の車両との距離を計測し、ドアを開けるときの注意表示をサイドミラー画像に追加するようにしてもよい。また、車両の乗員に対して、ドアを開けるときの注意を音声案内するようにしてもよい。
【０１３０】
また上記の例では、物体の存在および距離を検出するためにクリアランスソナー２３を用いたが、画像やレーザを用いて検出するようにしてもよい。
【０１３１】
また図２０に示すように、サイドミラー画像に、車両のボディの一部が映っているようにするとよい（図中の点線で囲っている領域ＢＲ０１，０２を参照）。これにより、サイドミラー画像が、サイドミラーに映っている像を示しているということを車両の乗員に直感的に理解させることができる。
【０１３２】
また、車両の乗員は通常、車載用ミラーに映る画像により車両後方の障害物を確認するため、車両の乗員は、車載用ミラーに映る画像を見ることにより、車両後方の障害物の種類、及び障害物と車両との間の距離などを把握する。つまり、上記の車両用表示装置は、車両の乗員が、車載用ミラーを視認することなく、車両後方の障害物の種類、及び障害物と車両との間の距離を把握することを容易にする。
【０１３３】
また、上記の車両用表示装置において、ミラー変換画像が、所定乗員ミラー像を示す画像と、この画像の周囲に配置されて所定乗員ミラー像に対応した撮影領域の周辺の領域を示す画像とから構成され、表示手段が、ミラー変換画像のうち、所定乗員ミラー像に相当する部分を、ミラー枠画像が示す枠の内部に表示するとともに、ミラー枠画像が示す枠がミラー変換画像に対して透過しているようにミラー枠画像を表示するようにしてもよい。このように構成された車両用表示装置では、所定座席乗員の視点から車載用ミラーを見たときの車載用ミラーの画像（所定乗員ミラー像）と、その周辺の領域の画像が表示されるので、車両の乗員が、車載用ミラーを視認する場合よりも広い領域を確認することができる。さらに、ミラー枠画像が示す枠がミラー変換画像に対して透過している。このため、所定乗員ミラー像と、その周辺の領域を示す画像との境界部分の画像が、ミラー枠画像が示す枠に隠れて見えなくなるということがない。
【０１３４】
また第１設定手段が、予め設定された第１外部操作に基づいて、ミラー変換画像の表示範囲を設定するようにしてもよい。このように構成された車両用表示装置によれば、車両の乗員の操作により、ミラー変換画像の表示範囲を変更することを可能にする。
【０１３５】
また画像変換手段は、車載用ミラーの傾斜角度が予め設定された所定傾斜角度であると仮定した場合に所定座席乗員により視認される車載用ミラーの映像を、撮影手段により取得された周囲撮影画像を座標変換することにより生成するように構成され、第２設定手段が、予め設定された第２外部操作に基づいて、所定傾斜角度を設定するようにしてもよい。このように構成された車両用表示装置によれば、車載用ミラーの傾斜角度が所定傾斜角度であると仮定した場合に所定座席乗員により視認される車載用ミラーの映像について、上記所定傾斜角度を、車両の乗員の操作により変更することを可能にする。
【０１３６】
また車載用ミラーは、その傾斜角度を調整可能に構成されており、ミラー角度検出手段が、車載用ミラーの傾斜角度であるミラー角度を検出し、画像変換手段が、ミラー角度検出手段により検出されたミラー角度に応じた座標変換を行うことにより、ミラー変換画像を生成するようにしてもよい。このように構成された車両用表示装置によれば、車載用ミラーの傾斜角度（ミラー角度）の変化に連動して、その傾斜角度にある車載用ミラーを所定座席乗員の視点から見た画像を表示することができる。
【０１３７】
また表示手段が、撮影手段により取得された周囲撮影画像を、ミラー変換画像と同一の表示画面上に表示するようにしてもよい。このように構成された車両用表示装置によれば、車両の乗員は、一つの表示画面を見れば、車載用ミラーに対応する画像と周囲撮影画像とを同時に確認することができる。
【０１３８】
ところで、周囲撮影画像が、車両の後方を撮影したものである場合には、撮影手段により取得された周囲撮影画像をそのまま表示すると、その表示された画像は車両の乗員に対して左右逆の画像となる。なぜならば、撮影手段は車両の後方を撮影しているために、車両の前方を向いている車両乗員の右側（左側）に位置しているものが周囲撮影画像ではその左側（右側）に配置されるからである。そこで、周囲撮影画像が車両の後方を撮影したものである場合には、請求項１２に記載のように、左右逆画像生成手段が、撮影手段により取得された周囲撮影画像と左右が逆になった画像である左右逆画像を生成し、表示手段が、左右逆画像生成手段により生成された左右逆画像を、ミラー変換画像と同一の表示画面上に表示するようにするとよい。このように構成された車両用表示装置によれば、撮影手段により取得された画像を表示すると、その表示された画像は車両の乗員に対して左右が一致した画像となる。
【０１３９】
また俯瞰画像生成手段が、撮影手段により取得された周囲撮影画像を用いて、車両の上方の視点から車両を俯瞰した俯瞰画像を生成し、表示手段が、俯瞰画像生成手段により生成された俯瞰画像を、ミラー変換画像と同一の表示画面上に表示するようにしてもよい。このように構成された車両用表示装置によれば、車両の乗員は、一つの表示画面を見れば、車載用ミラーに対応する画像と俯瞰画像とを同時に確認することができる。
【０１４０】
また接近検出手段が、車両に接近する物体である車両接近物体を検出し、表示手段が、接近検出手段が車両接近物体を検出したときに、ミラー変換画像を表示するようにしてもよい。このように構成された車両用表示装置では、車両に物体が接近すると自動的にミラー変換画像が表示されるので、ミラー変換画像が表示されることにより、車両の乗員に、車両に物体が接近していることを知らせることができる。
【０１４１】
また車速検出手段が車両の移動速度を検出し、シフト位置検出手段が車両の変速機のシフト位置を検出し、ウインカー検出手段が車両のウインカーの点灯を検出し、表示手段が、車速検出手段、シフト位置検出手段、及びウインカー検出手段の検出結果に基づき、車両が停止し、且つシフト位置が車両の前進可能な位置であり、且つウインカーが点灯している場合に、ミラー変換画像を表示するようにしてもよい。このように構成された車両用表示装置によれば、車両停止状態から車道に進入しながら発進するという、後方確認が必要な状況において、車載用ミラーを見たときの画像を、車両の乗員の操作や指示によらず自動的に表示させることができる。
【符号の説明】
【０１４２】
１…車両用表示システム、２…車載カメラ、３…センサ群、４…画像処理装置、５…表示装置、１１…前方カメラ、１２…後方カメラ、１３…左側方カメラ、１４…右側方カメラ、２１…シフトレバー位置センサ、２２…ミラー角度センサ、２３…クリアランスソナー、２４…車速センサ、２５…ウインカーセンサ、３１…カメラＩ／Ｆ、３２…車両Ｉ／Ｆ、３３…表示Ｉ／Ｆ、３４…記憶部、３５…操作部、３６…制御部、３７…バス、４１…視点変換マップデータベース、５１…ＣＰＵ、５２…ＲＯＭ、５３…ＲＡＭ
【技術分野】
【０００１】
本発明は、車両に搭載され、その車両の周囲を撮影した画像を車両の乗員に視認させる車両用表示装置に関する。
【背景技術】
【０００２】
従来、車両駐車時における運転支援のために、車両の前方、後方、左側方、及び右側方を複数台（例えば４台）の車載カメラで撮影し、さらに、各車載カメラで撮影した撮影画像を、車両の上方から見下ろした俯瞰画像に変換して繋ぎ合わせることにより、車両およびその周囲全体を俯瞰した１枚の俯瞰画像（以下、全体俯瞰画像という）を生成し、この全体俯瞰画像を表示する車両用表示装置が知られている。
【０００３】
このような車両用表示装置において、隣り合う車載カメラで重複して撮影される撮影重複領域に車両の走行を妨げるような物体（以下、障害物という）が存在する場合に、この障害物が全体俯瞰画像に表示されなかったり、鮮明に表示されなかったりするという問題が指摘されている。
【０００４】
このような問題を解決するために、全体俯瞰画像を表示している状態で障害物を検出したときには、各車載カメラで撮影した撮影画像を表示する状態に切り替える車両用表示装置が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２３５５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の車両用表示装置において、各車載カメラで撮影した撮影画像が表示されたときに、この撮影画像を視認しただけでは、車両の乗員は、車両後方の障害物の種類や、障害物と車両との間の距離を把握しづらいという問題があった。全体俯瞰画像を生成するために撮影する車載カメラは、少ないカメラ個数で車両の周囲全体を撮影する必要があり、車載カメラによる撮影画像は、車両の乗員が障害物を直接視認する場合の像と大きく異なるからである。
【０００７】
本発明は、こうした問題に鑑みてなされたものであり、車両の乗員が、障害物の種類、及び障害物と車両との間の距離を把握することを容易にする車両用表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するためになされた請求項１に記載の車両用表示装置では、車両に設置される車両用表示装置であって、車両の周囲における予め設定された所定撮影領域を繰り返し撮影し、周囲撮影画像を取得する撮影手段と、周囲撮影画像を座標変換することにより、車両内の所定の座席に座っている乗員の視点からミラー越しに車両の後方を見た画像を模したミラー変換画像を生成する画像変換手段と、周囲撮影画像を用いて、車両の上方の視点から車両を俯瞰した画像であって車両の全体画像を含む俯瞰画像を生成する俯瞰画像生成手段と、ミラー変換画像と俯瞰画像とを同一の表示画面上に表示する表示手段とを備え、表示手段は、表示画面に予め設定された矩形の第１表示領域に車両の全体画像の車両前方が上を向くように俯瞰画像を表示し、矩形の第１表示領域の側方であって、かつ該矩形の側辺の下側に偏って設定された第２表示領域に、ミラー変換画像を表示することを特徴とする。
【０００９】
このように構成された車両用表示装置によれば、車両の乗員が、障害物の種類、及び障害物と車両との間の距離を把握することが容易となる。
【００１０】
また請求項１に記載の車両用表示装置において、請求項２に記載のように、表示手段が、車載用ミラーの枠を示すミラー枠画像を表示するとともに、ミラー枠画像が示す枠の内部にミラー変換画像を表示するようにしてもよい。
【００１１】
このように構成された車両用表示装置では、ミラー変換画像の周囲に車載用ミラーの枠が表示されるので、ミラー変換画像が車載用ミラーに映っている画像に相当するものであるということを車両の乗員に容易に把握させることができる。
【００１２】
また、請求項１または２に記載の車両用表示装置において、請求項３に記載のように、ミラー枠画像が透過しているようにミラー枠画像を表示するようにしてもよい。
【００１３】
このように構成された車両用表示装置によれば、運転者ミラー像と、その周辺の領域を示す画像との境界部分の画像が、ミラー枠画像が示す枠に隠れて見えなくなるということがない。
【００１４】
また請求項１ないし請求項３の何れかに記載の車両用表示装置において、請求項４に記載のように、表示手段が左右のミラー変換画像を同一表示画面上に表示するようにしてもよい。
【００１５】
このように構成された車両用表示装置によれば、車両の乗員は、一つの表示画面を見れば、左右のミラー変換画像を同時に確認することができる。したがって車両の乗員は、視線を移動させる必要がなくなり、車両後方の確認作業を容易に行うことができる。
【図面の簡単な説明】
【００１６】
【図１】車両用表示システム１の構成を示すブロック図である。
【図２】周辺画像表示処理の前半部分を示すフローチャートである。
【図３】周辺画像表示処理の後半部分を示すフローチャートである。
【図４】第１，２，３の参考表示態様を示す図である。
【図５】第４，５，６の参考表示態様を示す図である。
【図６】第７，８，９の参考表示態様を示す図である。
【図７】表示装置の表示態様を示す図である。
【図８】第１０の参考表示態様を示す図である。
【図９】第１参考例の車両用表示システム１の構成を示すブロック図である。
【図１０】第１参考例の周辺画像表示処理を示すフローチャートである。
【図１１】接近判定方法を示す図である。
【図１２】第１参考例の表示態様を示す図である。
【図１３】第２参考例の車両用表示システム１の構成を示すブロック図である。
【図１４】第２参考例の周辺画像表示処理を示すフローチャートである。
【図１５】縦列駐車からの発進状況を示す図である。
【図１６】別の参考例の表示態様を示す図である。
【図１７】別の参考例の表示態様を示す図である。
【図１８】車両の移動範囲ＭＲを示す図である。
【図１９】駐車時に移動体が車両後方から接近する状況を示す図である。
【図２０】別の参考例の表示態様を示す図である。
【発明を実施するための形態】
【００１７】
（第１実施形態）
以下に本発明の第１実施形態を図面とともに説明する。
【００１８】
図１は、本実施形態の車両用表示システム１の構成を示すブロック図である。
【００１９】
車両用表示システム１は、車両に搭載され、図１に示すように、車両の周辺を連続して撮影する車載カメラ２と、車両の状態を検出する複数のセンサからなるセンサ群３と、車載カメラ２による撮影画像とセンサ群３による検出結果とに基づいて画像処理を行う画像処理装置４と、画像処理装置４により処理された画像を表示する表示装置５とを備えている。
【００２０】
そして車載カメラ２は、前方カメラ１１、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から構成されている。前方カメラ１１は、車両の前端部（本実施形態ではフロントバンパー）に設置されており、車両の前方の状況を撮影する。また後方カメラ１２は、車両の後端部（本実施形態ではリアバンパー）に設置されており、車両の後方の状況を撮影する。また左側方カメラ１３は、車両の左端部（本実施形態では車両左側のサイドミラー）に設置されており、車両の左側方の状況を撮影する。また右側方カメラ１４は、車両の右端部（本実施形態では車両右側のサイドミラー）に設置されており、車両の右側方の状況を撮影する。
【００２１】
さらにセンサ群３は、シフトレバー位置センサ２１と、ミラー角度センサ２２とから構成されている。シフトレバー位置センサ２１は、車両のシフトレバーの位置を検出する。またミラー角度センサ２２は、車両左側のサイドミラー（以下、左サイドミラーという）、車両右側のサイドミラー（以下、右サイドミラーという）、及び車室内のバックミラーの傾斜角度を検出する。
【００２２】
画像処理装置４は、カメラインタフェース（以下、カメラＩ／Ｆという）３１と、車両インタフェース（以下、車両Ｉ／Ｆという）３２と、表示インタフェース（以下、表示Ｉ／Ｆという）３３と、記憶部３４と、操作部３５と、制御部３６と、これらを結ぶバス３７とを備える。
【００２３】
カメラＩ／Ｆ３１は、前方カメラ１１、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から撮影画像を入力するためのインタフェースである。
【００２４】
車両Ｉ／Ｆ３２は、各種センサ２１，２２から信号を入力するためのインタフェースである。なお、センサ２１〜２３からの信号は、直接入力されてもよく、また、車両に搭載されている各種ＥＣＵ（電子制御装置）等を介して入力されてもよい。
【００２５】
表示Ｉ／Ｆ３３は、画像処理装置４により画像処理された画像データを表示装置５へ出力するためのインタフェースである。
【００２６】
記憶部３４は、不揮発性記憶媒体（本実施形態ではハードディスク）に各種情報を記憶する。この記憶部３４には、視点変換マップデータベース４１が記憶されている。
【００２７】
そして視点変換マップデータベース４１には、複数種類の視点変換マップが記憶されている。ここで、視点変換マップとは、車載カメラ２の撮影画像を座標変換することにより撮影時の視点とは異なる視点から見た変換画像を生成するためのマップである。本実施形態では、車両の上方の視点から見た変換画像を生成するための視点変換マップＭ１、運転席に着座している乗員（以下、運転者という）からの視点で左サイドミラーを見た変換画像を生成するための視点変換マップＭ２、運転者からの視点で右サイドミラーを見た変換画像を生成するための視点変換マップＭ３と、運転者からの視点でバックミラーを見た変換画像を生成するための視点変換マップＭ４、後方カメラ１２の撮影画像を左右逆に座標変換した変換画像を生成するための視点変換マップＭ５、及び車両の前方の斜め上の視点から車両を見た変換画像を生成するための視点変換マップＭ６が記憶されている。
【００２８】
操作部３５は、車両の乗員からの外部操作による指令を入力するものであり、外部操作用の複数のキー等を備えている。
【００２９】
制御部３６は、ＣＰＵ５１、ＲＯＭ５２、及びＲＡＭ５３等からなるマイクロコンピュータを中心に構成されている。ここでＲＯＭ５２には、後述する周辺画像表示処理をＣＰＵ５１に実行させるためのプログラムが記憶されている。
【００３０】
このように構成された車両用表示システム１において、制御部３６のＣＰＵ５１は、車両周辺の画像を表示する周辺画像表示処理を実行する。
【００３１】
ここで、車両用表示システム１のＣＰＵ５１が実行する周辺画像表示処理の手順を、図２，３を用いて説明する。図２は周辺画像表示処理の前半部分を示すフローチャート、図３は周辺画像表示処理の後半部分を示すフローチャートである。この周辺画像表示処理は、制御部３６のＣＰＵ５１が起動（電源オン）している間に繰り返し実行される処理である。
【００３２】
この周辺画像表示処理が実行されると、ＣＰＵ５１は、まずＳ１０にて、表示装置５の表示態様を設定するための操作（以下、表示態様設定操作という）が、操作部３５を介して行われたか否かを判断する。
【００３３】
本実施形態では、上記の表示態様は、図７が示す表示態様と、図４〜６、図８が示す参考表示態様の合計１１種類設けられており、車両の乗員が操作部３５を介して表示態様設定操作を行うことにより、表示態様を選択できるように構成されている。
【００３４】
まず第１の参考表示態様は、図４（ａ）に示すように、車両の上方の視点から車両とその周辺を見た画像（以下、トップビュー画像という）ＴＶ０１と、運転者からの視点で左サイドミラーを見た画像（以下、左サイドミラー画像という）ＬＭ０１と、運転者からの視点で右サイドミラーを見た画像（以下、右サイドミラー画像という）ＲＭ０１とを表示する態様である。この第１の表示態様では、表示画面の中央部にトップビュー画像ＴＶ０１、表示画面の左側に左サイドミラー画像ＬＭ０１、表示画面の右側に右サイドミラー画像ＲＭ０１が配置される。また、左サイドミラー画像ＬＭ０１及び右サイドミラー画像ＲＭ０１は、その表示領域が略矩形状に形成されている。
【００３５】
また第２の参考表示態様は、図４（ｂ）に示すように、トップビュー画像ＴＶ０２と左サイドミラー画像ＬＭ０２と右サイドミラー画像ＲＭ０２とを表示する態様である。この第２の表示態様では、表示画面の中央部にトップビュー画像ＴＶ０２、表示画面の左側に左サイドミラー画像ＬＭ０２、表示画面の右側に右サイドミラー画像ＲＭ０２が配置される。また、左サイドミラー画像ＬＭ０２及び右サイドミラー画像ＲＭ０２は、その表示領域が略矩形状に形成されている。さらにトップビュー画像ＴＶ０２上では、左サイドミラー画像ＬＭ０２（右サイドミラー画像ＲＭ０２）で映っている車両周辺領域の範囲を示す表示ＲＤＬ（ＲＤＲ）が追加されている（図中の点線で囲われた領域を参照）。
【００３６】
また第３の参考表示態様は、図４（ｃ）に示すように、トップビュー画像ＴＶ０３と左サイドミラー画像ＬＭ０３と右サイドミラー画像ＲＭ０３とを表示する態様である。この第３の表示態様では、表示画面の中央部にトップビュー画像ＴＶ０３、表示画面の左側に左サイドミラー画像ＬＭ０３、表示画面の右側に右サイドミラー画像ＲＭ０３が配置される。また、左サイドミラー画像ＬＭ０３（右サイドミラー画像ＲＭ０３）は、車両用表示システム１が搭載されている車両のサイドミラーと同じ形状の枠を示すミラー枠画像ＦＬ０３（ＦＲ０３）と、ミラー枠画像ＦＬ０３（ＦＲ０３）の内部に表示された変換画像ＴＬ０３（ＴＲ０３）とから構成される。
【００３７】
また第４の参考表示態様は、図５（ａ）に示すように、車両用表示システム１が搭載されている車両の全体像を示す車両全体画像ＣＡ０４と、左サイドミラー画像ＬＭ０４と右サイドミラー画像ＲＭ０４とを表示する態様である。この第４の表示態様では、表示画面の中央部に車両全体画像ＣＡ０４、表示画面の左側に左サイドミラー画像ＬＭ０４、表示画面の右側に右サイドミラー画像ＲＭ０４が配置される。また、左サイドミラー画像ＬＭ０４（右サイドミラー画像ＲＭ０４）は、車両用表示システム１が搭載されている車両のサイドミラーと同じ形状の枠を示すミラー枠画像ＦＬ０４（ＦＲ０４）と、ミラー枠画像ＦＬ０４（ＦＲ０４）の内部に表示された変換画像ＴＬ０４（ＴＲ０４）とから構成される。
【００３８】
また第５の参考表示態様は、図５（ｂ）に示すように、車両全体画像ＣＡ０５と左サイドミラー画像ＬＭ０５と右サイドミラー画像ＲＭ０５と、運転者からの視点で車室内のバックミラーを見た画像（以下、バックミラー画像という）ＢＭ０５とを表示する態様である。この第５の表示態様では、表示画面の中央部に車両全体画像ＣＡ０５、表示画面の左側に左サイドミラー画像ＬＭ０５、表示画面の右側に右サイドミラー画像ＲＭ０５、表示画面の上側にバックミラー画像ＢＭ０５が配置される。また、左サイドミラー画像ＬＭ０５（右サイドミラー画像ＲＭ０５）は、車両用表示システム１が搭載されている車両のサイドミラーと同じ形状の枠を示すミラー枠画像ＦＬ０５（ＦＲ０５）と、ミラー枠画像ＦＬ０５（ＦＲ０５）の内部に表示された変換画像ＴＬ０５（ＴＲ０５）とから構成される。さらにバックミラー画像ＢＭ０５は、車両用表示システム１が搭載されている車両のバックミラーと同じ形状の枠を示すミラー枠画像ＦＢ０５と、ミラー枠画像ＦＢ０５の内部に表示された変換画像ＴＢ０５とから構成される。
【００３９】
また第６の参考表示態様は、図５（ｃ）に示すように、トップビュー画像ＴＶ０６と左サイドミラー画像ＬＭ０６と右サイドミラー画像ＲＭ０６とバックミラー画像ＢＭ０６とを表示する態様である。この第６の表示態様では、表示画面の中央部にトップビュー画像ＴＶ０６、表示画面の左側に左サイドミラー画像ＬＭ０６、表示画面の右側に右サイドミラー画像ＲＭ０６、表示画面の上側にバックミラー画像ＢＭ０６が配置される。また、左サイドミラー画像ＬＭ０６及び右サイドミラー画像ＲＭ０６は、その表示領域が略矩形状に形成されている。さらにバックミラー画像ＢＭ０６は、車両用表示システム１が搭載されている車両のバックミラーと同じ形状の枠を示すミラー枠画像ＦＢ０６と、ミラー枠画像ＦＢ０６の内部に表示された変換画像ＴＢ０６とから構成される。
【００４０】
また第７の参考表示態様は、図６（ａ）に示すように、トップビュー画像ＴＶ０７と左サイドミラー画像ＬＭ０７と右サイドミラー画像ＲＭ０７とバックミラー画像ＢＭ０７とを表示する態様である。この第７の表示態様では、表示画面の中央部にトップビュー画像ＴＶ０７、表示画面の左側に左サイドミラー画像ＬＭ０７、表示画面の右側に右サイドミラー画像ＲＭ０７、表示画面の下側にバックミラー画像ＢＭ０７が配置される。また、左サイドミラー画像ＬＭ０７、右サイドミラー画像ＲＭ０７、及びバックミラー画像ＢＭ０７は、その表示領域が略矩形状に形成されている。
【００４１】
また第８の参考表示態様は、図６（ｂ）に示すように、後方カメラ１２の撮影画像を左右逆に座標変換した画像（以下、後方左右逆変換画像という）ＲＶ０８と、左サイドミラー画像ＬＭ０８と右サイドミラー画像ＲＭ０８とを表示する態様である。この第８の表示態様では、表示画面の中央部に後方左右逆変換画像ＲＶ０８、表示画面の左側に左サイドミラー画像ＬＭ０８、表示画面の右側に右サイドミラー画像ＲＭ０８が配置される。また、左サイドミラー画像ＬＭ０８、及び右サイドミラー画像ＲＭ０８は、その表示領域が略矩形状に形成されている。
【００４２】
また第９の参考表示態様は、図６（ｃ）に示すように、車両の前方の斜め上の視点から車両を見た画像（以下、トップリアビュー画像という）ＴＲ０９と、左サイドミラー画像ＬＭ０９と右サイドミラー画像ＲＭ０９とを表示する態様である。この第９の表示態様では、表示画面の中央部にトップリアビュー画像ＴＲ０９、表示画面の左側に左サイドミラー画像ＬＭ０９、表示画面の右側に右サイドミラー画像ＲＭ０９が配置される。また、左サイドミラー画像ＬＭ０９、及び右サイドミラー画像ＲＭ０９は、その表示領域が略矩形状に形成されている。
【００４３】
ここで、本実施形態における表示態様は、図７に示すように、トップビュー画像ＴＶ１０と左サイドミラー画像ＬＭ１０と右サイドミラー画像ＲＭ１０とを表示する態様である。この第１０の表示態様では、表示画面の中央部にトップビュー画像ＴＶ１０、表示画面の左側に左サイドミラー画像ＬＭ１０、表示画面の右側に右サイドミラー画像ＲＭ１０が配置される。また左サイドミラー画像ＬＭ１０（右サイドミラー画像ＲＭ１０）は、運転者が左サイドミラー（右サイドミラー）を介して見る視点で左側方カメラ１３（右側方カメラ１４）の撮影画像を座標変換した変換画像（以下、サイドミラー視点変換画像という）ＴＬ１０（ＴＲ１０）と、車両用表示システム１が搭載されている車両のサイドミラーと同じ形状の枠が変換画像に対して透過しているように表わしたミラー枠画像ＦＬ１０（ＦＲ１０）とから構成される。すなわち、サイドミラー視点変換画像ＴＬ１０（ＴＲ１０）のうち、ミラー枠画像ＦＬ１０（ＦＲ１０）の枠内の画像が、運転者がサイドミラーを介して視認する景色に相当する。
【００４４】
また第１０の参考表示態様は、図８（ａ）〜（ｃ）に示すように、３段階で表示を変化させる態様である。すなわち、まず図８（ａ）に示すように、表示画面の中央部にトップビュー画像ＴＶ１１のみを表示する。そして予め設定された表示開始条件が成立すると、図８（ｂ）に示すように、トップビュー画像ＴＶ１１と、左サイドミラー画像ＬＭ１１及び右サイドミラー画像ＲＭ１１とを表示する。その後、予め設定された表示開始時間（例えば、５秒）が経過すると、図８（ｃ）に示すように、左サイドミラー画像ＬＭ１１及び右サイドミラー画像ＲＭ１１の代わりに、サイドミラー視点変換画像ＴＬ１１及びＴＲ１１を表示する。
【００４５】
そして図２に示すように、Ｓ１０にて、表示態様設定操作が行われていないと判断した場合には（Ｓ１０：ＮＯ）、Ｓ３０に移行する。一方、表示態様設定操作が行われたと判断した場合には（Ｓ１０：ＹＥＳ）、Ｓ２０にて、表示態様設定操作により指示された表示態様に応じた表示設定を行い、Ｓ３０に移行する。例えば、表示態様設定操作が第１の表示態様を指示するものである場合には、第１の表示態様で表示するように設定する。
【００４６】
そしてＳ３０に移行すると、シフトレバー位置センサ２１からの信号に基づき、シフトレバーの位置がリバース「Ｒ」であるか否かを判断する。ここで、シフトレバーの位置がリバース「Ｒ」でない場合には（Ｓ３０：ＮＯ）、Ｓ１６０に移行する。一方、シフトレバーの位置がリバース「Ｒ」である場合には（Ｓ３０：ＹＥＳ）、Ｓ４０にて、Ｓ２０で設定された表示態様がトップビュー画像を表示するものであるか否かを判断する。つまり、図７の表示態様、第１，２，３，６，７，１０の参考表示態様が設定されているか否かを判断する。
【００４７】
ここで、表示態様がトップビュー画像を表示するものである場合には（Ｓ４０：ＹＥＳ）、Ｓ５０にて、前方カメラ１１、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から撮影画像を取得する。
【００４８】
そしてＳ６０にて、Ｓ５０で取得した撮影画像を用いてトップビュー画像を生成する。具体的には、まず、前方カメラ１１、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から取得した４つの撮影画像をそれぞれ、視点変換マップデータベース４１に記憶されている視点変換マップＭ１を用いて座標変換する。その後、座標変換処理が行われた４つの変換画像について、これら４つの変換画像の重複部分を繋ぎ合わせる合成処理を行う。これにより、車両およびその周囲全体を俯瞰した１枚のトップビュー画像が生成される。さらにＳ７０にて、Ｓ６０で生成されたトップビュー画像を、Ｓ２０で設定した表示態様で表示装置５に表示させ、Ｓ１６０に移行する。
【００４９】
またＳ４０にて、表示態様がトップビュー画像を表示するものでない場合には（Ｓ４０：ＮＯ）、Ｓ８０にて、表示態様が後方左右逆変換画像を表示するものであるか否かを判断する。つまり、第８の表示態様が設定されているか否かを判断する。ここで、表示態様が後方左右逆変換画像を表示するものである場合には（Ｓ８０：ＹＥＳ）、Ｓ９０にて、後方カメラ１２から撮影画像を取得する。
【００５０】
そしてＳ１００にて、Ｓ９０で取得した撮影画像を用いて後方左右逆変換画像を生成する。具体的には、後方カメラ１２から取得した撮影画像を、視点変換マップデータベース４１に記憶されている視点変換マップＭ５を用いて座標変換する。これにより、１枚の後方左右逆変換画像が生成される。さらにＳ１１０にて、Ｓ１００で生成された後方左右逆変換画像を、Ｓ２０で設定した表示態様で表示装置５に表示させ、Ｓ１６０に移行する。
【００５１】
またＳ８０にて、表示態様が後方左右逆変換画像を表示するものでない場合には（Ｓ８０：ＮＯ）、Ｓ１２０にて、表示態様がトップリアビュー画像を表示するものであるか否かを判断する。つまり、第９の表示態様が設定されているか否かを判断する。ここで、表示態様がトップリアビュー画像を表示するものである場合には（Ｓ１２０：ＹＥＳ）、Ｓ１３０にて、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から撮影画像を取得する。
【００５２】
そしてＳ１４０にて、Ｓ１３０で取得した撮影画像を用いてトップリアビュー画像を生成する。具体的には、まず、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から取得した３つの撮影画像をそれぞれ、視点変換マップデータベース４１に記憶されている視点変換マップＭ６を用いて座標変換する。その後、座標変換処理が行われた３つの変換画像について、これら３つの変換画像の重複部分を繋ぎ合わせる合成処理を行う。これにより、トップリアビュー画像が生成される。さらにＳ１５０にて、Ｓ１４０で生成されたトップリアビュー画像を、Ｓ２０で設定した表示態様で表示装置５に表示させ、Ｓ１６０に移行する。
【００５３】
またＳ１２０にて、表示態様がトップリアビュー画像を表示するものでない場合には（Ｓ１２０：ＮＯ）、Ｓ１６０に移行する。
【００５４】
そしてＳ１６０に移行すると、図３に示すように、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から撮影画像を取得する。その後Ｓ１７０にて、Ｓ１６０で取得した撮影画像を用いて、運転者からの視点で左サイドミラーを見た変換画像（以下、左サイドミラー変換画像という）、運転者からの視点で右サイドミラーを見た変換画像（以下、右サイドミラー変換画像という）、及び運転者からの視点でバックミラーを見た変換画像（以下、バックミラー変換画像という）を生成する。具体的には、左側方カメラ１３、右側方カメラ１４、及び後方カメラ１２から取得した３つの撮影画像をそれぞれ、視点変換マップデータベース４１に記憶されている視点変換マップＭ２、視点変換マップＭ３、及び視点変換マップＭ４と、ミラー角度センサ２２の検出結果とに基づいて、座標変換する。したがって、左サイドミラー、右サイドミラー、及びバックミラーの傾斜角度の変化に連動して、それぞれ左サイドミラー変換画像、右サイドミラー変換画像、及びバックミラー変換画像が変化する。
【００５５】
その後Ｓ１８０にて、Ｓ２０で設定した表示態様に応じて、Ｓ１７０で生成された左サイドミラー変換画像、右サイドミラー変換画像、及びバックミラー変換画像を加工する。例えば、第５の表示態様に設定されている場合には、左サイドミラー変換画像、右サイドミラー変換画像、及びバックミラー変換画像に対してそれぞれ、ミラー枠画像ＦＬ０５、ミラー枠画像ＦＲ０５、及びミラー枠画像ＦＢ０５を追加する加工を行い、左サイドミラー画像ＬＭ０５、右サイドミラー画像ＲＭ０５、及びバックミラー画像ＢＭ０５を生成する。
【００５６】
そしてＳ１９０にて、Ｓ１８０で生成された画像を表示装置５に表示させ、周辺画像表示処理を一旦終了する。なおＳ１９０では、第４，５の表示態様の場合に、車両全体画像ＣＡ０４，ＣＡ０５を追加して表示する。
【００５７】
このように構成された車両用表示システム１では、まず、車両の後方、左側方、及び右側方を後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４で繰り返し撮影し、撮影した画像（以下、周囲撮影画像という）を取得する（Ｓ１６０）。そして、運転席に着座している乗員（運転者）の視点から、左サイドミラー、右サイドミラー、及びバックミラーを見たときに運転者により視認される左サイドミラー、右サイドミラー、及びバックミラーの映像を示す左サイドミラー変換画像、右サイドミラー変換画像、及びバックミラー変換画像を、取得した周囲撮影画像を座標変換することにより生成する（Ｓ１７０）。その後に、左サイドミラー変換画像、右サイドミラー変換画像、及びバックミラー変換画像を表示する（Ｓ１９０）。なお以下、左サイドミラー、右サイドミラー、及びバックミラーをまとめて車載用ミラーともいう。また、左サイドミラー変換画像、右サイドミラー変換画像、及びバックミラー変換画像をまとめてミラー変換画像ともいう。
【００５８】
このように構成された車両用表示システム１によれば、運転者の視点から車載用ミラーを見たときの車載用ミラーの画像を表示することができる。なお、運転者は通常、車載用ミラーに映る画像により車両後方の障害物を確認するため、運転者は、車載用ミラーに映る画像を見ることにより、車両後方の障害物の種類、及び障害物と車両との間の距離などを把握する。つまり、車両用表示システム１は、運転者が、車載用ミラーを視認することなく、車両後方の障害物の種類、及び障害物と車両との間の距離を把握することを容易にすることができる。
【００５９】
また図７の表示態様、第３，４，５，１０の参考表示態様では、車載用ミラーの枠を示す画像（ミラー枠画像）を表示するとともに、ミラー枠画像の内部にミラー変換画像を表示する。すなわち、ミラー変換画像の周囲に車載用ミラーの枠が表示されるので、ミラー変換画像が車載用ミラーに映っている画像に相当するものであるということを車両の乗員に容易に把握させることができる。
【００６０】
また図７の表示態様、第３，４，５の参考表示態様では、ミラー枠画像が、車載用ミラーの枠と同じ枠を示す画像である。このため、ミラー変換画像が車載用ミラーに映っている画像に相当するものであるということを車両の乗員に更に容易に把握させることができる。
【００６１】
また図７の表示態様では、運転者の視点から、左サイドミラー（右サイドミラー）を見たときに運転者により視認される左サイドミラー（右サイドミラー）の映像（以下、運転者ミラー像）を示す画像と、この画像の周囲に配置されて運転者ミラー像に対応した撮影領域の周辺の領域を示す画像とから構成され、左サイドミラー変換画像（右サイドミラー変換画像）のうち、運転者ミラー像に相当する部分を、ミラー枠画像が示す枠の内部に表示するとともに、ミラー枠画像が示す枠が左サイドミラー変換画像（右サイドミラー変換画像）に対して透過しているようにミラー枠画像を表示する。このため、運転者の視点から車載用ミラーを見たときの車載用ミラーの画像（運転者ミラー像）と、その周辺の領域の画像が表示されるので、運転者が、車載用ミラーを視認する場合よりも広い領域を確認することができる。さらに、ミラー枠画像が示す枠がミラー変換画像に対して透過している。このため、運転者ミラー像と、その周辺の領域を示す画像との境界部分の画像が、ミラー枠画像が示す枠に隠れて見えなくなるということがない。
【００６２】
また、車両には左サイドミラー、右サイドミラー、及びバックミラーが取り付けられており、左サイドミラー、右サイドミラー、及びバックミラーそれぞれに対応する複数の運転者ミラー像について、これら複数の運転者ミラー像それぞれを示す複数のミラー変換画像を同一表示画面上に表示する。このため、車両の乗員は、一つの表示画面を見れば、左サイドミラー、右サイドミラー、及びバックミラーそれぞれに対応する画像を同時に確認することができる。したがって車両の乗員は、複数の車載用ミラーに映る画像を確認するために、或る車載用ミラーから他の車載用ミラーに視線を移動させる必要がなくなり、車両後方の確認作業を容易に行うことができる。
【００６３】
また第５，６の参考表示態様では、左サイドミラー、右サイドミラー、及びバックミラーの互いの位置関係に合うように、同一表示画面上において、左サイドミラー変換画像、右サイドミラー変換画像、及びバックミラー変換画像を配置する。このため、同一表示画面上に表示されている複数のミラー変換画像のそれぞれが、車両に取り付けられた複数の車載用ミラーのうちの何れに対応するものであるかを、車両の乗員に容易に把握させることができる。
【００６４】
また第２の参考表示態様では、左サイドミラー変換画像、右サイドミラー変換画像に映っている領域が、車両の周囲の何処に対応する領域であるかを示す表示ＲＤＬ，ＲＤＲを行う。このため、左サイドミラー変換画像、右サイドミラー変換画像に映っている領域を、車両の乗員に容易に把握させることができる。
【００６５】
また、車載用ミラーはその傾斜角度を調整可能に構成されており、ミラー角度センサ２２が車載用ミラーの傾斜角度を検出する。そして、ミラー角度センサ２２により検出された角度に応じた座標変換を行うことにより、ミラー変換画像を生成する（Ｓ１７０）。このため、車載用ミラーの傾斜角度の変化に連動して、その傾斜角度にある車載用ミラーを運転者の視点から見た画像を表示することができる。
【００６６】
また第８の参考表示態様では、後方カメラ１２により撮影された画像を、ミラー変換画像と同一の表示画面上に表示する（Ｓ９０，Ｓ１１０）。このため車両の乗員は、一つの表示画面を見れば、車載用ミラーに対応する画像と、後方カメラ１２により撮影された画像とを同時に確認することができる。
【００６７】
また第８の参考表示態様では、後方カメラ１２により撮影された画像と左右が逆になった画像を生成し（Ｓ１００）、この画像をミラー変換画像と同一の表示画面上に表示する（Ｓ１１０）。このため、後方カメラ１２により撮影された画像を表示すると、その表示された画像は車両の乗員に対して左右が一致した画像となる。
【００６８】
また図７の表示態様、第１，２，３，６，７，１０の参考表示態様では、車載カメラ２により撮影された撮影画像を用いて、車両およびその周囲全体を俯瞰したトップビュー画像を生成し、このトップビュー画像を、ミラー変換画像と同一の表示画面上に表示する。このため、車両の乗員は、一つの表示画面を見れば、車載用ミラーに対応する画像とトップビュー画像とを同時に確認することができる。
【００６９】
以上説明した実施形態において、車両用表示システム１は本発明における車両用表示装置、車載カメラ２とＳ５０，Ｓ９０，Ｓ１３０の処理は本発明における撮影手段、Ｓ１７０の処理は本発明における画像変換手段、左サイドミラー、右サイドミラー、及びバックミラーは本発明における車載用ミラー、Ｓ７０，Ｓ１１０，Ｓ１９０の処理は本発明における表示手段、ミラー角度センサ２２は本発明におけるミラー角度検出手段、Ｓ１００の処理は本発明における左右逆画像生成手段、Ｓ６０の処理は本発明における俯瞰画像生成手段である。
【００７０】
また、車両の前方、後方、左側方、及び右側方は本発明における所定撮影領域、運転者は本発明における所定座席乗員である。
【００７１】
本発明は上記実施例に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
【００７２】
例えば上記実施形態においては、運転者からの視点でミラーを見た画像を表示するものを示したが、運転席以外の座席に座る乗員からの視点でミラーを見た画像を表示するようにしてもよい。
【００７３】
（第１参考例）
以下に第１参考例を説明する。なお、第１参考例では、上記実施形態と異なる部分のみを説明する。
【００７４】
第１参考例の車両用表示システム１は、車両用表示システム１の構成と周辺画像表示処理が変更された点以外は第１実施形態と同じである。
【００７５】
図９は、第１参考例の車両用表示システム１の構成を示すブロック図である。
【００７６】
第１参考例の車両用表示システム１は、図９に示すように、検出波としての超音波を発信しその反射波を受信することにより物体の存在および距離を検出するクリアランスソナー２３がセンサ群３に追加された点以外は第１実施形態と同じである。
【００７７】
次に、第１参考例の周辺画像表示処理の手順を、図１０を用いて説明する。図１０は第１参考例の周辺画像表示処理を示すフローチャートである。
【００７８】
この周辺画像表示処理が実行されると、ＣＰＵ５１は、まずＳ３１０にて、サイドミラー画像の表示範囲を設定するための操作（以下、表示範囲設定操作という）が、操作部３５を介して行われたか否かを判断する。ここで、表示範囲設定操作が行われていないと判断した場合には（Ｓ３１０：ＮＯ）、Ｓ３３０に移行する。一方、表示範囲設定操作が行われたと判断した場合には（Ｓ１０：ＹＥＳ）、Ｓ３２０にて、表示範囲設定操作により指示された表示範囲に応じた表示設定を行い、Ｓ３３０に移行する。
【００７９】
そしてＳ３３０に移行すると、左サイドミラーと右サイドミラーの傾斜角度を設定するための操作（以下、傾斜角度設定操作という）が、操作部３５を介して行われたか否かを判断する。ここで、傾斜角度設定操作が行われていないと判断した場合には（Ｓ３３０：ＮＯ）、Ｓ３５０に移行する。一方、傾斜角度設定操作が行われたと判断した場合には（Ｓ３３０：ＹＥＳ）、Ｓ３４０にて、傾斜角度設定操作により指示された傾斜角度に応じた表示設定を行い、Ｓ３５０に移行する。
【００８０】
そしてＳ３５０に移行すると、シフトレバー位置センサ２１からの信号に基づき、シフトレバーの位置がリバース「Ｒ」であるか否かを判断する。ここで、シフトレバーの位置がリバース「Ｒ」でない場合には（Ｓ３５０：ＮＯ）、周辺画像表示処理を一旦終了する。一方、シフトレバーの位置がリバース「Ｒ」である場合には（Ｓ３５０：ＹＥＳ）、Ｓ３６０にて、前方カメラ１１、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から撮影画像を取得する。
【００８１】
そしてＳ３７０にて、Ｓ３６０で取得した撮影画像を用いてトップビュー画像を生成する。具体的には、まず、前方カメラ１１、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から取得した４つの撮影画像をそれぞれ、視点変換マップデータベース４１に記憶されている視点変換マップＭ１を用いて座標変換する。その後、座標変換処理が行われた４つの変換画像について、これら４つの変換画像の重複部分を繋ぎ合わせる合成処理を行う。これにより、車両およびその周囲全体を俯瞰した１枚のトップビュー画像が生成される。さらにＳ３８０にて、Ｓ３７０で生成されたトップビュー画像を、表示装置５に表示させる。
【００８２】
その後Ｓ３９０にて、クリアランスソナー２３の検出結果に基づいて、物体が車両に接近しているか否かと、その接近の危険度を判定する。
【００８３】
具体的には、まず物体が移動体である場合には、図１１（ａ）に示すように、移動体が車両に近付く速度Ｖｍと、車両と移動体との間の距離Ｌｍとに基づいて、移動体が車両に到達するまでに要する時間（以下、到達時間という）を算出し、この算出時間に応じて、「緊急」、「危険」、「注意」、及び「安全」の４種類の危険度を設定している。すなわち、到達時間が第１判定時間Ｔ１（例えば１秒）未満である場合には「緊急」と判定し、到達時間が第１判定時間Ｔ１より長い第２判定時間Ｔ２（例えば３秒）未満である場合には「危険」と判定し、到達時間が第２判定時間Ｔ２より長い第３判定時間Ｔ３（例えば５秒）未満である場合には「注意」と判定する。また、到達時間が第３判定時間Ｔ３以上であるか、移動体が遠ざかっている場合には、「安全」と判定する。
【００８４】
また、物体が固定物である場合には、図１１（ｂ）に示すように、車両と固定物との間の距離Ｌｍに応じて、「緊急」、「危険」、「注意」、及び「安全」の４種類の危険度を設定している。すなわち、固定物が近付いており且つ距離Ｌｍが第１判定距離Ｌ１（例えば、１ｍ）未満である場合には「緊急」と判定し、距離Ｌｍが第１判定距離Ｌ１より長い第２判定距離Ｌ２（例えば３ｍ）未満である場合には「危険」と判定し、距離Ｌｍが第２判定距離Ｌ２より長い第３判定距離Ｌ３（例えば５ｍ）未満である場合には「注意」と判定する。また、距離Ｌｍが第３判定距離Ｌ３以上であるか、固定物が遠ざかっている場合には、「安全」と判定する。
【００８５】
そしてＳ４００にて、Ｓ３９０で「安全」と判定されたか否かを判断する。ここで、「安全」と判定された場合には（Ｓ４００：ＹＥＳ）、周辺画像表示処理を一旦終了する。
【００８６】
一方、「安全」と判定されなかった場合には（Ｓ４００：ＮＯ）、Ｓ４１０にて、左側方カメラ１３、及び右側方カメラ１４から撮影画像を取得する。その後Ｓ４２０にて、Ｓ４１０で取得した撮影画像を用いて、運転者からの視点で左サイドミラーを見た変換画像（以下、左サイドミラー変換画像という）、及び運転者からの視点で右サイドミラーを見た変換画像（以下、右サイドミラー変換画像という）を生成する。具体的には、左側方カメラ１３、及び右側方カメラ１４から取得した２つの撮影画像をそれぞれ、視点変換マップデータベース４１に記憶されている視点変換マップＭ２、及び視点変換マップＭ３と、Ｓ３４０で設定された傾斜角度とに基づいて、座標変換する。したがって、Ｓ３４０で設定された傾斜角度の変化に連動して、それぞれ左サイドミラー変換画像、及び右サイドミラー変換画像が変化する。
【００８７】
その後Ｓ４３０にて、Ｓ３２０で設定された表示範囲と、Ｓ３９０で判定した危険度とに応じて、図１２に示すように、Ｓ４２０で生成された左サイドミラー変換画像、及び右サイドミラー変換画像を加工する。
【００８８】
具体的には、まず、Ｓ３２０で設定された表示範囲に応じて、Ｓ４２０で生成された左サイドミラー変換画像、及び右サイドミラー変換画像を切り取り、ミラー枠画像内に嵌め込む加工を行う。すなわち、Ｓ３４０で設定された表示範囲によっては、ミラー変換画像の表示範囲は、サイドミラーに実際に映っている範囲と異なる。その後、Ｓ３９０で「注意」と判定された場合には、図１２（ａ）に示すように、トップビュー画像ＴＶＧの横にサイドミラー画像ＳＭＧ０１が表示されるように加工する（図では右サイドミラーの画像のみを示す）。このサイドミラー画像ＳＭＧ０１は、サイドミラーの枠を示すミラー枠画像ＭＦＧ０１と、ミラー枠画像ＭＦＧ０１の内部に表示されたミラー変換画像ＭＴＧ０１と、接近している物体を示す物体指示画像ＯＰＧ０１と、接近している物体の移動方向を示す方向指示画像ＤＰＧ０１とから構成される。なお、物体指示画像ＯＰＧ０１と方向指示画像ＤＰＧ０１はミラー変換画像ＭＴＧ０１上に表示される。
【００８９】
また、Ｓ３９０で「注意」と判定された場合には、図１２（ｂ）に示すように、トップビュー画像ＴＶＧの横にサイドミラー画像ＳＭＧ０２が表示されるように加工する。このサイドミラー画像ＳＭＧ０２は、ミラー枠画像ＭＦＧ０２とミラー変換画像ＭＴＧ０２と物体指示画像ＯＰＧ０２と方向指示画像ＤＰＧ０２とから構成される。なおサイドミラー画像ＳＭＧ０２は、ミラー枠画像ＭＦＧ０１よりも、濃い色で且つ大きく表示される。さらに、物体指示画像ＯＰＧ０２と方向指示画像ＤＰＧ０２は、ミラー変換画像ＭＴＧ０２上において、物体指示画像ＯＰＧ０１と方向指示画像ＤＰＧ０１より大きく表示される。
【００９０】
また、Ｓ３９０で「緊急」と判定された場合には、図１２（ｃ）に示すように、トップビュー画像ＴＶＧの横にサイドミラー画像ＳＭＧ０３が表示されるように加工する。このサイドミラー画像ＳＭＧ０３は、ミラー枠画像ＭＦＧ０３とミラー変換画像ＭＴＧ０３と物体指示画像ＯＰＧ０３と方向指示画像ＤＰＧ０３とから構成される。なおサイドミラー画像ＳＭＧ０３は、ミラー枠画像ＭＦＧ０２よりも大きく表示される。さらに、物体指示画像ＯＰＧ０３と方向指示画像ＤＰＧ０３は、ミラー変換画像ＭＴＧ０３上において、物体指示画像ＯＰＧ０２と方向指示画像ＤＰＧ０２より大きく表示される。また、物体指示画像ＯＰＧ０１，０２と方向指示画像ＤＰＧ０１，０２が平面表示であるのに対して、物体指示画像ＯＰＧ０３と方向指示画像ＤＰＧ０３は、立体表示である。
【００９１】
そしてＳ４３０の処理が終了すると、Ｓ４４０にて、Ｓ４３０で生成された画像を表示装置５に表示させ、周辺画像表示処理を一旦終了する。
【００９２】
このように構成された車両用表示システム１では、サイドミラー画像の表示範囲を設定するための操作（表示範囲設定操作）が行われると、表示範囲設定操作により指示された表示範囲に応じた表示設定を行う（Ｓ３１０，Ｓ３２０）。このため、車両の乗員の操作により、ミラー変換画像の表示範囲を変更することを可能にする。
【００９３】
また、左サイドミラーと右サイドミラーの傾斜角度を設定するための操作（傾斜角度設定操作）が行われると、傾斜角度設定操作により指示された傾斜角度に応じた表示設定を行う（Ｓ３３０，Ｓ３４０）。そして、左サイドミラーと右サイドミラーの傾斜角度が設定された傾斜角度であると仮定した場合に運転者により視認される左サイドミラーと右サイドミラーの映像を、左側方カメラ１３および右側方カメラ１４から取得した撮影画像を座標変換することにより生成する（Ｓ４２０）。このため、左サイドミラーと右サイドミラーの傾斜角度が設定された傾斜角度であると仮定した場合に運転者により視認される車載用ミラーの映像について、上記設定される傾斜角度を、車両の乗員の操作により変更することを可能にする。
【００９４】
また、クリアランスソナー２３により車両に接近する物体を検出し（Ｓ３９０）、車両に接近する物体を検出したときにミラー変換画像を表示する（Ｓ４００，Ｓ４４０）。このため、車両に物体が接近すると自動的にミラー変換画像が表示されるので、ミラー変換画像が表示されることにより、車両の乗員に、車両に物体が接近していることを知らせることができる。
【００９５】
以上説明した参考例において、Ｓ４２０の処理は本参考例における画像変換手段、Ｓ４４０の処理は本参考例における表示手段、Ｓ３１０，Ｓ３２０の処理は本参考例における第１設定手段、Ｓ３３０，Ｓ３４０の処理は本参考例における第２設定手段、クリアランスソナー２３とＳ３９０の処理は本参考例における接近検出手段、表示範囲設定操作は本参考例における第１外部操作、傾斜角度設定操作は本参考例における第２外部操作である。
【００９６】
（第２参考例）
以下に第２参考例を説明する。なお、第２参考例では、第１参考例と異なる部分のみを説明する。
【００９７】
第２参考例の車両用表示システム１は、車両用表示システム１の構成と周辺画像表示処理が変更された点以外は第２実施形態と同じである。
【００９８】
図１３は、第２参考例の車両用表示システム１の構成を示すブロック図である。
【００９９】
第２参考例の車両用表示システム１は、図１３に示すように、車両の走行速度を検出する車速センサ２４と、車両のウインカーのオン・オフを検出するウインカーセンサ２５がセンサ群３に追加された点以外は第１参考例と同じである。
【０１００】
次に、第２参考例の周辺画像表示処理の手順を、図１４を用いて説明する。図１４は第２参考例の周辺画像表示処理を示すフローチャートである。
【０１０１】
この周辺画像表示処理が実行されると、ＣＰＵ５１は、まずＳ５１０にて、車速センサ２４の検出結果に基づいて、車両用表示システム１が搭載されている車両が停止しているか否かを判断する。ここで、車両が停止していない場合には（Ｓ５１０：ＮＯ）、周辺画像表示処理を一旦終了する。一方、車両が停止している場合には（Ｓ５１０：ＹＥＳ）、Ｓ５２０にて、シフトレバー位置センサ２１からの信号に基づき、シフトレバーの位置がドライブ「Ｄ」であるか否かを判断する。
【０１０２】
ここで、シフトレバーの位置がドライブ「Ｄ」でない場合には（Ｓ５２０：ＮＯ）、周辺画像表示処理を一旦終了する。一方、シフトレバーの位置がドライブ「Ｄ」である場合には（Ｓ５２０：ＹＥＳ）、Ｓ５３０にて、前方カメラ１１、後方カメラ１２、左側方カメラ１３、及び右側方カメラ１４から撮影画像を取得する。
【０１０３】
そしてＳ５４０にて、Ｓ５３０で取得した撮影画像を用いてトップビュー画像を生成する。さらにＳ５５０にて、Ｓ５４０で生成されたトップビュー画像を、表示装置５に表示させる。
【０１０４】
その後Ｓ５６０にて、Ｓ３９０と同様にして、クリアランスソナー２３の検出結果に基づき、物体が車両に接近しているか否かと、その接近の危険度を判定する。そしてＳ５７０にて、Ｓ５６０で「安全」と判定されたか否かを判断する。ここで、「安全」と判定された場合には（Ｓ５７０：ＹＥＳ）、Ｓ５８０にて、ウインカーセンサ２５の検出結果に基づき、ウインカーがオンであるか否かを判断する。
【０１０５】
ここで、ウインカーがオフである場合には（Ｓ５８０：ＮＯ）、周辺画像表示処理を一旦終了する。一方、ウインカーがオンである場合には（Ｓ５８０：ＹＥＳ）、Ｓ５９０に移行する。またＳ５７０にて、Ｓ５６０で「安全」と判定されなかった場合には（Ｓ５７０：ＮＯ）、Ｓ５９０に移行する。
【０１０６】
そしてＳ５９０に移行すると、左側方カメラ１３及び右側方カメラ１４から撮影画像を取得する。その後Ｓ６００にて、Ｓ５９０で取得した撮影画像を用いて、左サイドミラー変換画像と右サイドミラー変換画像を生成する。
【０１０７】
さらにＳ６１０にて、Ｓ４３０と同様にして、Ｓ５６０で判定した危険度に応じて、Ｓ６００で生成された左サイドミラー変換画像、及び右サイドミラー変換画像を加工する。そしてＳ６２０にて、Ｓ６１０で生成された画像を表示装置５に表示させ、周辺画像表示処理を一旦終了する。
【０１０８】
このように構成された車両用表示システム１では、車速センサ２４が車両の走行速度を検出し、シフトレバー位置センサ２１が車両のシフトレバーの位置を検出し、ウインカーセンサ２５が車両のウインカーのオン・オフを検出する。そして、車速センサ２４、シフトレバー位置センサ２１、及びウインカーセンサ２５の検出結果に基づき、車両が停止し、且つシフトレバーの位置がドライブ「Ｄ」であり、且つウインカーがオンである場合に、ミラー変換画像を表示する（Ｓ５１０，Ｓ５２０，Ｓ５８０，Ｓ６２０）。このため、例えば図１５に示すように、車両停止状態から車道に進入しながら発進するという、後方確認が必要な状況において、車載用ミラーを見たときの画像を、車両の乗員の操作や指示によらず自動的に表示させることができる。
【０１０９】
以上説明した参考例において、Ｓ６００の処理は本参考例における画像変換手段、Ｓ６２０の処理は本参考例における表示手段、車速センサ２４は本参考例における車速検出手段、シフトレバー位置センサ２１は本参考例におけるシフト位置検出手段、ウインカーセンサ２５は本参考例におけるウインカー検出手段である。
【０１１０】
また、図１６〜２０は別の参考例を説明するための図である。
【０１１１】
図１６のサイドミラー画像ＳＭＧ１１で示すように、道路の消失点ＶＰまで表示することにより、遠くの障害物を確実に表示するようにしてもよい。また、移動体の接近速度に応じてハイライト色を変えたり、モーションブラー表示のような、移動速度を強調する表示を行ったりするようにしてもよい。
【０１１２】
また、車両が移動してもサイドミラーの背景を固定して表示するようにしてもよい。これにより、物体の移動速度を利用者に直感的に把握させることができる。また、物体の位置を運転者に把握し易くするために、距離等の補助情報をサイドミラー画像ＳＭＧ１１に追加してもよい。
【０１１３】
また、図１６のバックミラー画像ＢＭＧ１１で示すように、接近する移動体が映っている領域まで、表示範囲を拡大するようにしてもよい。バックミラー画像ＢＭＧ１１では、表示領域の右側から移動体が接近しているため（矢印Ｙ１１を参照）、バックミラー画像ＢＭＧ１１の右側の表示領域を延ばしている。
【０１１４】
また、図１６のバックミラー画像ＢＭＧ１１で示すように、駐車の目安となる物体があるときは、この物体を運転者が認識し易くするために、立体的な強調表示を行ったり、バックミラー画像ＢＭＧ１１からはみ出させたりするようにしてもよい（表示物体ＯＢ１１を参照）。なお、上記の立体的な強調表示については、普段の撮影画像から形状を３次元座標として取り込み、表面の材質等も画像をテクスチャとして貼り付けて、仮想現実（ＶＲ）イメージとして記録し、車両の移動位置に応じて、運転者が確実に駐車の目安として利用できるように表示してもよい。これにより、夜間や雨天でも、晴天時の目安となる物体が明確に表示されるため、運転者は安全に車両を駐車させることができる。
【０１１５】
また、図１６のトップビュー画像ＴＶＧ１１で示すように、ポールなどの固定物が設定距離以内に近付いた場合に、トップビュー画像にこの固定物を見やすく表示するようにしてもよい（ポール表示ＰＤ１１を参照）。
【０１１６】
また上記参考例では、シフトレバーの位置がリバース「Ｒ」で物体が接近しているときに、例えば図１７（ａ）に示すように、トップビュー画像ＴＶＧ２１、左サイドミラー画像ＳＭＧ２１、及び右サイドミラー画像ＳＭＧ２２を表示するものを示した。しかし、車両の左側後方（右側後方）から物体が接近しているときに、図１７（ｂ）に示すように、トップビュー画像ＴＶＧ２２および左サイドミラー画像ＳＭＧ２３を表示するとともに左サイドミラー画像ＳＭＧ２３を拡大表示するようにしてもよい。また、車両の右側後方から物体が接近しているときに、図１７（ｃ）に示すように、トップビュー画像ＴＶＧ２３および右サイドミラー画像ＳＭＧ２４を表示するとともに右サイドミラー画像ＳＭＧ２４を拡大表示するようにしてもよい。
【０１１７】
また上記の例では、図１１に示すように、移動体が車両に到達するまでに要する時間（到達時間）と、車両と固定物との間の距離とに基づいて、危険度を設定するものを示した。しかし、接近する物体の方向に応じて距離を変更して危険度を設定するようにしてもよい。また、相対速度や車両の移動方向に応じて危険度を設定するようにしてもよい。また、車両の進行方向に対する物体の角度に応じて危険度を設定するようにしてもよい。
【０１１８】
なお、上記の危険度を、以下の基準に基づいて設定するようにしてもよい。すなわち、車両の移動範囲ＭＲ（後述）内に物体が既に入っている場合には「緊急」、移動範囲ＭＲに物体が入りそうである場合には「危険」、移動範囲ＭＲに物体が近付いている場合には「注意」、移動範囲ＭＲに物体が近付いていない場合には「安全」と設定するようにしてもよい。ここで移動範囲ＭＲは、図１８に示すように、停車位置ＳＰから指定駐車位置ＰＰまで移動する際、駐車移動速度を例えば０．５ｍ／秒として、どの時刻に車両がどの移動空間範囲に存在するか否かを計算して求める。
【０１１９】
なお、運転者の運転技量に応じて、駐車移動速度を変えて移動範囲ＭＲを求めるようにしてもよい。例えば、熟練の運転者は、駐車時の車両移動速度が大きく短時間で駐車できる場合があるため、駐車移動速度を大きくして移動範囲ＭＲを求めるようにするとよい。また駐車移動速度に応じて、サイドミラー画像の表示による注意・危険の報知タイミングを変更できるようにすると、報知タイミングの遅れが低減され、報知による運転者の煩わしさが軽減される。
【０１２０】
また、固定物の接近判定については、設定された大きさ以上の物体を対象とするようにしてもよい。また、運転者が普段から駐車の目安としている固定物がある場合には、その固定物が移動範囲ＭＲ内に存在しない場合であっても、表示するようにしてもよい。このために、利用回数の多い駐車場では、駐車の目安となる物体を利用者が指定できるようにするとよい。例えば、駐車枠、輪止め、側方の壁などが表示された画像データを使って設定できるようにしてもよい。
【０１２１】
また、車両を駐車させようとしているときに、物体が車両に接触しそうであることを検出すると、接触しそうな側のサイドミラー画像（例えば、歩行者が車両の左側に接触しそうな場合には左サイドミラー画像）におけるミラー枠の形状の拡大表示と縮小表示と、音声報知（例えば、クラックが入るような音）を行い、乗員に危急状況であることを知らせるようにしてもよい。また、ミラー枠の形状の拡大表示と縮小表示と同時に、エンジン制御またはブレーキ制御装置に緊急停止のための処理を行わせて、車両に物体が接触したときに、車両を停止状態に近い状態にするようにしてもよい。
【０１２２】
また、サイドミラーに物体が接触したときに、サイドミラーが閉じるような動画を表示し、側方の障害物との接触を報知するようにしてもよい。
【０１２３】
また、駐車完了後にドアを開けると側方の固定物または移動体に接触する可能性がある場合に、サイドミラーがドアに変化する画像を表示して、接触の注意を促すようにしてもよい。また、車両後方も同様にして、トランクのドアが接触しそうな場合には、トランクドアの接触の注意を促す表示を、バックミラー画像の代わりにサイドミラー画像に追加するようにしてもよい。
【０１２４】
また図１９に示すように、車両を９０度回転させながら後退させて駐車区画に駐車する際に自動車、自転車、歩行者などが車両後方から接近する状況では、これらの接近物体は、運転者の視野から見づらく且つサイドミラー及びバックミラーでは見えない。このため、車載ミラーでは見えない範囲に位置する物体が接近する場合に、車載カメラ２による撮影画像を用いてサイドミラー画像やバックミラー画像を生成し、表示装置５に表示させるようにしてもよい。これにより、運転者に危険を知らせることができる。
【０１２５】
例えば、駐車区画ＰＫＡへの駐車を開始する前に停止するための位置Ｐ１に車両が位置しているときに、車両後方の車道、歩道の左側から移動体が接近していることが検知されると、左サイドミラー画像を表示するとともに、検知した物体の位置および速度に応じて対象物体を左サイドミラー画像上に強調表示するようにしてもよい。
【０１２６】
また、駐車区画ＰＫＡへ駐車するために車両を旋回させる位置Ｐ２に車両が位置しているときに、移動体が移動する道路（背景）がほぼ固定されて見えるようにサイドミラー画像を表示するようにしてもよい。すなわち、車両の旋回によっても、その影響を受けない画像を表示する。これにより、どの道路および歩道に障害物や歩行者がいて、それが近付くか遠ざかるかという接近位置判定が容易になる。このためには、車載カメラ２による撮影画像を回転補正するか、以前に駐車した位置であればそのときに記録した道路画像を固定画像として用い、これに、検出した障害物、歩行者、及び移動体を重ね合わせて表示するようにしてもよい。さらに、駐車区画ＰＫＡに対し、どの範囲に車両が入っているかを画像やソナー等で判定し、運転の修正が必要な場合に、サイドミラー画像を表示させる（例えば、接触する方向のサイドミラーを人の耳に見立てる）注意表示を行うようにしてもよい。
【０１２７】
また、駐車区画ＰＫＡに進入するために車両を後退させて歩道等を横切るときに、歩道に歩行者や自転車が通過しそう、または通過中であれば、移動体の接近を示す表示をサイドミラー画像に追加するようにしてもよい。また、駐車区画ＰＫＡを歩行者等が通過しようとする場合に、歩行者が近付く方向のサイドミラー画像（例えば、歩行者が車両の左側から近付いている場合には左サイドミラー画像）に、歩行者の位置と距離を示す表示を追加するようにしてもよい。また、衝突の危険がある場合には、衝突を報知するための警報を出すようにしてもよい。
【０１２８】
また、駐車区画ＰＫＡ内に車両が収容される位置Ｐ３に車両が位置しているときに、その車両の後方に輪止めがある場合には、輪止めに接触することを報知するようにしてもよい。また、輪止めがあっても後方の区画の車両と接触する可能性がある場合に、後方の車両との距離を案内するようにしてもよい。
【０１２９】
また、駐車区画ＰＫＡ内で車両が停止したときに、車両のドアの開閉機構（スライドドアであるか否か）に応じて、自車駐車区画の左右の駐車区画の車両との距離を計測し、ドアを開けるときの注意表示をサイドミラー画像に追加するようにしてもよい。また、車両の乗員に対して、ドアを開けるときの注意を音声案内するようにしてもよい。
【０１３０】
また上記の例では、物体の存在および距離を検出するためにクリアランスソナー２３を用いたが、画像やレーザを用いて検出するようにしてもよい。
【０１３１】
また図２０に示すように、サイドミラー画像に、車両のボディの一部が映っているようにするとよい（図中の点線で囲っている領域ＢＲ０１，０２を参照）。これにより、サイドミラー画像が、サイドミラーに映っている像を示しているということを車両の乗員に直感的に理解させることができる。
【０１３２】
また、車両の乗員は通常、車載用ミラーに映る画像により車両後方の障害物を確認するため、車両の乗員は、車載用ミラーに映る画像を見ることにより、車両後方の障害物の種類、及び障害物と車両との間の距離などを把握する。つまり、上記の車両用表示装置は、車両の乗員が、車載用ミラーを視認することなく、車両後方の障害物の種類、及び障害物と車両との間の距離を把握することを容易にする。
【０１３３】
また、上記の車両用表示装置において、ミラー変換画像が、所定乗員ミラー像を示す画像と、この画像の周囲に配置されて所定乗員ミラー像に対応した撮影領域の周辺の領域を示す画像とから構成され、表示手段が、ミラー変換画像のうち、所定乗員ミラー像に相当する部分を、ミラー枠画像が示す枠の内部に表示するとともに、ミラー枠画像が示す枠がミラー変換画像に対して透過しているようにミラー枠画像を表示するようにしてもよい。このように構成された車両用表示装置では、所定座席乗員の視点から車載用ミラーを見たときの車載用ミラーの画像（所定乗員ミラー像）と、その周辺の領域の画像が表示されるので、車両の乗員が、車載用ミラーを視認する場合よりも広い領域を確認することができる。さらに、ミラー枠画像が示す枠がミラー変換画像に対して透過している。このため、所定乗員ミラー像と、その周辺の領域を示す画像との境界部分の画像が、ミラー枠画像が示す枠に隠れて見えなくなるということがない。
【０１３４】
また第１設定手段が、予め設定された第１外部操作に基づいて、ミラー変換画像の表示範囲を設定するようにしてもよい。このように構成された車両用表示装置によれば、車両の乗員の操作により、ミラー変換画像の表示範囲を変更することを可能にする。
【０１３５】
また画像変換手段は、車載用ミラーの傾斜角度が予め設定された所定傾斜角度であると仮定した場合に所定座席乗員により視認される車載用ミラーの映像を、撮影手段により取得された周囲撮影画像を座標変換することにより生成するように構成され、第２設定手段が、予め設定された第２外部操作に基づいて、所定傾斜角度を設定するようにしてもよい。このように構成された車両用表示装置によれば、車載用ミラーの傾斜角度が所定傾斜角度であると仮定した場合に所定座席乗員により視認される車載用ミラーの映像について、上記所定傾斜角度を、車両の乗員の操作により変更することを可能にする。
【０１３６】
また車載用ミラーは、その傾斜角度を調整可能に構成されており、ミラー角度検出手段が、車載用ミラーの傾斜角度であるミラー角度を検出し、画像変換手段が、ミラー角度検出手段により検出されたミラー角度に応じた座標変換を行うことにより、ミラー変換画像を生成するようにしてもよい。このように構成された車両用表示装置によれば、車載用ミラーの傾斜角度（ミラー角度）の変化に連動して、その傾斜角度にある車載用ミラーを所定座席乗員の視点から見た画像を表示することができる。
【０１３７】
また表示手段が、撮影手段により取得された周囲撮影画像を、ミラー変換画像と同一の表示画面上に表示するようにしてもよい。このように構成された車両用表示装置によれば、車両の乗員は、一つの表示画面を見れば、車載用ミラーに対応する画像と周囲撮影画像とを同時に確認することができる。
【０１３８】
ところで、周囲撮影画像が、車両の後方を撮影したものである場合には、撮影手段により取得された周囲撮影画像をそのまま表示すると、その表示された画像は車両の乗員に対して左右逆の画像となる。なぜならば、撮影手段は車両の後方を撮影しているために、車両の前方を向いている車両乗員の右側（左側）に位置しているものが周囲撮影画像ではその左側（右側）に配置されるからである。そこで、周囲撮影画像が車両の後方を撮影したものである場合には、請求項１２に記載のように、左右逆画像生成手段が、撮影手段により取得された周囲撮影画像と左右が逆になった画像である左右逆画像を生成し、表示手段が、左右逆画像生成手段により生成された左右逆画像を、ミラー変換画像と同一の表示画面上に表示するようにするとよい。このように構成された車両用表示装置によれば、撮影手段により取得された画像を表示すると、その表示された画像は車両の乗員に対して左右が一致した画像となる。
【０１３９】
また俯瞰画像生成手段が、撮影手段により取得された周囲撮影画像を用いて、車両の上方の視点から車両を俯瞰した俯瞰画像を生成し、表示手段が、俯瞰画像生成手段により生成された俯瞰画像を、ミラー変換画像と同一の表示画面上に表示するようにしてもよい。このように構成された車両用表示装置によれば、車両の乗員は、一つの表示画面を見れば、車載用ミラーに対応する画像と俯瞰画像とを同時に確認することができる。
【０１４０】
また接近検出手段が、車両に接近する物体である車両接近物体を検出し、表示手段が、接近検出手段が車両接近物体を検出したときに、ミラー変換画像を表示するようにしてもよい。このように構成された車両用表示装置では、車両に物体が接近すると自動的にミラー変換画像が表示されるので、ミラー変換画像が表示されることにより、車両の乗員に、車両に物体が接近していることを知らせることができる。
【０１４１】
また車速検出手段が車両の移動速度を検出し、シフト位置検出手段が車両の変速機のシフト位置を検出し、ウインカー検出手段が車両のウインカーの点灯を検出し、表示手段が、車速検出手段、シフト位置検出手段、及びウインカー検出手段の検出結果に基づき、車両が停止し、且つシフト位置が車両の前進可能な位置であり、且つウインカーが点灯している場合に、ミラー変換画像を表示するようにしてもよい。このように構成された車両用表示装置によれば、車両停止状態から車道に進入しながら発進するという、後方確認が必要な状況において、車載用ミラーを見たときの画像を、車両の乗員の操作や指示によらず自動的に表示させることができる。
【符号の説明】
【０１４２】
１…車両用表示システム、２…車載カメラ、３…センサ群、４…画像処理装置、５…表示装置、１１…前方カメラ、１２…後方カメラ、１３…左側方カメラ、１４…右側方カメラ、２１…シフトレバー位置センサ、２２…ミラー角度センサ、２３…クリアランスソナー、２４…車速センサ、２５…ウインカーセンサ、３１…カメラＩ／Ｆ、３２…車両Ｉ／Ｆ、３３…表示Ｉ／Ｆ、３４…記憶部、３５…操作部、３６…制御部、３７…バス、４１…視点変換マップデータベース、５１…ＣＰＵ、５２…ＲＯＭ、５３…ＲＡＭ
【特許請求の範囲】
【請求項１】
車両に設置される車両用表示装置であって、
前記車両の周囲における予め設定された所定撮影領域を繰り返し撮影し、周囲撮影画像を取得する撮影手段と、
前記周囲撮影画像を座標変換することにより、前記車両内の所定の座席に座っている乗員の視点からミラー越しに前記車両の後方を見た画像を模したミラー変換画像を生成する画像変換手段と、
前記周囲撮影画像を用いて、前記車両の上方の視点から前記車両を俯瞰した画像であって前記車両の全体画像を含む俯瞰画像を生成する俯瞰画像生成手段と、
前記ミラー変換画像と前記俯瞰画像とを同一の表示画面上に表示する表示手段とを備え、
前記表示手段は、
前記表示画面に予め設定された矩形の第１表示領域に前記車両の全体画像の車両前方が上を向くように前記俯瞰画像を表示し、
前記矩形の第１表示領域の側方であって、かつ該矩形の側辺の下側に偏って設定された第２表示領域に、前記ミラー変換画像を表示することを特徴とする車両用表示装置。
【請求項２】
前記表示手段が、車載用ミラーの枠を示すミラー枠画像を表示するとともに、前記ミラー枠画像が示す枠の内部に前記ミラー変換画像を表示することを特徴とする請求項１に記載の車両用表示装置。
【請求項３】
前記ミラー枠画像が、透過しているように前記ミラー枠画像を表示することを特徴とする請求項１または２に記載の車両用表示装置。
【請求項４】
前記表示手段が左右の前記ミラー変換画像を同一表示画面上に表示することを特徴とする請求項１ないし３の何れかに記載の車両用表示装置。
【請求項１】
車両に設置される車両用表示装置であって、
前記車両の周囲における予め設定された所定撮影領域を繰り返し撮影し、周囲撮影画像を取得する撮影手段と、
前記周囲撮影画像を座標変換することにより、前記車両内の所定の座席に座っている乗員の視点からミラー越しに前記車両の後方を見た画像を模したミラー変換画像を生成する画像変換手段と、
前記周囲撮影画像を用いて、前記車両の上方の視点から前記車両を俯瞰した画像であって前記車両の全体画像を含む俯瞰画像を生成する俯瞰画像生成手段と、
前記ミラー変換画像と前記俯瞰画像とを同一の表示画面上に表示する表示手段とを備え、
前記表示手段は、
前記表示画面に予め設定された矩形の第１表示領域に前記車両の全体画像の車両前方が上を向くように前記俯瞰画像を表示し、
前記矩形の第１表示領域の側方であって、かつ該矩形の側辺の下側に偏って設定された第２表示領域に、前記ミラー変換画像を表示することを特徴とする車両用表示装置。
【請求項２】
前記表示手段が、車載用ミラーの枠を示すミラー枠画像を表示するとともに、前記ミラー枠画像が示す枠の内部に前記ミラー変換画像を表示することを特徴とする請求項１に記載の車両用表示装置。
【請求項３】
前記ミラー枠画像が、透過しているように前記ミラー枠画像を表示することを特徴とする請求項１または２に記載の車両用表示装置。
【請求項４】
前記表示手段が左右の前記ミラー変換画像を同一表示画面上に表示することを特徴とする請求項１ないし３の何れかに記載の車両用表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−７８１５１（Ｐ２０１３−７８１５１Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１３−７２１１（Ｐ２０１３−７２１１）
【出願日】平成２５年１月１８日（２０１３．１．１８）
【分割の表示】特願２００９−２２７４３（Ｐ２００９−２２７４３）の分割
【原出願日】平成２１年２月３日（２００９．２．３）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２５年１月１８日（２０１３．１．１８）
【分割の表示】特願２００９−２２７４３（Ｐ２００９−２２７４３）の分割
【原出願日】平成２１年２月３日（２００９．２．３）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]