車両用画像表示装置及び車両用画像表示方法
【課題】カメラ画像を用いて障害物の検出を行い、死角が発生する可能性が高いときのみ、カメラ画像に切り替えて表示する車両用画像表示装置を提供する。
【解決手段】車両周囲の映像を夫々撮影する複数のカメラを含む撮像部と、複数のカメラのうち車両の進行先の映像を撮影する少なくとも２つのカメラで撮影した画像を比較し、比較画像の一致度に応じて障害物の有無を判定する障害物判定部と、車両の情報及び車両の進行を案内するナビゲーション情報を生成する車両情報生成部と、障害物判定部による障害物の判定結果と、車両情報生成部から入手した車両の進行先の状況を示す情報をもとに、ナビゲーション画像又は進行先周辺の映像を撮影したカメラ画像を切り替えて出力する表示切替部と、表示切替部から出力された画像を表示可能な表示部と、を具備する。
【解決手段】車両周囲の映像を夫々撮影する複数のカメラを含む撮像部と、複数のカメラのうち車両の進行先の映像を撮影する少なくとも２つのカメラで撮影した画像を比較し、比較画像の一致度に応じて障害物の有無を判定する障害物判定部と、車両の情報及び車両の進行を案内するナビゲーション情報を生成する車両情報生成部と、障害物判定部による障害物の判定結果と、車両情報生成部から入手した車両の進行先の状況を示す情報をもとに、ナビゲーション画像又は進行先周辺の映像を撮影したカメラ画像を切り替えて出力する表示切替部と、表示切替部から出力された画像を表示可能な表示部と、を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に複数のカメラを搭載し、複数のカメラで撮影された画像又は地図情報を含むナビゲーション画像を表示することができる車両用画像表示装置及び車両用画像表示方法に関する。
【背景技術】
【０００２】
従来、車両の走行時に行先を誘導するため、地図情報等を表示するナビゲ―ション装置があり、自車両が、現在どの地点にいるかを把握したり、どの方向に進むべきか等を案内表示できるようにしている。また車両に複数のカメラを搭載し、車両の周囲の映像を撮影して、撮影した画像を車両に設けたディスプレイに表示するようにした車両用画像表示装置がある。このような車両用画像表示装では、ディスプレイに表示された画像を確認することにより、車両の周囲にある障害物を把握することができ、車両が障害物に衝突或いは追突するのを防止することができる。
【０００３】
ところで、ナビゲーション装置やカメラが搭載された車両では、ナビゲーションデータベースの情報を利用して、信号のない交差点等では表示画像を切り替え、自車両が交差点に進入しようとすると、地図情報の表示から撮影したカメラ画像の表示に自動的に切り替えるシステムが販売されている。
【０００４】
しかしながら、運転者が必要な画像は、本質的に死角になっている画像であり、交差点に進入する都度、自動的にカメラ画像に切り替わると、かえって煩わしいこともある。特に進入先の交差点が比較的見通しがよい場合等は、運転者は周囲の環境を把握しているため、そのまま地図情報が表示される方がよい。
【０００５】
また特許文献１には、車両用の映像表示装置が開示されており、通常は車両周辺を一覧する俯瞰映像を表示し、障害物を検出したときには、カメラで取得した撮影映像と俯瞰映像を同時に表示するようにした例が記載されている。しかしながら特許文献１では、障害物を検出する都度、自動的に表示内容が切り替わるため、運転者に既知の障害物の場合は、表示が切り替わると煩わしいものとなる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３４１６４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ナビゲーション装置やカメラが搭載された車両では、自車両が交差点に進入しようとすると地図情報の表示からカメラ画像の表示に自動的に切り替えるシステムがある。しかしながら、交差点に進入する都度、自動的にカメラ画像に切り替わると、かえって煩わしいこともある。また特許文献１のように障害物を検出する都度、自動的に表示内容が切り替わるものでは、運転者に既知の障害物である場合は煩わしいものとなる。
【０００８】
本発明はこのような事情に鑑み、カメラ画像を用いて障害物の検出を行い、障害物によって死角が発生する可能性が高いときのみ、カメラによる撮影画像に切り替えて表示する車両用画像表示装置及び車両用画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１記載の車両用画像表示装置は、車両周囲の映像を夫々撮影する複数のカメラを含む撮像部と、前記複数のカメラのうち前記車両の進行先の映像を撮影する少なくとも２つのカメラで撮影した画像を比較し、比較画像の一致度に応じて障害物の有無を判定する障害物判定部と、前記車両の情報及び前記車両の進行を案内するナビゲーション情報を生成する車両情報生成部と、前記障害物判定部による障害物の判定結果と、前記車両情報生成部から入手した前記車両の進行先の状況を示す情報をもとに、前記ナビゲーション画像又は前記進行先周辺の映像を撮影したカメラ画像を切り替えて出力する表示切替部と、前記表示切替部から出力された画像を表示可能な表示部とを具備したことを特徴とする。
【００１０】
また請求項６記載の車両用画像表示方法は、車両の周囲映像を複数のカメラによって撮影し、前記複数のカメラのうち前記車両の進行先の映像を撮影する少なくとも２つのカメラで撮影した画像を比較し、比較画像の一致度に応じて障害物の有無を判定し、前記車両の情報及び前記車両の進行を案内するナビゲーション情報を生成し、前記障害物判定部による障害物の判定結果と前記車両の進行先の状況を示す情報をもとに、ナビゲーション画像又は前記進行先周辺の映像を撮影したカメラ画像を切り替えて出力し、前記車両の通常走行時には前記ナビゲーション画像を表示部に表示し、前記車両が交差点を曲がる際に前記障害物によって死角を生じる可能性があるときには前記カメラ画像を表示することを特徴とする。
【発明の効果】
【００１１】
本発明の車両用画像表示装置によれば、撮影画像を用いて障害物の検出を行い、障害物によって死角が発生する可能性が高いときのみ、カメラによる撮影画像に切り替えて表示するため、運転者に対して煩わしさを与えることなく、運転支援を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る車両用画像表示装置の全体構成を示すブロック図。
【図２】ナビゲーション画像と、カメラ画像の表示例を示す説明図。
【図３】車両への複数のカメラの配置例を示す平面図。
【図４】車両が交差点を左折しようとする状態を示す説明図。
【図５】前方カメラとサイドカメラの高さ位置と撮影角度の違いを示す説明図。
【図６】カメラ画像の射影変換の一例を示す説明図。
【図７】車両が左折しようとするときに、障害物がある場合を示す説明図。
【図８】車両が左折しようとするときに、別の障害物がある場合を示す説明図。
【図９】障害物判定部と表示切替部の動作を示すフローチャート。
【図１０】図９の判定ステップＳ１０の詳細なフローチャート。
【図１１】図９の判定ステップＳ１１の詳細なフローチャート。
【図１２】図１１のフローチャートの説明を補足する道路状況の説明図。
【図１３】画像選択部でのカメラ画像の選択動作の一例を示す説明図。
【図１４】車両のノーズの違いを示す説明図。
【発明を実施するための形態】
【００１３】
以下、この発明の一実施形態について図面を参照して説明する。
【実施例１】
【００１４】
図１は、本発明の一実施形態に係る車両用画像表示装置の全体構成を示すブロック図である。図１の車両用画像表示装置は、撮像部１０、車両情報生成部２０、画像選択部３０、障害物判定部４０、表示切替部５０、表示部６０、操作部７０及び制御部８０を備えている。
【００１５】
撮像部１０は、自車両の周囲の映像を撮影する４つのカメラ１１，１２，１３，１４を有している。４つのカメラ１１，１２，１３，１４は、車両の前方、後方、サイド（左側、右側）をそれぞれ撮影するものであり、車両の全周囲（３６０度）の視界を撮影するため、例えば魚眼カメラを使用する。カメラの位置及び撮影範囲については後述する。
【００１６】
車両情報生成部２０は、ナビゲーション装置２１を含む。ナビゲーション装置２１は、車両の進行を案内するナビゲーション情報を生成するもので、自車両の現在位置を検出するＧＰＳ受信部、地図データを格納した地図データベース、目的地までの経路を探索する探索部等を有する。また車両情報生成部２０は、自車両の車速や傾きを検出する車速度センサやジャイロセンサ等を有し、ＧＰＳ受信部、地図データベース、探索部、車速センサやジャイロセンサ等がＣＡＮ（Controller Area Network）等の車内ＬＡＮを介して接続されている。
【００１７】
したがって、車両情報生成部２０からは、自車両の現在位置や進行方向（前進、バック、右・左折）の情報、ブレーキをかけた場合の車両速度の情報などを取得することができる。また交差点に進入する場合に、地図データベースをもとに交差点の情報や、進行先の状況を示す情報（例えば信号機の有無、道路の幅（広さ）等の情報）を入手することができる。
【００１８】
画像選択部３０は、複数のカメラ１１〜１４で撮影した画像の中から進行先の映像を撮影するカメラ画像を選択する。例えば車両が左折する場合は、車両情報生成部２０からの車両情報をもとに、前方カメラ１１と左カメラ１３の撮影画像を選択して、車両の進行先の状況を示す撮影画像を得ることができる。尚、以下の説明ではカメラ（１１〜１４）で撮影した画像をカメラ画像と呼ぶ。
【００１９】
障害物判定部４０は、画像選択部３０で選択したカメラ画像の一部を切り取る切り取り部４１と、切り取った画像を射影変換する射影変換部４２と、射影変換した画像を比較する比較部４３とを含み、比較部４３の比較結果をもとに障害物の有無を判定する。
【００２０】
表示切替部５０は、車両情報生成部２０からのナビゲーション情報と、障害物判定部４０からの障害物の判定情報と、画像選択部３０からの選択画像を入力し、車両が交差点に進入したときに、ナビゲーション画像またはカメラ画像を選択して表示部６０に表示する。
【００２１】
操作部７０は、ユーザ（運転者等）が操作するもので、カメラ１１〜１４で撮影した画像又はナビゲーション画像を手動で選択して表示することができる。また、表示部６０は、液晶ディスプレイ等の表示パネルを含み、表示部６０をタッチパネル式とすることで操作部７０を兼用することもでき、ナビゲーション画像を表示する際に現在地や目的地を入力することができる。また制御部８０はＣＰＵを含み、図１の各部の動作を制御する。
【００２２】
次に図１の各部の動作について説明する。本発明の実施形態では、図２（ａ）に例示するナビゲーション画像１００と，図２（ｂ）のカメラ画像２００を切り替えて表示するもので、通常の走行時には、図２（ａ）に示すナビゲーション画像１００を表示する。ナビゲーション画像１００は、地図情報や目標物（建物、交差点、道路名等）を表示し、車両が現在どの地点を走行しているかを、また交差点等ではどの方向に曲がるかを運転者に表示する。ナビゲーション画像１００に表示されたマーク１０１は車両の現在地点を示している。
【００２３】
また車両が交差点に進入しようとするとき、障害物の有無を判断して、障害物によって視界が妨げられるような場合は、カメラ１１〜１４で撮影した画像を表示するように切り替える。図２（ｂ）では、車両がＴ字路を左折したときのカメラ画像２００の一例を示している。車両が左折するときは、前方カメラ１１と左カメラ１３の画像を処理して表示部６０に表示する。また右折するときは前方カメラ１１と右カメラ１４の画像を処理して表示する。
【００２４】
本実施形態では、ナビゲーション画像を表示しているときに、進行先の道路状況を加味して、障害物によって死角を生じる可能性があるときにカメラ画像に切り替え、それ以外はナビゲーション画像を表示して、表示の切り替えが必要以上に頻繁に起きるのを避けるようにし、運転者が煩わしさを覚えるのを低減する点に特徴がある。以下、具体的に説明する。
【００２５】
図３は、カメラ１１〜１４の配置を示す平面図である。車両１には、４つのカメラ１１〜１４を取り付けている。例えば車両１の前方にカメラ１１を配置し、車両１の後方にカメラ１２を配置している。また車両１の左側（例えば左サイドミラー）にカメラ１３を配置し、車両１の右側（例えば右サイドミラー）にカメラ１４を配置している。尚、以下の説明ではカメラ１１〜１４を備えた車両１を自車両１と呼ぶこともある。
【００２６】
カメラ１１は車両１の前方を撮影するもので、魚眼カメラを使用することで、点線Ａ１で示すように広範囲（１８０度以上）を撮影することができる。また左カメラ１３も同様に魚眼カメラを使用することで、点線Ａ２で示すように広範囲を撮影することができる。後方カメラ１２及び右カメラ１４も同様に、魚眼カメラを使用することで広範囲を撮影することができる。後方カメラ１２及び右カメラ１４の撮影範囲の表示は、便宜上割愛する。
【００２７】
図４は、車両１が交差点に差しかかり、左折しようとする状態を示している。自車両１の前方が道路の交差線に進入すると、画像選択部２０は、車両１のウインカー情報やハンドルの回転角情報及び速度変化量をもとに左折しようとしていることを判断して、前方カメラ１１の撮影画像と左カメラ１３の撮影画像を選択し、進行先の画像を取得する。尚、前方カメラ１１や左カメラ１３は、実際には１８０度程度の広範囲を撮像可能であるが、説明の便宜上、進行方向の中心部から所定の角度範囲Ｗ１，Ｗ２を撮影するものとして説明する。
【００２８】
選択した前方カメラ１１とサイドカメラ（１３又は１４）の撮影画像は、障害物判定部４０に供給され、切り取り部４１によって撮影画像の中から進行先の画像を切り取る。図４の例では、前方カメラ１１と左カメラ１３が撮影した共通領域を切り取る。
【００２９】
尚、図５で示すように前方カメラ１１と左カメラ１３の高さ位置と撮影角度が異なる場合は、進行方向を撮影した画像のうち、路面に近い下側の画像を基準にするとよい。これにより、前方カメラ１１と左カメラ１３が撮影した同じ高さ位置の画像切り取ることができる。
【００３０】
切り取った画像は、射影変換部４２にて画像の角度を変える。例えば前方カメラ１１の視線に合うように左カメラ１３で撮影した画像の角度を変える。図６は射影変換部４２の動作を概略的に示す説明図である。尚、魚眼カメラで撮影した場合、画像が曲がるが、図６では補正処理により直線化した画像を例示している。
【００３１】
図６（ａ）は、前方カメラ１１で撮影した画像を示し、図６（ｂ）は左カメラ１３で撮影した画像を示す。それぞれの撮影方向が少しずれているため、このまま両画像を比較することはできない。そこで、例えば前方カメラ１１の視線に合うように左カメラ１３で撮影した画像の角度を図６（ｃ）のように変換する。
【００３２】
射影変換部４２からの２つの画像（図６（ａ）と（ｃ））はそれぞれ比較部４３で比較される。比較した結果、両画像が一致する場合は、障害物がないもとの判定し、両画像が不一致の場合は、障害物があると判断する。
【００３３】
図７、図８は車両１が左折しようとするときに、障害物がある場合を示している。図７では、交差点の左側に壁２がある場合を想定している。車両１の前方が交差線を通過すると、前方カメラ１１の撮影領域Ｗ１には障害物（壁２）がないため、撮影領域全体の画像が得られる。一方、左カメラ１３の撮影領域Ｗ２には障害物（壁２）があるため、Ｗ２１で示す領域は影画像になってしまう。このため、前方カメラ１１の撮影画像と左カメラ１３の撮影画像を比較すると不一致領域が多くなる。
【００３４】
また図８では、交差点の左側に電柱３がある場合を想定している。車両１の前方が交差線を通過すると、前方カメラ１１の撮影領域Ｗ１には障害物（電柱３）がないため、撮影領域全体の画像が得られる。一方、左カメラ１３の撮影領域Ｗ２には障害物（電柱３）があるため、Ｗ２２で示す領域は影画像になってしまう。しかしながら、影画像の領域Ｗ２２は図７の領域Ｗ２１に比べて小さい。このため、前方カメラ１１の撮影画像と左カメラ１３の撮影画像を比較すると不一致領域があるものの、不一致領域は狭い。また左カメラ１３の撮影画像に含まれる影画像Ｗ２１，Ｗ２２と、周辺画像との境界はほぼ直線的になる。
【００３５】
比較部４３からの比較情報は、表示切替部５０に供給される。表示切替部５０には、ナビゲーション装置２１からのナビゲーション情報と、画像選択部３０で選択されたカメラ画像が供給されており、ナビゲーション情報と比較情報をもとに、ナビゲーション情報とカメラ画像のいずれかを表示するように切り替える。
【００３６】
図９は、障害物判定部４０の動作と表示切替部５０の表示切り替えの処理を示すフローチャートである。ステップＳ１は判定のスタートステップであり、車両１が交差点に進入しようとすると、ステップＳ２では切り取り部４１によって画像の切り取り処理が行われ、ステップＳ３では射影変換が行われる。尚、ステップＳ２とステップＳ３の順番は入れ替えてもよい。
【００３７】
ステップＳ４では、比較部４３によって２画像（前方カメラ１１の画像と射影変換した左カメラ１３の画像）の比較が行われる。ステップＳ４で比較した結果、両画像が一致する場合は、ステップＳ５に進み、ナビゲーション画像（図２）を表示部６０に出力する。尚、両画像が一致する場合とは、完全に一致する場合を１００％としたとき、予め設定した一致率を越える場合を言い、１００％に近い値を意味する。
【００３８】
ステップＳ４で比較した結果、両画像が不一致の場合は、ステップＳ６に進み、完全に不一致か否かを判断する。両画像が完全に不一致の場合は、ステップＳ７に進み、カメラ画像を表示するように出力の切り替えを行う。尚、完全に不一致とは一致率が０％を言う。例えば、図７において障害物（壁２）が大きく、左カメラ１３で撮影した画像が全て影画像になるような場合である。
【００３９】
ステップＳ６において、完全不一致でない場合は、ステップＳ８に進み、不一致の部分の境界線が直線に近似するか否かの判断を行う。即ち、図７、図８で示したように、障害物が壁２や電柱３の場合、影画像Ｗ２１，Ｗ２２と周辺画像の境界は直線的になるため、ステップＳ８では、障害物が静止したものか否かを判断する。障害物が移動物（車、人、動物）の場合は、運転者の視界を遮っても直ぐに移動するため、ステップＳ５に進みナビゲーション画像を引き続き表示する。
【００４０】
一方、ステップＳ８において、不一致部分の境界線が直線に近似する場合は、ステップＳ９に進み、不一致率を判断する。ステップＳ９では、直線近似による影画像の占有領域が予め設定した数値（α％）以上のとき（例えば図７のＷ２１）は、ステップＳ７に進みカメラ画像を表示する。つまり、運転者から見て死角が生じる可能性が高いためカメラで撮影した画像を表示し、実際の道路状況を表示する。
【００４１】
また直線近似による画像領域が予め設定した数値（％）以下のとき（例えば図８のＷ２２）は、ステップＳ５に進みナビゲーション画像を表示する。つまり、運転者から見て死角を生じる可能性が低いためナビゲーション画像の表示を継続する。
【００４２】
このように、２つの画像を比較した結果、一致するか否か、また不一致の場合は直線近似するか否か、さらに直線近似の領域の占有率を判断した上でナビゲーション画像からカメラ画像に切り替えるため、表示画像が必要以上に頻繁に切り替わるのを防ぎ、運転者が煩わしさを覚えるのを低減することができる。
【００４３】
尚、図９のフローチャートにおいて、ステップＳ７でカメラ画像を表示した後は、所定時間を経過したあとナビゲーション画像の表示に切り替わり、車両１が次に交差点に進入すると、ステップＳ１に戻って同じ処理を繰り返す。したがって、車両１が交差点に進入する都度、表示を切り替えるか否かの判定が行われる。
【００４４】
また、表示の切り替えが必要以上に頻繁に起きるのを防ぐため、さらにステップＳ９の後段に判定１のステップＳ１０を介在させてもよい。又は比較ステップＳ４のあとに判定２のステップＳ１０を介在させてもよい。判定１のステップＳ１０を介在させる場合、ステップＳ９の判定結果をステップＳ１０に取り込んで表示を切り替えるか否かを判定する。したがって、ステップＳ９からステップＳ７に直接移行することはない。また判定２のステップＳ１１を介在させる場合、ステップＳ４の判定結果をステップＳ１１に取り込んで表示を切り替えるか否かを判定する。したがって、ステップＳ４からステップＳ５に直接移行することはない。
【００４５】
図１０は、判定ステップＳ１０の詳細なフローチャートであり、車両の進行先の道路状況を加味して表示の切り替えを行う。即ち、ステップＳ９において、直線近似による画像の占有領域が予め設定した数値（α％）以下のとき（ＮＯ）はステップＳ５に進みカメラで撮影した画像を表示する。一方、直線近似による画像の占有領域が予め設定した数値（α％）以上のとき（ＹＥＳ）は、ステップＳ１０１において、進行先の交差点に信号機があるか否かを判断する。
【００４６】
信号機の有無は、ナビゲーション装置２１の地図データベースの情報から判断する。或いはカメラ画像に信号機が映っているか否かで判断してもよい。信号機は特定の色と大きさであるため、判断は容易である。信号機がある場合は、信号機に従って比較的安全に進行できるため、ステップＳ５に進みナビゲーション画像を表示する。
【００４７】
ステップＳ１０１で信号機が無いと判断したときは、ステップＳ１０２において車両１の速度を判断する。速度情報は車両情報生成部２０から取得する。速度が速いときは、特に周囲に気遣うことなく比較的スムーズに進行して状態であるため、ステップＳ５に進みナビゲーション画像を表示する。
【００４８】
また速度が速いときは、交差点で一旦停止する状況にあり、危険度が高いためステップＳ１０３に進み、進行先の道路の広さを判断する。道路幅の情報は、ナビゲーション装置２１の地図データベースの情報から判断する。進行先の道路が広い場合は、比較的容易に進行できるため、ステップＳ５に進みナビゲーション画像を表示する。進行先の道路が狭い場合は、危険度が高いためステップＳ７に進み、カメラ画像に切り替えて実際の道路状況を表示する。
【００４９】
尚、ステップＳ１０１〜Ｓ１０３は直列的になっているが、ステップＳ１０１、Ｓ１０２、ステップＳ１０３のいずれか１つの判断結果で表示を切り替えるようにしてもよい。即ち、進行先の交差点に進入するとき、「信号機が無い」、「車速が遅い」又は「道路が狭い」のいずれか１つでも該当する場合は、ステップＳ７に進みカメラ画像を表示するように切り替えてもよい。
【００５０】
図１１は、判定ステップＳ１１の詳細なフローチャートであり、ステップＳ４で２つの画像が一致する場合でも、直ぐに状況が変化するような場合には、ステップＳ７に進み、カメラ画像に切り替えて表示するものである。
【００５１】
即ち、ステップＳ４で２つの画像が一致する場合は、ステップＳ１１に進み、車両が回転しているか否か（つまり右・左折していること）を判断し、回転していない場合（直進）は、ステップＳ５に進みナビゲーション画像を表示する。また車両１が回転している場合は、ステップＳ１１２に進み、状況変化、つまり一致判断の結果に変化があるか否かを判断する。ステップＳ１１２で状況変化がない場合は、ステップＳ５に進みナビゲーション画像を表示する。ステップＳ１１２で状況が変化した場合は、ステップＳ７に進みカメラ画像を表示するように切り替える。
【００５２】
図１１のフローチャートは、図１２に示すような道路状況を勘案したものである。図１２（ａ）は車両が左折しようとしているとき、後方から自転車やバイク４が直進してくる場合を示している。図１２（ａ）は、自車両１が左折する前を示している。前方カメラ１１と左カメラ１３には障害物が映らないため、両画像の比較結果は一致する。
【００５３】
しかしながら、車両１が回転すると前方カメラ１１の画像には障害物が映らないものの、左カメラ１３には直進してくる自転車やバイク４が映るため、前方カメラ１１と左カメラ１３の画像は不一致に変化する。したがって、ステップＳ１１２で状況変化があったと判断し、カメラ画像を表示するように切り替える。これにより、自転車やバイク４が直進していることを運転者に知らせることができる。
【００５４】
図１３は、画像選択部３０でのカメラ画像の選択動作の他の例を示す説明図である。道路状況は刻々と変化するため、車両１が進行する方向に合わせて、カメラ画像を選択する必要がある。図１３のように車両１が右折して、直ぐにまた右折するような場合は、前方カメラ１１と右カメラ１４の画像を連続的に選択し、進行先の道路状況にあった画像を取得する。
【００５５】
また切り取り部４１で画像を切り取る場合は、進行先の道路の傾斜を考慮して、例えば上り坂の場合は、高い位置の画像領域を切り取り、下り坂の場合は低い位置の画像領域を切り取ると良い。
【００５６】
また、図１０のステップＳ１０１〜１０３にさらに、車両のノーズ（鼻）の長さを判断して表示を切り替えるステップを追加してもよい。即ち、図１４はノーズの異なる車両にカメラ１１〜１４を取り付けた状態を示している。図４（ａ）は、ノーズが短い車両１を示している。この場合、前方カメラ１１とサイド（左又は右）のカメラ１３，１４間の距離Ｌ１は短いため、前方カメラ１１とサイドカメラ（１３又は１４）で撮影した画像は殆んど変化がないため、画像が一致する確率が高い。
【００５７】
一方、図１４（ｂ）で示すように、ノーズが長い車両の場合は、前方カメラ１１とサイド（左又は右）のカメラ１３，１４間の距離Ｌ２が長くなるため、前方カメラ１１とサイドカメラ（１３又は１４）で撮影した画像は相違する可能性が高く、画像が不一致になる確率が高い。したがって、ノーズが短い場合は、ナビゲーション画像を表示し、ノーズが長い場合はカメラで撮影した画像を表示するように切り替えてもよい。
【００５８】
以上述べたように本発明の実施形態によれば、ナビゲーション画像からカメラ画像に切り替えるとき、進行先の道路状況等を判断して切り替えを行い、障害物によって死角が生じるような場合にのみカメラ画像に切り替え、それ以外はナビゲーション画像を表示して、表示の切り替えが必要以上に頻繁に起きるのを避けることができる。したがって、運転者に煩わしさを与えることがなく、運転を支援することができる。
【００５９】
また本発明の実施形態は、以上説明した構成に限定されるものではなく、特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。例えばカメラ画像を表示する場合は、ナビゲーション画像に並べて同時に２画面表示するようにしてもよい。
【符号の説明】
【００６０】
１０…撮像部
１１，１２，１３，１４…カメラ
２０…車両情報生成部
２１…ナビゲーション装置
３０…画像選択部
４０…障害物判定部
４１…切り取り部
４２…射影変換部
４３…比較部
５０…表示切替部
６０…表示部
７０…操作部
８０…制御部
【技術分野】
【０００１】
本発明は、車両に複数のカメラを搭載し、複数のカメラで撮影された画像又は地図情報を含むナビゲーション画像を表示することができる車両用画像表示装置及び車両用画像表示方法に関する。
【背景技術】
【０００２】
従来、車両の走行時に行先を誘導するため、地図情報等を表示するナビゲ―ション装置があり、自車両が、現在どの地点にいるかを把握したり、どの方向に進むべきか等を案内表示できるようにしている。また車両に複数のカメラを搭載し、車両の周囲の映像を撮影して、撮影した画像を車両に設けたディスプレイに表示するようにした車両用画像表示装置がある。このような車両用画像表示装では、ディスプレイに表示された画像を確認することにより、車両の周囲にある障害物を把握することができ、車両が障害物に衝突或いは追突するのを防止することができる。
【０００３】
ところで、ナビゲーション装置やカメラが搭載された車両では、ナビゲーションデータベースの情報を利用して、信号のない交差点等では表示画像を切り替え、自車両が交差点に進入しようとすると、地図情報の表示から撮影したカメラ画像の表示に自動的に切り替えるシステムが販売されている。
【０００４】
しかしながら、運転者が必要な画像は、本質的に死角になっている画像であり、交差点に進入する都度、自動的にカメラ画像に切り替わると、かえって煩わしいこともある。特に進入先の交差点が比較的見通しがよい場合等は、運転者は周囲の環境を把握しているため、そのまま地図情報が表示される方がよい。
【０００５】
また特許文献１には、車両用の映像表示装置が開示されており、通常は車両周辺を一覧する俯瞰映像を表示し、障害物を検出したときには、カメラで取得した撮影映像と俯瞰映像を同時に表示するようにした例が記載されている。しかしながら特許文献１では、障害物を検出する都度、自動的に表示内容が切り替わるため、運転者に既知の障害物の場合は、表示が切り替わると煩わしいものとなる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３４１６４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ナビゲーション装置やカメラが搭載された車両では、自車両が交差点に進入しようとすると地図情報の表示からカメラ画像の表示に自動的に切り替えるシステムがある。しかしながら、交差点に進入する都度、自動的にカメラ画像に切り替わると、かえって煩わしいこともある。また特許文献１のように障害物を検出する都度、自動的に表示内容が切り替わるものでは、運転者に既知の障害物である場合は煩わしいものとなる。
【０００８】
本発明はこのような事情に鑑み、カメラ画像を用いて障害物の検出を行い、障害物によって死角が発生する可能性が高いときのみ、カメラによる撮影画像に切り替えて表示する車両用画像表示装置及び車両用画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１記載の車両用画像表示装置は、車両周囲の映像を夫々撮影する複数のカメラを含む撮像部と、前記複数のカメラのうち前記車両の進行先の映像を撮影する少なくとも２つのカメラで撮影した画像を比較し、比較画像の一致度に応じて障害物の有無を判定する障害物判定部と、前記車両の情報及び前記車両の進行を案内するナビゲーション情報を生成する車両情報生成部と、前記障害物判定部による障害物の判定結果と、前記車両情報生成部から入手した前記車両の進行先の状況を示す情報をもとに、前記ナビゲーション画像又は前記進行先周辺の映像を撮影したカメラ画像を切り替えて出力する表示切替部と、前記表示切替部から出力された画像を表示可能な表示部とを具備したことを特徴とする。
【００１０】
また請求項６記載の車両用画像表示方法は、車両の周囲映像を複数のカメラによって撮影し、前記複数のカメラのうち前記車両の進行先の映像を撮影する少なくとも２つのカメラで撮影した画像を比較し、比較画像の一致度に応じて障害物の有無を判定し、前記車両の情報及び前記車両の進行を案内するナビゲーション情報を生成し、前記障害物判定部による障害物の判定結果と前記車両の進行先の状況を示す情報をもとに、ナビゲーション画像又は前記進行先周辺の映像を撮影したカメラ画像を切り替えて出力し、前記車両の通常走行時には前記ナビゲーション画像を表示部に表示し、前記車両が交差点を曲がる際に前記障害物によって死角を生じる可能性があるときには前記カメラ画像を表示することを特徴とする。
【発明の効果】
【００１１】
本発明の車両用画像表示装置によれば、撮影画像を用いて障害物の検出を行い、障害物によって死角が発生する可能性が高いときのみ、カメラによる撮影画像に切り替えて表示するため、運転者に対して煩わしさを与えることなく、運転支援を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る車両用画像表示装置の全体構成を示すブロック図。
【図２】ナビゲーション画像と、カメラ画像の表示例を示す説明図。
【図３】車両への複数のカメラの配置例を示す平面図。
【図４】車両が交差点を左折しようとする状態を示す説明図。
【図５】前方カメラとサイドカメラの高さ位置と撮影角度の違いを示す説明図。
【図６】カメラ画像の射影変換の一例を示す説明図。
【図７】車両が左折しようとするときに、障害物がある場合を示す説明図。
【図８】車両が左折しようとするときに、別の障害物がある場合を示す説明図。
【図９】障害物判定部と表示切替部の動作を示すフローチャート。
【図１０】図９の判定ステップＳ１０の詳細なフローチャート。
【図１１】図９の判定ステップＳ１１の詳細なフローチャート。
【図１２】図１１のフローチャートの説明を補足する道路状況の説明図。
【図１３】画像選択部でのカメラ画像の選択動作の一例を示す説明図。
【図１４】車両のノーズの違いを示す説明図。
【発明を実施するための形態】
【００１３】
以下、この発明の一実施形態について図面を参照して説明する。
【実施例１】
【００１４】
図１は、本発明の一実施形態に係る車両用画像表示装置の全体構成を示すブロック図である。図１の車両用画像表示装置は、撮像部１０、車両情報生成部２０、画像選択部３０、障害物判定部４０、表示切替部５０、表示部６０、操作部７０及び制御部８０を備えている。
【００１５】
撮像部１０は、自車両の周囲の映像を撮影する４つのカメラ１１，１２，１３，１４を有している。４つのカメラ１１，１２，１３，１４は、車両の前方、後方、サイド（左側、右側）をそれぞれ撮影するものであり、車両の全周囲（３６０度）の視界を撮影するため、例えば魚眼カメラを使用する。カメラの位置及び撮影範囲については後述する。
【００１６】
車両情報生成部２０は、ナビゲーション装置２１を含む。ナビゲーション装置２１は、車両の進行を案内するナビゲーション情報を生成するもので、自車両の現在位置を検出するＧＰＳ受信部、地図データを格納した地図データベース、目的地までの経路を探索する探索部等を有する。また車両情報生成部２０は、自車両の車速や傾きを検出する車速度センサやジャイロセンサ等を有し、ＧＰＳ受信部、地図データベース、探索部、車速センサやジャイロセンサ等がＣＡＮ（Controller Area Network）等の車内ＬＡＮを介して接続されている。
【００１７】
したがって、車両情報生成部２０からは、自車両の現在位置や進行方向（前進、バック、右・左折）の情報、ブレーキをかけた場合の車両速度の情報などを取得することができる。また交差点に進入する場合に、地図データベースをもとに交差点の情報や、進行先の状況を示す情報（例えば信号機の有無、道路の幅（広さ）等の情報）を入手することができる。
【００１８】
画像選択部３０は、複数のカメラ１１〜１４で撮影した画像の中から進行先の映像を撮影するカメラ画像を選択する。例えば車両が左折する場合は、車両情報生成部２０からの車両情報をもとに、前方カメラ１１と左カメラ１３の撮影画像を選択して、車両の進行先の状況を示す撮影画像を得ることができる。尚、以下の説明ではカメラ（１１〜１４）で撮影した画像をカメラ画像と呼ぶ。
【００１９】
障害物判定部４０は、画像選択部３０で選択したカメラ画像の一部を切り取る切り取り部４１と、切り取った画像を射影変換する射影変換部４２と、射影変換した画像を比較する比較部４３とを含み、比較部４３の比較結果をもとに障害物の有無を判定する。
【００２０】
表示切替部５０は、車両情報生成部２０からのナビゲーション情報と、障害物判定部４０からの障害物の判定情報と、画像選択部３０からの選択画像を入力し、車両が交差点に進入したときに、ナビゲーション画像またはカメラ画像を選択して表示部６０に表示する。
【００２１】
操作部７０は、ユーザ（運転者等）が操作するもので、カメラ１１〜１４で撮影した画像又はナビゲーション画像を手動で選択して表示することができる。また、表示部６０は、液晶ディスプレイ等の表示パネルを含み、表示部６０をタッチパネル式とすることで操作部７０を兼用することもでき、ナビゲーション画像を表示する際に現在地や目的地を入力することができる。また制御部８０はＣＰＵを含み、図１の各部の動作を制御する。
【００２２】
次に図１の各部の動作について説明する。本発明の実施形態では、図２（ａ）に例示するナビゲーション画像１００と，図２（ｂ）のカメラ画像２００を切り替えて表示するもので、通常の走行時には、図２（ａ）に示すナビゲーション画像１００を表示する。ナビゲーション画像１００は、地図情報や目標物（建物、交差点、道路名等）を表示し、車両が現在どの地点を走行しているかを、また交差点等ではどの方向に曲がるかを運転者に表示する。ナビゲーション画像１００に表示されたマーク１０１は車両の現在地点を示している。
【００２３】
また車両が交差点に進入しようとするとき、障害物の有無を判断して、障害物によって視界が妨げられるような場合は、カメラ１１〜１４で撮影した画像を表示するように切り替える。図２（ｂ）では、車両がＴ字路を左折したときのカメラ画像２００の一例を示している。車両が左折するときは、前方カメラ１１と左カメラ１３の画像を処理して表示部６０に表示する。また右折するときは前方カメラ１１と右カメラ１４の画像を処理して表示する。
【００２４】
本実施形態では、ナビゲーション画像を表示しているときに、進行先の道路状況を加味して、障害物によって死角を生じる可能性があるときにカメラ画像に切り替え、それ以外はナビゲーション画像を表示して、表示の切り替えが必要以上に頻繁に起きるのを避けるようにし、運転者が煩わしさを覚えるのを低減する点に特徴がある。以下、具体的に説明する。
【００２５】
図３は、カメラ１１〜１４の配置を示す平面図である。車両１には、４つのカメラ１１〜１４を取り付けている。例えば車両１の前方にカメラ１１を配置し、車両１の後方にカメラ１２を配置している。また車両１の左側（例えば左サイドミラー）にカメラ１３を配置し、車両１の右側（例えば右サイドミラー）にカメラ１４を配置している。尚、以下の説明ではカメラ１１〜１４を備えた車両１を自車両１と呼ぶこともある。
【００２６】
カメラ１１は車両１の前方を撮影するもので、魚眼カメラを使用することで、点線Ａ１で示すように広範囲（１８０度以上）を撮影することができる。また左カメラ１３も同様に魚眼カメラを使用することで、点線Ａ２で示すように広範囲を撮影することができる。後方カメラ１２及び右カメラ１４も同様に、魚眼カメラを使用することで広範囲を撮影することができる。後方カメラ１２及び右カメラ１４の撮影範囲の表示は、便宜上割愛する。
【００２７】
図４は、車両１が交差点に差しかかり、左折しようとする状態を示している。自車両１の前方が道路の交差線に進入すると、画像選択部２０は、車両１のウインカー情報やハンドルの回転角情報及び速度変化量をもとに左折しようとしていることを判断して、前方カメラ１１の撮影画像と左カメラ１３の撮影画像を選択し、進行先の画像を取得する。尚、前方カメラ１１や左カメラ１３は、実際には１８０度程度の広範囲を撮像可能であるが、説明の便宜上、進行方向の中心部から所定の角度範囲Ｗ１，Ｗ２を撮影するものとして説明する。
【００２８】
選択した前方カメラ１１とサイドカメラ（１３又は１４）の撮影画像は、障害物判定部４０に供給され、切り取り部４１によって撮影画像の中から進行先の画像を切り取る。図４の例では、前方カメラ１１と左カメラ１３が撮影した共通領域を切り取る。
【００２９】
尚、図５で示すように前方カメラ１１と左カメラ１３の高さ位置と撮影角度が異なる場合は、進行方向を撮影した画像のうち、路面に近い下側の画像を基準にするとよい。これにより、前方カメラ１１と左カメラ１３が撮影した同じ高さ位置の画像切り取ることができる。
【００３０】
切り取った画像は、射影変換部４２にて画像の角度を変える。例えば前方カメラ１１の視線に合うように左カメラ１３で撮影した画像の角度を変える。図６は射影変換部４２の動作を概略的に示す説明図である。尚、魚眼カメラで撮影した場合、画像が曲がるが、図６では補正処理により直線化した画像を例示している。
【００３１】
図６（ａ）は、前方カメラ１１で撮影した画像を示し、図６（ｂ）は左カメラ１３で撮影した画像を示す。それぞれの撮影方向が少しずれているため、このまま両画像を比較することはできない。そこで、例えば前方カメラ１１の視線に合うように左カメラ１３で撮影した画像の角度を図６（ｃ）のように変換する。
【００３２】
射影変換部４２からの２つの画像（図６（ａ）と（ｃ））はそれぞれ比較部４３で比較される。比較した結果、両画像が一致する場合は、障害物がないもとの判定し、両画像が不一致の場合は、障害物があると判断する。
【００３３】
図７、図８は車両１が左折しようとするときに、障害物がある場合を示している。図７では、交差点の左側に壁２がある場合を想定している。車両１の前方が交差線を通過すると、前方カメラ１１の撮影領域Ｗ１には障害物（壁２）がないため、撮影領域全体の画像が得られる。一方、左カメラ１３の撮影領域Ｗ２には障害物（壁２）があるため、Ｗ２１で示す領域は影画像になってしまう。このため、前方カメラ１１の撮影画像と左カメラ１３の撮影画像を比較すると不一致領域が多くなる。
【００３４】
また図８では、交差点の左側に電柱３がある場合を想定している。車両１の前方が交差線を通過すると、前方カメラ１１の撮影領域Ｗ１には障害物（電柱３）がないため、撮影領域全体の画像が得られる。一方、左カメラ１３の撮影領域Ｗ２には障害物（電柱３）があるため、Ｗ２２で示す領域は影画像になってしまう。しかしながら、影画像の領域Ｗ２２は図７の領域Ｗ２１に比べて小さい。このため、前方カメラ１１の撮影画像と左カメラ１３の撮影画像を比較すると不一致領域があるものの、不一致領域は狭い。また左カメラ１３の撮影画像に含まれる影画像Ｗ２１，Ｗ２２と、周辺画像との境界はほぼ直線的になる。
【００３５】
比較部４３からの比較情報は、表示切替部５０に供給される。表示切替部５０には、ナビゲーション装置２１からのナビゲーション情報と、画像選択部３０で選択されたカメラ画像が供給されており、ナビゲーション情報と比較情報をもとに、ナビゲーション情報とカメラ画像のいずれかを表示するように切り替える。
【００３６】
図９は、障害物判定部４０の動作と表示切替部５０の表示切り替えの処理を示すフローチャートである。ステップＳ１は判定のスタートステップであり、車両１が交差点に進入しようとすると、ステップＳ２では切り取り部４１によって画像の切り取り処理が行われ、ステップＳ３では射影変換が行われる。尚、ステップＳ２とステップＳ３の順番は入れ替えてもよい。
【００３７】
ステップＳ４では、比較部４３によって２画像（前方カメラ１１の画像と射影変換した左カメラ１３の画像）の比較が行われる。ステップＳ４で比較した結果、両画像が一致する場合は、ステップＳ５に進み、ナビゲーション画像（図２）を表示部６０に出力する。尚、両画像が一致する場合とは、完全に一致する場合を１００％としたとき、予め設定した一致率を越える場合を言い、１００％に近い値を意味する。
【００３８】
ステップＳ４で比較した結果、両画像が不一致の場合は、ステップＳ６に進み、完全に不一致か否かを判断する。両画像が完全に不一致の場合は、ステップＳ７に進み、カメラ画像を表示するように出力の切り替えを行う。尚、完全に不一致とは一致率が０％を言う。例えば、図７において障害物（壁２）が大きく、左カメラ１３で撮影した画像が全て影画像になるような場合である。
【００３９】
ステップＳ６において、完全不一致でない場合は、ステップＳ８に進み、不一致の部分の境界線が直線に近似するか否かの判断を行う。即ち、図７、図８で示したように、障害物が壁２や電柱３の場合、影画像Ｗ２１，Ｗ２２と周辺画像の境界は直線的になるため、ステップＳ８では、障害物が静止したものか否かを判断する。障害物が移動物（車、人、動物）の場合は、運転者の視界を遮っても直ぐに移動するため、ステップＳ５に進みナビゲーション画像を引き続き表示する。
【００４０】
一方、ステップＳ８において、不一致部分の境界線が直線に近似する場合は、ステップＳ９に進み、不一致率を判断する。ステップＳ９では、直線近似による影画像の占有領域が予め設定した数値（α％）以上のとき（例えば図７のＷ２１）は、ステップＳ７に進みカメラ画像を表示する。つまり、運転者から見て死角が生じる可能性が高いためカメラで撮影した画像を表示し、実際の道路状況を表示する。
【００４１】
また直線近似による画像領域が予め設定した数値（％）以下のとき（例えば図８のＷ２２）は、ステップＳ５に進みナビゲーション画像を表示する。つまり、運転者から見て死角を生じる可能性が低いためナビゲーション画像の表示を継続する。
【００４２】
このように、２つの画像を比較した結果、一致するか否か、また不一致の場合は直線近似するか否か、さらに直線近似の領域の占有率を判断した上でナビゲーション画像からカメラ画像に切り替えるため、表示画像が必要以上に頻繁に切り替わるのを防ぎ、運転者が煩わしさを覚えるのを低減することができる。
【００４３】
尚、図９のフローチャートにおいて、ステップＳ７でカメラ画像を表示した後は、所定時間を経過したあとナビゲーション画像の表示に切り替わり、車両１が次に交差点に進入すると、ステップＳ１に戻って同じ処理を繰り返す。したがって、車両１が交差点に進入する都度、表示を切り替えるか否かの判定が行われる。
【００４４】
また、表示の切り替えが必要以上に頻繁に起きるのを防ぐため、さらにステップＳ９の後段に判定１のステップＳ１０を介在させてもよい。又は比較ステップＳ４のあとに判定２のステップＳ１０を介在させてもよい。判定１のステップＳ１０を介在させる場合、ステップＳ９の判定結果をステップＳ１０に取り込んで表示を切り替えるか否かを判定する。したがって、ステップＳ９からステップＳ７に直接移行することはない。また判定２のステップＳ１１を介在させる場合、ステップＳ４の判定結果をステップＳ１１に取り込んで表示を切り替えるか否かを判定する。したがって、ステップＳ４からステップＳ５に直接移行することはない。
【００４５】
図１０は、判定ステップＳ１０の詳細なフローチャートであり、車両の進行先の道路状況を加味して表示の切り替えを行う。即ち、ステップＳ９において、直線近似による画像の占有領域が予め設定した数値（α％）以下のとき（ＮＯ）はステップＳ５に進みカメラで撮影した画像を表示する。一方、直線近似による画像の占有領域が予め設定した数値（α％）以上のとき（ＹＥＳ）は、ステップＳ１０１において、進行先の交差点に信号機があるか否かを判断する。
【００４６】
信号機の有無は、ナビゲーション装置２１の地図データベースの情報から判断する。或いはカメラ画像に信号機が映っているか否かで判断してもよい。信号機は特定の色と大きさであるため、判断は容易である。信号機がある場合は、信号機に従って比較的安全に進行できるため、ステップＳ５に進みナビゲーション画像を表示する。
【００４７】
ステップＳ１０１で信号機が無いと判断したときは、ステップＳ１０２において車両１の速度を判断する。速度情報は車両情報生成部２０から取得する。速度が速いときは、特に周囲に気遣うことなく比較的スムーズに進行して状態であるため、ステップＳ５に進みナビゲーション画像を表示する。
【００４８】
また速度が速いときは、交差点で一旦停止する状況にあり、危険度が高いためステップＳ１０３に進み、進行先の道路の広さを判断する。道路幅の情報は、ナビゲーション装置２１の地図データベースの情報から判断する。進行先の道路が広い場合は、比較的容易に進行できるため、ステップＳ５に進みナビゲーション画像を表示する。進行先の道路が狭い場合は、危険度が高いためステップＳ７に進み、カメラ画像に切り替えて実際の道路状況を表示する。
【００４９】
尚、ステップＳ１０１〜Ｓ１０３は直列的になっているが、ステップＳ１０１、Ｓ１０２、ステップＳ１０３のいずれか１つの判断結果で表示を切り替えるようにしてもよい。即ち、進行先の交差点に進入するとき、「信号機が無い」、「車速が遅い」又は「道路が狭い」のいずれか１つでも該当する場合は、ステップＳ７に進みカメラ画像を表示するように切り替えてもよい。
【００５０】
図１１は、判定ステップＳ１１の詳細なフローチャートであり、ステップＳ４で２つの画像が一致する場合でも、直ぐに状況が変化するような場合には、ステップＳ７に進み、カメラ画像に切り替えて表示するものである。
【００５１】
即ち、ステップＳ４で２つの画像が一致する場合は、ステップＳ１１に進み、車両が回転しているか否か（つまり右・左折していること）を判断し、回転していない場合（直進）は、ステップＳ５に進みナビゲーション画像を表示する。また車両１が回転している場合は、ステップＳ１１２に進み、状況変化、つまり一致判断の結果に変化があるか否かを判断する。ステップＳ１１２で状況変化がない場合は、ステップＳ５に進みナビゲーション画像を表示する。ステップＳ１１２で状況が変化した場合は、ステップＳ７に進みカメラ画像を表示するように切り替える。
【００５２】
図１１のフローチャートは、図１２に示すような道路状況を勘案したものである。図１２（ａ）は車両が左折しようとしているとき、後方から自転車やバイク４が直進してくる場合を示している。図１２（ａ）は、自車両１が左折する前を示している。前方カメラ１１と左カメラ１３には障害物が映らないため、両画像の比較結果は一致する。
【００５３】
しかしながら、車両１が回転すると前方カメラ１１の画像には障害物が映らないものの、左カメラ１３には直進してくる自転車やバイク４が映るため、前方カメラ１１と左カメラ１３の画像は不一致に変化する。したがって、ステップＳ１１２で状況変化があったと判断し、カメラ画像を表示するように切り替える。これにより、自転車やバイク４が直進していることを運転者に知らせることができる。
【００５４】
図１３は、画像選択部３０でのカメラ画像の選択動作の他の例を示す説明図である。道路状況は刻々と変化するため、車両１が進行する方向に合わせて、カメラ画像を選択する必要がある。図１３のように車両１が右折して、直ぐにまた右折するような場合は、前方カメラ１１と右カメラ１４の画像を連続的に選択し、進行先の道路状況にあった画像を取得する。
【００５５】
また切り取り部４１で画像を切り取る場合は、進行先の道路の傾斜を考慮して、例えば上り坂の場合は、高い位置の画像領域を切り取り、下り坂の場合は低い位置の画像領域を切り取ると良い。
【００５６】
また、図１０のステップＳ１０１〜１０３にさらに、車両のノーズ（鼻）の長さを判断して表示を切り替えるステップを追加してもよい。即ち、図１４はノーズの異なる車両にカメラ１１〜１４を取り付けた状態を示している。図４（ａ）は、ノーズが短い車両１を示している。この場合、前方カメラ１１とサイド（左又は右）のカメラ１３，１４間の距離Ｌ１は短いため、前方カメラ１１とサイドカメラ（１３又は１４）で撮影した画像は殆んど変化がないため、画像が一致する確率が高い。
【００５７】
一方、図１４（ｂ）で示すように、ノーズが長い車両の場合は、前方カメラ１１とサイド（左又は右）のカメラ１３，１４間の距離Ｌ２が長くなるため、前方カメラ１１とサイドカメラ（１３又は１４）で撮影した画像は相違する可能性が高く、画像が不一致になる確率が高い。したがって、ノーズが短い場合は、ナビゲーション画像を表示し、ノーズが長い場合はカメラで撮影した画像を表示するように切り替えてもよい。
【００５８】
以上述べたように本発明の実施形態によれば、ナビゲーション画像からカメラ画像に切り替えるとき、進行先の道路状況等を判断して切り替えを行い、障害物によって死角が生じるような場合にのみカメラ画像に切り替え、それ以外はナビゲーション画像を表示して、表示の切り替えが必要以上に頻繁に起きるのを避けることができる。したがって、運転者に煩わしさを与えることがなく、運転を支援することができる。
【００５９】
また本発明の実施形態は、以上説明した構成に限定されるものではなく、特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。例えばカメラ画像を表示する場合は、ナビゲーション画像に並べて同時に２画面表示するようにしてもよい。
【符号の説明】
【００６０】
１０…撮像部
１１，１２，１３，１４…カメラ
２０…車両情報生成部
２１…ナビゲーション装置
３０…画像選択部
４０…障害物判定部
４１…切り取り部
４２…射影変換部
４３…比較部
５０…表示切替部
６０…表示部
７０…操作部
８０…制御部
【特許請求の範囲】
【請求項１】
車両周囲の映像を夫々撮影する複数のカメラを含む撮像部と、
前記複数のカメラのうち前記車両の進行先の映像を撮影する少なくとも２つのカメラで撮影した画像を比較し、比較画像の一致度に応じて障害物の有無を判定する障害物判定部と、
前記車両の情報及び前記車両の進行を案内するナビゲーション情報を生成する車両情報生成部と、
前記障害物判定部による障害物の判定結果と、前記車両情報生成部から入手した前記車両の進行先の状況を示す情報をもとに、前記ナビゲーション画像又は前記進行先周辺の映像を撮影したカメラ画像を切り替えて出力する表示切替部と、
前記表示切替部から出力された画像を表示可能な表示部と、
を具備したことを特徴とする車両用画像表示装置。
【請求項２】
前記表示切替部は、前記車両の通常走行時に前記ナビゲーション画像を出力し、前記車両が交差点を曲がる際に前記障害物によって死角を生じる可能性があるときに前記カメラ画像を出力することを特徴とする請求項１記載の車両用画像表示装置。
【請求項３】
前記障害物判定部は、前記比較画像に前記障害物による影画像が含まれる場合に、前記影画像と周辺画像との境界線が直線近似するか否かを判断し、直線近似する場合は障害物ありと判定し、
前記表示切替部は、前記影画像の占有領域が所定の比率以上になったときに前記カメラ画像を出力するように切り替えることを特徴とする請求項１記載の車両用画像表示装置。
【請求項４】
前記表示切替部は、前記影画像の占有領域が所定の比率以上になったときに、さらに進行先の道路の広さ、信号機の有無、及び前記車両の速度の少なくとも１つの情報に基づいて、前記カメラ画像を出力するように切り替えることを特徴とする請求項３記載の車両用画像表示装置。
【請求項５】
前記表示切替部は、前記車両が交差点を曲がる途中において前記障害物判定部の判定結果が変化したときは、前記カメラ画像を出力することを特徴とする請求項１記載の車両用画像表示装置。
【請求項６】
車両の周囲映像を複数のカメラによって撮影し、
前記複数のカメラのうち前記車両の進行先の映像を撮影する少なくとも２つのカメラで撮影した画像を比較し、比較画像の一致度に応じて障害物の有無を判定し、
前記車両の情報及び前記車両の進行を案内するナビゲーション情報を生成し、
前記障害物判定部による障害物の判定結果と前記車両の進行先の状況を示す情報をもとに、ナビゲーション画像又は前記進行先周辺の映像を撮影したカメラ画像を切り替えて出力し、
前記車両の通常走行時には前記ナビゲーション画像を表示部に表示し、前記車両が交差点を曲がる際に前記障害物によって死角を生じる可能性があるときには前記カメラ画像を表示することを特徴とする車両用画像表示方法。
【請求項１】
車両周囲の映像を夫々撮影する複数のカメラを含む撮像部と、
前記複数のカメラのうち前記車両の進行先の映像を撮影する少なくとも２つのカメラで撮影した画像を比較し、比較画像の一致度に応じて障害物の有無を判定する障害物判定部と、
前記車両の情報及び前記車両の進行を案内するナビゲーション情報を生成する車両情報生成部と、
前記障害物判定部による障害物の判定結果と、前記車両情報生成部から入手した前記車両の進行先の状況を示す情報をもとに、前記ナビゲーション画像又は前記進行先周辺の映像を撮影したカメラ画像を切り替えて出力する表示切替部と、
前記表示切替部から出力された画像を表示可能な表示部と、
を具備したことを特徴とする車両用画像表示装置。
【請求項２】
前記表示切替部は、前記車両の通常走行時に前記ナビゲーション画像を出力し、前記車両が交差点を曲がる際に前記障害物によって死角を生じる可能性があるときに前記カメラ画像を出力することを特徴とする請求項１記載の車両用画像表示装置。
【請求項３】
前記障害物判定部は、前記比較画像に前記障害物による影画像が含まれる場合に、前記影画像と周辺画像との境界線が直線近似するか否かを判断し、直線近似する場合は障害物ありと判定し、
前記表示切替部は、前記影画像の占有領域が所定の比率以上になったときに前記カメラ画像を出力するように切り替えることを特徴とする請求項１記載の車両用画像表示装置。
【請求項４】
前記表示切替部は、前記影画像の占有領域が所定の比率以上になったときに、さらに進行先の道路の広さ、信号機の有無、及び前記車両の速度の少なくとも１つの情報に基づいて、前記カメラ画像を出力するように切り替えることを特徴とする請求項３記載の車両用画像表示装置。
【請求項５】
前記表示切替部は、前記車両が交差点を曲がる途中において前記障害物判定部の判定結果が変化したときは、前記カメラ画像を出力することを特徴とする請求項１記載の車両用画像表示装置。
【請求項６】
車両の周囲映像を複数のカメラによって撮影し、
前記複数のカメラのうち前記車両の進行先の映像を撮影する少なくとも２つのカメラで撮影した画像を比較し、比較画像の一致度に応じて障害物の有無を判定し、
前記車両の情報及び前記車両の進行を案内するナビゲーション情報を生成し、
前記障害物判定部による障害物の判定結果と前記車両の進行先の状況を示す情報をもとに、ナビゲーション画像又は前記進行先周辺の映像を撮影したカメラ画像を切り替えて出力し、
前記車両の通常走行時には前記ナビゲーション画像を表示部に表示し、前記車両が交差点を曲がる際に前記障害物によって死角を生じる可能性があるときには前記カメラ画像を表示することを特徴とする車両用画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１３４２３７（Ｐ２０１１−１３４２３７Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９５００６（Ｐ２００９−２９５００６）
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
[ Back to top ]