映像表示装置及び映像表示方法
【課題】俯瞰映像を表示させる場合であっても、当該俯瞰映像における障害物との相対位置と、実際の障害物との相対位置との相違を同一画面上で確認させる。
【解決手段】車両周囲の異なる方向を撮像方向とした複数のカメラから取得した、画像変換が行われていない複数の直接映像１１０を用いて、車両周囲の状況を運転者に提示するために、映像処理部により、複数の直接映像１１０を取得し、当該複数の直接映像１１０を用いて車両周囲を一覧させる俯瞰映像１００を作成し、障害物検知部によって自車両に近接する障害物を検知した時に、制御部によって、俯瞰映像１００と、障害物の自車両に対する方向を撮像した直接映像１１０とを同時に表示させる。
【解決手段】車両周囲の異なる方向を撮像方向とした複数のカメラから取得した、画像変換が行われていない複数の直接映像１１０を用いて、車両周囲の状況を運転者に提示するために、映像処理部により、複数の直接映像１１０を取得し、当該複数の直接映像１１０を用いて車両周囲を一覧させる俯瞰映像１００を作成し、障害物検知部によって自車両に近接する障害物を検知した時に、制御部によって、俯瞰映像１００と、障害物の自車両に対する方向を撮像した直接映像１１０とを同時に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば車両を駐車させるに際して、車両周囲の状況を運転者に把握させる映像を表示する映像表示装置及び映像表示方法に関する。
【背景技術】
【０００２】
従来より、車両周囲に設置された複数のカメラ映像を処理して、運転者に提供する技術が、下記の特許文献１などで知られている。この特許文献１に記載された車両周辺画像処理装置は、一又は複数のカメラ映像をある基準面に対して座標変換することで仮想視点位置から撮像したような画像に変換し、当該画像にＣＧ技術で予め作成しておいた自車両ＣＧ画像を重畳させることで上空から自車両を撮影したような映像（以下、俯瞰映像）を提供している。このような俯瞰映像を作成するに際して、基準面としては地面が用いられることが多い。この俯瞰映像は、地面上の白線や縁石などと自車両との位置関係が客観的に表現されるため、駐車枠にあわせて駐車する場合や縁石に幅寄せをするようなシーンにおいて有効な映像である。
【０００３】
このような俯瞰映像を作成することにより、特許文献１に記載された車両周辺画像処理装置では、段落番号００５０以降に記載されているように、俯瞰映像ではない原画像と俯瞰映像とを表示させて、運転者に車両周囲を把握させていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２５４２１９号公報（図７参照）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に記載された技術を用いて俯瞰映像を合成する場合、基準面上に存在する物体に関しては理論上完全に位置関係を保持して映像変換することが可能であるが、基準面より高い位置や低い位置にある立体物については自車両ＣＧ画像と車両周囲障害物との位置関係の相違が現れる場合があるという問題点がある。
【０００６】
例えば、ＳＵＶ型車両などのバンパ位置の高い車両では、実際にバンパの存在する位置よりも遠い位置の俯瞰映像上にバンパが表現されることがある。このように実際の自車両位置と他車両位置との相違が俯瞰映像上で現れると、俯瞰映像上で確認できる自車両の予測軌跡と実際の走行軌跡とが合致しなくなる可能性がある。
【０００７】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、俯瞰映像を表示させた場合であっても、当該俯瞰映像における障害物との相対位置と、実際の障害物との相対位置との相違を同一画面上で確認させることができる映像表示装置及び映像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明では、車両周囲の異なる方向を撮像方向とした複数のカメラから取得した、画像変換が行われていない複数の直接映像を用いて、車両周囲の状況を運転者に提示するために、映像処理手段により、複数の直接映像を取得し、当該複数の直接映像を用いて車両周囲を一覧させる俯瞰映像を作成し、障害物検知手段によって自車両に近接する障害物を検知した時に、表示手段によって、映像処理手段で作成された俯瞰映像と、障害物検知手段によって検知された障害物の自車両に対する方向を撮像した直接映像とを同時に表示させることによって、上述の課題を解決する。
【発明の効果】
【０００９】
本発明によれば、自車両に近接する障害物を検知した時に、俯瞰映像と、障害物の自車両に対する方向を撮像した直接映像とを同時に表示させるので、俯瞰映像における障害物との相対位置と、実際の障害物との相対位置との相違を同一画面上で確認させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した運転支援装置の構成を示すブロック図である。
【図２】本発明を適用した運転支援装置を構成する撮像部の構成を示す上面図である。
【図３】本発明を適用した運転支援装置を構成する撮像部を構成するカメラの撮像領域に着いて説明するための図であり、（ａ）は後方の撮像領域、（ｂ）は左側方の撮像領域、（ｃ）は前方の撮像領域、（ｄ）は右側方の撮像領域である。
【図４】本発明を適用した運転支援装置の表示部に、俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。
【図５】本発明を適用した運転支援装置の表示部に、障害物表示を含む俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。
【図６】本発明を適用した運転支援装置の表示部に、障害物警報表示を含む俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。
【図７】本発明を適用した運転支援装置の表示部に、ガイドライン表示を含む俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。
【図８】本発明を適用した運転支援装置の表示部に、表示状態を変化させたガイドライン表示を含む俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。
【図９】本発明を適用した運転支援装置の表示部に、背景色を変化させた俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。
【図１０】本発明を適用した運転支援装置の効果を説明するための図であり、（ａ）は実際の自車両と他車両との位置関係であり、（ｂ）は俯瞰映像で把握される自車両と他車両との位置関係である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照して説明する。
【００１２】
本発明は、例えば図１に示すように構成された運転支援装置に適用される。この運転支援装置は、運転者に車両周囲の状況を自車両上空から見たような俯瞰映像と、位置関係確認に使うための情報として、車体各部に搭載されたカメラ映像に対して画像処理していない映像（以下、直接映像と呼ぶ。）と同一画面上で同時に表示する映像表示装置の機能を持ち、運転者が必要としている映像を提示して運転操作を支援するものである。
【００１３】
［運転支援装置の構成］
この運転支援装置は、図１に示すように、自車両の車体に搭載された複数のカメラからなる撮像部１と、自車両の車室内に設けられて表示画面が運転者から視認可能な位置に設置された表示部２とを備える。また、この運転支援装置は、撮像部１で撮像された複数のカメラ映像を用いた映像表示を統括的に制御する制御部３に、映像処理部４と、障害物検知部５と、車両信号取得部６と、操作部７とが接続されている。
【００１４】
撮像部１は、図２に示すように、自車両１０の前部に設けられた前方カメラ１Ｆと、自車両１０の後部に設けられた後方カメラ１Ｂと、自車両１０に右側方の右ドアミラーに設けられた右側方カメラ１Ｒと、自車両１０の左側方の左ドアミラーに設けられた左側方カメラ１Ｌとから構成されている。これら前方カメラ１Ｆ、後方カメラ１Ｂ、右側方カメラ１Ｒ、左側方カメラ１Ｌは、所謂広角カメラであり、１８０度の画角で光学的に設計されている。このような撮像部１は、後方カメラ１Ｂによって自車両１０の後方撮像領域１１Ｂの状況を含むカメラ映像である直接映像を撮像し（図３（ａ））、左側方カメラ１Ｌによって自車両１０の左側方撮像領域１１Ｌの状況を含む左側方直接映像を撮像し（図３（ｂ））、前方カメラ１Ｆによって自車両１０の前方撮像領域１１Ｆの状況を含む前方直接映像を撮像し（図３（ｃ））、右側方カメラ１Ｒによって自車両１０の右側方撮像領域１１Ｒの状況を含む右側方直接映像を撮像する（図３（ｄ））。
【００１５】
これらの前方カメラ１Ｆ、後方カメラ１Ｂ、右側方カメラ１Ｒ、左側方カメラ１Ｌで同タイミングで撮像された前方直接映像、後方直接映像、右側方直接映像、左側方直接映像を取得することにより、運転支援装置は、車両周囲の映像のすべてを取得することできる。
【００１６】
表示部２は、撮像部１で撮像されて映像処理がなされた表示用の映像を入力とし、運転者の操作、障害物検知部５での障害物検知状況などに応じて、車両周囲の全体を一覧させる俯瞰映像及び車両周囲の状況の一部を含む直接映像を同時に表示させる。
【００１７】
障害物検知部５は、車両周囲に存在する障害物の有無及び自車両１０に対する相対位置（自車両１０に対する方向、距離）を検知する。この障害物検知部５は、例えば、超音波センサ又は赤外線センサを使用して障害物を検知するものや、撮像部１で取得した直接映像を入力して画像解析等によって障害物を検知するものが挙げられる。この障害物検知部５は、自車両１０に対する障害物の有無及び相対位置を含む障害物検知情報を制御部３に出力する。
【００１８】
車両信号取得部６は、自車両１０の状態を表す情報として、車速、車両進行方向等の車速信号を取得して、制御部３に出力する。また、操作部７は、例えばシフトレバー等が挙げられ、当該シフトレバーの操作状態を表すシフトポジション情報を制御部３に出力する。
【００１９】
映像処理部４は、撮像部１で撮像された複数の直接映像を取得して、所定の映像処理を施すことによって、車両周囲の一覧して把握させる俯瞰映像を作成する。映像処理部４は、入力した複数の直接映像と出力する俯瞰映像との画素配置対応関係を記録した変換テーブルを予め記憶している。映像処理部４は、撮像部１から複数の直接映像を入力すると、各直接映像を所定の入力メモリに格納する。格納された各直接映像は、映像処理部４により、変換テーブルに従って画素単位で読み出されて出力メモリに格納される。これにより、出力メモリには、前方直接映像、後方直接映像、右側方直接映像、左側方直接映像から、それぞれ必要な画像領域が切り出されてなる俯瞰映像を展開することができる。そして、映像処理部４は、変換テーブルに従って俯瞰映像の作成を完了すると、当該俯瞰映像を制御部３に出力する。
【００２０】
この映像処理部４で作成された俯瞰映像１００は、図４の左側部に示すように、４種の直接映像の仮想視点位置を車両上空で一点に集めたものとなり、何れかの直接映像１１０と同時に表示される。このような俯瞰映像１００は、運転者にとって、自車両１０を上空から見下ろしたような形で車両周囲を把握させることができる。
【００２１】
図４によれば、俯瞰映像１００は、自車両ＣＧ映像１０１を画像中心に配置し、当該自車両ＣＧ映像１０１の周囲に、視点変換した左側方俯瞰映像１０２Ｌ、右側方俯瞰映像１０２Ｒ、前方俯瞰映像１０２Ｆ、後方俯瞰映像１０２Ｂを配置して構成する。また、俯瞰映像１００は、前方俯瞰映像１０２Ｆと左側方俯瞰映像１０２Ｌ及び右側方俯瞰映像１０２Ｒとの間にマスク線１０４を配置すると共に、後方俯瞰映像１０２Ｂと左側方俯瞰映像１０２Ｌ及び右側方俯瞰映像１０２Ｒとの間にマスク線１０４を配置して構成されている。
【００２２】
このように映像のつなぎ目にマスク線１０４を設けることで、各種の俯瞰映像１０２を複数の領域に分割して、つなぎ目であることを運転者に把握させる構成になっている。なお、俯瞰映像の分割方法は、図４に示したパターン以外であっても、さらに細分化しても良く、３分割程度であって良い。
【００２３】
また、この図４によれば、俯瞰映像１００と並列して、後方撮像領域１１Ｂの状況である直接映像１１０を同時に表示させている。この直接映像１１０は、車両信号取得部６が取得するシフトポジション情報や車速信号に応じて、前方撮像領域１１Ｆ、左側方撮像領域１１Ｌ、右側方撮像領域１１Ｒ、後方撮像領域１１Ｂの何れかの状況を示す映像となる。
【００２４】
制御部３は、障害物検知部５からの障害物検知情報から、自車両１０と障害物との接近が予測される場合には、位置関係の確認に使うための情報に視線を引く（注意を向ける）ことができるように映像や音などで運転者に通知する制御を行う。また、制御部３は、車両信号取得部６からの車速信号や、操作部７からのシフトポジション情報から、現在の車両の状態を取得して、当該状態に応じて映像や音で運転者に各種情報を放置しても良い。
【００２５】
具体的には、制御部３は、障害物検知情報から車両周辺に障害物が存在することを検知した場合には、俯瞰映像１００と共に、障害物を含む直接映像１１０を同時に表示させる。また、制御部３は、車速信号やシフトポジション情報から、障害物が検知された方向を撮像領域とする直接映像を表示させる。
【００２６】
［映像表示例］
つぎに、上述したように、俯瞰映像１００と直接映像１１０とが同時に表示可能な運転支援装置による表示例について説明する。
【００２７】
「第１表示例」
例えば自車両１０の左後側方にパイロンのような障害物が有る場合、制御部３は、図５の第１表示例に示すように、映像処理部４で作成された俯瞰映像１００と、後方カメラ１Ｂで撮像された後方の直接映像１１０とを組み合わせた画像を表示部２に表示させる。ここで、制御部３は、障害物検知部５で障害物検知情報が生成されているか否かに拘わらず、車両信号取得部６で取得した車速、操作部７からのシフトポジション情報から、俯瞰映像１００及び後方直接映像を表示させる。
【００２８】
このような状況において、俯瞰映像１００及び直接映像１１０には、左側方俯瞰映像１０２Ｌ、右側方俯瞰映像１０２Ｒ、後方俯瞰映像１０２Ｂに駐車枠表示１０３が現れ、自車両ＣＧ映像１０１の左後側方であって、障害物検知情報によって伝達された自車両１０と相対位置に合致した表示位置に障害物表示１２１を表示させている。
【００２９】
このように、俯瞰映像１００と車両後方を含む直接映像１１０とを表示させた場合、俯瞰映像１００に映る障害物と、直接映像１１０に映る障害物との見え方が異なる。これは、俯瞰映像１００では撮像部１で撮影した映像を俯瞰映像１００に変換する処理を行っているからであり、俯瞰映像１００において基準となる面では、正しい相対位置関係が再現されるが、基準となる面より高いところや低いところにある障害物は、実際の相対位置が再現されない。
【００３０】
したがって、図示はされていないが、図５の俯瞰映像１００におけるパイロンは立体物であるためにゆがんだ形として再現される。具体的には、パイロンの先端部分は、実際の自車両１０との相対位置よりも遠くに見えるように俯瞰映像１００上で現れる。車両に取り付けられた撮像部１のカメラに近いほど遠くに見えるため、バンパ位置の高いＳＵＶ型等の車両では、俯瞰映像１００上ではバンパが実際よりも遠くに見えてしまう。このように、実際の自車両位置と他車両位置との相違が現れてしまう。
【００３１】
したがって、運転支援装置は、図５に示すように、直接映像１１０として、車両後方を映し出したリアビューを表示している。これにより、運転支援装置は、直接映像１１０が俯瞰映像１００と比較して立体物に対する映像の歪みを少なく自然に表現できることを利用して、実際に近い形で障害物表示１２１を表示できる。
【００３２】
また、この制御部３は、障害物検知部５からの障害物検知情報として、自車両１０とパイロンとの相対位置を取得した場合、パイロンと自車両１０との相対位置を認識して障害物として認知できる。この場合、制御部３は、図６に示すように、俯瞰映像１００上に、障害物を検出した方向における自車両１０部位付近を覆い隠すような障害物警報表示１３１を表示する。この障害物警報表示１３１は、図６においては矩形状であって強調色を使用して表示させているが、自車両１０と障害物（パイロン）との間の距離感が俯瞰変換によってゆがんでいるため、位置関係の確認を誤る可能性があるためである。
【００３３】
なお、障害物警報表示１３１の形状としては、丸型やＬ字型など各種表示形態であっても良い。また、障害物警報表示１３１の大きさとしては、自車両１０から障害物までの距離に応じて変更してもよく、自車両１０との距離に応じて点滅させても良い。
【００３４】
俯瞰映像１００と並列する直接映像１１０は、図６に示すように、障害物表示１２１を覆うように障害物警報表示１３２を表示させる。この障害物警報表示１３２は、障害物表示１２１を強調するように、丸い線の形態で表示がなされる。この障害物警報表示１３２は、四角や三角などで障害物表示１２１を囲んでもよいし、アイコンなどで直接映像１１０の障害物表示１２１部分を強調して表示してもよく、更には、俯瞰映像１００よりも直接映像１１０に対して視線を向けるように障害物警報表示１３２を点滅又は強調色を変えても良い。これにより、運転者は、俯瞰映像１００よりも直接映像１１０を参照して自車両１０と障害物との接触判断ができ、俯瞰映像１００における立体物の歪みによって判断を誤ることが抑制可能となる。
【００３５】
なお、本例では、俯瞰映像１００と直接映像１１０とを並べて表示させているが、俯瞰映像１００と直接映像１１０とを単独で表示させて、表示させる映像が俯瞰映像１００である場合には俯瞰映像１００と共に障害物警報表示１３１を表示させ、表示させる映像が直接映像１１０である場合には俯瞰映像１００と共に障害物警報表示１３２を表示させても良い。
【００３６】
更に、障害物警報表示１３１、障害物警報表示１３２の形状は、上述したものの他に、撮像部１で撮像した直接映像から映像処理部４によって障害物の種類を画像認識して、当該障害物の種類に対応した仮想表示としても良い。例えば、画像認識の結果から、予め用意した人や動物、他車両等の形状を模擬したアイコンを障害物警報表示１３１、障害物警報表示１３２として表示したり、画像認識で障害物の概略形状を検知して、予め容易しておいた基本図形（四角形、三角形、丸など）を組み合わせて合成して表示しても良い。
【００３７】
また、俯瞰映像１００内に、障害物警報の形状を四角形として、内部に覆い隠した部分に直接画像１１０を表示させてもよい。
【００３８】
更に、障害物警報表示１３１，障害物警報表示１３２としては、撮像部１で撮像した直接映像から映像処理部４によって障害物の形状、色を画像認識して、当該障害物の形状、色に対応した仮想表示としても良い。例えば、画像認識の結果から人物が検出された場合には、当該人物の形状として長方形であって、衣服の色を模擬した仮想パターンを障害物警報表示１３１、障害物警報表示１３２として表示したり、ブロックなどの小物体であれば小物体の形状として正方形であって、表面の色を模擬した仮想パターンを障害物警報表示１３１、障害物警報表示１３２として表示しても良い。
【００３９】
更に、障害物警報表示１３１，障害物警報表示１３２は、自車両１０と障害物との位置関係の誤認識が予想される自車両１０部位を完全に隠すのではなく、枠のみで囲ったり、黄色や赤などの半透明な強調色で覆うようにしても良い。これにより、俯瞰映像１００中の画像を部分的にでも完全に隠すことなく利用して、運転者に把握させることができる。
【００４０】
「第２表示例」
つぎに、俯瞰映像１００及び直接映像１１０の第２表示例について説明する。
【００４１】
この第２表示例は、障害物検知情報から自車両１０周辺に障害物を検知する前に、図７に示すように、俯瞰映像１００の表示サイズよりも直接映像１１０’の表示サイズを小さくする。これにより、障害物を検知していない期間においては、直接映像１１０よりも、俯瞰映像１００に注意を向けさせて視認させる。
【００４２】
また、第２表示例においては、俯瞰映像１００及び直接映像１１０’に、自車両１０と車両周囲との位置関係を把握させるためのガイドライン表示１４１を表示させる。これらのガイドライン表示１４１は、自車両ＣＧ映像１０１から進行方向に伸びる車両幅を示す線でも良く、又は、車両信号取得部６で検出したステアリングの操舵角に応じて変化する予想進路軌跡線であってもよい。また、この第２表示例においては、俯瞰映像１００のガイドライン表示１４１と直接映像１１０’のガイドライン表示１４１の一方のみを表示させても良く、両方に同時に表示させても良い。
【００４３】
このような俯瞰映像１００及び直接映像１１０’を表示させている時に、制御部３は、障害物検知情報によって障害物を検知すると、図７に示した表示状態から、図８に示すように、俯瞰映像１００’の表示サイズを小さくし、直接映像１１０の表示サイズを大きくする。これにより、俯瞰映像１００’の表示サイズを、直接映像１１０の表示サイズよりも小さく変更させて、障害物検知時には、俯瞰映像１００’よりも直接映像１１０に注意を向けさせて視認させる。
【００４４】
また、この障害物検知時には、図８の直接映像１１０内の点線で示すように、障害物から遠いガイドライン表示１４１Ｂは点滅させずに、障害物検知側のガイドライン表示１４１Ａを点滅させる。これにより、直接映像１１０内において障害物が出現している位置を運転者に把握させる。また、ガイドライン表示１４１Ａを点滅させる場合のみならず、障害物非検知側のガイドライン表示１４１Ｂと比較して、障害物検知側のガイドライン表示１４１Ａを強調色としてもよく、太さを太くしても良く、更には、ガイドライン表示１４１Ａを流れるような動きを有するアニメーションで表現することで運転者の視線を向けるようにしても良い。更にまた、ガイドライン表示１４１を、車両信号取得部６で検知したステアリングの操舵角に応じた予想進路軌跡として表示させる場合であっても、同様に、障害物検知側のガイドライン表示１４１Ａについて注意を向けさせるような表示形態としても良い。
【００４５】
また、制御部３は、障害物非検知時において俯瞰映像１００内に表示させていたガイドライン表示１４１Ａを障害物検知と同時に消去させることで、立体物に対する位置関係の判断の誤りを回避することができる。
【００４６】
なお、上述の図７，図８を用いてした第２表示例の説明では、障害物を検知した時に俯瞰映像１００の表示サイズを小さくして、直接映像１１０の表示サイズを大きくすることと、直接映像１１０中のガイドライン表示１４１Ａの障害物側を点滅等させることとを同時に行うことを示したが、運転者の注意を向けることができれば、表示サイズの変更とガイドライン表示１４１Ａの表示形態の変更とをそれぞれ別個に行っても良く、障害物検知時に俯瞰映像１００のガイドライン表示１４１Ａを消去させずに点滅させても良い。
【００４７】
「第３表示例」
つぎに、俯瞰映像１００及び直接映像１１０の第３表示例について説明する。
【００４８】
この第３表示例は、障害物検知情報から自車両１０周辺に障害物を検知する前に、図７と同様に俯瞰映像１００の表示サイズよりも直接映像１１０の表示サイズを小さくし、障害物検知時には、図９に示すように、直接映像１１０の表示サイズを変更させずに、直接映像１１０’の背景となる背景色可変領域１５１の色を変化させることによって、運転者の注意を向けて視線を向けるものである。
【００４９】
これにより、背景色可変領域１５１の背景色を強調色とすることにより、更に確実に運転者の注意を向けることができる。
【００５０】
また、上述した第１表示例、第２表示例、第３表示例では、表示部２の表示内容を変更することによって障害物の検知を運転者に把握させていたが、表示内容の変更と同時に、音声や音により運転者に直接映像１１０を見るように促すことができる。
【００５１】
［実施形態の効果］
以上詳細に説明したように、本発明を適用した運転支援装置によれば、障害物を検知した時に、俯瞰映像１００と、検知された障害物の自車両に対する方向を撮像した直接映像１１０とを同時に表示させるので、俯瞰映像１００を表示させた場合であっても、当該俯瞰映像１００における障害物との相対位置と、実際の障害物との相対位置との相違を同一画面上で確認させることができる。
【００５２】
例えば、実際の自車両１０と他車両１６０との位置関係が図１０（ａ）に示すようになっており、自車両１０が直進後退する予測進路軌跡１６１を引くと、自車両の予想進路軌跡１６１内に実際の自車両１０が存在する可能性がある。これに対し、俯瞰映像１００を作成する時の映像ゆがみによって、図１０（ｂ）に示すように、自車両１０と他車両１６０との位置関係が実際位置１６０’よりもずれ、予測進路軌跡１６１を引いた場合には、自車両の予想進路軌跡１６１内に実際の自車両１０が存在しないため位置関係を誤認識する可能性がある。これに対し、運転支援装置では、障害物検知時には、俯瞰映像１００のみならず、直接映像１１０も同時に表示させることができるので、直接映像１１０によって実際に近い自車両１０と障害物との距離感を把握させることができる。
【００５３】
また、この運転支援装置によれば、障害物を検知した時に、俯瞰映像１００内に、当該障害物の接近している自車両部分を強調する障害物表示１２１を行うので、当該障害物表示１２１を含む俯瞰映像１００を参照させるのみで、自車両１０に対する障害物の存在方向を把握させることができる。
【００５４】
更に、この運転支援装置によれば、俯瞰映像１００の障害物表示１２１として、障害物の接近している自車両部分を覆い隠すような表示とするので、当該障害物の接近している状況を直接映像１１０で確認させることができる。
【００５５】
更にまた、この運転支援装置によれば、俯瞰映像１００の障害物表示１２１として、障害物の接近している自車両部分を覆い隠す部分に、当該障害物の自車両に対する方向を撮像した直接映像１１０を表示させるので、当該障害物表示１２１の表示から、直接映像１１０を視認して障害物を把握させることができる。
【００５６】
更にまた、この運転支援装置によれば、俯瞰映像１００において障害物の接近している自車両部分を覆い隠す部分に、障害物の種類を示す仮想的な表示を行うので、自車両１０に対する障害物の方向のみならず、障害物の種類も把握させることができる。
【００５７】
更にまた、この運転支援装置によれば、俯瞰映像１００において障害物の接近している自車両部分を覆い隠す部分に、障害物の形状及び色を示す仮想パターンの表示を行うので、自車両１０に対する障害物の方向のみならず、障害物の形状や色も把握させることができる。
【００５８】
更にまた、この運転支援装置によれば、障害物を検知した時に、俯瞰映像１００内の、自車両と車両周囲との位置関係を把握させるためのガイドライン表示１４１の表示形態を変化させるので、障害物の存在を確実に運転者に把握させることができる。
【００５９】
更にまた、この運転支援装置によれば、俯瞰映像１００内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示１４１を行っている時に、障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示１４１を消去させるので、障害物の存在を確実に運転者に把握させることができる。
【００６０】
更にまた、この運転支援装置によれば、障害物を検知した時に、直接映像１１０内に、当該障害物が接近している部分を強調する障害物警報表示１３１を行うので、障害物の存在を確実に運転者に把握させることができる。
【００６１】
更にまた、この運転支援装置によれば、直接映像１１０の障害物警報表示１３１として、障害物が接近している部分を線で囲う表示を行うので、更に確実に障害物の存在を運転者に把握させることができる。
【００６２】
更にまた、この運転支援装置によれば、障害物を検知した時に、直接映像１１０内の、自車両と車両周囲との位置関係を把握させるためのガイドライン表示１４１の表示形態を変化させるので、障害物の存在を確実に運転者に把握させることができる。
【００６３】
更にまた、この運転支援装置によれば、直接映像１１０内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示１４１を行っている時に、障害物を検知した場合、他のガイドライン表示１４１よりも障害物に近いガイドライン表示１４１を点滅させるので、障害物の存在を確実に運転者に把握させることができる。
【００６４】
更にまた、この運転支援装置によれば、直接映像１１０内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示１４１を行っている時に、障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示表示の色を変化させるので、障害物の存在を確実に運転者に把握させることができる。
【００６５】
更にまた、この運転支援装置によれば、障害物を検知していない時には、直接映像１１０の表示サイズよりも俯瞰映像１００の表示サイズを大きくして俯瞰映像１００によって自車両１０に対する駐車枠などの方向を把握させ、障害物を検知した時には、俯瞰映像１００の表示サイズよりも直接映像１１０の表示サイズを大きくして、自車両１０に対する障害物との相対位置を把握させることができる。
【００６６】
更にまた、この運転支援装置によれば、障害物を検知した場合に、直接映像１１０の背景色を変化させるので、俯瞰映像１００よりも直接映像１１０により確実に視線を向かせることができる。
【００６７】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【符号の説明】
【００６８】
１ 撮像部
２ 表示部
３ 制御部
４ 映像処理部
５ 障害物検知部
６ 車両信号取得部
７ 操作部
１００ 俯瞰映像
１１０ 直接映像
１２１ 障害物表示
１３１，１３２ 障害物警報表示
１４１ ガイドライン表示
１５１ 背景色可変領域
【技術分野】
【０００１】
本発明は、例えば車両を駐車させるに際して、車両周囲の状況を運転者に把握させる映像を表示する映像表示装置及び映像表示方法に関する。
【背景技術】
【０００２】
従来より、車両周囲に設置された複数のカメラ映像を処理して、運転者に提供する技術が、下記の特許文献１などで知られている。この特許文献１に記載された車両周辺画像処理装置は、一又は複数のカメラ映像をある基準面に対して座標変換することで仮想視点位置から撮像したような画像に変換し、当該画像にＣＧ技術で予め作成しておいた自車両ＣＧ画像を重畳させることで上空から自車両を撮影したような映像（以下、俯瞰映像）を提供している。このような俯瞰映像を作成するに際して、基準面としては地面が用いられることが多い。この俯瞰映像は、地面上の白線や縁石などと自車両との位置関係が客観的に表現されるため、駐車枠にあわせて駐車する場合や縁石に幅寄せをするようなシーンにおいて有効な映像である。
【０００３】
このような俯瞰映像を作成することにより、特許文献１に記載された車両周辺画像処理装置では、段落番号００５０以降に記載されているように、俯瞰映像ではない原画像と俯瞰映像とを表示させて、運転者に車両周囲を把握させていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２５４２１９号公報（図７参照）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に記載された技術を用いて俯瞰映像を合成する場合、基準面上に存在する物体に関しては理論上完全に位置関係を保持して映像変換することが可能であるが、基準面より高い位置や低い位置にある立体物については自車両ＣＧ画像と車両周囲障害物との位置関係の相違が現れる場合があるという問題点がある。
【０００６】
例えば、ＳＵＶ型車両などのバンパ位置の高い車両では、実際にバンパの存在する位置よりも遠い位置の俯瞰映像上にバンパが表現されることがある。このように実際の自車両位置と他車両位置との相違が俯瞰映像上で現れると、俯瞰映像上で確認できる自車両の予測軌跡と実際の走行軌跡とが合致しなくなる可能性がある。
【０００７】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、俯瞰映像を表示させた場合であっても、当該俯瞰映像における障害物との相対位置と、実際の障害物との相対位置との相違を同一画面上で確認させることができる映像表示装置及び映像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明では、車両周囲の異なる方向を撮像方向とした複数のカメラから取得した、画像変換が行われていない複数の直接映像を用いて、車両周囲の状況を運転者に提示するために、映像処理手段により、複数の直接映像を取得し、当該複数の直接映像を用いて車両周囲を一覧させる俯瞰映像を作成し、障害物検知手段によって自車両に近接する障害物を検知した時に、表示手段によって、映像処理手段で作成された俯瞰映像と、障害物検知手段によって検知された障害物の自車両に対する方向を撮像した直接映像とを同時に表示させることによって、上述の課題を解決する。
【発明の効果】
【０００９】
本発明によれば、自車両に近接する障害物を検知した時に、俯瞰映像と、障害物の自車両に対する方向を撮像した直接映像とを同時に表示させるので、俯瞰映像における障害物との相対位置と、実際の障害物との相対位置との相違を同一画面上で確認させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した運転支援装置の構成を示すブロック図である。
【図２】本発明を適用した運転支援装置を構成する撮像部の構成を示す上面図である。
【図３】本発明を適用した運転支援装置を構成する撮像部を構成するカメラの撮像領域に着いて説明するための図であり、（ａ）は後方の撮像領域、（ｂ）は左側方の撮像領域、（ｃ）は前方の撮像領域、（ｄ）は右側方の撮像領域である。
【図４】本発明を適用した運転支援装置の表示部に、俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。
【図５】本発明を適用した運転支援装置の表示部に、障害物表示を含む俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。
【図６】本発明を適用した運転支援装置の表示部に、障害物警報表示を含む俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。
【図７】本発明を適用した運転支援装置の表示部に、ガイドライン表示を含む俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。
【図８】本発明を適用した運転支援装置の表示部に、表示状態を変化させたガイドライン表示を含む俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。
【図９】本発明を適用した運転支援装置の表示部に、背景色を変化させた俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。
【図１０】本発明を適用した運転支援装置の効果を説明するための図であり、（ａ）は実際の自車両と他車両との位置関係であり、（ｂ）は俯瞰映像で把握される自車両と他車両との位置関係である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照して説明する。
【００１２】
本発明は、例えば図１に示すように構成された運転支援装置に適用される。この運転支援装置は、運転者に車両周囲の状況を自車両上空から見たような俯瞰映像と、位置関係確認に使うための情報として、車体各部に搭載されたカメラ映像に対して画像処理していない映像（以下、直接映像と呼ぶ。）と同一画面上で同時に表示する映像表示装置の機能を持ち、運転者が必要としている映像を提示して運転操作を支援するものである。
【００１３】
［運転支援装置の構成］
この運転支援装置は、図１に示すように、自車両の車体に搭載された複数のカメラからなる撮像部１と、自車両の車室内に設けられて表示画面が運転者から視認可能な位置に設置された表示部２とを備える。また、この運転支援装置は、撮像部１で撮像された複数のカメラ映像を用いた映像表示を統括的に制御する制御部３に、映像処理部４と、障害物検知部５と、車両信号取得部６と、操作部７とが接続されている。
【００１４】
撮像部１は、図２に示すように、自車両１０の前部に設けられた前方カメラ１Ｆと、自車両１０の後部に設けられた後方カメラ１Ｂと、自車両１０に右側方の右ドアミラーに設けられた右側方カメラ１Ｒと、自車両１０の左側方の左ドアミラーに設けられた左側方カメラ１Ｌとから構成されている。これら前方カメラ１Ｆ、後方カメラ１Ｂ、右側方カメラ１Ｒ、左側方カメラ１Ｌは、所謂広角カメラであり、１８０度の画角で光学的に設計されている。このような撮像部１は、後方カメラ１Ｂによって自車両１０の後方撮像領域１１Ｂの状況を含むカメラ映像である直接映像を撮像し（図３（ａ））、左側方カメラ１Ｌによって自車両１０の左側方撮像領域１１Ｌの状況を含む左側方直接映像を撮像し（図３（ｂ））、前方カメラ１Ｆによって自車両１０の前方撮像領域１１Ｆの状況を含む前方直接映像を撮像し（図３（ｃ））、右側方カメラ１Ｒによって自車両１０の右側方撮像領域１１Ｒの状況を含む右側方直接映像を撮像する（図３（ｄ））。
【００１５】
これらの前方カメラ１Ｆ、後方カメラ１Ｂ、右側方カメラ１Ｒ、左側方カメラ１Ｌで同タイミングで撮像された前方直接映像、後方直接映像、右側方直接映像、左側方直接映像を取得することにより、運転支援装置は、車両周囲の映像のすべてを取得することできる。
【００１６】
表示部２は、撮像部１で撮像されて映像処理がなされた表示用の映像を入力とし、運転者の操作、障害物検知部５での障害物検知状況などに応じて、車両周囲の全体を一覧させる俯瞰映像及び車両周囲の状況の一部を含む直接映像を同時に表示させる。
【００１７】
障害物検知部５は、車両周囲に存在する障害物の有無及び自車両１０に対する相対位置（自車両１０に対する方向、距離）を検知する。この障害物検知部５は、例えば、超音波センサ又は赤外線センサを使用して障害物を検知するものや、撮像部１で取得した直接映像を入力して画像解析等によって障害物を検知するものが挙げられる。この障害物検知部５は、自車両１０に対する障害物の有無及び相対位置を含む障害物検知情報を制御部３に出力する。
【００１８】
車両信号取得部６は、自車両１０の状態を表す情報として、車速、車両進行方向等の車速信号を取得して、制御部３に出力する。また、操作部７は、例えばシフトレバー等が挙げられ、当該シフトレバーの操作状態を表すシフトポジション情報を制御部３に出力する。
【００１９】
映像処理部４は、撮像部１で撮像された複数の直接映像を取得して、所定の映像処理を施すことによって、車両周囲の一覧して把握させる俯瞰映像を作成する。映像処理部４は、入力した複数の直接映像と出力する俯瞰映像との画素配置対応関係を記録した変換テーブルを予め記憶している。映像処理部４は、撮像部１から複数の直接映像を入力すると、各直接映像を所定の入力メモリに格納する。格納された各直接映像は、映像処理部４により、変換テーブルに従って画素単位で読み出されて出力メモリに格納される。これにより、出力メモリには、前方直接映像、後方直接映像、右側方直接映像、左側方直接映像から、それぞれ必要な画像領域が切り出されてなる俯瞰映像を展開することができる。そして、映像処理部４は、変換テーブルに従って俯瞰映像の作成を完了すると、当該俯瞰映像を制御部３に出力する。
【００２０】
この映像処理部４で作成された俯瞰映像１００は、図４の左側部に示すように、４種の直接映像の仮想視点位置を車両上空で一点に集めたものとなり、何れかの直接映像１１０と同時に表示される。このような俯瞰映像１００は、運転者にとって、自車両１０を上空から見下ろしたような形で車両周囲を把握させることができる。
【００２１】
図４によれば、俯瞰映像１００は、自車両ＣＧ映像１０１を画像中心に配置し、当該自車両ＣＧ映像１０１の周囲に、視点変換した左側方俯瞰映像１０２Ｌ、右側方俯瞰映像１０２Ｒ、前方俯瞰映像１０２Ｆ、後方俯瞰映像１０２Ｂを配置して構成する。また、俯瞰映像１００は、前方俯瞰映像１０２Ｆと左側方俯瞰映像１０２Ｌ及び右側方俯瞰映像１０２Ｒとの間にマスク線１０４を配置すると共に、後方俯瞰映像１０２Ｂと左側方俯瞰映像１０２Ｌ及び右側方俯瞰映像１０２Ｒとの間にマスク線１０４を配置して構成されている。
【００２２】
このように映像のつなぎ目にマスク線１０４を設けることで、各種の俯瞰映像１０２を複数の領域に分割して、つなぎ目であることを運転者に把握させる構成になっている。なお、俯瞰映像の分割方法は、図４に示したパターン以外であっても、さらに細分化しても良く、３分割程度であって良い。
【００２３】
また、この図４によれば、俯瞰映像１００と並列して、後方撮像領域１１Ｂの状況である直接映像１１０を同時に表示させている。この直接映像１１０は、車両信号取得部６が取得するシフトポジション情報や車速信号に応じて、前方撮像領域１１Ｆ、左側方撮像領域１１Ｌ、右側方撮像領域１１Ｒ、後方撮像領域１１Ｂの何れかの状況を示す映像となる。
【００２４】
制御部３は、障害物検知部５からの障害物検知情報から、自車両１０と障害物との接近が予測される場合には、位置関係の確認に使うための情報に視線を引く（注意を向ける）ことができるように映像や音などで運転者に通知する制御を行う。また、制御部３は、車両信号取得部６からの車速信号や、操作部７からのシフトポジション情報から、現在の車両の状態を取得して、当該状態に応じて映像や音で運転者に各種情報を放置しても良い。
【００２５】
具体的には、制御部３は、障害物検知情報から車両周辺に障害物が存在することを検知した場合には、俯瞰映像１００と共に、障害物を含む直接映像１１０を同時に表示させる。また、制御部３は、車速信号やシフトポジション情報から、障害物が検知された方向を撮像領域とする直接映像を表示させる。
【００２６】
［映像表示例］
つぎに、上述したように、俯瞰映像１００と直接映像１１０とが同時に表示可能な運転支援装置による表示例について説明する。
【００２７】
「第１表示例」
例えば自車両１０の左後側方にパイロンのような障害物が有る場合、制御部３は、図５の第１表示例に示すように、映像処理部４で作成された俯瞰映像１００と、後方カメラ１Ｂで撮像された後方の直接映像１１０とを組み合わせた画像を表示部２に表示させる。ここで、制御部３は、障害物検知部５で障害物検知情報が生成されているか否かに拘わらず、車両信号取得部６で取得した車速、操作部７からのシフトポジション情報から、俯瞰映像１００及び後方直接映像を表示させる。
【００２８】
このような状況において、俯瞰映像１００及び直接映像１１０には、左側方俯瞰映像１０２Ｌ、右側方俯瞰映像１０２Ｒ、後方俯瞰映像１０２Ｂに駐車枠表示１０３が現れ、自車両ＣＧ映像１０１の左後側方であって、障害物検知情報によって伝達された自車両１０と相対位置に合致した表示位置に障害物表示１２１を表示させている。
【００２９】
このように、俯瞰映像１００と車両後方を含む直接映像１１０とを表示させた場合、俯瞰映像１００に映る障害物と、直接映像１１０に映る障害物との見え方が異なる。これは、俯瞰映像１００では撮像部１で撮影した映像を俯瞰映像１００に変換する処理を行っているからであり、俯瞰映像１００において基準となる面では、正しい相対位置関係が再現されるが、基準となる面より高いところや低いところにある障害物は、実際の相対位置が再現されない。
【００３０】
したがって、図示はされていないが、図５の俯瞰映像１００におけるパイロンは立体物であるためにゆがんだ形として再現される。具体的には、パイロンの先端部分は、実際の自車両１０との相対位置よりも遠くに見えるように俯瞰映像１００上で現れる。車両に取り付けられた撮像部１のカメラに近いほど遠くに見えるため、バンパ位置の高いＳＵＶ型等の車両では、俯瞰映像１００上ではバンパが実際よりも遠くに見えてしまう。このように、実際の自車両位置と他車両位置との相違が現れてしまう。
【００３１】
したがって、運転支援装置は、図５に示すように、直接映像１１０として、車両後方を映し出したリアビューを表示している。これにより、運転支援装置は、直接映像１１０が俯瞰映像１００と比較して立体物に対する映像の歪みを少なく自然に表現できることを利用して、実際に近い形で障害物表示１２１を表示できる。
【００３２】
また、この制御部３は、障害物検知部５からの障害物検知情報として、自車両１０とパイロンとの相対位置を取得した場合、パイロンと自車両１０との相対位置を認識して障害物として認知できる。この場合、制御部３は、図６に示すように、俯瞰映像１００上に、障害物を検出した方向における自車両１０部位付近を覆い隠すような障害物警報表示１３１を表示する。この障害物警報表示１３１は、図６においては矩形状であって強調色を使用して表示させているが、自車両１０と障害物（パイロン）との間の距離感が俯瞰変換によってゆがんでいるため、位置関係の確認を誤る可能性があるためである。
【００３３】
なお、障害物警報表示１３１の形状としては、丸型やＬ字型など各種表示形態であっても良い。また、障害物警報表示１３１の大きさとしては、自車両１０から障害物までの距離に応じて変更してもよく、自車両１０との距離に応じて点滅させても良い。
【００３４】
俯瞰映像１００と並列する直接映像１１０は、図６に示すように、障害物表示１２１を覆うように障害物警報表示１３２を表示させる。この障害物警報表示１３２は、障害物表示１２１を強調するように、丸い線の形態で表示がなされる。この障害物警報表示１３２は、四角や三角などで障害物表示１２１を囲んでもよいし、アイコンなどで直接映像１１０の障害物表示１２１部分を強調して表示してもよく、更には、俯瞰映像１００よりも直接映像１１０に対して視線を向けるように障害物警報表示１３２を点滅又は強調色を変えても良い。これにより、運転者は、俯瞰映像１００よりも直接映像１１０を参照して自車両１０と障害物との接触判断ができ、俯瞰映像１００における立体物の歪みによって判断を誤ることが抑制可能となる。
【００３５】
なお、本例では、俯瞰映像１００と直接映像１１０とを並べて表示させているが、俯瞰映像１００と直接映像１１０とを単独で表示させて、表示させる映像が俯瞰映像１００である場合には俯瞰映像１００と共に障害物警報表示１３１を表示させ、表示させる映像が直接映像１１０である場合には俯瞰映像１００と共に障害物警報表示１３２を表示させても良い。
【００３６】
更に、障害物警報表示１３１、障害物警報表示１３２の形状は、上述したものの他に、撮像部１で撮像した直接映像から映像処理部４によって障害物の種類を画像認識して、当該障害物の種類に対応した仮想表示としても良い。例えば、画像認識の結果から、予め用意した人や動物、他車両等の形状を模擬したアイコンを障害物警報表示１３１、障害物警報表示１３２として表示したり、画像認識で障害物の概略形状を検知して、予め容易しておいた基本図形（四角形、三角形、丸など）を組み合わせて合成して表示しても良い。
【００３７】
また、俯瞰映像１００内に、障害物警報の形状を四角形として、内部に覆い隠した部分に直接画像１１０を表示させてもよい。
【００３８】
更に、障害物警報表示１３１，障害物警報表示１３２としては、撮像部１で撮像した直接映像から映像処理部４によって障害物の形状、色を画像認識して、当該障害物の形状、色に対応した仮想表示としても良い。例えば、画像認識の結果から人物が検出された場合には、当該人物の形状として長方形であって、衣服の色を模擬した仮想パターンを障害物警報表示１３１、障害物警報表示１３２として表示したり、ブロックなどの小物体であれば小物体の形状として正方形であって、表面の色を模擬した仮想パターンを障害物警報表示１３１、障害物警報表示１３２として表示しても良い。
【００３９】
更に、障害物警報表示１３１，障害物警報表示１３２は、自車両１０と障害物との位置関係の誤認識が予想される自車両１０部位を完全に隠すのではなく、枠のみで囲ったり、黄色や赤などの半透明な強調色で覆うようにしても良い。これにより、俯瞰映像１００中の画像を部分的にでも完全に隠すことなく利用して、運転者に把握させることができる。
【００４０】
「第２表示例」
つぎに、俯瞰映像１００及び直接映像１１０の第２表示例について説明する。
【００４１】
この第２表示例は、障害物検知情報から自車両１０周辺に障害物を検知する前に、図７に示すように、俯瞰映像１００の表示サイズよりも直接映像１１０’の表示サイズを小さくする。これにより、障害物を検知していない期間においては、直接映像１１０よりも、俯瞰映像１００に注意を向けさせて視認させる。
【００４２】
また、第２表示例においては、俯瞰映像１００及び直接映像１１０’に、自車両１０と車両周囲との位置関係を把握させるためのガイドライン表示１４１を表示させる。これらのガイドライン表示１４１は、自車両ＣＧ映像１０１から進行方向に伸びる車両幅を示す線でも良く、又は、車両信号取得部６で検出したステアリングの操舵角に応じて変化する予想進路軌跡線であってもよい。また、この第２表示例においては、俯瞰映像１００のガイドライン表示１４１と直接映像１１０’のガイドライン表示１４１の一方のみを表示させても良く、両方に同時に表示させても良い。
【００４３】
このような俯瞰映像１００及び直接映像１１０’を表示させている時に、制御部３は、障害物検知情報によって障害物を検知すると、図７に示した表示状態から、図８に示すように、俯瞰映像１００’の表示サイズを小さくし、直接映像１１０の表示サイズを大きくする。これにより、俯瞰映像１００’の表示サイズを、直接映像１１０の表示サイズよりも小さく変更させて、障害物検知時には、俯瞰映像１００’よりも直接映像１１０に注意を向けさせて視認させる。
【００４４】
また、この障害物検知時には、図８の直接映像１１０内の点線で示すように、障害物から遠いガイドライン表示１４１Ｂは点滅させずに、障害物検知側のガイドライン表示１４１Ａを点滅させる。これにより、直接映像１１０内において障害物が出現している位置を運転者に把握させる。また、ガイドライン表示１４１Ａを点滅させる場合のみならず、障害物非検知側のガイドライン表示１４１Ｂと比較して、障害物検知側のガイドライン表示１４１Ａを強調色としてもよく、太さを太くしても良く、更には、ガイドライン表示１４１Ａを流れるような動きを有するアニメーションで表現することで運転者の視線を向けるようにしても良い。更にまた、ガイドライン表示１４１を、車両信号取得部６で検知したステアリングの操舵角に応じた予想進路軌跡として表示させる場合であっても、同様に、障害物検知側のガイドライン表示１４１Ａについて注意を向けさせるような表示形態としても良い。
【００４５】
また、制御部３は、障害物非検知時において俯瞰映像１００内に表示させていたガイドライン表示１４１Ａを障害物検知と同時に消去させることで、立体物に対する位置関係の判断の誤りを回避することができる。
【００４６】
なお、上述の図７，図８を用いてした第２表示例の説明では、障害物を検知した時に俯瞰映像１００の表示サイズを小さくして、直接映像１１０の表示サイズを大きくすることと、直接映像１１０中のガイドライン表示１４１Ａの障害物側を点滅等させることとを同時に行うことを示したが、運転者の注意を向けることができれば、表示サイズの変更とガイドライン表示１４１Ａの表示形態の変更とをそれぞれ別個に行っても良く、障害物検知時に俯瞰映像１００のガイドライン表示１４１Ａを消去させずに点滅させても良い。
【００４７】
「第３表示例」
つぎに、俯瞰映像１００及び直接映像１１０の第３表示例について説明する。
【００４８】
この第３表示例は、障害物検知情報から自車両１０周辺に障害物を検知する前に、図７と同様に俯瞰映像１００の表示サイズよりも直接映像１１０の表示サイズを小さくし、障害物検知時には、図９に示すように、直接映像１１０の表示サイズを変更させずに、直接映像１１０’の背景となる背景色可変領域１５１の色を変化させることによって、運転者の注意を向けて視線を向けるものである。
【００４９】
これにより、背景色可変領域１５１の背景色を強調色とすることにより、更に確実に運転者の注意を向けることができる。
【００５０】
また、上述した第１表示例、第２表示例、第３表示例では、表示部２の表示内容を変更することによって障害物の検知を運転者に把握させていたが、表示内容の変更と同時に、音声や音により運転者に直接映像１１０を見るように促すことができる。
【００５１】
［実施形態の効果］
以上詳細に説明したように、本発明を適用した運転支援装置によれば、障害物を検知した時に、俯瞰映像１００と、検知された障害物の自車両に対する方向を撮像した直接映像１１０とを同時に表示させるので、俯瞰映像１００を表示させた場合であっても、当該俯瞰映像１００における障害物との相対位置と、実際の障害物との相対位置との相違を同一画面上で確認させることができる。
【００５２】
例えば、実際の自車両１０と他車両１６０との位置関係が図１０（ａ）に示すようになっており、自車両１０が直進後退する予測進路軌跡１６１を引くと、自車両の予想進路軌跡１６１内に実際の自車両１０が存在する可能性がある。これに対し、俯瞰映像１００を作成する時の映像ゆがみによって、図１０（ｂ）に示すように、自車両１０と他車両１６０との位置関係が実際位置１６０’よりもずれ、予測進路軌跡１６１を引いた場合には、自車両の予想進路軌跡１６１内に実際の自車両１０が存在しないため位置関係を誤認識する可能性がある。これに対し、運転支援装置では、障害物検知時には、俯瞰映像１００のみならず、直接映像１１０も同時に表示させることができるので、直接映像１１０によって実際に近い自車両１０と障害物との距離感を把握させることができる。
【００５３】
また、この運転支援装置によれば、障害物を検知した時に、俯瞰映像１００内に、当該障害物の接近している自車両部分を強調する障害物表示１２１を行うので、当該障害物表示１２１を含む俯瞰映像１００を参照させるのみで、自車両１０に対する障害物の存在方向を把握させることができる。
【００５４】
更に、この運転支援装置によれば、俯瞰映像１００の障害物表示１２１として、障害物の接近している自車両部分を覆い隠すような表示とするので、当該障害物の接近している状況を直接映像１１０で確認させることができる。
【００５５】
更にまた、この運転支援装置によれば、俯瞰映像１００の障害物表示１２１として、障害物の接近している自車両部分を覆い隠す部分に、当該障害物の自車両に対する方向を撮像した直接映像１１０を表示させるので、当該障害物表示１２１の表示から、直接映像１１０を視認して障害物を把握させることができる。
【００５６】
更にまた、この運転支援装置によれば、俯瞰映像１００において障害物の接近している自車両部分を覆い隠す部分に、障害物の種類を示す仮想的な表示を行うので、自車両１０に対する障害物の方向のみならず、障害物の種類も把握させることができる。
【００５７】
更にまた、この運転支援装置によれば、俯瞰映像１００において障害物の接近している自車両部分を覆い隠す部分に、障害物の形状及び色を示す仮想パターンの表示を行うので、自車両１０に対する障害物の方向のみならず、障害物の形状や色も把握させることができる。
【００５８】
更にまた、この運転支援装置によれば、障害物を検知した時に、俯瞰映像１００内の、自車両と車両周囲との位置関係を把握させるためのガイドライン表示１４１の表示形態を変化させるので、障害物の存在を確実に運転者に把握させることができる。
【００５９】
更にまた、この運転支援装置によれば、俯瞰映像１００内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示１４１を行っている時に、障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示１４１を消去させるので、障害物の存在を確実に運転者に把握させることができる。
【００６０】
更にまた、この運転支援装置によれば、障害物を検知した時に、直接映像１１０内に、当該障害物が接近している部分を強調する障害物警報表示１３１を行うので、障害物の存在を確実に運転者に把握させることができる。
【００６１】
更にまた、この運転支援装置によれば、直接映像１１０の障害物警報表示１３１として、障害物が接近している部分を線で囲う表示を行うので、更に確実に障害物の存在を運転者に把握させることができる。
【００６２】
更にまた、この運転支援装置によれば、障害物を検知した時に、直接映像１１０内の、自車両と車両周囲との位置関係を把握させるためのガイドライン表示１４１の表示形態を変化させるので、障害物の存在を確実に運転者に把握させることができる。
【００６３】
更にまた、この運転支援装置によれば、直接映像１１０内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示１４１を行っている時に、障害物を検知した場合、他のガイドライン表示１４１よりも障害物に近いガイドライン表示１４１を点滅させるので、障害物の存在を確実に運転者に把握させることができる。
【００６４】
更にまた、この運転支援装置によれば、直接映像１１０内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示１４１を行っている時に、障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示表示の色を変化させるので、障害物の存在を確実に運転者に把握させることができる。
【００６５】
更にまた、この運転支援装置によれば、障害物を検知していない時には、直接映像１１０の表示サイズよりも俯瞰映像１００の表示サイズを大きくして俯瞰映像１００によって自車両１０に対する駐車枠などの方向を把握させ、障害物を検知した時には、俯瞰映像１００の表示サイズよりも直接映像１１０の表示サイズを大きくして、自車両１０に対する障害物との相対位置を把握させることができる。
【００６６】
更にまた、この運転支援装置によれば、障害物を検知した場合に、直接映像１１０の背景色を変化させるので、俯瞰映像１００よりも直接映像１１０により確実に視線を向かせることができる。
【００６７】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【符号の説明】
【００６８】
１ 撮像部
２ 表示部
３ 制御部
４ 映像処理部
５ 障害物検知部
６ 車両信号取得部
７ 操作部
１００ 俯瞰映像
１１０ 直接映像
１２１ 障害物表示
１３１，１３２ 障害物警報表示
１４１ ガイドライン表示
１５１ 背景色可変領域
【特許請求の範囲】
【請求項１】
車両周囲の異なる方向を撮像方向とした複数のカメラから取得した、画像変換が行われていない複数の直接映像を用いて、車両周囲の状況を運転者に提示する映像表示装置において、
前記複数の直接映像を取得し、当該複数の直接映像を用いて車両周囲を一覧させる俯瞰映像を作成する映像処理手段と、
自車両に近接する障害物を検知する障害物検知手段と、
前記障害物検知手段によって障害物を検知した時に、前記映像処理手段で作成された俯瞰映像と、前記障害物検知手段によって検知された障害物の自車両に対する方向を撮像した直接映像とを同時に表示させる表示手段と
を備えることを特徴とする映像表示装置。
【請求項２】
前記表示手段は、前記障害物検知手段によって障害物を検知した時に、前記俯瞰映像内に、当該障害物の接近している自車両部分を強調する障害物警報表示を行うことを特徴とする請求項１に記載の映像表示装置。
【請求項３】
前記障害物警報表示は、障害物の接近している自車両部分を覆い隠す表示であることを特徴とする請求項２に記載の映像表示装置。
【請求項４】
前記障害物の接近している自車両部分を覆い隠す部分に、当該障害物の自車両に対する方向を撮像した直接映像を表示させることを特徴とする請求項３に記載の映像表示装置。
【請求項５】
前記障害物検知手段は、前記自車両に近接する障害物の種類を特定し、
前記表示手段は、前記障害物の接近している自車両部分を覆い隠す部分に、前記障害物検知手段によって特定された障害物の種類を示す仮想的な表示を行うことを特徴とする請求項３に記載の映像表示装置。
【請求項６】
前記障害物検知手段は、前記自車両に近接する障害物の形状及び色を特定し、
前記表示手段は、前記障害物の接近している自車両部分を覆い隠す部分に、前記障害物検知手段によって特定された障害物の形状及び色を示す仮想パターンの表示を行うことを特徴とする請求項３に記載の映像表示装置。
【請求項７】
前記表示手段は、前記障害物検知手段によって障害物を検知した時に、前記俯瞰映像内の、自車両と車両周囲との位置関係を把握させるためのガイドライン表示の表示形態を変化させることを特徴とする請求項２に記載の映像表示装置。
【請求項８】
前記表示手段は、前記俯瞰映像内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示を行っている時に、前記障害物検知手段によって障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示を消去させることを特徴とする請求項７に記載の映像表示装置。
【請求項９】
前記表示手段は、前記障害物検知手段によって障害物を検知した時に、前記直接映像内に、当該障害物が接近している部分を強調する障害物警報表示を行うことを特徴とする請求項１に記載の映像表示装置。
【請求項１０】
前記障害物警報表示は、障害物が接近している部分を線で囲う表示であることを特徴とする請求項９に記載の映像表示装置。
【請求項１１】
前記表示手段は、前記障害物検知手段によって障害物を検知した時に、前記直接映像内の、自車両と車両周囲との位置関係を把握させるためのガイドライン表示の表示形態を変化させることを特徴とする請求項９に記載の映像表示装置。
【請求項１２】
前記表示手段は、前記直接映像内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示を行っている時に、前記障害物検知手段によって障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示を点滅させることを特徴とする請求項９に記載の映像表示装置。
【請求項１３】
前記表示手段は、前記直接映像内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示を行っている時に、前記障害物検知手段によって障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示の色を変化させることを特徴とする請求項９に記載の映像表示装置。
【請求項１４】
前記表示手段は、前記障害物検知手段によって障害物を検知していない時には、前記直接映像の表示サイズよりも前記俯瞰映像の表示サイズを大きくし、前記障害物検知手段によって障害物を検知した時には、前記俯瞰映像の表示サイズよりも前記直接映像の表示サイズを大きくすることを特徴とする請求項１に記載の映像表示装置。
【請求項１５】
前記表示手段は、前記障害物検知手段によって障害物を検知した場合に、前記直接映像又は前記俯瞰映像の背景色を変化させることを特徴とする請求項１に記載の映像表示装置。
【請求項１６】
車両周囲の異なる方向を撮像方向とした複数のカメラから取得した、画像変換が行われていない複数の直接映像を用いて、車両周囲の状況を運転者に提示する映像表示方法において、
前記複数の直接映像を取得して、当該複数の直接映像を用いて車両周囲を一覧させる俯瞰映像を作成し、
自車両に近接する障害物を検知した時に、前記作成された俯瞰映像と、前記検知された障害物の自車両に対する方向を撮像した直接映像とを同時に表示させること
を備えることを特徴とする映像表示方法。
【請求項１】
車両周囲の異なる方向を撮像方向とした複数のカメラから取得した、画像変換が行われていない複数の直接映像を用いて、車両周囲の状況を運転者に提示する映像表示装置において、
前記複数の直接映像を取得し、当該複数の直接映像を用いて車両周囲を一覧させる俯瞰映像を作成する映像処理手段と、
自車両に近接する障害物を検知する障害物検知手段と、
前記障害物検知手段によって障害物を検知した時に、前記映像処理手段で作成された俯瞰映像と、前記障害物検知手段によって検知された障害物の自車両に対する方向を撮像した直接映像とを同時に表示させる表示手段と
を備えることを特徴とする映像表示装置。
【請求項２】
前記表示手段は、前記障害物検知手段によって障害物を検知した時に、前記俯瞰映像内に、当該障害物の接近している自車両部分を強調する障害物警報表示を行うことを特徴とする請求項１に記載の映像表示装置。
【請求項３】
前記障害物警報表示は、障害物の接近している自車両部分を覆い隠す表示であることを特徴とする請求項２に記載の映像表示装置。
【請求項４】
前記障害物の接近している自車両部分を覆い隠す部分に、当該障害物の自車両に対する方向を撮像した直接映像を表示させることを特徴とする請求項３に記載の映像表示装置。
【請求項５】
前記障害物検知手段は、前記自車両に近接する障害物の種類を特定し、
前記表示手段は、前記障害物の接近している自車両部分を覆い隠す部分に、前記障害物検知手段によって特定された障害物の種類を示す仮想的な表示を行うことを特徴とする請求項３に記載の映像表示装置。
【請求項６】
前記障害物検知手段は、前記自車両に近接する障害物の形状及び色を特定し、
前記表示手段は、前記障害物の接近している自車両部分を覆い隠す部分に、前記障害物検知手段によって特定された障害物の形状及び色を示す仮想パターンの表示を行うことを特徴とする請求項３に記載の映像表示装置。
【請求項７】
前記表示手段は、前記障害物検知手段によって障害物を検知した時に、前記俯瞰映像内の、自車両と車両周囲との位置関係を把握させるためのガイドライン表示の表示形態を変化させることを特徴とする請求項２に記載の映像表示装置。
【請求項８】
前記表示手段は、前記俯瞰映像内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示を行っている時に、前記障害物検知手段によって障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示を消去させることを特徴とする請求項７に記載の映像表示装置。
【請求項９】
前記表示手段は、前記障害物検知手段によって障害物を検知した時に、前記直接映像内に、当該障害物が接近している部分を強調する障害物警報表示を行うことを特徴とする請求項１に記載の映像表示装置。
【請求項１０】
前記障害物警報表示は、障害物が接近している部分を線で囲う表示であることを特徴とする請求項９に記載の映像表示装置。
【請求項１１】
前記表示手段は、前記障害物検知手段によって障害物を検知した時に、前記直接映像内の、自車両と車両周囲との位置関係を把握させるためのガイドライン表示の表示形態を変化させることを特徴とする請求項９に記載の映像表示装置。
【請求項１２】
前記表示手段は、前記直接映像内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示を行っている時に、前記障害物検知手段によって障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示を点滅させることを特徴とする請求項９に記載の映像表示装置。
【請求項１３】
前記表示手段は、前記直接映像内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示を行っている時に、前記障害物検知手段によって障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示の色を変化させることを特徴とする請求項９に記載の映像表示装置。
【請求項１４】
前記表示手段は、前記障害物検知手段によって障害物を検知していない時には、前記直接映像の表示サイズよりも前記俯瞰映像の表示サイズを大きくし、前記障害物検知手段によって障害物を検知した時には、前記俯瞰映像の表示サイズよりも前記直接映像の表示サイズを大きくすることを特徴とする請求項１に記載の映像表示装置。
【請求項１５】
前記表示手段は、前記障害物検知手段によって障害物を検知した場合に、前記直接映像又は前記俯瞰映像の背景色を変化させることを特徴とする請求項１に記載の映像表示装置。
【請求項１６】
車両周囲の異なる方向を撮像方向とした複数のカメラから取得した、画像変換が行われていない複数の直接映像を用いて、車両周囲の状況を運転者に提示する映像表示方法において、
前記複数の直接映像を取得して、当該複数の直接映像を用いて車両周囲を一覧させる俯瞰映像を作成し、
自車両に近接する障害物を検知した時に、前記作成された俯瞰映像と、前記検知された障害物の自車両に対する方向を撮像した直接映像とを同時に表示させること
を備えることを特徴とする映像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２５１６８１（Ｐ２０１１−２５１６８１Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１１−１６８１３１（Ｐ２０１１−１６８１３１）
【出願日】平成２３年８月１日（２０１１．８．１）
【分割の表示】特願２００５−１６６８６５（Ｐ２００５−１６６８６５）の分割
【原出願日】平成１７年６月７日（２００５．６．７）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２３年８月１日（２０１１．８．１）
【分割の表示】特願２００５−１６６８６５（Ｐ２００５−１６６８６５）の分割
【原出願日】平成１７年６月７日（２００５．６．７）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]