画像表示システム
【課題】注意を喚起しながら、障害物がどこにあるかを周辺画像から容易に確認することができる画像表示システムを提供する。
【解決手段】画像表示システム１２０は、車両に配置されたカメラ５１，５２，５３で得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成部３４と、合成画像及び撮影画像を表示画面に表示するナビゲーション装置２０と、障害物を検知する障害物検知部１５と、障害物を検知した場合、注意を喚起するための注意喚起表示を、表示画面のうちの合成画像を除く部分と、合成画像の周辺部分とのうちの少なくとも一つに付加する表示付加部３６と、を備える。
【解決手段】画像表示システム１２０は、車両に配置されたカメラ５１，５２，５３で得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成部３４と、合成画像及び撮影画像を表示画面に表示するナビゲーション装置２０と、障害物を検知する障害物検知部１５と、障害物を検知した場合、注意を喚起するための注意喚起表示を、表示画面のうちの合成画像を除く部分と、合成画像の周辺部分とのうちの少なくとも一つに付加する表示付加部３６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両において画像を表示する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラで得られる撮影画像に基づいて車両の周囲の周辺画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は車両の周囲の様子をほぼリアルタイムに把握することができる。
【０００３】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをユーザが把握しにくい。これに対して、画像表示システムを利用すれば、車両の側方に配置された車載カメラの撮影画像に基づいてフロントフェンダの外側領域の周辺画像を車室内のディスプレイに表示できる。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをユーザが容易に確認できることとなる。
【０００４】
なお、障害物が存在する位置を示す表示を行う画像表示システムが知られている（例えば、特許文献１）。この画像表示システムでは、注意を喚起するための注意喚起表示が、車両の周囲の画像（「周辺画像」）上に付される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１８０６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
注意が喚起されると、障害物がどこにあるかを確認するために周辺画像を用いるが、上記のような画像表示システムでは、注意喚起表示が周辺画像を隠してしまうために、障害物がどこにあるかを周辺画像から確認するのが困難となる場合がある。
【０００７】
本発明の目的は、注意を喚起しながら、障害物がどこにあるかを周辺画像から容易に確認することができる画像表示システムを提供することである。
【課題を解決するための手段】
【０００８】
本発明による画像表示システムは、車両に搭載される画像表示システムであって、車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、合成画像及び撮影画像を表示画面に表示する表示手段と、障害物を検知する障害物検知手段と、障害物を検知した場合、注意を喚起するための注意喚起表示を、表示画面のうちの合成画像及び撮影画像を除く部分、合成画像の周辺部分、及び合成画像中の車両部分のうちの少なくとも一つに付加する表示付加手段と、を備える。
【０００９】
本発明による画像生成装置は、撮影画像に基づいて周辺を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、合成画像及び前記撮影画像を表示装置の表示画面に表示する表示手段と、
障害物を検知する障害物検知手段からの検知信号を受信する検知信号受信部と、障害物を検知した場合、注意を喚起するための注意喚起表示を、表示画面のうちの合成画像及び撮影画像を除く部分、合成画像の周辺部分、及び合成画像中の車両部分のうちの少なくとも一つに付加する表示付加手段と、を備える。
【００１０】
本発明による画像表示方法は、車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成し、合成画像及び撮影画像を表示画面に表示し、障害物があるか否か検知し、障害物を検知した場合、注意を喚起するための注意喚起表示を、表示画面のうちの合成画像及び撮影画像を除く部分、合成画像の周辺部分、及び合成画像中の車両部分のうちの少なくとも一つに付加する、ステップを有する。
【発明の効果】
【００１１】
本発明によれば、注意を喚起しながら、障害物がどこにあるかを周辺画像から容易に確認することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態の画像表示システムの構成例を示す図である。
【図２】車載カメラが車両に配置される位置を示す図である。
【図３】（Ａ）及び（Ｂ）は、画像結合部によって生成される結合画像の説明図である。
【図４】ソナーシステムの構成を主に示す図である。
【図５】クリアランスソナーが車両に配置される位置を示す図である。
【図６】合成画像を生成する手法を説明する図である。
【図７】画像表示システムの動作モードの遷移を示す図である。
【図８】注意喚起表示の付加の一例の説明図である。
【図９】注意喚起表示の付加の他の例の説明図である。
【図１０】インジケータの変形例の説明図である。
【図１１】合成画像の拡大の説明図である。
【図１２】画像表示システムの処理例の説明図である。
【発明を実施するための形態】
【００１３】
＜１．システム構成＞
図１は、本発明の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周囲を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周囲の様子をほぼリアルタイムに把握できるようになっている。
【００１４】
図１に示すように、画像表示システム１２０は、車両の周囲の様子を示す周辺画像を生成する画像生成装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像生成装置１００で生成された周辺画像は、ナビゲーション装置２０において表示される。
【００１５】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行うハードスイッチなどの操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。
【００１６】
ユーザの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。ナビゲーション装置２０は、画像生成装置１００と通信可能に接続され、画像生成装置１００との間で各種の制御信号の送受信や、画像生成装置１００で生成された画像の受信が可能となっている。
【００１７】
ディスプレイ２１には、制御部２３の制御により、通常は、ナビゲーション装置２０単体の機能によって、ナビゲーション案内用の車両の周辺の地図画像が表示される。地図画像は、ナビゲーション装置２０が備えるハードディスクなどに予め記憶されている。また、ナビゲーション装置２０が備えるＧＰＳ装置によって車両の位置（緯度、経度）が取得され、この車両の位置に基づいて、車両の周辺の地図画像がディスプレイ２１に表示される。表示する地図画像の縮尺はユーザの操作部２２の操作に応じて変更可能である。
【００１８】
一方で、画像表示システム１２０の動作モードを変更した場合は、画像生成装置１００で生成された車両の周囲の様子を示す周辺画像が、ディスプレイ２１に表示される。これにより、ナビゲーション装置２０は、画像生成装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００１９】
画像生成装置１００は、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）である本体部１０と、車両の周囲を撮影する撮影部５とを備えている。本体部１０は、車両の所定の位置に配置され、撮影部５で車両の周囲を撮影して得られる撮影画像に基づいてディスプレイ２１に表示するための周辺画像を生成する。
【００２０】
撮影部５は、本体部１０に電気的に接続され、本体部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２、及び、バックカメラ５３を備えている。各車載カメラ５１〜５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
【００２１】
これらの複数の車載カメラ５１〜５３は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５３が車両９に配置される位置を示す図である。
【００２２】
図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５３は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５３ａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５３の取り付け位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。また、サイドカメラ５２は左右のサイドミラー９３にそれぞれ設けられ、その光軸５２ａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の外側に向けられている。
【００２３】
これらの車載カメラ５１〜５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５３は１８０度以上の画角θを有している。このため、車載カメラは、それぞれの光軸を中心として、斜め下方や斜め上方の範囲の視野も撮影画像に移すことができる。撮影部５は、４つの車載カメラ５１〜５３を利用することで車両９の全周囲の撮影が可能となっている。
【００２４】
図１に戻り、画像生成装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５の４つの車載カメラ５１〜５３それぞれの撮影画像を入力する入力端子４９と、表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２を主に備えている。
【００２５】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像生成装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像生成装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置、例えばステアリングやセンターコンソールに配置される。
【００２６】
画像生成部３は、各種の画像処理が可能なハードウェア回路であり、入力端子４９を介して撮影部５から入力される撮影画像を処理し、ディスプレイ２１に表示するための周辺画像を生成する。画像生成部３は、画像結合部３０、メモリ３１、画像調整部３２、合成画像生成部３４、画像配置部３５、及び表示付加部３６を主な構成要素として備えている。
【００２７】
画像結合部３０は、撮影部５で取得された撮影画像を１枚の結合画像に結合する。図３の（Ａ）及び図３の（Ｂ）は、画像結合部３０によって生成される結合画像Ｐｃｎの説明図である。撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。画像結合部３０は、これら４枚の撮影画像Ｐ１〜Ｐ４を結合することによって、図３の（Ｂ）に示すような結合画像Ｐｃｎを生成する。画像結合部３０によって生成された結合画像Ｐｃｎは、メモリ３１に格納される。
【００２８】
画像調整部３２は、画像結合部３０にて生成された結合画像Ｐｃｎを表示に利用するための調整を行うものである。具体的には、画像調整部３２は、結合画像Ｐｃｎに含まれる撮影画像Ｐ１〜Ｐ４に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。画像調整部３２は、画像選択部３３を備える。画像選択部３３は、結合画像Ｐｃｎに含まれる撮影画像Ｐ１〜Ｐ４の切り出し処理の際に、切り出し範囲、すなわちディスプレイ２１への表示範囲を選択する。尚、切り出しの設定（切り出し範囲の設定）や拡大縮小設定等は、装置（カメラ）取付時に行われるキャリブレーション（調整・設定作業）時においてそれら調整値・設定値等が記憶され、これらの値を用いて、上述の調整処理等の画像処理が行われる。
【００２９】
合成画像生成部３４は、結合画像Ｐｃｎに基づいて、車両の周囲の任意の仮想視点からみた車両の周囲の領域を示す合成画像を生成する。合成画像生成部３４が合成画像を生成する手法については後述する。
【００３０】
画像調整部３２により表示用に調整された撮影画像、及び合成画像生成部３４により生成された合成画像は、ナビ通信部４２によってナビゲーション装置２０に出力される。その際に、画像配置部３５は、以下に説明する画像表示システム１２０の動作モードに応じて、画面上の所定の表示位置にこれらの画像を配置した表示画像を生成し、ナビゲーション装置２０へ出力する。これにより、被写体像として車両の周囲の少なくとも一部の領域を含む周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００３１】
本明細書において、「周辺画像」とは、車両の周囲の少なくとも一部の領域を示す画像を意味し、表示用に調整された撮影画像、及び、合成画像の双方を含む概念である。表示用に調整された撮影画像は、取得された車載カメラ５１〜５３のレンズの位置を視点とし、その視点からみた周辺画像となる。また、合成画像は、車両の周囲の任意の位置に設定された仮想視点からみた周辺画像となる。
【００３２】
表示付加部３６は、画像表示システム１２０がユーザへ所定の情報を提示するための表示を、画像配置部３５によって生成される表示画像上に付加する。この表示は、例えば特定の情報を示すアイコンでもよく、又はメッセージなどの文字情報であってよい。また、表示付加部３６は、後述するように、障害物を検知した場合、注意を喚起するための注意喚起表示（インジケータ）を、合成画像を表示する部分及び撮影画面を表示する部分以外の表示画面の部分に付加する。
【００３３】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１、表示制御部１２、領域選択部１３、優先度設定部１４、検知信号受信部１５及び受付部１６は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３４】
画像制御部１１は、画像生成部３によって実行される画像処理に係る制御を行う。例えば、画像制御部１１は、合成画像生成部３４が生成する合成画像の生成に必要な各種パラメータなどを指示する。
【００３５】
表示制御部１２は、ナビゲーション装置２０のディスプレイ２１に表示する表示内容に係る制御を行う。例えば、画像表示システム１２０の動作モードの変更に応じて、ディスプレイ２１の表示内容を切り替える。
【００３６】
領域選択部１３は、車両の周囲に設定される複数の周辺領域のうちから、ユーザに示すべき周辺領域を選択する。優先度設定部１４は、ユーザに示すべき周辺領域が複数ある場合に、それらの優先度を設定する。
【００３７】
検知信号受信部１５は、後述する検知信号を受信することによって、障害物が所定の範囲内（車両の周囲）にあるか否か検知する。受付部１６は、合成画像中の障害物を表示した部分を拡大した拡大画像をナビゲーション装置２０の表示画面に表示させる入力を受け付ける。なお、表示制御部１２は、後述するように、受付部１６が上記入力を受け付けた場合に、上記拡大画像を合成画像の代わりにナビゲーション装置２０の表示画面に表示させる。
【００３８】
画像生成装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００３９】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ４０には、視点データ４ａが記憶されている。視点データ４ａは、合成画像の仮想視点を定める際に利用される。
【００４０】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどであり、画像生成装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。
【００４１】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。本実施の形態では、ソナーシステム７及びシフトセンサ８からの信号が信号入力部４１を介して制御部１に入力される。
【００４２】
障害物検知手段としてのソナーシステム７からは、後述するように、障害物の位置及び車両と障害物との間の距離を含む検出結果が入力される。シフトセンサ８からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。
【００４３】
＜２．ソナーシステム＞
図４は、ソナーシステム７の構成を主に示す図である。図３に示すように、ソナーシステム７は、システム全体を統括するソナー制御部７０と、複数のクリアランスソナー７２と、車内に警告音を発するブザー７１と、を備える。
【００４４】
クリアランスソナー７２は、超音波を発信し、その超音波が障害物で反射した反射波を受信することによって車両の周囲に存在する障害物を検出する。また、クリアランスソナー７２は、超音波を発信してから戻ってくるまでの時間に基づいて車両と障害物との間の距離を測定することができる。
【００４５】
各クリアランスソナー７２の検出結果は、ソナー制御部７０に入力され、車両と障害物との間の距離に応じてブザー７１から警告音が出力される。これにより、ユーザは、車両の周囲に障害物が存在するか否か把握することができる。
【００４６】
図５は、複数のクリアランスソナー７２が車両９に配置される位置を示す図である。複数のクリアランスソナー７２は、車両９の前方の左右端部及び車両９の後方の左右端部にそれぞれ設けられている。
【００４７】
各クリアランスソナー７２は、車両９の周辺の一部の周辺領域Ａ１〜Ａ４に向けて超音波を発信する。具体的には、車両９の前方の左端部に設けられるクリアランスソナー７２は、車両９の前方左側に設定される周辺領域（「前方左側領域」）Ａ１に向けて超音波を発信する。また、車両９の前方の右端部に設けられるクリアランスソナー７２は、車両９の前方右側に設定される周辺領域（「前方右側領域」）Ａ２に向けて超音波を発信する。また、車両９の後方の左端部に設けられるクリアランスソナー７２は、車両９の後方左側に設定される周辺領域（「後方左側領域」）Ａ３に向けて超音波を発信する。さらに、車両９の後方の右端部に設けられるクリアランスソナー７２は、車両９の後方右側に設定される周辺領域（「後方右側領域」）Ａ４に向けて超音波を発信する。
【００４８】
これら４つの周辺領域Ａ１〜Ａ４は、車両９に対して相対的に固定されて予め設定される。このようなクリアランスソナー７２の配置により、ソナーシステム７では、４つの周辺領域Ａ１〜Ａ４に存在する障害物を検出することができる。ソナーシステム７は、障害物を検出したクリアランスソナー７２の位置に基づいて、検出した障害物の位置が４つの周辺領域Ａ１〜Ａ４のいずれであるかを把握することができる。さらに、ソナーシステム７は、車両と障害物との間の距離を測定することができる。
【００４９】
このような障害物の位置及び車両と障害物との間の距離を含むソナーシステム７の検出結果は、図４に示すように、ソナー制御部７０から画像生成装置１００の制御部１に信号入力部４１を介して入力される。そして、このソナーシステム７の検出結果は、制御部１の検知信号受信部１５等で利用される。
【００５０】
＜３．画像合成処理＞
次に、画像生成部３の合成画像生成部３４が、撮影部５で得られた複数の撮影画像Ｐ１〜Ｐ４に基づいて車両９及び車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図６は、合成画像を生成する手法を説明するための図である。
【００５１】
上述の通り、撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４を結合した結合画像Ｐｃｎには、撮影時点の車両９の全周囲を示す情報が含まれている。
【００５２】
次に、結合画像Ｐｃｎの各画素が、仮想的な三次元空間における立体曲面ＴＳに投影される。立体曲面ＴＳは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。結合画像Ｐｃｎの各画素の位置とこの立体曲面ＴＳの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＴＳの各画素の値は、この対応関係と結合画像Ｐｃｎに含まれる各画素の値とに基づいて決定できる。
【００５３】
結合画像Ｐｃｎの各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶されている。
【００５４】
また、不揮発性メモリ４０に予め記憶された車体の形状やサイズを示すデータが利用され、車両９の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両９のモデルは、立体曲面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５５】
さらに、立体曲面ＴＳが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００５６】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両の像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周囲を任意の仮想視点ＶＰからみた様子を示す合成画像が生成されることになる。
【００５７】
例えば、視点位置が車両９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、車両９の略直上から車両９を見下ろすように、車両９及び車両９の周囲の領域を示す合成画像ＣＰａが生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方方向とした仮想視点ＶＰｂを設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周囲の領域を示す合成画像ＣＰｂが生成される。
【００５８】
なお、実際に合成画像を生成する場合においては、立体曲面ＴＳの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。画像表示システム１２０では、このような合成画像生成部３４の機能を利用することで、車両９の周囲の任意の視点からみた合成画像を生成して、ディスプレイ２１に表示する。
【００５９】
＜４．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図７は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ０、フロントモードＭ１、サイドモードＭ２、及び、バックモードＭ３の３つの動作モードを有している。これらの動作モードは、ドライバの車両９への操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００６０】
ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内を行う動作モードである。ナビモードＭ０では、画像生成装置１００の機能が利用されず、ナビゲーション装置２０単体の機能でディスプレイ２１に各種の表示がなされる。具体的には、ディスプレイ２１には、車両９の周辺の地図画像ＮＰが主に表示される。
【００６１】
これに対し、フロントモードＭ１、サイドモードＭ２及びバックモードＭ３は、画像生成装置１００の機能を利用して、周辺画像をディスプレイ２１に表示して、車両の周囲の状況をリアルタイムでユーザに示す動作モードである。
【００６２】
フロントモードＭ１は、車両９の前方を表示する動作モードであり、見通しの悪い交差点への進入時などに利用される。ディスプレイ２１の第２表示位置Ｌ２には、フロントカメラ５１で取得されて表示用に調整した撮影画像（以下、「フロント画像」という。）ＳＰ１が表示される。このフロント画像ＳＰ１は、車両９の前方の視点（フロントカメラ５１のレンズ位置）からみた周辺画像である。フロントモードＭ１では、表示中の周辺画像（すなわち、フロント画像）ＳＰ１の視点が車両９の前方であることを示すアイコンＣ１が表示される。
【００６３】
また、第１表示位置Ｌ１には、合成画像生成部３４により生成された、車両９の略直上から車両９を見下ろすように車両９とその周辺の領域を示す合成画像ＣＰａが表示される。
【００６４】
サイドモードＭ２は、車両９の側方を表示する動作モードであり、幅寄せを行う場合などに利用される。ディスプレイ２１の第３表示位置Ｌ３及び第４表示位置Ｌ４には、サイドカメラ５２で取得されて表示用に調整した撮影画像（以下、「サイド画像」という。）ＳＰ２が表示される。このサイド画像ＳＰ２は、車両９の側方の視点（サイドカメラ５２のレンズ位置）からみた周辺画像である。尚、この状態では前進中、今後前進が推測される状態（シフト「Ｒ」以外）のため、画像は車両側方画像から前方方向を切り出した画像であり、車体と道路（及び車外の物体）との関係が分かりやすいように車体の一部が写り、かつ、車両進行方向が略上下方向に一致するように画像処理（切り出し処理、回転処理等）がなされる。サイドモードＭ２では、表示中の周辺画像（すなわち、サイド画像）ＳＰ２の視点が車両９の側方であることを示すアイコンＣ２が表示される。
【００６５】
また、バックモードＭ３は、車両９の後方を表示する動作モードであり、後退時に利用される。ディスプレイ２１の第２表示位置Ｌ２には、バックカメラ５３で取得されて表示用に調整した撮影画像（以下、「バック画像」という。）ＳＰ３が表示される。このバック画像ＳＰ３は、車両９の後方の視点（バックカメラ５３のレンズ位置）からみた周辺画像である。バックモードＭ３では、表示中の周辺画像（すなわち、バック画像）ＳＰ３の視点が車両９の後方であることを示すアイコンＣ３が表示される。
【００６６】
また、第１表示位置Ｌ１には、合成画像生成部３４により生成された、車両９の略直上から車両９を見下ろすように車両９とその周囲の領域を示す合成画像ＣＰａが表示される。
【００６７】
ナビモードＭ０において、ナビゲーション装置２０の操作部２２に所定の操作（周辺画像の表示操作）がなされると、フロントモードＭ１及びサイドモードＭ２のうちの最後に有効化された動作モード（いわゆる、ラストモード）に切り替わる。フロントモードＭ１とサイドモードＭ２とは、切替スイッチ４３を押下するごとに切り替えられる。また、フロントモードＭ１あるいはサイドモードＭ２において、ナビゲーション装置２０の操作部２２に所定の操作がなされると、ナビモードＭ０に戻る。
【００６８】
また、バックモードＭ３以外の動作モードにおいて、シフトセンサ７１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。
【００６９】
このように画像表示システム１２０は、複数の動作モードを切り替えることで、複数の視点からみた周辺画像を切り替えてディスプレイ２１に表示可能となっている。
【００７０】
＜５．注意喚起表示の付加処理＞
次に、注意喚起表示の付加処理を行うときの画像表示システム１２０の処理について説明する。以後の説明において、フロントモードＭ１の場合について説明するが、バックモードＭ３の場合でも同様な注意喚起表示の付加処理を行うことができる。
【００７１】
図８は、注意喚起表示の付加の一例の説明図である。図８に示す例では、ディスプレイ２１において、フロント画像ＳＰ１の上（フロント画像ＳＰ１の表示領域外でその上側にある領域）には、「車両周辺を直接確認してください」のメッセージが表示付加部３６によって付加されている。尚、このメッセージは、ソナーシステム７による障害物の検出状態に関係なく車両周辺画像表示中は表示されている。
【００７２】
ソナーシステム７からの周囲に障害物Ｓがあることを示す信号が信号入力部４１を介して制御部１に入力されると、検知信号受信部１５は、車両９の周囲に障害物Ｓがあることを検知する。このとき、合成画像ＣＰａ内にカメラで撮影された障害物Ｓが表示されているが、表示付加部３６は、さらに、注意喚起表示として、「車両周辺を直接確認してください」のメッセージ（コーション文）を囲む枠Ｆを付加する。
【００７３】
表示付加部３６は、車両９と障害物Ｓとの間の距離に応じて枠Ｆの色を変更する。例えば、車両９と障害物Ｓとの間の距離が零以上かつ２５ｃｍ未満のときには枠Ｆの色を第１の色（例えば、赤色）にし、車両９と障害物Ｓとの間の距離が２５ｃｍ以上かつ１５０ｃｍ未満のときには枠Ｆの色を第２の色（例えば、黄色）にし、車両９と障害物Ｓとの間の距離が１５０ｃｍ以上のときには枠Ｆの色を第３の色（例えば、緑色）にする。尚、枠Ｆだけでなく、その中の文字の色や領域内の背景色を、車両９と障害物Ｓとの距離に応じて変えるようにしてもよい。
【００７４】
なお、メッセージのような文字情報及び文字情報を囲む枠を、ディスプレイ２１の表示画面のうちの合成画像ＣＰａ及びフロント画像ＳＰ１を除く部分のいずれの場所に表示してもよい。
【００７５】
図８に示す例によれば、障害物Ｓの検知状態、すなわち、車両９と障害物Ｓとの間の距離に応じて、注意喚起表示としての枠Ｆの表示形態（色）を変更しているので、合成画像ＣＰａの周辺画像及びフロント画像ＳＰ１を隠すことなく直感的に障害物の有無及び車両と障害物との間の距離感を認識させることができる。したがって、障害物に対する注意を喚起しながら、障害物がどこにあるかを合成画像ＣＰａの周辺画像から容易に確認することができる。
【００７６】
また、合成画像ＣＰａの周辺画像及びフロント画像ＳＰ１を隠すことなくメッセージを枠Ｆで強調表示することによって、車両９の周辺に障害物Ｓがあることを認識させることができるとともに文言による理解を高めることができる。
【００７７】
図９は、注意喚起表示の付加の他の例の説明図である。図９に示す例では、ディスプレイ２１において、フロント画像ＳＰ１の上には、「車両周辺を直接確認してください」のメッセージが表示付加部３６によって付加されているが、このようなメッセージが付加されていなくてもよい。
【００７８】
ソナーシステム７からの障害物検知の信号が信号入力部４１を介して制御部１に入力されると、検知信号受信部１５は、車両９の周囲に障害物Ｓがあることを検知する。このとき、合成画像ＣＰａ内にカメラで撮影された障害物Ｓが表示されているが、表示付加部３６は、さらに、注意喚起表示として、合成画像ＣＰａの外周（画像領域の外）に障害物が存在する方向の角を挟むようにＬ字型インジケータＩ１の表示を行い、また、合成画像ＣＰａ中における車両９の障害物が存在する方向の角部分に小円形等のインジケータＩ２を表示する。これらの表示は、ディスプレイ２１の表示画面のうちの合成画像ＣＰａ及びフロント画像ＳＰ１を除く部分、及び合成画像ＣＰａ中の車両９部分（カメラ撮影画像部分は遮蔽しない）への表示となる。
【００７９】
表示付加部３６は、車両９と障害物Ｓとの間の距離に応じてインジケータＩ１，Ｉ２の色を変更し、例えば、車両９と障害物Ｓとの間の距離が零以上かつ２５ｃｍ未満のときにはインジケータＩ１，Ｉ２の色を第１の色（例えば、赤色）にし、車両９と障害物Ｓとの間の距離が２５ｃｍ以上かつ１５０ｃｍ未満のときにはインジケータＩ１，Ｉ２の色を第２の色（例えば、黄色）にし、車両９と障害物Ｓとの間の距離が１５０ｃｍ以上のときにはインジケータＩ１，Ｉ２の色を第３の色（例えば、緑色）にする。
【００８０】
図９に示す例では、ディスプレイ２１の表示画面のうちの合成画像ＣＰａ及びフロント画像ＳＰ１を除く部分並びに合成画像ＣＰａ中の車両９部分にインジケータを付加する場合について説明したが、障害物Ｍの表示を妨げないのであれば、インジケータを合成画像ＣＰａの周辺部分に付加することもでき、例えば、図１０に示すように、合成画像ＣＰａの輪郭線上にインジケータＩ１’を付加し又は合成画像ＣＰａの輪郭線に沿った周辺画像内にインジケータＩ１”を付加することもできる。
【００８１】
また、インジケータを、ディスプレイ２１の表示画面のうちの合成画像ＣＰａ及びフロント画像ＳＰ１を除く部分及び合成画像ＣＰａ中の車両のうちの少なくとも一つに付加すればよく、例えば、車両９と障害物Ｓとの間の距離が零以上かつ２５ｃｍ未満のときには第１の色（例えば、赤色）のインジケータＩ１，Ｉ２を付加し、車両９と障害物Ｓとの間の距離が２５ｃｍ以上かつ１５０ｃｍ未満のときには第２の色（例えば、黄色）のインジケータＩ１のみを付加し、車両９と障害物Ｓとの間の距離が１５０ｃｍ以上のときには第３の色（例えば、緑色）のインジケータＩ１のみを付加してもよい。さらに、図８に示すような枠Ｆの注意喚起表示をインジケータＩ１とインジケータＩ２の少なくとも一方と組み合わせて用いてもよい。
【００８２】
図９に示す例によれば、障害物Ｓの検知状態、すなわち、車両９と障害物Ｓとの間の距離に応じて、注意喚起表示としてのアイコンＩ１，Ｉ２の表示形態（色）を変更しているので、合成画像ＣＰａの周辺画像及びフロント画像ＳＰ１を隠すことなく直感的に障害物の有無及び車両と障害物との間の距離感を認識させることができる。したがって、注意を喚起しながら、障害物がどこにあるかを合成画像ＣＰａの周辺画像から容易に確認することができる。
【００８３】
また、障害物Ｓが遠方にある、例えば、車両９と障害物Ｓとの間の距離が５０ｃｍ以上である、ときにはアイコンＩ１のみを付加し、障害物が近方にある、例えば、車両９と障害物Ｓとの間の距離が５０ｃｍ未満である、ときにはアイコンＩ１，Ｉ２の両方を付加（挟み込み表示）することによって、障害物Ｓに対する注意力を高めることができる。
【００８４】
図１１は、合成画像の拡大の説明図である。図１１に示す例では、ディスプレイ２１において、フロント画像ＳＰ１の上には、「車両周辺を直接確認してください」のメッセージが表示付加部３６によって付加され、合成画像ＣＰａ中の障害物Ｓを表示した部分を拡大した拡大画像ＣＰａ’をディスプレイ２１の表示画面に表示させる入力を受付部１６によって受け付けるための「詳細確認」スイッチが、「車両周辺を直接確認してください」のメッセージ上に表示される。
【００８５】
「詳細確認」スイッチが押下されると、表示制御部１２は、障害物Ｓを表示した部分の拡大画像ＣＰａ’を合成画像ＣＰａの代わりにディスプレイ２１の表示画面に表示させる。このように拡大画像ＣＰａ’を必要に応じてディスプレイ２１の表示画面に表示させることができるので、障害物Ｓの詳細を必要に応じて確認することができる。なお、車両９の周囲に複数の障害物があるときに「詳細確認」スイッチを押下した場合、車両９に最も近い障害物がある領域が表示される。このような「詳細確認」スイッチは、障害物Ｍの表示を妨げないのであれば、ディスプレイ２１の表示画面のいずれの場所に表示してもよい。
【００８６】
続いて、図１２を参照して、注意喚起表示を付加する画像表示システム１２０の処理を説明する。なお、図１２を参照して説明する処理は、図９及び図１１に示すようにインジケータＩ１，Ｉ２のうちの少なくとも一方が付加され、図１１に示すように「詳細確認」ボタンが表示される場合の処理である。この処理は、画像表示システム１２０の動作中、繰り返し実行される。注意喚起表示として図８に示す枠Ｆを付加する場合でも同様の処理を行う。
【００８７】
オペレーションＡにおいて、車載カメラ５１〜５３は、それぞれ撮影画像Ｐ１〜Ｐ４を撮影する。オペレーションＢにおいて、画像結合部３０は、これらの画像Ｐ１〜Ｐ４を結合した結合画像Ｐｃｎを生成し、メモリ３１に格納する。オペレーションＣにおいて、合成画像生成部３４は、結合画像Ｐｃｎに基づいて合成画像ＣＰａを生成する。
【００８８】
オペレーションＤにおいて、画像配置部３５は、現在の画像表示システム１２０の動作モードに従って、合成画像ＣＰａ及び撮影画像ＳＰ１〜ＳＰ３のいずれかを選択し、ナビゲーション装置２０へ出力する表示画像上に配置する。表示画像は、画像生成装置１００によってナビゲーション装置２０へ出力される。オペレーションＥにおいて、ナビゲーション装置２０は、画像生成装置１００から出力された表示画像をディスプレイ２１へ表示する。
【００８９】
オペレーションＦにおいて、ソナーシステム７は、車両９の周囲の障害物を検知したか否か判断する。障害物を検知した場合、オペレーションＧにおいて、表示付加部３６は、注意喚起表示として、インジケータＩ１及びインジケータＩ２のうちの少なくとも一つを、ディスプレイ２１の表示画面に付加する。
【００９０】
オペレーションＨにおいて、受付部１６は、「詳細確認」スイッチが押下されたか否か判断する。「詳細確認」スイッチが押下された場合、オペレーションＩにおいて、表示制御部１２は、拡大画像ＣＰａ’を合成画像ＣＰａの代わりにディスプレイ２１の表示画面に表示させる。
【符号の説明】
【００９１】
１５ 検知信号受信部
３４ 合成画像生成部
３６ 表示付加部
１００ 画像生成装置
１２０ 画像表示システム
【技術分野】
【０００１】
本発明は、車両において画像を表示する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラで得られる撮影画像に基づいて車両の周囲の周辺画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は車両の周囲の様子をほぼリアルタイムに把握することができる。
【０００３】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをユーザが把握しにくい。これに対して、画像表示システムを利用すれば、車両の側方に配置された車載カメラの撮影画像に基づいてフロントフェンダの外側領域の周辺画像を車室内のディスプレイに表示できる。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをユーザが容易に確認できることとなる。
【０００４】
なお、障害物が存在する位置を示す表示を行う画像表示システムが知られている（例えば、特許文献１）。この画像表示システムでは、注意を喚起するための注意喚起表示が、車両の周囲の画像（「周辺画像」）上に付される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１８０６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
注意が喚起されると、障害物がどこにあるかを確認するために周辺画像を用いるが、上記のような画像表示システムでは、注意喚起表示が周辺画像を隠してしまうために、障害物がどこにあるかを周辺画像から確認するのが困難となる場合がある。
【０００７】
本発明の目的は、注意を喚起しながら、障害物がどこにあるかを周辺画像から容易に確認することができる画像表示システムを提供することである。
【課題を解決するための手段】
【０００８】
本発明による画像表示システムは、車両に搭載される画像表示システムであって、車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、合成画像及び撮影画像を表示画面に表示する表示手段と、障害物を検知する障害物検知手段と、障害物を検知した場合、注意を喚起するための注意喚起表示を、表示画面のうちの合成画像及び撮影画像を除く部分、合成画像の周辺部分、及び合成画像中の車両部分のうちの少なくとも一つに付加する表示付加手段と、を備える。
【０００９】
本発明による画像生成装置は、撮影画像に基づいて周辺を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、合成画像及び前記撮影画像を表示装置の表示画面に表示する表示手段と、
障害物を検知する障害物検知手段からの検知信号を受信する検知信号受信部と、障害物を検知した場合、注意を喚起するための注意喚起表示を、表示画面のうちの合成画像及び撮影画像を除く部分、合成画像の周辺部分、及び合成画像中の車両部分のうちの少なくとも一つに付加する表示付加手段と、を備える。
【００１０】
本発明による画像表示方法は、車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成し、合成画像及び撮影画像を表示画面に表示し、障害物があるか否か検知し、障害物を検知した場合、注意を喚起するための注意喚起表示を、表示画面のうちの合成画像及び撮影画像を除く部分、合成画像の周辺部分、及び合成画像中の車両部分のうちの少なくとも一つに付加する、ステップを有する。
【発明の効果】
【００１１】
本発明によれば、注意を喚起しながら、障害物がどこにあるかを周辺画像から容易に確認することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態の画像表示システムの構成例を示す図である。
【図２】車載カメラが車両に配置される位置を示す図である。
【図３】（Ａ）及び（Ｂ）は、画像結合部によって生成される結合画像の説明図である。
【図４】ソナーシステムの構成を主に示す図である。
【図５】クリアランスソナーが車両に配置される位置を示す図である。
【図６】合成画像を生成する手法を説明する図である。
【図７】画像表示システムの動作モードの遷移を示す図である。
【図８】注意喚起表示の付加の一例の説明図である。
【図９】注意喚起表示の付加の他の例の説明図である。
【図１０】インジケータの変形例の説明図である。
【図１１】合成画像の拡大の説明図である。
【図１２】画像表示システムの処理例の説明図である。
【発明を実施するための形態】
【００１３】
＜１．システム構成＞
図１は、本発明の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周囲を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周囲の様子をほぼリアルタイムに把握できるようになっている。
【００１４】
図１に示すように、画像表示システム１２０は、車両の周囲の様子を示す周辺画像を生成する画像生成装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像生成装置１００で生成された周辺画像は、ナビゲーション装置２０において表示される。
【００１５】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行うハードスイッチなどの操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。
【００１６】
ユーザの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。ナビゲーション装置２０は、画像生成装置１００と通信可能に接続され、画像生成装置１００との間で各種の制御信号の送受信や、画像生成装置１００で生成された画像の受信が可能となっている。
【００１７】
ディスプレイ２１には、制御部２３の制御により、通常は、ナビゲーション装置２０単体の機能によって、ナビゲーション案内用の車両の周辺の地図画像が表示される。地図画像は、ナビゲーション装置２０が備えるハードディスクなどに予め記憶されている。また、ナビゲーション装置２０が備えるＧＰＳ装置によって車両の位置（緯度、経度）が取得され、この車両の位置に基づいて、車両の周辺の地図画像がディスプレイ２１に表示される。表示する地図画像の縮尺はユーザの操作部２２の操作に応じて変更可能である。
【００１８】
一方で、画像表示システム１２０の動作モードを変更した場合は、画像生成装置１００で生成された車両の周囲の様子を示す周辺画像が、ディスプレイ２１に表示される。これにより、ナビゲーション装置２０は、画像生成装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００１９】
画像生成装置１００は、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）である本体部１０と、車両の周囲を撮影する撮影部５とを備えている。本体部１０は、車両の所定の位置に配置され、撮影部５で車両の周囲を撮影して得られる撮影画像に基づいてディスプレイ２１に表示するための周辺画像を生成する。
【００２０】
撮影部５は、本体部１０に電気的に接続され、本体部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２、及び、バックカメラ５３を備えている。各車載カメラ５１〜５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
【００２１】
これらの複数の車載カメラ５１〜５３は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５３が車両９に配置される位置を示す図である。
【００２２】
図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５３は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５３ａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５３の取り付け位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。また、サイドカメラ５２は左右のサイドミラー９３にそれぞれ設けられ、その光軸５２ａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の外側に向けられている。
【００２３】
これらの車載カメラ５１〜５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５３は１８０度以上の画角θを有している。このため、車載カメラは、それぞれの光軸を中心として、斜め下方や斜め上方の範囲の視野も撮影画像に移すことができる。撮影部５は、４つの車載カメラ５１〜５３を利用することで車両９の全周囲の撮影が可能となっている。
【００２４】
図１に戻り、画像生成装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５の４つの車載カメラ５１〜５３それぞれの撮影画像を入力する入力端子４９と、表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２を主に備えている。
【００２５】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像生成装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像生成装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置、例えばステアリングやセンターコンソールに配置される。
【００２６】
画像生成部３は、各種の画像処理が可能なハードウェア回路であり、入力端子４９を介して撮影部５から入力される撮影画像を処理し、ディスプレイ２１に表示するための周辺画像を生成する。画像生成部３は、画像結合部３０、メモリ３１、画像調整部３２、合成画像生成部３４、画像配置部３５、及び表示付加部３６を主な構成要素として備えている。
【００２７】
画像結合部３０は、撮影部５で取得された撮影画像を１枚の結合画像に結合する。図３の（Ａ）及び図３の（Ｂ）は、画像結合部３０によって生成される結合画像Ｐｃｎの説明図である。撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。画像結合部３０は、これら４枚の撮影画像Ｐ１〜Ｐ４を結合することによって、図３の（Ｂ）に示すような結合画像Ｐｃｎを生成する。画像結合部３０によって生成された結合画像Ｐｃｎは、メモリ３１に格納される。
【００２８】
画像調整部３２は、画像結合部３０にて生成された結合画像Ｐｃｎを表示に利用するための調整を行うものである。具体的には、画像調整部３２は、結合画像Ｐｃｎに含まれる撮影画像Ｐ１〜Ｐ４に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。画像調整部３２は、画像選択部３３を備える。画像選択部３３は、結合画像Ｐｃｎに含まれる撮影画像Ｐ１〜Ｐ４の切り出し処理の際に、切り出し範囲、すなわちディスプレイ２１への表示範囲を選択する。尚、切り出しの設定（切り出し範囲の設定）や拡大縮小設定等は、装置（カメラ）取付時に行われるキャリブレーション（調整・設定作業）時においてそれら調整値・設定値等が記憶され、これらの値を用いて、上述の調整処理等の画像処理が行われる。
【００２９】
合成画像生成部３４は、結合画像Ｐｃｎに基づいて、車両の周囲の任意の仮想視点からみた車両の周囲の領域を示す合成画像を生成する。合成画像生成部３４が合成画像を生成する手法については後述する。
【００３０】
画像調整部３２により表示用に調整された撮影画像、及び合成画像生成部３４により生成された合成画像は、ナビ通信部４２によってナビゲーション装置２０に出力される。その際に、画像配置部３５は、以下に説明する画像表示システム１２０の動作モードに応じて、画面上の所定の表示位置にこれらの画像を配置した表示画像を生成し、ナビゲーション装置２０へ出力する。これにより、被写体像として車両の周囲の少なくとも一部の領域を含む周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００３１】
本明細書において、「周辺画像」とは、車両の周囲の少なくとも一部の領域を示す画像を意味し、表示用に調整された撮影画像、及び、合成画像の双方を含む概念である。表示用に調整された撮影画像は、取得された車載カメラ５１〜５３のレンズの位置を視点とし、その視点からみた周辺画像となる。また、合成画像は、車両の周囲の任意の位置に設定された仮想視点からみた周辺画像となる。
【００３２】
表示付加部３６は、画像表示システム１２０がユーザへ所定の情報を提示するための表示を、画像配置部３５によって生成される表示画像上に付加する。この表示は、例えば特定の情報を示すアイコンでもよく、又はメッセージなどの文字情報であってよい。また、表示付加部３６は、後述するように、障害物を検知した場合、注意を喚起するための注意喚起表示（インジケータ）を、合成画像を表示する部分及び撮影画面を表示する部分以外の表示画面の部分に付加する。
【００３３】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１、表示制御部１２、領域選択部１３、優先度設定部１４、検知信号受信部１５及び受付部１６は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３４】
画像制御部１１は、画像生成部３によって実行される画像処理に係る制御を行う。例えば、画像制御部１１は、合成画像生成部３４が生成する合成画像の生成に必要な各種パラメータなどを指示する。
【００３５】
表示制御部１２は、ナビゲーション装置２０のディスプレイ２１に表示する表示内容に係る制御を行う。例えば、画像表示システム１２０の動作モードの変更に応じて、ディスプレイ２１の表示内容を切り替える。
【００３６】
領域選択部１３は、車両の周囲に設定される複数の周辺領域のうちから、ユーザに示すべき周辺領域を選択する。優先度設定部１４は、ユーザに示すべき周辺領域が複数ある場合に、それらの優先度を設定する。
【００３７】
検知信号受信部１５は、後述する検知信号を受信することによって、障害物が所定の範囲内（車両の周囲）にあるか否か検知する。受付部１６は、合成画像中の障害物を表示した部分を拡大した拡大画像をナビゲーション装置２０の表示画面に表示させる入力を受け付ける。なお、表示制御部１２は、後述するように、受付部１６が上記入力を受け付けた場合に、上記拡大画像を合成画像の代わりにナビゲーション装置２０の表示画面に表示させる。
【００３８】
画像生成装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００３９】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ４０には、視点データ４ａが記憶されている。視点データ４ａは、合成画像の仮想視点を定める際に利用される。
【００４０】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどであり、画像生成装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。
【００４１】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。本実施の形態では、ソナーシステム７及びシフトセンサ８からの信号が信号入力部４１を介して制御部１に入力される。
【００４２】
障害物検知手段としてのソナーシステム７からは、後述するように、障害物の位置及び車両と障害物との間の距離を含む検出結果が入力される。シフトセンサ８からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。
【００４３】
＜２．ソナーシステム＞
図４は、ソナーシステム７の構成を主に示す図である。図３に示すように、ソナーシステム７は、システム全体を統括するソナー制御部７０と、複数のクリアランスソナー７２と、車内に警告音を発するブザー７１と、を備える。
【００４４】
クリアランスソナー７２は、超音波を発信し、その超音波が障害物で反射した反射波を受信することによって車両の周囲に存在する障害物を検出する。また、クリアランスソナー７２は、超音波を発信してから戻ってくるまでの時間に基づいて車両と障害物との間の距離を測定することができる。
【００４５】
各クリアランスソナー７２の検出結果は、ソナー制御部７０に入力され、車両と障害物との間の距離に応じてブザー７１から警告音が出力される。これにより、ユーザは、車両の周囲に障害物が存在するか否か把握することができる。
【００４６】
図５は、複数のクリアランスソナー７２が車両９に配置される位置を示す図である。複数のクリアランスソナー７２は、車両９の前方の左右端部及び車両９の後方の左右端部にそれぞれ設けられている。
【００４７】
各クリアランスソナー７２は、車両９の周辺の一部の周辺領域Ａ１〜Ａ４に向けて超音波を発信する。具体的には、車両９の前方の左端部に設けられるクリアランスソナー７２は、車両９の前方左側に設定される周辺領域（「前方左側領域」）Ａ１に向けて超音波を発信する。また、車両９の前方の右端部に設けられるクリアランスソナー７２は、車両９の前方右側に設定される周辺領域（「前方右側領域」）Ａ２に向けて超音波を発信する。また、車両９の後方の左端部に設けられるクリアランスソナー７２は、車両９の後方左側に設定される周辺領域（「後方左側領域」）Ａ３に向けて超音波を発信する。さらに、車両９の後方の右端部に設けられるクリアランスソナー７２は、車両９の後方右側に設定される周辺領域（「後方右側領域」）Ａ４に向けて超音波を発信する。
【００４８】
これら４つの周辺領域Ａ１〜Ａ４は、車両９に対して相対的に固定されて予め設定される。このようなクリアランスソナー７２の配置により、ソナーシステム７では、４つの周辺領域Ａ１〜Ａ４に存在する障害物を検出することができる。ソナーシステム７は、障害物を検出したクリアランスソナー７２の位置に基づいて、検出した障害物の位置が４つの周辺領域Ａ１〜Ａ４のいずれであるかを把握することができる。さらに、ソナーシステム７は、車両と障害物との間の距離を測定することができる。
【００４９】
このような障害物の位置及び車両と障害物との間の距離を含むソナーシステム７の検出結果は、図４に示すように、ソナー制御部７０から画像生成装置１００の制御部１に信号入力部４１を介して入力される。そして、このソナーシステム７の検出結果は、制御部１の検知信号受信部１５等で利用される。
【００５０】
＜３．画像合成処理＞
次に、画像生成部３の合成画像生成部３４が、撮影部５で得られた複数の撮影画像Ｐ１〜Ｐ４に基づいて車両９及び車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図６は、合成画像を生成する手法を説明するための図である。
【００５１】
上述の通り、撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４を結合した結合画像Ｐｃｎには、撮影時点の車両９の全周囲を示す情報が含まれている。
【００５２】
次に、結合画像Ｐｃｎの各画素が、仮想的な三次元空間における立体曲面ＴＳに投影される。立体曲面ＴＳは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。結合画像Ｐｃｎの各画素の位置とこの立体曲面ＴＳの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＴＳの各画素の値は、この対応関係と結合画像Ｐｃｎに含まれる各画素の値とに基づいて決定できる。
【００５３】
結合画像Ｐｃｎの各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶されている。
【００５４】
また、不揮発性メモリ４０に予め記憶された車体の形状やサイズを示すデータが利用され、車両９の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両９のモデルは、立体曲面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５５】
さらに、立体曲面ＴＳが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００５６】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両の像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周囲を任意の仮想視点ＶＰからみた様子を示す合成画像が生成されることになる。
【００５７】
例えば、視点位置が車両９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、車両９の略直上から車両９を見下ろすように、車両９及び車両９の周囲の領域を示す合成画像ＣＰａが生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方方向とした仮想視点ＶＰｂを設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周囲の領域を示す合成画像ＣＰｂが生成される。
【００５８】
なお、実際に合成画像を生成する場合においては、立体曲面ＴＳの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。画像表示システム１２０では、このような合成画像生成部３４の機能を利用することで、車両９の周囲の任意の視点からみた合成画像を生成して、ディスプレイ２１に表示する。
【００５９】
＜４．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図７は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ０、フロントモードＭ１、サイドモードＭ２、及び、バックモードＭ３の３つの動作モードを有している。これらの動作モードは、ドライバの車両９への操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００６０】
ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内を行う動作モードである。ナビモードＭ０では、画像生成装置１００の機能が利用されず、ナビゲーション装置２０単体の機能でディスプレイ２１に各種の表示がなされる。具体的には、ディスプレイ２１には、車両９の周辺の地図画像ＮＰが主に表示される。
【００６１】
これに対し、フロントモードＭ１、サイドモードＭ２及びバックモードＭ３は、画像生成装置１００の機能を利用して、周辺画像をディスプレイ２１に表示して、車両の周囲の状況をリアルタイムでユーザに示す動作モードである。
【００６２】
フロントモードＭ１は、車両９の前方を表示する動作モードであり、見通しの悪い交差点への進入時などに利用される。ディスプレイ２１の第２表示位置Ｌ２には、フロントカメラ５１で取得されて表示用に調整した撮影画像（以下、「フロント画像」という。）ＳＰ１が表示される。このフロント画像ＳＰ１は、車両９の前方の視点（フロントカメラ５１のレンズ位置）からみた周辺画像である。フロントモードＭ１では、表示中の周辺画像（すなわち、フロント画像）ＳＰ１の視点が車両９の前方であることを示すアイコンＣ１が表示される。
【００６３】
また、第１表示位置Ｌ１には、合成画像生成部３４により生成された、車両９の略直上から車両９を見下ろすように車両９とその周辺の領域を示す合成画像ＣＰａが表示される。
【００６４】
サイドモードＭ２は、車両９の側方を表示する動作モードであり、幅寄せを行う場合などに利用される。ディスプレイ２１の第３表示位置Ｌ３及び第４表示位置Ｌ４には、サイドカメラ５２で取得されて表示用に調整した撮影画像（以下、「サイド画像」という。）ＳＰ２が表示される。このサイド画像ＳＰ２は、車両９の側方の視点（サイドカメラ５２のレンズ位置）からみた周辺画像である。尚、この状態では前進中、今後前進が推測される状態（シフト「Ｒ」以外）のため、画像は車両側方画像から前方方向を切り出した画像であり、車体と道路（及び車外の物体）との関係が分かりやすいように車体の一部が写り、かつ、車両進行方向が略上下方向に一致するように画像処理（切り出し処理、回転処理等）がなされる。サイドモードＭ２では、表示中の周辺画像（すなわち、サイド画像）ＳＰ２の視点が車両９の側方であることを示すアイコンＣ２が表示される。
【００６５】
また、バックモードＭ３は、車両９の後方を表示する動作モードであり、後退時に利用される。ディスプレイ２１の第２表示位置Ｌ２には、バックカメラ５３で取得されて表示用に調整した撮影画像（以下、「バック画像」という。）ＳＰ３が表示される。このバック画像ＳＰ３は、車両９の後方の視点（バックカメラ５３のレンズ位置）からみた周辺画像である。バックモードＭ３では、表示中の周辺画像（すなわち、バック画像）ＳＰ３の視点が車両９の後方であることを示すアイコンＣ３が表示される。
【００６６】
また、第１表示位置Ｌ１には、合成画像生成部３４により生成された、車両９の略直上から車両９を見下ろすように車両９とその周囲の領域を示す合成画像ＣＰａが表示される。
【００６７】
ナビモードＭ０において、ナビゲーション装置２０の操作部２２に所定の操作（周辺画像の表示操作）がなされると、フロントモードＭ１及びサイドモードＭ２のうちの最後に有効化された動作モード（いわゆる、ラストモード）に切り替わる。フロントモードＭ１とサイドモードＭ２とは、切替スイッチ４３を押下するごとに切り替えられる。また、フロントモードＭ１あるいはサイドモードＭ２において、ナビゲーション装置２０の操作部２２に所定の操作がなされると、ナビモードＭ０に戻る。
【００６８】
また、バックモードＭ３以外の動作モードにおいて、シフトセンサ７１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。
【００６９】
このように画像表示システム１２０は、複数の動作モードを切り替えることで、複数の視点からみた周辺画像を切り替えてディスプレイ２１に表示可能となっている。
【００７０】
＜５．注意喚起表示の付加処理＞
次に、注意喚起表示の付加処理を行うときの画像表示システム１２０の処理について説明する。以後の説明において、フロントモードＭ１の場合について説明するが、バックモードＭ３の場合でも同様な注意喚起表示の付加処理を行うことができる。
【００７１】
図８は、注意喚起表示の付加の一例の説明図である。図８に示す例では、ディスプレイ２１において、フロント画像ＳＰ１の上（フロント画像ＳＰ１の表示領域外でその上側にある領域）には、「車両周辺を直接確認してください」のメッセージが表示付加部３６によって付加されている。尚、このメッセージは、ソナーシステム７による障害物の検出状態に関係なく車両周辺画像表示中は表示されている。
【００７２】
ソナーシステム７からの周囲に障害物Ｓがあることを示す信号が信号入力部４１を介して制御部１に入力されると、検知信号受信部１５は、車両９の周囲に障害物Ｓがあることを検知する。このとき、合成画像ＣＰａ内にカメラで撮影された障害物Ｓが表示されているが、表示付加部３６は、さらに、注意喚起表示として、「車両周辺を直接確認してください」のメッセージ（コーション文）を囲む枠Ｆを付加する。
【００７３】
表示付加部３６は、車両９と障害物Ｓとの間の距離に応じて枠Ｆの色を変更する。例えば、車両９と障害物Ｓとの間の距離が零以上かつ２５ｃｍ未満のときには枠Ｆの色を第１の色（例えば、赤色）にし、車両９と障害物Ｓとの間の距離が２５ｃｍ以上かつ１５０ｃｍ未満のときには枠Ｆの色を第２の色（例えば、黄色）にし、車両９と障害物Ｓとの間の距離が１５０ｃｍ以上のときには枠Ｆの色を第３の色（例えば、緑色）にする。尚、枠Ｆだけでなく、その中の文字の色や領域内の背景色を、車両９と障害物Ｓとの距離に応じて変えるようにしてもよい。
【００７４】
なお、メッセージのような文字情報及び文字情報を囲む枠を、ディスプレイ２１の表示画面のうちの合成画像ＣＰａ及びフロント画像ＳＰ１を除く部分のいずれの場所に表示してもよい。
【００７５】
図８に示す例によれば、障害物Ｓの検知状態、すなわち、車両９と障害物Ｓとの間の距離に応じて、注意喚起表示としての枠Ｆの表示形態（色）を変更しているので、合成画像ＣＰａの周辺画像及びフロント画像ＳＰ１を隠すことなく直感的に障害物の有無及び車両と障害物との間の距離感を認識させることができる。したがって、障害物に対する注意を喚起しながら、障害物がどこにあるかを合成画像ＣＰａの周辺画像から容易に確認することができる。
【００７６】
また、合成画像ＣＰａの周辺画像及びフロント画像ＳＰ１を隠すことなくメッセージを枠Ｆで強調表示することによって、車両９の周辺に障害物Ｓがあることを認識させることができるとともに文言による理解を高めることができる。
【００７７】
図９は、注意喚起表示の付加の他の例の説明図である。図９に示す例では、ディスプレイ２１において、フロント画像ＳＰ１の上には、「車両周辺を直接確認してください」のメッセージが表示付加部３６によって付加されているが、このようなメッセージが付加されていなくてもよい。
【００７８】
ソナーシステム７からの障害物検知の信号が信号入力部４１を介して制御部１に入力されると、検知信号受信部１５は、車両９の周囲に障害物Ｓがあることを検知する。このとき、合成画像ＣＰａ内にカメラで撮影された障害物Ｓが表示されているが、表示付加部３６は、さらに、注意喚起表示として、合成画像ＣＰａの外周（画像領域の外）に障害物が存在する方向の角を挟むようにＬ字型インジケータＩ１の表示を行い、また、合成画像ＣＰａ中における車両９の障害物が存在する方向の角部分に小円形等のインジケータＩ２を表示する。これらの表示は、ディスプレイ２１の表示画面のうちの合成画像ＣＰａ及びフロント画像ＳＰ１を除く部分、及び合成画像ＣＰａ中の車両９部分（カメラ撮影画像部分は遮蔽しない）への表示となる。
【００７９】
表示付加部３６は、車両９と障害物Ｓとの間の距離に応じてインジケータＩ１，Ｉ２の色を変更し、例えば、車両９と障害物Ｓとの間の距離が零以上かつ２５ｃｍ未満のときにはインジケータＩ１，Ｉ２の色を第１の色（例えば、赤色）にし、車両９と障害物Ｓとの間の距離が２５ｃｍ以上かつ１５０ｃｍ未満のときにはインジケータＩ１，Ｉ２の色を第２の色（例えば、黄色）にし、車両９と障害物Ｓとの間の距離が１５０ｃｍ以上のときにはインジケータＩ１，Ｉ２の色を第３の色（例えば、緑色）にする。
【００８０】
図９に示す例では、ディスプレイ２１の表示画面のうちの合成画像ＣＰａ及びフロント画像ＳＰ１を除く部分並びに合成画像ＣＰａ中の車両９部分にインジケータを付加する場合について説明したが、障害物Ｍの表示を妨げないのであれば、インジケータを合成画像ＣＰａの周辺部分に付加することもでき、例えば、図１０に示すように、合成画像ＣＰａの輪郭線上にインジケータＩ１’を付加し又は合成画像ＣＰａの輪郭線に沿った周辺画像内にインジケータＩ１”を付加することもできる。
【００８１】
また、インジケータを、ディスプレイ２１の表示画面のうちの合成画像ＣＰａ及びフロント画像ＳＰ１を除く部分及び合成画像ＣＰａ中の車両のうちの少なくとも一つに付加すればよく、例えば、車両９と障害物Ｓとの間の距離が零以上かつ２５ｃｍ未満のときには第１の色（例えば、赤色）のインジケータＩ１，Ｉ２を付加し、車両９と障害物Ｓとの間の距離が２５ｃｍ以上かつ１５０ｃｍ未満のときには第２の色（例えば、黄色）のインジケータＩ１のみを付加し、車両９と障害物Ｓとの間の距離が１５０ｃｍ以上のときには第３の色（例えば、緑色）のインジケータＩ１のみを付加してもよい。さらに、図８に示すような枠Ｆの注意喚起表示をインジケータＩ１とインジケータＩ２の少なくとも一方と組み合わせて用いてもよい。
【００８２】
図９に示す例によれば、障害物Ｓの検知状態、すなわち、車両９と障害物Ｓとの間の距離に応じて、注意喚起表示としてのアイコンＩ１，Ｉ２の表示形態（色）を変更しているので、合成画像ＣＰａの周辺画像及びフロント画像ＳＰ１を隠すことなく直感的に障害物の有無及び車両と障害物との間の距離感を認識させることができる。したがって、注意を喚起しながら、障害物がどこにあるかを合成画像ＣＰａの周辺画像から容易に確認することができる。
【００８３】
また、障害物Ｓが遠方にある、例えば、車両９と障害物Ｓとの間の距離が５０ｃｍ以上である、ときにはアイコンＩ１のみを付加し、障害物が近方にある、例えば、車両９と障害物Ｓとの間の距離が５０ｃｍ未満である、ときにはアイコンＩ１，Ｉ２の両方を付加（挟み込み表示）することによって、障害物Ｓに対する注意力を高めることができる。
【００８４】
図１１は、合成画像の拡大の説明図である。図１１に示す例では、ディスプレイ２１において、フロント画像ＳＰ１の上には、「車両周辺を直接確認してください」のメッセージが表示付加部３６によって付加され、合成画像ＣＰａ中の障害物Ｓを表示した部分を拡大した拡大画像ＣＰａ’をディスプレイ２１の表示画面に表示させる入力を受付部１６によって受け付けるための「詳細確認」スイッチが、「車両周辺を直接確認してください」のメッセージ上に表示される。
【００８５】
「詳細確認」スイッチが押下されると、表示制御部１２は、障害物Ｓを表示した部分の拡大画像ＣＰａ’を合成画像ＣＰａの代わりにディスプレイ２１の表示画面に表示させる。このように拡大画像ＣＰａ’を必要に応じてディスプレイ２１の表示画面に表示させることができるので、障害物Ｓの詳細を必要に応じて確認することができる。なお、車両９の周囲に複数の障害物があるときに「詳細確認」スイッチを押下した場合、車両９に最も近い障害物がある領域が表示される。このような「詳細確認」スイッチは、障害物Ｍの表示を妨げないのであれば、ディスプレイ２１の表示画面のいずれの場所に表示してもよい。
【００８６】
続いて、図１２を参照して、注意喚起表示を付加する画像表示システム１２０の処理を説明する。なお、図１２を参照して説明する処理は、図９及び図１１に示すようにインジケータＩ１，Ｉ２のうちの少なくとも一方が付加され、図１１に示すように「詳細確認」ボタンが表示される場合の処理である。この処理は、画像表示システム１２０の動作中、繰り返し実行される。注意喚起表示として図８に示す枠Ｆを付加する場合でも同様の処理を行う。
【００８７】
オペレーションＡにおいて、車載カメラ５１〜５３は、それぞれ撮影画像Ｐ１〜Ｐ４を撮影する。オペレーションＢにおいて、画像結合部３０は、これらの画像Ｐ１〜Ｐ４を結合した結合画像Ｐｃｎを生成し、メモリ３１に格納する。オペレーションＣにおいて、合成画像生成部３４は、結合画像Ｐｃｎに基づいて合成画像ＣＰａを生成する。
【００８８】
オペレーションＤにおいて、画像配置部３５は、現在の画像表示システム１２０の動作モードに従って、合成画像ＣＰａ及び撮影画像ＳＰ１〜ＳＰ３のいずれかを選択し、ナビゲーション装置２０へ出力する表示画像上に配置する。表示画像は、画像生成装置１００によってナビゲーション装置２０へ出力される。オペレーションＥにおいて、ナビゲーション装置２０は、画像生成装置１００から出力された表示画像をディスプレイ２１へ表示する。
【００８９】
オペレーションＦにおいて、ソナーシステム７は、車両９の周囲の障害物を検知したか否か判断する。障害物を検知した場合、オペレーションＧにおいて、表示付加部３６は、注意喚起表示として、インジケータＩ１及びインジケータＩ２のうちの少なくとも一つを、ディスプレイ２１の表示画面に付加する。
【００９０】
オペレーションＨにおいて、受付部１６は、「詳細確認」スイッチが押下されたか否か判断する。「詳細確認」スイッチが押下された場合、オペレーションＩにおいて、表示制御部１２は、拡大画像ＣＰａ’を合成画像ＣＰａの代わりにディスプレイ２１の表示画面に表示させる。
【符号の説明】
【００９１】
１５ 検知信号受信部
３４ 合成画像生成部
３６ 表示付加部
１００ 画像生成装置
１２０ 画像表示システム
【特許請求の範囲】
【請求項１】
車両に搭載される画像表示システムであって、
車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像及び前記撮影画像を表示画面に表示する表示手段と、
障害物があるか否か検知する障害物検知手段と、
障害物を検知した場合、注意を喚起するための注意喚起表示を、前記表示画面のうちの前記合成画像及び前記撮影画像を除く部分と、前記合成画像の周辺部分とのうちの少なくとも一つに付加する表示付加手段と、
を備えることを特徴とする画像表示システム。
【請求項２】
車両に搭載される画像表示システムであって、
車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像及び前記撮影画像を表示画面に表示する表示手段と、
障害物があるか否か検知する障害物検知手段と、
障害物を検知した場合、前記合成画像表示領域の外側外周に障害物検知側の角を挟む形状で注意を喚起するための注意喚起表示を表示する表示付加手段と、
を備えることを特徴とする画像表示システム。
【請求項３】
前記注意喚起表示は、前記表示画面のうちの前記合成画像及び前記撮影画像を除く部分、前記合成画像の周辺部分、及び前記合成画像中の車両部分のうちの少なくとも一つに付加されるインジケータであり、前記表示付加手段は、車両と障害物との間の距離に応じて前記インジケータの色を変更する請求項２に記載の画像表示システム。
【請求項４】
車両に搭載される画像表示システムであって、
車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像及び前記撮影画像を表示画面に表示する表示手段と、
障害物があるか否か検知する障害物検知手段と、
障害物を検知した場合、拡大表示を指示するための操作スイッチ画像を表示する操作スイッチ表示手段と、
前記操作スイッチ表示手段が操作された場合、障害物が検知された領域の拡大画像を表示する拡大表示手段と、
を備えることを特徴とする画像表示システム。
【請求項５】
車両に搭載される画像表示システムであって、
車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像及び前記撮影画像を表示画面に表示する表示手段と、
表示画像に対して直接確認を喚起するための注意表示を行う注意表示手段と、
障害物があるか否か検知する障害物検知手段と、
障害物を検知した場合、前記注意表示を強調表示する強調表示手段と、
を備えることを特徴とする画像表示システム。
【請求項１】
車両に搭載される画像表示システムであって、
車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像及び前記撮影画像を表示画面に表示する表示手段と、
障害物があるか否か検知する障害物検知手段と、
障害物を検知した場合、注意を喚起するための注意喚起表示を、前記表示画面のうちの前記合成画像及び前記撮影画像を除く部分と、前記合成画像の周辺部分とのうちの少なくとも一つに付加する表示付加手段と、
を備えることを特徴とする画像表示システム。
【請求項２】
車両に搭載される画像表示システムであって、
車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像及び前記撮影画像を表示画面に表示する表示手段と、
障害物があるか否か検知する障害物検知手段と、
障害物を検知した場合、前記合成画像表示領域の外側外周に障害物検知側の角を挟む形状で注意を喚起するための注意喚起表示を表示する表示付加手段と、
を備えることを特徴とする画像表示システム。
【請求項３】
前記注意喚起表示は、前記表示画面のうちの前記合成画像及び前記撮影画像を除く部分、前記合成画像の周辺部分、及び前記合成画像中の車両部分のうちの少なくとも一つに付加されるインジケータであり、前記表示付加手段は、車両と障害物との間の距離に応じて前記インジケータの色を変更する請求項２に記載の画像表示システム。
【請求項４】
車両に搭載される画像表示システムであって、
車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像及び前記撮影画像を表示画面に表示する表示手段と、
障害物があるか否か検知する障害物検知手段と、
障害物を検知した場合、拡大表示を指示するための操作スイッチ画像を表示する操作スイッチ表示手段と、
前記操作スイッチ表示手段が操作された場合、障害物が検知された領域の拡大画像を表示する拡大表示手段と、
を備えることを特徴とする画像表示システム。
【請求項５】
車両に搭載される画像表示システムであって、
車両に配置されたカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た合成画像を生成する合成画像生成手段と、
前記合成画像及び前記撮影画像を表示画面に表示する表示手段と、
表示画像に対して直接確認を喚起するための注意表示を行う注意表示手段と、
障害物があるか否か検知する障害物検知手段と、
障害物を検知した場合、前記注意表示を強調表示する強調表示手段と、
を備えることを特徴とする画像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２１６９９１（Ｐ２０１２−２１６９９１Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−８０７４２（Ｐ２０１１−８０７４２）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]