画像生成装置、画像表示システム及び画像生成方法
【課題】車載カメラの撮影状態に異常状態が生じた場合に、異常状態に応じた適切な周辺画像をユーザに提供する。
【解決手段】画像生成装置１００は、車両９の側方を撮影するカメラ５２が配置されるサイドミラーの格納状態を判定する状態判定部１３と、状態判定部でサイドミラーが格納状態であると判定された場合に、カメラ５２からの撮影画像のうち少なくとも車両が映り込む第１領域の画像Ｒ１を選択し、状態判定部でサイドミラーが展開状態であると判定された場合に、第１領域Ｒ１と異なる撮影画像の第２領域Ｒ２の画像を選択する画像選択部３３と、画像選択部３３により選択される画像が配置された表示画像を生成する画像生成部３５を備える。
【解決手段】画像生成装置１００は、車両９の側方を撮影するカメラ５２が配置されるサイドミラーの格納状態を判定する状態判定部１３と、状態判定部でサイドミラーが格納状態であると判定された場合に、カメラ５２からの撮影画像のうち少なくとも車両が映り込む第１領域の画像Ｒ１を選択し、状態判定部でサイドミラーが展開状態であると判定された場合に、第１領域Ｒ１と異なる撮影画像の第２領域Ｒ２の画像を選択する画像選択部３３と、画像選択部３３により選択される画像が配置された表示画像を生成する画像生成部３５を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で論じられる実施態様は、車両において画像を表示する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラで得られる撮影画像に基づいて車両の周辺の領域を示す周辺画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをユーザが把握しにくい。これに対して、画像表示システムを利用すれば、車両の側方に配置された車載カメラの撮影画像に基づいてフロントフェンダの外側領域を示す周辺画像を車室内のディスプレイに表示できる。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをユーザが容易に確認できることとなる。
【０００４】
なお、撮像部から出力されたカメラ画像を受けてマッピングテーブルを参照して合成画像を生成する画像処理システムが知られている。この画像システムでは、表示切替部は、ドアやボンネットなどの可動部分の表示を示す信号を受け、可動部分の状態変化がカメラ画像に影響を与えるとき、合成画像にそのカメラ画像が用いられないようにマッピングデータの書き換えを行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−３３４８７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のような画像表示システムにおいて、車載カメラの撮影状態に異常が生じると適切な周辺画像をユーザに提供できなくなる。このような車載カメラの撮影状態の異常の例としては、車載カメラが設置されたサイドミラーの格納や、車載カメラ自体の故障がある。
【０００７】
開示の装置及び方法は、車載カメラの撮影状態に異常状態が生じた場合に、異常状態に応じた適切な周辺画像をユーザに提供することを目的とする。
【課題を解決するための手段】
【０００８】
装置の一観点による画像生成装置は、車両の側方を撮影するカメラが配置されるサイドミラーの格納状態を判定する状態判定部と、状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第１領域の画像を選択し、状態判定部でサイドミラーが展開状態であると判定された場合に、第１領域と異なる撮影画像の第２領域の画像を選択する画像選択部と、画像選択部により選択される画像が配置された表示画像を生成する画像生成部を備える。
【０００９】
装置の一観点による画像表示システムは、車両のサイドミラーに配置されて車両の側方を撮影するカメラと、サイドミラーの格納状態を判定する状態判定部と、状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第１領域の画像を選択し、状態判定部でサイドミラーが展開状態であると判定された場合に、第１領域と異なる撮影画像の第２領域の画像を選択する画像選択部と、画像選択部により選択される画像が配置された表示画像を生成する画像生成部と、画像生成部から出力される画像を表示する表示部を備える。
【００１０】
装置の一観点による画像表示装置は、サイドミラーに設置されたサイドカメラを含む車両に配置された複数のカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、合成画像を表示画面に表示する表示手段と、サイドミラーの格納状態を判定する状態判定部と、状態判定部でサイドミラーが格納状態であると判定された場合に、サイドカメラからの撮影画像から車両側面の一部が映り込み、かつ、車両側面前後方向に沿って切り出した画像を表示手段に表示する表示制御手段を備える。
【発明の効果】
【００１１】
本件開示の装置又は方法によれば、車載カメラの撮影状態に異常状態が生じた場合に、異常状態に応じた適切な周辺画像をユーザに提供することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施の形態の画像表示システムの構成例を示す図である。
【図２】車載カメラが車両に配置される位置を示す図である。
【図３】（Ａ）及び（Ｂ）は、画像結合部によって生成される結合画像の説明図である。
【図４】合成画像を生成する手法を説明する図である。
【図５】画像表示システムの動作モードの遷移を示す図である。
【図６】（Ａ）及び（Ｂ）は、サイドミラー展開時及び格納時に生成される合成画像を示す図である。
【図７】画像選択部による選択範囲の説明図である。
【図８】（Ａ）及び（Ｂ）は、サイドミラー格納時におけるディスプレイの表示例の説明図である。
【図９】サイドミラー格納時における画像表示システムの処理例の説明図である。
【図１０】カメラの故障時にディスプレイに表示される合成画像の第１例を示す図である。
【図１１】第２の実施の形態の画像表示システムの構成例を示す図である。
【図１２】合成画像の一部を置換用画像で置き換える処理例の説明図である。
【図１３】カメラの故障時にディスプレイに表示される合成画像の第２例を示す図である。
【図１４】カメラ故障時における画像表示システムの処理例の説明図である。
【図１５】カメラの故障時に表示される合成画像の状態遷移の説明図である。
【発明を実施するための形態】
【００１３】
＜１．第１の実施の形態＞
＜１−１．システム構成＞
第１の実施の形態では、車載カメラが設置されたサイドミラーが格納された場合に、サイドミラーの展開時とは異なる表示処理を行うことで、より適切な周辺画像をユーザに提供する。まず始めに、周辺画像の処理が行われる画像表示システムの概要について説明する。
【００１４】
図１は、第１の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００１５】
図１に示すように、画像表示システム１２０は、車両の周辺の様子を示す周辺画像を生成する画像生成装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像生成装置１００で生成された周辺画像は、ナビゲーション装置２０において表示される。
【００１６】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行うハードスイッチなどの操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。
【００１７】
ユーザの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。ナビゲーション装置２０は、画像生成装置１００と通信可能に接続され、画像生成装置１００との間で各種の制御信号の送受信や、画像生成装置１００で生成された画像の受信が可能となっている。
【００１８】
ディスプレイ２１には、制御部２３の制御により、通常は、ナビゲーション装置２０単体の機能によって、ナビゲーション案内用の車両の周辺の地図画像が表示される。地図画像は、ナビゲーション装置２０が備えるハードディスクなどに予め記憶されている。また、ナビゲーション装置２０が備えるＧＰＳ装置によって車両の位置（緯度、経度）が取得され、この車両の位置に基づいて、車両の周辺の地図画像がディスプレイ２１に表示される。表示する地図画像の縮尺はユーザの操作部２２の操作に応じて変更可能である。
【００１９】
一方で、画像表示システム１２０の動作モードを変更した場合は、画像生成装置１００で生成された車両の周辺の様子を示す周辺画像が、ディスプレイ２１に表示される。これにより、ナビゲーション装置２０は、画像生成装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００２０】
画像生成装置１００は、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）である本体部１０と、車両の周辺を撮影する撮影部５とを備えている。本体部１０は、車両の所定の位置に配置され、撮影部５で車両の周辺を撮影して得られる撮影画像に基づいてディスプレイ２１に表示するための周辺画像を生成する。
【００２１】
撮影部５は、本体部１０に電気的に接続され、本体部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２、及び、バックカメラ５３を備えている。各車載カメラ５１〜５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
【００２２】
これらの複数の車載カメラ５１〜５３は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５３が車両９に配置される位置を示す図である。
【００２３】
図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５３は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５３ａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５３の取り付け位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。また、サイドカメラ５２は左右のサイドミラー９３にそれぞれ設けられ、その光軸５２ａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の外側に向けられている。
【００２４】
これらの車載カメラ５１〜５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５３は１８０度以上の画角θを有している。このため、車載カメラは、それぞれの光軸を中心として、斜め下方や斜め上方の範囲の視野も撮影画像に移すことができる。撮影部５は、４つの車載カメラ５１〜５３を利用することで車両９の全周囲の撮影が可能となっている。
【００２５】
図１に戻り、画像生成装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５の４つの車載カメラ５１〜５３それぞれの撮影画像を入力する入力端子４９と、表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２を主に備えている。
【００２６】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像生成装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像生成装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置、例えばステアリングやセンターコンソールに配置される。
【００２７】
画像生成部３は、各種の画像処理が可能なハードウェア回路であり、入力端子４９を介して撮影部５から入力される撮影画像を処理し、ディスプレイ２１に表示するための周辺画像を生成する。画像生成部３は、画像結合部３０、メモリ３１、画像調整部３２、合成画像生成部３４、画像配置部３５、及び表示付加部３６を主な構成要素として備えている。
【００２８】
画像結合部３０は、撮影部５で取得された撮影画像を１枚の結合画像に結合する。図３の（Ａ）及び図３の（Ｂ）は、画像結合部３０によって生成される結合画像Ｐｃｎの説明図である。撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。画像結合部３０は、これら４枚の撮影画像Ｐ１〜Ｐ４を結合することによって、図３の（Ｂ）に示すような結合画像Ｐｃｎを生成する。画像結合部３０によって生成された結合画像Ｐｃｎは、メモリ３１に格納される。
【００２９】
画像調整部３２は、画像結合部３０にて生成された結合画像Ｐｃｎを表示に利用するための調整を行うものである。具体的には、画像調整部３２は、結合画像Ｐｃｎに含まれる撮影画像Ｐ１〜Ｐ４に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。画像調整部３２は、画像選択部３３を備える。画像選択部３３は、画像調整部３２における画像処理において、結合画像Ｐｃｎに含まれる撮影画像Ｐ１〜Ｐ４から表示範囲の画像を切り出す範囲、すなわちディスプレイ２１への表示範囲を選択する。
尚、切り出しの設定（切り出し範囲の設定）や拡大縮小設定等は、装置（カメラ）取付時に行われるキャリブレーション（調整・設定作業）時においてそれら調整値・設定値等が記憶され、これらの値を用いて、上述の調整処理等の画像処理が行われる。
【００３０】
合成画像生成部３４は、結合画像Ｐｃｎに基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の領域を示す合成画像を生成する。合成画像生成部３４が合成画像を生成する手法については後述する。
【００３１】
画像調整部３２により表示用に調整された撮影画像、及び合成画像生成部３４により生成された合成画像は、ナビ通信部４２によってナビゲーション装置２０に出力される。その際に、画像配置部３５は、以下に説明する画像表示システム１２０の動作モードに応じて、画面上の所定の表示位置にこれらの画像を配置した表示画像を生成し、ナビゲーション装置２０へ出力する。これにより、被写体像として車両の周辺の少なくとも一部の領域を含む周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００３２】
本明細書において、「周辺画像」とは、車両の周辺の少なくとも一部の領域を示す画像を意味し、表示用に調整された撮影画像、及び、合成画像の双方を含む概念である。表示用に調整された撮影画像は、取得された車載カメラ５１〜５３のレンズの位置を視点とし、その視点からみた周辺画像となる。また、合成画像は、車両の周辺の任意の位置に設定された仮想視点からみた周辺画像となる。
【００３３】
表示付加部３６は、画像表示システム１２０がユーザへ所定の情報を提示するための表示を、画像配置部３５によって生成される表示画像上に付加する。この表示は、例えば特定の情報を示すアイコンでもよく、又はメッセージなどの文字情報であってよい。
【００３４】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１、表示制御部１２、及び格納状態判定部１３は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３５】
画像制御部１１は、画像生成部３によって実行される画像処理に係る制御を行う。例えば、画像制御部１１は、合成画像生成部３４が生成する合成画像の生成に必要な各種パラメータなどを指示する。
【００３６】
表示制御部１２は、ナビゲーション装置２０のディスプレイ２１に表示する表示内容に係る制御を行う。例えば、画像表示システム１２０の動作モードの変更に応じて、ディスプレイ２１の表示内容を切り替える。
【００３７】
格納状態判定部１３は、車両９のサイドミラーの格納状態を判定する。すなわち、格納状態判定部１３は、現在、サイドミラーの位置が展開位置であるのか、サイドミラーの位置が格納位置であるのかを判定する。サイドミラーの展開位置とは、サイドミラーのミラー面が車両後方に向きサイドミラーが使用状態になる位置であり、サイドミラーの格納位置とは、サイドミラーのミラー面が車両９の本体に対向する位置である。
【００３８】
格納状態判定部１３は、サイドミラーの開閉を操作する制御装置からの出力信号に基づいてサイドミラーの格納状態を判定してよい。格納状態判定部１３は、サイドミラーに設けられた位置センサの検出結果に基づいてサイドミラーの格納状態を判定してもよい。
【００３９】
画像生成装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００４０】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ４０には、視点データ４ａが記憶されている。視点データ４ａは、合成画像の仮想視点を定める際に利用される。
【００４１】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどであり、画像生成装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。
【００４２】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。本実施の形態では、シフトセンサ７１及び舵角センサ７２からの信号が信号入力部４１を介して制御部１に入力される。
【００４３】
シフトセンサ７１からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。舵角センサ７２からは、ドライバによるステアリングホイールの操作角が入力される。
【００４４】
＜１−２．画像合成処理＞
次に、画像生成部３の合成画像生成部３４が、撮影部５で得られた複数の撮影画像Ｐ１〜Ｐ４に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図４は、合成画像を生成する手法を説明するための図である。
【００４５】
上述の通り、撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４を結合した結合画像Ｐｃｎには、撮影時点の車両９の全周囲を示す情報が含まれている。
【００４６】
次に、結合画像Ｐｃｎの各画素が、仮想的な三次元空間における立体曲面ＴＳに投影される。立体曲面ＴＳは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。結合画像Ｐｃｎの各画素の位置とこの立体曲面ＴＳの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＴＳの各画素の値は、この対応関係と結合画像Ｐｃｎに含まれる各画素の値とに基づいて決定できる。
【００４７】
結合画像Ｐｃｎの各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶されている。
【００４８】
また、不揮発性メモリ４０に予め記憶された車体の形状やサイズを示すデータが利用され、車両９の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両９のモデルは、立体曲面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００４９】
さらに、立体曲面ＴＳが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００５０】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両の像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点ＶＰからみた様子を示す合成画像が生成されることになる。
【００５１】
例えば、視点位置が車両９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、車両９の略直上から車両９を見下ろすように、車両９及び車両９の周辺の領域を示す合成画像ＣＰａが生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方方向とした仮想視点ＶＰｂを設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成される。
【００５２】
なお、実際に合成画像を生成する場合においては、立体曲面ＴＳの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。画像表示システム１２０では、このような合成画像生成部３４の機能を利用することで、車両９の周辺の任意の視点からみた合成画像を生成して、ディスプレイ２１に表示する。
【００５３】
＜１−３．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図５は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ０、フロントモードＭ１、サイドモードＭ２、及び、バックモードＭ３の３つの動作モードを有している。これらの動作モードは、ドライバの車両９への操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００５４】
ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内を行う動作モードである。ナビモードＭ０では、画像生成装置１００の機能が利用されず、ナビゲーション装置２０単体の機能でディスプレイ２１に各種の表示がなされる。具体的には、ディスプレイ２１には、車両９の周辺の地図画像ＮＰが主に表示される。
【００５５】
これに対し、フロントモードＭ１、サイドモードＭ２及びバックモードＭ３は、画像生成装置１００の機能を利用して、周辺画像をディスプレイ２１に表示して、車両の周辺の状況をリアルタイムでユーザに示す動作モードである。
【００５６】
フロントモードＭ１は、車両９の前方を表示する動作モードであり、見通しの悪い交差点への進入時などに利用される。ディスプレイ２１の第２表示位置Ｌ２には、フロントカメラ５１で取得されて表示用に調整した撮影画像（以下、「フロント画像」という。）ＳＰ１が表示される。このフロント画像ＳＰ１は、車両９の前方の視点（フロントカメラ５１のレンズ位置）からみた周辺画像である。フロントモードＭ１では、表示中の周辺画像（すなわち、フロント画像）ＳＰ１の視点が車両９の前方であることを示すアイコンＣ１が表示される。
【００５７】
また、第１表示位置Ｌ１には、合成画像生成部３４により生成された、車両９の略直上から車両９を見下ろすように車両９とその周辺の領域を示す合成画像ＣＰａが表示される。
【００５８】
サイドモードＭ２は、車両９の側方を表示する動作モードであり、幅寄せを行う場合などに利用される。ディスプレイ２１の第３表示位置Ｌ３及び第４表示位置Ｌ４には、サイドカメラ５２で取得されて表示用に調整した撮影画像（以下、「サイド画像」という。）ＳＰ２が表示される。このサイド画像ＳＰ２は、車両９の側方の視点（サイドカメラ５２のレンズ位置）からみた周辺画像である。尚、この状態では前進中、今後前進が推測される状態（シフト「Ｒ」以外）のため、画像は車両側方画像から前方方向を切り出した画像であり、車体と道路（および車外の物体）との関係が分かりやすいように車体の一部が写り写り、かつ車両進行方向が略上下方向に一致するように画像処理（切り出し処理、回転処理等）がなされている。サイドモードＭ２では、表示中の周辺画像（すなわち、サイド画像）ＳＰ２の視点が車両９の側方であることを示すアイコンＣ２が表示される。
【００５９】
また、バックモードＭ３は、車両９の後方を表示する動作モードであり、後退時に利用される。ディスプレイ２１の第２表示位置Ｌ２には、バックカメラ５３で取得されて表示用に調整した撮影画像（以下、「バック画像」という。）ＳＰ３が表示される。このバック画像ＳＰ３は、車両９の後方の視点（バックカメラ５３のレンズ位置）からみた周辺画像である。バックモードＭ３では、表示中の周辺画像（すなわち、バック画像）ＳＰ３の視点が車両９の後方であることを示すアイコンＣ３が表示される。
【００６０】
また、第１表示位置Ｌ１には、合成画像生成部３４により生成された、車両９の略直上から車両９を見下ろすように車両９とその周辺の領域を示す合成画像ＣＰａが表示される。
【００６１】
ナビモードＭ０において、ナビゲーション装置２０の操作部２２に所定の操作（周辺画像の表示操作）がなされると、フロントモードＭ１及びサイドモードＭ２のうちの最後に有効化された動作モード（いわゆる、ラストモード）に切り替わる。フロントモードＭ１とサイドモードＭ２とは、切替スイッチ４３を押下するごとに切り替えられる。また、フロントモードＭ１あるいはサイドモードＭ２において、ナビゲーション装置２０の操作部２２に所定の操作がなされると、ナビモードＭ０に戻る。
【００６２】
また、バックモードＭ３以外の動作モードにおいて、シフトセンサ７１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。
【００６３】
このように画像表示システム１２０は、複数の動作モードを切り替えることで、複数の視点からみた周辺画像を切り替えてディスプレイ２１に表示可能となっている。
【００６４】
＜１−４．サイドミラー格納時の処理＞
次に、サイドミラーが格納された場合の画像表示システム１２０の処理について説明する。サイドカメラ５２の撮影画像は、合成画像ＣＰａの生成やサイド画像ＳＰ２に使用されている。これらの画像は、サイドミラーが展開している状態で撮影されることを前提にしている。このため、サイドミラーが格納されると、画像表示システム１２０は、合成画像ＣＰａ及びサイド画像ＳＰ２を正常に表示することができない。
【００６５】
図６の（Ａ）は、サイドミラー展開時に生成される合成画像ＣＰａを示す図である。図６の（Ａ）において、参照符号２０１は、車両９の左側方に見られる白線を示し、参照符号２０２は、車両９の左側方に見られる側溝蓋を示す。
【００６６】
なお、図６の（Ａ）及び図６の（Ｂ）における領域２１０〜２１３は、それぞれ合成画像ＣＰａのうち、フロントカメラ５１、バックカメラ５３、左側のサイドカメラ５２及び右側のサイドカメラ５２によって撮影された画像から生成された領域を示す。また、点線２１５〜２１８は、これら領域２１０〜２１３の境界を模式的に示す境界線であり、実際の合成画像ＣＰａ上には、これらの点線２１５〜２１８は表示されない。なお、これらの参照符号２１０〜２１５及び２１５〜２１８は、他の添付図面における合成画像ＣＰａの説明でも同様の意味で使用される。
【００６７】
図６の（Ｂ）は、左側のサイドミラーが格納されている時に生成される合成画像ＣＰａを示す図である。格納時の左側のサイドミラーの回転に伴い、車両９の左側領域２１２の画像が回転し、各画像の繋がりが乱れ、一種の異常画像となる。また参照符号２０３の部分には、車両９の車体の一部が映り込んでいる。このように、サイドミラーが格納されていると、適正な合成画像ＣＰａを生成することができない。このため、ユーザはこのような合成画像ＣＰａから車両側面の障害物に対するクリアランスを把握しにくい。
【００６８】
サイドミラーを格納しながら走行する状況としては、車両側面と障害物との間のクリアランスが非常に少なくなるような場所、すなわち幅が狭い場所を走行していることが想定される。したがってユーザにとっては、車両９周辺のある程度広い範囲を俯瞰する合成画像ＣＰａが表示されるよりも車両側方の狭い範囲の画像が大きく表示される方が、障害物とのクリアランスを把握しやすい。
また、俯瞰合成画像においては、合成処理の関係で車体近傍にマージンが発生するため、このマージンにより車体に近い部分では障害物を確認することができないという可能性がある。
【００６９】
そこで本実施形態は、サイドミラーの格納が検出された場合に、サイドミラーを格納しながら走行することが想定される場面に適した周辺画像の提示を行うことを目的とする。
【００７０】
本実施形態では、サイドミラー格納時には、合成画像ＣＰａの代わりに、サイドカメラ５２の撮影画像から切り出した車両側方の直近の領域を大きく表示する。サイドミラーを格納しながら走行する場合には車両側方の直近の領域を大きく表示した方が、ユーザにとって障害物とのクリアランスを把握し易くなると考えられる。また、上述した俯瞰画におけるマージンの問題も発生することがない。
【００７１】
この車両側方の直近画像には、車両９の車体が一部に映り込んでいることが望ましい。車両９の車体が画像内に映り込んでいることにより、ユーザは車両９と障害物との間隔を把握しやすくなる。また、車両側方の画像は、左右両側方のうち助手席側の側方を映す画像であることが望ましい。運転手にとって、運転手側の側方よりも助手席側の側方の方が、障害物との間隔を把握しにくいからである。
【００７２】
画像調整部３２がサイドカメラ５２の撮影画像を表示用に調整する際に、画像選択部３３は、サイドカメラ５２の撮影画像Ｐ２又はＰ３から表示用画像を切り出す範囲を選択する。なお、以下の実施例では、サイドミラー格納時における表示用画像として、車両左側の撮影画像が使用される場合について説明する。他の実施例では、車両左側の撮影画像に代えて又はこれに加えて右側の撮影画像を使用してもよい。
【００７３】
画像選択部３３は、格納状態判定部１３によるサイドミラーの格納状態の判定結果に応じて、撮影画像Ｐ２から表示用画像を切り出す範囲を選択する。図７は、画像選択部３３による選択範囲の説明図である。参照符号２２０及び２２１は、サイドミラー格納時及び展開時のそれぞれの場合に撮影画像Ｐ２に写り込む範囲を模式的に示す。サイドミラー格納時と展開時とではサイドカメラ５２の光軸のパン角、チルト角及びロール角が異なり、この結果、範囲２２０は範囲２２１と異なる。また、範囲２２０は範囲２２１に対して回転している。すなわち、サイドミラー格納時の撮影画像はサイドミラー展開時の撮影画像に比べて回転している。
【００７４】
サイドミラー格納時において、画像選択部３３は、撮影画像Ｐ２の範囲２２０の中の矩形の第１領域Ｒ１の画像を表示範囲として選択する。サイドミラー展開時には、画像選択部３３は、撮影画像Ｐ２の範囲２２１の中の第２領域Ｒ２の画像を表示範囲として選択する。図示するとおり、範囲２２０における第１領域Ｒ１の画像の位置及び範囲は、範囲２２１における第２領域Ｒ２の画像の位置及び範囲と異なっている。
【００７５】
以下の説明において、サイドミラー格納時において撮影画像Ｐ２の第１領域Ｒ１から切り出される画像を「サイド画像ＳＲ１」と表記することがある。第１領域Ｒ１の前後方向の辺２２２及び２２３は、サイド画像ＳＲ１の垂直方向の辺に対応し、第１領域Ｒ１の左右方向の辺２２４及び２２５は、サイド画像ＳＲ１の水平方向の辺に対応する。一方で、サイドミラー展開時において撮影画像Ｐ２の第２領域Ｒ２から切り出される画像は、図５に示すサイド画像ＳＰ２と同様であってよいし、サイド画像ＳＲ１と同様であってもよい。
【００７６】
例えば、画像選択部３３は、車両９の側端、前端及び後端からそれぞれ長さＷ、Ｆ及びＢだけ離れた位置まで含む矩形領域を第１領域Ｒ１として選択してよい。このとき、画像選択部３３は、第１領域Ｒ１の一部分に車両９の車体の一部が映り込み、かつ車両９の車体の前後方向と、矩形の第１領域Ｒ１の前後方向の辺２２３とが揃うように第１領域Ｒ１を定めてよい。長さＷ、Ｆ及びＢの値は、例えばそれぞれ２ｍ、１ｍ及び１．５ｍであってよい。
【００７７】
サイド画像ＳＲ１及びＳＰ２内の各画素の座標と、撮影画像Ｐ２の画像の各画素の座標との対応関係は、サイドカメラ５２の光軸のパン角、チルト角及びロール角に基づいて定まる。画像選択部３３は、サイドミラー格納時におけるこれらのパン角、チルト角及びロール角に基づいて、サイド画像ＳＲ１内の各画素を、それぞれに対応する撮影画像Ｐ２内の画素からマッピングすることによりサイド画像ＳＲ１を生成する。
【００７８】
また、画像選択部３３は、サイドミラー展開時におけるこれらのパン角、チルト角及びロール角に基づいて、サイド画像ＳＰ２内の各画素を、それぞれに対応する撮影画像Ｐ２内の画素からマッピングすることによりサイド画像ＳＰ２を生成する。これらパン角、チルト角及びロール角の情報は、不揮発性メモリ４０に格納されてよい。画像選択部３３は不揮発性メモリ４０からこれらの情報を読み出してよい。
【００７９】
サイド画像ＳＲ及びＳＰ２内の各画素の座標と、撮影画像Ｐ２の各画素の座標との対応関係を、予め不揮発性メモリ４０に格納しておいてもよい。これら画素間の対応関係は、既知のサイドカメラ５２の光軸のパン角、チルト角及びロール角に基づいて予め決定しておく。画像選択部３３は、この対応関係を不揮発性メモリ４０から読み出して、サイド画像ＳＲ１及びＳＰ２内の各画素にそれぞれ対応する撮影画像Ｐ２内の画素を決定してよい。
【００８０】
図８の（Ａ）及び図８の（Ｂ）を参照して、サイドミラー格納時にディスプレイ２１の表示例を説明する。図８の（Ａ）は、車両９及びその周囲の状態と、第１領域Ｒ１の位置の説明図である。図８の（Ａ）に示すように、車両９の前方には他の車両２３０が駐車しており、車両９の助手席側である左側には複数の白線２３１と車止め２３２が存在する。第１領域Ｒ１は、図７にて例示した設定方法と同様に設定されており、参照符号２３３は、第１領域Ｒ１の前後方向の一辺を示す。
【００８１】
図８の（Ｂ）は、画像表示システム１２０の動作モードがフロントモードＭ１である場合のディスプレイ２１の表示例を示す。図８の（Ｂ）に示すように、ディスプレイ２１に表示される表示画像の第１表示位置Ｌ１には、車両側方の第１領域Ｒ１を撮影したサイド画像ＳＲ１が表示される。また、第２表示位置Ｌ２には、フロント画像ＳＰ１が表示される。フロント画像ＳＰ１には、車両９の前方の車両２３０が写っている。また、サイド画像ＳＲ１には、第１領域Ｒ１内の白線２３１と車止め２３２と車両９の車体の側面２３４が写っている。
【００８２】
上述の通り、第１領域Ｒ１の前後方向の辺２３３と車両９の車体の前後方向とが揃っているため、サイド画像ＳＲに映り込む車両９の車体の前後方向はサイド画像ＳＲの垂直方向に一致する。一方で、サイド画像ＳＲ１を切り出す撮影画像ＳＰ２上では、映り込んだ車両９の車体の前後方向と撮影画像Ｐ２の垂直方向とは一致しない。これは、サイドミラーを格納する際にサイドカメラ５２の光軸が回転するためである。このため、撮影画像Ｐ２からサイド画像ＳＲ１へのマッピング処理は、撮影画像の回転処理を伴う画像処理になる。このように、撮影画像を回転させて車体の前後方向をサイド画像ＳＲの垂直方向に一致させることにより、車両側方にある障害物の方向を把握することが容易になる。
【００８３】
図１に示す画像配置部３５は、ナビゲーション装置２０へ出力する表示画像の第１表示位置Ｌ１にサイド画像ＳＲ１を配置する。フロントモードＭ１において画像配置部３５は、表示画像の第２表示位置Ｌ２へフロント画像ＳＰ１を配置する。このため、フロントモードＭ１では、サイド画像ＳＲ１及びフロント画像ＳＰ１が同時に表示画像に配置される。バックモードＭ３において画像配置部３５は、表示画像の第２表示位置Ｌ２へバック画像ＳＰ３を配置する。このため、バックモードＭ３では、サイド画像ＳＲ１及びバック画像ＳＰ３が同時に表示画像に配置される。
【００８４】
フロント画像ＳＰ１又はバック画像ＳＰ３に加えてサイド画像ＳＲ１を同時に表示することによって、前方又は後方の安全確認と車両側方の障害物までのクリアランスの確認を同時に確認できるようになる。このため、例えばサイドミラーを格納して通るような狭い場所を走行する場面において、運転手の確認作業がより容易になる。
また、俯瞰画像ではなく、サイド画像ＳＲ１を表示するので、俯瞰画像におけるマージンの問題を発生することを防ぐことができる。
【００８５】
サイドミラー格納時に表示付加部３６は、第１表示位置Ｌ１にサイド画像ＳＲ１が表示されている旨を示す表示を、ナビゲーション装置２０へ出力する表示画像に付加してよい。このような表示は、例えば、図８の（Ｂ）に示すようなアイコンＣ４であってよい。このような表示を付加することによって、ユーザは、車両周辺のどの位置が第１表示位置Ｌ１に表示されているか判断しやすくなる。第１表示位置Ｌ１にサイド画像ＳＲ１が表示されている旨を示す表示はメッセージなどの文字情報でもよい。
【００８６】
続いて、画像表示システム１２０によって実行される処理を説明する。図９は、サイドミラー格納時における画像表示システム１２０の処理例の説明図である。なお、他の実施態様においては、下記のオペレーションＡＡ〜ＡＯの各オペレーションはステップであってもよい。
【００８７】
オペレーションＡＡにおいて車載カメラ５１〜５３は、それぞれ撮影画像Ｐ１〜Ｐ４を撮影する。オペレーションＡＢにおいて画像結合部３０は、これらの画像Ｐ１〜Ｐ４を結合した結合画像Ｐｃｎを生成し、メモリ３１に格納する。
【００８８】
オペレーションＡＣにおいて格納状態判定部１３は、車両９のサイドミラーの格納状態を判断する。サイドミラーが格納状態にある場合（オペレーションＡＤ：Ｙ）には、処理はオペレーションＡＥに進む。サイドミラーが展開状態にある場合（オペレーションＡＤ：Ｎ）には、処理はオペレーションＡＬへ進む。
【００８９】
オペレーションＡＥにおいて画像選択部３３は、結合画像Ｐｃｎに含まれる撮影画像Ｐ２内の第１領域Ｒ１を表示範囲として選択する。画像選択部３３は、選択した範囲を撮影画像Ｐ２から切り出してサイド画像ＳＲ１を生成する。オペレーションＡＦにおいて画像配置部３５は、ナビゲーション装置２０へ出力する表示画像の第１表示位置Ｌ１にサイド画像ＳＲ１を配置する。
【００９０】
オペレーションＡＧにおいて画像配置部３５は、現在の画像表示システム１２０の動作モードがフロントモードＭ１であるかバックモードＭ３であるかを判断する。動作モードがフロントモードＭ１である場合（オペレーションＡＧ：Ｙ）には、処理はオペレーションＡＨへ進む。動作モードがフロントモードＭ１でない場合（オペレーションＡＧ：Ｎ）には、処理はオペレーションＡＩへ進む。
【００９１】
オペレーションＡＨにおいて画像配置部３５は、表示画像の第２表示位置Ｌ２にフロント画像ＳＰ１を配置する。その後処理はオペレーションＡＪへ進む。オペレーションＡＩにおいて画像配置部３５は、表示画像の第２表示位置Ｌ２にバック画像ＳＰ３を配置する。その後処理はオペレーションＡＪへ進む。
【００９２】
オペレーションＡＪにおいて表示付加部３６は、第１表示位置Ｌ１にサイド画像ＳＲ１が表示されている旨を示すアイコンＣ４を表示画像に付加する。画像生成装置１００は、表示画像をナビゲーション装置２０へ出力する。ナビゲーション装置２０へ出力される表示画像には、サイド画像ＳＲと、フロント画像ＳＰ１及びバック画像ＳＰ３のいずれか一方と、アイコンＣ４が含まれる。その後、処理はオペレーションＡＫへ進む。
【００９３】
オペレーションＡＬにおいて画像配置部３５は、現在の画像表示システム１２０の動作モードがサイドモードＭ２であるかその他のモードであるかを判断する。動作モードがサイドモードＭ２である場合（オペレーションＡＬ：Ｙ）には、処理はオペレーションＡＮへ進む。動作モードがサイドモードＭ２でない場合（オペレーションＡＬ：Ｎ）には、処理はオペレーションＡＭへ進む。
【００９４】
オペレーションＡＭにおいて画像配置部３５は、現在の動作モード、すなわちフロントモードＭ１であるかバックモードＭ３であるかに応じて表示画像を生成する。表示画像は、画像生成装置１００によってナビゲーション装置２０へ出力される。その後、処理はオペレーションＡＫへ進む。
【００９５】
オペレーションＡＮにおいて画像選択部３３は、結合画像Ｐｃｎに含まれる撮影画像Ｐ２内の第２領域Ｒ２を表示範囲として選択する。画像選択部３３は、選択した範囲を撮影画像Ｐ２から切り出してサイド画像ＳＰ２を生成する。オペレーションＡＯにおいて、画像配置部３５は、サイド画像ＳＰ２を表示画像に配置する。表示画像は、画像生成装置１００によってナビゲーション装置２０へ出力される。その後、処理はオペレーションＡＫへ進む。
【００９６】
オペレーションＡＫにおいてナビゲーション装置２０は、画像生成装置１００から出力された表示画像をディスプレイ２１へ表示する。
【００９７】
本実施例によれば、サイドミラーを格納しながら走行するような場面、例えば車両側面と障害物との間の間隔が非常に少ない場面において、ディスプレイ２１上に車両側方の直近領域を大きく表示することが可能になる。このため、上記場面において、ユーザは、障害物と車両との間のクリアランスを把握しやすくなる。
【００９８】
特に、助手席側の側方を表示することによって、ドライバは、運転席から死角になりやすい助手席側の側方において、障害物と車両とのクリアランスを把握しやすくなる。
【００９９】
また、表示画像の一部に車両側面を映し込むことによって、車両側面と障害物との距離の把握がより容易になる。また、撮影画像を回転させて、表示画面に映り込む車両の前後方向を表示画面の垂直方向に合わせることにより、ユーザは、障害物の方向を把握しやすくなる。
【０１００】
＜２．第２の実施の形態＞
＜２−１．システム構成＞
続いて第２の実施の形態について説明する。第２の実施の形態では、車載カメラ５１〜５３のいずれかが故障した場合に、車載カメラ５１〜５３が正常に画像を出力している場合とは異なる表示処理を行うことで、より適切な周辺画像をユーザに提供する。
【０１０１】
車載カメラ５１〜５３のいずれかが故障し、故障したカメラからの映像信号の出力が停止すると、図１に示す合成画像生成部３４が、固着した画像を使用して合成画像ＣＰａを生成する可能性がある。車両移動中に固着した画像を表示すると、ユーザにより認識される障害物までの間隔が現実と相違する可能性がある。
【０１０２】
そこで第２の実施の形態は、車載カメラ５１〜５３のいずれかが故障した場合に、固着画像から合成画像ＣＰａが生成されることを防止する。
【０１０３】
第２の実施の形態は、車載カメラ５１〜５３の故障を検出すると、合成画像ＣＰａに含まれる画像のうち、故障したカメラの撮影画像から生成される範囲の画像を、予め定めた他の画像で置換する。このように故障したカメラの撮影画像を他の画像で置換することによって固着画像の表示を防止する。また、画像表示システム１２０は、予め定めた他の画像を合成画像ＣＰａ上に表示することによって、カメラの故障をユーザに通知する。図１０は、カメラの故障時にディスプレイ２１に表示される合成画像ＣＰａの第１例を示す図である。
【０１０４】
なお、以下の説明において、合成画像ＣＰａに含まれる画像のうち、故障したカメラの撮影画像から生成される範囲を「故障カメラの範囲」と表記することがある。また、合成画像ＣＰａに含まれる画像のうち、故障していないカメラの撮影画像から生成される範囲を「故障していないカメラの範囲」と表記することがある。さらに、故障カメラの範囲の画像に置換される予め定めた他の画像を「置換用画像」と表記することがある。
【０１０５】
図１０に示す例では、バックカメラ５３の故障のため、合成画像ＣＰａに含まれる画像のうちバックカメラ５３の撮影画像Ｐ４から生成された領域２１１が置換用画像で置換されている。置換用画像は、例えば黒一色などの単一色で塗りつぶされた画像であってよい。この場合、領域２１１はこの単一色で塗り潰される。置換用画像は、黒以外の単一色の画像でもよい。黒以外の色を使用することによって、車両９の周囲が暗く合成画像ＣＰａの輝度が低い場合であっても、正常な画像と置換用画像が混同されにくくなり、カメラの故障が発見しやすくなる。置換用画像は、単一色以外の画像、例えば所定の模様やアイコン、文字を含んだ画像であってもよい。
【０１０６】
図１１は、第２の実施の形態の画像表示システム１２０の構成例を示す図である。図１に示す構成要素と同一の構成要素については同一の参照符号を付する。同一の参照符号が付された構成要素の動作は特に説明しない限り同じである。また、図１１に示す構成要素やその機能を他の実施例が備えていてもよい。
【０１０７】
画像生成部３は、異常検出部３７と、画像置換部３８と、ガイド線付加部３９を備える。異常検出部３７は、車載カメラ５１〜５３の故障を検出する。例えば、異常検出部３７は、車載カメラ５１〜５３から出力される同期信号の異常を判断することによって、車載カメラ５１〜５３の故障を検出してよい。例えば、異常検出部３７は、車載カメラ５１〜５３から出力される画像信号が所定の期間に亘って変わらない場合に車載カメラ５１〜５３の故障を検出してよい。また、例えば異常検出部３７は、車載カメラ５１〜５３から出力される画像信号が白一色や黒一色などの異常値を示す場合に車載カメラ５１〜５３の故障を検出してよい。
【０１０８】
画像置換部３８は、合成画像ＣＰａ内の故障カメラの範囲の画像を置換用画像に置き換える。図１２は、合成画像ＣＰａの一部を置換用画像で置き換える処理の一例の説明図である。画像置換部３８は、例えば、画像結合部３０により生成される結合画像Ｐｃｎのうち、故障したカメラの撮影画像を置換用画像で置き換えてよい。合成画像生成部３４が、この結合画像Ｐｃｎに基づいて合成画像ＣＰａを生成すると、合成画像ＣＰａ内の故障カメラの範囲の画像も置換用画像に置き換えられる。図１２の例では、画像置換部３８は、結合画像Ｐｃｎのうちバックカメラ５３の撮影画像Ｐ４を置換用画像で置き換える。図１２に示すように撮影画像Ｐ４が置換用画像で置換されると、図１０に示す合成画像ＣＰａのように領域２１１が置換用画像に置き換えられる。
【０１０９】
図１１を参照する。ガイド線付加部３９は、合成画像ＣＰａに各種ガイド線を付加する。ガイド線は、例えば、車両端が通過する軌跡を示す予想進路線であってよい。ガイド線付加部３９は、舵角センサ７２からの入力信号に従って合成画像ＣＰａ上に予想進路線を描画する描画位置を決定してよい。ガイド線付加部３９は、合成画像ＣＰａ上の描画位置に予想進路線を付加する。ガイド線は、例えば、車両後端を示す距離目安線や、車両側面に平行な車幅平行線であってもよい。
【０１１０】
ガイド線付加部３９は、故障カメラの範囲の上にも継続してガイド線を描画する。図１３は、バックカメラ５３の故障時にディスプレイ２１に表示される合成画像ＣＰａの例を示す図である。ガイド線２４０は、車両９の後退時に左後端及び右後端が通る軌跡を示す予想進路線である。ガイド線２４１は、車両９の後退時に左前端が通る軌跡を示す予想進路線である。
【０１１１】
予想進路線２４０は故障カメラの範囲２１１内にも描画される。また、予想進路線２４１は、故障していない左カメラ５２の撮影画像Ｐ２から生成される領域２１２と、故障カメラの範囲２１１との間に跨いで描画される。
【０１１２】
このように、ガイド線付加部３９は、故障カメラの範囲２１１の上へのガイド線２４０及び２４１の描画を継続する、すなわち故障カメラの範囲２１１に描画されるガイド線２４０及び２４１を消さないため、故障していないカメラの範囲２１２へ跨いで描画されるガイド線２４１が継続して描画される。このため、ユーザは、故障していないカメラの範囲２１２において、ガイド線２４１を有効に利用することが可能になる。
【０１１３】
＜２−２．カメラ故障時の処理＞
続いて、図１４を参照して、カメラ故障時における画像表示システム１２０の処理を説明する。なお、他の実施態様においては、下記のオペレーションＢＡ〜ＢＩの各オペレーションはステップであってもよい。
【０１１４】
オペレーションＢＡにおいて車載カメラ５１〜５３は、それぞれ撮影画像Ｐ１〜Ｐ４を撮影する。オペレーションＢＢにおいて画像結合部３０は、これらの画像Ｐ１〜Ｐ４を結合した結合画像Ｐｃｎを生成し、メモリ３１に格納する。
【０１１５】
オペレーションＢＣにおいて異常検出部３７は、車載カメラ５１〜５３が正常か否かを判断する。いずれの車載カメラ５１〜５３も正常である場合（オペレーションＢＤ：Ｙ）には、処理はオペレーションＢＦに進む。いずれかの車載カメラが故障している場合（オペレーションＢＤ：Ｎ）には、処理はオペレーションＢＥへ進む。
【０１１６】
オペレーションＢＥにおいて画像置換部３８は、結合画像Ｐｃｎのうち故障したカメラの撮影画像の部分を置換用画像に置き換える。その後、処理はオペレーションＢＦへ進む。オペレーションＢＦにおいて合成画像生成部３４は、結合画像Ｐｃｎに基づいて合成画像ＣＰａを生成する。オペレーションＢＧにおいてガイド線付加部３９は、合成画像ＣＰａ上にガイド線を付加する。
【０１１７】
オペレーションＢＨにおいて画像配置部３５は、現在の画像表示システム１２０の動作モードにしたがって、合成画像ＣＰａ及び撮影画像ＳＰ１〜ＳＰ３のいずれかを選択し、ナビゲーション装置２０へ出力する表示画像上に配置する。表示画像は、画像生成装置１００によってナビゲーション装置２０へ出力される。オペレーションＢＩにおいてナビゲーション装置２０は、画像生成装置１００から出力された表示画像をディスプレイ２１へ表示する。
【０１１８】
本実施例によれば、車載カメラ５１〜５３が故障した場合に、固着した画像が合成画像ＣＰａに使用されることが防止される。このため、車両移動中に表示画像が固着してユーザが認識する障害物までの間隔を現実の間隔から相違させてしまうことを防止する。また、車載カメラ５１〜５３の故障をユーザに通知することが可能となる。
【０１１９】
次に、車載カメラ５１〜５３が故障から復旧した場合の処理について説明する。車載カメラ５１〜５３が故障から復旧した場合には、置換用画像での置き換えを停止してよい。しかしながら、異常検出部３７が検出する車載カメラの状態が、故障と復旧との間で頻繁に変化を繰り返すと、置換用画像の置換と停止が短い周期で発生しすることで画面のちらつきが生じ、合成画像ＣＰａが見にくくなる。
【０１２０】
そこで、画像置換部３８は、車載カメラ５１〜５３が故障を検出した後は、切替スイッチ４３の押下やシフトレバーの切り換えによって画像表示システム１２０の動作モードの変更があるまでは、故障したカメラの復旧を検出しても置換用画像での置き換えを続行する。
【０１２１】
図１５は、カメラの故障時に表示される合成画像の状態遷移の説明図である。図１５の上段の画像は、車載カメラ５１〜５３が故障していない場合の合成画像ＣＰａである。上段の画像は、車載カメラ５１〜５３の故障によって置換用画像での置き換えが施された合成画像ＣＰａ’である。
【０１２２】
車載カメラ５１〜５３が故障すると、即座に故障カメラの範囲が置換用画像で置き換えられ、表示画像は合成画像ＣＰａ’に変わる。その後、故障したカメラが復旧しても、表示画像はすぐに合成画像ＣＰａに戻らない。カメラの復旧後、画像表示システム１２０の動作モードの変更があった時に、表示画像が元の合成画像ＣＰａに戻る。
【０１２３】
本実施例によれば、カメラ故障時に即座に故障カメラの範囲を置換用画像で置き換えて、固着画像の表示が防止される一方で、車載カメラの故障の検出結果が頻繁に変わる場合の画像のちらつきが防止される。このため、車載カメラの撮影画像を使用する場合の安全性とユーザの利便性が両立される。
【符号の説明】
【０１２４】
１３ 格納状態判定部
３０ 画像選択部
３５ 画像配置部
３６ 表示付加部
１００ 画像生成装置
１２０ 画像表示システム
【技術分野】
【０００１】
本明細書で論じられる実施態様は、車両において画像を表示する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラで得られる撮影画像に基づいて車両の周辺の領域を示す周辺画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをユーザが把握しにくい。これに対して、画像表示システムを利用すれば、車両の側方に配置された車載カメラの撮影画像に基づいてフロントフェンダの外側領域を示す周辺画像を車室内のディスプレイに表示できる。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをユーザが容易に確認できることとなる。
【０００４】
なお、撮像部から出力されたカメラ画像を受けてマッピングテーブルを参照して合成画像を生成する画像処理システムが知られている。この画像システムでは、表示切替部は、ドアやボンネットなどの可動部分の表示を示す信号を受け、可動部分の状態変化がカメラ画像に影響を与えるとき、合成画像にそのカメラ画像が用いられないようにマッピングデータの書き換えを行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−３３４８７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のような画像表示システムにおいて、車載カメラの撮影状態に異常が生じると適切な周辺画像をユーザに提供できなくなる。このような車載カメラの撮影状態の異常の例としては、車載カメラが設置されたサイドミラーの格納や、車載カメラ自体の故障がある。
【０００７】
開示の装置及び方法は、車載カメラの撮影状態に異常状態が生じた場合に、異常状態に応じた適切な周辺画像をユーザに提供することを目的とする。
【課題を解決するための手段】
【０００８】
装置の一観点による画像生成装置は、車両の側方を撮影するカメラが配置されるサイドミラーの格納状態を判定する状態判定部と、状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第１領域の画像を選択し、状態判定部でサイドミラーが展開状態であると判定された場合に、第１領域と異なる撮影画像の第２領域の画像を選択する画像選択部と、画像選択部により選択される画像が配置された表示画像を生成する画像生成部を備える。
【０００９】
装置の一観点による画像表示システムは、車両のサイドミラーに配置されて車両の側方を撮影するカメラと、サイドミラーの格納状態を判定する状態判定部と、状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第１領域の画像を選択し、状態判定部でサイドミラーが展開状態であると判定された場合に、第１領域と異なる撮影画像の第２領域の画像を選択する画像選択部と、画像選択部により選択される画像が配置された表示画像を生成する画像生成部と、画像生成部から出力される画像を表示する表示部を備える。
【００１０】
装置の一観点による画像表示装置は、サイドミラーに設置されたサイドカメラを含む車両に配置された複数のカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、合成画像を表示画面に表示する表示手段と、サイドミラーの格納状態を判定する状態判定部と、状態判定部でサイドミラーが格納状態であると判定された場合に、サイドカメラからの撮影画像から車両側面の一部が映り込み、かつ、車両側面前後方向に沿って切り出した画像を表示手段に表示する表示制御手段を備える。
【発明の効果】
【００１１】
本件開示の装置又は方法によれば、車載カメラの撮影状態に異常状態が生じた場合に、異常状態に応じた適切な周辺画像をユーザに提供することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施の形態の画像表示システムの構成例を示す図である。
【図２】車載カメラが車両に配置される位置を示す図である。
【図３】（Ａ）及び（Ｂ）は、画像結合部によって生成される結合画像の説明図である。
【図４】合成画像を生成する手法を説明する図である。
【図５】画像表示システムの動作モードの遷移を示す図である。
【図６】（Ａ）及び（Ｂ）は、サイドミラー展開時及び格納時に生成される合成画像を示す図である。
【図７】画像選択部による選択範囲の説明図である。
【図８】（Ａ）及び（Ｂ）は、サイドミラー格納時におけるディスプレイの表示例の説明図である。
【図９】サイドミラー格納時における画像表示システムの処理例の説明図である。
【図１０】カメラの故障時にディスプレイに表示される合成画像の第１例を示す図である。
【図１１】第２の実施の形態の画像表示システムの構成例を示す図である。
【図１２】合成画像の一部を置換用画像で置き換える処理例の説明図である。
【図１３】カメラの故障時にディスプレイに表示される合成画像の第２例を示す図である。
【図１４】カメラ故障時における画像表示システムの処理例の説明図である。
【図１５】カメラの故障時に表示される合成画像の状態遷移の説明図である。
【発明を実施するための形態】
【００１３】
＜１．第１の実施の形態＞
＜１−１．システム構成＞
第１の実施の形態では、車載カメラが設置されたサイドミラーが格納された場合に、サイドミラーの展開時とは異なる表示処理を行うことで、より適切な周辺画像をユーザに提供する。まず始めに、周辺画像の処理が行われる画像表示システムの概要について説明する。
【００１４】
図１は、第１の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００１５】
図１に示すように、画像表示システム１２０は、車両の周辺の様子を示す周辺画像を生成する画像生成装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像生成装置１００で生成された周辺画像は、ナビゲーション装置２０において表示される。
【００１６】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行うハードスイッチなどの操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。
【００１７】
ユーザの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。ナビゲーション装置２０は、画像生成装置１００と通信可能に接続され、画像生成装置１００との間で各種の制御信号の送受信や、画像生成装置１００で生成された画像の受信が可能となっている。
【００１８】
ディスプレイ２１には、制御部２３の制御により、通常は、ナビゲーション装置２０単体の機能によって、ナビゲーション案内用の車両の周辺の地図画像が表示される。地図画像は、ナビゲーション装置２０が備えるハードディスクなどに予め記憶されている。また、ナビゲーション装置２０が備えるＧＰＳ装置によって車両の位置（緯度、経度）が取得され、この車両の位置に基づいて、車両の周辺の地図画像がディスプレイ２１に表示される。表示する地図画像の縮尺はユーザの操作部２２の操作に応じて変更可能である。
【００１９】
一方で、画像表示システム１２０の動作モードを変更した場合は、画像生成装置１００で生成された車両の周辺の様子を示す周辺画像が、ディスプレイ２１に表示される。これにより、ナビゲーション装置２０は、画像生成装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
【００２０】
画像生成装置１００は、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）である本体部１０と、車両の周辺を撮影する撮影部５とを備えている。本体部１０は、車両の所定の位置に配置され、撮影部５で車両の周辺を撮影して得られる撮影画像に基づいてディスプレイ２１に表示するための周辺画像を生成する。
【００２１】
撮影部５は、本体部１０に電気的に接続され、本体部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２、及び、バックカメラ５３を備えている。各車載カメラ５１〜５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
【００２２】
これらの複数の車載カメラ５１〜５３は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５３が車両９に配置される位置を示す図である。
【００２３】
図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５３は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５３ａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５３の取り付け位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。また、サイドカメラ５２は左右のサイドミラー９３にそれぞれ設けられ、その光軸５２ａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の外側に向けられている。
【００２４】
これらの車載カメラ５１〜５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５３は１８０度以上の画角θを有している。このため、車載カメラは、それぞれの光軸を中心として、斜め下方や斜め上方の範囲の視野も撮影画像に移すことができる。撮影部５は、４つの車載カメラ５１〜５３を利用することで車両９の全周囲の撮影が可能となっている。
【００２５】
図１に戻り、画像生成装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５の４つの車載カメラ５１〜５３それぞれの撮影画像を入力する入力端子４９と、表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２を主に備えている。
【００２６】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像生成装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像生成装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置、例えばステアリングやセンターコンソールに配置される。
【００２７】
画像生成部３は、各種の画像処理が可能なハードウェア回路であり、入力端子４９を介して撮影部５から入力される撮影画像を処理し、ディスプレイ２１に表示するための周辺画像を生成する。画像生成部３は、画像結合部３０、メモリ３１、画像調整部３２、合成画像生成部３４、画像配置部３５、及び表示付加部３６を主な構成要素として備えている。
【００２８】
画像結合部３０は、撮影部５で取得された撮影画像を１枚の結合画像に結合する。図３の（Ａ）及び図３の（Ｂ）は、画像結合部３０によって生成される結合画像Ｐｃｎの説明図である。撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。画像結合部３０は、これら４枚の撮影画像Ｐ１〜Ｐ４を結合することによって、図３の（Ｂ）に示すような結合画像Ｐｃｎを生成する。画像結合部３０によって生成された結合画像Ｐｃｎは、メモリ３１に格納される。
【００２９】
画像調整部３２は、画像結合部３０にて生成された結合画像Ｐｃｎを表示に利用するための調整を行うものである。具体的には、画像調整部３２は、結合画像Ｐｃｎに含まれる撮影画像Ｐ１〜Ｐ４に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。画像調整部３２は、画像選択部３３を備える。画像選択部３３は、画像調整部３２における画像処理において、結合画像Ｐｃｎに含まれる撮影画像Ｐ１〜Ｐ４から表示範囲の画像を切り出す範囲、すなわちディスプレイ２１への表示範囲を選択する。
尚、切り出しの設定（切り出し範囲の設定）や拡大縮小設定等は、装置（カメラ）取付時に行われるキャリブレーション（調整・設定作業）時においてそれら調整値・設定値等が記憶され、これらの値を用いて、上述の調整処理等の画像処理が行われる。
【００３０】
合成画像生成部３４は、結合画像Ｐｃｎに基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の領域を示す合成画像を生成する。合成画像生成部３４が合成画像を生成する手法については後述する。
【００３１】
画像調整部３２により表示用に調整された撮影画像、及び合成画像生成部３４により生成された合成画像は、ナビ通信部４２によってナビゲーション装置２０に出力される。その際に、画像配置部３５は、以下に説明する画像表示システム１２０の動作モードに応じて、画面上の所定の表示位置にこれらの画像を配置した表示画像を生成し、ナビゲーション装置２０へ出力する。これにより、被写体像として車両の周辺の少なくとも一部の領域を含む周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００３２】
本明細書において、「周辺画像」とは、車両の周辺の少なくとも一部の領域を示す画像を意味し、表示用に調整された撮影画像、及び、合成画像の双方を含む概念である。表示用に調整された撮影画像は、取得された車載カメラ５１〜５３のレンズの位置を視点とし、その視点からみた周辺画像となる。また、合成画像は、車両の周辺の任意の位置に設定された仮想視点からみた周辺画像となる。
【００３３】
表示付加部３６は、画像表示システム１２０がユーザへ所定の情報を提示するための表示を、画像配置部３５によって生成される表示画像上に付加する。この表示は、例えば特定の情報を示すアイコンでもよく、又はメッセージなどの文字情報であってよい。
【００３４】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１、表示制御部１２、及び格納状態判定部１３は、このようにして実現される制御部１の機能のうちの一部を示している。
【００３５】
画像制御部１１は、画像生成部３によって実行される画像処理に係る制御を行う。例えば、画像制御部１１は、合成画像生成部３４が生成する合成画像の生成に必要な各種パラメータなどを指示する。
【００３６】
表示制御部１２は、ナビゲーション装置２０のディスプレイ２１に表示する表示内容に係る制御を行う。例えば、画像表示システム１２０の動作モードの変更に応じて、ディスプレイ２１の表示内容を切り替える。
【００３７】
格納状態判定部１３は、車両９のサイドミラーの格納状態を判定する。すなわち、格納状態判定部１３は、現在、サイドミラーの位置が展開位置であるのか、サイドミラーの位置が格納位置であるのかを判定する。サイドミラーの展開位置とは、サイドミラーのミラー面が車両後方に向きサイドミラーが使用状態になる位置であり、サイドミラーの格納位置とは、サイドミラーのミラー面が車両９の本体に対向する位置である。
【００３８】
格納状態判定部１３は、サイドミラーの開閉を操作する制御装置からの出力信号に基づいてサイドミラーの格納状態を判定してよい。格納状態判定部１３は、サイドミラーに設けられた位置センサの検出結果に基づいてサイドミラーの格納状態を判定してもよい。
【００３９】
画像生成装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００４０】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ４０には、視点データ４ａが記憶されている。視点データ４ａは、合成画像の仮想視点を定める際に利用される。
【００４１】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどであり、画像生成装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。
【００４２】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。本実施の形態では、シフトセンサ７１及び舵角センサ７２からの信号が信号入力部４１を介して制御部１に入力される。
【００４３】
シフトセンサ７１からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。舵角センサ７２からは、ドライバによるステアリングホイールの操作角が入力される。
【００４４】
＜１−２．画像合成処理＞
次に、画像生成部３の合成画像生成部３４が、撮影部５で得られた複数の撮影画像Ｐ１〜Ｐ４に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図４は、合成画像を生成する手法を説明するための図である。
【００４５】
上述の通り、撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４を結合した結合画像Ｐｃｎには、撮影時点の車両９の全周囲を示す情報が含まれている。
【００４６】
次に、結合画像Ｐｃｎの各画素が、仮想的な三次元空間における立体曲面ＴＳに投影される。立体曲面ＴＳは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。結合画像Ｐｃｎの各画素の位置とこの立体曲面ＴＳの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＴＳの各画素の値は、この対応関係と結合画像Ｐｃｎに含まれる各画素の値とに基づいて決定できる。
【００４７】
結合画像Ｐｃｎの各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶されている。
【００４８】
また、不揮発性メモリ４０に予め記憶された車体の形状やサイズを示すデータが利用され、車両９の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両９のモデルは、立体曲面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００４９】
さらに、立体曲面ＴＳが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００５０】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両の像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点ＶＰからみた様子を示す合成画像が生成されることになる。
【００５１】
例えば、視点位置が車両９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、車両９の略直上から車両９を見下ろすように、車両９及び車両９の周辺の領域を示す合成画像ＣＰａが生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方方向とした仮想視点ＶＰｂを設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成される。
【００５２】
なお、実際に合成画像を生成する場合においては、立体曲面ＴＳの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。画像表示システム１２０では、このような合成画像生成部３４の機能を利用することで、車両９の周辺の任意の視点からみた合成画像を生成して、ディスプレイ２１に表示する。
【００５３】
＜１−３．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図５は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ０、フロントモードＭ１、サイドモードＭ２、及び、バックモードＭ３の３つの動作モードを有している。これらの動作モードは、ドライバの車両９への操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００５４】
ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内を行う動作モードである。ナビモードＭ０では、画像生成装置１００の機能が利用されず、ナビゲーション装置２０単体の機能でディスプレイ２１に各種の表示がなされる。具体的には、ディスプレイ２１には、車両９の周辺の地図画像ＮＰが主に表示される。
【００５５】
これに対し、フロントモードＭ１、サイドモードＭ２及びバックモードＭ３は、画像生成装置１００の機能を利用して、周辺画像をディスプレイ２１に表示して、車両の周辺の状況をリアルタイムでユーザに示す動作モードである。
【００５６】
フロントモードＭ１は、車両９の前方を表示する動作モードであり、見通しの悪い交差点への進入時などに利用される。ディスプレイ２１の第２表示位置Ｌ２には、フロントカメラ５１で取得されて表示用に調整した撮影画像（以下、「フロント画像」という。）ＳＰ１が表示される。このフロント画像ＳＰ１は、車両９の前方の視点（フロントカメラ５１のレンズ位置）からみた周辺画像である。フロントモードＭ１では、表示中の周辺画像（すなわち、フロント画像）ＳＰ１の視点が車両９の前方であることを示すアイコンＣ１が表示される。
【００５７】
また、第１表示位置Ｌ１には、合成画像生成部３４により生成された、車両９の略直上から車両９を見下ろすように車両９とその周辺の領域を示す合成画像ＣＰａが表示される。
【００５８】
サイドモードＭ２は、車両９の側方を表示する動作モードであり、幅寄せを行う場合などに利用される。ディスプレイ２１の第３表示位置Ｌ３及び第４表示位置Ｌ４には、サイドカメラ５２で取得されて表示用に調整した撮影画像（以下、「サイド画像」という。）ＳＰ２が表示される。このサイド画像ＳＰ２は、車両９の側方の視点（サイドカメラ５２のレンズ位置）からみた周辺画像である。尚、この状態では前進中、今後前進が推測される状態（シフト「Ｒ」以外）のため、画像は車両側方画像から前方方向を切り出した画像であり、車体と道路（および車外の物体）との関係が分かりやすいように車体の一部が写り写り、かつ車両進行方向が略上下方向に一致するように画像処理（切り出し処理、回転処理等）がなされている。サイドモードＭ２では、表示中の周辺画像（すなわち、サイド画像）ＳＰ２の視点が車両９の側方であることを示すアイコンＣ２が表示される。
【００５９】
また、バックモードＭ３は、車両９の後方を表示する動作モードであり、後退時に利用される。ディスプレイ２１の第２表示位置Ｌ２には、バックカメラ５３で取得されて表示用に調整した撮影画像（以下、「バック画像」という。）ＳＰ３が表示される。このバック画像ＳＰ３は、車両９の後方の視点（バックカメラ５３のレンズ位置）からみた周辺画像である。バックモードＭ３では、表示中の周辺画像（すなわち、バック画像）ＳＰ３の視点が車両９の後方であることを示すアイコンＣ３が表示される。
【００６０】
また、第１表示位置Ｌ１には、合成画像生成部３４により生成された、車両９の略直上から車両９を見下ろすように車両９とその周辺の領域を示す合成画像ＣＰａが表示される。
【００６１】
ナビモードＭ０において、ナビゲーション装置２０の操作部２２に所定の操作（周辺画像の表示操作）がなされると、フロントモードＭ１及びサイドモードＭ２のうちの最後に有効化された動作モード（いわゆる、ラストモード）に切り替わる。フロントモードＭ１とサイドモードＭ２とは、切替スイッチ４３を押下するごとに切り替えられる。また、フロントモードＭ１あるいはサイドモードＭ２において、ナビゲーション装置２０の操作部２２に所定の操作がなされると、ナビモードＭ０に戻る。
【００６２】
また、バックモードＭ３以外の動作モードにおいて、シフトセンサ７１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。
【００６３】
このように画像表示システム１２０は、複数の動作モードを切り替えることで、複数の視点からみた周辺画像を切り替えてディスプレイ２１に表示可能となっている。
【００６４】
＜１−４．サイドミラー格納時の処理＞
次に、サイドミラーが格納された場合の画像表示システム１２０の処理について説明する。サイドカメラ５２の撮影画像は、合成画像ＣＰａの生成やサイド画像ＳＰ２に使用されている。これらの画像は、サイドミラーが展開している状態で撮影されることを前提にしている。このため、サイドミラーが格納されると、画像表示システム１２０は、合成画像ＣＰａ及びサイド画像ＳＰ２を正常に表示することができない。
【００６５】
図６の（Ａ）は、サイドミラー展開時に生成される合成画像ＣＰａを示す図である。図６の（Ａ）において、参照符号２０１は、車両９の左側方に見られる白線を示し、参照符号２０２は、車両９の左側方に見られる側溝蓋を示す。
【００６６】
なお、図６の（Ａ）及び図６の（Ｂ）における領域２１０〜２１３は、それぞれ合成画像ＣＰａのうち、フロントカメラ５１、バックカメラ５３、左側のサイドカメラ５２及び右側のサイドカメラ５２によって撮影された画像から生成された領域を示す。また、点線２１５〜２１８は、これら領域２１０〜２１３の境界を模式的に示す境界線であり、実際の合成画像ＣＰａ上には、これらの点線２１５〜２１８は表示されない。なお、これらの参照符号２１０〜２１５及び２１５〜２１８は、他の添付図面における合成画像ＣＰａの説明でも同様の意味で使用される。
【００６７】
図６の（Ｂ）は、左側のサイドミラーが格納されている時に生成される合成画像ＣＰａを示す図である。格納時の左側のサイドミラーの回転に伴い、車両９の左側領域２１２の画像が回転し、各画像の繋がりが乱れ、一種の異常画像となる。また参照符号２０３の部分には、車両９の車体の一部が映り込んでいる。このように、サイドミラーが格納されていると、適正な合成画像ＣＰａを生成することができない。このため、ユーザはこのような合成画像ＣＰａから車両側面の障害物に対するクリアランスを把握しにくい。
【００６８】
サイドミラーを格納しながら走行する状況としては、車両側面と障害物との間のクリアランスが非常に少なくなるような場所、すなわち幅が狭い場所を走行していることが想定される。したがってユーザにとっては、車両９周辺のある程度広い範囲を俯瞰する合成画像ＣＰａが表示されるよりも車両側方の狭い範囲の画像が大きく表示される方が、障害物とのクリアランスを把握しやすい。
また、俯瞰合成画像においては、合成処理の関係で車体近傍にマージンが発生するため、このマージンにより車体に近い部分では障害物を確認することができないという可能性がある。
【００６９】
そこで本実施形態は、サイドミラーの格納が検出された場合に、サイドミラーを格納しながら走行することが想定される場面に適した周辺画像の提示を行うことを目的とする。
【００７０】
本実施形態では、サイドミラー格納時には、合成画像ＣＰａの代わりに、サイドカメラ５２の撮影画像から切り出した車両側方の直近の領域を大きく表示する。サイドミラーを格納しながら走行する場合には車両側方の直近の領域を大きく表示した方が、ユーザにとって障害物とのクリアランスを把握し易くなると考えられる。また、上述した俯瞰画におけるマージンの問題も発生することがない。
【００７１】
この車両側方の直近画像には、車両９の車体が一部に映り込んでいることが望ましい。車両９の車体が画像内に映り込んでいることにより、ユーザは車両９と障害物との間隔を把握しやすくなる。また、車両側方の画像は、左右両側方のうち助手席側の側方を映す画像であることが望ましい。運転手にとって、運転手側の側方よりも助手席側の側方の方が、障害物との間隔を把握しにくいからである。
【００７２】
画像調整部３２がサイドカメラ５２の撮影画像を表示用に調整する際に、画像選択部３３は、サイドカメラ５２の撮影画像Ｐ２又はＰ３から表示用画像を切り出す範囲を選択する。なお、以下の実施例では、サイドミラー格納時における表示用画像として、車両左側の撮影画像が使用される場合について説明する。他の実施例では、車両左側の撮影画像に代えて又はこれに加えて右側の撮影画像を使用してもよい。
【００７３】
画像選択部３３は、格納状態判定部１３によるサイドミラーの格納状態の判定結果に応じて、撮影画像Ｐ２から表示用画像を切り出す範囲を選択する。図７は、画像選択部３３による選択範囲の説明図である。参照符号２２０及び２２１は、サイドミラー格納時及び展開時のそれぞれの場合に撮影画像Ｐ２に写り込む範囲を模式的に示す。サイドミラー格納時と展開時とではサイドカメラ５２の光軸のパン角、チルト角及びロール角が異なり、この結果、範囲２２０は範囲２２１と異なる。また、範囲２２０は範囲２２１に対して回転している。すなわち、サイドミラー格納時の撮影画像はサイドミラー展開時の撮影画像に比べて回転している。
【００７４】
サイドミラー格納時において、画像選択部３３は、撮影画像Ｐ２の範囲２２０の中の矩形の第１領域Ｒ１の画像を表示範囲として選択する。サイドミラー展開時には、画像選択部３３は、撮影画像Ｐ２の範囲２２１の中の第２領域Ｒ２の画像を表示範囲として選択する。図示するとおり、範囲２２０における第１領域Ｒ１の画像の位置及び範囲は、範囲２２１における第２領域Ｒ２の画像の位置及び範囲と異なっている。
【００７５】
以下の説明において、サイドミラー格納時において撮影画像Ｐ２の第１領域Ｒ１から切り出される画像を「サイド画像ＳＲ１」と表記することがある。第１領域Ｒ１の前後方向の辺２２２及び２２３は、サイド画像ＳＲ１の垂直方向の辺に対応し、第１領域Ｒ１の左右方向の辺２２４及び２２５は、サイド画像ＳＲ１の水平方向の辺に対応する。一方で、サイドミラー展開時において撮影画像Ｐ２の第２領域Ｒ２から切り出される画像は、図５に示すサイド画像ＳＰ２と同様であってよいし、サイド画像ＳＲ１と同様であってもよい。
【００７６】
例えば、画像選択部３３は、車両９の側端、前端及び後端からそれぞれ長さＷ、Ｆ及びＢだけ離れた位置まで含む矩形領域を第１領域Ｒ１として選択してよい。このとき、画像選択部３３は、第１領域Ｒ１の一部分に車両９の車体の一部が映り込み、かつ車両９の車体の前後方向と、矩形の第１領域Ｒ１の前後方向の辺２２３とが揃うように第１領域Ｒ１を定めてよい。長さＷ、Ｆ及びＢの値は、例えばそれぞれ２ｍ、１ｍ及び１．５ｍであってよい。
【００７７】
サイド画像ＳＲ１及びＳＰ２内の各画素の座標と、撮影画像Ｐ２の画像の各画素の座標との対応関係は、サイドカメラ５２の光軸のパン角、チルト角及びロール角に基づいて定まる。画像選択部３３は、サイドミラー格納時におけるこれらのパン角、チルト角及びロール角に基づいて、サイド画像ＳＲ１内の各画素を、それぞれに対応する撮影画像Ｐ２内の画素からマッピングすることによりサイド画像ＳＲ１を生成する。
【００７８】
また、画像選択部３３は、サイドミラー展開時におけるこれらのパン角、チルト角及びロール角に基づいて、サイド画像ＳＰ２内の各画素を、それぞれに対応する撮影画像Ｐ２内の画素からマッピングすることによりサイド画像ＳＰ２を生成する。これらパン角、チルト角及びロール角の情報は、不揮発性メモリ４０に格納されてよい。画像選択部３３は不揮発性メモリ４０からこれらの情報を読み出してよい。
【００７９】
サイド画像ＳＲ及びＳＰ２内の各画素の座標と、撮影画像Ｐ２の各画素の座標との対応関係を、予め不揮発性メモリ４０に格納しておいてもよい。これら画素間の対応関係は、既知のサイドカメラ５２の光軸のパン角、チルト角及びロール角に基づいて予め決定しておく。画像選択部３３は、この対応関係を不揮発性メモリ４０から読み出して、サイド画像ＳＲ１及びＳＰ２内の各画素にそれぞれ対応する撮影画像Ｐ２内の画素を決定してよい。
【００８０】
図８の（Ａ）及び図８の（Ｂ）を参照して、サイドミラー格納時にディスプレイ２１の表示例を説明する。図８の（Ａ）は、車両９及びその周囲の状態と、第１領域Ｒ１の位置の説明図である。図８の（Ａ）に示すように、車両９の前方には他の車両２３０が駐車しており、車両９の助手席側である左側には複数の白線２３１と車止め２３２が存在する。第１領域Ｒ１は、図７にて例示した設定方法と同様に設定されており、参照符号２３３は、第１領域Ｒ１の前後方向の一辺を示す。
【００８１】
図８の（Ｂ）は、画像表示システム１２０の動作モードがフロントモードＭ１である場合のディスプレイ２１の表示例を示す。図８の（Ｂ）に示すように、ディスプレイ２１に表示される表示画像の第１表示位置Ｌ１には、車両側方の第１領域Ｒ１を撮影したサイド画像ＳＲ１が表示される。また、第２表示位置Ｌ２には、フロント画像ＳＰ１が表示される。フロント画像ＳＰ１には、車両９の前方の車両２３０が写っている。また、サイド画像ＳＲ１には、第１領域Ｒ１内の白線２３１と車止め２３２と車両９の車体の側面２３４が写っている。
【００８２】
上述の通り、第１領域Ｒ１の前後方向の辺２３３と車両９の車体の前後方向とが揃っているため、サイド画像ＳＲに映り込む車両９の車体の前後方向はサイド画像ＳＲの垂直方向に一致する。一方で、サイド画像ＳＲ１を切り出す撮影画像ＳＰ２上では、映り込んだ車両９の車体の前後方向と撮影画像Ｐ２の垂直方向とは一致しない。これは、サイドミラーを格納する際にサイドカメラ５２の光軸が回転するためである。このため、撮影画像Ｐ２からサイド画像ＳＲ１へのマッピング処理は、撮影画像の回転処理を伴う画像処理になる。このように、撮影画像を回転させて車体の前後方向をサイド画像ＳＲの垂直方向に一致させることにより、車両側方にある障害物の方向を把握することが容易になる。
【００８３】
図１に示す画像配置部３５は、ナビゲーション装置２０へ出力する表示画像の第１表示位置Ｌ１にサイド画像ＳＲ１を配置する。フロントモードＭ１において画像配置部３５は、表示画像の第２表示位置Ｌ２へフロント画像ＳＰ１を配置する。このため、フロントモードＭ１では、サイド画像ＳＲ１及びフロント画像ＳＰ１が同時に表示画像に配置される。バックモードＭ３において画像配置部３５は、表示画像の第２表示位置Ｌ２へバック画像ＳＰ３を配置する。このため、バックモードＭ３では、サイド画像ＳＲ１及びバック画像ＳＰ３が同時に表示画像に配置される。
【００８４】
フロント画像ＳＰ１又はバック画像ＳＰ３に加えてサイド画像ＳＲ１を同時に表示することによって、前方又は後方の安全確認と車両側方の障害物までのクリアランスの確認を同時に確認できるようになる。このため、例えばサイドミラーを格納して通るような狭い場所を走行する場面において、運転手の確認作業がより容易になる。
また、俯瞰画像ではなく、サイド画像ＳＲ１を表示するので、俯瞰画像におけるマージンの問題を発生することを防ぐことができる。
【００８５】
サイドミラー格納時に表示付加部３６は、第１表示位置Ｌ１にサイド画像ＳＲ１が表示されている旨を示す表示を、ナビゲーション装置２０へ出力する表示画像に付加してよい。このような表示は、例えば、図８の（Ｂ）に示すようなアイコンＣ４であってよい。このような表示を付加することによって、ユーザは、車両周辺のどの位置が第１表示位置Ｌ１に表示されているか判断しやすくなる。第１表示位置Ｌ１にサイド画像ＳＲ１が表示されている旨を示す表示はメッセージなどの文字情報でもよい。
【００８６】
続いて、画像表示システム１２０によって実行される処理を説明する。図９は、サイドミラー格納時における画像表示システム１２０の処理例の説明図である。なお、他の実施態様においては、下記のオペレーションＡＡ〜ＡＯの各オペレーションはステップであってもよい。
【００８７】
オペレーションＡＡにおいて車載カメラ５１〜５３は、それぞれ撮影画像Ｐ１〜Ｐ４を撮影する。オペレーションＡＢにおいて画像結合部３０は、これらの画像Ｐ１〜Ｐ４を結合した結合画像Ｐｃｎを生成し、メモリ３１に格納する。
【００８８】
オペレーションＡＣにおいて格納状態判定部１３は、車両９のサイドミラーの格納状態を判断する。サイドミラーが格納状態にある場合（オペレーションＡＤ：Ｙ）には、処理はオペレーションＡＥに進む。サイドミラーが展開状態にある場合（オペレーションＡＤ：Ｎ）には、処理はオペレーションＡＬへ進む。
【００８９】
オペレーションＡＥにおいて画像選択部３３は、結合画像Ｐｃｎに含まれる撮影画像Ｐ２内の第１領域Ｒ１を表示範囲として選択する。画像選択部３３は、選択した範囲を撮影画像Ｐ２から切り出してサイド画像ＳＲ１を生成する。オペレーションＡＦにおいて画像配置部３５は、ナビゲーション装置２０へ出力する表示画像の第１表示位置Ｌ１にサイド画像ＳＲ１を配置する。
【００９０】
オペレーションＡＧにおいて画像配置部３５は、現在の画像表示システム１２０の動作モードがフロントモードＭ１であるかバックモードＭ３であるかを判断する。動作モードがフロントモードＭ１である場合（オペレーションＡＧ：Ｙ）には、処理はオペレーションＡＨへ進む。動作モードがフロントモードＭ１でない場合（オペレーションＡＧ：Ｎ）には、処理はオペレーションＡＩへ進む。
【００９１】
オペレーションＡＨにおいて画像配置部３５は、表示画像の第２表示位置Ｌ２にフロント画像ＳＰ１を配置する。その後処理はオペレーションＡＪへ進む。オペレーションＡＩにおいて画像配置部３５は、表示画像の第２表示位置Ｌ２にバック画像ＳＰ３を配置する。その後処理はオペレーションＡＪへ進む。
【００９２】
オペレーションＡＪにおいて表示付加部３６は、第１表示位置Ｌ１にサイド画像ＳＲ１が表示されている旨を示すアイコンＣ４を表示画像に付加する。画像生成装置１００は、表示画像をナビゲーション装置２０へ出力する。ナビゲーション装置２０へ出力される表示画像には、サイド画像ＳＲと、フロント画像ＳＰ１及びバック画像ＳＰ３のいずれか一方と、アイコンＣ４が含まれる。その後、処理はオペレーションＡＫへ進む。
【００９３】
オペレーションＡＬにおいて画像配置部３５は、現在の画像表示システム１２０の動作モードがサイドモードＭ２であるかその他のモードであるかを判断する。動作モードがサイドモードＭ２である場合（オペレーションＡＬ：Ｙ）には、処理はオペレーションＡＮへ進む。動作モードがサイドモードＭ２でない場合（オペレーションＡＬ：Ｎ）には、処理はオペレーションＡＭへ進む。
【００９４】
オペレーションＡＭにおいて画像配置部３５は、現在の動作モード、すなわちフロントモードＭ１であるかバックモードＭ３であるかに応じて表示画像を生成する。表示画像は、画像生成装置１００によってナビゲーション装置２０へ出力される。その後、処理はオペレーションＡＫへ進む。
【００９５】
オペレーションＡＮにおいて画像選択部３３は、結合画像Ｐｃｎに含まれる撮影画像Ｐ２内の第２領域Ｒ２を表示範囲として選択する。画像選択部３３は、選択した範囲を撮影画像Ｐ２から切り出してサイド画像ＳＰ２を生成する。オペレーションＡＯにおいて、画像配置部３５は、サイド画像ＳＰ２を表示画像に配置する。表示画像は、画像生成装置１００によってナビゲーション装置２０へ出力される。その後、処理はオペレーションＡＫへ進む。
【００９６】
オペレーションＡＫにおいてナビゲーション装置２０は、画像生成装置１００から出力された表示画像をディスプレイ２１へ表示する。
【００９７】
本実施例によれば、サイドミラーを格納しながら走行するような場面、例えば車両側面と障害物との間の間隔が非常に少ない場面において、ディスプレイ２１上に車両側方の直近領域を大きく表示することが可能になる。このため、上記場面において、ユーザは、障害物と車両との間のクリアランスを把握しやすくなる。
【００９８】
特に、助手席側の側方を表示することによって、ドライバは、運転席から死角になりやすい助手席側の側方において、障害物と車両とのクリアランスを把握しやすくなる。
【００９９】
また、表示画像の一部に車両側面を映し込むことによって、車両側面と障害物との距離の把握がより容易になる。また、撮影画像を回転させて、表示画面に映り込む車両の前後方向を表示画面の垂直方向に合わせることにより、ユーザは、障害物の方向を把握しやすくなる。
【０１００】
＜２．第２の実施の形態＞
＜２−１．システム構成＞
続いて第２の実施の形態について説明する。第２の実施の形態では、車載カメラ５１〜５３のいずれかが故障した場合に、車載カメラ５１〜５３が正常に画像を出力している場合とは異なる表示処理を行うことで、より適切な周辺画像をユーザに提供する。
【０１０１】
車載カメラ５１〜５３のいずれかが故障し、故障したカメラからの映像信号の出力が停止すると、図１に示す合成画像生成部３４が、固着した画像を使用して合成画像ＣＰａを生成する可能性がある。車両移動中に固着した画像を表示すると、ユーザにより認識される障害物までの間隔が現実と相違する可能性がある。
【０１０２】
そこで第２の実施の形態は、車載カメラ５１〜５３のいずれかが故障した場合に、固着画像から合成画像ＣＰａが生成されることを防止する。
【０１０３】
第２の実施の形態は、車載カメラ５１〜５３の故障を検出すると、合成画像ＣＰａに含まれる画像のうち、故障したカメラの撮影画像から生成される範囲の画像を、予め定めた他の画像で置換する。このように故障したカメラの撮影画像を他の画像で置換することによって固着画像の表示を防止する。また、画像表示システム１２０は、予め定めた他の画像を合成画像ＣＰａ上に表示することによって、カメラの故障をユーザに通知する。図１０は、カメラの故障時にディスプレイ２１に表示される合成画像ＣＰａの第１例を示す図である。
【０１０４】
なお、以下の説明において、合成画像ＣＰａに含まれる画像のうち、故障したカメラの撮影画像から生成される範囲を「故障カメラの範囲」と表記することがある。また、合成画像ＣＰａに含まれる画像のうち、故障していないカメラの撮影画像から生成される範囲を「故障していないカメラの範囲」と表記することがある。さらに、故障カメラの範囲の画像に置換される予め定めた他の画像を「置換用画像」と表記することがある。
【０１０５】
図１０に示す例では、バックカメラ５３の故障のため、合成画像ＣＰａに含まれる画像のうちバックカメラ５３の撮影画像Ｐ４から生成された領域２１１が置換用画像で置換されている。置換用画像は、例えば黒一色などの単一色で塗りつぶされた画像であってよい。この場合、領域２１１はこの単一色で塗り潰される。置換用画像は、黒以外の単一色の画像でもよい。黒以外の色を使用することによって、車両９の周囲が暗く合成画像ＣＰａの輝度が低い場合であっても、正常な画像と置換用画像が混同されにくくなり、カメラの故障が発見しやすくなる。置換用画像は、単一色以外の画像、例えば所定の模様やアイコン、文字を含んだ画像であってもよい。
【０１０６】
図１１は、第２の実施の形態の画像表示システム１２０の構成例を示す図である。図１に示す構成要素と同一の構成要素については同一の参照符号を付する。同一の参照符号が付された構成要素の動作は特に説明しない限り同じである。また、図１１に示す構成要素やその機能を他の実施例が備えていてもよい。
【０１０７】
画像生成部３は、異常検出部３７と、画像置換部３８と、ガイド線付加部３９を備える。異常検出部３７は、車載カメラ５１〜５３の故障を検出する。例えば、異常検出部３７は、車載カメラ５１〜５３から出力される同期信号の異常を判断することによって、車載カメラ５１〜５３の故障を検出してよい。例えば、異常検出部３７は、車載カメラ５１〜５３から出力される画像信号が所定の期間に亘って変わらない場合に車載カメラ５１〜５３の故障を検出してよい。また、例えば異常検出部３７は、車載カメラ５１〜５３から出力される画像信号が白一色や黒一色などの異常値を示す場合に車載カメラ５１〜５３の故障を検出してよい。
【０１０８】
画像置換部３８は、合成画像ＣＰａ内の故障カメラの範囲の画像を置換用画像に置き換える。図１２は、合成画像ＣＰａの一部を置換用画像で置き換える処理の一例の説明図である。画像置換部３８は、例えば、画像結合部３０により生成される結合画像Ｐｃｎのうち、故障したカメラの撮影画像を置換用画像で置き換えてよい。合成画像生成部３４が、この結合画像Ｐｃｎに基づいて合成画像ＣＰａを生成すると、合成画像ＣＰａ内の故障カメラの範囲の画像も置換用画像に置き換えられる。図１２の例では、画像置換部３８は、結合画像Ｐｃｎのうちバックカメラ５３の撮影画像Ｐ４を置換用画像で置き換える。図１２に示すように撮影画像Ｐ４が置換用画像で置換されると、図１０に示す合成画像ＣＰａのように領域２１１が置換用画像に置き換えられる。
【０１０９】
図１１を参照する。ガイド線付加部３９は、合成画像ＣＰａに各種ガイド線を付加する。ガイド線は、例えば、車両端が通過する軌跡を示す予想進路線であってよい。ガイド線付加部３９は、舵角センサ７２からの入力信号に従って合成画像ＣＰａ上に予想進路線を描画する描画位置を決定してよい。ガイド線付加部３９は、合成画像ＣＰａ上の描画位置に予想進路線を付加する。ガイド線は、例えば、車両後端を示す距離目安線や、車両側面に平行な車幅平行線であってもよい。
【０１１０】
ガイド線付加部３９は、故障カメラの範囲の上にも継続してガイド線を描画する。図１３は、バックカメラ５３の故障時にディスプレイ２１に表示される合成画像ＣＰａの例を示す図である。ガイド線２４０は、車両９の後退時に左後端及び右後端が通る軌跡を示す予想進路線である。ガイド線２４１は、車両９の後退時に左前端が通る軌跡を示す予想進路線である。
【０１１１】
予想進路線２４０は故障カメラの範囲２１１内にも描画される。また、予想進路線２４１は、故障していない左カメラ５２の撮影画像Ｐ２から生成される領域２１２と、故障カメラの範囲２１１との間に跨いで描画される。
【０１１２】
このように、ガイド線付加部３９は、故障カメラの範囲２１１の上へのガイド線２４０及び２４１の描画を継続する、すなわち故障カメラの範囲２１１に描画されるガイド線２４０及び２４１を消さないため、故障していないカメラの範囲２１２へ跨いで描画されるガイド線２４１が継続して描画される。このため、ユーザは、故障していないカメラの範囲２１２において、ガイド線２４１を有効に利用することが可能になる。
【０１１３】
＜２−２．カメラ故障時の処理＞
続いて、図１４を参照して、カメラ故障時における画像表示システム１２０の処理を説明する。なお、他の実施態様においては、下記のオペレーションＢＡ〜ＢＩの各オペレーションはステップであってもよい。
【０１１４】
オペレーションＢＡにおいて車載カメラ５１〜５３は、それぞれ撮影画像Ｐ１〜Ｐ４を撮影する。オペレーションＢＢにおいて画像結合部３０は、これらの画像Ｐ１〜Ｐ４を結合した結合画像Ｐｃｎを生成し、メモリ３１に格納する。
【０１１５】
オペレーションＢＣにおいて異常検出部３７は、車載カメラ５１〜５３が正常か否かを判断する。いずれの車載カメラ５１〜５３も正常である場合（オペレーションＢＤ：Ｙ）には、処理はオペレーションＢＦに進む。いずれかの車載カメラが故障している場合（オペレーションＢＤ：Ｎ）には、処理はオペレーションＢＥへ進む。
【０１１６】
オペレーションＢＥにおいて画像置換部３８は、結合画像Ｐｃｎのうち故障したカメラの撮影画像の部分を置換用画像に置き換える。その後、処理はオペレーションＢＦへ進む。オペレーションＢＦにおいて合成画像生成部３４は、結合画像Ｐｃｎに基づいて合成画像ＣＰａを生成する。オペレーションＢＧにおいてガイド線付加部３９は、合成画像ＣＰａ上にガイド線を付加する。
【０１１７】
オペレーションＢＨにおいて画像配置部３５は、現在の画像表示システム１２０の動作モードにしたがって、合成画像ＣＰａ及び撮影画像ＳＰ１〜ＳＰ３のいずれかを選択し、ナビゲーション装置２０へ出力する表示画像上に配置する。表示画像は、画像生成装置１００によってナビゲーション装置２０へ出力される。オペレーションＢＩにおいてナビゲーション装置２０は、画像生成装置１００から出力された表示画像をディスプレイ２１へ表示する。
【０１１８】
本実施例によれば、車載カメラ５１〜５３が故障した場合に、固着した画像が合成画像ＣＰａに使用されることが防止される。このため、車両移動中に表示画像が固着してユーザが認識する障害物までの間隔を現実の間隔から相違させてしまうことを防止する。また、車載カメラ５１〜５３の故障をユーザに通知することが可能となる。
【０１１９】
次に、車載カメラ５１〜５３が故障から復旧した場合の処理について説明する。車載カメラ５１〜５３が故障から復旧した場合には、置換用画像での置き換えを停止してよい。しかしながら、異常検出部３７が検出する車載カメラの状態が、故障と復旧との間で頻繁に変化を繰り返すと、置換用画像の置換と停止が短い周期で発生しすることで画面のちらつきが生じ、合成画像ＣＰａが見にくくなる。
【０１２０】
そこで、画像置換部３８は、車載カメラ５１〜５３が故障を検出した後は、切替スイッチ４３の押下やシフトレバーの切り換えによって画像表示システム１２０の動作モードの変更があるまでは、故障したカメラの復旧を検出しても置換用画像での置き換えを続行する。
【０１２１】
図１５は、カメラの故障時に表示される合成画像の状態遷移の説明図である。図１５の上段の画像は、車載カメラ５１〜５３が故障していない場合の合成画像ＣＰａである。上段の画像は、車載カメラ５１〜５３の故障によって置換用画像での置き換えが施された合成画像ＣＰａ’である。
【０１２２】
車載カメラ５１〜５３が故障すると、即座に故障カメラの範囲が置換用画像で置き換えられ、表示画像は合成画像ＣＰａ’に変わる。その後、故障したカメラが復旧しても、表示画像はすぐに合成画像ＣＰａに戻らない。カメラの復旧後、画像表示システム１２０の動作モードの変更があった時に、表示画像が元の合成画像ＣＰａに戻る。
【０１２３】
本実施例によれば、カメラ故障時に即座に故障カメラの範囲を置換用画像で置き換えて、固着画像の表示が防止される一方で、車載カメラの故障の検出結果が頻繁に変わる場合の画像のちらつきが防止される。このため、車載カメラの撮影画像を使用する場合の安全性とユーザの利便性が両立される。
【符号の説明】
【０１２４】
１３ 格納状態判定部
３０ 画像選択部
３５ 画像配置部
３６ 表示付加部
１００ 画像生成装置
１２０ 画像表示システム
【特許請求の範囲】
【請求項１】
車両の側方を撮影するカメラが配置されるサイドミラーの格納状態を判定する状態判定部と、
前記状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第１領域の画像を選択し、前記状態判定部でサイドミラーが展開状態であると判定された場合に、前記第１領域と異なる前記撮影画像の第２領域の画像を選択する画像選択部と、
前記画像選択部により選択される画像が配置された表示画像を生成する画像生成部と、
を備えることを特徴とする画像生成装置。
【請求項２】
前記画像選択部は、サイドミラーが格納状態であると判定された場合に選択される前記第１領域の画像を回転させる回転処理を行うことを特徴とする請求項１に画像表示装置。
【請求項３】
前記画像生成部は、車両の前方を撮影するカメラからの撮影画像及び車両の後方を撮影するカメラからの撮影画像の少なくともいずれか一方と、前記画像選択部により選択される画像とを、同じ前記表示画像上に同時に配置することを特徴とする請求項１又は２のいずれか一項に記載の画像表示装置。
【請求項４】
前記表示画像が前記第１領域の画像を含む旨の表示を前記表示画像に加える表示付加部を備えることを特徴とする請求項１〜３のいずれか一項に記載の画像表示装置。
【請求項５】
車両のサイドミラーに配置されて車両の側方を撮影するカメラと、
サイドミラーの格納状態を判定する状態判定部と、
前記状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第１領域の画像を選択し、前記状態判定部でサイドミラーが展開状態であると判定された場合に、前記第１領域と異なる前記撮影画像の第２領域の画像を選択する画像選択部と、
前記画像選択部により選択される画像が配置された表示画像を生成する画像生成部と、
前記画像生成部から出力される画像を表示する表示部と、
を備える画像表示システム。
【請求項６】
サイドミラーに設置されたサイドカメラを含む車両に配置された複数のカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、
前記合成画像を表示画面に表示する表示手段と、
サイドミラーの格納状態を判定する状態判定部と、
前記状態判定部でサイドミラーが格納状態であると判定された場合に、前記サイドカメラからの撮影画像から車両側面の一部が映り込み、かつ、車両側面前後方向に沿って切り出した画像を前記表示手段に表示する表示制御手段と、を備えたことを特徴とする画像表示装置。
【請求項１】
車両の側方を撮影するカメラが配置されるサイドミラーの格納状態を判定する状態判定部と、
前記状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第１領域の画像を選択し、前記状態判定部でサイドミラーが展開状態であると判定された場合に、前記第１領域と異なる前記撮影画像の第２領域の画像を選択する画像選択部と、
前記画像選択部により選択される画像が配置された表示画像を生成する画像生成部と、
を備えることを特徴とする画像生成装置。
【請求項２】
前記画像選択部は、サイドミラーが格納状態であると判定された場合に選択される前記第１領域の画像を回転させる回転処理を行うことを特徴とする請求項１に画像表示装置。
【請求項３】
前記画像生成部は、車両の前方を撮影するカメラからの撮影画像及び車両の後方を撮影するカメラからの撮影画像の少なくともいずれか一方と、前記画像選択部により選択される画像とを、同じ前記表示画像上に同時に配置することを特徴とする請求項１又は２のいずれか一項に記載の画像表示装置。
【請求項４】
前記表示画像が前記第１領域の画像を含む旨の表示を前記表示画像に加える表示付加部を備えることを特徴とする請求項１〜３のいずれか一項に記載の画像表示装置。
【請求項５】
車両のサイドミラーに配置されて車両の側方を撮影するカメラと、
サイドミラーの格納状態を判定する状態判定部と、
前記状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第１領域の画像を選択し、前記状態判定部でサイドミラーが展開状態であると判定された場合に、前記第１領域と異なる前記撮影画像の第２領域の画像を選択する画像選択部と、
前記画像選択部により選択される画像が配置された表示画像を生成する画像生成部と、
前記画像生成部から出力される画像を表示する表示部と、
を備える画像表示システム。
【請求項６】
サイドミラーに設置されたサイドカメラを含む車両に配置された複数のカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、
前記合成画像を表示画面に表示する表示手段と、
サイドミラーの格納状態を判定する状態判定部と、
前記状態判定部でサイドミラーが格納状態であると判定された場合に、前記サイドカメラからの撮影画像から車両側面の一部が映り込み、かつ、車両側面前後方向に沿って切り出した画像を前記表示手段に表示する表示制御手段と、を備えたことを特徴とする画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２１４０８３（Ｐ２０１２−２１４０８３Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−７９５６３（Ｐ２０１１−７９５６３）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]