車載照明装置、画像処理装置、画像表示システム及び照明方法
【課題】車両の周辺の撮影を補助する照明に係る消費電力を低減できる技術を提供する。
【解決手段】画像表示システム１２０では、ディスプレイ２１に表示される画像に含まれる車両の周辺の領域に応じて、複数の光源６０のそれぞれの光量を個別に調整する。このため、必要となる一部の光源６０の光量のみを増加させることができる。したがって、複数の光源６０の全てを最大の光量で常に発光させる必要が無いため、消費電力を低減できる。
【解決手段】画像表示システム１２０では、ディスプレイ２１に表示される画像に含まれる車両の周辺の領域に応じて、複数の光源６０のそれぞれの光量を個別に調整する。このため、必要となる一部の光源６０の光量のみを増加させることができる。したがって、複数の光源６０の全てを最大の光量で常に発光させる必要が無いため、消費電力を低減できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺の撮影を補助する照明を行う技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをドライバが把握しにくい。これに対して、画像表示システムを利用すれば、車載カメラの撮影によりフロントフェンダの外側領域を示す画像が取得され、その画像が車室内のディスプレイに表示される。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをドライバが容易に確認できることとなる。
【０００４】
このような画像表示システムでは、夜間など周辺環境が暗い場合においては撮影時に十分な露光量が得られず、車両の周辺を示す画像としての明るさが十分に確保できない場合がある。このため、周辺環境が比較的暗い場合には撮影を補助する補助光を発光して撮影対象となる領域を照明し、画像として必要な明るさを確保することも提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１８９０６０号公報
【特許文献２】特許第３２８６３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、近年では、複数の車載カメラで車両の周辺を撮影して得られる複数の撮影画像を利用して、車両の直上や後方などの任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する画像表示システムが提案されている（例えば、特許文献２参照。）。この画像表示システムでは、車両の周囲の全体を示す画像をディスプレイに表示させることも可能である。
【０００７】
このような画像表示システムを利用する場合においても、周辺環境が比較的暗い場合には車両の周囲を照明することが望ましい。画像表示システムで表示可能な領域が広がると、それに伴い、周辺環境が比較的暗い場合に補助光で照明すべき領域についても広がることになる。例えば、車両の側方領域については、車両の前方から後方にわたる比較的広い範囲を補助光で照明する必要がある。
【０００８】
また一方で、人工的な植物や石壁などは補助光を反射しにくい性質があるため、車両の近傍に存在するこれらの被写体像の視認性を向上するために、補助光の光量をより高くしたいという要望がある。
【０００９】
しかしながら、照明すべき領域の全体に関して一律に補助光の光量を高くしたのでは、照明すべき領域が広いために非常に大きな電力が必要となり、補助光での照明に係る消費電力が高くなってしまう。また、常に高い光量で補助光を発光することにより、補助光を発光する光源の劣化が進行し、その耐久性が低下する可能性がある。
【００１０】
本発明は、上記課題に鑑みてなされたものであり、車両の周辺の撮影を補助する照明に係る消費電力を低減できる技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、請求項１の発明は、車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた前記車両の周辺の少なくとも一部の領域を示す合成画像を生成可能な画像生成装置の撮影を補助する照明を行う車載照明装置であって、前記画像生成装置は、前記撮影画像及び前記合成画像のうちの少なくとも一つを表示装置に表示させるものであり、前記車両の周辺の特定領域を分割した複数の領域をそれぞれ照明する複数の光源と、前記表示装置に表示する画像に被写体像として含まれる前記車両の周辺の領域に応じて、前記複数の光源のそれぞれの光量を個別に調整する調整手段と、を備えている。
【００１２】
また、請求項２の発明は、請求項１に記載の車載照明装置において、前記調整手段は、前記複数の光源の一部の光量を基準光量よりも増加させ、他の光源の光量を基準光量よりも減少させる。
【００１３】
また、請求項３の発明は、請求項１または２に記載の車載照明装置において、前記車両の周辺の明るさを取得する取得手段、をさらに備え、前記調整手段は、前記車両の周辺の明るさに応じて、前記複数の光源の光量を調整する。
【００１４】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の車載照明装置において、前記車両の走行に用いる走行用灯火装置の点灯状態を示す信号を入力する手段、をさらに備え、前記調整手段は、前記点灯状態に応じて、前記複数の光源の光量を調整する。
【００１５】
また、請求項５の発明は、請求項１ないし３のいずれかに記載の車載照明装置において、前記車両のドライバが意図する方向指示を入力する手段、をさらに備え、前記複数の光源は、前記車両の左側及び右側にそれぞれ配置され、前記調整手段は、前記方向指示が有るときは、前記方向指示が示す方向に配置された前記複数の光源の光量を、前記方向指示の逆方向に配置された前記複数の光源の光量以上とする。
【００１６】
また、請求項６の発明は、車両に搭載される画像処理装置であって、前記車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成可能な画像生成装置と、前記画像生成装置の撮影を補助する照明を行う請求項１ないし５のいずれかに記載の車載照明装置と、を備えている。
【００１７】
また、請求項７の発明は、車両に搭載される画像表示システムであって、請求項６に記載の画像処理装置と、前記画像処理装置から出力された前記車両の周辺を示す画像を表示する表示装置と、を備えている。
【００１８】
また、請求項８の発明は、車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた前記車両の周辺の少なくとも一部の領域を示す合成画像を生成可能な画像生成装置の撮影を補助する照明を行う照明方法であって、前記撮影画像及び前記合成画像のうちの少なくとも一つを表示装置に表示させる工程と、前記表示装置に表示する画像に被写体像として含まれる前記車両の周辺の領域に応じて、前記車両の周辺の特定領域を分割した複数の領域をそれぞれ照明する複数の光源のそれぞれの光量を個別に調整する工程と、を備えている。
【発明の効果】
【００１９】
請求項１ないし８の発明によれば、表示装置に表示される画像に含まれる車両の周辺の領域に応じて複数の光源のそれぞれの光量を個別に調整するため、必要な一部の光源のみの光量を増加させることができるため、複数の光源全ての光量を増加させる必要が無く、消費電力を低減できる。
【００２０】
また、特に請求項２の発明によれば、複数の光源の一部の光量を基準光量よりも増加させ、他の光源の光量を基準光量よりも減少させることで、消費電力を低減しつつ特定領域の一部を強調してユーザに示すことができる。
【００２１】
また、特に請求項３の発明によれば、光源の光量が車両の周辺の明るさに応じて適切な光量に調整されるため、無駄な照明がなされず消費電力を低減できる。
【００２２】
また、特に請求項４の発明によれば、走行用灯火装置が照明している領域を照明しないことで、無駄な照明がなされず消費電力を低減できる。
【００２３】
また、特に請求項５の発明によれば、ドライバが意図する方向の光源の光量が逆方向の光源の光量以上とされるため、ドライバが注目すべき領域を強調することができる。
【図面の簡単な説明】
【００２４】
【図１】図１は、画像表示システムの構成を示すブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、サイドカメラユニットの外観構成を示す図である。
【図４】図４は、車両の後方から見たサイドカメラユニットの断面図である。
【図５】図５は、車両の左側から見たサイドカメラユニットの断面図である。
【図６】図６は、３つの光源の光軸の車両に対する位置関係を示す図である。
【図７】図７は、３つの光源の光軸の車両に対する位置関係を示す図である。
【図８】図８は、合成画像を生成する手法を説明するための図である。
【図９】図９は、画像表示システムの動作モードの遷移を示す図である。
【図１０】図１０は、周囲確認モードにおける仮想視点の位置の遷移を示す図である。
【図１１】図１１は、周囲確認モードにおける表示例を示す図である。
【図１２】図１２は、フロントモードにおける表示モードの遷移を示す図である。
【図１３】図１３は、バックモードにおける表示モードの遷移を示す図である。
【図１４】図１４は、ドアミラーが格納された状態を示す図である。
【図１５】図１５は、基準光量テーブルの内容を示す図である。
【図１６】図１６は、光量調整テーブルの内容を示す図である。
【図１７】図１７は、第１の実施の形態における、光源の光量を調整する処理の流れを示す図である。
【図１８】図１８は、自車確認モードにおける画面の状態遷移を示す図である。
【図１９】図１９は、仮想視点の位置の遷移を示す図である。
【図２０】図２０は、第２の実施の形態における、光源の光量を調整する処理の流れを示す図である。
【図２１】図２１は、車両のヘッドライトが照明可能な領域を示す図である。
【図２２】図２２は、第３の実施の形態における、光源の光量を調整する処理の流れを示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２６】
＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、第１の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００２７】
図１に示すように、画像表示システム１２０は、車両の周辺を示す画像を生成する画像処理装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像処理装置１００で生成された画像は、ナビゲーション装置２０において表示される。
【００２８】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２９】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００で生成された車両の周辺の様子を示す画像が表示される。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された画像を受信して表示する表示装置としても機能する。
【００３０】
画像処理装置１００は、その本体部１０が画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。
【００３１】
さらに、画像処理装置１００は、撮影部５の撮影を補助する照明を行う補助照明部６を備えており、撮影部５の撮影を補助する照明を行う車載照明装置としても機能する。補助照明部６は、撮影部５の撮影を補助する補助光を発光する複数の光源６０（本実施の形態では６つの光源６０）を備えている。夜間など周辺環境が暗い場合においては撮影部５での撮影時に十分な露光量が得られず、取得される画像は車両の周辺を示すのに十分に明るさとならないことから、補助照明部６が照明を行う。
【００３２】
撮影部５が備える複数の車載カメラ５１，５２，５３と補助照明部６が備える複数の光源６０とは、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。
【００３３】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００３４】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像処理装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置に配置される。
【００３５】
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部３１、及び、合成画像生成部３２を主な機能として備えている。
【００３６】
撮影画像調整部３１は、撮影部５で取得された撮影画像を対象とし、表示に利用するための調整を行うものである。具体的には、撮影画像調整部３１は、撮影画像に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。
【００３７】
合成画像生成部３２は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。合成画像生成部３２が合成画像を生成する手法については後述する。
【００３８】
撮影画像調整部３１に調整された撮影画像や合成画像生成部３２により生成された合成画像はさらに表示用の画像に調整され、その後、ナビ通信部４２によってナビゲーション装置２０に出力される。これにより、被写体像として車両の周辺の領域を含む画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００３９】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１、照明制御部１２及び輝度取得部１３は、このようにして実現される制御部１の機能のうちの一部を示している。
【００４０】
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータなどを指示する。
【００４１】
照明制御部１２は、補助照明部６による照明を制御するものである。照明制御部１２は、補助照明部６に含まれる複数の光源６０のそれぞれの光量を個別に調整することが可能である。具体的には、照明制御部１２は、複数の光源６０のそれぞれの光量を決定し、各光源６０が発光する補助光の光量が、決定した光量となるように補助照明部６に信号を出力する。
【００４２】
輝度取得部１３は、４つの車載カメラ５１，５２，５３で取得される４つの撮影画像の各画素の輝度を取得し、その平均輝度を導出する。
【００４３】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００４４】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａ、基準光量テーブル４ｂ、及び、光量調整テーブル４ｃなどが記憶されている。車種別データ４ａは、合成画像生成部３２が合成画像を生成する際に必要となる車両の種別に応じたデータである。また、基準光量テーブル４ｂ及び光量調整テーブル４ｃは、照明制御部１２が、補助照明部６の複数の光源６０の光量を決定する際に参照するテーブルデータである。
【００４５】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００４６】
メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像表示システム１２０を異なる種別の車両に対応させることも可能である。
【００４７】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速度センサ８２、灯火制御装置８４、方向指示器８５、及び、ミラー駆動装置８６などから、各種情報を示す信号が制御部１に入力される。
【００４８】
シフトセンサ８１からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４９】
灯火制御装置８４は、補助照明部６とは別に車両に標準的に設けられる、車両の通常の走行に用いる走行用灯火装置の制御を行う。走行用灯火装置には、ヘッドライト（前照灯）、スモールランプ（車幅灯）、テールランプ（尾灯）、ブレーキランプ（制動灯）、及び、バックランプ（後退灯）などが含まれる。灯火制御装置８４は、ドライバの操作に応答してヘッドライトやスモールランプを点灯させ、ヘッドライトまたはスモールランプを点灯させるときにはテールランプを点灯させる。また、灯火制御装置８４は、ドライバによりブレーキが踏まれた場合はブレーキランプを点灯させ、シフトポジションが”Ｒ”のときにバックランプを点灯させる。灯火制御装置８４からは、このような各種の走行用灯火装置の点灯状態が入力される。
【００５０】
方向指示器８５からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【００５１】
また、ミラー駆動装置８６は、ドライバの操作に応答して車両のドアミラーを格納／展開する。ミラー駆動装置８６からは、ドアミラーの状態（格納／展開）が入力される。
【００５２】
＜１−２．撮影部及び補助照明部＞
次に、画像処理装置１００の撮影部５及び補助照明部６についてより詳細に説明する。撮影部５及び補助照明部６は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００５３】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００５４】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。
【００５５】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００５６】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００５７】
図１に戻り、補助照明部６が備える６つの光源６０は、不可視光である近赤外光を発光するＬＥＤなどで構成される。近赤外光は人間の目には見えないため、補助照明部６の光源６０から車両９の周辺を照明したとしても、車両９の周辺に存在する歩行者などに影響を与えることがない。一方で、車載カメラ５１，５２，５３に採用される撮像素子は、近赤外光の感度を有している。このため、車両９の周辺環境が比較的暗い場合においては、補助照明部６の光源の近赤外光を補助光として車両９の周辺の領域を照明することにより、歩行者などに影響を与えることなく、その領域の状況を示す十分な明るさの画像を取得できる。
【００５８】
補助照明部６の６つの光源６０のうち、３つの光源６０は車両９の左側に配置され、残りの３つの光源６０は車両９の右側に配置される。車両９の左側の３つの光源６０は、車両９の左側の側方領域を分割して得られる複数の領域をそれぞれ照明する。一方、車両９の右側の３つの光源６０は、車両９の右側の側方領域を分割して得られる複数の領域をそれぞれ照明する。
【００５９】
また、車両９の左側の３つの光源６０と、車両９の左側のサイドカメラ５３とは、同一のハウジング内に収容されて一体化され、全体としてサイドカメラユニット７０となっている。同様に、車両９の右側の３つの光源６０と、車両９の右側のサイドカメラ５３とは、同一のハウジング内に収容されて一体化され、全体としてサイドカメラユニット７０となっている。
【００６０】
図３は、左側のサイドカメラユニット７０の外観構成を示す図である。なお、サイドカメラユニット７０の構成や配置は車両９の左右で対称としているため、以降の説明では車両９の左側を例に具体的に説明するが、右側についても同様である。図に示すように、サイドカメラユニット７０は、ブラケット７９を介してドアミラー９３の下側に配置される。
【００６１】
図４は、左側のサイドカメラユニット７０の車両９の後方（＋Ｙ側）から見たＸＺ平面での断面図である。また、図５は、左側のサイドカメラユニット７０の車両９の左側（−Ｘ側）から見たＹＺ平面での断面図である。図４は図５のIV−IV位置での断面図に相当し、図５は図４のＶ−Ｖ位置での断面図に相当する。
【００６２】
これらの図に示すように、サイドカメラユニット７０は、筐体となるハウジング７を有している。このハウジング７内には、サイドカメラ５３、ならびに、補助照明部６の３つの光源６０及び光源駆動部６９が収容されている。３つの光源６０は、具体的には、車両９の前方側の領域を主に照明する前方光源６１と、車両９の後方側の領域を主に照明する後方光源６２と、前方光源６１及び後方光源６２が照明する領域の相互間の領域を主に照明する中央光源６３とである。
【００６３】
光源駆動部６９は、これら３つの光源６０に、車両のバッテリからの電力を供給する。光源駆動部６９は、前方光源６１、後方光源６２及び中央光源６３にそれぞれ対応して、３つの電流変更部６１ａ，６２ａ，６３ａを備えている。各電流変更部６１ａ，６２ａ，６３ａは、対応する光源６１，６２，６３に流れる電流の値を変更可能となっている。光源６０の光量は電流の値に依存するため、このような電流の値の変更により、３つの光源６１，６２，６３の光量が個別に変更される。各光源６１，６２，６３の光量は、制御部１の照明制御部１２から信号で指示される。
【００６４】
サイドカメラ５３は、レンズ５３１と撮像素子５３２とを備えて構成されている。図４に示すように、サイドカメラ５３は、ハウジング７内に配置され、光軸５３ａが車両９の外側に向けられている。サイドカメラ５３は、この光軸５３ａの方向が鉛直方向に対して所定の角度（例えば、約４５度）となるようにハウジング７に固定される。
【００６５】
補助照明部６の３つの光源６０は、ハウジング７内においてサイドカメラ５３よりも内側（＋Ｘ側）に配置されている。３つの光源６１，６２，６３の光軸６１ａ，６２ａ，６３ａは車両９の外側に向けられ、その方向はすべて車両９の前後方向（Ｙ軸方向）から見て鉛直方向に対して所定の角度θ１とされている。角度θ１は、例えば３０度以下とすることが望ましい。
【００６６】
また、図５に示すように、ハウジング７内の中央部分には中央光源６３が配置されるとともに、前方光源６１と後方光源６２とはハウジング７内の中心に関して左右対称に配置されている。車両９の左右方向（Ｘ軸方向）から見て、中央光源６３の光軸６３ａの方向は鉛直方向（Ｚ軸方向）に沿っており、前方光源６１の光軸６１ａの方向は車両９の前方側（−Ｙ側）に傾けられ、後方光源６２の光軸６２ａの方向は車両９の後方側（＋Ｙ側）に傾けられている。そして、前方光源６１の光軸６１ａの方向と後方光源６２の光軸６２ａの方向とは、中央光源６３の光軸６３ａの方向に関して対称とされている。すなわち、中央光源６３の光軸６３ａと前方光源６１の光軸６１ａとでなす角度は、中央光源６３の光軸６３ａと後方光源６２の光軸６２ａとでなす角度に一致し、所定の角度θ２とされている。角度θ２は、例えば６０度以上７０度以下とすることが望ましい。
【００６７】
補助照明部６の３つの光源６０は、上記で説明した位置及び方向となるように、固定部材７１によりハウジング７に固定される。すなわち、３つの光源６０は、その光軸が互いに異なる方向に向けた状態でハウジング７に固定されることになる。これらの光源６０の固定位置の下部に相当するハウジング７の部分には、近赤外光を透過する透過部材７２が採用されている。これにより、光源６０の補助光をハウジング７の外部に投光できるようになっている。
【００６８】
図６及び図７は、左側のサイドカメラユニット７０における３つの光源６０の光軸の車両９に対する位置関係を示す図である。図６は上面図（＋Ｚ側から見た図）、図７は側面図（−Ｘ側から見た図）である。
【００６９】
これらの図に示すように、ドアミラー９３に設けられるサイドカメラユニット７０から、車両９の側面に対しＸ軸方向に５００ｍｍ離間した位置に向けて、３つの光源６０の光軸６１ａ，６２ａ，６３ａが延びている。３つの光源６０の光軸６１ａ，６２ａ，６３ａの方向は互いに異なっている。具体的には、平面視（図６参照）で、中央光源６３の光軸６３ａは車両９の左右方向（Ｘ軸方向）に沿っており、前方光源６１の光軸６１ａは車両９の前方側（−Ｙ側）に向けられ、後方光源６２の光軸６２ａは車両９の後方側（＋Ｙ側）に向けられている。また、側面視（図７参照）で、中央光源６３の光軸６３ａは鉛直方向（Ｚ軸方向）に沿っており、前方光源６１の光軸６１ａは車両９の前方側（−Ｙ側）に向けられ、後方光源６２の光軸６２ａは車両９の後方側（＋Ｙ側）に向けられている。前方光源６１の光軸６１ａの方向と後方光源６２の光軸６２ａの方向とは、中央光源６３の光軸６３ａの方向に関して対称とされている。
【００７０】
このような光軸の配置により、３つの光源６１，６２，６３によって車両９の側方領域ＳＡが分担して照明される。照明対象となる側方領域ＳＡには、車両９に対して相対固定される特定領域が設定されている。具体的には、車両９の前後方向（Ｙ軸方向）においては、車両９の前端よりも約２ｍ前方の位置から車両９のおよそ後端位置までが側方領域ＳＡの範囲となっている。また、車両９の左右方向（Ｘ軸方向）においては、車両９の側面の位置からその外側に約１ｍ離れた位置までが側方領域ＳＡの範囲となっている。
【００７１】
３つの光源６１，６２，６３は、この照明対象となる側方領域ＳＡを分割した複数の領域ＦＡ，ＢＡ，ＣＡをそれぞれ照明する。具体的には、前方光源６１は、照明対象となる側方領域ＳＡのうち、車両９の前端よりも前方の領域（以下、「前方領域」という。）ＦＡを主に照明する。後方光源６２は、照明対象となる側方領域ＳＡのうち、車両９のリアドア９６及びリアフェンダ９７付近の外側の領域（以下、「後方領域」という。）ＢＡを主に照明する。また、中央光源６３は、照明対象となる側方領域ＳＡのうち、前方領域ＦＡと後方領域ＢＡとの間となる、車両９のフロントフェンダ９４及びフロントドア９５付近の外側の領域（以下、「中央領域」という。）ＣＡを主に照明する。
【００７２】
中央光源６３は、前方光源６１及び後方光源６２と比較して、サイドカメラユニット７０の位置（３つの光源６０が配置される位置）から比較的近い領域を照明する。このため、中央光源６３の光量を、前方光源６１及び後方光源６２の光量と同レベルとすると、側方領域ＳＡのうち中央領域ＣＡが他の領域ＦＡ，ＢＡよりも明るく照明され、側方領域ＳＡの全体として明るさが不均一となることが考えられる。このため、車両９の前方側から後方側にわたる車両９の側方領域ＳＡの全体をおよそ均一に照明できるように、中央光源６３については、前方光源６１及び後方光源６２と比較して光量が低くなるように調整されるようになっている。
【００７３】
このように、本実施の形態においては、車両９の同一方向の側方領域ＳＡを照明する３つの光源６０が、同一のハウジング７内に光軸の方向が互いに異なる状態で固定されて収容される。これにより、３つの光源６０がハウジング７によってサイドカメラユニット７０として一体化される。このため、このサイドカメラユニット７０を取り付けるのみで、複数の光源６０を一度に取り付けることができる。また、３つの光源６０への電源ラインや制御ラインなどの電気配線も、一つのサイドカメラユニット７０の位置まで行えばよいことになる。このため、車両９の比較的広範囲な側方領域ＳＡを照明するための複数の光源６０を、簡便かつ低コストに車両９に取り付けることが可能となっている。
【００７４】
＜１−３．合成画像の生成＞
次に、画像生成部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺の少なくとも一部の領域を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図８は、合成画像を生成する手法を説明するための図である。
【００７５】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００７６】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００７７】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
【００７８】
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００７９】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００８０】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺の少なくとも一部の領域を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００８１】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００８２】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００８３】
＜１−４．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図９は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ０、周囲確認モードＭ１、フロントモードＭ２、及び、バックモードＭ３の４つの動作モードを有している。これらの動作モードは、ドライバの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００８４】
ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ０では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
【００８５】
これに対して、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３は、画像処理装置１００の機能を利用して、撮影画像及び合成画像の少なくとも一つをディスプレイ２１に表示して、車両９の周辺の状況をリアルタイムでユーザに示す動作モードである。
【００８６】
周囲確認モードＭ１は、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現を行う動作モードである。フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す画像を表示する動作モードである。また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す画像を表示する動作モードである。
【００８７】
画像表示システム１２０は起動すると、最初に周囲確認モードＭ１となる。周囲確認モードＭ１の場合には、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にフロントモードＭ２に切り替えられる。また、フロントモードＭ２の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。なお、ドライバからの指示で、周囲確認モードＭ１からフロントモードＭ２に切り替えるようにしてもよい。
【００８８】
また、フロントモードＭ２の場合に走行速度が例えば１０ｋｍ／ｈ以上になったときは、ナビモードＭ０に切り替えられる。逆に、ナビモードＭ０の場合に車速度センサ８２から入力される走行速度が例えば１０ｋｍ／ｈ未満になったときは、フロントモードＭ２に切り替えられる。
【００８９】
車両９の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ２が解除される。逆に、車両９の走行速度が比較的低い場合においては、ドライバは車両９の周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、ナビモードＭ０からフロントモードＭ２に切り替えられる。なお、ナビモードＭ０からフロントモードＭ２に切り替える場合は、走行速度が１０ｋｍ／ｈ未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。
【００９０】
また、ナビモードＭ０あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、車両９の変速装置が”Ｒ（後退）”の位置に操作されているときには、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。
【００９１】
一方、バックモードＭ３の場合に、シフトレバーの位置が”Ｒ（後退）”以外となったときは、その時点の走行速度を基準として、ナビモードＭ０あるいはフロントモードＭ２に切り替えられる。すなわち、走行速度が１０ｋｍ／ｈ以上であればナビモードＭ０に切り替えられ、走行速度が１０ｋｍ／ｈ未満であればフロントモードＭ２に切り替えられる。
【００９２】
以下、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３のそれぞれにおける、車両９の周辺の表示態様について詳細に説明する。
【００９３】
＜１−５．周囲確認モード＞
まず、周囲確認モードＭ１における車両９の周辺の表示態様について説明する。周囲確認モードＭ１においては、１つの表示モードのみがある。周囲確認モードＭ１においては、被写体像として車両９の全周囲の領域を含む合成画像が表示されるが、この合成画像のための仮想視点ＶＰが連続的に変化され、アニメーション表現がなされる。
【００９４】
具体的には、車両９を見下ろすように仮想視点ＶＰが設定され、図１０に示すように、この仮想視点ＶＰが車両９の周辺を周回するように連続的に移動される。仮想視点ＶＰは、最初に車両９の後方に設定された後、右回りで車両９の周辺を周回する。このようにして仮想視点ＶＰが、車両９の左側、前方及び右側を経由して再び後方まで移動すると、車両９の直上まで移動する。このように仮想視点ＶＰが移動されている状態で、複数の合成画像が時間連続して生成される。生成された複数の合成画像は、ナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間連続して表示される。
【００９５】
これにより、図１１に示すように、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現がなされることになる。図１１に示す例では、状態ＳＴ１〜ＳＴ６の順で合成画像ＲＰが順次に表示される。各合成画像ＲＰにおいては、車両９は画像の中心付近に配置されており、車両９とともに車両９の周辺の様子を確認できるようになっている。
【００９６】
ユーザは、周囲確認モードＭ１のこのようなアニメーション表現を視認することで、車両９を目の前にした視点から車両９の全周囲の状況を確認することができ、直感的に車両９の全周囲の障害物と車両９との位置関係を把握できることになる。
【００９７】
＜１−６．フロントモード＞
次に、フロントモードＭ２における車両９の周辺の表示態様について詳細に説明する。図１２は、フロントモードＭ２における表示モードの遷移を示す図である。フロントモードＭ２では、走行俯瞰モードＭ２１、自車確認モードＭ２２、及び、サイドカメラモードＭ２３の３つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。すなわち、表示モードごとに表示される撮影画像及び合成画像が異なっており、表示モードごとに車両の周辺の異なる領域がユーザに示されることになる。これらの画面には、各表示態様における視野範囲を示す視野ガイド９０が表示され、ユーザに対して車両９の周辺のいずれの領域を表示しているかが示されるようになっている。
【００９８】
これらの表示モードは、ユーザが切替スイッチ４３を押下するごとに、走行俯瞰モードＭ２１、自車確認モードＭ２２、サイドカメラモードＭ２３の順で制御部１の制御により切り替えられる。サイドカメラモードＭ２３の場合に切替スイッチ４３を押下すると、再び、走行俯瞰モードＭ２１に戻るようになっている。
【００９９】
走行俯瞰モードＭ２１は、車両９の直上の仮想視点ＶＰからみた車両９の様子を示す合成画像ＦＰ１と、フロントカメラ５１での撮影により得られる撮影画像であるフロント画像ＦＰ２とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、走行俯瞰モードＭ２１では、被写体像として車両９の周辺全体の領域を含む合成画像ＦＰ１と、被写体像として車両９の前方の領域を含むフロント画像ＦＰ２との二つの画像が同一画面上に示される。
【０１００】
走行俯瞰モードＭ２１においては、このような二つの画像ＦＰ１，ＦＰ２を閲覧することができるため、ユーザは、車両９の周囲全体とともに、車両９の進行方向である前方の状況を一目で確認できる。走行俯瞰モードＭ２１は、前進中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
【０１０１】
また、自車確認モードＭ２２は、フロントカメラ５１での撮影により得られる撮影画像であるフロント画像ＦＰ３と、車両９の後方の仮想視点ＶＰからみた車両９の周辺の様子を示す合成画像ＦＰ４とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、自車確認モードＭ２２では、被写体像として車両９の前方の領域を含むフロント画像ＦＰ３と、被写体像として車両９の側方領域を含む合成画像ＦＰ４との二つの画像が同一画面上に示される。
【０１０２】
自車確認モードＭ２２のフロント画像ＦＰ３は、走行俯瞰モードＭ２１のフロント画像ＦＰ２と比較して、左右方向の視野範囲が広く設定されている。このため、見通しの悪い交差点に進入する場合に死角となりやすい車両９の前端より前方かつ左右方向に存在する物体を確認できる。
【０１０３】
また、自車確認モードＭ２２の合成画像ＦＰ４は、走行俯瞰モードＭ２１の合成画像ＦＰ１と比較して仮想視点ＶＰの位置が車両９の後方に移動されているため、車両９の後方の領域は狭くなるものの、車両９の側方領域が確認しやすくなっている。このため、対向車とすれ違う場合などに、対向車とのクリアランスを容易に確認できる。
【０１０４】
自車確認モードＭ２２においては、このような二つの画像ＦＰ３，ＦＰ４を閲覧することができるため、ユーザは、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などの慎重な運転を必要とする状況において、確認すべき領域の状況を一目で確認できる。
【０１０５】
また、サイドカメラモードＭ２３は、左右のサイドカメラ５３での撮影によりそれぞれ得られる撮影画像であるサイド画像ＦＰ５，ＦＰ６を並べて含む画面をディスプレイ２１に表示する表示モードである。サイド画像ＦＰ５，ＦＰ６は、運転席から死角となりやすいフロントフェンダ９４の外側の領域のみを被写体像として含んでいる。
【０１０６】
サイドカメラモードＭ２３においては、このような二つの画像ＦＰ３，ＦＰ４を閲覧することができるため、ユーザは、道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
【０１０７】
＜１−７．バックモード＞
次に、バックモードＭ３における車両９の周辺の表示態様について詳細に説明する。図１３は、バックモードＭ３における表示モードの遷移を示す図である。バックモードＭ３では、駐車俯瞰モードＭ３１、及び、ドアミラーモードＭ３２の２つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。すなわち、表示モードごとに表示される撮影画像及び合成画像が異なっており、表示モードごとに車両の周辺の異なる領域がユーザに示されることになる。これらの画面にも、各表示態様における視野範囲を示す視野ガイド９０が表示され、ユーザに対して車両９の周辺のいずれの領域を表示しているかが示されるようになっている。
【０１０８】
これらの表示モードは、ミラー駆動装置８６から入力されるドアミラー９３の状態に応じて制御部１の制御により切り替えられる。具体的には、ドアミラー９３が通常状態に展開されている場合は駐車俯瞰モードＭ３１となり、ドアミラー９３が格納されている場合はドアミラーモードＭ３２となる。
【０１０９】
駐車俯瞰モードＭ３１は、車両９の直上の仮想視点ＶＰからみた車両９の様子を示す合成画像ＢＰ１と、バックカメラ５２での撮影により得られる撮影画像であるバック画像ＢＰ２とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、駐車俯瞰モードＭ３１では、被写体像として車両９の周辺全体の領域を含む合成画像ＢＰ１と、被写体像として車両９の後方の領域を含むバック画像ＢＰ２との二つの画像が同一画面上に示される。
【０１１０】
駐車俯瞰モードＭ３１においては、このような二つの画像ＢＰ１，ＢＰ２を閲覧することができるため、ユーザは、車両９の周囲全体とともに、車両９の進行方向である後方の状況を一目で確認できる。駐車俯瞰モードＭ３１は、後退中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
【０１１１】
また、ドアミラーモードＭ３２は、左右のサイドカメラ５３での撮影によりそれぞれ得られる撮影画像であるサイド画像ＢＰ３，ＢＰ４を並べて含む画面をディスプレイ２１に表示する表示モードである。サイド画像ＢＰ３，ＢＰ４は、ドアミラー９３が展開している際に、ドアミラー９３に映る範囲とほぼ同様の範囲、具体的には、車両９の側方領域のうちの後方を示すものとなる。
【０１１２】
図１４に示すように、サイドカメラ５３はドアミラー９３に設けられるため、ドアミラー９３が格納された状態となると、その光軸５３ａの方向が車両９の後方に向けられることになる。この状態では、サイドカメラ５３において車両９の側方全体を示す画像を取得できないため、任意の仮想視点からみた合成画像を生成することは難しくなる。しかしながら、光軸５３ａが車両９の後方へ移動するため、車両９の側方領域の後方については比較的歪が少ない撮影画像を取得することができる。ドアミラーモードＭ３２では、このようなサイドカメラ５３の配置を利用して、被写体像として車両９の側方領域の後方を含む二つのサイド画像ＢＰ３，ＢＰ４を生成して表示する。
【０１１３】
ドアミラーモードＭ３２においては、このような二つの画像ＢＰ３，ＢＰ４を閲覧することができるため、ユーザは、駐車環境によってドアミラー９３を格納せざるを得ない場合であっても、ドアミラー９３に映る範囲とほぼ同様の範囲を確認することができる。
【０１１４】
＜１−８．光源の光量の調整＞
このように画像表示システム１２０においては、互いに表示態様が異なる各種の表示モードで車両９の周辺の様子がディスプレイ２１に示されることになるが、周辺環境が比較的暗くて車両９の周辺を示す画像としての明るさが十分に確保できないときは、補助照明部６から補助光による照明を行うことになる。
【０１１５】
表示する画像中の物体の視認性を向上するためには、この補助光の光量を高くする必要がある。しかしながら、補助照明部６の複数の光源６０全てを能力上最大の光量で常に発光させたのでは、電力が無駄に消費される可能性がある。例えば、周辺環境が暗い場合といっても、夕暮れ時に街灯などによりある程度の明るさがあるような場合には、補助光の光量が少なくても、車両の周辺の様子を示すのに十分な明るさの可能な画像を取得できることがある。また、例えば、サイドカメラモードＭ２３においては、フロントフェンダ９４の外側の領域にユーザを注目させる必要があることから、この領域に対応する中央領域ＣＡ（図６参照。）については補助光の光量を高くする必要があるが、前方領域ＦＡや後方領域ＢＡについては補助光の光量を高くする必要性は低い。
【０１１６】
また、複数の光源６０の全てを最大の光量で常に発光させた場合は、一つのサイドカメラユニット７０に流れる電流の合計値が高くなることから、サイドカメラユニット７０を高い電流に対応させるために電気配線や電子部品等のコストが上昇する可能性がある。また、複数の光源６０の全てを最大の光量で常に発光させたのでは、光源６０の劣化が進行し、その耐久性が低下する可能性もある。
【０１１７】
このような問題に対応するため、画像表示システム１２０では、車両の周辺の明るさ、及び、その時点の表示モードに応じて、補助照明部６の複数の光源のそれぞれの光量が個別に調整されるようになっている。
【０１１８】
具体的には、まず、車両の周辺の明るさに基づいて、複数の光源６０のそれぞれについて制御の基準となる光量（以下、「基準光量」という。）が設定される。そして、その複数の光源６０のそれぞれの基準光量に基づいて表示モードに応じた調整がなされ、最終的に制御すべき光量（以下、「制御光量」という。）が決定されるようになっている。
【０１１９】
車両の周辺の明るさと基準光量との対応関係は、不揮発性メモリ４０に記憶された基準光量テーブル４ｂに示されている。基準光量テーブル４ｂでは、車両の周辺の明るさが暗いほど、基準光量が高くなるように設定されている。
【０１２０】
図１５は、この基準光量テーブル４ｂの内容を示す図である。本実施の形態では、撮影部５の４つの車載カメラ５１，５２，５３で取得される４つの撮影画像の平均輝度が、車両の周辺の明るさを示す値として利用される。この平均輝度は、輝度取得部１３によって導出されるものであり、８ビット（０〜２５５）で示される。
【０１２１】
また、光源６０が発光する光量はその光源６０に流れる電流の値に依存するため、本実施の形態では、各光源６０の基準光量は、その基準光量にするために光源６０に流すべき電流の値（ｍＡ）で表現されている。以下、基準光量にするために光源６０に流すべき電流の値を、「基準電流値」という。
【０１２２】
前述のように、側方領域ＳＡの全体をおよそ均一に照明できるように、前方光源６１及び後方光源６２と比較して、中央光源６３の基準光量（正確には、基準電流値）は低く設定されている。
【０１２３】
基準光量テーブル４ｂに示すように、周辺環境が最も暗い場合に相当する平均輝度が「０〜５０」の場合は、前方光源６１の基準電流値は５０（ｍＡ）、中央光源６３の基準電流値は１０（ｍＡ）、後方光源６２の基準電流値は５０（ｍＡ）に設定されている。
【０１２４】
また、平均輝度が「５１〜１００」の場合は、平均輝度が「０〜５０」の場合よりも周辺環境が明るくなっている。このため、平均輝度が「０〜５０」の場合よりも基準電流値が低く設定される。具体的には、前方光源６１の基準電流値は４０（ｍＡ）、中央光源６３の基準電流値は８（ｍＡ）、後方光源６２の基準電流値は４０（ｍＡ）に設定されている。
【０１２５】
さらに、平均輝度が「１０１〜１５０」の場合は、平均輝度が「５１〜１００」の場合よりも周辺環境がさらに明るくなっている。このため、平均輝度が「５１〜１００」の場合よりも基準電流値が低く設定される。具体的には、前方光源６１の基準電流値は３０（ｍＡ）、中央光源６３の基準電流値は６（ｍＡ）、後方光源６２の基準電流値は３０（ｍＡ）に設定されている。
【０１２６】
また、平均輝度が「１５１〜２５５」の場合は、車両の周辺の明るさが十分に明るいため、全ての光源６０は非点灯とされる。
【０１２７】
前方光源６１、中央光源６３及び後方光源６２の全てを、基準光量テーブル４ｂに設定された基準光量で発光させれば、側方領域ＳＡはその全体がおよそ均一に照明されることになる。このような各光源６０に設定された基準光量を、表示モードに応じてどのように調整して制御光量にするかは、不揮発性メモリ４０に記憶された光量調整テーブル４ｃに示されている。
【０１２８】
図１６は、この光量調整テーブル４ｃの内容を示す図である。図に示すように、光量調整テーブル４ｃにおいては、表示モードごとに、前方光源６１、中央光源６３及び後方光源６２それぞれの制御光量の決定手法が記載されている。すなわち、制御光量を基準光量に維持すべき光源６０には「維持」と示され、制御光量を基準光量よりも増加すべき光源６０は「増加」と示され、制御光量を基準光量よりも減少すべき光源６０は「減少」と示されている。
【０１２９】
周囲確認モードＭ１においては、前方光源６１、中央光源６３及び後方光源６２の全てについて「維持」と示されている。周囲確認モードＭ１は、車両９の全周囲の状況を確認するための表示モードであるため（図１１参照。）、車両の周辺において特にユーザに注目させるべき領域は存在しない。このため、全ての光源６０の制御光量は基準光量のまま維持される。
【０１３０】
走行俯瞰モードＭ２１においては、前方光源６１、中央光源６３及び後方光源６２の全てについて「維持」と示されている。走行俯瞰モードＭ２１では、車両９の周辺全体を示す合成画像ＦＰ１が示されることから（図１２参照。）、車両の周辺において特にユーザに注目させるべき領域は存在しない。このため、全ての光源６０の制御光量は基準光量のまま維持される。
【０１３１】
自車確認モードＭ２２においては、前方光源６１及び中央光源６３について「増加」と示され、後方光源６２について「減少」と示されている。自車確認モードＭ２２は、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などに利用される（図１２参照。）。このため、車両９の前方側にユーザを注目させるために、前方光源６１及び中央光源６３の制御光量が基準光量よりも増加され、後方光源６２の制御光量は基準光量よりも減少される。
【０１３２】
サイドカメラモードＭ２３においては、中央光源６３について「増加」と示され、前方光源６１及び後方光源６２については「減少」と示されている。サイドカメラモードＭ２３においては、フロントフェンダ９４の外側の領域のみが示される（図１２参照。）。このため、当該領域にユーザを注目させるために、中央光源６３の制御光量が基準光量よりも増加され、前方光源６１及び後方光源６２の制御光量は基準光量よりも減少される。
【０１３３】
駐車俯瞰モードＭ３１においては、前方光源６１、中央光源６３及び後方光源６２の全てについて「維持」と示されている。駐車俯瞰モードＭ３１では、車両９の周辺全体を示す合成画像ＢＰ１が示されることから（図１３参照。）、車両の周辺において特にユーザに注目させるべき領域は存在しない。このため、全ての光源６０の制御光量は基準光量のまま維持される。
【０１３４】
また、ドアミラーモードＭ３２においては、中央光源６３について「増加」と示され、前方光源６１及び後方光源６２については「減少」と示されている。ドアミラーモードＭ３２においては、車両９の側方領域の後方が示されることになる（図１３参照。）。ただしこの場合、ドアミラー９３が格納されているため、３つの光源６０の光軸の方向も車両９の後方側へ移動される。このため、車両９の側方領域の後方に光軸が向けられた中央光源６３のみの制御光量が基準光量よりも増加され、前方光源６１及び後方光源６２の制御光量は基準光量よりも減少される。
【０１３５】
このように制御光量を決定することは、実際には、その制御光量にするために光源６０に流すべき電流の値（以下、「制御電流値」という。）を決定することに相当する。前方光源６１及び後方光源６２に関しては、制御電流値は、光量調整テーブル４ｃで「増加」と示される場合は基準電流値に対して例えば１０（ｍＡ）増加され、「減少」と示される場合は基準電流値に対して例えば１０（ｍＡ）減少される。また、中央光源６３に関しては、制御電流値は、光量調整テーブル４ｃで「増加」と示される場合は基準電流値に対して例えば２（ｍＡ）増加され、「減少」と示される場合は基準電流値に対して例えば２（ｍＡ）減少されることになる。
【０１３６】
＜１−９．処理フロー＞
次に、上記のような複数の光源６０の光量を個別に調整する処理の流れについて説明する。図１７は、照明制御部１２が光源６０の光量を調整する処理の流れを示す図である。この処理は、照明制御部１２により繰り返し実行されるものである。
【０１３７】
まず、ディスプレイ２１に車両９の周辺の画像を表示させる状態であるかが判定される（ステップＳ１１）。具体的には、動作モードが、ナビモードＭ０以外（周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３のいずれか）であるかが判定される。動作モードがナビモードＭ０の場合は（ステップＳ１１にてＮｏ）、補助照明部６による照明が不要であるため全ての光源６０が消灯される（ステップＳ１７）。
【０１３８】
また、動作モードがナビモードＭ０以外のときには（ステップＳ１１にてＹｅｓ）、次に、補助照明部６による照明が必要な程度に、車両の周辺の明るさが低いか否かが判定される。車両の周辺の明るさは、撮影部５で取得される撮影画像の平均輝度が利用される。輝度取得部１３によって撮影画像の平均輝度が導出され、この平均輝度が所定のしきい値（例えば「１５０」）以下であるか否かが判定される（ステップＳ１２）。撮影画像の平均輝度が所定のしきい値よりも高い場合は（ステップＳ１２にてＮｏ）、補助照明部６による照明が不要であるため全ての光源６０が消灯される（ステップＳ１７）
一方、撮影画像の平均輝度が所定のしきい値よりも低い場合は（ステップＳ１２にてＹｅｓ）、次に、車両の周辺の明るさに基づいて、複数の光源６０それぞれの基準光量が設定される。具体的には、不揮発性メモリ４０内の基準光量テーブル４ｂが参照され、撮影画像の平均輝度に基づいて、複数の光源６０それぞれの基準電流値が取得される（ステップＳ１３）。
【０１３９】
次に、その時点の表示モードが取得される（ステップＳ１４）。そして、複数の光源６０のそれぞれの基準光量に対して表示モードに応じた調整がなされ、制御光量が決定される（ステップＳ１５）。具体的には、不揮発性メモリ４０に記憶された光量調整テーブル４ｃが参照され、表示モードに応じて基準電流値に対する増減がなされ、あるいは、基準電流値が維持されて制御電流値が決定される。
【０１４０】
続いて、各光源６０の電流の値が制御電流値となるように、光源駆動部６９の電流変更部６１ａ，６２ａ，６３ａのそれぞれに照明制御部１２から信号が出力される。これにより、各光源６０ごとに個別に調整された制御光量で各光源６０が発光することになる（ステップＳ１６）。
【０１４１】
以上のように、本実施の形態の画像表示システム１２０では、ディスプレイ２１に表示される画像に被写体像として含まれる車両の周辺の領域に応じて、複数の光源６０のそれぞれの光量を個別に調整する。このため、必要となる一部の光源６０の光量のみを増加させることができる。したがって、複数の光源６０の全てを最大の光量で常に発光させる必要が無いため、消費電力を低減できる。これとともに、光源６０の劣化の進行を抑制してその耐久性を向上できる。
【０１４２】
また、表示モードに応じて、複数の光源６０のうちの一部の光源６０の光量を基準光量よりも増加させ、他の光源６０の光量を基準光量よりも減少させることで、光量が増加した光源６０が照明する領域と光量が減少した光源６０が照明する領域との間のコントラストが高くなり、側方領域ＳＡのうちのユーザに注目させるべき一部の領域（光量が増加した光源６０が照明する領域）を強調することができる。また、一部の光源６０の光量を増加させたとしても、他の光源６０の光量を減少させることから、一つのサイドカメラユニット７０に流れる電流の合計値を抑制できるため、電気配線や電子部品等のコストの上昇を防止できる。
【０１４３】
また、車両の周辺の明るさに応じて光源６０の光量が適切な光量に調整されるため、無駄な照明がなされず、消費電力を有効に低減できる。
【０１４４】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。
【０１４５】
第２の実施の形態では、自車確認モードＭ２２において、ドライバの方向指示器８５のウインカースイッチの操作に応答して、合成画像ＦＰ４の仮想視点ＶＰの視点位置が移動されるようになっている。
【０１４６】
図１８は、自車確認モードＭ２２における画面の状態遷移を示す図である。また、図１９は、仮想視点ＶＰの位置の遷移を示す図である。方向指示器８５から入力されるターン信号がオフの場合、すなわち、方向指示が無い場合は、仮想視点ＶＰの視点位置は車両９の後方における左右略中央の位置ＶＰＣ（図１９参照）、視野方向は車両９の前方方向に設定される。これにより、図１８の状態ＳＴＣに示すように、ディスプレイ２１には、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ４が示される。
【０１４７】
一方、方向指示器８５から入力されるターン信号がオンの場合、すなわち、方向指示が有る場合は、仮想視点ＶＰに関して視野方向は車両９の前方方向のまま、視点位置がターン信号が示す方向の位置に移動される。
【０１４８】
具体的には、ターン信号が左方向を示すときは、仮想視点ＶＰの視点位置は車両９の左サイドの位置ＶＰＬに設定される（図１９参照）。これにより、図１８の状態ＳＴＬに示すように、方向指示器８５のターン信号が示す左方向の側方領域を右方向の側方領域よりも大きく示す合成画像ＦＰ４が、ディスプレイ２１に表示される。
【０１４９】
また、ターン信号が右方向を示すときは、仮想視点ＶＰの視点位置は車両９の右サイドの位置ＶＰＲに設定される（図１９参照）。これにより、図１８の状態ＳＴＲに示すように、方向指示器８５のターン信号が示す右方向の側方領域を左方向の側方領域よりも大きく示す合成画像ＦＰ４がディスプレイ２１に表示される。
【０１５０】
方向指示器８５で指示された方向は、方向変更や幅寄せのときに車両９が移動して接触する物体が存在する可能性が高い。したがって、このように方向指示器８５で指示された方向の側方領域を大きく示すことで、ユーザ（代表的にはドライバ）の注意を接触する可能性のある物体に向けさせることができ、車両９と物体との接触を有効に防止できる。なお、方向指示が解除されると、図１８の状態ＳＴＣに示すように、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ４が表示される状態に戻ることになる。
【０１５１】
また、本実施の形態では、このように方向指示が有る場合は、方向指示が示す方向に配置されたサイドカメラユニット７０の３つの光源６０の光量を、方向指示の逆方向に配置されたサイドカメラユニット７０の３つの光源６０の光量以上とするようになっている。
【０１５２】
図２０は、第２の実施の形態における、光源６０の光量を調整する処理の流れを示す図である。
【０１５３】
図２０に示すステップＳ２１〜Ｓ２５，Ｓ２９の処理は、図１７に示すステップＳ１１〜Ｓ１５，Ｓ１７の処理と同様である。したがって、ステップＳ２５が完了した時点で、表示モードに応じて制御光量（より正確には、制御電流値）が決定されている。
【０１５４】
ステップＳ２５が完了すると、続いて、表示モードが自車確認モードＭ２２で、かつ、方向指示が有るか否かが判定される（ステップＳ２６）。方向指示の有無は、ターン信号に基づいて判断される。表示モードが自車確認モードＭ２２以外の場合や、自車確認モードＭ２２であっても方向指示が無い場合は（ステップＳ２６にてＮｏ）、そのままステップＳ２５で決定された制御光量で各光源６０が発光するように制御される（ステップＳ２８）。
【０１５５】
一方、表示モードが自車確認モードＭ２２で、かつ、方向指示が有る場合は（ステップＳ２６にてＹｅｓ）、方向指示とは逆方向に配置された３つの光源６０全ての制御光量が、基準光量よりも減少した値に再決定される。また、方向指示が示す方向に配置された３つの光源６０の制御光量はそのまま維持される（ステップＳ２７）。そして、再決定された制御光量で各光源６０が発光するように制御されることになる（ステップＳ２８）。
【０１５６】
これにより、方向指示が示す方向の前方光源６１及び中央光源６３の制御光量のみが基準光量よりも増加され、他の光源６０の制御光量は基準光量よりも減少されることになる。その結果、方向指示が示す方向の光源６０の光量がその逆方向の光源６０の光量以上となるため、方向指示が示す方向の側方領域をより強調することができ、ユーザ（代表的にはドライバ）の注意を接触する可能性高い方向に向けさせることができる。なお、この場合において、方向指示の逆方向の光源６０については、制御光量は減少されてはいるものの消灯されるわけではない。このため、仮に方向指示の逆方向に接触する可能性のある物体が存在する場合でも、ユーザはその物体を認識可能である。
【０１５７】
なお、本実施の形態では、自車確認モードＭ２２の場合にのみ、方向指示が示す方向に基づいて光源６０の光量を調整していたが、他の表示モードにおいても同様に、方向指示が示す方向の光源６０の光量がその逆方向の光源６０の光量以上となるようにしてもよい。
【０１５８】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。
【０１５９】
一つのサイドカメラユニット７０に配置される３つの光源６０は、図６に示すように、前方領域ＦＡ、中央領域ＣＡ及び後方領域ＢＡを照明する。このうち、前方領域ＦＡについては、車両９が標準的に備えるヘッドライトによっても照明することが可能である。
【０１６０】
図２１は、車両９のヘッドライト９８が照明可能な領域を示す図である。図中では、ヘッドライト９８によって、周辺環境が暗い場合でも十分な明るさの画像の取得が可能な程度（例えば、０．５ルクス以上）に照明できる領域ＨＡをハッチングで示している。図に示すように、前方領域ＦＡは、ヘッドライト９８が照明可能な領域ＨＡに含まれている。したがって、ヘッドライト９８が点灯している場合は、前方領域ＦＡの光量を高くする必要性は低い。このため、本実施の形態では、ヘッドライト９８が点灯している場合は、前方光源６１の制御光量を基準光量よりも減少させるようになっている。
【０１６１】
図２２は、第３の実施の形態における、光源６０の光量を調整する処理の流れを示す図である。
【０１６２】
図２２に示すステップＳ３１〜Ｓ３５，Ｓ３９の処理は、図１７に示すステップＳ１１〜Ｓ１５，Ｓ１７の処理と同様である。したがって、ステップＳ３５が完了した時点で、表示モードに応じて制御光量（より正確には、制御電流値）が決定されている。
【０１６３】
ステップＳ３５が完了すると、続いて、ヘッドライト９８が点灯されているか否かが判定される（ステップＳ３６）。ヘッドライト９８の点灯状態は、灯火制御装置８４からの信号に基づいて判断される。ヘッドライト９８が点灯していない場合は（ステップＳ３６にてＮｏ）、そのままステップＳ３５で決定された制御光量で各光源６０が発光するように制御される（ステップＳ３８）。
【０１６４】
一方、ヘッドライト９８が点灯している場合は（ステップＳ３６にてＹｅｓ）、前方光源６１の制御光量が基準光量よりも減少した値に再決定される。また、前方光源６１以外の光源６０の制御光量はそのまま維持される（ステップＳ３７）。そして、再決定された制御光量で各光源６０が発光するように制御されることになる（ステップＳ３８）。
【０１６５】
このように、ヘッドライト９８が点灯している場合に前方光源６１の制御光量を基準光量よりも減少させることで、無駄な照明がなされず、消費電力を有効に低減できる。なお、本実施の形態では、走行用灯火装置のうちヘッドライト９８の点灯状態のみを考慮していたが、テールランプやブレーキランプなど他の走行用灯火装置の点灯状態を考慮して各光源６０の光量を調整するようにしてもよい。
【０１６６】
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１６７】
上記実施の形態では、表示モードに応じて複数の光源のそれぞれの光量を個別に調整するようにしている。シフトポジションや走行速度などの車両の走行状態に応じて動作モードが変更され、表示モードは動作モードに応じて変更されることから、上記実施の形態の技術は、車両の走行状態に応じて複数の光源のそれぞれの光量を個別に調整する技術であるともいえる。また、表示モードとは無関係に、車両の走行状態を考慮して複数の光源のそれぞれの光量を個別に調整してもよい。例えば、シフトポジションが”Ｄ（前進）”であれば前方光源６１の制御光量を基準光量よりも増加させ（他の光源６０の光量を基準光量よりも減少させる）、シフトポジションが”Ｒ（後退）”であれば後方光源６２の制御光量を基準光量よりも増加させる（他の光源６０の光量を基準光量よりも減少させる）ことなどが考えられる。また、走行速度が所定以上の場合はドライバに進行方向に集中させるために前方光源６１の制御光量を基準光量よりも増加させ（他の光源６０の光量を基準光量よりも減少させる）、走行速度が所定未満の場合は車両の周辺の確認が必要な場合が多いため全ての光源６０の制御光量を基準光量に維持することなどが考えられる。
【０１６８】
また、上記実施の形態において、制御光量を基準光量よりも減少させると説明した光源に関しては、消灯させてもよい。
【０１６９】
また、上記実施の形態では、車両の周辺の明るさに基づいて基準光量が設定されていたが、基準光量は予め定められた一定の値であってもよい。
【０１７０】
また、上記実施の形態では、車両の周辺の明るさを示す値として撮影画像の平均輝度が利用されていたが、車両の周辺の照度を検出する照度センサを設け、車両の周辺の明るさを示す値としてその照度センサの検出結果を利用してもよい。照度センサは、車両のフロントウインドウ中央上部やダッシュボード上などに取り付けることができる。
【０１７１】
また、上記実施の形態では、複数の光源が照明する車両の周辺の特定領域として車両の側方領域を設定していたが、特定領域としては車両の側方領域には限定されず車両の周囲の任意の領域を設定すればよい。ただし、上記実施の形態のように側方領域を特定領域とすれば、ドライバにとって確認が難しく走行用灯火装置でも照明しにくい側方領域を示す画像を、車両の周辺が暗い場合でも表示できるため有効である。なお、上記実施の形態では、車両の左右双方の側方領域を特定領域としていたが、一方の側方領域のみ（例えば、特に死角となりやすい運転席の逆側の側方領域のみ）を特定領域として設定してもよい。
【０１７２】
また、上記実施の形態では、画像処理装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像処理装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
【０１７３】
また、上記実施の形態では、画像処理装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【０１７４】
また、上記実施の形態において、画像処理装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
【０１７５】
また、上記実施の形態において、信号入力部４１を介して画像処理装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像処理装置１００の制御部１に当該信号を入力すればよい。
【０１７６】
また、上記実施の形態では、車両のドライバが意図する方向指示を方向指示器８５から入力していたが、他の手段によって入力してもよい。例えば、ドライバの目を撮影した画像からドライバの視点の動きを検出し、その検出結果からドライバが意図する方向指示を入力するものであってもよい。
【０１７７】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１７８】
１ 制御部
１２ 照明制御部
１３ 輝度取得部
２１ ディスプレイ
３２ 合成画像生成部
４ｂ 基準光量テーブル
４ｃ 光量調整テーブル
５ 撮影部
６ 補助照明部
６１ 前方光源
６２ 後方光源
６３ 中央光源
【技術分野】
【０００１】
本発明は、車両の周辺の撮影を補助する照明を行う技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをドライバが把握しにくい。これに対して、画像表示システムを利用すれば、車載カメラの撮影によりフロントフェンダの外側領域を示す画像が取得され、その画像が車室内のディスプレイに表示される。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをドライバが容易に確認できることとなる。
【０００４】
このような画像表示システムでは、夜間など周辺環境が暗い場合においては撮影時に十分な露光量が得られず、車両の周辺を示す画像としての明るさが十分に確保できない場合がある。このため、周辺環境が比較的暗い場合には撮影を補助する補助光を発光して撮影対象となる領域を照明し、画像として必要な明るさを確保することも提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１８９０６０号公報
【特許文献２】特許第３２８６３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、近年では、複数の車載カメラで車両の周辺を撮影して得られる複数の撮影画像を利用して、車両の直上や後方などの任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する画像表示システムが提案されている（例えば、特許文献２参照。）。この画像表示システムでは、車両の周囲の全体を示す画像をディスプレイに表示させることも可能である。
【０００７】
このような画像表示システムを利用する場合においても、周辺環境が比較的暗い場合には車両の周囲を照明することが望ましい。画像表示システムで表示可能な領域が広がると、それに伴い、周辺環境が比較的暗い場合に補助光で照明すべき領域についても広がることになる。例えば、車両の側方領域については、車両の前方から後方にわたる比較的広い範囲を補助光で照明する必要がある。
【０００８】
また一方で、人工的な植物や石壁などは補助光を反射しにくい性質があるため、車両の近傍に存在するこれらの被写体像の視認性を向上するために、補助光の光量をより高くしたいという要望がある。
【０００９】
しかしながら、照明すべき領域の全体に関して一律に補助光の光量を高くしたのでは、照明すべき領域が広いために非常に大きな電力が必要となり、補助光での照明に係る消費電力が高くなってしまう。また、常に高い光量で補助光を発光することにより、補助光を発光する光源の劣化が進行し、その耐久性が低下する可能性がある。
【００１０】
本発明は、上記課題に鑑みてなされたものであり、車両の周辺の撮影を補助する照明に係る消費電力を低減できる技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、請求項１の発明は、車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた前記車両の周辺の少なくとも一部の領域を示す合成画像を生成可能な画像生成装置の撮影を補助する照明を行う車載照明装置であって、前記画像生成装置は、前記撮影画像及び前記合成画像のうちの少なくとも一つを表示装置に表示させるものであり、前記車両の周辺の特定領域を分割した複数の領域をそれぞれ照明する複数の光源と、前記表示装置に表示する画像に被写体像として含まれる前記車両の周辺の領域に応じて、前記複数の光源のそれぞれの光量を個別に調整する調整手段と、を備えている。
【００１２】
また、請求項２の発明は、請求項１に記載の車載照明装置において、前記調整手段は、前記複数の光源の一部の光量を基準光量よりも増加させ、他の光源の光量を基準光量よりも減少させる。
【００１３】
また、請求項３の発明は、請求項１または２に記載の車載照明装置において、前記車両の周辺の明るさを取得する取得手段、をさらに備え、前記調整手段は、前記車両の周辺の明るさに応じて、前記複数の光源の光量を調整する。
【００１４】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の車載照明装置において、前記車両の走行に用いる走行用灯火装置の点灯状態を示す信号を入力する手段、をさらに備え、前記調整手段は、前記点灯状態に応じて、前記複数の光源の光量を調整する。
【００１５】
また、請求項５の発明は、請求項１ないし３のいずれかに記載の車載照明装置において、前記車両のドライバが意図する方向指示を入力する手段、をさらに備え、前記複数の光源は、前記車両の左側及び右側にそれぞれ配置され、前記調整手段は、前記方向指示が有るときは、前記方向指示が示す方向に配置された前記複数の光源の光量を、前記方向指示の逆方向に配置された前記複数の光源の光量以上とする。
【００１６】
また、請求項６の発明は、車両に搭載される画像処理装置であって、前記車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成可能な画像生成装置と、前記画像生成装置の撮影を補助する照明を行う請求項１ないし５のいずれかに記載の車載照明装置と、を備えている。
【００１７】
また、請求項７の発明は、車両に搭載される画像表示システムであって、請求項６に記載の画像処理装置と、前記画像処理装置から出力された前記車両の周辺を示す画像を表示する表示装置と、を備えている。
【００１８】
また、請求項８の発明は、車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた前記車両の周辺の少なくとも一部の領域を示す合成画像を生成可能な画像生成装置の撮影を補助する照明を行う照明方法であって、前記撮影画像及び前記合成画像のうちの少なくとも一つを表示装置に表示させる工程と、前記表示装置に表示する画像に被写体像として含まれる前記車両の周辺の領域に応じて、前記車両の周辺の特定領域を分割した複数の領域をそれぞれ照明する複数の光源のそれぞれの光量を個別に調整する工程と、を備えている。
【発明の効果】
【００１９】
請求項１ないし８の発明によれば、表示装置に表示される画像に含まれる車両の周辺の領域に応じて複数の光源のそれぞれの光量を個別に調整するため、必要な一部の光源のみの光量を増加させることができるため、複数の光源全ての光量を増加させる必要が無く、消費電力を低減できる。
【００２０】
また、特に請求項２の発明によれば、複数の光源の一部の光量を基準光量よりも増加させ、他の光源の光量を基準光量よりも減少させることで、消費電力を低減しつつ特定領域の一部を強調してユーザに示すことができる。
【００２１】
また、特に請求項３の発明によれば、光源の光量が車両の周辺の明るさに応じて適切な光量に調整されるため、無駄な照明がなされず消費電力を低減できる。
【００２２】
また、特に請求項４の発明によれば、走行用灯火装置が照明している領域を照明しないことで、無駄な照明がなされず消費電力を低減できる。
【００２３】
また、特に請求項５の発明によれば、ドライバが意図する方向の光源の光量が逆方向の光源の光量以上とされるため、ドライバが注目すべき領域を強調することができる。
【図面の簡単な説明】
【００２４】
【図１】図１は、画像表示システムの構成を示すブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、サイドカメラユニットの外観構成を示す図である。
【図４】図４は、車両の後方から見たサイドカメラユニットの断面図である。
【図５】図５は、車両の左側から見たサイドカメラユニットの断面図である。
【図６】図６は、３つの光源の光軸の車両に対する位置関係を示す図である。
【図７】図７は、３つの光源の光軸の車両に対する位置関係を示す図である。
【図８】図８は、合成画像を生成する手法を説明するための図である。
【図９】図９は、画像表示システムの動作モードの遷移を示す図である。
【図１０】図１０は、周囲確認モードにおける仮想視点の位置の遷移を示す図である。
【図１１】図１１は、周囲確認モードにおける表示例を示す図である。
【図１２】図１２は、フロントモードにおける表示モードの遷移を示す図である。
【図１３】図１３は、バックモードにおける表示モードの遷移を示す図である。
【図１４】図１４は、ドアミラーが格納された状態を示す図である。
【図１５】図１５は、基準光量テーブルの内容を示す図である。
【図１６】図１６は、光量調整テーブルの内容を示す図である。
【図１７】図１７は、第１の実施の形態における、光源の光量を調整する処理の流れを示す図である。
【図１８】図１８は、自車確認モードにおける画面の状態遷移を示す図である。
【図１９】図１９は、仮想視点の位置の遷移を示す図である。
【図２０】図２０は、第２の実施の形態における、光源の光量を調整する処理の流れを示す図である。
【図２１】図２１は、車両のヘッドライトが照明可能な領域を示す図である。
【図２２】図２２は、第３の実施の形態における、光源の光量を調整する処理の流れを示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２６】
＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、第１の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００２７】
図１に示すように、画像表示システム１２０は、車両の周辺を示す画像を生成する画像処理装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像処理装置１００で生成された画像は、ナビゲーション装置２０において表示される。
【００２８】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２９】
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００で生成された車両の周辺の様子を示す画像が表示される。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された画像を受信して表示する表示装置としても機能する。
【００３０】
画像処理装置１００は、その本体部１０が画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。
【００３１】
さらに、画像処理装置１００は、撮影部５の撮影を補助する照明を行う補助照明部６を備えており、撮影部５の撮影を補助する照明を行う車載照明装置としても機能する。補助照明部６は、撮影部５の撮影を補助する補助光を発光する複数の光源６０（本実施の形態では６つの光源６０）を備えている。夜間など周辺環境が暗い場合においては撮影部５での撮影時に十分な露光量が得られず、取得される画像は車両の周辺を示すのに十分に明るさとならないことから、補助照明部６が照明を行う。
【００３２】
撮影部５が備える複数の車載カメラ５１，５２，５３と補助照明部６が備える複数の光源６０とは、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。
【００３３】
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００３４】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像処理装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置に配置される。
【００３５】
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部３１、及び、合成画像生成部３２を主な機能として備えている。
【００３６】
撮影画像調整部３１は、撮影部５で取得された撮影画像を対象とし、表示に利用するための調整を行うものである。具体的には、撮影画像調整部３１は、撮影画像に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。
【００３７】
合成画像生成部３２は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。合成画像生成部３２が合成画像を生成する手法については後述する。
【００３８】
撮影画像調整部３１に調整された撮影画像や合成画像生成部３２により生成された合成画像はさらに表示用の画像に調整され、その後、ナビ通信部４２によってナビゲーション装置２０に出力される。これにより、被写体像として車両の周辺の領域を含む画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００３９】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１、照明制御部１２及び輝度取得部１３は、このようにして実現される制御部１の機能のうちの一部を示している。
【００４０】
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータなどを指示する。
【００４１】
照明制御部１２は、補助照明部６による照明を制御するものである。照明制御部１２は、補助照明部６に含まれる複数の光源６０のそれぞれの光量を個別に調整することが可能である。具体的には、照明制御部１２は、複数の光源６０のそれぞれの光量を決定し、各光源６０が発光する補助光の光量が、決定した光量となるように補助照明部６に信号を出力する。
【００４２】
輝度取得部１３は、４つの車載カメラ５１，５２，５３で取得される４つの撮影画像の各画素の輝度を取得し、その平均輝度を導出する。
【００４３】
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００４４】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａ、基準光量テーブル４ｂ、及び、光量調整テーブル４ｃなどが記憶されている。車種別データ４ａは、合成画像生成部３２が合成画像を生成する際に必要となる車両の種別に応じたデータである。また、基準光量テーブル４ｂ及び光量調整テーブル４ｃは、照明制御部１２が、補助照明部６の複数の光源６０の光量を決定する際に参照するテーブルデータである。
【００４５】
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
【００４６】
メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像表示システム１２０を異なる種別の車両に対応させることも可能である。
【００４７】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速度センサ８２、灯火制御装置８４、方向指示器８５、及び、ミラー駆動装置８６などから、各種情報を示す信号が制御部１に入力される。
【００４８】
シフトセンサ８１からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４９】
灯火制御装置８４は、補助照明部６とは別に車両に標準的に設けられる、車両の通常の走行に用いる走行用灯火装置の制御を行う。走行用灯火装置には、ヘッドライト（前照灯）、スモールランプ（車幅灯）、テールランプ（尾灯）、ブレーキランプ（制動灯）、及び、バックランプ（後退灯）などが含まれる。灯火制御装置８４は、ドライバの操作に応答してヘッドライトやスモールランプを点灯させ、ヘッドライトまたはスモールランプを点灯させるときにはテールランプを点灯させる。また、灯火制御装置８４は、ドライバによりブレーキが踏まれた場合はブレーキランプを点灯させ、シフトポジションが”Ｒ”のときにバックランプを点灯させる。灯火制御装置８４からは、このような各種の走行用灯火装置の点灯状態が入力される。
【００５０】
方向指示器８５からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【００５１】
また、ミラー駆動装置８６は、ドライバの操作に応答して車両のドアミラーを格納／展開する。ミラー駆動装置８６からは、ドアミラーの状態（格納／展開）が入力される。
【００５２】
＜１−２．撮影部及び補助照明部＞
次に、画像処理装置１００の撮影部５及び補助照明部６についてより詳細に説明する。撮影部５及び補助照明部６は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
【００５３】
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００５４】
図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。
【００５５】
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００５６】
これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。
【００５７】
図１に戻り、補助照明部６が備える６つの光源６０は、不可視光である近赤外光を発光するＬＥＤなどで構成される。近赤外光は人間の目には見えないため、補助照明部６の光源６０から車両９の周辺を照明したとしても、車両９の周辺に存在する歩行者などに影響を与えることがない。一方で、車載カメラ５１，５２，５３に採用される撮像素子は、近赤外光の感度を有している。このため、車両９の周辺環境が比較的暗い場合においては、補助照明部６の光源の近赤外光を補助光として車両９の周辺の領域を照明することにより、歩行者などに影響を与えることなく、その領域の状況を示す十分な明るさの画像を取得できる。
【００５８】
補助照明部６の６つの光源６０のうち、３つの光源６０は車両９の左側に配置され、残りの３つの光源６０は車両９の右側に配置される。車両９の左側の３つの光源６０は、車両９の左側の側方領域を分割して得られる複数の領域をそれぞれ照明する。一方、車両９の右側の３つの光源６０は、車両９の右側の側方領域を分割して得られる複数の領域をそれぞれ照明する。
【００５９】
また、車両９の左側の３つの光源６０と、車両９の左側のサイドカメラ５３とは、同一のハウジング内に収容されて一体化され、全体としてサイドカメラユニット７０となっている。同様に、車両９の右側の３つの光源６０と、車両９の右側のサイドカメラ５３とは、同一のハウジング内に収容されて一体化され、全体としてサイドカメラユニット７０となっている。
【００６０】
図３は、左側のサイドカメラユニット７０の外観構成を示す図である。なお、サイドカメラユニット７０の構成や配置は車両９の左右で対称としているため、以降の説明では車両９の左側を例に具体的に説明するが、右側についても同様である。図に示すように、サイドカメラユニット７０は、ブラケット７９を介してドアミラー９３の下側に配置される。
【００６１】
図４は、左側のサイドカメラユニット７０の車両９の後方（＋Ｙ側）から見たＸＺ平面での断面図である。また、図５は、左側のサイドカメラユニット７０の車両９の左側（−Ｘ側）から見たＹＺ平面での断面図である。図４は図５のIV−IV位置での断面図に相当し、図５は図４のＶ−Ｖ位置での断面図に相当する。
【００６２】
これらの図に示すように、サイドカメラユニット７０は、筐体となるハウジング７を有している。このハウジング７内には、サイドカメラ５３、ならびに、補助照明部６の３つの光源６０及び光源駆動部６９が収容されている。３つの光源６０は、具体的には、車両９の前方側の領域を主に照明する前方光源６１と、車両９の後方側の領域を主に照明する後方光源６２と、前方光源６１及び後方光源６２が照明する領域の相互間の領域を主に照明する中央光源６３とである。
【００６３】
光源駆動部６９は、これら３つの光源６０に、車両のバッテリからの電力を供給する。光源駆動部６９は、前方光源６１、後方光源６２及び中央光源６３にそれぞれ対応して、３つの電流変更部６１ａ，６２ａ，６３ａを備えている。各電流変更部６１ａ，６２ａ，６３ａは、対応する光源６１，６２，６３に流れる電流の値を変更可能となっている。光源６０の光量は電流の値に依存するため、このような電流の値の変更により、３つの光源６１，６２，６３の光量が個別に変更される。各光源６１，６２，６３の光量は、制御部１の照明制御部１２から信号で指示される。
【００６４】
サイドカメラ５３は、レンズ５３１と撮像素子５３２とを備えて構成されている。図４に示すように、サイドカメラ５３は、ハウジング７内に配置され、光軸５３ａが車両９の外側に向けられている。サイドカメラ５３は、この光軸５３ａの方向が鉛直方向に対して所定の角度（例えば、約４５度）となるようにハウジング７に固定される。
【００６５】
補助照明部６の３つの光源６０は、ハウジング７内においてサイドカメラ５３よりも内側（＋Ｘ側）に配置されている。３つの光源６１，６２，６３の光軸６１ａ，６２ａ，６３ａは車両９の外側に向けられ、その方向はすべて車両９の前後方向（Ｙ軸方向）から見て鉛直方向に対して所定の角度θ１とされている。角度θ１は、例えば３０度以下とすることが望ましい。
【００６６】
また、図５に示すように、ハウジング７内の中央部分には中央光源６３が配置されるとともに、前方光源６１と後方光源６２とはハウジング７内の中心に関して左右対称に配置されている。車両９の左右方向（Ｘ軸方向）から見て、中央光源６３の光軸６３ａの方向は鉛直方向（Ｚ軸方向）に沿っており、前方光源６１の光軸６１ａの方向は車両９の前方側（−Ｙ側）に傾けられ、後方光源６２の光軸６２ａの方向は車両９の後方側（＋Ｙ側）に傾けられている。そして、前方光源６１の光軸６１ａの方向と後方光源６２の光軸６２ａの方向とは、中央光源６３の光軸６３ａの方向に関して対称とされている。すなわち、中央光源６３の光軸６３ａと前方光源６１の光軸６１ａとでなす角度は、中央光源６３の光軸６３ａと後方光源６２の光軸６２ａとでなす角度に一致し、所定の角度θ２とされている。角度θ２は、例えば６０度以上７０度以下とすることが望ましい。
【００６７】
補助照明部６の３つの光源６０は、上記で説明した位置及び方向となるように、固定部材７１によりハウジング７に固定される。すなわち、３つの光源６０は、その光軸が互いに異なる方向に向けた状態でハウジング７に固定されることになる。これらの光源６０の固定位置の下部に相当するハウジング７の部分には、近赤外光を透過する透過部材７２が採用されている。これにより、光源６０の補助光をハウジング７の外部に投光できるようになっている。
【００６８】
図６及び図７は、左側のサイドカメラユニット７０における３つの光源６０の光軸の車両９に対する位置関係を示す図である。図６は上面図（＋Ｚ側から見た図）、図７は側面図（−Ｘ側から見た図）である。
【００６９】
これらの図に示すように、ドアミラー９３に設けられるサイドカメラユニット７０から、車両９の側面に対しＸ軸方向に５００ｍｍ離間した位置に向けて、３つの光源６０の光軸６１ａ，６２ａ，６３ａが延びている。３つの光源６０の光軸６１ａ，６２ａ，６３ａの方向は互いに異なっている。具体的には、平面視（図６参照）で、中央光源６３の光軸６３ａは車両９の左右方向（Ｘ軸方向）に沿っており、前方光源６１の光軸６１ａは車両９の前方側（−Ｙ側）に向けられ、後方光源６２の光軸６２ａは車両９の後方側（＋Ｙ側）に向けられている。また、側面視（図７参照）で、中央光源６３の光軸６３ａは鉛直方向（Ｚ軸方向）に沿っており、前方光源６１の光軸６１ａは車両９の前方側（−Ｙ側）に向けられ、後方光源６２の光軸６２ａは車両９の後方側（＋Ｙ側）に向けられている。前方光源６１の光軸６１ａの方向と後方光源６２の光軸６２ａの方向とは、中央光源６３の光軸６３ａの方向に関して対称とされている。
【００７０】
このような光軸の配置により、３つの光源６１，６２，６３によって車両９の側方領域ＳＡが分担して照明される。照明対象となる側方領域ＳＡには、車両９に対して相対固定される特定領域が設定されている。具体的には、車両９の前後方向（Ｙ軸方向）においては、車両９の前端よりも約２ｍ前方の位置から車両９のおよそ後端位置までが側方領域ＳＡの範囲となっている。また、車両９の左右方向（Ｘ軸方向）においては、車両９の側面の位置からその外側に約１ｍ離れた位置までが側方領域ＳＡの範囲となっている。
【００７１】
３つの光源６１，６２，６３は、この照明対象となる側方領域ＳＡを分割した複数の領域ＦＡ，ＢＡ，ＣＡをそれぞれ照明する。具体的には、前方光源６１は、照明対象となる側方領域ＳＡのうち、車両９の前端よりも前方の領域（以下、「前方領域」という。）ＦＡを主に照明する。後方光源６２は、照明対象となる側方領域ＳＡのうち、車両９のリアドア９６及びリアフェンダ９７付近の外側の領域（以下、「後方領域」という。）ＢＡを主に照明する。また、中央光源６３は、照明対象となる側方領域ＳＡのうち、前方領域ＦＡと後方領域ＢＡとの間となる、車両９のフロントフェンダ９４及びフロントドア９５付近の外側の領域（以下、「中央領域」という。）ＣＡを主に照明する。
【００７２】
中央光源６３は、前方光源６１及び後方光源６２と比較して、サイドカメラユニット７０の位置（３つの光源６０が配置される位置）から比較的近い領域を照明する。このため、中央光源６３の光量を、前方光源６１及び後方光源６２の光量と同レベルとすると、側方領域ＳＡのうち中央領域ＣＡが他の領域ＦＡ，ＢＡよりも明るく照明され、側方領域ＳＡの全体として明るさが不均一となることが考えられる。このため、車両９の前方側から後方側にわたる車両９の側方領域ＳＡの全体をおよそ均一に照明できるように、中央光源６３については、前方光源６１及び後方光源６２と比較して光量が低くなるように調整されるようになっている。
【００７３】
このように、本実施の形態においては、車両９の同一方向の側方領域ＳＡを照明する３つの光源６０が、同一のハウジング７内に光軸の方向が互いに異なる状態で固定されて収容される。これにより、３つの光源６０がハウジング７によってサイドカメラユニット７０として一体化される。このため、このサイドカメラユニット７０を取り付けるのみで、複数の光源６０を一度に取り付けることができる。また、３つの光源６０への電源ラインや制御ラインなどの電気配線も、一つのサイドカメラユニット７０の位置まで行えばよいことになる。このため、車両９の比較的広範囲な側方領域ＳＡを照明するための複数の光源６０を、簡便かつ低コストに車両９に取り付けることが可能となっている。
【００７４】
＜１−３．合成画像の生成＞
次に、画像生成部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺の少なくとも一部の領域を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図８は、合成画像を生成する手法を説明するための図である。
【００７５】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００７６】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００７７】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
【００７８】
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００７９】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００８０】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺の少なくとも一部の領域を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【００８１】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００８２】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００８３】
＜１−４．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図９は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ０、周囲確認モードＭ１、フロントモードＭ２、及び、バックモードＭ３の４つの動作モードを有している。これらの動作モードは、ドライバの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
【００８４】
ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ０では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
【００８５】
これに対して、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３は、画像処理装置１００の機能を利用して、撮影画像及び合成画像の少なくとも一つをディスプレイ２１に表示して、車両９の周辺の状況をリアルタイムでユーザに示す動作モードである。
【００８６】
周囲確認モードＭ１は、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現を行う動作モードである。フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す画像を表示する動作モードである。また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す画像を表示する動作モードである。
【００８７】
画像表示システム１２０は起動すると、最初に周囲確認モードＭ１となる。周囲確認モードＭ１の場合には、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にフロントモードＭ２に切り替えられる。また、フロントモードＭ２の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。なお、ドライバからの指示で、周囲確認モードＭ１からフロントモードＭ２に切り替えるようにしてもよい。
【００８８】
また、フロントモードＭ２の場合に走行速度が例えば１０ｋｍ／ｈ以上になったときは、ナビモードＭ０に切り替えられる。逆に、ナビモードＭ０の場合に車速度センサ８２から入力される走行速度が例えば１０ｋｍ／ｈ未満になったときは、フロントモードＭ２に切り替えられる。
【００８９】
車両９の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ２が解除される。逆に、車両９の走行速度が比較的低い場合においては、ドライバは車両９の周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、ナビモードＭ０からフロントモードＭ２に切り替えられる。なお、ナビモードＭ０からフロントモードＭ２に切り替える場合は、走行速度が１０ｋｍ／ｈ未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。
【００９０】
また、ナビモードＭ０あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、車両９の変速装置が”Ｒ（後退）”の位置に操作されているときには、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。
【００９１】
一方、バックモードＭ３の場合に、シフトレバーの位置が”Ｒ（後退）”以外となったときは、その時点の走行速度を基準として、ナビモードＭ０あるいはフロントモードＭ２に切り替えられる。すなわち、走行速度が１０ｋｍ／ｈ以上であればナビモードＭ０に切り替えられ、走行速度が１０ｋｍ／ｈ未満であればフロントモードＭ２に切り替えられる。
【００９２】
以下、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３のそれぞれにおける、車両９の周辺の表示態様について詳細に説明する。
【００９３】
＜１−５．周囲確認モード＞
まず、周囲確認モードＭ１における車両９の周辺の表示態様について説明する。周囲確認モードＭ１においては、１つの表示モードのみがある。周囲確認モードＭ１においては、被写体像として車両９の全周囲の領域を含む合成画像が表示されるが、この合成画像のための仮想視点ＶＰが連続的に変化され、アニメーション表現がなされる。
【００９４】
具体的には、車両９を見下ろすように仮想視点ＶＰが設定され、図１０に示すように、この仮想視点ＶＰが車両９の周辺を周回するように連続的に移動される。仮想視点ＶＰは、最初に車両９の後方に設定された後、右回りで車両９の周辺を周回する。このようにして仮想視点ＶＰが、車両９の左側、前方及び右側を経由して再び後方まで移動すると、車両９の直上まで移動する。このように仮想視点ＶＰが移動されている状態で、複数の合成画像が時間連続して生成される。生成された複数の合成画像は、ナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間連続して表示される。
【００９５】
これにより、図１１に示すように、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現がなされることになる。図１１に示す例では、状態ＳＴ１〜ＳＴ６の順で合成画像ＲＰが順次に表示される。各合成画像ＲＰにおいては、車両９は画像の中心付近に配置されており、車両９とともに車両９の周辺の様子を確認できるようになっている。
【００９６】
ユーザは、周囲確認モードＭ１のこのようなアニメーション表現を視認することで、車両９を目の前にした視点から車両９の全周囲の状況を確認することができ、直感的に車両９の全周囲の障害物と車両９との位置関係を把握できることになる。
【００９７】
＜１−６．フロントモード＞
次に、フロントモードＭ２における車両９の周辺の表示態様について詳細に説明する。図１２は、フロントモードＭ２における表示モードの遷移を示す図である。フロントモードＭ２では、走行俯瞰モードＭ２１、自車確認モードＭ２２、及び、サイドカメラモードＭ２３の３つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。すなわち、表示モードごとに表示される撮影画像及び合成画像が異なっており、表示モードごとに車両の周辺の異なる領域がユーザに示されることになる。これらの画面には、各表示態様における視野範囲を示す視野ガイド９０が表示され、ユーザに対して車両９の周辺のいずれの領域を表示しているかが示されるようになっている。
【００９８】
これらの表示モードは、ユーザが切替スイッチ４３を押下するごとに、走行俯瞰モードＭ２１、自車確認モードＭ２２、サイドカメラモードＭ２３の順で制御部１の制御により切り替えられる。サイドカメラモードＭ２３の場合に切替スイッチ４３を押下すると、再び、走行俯瞰モードＭ２１に戻るようになっている。
【００９９】
走行俯瞰モードＭ２１は、車両９の直上の仮想視点ＶＰからみた車両９の様子を示す合成画像ＦＰ１と、フロントカメラ５１での撮影により得られる撮影画像であるフロント画像ＦＰ２とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、走行俯瞰モードＭ２１では、被写体像として車両９の周辺全体の領域を含む合成画像ＦＰ１と、被写体像として車両９の前方の領域を含むフロント画像ＦＰ２との二つの画像が同一画面上に示される。
【０１００】
走行俯瞰モードＭ２１においては、このような二つの画像ＦＰ１，ＦＰ２を閲覧することができるため、ユーザは、車両９の周囲全体とともに、車両９の進行方向である前方の状況を一目で確認できる。走行俯瞰モードＭ２１は、前進中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
【０１０１】
また、自車確認モードＭ２２は、フロントカメラ５１での撮影により得られる撮影画像であるフロント画像ＦＰ３と、車両９の後方の仮想視点ＶＰからみた車両９の周辺の様子を示す合成画像ＦＰ４とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、自車確認モードＭ２２では、被写体像として車両９の前方の領域を含むフロント画像ＦＰ３と、被写体像として車両９の側方領域を含む合成画像ＦＰ４との二つの画像が同一画面上に示される。
【０１０２】
自車確認モードＭ２２のフロント画像ＦＰ３は、走行俯瞰モードＭ２１のフロント画像ＦＰ２と比較して、左右方向の視野範囲が広く設定されている。このため、見通しの悪い交差点に進入する場合に死角となりやすい車両９の前端より前方かつ左右方向に存在する物体を確認できる。
【０１０３】
また、自車確認モードＭ２２の合成画像ＦＰ４は、走行俯瞰モードＭ２１の合成画像ＦＰ１と比較して仮想視点ＶＰの位置が車両９の後方に移動されているため、車両９の後方の領域は狭くなるものの、車両９の側方領域が確認しやすくなっている。このため、対向車とすれ違う場合などに、対向車とのクリアランスを容易に確認できる。
【０１０４】
自車確認モードＭ２２においては、このような二つの画像ＦＰ３，ＦＰ４を閲覧することができるため、ユーザは、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などの慎重な運転を必要とする状況において、確認すべき領域の状況を一目で確認できる。
【０１０５】
また、サイドカメラモードＭ２３は、左右のサイドカメラ５３での撮影によりそれぞれ得られる撮影画像であるサイド画像ＦＰ５，ＦＰ６を並べて含む画面をディスプレイ２１に表示する表示モードである。サイド画像ＦＰ５，ＦＰ６は、運転席から死角となりやすいフロントフェンダ９４の外側の領域のみを被写体像として含んでいる。
【０１０６】
サイドカメラモードＭ２３においては、このような二つの画像ＦＰ３，ＦＰ４を閲覧することができるため、ユーザは、道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
【０１０７】
＜１−７．バックモード＞
次に、バックモードＭ３における車両９の周辺の表示態様について詳細に説明する。図１３は、バックモードＭ３における表示モードの遷移を示す図である。バックモードＭ３では、駐車俯瞰モードＭ３１、及び、ドアミラーモードＭ３２の２つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。すなわち、表示モードごとに表示される撮影画像及び合成画像が異なっており、表示モードごとに車両の周辺の異なる領域がユーザに示されることになる。これらの画面にも、各表示態様における視野範囲を示す視野ガイド９０が表示され、ユーザに対して車両９の周辺のいずれの領域を表示しているかが示されるようになっている。
【０１０８】
これらの表示モードは、ミラー駆動装置８６から入力されるドアミラー９３の状態に応じて制御部１の制御により切り替えられる。具体的には、ドアミラー９３が通常状態に展開されている場合は駐車俯瞰モードＭ３１となり、ドアミラー９３が格納されている場合はドアミラーモードＭ３２となる。
【０１０９】
駐車俯瞰モードＭ３１は、車両９の直上の仮想視点ＶＰからみた車両９の様子を示す合成画像ＢＰ１と、バックカメラ５２での撮影により得られる撮影画像であるバック画像ＢＰ２とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、駐車俯瞰モードＭ３１では、被写体像として車両９の周辺全体の領域を含む合成画像ＢＰ１と、被写体像として車両９の後方の領域を含むバック画像ＢＰ２との二つの画像が同一画面上に示される。
【０１１０】
駐車俯瞰モードＭ３１においては、このような二つの画像ＢＰ１，ＢＰ２を閲覧することができるため、ユーザは、車両９の周囲全体とともに、車両９の進行方向である後方の状況を一目で確認できる。駐車俯瞰モードＭ３１は、後退中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
【０１１１】
また、ドアミラーモードＭ３２は、左右のサイドカメラ５３での撮影によりそれぞれ得られる撮影画像であるサイド画像ＢＰ３，ＢＰ４を並べて含む画面をディスプレイ２１に表示する表示モードである。サイド画像ＢＰ３，ＢＰ４は、ドアミラー９３が展開している際に、ドアミラー９３に映る範囲とほぼ同様の範囲、具体的には、車両９の側方領域のうちの後方を示すものとなる。
【０１１２】
図１４に示すように、サイドカメラ５３はドアミラー９３に設けられるため、ドアミラー９３が格納された状態となると、その光軸５３ａの方向が車両９の後方に向けられることになる。この状態では、サイドカメラ５３において車両９の側方全体を示す画像を取得できないため、任意の仮想視点からみた合成画像を生成することは難しくなる。しかしながら、光軸５３ａが車両９の後方へ移動するため、車両９の側方領域の後方については比較的歪が少ない撮影画像を取得することができる。ドアミラーモードＭ３２では、このようなサイドカメラ５３の配置を利用して、被写体像として車両９の側方領域の後方を含む二つのサイド画像ＢＰ３，ＢＰ４を生成して表示する。
【０１１３】
ドアミラーモードＭ３２においては、このような二つの画像ＢＰ３，ＢＰ４を閲覧することができるため、ユーザは、駐車環境によってドアミラー９３を格納せざるを得ない場合であっても、ドアミラー９３に映る範囲とほぼ同様の範囲を確認することができる。
【０１１４】
＜１−８．光源の光量の調整＞
このように画像表示システム１２０においては、互いに表示態様が異なる各種の表示モードで車両９の周辺の様子がディスプレイ２１に示されることになるが、周辺環境が比較的暗くて車両９の周辺を示す画像としての明るさが十分に確保できないときは、補助照明部６から補助光による照明を行うことになる。
【０１１５】
表示する画像中の物体の視認性を向上するためには、この補助光の光量を高くする必要がある。しかしながら、補助照明部６の複数の光源６０全てを能力上最大の光量で常に発光させたのでは、電力が無駄に消費される可能性がある。例えば、周辺環境が暗い場合といっても、夕暮れ時に街灯などによりある程度の明るさがあるような場合には、補助光の光量が少なくても、車両の周辺の様子を示すのに十分な明るさの可能な画像を取得できることがある。また、例えば、サイドカメラモードＭ２３においては、フロントフェンダ９４の外側の領域にユーザを注目させる必要があることから、この領域に対応する中央領域ＣＡ（図６参照。）については補助光の光量を高くする必要があるが、前方領域ＦＡや後方領域ＢＡについては補助光の光量を高くする必要性は低い。
【０１１６】
また、複数の光源６０の全てを最大の光量で常に発光させた場合は、一つのサイドカメラユニット７０に流れる電流の合計値が高くなることから、サイドカメラユニット７０を高い電流に対応させるために電気配線や電子部品等のコストが上昇する可能性がある。また、複数の光源６０の全てを最大の光量で常に発光させたのでは、光源６０の劣化が進行し、その耐久性が低下する可能性もある。
【０１１７】
このような問題に対応するため、画像表示システム１２０では、車両の周辺の明るさ、及び、その時点の表示モードに応じて、補助照明部６の複数の光源のそれぞれの光量が個別に調整されるようになっている。
【０１１８】
具体的には、まず、車両の周辺の明るさに基づいて、複数の光源６０のそれぞれについて制御の基準となる光量（以下、「基準光量」という。）が設定される。そして、その複数の光源６０のそれぞれの基準光量に基づいて表示モードに応じた調整がなされ、最終的に制御すべき光量（以下、「制御光量」という。）が決定されるようになっている。
【０１１９】
車両の周辺の明るさと基準光量との対応関係は、不揮発性メモリ４０に記憶された基準光量テーブル４ｂに示されている。基準光量テーブル４ｂでは、車両の周辺の明るさが暗いほど、基準光量が高くなるように設定されている。
【０１２０】
図１５は、この基準光量テーブル４ｂの内容を示す図である。本実施の形態では、撮影部５の４つの車載カメラ５１，５２，５３で取得される４つの撮影画像の平均輝度が、車両の周辺の明るさを示す値として利用される。この平均輝度は、輝度取得部１３によって導出されるものであり、８ビット（０〜２５５）で示される。
【０１２１】
また、光源６０が発光する光量はその光源６０に流れる電流の値に依存するため、本実施の形態では、各光源６０の基準光量は、その基準光量にするために光源６０に流すべき電流の値（ｍＡ）で表現されている。以下、基準光量にするために光源６０に流すべき電流の値を、「基準電流値」という。
【０１２２】
前述のように、側方領域ＳＡの全体をおよそ均一に照明できるように、前方光源６１及び後方光源６２と比較して、中央光源６３の基準光量（正確には、基準電流値）は低く設定されている。
【０１２３】
基準光量テーブル４ｂに示すように、周辺環境が最も暗い場合に相当する平均輝度が「０〜５０」の場合は、前方光源６１の基準電流値は５０（ｍＡ）、中央光源６３の基準電流値は１０（ｍＡ）、後方光源６２の基準電流値は５０（ｍＡ）に設定されている。
【０１２４】
また、平均輝度が「５１〜１００」の場合は、平均輝度が「０〜５０」の場合よりも周辺環境が明るくなっている。このため、平均輝度が「０〜５０」の場合よりも基準電流値が低く設定される。具体的には、前方光源６１の基準電流値は４０（ｍＡ）、中央光源６３の基準電流値は８（ｍＡ）、後方光源６２の基準電流値は４０（ｍＡ）に設定されている。
【０１２５】
さらに、平均輝度が「１０１〜１５０」の場合は、平均輝度が「５１〜１００」の場合よりも周辺環境がさらに明るくなっている。このため、平均輝度が「５１〜１００」の場合よりも基準電流値が低く設定される。具体的には、前方光源６１の基準電流値は３０（ｍＡ）、中央光源６３の基準電流値は６（ｍＡ）、後方光源６２の基準電流値は３０（ｍＡ）に設定されている。
【０１２６】
また、平均輝度が「１５１〜２５５」の場合は、車両の周辺の明るさが十分に明るいため、全ての光源６０は非点灯とされる。
【０１２７】
前方光源６１、中央光源６３及び後方光源６２の全てを、基準光量テーブル４ｂに設定された基準光量で発光させれば、側方領域ＳＡはその全体がおよそ均一に照明されることになる。このような各光源６０に設定された基準光量を、表示モードに応じてどのように調整して制御光量にするかは、不揮発性メモリ４０に記憶された光量調整テーブル４ｃに示されている。
【０１２８】
図１６は、この光量調整テーブル４ｃの内容を示す図である。図に示すように、光量調整テーブル４ｃにおいては、表示モードごとに、前方光源６１、中央光源６３及び後方光源６２それぞれの制御光量の決定手法が記載されている。すなわち、制御光量を基準光量に維持すべき光源６０には「維持」と示され、制御光量を基準光量よりも増加すべき光源６０は「増加」と示され、制御光量を基準光量よりも減少すべき光源６０は「減少」と示されている。
【０１２９】
周囲確認モードＭ１においては、前方光源６１、中央光源６３及び後方光源６２の全てについて「維持」と示されている。周囲確認モードＭ１は、車両９の全周囲の状況を確認するための表示モードであるため（図１１参照。）、車両の周辺において特にユーザに注目させるべき領域は存在しない。このため、全ての光源６０の制御光量は基準光量のまま維持される。
【０１３０】
走行俯瞰モードＭ２１においては、前方光源６１、中央光源６３及び後方光源６２の全てについて「維持」と示されている。走行俯瞰モードＭ２１では、車両９の周辺全体を示す合成画像ＦＰ１が示されることから（図１２参照。）、車両の周辺において特にユーザに注目させるべき領域は存在しない。このため、全ての光源６０の制御光量は基準光量のまま維持される。
【０１３１】
自車確認モードＭ２２においては、前方光源６１及び中央光源６３について「増加」と示され、後方光源６２について「減少」と示されている。自車確認モードＭ２２は、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などに利用される（図１２参照。）。このため、車両９の前方側にユーザを注目させるために、前方光源６１及び中央光源６３の制御光量が基準光量よりも増加され、後方光源６２の制御光量は基準光量よりも減少される。
【０１３２】
サイドカメラモードＭ２３においては、中央光源６３について「増加」と示され、前方光源６１及び後方光源６２については「減少」と示されている。サイドカメラモードＭ２３においては、フロントフェンダ９４の外側の領域のみが示される（図１２参照。）。このため、当該領域にユーザを注目させるために、中央光源６３の制御光量が基準光量よりも増加され、前方光源６１及び後方光源６２の制御光量は基準光量よりも減少される。
【０１３３】
駐車俯瞰モードＭ３１においては、前方光源６１、中央光源６３及び後方光源６２の全てについて「維持」と示されている。駐車俯瞰モードＭ３１では、車両９の周辺全体を示す合成画像ＢＰ１が示されることから（図１３参照。）、車両の周辺において特にユーザに注目させるべき領域は存在しない。このため、全ての光源６０の制御光量は基準光量のまま維持される。
【０１３４】
また、ドアミラーモードＭ３２においては、中央光源６３について「増加」と示され、前方光源６１及び後方光源６２については「減少」と示されている。ドアミラーモードＭ３２においては、車両９の側方領域の後方が示されることになる（図１３参照。）。ただしこの場合、ドアミラー９３が格納されているため、３つの光源６０の光軸の方向も車両９の後方側へ移動される。このため、車両９の側方領域の後方に光軸が向けられた中央光源６３のみの制御光量が基準光量よりも増加され、前方光源６１及び後方光源６２の制御光量は基準光量よりも減少される。
【０１３５】
このように制御光量を決定することは、実際には、その制御光量にするために光源６０に流すべき電流の値（以下、「制御電流値」という。）を決定することに相当する。前方光源６１及び後方光源６２に関しては、制御電流値は、光量調整テーブル４ｃで「増加」と示される場合は基準電流値に対して例えば１０（ｍＡ）増加され、「減少」と示される場合は基準電流値に対して例えば１０（ｍＡ）減少される。また、中央光源６３に関しては、制御電流値は、光量調整テーブル４ｃで「増加」と示される場合は基準電流値に対して例えば２（ｍＡ）増加され、「減少」と示される場合は基準電流値に対して例えば２（ｍＡ）減少されることになる。
【０１３６】
＜１−９．処理フロー＞
次に、上記のような複数の光源６０の光量を個別に調整する処理の流れについて説明する。図１７は、照明制御部１２が光源６０の光量を調整する処理の流れを示す図である。この処理は、照明制御部１２により繰り返し実行されるものである。
【０１３７】
まず、ディスプレイ２１に車両９の周辺の画像を表示させる状態であるかが判定される（ステップＳ１１）。具体的には、動作モードが、ナビモードＭ０以外（周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３のいずれか）であるかが判定される。動作モードがナビモードＭ０の場合は（ステップＳ１１にてＮｏ）、補助照明部６による照明が不要であるため全ての光源６０が消灯される（ステップＳ１７）。
【０１３８】
また、動作モードがナビモードＭ０以外のときには（ステップＳ１１にてＹｅｓ）、次に、補助照明部６による照明が必要な程度に、車両の周辺の明るさが低いか否かが判定される。車両の周辺の明るさは、撮影部５で取得される撮影画像の平均輝度が利用される。輝度取得部１３によって撮影画像の平均輝度が導出され、この平均輝度が所定のしきい値（例えば「１５０」）以下であるか否かが判定される（ステップＳ１２）。撮影画像の平均輝度が所定のしきい値よりも高い場合は（ステップＳ１２にてＮｏ）、補助照明部６による照明が不要であるため全ての光源６０が消灯される（ステップＳ１７）
一方、撮影画像の平均輝度が所定のしきい値よりも低い場合は（ステップＳ１２にてＹｅｓ）、次に、車両の周辺の明るさに基づいて、複数の光源６０それぞれの基準光量が設定される。具体的には、不揮発性メモリ４０内の基準光量テーブル４ｂが参照され、撮影画像の平均輝度に基づいて、複数の光源６０それぞれの基準電流値が取得される（ステップＳ１３）。
【０１３９】
次に、その時点の表示モードが取得される（ステップＳ１４）。そして、複数の光源６０のそれぞれの基準光量に対して表示モードに応じた調整がなされ、制御光量が決定される（ステップＳ１５）。具体的には、不揮発性メモリ４０に記憶された光量調整テーブル４ｃが参照され、表示モードに応じて基準電流値に対する増減がなされ、あるいは、基準電流値が維持されて制御電流値が決定される。
【０１４０】
続いて、各光源６０の電流の値が制御電流値となるように、光源駆動部６９の電流変更部６１ａ，６２ａ，６３ａのそれぞれに照明制御部１２から信号が出力される。これにより、各光源６０ごとに個別に調整された制御光量で各光源６０が発光することになる（ステップＳ１６）。
【０１４１】
以上のように、本実施の形態の画像表示システム１２０では、ディスプレイ２１に表示される画像に被写体像として含まれる車両の周辺の領域に応じて、複数の光源６０のそれぞれの光量を個別に調整する。このため、必要となる一部の光源６０の光量のみを増加させることができる。したがって、複数の光源６０の全てを最大の光量で常に発光させる必要が無いため、消費電力を低減できる。これとともに、光源６０の劣化の進行を抑制してその耐久性を向上できる。
【０１４２】
また、表示モードに応じて、複数の光源６０のうちの一部の光源６０の光量を基準光量よりも増加させ、他の光源６０の光量を基準光量よりも減少させることで、光量が増加した光源６０が照明する領域と光量が減少した光源６０が照明する領域との間のコントラストが高くなり、側方領域ＳＡのうちのユーザに注目させるべき一部の領域（光量が増加した光源６０が照明する領域）を強調することができる。また、一部の光源６０の光量を増加させたとしても、他の光源６０の光量を減少させることから、一つのサイドカメラユニット７０に流れる電流の合計値を抑制できるため、電気配線や電子部品等のコストの上昇を防止できる。
【０１４３】
また、車両の周辺の明るさに応じて光源６０の光量が適切な光量に調整されるため、無駄な照明がなされず、消費電力を有効に低減できる。
【０１４４】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。
【０１４５】
第２の実施の形態では、自車確認モードＭ２２において、ドライバの方向指示器８５のウインカースイッチの操作に応答して、合成画像ＦＰ４の仮想視点ＶＰの視点位置が移動されるようになっている。
【０１４６】
図１８は、自車確認モードＭ２２における画面の状態遷移を示す図である。また、図１９は、仮想視点ＶＰの位置の遷移を示す図である。方向指示器８５から入力されるターン信号がオフの場合、すなわち、方向指示が無い場合は、仮想視点ＶＰの視点位置は車両９の後方における左右略中央の位置ＶＰＣ（図１９参照）、視野方向は車両９の前方方向に設定される。これにより、図１８の状態ＳＴＣに示すように、ディスプレイ２１には、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ４が示される。
【０１４７】
一方、方向指示器８５から入力されるターン信号がオンの場合、すなわち、方向指示が有る場合は、仮想視点ＶＰに関して視野方向は車両９の前方方向のまま、視点位置がターン信号が示す方向の位置に移動される。
【０１４８】
具体的には、ターン信号が左方向を示すときは、仮想視点ＶＰの視点位置は車両９の左サイドの位置ＶＰＬに設定される（図１９参照）。これにより、図１８の状態ＳＴＬに示すように、方向指示器８５のターン信号が示す左方向の側方領域を右方向の側方領域よりも大きく示す合成画像ＦＰ４が、ディスプレイ２１に表示される。
【０１４９】
また、ターン信号が右方向を示すときは、仮想視点ＶＰの視点位置は車両９の右サイドの位置ＶＰＲに設定される（図１９参照）。これにより、図１８の状態ＳＴＲに示すように、方向指示器８５のターン信号が示す右方向の側方領域を左方向の側方領域よりも大きく示す合成画像ＦＰ４がディスプレイ２１に表示される。
【０１５０】
方向指示器８５で指示された方向は、方向変更や幅寄せのときに車両９が移動して接触する物体が存在する可能性が高い。したがって、このように方向指示器８５で指示された方向の側方領域を大きく示すことで、ユーザ（代表的にはドライバ）の注意を接触する可能性のある物体に向けさせることができ、車両９と物体との接触を有効に防止できる。なお、方向指示が解除されると、図１８の状態ＳＴＣに示すように、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ４が表示される状態に戻ることになる。
【０１５１】
また、本実施の形態では、このように方向指示が有る場合は、方向指示が示す方向に配置されたサイドカメラユニット７０の３つの光源６０の光量を、方向指示の逆方向に配置されたサイドカメラユニット７０の３つの光源６０の光量以上とするようになっている。
【０１５２】
図２０は、第２の実施の形態における、光源６０の光量を調整する処理の流れを示す図である。
【０１５３】
図２０に示すステップＳ２１〜Ｓ２５，Ｓ２９の処理は、図１７に示すステップＳ１１〜Ｓ１５，Ｓ１７の処理と同様である。したがって、ステップＳ２５が完了した時点で、表示モードに応じて制御光量（より正確には、制御電流値）が決定されている。
【０１５４】
ステップＳ２５が完了すると、続いて、表示モードが自車確認モードＭ２２で、かつ、方向指示が有るか否かが判定される（ステップＳ２６）。方向指示の有無は、ターン信号に基づいて判断される。表示モードが自車確認モードＭ２２以外の場合や、自車確認モードＭ２２であっても方向指示が無い場合は（ステップＳ２６にてＮｏ）、そのままステップＳ２５で決定された制御光量で各光源６０が発光するように制御される（ステップＳ２８）。
【０１５５】
一方、表示モードが自車確認モードＭ２２で、かつ、方向指示が有る場合は（ステップＳ２６にてＹｅｓ）、方向指示とは逆方向に配置された３つの光源６０全ての制御光量が、基準光量よりも減少した値に再決定される。また、方向指示が示す方向に配置された３つの光源６０の制御光量はそのまま維持される（ステップＳ２７）。そして、再決定された制御光量で各光源６０が発光するように制御されることになる（ステップＳ２８）。
【０１５６】
これにより、方向指示が示す方向の前方光源６１及び中央光源６３の制御光量のみが基準光量よりも増加され、他の光源６０の制御光量は基準光量よりも減少されることになる。その結果、方向指示が示す方向の光源６０の光量がその逆方向の光源６０の光量以上となるため、方向指示が示す方向の側方領域をより強調することができ、ユーザ（代表的にはドライバ）の注意を接触する可能性高い方向に向けさせることができる。なお、この場合において、方向指示の逆方向の光源６０については、制御光量は減少されてはいるものの消灯されるわけではない。このため、仮に方向指示の逆方向に接触する可能性のある物体が存在する場合でも、ユーザはその物体を認識可能である。
【０１５７】
なお、本実施の形態では、自車確認モードＭ２２の場合にのみ、方向指示が示す方向に基づいて光源６０の光量を調整していたが、他の表示モードにおいても同様に、方向指示が示す方向の光源６０の光量がその逆方向の光源６０の光量以上となるようにしてもよい。
【０１５８】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。
【０１５９】
一つのサイドカメラユニット７０に配置される３つの光源６０は、図６に示すように、前方領域ＦＡ、中央領域ＣＡ及び後方領域ＢＡを照明する。このうち、前方領域ＦＡについては、車両９が標準的に備えるヘッドライトによっても照明することが可能である。
【０１６０】
図２１は、車両９のヘッドライト９８が照明可能な領域を示す図である。図中では、ヘッドライト９８によって、周辺環境が暗い場合でも十分な明るさの画像の取得が可能な程度（例えば、０．５ルクス以上）に照明できる領域ＨＡをハッチングで示している。図に示すように、前方領域ＦＡは、ヘッドライト９８が照明可能な領域ＨＡに含まれている。したがって、ヘッドライト９８が点灯している場合は、前方領域ＦＡの光量を高くする必要性は低い。このため、本実施の形態では、ヘッドライト９８が点灯している場合は、前方光源６１の制御光量を基準光量よりも減少させるようになっている。
【０１６１】
図２２は、第３の実施の形態における、光源６０の光量を調整する処理の流れを示す図である。
【０１６２】
図２２に示すステップＳ３１〜Ｓ３５，Ｓ３９の処理は、図１７に示すステップＳ１１〜Ｓ１５，Ｓ１７の処理と同様である。したがって、ステップＳ３５が完了した時点で、表示モードに応じて制御光量（より正確には、制御電流値）が決定されている。
【０１６３】
ステップＳ３５が完了すると、続いて、ヘッドライト９８が点灯されているか否かが判定される（ステップＳ３６）。ヘッドライト９８の点灯状態は、灯火制御装置８４からの信号に基づいて判断される。ヘッドライト９８が点灯していない場合は（ステップＳ３６にてＮｏ）、そのままステップＳ３５で決定された制御光量で各光源６０が発光するように制御される（ステップＳ３８）。
【０１６４】
一方、ヘッドライト９８が点灯している場合は（ステップＳ３６にてＹｅｓ）、前方光源６１の制御光量が基準光量よりも減少した値に再決定される。また、前方光源６１以外の光源６０の制御光量はそのまま維持される（ステップＳ３７）。そして、再決定された制御光量で各光源６０が発光するように制御されることになる（ステップＳ３８）。
【０１６５】
このように、ヘッドライト９８が点灯している場合に前方光源６１の制御光量を基準光量よりも減少させることで、無駄な照明がなされず、消費電力を有効に低減できる。なお、本実施の形態では、走行用灯火装置のうちヘッドライト９８の点灯状態のみを考慮していたが、テールランプやブレーキランプなど他の走行用灯火装置の点灯状態を考慮して各光源６０の光量を調整するようにしてもよい。
【０１６６】
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１６７】
上記実施の形態では、表示モードに応じて複数の光源のそれぞれの光量を個別に調整するようにしている。シフトポジションや走行速度などの車両の走行状態に応じて動作モードが変更され、表示モードは動作モードに応じて変更されることから、上記実施の形態の技術は、車両の走行状態に応じて複数の光源のそれぞれの光量を個別に調整する技術であるともいえる。また、表示モードとは無関係に、車両の走行状態を考慮して複数の光源のそれぞれの光量を個別に調整してもよい。例えば、シフトポジションが”Ｄ（前進）”であれば前方光源６１の制御光量を基準光量よりも増加させ（他の光源６０の光量を基準光量よりも減少させる）、シフトポジションが”Ｒ（後退）”であれば後方光源６２の制御光量を基準光量よりも増加させる（他の光源６０の光量を基準光量よりも減少させる）ことなどが考えられる。また、走行速度が所定以上の場合はドライバに進行方向に集中させるために前方光源６１の制御光量を基準光量よりも増加させ（他の光源６０の光量を基準光量よりも減少させる）、走行速度が所定未満の場合は車両の周辺の確認が必要な場合が多いため全ての光源６０の制御光量を基準光量に維持することなどが考えられる。
【０１６８】
また、上記実施の形態において、制御光量を基準光量よりも減少させると説明した光源に関しては、消灯させてもよい。
【０１６９】
また、上記実施の形態では、車両の周辺の明るさに基づいて基準光量が設定されていたが、基準光量は予め定められた一定の値であってもよい。
【０１７０】
また、上記実施の形態では、車両の周辺の明るさを示す値として撮影画像の平均輝度が利用されていたが、車両の周辺の照度を検出する照度センサを設け、車両の周辺の明るさを示す値としてその照度センサの検出結果を利用してもよい。照度センサは、車両のフロントウインドウ中央上部やダッシュボード上などに取り付けることができる。
【０１７１】
また、上記実施の形態では、複数の光源が照明する車両の周辺の特定領域として車両の側方領域を設定していたが、特定領域としては車両の側方領域には限定されず車両の周囲の任意の領域を設定すればよい。ただし、上記実施の形態のように側方領域を特定領域とすれば、ドライバにとって確認が難しく走行用灯火装置でも照明しにくい側方領域を示す画像を、車両の周辺が暗い場合でも表示できるため有効である。なお、上記実施の形態では、車両の左右双方の側方領域を特定領域としていたが、一方の側方領域のみ（例えば、特に死角となりやすい運転席の逆側の側方領域のみ）を特定領域として設定してもよい。
【０１７２】
また、上記実施の形態では、画像処理装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像処理装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
【０１７３】
また、上記実施の形態では、画像処理装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【０１７４】
また、上記実施の形態において、画像処理装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
【０１７５】
また、上記実施の形態において、信号入力部４１を介して画像処理装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像処理装置１００の制御部１に当該信号を入力すればよい。
【０１７６】
また、上記実施の形態では、車両のドライバが意図する方向指示を方向指示器８５から入力していたが、他の手段によって入力してもよい。例えば、ドライバの目を撮影した画像からドライバの視点の動きを検出し、その検出結果からドライバが意図する方向指示を入力するものであってもよい。
【０１７７】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１７８】
１ 制御部
１２ 照明制御部
１３ 輝度取得部
２１ ディスプレイ
３２ 合成画像生成部
４ｂ 基準光量テーブル
４ｃ 光量調整テーブル
５ 撮影部
６ 補助照明部
６１ 前方光源
６２ 後方光源
６３ 中央光源
【特許請求の範囲】
【請求項１】
車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた前記車両の周辺の少なくとも一部の領域を示す合成画像を生成可能な画像生成装置の撮影を補助する照明を行う車載照明装置であって、
前記画像生成装置は、前記撮影画像及び前記合成画像のうちの少なくとも一つを表示装置に表示させるものであり、
前記車両の周辺の特定領域を分割した複数の領域をそれぞれ照明する複数の光源と、
前記表示装置に表示する画像に被写体像として含まれる前記車両の周辺の領域に応じて、前記複数の光源のそれぞれの光量を個別に調整する調整手段と、
を備えることを特徴とする車載照明装置。
【請求項２】
請求項１に記載の車載照明装置において、
前記調整手段は、前記複数の光源の一部の光量を基準光量よりも増加させ、他の光源の光量を基準光量よりも減少させることを特徴とする車載照明装置。
【請求項３】
請求項１または２に記載の車載照明装置において、
前記車両の周辺の明るさを取得する取得手段、
をさらに備え、
前記調整手段は、前記車両の周辺の明るさに応じて、前記複数の光源の光量を調整することを特徴とする車載照明装置。
【請求項４】
請求項１ないし３のいずれかに記載の車載照明装置において、
前記車両の走行に用いる走行用灯火装置の点灯状態を示す信号を入力する手段、
をさらに備え、
前記調整手段は、前記点灯状態に応じて、前記複数の光源の光量を調整することを特徴とする車載照明装置。
【請求項５】
請求項１ないし３のいずれかに記載の車載照明装置において、
前記車両のドライバが意図する方向指示を入力する手段、
をさらに備え、
前記複数の光源は、前記車両の左側及び右側にそれぞれ配置され、
前記調整手段は、前記方向指示が有るときは、前記方向指示が示す方向に配置された前記複数の光源の光量を、前記方向指示の逆方向に配置された前記複数の光源の光量以上とすることを特徴とする車載照明装置。
【請求項６】
車両に搭載される画像処理装置であって、
前記車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成可能な画像生成装置と、
前記画像生成装置の撮影を補助する照明を行う請求項１ないし５のいずれかに記載の車載照明装置と、
を備えることを特徴とする画像処理装置。
【請求項７】
車両に搭載される画像表示システムであって、
請求項６に記載の画像処理装置と、
前記画像処理装置から出力された前記車両の周辺を示す画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項８】
車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた前記車両の周辺の少なくとも一部の領域を示す合成画像を生成可能な画像生成装置の撮影を補助する照明を行う照明方法であって、
前記撮影画像及び前記合成画像のうちの少なくとも一つを表示装置に表示させる工程と、
前記表示装置に表示する画像に被写体像として含まれる前記車両の周辺の領域に応じて、前記車両の周辺の特定領域を分割した複数の領域をそれぞれ照明する複数の光源のそれぞれの光量を個別に調整する工程と、
を備えることを特徴とする照明方法。
【請求項１】
車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた前記車両の周辺の少なくとも一部の領域を示す合成画像を生成可能な画像生成装置の撮影を補助する照明を行う車載照明装置であって、
前記画像生成装置は、前記撮影画像及び前記合成画像のうちの少なくとも一つを表示装置に表示させるものであり、
前記車両の周辺の特定領域を分割した複数の領域をそれぞれ照明する複数の光源と、
前記表示装置に表示する画像に被写体像として含まれる前記車両の周辺の領域に応じて、前記複数の光源のそれぞれの光量を個別に調整する調整手段と、
を備えることを特徴とする車載照明装置。
【請求項２】
請求項１に記載の車載照明装置において、
前記調整手段は、前記複数の光源の一部の光量を基準光量よりも増加させ、他の光源の光量を基準光量よりも減少させることを特徴とする車載照明装置。
【請求項３】
請求項１または２に記載の車載照明装置において、
前記車両の周辺の明るさを取得する取得手段、
をさらに備え、
前記調整手段は、前記車両の周辺の明るさに応じて、前記複数の光源の光量を調整することを特徴とする車載照明装置。
【請求項４】
請求項１ないし３のいずれかに記載の車載照明装置において、
前記車両の走行に用いる走行用灯火装置の点灯状態を示す信号を入力する手段、
をさらに備え、
前記調整手段は、前記点灯状態に応じて、前記複数の光源の光量を調整することを特徴とする車載照明装置。
【請求項５】
請求項１ないし３のいずれかに記載の車載照明装置において、
前記車両のドライバが意図する方向指示を入力する手段、
をさらに備え、
前記複数の光源は、前記車両の左側及び右側にそれぞれ配置され、
前記調整手段は、前記方向指示が有るときは、前記方向指示が示す方向に配置された前記複数の光源の光量を、前記方向指示の逆方向に配置された前記複数の光源の光量以上とすることを特徴とする車載照明装置。
【請求項６】
車両に搭載される画像処理装置であって、
前記車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成可能な画像生成装置と、
前記画像生成装置の撮影を補助する照明を行う請求項１ないし５のいずれかに記載の車載照明装置と、
を備えることを特徴とする画像処理装置。
【請求項７】
車両に搭載される画像表示システムであって、
請求項６に記載の画像処理装置と、
前記画像処理装置から出力された前記車両の周辺を示す画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項８】
車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた前記車両の周辺の少なくとも一部の領域を示す合成画像を生成可能な画像生成装置の撮影を補助する照明を行う照明方法であって、
前記撮影画像及び前記合成画像のうちの少なくとも一つを表示装置に表示させる工程と、
前記表示装置に表示する画像に被写体像として含まれる前記車両の周辺の領域に応じて、前記車両の周辺の特定領域を分割した複数の領域をそれぞれ照明する複数の光源のそれぞれの光量を個別に調整する工程と、
を備えることを特徴とする照明方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−２０５３７６（Ｐ２０１１−２０５３７６Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−７０３１６（Ｐ２０１０−７０３１６）
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]