車載照明装置、画像処理装置及び画像表示システム
【課題】撮影を補助する複数の光源を簡便かつ低コストに車両に取り付ける。
【解決手段】車両の同一方向の側方領域を照明する3つの光源60が、同一のハウジング7内に光軸の方向が互いに異なる状態で固定されて収容される。これにより、3つの光源60がハウジング7によってサイドカメラユニット70として一体化される。このため、このサイドカメラユニット70を取り付けるのみで、複数の光源60を車両に一度に取り付けることができる。その結果、車両9の側方領域を広範囲に照明するための複数の光源60を、簡便かつ低コストに車両に取り付けることができる。
【解決手段】車両の同一方向の側方領域を照明する3つの光源60が、同一のハウジング7内に光軸の方向が互いに異なる状態で固定されて収容される。これにより、3つの光源60がハウジング7によってサイドカメラユニット70として一体化される。このため、このサイドカメラユニット70を取り付けるのみで、複数の光源60を車両に一度に取り付けることができる。その結果、車両9の側方領域を広範囲に照明するための複数の光源60を、簡便かつ低コストに車両に取り付けることができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の周辺の撮影を補助する照明を行う技術に関する。
【背景技術】
【0002】
従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。
【0003】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをドライバが把握しにくい。これに対して、画像表示システムを利用すれば、車載カメラの撮影によりフロントフェンダの外側領域を示す画像が取得され、その画像が車室内のディスプレイに表示される。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをドライバが容易に確認できることとなる。
【0004】
このような画像表示システムでは、夜間など周辺環境が暗い場合においては撮影時に十分な露光量が得られず、車両の周辺を示す画像としての明るさが十分に確保できない場合がある。このため、周辺環境が比較的暗い場合には撮影を補助する補助光を発光して撮影対象となる領域を照明し、画像として必要な明るさを確保することも提案されている(例えば、特許文献1参照。)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−189060号公報
【特許文献2】特許第3286306号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、近年では、複数の車載カメラで車両の周辺を撮影して得られる複数の撮影画像を利用して、車両の直上や後方などの任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する画像表示システムが提案されている(例えば、特許文献2参照。)。この画像表示システムでは、車両の周囲の全体を示す画像をディスプレイに表示させることも可能である。
【0007】
このような画像表示システムを利用する場合においても、周辺環境が比較的暗い場合には車両の周囲を照明することが望ましい。この場合、車両の前方や後方は、車両が標準で備える走行用灯火装置(ヘッドライト、テールランプなど)で照明が可能である。これに対し、車両の側方領域については、標準の走行用灯火装置による照明が届きにくいため、車両の前方から後方にわたる比較的広い範囲を補助光で照明する必要がある。
【0008】
一つの光源で照明できる範囲は限られることから、車両の前方から後方にわたる側方領域全体を照明するためには、複数の光源で分担して照明することが必要となる。この場合においては、例えば、車両の側面における前端から後端にかけての複数の位置(例えば、車両の前端部、中央部、及び、後端部など)にそれぞれ光源を配置することが考えられる。
【0009】
しかしながら、このように車両の側面の複数の位置に光源を配置すると、複数の光源のそれぞれの位置まで電源ラインや制御ラインを配置することが必要となり、複数の光源の車両への取り付けに膨大かつ複雑な作業が必要となる。これにより、複数の光源の取付コストが増大し、さらには、画像表示システムの取付コストが増大してしまう。画像表示システムを車両に対する後付のオプションとして提供する場合には、車両への取り付けが簡便かつ低コストにできることが必要条件となるため、このような問題への解決策が必要となっていた。
【0010】
本発明は、上記課題に鑑みてなされたものであり、撮影を補助する複数の光源を簡便かつ低コストに車両に取り付けることができる技術を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するため、請求項1の発明は、車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置の撮影を補助する照明を行う車載照明装置であって、前記車両の側方領域を照明する複数の光源と、前記複数の光源の光軸を互いに異なる方向に向けた状態で前記複数の光源を固定して収用するハウジングと、を備えている。
【0012】
また、請求項2の発明は、請求項1に記載の車載照明装置において、前記複数の光源は、前記側方領域のうちの前記車両の前方側となる前方領域を主に照明する第1光源と、前記側方領域のうちの前記車両の後方側となる後方領域を主に照明する第2光源と、前記前方領域と前記後方領域との間の領域を主に照明する第3光源と、を含む。
【0013】
また、請求項3の発明は、請求項2に記載の車載照明装置において、前記第1光源の光軸の方向と前記第2光源の光軸の方向とは、前記第3光源の光軸の方向に関して対称となる。
【0014】
また、請求項4の発明は、請求項2または3に記載の車載照明装置において、前記第3光源の光量を、前記第1光源及び前記第2光源よりも少なくする光源駆動手段、をさらに備えている。
【0015】
また、請求項5の発明は、請求項1ないし4のいずれかに記載の車載照明装置において、前記ハウジング内には、前記複数のカメラのうちの前記側方領域を撮影するカメラが収容される。
【0016】
また、請求項6の発明は、請求項1ないし5のいずれかに記載の車載照明装置において、前記複数の光源を選択的に照明させる制御手段、をさらに備えている。
【0017】
また、請求項7の発明は、請求項6に記載の車載照明装置において、前記画像生成装置は、前記車両の周辺の少なくとも一部の領域を示す画像を表示装置に出力して表示させるものであり、をさらに備え、前記制御手段は、前記表示装置に表示させる前記車両の周辺の領域に応じて、前記複数の光源のうちから照明させる光源を選択する。
【0018】
また、請求項8の発明は、請求項6に記載の車載照明装置において、前記車両の走行に用いる走行用灯火装置の点灯状態を示す信号を入力する手段、をさらに備え、前記制御手段は、前記点灯状態に応じて前記複数の光源のうちから照明させる光源を選択する。
【0019】
また、請求項9の発明は、請求項6に記載の車載照明装置において、前記車両のドライバが意図する方向指示を入力する手段、をさらに備え、前記ハウジングは、前記車両の左側及び右側にそれぞれ配置され、前記制御手段は、前記方向指示が有るときは、前記方向指示が示す方向に配置された前記ハウジングに収容された前記複数の光源のうちから照明させる光源を選択する。
【0020】
また、請求項10の発明は、車両に搭載される画像処理装置であって、前記車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置と、前記画像生成装置の撮影を補助する照明を行う請求項1ないし9のいずれかに記載の車載照明装置と、を備えている。
【0021】
また、請求項11の発明は、車両に搭載される画像表示システムであって、請求項10に記載の画像処理装置と、前記画像処理装置から出力された前記車両の周辺を示す画像を表示する表示装置と、を備えている。
【発明の効果】
【0022】
請求項1ないし11の発明によれば、車両の側方領域を照明する複数の光源がハウジングによって光軸の方向が互いに異なる状態で収容される。このため、複数の光源がハウジングによって一体化され、車両の側方領域を広範囲に照明するための複数の光源を、簡便かつ低コストに車両に取り付けることができる。
【0023】
また、特に請求項2の発明によれば、車両の側方領域を車両の前方側から後方側にわたって照明できる。
【0024】
また、特に請求項3の発明によれば、一体化された光源を車両の左右の双方に兼用できるため、汎用性が向上してコスト削減できる。
【0025】
また、特に請求項4の発明によれば、光源の位置から比較的遠い領域を照明する第1光源及び第2光源より、光源の位置から比較的近い領域を照明する第3光源の光量を少なくすることで、車両の側方領域を車両の前方側から後方側にわたっておよそ均一に照明できる。
【0026】
また、特に請求項5の発明によれば、カメラとそのカメラの撮影を補助する複数の光源とがハウジングによって一体化されるため、カメラと光源とを一括して容易に車両に取り付けることができる。
【0027】
また、特に請求項6の発明によれば、複数の光源を選択的に照明させることができることから、不要な光源を照明させないことで消費電力を低減できる。
【0028】
また、特に請求項7の発明によれば、表示させる領域に応じて必要な領域のみを照明でき、消費電力を有効に低減できる。
【0029】
また、特に請求項8の発明によれば、走行用灯火装置が照明している領域を照明しないことで、消費電力を有効に低減できる。
【0030】
また、特に請求項9の発明によれば、ドライバが意図する方向の側方領域が照明されるため、ドライバが注目すべき領域のみを照明することができる。
【図面の簡単な説明】
【0031】
【図1】図1は、画像表示システムの構成を示すブロック図である。
【図2】図2は、車載カメラが車両に配置される位置を示す図である。
【図3】図3は、サイドカメラユニットの外観構成を示す図である。
【図4】図4は、車両の後方から見たサイドカメラユニットの断面図である。
【図5】図5は、車両の左側から見たサイドカメラユニットの断面図である。
【図6】図6は、3つの光源の光軸の車両に対する位置関係を示す図である。
【図7】図7は、3つの光源の光軸の車両に対する位置関係を示す図である。
【図8】図8は、3つの光源への電力供給に係る回路の概略を示す図である。
【図9】図9は、合成画像を生成する手法を説明するための図である。
【図10】図10は、画像表示システムの動作モードの遷移を示す図である。
【図11】図11は、周囲確認モードにおける仮想視点の位置の遷移を示す図である。
【図12】図12は、周囲確認モードにおける表示例を示す図である。
【図13】図13は、フロントモードにおける表示モードの遷移を示す図である。
【図14】図14は、バックモードにおける表示モードの遷移を示す図である。
【図15】図15は、ドアミラーが格納された状態を示す図である。
【図16】図16は、照明テーブルの内容を示す図である。
【図17】図17は、第1の実施の形態における、光源を選択する処理の流れを示す図である。
【図18】図18は、自車確認モードにおける画面の状態遷移を示す図である。
【図19】図19は、仮想視点の位置の遷移を示す図である。
【図20】図20は、第2の実施の形態における、光源を選択する処理の流れを示す図である。
【図21】図21は、車両のヘッドライトが照明可能な領域を示す図である。
【図22】図22は、第3の実施の形態における、光源を選択する処理の流れを示す図である。
【発明を実施するための形態】
【0032】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0033】
<1.第1の実施の形態>
<1−1.システム構成>
図1は、第1の実施の形態の画像表示システム120の構成を示すブロック図である。この画像表示システム120は、車両(本実施の形態では、自動車)に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム120のユーザ(代表的にはドライバ)は、この画像表示システム120を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【0034】
図1に示すように、画像表示システム120は、車両の周辺を示す周辺画像を生成する画像処理装置100と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置20とを主に備えている。画像処理装置100で生成された周辺画像は、ナビゲーション装置20において表示される。
【0035】
ナビゲーション装置20は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ21と、ユーザが操作を行う操作部22と、装置全体を制御する制御部23とを備えている。ディスプレイ21の画面がユーザから視認可能なように、ナビゲーション装置20は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部22とタッチパネルとしてのディスプレイ21とによって受け付けられる。制御部23は、CPU、RAM及びROMなどを備えたコンピュータとして構成され、所定のプログラムに従ってCPUが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【0036】
ナビゲーション装置20は、画像処理装置100と通信可能に接続され、画像処理装置100との間で各種の制御信号の送受信や、画像処理装置100で生成された周辺画像の受信が可能となっている。ディスプレイ21には、制御部23の制御により、通常はナビゲーション装置20単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置100で生成された車両の周辺の様子を示す周辺画像が表示される。これにより、ナビゲーション装置20は、画像処理装置100で生成された周辺画像を受信して表示する表示装置としても機能する。
【0037】
画像処理装置100は、その本体部10が周辺画像を生成する機能を有するECU(Electronic Control Unit)として構成され、車両の所定の位置に配置される。画像処理装置100は、車両の周辺を撮影する撮影部5を備えており、この撮影部5で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。さらに、画像処理装置100は、撮影部5の撮影を補助する照明を行う補助照明部6を備えており、撮影部5の撮影を補助する照明を行う車載照明装置としても機能する。これらの撮影部5が備える複数の車載カメラ51,52,53と補助照明部6が備える複数の光源60とは、本体部10とは別の車両の適位置に配置されるが詳細は後述する。
【0038】
画像処理装置100の本体部10は、装置全体を制御する制御部1と、撮影部5で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部3と、ナビゲーション装置20との間で通信を行うナビ通信部42とを主に備えている。
【0039】
ナビゲーション装置20の操作部22やディスプレイ21によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部42によって受け付けられて制御部1に入力される。また、画像処理装置100は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ43を備えている。この切替スイッチ43からもユーザの指示を示す信号が制御部1に入力される。これにより、画像処理装置100は、ナビゲーション装置20に対するユーザの操作、及び、切替スイッチ43に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ43は、ユーザが操作しやすいように、本体部10とは別に車両の適位置に配置される。
【0040】
画像生成部3は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部31、及び、合成画像生成部32を主な機能として備えている。
【0041】
撮影画像調整部31は、撮影部5で取得された撮影画像について調整を行うものであり、撮影画像の明るさやコントラスト等の画質調整や歪み補正などを行う。撮影画像調整部31は、撮影部5で取得されたままの撮影画像の全体としての明るさを示す平均輝度を参照し、その平均輝度に応じたゲイン調整を行うことで撮影画像の明るさを調整する。具体的には、撮影画像の平均輝度が比較的高い場合はゲイン調整値を小さくし、比較的低い場合はゲイン調整値を大きくする。これにより、車両の周辺環境がある程度暗い場合などにあっても撮影画像が比較的明るく調整されることとなる。しかしながら、夜間など周辺環境が非常に暗い場合においては、このようなゲイン調整を行っても表示する画像としての十分な明るさが得られないため、補助照明部6による照明が必要となる。
【0042】
合成画像生成部32は、撮影部5の複数の車載カメラ51,52,53で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部32が仮想視点からみた合成画像を生成する手法については後述する。
【0043】
撮影画像調整部31に調整された撮影画像や合成画像生成部32により生成された合成画像はさらに表示用の画像に調整され、その後、ナビ通信部42によってナビゲーション装置20に出力される。これにより、車両の周辺を示す周辺画像がナビゲーション装置20のディスプレイ21に表示されることになる。
【0044】
制御部1は、CPU、RAM及びROMなどを備えたコンピュータとして構成され、所定のプログラムに従ってCPUが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部11及び照明制御部12は、このようにして実現される制御部1の機能のうちの一部を示している。
【0045】
画像制御部11は、画像生成部3によって実行される画像処理を制御するものである。例えば、画像制御部11は、合成画像生成部32が生成する合成画像の生成に必要な各種パラメータなどを指示する。
【0046】
照明制御部12は、補助照明部6による照明を制御するものである。照明制御部12は、補助照明部6に含まれる複数の光源60を選択的に照明させることが可能である。具体的には、照明制御部12は、複数の光源60のうちから照明すべき光源60を選択し、選択した光源60のみが照明するように補助照明部6に信号を出力する。
【0047】
また、画像処理装置100の本体部10は、不揮発性メモリ40、カード読取部44、及び、信号入力部41をさらに備えており、これらは制御部1に接続されている。
【0048】
不揮発性メモリ40は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ40には、車種別データ4a、及び、照明テーブル4bが記憶されている。車種別データ4aは、合成画像生成部32が合成画像を生成する際に必要となる車両の種別に応じたデータである。また、照明テーブル4bは、照明制御部12が、補助照明部6の複数の光源60から照明すべき光源60を選択する際に参照するテーブルデータである。
【0049】
カード読取部44は、可搬性の記録媒体であるメモリカードMCの読み取りを行う。カード読取部44は、メモリカードMCの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードMCに記録されたデータを読み取る。カード読取部44で読み取られたデータは、制御部1に入力される。
【0050】
メモリカードMCは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置100はメモリカードMCに記憶された種々のデータを利用できる。例えば、メモリカードMCにプログラムを記憶させ、これを読み出すことで、制御部1の機能を実現するプログラム(ファームウェア)を更新することが可能である。また、メモリカードMCに不揮発性メモリ40に記憶された車種別データ4aとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ40に記憶させることで、画像表示システム120を異なる種別の車両に対応させることも可能である。
【0051】
また、信号入力部41は、車両に設けられた各種装置からの信号を入力する。この信号入力部41を介して、画像表示システム120の外部からの信号が制御部1に入力される。具体的には、シフトセンサ81、車速度センサ82、照度センサ83、灯火制御装置84、方向指示器85、及び、ミラー駆動装置86などから、各種情報を示す信号が制御部1に入力される。
【0052】
シフトセンサ81からは、車両9の変速装置のシフトレバーの操作の位置、すなわち、”P(駐車)”,”D(前進)”,”N(中立)”,”R(後退)”などのシフトポジションが入力される。車速度センサ82からは、その時点の車両9の走行速度(km/h)が入力される。
【0053】
照度センサ83は、車両のフロントウインドウ中央上部やダッシュボード上に取り付けられ、車両の周辺環境の明るさを示す照度を検出する。照度センサ83からは、検出結果となる照度が入力される。
【0054】
灯火制御装置84は、補助照明部6とは別に車両に標準的に設けられる、車両の通常の走行に用いる走行用灯火装置の制御を行う。走行用灯火装置には、ヘッドライト(前照灯)、スモールランプ(車幅灯)、テールランプ(尾灯)、ブレーキランプ(制動灯)、及び、バックランプ(後退灯)などが含まれる。灯火制御装置84は、ドライバの操作に応答してヘッドライトやスモールランプを点灯させ、ヘッドライトまたはスモールランプを点灯させるときにはテールランプを点灯させる。また、灯火制御装置84は、ドライバによりブレーキが踏まれた場合はブレーキランプを点灯させ、シフトポジションが”R”のときにバックランプを点灯させる。灯火制御装置84からは、このような各種の走行用灯火装置の点灯状態が入力される。
【0055】
方向指示器85からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向(左方向あるいは右方向)を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【0056】
また、ミラー駆動装置86は、ドライバの操作に応答して車両のドアミラーを格納/展開する。ミラー駆動装置86からは、ドアミラーの状態(格納/展開)が入力される。
【0057】
<1−2.撮影部及び補助照明部>
次に、画像処理装置100の撮影部5及び補助照明部6について詳細に説明する。撮影部5及び補助照明部6は、制御部1に電気的に接続され、制御部1からの信号に基づいて動作する。
【0058】
撮影部5は、車載カメラであるフロントカメラ51、バックカメラ52及びサイドカメラ53を備えている。これらの車載カメラ51,52,53はそれぞれ、CCDやCMOSなどの撮像素子を備えており電子的に画像を取得する。
【0059】
図2は、車載カメラ51,52,53が車両9に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す3次元のXYZ直交座標を用いる。このXYZ軸は車両9に対して相対的に固定される。ここで、X軸方向は車両9の左右方向に沿い、Y軸方向は車両9の直進方向(前後方向)に沿い、Z軸方向は鉛直方向に沿っている。また、便宜上、+X側を車両9の右側、+Y側を車両9の後側、+Z側を上側とする。
【0060】
フロントカメラ51は、車両9の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸51aは車両9の直進方向(平面視でY軸方向の−Y側)に向けられている。バックカメラ52は、車両9の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸52aは車両9の直進方向の逆方向(平面視でY軸方向の+Y側)に向けられている。また、サイドカメラ53は、左右のドアミラー93にそれぞれ設けられており、その光軸53aは車両9の左右方向(平面視でX軸方向)に沿って外部に向けられている。なお、フロントカメラ51やバックカメラ52の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【0061】
これらの車載カメラ51,52,53のレンズとしては魚眼レンズなどが採用されており、車載カメラ51,52,53は180度以上の画角αを有している。このため、4つの車載カメラ51,52,53を利用することで、車両9の全周囲の撮影が可能となっている。
【0062】
図1に戻り、補助照明部6は、撮影部5の撮影を補助する照明を行う6つの光源60を備えている。各光源60は、不可視光である近赤外光を発光するLEDなどで構成される。近赤外光は人間の目には見えないため、補助照明部6の光源60から車両9の周辺を照明したとしても、車両9の周辺に存在する歩行者などに影響を与えることがない。一方で、車載カメラ51,52,53に採用される撮像素子は、近赤外光の感度を有している。このため、車両9の周辺環境が比較的暗い場合においては、補助照明部6の光源の近赤外光を補助光として車両9の周辺の領域を照明することにより、歩行者などに影響を与えることなく、その領域の状況を示す十分な明るさの画像を取得できる。
【0063】
補助照明部6は、車両9の側方領域を照明する。補助照明部6の6つの光源60のうち、3つの光源60は車両9の左側に配置され、残りの3つの光源60は車両9の右側に配置される。車両9の左側の3つの光源60は、車両9の左側のサイドカメラ53とともに、同一のハウジング内に収容されて一体化され、サイドカメラユニット70を形成する。同様に、車両9の右側の3つの光源60は、車両9の右側のサイドカメラ53とともに、同一のハウジング内に収容されて一体化され、サイドカメラユニット70を形成する。
【0064】
図3は、左側のサイドカメラユニット70の外観構成を示す図である。なお、サイドカメラユニット70の構成や配置は車両9の左右で対称としているため、以降の説明では車両9の左側を例に具体的に説明するが、右側についても同様である。図に示すように、サイドカメラユニット70は、ブラケット79を介してドアミラー93の下側に配置される。
【0065】
図4は、左側のサイドカメラユニット70の車両9の後方(+Y側)から見たXZ平面での断面図である。また、図5は、左側のサイドカメラユニット70の車両9の左側(−X側)から見たYZ平面での断面図である。図5は図4のV−V位置での断面図に相当し、図4は図5のIV−IV位置での断面図に相当する。
【0066】
これらの図に示すように、サイドカメラユニット70は、筐体となるハウジング7を有している。このハウジング7内には、サイドカメラ53、ならびに、補助照明部6の3つの光源60及び光源駆動部69が収容されている。3つの光源60は、具体的には、車両9の前方側の領域を主に照明する前方光源61と、車両9の後方側の領域を主に照明する後方光源62と、前方光源61及び後方光源62が照明する領域の相互間の領域を主に照明する中央光源63とがある。光源駆動部69は、これら3つの光源60に電力を供給して光源60を発光させる。
【0067】
サイドカメラ53は、レンズ531と撮像素子532とを備えて構成されている。図4に示すように、サイドカメラ53は、ハウジング7内に配置され、光軸53aが車両9の外側に向けられている。サイドカメラ53は、この光軸53aの方向が鉛直方向に対して所定の角度(例えば、約45度)となるようにハウジング7に固定される。
【0068】
補助照明部6の3つの光源60は、ハウジング7内においてサイドカメラ53よりも内側(+X側)に配置されている。3つの光源61,62,63の光軸61a,62a,63aは車両9の外側に向けられ、その方向はすべて車両9の前後方向(Y軸方向)から見て鉛直方向に対して所定の角度θ1とされている。角度θ1は、例えば30度以下とすることが望ましい。
【0069】
また、図5に示すように、ハウジング7内の中央部分には中央光源63が配置されるとともに、前方光源61と後方光源62とはハウジング7内の中心に関して左右対称に配置されている。車両9の左右方向(X軸方向)から見て、中央光源63の光軸63aの方向は鉛直方向(Z軸方向)に沿っており、前方光源61の光軸61aの方向は車両9の前方側(−Y側)に傾けられ、後方光源62の光軸62aの方向は車両9の後方側(+Y側)に傾けられている。そして、前方光源61の光軸61aの方向と後方光源62の光軸62aの方向とは、中央光源63の光軸63aの方向に関して対称とされている。すなわち、中央光源63の光軸63aと前方光源61の光軸61aとでなす角度は、中央光源63の光軸63aと後方光源62の光軸62aとでなす角度に一致し、所定の角度θ2とされている。角度θ2は、例えば60度以上70度以下とすることが望ましい。
【0070】
補助照明部6の3つの光源60は、上記で説明した位置及び方向となるように、固定部材71によりハウジング7に固定される。すなわち、3つの光源60は、その光軸が互いに異なる方向に向けた状態でハウジング7に固定されることになる。これらの光源60の固定位置の下部に相当するハウジング7の部分には、近赤外光を透過する透過部材72が採用されている。これにより、光源60の補助光をハウジング7の外部に投光できるようになっている。
【0071】
図6及び図7は、左側のサイドカメラユニット70における3つの光源60の光軸の車両9に対する位置関係を示す図である。図6は上面図(+Z側から見た図)、図7は側面図(−X側から見た図)である。
【0072】
これらの図に示すように、ドアミラー93に設けられるサイドカメラユニット70から、車両9の側面に対しX軸方向に500mm離間した位置に向けて、3つの光源60の光軸61a,62a,63aが延びている。3つの光源60の光軸61a,62a,63aの方向は互いに異なっている。具体的には、平面視(図6参照)で、中央光源63の光軸63aは車両9の左右方向(X軸方向)に沿っており、前方光源61の光軸61aは車両9の前方側(−Y側)に向けられ、後方光源62の光軸62aは車両9の後方側(+Y側)に向けられている。また、側面視(図7参照)で、中央光源63の光軸63aは鉛直方向(Z軸方向)に沿っており、前方光源61の光軸61aは車両9の前方側(−Y側)に向けられ、後方光源62の光軸62aは車両9の後方側(+Y側)に向けられている。前方光源61の光軸61aの方向と後方光源62の光軸62aの方向とは、中央光源63の光軸63aの方向に関して対称とされている。
【0073】
このような光軸の配置により、3つの光源61,62,63によって車両9の側方領域が分担して照明される。照明対象となる側方領域としては、車両9に対して相対固定される所定の領域が設定されている。具体的には、車両9の前後方向(Y軸方向)においては、照明対象となる側方領域は、車両9の前端よりも約2m前方の位置から車両9のおよそ後端位置までである。また、車両9の左右方向(X軸方向)においては、照明対象となる側方領域は、車両9の側面の位置からその外側に約1m離れた位置までである。
【0074】
前方光源61は、照明対象となる側方領域のうち、車両9の前端よりも前方の領域(以下、「前方領域」という。)FAを主に照明する。後方光源62は、照明対象となる側方領域のうち、車両9のリアドア96及びリアフェンダ97付近の外側の領域(以下、「後方領域」という。)BAを主に照明する。また、中央光源63は、照明対象となる側方領域のうち、前方領域FAと後方領域BAとの間となる、車両9のフロントフェンダ94及びフロントドア95付近の外側の領域(以下、「中央領域」という。)CAを主に照明する。
【0075】
このように、本実施の形態においては、車両9の同一方向の側方領域を照明する3つの光源60が、同一のハウジング7内に光軸の方向が互いに異なる状態で固定されて収容される。これにより、3つの光源60がハウジング7によってサイドカメラユニット70として一体化される。このため、このサイドカメラユニット70を取り付けるのみで、複数の光源60を一度に取り付けることができる。また、3つの光源60への電源ラインや制御ラインなどの配線も、一つのサイドカメラユニット70の位置まで行えばよいことになる。このため、車両9の側方領域を広範囲に照明するための複数の光源60を、簡便かつ低コストに車両9に取り付けることが可能となる。
【0076】
また、サイドカメラユニット70のハウジング7内には、3つの光源60とともに、車両9の側方領域を撮影するサイドカメラ53も収容され、3つの光源60とサイドカメラ53とが一体化される。このため、サイドカメラユニット70を取り付けるのみで、サイドカメラ53と複数の光源60とを一括して容易かつ低コストに車両9に取り付けることができる。その結果、画像表示システム120全体としての車両9への取付コストを大きく低減できる。
【0077】
また、サイドカメラユニット70内において、前方光源61の光軸61aの方向と後方光源62の光軸62aの方向とは、中央光源63の光軸63aの方向に関して対称とされている。このため、サイドカメラユニット70を、車両9の左側及び右側のいずれに配置した場合であっても、3つの光源60の光軸の車両9に対する方向を同一とすることができる。したがって、サイドカメラユニット70は、車両9の左側及び右側の双方に兼用できることから、サイドカメラユニット70として左側あるいは右側の専用の装置を用意する必要が無いため、製造コストを低減できる。
【0078】
また、このように側方領域を3つの光源60で分担して照明する場合、側方領域の部分ごとの明るさが照明を担う光源60によって異なってしまい、側方領域の全体として明るさが不均一となることが考えられる。これに対応するため、本実施の形態では、同一のサイドカメラユニット70に配置される3つの光源60の光量を調整するようにしている。
【0079】
図8は、サイドカメラユニット70に設けられる光源駆動部69における、3つの光源60への電力供給に係る回路の概略を示す図である。
【0080】
3つの光源60には、電源ライン691によって、車両9に備えられたバッテリBから所定の電圧Vcc(例えば、6V)の電力が供給される。前方光源61と後方光源62とは直列に接続され、所定の抵抗692を介して電源ライン691に接続される。一方、中央光源63は、前方光源61及び後方光源62の経路とは別の並列経路で、所定の抵抗693を介して電源ライン691に接続される。
【0081】
このため、前方光源61及び後方光源62には同一の電流I1が流れ、中央光源63には電流I1とは異なる電流I2が流れる。3つの光源61,62,63の抵抗値は同一である。また、中央光源63と直列に接続される抵抗693は、前方光源61及び後方光源62に直列に接続される抵抗692よりも、抵抗値が大きくされている。これにより、中央光源63に流れる電流I2は、前方光源61及び後方光源62に流れる電流I1よりも小さくなっている。例えば、電流I2は、電流I1の30%未満であることが望ましく、さらには、20%未満であることが望ましい。
【0082】
光源60の光量は電流に依存するため、このような電流の調整により、前方光源61及び後方光源62の光量は同一となる一方で、中央光源63の光量は前方光源61及び後方光源62よりも少なくなる。中央光源63は、前方光源61及び後方光源62と比較して、サイドカメラユニット70の位置(3つの光源60が配置される位置)から比較的近い領域を照明する。このため、このように中央光源63の光量を相対的に少なくすることで、車両9の前方側から後方側にわたる車両9の側方領域の全体をおよそ均一に照明できることになる。
【0083】
なお、本実施の形態のように、同一のハウジング7内に3つの光源60を配置すると、光源60による発熱も問題となる。このため、光源駆動部69において、電流I1、電流I2、及び、その他の電流(光源60以外に流れる電流)の合計値を所定値(例えば、200mA)未満に制限して、光源60等による発熱を抑制することが望ましい。これは、抵抗692,693の値を調整することで実現できる。
【0084】
<1−3.画像変換処理>
次に、画像生成部3の合成画像生成部32が、撮影部5で得られた複数の撮影画像に基づいて車両9の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ40に予め記憶された車種別データ4aが利用される。図9は、合成画像を生成する手法を説明するための図である。
【0085】
撮影部5のフロントカメラ51、バックカメラ52及びサイドカメラ53で同時に撮影が行われると、車両9の前方、後方、左側方、及び、右側方をそれぞれ示す4つの撮影画像P1〜P4が取得される。すなわち、撮影部5で取得される4つの撮影画像P1〜P4には、撮影時点の車両9の全周囲を示す情報が含まれていることになる。
【0086】
次に、4つの撮影画像P1〜P4の各画素が、仮想的な三次元空間における立体曲面SPに投影される。立体曲面SPは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両9が存在する位置として定められている。撮影画像P1〜P4に含まれる各画素の位置と、この立体曲面SPの各画素の位置とは予め対応関係が定められている。このため、立体曲面SPの各画素の値は、この対応関係と撮影画像P1〜P4に含まれる各画素の値とに基づいて決定できる。
【0087】
撮影画像P1〜P4の各画素の位置と立体曲面SPの各画素の位置との対応関係は、車両9における4つの車載カメラ51,52,53の配置(相互間距離、地上高さ、光軸角度等)に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ40に記憶された車種別データ4aに含まれている。
【0088】
また、車種別データ4aに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両9の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面SPが設定される三次元空間において、車両9の位置と定められた略半球状の中心部分に配置される。
【0089】
さらに、立体曲面SPが存在する三次元空間に対して、制御部1により仮想視点VPが設定される。仮想視点VPは、視点位置と視野方向とで規定され、この三次元空間における車両9の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【0090】
そして、設定された仮想視点VPに応じて、立体曲面SPにおける必要な領域が画像として切り出される。仮想視点VPと、立体曲面SPにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ40等に予め記憶されている。一方で、設定された仮想視点VPに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両9及びその車両9の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【0091】
例えば、視点位置が車両9の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点VP1を設定した場合は、車両9の略直上から車両9を見下ろすように、車両9(実際には車両像)及び車両9の周辺の様子を示す合成画像CP1が生成される。また、図中に示すように、視点位置が車両9の位置の左後方で、視野方向が車両9における略前方とした仮想視点VP2を設定した場合は、車両9の左後方からその周辺全体を見渡すように、車両9(実際には車両像)及び車両9の周辺の様子を示す合成画像CP2が生成される。
【0092】
なお、実際に合成画像を生成する場合においては、立体曲面SPの全ての画素の値を決定する必要はなく、設定された仮想視点VPに対応して必要となる領域の画素の値のみを撮影画像P1〜P4に基づいて決定することで、処理速度を向上できる。
【0093】
<1−4.動作モード>
次に、画像表示システム120の動作モードについて説明する。図10は、画像表示システム120の動作モードの遷移を示す図である。画像表示システム120は、ナビモードM0、周囲確認モードM1、フロントモードM2、及び、バックモードM3の4つの動作モードを有している。これらの動作モードは、ドライバの操作や車両9の走行状態に応じて制御部1の制御により切り替えられるようになっている。
【0094】
ナビモードM0は、ナビゲーション装置20の機能により、ナビゲーション案内用の地図画像などをディスプレイ21に表示する動作モードである。ナビモードM0では、画像処理装置100の機能が利用されず、ナビゲーション装置20単体の機能で各種の表示がなされる。このため、ナビゲーション装置20が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
【0095】
これに対して、周囲確認モードM1、フロントモードM2及びバックモードM3は、画像処理装置100の機能を利用して、車両9の周辺の状況をリアルタイムで示す表示用画像をディスプレイ21に表示する動作モードである。
【0096】
周囲確認モードM1は、車両9を見下ろした状態で車両9の周囲を周回するようなアニメーション表現を行う動作モードである。フロントモードM2は、前進時に必要となる車両9の前方や側方を主に示す表示用画像を表示する動作モードである。また、バックモードM3は、後退時に必要となる車両9の後方を主に示す表示用画像を表示する動作モードである。
【0097】
画像表示システム120は起動すると、最初に周囲確認モードM1となる。周囲確認モードM1の場合には、車両9の周囲を周回するようなアニメーション表現がなされた後に所定時間(例えば、6秒)が経過すると、自動的にフロントモードM2に切り替えられる。また、フロントモードM2の場合において、走行速度が例えば0km/hの状態(停止状態)で切替スイッチ43が所定時間以上継続して押下されると、周囲確認モードM1に切り替えられる。なお、ドライバからの指示で、周囲確認モードM1からフロントモードM2に切り替えるようにしてもよい。
【0098】
また、フロントモードM2の場合に走行速度が例えば10km/h以上になったときは、ナビモードM0に切り替えられる。逆に、ナビモードM0の場合に車速度センサ82から入力される走行速度が例えば10km/h未満になったときは、フロントモードM2に切り替えられる。
【0099】
車両9の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードM2が解除される。逆に、車両9の走行速度が比較的低い場合においては、ドライバは車両9の周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、ナビモードM0からフロントモードM2に切り替えられる。なお、ナビモードM0からフロントモードM2に切り替える場合は、走行速度が10km/h未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。
【0100】
また、ナビモードM0あるいはフロントモードM2の場合に、シフトセンサ81から入力されるシフトレバーの位置が”R(後退)”となったときは、バックモードM3に切り替えられる。すなわち、車両9の変速装置が”R(後退)”の位置に操作されているときには、車両9は後退する状態であるため、車両9の後方を主に示すバックモードM3に切り替えられる。
【0101】
一方、バックモードM3の場合に、シフトレバーの位置が”R(後退)”以外となったときは、その時点の走行速度を基準として、ナビモードM0あるいはフロントモードM2に切り替えられる。すなわち、走行速度が10km/h以上であればナビモードM0に切り替えられ、走行速度が10km/h未満であればフロントモードM2に切り替えられる。
【0102】
以下、周囲確認モードM1、フロントモードM2及びバックモードM3のそれぞれにおける、車両9の周辺の表示態様について詳細に説明する。
【0103】
<1−5.周囲確認モード>
まず、周囲確認モードM1における車両9の周辺の表示態様について説明する。周囲確認モードM1においては、図11に示すように、車両9を見下ろすように仮想視点VPが設定され、車両9の周辺を周回するように仮想視点VPが連続的に移動される。仮想視点VPは、最初に車両9の後方に設定された後、右回りで車両9の周辺を周回する。このようにして仮想視点VPが、車両9の左側、前方及び右側を経由して再び後方まで移動すると、車両9の直上まで移動する。
【0104】
このように仮想視点VPが移動されている状態で、複数の合成画像が時間連続して生成される。生成された複数の合成画像は、ナビゲーション装置20に順次に出力されて、ディスプレイ21に時間連続して表示される。
【0105】
これにより、図12に示すように、車両9を見下ろした状態で車両9の周囲を周回するようなアニメーション表現がなされることになる。図12の示す例では、状態ST1〜ST6の順で合成画像RPが順次に表示される。各合成画像RPにおいては、車両9は画像の中心付近に配置されており、車両9とともに車両9の周辺の様子を確認できるようになっている。
【0106】
ユーザは、周囲確認モードM1のこのようなアニメーション表現を視認することで、車両9を目の前にした視点から車両9の全周囲の状況を確認することができ、直感的に車両9の全周囲の障害物と車両9との位置関係を把握できることになる。
【0107】
<1−6.フロントモード>
次に、フロントモードM2における車両9の周辺の表示態様について詳細に説明する。図13は、フロントモードM2における表示モードの遷移を示す図である。フロントモードM2では、走行俯瞰モードM21、自車確認モードM22、及び、サイドカメラモードM23の3つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの画面には、各表示態様における視野範囲を示す視野ガイド90が表示され、ユーザに対して車両9の周辺のいずれの領域を表示しているかが示されるようになっている。
【0108】
これらの表示モードは、ユーザが切替スイッチ43を押下するごとに、走行俯瞰モードM21、自車確認モードM22、サイドカメラモードM23の順で制御部1の制御により切り替えられる。サイドカメラモードM23の場合に切替スイッチ43を押下すると、再び、走行俯瞰モードM21に戻るようになっている。
【0109】
走行俯瞰モードM21は、車両9の直上の仮想視点VPからみた車両9の様子を示す合成画像FP1と、フロントカメラ51での撮影により得られるフロント画像FP2とを並べて含む画面をディスプレイ21に表示する表示モードである。すなわち、走行俯瞰モードM21では、車両9の周辺全体を示す合成画像FP1と、車両9の前方を示すフロント画像FP2との二つの画像が同一画面上に示される。
【0110】
走行俯瞰モードM21においては、このような二つの画像FP1,FP2を閲覧することができるため、ユーザは、車両9の周囲全体とともに、車両9の進行方向である前方の状況を一目で確認できる。走行俯瞰モードM21は、前進中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
【0111】
また、自車確認モードM22は、フロントカメラ51での撮影により得られるフロント画像FP3と、車両9の後方の仮想視点VPからみた車両9の様子を示す合成画像FP4とを並べて含む画面をディスプレイ21に表示する表示モードである。すなわち、自車確認モードM22では、車両9の前方を示すフロント画像FP3と、車両9の側方を示す合成画像FP4との二つの画像が同一画面上に示される。
【0112】
自車確認モードM22のフロント画像FP3は、走行俯瞰モードM21のフロント画像FP2と比較して、左右方向の視野範囲が広く設定されている。このため、見通しの悪い交差点に進入する場合に死角となりやすい車両9の前端より前方かつ左右方向に存在する物体を確認できる。
【0113】
また、自車確認モードM22の合成画像FP4は、走行俯瞰モードM21の合成画像FP1と比較して仮想視点VPの位置が車両9の後方に移動されているため、車両9の後方を示す領域は狭くなるものの、車両9の側方が確認しやすくなっている。このため、対向車とすれ違う場合などに、対向車とのクリアランスを容易に確認できる。
【0114】
自車確認モードM22においては、このような二つの画像FP3,FP4を閲覧することができるため、ユーザは、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などの慎重な運転を必要とする状況において、確認すべき領域の状況を一目で確認できる。
【0115】
また、サイドカメラモードM23は、左右のサイドカメラ53での撮影によりそれぞれ得られるサイド画像FP5,FP6を並べて含む画面をディスプレイ21に表示する表示モードである。サイド画像FP5,FP6は、運転席から死角となりやすいフロントフェンダ94の外側のみを示している。
【0116】
サイドカメラモードM23においては、このような二つの画像FP3,FP4を閲覧することができるため、ユーザは、道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
【0117】
<1−7.バックモード>
次に、バックモードM3における車両9の周辺の表示態様について詳細に説明する。図14は、バックモードM3における表示モードの遷移を示す図である。バックモードM3では、駐車俯瞰モードM31、及び、ドアミラーモードM32の2つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの画面にも、各表示態様における視野範囲を示す視野ガイド90が表示され、ユーザに対して車両9の周辺のいずれの領域を表示しているかが示されるようになっている。
【0118】
これらの表示モードは、ミラー駆動装置86から入力されるドアミラー93の状態に応じて制御部1の制御により切り替えられる。具体的には、ドアミラー93が通常状態に展開されている場合は駐車俯瞰モードM31となり、ドアミラー93が格納されている場合はドアミラーモードM32となる。
【0119】
駐車俯瞰モードM31は、車両9の直上の仮想視点VPからみた車両9の様子を示す合成画像BP1と、バックカメラ52での撮影により得られるバック画像BP2とを並べて含む画面をディスプレイ21に表示する表示モードである。すなわち、駐車俯瞰モードM31では、車両9の周辺全体を示す合成画像BP1と、車両9の後方を示すバック画像BP2との二つの画像が同一画面上に示される。
【0120】
駐車俯瞰モードM31においては、このような二つの画像BP1,BP2を閲覧することができるため、ユーザは、車両9の周囲全体とともに、車両9の進行方向である後方の状況を一目で確認できる。駐車俯瞰モードM31は、後退中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
【0121】
また、ドアミラーモードM32は、左右のサイドカメラ53での撮影によりそれぞれ得られるサイド画像BP3,BP4を並べて含む画面をディスプレイ21に表示する表示モードである。サイド画像BP3,BP4は、ドアミラー93が展開している際に、ドアミラー93に映る範囲とほぼ同様の範囲、具体的には、車両9の側方領域のうちの後方を示すものとなる。
【0122】
図15に示すように、サイドカメラ53はドアミラー93に設けられるため、ドアミラー93が格納された状態となると、その光軸53aの方向が車両9の後方に向けられることになる。この状態では、サイドカメラ53において車両9の側方全体を示す画像を取得できないため、任意の仮想視点からみた合成画像を生成することは難しくなる。しかしながら、光軸53aが車両9の後方へ移動するため、車両9の側方領域の後方については比較的歪が少ない撮影画像を取得することができる。ドアミラーモードM32では、このようなサイドカメラ53で取得された撮影画像を利用して、車両9の側方領域の後方を示す二つの画像BP3,BP4を生成して表示する。
【0123】
ドアミラーモードM32においては、このような二つの画像BP3,BP4を閲覧することができるため、ユーザは、駐車環境によってドアミラー93を格納せざるを得ない場合であっても、ドアミラー93に映る範囲とほぼ同様の範囲を確認することができる。
【0124】
<1−8.光源の選択>
このように画像表示システム120においては、各種の表示態様で車両9の周辺の様子がディスプレイ21に示されることになるが、周辺環境が比較的暗くて車両9の周辺を示す画像としての明るさが十分に確保できないときは、補助照明部6で照明を行うことになる。
【0125】
ただし、補助照明部6の複数の光源60をすべて一律に照明したのでは、電力が無駄に消費される可能性がある。例えば、サイドカメラモードM23においては、フロントフェンダ94の外側のみが示されることから、図6における中央領域CAのみを照明すれば必要な画像が取得でき、前方領域FAや後方領域BAを照明する必要性は低い。
【0126】
このため、画像表示システム120では、照明制御部12が、その時点の表示モードに応じて、補助照明部6の複数の光源のうちから照明させる光源60を選択し、選択した光源60のみを照明させるようになっている。これにより、その時点においてディスプレイ21に表示されている車両9の周辺の領域に応じた光源60が選択され、表示に必要な領域のみが主に照明されることになる。
【0127】
このような表示モードと、照明制御部12が選択する光源60との対応関係は予め定められており、その対応関係は、不揮発性メモリ40に記憶された照明テーブル4bに示されている。
【0128】
図16は、この照明テーブル4bの内容を示す図である。図に示すように、照明テーブル4bにおいては、表示モードごとに、前方光源61、中央光源63及び後方光源62のいずれを照明するかが記載されている。照明テーブル4bにおいて、照明すべき光源60は「ON」と示され、照明しない光源60は「OFF」と示されている。
【0129】
周囲確認モードM1においては、前方光源61、中央光源63及び後方光源62の全てが照明すべき光源60として示されている。周囲確認モードM1は、車両9の全周囲の状況を確認するための表示モードであるため、できるだけ広い範囲を照明することが望ましい。このため、全ての光源60が照明する光源60として選択されることになる。
【0130】
走行俯瞰モードM21においては、前方光源61、中央光源63及び後方光源62の全てが照明すべき光源60として示されている。走行俯瞰モードM21では、車両9の周辺全体を示す合成画像FP1が示されることから、できるだけ広い範囲を照明することが望ましい。このため、全ての光源60が照明する光源60として選択されることになる。
【0131】
自車確認モードM22においては、前方光源61及び中央光源63が照明すべき光源60として示されている。自車確認モードM22は、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などに利用される。このため、ユーザが注目すべき車両9の前方側に注意を向けさせるために、前方光源61及び中央光源63のみが照明する光源60として選択され、後方光源62は選択されない。
【0132】
サイドカメラモードM23においては、中央光源63のみが照明すべき光源60として示されている。サイドカメラモードM23においては、フロントフェンダ94の外側のみが示されることから、中央光源63のみが照明する光源60として選択され、前方光源61及び後方光源62は選択されない。
【0133】
駐車俯瞰モードM31においては、前方光源61、中央光源63及び後方光源62の全てが照明すべき光源60として示されている。駐車俯瞰モードM31では、車両9の周辺全体を示す合成画像BP1が示されることから、できるだけ広い範囲を照明することが望ましい。このため、全ての光源60が照明する光源60として選択されることになる。
【0134】
また、ドアミラーモードM32においては、中央光源63のみが照明すべき光源60として示されている。ドアミラーモードM32においては、車両9の側方領域の後方が示されることになる。ただしこの場合、ドアミラー93が格納されているため、3つの光源60の光軸の方向も車両9の後方側へ移動される。このため、車両9の側方領域の後方に光軸が向けられた中央光源63のみが照明すべき光源60として選択され、前方光源61及び後方光源62は選択されない。
【0135】
<1−9.処理フロー>
次に、上記のような照明すべき光源60を選択する処理の流れについて説明する。図17は、照明制御部12が照明すべき光源60を選択する処理の流れを示す図である。この処理は、照明制御部12により繰り返し実行されるものである。
【0136】
まず、ディスプレイ21に車両9の周辺の画像を表示させる状態であるかが判定される(ステップS11)。具体的には、動作モードが、ナビモードM0以外(周囲確認モードM1、フロントモードM2及びバックモードM3のいずれか)であるかが判定される。動作モードがナビモードM0の場合は(ステップS11にてNo)、補助照明部6による照明が不要であるため全ての光源60が消灯される(ステップS17)。
【0137】
また、動作モードがナビモードM0以外のときには(ステップS11にてYes)、次に、補助照明部6による照明が必要な程度に周辺環境が暗いか否かが判定される(ステップS12)。具体的には、照度センサ83から入力される車両9の周辺環境の明るさを示す照度が、所定のしきい値よりも低いか否かが判定される。照度センサ83からの照度が所定のしきい値よりも高い場合は(ステップS12にてNo)、補助照明部6による照明が不要であるため全ての光源60が消灯される(ステップS17)。
【0138】
また、照度センサ83からの照度が所定のしきい値よりも低い場合は(ステップS12にてYes)、続いて、撮影部5で実際に取得される撮影画像の明るさが、補助照明部6による照明が必要な程度に暗いか否かが判定される(ステップS13)。具体的には、撮影画像調整部31から撮影画像の平均輝度が制御部1に入力され、撮影画像の平均輝度が所定のしきい値よりも低いか否かが判定される。撮影画像の平均輝度が所定のしきい値よりも高い場合は(ステップS13にてNo)、補助照明部6による照明が不要であるため全ての光源60が消灯される(ステップS17)。
【0139】
一方、撮影画像の平均輝度が所定のしきい値よりも低い場合は(ステップS13にてYes)、次に、その時点の表示モードが取得される(ステップS14)。そして、不揮発性メモリ40に記憶された照明テーブル4bが参照されて、表示モードに応じて照明すべき光源60が選択される(ステップS15)。
【0140】
続いて、選択された光源60のみが照明するように照明制御部12から補助照明部6に信号が出力される。これにより、表示モードに応じて選択された光源60のみが点灯することになる(ステップS16)。
【0141】
以上のように、本実施の形態では、補助照明部6の複数の光源60を選択的に照明させることができることから、不要な光源60を照明させないことで消費電力を低減できる。また、ディスプレイ21に表示させる領域に応じて照明すべき光源60を選択するため、表示に必要な領域のみを照明でき、消費電力を有効に低減できる。
【0142】
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態における画像表示システムの構成・処理は、第1の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第1の実施の形態との相違点を中心に説明する。
【0143】
第2の実施の形態では、自車確認モードM22において、ドライバの方向指示器85のウインカースイッチの操作に応答して、合成画像FP4の仮想視点VPの視点位置が移動されるようになっている。
【0144】
図18は、自車確認モードM22における画面の状態遷移を示す図である。また、図19は、仮想視点VPの位置の遷移を示す図である。方向指示器85から入力されるターン信号がオフの場合、すなわち、方向指示が無い場合は、仮想視点VPの視点位置は車両9の後方における左右略中央の位置VPC(図19参照)、視野方向は車両9の前方方向に設定される。これにより、図18の状態STCに示すように、ディスプレイ21には、車両9の左右双方の側方領域を略均等に含む合成画像FP4が示される。
【0145】
一方、方向指示器85から入力されるターン信号がオンの場合、すなわち、方向指示が有る場合は、仮想視点VPに関して視野方向は車両9の前方方向のまま、視点位置がターン信号が示す方向の位置に移動される。
【0146】
具体的には、ターン信号が左方向を示すときは、仮想視点VPの視点位置は車両9の左サイドの位置VPLに設定される(図19参照)。これにより、図18の状態STLに示すように、方向指示器85のターン信号が示す左方向の側方領域を右方向の側方領域よりも大きく示す合成画像FP4が、ディスプレイ21に表示される。
【0147】
また、ターン信号が右方向を示すときは、仮想視点VPの視点位置は車両9の右サイドの位置VPRに設定される(図19参照)。これにより、図18の状態STRに示すように、方向指示器85のターン信号が示す右方向の側方領域を左方向の側方領域よりも大きく示す合成画像FP4がディスプレイ21に表示される。
【0148】
方向指示器85で指示された方向は、方向変更や幅寄せのときに車両9が移動して接触する物体が存在する可能性が高い。したがって、このように方向指示器85で指示された方向の側方領域を大きく示すことで、ユーザ(代表的にはドライバ)の注意を接触する可能性のある物体に向けさせることができ、車両9と物体との接触を有効に防止できる。なお、方向指示が解除されると、図18の状態STCに示すように、車両9の左右双方の側方領域を略均等に含む合成画像FP4が表示される状態に戻ることになる。
【0149】
また、本実施の形態では、このように方向指示が有る場合は、方向指示が示す方向に配置されたハウジング7に収容された3つの光源60のうちから照明すべき光源60が選択されるようになっている。
【0150】
図20は、第2の実施の形態における、照明制御部12が照明すべき光源60を選択する処理の流れを示す図である。
【0151】
図20に示すステップS21〜S25の処理は、図19に示すステップS11〜S15の処理と同様である。したがって、ステップS25が完了した時点で、表示モードに応じて照明すべき光源60が選択されている。
【0152】
ステップS25が完了すると、続いて、表示モードが自車確認モードM22で、かつ、方向指示が有るか否かが判定される(ステップS26)。方向指示の有無は、ターン信号に基づいて判断される。表示モードが自車確認モードM22以外の場合や、自車確認モードM22であっても方向指示が無い場合は(ステップS26にてNo)、そのままステップS25で選択された光源60が照明するように制御される(ステップS28)。
【0153】
一方、表示モードが自車確認モードM22で、かつ、方向指示が有る場合は(ステップS26にてYes)、ステップS25で選択された光源60のうちで、方向指示が示す方向に配置された光源60のみが選択され、方向指示とは逆方向に配置された光源60の選択が解除される(ステップS27)。そして、方向指示が示す方向に配置された光源60のみが照明するように制御されることになる(ステップS28)。
【0154】
このように、方向指示が示す方向に配置された光源60のみを照明させることで、方向指示器85で指示された方向の側方領域に、ユーザ(代表的にはドライバ)の注意を向けさせることができる。
【0155】
なお、本実施の形態では、自車確認モードM22の場合にのみ、方向指示が示す方向に基づいて照明すべき光源60を選択していたが、他の表示モードにおいても同様に、方向指示が示す方向に配置された光源60のみを照明させるようにしてもよい。
【0156】
<3.第3の実施の形態>
次に、第3の実施の形態について説明する。第3の実施の形態における画像表示システムの構成・処理は、第1の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第1の実施の形態との相違点を中心に説明する。
【0157】
一つのサイドカメラユニット70に配置される3つの光源60は、図6に示すように、前方領域FA、中央領域CA及び後方領域BAを照明する。このうち、前方領域FAについては、車両9が標準的に備えるヘッドライトによっても照明することが可能である。
【0158】
図21は、車両9のヘッドライト98が照明可能な領域を示す図である。図中では、ヘッドライト98によって、十分な明るさの画像の取得が可能な程度(例えば、0.5ルクス以上)に照明できる領域HAをハッチングで示している。図に示すように、前方領域FAは、ヘッドライト98が照明可能な領域HAに含まれている。したがって、ヘッドライト98が点灯している場合は、前方領域FAを照明する必要性は低い。このため、本実施の形態では、ヘッドライト98が点灯している場合は、前方光源61を照明すべき光源60として選択しないようになっている。
【0159】
図22は、第3の実施の形態における、照明制御部12が照明すべき光源60を選択する処理の流れを示す図である。
【0160】
図22に示すステップS31〜S35の処理は、図19に示すステップS11〜S15の処理と同様である。したがって、ステップS35が完了した時点で、表示モードに応じて照明すべき光源60が選択されている。
【0161】
ステップS35が完了すると、続いて、ヘッドライト98が点灯されているか否かが判定される(ステップS36)。ヘッドライト98の点灯状態は、灯火制御装置84からの信号に基づいて判断される。ヘッドライト98が点灯していない場合は(ステップS36にてNo)、そのままステップS35で選択された光源60が照明するように制御される(ステップS38)。
【0162】
一方、ヘッドライト98が点灯している場合は、ステップS35で選択された光源60のうちから、前方光源61以外の光源60が選択され、前方光源61の選択が解除される(ステップS37)。そして、前方光源61以外のうちから選択された光源60のみが照明するように制御されることになる(ステップS38)。
【0163】
このように、ヘッドライト98が照明している領域を照明しないことで、無駄な照明がなされず、消費電力を有効に低減できる。なお、本実施の形態では、走行用灯火装置のうちヘッドライト98の灯火状態のみを考慮していたが、テールランプやブレーキランプなど他の走行用灯火装置の点灯状態を考慮して照明すべき光源60を選択するようにしてもよい。
【0164】
<4.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【0165】
例えば、照明すべき光源60を選択する条件として、シフトポジションや走行速度などの車両の走行状態を考慮するようにしてもよい。例えば、シフトポジションが”D(前進)”であれば前方光源61を照明すべき光源60として選択し、シフトポジションが”R(後退)”であれば後方光源62を照明すべき光源60として選択することなどが考えられる。また、走行速度が所定以上の場合はドライバに進行方向に集中させるために前方光源61のみを照明すべき光源60として選択し、走行速度が所定未満の場合は車両の周辺の確認が必要な場合が多いため全ての光源60を照明すべき光源60として選択することが考えられる。
【0166】
また、上記実施の形態では、画像処理装置100とナビゲーション装置20とは別の装置であるとして説明したが、画像処理装置100とナビゲーション装置20とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
【0167】
また、上記実施の形態では、画像処理装置100で生成された画像を表示する表示装置はナビゲーション装置20であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【0168】
また、上記実施の形態において、画像処理装置100の制御部1によって実現されると説明した機能の一部は、ナビゲーション装置20の制御部23によって実現されてもよい。
【0169】
また、上記実施の形態において、信号入力部41を介して画像処理装置100の制御部1に入力されると説明した信号の一部または全部は、ナビゲーション装置20に入力されるようになっていてもよい。この場合は、ナビ通信部42を経由して、画像処理装置100の制御部1に当該信号を入力すればよい。
【0170】
また、上記実施の形態では、車両9のドライバが意図する方向指示を方向指示器85から入力していたが、他の手段によって入力してもよい。例えば、ドライバの目を撮影した画像からドライバの視点の動きを検出し、その検出結果からドライバが意図する方向指示を入力するようなものであってもよい。
【0171】
また、上記実施の形態では、プログラムに従ったCPUの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【0172】
1 制御部
12 照明制御部
21 ディスプレイ
3 画像生成部
32 合成画像生成部
4b 照明テーブル
53 サイドカメラ
6 補助照明部
61 前方光源
62 後方光源
63 中央光源
7 ハウジング
70 サイドカメラユニット
93 ドアミラー
【技術分野】
【0001】
本発明は、車両の周辺の撮影を補助する照明を行う技術に関する。
【背景技術】
【0002】
従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。
【0003】
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをドライバが把握しにくい。これに対して、画像表示システムを利用すれば、車載カメラの撮影によりフロントフェンダの外側領域を示す画像が取得され、その画像が車室内のディスプレイに表示される。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをドライバが容易に確認できることとなる。
【0004】
このような画像表示システムでは、夜間など周辺環境が暗い場合においては撮影時に十分な露光量が得られず、車両の周辺を示す画像としての明るさが十分に確保できない場合がある。このため、周辺環境が比較的暗い場合には撮影を補助する補助光を発光して撮影対象となる領域を照明し、画像として必要な明るさを確保することも提案されている(例えば、特許文献1参照。)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−189060号公報
【特許文献2】特許第3286306号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、近年では、複数の車載カメラで車両の周辺を撮影して得られる複数の撮影画像を利用して、車両の直上や後方などの任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する画像表示システムが提案されている(例えば、特許文献2参照。)。この画像表示システムでは、車両の周囲の全体を示す画像をディスプレイに表示させることも可能である。
【0007】
このような画像表示システムを利用する場合においても、周辺環境が比較的暗い場合には車両の周囲を照明することが望ましい。この場合、車両の前方や後方は、車両が標準で備える走行用灯火装置(ヘッドライト、テールランプなど)で照明が可能である。これに対し、車両の側方領域については、標準の走行用灯火装置による照明が届きにくいため、車両の前方から後方にわたる比較的広い範囲を補助光で照明する必要がある。
【0008】
一つの光源で照明できる範囲は限られることから、車両の前方から後方にわたる側方領域全体を照明するためには、複数の光源で分担して照明することが必要となる。この場合においては、例えば、車両の側面における前端から後端にかけての複数の位置(例えば、車両の前端部、中央部、及び、後端部など)にそれぞれ光源を配置することが考えられる。
【0009】
しかしながら、このように車両の側面の複数の位置に光源を配置すると、複数の光源のそれぞれの位置まで電源ラインや制御ラインを配置することが必要となり、複数の光源の車両への取り付けに膨大かつ複雑な作業が必要となる。これにより、複数の光源の取付コストが増大し、さらには、画像表示システムの取付コストが増大してしまう。画像表示システムを車両に対する後付のオプションとして提供する場合には、車両への取り付けが簡便かつ低コストにできることが必要条件となるため、このような問題への解決策が必要となっていた。
【0010】
本発明は、上記課題に鑑みてなされたものであり、撮影を補助する複数の光源を簡便かつ低コストに車両に取り付けることができる技術を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するため、請求項1の発明は、車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置の撮影を補助する照明を行う車載照明装置であって、前記車両の側方領域を照明する複数の光源と、前記複数の光源の光軸を互いに異なる方向に向けた状態で前記複数の光源を固定して収用するハウジングと、を備えている。
【0012】
また、請求項2の発明は、請求項1に記載の車載照明装置において、前記複数の光源は、前記側方領域のうちの前記車両の前方側となる前方領域を主に照明する第1光源と、前記側方領域のうちの前記車両の後方側となる後方領域を主に照明する第2光源と、前記前方領域と前記後方領域との間の領域を主に照明する第3光源と、を含む。
【0013】
また、請求項3の発明は、請求項2に記載の車載照明装置において、前記第1光源の光軸の方向と前記第2光源の光軸の方向とは、前記第3光源の光軸の方向に関して対称となる。
【0014】
また、請求項4の発明は、請求項2または3に記載の車載照明装置において、前記第3光源の光量を、前記第1光源及び前記第2光源よりも少なくする光源駆動手段、をさらに備えている。
【0015】
また、請求項5の発明は、請求項1ないし4のいずれかに記載の車載照明装置において、前記ハウジング内には、前記複数のカメラのうちの前記側方領域を撮影するカメラが収容される。
【0016】
また、請求項6の発明は、請求項1ないし5のいずれかに記載の車載照明装置において、前記複数の光源を選択的に照明させる制御手段、をさらに備えている。
【0017】
また、請求項7の発明は、請求項6に記載の車載照明装置において、前記画像生成装置は、前記車両の周辺の少なくとも一部の領域を示す画像を表示装置に出力して表示させるものであり、をさらに備え、前記制御手段は、前記表示装置に表示させる前記車両の周辺の領域に応じて、前記複数の光源のうちから照明させる光源を選択する。
【0018】
また、請求項8の発明は、請求項6に記載の車載照明装置において、前記車両の走行に用いる走行用灯火装置の点灯状態を示す信号を入力する手段、をさらに備え、前記制御手段は、前記点灯状態に応じて前記複数の光源のうちから照明させる光源を選択する。
【0019】
また、請求項9の発明は、請求項6に記載の車載照明装置において、前記車両のドライバが意図する方向指示を入力する手段、をさらに備え、前記ハウジングは、前記車両の左側及び右側にそれぞれ配置され、前記制御手段は、前記方向指示が有るときは、前記方向指示が示す方向に配置された前記ハウジングに収容された前記複数の光源のうちから照明させる光源を選択する。
【0020】
また、請求項10の発明は、車両に搭載される画像処理装置であって、前記車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置と、前記画像生成装置の撮影を補助する照明を行う請求項1ないし9のいずれかに記載の車載照明装置と、を備えている。
【0021】
また、請求項11の発明は、車両に搭載される画像表示システムであって、請求項10に記載の画像処理装置と、前記画像処理装置から出力された前記車両の周辺を示す画像を表示する表示装置と、を備えている。
【発明の効果】
【0022】
請求項1ないし11の発明によれば、車両の側方領域を照明する複数の光源がハウジングによって光軸の方向が互いに異なる状態で収容される。このため、複数の光源がハウジングによって一体化され、車両の側方領域を広範囲に照明するための複数の光源を、簡便かつ低コストに車両に取り付けることができる。
【0023】
また、特に請求項2の発明によれば、車両の側方領域を車両の前方側から後方側にわたって照明できる。
【0024】
また、特に請求項3の発明によれば、一体化された光源を車両の左右の双方に兼用できるため、汎用性が向上してコスト削減できる。
【0025】
また、特に請求項4の発明によれば、光源の位置から比較的遠い領域を照明する第1光源及び第2光源より、光源の位置から比較的近い領域を照明する第3光源の光量を少なくすることで、車両の側方領域を車両の前方側から後方側にわたっておよそ均一に照明できる。
【0026】
また、特に請求項5の発明によれば、カメラとそのカメラの撮影を補助する複数の光源とがハウジングによって一体化されるため、カメラと光源とを一括して容易に車両に取り付けることができる。
【0027】
また、特に請求項6の発明によれば、複数の光源を選択的に照明させることができることから、不要な光源を照明させないことで消費電力を低減できる。
【0028】
また、特に請求項7の発明によれば、表示させる領域に応じて必要な領域のみを照明でき、消費電力を有効に低減できる。
【0029】
また、特に請求項8の発明によれば、走行用灯火装置が照明している領域を照明しないことで、消費電力を有効に低減できる。
【0030】
また、特に請求項9の発明によれば、ドライバが意図する方向の側方領域が照明されるため、ドライバが注目すべき領域のみを照明することができる。
【図面の簡単な説明】
【0031】
【図1】図1は、画像表示システムの構成を示すブロック図である。
【図2】図2は、車載カメラが車両に配置される位置を示す図である。
【図3】図3は、サイドカメラユニットの外観構成を示す図である。
【図4】図4は、車両の後方から見たサイドカメラユニットの断面図である。
【図5】図5は、車両の左側から見たサイドカメラユニットの断面図である。
【図6】図6は、3つの光源の光軸の車両に対する位置関係を示す図である。
【図7】図7は、3つの光源の光軸の車両に対する位置関係を示す図である。
【図8】図8は、3つの光源への電力供給に係る回路の概略を示す図である。
【図9】図9は、合成画像を生成する手法を説明するための図である。
【図10】図10は、画像表示システムの動作モードの遷移を示す図である。
【図11】図11は、周囲確認モードにおける仮想視点の位置の遷移を示す図である。
【図12】図12は、周囲確認モードにおける表示例を示す図である。
【図13】図13は、フロントモードにおける表示モードの遷移を示す図である。
【図14】図14は、バックモードにおける表示モードの遷移を示す図である。
【図15】図15は、ドアミラーが格納された状態を示す図である。
【図16】図16は、照明テーブルの内容を示す図である。
【図17】図17は、第1の実施の形態における、光源を選択する処理の流れを示す図である。
【図18】図18は、自車確認モードにおける画面の状態遷移を示す図である。
【図19】図19は、仮想視点の位置の遷移を示す図である。
【図20】図20は、第2の実施の形態における、光源を選択する処理の流れを示す図である。
【図21】図21は、車両のヘッドライトが照明可能な領域を示す図である。
【図22】図22は、第3の実施の形態における、光源を選択する処理の流れを示す図である。
【発明を実施するための形態】
【0032】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0033】
<1.第1の実施の形態>
<1−1.システム構成>
図1は、第1の実施の形態の画像表示システム120の構成を示すブロック図である。この画像表示システム120は、車両(本実施の形態では、自動車)に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム120のユーザ(代表的にはドライバ)は、この画像表示システム120を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【0034】
図1に示すように、画像表示システム120は、車両の周辺を示す周辺画像を生成する画像処理装置100と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置20とを主に備えている。画像処理装置100で生成された周辺画像は、ナビゲーション装置20において表示される。
【0035】
ナビゲーション装置20は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ21と、ユーザが操作を行う操作部22と、装置全体を制御する制御部23とを備えている。ディスプレイ21の画面がユーザから視認可能なように、ナビゲーション装置20は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部22とタッチパネルとしてのディスプレイ21とによって受け付けられる。制御部23は、CPU、RAM及びROMなどを備えたコンピュータとして構成され、所定のプログラムに従ってCPUが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【0036】
ナビゲーション装置20は、画像処理装置100と通信可能に接続され、画像処理装置100との間で各種の制御信号の送受信や、画像処理装置100で生成された周辺画像の受信が可能となっている。ディスプレイ21には、制御部23の制御により、通常はナビゲーション装置20単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置100で生成された車両の周辺の様子を示す周辺画像が表示される。これにより、ナビゲーション装置20は、画像処理装置100で生成された周辺画像を受信して表示する表示装置としても機能する。
【0037】
画像処理装置100は、その本体部10が周辺画像を生成する機能を有するECU(Electronic Control Unit)として構成され、車両の所定の位置に配置される。画像処理装置100は、車両の周辺を撮影する撮影部5を備えており、この撮影部5で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。さらに、画像処理装置100は、撮影部5の撮影を補助する照明を行う補助照明部6を備えており、撮影部5の撮影を補助する照明を行う車載照明装置としても機能する。これらの撮影部5が備える複数の車載カメラ51,52,53と補助照明部6が備える複数の光源60とは、本体部10とは別の車両の適位置に配置されるが詳細は後述する。
【0038】
画像処理装置100の本体部10は、装置全体を制御する制御部1と、撮影部5で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部3と、ナビゲーション装置20との間で通信を行うナビ通信部42とを主に備えている。
【0039】
ナビゲーション装置20の操作部22やディスプレイ21によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部42によって受け付けられて制御部1に入力される。また、画像処理装置100は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ43を備えている。この切替スイッチ43からもユーザの指示を示す信号が制御部1に入力される。これにより、画像処理装置100は、ナビゲーション装置20に対するユーザの操作、及び、切替スイッチ43に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ43は、ユーザが操作しやすいように、本体部10とは別に車両の適位置に配置される。
【0040】
画像生成部3は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部31、及び、合成画像生成部32を主な機能として備えている。
【0041】
撮影画像調整部31は、撮影部5で取得された撮影画像について調整を行うものであり、撮影画像の明るさやコントラスト等の画質調整や歪み補正などを行う。撮影画像調整部31は、撮影部5で取得されたままの撮影画像の全体としての明るさを示す平均輝度を参照し、その平均輝度に応じたゲイン調整を行うことで撮影画像の明るさを調整する。具体的には、撮影画像の平均輝度が比較的高い場合はゲイン調整値を小さくし、比較的低い場合はゲイン調整値を大きくする。これにより、車両の周辺環境がある程度暗い場合などにあっても撮影画像が比較的明るく調整されることとなる。しかしながら、夜間など周辺環境が非常に暗い場合においては、このようなゲイン調整を行っても表示する画像としての十分な明るさが得られないため、補助照明部6による照明が必要となる。
【0042】
合成画像生成部32は、撮影部5の複数の車載カメラ51,52,53で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部32が仮想視点からみた合成画像を生成する手法については後述する。
【0043】
撮影画像調整部31に調整された撮影画像や合成画像生成部32により生成された合成画像はさらに表示用の画像に調整され、その後、ナビ通信部42によってナビゲーション装置20に出力される。これにより、車両の周辺を示す周辺画像がナビゲーション装置20のディスプレイ21に表示されることになる。
【0044】
制御部1は、CPU、RAM及びROMなどを備えたコンピュータとして構成され、所定のプログラムに従ってCPUが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部11及び照明制御部12は、このようにして実現される制御部1の機能のうちの一部を示している。
【0045】
画像制御部11は、画像生成部3によって実行される画像処理を制御するものである。例えば、画像制御部11は、合成画像生成部32が生成する合成画像の生成に必要な各種パラメータなどを指示する。
【0046】
照明制御部12は、補助照明部6による照明を制御するものである。照明制御部12は、補助照明部6に含まれる複数の光源60を選択的に照明させることが可能である。具体的には、照明制御部12は、複数の光源60のうちから照明すべき光源60を選択し、選択した光源60のみが照明するように補助照明部6に信号を出力する。
【0047】
また、画像処理装置100の本体部10は、不揮発性メモリ40、カード読取部44、及び、信号入力部41をさらに備えており、これらは制御部1に接続されている。
【0048】
不揮発性メモリ40は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ40には、車種別データ4a、及び、照明テーブル4bが記憶されている。車種別データ4aは、合成画像生成部32が合成画像を生成する際に必要となる車両の種別に応じたデータである。また、照明テーブル4bは、照明制御部12が、補助照明部6の複数の光源60から照明すべき光源60を選択する際に参照するテーブルデータである。
【0049】
カード読取部44は、可搬性の記録媒体であるメモリカードMCの読み取りを行う。カード読取部44は、メモリカードMCの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードMCに記録されたデータを読み取る。カード読取部44で読み取られたデータは、制御部1に入力される。
【0050】
メモリカードMCは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置100はメモリカードMCに記憶された種々のデータを利用できる。例えば、メモリカードMCにプログラムを記憶させ、これを読み出すことで、制御部1の機能を実現するプログラム(ファームウェア)を更新することが可能である。また、メモリカードMCに不揮発性メモリ40に記憶された車種別データ4aとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ40に記憶させることで、画像表示システム120を異なる種別の車両に対応させることも可能である。
【0051】
また、信号入力部41は、車両に設けられた各種装置からの信号を入力する。この信号入力部41を介して、画像表示システム120の外部からの信号が制御部1に入力される。具体的には、シフトセンサ81、車速度センサ82、照度センサ83、灯火制御装置84、方向指示器85、及び、ミラー駆動装置86などから、各種情報を示す信号が制御部1に入力される。
【0052】
シフトセンサ81からは、車両9の変速装置のシフトレバーの操作の位置、すなわち、”P(駐車)”,”D(前進)”,”N(中立)”,”R(後退)”などのシフトポジションが入力される。車速度センサ82からは、その時点の車両9の走行速度(km/h)が入力される。
【0053】
照度センサ83は、車両のフロントウインドウ中央上部やダッシュボード上に取り付けられ、車両の周辺環境の明るさを示す照度を検出する。照度センサ83からは、検出結果となる照度が入力される。
【0054】
灯火制御装置84は、補助照明部6とは別に車両に標準的に設けられる、車両の通常の走行に用いる走行用灯火装置の制御を行う。走行用灯火装置には、ヘッドライト(前照灯)、スモールランプ(車幅灯)、テールランプ(尾灯)、ブレーキランプ(制動灯)、及び、バックランプ(後退灯)などが含まれる。灯火制御装置84は、ドライバの操作に応答してヘッドライトやスモールランプを点灯させ、ヘッドライトまたはスモールランプを点灯させるときにはテールランプを点灯させる。また、灯火制御装置84は、ドライバによりブレーキが踏まれた場合はブレーキランプを点灯させ、シフトポジションが”R”のときにバックランプを点灯させる。灯火制御装置84からは、このような各種の走行用灯火装置の点灯状態が入力される。
【0055】
方向指示器85からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向(左方向あるいは右方向)を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【0056】
また、ミラー駆動装置86は、ドライバの操作に応答して車両のドアミラーを格納/展開する。ミラー駆動装置86からは、ドアミラーの状態(格納/展開)が入力される。
【0057】
<1−2.撮影部及び補助照明部>
次に、画像処理装置100の撮影部5及び補助照明部6について詳細に説明する。撮影部5及び補助照明部6は、制御部1に電気的に接続され、制御部1からの信号に基づいて動作する。
【0058】
撮影部5は、車載カメラであるフロントカメラ51、バックカメラ52及びサイドカメラ53を備えている。これらの車載カメラ51,52,53はそれぞれ、CCDやCMOSなどの撮像素子を備えており電子的に画像を取得する。
【0059】
図2は、車載カメラ51,52,53が車両9に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す3次元のXYZ直交座標を用いる。このXYZ軸は車両9に対して相対的に固定される。ここで、X軸方向は車両9の左右方向に沿い、Y軸方向は車両9の直進方向(前後方向)に沿い、Z軸方向は鉛直方向に沿っている。また、便宜上、+X側を車両9の右側、+Y側を車両9の後側、+Z側を上側とする。
【0060】
フロントカメラ51は、車両9の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸51aは車両9の直進方向(平面視でY軸方向の−Y側)に向けられている。バックカメラ52は、車両9の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸52aは車両9の直進方向の逆方向(平面視でY軸方向の+Y側)に向けられている。また、サイドカメラ53は、左右のドアミラー93にそれぞれ設けられており、その光軸53aは車両9の左右方向(平面視でX軸方向)に沿って外部に向けられている。なお、フロントカメラ51やバックカメラ52の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【0061】
これらの車載カメラ51,52,53のレンズとしては魚眼レンズなどが採用されており、車載カメラ51,52,53は180度以上の画角αを有している。このため、4つの車載カメラ51,52,53を利用することで、車両9の全周囲の撮影が可能となっている。
【0062】
図1に戻り、補助照明部6は、撮影部5の撮影を補助する照明を行う6つの光源60を備えている。各光源60は、不可視光である近赤外光を発光するLEDなどで構成される。近赤外光は人間の目には見えないため、補助照明部6の光源60から車両9の周辺を照明したとしても、車両9の周辺に存在する歩行者などに影響を与えることがない。一方で、車載カメラ51,52,53に採用される撮像素子は、近赤外光の感度を有している。このため、車両9の周辺環境が比較的暗い場合においては、補助照明部6の光源の近赤外光を補助光として車両9の周辺の領域を照明することにより、歩行者などに影響を与えることなく、その領域の状況を示す十分な明るさの画像を取得できる。
【0063】
補助照明部6は、車両9の側方領域を照明する。補助照明部6の6つの光源60のうち、3つの光源60は車両9の左側に配置され、残りの3つの光源60は車両9の右側に配置される。車両9の左側の3つの光源60は、車両9の左側のサイドカメラ53とともに、同一のハウジング内に収容されて一体化され、サイドカメラユニット70を形成する。同様に、車両9の右側の3つの光源60は、車両9の右側のサイドカメラ53とともに、同一のハウジング内に収容されて一体化され、サイドカメラユニット70を形成する。
【0064】
図3は、左側のサイドカメラユニット70の外観構成を示す図である。なお、サイドカメラユニット70の構成や配置は車両9の左右で対称としているため、以降の説明では車両9の左側を例に具体的に説明するが、右側についても同様である。図に示すように、サイドカメラユニット70は、ブラケット79を介してドアミラー93の下側に配置される。
【0065】
図4は、左側のサイドカメラユニット70の車両9の後方(+Y側)から見たXZ平面での断面図である。また、図5は、左側のサイドカメラユニット70の車両9の左側(−X側)から見たYZ平面での断面図である。図5は図4のV−V位置での断面図に相当し、図4は図5のIV−IV位置での断面図に相当する。
【0066】
これらの図に示すように、サイドカメラユニット70は、筐体となるハウジング7を有している。このハウジング7内には、サイドカメラ53、ならびに、補助照明部6の3つの光源60及び光源駆動部69が収容されている。3つの光源60は、具体的には、車両9の前方側の領域を主に照明する前方光源61と、車両9の後方側の領域を主に照明する後方光源62と、前方光源61及び後方光源62が照明する領域の相互間の領域を主に照明する中央光源63とがある。光源駆動部69は、これら3つの光源60に電力を供給して光源60を発光させる。
【0067】
サイドカメラ53は、レンズ531と撮像素子532とを備えて構成されている。図4に示すように、サイドカメラ53は、ハウジング7内に配置され、光軸53aが車両9の外側に向けられている。サイドカメラ53は、この光軸53aの方向が鉛直方向に対して所定の角度(例えば、約45度)となるようにハウジング7に固定される。
【0068】
補助照明部6の3つの光源60は、ハウジング7内においてサイドカメラ53よりも内側(+X側)に配置されている。3つの光源61,62,63の光軸61a,62a,63aは車両9の外側に向けられ、その方向はすべて車両9の前後方向(Y軸方向)から見て鉛直方向に対して所定の角度θ1とされている。角度θ1は、例えば30度以下とすることが望ましい。
【0069】
また、図5に示すように、ハウジング7内の中央部分には中央光源63が配置されるとともに、前方光源61と後方光源62とはハウジング7内の中心に関して左右対称に配置されている。車両9の左右方向(X軸方向)から見て、中央光源63の光軸63aの方向は鉛直方向(Z軸方向)に沿っており、前方光源61の光軸61aの方向は車両9の前方側(−Y側)に傾けられ、後方光源62の光軸62aの方向は車両9の後方側(+Y側)に傾けられている。そして、前方光源61の光軸61aの方向と後方光源62の光軸62aの方向とは、中央光源63の光軸63aの方向に関して対称とされている。すなわち、中央光源63の光軸63aと前方光源61の光軸61aとでなす角度は、中央光源63の光軸63aと後方光源62の光軸62aとでなす角度に一致し、所定の角度θ2とされている。角度θ2は、例えば60度以上70度以下とすることが望ましい。
【0070】
補助照明部6の3つの光源60は、上記で説明した位置及び方向となるように、固定部材71によりハウジング7に固定される。すなわち、3つの光源60は、その光軸が互いに異なる方向に向けた状態でハウジング7に固定されることになる。これらの光源60の固定位置の下部に相当するハウジング7の部分には、近赤外光を透過する透過部材72が採用されている。これにより、光源60の補助光をハウジング7の外部に投光できるようになっている。
【0071】
図6及び図7は、左側のサイドカメラユニット70における3つの光源60の光軸の車両9に対する位置関係を示す図である。図6は上面図(+Z側から見た図)、図7は側面図(−X側から見た図)である。
【0072】
これらの図に示すように、ドアミラー93に設けられるサイドカメラユニット70から、車両9の側面に対しX軸方向に500mm離間した位置に向けて、3つの光源60の光軸61a,62a,63aが延びている。3つの光源60の光軸61a,62a,63aの方向は互いに異なっている。具体的には、平面視(図6参照)で、中央光源63の光軸63aは車両9の左右方向(X軸方向)に沿っており、前方光源61の光軸61aは車両9の前方側(−Y側)に向けられ、後方光源62の光軸62aは車両9の後方側(+Y側)に向けられている。また、側面視(図7参照)で、中央光源63の光軸63aは鉛直方向(Z軸方向)に沿っており、前方光源61の光軸61aは車両9の前方側(−Y側)に向けられ、後方光源62の光軸62aは車両9の後方側(+Y側)に向けられている。前方光源61の光軸61aの方向と後方光源62の光軸62aの方向とは、中央光源63の光軸63aの方向に関して対称とされている。
【0073】
このような光軸の配置により、3つの光源61,62,63によって車両9の側方領域が分担して照明される。照明対象となる側方領域としては、車両9に対して相対固定される所定の領域が設定されている。具体的には、車両9の前後方向(Y軸方向)においては、照明対象となる側方領域は、車両9の前端よりも約2m前方の位置から車両9のおよそ後端位置までである。また、車両9の左右方向(X軸方向)においては、照明対象となる側方領域は、車両9の側面の位置からその外側に約1m離れた位置までである。
【0074】
前方光源61は、照明対象となる側方領域のうち、車両9の前端よりも前方の領域(以下、「前方領域」という。)FAを主に照明する。後方光源62は、照明対象となる側方領域のうち、車両9のリアドア96及びリアフェンダ97付近の外側の領域(以下、「後方領域」という。)BAを主に照明する。また、中央光源63は、照明対象となる側方領域のうち、前方領域FAと後方領域BAとの間となる、車両9のフロントフェンダ94及びフロントドア95付近の外側の領域(以下、「中央領域」という。)CAを主に照明する。
【0075】
このように、本実施の形態においては、車両9の同一方向の側方領域を照明する3つの光源60が、同一のハウジング7内に光軸の方向が互いに異なる状態で固定されて収容される。これにより、3つの光源60がハウジング7によってサイドカメラユニット70として一体化される。このため、このサイドカメラユニット70を取り付けるのみで、複数の光源60を一度に取り付けることができる。また、3つの光源60への電源ラインや制御ラインなどの配線も、一つのサイドカメラユニット70の位置まで行えばよいことになる。このため、車両9の側方領域を広範囲に照明するための複数の光源60を、簡便かつ低コストに車両9に取り付けることが可能となる。
【0076】
また、サイドカメラユニット70のハウジング7内には、3つの光源60とともに、車両9の側方領域を撮影するサイドカメラ53も収容され、3つの光源60とサイドカメラ53とが一体化される。このため、サイドカメラユニット70を取り付けるのみで、サイドカメラ53と複数の光源60とを一括して容易かつ低コストに車両9に取り付けることができる。その結果、画像表示システム120全体としての車両9への取付コストを大きく低減できる。
【0077】
また、サイドカメラユニット70内において、前方光源61の光軸61aの方向と後方光源62の光軸62aの方向とは、中央光源63の光軸63aの方向に関して対称とされている。このため、サイドカメラユニット70を、車両9の左側及び右側のいずれに配置した場合であっても、3つの光源60の光軸の車両9に対する方向を同一とすることができる。したがって、サイドカメラユニット70は、車両9の左側及び右側の双方に兼用できることから、サイドカメラユニット70として左側あるいは右側の専用の装置を用意する必要が無いため、製造コストを低減できる。
【0078】
また、このように側方領域を3つの光源60で分担して照明する場合、側方領域の部分ごとの明るさが照明を担う光源60によって異なってしまい、側方領域の全体として明るさが不均一となることが考えられる。これに対応するため、本実施の形態では、同一のサイドカメラユニット70に配置される3つの光源60の光量を調整するようにしている。
【0079】
図8は、サイドカメラユニット70に設けられる光源駆動部69における、3つの光源60への電力供給に係る回路の概略を示す図である。
【0080】
3つの光源60には、電源ライン691によって、車両9に備えられたバッテリBから所定の電圧Vcc(例えば、6V)の電力が供給される。前方光源61と後方光源62とは直列に接続され、所定の抵抗692を介して電源ライン691に接続される。一方、中央光源63は、前方光源61及び後方光源62の経路とは別の並列経路で、所定の抵抗693を介して電源ライン691に接続される。
【0081】
このため、前方光源61及び後方光源62には同一の電流I1が流れ、中央光源63には電流I1とは異なる電流I2が流れる。3つの光源61,62,63の抵抗値は同一である。また、中央光源63と直列に接続される抵抗693は、前方光源61及び後方光源62に直列に接続される抵抗692よりも、抵抗値が大きくされている。これにより、中央光源63に流れる電流I2は、前方光源61及び後方光源62に流れる電流I1よりも小さくなっている。例えば、電流I2は、電流I1の30%未満であることが望ましく、さらには、20%未満であることが望ましい。
【0082】
光源60の光量は電流に依存するため、このような電流の調整により、前方光源61及び後方光源62の光量は同一となる一方で、中央光源63の光量は前方光源61及び後方光源62よりも少なくなる。中央光源63は、前方光源61及び後方光源62と比較して、サイドカメラユニット70の位置(3つの光源60が配置される位置)から比較的近い領域を照明する。このため、このように中央光源63の光量を相対的に少なくすることで、車両9の前方側から後方側にわたる車両9の側方領域の全体をおよそ均一に照明できることになる。
【0083】
なお、本実施の形態のように、同一のハウジング7内に3つの光源60を配置すると、光源60による発熱も問題となる。このため、光源駆動部69において、電流I1、電流I2、及び、その他の電流(光源60以外に流れる電流)の合計値を所定値(例えば、200mA)未満に制限して、光源60等による発熱を抑制することが望ましい。これは、抵抗692,693の値を調整することで実現できる。
【0084】
<1−3.画像変換処理>
次に、画像生成部3の合成画像生成部32が、撮影部5で得られた複数の撮影画像に基づいて車両9の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ40に予め記憶された車種別データ4aが利用される。図9は、合成画像を生成する手法を説明するための図である。
【0085】
撮影部5のフロントカメラ51、バックカメラ52及びサイドカメラ53で同時に撮影が行われると、車両9の前方、後方、左側方、及び、右側方をそれぞれ示す4つの撮影画像P1〜P4が取得される。すなわち、撮影部5で取得される4つの撮影画像P1〜P4には、撮影時点の車両9の全周囲を示す情報が含まれていることになる。
【0086】
次に、4つの撮影画像P1〜P4の各画素が、仮想的な三次元空間における立体曲面SPに投影される。立体曲面SPは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両9が存在する位置として定められている。撮影画像P1〜P4に含まれる各画素の位置と、この立体曲面SPの各画素の位置とは予め対応関係が定められている。このため、立体曲面SPの各画素の値は、この対応関係と撮影画像P1〜P4に含まれる各画素の値とに基づいて決定できる。
【0087】
撮影画像P1〜P4の各画素の位置と立体曲面SPの各画素の位置との対応関係は、車両9における4つの車載カメラ51,52,53の配置(相互間距離、地上高さ、光軸角度等)に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ40に記憶された車種別データ4aに含まれている。
【0088】
また、車種別データ4aに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両9の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面SPが設定される三次元空間において、車両9の位置と定められた略半球状の中心部分に配置される。
【0089】
さらに、立体曲面SPが存在する三次元空間に対して、制御部1により仮想視点VPが設定される。仮想視点VPは、視点位置と視野方向とで規定され、この三次元空間における車両9の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【0090】
そして、設定された仮想視点VPに応じて、立体曲面SPにおける必要な領域が画像として切り出される。仮想視点VPと、立体曲面SPにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ40等に予め記憶されている。一方で、設定された仮想視点VPに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両9及びその車両9の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【0091】
例えば、視点位置が車両9の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点VP1を設定した場合は、車両9の略直上から車両9を見下ろすように、車両9(実際には車両像)及び車両9の周辺の様子を示す合成画像CP1が生成される。また、図中に示すように、視点位置が車両9の位置の左後方で、視野方向が車両9における略前方とした仮想視点VP2を設定した場合は、車両9の左後方からその周辺全体を見渡すように、車両9(実際には車両像)及び車両9の周辺の様子を示す合成画像CP2が生成される。
【0092】
なお、実際に合成画像を生成する場合においては、立体曲面SPの全ての画素の値を決定する必要はなく、設定された仮想視点VPに対応して必要となる領域の画素の値のみを撮影画像P1〜P4に基づいて決定することで、処理速度を向上できる。
【0093】
<1−4.動作モード>
次に、画像表示システム120の動作モードについて説明する。図10は、画像表示システム120の動作モードの遷移を示す図である。画像表示システム120は、ナビモードM0、周囲確認モードM1、フロントモードM2、及び、バックモードM3の4つの動作モードを有している。これらの動作モードは、ドライバの操作や車両9の走行状態に応じて制御部1の制御により切り替えられるようになっている。
【0094】
ナビモードM0は、ナビゲーション装置20の機能により、ナビゲーション案内用の地図画像などをディスプレイ21に表示する動作モードである。ナビモードM0では、画像処理装置100の機能が利用されず、ナビゲーション装置20単体の機能で各種の表示がなされる。このため、ナビゲーション装置20が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
【0095】
これに対して、周囲確認モードM1、フロントモードM2及びバックモードM3は、画像処理装置100の機能を利用して、車両9の周辺の状況をリアルタイムで示す表示用画像をディスプレイ21に表示する動作モードである。
【0096】
周囲確認モードM1は、車両9を見下ろした状態で車両9の周囲を周回するようなアニメーション表現を行う動作モードである。フロントモードM2は、前進時に必要となる車両9の前方や側方を主に示す表示用画像を表示する動作モードである。また、バックモードM3は、後退時に必要となる車両9の後方を主に示す表示用画像を表示する動作モードである。
【0097】
画像表示システム120は起動すると、最初に周囲確認モードM1となる。周囲確認モードM1の場合には、車両9の周囲を周回するようなアニメーション表現がなされた後に所定時間(例えば、6秒)が経過すると、自動的にフロントモードM2に切り替えられる。また、フロントモードM2の場合において、走行速度が例えば0km/hの状態(停止状態)で切替スイッチ43が所定時間以上継続して押下されると、周囲確認モードM1に切り替えられる。なお、ドライバからの指示で、周囲確認モードM1からフロントモードM2に切り替えるようにしてもよい。
【0098】
また、フロントモードM2の場合に走行速度が例えば10km/h以上になったときは、ナビモードM0に切り替えられる。逆に、ナビモードM0の場合に車速度センサ82から入力される走行速度が例えば10km/h未満になったときは、フロントモードM2に切り替えられる。
【0099】
車両9の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードM2が解除される。逆に、車両9の走行速度が比較的低い場合においては、ドライバは車両9の周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、ナビモードM0からフロントモードM2に切り替えられる。なお、ナビモードM0からフロントモードM2に切り替える場合は、走行速度が10km/h未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。
【0100】
また、ナビモードM0あるいはフロントモードM2の場合に、シフトセンサ81から入力されるシフトレバーの位置が”R(後退)”となったときは、バックモードM3に切り替えられる。すなわち、車両9の変速装置が”R(後退)”の位置に操作されているときには、車両9は後退する状態であるため、車両9の後方を主に示すバックモードM3に切り替えられる。
【0101】
一方、バックモードM3の場合に、シフトレバーの位置が”R(後退)”以外となったときは、その時点の走行速度を基準として、ナビモードM0あるいはフロントモードM2に切り替えられる。すなわち、走行速度が10km/h以上であればナビモードM0に切り替えられ、走行速度が10km/h未満であればフロントモードM2に切り替えられる。
【0102】
以下、周囲確認モードM1、フロントモードM2及びバックモードM3のそれぞれにおける、車両9の周辺の表示態様について詳細に説明する。
【0103】
<1−5.周囲確認モード>
まず、周囲確認モードM1における車両9の周辺の表示態様について説明する。周囲確認モードM1においては、図11に示すように、車両9を見下ろすように仮想視点VPが設定され、車両9の周辺を周回するように仮想視点VPが連続的に移動される。仮想視点VPは、最初に車両9の後方に設定された後、右回りで車両9の周辺を周回する。このようにして仮想視点VPが、車両9の左側、前方及び右側を経由して再び後方まで移動すると、車両9の直上まで移動する。
【0104】
このように仮想視点VPが移動されている状態で、複数の合成画像が時間連続して生成される。生成された複数の合成画像は、ナビゲーション装置20に順次に出力されて、ディスプレイ21に時間連続して表示される。
【0105】
これにより、図12に示すように、車両9を見下ろした状態で車両9の周囲を周回するようなアニメーション表現がなされることになる。図12の示す例では、状態ST1〜ST6の順で合成画像RPが順次に表示される。各合成画像RPにおいては、車両9は画像の中心付近に配置されており、車両9とともに車両9の周辺の様子を確認できるようになっている。
【0106】
ユーザは、周囲確認モードM1のこのようなアニメーション表現を視認することで、車両9を目の前にした視点から車両9の全周囲の状況を確認することができ、直感的に車両9の全周囲の障害物と車両9との位置関係を把握できることになる。
【0107】
<1−6.フロントモード>
次に、フロントモードM2における車両9の周辺の表示態様について詳細に説明する。図13は、フロントモードM2における表示モードの遷移を示す図である。フロントモードM2では、走行俯瞰モードM21、自車確認モードM22、及び、サイドカメラモードM23の3つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの画面には、各表示態様における視野範囲を示す視野ガイド90が表示され、ユーザに対して車両9の周辺のいずれの領域を表示しているかが示されるようになっている。
【0108】
これらの表示モードは、ユーザが切替スイッチ43を押下するごとに、走行俯瞰モードM21、自車確認モードM22、サイドカメラモードM23の順で制御部1の制御により切り替えられる。サイドカメラモードM23の場合に切替スイッチ43を押下すると、再び、走行俯瞰モードM21に戻るようになっている。
【0109】
走行俯瞰モードM21は、車両9の直上の仮想視点VPからみた車両9の様子を示す合成画像FP1と、フロントカメラ51での撮影により得られるフロント画像FP2とを並べて含む画面をディスプレイ21に表示する表示モードである。すなわち、走行俯瞰モードM21では、車両9の周辺全体を示す合成画像FP1と、車両9の前方を示すフロント画像FP2との二つの画像が同一画面上に示される。
【0110】
走行俯瞰モードM21においては、このような二つの画像FP1,FP2を閲覧することができるため、ユーザは、車両9の周囲全体とともに、車両9の進行方向である前方の状況を一目で確認できる。走行俯瞰モードM21は、前進中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
【0111】
また、自車確認モードM22は、フロントカメラ51での撮影により得られるフロント画像FP3と、車両9の後方の仮想視点VPからみた車両9の様子を示す合成画像FP4とを並べて含む画面をディスプレイ21に表示する表示モードである。すなわち、自車確認モードM22では、車両9の前方を示すフロント画像FP3と、車両9の側方を示す合成画像FP4との二つの画像が同一画面上に示される。
【0112】
自車確認モードM22のフロント画像FP3は、走行俯瞰モードM21のフロント画像FP2と比較して、左右方向の視野範囲が広く設定されている。このため、見通しの悪い交差点に進入する場合に死角となりやすい車両9の前端より前方かつ左右方向に存在する物体を確認できる。
【0113】
また、自車確認モードM22の合成画像FP4は、走行俯瞰モードM21の合成画像FP1と比較して仮想視点VPの位置が車両9の後方に移動されているため、車両9の後方を示す領域は狭くなるものの、車両9の側方が確認しやすくなっている。このため、対向車とすれ違う場合などに、対向車とのクリアランスを容易に確認できる。
【0114】
自車確認モードM22においては、このような二つの画像FP3,FP4を閲覧することができるため、ユーザは、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などの慎重な運転を必要とする状況において、確認すべき領域の状況を一目で確認できる。
【0115】
また、サイドカメラモードM23は、左右のサイドカメラ53での撮影によりそれぞれ得られるサイド画像FP5,FP6を並べて含む画面をディスプレイ21に表示する表示モードである。サイド画像FP5,FP6は、運転席から死角となりやすいフロントフェンダ94の外側のみを示している。
【0116】
サイドカメラモードM23においては、このような二つの画像FP3,FP4を閲覧することができるため、ユーザは、道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
【0117】
<1−7.バックモード>
次に、バックモードM3における車両9の周辺の表示態様について詳細に説明する。図14は、バックモードM3における表示モードの遷移を示す図である。バックモードM3では、駐車俯瞰モードM31、及び、ドアミラーモードM32の2つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの画面にも、各表示態様における視野範囲を示す視野ガイド90が表示され、ユーザに対して車両9の周辺のいずれの領域を表示しているかが示されるようになっている。
【0118】
これらの表示モードは、ミラー駆動装置86から入力されるドアミラー93の状態に応じて制御部1の制御により切り替えられる。具体的には、ドアミラー93が通常状態に展開されている場合は駐車俯瞰モードM31となり、ドアミラー93が格納されている場合はドアミラーモードM32となる。
【0119】
駐車俯瞰モードM31は、車両9の直上の仮想視点VPからみた車両9の様子を示す合成画像BP1と、バックカメラ52での撮影により得られるバック画像BP2とを並べて含む画面をディスプレイ21に表示する表示モードである。すなわち、駐車俯瞰モードM31では、車両9の周辺全体を示す合成画像BP1と、車両9の後方を示すバック画像BP2との二つの画像が同一画面上に示される。
【0120】
駐車俯瞰モードM31においては、このような二つの画像BP1,BP2を閲覧することができるため、ユーザは、車両9の周囲全体とともに、車両9の進行方向である後方の状況を一目で確認できる。駐車俯瞰モードM31は、後退中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
【0121】
また、ドアミラーモードM32は、左右のサイドカメラ53での撮影によりそれぞれ得られるサイド画像BP3,BP4を並べて含む画面をディスプレイ21に表示する表示モードである。サイド画像BP3,BP4は、ドアミラー93が展開している際に、ドアミラー93に映る範囲とほぼ同様の範囲、具体的には、車両9の側方領域のうちの後方を示すものとなる。
【0122】
図15に示すように、サイドカメラ53はドアミラー93に設けられるため、ドアミラー93が格納された状態となると、その光軸53aの方向が車両9の後方に向けられることになる。この状態では、サイドカメラ53において車両9の側方全体を示す画像を取得できないため、任意の仮想視点からみた合成画像を生成することは難しくなる。しかしながら、光軸53aが車両9の後方へ移動するため、車両9の側方領域の後方については比較的歪が少ない撮影画像を取得することができる。ドアミラーモードM32では、このようなサイドカメラ53で取得された撮影画像を利用して、車両9の側方領域の後方を示す二つの画像BP3,BP4を生成して表示する。
【0123】
ドアミラーモードM32においては、このような二つの画像BP3,BP4を閲覧することができるため、ユーザは、駐車環境によってドアミラー93を格納せざるを得ない場合であっても、ドアミラー93に映る範囲とほぼ同様の範囲を確認することができる。
【0124】
<1−8.光源の選択>
このように画像表示システム120においては、各種の表示態様で車両9の周辺の様子がディスプレイ21に示されることになるが、周辺環境が比較的暗くて車両9の周辺を示す画像としての明るさが十分に確保できないときは、補助照明部6で照明を行うことになる。
【0125】
ただし、補助照明部6の複数の光源60をすべて一律に照明したのでは、電力が無駄に消費される可能性がある。例えば、サイドカメラモードM23においては、フロントフェンダ94の外側のみが示されることから、図6における中央領域CAのみを照明すれば必要な画像が取得でき、前方領域FAや後方領域BAを照明する必要性は低い。
【0126】
このため、画像表示システム120では、照明制御部12が、その時点の表示モードに応じて、補助照明部6の複数の光源のうちから照明させる光源60を選択し、選択した光源60のみを照明させるようになっている。これにより、その時点においてディスプレイ21に表示されている車両9の周辺の領域に応じた光源60が選択され、表示に必要な領域のみが主に照明されることになる。
【0127】
このような表示モードと、照明制御部12が選択する光源60との対応関係は予め定められており、その対応関係は、不揮発性メモリ40に記憶された照明テーブル4bに示されている。
【0128】
図16は、この照明テーブル4bの内容を示す図である。図に示すように、照明テーブル4bにおいては、表示モードごとに、前方光源61、中央光源63及び後方光源62のいずれを照明するかが記載されている。照明テーブル4bにおいて、照明すべき光源60は「ON」と示され、照明しない光源60は「OFF」と示されている。
【0129】
周囲確認モードM1においては、前方光源61、中央光源63及び後方光源62の全てが照明すべき光源60として示されている。周囲確認モードM1は、車両9の全周囲の状況を確認するための表示モードであるため、できるだけ広い範囲を照明することが望ましい。このため、全ての光源60が照明する光源60として選択されることになる。
【0130】
走行俯瞰モードM21においては、前方光源61、中央光源63及び後方光源62の全てが照明すべき光源60として示されている。走行俯瞰モードM21では、車両9の周辺全体を示す合成画像FP1が示されることから、できるだけ広い範囲を照明することが望ましい。このため、全ての光源60が照明する光源60として選択されることになる。
【0131】
自車確認モードM22においては、前方光源61及び中央光源63が照明すべき光源60として示されている。自車確認モードM22は、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などに利用される。このため、ユーザが注目すべき車両9の前方側に注意を向けさせるために、前方光源61及び中央光源63のみが照明する光源60として選択され、後方光源62は選択されない。
【0132】
サイドカメラモードM23においては、中央光源63のみが照明すべき光源60として示されている。サイドカメラモードM23においては、フロントフェンダ94の外側のみが示されることから、中央光源63のみが照明する光源60として選択され、前方光源61及び後方光源62は選択されない。
【0133】
駐車俯瞰モードM31においては、前方光源61、中央光源63及び後方光源62の全てが照明すべき光源60として示されている。駐車俯瞰モードM31では、車両9の周辺全体を示す合成画像BP1が示されることから、できるだけ広い範囲を照明することが望ましい。このため、全ての光源60が照明する光源60として選択されることになる。
【0134】
また、ドアミラーモードM32においては、中央光源63のみが照明すべき光源60として示されている。ドアミラーモードM32においては、車両9の側方領域の後方が示されることになる。ただしこの場合、ドアミラー93が格納されているため、3つの光源60の光軸の方向も車両9の後方側へ移動される。このため、車両9の側方領域の後方に光軸が向けられた中央光源63のみが照明すべき光源60として選択され、前方光源61及び後方光源62は選択されない。
【0135】
<1−9.処理フロー>
次に、上記のような照明すべき光源60を選択する処理の流れについて説明する。図17は、照明制御部12が照明すべき光源60を選択する処理の流れを示す図である。この処理は、照明制御部12により繰り返し実行されるものである。
【0136】
まず、ディスプレイ21に車両9の周辺の画像を表示させる状態であるかが判定される(ステップS11)。具体的には、動作モードが、ナビモードM0以外(周囲確認モードM1、フロントモードM2及びバックモードM3のいずれか)であるかが判定される。動作モードがナビモードM0の場合は(ステップS11にてNo)、補助照明部6による照明が不要であるため全ての光源60が消灯される(ステップS17)。
【0137】
また、動作モードがナビモードM0以外のときには(ステップS11にてYes)、次に、補助照明部6による照明が必要な程度に周辺環境が暗いか否かが判定される(ステップS12)。具体的には、照度センサ83から入力される車両9の周辺環境の明るさを示す照度が、所定のしきい値よりも低いか否かが判定される。照度センサ83からの照度が所定のしきい値よりも高い場合は(ステップS12にてNo)、補助照明部6による照明が不要であるため全ての光源60が消灯される(ステップS17)。
【0138】
また、照度センサ83からの照度が所定のしきい値よりも低い場合は(ステップS12にてYes)、続いて、撮影部5で実際に取得される撮影画像の明るさが、補助照明部6による照明が必要な程度に暗いか否かが判定される(ステップS13)。具体的には、撮影画像調整部31から撮影画像の平均輝度が制御部1に入力され、撮影画像の平均輝度が所定のしきい値よりも低いか否かが判定される。撮影画像の平均輝度が所定のしきい値よりも高い場合は(ステップS13にてNo)、補助照明部6による照明が不要であるため全ての光源60が消灯される(ステップS17)。
【0139】
一方、撮影画像の平均輝度が所定のしきい値よりも低い場合は(ステップS13にてYes)、次に、その時点の表示モードが取得される(ステップS14)。そして、不揮発性メモリ40に記憶された照明テーブル4bが参照されて、表示モードに応じて照明すべき光源60が選択される(ステップS15)。
【0140】
続いて、選択された光源60のみが照明するように照明制御部12から補助照明部6に信号が出力される。これにより、表示モードに応じて選択された光源60のみが点灯することになる(ステップS16)。
【0141】
以上のように、本実施の形態では、補助照明部6の複数の光源60を選択的に照明させることができることから、不要な光源60を照明させないことで消費電力を低減できる。また、ディスプレイ21に表示させる領域に応じて照明すべき光源60を選択するため、表示に必要な領域のみを照明でき、消費電力を有効に低減できる。
【0142】
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態における画像表示システムの構成・処理は、第1の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第1の実施の形態との相違点を中心に説明する。
【0143】
第2の実施の形態では、自車確認モードM22において、ドライバの方向指示器85のウインカースイッチの操作に応答して、合成画像FP4の仮想視点VPの視点位置が移動されるようになっている。
【0144】
図18は、自車確認モードM22における画面の状態遷移を示す図である。また、図19は、仮想視点VPの位置の遷移を示す図である。方向指示器85から入力されるターン信号がオフの場合、すなわち、方向指示が無い場合は、仮想視点VPの視点位置は車両9の後方における左右略中央の位置VPC(図19参照)、視野方向は車両9の前方方向に設定される。これにより、図18の状態STCに示すように、ディスプレイ21には、車両9の左右双方の側方領域を略均等に含む合成画像FP4が示される。
【0145】
一方、方向指示器85から入力されるターン信号がオンの場合、すなわち、方向指示が有る場合は、仮想視点VPに関して視野方向は車両9の前方方向のまま、視点位置がターン信号が示す方向の位置に移動される。
【0146】
具体的には、ターン信号が左方向を示すときは、仮想視点VPの視点位置は車両9の左サイドの位置VPLに設定される(図19参照)。これにより、図18の状態STLに示すように、方向指示器85のターン信号が示す左方向の側方領域を右方向の側方領域よりも大きく示す合成画像FP4が、ディスプレイ21に表示される。
【0147】
また、ターン信号が右方向を示すときは、仮想視点VPの視点位置は車両9の右サイドの位置VPRに設定される(図19参照)。これにより、図18の状態STRに示すように、方向指示器85のターン信号が示す右方向の側方領域を左方向の側方領域よりも大きく示す合成画像FP4がディスプレイ21に表示される。
【0148】
方向指示器85で指示された方向は、方向変更や幅寄せのときに車両9が移動して接触する物体が存在する可能性が高い。したがって、このように方向指示器85で指示された方向の側方領域を大きく示すことで、ユーザ(代表的にはドライバ)の注意を接触する可能性のある物体に向けさせることができ、車両9と物体との接触を有効に防止できる。なお、方向指示が解除されると、図18の状態STCに示すように、車両9の左右双方の側方領域を略均等に含む合成画像FP4が表示される状態に戻ることになる。
【0149】
また、本実施の形態では、このように方向指示が有る場合は、方向指示が示す方向に配置されたハウジング7に収容された3つの光源60のうちから照明すべき光源60が選択されるようになっている。
【0150】
図20は、第2の実施の形態における、照明制御部12が照明すべき光源60を選択する処理の流れを示す図である。
【0151】
図20に示すステップS21〜S25の処理は、図19に示すステップS11〜S15の処理と同様である。したがって、ステップS25が完了した時点で、表示モードに応じて照明すべき光源60が選択されている。
【0152】
ステップS25が完了すると、続いて、表示モードが自車確認モードM22で、かつ、方向指示が有るか否かが判定される(ステップS26)。方向指示の有無は、ターン信号に基づいて判断される。表示モードが自車確認モードM22以外の場合や、自車確認モードM22であっても方向指示が無い場合は(ステップS26にてNo)、そのままステップS25で選択された光源60が照明するように制御される(ステップS28)。
【0153】
一方、表示モードが自車確認モードM22で、かつ、方向指示が有る場合は(ステップS26にてYes)、ステップS25で選択された光源60のうちで、方向指示が示す方向に配置された光源60のみが選択され、方向指示とは逆方向に配置された光源60の選択が解除される(ステップS27)。そして、方向指示が示す方向に配置された光源60のみが照明するように制御されることになる(ステップS28)。
【0154】
このように、方向指示が示す方向に配置された光源60のみを照明させることで、方向指示器85で指示された方向の側方領域に、ユーザ(代表的にはドライバ)の注意を向けさせることができる。
【0155】
なお、本実施の形態では、自車確認モードM22の場合にのみ、方向指示が示す方向に基づいて照明すべき光源60を選択していたが、他の表示モードにおいても同様に、方向指示が示す方向に配置された光源60のみを照明させるようにしてもよい。
【0156】
<3.第3の実施の形態>
次に、第3の実施の形態について説明する。第3の実施の形態における画像表示システムの構成・処理は、第1の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第1の実施の形態との相違点を中心に説明する。
【0157】
一つのサイドカメラユニット70に配置される3つの光源60は、図6に示すように、前方領域FA、中央領域CA及び後方領域BAを照明する。このうち、前方領域FAについては、車両9が標準的に備えるヘッドライトによっても照明することが可能である。
【0158】
図21は、車両9のヘッドライト98が照明可能な領域を示す図である。図中では、ヘッドライト98によって、十分な明るさの画像の取得が可能な程度(例えば、0.5ルクス以上)に照明できる領域HAをハッチングで示している。図に示すように、前方領域FAは、ヘッドライト98が照明可能な領域HAに含まれている。したがって、ヘッドライト98が点灯している場合は、前方領域FAを照明する必要性は低い。このため、本実施の形態では、ヘッドライト98が点灯している場合は、前方光源61を照明すべき光源60として選択しないようになっている。
【0159】
図22は、第3の実施の形態における、照明制御部12が照明すべき光源60を選択する処理の流れを示す図である。
【0160】
図22に示すステップS31〜S35の処理は、図19に示すステップS11〜S15の処理と同様である。したがって、ステップS35が完了した時点で、表示モードに応じて照明すべき光源60が選択されている。
【0161】
ステップS35が完了すると、続いて、ヘッドライト98が点灯されているか否かが判定される(ステップS36)。ヘッドライト98の点灯状態は、灯火制御装置84からの信号に基づいて判断される。ヘッドライト98が点灯していない場合は(ステップS36にてNo)、そのままステップS35で選択された光源60が照明するように制御される(ステップS38)。
【0162】
一方、ヘッドライト98が点灯している場合は、ステップS35で選択された光源60のうちから、前方光源61以外の光源60が選択され、前方光源61の選択が解除される(ステップS37)。そして、前方光源61以外のうちから選択された光源60のみが照明するように制御されることになる(ステップS38)。
【0163】
このように、ヘッドライト98が照明している領域を照明しないことで、無駄な照明がなされず、消費電力を有効に低減できる。なお、本実施の形態では、走行用灯火装置のうちヘッドライト98の灯火状態のみを考慮していたが、テールランプやブレーキランプなど他の走行用灯火装置の点灯状態を考慮して照明すべき光源60を選択するようにしてもよい。
【0164】
<4.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【0165】
例えば、照明すべき光源60を選択する条件として、シフトポジションや走行速度などの車両の走行状態を考慮するようにしてもよい。例えば、シフトポジションが”D(前進)”であれば前方光源61を照明すべき光源60として選択し、シフトポジションが”R(後退)”であれば後方光源62を照明すべき光源60として選択することなどが考えられる。また、走行速度が所定以上の場合はドライバに進行方向に集中させるために前方光源61のみを照明すべき光源60として選択し、走行速度が所定未満の場合は車両の周辺の確認が必要な場合が多いため全ての光源60を照明すべき光源60として選択することが考えられる。
【0166】
また、上記実施の形態では、画像処理装置100とナビゲーション装置20とは別の装置であるとして説明したが、画像処理装置100とナビゲーション装置20とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
【0167】
また、上記実施の形態では、画像処理装置100で生成された画像を表示する表示装置はナビゲーション装置20であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【0168】
また、上記実施の形態において、画像処理装置100の制御部1によって実現されると説明した機能の一部は、ナビゲーション装置20の制御部23によって実現されてもよい。
【0169】
また、上記実施の形態において、信号入力部41を介して画像処理装置100の制御部1に入力されると説明した信号の一部または全部は、ナビゲーション装置20に入力されるようになっていてもよい。この場合は、ナビ通信部42を経由して、画像処理装置100の制御部1に当該信号を入力すればよい。
【0170】
また、上記実施の形態では、車両9のドライバが意図する方向指示を方向指示器85から入力していたが、他の手段によって入力してもよい。例えば、ドライバの目を撮影した画像からドライバの視点の動きを検出し、その検出結果からドライバが意図する方向指示を入力するようなものであってもよい。
【0171】
また、上記実施の形態では、プログラムに従ったCPUの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【0172】
1 制御部
12 照明制御部
21 ディスプレイ
3 画像生成部
32 合成画像生成部
4b 照明テーブル
53 サイドカメラ
6 補助照明部
61 前方光源
62 後方光源
63 中央光源
7 ハウジング
70 サイドカメラユニット
93 ドアミラー
【特許請求の範囲】
【請求項1】
車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置の撮影を補助する照明を行う車載照明装置であって、
前記車両の側方領域を照明する複数の光源と、
前記複数の光源の光軸を互いに異なる方向に向けた状態で前記複数の光源を固定して収用するハウジングと、
を備えることを特徴とする車載照明装置。
【請求項2】
請求項1に記載の車載照明装置において、
前記複数の光源は、
前記側方領域のうちの前記車両の前方側となる前方領域を主に照明する第1光源と、
前記側方領域のうちの前記車両の後方側となる後方領域を主に照明する第2光源と、
前記前方領域と前記後方領域との間の領域を主に照明する第3光源と、
を含むことを特徴とする車載照明装置。
【請求項3】
請求項2に記載の車載照明装置において、
前記第1光源の光軸の方向と前記第2光源の光軸の方向とは、前記第3光源の光軸の方向に関して対称となることを特徴とする車載照明装置。
【請求項4】
請求項2または3に記載の車載照明装置において、
前記第3光源の光量を、前記第1光源及び前記第2光源よりも少なくする光源駆動手段、
をさらに備えることを特徴とする車載照明装置。
【請求項5】
請求項1ないし4のいずれかに記載の車載照明装置において、
前記ハウジング内には、前記複数のカメラのうちの前記側方領域を撮影するカメラが収容されることを特徴とする車載照明装置。
【請求項6】
請求項1ないし5のいずれかに記載の車載照明装置において、
前記複数の光源を選択的に照明させる制御手段、
をさらに備えることを特徴とする車載照明装置。
【請求項7】
請求項6に記載の車載照明装置において、
前記画像生成装置は、前記車両の周辺の少なくとも一部の領域を示す画像を表示装置に出力して表示させるものであり、
をさらに備え、
前記制御手段は、前記表示装置に表示させる前記車両の周辺の領域に応じて、前記複数の光源のうちから照明させる光源を選択することを特徴とする車載照明装置。
【請求項8】
請求項6に記載の車載照明装置において、
前記車両の走行に用いる走行用灯火装置の点灯状態を示す信号を入力する手段、
をさらに備え、
前記制御手段は、前記点灯状態に応じて前記複数の光源のうちから照明させる光源を選択することを特徴とする車載照明装置。
【請求項9】
請求項6に記載の車載照明装置において、
前記車両のドライバが意図する方向指示を入力する手段、
をさらに備え、
前記ハウジングは、前記車両の左側及び右側にそれぞれ配置され、
前記制御手段は、前記方向指示が有るときは、前記方向指示が示す方向に配置された前記ハウジングに収容された前記複数の光源のうちから照明させる光源を選択することを特徴とする車載照明装置。
【請求項10】
車両に搭載される画像処理装置であって、
前記車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置と、
前記画像生成装置の撮影を補助する照明を行う請求項1ないし9のいずれかに記載の車載照明装置と、
を備えることを特徴とする画像処理装置。
【請求項11】
車両に搭載される画像表示システムであって、
請求項10に記載の画像処理装置と、
前記画像処理装置から出力された前記車両の周辺を示す画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項1】
車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置の撮影を補助する照明を行う車載照明装置であって、
前記車両の側方領域を照明する複数の光源と、
前記複数の光源の光軸を互いに異なる方向に向けた状態で前記複数の光源を固定して収用するハウジングと、
を備えることを特徴とする車載照明装置。
【請求項2】
請求項1に記載の車載照明装置において、
前記複数の光源は、
前記側方領域のうちの前記車両の前方側となる前方領域を主に照明する第1光源と、
前記側方領域のうちの前記車両の後方側となる後方領域を主に照明する第2光源と、
前記前方領域と前記後方領域との間の領域を主に照明する第3光源と、
を含むことを特徴とする車載照明装置。
【請求項3】
請求項2に記載の車載照明装置において、
前記第1光源の光軸の方向と前記第2光源の光軸の方向とは、前記第3光源の光軸の方向に関して対称となることを特徴とする車載照明装置。
【請求項4】
請求項2または3に記載の車載照明装置において、
前記第3光源の光量を、前記第1光源及び前記第2光源よりも少なくする光源駆動手段、
をさらに備えることを特徴とする車載照明装置。
【請求項5】
請求項1ないし4のいずれかに記載の車載照明装置において、
前記ハウジング内には、前記複数のカメラのうちの前記側方領域を撮影するカメラが収容されることを特徴とする車載照明装置。
【請求項6】
請求項1ないし5のいずれかに記載の車載照明装置において、
前記複数の光源を選択的に照明させる制御手段、
をさらに備えることを特徴とする車載照明装置。
【請求項7】
請求項6に記載の車載照明装置において、
前記画像生成装置は、前記車両の周辺の少なくとも一部の領域を示す画像を表示装置に出力して表示させるものであり、
をさらに備え、
前記制御手段は、前記表示装置に表示させる前記車両の周辺の領域に応じて、前記複数の光源のうちから照明させる光源を選択することを特徴とする車載照明装置。
【請求項8】
請求項6に記載の車載照明装置において、
前記車両の走行に用いる走行用灯火装置の点灯状態を示す信号を入力する手段、
をさらに備え、
前記制御手段は、前記点灯状態に応じて前記複数の光源のうちから照明させる光源を選択することを特徴とする車載照明装置。
【請求項9】
請求項6に記載の車載照明装置において、
前記車両のドライバが意図する方向指示を入力する手段、
をさらに備え、
前記ハウジングは、前記車両の左側及び右側にそれぞれ配置され、
前記制御手段は、前記方向指示が有るときは、前記方向指示が示す方向に配置された前記ハウジングに収容された前記複数の光源のうちから照明させる光源を選択することを特徴とする車載照明装置。
【請求項10】
車両に搭載される画像処理装置であって、
前記車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置と、
前記画像生成装置の撮影を補助する照明を行う請求項1ないし9のいずれかに記載の車載照明装置と、
を備えることを特徴とする画像処理装置。
【請求項11】
車両に搭載される画像表示システムであって、
請求項10に記載の画像処理装置と、
前記画像処理装置から出力された前記車両の周辺を示す画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【公開番号】特開2011−105084(P2011−105084A)
【公開日】平成23年6月2日(2011.6.2)
【国際特許分類】
【出願番号】特願2009−260699(P2009−260699)
【出願日】平成21年11月16日(2009.11.16)
【出願人】(000237592)富士通テン株式会社 (3,383)
【Fターム(参考)】
【公開日】平成23年6月2日(2011.6.2)
【国際特許分類】
【出願日】平成21年11月16日(2009.11.16)
【出願人】(000237592)富士通テン株式会社 (3,383)
【Fターム(参考)】
[ Back to top ]