画像表示装置
【課題】運転者にとって自車の空間的位置が直感的に把握できるようにすること。
【解決手段】画像変換部３０が、車載カメラ１０によって撮影された撮影画像を、地表の特定領域を車両の運転席から見た様子を表現した画像に座標変換し、三次元モデリング部４０が、地表の特定領域を車両の運転席から見る際に視野に入る左右前輪の三次元モデルを表示パラメータから作成する。そして、画像合成部５０が、三次元モデリング部４０によって作成された三次元モデルを、画像変換部３０による変換後の画像に合成する。さらに、ディスプレイ６０が、画像合成部５０による合成後の画像を、これまで表示していた画像に代えて表示する。このことにより、運転者にとって自車の空間的位置が直感的に把握できる。例えば、狭路通過時や切り替えし時に見切りが良くなるといった効果が期待できる。
【解決手段】画像変換部３０が、車載カメラ１０によって撮影された撮影画像を、地表の特定領域を車両の運転席から見た様子を表現した画像に座標変換し、三次元モデリング部４０が、地表の特定領域を車両の運転席から見る際に視野に入る左右前輪の三次元モデルを表示パラメータから作成する。そして、画像合成部５０が、三次元モデリング部４０によって作成された三次元モデルを、画像変換部３０による変換後の画像に合成する。さらに、ディスプレイ６０が、画像合成部５０による合成後の画像を、これまで表示していた画像に代えて表示する。このことにより、運転者にとって自車の空間的位置が直感的に把握できる。例えば、狭路通過時や切り替えし時に見切りが良くなるといった効果が期待できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺部に取り付けた車載カメラで車両の周辺を撮影し、その撮影した画像を表示する画像表示装置に関し、特に、運転者にとって自車の空間的位置が直感的に把握できるようにする技術に関する。
【背景技術】
【０００２】
従来より、車両の周辺部に取り付けた車載カメラで車両の周辺を撮影し、その撮影した画像を表示する画像表示装置が知られている。
例えば、特許文献１に記載の画像表示装置として機能する車載カメラ映像合成透過装置は、上述の車載カメラで車両の周辺を撮影し、その撮影した画像に対して行列演算を行うことで直交座標を透過座標へ変換し、その座標変換を行った画像を表示装置に表示する。なお、上述の車載カメラが複数存在する場合には、上述のような座標変換をそれぞれ行った画像を合成して一つの画像を生成し、その生成した画像を表示装置に表示する。
【０００３】
また、特許文献２に記載の画像表示装置は、画面構成切り替え部において、イグニッションオン時に全周囲死角のない合成画像を表示する停止１モードを選択し、シフト位置検出部により検出されたシフト位置が前進ギアの場合、前方の状況と周囲車両の状況が同時に確認できる合成画像を表示する低速走行モードを選択し、後退ギアの場合は、後方の状況と車両周囲の状況が同時に確認できる合成画像を表示する後退モードを選択し、他のギア時は停止１モードを保持する構成とする。
【特許文献１】特開平１１−１１４４号公報
【特許文献２】特開２００２−１０９６９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上述のような画像表示装置においては、車載カメラで撮影した画像をそのまま表示したり座標変換して表示したりしているために、車両周囲の障害物の有無を確認することはできるが、例えば峡路通過時の自車の車輪位置や自車の進行方向など自車の空間的位置が直感的に把握しにくいという問題があった。
【０００５】
本発明は、このような不具合に鑑みなされたものであり、その目的とするところは、運転者にとって自車の空間的位置が直感的に把握できるようにすることにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するためになされた請求項１に係る画像表示装置は、車載カメラによって撮影された撮影画像を地表の特定領域を特定地点から見た映像を表現した画像に座標変換し、前記特定領域を特定地点から見る際に視野に入る車両の一部の三次元モデルをその座標変換後の画像へ合成することを特徴とする。
【０００７】
具体的には、車載カメラが車両の周辺を撮影し、画像変換手段が、車載カメラによって撮影された撮影画像を、地表の特定領域を特定地点から見た映像を表現した画像に座標変換する。一方、三次元モデル作成手段が、前記特定領域を特定地点から見る際に視野に入る車両の一部の三次元モデルを作成する。そして、画像合成手段が、三次元モデル作成手段によって作成された三次元モデルを、画像変換手段による変換後の画像に合成する。さらに、表示制御手段が、画像合成手段によって生成された合成画像を、ユーザに対して種々の情報を表示する表示手段に表示させる。
【０００８】
このように構成された本発明の画像表示装置によれば、運転者にとって自車の空間的位置が直感的に把握できる。そして、例えば、狭路通過時や切り替えし時に見切りが良くなるといった効果が期待できる。
【０００９】
この場合、上述の車載カメラについては複数存在することが考えられる。具体的には、請求項２のように、車載カメラが複数存在し、複数の車載カメラによってそれぞれ撮影された複数の撮影画像を連結して一つの画像を生成する画像連結手段を備え、画像変換手段が、画像連結手段によって生成された画像を、前記特定領域を特定地点から見た映像を表現した画像に座標変換することが考えられる。一例を挙げると、パノラマ写真のように端部を重ね合わせ、重複部分を一次変換などの画像処理を行うといった具合である。
【００１０】
このようにすれば、一つの車載カメラが撮影した撮影画像を用いる場合に比べて、広範囲の様子を表示手段に表示することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００１１】
ところで、上述の三次元モデルについては、少なくとも車両の進行方向を示す情報および車両の外形を示す情報に基づいて作成されること考えられる。具体的には、請求項３のように、三次元モデル作成手段が、少なくとも車両の進行方向を示す情報および車両の外形を示す情報に基づき、前記特定領域を前記特定地点から見る際に視野に入る車両の一部の三次元モデルを作成することが考えられる。このようにすれば、三次元モデルをより精度良く作成することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００１２】
ところで、上述のような地表の特定領域を特定地点から見た映像の具体例としては、（イ）車両の運転席から見た映像（請求項５）や、（ロ）地上面を鉛直方向に見下ろす映像（請求項４）などが考えられる。
【００１３】
このうち、（イ）車両の運転席から見た映像については、請求項４のように、画像変換手段が、車載カメラによって撮影された撮影画像を、前記特定領域を前記特定地点から見た映像としての前記特定領域を車両の運転席から見た映像に座標変換し、三次元モデル作成手段が、前記特定領域を前記特定地点から見る際に視野に入る車両の一部としての前記特定領域を車両の運転席から見る際に視野に入る車両の一部の三次元モデルを作成することが考えられる。このようにすれば、車両周囲の様子を運転者の視線で把握することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００１４】
また、（ロ）地上面を鉛直方向に見下ろす映像については、請求項５のように、画像変換手段が、車載カメラによって撮影された撮影画像を、前記特定領域を前記特定地点から見た映像としての地上面を鉛直方向に見下ろす映像を表す画像に座標変換し、三次元モデル作成手段が、前記特定領域を前記特定地点から見る際に視野に入る車両の一部としての地上面を鉛直方向に見下ろす際に視野に入る車両の一部の三次元モデルを作成することが考えられる。このようにすれば、車両周囲の様子を鳥瞰図を見るように把握することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００１５】
ところで、座標変換後の画像の一部に対して拡大変換または縮小変換を行うことが考えられる。具体的には、請求項６のように、画像変換手段が、座標変換後の画像の一部を拡大する拡大変換または縮小する縮小変換を行うことが考えられる。一例を挙げると、画像のうち三次元モデル周辺を拡大変換したり、画像のうち車両との位置関係を考慮しなくても良い部分を縮小変換したりするといった具合である。このようにすれば、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００１６】
以上で説明したような画像表示装置における画像変換手段、三次元モデル作成手段、画像合成手段および表示制御手段の機能をコンピュータシステムにて実現するには、コンピュータシステム側で起動するプログラムとして備えればよい。このようなプログラムは、例えば光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、ＲＯＭ、ＲＡＭ等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードすることにより、上述の画像変換手段、三次元モデル作成手段、画像合成手段および表示制御手段としての機能を実現できる。
【発明を実施するための最良の形態】
【００１７】
以下に本発明の実施形態を図面とともに説明する。
［第一実施形態］
図１は、第一実施形態の画像表示装置１の概略構成を示す説明図である。また、図２は画像表示装置１の車載カメラ１０の撮像領域を説明する説明図である。
【００１８】
［画像表示装置１の構成の説明］
図１に示すように、画像表示装置１は、車載カメラ１０と、情報取得部２０と、画像変換部３０と、三次元モデリング部４０と、画像合成部５０と、ディスプレイ６０と、を備える。
【００１９】
車載カメラ１０は、ＣＣＤカメラで構成され、その前方を連続して撮影する。なお、本実施形態ではＮ台の車載カメラ１０が車両に搭載され、そのうちの三台の車載カメラ１０が車両の前部に設置されている（図２参照）。車両の中央前部に設置された車載カメラ１０は車両前方を撮影し、左のドアミラーに設置された車載カメラ１０は車両の左前方を撮影し、右のドアミラーに設置された車載カメラ１０は車両の右前方を撮影する。
【００２０】
情報取得部２０は、表示パラメータを取得する。ここで表示パラメータとは、ステアリングなどの操舵装置の操舵角度および車両の外形を示す情報を云う。なお、車両の外形を示す情報とは、車両のボディの外形形状や左右前輪の形状などを示す情報を云う。
【００２１】
画像変換部３０は、複数の車載カメラ１０によって撮影された複数の撮影画像を連結して一つの画像を生成し、その生成された画像を、地表の特定領域を車両の運転席から見た映像を表現した画像に座標変換する。なお、本実施形態では、画像変換部３０が、例えばパノラマ写真のように撮影画像の端部を重ね合わせ、重複部分を一次変換などの画像処理によって連結する。また、本実施形態では、画像変換部３０が、座標系を変換するための行列式を用いて行列演算を行うことで、画像を車両の運転席から見た映像に変換する（図４（ａ）および図４（ｂ）参照）。なお、画像変換部３０は画像変換手段および画像連結手段に該当する。
【００２２】
三次元モデリング部４０は、情報取得部２０が取得した表示パラメータに基づき、地表の特定領域を車両の運転席から見た際に視野に入る車両の一部としての左右前輪の三次元モデルを作成する。なお、三次元モデリング部４０は三次元モデル作成手段に該当する。
【００２３】
画像合成部５０は、三次元モデリング部４０によって作成された三次元モデルを、画像変換部３０による変換後の画像に合成する。この際、三次元モデルの向こう側が透けて見えるように合成する。一例を挙げると、図４（ｂ）に例示するように、左前輪の三次元モデルの向こう側に存在する車止めが透けて見えるように合成するといった具合である。
【００２４】
ディスプレイ６０は、液晶ディスプレイや有機ＥＬディスプレイ等から構成され、ユーザに対して各種情報を表示する機能を有する。なお、各種情報の具体例としては、画像合成部５０によって生成された合成画像が挙げられる。
【００２５】
なお、ディスプレイ６０は表示手段および表示制御手段に該当する。
［画像合成・表示処理の説明］
次に、画像表示装置１によって実行される画像合成・表示処理を図３のフローチャートおよび図４を参照して説明する。なお、図４は画像表示処理を説明する説明図である。
【００２６】
まず、車載カメラ１０がその前方を撮像する（Ｓ１１０）。
続いて、画像変換部３０が、車両前部の三台の車載カメラ１０によって撮影された撮影画像を連結して一つの画像を生成し、その生成された画像を、地表の特定領域を車両の運転席から見た映像を表現した画像に座標変換する（Ｓ１２０、図４（ａ）参照）。
【００２７】
続いて、情報取得部２０が、表示パラメータとしての操舵角度および車両の外形を示す情報を取得する（Ｓ１３０）。
続いて、三次元モデリング部４０が、情報取得部２０が取得した表示パラメータから左右前輪の三次元モデルを合成する（Ｓ１４０、図４（ｂ）のタイヤの３Ｄモデル参照）。
【００２８】
続いて、画像合成部５０が、三次元モデリング部４０によって作成された左右前輪の三次元モデルを、画像変換部３０による変換後の画像に合成する（Ｓ１５０）。この際、三次元モデルの向こう側が透けて見えるように合成する（図４（ｂ）参照）。
【００２９】
続いて、ディスプレイ６０が表示内容を更新する（Ｓ１６０）。具体的には、ディスプレイ６０が、画像合成部５０による合成後の画像を、これまで表示していた画像に代えて表示する。
【００３０】
そして、Ｓ１１０に戻る。なお、画像表示装置１は、ディスプレイ６０に画像をほぼリアルタイムで表示するために、上記Ｓ１１０からＳ１６０までの処理を１秒間に３０回程度繰り返し実行する。
【００３１】
［第一実施形態の効果］
（１）このように第一実施形態の画像表示装置１によれば、次のような作用効果を奏する。すなわち、画像変換部３０が、車載カメラ１０によって撮影された撮影画像を、地表の特定領域を車両の運転席から見た様子を表現した画像に座標変換し、三次元モデリング部４０が、地表の特定領域を車両の運転席から見る際に視野に入る左右前輪の三次元モデルを表示パラメータから作成する。そして、画像合成部５０が、三次元モデリング部４０によって作成された三次元モデルを、画像変換部３０による変換後の画像に合成する。さらに、ディスプレイ６０が、画像合成部５０による合成後の画像を、これまで表示していた画像に代えて表示する。このことにより、運転者にとって自車の空間的位置が直感的に把握できる。例えば、狭路通過時や切り替えし時に見切りが良くなるといった効果が期待できる。
【００３２】
（２）また、第一実施形態の画像表示装置１によれば、車載カメラ１０によって撮影された撮影画像を、地表の特定領域を車両の運転席から見た様子を表現した画像に座標変換する。このことにより、車両周囲の様子を運転者の視線で把握することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００３３】
（３）また、第一実施形態の画像表示装置１によれば、画像変換部３０が、複数の車載カメラ１０によって撮影された複数の撮影画像を連結して一つの画像を生成し、その生成された画像を、地表の特定領域を車両の運転席から見た映像を表現した画像に座標変換する。このことにより、一つの車載カメラ１０が撮影した撮影画像を用いる場合に比べて、広範囲の様子をディスプレイ６０に表示することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００３４】
（４）また、第一実施形態の画像表示装置１によれば、三次元モデリング部４０が、ステアリングなどの操舵装置の操舵角度および車両の外形を示す情報からなる表示パラメータに基づき、地表の特定領域を車両の運転席から見た際に視野に入る車両の一部としての左右前輪の三次元モデルを作成する。このことにより、三次元モデルをより精度良く作成することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００３５】
［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、以下のような様々な態様にて実施することが可能である。
【００３６】
（１−１）上記実施形態では、画像変換部３０が、複数の車載カメラ１０によって撮影された複数の撮影画像を連結して一つの画像を生成し、その生成された画像を、地表の特定領域を車両の運転席から見た映像を表現した画像に座標変換するが（図４参照）、これには限られず、図５に例示するように、画像変換部３０が、その生成された画像を、地上面を鉛直方向に見下ろす映像を表現した画像に変換するようにしてもよい。なおこの場合、三次元モデリング部４０が、地表の特定領域を鉛直方向に見下ろす際に視野に入る左右前輪および車両前部の三次元モデルを作成する。このようにすれば、車両周囲の様子を鳥瞰図を見るように把握することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００３７】
（１−２）また、画像変換部３０が、その生成された画像を、地表の特定領域を特定地点から見た映像を表現した画像に変換するようにしてよい。なおこの場合、三次元モデリング部４０が、地表の特定領域を特定地点から見た際に視野に入る左右前輪および車両前部の三次元モデルを作成する。このようにしても、車両周囲の様子を把握することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００３８】
（２）また、上記実施形態では、画像変換部３０が、座標系を変換するための行列式を用いて行列演算を行うが、これに限られず、例えば、画像を回転させるための行列式を用いて行列演算を行ってもよいし、画像の一部を拡大または縮小するための行列式を用いて行列演算を行ってもよいし、これらを組み合わせた行列演算を行ってもよい。一例を挙げると、画像のうち三次元モデル周辺を拡大変換したり、画像のうち車両との位置関係を考慮しなくても良い部分を縮小変換したりといった具合である。このようにすれば、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００３９】
（３）上記実施形態では、ディスプレイ６０が、液晶ディスプレイや有機ＥＬディスプレイ等から構成されているが、これには限られず、車両に搭載されるナビゲーション装置の表示装置や、メータに埋め込まれた表示装置、インパネ全面に構成される表示装置等を利用して実現してもよい。
【図面の簡単な説明】
【００４０】
【図１】第一実施形態の画像表示装置１の概略構成を示す説明図である。
【図２】画像表示装置１のカメラの撮像領域を説明する説明図である。
【図３】画像表示装置１が実行する画像合成・表示処理の手順を示すフローチャートである。
【図４】（ａ）は画像表示処理を説明する説明図（１）であり、（ｂ）は画像表示処理を説明する説明図（２）である。
【図５】（ａ）は画像表示処理を説明する説明図（３）であり、（ｂ）は画像表示処理を説明する説明図（４）である。
【符号の説明】
【００４１】
１…画像表示装置、１０…車載カメラ、２０…情報取得部、３０…画像変換部、４０…三次元モデリング部、５０…画像合成部、６０…ディスプレイ
【技術分野】
【０００１】
本発明は、車両の周辺部に取り付けた車載カメラで車両の周辺を撮影し、その撮影した画像を表示する画像表示装置に関し、特に、運転者にとって自車の空間的位置が直感的に把握できるようにする技術に関する。
【背景技術】
【０００２】
従来より、車両の周辺部に取り付けた車載カメラで車両の周辺を撮影し、その撮影した画像を表示する画像表示装置が知られている。
例えば、特許文献１に記載の画像表示装置として機能する車載カメラ映像合成透過装置は、上述の車載カメラで車両の周辺を撮影し、その撮影した画像に対して行列演算を行うことで直交座標を透過座標へ変換し、その座標変換を行った画像を表示装置に表示する。なお、上述の車載カメラが複数存在する場合には、上述のような座標変換をそれぞれ行った画像を合成して一つの画像を生成し、その生成した画像を表示装置に表示する。
【０００３】
また、特許文献２に記載の画像表示装置は、画面構成切り替え部において、イグニッションオン時に全周囲死角のない合成画像を表示する停止１モードを選択し、シフト位置検出部により検出されたシフト位置が前進ギアの場合、前方の状況と周囲車両の状況が同時に確認できる合成画像を表示する低速走行モードを選択し、後退ギアの場合は、後方の状況と車両周囲の状況が同時に確認できる合成画像を表示する後退モードを選択し、他のギア時は停止１モードを保持する構成とする。
【特許文献１】特開平１１−１１４４号公報
【特許文献２】特開２００２−１０９６９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上述のような画像表示装置においては、車載カメラで撮影した画像をそのまま表示したり座標変換して表示したりしているために、車両周囲の障害物の有無を確認することはできるが、例えば峡路通過時の自車の車輪位置や自車の進行方向など自車の空間的位置が直感的に把握しにくいという問題があった。
【０００５】
本発明は、このような不具合に鑑みなされたものであり、その目的とするところは、運転者にとって自車の空間的位置が直感的に把握できるようにすることにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するためになされた請求項１に係る画像表示装置は、車載カメラによって撮影された撮影画像を地表の特定領域を特定地点から見た映像を表現した画像に座標変換し、前記特定領域を特定地点から見る際に視野に入る車両の一部の三次元モデルをその座標変換後の画像へ合成することを特徴とする。
【０００７】
具体的には、車載カメラが車両の周辺を撮影し、画像変換手段が、車載カメラによって撮影された撮影画像を、地表の特定領域を特定地点から見た映像を表現した画像に座標変換する。一方、三次元モデル作成手段が、前記特定領域を特定地点から見る際に視野に入る車両の一部の三次元モデルを作成する。そして、画像合成手段が、三次元モデル作成手段によって作成された三次元モデルを、画像変換手段による変換後の画像に合成する。さらに、表示制御手段が、画像合成手段によって生成された合成画像を、ユーザに対して種々の情報を表示する表示手段に表示させる。
【０００８】
このように構成された本発明の画像表示装置によれば、運転者にとって自車の空間的位置が直感的に把握できる。そして、例えば、狭路通過時や切り替えし時に見切りが良くなるといった効果が期待できる。
【０００９】
この場合、上述の車載カメラについては複数存在することが考えられる。具体的には、請求項２のように、車載カメラが複数存在し、複数の車載カメラによってそれぞれ撮影された複数の撮影画像を連結して一つの画像を生成する画像連結手段を備え、画像変換手段が、画像連結手段によって生成された画像を、前記特定領域を特定地点から見た映像を表現した画像に座標変換することが考えられる。一例を挙げると、パノラマ写真のように端部を重ね合わせ、重複部分を一次変換などの画像処理を行うといった具合である。
【００１０】
このようにすれば、一つの車載カメラが撮影した撮影画像を用いる場合に比べて、広範囲の様子を表示手段に表示することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００１１】
ところで、上述の三次元モデルについては、少なくとも車両の進行方向を示す情報および車両の外形を示す情報に基づいて作成されること考えられる。具体的には、請求項３のように、三次元モデル作成手段が、少なくとも車両の進行方向を示す情報および車両の外形を示す情報に基づき、前記特定領域を前記特定地点から見る際に視野に入る車両の一部の三次元モデルを作成することが考えられる。このようにすれば、三次元モデルをより精度良く作成することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００１２】
ところで、上述のような地表の特定領域を特定地点から見た映像の具体例としては、（イ）車両の運転席から見た映像（請求項５）や、（ロ）地上面を鉛直方向に見下ろす映像（請求項４）などが考えられる。
【００１３】
このうち、（イ）車両の運転席から見た映像については、請求項４のように、画像変換手段が、車載カメラによって撮影された撮影画像を、前記特定領域を前記特定地点から見た映像としての前記特定領域を車両の運転席から見た映像に座標変換し、三次元モデル作成手段が、前記特定領域を前記特定地点から見る際に視野に入る車両の一部としての前記特定領域を車両の運転席から見る際に視野に入る車両の一部の三次元モデルを作成することが考えられる。このようにすれば、車両周囲の様子を運転者の視線で把握することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００１４】
また、（ロ）地上面を鉛直方向に見下ろす映像については、請求項５のように、画像変換手段が、車載カメラによって撮影された撮影画像を、前記特定領域を前記特定地点から見た映像としての地上面を鉛直方向に見下ろす映像を表す画像に座標変換し、三次元モデル作成手段が、前記特定領域を前記特定地点から見る際に視野に入る車両の一部としての地上面を鉛直方向に見下ろす際に視野に入る車両の一部の三次元モデルを作成することが考えられる。このようにすれば、車両周囲の様子を鳥瞰図を見るように把握することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００１５】
ところで、座標変換後の画像の一部に対して拡大変換または縮小変換を行うことが考えられる。具体的には、請求項６のように、画像変換手段が、座標変換後の画像の一部を拡大する拡大変換または縮小する縮小変換を行うことが考えられる。一例を挙げると、画像のうち三次元モデル周辺を拡大変換したり、画像のうち車両との位置関係を考慮しなくても良い部分を縮小変換したりするといった具合である。このようにすれば、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００１６】
以上で説明したような画像表示装置における画像変換手段、三次元モデル作成手段、画像合成手段および表示制御手段の機能をコンピュータシステムにて実現するには、コンピュータシステム側で起動するプログラムとして備えればよい。このようなプログラムは、例えば光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、ＲＯＭ、ＲＡＭ等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードすることにより、上述の画像変換手段、三次元モデル作成手段、画像合成手段および表示制御手段としての機能を実現できる。
【発明を実施するための最良の形態】
【００１７】
以下に本発明の実施形態を図面とともに説明する。
［第一実施形態］
図１は、第一実施形態の画像表示装置１の概略構成を示す説明図である。また、図２は画像表示装置１の車載カメラ１０の撮像領域を説明する説明図である。
【００１８】
［画像表示装置１の構成の説明］
図１に示すように、画像表示装置１は、車載カメラ１０と、情報取得部２０と、画像変換部３０と、三次元モデリング部４０と、画像合成部５０と、ディスプレイ６０と、を備える。
【００１９】
車載カメラ１０は、ＣＣＤカメラで構成され、その前方を連続して撮影する。なお、本実施形態ではＮ台の車載カメラ１０が車両に搭載され、そのうちの三台の車載カメラ１０が車両の前部に設置されている（図２参照）。車両の中央前部に設置された車載カメラ１０は車両前方を撮影し、左のドアミラーに設置された車載カメラ１０は車両の左前方を撮影し、右のドアミラーに設置された車載カメラ１０は車両の右前方を撮影する。
【００２０】
情報取得部２０は、表示パラメータを取得する。ここで表示パラメータとは、ステアリングなどの操舵装置の操舵角度および車両の外形を示す情報を云う。なお、車両の外形を示す情報とは、車両のボディの外形形状や左右前輪の形状などを示す情報を云う。
【００２１】
画像変換部３０は、複数の車載カメラ１０によって撮影された複数の撮影画像を連結して一つの画像を生成し、その生成された画像を、地表の特定領域を車両の運転席から見た映像を表現した画像に座標変換する。なお、本実施形態では、画像変換部３０が、例えばパノラマ写真のように撮影画像の端部を重ね合わせ、重複部分を一次変換などの画像処理によって連結する。また、本実施形態では、画像変換部３０が、座標系を変換するための行列式を用いて行列演算を行うことで、画像を車両の運転席から見た映像に変換する（図４（ａ）および図４（ｂ）参照）。なお、画像変換部３０は画像変換手段および画像連結手段に該当する。
【００２２】
三次元モデリング部４０は、情報取得部２０が取得した表示パラメータに基づき、地表の特定領域を車両の運転席から見た際に視野に入る車両の一部としての左右前輪の三次元モデルを作成する。なお、三次元モデリング部４０は三次元モデル作成手段に該当する。
【００２３】
画像合成部５０は、三次元モデリング部４０によって作成された三次元モデルを、画像変換部３０による変換後の画像に合成する。この際、三次元モデルの向こう側が透けて見えるように合成する。一例を挙げると、図４（ｂ）に例示するように、左前輪の三次元モデルの向こう側に存在する車止めが透けて見えるように合成するといった具合である。
【００２４】
ディスプレイ６０は、液晶ディスプレイや有機ＥＬディスプレイ等から構成され、ユーザに対して各種情報を表示する機能を有する。なお、各種情報の具体例としては、画像合成部５０によって生成された合成画像が挙げられる。
【００２５】
なお、ディスプレイ６０は表示手段および表示制御手段に該当する。
［画像合成・表示処理の説明］
次に、画像表示装置１によって実行される画像合成・表示処理を図３のフローチャートおよび図４を参照して説明する。なお、図４は画像表示処理を説明する説明図である。
【００２６】
まず、車載カメラ１０がその前方を撮像する（Ｓ１１０）。
続いて、画像変換部３０が、車両前部の三台の車載カメラ１０によって撮影された撮影画像を連結して一つの画像を生成し、その生成された画像を、地表の特定領域を車両の運転席から見た映像を表現した画像に座標変換する（Ｓ１２０、図４（ａ）参照）。
【００２７】
続いて、情報取得部２０が、表示パラメータとしての操舵角度および車両の外形を示す情報を取得する（Ｓ１３０）。
続いて、三次元モデリング部４０が、情報取得部２０が取得した表示パラメータから左右前輪の三次元モデルを合成する（Ｓ１４０、図４（ｂ）のタイヤの３Ｄモデル参照）。
【００２８】
続いて、画像合成部５０が、三次元モデリング部４０によって作成された左右前輪の三次元モデルを、画像変換部３０による変換後の画像に合成する（Ｓ１５０）。この際、三次元モデルの向こう側が透けて見えるように合成する（図４（ｂ）参照）。
【００２９】
続いて、ディスプレイ６０が表示内容を更新する（Ｓ１６０）。具体的には、ディスプレイ６０が、画像合成部５０による合成後の画像を、これまで表示していた画像に代えて表示する。
【００３０】
そして、Ｓ１１０に戻る。なお、画像表示装置１は、ディスプレイ６０に画像をほぼリアルタイムで表示するために、上記Ｓ１１０からＳ１６０までの処理を１秒間に３０回程度繰り返し実行する。
【００３１】
［第一実施形態の効果］
（１）このように第一実施形態の画像表示装置１によれば、次のような作用効果を奏する。すなわち、画像変換部３０が、車載カメラ１０によって撮影された撮影画像を、地表の特定領域を車両の運転席から見た様子を表現した画像に座標変換し、三次元モデリング部４０が、地表の特定領域を車両の運転席から見る際に視野に入る左右前輪の三次元モデルを表示パラメータから作成する。そして、画像合成部５０が、三次元モデリング部４０によって作成された三次元モデルを、画像変換部３０による変換後の画像に合成する。さらに、ディスプレイ６０が、画像合成部５０による合成後の画像を、これまで表示していた画像に代えて表示する。このことにより、運転者にとって自車の空間的位置が直感的に把握できる。例えば、狭路通過時や切り替えし時に見切りが良くなるといった効果が期待できる。
【００３２】
（２）また、第一実施形態の画像表示装置１によれば、車載カメラ１０によって撮影された撮影画像を、地表の特定領域を車両の運転席から見た様子を表現した画像に座標変換する。このことにより、車両周囲の様子を運転者の視線で把握することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００３３】
（３）また、第一実施形態の画像表示装置１によれば、画像変換部３０が、複数の車載カメラ１０によって撮影された複数の撮影画像を連結して一つの画像を生成し、その生成された画像を、地表の特定領域を車両の運転席から見た映像を表現した画像に座標変換する。このことにより、一つの車載カメラ１０が撮影した撮影画像を用いる場合に比べて、広範囲の様子をディスプレイ６０に表示することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００３４】
（４）また、第一実施形態の画像表示装置１によれば、三次元モデリング部４０が、ステアリングなどの操舵装置の操舵角度および車両の外形を示す情報からなる表示パラメータに基づき、地表の特定領域を車両の運転席から見た際に視野に入る車両の一部としての左右前輪の三次元モデルを作成する。このことにより、三次元モデルをより精度良く作成することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００３５】
［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、以下のような様々な態様にて実施することが可能である。
【００３６】
（１−１）上記実施形態では、画像変換部３０が、複数の車載カメラ１０によって撮影された複数の撮影画像を連結して一つの画像を生成し、その生成された画像を、地表の特定領域を車両の運転席から見た映像を表現した画像に座標変換するが（図４参照）、これには限られず、図５に例示するように、画像変換部３０が、その生成された画像を、地上面を鉛直方向に見下ろす映像を表現した画像に変換するようにしてもよい。なおこの場合、三次元モデリング部４０が、地表の特定領域を鉛直方向に見下ろす際に視野に入る左右前輪および車両前部の三次元モデルを作成する。このようにすれば、車両周囲の様子を鳥瞰図を見るように把握することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００３７】
（１−２）また、画像変換部３０が、その生成された画像を、地表の特定領域を特定地点から見た映像を表現した画像に変換するようにしてよい。なおこの場合、三次元モデリング部４０が、地表の特定領域を特定地点から見た際に視野に入る左右前輪および車両前部の三次元モデルを作成する。このようにしても、車両周囲の様子を把握することができ、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００３８】
（２）また、上記実施形態では、画像変換部３０が、座標系を変換するための行列式を用いて行列演算を行うが、これに限られず、例えば、画像を回転させるための行列式を用いて行列演算を行ってもよいし、画像の一部を拡大または縮小するための行列式を用いて行列演算を行ってもよいし、これらを組み合わせた行列演算を行ってもよい。一例を挙げると、画像のうち三次元モデル周辺を拡大変換したり、画像のうち車両との位置関係を考慮しなくても良い部分を縮小変換したりといった具合である。このようにすれば、運転者にとって自車の空間的位置が直感的により把握しやくすることができる。
【００３９】
（３）上記実施形態では、ディスプレイ６０が、液晶ディスプレイや有機ＥＬディスプレイ等から構成されているが、これには限られず、車両に搭載されるナビゲーション装置の表示装置や、メータに埋め込まれた表示装置、インパネ全面に構成される表示装置等を利用して実現してもよい。
【図面の簡単な説明】
【００４０】
【図１】第一実施形態の画像表示装置１の概略構成を示す説明図である。
【図２】画像表示装置１のカメラの撮像領域を説明する説明図である。
【図３】画像表示装置１が実行する画像合成・表示処理の手順を示すフローチャートである。
【図４】（ａ）は画像表示処理を説明する説明図（１）であり、（ｂ）は画像表示処理を説明する説明図（２）である。
【図５】（ａ）は画像表示処理を説明する説明図（３）であり、（ｂ）は画像表示処理を説明する説明図（４）である。
【符号の説明】
【００４１】
１…画像表示装置、１０…車載カメラ、２０…情報取得部、３０…画像変換部、４０…三次元モデリング部、５０…画像合成部、６０…ディスプレイ
【特許請求の範囲】
【請求項１】
車両の周辺を撮影する車載カメラと、
前記車載カメラによって撮影された撮影画像を、地表の特定領域を特定地点から見た映像を表現した画像に座標変換する画像変換手段と、
前記特定領域を前記特定地点から見る際に視野に入る前記車両の一部の三次元モデルを作成する三次元モデル作成手段と、
前記三次元モデル作成手段によって作成された三次元モデルを、前記画像変換手段による変換後の画像に合成する画像合成手段と、
ユーザに対して種々の情報を表示する表示手段と、
前記画像合成手段によって生成された合成画像を前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする画像表示装置。
【請求項２】
請求項１に記載の画像表示装置において、
前記車載カメラは複数存在し、
前記複数の車載カメラによってそれぞれ撮影された複数の撮影画像を連結して一つの画像を生成する画像連結手段を備え、
前記画像変換手段は、前記画像連結手段によって生成された画像を、前記特定領域を前記特定地点から見た映像を表現した画像に座標変換すること
を特徴とする画像表示装置。
【請求項３】
請求項１または請求項２に記載の画像表示装置において、
前記三次元モデル作成手段は、少なくとも前記車両の進行方向を示す情報および車両の外形を示す情報に基づき、前記特定領域を前記特定地点から見る際に視野に入る前記車両の一部の三次元モデルを作成することを特徴とする画像表示装置。
【請求項４】
請求項１〜請求項３の何れかに記載の画像表示装置において、
前記画像変換手段は、前記撮影画像を、前記特定領域を特定地点から見た映像としての前記特定領域を前記車両の運転席から見た映像に座標変換し、
前記三次元モデル作成手段は、前記特定領域を前記特定地点から見る際に視野に入る前記車両の一部としての前記特定領域を前記車両の運転席から見る際に視野に入る前記車両の一部の三次元モデルを作成すること
を特徴とする画像表示装置。
【請求項５】
請求項１〜請求項３の何れかに記載の画像表示装置において、
前記画像変換手段は、前記撮影画像を、前記特定領域を特定地点から見た映像としての地上面を鉛直方向に見下ろす映像を表す画像に座標変換し、
前記三次元モデル作成手段は、前記特定領域を前記特定地点から見る際に視野に入る前記車両の一部としての地上面を鉛直方向に見下ろす際に視野に入る前記車両の一部の三次元モデルを作成すること
を特徴とする画像表示装置。
【請求項６】
請求項１〜請求項５の何れかに記載の画像表示装置において、
前記画像変換手段は、座標変換後の画像の一部を拡大する拡大変換または縮小する縮小変換を行うことを特徴とする画像表示装置。
【請求項７】
請求項１〜６の何れか１項に記載の画像表示装置における画像変換手段、三次元モデル作成手段、画像合成手段および表示制御手段としてコンピュータを機能させるためのプログラム。
【請求項１】
車両の周辺を撮影する車載カメラと、
前記車載カメラによって撮影された撮影画像を、地表の特定領域を特定地点から見た映像を表現した画像に座標変換する画像変換手段と、
前記特定領域を前記特定地点から見る際に視野に入る前記車両の一部の三次元モデルを作成する三次元モデル作成手段と、
前記三次元モデル作成手段によって作成された三次元モデルを、前記画像変換手段による変換後の画像に合成する画像合成手段と、
ユーザに対して種々の情報を表示する表示手段と、
前記画像合成手段によって生成された合成画像を前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする画像表示装置。
【請求項２】
請求項１に記載の画像表示装置において、
前記車載カメラは複数存在し、
前記複数の車載カメラによってそれぞれ撮影された複数の撮影画像を連結して一つの画像を生成する画像連結手段を備え、
前記画像変換手段は、前記画像連結手段によって生成された画像を、前記特定領域を前記特定地点から見た映像を表現した画像に座標変換すること
を特徴とする画像表示装置。
【請求項３】
請求項１または請求項２に記載の画像表示装置において、
前記三次元モデル作成手段は、少なくとも前記車両の進行方向を示す情報および車両の外形を示す情報に基づき、前記特定領域を前記特定地点から見る際に視野に入る前記車両の一部の三次元モデルを作成することを特徴とする画像表示装置。
【請求項４】
請求項１〜請求項３の何れかに記載の画像表示装置において、
前記画像変換手段は、前記撮影画像を、前記特定領域を特定地点から見た映像としての前記特定領域を前記車両の運転席から見た映像に座標変換し、
前記三次元モデル作成手段は、前記特定領域を前記特定地点から見る際に視野に入る前記車両の一部としての前記特定領域を前記車両の運転席から見る際に視野に入る前記車両の一部の三次元モデルを作成すること
を特徴とする画像表示装置。
【請求項５】
請求項１〜請求項３の何れかに記載の画像表示装置において、
前記画像変換手段は、前記撮影画像を、前記特定領域を特定地点から見た映像としての地上面を鉛直方向に見下ろす映像を表す画像に座標変換し、
前記三次元モデル作成手段は、前記特定領域を前記特定地点から見る際に視野に入る前記車両の一部としての地上面を鉛直方向に見下ろす際に視野に入る前記車両の一部の三次元モデルを作成すること
を特徴とする画像表示装置。
【請求項６】
請求項１〜請求項５の何れかに記載の画像表示装置において、
前記画像変換手段は、座標変換後の画像の一部を拡大する拡大変換または縮小する縮小変換を行うことを特徴とする画像表示装置。
【請求項７】
請求項１〜６の何れか１項に記載の画像表示装置における画像変換手段、三次元モデル作成手段、画像合成手段および表示制御手段としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−８７２２８（Ｐ２００９−８７２２８Ａ）
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願番号】特願２００７−２５８８２０（Ｐ２００７−２５８８２０）
【出願日】平成１９年１０月２日（２００７．１０．２）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願日】平成１９年１０月２日（２００７．１０．２）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]