車載用画像表示装置および画像のトリミング方法
【課題】合成された画像上で後方車両を見易く表示することができる車載用画像表示装置を提供する。
【解決手段】車載用画像表示装置は、自車の車幅方向の中央部から自車の後方を撮像する撮像カメラ102と、自車のサイドミラーに設置され自車の後方を撮像する撮像カメラ104、106と、撮像カメラ102〜106で撮像された画像データを合成して後方画像を生成する出力制御部116と、後方画像を表示するディスプレイ118と、自車の後方車両を検出するセンサー112とを有する。出力制御部116は、検出された後方車両の位置に応じて画像データが合成される境界を可変する。
【解決手段】車載用画像表示装置は、自車の車幅方向の中央部から自車の後方を撮像する撮像カメラ102と、自車のサイドミラーに設置され自車の後方を撮像する撮像カメラ104、106と、撮像カメラ102〜106で撮像された画像データを合成して後方画像を生成する出力制御部116と、後方画像を表示するディスプレイ118と、自車の後方車両を検出するセンサー112とを有する。出力制御部116は、検出された後方車両の位置に応じて画像データが合成される境界を可変する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載用撮像カメラで撮像された画像データを表示する車載用画像表示装置に関し、特に、自車後方を撮像した画像データを合成するときのトリミング方法に関する。
【背景技術】
【0002】
自動車への撮像カメラの搭載率の向上に伴い、撮像カメラによる画像を用いたアプリケーションが急拡大している。アプリケーションの多くは、運転者を支援し、車両の走行時の安全性を向上させるものである。例えば、障害物を撮像する車載画像システムは、遠方の障害物を撮影するカメラシステム(コーナーモニターシステム、リアビュウカメラシステムなど)と、車両近傍の死角の障害物を撮影するカメラシステム(サイドビュウカメラシステム)を備えたものがある。また、超広角の撮像カメラを用いたシステムでは、複数の撮像カメラで撮像された画像データを合成し、自車周囲の360度を映し出すことを可能に、その中から必要とする水平方向の範囲の画像データを切り出し、またはトリミングし、その画像を表示している。
【0003】
特許文献1は、車両後部のカメラで撮影した画像データと左右のバックミラーに設置したカメラで撮影した画像データを合成して、一つの仮想的な視点から自車後方を表した後方画像を表示する画像表示装置を開示している。また、特許文献2は、複数の撮像カメラよって撮像された車両周辺画像を車両上方の視点から見下ろしたときの画像に視点変換し、視点変換された画像を合成して表示する車両用画像表示装置を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−158427号
【特許文献2】特開2007−104373号
【発明の概要】
【発明が解決しようとする課題】
【0005】
車両後方を確認する技術として、特許文献1に示すように、自車の左右サイドミラーと自車の後部中央の3ヶ所に設置された撮像カメラで撮像した画像データを合成して1つの後方画像を生成し、表示するシステムがある。図1(a)は、このような3つの撮像カメラの撮像範囲を示し、図1(b)は、3つの撮像カメラによって撮像された画像データの合成例を示している。
図1(a)に示すように、自車10の後部中央に設置された撮像カメラは、自車の後方を比較的広い視野角で撮像する撮像範囲20を有し、自車10の左右のサイドミラーに設置された撮像カメラは、それぞれ撮像範囲22、24を有する。中央の撮像範囲20と撮像範囲22は一部が重複し、中央の撮像範囲20と撮像範囲24は一部が重複する。撮像範囲の重複部分がなくなるように画像データをトリミングして、図1(b)に示すような合成された後方画像を得る。画像Cは、撮像範囲20の画像データに対応し、画像L、Rは、撮像範囲22、24の画像データにそれぞれ対応する。BL、BRは、画像Cと画像L、Rとの境界またはトリミング位置を示している。
【0006】
図2は、自車の後方画像内に後方車両が映し出されたときの表示例を示している。時刻T1で、自車の後方を走行する後方車両Hが撮像され画像Cに映し出されている。時刻T2で、後方車両Hが自車に接近し、時刻T3で、後方車両Hがさらに自車に接近し、このとき、後方車両Hは、境界BLを跨ぎ、画像L内に映し出される。時刻T4で、後方車両Hが自車の側部後方にまで接近するように映し出される。こうして、後方車両Hを後方画像から確認することができるが、後方車両Hが自車により接近したとき、後方車両Hが境界BLを跨ぐように表示されるため、後方車両Hが境界BLの画像間で歪んでしまい、後方車両Hの視認性が悪くなってしまうという課題があった。
【0007】
本発明は、このような課題を解決し、合成された画像上で後方車両を見易く表示することができる車載用画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る車載用画像表示装置は、自車の車幅方向の中央部から自車の後方を撮像し、第1の画像データを出力する第1の撮像手段と、自車の車幅方向の第1の側部から自車の後方を撮像し、第2の画像データを出力する第2の撮像手段と、自車の車幅方向の前記第1の側部と対向する第2の側部から自車の後方を撮像し、第3の画像データを出力する第3の撮像手段と、第1、第2および第3の画像データを合成して後方画像を生成する画像合成手段と、前記画像合成手段により合成された後方画像を表示する表示手段と、自車の後方車両を検出する検出手段とを有し、前記画像合成手段は、前記検出手段により検出された後方車両の位置に応じて第1および第2の画像データの境界または第1および第3の画像データの境界を変化させる。
【0009】
好ましくは前記検出手段は、自車に対する後方車両の相対速度を検出し、前記画像合成手段は、前記相対速度に基づき前記境界を可変する。好ましくは前記画像合成手段は、前記相対速度がしきい値以下のとき、後方車両の位置に応じて第1の画像データを予め決められたサイズから拡大させ、かつ第1の画像データを拡大させた後に第1の画像データを元の予め決められたサイズに戻すように前記境界を変化させる。好ましくは前記第1の画像データは、左右方向のサイズが徐々に拡大される。好ましくは前記画像合成手段は、前記相対速度がしきい値よりも大きいとき、第1の画像データを予め決められたサイズから縮小するように前記境界を変化させる。好ましくは前記画像合成手段は、前記第1の画像データを元の予め決められたサイズに戻すとき、第1の画像データと第2または第3の画像データとの境界の透過処理を行う。好ましくは前記境界の変更は、第1、第2および第3の画像データのトリミング位置を変更することにより行われる。
【発明の効果】
【0010】
本発明によれば、後方車両の位置に応じて境界を可変するようにしたので、境界と後方車両の重なりを極力少なくすることができ、後方車両をより明瞭に映し出し、後方車両の視認性を向上させることができる。
【図面の簡単な説明】
【0011】
【図1】従来の車載用画像表示装置を説明する図であり、図1(a)は、3つの撮像カメラによる撮像範囲を示し、図1(b)は、3つの撮像カメラで撮像された画像データの合成例を示す図である。
【図2】従来の車載用画像表示装置における後方車両の表示例を示す図である。
【図3】本発明の実施例に係る車載用画像表示装置の構成を示すブロック図である。
【図4】自車への撮像カメラの設置例を示す平面図である。
【図5】後方画像の標準の合成方法を説明する図である。
【図6】本発明の第1の実施例による合成方法の動作を示すフローチャートである。
【図7】第1の実施例による後方画像の表示例である。
【図8】本発明の第2の実施例による合成方法の動作を示すフローチャートである。
【図9】第2の実施例による後方車両の相対速度が速いときの後方画像の表示例である。
【図10】第2の実施例による後方車両の相対速度が遅いときの後方画像の表示例である。
【図11】本発明の第3の実施例による合成方法を説明する図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【実施例】
【0013】
図3は、本発明の実施例に係る車両用画像表示装置の構成を示すブロック図である。本実施例に係る車載用画像表示装置100は、撮像カメラ102、104、106と、撮像カメラ102〜106により撮像された画像データを受け取り、後方画像を表示するために画像データの必要な画像処理を行う画像処理部110と、自車後方に存在する後方車両を検出するセンサー112と、センサー112の検出結果を受け取り後方車両の方向および距離等を算出するセンサー処理部114と、画像処理部110からの画像データとセンサー処理部114からの信号を受け取り、画像データの合成方法を決定する出力制御部116と、出力制御部116により合成された画像を表示するディスプレイ118を含んでいる。
【0014】
撮像カメラ102〜106は、例えばCCDやCMOSイメージセンサを用いて構成される。撮像カメラ102は、図4に示すように、自車後部の車幅方向の中央部に取り付けられ、視野角θ1で自車後方を撮像する。撮像カメラ104、106は、自車の左右のドアミラーに取り付けられ、それぞれ視野角θ2で自車の側部から後方を撮像する。撮像カメラの視野角θ1、θ2は、隣接する視野角と端部がオーバーラップし、撮像カメラ102〜106により自車の比較的広い後方を漏れなく撮像できるようになっている。
【0015】
撮像カメラ102〜106で撮像された画像データは、画像処理部110に提供される。画像処理部110は、受け取った画像データのサイズを変更したりその他の必要な処理を行う。また、画像データを合成するに際して視点変換が必要な場合には視点変換処理を行う。
【0016】
センサー112は、例えば、ソナーセンサー(超音波探知センサー)を用いて構成される。ソナーセンサーは、超音波を発信する発信部と後方車両により反射された超音波を受信する受信部を含む。好ましくは、センサー112は、撮像カメラ102〜106の撮像範囲と一致する範囲内の後方車両を検知する。なお、後方車両を検出する手段は、ソナーセンサーに限らず、ミリ波レーダーなどの公知の手段を用いてもよい。さらに、撮像カメラ102〜106で撮像された画像データを画像処理し、そこから後方車両を検出することも可能である。
【0017】
センサー処理部114は、センサー112からの検出信号に基づき後方車両までの距離やその方向を算出する。また、好ましい例では、センサー処理部114は、自車に対する後方車両の相対速度Vを算出する。センサー処理部114で算出された結果は、出力制御部116に伝えられ、これは、画像合成の決定のための情報に利用される。
【0018】
出力制御部116は、例えば、マイクロプロセッサ、マイクロコンピュータ、画像処理プロセッサなどを用いて構成され、ROMやRAMに格納された画像の合成方法を決定するプログラムを実行する。但し、画像合成の実現手段は、ソフトウエアのみならず、ハードウエアまたは両者のいずれであってもよい。撮像カメラ102〜106から得られた画像データは、それぞれ重複した領域の画像データを含んでいるため、出力制御部116は、重複した領域の画像データをトリミングし、画像を合成することが好ましい。合成される画像の境界に後方車両が表示されると、後方車両が不明瞭となりその視認性が悪くなる。従って、本実施例では、従来と異なり、画像合成の境界を可変とすることで、境界による後方車両の画像への影響を極力小さくする。
【0019】
次に、出力制御部116の画像合成の詳細について説明する。出力制御部116は、予め決められたトリミング位置で画像を合成する標準の合成方法を有する。標準の合成方法は、後方画像を最初に表示するとき、後方車両が検知されないとき、あるいはユーザによって指示されたときなどに実行される。
【0020】
図5に標準の合成方法で合成された後方画像を示す。後方画像200は、後部中央の撮像カメラ102で撮像された画像データCと、左右の撮像カメラ104、106で撮像された画像データL、Rとから構成される。画像データCと画像データLの境界は、BLで示され、画像データCと画像データRの境界は、BRで示されている。破線で示す矩形領域Cmaxは、撮像カメラ102の最大撮像範囲を示している。標準の合成方法では、画像データCの左右のサイズは、最大撮像範囲Cmaxよりも小さな大きさにトリミングされている。また、好ましくは左右の画像データL、Rは、画像データCのトリミング位置に合わせてトリミングされ、あたかも画像データCが画像データL、Rよりも優先されて前面に表示されるようになっている。
【0021】
次に、第1の実施例による合成方法を図6のフローチャートを参照して動作を説明する。先ず、自車の走行開始とともに、撮像カメラ102〜106による撮像が開始される(ステップS101)。画像処理部110によって画像データのサイズやその他の必要な処理が施され、これらの画像データは出力制御部116へ出力される。初期段階では、後方車両は、センサー112によって検出されていないため、出力制御部116は、標準の合成方法に従って画像データC、L、Rが合成され、後方画像200が生成される(ステップS102)。生成された後方画像200は、ディスプレイ118に表示される(ステップS103)。
【0022】
自車の走行中に後方車両の有無がセンサー112によって検出される(ステップS104)。後方車両が検出されると、センサー処理部114は、自車に対する後方車両の距離と方向(位置ベクトル)を算出する(ステップS105)。出力制御部116は、算出された位置および方向に基づき、後方車両が後方画像の境界BLまたはBRに重複するか否かを判定する(ステップS106)。出力制御部116は、重複すると判定すると、次に、画像データCが最大撮像範囲Cmaxまで拡大されているか否かを判定する(ステップS107)。最大撮像範囲Cmaxまで拡大されていなければ、画像データCおよび画像データL、Rのトリミング位置を変更し(ステップS108)、画像データCのサイズが最大撮像範囲Cmaxまで拡張され、同時に画像L、Rのサイズが一定の量だけ左右に縮小される。他方、画像データCが既に最大撮像範囲Cmaxまで拡大されている場合には、図5に示した標準の合成方法で示されたトリミング位置に変更され、元のサイズの画像データCに戻される(ステップS102)。
【0023】
次に、第1の実施例による合成例を図7に示す。先ず、時刻T1で、後方車両Hが画像データCの撮像範囲内に映し出される。このとき、後方画像は、標準の合成方法にて合成されており、かつ後方車両Hは、自車と異なる車線を走行しているものとする。次に、時刻T2で、後方車両Hが自車に接近し、後方車両Hの位置が画像データCと画像データLの境界BLに重複する。出力制御部116は、後方車両Hが境界BLに重複していると判定し、画像データCが最大撮像範囲Cmaxまで拡張するように画像データCのトリミング位置を変更し、同時に画像データL、Rの左右のサイズが縮小するように画像データL、Rのトリミング位置を変更する。次に、時刻T3で、さらに後方車両Hは、最大撮像範囲Cmaxである境界BLに重複すると、出力制御部116は、時刻T4に示すように、画像データCのサイズを標準の合成方法となる元の大きさに戻し、同時に画像データL、Rのサイズも元の大きさに戻す。なお、画像データCを標準の合成方法のサイズから最大撮像範囲Cmaxのサイズに拡張するとき、その拡張は、1度で行われても良いし、段階的に行われても良い。第1の実施例の合成方法では、後方車両Hの位置に応じて画像データCを最大撮像範囲Cmaxまで拡張するようにしたので、言い換えれば、後方車両Hの位置に応じて境界BLの位置を可変するようにしたので、境界による後方車両Hの画像の視認性の低下を極力抑えることができる。
【0024】
次に、第2の実施例の合成方法を図8のフローチャートを参照して説明する。ステップS201からステップS204までは、第1の実施例のときのステップS101からS104と同じである。センサー処理部114は、センサー112によって後方車両が検出されると、後方車両の位置ベクトルの変化、すなわち自車に対する後方車両の相対速度Vを算出し(ステップS205)、これを出力制御部116へ提供する。出力制御部116は、後方車両が接近しているとき、相対速度Vがしきい値より大きいか否かを判定する(ステップS206)。出力制御部116は、相対速度Vがしきい値よりも大きい場合には、相対速度が速いときのトリミング方法で画像合成を行い(ステップS207)、相対速度がしきい値以下の場合には、相対速度が遅いときのトリミング方法で画像合成を行う(ステップS208)。
【0025】
図9は、相対速度が速いときのトリミング方法での画像合成を説明する図である。時刻T1で後方車両Hが検出され、その映像が画像データCに映し出される。出力制御部116は、センサー処理部114から後方車両のベクトル位置を受け取り、それが画像データCに映し出されると判断すると、時刻T2に示すように、左右の画像データL、Rが優先的に表示されるように境界BL、BRを変更する。すなわち、画像データL、Rの左右のサイズが拡張されるようにトリミング位置を変更する。以後、時刻T3、T4に示すように、後方車両Hが自車に接近されても、トリミング位置はそのまま継続される。時刻T3、T4の破線Pで示すエリアは、後方車両Hが自車の側部後方に接近し安全確認を行う上では重要なエリアであるが、このエリアPに後方車両Hが映し出されたとき、たとえ後方車両Hの相対速度が速くとも、後方車両Hは、境界BLを跨がないために視認性の低下が避けられる。
【0026】
図10は、相対速度が遅いときのトリミング方法の画像合成を説明する図である。時刻T1で後方車両Hが検出され、画像データCに後方車両が映し出される。出力制御部116は、センサー処理部114から提供された後方車両Hの位置情報を受け取り、後方車両Hに追従するように境界BLを変更する。時刻T2で、後方車両Hが境界BLに接近すると、出力制御部116は、画像データCのサイズが左右に拡張するようにトリミング位置を変更し境界BLを変更する。トリミング位置の変更は、時刻T2−1、T2−2、T2−3に示すように、境界BLが最大撮像範囲Cmaxに到達するまで連続的にまたは多段階で行うことができる。そして、境界BLが最大撮像範囲Cmaxに到達すると、画像データCは、標準の合成方法である元のサイズに戻される。この場合にも、時刻T3、T4のエリアPの範囲では、境界BLの変更による違和感を極力抑えることができ、後方車両Hの視認性の低下を抑えることができる。なお、図10に示すように、後方車両Hが存在する側の境界BLのみ変更し、後方車両が存在しない他方の境界BRを変更しなくてもよい。
【0027】
次に、第3の実施例に係る合成方法について説明する。第1および第2の実施例では、後方車両Hの位置に応じて画像Cのサイズを左右に拡張させたが、画像Cのサイズを元に戻すとき、境界が急激に変化すると、ユーザに違和感を与えることがある。このため、第3の実施例では、境界を透過処理する。図11は、図10の時刻T3の後方画像の境界を時刻T4の後方画像の境界に移動させるときの例を示している。時刻T1、T2、T3、T4へ境界BLが変化するとき、出力制御部116は、境界BLを含む矩形領域Qの画像データCと画像データLを加算して平均化したり、あるいは画像データCが半透明となるようなブレンド処理をする。これにより、境界BLの移動による違和感を少なくさせることができる。
【0028】
本実施例の車載用画像表示装置は、車両に搭載される種々の電子機器と共用されるものであってもよい。例えば、本実施例のディスプレイ118は、ナビゲーション装置やテレビ受信機と共用されることが可能である。ディスプレイ上にナビゲーション画面が表示されている場合には、後方車両の検出時に、ディスプレイに割込み表示をさせたり、2画面表示させるようにしてよい。また、ディスプレイ118は、スピードメータなどが配置されるメータパネル類の中に表示されるようにしてもよい。さらに、車載用表示装置は、走行中に常に表示される必要はなく、ユーザからの指示があったときにのみ表示されるようにしてもよい。さらに上記実施例では、後方車両を例示したが、後方車両は、自動車、オートバイ、自転車、その他の障害物等の物体を広く含むものである。
【0029】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0030】
10:自車 100:車載用画像表示装置
102、104、106:撮像カメラ 110:画像処理部
112;センサー 114:センサー処理部
116:出力制御部 118:ディスプレイ
H:後方車両 C、L、R:画像データ
BL、BR:境界 Cmax:最大撮像範囲
【技術分野】
【0001】
本発明は、車載用撮像カメラで撮像された画像データを表示する車載用画像表示装置に関し、特に、自車後方を撮像した画像データを合成するときのトリミング方法に関する。
【背景技術】
【0002】
自動車への撮像カメラの搭載率の向上に伴い、撮像カメラによる画像を用いたアプリケーションが急拡大している。アプリケーションの多くは、運転者を支援し、車両の走行時の安全性を向上させるものである。例えば、障害物を撮像する車載画像システムは、遠方の障害物を撮影するカメラシステム(コーナーモニターシステム、リアビュウカメラシステムなど)と、車両近傍の死角の障害物を撮影するカメラシステム(サイドビュウカメラシステム)を備えたものがある。また、超広角の撮像カメラを用いたシステムでは、複数の撮像カメラで撮像された画像データを合成し、自車周囲の360度を映し出すことを可能に、その中から必要とする水平方向の範囲の画像データを切り出し、またはトリミングし、その画像を表示している。
【0003】
特許文献1は、車両後部のカメラで撮影した画像データと左右のバックミラーに設置したカメラで撮影した画像データを合成して、一つの仮想的な視点から自車後方を表した後方画像を表示する画像表示装置を開示している。また、特許文献2は、複数の撮像カメラよって撮像された車両周辺画像を車両上方の視点から見下ろしたときの画像に視点変換し、視点変換された画像を合成して表示する車両用画像表示装置を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−158427号
【特許文献2】特開2007−104373号
【発明の概要】
【発明が解決しようとする課題】
【0005】
車両後方を確認する技術として、特許文献1に示すように、自車の左右サイドミラーと自車の後部中央の3ヶ所に設置された撮像カメラで撮像した画像データを合成して1つの後方画像を生成し、表示するシステムがある。図1(a)は、このような3つの撮像カメラの撮像範囲を示し、図1(b)は、3つの撮像カメラによって撮像された画像データの合成例を示している。
図1(a)に示すように、自車10の後部中央に設置された撮像カメラは、自車の後方を比較的広い視野角で撮像する撮像範囲20を有し、自車10の左右のサイドミラーに設置された撮像カメラは、それぞれ撮像範囲22、24を有する。中央の撮像範囲20と撮像範囲22は一部が重複し、中央の撮像範囲20と撮像範囲24は一部が重複する。撮像範囲の重複部分がなくなるように画像データをトリミングして、図1(b)に示すような合成された後方画像を得る。画像Cは、撮像範囲20の画像データに対応し、画像L、Rは、撮像範囲22、24の画像データにそれぞれ対応する。BL、BRは、画像Cと画像L、Rとの境界またはトリミング位置を示している。
【0006】
図2は、自車の後方画像内に後方車両が映し出されたときの表示例を示している。時刻T1で、自車の後方を走行する後方車両Hが撮像され画像Cに映し出されている。時刻T2で、後方車両Hが自車に接近し、時刻T3で、後方車両Hがさらに自車に接近し、このとき、後方車両Hは、境界BLを跨ぎ、画像L内に映し出される。時刻T4で、後方車両Hが自車の側部後方にまで接近するように映し出される。こうして、後方車両Hを後方画像から確認することができるが、後方車両Hが自車により接近したとき、後方車両Hが境界BLを跨ぐように表示されるため、後方車両Hが境界BLの画像間で歪んでしまい、後方車両Hの視認性が悪くなってしまうという課題があった。
【0007】
本発明は、このような課題を解決し、合成された画像上で後方車両を見易く表示することができる車載用画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る車載用画像表示装置は、自車の車幅方向の中央部から自車の後方を撮像し、第1の画像データを出力する第1の撮像手段と、自車の車幅方向の第1の側部から自車の後方を撮像し、第2の画像データを出力する第2の撮像手段と、自車の車幅方向の前記第1の側部と対向する第2の側部から自車の後方を撮像し、第3の画像データを出力する第3の撮像手段と、第1、第2および第3の画像データを合成して後方画像を生成する画像合成手段と、前記画像合成手段により合成された後方画像を表示する表示手段と、自車の後方車両を検出する検出手段とを有し、前記画像合成手段は、前記検出手段により検出された後方車両の位置に応じて第1および第2の画像データの境界または第1および第3の画像データの境界を変化させる。
【0009】
好ましくは前記検出手段は、自車に対する後方車両の相対速度を検出し、前記画像合成手段は、前記相対速度に基づき前記境界を可変する。好ましくは前記画像合成手段は、前記相対速度がしきい値以下のとき、後方車両の位置に応じて第1の画像データを予め決められたサイズから拡大させ、かつ第1の画像データを拡大させた後に第1の画像データを元の予め決められたサイズに戻すように前記境界を変化させる。好ましくは前記第1の画像データは、左右方向のサイズが徐々に拡大される。好ましくは前記画像合成手段は、前記相対速度がしきい値よりも大きいとき、第1の画像データを予め決められたサイズから縮小するように前記境界を変化させる。好ましくは前記画像合成手段は、前記第1の画像データを元の予め決められたサイズに戻すとき、第1の画像データと第2または第3の画像データとの境界の透過処理を行う。好ましくは前記境界の変更は、第1、第2および第3の画像データのトリミング位置を変更することにより行われる。
【発明の効果】
【0010】
本発明によれば、後方車両の位置に応じて境界を可変するようにしたので、境界と後方車両の重なりを極力少なくすることができ、後方車両をより明瞭に映し出し、後方車両の視認性を向上させることができる。
【図面の簡単な説明】
【0011】
【図1】従来の車載用画像表示装置を説明する図であり、図1(a)は、3つの撮像カメラによる撮像範囲を示し、図1(b)は、3つの撮像カメラで撮像された画像データの合成例を示す図である。
【図2】従来の車載用画像表示装置における後方車両の表示例を示す図である。
【図3】本発明の実施例に係る車載用画像表示装置の構成を示すブロック図である。
【図4】自車への撮像カメラの設置例を示す平面図である。
【図5】後方画像の標準の合成方法を説明する図である。
【図6】本発明の第1の実施例による合成方法の動作を示すフローチャートである。
【図7】第1の実施例による後方画像の表示例である。
【図8】本発明の第2の実施例による合成方法の動作を示すフローチャートである。
【図9】第2の実施例による後方車両の相対速度が速いときの後方画像の表示例である。
【図10】第2の実施例による後方車両の相対速度が遅いときの後方画像の表示例である。
【図11】本発明の第3の実施例による合成方法を説明する図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【実施例】
【0013】
図3は、本発明の実施例に係る車両用画像表示装置の構成を示すブロック図である。本実施例に係る車載用画像表示装置100は、撮像カメラ102、104、106と、撮像カメラ102〜106により撮像された画像データを受け取り、後方画像を表示するために画像データの必要な画像処理を行う画像処理部110と、自車後方に存在する後方車両を検出するセンサー112と、センサー112の検出結果を受け取り後方車両の方向および距離等を算出するセンサー処理部114と、画像処理部110からの画像データとセンサー処理部114からの信号を受け取り、画像データの合成方法を決定する出力制御部116と、出力制御部116により合成された画像を表示するディスプレイ118を含んでいる。
【0014】
撮像カメラ102〜106は、例えばCCDやCMOSイメージセンサを用いて構成される。撮像カメラ102は、図4に示すように、自車後部の車幅方向の中央部に取り付けられ、視野角θ1で自車後方を撮像する。撮像カメラ104、106は、自車の左右のドアミラーに取り付けられ、それぞれ視野角θ2で自車の側部から後方を撮像する。撮像カメラの視野角θ1、θ2は、隣接する視野角と端部がオーバーラップし、撮像カメラ102〜106により自車の比較的広い後方を漏れなく撮像できるようになっている。
【0015】
撮像カメラ102〜106で撮像された画像データは、画像処理部110に提供される。画像処理部110は、受け取った画像データのサイズを変更したりその他の必要な処理を行う。また、画像データを合成するに際して視点変換が必要な場合には視点変換処理を行う。
【0016】
センサー112は、例えば、ソナーセンサー(超音波探知センサー)を用いて構成される。ソナーセンサーは、超音波を発信する発信部と後方車両により反射された超音波を受信する受信部を含む。好ましくは、センサー112は、撮像カメラ102〜106の撮像範囲と一致する範囲内の後方車両を検知する。なお、後方車両を検出する手段は、ソナーセンサーに限らず、ミリ波レーダーなどの公知の手段を用いてもよい。さらに、撮像カメラ102〜106で撮像された画像データを画像処理し、そこから後方車両を検出することも可能である。
【0017】
センサー処理部114は、センサー112からの検出信号に基づき後方車両までの距離やその方向を算出する。また、好ましい例では、センサー処理部114は、自車に対する後方車両の相対速度Vを算出する。センサー処理部114で算出された結果は、出力制御部116に伝えられ、これは、画像合成の決定のための情報に利用される。
【0018】
出力制御部116は、例えば、マイクロプロセッサ、マイクロコンピュータ、画像処理プロセッサなどを用いて構成され、ROMやRAMに格納された画像の合成方法を決定するプログラムを実行する。但し、画像合成の実現手段は、ソフトウエアのみならず、ハードウエアまたは両者のいずれであってもよい。撮像カメラ102〜106から得られた画像データは、それぞれ重複した領域の画像データを含んでいるため、出力制御部116は、重複した領域の画像データをトリミングし、画像を合成することが好ましい。合成される画像の境界に後方車両が表示されると、後方車両が不明瞭となりその視認性が悪くなる。従って、本実施例では、従来と異なり、画像合成の境界を可変とすることで、境界による後方車両の画像への影響を極力小さくする。
【0019】
次に、出力制御部116の画像合成の詳細について説明する。出力制御部116は、予め決められたトリミング位置で画像を合成する標準の合成方法を有する。標準の合成方法は、後方画像を最初に表示するとき、後方車両が検知されないとき、あるいはユーザによって指示されたときなどに実行される。
【0020】
図5に標準の合成方法で合成された後方画像を示す。後方画像200は、後部中央の撮像カメラ102で撮像された画像データCと、左右の撮像カメラ104、106で撮像された画像データL、Rとから構成される。画像データCと画像データLの境界は、BLで示され、画像データCと画像データRの境界は、BRで示されている。破線で示す矩形領域Cmaxは、撮像カメラ102の最大撮像範囲を示している。標準の合成方法では、画像データCの左右のサイズは、最大撮像範囲Cmaxよりも小さな大きさにトリミングされている。また、好ましくは左右の画像データL、Rは、画像データCのトリミング位置に合わせてトリミングされ、あたかも画像データCが画像データL、Rよりも優先されて前面に表示されるようになっている。
【0021】
次に、第1の実施例による合成方法を図6のフローチャートを参照して動作を説明する。先ず、自車の走行開始とともに、撮像カメラ102〜106による撮像が開始される(ステップS101)。画像処理部110によって画像データのサイズやその他の必要な処理が施され、これらの画像データは出力制御部116へ出力される。初期段階では、後方車両は、センサー112によって検出されていないため、出力制御部116は、標準の合成方法に従って画像データC、L、Rが合成され、後方画像200が生成される(ステップS102)。生成された後方画像200は、ディスプレイ118に表示される(ステップS103)。
【0022】
自車の走行中に後方車両の有無がセンサー112によって検出される(ステップS104)。後方車両が検出されると、センサー処理部114は、自車に対する後方車両の距離と方向(位置ベクトル)を算出する(ステップS105)。出力制御部116は、算出された位置および方向に基づき、後方車両が後方画像の境界BLまたはBRに重複するか否かを判定する(ステップS106)。出力制御部116は、重複すると判定すると、次に、画像データCが最大撮像範囲Cmaxまで拡大されているか否かを判定する(ステップS107)。最大撮像範囲Cmaxまで拡大されていなければ、画像データCおよび画像データL、Rのトリミング位置を変更し(ステップS108)、画像データCのサイズが最大撮像範囲Cmaxまで拡張され、同時に画像L、Rのサイズが一定の量だけ左右に縮小される。他方、画像データCが既に最大撮像範囲Cmaxまで拡大されている場合には、図5に示した標準の合成方法で示されたトリミング位置に変更され、元のサイズの画像データCに戻される(ステップS102)。
【0023】
次に、第1の実施例による合成例を図7に示す。先ず、時刻T1で、後方車両Hが画像データCの撮像範囲内に映し出される。このとき、後方画像は、標準の合成方法にて合成されており、かつ後方車両Hは、自車と異なる車線を走行しているものとする。次に、時刻T2で、後方車両Hが自車に接近し、後方車両Hの位置が画像データCと画像データLの境界BLに重複する。出力制御部116は、後方車両Hが境界BLに重複していると判定し、画像データCが最大撮像範囲Cmaxまで拡張するように画像データCのトリミング位置を変更し、同時に画像データL、Rの左右のサイズが縮小するように画像データL、Rのトリミング位置を変更する。次に、時刻T3で、さらに後方車両Hは、最大撮像範囲Cmaxである境界BLに重複すると、出力制御部116は、時刻T4に示すように、画像データCのサイズを標準の合成方法となる元の大きさに戻し、同時に画像データL、Rのサイズも元の大きさに戻す。なお、画像データCを標準の合成方法のサイズから最大撮像範囲Cmaxのサイズに拡張するとき、その拡張は、1度で行われても良いし、段階的に行われても良い。第1の実施例の合成方法では、後方車両Hの位置に応じて画像データCを最大撮像範囲Cmaxまで拡張するようにしたので、言い換えれば、後方車両Hの位置に応じて境界BLの位置を可変するようにしたので、境界による後方車両Hの画像の視認性の低下を極力抑えることができる。
【0024】
次に、第2の実施例の合成方法を図8のフローチャートを参照して説明する。ステップS201からステップS204までは、第1の実施例のときのステップS101からS104と同じである。センサー処理部114は、センサー112によって後方車両が検出されると、後方車両の位置ベクトルの変化、すなわち自車に対する後方車両の相対速度Vを算出し(ステップS205)、これを出力制御部116へ提供する。出力制御部116は、後方車両が接近しているとき、相対速度Vがしきい値より大きいか否かを判定する(ステップS206)。出力制御部116は、相対速度Vがしきい値よりも大きい場合には、相対速度が速いときのトリミング方法で画像合成を行い(ステップS207)、相対速度がしきい値以下の場合には、相対速度が遅いときのトリミング方法で画像合成を行う(ステップS208)。
【0025】
図9は、相対速度が速いときのトリミング方法での画像合成を説明する図である。時刻T1で後方車両Hが検出され、その映像が画像データCに映し出される。出力制御部116は、センサー処理部114から後方車両のベクトル位置を受け取り、それが画像データCに映し出されると判断すると、時刻T2に示すように、左右の画像データL、Rが優先的に表示されるように境界BL、BRを変更する。すなわち、画像データL、Rの左右のサイズが拡張されるようにトリミング位置を変更する。以後、時刻T3、T4に示すように、後方車両Hが自車に接近されても、トリミング位置はそのまま継続される。時刻T3、T4の破線Pで示すエリアは、後方車両Hが自車の側部後方に接近し安全確認を行う上では重要なエリアであるが、このエリアPに後方車両Hが映し出されたとき、たとえ後方車両Hの相対速度が速くとも、後方車両Hは、境界BLを跨がないために視認性の低下が避けられる。
【0026】
図10は、相対速度が遅いときのトリミング方法の画像合成を説明する図である。時刻T1で後方車両Hが検出され、画像データCに後方車両が映し出される。出力制御部116は、センサー処理部114から提供された後方車両Hの位置情報を受け取り、後方車両Hに追従するように境界BLを変更する。時刻T2で、後方車両Hが境界BLに接近すると、出力制御部116は、画像データCのサイズが左右に拡張するようにトリミング位置を変更し境界BLを変更する。トリミング位置の変更は、時刻T2−1、T2−2、T2−3に示すように、境界BLが最大撮像範囲Cmaxに到達するまで連続的にまたは多段階で行うことができる。そして、境界BLが最大撮像範囲Cmaxに到達すると、画像データCは、標準の合成方法である元のサイズに戻される。この場合にも、時刻T3、T4のエリアPの範囲では、境界BLの変更による違和感を極力抑えることができ、後方車両Hの視認性の低下を抑えることができる。なお、図10に示すように、後方車両Hが存在する側の境界BLのみ変更し、後方車両が存在しない他方の境界BRを変更しなくてもよい。
【0027】
次に、第3の実施例に係る合成方法について説明する。第1および第2の実施例では、後方車両Hの位置に応じて画像Cのサイズを左右に拡張させたが、画像Cのサイズを元に戻すとき、境界が急激に変化すると、ユーザに違和感を与えることがある。このため、第3の実施例では、境界を透過処理する。図11は、図10の時刻T3の後方画像の境界を時刻T4の後方画像の境界に移動させるときの例を示している。時刻T1、T2、T3、T4へ境界BLが変化するとき、出力制御部116は、境界BLを含む矩形領域Qの画像データCと画像データLを加算して平均化したり、あるいは画像データCが半透明となるようなブレンド処理をする。これにより、境界BLの移動による違和感を少なくさせることができる。
【0028】
本実施例の車載用画像表示装置は、車両に搭載される種々の電子機器と共用されるものであってもよい。例えば、本実施例のディスプレイ118は、ナビゲーション装置やテレビ受信機と共用されることが可能である。ディスプレイ上にナビゲーション画面が表示されている場合には、後方車両の検出時に、ディスプレイに割込み表示をさせたり、2画面表示させるようにしてよい。また、ディスプレイ118は、スピードメータなどが配置されるメータパネル類の中に表示されるようにしてもよい。さらに、車載用表示装置は、走行中に常に表示される必要はなく、ユーザからの指示があったときにのみ表示されるようにしてもよい。さらに上記実施例では、後方車両を例示したが、後方車両は、自動車、オートバイ、自転車、その他の障害物等の物体を広く含むものである。
【0029】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0030】
10:自車 100:車載用画像表示装置
102、104、106:撮像カメラ 110:画像処理部
112;センサー 114:センサー処理部
116:出力制御部 118:ディスプレイ
H:後方車両 C、L、R:画像データ
BL、BR:境界 Cmax:最大撮像範囲
【特許請求の範囲】
【請求項1】
自車の車幅方向の中央部から自車の後方を撮像し、第1の画像データを出力する第1の撮像手段と、
自車の車幅方向の第1の側部から自車の後方を撮像し、第2の画像データを出力する第2の撮像手段と、
自車の車幅方向の前記第1の側部と対向する第2の側部から自車の後方を撮像し、第3の画像データを出力する第3の撮像手段と、
第1、第2および第3の画像データを合成して後方画像を生成する画像合成手段と、
前記画像合成手段により合成された後方画像を表示する表示手段と、
自車の後方車両を検出する検出手段とを有し、
前記画像合成手段は、前記検出手段により検出された後方車両の位置に応じて第1および第2の画像データの境界または第1および第3の画像データの境界を変化させる、
車載用画像表示装置。
【請求項2】
前記検出手段は、自車に対する後方車両の相対速度を検出し、
前記画像合成手段は、前記相対速度に基づき前記境界を可変する、請求項1に記載の車載用画像表示装置。
【請求項3】
前記画像合成手段は、前記相対速度がしきい値以下のとき、後方車両の位置に応じて第1の画像データを予め決められたサイズから拡大させ、かつ第1の画像データを拡大させた後に第1の画像データを元の予め決められたサイズに戻すように前記境界を変化させる、請求項2に記載の車載用画像表示装置。
【請求項4】
前記第1の画像データは、左右方向のサイズが徐々に拡大される、請求項3に記載の車載用画像表示装置。
【請求項5】
前記画像合成手段は、前記相対速度がしきい値よりも大きいとき、第1の画像データを予め決められたサイズから縮小するように前記境界を変化させる、請求項2に記載の車載用画像表示装置。
【請求項6】
前記画像合成手段は、前記第1の画像データを元の予め決められたサイズに戻すとき、第1の画像データと第2または第3の画像データとの境界の透過処理を行う、請求項3に記載の車載用画像表示装置。
【請求項7】
前記境界の変更は、第1、第2および第3の画像データのトリミング位置を変更することにより行われる、請求項1ないし6いずれか1つに記載の車載用画像表示装置。
【請求項1】
自車の車幅方向の中央部から自車の後方を撮像し、第1の画像データを出力する第1の撮像手段と、
自車の車幅方向の第1の側部から自車の後方を撮像し、第2の画像データを出力する第2の撮像手段と、
自車の車幅方向の前記第1の側部と対向する第2の側部から自車の後方を撮像し、第3の画像データを出力する第3の撮像手段と、
第1、第2および第3の画像データを合成して後方画像を生成する画像合成手段と、
前記画像合成手段により合成された後方画像を表示する表示手段と、
自車の後方車両を検出する検出手段とを有し、
前記画像合成手段は、前記検出手段により検出された後方車両の位置に応じて第1および第2の画像データの境界または第1および第3の画像データの境界を変化させる、
車載用画像表示装置。
【請求項2】
前記検出手段は、自車に対する後方車両の相対速度を検出し、
前記画像合成手段は、前記相対速度に基づき前記境界を可変する、請求項1に記載の車載用画像表示装置。
【請求項3】
前記画像合成手段は、前記相対速度がしきい値以下のとき、後方車両の位置に応じて第1の画像データを予め決められたサイズから拡大させ、かつ第1の画像データを拡大させた後に第1の画像データを元の予め決められたサイズに戻すように前記境界を変化させる、請求項2に記載の車載用画像表示装置。
【請求項4】
前記第1の画像データは、左右方向のサイズが徐々に拡大される、請求項3に記載の車載用画像表示装置。
【請求項5】
前記画像合成手段は、前記相対速度がしきい値よりも大きいとき、第1の画像データを予め決められたサイズから縮小するように前記境界を変化させる、請求項2に記載の車載用画像表示装置。
【請求項6】
前記画像合成手段は、前記第1の画像データを元の予め決められたサイズに戻すとき、第1の画像データと第2または第3の画像データとの境界の透過処理を行う、請求項3に記載の車載用画像表示装置。
【請求項7】
前記境界の変更は、第1、第2および第3の画像データのトリミング位置を変更することにより行われる、請求項1ないし6いずれか1つに記載の車載用画像表示装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2010−287163(P2010−287163A)
【公開日】平成22年12月24日(2010.12.24)
【国際特許分類】
【出願番号】特願2009−142321(P2009−142321)
【出願日】平成21年6月15日(2009.6.15)
【出願人】(000101732)アルパイン株式会社 (2,424)
【Fターム(参考)】
【公開日】平成22年12月24日(2010.12.24)
【国際特許分類】
【出願日】平成21年6月15日(2009.6.15)
【出願人】(000101732)アルパイン株式会社 (2,424)
【Fターム(参考)】
[ Back to top ]