運転支援システム
【課題】表示装置上に表示された撮像画像やガイドを、簡易な操作で容易に調整できる運転支援システムを提供することを目的する。
【解決手段】 表示装置4に鳥瞰表示(上空から斜め下方向を見下ろしたような表示)された画像及びガイドのずれを修正して希望とおりに表示されるように調整する場合に、ユーザは表示されている画像及びガイドをいわゆる俯瞰表示(上空から真下方向を見下ろしたような表示)に変換して修正及び調整することができる。
【解決手段】 表示装置4に鳥瞰表示(上空から斜め下方向を見下ろしたような表示)された画像及びガイドのずれを修正して希望とおりに表示されるように調整する場合に、ユーザは表示されている画像及びガイドをいわゆる俯瞰表示(上空から真下方向を見下ろしたような表示)に変換して修正及び調整することができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両を運転する際に用いられる運転支援システムに関し、特に、後方へ運転する際に、車両操作者(以下、運転者と記載する場合もある)の運転を支援するためのガイドを表示する運転支援システムに関する。
【背景技術】
【0002】
従来、車両の後方を撮像するカメラを車両の後部に取り付け、当該カメラの撮像画像と後方運転支援のためのガイドを表示する表示装置を車内の運転席近傍に備えた運転支援システムが知られている。
【0003】
ここで、ガイドとは、表示装置上に表示された、車両の車幅を示す線、図形又は一定の面積を占める領域、あるいは車両の先端又は後端から所定距離を示す線、図形又は一定の面積を占める領域をいう。
【0004】
かかる運転支援システムによると、運転者は、当該表示装置を見る事により車両後部周辺の障害物を確認できるため安全な後方運転が可能となる。また、当該ガイドにより後方運転を容易に行うことが可能となる。
【0005】
下記特許文献1には、このような後方への運転支援のためのガイドを表示する技術が開示されている。
【0006】
しかしながら、上記運転支援システムでは、例えば、何かの拍子でカメラの取り付け位置がずれた場合には、表示装置上で撮像画像或いはガイドの位置や角度がずれてしまい、正しく表示されなくなる。
【0007】
また、後付けでカメラを車両に取り付ける場合には、カメラの取り付け位置によっては、表示装置上で撮像画像或いはガイドの位置や角度が正しく表示されない場合がある。
【0008】
このような場合には、撮像画像或いはガイドの位置や角度を調整して正しく表示されるようにする必要がある。撮像画像やガイドの調整は、撮像画像あるいはガイドの角度や位置を運転支援システムの操作者(以下、ユーザと記載する。)の操作により変更できる機能を、運転支援システムに付加することにより実現できる。
【0009】
しかしながら、表示装置に表示される撮像画像は、撮像装置がその取り付け位置から斜め下方向を撮像した画像である。したがって、例えば、地面に置かれたガイド調整のための長方形の標識板も、撮像画像では、長方形とはならず、カメラ近傍の辺が、カメラ遠方の辺よりも長い台形形状となって表示される。このような撮像画像に基づいて撮像画像或いはガイドの位置や角度をユーザの希望通りに精度よく調整するのは大変困難で、手間のかかる作業である。
【0010】
図15は、従来の運転支援システムの構成を示している。車両101の後部に撮像装置103が取り付けられている。尚、図15では、撮像装置103はその位置から斜め下方向を撮像した場合には、車両101のバンパー102が写るように取り付けられている。
【0011】
また、車両101の車室内に、撮像装置103の撮像画像をモニターするための表示装置104が配置されている。
【0012】
図16は、ガイドの調整に使用する標識板の一例を示している。図16の標識板には、ガイド調整用に碁盤目状に線が引かれており、横の長さは例えば、車幅の長さになるように作成されている。
【0013】
図17は、図16の標識板を車両後方の所定位置に配置し、撮像装置103で撮像した場合に、表示装置104に表示されるバンパー102の撮像画像200(以下、バンパー画像200と記載する。)及び標識板の撮像画像201(以下、標識板画像201と記載する。)を示している。
【0014】
さらに、これらの画像に重畳して表示されるガイド202及び203も示している。
【0015】
そして、図17では、撮像装置103の取り付け位置がずれたため、標識板画像201及びバンパー画像200とガイド202及び203との位置関係がずれてしまった図を示している。
【0016】
図18は、標識板画像201及びバンパー画像200とガイド202及び203との位置関係が適切に表示された図を示している。
【0017】
ユーザが図17から図18の状態となるように撮像画像又はガイドの位置や角度を精度よく調整することは困難で手間のかかる作業である。
【特許文献1】特開2000-272445号
【発明の開示】
【発明が解決しようとする課題】
【0018】
本発明は、上記問題に鑑みてなされたものであり、表示装置上に表示された撮像画像やガイドを、簡易な操作で容易に調整できる運転支援システムを提供することを目的する。
【課題を解決するための手段】
【0019】
本発明に係る運転支援システムは、車両に搭載された撮像装置からの鳥瞰画像に基づいて俯瞰画像を生成して出力する画像切替手段と、前記車両の操作のための第1ガイドを出力するガイド制御手段と、前記俯瞰画像と前記第1ガイドを重畳した第1重畳画像を生成し、出力する表示制御手段とを備えた運転支援システムであって、第1操作入力手段と、画像制御手段とを更に備えている。
【0020】
そして、前記画像制御手段又は前記ガイド制御手段は、入力された前記第1操作に応じて、前記第1重畳画像を表示する表示手段における前記俯瞰画像と前記第1ガイドとの第1の位置関係を変更することを特徴とする。
【0021】
本発明に係る運転支援システムでは、さらに前記画像切替手段は、前記俯瞰画像に対応する元の鳥瞰画像を出力し、ガイド制御手段は、車両の操作のための第2ガイドを出力し、前記表示制御手段は、前記鳥瞰画像と前記第2ガイドを重畳した第2重畳画像を生成する。
【0022】
そして、前記画像制御手段又は前記ガイド制御手段は、前記第1の位置関係の変更量に基づいて、前記第2重畳画像を表示する前記表示手段における前記鳥瞰画像と前記第2ガイドとの第2の位置関係を変更することを特徴とする。
【0023】
本発明に係る運転支援システムは、第2操作入力手段を更に備え、前記画像切替手段は、入力された前記第2操作に応じて前記撮像装置の回転量を変更した俯瞰画像を生成することを特徴とする。
【発明の効果】
【0024】
本発明によれば、表示装置上に表示された撮像画像やガイドを、簡易な操作で容易に調整できる運転支援システムを提供することができる。
【0025】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。
【0026】
ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【0027】
以下、本発明の一実施形態につき、図面を参照して具体的に説明する。
【0028】
図1は、本発明の実施の形態に係る運転支援システムの全体構成図(機能構成図)を示している。
【0029】
運転支援システム1は、車両後方を撮像する撮像装置2、撮像された撮像画像に対する画像処理及び画像制御、並びにガイドの表示制御を行う画像処理装置3を備えている。撮像装置2には、例えば、CCDカメラが用いられる。
【0030】
運転支援システム1は、さらに、画像処理装置3から出力される画像及びガイドを表示する表示装置4、ユーザからの操作を受付け、かかる操作に応じた電気信号(以下、操作信号と記載する。)を生成し、画像処理装置3に出力するユーザインターフェース5(以下、ユーザIF5と記載する。)を備えている。表示装置4には、例えば、液晶モニターが用いられる。
【0031】
ユーザIF5には、調整ボタンや調整ツマミ等の入力手段が備えられており、ユーザはかかる入力手段により所望の操作を行うことができる。
【0032】
画像処理装置3は、画像切替部6、画像制御部7、ガイド制御部8、制御信号生成部9及び表示制御部10からなる。
【0033】
画像切替部6は、画像制御部7からの出力信号に応じて撮像装置2による撮像画像から俯瞰画像を生成する。また、生成した俯瞰画像、あるいは元の撮像画像を表示制御部10へ出力する。
【0034】
図2は、運転支援システム1を車両に実施した場合の構成を示している。
【0035】
撮像装置2は、図2に示す如く車両6の後部であって、地面から高さhoの位置に取り付けられている。そして、時計回りを正とし、水平方向に対する撮像装置2の傾きを俯角(α)といい、θo(θo=180−α)を取り付け角という。
【0036】
図3は、撮像装置2からの撮像画像と俯瞰画像との関係を説明するための模式図である。
【0037】
図3において、車両6に取り付けられた撮像装置2は、地上からhoの高さから斜め下方向を撮像する。このような斜め下方向の撮像画像を鳥瞰画像という。一方、撮像対象の真上に撮像装置2’を配置して、そこから真下方向を撮像した画像を俯瞰画像という。
【0038】
したがって、以下において、撮像装置2による撮像画像を鳥瞰画像と記載する場合がある。
【0039】
図4は、鳥瞰画像を俯瞰画像に変換(視点変換)する手法を説明するための図である。
【0040】
図4は、撮像装置2の座標系XYZと、撮像装置2の撮像面Sの座標系XbuYbuと、2次元地面座標系Xw Zw を含む世界座標系Xw Yw Zw との関係を示している。
【0041】
撮像装置2の座標系XYZでは、撮像装置2の光学中心を原点Oとして、光軸方向にZ軸が、Z軸に直交しかつ地面に平行な方向にX軸が、Z軸およびX軸に直交する方向にY軸がとられている。
【0042】
撮像面Sの座標系XbuYbuでは、撮像面Sの中心に原点Obuをとり、撮像面Sの横方向にXbu軸が、撮像面Sの縦方向にYbuがとられている。
【0043】
世界座標系Xw Yw Zw では、撮像装置の座標系XYZの原点Oを通る垂線と地面との交点を原点Ow とし、地面と垂直な方向にYw 軸が、撮像装置の座標系XYZのX軸と平行な方向にXw 軸が、Xw 軸およびYw 軸に直交する方向にZw 軸がとられている。
【0044】
図4では、撮像装置2が地面から高さhの位置にあるとしているから、世界座標系Xw Yw Zw と撮像装置の座標系XYZとの間の平行移動量は〔0,h,0〕である。また、X軸周りの回転量をθとしている。
【0045】
したがって、撮像装置の座標系XYZの座標(x,y,z)と世界座標系Xw Yw Zw の座標(xw ,yw ,zw )との間の変換式は、次式(1)で表される。
【0046】
【数1】
また、撮像面Sの座標系XbuYbuの座標(xbu,ybu)と、撮像装置2の座標系XYZの座標(x,y,z)との間の変換式は、撮像装置2の焦点距離をfとすると、次式(2)で表される。
【0047】
【数2】
以上により、鳥瞰画像を俯瞰画像に変換することができる。
【0048】
すなわち、世界座標系Xw Yw ZwにおけるXw Zw平面上のIw領域が、撮像装置2により撮像される領域であり、撮像装置2により撮像されたIw領域の撮像画像(鳥瞰画像)を撮像面Sの座標系XbuYbu上の領域Iに視点変換した画像が俯瞰画像となる。
【0049】
尚、かかる視点変換処理については、特開2006-287892に詳述されている。
【0050】
上記式(1)において、撮像装置2の地面からの高さを示すパラメータhを実際の撮像装置2の取り付け位置であるhoに設定する(h=ho)と、図3における撮像装置2’からの俯瞰画像を生成することができる。
【0051】
また、撮像装置2の水平方向を基準とした回転量を示すパラメータθは、実際の撮像装置2の取り付け角に設定される必要がある。実際の取り付け角と異なる値が設定されると、生成された俯瞰画像に歪みが生じ、違和感のある俯瞰画像となる。本実施形態では、撮像装置2の取り付け角はθoである。よってθ=θoとすると正しい俯瞰画像を生成することができる。
【0052】
図5(a)は、標識板の鳥瞰画像である。図5(b)は図5(a)の鳥瞰画像を俯瞰画像へ変換した図である。図5(c)は、撮像装置2の取り付け角θoと式(1)で設定したθが相違する場合の俯瞰画像である。図5(c)では、生成された俯瞰画像は歪んでおり、実際は長方形の標識板が台形形状となってしまっている。
【0053】
画像制御部7は、制御信号生成部9からの出力信号に応じて、画像切替部6に対して俯瞰画像の生成、元の鳥瞰画像の出力、あるいは表示制御部10に対して画像切替部6から出力される画像の回転又は上下左右への移動を指示する。
【0054】
図6は、表示装置4の表示画面を示している。
【0055】
図6では、表示画面の中心を原点Odとして、表示画面の水平方向をXd軸、垂直方向をYd軸としたXd-Yd座標系を設定している。
【0056】
画像を回転させるとは、表示画面に表示されている画像(ガイドを除く)を原点Odを中心としてXd軸から所定角度回転させることをいう。
【0057】
また、画像を移動するとは、表示画面に表示されている画像(ガイドを除く)をXd軸或いはYd軸に平行に所定量だけ移動させることをいう。
【0058】
ガイド制御部8は、制御信号生成部9からの制御信号に応じて、表示制御部10に対して俯瞰画像用のガイド或いは鳥瞰画像用のガイドを出力する。
【0059】
ここで、俯瞰画像用のガイドと鳥瞰画像用のガイドとは、その構成は同一である。ただし、俯瞰画像用のガイドは、上空から真下方向を見下ろした(俯瞰した)場合に視覚に映る形態で表示されたガイドである。一方、鳥瞰画像用のガイドは上空から斜め下方向を見下ろした(鳥瞰した)場合に視覚に映る形態で表示されたガイドである。
【0060】
また、ガイド制御部8は、制御信号生成部9からの制御信号に応じて、表示制御部10に対してガイドの回転、或いは上下左右への移動を指示する。
【0061】
図7は、表示装置4の表示画面にガイド301を1本だけ表示した図を示している。 図7では、表示画面の中心を原点Odとして、表示画面の水平方向をXd軸、垂直方向をYd軸としたXd-Yd座標系に加えて、ガイド301の中点を原点Og、表示画面の水平方向をXg軸、垂直方向をYg軸としたXg-Yg座標系を設定している。
【0062】
ガイドを回転させるとは、表示画面に表示されているガイド301を原点Ogを中心としてXg軸から所定量だけ回転させることをいう。
【0063】
また、ガイドを上下左右に移動するとは、Xd-Yd座標系において、ガイド301をXd軸或いはYd軸に平行に所定の移動量だけ移動させることをいう。
【0064】
表示制御部10は、画像切替部10から出力される画像とガイド制御部8から出力されるガイドを重畳して出力する。また、ガイド制御部8からのガイドの移動又は回転指示にしたがって表示装置4に表示されるガイドを移動又は回転させる。同様に、画像制御部7からの画像の移動又は回転指示にしたがって表示装置4に表示される画像を移動又は回転させる。
【0065】
したがって、表示装置4には、画像(鳥瞰画像又は俯瞰画像)とガイド(鳥瞰画像用のガイド又は俯瞰画像用のガイド)とが重畳して表示される。
【0066】
制御信号生成部9は、ユーザIF5からの操作信号に対応する制御信号を生成し、ガイド制御部8及び画像制御部7へ出力する。
【0067】
次に以下において、運転支援システム1の機能についてさらに詳しく説明する。
【0068】
ユーザIF5は、表示装置4に表示されている画像(鳥瞰画像又は俯瞰画像)或いはガイド(鳥瞰画像用のガイド又は俯瞰画像用のガイド)について、ユーザから下記(1)〜(7)の操作を受け付けることができる。
【0069】
(1)画像の水平方向又は垂直方向への移動操作。
【0070】
(2)画像の回転操作。
【0071】
(3)俯瞰画像のパラメータθ或いはパラメータhの変更操作。
【0072】
(4)俯瞰画像から鳥瞰画像への切り替え操作。
【0073】
(5)鳥瞰画像から俯瞰画像への切り替え操作。
【0074】
(6)ガイドの水平方向又は垂直方向への移動操作。
【0075】
(7)ガイドの回転操作。
【0076】
ユーザIF5は、これらの操作に対応した操作信号を生成し、制御信号生成部9へ出力する。
【0077】
制御信号生成部9は、上記(1)〜(5)の操作信号を受け付けると、これらに対応した制御信号を生成し、画像制御部7へ出力する。
【0078】
また、(4)〜(7)の操作信号を受け付けると、これらに対応した制御信号を生成し、ガイド制御部8へ出力する。
【0079】
画像制御部7は、(1)の制御信号を受け取ると、当該制御信号に基づいて、表示装置4に表示されている画像の水平方向の移動量及び垂直方向の移動量を導出し、画表示制御部10へ画像の移動指示とともに出力する。
【0080】
このとき、表示装置4に表示されている画像が俯瞰画像であれば、導出した移動量を俯瞰画像の画像移動量として、備え付けられている画像調整量記憶部(図示せず。)に記憶するとともに、当該画像移動量からこの俯瞰画像に対応する鳥瞰画像を表示する場合の移動量も導出し、鳥瞰画像の画像移動量として画像調整量記憶部に記憶する。
【0081】
逆に、表示されている画像が鳥瞰画像であれば、鳥瞰画像の画像移動量として画像調整量記憶部に記憶するとともに、この鳥瞰画像に対応する俯瞰画像を表示する場合の移動量も導出し、俯瞰画像の画像移動量として画像調整量記憶部に記憶する。
【0082】
画像制御部7は、(2)の制御信号を受け取ると、当該制御信号に基づいて、表示装置4に表示されている画像の回転量を導出し、表示制御部10へ画像の回転指示とともに出力する。
【0083】
このとき、表示装置4上に表示されている画像が俯瞰画像であれば、導出した回転量を俯瞰画像の画像回転量として画像調整量記憶部に記憶するとともに、当該画像回転量からこの俯瞰画像に対応する鳥瞰画像を表示する場合の回転量も導出し、鳥瞰画像の画像回転量として画像調整量記憶部に記憶する。
【0084】
逆に、表示されている画像が鳥瞰画像であれば、鳥瞰画像の画像回転量として画像調整量記憶部に記憶するとともに、この鳥瞰画像に対応する俯瞰画像を表示する場合の回転量も導出し、俯瞰画像の画像回転量として画像調整量記憶部に記憶する。
【0085】
画像制御部7は、(3)の制御信号を受け取ると、当該制御信号に基づいてパラメータθ或いはhの値を導出して、画像調整量記憶部に記憶する。そして、画像切替部6に導出したθ或いはhに対応した俯瞰画像を生成させるとともに、画像調整量記憶部に記憶されている俯瞰画像の画像移動量及び画像回転量に基づいて、表示制御部10へ当該俯瞰画像の移動及び回転を指示する。
【0086】
尚、ユーザIF5が(3)の操作を受け付けるのは、表示装置4に俯瞰画像が表示されている場合に限られる。
【0087】
画像制御部7は、(4)の制御信号を受け取ると、画像切替部6に鳥瞰画像を出力させる。
【0088】
このとき、画像調整量記憶部に鳥瞰画像の画像移動量および画像回転量が記憶されている場合には、当該移動量及び回転量に基づいて、表示制御部10へ当該鳥瞰画像の移動及び回転を指示する。
【0089】
尚、ユーザIF5が(4)の操作を受け付けるのは、表示装置4に俯瞰画像が表示されている場合に限られる。
【0090】
画像制御部7は、(5)の制御信号を受け取ると、画像切替部6に俯瞰画像を生成させる。
【0091】
このとき、画像調整量記憶部に俯瞰画像の画像移動量および画像回転量が記憶されている場合には、当該移動量及び回転量に基づいて、表示制御部10へ当該俯瞰画像の移動及び回転を指示する。
【0092】
尚、ユーザIF5が(5)の操作を受け付けるのは、表示装置4に鳥瞰画像が表示されている場合に限られる。
【0093】
ガイド制御部8は、(4)の制御信号を受け取ると、鳥瞰画像用ガイドを表示制御部10へ出力する。
【0094】
このとき、備え付けられているガイド調整量記憶部(図示せず。)に、鳥瞰画像用ガイド移動量及び鳥瞰画像用ガイド回転量が記憶されている場合には、当該移動量及び回転量に基づいて、表示制御部10へ鳥瞰画像用ガイドの移動及び回転を指示する。
【0095】
尚、上記したようにユーザIF5が(4)の操作を受け付けるのは、表示装置4に俯瞰画像が表示されている場合に限られる。
【0096】
ガイド制御部8は、(5)の制御信号を受け取ると、俯瞰画像用ガイドを表示制御部10へ出力する。
【0097】
このとき、ガイド調整量記憶部に俯瞰画像用ガイド移動量及び俯瞰画像用ガイド回転量が記憶されている場合には、当該移動量及び回転量に基づいて、表示制御部10へ俯瞰画像用ガイドの移動及び回転を指示する。
【0098】
尚、上記したようにユーザIF5が(5)の操作を受け付けるのは、表示装置4に鳥瞰画像が表示されている場合に限られる。
【0099】
ガイド制御部8は、(6)の制御信号を受け取ると、当該制御信号に基づいて、表示装置4に表示されているガイドの水平方向の移動量及び垂直方向の移動量を導出し、表示制御部10へガイドの移動指示とともに出力する。
【0100】
このとき、表示装置4上に表示されている画像が俯瞰画像であれば、導出した移動量を俯瞰画像用ガイド移動量としてガイド調整量記憶部に記憶するとともに、当該ガイド移動量から鳥瞰画像用ガイドを表示する場合の移動量も導出し、鳥瞰画像用ガイド移動量としてガイド調整量記憶部に記憶する。
【0101】
逆に、表示されている画像が鳥瞰画像であれば、鳥瞰画像用ガイド移動量としてガイド調整量記憶部に記憶するとともに、俯瞰画像用ガイドを表示する場合の移動量も導出し、俯瞰画像用ガイド移動量としてガイド調整量記憶部に記憶する。
【0102】
ガイド制御部8は、(7)の制御信号を受け取ると、当該制御信号に基づいて、表示装置4に表示されているガイドの回転量を導出し、表示制御部10へガイドの回転指示とともに出力する。
【0103】
このとき、表示装置4上に表示されている画像が俯瞰画像であれば、導出した回転量を俯瞰画像用ガイド回転量としてガイド調整量記憶部に記憶するとともに、当該ガイド回転量から鳥瞰画像用ガイドを表示する場合の回転量も導出し、鳥瞰画像用ガイド回転量としてガイド調整量記憶部に記憶する。
【0104】
逆に、表示されている画像が鳥瞰画像であれば、鳥瞰画像用ガイド回転量としてガイド調整量記憶部に記憶するとともに、俯瞰画像用ガイドを表示する場合の回転量も導出し、俯瞰画像用ガイド回転量としてガイド調整量記憶部に記憶する。
【0105】
尚、上記説明では、画像調整量記憶部とガイド調整量記憶部を別々の記憶部として記述しているが、一つの共通の記憶部としてもよい。
【0106】
次に以下において、運転支援システム1を利用して、表示装置4に表示された画像及びガイドを調整する方法について説明する。 尚、以下では、表示された画像(鳥瞰画像又は俯瞰画像)及びガイド(鳥瞰画像用ガイド又は俯瞰画像用ガイド)を併せてガイド等と記載する場合がある。
【0107】
運転支援システム1は、ガイド等を調整するモードを備えており、ユーザは、かかるモードにおいてガイド等の調整が可能となる。
【0108】
図8は、ガイド等の調整を行う場合の、車両6の配置及び使用する補助具22〜27の配置を示している。
【0109】
図8では、車両6が、例えば、駐車場など、平行線20及び21が地面に描かれた場所に配置されていることを示している。
【0110】
また、図8では、撮像装置2が車両6の中線よりやや左側にずれた位置に取り付けられている。
【0111】
尚、車両6に対して左か右かは、車両6の前方向を基準として決定している。
【0112】
車両6は、その右端及び左端の線が平行線20及び21に平行となるように配置されている。
【0113】
補助具22及び25は車両6の右端の延長線上に配置され、補助具24及び27は車両6の左端の延長線上に配置されている。補助具23及び26は、車両6の中線上に配置されている。
【0114】
また、補助具22〜24は、車両6の後端から0.5mの位置に配置され、補助具25〜27は車両6の後端から2.0mの位置に配置されている。
【0115】
図8の配置において、撮像装置2は、平行線20及び21並びに補助具22〜27を撮像することができる。
【0116】
図9は、平行線20及び21並びに補助具22〜27の撮像画像(鳥瞰画像)と鳥瞰画像用のガイド28〜32とが重畳して表示装置4に表示されている図である。
【0117】
尚、図9において、鳥瞰画像用のガイド28〜32はガイド制御部8によって表示される。
【0118】
ガイド28は車両6の右端の延長線を、30は車両6の左端の延長線を示すためのガイドである。ガイド29は車両6の中線を示すためのガイドである。ガイド31及び32はそれぞれ車両6の後端から0.5m及び2.0mの位置を示すためのガイドである。
【0119】
したがって、各ガイドは、表示装置4において少なくとも以下の条件を全て満たすように表示されなければならない。
【0120】
(1)ガイド28は、補助具22及び25上を通る。
【0121】
(2)ガイド29は、補助具23及び26上を通る。
【0122】
(3)ガイド30は、補助具24及び27上を通る。
【0123】
(4)ガイド31は、補助具22、23、24上を通る。
【0124】
(5)ガイド32は、補助具25、26、27上を通る。
【0125】
しかしながら、図9に示すごとく、各ガイドは上記(1)〜(5)の条件を満たしていない。すなわちガイド等が正しく表示されていない。
【0126】
したがって、運転支援システム1において、以下の操作が行われることにより、上記(1)〜(5)を満たすようにガイド等を調整することができる。
【0127】
(1)鳥瞰画像から俯瞰画像への切り替え操作。
【0128】
鳥瞰画像から俯瞰画像への切り替え操作が行われると、画像制御部7は、画像切替部6に俯瞰画像を生成させる。
【0129】
また、ガイド制御部8が、俯瞰画像用ガイドを表示制御部10へ出力する。
【0130】
尚、俯瞰画像を生成する際に使用されるパラメータθが適切でない場合は、表示装置4に表示される俯瞰画像が歪を持つこととなる。かかる場合、「俯瞰画像のパラメータθの変更操作」によりθが適切な値に変更されると、当該歪は解消される。
【0131】
図10は、図9の鳥瞰画像が俯瞰画像に変換されて表示され、俯瞰画像用ガイドがその上に重畳されて表示された図である。
【0132】
図10より、俯瞰画像がガイド28、29及び30と比較して、幾分傾いて表示されていることが分かる。
【0133】
(2)画像(俯瞰画像)の回転操作。
【0134】
表示されている俯瞰画像に対し、所定の回転量の回転操作が行われると、画像制御部7は、表示制御部10へ当該回転量だけ俯瞰画像の回転を指示する。
【0135】
このとき、画像制御部7は、画像調整量記憶部に当該回転量を俯瞰画像の画像回転量として記憶するとともに、当該回転量からこの俯瞰画像に対応する鳥瞰画像を表示するときの回転量も導出し、鳥瞰画像の回転量として記憶する。
【0136】
図11は、俯瞰画像を所定回転量だけ回転した図を示している。
【0137】
図11では、俯瞰画像の傾きが修正されていることが分かる。しかしながら、ガイド28、29及び30は、対応する補助具の上を通過していないため、各ガイドは水平方向に幾分ずれていることが分かる。
【0138】
(3)画像(俯瞰画像)の水平方向への移動操作。
【0139】
表示されている俯瞰画像に対し、水平方向へ所定の移動量の移動操作が行われると、画像制御部7は、表示制御部10へ当該移動量だけ俯瞰画像の移動を指示する。
【0140】
このとき、画像制御部7は、画像調整量記憶部に当該移動量を俯瞰画像の画像移動量として記憶するとともに、当該移動量からこの俯瞰画像に対応する鳥瞰画像を表示するときの移動量も導出し、鳥瞰画像の移動量として記憶する。
【0141】
図12は、俯瞰画像を所定の移動量だけ水平方向へ移動した図を示している。
【0142】
図12によると、俯瞰画像及び俯瞰画像用ガイドが、上記(1)〜(5)の条件をすべて満たしていることが分かる。
【0143】
以上の操作により、ガイド等が適切に表示されることとなる。
【0144】
尚、例えば、図12の俯瞰画像が大き過ぎて見難い等の不便がある場合には、「俯瞰画像のパラメータhの変更操作」が行われることによりかかる不便が解消される。
【0145】
かかる操作が行われると、画像制御部7は、変更されたhに基づく俯瞰画像を画像切替部6に生成させる。
【0146】
例えば、パラメータhが、より大きい値に変更されると俯瞰画像の視点位置(図4における撮像装置2’の高さ)が高くなり、表示装置4に表示される俯瞰画像の大きさが全体的に縮小されるとともに、地面上のより広範囲の領域が表示されることとなる。
【0147】
図13は、パラメータhを大きくなるように変更した場合の俯瞰画像である。図13と図12の俯瞰画像を比較すると、図13では、視点位置が高くなったことにより、表示される俯瞰画像が縮小され、かつより広範囲の領域が表示されている。
【0148】
尚、俯瞰画像用ガイドの表示については、なんら変更されないため、再度調整操作が必要となる。
【0149】
(4)俯瞰画像から鳥瞰画像への切り替え操作。
【0150】
図12の俯瞰画像及び俯瞰画像用ガイドが表示されている場合に、鳥瞰画像への切り替え操作が行われると、画像制御部7は、画像切替部6に鳥瞰画像を出力させる。また、ガイド制御部8は、鳥瞰画像用のガイドを表示制御部10へ出力する。
【0151】
この際、画像制御部7は、画像調整量記憶部に記憶されている鳥瞰画像の移動量及び回転量に基づいて、表示制御部10へ鳥瞰画像の移動及び回転を指示する。
【0152】
したがって、鳥瞰画像及び鳥瞰画像用ガイドが表示される場合のガイド等の調整は既に完了していることになる。
【0153】
図14は、図12の俯瞰画像及び俯瞰画像用ガイドの表示を鳥瞰画像及び鳥瞰画像用ガイドの表示に切り替えて表示した図である。
【0154】
図14では、表示されている鳥瞰画像及び鳥瞰画像用ガイドは、上記(1)〜(5)の条件を満たしており、鳥瞰画像及び鳥瞰画像用ガイドが正しく表示されていることが分かる。
【0155】
以上の操作により、運転支援システム1によるガイド等の調整が完了する。
【0156】
尚、上記では、表示された俯瞰画像を回転あるいは移動させる操作を説明しているが、鳥瞰画像に対しても同様の操作を行うことができる。この場合においても、鳥瞰画像に対する調整が俯瞰画像にも反映される。
【0157】
また、回転や移動は俯瞰画像用ガイド又は鳥瞰画像用ガイドに対して行うこととしてもよい。この場合においても、俯瞰画像用ガイドに対する調整は、鳥瞰画像用ガイドにも反映され、鳥瞰画像用ガイドに対する調整は、俯瞰画像用ガイドにも反映される。
【0158】
さらにまた、本実施形態では、撮像装置2からの撮像画像を鳥瞰画像としている。 しかしながら、撮像装置2により撮像された画像は、その周辺部に歪が発生する場合がある。このような場合、当該画像に歪補正処理を施す必要がある。
【0159】
したがって、撮像装置2により撮像された画像に対して歪補正処理を施した画像を鳥瞰画像としてもよい。
【0160】
以上のように、本実施形態に係る運転支援システム1によると、表示装置4に鳥瞰表示(上空から斜め下方向を見下ろしたような表示)された画像及びガイドのずれを修正して希望とおりに表示されるように調整する場合に、ユーザは表示されている画像及びガイドをいわゆる俯瞰表示(上空から真下方向を見下ろしたような表示)に変換してからずれの修正や調整をすることができるため、比較的簡便な操作で修正及び調整することができる。
【0161】
また、俯瞰表示における画像及びガイドに施した修正や調整が鳥瞰表示における画像及びガイドにも反映されているため、ユーザは鳥瞰表示された画像及びガイドに対して再度修正や調整を施す必要がなくなり、よって二度手間な作業を失くすことができる。
【0162】
これらのことから、本実施形態に係る運転支援システム1によると、従来の運転支援システムに比べて、利便性が向上することとなる。
【図面の簡単な説明】
【0163】
【図1】本発明の実施の形態に係る運転支援システムの全体構成図である。
【図2】運転支援システムを車両に搭載した場合の構成図である。
【図3】鳥瞰画像と俯瞰画像の相違を説明するための図である。
【図4】鳥瞰画像から俯瞰画像を生成する方法を説明するための図である。
【図5】異なる俯角を用いて生成された俯瞰画像を示す図である。
【図6】表示装置4に表示される画像の移動及び回転を説明するための図である。
【図7】表示装置4に表示されるガイドの移動及び回転を説明するための 図である。
【図8】表示装置4に表示される画像およびガイドを調整するための車両 の配置を示す図である。
【図9】ガイド調整中に撮像された鳥瞰画像と鳥瞰画像用ガイドの表示を示す図である。
【図10】ガイド調整中の俯瞰画像と俯瞰画像用ガイドの表示を示す図である。
【図11】ガイド調整中の俯瞰画像と俯瞰画像用ガイドの表示を示す図である。
【図12】ガイド調整中の俯瞰画像と俯瞰画像用ガイドの表示を示す図である。
【図13】ガイド調整中の俯瞰画像と俯瞰画像用ガイドの表示を示す図である。
【図14】ガイド調整中の鳥瞰画像と鳥瞰画像用ガイドの表示を示す図である。
【図15】従来の運転支援システムを車両に搭載した場合の構成図である。
【図16】ガイドの調整に使用する標識板を示す図である。
【図17】ガイドと鳥瞰画像とがずれていることを示す図である。
【図18】ガイドと鳥瞰画像とが正しく表示されていることを示す図である。
【0164】
1 運転支援システム
2 撮像装置
4 表示装置
5 ユーザIF
6 画像切替部
7 画像制御部
8 ガイド制御部
9 制御信号生成部
10 表示制御部
【技術分野】
【0001】
本発明は、車両を運転する際に用いられる運転支援システムに関し、特に、後方へ運転する際に、車両操作者(以下、運転者と記載する場合もある)の運転を支援するためのガイドを表示する運転支援システムに関する。
【背景技術】
【0002】
従来、車両の後方を撮像するカメラを車両の後部に取り付け、当該カメラの撮像画像と後方運転支援のためのガイドを表示する表示装置を車内の運転席近傍に備えた運転支援システムが知られている。
【0003】
ここで、ガイドとは、表示装置上に表示された、車両の車幅を示す線、図形又は一定の面積を占める領域、あるいは車両の先端又は後端から所定距離を示す線、図形又は一定の面積を占める領域をいう。
【0004】
かかる運転支援システムによると、運転者は、当該表示装置を見る事により車両後部周辺の障害物を確認できるため安全な後方運転が可能となる。また、当該ガイドにより後方運転を容易に行うことが可能となる。
【0005】
下記特許文献1には、このような後方への運転支援のためのガイドを表示する技術が開示されている。
【0006】
しかしながら、上記運転支援システムでは、例えば、何かの拍子でカメラの取り付け位置がずれた場合には、表示装置上で撮像画像或いはガイドの位置や角度がずれてしまい、正しく表示されなくなる。
【0007】
また、後付けでカメラを車両に取り付ける場合には、カメラの取り付け位置によっては、表示装置上で撮像画像或いはガイドの位置や角度が正しく表示されない場合がある。
【0008】
このような場合には、撮像画像或いはガイドの位置や角度を調整して正しく表示されるようにする必要がある。撮像画像やガイドの調整は、撮像画像あるいはガイドの角度や位置を運転支援システムの操作者(以下、ユーザと記載する。)の操作により変更できる機能を、運転支援システムに付加することにより実現できる。
【0009】
しかしながら、表示装置に表示される撮像画像は、撮像装置がその取り付け位置から斜め下方向を撮像した画像である。したがって、例えば、地面に置かれたガイド調整のための長方形の標識板も、撮像画像では、長方形とはならず、カメラ近傍の辺が、カメラ遠方の辺よりも長い台形形状となって表示される。このような撮像画像に基づいて撮像画像或いはガイドの位置や角度をユーザの希望通りに精度よく調整するのは大変困難で、手間のかかる作業である。
【0010】
図15は、従来の運転支援システムの構成を示している。車両101の後部に撮像装置103が取り付けられている。尚、図15では、撮像装置103はその位置から斜め下方向を撮像した場合には、車両101のバンパー102が写るように取り付けられている。
【0011】
また、車両101の車室内に、撮像装置103の撮像画像をモニターするための表示装置104が配置されている。
【0012】
図16は、ガイドの調整に使用する標識板の一例を示している。図16の標識板には、ガイド調整用に碁盤目状に線が引かれており、横の長さは例えば、車幅の長さになるように作成されている。
【0013】
図17は、図16の標識板を車両後方の所定位置に配置し、撮像装置103で撮像した場合に、表示装置104に表示されるバンパー102の撮像画像200(以下、バンパー画像200と記載する。)及び標識板の撮像画像201(以下、標識板画像201と記載する。)を示している。
【0014】
さらに、これらの画像に重畳して表示されるガイド202及び203も示している。
【0015】
そして、図17では、撮像装置103の取り付け位置がずれたため、標識板画像201及びバンパー画像200とガイド202及び203との位置関係がずれてしまった図を示している。
【0016】
図18は、標識板画像201及びバンパー画像200とガイド202及び203との位置関係が適切に表示された図を示している。
【0017】
ユーザが図17から図18の状態となるように撮像画像又はガイドの位置や角度を精度よく調整することは困難で手間のかかる作業である。
【特許文献1】特開2000-272445号
【発明の開示】
【発明が解決しようとする課題】
【0018】
本発明は、上記問題に鑑みてなされたものであり、表示装置上に表示された撮像画像やガイドを、簡易な操作で容易に調整できる運転支援システムを提供することを目的する。
【課題を解決するための手段】
【0019】
本発明に係る運転支援システムは、車両に搭載された撮像装置からの鳥瞰画像に基づいて俯瞰画像を生成して出力する画像切替手段と、前記車両の操作のための第1ガイドを出力するガイド制御手段と、前記俯瞰画像と前記第1ガイドを重畳した第1重畳画像を生成し、出力する表示制御手段とを備えた運転支援システムであって、第1操作入力手段と、画像制御手段とを更に備えている。
【0020】
そして、前記画像制御手段又は前記ガイド制御手段は、入力された前記第1操作に応じて、前記第1重畳画像を表示する表示手段における前記俯瞰画像と前記第1ガイドとの第1の位置関係を変更することを特徴とする。
【0021】
本発明に係る運転支援システムでは、さらに前記画像切替手段は、前記俯瞰画像に対応する元の鳥瞰画像を出力し、ガイド制御手段は、車両の操作のための第2ガイドを出力し、前記表示制御手段は、前記鳥瞰画像と前記第2ガイドを重畳した第2重畳画像を生成する。
【0022】
そして、前記画像制御手段又は前記ガイド制御手段は、前記第1の位置関係の変更量に基づいて、前記第2重畳画像を表示する前記表示手段における前記鳥瞰画像と前記第2ガイドとの第2の位置関係を変更することを特徴とする。
【0023】
本発明に係る運転支援システムは、第2操作入力手段を更に備え、前記画像切替手段は、入力された前記第2操作に応じて前記撮像装置の回転量を変更した俯瞰画像を生成することを特徴とする。
【発明の効果】
【0024】
本発明によれば、表示装置上に表示された撮像画像やガイドを、簡易な操作で容易に調整できる運転支援システムを提供することができる。
【0025】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。
【0026】
ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【0027】
以下、本発明の一実施形態につき、図面を参照して具体的に説明する。
【0028】
図1は、本発明の実施の形態に係る運転支援システムの全体構成図(機能構成図)を示している。
【0029】
運転支援システム1は、車両後方を撮像する撮像装置2、撮像された撮像画像に対する画像処理及び画像制御、並びにガイドの表示制御を行う画像処理装置3を備えている。撮像装置2には、例えば、CCDカメラが用いられる。
【0030】
運転支援システム1は、さらに、画像処理装置3から出力される画像及びガイドを表示する表示装置4、ユーザからの操作を受付け、かかる操作に応じた電気信号(以下、操作信号と記載する。)を生成し、画像処理装置3に出力するユーザインターフェース5(以下、ユーザIF5と記載する。)を備えている。表示装置4には、例えば、液晶モニターが用いられる。
【0031】
ユーザIF5には、調整ボタンや調整ツマミ等の入力手段が備えられており、ユーザはかかる入力手段により所望の操作を行うことができる。
【0032】
画像処理装置3は、画像切替部6、画像制御部7、ガイド制御部8、制御信号生成部9及び表示制御部10からなる。
【0033】
画像切替部6は、画像制御部7からの出力信号に応じて撮像装置2による撮像画像から俯瞰画像を生成する。また、生成した俯瞰画像、あるいは元の撮像画像を表示制御部10へ出力する。
【0034】
図2は、運転支援システム1を車両に実施した場合の構成を示している。
【0035】
撮像装置2は、図2に示す如く車両6の後部であって、地面から高さhoの位置に取り付けられている。そして、時計回りを正とし、水平方向に対する撮像装置2の傾きを俯角(α)といい、θo(θo=180−α)を取り付け角という。
【0036】
図3は、撮像装置2からの撮像画像と俯瞰画像との関係を説明するための模式図である。
【0037】
図3において、車両6に取り付けられた撮像装置2は、地上からhoの高さから斜め下方向を撮像する。このような斜め下方向の撮像画像を鳥瞰画像という。一方、撮像対象の真上に撮像装置2’を配置して、そこから真下方向を撮像した画像を俯瞰画像という。
【0038】
したがって、以下において、撮像装置2による撮像画像を鳥瞰画像と記載する場合がある。
【0039】
図4は、鳥瞰画像を俯瞰画像に変換(視点変換)する手法を説明するための図である。
【0040】
図4は、撮像装置2の座標系XYZと、撮像装置2の撮像面Sの座標系XbuYbuと、2次元地面座標系Xw Zw を含む世界座標系Xw Yw Zw との関係を示している。
【0041】
撮像装置2の座標系XYZでは、撮像装置2の光学中心を原点Oとして、光軸方向にZ軸が、Z軸に直交しかつ地面に平行な方向にX軸が、Z軸およびX軸に直交する方向にY軸がとられている。
【0042】
撮像面Sの座標系XbuYbuでは、撮像面Sの中心に原点Obuをとり、撮像面Sの横方向にXbu軸が、撮像面Sの縦方向にYbuがとられている。
【0043】
世界座標系Xw Yw Zw では、撮像装置の座標系XYZの原点Oを通る垂線と地面との交点を原点Ow とし、地面と垂直な方向にYw 軸が、撮像装置の座標系XYZのX軸と平行な方向にXw 軸が、Xw 軸およびYw 軸に直交する方向にZw 軸がとられている。
【0044】
図4では、撮像装置2が地面から高さhの位置にあるとしているから、世界座標系Xw Yw Zw と撮像装置の座標系XYZとの間の平行移動量は〔0,h,0〕である。また、X軸周りの回転量をθとしている。
【0045】
したがって、撮像装置の座標系XYZの座標(x,y,z)と世界座標系Xw Yw Zw の座標(xw ,yw ,zw )との間の変換式は、次式(1)で表される。
【0046】
【数1】
また、撮像面Sの座標系XbuYbuの座標(xbu,ybu)と、撮像装置2の座標系XYZの座標(x,y,z)との間の変換式は、撮像装置2の焦点距離をfとすると、次式(2)で表される。
【0047】
【数2】
以上により、鳥瞰画像を俯瞰画像に変換することができる。
【0048】
すなわち、世界座標系Xw Yw ZwにおけるXw Zw平面上のIw領域が、撮像装置2により撮像される領域であり、撮像装置2により撮像されたIw領域の撮像画像(鳥瞰画像)を撮像面Sの座標系XbuYbu上の領域Iに視点変換した画像が俯瞰画像となる。
【0049】
尚、かかる視点変換処理については、特開2006-287892に詳述されている。
【0050】
上記式(1)において、撮像装置2の地面からの高さを示すパラメータhを実際の撮像装置2の取り付け位置であるhoに設定する(h=ho)と、図3における撮像装置2’からの俯瞰画像を生成することができる。
【0051】
また、撮像装置2の水平方向を基準とした回転量を示すパラメータθは、実際の撮像装置2の取り付け角に設定される必要がある。実際の取り付け角と異なる値が設定されると、生成された俯瞰画像に歪みが生じ、違和感のある俯瞰画像となる。本実施形態では、撮像装置2の取り付け角はθoである。よってθ=θoとすると正しい俯瞰画像を生成することができる。
【0052】
図5(a)は、標識板の鳥瞰画像である。図5(b)は図5(a)の鳥瞰画像を俯瞰画像へ変換した図である。図5(c)は、撮像装置2の取り付け角θoと式(1)で設定したθが相違する場合の俯瞰画像である。図5(c)では、生成された俯瞰画像は歪んでおり、実際は長方形の標識板が台形形状となってしまっている。
【0053】
画像制御部7は、制御信号生成部9からの出力信号に応じて、画像切替部6に対して俯瞰画像の生成、元の鳥瞰画像の出力、あるいは表示制御部10に対して画像切替部6から出力される画像の回転又は上下左右への移動を指示する。
【0054】
図6は、表示装置4の表示画面を示している。
【0055】
図6では、表示画面の中心を原点Odとして、表示画面の水平方向をXd軸、垂直方向をYd軸としたXd-Yd座標系を設定している。
【0056】
画像を回転させるとは、表示画面に表示されている画像(ガイドを除く)を原点Odを中心としてXd軸から所定角度回転させることをいう。
【0057】
また、画像を移動するとは、表示画面に表示されている画像(ガイドを除く)をXd軸或いはYd軸に平行に所定量だけ移動させることをいう。
【0058】
ガイド制御部8は、制御信号生成部9からの制御信号に応じて、表示制御部10に対して俯瞰画像用のガイド或いは鳥瞰画像用のガイドを出力する。
【0059】
ここで、俯瞰画像用のガイドと鳥瞰画像用のガイドとは、その構成は同一である。ただし、俯瞰画像用のガイドは、上空から真下方向を見下ろした(俯瞰した)場合に視覚に映る形態で表示されたガイドである。一方、鳥瞰画像用のガイドは上空から斜め下方向を見下ろした(鳥瞰した)場合に視覚に映る形態で表示されたガイドである。
【0060】
また、ガイド制御部8は、制御信号生成部9からの制御信号に応じて、表示制御部10に対してガイドの回転、或いは上下左右への移動を指示する。
【0061】
図7は、表示装置4の表示画面にガイド301を1本だけ表示した図を示している。 図7では、表示画面の中心を原点Odとして、表示画面の水平方向をXd軸、垂直方向をYd軸としたXd-Yd座標系に加えて、ガイド301の中点を原点Og、表示画面の水平方向をXg軸、垂直方向をYg軸としたXg-Yg座標系を設定している。
【0062】
ガイドを回転させるとは、表示画面に表示されているガイド301を原点Ogを中心としてXg軸から所定量だけ回転させることをいう。
【0063】
また、ガイドを上下左右に移動するとは、Xd-Yd座標系において、ガイド301をXd軸或いはYd軸に平行に所定の移動量だけ移動させることをいう。
【0064】
表示制御部10は、画像切替部10から出力される画像とガイド制御部8から出力されるガイドを重畳して出力する。また、ガイド制御部8からのガイドの移動又は回転指示にしたがって表示装置4に表示されるガイドを移動又は回転させる。同様に、画像制御部7からの画像の移動又は回転指示にしたがって表示装置4に表示される画像を移動又は回転させる。
【0065】
したがって、表示装置4には、画像(鳥瞰画像又は俯瞰画像)とガイド(鳥瞰画像用のガイド又は俯瞰画像用のガイド)とが重畳して表示される。
【0066】
制御信号生成部9は、ユーザIF5からの操作信号に対応する制御信号を生成し、ガイド制御部8及び画像制御部7へ出力する。
【0067】
次に以下において、運転支援システム1の機能についてさらに詳しく説明する。
【0068】
ユーザIF5は、表示装置4に表示されている画像(鳥瞰画像又は俯瞰画像)或いはガイド(鳥瞰画像用のガイド又は俯瞰画像用のガイド)について、ユーザから下記(1)〜(7)の操作を受け付けることができる。
【0069】
(1)画像の水平方向又は垂直方向への移動操作。
【0070】
(2)画像の回転操作。
【0071】
(3)俯瞰画像のパラメータθ或いはパラメータhの変更操作。
【0072】
(4)俯瞰画像から鳥瞰画像への切り替え操作。
【0073】
(5)鳥瞰画像から俯瞰画像への切り替え操作。
【0074】
(6)ガイドの水平方向又は垂直方向への移動操作。
【0075】
(7)ガイドの回転操作。
【0076】
ユーザIF5は、これらの操作に対応した操作信号を生成し、制御信号生成部9へ出力する。
【0077】
制御信号生成部9は、上記(1)〜(5)の操作信号を受け付けると、これらに対応した制御信号を生成し、画像制御部7へ出力する。
【0078】
また、(4)〜(7)の操作信号を受け付けると、これらに対応した制御信号を生成し、ガイド制御部8へ出力する。
【0079】
画像制御部7は、(1)の制御信号を受け取ると、当該制御信号に基づいて、表示装置4に表示されている画像の水平方向の移動量及び垂直方向の移動量を導出し、画表示制御部10へ画像の移動指示とともに出力する。
【0080】
このとき、表示装置4に表示されている画像が俯瞰画像であれば、導出した移動量を俯瞰画像の画像移動量として、備え付けられている画像調整量記憶部(図示せず。)に記憶するとともに、当該画像移動量からこの俯瞰画像に対応する鳥瞰画像を表示する場合の移動量も導出し、鳥瞰画像の画像移動量として画像調整量記憶部に記憶する。
【0081】
逆に、表示されている画像が鳥瞰画像であれば、鳥瞰画像の画像移動量として画像調整量記憶部に記憶するとともに、この鳥瞰画像に対応する俯瞰画像を表示する場合の移動量も導出し、俯瞰画像の画像移動量として画像調整量記憶部に記憶する。
【0082】
画像制御部7は、(2)の制御信号を受け取ると、当該制御信号に基づいて、表示装置4に表示されている画像の回転量を導出し、表示制御部10へ画像の回転指示とともに出力する。
【0083】
このとき、表示装置4上に表示されている画像が俯瞰画像であれば、導出した回転量を俯瞰画像の画像回転量として画像調整量記憶部に記憶するとともに、当該画像回転量からこの俯瞰画像に対応する鳥瞰画像を表示する場合の回転量も導出し、鳥瞰画像の画像回転量として画像調整量記憶部に記憶する。
【0084】
逆に、表示されている画像が鳥瞰画像であれば、鳥瞰画像の画像回転量として画像調整量記憶部に記憶するとともに、この鳥瞰画像に対応する俯瞰画像を表示する場合の回転量も導出し、俯瞰画像の画像回転量として画像調整量記憶部に記憶する。
【0085】
画像制御部7は、(3)の制御信号を受け取ると、当該制御信号に基づいてパラメータθ或いはhの値を導出して、画像調整量記憶部に記憶する。そして、画像切替部6に導出したθ或いはhに対応した俯瞰画像を生成させるとともに、画像調整量記憶部に記憶されている俯瞰画像の画像移動量及び画像回転量に基づいて、表示制御部10へ当該俯瞰画像の移動及び回転を指示する。
【0086】
尚、ユーザIF5が(3)の操作を受け付けるのは、表示装置4に俯瞰画像が表示されている場合に限られる。
【0087】
画像制御部7は、(4)の制御信号を受け取ると、画像切替部6に鳥瞰画像を出力させる。
【0088】
このとき、画像調整量記憶部に鳥瞰画像の画像移動量および画像回転量が記憶されている場合には、当該移動量及び回転量に基づいて、表示制御部10へ当該鳥瞰画像の移動及び回転を指示する。
【0089】
尚、ユーザIF5が(4)の操作を受け付けるのは、表示装置4に俯瞰画像が表示されている場合に限られる。
【0090】
画像制御部7は、(5)の制御信号を受け取ると、画像切替部6に俯瞰画像を生成させる。
【0091】
このとき、画像調整量記憶部に俯瞰画像の画像移動量および画像回転量が記憶されている場合には、当該移動量及び回転量に基づいて、表示制御部10へ当該俯瞰画像の移動及び回転を指示する。
【0092】
尚、ユーザIF5が(5)の操作を受け付けるのは、表示装置4に鳥瞰画像が表示されている場合に限られる。
【0093】
ガイド制御部8は、(4)の制御信号を受け取ると、鳥瞰画像用ガイドを表示制御部10へ出力する。
【0094】
このとき、備え付けられているガイド調整量記憶部(図示せず。)に、鳥瞰画像用ガイド移動量及び鳥瞰画像用ガイド回転量が記憶されている場合には、当該移動量及び回転量に基づいて、表示制御部10へ鳥瞰画像用ガイドの移動及び回転を指示する。
【0095】
尚、上記したようにユーザIF5が(4)の操作を受け付けるのは、表示装置4に俯瞰画像が表示されている場合に限られる。
【0096】
ガイド制御部8は、(5)の制御信号を受け取ると、俯瞰画像用ガイドを表示制御部10へ出力する。
【0097】
このとき、ガイド調整量記憶部に俯瞰画像用ガイド移動量及び俯瞰画像用ガイド回転量が記憶されている場合には、当該移動量及び回転量に基づいて、表示制御部10へ俯瞰画像用ガイドの移動及び回転を指示する。
【0098】
尚、上記したようにユーザIF5が(5)の操作を受け付けるのは、表示装置4に鳥瞰画像が表示されている場合に限られる。
【0099】
ガイド制御部8は、(6)の制御信号を受け取ると、当該制御信号に基づいて、表示装置4に表示されているガイドの水平方向の移動量及び垂直方向の移動量を導出し、表示制御部10へガイドの移動指示とともに出力する。
【0100】
このとき、表示装置4上に表示されている画像が俯瞰画像であれば、導出した移動量を俯瞰画像用ガイド移動量としてガイド調整量記憶部に記憶するとともに、当該ガイド移動量から鳥瞰画像用ガイドを表示する場合の移動量も導出し、鳥瞰画像用ガイド移動量としてガイド調整量記憶部に記憶する。
【0101】
逆に、表示されている画像が鳥瞰画像であれば、鳥瞰画像用ガイド移動量としてガイド調整量記憶部に記憶するとともに、俯瞰画像用ガイドを表示する場合の移動量も導出し、俯瞰画像用ガイド移動量としてガイド調整量記憶部に記憶する。
【0102】
ガイド制御部8は、(7)の制御信号を受け取ると、当該制御信号に基づいて、表示装置4に表示されているガイドの回転量を導出し、表示制御部10へガイドの回転指示とともに出力する。
【0103】
このとき、表示装置4上に表示されている画像が俯瞰画像であれば、導出した回転量を俯瞰画像用ガイド回転量としてガイド調整量記憶部に記憶するとともに、当該ガイド回転量から鳥瞰画像用ガイドを表示する場合の回転量も導出し、鳥瞰画像用ガイド回転量としてガイド調整量記憶部に記憶する。
【0104】
逆に、表示されている画像が鳥瞰画像であれば、鳥瞰画像用ガイド回転量としてガイド調整量記憶部に記憶するとともに、俯瞰画像用ガイドを表示する場合の回転量も導出し、俯瞰画像用ガイド回転量としてガイド調整量記憶部に記憶する。
【0105】
尚、上記説明では、画像調整量記憶部とガイド調整量記憶部を別々の記憶部として記述しているが、一つの共通の記憶部としてもよい。
【0106】
次に以下において、運転支援システム1を利用して、表示装置4に表示された画像及びガイドを調整する方法について説明する。 尚、以下では、表示された画像(鳥瞰画像又は俯瞰画像)及びガイド(鳥瞰画像用ガイド又は俯瞰画像用ガイド)を併せてガイド等と記載する場合がある。
【0107】
運転支援システム1は、ガイド等を調整するモードを備えており、ユーザは、かかるモードにおいてガイド等の調整が可能となる。
【0108】
図8は、ガイド等の調整を行う場合の、車両6の配置及び使用する補助具22〜27の配置を示している。
【0109】
図8では、車両6が、例えば、駐車場など、平行線20及び21が地面に描かれた場所に配置されていることを示している。
【0110】
また、図8では、撮像装置2が車両6の中線よりやや左側にずれた位置に取り付けられている。
【0111】
尚、車両6に対して左か右かは、車両6の前方向を基準として決定している。
【0112】
車両6は、その右端及び左端の線が平行線20及び21に平行となるように配置されている。
【0113】
補助具22及び25は車両6の右端の延長線上に配置され、補助具24及び27は車両6の左端の延長線上に配置されている。補助具23及び26は、車両6の中線上に配置されている。
【0114】
また、補助具22〜24は、車両6の後端から0.5mの位置に配置され、補助具25〜27は車両6の後端から2.0mの位置に配置されている。
【0115】
図8の配置において、撮像装置2は、平行線20及び21並びに補助具22〜27を撮像することができる。
【0116】
図9は、平行線20及び21並びに補助具22〜27の撮像画像(鳥瞰画像)と鳥瞰画像用のガイド28〜32とが重畳して表示装置4に表示されている図である。
【0117】
尚、図9において、鳥瞰画像用のガイド28〜32はガイド制御部8によって表示される。
【0118】
ガイド28は車両6の右端の延長線を、30は車両6の左端の延長線を示すためのガイドである。ガイド29は車両6の中線を示すためのガイドである。ガイド31及び32はそれぞれ車両6の後端から0.5m及び2.0mの位置を示すためのガイドである。
【0119】
したがって、各ガイドは、表示装置4において少なくとも以下の条件を全て満たすように表示されなければならない。
【0120】
(1)ガイド28は、補助具22及び25上を通る。
【0121】
(2)ガイド29は、補助具23及び26上を通る。
【0122】
(3)ガイド30は、補助具24及び27上を通る。
【0123】
(4)ガイド31は、補助具22、23、24上を通る。
【0124】
(5)ガイド32は、補助具25、26、27上を通る。
【0125】
しかしながら、図9に示すごとく、各ガイドは上記(1)〜(5)の条件を満たしていない。すなわちガイド等が正しく表示されていない。
【0126】
したがって、運転支援システム1において、以下の操作が行われることにより、上記(1)〜(5)を満たすようにガイド等を調整することができる。
【0127】
(1)鳥瞰画像から俯瞰画像への切り替え操作。
【0128】
鳥瞰画像から俯瞰画像への切り替え操作が行われると、画像制御部7は、画像切替部6に俯瞰画像を生成させる。
【0129】
また、ガイド制御部8が、俯瞰画像用ガイドを表示制御部10へ出力する。
【0130】
尚、俯瞰画像を生成する際に使用されるパラメータθが適切でない場合は、表示装置4に表示される俯瞰画像が歪を持つこととなる。かかる場合、「俯瞰画像のパラメータθの変更操作」によりθが適切な値に変更されると、当該歪は解消される。
【0131】
図10は、図9の鳥瞰画像が俯瞰画像に変換されて表示され、俯瞰画像用ガイドがその上に重畳されて表示された図である。
【0132】
図10より、俯瞰画像がガイド28、29及び30と比較して、幾分傾いて表示されていることが分かる。
【0133】
(2)画像(俯瞰画像)の回転操作。
【0134】
表示されている俯瞰画像に対し、所定の回転量の回転操作が行われると、画像制御部7は、表示制御部10へ当該回転量だけ俯瞰画像の回転を指示する。
【0135】
このとき、画像制御部7は、画像調整量記憶部に当該回転量を俯瞰画像の画像回転量として記憶するとともに、当該回転量からこの俯瞰画像に対応する鳥瞰画像を表示するときの回転量も導出し、鳥瞰画像の回転量として記憶する。
【0136】
図11は、俯瞰画像を所定回転量だけ回転した図を示している。
【0137】
図11では、俯瞰画像の傾きが修正されていることが分かる。しかしながら、ガイド28、29及び30は、対応する補助具の上を通過していないため、各ガイドは水平方向に幾分ずれていることが分かる。
【0138】
(3)画像(俯瞰画像)の水平方向への移動操作。
【0139】
表示されている俯瞰画像に対し、水平方向へ所定の移動量の移動操作が行われると、画像制御部7は、表示制御部10へ当該移動量だけ俯瞰画像の移動を指示する。
【0140】
このとき、画像制御部7は、画像調整量記憶部に当該移動量を俯瞰画像の画像移動量として記憶するとともに、当該移動量からこの俯瞰画像に対応する鳥瞰画像を表示するときの移動量も導出し、鳥瞰画像の移動量として記憶する。
【0141】
図12は、俯瞰画像を所定の移動量だけ水平方向へ移動した図を示している。
【0142】
図12によると、俯瞰画像及び俯瞰画像用ガイドが、上記(1)〜(5)の条件をすべて満たしていることが分かる。
【0143】
以上の操作により、ガイド等が適切に表示されることとなる。
【0144】
尚、例えば、図12の俯瞰画像が大き過ぎて見難い等の不便がある場合には、「俯瞰画像のパラメータhの変更操作」が行われることによりかかる不便が解消される。
【0145】
かかる操作が行われると、画像制御部7は、変更されたhに基づく俯瞰画像を画像切替部6に生成させる。
【0146】
例えば、パラメータhが、より大きい値に変更されると俯瞰画像の視点位置(図4における撮像装置2’の高さ)が高くなり、表示装置4に表示される俯瞰画像の大きさが全体的に縮小されるとともに、地面上のより広範囲の領域が表示されることとなる。
【0147】
図13は、パラメータhを大きくなるように変更した場合の俯瞰画像である。図13と図12の俯瞰画像を比較すると、図13では、視点位置が高くなったことにより、表示される俯瞰画像が縮小され、かつより広範囲の領域が表示されている。
【0148】
尚、俯瞰画像用ガイドの表示については、なんら変更されないため、再度調整操作が必要となる。
【0149】
(4)俯瞰画像から鳥瞰画像への切り替え操作。
【0150】
図12の俯瞰画像及び俯瞰画像用ガイドが表示されている場合に、鳥瞰画像への切り替え操作が行われると、画像制御部7は、画像切替部6に鳥瞰画像を出力させる。また、ガイド制御部8は、鳥瞰画像用のガイドを表示制御部10へ出力する。
【0151】
この際、画像制御部7は、画像調整量記憶部に記憶されている鳥瞰画像の移動量及び回転量に基づいて、表示制御部10へ鳥瞰画像の移動及び回転を指示する。
【0152】
したがって、鳥瞰画像及び鳥瞰画像用ガイドが表示される場合のガイド等の調整は既に完了していることになる。
【0153】
図14は、図12の俯瞰画像及び俯瞰画像用ガイドの表示を鳥瞰画像及び鳥瞰画像用ガイドの表示に切り替えて表示した図である。
【0154】
図14では、表示されている鳥瞰画像及び鳥瞰画像用ガイドは、上記(1)〜(5)の条件を満たしており、鳥瞰画像及び鳥瞰画像用ガイドが正しく表示されていることが分かる。
【0155】
以上の操作により、運転支援システム1によるガイド等の調整が完了する。
【0156】
尚、上記では、表示された俯瞰画像を回転あるいは移動させる操作を説明しているが、鳥瞰画像に対しても同様の操作を行うことができる。この場合においても、鳥瞰画像に対する調整が俯瞰画像にも反映される。
【0157】
また、回転や移動は俯瞰画像用ガイド又は鳥瞰画像用ガイドに対して行うこととしてもよい。この場合においても、俯瞰画像用ガイドに対する調整は、鳥瞰画像用ガイドにも反映され、鳥瞰画像用ガイドに対する調整は、俯瞰画像用ガイドにも反映される。
【0158】
さらにまた、本実施形態では、撮像装置2からの撮像画像を鳥瞰画像としている。 しかしながら、撮像装置2により撮像された画像は、その周辺部に歪が発生する場合がある。このような場合、当該画像に歪補正処理を施す必要がある。
【0159】
したがって、撮像装置2により撮像された画像に対して歪補正処理を施した画像を鳥瞰画像としてもよい。
【0160】
以上のように、本実施形態に係る運転支援システム1によると、表示装置4に鳥瞰表示(上空から斜め下方向を見下ろしたような表示)された画像及びガイドのずれを修正して希望とおりに表示されるように調整する場合に、ユーザは表示されている画像及びガイドをいわゆる俯瞰表示(上空から真下方向を見下ろしたような表示)に変換してからずれの修正や調整をすることができるため、比較的簡便な操作で修正及び調整することができる。
【0161】
また、俯瞰表示における画像及びガイドに施した修正や調整が鳥瞰表示における画像及びガイドにも反映されているため、ユーザは鳥瞰表示された画像及びガイドに対して再度修正や調整を施す必要がなくなり、よって二度手間な作業を失くすことができる。
【0162】
これらのことから、本実施形態に係る運転支援システム1によると、従来の運転支援システムに比べて、利便性が向上することとなる。
【図面の簡単な説明】
【0163】
【図1】本発明の実施の形態に係る運転支援システムの全体構成図である。
【図2】運転支援システムを車両に搭載した場合の構成図である。
【図3】鳥瞰画像と俯瞰画像の相違を説明するための図である。
【図4】鳥瞰画像から俯瞰画像を生成する方法を説明するための図である。
【図5】異なる俯角を用いて生成された俯瞰画像を示す図である。
【図6】表示装置4に表示される画像の移動及び回転を説明するための図である。
【図7】表示装置4に表示されるガイドの移動及び回転を説明するための 図である。
【図8】表示装置4に表示される画像およびガイドを調整するための車両 の配置を示す図である。
【図9】ガイド調整中に撮像された鳥瞰画像と鳥瞰画像用ガイドの表示を示す図である。
【図10】ガイド調整中の俯瞰画像と俯瞰画像用ガイドの表示を示す図である。
【図11】ガイド調整中の俯瞰画像と俯瞰画像用ガイドの表示を示す図である。
【図12】ガイド調整中の俯瞰画像と俯瞰画像用ガイドの表示を示す図である。
【図13】ガイド調整中の俯瞰画像と俯瞰画像用ガイドの表示を示す図である。
【図14】ガイド調整中の鳥瞰画像と鳥瞰画像用ガイドの表示を示す図である。
【図15】従来の運転支援システムを車両に搭載した場合の構成図である。
【図16】ガイドの調整に使用する標識板を示す図である。
【図17】ガイドと鳥瞰画像とがずれていることを示す図である。
【図18】ガイドと鳥瞰画像とが正しく表示されていることを示す図である。
【0164】
1 運転支援システム
2 撮像装置
4 表示装置
5 ユーザIF
6 画像切替部
7 画像制御部
8 ガイド制御部
9 制御信号生成部
10 表示制御部
【特許請求の範囲】
【請求項1】
車両に搭載された撮像装置からの鳥瞰画像に基づいて俯瞰画像を生成して出力する画像切替手段と、
前記車両の操作のための第1ガイドを出力するガイド制御手段と、
前記俯瞰画像と前記第1ガイドを重畳した第1重畳画像を生成し、出力する表示制御手段と、
を備えた運転支援システムであって、
第1操作入力手段と、
画像制御手段と、
を更に備え、
前記画像制御手段又は前記ガイド制御手段は、入力された前記第1操作に応じて、前記第1重畳画像を表示する表示手段における前記俯瞰画像と前記第1ガイドとの第1の位置関係を変更することを特徴とする運転支援システム。
【請求項2】
前記画像切替手段は、前記俯瞰画像に対応する元の鳥瞰画像を出力し、ガイド制御手段は、車両の操作のための第2ガイドを出力し、
前記表示制御手段は、前記鳥瞰画像と前記第2ガイドを重畳した第2重畳画像を生成し、
前記画像制御手段又は前記ガイド制御手段は、前記第1の位置関係の変更量に基づいて、前記第2重畳画像を表示する前記表示手段における前記鳥瞰画像と前記第2ガイドとの第2の位置関係を変更することを特徴とする請求項1記載の運転支援システム。
【請求項3】
第2操作入力手段、
を更に備え、
前記画像切替手段は、入力された前記第2操作に応じて前記撮像装置の回転量を変更した俯瞰画像を生成することを特徴とする請求項1又は2に記載の運転支援システム。
【請求項1】
車両に搭載された撮像装置からの鳥瞰画像に基づいて俯瞰画像を生成して出力する画像切替手段と、
前記車両の操作のための第1ガイドを出力するガイド制御手段と、
前記俯瞰画像と前記第1ガイドを重畳した第1重畳画像を生成し、出力する表示制御手段と、
を備えた運転支援システムであって、
第1操作入力手段と、
画像制御手段と、
を更に備え、
前記画像制御手段又は前記ガイド制御手段は、入力された前記第1操作に応じて、前記第1重畳画像を表示する表示手段における前記俯瞰画像と前記第1ガイドとの第1の位置関係を変更することを特徴とする運転支援システム。
【請求項2】
前記画像切替手段は、前記俯瞰画像に対応する元の鳥瞰画像を出力し、ガイド制御手段は、車両の操作のための第2ガイドを出力し、
前記表示制御手段は、前記鳥瞰画像と前記第2ガイドを重畳した第2重畳画像を生成し、
前記画像制御手段又は前記ガイド制御手段は、前記第1の位置関係の変更量に基づいて、前記第2重畳画像を表示する前記表示手段における前記鳥瞰画像と前記第2ガイドとの第2の位置関係を変更することを特徴とする請求項1記載の運転支援システム。
【請求項3】
第2操作入力手段、
を更に備え、
前記画像切替手段は、入力された前記第2操作に応じて前記撮像装置の回転量を変更した俯瞰画像を生成することを特徴とする請求項1又は2に記載の運転支援システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2008−205928(P2008−205928A)
【公開日】平成20年9月4日(2008.9.4)
【国際特許分類】
【出願番号】特願2007−40933(P2007−40933)
【出願日】平成19年2月21日(2007.2.21)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
【公開日】平成20年9月4日(2008.9.4)
【国際特許分類】
【出願日】平成19年2月21日(2007.2.21)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
[ Back to top ]