運転支援装置
【課題】本発明は、車両が旋回しながら後退する場合に、運転者の違和感をなくすとともに、旋回方向の画像を表示して運転者に安心感を与えることを目的としている。
【解決手段】このため、後方撮像手段と、後退判定手段と、表示手段と、後方画像から歪み補正して表示画像を作成する画像作成手段とを備える運転支援装置において、旋回角度検出手段と、旋回角度に基づいて遅延時間経過後の車両位置を推定する車両位置推定手段と、推定位置に仮想カメラを設定する仮想カメラ設定手段を備え、画像作成手段は、仮想カメラが視点となるように撮像画像を変換する。また、運転支援装置において、旋回角度検出手段と、車速検出手段と、旋回角度と車速に応じた仮想カメラと真カメラの画像の画素位置の対応関係を示すデータベースを備え、画像作成手段は、旋回角度と車速とに応じてデータベースを参照して仮想カメラが視点となるように撮像画像を変換する。
【解決手段】このため、後方撮像手段と、後退判定手段と、表示手段と、後方画像から歪み補正して表示画像を作成する画像作成手段とを備える運転支援装置において、旋回角度検出手段と、旋回角度に基づいて遅延時間経過後の車両位置を推定する車両位置推定手段と、推定位置に仮想カメラを設定する仮想カメラ設定手段を備え、画像作成手段は、仮想カメラが視点となるように撮像画像を変換する。また、運転支援装置において、旋回角度検出手段と、車速検出手段と、旋回角度と車速に応じた仮想カメラと真カメラの画像の画素位置の対応関係を示すデータベースを備え、画像作成手段は、旋回角度と車速とに応じてデータベースを参照して仮想カメラが視点となるように撮像画像を変換する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は運転支援装置に係り、特に車両が後退すると判定された時に、撮像された後方画像から歪み補正して表示する画像を作成する運転支援装置に関するものである。
【背景技術】
【０００２】
近年、駐車支援用に使用されるバックアイカメラでは、レンズ収差等の影響で歪みを含む元画像から歪み補正した線形画像を作成し、車両後方視野に関する映像が運転者に与える印象をより理解し易い自然な形にして提示する機能を備えたものが一般となりつつある。
ここで、この発明と後述する特許文献１との相違点について記載する。
この発明は、仮想カメラを車両からみたバックモニタ画像と同じ姿勢で捕らえることで、運転者の空間認識に関する印象をより自然な形に近づけた案内画面を作成することを主体としている。
これは、旋回中の自車両（バックアイカメラ）の後方視野に主観を置くことで、実操作に関する運転者の直感的な認識や操作感度を向上する効果を狙ったものである。
この発明に対して、特許文献１に開示されるものは、上空より見下ろした画像を基準に案内図を作成しているが、おそらく主体とするものは図３８及び図３９（ａ）〜（ｆ）に示すような状況で、目的地とする駐車ポイントが画面内を動き回ることを避ける点を主体とするものであると考えられる。
ここで、理解を容易とするために、図３８には、車両がバックしてＡ点からＤ点まで移動する状態を開示している。
そして、この図３８のＡ点からＤ点まで車両が移動する際の通常画面Ａ、Ｂ、Ｄを図３９の（ａ）〜（ｃ）に開示し、この通常画面Ａ、Ｂ、Ｄに対応する特許文献１の特開画面Ａ、Ｂ、Ｄを図３９の（ｄ）〜（ｆ）に開示する。
また、特許文献１に開示されるものは、セレクトビューカメラ（スズキタイプ）やマルチビュー（日産タイプ）等、上空からの見下ろしの画像に関する課題を扱ったものと考えられ、どれも共に仮想化カメラによる駐車支援を扱うが、見下ろし画像は頭の中で一旦車の動きと自車の向きの変換作業が必要となる分、今回のような直感的視野を扱う発明とは主旨が異なると考えられる。
更に、上述の特許文献１に開示される手順では、本文中にあるようにスクリーンが地面上（あるいは地面と平行面）に設定される場合、軌道ガイドライン画像の作成・画像上空領域の欠落等の課題に対応できないため、今回提出される発明のような後方視野について直感的支援を目的とする画像を作成することはできないと予測される。
更にまた、他の欠点としては、以下のようなものがある。
（１）仮想的に上から見下ろした車両を示す描画データを複数確保しておく必要があるため、保持する描画データ数が増加する。
（２）仮想的に上から見下ろした車両について、旋回中の車両の動きに合わせて車両描画データを座標変換（枠外判定・データクリップ処理を含む。）する処理が追加されていまう。
ここで、参考までに記載すると、図４０に示す如く、従来の運転支援装置１０１であるセレクトビューバックアイ構造は、車両後方を撮像するカメラからなる後方撮像手段１０２と、前記車両の後退していることを検出する後退検出手段１０３と、画像を表示するモニタからなる表示手段１０４と、制御・演算手段１０５と備えている。
また、この制御・演算手段１０５は、前記車両が後退するか否かを判定する後退判定手段１０６と、この後退判定手段１０６により前記車両が後退すると判定された時に、前記後方撮像手段１０２により撮像された後方画像から歪み補正して前記表示手段１０４により表示する画像を作成する画像作成手段１０７とを備えている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４８１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の運転支援装置において、一般的に使用されるＮＴＳＣカメラからの映像は少なくともシャッタータイミングより１／３０秒、歪み取り補正等の画像処理負荷に対する装置の能力が不足する場合はそれ以上の遅延が発生し、表示画像は遅れて出力される。
カメラは、通常、車両の真後ろ方向を撮影するよう固定されているが、直進で後退している場合には、運転者はそれほど違和感なく歪み補正画像を見ることができる。
図４１に示す如く、この図４１に開示される車両がＡ地点で撮影した映像は、遅延により実際にはＡ’地点の位置で表示されるため、運転者は、通常、少し前の映像を若干遅れてモニタリングしている訳であるが、運転者は映像の遅れに対する違和感を覚えることは少ない。
車両進行方向と画像中心の軌道が一致するため、運転者が進みたいと思った方向に背景等の映像が流れるので、映像ギャップが運転者へ与える印象は軽微なものとなったと推測される。
しかしながら、車両が旋回しながら後退する場合は画像の入力から出力までの遅延時間などの影響等により、図４２に示す如く、車両の進行方向と歪み補正画像の中心とがずれて表示される。
この図４２の場合、図４２に開示される車両によってＢ地点で撮影された像がＢ’地点で表示されると、進行方向とモニタしている映像中心が描く軌道に関するズレが大きくなる。
この場合、画面に映し出される背景、あるいは背景映像の流れ方に関する変化も大きくなるため、同じ遅延時間であっても運転者は思った方向に進んでいないような違和感を覚える恐れがある。
駐車の場合はハンドルを切り旋回状態でバックすることが多いため、遅延ギャップを補完するよう旋回方向を中心に視点変換した歪み補正画像を運転者に提供することが望ましいと考えられる。
また、人の歩行に関する動作特性を考慮すると、人は曲がる方向について多くの場合、無意識下で首を捻り、移動する少し先を目視する動作を行う。
よって、本手法により運転者へ車両進行方向について少し先の画像を提示することで心理的にも運転者に安心感を与える効果を得ることができると考えられる。
今回は、カメラに駆動装置等の余計な補機を追加する手段ではなく、画像処理により提示画像の変換を行い、進行方向を先読みした予測案内画像を作成し、画面提示することで、運転者へ与える違和感を軽減する手段を提案する。
【０００５】
この発明は、車両が旋回しながら後退する場合に、車両進行方向と表示画像の中心とを一致させ、運転者の違和感をなくすとともに、旋回方向の画像を表示して運転者に安心感を与えることを目的としている。
【課題を解決するための手段】
【０００６】
そこで、この発明は、上述不都合を除去するために、車両後方を撮像する後方撮像手段と、前記車両が後退するか否かを判定する後退判定手段と、画像を表示する表示手段と、前記後退判定手段により前記車両が後退すると判定された時に、前記後方撮像手段により撮像された後方画像から歪み補正して前記表示手段により表示する画像を作成する画像作成手段とを備える運転支援装置において、前記車両の旋回角度を検出する旋回角度検出手段と、この旋回角度検出手段により検出された旋回角度に基づいて、撮像してから表示するまでの遅延時間経過後の前記車両の位置を推定する車両位置推定手段と、この車両位置推定手段により推定された位置に仮想カメラを設定する仮想カメラ設定手段とを備え、前記画像作成手段は、前記仮想カメラ設定手段により設定された仮想カメラが視点となるように前記後方撮像手段により撮像された画像を変換することを特徴とする。
また、車両後方を撮像する後方撮像手段と、前記車両が後退するか否かを判定する後退判定手段と、画像を表示する表示手段と、前記後退判定手段により前記車両が後退すると判定された時に、前記後方撮像手段により撮像された後方画像から歪み補正して前記表示手段により表示する画像を作成する画像作成手段とを備える運転支援装置において、前記車両の旋回角度を検出する旋回角度検出手段と、車速を検出する車速検出手段と、前記車両の旋回角度と車速に応じた仮想カメラを視点とする画像の画素位置と真カメラを視点とする画像の画素位置との対応関係を示すデータベースとを備え、前記画像作成手段は、前記旋回角度検出手段により検出された旋回角度と前記車速検出手段により検出された車速とに応じて、前記データベースを参照して仮想カメラが視点となるように前記後方撮像手段により撮像された画像を変換することを特徴とする。
【発明の効果】
【０００７】
以上詳細に説明した如くこの発明によれば、車両後方を撮像する後方撮像手段と、車両が後退するか否かを判定する後退判定手段と、画像を表示する表示手段と、後退判定手段により車両が後退すると判定された時に、後方撮像手段により撮像された後方画像から歪み補正して表示手段により表示する画像を作成する画像作成手段とを備える運転支援装置において、車両の旋回角度を検出する旋回角度検出手段と、旋回角度検出手段により検出された旋回角度に基づいて、撮像してから表示するまでの遅延時間経過後の前記車両の位置を推定する車両位置推定手段と、車両位置推定手段により推定された位置に仮想カメラを設定する仮想カメラ設定手段とを備え、画像作成手段は、仮想カメラ設定手段により設定された仮想カメラが視点となるように後方撮像手段により撮像された画像を変換する。
従って、画像を撮影してから表示するまでに遅延時間が生じても、車両が旋回しながら後退する場合に、車両進行方向と表示画像の中心とを一致させるため、運転者の違和感をなくすことができる。また、旋回方向の画像を表示することにより、運転者に安心感を与えることができる。
また、車両後方を撮像する後方撮像手段と、前記車両が後退するか否かを判定する後退判定手段と、画像を表示する表示手段と、前記後退判定手段により前記車両が後退すると判定された時に、前記後方撮像手段により撮像された後方画像から歪み補正して前記表示手段により表示する画像を作成する画像作成手段とを備える運転支援装置において、前記車両の旋回角度を検出する旋回角度検出手段と、車速を検出する車速検出手段と、前記車両の旋回角度と車速に応じた仮想カメラを視点とする画像の画素位置と真カメラを視点とする画像の画素位置との対応関係を示すデータベースとを備え、前記画像作成手段は、前記旋回角度検出手段により検出された旋回角度と前記車速検出手段により検出された車速とに応じて、前記データベースを参照して仮想カメラが視点となるように前記後方撮像手段により撮像された画像を変換する。
これにより、画素位置の対応関係を毎回計算する必要がない。従って、演算能力の低いＣＰＵでも表示画像を作成することができる。
【図面の簡単な説明】
【０００８】
【図１】図１はこの発明の運転支援装置の概略ブロック図である。（実施例１）
【図２】図２は仮想投影スクリーンを示す概略斜視図である。（実施例１）
【図３】図３は仮想カメラ上の画素と真カメラ上の画素との対応を示し、（ａ）は仮想カメラ上の画素位置［Ｕａ，Ｖａ］を示す図、（ｂ）は真カメラ上の画素位置［Ｕｄ，Ｖｄ］を示す図である。（実施例１）
【図４】図４は真カメラ位置で画像を取得する際の車両の平面図である。（実施例１）
【図５】図５は真カメラ位置で取得した画像（ただし歪み補正処理済み）を示す図である。（実施例１）
【図６】図６は図５の画像データを元に予測案内画像を作成する際の車両の平面図である。（実施例１）
【図７】図７は図５の画像データを元に作成した予測案内画像を示す図である。（実施例１）
【図８】図８は仮想投影スクリーン上のガイドライン描画データを示す図である。（実施例１）
【図９】図９は＜手段Ａ＞により描画した座標変換前の予測軌道ガイドラインを示す図である。（実施例１）
【図１０】図１０は＜手段Ａ＞により描画した予測軌道ガイドラインを示す車両の平面図である。（実施例１）
【図１１】図１１は＜手段Ａ＞により描画した座標変換後の予測軌道ガイドラインを示す図である。（実施例１）
【図１２】図１２は正しい車両の軌道から逸れた位置にガイドラインを描画した状態を示す図である。（実施例１）
【図１３】図１３は＜手段Ｂ＞により予測案内画像に直接ガイドライン描画を行った状態を示す図である。（実施例１）
【図１４】図１４は焦点が一致する仮想カメラに関する予測軌道ガイドライン描画における仮想投影スクリーンを示す図である。（実施例１）
【図１５】図１５は通常のガイドラインを描画した状態を示す図である。（実施例１）
【図１６】図１６はワールド座標で示す描画データ［Ｘs，Ｙs，Ｚs］をそのまま用いて予測案内画像上に予測軌道ガイドライン描画データを描画した状態を示す図である。（実施例１）
【図１７】図１７は上空から見下ろした場合の仮想カメラに関する予測軌道ガイドライン描画における仮想投影スクリーンを示す図である。（実施例１）
【図１８】図１８は視線ベクトルが地面と交差できない画面上部の領域が欠落した画像が作成された状態を示す図である。（実施例１）
【図１９】図１９は運転支援装置の作業工程を示す図である。（実施例１）
【図２０】図２０は原画を示す図である。（実施例１）
【図２１】図２１は歪み補正画像を示す図である。（実施例１）
【図２２】図２２は平面仮想投影スクリーンでの予測案内画像を示す図である。（実施例１）
【図２３】図２３は平面仮想投影スクリーンでの予測案内画像を示す車両の平面図である。（実施例１）
【図２４】図２４はこの発明の第２実施例の＜球面（あるいはペントルーフ）状で表現した仮想投影スクリーン＞を示す図である。（実施例２）
【図２５】図２５は画像で示せる視野の有効範囲を示す図である。（実施例２）
【図２６】図２６は球面仮想投影スクリーンでの予測案内画像を示す図である。（実施例２）
【図２７】図２７は球面仮想投影スクリーンでの予測案内画像を示す車両の平面図である。（実施例２）
【図２８】図２８はこの発明の第３実施例の＜円錐（あるいは変形円錐台）状で表現した仮想投影スクリーン＞を示す図である。（実施例３）
【図２９】図２９は円錐仮想投影スクリーンでの予測案内画像を示す図である。（実施例３）
【図３０】図３０は円錐仮想投影スクリーンでの予測案内画像を示す車両の平面図である。（実施例３）
【図３１】図３１はこの発明の第４実施例の＜円柱（あるいは変形円柱）状で表現した仮想投影スクリーン＞を示す図である。（実施例４）
【図３２】図３２は仮想カメラの視線ベクトルと円柱状仮想投影スクリーンとの交点を求める操作の説明図である。（実施例４）
【図３３】図３３は地面に垂直方向に伸びる円柱で定義した状態を示す図である。（実施例４）
【図３４】図３４は円柱仮想投影スクリーンでの予測案内画像を示す図である。（実施例４）
【図３５】図３５は円柱仮想投影スクリーンでの予測案内画像を示す車両の平面図である。（実施例４）
【図３６】図３６はこの発明の第５実施例の運転支援装置の概略ブロック図である。（実施例５）
【図３７】図３７は車両の旋回角度が２度刻みの時のデータテーブルを示す図である。（実施例５）
【図３８】図３８はこの発明の第１の従来技術の特許文献１である特開２００８−１４８１１４号公報に基づくＡ点からＤ点までの移動を示す車両の平面図である。
【図３９】図３９は通常画面と特開画面との対比画面を示し、（ａ）は通常画面Ａを示す平面図、（ｂ）は通常画面Ｂを示す平面図、（ｃ）は通常画面Ｄを示す平面図、（ｄ）は特開画面Ａを示す平面図、（ｅ）は特開画面Ｂを示す平面図、（ｆ）は特開画面Ｄを示す平面図である。
【図４０】図４０は従来の運転支援装置の概略ブロック図である。
【図４１】図４１はこの発明の第２の従来技術を示す車両が直進で後退している場合の車両の平面図である。
【図４２】図４２はこの発明の第２の従来技術を示す車両が旋回しながら後退している場合の車両の平面図である。
【発明を実施するための形態】
【０００９】
以下図面に基づいてこの発明の実施例を詳細に説明する。
【実施例１】
【００１０】
図１〜図２３はこの発明の第１実施例を示すものである。
図１において、１は運転支援装置である。
【００１１】
この運転支援装置１は、図１に示す如く、車両後方を撮像するカメラからなる後方撮像手段２と、前記車両の後退していることを検出する後退検出手段３と、画像を表示するモニタからなる表示手段４と、制御・演算手段５と備えている。
また、この制御・演算手段５は、前記車両が後退するか否かを判定する後退判定手段６と、この後退判定手段６により前記車両が後退すると判定された時に、前記後方撮像手段２により撮像された後方画像から歪み補正して前記表示手段４により表示する画像を作成する画像作成手段７とを備えている。
【００１２】
そして、前記運転支援装置１は、前記車両の旋回角度を検出する旋回角度検出手段８と、この旋回角度検出手段８により検出された旋回角度に基づいて、撮像してから表示するまでの遅延時間経過後の前記車両の位置を推定する車両位置推定手段９と、この車両位置推定手段９により推定された位置に仮想カメラを設定する仮想カメラ設定手段１０とを備え、前記画像作成手段７は、前記仮想カメラ設定手段１０により設定された仮想カメラが視点となるように前記後方撮像手段２により撮像された画像を変換する構成を有している。
従って、画像を撮影してから表示するまでに遅延時間が生じても、車両が旋回しながら後退する場合に、車両進行方向と表示画像の中心とを一致させるため、運転者の違和感をなくすことができる。
また、旋回方向の画像を表示することにより、運転者に安心感を与えることができる。
【００１３】
また、前記運転支援装置１は、車速を検出する車速検出手段１１と、車両の加速度を検出する加速度検出手段１２とを備え、前記車両位置推定手段９は、前記車速検出手段１１及び前記加速度検出手段１２により撮像してから表示するまでの遅延時間経過後の車両の移動距離を算出し、車両の併進を伴った車両の位置を推定する。
従って、線形な軌道を移動する旋回以外に、併進を伴った非線形な軌道にも対応可能になる。
【００１４】
前記画像作成手段７は、前記後方撮像手段２により撮像された後方画像にガイドラインを重畳して描画した画像を前記仮想カメラ設定手段１０により設定された仮想カメラが視点となるように変換して、ガイドラインを重畳した視点変換画像を作成する。
従って、表示画像の正しい位置にガイドラインを表示することができる。
【００１５】
前記画像作成手段７は、仮想カメラが視点となるように変換された画像にガイドラインを直接描画して、ガイドラインを重畳した視点変換画像を作成する。
従って、表示画像の正しい位置にガイドラインを表示することができる。
【００１６】
前記画像作成手段７は、仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線を法線とし、この直線と地面との交点を中心とする平面を仮想投影スクリーンとして設定し、前記仮想カメラのイメージプレーン上の１点を通り、仮想カメラの焦点と仮想投影スクリーンとを第１の直線で結び、この第１の直線と仮想投影スクリーンとの交点を求め、この交点と真カメラの焦点とを第２の直線で結び、この第２の直線と真カメラのイメージプレーンとの交点の画素を第１の直線と仮想カメラのイメージプレーンとの交点の画素とする処理を、仮想カメラのイメージプレーン上の全画素に対して実行することにより、仮想カメラが視点となるように画像を変換する。
従って、仮想カメラが視点となるように画像を効率良く変換することができる。
【００１７】
まず、前記運転支援装置１に関する前準備について詳述する。
通常、駐車支援用途のバックカメラシステムは、より広い視野を運転者に提示すべく、広角レンズを用いたカメラから構成されることが多い。
広角カメラを使用した場合、レンズ収差の影響で画面の端に近づくに連れて画像の変形を発生する。
提案する予測案内画像では取得した画像中の旋回先付近を映すデータを元に表示する画像を作成するため、（旋回角度・移動量にもよるが）画面端に近い画像データを利用する頻度が高い。
よって、入力画像に対する歪み取り補正処理を前提としたモデルの使用がほぼ必須条件に近くなると考えられる。
歪み取り補正処理に基づくカメラの校正作業を行い、取得したキャリブレーションパラメータを元に処理を進める。
各パラメータは以下の通りである。
［Ｕd，Ｖd］：入力画像上の画素位置（歪みあり）
［Ｕm，Ｖm］：出力画像上の画素位置（歪み除去後）
［Ｘcd，Ｙcd］：イメージプレーン上のカメラ座標位置
［Ｘcm，Ｙcm］：イメージプレーン上のカメラ座標位置（歪みなし）
［Ｘwm，Ｙwm，Ｚwm］：実空間上のワールド座標位置
［ａnn，ｃx，ｃy］：内部パラメータ
［ｒnn，ｔn］：実空間上 ← → カメラ座標系変換パラメータ（位置tn・姿勢ｒnn情報）
［ｎn］：歪みパラメータ
［Ｐn］：対数歪みパラメータ
［Ｒcm］：イメージプレーン上、原点からの距離
［Ｒck］：イメージプレーン上、原点のしきい値
近似モデル式を対数近似と通常近似で切り替える。
【数１】
【数２】
【数３】
【数４】
【数５】
【数６】
【数７】
ピンホールカメラモデルに基づく画像処理では、レンズを原点としたカメラ座標系を基本座標系と捉え、ＣＣＤ撮像素子と平行にイメージプレーンと称呼される仮想投影面を設定し、イメージプレーン上へ投影された像について処理を行うのが一般的である。
上記の［数１］の式により実空間上の世界座標系［Ｘwm，Ｙwm，Ｚwm］位置に存在する物体（点）は、本来であればカメラ座標系に線形変換され、設定したイメージプレーン上の点［Ｘcm，Ｙcm，１］位置へ投影される。
しかしながら、広角カメラではレンズ収差の影響でカメラ座標系の座標［Ｘcm，Ｙcm，１］位置からずれた位置［Ｘcd，Ｙcd，１］位置へ投影されているため、原画像での表示座標［Ｕd，Ｖd］位置に映る画像は、画面の端に行くほど実際の被写体より歪んだ像として表示出力される。
よって、原画像上の表示座標［Ｕd，Ｖd］位置を対応するイメージプレーン上の［Ｘcd，Ｙcd，１］位置へ一度逆変換し、歪み補正近似式である［数５］〜［数６］の式に基づき、［Ｘcd，Ｙcd，１］位置から歪みの無い［Ｘcm，Ｙcm，１］位置に座標修正し、［数７］の式により画像上での表示座標系［Ｕm，Ｖm］位置に復元することで歪み取り補正を実現することができる（特開２００９−１３０５４６号公報等を参照）。
通常、カメラからの入力画像データをメモリに取り込みながら並行して歪み補正画像を作成する。
予測案内画像を作成する場合、さらに歪み補正画像を作成する手順を参考に、さらに装置の遅延の間に車両が移動する位置・姿勢を考慮して予測した画像の形状計算を行い、入力画像から必要な画素データを参照コピーして作成する。
なお、予測案内画像の作成に関連する計算は歪み補正画像に基づくものであるが、中間処理で歪み補正画像を作成するような無駄な作業を行わないために、実際に予測案内画像自体は、カメラからの入力画像データをダイレクトに処理して作られる。以上で前準備を終了する。
【００１８】
手順＜１＞ 車種別旋回角度の算出（あるいは計測）準備
予め予測案内画像を補正するためのキーパラメータとしてステアリングの操舵角と車両の旋回角度の関係をデータベース化しておく。この関係式は、計算により求めても、実測により求めても構わない。ただし、車種により特性は異なるので、使用する車両に合わせて用意する。
また、常時稼働状態であるＧＰＳ、磁石コンパス等の各種センサや計測装置・計算装置等を追加・併用して、必要なタイミングで車両の旋回角度を任意のタイミングで取得できる状態であれば、データベースを利用する必要はない。
【００１９】
手順＜２＞ 外部パラメータ姿勢成分の分解
［数２］の式に関する外部パラメータ行列内のｒnnは、実空間の世界座標系原点に対するバックアイカメラの姿勢を示すもので、以下の［数８］の式のように、世界座標系各軸周りの姿勢角度θφψにて定義される。
【数８】
ただし、姿勢角度θφψは、それぞれ実空間上のデカルト座標系の各Ｘ、Ｙ、Ｚ軸周りの回転角度にてカメラの取付姿勢を示したものである。
以後、外部パラメータについてカメラ位置姿勢を示す６変数を用いた記号ＲＴ（ｔx、ｔy、ｔz、θ、φ、ψ）で略記する。
【００２０】
手順＜３＞ 仮想カメラの設定
上述の手順＜１＞により推定した車両の進行により生じた旋回角を角度α、旋回半径を距離βとする。
αおよびβはワールド座標系を基準とする。
車両の旋回により発生する角度は、実空間上ではＹ軸周りの回転方向に発生する。
また、Ｘ、Ｚ方向についても移動による変位が発生する。
この移動先となる位置に仮想カメラを設定する。
また、［数８］の式の角度φにα、βを加えた仮想カメラについての外部パラメータＲＴ’は以下の［数９］の式の形となる。
【数９】
この定義した仮想カメラに関しても、真カメラと同様にピンホールカメラに基づくイメージプレーンを設定する。
なお、仮想カメラの位置・姿勢に関しては、上記の手順＜３＞内で扱ったα、βの２つの変数だけでなく、車速センサからなる前記車速検出手段１１、加速度センサからなる加速度検出手段１２等を併用して旋回角度以外の速度・加速度、移動量等を示すパラメータについて実値データを取得・応用することで、線形な軌道を移動する旋回以外に、併進を伴う非線形な軌道にも対応可能な高精度設定を行うことができる。
同様に、仮想視点カメラの設置地点は、旋回方向に限定するものではなく、図４１のＡ’位置のように、直進方向の軌道上にも設置することができる。
また、旋回速度をωとし、遅延時間（固定値）の代わりに、画像入力から表示タイミングまでの時間Δｔを使用することもできる。
更に、Ｘ方向の併進成分Ｖｘを加えると、［数９］の式を以下のように定義できる。
ＲＴ’＝ＲＴ（Ｔx＋ＶxΔｔ＋βsinωΔｔ，ｔy，ｔz＋βcosωΔｔ，θ，φ＋ωΔｔ，ψ）
【００２１】
手順＜４＞ 仮想投影スクリーンの設定
仮想カメラ原点から見てイメージプレーンよりも遠方に、よりサイズの大きい仮想投影スクリーンを設定する。
仮想投影スクリーンの設定については、移動に関わる車両と実空間の位置関係について相関や整合性が大きく損なわれないよう、適正な位置にスクリーン基準点を定義する必要がある。
今回は、［数１］の式での媒介変数ｓを調整し、あるいは［数１］の式により、全ての座標系を世界座標基準で計算することで、仮想カメラの画像中心を指す視線方向ベクトル（画像中心 ← → レンズ焦点）と地面とが交わる交点Ｑを求め、基準とする。
以後、この画像中心を視線方向に持つベクトルのことを「姿勢ベクトル」という。その他の画素（ただしイメージプレーン上）を参照するベクトルは「視線ベクトル」という。
よって、仮想投影スクリーンは、図２に示す如く、交点Ｑを通り、仮想カメラの姿勢ベクトルを法線に持つ平面として定義される。
【００２２】
手順＜５＞ 予測案内画像の作成
予測案内画像として提示する画像は、仮想カメラに設定したイメージプレーン上の画像について内部パラメータを使用し、［数７］の式に沿って表示変換することで作成される。
また、入力される原画像は、真カメラが撮影したものであるから、仮想投影スクリーンに設定する画素データは真カメラの画像から求める必要がある。
今、作成する予測案内画像上の平面座標［Ｕm，Ｖm］に画素データを設定する場合を考える。
予測案内画像上は表示画像であるから、［数７］の式により表示座標系［Ｕm，Ｖm］を、図２に示す如く、仮想カメラのカメラ座標系に関するイメージプレーン上のＫ点、
Ｋ ＝ ［Ｘm，Ｙm，１］
へ変換することができる。
更に、この手順＜５＞と同等の手法で、Ｋ点を指す仮想カメラの視線ベクトル（Ｋ点 ← → レンズ焦点）と仮想投影スクリーンとの交点を求め、図２に示す如く、ワールド座標系で交点Ｌを境座標で［Ｘwm，Ｙwm，Ｚwm］として定義する。
交点Ｌを真カメラで撮影した場合、交点Ｌは真カメラのイメージプレーン上では点Ｍ［Ｘcm，Ｙcm，１］、また映像では画像平面座標［Ｕm’，Ｖm’］に表示される。
すなわち、真カメラ映像の［Ｕm’，Ｖm’］と仮想カメラで表示する予測案内画像の［Ｕm，Ｖm］とは、図２に示す如く、仮想スクリーン上で共通の交点Ｌ［Ｘwm，Ｙwm，Ｚwm］を見ているものと解釈できるので、［Ｕm，Ｖm］に対し［Ｕm’，Ｖm’］の画素データ（輝度データ）をコピーする。
予測案内画像の全画素［Ｕm，Ｖm］について、
［Ｕm，Ｖm］m ： ０ ⇒ 全画像
の処理を繰り返すことで、ユーザーへ提示する予測案内画像を得ることができる。
【００２３】
ここで、数式での手順を解説する。
＜数式解説１＞
システム遅延後のカメラの位置を仮想カメラ位置と定義し、その車両旋回角をΔφ（＝α）、車両の移動量を［Δｘ，０，Δｚ］とする。
仮想カメラによる外部パラメータＲＴ’は、以下の［数１０］の式のように更新される。
【数１０】
ＲＴ’は仮想カメラの位置において新しいカメラ座標系を構成するものである。
また、［Δｘ，０，Δｚ］の移動量に合わせ、仮想カメラ位置を［Ｘwc，Ｙwc，Ｚwc］で示す。
この［Ｘwc，Ｙwc，Ｚwc］は、仮想カメラ座標系原点をワールド座標系で示すものである。
＜数式解説２＞
仮想投影スクリーンの基準位置を点Ｑを、
Ｑ［Ｘwm，Ｙwm，Ｚwm］ ＝ ［ＸwQ，０，ＺwQ］
と定義し、スクリーンの法線ベクトル［Ｘwm，Ｙwm，Ｚwm］を、
［Ｘwm，Ｙwm，Ｚwm］ ＝ ［ｉ，ｊ，ｋ］
と定義する。
＜数式解説３＞
予測案内画像の任意の画素位置［Ｕ，Ｖ］を、
［Ｕ，Ｖ］ ＝ ［Ｕa，Ｖa］
に設定する画素を求める。
まず、［数２］の式に従って、［Ｕa，Ｖa］を内部パラメータの逆変換により仮想カメライメージプレーン上へ変換する。
このとき、変換点［Ｘc，Ｙc，Ｚc］を、
［Ｘc，Ｙc，Ｚc］ ＝ ［Ｘca，Ｙca，１］
とする。
＜数式解説４＞
［数１］の式に従って、［Ｘca，Ｙca，１］をＲＴ’によりワールド座標系に変換する。
このとき、変換点［Ｘwm，Ｙwm，Ｚwm］を、
［Ｘwm，Ｙwm，Ｚwm］ ＝ ［Ｘwa，Ｙwa，Ｚwa］
とする。
＜数式解説５＞
ワールド座標系で仮想カメラ原点［Ｘwc，Ｙwc，Ｚwc］と［Ｘwa，Ｙwa，Ｚwa］とを結ぶ直線ｌを計算し、仮想投影スクリーンと直線ｌとの交点Ｋを求める。
このとき、交点Ｋを［Ｘwk，Ｙwk，Ｚwk］と定義する。
＜数式解説６＞
［数１］〜［数７］の式に従って、元の外部パラメータＲＴにより交点Ｋ［Ｘwk，Ｙwk，Ｚwk］が元の真カメラ座標系で表示される画素位置［Ｕ，Ｖ］を、
［Ｕ，Ｖ］ ＝ ［Ｕd，Ｖd］
から求める。
＜数式解説７＞
求めた画素位置
［Ｕ，Ｖ］ ＝ ［Ｕd，Ｖd］
に対応した真カメラの入力画像（生データ・歪み有り）の位置の輝度を［Ｕa，Ｖa］に設定する。
入力画像の範囲外を参照する位置については、枠外を示す指定輝度値、例えば０値（黒）に設定する。
＜数式解説８＞
そして、図３（ａ）及び（ｂ）に示す如く、上述した＜数式解説１＞〜＜数式解説７＞までの作業を全画像位置で実施し、予測案内画像を作成する（図４〜図７参照。）。
【００２４】
次に、予測案内画像に対する予測軌道ガイドラインの描画方法について説明する。
予測案内画像の作成について仮想投影スクリーンを仮想カメラの姿勢ベクトルを法線に持つ平面（「イメージプレーンに平行な平面」とも換言できる。）として設定した。
通常のバックアイカメラ装置で利用される予測軌道ガイドラインに関しては、画像の線形性が確保されている真カメラ座標系に基づくので、例えば自車の真後ろ方向に
［Ｘwm，Ｙwm，Ｚwm］ ＝ ［Ｘs，Ｙs，Ｚs］
という世界座標系で示す任意の座標位置について、カメラの位置姿勢を示す外部パラメータＲＴ（ｔx、ｔy、ｔz、θ、φ、ψ）と［数１］〜［数７］の式とを利用することで、［Ｘs，Ｙs，Ｚs］に対応する［Ｕm，Ｖm］（歪み補正画像）あるいは［Ｕd，Ｖd］（歪み有り生画像）位置に点を描画できる。
よって、車両の進行方向に対する軌道に沿った［Ｘs，Ｙs，Ｚs］の集まりである描画データＳ群を教示することで、予測軌道ガイドラインを描画できる。
遅延後の車両の位置に関して推定可能である場合は、任意の表示タイミングにおける車両位置・姿勢についての描画データ［Ｘs，Ｙs，Ｚs］を予測位置に変換して教示することができるので、全方位に予測軌道ガイドラインを描画できる。
しかしながら、この発明の実施例で示すように仮想カメラと真カメラとの焦点位置が一致しないケースで仮想投影スクリーンを設定する場合、仮想視点カメラが見る予測軌道ガイドラインそのまま世界座標系で設定した描画データ［Ｘs，Ｙs，Ｚs］を教示してしまうと、図１２に示す如く、そのままでは正しい車両の軌道から逸れた位置にガイドラインを描画してしまう課題が発生する。
図８に示す如く、描画するガイドライン描画データ［Ｘs，Ｙs，Ｚs］を参照する真カメラの視線ベクトルと仮想カメラの視線ベクトルとが仮想スクリーン上では同一位置で交差できないことが要因である。
本来、画像は真カメラ座標系と実際の空間上の被写体との投影関係で成立しているため、仮想カメラを基準とした透視変換では世界座標系との線形性を保持できないことを意味する。
つまり、予測軌道ガイドラインを予測案内画像に描画するためには、実空間上の世界座標描画データ［Ｘs，Ｙs，Ｚs］を使用するのではなく、仮想投影スクリーンと真カメラ視線ベクトルとの交点Ｎ位置を示す世界座標［ＸN，ＹN，ＺN］系に変換して教示しなければならない。
【００２５】
ここで、予測軌道ガイドラインを予測案内画像に描画するために必要な以下の手段を提案する。
下記のいずれかの手法を使用すれば、予測案内画像に予測軌道ガイドラインを描画する際の課題を克服し、運転者へ移動先の車両の軌道予測を正しく示すことで、運転支援性能を向上できる。
＜前準備＞
遅延を考慮した移動先の車両予測位置から予測軌道ガイドラインの描画座標データ［Ｘwm，Ｙwm，Ｚwm］を
［Ｘwm，Ｙwm，Ｚwm］ ＝ ［Ｘs，Ｙs，Ｚs］
と予め設定しておく。
【００２６】
＜手段Ａ＞：教示する予測軌道ガイドライン描画座標データ［Ｘs，Ｙs，Ｚs］を元ワールド座標のままとする場合
（１）予測案内画像を作成作業の開始前に、図９に示す如く、歪みを含んだ生画像データに対して、［数１］〜［数７］の式を適用して歪ませた形の実空間モデルに基づく［Ｕd，Ｖd］に予測した予測軌道ガイドラインを当てはめておく（あるいは、真カメラ位置での歪み補正空間モデルをベースとして［Ｕm’，Ｖm’］位置に予測軌道ガイドラインを当てはめておく）。
（２）上記の手順＜５＞による点Ｍ ⇒ Ｌ ⇒ Ｋへの輝度データ転送作業時は、予測軌道ガイドライン上に発生する位置の画素［Ｕd，Ｖd］を参照する場合であれば、画像の輝度データの代わりに、歪ませた形の予測軌道ガイドラインの色データを転送することができる。
（３）この結果、図１０及び図１１に示す如く、描画したガイドライン画素は予測案内画像の作業時に他の背景画素と同じように変換されるので、目的とする移動後の予測軌道ガイドラインを描画することができる。
なお、図９及び図１１において、グレー線部がこの＜手段Ａ＞により描画した予測軌道ガイドラインである。
【００２７】
＜手段Ｂ＞：教示する予測軌道ガイドライン描画座標データ［Ｘs，Ｙs，Ｚs］を世界座標［ＸN，ＹN，ＺN］とする場合
（１）文字通り予測軌道ガイドラインの描画座標データ［Ｘs，Ｙs，Ｚs］を仮想投影スクリーンと真カメラ座標系の視線ベクトルとの交点から［ＸN，ＹN，ＺN］で示される交点Ｎ群に関するワールド座標に変換して教示する。
（２）この結果、図１３に示す如く、予測案内画像に直接ガイドライン描画を行うことができる。
なお、図１２及び図１３において、白線部が交点Ｎ群に変換した描画データによる予測軌道ガイドラインである。
【００２８】
ここで、焦点が一致する仮想カメラに関する予測軌道ガイドライン描画について記述する。
図１４に開示する。
車両のＸＺ方向の速度および伴う移動を考慮せずに、真カメラと焦点とが一致する仮想カメラについて姿勢方向のみを変更する（首振りのみを行う）場合については、描画する予測軌道ガイドライン描画データ［Ｘs，Ｙs，Ｚs］と参照する真カメラの視線ベクトルと仮想カメラの視線ベクトル交点［ＸN，ＹN，ＺN］が、仮想スクリーン上で一致する（［Ｘs，Ｙs，Ｚs］ ＝ ［ＸN，ＹN，ＺN］）。
よって、図１５及び図１６に示す如く、ワールド座標で示す描画データ［Ｘs，Ｙs，Ｚs］をそのまま用いて予測案内画像上に予測軌道ガイドライン描画データを描画することができる。
ただし、車両自身のＸＺ方向の移動を考慮しない分、提示する予測案内画像と遅延後の本来の画像自体と併進移動分のギャップが大きくなるため画像本体の相違により運転者の受ける違和感は大きくなる。
よって、姿勢方向のみを変更する場合での予測軌道ガイドラインはギャップが課題とならない範囲の低速走行時にのみ使用可能という制限が加わる。
次に、上空から見下ろした場合の仮想カメラに関する予測軌道ガイドライン描画について記述する。
仮想視点を使用した画像変換法について他の特許等では、仮想カメラを上空の任意位置に設定し、設定位置から真下を見下ろす俯瞰画像を作成し、各目的の処理を行うものがしばしば見受けられる。
その際、図１７に示す如く、地面上に仮想投影スクリーンを設定するケースが一般的である。
地面上に仮想スクリーンを設定する場合、手順＜５＞で示した交点Ｌが「Ｙ＝０」である路面上にのみ分布される。
よって、各描画データ［Ｘs，Ｙs，Ｚs］と［ＸN，ＹN，ＺN］とは、同様に一致する（［Ｘs，Ｙs，Ｚs］ ＝ ［ＸN，ＹN，ＺN］）。
よって、路面を映す全ての状態にある仮想カメラに対して描画データ［Ｘs，Ｙs，Ｚs］に対して、そのままガイドラインの描画データ教示を行えば、図９に示す如く、通常のバックアイカメラと同様に適正な位置に予測軌道ガイドラインを描画することができる。
反面、表示する画像に関して仮想スクリーンが地面上に設定されるため、画面が端に行くほど倒れ込みによる変形の発生を招く。
あるいは、カメラから地面と平行以上となる仰角の位置では全ての情景に関して、カメラの視線ベクトルと仮想投影スクリーンの交点Ｌとの交点を持つことができない。
例えば、図１８に示す如く、図９等と比較し視線ベクトルが地面と交差できない画面上部の領域が欠落した画像が作成される。
よって、提案した予測案内画像のような全景を提示する装置への使用は不適であると言える。
【００２９】
次に、図１９に示すフローチャートに基づいて、運転支援装置の作業工程を説明する。
【００３０】
前記運転支援装置１は、図１９に示す如く、操舵角、つまり前記旋回角度検出手段８による車両の旋回角度や前記車速検出手段１１による車速等の旋回後退時の車両予測位置・姿勢を前記車両位置推定手段９によって推定するためのデータベースの作成、あるいは計器の導入を行う処理Ｓ０１を有する。
そして、この処理Ｓ０１の後には、始動後の真カメラより生画像データ取得するために、カメラからなる前記後方撮像手段２の撮像した車両後方の撮像データ取得を行う処理Ｓ０２を有する。
また、この処理Ｓ０２の後には、操舵角、つまり前記旋回角度検出手段８による車両の旋回角度や前記車速検出手段１１による車速等から旋回後退時の車両予測位置・姿勢の把握を行う処理Ｓ０３を有する。
なお、この処理Ｓ０３に関しては、＜手段Ａ＞による「予測軌道ガイドラインの描画 Ａ」の［Ｘs，Ｙs，Ｚs］点群の描画の処理Ｔ０１からのデータ取得も行う。
更に、上述の処理Ｓ０３の後には、前記車両位置推定手段９によって遅延後の車両予測位置・姿勢の推定を行う処理Ｓ０４を有する。
更にまた、この処理Ｓ０４の後には、前記仮想カメラ設定手段１０によって仮想カメラ・仮想スクリーンの設定を行う処理Ｓ０５を有する。
また、この処理Ｓ０５の後には、前記画像作成手段７によって予測案内画像の作成を行う処理Ｓ０６を有する。
更に、この処理Ｓ０６の後には、前記表示手段４に予測案内画像の提示を行う処理Ｓ０７を有する。
なお、この処理Ｓ０７に関しては、＜手段Ｂ＞による「予測軌道ガイドラインの描画 Ｂ」の［ＸN，ＹN，ＺN］点群の描画の処理Ｔ０２からのデータ取得も行う。
【００３１】
参考までに説明すると、図２０は原画を示す図であり、図２１は歪み補正画像を示す図であり、図２２は平面仮想投影スクリーンでの予測案内画像を示す図であり、図２３は平面仮想投影スクリーンでの予測案内画像を示す車両の平面図である。
【実施例２】
【００３２】
図２４〜図２７はこの発明の第２実施例を示すものである。
この第２実施例において、上述第１実施例のものと同一機能を果たす箇所には、同一符号を付して説明する。
【００３３】
上述した第１実施例において取り上げてきた仮想投影スクリーンは、手順＜４＞の図２で示す仮想カメラの姿勢ベクトルを法線ベクトルに持つ地面座標Ｑを含む平面で設定した。
この第１実施例に対して、第２実施例の特徴とするところは、前記仮想投影スクリーンを球面とした点にある。
つまり、仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線と地面との交点を球面状の仮想投影スクリーンの中心とし、有効な画像を表示可能な範囲の左右端に相当する仮想カメラのイメージプレーン上の座標を算出し、この座標に相当する球面状の仮想投影スクリーン上の座標を算出し、この座標と球面状の仮想投影スクリーンの中心との距離を算出し、この距離を球面状の仮想投影スクリーンの半径とする。
従って、仮想投影スクリーンを球面とした場合に、有効な画像を表示可能な範囲を広くすることができるものである。
【００３４】
ところで、第１実施例の上述内容でも少し触れたが、仮想投影スクリーンを平面で扱う場合、近傍の障害物に対して歪みによる形状変形、あるいは画像に対する遠近表示ギャップ等に関して、違和感を招く恐れが生じる。
特に、自車の移動量が大きい（「速く移動する」と換言できる。）場合、影響が顕著に表れる。
仮想投影スクリーンに３次元的な含みを持たせる意味で曲面として扱うことで、このような倒れ込みに関する影響を緩和できる場合があるので、仮想投影スクリーンの曲面化手法ついて説明する。
まず、仮想投影スクリーンの配置基準位置についても仮想カメラの姿勢ベクトルと地面との交点Ｑを採用する。
原理的に、仮想カメラの視線ベクトルと真カメラの視線ベクトルとが交わる位置であれば、仮想投影スクリーンはどこに設定しても仮想カメラからの視野を復元した映像を作成することができる。
しかしながら、仮想スクリーンが、例えば無限遠点に存在しているように設定した場合、車両が実際にいくら移動しても背景となる仮想スクリーンに近づくことはほとんどなく、ほとんど画像に変化が生じない（月を追いかけるようなもの）。
よって、なるべく実空間とカメラ画像とが確からしく一致する位置を基準に仮想スクリーンを設定する手法が好ましいことがわかる。
通常、バックアイカメラのような駐車支援システムでは、カメラの取付姿勢を下方に向け、駐車区画枠を示す路面区画線に対し良好にモニタリングできるような仕様で設定されている。
よって、後方視野映像の中で最も仮想スクリーンの基準にふさわしいのは、カメラの姿勢ベクトルと地面との交点Ｑ、あるいはその近傍であることが予測できる。
【００３５】
よって、以下に、図２４に示す如く、前記仮想投影スクリーンを球面として説明する。
＜球面（あるいはペントルーフ）状で表現した仮想投影スクリーン＞
図２４において、球体の中心位置は先の定義通り地面上の交点Ｑと定めたので、次に球体の両径位置Ｑa、Ｑbについて定義し、仮想投影スクリーン上の交点Ｌを求める。
＜操作１＞
図２５に示す如く、画像で示せる視野には有効範囲がある。
有効範囲を求めるために、真カメラでの姿勢ベクトルと地面との交点Ｑについて検討する。
この場合、例えば歪み補正画像では、画像中心を示した図２４中の矢印の中央位置に対応する。
＜操作２＞
交点Ｑより左右方向に有効視野の限界位置Ｑa、Ｑbに掛かる［Ｕm，Ｖm］位置を求める。
＜操作３＞
［数７］及び［数１］の式よりＱa、Ｑbのワールド座標位置を求め、交点Ｑからの距離を計算して仮想球面スクリーンの半径ＲQを導く。
計算誤差により半径がずれる場合は平均値を使用する。
仮想球面スクリーンの一般式は、以下の［数１１］の式で示される。
【数１１】
この［数１１］の式と仮想カメラの視線ベクトルとの交点から仮想球面スクリーン上の交点Ｌを求め、予測案内画像を作成する。
【００３６】
このとき、スクリーンが球体なので、交点は２点求まるが、以下の規則で交点Ｌを採用する。
仮想カメラより視線ベクトル方向に交点が１つある場合は、その交点を使用する（逆方向の交点は無効とする。）。
なお、仮想カメラより視線ベクトル方向に交点が２つある場合は、スクリーンの凹側、すなわち遠い方の交点を採用する。
また、視線ベクトルが先に交点Ｌより地面と交差する場合は、地面との交点を優先して求めても構わない。この場合、仮想投影スクリーンはペントルーフ形状となる。
【００３７】
さすれば、前記仮想投影スクリーンを球面とすることにより、車両近傍の立体障害物等の表示に対する倒れ込み等の変形量を緩和して、運転者の違和感を軽減することができる。
【００３８】
参考までに説明すると、図２６は球面仮想投影スクリーンでの予測案内画像を示す図であり、図２７は球面仮想投影スクリーンでの予測案内画像を示す車両の平面図である。
【実施例３】
【００３９】
図２８〜図３０はこの発明の第３実施例を示すものである。
【００４０】
この第３実施例の特徴とするところは、仮想投影スクリーンを円錐とした点にある。
つまり、円錐の底面中心を仮想カメラの焦点とし、仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線上で、この直線と地面との交点を中心として仮想カメラの焦点と点対象になる位置を円錐頂点の座標とし、有効な画像を表示可能な範囲の左右端に相当する仮想カメラのイメージプレーン上の座標を算出し、この座標に相当する円錐状の仮想投影スクリーン上の座標を算出し、仮想カメラの焦点の座標と円錐頂点の座標と前記仮想投影スクリーン上の座標とに基づいて円錐状の仮想投影スクリーンの内角を設定する。
従って、仮想投影スクリーンを円錐とした場合に、有効な画像を表示可能な範囲を広くすることができるものである。
【００４１】
＜円錐（あるいは変形円錐台）状で表現した仮想投影スクリーン＞
＜操作１＞
円錐の底面中心を仮想カメラ位置と定める。
仮想球面スクリーンと同様に、図２８に示す如く、位置ＱおよびＱa、Ｑbを求める。
＜操作２＞
図２８に示す如く、姿勢ベクトルの２倍長さ位置に円錐頂点Ｇを設定する。
＜操作３＞
円錐の内角εを求める。
仮想カメラの位置を
Ｗwc ＝ ［Ｘwc，Ｙwc，Ｚwc］
とすると、円錐の内角εは、余弦定理により以下の［数１２］の式で求められる。
【数１２】
よって、円錐の一般式は、以下の［数１３］の式となる。
【数１３】
このとき、Ｌ点位置を、
［Ｘwm，Ｙwm，Ｚwm］ ＝ ［ＸL，ＹL，ＺL］
と定義する。
この場合、［数１３］の式中の「Ｖｅｃ G→Qa」を「Ｖｅｃ G→L」で置き換えても、同一三角錐上では内角εは不変である。
更に、姿勢ベクトルの２倍という設定から、「Ｖｅｃ G→Wwc」も解決可能である。
よって、［数１３］の式について、
「Ｖｅｃ G→Qa」 ＝ 「Ｖｅｃ G→L」
で置換し、仮想カメラの視線ベクトルとの交点から仮想球面スクリーン上のＬ点［ＸL，ＹL，ＺL］を求め、予測案内画像を作成する。
【００４２】
このとき、交点は２点求まるが、以下の規則で交点Ｌを採用する。
仮想カメラより視線ベクトル方向に交点が１つある場合は、その交点を使用する（逆方向の交点は無効とする。）。
なお、仮想カメラより視線ベクトル方向に交点が２つある場合は、スクリーンの凹側、すなわち遠い方の交点を採用する。
また、視線ベクトルが先に交点Ｌより地面と交差する場合は、地面との交点を優先して求めても構わない。この場合、仮想投影スクリーンは変則の円錐台状となる。
更に、使用条件に応じて円錐頂点Ｇの位置を姿勢ベクトル方向任意倍長さ位置に調整しても構わない。
【００４３】
さすれば、前記仮想投影スクリーンを円錐としたことにより、車両近傍の立体障害物等の表示に対する倒れ込み等の変形量を緩和して、運転者の違和感を軽減することができる。
【００４４】
参考までに説明すると、図２９は円錐仮想投影スクリーンでの予測案内画像を示す図であり、図３０は円錐仮想投影スクリーンでの予測案内画像を示す車両の平面図である。
【実施例４】
【００４５】
図３１〜図３５はこの発明の第４実施例を示すものである。
【００４６】
この第４実施例の特徴とするところは、仮想投影スクリーンを円柱とした点にある。
つまり、仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線と地面との交点を円柱状の仮想投影スクリーンの中心軸上の点とし、有効な画像を表示可能な範囲の左右端に相当する仮想カメラのイメージプレーン上の座標を算出し、この座標に相当する円柱状の仮想投影スクリーン上の座標を算出し、この座標と円柱状の仮想投影スクリーンの中心軸との距離を算出し、この距離を円柱状の仮想投影スクリーンの半径とする。
従って、仮想投影スクリーンを円柱とした場合に、有効な画像を表示可能な範囲を広くすることができるものである。
【００４７】
＜円柱（あるいは変形円柱）状で表現した仮想投影スクリーン＞
＜操作１＞
仮想球面スクリーンと同様に、図３１に示す如く、位置ＱおよびＱa、Ｑbを求める。
＜操作２＞
次の手順で姿勢ベクトルに垂直なベクトルを設定する。
（１）仮想カメラ座標系［Ｘc，Ｙc，Ｚc］にＹc方向に伸びるベクトル［０，１，０］を設定する。
（２）［数１］の式およびＲＴ’行列を利用して［０，１，０］をワールド座標系［ｉ’，ｊ’，ｋ’］へ変換する。
＜操作３＞
点Ｑを通り、半径ＲQで［ｉ’，ｊ’，ｋ’］方向に伸びる円柱を作成し、円柱投影スクリーンを作成する。
＜操作４＞
次の手順で仮想カメラの視線ベクトルとの交点から仮想球面スクリーン上の交点Ｌを求める。
（１）Ｌ点位置を、
［Ｘwm，Ｙwm，Ｚwm］ ＝ ［ＸL，ＹL，ＺL］
と定義する。
更に、図３２に示す如く、Ｌ点から円柱方向を示す直線上に距離ＲQの垂線を下ろし、その交点ｐを、
ｐ ＝ ［Ｘp，Ｙp，Ｚp］
と定義する。
（２）ベクトルで考察すると、以下の［数１４］の連立方程式が成立する。
【数１４】
（３）［数１４］の式について、連立方程式を計算し、交点［ＸL，ＹL，ＺL］を求める。
このとき、交点は２点求まるが、以下の規則で交点Ｌを採用する。
仮想カメラより視線ベクトル方向に交点が１つある場合は、その交点を使用する（逆方向の交点は無効とする。）。
なお、仮想カメラより視線ベクトル方向に交点が２つある場合は、スクリーンの凹側、すなわち遠い方の交点を採用する。
また、視線ベクトルが交点Ｌより先に地面と交差する場合は、地面との交点を優先して求めても構わない。この場合、仮想投影スクリーンは変則の円柱状となる。
更に、円柱の場合には、図３３に示す如く、地面に垂直に延びる円柱で定義しても構わない。
【００４８】
さすれば、前記仮想投影スクリーンを円柱としたことにより、車両近傍の立体障害物等の表示に対する倒れ込み等の変形量を緩和して、運転者の違和感を軽減することができる。
【００４９】
参考までに説明すると、図３４は円柱仮想投影スクリーンでの予測案内画像を示す図であり、図３５は円柱仮想投影スクリーンでの予測案内画像を示す車両の平面図である。
【実施例５】
【００５０】
図３６及び図３７はこの発明の第５実施例を示すものである。
【００５１】
上述した第１実施例のものは、車両の旋回移動の度に、車両の旋回角度と車速に応じて、表示画像の各画素位置に対応する入力画像の各画素位置を計算するものである。
したがって、高ＣＰＵ、低メモリ型といえる。
この第５実施例の特徴とするところは、高メモリ、低ＣＰＵ型を実現する構成とした点にある。
つまり、車両後方を撮像する後方撮像手段２と、前記車両が後退するか否かを判定する後退判定手段６と、画像を表示する表示手段４と、前記後退判定手段６により前記車両が後退すると判定された時に、前記後方撮像手段２により撮像された後方画像から歪み補正して前記表示手段４により表示する画像を作成する画像作成手段７とを備える運転支援装置１において、図３６に示す如く、前記車両の旋回角度を検出する旋回角度検出手段８と、車速を検出する車速検出手段１１と、前記車両の旋回角度と車速に応じた仮想カメラを視点とする画像の画素位置と真カメラを視点とする画像の画素位置との対応関係を示すデータベース１３とを備え、前記画像作成手段７は、前記旋回角度検出手段８により検出された旋回角度と前記車速検出手段１１により検出された車速とに応じて、前記データベース１３を参照して仮想カメラが視点となるように前記後方撮像手段２により撮像された画像を変換する。
これにより、画素位置の対応関係を毎回計算する必要がない。
従って、演算能力の低いＣＰＵでも表示画像を作成することができるものである。
【００５２】
詳述すれば、この第５実施例においては、車両の旋回角度と車速に応じた仮想カメラを視点とする画像の画素位置と真カメラを視点とする画像の画素位置との対応関係をデータベース化しておき、このデータベース１３を参照することにより、第１実施例のような計算を毎回しなくても、表示画像を作成することを可能としている。
そして、この第５実施例の前記運転支援装置１は、図１に開示される仮想カメラ設定手段１０及び車両位置推定手段９に代えて、図３６に開示されるデータベース１３を備えている。
このデータベース１３は、車両の旋回角度と車速に応じた仮想カメラを視点とする画像の画素位置と真カメラを視点とする画像の画素位置との対応関係をデータベース化したものである。
第１実施例の段落［００１８］に記述したステアリングの操舵角と車両の旋回角度の関係のデータベースとは別のものである。
次に、表示画像を作成する手順について示す。
（ア）車両の旋回に対して発生する車速ｖ、旋回角度θ等の値を事前に計算または測定し、パターン化しておく。
車速ｖ、旋回角度θパターンに沿って発生する組み合わせ分の階層式データテーブル（データベース）を準備する。
各データテーブルについて、表示画像を作成する際の仮想カメラを視点とする画像の画素位置［Ｕｍ，Ｖｍ］、真カメラを視点とする画像の画素位置［Ｕｄ，Ｖｄ］との対応は使用する仮想投影スクリーン別にｖ、θに固有のものであるので、事前計算により［Ｕｍ，Ｖｍ］、［Ｕｄ，Ｖｄ］の変換情報を求めておき、データテーブル内の対応するデータシートに記録する。
（イ）車両旋回時に発生するｖ、θに応じて、対応するデータテーブルから、［Ｕｍ，Ｖｍ］に対応する［Ｕｄ，Ｖｄ］を参照し、表示画像を作成する。
図３７に、例として、車両の旋回角度が２度刻みの時のデータテーブルを示す。
例えば、ある［Ｕｍ，Ｖｍ］に対し、θ＝２［°］、ｖ＝３［ｋｍ／ｈ］とすると、［Ｕｄ，Ｖｄ］が定められる。
【符号の説明】
【００５３】
１ 運転支援装置
２ 後方撮像手段
３ 後退検出手段
４ 表示手段
５ 制御・演算手段
６ 後退判定手段
７ 画像作成手段
８ 旋回角度検出手段
９ 車両位置推定手段
１０ 仮想カメラ設定手段
１１ 車速検出手段
１２ 加速度検出手段
【技術分野】
【０００１】
この発明は運転支援装置に係り、特に車両が後退すると判定された時に、撮像された後方画像から歪み補正して表示する画像を作成する運転支援装置に関するものである。
【背景技術】
【０００２】
近年、駐車支援用に使用されるバックアイカメラでは、レンズ収差等の影響で歪みを含む元画像から歪み補正した線形画像を作成し、車両後方視野に関する映像が運転者に与える印象をより理解し易い自然な形にして提示する機能を備えたものが一般となりつつある。
ここで、この発明と後述する特許文献１との相違点について記載する。
この発明は、仮想カメラを車両からみたバックモニタ画像と同じ姿勢で捕らえることで、運転者の空間認識に関する印象をより自然な形に近づけた案内画面を作成することを主体としている。
これは、旋回中の自車両（バックアイカメラ）の後方視野に主観を置くことで、実操作に関する運転者の直感的な認識や操作感度を向上する効果を狙ったものである。
この発明に対して、特許文献１に開示されるものは、上空より見下ろした画像を基準に案内図を作成しているが、おそらく主体とするものは図３８及び図３９（ａ）〜（ｆ）に示すような状況で、目的地とする駐車ポイントが画面内を動き回ることを避ける点を主体とするものであると考えられる。
ここで、理解を容易とするために、図３８には、車両がバックしてＡ点からＤ点まで移動する状態を開示している。
そして、この図３８のＡ点からＤ点まで車両が移動する際の通常画面Ａ、Ｂ、Ｄを図３９の（ａ）〜（ｃ）に開示し、この通常画面Ａ、Ｂ、Ｄに対応する特許文献１の特開画面Ａ、Ｂ、Ｄを図３９の（ｄ）〜（ｆ）に開示する。
また、特許文献１に開示されるものは、セレクトビューカメラ（スズキタイプ）やマルチビュー（日産タイプ）等、上空からの見下ろしの画像に関する課題を扱ったものと考えられ、どれも共に仮想化カメラによる駐車支援を扱うが、見下ろし画像は頭の中で一旦車の動きと自車の向きの変換作業が必要となる分、今回のような直感的視野を扱う発明とは主旨が異なると考えられる。
更に、上述の特許文献１に開示される手順では、本文中にあるようにスクリーンが地面上（あるいは地面と平行面）に設定される場合、軌道ガイドライン画像の作成・画像上空領域の欠落等の課題に対応できないため、今回提出される発明のような後方視野について直感的支援を目的とする画像を作成することはできないと予測される。
更にまた、他の欠点としては、以下のようなものがある。
（１）仮想的に上から見下ろした車両を示す描画データを複数確保しておく必要があるため、保持する描画データ数が増加する。
（２）仮想的に上から見下ろした車両について、旋回中の車両の動きに合わせて車両描画データを座標変換（枠外判定・データクリップ処理を含む。）する処理が追加されていまう。
ここで、参考までに記載すると、図４０に示す如く、従来の運転支援装置１０１であるセレクトビューバックアイ構造は、車両後方を撮像するカメラからなる後方撮像手段１０２と、前記車両の後退していることを検出する後退検出手段１０３と、画像を表示するモニタからなる表示手段１０４と、制御・演算手段１０５と備えている。
また、この制御・演算手段１０５は、前記車両が後退するか否かを判定する後退判定手段１０６と、この後退判定手段１０６により前記車両が後退すると判定された時に、前記後方撮像手段１０２により撮像された後方画像から歪み補正して前記表示手段１０４により表示する画像を作成する画像作成手段１０７とを備えている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４８１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の運転支援装置において、一般的に使用されるＮＴＳＣカメラからの映像は少なくともシャッタータイミングより１／３０秒、歪み取り補正等の画像処理負荷に対する装置の能力が不足する場合はそれ以上の遅延が発生し、表示画像は遅れて出力される。
カメラは、通常、車両の真後ろ方向を撮影するよう固定されているが、直進で後退している場合には、運転者はそれほど違和感なく歪み補正画像を見ることができる。
図４１に示す如く、この図４１に開示される車両がＡ地点で撮影した映像は、遅延により実際にはＡ’地点の位置で表示されるため、運転者は、通常、少し前の映像を若干遅れてモニタリングしている訳であるが、運転者は映像の遅れに対する違和感を覚えることは少ない。
車両進行方向と画像中心の軌道が一致するため、運転者が進みたいと思った方向に背景等の映像が流れるので、映像ギャップが運転者へ与える印象は軽微なものとなったと推測される。
しかしながら、車両が旋回しながら後退する場合は画像の入力から出力までの遅延時間などの影響等により、図４２に示す如く、車両の進行方向と歪み補正画像の中心とがずれて表示される。
この図４２の場合、図４２に開示される車両によってＢ地点で撮影された像がＢ’地点で表示されると、進行方向とモニタしている映像中心が描く軌道に関するズレが大きくなる。
この場合、画面に映し出される背景、あるいは背景映像の流れ方に関する変化も大きくなるため、同じ遅延時間であっても運転者は思った方向に進んでいないような違和感を覚える恐れがある。
駐車の場合はハンドルを切り旋回状態でバックすることが多いため、遅延ギャップを補完するよう旋回方向を中心に視点変換した歪み補正画像を運転者に提供することが望ましいと考えられる。
また、人の歩行に関する動作特性を考慮すると、人は曲がる方向について多くの場合、無意識下で首を捻り、移動する少し先を目視する動作を行う。
よって、本手法により運転者へ車両進行方向について少し先の画像を提示することで心理的にも運転者に安心感を与える効果を得ることができると考えられる。
今回は、カメラに駆動装置等の余計な補機を追加する手段ではなく、画像処理により提示画像の変換を行い、進行方向を先読みした予測案内画像を作成し、画面提示することで、運転者へ与える違和感を軽減する手段を提案する。
【０００５】
この発明は、車両が旋回しながら後退する場合に、車両進行方向と表示画像の中心とを一致させ、運転者の違和感をなくすとともに、旋回方向の画像を表示して運転者に安心感を与えることを目的としている。
【課題を解決するための手段】
【０００６】
そこで、この発明は、上述不都合を除去するために、車両後方を撮像する後方撮像手段と、前記車両が後退するか否かを判定する後退判定手段と、画像を表示する表示手段と、前記後退判定手段により前記車両が後退すると判定された時に、前記後方撮像手段により撮像された後方画像から歪み補正して前記表示手段により表示する画像を作成する画像作成手段とを備える運転支援装置において、前記車両の旋回角度を検出する旋回角度検出手段と、この旋回角度検出手段により検出された旋回角度に基づいて、撮像してから表示するまでの遅延時間経過後の前記車両の位置を推定する車両位置推定手段と、この車両位置推定手段により推定された位置に仮想カメラを設定する仮想カメラ設定手段とを備え、前記画像作成手段は、前記仮想カメラ設定手段により設定された仮想カメラが視点となるように前記後方撮像手段により撮像された画像を変換することを特徴とする。
また、車両後方を撮像する後方撮像手段と、前記車両が後退するか否かを判定する後退判定手段と、画像を表示する表示手段と、前記後退判定手段により前記車両が後退すると判定された時に、前記後方撮像手段により撮像された後方画像から歪み補正して前記表示手段により表示する画像を作成する画像作成手段とを備える運転支援装置において、前記車両の旋回角度を検出する旋回角度検出手段と、車速を検出する車速検出手段と、前記車両の旋回角度と車速に応じた仮想カメラを視点とする画像の画素位置と真カメラを視点とする画像の画素位置との対応関係を示すデータベースとを備え、前記画像作成手段は、前記旋回角度検出手段により検出された旋回角度と前記車速検出手段により検出された車速とに応じて、前記データベースを参照して仮想カメラが視点となるように前記後方撮像手段により撮像された画像を変換することを特徴とする。
【発明の効果】
【０００７】
以上詳細に説明した如くこの発明によれば、車両後方を撮像する後方撮像手段と、車両が後退するか否かを判定する後退判定手段と、画像を表示する表示手段と、後退判定手段により車両が後退すると判定された時に、後方撮像手段により撮像された後方画像から歪み補正して表示手段により表示する画像を作成する画像作成手段とを備える運転支援装置において、車両の旋回角度を検出する旋回角度検出手段と、旋回角度検出手段により検出された旋回角度に基づいて、撮像してから表示するまでの遅延時間経過後の前記車両の位置を推定する車両位置推定手段と、車両位置推定手段により推定された位置に仮想カメラを設定する仮想カメラ設定手段とを備え、画像作成手段は、仮想カメラ設定手段により設定された仮想カメラが視点となるように後方撮像手段により撮像された画像を変換する。
従って、画像を撮影してから表示するまでに遅延時間が生じても、車両が旋回しながら後退する場合に、車両進行方向と表示画像の中心とを一致させるため、運転者の違和感をなくすことができる。また、旋回方向の画像を表示することにより、運転者に安心感を与えることができる。
また、車両後方を撮像する後方撮像手段と、前記車両が後退するか否かを判定する後退判定手段と、画像を表示する表示手段と、前記後退判定手段により前記車両が後退すると判定された時に、前記後方撮像手段により撮像された後方画像から歪み補正して前記表示手段により表示する画像を作成する画像作成手段とを備える運転支援装置において、前記車両の旋回角度を検出する旋回角度検出手段と、車速を検出する車速検出手段と、前記車両の旋回角度と車速に応じた仮想カメラを視点とする画像の画素位置と真カメラを視点とする画像の画素位置との対応関係を示すデータベースとを備え、前記画像作成手段は、前記旋回角度検出手段により検出された旋回角度と前記車速検出手段により検出された車速とに応じて、前記データベースを参照して仮想カメラが視点となるように前記後方撮像手段により撮像された画像を変換する。
これにより、画素位置の対応関係を毎回計算する必要がない。従って、演算能力の低いＣＰＵでも表示画像を作成することができる。
【図面の簡単な説明】
【０００８】
【図１】図１はこの発明の運転支援装置の概略ブロック図である。（実施例１）
【図２】図２は仮想投影スクリーンを示す概略斜視図である。（実施例１）
【図３】図３は仮想カメラ上の画素と真カメラ上の画素との対応を示し、（ａ）は仮想カメラ上の画素位置［Ｕａ，Ｖａ］を示す図、（ｂ）は真カメラ上の画素位置［Ｕｄ，Ｖｄ］を示す図である。（実施例１）
【図４】図４は真カメラ位置で画像を取得する際の車両の平面図である。（実施例１）
【図５】図５は真カメラ位置で取得した画像（ただし歪み補正処理済み）を示す図である。（実施例１）
【図６】図６は図５の画像データを元に予測案内画像を作成する際の車両の平面図である。（実施例１）
【図７】図７は図５の画像データを元に作成した予測案内画像を示す図である。（実施例１）
【図８】図８は仮想投影スクリーン上のガイドライン描画データを示す図である。（実施例１）
【図９】図９は＜手段Ａ＞により描画した座標変換前の予測軌道ガイドラインを示す図である。（実施例１）
【図１０】図１０は＜手段Ａ＞により描画した予測軌道ガイドラインを示す車両の平面図である。（実施例１）
【図１１】図１１は＜手段Ａ＞により描画した座標変換後の予測軌道ガイドラインを示す図である。（実施例１）
【図１２】図１２は正しい車両の軌道から逸れた位置にガイドラインを描画した状態を示す図である。（実施例１）
【図１３】図１３は＜手段Ｂ＞により予測案内画像に直接ガイドライン描画を行った状態を示す図である。（実施例１）
【図１４】図１４は焦点が一致する仮想カメラに関する予測軌道ガイドライン描画における仮想投影スクリーンを示す図である。（実施例１）
【図１５】図１５は通常のガイドラインを描画した状態を示す図である。（実施例１）
【図１６】図１６はワールド座標で示す描画データ［Ｘs，Ｙs，Ｚs］をそのまま用いて予測案内画像上に予測軌道ガイドライン描画データを描画した状態を示す図である。（実施例１）
【図１７】図１７は上空から見下ろした場合の仮想カメラに関する予測軌道ガイドライン描画における仮想投影スクリーンを示す図である。（実施例１）
【図１８】図１８は視線ベクトルが地面と交差できない画面上部の領域が欠落した画像が作成された状態を示す図である。（実施例１）
【図１９】図１９は運転支援装置の作業工程を示す図である。（実施例１）
【図２０】図２０は原画を示す図である。（実施例１）
【図２１】図２１は歪み補正画像を示す図である。（実施例１）
【図２２】図２２は平面仮想投影スクリーンでの予測案内画像を示す図である。（実施例１）
【図２３】図２３は平面仮想投影スクリーンでの予測案内画像を示す車両の平面図である。（実施例１）
【図２４】図２４はこの発明の第２実施例の＜球面（あるいはペントルーフ）状で表現した仮想投影スクリーン＞を示す図である。（実施例２）
【図２５】図２５は画像で示せる視野の有効範囲を示す図である。（実施例２）
【図２６】図２６は球面仮想投影スクリーンでの予測案内画像を示す図である。（実施例２）
【図２７】図２７は球面仮想投影スクリーンでの予測案内画像を示す車両の平面図である。（実施例２）
【図２８】図２８はこの発明の第３実施例の＜円錐（あるいは変形円錐台）状で表現した仮想投影スクリーン＞を示す図である。（実施例３）
【図２９】図２９は円錐仮想投影スクリーンでの予測案内画像を示す図である。（実施例３）
【図３０】図３０は円錐仮想投影スクリーンでの予測案内画像を示す車両の平面図である。（実施例３）
【図３１】図３１はこの発明の第４実施例の＜円柱（あるいは変形円柱）状で表現した仮想投影スクリーン＞を示す図である。（実施例４）
【図３２】図３２は仮想カメラの視線ベクトルと円柱状仮想投影スクリーンとの交点を求める操作の説明図である。（実施例４）
【図３３】図３３は地面に垂直方向に伸びる円柱で定義した状態を示す図である。（実施例４）
【図３４】図３４は円柱仮想投影スクリーンでの予測案内画像を示す図である。（実施例４）
【図３５】図３５は円柱仮想投影スクリーンでの予測案内画像を示す車両の平面図である。（実施例４）
【図３６】図３６はこの発明の第５実施例の運転支援装置の概略ブロック図である。（実施例５）
【図３７】図３７は車両の旋回角度が２度刻みの時のデータテーブルを示す図である。（実施例５）
【図３８】図３８はこの発明の第１の従来技術の特許文献１である特開２００８−１４８１１４号公報に基づくＡ点からＤ点までの移動を示す車両の平面図である。
【図３９】図３９は通常画面と特開画面との対比画面を示し、（ａ）は通常画面Ａを示す平面図、（ｂ）は通常画面Ｂを示す平面図、（ｃ）は通常画面Ｄを示す平面図、（ｄ）は特開画面Ａを示す平面図、（ｅ）は特開画面Ｂを示す平面図、（ｆ）は特開画面Ｄを示す平面図である。
【図４０】図４０は従来の運転支援装置の概略ブロック図である。
【図４１】図４１はこの発明の第２の従来技術を示す車両が直進で後退している場合の車両の平面図である。
【図４２】図４２はこの発明の第２の従来技術を示す車両が旋回しながら後退している場合の車両の平面図である。
【発明を実施するための形態】
【０００９】
以下図面に基づいてこの発明の実施例を詳細に説明する。
【実施例１】
【００１０】
図１〜図２３はこの発明の第１実施例を示すものである。
図１において、１は運転支援装置である。
【００１１】
この運転支援装置１は、図１に示す如く、車両後方を撮像するカメラからなる後方撮像手段２と、前記車両の後退していることを検出する後退検出手段３と、画像を表示するモニタからなる表示手段４と、制御・演算手段５と備えている。
また、この制御・演算手段５は、前記車両が後退するか否かを判定する後退判定手段６と、この後退判定手段６により前記車両が後退すると判定された時に、前記後方撮像手段２により撮像された後方画像から歪み補正して前記表示手段４により表示する画像を作成する画像作成手段７とを備えている。
【００１２】
そして、前記運転支援装置１は、前記車両の旋回角度を検出する旋回角度検出手段８と、この旋回角度検出手段８により検出された旋回角度に基づいて、撮像してから表示するまでの遅延時間経過後の前記車両の位置を推定する車両位置推定手段９と、この車両位置推定手段９により推定された位置に仮想カメラを設定する仮想カメラ設定手段１０とを備え、前記画像作成手段７は、前記仮想カメラ設定手段１０により設定された仮想カメラが視点となるように前記後方撮像手段２により撮像された画像を変換する構成を有している。
従って、画像を撮影してから表示するまでに遅延時間が生じても、車両が旋回しながら後退する場合に、車両進行方向と表示画像の中心とを一致させるため、運転者の違和感をなくすことができる。
また、旋回方向の画像を表示することにより、運転者に安心感を与えることができる。
【００１３】
また、前記運転支援装置１は、車速を検出する車速検出手段１１と、車両の加速度を検出する加速度検出手段１２とを備え、前記車両位置推定手段９は、前記車速検出手段１１及び前記加速度検出手段１２により撮像してから表示するまでの遅延時間経過後の車両の移動距離を算出し、車両の併進を伴った車両の位置を推定する。
従って、線形な軌道を移動する旋回以外に、併進を伴った非線形な軌道にも対応可能になる。
【００１４】
前記画像作成手段７は、前記後方撮像手段２により撮像された後方画像にガイドラインを重畳して描画した画像を前記仮想カメラ設定手段１０により設定された仮想カメラが視点となるように変換して、ガイドラインを重畳した視点変換画像を作成する。
従って、表示画像の正しい位置にガイドラインを表示することができる。
【００１５】
前記画像作成手段７は、仮想カメラが視点となるように変換された画像にガイドラインを直接描画して、ガイドラインを重畳した視点変換画像を作成する。
従って、表示画像の正しい位置にガイドラインを表示することができる。
【００１６】
前記画像作成手段７は、仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線を法線とし、この直線と地面との交点を中心とする平面を仮想投影スクリーンとして設定し、前記仮想カメラのイメージプレーン上の１点を通り、仮想カメラの焦点と仮想投影スクリーンとを第１の直線で結び、この第１の直線と仮想投影スクリーンとの交点を求め、この交点と真カメラの焦点とを第２の直線で結び、この第２の直線と真カメラのイメージプレーンとの交点の画素を第１の直線と仮想カメラのイメージプレーンとの交点の画素とする処理を、仮想カメラのイメージプレーン上の全画素に対して実行することにより、仮想カメラが視点となるように画像を変換する。
従って、仮想カメラが視点となるように画像を効率良く変換することができる。
【００１７】
まず、前記運転支援装置１に関する前準備について詳述する。
通常、駐車支援用途のバックカメラシステムは、より広い視野を運転者に提示すべく、広角レンズを用いたカメラから構成されることが多い。
広角カメラを使用した場合、レンズ収差の影響で画面の端に近づくに連れて画像の変形を発生する。
提案する予測案内画像では取得した画像中の旋回先付近を映すデータを元に表示する画像を作成するため、（旋回角度・移動量にもよるが）画面端に近い画像データを利用する頻度が高い。
よって、入力画像に対する歪み取り補正処理を前提としたモデルの使用がほぼ必須条件に近くなると考えられる。
歪み取り補正処理に基づくカメラの校正作業を行い、取得したキャリブレーションパラメータを元に処理を進める。
各パラメータは以下の通りである。
［Ｕd，Ｖd］：入力画像上の画素位置（歪みあり）
［Ｕm，Ｖm］：出力画像上の画素位置（歪み除去後）
［Ｘcd，Ｙcd］：イメージプレーン上のカメラ座標位置
［Ｘcm，Ｙcm］：イメージプレーン上のカメラ座標位置（歪みなし）
［Ｘwm，Ｙwm，Ｚwm］：実空間上のワールド座標位置
［ａnn，ｃx，ｃy］：内部パラメータ
［ｒnn，ｔn］：実空間上 ← → カメラ座標系変換パラメータ（位置tn・姿勢ｒnn情報）
［ｎn］：歪みパラメータ
［Ｐn］：対数歪みパラメータ
［Ｒcm］：イメージプレーン上、原点からの距離
［Ｒck］：イメージプレーン上、原点のしきい値
近似モデル式を対数近似と通常近似で切り替える。
【数１】
【数２】
【数３】
【数４】
【数５】
【数６】
【数７】
ピンホールカメラモデルに基づく画像処理では、レンズを原点としたカメラ座標系を基本座標系と捉え、ＣＣＤ撮像素子と平行にイメージプレーンと称呼される仮想投影面を設定し、イメージプレーン上へ投影された像について処理を行うのが一般的である。
上記の［数１］の式により実空間上の世界座標系［Ｘwm，Ｙwm，Ｚwm］位置に存在する物体（点）は、本来であればカメラ座標系に線形変換され、設定したイメージプレーン上の点［Ｘcm，Ｙcm，１］位置へ投影される。
しかしながら、広角カメラではレンズ収差の影響でカメラ座標系の座標［Ｘcm，Ｙcm，１］位置からずれた位置［Ｘcd，Ｙcd，１］位置へ投影されているため、原画像での表示座標［Ｕd，Ｖd］位置に映る画像は、画面の端に行くほど実際の被写体より歪んだ像として表示出力される。
よって、原画像上の表示座標［Ｕd，Ｖd］位置を対応するイメージプレーン上の［Ｘcd，Ｙcd，１］位置へ一度逆変換し、歪み補正近似式である［数５］〜［数６］の式に基づき、［Ｘcd，Ｙcd，１］位置から歪みの無い［Ｘcm，Ｙcm，１］位置に座標修正し、［数７］の式により画像上での表示座標系［Ｕm，Ｖm］位置に復元することで歪み取り補正を実現することができる（特開２００９−１３０５４６号公報等を参照）。
通常、カメラからの入力画像データをメモリに取り込みながら並行して歪み補正画像を作成する。
予測案内画像を作成する場合、さらに歪み補正画像を作成する手順を参考に、さらに装置の遅延の間に車両が移動する位置・姿勢を考慮して予測した画像の形状計算を行い、入力画像から必要な画素データを参照コピーして作成する。
なお、予測案内画像の作成に関連する計算は歪み補正画像に基づくものであるが、中間処理で歪み補正画像を作成するような無駄な作業を行わないために、実際に予測案内画像自体は、カメラからの入力画像データをダイレクトに処理して作られる。以上で前準備を終了する。
【００１８】
手順＜１＞ 車種別旋回角度の算出（あるいは計測）準備
予め予測案内画像を補正するためのキーパラメータとしてステアリングの操舵角と車両の旋回角度の関係をデータベース化しておく。この関係式は、計算により求めても、実測により求めても構わない。ただし、車種により特性は異なるので、使用する車両に合わせて用意する。
また、常時稼働状態であるＧＰＳ、磁石コンパス等の各種センサや計測装置・計算装置等を追加・併用して、必要なタイミングで車両の旋回角度を任意のタイミングで取得できる状態であれば、データベースを利用する必要はない。
【００１９】
手順＜２＞ 外部パラメータ姿勢成分の分解
［数２］の式に関する外部パラメータ行列内のｒnnは、実空間の世界座標系原点に対するバックアイカメラの姿勢を示すもので、以下の［数８］の式のように、世界座標系各軸周りの姿勢角度θφψにて定義される。
【数８】
ただし、姿勢角度θφψは、それぞれ実空間上のデカルト座標系の各Ｘ、Ｙ、Ｚ軸周りの回転角度にてカメラの取付姿勢を示したものである。
以後、外部パラメータについてカメラ位置姿勢を示す６変数を用いた記号ＲＴ（ｔx、ｔy、ｔz、θ、φ、ψ）で略記する。
【００２０】
手順＜３＞ 仮想カメラの設定
上述の手順＜１＞により推定した車両の進行により生じた旋回角を角度α、旋回半径を距離βとする。
αおよびβはワールド座標系を基準とする。
車両の旋回により発生する角度は、実空間上ではＹ軸周りの回転方向に発生する。
また、Ｘ、Ｚ方向についても移動による変位が発生する。
この移動先となる位置に仮想カメラを設定する。
また、［数８］の式の角度φにα、βを加えた仮想カメラについての外部パラメータＲＴ’は以下の［数９］の式の形となる。
【数９】
この定義した仮想カメラに関しても、真カメラと同様にピンホールカメラに基づくイメージプレーンを設定する。
なお、仮想カメラの位置・姿勢に関しては、上記の手順＜３＞内で扱ったα、βの２つの変数だけでなく、車速センサからなる前記車速検出手段１１、加速度センサからなる加速度検出手段１２等を併用して旋回角度以外の速度・加速度、移動量等を示すパラメータについて実値データを取得・応用することで、線形な軌道を移動する旋回以外に、併進を伴う非線形な軌道にも対応可能な高精度設定を行うことができる。
同様に、仮想視点カメラの設置地点は、旋回方向に限定するものではなく、図４１のＡ’位置のように、直進方向の軌道上にも設置することができる。
また、旋回速度をωとし、遅延時間（固定値）の代わりに、画像入力から表示タイミングまでの時間Δｔを使用することもできる。
更に、Ｘ方向の併進成分Ｖｘを加えると、［数９］の式を以下のように定義できる。
ＲＴ’＝ＲＴ（Ｔx＋ＶxΔｔ＋βsinωΔｔ，ｔy，ｔz＋βcosωΔｔ，θ，φ＋ωΔｔ，ψ）
【００２１】
手順＜４＞ 仮想投影スクリーンの設定
仮想カメラ原点から見てイメージプレーンよりも遠方に、よりサイズの大きい仮想投影スクリーンを設定する。
仮想投影スクリーンの設定については、移動に関わる車両と実空間の位置関係について相関や整合性が大きく損なわれないよう、適正な位置にスクリーン基準点を定義する必要がある。
今回は、［数１］の式での媒介変数ｓを調整し、あるいは［数１］の式により、全ての座標系を世界座標基準で計算することで、仮想カメラの画像中心を指す視線方向ベクトル（画像中心 ← → レンズ焦点）と地面とが交わる交点Ｑを求め、基準とする。
以後、この画像中心を視線方向に持つベクトルのことを「姿勢ベクトル」という。その他の画素（ただしイメージプレーン上）を参照するベクトルは「視線ベクトル」という。
よって、仮想投影スクリーンは、図２に示す如く、交点Ｑを通り、仮想カメラの姿勢ベクトルを法線に持つ平面として定義される。
【００２２】
手順＜５＞ 予測案内画像の作成
予測案内画像として提示する画像は、仮想カメラに設定したイメージプレーン上の画像について内部パラメータを使用し、［数７］の式に沿って表示変換することで作成される。
また、入力される原画像は、真カメラが撮影したものであるから、仮想投影スクリーンに設定する画素データは真カメラの画像から求める必要がある。
今、作成する予測案内画像上の平面座標［Ｕm，Ｖm］に画素データを設定する場合を考える。
予測案内画像上は表示画像であるから、［数７］の式により表示座標系［Ｕm，Ｖm］を、図２に示す如く、仮想カメラのカメラ座標系に関するイメージプレーン上のＫ点、
Ｋ ＝ ［Ｘm，Ｙm，１］
へ変換することができる。
更に、この手順＜５＞と同等の手法で、Ｋ点を指す仮想カメラの視線ベクトル（Ｋ点 ← → レンズ焦点）と仮想投影スクリーンとの交点を求め、図２に示す如く、ワールド座標系で交点Ｌを境座標で［Ｘwm，Ｙwm，Ｚwm］として定義する。
交点Ｌを真カメラで撮影した場合、交点Ｌは真カメラのイメージプレーン上では点Ｍ［Ｘcm，Ｙcm，１］、また映像では画像平面座標［Ｕm’，Ｖm’］に表示される。
すなわち、真カメラ映像の［Ｕm’，Ｖm’］と仮想カメラで表示する予測案内画像の［Ｕm，Ｖm］とは、図２に示す如く、仮想スクリーン上で共通の交点Ｌ［Ｘwm，Ｙwm，Ｚwm］を見ているものと解釈できるので、［Ｕm，Ｖm］に対し［Ｕm’，Ｖm’］の画素データ（輝度データ）をコピーする。
予測案内画像の全画素［Ｕm，Ｖm］について、
［Ｕm，Ｖm］m ： ０ ⇒ 全画像
の処理を繰り返すことで、ユーザーへ提示する予測案内画像を得ることができる。
【００２３】
ここで、数式での手順を解説する。
＜数式解説１＞
システム遅延後のカメラの位置を仮想カメラ位置と定義し、その車両旋回角をΔφ（＝α）、車両の移動量を［Δｘ，０，Δｚ］とする。
仮想カメラによる外部パラメータＲＴ’は、以下の［数１０］の式のように更新される。
【数１０】
ＲＴ’は仮想カメラの位置において新しいカメラ座標系を構成するものである。
また、［Δｘ，０，Δｚ］の移動量に合わせ、仮想カメラ位置を［Ｘwc，Ｙwc，Ｚwc］で示す。
この［Ｘwc，Ｙwc，Ｚwc］は、仮想カメラ座標系原点をワールド座標系で示すものである。
＜数式解説２＞
仮想投影スクリーンの基準位置を点Ｑを、
Ｑ［Ｘwm，Ｙwm，Ｚwm］ ＝ ［ＸwQ，０，ＺwQ］
と定義し、スクリーンの法線ベクトル［Ｘwm，Ｙwm，Ｚwm］を、
［Ｘwm，Ｙwm，Ｚwm］ ＝ ［ｉ，ｊ，ｋ］
と定義する。
＜数式解説３＞
予測案内画像の任意の画素位置［Ｕ，Ｖ］を、
［Ｕ，Ｖ］ ＝ ［Ｕa，Ｖa］
に設定する画素を求める。
まず、［数２］の式に従って、［Ｕa，Ｖa］を内部パラメータの逆変換により仮想カメライメージプレーン上へ変換する。
このとき、変換点［Ｘc，Ｙc，Ｚc］を、
［Ｘc，Ｙc，Ｚc］ ＝ ［Ｘca，Ｙca，１］
とする。
＜数式解説４＞
［数１］の式に従って、［Ｘca，Ｙca，１］をＲＴ’によりワールド座標系に変換する。
このとき、変換点［Ｘwm，Ｙwm，Ｚwm］を、
［Ｘwm，Ｙwm，Ｚwm］ ＝ ［Ｘwa，Ｙwa，Ｚwa］
とする。
＜数式解説５＞
ワールド座標系で仮想カメラ原点［Ｘwc，Ｙwc，Ｚwc］と［Ｘwa，Ｙwa，Ｚwa］とを結ぶ直線ｌを計算し、仮想投影スクリーンと直線ｌとの交点Ｋを求める。
このとき、交点Ｋを［Ｘwk，Ｙwk，Ｚwk］と定義する。
＜数式解説６＞
［数１］〜［数７］の式に従って、元の外部パラメータＲＴにより交点Ｋ［Ｘwk，Ｙwk，Ｚwk］が元の真カメラ座標系で表示される画素位置［Ｕ，Ｖ］を、
［Ｕ，Ｖ］ ＝ ［Ｕd，Ｖd］
から求める。
＜数式解説７＞
求めた画素位置
［Ｕ，Ｖ］ ＝ ［Ｕd，Ｖd］
に対応した真カメラの入力画像（生データ・歪み有り）の位置の輝度を［Ｕa，Ｖa］に設定する。
入力画像の範囲外を参照する位置については、枠外を示す指定輝度値、例えば０値（黒）に設定する。
＜数式解説８＞
そして、図３（ａ）及び（ｂ）に示す如く、上述した＜数式解説１＞〜＜数式解説７＞までの作業を全画像位置で実施し、予測案内画像を作成する（図４〜図７参照。）。
【００２４】
次に、予測案内画像に対する予測軌道ガイドラインの描画方法について説明する。
予測案内画像の作成について仮想投影スクリーンを仮想カメラの姿勢ベクトルを法線に持つ平面（「イメージプレーンに平行な平面」とも換言できる。）として設定した。
通常のバックアイカメラ装置で利用される予測軌道ガイドラインに関しては、画像の線形性が確保されている真カメラ座標系に基づくので、例えば自車の真後ろ方向に
［Ｘwm，Ｙwm，Ｚwm］ ＝ ［Ｘs，Ｙs，Ｚs］
という世界座標系で示す任意の座標位置について、カメラの位置姿勢を示す外部パラメータＲＴ（ｔx、ｔy、ｔz、θ、φ、ψ）と［数１］〜［数７］の式とを利用することで、［Ｘs，Ｙs，Ｚs］に対応する［Ｕm，Ｖm］（歪み補正画像）あるいは［Ｕd，Ｖd］（歪み有り生画像）位置に点を描画できる。
よって、車両の進行方向に対する軌道に沿った［Ｘs，Ｙs，Ｚs］の集まりである描画データＳ群を教示することで、予測軌道ガイドラインを描画できる。
遅延後の車両の位置に関して推定可能である場合は、任意の表示タイミングにおける車両位置・姿勢についての描画データ［Ｘs，Ｙs，Ｚs］を予測位置に変換して教示することができるので、全方位に予測軌道ガイドラインを描画できる。
しかしながら、この発明の実施例で示すように仮想カメラと真カメラとの焦点位置が一致しないケースで仮想投影スクリーンを設定する場合、仮想視点カメラが見る予測軌道ガイドラインそのまま世界座標系で設定した描画データ［Ｘs，Ｙs，Ｚs］を教示してしまうと、図１２に示す如く、そのままでは正しい車両の軌道から逸れた位置にガイドラインを描画してしまう課題が発生する。
図８に示す如く、描画するガイドライン描画データ［Ｘs，Ｙs，Ｚs］を参照する真カメラの視線ベクトルと仮想カメラの視線ベクトルとが仮想スクリーン上では同一位置で交差できないことが要因である。
本来、画像は真カメラ座標系と実際の空間上の被写体との投影関係で成立しているため、仮想カメラを基準とした透視変換では世界座標系との線形性を保持できないことを意味する。
つまり、予測軌道ガイドラインを予測案内画像に描画するためには、実空間上の世界座標描画データ［Ｘs，Ｙs，Ｚs］を使用するのではなく、仮想投影スクリーンと真カメラ視線ベクトルとの交点Ｎ位置を示す世界座標［ＸN，ＹN，ＺN］系に変換して教示しなければならない。
【００２５】
ここで、予測軌道ガイドラインを予測案内画像に描画するために必要な以下の手段を提案する。
下記のいずれかの手法を使用すれば、予測案内画像に予測軌道ガイドラインを描画する際の課題を克服し、運転者へ移動先の車両の軌道予測を正しく示すことで、運転支援性能を向上できる。
＜前準備＞
遅延を考慮した移動先の車両予測位置から予測軌道ガイドラインの描画座標データ［Ｘwm，Ｙwm，Ｚwm］を
［Ｘwm，Ｙwm，Ｚwm］ ＝ ［Ｘs，Ｙs，Ｚs］
と予め設定しておく。
【００２６】
＜手段Ａ＞：教示する予測軌道ガイドライン描画座標データ［Ｘs，Ｙs，Ｚs］を元ワールド座標のままとする場合
（１）予測案内画像を作成作業の開始前に、図９に示す如く、歪みを含んだ生画像データに対して、［数１］〜［数７］の式を適用して歪ませた形の実空間モデルに基づく［Ｕd，Ｖd］に予測した予測軌道ガイドラインを当てはめておく（あるいは、真カメラ位置での歪み補正空間モデルをベースとして［Ｕm’，Ｖm’］位置に予測軌道ガイドラインを当てはめておく）。
（２）上記の手順＜５＞による点Ｍ ⇒ Ｌ ⇒ Ｋへの輝度データ転送作業時は、予測軌道ガイドライン上に発生する位置の画素［Ｕd，Ｖd］を参照する場合であれば、画像の輝度データの代わりに、歪ませた形の予測軌道ガイドラインの色データを転送することができる。
（３）この結果、図１０及び図１１に示す如く、描画したガイドライン画素は予測案内画像の作業時に他の背景画素と同じように変換されるので、目的とする移動後の予測軌道ガイドラインを描画することができる。
なお、図９及び図１１において、グレー線部がこの＜手段Ａ＞により描画した予測軌道ガイドラインである。
【００２７】
＜手段Ｂ＞：教示する予測軌道ガイドライン描画座標データ［Ｘs，Ｙs，Ｚs］を世界座標［ＸN，ＹN，ＺN］とする場合
（１）文字通り予測軌道ガイドラインの描画座標データ［Ｘs，Ｙs，Ｚs］を仮想投影スクリーンと真カメラ座標系の視線ベクトルとの交点から［ＸN，ＹN，ＺN］で示される交点Ｎ群に関するワールド座標に変換して教示する。
（２）この結果、図１３に示す如く、予測案内画像に直接ガイドライン描画を行うことができる。
なお、図１２及び図１３において、白線部が交点Ｎ群に変換した描画データによる予測軌道ガイドラインである。
【００２８】
ここで、焦点が一致する仮想カメラに関する予測軌道ガイドライン描画について記述する。
図１４に開示する。
車両のＸＺ方向の速度および伴う移動を考慮せずに、真カメラと焦点とが一致する仮想カメラについて姿勢方向のみを変更する（首振りのみを行う）場合については、描画する予測軌道ガイドライン描画データ［Ｘs，Ｙs，Ｚs］と参照する真カメラの視線ベクトルと仮想カメラの視線ベクトル交点［ＸN，ＹN，ＺN］が、仮想スクリーン上で一致する（［Ｘs，Ｙs，Ｚs］ ＝ ［ＸN，ＹN，ＺN］）。
よって、図１５及び図１６に示す如く、ワールド座標で示す描画データ［Ｘs，Ｙs，Ｚs］をそのまま用いて予測案内画像上に予測軌道ガイドライン描画データを描画することができる。
ただし、車両自身のＸＺ方向の移動を考慮しない分、提示する予測案内画像と遅延後の本来の画像自体と併進移動分のギャップが大きくなるため画像本体の相違により運転者の受ける違和感は大きくなる。
よって、姿勢方向のみを変更する場合での予測軌道ガイドラインはギャップが課題とならない範囲の低速走行時にのみ使用可能という制限が加わる。
次に、上空から見下ろした場合の仮想カメラに関する予測軌道ガイドライン描画について記述する。
仮想視点を使用した画像変換法について他の特許等では、仮想カメラを上空の任意位置に設定し、設定位置から真下を見下ろす俯瞰画像を作成し、各目的の処理を行うものがしばしば見受けられる。
その際、図１７に示す如く、地面上に仮想投影スクリーンを設定するケースが一般的である。
地面上に仮想スクリーンを設定する場合、手順＜５＞で示した交点Ｌが「Ｙ＝０」である路面上にのみ分布される。
よって、各描画データ［Ｘs，Ｙs，Ｚs］と［ＸN，ＹN，ＺN］とは、同様に一致する（［Ｘs，Ｙs，Ｚs］ ＝ ［ＸN，ＹN，ＺN］）。
よって、路面を映す全ての状態にある仮想カメラに対して描画データ［Ｘs，Ｙs，Ｚs］に対して、そのままガイドラインの描画データ教示を行えば、図９に示す如く、通常のバックアイカメラと同様に適正な位置に予測軌道ガイドラインを描画することができる。
反面、表示する画像に関して仮想スクリーンが地面上に設定されるため、画面が端に行くほど倒れ込みによる変形の発生を招く。
あるいは、カメラから地面と平行以上となる仰角の位置では全ての情景に関して、カメラの視線ベクトルと仮想投影スクリーンの交点Ｌとの交点を持つことができない。
例えば、図１８に示す如く、図９等と比較し視線ベクトルが地面と交差できない画面上部の領域が欠落した画像が作成される。
よって、提案した予測案内画像のような全景を提示する装置への使用は不適であると言える。
【００２９】
次に、図１９に示すフローチャートに基づいて、運転支援装置の作業工程を説明する。
【００３０】
前記運転支援装置１は、図１９に示す如く、操舵角、つまり前記旋回角度検出手段８による車両の旋回角度や前記車速検出手段１１による車速等の旋回後退時の車両予測位置・姿勢を前記車両位置推定手段９によって推定するためのデータベースの作成、あるいは計器の導入を行う処理Ｓ０１を有する。
そして、この処理Ｓ０１の後には、始動後の真カメラより生画像データ取得するために、カメラからなる前記後方撮像手段２の撮像した車両後方の撮像データ取得を行う処理Ｓ０２を有する。
また、この処理Ｓ０２の後には、操舵角、つまり前記旋回角度検出手段８による車両の旋回角度や前記車速検出手段１１による車速等から旋回後退時の車両予測位置・姿勢の把握を行う処理Ｓ０３を有する。
なお、この処理Ｓ０３に関しては、＜手段Ａ＞による「予測軌道ガイドラインの描画 Ａ」の［Ｘs，Ｙs，Ｚs］点群の描画の処理Ｔ０１からのデータ取得も行う。
更に、上述の処理Ｓ０３の後には、前記車両位置推定手段９によって遅延後の車両予測位置・姿勢の推定を行う処理Ｓ０４を有する。
更にまた、この処理Ｓ０４の後には、前記仮想カメラ設定手段１０によって仮想カメラ・仮想スクリーンの設定を行う処理Ｓ０５を有する。
また、この処理Ｓ０５の後には、前記画像作成手段７によって予測案内画像の作成を行う処理Ｓ０６を有する。
更に、この処理Ｓ０６の後には、前記表示手段４に予測案内画像の提示を行う処理Ｓ０７を有する。
なお、この処理Ｓ０７に関しては、＜手段Ｂ＞による「予測軌道ガイドラインの描画 Ｂ」の［ＸN，ＹN，ＺN］点群の描画の処理Ｔ０２からのデータ取得も行う。
【００３１】
参考までに説明すると、図２０は原画を示す図であり、図２１は歪み補正画像を示す図であり、図２２は平面仮想投影スクリーンでの予測案内画像を示す図であり、図２３は平面仮想投影スクリーンでの予測案内画像を示す車両の平面図である。
【実施例２】
【００３２】
図２４〜図２７はこの発明の第２実施例を示すものである。
この第２実施例において、上述第１実施例のものと同一機能を果たす箇所には、同一符号を付して説明する。
【００３３】
上述した第１実施例において取り上げてきた仮想投影スクリーンは、手順＜４＞の図２で示す仮想カメラの姿勢ベクトルを法線ベクトルに持つ地面座標Ｑを含む平面で設定した。
この第１実施例に対して、第２実施例の特徴とするところは、前記仮想投影スクリーンを球面とした点にある。
つまり、仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線と地面との交点を球面状の仮想投影スクリーンの中心とし、有効な画像を表示可能な範囲の左右端に相当する仮想カメラのイメージプレーン上の座標を算出し、この座標に相当する球面状の仮想投影スクリーン上の座標を算出し、この座標と球面状の仮想投影スクリーンの中心との距離を算出し、この距離を球面状の仮想投影スクリーンの半径とする。
従って、仮想投影スクリーンを球面とした場合に、有効な画像を表示可能な範囲を広くすることができるものである。
【００３４】
ところで、第１実施例の上述内容でも少し触れたが、仮想投影スクリーンを平面で扱う場合、近傍の障害物に対して歪みによる形状変形、あるいは画像に対する遠近表示ギャップ等に関して、違和感を招く恐れが生じる。
特に、自車の移動量が大きい（「速く移動する」と換言できる。）場合、影響が顕著に表れる。
仮想投影スクリーンに３次元的な含みを持たせる意味で曲面として扱うことで、このような倒れ込みに関する影響を緩和できる場合があるので、仮想投影スクリーンの曲面化手法ついて説明する。
まず、仮想投影スクリーンの配置基準位置についても仮想カメラの姿勢ベクトルと地面との交点Ｑを採用する。
原理的に、仮想カメラの視線ベクトルと真カメラの視線ベクトルとが交わる位置であれば、仮想投影スクリーンはどこに設定しても仮想カメラからの視野を復元した映像を作成することができる。
しかしながら、仮想スクリーンが、例えば無限遠点に存在しているように設定した場合、車両が実際にいくら移動しても背景となる仮想スクリーンに近づくことはほとんどなく、ほとんど画像に変化が生じない（月を追いかけるようなもの）。
よって、なるべく実空間とカメラ画像とが確からしく一致する位置を基準に仮想スクリーンを設定する手法が好ましいことがわかる。
通常、バックアイカメラのような駐車支援システムでは、カメラの取付姿勢を下方に向け、駐車区画枠を示す路面区画線に対し良好にモニタリングできるような仕様で設定されている。
よって、後方視野映像の中で最も仮想スクリーンの基準にふさわしいのは、カメラの姿勢ベクトルと地面との交点Ｑ、あるいはその近傍であることが予測できる。
【００３５】
よって、以下に、図２４に示す如く、前記仮想投影スクリーンを球面として説明する。
＜球面（あるいはペントルーフ）状で表現した仮想投影スクリーン＞
図２４において、球体の中心位置は先の定義通り地面上の交点Ｑと定めたので、次に球体の両径位置Ｑa、Ｑbについて定義し、仮想投影スクリーン上の交点Ｌを求める。
＜操作１＞
図２５に示す如く、画像で示せる視野には有効範囲がある。
有効範囲を求めるために、真カメラでの姿勢ベクトルと地面との交点Ｑについて検討する。
この場合、例えば歪み補正画像では、画像中心を示した図２４中の矢印の中央位置に対応する。
＜操作２＞
交点Ｑより左右方向に有効視野の限界位置Ｑa、Ｑbに掛かる［Ｕm，Ｖm］位置を求める。
＜操作３＞
［数７］及び［数１］の式よりＱa、Ｑbのワールド座標位置を求め、交点Ｑからの距離を計算して仮想球面スクリーンの半径ＲQを導く。
計算誤差により半径がずれる場合は平均値を使用する。
仮想球面スクリーンの一般式は、以下の［数１１］の式で示される。
【数１１】
この［数１１］の式と仮想カメラの視線ベクトルとの交点から仮想球面スクリーン上の交点Ｌを求め、予測案内画像を作成する。
【００３６】
このとき、スクリーンが球体なので、交点は２点求まるが、以下の規則で交点Ｌを採用する。
仮想カメラより視線ベクトル方向に交点が１つある場合は、その交点を使用する（逆方向の交点は無効とする。）。
なお、仮想カメラより視線ベクトル方向に交点が２つある場合は、スクリーンの凹側、すなわち遠い方の交点を採用する。
また、視線ベクトルが先に交点Ｌより地面と交差する場合は、地面との交点を優先して求めても構わない。この場合、仮想投影スクリーンはペントルーフ形状となる。
【００３７】
さすれば、前記仮想投影スクリーンを球面とすることにより、車両近傍の立体障害物等の表示に対する倒れ込み等の変形量を緩和して、運転者の違和感を軽減することができる。
【００３８】
参考までに説明すると、図２６は球面仮想投影スクリーンでの予測案内画像を示す図であり、図２７は球面仮想投影スクリーンでの予測案内画像を示す車両の平面図である。
【実施例３】
【００３９】
図２８〜図３０はこの発明の第３実施例を示すものである。
【００４０】
この第３実施例の特徴とするところは、仮想投影スクリーンを円錐とした点にある。
つまり、円錐の底面中心を仮想カメラの焦点とし、仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線上で、この直線と地面との交点を中心として仮想カメラの焦点と点対象になる位置を円錐頂点の座標とし、有効な画像を表示可能な範囲の左右端に相当する仮想カメラのイメージプレーン上の座標を算出し、この座標に相当する円錐状の仮想投影スクリーン上の座標を算出し、仮想カメラの焦点の座標と円錐頂点の座標と前記仮想投影スクリーン上の座標とに基づいて円錐状の仮想投影スクリーンの内角を設定する。
従って、仮想投影スクリーンを円錐とした場合に、有効な画像を表示可能な範囲を広くすることができるものである。
【００４１】
＜円錐（あるいは変形円錐台）状で表現した仮想投影スクリーン＞
＜操作１＞
円錐の底面中心を仮想カメラ位置と定める。
仮想球面スクリーンと同様に、図２８に示す如く、位置ＱおよびＱa、Ｑbを求める。
＜操作２＞
図２８に示す如く、姿勢ベクトルの２倍長さ位置に円錐頂点Ｇを設定する。
＜操作３＞
円錐の内角εを求める。
仮想カメラの位置を
Ｗwc ＝ ［Ｘwc，Ｙwc，Ｚwc］
とすると、円錐の内角εは、余弦定理により以下の［数１２］の式で求められる。
【数１２】
よって、円錐の一般式は、以下の［数１３］の式となる。
【数１３】
このとき、Ｌ点位置を、
［Ｘwm，Ｙwm，Ｚwm］ ＝ ［ＸL，ＹL，ＺL］
と定義する。
この場合、［数１３］の式中の「Ｖｅｃ G→Qa」を「Ｖｅｃ G→L」で置き換えても、同一三角錐上では内角εは不変である。
更に、姿勢ベクトルの２倍という設定から、「Ｖｅｃ G→Wwc」も解決可能である。
よって、［数１３］の式について、
「Ｖｅｃ G→Qa」 ＝ 「Ｖｅｃ G→L」
で置換し、仮想カメラの視線ベクトルとの交点から仮想球面スクリーン上のＬ点［ＸL，ＹL，ＺL］を求め、予測案内画像を作成する。
【００４２】
このとき、交点は２点求まるが、以下の規則で交点Ｌを採用する。
仮想カメラより視線ベクトル方向に交点が１つある場合は、その交点を使用する（逆方向の交点は無効とする。）。
なお、仮想カメラより視線ベクトル方向に交点が２つある場合は、スクリーンの凹側、すなわち遠い方の交点を採用する。
また、視線ベクトルが先に交点Ｌより地面と交差する場合は、地面との交点を優先して求めても構わない。この場合、仮想投影スクリーンは変則の円錐台状となる。
更に、使用条件に応じて円錐頂点Ｇの位置を姿勢ベクトル方向任意倍長さ位置に調整しても構わない。
【００４３】
さすれば、前記仮想投影スクリーンを円錐としたことにより、車両近傍の立体障害物等の表示に対する倒れ込み等の変形量を緩和して、運転者の違和感を軽減することができる。
【００４４】
参考までに説明すると、図２９は円錐仮想投影スクリーンでの予測案内画像を示す図であり、図３０は円錐仮想投影スクリーンでの予測案内画像を示す車両の平面図である。
【実施例４】
【００４５】
図３１〜図３５はこの発明の第４実施例を示すものである。
【００４６】
この第４実施例の特徴とするところは、仮想投影スクリーンを円柱とした点にある。
つまり、仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線と地面との交点を円柱状の仮想投影スクリーンの中心軸上の点とし、有効な画像を表示可能な範囲の左右端に相当する仮想カメラのイメージプレーン上の座標を算出し、この座標に相当する円柱状の仮想投影スクリーン上の座標を算出し、この座標と円柱状の仮想投影スクリーンの中心軸との距離を算出し、この距離を円柱状の仮想投影スクリーンの半径とする。
従って、仮想投影スクリーンを円柱とした場合に、有効な画像を表示可能な範囲を広くすることができるものである。
【００４７】
＜円柱（あるいは変形円柱）状で表現した仮想投影スクリーン＞
＜操作１＞
仮想球面スクリーンと同様に、図３１に示す如く、位置ＱおよびＱa、Ｑbを求める。
＜操作２＞
次の手順で姿勢ベクトルに垂直なベクトルを設定する。
（１）仮想カメラ座標系［Ｘc，Ｙc，Ｚc］にＹc方向に伸びるベクトル［０，１，０］を設定する。
（２）［数１］の式およびＲＴ’行列を利用して［０，１，０］をワールド座標系［ｉ’，ｊ’，ｋ’］へ変換する。
＜操作３＞
点Ｑを通り、半径ＲQで［ｉ’，ｊ’，ｋ’］方向に伸びる円柱を作成し、円柱投影スクリーンを作成する。
＜操作４＞
次の手順で仮想カメラの視線ベクトルとの交点から仮想球面スクリーン上の交点Ｌを求める。
（１）Ｌ点位置を、
［Ｘwm，Ｙwm，Ｚwm］ ＝ ［ＸL，ＹL，ＺL］
と定義する。
更に、図３２に示す如く、Ｌ点から円柱方向を示す直線上に距離ＲQの垂線を下ろし、その交点ｐを、
ｐ ＝ ［Ｘp，Ｙp，Ｚp］
と定義する。
（２）ベクトルで考察すると、以下の［数１４］の連立方程式が成立する。
【数１４】
（３）［数１４］の式について、連立方程式を計算し、交点［ＸL，ＹL，ＺL］を求める。
このとき、交点は２点求まるが、以下の規則で交点Ｌを採用する。
仮想カメラより視線ベクトル方向に交点が１つある場合は、その交点を使用する（逆方向の交点は無効とする。）。
なお、仮想カメラより視線ベクトル方向に交点が２つある場合は、スクリーンの凹側、すなわち遠い方の交点を採用する。
また、視線ベクトルが交点Ｌより先に地面と交差する場合は、地面との交点を優先して求めても構わない。この場合、仮想投影スクリーンは変則の円柱状となる。
更に、円柱の場合には、図３３に示す如く、地面に垂直に延びる円柱で定義しても構わない。
【００４８】
さすれば、前記仮想投影スクリーンを円柱としたことにより、車両近傍の立体障害物等の表示に対する倒れ込み等の変形量を緩和して、運転者の違和感を軽減することができる。
【００４９】
参考までに説明すると、図３４は円柱仮想投影スクリーンでの予測案内画像を示す図であり、図３５は円柱仮想投影スクリーンでの予測案内画像を示す車両の平面図である。
【実施例５】
【００５０】
図３６及び図３７はこの発明の第５実施例を示すものである。
【００５１】
上述した第１実施例のものは、車両の旋回移動の度に、車両の旋回角度と車速に応じて、表示画像の各画素位置に対応する入力画像の各画素位置を計算するものである。
したがって、高ＣＰＵ、低メモリ型といえる。
この第５実施例の特徴とするところは、高メモリ、低ＣＰＵ型を実現する構成とした点にある。
つまり、車両後方を撮像する後方撮像手段２と、前記車両が後退するか否かを判定する後退判定手段６と、画像を表示する表示手段４と、前記後退判定手段６により前記車両が後退すると判定された時に、前記後方撮像手段２により撮像された後方画像から歪み補正して前記表示手段４により表示する画像を作成する画像作成手段７とを備える運転支援装置１において、図３６に示す如く、前記車両の旋回角度を検出する旋回角度検出手段８と、車速を検出する車速検出手段１１と、前記車両の旋回角度と車速に応じた仮想カメラを視点とする画像の画素位置と真カメラを視点とする画像の画素位置との対応関係を示すデータベース１３とを備え、前記画像作成手段７は、前記旋回角度検出手段８により検出された旋回角度と前記車速検出手段１１により検出された車速とに応じて、前記データベース１３を参照して仮想カメラが視点となるように前記後方撮像手段２により撮像された画像を変換する。
これにより、画素位置の対応関係を毎回計算する必要がない。
従って、演算能力の低いＣＰＵでも表示画像を作成することができるものである。
【００５２】
詳述すれば、この第５実施例においては、車両の旋回角度と車速に応じた仮想カメラを視点とする画像の画素位置と真カメラを視点とする画像の画素位置との対応関係をデータベース化しておき、このデータベース１３を参照することにより、第１実施例のような計算を毎回しなくても、表示画像を作成することを可能としている。
そして、この第５実施例の前記運転支援装置１は、図１に開示される仮想カメラ設定手段１０及び車両位置推定手段９に代えて、図３６に開示されるデータベース１３を備えている。
このデータベース１３は、車両の旋回角度と車速に応じた仮想カメラを視点とする画像の画素位置と真カメラを視点とする画像の画素位置との対応関係をデータベース化したものである。
第１実施例の段落［００１８］に記述したステアリングの操舵角と車両の旋回角度の関係のデータベースとは別のものである。
次に、表示画像を作成する手順について示す。
（ア）車両の旋回に対して発生する車速ｖ、旋回角度θ等の値を事前に計算または測定し、パターン化しておく。
車速ｖ、旋回角度θパターンに沿って発生する組み合わせ分の階層式データテーブル（データベース）を準備する。
各データテーブルについて、表示画像を作成する際の仮想カメラを視点とする画像の画素位置［Ｕｍ，Ｖｍ］、真カメラを視点とする画像の画素位置［Ｕｄ，Ｖｄ］との対応は使用する仮想投影スクリーン別にｖ、θに固有のものであるので、事前計算により［Ｕｍ，Ｖｍ］、［Ｕｄ，Ｖｄ］の変換情報を求めておき、データテーブル内の対応するデータシートに記録する。
（イ）車両旋回時に発生するｖ、θに応じて、対応するデータテーブルから、［Ｕｍ，Ｖｍ］に対応する［Ｕｄ，Ｖｄ］を参照し、表示画像を作成する。
図３７に、例として、車両の旋回角度が２度刻みの時のデータテーブルを示す。
例えば、ある［Ｕｍ，Ｖｍ］に対し、θ＝２［°］、ｖ＝３［ｋｍ／ｈ］とすると、［Ｕｄ，Ｖｄ］が定められる。
【符号の説明】
【００５３】
１ 運転支援装置
２ 後方撮像手段
３ 後退検出手段
４ 表示手段
５ 制御・演算手段
６ 後退判定手段
７ 画像作成手段
８ 旋回角度検出手段
９ 車両位置推定手段
１０ 仮想カメラ設定手段
１１ 車速検出手段
１２ 加速度検出手段
【特許請求の範囲】
【請求項１】
車両後方を撮像する後方撮像手段と、前記車両が後退するか否かを判定する後退判定手段と、画像を表示する表示手段と、前記後退判定手段により前記車両が後退すると判定された時に、前記後方撮像手段により撮像された後方画像から歪み補正して前記表示手段により表示する画像を作成する画像作成手段とを備える運転支援装置において、前記車両の旋回角度を検出する旋回角度検出手段と、この旋回角度検出手段により検出された旋回角度に基づいて、撮像してから表示するまでの遅延時間経過後の前記車両の位置を推定する車両位置推定手段と、この車両位置推定手段により推定された位置に仮想カメラを設定する仮想カメラ設定手段とを備え、前記画像作成手段は、前記仮想カメラ設定手段により設定された仮想カメラが視点となるように前記後方撮像手段により撮像された画像を変換することを特徴とする運転支援装置。
【請求項２】
車速を検出する車速検出手段と、車両の加速度を検出する加速度検出手段とを備え、前記車両位置推定手段は、前記車速検出手段及び前記加速度検出手段により撮像してから表示するまでの遅延時間経過後の車両の移動距離を算出し、車両の併進を伴った車両の位置を推定することを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記画像作成手段は、前記後方撮像手段により撮像された後方画像にガイドラインを重畳して描画した画像を前記仮想カメラ設定手段により設定された仮想カメラが視点となるように変換して、ガイドラインを重畳した視点変換画像を作成することを特徴とする請求項１及び２に記載の運転支援装置。
【請求項４】
前記画像作成手段は、仮想カメラが視点となるように変換された画像にガイドラインを直接描画して、ガイドラインを重畳した視点変換画像を作成することを特徴とする請求項１及び２に記載の運転支援装置。
【請求項５】
前記画像作成手段は、仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線を法線とし、この直線と地面との交点を中心とする平面を仮想投影スクリーンとして設定し、前記仮想カメラのイメージプレーン上の１点を通り、仮想カメラの焦点と仮想投影スクリーンとを第１の直線で結び、この第１の直線と仮想投影スクリーンとの交点を求め、この交点と真カメラの焦点とを第２の直線で結び、この第２の直線と真カメラのイメージプレーンとの交点の画素を第１の直線と仮想カメラのイメージプレーンとの交点の画素とする処理を、仮想カメラのイメージプレーン上の全画素に対して実行することにより、仮想カメラが視点となるように画像を変換することを特徴とする請求項１及び２に記載の運転支援装置。
【請求項６】
前記仮想投影スクリーンを球面とすることを特徴とする請求項５に記載の運転支援装置。
【請求項７】
前記仮想投影スクリーンを円錐とすることを特徴とする請求項５に記載の運転支援装置。
【請求項８】
前記仮想投影スクリーンを円柱とすることを特徴とする請求項５に記載の運転支援装置。
【請求項９】
仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線と地面との交点を球面状の仮想投影スクリーンの中心とし、有効な画像を表示可能な範囲の左右端に相当する仮想カメラのイメージプレーン上の座標を算出し、この座標に相当する球面状の仮想投影スクリーン上の座標を算出し、この座標と球面状の仮想投影スクリーンの中心との距離を算出し、この距離を球面状の仮想投影スクリーンの半径とすることを特徴とする請求項６に記載の運転支援装置。
【請求項１０】
円錐の底面中心を仮想カメラの焦点とし、仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線上で、この直線と地面との交点を中心として仮想カメラの焦点と点対象になる位置を円錐頂点の座標とし、有効な画像を表示可能な範囲の左右端に相当する仮想カメラのイメージプレーン上の座標を算出し、この座標に相当する円錐状の仮想投影スクリーン上の座標を算出し、仮想カメラの焦点の座標と円錐頂点の座標と前記仮想投影スクリーン上の座標とに基づいて円錐状の仮想投影スクリーンの内角を設定することを特徴とする請求項７に記載の運転支援装置。
【請求項１１】
仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線と地面との交点を円柱状の仮想投影スクリーンの中心軸上の点とし、有効な画像を表示可能な範囲の左右端に相当する仮想カメラのイメージプレーン上の座標を算出し、この座標に相当する円柱状の仮想投影スクリーン上の座標を算出し、この座標と円柱状の仮想投影スクリーンの中心軸との距離を算出し、この距離を円柱状の仮想投影スクリーンの半径とすることを特徴とする請求項８に記載の運転支援装置。
【請求項１２】
車両後方を撮像する後方撮像手段と、前記車両が後退するか否かを判定する後退判定手段と、画像を表示する表示手段と、前記後退判定手段により前記車両が後退すると判定された時に、前記後方撮像手段により撮像された後方画像から歪み補正して前記表示手段により表示する画像を作成する画像作成手段とを備える運転支援装置において、前記車両の旋回角度を検出する旋回角度検出手段と、車速を検出する車速検出手段と、前記車両の旋回角度と車速に応じた仮想カメラを視点とする画像の画素位置と真カメラを視点とする画像の画素位置との対応関係を示すデータベースとを備え、前記画像作成手段は、前記旋回角度検出手段により検出された旋回角度と前記車速検出手段により検出された車速とに応じて、前記データベースを参照して仮想カメラが視点となるように前記後方撮像手段により撮像された画像を変換することを特徴とする運転支援装置。
【請求項１】
車両後方を撮像する後方撮像手段と、前記車両が後退するか否かを判定する後退判定手段と、画像を表示する表示手段と、前記後退判定手段により前記車両が後退すると判定された時に、前記後方撮像手段により撮像された後方画像から歪み補正して前記表示手段により表示する画像を作成する画像作成手段とを備える運転支援装置において、前記車両の旋回角度を検出する旋回角度検出手段と、この旋回角度検出手段により検出された旋回角度に基づいて、撮像してから表示するまでの遅延時間経過後の前記車両の位置を推定する車両位置推定手段と、この車両位置推定手段により推定された位置に仮想カメラを設定する仮想カメラ設定手段とを備え、前記画像作成手段は、前記仮想カメラ設定手段により設定された仮想カメラが視点となるように前記後方撮像手段により撮像された画像を変換することを特徴とする運転支援装置。
【請求項２】
車速を検出する車速検出手段と、車両の加速度を検出する加速度検出手段とを備え、前記車両位置推定手段は、前記車速検出手段及び前記加速度検出手段により撮像してから表示するまでの遅延時間経過後の車両の移動距離を算出し、車両の併進を伴った車両の位置を推定することを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記画像作成手段は、前記後方撮像手段により撮像された後方画像にガイドラインを重畳して描画した画像を前記仮想カメラ設定手段により設定された仮想カメラが視点となるように変換して、ガイドラインを重畳した視点変換画像を作成することを特徴とする請求項１及び２に記載の運転支援装置。
【請求項４】
前記画像作成手段は、仮想カメラが視点となるように変換された画像にガイドラインを直接描画して、ガイドラインを重畳した視点変換画像を作成することを特徴とする請求項１及び２に記載の運転支援装置。
【請求項５】
前記画像作成手段は、仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線を法線とし、この直線と地面との交点を中心とする平面を仮想投影スクリーンとして設定し、前記仮想カメラのイメージプレーン上の１点を通り、仮想カメラの焦点と仮想投影スクリーンとを第１の直線で結び、この第１の直線と仮想投影スクリーンとの交点を求め、この交点と真カメラの焦点とを第２の直線で結び、この第２の直線と真カメラのイメージプレーンとの交点の画素を第１の直線と仮想カメラのイメージプレーンとの交点の画素とする処理を、仮想カメラのイメージプレーン上の全画素に対して実行することにより、仮想カメラが視点となるように画像を変換することを特徴とする請求項１及び２に記載の運転支援装置。
【請求項６】
前記仮想投影スクリーンを球面とすることを特徴とする請求項５に記載の運転支援装置。
【請求項７】
前記仮想投影スクリーンを円錐とすることを特徴とする請求項５に記載の運転支援装置。
【請求項８】
前記仮想投影スクリーンを円柱とすることを特徴とする請求項５に記載の運転支援装置。
【請求項９】
仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線と地面との交点を球面状の仮想投影スクリーンの中心とし、有効な画像を表示可能な範囲の左右端に相当する仮想カメラのイメージプレーン上の座標を算出し、この座標に相当する球面状の仮想投影スクリーン上の座標を算出し、この座標と球面状の仮想投影スクリーンの中心との距離を算出し、この距離を球面状の仮想投影スクリーンの半径とすることを特徴とする請求項６に記載の運転支援装置。
【請求項１０】
円錐の底面中心を仮想カメラの焦点とし、仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線上で、この直線と地面との交点を中心として仮想カメラの焦点と点対象になる位置を円錐頂点の座標とし、有効な画像を表示可能な範囲の左右端に相当する仮想カメラのイメージプレーン上の座標を算出し、この座標に相当する円錐状の仮想投影スクリーン上の座標を算出し、仮想カメラの焦点の座標と円錐頂点の座標と前記仮想投影スクリーン上の座標とに基づいて円錐状の仮想投影スクリーンの内角を設定することを特徴とする請求項７に記載の運転支援装置。
【請求項１１】
仮想カメラの焦点と仮想カメラの画像中心とを結ぶ直線と地面との交点を円柱状の仮想投影スクリーンの中心軸上の点とし、有効な画像を表示可能な範囲の左右端に相当する仮想カメラのイメージプレーン上の座標を算出し、この座標に相当する円柱状の仮想投影スクリーン上の座標を算出し、この座標と円柱状の仮想投影スクリーンの中心軸との距離を算出し、この距離を円柱状の仮想投影スクリーンの半径とすることを特徴とする請求項８に記載の運転支援装置。
【請求項１２】
車両後方を撮像する後方撮像手段と、前記車両が後退するか否かを判定する後退判定手段と、画像を表示する表示手段と、前記後退判定手段により前記車両が後退すると判定された時に、前記後方撮像手段により撮像された後方画像から歪み補正して前記表示手段により表示する画像を作成する画像作成手段とを備える運転支援装置において、前記車両の旋回角度を検出する旋回角度検出手段と、車速を検出する車速検出手段と、前記車両の旋回角度と車速に応じた仮想カメラを視点とする画像の画素位置と真カメラを視点とする画像の画素位置との対応関係を示すデータベースとを備え、前記画像作成手段は、前記旋回角度検出手段により検出された旋回角度と前記車速検出手段により検出された車速とに応じて、前記データベースを参照して仮想カメラが視点となるように前記後方撮像手段により撮像された画像を変換することを特徴とする運転支援装置。
【図１】
【図２】
【図４】
【図６】
【図８】
【図１０】
【図１４】
【図１７】
【図１９】
【図２３】
【図２４】
【図２７】
【図２８】
【図３０】
【図３１】
【図３２】
【図３３】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図３】
【図５】
【図７】
【図９】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１８】
【図２０】
【図２１】
【図２２】
【図２５】
【図２６】
【図２９】
【図３４】
【図２】
【図４】
【図６】
【図８】
【図１０】
【図１４】
【図１７】
【図１９】
【図２３】
【図２４】
【図２７】
【図２８】
【図３０】
【図３１】
【図３２】
【図３３】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図３】
【図５】
【図７】
【図９】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１８】
【図２０】
【図２１】
【図２２】
【図２５】
【図２６】
【図２９】
【図３４】
【公開番号】特開２０１１−２５９１５２（Ｐ２０１１−２５９１５２Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１３１１５１（Ｐ２０１０−１３１１５１）
【出願日】平成２２年６月８日（２０１０．６．８）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月８日（２０１０．６．８）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
[ Back to top ]