運転支援システム及び連結車両
【課題】低コストで、トレーラの予想移動軌跡を表示する。
【解決手段】トラクタとトレーラから成る連結車両のトレーラ側にカメラを設置する。カメラは、トレーラの後方を撮影する。運転支援システムは、各撮影画像を路面に平行な鳥瞰図座標上に投影することによって各撮影画像を鳥瞰図画像に変換する一方で、複数の撮影画像から成る動画像のオプティカルフローを鳥瞰図座標上で導出する。このオプティカルフローとトラクタの移動情報からトラクタとトレーラの連結角を推定し、更に、連結角とトラクタの移動情報からトレーラの移動予想軌跡を導出する。そして、この移動予想軌跡を鳥瞰図画像に重畳した画像を表示装置に出力する。
【解決手段】トラクタとトレーラから成る連結車両のトレーラ側にカメラを設置する。カメラは、トレーラの後方を撮影する。運転支援システムは、各撮影画像を路面に平行な鳥瞰図座標上に投影することによって各撮影画像を鳥瞰図画像に変換する一方で、複数の撮影画像から成る動画像のオプティカルフローを鳥瞰図座標上で導出する。このオプティカルフローとトラクタの移動情報からトラクタとトレーラの連結角を推定し、更に、連結角とトラクタの移動情報からトレーラの移動予想軌跡を導出する。そして、この移動予想軌跡を鳥瞰図画像に重畳した画像を表示装置に出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連結車両の運転を支援するための運転支援システムに関する。また、本発明は、その運転支援システムを利用した連結車両に関する。
【背景技術】
【０００２】
近年の安全意識の高まりに伴って、車両にカメラを搭載することが多くなっている。この傾向は、普通乗用車だけでなく産業用車両に対しても当てはまる。特に、トラクタ及び該トラクタによって牽引されるトレーラから構成される連結車両は、その運転が比較的難しく、カメラを用いた運転支援が有益である。この種の連結車両では、トレーラが連結部を支点として折れ曲がるが、トラクタが動いた場合にトレーラの後端部がどのように動くかを運転者は認識しにくい。
【０００３】
このような事情を考慮し、カメラを用いて連結車両の運転を支援する技術が幾つか提案されている。例えば、下記特許文献１には、牽引車の後方と被牽引車の後方にカメラを１台ずつ設置し、被牽引車の予想移動軌跡を求めて、それを被牽引車の後方の画像に重畳して表示する技術が開示されている。しかしながら、この技術では、２台のカメラが必須となるため、システム全体のコストが高くなる。
【０００４】
【特許文献１】特開２００６−２５６５４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで本発明は、低コストで良好に車両運転を支援することのできる運転支援システムを提供することを目的とする。また、本発明は、その運転支援システムを利用した連結車両を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明に係る第１の運転支援システムは、第１車両と該第１車両に連結される第２車両とから成る連結車両の前記第２車両側に設置された、前記第２車両の後方を撮影するカメラを備え、前記カメラから時系列で並ぶ複数の撮影画像を取得し、各撮影画像から生成した表示用画像を表示装置に対して出力する運転支援システムにおいて、前記複数の撮影画像にて形成される動画像のオプティカルフローを導出する動き検出手段と、前記オプティカルフロー及び入力された前記第１車両の移動情報に基づいて、前記第１車両と前記第２車両の連結角を推定する連結角推定手段と、前記連結角及び前記第１車両の移動情報に基づいて、前記第２車両の予想移動軌跡を導出する移動軌跡推定手段と、を備え、前記撮影画像に基づく画像に対して前記予想移動軌跡に応じた指標を重畳することによって前記表示用画像を生成することを特徴とする。
【０００７】
これにより、第２車両の予想移動軌跡を映像にて確認することが可能となり、運転者による運転操作が支援される。また、第２車両側にカメラを設置すれば足るため、低コストである。
【０００８】
具体的には例えば、第１の運転支援システムは、各撮影画像を所定の鳥瞰図座標上に投影することによって前記複数の撮影画像を複数の鳥瞰図画像に変換する座標変換手段を更に備え、前記動き検出手段によって導出される前記オプティカルフローは、前記鳥瞰図座標上のオプティカルフローである。
【０００９】
また具体的には例えば、第１の運転支援システムにおいて、前記第１車両の移動情報は、前記第１車両の移動方向及び移動速度を表す情報を含み、前記連結角推定手段は、前記第１車両の移動情報に基づいて前記鳥瞰図座標上における前記第１車両の移動方向及び移動量を表すベクトルを導出し、前記ベクトルと前記オプティカルフローとに基づいて前記連結角を推定する。
【００１０】
上記目的を達成するために本発明に係る第２の運転支援システムは、第１車両と該第１車両に連結される第２車両とから成る連結車両の前記第２車両側に設置された、前記第２車両の後方を撮影するカメラを備え、前記カメラから時系列で並ぶ複数の撮影画像を取得し、各撮影画像から生成した表示用画像を表示装置に対して出力する運転支援システムにおいて、前記複数の撮影画像にて形成される動画像のオプティカルフローを導出する動き検出手段と、前記オプティカルフローから前記第２車両の移動方向を推定する移動方向推定手段と、を備え、その推定結果を前記表示用画像に反映させる。
【００１１】
これにより、第２車両の移動方向を映像にて確認することが可能となり、運転者による運転操作が支援される。また、第２車両側にカメラを設置すれば足るため、低コストである。
【００１２】
具体的には例えば、第２の運転支援システムは、各撮影画像を所定の鳥瞰図座標上に投影することによって前記複数の撮影画像を複数の鳥瞰図画像に変換する座標変換手段を更に備え、前記動き検出手段によって導出される前記オプティカルフローは、前記鳥瞰図座標上のオプティカルフローである。
【００１３】
また例えば、第２の運転支援システムは、前記オプティカルフロー及び入力された前記第１車両の移動情報に基づいて、前記第１車両と前記第２車両の連結角を推定する連結角推定手段を更に備え、前記連結角の推定結果を前記表示用画像に反映させる。
【００１４】
また例えば、第２の運転支援システムにおいて、前記第１車両の移動情報は、前記第１車両の移動方向及び移動速度を表す情報を含み、前記連結角推定手段は、前記第１車両の移動情報に基づいて前記鳥瞰図座標上における前記第１車両の移動方向及び移動量を表すベクトルを導出し、前記ベクトルと前記オプティカルフローとに基づいて前記連結角を推定する。
【００１５】
また例えば、第１又は第２の運転支援システムは、推定された前記連結角と所定の閾値角度との比較結果に応じた報知を外部に対して行う報知手段を更に備えている。
【００１６】
上記目的を達成するために本発明に係る連結車両は、第１車両と該第１車両に連結される第２車両とから成り、上記の何れかに記載の運転支援システムが設置されたことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、低コストで良好に車両運転を支援することができる。
【００１８】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第６実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２０】
図１に、本発明の実施形態に係る運転支援システムの構成ブロック図を示す。図１の運転支援システムは、カメラ１と、画像処理装置２と、表示装置３と、を備える。カメラ１は、撮影を行い、撮影によって得られた画像を表す信号を画像処理装置２に出力する。画像処理装置２は、カメラ１から得た画像より表示用画像を生成する。画像処理装置２は、生成した表示用画像を表す映像信号を表示装置３に出力し、表示装置３は、与えられた映像信号に従って表示用画像を映像として表示する。
【００２１】
カメラ１の撮影によって得られた画像そのものは、レンズ歪みの影響を受けていることが多い。従って、画像処理装置２は、カメラ１の撮影によって得られた画像そのものに対してレンズ歪み補正を施し、レンズ歪み補正後の画像に基づいて表示用画像の生成を行う。このレンズ歪み補正後の画像を、以下、撮影画像と呼ぶことにする。レンズ歪み処理が不要である場合には、カメラ１の撮影によって得られた画像そのものが、撮影画像である。尚、撮影画像をカメラ画像と読み替えてもよい。
【００２２】
図２は、図１の運転支援システムが設置される連結車両１０の外観側面図である。連結車両１０は、トラクタ１１と、トラクタ１１に連結され、トラクタ１１によって牽引されるトレーラ１２と、から成る。符合１３はトレーラ１２に設けられた車輪を表す。一般的に、車輪１３はトレーラ１２の後輪と呼ばれる。車輪１３は２つ設けられており、一方の車輪１３はトレーラ１２の左側に他方の車輪１３はトレーラ１２の右側に配置されている。また、トレーラ１２の後方上端部に、カメラ１が設置され、カメラ１はトレーラ１２の周辺を撮影する。
【００２３】
連結車両１０は、路面上に配置され、路面上を走行する。以下、路面は水平面に平行であるものとする。また、単に「高さ」といった場合、それは、路面を基準とした高さを意味するものとする。また、本実施形態において、地面と路面は同義である。また、車両に対する一般的な解釈と同様、トレーラ１２からトラクタ１１を見た方向を前方向とし、トラクタ１１からトレーラ１２を見た方向を後方向とする。
【００２４】
カメラ１として、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、運転支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、トラクタ１１内部の運転席付近に設置される。
【００２５】
図３も、図２と同じく、連結車両１０の外観側面図である。但し、カメラ１の傾き角度を明示するために、図３では、カメラ１を拡大図示すると共にトレーラ１２の模様を図２のそれから変化させている。カメラ１は、トレーラ１２の後方斜め下向きに設置され、カメラ１の視野内に、トレーラ１２の後方に位置する路面や立体物が収まる。水平面とカメラ１の光軸とのなす角は、図３にθで表される角度と、θ2で表される角度との２種類がある。角度θ2は、一般的には、見下ろし角または俯角と呼ばれている。今、角度θを、水平面に対するカメラ１の傾き角度として捉える。９０°＜θ＜１８０°且つθ＋θ2＝１８０°、が成立する。
【００２６】
図４及び図５の夫々は、連結車両１０を上方から見た平面図である。図４及び図５では、図示の簡略化上、トラクタ１１及びトレーラ１２を単なる四角形で表している。図４は、トラクタ１１とトレーラ１２の成す角（以下、「連結角」という）が０°である時における平面図であり、図５は連結角が０°でない時における平面図である。連結角が０°である時、トラクタ１１とトレーラ１２は一直線上に並ぶ（トラクタ１１とトレーラ１２の各車体は一直線上に並ぶ）。
【００２７】
符号１４は、トラクタ１１とトレーラ１２との連結部である。トレーラ１２は、連結部１４にてトラクタ１１と連結される。トレーラ１２は、連結部１４を支点にして、トラクタ１１に対して屈曲する。トラクタ１１及びトレーラ１２を水平面上に射影した二次元平面において、トラクタ１１の車体の中心線２１とトレーラ１２の車体の中心線２２との成す角が、上記の連結角に相当し、この連結角をθCNで表す。尚、中心線２１及び中心線２２は、連結車両１０が真っ直ぐ前進している時における連結車両１０の進行方向に平行な中心線である。
【００２８】
トラクタ１１及びトレーラ１２を上方から見た場合において、連結部１４を支点にしてトレーラ１２が反時計回り方向に屈曲する場合に現れる連結角θCNを正とする。従って、連結車両１０が直進している状態から右折しようとする際に表れる連結角θCNは、正となる。
【００２９】
［鳥瞰図画像の生成方法］
図１の画像処理装置２は、座標変換を用いて、撮影画像を鳥瞰図画像に変換する機能を備える。撮影画像から鳥瞰図画像を生成するための座標変換を「鳥瞰変換」と呼ぶ。この鳥瞰変換の手法について説明する。
【００３０】
図６は、カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw との関係を示している。座標系ＸbuＹbuは、撮影画像が定義される座標系である。
【００３１】
カメラ座標系ＸＹＺは、Ｘ軸、Ｙ軸及びＺ軸を座標軸とする三次元の座標系である。撮像面Ｓの座標系ＸbuＹbuは、Ｘbu軸及びＹbu軸を座標軸とする二次元の座標系である。２次元地面座標系Ｘw Ｚwは、Ｘw軸及びＺw軸を座標軸とする二次元の座標系である。世界座標系Ｘw ＹwＺwは、Ｘw軸、Ｙw軸及びＺw軸を座標軸とする三次元の座標系である。
【００３２】
以下、カメラ座標系ＸＹＺ、撮像面Ｓの座標系ＸbuＹbu、２次元地面座標系Ｘw Ｚw 及び世界座標系Ｘw Ｙw Ｚw を、夫々、単にカメラ座標系、撮像面Ｓの座標系、２次元地面座標系及び世界座標系と略記することがある。
【００３３】
カメラ座標系ＸＹＺでは、カメラ１の光学中心を原点Ｏとして、光軸方向にＺ軸がとられ、Ｚ軸に直交しかつ地面に平行な方向にＸ軸がとられ、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系ＸbuＹbuでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸbu軸がとられ、撮像面Ｓの縦方向にＹbu軸がとられている。
【００３４】
世界座標系Ｘw Ｙw Ｚw では、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏw とし、地面と垂直な方向にＹw 軸がとられ、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸw 軸がとられ、Ｘw 軸およびＹw 軸に直交する方向にＺw 軸がとられている。
【００３５】
Ｘw 軸とＸ軸との間の平行移動量はｈであり、その平行移動の方向は鉛直線方向である。Ｚw 軸とＺ軸との成す鈍角の角度は、傾き角度θと一致する。ｈ及びθの値は予め設定され、画像処理装置２に与えられる。
【００３６】
カメラ座標系ＸＹＺにおける画素の座標値を（ｘ，ｙ，ｚ）と表記する。ｘ、ｙ及びｚは、夫々、カメラ座標系ＸＹＺにおける、Ｘ軸成分、Ｙ軸成分及びＺ軸成分である。
世界座標系Ｘw Ｙw Ｚwにおける画素の座標値を（ｘw ，ｙw ，ｚw ）と表記する。ｘw 、ｙw 及びｚwは、夫々、世界座標系Ｘw Ｙw Ｚwにおける、Ｘw軸成分、Ｙw軸成分及びＺw軸成分である。
二次元地面座標系Ｘw Ｚw における画素の座標値を（ｘw ，ｚw ）と表記する。ｘw及びｚwは、夫々、二次元地面座標系Ｘw Ｚwにおける、ＸW軸成分及びＺW軸成分であり、それらは世界座標系Ｘw Ｙw ＺwにおけるＸW軸成分及びＺW軸成分と一致する。
撮像面Ｓの座標系ＸbuＹbuにおける画素の座標値を（ｘbu，ｙbu）と表記する。ｘbu及びｙbuは、夫々、撮像面Ｓの座標系ＸbuＹbuにおける、Ｘbu軸成分及びＹbu軸成分である。
【００３７】
カメラ座標系ＸＹＺの座標値（ｘ，ｙ，ｚ）と世界座標系Ｘw Ｙw Ｚw の座標値（ｘw ，ｙw ，ｚw ）との間の変換式は、次式（１）で表される。
【００３８】
【数１】
【００３９】
ここで、カメラ１の焦点距離をｆとする。そうすると、撮像面Ｓの座標系ＸbuＹbuの座標値（ｘbu，ｙbu）と、カメラ座標系ＸＹＺの座標値（ｘ，ｙ，ｚ）との間の変換式は、次式（２）で表される。
【００４０】
【数２】
【００４１】
上記式（１）及び（２）から、撮像面Ｓの座標系ＸbuＹbuの座標値（ｘbu，ｙbu）と二次元地面座標系Ｘw Ｚw の座標値（ｘw ，ｚw ）との間の変換式（３）が得られる。
【００４２】
【数３】
【００４３】
また、図６には示されていないが、鳥瞰図画像についての座標系である鳥瞰図座標系ＸauＹauを定義する。鳥瞰図座標系ＸauＹauは、Ｘau軸及びＹau軸を座標軸とする二次元の座標系である。鳥瞰図座標系ＸauＹauにおける画素の座標値を（ｘau，ｙau）と表記する。鳥瞰図画像は、二次元配列された複数の画素の画素信号によって表され、鳥瞰図画像上における各画素の位置は座標値（ｘau，ｙau）によって表される。ｘau及びｙauは、それぞれ鳥瞰図座標系ＸauＹauにおけるＸau軸成分及びＹau軸成分である。
【００４４】
鳥瞰図画像は、実際のカメラ１の撮影を介して得られた撮影画像を仮想カメラの視点（以下、仮想視点という）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれる。
【００４５】
地面と一致する、二次元地面座標系Ｘw Ｚw が定義される平面は、鳥瞰図座標系ＸauＹauが定義される平面と平行である。従って、二次元地面座標系Ｘw Ｚw から仮想カメラの鳥瞰図座標系ＸauＹauへの投影は、平行投影によって行われる。仮想カメラの高さ（即ち、仮想視点の高さ）をＨとすると、二次元地面座標系Ｘw Ｚw の座標値（ｘw ，ｚw ）と鳥瞰図座標系ＸauＹauの座標値（ｘau，ｙau）との間の変換式は、次式（４）で表される。仮想カメラの高さＨは予め設定されている。更に、式（４）を変形することにより、下式（５）が得られる。
【００４６】
【数４】
【００４７】
【数５】
【００４８】
得られた式（５）を上記式（３）に代入すると、次式（６）が得られる。
【００４９】
【数６】
【００５０】
上記式（６）から、撮像面Ｓの座標系ＸbuＹbuの座標値（ｘbu，ｙbu）を、鳥瞰図座標系ＸauＹauの座標値（ｘau，ｙau）に変換するための次式（７）が得られる。
【００５１】
【数７】
【００５２】
撮像面Ｓの座標系ＸbuＹbuの座標値（ｘbu，ｙbu）は、撮影画像における座標値を表すため、上記式（７）を用いることによって撮影画像を鳥瞰図画像に変換することができる。
【００５３】
即ち、式（７）に従って、撮影画像の各画素の座標値（ｘbu，ｙbu）を鳥瞰図座標系の座標値（ｘau，ｙau）に変換することにより、鳥瞰図画像を生成することができる。鳥瞰図画像は、鳥瞰図座標系に配列された各画素から形成される。
【００５４】
実際には、式（７）に従って、撮影画像上の各画素の座標値（ｘbu，ｙbu）と鳥瞰図画像上の各画素の座標値（ｘau，ｙau）との対応関係を示すテーブルデータを作成しておき、これを図示されないメモリ（ルックアップテーブル）に予め格納しておく。そして、このテーブルデータを用いて撮影画像を鳥瞰図画像に変換するようにする。勿論、撮影画像が得られる度に式（７）に基づく座標変換演算を行って鳥瞰図画像を生成するようにしても構わない。
【００５５】
以下に、図１の運転支援システムの動作内容を詳細に説明する実施例として、第１〜第６実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用される。尚、以下の説明では、鳥瞰図座標系を、単に鳥瞰図座標と呼ぶこともあるが、両者は同義である。
【００５６】
＜＜第１実施例＞＞
まず、第１実施例について説明する。図１の画像処理装置２は、カメラ１から所定の周期にて撮影画像を取得し、順次得られる撮影画像から表示用画像を順次生成して、最新の表示用画像を表示装置３に対して出力する。これにより、表示装置３には、最新の表示用画像が更新表示される。
【００５７】
図７を参照して、１つの表示用画像を生成するための動作の流れを説明する。図７は、この動作の流れを表すフローチャートである。図７に示すステップＳ１１〜Ｓ１７の各処理は、図１の画像処理装置２にて実行される。
【００５８】
本発明に係る特徴的な表示用画像を生成するためには、異なる時刻で撮影された複数の撮影画像が必要である。そこで、画像処理装置２は、異なる時刻に撮影された複数の撮影画像を取り込み、この複数の撮影画像を後段の処理にて参照する（ステップＳ１１）。今、取り込んだ複数の撮影画像が、時刻ｔ１の撮影によって得られた撮影画像（以下、単に、時刻ｔ１の撮影画像という）と、時刻ｔ２の撮影によって得られた撮影画像（以下、単に、時刻ｔ２の撮影画像という）と、を含むものとする。時刻ｔ１の後に時刻ｔ２が訪れるものとする。また更に、時刻ｔ１−ｔ２間において、連結車両１０が移動しているものとする。従って、時刻ｔ１におけるカメラ１の視点と時刻ｔ２におけるカメラ１の視点は異なる。
【００５９】
時刻ｔ１及びｔ２の撮影画像を取得した後、ステップＳ１２において、時刻ｔ１−ｔ２間のオプティカルフローを求める。但し、ステップＳ１２にて求められるオプティカルフローは、鳥瞰図座標上におけるオプティカルフローである。
【００６０】
具体的には、ステップＳ１２において、以下の処理が行われる。時刻ｔ１及びｔ２の各撮影画像を上述の鳥瞰変換によって鳥瞰図画像に変換する。時刻ｔ１及びｔ２の撮影画像に基づく鳥瞰図画像を、夫々、時刻ｔ１及びｔ２の鳥瞰図画像と呼ぶ。そして、時刻ｔ１の鳥瞰図画像と時刻ｔ２の鳥瞰図画像を対比し、公知のブロックマッチング法や勾配法を用いて、時刻ｔ１−ｔ２間における鳥瞰図座標上のオプティカルフロー（換言すれば、時刻ｔ１及びｔ２の鳥瞰図画像から成る動画像のオプティカルフロー）を求める。
【００６１】
これに代えて、以下のように処理してもよい。即ち、時刻ｔ１の撮影画像と時刻ｔ２の撮影画像を対比し、公知のブロックマッチング法や勾配法を用いて、一旦、撮影画像の座標上のオプティカルフローを求める。そして、この撮影画像の座標上のオプティカルフローを、上記式（７）に従って鳥瞰図座標上にマッピングすることにより、最終的に鳥瞰図座標上のオプティカルフローを求める。
【００６２】
以下、単に、オプティカルフローといった場合、それは、鳥瞰図座標上のオプティカルフローを意味するものとする。
【００６３】
今、説明の具体化のため、図８に示すような状況を想定する。図８は、上方から見た連結車両１０及び連結車両１０の周辺路面を示している。連結車両１０後方の路面上に、駐車場における長方形形状の駐車枠３０が描かれている。その長方形を形成する４つの頂点の内、連結車両１０に比較的近い路面上に位置する２つの頂点を、頂点３１及び３２とする。図８において、符号３３が付された破線三角形は、カメラ１の視野を表している。時刻ｔ１及びｔ２の夫々において、頂点３１及び３２が視野３３内に含まれている場合を想定する。
【００６４】
連結車両１０では、トラクタ１１の移動方向と連結角θCNに応じて、トレーラ１２の移動方向が決定される。時刻ｔ１において、連結角θCNは正の角度を有しており、時刻ｔ１−ｔ２間において、トラクタ１１が真っ直ぐ後方に進行する場合を例にとる。この場合、時刻ｔ１−ｔ２間において、トレーラ１２は右斜め後方に移動することになる。図８において、矢印４１及び４２は、夫々、時刻ｔ１−ｔ２間におけるトラクタ１１及びトレーラ１２の進行方向を示している。
【００６５】
図９（ａ）は時刻ｔ１の撮影画像を表し、図９（ｂ）は時刻ｔ２の撮影画像を表している。図９（ａ）において、符号３１ａ及び３２ａは、夫々、時刻ｔ１の撮影画像上における頂点３１及び３２を表しており、図９（ｂ）において、符号３１ｂ及び３２ｂは、夫々、時刻ｔ２の撮影画像上における頂点３１及び３２を表している。
【００６６】
図１０（ａ）は時刻ｔ１の鳥瞰図画像を表し、図１０（ｂ）は時刻ｔ２の鳥瞰図画像を表している。図１０（ａ）において、符号３１ｃ及び３２ｃは、夫々、時刻ｔ１の鳥瞰図画像上における頂点３１及び３２を表しており、図１０（ｂ）において、符号３１ｄ及び３２ｄは、夫々、時刻ｔ２の鳥瞰図画像上における頂点３１及び３２を表している。
【００６７】
図１１に、図１０（ａ）及び（ｂ）に示す２つの鳥瞰図画像を重ね合わせた画像１０１を示す。今、図８の頂点３１及び３２を、夫々、第１及び第２の特徴点として捉える。図１１における矢印Ｖ31は、時刻ｔ１−ｔ２間における、鳥瞰図座標上の第１の特徴点の移動ベクトルを表しており、図１１における矢印Ｖ32は、時刻ｔ１−ｔ２間における、鳥瞰図座標上の第２の特徴点の移動ベクトルを表している。尚、移動ベクトルは、動きベクトルと同義である。
【００６８】
移動ベクトルＶ31は、特徴点３１ｃから特徴点３１ｄに向かう偏移をベクトルで表したものであり、鳥瞰図座標上における第１の特徴点の、時刻ｔ１−ｔ２間における移動の向き及び大きさを表す。移動ベクトルＶ31は、特徴点３２ｃから特徴点３２ｄに向かう偏移をベクトルで表したものであり、鳥瞰図座標上における第２の特徴点の、時刻ｔ１−ｔ２間における移動の向き及び大きさを表す。
【００６９】
オプティカルフローは、複数の移動ベクトルの集まりであり、ステップＳ１２で求められるオプティカルフローには、移動ベクトルＶ31及びＶ32が含まれている。鳥瞰図座標上における特徴点の移動は実空間におけるトレーラ１２の移動によって生じ、且つ、鳥瞰図座標が定義された平面は路面に平行であるため、移動ベクトルＶ31やＶ32と向きが反対のベクトルは、時刻ｔ１−ｔ２間におけるトレーラ１２の移動情報を表している。
【００７０】
ステップＳ１２に続くステップＳ１３では、このトレーラ１２の移動情報をオプティカルフローに基づいて求める。この移動情報は、具体的には、図１１のベクトルＶBによって表される。ベクトルＶBはステップＳ１２にて求められたオプティカルフローから導出される。ベクトルＶBの向き及び大きさは、時刻ｔ１−ｔ２間における、鳥瞰図座標上のトレーラ１２の移動方向及び移動量を表している。
【００７１】
ベクトルＶBは、例えば、ステップＳ１２にて求められたオプティカルフローに含まれる、着目した１つの移動ベクトル（例えば、Ｖ31又はＶ32）に基づいて、導出される。この場合、ベクトルＶBの大きさは、着目した１つの移動ベクトルの大きさと同じとされ、且つ、ベクトルＶBの向きは、着目した１つの移動ベクトルの向きと反対とされる。
【００７２】
或いは例えば、ベクトルＶBは、ステップＳ１２にて求められたオプティカルフローに含まれる複数の移動ベクトル（例えば、Ｖ31及びＶ32）に基づいて、導出される。この場合、ベクトルＶBの大きさは、その複数の移動ベクトルの平均ベクトルの大きさと同じとされ、且つ、ベクトルＶBの向きは、その複数の移動ベクトルの平均ベクトルの向きと反対とされる。
【００７３】
ステップＳ１３に続くステップＳ１４において、画像処理装置２は、時刻ｔ１−ｔ２間におけるトラクタ１１の移動情報を検出する。このトラクタ１１の移動情報は、連結車両１０に備えられた舵角センサ及び速度センサ（不図示）から得られる。舵角センサは、トラクタ１１の操舵角を検出するセンサである。速度センサは、トラクタ１１の移動速度を検出するセンサである。
【００７４】
トラクタ１１の移動情報には、舵角センサによって検出された時刻ｔ１−ｔ２間におけるトラクタ１１の操舵角と、速度センサによって検出された時刻ｔ１−ｔ２間におけるトラクタ１１の移動速度と、が含まれる。このトラクタ１１の移動情報と時刻ｔ１−ｔ２間の時間差Δｔとに基づいて、時刻ｔ１−ｔ２間における、トラクタ１１の実空間上の移動方向及び移動量が求まる。トラクタ１１の実空間上の移動方向とは、図５の中心線２１に対するトラクタ１１の実空間上の移動方向を意味する。
【００７５】
画像処理装置２は、このトラクタ１１の実空間上の移動方向及び移動量を表すベクトルを、鳥瞰図座標上のベクトルＶAに変換する。鳥瞰図座標が定義される平面は路面に平行であり、トラクタ１１の実空間上の移動は路面上の移動であるため、仮想カメラの高さＨなどに基づいて幾何学的にトラクタ１１の実空間上の移動方向及び移動量を表すベクトルをベクトルＶAに変換することができる。ベクトルＶAは、時刻ｔ１−ｔ２間における、トラクタ１１の鳥瞰図座標上の移動方向及び移動量を表す。
【００７６】
着目した任意の区間において、連結部１４の移動方向及び移動量はトラクタ１１の移動方向及び移動量と一致し、トラクタ１１の移動方向及び移動量と連結角θCNが定まれば着目した区間におけるトレーラ１２の移動方向及び移動量は定まる。つまり、トラクタ１１の移動方向及び移動量を第１変数とし、トレーラ１２の移動方向及び移動量を第２変数とし、連結角θCNを第３変数とした場合、第１〜第３変数の内の２つの変数が定まれば残りの１つの変数が定まる。
【００７７】
このような特性を利用し、画像処理装置２は、ステップＳ１４に続くステップＳ１５において、ステップＳ１４及びＳ１３にて得られたトラクタ１１及びトレーラ１２の移動情報に基づいて現時点の連結角θCNを推定する。現時点の連結角θCNとは、時刻ｔ２における連結角、或いは、時刻ｔ１−ｔ２間における連結角である。図１２に、トラクタ１１の移動情報に対応するベクトルＶAと、トレーラ１２の移動情報に対応するベクトルＶB（図１１参照）と、の関係を示す。時刻ｔ１−ｔ２間において、トラクタ１１が真っ直ぐ後方に進行する場合は、下記式（８）にベクトルＶA及びＶBを代入することにより連結角θCNが求まる。
【００７８】
【数８】
【００７９】
詳細には、トレーラ１２の移動方向及び移動量は、トラクタ１１の移動方向及び移動量と連結角θCNだけでなく、連結部１４とトレーラ１２の車輪１３（図２参照）との位置関係やトレーラ１２の形状などにも依存する。従って、これらの関係を考慮して、幾何学的に連結角θCNを求めればよい。連結部１４と車輪１３との位置関係やトレーラ１２の形状は予め定まっているため、トラクタ１１及びトレーラ１２の移動情報が決まれば連結角θCNを一意に決めることができる。つまり、連結角θCNを、トラクタ１１及びトレーラ１２の移動情報（即ち、ベクトルＶA及びＶB）の関数として表現することができる。このため、例えば、トラクタ１１及びトレーラ１２の移動情報を入力すれば連結角θCNが出力されるルックアップテーブルを、連結部１４と車輪１３との位置関係やトレーラ１２の形状等に基づいて予め作成して画像処理装置２内に記憶しておき、ステップＳ１５では、そのルックアップテーブルを用いて連結角θCNを推定すればよい。
【００８０】
或る時刻におけるトラクタ１１の操舵角と連結角θCNが決まれば、その後のトレーラ１２の進路を予想することができる。そこで、ステップＳ１５に続くステップＳ１６では、ステップＳ１４にて検出されたトラクタ１１の移動情報とステップＳ１５で推定された連結角θCNとに基づいて、トレーラ１２の予想移動軌跡を導出する。ここで導出される予想移動軌跡は、鳥瞰図座標上における、時刻ｔ２以降のトレーラ１２の車体の移動軌跡を予想したものである。
【００８１】
詳細には、トレーラ１２の予想移動軌跡は、トラクタ１１の操舵角と連結角θCNだけでなく、連結部１４とトレーラ１２の車輪１３（図２参照）との位置関係やトレーラ１２の形状などにも依存する。従って、これらの関係を考慮して、幾何学的に予想移動軌跡を求めればよい。連結部１４と車輪１３との位置関係やトレーラ１２の形状は予め定まっているため、各時刻におけるトラクタ１１の操舵角と連結角θCNが決まれば、各時刻におけるトレーラ１２の車体の位置を一意に決めることができる。但し、操舵角が一定角度に保持されていても連結角θCNは逐次変化してゆくことを考慮する必要がある。
【００８２】
具体的には例えば、以下の処理１〜３を介して予想移動軌跡を導出する。
処理１：予想移動軌跡の導出に際して、トラクタ１１が現時点の操舵角及び移動速度をそのまま維持したまま時刻ｔ２以降も移動すると仮定する。その上で、現時点のトラクタ１１の操舵角と現時点の連結角θCNとから未来の各時刻における連結角θCNを推定する。この推定を行うためのルックアップテーブルは、連結部１４と車輪１３との位置関係やトレーラ１２の形状等に基づいて予め作成しておくことができる。実際の連結車両１０の走行テスト結果に基づいて該ルックアップテーブルを作成しておくようにしてもよい。このルックアップテーブルに、現時点のトラクタ１１の操舵角と現時点の連結角θCNとを入力することにより未来の各時刻における連結角θCN（即ち、時刻ｔ２よりも後の各時刻における連結角θCN）推定される。
処理２：現時点の操舵角と処理１によって推定された未来の各時刻における連結角θCNとに基づいて、未来の各区間におけるトレーラ１２の鳥瞰図座標上の移動方向を推定する。この推定を行うためのルックアップテーブルも、連結部１４と車輪１３との位置関係やトレーラ１２の形状等に基づいて予め作成しておく。
処理３：未来の各区間におけるトレーラ１２の鳥瞰図座標上の移動方向と、鳥瞰図座標上におけるトレーラ１２の車体位置と、に基づいて予想移動軌跡を導出する。時刻ｔ２における鳥瞰図座標上のトレーラ１２の車体位置を起点として、未来の各区間におけるトレーラ１２の移動方向を繋ぎ合わせていけば、予想移動軌跡が求まる。
【００８３】
ステップＳ１６に続くステップＳ１７において、画像処理装置２は、ステップＳ１６にて求めた予想移動軌跡に応じた表示用画像を作成する。具体的には、トレーラ１２の車体の左後端の予想移動軌跡を示す車両ガイドラインと、トレーラ１２の車体の右後端の予想移動軌跡を示す車両ガイドラインとを、時刻ｔ２の鳥瞰図画像に重畳することにより表示用画像を生成する。ここにおける表示用画像も、鳥瞰図画像と同様、鳥瞰図座標上における画像である。
【００８４】
図１３に、表示用画像の例を示す。尚、図１０（ａ）及び（ｂ）では鳥瞰図画像の外形形状を矩形としていたが、鳥瞰図画像の外形形状が矩形であるとは限らない。図１３に示す表示用画像１２０の外形形状は６角形となっている。また、図１３の表示用画像１２０は、図１０（ａ）や（ｂ）に示す鳥瞰図画像と随分異なっているが、その相違は図示の便宜のために生じたものである。
【００８５】
表示用画像１２０において、斜線領域は、駐車枠の白線の描画領域を表している。表示用画像１２０は、撮影画像に基づく鳥瞰図画像に車両ガイドライン１２１及び１２２を重畳することによって得られる。点１２３及び１２４は、鳥瞰図画像上におけるトレーラ１２の左右後端部に対応し、点１２３と点１２４との間の長さは、鳥瞰図画像上におけるトレーラ１２の車幅を表している。車両ガイドライン１２１及び１２２は、点１２３及び１２４を起点として描かれる。
【００８６】
表示用画像１２０には、更に、トレーラ１２の後端からの距離を表す第１及び第２の距離線が重畳される。表示用画像１２０においては、表示用画像１２０の横方向に伸びる破線１２５及び１２６が、夫々、第１及び第２の距離線を表す。第１及び第２の距離線は、例えば、夫々、トレーラ１２の後端からの距離が１ｍ及び２ｍの部分を示している。勿論、第３の距離線（及び第４の距離線、・・・）を追加的に重畳するようにしても構わない。２次元地面座標系Ｘw Ｚw におけるＺw 軸方向の座標値ｚwは、トレーラ１２の後端からの距離を表しているので、画像処理装置２は、上記式（４）又は（５）から、表示用画像上における第１及び第２の距離線の位置を求めることが出来る。尚、破線１２５及び１２６の各左端及び点１２３を通る破線と、破線１２５及び１２６の各右端及び点１２４を通る破線は、トレーラ１２の左右端の延長線に相当する。
【００８７】
ステップＳ１７で生成された表示用画像は、表示装置３の表示画面上に表示される。ステップＳ１７の処理を終えるとステップＳ１１に戻り、最新の撮影画像に基づく表示用画像を表示装置３に更新表示するべく、ステップＳ１１〜Ｓ１７の各処理を繰り返し実行する。
【００８８】
乗用車やトラッククに比べて連結車両１０の運転には高い技術が必要となると共に直接の目視後方確認が難しいが、本実施例の如く車両ガイドラインを表示することにより良好に安全運転が支援される。また、このような支援を１台のカメラで行うことができるため、低コストで運転支援システムを形成することができる。本実施例では、鳥瞰図画像に付加情報を重畳することにより表示用画像を生成しているため、実際の距離と映像上の距離との整合が保たれた、車両後方の状況を把握しやすい画像を運転者に提供することができる。
【００８９】
＜＜第２実施例＞＞
図７のステップＳ１３にて求められるべきトレーラ１２の移動情報は、図１１のベクトルＶBによって表され、移動ベクトルＶ31及び／又はＶ32が求まればベクトルＶBを導出することができる。そこで、図７のステップＳ１２及びＳ１３において、以下の処理を実行するようにしてもよい。このステップＳ１２及びＳ１３の処理に対する変形例を、第２実施例として説明する。第２実施例では、特徴点の抽出処理と追跡処理によってベクトルＶBを導出する。但し、この導出手法は、第１実施例で述べたベクトルＶBの導出手法に含まれると考えることができる。第２実施例は、第１実施例と組み合わせて実施され、第１実施例に記載した事項は、矛盾なき限り本実施例にも適用される。
【００９０】
第２実施例では、ステップＳ１１において時刻ｔ１及びｔ２の撮影画像を取得した後、ステップＳ１２において、時刻ｔ１の撮影画像から特徴点を抽出する。特徴点とは、周囲の点と区別できる、追跡の容易な点のことである。このような特徴点は、水平及び垂直方向における濃淡変化量が大きくなる画素を検出する、周知の特徴点抽出器（不図示）を用いて自動的に抽出することができる。特徴点抽出器とは、例えば、Harrisのコーナ検出器、ＳＵＳＡＮのコーナ検出器である。抽出されるべき特徴点は、例えば、路面上に描かれた白線の交点又は端点や、路面上の汚れ又は亀裂などであり、路面上の高さのない不動点を想定している。
【００９１】
そして、第２実施例に係るステップＳ１３では、特徴点の追跡処理がなされる。特徴点の追跡処理として公知の手法を採用することができる。或る時刻の撮影によって得られた撮影画像を第１参照画像とし且つその時刻よりも後の時刻の撮影によって得られた撮影画像を第２参照画像とした場合、追跡処理は、第１及び第２参照画像を対比することによって行われる。より具体的には例えば、第１参照画像における特徴点の位置の近傍領域を特徴点探索領域とし、第２参照画像の特徴点探索領域内で画像マッチング処理を行うことにより第２参照画像の特徴点の位置を特定する。画像マッチング処理では、例えば、第１参照画像における特徴点の位置を中心とした矩形領域内の画像でテンプレートを形成し、そのテンプレートと第２参照画像の特徴点探索領域内の画像との類似度を計算する。計算された類似度から、第２参照画像の特徴点の位置が特定される。
【００９２】
時刻ｔ１及びｔ２の撮影画像を夫々第１及び第２参照画像として取り扱って追跡処理を行えば、時刻ｔ２の撮影画像における特徴点の位置が求まる。
【００９３】
今、時刻ｔ１の撮影画像から特徴点３１ａ及び３２ａが抽出され（図９（ａ）参照）、追跡処理によって時刻ｔ２の撮影画像における特徴点３１ｂ及び３２ｂの位置が求まったとする（図９（ｂ）参照）。画像処理装置２は、時刻ｔ１及びｔ２の撮影画像を鳥瞰変換によって時刻ｔ１及びｔ２の鳥瞰図画像に変換すると共に、上記式（７）に従って特徴点３１ａ、３２ａ、３１ｂ及び３２ｂを鳥瞰図座標上にマッピングすることにより、鳥瞰図座標上の特徴点３１ｃ、３２ｃ、３１ｄ及び３２ｄの位置を特定する。この特定がなされれば、自動的に移動ベクトルＶ31及びＶ32が求まるため、移動ベクトルＶ31及び／又はＶ32に基づいてベクトルＶBを導出することができる。
【００９４】
尚、抽出及び追跡される特徴点の個数が２つである場合を例示したが、移動ベクトルＶ31及びＶ32の内、少なくとも一方が求まればベクトルＶBを導出することができるため、抽出及び追跡されるべき特徴点の個数を１つとすることも可能である。
【００９５】
また、撮影画像上で特徴点の抽出処理及び追跡処理を行う場合を例示したが、これらを鳥瞰図画像上で行うようにしても構わない。即ち、時刻ｔ１及びｔ２の撮影画像を鳥瞰変換によって時刻ｔ１及びｔ２の鳥瞰図画像に変換した後、特徴点抽出器を用いて時刻ｔ１の鳥瞰図画像から特徴点３１ｃ及び３２ｃを抽出する（図１０（ａ）参照）。その後、時刻ｔ１及びｔ２の鳥瞰図画像を夫々第１及び第２参照画像として取り扱って追跡処理を行うことにより、時刻ｔ２の鳥瞰図画像における特徴点３１ｄ及び３２ｄの位置を特定するようにしてもよい（図１０（ｂ）参照）。
【００９６】
＜＜第３実施例＞＞
第１実施例では、鳥瞰図画像に車両ガイドラインを重畳することにより表示用画像を生成しているが、鳥瞰図画像は路面を真上から見下ろしたような映像を提供するものであるため、視野範囲が狭くなるという欠点もある。そこで、鳥瞰図画像以外の画像に車両ガイドラインを重畳することにより表示用画像を生成するようにしてもよい。これを、第３実施例として説明する。具体的には例えば、原画像としての撮影画像に車両ガイドラインを重畳し、これによって表示用画像を生成するようにしてもよい。これによって、広視野の映像を提供することが可能となる。第３実施例は、第１又は第２実施例と組み合わせて実施され、第１又は第２実施例に記載した事項は、矛盾なき限り本実施例にも適用される。
【００９７】
第３実施例では、図７のステップＳ１１〜Ｓ１６を介して求められた車両ガイドラインを、撮影画像の座標上にマッピングする。このマッピングは、撮影画像を鳥瞰図画像に変換する座標変換の逆変換によって実現される。例えば、鳥瞰図画像上の車両ガイドラインを形成する各画素の座標値（ｘau，ｙau）を上記式（７）に従って撮影画像上の座標値（ｘbu，ｙbu）に逆変換すれば、撮影画像上の車両ガイドラインの位置が求まる。
【００９８】
図１４に、本実施例に係る表示用画像の例を示す。図１４に示す表示用画像１３０は、
時刻ｔ２の撮影画像に車両ガイドライン１３１及び１３２を重畳することによって得られる。尚、図示の便宜上、図１４に対応する時刻ｔ２の撮影画像は、図９（ｂ）に対応する時刻ｔ２の撮影画像と異なっている。車両ガイドライン１３１及び１３２は、図１３に示す車両ガイドライン１２１及び１２２を撮影画像の座標上にマッピングしたものである。表示用画像１３０において、斜線領域は、駐車枠の白線の描画領域を表している。点１３３及び１３４は、撮影画像上におけるトレーラ１２の左右後端部に対応し、点１３３と点１３４との間の長さは、撮影画像上におけるトレーラ１２の車幅を表している。車両ガイドライン１３１及び１３２は、点１３３及び１３４を起点として描かれる。
【００９９】
表示用画像１３０には、更に、トレーラ１２の後端からの距離を表す第１及び第２の距離線が重畳される。表示用画像１３０の横方向に伸びる破線１３５及び１３６が第１及び第２の距離線であり、それらは、図１３における破線１２５及び１２６を撮影画像上にマッピングしたものに相当する。尚、破線１３５及び１３６の各左端及び点１３３を通る破線と、破線１３５及び１３６の各右端及び点１３４を通る破線は、トレーラ１２の左右端の延長線に相当する。
【０１００】
＜＜第４実施例＞＞
この他にも、表示用画像の生成手法を様々に変形することが可能である。表示用画像の生成手法の変形例を説明する実施例として、第４実施例を説明する。また、表示用画像の生成手法以外の応用例についても、第４実施例の説明の中で言及する。第４実施例は、第１〜３実施例と組み合わせて実施され、第１〜３実施例に記載した事項は、矛盾なき限り本実施例にも適用される。以下に、第１変形処理〜第３変形処理を個別に説明するが、複数の変形処理を組み合わせて実施することも可能である。
【０１０１】
［第１変形処理］
撮影画像又は鳥瞰図画像に車両ガイドラインを重畳するのではなく、撮影画像又は鳥瞰図画像にトレーラ１２の移動方向（進行方向）を示す指標を重畳することによって、表示用画像を生成するようにしても良い。図１５に、この表示用画像の例を示す。図１５の表示用画像１５０は、図１０（ｂ）に示す時刻ｔ２の鳥瞰図画像に、トレーラ１２の移動方向を示す指標として矢印１５１を重畳した画像である。矢印１５１の向きは、図１１に示すベクトルＶBの向きと合致する。
【０１０２】
トレーラ１２の移動方向を示す指標を鳥瞰図画像にではなく撮影画像に重畳することによって表示用画像を生成する場合は、鳥瞰図座標上のベクトルＶBを第３実施例で述べた逆変換によって撮影画像の座標上のベクトルに変換し、得られたベクトルの向きと向きが合致する矢印を図９（ｂ）に示す時刻ｔ２の撮影画像に重畳することによって表示用画像を生成すればよい。
【０１０３】
尚、トレーラ１２の移動方向を示す指標及び車両ガイドラインの双方を、撮影画像又は鳥瞰図画像に重畳して表示用画像を生成するようにしてもよい。
【０１０４】
［第２変形処理］
また、図７のステップ１５における連結角θCNの推定結果を表示用画像に反映させるようにしてもよい。この反映のさせ方は任意である。時刻ｔ１及びｔ２の撮影画像に基づいて連結角θCNが推定された場合を考える。この場合、例えば、時刻ｔ２の撮影画像又は時刻ｔ２の鳥瞰図画像に連結角θCNを表す数値を重畳することにより表示用画像を生成する。この表示用画像に、更に、トレーラ１２の移動方向を示す指標、及び／又は、車両ガイドラインを重畳するようにしてもよい。
【０１０５】
また例えば、時刻ｔ２の撮影画像又は時刻ｔ２の鳥瞰図画像と、連結角θCNを表すイラストと、が表示画面上に並べて表示されるように表示用画像を生成してもよい。図１６に、この表示用画像の例を示す。図１６の表示用画像１６０は、２つの領域１６１及び１６２に分割されている。そして、領域１６１には、図１４に示す表示用画像１３０と同じ画像（或いは、表示用画像１３０を横方向に圧縮した画像）が描画され、領域１６２には、推定された最新の連結角θCNを表すイラストが描画される。このイラストには、トラクタとトレーラから成る連結車両の絵が含まれ、連結角θCNに応じてイラスト上のトラクタとトレーラの連結角が変化するようになっている。
【０１０６】
［第３変形処理］
連結角θCNが一定角度以上になると、転倒などの惧れが生じる。そこで、連結角θCNに応じて警告報知を行うようにしてもよい。具体的には以下のように処理する。運転支援システム（例えば、画像処理装置２）は、図７のステップＳ１５にて推定された連結角θCNと所定の閾値角度とを比較し、前者が後者以上である時、連結車両１０の運転者に対して、連結角θCNが大きすぎることを知らせるための報知を行う。この報知は、表示装置３を用いた映像による報知であってもよいし、図示されないスピーカを用いた音による報知であってもよい。尚、適切な閾値角度は、トラクタ１１及びトレーラ１２の各車体の大きさなどによっても異なるため、この閾値角度を連結車両１０の車種などに応じて変更するとよい。
【０１０７】
＜＜第５実施例＞＞
第１実施例において、トレーラ１２の予想移動軌跡を導出する手法を説明したが、この導出手法の変形例（即ち、図７のステップＳ１６の処理の変形例）を、第５実施例として説明する。第５実施例は、第１実施例、又は、第２〜第４実施例の何れかと組み合わせて実施される。時刻ｔ１及びｔ２の撮影画像が取得され、図７のステップＳ１１〜Ｓ１５の各処理が第１実施例で述べたように実行された後の処理について説明する。
【０１０８】
図１７は、Ｘau軸及びＹau軸を座標軸とする鳥瞰図座標を示している。図１７には、更に、連結車両１０を鳥瞰図座標上に投影した図形が描かれている。図１７において、符号１１ａ、１２ａ及び１３ａは、夫々、図２のトラクタ１１、トレーラ１２及び車輪１３を鳥瞰図座標上に投影した図形である。トレーラ１２に設けられた２つの車輪１３の車軸中心をＱにて表すこととする。２つの車輪１３の車軸は図５の中心線２２に直交し、車軸中心Ｑは中心線２２上にのる。
【０１０９】
今、鳥瞰図座標上の時刻ｔ２における連結点１４の位置を原点にとる。また、鳥瞰図座標上における、時刻ｔ２のトラクタ１１の中心線２１（図５参照）がＹau軸上にのるとする。更に、時間長さΔｔにて離散化された時刻ｔ１、ｔ２、ｔ３、ｔ４、・・・を想定する。時刻ｔ１、ｔ２、ｔ３、ｔ４、・・・の順番で時間が経過するものとする。そして、鳥瞰図座標上の時刻ｔｉにおける連結点１４の位置を、ｋ［ｔｉ］にて表す（ｉは自然数）。
【０１１０】
予想移動軌跡の導出に際して、トラクタ１１が現時点の操舵角及び移動速度をそのまま維持したまま時刻ｔ２以降も移動すると仮定する。そうすると、時刻ｔ２−ｔ３間における、トラクタ１１の鳥瞰図座標上の移動方向及び移動量を表すベクトルは、第１実施例で述べた時刻ｔ１−ｔ２間についてのベクトルＶAと合致する。従って、ベクトルＶAから鳥瞰図座標上の時刻ｔ３における連結点１４の位置ｋ［ｔ３］を定めることができる。つまり、時刻ｔ２における連結点１４の位置ｋ［ｔ２］を始点としてベクトルＶAを鳥瞰図座標上に配置したときの、ベクトルＶAの終点の位置を位置ｋ［ｔ３］と定める。尚、時刻ｔ１−ｔ２間におけるトラクタ１１の操舵角が定まれば、鳥瞰図座標上におけるベクトルＶAの向きは定まるものとする。
【０１１１】
また、時刻ｔｉにおける連結角θCNをθCN［ｔｉ］にて表す（ｉは自然数）。また更に、鳥瞰図座標上における、時刻ｔｉの車軸中心Ｑの位置をＱ［ｔｉ］にて表す（ｉは自然数）。図７のステップＳ１５にて時刻ｔ２における連結角θCN［ｔ２］が推定されており、画像処理装置２は、この連結角θCN［ｔ２］を用いて位置Ｑ［ｔ２］を求める。より詳細には、連結角θCN［ｔ２］と位置ｋ［ｔ２］と既知のトレーラ１２の車体情報とから位置Ｑ［ｔ２］を求める。トレーラ１２の車体情報は、鳥瞰図座標上の連結点１４と車軸中心Ｑまでの距離を特定する。
【０１１２】
この後、画像処理装置２は、鳥瞰図座標上における、時刻ｔ３の車軸中心Ｑの位置Ｑ［ｔ３］を、以下の第１及び第２条件の双方が満たされるように推定する（自動車規格（JASO Z 006-92；ページ１８）参照）。
第１条件は「位置ｋ［ｔ２］と位置Ｑ［ｔ２］との距離と位置ｋ［ｔ３］と位置Ｑ［ｔ３］との距離が同じである」という条件である。
第２条件は「位置Ｑ［ｔ３］は、位置ｋ［ｔ２］と位置Ｑ［ｔ２］とを結ぶ線上に位置する」という条件である。
【０１１３】
更に、画像処理装置２は、推定した位置Ｑ［ｔ３］と位置ｋ［ｔ３］から、時刻ｔ３における連結角θCN［ｔ３］を推定する。つまり、位置ｋ［ｔ３］を通り且つＹau軸に平行な直線と、位置ｋ［ｔ３］と位置Ｑ［ｔ３］とを結ぶ直線と、の成す角度を連結角θCN［ｔ３］として推定する。
【０１１４】
上述のようにして、“ｋ［ｔ２］、Ｑ［ｔ２］及びθCN［ｔ２］”を基準として“ｋ［ｔ３］、Ｑ［ｔ３］及びθCN［ｔ３］”を導出する。この導出手法を “ｋ［ｔ３］、Ｑ［ｔ３］及びθCN［ｔ３］”を基準として適用すれば、“ｋ［ｔ４］、Ｑ［ｔ４］及びθCN［ｔ４］”が求まる。これを繰り返し実行することにより、“ｋ［ｔ５］、Ｑ［ｔ５］及びθCN［ｔ５］”、“ｋ［ｔ６］、Ｑ［ｔ６］及びθCN［ｔ６］”、・・・、を次々と求めていく。
【０１１５】
図１８は、時刻ｔ２〜ｔ６における車軸中心Ｑの位置Ｑ［ｔ２］〜Ｑ［ｔ６］をプロットした図である。Ｑ［ｔ２］〜Ｑ［ｔ６］を結ぶ軌跡は、鳥瞰図座標上における車軸中心Ｑの予想移動軌跡である。各時刻における車軸中心Ｑの位置が求まれば、鳥瞰図座標上におけるトレーラ１２の車幅から、各時刻におけるトレーラ１２の車体の左右後端の位置も求まる。図１８における曲線１７１及び１７２は、時刻ｔ２以降におけるトレーラ１２の車体の左右後端の予想移動軌跡である。図７のステップＳ１６では、これらの予想移動軌跡が導出される。
【０１１６】
例えば、図１３の表示用画像１２０は、この曲線１７１及び１７２に沿った車両ガイドライン１２１及び１２２を、時刻ｔ２の鳥瞰図画像に重畳することによって生成される。
【０１１７】
＜＜第６実施例＞＞
次に、第６実施例を説明する。第６実施例では、図１の画像処理装置２の機能ブロック図を例示する。図１９は、第１実施例に対応する画像処理装置２の機能ブロック図である。図１９の画像処理装置２内で、図７に示す各ステップの処理が実行される。図１９の画像処理装置２は、符号２０１〜２０５にて参照される各部位を備える。
【０１１８】
図７のステップＳ１１にて取り込まれた時刻ｔ１及びｔ２の撮影画像は鳥瞰変換部２０１に送られる。鳥瞰変換部２０１は、時刻ｔ１及びｔ２の撮影画像を鳥瞰変換によって時刻ｔ１及びｔ２の鳥瞰図画像に変換する。動き検出部２０２は、この変換によって得られた時刻ｔ１及びｔ２の鳥瞰図画像を対比することにより、時刻ｔ１−ｔ２間における鳥瞰図座標上のオプティカルフローを導出する（ステップＳ１２）。連結角推定部２０３は、このオプティカルフローと入力されたトラクタ１１の移動情報とに基づいて、連結角θCNを推定する（ステップＳ１５）。尚、図７のステップＳ１３及びＳ１４の処理は、動き検出部２０２若しくは連結角推定部２０３、又は、画像処理装置２内の他の部位によって実現される。
【０１１９】
移動軌跡推定部２０４は、連結角推定部２０３によって推定された連結角θCNと、トラクタ１１の移動情報と、に基づいて図７のステップＳ１６の処理を実行することにより、トレーラ１２の予想移動軌跡を求める。表示用画像生成部２０５は、その推定結果に基づく車両ガイドラインを時刻ｔ２の鳥瞰図画像に重畳することにより、時刻ｔ２における表示用画像を生成する。
【０１２０】
尚、上述の第４実施例における第１変形処理の如く、撮影画像又は鳥瞰図画像にトレーラ１２の移動方向を示す指標を重畳する場合は、図１９の機能ブロック図は図２０のように変形される。図２０に示されるトレーラ移動方向推定部２０６も、符号２０１〜２０５にて参照される各部位と共に、画像処理装置２内に設けられる。トレーラ移動方向推定部２０６は、動き検出部２０２からのオプティカルフローを用いて図７のステップＳ１３の処理を実行することにより、トレーラ１２の移動方向を表す図１１のベクトルＶBを求める。この場合、表示用画像生成部２０５は、このベクトルＶBを用いて図１５の表示用画像１５０を生成する。
【０１２１】
＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１２２】
［注釈１］
上述の、撮影画像から鳥瞰図画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰図画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階にて予め求めておく。ホモグラフィ行列の求め方は公知である。そして、図７に示す動作を行う場合、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。何れにせよ、撮影画像を鳥瞰図座標上に投影することによって撮影画像が鳥瞰図画像に変換される。
【０１２３】
［注釈２］
上述の実施形態では、１つのカメラから得られた撮影画像に基づく表示用画像を表示装置３に表示するようにしているが、連結車両１０に複数のカメラ（不図示）が設置されている場合においては、その複数のカメラから得られた複数の撮影画像に基づいて表示用画像を生成するようにしてもよい。例えば、カメラ１以外に他の１台以上のカメラを連結車両１０に取り付ける。そして、その他のカメラの撮影画像に基づく画像とカメラ１の撮影画像に基づく画像とを合成し、この合成によって得られた合成画像を最終的に表示装置３に対する表示用画像とすることも可能である。この合成画像は、例えば、特開２００６−２８７８９２号公報にも記載されているような全周鳥瞰図画像である。
【０１２４】
［注釈３］
上述の実施形態では、トラクタ１１とトレーラ１２とから成る連結車両１０に本発明に係る運転支援システムを適用した（図２参照）。しかし、本発明に係る運転支援システムを適用可能な車両は、トラクタとトレーラとから成る連結車両に限定されない。第１車両と第１車両に連結されて牽引される第２車両とから成る任意の連結車両に対して、本発明に係る運転支援システムを適用可能である。上述の実施形態では、第１車両がトラクタ１１に相当し且つ第２車両がトレーラ１２に相当する。また、図１の連結車両１０は、鋼材や重量物を運搬する大型の連結車両であるが、本発明は、連結車両の大きさに依存しない。
【０１２５】
本発明を適用可能な連結車両は、牽引自動車と一般的に呼ばれる車両を含む（或いは、連結車両そのものが牽引自動車である）。また更に例えば、本発明を適用可能な連結車両は、第１車両と第２車両とから成る、連節バス（連接バス）、連結バス及びトロッコバスを含む。例えば、連接バスに本発明に係る運転支援システムを適用する場合、連節バスにおける第１車両及び第２車両を上述のトラクタ１１及びトレーラ１２と見立てて上述してきた処理を実施すればよい。また、ＳＵＶ（Sports Utility Vehicle）に分類される連結車両にも本発明は適用可能である。
【０１２６】
［注釈４］
図１の画像処理装置２は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。図１の画像処理装置２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【図面の簡単な説明】
【０１２７】
【図１】本発明の実施形態に係る運転支援システムの構成ブロック図である。
【図２】図１の運転支援システムが設置される連結車両の外観側面図である。
【図３】図１の運転支援システムが設置される連結車両の外観側面図である。
【図４】図２の連結車両を上方から見た平面図である（連結角が０°である場合）。
【図５】図２の連結車両を上方から見た平面図である（連結角が０°でない場合）。
【図６】本発明の実施形態に係り、カメラ座標系ＸＹＺと、カメラの撮像面Ｓの座標系ＸbuＹbuと、世界座標系Ｘw Ｙw Ｚw との関係を示す図である。
【図７】本発明の第１実施例に係り、表示用画像を生成するための動作の流れを表すフローチャートである。
【図８】本発明の第１実施例に係り、上方から見た連結車両とその周辺路面の平面図である。
【図９】本発明の第１実施例に係り、時刻ｔ１及びｔ２の撮影画像を示す図である。
【図１０】本発明の第１実施例に係り、時刻ｔ１及びｔ２の鳥瞰図画像を示す図である。
【図１１】本発明の第１実施例に係り、図１０（ａ）及び（ｂ）の２つの鳥瞰図画像を重ね合わせた画像を示す図である。
【図１２】本発明の第１実施例に係り、トラクタの移動情報に対応するベクトル（ＶA）と、トレーラの移動情報に対応するベクトル（ＶB）と、の関係を示す図である。
【図１３】本発明の第１実施例に係り、表示用画像の例を示す図である。
【図１４】本発明の第３実施例に係り、表示用画像の例を示す図である。
【図１５】本発明の第４実施例に係り、表示用画像の例を示す図である。
【図１６】本発明の第４実施例に係り、表示用画像の他の例を示す図である。
【図１７】本発明の第５実施例に係り、トレーラの予想移動軌跡の導出手法を説明するためのである。
【図１８】本発明の第５実施例に係り、トレーラの予想移動軌跡の導出手法を説明するためのである。
【図１９】本発明の第６実施例に係り、図１の画像処理装置の機能ブロック図である。
【図２０】本発明の第６実施例に係り、図１９の機能ブロック図の変形例を示す図である。
【符号の説明】
【０１２８】
１ カメラ
２ 画像処理装置
３ 表示装置
１０ 連結車両
１１ トラクタ
１２ トレーラ
１４ 連結部
１２１、１２２、１３１、１３２ 車両ガイドライン
【技術分野】
【０００１】
本発明は、連結車両の運転を支援するための運転支援システムに関する。また、本発明は、その運転支援システムを利用した連結車両に関する。
【背景技術】
【０００２】
近年の安全意識の高まりに伴って、車両にカメラを搭載することが多くなっている。この傾向は、普通乗用車だけでなく産業用車両に対しても当てはまる。特に、トラクタ及び該トラクタによって牽引されるトレーラから構成される連結車両は、その運転が比較的難しく、カメラを用いた運転支援が有益である。この種の連結車両では、トレーラが連結部を支点として折れ曲がるが、トラクタが動いた場合にトレーラの後端部がどのように動くかを運転者は認識しにくい。
【０００３】
このような事情を考慮し、カメラを用いて連結車両の運転を支援する技術が幾つか提案されている。例えば、下記特許文献１には、牽引車の後方と被牽引車の後方にカメラを１台ずつ設置し、被牽引車の予想移動軌跡を求めて、それを被牽引車の後方の画像に重畳して表示する技術が開示されている。しかしながら、この技術では、２台のカメラが必須となるため、システム全体のコストが高くなる。
【０００４】
【特許文献１】特開２００６−２５６５４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで本発明は、低コストで良好に車両運転を支援することのできる運転支援システムを提供することを目的とする。また、本発明は、その運転支援システムを利用した連結車両を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明に係る第１の運転支援システムは、第１車両と該第１車両に連結される第２車両とから成る連結車両の前記第２車両側に設置された、前記第２車両の後方を撮影するカメラを備え、前記カメラから時系列で並ぶ複数の撮影画像を取得し、各撮影画像から生成した表示用画像を表示装置に対して出力する運転支援システムにおいて、前記複数の撮影画像にて形成される動画像のオプティカルフローを導出する動き検出手段と、前記オプティカルフロー及び入力された前記第１車両の移動情報に基づいて、前記第１車両と前記第２車両の連結角を推定する連結角推定手段と、前記連結角及び前記第１車両の移動情報に基づいて、前記第２車両の予想移動軌跡を導出する移動軌跡推定手段と、を備え、前記撮影画像に基づく画像に対して前記予想移動軌跡に応じた指標を重畳することによって前記表示用画像を生成することを特徴とする。
【０００７】
これにより、第２車両の予想移動軌跡を映像にて確認することが可能となり、運転者による運転操作が支援される。また、第２車両側にカメラを設置すれば足るため、低コストである。
【０００８】
具体的には例えば、第１の運転支援システムは、各撮影画像を所定の鳥瞰図座標上に投影することによって前記複数の撮影画像を複数の鳥瞰図画像に変換する座標変換手段を更に備え、前記動き検出手段によって導出される前記オプティカルフローは、前記鳥瞰図座標上のオプティカルフローである。
【０００９】
また具体的には例えば、第１の運転支援システムにおいて、前記第１車両の移動情報は、前記第１車両の移動方向及び移動速度を表す情報を含み、前記連結角推定手段は、前記第１車両の移動情報に基づいて前記鳥瞰図座標上における前記第１車両の移動方向及び移動量を表すベクトルを導出し、前記ベクトルと前記オプティカルフローとに基づいて前記連結角を推定する。
【００１０】
上記目的を達成するために本発明に係る第２の運転支援システムは、第１車両と該第１車両に連結される第２車両とから成る連結車両の前記第２車両側に設置された、前記第２車両の後方を撮影するカメラを備え、前記カメラから時系列で並ぶ複数の撮影画像を取得し、各撮影画像から生成した表示用画像を表示装置に対して出力する運転支援システムにおいて、前記複数の撮影画像にて形成される動画像のオプティカルフローを導出する動き検出手段と、前記オプティカルフローから前記第２車両の移動方向を推定する移動方向推定手段と、を備え、その推定結果を前記表示用画像に反映させる。
【００１１】
これにより、第２車両の移動方向を映像にて確認することが可能となり、運転者による運転操作が支援される。また、第２車両側にカメラを設置すれば足るため、低コストである。
【００１２】
具体的には例えば、第２の運転支援システムは、各撮影画像を所定の鳥瞰図座標上に投影することによって前記複数の撮影画像を複数の鳥瞰図画像に変換する座標変換手段を更に備え、前記動き検出手段によって導出される前記オプティカルフローは、前記鳥瞰図座標上のオプティカルフローである。
【００１３】
また例えば、第２の運転支援システムは、前記オプティカルフロー及び入力された前記第１車両の移動情報に基づいて、前記第１車両と前記第２車両の連結角を推定する連結角推定手段を更に備え、前記連結角の推定結果を前記表示用画像に反映させる。
【００１４】
また例えば、第２の運転支援システムにおいて、前記第１車両の移動情報は、前記第１車両の移動方向及び移動速度を表す情報を含み、前記連結角推定手段は、前記第１車両の移動情報に基づいて前記鳥瞰図座標上における前記第１車両の移動方向及び移動量を表すベクトルを導出し、前記ベクトルと前記オプティカルフローとに基づいて前記連結角を推定する。
【００１５】
また例えば、第１又は第２の運転支援システムは、推定された前記連結角と所定の閾値角度との比較結果に応じた報知を外部に対して行う報知手段を更に備えている。
【００１６】
上記目的を達成するために本発明に係る連結車両は、第１車両と該第１車両に連結される第２車両とから成り、上記の何れかに記載の運転支援システムが設置されたことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、低コストで良好に車両運転を支援することができる。
【００１８】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第６実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２０】
図１に、本発明の実施形態に係る運転支援システムの構成ブロック図を示す。図１の運転支援システムは、カメラ１と、画像処理装置２と、表示装置３と、を備える。カメラ１は、撮影を行い、撮影によって得られた画像を表す信号を画像処理装置２に出力する。画像処理装置２は、カメラ１から得た画像より表示用画像を生成する。画像処理装置２は、生成した表示用画像を表す映像信号を表示装置３に出力し、表示装置３は、与えられた映像信号に従って表示用画像を映像として表示する。
【００２１】
カメラ１の撮影によって得られた画像そのものは、レンズ歪みの影響を受けていることが多い。従って、画像処理装置２は、カメラ１の撮影によって得られた画像そのものに対してレンズ歪み補正を施し、レンズ歪み補正後の画像に基づいて表示用画像の生成を行う。このレンズ歪み補正後の画像を、以下、撮影画像と呼ぶことにする。レンズ歪み処理が不要である場合には、カメラ１の撮影によって得られた画像そのものが、撮影画像である。尚、撮影画像をカメラ画像と読み替えてもよい。
【００２２】
図２は、図１の運転支援システムが設置される連結車両１０の外観側面図である。連結車両１０は、トラクタ１１と、トラクタ１１に連結され、トラクタ１１によって牽引されるトレーラ１２と、から成る。符合１３はトレーラ１２に設けられた車輪を表す。一般的に、車輪１３はトレーラ１２の後輪と呼ばれる。車輪１３は２つ設けられており、一方の車輪１３はトレーラ１２の左側に他方の車輪１３はトレーラ１２の右側に配置されている。また、トレーラ１２の後方上端部に、カメラ１が設置され、カメラ１はトレーラ１２の周辺を撮影する。
【００２３】
連結車両１０は、路面上に配置され、路面上を走行する。以下、路面は水平面に平行であるものとする。また、単に「高さ」といった場合、それは、路面を基準とした高さを意味するものとする。また、本実施形態において、地面と路面は同義である。また、車両に対する一般的な解釈と同様、トレーラ１２からトラクタ１１を見た方向を前方向とし、トラクタ１１からトレーラ１２を見た方向を後方向とする。
【００２４】
カメラ１として、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、運転支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、トラクタ１１内部の運転席付近に設置される。
【００２５】
図３も、図２と同じく、連結車両１０の外観側面図である。但し、カメラ１の傾き角度を明示するために、図３では、カメラ１を拡大図示すると共にトレーラ１２の模様を図２のそれから変化させている。カメラ１は、トレーラ１２の後方斜め下向きに設置され、カメラ１の視野内に、トレーラ１２の後方に位置する路面や立体物が収まる。水平面とカメラ１の光軸とのなす角は、図３にθで表される角度と、θ2で表される角度との２種類がある。角度θ2は、一般的には、見下ろし角または俯角と呼ばれている。今、角度θを、水平面に対するカメラ１の傾き角度として捉える。９０°＜θ＜１８０°且つθ＋θ2＝１８０°、が成立する。
【００２６】
図４及び図５の夫々は、連結車両１０を上方から見た平面図である。図４及び図５では、図示の簡略化上、トラクタ１１及びトレーラ１２を単なる四角形で表している。図４は、トラクタ１１とトレーラ１２の成す角（以下、「連結角」という）が０°である時における平面図であり、図５は連結角が０°でない時における平面図である。連結角が０°である時、トラクタ１１とトレーラ１２は一直線上に並ぶ（トラクタ１１とトレーラ１２の各車体は一直線上に並ぶ）。
【００２７】
符号１４は、トラクタ１１とトレーラ１２との連結部である。トレーラ１２は、連結部１４にてトラクタ１１と連結される。トレーラ１２は、連結部１４を支点にして、トラクタ１１に対して屈曲する。トラクタ１１及びトレーラ１２を水平面上に射影した二次元平面において、トラクタ１１の車体の中心線２１とトレーラ１２の車体の中心線２２との成す角が、上記の連結角に相当し、この連結角をθCNで表す。尚、中心線２１及び中心線２２は、連結車両１０が真っ直ぐ前進している時における連結車両１０の進行方向に平行な中心線である。
【００２８】
トラクタ１１及びトレーラ１２を上方から見た場合において、連結部１４を支点にしてトレーラ１２が反時計回り方向に屈曲する場合に現れる連結角θCNを正とする。従って、連結車両１０が直進している状態から右折しようとする際に表れる連結角θCNは、正となる。
【００２９】
［鳥瞰図画像の生成方法］
図１の画像処理装置２は、座標変換を用いて、撮影画像を鳥瞰図画像に変換する機能を備える。撮影画像から鳥瞰図画像を生成するための座標変換を「鳥瞰変換」と呼ぶ。この鳥瞰変換の手法について説明する。
【００３０】
図６は、カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw との関係を示している。座標系ＸbuＹbuは、撮影画像が定義される座標系である。
【００３１】
カメラ座標系ＸＹＺは、Ｘ軸、Ｙ軸及びＺ軸を座標軸とする三次元の座標系である。撮像面Ｓの座標系ＸbuＹbuは、Ｘbu軸及びＹbu軸を座標軸とする二次元の座標系である。２次元地面座標系Ｘw Ｚwは、Ｘw軸及びＺw軸を座標軸とする二次元の座標系である。世界座標系Ｘw ＹwＺwは、Ｘw軸、Ｙw軸及びＺw軸を座標軸とする三次元の座標系である。
【００３２】
以下、カメラ座標系ＸＹＺ、撮像面Ｓの座標系ＸbuＹbu、２次元地面座標系Ｘw Ｚw 及び世界座標系Ｘw Ｙw Ｚw を、夫々、単にカメラ座標系、撮像面Ｓの座標系、２次元地面座標系及び世界座標系と略記することがある。
【００３３】
カメラ座標系ＸＹＺでは、カメラ１の光学中心を原点Ｏとして、光軸方向にＺ軸がとられ、Ｚ軸に直交しかつ地面に平行な方向にＸ軸がとられ、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系ＸbuＹbuでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸbu軸がとられ、撮像面Ｓの縦方向にＹbu軸がとられている。
【００３４】
世界座標系Ｘw Ｙw Ｚw では、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏw とし、地面と垂直な方向にＹw 軸がとられ、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸw 軸がとられ、Ｘw 軸およびＹw 軸に直交する方向にＺw 軸がとられている。
【００３５】
Ｘw 軸とＸ軸との間の平行移動量はｈであり、その平行移動の方向は鉛直線方向である。Ｚw 軸とＺ軸との成す鈍角の角度は、傾き角度θと一致する。ｈ及びθの値は予め設定され、画像処理装置２に与えられる。
【００３６】
カメラ座標系ＸＹＺにおける画素の座標値を（ｘ，ｙ，ｚ）と表記する。ｘ、ｙ及びｚは、夫々、カメラ座標系ＸＹＺにおける、Ｘ軸成分、Ｙ軸成分及びＺ軸成分である。
世界座標系Ｘw Ｙw Ｚwにおける画素の座標値を（ｘw ，ｙw ，ｚw ）と表記する。ｘw 、ｙw 及びｚwは、夫々、世界座標系Ｘw Ｙw Ｚwにおける、Ｘw軸成分、Ｙw軸成分及びＺw軸成分である。
二次元地面座標系Ｘw Ｚw における画素の座標値を（ｘw ，ｚw ）と表記する。ｘw及びｚwは、夫々、二次元地面座標系Ｘw Ｚwにおける、ＸW軸成分及びＺW軸成分であり、それらは世界座標系Ｘw Ｙw ＺwにおけるＸW軸成分及びＺW軸成分と一致する。
撮像面Ｓの座標系ＸbuＹbuにおける画素の座標値を（ｘbu，ｙbu）と表記する。ｘbu及びｙbuは、夫々、撮像面Ｓの座標系ＸbuＹbuにおける、Ｘbu軸成分及びＹbu軸成分である。
【００３７】
カメラ座標系ＸＹＺの座標値（ｘ，ｙ，ｚ）と世界座標系Ｘw Ｙw Ｚw の座標値（ｘw ，ｙw ，ｚw ）との間の変換式は、次式（１）で表される。
【００３８】
【数１】
【００３９】
ここで、カメラ１の焦点距離をｆとする。そうすると、撮像面Ｓの座標系ＸbuＹbuの座標値（ｘbu，ｙbu）と、カメラ座標系ＸＹＺの座標値（ｘ，ｙ，ｚ）との間の変換式は、次式（２）で表される。
【００４０】
【数２】
【００４１】
上記式（１）及び（２）から、撮像面Ｓの座標系ＸbuＹbuの座標値（ｘbu，ｙbu）と二次元地面座標系Ｘw Ｚw の座標値（ｘw ，ｚw ）との間の変換式（３）が得られる。
【００４２】
【数３】
【００４３】
また、図６には示されていないが、鳥瞰図画像についての座標系である鳥瞰図座標系ＸauＹauを定義する。鳥瞰図座標系ＸauＹauは、Ｘau軸及びＹau軸を座標軸とする二次元の座標系である。鳥瞰図座標系ＸauＹauにおける画素の座標値を（ｘau，ｙau）と表記する。鳥瞰図画像は、二次元配列された複数の画素の画素信号によって表され、鳥瞰図画像上における各画素の位置は座標値（ｘau，ｙau）によって表される。ｘau及びｙauは、それぞれ鳥瞰図座標系ＸauＹauにおけるＸau軸成分及びＹau軸成分である。
【００４４】
鳥瞰図画像は、実際のカメラ１の撮影を介して得られた撮影画像を仮想カメラの視点（以下、仮想視点という）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれる。
【００４５】
地面と一致する、二次元地面座標系Ｘw Ｚw が定義される平面は、鳥瞰図座標系ＸauＹauが定義される平面と平行である。従って、二次元地面座標系Ｘw Ｚw から仮想カメラの鳥瞰図座標系ＸauＹauへの投影は、平行投影によって行われる。仮想カメラの高さ（即ち、仮想視点の高さ）をＨとすると、二次元地面座標系Ｘw Ｚw の座標値（ｘw ，ｚw ）と鳥瞰図座標系ＸauＹauの座標値（ｘau，ｙau）との間の変換式は、次式（４）で表される。仮想カメラの高さＨは予め設定されている。更に、式（４）を変形することにより、下式（５）が得られる。
【００４６】
【数４】
【００４７】
【数５】
【００４８】
得られた式（５）を上記式（３）に代入すると、次式（６）が得られる。
【００４９】
【数６】
【００５０】
上記式（６）から、撮像面Ｓの座標系ＸbuＹbuの座標値（ｘbu，ｙbu）を、鳥瞰図座標系ＸauＹauの座標値（ｘau，ｙau）に変換するための次式（７）が得られる。
【００５１】
【数７】
【００５２】
撮像面Ｓの座標系ＸbuＹbuの座標値（ｘbu，ｙbu）は、撮影画像における座標値を表すため、上記式（７）を用いることによって撮影画像を鳥瞰図画像に変換することができる。
【００５３】
即ち、式（７）に従って、撮影画像の各画素の座標値（ｘbu，ｙbu）を鳥瞰図座標系の座標値（ｘau，ｙau）に変換することにより、鳥瞰図画像を生成することができる。鳥瞰図画像は、鳥瞰図座標系に配列された各画素から形成される。
【００５４】
実際には、式（７）に従って、撮影画像上の各画素の座標値（ｘbu，ｙbu）と鳥瞰図画像上の各画素の座標値（ｘau，ｙau）との対応関係を示すテーブルデータを作成しておき、これを図示されないメモリ（ルックアップテーブル）に予め格納しておく。そして、このテーブルデータを用いて撮影画像を鳥瞰図画像に変換するようにする。勿論、撮影画像が得られる度に式（７）に基づく座標変換演算を行って鳥瞰図画像を生成するようにしても構わない。
【００５５】
以下に、図１の運転支援システムの動作内容を詳細に説明する実施例として、第１〜第６実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用される。尚、以下の説明では、鳥瞰図座標系を、単に鳥瞰図座標と呼ぶこともあるが、両者は同義である。
【００５６】
＜＜第１実施例＞＞
まず、第１実施例について説明する。図１の画像処理装置２は、カメラ１から所定の周期にて撮影画像を取得し、順次得られる撮影画像から表示用画像を順次生成して、最新の表示用画像を表示装置３に対して出力する。これにより、表示装置３には、最新の表示用画像が更新表示される。
【００５７】
図７を参照して、１つの表示用画像を生成するための動作の流れを説明する。図７は、この動作の流れを表すフローチャートである。図７に示すステップＳ１１〜Ｓ１７の各処理は、図１の画像処理装置２にて実行される。
【００５８】
本発明に係る特徴的な表示用画像を生成するためには、異なる時刻で撮影された複数の撮影画像が必要である。そこで、画像処理装置２は、異なる時刻に撮影された複数の撮影画像を取り込み、この複数の撮影画像を後段の処理にて参照する（ステップＳ１１）。今、取り込んだ複数の撮影画像が、時刻ｔ１の撮影によって得られた撮影画像（以下、単に、時刻ｔ１の撮影画像という）と、時刻ｔ２の撮影によって得られた撮影画像（以下、単に、時刻ｔ２の撮影画像という）と、を含むものとする。時刻ｔ１の後に時刻ｔ２が訪れるものとする。また更に、時刻ｔ１−ｔ２間において、連結車両１０が移動しているものとする。従って、時刻ｔ１におけるカメラ１の視点と時刻ｔ２におけるカメラ１の視点は異なる。
【００５９】
時刻ｔ１及びｔ２の撮影画像を取得した後、ステップＳ１２において、時刻ｔ１−ｔ２間のオプティカルフローを求める。但し、ステップＳ１２にて求められるオプティカルフローは、鳥瞰図座標上におけるオプティカルフローである。
【００６０】
具体的には、ステップＳ１２において、以下の処理が行われる。時刻ｔ１及びｔ２の各撮影画像を上述の鳥瞰変換によって鳥瞰図画像に変換する。時刻ｔ１及びｔ２の撮影画像に基づく鳥瞰図画像を、夫々、時刻ｔ１及びｔ２の鳥瞰図画像と呼ぶ。そして、時刻ｔ１の鳥瞰図画像と時刻ｔ２の鳥瞰図画像を対比し、公知のブロックマッチング法や勾配法を用いて、時刻ｔ１−ｔ２間における鳥瞰図座標上のオプティカルフロー（換言すれば、時刻ｔ１及びｔ２の鳥瞰図画像から成る動画像のオプティカルフロー）を求める。
【００６１】
これに代えて、以下のように処理してもよい。即ち、時刻ｔ１の撮影画像と時刻ｔ２の撮影画像を対比し、公知のブロックマッチング法や勾配法を用いて、一旦、撮影画像の座標上のオプティカルフローを求める。そして、この撮影画像の座標上のオプティカルフローを、上記式（７）に従って鳥瞰図座標上にマッピングすることにより、最終的に鳥瞰図座標上のオプティカルフローを求める。
【００６２】
以下、単に、オプティカルフローといった場合、それは、鳥瞰図座標上のオプティカルフローを意味するものとする。
【００６３】
今、説明の具体化のため、図８に示すような状況を想定する。図８は、上方から見た連結車両１０及び連結車両１０の周辺路面を示している。連結車両１０後方の路面上に、駐車場における長方形形状の駐車枠３０が描かれている。その長方形を形成する４つの頂点の内、連結車両１０に比較的近い路面上に位置する２つの頂点を、頂点３１及び３２とする。図８において、符号３３が付された破線三角形は、カメラ１の視野を表している。時刻ｔ１及びｔ２の夫々において、頂点３１及び３２が視野３３内に含まれている場合を想定する。
【００６４】
連結車両１０では、トラクタ１１の移動方向と連結角θCNに応じて、トレーラ１２の移動方向が決定される。時刻ｔ１において、連結角θCNは正の角度を有しており、時刻ｔ１−ｔ２間において、トラクタ１１が真っ直ぐ後方に進行する場合を例にとる。この場合、時刻ｔ１−ｔ２間において、トレーラ１２は右斜め後方に移動することになる。図８において、矢印４１及び４２は、夫々、時刻ｔ１−ｔ２間におけるトラクタ１１及びトレーラ１２の進行方向を示している。
【００６５】
図９（ａ）は時刻ｔ１の撮影画像を表し、図９（ｂ）は時刻ｔ２の撮影画像を表している。図９（ａ）において、符号３１ａ及び３２ａは、夫々、時刻ｔ１の撮影画像上における頂点３１及び３２を表しており、図９（ｂ）において、符号３１ｂ及び３２ｂは、夫々、時刻ｔ２の撮影画像上における頂点３１及び３２を表している。
【００６６】
図１０（ａ）は時刻ｔ１の鳥瞰図画像を表し、図１０（ｂ）は時刻ｔ２の鳥瞰図画像を表している。図１０（ａ）において、符号３１ｃ及び３２ｃは、夫々、時刻ｔ１の鳥瞰図画像上における頂点３１及び３２を表しており、図１０（ｂ）において、符号３１ｄ及び３２ｄは、夫々、時刻ｔ２の鳥瞰図画像上における頂点３１及び３２を表している。
【００６７】
図１１に、図１０（ａ）及び（ｂ）に示す２つの鳥瞰図画像を重ね合わせた画像１０１を示す。今、図８の頂点３１及び３２を、夫々、第１及び第２の特徴点として捉える。図１１における矢印Ｖ31は、時刻ｔ１−ｔ２間における、鳥瞰図座標上の第１の特徴点の移動ベクトルを表しており、図１１における矢印Ｖ32は、時刻ｔ１−ｔ２間における、鳥瞰図座標上の第２の特徴点の移動ベクトルを表している。尚、移動ベクトルは、動きベクトルと同義である。
【００６８】
移動ベクトルＶ31は、特徴点３１ｃから特徴点３１ｄに向かう偏移をベクトルで表したものであり、鳥瞰図座標上における第１の特徴点の、時刻ｔ１−ｔ２間における移動の向き及び大きさを表す。移動ベクトルＶ31は、特徴点３２ｃから特徴点３２ｄに向かう偏移をベクトルで表したものであり、鳥瞰図座標上における第２の特徴点の、時刻ｔ１−ｔ２間における移動の向き及び大きさを表す。
【００６９】
オプティカルフローは、複数の移動ベクトルの集まりであり、ステップＳ１２で求められるオプティカルフローには、移動ベクトルＶ31及びＶ32が含まれている。鳥瞰図座標上における特徴点の移動は実空間におけるトレーラ１２の移動によって生じ、且つ、鳥瞰図座標が定義された平面は路面に平行であるため、移動ベクトルＶ31やＶ32と向きが反対のベクトルは、時刻ｔ１−ｔ２間におけるトレーラ１２の移動情報を表している。
【００７０】
ステップＳ１２に続くステップＳ１３では、このトレーラ１２の移動情報をオプティカルフローに基づいて求める。この移動情報は、具体的には、図１１のベクトルＶBによって表される。ベクトルＶBはステップＳ１２にて求められたオプティカルフローから導出される。ベクトルＶBの向き及び大きさは、時刻ｔ１−ｔ２間における、鳥瞰図座標上のトレーラ１２の移動方向及び移動量を表している。
【００７１】
ベクトルＶBは、例えば、ステップＳ１２にて求められたオプティカルフローに含まれる、着目した１つの移動ベクトル（例えば、Ｖ31又はＶ32）に基づいて、導出される。この場合、ベクトルＶBの大きさは、着目した１つの移動ベクトルの大きさと同じとされ、且つ、ベクトルＶBの向きは、着目した１つの移動ベクトルの向きと反対とされる。
【００７２】
或いは例えば、ベクトルＶBは、ステップＳ１２にて求められたオプティカルフローに含まれる複数の移動ベクトル（例えば、Ｖ31及びＶ32）に基づいて、導出される。この場合、ベクトルＶBの大きさは、その複数の移動ベクトルの平均ベクトルの大きさと同じとされ、且つ、ベクトルＶBの向きは、その複数の移動ベクトルの平均ベクトルの向きと反対とされる。
【００７３】
ステップＳ１３に続くステップＳ１４において、画像処理装置２は、時刻ｔ１−ｔ２間におけるトラクタ１１の移動情報を検出する。このトラクタ１１の移動情報は、連結車両１０に備えられた舵角センサ及び速度センサ（不図示）から得られる。舵角センサは、トラクタ１１の操舵角を検出するセンサである。速度センサは、トラクタ１１の移動速度を検出するセンサである。
【００７４】
トラクタ１１の移動情報には、舵角センサによって検出された時刻ｔ１−ｔ２間におけるトラクタ１１の操舵角と、速度センサによって検出された時刻ｔ１−ｔ２間におけるトラクタ１１の移動速度と、が含まれる。このトラクタ１１の移動情報と時刻ｔ１−ｔ２間の時間差Δｔとに基づいて、時刻ｔ１−ｔ２間における、トラクタ１１の実空間上の移動方向及び移動量が求まる。トラクタ１１の実空間上の移動方向とは、図５の中心線２１に対するトラクタ１１の実空間上の移動方向を意味する。
【００７５】
画像処理装置２は、このトラクタ１１の実空間上の移動方向及び移動量を表すベクトルを、鳥瞰図座標上のベクトルＶAに変換する。鳥瞰図座標が定義される平面は路面に平行であり、トラクタ１１の実空間上の移動は路面上の移動であるため、仮想カメラの高さＨなどに基づいて幾何学的にトラクタ１１の実空間上の移動方向及び移動量を表すベクトルをベクトルＶAに変換することができる。ベクトルＶAは、時刻ｔ１−ｔ２間における、トラクタ１１の鳥瞰図座標上の移動方向及び移動量を表す。
【００７６】
着目した任意の区間において、連結部１４の移動方向及び移動量はトラクタ１１の移動方向及び移動量と一致し、トラクタ１１の移動方向及び移動量と連結角θCNが定まれば着目した区間におけるトレーラ１２の移動方向及び移動量は定まる。つまり、トラクタ１１の移動方向及び移動量を第１変数とし、トレーラ１２の移動方向及び移動量を第２変数とし、連結角θCNを第３変数とした場合、第１〜第３変数の内の２つの変数が定まれば残りの１つの変数が定まる。
【００７７】
このような特性を利用し、画像処理装置２は、ステップＳ１４に続くステップＳ１５において、ステップＳ１４及びＳ１３にて得られたトラクタ１１及びトレーラ１２の移動情報に基づいて現時点の連結角θCNを推定する。現時点の連結角θCNとは、時刻ｔ２における連結角、或いは、時刻ｔ１−ｔ２間における連結角である。図１２に、トラクタ１１の移動情報に対応するベクトルＶAと、トレーラ１２の移動情報に対応するベクトルＶB（図１１参照）と、の関係を示す。時刻ｔ１−ｔ２間において、トラクタ１１が真っ直ぐ後方に進行する場合は、下記式（８）にベクトルＶA及びＶBを代入することにより連結角θCNが求まる。
【００７８】
【数８】
【００７９】
詳細には、トレーラ１２の移動方向及び移動量は、トラクタ１１の移動方向及び移動量と連結角θCNだけでなく、連結部１４とトレーラ１２の車輪１３（図２参照）との位置関係やトレーラ１２の形状などにも依存する。従って、これらの関係を考慮して、幾何学的に連結角θCNを求めればよい。連結部１４と車輪１３との位置関係やトレーラ１２の形状は予め定まっているため、トラクタ１１及びトレーラ１２の移動情報が決まれば連結角θCNを一意に決めることができる。つまり、連結角θCNを、トラクタ１１及びトレーラ１２の移動情報（即ち、ベクトルＶA及びＶB）の関数として表現することができる。このため、例えば、トラクタ１１及びトレーラ１２の移動情報を入力すれば連結角θCNが出力されるルックアップテーブルを、連結部１４と車輪１３との位置関係やトレーラ１２の形状等に基づいて予め作成して画像処理装置２内に記憶しておき、ステップＳ１５では、そのルックアップテーブルを用いて連結角θCNを推定すればよい。
【００８０】
或る時刻におけるトラクタ１１の操舵角と連結角θCNが決まれば、その後のトレーラ１２の進路を予想することができる。そこで、ステップＳ１５に続くステップＳ１６では、ステップＳ１４にて検出されたトラクタ１１の移動情報とステップＳ１５で推定された連結角θCNとに基づいて、トレーラ１２の予想移動軌跡を導出する。ここで導出される予想移動軌跡は、鳥瞰図座標上における、時刻ｔ２以降のトレーラ１２の車体の移動軌跡を予想したものである。
【００８１】
詳細には、トレーラ１２の予想移動軌跡は、トラクタ１１の操舵角と連結角θCNだけでなく、連結部１４とトレーラ１２の車輪１３（図２参照）との位置関係やトレーラ１２の形状などにも依存する。従って、これらの関係を考慮して、幾何学的に予想移動軌跡を求めればよい。連結部１４と車輪１３との位置関係やトレーラ１２の形状は予め定まっているため、各時刻におけるトラクタ１１の操舵角と連結角θCNが決まれば、各時刻におけるトレーラ１２の車体の位置を一意に決めることができる。但し、操舵角が一定角度に保持されていても連結角θCNは逐次変化してゆくことを考慮する必要がある。
【００８２】
具体的には例えば、以下の処理１〜３を介して予想移動軌跡を導出する。
処理１：予想移動軌跡の導出に際して、トラクタ１１が現時点の操舵角及び移動速度をそのまま維持したまま時刻ｔ２以降も移動すると仮定する。その上で、現時点のトラクタ１１の操舵角と現時点の連結角θCNとから未来の各時刻における連結角θCNを推定する。この推定を行うためのルックアップテーブルは、連結部１４と車輪１３との位置関係やトレーラ１２の形状等に基づいて予め作成しておくことができる。実際の連結車両１０の走行テスト結果に基づいて該ルックアップテーブルを作成しておくようにしてもよい。このルックアップテーブルに、現時点のトラクタ１１の操舵角と現時点の連結角θCNとを入力することにより未来の各時刻における連結角θCN（即ち、時刻ｔ２よりも後の各時刻における連結角θCN）推定される。
処理２：現時点の操舵角と処理１によって推定された未来の各時刻における連結角θCNとに基づいて、未来の各区間におけるトレーラ１２の鳥瞰図座標上の移動方向を推定する。この推定を行うためのルックアップテーブルも、連結部１４と車輪１３との位置関係やトレーラ１２の形状等に基づいて予め作成しておく。
処理３：未来の各区間におけるトレーラ１２の鳥瞰図座標上の移動方向と、鳥瞰図座標上におけるトレーラ１２の車体位置と、に基づいて予想移動軌跡を導出する。時刻ｔ２における鳥瞰図座標上のトレーラ１２の車体位置を起点として、未来の各区間におけるトレーラ１２の移動方向を繋ぎ合わせていけば、予想移動軌跡が求まる。
【００８３】
ステップＳ１６に続くステップＳ１７において、画像処理装置２は、ステップＳ１６にて求めた予想移動軌跡に応じた表示用画像を作成する。具体的には、トレーラ１２の車体の左後端の予想移動軌跡を示す車両ガイドラインと、トレーラ１２の車体の右後端の予想移動軌跡を示す車両ガイドラインとを、時刻ｔ２の鳥瞰図画像に重畳することにより表示用画像を生成する。ここにおける表示用画像も、鳥瞰図画像と同様、鳥瞰図座標上における画像である。
【００８４】
図１３に、表示用画像の例を示す。尚、図１０（ａ）及び（ｂ）では鳥瞰図画像の外形形状を矩形としていたが、鳥瞰図画像の外形形状が矩形であるとは限らない。図１３に示す表示用画像１２０の外形形状は６角形となっている。また、図１３の表示用画像１２０は、図１０（ａ）や（ｂ）に示す鳥瞰図画像と随分異なっているが、その相違は図示の便宜のために生じたものである。
【００８５】
表示用画像１２０において、斜線領域は、駐車枠の白線の描画領域を表している。表示用画像１２０は、撮影画像に基づく鳥瞰図画像に車両ガイドライン１２１及び１２２を重畳することによって得られる。点１２３及び１２４は、鳥瞰図画像上におけるトレーラ１２の左右後端部に対応し、点１２３と点１２４との間の長さは、鳥瞰図画像上におけるトレーラ１２の車幅を表している。車両ガイドライン１２１及び１２２は、点１２３及び１２４を起点として描かれる。
【００８６】
表示用画像１２０には、更に、トレーラ１２の後端からの距離を表す第１及び第２の距離線が重畳される。表示用画像１２０においては、表示用画像１２０の横方向に伸びる破線１２５及び１２６が、夫々、第１及び第２の距離線を表す。第１及び第２の距離線は、例えば、夫々、トレーラ１２の後端からの距離が１ｍ及び２ｍの部分を示している。勿論、第３の距離線（及び第４の距離線、・・・）を追加的に重畳するようにしても構わない。２次元地面座標系Ｘw Ｚw におけるＺw 軸方向の座標値ｚwは、トレーラ１２の後端からの距離を表しているので、画像処理装置２は、上記式（４）又は（５）から、表示用画像上における第１及び第２の距離線の位置を求めることが出来る。尚、破線１２５及び１２６の各左端及び点１２３を通る破線と、破線１２５及び１２６の各右端及び点１２４を通る破線は、トレーラ１２の左右端の延長線に相当する。
【００８７】
ステップＳ１７で生成された表示用画像は、表示装置３の表示画面上に表示される。ステップＳ１７の処理を終えるとステップＳ１１に戻り、最新の撮影画像に基づく表示用画像を表示装置３に更新表示するべく、ステップＳ１１〜Ｓ１７の各処理を繰り返し実行する。
【００８８】
乗用車やトラッククに比べて連結車両１０の運転には高い技術が必要となると共に直接の目視後方確認が難しいが、本実施例の如く車両ガイドラインを表示することにより良好に安全運転が支援される。また、このような支援を１台のカメラで行うことができるため、低コストで運転支援システムを形成することができる。本実施例では、鳥瞰図画像に付加情報を重畳することにより表示用画像を生成しているため、実際の距離と映像上の距離との整合が保たれた、車両後方の状況を把握しやすい画像を運転者に提供することができる。
【００８９】
＜＜第２実施例＞＞
図７のステップＳ１３にて求められるべきトレーラ１２の移動情報は、図１１のベクトルＶBによって表され、移動ベクトルＶ31及び／又はＶ32が求まればベクトルＶBを導出することができる。そこで、図７のステップＳ１２及びＳ１３において、以下の処理を実行するようにしてもよい。このステップＳ１２及びＳ１３の処理に対する変形例を、第２実施例として説明する。第２実施例では、特徴点の抽出処理と追跡処理によってベクトルＶBを導出する。但し、この導出手法は、第１実施例で述べたベクトルＶBの導出手法に含まれると考えることができる。第２実施例は、第１実施例と組み合わせて実施され、第１実施例に記載した事項は、矛盾なき限り本実施例にも適用される。
【００９０】
第２実施例では、ステップＳ１１において時刻ｔ１及びｔ２の撮影画像を取得した後、ステップＳ１２において、時刻ｔ１の撮影画像から特徴点を抽出する。特徴点とは、周囲の点と区別できる、追跡の容易な点のことである。このような特徴点は、水平及び垂直方向における濃淡変化量が大きくなる画素を検出する、周知の特徴点抽出器（不図示）を用いて自動的に抽出することができる。特徴点抽出器とは、例えば、Harrisのコーナ検出器、ＳＵＳＡＮのコーナ検出器である。抽出されるべき特徴点は、例えば、路面上に描かれた白線の交点又は端点や、路面上の汚れ又は亀裂などであり、路面上の高さのない不動点を想定している。
【００９１】
そして、第２実施例に係るステップＳ１３では、特徴点の追跡処理がなされる。特徴点の追跡処理として公知の手法を採用することができる。或る時刻の撮影によって得られた撮影画像を第１参照画像とし且つその時刻よりも後の時刻の撮影によって得られた撮影画像を第２参照画像とした場合、追跡処理は、第１及び第２参照画像を対比することによって行われる。より具体的には例えば、第１参照画像における特徴点の位置の近傍領域を特徴点探索領域とし、第２参照画像の特徴点探索領域内で画像マッチング処理を行うことにより第２参照画像の特徴点の位置を特定する。画像マッチング処理では、例えば、第１参照画像における特徴点の位置を中心とした矩形領域内の画像でテンプレートを形成し、そのテンプレートと第２参照画像の特徴点探索領域内の画像との類似度を計算する。計算された類似度から、第２参照画像の特徴点の位置が特定される。
【００９２】
時刻ｔ１及びｔ２の撮影画像を夫々第１及び第２参照画像として取り扱って追跡処理を行えば、時刻ｔ２の撮影画像における特徴点の位置が求まる。
【００９３】
今、時刻ｔ１の撮影画像から特徴点３１ａ及び３２ａが抽出され（図９（ａ）参照）、追跡処理によって時刻ｔ２の撮影画像における特徴点３１ｂ及び３２ｂの位置が求まったとする（図９（ｂ）参照）。画像処理装置２は、時刻ｔ１及びｔ２の撮影画像を鳥瞰変換によって時刻ｔ１及びｔ２の鳥瞰図画像に変換すると共に、上記式（７）に従って特徴点３１ａ、３２ａ、３１ｂ及び３２ｂを鳥瞰図座標上にマッピングすることにより、鳥瞰図座標上の特徴点３１ｃ、３２ｃ、３１ｄ及び３２ｄの位置を特定する。この特定がなされれば、自動的に移動ベクトルＶ31及びＶ32が求まるため、移動ベクトルＶ31及び／又はＶ32に基づいてベクトルＶBを導出することができる。
【００９４】
尚、抽出及び追跡される特徴点の個数が２つである場合を例示したが、移動ベクトルＶ31及びＶ32の内、少なくとも一方が求まればベクトルＶBを導出することができるため、抽出及び追跡されるべき特徴点の個数を１つとすることも可能である。
【００９５】
また、撮影画像上で特徴点の抽出処理及び追跡処理を行う場合を例示したが、これらを鳥瞰図画像上で行うようにしても構わない。即ち、時刻ｔ１及びｔ２の撮影画像を鳥瞰変換によって時刻ｔ１及びｔ２の鳥瞰図画像に変換した後、特徴点抽出器を用いて時刻ｔ１の鳥瞰図画像から特徴点３１ｃ及び３２ｃを抽出する（図１０（ａ）参照）。その後、時刻ｔ１及びｔ２の鳥瞰図画像を夫々第１及び第２参照画像として取り扱って追跡処理を行うことにより、時刻ｔ２の鳥瞰図画像における特徴点３１ｄ及び３２ｄの位置を特定するようにしてもよい（図１０（ｂ）参照）。
【００９６】
＜＜第３実施例＞＞
第１実施例では、鳥瞰図画像に車両ガイドラインを重畳することにより表示用画像を生成しているが、鳥瞰図画像は路面を真上から見下ろしたような映像を提供するものであるため、視野範囲が狭くなるという欠点もある。そこで、鳥瞰図画像以外の画像に車両ガイドラインを重畳することにより表示用画像を生成するようにしてもよい。これを、第３実施例として説明する。具体的には例えば、原画像としての撮影画像に車両ガイドラインを重畳し、これによって表示用画像を生成するようにしてもよい。これによって、広視野の映像を提供することが可能となる。第３実施例は、第１又は第２実施例と組み合わせて実施され、第１又は第２実施例に記載した事項は、矛盾なき限り本実施例にも適用される。
【００９７】
第３実施例では、図７のステップＳ１１〜Ｓ１６を介して求められた車両ガイドラインを、撮影画像の座標上にマッピングする。このマッピングは、撮影画像を鳥瞰図画像に変換する座標変換の逆変換によって実現される。例えば、鳥瞰図画像上の車両ガイドラインを形成する各画素の座標値（ｘau，ｙau）を上記式（７）に従って撮影画像上の座標値（ｘbu，ｙbu）に逆変換すれば、撮影画像上の車両ガイドラインの位置が求まる。
【００９８】
図１４に、本実施例に係る表示用画像の例を示す。図１４に示す表示用画像１３０は、
時刻ｔ２の撮影画像に車両ガイドライン１３１及び１３２を重畳することによって得られる。尚、図示の便宜上、図１４に対応する時刻ｔ２の撮影画像は、図９（ｂ）に対応する時刻ｔ２の撮影画像と異なっている。車両ガイドライン１３１及び１３２は、図１３に示す車両ガイドライン１２１及び１２２を撮影画像の座標上にマッピングしたものである。表示用画像１３０において、斜線領域は、駐車枠の白線の描画領域を表している。点１３３及び１３４は、撮影画像上におけるトレーラ１２の左右後端部に対応し、点１３３と点１３４との間の長さは、撮影画像上におけるトレーラ１２の車幅を表している。車両ガイドライン１３１及び１３２は、点１３３及び１３４を起点として描かれる。
【００９９】
表示用画像１３０には、更に、トレーラ１２の後端からの距離を表す第１及び第２の距離線が重畳される。表示用画像１３０の横方向に伸びる破線１３５及び１３６が第１及び第２の距離線であり、それらは、図１３における破線１２５及び１２６を撮影画像上にマッピングしたものに相当する。尚、破線１３５及び１３６の各左端及び点１３３を通る破線と、破線１３５及び１３６の各右端及び点１３４を通る破線は、トレーラ１２の左右端の延長線に相当する。
【０１００】
＜＜第４実施例＞＞
この他にも、表示用画像の生成手法を様々に変形することが可能である。表示用画像の生成手法の変形例を説明する実施例として、第４実施例を説明する。また、表示用画像の生成手法以外の応用例についても、第４実施例の説明の中で言及する。第４実施例は、第１〜３実施例と組み合わせて実施され、第１〜３実施例に記載した事項は、矛盾なき限り本実施例にも適用される。以下に、第１変形処理〜第３変形処理を個別に説明するが、複数の変形処理を組み合わせて実施することも可能である。
【０１０１】
［第１変形処理］
撮影画像又は鳥瞰図画像に車両ガイドラインを重畳するのではなく、撮影画像又は鳥瞰図画像にトレーラ１２の移動方向（進行方向）を示す指標を重畳することによって、表示用画像を生成するようにしても良い。図１５に、この表示用画像の例を示す。図１５の表示用画像１５０は、図１０（ｂ）に示す時刻ｔ２の鳥瞰図画像に、トレーラ１２の移動方向を示す指標として矢印１５１を重畳した画像である。矢印１５１の向きは、図１１に示すベクトルＶBの向きと合致する。
【０１０２】
トレーラ１２の移動方向を示す指標を鳥瞰図画像にではなく撮影画像に重畳することによって表示用画像を生成する場合は、鳥瞰図座標上のベクトルＶBを第３実施例で述べた逆変換によって撮影画像の座標上のベクトルに変換し、得られたベクトルの向きと向きが合致する矢印を図９（ｂ）に示す時刻ｔ２の撮影画像に重畳することによって表示用画像を生成すればよい。
【０１０３】
尚、トレーラ１２の移動方向を示す指標及び車両ガイドラインの双方を、撮影画像又は鳥瞰図画像に重畳して表示用画像を生成するようにしてもよい。
【０１０４】
［第２変形処理］
また、図７のステップ１５における連結角θCNの推定結果を表示用画像に反映させるようにしてもよい。この反映のさせ方は任意である。時刻ｔ１及びｔ２の撮影画像に基づいて連結角θCNが推定された場合を考える。この場合、例えば、時刻ｔ２の撮影画像又は時刻ｔ２の鳥瞰図画像に連結角θCNを表す数値を重畳することにより表示用画像を生成する。この表示用画像に、更に、トレーラ１２の移動方向を示す指標、及び／又は、車両ガイドラインを重畳するようにしてもよい。
【０１０５】
また例えば、時刻ｔ２の撮影画像又は時刻ｔ２の鳥瞰図画像と、連結角θCNを表すイラストと、が表示画面上に並べて表示されるように表示用画像を生成してもよい。図１６に、この表示用画像の例を示す。図１６の表示用画像１６０は、２つの領域１６１及び１６２に分割されている。そして、領域１６１には、図１４に示す表示用画像１３０と同じ画像（或いは、表示用画像１３０を横方向に圧縮した画像）が描画され、領域１６２には、推定された最新の連結角θCNを表すイラストが描画される。このイラストには、トラクタとトレーラから成る連結車両の絵が含まれ、連結角θCNに応じてイラスト上のトラクタとトレーラの連結角が変化するようになっている。
【０１０６】
［第３変形処理］
連結角θCNが一定角度以上になると、転倒などの惧れが生じる。そこで、連結角θCNに応じて警告報知を行うようにしてもよい。具体的には以下のように処理する。運転支援システム（例えば、画像処理装置２）は、図７のステップＳ１５にて推定された連結角θCNと所定の閾値角度とを比較し、前者が後者以上である時、連結車両１０の運転者に対して、連結角θCNが大きすぎることを知らせるための報知を行う。この報知は、表示装置３を用いた映像による報知であってもよいし、図示されないスピーカを用いた音による報知であってもよい。尚、適切な閾値角度は、トラクタ１１及びトレーラ１２の各車体の大きさなどによっても異なるため、この閾値角度を連結車両１０の車種などに応じて変更するとよい。
【０１０７】
＜＜第５実施例＞＞
第１実施例において、トレーラ１２の予想移動軌跡を導出する手法を説明したが、この導出手法の変形例（即ち、図７のステップＳ１６の処理の変形例）を、第５実施例として説明する。第５実施例は、第１実施例、又は、第２〜第４実施例の何れかと組み合わせて実施される。時刻ｔ１及びｔ２の撮影画像が取得され、図７のステップＳ１１〜Ｓ１５の各処理が第１実施例で述べたように実行された後の処理について説明する。
【０１０８】
図１７は、Ｘau軸及びＹau軸を座標軸とする鳥瞰図座標を示している。図１７には、更に、連結車両１０を鳥瞰図座標上に投影した図形が描かれている。図１７において、符号１１ａ、１２ａ及び１３ａは、夫々、図２のトラクタ１１、トレーラ１２及び車輪１３を鳥瞰図座標上に投影した図形である。トレーラ１２に設けられた２つの車輪１３の車軸中心をＱにて表すこととする。２つの車輪１３の車軸は図５の中心線２２に直交し、車軸中心Ｑは中心線２２上にのる。
【０１０９】
今、鳥瞰図座標上の時刻ｔ２における連結点１４の位置を原点にとる。また、鳥瞰図座標上における、時刻ｔ２のトラクタ１１の中心線２１（図５参照）がＹau軸上にのるとする。更に、時間長さΔｔにて離散化された時刻ｔ１、ｔ２、ｔ３、ｔ４、・・・を想定する。時刻ｔ１、ｔ２、ｔ３、ｔ４、・・・の順番で時間が経過するものとする。そして、鳥瞰図座標上の時刻ｔｉにおける連結点１４の位置を、ｋ［ｔｉ］にて表す（ｉは自然数）。
【０１１０】
予想移動軌跡の導出に際して、トラクタ１１が現時点の操舵角及び移動速度をそのまま維持したまま時刻ｔ２以降も移動すると仮定する。そうすると、時刻ｔ２−ｔ３間における、トラクタ１１の鳥瞰図座標上の移動方向及び移動量を表すベクトルは、第１実施例で述べた時刻ｔ１−ｔ２間についてのベクトルＶAと合致する。従って、ベクトルＶAから鳥瞰図座標上の時刻ｔ３における連結点１４の位置ｋ［ｔ３］を定めることができる。つまり、時刻ｔ２における連結点１４の位置ｋ［ｔ２］を始点としてベクトルＶAを鳥瞰図座標上に配置したときの、ベクトルＶAの終点の位置を位置ｋ［ｔ３］と定める。尚、時刻ｔ１−ｔ２間におけるトラクタ１１の操舵角が定まれば、鳥瞰図座標上におけるベクトルＶAの向きは定まるものとする。
【０１１１】
また、時刻ｔｉにおける連結角θCNをθCN［ｔｉ］にて表す（ｉは自然数）。また更に、鳥瞰図座標上における、時刻ｔｉの車軸中心Ｑの位置をＱ［ｔｉ］にて表す（ｉは自然数）。図７のステップＳ１５にて時刻ｔ２における連結角θCN［ｔ２］が推定されており、画像処理装置２は、この連結角θCN［ｔ２］を用いて位置Ｑ［ｔ２］を求める。より詳細には、連結角θCN［ｔ２］と位置ｋ［ｔ２］と既知のトレーラ１２の車体情報とから位置Ｑ［ｔ２］を求める。トレーラ１２の車体情報は、鳥瞰図座標上の連結点１４と車軸中心Ｑまでの距離を特定する。
【０１１２】
この後、画像処理装置２は、鳥瞰図座標上における、時刻ｔ３の車軸中心Ｑの位置Ｑ［ｔ３］を、以下の第１及び第２条件の双方が満たされるように推定する（自動車規格（JASO Z 006-92；ページ１８）参照）。
第１条件は「位置ｋ［ｔ２］と位置Ｑ［ｔ２］との距離と位置ｋ［ｔ３］と位置Ｑ［ｔ３］との距離が同じである」という条件である。
第２条件は「位置Ｑ［ｔ３］は、位置ｋ［ｔ２］と位置Ｑ［ｔ２］とを結ぶ線上に位置する」という条件である。
【０１１３】
更に、画像処理装置２は、推定した位置Ｑ［ｔ３］と位置ｋ［ｔ３］から、時刻ｔ３における連結角θCN［ｔ３］を推定する。つまり、位置ｋ［ｔ３］を通り且つＹau軸に平行な直線と、位置ｋ［ｔ３］と位置Ｑ［ｔ３］とを結ぶ直線と、の成す角度を連結角θCN［ｔ３］として推定する。
【０１１４】
上述のようにして、“ｋ［ｔ２］、Ｑ［ｔ２］及びθCN［ｔ２］”を基準として“ｋ［ｔ３］、Ｑ［ｔ３］及びθCN［ｔ３］”を導出する。この導出手法を “ｋ［ｔ３］、Ｑ［ｔ３］及びθCN［ｔ３］”を基準として適用すれば、“ｋ［ｔ４］、Ｑ［ｔ４］及びθCN［ｔ４］”が求まる。これを繰り返し実行することにより、“ｋ［ｔ５］、Ｑ［ｔ５］及びθCN［ｔ５］”、“ｋ［ｔ６］、Ｑ［ｔ６］及びθCN［ｔ６］”、・・・、を次々と求めていく。
【０１１５】
図１８は、時刻ｔ２〜ｔ６における車軸中心Ｑの位置Ｑ［ｔ２］〜Ｑ［ｔ６］をプロットした図である。Ｑ［ｔ２］〜Ｑ［ｔ６］を結ぶ軌跡は、鳥瞰図座標上における車軸中心Ｑの予想移動軌跡である。各時刻における車軸中心Ｑの位置が求まれば、鳥瞰図座標上におけるトレーラ１２の車幅から、各時刻におけるトレーラ１２の車体の左右後端の位置も求まる。図１８における曲線１７１及び１７２は、時刻ｔ２以降におけるトレーラ１２の車体の左右後端の予想移動軌跡である。図７のステップＳ１６では、これらの予想移動軌跡が導出される。
【０１１６】
例えば、図１３の表示用画像１２０は、この曲線１７１及び１７２に沿った車両ガイドライン１２１及び１２２を、時刻ｔ２の鳥瞰図画像に重畳することによって生成される。
【０１１７】
＜＜第６実施例＞＞
次に、第６実施例を説明する。第６実施例では、図１の画像処理装置２の機能ブロック図を例示する。図１９は、第１実施例に対応する画像処理装置２の機能ブロック図である。図１９の画像処理装置２内で、図７に示す各ステップの処理が実行される。図１９の画像処理装置２は、符号２０１〜２０５にて参照される各部位を備える。
【０１１８】
図７のステップＳ１１にて取り込まれた時刻ｔ１及びｔ２の撮影画像は鳥瞰変換部２０１に送られる。鳥瞰変換部２０１は、時刻ｔ１及びｔ２の撮影画像を鳥瞰変換によって時刻ｔ１及びｔ２の鳥瞰図画像に変換する。動き検出部２０２は、この変換によって得られた時刻ｔ１及びｔ２の鳥瞰図画像を対比することにより、時刻ｔ１−ｔ２間における鳥瞰図座標上のオプティカルフローを導出する（ステップＳ１２）。連結角推定部２０３は、このオプティカルフローと入力されたトラクタ１１の移動情報とに基づいて、連結角θCNを推定する（ステップＳ１５）。尚、図７のステップＳ１３及びＳ１４の処理は、動き検出部２０２若しくは連結角推定部２０３、又は、画像処理装置２内の他の部位によって実現される。
【０１１９】
移動軌跡推定部２０４は、連結角推定部２０３によって推定された連結角θCNと、トラクタ１１の移動情報と、に基づいて図７のステップＳ１６の処理を実行することにより、トレーラ１２の予想移動軌跡を求める。表示用画像生成部２０５は、その推定結果に基づく車両ガイドラインを時刻ｔ２の鳥瞰図画像に重畳することにより、時刻ｔ２における表示用画像を生成する。
【０１２０】
尚、上述の第４実施例における第１変形処理の如く、撮影画像又は鳥瞰図画像にトレーラ１２の移動方向を示す指標を重畳する場合は、図１９の機能ブロック図は図２０のように変形される。図２０に示されるトレーラ移動方向推定部２０６も、符号２０１〜２０５にて参照される各部位と共に、画像処理装置２内に設けられる。トレーラ移動方向推定部２０６は、動き検出部２０２からのオプティカルフローを用いて図７のステップＳ１３の処理を実行することにより、トレーラ１２の移動方向を表す図１１のベクトルＶBを求める。この場合、表示用画像生成部２０５は、このベクトルＶBを用いて図１５の表示用画像１５０を生成する。
【０１２１】
＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１２２】
［注釈１］
上述の、撮影画像から鳥瞰図画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰図画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階にて予め求めておく。ホモグラフィ行列の求め方は公知である。そして、図７に示す動作を行う場合、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。何れにせよ、撮影画像を鳥瞰図座標上に投影することによって撮影画像が鳥瞰図画像に変換される。
【０１２３】
［注釈２］
上述の実施形態では、１つのカメラから得られた撮影画像に基づく表示用画像を表示装置３に表示するようにしているが、連結車両１０に複数のカメラ（不図示）が設置されている場合においては、その複数のカメラから得られた複数の撮影画像に基づいて表示用画像を生成するようにしてもよい。例えば、カメラ１以外に他の１台以上のカメラを連結車両１０に取り付ける。そして、その他のカメラの撮影画像に基づく画像とカメラ１の撮影画像に基づく画像とを合成し、この合成によって得られた合成画像を最終的に表示装置３に対する表示用画像とすることも可能である。この合成画像は、例えば、特開２００６−２８７８９２号公報にも記載されているような全周鳥瞰図画像である。
【０１２４】
［注釈３］
上述の実施形態では、トラクタ１１とトレーラ１２とから成る連結車両１０に本発明に係る運転支援システムを適用した（図２参照）。しかし、本発明に係る運転支援システムを適用可能な車両は、トラクタとトレーラとから成る連結車両に限定されない。第１車両と第１車両に連結されて牽引される第２車両とから成る任意の連結車両に対して、本発明に係る運転支援システムを適用可能である。上述の実施形態では、第１車両がトラクタ１１に相当し且つ第２車両がトレーラ１２に相当する。また、図１の連結車両１０は、鋼材や重量物を運搬する大型の連結車両であるが、本発明は、連結車両の大きさに依存しない。
【０１２５】
本発明を適用可能な連結車両は、牽引自動車と一般的に呼ばれる車両を含む（或いは、連結車両そのものが牽引自動車である）。また更に例えば、本発明を適用可能な連結車両は、第１車両と第２車両とから成る、連節バス（連接バス）、連結バス及びトロッコバスを含む。例えば、連接バスに本発明に係る運転支援システムを適用する場合、連節バスにおける第１車両及び第２車両を上述のトラクタ１１及びトレーラ１２と見立てて上述してきた処理を実施すればよい。また、ＳＵＶ（Sports Utility Vehicle）に分類される連結車両にも本発明は適用可能である。
【０１２６】
［注釈４］
図１の画像処理装置２は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。図１の画像処理装置２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【図面の簡単な説明】
【０１２７】
【図１】本発明の実施形態に係る運転支援システムの構成ブロック図である。
【図２】図１の運転支援システムが設置される連結車両の外観側面図である。
【図３】図１の運転支援システムが設置される連結車両の外観側面図である。
【図４】図２の連結車両を上方から見た平面図である（連結角が０°である場合）。
【図５】図２の連結車両を上方から見た平面図である（連結角が０°でない場合）。
【図６】本発明の実施形態に係り、カメラ座標系ＸＹＺと、カメラの撮像面Ｓの座標系ＸbuＹbuと、世界座標系Ｘw Ｙw Ｚw との関係を示す図である。
【図７】本発明の第１実施例に係り、表示用画像を生成するための動作の流れを表すフローチャートである。
【図８】本発明の第１実施例に係り、上方から見た連結車両とその周辺路面の平面図である。
【図９】本発明の第１実施例に係り、時刻ｔ１及びｔ２の撮影画像を示す図である。
【図１０】本発明の第１実施例に係り、時刻ｔ１及びｔ２の鳥瞰図画像を示す図である。
【図１１】本発明の第１実施例に係り、図１０（ａ）及び（ｂ）の２つの鳥瞰図画像を重ね合わせた画像を示す図である。
【図１２】本発明の第１実施例に係り、トラクタの移動情報に対応するベクトル（ＶA）と、トレーラの移動情報に対応するベクトル（ＶB）と、の関係を示す図である。
【図１３】本発明の第１実施例に係り、表示用画像の例を示す図である。
【図１４】本発明の第３実施例に係り、表示用画像の例を示す図である。
【図１５】本発明の第４実施例に係り、表示用画像の例を示す図である。
【図１６】本発明の第４実施例に係り、表示用画像の他の例を示す図である。
【図１７】本発明の第５実施例に係り、トレーラの予想移動軌跡の導出手法を説明するためのである。
【図１８】本発明の第５実施例に係り、トレーラの予想移動軌跡の導出手法を説明するためのである。
【図１９】本発明の第６実施例に係り、図１の画像処理装置の機能ブロック図である。
【図２０】本発明の第６実施例に係り、図１９の機能ブロック図の変形例を示す図である。
【符号の説明】
【０１２８】
１ カメラ
２ 画像処理装置
３ 表示装置
１０ 連結車両
１１ トラクタ
１２ トレーラ
１４ 連結部
１２１、１２２、１３１、１３２ 車両ガイドライン
【特許請求の範囲】
【請求項１】
第１車両と該第１車両に連結される第２車両とから成る連結車両の前記第２車両側に設置された、前記第２車両の後方を撮影するカメラを備え、
前記カメラから時系列で並ぶ複数の撮影画像を取得し、各撮影画像から生成した表示用画像を表示装置に対して出力する運転支援システムにおいて、
前記複数の撮影画像にて形成される動画像のオプティカルフローを導出する動き検出手段と、
前記オプティカルフロー及び入力された前記第１車両の移動情報に基づいて、前記第１車両と前記第２車両の連結角を推定する連結角推定手段と、
前記連結角及び前記第１車両の移動情報に基づいて、前記第２車両の予想移動軌跡を導出する移動軌跡推定手段と、を備え、
前記撮影画像に基づく画像に対して前記予想移動軌跡に応じた指標を重畳することによって前記表示用画像を生成する
ことを特徴とする運転支援システム。
【請求項２】
各撮影画像を所定の鳥瞰図座標上に投影することによって前記複数の撮影画像を複数の鳥瞰図画像に変換する座標変換手段を更に備え、
前記動き検出手段によって導出される前記オプティカルフローは、前記鳥瞰図座標上のオプティカルフローである
ことを特徴とする請求項１に記載の運転支援システム。
【請求項３】
前記第１車両の移動情報は、前記第１車両の移動方向及び移動速度を表す情報を含み、
前記連結角推定手段は、前記第１車両の移動情報に基づいて前記鳥瞰図座標上における前記第１車両の移動方向及び移動量を表すベクトルを導出し、前記ベクトルと前記オプティカルフローとに基づいて前記連結角を推定する
ことを特徴とする請求項２に記載の運転支援システム。
【請求項４】
第１車両と該第１車両に連結される第２車両とから成る連結車両の前記第２車両側に設置された、前記第２車両の後方を撮影するカメラを備え、
前記カメラから時系列で並ぶ複数の撮影画像を取得し、各撮影画像から生成した表示用画像を表示装置に対して出力する運転支援システムにおいて、
前記複数の撮影画像にて形成される動画像のオプティカルフローを導出する動き検出手段と、
前記オプティカルフローから前記第２車両の移動方向を推定する移動方向推定手段と、を備え、
その推定結果を前記表示用画像に反映させる
ことを特徴とする運転支援システム。
【請求項５】
各撮影画像を所定の鳥瞰図座標上に投影することによって前記複数の撮影画像を複数の鳥瞰図画像に変換する座標変換手段を更に備え、
前記動き検出手段によって導出される前記オプティカルフローは、前記鳥瞰図座標上のオプティカルフローである
ことを特徴とする請求項４に記載の運転支援システム。
【請求項６】
前記オプティカルフロー及び入力された前記第１車両の移動情報に基づいて、前記第１車両と前記第２車両の連結角を推定する連結角推定手段を更に備え、
前記連結角の推定結果を前記表示用画像に反映させる
ことを特徴とする請求項５に記載の運転支援システム。
【請求項７】
前記第１車両の移動情報は、前記第１車両の移動方向及び移動速度を表す情報を含み、
前記連結角推定手段は、前記第１車両の移動情報に基づいて前記鳥瞰図座標上における前記第１車両の移動方向及び移動量を表すベクトルを導出し、前記ベクトルと前記オプティカルフローとに基づいて前記連結角を推定する
ことを特徴とする請求項６に記載の運転支援システム。
【請求項８】
推定された前記連結角と所定の閾値角度との比較結果に応じた報知を外部に対して行う報知手段を更に備えた
ことを特徴とする請求項１〜３、６または７に記載の運転支援システム。
【請求項９】
第１車両と該第１車両に連結される第２車両とから成り、
請求項１〜８の何れかに記載の運転支援システムが設置された
ことを特徴とする連結車両。
【請求項１】
第１車両と該第１車両に連結される第２車両とから成る連結車両の前記第２車両側に設置された、前記第２車両の後方を撮影するカメラを備え、
前記カメラから時系列で並ぶ複数の撮影画像を取得し、各撮影画像から生成した表示用画像を表示装置に対して出力する運転支援システムにおいて、
前記複数の撮影画像にて形成される動画像のオプティカルフローを導出する動き検出手段と、
前記オプティカルフロー及び入力された前記第１車両の移動情報に基づいて、前記第１車両と前記第２車両の連結角を推定する連結角推定手段と、
前記連結角及び前記第１車両の移動情報に基づいて、前記第２車両の予想移動軌跡を導出する移動軌跡推定手段と、を備え、
前記撮影画像に基づく画像に対して前記予想移動軌跡に応じた指標を重畳することによって前記表示用画像を生成する
ことを特徴とする運転支援システム。
【請求項２】
各撮影画像を所定の鳥瞰図座標上に投影することによって前記複数の撮影画像を複数の鳥瞰図画像に変換する座標変換手段を更に備え、
前記動き検出手段によって導出される前記オプティカルフローは、前記鳥瞰図座標上のオプティカルフローである
ことを特徴とする請求項１に記載の運転支援システム。
【請求項３】
前記第１車両の移動情報は、前記第１車両の移動方向及び移動速度を表す情報を含み、
前記連結角推定手段は、前記第１車両の移動情報に基づいて前記鳥瞰図座標上における前記第１車両の移動方向及び移動量を表すベクトルを導出し、前記ベクトルと前記オプティカルフローとに基づいて前記連結角を推定する
ことを特徴とする請求項２に記載の運転支援システム。
【請求項４】
第１車両と該第１車両に連結される第２車両とから成る連結車両の前記第２車両側に設置された、前記第２車両の後方を撮影するカメラを備え、
前記カメラから時系列で並ぶ複数の撮影画像を取得し、各撮影画像から生成した表示用画像を表示装置に対して出力する運転支援システムにおいて、
前記複数の撮影画像にて形成される動画像のオプティカルフローを導出する動き検出手段と、
前記オプティカルフローから前記第２車両の移動方向を推定する移動方向推定手段と、を備え、
その推定結果を前記表示用画像に反映させる
ことを特徴とする運転支援システム。
【請求項５】
各撮影画像を所定の鳥瞰図座標上に投影することによって前記複数の撮影画像を複数の鳥瞰図画像に変換する座標変換手段を更に備え、
前記動き検出手段によって導出される前記オプティカルフローは、前記鳥瞰図座標上のオプティカルフローである
ことを特徴とする請求項４に記載の運転支援システム。
【請求項６】
前記オプティカルフロー及び入力された前記第１車両の移動情報に基づいて、前記第１車両と前記第２車両の連結角を推定する連結角推定手段を更に備え、
前記連結角の推定結果を前記表示用画像に反映させる
ことを特徴とする請求項５に記載の運転支援システム。
【請求項７】
前記第１車両の移動情報は、前記第１車両の移動方向及び移動速度を表す情報を含み、
前記連結角推定手段は、前記第１車両の移動情報に基づいて前記鳥瞰図座標上における前記第１車両の移動方向及び移動量を表すベクトルを導出し、前記ベクトルと前記オプティカルフローとに基づいて前記連結角を推定する
ことを特徴とする請求項６に記載の運転支援システム。
【請求項８】
推定された前記連結角と所定の閾値角度との比較結果に応じた報知を外部に対して行う報知手段を更に備えた
ことを特徴とする請求項１〜３、６または７に記載の運転支援システム。
【請求項９】
第１車両と該第１車両に連結される第２車両とから成り、
請求項１〜８の何れかに記載の運転支援システムが設置された
ことを特徴とする連結車両。
【図１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【公開番号】特開２００９−６０４９９（Ｐ２００９−６０４９９Ａ）
【公開日】平成２１年３月１９日（２００９．３．１９）
【国際特許分類】
【出願番号】特願２００７−２２７６３５（Ｐ２００７−２２７６３５）
【出願日】平成１９年９月３日（２００７．９．３）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２１年３月１９日（２００９．３．１９）
【国際特許分類】
【出願日】平成１９年９月３日（２００７．９．３）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]