運転支援システム
【課題】 この発明は、車両から離れた領域においても高い視認性が得られる運転支援システムを提供することを目的とする。
【解決手段】 車両に搭載された車両周辺の画像を撮像する撮像装置、撮像画像のうち車両からの距離が所定の閾値以内の領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度を座標変換時の回転角として設定し、撮像画像のうち車両からの距離が所定の閾値より大きい領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度と車両からの距離とに基づいて座標変換時の回転角を算出して設定する回転量設定手段、撮像画像の座標を、その座標に対応する画像に対して回転角設定手段によって設定された回転角を用いて鳥瞰図座標に変換することにより、拡張鳥瞰図画像を生成する鳥瞰図画像生成手段を備えている。
【解決手段】 車両に搭載された車両周辺の画像を撮像する撮像装置、撮像画像のうち車両からの距離が所定の閾値以内の領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度を座標変換時の回転角として設定し、撮像画像のうち車両からの距離が所定の閾値より大きい領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度と車両からの距離とに基づいて座標変換時の回転角を算出して設定する回転量設定手段、撮像画像の座標を、その座標に対応する画像に対して回転角設定手段によって設定された回転角を用いて鳥瞰図座標に変換することにより、拡張鳥瞰図画像を生成する鳥瞰図画像生成手段を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、運転支援システムに関する。
【背景技術】
【０００２】
自動車などの運転手にとって、バックするときには、死角が生じるため後方確認が難しくなる。そこで、運転手の死角となりやすい車両の後方を監視する車載カメラを装備し、その撮像画像をカーナビゲーション等の画面に表示するシステムが既に開発されている。
【０００３】
しかしながら、広範囲を映し出すために広角レンズを用いると映像にレンズ歪みが生じる。さらに、カメラから離れるほど通常のレンズより小さく映り、撮像画像からでは車両後方の距離やスペースを把握しにくくなる。
【０００４】
そこで、カメラの映像を単に表示するのではなく、画像処理技術を利用して、より人間に優しい映像を見せる研究がなされている。その１つに、撮影した画像を座標変換して、地面の上方から眺めたような鳥瞰図画像を生成して、表示するものがある（特開平１０−２１１８４９号公報、特開２００２−８７１６０号公報参照）。上方からの鳥瞰図を表示することによって、運転手は車両後方の距離やスペースを把握し易くなる。
【０００５】
鳥瞰図画像を生成して表示するシステムでは、地面の上方から眺めた見やすい画像を運転手に提示することができるが、本来高さを持つ物体が平面に投影されるため、物体の高さ情報を失い、物体を知覚しにくくなるという欠点がある。また、地面を基準とした座標変換を行うため、地面と高さの異なる物体は、地面との高低差により、その物体の形状を正しく保つことができない。
【０００６】
特に、車両から距離が離れるほど、地面との高さの少しの差が鳥瞰図画像上では顕著に現れ、非常に高い物体のように見えてしまう。つまり、車両から離れた領域では、鳥瞰図画像の画質が劣化しかつ物体の形状が正しく表示されないため、視認性が悪くなる。
【０００７】
そこで、生成された鳥瞰図画像のうち、車両から離れた領域を削除し、車両近傍のみ を表示したり、鳥瞰図画像と原画像との両方を別々に表示したりしている。前者では視野が狭くなってしまうし、後者ではモニタが２つ必要となるという問題がある。
【０００８】
また、駐車のための運転支援装置として、複数のカメラから得た映像を幾何変換によって全周鳥瞰図画像に変換して、モニタに表示させる装置が開発されている。この装置では、車両全周のシーンを上空から見た映像を運転手に提示することができるため、車両の周辺を３６０度死角なくカバーできるという長所がある。しかしながら、鳥瞰図画像では、高さのある障害物も平面へ投影されるため、高さの情報を失い、車両から離れるにつれ障害物の形状が変形する。また、表示画面の大きさが限られているため、鳥瞰図画像では遠方を充分に表示できない。
【特許文献１】特開平１０−２１１８４９号公報
【特許文献２】特開２００２−８７１６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
この発明は、車両から離れた領域においても高い視認性が得られる運転支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、車両に搭載された表示器、車両に搭載された車両周辺を撮像する撮像装置、撮像画像のうち車両からの距離が所定の閾値以内の領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度を座標変換時の回転角として設定し、撮像画像のうち車両からの距離が所定の閾値より大きい領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度と車両からの距離とに基づいて座標変換時の回転角を算出して設定する回転量設定手段、撮像画像の座標を、その座標に対応する画像に対して回転角設定手段によって設定された回転角を用いて鳥瞰図座標に変換することにより、拡張鳥瞰図画像を生成する鳥瞰図画像生成手段、および鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えていることを特徴とする。
【００１１】
請求項２に記載の発明は、請求項１に記載の発明において、回転量設定手段は、撮像画像のうち車両からの距離が所定の閾値より大きい領域の画像に対しては、車両からの距離が大きいほど座標変換時の回転角が小さくなるように、座標変換時の回転角を算出するものであることを特徴とする。
【００１２】
請求項３に記載の発明は、請求項１乃至２に記載の発明において、回転量設定手段は、撮像画像の座標を地面座標に変換するための変換式を用いて、撮像画像の各部に対する車両からの距離を算出する第１手段、および撮像画像の各部毎に、予め設定された水平面に対する撮像装置の傾き角度と、第１手段によって算出された距離と、予め設定された所定の閾値とに基づいて、座標変換時の回転角を決定して設定する第２手段を備えていることを特徴とする。
【００１３】
請求項４に記載の発明は、車両に搭載された表示器、車両に搭載された車両周辺を撮像する撮像装置、撮像画像の座標を、請求項１に記載の拡張鳥瞰図画像の座標に変換するための座標変換テーブル、撮像画像の座標を、座標変換テーブルを用いて拡張鳥瞰図画像の座標に変換することにより、拡張鳥瞰図画像を生成する鳥瞰図画像生成手段、および鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えていることを特徴とする。
【００１４】
請求項５に記載の発明は、車両に搭載された表示器、車両の少なくとも前後に搭載されかつ車両の周辺を撮像する複数の撮像装置、各撮像装置に撮像された撮像画像から、車両の進行方向に応じた複数種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、全周鳥瞰図画像は各撮像装置の撮像装置から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両の進行方向に対応した方向の撮像画像像から請求項１に記載の拡張鳥瞰図画像を生成し、他の方向の撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された全周鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された全周鳥瞰図画像を生成するものであることを特徴とする。
【００１５】
請求項６に記載の発明は、車両に搭載された表示器、車両の前後左右に搭載されかつ車両周辺を撮像する複数の撮像装置、各撮像装置に撮像された撮像画像から、車両が前進している場合、および車両が後退している場合のそれぞれに応じた種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、全周鳥瞰図画像は各撮像装置の撮像装置から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両が前進している場合には、前側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、後側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第１の全周鳥瞰図画像を生成し、車両が後退している場合には、後側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、前側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第２の全周鳥瞰図画像を生成するものであることを特徴とする運転支援システム。
【００１６】
請求項７に記載の発明は、請求項６に記載の発明において、全周鳥瞰図画像生成手段は、各撮像装置によって撮像される撮像画像の座標を、上記第１の全周鳥瞰図画像の座標に変換するための第１の座標変換テーブル、各撮像装置によって撮像される撮像画像の座標を、上記第２の全周鳥瞰図画像の座標に変換するための第２の座標変換テーブル、車両が前進している場合には、各撮像装置によって撮像された撮像画像の座標を、第１の座標変換テーブルを用いて第１の全周鳥瞰図画像の座標に変換することにより、第１の全周鳥瞰図画像を生成する第１の全周鳥瞰図画像生成手段、および車両が後退している場合には、各撮像装置によって撮像された撮像画像の座標を、第２の座標変換テーブルを用いて第２の全周鳥瞰図画像の座標に変換することにより、第２の全周鳥瞰図画像を生成する第２の全周鳥瞰図画像生成手段を備えていることを特徴とする。
【００１７】
請求項８に記載の発明は、車両に搭載された表示器、車両の前後左右に搭載されかつ車両周辺を撮像する複数の撮像装置、各撮像装置に撮像された撮像画像から、車両が停止している場合、車両が前進している場合、および車両が後退している場合のそれぞれに応じた種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、全周鳥瞰図画像は各撮像装置の撮像装置から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両が停止している場合には、前後の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第１の全周鳥瞰図画像を生成し、車両が前進している場合には、前側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、後側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第２の全周鳥瞰図画像を生成し、車両が後退している場合には、後側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、前側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第３の全周鳥瞰図画像を生成するものであることを特徴とする。
【００１８】
請求項９に記載の発明は、請求項８に記載の発明において、全周鳥瞰図画像生成手段は、各撮像装置によって撮像される撮像画像の座標を、上記第１の全周鳥瞰図画像の座標に変換するための第１の座標変換テーブル、各撮像装置によって撮像される撮像画像の座標を、上記第２の全周鳥瞰図画像の座標に変換するための第２の座標変換テーブル、各撮像装置によって撮像される撮像画像の座標を、上記第３の全周鳥瞰図画像の座標に変換するための第３の座標変換テーブル、車両が停止している場合には、各撮像装置によって撮像された撮像画像の座標を、第１の座標変換テーブルを用いて第１の全周鳥瞰図画像の座標に変換することにより、第１の全周鳥瞰図画像を生成する第１の全周鳥瞰図画像生成手段、車両が前進している場合には、各撮像装置によって撮像された撮像画像の座標を、第２の座標変換テーブルを用いて第２の全周鳥瞰図画像の座標に変換することにより、第２の全周鳥瞰図画像を生成する第２の全周鳥瞰図画像生成手段、および車両が後退している場合には、各撮像装置によって撮像された撮像画像の座標を、第３の座標変換テーブルを用いて第３の全周鳥瞰図画像の座標に変換することにより、第３の全周鳥瞰図画像を生成する第３の全周鳥瞰図画像生成手段を備えていることを特徴とする。
【発明の効果】
【００１９】
この発明によれば、車両から離れた領域においても高い視認性が得られるようになる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して、この発明の実施例について説明する。
【実施例１】
【００２１】
図１は、自動車に設けられた運転支援システムの構成を示している。
本発明の特徴は鳥瞰図画像の生成方法にあり、本発明手法によって生成される鳥瞰図画像は、従来手法によって生成される鳥瞰図画像と異なるものである。そこで、本発明手法によって生成される鳥瞰図画像を拡張鳥瞰図画像と呼ぶことにする。
【００２２】
運転支援システムは、車両の後部に後方斜め下向きに配置されたカメラ（撮像装置）１と、車両内に設けられかつカメラ１によって撮像された画像から拡張鳥瞰図画像を生成するための画像処理ユニット２と、車両内のダッシュボードに配置されかつ画像処理ユニット２によって生成された拡張鳥瞰図画像を表示するモニタ（表示器）３とを備えている。
【００２３】
カメラ１としては、例えば、ＣＣＤカメラが用いられる。画像処理ユニット２としては、例えば、マイクロコンピュータが用いられる。モニタ３としては、例えば、ナビゲーションシステムのモニタが用いられる。
【００２４】
水平面とカメラ１の光軸とのなす角は、図１にαで表される角度と、βで表される角度との２種類がある。αは、一般的には、見下ろし角または俯角αと呼ばれている。この明細書では、角度βを水平面に対するカメラ１の傾き角度θｏということにする。
【００２５】
図２は、画像処理ユニット２による処理手順を示している。
カメラ１の地面からの高さｈ、水平面に対するカメラ１の傾き角度θｏ、カメラ１のレンズ焦点距離ｆ、カメラ１のレンズ歪み補正値等のパラメータは、予め設定されているものとする。
【００２６】
まず、カメラ１の撮像画像を読み込む（ステップＳ１）。次にレンズ歪み補正を行う（ステップＳ２）。以下、レンズ歪み補正によって得られた画像を入力画像Ｉと呼び、入力画像Ｉの各画素の画像を入力画素画像Ｉ（ｘbu，ｙbu）と呼ぶことにする。
【００２７】
次に、１つの入力画素画像Ｉ（ｘbu，ｙbu）を注目画素画像として、注目画素画像Ｉ（ｘbu，ｙbu）に対応する車両からの距離Ｄを算出する（ステップＳ３）。この処理の詳細については、後述する。
【００２８】
次に、注目画素画像Ｉ（ｘbu，ｙbu）に対応する距離Ｄが予め設定された閾値Ｄｔｈより大きいか否かを判別する（ステップＳ４）。距離Ｄが閾値Ｄｔｈ以下の場合には、透視変換（座標変換）に用いる回転量（回転角）θをカメラ１の取り付け角度θｏに設定した後（ステップＳ５）、ステップＳ７に進む。
【００２９】
上記ステップＳ４において、距離Ｄが閾値Ｄｔｈより大きいと判別した場合には、次式（１）によって透視変換（座標変換）に用いる回転量θを算出した後（ステップＳ６）、ステップＳ７に進む。
【００３０】
θ＝θｏ−ｋ（Ｄ−Ｄｔｈ） …（１）
【００３１】
ｋは予め設定された係数である。θの最小値が９０度以上になるようにｋは設定されている。上記式（１）によれば、距離Ｄが閾値Ｄｔｈより大きくなるほど、θは小さくなる。
【００３２】
ステップ７では、回転量をθとして透視変換を行うことにより、注目画素画像Ｉ（ｘbu，ｙbu）の座標を２次元地面座標系ＸｗＺｗの座標に変換する。この処理の詳細については、後述する。
【００３３】
そして、全ての入力画素画像Ｉ（ｘbu，ｙbu）に対してステップ７の透視変換が完了したか否かを判別する（ステップＳ８）。全ての入力画素画像Ｉ（ｘbu，ｙbu）に対してステップ７の透視変換が完了してない場合には、注目画素画像を次の入力画素画像Ｉ（ｘbu，ｙbu）に更新した後（ステップＳ９）、ステップＳ３に戻る。
【００３４】
上記ステップＳ８において、全ての入力画素画像Ｉ（ｘbu，ｙbu）に対してステップ７の透視変換が完了したと判別した場合には、入力画像Ｉに対応する上記透視変換後の画像から拡張鳥瞰図画像を生成する（ステップＳ１０）。この処理の詳細については、後述する。そして、生成した拡張鳥瞰図画像をモニタ３に表示する。そして、ステップＳ１に戻る。
【００３５】
上記ステップＳ３、Ｓ７およびＳ１０の処理の詳細について説明する。
【００３６】
図３は、カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw との関係を示している。
【００３７】
カメラ座標系ＸＹＺでは、カメラの光学中心を原点Ｏとして、光軸方向にＺ軸が、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系ＸbuＹbuでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸbu軸が、撮像面Ｓの縦方向にＹbuが取られている。
【００３８】
世界座標系Ｘw Ｙw Ｚw では、カメラ座標系ＸＹＺの原点Ｏを通る垂線と地面との交点を原点Ｏw とし、地面と垂直な方向にＹw 軸が、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸw 軸が、Ｘw 軸およびＹw 軸に直交する方向にＺw 軸がとられている。
【００３９】
世界座標系Ｘw Ｙw Ｚw とカメラ座標系ＸＹＺとの間の平行移動量は〔０，ｈ，０〕であり、Ｘ軸周りの回転量はθ（＝θｏ）である。
【００４０】
したがって、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）と世界座標系Ｘw Ｙw Ｚw の座標（ｘw ，ｙw ，ｚw ）との間の変換式は、次式（２）で表される。
【００４１】
【数１】
【００４２】
また、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）との間の変換式は、カメラ１の焦点距離をｆとすると、次式（３）で表される。
【００４３】
【数２】
【００４４】
上記式（２）、（３）から、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）との間の変換式（４）が得られる。
【００４５】
【数３】
【００４６】
また、二次元地面座標系Ｘw Ｚw から仮想カメラの鳥瞰図座標系ＸauＹauへの投影は、平行投影によって行われる。カメラ１の焦点距離をｆとし、仮想カメラの高さ位置をＨとすると、二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）と鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）との間の変換式は、次式（５）で表される。仮想カメラの高さ位置Ｈは予め設定されている。
【００４７】
【数４】
【００４８】
上記ステップＳ３においては、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）との間の変換式（４）を用いて、注目画素画像Ｉ（ｘbu，ｙbu）の座標（ｘbu，ｙbu）に対応する二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）を算出し、得られた座標ｚw を注目画素画像Ｉ（ｘbu，ｙbu）に対応する距離Ｄとする。この場合、変換式（４）内のθは常にθｏである。
【００４９】
上記ステップＳ７では、ステップＳ５またはステップ６によって与えられたθと上記変換式（４）を用いて、注目画素画像Ｉ（ｘbu，ｙbu）の座標（ｘbu，ｙbu）を、二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）に変換する。このような処理が全ての入力画素画像Ｉ（ｘbu，ｙbu）に対して行われることにより、入力画像Ｉが二次元地面座標系Ｘw Ｚw の画像Ｉw に変換される。
【００５０】
上記ステップＳ１０では、二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）と鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）との間の変換式（５）を用いて、二次元地面座標系Ｘw Ｚw の画像Ｉw の座標（ｘw ，ｚw ）を鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換する。これにより、拡張鳥瞰図画像が生成される。
【００５１】
上記実施例では、入力画像Ｉのうち、車両からの距離Ｄが閾値Ｄｔｈ以下の範囲内の画像に対しては、通常の鳥瞰図画像の生成手法と同様に、回転量θとしてθｏを用いて座標変換が行なわれることにより、鳥瞰図画像が生成される。そして、入力画像Ｉのうち、車両からの距離Ｄが閾値Ｄｔｈより大きな範囲内の画像に対しては、距離Ｄが閾値Ｄｔｈより大きくなるほどθは小さくなるようにθが設定され、設定されたθを用いて座標変換が行なわれることにより、通常の鳥瞰図画像とは異なる鳥瞰図画像が生成される。後者の通常の鳥瞰図画像とは異なる鳥瞰画画像を擬似鳥瞰画像と呼ぶことにすると、拡張鳥瞰図画像は、車両からの距離Ｄが閾値Ｄｔｈ以下の範囲内の画像に対して生成された通常の鳥瞰図画像と、車両からの距離Ｄが閾値Ｄｔｈより大きな範囲内の画像に対して生成された擬似鳥瞰図画像とが合成されたものとなる。
【実施例２】
【００５２】
上記実施例１では、入力画像Ｉの座標を二次元地面座標系Ｘw Ｚw の座標に変換し、この後、鳥瞰図座標系ＸauＹauの座標に変換しているが、入力画像Ｉの座標を直接鳥瞰図座標系ＸauＹauの座標に変換することも可能である。
【００５３】
まず、入力画像Ｉの座標（ｘbu，ｙbu）を、鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換するための式について説明する。
【００５４】
上記式（５）から、次式（６）が得られる。
【００５５】
【数５】
【００５６】
得られた式（６）を上記式（４）に代入すると、次式（７）が得られる。
【００５７】
【数６】
【００５８】
上記式（７）から、入力画像Ｉの座標（ｘbu，ｙbu）を、鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換するための式（８）が得られる。
【００５９】
【数７】
【００６０】
図４は、画像処理ユニット２による処理手順を示している。
【００６１】
カメラ１の地面からの高さｈ、カメラ１の水平面に対する傾斜角度θｏ、カメラ１のレンズ焦点距離ｆ、カメラ１のレンズ歪み補正値等のパラメータは、予め設定されているものとする。
【００６２】
まず、カメラ１の撮像画像を読み込む（ステップＳ２１）。次にレンズ歪み補正を行う（ステップＳ２２）。以下、レンズ歪み補正によって得られた画像を入力画像Ｉと呼び、入力画像Ｉの各画素の画像を入力画素画像Ｉ（ｘbu，ｙbu）と呼ぶことにする。
【００６３】
次に、１つの入力画素画像Ｉ（ｘbu，ｙbu）を注目画素画像として、注目画素画像Ｉ（ｘbu，ｙbu）に対応する車両からの距離Ｄを算出する（ステップＳ２３）。この処理は、図２のステップＳ３と同じである。
【００６４】
次に、注目画素画像Ｉ（ｘbu，ｙbu）に対応する距離Ｄが予めかじめ設定された閾値Ｄｔｈより大きいか否かを判別する（ステップＳ２４）。距離Ｄが閾値Ｄｔｈ以下の場合には、回転量θをカメラ１の取り付け角度θｏに設定した後（ステップＳ２５）、ステップＳ２７に進む。
【００６５】
上記ステップＳ２４において、距離Ｄが閾値Ｄｔｈより大きいと判別した場合には、上記式（１）によって回転量θを算出した後（ステップＳ２６）、ステップＳ２７に進む。
【００６６】
ステップ２７では、ステップＳ２５またはステップ２６によって与えられたθと上記変換式（８）を用いて、注目画素画像Ｉ（ｘbu，ｙbu）の座標（ｘbu，ｙbu）を、鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換する。
【００６７】
そして、全ての入力画素画像Ｉ（ｘbu，ｙbu）に対してステップ２７の座標変換が完了したか否かを判別する（ステップＳ２８）。全ての入力画素画像Ｉ（ｘbu，ｙbu）に対してステップ２７の座標変換が完了してない場合には、注目画素画像を次の入力画素画像Ｉ（ｘbu，ｙbu）に更新した後（ステップＳ２９）、ステップＳ２３に戻る。
【００６８】
全ての入力画素画像Ｉ（ｘbu，ｙbu）に対してステップ２７の座標変換が完了すると（ステップＳ２８でＹＥＳ）、全ての入力画素画像Ｉ（ｘbu，ｙbu）の座標（ｘbu，ｙbu）が鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換されているので、鳥瞰図画像（拡張鳥瞰図画像）を生成してモニタ３に表示する（ステップＳ３０）。そして、ステップＳ２１に戻る。
【実施例３】
【００６９】
実施例３では、上記実施例１または上記実施例２の手法に基づいて、入力画像Ｉ（レンズ歪み補正によって得られた画像）の各画素の座標に対応する拡張鳥瞰図画像上の座標を予め求めておき、これを画像変換テーブルとして記憶手段に記憶しておく。そして、入力画像Ｉを、画像変換テーブルを用いて、拡張鳥瞰図画像に変換する。
【００７０】
なお、レンズ歪補正も考慮して、カメラ１によって撮像された画像（原画像）を、歪み補正して拡張鳥瞰図画像に変換するための座標変換テーブルを用意しておき、カメラ１によって撮像された画像から、この座標変換テーブルを用いて拡張鳥瞰図画像を生成するようにしてもよい。
【００７１】
通常の鳥瞰図画像と、拡張鳥瞰図画像との違いについて説明する。図５（ａ）は、入力画像Ｉの一例を示している。図５（ｂ）は、入力画像の全ての領域に対して回転角θを一定とすることによって得られた鳥瞰図画像を示している。つまり、図５（ｂ）は、従来手法によって生成された通常の鳥瞰図画像を示している。図５（ｃ）は、上記実施例のように、車両からの距離Ｄに応じて回転角θを設定することにより得られた拡張鳥瞰図画像を示している。つまり、図５（ｃ）は、本発明手法によって生成された鳥瞰図画像を示している。
【００７２】
図５（ａ）において、Ａは地面上に描画された白枠であり、Ｂは車両の近傍において地面上に置かれた平面状物体である。また、Ｃは車両から離れた所に置かれた円錐台形の物体である。
【００７３】
図５（ｂ）から分かるように、従来手法によって生成された通常の鳥瞰図画像では、車両からの離れた所に置かれた物体Ｃは縦方向に大きく伸ばされ、見にくくなっている。これに対して、図５（ｃ）に示す拡張鳥瞰図画像では、物体Ｃの伸張度が低く抑えられ、視認性が良くなっていることがわかる。つまり、本発明手法によって生成された鳥瞰図画像では、車両近傍付近の領域に対しては距離やスペースが把握しやすくなる画像となり、車両から離れた領域においては物体の変形が抑えられた画像となるため、視認性が向上する。
【実施例４】
【００７４】
第４実施例では、図６および図７に示すように、車両の前部、後部、左側部および右側部それぞれに、カメラ（撮像装置）１Ｆ、１Ｂ、１Ｌ、１Ｒが設けられている。カメラ１Ｆは前方斜め下向きに配置され、カメラ１Ｂは後方斜め下向きに配置され、カメラ１Ｌは左方向斜め下向きに配置され、カメラ１Ｆは右方向斜め下向きに配置されている。
【００７５】
第４実施例では、これら４台のカメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像から、車両が停止している場合、車両が前進している場合および車両が後退している場合に応じて、種類の異なる全周鳥瞰図画像を生成することに特徴がある。
【００７６】
そこで、全周鳥瞰図画像の生成方法の基本的な考え方について説明する。
【００７７】
図８に示すように、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒを原点として、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒで撮像された画像から鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒを生成する。次に、図９に示すように、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒ毎に生成された鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒを、後側カメラ１Ｂに対する鳥瞰図画像１０Ｂを基準として、他の３つの鳥瞰図画像１０Ｆ、１０Ｌ、１０Ｒを回転と平行移動により、後側カメラ１Ｂの鳥瞰図画像座標に変換する。これにより、４つの鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒが合成され、全周鳥瞰図画像が生成される。全周鳥瞰図画像において、各鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒの境界が認識できるように、各鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒの境界部に黒線等の境界線を入れることが好ましい。
【００７８】
車両が停止している場合には、前後方向の遠望領域を見やすくするとともに前後方向にある障害物を見やすくするため、前側カメラ１Ｆおよび後側カメラ１Ｂの撮像画像に対応する鳥瞰図画像として拡張鳥瞰図画像が生成され、左側カメラ１Ｌおよび右側カメラ１Ｒの撮像画像に対応する鳥瞰図画像として通常の鳥瞰図画像が生成され、これらの鳥瞰図画像が合成されることにより全周鳥瞰図画像が生成される。
【００７９】
車両が前進している場合には、前方の遠望領域を見やすくするとともに前方にある障害物を見やすくするため、前側カメラ１Ｆの撮像画像に対応する鳥瞰図画像として拡張鳥瞰図画像が生成され、後側カメラ１Ｂ、左側カメラ１Ｌおよび右側カメラ１Ｒの撮像画像に対応する鳥瞰図画像として通常の鳥瞰図画像が生成され、これらの鳥瞰図画像が合成されることにより全周鳥瞰図画像が生成される。
【００８０】
車両が後退している場合には、後方の遠望領域を見やすくするとともに後方にある障害物を見やすくするため、後側カメラ１Ｂの撮像画像に対応する鳥瞰図画像として拡張鳥瞰図画像が生成され、前側カメラ１Ｆ、左側カメラ１Ｌおよび右側カメラ１Ｒの撮像画像に対応する鳥瞰図画像として通常の鳥瞰図画像が生成され、これらの鳥瞰図画像が合成されることにより全周鳥瞰図画像が生成される。
【００８１】
なお、上述したように、拡張鳥瞰図画像は、車両からの距離が所定距離以下の範囲内の画像に対して生成された通常の鳥瞰図画像と、車両からの距離が所定距離より大きな範囲内の画像に対して生成された擬似鳥瞰図画像とが合成されたものとなるので、拡張鳥瞰図画像において、通常の鳥瞰図画像と擬似鳥瞰図画像との境界を認識しやすくするために、通常の鳥瞰図画像と擬似鳥瞰図画像との境界部に破線等の境界線を入れることが好ましい。
【００８２】
ところで、第３実施例で説明したように、入力画像Ｉ（カメラの撮像画像に対してレンズ歪み補正が行なわれた画像）の各画素の座標に対応する拡張鳥瞰図画像上の座標を予め求めることができる。
【００８３】
また、拡張鳥瞰図画像と通常の鳥瞰図画像との違いは、上記式（８）（または上記式（４））中のθが、拡張鳥瞰図画像では画素位置に応じて変化するのに対し、通常の鳥瞰図画像ではθが画素位置に係わらず一定であるだけであるので、入力画像Ｉ（レンズ歪み補正によって得られた画像）の各画素の座標に対応する通常の鳥瞰図画像上の座標も予め求めることは可能である。
【００８４】
さらに、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒに対応する鳥瞰図画像（通常の鳥瞰図画像または拡張鳥瞰図画像）上の座標の、全周鳥瞰図画像上の座標への変換は、所定の回転と所定の平行移動とによって行なわれる。つまり、各カメラの撮像画像の歪み補正後の入力画像Ｉを鳥瞰図画像または拡張鳥瞰図画像に変換し、得られた鳥瞰図画像または拡張鳥瞰図画像を全周鳥瞰図画像に変換するための変換パラメータは全て固定値となる。
【００８５】
そこで、車両が停止している場合、車両が前進している場合および車両が後退している場合それぞれについて、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒから得られた入力画像Ｉ（（レンズ歪み補正によって得られた画像）の各画素の座標に対応する全周鳥瞰図画像上の座標を予め求めることができる。
【００８６】
この実施例では、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒ毎に、車両が停止している場合、車両が前進している場合および車両が後退している場合それぞれについて、カメラから得られた入力画像Ｉ（レンズ歪み補正によって得られた画像）の各画素の座標を全周鳥瞰図画像上の座標に変換するための座標変換テーブルが予め用意されている。
【００８７】
図１０は、自動車に設けられた運転支援システムの電気的構成を示している。
【００８８】
運転支援システムは、カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像から３種類の全周鳥瞰図画像を生成するための画像処理ユニット１２と、車両内のダッシュボードに配置されかつ画像処理ユニット１２によって生成された全周鳥瞰図画像を表示するモニタ（表示器）１３とを備えている。なお、画像処理ユニット１２には、車両が停止しているか否かおよび車両の進行方向（前進または後退）を示す車両ギヤセンサ（図示略）からのギヤ位置を表す信号が入力される。
【００８９】
カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒとしては、例えば、ＣＣＤカメラが用いられる。画像処理ユニット１２としては、例えば、マイクロコンピュータが用いられる。モニタ１３としては、例えば、ナビゲーションシステムのモニタが用いられる。
【００９０】
画像処理ユニット１２内の記憶装置には、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒ毎に、車両が停止している場合、車両が前進している場合および車両が後退している場合それぞれについて、カメラから得られた入力画像Ｉ（レンズ歪み補正によって得られた画像）の各画素の座標を全周鳥瞰図画像上の座標に変換するための座標変換テーブル（停止時用座標変換テーブル、前進時用座標変換テーブル、後退時用座標変換テーブル）が格納されている。
【００９１】
なお、カメラ１Ｌに対する停止時用座標変換テーブル、前進時用座標変換テーブルおよび後退時用座標変換テーブルは、全て同じなので、カメラ１Ｌに対する座標変換テーブルは１つだけ用意すればよい。同様に、カメラ１Ｒに対する停止時用座標変換テーブル、前進時用座標変換テーブルおよび後退時用座標変換テーブルは、全て同じなので、カメラ１Ｒに対する座標変換テーブルは１つだけ用意すればよい。
【００９２】
カメラ１Ｆに対する停止時用座標変換テーブルおよび前進時用座標変換テーブルは、同じであるので、カメラ１Ｆに対する座標変換テーブルとしては、停止時用兼前進用座標変換テーブルと、後退時用座標変換テーブルとの２種類を用意すればよい。カメラ１Ｂに対する停止時用座標変換テーブルおよび後退時用座標変換テーブルは、同じであるので、カメラ１Ｂに対する座標変換テーブルとしては、停止時用兼後退時用座標変換テーブルと、前進用座標変換テーブルとの２種類を用意すればよい。
【００９３】
図１１は、画像処理ユニット１２による処理手順を示している。
【００９４】
まず、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの撮像画像を読み込む（ステップＳ４１）。次に読み込んだ各撮像画像に対してレンズ歪み補正を行う（ステップＳ４２）。以下、レンズ歪み補正によって得られた画像を入力画像Ｉと呼ぶことにする。
【００９５】
次に、車両ギヤセンサからのギヤ位置を表す信号に基づいて、車両が停止中であるか、車両が前進中であるか、後退中であるかを判定する（ステップＳ４３、Ｓ４４）。車両が停止中であると判別した場合には（ステップＳ４３でＹＥＳ）、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒに対応する停止時用座標変換テーブルを用いて、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒに対応する入力画像Ｉから停止時用全周鳥瞰図画像を生成する（ステップＳ４５）。この場合、全周鳥瞰図画像のうち、車両の前方および後方の鳥瞰図画像は拡張鳥瞰図画像となり、車両の両側の鳥瞰図画像は通常の鳥瞰図画像となる。そして、ステップＳ４８に進む。
【００９６】
車両が前進していると判別された場合には（ステップＳ４３でＮＯ，ステップＳ４４でＹＥＳ）、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒ毎の前進時用座標変換テーブルを用いて、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒに対応する入力画像Ｉから前進時用全周鳥瞰図画像を生成する（ステップＳ４６）。この場合、全周鳥瞰図画像のうち、車両の前方の鳥瞰図画像は拡張鳥瞰図画像となり、車両の後方および両側の鳥瞰図画像は通常の鳥瞰図画像となる。そして、ステップＳ４８に進む。
【００９７】
車両が後退していると判別された場合には（ステップＳ４３でＮＯ，ステップＳ４４でＮＯ）、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒ毎の後退時用座標変換テーブルを用いて、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒに対応する入力画像Ｉから後退時用全周鳥瞰図画像を生成する（ステップＳ４７）。この場合、全周鳥瞰図画像のうち、車両の後方の鳥瞰図画像は拡張鳥瞰図画像となり、車両の後方および両側の鳥瞰図画像は通常の鳥瞰図画像となる。そして、ステップＳ４８に進む。
【００９８】
ステップＳ４８では、全周鳥瞰図画像に各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒに対応する鳥瞰図画像の境界部に黒線画像を合成するとともに、拡張鳥瞰図画像内において通常の鳥瞰図と擬似鳥瞰図との境界部に破線画像を合成する。このようにして得られた画像をモニタ（表示器）１３に表示する（ステップＳ４９）。
【００９９】
図１２（ａ）は停止時用全周鳥瞰図画像を、図１２（ｂ）は前進時用全周鳥瞰図画像を、図１２（ｃ）は後退時用全周鳥瞰図画像を、それぞれ示している。図１２において、Ｃは車両を示し、ＳＦ、ＳＢ、ＳＬ、ＳＲは、それぞれカメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの撮像画像から得られた鳥瞰図画像を示している。
【０１００】
図１２（ａ）の停止時用全周鳥瞰図画像おいては、ＳＦおよびＳＢが拡張鳥瞰図画像となり、ＳＬおよびＳＲが通常の鳥瞰図画像となる。ＳＦ内に示された破線ＬはＳＦ内の通常の鳥瞰図画像と擬似鳥瞰図画像との境界を示し、ＳＢ内に示された破線ＬはＳＢ内の通常の鳥瞰図画像と擬似鳥瞰図画像との境界を示している。
【０１０１】
図１２（ｂ）の前進時用全周鳥瞰図画像においては、ＳＦが拡張鳥瞰図画像となり、ＳＢ、ＳＬおよびＳＲが通常の鳥瞰図画像となる。ＳＦ内に示された破線ＬはＳＦ内の通常の鳥瞰図画像と擬似鳥瞰図画像との境界を示している。
【０１０２】
図１２（ｃ）の後退時用全周鳥瞰図画像においては、ＳＢが拡張鳥瞰図画像となり、ＳＦ、ＳＬおよびＳＲが通常の鳥瞰図画像となる。ＳＢ内に示された破線ＬはＳＢ内の通常の鳥瞰図画像と擬似鳥瞰図画像との境界を示している。
【０１０３】
なお、レンズ歪補正も考慮して、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像（原画像）をレンズ歪み補正して停止時用全周鳥瞰図画像に変換するための停止時座標変換テーブル、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像をレンズ歪み補正して前進時用全周鳥瞰図画像に変換するための前進時座標変換テーブル、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像をレンズ歪み補正して後退時用全周鳥瞰図画像に変換するための後退時座標変換テーブルを予め用意しておき、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像から、これらの座標変換テーブルを用いて停止時用全周鳥瞰図画像、前進時用全周鳥瞰図画像および後退時用全周鳥瞰図画像を生成するようにしてもよい。
【図面の簡単な説明】
【０１０４】
【図１】自動車に設けられた運転支援システムの構成を示している。
【図２】画像処理ユニット２による処理手順を示すフローチャートである。
【図３】カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw との関係を示す模式図である。
【図４】画像処理ユニット２による処理手順を示すフローチャートである。
【図５】入力画像と、従来手法によって生成された鳥瞰図画像と、本発明手法によって生成された鳥瞰図画像とを示す模式図である。
【図６】カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの配置例を示す平面図である。
【図７】図６の側面図である。
【図８】各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒを原点として、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒで撮像された画像から得られる鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒを示す模式図である。
【図９】図８の後側カメラ１Ｂに対する鳥瞰図画像１０Ｂを基準として、他の３つの鳥瞰図画像１０Ｆ、１０Ｌ、１０Ｒを回転と平行移動により、後側カメラ１Ｂの鳥瞰図画像座標に変換することにより、４つの鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒが合成されることを示す模式図である。
【図１０】自動車に設けられた運転支援システムの電気的構成を示すブロック図である。
【図１１】画像処理ユニット１２による処理手順を示すフローチャートである。
【図１２】停止時用全周鳥瞰図画像、前進時用全周鳥瞰図画像および後退時用全周鳥瞰図画像を示す模式図である。
【符号の説明】
【０１０５】
１ カメラ
２ 画像処理ユニット
３ モニタ
１Ｆ、１Ｂ、１Ｌ、１Ｒ カメラ
１２ 画像処理ユニット
１３ モニタ
【技術分野】
【０００１】
この発明は、運転支援システムに関する。
【背景技術】
【０００２】
自動車などの運転手にとって、バックするときには、死角が生じるため後方確認が難しくなる。そこで、運転手の死角となりやすい車両の後方を監視する車載カメラを装備し、その撮像画像をカーナビゲーション等の画面に表示するシステムが既に開発されている。
【０００３】
しかしながら、広範囲を映し出すために広角レンズを用いると映像にレンズ歪みが生じる。さらに、カメラから離れるほど通常のレンズより小さく映り、撮像画像からでは車両後方の距離やスペースを把握しにくくなる。
【０００４】
そこで、カメラの映像を単に表示するのではなく、画像処理技術を利用して、より人間に優しい映像を見せる研究がなされている。その１つに、撮影した画像を座標変換して、地面の上方から眺めたような鳥瞰図画像を生成して、表示するものがある（特開平１０−２１１８４９号公報、特開２００２−８７１６０号公報参照）。上方からの鳥瞰図を表示することによって、運転手は車両後方の距離やスペースを把握し易くなる。
【０００５】
鳥瞰図画像を生成して表示するシステムでは、地面の上方から眺めた見やすい画像を運転手に提示することができるが、本来高さを持つ物体が平面に投影されるため、物体の高さ情報を失い、物体を知覚しにくくなるという欠点がある。また、地面を基準とした座標変換を行うため、地面と高さの異なる物体は、地面との高低差により、その物体の形状を正しく保つことができない。
【０００６】
特に、車両から距離が離れるほど、地面との高さの少しの差が鳥瞰図画像上では顕著に現れ、非常に高い物体のように見えてしまう。つまり、車両から離れた領域では、鳥瞰図画像の画質が劣化しかつ物体の形状が正しく表示されないため、視認性が悪くなる。
【０００７】
そこで、生成された鳥瞰図画像のうち、車両から離れた領域を削除し、車両近傍のみ を表示したり、鳥瞰図画像と原画像との両方を別々に表示したりしている。前者では視野が狭くなってしまうし、後者ではモニタが２つ必要となるという問題がある。
【０００８】
また、駐車のための運転支援装置として、複数のカメラから得た映像を幾何変換によって全周鳥瞰図画像に変換して、モニタに表示させる装置が開発されている。この装置では、車両全周のシーンを上空から見た映像を運転手に提示することができるため、車両の周辺を３６０度死角なくカバーできるという長所がある。しかしながら、鳥瞰図画像では、高さのある障害物も平面へ投影されるため、高さの情報を失い、車両から離れるにつれ障害物の形状が変形する。また、表示画面の大きさが限られているため、鳥瞰図画像では遠方を充分に表示できない。
【特許文献１】特開平１０−２１１８４９号公報
【特許文献２】特開２００２−８７１６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
この発明は、車両から離れた領域においても高い視認性が得られる運転支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、車両に搭載された表示器、車両に搭載された車両周辺を撮像する撮像装置、撮像画像のうち車両からの距離が所定の閾値以内の領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度を座標変換時の回転角として設定し、撮像画像のうち車両からの距離が所定の閾値より大きい領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度と車両からの距離とに基づいて座標変換時の回転角を算出して設定する回転量設定手段、撮像画像の座標を、その座標に対応する画像に対して回転角設定手段によって設定された回転角を用いて鳥瞰図座標に変換することにより、拡張鳥瞰図画像を生成する鳥瞰図画像生成手段、および鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えていることを特徴とする。
【００１１】
請求項２に記載の発明は、請求項１に記載の発明において、回転量設定手段は、撮像画像のうち車両からの距離が所定の閾値より大きい領域の画像に対しては、車両からの距離が大きいほど座標変換時の回転角が小さくなるように、座標変換時の回転角を算出するものであることを特徴とする。
【００１２】
請求項３に記載の発明は、請求項１乃至２に記載の発明において、回転量設定手段は、撮像画像の座標を地面座標に変換するための変換式を用いて、撮像画像の各部に対する車両からの距離を算出する第１手段、および撮像画像の各部毎に、予め設定された水平面に対する撮像装置の傾き角度と、第１手段によって算出された距離と、予め設定された所定の閾値とに基づいて、座標変換時の回転角を決定して設定する第２手段を備えていることを特徴とする。
【００１３】
請求項４に記載の発明は、車両に搭載された表示器、車両に搭載された車両周辺を撮像する撮像装置、撮像画像の座標を、請求項１に記載の拡張鳥瞰図画像の座標に変換するための座標変換テーブル、撮像画像の座標を、座標変換テーブルを用いて拡張鳥瞰図画像の座標に変換することにより、拡張鳥瞰図画像を生成する鳥瞰図画像生成手段、および鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えていることを特徴とする。
【００１４】
請求項５に記載の発明は、車両に搭載された表示器、車両の少なくとも前後に搭載されかつ車両の周辺を撮像する複数の撮像装置、各撮像装置に撮像された撮像画像から、車両の進行方向に応じた複数種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、全周鳥瞰図画像は各撮像装置の撮像装置から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両の進行方向に対応した方向の撮像画像像から請求項１に記載の拡張鳥瞰図画像を生成し、他の方向の撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された全周鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された全周鳥瞰図画像を生成するものであることを特徴とする。
【００１５】
請求項６に記載の発明は、車両に搭載された表示器、車両の前後左右に搭載されかつ車両周辺を撮像する複数の撮像装置、各撮像装置に撮像された撮像画像から、車両が前進している場合、および車両が後退している場合のそれぞれに応じた種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、全周鳥瞰図画像は各撮像装置の撮像装置から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両が前進している場合には、前側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、後側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第１の全周鳥瞰図画像を生成し、車両が後退している場合には、後側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、前側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第２の全周鳥瞰図画像を生成するものであることを特徴とする運転支援システム。
【００１６】
請求項７に記載の発明は、請求項６に記載の発明において、全周鳥瞰図画像生成手段は、各撮像装置によって撮像される撮像画像の座標を、上記第１の全周鳥瞰図画像の座標に変換するための第１の座標変換テーブル、各撮像装置によって撮像される撮像画像の座標を、上記第２の全周鳥瞰図画像の座標に変換するための第２の座標変換テーブル、車両が前進している場合には、各撮像装置によって撮像された撮像画像の座標を、第１の座標変換テーブルを用いて第１の全周鳥瞰図画像の座標に変換することにより、第１の全周鳥瞰図画像を生成する第１の全周鳥瞰図画像生成手段、および車両が後退している場合には、各撮像装置によって撮像された撮像画像の座標を、第２の座標変換テーブルを用いて第２の全周鳥瞰図画像の座標に変換することにより、第２の全周鳥瞰図画像を生成する第２の全周鳥瞰図画像生成手段を備えていることを特徴とする。
【００１７】
請求項８に記載の発明は、車両に搭載された表示器、車両の前後左右に搭載されかつ車両周辺を撮像する複数の撮像装置、各撮像装置に撮像された撮像画像から、車両が停止している場合、車両が前進している場合、および車両が後退している場合のそれぞれに応じた種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、全周鳥瞰図画像は各撮像装置の撮像装置から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両が停止している場合には、前後の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第１の全周鳥瞰図画像を生成し、車両が前進している場合には、前側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、後側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第２の全周鳥瞰図画像を生成し、車両が後退している場合には、後側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、前側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第３の全周鳥瞰図画像を生成するものであることを特徴とする。
【００１８】
請求項９に記載の発明は、請求項８に記載の発明において、全周鳥瞰図画像生成手段は、各撮像装置によって撮像される撮像画像の座標を、上記第１の全周鳥瞰図画像の座標に変換するための第１の座標変換テーブル、各撮像装置によって撮像される撮像画像の座標を、上記第２の全周鳥瞰図画像の座標に変換するための第２の座標変換テーブル、各撮像装置によって撮像される撮像画像の座標を、上記第３の全周鳥瞰図画像の座標に変換するための第３の座標変換テーブル、車両が停止している場合には、各撮像装置によって撮像された撮像画像の座標を、第１の座標変換テーブルを用いて第１の全周鳥瞰図画像の座標に変換することにより、第１の全周鳥瞰図画像を生成する第１の全周鳥瞰図画像生成手段、車両が前進している場合には、各撮像装置によって撮像された撮像画像の座標を、第２の座標変換テーブルを用いて第２の全周鳥瞰図画像の座標に変換することにより、第２の全周鳥瞰図画像を生成する第２の全周鳥瞰図画像生成手段、および車両が後退している場合には、各撮像装置によって撮像された撮像画像の座標を、第３の座標変換テーブルを用いて第３の全周鳥瞰図画像の座標に変換することにより、第３の全周鳥瞰図画像を生成する第３の全周鳥瞰図画像生成手段を備えていることを特徴とする。
【発明の効果】
【００１９】
この発明によれば、車両から離れた領域においても高い視認性が得られるようになる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して、この発明の実施例について説明する。
【実施例１】
【００２１】
図１は、自動車に設けられた運転支援システムの構成を示している。
本発明の特徴は鳥瞰図画像の生成方法にあり、本発明手法によって生成される鳥瞰図画像は、従来手法によって生成される鳥瞰図画像と異なるものである。そこで、本発明手法によって生成される鳥瞰図画像を拡張鳥瞰図画像と呼ぶことにする。
【００２２】
運転支援システムは、車両の後部に後方斜め下向きに配置されたカメラ（撮像装置）１と、車両内に設けられかつカメラ１によって撮像された画像から拡張鳥瞰図画像を生成するための画像処理ユニット２と、車両内のダッシュボードに配置されかつ画像処理ユニット２によって生成された拡張鳥瞰図画像を表示するモニタ（表示器）３とを備えている。
【００２３】
カメラ１としては、例えば、ＣＣＤカメラが用いられる。画像処理ユニット２としては、例えば、マイクロコンピュータが用いられる。モニタ３としては、例えば、ナビゲーションシステムのモニタが用いられる。
【００２４】
水平面とカメラ１の光軸とのなす角は、図１にαで表される角度と、βで表される角度との２種類がある。αは、一般的には、見下ろし角または俯角αと呼ばれている。この明細書では、角度βを水平面に対するカメラ１の傾き角度θｏということにする。
【００２５】
図２は、画像処理ユニット２による処理手順を示している。
カメラ１の地面からの高さｈ、水平面に対するカメラ１の傾き角度θｏ、カメラ１のレンズ焦点距離ｆ、カメラ１のレンズ歪み補正値等のパラメータは、予め設定されているものとする。
【００２６】
まず、カメラ１の撮像画像を読み込む（ステップＳ１）。次にレンズ歪み補正を行う（ステップＳ２）。以下、レンズ歪み補正によって得られた画像を入力画像Ｉと呼び、入力画像Ｉの各画素の画像を入力画素画像Ｉ（ｘbu，ｙbu）と呼ぶことにする。
【００２７】
次に、１つの入力画素画像Ｉ（ｘbu，ｙbu）を注目画素画像として、注目画素画像Ｉ（ｘbu，ｙbu）に対応する車両からの距離Ｄを算出する（ステップＳ３）。この処理の詳細については、後述する。
【００２８】
次に、注目画素画像Ｉ（ｘbu，ｙbu）に対応する距離Ｄが予め設定された閾値Ｄｔｈより大きいか否かを判別する（ステップＳ４）。距離Ｄが閾値Ｄｔｈ以下の場合には、透視変換（座標変換）に用いる回転量（回転角）θをカメラ１の取り付け角度θｏに設定した後（ステップＳ５）、ステップＳ７に進む。
【００２９】
上記ステップＳ４において、距離Ｄが閾値Ｄｔｈより大きいと判別した場合には、次式（１）によって透視変換（座標変換）に用いる回転量θを算出した後（ステップＳ６）、ステップＳ７に進む。
【００３０】
θ＝θｏ−ｋ（Ｄ−Ｄｔｈ） …（１）
【００３１】
ｋは予め設定された係数である。θの最小値が９０度以上になるようにｋは設定されている。上記式（１）によれば、距離Ｄが閾値Ｄｔｈより大きくなるほど、θは小さくなる。
【００３２】
ステップ７では、回転量をθとして透視変換を行うことにより、注目画素画像Ｉ（ｘbu，ｙbu）の座標を２次元地面座標系ＸｗＺｗの座標に変換する。この処理の詳細については、後述する。
【００３３】
そして、全ての入力画素画像Ｉ（ｘbu，ｙbu）に対してステップ７の透視変換が完了したか否かを判別する（ステップＳ８）。全ての入力画素画像Ｉ（ｘbu，ｙbu）に対してステップ７の透視変換が完了してない場合には、注目画素画像を次の入力画素画像Ｉ（ｘbu，ｙbu）に更新した後（ステップＳ９）、ステップＳ３に戻る。
【００３４】
上記ステップＳ８において、全ての入力画素画像Ｉ（ｘbu，ｙbu）に対してステップ７の透視変換が完了したと判別した場合には、入力画像Ｉに対応する上記透視変換後の画像から拡張鳥瞰図画像を生成する（ステップＳ１０）。この処理の詳細については、後述する。そして、生成した拡張鳥瞰図画像をモニタ３に表示する。そして、ステップＳ１に戻る。
【００３５】
上記ステップＳ３、Ｓ７およびＳ１０の処理の詳細について説明する。
【００３６】
図３は、カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw との関係を示している。
【００３７】
カメラ座標系ＸＹＺでは、カメラの光学中心を原点Ｏとして、光軸方向にＺ軸が、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系ＸbuＹbuでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸbu軸が、撮像面Ｓの縦方向にＹbuが取られている。
【００３８】
世界座標系Ｘw Ｙw Ｚw では、カメラ座標系ＸＹＺの原点Ｏを通る垂線と地面との交点を原点Ｏw とし、地面と垂直な方向にＹw 軸が、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸw 軸が、Ｘw 軸およびＹw 軸に直交する方向にＺw 軸がとられている。
【００３９】
世界座標系Ｘw Ｙw Ｚw とカメラ座標系ＸＹＺとの間の平行移動量は〔０，ｈ，０〕であり、Ｘ軸周りの回転量はθ（＝θｏ）である。
【００４０】
したがって、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）と世界座標系Ｘw Ｙw Ｚw の座標（ｘw ，ｙw ，ｚw ）との間の変換式は、次式（２）で表される。
【００４１】
【数１】
【００４２】
また、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）との間の変換式は、カメラ１の焦点距離をｆとすると、次式（３）で表される。
【００４３】
【数２】
【００４４】
上記式（２）、（３）から、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）との間の変換式（４）が得られる。
【００４５】
【数３】
【００４６】
また、二次元地面座標系Ｘw Ｚw から仮想カメラの鳥瞰図座標系ＸauＹauへの投影は、平行投影によって行われる。カメラ１の焦点距離をｆとし、仮想カメラの高さ位置をＨとすると、二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）と鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）との間の変換式は、次式（５）で表される。仮想カメラの高さ位置Ｈは予め設定されている。
【００４７】
【数４】
【００４８】
上記ステップＳ３においては、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）との間の変換式（４）を用いて、注目画素画像Ｉ（ｘbu，ｙbu）の座標（ｘbu，ｙbu）に対応する二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）を算出し、得られた座標ｚw を注目画素画像Ｉ（ｘbu，ｙbu）に対応する距離Ｄとする。この場合、変換式（４）内のθは常にθｏである。
【００４９】
上記ステップＳ７では、ステップＳ５またはステップ６によって与えられたθと上記変換式（４）を用いて、注目画素画像Ｉ（ｘbu，ｙbu）の座標（ｘbu，ｙbu）を、二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）に変換する。このような処理が全ての入力画素画像Ｉ（ｘbu，ｙbu）に対して行われることにより、入力画像Ｉが二次元地面座標系Ｘw Ｚw の画像Ｉw に変換される。
【００５０】
上記ステップＳ１０では、二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）と鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）との間の変換式（５）を用いて、二次元地面座標系Ｘw Ｚw の画像Ｉw の座標（ｘw ，ｚw ）を鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換する。これにより、拡張鳥瞰図画像が生成される。
【００５１】
上記実施例では、入力画像Ｉのうち、車両からの距離Ｄが閾値Ｄｔｈ以下の範囲内の画像に対しては、通常の鳥瞰図画像の生成手法と同様に、回転量θとしてθｏを用いて座標変換が行なわれることにより、鳥瞰図画像が生成される。そして、入力画像Ｉのうち、車両からの距離Ｄが閾値Ｄｔｈより大きな範囲内の画像に対しては、距離Ｄが閾値Ｄｔｈより大きくなるほどθは小さくなるようにθが設定され、設定されたθを用いて座標変換が行なわれることにより、通常の鳥瞰図画像とは異なる鳥瞰図画像が生成される。後者の通常の鳥瞰図画像とは異なる鳥瞰画画像を擬似鳥瞰画像と呼ぶことにすると、拡張鳥瞰図画像は、車両からの距離Ｄが閾値Ｄｔｈ以下の範囲内の画像に対して生成された通常の鳥瞰図画像と、車両からの距離Ｄが閾値Ｄｔｈより大きな範囲内の画像に対して生成された擬似鳥瞰図画像とが合成されたものとなる。
【実施例２】
【００５２】
上記実施例１では、入力画像Ｉの座標を二次元地面座標系Ｘw Ｚw の座標に変換し、この後、鳥瞰図座標系ＸauＹauの座標に変換しているが、入力画像Ｉの座標を直接鳥瞰図座標系ＸauＹauの座標に変換することも可能である。
【００５３】
まず、入力画像Ｉの座標（ｘbu，ｙbu）を、鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換するための式について説明する。
【００５４】
上記式（５）から、次式（６）が得られる。
【００５５】
【数５】
【００５６】
得られた式（６）を上記式（４）に代入すると、次式（７）が得られる。
【００５７】
【数６】
【００５８】
上記式（７）から、入力画像Ｉの座標（ｘbu，ｙbu）を、鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換するための式（８）が得られる。
【００５９】
【数７】
【００６０】
図４は、画像処理ユニット２による処理手順を示している。
【００６１】
カメラ１の地面からの高さｈ、カメラ１の水平面に対する傾斜角度θｏ、カメラ１のレンズ焦点距離ｆ、カメラ１のレンズ歪み補正値等のパラメータは、予め設定されているものとする。
【００６２】
まず、カメラ１の撮像画像を読み込む（ステップＳ２１）。次にレンズ歪み補正を行う（ステップＳ２２）。以下、レンズ歪み補正によって得られた画像を入力画像Ｉと呼び、入力画像Ｉの各画素の画像を入力画素画像Ｉ（ｘbu，ｙbu）と呼ぶことにする。
【００６３】
次に、１つの入力画素画像Ｉ（ｘbu，ｙbu）を注目画素画像として、注目画素画像Ｉ（ｘbu，ｙbu）に対応する車両からの距離Ｄを算出する（ステップＳ２３）。この処理は、図２のステップＳ３と同じである。
【００６４】
次に、注目画素画像Ｉ（ｘbu，ｙbu）に対応する距離Ｄが予めかじめ設定された閾値Ｄｔｈより大きいか否かを判別する（ステップＳ２４）。距離Ｄが閾値Ｄｔｈ以下の場合には、回転量θをカメラ１の取り付け角度θｏに設定した後（ステップＳ２５）、ステップＳ２７に進む。
【００６５】
上記ステップＳ２４において、距離Ｄが閾値Ｄｔｈより大きいと判別した場合には、上記式（１）によって回転量θを算出した後（ステップＳ２６）、ステップＳ２７に進む。
【００６６】
ステップ２７では、ステップＳ２５またはステップ２６によって与えられたθと上記変換式（８）を用いて、注目画素画像Ｉ（ｘbu，ｙbu）の座標（ｘbu，ｙbu）を、鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換する。
【００６７】
そして、全ての入力画素画像Ｉ（ｘbu，ｙbu）に対してステップ２７の座標変換が完了したか否かを判別する（ステップＳ２８）。全ての入力画素画像Ｉ（ｘbu，ｙbu）に対してステップ２７の座標変換が完了してない場合には、注目画素画像を次の入力画素画像Ｉ（ｘbu，ｙbu）に更新した後（ステップＳ２９）、ステップＳ２３に戻る。
【００６８】
全ての入力画素画像Ｉ（ｘbu，ｙbu）に対してステップ２７の座標変換が完了すると（ステップＳ２８でＹＥＳ）、全ての入力画素画像Ｉ（ｘbu，ｙbu）の座標（ｘbu，ｙbu）が鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換されているので、鳥瞰図画像（拡張鳥瞰図画像）を生成してモニタ３に表示する（ステップＳ３０）。そして、ステップＳ２１に戻る。
【実施例３】
【００６９】
実施例３では、上記実施例１または上記実施例２の手法に基づいて、入力画像Ｉ（レンズ歪み補正によって得られた画像）の各画素の座標に対応する拡張鳥瞰図画像上の座標を予め求めておき、これを画像変換テーブルとして記憶手段に記憶しておく。そして、入力画像Ｉを、画像変換テーブルを用いて、拡張鳥瞰図画像に変換する。
【００７０】
なお、レンズ歪補正も考慮して、カメラ１によって撮像された画像（原画像）を、歪み補正して拡張鳥瞰図画像に変換するための座標変換テーブルを用意しておき、カメラ１によって撮像された画像から、この座標変換テーブルを用いて拡張鳥瞰図画像を生成するようにしてもよい。
【００７１】
通常の鳥瞰図画像と、拡張鳥瞰図画像との違いについて説明する。図５（ａ）は、入力画像Ｉの一例を示している。図５（ｂ）は、入力画像の全ての領域に対して回転角θを一定とすることによって得られた鳥瞰図画像を示している。つまり、図５（ｂ）は、従来手法によって生成された通常の鳥瞰図画像を示している。図５（ｃ）は、上記実施例のように、車両からの距離Ｄに応じて回転角θを設定することにより得られた拡張鳥瞰図画像を示している。つまり、図５（ｃ）は、本発明手法によって生成された鳥瞰図画像を示している。
【００７２】
図５（ａ）において、Ａは地面上に描画された白枠であり、Ｂは車両の近傍において地面上に置かれた平面状物体である。また、Ｃは車両から離れた所に置かれた円錐台形の物体である。
【００７３】
図５（ｂ）から分かるように、従来手法によって生成された通常の鳥瞰図画像では、車両からの離れた所に置かれた物体Ｃは縦方向に大きく伸ばされ、見にくくなっている。これに対して、図５（ｃ）に示す拡張鳥瞰図画像では、物体Ｃの伸張度が低く抑えられ、視認性が良くなっていることがわかる。つまり、本発明手法によって生成された鳥瞰図画像では、車両近傍付近の領域に対しては距離やスペースが把握しやすくなる画像となり、車両から離れた領域においては物体の変形が抑えられた画像となるため、視認性が向上する。
【実施例４】
【００７４】
第４実施例では、図６および図７に示すように、車両の前部、後部、左側部および右側部それぞれに、カメラ（撮像装置）１Ｆ、１Ｂ、１Ｌ、１Ｒが設けられている。カメラ１Ｆは前方斜め下向きに配置され、カメラ１Ｂは後方斜め下向きに配置され、カメラ１Ｌは左方向斜め下向きに配置され、カメラ１Ｆは右方向斜め下向きに配置されている。
【００７５】
第４実施例では、これら４台のカメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像から、車両が停止している場合、車両が前進している場合および車両が後退している場合に応じて、種類の異なる全周鳥瞰図画像を生成することに特徴がある。
【００７６】
そこで、全周鳥瞰図画像の生成方法の基本的な考え方について説明する。
【００７７】
図８に示すように、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒを原点として、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒで撮像された画像から鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒを生成する。次に、図９に示すように、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒ毎に生成された鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒを、後側カメラ１Ｂに対する鳥瞰図画像１０Ｂを基準として、他の３つの鳥瞰図画像１０Ｆ、１０Ｌ、１０Ｒを回転と平行移動により、後側カメラ１Ｂの鳥瞰図画像座標に変換する。これにより、４つの鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒが合成され、全周鳥瞰図画像が生成される。全周鳥瞰図画像において、各鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒの境界が認識できるように、各鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒの境界部に黒線等の境界線を入れることが好ましい。
【００７８】
車両が停止している場合には、前後方向の遠望領域を見やすくするとともに前後方向にある障害物を見やすくするため、前側カメラ１Ｆおよび後側カメラ１Ｂの撮像画像に対応する鳥瞰図画像として拡張鳥瞰図画像が生成され、左側カメラ１Ｌおよび右側カメラ１Ｒの撮像画像に対応する鳥瞰図画像として通常の鳥瞰図画像が生成され、これらの鳥瞰図画像が合成されることにより全周鳥瞰図画像が生成される。
【００７９】
車両が前進している場合には、前方の遠望領域を見やすくするとともに前方にある障害物を見やすくするため、前側カメラ１Ｆの撮像画像に対応する鳥瞰図画像として拡張鳥瞰図画像が生成され、後側カメラ１Ｂ、左側カメラ１Ｌおよび右側カメラ１Ｒの撮像画像に対応する鳥瞰図画像として通常の鳥瞰図画像が生成され、これらの鳥瞰図画像が合成されることにより全周鳥瞰図画像が生成される。
【００８０】
車両が後退している場合には、後方の遠望領域を見やすくするとともに後方にある障害物を見やすくするため、後側カメラ１Ｂの撮像画像に対応する鳥瞰図画像として拡張鳥瞰図画像が生成され、前側カメラ１Ｆ、左側カメラ１Ｌおよび右側カメラ１Ｒの撮像画像に対応する鳥瞰図画像として通常の鳥瞰図画像が生成され、これらの鳥瞰図画像が合成されることにより全周鳥瞰図画像が生成される。
【００８１】
なお、上述したように、拡張鳥瞰図画像は、車両からの距離が所定距離以下の範囲内の画像に対して生成された通常の鳥瞰図画像と、車両からの距離が所定距離より大きな範囲内の画像に対して生成された擬似鳥瞰図画像とが合成されたものとなるので、拡張鳥瞰図画像において、通常の鳥瞰図画像と擬似鳥瞰図画像との境界を認識しやすくするために、通常の鳥瞰図画像と擬似鳥瞰図画像との境界部に破線等の境界線を入れることが好ましい。
【００８２】
ところで、第３実施例で説明したように、入力画像Ｉ（カメラの撮像画像に対してレンズ歪み補正が行なわれた画像）の各画素の座標に対応する拡張鳥瞰図画像上の座標を予め求めることができる。
【００８３】
また、拡張鳥瞰図画像と通常の鳥瞰図画像との違いは、上記式（８）（または上記式（４））中のθが、拡張鳥瞰図画像では画素位置に応じて変化するのに対し、通常の鳥瞰図画像ではθが画素位置に係わらず一定であるだけであるので、入力画像Ｉ（レンズ歪み補正によって得られた画像）の各画素の座標に対応する通常の鳥瞰図画像上の座標も予め求めることは可能である。
【００８４】
さらに、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒに対応する鳥瞰図画像（通常の鳥瞰図画像または拡張鳥瞰図画像）上の座標の、全周鳥瞰図画像上の座標への変換は、所定の回転と所定の平行移動とによって行なわれる。つまり、各カメラの撮像画像の歪み補正後の入力画像Ｉを鳥瞰図画像または拡張鳥瞰図画像に変換し、得られた鳥瞰図画像または拡張鳥瞰図画像を全周鳥瞰図画像に変換するための変換パラメータは全て固定値となる。
【００８５】
そこで、車両が停止している場合、車両が前進している場合および車両が後退している場合それぞれについて、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒから得られた入力画像Ｉ（（レンズ歪み補正によって得られた画像）の各画素の座標に対応する全周鳥瞰図画像上の座標を予め求めることができる。
【００８６】
この実施例では、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒ毎に、車両が停止している場合、車両が前進している場合および車両が後退している場合それぞれについて、カメラから得られた入力画像Ｉ（レンズ歪み補正によって得られた画像）の各画素の座標を全周鳥瞰図画像上の座標に変換するための座標変換テーブルが予め用意されている。
【００８７】
図１０は、自動車に設けられた運転支援システムの電気的構成を示している。
【００８８】
運転支援システムは、カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像から３種類の全周鳥瞰図画像を生成するための画像処理ユニット１２と、車両内のダッシュボードに配置されかつ画像処理ユニット１２によって生成された全周鳥瞰図画像を表示するモニタ（表示器）１３とを備えている。なお、画像処理ユニット１２には、車両が停止しているか否かおよび車両の進行方向（前進または後退）を示す車両ギヤセンサ（図示略）からのギヤ位置を表す信号が入力される。
【００８９】
カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒとしては、例えば、ＣＣＤカメラが用いられる。画像処理ユニット１２としては、例えば、マイクロコンピュータが用いられる。モニタ１３としては、例えば、ナビゲーションシステムのモニタが用いられる。
【００９０】
画像処理ユニット１２内の記憶装置には、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒ毎に、車両が停止している場合、車両が前進している場合および車両が後退している場合それぞれについて、カメラから得られた入力画像Ｉ（レンズ歪み補正によって得られた画像）の各画素の座標を全周鳥瞰図画像上の座標に変換するための座標変換テーブル（停止時用座標変換テーブル、前進時用座標変換テーブル、後退時用座標変換テーブル）が格納されている。
【００９１】
なお、カメラ１Ｌに対する停止時用座標変換テーブル、前進時用座標変換テーブルおよび後退時用座標変換テーブルは、全て同じなので、カメラ１Ｌに対する座標変換テーブルは１つだけ用意すればよい。同様に、カメラ１Ｒに対する停止時用座標変換テーブル、前進時用座標変換テーブルおよび後退時用座標変換テーブルは、全て同じなので、カメラ１Ｒに対する座標変換テーブルは１つだけ用意すればよい。
【００９２】
カメラ１Ｆに対する停止時用座標変換テーブルおよび前進時用座標変換テーブルは、同じであるので、カメラ１Ｆに対する座標変換テーブルとしては、停止時用兼前進用座標変換テーブルと、後退時用座標変換テーブルとの２種類を用意すればよい。カメラ１Ｂに対する停止時用座標変換テーブルおよび後退時用座標変換テーブルは、同じであるので、カメラ１Ｂに対する座標変換テーブルとしては、停止時用兼後退時用座標変換テーブルと、前進用座標変換テーブルとの２種類を用意すればよい。
【００９３】
図１１は、画像処理ユニット１２による処理手順を示している。
【００９４】
まず、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの撮像画像を読み込む（ステップＳ４１）。次に読み込んだ各撮像画像に対してレンズ歪み補正を行う（ステップＳ４２）。以下、レンズ歪み補正によって得られた画像を入力画像Ｉと呼ぶことにする。
【００９５】
次に、車両ギヤセンサからのギヤ位置を表す信号に基づいて、車両が停止中であるか、車両が前進中であるか、後退中であるかを判定する（ステップＳ４３、Ｓ４４）。車両が停止中であると判別した場合には（ステップＳ４３でＹＥＳ）、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒに対応する停止時用座標変換テーブルを用いて、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒに対応する入力画像Ｉから停止時用全周鳥瞰図画像を生成する（ステップＳ４５）。この場合、全周鳥瞰図画像のうち、車両の前方および後方の鳥瞰図画像は拡張鳥瞰図画像となり、車両の両側の鳥瞰図画像は通常の鳥瞰図画像となる。そして、ステップＳ４８に進む。
【００９６】
車両が前進していると判別された場合には（ステップＳ４３でＮＯ，ステップＳ４４でＹＥＳ）、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒ毎の前進時用座標変換テーブルを用いて、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒに対応する入力画像Ｉから前進時用全周鳥瞰図画像を生成する（ステップＳ４６）。この場合、全周鳥瞰図画像のうち、車両の前方の鳥瞰図画像は拡張鳥瞰図画像となり、車両の後方および両側の鳥瞰図画像は通常の鳥瞰図画像となる。そして、ステップＳ４８に進む。
【００９７】
車両が後退していると判別された場合には（ステップＳ４３でＮＯ，ステップＳ４４でＮＯ）、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒ毎の後退時用座標変換テーブルを用いて、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒに対応する入力画像Ｉから後退時用全周鳥瞰図画像を生成する（ステップＳ４７）。この場合、全周鳥瞰図画像のうち、車両の後方の鳥瞰図画像は拡張鳥瞰図画像となり、車両の後方および両側の鳥瞰図画像は通常の鳥瞰図画像となる。そして、ステップＳ４８に進む。
【００９８】
ステップＳ４８では、全周鳥瞰図画像に各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒに対応する鳥瞰図画像の境界部に黒線画像を合成するとともに、拡張鳥瞰図画像内において通常の鳥瞰図と擬似鳥瞰図との境界部に破線画像を合成する。このようにして得られた画像をモニタ（表示器）１３に表示する（ステップＳ４９）。
【００９９】
図１２（ａ）は停止時用全周鳥瞰図画像を、図１２（ｂ）は前進時用全周鳥瞰図画像を、図１２（ｃ）は後退時用全周鳥瞰図画像を、それぞれ示している。図１２において、Ｃは車両を示し、ＳＦ、ＳＢ、ＳＬ、ＳＲは、それぞれカメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの撮像画像から得られた鳥瞰図画像を示している。
【０１００】
図１２（ａ）の停止時用全周鳥瞰図画像おいては、ＳＦおよびＳＢが拡張鳥瞰図画像となり、ＳＬおよびＳＲが通常の鳥瞰図画像となる。ＳＦ内に示された破線ＬはＳＦ内の通常の鳥瞰図画像と擬似鳥瞰図画像との境界を示し、ＳＢ内に示された破線ＬはＳＢ内の通常の鳥瞰図画像と擬似鳥瞰図画像との境界を示している。
【０１０１】
図１２（ｂ）の前進時用全周鳥瞰図画像においては、ＳＦが拡張鳥瞰図画像となり、ＳＢ、ＳＬおよびＳＲが通常の鳥瞰図画像となる。ＳＦ内に示された破線ＬはＳＦ内の通常の鳥瞰図画像と擬似鳥瞰図画像との境界を示している。
【０１０２】
図１２（ｃ）の後退時用全周鳥瞰図画像においては、ＳＢが拡張鳥瞰図画像となり、ＳＦ、ＳＬおよびＳＲが通常の鳥瞰図画像となる。ＳＢ内に示された破線ＬはＳＢ内の通常の鳥瞰図画像と擬似鳥瞰図画像との境界を示している。
【０１０３】
なお、レンズ歪補正も考慮して、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像（原画像）をレンズ歪み補正して停止時用全周鳥瞰図画像に変換するための停止時座標変換テーブル、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像をレンズ歪み補正して前進時用全周鳥瞰図画像に変換するための前進時座標変換テーブル、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像をレンズ歪み補正して後退時用全周鳥瞰図画像に変換するための後退時座標変換テーブルを予め用意しておき、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像から、これらの座標変換テーブルを用いて停止時用全周鳥瞰図画像、前進時用全周鳥瞰図画像および後退時用全周鳥瞰図画像を生成するようにしてもよい。
【図面の簡単な説明】
【０１０４】
【図１】自動車に設けられた運転支援システムの構成を示している。
【図２】画像処理ユニット２による処理手順を示すフローチャートである。
【図３】カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw との関係を示す模式図である。
【図４】画像処理ユニット２による処理手順を示すフローチャートである。
【図５】入力画像と、従来手法によって生成された鳥瞰図画像と、本発明手法によって生成された鳥瞰図画像とを示す模式図である。
【図６】カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの配置例を示す平面図である。
【図７】図６の側面図である。
【図８】各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒを原点として、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒで撮像された画像から得られる鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒを示す模式図である。
【図９】図８の後側カメラ１Ｂに対する鳥瞰図画像１０Ｂを基準として、他の３つの鳥瞰図画像１０Ｆ、１０Ｌ、１０Ｒを回転と平行移動により、後側カメラ１Ｂの鳥瞰図画像座標に変換することにより、４つの鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒが合成されることを示す模式図である。
【図１０】自動車に設けられた運転支援システムの電気的構成を示すブロック図である。
【図１１】画像処理ユニット１２による処理手順を示すフローチャートである。
【図１２】停止時用全周鳥瞰図画像、前進時用全周鳥瞰図画像および後退時用全周鳥瞰図画像を示す模式図である。
【符号の説明】
【０１０５】
１ カメラ
２ 画像処理ユニット
３ モニタ
１Ｆ、１Ｂ、１Ｌ、１Ｒ カメラ
１２ 画像処理ユニット
１３ モニタ
【特許請求の範囲】
【請求項１】
車両に搭載された表示器、
車両に搭載された車両周辺を撮像する撮像装置、
撮像画像のうち車両からの距離が所定の閾値以内の領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度を座標変換時の回転角として設定し、撮像画像のうち車両からの距離が所定の閾値より大きい領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度と車両からの距離とに基づいて座標変換時の回転角を算出して設定する回転量設定手段、
撮像画像の座標を、その座標に対応する画像に対して回転角設定手段によって設定された回転角を用いて鳥瞰図座標に変換することにより、拡張鳥瞰図画像を生成する鳥瞰図画像生成手段、および
鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段、
を備えていることを特徴とする運転支援システム。
【請求項２】
回転量設定手段は、撮像画像のうち車両からの距離が所定の閾値より大きい領域の画像に対しては、車両からの距離が大きいほど座標変換時の回転角が小さくなるように、座標変換時の回転角を算出するものであることを特徴とする請求項１に記載の運転支援システム。
【請求項３】
回転量設定手段は、撮像画像の座標を地面座標に変換するための変換式を用いて、撮像画像の各部に対する車両からの距離を算出する第１手段、および撮像画像の各部毎に、予め設定された水平面に対する撮像装置の傾き角度と、第１手段によって算出された距離と、予め設定された所定の閾値とに基づいて、座標変換時の回転角を決定して設定する第２手段を備えていることを特徴とする請求項１および２のいずれかに記載の運転支援システム。
【請求項４】
車両に搭載された表示器、
車両に搭載された車両周辺を撮像する撮像装置、
撮像画像の座標を、請求項１に記載の拡張鳥瞰図画像の座標に変換するための座標変換テーブル、
撮像画像の座標を、座標変換テーブルを用いて拡張鳥瞰図画像の座標に変換することにより、拡張鳥瞰図画像を生成する鳥瞰図画像生成手段、および
鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段、
を備えていることを特徴とする運転支援システム。
【請求項５】
車両に搭載された表示器、
車両の少なくとも前後に搭載されかつ車両の周辺を撮像する複数の撮像装置、
各撮像装置に撮像された撮像画像から、車両の進行方向に応じた複数種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに
全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、
全周鳥瞰図画像は各撮像装置の撮像装置から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両の進行方向に対応した方向の撮像画像像から請求項１に記載の拡張鳥瞰図画像を生成し、他の方向の撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された全周鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された全周鳥瞰図画像を生成するものであることを特徴とする運転支援システム。
【請求項６】
車両に搭載された表示器、
車両の前後左右に搭載されかつ車両周辺を撮像する複数の撮像装置、
各撮像装置に撮像された撮像画像から、車両が前進している場合、および車両が後退している場合のそれぞれに応じた種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに
全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、
全周鳥瞰図画像は各撮像装置の撮像装置から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両が前進している場合には、前側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、後側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第１の全周鳥瞰図画像を生成し、車両が後退している場合には、後側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、前側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第２の全周鳥瞰図画像を生成するものであることを特徴とする運転支援システム。
【請求項７】
全周鳥瞰図画像生成手段は、
各撮像装置によって撮像される撮像画像の座標を、上記第１の全周鳥瞰図画像の座標に変換するための第１の座標変換テーブル、
各撮像装置によって撮像される撮像画像の座標を、上記第２の全周鳥瞰図画像の座標に変換するための第２の座標変換テーブル、
車両が前進している場合には、各撮像装置によって撮像された撮像画像の座標を、第１の座標変換テーブルを用いて第１の全周鳥瞰図画像の座標に変換することにより、第１の全周鳥瞰図画像を生成する第１の全周鳥瞰図画像生成手段、および
車両が後退している場合には、各撮像装置によって撮像された撮像画像の座標を、第２の座標変換テーブルを用いて第２の全周鳥瞰図画像の座標に変換することにより、第２の全周鳥瞰図画像を生成する第２の全周鳥瞰図画像生成手段、
を備えていることを特徴とする請求項６に記載の運転支援システム。
【請求項８】
車両に搭載された表示器、
車両の前後左右に搭載されかつ車両周辺を撮像する複数の撮像装置、
各撮像装置に撮像された撮像画像から、車両が停止している場合、車両が前進している場合、および車両が後退している場合のそれぞれに応じた種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに
全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、
全周鳥瞰図画像は各撮像装置の撮像装置から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両が停止している場合には、前後の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第１の全周鳥瞰図画像を生成し、車両が前進している場合には、前側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、後側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第２の全周鳥瞰図画像を生成し、車両が後退している場合には、後側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、前側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第３の全周鳥瞰図画像を生成するものであることを特徴とする運転支援システム。
【請求項９】
全周鳥瞰図画像生成手段は、
各撮像装置によって撮像される撮像画像の座標を、上記第１の全周鳥瞰図画像の座標に変換するための第１の座標変換テーブル、
各撮像装置によって撮像される撮像画像の座標を、上記第２の全周鳥瞰図画像の座標に変換するための第２の座標変換テーブル、
各撮像装置によって撮像される撮像画像の座標を、上記第３の全周鳥瞰図画像の座標に変換するための第３の座標変換テーブル、
車両が停止している場合には、各撮像装置によって撮像された撮像画像の座標を、第１の座標変換テーブルを用いて第１の全周鳥瞰図画像の座標に変換することにより、第１の全周鳥瞰図画像を生成する第１の全周鳥瞰図画像生成手段、
車両が前進している場合には、各撮像装置によって撮像された撮像画像の座標を、第２の座標変換テーブルを用いて第２の全周鳥瞰図画像の座標に変換することにより、第２の全周鳥瞰図画像を生成する第２の全周鳥瞰図画像生成手段、および
車両が後退している場合には、各撮像装置によって撮像された撮像画像の座標を、第３の座標変換テーブルを用いて第３の全周鳥瞰図画像の座標に変換することにより、第３の全周鳥瞰図画像を生成する第３の全周鳥瞰図画像生成手段、
を備えていることを特徴とする請求項８に記載の運転支援システム。
【特許請求の範囲】
【請求項１】
車両に搭載された表示器、
車両に搭載された車両周辺を撮像する撮像装置、
撮像画像のうち車両からの距離が所定の閾値以内の領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度を座標変換時の回転角として設定し、撮像画像のうち車両からの距離が所定の閾値より大きい領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度と車両からの距離とに基づいて座標変換時の回転角を算出して設定する回転量設定手段、
撮像画像の座標を、その座標に対応する画像に対して回転量設定手段によって設定された回転角を用いて鳥瞰図座標に変換することにより、拡張鳥瞰図画像を生成する鳥瞰図画像生成手段、および
鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段、
を備えていることを特徴とする運転支援システム。
【請求項２】
回転量設定手段は、撮像画像のうち車両からの距離が所定の閾値より大きい領域の画像に対しては、車両からの距離が大きいほど座標変換時の回転角が小さくなるように、座標変換時の回転角を算出するものであることを特徴とする請求項１に記載の運転支援システム。
【請求項３】
回転量設定手段は、撮像画像の座標を地面座標に変換するための変換式を用いて、撮像画像の各部に対する車両からの距離を算出する第１手段、および撮像画像の各部毎に、予め設定された水平面に対する撮像装置の傾き角度と、第１手段によって算出された距離と、予め設定された所定の閾値とに基づいて、座標変換時の回転角を決定して設定する第２手段を備えていることを特徴とする請求項１および２のいずれかに記載の運転支援システム。
【請求項４】
車両に搭載された表示器、
車両に搭載された車両周辺を撮像する撮像装置、
撮像画像の座標を、請求項１に記載の拡張鳥瞰図画像の座標に変換するための座標変換テーブル、
撮像画像の座標を、座標変換テーブルを用いて拡張鳥瞰図画像の座標に変換することにより、拡張鳥瞰図画像を生成する鳥瞰図画像生成手段、および
鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段、
を備えていることを特徴とする運転支援システム。
【請求項５】
車両に搭載された表示器、
車両の少なくとも前後に搭載されかつ車両の周辺を撮像する複数の撮像装置、
各撮像装置に撮像された撮像画像から、車両の進行方向に応じた複数種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに
全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、
全周鳥瞰図画像は各撮像装置の撮像画像から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両の進行方向に対応した方向の撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、他の方向の撮像画像から通常の鳥瞰図画像を生成し、これらの鳥瞰図画像を合成することにより全周鳥瞰図画像を生成するものであることを特徴とする運転支援システム。
【請求項６】
車両に搭載された表示器、
車両の前後左右に搭載されかつ車両周辺を撮像する複数の撮像装置、
各撮像装置に撮像された撮像画像から、車両が前進している場合、および車両が後退している場合のそれぞれに応じた種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに
全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、
全周鳥瞰図画像は各撮像装置の撮像画像から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両が前進している場合には、前側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、後側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第１の全周鳥瞰図画像を生成し、車両が後退している場合には、後側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、前側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第２の全周鳥瞰図画像を生成するものであることを特徴とする運転支援システム。
【請求項７】
全周鳥瞰図画像生成手段は、
各撮像装置によって撮像される撮像画像の座標を、上記第１の全周鳥瞰図画像の座標に変換するための第１の座標変換テーブル、
各撮像装置によって撮像される撮像画像の座標を、上記第２の全周鳥瞰図画像の座標に変換するための第２の座標変換テーブル、
車両が前進している場合には、各撮像装置によって撮像された撮像画像の座標を、第１の座標変換テーブルを用いて第１の全周鳥瞰図画像の座標に変換することにより、第１の全周鳥瞰図画像を生成する第１の全周鳥瞰図画像生成手段、および
車両が後退している場合には、各撮像装置によって撮像された撮像画像の座標を、第２の座標変換テーブルを用いて第２の全周鳥瞰図画像の座標に変換することにより、第２の全周鳥瞰図画像を生成する第２の全周鳥瞰図画像生成手段、
を備えていることを特徴とする請求項６に記載の運転支援システム。
【請求項８】
車両に搭載された表示器、
車両の前後左右に搭載されかつ車両周辺を撮像する複数の撮像装置、
各撮像装置に撮像された撮像画像から、車両が停止している場合、車両が前進している場合、および車両が後退している場合のそれぞれに応じた種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに
全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、
全周鳥瞰図画像は各撮像装置の撮像画像から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両が停止している場合には、前後の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第１の全周鳥瞰図画像を生成し、車両が前進している場合には、前側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、後側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第２の全周鳥瞰図画像を生成し、車両が後退している場合には、後側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、前側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第３の全周鳥瞰図画像を生成するものであることを特徴とする運転支援システム。
【請求項９】
全周鳥瞰図画像生成手段は、
各撮像装置によって撮像される撮像画像の座標を、上記第１の全周鳥瞰図画像の座標に変換するための第１の座標変換テーブル、
各撮像装置によって撮像される撮像画像の座標を、上記第２の全周鳥瞰図画像の座標に変換するための第２の座標変換テーブル、
各撮像装置によって撮像される撮像画像の座標を、上記第３の全周鳥瞰図画像の座標に変換するための第３の座標変換テーブル、
車両が停止している場合には、各撮像装置によって撮像された撮像画像の座標を、第１の座標変換テーブルを用いて第１の全周鳥瞰図画像の座標に変換することにより、第１の全周鳥瞰図画像を生成する第１の全周鳥瞰図画像生成手段、
車両が前進している場合には、各撮像装置によって撮像された撮像画像の座標を、第２の座標変換テーブルを用いて第２の全周鳥瞰図画像の座標に変換することにより、第２の全周鳥瞰図画像を生成する第２の全周鳥瞰図画像生成手段、および
車両が後退している場合には、各撮像装置によって撮像された撮像画像の座標を、第３の座標変換テーブルを用いて第３の全周鳥瞰図画像の座標に変換することにより、第３の全周鳥瞰図画像を生成する第３の全周鳥瞰図画像生成手段、
を備えていることを特徴とする請求項８に記載の運転支援システム。
【請求項１】
車両に搭載された表示器、
車両に搭載された車両周辺を撮像する撮像装置、
撮像画像のうち車両からの距離が所定の閾値以内の領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度を座標変換時の回転角として設定し、撮像画像のうち車両からの距離が所定の閾値より大きい領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度と車両からの距離とに基づいて座標変換時の回転角を算出して設定する回転量設定手段、
撮像画像の座標を、その座標に対応する画像に対して回転角設定手段によって設定された回転角を用いて鳥瞰図座標に変換することにより、拡張鳥瞰図画像を生成する鳥瞰図画像生成手段、および
鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段、
を備えていることを特徴とする運転支援システム。
【請求項２】
回転量設定手段は、撮像画像のうち車両からの距離が所定の閾値より大きい領域の画像に対しては、車両からの距離が大きいほど座標変換時の回転角が小さくなるように、座標変換時の回転角を算出するものであることを特徴とする請求項１に記載の運転支援システム。
【請求項３】
回転量設定手段は、撮像画像の座標を地面座標に変換するための変換式を用いて、撮像画像の各部に対する車両からの距離を算出する第１手段、および撮像画像の各部毎に、予め設定された水平面に対する撮像装置の傾き角度と、第１手段によって算出された距離と、予め設定された所定の閾値とに基づいて、座標変換時の回転角を決定して設定する第２手段を備えていることを特徴とする請求項１および２のいずれかに記載の運転支援システム。
【請求項４】
車両に搭載された表示器、
車両に搭載された車両周辺を撮像する撮像装置、
撮像画像の座標を、請求項１に記載の拡張鳥瞰図画像の座標に変換するための座標変換テーブル、
撮像画像の座標を、座標変換テーブルを用いて拡張鳥瞰図画像の座標に変換することにより、拡張鳥瞰図画像を生成する鳥瞰図画像生成手段、および
鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段、
を備えていることを特徴とする運転支援システム。
【請求項５】
車両に搭載された表示器、
車両の少なくとも前後に搭載されかつ車両の周辺を撮像する複数の撮像装置、
各撮像装置に撮像された撮像画像から、車両の進行方向に応じた複数種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに
全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、
全周鳥瞰図画像は各撮像装置の撮像装置から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両の進行方向に対応した方向の撮像画像像から請求項１に記載の拡張鳥瞰図画像を生成し、他の方向の撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された全周鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された全周鳥瞰図画像を生成するものであることを特徴とする運転支援システム。
【請求項６】
車両に搭載された表示器、
車両の前後左右に搭載されかつ車両周辺を撮像する複数の撮像装置、
各撮像装置に撮像された撮像画像から、車両が前進している場合、および車両が後退している場合のそれぞれに応じた種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに
全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、
全周鳥瞰図画像は各撮像装置の撮像装置から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両が前進している場合には、前側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、後側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第１の全周鳥瞰図画像を生成し、車両が後退している場合には、後側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、前側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第２の全周鳥瞰図画像を生成するものであることを特徴とする運転支援システム。
【請求項７】
全周鳥瞰図画像生成手段は、
各撮像装置によって撮像される撮像画像の座標を、上記第１の全周鳥瞰図画像の座標に変換するための第１の座標変換テーブル、
各撮像装置によって撮像される撮像画像の座標を、上記第２の全周鳥瞰図画像の座標に変換するための第２の座標変換テーブル、
車両が前進している場合には、各撮像装置によって撮像された撮像画像の座標を、第１の座標変換テーブルを用いて第１の全周鳥瞰図画像の座標に変換することにより、第１の全周鳥瞰図画像を生成する第１の全周鳥瞰図画像生成手段、および
車両が後退している場合には、各撮像装置によって撮像された撮像画像の座標を、第２の座標変換テーブルを用いて第２の全周鳥瞰図画像の座標に変換することにより、第２の全周鳥瞰図画像を生成する第２の全周鳥瞰図画像生成手段、
を備えていることを特徴とする請求項６に記載の運転支援システム。
【請求項８】
車両に搭載された表示器、
車両の前後左右に搭載されかつ車両周辺を撮像する複数の撮像装置、
各撮像装置に撮像された撮像画像から、車両が停止している場合、車両が前進している場合、および車両が後退している場合のそれぞれに応じた種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに
全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、
全周鳥瞰図画像は各撮像装置の撮像装置から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両が停止している場合には、前後の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第１の全周鳥瞰図画像を生成し、車両が前進している場合には、前側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、後側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第２の全周鳥瞰図画像を生成し、車両が後退している場合には、後側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、前側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第３の全周鳥瞰図画像を生成するものであることを特徴とする運転支援システム。
【請求項９】
全周鳥瞰図画像生成手段は、
各撮像装置によって撮像される撮像画像の座標を、上記第１の全周鳥瞰図画像の座標に変換するための第１の座標変換テーブル、
各撮像装置によって撮像される撮像画像の座標を、上記第２の全周鳥瞰図画像の座標に変換するための第２の座標変換テーブル、
各撮像装置によって撮像される撮像画像の座標を、上記第３の全周鳥瞰図画像の座標に変換するための第３の座標変換テーブル、
車両が停止している場合には、各撮像装置によって撮像された撮像画像の座標を、第１の座標変換テーブルを用いて第１の全周鳥瞰図画像の座標に変換することにより、第１の全周鳥瞰図画像を生成する第１の全周鳥瞰図画像生成手段、
車両が前進している場合には、各撮像装置によって撮像された撮像画像の座標を、第２の座標変換テーブルを用いて第２の全周鳥瞰図画像の座標に変換することにより、第２の全周鳥瞰図画像を生成する第２の全周鳥瞰図画像生成手段、および
車両が後退している場合には、各撮像装置によって撮像された撮像画像の座標を、第３の座標変換テーブルを用いて第３の全周鳥瞰図画像の座標に変換することにより、第３の全周鳥瞰図画像を生成する第３の全周鳥瞰図画像生成手段、
を備えていることを特徴とする請求項８に記載の運転支援システム。
【特許請求の範囲】
【請求項１】
車両に搭載された表示器、
車両に搭載された車両周辺を撮像する撮像装置、
撮像画像のうち車両からの距離が所定の閾値以内の領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度を座標変換時の回転角として設定し、撮像画像のうち車両からの距離が所定の閾値より大きい領域の画像に対しては、予め設定された水平面に対する撮像装置の傾き角度と車両からの距離とに基づいて座標変換時の回転角を算出して設定する回転量設定手段、
撮像画像の座標を、その座標に対応する画像に対して回転量設定手段によって設定された回転角を用いて鳥瞰図座標に変換することにより、拡張鳥瞰図画像を生成する鳥瞰図画像生成手段、および
鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段、
を備えていることを特徴とする運転支援システム。
【請求項２】
回転量設定手段は、撮像画像のうち車両からの距離が所定の閾値より大きい領域の画像に対しては、車両からの距離が大きいほど座標変換時の回転角が小さくなるように、座標変換時の回転角を算出するものであることを特徴とする請求項１に記載の運転支援システム。
【請求項３】
回転量設定手段は、撮像画像の座標を地面座標に変換するための変換式を用いて、撮像画像の各部に対する車両からの距離を算出する第１手段、および撮像画像の各部毎に、予め設定された水平面に対する撮像装置の傾き角度と、第１手段によって算出された距離と、予め設定された所定の閾値とに基づいて、座標変換時の回転角を決定して設定する第２手段を備えていることを特徴とする請求項１および２のいずれかに記載の運転支援システム。
【請求項４】
車両に搭載された表示器、
車両に搭載された車両周辺を撮像する撮像装置、
撮像画像の座標を、請求項１に記載の拡張鳥瞰図画像の座標に変換するための座標変換テーブル、
撮像画像の座標を、座標変換テーブルを用いて拡張鳥瞰図画像の座標に変換することにより、拡張鳥瞰図画像を生成する鳥瞰図画像生成手段、および
鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段、
を備えていることを特徴とする運転支援システム。
【請求項５】
車両に搭載された表示器、
車両の少なくとも前後に搭載されかつ車両の周辺を撮像する複数の撮像装置、
各撮像装置に撮像された撮像画像から、車両の進行方向に応じた複数種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに
全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、
全周鳥瞰図画像は各撮像装置の撮像画像から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両の進行方向に対応した方向の撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、他の方向の撮像画像から通常の鳥瞰図画像を生成し、これらの鳥瞰図画像を合成することにより全周鳥瞰図画像を生成するものであることを特徴とする運転支援システム。
【請求項６】
車両に搭載された表示器、
車両の前後左右に搭載されかつ車両周辺を撮像する複数の撮像装置、
各撮像装置に撮像された撮像画像から、車両が前進している場合、および車両が後退している場合のそれぞれに応じた種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに
全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、
全周鳥瞰図画像は各撮像装置の撮像画像から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両が前進している場合には、前側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、後側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第１の全周鳥瞰図画像を生成し、車両が後退している場合には、後側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、前側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第２の全周鳥瞰図画像を生成するものであることを特徴とする運転支援システム。
【請求項７】
全周鳥瞰図画像生成手段は、
各撮像装置によって撮像される撮像画像の座標を、上記第１の全周鳥瞰図画像の座標に変換するための第１の座標変換テーブル、
各撮像装置によって撮像される撮像画像の座標を、上記第２の全周鳥瞰図画像の座標に変換するための第２の座標変換テーブル、
車両が前進している場合には、各撮像装置によって撮像された撮像画像の座標を、第１の座標変換テーブルを用いて第１の全周鳥瞰図画像の座標に変換することにより、第１の全周鳥瞰図画像を生成する第１の全周鳥瞰図画像生成手段、および
車両が後退している場合には、各撮像装置によって撮像された撮像画像の座標を、第２の座標変換テーブルを用いて第２の全周鳥瞰図画像の座標に変換することにより、第２の全周鳥瞰図画像を生成する第２の全周鳥瞰図画像生成手段、
を備えていることを特徴とする請求項６に記載の運転支援システム。
【請求項８】
車両に搭載された表示器、
車両の前後左右に搭載されかつ車両周辺を撮像する複数の撮像装置、
各撮像装置に撮像された撮像画像から、車両が停止している場合、車両が前進している場合、および車両が後退している場合のそれぞれに応じた種類の全周鳥瞰図画像を生成する全周鳥瞰図画像生成手段、ならびに
全周鳥瞰図画像生成手段によって得られた拡張鳥瞰図画像を表示器に表示させる手段を備えており、
全周鳥瞰図画像は各撮像装置の撮像画像から得られる鳥瞰図画像を合成することにより生成されており、全周鳥瞰図画像生成手段は、車両が停止している場合には、前後の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第１の全周鳥瞰図画像を生成し、車両が前進している場合には、前側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、後側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第２の全周鳥瞰図画像を生成し、車両が後退している場合には、後側の撮像装置によって撮像された撮像画像から請求項１に記載の拡張鳥瞰図画像を生成し、前側および左右の撮像装置によって撮像された撮像画像から通常の鳥瞰図画像を生成して、これらの鳥瞰図画像が合成された第３の全周鳥瞰図画像を生成するものであることを特徴とする運転支援システム。
【請求項９】
全周鳥瞰図画像生成手段は、
各撮像装置によって撮像される撮像画像の座標を、上記第１の全周鳥瞰図画像の座標に変換するための第１の座標変換テーブル、
各撮像装置によって撮像される撮像画像の座標を、上記第２の全周鳥瞰図画像の座標に変換するための第２の座標変換テーブル、
各撮像装置によって撮像される撮像画像の座標を、上記第３の全周鳥瞰図画像の座標に変換するための第３の座標変換テーブル、
車両が停止している場合には、各撮像装置によって撮像された撮像画像の座標を、第１の座標変換テーブルを用いて第１の全周鳥瞰図画像の座標に変換することにより、第１の全周鳥瞰図画像を生成する第１の全周鳥瞰図画像生成手段、
車両が前進している場合には、各撮像装置によって撮像された撮像画像の座標を、第２の座標変換テーブルを用いて第２の全周鳥瞰図画像の座標に変換することにより、第２の全周鳥瞰図画像を生成する第２の全周鳥瞰図画像生成手段、および
車両が後退している場合には、各撮像装置によって撮像された撮像画像の座標を、第３の座標変換テーブルを用いて第３の全周鳥瞰図画像の座標に変換することにより、第３の全周鳥瞰図画像を生成する第３の全周鳥瞰図画像生成手段、
を備えていることを特徴とする請求項８に記載の運転支援システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−２８７８９２（Ｐ２００６−２８７８９２Ａ）
【公開日】平成１８年１０月１９日（２００６．１０．１９）
【国際特許分類】
【出願番号】特願２００５−１４７８３８（Ｐ２００５−１４７８３８）
【出願日】平成１７年５月２０日（２００５．５．２０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成１８年１０月１９日（２００６．１０．１９）
【国際特許分類】
【出願日】平成１７年５月２０日（２００５．５．２０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]