運転支援装置
【課題】旋回時、実カメラを固定設置としながらも、視線を余り動かすことなく進行方向を注視し続けることができる手法を提案することで、より高い安全性を確保する運転支援を達成することができる運転支援装置を提供すること。
【解決手段】車両に固定設置したリアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、リアカメラ１のカメラ映像データから車室内のモニタ３に映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、モニタ画像データ生成手段は、車両旋回時、ハンドル操舵角センサ４により検出された中立位置からのハンドル操舵角θの大きさに応じて仮想カメラ８を車両の旋回方向に自転させ、自転する仮想カメラ８を用いた視点変換により、モニタ３に映し出すモニタ画像データを生成する手段とした。
【解決手段】車両に固定設置したリアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、リアカメラ１のカメラ映像データから車室内のモニタ３に映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、モニタ画像データ生成手段は、車両旋回時、ハンドル操舵角センサ４により検出された中立位置からのハンドル操舵角θの大きさに応じて仮想カメラ８を車両の旋回方向に自転させ、自転する仮想カメラ８を用いた視点変換により、モニタ３に映し出すモニタ画像データを生成する手段とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載の実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、カメラ映像データからモニタ画像データを生成する運転支援装置、特に、ハンドル操舵に基づく自転型視点変換手法を用いた運転支援装置に関する。
【背景技術】
【０００２】
従来、運転支援装置としては、車両の動きに応じて画面構成及び、視点位置を連続的に変更することにより、ドライバに理解しやすい映像を提供することを目的とし、車両の動きに連動して、複数の撮影装置により撮像された複数のカメラ映像を１つの視点から見た俯瞰映像として表示させる１視点映像と、複数のカメラ映像を分割画面に表示した多視点映像とを切り換えるものが知られている（例えば、特許文献１参照）。
【０００３】
また、従来の画像生成装置としては、数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなく、数台のカメラで撮影しているエリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示するものが知られている（例えば、特許文献２参照）。
【特許文献１】特開２００５−２３６４９３号公報
【特許文献２】特許第３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の運転支援装置及び特許文献２の画像生成装置にあっては、いずれも仮想カメラ位置が自車位置から見て、常に同じ位置に固定されているため、この固定された仮想カメラを用いた視点変換手法によるモニタ映像は、モニタ画面内で自車位置が固定されてしまい、操舵による進行方向の変化が、映像上で直接理解するのが難しい、という問題があった。
【０００５】
そこで、現在の操舵状態を示す解決法の一つに、予想車幅線等によるモニタ表示とすることが考えられるが、運転手が注視すべき領域が操舵によって変わるため、モニタ画面上で視線を移動させなければならない、という問題があった。
【０００６】
本発明は、上記問題に着目してなされたもので、旋回時、実カメラを固定設置としながらも、視線を余り動かすことなく進行方向を注視し続けることができる手法を提案することで、より高い安全性を確保する運転支援を達成することができる運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明では、車両に固定設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
ハンドル操舵角を検出するハンドル操舵角検出手段を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラを用いた視点変換により、前記モニタに映し出すモニタ画像データを生成することを特徴とする。
【発明の効果】
【０００８】
よって、本発明の運転支援装置にあっては、ハンドル操舵角検出手段において、ハンドル操舵角が検出され、モニタ画像データ生成手段において、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラを用いた視点変換により、モニタに映し出すモニタ画像データが生成される。
例えば、実カメラがリアカメラであり、操舵系ハンドルを左に切っての右旋回後進時においては、中立位置からのハンドル操舵角の大きさに応じて仮想カメラが車両の旋回後進方向に自転するため、この自転する仮想カメラを用いた視点変換により生成された画像データによりモニタに映し出される映像は、操舵系ハンドルの回転動作に逐次対応して車両後方の映像全体が回転することになる。
一方、旋回時における操舵系ハンドルの回転動作と車両の旋回挙動の発生時間関係を対比すると、操舵系ハンドルの回転動作が先行して発生し、ハンドル回転動作から遅れて車両の旋回挙動が発生することで、モニタに映し出される車両後方の映像は、これから進行しようとする方向の映像を先取りした映像となる。
したがって、旋回時、モニタには、操舵系ハンドルの回転動作に逐次対応し、予想進路領域が画面中央部に常時表示されることで、モニタ画面への視線を余り動かすことなく進行方向を注視し続けることができる。言い換えると、モニタ画面を注視するだけで、これから進行しようとする方向の予想進路領域情報を取得することができる。このように取得される予想進路領域情報により、例えば、駐車時、目標とする駐車位置に短時間で正確に自車を停止させることができるし、また、旋回時、進行方向に存在する障害物等をいち早く認識し、余裕を持って障害物等を制動操作や操舵操作により回避することができる。
この結果、旋回時、実カメラを固定設置としながらも、視線を余り動かすことなく進行方向を注視し続けることができる手法を提案することで、より高い安全性を確保する運転支援を達成することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の運転支援装置を実現する最良の形態を、図面に示す実施例１〜実施例４に基づいて説明する。
【実施例１】
【００１０】
まず、構成を説明する。
図１は実施例１の後進時運転支援装置（運転支援装置の一例）を示す全体システム図である。図２は実施例１の後進時運転支援装置においてハンドル操舵角に応じて位置／姿勢が制御される仮想カメラを使った視点変換手法の一例を説明する模式図である。図３は実施例１の後進時運転支援装置において旋回後進時におけるモニタ画像であり、(a)は旋回後進開始時のモニタ画像を示し、(b)は旋回後進途中でのモニタ画像を示す。図４は実施例１の後進時運転支援装置においてモニタ画面での予測位置がハンドル操舵角によらず同じ位置とするための仮想カメラの位置の軌跡を示す車両の回転運動モデル図である。
【００１１】
実施例１における後進時運転支援装置は、図１に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、ハンドル操舵角センサ４（ハンドル操舵角検出手段）と、シフトレバー位置センサ５と、仮想カメラ位置調整操作ダイアル６と、仮想平面スクリーン７（仮想投影面）と、仮想カメラ８と、仮想平面ＣＣＤ９（仮想撮像面）と、操舵系ハンドル１０と、シフトレバー１１と、を備えている。なお、「ＣＣＤ」とは、「Charge Coupled Device」の略で、電荷結合素子のことをいう。
【００１２】
実施例１の後進時運転支援装置は、車両に固定設置したリアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想平面スクリーン７と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する装置である。
【００１３】
前記リアカメラ１は、図１に示すように、車両の後部位置に取り付けられ、車両の後方景色を映し出す。このリアカメラ１の実撮像面（リアカメラＣＣＤ）に投影される画像によりカメラ映像データを取得する。
【００１４】
このリアカメラ１の被写体側（レンズ軸側）には、図１及び図２に示すように、仮想投影面として、車両後方の地面に沿った仮想平面スクリーン７が設定される。
【００１５】
また、リアカメラ１より高い位置には、図１及び図２に示すように、リアカメラ１からの水平方向距離ａ、地面からの垂直方向距離ｂ、により規定される位置に仮想カメラ８が設定される。
【００１６】
さらに、前記仮想カメラ８の仮想撮像面として、図１及び図２に示すように、仮想平面スクリーン７に平行な仮想平面ＣＣＤ９が設定される。
【００１７】
前記画像処理コントローラ２は、図１に示すように、デコーダ間変換部２１と、座標変換処理部２２と、ＲＯＭ２３と、ＲＡＭ２４と、エンコーダ変換部２５と、を有する。
【００１８】
前記デコーダ間変換部２１は、リアカメラ１に接合されているデコーダと、座標変換処理部２２にて想定しているデコーダと、の相違に基づき、両デコーダ間でカメラ入力座標系からデコーダ変換座標系へとデータ座標系を変換する。なお、「デコーダ」とは、一定の規則に基づいて符号化されたデータを復元し、元のデータを取り出すソフトウェアをいう。
【００１９】
前記座標変換処理部２２は、リアカメラ１により取得した単独のカメラ映像データとして前記デコーダ間変換部２１からのデコーダ変換座標系を入力し、前記ＲＯＭ２３に予め記憶設定されているマッピングテーブルを用いる。そして、座標変換にしたがって仮想カメラ８の仮想平面ＣＣＤ９上にカメラ映像データの各画素を移し、仮想カメラ８から仮想平面スクリーン７を見たときに仮想平面ＣＣＤ９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成する（モニタ画像データ生成手段）。
【００２０】
前記ＲＯＭ２３は、仮想平面ＣＣＤ９上での一つの画素位置を指定し、仮想平面スクリーン７上で指定した一つの画素位置に対応する第１対応位置を決め、リアカメラ１の撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行って作成したマッピングテーブルを記憶設定しておくメモリである。
【００２１】
このマッピングテーブルの作成時、リアカメラ１により取得した単独のカメラ映像データの各画素位置と、仮想平面スクリーン７を介した仮想カメラ８の仮想平面ＣＣＤ９上の各画素位置と、の間で座標変換される。また、マッピングテーブルの作成時、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、各画素の光軸位置からの距離と変換量関係特性とを用い、リアカメラ１により取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想平面ＣＣＤ９の座標系としている。なお、マッピングテーブルには、仮想カメラ８の位置（ａ，ｂ）と、仮想カメラ８の自転角度と、平面座標系（ｘｙ座標系）での仮想カメラ８の移動位置に応じて、複数のマッピングテーブルが記憶設定されている。そして、細かなカメラ位置設定や角度設定や移動位置設定に対しては、例えば、補間法を用いて対応するようにしている。
【００２２】
前記ＲＡＭ２４は、書き換え可能な情報を記憶設定しておくメモリである。
実施例１は、視点変換手法に基づき作成したマッピングテーブルを予めＲＯＭ２３に記憶設定しておき、カメラ映像データをモニタ３に映し出すモニタ画像データとするために座標変換処理を行うようにした例である。しかし、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するようなシステムとした場合、このＲＡＭ２４に、各画素等の座標変換式を記憶設定しておく。
【００２３】
前記エンコーダ変換部２５は、前記座標変換処理部２２により生成されたモニタ画像データを、例えば、運転者視点対応の左右反転処理を含んで、モニタ３に映し出す画像データに変換する。なお、「エンコーダ」とは、データを一定の規則に基づいて符号化するソフトウェアをいう。
【００２４】
前記モニタ３は、車室内のインスツルメントパネル位置等に設定され、画像処理コントローラ２からの画像データに基づいて、モニタ画面３１に車両後方側の近景を俯瞰表示する。そして、モニタ画面３１には、図３(a),(b)に示すように、旋回後進時、車両後方側の近景の俯瞰表示に加え、車両イラスト１２を画面中央上部に表示すると共に、車両が近い将来に必ず通る位置であろうと予想される予測位置１３を画面中央下部に表示する。
【００２５】
前記ハンドル操舵角センサ４は、操舵系ハンドル１０を操作した場合、ハンドル操作方向と共に、操舵中立位置からのハンドル操舵角θを検出する。実施例１のシステムにおいて、このハンドル操舵角センサ４からは、ハンドル操作方向情報とハンドル操舵角情報を得る。
【００２６】
前記シフトレバー位置センサ５は、シフトレバー１１を操作した場合、レバー操作位置を検出するもので、例えば、自動変速機のシフトレバー１１である場合、パーキングレンジ位置（Ｐ）、ドライブレンジ位置（Ｄ）、ニュートラルレンジ位置（Ｎ）、リバースレンジ位置（Ｒ）などの選択操作位置に応じたセンサ信号を出力する。実施例１のシステムにおいて、このシフトレバー位置センサ５からは、リバースレンジ位置の選択情報（＝後進情報）を得る。
【００２７】
前記仮想カメラ位置調整操作ダイアル６は、運転者等による外部からの設定操作により任意の空間位置に仮想カメラ８を設定するための仮想カメラ位置調整操作手段である。この仮想カメラ位置調整操作ダイアル６では、図１に示すように、リアカメラ１からの水平方向距離ａ（例えば、2m）と、地面からの垂直方向距離ｂ（例えば、3m）と、を独立に設定できるようにしている。
【００２８】
実施例１におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じ、車両イラスト１２を画面中央上部位置にて回転表示すると共に、前記予測位置１３が前記モニタ３の画面中央下部に常に固定表示され続けるように、前記仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ位置を仮想平面スクリーン７に沿って移動させる。そして、自転と共に移動する仮想カメラ８を用いた視点変換により、ハンドル操舵角θによらず前記予測位置１３の固定表示を維持する車両後方の俯瞰映像を前記モニタ３に映し出すモニタ画像データを生成する。
【００２９】
ここで、図３(b)では操舵系ハンドル１０を回転させると映像全体が回転しているが、一方で後進したときの予測位置１２は常に画面中央下部に表示され続けている。この予測位置１２がハンドル操舵角θによらず同じ位置にあるためには、厳密には仮想カメラ８の自転操作だけでなく、位置もわずかではあるが操作する必要がある。その一般的な式は、車両の回転運動特性に依存するため、具体的に表記するのは困難である。そこで、最も簡単なモデル（図４）について、仮想カメラの位置及び自転角度を表現したのが下記に示す（式１）及び（式２）である。
【００３０】
【数１】
この（式１）及び（式２）に従って仮想カメラ８を制御することで、予測位置１２がハンドル操舵角θによらず画面中央下部に表示され続ける図３(b)のカメラ映像を得ることができる。
【００３１】
次に、作用を説明する。
【００３２】
実施例１の後進時運転支援装置は、ハンドル操舵に基づく仮想カメラ８の自転型視点変換手法により、モニタ画像データを生成し、旋回後進時、モニタ３に映し出される映像を運転支援情報として活用するものである。
実施例１の発明ポイントは、
・ハンドル操舵角に応じて仮想カメラ８の位置／姿勢を制御する。
・予想進路領域を画面中央で常時表示する。
・予想車幅線に代わり、自車イラスト１２の回転重畳表示で操舵状態を表示する。
ことにある。
以下、実施例１の後進時運転支援装置における作用として、［従来技術とその問題点］、［カメラ映像データからのモニタ映像生成作用］、［運転支援作用］について説明する。
【００３３】
［従来技術とその問題点］
図５は従来の固定仮想カメラを使った視点変換手法による俯瞰変換のモデルを示す模式図である。図６は従来固定仮想カメラを使った視点変換手法を用いた場合の旋回後進時におけるモニタ画像の俯瞰変換表示例を示す図である。
【００３４】
従来の視点変換手法の映像は、図６に示すように、モニタ画面内で自車位置が固定されている。これは、図５に示すように、仮想カメラ位置が自車位置から見て、常に同じ位置に固定されているということである。また、現在の操舵状態を示すのに、図６中に示す予想車幅線等による表示が使われていた。
【００３５】
しかしながら、従来の固定仮想カメラを使った視点変換手法にあっては、操舵による進行方向の変化が、モニタ画面の映像上で直接理解するのが難しい。そして、この解決法の一つに、図６で示す予想軌跡線表示があるが、運転手が注視すべき領域が操舵によって変わるため、モニタ画面上で視線を移動させなければならない。
【００３６】
［カメラ映像データからのモニタ映像生成作用］
旋回後進時、モニタ画面３１には、図３(a),(b)に示すように、車両後方側の近景の俯瞰表示に加え、車両イラスト１２が画面中央上部に表示されると共に、車両が近い将来に必ず通る位置であろうと予想される予測位置１３が画面中央下部に表示される。
【００３７】
そして、ハンドル操舵角センサ４において、ハンドル操舵角が検出され、座標変換処理部２２において、旋回後進時、図３(a),(b)に示すように、中立位置からのハンドル操舵角θの大きさに応じ、車両イラスト１２が画面中央上部位置にて回転表示される。この車両イラスト１２の回転表示と共に、予測位置１３がモニタ３の画面中央下部に常に固定表示され続けるように、仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ位置を仮想平面スクリーン７に沿って移動させる（図４）。
【００３８】
そして、自転と共に移動する仮想カメラ８を用いた視点変換により、座標変換処理部２２において、モニタ画像データが生成され、ハンドル操舵角θによらず予測位置１３の固定表示を維持する車両後方の俯瞰映像がモニタ画面３１に映し出される。
【００３９】
このように、実施例１では、実カメラがリアカメラ１であり、操舵系ハンドル１０を左に切っての右旋回後進時においては、中立位置からのハンドル操舵角θの大きさに応じて仮想カメラ８が車両の旋回後進方向に自転する。このため、自転する仮想カメラ８を用いた視点変換により生成された画像データによりモニタ画面３１に映し出される映像は、図３(a)に示す俯瞰映像から図３(b)に示す俯瞰映像へと変化するというように、操舵系ハンドル１０の回転動作に逐次対応して車両後方の俯瞰映像全体が回転することになる。
【００４０】
一方、旋回後進時における操舵系ハンドル１０の回転動作と車両の旋回挙動の発生時間関係を対比すると、操舵系ハンドル１０の回転動作が先行して発生し、ハンドル回転動作から遅れて車両の旋回挙動が発生する。このため、モニタ画面３１に映し出される車両後方の俯瞰映像は、これから進行しようとする方向の映像を先取りした俯瞰映像となる。
【００４１】
したがって、旋回後進時、モニタ３のモニタ画面３１には、操舵系ハンドル１０の回転動作に逐次対応し、予想進路領域を画面中央部に常時表示することができる。
【００４２】
加えて、座標変換処理部２２において、旋回後進時、図３(a),(b)に示すように、中立位置からのハンドル操舵角θの大きさに応じ、車両イラスト１２を画面中央上部位置にて回転表示されるため、モニタ３のモニタ画面３１には、中立位置からのハンドル操舵角θの大きさに応じ、車両イラスト１２が画面中央上部位置にて傾けて重畳表示される。
【００４３】
さらに、座標変換処理部２２において、旋回後進時、図３(a),(b)に示すように、中立位置からのハンドル操舵角θの大きさに応じ、仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ位置を仮想平面スクリーン７に沿って移動させるため、モニタ３のモニタ画面３１には、自車が将来必ず通る予測位置１２が常に画面中央下部に表示され続けられる。
【００４４】
［運転支援作用］
上記のように、旋回後進時、モニタ３のモニタ画面３１には、操舵系ハンドル１０の回転動作に逐次対応し、予想進路領域が画面中央部に常時表示されることで、モニタ画面３１への視線を余り動かすことなく進行方向を注視し続けることができる。言い換えると、モニタ画面３１を注視するだけで、これから進行しようとする方向の予想進路領域情報を取得することができる。このように取得される予想進路領域情報により、例えば、旋回後進を伴う駐車時、目標とする駐車位置に短時間で正確に自車を停止させることができるし、また、旋回後進時、進行方向に存在する障害物等をいち早く認識し、余裕を持って障害物等を制動操作や操舵操作により回避することができる。
【００４５】
加えて、モニタ３のモニタ画面３１には、中立位置からのハンドル操舵角θの大きさに応じ、車両イラスト１２が画面中央上部位置にて傾けて重畳表示される。このため、例えば、モニタ画面に予想車幅線等を表示しなくとも、現在のハンドル操舵角θを、モニタ画面３１上での車両イラスト１２の傾き角度により定量的に明示することができる。
【００４６】
さらに、モニタ３のモニタ画面３１には、自車が将来必ず通る予測位置１２が常に画面中央下部に表示され続けられる。このため、モニタ画面３１の映像では、進行方向に存在する物体、すなわち、障害物となり得る物体ほどモニタ画面３１の中央部に表示されることになり、制動操作や旋回操作等による障害物回避動作を早期に開始でき、安全性向上に大きく寄与することができる。
【００４７】
次に、効果を説明する。
実施例１の後進時運転支援装置にあっては、下記に列挙する効果を得ることができる。
【００４８】
(1) 車両に固定設置した実カメラとは異なる位置に設定した仮想カメラ８と、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタ３に映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、ハンドル操舵角θを検出するハンドル操舵角センサ４を設け、前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させ、自転する仮想カメラ８を用いた視点変換により、前記モニタ３に映し出すモニタ画像データを生成するため、旋回時、実カメラを固定設置としながらも、視線を余り動かすことなく進行方向を注視し続けることができる手法を提案することで、より高い安全性を確保する運転支援を達成することができる。特に、従来の自車固定型俯瞰表示手法に比較して、自車の予想進路が常にモニタ画面３１の中心部に表示されるため、運転者の注意を引きやすく、安全性向上が期待できる。
【００４９】
(2) 前記実カメラは、車両後部位置に設定されたリアカメラ１であり、前記モニタ画像データ生成手段は、操舵系ハンドル１０を右に切っての左旋回後進時、または、操舵系ハンドル１０を左に切っての右旋回後進時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回後進方向に自転させ、自転する仮想カメラ８を用いた視点変換により、車両後方映像を前記モニタ３に映し出すモニタ画像データを生成するため、進路となる車両後方領域を視認しにくい旋回後進時、予想進路領域をモニタ画面３１の中央部に常時表示することにより、高い安全性を確保する旋回後進運転支援を達成することができる。
【００５０】
(3) 前記モニタ３は、旋回後進時、車両イラスト１２を画面中央上部に表示し、前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じ、車両イラスト１２を画面中央上部位置にて回転表示するため、モニタ画面に予想車幅線等を表示しなくとも、現在のハンドル操舵角θを、モニタ画面３１上での車両イラスト１２の傾き角度により定量的に明示することができる。
【００５１】
(4) 前記モニタ３は、車両が近い将来に必ず通る位置であろうと予想される予測位置１３を画面中央下部に表示し、前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じ、前記予測位置１３が前記モニタ３の画面中央下部に常に固定表示され続けるように、前記仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ位置を仮想平面スクリーン７に沿って移動させ、自転と共に移動する仮想カメラ８を用いた視点変換により、ハンドル操舵角θによらず前記予測位置の固定表示を維持する車両後方映像を前記モニタ３に映し出すモニタ画像データを生成するため、障害物となり得る物体ほどモニタ画面３１の中央部に表示されることになり、制動操作や旋回操作等による障害物回避動作を早期に開始でき、安全性向上に大きく寄与することができる。
【００５２】
(5) 前記実カメラにより映し出される被写体側に設定した仮想投影面を、地面に沿った仮想平面スクリーン７に設定し、前記仮想カメラ８の仮想撮像面を、仮想平面スクリーンに平行な仮想平面ＣＣＤ９に設定し、前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させ、自転する仮想カメラ８を用いた視点変換により、車両後方の俯瞰映像を前記モニタ３に映し出すモニタ画像データを生成するため、旋回時、予想進路領域がモニタ画面３１に俯瞰表示されることにより、自車と予想進路領域に存在する障害物等までの距離が定量的に明示され、高い安全性を確保する旋回時運転支援を達成することができる。
【実施例２】
【００５３】
実施例２は、実施例１が予測位置を固定位置で与えたのに対し、予測位置をモニタ画面上で自由に設定できるようにした例である。
【００５４】
まず、構成を説明する。
図７は実施例２の後進時運転支援装置において旋回後進時における旋回後進途中でのモニタ画像を示す図である。
【００５５】
実施例２の後進時運転支援装置では、旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置１３を前記モニタ３の画面上で任意の位置に設定する予測位置設定手段が設けられる。この予測位置設定手段としては、例えば、モニタ３の画面枠位置に設定され、予測位置１３をモニタ画面３１の中央部を上下方向に移動させる予測位置設定レバー等が用いられる。
【００５６】
実施例２におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じ、前記予測位置１３が前記モニタ３の画面上で設定された位置に不動表示され続けるように、前記仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ位置を仮想平面スクリーン７に沿って移動させ、自転と共に移動する仮想カメラ８を用いた視点変換により、ハンドル操舵角θによらず設定された前記予測位置１３を不動表示とする車両後方の俯瞰映像を前記モニタ３に映し出すモニタ画像データが生成される。なお、他の構成は、実施例１と同様であるので、図示並びに説明を省略する。
【００５７】
次に、作用を説明すると、図７は予測位置１３を、図３に示す実施例１の予測位置１３に比べ、モニタ画面３１の上方へずらした例である。この場合は、予測位置１３を中心に映像全体が回転する。どこを回転の中心にするか、言い換えると、予測位置１３をモニタ画面３１のどの位置に設定するかは、使用者の利便性に合わせて調整できる。
【００５８】
次に、効果を説明する。
実施例２の後進時運転支援装置にあっては、実施例１の(1),(2),(3),(5)の効果に加え、下記の効果を得ることができる。
【００５９】
(6) 旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置１３を前記モニタ３の画面上で任意の位置に設定する予測位置設定手段を設け、前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じ、前記予測位置１３が前記モニタ３の画面上で設定された位置に不動表示され続けるように、前記仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ位置を仮想値面スクリーン７に沿って移動させ、自転と共に移動する仮想カメラ８を用いた視点変換により、ハンドル操舵角θによらず設定された前記予測位置１３を不動表示とする車両後方映像を前記モニタ３に映し出すモニタ画像データを生成するため、モニタ画面３１上での予測位置設定自由度により、各使用者の利便性要求に応えて最適位置に予測位置１３を設定することができる。
【実施例３】
【００６０】
実施例３は、実施例１，２の予測位置表示に対し、予想車幅線と距離目安線とを重畳表示するようにした例である。
【００６１】
まず、構成を説明する。
図８は実施例３の後進時運転支援装置において旋回後進時における旋回後進途中でのモニタ画像を示す図である。
【００６２】
実施例３の後進時運転支援装置では、図８に示すように、モニタ３に、旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置１３の固定表示または設定表示に対し、予想車幅線１４と距離目安線１５とが重畳表示される。
このモニタ表示において、予測位置１３は不透明表示とされ、重畳表示する予想車幅線１４と距離目安線１５は半透明表示とされる。なお、他の構成は、実施例１，２と同様であるので、図示並びに説明を省略する。
【００６３】
次に、作用を説明すると、図８は予想車幅線１４と距離目安線１５を同時に重畳表示した例である。また、予想車幅線１４と距離目安線１５は、障害物等の視認性を向上させるために半透明の重畳表示にしている。なお、予想車幅線１４と距離目安線１５は、必要に応じて表示することも可能である。
【００６４】
次に、効果を説明する。
実施例３の後進時運転支援装置にあっては、実施例１と実施例２の効果に加え、下記に列挙する効果を得ることができる。
【００６５】
(7) 前記モニタ３は、旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置１３の固定表示または設定表示に対し、予想車幅線１４と距離目安線１５とを重畳表示するため、旋回後進時、自車が通過すると予想される予想軌跡と、目標とする後進位置までの距離をモニタ画面３１により認識することができる。
【００６６】
(8) 前記モニタ３は、旋回後進時、予測位置１３を不透明表示とし、重畳表示する予想車幅線１４と距離目安線１５を半透明表示とするため、予想車幅線１４と距離目安線１５を表示しているにもかかわらず、車両後方に存在する障害物等の視認性を向上させることができる。
【実施例４】
【００６７】
実施例４は、実施例１〜３で用いた仮想平面スクリーンと仮想平面ＣＣＤに代え、仮想立体スクリーンと仮想立体ＣＣＤを用いた例である。
【００６８】
まず、構成を説明する。
図９は実施例４の後進時運転支援装置においてハンドル操舵角に応じて位置／姿勢が制御される仮想カメラと仮想立体スクリーンと仮想立体ＣＣＤを使った視点変換手法の一例を説明する模式図である。
【００６９】
実施例４の後進時運転支援装置では、前記仮想投影面として、地面に沿って設定した近景用スクリーン71（近景用投影面）と、近景用スクリーン71から上向き傾斜角度αにより連接して設定される遠景用スクリーン72（遠景用投影面）を有する仮想立体スクリーン７’（仮想立体投影面）が設定される（仮想立体投影面設定手段）。
【００７０】
前記仮想カメラ８の仮想撮像面として、仮想カメラ８の背面側から前面側に移した状態において、近景用スクリーン71に平行に設定される近景用ＣＣＤ91（近景用撮像面）と、近景用ＣＣＤ91から上向き傾斜角度βにより連接して設定される遠景用ＣＣＤ92（遠景用撮像面）を有する仮想立体ＣＣＤ９’（仮想立体撮像面）が設定される（仮想立体撮像面設定手段）。なお、傾斜角度αと傾斜角度βを、α＝βとした場合、仮想立体スクリーン７’と仮想立体ＣＣＤ９’とは相似形が保たれる。
【００７１】
実施例４におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、車両旋回時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させると共に、自転する仮想カメラ８の仮想立体ＣＣＤ９’と仮想立体スクリーン７’の相対的な位置関係を維持し、自転する仮想カメラ８と仮想立体ＣＣＤ９’と仮想立体スクリーン７’を用いた視点変換により、近景の俯瞰映像と遠景のパース映像をシームレスに接合する映像を前記モニタ３に映し出すモニタ画像データが生成される。
なお、他の構成は、実施例１，２と同様であるので、図示並びに説明を省略する。
【００７２】
次に、作用を説明する。
視点変換技術について、本出願人は、先に仮想立体スクリーン／仮想立体ＣＣＤによる手法を提案している。本発明はその手法にも応用することが出来る。その概念を示したのが図９である。この図９では、仮想カメラ８と仮想立体ＣＣＤ９’が自転するとともに、連携して仮想立体スクリーン７’が移動／自転している。これは、仮想カメラ８と仮想立体スクリーン７’の相対的な位置関係を維持する条件を与えた場合のモデル例である。当然ではあるが、この連携条件は必須ではない。本手法は、仮想カメラ８のみが回転し仮想立体スクリーン７’は動かないモデル、或いは、仮想立体スクリーン７’と仮想立体ＣＣＤ９’を独立に制御するモデルでも処理できる。
【００７３】
したがって、旋回後進時、近景の俯瞰映像と遠景のパース映像をシームレスに接合する映像をモニタ画面３１に表示することにより、近景の俯瞰映像により、自車の近くに存在する障害物等までの距離を定量的に明示できると共に、遠景のパース映像により、自車から離れた遠景の景色を表示することができる。しかも、近景の景色と遠景の景色とは、連続性を保った映像となるため、違和感を与えない。
【００７４】
次に、効果を説明する。
実施例４の後進時運転支援装置にあっては、実施例１の(1)〜(4)の効果に加え、下記に列挙する効果を得ることができる。
【００７５】
(9) 前記仮想投影面として、近景用スクリーン71と遠景用スクリーン72を有する仮想立体スクリーン７’を設定する仮想立体スクリーン設定手段と、前記仮想カメラ８の仮想撮像面として、近景用ＣＣＤ91と遠景用ＣＣＤ92を有する仮想立体ＣＣＤ９’を設定する仮想立体ＣＣＤ設定手段と、を設け、前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させ、自転する仮想カメラ８と仮想立体ＣＣＤ９’と仮想立体スクリーン７’を用いた視点変換により、近景の俯瞰映像と遠景のパース映像をシームレスに接合する車両後方映像を前記モニタ３に映し出すモニタ画像データを生成するため、旋回時、予想進路領域がモニタ画面３１に近景の俯瞰映像と遠景のパース映像をシームレスに接合した映像により表示される、つまり、１つのモニタ画面３１上に自車に近い障害物等までの距離が定量的に明示されると共に自車から遠い障害物等の存在も明示されることになり、より高い安全性を確保する旋回時運転支援を達成することができる。
【００７６】
(10) 前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させると共に、自転する仮想カメラ８の仮想立体ＣＣＤ９’と仮想立体スクリーン７’の相対的な位置関係を維持するため、仮想立体スクリーン７’を固定とした場合、ハンドル操舵角θが大きな領域でモニタ画面３１の端部映像に歪みが生じるのに対し、ハンドル操舵角θが大きな領域であっても、映像歪みを無くして、モニタ画面３１に近景の俯瞰映像と遠景のパース映像をシームレスに接合した映像を表示することができる。
【００７７】
以上、本発明の運転支援装置を実施例１〜実施例４に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【００７８】
実施例１〜３では、視点変換モデルとして仮想平面スクリーン／仮想平面ＣＣＤを用いた例を示し、実施例４では、視点変換モデルとして２平面による仮想立体スクリーン／仮想立体ＣＣＤを用いた例を示した。しかし、視点変換モデルとしては、これらのモデルに限られるものではなく、複数の平面で構成される、或いは、平面と曲面（円筒面や楕円筒面等）で構成される、或いは、自由曲面で構成される仮想立体スクリーン／仮想立体ＣＣＤといった視点変換モデルも適用することができる。その理由を、以下に説明する。
【００７９】
本発明にて採用した視点変換手法と画像変形処理との違いについて述べる。実施例４で示した仮想立体スクリーン／仮想立体ＣＣＤといった視点変換モデルを考慮しなければ、例えば、図３(a)と図３(b)を見比べれば分かるように、仮想カメラという概念を導入しなくとも、通常の画像変形処理（画面内での回転／平行移動）で同等の結果が得られる。
しかし、通常の画像変形処理では、図９のような複数の平面で構成される、或いは、平面と曲面で構成される、或いは、曲面で構成される仮想立体スクリーン／仮想立体ＣＣＤといった視点変換モデルへの拡張が不可能である。即ち、仮想カメラの自転或いは移動という本発明にて採用した視点変換手法によって、どのような視点変換モデルであっても初めて統一的に扱うことができるのであり、単なる画像の変形処理に比べより一般化した手法といえることによる。
【産業上の利用可能性】
【００８０】
実施例１〜４では、実カメラをリアカメラとし、旋回後進時に運転支援する後進時運転支援装置の例を示したが、実カメラを車両のフロント側やサイド側の映像データを取得するフロントカメラやドアミラーカメラ等とし、旋回前進時に運転支援する前進時運転支援装置としても適用することができる。
【図面の簡単な説明】
【００８１】
【図１】実施例１の後進時運転支援装置（運転支援装置の一例）を示す全体システム図である。
【図２】実施例１の後進時運転支援装置においてハンドル操舵角に応じて位置／姿勢が制御される仮想カメラを使った視点変換手法の一例を説明する模式図である。
【図３】実施例１の後進時運転支援装置において旋回後進時におけるモニタ画像であり、(a)は旋回後進開始時のモニタ画像を示し、(b)は旋回後進途中でのモニタ画像を示す。
【図４】実施例１の後進時運転支援装置においてモニタ画面での予測位置がハンドル操舵角によらず同じ位置とするための仮想カメラの位置の軌跡を示す車両の回転運動モデル図である。
【図５】従来の固定仮想カメラを使った視点変換手法による俯瞰変換のモデルを示す模式図である。
【図６】従来固定仮想カメラを使った視点変換手法を用いた場合の旋回後進時におけるモニタ画像の俯瞰変換表示例を示す図である。
【図７】実施例２の後進時運転支援装置において旋回後進時における旋回後進途中でのモニタ画像を示す図である。
【図８】実施例３の後進時運転支援装置において旋回後進時における旋回後進途中でのモニタ画像を示す図である。
【図９】実施例４の後進時運転支援装置においてハンドル操舵角に応じて位置／姿勢が制御される仮想カメラと仮想立体スクリーンと仮想立体ＣＣＤを使った視点変換手法の一例を説明する模式図である。
【符号の説明】
【００８２】
１ リアカメラ（実カメラ）
２ 画像処理コントローラ
２１ デコーダ間変換部
２２ 座標変換処理部
２３ ＲＯＭ
２４ ＲＡＭ
２５ エンコーダ変換部
３ モニタ
４ ハンドル操舵角センサ（ハンドル操舵角検出手段）
５ シフトレバー位置センサ
６ 仮想カメラ位置調整操作ダイアル
７ 仮想平面スクリーン（仮想投影面）
７’ 仮想立体スクリーン（仮想投影面）
８ 仮想カメラ
９ 仮想平面ＣＣＤ（仮想撮像面）
９’ 仮想立体ＣＣＤ（仮想撮像面）
１０ 操舵系ハンドル
１１ シフトレバー
【技術分野】
【０００１】
本発明は、車載の実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、カメラ映像データからモニタ画像データを生成する運転支援装置、特に、ハンドル操舵に基づく自転型視点変換手法を用いた運転支援装置に関する。
【背景技術】
【０００２】
従来、運転支援装置としては、車両の動きに応じて画面構成及び、視点位置を連続的に変更することにより、ドライバに理解しやすい映像を提供することを目的とし、車両の動きに連動して、複数の撮影装置により撮像された複数のカメラ映像を１つの視点から見た俯瞰映像として表示させる１視点映像と、複数のカメラ映像を分割画面に表示した多視点映像とを切り換えるものが知られている（例えば、特許文献１参照）。
【０００３】
また、従来の画像生成装置としては、数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなく、数台のカメラで撮影しているエリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示するものが知られている（例えば、特許文献２参照）。
【特許文献１】特開２００５−２３６４９３号公報
【特許文献２】特許第３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の運転支援装置及び特許文献２の画像生成装置にあっては、いずれも仮想カメラ位置が自車位置から見て、常に同じ位置に固定されているため、この固定された仮想カメラを用いた視点変換手法によるモニタ映像は、モニタ画面内で自車位置が固定されてしまい、操舵による進行方向の変化が、映像上で直接理解するのが難しい、という問題があった。
【０００５】
そこで、現在の操舵状態を示す解決法の一つに、予想車幅線等によるモニタ表示とすることが考えられるが、運転手が注視すべき領域が操舵によって変わるため、モニタ画面上で視線を移動させなければならない、という問題があった。
【０００６】
本発明は、上記問題に着目してなされたもので、旋回時、実カメラを固定設置としながらも、視線を余り動かすことなく進行方向を注視し続けることができる手法を提案することで、より高い安全性を確保する運転支援を達成することができる運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明では、車両に固定設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
ハンドル操舵角を検出するハンドル操舵角検出手段を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラを用いた視点変換により、前記モニタに映し出すモニタ画像データを生成することを特徴とする。
【発明の効果】
【０００８】
よって、本発明の運転支援装置にあっては、ハンドル操舵角検出手段において、ハンドル操舵角が検出され、モニタ画像データ生成手段において、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラを用いた視点変換により、モニタに映し出すモニタ画像データが生成される。
例えば、実カメラがリアカメラであり、操舵系ハンドルを左に切っての右旋回後進時においては、中立位置からのハンドル操舵角の大きさに応じて仮想カメラが車両の旋回後進方向に自転するため、この自転する仮想カメラを用いた視点変換により生成された画像データによりモニタに映し出される映像は、操舵系ハンドルの回転動作に逐次対応して車両後方の映像全体が回転することになる。
一方、旋回時における操舵系ハンドルの回転動作と車両の旋回挙動の発生時間関係を対比すると、操舵系ハンドルの回転動作が先行して発生し、ハンドル回転動作から遅れて車両の旋回挙動が発生することで、モニタに映し出される車両後方の映像は、これから進行しようとする方向の映像を先取りした映像となる。
したがって、旋回時、モニタには、操舵系ハンドルの回転動作に逐次対応し、予想進路領域が画面中央部に常時表示されることで、モニタ画面への視線を余り動かすことなく進行方向を注視し続けることができる。言い換えると、モニタ画面を注視するだけで、これから進行しようとする方向の予想進路領域情報を取得することができる。このように取得される予想進路領域情報により、例えば、駐車時、目標とする駐車位置に短時間で正確に自車を停止させることができるし、また、旋回時、進行方向に存在する障害物等をいち早く認識し、余裕を持って障害物等を制動操作や操舵操作により回避することができる。
この結果、旋回時、実カメラを固定設置としながらも、視線を余り動かすことなく進行方向を注視し続けることができる手法を提案することで、より高い安全性を確保する運転支援を達成することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の運転支援装置を実現する最良の形態を、図面に示す実施例１〜実施例４に基づいて説明する。
【実施例１】
【００１０】
まず、構成を説明する。
図１は実施例１の後進時運転支援装置（運転支援装置の一例）を示す全体システム図である。図２は実施例１の後進時運転支援装置においてハンドル操舵角に応じて位置／姿勢が制御される仮想カメラを使った視点変換手法の一例を説明する模式図である。図３は実施例１の後進時運転支援装置において旋回後進時におけるモニタ画像であり、(a)は旋回後進開始時のモニタ画像を示し、(b)は旋回後進途中でのモニタ画像を示す。図４は実施例１の後進時運転支援装置においてモニタ画面での予測位置がハンドル操舵角によらず同じ位置とするための仮想カメラの位置の軌跡を示す車両の回転運動モデル図である。
【００１１】
実施例１における後進時運転支援装置は、図１に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、ハンドル操舵角センサ４（ハンドル操舵角検出手段）と、シフトレバー位置センサ５と、仮想カメラ位置調整操作ダイアル６と、仮想平面スクリーン７（仮想投影面）と、仮想カメラ８と、仮想平面ＣＣＤ９（仮想撮像面）と、操舵系ハンドル１０と、シフトレバー１１と、を備えている。なお、「ＣＣＤ」とは、「Charge Coupled Device」の略で、電荷結合素子のことをいう。
【００１２】
実施例１の後進時運転支援装置は、車両に固定設置したリアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想平面スクリーン７と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する装置である。
【００１３】
前記リアカメラ１は、図１に示すように、車両の後部位置に取り付けられ、車両の後方景色を映し出す。このリアカメラ１の実撮像面（リアカメラＣＣＤ）に投影される画像によりカメラ映像データを取得する。
【００１４】
このリアカメラ１の被写体側（レンズ軸側）には、図１及び図２に示すように、仮想投影面として、車両後方の地面に沿った仮想平面スクリーン７が設定される。
【００１５】
また、リアカメラ１より高い位置には、図１及び図２に示すように、リアカメラ１からの水平方向距離ａ、地面からの垂直方向距離ｂ、により規定される位置に仮想カメラ８が設定される。
【００１６】
さらに、前記仮想カメラ８の仮想撮像面として、図１及び図２に示すように、仮想平面スクリーン７に平行な仮想平面ＣＣＤ９が設定される。
【００１７】
前記画像処理コントローラ２は、図１に示すように、デコーダ間変換部２１と、座標変換処理部２２と、ＲＯＭ２３と、ＲＡＭ２４と、エンコーダ変換部２５と、を有する。
【００１８】
前記デコーダ間変換部２１は、リアカメラ１に接合されているデコーダと、座標変換処理部２２にて想定しているデコーダと、の相違に基づき、両デコーダ間でカメラ入力座標系からデコーダ変換座標系へとデータ座標系を変換する。なお、「デコーダ」とは、一定の規則に基づいて符号化されたデータを復元し、元のデータを取り出すソフトウェアをいう。
【００１９】
前記座標変換処理部２２は、リアカメラ１により取得した単独のカメラ映像データとして前記デコーダ間変換部２１からのデコーダ変換座標系を入力し、前記ＲＯＭ２３に予め記憶設定されているマッピングテーブルを用いる。そして、座標変換にしたがって仮想カメラ８の仮想平面ＣＣＤ９上にカメラ映像データの各画素を移し、仮想カメラ８から仮想平面スクリーン７を見たときに仮想平面ＣＣＤ９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成する（モニタ画像データ生成手段）。
【００２０】
前記ＲＯＭ２３は、仮想平面ＣＣＤ９上での一つの画素位置を指定し、仮想平面スクリーン７上で指定した一つの画素位置に対応する第１対応位置を決め、リアカメラ１の撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行って作成したマッピングテーブルを記憶設定しておくメモリである。
【００２１】
このマッピングテーブルの作成時、リアカメラ１により取得した単独のカメラ映像データの各画素位置と、仮想平面スクリーン７を介した仮想カメラ８の仮想平面ＣＣＤ９上の各画素位置と、の間で座標変換される。また、マッピングテーブルの作成時、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、各画素の光軸位置からの距離と変換量関係特性とを用い、リアカメラ１により取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想平面ＣＣＤ９の座標系としている。なお、マッピングテーブルには、仮想カメラ８の位置（ａ，ｂ）と、仮想カメラ８の自転角度と、平面座標系（ｘｙ座標系）での仮想カメラ８の移動位置に応じて、複数のマッピングテーブルが記憶設定されている。そして、細かなカメラ位置設定や角度設定や移動位置設定に対しては、例えば、補間法を用いて対応するようにしている。
【００２２】
前記ＲＡＭ２４は、書き換え可能な情報を記憶設定しておくメモリである。
実施例１は、視点変換手法に基づき作成したマッピングテーブルを予めＲＯＭ２３に記憶設定しておき、カメラ映像データをモニタ３に映し出すモニタ画像データとするために座標変換処理を行うようにした例である。しかし、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するようなシステムとした場合、このＲＡＭ２４に、各画素等の座標変換式を記憶設定しておく。
【００２３】
前記エンコーダ変換部２５は、前記座標変換処理部２２により生成されたモニタ画像データを、例えば、運転者視点対応の左右反転処理を含んで、モニタ３に映し出す画像データに変換する。なお、「エンコーダ」とは、データを一定の規則に基づいて符号化するソフトウェアをいう。
【００２４】
前記モニタ３は、車室内のインスツルメントパネル位置等に設定され、画像処理コントローラ２からの画像データに基づいて、モニタ画面３１に車両後方側の近景を俯瞰表示する。そして、モニタ画面３１には、図３(a),(b)に示すように、旋回後進時、車両後方側の近景の俯瞰表示に加え、車両イラスト１２を画面中央上部に表示すると共に、車両が近い将来に必ず通る位置であろうと予想される予測位置１３を画面中央下部に表示する。
【００２５】
前記ハンドル操舵角センサ４は、操舵系ハンドル１０を操作した場合、ハンドル操作方向と共に、操舵中立位置からのハンドル操舵角θを検出する。実施例１のシステムにおいて、このハンドル操舵角センサ４からは、ハンドル操作方向情報とハンドル操舵角情報を得る。
【００２６】
前記シフトレバー位置センサ５は、シフトレバー１１を操作した場合、レバー操作位置を検出するもので、例えば、自動変速機のシフトレバー１１である場合、パーキングレンジ位置（Ｐ）、ドライブレンジ位置（Ｄ）、ニュートラルレンジ位置（Ｎ）、リバースレンジ位置（Ｒ）などの選択操作位置に応じたセンサ信号を出力する。実施例１のシステムにおいて、このシフトレバー位置センサ５からは、リバースレンジ位置の選択情報（＝後進情報）を得る。
【００２７】
前記仮想カメラ位置調整操作ダイアル６は、運転者等による外部からの設定操作により任意の空間位置に仮想カメラ８を設定するための仮想カメラ位置調整操作手段である。この仮想カメラ位置調整操作ダイアル６では、図１に示すように、リアカメラ１からの水平方向距離ａ（例えば、2m）と、地面からの垂直方向距離ｂ（例えば、3m）と、を独立に設定できるようにしている。
【００２８】
実施例１におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じ、車両イラスト１２を画面中央上部位置にて回転表示すると共に、前記予測位置１３が前記モニタ３の画面中央下部に常に固定表示され続けるように、前記仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ位置を仮想平面スクリーン７に沿って移動させる。そして、自転と共に移動する仮想カメラ８を用いた視点変換により、ハンドル操舵角θによらず前記予測位置１３の固定表示を維持する車両後方の俯瞰映像を前記モニタ３に映し出すモニタ画像データを生成する。
【００２９】
ここで、図３(b)では操舵系ハンドル１０を回転させると映像全体が回転しているが、一方で後進したときの予測位置１２は常に画面中央下部に表示され続けている。この予測位置１２がハンドル操舵角θによらず同じ位置にあるためには、厳密には仮想カメラ８の自転操作だけでなく、位置もわずかではあるが操作する必要がある。その一般的な式は、車両の回転運動特性に依存するため、具体的に表記するのは困難である。そこで、最も簡単なモデル（図４）について、仮想カメラの位置及び自転角度を表現したのが下記に示す（式１）及び（式２）である。
【００３０】
【数１】
この（式１）及び（式２）に従って仮想カメラ８を制御することで、予測位置１２がハンドル操舵角θによらず画面中央下部に表示され続ける図３(b)のカメラ映像を得ることができる。
【００３１】
次に、作用を説明する。
【００３２】
実施例１の後進時運転支援装置は、ハンドル操舵に基づく仮想カメラ８の自転型視点変換手法により、モニタ画像データを生成し、旋回後進時、モニタ３に映し出される映像を運転支援情報として活用するものである。
実施例１の発明ポイントは、
・ハンドル操舵角に応じて仮想カメラ８の位置／姿勢を制御する。
・予想進路領域を画面中央で常時表示する。
・予想車幅線に代わり、自車イラスト１２の回転重畳表示で操舵状態を表示する。
ことにある。
以下、実施例１の後進時運転支援装置における作用として、［従来技術とその問題点］、［カメラ映像データからのモニタ映像生成作用］、［運転支援作用］について説明する。
【００３３】
［従来技術とその問題点］
図５は従来の固定仮想カメラを使った視点変換手法による俯瞰変換のモデルを示す模式図である。図６は従来固定仮想カメラを使った視点変換手法を用いた場合の旋回後進時におけるモニタ画像の俯瞰変換表示例を示す図である。
【００３４】
従来の視点変換手法の映像は、図６に示すように、モニタ画面内で自車位置が固定されている。これは、図５に示すように、仮想カメラ位置が自車位置から見て、常に同じ位置に固定されているということである。また、現在の操舵状態を示すのに、図６中に示す予想車幅線等による表示が使われていた。
【００３５】
しかしながら、従来の固定仮想カメラを使った視点変換手法にあっては、操舵による進行方向の変化が、モニタ画面の映像上で直接理解するのが難しい。そして、この解決法の一つに、図６で示す予想軌跡線表示があるが、運転手が注視すべき領域が操舵によって変わるため、モニタ画面上で視線を移動させなければならない。
【００３６】
［カメラ映像データからのモニタ映像生成作用］
旋回後進時、モニタ画面３１には、図３(a),(b)に示すように、車両後方側の近景の俯瞰表示に加え、車両イラスト１２が画面中央上部に表示されると共に、車両が近い将来に必ず通る位置であろうと予想される予測位置１３が画面中央下部に表示される。
【００３７】
そして、ハンドル操舵角センサ４において、ハンドル操舵角が検出され、座標変換処理部２２において、旋回後進時、図３(a),(b)に示すように、中立位置からのハンドル操舵角θの大きさに応じ、車両イラスト１２が画面中央上部位置にて回転表示される。この車両イラスト１２の回転表示と共に、予測位置１３がモニタ３の画面中央下部に常に固定表示され続けるように、仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ位置を仮想平面スクリーン７に沿って移動させる（図４）。
【００３８】
そして、自転と共に移動する仮想カメラ８を用いた視点変換により、座標変換処理部２２において、モニタ画像データが生成され、ハンドル操舵角θによらず予測位置１３の固定表示を維持する車両後方の俯瞰映像がモニタ画面３１に映し出される。
【００３９】
このように、実施例１では、実カメラがリアカメラ１であり、操舵系ハンドル１０を左に切っての右旋回後進時においては、中立位置からのハンドル操舵角θの大きさに応じて仮想カメラ８が車両の旋回後進方向に自転する。このため、自転する仮想カメラ８を用いた視点変換により生成された画像データによりモニタ画面３１に映し出される映像は、図３(a)に示す俯瞰映像から図３(b)に示す俯瞰映像へと変化するというように、操舵系ハンドル１０の回転動作に逐次対応して車両後方の俯瞰映像全体が回転することになる。
【００４０】
一方、旋回後進時における操舵系ハンドル１０の回転動作と車両の旋回挙動の発生時間関係を対比すると、操舵系ハンドル１０の回転動作が先行して発生し、ハンドル回転動作から遅れて車両の旋回挙動が発生する。このため、モニタ画面３１に映し出される車両後方の俯瞰映像は、これから進行しようとする方向の映像を先取りした俯瞰映像となる。
【００４１】
したがって、旋回後進時、モニタ３のモニタ画面３１には、操舵系ハンドル１０の回転動作に逐次対応し、予想進路領域を画面中央部に常時表示することができる。
【００４２】
加えて、座標変換処理部２２において、旋回後進時、図３(a),(b)に示すように、中立位置からのハンドル操舵角θの大きさに応じ、車両イラスト１２を画面中央上部位置にて回転表示されるため、モニタ３のモニタ画面３１には、中立位置からのハンドル操舵角θの大きさに応じ、車両イラスト１２が画面中央上部位置にて傾けて重畳表示される。
【００４３】
さらに、座標変換処理部２２において、旋回後進時、図３(a),(b)に示すように、中立位置からのハンドル操舵角θの大きさに応じ、仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ位置を仮想平面スクリーン７に沿って移動させるため、モニタ３のモニタ画面３１には、自車が将来必ず通る予測位置１２が常に画面中央下部に表示され続けられる。
【００４４】
［運転支援作用］
上記のように、旋回後進時、モニタ３のモニタ画面３１には、操舵系ハンドル１０の回転動作に逐次対応し、予想進路領域が画面中央部に常時表示されることで、モニタ画面３１への視線を余り動かすことなく進行方向を注視し続けることができる。言い換えると、モニタ画面３１を注視するだけで、これから進行しようとする方向の予想進路領域情報を取得することができる。このように取得される予想進路領域情報により、例えば、旋回後進を伴う駐車時、目標とする駐車位置に短時間で正確に自車を停止させることができるし、また、旋回後進時、進行方向に存在する障害物等をいち早く認識し、余裕を持って障害物等を制動操作や操舵操作により回避することができる。
【００４５】
加えて、モニタ３のモニタ画面３１には、中立位置からのハンドル操舵角θの大きさに応じ、車両イラスト１２が画面中央上部位置にて傾けて重畳表示される。このため、例えば、モニタ画面に予想車幅線等を表示しなくとも、現在のハンドル操舵角θを、モニタ画面３１上での車両イラスト１２の傾き角度により定量的に明示することができる。
【００４６】
さらに、モニタ３のモニタ画面３１には、自車が将来必ず通る予測位置１２が常に画面中央下部に表示され続けられる。このため、モニタ画面３１の映像では、進行方向に存在する物体、すなわち、障害物となり得る物体ほどモニタ画面３１の中央部に表示されることになり、制動操作や旋回操作等による障害物回避動作を早期に開始でき、安全性向上に大きく寄与することができる。
【００４７】
次に、効果を説明する。
実施例１の後進時運転支援装置にあっては、下記に列挙する効果を得ることができる。
【００４８】
(1) 車両に固定設置した実カメラとは異なる位置に設定した仮想カメラ８と、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタ３に映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、ハンドル操舵角θを検出するハンドル操舵角センサ４を設け、前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させ、自転する仮想カメラ８を用いた視点変換により、前記モニタ３に映し出すモニタ画像データを生成するため、旋回時、実カメラを固定設置としながらも、視線を余り動かすことなく進行方向を注視し続けることができる手法を提案することで、より高い安全性を確保する運転支援を達成することができる。特に、従来の自車固定型俯瞰表示手法に比較して、自車の予想進路が常にモニタ画面３１の中心部に表示されるため、運転者の注意を引きやすく、安全性向上が期待できる。
【００４９】
(2) 前記実カメラは、車両後部位置に設定されたリアカメラ１であり、前記モニタ画像データ生成手段は、操舵系ハンドル１０を右に切っての左旋回後進時、または、操舵系ハンドル１０を左に切っての右旋回後進時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回後進方向に自転させ、自転する仮想カメラ８を用いた視点変換により、車両後方映像を前記モニタ３に映し出すモニタ画像データを生成するため、進路となる車両後方領域を視認しにくい旋回後進時、予想進路領域をモニタ画面３１の中央部に常時表示することにより、高い安全性を確保する旋回後進運転支援を達成することができる。
【００５０】
(3) 前記モニタ３は、旋回後進時、車両イラスト１２を画面中央上部に表示し、前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じ、車両イラスト１２を画面中央上部位置にて回転表示するため、モニタ画面に予想車幅線等を表示しなくとも、現在のハンドル操舵角θを、モニタ画面３１上での車両イラスト１２の傾き角度により定量的に明示することができる。
【００５１】
(4) 前記モニタ３は、車両が近い将来に必ず通る位置であろうと予想される予測位置１３を画面中央下部に表示し、前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じ、前記予測位置１３が前記モニタ３の画面中央下部に常に固定表示され続けるように、前記仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ位置を仮想平面スクリーン７に沿って移動させ、自転と共に移動する仮想カメラ８を用いた視点変換により、ハンドル操舵角θによらず前記予測位置の固定表示を維持する車両後方映像を前記モニタ３に映し出すモニタ画像データを生成するため、障害物となり得る物体ほどモニタ画面３１の中央部に表示されることになり、制動操作や旋回操作等による障害物回避動作を早期に開始でき、安全性向上に大きく寄与することができる。
【００５２】
(5) 前記実カメラにより映し出される被写体側に設定した仮想投影面を、地面に沿った仮想平面スクリーン７に設定し、前記仮想カメラ８の仮想撮像面を、仮想平面スクリーンに平行な仮想平面ＣＣＤ９に設定し、前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させ、自転する仮想カメラ８を用いた視点変換により、車両後方の俯瞰映像を前記モニタ３に映し出すモニタ画像データを生成するため、旋回時、予想進路領域がモニタ画面３１に俯瞰表示されることにより、自車と予想進路領域に存在する障害物等までの距離が定量的に明示され、高い安全性を確保する旋回時運転支援を達成することができる。
【実施例２】
【００５３】
実施例２は、実施例１が予測位置を固定位置で与えたのに対し、予測位置をモニタ画面上で自由に設定できるようにした例である。
【００５４】
まず、構成を説明する。
図７は実施例２の後進時運転支援装置において旋回後進時における旋回後進途中でのモニタ画像を示す図である。
【００５５】
実施例２の後進時運転支援装置では、旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置１３を前記モニタ３の画面上で任意の位置に設定する予測位置設定手段が設けられる。この予測位置設定手段としては、例えば、モニタ３の画面枠位置に設定され、予測位置１３をモニタ画面３１の中央部を上下方向に移動させる予測位置設定レバー等が用いられる。
【００５６】
実施例２におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じ、前記予測位置１３が前記モニタ３の画面上で設定された位置に不動表示され続けるように、前記仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ位置を仮想平面スクリーン７に沿って移動させ、自転と共に移動する仮想カメラ８を用いた視点変換により、ハンドル操舵角θによらず設定された前記予測位置１３を不動表示とする車両後方の俯瞰映像を前記モニタ３に映し出すモニタ画像データが生成される。なお、他の構成は、実施例１と同様であるので、図示並びに説明を省略する。
【００５７】
次に、作用を説明すると、図７は予測位置１３を、図３に示す実施例１の予測位置１３に比べ、モニタ画面３１の上方へずらした例である。この場合は、予測位置１３を中心に映像全体が回転する。どこを回転の中心にするか、言い換えると、予測位置１３をモニタ画面３１のどの位置に設定するかは、使用者の利便性に合わせて調整できる。
【００５８】
次に、効果を説明する。
実施例２の後進時運転支援装置にあっては、実施例１の(1),(2),(3),(5)の効果に加え、下記の効果を得ることができる。
【００５９】
(6) 旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置１３を前記モニタ３の画面上で任意の位置に設定する予測位置設定手段を設け、前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角θの大きさに応じ、前記予測位置１３が前記モニタ３の画面上で設定された位置に不動表示され続けるように、前記仮想カメラ８を車両の旋回方向に自転させると共に仮想カメラ位置を仮想値面スクリーン７に沿って移動させ、自転と共に移動する仮想カメラ８を用いた視点変換により、ハンドル操舵角θによらず設定された前記予測位置１３を不動表示とする車両後方映像を前記モニタ３に映し出すモニタ画像データを生成するため、モニタ画面３１上での予測位置設定自由度により、各使用者の利便性要求に応えて最適位置に予測位置１３を設定することができる。
【実施例３】
【００６０】
実施例３は、実施例１，２の予測位置表示に対し、予想車幅線と距離目安線とを重畳表示するようにした例である。
【００６１】
まず、構成を説明する。
図８は実施例３の後進時運転支援装置において旋回後進時における旋回後進途中でのモニタ画像を示す図である。
【００６２】
実施例３の後進時運転支援装置では、図８に示すように、モニタ３に、旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置１３の固定表示または設定表示に対し、予想車幅線１４と距離目安線１５とが重畳表示される。
このモニタ表示において、予測位置１３は不透明表示とされ、重畳表示する予想車幅線１４と距離目安線１５は半透明表示とされる。なお、他の構成は、実施例１，２と同様であるので、図示並びに説明を省略する。
【００６３】
次に、作用を説明すると、図８は予想車幅線１４と距離目安線１５を同時に重畳表示した例である。また、予想車幅線１４と距離目安線１５は、障害物等の視認性を向上させるために半透明の重畳表示にしている。なお、予想車幅線１４と距離目安線１５は、必要に応じて表示することも可能である。
【００６４】
次に、効果を説明する。
実施例３の後進時運転支援装置にあっては、実施例１と実施例２の効果に加え、下記に列挙する効果を得ることができる。
【００６５】
(7) 前記モニタ３は、旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置１３の固定表示または設定表示に対し、予想車幅線１４と距離目安線１５とを重畳表示するため、旋回後進時、自車が通過すると予想される予想軌跡と、目標とする後進位置までの距離をモニタ画面３１により認識することができる。
【００６６】
(8) 前記モニタ３は、旋回後進時、予測位置１３を不透明表示とし、重畳表示する予想車幅線１４と距離目安線１５を半透明表示とするため、予想車幅線１４と距離目安線１５を表示しているにもかかわらず、車両後方に存在する障害物等の視認性を向上させることができる。
【実施例４】
【００６７】
実施例４は、実施例１〜３で用いた仮想平面スクリーンと仮想平面ＣＣＤに代え、仮想立体スクリーンと仮想立体ＣＣＤを用いた例である。
【００６８】
まず、構成を説明する。
図９は実施例４の後進時運転支援装置においてハンドル操舵角に応じて位置／姿勢が制御される仮想カメラと仮想立体スクリーンと仮想立体ＣＣＤを使った視点変換手法の一例を説明する模式図である。
【００６９】
実施例４の後進時運転支援装置では、前記仮想投影面として、地面に沿って設定した近景用スクリーン71（近景用投影面）と、近景用スクリーン71から上向き傾斜角度αにより連接して設定される遠景用スクリーン72（遠景用投影面）を有する仮想立体スクリーン７’（仮想立体投影面）が設定される（仮想立体投影面設定手段）。
【００７０】
前記仮想カメラ８の仮想撮像面として、仮想カメラ８の背面側から前面側に移した状態において、近景用スクリーン71に平行に設定される近景用ＣＣＤ91（近景用撮像面）と、近景用ＣＣＤ91から上向き傾斜角度βにより連接して設定される遠景用ＣＣＤ92（遠景用撮像面）を有する仮想立体ＣＣＤ９’（仮想立体撮像面）が設定される（仮想立体撮像面設定手段）。なお、傾斜角度αと傾斜角度βを、α＝βとした場合、仮想立体スクリーン７’と仮想立体ＣＣＤ９’とは相似形が保たれる。
【００７１】
実施例４におけるモニタ画像データ生成手段としての前記座標変換処理部２２では、車両旋回時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させると共に、自転する仮想カメラ８の仮想立体ＣＣＤ９’と仮想立体スクリーン７’の相対的な位置関係を維持し、自転する仮想カメラ８と仮想立体ＣＣＤ９’と仮想立体スクリーン７’を用いた視点変換により、近景の俯瞰映像と遠景のパース映像をシームレスに接合する映像を前記モニタ３に映し出すモニタ画像データが生成される。
なお、他の構成は、実施例１，２と同様であるので、図示並びに説明を省略する。
【００７２】
次に、作用を説明する。
視点変換技術について、本出願人は、先に仮想立体スクリーン／仮想立体ＣＣＤによる手法を提案している。本発明はその手法にも応用することが出来る。その概念を示したのが図９である。この図９では、仮想カメラ８と仮想立体ＣＣＤ９’が自転するとともに、連携して仮想立体スクリーン７’が移動／自転している。これは、仮想カメラ８と仮想立体スクリーン７’の相対的な位置関係を維持する条件を与えた場合のモデル例である。当然ではあるが、この連携条件は必須ではない。本手法は、仮想カメラ８のみが回転し仮想立体スクリーン７’は動かないモデル、或いは、仮想立体スクリーン７’と仮想立体ＣＣＤ９’を独立に制御するモデルでも処理できる。
【００７３】
したがって、旋回後進時、近景の俯瞰映像と遠景のパース映像をシームレスに接合する映像をモニタ画面３１に表示することにより、近景の俯瞰映像により、自車の近くに存在する障害物等までの距離を定量的に明示できると共に、遠景のパース映像により、自車から離れた遠景の景色を表示することができる。しかも、近景の景色と遠景の景色とは、連続性を保った映像となるため、違和感を与えない。
【００７４】
次に、効果を説明する。
実施例４の後進時運転支援装置にあっては、実施例１の(1)〜(4)の効果に加え、下記に列挙する効果を得ることができる。
【００７５】
(9) 前記仮想投影面として、近景用スクリーン71と遠景用スクリーン72を有する仮想立体スクリーン７’を設定する仮想立体スクリーン設定手段と、前記仮想カメラ８の仮想撮像面として、近景用ＣＣＤ91と遠景用ＣＣＤ92を有する仮想立体ＣＣＤ９’を設定する仮想立体ＣＣＤ設定手段と、を設け、前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させ、自転する仮想カメラ８と仮想立体ＣＣＤ９’と仮想立体スクリーン７’を用いた視点変換により、近景の俯瞰映像と遠景のパース映像をシームレスに接合する車両後方映像を前記モニタ３に映し出すモニタ画像データを生成するため、旋回時、予想進路領域がモニタ画面３１に近景の俯瞰映像と遠景のパース映像をシームレスに接合した映像により表示される、つまり、１つのモニタ画面３１上に自車に近い障害物等までの距離が定量的に明示されると共に自車から遠い障害物等の存在も明示されることになり、より高い安全性を確保する旋回時運転支援を達成することができる。
【００７６】
(10) 前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角θの大きさに応じて前記仮想カメラ８を車両の旋回方向に自転させると共に、自転する仮想カメラ８の仮想立体ＣＣＤ９’と仮想立体スクリーン７’の相対的な位置関係を維持するため、仮想立体スクリーン７’を固定とした場合、ハンドル操舵角θが大きな領域でモニタ画面３１の端部映像に歪みが生じるのに対し、ハンドル操舵角θが大きな領域であっても、映像歪みを無くして、モニタ画面３１に近景の俯瞰映像と遠景のパース映像をシームレスに接合した映像を表示することができる。
【００７７】
以上、本発明の運転支援装置を実施例１〜実施例４に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【００７８】
実施例１〜３では、視点変換モデルとして仮想平面スクリーン／仮想平面ＣＣＤを用いた例を示し、実施例４では、視点変換モデルとして２平面による仮想立体スクリーン／仮想立体ＣＣＤを用いた例を示した。しかし、視点変換モデルとしては、これらのモデルに限られるものではなく、複数の平面で構成される、或いは、平面と曲面（円筒面や楕円筒面等）で構成される、或いは、自由曲面で構成される仮想立体スクリーン／仮想立体ＣＣＤといった視点変換モデルも適用することができる。その理由を、以下に説明する。
【００７９】
本発明にて採用した視点変換手法と画像変形処理との違いについて述べる。実施例４で示した仮想立体スクリーン／仮想立体ＣＣＤといった視点変換モデルを考慮しなければ、例えば、図３(a)と図３(b)を見比べれば分かるように、仮想カメラという概念を導入しなくとも、通常の画像変形処理（画面内での回転／平行移動）で同等の結果が得られる。
しかし、通常の画像変形処理では、図９のような複数の平面で構成される、或いは、平面と曲面で構成される、或いは、曲面で構成される仮想立体スクリーン／仮想立体ＣＣＤといった視点変換モデルへの拡張が不可能である。即ち、仮想カメラの自転或いは移動という本発明にて採用した視点変換手法によって、どのような視点変換モデルであっても初めて統一的に扱うことができるのであり、単なる画像の変形処理に比べより一般化した手法といえることによる。
【産業上の利用可能性】
【００８０】
実施例１〜４では、実カメラをリアカメラとし、旋回後進時に運転支援する後進時運転支援装置の例を示したが、実カメラを車両のフロント側やサイド側の映像データを取得するフロントカメラやドアミラーカメラ等とし、旋回前進時に運転支援する前進時運転支援装置としても適用することができる。
【図面の簡単な説明】
【００８１】
【図１】実施例１の後進時運転支援装置（運転支援装置の一例）を示す全体システム図である。
【図２】実施例１の後進時運転支援装置においてハンドル操舵角に応じて位置／姿勢が制御される仮想カメラを使った視点変換手法の一例を説明する模式図である。
【図３】実施例１の後進時運転支援装置において旋回後進時におけるモニタ画像であり、(a)は旋回後進開始時のモニタ画像を示し、(b)は旋回後進途中でのモニタ画像を示す。
【図４】実施例１の後進時運転支援装置においてモニタ画面での予測位置がハンドル操舵角によらず同じ位置とするための仮想カメラの位置の軌跡を示す車両の回転運動モデル図である。
【図５】従来の固定仮想カメラを使った視点変換手法による俯瞰変換のモデルを示す模式図である。
【図６】従来固定仮想カメラを使った視点変換手法を用いた場合の旋回後進時におけるモニタ画像の俯瞰変換表示例を示す図である。
【図７】実施例２の後進時運転支援装置において旋回後進時における旋回後進途中でのモニタ画像を示す図である。
【図８】実施例３の後進時運転支援装置において旋回後進時における旋回後進途中でのモニタ画像を示す図である。
【図９】実施例４の後進時運転支援装置においてハンドル操舵角に応じて位置／姿勢が制御される仮想カメラと仮想立体スクリーンと仮想立体ＣＣＤを使った視点変換手法の一例を説明する模式図である。
【符号の説明】
【００８２】
１ リアカメラ（実カメラ）
２ 画像処理コントローラ
２１ デコーダ間変換部
２２ 座標変換処理部
２３ ＲＯＭ
２４ ＲＡＭ
２５ エンコーダ変換部
３ モニタ
４ ハンドル操舵角センサ（ハンドル操舵角検出手段）
５ シフトレバー位置センサ
６ 仮想カメラ位置調整操作ダイアル
７ 仮想平面スクリーン（仮想投影面）
７’ 仮想立体スクリーン（仮想投影面）
８ 仮想カメラ
９ 仮想平面ＣＣＤ（仮想撮像面）
９’ 仮想立体ＣＣＤ（仮想撮像面）
１０ 操舵系ハンドル
１１ シフトレバー
【特許請求の範囲】
【請求項１】
車両に固定設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
ハンドル操舵角を検出するハンドル操舵角検出手段を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラを用いた視点変換により、前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
【請求項２】
請求項１に記載された運転支援装置において、
前記実カメラは、車両後部位置に設定されたリアカメラであり、
前記モニタ画像データ生成手段は、操舵系ハンドルを右に切っての左旋回後進時、または、操舵系ハンドルを左に切っての右旋回後進時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回後進方向に自転させ、自転する仮想カメラを用いた視点変換により、車両後方映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
【請求項３】
請求項２に記載された運転支援装置において、
前記モニタは、旋回後進時、車両イラストを画面中央上部に表示し、
前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角の大きさに応じ、車両イラストを画面中央上部位置にて回転表示することを特徴とする運転支援装置。
【請求項４】
請求項１乃至請求項３の何れか１項に記載された運転支援装置において、
前記モニタは、旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置を画面中央下部に表示し、
前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角の大きさに応じ、前記予測位置が前記モニタの画面中央下部に常に固定表示され続けるように、前記仮想カメラを車両の旋回方向に自転させると共に仮想カメラ位置を仮想投影面に沿って移動させ、自転と共に移動する仮想カメラを用いた視点変換により、ハンドル操舵角によらず前記予測位置の固定表示を維持する車両後方映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
【請求項５】
請求項１乃至請求項４の何れか１項に記載された運転支援装置において、
前記実カメラにより映し出される被写体側に設定した仮想投影面を、地面に沿った仮想平面スクリーンに設定し、前記仮想カメラの仮想撮像面を、仮想平面スクリーンに平行な仮想撮像平面に設定し、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラを用いた視点変換により、車両後方の俯瞰映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
【請求項６】
請求項１，２，３，５の何れか１項に記載された運転支援装置において、
旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置を前記モニタの画面上で任意の位置に設定する予測位置設定手段を設け、
前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角の大きさに応じ、前記予測位置が前記モニタの画面上で設定された位置に不動表示され続けるように、前記仮想カメラを車両の旋回方向に自転させると共に仮想カメラ位置を仮想投影面に沿って移動させ、自転と共に移動する仮想カメラを用いた視点変換により、ハンドル操舵角によらず設定された前記予測位置を不動表示とする車両後方映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
【請求項７】
請求項１乃至請求項６の何れか１項に記載された運転支援装置において、
前記モニタは、旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置の固定表示または設定表示に対し、予想車幅線と距離目安線とを重畳表示することを特徴とする運転支援装置。
【請求項８】
請求項７に記載された運転支援装置において、
前記モニタは、旋回後進時、予測位置を不透明表示とし、重畳表示する予想車幅線と距離目安線を半透明表示とすることを特徴とする運転支援装置。
【請求項９】
請求項１乃至請求項４の何れか１項に記載された運転支援装置において、
前記仮想投影面として、近景用投影面と遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、近景用撮像面と遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラと仮想立体撮像面と仮想立体投影面を用いた視点変換により、近景の俯瞰映像と遠景のパース映像をシームレスに接合する車両後方映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
【請求項１０】
請求項９に記載された運転支援装置において、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させると共に、自転する仮想カメラの仮想立体撮像面と仮想立体投影面の相対的な位置関係を維持することを特徴とする運転支援装置。
【請求項１】
車両に固定設置した実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データから車室内のモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた運転支援装置において、
ハンドル操舵角を検出するハンドル操舵角検出手段を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラを用いた視点変換により、前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
【請求項２】
請求項１に記載された運転支援装置において、
前記実カメラは、車両後部位置に設定されたリアカメラであり、
前記モニタ画像データ生成手段は、操舵系ハンドルを右に切っての左旋回後進時、または、操舵系ハンドルを左に切っての右旋回後進時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回後進方向に自転させ、自転する仮想カメラを用いた視点変換により、車両後方映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
【請求項３】
請求項２に記載された運転支援装置において、
前記モニタは、旋回後進時、車両イラストを画面中央上部に表示し、
前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角の大きさに応じ、車両イラストを画面中央上部位置にて回転表示することを特徴とする運転支援装置。
【請求項４】
請求項１乃至請求項３の何れか１項に記載された運転支援装置において、
前記モニタは、旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置を画面中央下部に表示し、
前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角の大きさに応じ、前記予測位置が前記モニタの画面中央下部に常に固定表示され続けるように、前記仮想カメラを車両の旋回方向に自転させると共に仮想カメラ位置を仮想投影面に沿って移動させ、自転と共に移動する仮想カメラを用いた視点変換により、ハンドル操舵角によらず前記予測位置の固定表示を維持する車両後方映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
【請求項５】
請求項１乃至請求項４の何れか１項に記載された運転支援装置において、
前記実カメラにより映し出される被写体側に設定した仮想投影面を、地面に沿った仮想平面スクリーンに設定し、前記仮想カメラの仮想撮像面を、仮想平面スクリーンに平行な仮想撮像平面に設定し、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラを用いた視点変換により、車両後方の俯瞰映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
【請求項６】
請求項１，２，３，５の何れか１項に記載された運転支援装置において、
旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置を前記モニタの画面上で任意の位置に設定する予測位置設定手段を設け、
前記モニタ画像データ生成手段は、旋回後進時、中立位置からのハンドル操舵角の大きさに応じ、前記予測位置が前記モニタの画面上で設定された位置に不動表示され続けるように、前記仮想カメラを車両の旋回方向に自転させると共に仮想カメラ位置を仮想投影面に沿って移動させ、自転と共に移動する仮想カメラを用いた視点変換により、ハンドル操舵角によらず設定された前記予測位置を不動表示とする車両後方映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
【請求項７】
請求項１乃至請求項６の何れか１項に記載された運転支援装置において、
前記モニタは、旋回後進時、車両が近い将来に必ず通る位置であろうと予想される予測位置の固定表示または設定表示に対し、予想車幅線と距離目安線とを重畳表示することを特徴とする運転支援装置。
【請求項８】
請求項７に記載された運転支援装置において、
前記モニタは、旋回後進時、予測位置を不透明表示とし、重畳表示する予想車幅線と距離目安線を半透明表示とすることを特徴とする運転支援装置。
【請求項９】
請求項１乃至請求項４の何れか１項に記載された運転支援装置において、
前記仮想投影面として、近景用投影面と遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、近景用撮像面と遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、を設け、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させ、自転する仮想カメラと仮想立体撮像面と仮想立体投影面を用いた視点変換により、近景の俯瞰映像と遠景のパース映像をシームレスに接合する車両後方映像を前記モニタに映し出すモニタ画像データを生成することを特徴とする運転支援装置。
【請求項１０】
請求項９に記載された運転支援装置において、
前記モニタ画像データ生成手段は、車両旋回時、中立位置からのハンドル操舵角の大きさに応じて前記仮想カメラを車両の旋回方向に自転させると共に、自転する仮想カメラの仮想立体撮像面と仮想立体投影面の相対的な位置関係を維持することを特徴とする運転支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−１４８１１４（Ｐ２００８−１４８１１４Ａ）
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願番号】特願２００６−３３４４７５（Ｐ２００６−３３４４７５）
【出願日】平成１８年１２月１２日（２００６．１２．１２）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願日】平成１８年１２月１２日（２００６．１２．１２）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]