車両周辺監視システム
【課題】 車両に搭載した監視カメラの視野外の状況をもモニター表示できる様にする。
【解決手段】 Ｒレンジでは、後方カメラ13で撮影した画像を上空から見た平面画像に変換して得られた鳥瞰画像を一時記憶メモリ23に記憶する。ＣＰＵ25は、ハンドル角信号、車速信号、ヨーレイト信号、超音波センサ信号に基づいて、車両の動き（車両の回転中心位置及び回転角など）を算出し、この車両の動きに基づいて、履歴画像記憶メモリ27から前回の演算タイミングにおいて得られた鳥瞰画像を読み出して回転・移動させ、その結果に対して、今回の演算タイミングにおいて得られた最新の鳥瞰画像をオーバーレイして合成鳥瞰画像を作成し、これを履歴画像記憶メモリ27及び表示用画像メモリ29に記憶する。モニター31は、この表示用画像メモリ29から読み出した過去の履歴を含む合成鳥瞰画像を表示する。Ｄレンジでは、前方カメラ11を撮影用として同様の処理を実行する。
【解決手段】 Ｒレンジでは、後方カメラ13で撮影した画像を上空から見た平面画像に変換して得られた鳥瞰画像を一時記憶メモリ23に記憶する。ＣＰＵ25は、ハンドル角信号、車速信号、ヨーレイト信号、超音波センサ信号に基づいて、車両の動き（車両の回転中心位置及び回転角など）を算出し、この車両の動きに基づいて、履歴画像記憶メモリ27から前回の演算タイミングにおいて得られた鳥瞰画像を読み出して回転・移動させ、その結果に対して、今回の演算タイミングにおいて得られた最新の鳥瞰画像をオーバーレイして合成鳥瞰画像を作成し、これを履歴画像記憶メモリ27及び表示用画像メモリ29に記憶する。モニター31は、この表示用画像メモリ29から読み出した過去の履歴を含む合成鳥瞰画像を表示する。Ｄレンジでは、前方カメラ11を撮影用として同様の処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺監視システムに係り、特に、車両を所望の位置に移動させようとするときの利便性や安全性を向上するための車両周辺監視システムと、このシステムを実現するために有効な車両移動状態検出装置に関するものである。
【背景技術】
【０００２】
従来、後方カメラで車両の後方を撮影し、ダッシュボードに備え付けたモニターに後方カメラにより撮影した画像をそのままリアルタイムに表示することで、バックで駐車しようとするときの利便性を向上する様にした後方監視システムが知られている。
【０００３】
また、特開平１０−２１１８４９号公報に記載の後方監視システムでは、後方カメラで撮影した車両の後方の画像を、上空から見た平面図（鳥瞰画像）に変換し、これをモニターに表示すると共に、このモニターに自車両を表示する様にしている。
【０００４】
この特開平１０−２１１８４９号公報に記載の後方監視システムによれば、自車両と後方の状態とを鳥瞰画像でモニター表示するので、自車両と駐車枠との位置関係が分かり易くなるという効果が発揮される。
【特許文献１】特開平１０−２１１８４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、これら従来技術では、後方カメラの視野外の状況は表示できないので、依然として、バックで駐車枠に入れようとするときの利便性の向上は十分でない。
【０００６】
また、これまでの車両周辺監視システムは、車庫入れ等のバックの場合だけを重視して開発され、実用化されてきているが、最近の車両においては、前方視野を向上させるために、ボンネットの先端が低くなったスタイルのものが多くなっている。このため、狭い場所を前進してすり抜けようとしたり、あるいは車両を駐車場に前進で駐車しようとするときに、特に、右ハンドルの車両では、左前方の状況が十分に把握できず、駐車場の壁面、隣の車両、あるいは電柱の様な道路上の構造物等に接触して車両を傷つけてしまいそうになったり、実際に傷つけてしまうといったことを経験することがある。
【０００７】
さらに、車庫入れの際には、切り返し操作を伴うことがある。その様な場合、従来の監視システムでは、後進しているときはバックモニターを見て後方の障害物や駐車枠の位置を確認できるが、切り返しのために前進するときは、モニターから目を離し、フロントガラスを通して前方を見るといったことを繰り返すことになる。特に、前方に障害物がある様な場合、前述した様に、右ハンドル車の左前コーナー部は視界が悪いため、切り返し操作がやり難い場合があるといった問題が生じる。
【０００８】
そこで、本発明は、切り返し操作によって駐車する様な場合に、進行方向の周辺状況と自車両の位置的関係を、前後の撮影手段だけで死角を極力少なくして表示することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成しようとしてなされた本発明の車両周辺監視システムは、車両の前部に設置された前方撮影手段と、車両の後部に設置された後方撮影手段と、シフトレンジを検出するシフトレンジ検出手段と、前記シフトレンジ検出手段が検出したシフトレンジに基づき、前進時には前記前方撮影手段を使用し、後進時には前記後方撮影手段を使用して車両の周辺の画像を撮影する撮影実行手段と、前記撮影実行手段によって撮影された画像を鳥瞰画像に変換する鳥瞰変換手段と、車両に備えられた表示手段に対して、前記鳥瞰変換手段によって変換された後の鳥瞰画像に基づき、車両との位置関係が分かる様に周辺の画像を表示する表示制御手段とを備えた車両周辺監視システムであって、前記表示制御手段は、前記表示手段に表示された過去の鳥瞰画像を現在までの車両の移動状態に基づいて回転移動又は平行移動させると共に、現在撮影されている画像から変換された鳥瞰画像をオーバーレイする様に前記表示手段に表示する画像合成手段を備えていることを特徴とする。
【００１０】
従って、本発明によれば、シフトレンジ検出手段によって、シフトレンジが後進レンジであることを検出したときは後方撮影手段を使用し、前進レンジであることを検出したときは前方撮影手段を使用する。従って、切り返し操作を行いながら駐車しようといったときには、Ｒレンジにシフトチェンジすると表示手段には後方撮影手段からの画像が、Ｄレンジにシフトチェンジすると表示手段には前方撮影手段からの画像が表示され、視線を大きく変更しなくても、特に、駐車の際の最終的な駐車位置調整をスムーズに実行することが可能になるといった効果が発揮される。
【００１１】
また、本発明の車両周辺監視システムは、車両の移動状態に基づいて、過去の鳥瞰画像を回転移動又は平行移動すると共に、現在の鳥瞰画像をオーバーレイする。この結果、切り返しで前進するときは、表示手段には前方の様子が、前進し始めからの履歴を反映した形で表示手段に表示される。従って、前方の障害物等と自車両との位置関係を的確に判断しながら車両を前進させることができる。この際、車両の左前コーナー部の様に、右ハンドル車では見えにくい領域の状況も正しく伝達することができる。同様に、切り返しで後進するときは、表示手段には後方の様子が、後進し始めからの履歴を反映した形で表示手段に表示される。従って、後方の障害物等と自車両との位置関係を的確に判断しながら車両を後進させることができる。
【発明の効果】
【００１２】
上述の様に、表示手段に的確な周辺状況を表示できる結果として、切り返し操作の最終局面では、一々、視線を表示手段からフロントガラスへと移動させなくても、ハンドル操作することが可能となり、操作性が大幅に向上するという効果が発揮される。
【発明を実施するための最良の形態】
【００１３】
次に、本発明の実施の形態を図面と共に説明する。図１は、本実施の形態の車両周辺監視システム１の概略構成を表すブロック図である。図示の様に、画像入力手段である前方カメラ１１及び後方カメラ１３と、これらのカメラ１１，１３で撮影された画像を鳥瞰画像に変換するための画像処理を実行する鳥瞰変換回路１５，１７と、これら鳥瞰変換回路１５，１７によって変換された後の画像を一時的に記憶する一時記憶メモリ２１，２３と、制御処理の中枢を司るＣＰＵ２５と、このＣＰＵ２５で所定の演算処理を実行した結果としての画像を記憶する履歴画像記憶メモリ２７と、この履歴画像記憶メモリ２７や一時記憶メモリ２１，２３に記憶されている画像を合成して得られる表示用画像を記憶する表示用画像メモリ２９と、表示用画像メモリ２９に記憶されている画像を読み出して表示するモニター３１と、ＣＰＵ２５に対してユーザーのハンドル操作に関する情報を入力するためのハンドル角信号入力回路４１と、同じくＣＰＵ２５に対して車速に関する情報を入力するための車速信号入力回路４３と、車両の旋回状況に関する情報をＣＰＵ２５に入力するためのヨーレイト信号入力回路４５と、車両の移動方向に存在する障害物を検出してその有無や障害物と車両との距離等の情報をＣＰＵ２５に入力するための超音波センサ信号入力回路４７と、シフトポジション信号入力回路４９とを備えている。
【００１４】
なお、鳥瞰変換回路１５，１７、一時記憶メモリ２１，２３、ＣＰＵ２５、履歴画像記憶メモリ２７、表示用画像メモリ２９、ハンドル角信号入力回路４１、車速信号入力回路４３、ヨーレイト信号入力回路４５、超音波センサ信号入力回路４７及びシフトポジション信号入力回路４９は、その全体または一部を一体化して一つのＬＳＩで構成してもよい。さらに、鳥瞰変換回路１５，１７については、専用の画像処理回路を備える代わりに、ＣＰＵ２５に対してカメラ１１，１３で撮影した画像を入力し、これを演算処理によってソフトウェア的に鳥瞰画像に変換するといった手法で実現することもできる。
【００１５】
前方カメラ１１は、図２に示す様に、例えば、車両のフロントグリルの中央辺りに設置され、車両の前方の画像を撮影することができる様になっている。また、後方カメラ１３は、例えば、車両のラッゲージルームの後壁の中央辺りに設置され、車両の後方の画像を撮影することができる様になっている。
【００１６】
ここで、前方カメラ１１及び後方カメラ１３は、それぞれ車両の幅方向に位置をずらして複数個設置しておく様にしても構わない。但し、前方及び／又は後方に複数個のカメラを設置した場合には、本実施の形態のシステムを実現するための画像処理の際に、各カメラ毎に撮影範囲がずれている画像同士を調整して前方の画像及び後方の画像を決定する必要があるので、視野が広くなってより多くの情報が得られる反面、画像処理のための演算処理回路やプログラムが複雑になるといった問題もあり、コスト的な側面等も考慮して実用化する必要がある。
【００１７】
また、前方カメラ１１で撮影した画像は、前方画像用の鳥瞰変換回路１５に入力され、画像処理を施されて前方鳥瞰画像とされて一時記憶メモリ２１に記憶される。撮影開始時には、この前方鳥瞰画像は、さらに、履歴画像メモリ２７内の前方履歴画像記憶領域にも記憶される。この前方履歴画像記憶領域に記憶されている画像は、次の演算タイミングにおいて、ＣＰＵ２５によって読み出され、ハンドル角信号入力回路４１，車速信号入力回路４３，ヨーレイト信号入力回路４５及び超音波センサ信号入力回路４７を介してＣＰＵ２５に入力される各種の情報を用いて回転や移動といった幾何学的な画像処理を施される。この幾何学的な画像処理後の履歴画像には、さらに、この演算タイミングにおいて前方カメラ１１で撮影され、鳥瞰変換回路１５で鳥瞰変換されて一時記憶メモリ２１に上書きされている最新の前方鳥瞰画像をオーバーレイする様にして合成鳥瞰画像とされて、再び、履歴画像記憶メモリ２７内に上書きされる。
【００１８】
同様に、後方カメラ１３で撮影した画像は、後方画像用の鳥瞰変換回路１７に入力され、画像処理を施されて後方鳥瞰画像とされて一時記憶メモリ２３に記憶される。撮影開始時には、この後方鳥瞰画像は、さらに、履歴画像メモリ２７内の後方履歴画像記憶領域にも記憶される。この後方履歴画像記憶領域に記憶されている画像は、次の演算タイミングにおいて、ＣＰＵ２５によって読み出され、ハンドル角信号入力回路４１，車速信号入力回路４３，ヨーレイト信号入力回路４５及び超音波センサ信号入力回路４７を介してＣＰＵ２５に入力される各種の情報を用いて回転や移動といった幾何学的な画像処理を施される。この幾何学的な画像処理後の履歴画像には、さらに、この演算タイミングにおいて後方カメラ１３で撮影され、鳥瞰変換回路１７で鳥瞰変換されて一時記憶メモリ２３に上書きされている最新の後方鳥瞰画像をオーバーレイする様にして合成鳥瞰画像とされて、再び、履歴画像記憶メモリ２７内に上書きされる。
【００１９】
なお、ＣＰＵ２５によって所定の演算処理を施されて最終的にモニター３１に表示すべき画像は、表示用画像メモリ２９に記憶される。モニター３１は、運転席から見易い位置（例えば、ダッシュボードの中央）に配置されており、カーナビゲーション装置のディスプレイを兼用させることもできる。
【００２０】
次に、本実施の形態の車両周辺監視システム１が実行する制御処理の内容を説明する。ここでは、後方カメラ１３によって撮影される車両後方の画像について、本発明の第１，第２の目的を達成するためにどの様な処理が実行され、モニター３１にどの様な画像が表示されるかを説明する。
【００２１】
後方カメラ１３で撮影した画像は、鳥瞰変換回路１７において画像処理されて上空から見た鳥瞰画像に変換される。
【００２２】
鳥瞰変換は、次の様にして実行される。なお、前提条件として、後方カメラ１３はオートフォーカス機能を有する。従って、後方カメラ１３で撮影した画像は、その画像中心に焦点距離が合致したものとなっている。この焦点距離は、オートフォーカス機能に基づいてレンズを原点位置からどれだけ移動させたかという情報に基づいて、距離を表す数値情報として取得することができる。また、後方カメラ１３は、その取り付け高さ及び取り付け角度が予め分かっている。さらに、本実施の形態では、地面は平面であることを計算上の前提条件としている。これらの情報及び条件により、後方カメラ１３で撮影した画像を画素単位に分解したときの車両後端を基準線とする各画素までの距離及び幅方向位置を算出することができる。こうして各画素の鳥瞰変換後の位置座標が算出できたら、この位置座標に従って、各画素を配置し直す。これにより、後方カメラ１３で撮影した画像を、上空から見た平面画像に鳥瞰変換することができる。
【００２３】
ここで、この鳥瞰変換を実行することで、画像的には、画素と画素の間に隙間ができたり、重なったりする場合が想定されるが、バックで車庫入れするときなどにあっては、モニター３１に表示される画像が多少間引きされた様な画像であったとして、鳥瞰変換された画像となっている方が、後方カメラ１３で撮影した生の画像を見ながら車庫入れを実行する場合よりも、操作性がよく、本発明の目的を達成する上では、何ら問題はない。
【００２４】
なお、鳥瞰変換についてより詳しい計算式などを知りたければ、特開平１０−２１１８４９号公報に詳しく説明されているのでこれを参照されたい。
【００２５】
こうして得られた鳥瞰画像は、後方カメラ１３で撮影した生の画像と共に一時記憶メモリ２３に記憶される。一方、ＣＰＵ２５は、ハンドル角信号入力回路４１から入力されるハンドル角信号、車速信号入力回路４３から入力される車速信号、ヨーレイト信号入力回路４５から入力されるヨーレイト信号、及び超音波センサ信号入力回路４７から入力される超音波センサ信号に基づいて、車両の動き（車両の回転中心位置及び回転角）を算出する。
【００２６】
そして、ＣＰＵ２５は、この車両の動きに基づいて、履歴画像記憶メモリ２７から前回の演算タイミングにおいて後方カメラ１３で撮影した画像から得られた鳥瞰画像を読み出して回転・移動させ、その結果に対して、今回の演算タイミングにおいて一時記憶メモリ２３に記憶された最新の鳥瞰画像をオーバーレイして合成画像を得た後、この合成画像を履歴画像記憶メモリ２７に記憶する。なお、車両が後方へ移動することにより、履歴画像記憶メモリ２７から読み出されて回転・移動をされた画像に最新の鳥瞰画像をオーバーレイすることで、後方カメラ１３が現在撮影している範囲よりも広い範囲の画像を形成することができ、後方カメラ１３では撮影することができない車両の側方の画像をも情報として提供可能になる。
【００２７】
この状態を図で説明する。図３に示す様に、カーブしている部分を車両がバックでゆっくりと後退している状態であるとする。すると、従来の技術では、図４（Ａ），（Ｂ）の様に、車両の現在位置から後方カメラ１３で撮影した範囲の鳥瞰画像だけしか表示されない。これに対し、本実施の形態によれば、過去の鳥瞰画像を車両の動きに合わせて回転・移動させたものに、演算時点での現在の鳥瞰画像をオーバーレイして合成鳥瞰画像としたものをモニター３１に表示するので、図３で示した様な走行をしている車両においては、ちょうどカーブの部分を通過しようとしているときは、図４（Ｃ）の様に、後方カメラ１３の死角の部分についても画像表示することができる。
【００２８】
ＣＰＵ２５はまた、この合成画像を表示用画像メモリ２９にも記憶する。すると、モニター３１は、この表示用画像メモリ２９内に記憶されている合成画像を読み出し、これを表示する。
【００２９】
この結果、モニター３１には、現在後方カメラ１３で撮影している範囲に加えて、モニター３１に表示し得る限り、過去の情報をも表示することができる。しかも、この過去の情報に関しては、車両の動きに合わせて回転・移動が施されているので、モニター３１には、まさに、上空から車両の付近を見た状態の画像が、後方カメラ１３の死角の部分も含めて表示されることになる（図４（Ｃ）参照）。
【００３０】
次に、履歴画像を回転・移動させる画像処理のより具体的な内容について説明する。
【００３１】
ＣＰＵ２５は、ハンドル角信号入力回路４１から入力されるハンドル角センサ信号より、自車両の回転半径を算出する。ハンドル角θｈと回転半径ＸＣ（ｍ）は、変換係数Ｋを用いて（数１）より算出することができる。
【００３２】
【数１】
【００３３】
車両の回転角θＣとしては、ヨーレイト信号入力回路４５を介して入力されるヨーレイトセンサ信号を利用することができる。また、車両の回転中心は、後輪車軸上（カメラからの距離ＹＣ（ｍ）上）にあるとすることができる（図５参照）。
【００３４】
次に、回転中心位置、回転角及び直線移動量を用いて、履歴画像記憶メモリ２７内の後方画像記憶領域に記憶されている後方鳥瞰画像を回転・移動させる。
【００３５】
回転変換は、次式の様な基本的な数学式に基づいて行われる。
【００３６】
【数２】
【００３７】
この数２の関係から、得られる移動後の座標に基づいて、履歴画像記憶メモリ２７内の後方画像記憶領域に記憶されている後方鳥瞰画像を回転・移動させる。なお、車両が旋回していない場合には、下記の数３によって移動後の座標を算出することができる。
【００３８】
【数３】
【００３９】
この数３による変換を実行するのは、回転半径ＸＣ＜３０、またはヨーレイトセンサ信号が０のときとしている。なお、直線移動量Ｖは、車速信号と演算インターバルと、車両が前進なのか後進なのかといった移動方向とから算出することができる。車両の移動方向は、シフトレンジが前進なのか後進なのかを判別すればよい。なお、車速信号入力回路４３からの車速信号が極低速（例えば、５ｋｍ／ｈ以下）である場合、通常使用されている車速センサでは、その信頼性が劣るとされている。そこで、本実施の形態では、直線移動量Ｖを、次の様にして画像処理で算出している。
【００４０】
前回の演算時刻Ｔにおける鳥瞰画像中で、最も輝度が高い画素（最高輝度ピクセル）を抽出する。一例として、図６に示す様に、最高輝度ピクセルが画像の中央で抽出されたとする。なお、最高輝度ピクセルは、ピクセル毎の輝度を算出して差分をとることによって容易に抽出することができる。次に、今回の演算時刻Ｔ＋１における鳥瞰画像からも最高輝度ピクセルを抽出する。この時刻Ｔから時刻Ｔ＋１までの間に、車両が直線的に移動することにより、図６に示す様に、画像中の最高輝度ピクセルの画像の後端側エッジからの距離が変化する。この距離の差△Ｙ＝直線移動量Ｖとなる。なお、Ｖの符号は、この場合、（−）となる。また、最高輝度ピクセルは、図７に示す様に、鳥瞰画像内を所定の大きさのいくつかのエリアに分割し、各エリア毎に抽出する様にしておき、これら複数個の最高輝度ピクセル同士の時刻Ｔにおける位置関係と、時刻Ｔ＋１における位置関係とを比較することによって直線移動量Ｖを算出する様にしておくと、算出結果に対する信頼性が高まる。本実施の形態によれば、こうして直線移動量Ｖが画像データから算出できる結果、極低速における車速を容易に算出することができる。
【００４１】
また、この他の方法としては、図８に示す様に、時刻Ｔにおける鳥瞰画像内の各ピクセルの明るさの程度を数値として抽出し、それぞれを各ピクセルの属性としてＣＰＵ２５の内部メモリに記憶する。同様に、時刻Ｔ＋１における鳥瞰画像内の各ピクセルの明るさの程度を数値として抽出し、それぞれを各ピクセルの属性としてＣＰＵ２５の内部メモリに記憶する。そして、明るさの一致するピクセル同士の位置関係を算出することにより、時刻Ｔから時刻Ｔ＋１までの間の車両の直線移動量Ｖを算出することもできる。図示の例では、時刻Ｔにおける鳥瞰画像中の後端側エッジ部分の３列分のピクセルの明るさと、時刻Ｔ＋１における鳥瞰画像中の後端側エッジから距離△Ｙだけ離れた位置から３列分のピクセルの明るさとが一致している。従って、この場合は、距離△Ｙが直線移動量Ｖとして算出される。なお、Ｖの符号は、この場合、（−）となる。
【００４２】
後進中であることが分かっていれば、時刻Ｔにおける鳥瞰画像中の後端側エッジ部分の所定の大きさの画像領域内にあるピクセルの明るさや色彩といった画像的な特徴情報を数値データとして抽出し、時刻Ｔ＋１における鳥瞰画像について、その後端側エッジから直線的に微小距離△ｙだけ離れた位置を後端として所定の大きさの画像領域内にあるピクセルの明るさや色彩といった画像的な特徴情報を抽出し、両者の一致度を判定し、両者が一致していなければ、時刻Ｔ＋１における鳥瞰画像について、その後端側エッジから２△ｙだけ離れた位置を後端とする所定の大きさの画像領域内にあるピクセルから同様の画像的な特徴情報を抽出し、これを時刻Ｔの鳥瞰画像から抽出した特徴情報との一致度を判定し、両者の一致度が所定条件を満たすまで、以下、ｎを３，４，・・・と変化させて同様の演算処理を実行し、所定の一致度が得られたときのｎ△ｙを直線移動量Ｖとするといった演算処理を実行することもできる。なお、この場合は、時刻Ｔ＋２においては、時刻Ｔ＋１において算出した直線移動量Ｖ＝ｎ△ｙとほぼ同じ量の移動になっているとの推定を行い、演算開始条件を選定する様にして演算時間を短縮する様にしておくとなお望ましい。
【００４３】
この実施の形態の制御処理は、図９，図１０のフローチャートに示す様に構成されており、まず、車速信号入力回路４３から車速センサで検出した車速信号を入力し（Ｓ７１０）、この値が１０ｋｍ／ｈ以下か否かを判定する（Ｓ７２０）。車速が１０Ｋｍ／ｈ以下になるまでは、Ｓ４１０，Ｓ４２０の処理が繰り返し実行される。一方、車速が１０Ｋｍ／ｈ以下になると、続いて、シフトレンジがＲレンジか否かを判定する（Ｓ７３０）。
【００４４】
シフトレンジがＲレンジであると判定された場合は（Ｓ７３０：ＹＥＳ）、さらに、ＤレンジからＲレンジに切り替わった直後であるか否かを判定する（Ｓ７４０）。ＲレンジからＤレンジに切り替わった直後であれば（Ｓ７４０：ＹＥＳ）、履歴画像記憶メモリ２７をリセットすると共に（Ｓ７５０）、後方カメラ１３を作動させる（Ｓ７６０）。また、シフトレンジがＲレンジではないと判断された場合は（Ｓ７３０：ＮＯ）、さらに、ＲレンジからＤレンジに切り替わった直後であるか否かを判定する（Ｓ７４５）。ＲレンジからＤレンジに切り替わった直後であれば（Ｓ７４５：ＹＥＳ）、履歴画像記憶メモリ２７をリセットすると共に（Ｓ７５５）、前方カメラ１１を作動させる（Ｓ７６５）。
【００４５】
次に、前方カメラ１１（又は後方カメラ１３）で撮影した画像を入力する（Ｓ７７０）。続いて、ハンドル角信号入力回路４１を介して、ハンドル角センサの検出したハンドル角信号を入力する（Ｓ７８０）。また、ヨーレイト信号入力回路４５を介して、ヨーレイトセンサの検出したヨーレイト信号を入力する（Ｓ７９０）。さらに、超音波センサ信号入力回路４７を介して、超音波センサ信号を入力する（Ｓ８００）。
【００４６】
こうして必要な情報を入力し終えたら、次に、Ｓ７７０で入力した画像を、既に述べた様な変換方法を用いて、鳥瞰画像に変換する（Ｓ８１０）。そして、この結果を、一時記憶メモリ２１（又は一時記憶メモリ２３）に記憶する（Ｓ８２０）。
【００４７】
そして、今回の処理が初回の処理か否かを判定する（Ｓ８３０）。初回の処理であると判定された場合は（Ｓ８３０：ＹＥＳ）、履歴画像記憶メモリ２７をリセットし（Ｓ８４０）、一時記憶メモリ２１（又は一時記憶メモリ２３）に記憶されている鳥瞰画像を履歴画像記憶メモリ２７に転送する（Ｓ８５０）。そして、再びＳ７１０に戻る。
【００４８】
一方、初回ではないと判定された場合は（Ｓ８３０：ＮＯ）、ハンドル角が０°か否かを判定する（Ｓ８６０）。ハンドル角が０°ではないと判定された場合は（Ｓ８６０：ＹＥＳ）、ハンドル角及びヨーレイトから、既に述べた様な演算式等を用いて車両の回転中心と回転角とを算出する（Ｓ８７０）。そして、この算出結果に基づいて、履歴画像記憶メモリ２７に記憶されている鳥瞰画像を回転移動させる（Ｓ８８０）。次に、この回転移動の結果に、一時記憶メモリ２１（又は一時記憶メモリ２３）に記憶されている最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる様にオーバーレイして合成鳥瞰画像を作成する（Ｓ８９０）。そして、この合成鳥瞰画像を履歴画像記憶メモリ２７に上書きして記憶し直す（Ｓ９００）。
【００４９】
次に、モニター３１による表示エリア内の過去画像表示部に該当する部分がカラーフィルタをかけた状態となる様に、Ｓ８９０で作成した合成鳥瞰画像を画像処理する（Ｓ９１０）。そして、この結果を表示用画像記憶メモリ２９に転送する（Ｓ９２０）。最後に、この表示用画像記憶メモリ２９から読み出したフィルタ処理後の合成鳥瞰画像に対して、さらに、車両表示用画像を最前面にオーバーレイした上でモニター３１に表示する（Ｓ９３０）。
【００５０】
一方、ハンドル角が０°でない場合には（Ｓ８６０：ＮＯ）、超音波センサ距離が１．５ｍ以下か否かを判定する（Ｓ９４０）。超音波センサ距離が１．５ｍ以下であると判定された場合は（Ｓ９４０：ＹＥＳ）、超音波センサ距離の変化状態に基づいて相対速度を算出する（Ｓ９５０）。一方、超音波センサ距離が１．５ｍ以下ではないと判定された場合は（Ｓ９４０：ＮＯ）、履歴画像記憶メモリ２７に記憶している過去画像と、一時記憶メモリ２１に記憶している現在画像とを用いて、前述した様な明るさや色彩といった画素の画像的な特徴情報を利用した所定の演算処理によって車両の動きを表す動きベクトルを算出する（Ｓ９６０）。次に、この動きベクトル又は相対速度に基づいて、画像の移動量を決定する（Ｓ９７０）。そして、数３で示した様に画像の平行移動を実行し（Ｓ９８０）、以下、この平行移動の結果に、一時記憶メモリ２１に記憶されている最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる様にオーバーレイして合成鳥瞰画像を作成する（Ｓ９９０）。そして、以下、回転移動を行った後と同様の処理を実行して、最終的にモニター３１に合成鳥瞰画像を表示する（Ｓ９００〜Ｓ９３０）。
【００５１】
以上の様な処理を実行した結果、モニター３１には、シフトレンジがＲレンジのときには図１１（Ａ）に示すような画像が表示される。図示の様に、Ｒレンジとときは、モニター３１内には、画面の上端中心を車両の前端中心とする様に、車両図形５０が表示される。また、この車両図形５０の後方及び側方には、合成鳥瞰画像６０が表示される。この合成鳥瞰画像６０は、さらに、現在、後方カメラ１３で撮影している画像を鳥瞰変換した画像を表示しているリアル画像表示部６１と、このリアル画像表示部６１以外の過去画像表示部６３とになっている。そして、過去画像表示部６３の部分については、例えば、グレーフィルターをかけた状態とし、リアル画像表示部６１には、フルカラー表示による鳥瞰画像が表示されることになる。一方、シフトレンジがＤレンジのときは、図１１（Ｂ）に示す様に、モニター３１内には、画面の下端中心を車両の後端中心とする様に、車両図形５０が表示される。また、この車両図形５０の前方及び側方には、合成鳥瞰画像６０が表示される。この合成鳥瞰画像６０は、さらに、現在、前方カメラ１１で撮影している画像を鳥瞰変換した画像を表示しているリアル画像表示部６１と、このリアル画像表示部６１以外の過去画像表示部６３とになっている。そして、過去画像表示部６３の部分については、例えば、グレーフィルターをかけた状態とし、リアル画像表示部６１には、フルカラー表示による鳥瞰画像が表示されることになる。
【００５２】
この結果、本実施の形態によれば、駐車の際に、切り返し操作を行って後進から前進に切り替えると、モニター３１には前方カメラ１１により撮影された画像に基づいて作成された合成鳥瞰画像が自車両との位置関係が分かる様に表示される。また、後進の場合は、後方カメラ１３によって撮影された画像から生成された合成鳥瞰画像がモニター３１に表示される。従って、切り返し操作を繰り返しながら駐車しようとする場合に、ドライバーは、モニター３１によって進行方向を中心とした車両の周辺の状況を確認することができる。しかも、このモニター３１には、前進時には前進中の過去の履歴を含めた合成鳥瞰画像が表示され、更新時には後進中の過去の履歴を含めた合成鳥瞰画像が表示されるので、ドライバーは、切り返し操作の、特に最終局面では、モニター３１を見ながら思った位置に正確に車両を駐車することができるという効果が発揮される。
【００５３】
また、実際に前方カメラ１１又は後方カメラ１３で撮影している現在の画像と、過去の画像とが容易に区別でき、ドライバーは、モニター３１に表示された鳥瞰画像の内、他の車両が侵入している様なおそれがある部分がどこの範囲かを理解することができる。この結果、他の車両が侵入しているか否かなどの状況変化の目視確認を怠らない様に、ドライバーの注意を促すことができる。
【００５４】
以上、本発明の実施の形態について説明したが、本発明はこの実施の形態に限られるものではなく、その要旨を逸脱しない範囲内においてさらに種々の形態を採用することができることはもちろんである。
【００５５】
例えば、図１２に示す様に、単純に境界線８１を重ね書きして表示する様にしてもよい。また、図１３に点線で示した様に、過去画像表示部については、画像の階調を落とす様にしてもよい。さらに、図１４に示す様に、過去画像表示部には、注意マーク８３やコメント８５を重ね書きする様にしてもよい。これらの変形は、前方カメラ１１により撮影した画像についてもいえることである。なお、フィルター処理、境界線表示、階調処理、注意マークの重ね書きは、これらを組み合わせる様にしてもよいし、さらに、モニター３１に過去画像が表示されているときには、音声で、「側方については、目視確認をお願いします。」といったメッセージを一定間隔で流す様にしてもよい。
【００５６】
また、図１５に示す様に、境界線などを表示することなく、単純に合成鳥瞰画像をモニター表示する様にしたものも、本発明の目的を達成したものであり、かかる簡単な構成とすることもできる。
【図面の簡単な説明】
【００５７】
【図１】実施の形態としての車両周辺監視システムの構成を示すブロック図である。
【図２】実施の形態としての車両周辺監視システムのカメラ等の配置例を示すブロック図である。
【図３】実施の形態におけるモニター表示内容を説明するための前提条件を示す説明図である。
【図４】図３に示した様な走行状態のときに、実施の形態においてモニター表示する内容を、従来技術による場合と比較して示した説明図である。
【図５】実施の形態において鳥瞰画像の回転移動を行う場合の回転中心などの決定の仕方を示す説明図である。
【図６】実施の形態において鳥瞰画像から車両の移動量を算出する方法を示す説明図である。
【図７】実施の形態において鳥瞰画像から車両の移動量を算出する他の方法を示す説明図である。
【図８】実施の形態において鳥瞰画像から車両の移動量を算出するさらに他の方法を示す説明図である。
【図９】実施の形態においてソフトウェア的に実行する制御処理の内容を示すフローチャートである。
【図１０】実施の形態においてソフトウェア的に実行する制御処理の内容を示すフローチャートである。
【図１１】実施の形態におけるモニター表示状況を示す説明図である。
【図１２】本発明の目的を達成する上で実施可能なその他の例でのモニター表示の内容を示す説明図である。
【図１３】本発明の目的を達成する上で実施可能なその他の例でのモニター表示の内容を示す説明図である。
【図１４】本発明の目的を達成する上で実施可能なその他の例でのモニター表示の内容を示す説明図である。
【図１５】本発明の目的を達成する上で実施可能なその他の例でのモニター表示の内容を示す説明図である。
【符号の説明】
【００５８】
１・・・車両周辺監視システム
１１・・・前方カメラ
１３・・・後方カメラ
１５・・・鳥瞰変換回路
１７・・・鳥瞰変換回路
２１・・・一時記憶メモリ
２３・・・一時記憶メモリ
２５・・・ＣＰＵ
２７・・・履歴画像記憶メモリ
２９・・・表示用画像メモリ
３１・・・モニター
４１・・・ハンドル角信号入力回路
４３・・・車速信号入力回路
４５・・・ヨーレイト信号入力回路
４７・・・超音波センサ信号入力回路
４９・・・シフトポジション信号入力回路
５０・・・車両図形
６０・・・合成鳥瞰画像
６１・・・リアル画像表示部
６３・・・過去画像表示部
８１・・・境界線
８３・・・注意マーク
８５・・・コメント
【技術分野】
【０００１】
本発明は、車両周辺監視システムに係り、特に、車両を所望の位置に移動させようとするときの利便性や安全性を向上するための車両周辺監視システムと、このシステムを実現するために有効な車両移動状態検出装置に関するものである。
【背景技術】
【０００２】
従来、後方カメラで車両の後方を撮影し、ダッシュボードに備え付けたモニターに後方カメラにより撮影した画像をそのままリアルタイムに表示することで、バックで駐車しようとするときの利便性を向上する様にした後方監視システムが知られている。
【０００３】
また、特開平１０−２１１８４９号公報に記載の後方監視システムでは、後方カメラで撮影した車両の後方の画像を、上空から見た平面図（鳥瞰画像）に変換し、これをモニターに表示すると共に、このモニターに自車両を表示する様にしている。
【０００４】
この特開平１０−２１１８４９号公報に記載の後方監視システムによれば、自車両と後方の状態とを鳥瞰画像でモニター表示するので、自車両と駐車枠との位置関係が分かり易くなるという効果が発揮される。
【特許文献１】特開平１０−２１１８４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、これら従来技術では、後方カメラの視野外の状況は表示できないので、依然として、バックで駐車枠に入れようとするときの利便性の向上は十分でない。
【０００６】
また、これまでの車両周辺監視システムは、車庫入れ等のバックの場合だけを重視して開発され、実用化されてきているが、最近の車両においては、前方視野を向上させるために、ボンネットの先端が低くなったスタイルのものが多くなっている。このため、狭い場所を前進してすり抜けようとしたり、あるいは車両を駐車場に前進で駐車しようとするときに、特に、右ハンドルの車両では、左前方の状況が十分に把握できず、駐車場の壁面、隣の車両、あるいは電柱の様な道路上の構造物等に接触して車両を傷つけてしまいそうになったり、実際に傷つけてしまうといったことを経験することがある。
【０００７】
さらに、車庫入れの際には、切り返し操作を伴うことがある。その様な場合、従来の監視システムでは、後進しているときはバックモニターを見て後方の障害物や駐車枠の位置を確認できるが、切り返しのために前進するときは、モニターから目を離し、フロントガラスを通して前方を見るといったことを繰り返すことになる。特に、前方に障害物がある様な場合、前述した様に、右ハンドル車の左前コーナー部は視界が悪いため、切り返し操作がやり難い場合があるといった問題が生じる。
【０００８】
そこで、本発明は、切り返し操作によって駐車する様な場合に、進行方向の周辺状況と自車両の位置的関係を、前後の撮影手段だけで死角を極力少なくして表示することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成しようとしてなされた本発明の車両周辺監視システムは、車両の前部に設置された前方撮影手段と、車両の後部に設置された後方撮影手段と、シフトレンジを検出するシフトレンジ検出手段と、前記シフトレンジ検出手段が検出したシフトレンジに基づき、前進時には前記前方撮影手段を使用し、後進時には前記後方撮影手段を使用して車両の周辺の画像を撮影する撮影実行手段と、前記撮影実行手段によって撮影された画像を鳥瞰画像に変換する鳥瞰変換手段と、車両に備えられた表示手段に対して、前記鳥瞰変換手段によって変換された後の鳥瞰画像に基づき、車両との位置関係が分かる様に周辺の画像を表示する表示制御手段とを備えた車両周辺監視システムであって、前記表示制御手段は、前記表示手段に表示された過去の鳥瞰画像を現在までの車両の移動状態に基づいて回転移動又は平行移動させると共に、現在撮影されている画像から変換された鳥瞰画像をオーバーレイする様に前記表示手段に表示する画像合成手段を備えていることを特徴とする。
【００１０】
従って、本発明によれば、シフトレンジ検出手段によって、シフトレンジが後進レンジであることを検出したときは後方撮影手段を使用し、前進レンジであることを検出したときは前方撮影手段を使用する。従って、切り返し操作を行いながら駐車しようといったときには、Ｒレンジにシフトチェンジすると表示手段には後方撮影手段からの画像が、Ｄレンジにシフトチェンジすると表示手段には前方撮影手段からの画像が表示され、視線を大きく変更しなくても、特に、駐車の際の最終的な駐車位置調整をスムーズに実行することが可能になるといった効果が発揮される。
【００１１】
また、本発明の車両周辺監視システムは、車両の移動状態に基づいて、過去の鳥瞰画像を回転移動又は平行移動すると共に、現在の鳥瞰画像をオーバーレイする。この結果、切り返しで前進するときは、表示手段には前方の様子が、前進し始めからの履歴を反映した形で表示手段に表示される。従って、前方の障害物等と自車両との位置関係を的確に判断しながら車両を前進させることができる。この際、車両の左前コーナー部の様に、右ハンドル車では見えにくい領域の状況も正しく伝達することができる。同様に、切り返しで後進するときは、表示手段には後方の様子が、後進し始めからの履歴を反映した形で表示手段に表示される。従って、後方の障害物等と自車両との位置関係を的確に判断しながら車両を後進させることができる。
【発明の効果】
【００１２】
上述の様に、表示手段に的確な周辺状況を表示できる結果として、切り返し操作の最終局面では、一々、視線を表示手段からフロントガラスへと移動させなくても、ハンドル操作することが可能となり、操作性が大幅に向上するという効果が発揮される。
【発明を実施するための最良の形態】
【００１３】
次に、本発明の実施の形態を図面と共に説明する。図１は、本実施の形態の車両周辺監視システム１の概略構成を表すブロック図である。図示の様に、画像入力手段である前方カメラ１１及び後方カメラ１３と、これらのカメラ１１，１３で撮影された画像を鳥瞰画像に変換するための画像処理を実行する鳥瞰変換回路１５，１７と、これら鳥瞰変換回路１５，１７によって変換された後の画像を一時的に記憶する一時記憶メモリ２１，２３と、制御処理の中枢を司るＣＰＵ２５と、このＣＰＵ２５で所定の演算処理を実行した結果としての画像を記憶する履歴画像記憶メモリ２７と、この履歴画像記憶メモリ２７や一時記憶メモリ２１，２３に記憶されている画像を合成して得られる表示用画像を記憶する表示用画像メモリ２９と、表示用画像メモリ２９に記憶されている画像を読み出して表示するモニター３１と、ＣＰＵ２５に対してユーザーのハンドル操作に関する情報を入力するためのハンドル角信号入力回路４１と、同じくＣＰＵ２５に対して車速に関する情報を入力するための車速信号入力回路４３と、車両の旋回状況に関する情報をＣＰＵ２５に入力するためのヨーレイト信号入力回路４５と、車両の移動方向に存在する障害物を検出してその有無や障害物と車両との距離等の情報をＣＰＵ２５に入力するための超音波センサ信号入力回路４７と、シフトポジション信号入力回路４９とを備えている。
【００１４】
なお、鳥瞰変換回路１５，１７、一時記憶メモリ２１，２３、ＣＰＵ２５、履歴画像記憶メモリ２７、表示用画像メモリ２９、ハンドル角信号入力回路４１、車速信号入力回路４３、ヨーレイト信号入力回路４５、超音波センサ信号入力回路４７及びシフトポジション信号入力回路４９は、その全体または一部を一体化して一つのＬＳＩで構成してもよい。さらに、鳥瞰変換回路１５，１７については、専用の画像処理回路を備える代わりに、ＣＰＵ２５に対してカメラ１１，１３で撮影した画像を入力し、これを演算処理によってソフトウェア的に鳥瞰画像に変換するといった手法で実現することもできる。
【００１５】
前方カメラ１１は、図２に示す様に、例えば、車両のフロントグリルの中央辺りに設置され、車両の前方の画像を撮影することができる様になっている。また、後方カメラ１３は、例えば、車両のラッゲージルームの後壁の中央辺りに設置され、車両の後方の画像を撮影することができる様になっている。
【００１６】
ここで、前方カメラ１１及び後方カメラ１３は、それぞれ車両の幅方向に位置をずらして複数個設置しておく様にしても構わない。但し、前方及び／又は後方に複数個のカメラを設置した場合には、本実施の形態のシステムを実現するための画像処理の際に、各カメラ毎に撮影範囲がずれている画像同士を調整して前方の画像及び後方の画像を決定する必要があるので、視野が広くなってより多くの情報が得られる反面、画像処理のための演算処理回路やプログラムが複雑になるといった問題もあり、コスト的な側面等も考慮して実用化する必要がある。
【００１７】
また、前方カメラ１１で撮影した画像は、前方画像用の鳥瞰変換回路１５に入力され、画像処理を施されて前方鳥瞰画像とされて一時記憶メモリ２１に記憶される。撮影開始時には、この前方鳥瞰画像は、さらに、履歴画像メモリ２７内の前方履歴画像記憶領域にも記憶される。この前方履歴画像記憶領域に記憶されている画像は、次の演算タイミングにおいて、ＣＰＵ２５によって読み出され、ハンドル角信号入力回路４１，車速信号入力回路４３，ヨーレイト信号入力回路４５及び超音波センサ信号入力回路４７を介してＣＰＵ２５に入力される各種の情報を用いて回転や移動といった幾何学的な画像処理を施される。この幾何学的な画像処理後の履歴画像には、さらに、この演算タイミングにおいて前方カメラ１１で撮影され、鳥瞰変換回路１５で鳥瞰変換されて一時記憶メモリ２１に上書きされている最新の前方鳥瞰画像をオーバーレイする様にして合成鳥瞰画像とされて、再び、履歴画像記憶メモリ２７内に上書きされる。
【００１８】
同様に、後方カメラ１３で撮影した画像は、後方画像用の鳥瞰変換回路１７に入力され、画像処理を施されて後方鳥瞰画像とされて一時記憶メモリ２３に記憶される。撮影開始時には、この後方鳥瞰画像は、さらに、履歴画像メモリ２７内の後方履歴画像記憶領域にも記憶される。この後方履歴画像記憶領域に記憶されている画像は、次の演算タイミングにおいて、ＣＰＵ２５によって読み出され、ハンドル角信号入力回路４１，車速信号入力回路４３，ヨーレイト信号入力回路４５及び超音波センサ信号入力回路４７を介してＣＰＵ２５に入力される各種の情報を用いて回転や移動といった幾何学的な画像処理を施される。この幾何学的な画像処理後の履歴画像には、さらに、この演算タイミングにおいて後方カメラ１３で撮影され、鳥瞰変換回路１７で鳥瞰変換されて一時記憶メモリ２３に上書きされている最新の後方鳥瞰画像をオーバーレイする様にして合成鳥瞰画像とされて、再び、履歴画像記憶メモリ２７内に上書きされる。
【００１９】
なお、ＣＰＵ２５によって所定の演算処理を施されて最終的にモニター３１に表示すべき画像は、表示用画像メモリ２９に記憶される。モニター３１は、運転席から見易い位置（例えば、ダッシュボードの中央）に配置されており、カーナビゲーション装置のディスプレイを兼用させることもできる。
【００２０】
次に、本実施の形態の車両周辺監視システム１が実行する制御処理の内容を説明する。ここでは、後方カメラ１３によって撮影される車両後方の画像について、本発明の第１，第２の目的を達成するためにどの様な処理が実行され、モニター３１にどの様な画像が表示されるかを説明する。
【００２１】
後方カメラ１３で撮影した画像は、鳥瞰変換回路１７において画像処理されて上空から見た鳥瞰画像に変換される。
【００２２】
鳥瞰変換は、次の様にして実行される。なお、前提条件として、後方カメラ１３はオートフォーカス機能を有する。従って、後方カメラ１３で撮影した画像は、その画像中心に焦点距離が合致したものとなっている。この焦点距離は、オートフォーカス機能に基づいてレンズを原点位置からどれだけ移動させたかという情報に基づいて、距離を表す数値情報として取得することができる。また、後方カメラ１３は、その取り付け高さ及び取り付け角度が予め分かっている。さらに、本実施の形態では、地面は平面であることを計算上の前提条件としている。これらの情報及び条件により、後方カメラ１３で撮影した画像を画素単位に分解したときの車両後端を基準線とする各画素までの距離及び幅方向位置を算出することができる。こうして各画素の鳥瞰変換後の位置座標が算出できたら、この位置座標に従って、各画素を配置し直す。これにより、後方カメラ１３で撮影した画像を、上空から見た平面画像に鳥瞰変換することができる。
【００２３】
ここで、この鳥瞰変換を実行することで、画像的には、画素と画素の間に隙間ができたり、重なったりする場合が想定されるが、バックで車庫入れするときなどにあっては、モニター３１に表示される画像が多少間引きされた様な画像であったとして、鳥瞰変換された画像となっている方が、後方カメラ１３で撮影した生の画像を見ながら車庫入れを実行する場合よりも、操作性がよく、本発明の目的を達成する上では、何ら問題はない。
【００２４】
なお、鳥瞰変換についてより詳しい計算式などを知りたければ、特開平１０−２１１８４９号公報に詳しく説明されているのでこれを参照されたい。
【００２５】
こうして得られた鳥瞰画像は、後方カメラ１３で撮影した生の画像と共に一時記憶メモリ２３に記憶される。一方、ＣＰＵ２５は、ハンドル角信号入力回路４１から入力されるハンドル角信号、車速信号入力回路４３から入力される車速信号、ヨーレイト信号入力回路４５から入力されるヨーレイト信号、及び超音波センサ信号入力回路４７から入力される超音波センサ信号に基づいて、車両の動き（車両の回転中心位置及び回転角）を算出する。
【００２６】
そして、ＣＰＵ２５は、この車両の動きに基づいて、履歴画像記憶メモリ２７から前回の演算タイミングにおいて後方カメラ１３で撮影した画像から得られた鳥瞰画像を読み出して回転・移動させ、その結果に対して、今回の演算タイミングにおいて一時記憶メモリ２３に記憶された最新の鳥瞰画像をオーバーレイして合成画像を得た後、この合成画像を履歴画像記憶メモリ２７に記憶する。なお、車両が後方へ移動することにより、履歴画像記憶メモリ２７から読み出されて回転・移動をされた画像に最新の鳥瞰画像をオーバーレイすることで、後方カメラ１３が現在撮影している範囲よりも広い範囲の画像を形成することができ、後方カメラ１３では撮影することができない車両の側方の画像をも情報として提供可能になる。
【００２７】
この状態を図で説明する。図３に示す様に、カーブしている部分を車両がバックでゆっくりと後退している状態であるとする。すると、従来の技術では、図４（Ａ），（Ｂ）の様に、車両の現在位置から後方カメラ１３で撮影した範囲の鳥瞰画像だけしか表示されない。これに対し、本実施の形態によれば、過去の鳥瞰画像を車両の動きに合わせて回転・移動させたものに、演算時点での現在の鳥瞰画像をオーバーレイして合成鳥瞰画像としたものをモニター３１に表示するので、図３で示した様な走行をしている車両においては、ちょうどカーブの部分を通過しようとしているときは、図４（Ｃ）の様に、後方カメラ１３の死角の部分についても画像表示することができる。
【００２８】
ＣＰＵ２５はまた、この合成画像を表示用画像メモリ２９にも記憶する。すると、モニター３１は、この表示用画像メモリ２９内に記憶されている合成画像を読み出し、これを表示する。
【００２９】
この結果、モニター３１には、現在後方カメラ１３で撮影している範囲に加えて、モニター３１に表示し得る限り、過去の情報をも表示することができる。しかも、この過去の情報に関しては、車両の動きに合わせて回転・移動が施されているので、モニター３１には、まさに、上空から車両の付近を見た状態の画像が、後方カメラ１３の死角の部分も含めて表示されることになる（図４（Ｃ）参照）。
【００３０】
次に、履歴画像を回転・移動させる画像処理のより具体的な内容について説明する。
【００３１】
ＣＰＵ２５は、ハンドル角信号入力回路４１から入力されるハンドル角センサ信号より、自車両の回転半径を算出する。ハンドル角θｈと回転半径ＸＣ（ｍ）は、変換係数Ｋを用いて（数１）より算出することができる。
【００３２】
【数１】
【００３３】
車両の回転角θＣとしては、ヨーレイト信号入力回路４５を介して入力されるヨーレイトセンサ信号を利用することができる。また、車両の回転中心は、後輪車軸上（カメラからの距離ＹＣ（ｍ）上）にあるとすることができる（図５参照）。
【００３４】
次に、回転中心位置、回転角及び直線移動量を用いて、履歴画像記憶メモリ２７内の後方画像記憶領域に記憶されている後方鳥瞰画像を回転・移動させる。
【００３５】
回転変換は、次式の様な基本的な数学式に基づいて行われる。
【００３６】
【数２】
【００３７】
この数２の関係から、得られる移動後の座標に基づいて、履歴画像記憶メモリ２７内の後方画像記憶領域に記憶されている後方鳥瞰画像を回転・移動させる。なお、車両が旋回していない場合には、下記の数３によって移動後の座標を算出することができる。
【００３８】
【数３】
【００３９】
この数３による変換を実行するのは、回転半径ＸＣ＜３０、またはヨーレイトセンサ信号が０のときとしている。なお、直線移動量Ｖは、車速信号と演算インターバルと、車両が前進なのか後進なのかといった移動方向とから算出することができる。車両の移動方向は、シフトレンジが前進なのか後進なのかを判別すればよい。なお、車速信号入力回路４３からの車速信号が極低速（例えば、５ｋｍ／ｈ以下）である場合、通常使用されている車速センサでは、その信頼性が劣るとされている。そこで、本実施の形態では、直線移動量Ｖを、次の様にして画像処理で算出している。
【００４０】
前回の演算時刻Ｔにおける鳥瞰画像中で、最も輝度が高い画素（最高輝度ピクセル）を抽出する。一例として、図６に示す様に、最高輝度ピクセルが画像の中央で抽出されたとする。なお、最高輝度ピクセルは、ピクセル毎の輝度を算出して差分をとることによって容易に抽出することができる。次に、今回の演算時刻Ｔ＋１における鳥瞰画像からも最高輝度ピクセルを抽出する。この時刻Ｔから時刻Ｔ＋１までの間に、車両が直線的に移動することにより、図６に示す様に、画像中の最高輝度ピクセルの画像の後端側エッジからの距離が変化する。この距離の差△Ｙ＝直線移動量Ｖとなる。なお、Ｖの符号は、この場合、（−）となる。また、最高輝度ピクセルは、図７に示す様に、鳥瞰画像内を所定の大きさのいくつかのエリアに分割し、各エリア毎に抽出する様にしておき、これら複数個の最高輝度ピクセル同士の時刻Ｔにおける位置関係と、時刻Ｔ＋１における位置関係とを比較することによって直線移動量Ｖを算出する様にしておくと、算出結果に対する信頼性が高まる。本実施の形態によれば、こうして直線移動量Ｖが画像データから算出できる結果、極低速における車速を容易に算出することができる。
【００４１】
また、この他の方法としては、図８に示す様に、時刻Ｔにおける鳥瞰画像内の各ピクセルの明るさの程度を数値として抽出し、それぞれを各ピクセルの属性としてＣＰＵ２５の内部メモリに記憶する。同様に、時刻Ｔ＋１における鳥瞰画像内の各ピクセルの明るさの程度を数値として抽出し、それぞれを各ピクセルの属性としてＣＰＵ２５の内部メモリに記憶する。そして、明るさの一致するピクセル同士の位置関係を算出することにより、時刻Ｔから時刻Ｔ＋１までの間の車両の直線移動量Ｖを算出することもできる。図示の例では、時刻Ｔにおける鳥瞰画像中の後端側エッジ部分の３列分のピクセルの明るさと、時刻Ｔ＋１における鳥瞰画像中の後端側エッジから距離△Ｙだけ離れた位置から３列分のピクセルの明るさとが一致している。従って、この場合は、距離△Ｙが直線移動量Ｖとして算出される。なお、Ｖの符号は、この場合、（−）となる。
【００４２】
後進中であることが分かっていれば、時刻Ｔにおける鳥瞰画像中の後端側エッジ部分の所定の大きさの画像領域内にあるピクセルの明るさや色彩といった画像的な特徴情報を数値データとして抽出し、時刻Ｔ＋１における鳥瞰画像について、その後端側エッジから直線的に微小距離△ｙだけ離れた位置を後端として所定の大きさの画像領域内にあるピクセルの明るさや色彩といった画像的な特徴情報を抽出し、両者の一致度を判定し、両者が一致していなければ、時刻Ｔ＋１における鳥瞰画像について、その後端側エッジから２△ｙだけ離れた位置を後端とする所定の大きさの画像領域内にあるピクセルから同様の画像的な特徴情報を抽出し、これを時刻Ｔの鳥瞰画像から抽出した特徴情報との一致度を判定し、両者の一致度が所定条件を満たすまで、以下、ｎを３，４，・・・と変化させて同様の演算処理を実行し、所定の一致度が得られたときのｎ△ｙを直線移動量Ｖとするといった演算処理を実行することもできる。なお、この場合は、時刻Ｔ＋２においては、時刻Ｔ＋１において算出した直線移動量Ｖ＝ｎ△ｙとほぼ同じ量の移動になっているとの推定を行い、演算開始条件を選定する様にして演算時間を短縮する様にしておくとなお望ましい。
【００４３】
この実施の形態の制御処理は、図９，図１０のフローチャートに示す様に構成されており、まず、車速信号入力回路４３から車速センサで検出した車速信号を入力し（Ｓ７１０）、この値が１０ｋｍ／ｈ以下か否かを判定する（Ｓ７２０）。車速が１０Ｋｍ／ｈ以下になるまでは、Ｓ４１０，Ｓ４２０の処理が繰り返し実行される。一方、車速が１０Ｋｍ／ｈ以下になると、続いて、シフトレンジがＲレンジか否かを判定する（Ｓ７３０）。
【００４４】
シフトレンジがＲレンジであると判定された場合は（Ｓ７３０：ＹＥＳ）、さらに、ＤレンジからＲレンジに切り替わった直後であるか否かを判定する（Ｓ７４０）。ＲレンジからＤレンジに切り替わった直後であれば（Ｓ７４０：ＹＥＳ）、履歴画像記憶メモリ２７をリセットすると共に（Ｓ７５０）、後方カメラ１３を作動させる（Ｓ７６０）。また、シフトレンジがＲレンジではないと判断された場合は（Ｓ７３０：ＮＯ）、さらに、ＲレンジからＤレンジに切り替わった直後であるか否かを判定する（Ｓ７４５）。ＲレンジからＤレンジに切り替わった直後であれば（Ｓ７４５：ＹＥＳ）、履歴画像記憶メモリ２７をリセットすると共に（Ｓ７５５）、前方カメラ１１を作動させる（Ｓ７６５）。
【００４５】
次に、前方カメラ１１（又は後方カメラ１３）で撮影した画像を入力する（Ｓ７７０）。続いて、ハンドル角信号入力回路４１を介して、ハンドル角センサの検出したハンドル角信号を入力する（Ｓ７８０）。また、ヨーレイト信号入力回路４５を介して、ヨーレイトセンサの検出したヨーレイト信号を入力する（Ｓ７９０）。さらに、超音波センサ信号入力回路４７を介して、超音波センサ信号を入力する（Ｓ８００）。
【００４６】
こうして必要な情報を入力し終えたら、次に、Ｓ７７０で入力した画像を、既に述べた様な変換方法を用いて、鳥瞰画像に変換する（Ｓ８１０）。そして、この結果を、一時記憶メモリ２１（又は一時記憶メモリ２３）に記憶する（Ｓ８２０）。
【００４７】
そして、今回の処理が初回の処理か否かを判定する（Ｓ８３０）。初回の処理であると判定された場合は（Ｓ８３０：ＹＥＳ）、履歴画像記憶メモリ２７をリセットし（Ｓ８４０）、一時記憶メモリ２１（又は一時記憶メモリ２３）に記憶されている鳥瞰画像を履歴画像記憶メモリ２７に転送する（Ｓ８５０）。そして、再びＳ７１０に戻る。
【００４８】
一方、初回ではないと判定された場合は（Ｓ８３０：ＮＯ）、ハンドル角が０°か否かを判定する（Ｓ８６０）。ハンドル角が０°ではないと判定された場合は（Ｓ８６０：ＹＥＳ）、ハンドル角及びヨーレイトから、既に述べた様な演算式等を用いて車両の回転中心と回転角とを算出する（Ｓ８７０）。そして、この算出結果に基づいて、履歴画像記憶メモリ２７に記憶されている鳥瞰画像を回転移動させる（Ｓ８８０）。次に、この回転移動の結果に、一時記憶メモリ２１（又は一時記憶メモリ２３）に記憶されている最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる様にオーバーレイして合成鳥瞰画像を作成する（Ｓ８９０）。そして、この合成鳥瞰画像を履歴画像記憶メモリ２７に上書きして記憶し直す（Ｓ９００）。
【００４９】
次に、モニター３１による表示エリア内の過去画像表示部に該当する部分がカラーフィルタをかけた状態となる様に、Ｓ８９０で作成した合成鳥瞰画像を画像処理する（Ｓ９１０）。そして、この結果を表示用画像記憶メモリ２９に転送する（Ｓ９２０）。最後に、この表示用画像記憶メモリ２９から読み出したフィルタ処理後の合成鳥瞰画像に対して、さらに、車両表示用画像を最前面にオーバーレイした上でモニター３１に表示する（Ｓ９３０）。
【００５０】
一方、ハンドル角が０°でない場合には（Ｓ８６０：ＮＯ）、超音波センサ距離が１．５ｍ以下か否かを判定する（Ｓ９４０）。超音波センサ距離が１．５ｍ以下であると判定された場合は（Ｓ９４０：ＹＥＳ）、超音波センサ距離の変化状態に基づいて相対速度を算出する（Ｓ９５０）。一方、超音波センサ距離が１．５ｍ以下ではないと判定された場合は（Ｓ９４０：ＮＯ）、履歴画像記憶メモリ２７に記憶している過去画像と、一時記憶メモリ２１に記憶している現在画像とを用いて、前述した様な明るさや色彩といった画素の画像的な特徴情報を利用した所定の演算処理によって車両の動きを表す動きベクトルを算出する（Ｓ９６０）。次に、この動きベクトル又は相対速度に基づいて、画像の移動量を決定する（Ｓ９７０）。そして、数３で示した様に画像の平行移動を実行し（Ｓ９８０）、以下、この平行移動の結果に、一時記憶メモリ２１に記憶されている最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる様にオーバーレイして合成鳥瞰画像を作成する（Ｓ９９０）。そして、以下、回転移動を行った後と同様の処理を実行して、最終的にモニター３１に合成鳥瞰画像を表示する（Ｓ９００〜Ｓ９３０）。
【００５１】
以上の様な処理を実行した結果、モニター３１には、シフトレンジがＲレンジのときには図１１（Ａ）に示すような画像が表示される。図示の様に、Ｒレンジとときは、モニター３１内には、画面の上端中心を車両の前端中心とする様に、車両図形５０が表示される。また、この車両図形５０の後方及び側方には、合成鳥瞰画像６０が表示される。この合成鳥瞰画像６０は、さらに、現在、後方カメラ１３で撮影している画像を鳥瞰変換した画像を表示しているリアル画像表示部６１と、このリアル画像表示部６１以外の過去画像表示部６３とになっている。そして、過去画像表示部６３の部分については、例えば、グレーフィルターをかけた状態とし、リアル画像表示部６１には、フルカラー表示による鳥瞰画像が表示されることになる。一方、シフトレンジがＤレンジのときは、図１１（Ｂ）に示す様に、モニター３１内には、画面の下端中心を車両の後端中心とする様に、車両図形５０が表示される。また、この車両図形５０の前方及び側方には、合成鳥瞰画像６０が表示される。この合成鳥瞰画像６０は、さらに、現在、前方カメラ１１で撮影している画像を鳥瞰変換した画像を表示しているリアル画像表示部６１と、このリアル画像表示部６１以外の過去画像表示部６３とになっている。そして、過去画像表示部６３の部分については、例えば、グレーフィルターをかけた状態とし、リアル画像表示部６１には、フルカラー表示による鳥瞰画像が表示されることになる。
【００５２】
この結果、本実施の形態によれば、駐車の際に、切り返し操作を行って後進から前進に切り替えると、モニター３１には前方カメラ１１により撮影された画像に基づいて作成された合成鳥瞰画像が自車両との位置関係が分かる様に表示される。また、後進の場合は、後方カメラ１３によって撮影された画像から生成された合成鳥瞰画像がモニター３１に表示される。従って、切り返し操作を繰り返しながら駐車しようとする場合に、ドライバーは、モニター３１によって進行方向を中心とした車両の周辺の状況を確認することができる。しかも、このモニター３１には、前進時には前進中の過去の履歴を含めた合成鳥瞰画像が表示され、更新時には後進中の過去の履歴を含めた合成鳥瞰画像が表示されるので、ドライバーは、切り返し操作の、特に最終局面では、モニター３１を見ながら思った位置に正確に車両を駐車することができるという効果が発揮される。
【００５３】
また、実際に前方カメラ１１又は後方カメラ１３で撮影している現在の画像と、過去の画像とが容易に区別でき、ドライバーは、モニター３１に表示された鳥瞰画像の内、他の車両が侵入している様なおそれがある部分がどこの範囲かを理解することができる。この結果、他の車両が侵入しているか否かなどの状況変化の目視確認を怠らない様に、ドライバーの注意を促すことができる。
【００５４】
以上、本発明の実施の形態について説明したが、本発明はこの実施の形態に限られるものではなく、その要旨を逸脱しない範囲内においてさらに種々の形態を採用することができることはもちろんである。
【００５５】
例えば、図１２に示す様に、単純に境界線８１を重ね書きして表示する様にしてもよい。また、図１３に点線で示した様に、過去画像表示部については、画像の階調を落とす様にしてもよい。さらに、図１４に示す様に、過去画像表示部には、注意マーク８３やコメント８５を重ね書きする様にしてもよい。これらの変形は、前方カメラ１１により撮影した画像についてもいえることである。なお、フィルター処理、境界線表示、階調処理、注意マークの重ね書きは、これらを組み合わせる様にしてもよいし、さらに、モニター３１に過去画像が表示されているときには、音声で、「側方については、目視確認をお願いします。」といったメッセージを一定間隔で流す様にしてもよい。
【００５６】
また、図１５に示す様に、境界線などを表示することなく、単純に合成鳥瞰画像をモニター表示する様にしたものも、本発明の目的を達成したものであり、かかる簡単な構成とすることもできる。
【図面の簡単な説明】
【００５７】
【図１】実施の形態としての車両周辺監視システムの構成を示すブロック図である。
【図２】実施の形態としての車両周辺監視システムのカメラ等の配置例を示すブロック図である。
【図３】実施の形態におけるモニター表示内容を説明するための前提条件を示す説明図である。
【図４】図３に示した様な走行状態のときに、実施の形態においてモニター表示する内容を、従来技術による場合と比較して示した説明図である。
【図５】実施の形態において鳥瞰画像の回転移動を行う場合の回転中心などの決定の仕方を示す説明図である。
【図６】実施の形態において鳥瞰画像から車両の移動量を算出する方法を示す説明図である。
【図７】実施の形態において鳥瞰画像から車両の移動量を算出する他の方法を示す説明図である。
【図８】実施の形態において鳥瞰画像から車両の移動量を算出するさらに他の方法を示す説明図である。
【図９】実施の形態においてソフトウェア的に実行する制御処理の内容を示すフローチャートである。
【図１０】実施の形態においてソフトウェア的に実行する制御処理の内容を示すフローチャートである。
【図１１】実施の形態におけるモニター表示状況を示す説明図である。
【図１２】本発明の目的を達成する上で実施可能なその他の例でのモニター表示の内容を示す説明図である。
【図１３】本発明の目的を達成する上で実施可能なその他の例でのモニター表示の内容を示す説明図である。
【図１４】本発明の目的を達成する上で実施可能なその他の例でのモニター表示の内容を示す説明図である。
【図１５】本発明の目的を達成する上で実施可能なその他の例でのモニター表示の内容を示す説明図である。
【符号の説明】
【００５８】
１・・・車両周辺監視システム
１１・・・前方カメラ
１３・・・後方カメラ
１５・・・鳥瞰変換回路
１７・・・鳥瞰変換回路
２１・・・一時記憶メモリ
２３・・・一時記憶メモリ
２５・・・ＣＰＵ
２７・・・履歴画像記憶メモリ
２９・・・表示用画像メモリ
３１・・・モニター
４１・・・ハンドル角信号入力回路
４３・・・車速信号入力回路
４５・・・ヨーレイト信号入力回路
４７・・・超音波センサ信号入力回路
４９・・・シフトポジション信号入力回路
５０・・・車両図形
６０・・・合成鳥瞰画像
６１・・・リアル画像表示部
６３・・・過去画像表示部
８１・・・境界線
８３・・・注意マーク
８５・・・コメント
【特許請求の範囲】
【請求項１】
車両の前部に設置された前方撮影手段と、
車両の後部に設置された後方撮影手段と、
シフトレンジを検出するシフトレンジ検出手段と、
前記シフトレンジ検出手段が検出したシフトレンジに基づき、前進時には前記前方撮影手段を使用し、後進時には前記後方撮影手段を使用して車両の周辺の画像を撮影する撮影実行手段と、
前記撮影実行手段によって撮影された画像を鳥瞰画像に変換する鳥瞰変換手段と、
車両に備えられた表示手段に対して、前記鳥瞰変換手段によって変換された後の鳥瞰画像に基づき、車両との位置関係が分かる様に周辺の画像を表示する表示制御手段と
を備えた車両周辺監視システムであって、
前記表示制御手段は、前記表示手段に表示された過去の鳥瞰画像を現在までの車両の移動状態に基づいて回転移動又は平行移動させると共に、現在撮影されている画像から変換された鳥瞰画像をオーバーレイする様に前記表示手段に表示する画像合成手段を備えていること
を特徴とする車両周辺監視システム。
【請求項１】
車両の前部に設置された前方撮影手段と、
車両の後部に設置された後方撮影手段と、
シフトレンジを検出するシフトレンジ検出手段と、
前記シフトレンジ検出手段が検出したシフトレンジに基づき、前進時には前記前方撮影手段を使用し、後進時には前記後方撮影手段を使用して車両の周辺の画像を撮影する撮影実行手段と、
前記撮影実行手段によって撮影された画像を鳥瞰画像に変換する鳥瞰変換手段と、
車両に備えられた表示手段に対して、前記鳥瞰変換手段によって変換された後の鳥瞰画像に基づき、車両との位置関係が分かる様に周辺の画像を表示する表示制御手段と
を備えた車両周辺監視システムであって、
前記表示制御手段は、前記表示手段に表示された過去の鳥瞰画像を現在までの車両の移動状態に基づいて回転移動又は平行移動させると共に、現在撮影されている画像から変換された鳥瞰画像をオーバーレイする様に前記表示手段に表示する画像合成手段を備えていること
を特徴とする車両周辺監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００７−１０２７９８（Ｐ２００７−１０２７９８Ａ）
【公開日】平成１９年４月１９日（２００７．４．１９）
【国際特許分類】
【出願番号】特願２００６−２７７１４５（Ｐ２００６−２７７１４５）
【出願日】平成１８年１０月１１日（２００６．１０．１１）
【分割の表示】特願２００１−３９４４１９（Ｐ２００１−３９４４１９）の分割
【原出願日】平成１３年１２月２６日（２００１．１２．２６）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【出願人】（０００００４６９５）株式会社日本自動車部品総合研究所 (1,981)
【Ｆターム（参考）】
【公開日】平成１９年４月１９日（２００７．４．１９）
【国際特許分類】
【出願日】平成１８年１０月１１日（２００６．１０．１１）
【分割の表示】特願２００１−３９４４１９（Ｐ２００１−３９４４１９）の分割
【原出願日】平成１３年１２月２６日（２００１．１２．２６）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【出願人】（０００００４６９５）株式会社日本自動車部品総合研究所 (1,981)
【Ｆターム（参考）】
[ Back to top ]