障害物検知システム
【課題】車速センサや舵角センサの検出誤差に起因する障害物の誤検知を排除し、単眼カメラによる立体物検知をより高精度に行う。
【解決手段】車両に搭載されたカメラで撮像された路面を含む第１の画像の上面図と、前記第１の画像とは異なるタイミングで撮像された第２の画像の上面図とを作成し、上記二枚の上面図を路面上の特徴的形状に基づいて対応させ、上記二枚の上面図の重複部分において差異が生じた領域を障害物と認識する。
【解決手段】車両に搭載されたカメラで撮像された路面を含む第１の画像の上面図と、前記第１の画像とは異なるタイミングで撮像された第２の画像の上面図とを作成し、上記二枚の上面図を路面上の特徴的形状に基づいて対応させ、上記二枚の上面図の重複部分において差異が生じた領域を障害物と認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラを用いて車両の走行の妨げとなる障害物を検知する障害物検知システムに関する。
【背景技術】
【０００２】
従来、２台のカメラから得られる画像の視差に基づいて三角測量の原理で立体物を認識するステレオ視の技術が知られている。しかしながら、ステレオカメラは一般的に単眼カメラよりも高価である。そこで、単眼カメラで立体物を認識する技術として、特開平１０−２２２６７９号公報のような手法が知られている。
【０００３】
【特許文献１】特開平１０−２２２６７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記先行技術では、車速センサや舵角センサから取得した車両の速度，舵角を用いて、現在の取得画像から次の画像取得タイミングにおける予測画像を作成し、この予測画像と次に取得した実際の画像とを比較することで立体物を検出している。
【０００５】
従って、車速や舵角の検出誤差が生じると予測画像に誤差が生じ、平面のパターンを立体物と誤検知する場合がある。なお車速や舵角の測定値には、タイヤの空気圧変化やゴムの磨耗，スリップ等によって誤差が含まれやすい。特に車庫入れ等の低速走行時は車輪速センサの精度が低下するため、車速の検出値に誤差が生じやすいという問題がある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するため本発明の障害物検知システムでは、車両に搭載されたカメラで撮像された路面を含む第１の画像の上面図と、前記第１の画像とは異なるタイミングで撮像された第２の画像の上面図を作成し、上記二枚の上面図を路面上の特徴的形状に基づいて対応させ、上記二枚の上面図の重複部分において差異が生じた部分を障害物と認識する構成とした。
【発明の効果】
【０００７】
車速センサや舵角センサの検出誤差に起因する障害物の誤検知を排除し、単眼カメラによる立体物検知をより高精度に行うことができる
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施形態について図を用いて説明する。なお以下の実施例では車両後方の障害物を検知する場合を例に取って説明する。
【実施例１】
【０００９】
図２に障害物検知システムを搭載した車両の構成図を示す。車両２０５の後方にはカメラ２０１が取り付けられている。このカメラ２０１はレンズの光軸が斜め下方向になるように俯角をつけて設置されている。このカメラ２０１による映像を斜方俯瞰図とする。カメラ２０１で撮像された画像データは通信線２０９を介して処理部２０２に入力される。処理部２０２は後述する画像処理によって障害物を認識する。処理部２０２は信号線を介して画像表示部２０３に接続されており、カメラ２０１で撮像した画像や検出した障害物と自車両との位置関係など、障害物に関する種々の情報を表示する。また、処理部２０２は音声出力部２０４とも接続されており、障害物を検知したときは、警報音や音声メッセージにより運転者に警報を行う。
【００１０】
処理部２０２は信号線を介してブレーキコントロールユニット（以下、「ＢＣＵ」と記載する）２０３に接続されている。処理部２０２は、後述する画像処理及び制御ロジックによって車両の進路上に障害物を検知したときは、ＢＣＵ２０３に対して制動力を発生させるように指令信号を出力する。ＢＣＵ２０３は信号線又は電力線若しくは油圧配管によって車両の各車輪に設けられたブレーキ２０７に接続されている。この、処理部２０２から受け取った指令信号に基づいて各車輪のブレーキ２０７を動作させる。
【００１１】
次に処理部２０２の構成について図３を用いて説明する。
【００１２】
カメラ２０１は、レンズ，撮像素子（ＣＣＤ），Ａ／Ｄ変換器，ＤＳＰ（Digital
Signal Prosessor）を備えている。撮像素子により撮像された画像データ(アナログ信号)はＡ／Ｄ変換器によってデジタル信号に変換される。デジタル化された画像データはDSPによってガンマ補正等の補正を施され、カメラ２０１の出力部から出力される。なお、撮像素子は他のものでも良く、例えばＣＭＯＳセンサとすればカメラ２０１のコスト低減が図られる。
【００１３】
処理部２０２はカメラ２０１からの画像データの入力を制御するビデオ入力部３０３，カメラから入力された画像データ，画像処理が施された後の画像データ，画像処理に用いるプログラムなどを格納するメモリ３０２，画像処理及び障害物の検出の処理を行うCPU３０１，処理部２０２から画像表示部２０３への信号出力を制御するビデオ出力部，処理部２０２から音声出力部２０４への信号出力を制御する音声出力制御部３０５，ＢＣＵ
２０６への信号出力を制御するシリアルＩ／Ｆを備える。これらの要素はバス３１０を介して相互に通信することができる。
【００１４】
ビデオ入力部３０３は、バス３１０の通信タイミングに合わせてカメラ２０１からの画像データをメモリ３０２の画像領域に格納する。メモリ３０２は少なくとも画像データを格納する画像領域，ＣＰＵ３０１の動作に用いるプログラム変数を格納したプログラム変数領域を備えている。このうち画像領域には、ビデオ出力部３０４が画像表示部２０３に出力するための画像を格納する送信用領域が設けられている。処理部２０２は、何らかの画像処理を行った結果を表示するときは、画像処理を施した後の画像データを上記の送信用領域に格納する。特段の画像処理を行わないときは、カメラ２０１から入力された画像データをメモリ３０２の送信用領域に直接格納することで、取得した画像データをそのまま画像表示部２０３に表示することもできる。
【００１５】
続いて障害物検知の実施例について図１及び図４〜図７を用いて説明する。図１は、カメラ２０１で取得した画像から障害物を検知する処理フローの一例を示す図である。また図４は、後方の駐車スペースに自転車のような障害物４０１がある場合にカメラ２０１で取得される画像を示す図である。
【００１６】
まず、ステップ１０１では異なるタイミングで二枚の画像を取得する。従って車両が移動している場合は異なる位置で二枚の画像を撮像することになる。例えば、後方の駐車スペースに車両をバックで駐車する場合において、その駐車スペースに自転車のような障害物４０１がある場合、撮像される二枚の画像は図４（ａ）（ｂ）のようになる。すなわち図４（ａ）は、あるタイミングにおいてカメラ２０１で車両後方を撮像した画像であり、図４（ｂ）は、その後、車両２０５がバックを続けて障害物４０１に接近する途中の別のタイミングで、もう一枚撮像した画像である。前述の通り、これらの映像はカメラ２０１からビデオ入力部３０３を通ってメモリ３０２に格納される。
【００１７】
次に、ステップ１０２で取得された斜方俯瞰図を上面図に射影変換する。射影変換とは、ある方向から見た物体の図を別方向から見た図に変換する演算である。ここで、上面図とは道路面に対して真上から道路面に垂直な光軸で見下ろした歪のない映像をいう。斜方俯瞰図から上面図への変換は、一般に射影変換によって行うことが出来る。
【００１８】
次のステップ１０３では、上面図に変換された二枚の画像において、共通して撮像されている路面上のランドマーク（模様，マーク，記号，縁石程度の段差など）を基準として位置合わせを行う。本実施例ではカメラ２０１によって撮像された画像データが全て路面上に描かれた平面的な模様であるとして射影変換を行うものである。従って、実際に路面上の平面的なランドマークは、車両が移動して撮像位置が変化しても、移動前後の画像上における射影変換後の形状に変化は生じない。すなわち同じ地図を車両の移動分だけずらしたような画像が得られることになる。一方、立体物は実際には路面上の模様ではないので、上述のような射影変換をすると、実際にそこに存在する立体物の形状とは異なる図形として表される。そして、立体物の映り方は車両の移動に伴う車両と立体物との距離の変化によって変化するので、車両移動中に異なるタイミングで撮像した複数の画像をそれぞれ射影変換して比較すると、立体物がない部分（路面上のランドマーク）の部分は一致し、立体物がある部分は差異が生じるので、立体物を検出できる。
【００１９】
従って、立体物を正確に検知するためには、路面上の模様等のランドマークを正確に撮像し、複数の画像の比較を精密に行う必要がある。そこで、路面上のランドマークが正確に撮像される必要があるが、レンズ歪の影響があるとランドマークが正確に撮像できない場合がある。
【００２０】
ここで、カメラ２０１は後方の安全確認のために１２０度程度の広角レンズを使用することが多く、そのレンズによって得られる画像は図８（ｂ）に示すように樽型のレンズ歪を含んでいる。樽型歪によって、図４の白線４０２，４０３に示すように本来直線であるはずのものが外側に湾曲した曲線に写る。従って路面上のランドマークを正確に撮影するためには、このレンズ歪をキャリブレーションにより取り除く必要がある。
【００２１】
キャリブレーションは図８のキャリブレーションプレート８０１を用いて行う。キャリブレーションプレート８０１には所定の間隔で規則正しく格子状に並んだ黒丸が描かれている。このキャリブレーションプレート８０１をカメラ２０１の撮像面と平行になるように配置して撮像すると、キャリブレーションプレート８０１の黒丸は、本来写るべき位置からレンズ歪によってずれ、画像周辺の黒丸ほど内側に写る。そのずれ量を画像処理で計算することでレンズ歪を求めることができる。図８（ｃ）はキャリブレーションの原理を表した模式図である。図８（ａ）示すキャリブレーションプレート上の黒丸の位置が図８（ｃ）の格子点に対応する。このように、樽型歪を含む画像上の黒丸をそれぞれ対応する格子点に位置するように画像を修正する。この修正量は予め測定されて処理部２０２のメモリ２０３に格納される。
【００２２】
このレンズ歪補正処理と射影変換によって、斜方俯瞰図の図４（ａ），図４（ｂ）はそれぞれ上面図の図５（ａ），図５（ｂ）に変換される。これらの処理はメモリ３０２内の画像をＣＰＵ３０１で処理を行い、再びメモリ３０２に格納することで行われる。
【００２３】
ステップ１０４では、後進中の二枚の上面図である図５（ａ），図５（ｂ）を用いて、ランドマークから移動分を換算して差分を取る。しかし一枚目の撮像後、二枚目の撮像までの間に車両が移動しているため、一枚目と二枚目の画像は撮像位置がずれている。そこで、ステップ１０３において、例えば白線４０２，４０３を基準として、図６のように二枚の画像の位置関係を対応付け、その重複部分について差分を取る。なお、本実施例では白線の検出はハフ変換を用いて行う。ハフ変換は直線を検出する一般的な手法である。
【００２４】
本実施例では、白線４０２，４０３を用いて二枚の画像の位置合わせを行う。しかしながら、ハフ変換で白線４０２，４０３を検出しただけでは、白線４０２，４０３が平行であるために位置あわせを正確に行うことはできない場合がある。なぜなら、二枚の平面画像を対応付けるためには画像の縦横の位置と回転を合わせる必要があり、少なくとも３点の基準点が必要となるからである。平行な二本の白線のみでは、白線に沿って二枚の画像を多少スライドさせても白線位置は一致するため画像の位置関係の対応がとれない場合がある。
【００２５】
そこで、二本の白線に加えて、これらに平行でない路面上の直線若しくは路面上の一点が検出し、これを基準とする。本実施例の図５の場合、検出された直線に沿ってエッジ検出を行って白線の終端を見つけ、これを基準とする。若しくは白線４０２，４０３の先にある、白線４０２，４０３とは平行でない線４１１を基準とする。また、駐車スペースに設けられている車止めブロックを基準としても良い。
【００２６】
また、以上の説明では二枚の画像が、同じ高さから見た上面図に変換されており、白線の間隔等が同じ縮尺に合わせられていることを前提としている。しかしながら、カメラ
２０１がズーム等の機能を持たない限り撮像素子によって撮像される生の画像データ上では障害物や白線等は、車両がそれらに接近するにつれて大きく映るようになる。従って、比較対象となる複数の画像の縮尺を統一する処理が必要となる。換言すれば、「自車両後方２ｍの位置で、高さ１ｍから見た図」といったように、自車両との関係において同じ位置，高さから見た図に変換する必要がある。以下、画像の縮尺の統一処理について説明する。
【００２７】
まず、カメラ２０１の車両への取り付け位置と取り付け角度は、カメラ２０１が衝撃を受けたり、取り付け部分が緩んだりしない限り一定に保たれており、カメラ２０１は通常ズームや首振り機能を有しない。従って、撮像素子の各画素に映り込む画像は、常に自車両から見て一定の距離及び方位角度の位置の画像である。よって画素ごとに、上述のような特定の一点から見た上面図に変換するための射影変換の角度と縮尺（倍率）を定めることが可能である。
【００２８】
そこで、画素ごとに射影変換の角度と縮尺を算出し、これをルックアップテーブルとして処理部２０２に保持しておく。これにより、異なるタイミングで取得した画像を射影変換しても、同じ高さから見た（同縮尺の）上面図が得られることになり、先述したランドマークによる位置あわせが可能となる。
【００２９】
先述のように、ステップ１０２で変換された上面図では、道路面にプリントされた地物や路面パターンなど高さのないものについては、車両２０５の移動によって位置や角度などが変化しても、その大きさや形状は変化しないという特徴がある。逆に、路面から高さのある立体物、たとえば障害物４０１に関しては、車両２０５が移動すると変換前の斜方俯瞰図の図４において形状が変化して見えるため、図５のように上面図に変換しても形状の変化はそのまま残る。本実施例ではその点に着目して、立体物を検知する。具体的には、二枚の画像の位置合わせを行った後、重複部分について輝度差分を取る。輝度差分を取ると、図７のように白線４０２，４０３や他の地物は一致するため消えて、形状が異なっている立体物４０１の部分に輝度差が現れる。
【００３０】
ステップ１０５では輝度差がある領域を立体物（障害物）と判断する。なお、射影変換や樽型歪除去等の画像処理により、二枚の上面図には多少の誤差が含まれる可能性がある。そこで、輝度差がある領域全てを立体物と判断するのではなく、所定の閾値以上の輝度差がある領域を立体物と判断する構成としてもよい。
【００３１】
ステップ１０５では、差分によって輝度差がある領域を立体物として出力する。出力の形態としては、ナビのモニタ２０３の画面に障害物の検知結果をスーパーインポーズで表示したり、スピーカ２０４にて音声出力したりする。スーパーインポーズする位置は、差分で輝度差が出た領域の中で、最も車両２０５に近い部分とする。ここで、ステップ103でランドマークが見つからなかった場合、位置合わせが出来ず障害物検知が出来なくなるため、その旨をモニタ２０３やスピーカ２０４でドライバーに告知する。若しくは、専用のインジケータを設けて処理部２０２がランドマークを検出できないことを表示する。これらの処理を図３の処理の流れで説明すると、メモリ３０２内の画像上にステップ１０３で検知された障害物をスーパーインポーズ（重ね表示）してビデオ出力部３０４からモニタ２０３に表示する。出力する画像は図４のようにカメラから得られた映像そのままであっても、図５のように上面図に変換された値であってもどちらでもかまわない。また、障害物が接近している場合、必要に応じて音声出力制御部３０５からスピーカ２０４に警報を出したり、シリアルインターフェース３０６を経由してブレーキコントロールユニット２０６からブレーキ２０７を制御して減速を行ったりする。
【００３２】
このように、本実施例では、白線４０２，４０３のような明らかに路面上のパターンと分かるものがあれば、それを基準にして二枚の画像の位置を合わせる構成としている。これにより、差分を取ったときに路面パターンなどの地物の部分で輝度差が生じにくい構成とし、路面パターンを障害物と誤認識することを防止する。
【００３３】
このように、輝度値の差分を取ると立体物の視差による輝度差が現れるが、それに加えて移動物体、例えば歩行している人や、犬や猫などの小動物の部分にも輝度差が現れる。これは移動しながら２枚撮像しているときに時間差が生じるためで、その時間で移動した分だけ位置や形状がずれることになる。すなわち本実施例では静止立体物だけでなく移動立体物も障害物として検出することが出来る。
【００３４】
なお、ある撮像タイミングでランドマークが検出できなかった場合、次の撮像タイミングで画像を取得しても比較対象となる画像が存在しないため障害物の検出をすることができなくなる。そこで処理部２０２の記憶手段（メモリ）３０２に過去１回あるいは数回の画像データを保存しておき、ある撮像タイミングでランドマークが検出できなかった場合には、前回あるいはそれ以前の画像データを保持し、その次の撮像タイミングで取得した画像と比較して障害物検知を行う。
【００３５】
本実施例の構成によって障害物を検知し運転者に警告した場合、運転者はブレーキを操作して車両を停止することが期待される。しかしながら、車両が停止してしまうと、異なるタイミングで取得した複数の画像が同じ地点で撮像したものになってしまうため、輝度差が発生せず、障害物を認識できなくなる。
【００３６】
そこで、本実施例の構成で障害物を認識できない程度に車速が低下したときには、最後に認識されていた障害物の位置及び形状に基づいて、モニタ２０３やスピーカ２０４又は専用のインジケータの表示を行い、あるいは制動力の制御を行う。
【００３７】
なお、運転者が車両から降りて障害物を移動させた後に、再度運転を再開する場合には、上記の構成のみでは警報が出たままで運転再開する必要が生じてしまうので不適切である。そこで運転者の運転再開の意思確認用スイッチを設け、当該スイッチから信号が入力された場合には、一旦、障害物検知をリセットする構成とする。この構成によれば、障害物を検知していない状態で運転再開をすることができる。なお、障害物を移動せずに上記のスイッチを押して運転再開したとしても、遅くとも数回の撮像で再び障害物が認識され、警報や制動力制御が行われるので安全性に影響はない。
【実施例２】
【００３８】
ここまで、二枚の画像を対応付ける方法として白線を用いる実施例について説明した。屋外の駐車場や立体駐車場などの場合は、多くの場合は路面に白線が引かれているため、その白線をランドマークとして画像の対応を取ることが出来る。しかしながら、一台しか停めないような自宅の車庫のような場合、路面に白線が引かれていないことが多い。その場合は、白線以外のランドマークを見つける必要がある。以下、白線が引かれていない場合の実施例を示す。
【００３９】
なお図２，図３で説明した車両２０５及び処理部２０２の構成は本実施例においても同様である。また図１に示す処理フローも二枚の画像の位置関係を対応させる処理を除いて同様である。
【００４０】
白線がなくても、路面の周りが壁などで覆われている車庫などの場合は、路面と壁の設置部分で出来る線によって路面部分が限定できる。そのため、その線で囲まれた路面の閉領域、すなわち路面部分の輪郭形状を求めて、その形状をテンプレートとすると、一般化ハフ変換などのパターンマッチングを行うと位置を合わせることが可能である。ここで閉領域の算出は、一般的なペイントルーチンであるシードフィルアルゴリズムを用いて行うことが出来る。
【００４１】
また、閉領域を塗りつぶした場合、当該閉領域の形状によるパターンマッチングを用いても画像の位置合わせを行うことができる。以下、これらの処理について図９〜図１１を用いて説明する。
【００４２】
まず、異なるタイミングで二枚の画像を撮像する。路面の周りが壁などで覆われている車庫に車両を進入させる場合、カメラ２０１によって撮像される二枚の画像は図９（ａ），図９（ｂ）のようになる。これは、第１の実施例における図４（ａ），図４（ｂ）に対応する。なお１００１は路面、１００２，１００３は左右の壁面、１００４は突き当たりの壁である。
【００４３】
次に、図９（ａ）,図９（ｂ）の画像に対して射影変換を行い、それぞれに対する上面図を作成する。この処理により図１０（ａ），図１０（ｂ）に示すような画像が得られる。
【００４４】
続いて、上面図の画像からエッジ画像を生成し、シードフィルアルゴリズムによってエッジで囲まれた内部を塗りつぶす。シードフィルアルゴリズムは始点となるピクセルが含まれる閉領域を塗りつぶす一般的なペイントルーチンである。塗りつぶしが終了した状態の画像を図１１（ａ），図１１（ｂ）に示す。
【００４５】
最後に、図１１（ａ），図１１（ｂ）における塗りつぶし領域（ハッチング部分）の形状のパターンマッチングを行い、二枚の画像の位置関係を対応させる。なお、位置関係の対応は、塗りつぶされた領域の輪郭のエッジを抽出し、このエッジに基づいて行っても良い。
【００４６】
なお、本実施例では、シードフィルアルゴリズムの始点位置が障害物１００５上にあると障害物が塗りつぶされてしまうので、始点位置を立体物ではなく路面上に置く必要がある。そこで、路面である可能性が高い位置である画面の出来るだけ手前の部分に設定する。少なくとも撮像画面上で下半分の領域に設けることが望ましい。
【００４７】
ただし、何もパターンがない路面でかつ十分に広い場所の場合、閉領域は見つからずパターンマッチングも行えない。そこで、閉領域が形成されているか否かを判断する必要がある。閉領域の判定は、画面の最左端および最右端のライン上の画素がシードフィルアルゴリズムによって塗りつぶされなかったかどうかで行う。
【００４８】
また、舗装路面ではなく砂利路面の駐車場の場合も白線が引かれていないが、その場合、砂利のテクスチャをテンプレートとして利用することが出来る。砂利の場合、アスファルトやコンクリートの路面に比べてパターンが粗く、テクスチャとして利用するのに向いている。ただし、パターンが細すぎる場合、テンプレートマッチングが誤認識することが多いためテクスチャとしては利用しないようにする。パターンが細かいかどうかの判断は、そのパターン画像を平滑化してぼけた画像を生成して、その画像の輝度の分散値を計算することで行う。もしパターンが細かければ平滑化した段階でパターンがつぶれて輝度の分散が小さくなるため、分散値の大きさで判断することが出来る。また、ここでのテンプレートマッチング手法としては、前記一般化ハフ変換のほか、大きさが不変であることから正規化相関係数による方法も有効である。
【００４９】
その他、タイヤ止めも比較的路面に近い位置にあり、通常２つセットであるため、白線同様にテンプレートとして利用しやすい。
【００５０】
以上の実施例では、撮像した画像を上面図に射影変換し、路面上のランドマークを用いて複数画像を対比することを説明したが、例えば、住宅の基礎部分に設けられた半地下式の駐車スペースのように、当該スペースの奥が壁になっているような場合は、上面図ではなく、路面と並行な方向からみた横方向の図に射影変換し、奥の壁に設けられたパターンや壁の輪郭に基づいて複数の画像データの位置あわせを行うことも可能である。これにより、路面上のランドマークが無く、上面図での複数画像の位置合わせが困難な場所においても周囲の壁等をランドマークとして位置合わせを行い、立体物を認識することが可能となる。
【００５１】
なお、上述の実施例は組み合せて用いることができるものである。図１２に示すように、白線が見つからなかった場合にでも、路面と壁の境界線や、路面のテクスチャを利用することでなるべく障害物検知を行うようにする。
【００５２】
具体的には、ステップ９０１で白線検出を行い、白線が検知できれば白線による位置合わせを行う。白線が検知されなかった場合にはステップ９０２に進み、路面と立体物（例えば壁面）との境界線の検知を行い、検知できた場合には当該境界線を用いて複数画像の位置合わせ（パターンマッチング）を行う。ステップ９０２でも失敗した場合にはステップ９０３に進み、路面のテクスチャの検出を試みる。路面のテクスチャが検出できればこれに基づいて位置合わせを行う。ステップ９０３でも位置合わせが出来ないときはステップ９０４に進み、タイヤ止めの検出を行う。タイヤ止めが検出されれば、これに基づいて位置合わせを行う。なお本実施例では図示していないが、さらに上述の横方向の図による位置合わせを試みる構成としても良い。以上のようなステップ９０１から９０４までの処理によってもパターンマッチングが出来ない場合には、ランドマーク未検出処理を行う。具体的には障害物検知ができない旨を画像表示部２０３や音声出力部２０４を用いて通知する。
【００５３】
この構成によれば、駐車場のランドマークとして確度の高いものから順に検知を試みることができるとともに、最終的に障害物検知ができなくなる確率を下げることができる。
【００５４】
ここで、ランドマーク未検出となる場合には、一時的にランドマークが見えなくなる場合が考えられる。このような場合において、ある特定時点の一回の処理においてランドマーク未検出となった場合に即座にランドマーク未検出処理を行う構成とすると、実質的に障害物検知を使用することが困難になる。例えば、白線が映っている撮像素子の領域に瞬間的に太陽光が入射してスミアを起こしたような場合でも障害物検知機能が停止されてしまうことになる。
【００５５】
そこでステップ９０５においてランドマーク未検出回数をカウントする処理を設け、所定回数以上連続して未検出となった場合にランドマーク未検出処理を行う構成とする。このようにすれば一時的にランドマークが見えなくなった場合にも障害物検知を行うことができる。なおカウントする所定値はカメラ２０１の撮像周期に基づいて、ランドマーク未検出処理後に運転者が対応する時間を確保できるように設定する。例えば、車両の速度，カメラの取り付け角度（自車から撮像しているエリアまでの距離）に基づいてカウント回数を変化させることが考えられる。具体的には、カメラ２０１の取り付け角度が深い（より路面側を向いている）場合には、カメラ２０１が撮像するエリアはカメラ２０１の取り付け角度が浅い場合に比べて自車両に近い領域となるので、取り付け角度が深いほどカウント数は小さくする。また、車両の速度が高いほどカウント数は小さくする必要がある。いずれも必要な制動時間（距離）を確保するためである。
【００５６】
また、地図情報とＧＰＳ情報を用いて自車の位置を特定し、自車の存在する環境に適したアルゴリズムを選択する構成とすることもできる。例えば、市街地の駐車場やスーパー等の大規模店舗の駐車場では、白線，縁石，車止めが存在する可能性が高いのでハフ変換による位置合わせを優先する構成とすることができる。逆に、郊外の駐車場や河川敷の駐車場などのように白線が引かれている可能性が低い場所では、路面テクスチャを用いた位置合わせを優先する構成とすることができる。さらに一戸建て住宅の駐車場などでは、周囲に壁がある場合が考えられるのでシードフィルアルゴリズムや横方向からの図に変換する方法を優先してもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明の処理フローの実施例を示す図。
【図２】車両の構成の実施例を示す図。
【図３】処理部の構成の実施例を示す図。
【図４】カメラで取得された斜方俯瞰図。
【図５】レンズ歪補正および射影変換で作成された上面図。
【図６】車両の移動によるずれ量を考慮し位置あわせをして重ね合わせた図。
【図７】図６で輝度の差分を取った後の図。
【図８】キャリブレーションプレートの説明図。
【図９】カメラで取得された斜方俯瞰図。
【図１０】レンズ歪補正および射影変換で作成された上面図。
【図１１】塗りつぶし処理が施された上面図。
【図１２】ランドマークの選定と検出を説明するための処理フロー図。
【符号の説明】
【００５８】
２０１…カメラ、２０２…画像処理部、２０３…画像表示部（モニタ）、２０４…音声出力部（スピーカ）、２０５…車両、２０６…ブレーキコントロールユニット（ＢＣＵ）、２０７…ブレーキ、３０１…ＣＰＵ、３０２…メモリ、３０３…ビデオ入力部、３０４…ビデオ出力部、３０５…音声出力制御部、３０６…シリアルインターフェース、４０１…障害物、４０２…左側白線、４０３…右側白線、８０１…キャリブレーションプレート、９０１…白線の有無判定、９０２…路面閉領域の有無判定、９０３…路面テクスチャの有無判定、９０４…タイヤ止めの有無判定、１００１…路面、１００２，１００３…側壁面、１００４…壁面、１００５…障害物。
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラを用いて車両の走行の妨げとなる障害物を検知する障害物検知システムに関する。
【背景技術】
【０００２】
従来、２台のカメラから得られる画像の視差に基づいて三角測量の原理で立体物を認識するステレオ視の技術が知られている。しかしながら、ステレオカメラは一般的に単眼カメラよりも高価である。そこで、単眼カメラで立体物を認識する技術として、特開平１０−２２２６７９号公報のような手法が知られている。
【０００３】
【特許文献１】特開平１０−２２２６７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記先行技術では、車速センサや舵角センサから取得した車両の速度，舵角を用いて、現在の取得画像から次の画像取得タイミングにおける予測画像を作成し、この予測画像と次に取得した実際の画像とを比較することで立体物を検出している。
【０００５】
従って、車速や舵角の検出誤差が生じると予測画像に誤差が生じ、平面のパターンを立体物と誤検知する場合がある。なお車速や舵角の測定値には、タイヤの空気圧変化やゴムの磨耗，スリップ等によって誤差が含まれやすい。特に車庫入れ等の低速走行時は車輪速センサの精度が低下するため、車速の検出値に誤差が生じやすいという問題がある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するため本発明の障害物検知システムでは、車両に搭載されたカメラで撮像された路面を含む第１の画像の上面図と、前記第１の画像とは異なるタイミングで撮像された第２の画像の上面図を作成し、上記二枚の上面図を路面上の特徴的形状に基づいて対応させ、上記二枚の上面図の重複部分において差異が生じた部分を障害物と認識する構成とした。
【発明の効果】
【０００７】
車速センサや舵角センサの検出誤差に起因する障害物の誤検知を排除し、単眼カメラによる立体物検知をより高精度に行うことができる
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施形態について図を用いて説明する。なお以下の実施例では車両後方の障害物を検知する場合を例に取って説明する。
【実施例１】
【０００９】
図２に障害物検知システムを搭載した車両の構成図を示す。車両２０５の後方にはカメラ２０１が取り付けられている。このカメラ２０１はレンズの光軸が斜め下方向になるように俯角をつけて設置されている。このカメラ２０１による映像を斜方俯瞰図とする。カメラ２０１で撮像された画像データは通信線２０９を介して処理部２０２に入力される。処理部２０２は後述する画像処理によって障害物を認識する。処理部２０２は信号線を介して画像表示部２０３に接続されており、カメラ２０１で撮像した画像や検出した障害物と自車両との位置関係など、障害物に関する種々の情報を表示する。また、処理部２０２は音声出力部２０４とも接続されており、障害物を検知したときは、警報音や音声メッセージにより運転者に警報を行う。
【００１０】
処理部２０２は信号線を介してブレーキコントロールユニット（以下、「ＢＣＵ」と記載する）２０３に接続されている。処理部２０２は、後述する画像処理及び制御ロジックによって車両の進路上に障害物を検知したときは、ＢＣＵ２０３に対して制動力を発生させるように指令信号を出力する。ＢＣＵ２０３は信号線又は電力線若しくは油圧配管によって車両の各車輪に設けられたブレーキ２０７に接続されている。この、処理部２０２から受け取った指令信号に基づいて各車輪のブレーキ２０７を動作させる。
【００１１】
次に処理部２０２の構成について図３を用いて説明する。
【００１２】
カメラ２０１は、レンズ，撮像素子（ＣＣＤ），Ａ／Ｄ変換器，ＤＳＰ（Digital
Signal Prosessor）を備えている。撮像素子により撮像された画像データ(アナログ信号)はＡ／Ｄ変換器によってデジタル信号に変換される。デジタル化された画像データはDSPによってガンマ補正等の補正を施され、カメラ２０１の出力部から出力される。なお、撮像素子は他のものでも良く、例えばＣＭＯＳセンサとすればカメラ２０１のコスト低減が図られる。
【００１３】
処理部２０２はカメラ２０１からの画像データの入力を制御するビデオ入力部３０３，カメラから入力された画像データ，画像処理が施された後の画像データ，画像処理に用いるプログラムなどを格納するメモリ３０２，画像処理及び障害物の検出の処理を行うCPU３０１，処理部２０２から画像表示部２０３への信号出力を制御するビデオ出力部，処理部２０２から音声出力部２０４への信号出力を制御する音声出力制御部３０５，ＢＣＵ
２０６への信号出力を制御するシリアルＩ／Ｆを備える。これらの要素はバス３１０を介して相互に通信することができる。
【００１４】
ビデオ入力部３０３は、バス３１０の通信タイミングに合わせてカメラ２０１からの画像データをメモリ３０２の画像領域に格納する。メモリ３０２は少なくとも画像データを格納する画像領域，ＣＰＵ３０１の動作に用いるプログラム変数を格納したプログラム変数領域を備えている。このうち画像領域には、ビデオ出力部３０４が画像表示部２０３に出力するための画像を格納する送信用領域が設けられている。処理部２０２は、何らかの画像処理を行った結果を表示するときは、画像処理を施した後の画像データを上記の送信用領域に格納する。特段の画像処理を行わないときは、カメラ２０１から入力された画像データをメモリ３０２の送信用領域に直接格納することで、取得した画像データをそのまま画像表示部２０３に表示することもできる。
【００１５】
続いて障害物検知の実施例について図１及び図４〜図７を用いて説明する。図１は、カメラ２０１で取得した画像から障害物を検知する処理フローの一例を示す図である。また図４は、後方の駐車スペースに自転車のような障害物４０１がある場合にカメラ２０１で取得される画像を示す図である。
【００１６】
まず、ステップ１０１では異なるタイミングで二枚の画像を取得する。従って車両が移動している場合は異なる位置で二枚の画像を撮像することになる。例えば、後方の駐車スペースに車両をバックで駐車する場合において、その駐車スペースに自転車のような障害物４０１がある場合、撮像される二枚の画像は図４（ａ）（ｂ）のようになる。すなわち図４（ａ）は、あるタイミングにおいてカメラ２０１で車両後方を撮像した画像であり、図４（ｂ）は、その後、車両２０５がバックを続けて障害物４０１に接近する途中の別のタイミングで、もう一枚撮像した画像である。前述の通り、これらの映像はカメラ２０１からビデオ入力部３０３を通ってメモリ３０２に格納される。
【００１７】
次に、ステップ１０２で取得された斜方俯瞰図を上面図に射影変換する。射影変換とは、ある方向から見た物体の図を別方向から見た図に変換する演算である。ここで、上面図とは道路面に対して真上から道路面に垂直な光軸で見下ろした歪のない映像をいう。斜方俯瞰図から上面図への変換は、一般に射影変換によって行うことが出来る。
【００１８】
次のステップ１０３では、上面図に変換された二枚の画像において、共通して撮像されている路面上のランドマーク（模様，マーク，記号，縁石程度の段差など）を基準として位置合わせを行う。本実施例ではカメラ２０１によって撮像された画像データが全て路面上に描かれた平面的な模様であるとして射影変換を行うものである。従って、実際に路面上の平面的なランドマークは、車両が移動して撮像位置が変化しても、移動前後の画像上における射影変換後の形状に変化は生じない。すなわち同じ地図を車両の移動分だけずらしたような画像が得られることになる。一方、立体物は実際には路面上の模様ではないので、上述のような射影変換をすると、実際にそこに存在する立体物の形状とは異なる図形として表される。そして、立体物の映り方は車両の移動に伴う車両と立体物との距離の変化によって変化するので、車両移動中に異なるタイミングで撮像した複数の画像をそれぞれ射影変換して比較すると、立体物がない部分（路面上のランドマーク）の部分は一致し、立体物がある部分は差異が生じるので、立体物を検出できる。
【００１９】
従って、立体物を正確に検知するためには、路面上の模様等のランドマークを正確に撮像し、複数の画像の比較を精密に行う必要がある。そこで、路面上のランドマークが正確に撮像される必要があるが、レンズ歪の影響があるとランドマークが正確に撮像できない場合がある。
【００２０】
ここで、カメラ２０１は後方の安全確認のために１２０度程度の広角レンズを使用することが多く、そのレンズによって得られる画像は図８（ｂ）に示すように樽型のレンズ歪を含んでいる。樽型歪によって、図４の白線４０２，４０３に示すように本来直線であるはずのものが外側に湾曲した曲線に写る。従って路面上のランドマークを正確に撮影するためには、このレンズ歪をキャリブレーションにより取り除く必要がある。
【００２１】
キャリブレーションは図８のキャリブレーションプレート８０１を用いて行う。キャリブレーションプレート８０１には所定の間隔で規則正しく格子状に並んだ黒丸が描かれている。このキャリブレーションプレート８０１をカメラ２０１の撮像面と平行になるように配置して撮像すると、キャリブレーションプレート８０１の黒丸は、本来写るべき位置からレンズ歪によってずれ、画像周辺の黒丸ほど内側に写る。そのずれ量を画像処理で計算することでレンズ歪を求めることができる。図８（ｃ）はキャリブレーションの原理を表した模式図である。図８（ａ）示すキャリブレーションプレート上の黒丸の位置が図８（ｃ）の格子点に対応する。このように、樽型歪を含む画像上の黒丸をそれぞれ対応する格子点に位置するように画像を修正する。この修正量は予め測定されて処理部２０２のメモリ２０３に格納される。
【００２２】
このレンズ歪補正処理と射影変換によって、斜方俯瞰図の図４（ａ），図４（ｂ）はそれぞれ上面図の図５（ａ），図５（ｂ）に変換される。これらの処理はメモリ３０２内の画像をＣＰＵ３０１で処理を行い、再びメモリ３０２に格納することで行われる。
【００２３】
ステップ１０４では、後進中の二枚の上面図である図５（ａ），図５（ｂ）を用いて、ランドマークから移動分を換算して差分を取る。しかし一枚目の撮像後、二枚目の撮像までの間に車両が移動しているため、一枚目と二枚目の画像は撮像位置がずれている。そこで、ステップ１０３において、例えば白線４０２，４０３を基準として、図６のように二枚の画像の位置関係を対応付け、その重複部分について差分を取る。なお、本実施例では白線の検出はハフ変換を用いて行う。ハフ変換は直線を検出する一般的な手法である。
【００２４】
本実施例では、白線４０２，４０３を用いて二枚の画像の位置合わせを行う。しかしながら、ハフ変換で白線４０２，４０３を検出しただけでは、白線４０２，４０３が平行であるために位置あわせを正確に行うことはできない場合がある。なぜなら、二枚の平面画像を対応付けるためには画像の縦横の位置と回転を合わせる必要があり、少なくとも３点の基準点が必要となるからである。平行な二本の白線のみでは、白線に沿って二枚の画像を多少スライドさせても白線位置は一致するため画像の位置関係の対応がとれない場合がある。
【００２５】
そこで、二本の白線に加えて、これらに平行でない路面上の直線若しくは路面上の一点が検出し、これを基準とする。本実施例の図５の場合、検出された直線に沿ってエッジ検出を行って白線の終端を見つけ、これを基準とする。若しくは白線４０２，４０３の先にある、白線４０２，４０３とは平行でない線４１１を基準とする。また、駐車スペースに設けられている車止めブロックを基準としても良い。
【００２６】
また、以上の説明では二枚の画像が、同じ高さから見た上面図に変換されており、白線の間隔等が同じ縮尺に合わせられていることを前提としている。しかしながら、カメラ
２０１がズーム等の機能を持たない限り撮像素子によって撮像される生の画像データ上では障害物や白線等は、車両がそれらに接近するにつれて大きく映るようになる。従って、比較対象となる複数の画像の縮尺を統一する処理が必要となる。換言すれば、「自車両後方２ｍの位置で、高さ１ｍから見た図」といったように、自車両との関係において同じ位置，高さから見た図に変換する必要がある。以下、画像の縮尺の統一処理について説明する。
【００２７】
まず、カメラ２０１の車両への取り付け位置と取り付け角度は、カメラ２０１が衝撃を受けたり、取り付け部分が緩んだりしない限り一定に保たれており、カメラ２０１は通常ズームや首振り機能を有しない。従って、撮像素子の各画素に映り込む画像は、常に自車両から見て一定の距離及び方位角度の位置の画像である。よって画素ごとに、上述のような特定の一点から見た上面図に変換するための射影変換の角度と縮尺（倍率）を定めることが可能である。
【００２８】
そこで、画素ごとに射影変換の角度と縮尺を算出し、これをルックアップテーブルとして処理部２０２に保持しておく。これにより、異なるタイミングで取得した画像を射影変換しても、同じ高さから見た（同縮尺の）上面図が得られることになり、先述したランドマークによる位置あわせが可能となる。
【００２９】
先述のように、ステップ１０２で変換された上面図では、道路面にプリントされた地物や路面パターンなど高さのないものについては、車両２０５の移動によって位置や角度などが変化しても、その大きさや形状は変化しないという特徴がある。逆に、路面から高さのある立体物、たとえば障害物４０１に関しては、車両２０５が移動すると変換前の斜方俯瞰図の図４において形状が変化して見えるため、図５のように上面図に変換しても形状の変化はそのまま残る。本実施例ではその点に着目して、立体物を検知する。具体的には、二枚の画像の位置合わせを行った後、重複部分について輝度差分を取る。輝度差分を取ると、図７のように白線４０２，４０３や他の地物は一致するため消えて、形状が異なっている立体物４０１の部分に輝度差が現れる。
【００３０】
ステップ１０５では輝度差がある領域を立体物（障害物）と判断する。なお、射影変換や樽型歪除去等の画像処理により、二枚の上面図には多少の誤差が含まれる可能性がある。そこで、輝度差がある領域全てを立体物と判断するのではなく、所定の閾値以上の輝度差がある領域を立体物と判断する構成としてもよい。
【００３１】
ステップ１０５では、差分によって輝度差がある領域を立体物として出力する。出力の形態としては、ナビのモニタ２０３の画面に障害物の検知結果をスーパーインポーズで表示したり、スピーカ２０４にて音声出力したりする。スーパーインポーズする位置は、差分で輝度差が出た領域の中で、最も車両２０５に近い部分とする。ここで、ステップ103でランドマークが見つからなかった場合、位置合わせが出来ず障害物検知が出来なくなるため、その旨をモニタ２０３やスピーカ２０４でドライバーに告知する。若しくは、専用のインジケータを設けて処理部２０２がランドマークを検出できないことを表示する。これらの処理を図３の処理の流れで説明すると、メモリ３０２内の画像上にステップ１０３で検知された障害物をスーパーインポーズ（重ね表示）してビデオ出力部３０４からモニタ２０３に表示する。出力する画像は図４のようにカメラから得られた映像そのままであっても、図５のように上面図に変換された値であってもどちらでもかまわない。また、障害物が接近している場合、必要に応じて音声出力制御部３０５からスピーカ２０４に警報を出したり、シリアルインターフェース３０６を経由してブレーキコントロールユニット２０６からブレーキ２０７を制御して減速を行ったりする。
【００３２】
このように、本実施例では、白線４０２，４０３のような明らかに路面上のパターンと分かるものがあれば、それを基準にして二枚の画像の位置を合わせる構成としている。これにより、差分を取ったときに路面パターンなどの地物の部分で輝度差が生じにくい構成とし、路面パターンを障害物と誤認識することを防止する。
【００３３】
このように、輝度値の差分を取ると立体物の視差による輝度差が現れるが、それに加えて移動物体、例えば歩行している人や、犬や猫などの小動物の部分にも輝度差が現れる。これは移動しながら２枚撮像しているときに時間差が生じるためで、その時間で移動した分だけ位置や形状がずれることになる。すなわち本実施例では静止立体物だけでなく移動立体物も障害物として検出することが出来る。
【００３４】
なお、ある撮像タイミングでランドマークが検出できなかった場合、次の撮像タイミングで画像を取得しても比較対象となる画像が存在しないため障害物の検出をすることができなくなる。そこで処理部２０２の記憶手段（メモリ）３０２に過去１回あるいは数回の画像データを保存しておき、ある撮像タイミングでランドマークが検出できなかった場合には、前回あるいはそれ以前の画像データを保持し、その次の撮像タイミングで取得した画像と比較して障害物検知を行う。
【００３５】
本実施例の構成によって障害物を検知し運転者に警告した場合、運転者はブレーキを操作して車両を停止することが期待される。しかしながら、車両が停止してしまうと、異なるタイミングで取得した複数の画像が同じ地点で撮像したものになってしまうため、輝度差が発生せず、障害物を認識できなくなる。
【００３６】
そこで、本実施例の構成で障害物を認識できない程度に車速が低下したときには、最後に認識されていた障害物の位置及び形状に基づいて、モニタ２０３やスピーカ２０４又は専用のインジケータの表示を行い、あるいは制動力の制御を行う。
【００３７】
なお、運転者が車両から降りて障害物を移動させた後に、再度運転を再開する場合には、上記の構成のみでは警報が出たままで運転再開する必要が生じてしまうので不適切である。そこで運転者の運転再開の意思確認用スイッチを設け、当該スイッチから信号が入力された場合には、一旦、障害物検知をリセットする構成とする。この構成によれば、障害物を検知していない状態で運転再開をすることができる。なお、障害物を移動せずに上記のスイッチを押して運転再開したとしても、遅くとも数回の撮像で再び障害物が認識され、警報や制動力制御が行われるので安全性に影響はない。
【実施例２】
【００３８】
ここまで、二枚の画像を対応付ける方法として白線を用いる実施例について説明した。屋外の駐車場や立体駐車場などの場合は、多くの場合は路面に白線が引かれているため、その白線をランドマークとして画像の対応を取ることが出来る。しかしながら、一台しか停めないような自宅の車庫のような場合、路面に白線が引かれていないことが多い。その場合は、白線以外のランドマークを見つける必要がある。以下、白線が引かれていない場合の実施例を示す。
【００３９】
なお図２，図３で説明した車両２０５及び処理部２０２の構成は本実施例においても同様である。また図１に示す処理フローも二枚の画像の位置関係を対応させる処理を除いて同様である。
【００４０】
白線がなくても、路面の周りが壁などで覆われている車庫などの場合は、路面と壁の設置部分で出来る線によって路面部分が限定できる。そのため、その線で囲まれた路面の閉領域、すなわち路面部分の輪郭形状を求めて、その形状をテンプレートとすると、一般化ハフ変換などのパターンマッチングを行うと位置を合わせることが可能である。ここで閉領域の算出は、一般的なペイントルーチンであるシードフィルアルゴリズムを用いて行うことが出来る。
【００４１】
また、閉領域を塗りつぶした場合、当該閉領域の形状によるパターンマッチングを用いても画像の位置合わせを行うことができる。以下、これらの処理について図９〜図１１を用いて説明する。
【００４２】
まず、異なるタイミングで二枚の画像を撮像する。路面の周りが壁などで覆われている車庫に車両を進入させる場合、カメラ２０１によって撮像される二枚の画像は図９（ａ），図９（ｂ）のようになる。これは、第１の実施例における図４（ａ），図４（ｂ）に対応する。なお１００１は路面、１００２，１００３は左右の壁面、１００４は突き当たりの壁である。
【００４３】
次に、図９（ａ）,図９（ｂ）の画像に対して射影変換を行い、それぞれに対する上面図を作成する。この処理により図１０（ａ），図１０（ｂ）に示すような画像が得られる。
【００４４】
続いて、上面図の画像からエッジ画像を生成し、シードフィルアルゴリズムによってエッジで囲まれた内部を塗りつぶす。シードフィルアルゴリズムは始点となるピクセルが含まれる閉領域を塗りつぶす一般的なペイントルーチンである。塗りつぶしが終了した状態の画像を図１１（ａ），図１１（ｂ）に示す。
【００４５】
最後に、図１１（ａ），図１１（ｂ）における塗りつぶし領域（ハッチング部分）の形状のパターンマッチングを行い、二枚の画像の位置関係を対応させる。なお、位置関係の対応は、塗りつぶされた領域の輪郭のエッジを抽出し、このエッジに基づいて行っても良い。
【００４６】
なお、本実施例では、シードフィルアルゴリズムの始点位置が障害物１００５上にあると障害物が塗りつぶされてしまうので、始点位置を立体物ではなく路面上に置く必要がある。そこで、路面である可能性が高い位置である画面の出来るだけ手前の部分に設定する。少なくとも撮像画面上で下半分の領域に設けることが望ましい。
【００４７】
ただし、何もパターンがない路面でかつ十分に広い場所の場合、閉領域は見つからずパターンマッチングも行えない。そこで、閉領域が形成されているか否かを判断する必要がある。閉領域の判定は、画面の最左端および最右端のライン上の画素がシードフィルアルゴリズムによって塗りつぶされなかったかどうかで行う。
【００４８】
また、舗装路面ではなく砂利路面の駐車場の場合も白線が引かれていないが、その場合、砂利のテクスチャをテンプレートとして利用することが出来る。砂利の場合、アスファルトやコンクリートの路面に比べてパターンが粗く、テクスチャとして利用するのに向いている。ただし、パターンが細すぎる場合、テンプレートマッチングが誤認識することが多いためテクスチャとしては利用しないようにする。パターンが細かいかどうかの判断は、そのパターン画像を平滑化してぼけた画像を生成して、その画像の輝度の分散値を計算することで行う。もしパターンが細かければ平滑化した段階でパターンがつぶれて輝度の分散が小さくなるため、分散値の大きさで判断することが出来る。また、ここでのテンプレートマッチング手法としては、前記一般化ハフ変換のほか、大きさが不変であることから正規化相関係数による方法も有効である。
【００４９】
その他、タイヤ止めも比較的路面に近い位置にあり、通常２つセットであるため、白線同様にテンプレートとして利用しやすい。
【００５０】
以上の実施例では、撮像した画像を上面図に射影変換し、路面上のランドマークを用いて複数画像を対比することを説明したが、例えば、住宅の基礎部分に設けられた半地下式の駐車スペースのように、当該スペースの奥が壁になっているような場合は、上面図ではなく、路面と並行な方向からみた横方向の図に射影変換し、奥の壁に設けられたパターンや壁の輪郭に基づいて複数の画像データの位置あわせを行うことも可能である。これにより、路面上のランドマークが無く、上面図での複数画像の位置合わせが困難な場所においても周囲の壁等をランドマークとして位置合わせを行い、立体物を認識することが可能となる。
【００５１】
なお、上述の実施例は組み合せて用いることができるものである。図１２に示すように、白線が見つからなかった場合にでも、路面と壁の境界線や、路面のテクスチャを利用することでなるべく障害物検知を行うようにする。
【００５２】
具体的には、ステップ９０１で白線検出を行い、白線が検知できれば白線による位置合わせを行う。白線が検知されなかった場合にはステップ９０２に進み、路面と立体物（例えば壁面）との境界線の検知を行い、検知できた場合には当該境界線を用いて複数画像の位置合わせ（パターンマッチング）を行う。ステップ９０２でも失敗した場合にはステップ９０３に進み、路面のテクスチャの検出を試みる。路面のテクスチャが検出できればこれに基づいて位置合わせを行う。ステップ９０３でも位置合わせが出来ないときはステップ９０４に進み、タイヤ止めの検出を行う。タイヤ止めが検出されれば、これに基づいて位置合わせを行う。なお本実施例では図示していないが、さらに上述の横方向の図による位置合わせを試みる構成としても良い。以上のようなステップ９０１から９０４までの処理によってもパターンマッチングが出来ない場合には、ランドマーク未検出処理を行う。具体的には障害物検知ができない旨を画像表示部２０３や音声出力部２０４を用いて通知する。
【００５３】
この構成によれば、駐車場のランドマークとして確度の高いものから順に検知を試みることができるとともに、最終的に障害物検知ができなくなる確率を下げることができる。
【００５４】
ここで、ランドマーク未検出となる場合には、一時的にランドマークが見えなくなる場合が考えられる。このような場合において、ある特定時点の一回の処理においてランドマーク未検出となった場合に即座にランドマーク未検出処理を行う構成とすると、実質的に障害物検知を使用することが困難になる。例えば、白線が映っている撮像素子の領域に瞬間的に太陽光が入射してスミアを起こしたような場合でも障害物検知機能が停止されてしまうことになる。
【００５５】
そこでステップ９０５においてランドマーク未検出回数をカウントする処理を設け、所定回数以上連続して未検出となった場合にランドマーク未検出処理を行う構成とする。このようにすれば一時的にランドマークが見えなくなった場合にも障害物検知を行うことができる。なおカウントする所定値はカメラ２０１の撮像周期に基づいて、ランドマーク未検出処理後に運転者が対応する時間を確保できるように設定する。例えば、車両の速度，カメラの取り付け角度（自車から撮像しているエリアまでの距離）に基づいてカウント回数を変化させることが考えられる。具体的には、カメラ２０１の取り付け角度が深い（より路面側を向いている）場合には、カメラ２０１が撮像するエリアはカメラ２０１の取り付け角度が浅い場合に比べて自車両に近い領域となるので、取り付け角度が深いほどカウント数は小さくする。また、車両の速度が高いほどカウント数は小さくする必要がある。いずれも必要な制動時間（距離）を確保するためである。
【００５６】
また、地図情報とＧＰＳ情報を用いて自車の位置を特定し、自車の存在する環境に適したアルゴリズムを選択する構成とすることもできる。例えば、市街地の駐車場やスーパー等の大規模店舗の駐車場では、白線，縁石，車止めが存在する可能性が高いのでハフ変換による位置合わせを優先する構成とすることができる。逆に、郊外の駐車場や河川敷の駐車場などのように白線が引かれている可能性が低い場所では、路面テクスチャを用いた位置合わせを優先する構成とすることができる。さらに一戸建て住宅の駐車場などでは、周囲に壁がある場合が考えられるのでシードフィルアルゴリズムや横方向からの図に変換する方法を優先してもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明の処理フローの実施例を示す図。
【図２】車両の構成の実施例を示す図。
【図３】処理部の構成の実施例を示す図。
【図４】カメラで取得された斜方俯瞰図。
【図５】レンズ歪補正および射影変換で作成された上面図。
【図６】車両の移動によるずれ量を考慮し位置あわせをして重ね合わせた図。
【図７】図６で輝度の差分を取った後の図。
【図８】キャリブレーションプレートの説明図。
【図９】カメラで取得された斜方俯瞰図。
【図１０】レンズ歪補正および射影変換で作成された上面図。
【図１１】塗りつぶし処理が施された上面図。
【図１２】ランドマークの選定と検出を説明するための処理フロー図。
【符号の説明】
【００５８】
２０１…カメラ、２０２…画像処理部、２０３…画像表示部（モニタ）、２０４…音声出力部（スピーカ）、２０５…車両、２０６…ブレーキコントロールユニット（ＢＣＵ）、２０７…ブレーキ、３０１…ＣＰＵ、３０２…メモリ、３０３…ビデオ入力部、３０４…ビデオ出力部、３０５…音声出力制御部、３０６…シリアルインターフェース、４０１…障害物、４０２…左側白線、４０３…右側白線、８０１…キャリブレーションプレート、９０１…白線の有無判定、９０２…路面閉領域の有無判定、９０３…路面テクスチャの有無判定、９０４…タイヤ止めの有無判定、１００１…路面、１００２，１００３…側壁面、１００４…壁面、１００５…障害物。
【特許請求の範囲】
【請求項１】
車両の外部を撮像する撮像部と、
前記撮像部から取得した画像を処理する処理部とを備えた障害物検知システムであって、
前記処理部は、
路面を含む第１の画像を撮像し、
前記第１の画像とは異なるタイミングで路面を含む第２の画像を撮像し、
前記第１の画像及び第２の画像の上面図を作成し、
前記二枚の上面図から路面上の特徴的形状を検出し、
前記検出した特徴的形状に基づいて、前記二枚の上面図の位置合わせを行い、
前記二枚の上面図の重複部分を比較し、
差異が生じた領域を障害物がある領域と判断する
ことを特徴とする障害物検知システム。
【請求項２】
車両に搭載され、当該車両の外部を撮像するカメラと、
前記カメラで撮像された路面を含む第１の画像の上面図と、前記第１の画像とは異なるタイミングで撮像された第２の画像の上面図を作成し、前記二枚の上面図を路面上の特徴的形状に基づいて対応させ、前記二枚の上面図の重複部分において差異が生じた部分を障害物と認識する処理部と、
前記障害物と前記車両との距離が所定以下の場合に音声を出力する音声出力部とを備えた障害物検知システム。
【請求項３】
請求項１又は２において、
前記路面上の特徴的形状は路面上にペイントされたパターンであることを特徴とする障害物検知システム。
【請求項４】
請求項１又は２において、
前記路面上の特徴的形状は立体物が路面と接している部分に出来る線であることを特徴とする障害物検知システム。
【請求項５】
請求項１又は２において、
前記路面上の特徴的形状は路面テクスチャであることを特徴とする障害物検知システム。
【請求項６】
請求項１又は２において、
前記路面上の特徴的形状はタイヤ止めであることを特徴とする障害物検知システム。
【請求項７】
請求項１又は２において、
画像を表示する画像表示部を備え、
前記処理部が前記路面上の特徴的形状を検出できないときは、前記画像表示部にその旨を表示することを特徴とする障害物検知システム。
【請求項８】
請求項７において、
前記画像表示部は、前記処理部が前記路面上の特徴的形状を検出できない旨の表示を、撮像した画像若しくは上面図に重ねて表示することを特徴とする障害物検知システム。
【請求項９】
請求項１又は２において、
前記処理部が前記路面上の特徴的形状を検出できないことを表示するインジケータを備えることを特徴とする障害物検知システム。
【請求項１０】
請求項１又は２において、
前記処理部が前記路面上の特徴的形状を検出できないときは、音声を出力することを特徴とする障害物検知システム。
【請求項１１】
請求項１又は２において、
画像を表示する画像表示部を備え、
差分の出た領域のうち最も前記車両に近い領域を前記画像表示部に強調表示することを特徴とする障害物検知システム。
【請求項１２】
請求項１又は２において、
前記差異の出た領域のうち最も前記車両に近い領域に応じて音声を出力することを特徴とする障害物検知システム。
【請求項１３】
請求項１又は２記載の障害物検知システムにおいて、
前記車両の制動力を制御するブレーキ制御部を備え、
前記処理部は、前記差異の出た領域のうち最も前記車両に近い領域に応じて前記ブレーキ制御部に対する指令を出力することを特徴とする障害物検知システム。
【請求項１４】
路面を含む第１の画像を撮像し、
前記第１の画像とは異なるタイミングで路面を含む第２の画像を撮像し、
前記第１の画像及び第２の画像の上面図を作成し、
前記二枚の上面図から路面上の特徴的形状を検出し、
前記検出した特徴的形状に基づいて、前記二枚の上面図の位置合わせを行い、
前記二枚の上面図の重複部分を比較し、
差異が生じた領域を障害物がある領域と判断することを特徴とする
カメラを用いた障害物検知方法。
【請求項１】
車両の外部を撮像する撮像部と、
前記撮像部から取得した画像を処理する処理部とを備えた障害物検知システムであって、
前記処理部は、
路面を含む第１の画像を撮像し、
前記第１の画像とは異なるタイミングで路面を含む第２の画像を撮像し、
前記第１の画像及び第２の画像の上面図を作成し、
前記二枚の上面図から路面上の特徴的形状を検出し、
前記検出した特徴的形状に基づいて、前記二枚の上面図の位置合わせを行い、
前記二枚の上面図の重複部分を比較し、
差異が生じた領域を障害物がある領域と判断する
ことを特徴とする障害物検知システム。
【請求項２】
車両に搭載され、当該車両の外部を撮像するカメラと、
前記カメラで撮像された路面を含む第１の画像の上面図と、前記第１の画像とは異なるタイミングで撮像された第２の画像の上面図を作成し、前記二枚の上面図を路面上の特徴的形状に基づいて対応させ、前記二枚の上面図の重複部分において差異が生じた部分を障害物と認識する処理部と、
前記障害物と前記車両との距離が所定以下の場合に音声を出力する音声出力部とを備えた障害物検知システム。
【請求項３】
請求項１又は２において、
前記路面上の特徴的形状は路面上にペイントされたパターンであることを特徴とする障害物検知システム。
【請求項４】
請求項１又は２において、
前記路面上の特徴的形状は立体物が路面と接している部分に出来る線であることを特徴とする障害物検知システム。
【請求項５】
請求項１又は２において、
前記路面上の特徴的形状は路面テクスチャであることを特徴とする障害物検知システム。
【請求項６】
請求項１又は２において、
前記路面上の特徴的形状はタイヤ止めであることを特徴とする障害物検知システム。
【請求項７】
請求項１又は２において、
画像を表示する画像表示部を備え、
前記処理部が前記路面上の特徴的形状を検出できないときは、前記画像表示部にその旨を表示することを特徴とする障害物検知システム。
【請求項８】
請求項７において、
前記画像表示部は、前記処理部が前記路面上の特徴的形状を検出できない旨の表示を、撮像した画像若しくは上面図に重ねて表示することを特徴とする障害物検知システム。
【請求項９】
請求項１又は２において、
前記処理部が前記路面上の特徴的形状を検出できないことを表示するインジケータを備えることを特徴とする障害物検知システム。
【請求項１０】
請求項１又は２において、
前記処理部が前記路面上の特徴的形状を検出できないときは、音声を出力することを特徴とする障害物検知システム。
【請求項１１】
請求項１又は２において、
画像を表示する画像表示部を備え、
差分の出た領域のうち最も前記車両に近い領域を前記画像表示部に強調表示することを特徴とする障害物検知システム。
【請求項１２】
請求項１又は２において、
前記差異の出た領域のうち最も前記車両に近い領域に応じて音声を出力することを特徴とする障害物検知システム。
【請求項１３】
請求項１又は２記載の障害物検知システムにおいて、
前記車両の制動力を制御するブレーキ制御部を備え、
前記処理部は、前記差異の出た領域のうち最も前記車両に近い領域に応じて前記ブレーキ制御部に対する指令を出力することを特徴とする障害物検知システム。
【請求項１４】
路面を含む第１の画像を撮像し、
前記第１の画像とは異なるタイミングで路面を含む第２の画像を撮像し、
前記第１の画像及び第２の画像の上面図を作成し、
前記二枚の上面図から路面上の特徴的形状を検出し、
前記検出した特徴的形状に基づいて、前記二枚の上面図の位置合わせを行い、
前記二枚の上面図の重複部分を比較し、
差異が生じた領域を障害物がある領域と判断することを特徴とする
カメラを用いた障害物検知方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００７−２３５６４２（Ｐ２００７−２３５６４２Ａ）
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願番号】特願２００６−５５６８１（Ｐ２００６−５５６８１）
【出願日】平成１８年３月２日（２００６．３．２）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願日】平成１８年３月２日（２００６．３．２）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]