説明

距離推定装置、距離推定方法及びプログラム

【課題】前方に存在する対象物までの距離を、精度良く推定する。
【解決手段】車両から対象物までの推定距離を順次算出する。次に、第1の画像を基準に算出された第1の推定距離と、第2の画像を基準に算出された推定距離との差を、第1の画像が撮影された時刻から、第2の画像が撮影された時刻までの間に、車両が走行した走行距離と比較する。そして、比較結果から推定距離の妥当性が肯定された場合には、正確に算出された推定距離から走行距離を減算することで、対象物までの推定距離を更新する。これにより、一度正確な距離が推定された後は、その後に距離の推定が困難な状況になっても、安定して推定距離を更新することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離推定装置、距離推定方法及びプログラムに関し、更に詳しくは、車両の前方に存在する対象物までの距離を推定する距離推定装置、車両の前方に存在する対象物までの距離を推定するための距離推定方法及びプログラムに関する。
【背景技術】
【0002】
近年、車内に設置されたカメラから出力される画像に基づいて、自車の前方に存在する障害物等を検出する運転支援システムが種々提案されている(例えば特許文献1及び2参照)。
【0003】
特許文献1に記載された装置は、交差点などの道路の分岐点をGPS(Global Positioning System)を用いて特定し、特定した位置を、ステレオカメラで撮影する。そして、得られた1組の画像に対して、ステレオマッチング処理を施すことにより、自車の前方に存在する信号機や、標識までの距離を推定する。
【0004】
また、特許文献2に記載された装置は、GPSシステムを用いて特定した自車の位置と、自車の前方を撮影して得られた画像に基づいて特定した信号機の位置との距離を算出する。そして、算出した距離が閾値以下である場合に、ドライバーに警報を発する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平10−177699号公報
【特許文献2】特開2010−49535号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に記載された装置は、距離の推定に高価なステレオカメラを必要とする。また、距離を推定する際に、取り扱うデータの量も大きくなる。
【0007】
特許文献2に記載された装置は、距離の推定にGPSを利用した位置情報を利用する。しかしながら、GPSによる計測結果には、誤差がある程度含まれるため、正確な距離を推定することが困難である。
【0008】
本発明は、上述の事情の下になされたもので、前方に存在する対象物までの距離を、簡易な装置で精度良く推定することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の第1の観点に係る距離推定装置は、
車両の進行方向を順次撮影することにより得られる画像に基づいて、順次前記車両と前記車両の進行方向に位置する対象物との距離を推定する第1の距離推定手段と、
前記画像に基づいて順次推定される推定距離の差を算出する算出手段と、
前記画像が撮影されてから次の前記画像が撮影されるまでに、前記車両が走行する走行距離を算出する走行距離算出手段と、
前記推定距離の差と、前記走行距離とを比較して、前記推定距離の妥当性を判定する判定手段と、
前記判定手段の判定結果が肯定的である場合に、前記推定距離と、前記画像が撮影される時刻以降に前記車両が走行した前記走行距離とを用いて、前記車両と前記対象物との距離を推定する第2の距離推定手段と、
を備える。
【0010】
前記第2の距離推定手段は、
前記車両の速度が、前記画像が撮影される時刻以降の時間で積分されることにより算出された前記走行距離を、前記推定距離から減算することにより、前記車両と前記対象物との距離を算出することとしてもよい。
【0011】
前記第1の距離推定手段は、
第1画像の無限遠点を基準とする前記第1画像における前記対象物の高さをhs1、前記第1画像の撮影後に撮影された第2画像の無限遠点を基準とする前記第2画像における前記対象物の高さをhs2、前記車両の速度をV、前記第1画像が撮影された時刻から前記第2画像が撮影される時刻までの時間をΔtとして、前記推定距離zeを次式を用いて算出することとしてもよい。
【数1】

【0012】
前記第1の距離推定手段は、
第1画像における前記対象物の寸法をW1、前記第1画像の撮影後に撮影された第2画像における前記対象物の寸法をW2、前記車両の速度をV、前記第1画像が撮影された時刻から前記第2画像が撮影される時刻までの時間をΔtとして、前記推定距離を次式を用いて算出することとしてもよい。
【数2】

【0013】
前記第1の距離推定手段は、
前記画像における前記対象物の寸法と、前記車両から前記対象物までの実際の距離との関係から、前記推定距離を推定することとしてもよい。
【0014】
前記判定手段は、前記推定距離の差と前記走行距離との差が、閾値以下である場合に、前記推定距離の妥当性を肯定する判定結果を出力することとしてもよい。
【0015】
距離推定装置は、前記画像を撮影する撮影手段を備えていてもよい。
【0016】
距離推定装置は、前記車両の速度を計測する速度計測手段を備えていてもよい。
【0017】
本発明の第2の観点に係る距離推定方法は、
車両の進行方向を順次撮影することにより得られる画像に基づいて、順次前記車両と前記車両の進行方向に位置する対象物との距離を推定する工程と、
前記画像に基づいて順次推定される推定距離の差を算出する工程と、
前記画像が撮影されてから次の前記画像が撮影されるまでに、前記車両が走行する走行距離を算出する工程と、
前記推定距離の差と、前記走行距離とを比較して、前記推定距離の妥当性を判定する工程と、
前記妥当性の判定結果が肯定的である場合に、前記推定距離と、前記画像が撮影される時刻以降に前記車両が走行した前記走行距離とを用いて、前記車両と前記対象物との距離を算出する工程と、
を含む。
【0018】
本発明の第3の観点に係るプログラムは、
コンピュータに、
車両の進行方向を順次撮影することにより得られる画像に基づいて、順次前記車両と前記車両の進行方向に位置する対象物との距離を推定する手順と、
前記画像に基づいて順次推定される推定距離の差を算出する手順と、
前記画像が撮影されてから次の前記画像が撮影されるまでに、前記車両が走行する走行距離を算出する手順と、
前記推定距離の差と、前記走行距離とを比較して、前記推定距離の妥当性を判定する手順と、
前記妥当性の判定結果が肯定的である場合に、前記推定距離と、前記画像が撮影される時刻以降に前記車両が走行した前記走行距離とを用いて、前記車両と前記対象物との距離を算出する手順と、
を実行させる。
【発明の効果】
【0019】
本発明によれば、自車と前方に存在する対象物との距離が、まず、前方を撮影して得られる画像から推定される。そして、推定された距離(推定距離)が妥当である場合には、当該推定距離と、正確に算出することが可能な自車の走行距離とに基づいて、対象物までの距離の推定が継続される。したがって、正確な推定距離が得られた後は、撮影状況の如何に関わらず、進行方向に存在する対象物までの距離を精度良く推定することが可能となる。
【0020】
また、本発明によれば、ステレオカメラを必要とせず、簡易な装置で進行方向に存在する対象物までの距離を推定することができる。
【図面の簡単な説明】
【0021】
【図1】本実施形態に係る距離推定装置のブロック図である。
【図2】撮影装置の取り付け位置を説明するための図である。
【図3】撮影装置によって撮影された画像を示す図である。
【図4】距離推定装置の動作を説明するためのフローチャートである。
【図5】距離推定装置の動作を説明するためのフローチャートである。
【図6】画像に設定された検出処理領域を示す図である。
【図7】画像に写る信号機の信号灯の直径と、車両から信号機までの実際の距離との関係を示す図である。
【図8】1組の画像に基づいて、車両から対象物までの距離を推定する手順を説明するための図である。
【図9】本実施形態の別例を説明するための図である。
【発明を実施するための形態】
【0022】
以下、本発明の一実施形態を、図面を参照しつつ説明する。図1は本実施形態に係る距離推定装置10の概略的な構成を示すブロック図である。距離推定装置10は、自車の進行方向に存在する信号機や道路標識等の対象物までの距離を推定する装置である。この距離推定装置10は、図1に示されるように、演算装置20、撮影装置31、及び速度計測装置32を有している。
【0023】
撮影装置31は、被写体を撮影することにより取得した画像を、電気信号に変換して出力する装置である。撮影装置31は、例えば図2に示されるように、車両100のフロントウインド上部に取り付けられている。この撮影装置31は、車両100の前方を撮影する。そして、撮影により取得した画像に関する情報を演算装置20へ出力する。
【0024】
図3は、撮影装置31によって撮影された画像PHの一例を示す図である。図3を参照するとわかるように、画像PHには、車両100が走行する道路や、この道路の上方に位置する信号機70等が写っている。画像PHを参照するとわかるように、撮影装置31は、その視野内に、車両100が走行する道路や信号機等が位置するように、視野角や倍率などが調整されている。そして、撮影装置31は、車両100の進行方向を順次撮影し、撮影によって得られた画像に関する情報を出力する。
【0025】
図1に戻り、速度計測装置32は、車両100の速度を計測する装置である。この速度計測装置32は、例えばエンジンのアウトプットシャフトの回転数を計測する。そして、計測した回転数に応じた速度信号を、演算装置20へ出力する。
【0026】
演算装置20は、CPU(Central Processing Unit)21、主記憶部22、補助記憶部23、表示部24、入力部25、及びインターフェイス部26を有するコンピュータである。
【0027】
CPU21は、補助記憶部23に記憶されているプログラムに従って、車両100と車両の前方に存在する対象物との距離を算出する。本実施形態では、CPU21は、処理の進行状況をモード0からモード3までの4つのモードに分類する。そして、モードに応じた処理を実行することにより、車両100から対象物までの距離を算出する。具体的な処理の内容については後述する。
【0028】
主記憶部22は、RAM(Random Access Memory)等を有している。主記憶部22は、CPU21の作業領域として用いられる。
【0029】
補助記憶部23は、ROM(Read Only Memory)、磁気ディスク、半導体メモリ等の不揮発性メモリを有している。補助記憶部23は、CPU21が実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置31から出力される画像に関する情報、及びCPU21による処理結果などを含む情報を順次記憶する。
【0030】
表示部24は、LCD(Liquid Crystal Display)などの表示ユニットを有している。表示部24は、CPU21の処理結果等を表示する。
【0031】
入力部25は、入力キーや、タッチパネル等のポインティングデバイスを有している。オペレータの指示は、入力部25を介して入力され、システムバス27を経由してCPU21に通知される。
【0032】
インターフェイス部26は、シリアルインターフェイスまたはLAN(Local Area Network)インターフェイス等を含んで構成されている。撮影装置31及び速度計測装置32は、インターフェイス部26を介してシステムバス27に接続される。
【0033】
図4及び図5のフローチャートは、CPU21によって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図4及び図5を参照しつつ、距離推定装置10の動作について説明する。また、ここでは図3を参照するとわかるように、撮影装置31の視野内に信号機70が位置し、車両100から信号機70までの距離を算出する例を説明する。
【0034】
まず、最初のステップS101では、CPU21は、距離推定モードを0に設定する。
【0035】
次のステップS102では、CPU21は、撮影装置31から順次出力され、補助記憶部23に順次記憶される画像情報から、最新の画像に関する情報(画像情報)を取得する。ここでは説明の便宜上、図3に示される画像PHに関する画像情報が取得されたものとする。
【0036】
次のステップS103では、CPU21は、取得した画像情報に基づく画像PHに、検出処理領域PAを設定する。図6を参照するとわかるように、この検出処理領域PAは、例えば路面から2mの高さの位置を示す3本の直線L1,L2,L3によって規定される画像上部の領域である。ただし、直線L3は、信号機70を検出する領域が限定される場合に規定される。
【0037】
この検出処理領域PAは、撮影装置31を構成する光学系の焦点距離、画角などに基づいて決定することができる。車両100が走行する道路に設けられた信号機や道路標識等の対象物のほとんどは、この検出領域PAに含まれる。
【0038】
次のステップS104では、CPU21は、対象物の認識処理を実行する。例えば、CPU21は、画像PHに写る信号機70を検出するためのテンプレートを、検出処理領域PAで移動させながら、テンプレートの位置と、テンプレートがマッチングした画像に対する相関値を順次算出する。そして、CPU21は、所定の閾値以上の相関値が算出された場合に、値が最も大きい相関値を算出したときのテンプレートの位置に信号機が存在すると判断し、このテンプレートと重なった画像を対象物として認識する。
【0039】
信号機や道路標識は所定の規格に基づいて製作されている。このため、撮影装置31と信号機との距離に応じた大きさのテンプレートを用いたマッチング処理を行うことで、対象物を比較的正確に特定し、認識することができる。
【0040】
次のステップS105では、CPU21は、現在設定されている距離推定モードを確認する。CPU21は、距離推定モードが0であると判断した場合に、ステップS106へ移行する。
【0041】
ステップS106では、CPU21は、ステップS102で取得された画像PHに存在する対象物が認識されたか否かを判断する。ステップS104で、画像が認識されなかった場合には(ステップS106:No)、CPU21は、ステップS119へ移行する。一方、ステップS104で、画像が認識された場合には(ステップS106:Yes)、CPU21は、ステップS107へ移行する。
【0042】
ステップS107では、CPU21は、画像PHが撮影される所定時間前に撮影された画像PHに写る対象物が認識されているか否かを判断する。ここで、説明の便宜上、上述の所定時間前に撮影された画像PHを画像PHと表示し、以降順次撮影された画像を画像PH,画像PH,…,PHと表示するものとする。したがって、ここでは、ステップS103で検出処理領域PAが設定された画像PHは、画像PHということになる。
【0043】
CPU21は、画像PHに写る対象物が認識されていない場合、例えば、画像PHに写る対象物がはじめて認識された場合には(ステップS107:No)、ステップS114へ移行する。
【0044】
ステップS114では、CPU21は、画像PHに写る信号機70の大きさに基づいて、車両100から信号機70までの距離を推定する。図7には、画像に写る信号機70の信号灯の直径と、車両100から信号機70までの実際の距離との関係を示す曲線Sが示されている。この曲線Sは、信号灯の直径をx、車両100から信号機70までの距離をyとしたときに、関数y=f(x)で示される。CPU21は、画像PHに写る信号機70の信号灯の直径を計測すると、計測して得られた値を、上記関数のxに代入することで、車両100から信号機70までの距離を推定距離zeとして算出する。
【0045】
一方、例えば画像PHが撮影される前に撮影された画像PHにも信号機70が写っており、ステップS104において、画像PHに写る信号機70が認識されていた場合には、ステップS107での判断が肯定される(ステップS107:Yes)。この場合には、CPU21は、次のステップS108へ移行する。
【0046】
ステップS108では、画像PH及び画像PHについて無限遠点P0を検知できるか否かを判断する。この無限遠点P0は、図3を参照するとわかるように、道路と路側とを区画するライン81や、走行車線と対抗斜線とを区画するライン82のエッジが収束する点に基づいて検知することができる。また、無限遠点P0は、ライン81,82以外に、道路に沿って延設されるガードレールのエッジや、道路に沿って並ぶ建造物などのエッジの収束点に基づいて決定してもよい。
【0047】
CPU21は、ライン81,82の収束点等に基づいて両画像PH,PHの無限遠点P0の検知を試みる。そして、画像PH及び画像PHの双方から無限遠点P0が検知されなかった場合、或いは画像PH及び画像PHのうちの一方のみからしか無限遠点P0が検知されなかった場合には(ステップS108:No)、ステップS115へ移行する。
【0048】
ステップS115では、CPU21は、距離推定モードを1に設定する。
【0049】
次のステップS116では、CPU21は、画像PHに写る対象物(ここでは信号機70)の大きさと、画像PHに写る対象物の大きさのとの相違(変化分)に基づいて、車両100から対象物までの推定距離zeを算出する。
【0050】
例えば、画像PHが撮影された時刻から画像PHが撮影された時刻までの時間をΔt(sec)とし、車両100の速度をV(m/sec)とし、画像PHにおける対象物の幅をW1(pixel)とし、画像PHにおける対象物の幅をW2(pixel)とすると、車両100から対象物までの推定距離ze(m)は、次式(1)によって表される。
【0051】
【数3】

【0052】
そこで、CPU21は、画像PHに写る対象物の幅W1と、画像PHに写る対象物の幅W2とを求め、画像PHが撮影された時刻から画像PHが撮影された時刻までの時間Δtを算出する。そして、対象物の幅W1,W2と、時間Δtと、速度計測装置32を介して計測した車両100の速度Vとを上記式(1)へ代入し、対象物までの推定距離zeを算出する。
【0053】
次のステップS117では、CPU21は、高精度距離が継続したか否かを判断する。ここでの処理は、具体的には、推定距離zeの妥当性を判定し、推定距離zeに妥当性がある場合には、高精度距離が継続したと判断する。この判断は、推定距離ze,zeそれぞれと、車両の走行距離V・Δtと、閾値ΔZとの関係が次式(2)を満たすか否かによって行う。
【0054】
【数4】

【0055】
上記式は、画像PHに基づいて算出された推定距離zeと画像PHの前に撮影された画像PHに基づいて算出された推定距離zeとの差(推定差)を、画像PHが撮影された時刻から画像PHが撮影された時刻までに車両100が走行した走行距離(V・Δt)と比較して、推定距離の差と走行距離との差が閾値以下である場合に、画像に基づいて算出した推定距離に妥当性があると判断するためのものである。この式は、正確に取得することができる車両100の走行距離と、推定距離zeと推定距離zeとの差が等価である場合には、推定距離ze,zeそれぞれも妥当な値であるという思想に基づいている。
【0056】
CPU21は、ステップS102からステップS120までの処理が繰り返され、ステップS117が実行されるごとに、上記式(2)の左辺の式|(ze−ze)−V・Δt|で示される演算を行う。そして、この演算結果が、例えば予め定められた回数N回連続で閾値ΔZ以下である場合に、高精度距離が継続したと判断する(ステップS117:Yes)。
【0057】
なお、この高精度距離が継続しているか否かの判断は、ステップS116での算出された推定距離zeのみを対象に行われるものではなく、ステップS109で算出された推定距離zeについても判断の対象となる。例えば、ステップS102〜ステップS120までの処理が繰り返し実行され、まず、ステップS109で推定距離zeが算出され、次の繰り返し処理で、ステップS116で推定距離zeが算出され、さらに、次の繰り返し処理で、ステップS116で推定距離zeが算出された場合を考える。この場合には、|(ze−ze)−V・Δt|、|(ze−ze)−V・Δt|の双方が閾値ΔZ以下であったときに、ステップS117では、2回連続して上記式(2)で示される条件を満たしたと判断される。
【0058】
ステップS117での判断が肯定された場合には(ステップS117:Yes)、CPU21は、ステップS118へ移行する。そして、距離推定モードを2に設定した後、次のステップS119へ移行する。一方、上記式(2)の左辺に示される式の演算結果が、閾値ΔZより大きい場合には、ステップS117の判断が否定され(ステップS117:No)、CPU21は、ステップS119へ移行する。
【0059】
また、ステップS108において、CPU21は、ライン81,82の収束点等に基づいて両画像PH,PHの無限遠点P0の検知を試みた結果、画像PH及び画像PHの双方から無限遠点P0が検知された場合には(ステップS108:Yes)、ステップS109へ移行する。
【0060】
ステップS109では、CPU21は、画像PHに写る対象物の位置と、画像PHに写る対象物の位置の差(位置変化)に基づいて、画像PHが撮影されたときの、車両100から対象物までの推定距離zeを算出する。
【0061】
図8は、撮影装置31の焦点FCと、画像PH,PHから検出された無限遠点P0と、画像PHが撮影された時刻における焦点FCに対する対象物の位置を示す円形のマーク700と、画像PHが撮影された時刻における焦点FCに対する対象物の位置を示す円形のマーク700と、撮影装置31の像面を示す直線L4との位置関係を模式的に示す図である。この図8を参照するとわかるように、画像PHの対象物は、マーク700及び焦点FCを通る直線L5と直線L4との交点P1に対応する画像PH上の点近傍に写り込む。また、画像PHの対象物は、マーク700及び焦点FCを通る直線L6と直線L4との交点P2に対応する画像PH上の点近傍に写り込む。
【0062】
図8を参照するとわかるように、例えば、画像PHが撮影された時刻から画像PHが撮影された時刻までの時間をΔt(sec)とし、車両100の速度をV(m/sec)とし、撮影装置31を構成する光学系の焦点距離をfとし、無限遠点P0を基準にしたときの画像PHにおける対象物の高さをhs1(pixel)とし、無限遠点P0を基準にしたときの画像PHにおける対象物の高さをhs2(pixel)とし、路側物の実際の高さをh(m)とし、スケールファクタ(Sv)をf/δvとすると、次式(3)及び(4)が成立し、式(3)及び式(4)から、車両100から対象物までの推定距離ze(m)を示す次式(5)が導かれる。
【0063】
【数5】

【数6】

【数7】

【0064】
そこで、CPU21は、画像PHに写る対象物の高さhs1と,画像PHに写る対象物の高さhs2とを求めるとともに、画像PHが撮影された時刻から画像PHが撮影された時刻までの時間Δtを算出する。そして、対象物の高さhs1,hs2と、時間Δtと、速度計測装置32を介して計測した車両100の速度Vとを上記式(1)へ代入し、対象物までの推定距離zeを算出する。
【0065】
次のステップS110では、CPU21は、高精度距離が継続したか否かを判断する。ステップS110では、上述したステップS117での処理と同等の処理が実行される。ステップS110での判断が肯定された場合には(ステップS110:Yes)、CPU21は、ステップS111へ移行する。そして、距離推定モードを3に設定した後、次のステップS119へ移行する。一方、ステップS110での判断が否定された場合は(ステップS110:No)、CPU21は、ステップS119へ移行する。
【0066】
また、CPU21は、ステップS105において、距離推定モードが1である場合には、ステップS112へ移行する。
【0067】
ステップS112では、CPU21は、両画像PH,PHについて対象物の検知を試みる。そして、画像PH及び画像PHの双方から対象物が検知された場合には(ステップS112:Yes)、ステップS108へ移行する。一方、CPU21は、画像PH及び画像PHの双方から対象物が検知されなかった場合、或いは画像PH及び画像PHのうちの一方のみからしか対象物が検知されなかった場合には(ステップS112:No)、ステップS119へ移行する。
【0068】
また、CPU21は、ステップS105において、距離推定モードが2である場合には、ステップS113へ移行する。
【0069】
ステップS113では、CPU21は、ライン81,82の収束点等に基づいて両画像PH,PHの無限遠点P0の検知を試みる。そして、画像PH及び画像PHの双方から無限遠点P0が検知された場合には(ステップS113:Yes)、ステップS109へ移行する。一方、画像PH及び画像PHの双方から無限遠点P0が検知されなかった場合、或いは画像PH及び画像PHのうちの一方のみからしか無限遠点P0が検知されなかった場合には(ステップS113:No)、ステップS119へ移行する。
【0070】
また、CPU21は、ステップS105において、距離推定モードが3である場合には、ステップS119へ移行する。
【0071】
ステップS119では、CPU21は、推定結果を出力するための処理を実行する。具体的には、CPU21は、図5のフローチャートに示されるサブルーチン200を実行する。
【0072】
最初のステップS201では、CPU21は、推定距離zeの履歴が存在するか否かを判断する。例えば、ステップS104で対象物が認識されず、ステップS106での判断が否定された場合には、推定距離zeの履歴が存在しない。この場合には、ステップS201での判断が否定される(ステップS201:No)。ステップS201での判断が否定された場合には、CPU21は、サブルーチン200を終了し、次のステップS120へ移行する。
【0073】
一方、上述したステップS114,S116,S109で距離の推定が行われた場合には、ステップS201での判断が肯定される(ステップS201:Yes)。ステップS202での判断が肯定された場合には、次のステップS202へ移行する。
【0074】
次のステップS202では、CPU21は、現在設定されている距離推定モードを確認する。CPU21は、距離推定モードが0又は1であると判断した場合には、ステップS204へ移行する。一方、距離推定モードが2又は3であると判断した場合には、ステップS203へ移行する。
【0075】
ステップS204では、CPU21は、ステップS204へ移行する前に、ステップS109,S116,S114のいずれかで、推定距離が検出されたか否かを判断する。ステップS106で対象物が認識されなかった場合、或いはステップS105の判断時に距離推定モードが3であった場合には、ステップS204での判断が否定され(ステップS204:No)、CPU21は、ステップS205へ移行する。
【0076】
ステップS205では、CPU21は、次式(6)に示される演算を実行することによって、最新の車両と対象物との距離である算出距離ZEを算出する。なお、tは現在時刻であり、tは推定距離zeが算出される元となった画像PHが撮影された時刻であり、Vは車速である。
【0077】
【数8】

【0078】
一方、ステップS106で対象物が認識された場合は、ステップS204での判断が肯定され(ステップS204:Yes)、CPU21は、ステップS206へ移行し、推定距離zeを算出距離ZEと認識する。そして、次のステップS207へ移行する。
【0079】
また、ステップS202において、現在推定されている距離推定モードが2又は3である場合には、CPU21は、ステップS203へ移行する。
【0080】
ステップS203では、CPU21は、次式(7)に示される演算を実行することによって、最新の車両と対象物との距離である算出距離ZEを算出する。なお、tは現在時刻であり、tは最新の推定距離zeが算出される元となった画像PHが撮影された時刻であり、Vは車速である。また、補正推定距離ze01は、高精度距離が継続したと判断された時点において画像から推定される推定距離をzeha、車速をV(m/sec)、画像の撮影間隔をΔt(sec)、推定距離zeと推定距離zeとの差(ze−ze)をΔz、AVG(X)をXの平均を算出する関数とすると、次式(8)で示される。なお、式(8)でのAVG(V・Δt/Δz)は、上記式(2)の条件がみたされたときの(V・Δt/Δz)の平均値を表す。換言すると、AVG(V・Δt/Δz)は、上記式(2)で示される条件が満たされるごとに記憶される(V・Δt/Δz)の値の平均値である。
【0081】
【数9】

【数10】

【0082】
ステップS207では、CPU21は、車両100が対象物近傍で停止することが可能か否かを判断する。例えば、算出距離ZEと、車両100の速度Vと、車両100が対象物に到達するまでの時間TTCとの関係が、次式(9)に示される条件を満たす場合に、CPU21は、車両100が対象物近傍で停止することができないと判断する(ステップS207:No)。この場合には、CPU21は、ステップS208へ移行し、ドライバーに警報を発する。この警報は、例えば、表示部24にテキストを表示したり、外部に警告音或いは信号を発すること等が考えられる。
【0083】
【数11】

【0084】
一方、算出距離ZEと、車両100の速度Vと、車両100が対象物に到達するまでの時間TTCとの関係が、上記式(9)に示される条件を満たさない場合には、CPU21は、車両100が対象物近傍で停止することができると判断する(ステップS207:Yes)。この場合には、CPU21はステップS209へ移行する。
【0085】
ステップS209では、CPU21は、対象物を通過したか否かを判断する。この判断は、例えばある時刻tでの算出距離ZEと、時刻tから現在時刻tまでの走行距離V・(t−t)とを比較することにより行う。算出距離ZEよりも走行距離V・(t−t)の方が大きい場合には(ステップS209:Yes)、CPU21は、次のステップS210へ移行する。そして、CPU21は、距離推定モードを0に設定する。CPU21は、ステップS210の処理が完了すると、サブルーチン200を終了し、ステップS120へ移行する。
【0086】
一方、ステップS209において、算出距離ZEよりも走行距離V・(t−t)の方が小さい場合には(ステップS209:No)、CPU21は、サブルーチン200を終了し、ステップS120へ移行する。
【0087】
ステップS120では、CPU21は、今回の処理ステップにおける、推定した距離に関する情報等を補助記憶部23へ保存する。CPU21は、ステップS120での処理が終了すると、ステップS102へ戻り、以降ステップS102〜S120までの処理を繰り返し実行する。
【0088】
以上説明したように、本実施形態では、車両100から対象物までの推定距離zeが複数回算出されると、画像PHを基準に算出された推定距離zeと、画像PHの次に撮影された画像PHを基準に算出された推定距離zeとの差が、画像PHが撮影された時刻tから、画像PHが撮影された時刻tまでの間に、車両100が走行した走行距離V・ΔT(=V・(t−t))と比較される(ステップS110,S117)。
【0089】
車両100の走行距離は、車速を積分することで正確に算出することができる。このため、推定距離の差と走行距離を比較し、双方がほぼ等しい場合には、推定距離が概ね正確であることがわかる。本実施形態では、推定距離が概ね正確で、妥当性があると判断された場合に、以降画像に基づいて算出された推定距離を用いることなく、妥当性のある推定距離から、正確に算出することが可能な走行距離を順次減算することにより、車両100から対象物までの距離を更新する(ステップS203,S205)。このため、一度正確な距離が推定された後は、その後に画像に基づく距離の推定が困難な状況になっても、安定して車両100から対象物までの距離を算出することができる。したがって、進行方向に存在する対象物までの距離を、精度良く推定することができる。
【0090】
また、本実施形態では、車両100から対象物までの距離の算出に、単眼の撮影装置によって撮影された画像PHが用いられる。したがって、高価なステレオカメラを必要とせず、簡易な装置で進行方向に存在する対象物までの距離を推定することが可能となる。
【0091】
また、本実施形態では、対象物が信号機70である場合を例に挙げて説明を行った。これに限らず、例えば図9に示されるように、対象物は、道路の路側に位置する道路標識71であってもよい。画像に写る道路標識71も、信号機70の検出と同様に、テンプレートを用いて行うことができる。
【0092】
また、本実施形態では、ステップS116において、対象物の幅W1,W2の変化に基づいて、車両100から対象物までの推定距離を算出した。これに限らず、対象物の高さに基づいて、車両100から対象物までの推定距離を算出してもよい。
【0093】
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
【0094】
例えば、上記実施形態では、CPU21が補助記憶部に記憶されたプログラムを実行することにより、推定距離が算出された。これに限らず、演算装置20を、ハードウェアによって構成してもよい。
【0095】
また、演算装置20の補助記憶部23に記憶されているプログラムは、フレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto-Optical disk)等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
【0096】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
【0097】
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
【産業上の利用可能性】
【0098】
本発明の距離推定装置、距離推定方法及びプログラムは、車両の前方に存在する対象物までの距離を推定するのに適している。
【符号の説明】
【0099】
10 距離推定装置
20 演算装置
21 CPU
22 主記憶部
23 補助記憶部
24 表示部
25 入力部
26 インターフェイス部
27 システムバス
31 撮影装置
32 速度計測装置
70 信号機
71 道路標識
100 車両
200 サブルーチン
700 マーク
FC 焦点
P0 無限遠点
PA 検出処理領域
PH 画像

【特許請求の範囲】
【請求項1】
車両の進行方向を順次撮影することにより得られる画像に基づいて、順次前記車両と前記車両の進行方向に位置する対象物との距離を推定する第1の距離推定手段と、
前記画像に基づいて順次推定される推定距離の差を算出する算出手段と、
前記画像が撮影されてから次の前記画像が撮影されるまでに、前記車両が走行する走行距離を算出する走行距離算出手段と、
前記推定距離の差と、前記走行距離とを比較して、前記推定距離の妥当性を判定する判定手段と、
前記判定手段の判定結果が肯定的である場合に、前記推定距離と、前記画像が撮影される時刻以降に前記車両が走行した前記走行距離とを用いて、前記車両と前記対象物との距離を推定する第2の距離推定手段と、
を備える距離推定装置。
【請求項2】
前記第2の距離推定手段は、
前記車両の速度が、前記画像が撮影される時刻以降の時間で積分されることにより算出された前記走行距離を、前記推定距離から減算することにより、前記車両と前記対象物との距離を算出する請求項1に記載の距離推定装置。
【請求項3】
前記第1の距離推定手段は、
第1画像の無限遠点を基準とする前記第1画像における前記対象物の高さをhs1、前記第1画像の撮影後に撮影された第2画像の無限遠点を基準とする前記第2画像における前記対象物の高さをhs2、前記車両の速度をV、前記第1画像が撮影された時刻から前記第2画像が撮影される時刻までの時間をΔtとして、前記推定距離zeを次式を用いて算出する請求項1又は2に記載の距離推定装置。
【数1】

【請求項4】
前記第1の距離推定手段は、
第1画像における前記対象物の寸法をW1、前記第1画像の撮影後に撮影された第2画像における前記対象物の寸法をW2、前記車両の速度をV、前記第1画像が撮影された時刻から前記第2画像が撮影される時刻までの時間をΔtとして、前記推定距離を次式を用いて算出する請求項1又は2に記載の距離推定装置。
【数2】

【請求項5】
前記第1の距離推定手段は、
前記画像における前記対象物の寸法と、前記車両から前記対象物までの実際の距離との関係から、前記推定距離を推定する請求項1又は2に記載の距離推定装置。
【請求項6】
前記判定手段は、前記推定距離の差と前記走行距離との差が、閾値以下である場合に、前記推定距離の妥当性を肯定する判定結果を出力する請求項1乃至5のいずれか一項に記載の距離推定装置。
【請求項7】
前記画像を撮影する撮影手段を備える請求項1乃至6のいずれか一項に記載の距離推定装置。
【請求項8】
前記車両の速度を計測する速度計測手段を備える請求項1乃至7のいずれか一項に記載の距離推定装置。
【請求項9】
車両の進行方向を順次撮影することにより得られる画像に基づいて、順次前記車両と前記車両の進行方向に位置する対象物との距離を推定する工程と、
前記画像に基づいて順次推定される推定距離の差を算出する工程と、
前記画像が撮影されてから次の前記画像が撮影されるまでに、前記車両が走行する走行距離を算出する工程と、
前記推定距離の差と、前記走行距離とを比較して、前記推定距離の妥当性を判定する工程と、
前記妥当性の判定結果が肯定的である場合に、前記推定距離と、前記画像が撮影される時刻以降に前記車両が走行した前記走行距離とを用いて、前記車両と前記対象物との距離を算出する工程と、
を含む距離推定方法。
【請求項10】
コンピュータに、
車両の進行方向を順次撮影することにより得られる画像に基づいて、順次前記車両と前記車両の進行方向に位置する対象物との距離を推定する手順と、
前記画像に基づいて順次推定される推定距離の差を算出する手順と、
前記画像が撮影されてから次の前記画像が撮影されるまでに、前記車両が走行する走行距離を算出する手順と、
前記推定距離の差と、前記走行距離とを比較して、前記推定距離の妥当性を判定する手順と、
前記妥当性の判定結果が肯定的である場合に、前記推定距離と、前記画像が撮影される時刻以降に前記車両が走行した前記走行距離とを用いて、前記車両と前記対象物との距離を算出する手順と、
を実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−98968(P2012−98968A)
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願番号】特願2010−246914(P2010−246914)
【出願日】平成22年11月2日(2010.11.2)
【出願人】(000000011)アイシン精機株式会社 (5,421)
【Fターム(参考)】