説明

対象物測距装置及びプログラム

【課題】検出した対象物までの距離を精度良く算出することができる対象物測距装置及びプログラムを提供する。
【解決手段】投光パターン検出部22は、画像上の投光パターン34を検出し、歩行者検出部20は、画像上の歩行者を検出し、投光器制御部24は、歩行者32の画像上の位置座標、及び投光パターン34の画像上の投光位置座標を算出し、2点の偏差が所定値以下となるような投光器14の投光角度を算出し、算出した投光角度で投光されるよう投光器14を制御し、2点の偏差が所定値以下となった場合には、撮像装置12と投光器14との距離、投光位置のX座標、及び投光器14の水平方向の投光角度に基づいて、歩行者32までの距離を算出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物測距装置及びプログラムに関し、特に、撮像した画像から検出した対象物までの距離を算出する対象物測距装置及びプログラムに関する。
【背景技術】
【0002】
近年、車載カメラで撮像した車両周辺の映像を画像処理し、歩行者などの対象物を検出し、検出した対象物までの距離を算出してドライバに算出結果を提示する対象物測距装置を搭載する車両が増加している。
【0003】
検出した対象物までの距離を算出する装置として、2台のカメラを用いて歩行者等の同一物体を撮影し、右画像と左画像との対応点の視差を算出し、三角測量の原理により物体までの距離を算出する歩行者検出処理装置が提案されている(例えば、特許文献1)。
【0004】
また、撮像画像の各画素の速度情報を算出して、算出した速度情報に基づいて自車両の前方を横切る方向に移動する歩行者を検出し、検出した歩行者の画像内における身長と歩幅とを算出し、算出結果及び予め設定された身長と歩幅との比に基づいて実空間における歩幅を推定し、推定した歩幅に基づいて歩行者までの距離を推定する画像処理装置が提案されている(例えば、特許文献2)。
【特許文献1】特開2002−024986号公報
【特許文献2】特開2006−172063号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の歩行者検出装置では、2台のカメラを使用するため、カメラ同士のキャリブレーション処理、及び右画像と左画像とを対応付ける処理が必要となるため処理が煩雑になる、という問題がある。また、特許文献2の画像処理装置では、前方を横切る方向に移動する歩行者で、かつ開脚した姿勢が検出されなければならず、斜め横断する歩行者、車両と同じまたは逆向きに進行する歩行者、予め設定された身長と歩幅との比と異なる高齢者や子供などの歩行者、及び歩行者以外の対象物に対応することができない、という問題がある。
【0006】
本発明は、上述した問題を解決するために提案されたものであり、検出した対象物までの距離を精度良く算出することができる対象物測距装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために本発明の対象物測距装置は、対象領域を撮像する撮像手段と、前記対象領域方向に光を投光する投光角度が変更可能な投光手段と、前記撮像手段により撮像された画像から対象物、及び前記投光手段により投光された光の投光位置を検出する検出手段と、前記検出手段により検出された対象物の画像上の位置と画像上の投光位置との距離が所定範囲内になるように、前記投光手段の投光角度を制御する制御手段と、前記対象物の画像上の位置と画像上の前記投光位置との距離が所定範囲内になった場合に、前記撮像手段と前記投光手段との距離、前記画像上の投光位置、及び前記投光手段の投光角度に基づいて、前記対象物までの距離を算出する距離算出手段と、を含んで構成されている。
【0008】
本発明の対象物測距装置によれば、検出手段が、撮像手段により撮像された画像から対象物、及び投光角度が変更可能な投光手段により投光された光の投光位置を検出し、制御手段が、検出手段により検出された対象物の画像上の位置と画像上の投光位置との距離が所定範囲内になるように、投光手段の投光角度を制御する。
【0009】
撮像手段から投光位置までの距離は、撮像手段と投光手段との距離、画像上の投光位置、及び投光手段の投光角度に基づいて算出可能であるので、距離算出手段が、対象物の画像上の位置と画像上の投光位置との距離が所定範囲内になった場合に、撮像手段と投光手段との距離、画像上の投光位置、及び投光手段の投光角度に基づいて算出される投光位置までの距離を対象物までの距離として算出する。
【0010】
このように、投光位置と対象物の位置との距離が所定範囲となるようにしてから、投光位置までの距離を対象物までの距離として算出するため、検出した対象物までの距離を精度良く算出することができる。
【0011】
また、本発明の対象物測距装置の前記投光手段は、所定投光パターンの光を投光することができる。これにより、例えば、簡易なパターンマッチングを用いるなどして画像から投光パターンを検出することができ、投光位置を容易に検出することができる。
【0012】
また、本発明の対象物測距プログラムは、コンピュータを、対象領域を撮像する撮像手段により撮像された画像から対象物、及び対象領域方向に光を投光する投光角度が変更可能な投光手段により投光された光の投光位置を検出する検出手段と、前記検出手段により検出された対象物の画像上の位置と画像上の投光位置との距離が所定範囲内になるように、前記投光手段の投光角度を制御する制御手段と、前記対象物の画像上の位置と画像上の前記投光位置との距離が所定範囲内になった場合に、前記撮像手段と前記投光手段との距離、前記画像上の投光位置、及び前記投光手段の投光角度に基づいて、前記対象物までの距離を算出する距離算出手段と、して機能させるためのものである。
【発明の効果】
【0013】
以上説明したように、本発明によれば、検出した対象物までの距離を精度良く算出することができる、という効果が得られる。
【発明を実施するための最良の形態】
【0014】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【0015】
図1に示すように、本実施の形態に係る対象物測距装置10は、対象領域を撮像する撮像装置12、所定投光パターンの光を投光する投光器14、撮像装置12から出力される撮像画像に基づいて対象物の1つである歩行者を検出して、歩行者までの距離を算出する対象物測距処理ルーチンを実行するコンピュータ16、及びコンピュータ16での処理結果を表示するための表示装置18を備えている。
【0016】
撮像装置12は、車両30の前方部に設置されている。撮像装置12は、歩行者32を検出するために車両30前方の対象領域を撮像し、画像信号を生成する撮像部(図示省略)、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するA/D変換部(図示省略)、及びA/D変換された画像信号を一時的に格納するための画像メモリ(図示省略)を備えている。本実施の形態では、1台で可視光領域の波長帯の光を用いて撮像される画像(可視光画像と称呼)、及び近赤外域の波長帯の光を用いて撮像される画像(近赤外画像と称呼)の双方を取得可能なマルチバンドカメラを用いる。
【0017】
投光器14は、コンピュータ16の制御により投光角度が変更可能であり、円、三角形、四角形等の予め定めた形状の投光パターン34(本実施の形態では楕円形状)の光を対象領域方向に投光する。図2に示すように、投光器14は、撮像装置12と同一ライン上に、撮像装置12の光軸36とパン角及びチルト角を0°とした場合の投光器14の光軸38とが同一の高さで、前方に向けて平行になるように設置する。投光器14として、車両のヘッドライトを用いることができる。
【0018】
コンピュータ16は、対象物測距装置10全体の制御を司るCPU、後述する対象物測距処理ルーチンのプログラム等を記憶した記憶媒体としてのROM、ワークエリアとしてデータを一時格納するRAM、及びこれらを接続するバスを含んで構成されている。
【0019】
このコンピュータ16をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図1に示すように、撮像装置12により撮像された撮像画像から対象物である歩行者32を検出する歩行者検出部20、撮像装置12により撮像された撮像画像から投光器14により投光された投光パターン34を検出する投光パターン検出部22、画像上の歩行者32の位置と投光パターン34の投光位置との距離が所定範囲内となるよう投光器14の投光角度を制御する投光器制御部24、画像上の歩行者32の位置と投光パターン34の投光位置との距離が所定範囲内になった場合に、歩行者32までの距離を算出する距離算出部26、及び撮像装置12によって撮像された撮像画像に、歩行者検出部20における検出結果と距離算出部26における算出結果とを重畳させて表示装置18に表示するよう制御する表示制御部28を含んだ構成で表すことができる。
【0020】
歩行者検出部20は、撮像画像のうち近赤外画像から予め定められたサイズのウインドウ(探索ウインドウと呼称)40を1ステップにつき、予め定められた移動量(探索ピッチと呼称)だけ移動させながら画像を切り取る。切り取った画像(ウインドウ画像と称呼)を、既知の手法であるSVM(Support Vector Machine)等の手法により、所定枚数のサンプル画像から予め生成しておいた学習モデルと比較することによって歩行者32を検出する。
【0021】
投光パターン検出部22は、撮像画像のうち可視光画像に対してパターンマッチングの画像処理を行って、投光パターン34と同一形状のパターン画像とのマッチングにより、撮像画像から投光パターン34を検出する。なお、パターン画像及び前述の学習モデルは、記憶手段としてのハードディスクドライブ(HDD)やCD−ROM等のような内蔵または外付けの記憶媒体に記憶されている。
【0022】
投光器制御部24は、投光パターン34の光が歩行者の一部に一致するように投光されるように投光器14を制御する。本実施の形態では、実際に投光器14による光が投光される歩行者32への影響を考慮して歩行者32の足元へ投光する場合について説明する。また、歩行者32の足元以外に歩行者に照射されるように光を投光すると、歩行者32の脇を光が通過する場合があり、その場合、歩行者32と投光パターン34との間に奥行き方向の距離が生じて、歩行者32と投光パターン34との位置が一致していないにもかかわらず、撮像画像上では、歩行者32の位置と投光パターン34の位置との距離が所定範囲内にあるかのように誤検出される可能性がある。このため、この誤検出を回避する点においても、路面に接している歩行者32の足元に投光することが好ましい。
【0023】
撮像画像上に、焦点位置を原点とするXY座標を想定して、図3に示すように、歩行者検出部20で歩行者32が検出されたときの探索ウインドウ40の下辺の中点42を歩行者の位置座標(x,y)とする。同様に、投光パターン検出部22で検出された投光パターン34である楕円の中心44を投光位置座標(x,y)とする。画像上における歩行者の位置と投光パターンの位置との距離は、画像の水平方向についての距離はΔx=(x−x)、画像の垂直方向についての距離はΔy=(y−y)として、投光器14の水平方向の投光角度をΔxを0、垂直方向の投光角度をΔy=0、すなわち、画像上の歩行者32の位置と投光位置34とが一致するように制御する。
【0024】
具体的な投光器14の投光角度の制御について説明する。図4に示すように、撮像装置12の光軸36に対する歩行者の足元の水平方向の角度をθ、垂直方向の角度をφ、投光器14の水平方向の投光角度をθ、垂直方向の投光角度をφ、撮像装置12の光軸36に対する投光位置の水平方向の角度をθobs、及び垂直方向の角度をφobsとすると、θobs=θ、及びφobs=φとなるように投光器14の投光角度を制御すればよい。なお、撮像装置12の光軸36に対する水平方向の角度は、撮像装置12の光軸36を基準として左回りの方向を正とし、撮像装置12の光軸36に対する垂直方向の角度は、撮像装置12の光軸36を基準として下向きの方向を正とする。また、投光器14の水平方向の投光角度は、投光器14の光軸38を基準として左回りの方向を正とし、投光器14の垂直方向の投光角度は、投光器14の光軸38を基準として下向きの方向を正とする。
【0025】
まず、投光器14の水平方向の投光角度θの算出方法について説明する。撮像装置12の水平方向の視野角をΔθ、画像のX軸方向の長さをwcxとすると、画像上の歩行者の位置と実際の歩行者32との関係は、図5に示すとおりであり、歩行者32の位置のX座標xは、
【数1】

となる。同様に、撮像装置12の垂直方向の視野角をΔφ、画像のY軸方向の長さをwcyとすると、歩行者32の位置のY座標yは、
【数2】

となる。
【0026】
また、撮像装置12の路面に対する高さをhとすると、歩行者32までの車両30の進行方向(画像上のY軸の方向)についての距離Zの初期値は、図4に示すように
【数3】

となる。θobs=θとするための投光器14の水平方向の投光角度θは、図6に示すように、撮像装置12と投光器14との距離をLとすると、
【数4】

となるため、式(1)〜式(4)をまとめて、
【数5】

として求められる。
【0027】
一方、φobs=φとするための投光器14の垂直方向の投光角度φは、撮像装置12と投光器14との高さを同一としているため、φ=φとすればよい。従って、式(2)から、
【数6】

として求められる。なお、撮像装置12と投光器14との高さが同一でない場合でも、水平方向の投光角度θと同様にして、垂直方向の投光角度φも算出することができる。
【0028】
投光器制御部24は、上記式(5)及び式(6)で算出した水平方向の投光角度θ及び垂直方向の投光角度φを投光器14へ送信して、水平方向の投光角度θ及び垂直方向の投光角度φの投光角度で投光されるよう、投光器14を制御する。
【0029】
距離算出部26は、Δx及びΔyの値が所定値以下となった場合には、θobs=θであるので、投光器14の水平方向の投光角度θ、撮像装置12の光軸36に対する投光位置の水平方向の角度をθobs、及び撮像装置12と投光器14との距離Lから、歩行者32までの距離Zを下記の式(7)に基づいて再算出する。
【数7】

【0030】
撮像装置12と投光器14との距離Lは既知の値、及びθは投光器制御部24により制御された投光器14の水平方向の投光角度を利用することができる。また、θobsは、θobs=θ、すなわち投光パターンの画像上の位置座標x=歩行者の画像上のX座標xであるので、式(4)から算出することができる。
【0031】
次に、図7を参照して、本実施の形態の対象物測距の処理ルーチンについて説明する。本ルーチンは、車両30のイグニッションスイッチがオンされることにより、または、イグニッションスイッチがオンされて対象物測距装置10の電源がオンされることによりスタートする。
【0032】
ステップ100で、撮像装置12で撮像された画像が、歩行者検出部20に入力され、次に、ステップ102で、歩行者検出部20は、入力画像の近赤外画像に対して探索ウインドウ40を設定してウインドウ画像を抽出し、ウインドウ画像と予め生成しておいた学習モデルとの比較により歩行者を検出する。
【0033】
次に、ステップ104で、歩行者検出部20は、入力画像から歩行者が検出されたか否かを判断し、歩行者が検出された場合はステップ106に進む。検出されない場合は、ステップ100に戻って、次の画像が入力される。
【0034】
ステップ106で、投光器制御部24は、歩行者検出部20で検出した歩行者32の画像上の位置座標(x,y)を算出し、次に、ステップ108で、算出した(x,y)を上記の式(5)及び式(6)に代入して、投光器14の水平方向の投光角度θ、及び垂直方向の投光角度φを算出する。なお、式(5)及び式(6)は、固定値である撮像装置12の水平方向の視野角Δθ、垂直方向の視野角Δφ、画像のX軸方向の長さwcx、Y軸方向の長さwcy、撮像装置12の路面に対する高さh、及び撮像装置12と投光器14との距離Lの値を予め代入した状態で記憶されている。
【0035】
次に、ステップ110で、投光器制御部24は、算出した投光角度θ及びφの値を投光器14へ送信し、投光器14が投光角度θ及びφで楕円形状の投光パターン34の光を投光するように制御する。なお、算出した投光角度θ及びφの値は一旦RAMに記憶しておく。
【0036】
次に、ステップ112で、次の画像が歩行者検出部20及び投光パターン検出部22に入力され、ステップ114で、投光パターン検出部22は、入力画像の可視光画像に対してパターンマッチングを行って、画像上の投光パターン34を検出し、ステップ116で、歩行者検出部20は、ステップ102と同様の処理により歩行者を検出する。
【0037】
次に、ステップ118で、投光器制御部24は、ステップ116で検出された歩行者32の画像上の位置座標(x,y)、及びステップ114で検出された投光パターン34の画像上の投光位置座標(x,y)を算出する。
【0038】
次に、ステップ120で、Δx=(x−x)、及びΔy=(y−y)を算出して、|Δx|及び|Δy|が所定値以下であるか否かを判断する。Δx及びΔyが0となるように投光角度を算出しているが、投光角度を算出した時点と、算出した投光角度で投光した投光パターンを検出する画像を撮像する時点とでは、若干の時差があるため、車両及び歩行者の移動等により、Δx及びΔyを完全に0とするのは困難な場合もある。このため、所定値は、画像上の歩行者32と投光パターン34との位置が略一致しているとみなせる程度の値を予め設定しておく。なお、画像上の歩行者32と投光パターン34との位置が完全に一致するように、所定値を「0」としてもよい。所定値以下でない場合には、ステップ122へ進む。
【0039】
ステップ122で、投光器制御部24は、ステップ108と同様の処理により、投光器14の投光角度θ及びφを再算出し、ステップ110へ戻って、再算出した投光角度θ及びφで投光されるよう投光器14を制御し、Δx及びΔyが所定値以下となるまで繰り返す。このとき、Δx及びΔyの符号に応じて、θ及びφを微修正する。
【0040】
ステップ120でΔx及びΔyが所定値以下となった場合には、ステップ124へ進み、Δx及びΔyが所定値以下となったときの投光器14の水平方向の投光角度θ、及び撮像装置12の光軸36に対する投光位置の水平方向の角度をθobsの値を式(7)に代入して、歩行者32までの距離|Z|を算出する。θは、ステップ110でRAMに記憶しておいた情報を取得した値を用い、θobsは、式(4)にΔx及びΔyが所定値以下となったときの歩行者32の画像上のX座標xを代入して得られるθをθobsとして用いる。なお、式(7)は、固定値である撮像装置12と投光器14との距離Lの値を予め代入した状態で記憶されている。
【0041】
次に、ステップ126で、歩行者検出部20は、歩行者32の検出結果を、距離算出部26は、歩行者までの距離の算出結果をそれぞれ表示制御部28に供給し、表示制御部28は、この結果に基づいて、入力画像に対して、検出された歩行者32がウインドウで囲まれて表示され、算出された歩行者32までの距離が歩行者を囲むウインドウに近接して表示されるように表示装置18を制御する。
【0042】
次に、ステップ128で、車両30のイグニッションスイッチがオフされたか、または、対象物測距装置10の電源がオフされたかを判断し、オフされない場合には、ステップ112へ戻って、次の画像を入力し、オフされた場合は、処理を終了する。
【0043】
以上説明したように、本実施の形態における対象物測距装置10では、歩行者32の位置と投光パターン34の位置との差が所定範囲内となった場合に、投光器14の水平方向の投光角度θ、撮像装置12の光軸36に対する投光位置の水平方向の角度をθobs、及び撮像装置12と投光器14との距離Lに基づいて、歩行者32までの距離Zを算出するため、精度良く歩行者32までの距離を算出することができる。
【0044】
なお、本実施の形態では、対象物を歩行者とする場合について説明したが、対象物は、標識等の他のものでもよい。
【0045】
また、本実施の形態では、Δx及びΔyが0となるように、すなわち、画像上の歩行者32と投光パターン34の投光位置とが一致するように投光角度を算出する場合について説明したが、許容される誤差の範囲であれば一致させなくとも、Δx及びΔyが所定範囲内の値となるように投光角度を算出してもよい。
【0046】
また、本実施の形態では、歩行者検出用に近赤外画像、及び投光パターン検出用に可視光画像を利用するため、撮像装置12として、1台で同時に両画像を撮像可能なマルチバンドカメラを用いる場合について説明したが、近赤外画像及び可視光画像を別々の撮像装置で撮像してもよい。この場合、マルチバンドカメラのように両画像の光軸が一致していないため、両カメラ間の距離を補正する処理が別途必要である。
【0047】
また、本実施の形態では、画像から歩行者32を検出する方法として、SVM等の手法により学習モデルとの比較を行う場合について説明したが、例えば、パターンマッチング等、対象物を検出できる方法であれば方法は問わない。また、画像から投光位置を検出する方法として、投光パターン34をパターンマッチングにより検出して、投光パターンの所定位置を投光位置とする場合について説明したが、例えば、輝度値が高い画素に対応する位置を投光位置として検出する等、投光位置を検出できる方法であれば方法は問わない。
【0048】
また、本実施の形態では、投光パターン34の形状として1つの楕円形の場合について説明したが、例えば、図8(A)及び(B)に示すように、簡易な形状(図8では楕円)を複数組み合わせて投光パターン34としてもよい。この場合、パターンマッチングによる投光パターンの検出精度が向上する。また、図8(C)及び(D)に示すように、投光パターンの部分に光が当たらず、その他の部分に光が投光されるようにしてもよい。
【0049】
また、本実施の形態の対象物測距処理ルーチンでは、電源オン後に最初に歩行者が検出されるまで投光器14による投光が行われない場合について説明したが、処理ルーチンがスタートしたら、予め定めておいた初期値の投光角度で投光するようにしてもよい。その場合、図7のステップ100〜ステップ108までを省略することができる。
【0050】
また、本実施の形態では、歩行者32までの距離算出結果を表示装置18に表示する場合について説明したが、音声により運転者に報知するようにしてもよい。
【0051】
また、車両30に対する歩行者32の移動速度を検出し、投光角度の制御を終了してから投光するまでの時間と、車両30に対する歩行者32の移動速度とから、次の画像が撮像される時点での歩行者の位置を予測して、予測した位置に投光されるよう投光角度を制御してもよい。
【図面の簡単な説明】
【0052】
【図1】本実施の形態に係る対象物測距装置の構成を示すブロック図である。
【図2】本実施の形態の概略を示す概略図である。
【図3】本実施の形態における、画像上の歩行者及び投光パターンの一例を示す図である。
【図4】本実施の形態における投光角度算出の原理を示す図である。
【図5】本実施の形態における投光角度算出の原理を示す別の図である。
【図6】本実施の形態における投光角度算出の原理を示す別の図である。
【図7】本実施の形態の対象物測距の処理ルーチンを示すフローチャートである。
【図8】投光パターンの別の例を示す図である。
【符号の説明】
【0053】
10 対象物測距装置
12 撮像装置
14 投光器
16 コンピュータ
18 表示装置
20 歩行者検出部
22 投光パターン検出部
24 投光器制御部
26 距離算出部
28 表示制御部

【特許請求の範囲】
【請求項1】
対象領域を撮像する撮像手段と、
前記対象領域方向に光を投光する投光角度が変更可能な投光手段と、
前記撮像手段により撮像された画像から対象物、及び前記投光手段により投光された光の投光位置を検出する検出手段と、
前記検出手段により検出された対象物の画像上の位置と画像上の投光位置との距離が所定範囲内になるように、前記投光手段の投光角度を制御する制御手段と、
前記対象物の画像上の位置と画像上の前記投光位置との距離が所定範囲内になった場合に、前記撮像手段と前記投光手段との距離、前記画像上の投光位置、及び前記投光手段の投光角度に基づいて、前記対象物までの距離を算出する距離算出手段と、
を含む対象物測距装置。
【請求項2】
前記投光手段は、所定投光パターンの光を投光する請求項1記載の対象物測距装置。
【請求項3】
コンピュータを、
対象領域を撮像する撮像手段により撮像された画像から対象物、及び対象領域方向に光を投光する投光角度が変更可能な投光手段により投光された光の投光位置を検出する検出手段と、
前記検出手段により検出された対象物の画像上の位置と画像上の投光位置との距離が所定範囲内になるように、前記投光手段の投光角度を制御する制御手段と、
前記対象物の画像上の位置と画像上の前記投光位置との距離が所定範囲内になった場合に、前記撮像手段と前記投光手段との距離、前記画像上の投光位置、及び前記投光手段の投光角度に基づいて、前記対象物までの距離を算出する距離算出手段と、
して機能させるための対象物測距プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2009−192415(P2009−192415A)
【公開日】平成21年8月27日(2009.8.27)
【国際特許分類】
【出願番号】特願2008−34515(P2008−34515)
【出願日】平成20年2月15日(2008.2.15)
【出願人】(000003609)株式会社豊田中央研究所 (4,200)
【Fターム(参考)】