車両用距離画像データ生成装置
【課題】 自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置を提供する。
【解決手段】 自車両前方に所定周期でパルス光を投光する投光器7と、撮像エリアに応じて設定される撮像タイミングで撮像エリアから帰ってくる反射光を撮像する高速度カメラ8と、撮像エリアが連続的に変化するように撮像タイミングを制御するタイミングコントローラ9と、高速度カメラ8により得られた撮像エリアの異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部10と、を備え、タイミングコントローラ9は、走行環境に応じて各ターゲット距離の撮像時間の長さを異ならせる。
【解決手段】 自車両前方に所定周期でパルス光を投光する投光器7と、撮像エリアに応じて設定される撮像タイミングで撮像エリアから帰ってくる反射光を撮像する高速度カメラ8と、撮像エリアが連続的に変化するように撮像タイミングを制御するタイミングコントローラ9と、高速度カメラ8により得られた撮像エリアの異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部10と、を備え、タイミングコントローラ9は、走行環境に応じて各ターゲット距離の撮像時間の長さを異ならせる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用距離画像データ生成装置の技術分野に属する。
【背景技術】
【0002】
特許文献1には、自車両前方を投光し、ターゲット距離から戻ってくる反射光のタイミングに合わせて撮像した画像に基づいて、当該ターゲット距離に障害物等の物体が存在するか否かを検出する技術が開示されている。
【特許文献1】米国特許第6700123号明細書
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上記従来技術にあっては、ターゲット距離以外の物体を検出できない。つまり、状況の把握が間欠的であり、自車両前方の状況を連続的に把握できないという問題があった。
【0004】
本発明の目的は、自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置を提供することにある。
【課題を解決するための手段】
【0005】
上記目的を達成するため、本発明の車両用距離画像データ生成装置では、
自車両前方に所定周期でパルス光を投光する投光手段と、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、
前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、
を備え、
前記タイミング制御手段は、走行環境に応じて各ターゲット距離の撮像時間の長さを異ならせることを特徴とする。
【0006】
ここで、「走行環境」とは、例えば、自車両の速度、物体の有無およびその数、走行路の形状(直線路、曲線路)、天候(晴天、悪天候)、走行時刻(昼夜)等をいう。
【発明の効果】
【0007】
よって、本発明にあっては、ターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成するため、自車両前方の状況を連続的に把握できる。
また、走行環境に応じて各ターゲット距離の撮像時間を異ならせるため、走行環境に応じて各ターゲット距離で必要とされる分解能を異なるのに対し、撮像画像数の増加を伴うことなく特定のターゲット距離の分解能を高めることができる。
【発明を実施するための最良の形態】
【0008】
以下、本発明の車両用距離画像データ生成装置を実現するための最良の形態を、図面に基づく実施例により説明する。
【実施例1】
【0009】
まず、構成を説明する。
図1は、本発明の車両用距離画像データ生成装置を適用した実施例1の障害物検出装置1の構成を示すブロック図であり、実施例1の障害物検出装置1は、距離画像データ生成装置2と、物体認識処理部3と、判断部4とを備えている。
【0010】
距離画像データ生成装置2は、投光器(投光手段)5と、対物レンズ6と、光増倍部7と、高速度カメラ(撮像手段)8と、タイミングコントローラ(タイミング制御手段)9と、画像処理部(距離画像データ生成手段)10とを備えている。
投光器5は、車両の前端部に配置した近赤外線LEDであり、タイミングコントローラ9から出力されるパルス信号に応じて、所定の投光時間tL(例えば、5ns)の間、パルス光を出力する。パルス信号の周期は、投光器5の投光周期tPであり、投光周期tPは、例えば、1/100s以下の間隔とする。
対物レンズ6は、物体からの反射光を受光するためのもので、投光器5と隣接配置している。例えば、自車両前方の所定範囲を撮像できる画角とするように設定された光学系である。
【0011】
光倍増部7は、ゲート7aとイメージインテンシファイア7bとを備えている。
ゲート7aは、タイミングコントローラ9からの開閉指令信号に応じて開閉する。ここで、実施例1では、ゲート7aの開時間(ゲート時間)tGを、投光時間tLと同じ5nsとしている。ここで、ゲート時間tGは、撮像エリア(ターゲット距離)の撮像対象幅に相当し、ゲート時間tGを長くするほど撮像エリアの撮像対象幅は長くなる。実施例1では、ゲート時間tG=5nsとしているため、撮像対象幅は、光速度(約3×108m/s)×ゲート時間(5ns)から、1.5mとなる。
【0012】
イメージインテンシファイア7bは、極微弱な光(物体からの反射光等)を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るデバイスである。イメージインテンシファイア7bの光電面より光電現象によって打ち出された光電子はkVオーダーの高電圧で加速され、陽極側の蛍光面に打ち込まれることにより、100倍以上の光子数の蛍光を発する。蛍光面で発生した蛍光は、ファイバオプティックプレートにより、そのままの位置関係を保ったまま散乱されることなく高速度カメラ8のイメージセンサに導かれる。
高速度カメラ8は、タイミングコントローラ9からの指令信号に応じて、光倍増部7から発せられた像を撮像し、撮像画像(カラー画像)を画像処理部10へ出力する。実施例1では、解像度640×480(横:縦)、輝度値1〜255(256段階)、100fps以上のカメラを用いている。
【0013】
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、投光器5の投光開始時点からゲート7aを開くまでの時間であるディレイ時間tDを設定し、ディレイ時間に応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間tDは、自車両から撮像エリアまでの距離(撮像対象距離)を決める値であり、ディレイ時間tDと撮像対象距離との関係は、以下の式となる。
撮像対象距離=光速度(約3×108m/s)×ディレイ時間tD/2
図2に、1つの撮像エリアを撮像する際の、投光器5の動作(投光動作)とゲート7aの動作(カメラゲート動作)との時間的な関係を示す。
【0014】
タイミングコントローラ9は、撮像エリアが車両手前側から先方へと連続的に移動するように、ディレイ時間tDを所定間隔(例えば、10ns)ずつ長くすることで、高速度カメラ8の撮像範囲を車両前方側へ変化させる。なお、タイミングコントローラ9は、ゲート7aが開く直前に高速度カメラ8の撮像動作を開始させ、ゲート7aが完全に閉じた後に撮像動作を終了させる。
【0015】
また、実施例1では、図3に示すように、撮像対象距離をB1→B2→B3→…と連続的に変化させながら撮像する際、撮像エリアの撮像対象幅Aよりも撮像対象距離の増加量(B2-B1)を短くすることで、撮像エリアの一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。
【0016】
図4は、撮像対象距離の増加量を極限まで小さくした場合、言い換えると、撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図であり、撮像エリアの一部をオーバーラップさせることで、連続する複数の撮像画像における同一画素の輝度値は、徐々に増加し、ピーク後は徐々に小さくなる特性となる。なお、実際には撮像エリアは有限個(1〜n)であるが、連続する撮像エリアの一部をオーバーラップさせることで、時間的な輝度変化は図4の特性に近くなる。
【0017】
さらに、タイミングコントローラ9は、走行環境に応じて各撮像エリアの撮像時間の長さが異なるように、各撮像エリアのゲート時間tGを設定する撮像時間設定制御を実施する。実施例1では、走行環境として、自車両の車速と物体の有無およびその数を用いている。
【0018】
タイミングコントローラ9は、1フレーム分、すなわち、設定された所定範囲(エリア1、エリア2、…、エリアn)の撮像画像が全て撮像された場合、画像処理部10に対し画像処理指令信号を出力する。
【0019】
画像処理部10は、高速度カメラ8により撮像された1フレーム分の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成し、生成した距離画像データを物体認識処理部3へ出力する。
【0020】
物体認識処理部3は、距離画像データに含まれる物体を特定する。物体の特定方法は、パターンマッチング等、周知の技術を用いることができる。
判断部4は、物体認識処理部3により特定された物体(人、自動車、標識等)と自車両との関係(距離、相対速度等)に基づいて、警報等による運転者への情報提示、自動ブレーキ等の車両制御の要否を判断する。
【0021】
[距離画像データ生成制御処理]
図5は、実施例1の画像処理部10で実行される距離画像データ生成制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。
【0022】
ステップS1では、自車両に最も近い撮像エリアであるエリア1を、投光器5による投光を行わずに撮像し、撮像画像の任意の画素の輝度値データを最小値データとして記憶し、ステップS2へ移行する。
【0023】
ステップS2では、撮像画像を入力し、ステップS3へと移行する。
【0024】
ステップS3では、ステップS1で記憶した最小値データと、ステップS2で入力した撮像画像の各画素の輝度値データのうち最も低い輝度値データとを比較し、当該輝度値データが最小値データよりも低いか否かを判定する。YESの場合にはステップS4へ移行し、NOの場合にはステップS5へ移行する。
【0025】
ステップS4では、最小値データよりも低い輝度値データを新たな最小値データとして記憶し、ステップS5へ移行する。
【0026】
ステップS5では、画素毎に輝度値データと最小値データとの差分を取り、当該画素における現在のデータとし、ステップS6へ移行する。
【0027】
ステップS6では、1フレーム分(エリア1、エリア2、…、エリアn)の画像入力が終了したか否かを判定する。YESの場合にはステップステップS7へ移行し、NOの場合にはステップS2へ移行する。
【0028】
ステップS7では、n個の撮像画像の同一画素の輝度値データを比較し、最も値の高い輝度値データと対応する撮像画像のフレーム番号(ディレイ時間tD)から距離画像データを生成し、リターンへ移行する。
【0029】
[撮像時間設定制御処理]
図6は、実施例1のタイミングコントローラ9で実行される撮像時間設定制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。
【0030】
ステップS21では、現在の車速(車体速)を読み込み、ステップS22へ移行する。
【0031】
ステップS22では、距離画像データに基づいて、物体を検出しているか否かを判定する。YESの場合にはステップS23へ移行し、NOの場合にはステップS24へ移行する。
【0032】
ステップS23では、物体の位置に応じて各撮像エリアの撮像対象幅(撮像時間)を設定し、リターンへ移行する。
具体的には、物体が検出された撮像エリアの撮像対象幅が1m、その前後の撮像エリアの撮像対象幅が2m、その他の撮像エリアの撮像対象幅が5mとなるように、各撮像エリアのゲート時間tGを設定する。
【0033】
ここで、複数の物体が検出された場合は、自車両に最も近い物体が検出された撮像エリアの撮像対象幅が1m、その前後の撮像エリアと他の物体が検出された撮像エリアの撮像対象幅が2m、その他の撮像エリアの撮像対象幅が5mとなるように、各撮像エリアのゲート時間tGを設定する。
【0034】
ステップS24では、車速に応じて各撮像エリアの撮像対象幅を設定し、リターンへ移行する。
具体的には、車速が低車速しきい値(例えば、40km/h)以下である低車速域では、自車両に最も近い撮像エリア(エリア1)の撮像対象幅が1m、エリア2の撮像対象幅が2m、その他の撮像エリア(エリア3〜エリアn)が撮像対象幅を5mとなるように、各撮像エリアのゲート時間tGを設定する。また、車速が40km/hを超える場合には、車速が高くなるほど撮像対象幅を1mとする撮像エリアをより遠くの撮像エリアに設定し、車速が高車速しきい値(例えば、40km/h)以上となる高車速域では、近くの撮像エリアよりも遠くの撮像エリアの撮像対象幅が狭くなるようにゲート時間tGを設定する。
また、実施例1では、車速が高くなるほどエリア1の撮像対象距離が長くなるようにディレイ時間tDを設定する。
【0035】
次に、作用を説明する。
[距離画像データ生成作用]
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ8の撮像タイミングを制御する。狙った撮像エリアに物体が存在している場合、投光器5から出射された光が撮像エリアから戻ってくる時間は、自車両と撮像エリアまでの距離(撮像対象距離)を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。
【0036】
上記方法で得られた高速度カメラ8の撮像画像において、撮像エリアに物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、狙った撮像エリアに存在する物体との距離を求めることができる。
【0037】
さらに、実施例1では、ディレイ時間tDを変化させながら撮像エリア1〜nの撮像画像を取得する。続いて、各撮像画像における同一画素の輝度値データを比較し、最も高い輝度値データを当該画素の距離とし、全ての画素(640×480)の距離データ(距離画像データ)を生成する。
【0038】
従来のレーザレーダやステレオカメラを用いた距離検出方法では、雨、霧や雪などの影響を受けやすく、信号レベルに対するノイズレベルが大きくなる(SN比が小さい)ため、悪天候時の信頼性が低い。なお、悪天候の影響を受けにくいミリ波レーダを用いた場合、距離検出の信頼性は高くなるが、ミリ波レーダの信号から物体認識(物体の特定)を行うのは困難であり、別途カメラ画像が必要となる。そして、悪天候時にはカメラ画像が不明瞭となるため、正確な物体認識を行うことは困難である。
【0039】
これに対し、実施例1では、狙った撮像エリアから帰ってくる反射波のみを撮像画像に反映させるため、雨、霧や雪などの影響により屈曲した光、すなわち、ノイズの混入レベルを低く抑え、高いSN比を得ることができる。つまり、悪天候や夜間にかかわらず、高い距離検出精度を得ることができる。
そして、生成された距離画像データにより、全ての画素の距離が分かるため、その後パターンマッチング等の手法を用いて物体認識を行う場合、物体との距離を瞬時に把握できる。
【0040】
さらに、実施例1では、撮像エリアを連続的に変化させて複数の撮像画像を取得し、各撮像画像を比較して各画素の距離を検出しているため、自車両前方の状況を連続的に、かつ、広範囲に亘って把握できる。例えば、自車両と先行車両との間に歩行者が飛び出してきた状況であっても、先行車と歩行者の距離をそれぞれ同時に把握でき、警報による運転者への情報提示や自動ブレーキ等の車両制御を行うことが可能である。
【0041】
図7は、自車両前方の異なる位置に4人の歩行者A〜Dが存在している状況を示し、自車両と各歩行者との距離の関係は、A<B<C<Dとする。
このとき、実施例1では、1つの物体からの反射光が連続する複数の撮像エリアにおける撮像画像の画素に反映されるように、撮像エリアの一部をオーバーラップさせている。このため、各歩行者に対応する画素の時間的な輝度変化は、図8に示すように、歩行者の位置でピークを取る三角形の特性を示す。
【0042】
なお、距離画像データは、警報や車両制御に用いるデータであるため、ある程度の演算速度が要求される以上、撮像エリアを無限に細かく設定することは時間的に不可能であるが、1つの物体からの反射光が複数の撮像画像の含まれるようにすることで、図9に示すように、画素の時間的な輝度変化を上記特性に近似させ、三角形部分のピークと対応する撮像エリアを、当該画素における物体の距離とすることで、検出精度を高めることができる。
【0043】
[走行環境に応じた撮像時間設定作用]
実施例1では、自車両前方の所定範囲を複数(n個)の撮像エリアに分割し、各撮像エリアの撮像画像を1つのフレームとして距離画像データを生成している。距離画像データは、障害物警報や車両制御に用いられるため、1フレームの長さ(フレームレート)は出来るだけ短い方が好ましい。
一方、各撮像エリアの撮像対象幅(撮像時間)は、短くするほど距離画像データにおける画素毎の物体までの距離は、より実際の値に近づく。すなわち、撮像対象幅が短いほど距離分解能を高めることができる。
【0044】
ところが、画像処理部10の演算処理能力、高速度カメラ8やゲート7aの性能により、1フレームあたりの撮影回数には限界があるため、フレームレートと撮影回数による距離分解能とのトレードオフが問題となる。つまり、フレームレートの短縮を優先した場合、撮影回数を少なくせざるを得ず、距離分解能の低下を招く。逆に、撮影回数増を優先した場合、1フレームを長くせざるを得ず、各種制御の応答性悪化を招く。
【0045】
これに対し、実施例1では、各撮像エリアの撮像対象幅を均等に分割するのではなく、走行環境に応じて各撮像エリアのうち距離分解能が高いエリアと距離分解能が低いエリアとを設定している。すなわち、高い距離分解能が必要な撮像エリアは、走行環境に応じて一部のエリアに限られる。さらに言えば、高い距離分解能が要求されるのは、運転者の前方注視点と対応する撮像エリアである。
【0046】
そこで、実施例1では、車速や障害物(物体)等の走行環境に応じて、運転者の前方注視点がどの撮像エリアにあるのかを判断し、前方注視点のある撮像エリアのみ、またはその前後のエリアのみ分解能を高め、他のエリアは分解能を低くすることで、フレームレートと距離分解能との両立を図ることができる。
【0047】
(物体検出時の分解能変更作用)
図10は、物体検出時における各撮像エリアの撮像対象距離を示す図であり、エリア3とエリアnに歩行者が検出されている。この場合、図6のフローチャートにおいて、ステップS21→ステップS22→ステップS23へと進む流れとなり、直近の歩行者が検出されたエリア3の分解能(撮像対象幅)を1m、エリア2,4およびエリアnの分解能を2m、他のエリアの分解能を5mとする。
【0048】
すなわち、エリア3に歩行者が検出された場合、当該歩行者との相対位置、相対速度を正確に判断する必要があるため、エリア3の距離分解能を高め(分解能1m)、他のエリアの距離分解能を低く(分解能2mまたは5m)することで、歩行者の距離を正確に把握しつつ、フレームレートと距離分解能との両立を図ることができる。
【0049】
また、次の距離画像データを生成するまでの間に、歩行者がエリア3と隣接するエリア2またはエリア4へと移動する可能性もあるため、エリア2,4の距離分解能をある程度高く(分解能2m)しておくことで、歩行者がエリア3以外のエリアへと移動した場合に、距離分解能が大幅に低下するのを回避できる。
【0050】
さらに、実施例1では、エリア3とエリアnにそれぞれ歩行者が検出された場合、エリアnの距離分解能(2m)よりもエリア3の距離分解能を高く(1m)している。理由は、複数の歩行者が検出されている場合、警告や車両制御は自車両に近い歩行者との相対位置、相対速度に応じて決定されるため、より自車両に近い歩行者の距離が重要となるからである。
【0051】
(低速走行時の分解能変更作用)
図11は、低速走行時における各撮像エリアの撮像対象距離を示す図であり、自車両の車速は30km/hである。この場合、図6のフローチャートにおいて、ステップS21→ステップS22→ステップS24へと進む流れとなり、エリア1の分解能を1m、エリア2の分解能を2m、エリア3〜nの分解能を5mとする。
【0052】
低速走行時、運転者は自車両に最も近いエリア1の状況を見ながら運転を行っている。つまり、運転者にとっては、エリア1の情報が最も重要で、他のエリアの情報、特に自車両から遠いエリアの情報はそれほど重要ではない。そこで、実施例1では、低速走行時にはエリア1の距離分解能を最も高く(1m)することで、運転者にとって最も重要なエリア1の状況をより正確に検出でき、運転者へ提示できる。
【0053】
(高速走行時の分解能変更作用)
図12は、高速走行時における各撮像エリアの撮像対象距離を示す図であり、自車両の車速は100km/hである。この場合、図6のフローチャートにおいて、ステップS21→ステップS22→ステップS24へと進む流れとなり、エリアnの分解能を2m、エリア1〜n-1の分解能を5mとする。
【0054】
高速走行時、運転者は自車両から最も遠いエリアnの状況を見ながら運転を行っている。つまり、運転者にとっては、エリアnの情報が最も重要で、他のエリアの情報、特に自車両に近いエリアの情報はそれほど重要ではない。そこで、実施例1では、高速走行時にはエリアnの距離分解能を最も高く(2m)することで、運転者にとって最も重要なエリアnの状況をより正確に検出でき、運転者へ提示できる。
【0055】
実施例1では、車速が40km/hを超える場合、車速が高くなるほどより遠くの撮像エリアの距離分解能を高める。つまり、車速が高くなるほど運転者の注視点はより前方のエリアに移動するため、注視点移動に応じて運転者の視線のある撮像エリアの距離分解能を最も高くすることで、運転者にとって最も重要な撮像エリアの状況をより正確に検出でき、運転者へ提示できる。
【0056】
また、実施例1では、車速が高くなるほどエリア1の撮像対象距離を長くする。言い換えると、車速が高くなるほど車両手前側(自車両とエリア1との間)の非検出範囲を広くする。上述したように、車速が高くなるほど運転者の注視点は前方へ移動するため、車速が高くなるほど車両手前側の非検出範囲を広くすることで、撮像エリアが不要に広く設定されるのを回避できる。
【0057】
次に、効果を説明する。
実施例1の距離画像データ生成装置2にあっては、以下に列挙する効果を奏する。
【0058】
(1) 自車両前方に所定周期でパルス光を投光する投光器7と、撮像エリアに応じて設定される撮像タイミングで撮像エリアから帰ってくる反射光を撮像する高速度カメラ8と、撮像エリアが連続的に変化するように撮像タイミングを制御するタイミングコントローラ9と、高速度カメラ8により得られた撮像エリアの異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部10と、を備え、タイミングコントローラ9は、走行環境に応じて各ターゲット距離の撮像時間の長さを異ならせる。これにより、フレームレートと距離分解能との両立を図ることができる。
【0059】
(2) タイミングコントローラ9は、走行環境に応じて変化する運転者の前方注視点と対応する撮像エリアの撮像時間の長さを他の撮像エリアの撮像時間の長さよりも短くする。これにより、運転者にとって最も重要なエリアの状況をより正確に検出でき、運転者へ提示できる。
【0060】
(3) タイミングコントローラ9は、低車速域では、自車両に近い撮像エリアの撮像時間を短くし、自車両から遠い撮像エリアの撮像時間を長くするため、低速走行時に運転者が最も必要とする撮像エリアの状況をより正確に検出でき、運転者へ提示できる。
【0061】
(4) タイミングコントローラ9は、車速に応じて撮像時間を短くする撮像エリアと撮像時間を長くする撮像エリアを設定し、車速が高くなるほどより遠くの撮像エリアの撮像時間を短くする。これにより、車速に応じて運転者が最も必要とする撮像エリアの状況をより正確に検出でき、運転者へ提示できる。
【0062】
(5) タイミングコントローラ9は、車速が高くなるほど自車両に最も近い撮像エリアを長くする。すなわち、運転者にとって重要ではない自車両手前側の非検出範囲を車速が高くなるほど拡大することで、必要な撮像エリアの距離分解能をより高めることができる。
【0063】
(6) タイミングコントローラ9は、物体が検出された撮像エリアの撮像時間を最も短く設定するため、運転者にとって最も重要な情報である物体の距離を正確に把握しつつ、フレームレートと距離分解能との両立を図ることができる。
【0064】
(7) タイミングコントローラ9は、物体が検出された撮像エリアと隣接する撮像エリアの撮像時間を他の撮像エリアの撮像時間よりも短くするため、検出した物体が隣接する撮像エリアへ移動した場合でも、ある程度の距離分解能を確保でき、距離分解能が著しく悪化するのを回避できる。
【0065】
(8) タイミングコントローラ9は、複数の物体が検出された場合、自車両に最も近い物体が検出された撮像エリアの撮像時間を最も短くするため、運転者にとって最も重要な物体の距離を正確に検出できる。
【0066】
(他の実施例)
以上、本発明を実施するための最良の形態を、実施例に基づき説明したが、本発明の具体的な構成については、実施例の構成に限らず、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計変更や追加等は許容される。
【0067】
例えば、投光周期、投光時間、ゲート時間、撮像対象幅、撮像対象距離の変化量、1フレーム中の撮像エリア数は、撮像手段の性能や距離画像データ生成手段の性能に応じて適宜設定することができる。
【0068】
実施例では、物体検出時には物体の位置に応じて各撮像エリアの撮像対象幅を設定し、物体非検出時には車速に応じて各撮像エリアの撮像対象幅を設定する例を示したが、物体検出時に物体の位置と車速とに応じて各撮像エリアの撮像対象幅を設定してもよい。
【0069】
実施例では、「走行環境」として自車両の速度、物体の有無およびその数を用いたが、走行環境として、走行路の形状(直線路、曲線路)、天候(晴天、悪天候)、走行時刻(昼夜)を用いてもよい。
【0070】
(走行路の形状)
曲線路では、直線路よりも分解能を高める撮像エリアを自車両により近いエリアとする。曲線路における運転者の注視点は、直線路よりも自車両に近い位置となるからである。これにより、運転者の欲するエリアの距離分解能を高めることができる。
【0071】
(天候)
雨天や霧のある悪天候時は、晴天の場合よりも分解能を高める撮像エリアを自車両により近いエリアとする。悪天候時における運転者の注視点は、晴天時の場合よりも自車両に近い位置となるからである。これにより、運転者の欲するエリアの距離分解能を高めることができる。
【0072】
(走行時刻)
夜間では、日中よりも分解能を高める撮像エリアを自車両により近いエリアとする。夜間における運転者の注視点は、日中よりも自車両に近い位置となる空である。これにより、運転者の欲するエリアの距離分解能を高めることができる。
【図面の簡単な説明】
【0073】
【図1】実施例1の障害物検出装置1の構成を示すブロック図である。
【図2】1つの撮像エリアを撮像する際の、投光器5の動作(投光動作)とゲート7aの動作(カメラゲート動作)との時間的な関係を示す図である。
【図3】撮像エリアの一部がオーバーラップする状態を示す図である。
【図4】撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図である。
【図5】実施例1の画像処理部10で実行される距離画像データ生成制御処理の流れを示すフローチャートである。
【図6】実施例1のタイミングコントローラ9で実行される撮像時間設定制御処理の流れを示すフローチャートである。
【図7】自車両前方の異なる位置に4人の歩行者A〜Dが存在している状況を示す図である。
【図8】各歩行者A〜Bに対応する画素の時間的な輝度変化を示す模式図である。
【図9】実施例1の距離画像データ生成作用を示す図である。
【図10】物体検出時における各撮像エリアの撮像対象距離を示す図である。
【図11】低速走行時における各撮像エリアの撮像対象距離を示す図である。
【図12】高速走行時における各撮像エリアの撮像対象距離を示す図である。
【符号の説明】
【0074】
1 障害物検出装置
2 距離画像データ生成装置
3 物体認識処理部
4 判断部
5 投光器(投光手段)
6 対物レンズ
7 光増倍部
7a ゲート
7b イメージインテンシファイア
8 高速度カメラ(撮像手段)
9 タイミングコントローラ(タイミング制御手段)
10 画像処理部(距離画像データ生成手段)
【技術分野】
【0001】
本発明は、車両用距離画像データ生成装置の技術分野に属する。
【背景技術】
【0002】
特許文献1には、自車両前方を投光し、ターゲット距離から戻ってくる反射光のタイミングに合わせて撮像した画像に基づいて、当該ターゲット距離に障害物等の物体が存在するか否かを検出する技術が開示されている。
【特許文献1】米国特許第6700123号明細書
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上記従来技術にあっては、ターゲット距離以外の物体を検出できない。つまり、状況の把握が間欠的であり、自車両前方の状況を連続的に把握できないという問題があった。
【0004】
本発明の目的は、自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置を提供することにある。
【課題を解決するための手段】
【0005】
上記目的を達成するため、本発明の車両用距離画像データ生成装置では、
自車両前方に所定周期でパルス光を投光する投光手段と、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、
前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、
を備え、
前記タイミング制御手段は、走行環境に応じて各ターゲット距離の撮像時間の長さを異ならせることを特徴とする。
【0006】
ここで、「走行環境」とは、例えば、自車両の速度、物体の有無およびその数、走行路の形状(直線路、曲線路)、天候(晴天、悪天候)、走行時刻(昼夜)等をいう。
【発明の効果】
【0007】
よって、本発明にあっては、ターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成するため、自車両前方の状況を連続的に把握できる。
また、走行環境に応じて各ターゲット距離の撮像時間を異ならせるため、走行環境に応じて各ターゲット距離で必要とされる分解能を異なるのに対し、撮像画像数の増加を伴うことなく特定のターゲット距離の分解能を高めることができる。
【発明を実施するための最良の形態】
【0008】
以下、本発明の車両用距離画像データ生成装置を実現するための最良の形態を、図面に基づく実施例により説明する。
【実施例1】
【0009】
まず、構成を説明する。
図1は、本発明の車両用距離画像データ生成装置を適用した実施例1の障害物検出装置1の構成を示すブロック図であり、実施例1の障害物検出装置1は、距離画像データ生成装置2と、物体認識処理部3と、判断部4とを備えている。
【0010】
距離画像データ生成装置2は、投光器(投光手段)5と、対物レンズ6と、光増倍部7と、高速度カメラ(撮像手段)8と、タイミングコントローラ(タイミング制御手段)9と、画像処理部(距離画像データ生成手段)10とを備えている。
投光器5は、車両の前端部に配置した近赤外線LEDであり、タイミングコントローラ9から出力されるパルス信号に応じて、所定の投光時間tL(例えば、5ns)の間、パルス光を出力する。パルス信号の周期は、投光器5の投光周期tPであり、投光周期tPは、例えば、1/100s以下の間隔とする。
対物レンズ6は、物体からの反射光を受光するためのもので、投光器5と隣接配置している。例えば、自車両前方の所定範囲を撮像できる画角とするように設定された光学系である。
【0011】
光倍増部7は、ゲート7aとイメージインテンシファイア7bとを備えている。
ゲート7aは、タイミングコントローラ9からの開閉指令信号に応じて開閉する。ここで、実施例1では、ゲート7aの開時間(ゲート時間)tGを、投光時間tLと同じ5nsとしている。ここで、ゲート時間tGは、撮像エリア(ターゲット距離)の撮像対象幅に相当し、ゲート時間tGを長くするほど撮像エリアの撮像対象幅は長くなる。実施例1では、ゲート時間tG=5nsとしているため、撮像対象幅は、光速度(約3×108m/s)×ゲート時間(5ns)から、1.5mとなる。
【0012】
イメージインテンシファイア7bは、極微弱な光(物体からの反射光等)を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るデバイスである。イメージインテンシファイア7bの光電面より光電現象によって打ち出された光電子はkVオーダーの高電圧で加速され、陽極側の蛍光面に打ち込まれることにより、100倍以上の光子数の蛍光を発する。蛍光面で発生した蛍光は、ファイバオプティックプレートにより、そのままの位置関係を保ったまま散乱されることなく高速度カメラ8のイメージセンサに導かれる。
高速度カメラ8は、タイミングコントローラ9からの指令信号に応じて、光倍増部7から発せられた像を撮像し、撮像画像(カラー画像)を画像処理部10へ出力する。実施例1では、解像度640×480(横:縦)、輝度値1〜255(256段階)、100fps以上のカメラを用いている。
【0013】
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、投光器5の投光開始時点からゲート7aを開くまでの時間であるディレイ時間tDを設定し、ディレイ時間に応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間tDは、自車両から撮像エリアまでの距離(撮像対象距離)を決める値であり、ディレイ時間tDと撮像対象距離との関係は、以下の式となる。
撮像対象距離=光速度(約3×108m/s)×ディレイ時間tD/2
図2に、1つの撮像エリアを撮像する際の、投光器5の動作(投光動作)とゲート7aの動作(カメラゲート動作)との時間的な関係を示す。
【0014】
タイミングコントローラ9は、撮像エリアが車両手前側から先方へと連続的に移動するように、ディレイ時間tDを所定間隔(例えば、10ns)ずつ長くすることで、高速度カメラ8の撮像範囲を車両前方側へ変化させる。なお、タイミングコントローラ9は、ゲート7aが開く直前に高速度カメラ8の撮像動作を開始させ、ゲート7aが完全に閉じた後に撮像動作を終了させる。
【0015】
また、実施例1では、図3に示すように、撮像対象距離をB1→B2→B3→…と連続的に変化させながら撮像する際、撮像エリアの撮像対象幅Aよりも撮像対象距離の増加量(B2-B1)を短くすることで、撮像エリアの一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。
【0016】
図4は、撮像対象距離の増加量を極限まで小さくした場合、言い換えると、撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図であり、撮像エリアの一部をオーバーラップさせることで、連続する複数の撮像画像における同一画素の輝度値は、徐々に増加し、ピーク後は徐々に小さくなる特性となる。なお、実際には撮像エリアは有限個(1〜n)であるが、連続する撮像エリアの一部をオーバーラップさせることで、時間的な輝度変化は図4の特性に近くなる。
【0017】
さらに、タイミングコントローラ9は、走行環境に応じて各撮像エリアの撮像時間の長さが異なるように、各撮像エリアのゲート時間tGを設定する撮像時間設定制御を実施する。実施例1では、走行環境として、自車両の車速と物体の有無およびその数を用いている。
【0018】
タイミングコントローラ9は、1フレーム分、すなわち、設定された所定範囲(エリア1、エリア2、…、エリアn)の撮像画像が全て撮像された場合、画像処理部10に対し画像処理指令信号を出力する。
【0019】
画像処理部10は、高速度カメラ8により撮像された1フレーム分の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成し、生成した距離画像データを物体認識処理部3へ出力する。
【0020】
物体認識処理部3は、距離画像データに含まれる物体を特定する。物体の特定方法は、パターンマッチング等、周知の技術を用いることができる。
判断部4は、物体認識処理部3により特定された物体(人、自動車、標識等)と自車両との関係(距離、相対速度等)に基づいて、警報等による運転者への情報提示、自動ブレーキ等の車両制御の要否を判断する。
【0021】
[距離画像データ生成制御処理]
図5は、実施例1の画像処理部10で実行される距離画像データ生成制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。
【0022】
ステップS1では、自車両に最も近い撮像エリアであるエリア1を、投光器5による投光を行わずに撮像し、撮像画像の任意の画素の輝度値データを最小値データとして記憶し、ステップS2へ移行する。
【0023】
ステップS2では、撮像画像を入力し、ステップS3へと移行する。
【0024】
ステップS3では、ステップS1で記憶した最小値データと、ステップS2で入力した撮像画像の各画素の輝度値データのうち最も低い輝度値データとを比較し、当該輝度値データが最小値データよりも低いか否かを判定する。YESの場合にはステップS4へ移行し、NOの場合にはステップS5へ移行する。
【0025】
ステップS4では、最小値データよりも低い輝度値データを新たな最小値データとして記憶し、ステップS5へ移行する。
【0026】
ステップS5では、画素毎に輝度値データと最小値データとの差分を取り、当該画素における現在のデータとし、ステップS6へ移行する。
【0027】
ステップS6では、1フレーム分(エリア1、エリア2、…、エリアn)の画像入力が終了したか否かを判定する。YESの場合にはステップステップS7へ移行し、NOの場合にはステップS2へ移行する。
【0028】
ステップS7では、n個の撮像画像の同一画素の輝度値データを比較し、最も値の高い輝度値データと対応する撮像画像のフレーム番号(ディレイ時間tD)から距離画像データを生成し、リターンへ移行する。
【0029】
[撮像時間設定制御処理]
図6は、実施例1のタイミングコントローラ9で実行される撮像時間設定制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。
【0030】
ステップS21では、現在の車速(車体速)を読み込み、ステップS22へ移行する。
【0031】
ステップS22では、距離画像データに基づいて、物体を検出しているか否かを判定する。YESの場合にはステップS23へ移行し、NOの場合にはステップS24へ移行する。
【0032】
ステップS23では、物体の位置に応じて各撮像エリアの撮像対象幅(撮像時間)を設定し、リターンへ移行する。
具体的には、物体が検出された撮像エリアの撮像対象幅が1m、その前後の撮像エリアの撮像対象幅が2m、その他の撮像エリアの撮像対象幅が5mとなるように、各撮像エリアのゲート時間tGを設定する。
【0033】
ここで、複数の物体が検出された場合は、自車両に最も近い物体が検出された撮像エリアの撮像対象幅が1m、その前後の撮像エリアと他の物体が検出された撮像エリアの撮像対象幅が2m、その他の撮像エリアの撮像対象幅が5mとなるように、各撮像エリアのゲート時間tGを設定する。
【0034】
ステップS24では、車速に応じて各撮像エリアの撮像対象幅を設定し、リターンへ移行する。
具体的には、車速が低車速しきい値(例えば、40km/h)以下である低車速域では、自車両に最も近い撮像エリア(エリア1)の撮像対象幅が1m、エリア2の撮像対象幅が2m、その他の撮像エリア(エリア3〜エリアn)が撮像対象幅を5mとなるように、各撮像エリアのゲート時間tGを設定する。また、車速が40km/hを超える場合には、車速が高くなるほど撮像対象幅を1mとする撮像エリアをより遠くの撮像エリアに設定し、車速が高車速しきい値(例えば、40km/h)以上となる高車速域では、近くの撮像エリアよりも遠くの撮像エリアの撮像対象幅が狭くなるようにゲート時間tGを設定する。
また、実施例1では、車速が高くなるほどエリア1の撮像対象距離が長くなるようにディレイ時間tDを設定する。
【0035】
次に、作用を説明する。
[距離画像データ生成作用]
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ8の撮像タイミングを制御する。狙った撮像エリアに物体が存在している場合、投光器5から出射された光が撮像エリアから戻ってくる時間は、自車両と撮像エリアまでの距離(撮像対象距離)を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。
【0036】
上記方法で得られた高速度カメラ8の撮像画像において、撮像エリアに物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、狙った撮像エリアに存在する物体との距離を求めることができる。
【0037】
さらに、実施例1では、ディレイ時間tDを変化させながら撮像エリア1〜nの撮像画像を取得する。続いて、各撮像画像における同一画素の輝度値データを比較し、最も高い輝度値データを当該画素の距離とし、全ての画素(640×480)の距離データ(距離画像データ)を生成する。
【0038】
従来のレーザレーダやステレオカメラを用いた距離検出方法では、雨、霧や雪などの影響を受けやすく、信号レベルに対するノイズレベルが大きくなる(SN比が小さい)ため、悪天候時の信頼性が低い。なお、悪天候の影響を受けにくいミリ波レーダを用いた場合、距離検出の信頼性は高くなるが、ミリ波レーダの信号から物体認識(物体の特定)を行うのは困難であり、別途カメラ画像が必要となる。そして、悪天候時にはカメラ画像が不明瞭となるため、正確な物体認識を行うことは困難である。
【0039】
これに対し、実施例1では、狙った撮像エリアから帰ってくる反射波のみを撮像画像に反映させるため、雨、霧や雪などの影響により屈曲した光、すなわち、ノイズの混入レベルを低く抑え、高いSN比を得ることができる。つまり、悪天候や夜間にかかわらず、高い距離検出精度を得ることができる。
そして、生成された距離画像データにより、全ての画素の距離が分かるため、その後パターンマッチング等の手法を用いて物体認識を行う場合、物体との距離を瞬時に把握できる。
【0040】
さらに、実施例1では、撮像エリアを連続的に変化させて複数の撮像画像を取得し、各撮像画像を比較して各画素の距離を検出しているため、自車両前方の状況を連続的に、かつ、広範囲に亘って把握できる。例えば、自車両と先行車両との間に歩行者が飛び出してきた状況であっても、先行車と歩行者の距離をそれぞれ同時に把握でき、警報による運転者への情報提示や自動ブレーキ等の車両制御を行うことが可能である。
【0041】
図7は、自車両前方の異なる位置に4人の歩行者A〜Dが存在している状況を示し、自車両と各歩行者との距離の関係は、A<B<C<Dとする。
このとき、実施例1では、1つの物体からの反射光が連続する複数の撮像エリアにおける撮像画像の画素に反映されるように、撮像エリアの一部をオーバーラップさせている。このため、各歩行者に対応する画素の時間的な輝度変化は、図8に示すように、歩行者の位置でピークを取る三角形の特性を示す。
【0042】
なお、距離画像データは、警報や車両制御に用いるデータであるため、ある程度の演算速度が要求される以上、撮像エリアを無限に細かく設定することは時間的に不可能であるが、1つの物体からの反射光が複数の撮像画像の含まれるようにすることで、図9に示すように、画素の時間的な輝度変化を上記特性に近似させ、三角形部分のピークと対応する撮像エリアを、当該画素における物体の距離とすることで、検出精度を高めることができる。
【0043】
[走行環境に応じた撮像時間設定作用]
実施例1では、自車両前方の所定範囲を複数(n個)の撮像エリアに分割し、各撮像エリアの撮像画像を1つのフレームとして距離画像データを生成している。距離画像データは、障害物警報や車両制御に用いられるため、1フレームの長さ(フレームレート)は出来るだけ短い方が好ましい。
一方、各撮像エリアの撮像対象幅(撮像時間)は、短くするほど距離画像データにおける画素毎の物体までの距離は、より実際の値に近づく。すなわち、撮像対象幅が短いほど距離分解能を高めることができる。
【0044】
ところが、画像処理部10の演算処理能力、高速度カメラ8やゲート7aの性能により、1フレームあたりの撮影回数には限界があるため、フレームレートと撮影回数による距離分解能とのトレードオフが問題となる。つまり、フレームレートの短縮を優先した場合、撮影回数を少なくせざるを得ず、距離分解能の低下を招く。逆に、撮影回数増を優先した場合、1フレームを長くせざるを得ず、各種制御の応答性悪化を招く。
【0045】
これに対し、実施例1では、各撮像エリアの撮像対象幅を均等に分割するのではなく、走行環境に応じて各撮像エリアのうち距離分解能が高いエリアと距離分解能が低いエリアとを設定している。すなわち、高い距離分解能が必要な撮像エリアは、走行環境に応じて一部のエリアに限られる。さらに言えば、高い距離分解能が要求されるのは、運転者の前方注視点と対応する撮像エリアである。
【0046】
そこで、実施例1では、車速や障害物(物体)等の走行環境に応じて、運転者の前方注視点がどの撮像エリアにあるのかを判断し、前方注視点のある撮像エリアのみ、またはその前後のエリアのみ分解能を高め、他のエリアは分解能を低くすることで、フレームレートと距離分解能との両立を図ることができる。
【0047】
(物体検出時の分解能変更作用)
図10は、物体検出時における各撮像エリアの撮像対象距離を示す図であり、エリア3とエリアnに歩行者が検出されている。この場合、図6のフローチャートにおいて、ステップS21→ステップS22→ステップS23へと進む流れとなり、直近の歩行者が検出されたエリア3の分解能(撮像対象幅)を1m、エリア2,4およびエリアnの分解能を2m、他のエリアの分解能を5mとする。
【0048】
すなわち、エリア3に歩行者が検出された場合、当該歩行者との相対位置、相対速度を正確に判断する必要があるため、エリア3の距離分解能を高め(分解能1m)、他のエリアの距離分解能を低く(分解能2mまたは5m)することで、歩行者の距離を正確に把握しつつ、フレームレートと距離分解能との両立を図ることができる。
【0049】
また、次の距離画像データを生成するまでの間に、歩行者がエリア3と隣接するエリア2またはエリア4へと移動する可能性もあるため、エリア2,4の距離分解能をある程度高く(分解能2m)しておくことで、歩行者がエリア3以外のエリアへと移動した場合に、距離分解能が大幅に低下するのを回避できる。
【0050】
さらに、実施例1では、エリア3とエリアnにそれぞれ歩行者が検出された場合、エリアnの距離分解能(2m)よりもエリア3の距離分解能を高く(1m)している。理由は、複数の歩行者が検出されている場合、警告や車両制御は自車両に近い歩行者との相対位置、相対速度に応じて決定されるため、より自車両に近い歩行者の距離が重要となるからである。
【0051】
(低速走行時の分解能変更作用)
図11は、低速走行時における各撮像エリアの撮像対象距離を示す図であり、自車両の車速は30km/hである。この場合、図6のフローチャートにおいて、ステップS21→ステップS22→ステップS24へと進む流れとなり、エリア1の分解能を1m、エリア2の分解能を2m、エリア3〜nの分解能を5mとする。
【0052】
低速走行時、運転者は自車両に最も近いエリア1の状況を見ながら運転を行っている。つまり、運転者にとっては、エリア1の情報が最も重要で、他のエリアの情報、特に自車両から遠いエリアの情報はそれほど重要ではない。そこで、実施例1では、低速走行時にはエリア1の距離分解能を最も高く(1m)することで、運転者にとって最も重要なエリア1の状況をより正確に検出でき、運転者へ提示できる。
【0053】
(高速走行時の分解能変更作用)
図12は、高速走行時における各撮像エリアの撮像対象距離を示す図であり、自車両の車速は100km/hである。この場合、図6のフローチャートにおいて、ステップS21→ステップS22→ステップS24へと進む流れとなり、エリアnの分解能を2m、エリア1〜n-1の分解能を5mとする。
【0054】
高速走行時、運転者は自車両から最も遠いエリアnの状況を見ながら運転を行っている。つまり、運転者にとっては、エリアnの情報が最も重要で、他のエリアの情報、特に自車両に近いエリアの情報はそれほど重要ではない。そこで、実施例1では、高速走行時にはエリアnの距離分解能を最も高く(2m)することで、運転者にとって最も重要なエリアnの状況をより正確に検出でき、運転者へ提示できる。
【0055】
実施例1では、車速が40km/hを超える場合、車速が高くなるほどより遠くの撮像エリアの距離分解能を高める。つまり、車速が高くなるほど運転者の注視点はより前方のエリアに移動するため、注視点移動に応じて運転者の視線のある撮像エリアの距離分解能を最も高くすることで、運転者にとって最も重要な撮像エリアの状況をより正確に検出でき、運転者へ提示できる。
【0056】
また、実施例1では、車速が高くなるほどエリア1の撮像対象距離を長くする。言い換えると、車速が高くなるほど車両手前側(自車両とエリア1との間)の非検出範囲を広くする。上述したように、車速が高くなるほど運転者の注視点は前方へ移動するため、車速が高くなるほど車両手前側の非検出範囲を広くすることで、撮像エリアが不要に広く設定されるのを回避できる。
【0057】
次に、効果を説明する。
実施例1の距離画像データ生成装置2にあっては、以下に列挙する効果を奏する。
【0058】
(1) 自車両前方に所定周期でパルス光を投光する投光器7と、撮像エリアに応じて設定される撮像タイミングで撮像エリアから帰ってくる反射光を撮像する高速度カメラ8と、撮像エリアが連続的に変化するように撮像タイミングを制御するタイミングコントローラ9と、高速度カメラ8により得られた撮像エリアの異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部10と、を備え、タイミングコントローラ9は、走行環境に応じて各ターゲット距離の撮像時間の長さを異ならせる。これにより、フレームレートと距離分解能との両立を図ることができる。
【0059】
(2) タイミングコントローラ9は、走行環境に応じて変化する運転者の前方注視点と対応する撮像エリアの撮像時間の長さを他の撮像エリアの撮像時間の長さよりも短くする。これにより、運転者にとって最も重要なエリアの状況をより正確に検出でき、運転者へ提示できる。
【0060】
(3) タイミングコントローラ9は、低車速域では、自車両に近い撮像エリアの撮像時間を短くし、自車両から遠い撮像エリアの撮像時間を長くするため、低速走行時に運転者が最も必要とする撮像エリアの状況をより正確に検出でき、運転者へ提示できる。
【0061】
(4) タイミングコントローラ9は、車速に応じて撮像時間を短くする撮像エリアと撮像時間を長くする撮像エリアを設定し、車速が高くなるほどより遠くの撮像エリアの撮像時間を短くする。これにより、車速に応じて運転者が最も必要とする撮像エリアの状況をより正確に検出でき、運転者へ提示できる。
【0062】
(5) タイミングコントローラ9は、車速が高くなるほど自車両に最も近い撮像エリアを長くする。すなわち、運転者にとって重要ではない自車両手前側の非検出範囲を車速が高くなるほど拡大することで、必要な撮像エリアの距離分解能をより高めることができる。
【0063】
(6) タイミングコントローラ9は、物体が検出された撮像エリアの撮像時間を最も短く設定するため、運転者にとって最も重要な情報である物体の距離を正確に把握しつつ、フレームレートと距離分解能との両立を図ることができる。
【0064】
(7) タイミングコントローラ9は、物体が検出された撮像エリアと隣接する撮像エリアの撮像時間を他の撮像エリアの撮像時間よりも短くするため、検出した物体が隣接する撮像エリアへ移動した場合でも、ある程度の距離分解能を確保でき、距離分解能が著しく悪化するのを回避できる。
【0065】
(8) タイミングコントローラ9は、複数の物体が検出された場合、自車両に最も近い物体が検出された撮像エリアの撮像時間を最も短くするため、運転者にとって最も重要な物体の距離を正確に検出できる。
【0066】
(他の実施例)
以上、本発明を実施するための最良の形態を、実施例に基づき説明したが、本発明の具体的な構成については、実施例の構成に限らず、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計変更や追加等は許容される。
【0067】
例えば、投光周期、投光時間、ゲート時間、撮像対象幅、撮像対象距離の変化量、1フレーム中の撮像エリア数は、撮像手段の性能や距離画像データ生成手段の性能に応じて適宜設定することができる。
【0068】
実施例では、物体検出時には物体の位置に応じて各撮像エリアの撮像対象幅を設定し、物体非検出時には車速に応じて各撮像エリアの撮像対象幅を設定する例を示したが、物体検出時に物体の位置と車速とに応じて各撮像エリアの撮像対象幅を設定してもよい。
【0069】
実施例では、「走行環境」として自車両の速度、物体の有無およびその数を用いたが、走行環境として、走行路の形状(直線路、曲線路)、天候(晴天、悪天候)、走行時刻(昼夜)を用いてもよい。
【0070】
(走行路の形状)
曲線路では、直線路よりも分解能を高める撮像エリアを自車両により近いエリアとする。曲線路における運転者の注視点は、直線路よりも自車両に近い位置となるからである。これにより、運転者の欲するエリアの距離分解能を高めることができる。
【0071】
(天候)
雨天や霧のある悪天候時は、晴天の場合よりも分解能を高める撮像エリアを自車両により近いエリアとする。悪天候時における運転者の注視点は、晴天時の場合よりも自車両に近い位置となるからである。これにより、運転者の欲するエリアの距離分解能を高めることができる。
【0072】
(走行時刻)
夜間では、日中よりも分解能を高める撮像エリアを自車両により近いエリアとする。夜間における運転者の注視点は、日中よりも自車両に近い位置となる空である。これにより、運転者の欲するエリアの距離分解能を高めることができる。
【図面の簡単な説明】
【0073】
【図1】実施例1の障害物検出装置1の構成を示すブロック図である。
【図2】1つの撮像エリアを撮像する際の、投光器5の動作(投光動作)とゲート7aの動作(カメラゲート動作)との時間的な関係を示す図である。
【図3】撮像エリアの一部がオーバーラップする状態を示す図である。
【図4】撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図である。
【図5】実施例1の画像処理部10で実行される距離画像データ生成制御処理の流れを示すフローチャートである。
【図6】実施例1のタイミングコントローラ9で実行される撮像時間設定制御処理の流れを示すフローチャートである。
【図7】自車両前方の異なる位置に4人の歩行者A〜Dが存在している状況を示す図である。
【図8】各歩行者A〜Bに対応する画素の時間的な輝度変化を示す模式図である。
【図9】実施例1の距離画像データ生成作用を示す図である。
【図10】物体検出時における各撮像エリアの撮像対象距離を示す図である。
【図11】低速走行時における各撮像エリアの撮像対象距離を示す図である。
【図12】高速走行時における各撮像エリアの撮像対象距離を示す図である。
【符号の説明】
【0074】
1 障害物検出装置
2 距離画像データ生成装置
3 物体認識処理部
4 判断部
5 投光器(投光手段)
6 対物レンズ
7 光増倍部
7a ゲート
7b イメージインテンシファイア
8 高速度カメラ(撮像手段)
9 タイミングコントローラ(タイミング制御手段)
10 画像処理部(距離画像データ生成手段)
【特許請求の範囲】
【請求項1】
自車両前方に所定周期でパルス光を投光する投光手段と、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、
前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、
を備え、
前記タイミング制御手段は、走行環境に応じて各ターゲット距離の撮像時間の長さを異ならせることを特徴とする車両用距離画像データ生成装置。
【請求項2】
請求項1に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、走行環境に応じて変化する運転者の前方注視点と対応するターゲット距離の撮像時間の長さを他のターゲット距離の撮像時間の長さよりも短くすることを特徴とする車両用距離画像データ生成装置。
【請求項3】
請求項1または請求項2に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、低車速域では、自車両に近いターゲット距離の撮像時間を短くし、自車両から遠いターゲット距離の撮像時間を長くすることを特徴とする車両用距離画像データ生成装置。
【請求項4】
請求項1ないし請求項3のいずれか1項に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、車速に応じて撮像時間を短くするターゲット距離と撮像時間を長くするターゲット距離を設定し、車速が高くなるほどより遠くのターゲット距離の撮像時間を短くすることを特徴とする車両用距離画像データ生成装置。
【請求項5】
請求項1ないし請求項4のいずれか1項に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、車速が高くなるほど自車両に最も近いターゲット距離を長くすることを特徴とする車両用距離画像データ生成装置。
【請求項6】
請求項1ないし請求項5のいずれか1項に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、物体が検出されたターゲット距離の撮像時間を最も短く設定することを特徴とする車両用距離画像データ生成装置。
【請求項7】
請求項6に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、前記物体が検出されたターゲット距離と隣接するターゲット距離の撮像時間を他のターゲット距離の撮像時間よりも短くすることを特徴とする車両用距離画像データ生成装置。
【請求項8】
請求項6または請求項7に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、複数の物体が検出された場合、自車両に最も近い物体が検出されたターゲット距離の撮像時間を最も短くすることを特徴とする車両用距離画像データ生成装置。
【請求項1】
自車両前方に所定周期でパルス光を投光する投光手段と、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、
前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、
を備え、
前記タイミング制御手段は、走行環境に応じて各ターゲット距離の撮像時間の長さを異ならせることを特徴とする車両用距離画像データ生成装置。
【請求項2】
請求項1に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、走行環境に応じて変化する運転者の前方注視点と対応するターゲット距離の撮像時間の長さを他のターゲット距離の撮像時間の長さよりも短くすることを特徴とする車両用距離画像データ生成装置。
【請求項3】
請求項1または請求項2に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、低車速域では、自車両に近いターゲット距離の撮像時間を短くし、自車両から遠いターゲット距離の撮像時間を長くすることを特徴とする車両用距離画像データ生成装置。
【請求項4】
請求項1ないし請求項3のいずれか1項に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、車速に応じて撮像時間を短くするターゲット距離と撮像時間を長くするターゲット距離を設定し、車速が高くなるほどより遠くのターゲット距離の撮像時間を短くすることを特徴とする車両用距離画像データ生成装置。
【請求項5】
請求項1ないし請求項4のいずれか1項に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、車速が高くなるほど自車両に最も近いターゲット距離を長くすることを特徴とする車両用距離画像データ生成装置。
【請求項6】
請求項1ないし請求項5のいずれか1項に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、物体が検出されたターゲット距離の撮像時間を最も短く設定することを特徴とする車両用距離画像データ生成装置。
【請求項7】
請求項6に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、前記物体が検出されたターゲット距離と隣接するターゲット距離の撮像時間を他のターゲット距離の撮像時間よりも短くすることを特徴とする車両用距離画像データ生成装置。
【請求項8】
請求項6または請求項7に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、複数の物体が検出された場合、自車両に最も近い物体が検出されたターゲット距離の撮像時間を最も短くすることを特徴とする車両用距離画像データ生成装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2009−257981(P2009−257981A)
【公開日】平成21年11月5日(2009.11.5)
【国際特許分類】
【出願番号】特願2008−108556(P2008−108556)
【出願日】平成20年4月18日(2008.4.18)
【出願人】(000004765)カルソニックカンセイ株式会社 (3,404)
【Fターム(参考)】
【公開日】平成21年11月5日(2009.11.5)
【国際特許分類】
【出願日】平成20年4月18日(2008.4.18)
【出願人】(000004765)カルソニックカンセイ株式会社 (3,404)
【Fターム(参考)】
[ Back to top ]