車両用距離画像データ生成装置及び方法
【課題】 自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置及び方法を提供すること
【解決手段】 投光器5と、イメージインテンシファイア7b及び高速度カメラ8、タイミングコントローラ9、及び画像処理部10を備え、タイミングコントローラ9は、同じターゲット距離で、投光量を大小に変化させた撮像を行うよう制御し、画像処理部10は、投光量を大きくして撮像した画像中の画素の輝度値が飽和した場合に、投光量を小さくして撮像した画像中の画素の輝度値を倍増した値に置き換えるステップS2〜S6の処理を備えた。
【解決手段】 投光器5と、イメージインテンシファイア7b及び高速度カメラ8、タイミングコントローラ9、及び画像処理部10を備え、タイミングコントローラ9は、同じターゲット距離で、投光量を大小に変化させた撮像を行うよう制御し、画像処理部10は、投光量を大きくして撮像した画像中の画素の輝度値が飽和した場合に、投光量を小さくして撮像した画像中の画素の輝度値を倍増した値に置き換えるステップS2〜S6の処理を備えた。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用距離画像データ生成装置及び方法の技術分野に属する。
【背景技術】
【0002】
特許文献1には、自車両前方を投光し、ターゲット距離から戻ってくる反射光のタイミングに合わせて撮像した画像に基づいて、当該ターゲット距離に障害物等の物体が存在するか否かを検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許第6700123号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来技術にあっては、ターゲット距離以外の物体を検出できない。つまり、状況の把握が間欠的であり、自車両前方の状況を連続的に把握できないという問題があった。
【0005】
本発明の目的は、自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置及び方法を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明では、自車両前方に所定周期でパルス光を投光する投光手段と、ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、を備え、前記タイミング制御手段は、同じターゲット距離で、投光量を大小に変化させた撮像を行うよう制御し、前記距離画像データ生成手段は、投光量を大きくして撮像した画像中の画素の輝度値が飽和した場合に、投光量を小さくして撮像した画像中の画素の輝度値を倍増した値に置き換える補正手段を備えた、ことを特徴とする。
【発明の効果】
【0007】
よって、本発明にあっては、自車両前方の状況を連続的に把握できる。
【図面の簡単な説明】
【0008】
【図1】実施例1の障害物検出装置1の構成を示すブロック図である。
【図2】1つの撮像エリアを撮像する際の、投光器5の動作(投光動作)とゲート7aの動作(カメラゲート動作)との時間的な関係を示す図である。
【図3】撮像エリアの一部がオーバーラップする状態を示す図である。
【図4】撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図である。
【図5】実施例1の画像処理部10で実行される距離画像データ生成制御処理の流れを示すフローチャートである。
【図6】自車両前方の異なる位置に4人の歩行者A〜Dが存在している状況を示す図である。
【図7】各歩行者A〜Bに対応する画素の時間的な輝度変化を示す模式図である。
【図8】実施例1の距離画像データ生成作用を示す図である。
【図9】実施例1の距離画像データ生成装置の輝度値の飽和処理の状態を示す説明図である。
【図10】実施例2における多重露光の状態のタイムチャートである。
【図11】実施例2の多重露光による距離画像データ生成作用を示す図である。
【図12】実施例3における多重露光の状態のタイムチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の車両用距離画像データ生成装置及び方法を実現する実施の形態を、請求項1,2,5に係る発明に対応する実施例1と、請求項1,2,3,5に係る発明に対応する実施例2と、請求項1,2,3,4,5に係る発明に対応する実施例3に基づいて説明する。
【実施例1】
【0010】
まず、構成を説明する。
図1は、本発明の車両用距離画像データ生成装置を適用した実施例1の障害物検出装置1の構成を示すブロック図であり、実施例1の障害物検出装置1は、距離画像データ生成装置2と、物体認識処理部3と、判断部4とを備えている。
【0011】
距離画像データ生成装置2は、投光器(投光手段)5と、対物レンズ6と、光倍増部7と、高速度カメラ(撮像手段)8と、タイミングコントローラ(タイミング制御手段)9と、画像処理部(距離画像データ生成手段)10とを備えている。
【0012】
投光器5は、車両の前端部に配置した近赤外線LED5a(レンズと発光部を構成する)であり、タイミングコントローラ9から出力されるパルス信号に応じて、所定の投光時間tL(例えば、5ns)の間、パルス光を出力する。パルス信号の周期は、投光器5の投光周期tPであり、投光周期tPは、例えば、1/100s以下の間隔とする。
対物レンズ6は、物体からの反射光を受光するためのもので、投光器5と隣接配置している。例えば、自車両前方の所定範囲を撮像できる画角とするように設定された光学系である。
【0013】
光倍増部7は、ゲート7aとイメージインテンシファイア7bとを備えている。
ゲート7aは、タイミングコントローラ9からの開閉指令信号に応じて開閉する。ここで、実施例1では、ゲート7aの開時間(ゲート時間)tGを、投光時間tLと同じ5nsとしている。ここで、ゲート時間tGは、撮像エリア(ターゲット距離)の撮像対象幅に相当し、ゲート時間tGを長くするほど撮像エリアの撮像対象幅は長くなる。実施例1では、ゲート時間tG=5nsとしているため、撮像対象幅は、光速度(約3×108m/s)×ゲート時間(5ns)から、1.5mとなる。
【0014】
イメージインテンシファイア7bは、極微弱な光(物体からの反射光等)を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るデバイスである。イメージインテンシファイア7bの光電面より光電現象によって打ち出された光電子はkVオーダーの高電圧で加速され、陽極側の蛍光面に打ち込まれることにより、100倍以上の光子数の蛍光を発する。
【0015】
蛍光面で発生した蛍光は、ファイバオプティックプレートにより、そのままの位置関係を保ったまま散乱されることなく高速度カメラ8のイメージセンサに導かれる。
高速度カメラ8は、タイミングコントローラ9からの指令信号に応じて、光倍増部7から発せられた像を撮像し、撮像画像(カラー画像)を画像処理部10へ出力する。実施例1では、解像度640×480(横:縦)、輝度値1〜255(256段階)、100fps以上のカメラを用いている。
【0016】
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、投光器5の投光開始時点からゲート7aを開くまでの時間であるディレイ時間tDを設定し、ディレイ時間に応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間tDは、自車両から撮像エリアまでの距離(撮像対象距離)を決める値であり、ディレイ時間tDと撮像対象距離との関係は、以下の式となる。
撮像対象距離=光速度(約3×108m/s)×ディレイ時間tD/2
図2に、1つの撮像エリアを撮像する際の、投光器5の動作(投光動作)とゲート7aの動作(カメラゲート動作)との時間的な関係を示す。
【0017】
タイミングコントローラ9は、撮像エリアが車両手前側から先方へと連続的に移動するように、ディレイ時間tDを所定間隔(例えば、10ns)ずつ長くすることで、高速度カメラ8の撮像範囲を車両前方側へ変化させる。なお、タイミングコントローラ9は、ゲート7aが開く直前に高速度カメラ8の撮像動作を開始させ、ゲート7aが完全に閉じた後に撮像動作を終了させる。但し、実施例1では、タイミングコントローラ9は、撮像対象距離(ターゲット距離)に応じて、予め多重露光回数を設定しておき、このデータを読み出して、ある一つの撮像対象距離における撮像が所定回数の投光動作とゲート7aの開閉動作で構成されるようにする。そのため、設定された所定回数が複数回の場合は、複数回の投光動作とゲート7aの開閉動作後に撮像動作を終了させることになる。
【0018】
また、実施例1では、図3に示すように、撮像対象距離をB1→B2→B3→…と連続的に変化させながら撮像する際、撮像エリアの撮像対象幅Aよりも撮像対象距離の増加量(B2-B1)を短くすることで、撮像エリアの一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。
【0019】
図4は、撮像対象距離の増加量を極限まで小さくした場合、言い換えると、撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図であり、撮像エリアの一部をオーバーラップさせることで、連続する複数の撮像画像における同一の画素の輝度値は、徐々に増加し、ピーク後は徐々に小さくなる特性となる。なお、実際には撮像エリアは有限個(1〜n)であるが、連続する撮像エリアの一部をオーバーラップさせることで、時間的な輝度変化は図4の特性に近くなる。
【0020】
タイミングコントローラ9は、1フレーム分、すなわち、設定された所定範囲(エリア1、エリア2、…、エリアn)の撮像画像が全て撮像された場合、画像処理部10に対し画像処理指令信号を出力する。
また実施例1において、タイミングコントローラ9は、上記説明した各撮像エリアの撮像、つまり1フレーム分の撮像を、所定の第1投光量で行い、且つ第1投光量の1/2の投光量にした第2投光量でも撮像を行うようにする。
【0021】
画像処理部10は、高速度カメラ8により撮像された1フレーム分の撮像画像(撮像画素)から、距離情報を色や輝度等で表す距離画像データを生成し、生成した距離画像データを物体認識処理部3へ出力する。
【0022】
物体認識処理部3は、距離画像データに含まれる物体に対して、画像処理、例えば、ラベリング、パターンマッチング等により距離画像データに含まれる物体を特定する。
判断部4は、物体認識処理部3により特定された物体(人、自動車、標識等)と自車両との関係(距離、相対速度等)に基づいて、警報等による運転者への情報提示、自動ブレーキ等の車両制御の要否を判断する。
【0023】
[距離画像データ生成制御処理]
図5は、実施例1の画像処理部10で実行される距離画像データ生成制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。
【0024】
ステップS1では、画像処理部10が、投光器5による投光を行わずに自車両前方を撮像した撮像画像の最も輝度の低い輝度値データを後の輝度判断のために記憶し、ステップS2へ移行する。このデータは、距離画像データ生成の際に用いるものとする。
【0025】
ステップS2では、画像処理部10が、第1投光量及び第2投光量の撮像画像を入力し、ステップS3へと移行する。
【0026】
ステップS3では、画像処理部10が、第1投光量で撮像した画像中の各画素の輝度値が飽和しているかどうかを判断し、飽和しているならばステップS4へ進み、飽和していないならばステップS5へ進む。なお、輝度値の飽和は、予め設定した輝度閾値に達しているどうかにより判断する。
【0027】
ステップS4では、画像処理部10が、第1投光量で撮像した画素の飽和している輝度値を、第2投光量の輝度値を2倍したものに置き換え、距離画像に用いる処理データとして更新する。
【0028】
ステップS5では、画像処理部10が、第1投光量で撮像した画素の輝度値を、距離画像に用いる処理データとして更新する。
【0029】
ステップS6では、画像処理部10が、1つの撮像エリア分となる1画像分の飽和処理が終了したかどうかを判断し、終了したならばステップS7へ進み、終了していないならばステップS3へ戻る。このステップS6→S3の流れを繰り返すことにより、各画素の飽和処理を行う。
【0030】
ステップS7では、画像処理部10が、1フレーム分(エリア1、エリア2、…、エリアn)の画像入力が終了したか否かを判定する。YESの場合にはステップS8へ移行し、NOの場合にはステップS2へ戻る。
【0031】
ステップS8では、色や輝度により距離情報を伴う画像として、距離画像データを生成し、リターンへ移行する。
【0032】
次に、作用を説明する。
[距離画像データ生成作用]
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ8の撮像タイミングを制御する。狙った撮像エリアに物体が存在している場合、投光器5から出射された光が撮像エリアから戻ってくる時間は、自車両と撮像エリアまでの距離(撮像対象距離)を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。
【0033】
上記方法で得られた高速度カメラ8の撮像画像において、撮像エリアに物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、狙った撮像エリアに存在する物体との距離を求めることができる。
【0034】
さらに、実施例1では、ディレイ時間tDを変化させながら撮像エリア1〜nの撮像画像を取得する。続いて、同じ画素位置の前後の距離の輝度値データを比較し、最も高い輝度値データを当該画素で検出する物体の距離とし、撮像範囲(640×480)の距離の情報を持つデータ(距離画像データ)を生成する。
【0035】
従来のレーザレーダやステレオカメラを用いた距離検出方法では、雨、霧や雪などの影響を受けやすく、信号レベルに対するノイズレベルが大きくなる(SN比が小さい)ため、悪天候時の信頼性が低い。なお、悪天候の影響を受けにくいミリ波レーダを用いた場合、距離検出の信頼性は高くなるが、ミリ波レーダの信号から物体認識(物体の特定)を行うのは困難であり、別途カメラ画像が必要となる。そして、悪天候時にはカメラ画像が不明瞭となるため、正確な物体認識を行うことは困難である。
【0036】
これに対し、実施例1では、狙った撮像エリアから帰ってくる反射波のみを撮像画像に反映させるため、雨、霧や雪などの影響により屈曲した光、すなわち、ノイズの混入レベルを低く抑え、高いSN比を得ることができる。つまり、悪天候や夜間にかかわらず、高い距離検出精度を得ることができる。
そして、生成された距離画像データにより、画像から検出される物体の距離が分かるため、その後パターンマッチング等の手法を用いて物体認識を行う場合、物体との距離を瞬時に把握できる。
【0037】
さらに、実施例1では、撮像エリアを連続的に変化させて複数の撮像画像を取得し、各撮像画像を比較して各画素の距離を検出しているため、自車両前方の状況を連続的に、かつ、広範囲に亘って把握できる。例えば、自車両と先行車両との間に歩行者が飛び出してきた状況であっても、先行車と歩行者の距離をそれぞれ同時に把握でき、警報による運転者への情報提示や自動ブレーキ等の車両制御を行うことが可能である。
【0038】
図6は、自車両前方の異なる位置に4人の歩行者A〜Dが存在している状況を示し、自車両と各歩行者との距離の関係は、A<B<C<Dとする。
このとき、実施例1では、1つの物体からの反射光が連続する複数の撮像エリアにおける撮像画像のオブジェクトを構成する画素に反映されるように、撮像エリアの一部をオーバーラップさせている。このため、各歩行者に対応するオブジェクトを構成する画素の時間的な輝度変化は、図7に示すように、歩行者の位置でピークを取る三角形の特性を示す。
【0039】
なお、距離画像データは、警報や車両制御に用いるデータであるため、ある程度の演算速度が要求される以上、撮像エリアを無限に細かく設定することは時間的に不可能であるが、1つの物体からの反射光が複数の撮像画像の含まれるようにすることで、図8に示すように、画素の時間的な輝度変化を上記特性に近似させ、三角形部分のピークと対応する撮像エリアを、当該画素における物体の距離とすることで、検出精度を高めることができる。
【0040】
[飽和処理作用]
図9は実施例1の距離画像データ生成装置の輝度値の飽和処理の状態を示す説明図である。
図9では横軸を距離とし、撮像エリアの異なる複数画像において同一画素の輝度値を示したものである。
障害物検出のための撮像において、確実な検出のために反射率が比較的低い物体に合わせて撮像すると、車両のリフレクタや道路標識などの極端に反射率が高いものに対しては、その前後から撮像した輝度値が飽和状態になってしまい、正確な距離が困難となる。つまり、図9(a)に輝度特性102で示すように輝度値が飽和すると、ピーク輝度となる対象距離を正確に測れなくなる。言い換えると、飽和範囲のいずれにピークがあるのかを判断できなくなる。
【0041】
実施例1では、飽和処理を行うことによって、反射率の低い物体に合わせて撮像しても、ピーク輝度の対象距離を検出できるようにする。
実施例1では、反射率の低い物体に合わせて設定した第1投光量での撮像(図9(a)参照)と、第1投光量の1/2の投光量での撮像(図9(b)参照)を行う。
すると、第1投光量の撮像では、図9(a)の輝度特性101に示すように、反射率が低い物体は輝度ピークを得られるが、図9(a)の輝度特性102に示すように反射率が高い物体は輝度ピークが飽和する。
【0042】
これに対して、第2投光量の撮像では、投光量を1/2にしているので、図9(b)の輝度特性103,104で示すように、得られる輝度値は1/2になるものの、反射率が高い物体に対しても輝度ピークが確実に得られる。
そして、ステップS2〜S6の処理により、第1投光量で撮像した画像の画素で飽和した輝度値を検出し、それを第2投光量の輝度値を2倍したものに置き換えることにより、距離画像を作成するための処理データは図9(c)に示すようになる。
【0043】
図9(c)では、図9(a)の輝度特性101で飽和していないものは、そのまま距離画像データの生成に用いる処理データとなる。そして、飽和しているものは、その飽和範囲の全ての輝度データが第2投光量で撮像した値を2倍にしたものに置き換えられるため、図9(c)に輝度特性105で示すように、輝度特性102と合わせて、輝度ピークを検出できる輝度特性となる。
これによって、処理データを用いて生成される距離画像の精度が向上する。そして、その撮像が反射率の低い物体に投光量を合わせて撮像されることにより、確実な障害物の検出が行われる。
【0044】
次に、効果を説明する。
【0045】
実施例1の車両用距離画像データ生成装置及び方法にあっては、下記に列挙する効果を得ることができる。
【0046】
(1)自車両前方に所定周期でパルス光を投光する投光器5と、ターゲット距離に応じて設定される撮像タイミングでターゲット距離から帰ってくる反射光を撮像するイメージインテンシファイア7b及び高速度カメラ8と、ターゲット距離が連続的に変化するように撮像タイミングを制御するタイミングコントローラ9と、イメージインテンシファイア7b及び高速度カメラ8により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部10を備え、タイミングコントローラ9は、同じターゲット距離で、投光量を大小に変化させた撮像を行うよう制御し、画像処理部10は、投光量を大きくして撮像した画像中の画素の輝度値が飽和した場合に、投光量を小さくして撮像した画像中の画素の輝度値を倍増した値に置き換えるステップS2〜S6の処理を備えたため、自車両前方の状況を連続的に把握できる。また、大きい投光量により障害物を確実に検出しつつ、輝度ピークを確実に検出して、距離画像データの検出精度を向上させることができる。
【0047】
(2)上記(1)において、タイミングコントローラ9は、投光量の大きい第1投光量と、第1投光量の1/2の投光量の第2投光量により、同じターゲット距離で撮像を行うよう制御し、画像処理部10のステップS2〜S6の処理は、第1投光量により撮像した画像中の画素の輝度値が飽和した場合に、第2投光量で撮像した画像中の画素の輝度値を2倍にした値に置き換えるため、大きな投光量である第1投光量により障害物を確実に検出しつつ、飽和した輝度値を第2投光量で撮像した輝度値を2倍にしたものに置き換えることで、輝度ピークを確実に検出して、距離画像データの検出精度を向上させることができる。
【0048】
(5)自車両前方に所定周期でパルス光を投光器5で投光し、ターゲット距離に応じて設定される撮像タイミングでターゲット距離から帰ってくる反射光をイメージインテンシファイア7b及び高速度カメラ8で撮像し、同じターゲット距離では、投光量を大小に変化させた撮像を行うようにし、且つターゲット距離が連続的に変化するように撮像タイミングをタイミングコントローラ9で制御し、投光量を大きくして撮像した画像中の画素の輝度値が飽和した場合に、投光量を小さくして撮像した画像中の画素の輝度値を倍増した値に置き換えるステップS2〜S6の処理による補正を画像処理部10で行い、補正により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表わす距離画像データを画像処理部10で生成したため、自車両前方の状況を連続的に把握できる。また、大きい投光量により障害物を確実に検出しつつ、輝度ピークを確実に検出して、距離画像データの検出精度を向上させることができる。
【実施例2】
【0049】
実施例2は、多重露光を行う距離画像データ生成装置の例である。
構成を説明する。
実施例2のタイミングコントローラ9は、撮像対象距離に応じて、予め多重露光回数を設定しておき、このデータを読み出して、ある一つの撮像対象距離における撮像が所定回数の投光動作とゲート7aの開閉動作で構成されるようにする。そのため、複数回の投光動作とゲート7aの開閉動作後に撮像動作を終了させることになる。
その他構成は、実施例1と同様であるので説明を省略する。
【0050】
作用を説明する。
[多重露光による輝度補正]
図10は実施例2における多重露光の状態のタイムチャートである。図11は実施例2の多重露光による距離画像データ生成作用を示す図である。
なお、図10(a)は投光タイミングを示すパルス、図10(b)はシャッタタイミングを示すパルス、図10(c)は高速度カメラ8の受像量の蓄積、リセット等の状態を示す。
実施例2の距離画像データ生成装置2では、撮像対象距離を徐々に遠くしながら複数の撮像画像を取得しているため、遠くの撮像エリアに存在する物体からの反射光は、近くの撮像エリアに存在する物体の反射光よりも弱くなる。このため、各撮像エリアで撮像時間(ゲート時間tG)を一定とした場合、遠い撮像エリアほど撮像画像が暗くなってしまう。
【0051】
一方、画像処理部10では、複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成しているため、撮像画像間で上述した撮像対象距離の違いによる輝度差が生じると、同一画素の輝度を比較する際、正確な比較を行うことができない。
【0052】
これに対し、実施例2では、物体が存在する撮像エリアにおける撮像画像の輝度ピーク値(輝度の最大値)が目標輝度となるよう、撮像対象距離に対して多重露光回数を設定し、記憶させる。そして、タイミングコントローラ9が、設定された多重露光回数に従って1画像に対して投光動作とゲート7aの開閉動作の複数組を行う。つまり、実施例2の多重露光回数とは、高速度カメラ8で撮像する1画像に対して、タイミングコントローラ9の制御により行われる、投光器5の投光動作と、上記説明のように投光動作と対になる(ディレイ時間tDによる)ゲート7aの開閉動作の繰り返し回数を意味する。
さらに、実施例2では、多重露光を行い、且つ第1投光量と第2投光量での撮像を行うため、図11に示すように、多重露光回数の多い第1投光量で撮像した後、画像読み出しの処理を高速度カメラ8の内部で行った後、蓄積された受像量のリセットを行い、次に第1投光量の1/2の多重露光回数(図11(a),(b)参照)で撮像を行うことで、第1投光量の1/2の投光量の第2投光量での撮像を行っている。
なお、多重露光により撮像された画像は、1画像となる。そのため、実施例2では、同じ撮像エリア(同じ対象距離)では、第1投光量の1画像、第2投光量の1画像となるため、画像処理部10での処理は図5と同様に行われる。
【0053】
これにより実施例2では、撮像対象距離の異なる各撮像画像の輝度レンジ幅(輝度最小値と輝度最大値との差)を撮像エリアにかかわらず均一化し、予め良好な処理ができるように設定された目標輝度に近づけることができる(図9参照)。
【0054】
効果を説明する。実施例2の車両用距離画像データ生成装置にあっては、上記(1),(2),(5)に加えて、下記に列挙する効果を得ることができる。
(3)上記(1)又は(2)において、タイミングコントローラ9は、一つのターゲット距離の撮像画像が、投光器5による複数回の投光と、高速度カメラ8による撮像タイミングでの複数回の撮像で生成されるよう制御を行うため、多重露光により、遠くに位置する物体の輝度ピークが、近くに位置する物体の輝度ピークに近い値が得られるようにでき、遠い距離の物体が確実に検出された距離画像データを生成できる。
その他作用効果は実施例1と同様であるので説明を省略する。
【実施例3】
【0055】
実施例3は、多重露光を行い、且つフレームレートを考慮する距離画像データ生成装置の例である。
構成を説明する。
実施例3のタイミングコントローラ9では、多重露光を行うように、多重露光回数分の撮像が、所定回数の投光動作とゲート7aの開閉動作で構成されるようにする。さらに、実施例3のタイミングコントローラ9では、多重露光回数で設定される所定回数の投光動作とゲート7aの開閉動作において、投光量が全体の1/2となるタイミングで、所定時間の撮像停止を行い、その後に残りの1/2の撮像動作を行うように制御する。
【0056】
そして、実施例3において、高速度カメラ8は、投光量が全体の1/2の状態で、撮像動作が停止している期間に、その時点で撮像した画像を出力し、蓄積された受像量のリセットを行うことなく、残りの1/2の撮像動作による撮像を行い、全体の撮像画像の出力を行う。
その他構成は実施例2と同様であるので説明を省略する。
【0057】
作用を説明する。
[多重露光による輝度補正]
図12は実施例3における多重露光の状態のタイムチャートである。
なお、図12(a)は投光タイミングを示すパルス、図12(b)はシャッタタイミングを示すパルス、図12(c)は高速度カメラ8の受像量の蓄積、リセット等の状態を示す。
実施例3の距離画像データ生成装置2では、タイミングコントローラ9が、設定された多重露光回数に従って、1画像に対して投光動作とゲート7aの開閉動作の複数組を行う際、次のように撮像画像の出力を行う。投光量が1/2となる状態、つまり、多重露光における投光回数が全体の1/2の回数に達すると、撮像動作を一端停止する。そして、この時点の撮像画像を高速度カメラ8の内部又は外部へ出力する。実施例3では、これを第2投光量での撮像とする。
【0058】
そして、その後にタイミングコントローラ9が、残り1/2の撮像動作を行う。この際に、高速度カメラ8は、蓄積した受像量をリセットせずにさらに蓄積するようにする。そして、所定回数の多重露光回数分の撮像動作後に、高速度カメラ8は、撮像画像を出力する。これを第1投光量での撮像とする。
このように実施例3では、第1投光量の撮像と第2投光量の撮像を1回の撮像で行うため、撮像時間を節約し、フレームレートを良好な値にすることができる。
【0059】
ここで、実施例3の距離画像データ生成装置2におけるフレームレートとは、一つの距離画像を生成する際の撮像画像の数を示すもので、この数が撮像エリアの数になるため、フレームレートに影響を与えると、距離画像の精度に影響することになる。
実施例3では、第1投光量の撮像と第2投光量の撮像によって、大きな投光量による確実な検出を行いつつ、輝度値が飽和する部分には、少ない投光量による値の倍増値を用いることで、輝度ピークの確実な検出を行う。さらに多重露光によって、近い対象距離と遠い撮像対象距離とでの検出精度の均一化により検出精度を向上させる。さらに、その際に、一度の多重露光による撮像プロセスにより、露光回数が半分に達した時点での受像データを読み出し、露光時間のことなる2つの画像を撮像する。これにより投光量の違う撮像がフレームレートに影響を与えることなく行える。
【0060】
効果を説明する。実施例3の車両用距離画像データ生成装置にあっては、上記(1),(2),(3),(5)に加えて、下記に列挙する効果を得ることができる。
(4)上記(3)において、タイミングコントローラ9は、一つのターゲット距離の撮像として行われる投光器5による複数回の投光及び高速度カメラ8による撮像タイミングでの複数回の撮像の途中で、投光及び撮像の停止期間を設け、高速度カメラ8は、停止期間までに受像した分の撮像画像と、複数回の撮像全体で受像した分の撮像画像を画像処理部10へ出力するため、一度の撮像対象距離の撮像で、2つの投光量の撮像を行うことができ、異なる投光量による距離画像データの精度向上をフレームレートに影響を与えずに行うことができる。
【0061】
以上、本発明の車両用距離画像データ生成装置及び方法を実施例1〜実施例3に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【0062】
例えば、実施例では、投光量を2つとしたが、3つ以上としてもよい。但し、フレームレートへの影響がないことが望ましい。
【産業上の利用可能性】
【0063】
本発明は、霧等の環境下における物体の有無を検出する撮像に利用することができる。
【符号の説明】
【0064】
1 障害物検出装置
2 距離画像データ生成装置
3 物体認識処理部
4 判断部
5 投光器
6 対物レンズ
7 光倍増部
7a ゲート
7b イメージインテンシファイア
8 高速度カメラ
9 タイミングコントローラ
10 画像処理部
【技術分野】
【0001】
本発明は、車両用距離画像データ生成装置及び方法の技術分野に属する。
【背景技術】
【0002】
特許文献1には、自車両前方を投光し、ターゲット距離から戻ってくる反射光のタイミングに合わせて撮像した画像に基づいて、当該ターゲット距離に障害物等の物体が存在するか否かを検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許第6700123号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来技術にあっては、ターゲット距離以外の物体を検出できない。つまり、状況の把握が間欠的であり、自車両前方の状況を連続的に把握できないという問題があった。
【0005】
本発明の目的は、自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置及び方法を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明では、自車両前方に所定周期でパルス光を投光する投光手段と、ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、を備え、前記タイミング制御手段は、同じターゲット距離で、投光量を大小に変化させた撮像を行うよう制御し、前記距離画像データ生成手段は、投光量を大きくして撮像した画像中の画素の輝度値が飽和した場合に、投光量を小さくして撮像した画像中の画素の輝度値を倍増した値に置き換える補正手段を備えた、ことを特徴とする。
【発明の効果】
【0007】
よって、本発明にあっては、自車両前方の状況を連続的に把握できる。
【図面の簡単な説明】
【0008】
【図1】実施例1の障害物検出装置1の構成を示すブロック図である。
【図2】1つの撮像エリアを撮像する際の、投光器5の動作(投光動作)とゲート7aの動作(カメラゲート動作)との時間的な関係を示す図である。
【図3】撮像エリアの一部がオーバーラップする状態を示す図である。
【図4】撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図である。
【図5】実施例1の画像処理部10で実行される距離画像データ生成制御処理の流れを示すフローチャートである。
【図6】自車両前方の異なる位置に4人の歩行者A〜Dが存在している状況を示す図である。
【図7】各歩行者A〜Bに対応する画素の時間的な輝度変化を示す模式図である。
【図8】実施例1の距離画像データ生成作用を示す図である。
【図9】実施例1の距離画像データ生成装置の輝度値の飽和処理の状態を示す説明図である。
【図10】実施例2における多重露光の状態のタイムチャートである。
【図11】実施例2の多重露光による距離画像データ生成作用を示す図である。
【図12】実施例3における多重露光の状態のタイムチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の車両用距離画像データ生成装置及び方法を実現する実施の形態を、請求項1,2,5に係る発明に対応する実施例1と、請求項1,2,3,5に係る発明に対応する実施例2と、請求項1,2,3,4,5に係る発明に対応する実施例3に基づいて説明する。
【実施例1】
【0010】
まず、構成を説明する。
図1は、本発明の車両用距離画像データ生成装置を適用した実施例1の障害物検出装置1の構成を示すブロック図であり、実施例1の障害物検出装置1は、距離画像データ生成装置2と、物体認識処理部3と、判断部4とを備えている。
【0011】
距離画像データ生成装置2は、投光器(投光手段)5と、対物レンズ6と、光倍増部7と、高速度カメラ(撮像手段)8と、タイミングコントローラ(タイミング制御手段)9と、画像処理部(距離画像データ生成手段)10とを備えている。
【0012】
投光器5は、車両の前端部に配置した近赤外線LED5a(レンズと発光部を構成する)であり、タイミングコントローラ9から出力されるパルス信号に応じて、所定の投光時間tL(例えば、5ns)の間、パルス光を出力する。パルス信号の周期は、投光器5の投光周期tPであり、投光周期tPは、例えば、1/100s以下の間隔とする。
対物レンズ6は、物体からの反射光を受光するためのもので、投光器5と隣接配置している。例えば、自車両前方の所定範囲を撮像できる画角とするように設定された光学系である。
【0013】
光倍増部7は、ゲート7aとイメージインテンシファイア7bとを備えている。
ゲート7aは、タイミングコントローラ9からの開閉指令信号に応じて開閉する。ここで、実施例1では、ゲート7aの開時間(ゲート時間)tGを、投光時間tLと同じ5nsとしている。ここで、ゲート時間tGは、撮像エリア(ターゲット距離)の撮像対象幅に相当し、ゲート時間tGを長くするほど撮像エリアの撮像対象幅は長くなる。実施例1では、ゲート時間tG=5nsとしているため、撮像対象幅は、光速度(約3×108m/s)×ゲート時間(5ns)から、1.5mとなる。
【0014】
イメージインテンシファイア7bは、極微弱な光(物体からの反射光等)を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るデバイスである。イメージインテンシファイア7bの光電面より光電現象によって打ち出された光電子はkVオーダーの高電圧で加速され、陽極側の蛍光面に打ち込まれることにより、100倍以上の光子数の蛍光を発する。
【0015】
蛍光面で発生した蛍光は、ファイバオプティックプレートにより、そのままの位置関係を保ったまま散乱されることなく高速度カメラ8のイメージセンサに導かれる。
高速度カメラ8は、タイミングコントローラ9からの指令信号に応じて、光倍増部7から発せられた像を撮像し、撮像画像(カラー画像)を画像処理部10へ出力する。実施例1では、解像度640×480(横:縦)、輝度値1〜255(256段階)、100fps以上のカメラを用いている。
【0016】
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、投光器5の投光開始時点からゲート7aを開くまでの時間であるディレイ時間tDを設定し、ディレイ時間に応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間tDは、自車両から撮像エリアまでの距離(撮像対象距離)を決める値であり、ディレイ時間tDと撮像対象距離との関係は、以下の式となる。
撮像対象距離=光速度(約3×108m/s)×ディレイ時間tD/2
図2に、1つの撮像エリアを撮像する際の、投光器5の動作(投光動作)とゲート7aの動作(カメラゲート動作)との時間的な関係を示す。
【0017】
タイミングコントローラ9は、撮像エリアが車両手前側から先方へと連続的に移動するように、ディレイ時間tDを所定間隔(例えば、10ns)ずつ長くすることで、高速度カメラ8の撮像範囲を車両前方側へ変化させる。なお、タイミングコントローラ9は、ゲート7aが開く直前に高速度カメラ8の撮像動作を開始させ、ゲート7aが完全に閉じた後に撮像動作を終了させる。但し、実施例1では、タイミングコントローラ9は、撮像対象距離(ターゲット距離)に応じて、予め多重露光回数を設定しておき、このデータを読み出して、ある一つの撮像対象距離における撮像が所定回数の投光動作とゲート7aの開閉動作で構成されるようにする。そのため、設定された所定回数が複数回の場合は、複数回の投光動作とゲート7aの開閉動作後に撮像動作を終了させることになる。
【0018】
また、実施例1では、図3に示すように、撮像対象距離をB1→B2→B3→…と連続的に変化させながら撮像する際、撮像エリアの撮像対象幅Aよりも撮像対象距離の増加量(B2-B1)を短くすることで、撮像エリアの一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。
【0019】
図4は、撮像対象距離の増加量を極限まで小さくした場合、言い換えると、撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図であり、撮像エリアの一部をオーバーラップさせることで、連続する複数の撮像画像における同一の画素の輝度値は、徐々に増加し、ピーク後は徐々に小さくなる特性となる。なお、実際には撮像エリアは有限個(1〜n)であるが、連続する撮像エリアの一部をオーバーラップさせることで、時間的な輝度変化は図4の特性に近くなる。
【0020】
タイミングコントローラ9は、1フレーム分、すなわち、設定された所定範囲(エリア1、エリア2、…、エリアn)の撮像画像が全て撮像された場合、画像処理部10に対し画像処理指令信号を出力する。
また実施例1において、タイミングコントローラ9は、上記説明した各撮像エリアの撮像、つまり1フレーム分の撮像を、所定の第1投光量で行い、且つ第1投光量の1/2の投光量にした第2投光量でも撮像を行うようにする。
【0021】
画像処理部10は、高速度カメラ8により撮像された1フレーム分の撮像画像(撮像画素)から、距離情報を色や輝度等で表す距離画像データを生成し、生成した距離画像データを物体認識処理部3へ出力する。
【0022】
物体認識処理部3は、距離画像データに含まれる物体に対して、画像処理、例えば、ラベリング、パターンマッチング等により距離画像データに含まれる物体を特定する。
判断部4は、物体認識処理部3により特定された物体(人、自動車、標識等)と自車両との関係(距離、相対速度等)に基づいて、警報等による運転者への情報提示、自動ブレーキ等の車両制御の要否を判断する。
【0023】
[距離画像データ生成制御処理]
図5は、実施例1の画像処理部10で実行される距離画像データ生成制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。
【0024】
ステップS1では、画像処理部10が、投光器5による投光を行わずに自車両前方を撮像した撮像画像の最も輝度の低い輝度値データを後の輝度判断のために記憶し、ステップS2へ移行する。このデータは、距離画像データ生成の際に用いるものとする。
【0025】
ステップS2では、画像処理部10が、第1投光量及び第2投光量の撮像画像を入力し、ステップS3へと移行する。
【0026】
ステップS3では、画像処理部10が、第1投光量で撮像した画像中の各画素の輝度値が飽和しているかどうかを判断し、飽和しているならばステップS4へ進み、飽和していないならばステップS5へ進む。なお、輝度値の飽和は、予め設定した輝度閾値に達しているどうかにより判断する。
【0027】
ステップS4では、画像処理部10が、第1投光量で撮像した画素の飽和している輝度値を、第2投光量の輝度値を2倍したものに置き換え、距離画像に用いる処理データとして更新する。
【0028】
ステップS5では、画像処理部10が、第1投光量で撮像した画素の輝度値を、距離画像に用いる処理データとして更新する。
【0029】
ステップS6では、画像処理部10が、1つの撮像エリア分となる1画像分の飽和処理が終了したかどうかを判断し、終了したならばステップS7へ進み、終了していないならばステップS3へ戻る。このステップS6→S3の流れを繰り返すことにより、各画素の飽和処理を行う。
【0030】
ステップS7では、画像処理部10が、1フレーム分(エリア1、エリア2、…、エリアn)の画像入力が終了したか否かを判定する。YESの場合にはステップS8へ移行し、NOの場合にはステップS2へ戻る。
【0031】
ステップS8では、色や輝度により距離情報を伴う画像として、距離画像データを生成し、リターンへ移行する。
【0032】
次に、作用を説明する。
[距離画像データ生成作用]
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ8の撮像タイミングを制御する。狙った撮像エリアに物体が存在している場合、投光器5から出射された光が撮像エリアから戻ってくる時間は、自車両と撮像エリアまでの距離(撮像対象距離)を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。
【0033】
上記方法で得られた高速度カメラ8の撮像画像において、撮像エリアに物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、狙った撮像エリアに存在する物体との距離を求めることができる。
【0034】
さらに、実施例1では、ディレイ時間tDを変化させながら撮像エリア1〜nの撮像画像を取得する。続いて、同じ画素位置の前後の距離の輝度値データを比較し、最も高い輝度値データを当該画素で検出する物体の距離とし、撮像範囲(640×480)の距離の情報を持つデータ(距離画像データ)を生成する。
【0035】
従来のレーザレーダやステレオカメラを用いた距離検出方法では、雨、霧や雪などの影響を受けやすく、信号レベルに対するノイズレベルが大きくなる(SN比が小さい)ため、悪天候時の信頼性が低い。なお、悪天候の影響を受けにくいミリ波レーダを用いた場合、距離検出の信頼性は高くなるが、ミリ波レーダの信号から物体認識(物体の特定)を行うのは困難であり、別途カメラ画像が必要となる。そして、悪天候時にはカメラ画像が不明瞭となるため、正確な物体認識を行うことは困難である。
【0036】
これに対し、実施例1では、狙った撮像エリアから帰ってくる反射波のみを撮像画像に反映させるため、雨、霧や雪などの影響により屈曲した光、すなわち、ノイズの混入レベルを低く抑え、高いSN比を得ることができる。つまり、悪天候や夜間にかかわらず、高い距離検出精度を得ることができる。
そして、生成された距離画像データにより、画像から検出される物体の距離が分かるため、その後パターンマッチング等の手法を用いて物体認識を行う場合、物体との距離を瞬時に把握できる。
【0037】
さらに、実施例1では、撮像エリアを連続的に変化させて複数の撮像画像を取得し、各撮像画像を比較して各画素の距離を検出しているため、自車両前方の状況を連続的に、かつ、広範囲に亘って把握できる。例えば、自車両と先行車両との間に歩行者が飛び出してきた状況であっても、先行車と歩行者の距離をそれぞれ同時に把握でき、警報による運転者への情報提示や自動ブレーキ等の車両制御を行うことが可能である。
【0038】
図6は、自車両前方の異なる位置に4人の歩行者A〜Dが存在している状況を示し、自車両と各歩行者との距離の関係は、A<B<C<Dとする。
このとき、実施例1では、1つの物体からの反射光が連続する複数の撮像エリアにおける撮像画像のオブジェクトを構成する画素に反映されるように、撮像エリアの一部をオーバーラップさせている。このため、各歩行者に対応するオブジェクトを構成する画素の時間的な輝度変化は、図7に示すように、歩行者の位置でピークを取る三角形の特性を示す。
【0039】
なお、距離画像データは、警報や車両制御に用いるデータであるため、ある程度の演算速度が要求される以上、撮像エリアを無限に細かく設定することは時間的に不可能であるが、1つの物体からの反射光が複数の撮像画像の含まれるようにすることで、図8に示すように、画素の時間的な輝度変化を上記特性に近似させ、三角形部分のピークと対応する撮像エリアを、当該画素における物体の距離とすることで、検出精度を高めることができる。
【0040】
[飽和処理作用]
図9は実施例1の距離画像データ生成装置の輝度値の飽和処理の状態を示す説明図である。
図9では横軸を距離とし、撮像エリアの異なる複数画像において同一画素の輝度値を示したものである。
障害物検出のための撮像において、確実な検出のために反射率が比較的低い物体に合わせて撮像すると、車両のリフレクタや道路標識などの極端に反射率が高いものに対しては、その前後から撮像した輝度値が飽和状態になってしまい、正確な距離が困難となる。つまり、図9(a)に輝度特性102で示すように輝度値が飽和すると、ピーク輝度となる対象距離を正確に測れなくなる。言い換えると、飽和範囲のいずれにピークがあるのかを判断できなくなる。
【0041】
実施例1では、飽和処理を行うことによって、反射率の低い物体に合わせて撮像しても、ピーク輝度の対象距離を検出できるようにする。
実施例1では、反射率の低い物体に合わせて設定した第1投光量での撮像(図9(a)参照)と、第1投光量の1/2の投光量での撮像(図9(b)参照)を行う。
すると、第1投光量の撮像では、図9(a)の輝度特性101に示すように、反射率が低い物体は輝度ピークを得られるが、図9(a)の輝度特性102に示すように反射率が高い物体は輝度ピークが飽和する。
【0042】
これに対して、第2投光量の撮像では、投光量を1/2にしているので、図9(b)の輝度特性103,104で示すように、得られる輝度値は1/2になるものの、反射率が高い物体に対しても輝度ピークが確実に得られる。
そして、ステップS2〜S6の処理により、第1投光量で撮像した画像の画素で飽和した輝度値を検出し、それを第2投光量の輝度値を2倍したものに置き換えることにより、距離画像を作成するための処理データは図9(c)に示すようになる。
【0043】
図9(c)では、図9(a)の輝度特性101で飽和していないものは、そのまま距離画像データの生成に用いる処理データとなる。そして、飽和しているものは、その飽和範囲の全ての輝度データが第2投光量で撮像した値を2倍にしたものに置き換えられるため、図9(c)に輝度特性105で示すように、輝度特性102と合わせて、輝度ピークを検出できる輝度特性となる。
これによって、処理データを用いて生成される距離画像の精度が向上する。そして、その撮像が反射率の低い物体に投光量を合わせて撮像されることにより、確実な障害物の検出が行われる。
【0044】
次に、効果を説明する。
【0045】
実施例1の車両用距離画像データ生成装置及び方法にあっては、下記に列挙する効果を得ることができる。
【0046】
(1)自車両前方に所定周期でパルス光を投光する投光器5と、ターゲット距離に応じて設定される撮像タイミングでターゲット距離から帰ってくる反射光を撮像するイメージインテンシファイア7b及び高速度カメラ8と、ターゲット距離が連続的に変化するように撮像タイミングを制御するタイミングコントローラ9と、イメージインテンシファイア7b及び高速度カメラ8により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部10を備え、タイミングコントローラ9は、同じターゲット距離で、投光量を大小に変化させた撮像を行うよう制御し、画像処理部10は、投光量を大きくして撮像した画像中の画素の輝度値が飽和した場合に、投光量を小さくして撮像した画像中の画素の輝度値を倍増した値に置き換えるステップS2〜S6の処理を備えたため、自車両前方の状況を連続的に把握できる。また、大きい投光量により障害物を確実に検出しつつ、輝度ピークを確実に検出して、距離画像データの検出精度を向上させることができる。
【0047】
(2)上記(1)において、タイミングコントローラ9は、投光量の大きい第1投光量と、第1投光量の1/2の投光量の第2投光量により、同じターゲット距離で撮像を行うよう制御し、画像処理部10のステップS2〜S6の処理は、第1投光量により撮像した画像中の画素の輝度値が飽和した場合に、第2投光量で撮像した画像中の画素の輝度値を2倍にした値に置き換えるため、大きな投光量である第1投光量により障害物を確実に検出しつつ、飽和した輝度値を第2投光量で撮像した輝度値を2倍にしたものに置き換えることで、輝度ピークを確実に検出して、距離画像データの検出精度を向上させることができる。
【0048】
(5)自車両前方に所定周期でパルス光を投光器5で投光し、ターゲット距離に応じて設定される撮像タイミングでターゲット距離から帰ってくる反射光をイメージインテンシファイア7b及び高速度カメラ8で撮像し、同じターゲット距離では、投光量を大小に変化させた撮像を行うようにし、且つターゲット距離が連続的に変化するように撮像タイミングをタイミングコントローラ9で制御し、投光量を大きくして撮像した画像中の画素の輝度値が飽和した場合に、投光量を小さくして撮像した画像中の画素の輝度値を倍増した値に置き換えるステップS2〜S6の処理による補正を画像処理部10で行い、補正により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表わす距離画像データを画像処理部10で生成したため、自車両前方の状況を連続的に把握できる。また、大きい投光量により障害物を確実に検出しつつ、輝度ピークを確実に検出して、距離画像データの検出精度を向上させることができる。
【実施例2】
【0049】
実施例2は、多重露光を行う距離画像データ生成装置の例である。
構成を説明する。
実施例2のタイミングコントローラ9は、撮像対象距離に応じて、予め多重露光回数を設定しておき、このデータを読み出して、ある一つの撮像対象距離における撮像が所定回数の投光動作とゲート7aの開閉動作で構成されるようにする。そのため、複数回の投光動作とゲート7aの開閉動作後に撮像動作を終了させることになる。
その他構成は、実施例1と同様であるので説明を省略する。
【0050】
作用を説明する。
[多重露光による輝度補正]
図10は実施例2における多重露光の状態のタイムチャートである。図11は実施例2の多重露光による距離画像データ生成作用を示す図である。
なお、図10(a)は投光タイミングを示すパルス、図10(b)はシャッタタイミングを示すパルス、図10(c)は高速度カメラ8の受像量の蓄積、リセット等の状態を示す。
実施例2の距離画像データ生成装置2では、撮像対象距離を徐々に遠くしながら複数の撮像画像を取得しているため、遠くの撮像エリアに存在する物体からの反射光は、近くの撮像エリアに存在する物体の反射光よりも弱くなる。このため、各撮像エリアで撮像時間(ゲート時間tG)を一定とした場合、遠い撮像エリアほど撮像画像が暗くなってしまう。
【0051】
一方、画像処理部10では、複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成しているため、撮像画像間で上述した撮像対象距離の違いによる輝度差が生じると、同一画素の輝度を比較する際、正確な比較を行うことができない。
【0052】
これに対し、実施例2では、物体が存在する撮像エリアにおける撮像画像の輝度ピーク値(輝度の最大値)が目標輝度となるよう、撮像対象距離に対して多重露光回数を設定し、記憶させる。そして、タイミングコントローラ9が、設定された多重露光回数に従って1画像に対して投光動作とゲート7aの開閉動作の複数組を行う。つまり、実施例2の多重露光回数とは、高速度カメラ8で撮像する1画像に対して、タイミングコントローラ9の制御により行われる、投光器5の投光動作と、上記説明のように投光動作と対になる(ディレイ時間tDによる)ゲート7aの開閉動作の繰り返し回数を意味する。
さらに、実施例2では、多重露光を行い、且つ第1投光量と第2投光量での撮像を行うため、図11に示すように、多重露光回数の多い第1投光量で撮像した後、画像読み出しの処理を高速度カメラ8の内部で行った後、蓄積された受像量のリセットを行い、次に第1投光量の1/2の多重露光回数(図11(a),(b)参照)で撮像を行うことで、第1投光量の1/2の投光量の第2投光量での撮像を行っている。
なお、多重露光により撮像された画像は、1画像となる。そのため、実施例2では、同じ撮像エリア(同じ対象距離)では、第1投光量の1画像、第2投光量の1画像となるため、画像処理部10での処理は図5と同様に行われる。
【0053】
これにより実施例2では、撮像対象距離の異なる各撮像画像の輝度レンジ幅(輝度最小値と輝度最大値との差)を撮像エリアにかかわらず均一化し、予め良好な処理ができるように設定された目標輝度に近づけることができる(図9参照)。
【0054】
効果を説明する。実施例2の車両用距離画像データ生成装置にあっては、上記(1),(2),(5)に加えて、下記に列挙する効果を得ることができる。
(3)上記(1)又は(2)において、タイミングコントローラ9は、一つのターゲット距離の撮像画像が、投光器5による複数回の投光と、高速度カメラ8による撮像タイミングでの複数回の撮像で生成されるよう制御を行うため、多重露光により、遠くに位置する物体の輝度ピークが、近くに位置する物体の輝度ピークに近い値が得られるようにでき、遠い距離の物体が確実に検出された距離画像データを生成できる。
その他作用効果は実施例1と同様であるので説明を省略する。
【実施例3】
【0055】
実施例3は、多重露光を行い、且つフレームレートを考慮する距離画像データ生成装置の例である。
構成を説明する。
実施例3のタイミングコントローラ9では、多重露光を行うように、多重露光回数分の撮像が、所定回数の投光動作とゲート7aの開閉動作で構成されるようにする。さらに、実施例3のタイミングコントローラ9では、多重露光回数で設定される所定回数の投光動作とゲート7aの開閉動作において、投光量が全体の1/2となるタイミングで、所定時間の撮像停止を行い、その後に残りの1/2の撮像動作を行うように制御する。
【0056】
そして、実施例3において、高速度カメラ8は、投光量が全体の1/2の状態で、撮像動作が停止している期間に、その時点で撮像した画像を出力し、蓄積された受像量のリセットを行うことなく、残りの1/2の撮像動作による撮像を行い、全体の撮像画像の出力を行う。
その他構成は実施例2と同様であるので説明を省略する。
【0057】
作用を説明する。
[多重露光による輝度補正]
図12は実施例3における多重露光の状態のタイムチャートである。
なお、図12(a)は投光タイミングを示すパルス、図12(b)はシャッタタイミングを示すパルス、図12(c)は高速度カメラ8の受像量の蓄積、リセット等の状態を示す。
実施例3の距離画像データ生成装置2では、タイミングコントローラ9が、設定された多重露光回数に従って、1画像に対して投光動作とゲート7aの開閉動作の複数組を行う際、次のように撮像画像の出力を行う。投光量が1/2となる状態、つまり、多重露光における投光回数が全体の1/2の回数に達すると、撮像動作を一端停止する。そして、この時点の撮像画像を高速度カメラ8の内部又は外部へ出力する。実施例3では、これを第2投光量での撮像とする。
【0058】
そして、その後にタイミングコントローラ9が、残り1/2の撮像動作を行う。この際に、高速度カメラ8は、蓄積した受像量をリセットせずにさらに蓄積するようにする。そして、所定回数の多重露光回数分の撮像動作後に、高速度カメラ8は、撮像画像を出力する。これを第1投光量での撮像とする。
このように実施例3では、第1投光量の撮像と第2投光量の撮像を1回の撮像で行うため、撮像時間を節約し、フレームレートを良好な値にすることができる。
【0059】
ここで、実施例3の距離画像データ生成装置2におけるフレームレートとは、一つの距離画像を生成する際の撮像画像の数を示すもので、この数が撮像エリアの数になるため、フレームレートに影響を与えると、距離画像の精度に影響することになる。
実施例3では、第1投光量の撮像と第2投光量の撮像によって、大きな投光量による確実な検出を行いつつ、輝度値が飽和する部分には、少ない投光量による値の倍増値を用いることで、輝度ピークの確実な検出を行う。さらに多重露光によって、近い対象距離と遠い撮像対象距離とでの検出精度の均一化により検出精度を向上させる。さらに、その際に、一度の多重露光による撮像プロセスにより、露光回数が半分に達した時点での受像データを読み出し、露光時間のことなる2つの画像を撮像する。これにより投光量の違う撮像がフレームレートに影響を与えることなく行える。
【0060】
効果を説明する。実施例3の車両用距離画像データ生成装置にあっては、上記(1),(2),(3),(5)に加えて、下記に列挙する効果を得ることができる。
(4)上記(3)において、タイミングコントローラ9は、一つのターゲット距離の撮像として行われる投光器5による複数回の投光及び高速度カメラ8による撮像タイミングでの複数回の撮像の途中で、投光及び撮像の停止期間を設け、高速度カメラ8は、停止期間までに受像した分の撮像画像と、複数回の撮像全体で受像した分の撮像画像を画像処理部10へ出力するため、一度の撮像対象距離の撮像で、2つの投光量の撮像を行うことができ、異なる投光量による距離画像データの精度向上をフレームレートに影響を与えずに行うことができる。
【0061】
以上、本発明の車両用距離画像データ生成装置及び方法を実施例1〜実施例3に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【0062】
例えば、実施例では、投光量を2つとしたが、3つ以上としてもよい。但し、フレームレートへの影響がないことが望ましい。
【産業上の利用可能性】
【0063】
本発明は、霧等の環境下における物体の有無を検出する撮像に利用することができる。
【符号の説明】
【0064】
1 障害物検出装置
2 距離画像データ生成装置
3 物体認識処理部
4 判断部
5 投光器
6 対物レンズ
7 光倍増部
7a ゲート
7b イメージインテンシファイア
8 高速度カメラ
9 タイミングコントローラ
10 画像処理部
【特許請求の範囲】
【請求項1】
自車両前方に所定周期でパルス光を投光する投光手段と、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、
前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、
を備え、
前記タイミング制御手段は、
同じターゲット距離で、投光量を大小に変化させた撮像を行うよう制御し、
前記距離画像データ生成手段は、
投光量を大きくして撮像した画像中の画素の輝度値が飽和した場合に、投光量を小さくして撮像した画像中の画素の輝度値を倍増した値に置き換える補正手段を備えた、
ことを特徴とする車両用距離画像データ生成装置。
【請求項2】
請求項1に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、
投光量の大きい第1投光量と、第1投光量の1/2の投光量の第2投光量により、同じターゲット距離で撮像を行うよう制御し、
前記距離画像データ生成手段の補正手段は、
第1投光量により撮像した画像中の画素の輝度値が飽和した場合に、第2投光量で撮像した画像中の画素の輝度値を2倍にした値に置き換える、
ことを特徴とする車両用距離画像データ生成装置。
【請求項3】
請求項1又は請求項2に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、
一つのターゲット距離の撮像画像が、前記投光手段による複数回の投光と、前記撮像手段による前記撮像タイミングでの複数回の撮像で生成されるよう制御を行う、
ことを特徴とする車両用距離画像データ生成装置。
【請求項4】
請求項3に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、一つのターゲット距離の撮像として行われる投光手段による複数回の投光及び撮像手段による撮像タイミングでの複数回の撮像の途中で、投光及び撮像の停止期間を設け、撮像手段は、停止期間までに受像した分の撮像画像と、複数回の撮像全体で受像した分の撮像画像を前記距離画像データ生成手段へ出力した、
ことを特徴とする車両用距離画像データ生成装置。
【請求項5】
自車両前方に所定周期でパルス光を投光し、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像し、
同じターゲット距離では、投光量を大小に変化させた撮像を行うようにし、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御し、
投光量を大きくして撮像した画像中の画素の輝度値が飽和した場合に、投光量を小さくして撮像した画像中の画素の輝度値を倍増した値に置き換える補正を行い、
前記補正により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表わす距離画像データを生成した、
ことを特徴とする車両用距離画像データ生成方法。
【請求項1】
自車両前方に所定周期でパルス光を投光する投光手段と、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、
前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、
を備え、
前記タイミング制御手段は、
同じターゲット距離で、投光量を大小に変化させた撮像を行うよう制御し、
前記距離画像データ生成手段は、
投光量を大きくして撮像した画像中の画素の輝度値が飽和した場合に、投光量を小さくして撮像した画像中の画素の輝度値を倍増した値に置き換える補正手段を備えた、
ことを特徴とする車両用距離画像データ生成装置。
【請求項2】
請求項1に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、
投光量の大きい第1投光量と、第1投光量の1/2の投光量の第2投光量により、同じターゲット距離で撮像を行うよう制御し、
前記距離画像データ生成手段の補正手段は、
第1投光量により撮像した画像中の画素の輝度値が飽和した場合に、第2投光量で撮像した画像中の画素の輝度値を2倍にした値に置き換える、
ことを特徴とする車両用距離画像データ生成装置。
【請求項3】
請求項1又は請求項2に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、
一つのターゲット距離の撮像画像が、前記投光手段による複数回の投光と、前記撮像手段による前記撮像タイミングでの複数回の撮像で生成されるよう制御を行う、
ことを特徴とする車両用距離画像データ生成装置。
【請求項4】
請求項3に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、一つのターゲット距離の撮像として行われる投光手段による複数回の投光及び撮像手段による撮像タイミングでの複数回の撮像の途中で、投光及び撮像の停止期間を設け、撮像手段は、停止期間までに受像した分の撮像画像と、複数回の撮像全体で受像した分の撮像画像を前記距離画像データ生成手段へ出力した、
ことを特徴とする車両用距離画像データ生成装置。
【請求項5】
自車両前方に所定周期でパルス光を投光し、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像し、
同じターゲット距離では、投光量を大小に変化させた撮像を行うようにし、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御し、
投光量を大きくして撮像した画像中の画素の輝度値が飽和した場合に、投光量を小さくして撮像した画像中の画素の輝度値を倍増した値に置き換える補正を行い、
前記補正により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表わす距離画像データを生成した、
ことを特徴とする車両用距離画像データ生成方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−170449(P2010−170449A)
【公開日】平成22年8月5日(2010.8.5)
【国際特許分類】
【出願番号】特願2009−13918(P2009−13918)
【出願日】平成21年1月26日(2009.1.26)
【出願人】(000004765)カルソニックカンセイ株式会社 (3,404)
【Fターム(参考)】
【公開日】平成22年8月5日(2010.8.5)
【国際特許分類】
【出願日】平成21年1月26日(2009.1.26)
【出願人】(000004765)カルソニックカンセイ株式会社 (3,404)
【Fターム(参考)】
[ Back to top ]