車両用距離画像データ生成装置
【課題】 自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置を提供すること。
【解決手段】 投光器５は、異なる配光角度のレンズ５１〜５３を備えた複数の近赤外線LED５ａを備えて配光角度に合わせて点灯、消灯を行うようにし、タイミングコントローラ９は、ターゲット距離に基づいて、投光器５の異なる配光角度のレンズ５１〜５３を備えた複数の近赤外線LED５ａの点灯、消灯により、ステップS11〜S16の処理で、配光角度を変更させた。
【解決手段】 投光器５は、異なる配光角度のレンズ５１〜５３を備えた複数の近赤外線LED５ａを備えて配光角度に合わせて点灯、消灯を行うようにし、タイミングコントローラ９は、ターゲット距離に基づいて、投光器５の異なる配光角度のレンズ５１〜５３を備えた複数の近赤外線LED５ａの点灯、消灯により、ステップS11〜S16の処理で、配光角度を変更させた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用距離画像データ生成装置の技術分野に属する。
【背景技術】
【０００２】
特許文献１には、自車両前方を投光し、ターゲット距離から戻ってくる反射光のタイミングに合わせて撮像した画像に基づいて、当該ターゲット距離に障害物等の物体が存在するか否かを検出する技術が開示されている。
【特許文献１】米国特許第６７００１２３号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術にあっては、ターゲット距離以外の物体を検出できない。つまり、状況の把握が間欠的であり、自車両前方の状況を連続的に把握できないという問題があった。
【０００４】
本発明の目的は、自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の車両用距離画像データ生成装置では、自車両前方に所定周期でパルス光を投光する投光手段と、ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、を備え、前記投光手段は、異なる配光角度に切り換えて投光を行う切換手段を備え、前記タイミング制御手段は、前記ターゲット距離に基づいて、前記投光手段の前記切換手段に配光角度を変更させる、ことを特徴とする。
【発明の効果】
【０００６】
よって、本発明にあっては、自車両前方の状況を連続的に把握できる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の車両用距離画像データ生成装置を実現するための最良の形態を、図面に基づく実施例により説明する。
【実施例１】
【０００８】
まず、構成を説明する。
図１は、本発明の車両用距離画像データ生成装置を適用した実施例１の障害物検出装置１の構成を示すブロック図であり、実施例１の障害物検出装置１は、距離画像データ生成装置２と、物体認識処理部３と、判断部４とを備えている。
【０００９】
距離画像データ生成装置２は、投光器（投光手段）５と、対物レンズ６と、光倍増部７と、高速度カメラ（撮像手段）８と、タイミングコントローラ（タイミング制御手段）９と、画像処理部（距離画像データ生成手段）１０とを備えている。
投光器５は、車両の前端部に配置した近赤外線LED５ａ（レンズと発光部を構成する）であり、タイミングコントローラ９から出力されるパルス信号に応じて、所定の投光時間tL（例えば、5ns）の間、パルス光を出力する。パルス信号の周期は、投光器５の投光周期tPであり、投光周期tPは、例えば、1/100s以下の間隔とする。投光器５の詳細については後述する。
対物レンズ６は、物体からの反射光を受光するためのもので、投光器５と隣接配置している。例えば、自車両前方の所定範囲を撮像できる画角とするように設定された光学系である。
【００１０】
光倍増部７は、ゲート７ａとイメージインテンシファイア７ｂとを備えている。
ゲート７ａは、タイミングコントローラ９からの開閉指令信号に応じて開閉する。ここで、実施例１では、ゲート７ａの開時間（ゲート時間）tGを、投光時間tLと同じ5nsとしている。ここで、ゲート時間tGは、撮像エリア（ターゲット距離）の撮像対象幅に相当し、ゲート時間tGを長くするほど撮像エリアの撮像対象幅は長くなる。実施例１では、ゲート時間tG=5nsとしているため、撮像対象幅は、光速度（約3×108m/s）×ゲート時間(5ns)から、1.5mとなる。
【００１１】
イメージインテンシファイア７ｂは、極微弱な光（物体からの反射光等）を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るデバイスである。イメージインテンシファイア７ｂの光電面より光電現象によって打ち出された光電子はkVオーダーの高電圧で加速され、陽極側の蛍光面に打ち込まれることにより、100倍以上の光子数の蛍光を発する。蛍光面で発生した蛍光は、ファイバオプティックプレートにより、そのままの位置関係を保ったまま散乱されることなく高速度カメラ８のイメージセンサに導かれる。
高速度カメラ８は、タイミングコントローラ９からの指令信号に応じて、光倍増部７から発せられた像を撮像し、撮像画像（カラー画像）を画像処理部１０へ出力する。実施例１では、解像度640×480（横：縦）、輝度値1〜255(256段階)、100fps以上のカメラを用いている。
【００１２】
タイミングコントローラ９は、高速度カメラ８により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、投光器５の投光開始時点からゲート７ａを開くまでの時間であるディレイ時間tDを設定し、ディレイ時間に応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間tDは、自車両から撮像エリアまでの距離（撮像対象距離）を決める値であり、ディレイ時間tDと撮像対象距離との関係は、以下の式となる。
撮像対象距離＝光速度（約3×108m/s）×ディレイ時間tD/2
図２に、１つの撮像エリアを撮像する際の、投光器５の動作（投光動作）とゲート７ａの動作（カメラゲート動作）との時間的な関係を示す。
【００１３】
タイミングコントローラ９は、撮像エリアが車両手前側から先方へと連続的に移動するように、ディレイ時間tDを所定間隔（例えば、10ns）ずつ長くすることで、高速度カメラ８の撮像範囲を車両前方側へ変化させる。なお、タイミングコントローラ９は、ゲート７ａが開く直前に高速度カメラ８の撮像動作を開始させ、ゲート７ａが完全に閉じた後に撮像動作を終了させる。但し、実施例１では、タイミングコントローラ９は、撮像対象距離（ターゲット距離）に応じて、予め多重露光回数を設定しておき、このデータを読み出して、ある一つの撮像対象距離における撮像が所定回数の投光動作とゲート７ａの開閉動作で構成されるようにする。そのため、設定された所定回数が複数回の場合は、複数回の投光動作とゲート７ａの開閉動作後に撮像動作を終了させることになる。
【００１４】
また、実施例１では、図３に示すように、撮像対象距離をB1→B2→B3→…と連続的に変化させながら撮像する際、撮像エリアの撮像対象幅Aよりも撮像対象距離の増加量（B2-B1）を短くすることで、撮像エリアの一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。
【００１５】
図４は、撮像対象距離の増加量を極限まで小さくした場合、言い換えると、撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図であり、撮像エリアの一部をオーバーラップさせることで、連続する複数の撮像画像における同一の画素の輝度値は、徐々に増加し、ピーク後は徐々に小さくなる特性となる。なお、実際には撮像エリアは有限個（１〜n）であるが、連続する撮像エリアの一部をオーバーラップさせることで、時間的な輝度変化は図４の特性に近くなる。
【００１６】
タイミングコントローラ９は、１フレーム分、すなわち、設定された所定範囲（エリア１、エリア２、…、エリアn）の撮像画像が全て撮像された場合、画像処理部１０に対し画像処理指令信号を出力する。
【００１７】
画像処理部１０は、高速度カメラ８により撮像された１フレーム分の撮像画像（撮像画素）から、距離情報を色や輝度等で表す距離画像データを生成し、生成した距離画像データを物体認識処理部３へ出力する。
【００１８】
物体認識処理部３は、距離画像データに含まれる物体に対して、画像処理、例えば、ラベリング、パターンマッチング等により距離画像データに含まれる物体を特定する。
判断部４は、物体認識処理部３により特定された物体（人、自動車、標識等）と自車両との関係（距離、相対速度等）に基づいて、警報等による運転者への情報提示、自動ブレーキ等の車両制御の要否を判断する。
【００１９】
図５は実施例１の距離画像データ生成装置の投光器の説明図である。
投光器５に設けられる近赤外線LED５ａは、図５(b)に示すように、その出力部分にレンズ５１〜５３が取り付けられる配置となる。
そして、レンズ５１は配光角度３０度のレンズであり、レンズ５２は配光角度１５度のレンズであり、レンズ５３は配光角度１０度のレンズである。
このレンズ５１〜５３は、図５(a)に示すように、投光器５の前面に配置される。その配置は、中央に１４個のレンズ５３が配置され、その左右両側に各４個のレンズ５２が配置され、さらにその左右両側に各１個のレンズ５１が配置される。なお、レンズ５１〜５３は、全体を千鳥配置としている。
また、レンズ５１〜５３の個数、レンズ配光角度は、実際の配光特性から最適化を行うのが好ましい。
【００２０】
なお、実施例１では、例として、配光角度３０度のレンズ５１は、近赤外線LED５ａの左右の配光幅が中央から片側４ｍとなる距離が１５ｍ前方位置となるものとする。そして、レンズ５１が取り付けられる近赤外線LED５ａを近距離用の近赤外線LED５ａとする。
また、例としては、配光角度１５度のレンズ５２は、近赤外線LED５ａの左右の配光幅が中央から片側４ｍとなる距離が３０ｍ前方位置となるものとする。そして、レンズ５２が取り付けられる近赤外線LED５ａを中距離用の近赤外線LED５ａとする。
また、例としては、配光角度１０度のレンズ５３は、禁赤外線LED５ａの左右の配光幅が中央から片側４ｍとなる距離が４５ｍ前方位置となるものとする。そして、レンズ５２が取り付けられる近赤外線LED５ａを遠距離用の近赤外線LED５ａとする。
【００２１】
［距離画像データ生成制御処理］
図６は、実施例１の画像処理部１０で実行される距離画像データ生成制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。
【００２２】
ステップS1では、画像処理部１０が、投光器５による投光を行わずに自車両前方を撮像した撮像画像の最も輝度の低い輝度値データを後の輝度判断のために記憶し、ステップS2へ移行する。このデータは、距離画像データ生成の際に用いるものとする。
【００２３】
ステップS2では、画像処理部１０が、撮像画像を入力し、ステップS3へと移行する。なお、実施例１においては、入力される撮像画像は、撮像する距離範囲に応じて予め設定された多重露光回数により複数回撮像された画像となる。詳細は後述する。
【００２４】
ステップS3では、画像処理部１０が、１フレーム分（エリア１、エリア２、…、エリアn）の画像入力が終了したか否かを判定する。YESの場合にはステップS4へ移行し、NOの場合にはステップS2へ移行する。
【００２５】
ステップS4では、色や輝度により距離情報を伴う画像として、距離画像データを生成し、リターンへ移行する。
【００２６】
[投光距離制御処理]
図７は、実施例１のタイミングコントローラ９で実行される投光器５の投光距離制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。
なお、以下の処理では、撮像エリアスキャンの撮像対象距離を近距離、中距離、遠距離の３つの範囲に分け、その境界距離をX1,X2とする。
【００２７】
ステップS11では、タイミングコントローラ９が、撮像を行う際の撮像対象距離Xが、距離X1以下かどうかを判断し、距離X1以下ならばステップS12へ進み、距離X1を超えるならばステップS13へ進む。
【００２８】
ステップS12では、タイミングコントローラ９が、配光角度が３０度のレンズ５１が取り付けられた近距離用の近赤外線LED５ａを投光に用いるようにし、ステップS17へ進む。
【００２９】
ステップS13では、タイミングコントローラ９が、撮像を行う際の撮像対象距離Xが、距離X1を超え、且つ距離X2以下の範囲内かどうかを判断し、この範囲内ならばステップS14へ進み、範囲外ならばステップS15へ進む。
【００３０】
ステップS14では、タイミングコントローラ９が、配光角度が３０度のレンズ５１が取り付けられた近距離用の近赤外線LED５ａ、及び配光角度が１５度のレンズ５２が取り付けられた中距離の近赤外線LED５ａを投光に用いるようにし、ステップS17へ進む。
【００３１】
ステップS15では、タイミングコントローラ９が、撮像を行う際の撮像対象距離Xが、距離X2を超えているかどうかを判断し、超えているならばステップS16へ進み、超えていないならば、エラーとして処理を終了する。
【００３２】
ステップS16では、配光角度が３０度のレンズ５１が取り付けられた近距離用の近赤外線LED５ａ、配光角度が１５度のレンズ５２が取り付けられた中距離の近赤外線LED５ａ、及び配光角度が１０度のレンズ５３が取り付けられた遠距離の近赤外線LED５ａを投光に用いるようにし、ステップS17へ進む。
【００３３】
ステップS17では、その撮像対象距離（撮像エリア）における投光（撮像）処理を行う。
【００３４】
ステップS18では、次の撮像対象距離の撮像へ移るために、撮像対象距離Ｘにエリア間距離Ｌを加える処理を行う。
【００３５】
ステップS19では、１フレーム分の撮像が終了したかどうかを判断し、終了したならば処理を終了し、終了していないならばステップS11へ戻る。
【００３６】
次に、作用を説明する。
［距離画像データ生成作用］
タイミングコントローラ９は、高速度カメラ８により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ８の撮像タイミングを制御する。狙った撮像エリアに物体が存在している場合、投光器５から出射された光が撮像エリアから戻ってくる時間は、自車両と撮像エリアまでの距離（撮像対象距離）を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。
【００３７】
上記方法で得られた高速度カメラ８の撮像画像において、撮像エリアに物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、狙った撮像エリアに存在する物体との距離を求めることができる。
【００３８】
さらに、実施例１では、ディレイ時間tDを変化させながら撮像エリア１〜nの撮像画像を取得する。続いて、同じ画素位置の前後の距離の輝度値データを比較し、最も高い輝度値データを当該画素で検出する物体の距離とし、撮像範囲(640×480)の距離の情報を持つデータ（距離画像データ）を生成する。
【００３９】
従来のレーザレーダやステレオカメラを用いた距離検出方法では、雨、霧や雪などの影響を受けやすく、信号レベルに対するノイズレベルが大きくなる（SN比が小さい）ため、悪天候時の信頼性が低い。なお、悪天候の影響を受けにくいミリ波レーダを用いた場合、距離検出の信頼性は高くなるが、ミリ波レーダの信号から物体認識（物体の特定）を行うのは困難であり、別途カメラ画像が必要となる。そして、悪天候時にはカメラ画像が不明瞭となるため、正確な物体認識を行うことは困難である。
【００４０】
これに対し、実施例１では、狙った撮像エリアから帰ってくる反射波のみを撮像画像に反映させるため、雨、霧や雪などの影響により屈曲した光、すなわち、ノイズの混入レベルを低く抑え、高いSN比を得ることができる。つまり、悪天候や夜間にかかわらず、高い距離検出精度を得ることができる。
そして、生成された距離画像データにより、画像から検出される物体の距離が分かるため、その後パターンマッチング等の手法を用いて物体認識を行う場合、物体との距離を瞬時に把握できる。
【００４１】
さらに、実施例１では、撮像エリアを連続的に変化させて複数の撮像画像を取得し、各撮像画像を比較して各画素の距離を検出しているため、自車両前方の状況を連続的に、かつ、広範囲に亘って把握できる。例えば、自車両と先行車両との間に歩行者が飛び出してきた状況であっても、先行車と歩行者の距離をそれぞれ同時に把握でき、警報による運転者への情報提示や自動ブレーキ等の車両制御を行うことが可能である。
【００４２】
図８は、自車両前方の異なる位置に４人の歩行者A〜Dが存在している状況を示し、自車両と各歩行者との距離の関係は、A<B<C<Dとする。
このとき、実施例１では、１つの物体からの反射光が連続する複数の撮像エリアにおける撮像画像のオブジェクトを構成する画素に反映されるように、撮像エリアの一部をオーバーラップさせている。このため、各歩行者に対応するオブジェクトを構成する画素の時間的な輝度変化は、図９に示すように、歩行者の位置でピークを取る三角形の特性を示す。
【００４３】
なお、距離画像データは、警報や車両制御に用いるデータであるため、ある程度の演算速度が要求される以上、撮像エリアを無限に細かく設定することは時間的に不可能であるが、１つの物体からの反射光が複数の撮像画像の含まれるようにすることで、図１０に示すように、画素の時間的な輝度変化を上記特性に近似させ、三角形部分のピークと対応する撮像エリアを、当該画素における物体の距離とすることで、検出精度を高めることができる。
【００４４】
[多重露光による輝度補正]
実施例１の距離画像データ生成装置２では、撮像対象距離を徐々に遠くしながら複数の撮像画像を取得しているため、遠くの撮像エリアに存在する物体からの反射光は、近くの撮像エリアに存在する物体の反射光よりも弱くなる。このため、各撮像エリアで撮像時間（ゲート時間tG）を一定とした場合、遠い撮像エリアほど撮像画像が暗くなってしまう。
【００４５】
一方、画像処理部１０では、複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成しているため、撮像画像間で上述した撮像対象距離の違いによる輝度差が生じると、同一画素の輝度を比較する際、正確な比較を行うことができない。
【００４６】
これに対し、実施例１では、物体が存在する撮像エリアにおける撮像画像の輝度ピーク値（輝度の最大値）が目標輝度となるよう、撮像対象距離に対して多重露光回数を設定し、記憶させる。そして、タイミングコントローラ９が、設定された多重露光回数に従って１画像に対して投光動作とゲート７ａの開閉動作の複数組を行う。つまり、本実施例１の多重露光回数とは、高速度カメラ８で撮像する１画像に対して、タイミングコントローラ９の制御により行われる、投光器５の投光動作と、上記説明のように投光動作と対になる（ディレイ時間tDによる）ゲート７ａの開閉動作の繰り返し回数を意味する。
【００４７】
このため、撮像対象距離の異なる各撮像画像の輝度レンジ幅（輝度最小値と輝度最大値との差）を撮像エリアにかかわらず均一化し、予め良好な処理ができるように設定された目標輝度に近づけることができる（図１１参照）。
【００４８】
[撮像対象距離による配光角度の変更作用]
図１２は実施例１の距離画像データ生成装置における撮像の際の投光の配光角度変更の説明図である。
投光器５が比較的遠距離までを投光範囲とする場合には、遠くの距離まで効率よく投光するために、レンズで集光することになる。そして、その遠距離位置において、充分に投光された範囲となるようレンズの配光角度が設定される。
この場合、近くの配光範囲が狭くなってしまう。実施例１のように投光器５で物体に投光し、反射した光をゲートの開時間内のみ撮像するような場合には、この影響が顕著となる。
【００４９】
また、上記説明した多重露光による輝度補正では、遠い撮像対象距離で輝度が明るくなるように補正するため、配光幅の狭さの影響は補正されない。そのため、輝度が撮像対象距離で補正され、均一に近づくと、投光が少ない配光範囲外の近距離部分への影響は大きくなることになる。
実施例１の距離画像データ生成装置２では、近距離、例えば２１ｍ程度をステップS11で判断する距離X1とし、この距離X1より近くの場合には、配光角度が３０度のレンズ５１を取り付けた近赤外線LED５ａによる投光で撮像を行う（ステップS11,S12）。
【００５０】
すると、例えば、図１２で自車Ｃが車道の端２０１，２０２の間で、車道中央線２０３の左側を走行しているとした場合に、投光器５の配光幅は、図１２に符号１０１で示すように広くなり、撮像する範囲が良好に均一な投光を受けるようになる。
よって、撮像範囲の距離画像がさらに正確なものとなる。
これにより、歩道で横断歩道や信号を待っている人、走行ラインに近い位置の歩行者などが確実に検出されることになり、車両における前方障害物の検知にとっては非常に好ましいものとなる。
なお、配光角度を大きくした分、撮像で得られる輝度は少なくなる方向になる。しかしながら、近距離は遠距離に比較して高い輝度を撮像で得やすく、上記説明のように多重露光で補正するほどであるので、問題はなく、むしろ補正量を減少させ、より均一な目標輝度を得やすくさせる。
【００５１】
次に、図２等に示すように撮像エリアがスキャンされると、撮像対象距離が徐々に遠くなり、中距離、例えば３７ｍ程度をスキップS13で判断する距離X2とし、距離X1を超え、距離X2以下の間の距離となる。この場合には、配光角度が３０度のレンズ５１を取り付けた近赤外線LED５ａとともに、配光角度が１５度のレンズ５２を取り付けた近赤外線LED５ａによる投光で撮像を行う（ステップS13,S14）。
すると、例えば図１２において、投光器５の配光幅は、図１２に符号１０１で示すものに加えて、符号１０２で示すものとなり、中距離の範囲で広くなり、撮像する範囲が良好に均一な投光を受けるようになる。
【００５２】
さらに、撮像エリアがスキャンされると、撮像対象距離が遠くなり、遠距離、つまりスキップS15で判断する距離X2（例えば３７ｍ程度）を超える距離となる。この場合には、配光角度が３０度のレンズ５１、配光角度が１５度のレンズ５２を取り付けた近赤外線LED５ａに加えて、配光角度が１０度のレンズ５３を取り付けた近赤外線LED５ａによる投光で撮像を行う（ステップS15,S16）。
すると、例えば図１２において、投光器５の配光幅は、図１２に符号１０１，１０２で示すものに加えて、符号１０３で示すものとなり、遠距離で広くなり、撮像する範囲が良好に均一な投光を受けるようになる。
【００５３】
このように実施例１の距離画像データ生成装置２では、近距離、中距離、遠距離のどの範囲においても、撮像する範囲が良好に均一な投光を受けるようになる。
よって、撮像範囲の距離画像がさらに正確なものとなる。そして、歩道で横断歩道や信号を待っている人、走行ラインに近い位置の歩行者などが近距離、中距離、遠距離の範囲で確実に検出されることになり、車両における前方障害物の検知にとっては非常に好ましいものとなる。
【００５４】
なお、実施例１においては、中距離（ステップS13）の場合に、中距離用に加えて、近距離用のレンズ５２を取り付けた近赤外線LED５ａにより投光し（ステップS14）、遠距離（ステップS15）の場合に、遠距離用に加えて、中距離用及び近距離用の近赤外線LED５ａを投光している。これは、近距離用及び中距離用の一部の投光部分は、より遠距離の投光量を増加させるためである。これにより、多重露光の距離での輝度均一化の作用をさらに高めている。
【００５５】
また、実施例１では、この近距離、中距離、遠距離の配光角度の変更による作用が及ぶ距離範囲を８０ｍ程度にしている。これは、例えば、歩道で横断歩道や信号を待っている人、走行ラインに近い位置の歩行者の検知の精度を向上させた距離画像を生成するためである。そのため、自車の速度はこのような状況に対応して抑制した速度を前提としている。その場合には、近くから、８０ｍ程度までを確実に検知するものが、良好な運転を支援することになるからである。
【００５６】
次に、効果を説明する。
実施例１の距離画像データ生成装置２にあっては、以下に列挙する効果を奏する。
【００５７】
(1)自車両前方に所定周期でパルス光を投光する投光器５と、ターゲット距離に応じて設定される撮像タイミングでターゲット距離から帰ってくる反射光を撮像するイメージインテンシファイア７ｂ及び高速度カメラ８と、ターゲット距離が連続的に変化するように撮像タイミングを制御するタイミングコントローラ９と、イメージインテンシファイア７ｂ及び高速度カメラ８により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部１０を備え、投光器５は、異なる配光角度のレンズ５１〜５３を備えた複数の近赤外線LED５ａを備えて配光角度に合わせて点灯、消灯を行うようにし、タイミングコントローラ９は、ターゲット距離に基づいて、投光器５の異なる配光角度のレンズ５１〜５３を備えた複数の近赤外線LED５ａの点灯、消灯により、ステップS11〜S16の処理で、配光角度を変更させるため、自車両前方の状況を連続的に把握できる。さらに、配光角度の切り換えにより距離画像の精度を向上させることができる。
【００５８】
(2)上記(1)において、タイミングコントローラ９は、ターゲット距離に対する投光器５の配光幅の変化を抑制するよう投光器５に複数の配光角度のレンズ５１〜５３を取り付けた近赤外線LED５ａを設けて点灯させる近赤外線LED５ａを変更して、配光角度を変更させるため、ターゲット距離に応じて、点灯させる近赤外線LED５ａを切り換えることにより、配光角度が切り換えられるようにして、ターゲット距離で投光器５の配光幅が変わらないようにして、より均一な輝度条件に対して距離画像が生成されるようにして、精度の向上した距離画像にできる。
【００５９】
(3)上記(1)又は(2)において、タイミングコントローラ９は、ターゲット距離に近距離（X≦X1）、中距離（X1<X≦X2）、遠距離(X2≦X)の範囲を設定し、範囲の切り換わりでターゲット距離が遠くなるのに応じて、投光器５に複数の配光角度のレンズ５１〜５３を取り付けた近赤外線LED５ａを設けて点灯させる近赤外線LED５ａを変更して、配光角度を変更させるため、３段階のターゲット距離に応じて、点灯させる近赤外線LED５ａを切り換えることにより、配光角度が切り換えられるようにして、ターゲット距離で投光器５の配光幅が変わらないようにして、より均一な輝度条件に対して距離画像が生成されるようにして、精度の向上した距離画像にできる。
【００６０】
(4)上記(1)〜(3)において、タイミングコントローラ９は、ターゲット距離が自車に近い位置において、自車前方の車道の側方に存在する歩行者を配光角度範囲に含め、ターゲット距離が遠くなっても、その配光角度範囲を維持するように投光器５に複数の配光角度のレンズ５１〜５３を取り付けた近赤外線LED５ａを設けて点灯させる近赤外線LED５ａを変更して、配光角度を狭くするよう変更させるため、歩道で横断歩道や信号を待っている人、走行ラインに近い位置の歩行者などが近距離、中距離、遠距離の範囲で確実に検出できる。
【００６１】
(5)上記(1)〜(4)において、タイミングコントローラ９は、一つのターゲット距離の撮像画像が、投光器５による複数回の投光と、イメージインテンシファイア７ｂ及び高速度カメラ８による撮像タイミングでの複数回の撮像で生成され、且つターゲット距離が遠くなるに従って、投光及び撮像の回数を増やす多重露光制御を行うため、ターゲット距離に対して均一な輝度を得ることができ、精度の向上した距離画像にできる。
以上、本発明を実施するための最良の形態を、実施例に基づき説明したが、本発明の具体的な構成については、実施例の構成に限らず、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計変更や追加等は許容される。
【００６２】
例えば、投光周期、投光時間、ゲート時間、撮像対象幅、撮像対象距離の変化量、１フレーム中の撮像エリア数は、撮像手段の性能や距離画像データ生成手段の性能に応じて適宜設定することができる。
また例えば、実施例１では、自車から８０ｍ程度までの範囲を近距離、中距離、遠距離に分けて、それぞれが充分な配光幅となるようにしたが、高速道路など、前方車両の検出を重視し、状況における自車速度が高速の場合には、充分な配光幅にする範囲を前方に移動した設定としてもよいし、さらに、遠距離に投光を行う近赤外線LED５ａを設けるようにしてもよい。
【図面の簡単な説明】
【００６３】
【図１】実施例１の障害物検出装置１の構成を示すブロック図である。
【図２】１つの撮像エリアを撮像する際の、投光器５の動作（投光動作）とゲート７ａの動作（カメラゲート動作）との時間的な関係を示す図である。
【図３】撮像エリアの一部がオーバーラップする状態を示す図である。
【図４】撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図である。
【図５】実施例１の距離画像データ生成装置の投光器の説明図である。
【図６】実施例１の画像処理部１０で実行される距離画像データ生成制御処理の流れを示すフローチャートである。
【図７】実施例１のタイミングコントローラ９で実行される投光器５の投光距離制御処理の流れを示すフローチャートである。
【図８】自車両前方の異なる位置に４人の歩行者A〜Dが存在している状況を示す図である。
【図９】各歩行者A〜Bに対応する画素の時間的な輝度変化を示す模式図である。
【図１０】実施例１の距離画像データ生成作用を示す図である。
【図１１】実施例１の多重露光による距離画像データ生成作用を示す図である。
【図１２】実施例１の距離画像データ生成装置における撮像の際の投光の配光角度変更の説明図である。
【符号の説明】
【００６４】
１ 障害物検出装置
２ 距離画像データ生成装置
３ 物体認識処理部
４ 判断部
５ 投光器（投光手段）
５ａ 近赤外線LED
５１〜５３ レンズ
６ 対物レンズ
７ 光増倍部
７ａ ゲート
７ｂ イメージインテンシファイア
８ 高速度カメラ（撮像手段）
９ タイミングコントローラ（タイミング制御手段）
１０ 画像処理部（距離画像データ生成手段）
１０１ （レンズ５１を取り付けた近赤外線LED５ａの）配光範囲
１０２ （レンズ５２を取り付けた近赤外線LED５ａの）配光範囲
１０３ （レンズ５３を取り付けた近赤外線LED５ａの）配光範囲
１０４ （自車の中央の延長を示す）線
２０１，２０２ （車道の端を示す）線
２０３ （車道の）中央線
Ｃ 自車
【技術分野】
【０００１】
本発明は、車両用距離画像データ生成装置の技術分野に属する。
【背景技術】
【０００２】
特許文献１には、自車両前方を投光し、ターゲット距離から戻ってくる反射光のタイミングに合わせて撮像した画像に基づいて、当該ターゲット距離に障害物等の物体が存在するか否かを検出する技術が開示されている。
【特許文献１】米国特許第６７００１２３号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術にあっては、ターゲット距離以外の物体を検出できない。つまり、状況の把握が間欠的であり、自車両前方の状況を連続的に把握できないという問題があった。
【０００４】
本発明の目的は、自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の車両用距離画像データ生成装置では、自車両前方に所定周期でパルス光を投光する投光手段と、ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、を備え、前記投光手段は、異なる配光角度に切り換えて投光を行う切換手段を備え、前記タイミング制御手段は、前記ターゲット距離に基づいて、前記投光手段の前記切換手段に配光角度を変更させる、ことを特徴とする。
【発明の効果】
【０００６】
よって、本発明にあっては、自車両前方の状況を連続的に把握できる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の車両用距離画像データ生成装置を実現するための最良の形態を、図面に基づく実施例により説明する。
【実施例１】
【０００８】
まず、構成を説明する。
図１は、本発明の車両用距離画像データ生成装置を適用した実施例１の障害物検出装置１の構成を示すブロック図であり、実施例１の障害物検出装置１は、距離画像データ生成装置２と、物体認識処理部３と、判断部４とを備えている。
【０００９】
距離画像データ生成装置２は、投光器（投光手段）５と、対物レンズ６と、光倍増部７と、高速度カメラ（撮像手段）８と、タイミングコントローラ（タイミング制御手段）９と、画像処理部（距離画像データ生成手段）１０とを備えている。
投光器５は、車両の前端部に配置した近赤外線LED５ａ（レンズと発光部を構成する）であり、タイミングコントローラ９から出力されるパルス信号に応じて、所定の投光時間tL（例えば、5ns）の間、パルス光を出力する。パルス信号の周期は、投光器５の投光周期tPであり、投光周期tPは、例えば、1/100s以下の間隔とする。投光器５の詳細については後述する。
対物レンズ６は、物体からの反射光を受光するためのもので、投光器５と隣接配置している。例えば、自車両前方の所定範囲を撮像できる画角とするように設定された光学系である。
【００１０】
光倍増部７は、ゲート７ａとイメージインテンシファイア７ｂとを備えている。
ゲート７ａは、タイミングコントローラ９からの開閉指令信号に応じて開閉する。ここで、実施例１では、ゲート７ａの開時間（ゲート時間）tGを、投光時間tLと同じ5nsとしている。ここで、ゲート時間tGは、撮像エリア（ターゲット距離）の撮像対象幅に相当し、ゲート時間tGを長くするほど撮像エリアの撮像対象幅は長くなる。実施例１では、ゲート時間tG=5nsとしているため、撮像対象幅は、光速度（約3×108m/s）×ゲート時間(5ns)から、1.5mとなる。
【００１１】
イメージインテンシファイア７ｂは、極微弱な光（物体からの反射光等）を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るデバイスである。イメージインテンシファイア７ｂの光電面より光電現象によって打ち出された光電子はkVオーダーの高電圧で加速され、陽極側の蛍光面に打ち込まれることにより、100倍以上の光子数の蛍光を発する。蛍光面で発生した蛍光は、ファイバオプティックプレートにより、そのままの位置関係を保ったまま散乱されることなく高速度カメラ８のイメージセンサに導かれる。
高速度カメラ８は、タイミングコントローラ９からの指令信号に応じて、光倍増部７から発せられた像を撮像し、撮像画像（カラー画像）を画像処理部１０へ出力する。実施例１では、解像度640×480（横：縦）、輝度値1〜255(256段階)、100fps以上のカメラを用いている。
【００１２】
タイミングコントローラ９は、高速度カメラ８により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、投光器５の投光開始時点からゲート７ａを開くまでの時間であるディレイ時間tDを設定し、ディレイ時間に応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間tDは、自車両から撮像エリアまでの距離（撮像対象距離）を決める値であり、ディレイ時間tDと撮像対象距離との関係は、以下の式となる。
撮像対象距離＝光速度（約3×108m/s）×ディレイ時間tD/2
図２に、１つの撮像エリアを撮像する際の、投光器５の動作（投光動作）とゲート７ａの動作（カメラゲート動作）との時間的な関係を示す。
【００１３】
タイミングコントローラ９は、撮像エリアが車両手前側から先方へと連続的に移動するように、ディレイ時間tDを所定間隔（例えば、10ns）ずつ長くすることで、高速度カメラ８の撮像範囲を車両前方側へ変化させる。なお、タイミングコントローラ９は、ゲート７ａが開く直前に高速度カメラ８の撮像動作を開始させ、ゲート７ａが完全に閉じた後に撮像動作を終了させる。但し、実施例１では、タイミングコントローラ９は、撮像対象距離（ターゲット距離）に応じて、予め多重露光回数を設定しておき、このデータを読み出して、ある一つの撮像対象距離における撮像が所定回数の投光動作とゲート７ａの開閉動作で構成されるようにする。そのため、設定された所定回数が複数回の場合は、複数回の投光動作とゲート７ａの開閉動作後に撮像動作を終了させることになる。
【００１４】
また、実施例１では、図３に示すように、撮像対象距離をB1→B2→B3→…と連続的に変化させながら撮像する際、撮像エリアの撮像対象幅Aよりも撮像対象距離の増加量（B2-B1）を短くすることで、撮像エリアの一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。
【００１５】
図４は、撮像対象距離の増加量を極限まで小さくした場合、言い換えると、撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図であり、撮像エリアの一部をオーバーラップさせることで、連続する複数の撮像画像における同一の画素の輝度値は、徐々に増加し、ピーク後は徐々に小さくなる特性となる。なお、実際には撮像エリアは有限個（１〜n）であるが、連続する撮像エリアの一部をオーバーラップさせることで、時間的な輝度変化は図４の特性に近くなる。
【００１６】
タイミングコントローラ９は、１フレーム分、すなわち、設定された所定範囲（エリア１、エリア２、…、エリアn）の撮像画像が全て撮像された場合、画像処理部１０に対し画像処理指令信号を出力する。
【００１７】
画像処理部１０は、高速度カメラ８により撮像された１フレーム分の撮像画像（撮像画素）から、距離情報を色や輝度等で表す距離画像データを生成し、生成した距離画像データを物体認識処理部３へ出力する。
【００１８】
物体認識処理部３は、距離画像データに含まれる物体に対して、画像処理、例えば、ラベリング、パターンマッチング等により距離画像データに含まれる物体を特定する。
判断部４は、物体認識処理部３により特定された物体（人、自動車、標識等）と自車両との関係（距離、相対速度等）に基づいて、警報等による運転者への情報提示、自動ブレーキ等の車両制御の要否を判断する。
【００１９】
図５は実施例１の距離画像データ生成装置の投光器の説明図である。
投光器５に設けられる近赤外線LED５ａは、図５(b)に示すように、その出力部分にレンズ５１〜５３が取り付けられる配置となる。
そして、レンズ５１は配光角度３０度のレンズであり、レンズ５２は配光角度１５度のレンズであり、レンズ５３は配光角度１０度のレンズである。
このレンズ５１〜５３は、図５(a)に示すように、投光器５の前面に配置される。その配置は、中央に１４個のレンズ５３が配置され、その左右両側に各４個のレンズ５２が配置され、さらにその左右両側に各１個のレンズ５１が配置される。なお、レンズ５１〜５３は、全体を千鳥配置としている。
また、レンズ５１〜５３の個数、レンズ配光角度は、実際の配光特性から最適化を行うのが好ましい。
【００２０】
なお、実施例１では、例として、配光角度３０度のレンズ５１は、近赤外線LED５ａの左右の配光幅が中央から片側４ｍとなる距離が１５ｍ前方位置となるものとする。そして、レンズ５１が取り付けられる近赤外線LED５ａを近距離用の近赤外線LED５ａとする。
また、例としては、配光角度１５度のレンズ５２は、近赤外線LED５ａの左右の配光幅が中央から片側４ｍとなる距離が３０ｍ前方位置となるものとする。そして、レンズ５２が取り付けられる近赤外線LED５ａを中距離用の近赤外線LED５ａとする。
また、例としては、配光角度１０度のレンズ５３は、禁赤外線LED５ａの左右の配光幅が中央から片側４ｍとなる距離が４５ｍ前方位置となるものとする。そして、レンズ５２が取り付けられる近赤外線LED５ａを遠距離用の近赤外線LED５ａとする。
【００２１】
［距離画像データ生成制御処理］
図６は、実施例１の画像処理部１０で実行される距離画像データ生成制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。
【００２２】
ステップS1では、画像処理部１０が、投光器５による投光を行わずに自車両前方を撮像した撮像画像の最も輝度の低い輝度値データを後の輝度判断のために記憶し、ステップS2へ移行する。このデータは、距離画像データ生成の際に用いるものとする。
【００２３】
ステップS2では、画像処理部１０が、撮像画像を入力し、ステップS3へと移行する。なお、実施例１においては、入力される撮像画像は、撮像する距離範囲に応じて予め設定された多重露光回数により複数回撮像された画像となる。詳細は後述する。
【００２４】
ステップS3では、画像処理部１０が、１フレーム分（エリア１、エリア２、…、エリアn）の画像入力が終了したか否かを判定する。YESの場合にはステップS4へ移行し、NOの場合にはステップS2へ移行する。
【００２５】
ステップS4では、色や輝度により距離情報を伴う画像として、距離画像データを生成し、リターンへ移行する。
【００２６】
[投光距離制御処理]
図７は、実施例１のタイミングコントローラ９で実行される投光器５の投光距離制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。
なお、以下の処理では、撮像エリアスキャンの撮像対象距離を近距離、中距離、遠距離の３つの範囲に分け、その境界距離をX1,X2とする。
【００２７】
ステップS11では、タイミングコントローラ９が、撮像を行う際の撮像対象距離Xが、距離X1以下かどうかを判断し、距離X1以下ならばステップS12へ進み、距離X1を超えるならばステップS13へ進む。
【００２８】
ステップS12では、タイミングコントローラ９が、配光角度が３０度のレンズ５１が取り付けられた近距離用の近赤外線LED５ａを投光に用いるようにし、ステップS17へ進む。
【００２９】
ステップS13では、タイミングコントローラ９が、撮像を行う際の撮像対象距離Xが、距離X1を超え、且つ距離X2以下の範囲内かどうかを判断し、この範囲内ならばステップS14へ進み、範囲外ならばステップS15へ進む。
【００３０】
ステップS14では、タイミングコントローラ９が、配光角度が３０度のレンズ５１が取り付けられた近距離用の近赤外線LED５ａ、及び配光角度が１５度のレンズ５２が取り付けられた中距離の近赤外線LED５ａを投光に用いるようにし、ステップS17へ進む。
【００３１】
ステップS15では、タイミングコントローラ９が、撮像を行う際の撮像対象距離Xが、距離X2を超えているかどうかを判断し、超えているならばステップS16へ進み、超えていないならば、エラーとして処理を終了する。
【００３２】
ステップS16では、配光角度が３０度のレンズ５１が取り付けられた近距離用の近赤外線LED５ａ、配光角度が１５度のレンズ５２が取り付けられた中距離の近赤外線LED５ａ、及び配光角度が１０度のレンズ５３が取り付けられた遠距離の近赤外線LED５ａを投光に用いるようにし、ステップS17へ進む。
【００３３】
ステップS17では、その撮像対象距離（撮像エリア）における投光（撮像）処理を行う。
【００３４】
ステップS18では、次の撮像対象距離の撮像へ移るために、撮像対象距離Ｘにエリア間距離Ｌを加える処理を行う。
【００３５】
ステップS19では、１フレーム分の撮像が終了したかどうかを判断し、終了したならば処理を終了し、終了していないならばステップS11へ戻る。
【００３６】
次に、作用を説明する。
［距離画像データ生成作用］
タイミングコントローラ９は、高速度カメラ８により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ８の撮像タイミングを制御する。狙った撮像エリアに物体が存在している場合、投光器５から出射された光が撮像エリアから戻ってくる時間は、自車両と撮像エリアまでの距離（撮像対象距離）を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。
【００３７】
上記方法で得られた高速度カメラ８の撮像画像において、撮像エリアに物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、狙った撮像エリアに存在する物体との距離を求めることができる。
【００３８】
さらに、実施例１では、ディレイ時間tDを変化させながら撮像エリア１〜nの撮像画像を取得する。続いて、同じ画素位置の前後の距離の輝度値データを比較し、最も高い輝度値データを当該画素で検出する物体の距離とし、撮像範囲(640×480)の距離の情報を持つデータ（距離画像データ）を生成する。
【００３９】
従来のレーザレーダやステレオカメラを用いた距離検出方法では、雨、霧や雪などの影響を受けやすく、信号レベルに対するノイズレベルが大きくなる（SN比が小さい）ため、悪天候時の信頼性が低い。なお、悪天候の影響を受けにくいミリ波レーダを用いた場合、距離検出の信頼性は高くなるが、ミリ波レーダの信号から物体認識（物体の特定）を行うのは困難であり、別途カメラ画像が必要となる。そして、悪天候時にはカメラ画像が不明瞭となるため、正確な物体認識を行うことは困難である。
【００４０】
これに対し、実施例１では、狙った撮像エリアから帰ってくる反射波のみを撮像画像に反映させるため、雨、霧や雪などの影響により屈曲した光、すなわち、ノイズの混入レベルを低く抑え、高いSN比を得ることができる。つまり、悪天候や夜間にかかわらず、高い距離検出精度を得ることができる。
そして、生成された距離画像データにより、画像から検出される物体の距離が分かるため、その後パターンマッチング等の手法を用いて物体認識を行う場合、物体との距離を瞬時に把握できる。
【００４１】
さらに、実施例１では、撮像エリアを連続的に変化させて複数の撮像画像を取得し、各撮像画像を比較して各画素の距離を検出しているため、自車両前方の状況を連続的に、かつ、広範囲に亘って把握できる。例えば、自車両と先行車両との間に歩行者が飛び出してきた状況であっても、先行車と歩行者の距離をそれぞれ同時に把握でき、警報による運転者への情報提示や自動ブレーキ等の車両制御を行うことが可能である。
【００４２】
図８は、自車両前方の異なる位置に４人の歩行者A〜Dが存在している状況を示し、自車両と各歩行者との距離の関係は、A<B<C<Dとする。
このとき、実施例１では、１つの物体からの反射光が連続する複数の撮像エリアにおける撮像画像のオブジェクトを構成する画素に反映されるように、撮像エリアの一部をオーバーラップさせている。このため、各歩行者に対応するオブジェクトを構成する画素の時間的な輝度変化は、図９に示すように、歩行者の位置でピークを取る三角形の特性を示す。
【００４３】
なお、距離画像データは、警報や車両制御に用いるデータであるため、ある程度の演算速度が要求される以上、撮像エリアを無限に細かく設定することは時間的に不可能であるが、１つの物体からの反射光が複数の撮像画像の含まれるようにすることで、図１０に示すように、画素の時間的な輝度変化を上記特性に近似させ、三角形部分のピークと対応する撮像エリアを、当該画素における物体の距離とすることで、検出精度を高めることができる。
【００４４】
[多重露光による輝度補正]
実施例１の距離画像データ生成装置２では、撮像対象距離を徐々に遠くしながら複数の撮像画像を取得しているため、遠くの撮像エリアに存在する物体からの反射光は、近くの撮像エリアに存在する物体の反射光よりも弱くなる。このため、各撮像エリアで撮像時間（ゲート時間tG）を一定とした場合、遠い撮像エリアほど撮像画像が暗くなってしまう。
【００４５】
一方、画像処理部１０では、複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成しているため、撮像画像間で上述した撮像対象距離の違いによる輝度差が生じると、同一画素の輝度を比較する際、正確な比較を行うことができない。
【００４６】
これに対し、実施例１では、物体が存在する撮像エリアにおける撮像画像の輝度ピーク値（輝度の最大値）が目標輝度となるよう、撮像対象距離に対して多重露光回数を設定し、記憶させる。そして、タイミングコントローラ９が、設定された多重露光回数に従って１画像に対して投光動作とゲート７ａの開閉動作の複数組を行う。つまり、本実施例１の多重露光回数とは、高速度カメラ８で撮像する１画像に対して、タイミングコントローラ９の制御により行われる、投光器５の投光動作と、上記説明のように投光動作と対になる（ディレイ時間tDによる）ゲート７ａの開閉動作の繰り返し回数を意味する。
【００４７】
このため、撮像対象距離の異なる各撮像画像の輝度レンジ幅（輝度最小値と輝度最大値との差）を撮像エリアにかかわらず均一化し、予め良好な処理ができるように設定された目標輝度に近づけることができる（図１１参照）。
【００４８】
[撮像対象距離による配光角度の変更作用]
図１２は実施例１の距離画像データ生成装置における撮像の際の投光の配光角度変更の説明図である。
投光器５が比較的遠距離までを投光範囲とする場合には、遠くの距離まで効率よく投光するために、レンズで集光することになる。そして、その遠距離位置において、充分に投光された範囲となるようレンズの配光角度が設定される。
この場合、近くの配光範囲が狭くなってしまう。実施例１のように投光器５で物体に投光し、反射した光をゲートの開時間内のみ撮像するような場合には、この影響が顕著となる。
【００４９】
また、上記説明した多重露光による輝度補正では、遠い撮像対象距離で輝度が明るくなるように補正するため、配光幅の狭さの影響は補正されない。そのため、輝度が撮像対象距離で補正され、均一に近づくと、投光が少ない配光範囲外の近距離部分への影響は大きくなることになる。
実施例１の距離画像データ生成装置２では、近距離、例えば２１ｍ程度をステップS11で判断する距離X1とし、この距離X1より近くの場合には、配光角度が３０度のレンズ５１を取り付けた近赤外線LED５ａによる投光で撮像を行う（ステップS11,S12）。
【００５０】
すると、例えば、図１２で自車Ｃが車道の端２０１，２０２の間で、車道中央線２０３の左側を走行しているとした場合に、投光器５の配光幅は、図１２に符号１０１で示すように広くなり、撮像する範囲が良好に均一な投光を受けるようになる。
よって、撮像範囲の距離画像がさらに正確なものとなる。
これにより、歩道で横断歩道や信号を待っている人、走行ラインに近い位置の歩行者などが確実に検出されることになり、車両における前方障害物の検知にとっては非常に好ましいものとなる。
なお、配光角度を大きくした分、撮像で得られる輝度は少なくなる方向になる。しかしながら、近距離は遠距離に比較して高い輝度を撮像で得やすく、上記説明のように多重露光で補正するほどであるので、問題はなく、むしろ補正量を減少させ、より均一な目標輝度を得やすくさせる。
【００５１】
次に、図２等に示すように撮像エリアがスキャンされると、撮像対象距離が徐々に遠くなり、中距離、例えば３７ｍ程度をスキップS13で判断する距離X2とし、距離X1を超え、距離X2以下の間の距離となる。この場合には、配光角度が３０度のレンズ５１を取り付けた近赤外線LED５ａとともに、配光角度が１５度のレンズ５２を取り付けた近赤外線LED５ａによる投光で撮像を行う（ステップS13,S14）。
すると、例えば図１２において、投光器５の配光幅は、図１２に符号１０１で示すものに加えて、符号１０２で示すものとなり、中距離の範囲で広くなり、撮像する範囲が良好に均一な投光を受けるようになる。
【００５２】
さらに、撮像エリアがスキャンされると、撮像対象距離が遠くなり、遠距離、つまりスキップS15で判断する距離X2（例えば３７ｍ程度）を超える距離となる。この場合には、配光角度が３０度のレンズ５１、配光角度が１５度のレンズ５２を取り付けた近赤外線LED５ａに加えて、配光角度が１０度のレンズ５３を取り付けた近赤外線LED５ａによる投光で撮像を行う（ステップS15,S16）。
すると、例えば図１２において、投光器５の配光幅は、図１２に符号１０１，１０２で示すものに加えて、符号１０３で示すものとなり、遠距離で広くなり、撮像する範囲が良好に均一な投光を受けるようになる。
【００５３】
このように実施例１の距離画像データ生成装置２では、近距離、中距離、遠距離のどの範囲においても、撮像する範囲が良好に均一な投光を受けるようになる。
よって、撮像範囲の距離画像がさらに正確なものとなる。そして、歩道で横断歩道や信号を待っている人、走行ラインに近い位置の歩行者などが近距離、中距離、遠距離の範囲で確実に検出されることになり、車両における前方障害物の検知にとっては非常に好ましいものとなる。
【００５４】
なお、実施例１においては、中距離（ステップS13）の場合に、中距離用に加えて、近距離用のレンズ５２を取り付けた近赤外線LED５ａにより投光し（ステップS14）、遠距離（ステップS15）の場合に、遠距離用に加えて、中距離用及び近距離用の近赤外線LED５ａを投光している。これは、近距離用及び中距離用の一部の投光部分は、より遠距離の投光量を増加させるためである。これにより、多重露光の距離での輝度均一化の作用をさらに高めている。
【００５５】
また、実施例１では、この近距離、中距離、遠距離の配光角度の変更による作用が及ぶ距離範囲を８０ｍ程度にしている。これは、例えば、歩道で横断歩道や信号を待っている人、走行ラインに近い位置の歩行者の検知の精度を向上させた距離画像を生成するためである。そのため、自車の速度はこのような状況に対応して抑制した速度を前提としている。その場合には、近くから、８０ｍ程度までを確実に検知するものが、良好な運転を支援することになるからである。
【００５６】
次に、効果を説明する。
実施例１の距離画像データ生成装置２にあっては、以下に列挙する効果を奏する。
【００５７】
(1)自車両前方に所定周期でパルス光を投光する投光器５と、ターゲット距離に応じて設定される撮像タイミングでターゲット距離から帰ってくる反射光を撮像するイメージインテンシファイア７ｂ及び高速度カメラ８と、ターゲット距離が連続的に変化するように撮像タイミングを制御するタイミングコントローラ９と、イメージインテンシファイア７ｂ及び高速度カメラ８により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部１０を備え、投光器５は、異なる配光角度のレンズ５１〜５３を備えた複数の近赤外線LED５ａを備えて配光角度に合わせて点灯、消灯を行うようにし、タイミングコントローラ９は、ターゲット距離に基づいて、投光器５の異なる配光角度のレンズ５１〜５３を備えた複数の近赤外線LED５ａの点灯、消灯により、ステップS11〜S16の処理で、配光角度を変更させるため、自車両前方の状況を連続的に把握できる。さらに、配光角度の切り換えにより距離画像の精度を向上させることができる。
【００５８】
(2)上記(1)において、タイミングコントローラ９は、ターゲット距離に対する投光器５の配光幅の変化を抑制するよう投光器５に複数の配光角度のレンズ５１〜５３を取り付けた近赤外線LED５ａを設けて点灯させる近赤外線LED５ａを変更して、配光角度を変更させるため、ターゲット距離に応じて、点灯させる近赤外線LED５ａを切り換えることにより、配光角度が切り換えられるようにして、ターゲット距離で投光器５の配光幅が変わらないようにして、より均一な輝度条件に対して距離画像が生成されるようにして、精度の向上した距離画像にできる。
【００５９】
(3)上記(1)又は(2)において、タイミングコントローラ９は、ターゲット距離に近距離（X≦X1）、中距離（X1<X≦X2）、遠距離(X2≦X)の範囲を設定し、範囲の切り換わりでターゲット距離が遠くなるのに応じて、投光器５に複数の配光角度のレンズ５１〜５３を取り付けた近赤外線LED５ａを設けて点灯させる近赤外線LED５ａを変更して、配光角度を変更させるため、３段階のターゲット距離に応じて、点灯させる近赤外線LED５ａを切り換えることにより、配光角度が切り換えられるようにして、ターゲット距離で投光器５の配光幅が変わらないようにして、より均一な輝度条件に対して距離画像が生成されるようにして、精度の向上した距離画像にできる。
【００６０】
(4)上記(1)〜(3)において、タイミングコントローラ９は、ターゲット距離が自車に近い位置において、自車前方の車道の側方に存在する歩行者を配光角度範囲に含め、ターゲット距離が遠くなっても、その配光角度範囲を維持するように投光器５に複数の配光角度のレンズ５１〜５３を取り付けた近赤外線LED５ａを設けて点灯させる近赤外線LED５ａを変更して、配光角度を狭くするよう変更させるため、歩道で横断歩道や信号を待っている人、走行ラインに近い位置の歩行者などが近距離、中距離、遠距離の範囲で確実に検出できる。
【００６１】
(5)上記(1)〜(4)において、タイミングコントローラ９は、一つのターゲット距離の撮像画像が、投光器５による複数回の投光と、イメージインテンシファイア７ｂ及び高速度カメラ８による撮像タイミングでの複数回の撮像で生成され、且つターゲット距離が遠くなるに従って、投光及び撮像の回数を増やす多重露光制御を行うため、ターゲット距離に対して均一な輝度を得ることができ、精度の向上した距離画像にできる。
以上、本発明を実施するための最良の形態を、実施例に基づき説明したが、本発明の具体的な構成については、実施例の構成に限らず、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計変更や追加等は許容される。
【００６２】
例えば、投光周期、投光時間、ゲート時間、撮像対象幅、撮像対象距離の変化量、１フレーム中の撮像エリア数は、撮像手段の性能や距離画像データ生成手段の性能に応じて適宜設定することができる。
また例えば、実施例１では、自車から８０ｍ程度までの範囲を近距離、中距離、遠距離に分けて、それぞれが充分な配光幅となるようにしたが、高速道路など、前方車両の検出を重視し、状況における自車速度が高速の場合には、充分な配光幅にする範囲を前方に移動した設定としてもよいし、さらに、遠距離に投光を行う近赤外線LED５ａを設けるようにしてもよい。
【図面の簡単な説明】
【００６３】
【図１】実施例１の障害物検出装置１の構成を示すブロック図である。
【図２】１つの撮像エリアを撮像する際の、投光器５の動作（投光動作）とゲート７ａの動作（カメラゲート動作）との時間的な関係を示す図である。
【図３】撮像エリアの一部がオーバーラップする状態を示す図である。
【図４】撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図である。
【図５】実施例１の距離画像データ生成装置の投光器の説明図である。
【図６】実施例１の画像処理部１０で実行される距離画像データ生成制御処理の流れを示すフローチャートである。
【図７】実施例１のタイミングコントローラ９で実行される投光器５の投光距離制御処理の流れを示すフローチャートである。
【図８】自車両前方の異なる位置に４人の歩行者A〜Dが存在している状況を示す図である。
【図９】各歩行者A〜Bに対応する画素の時間的な輝度変化を示す模式図である。
【図１０】実施例１の距離画像データ生成作用を示す図である。
【図１１】実施例１の多重露光による距離画像データ生成作用を示す図である。
【図１２】実施例１の距離画像データ生成装置における撮像の際の投光の配光角度変更の説明図である。
【符号の説明】
【００６４】
１ 障害物検出装置
２ 距離画像データ生成装置
３ 物体認識処理部
４ 判断部
５ 投光器（投光手段）
５ａ 近赤外線LED
５１〜５３ レンズ
６ 対物レンズ
７ 光増倍部
７ａ ゲート
７ｂ イメージインテンシファイア
８ 高速度カメラ（撮像手段）
９ タイミングコントローラ（タイミング制御手段）
１０ 画像処理部（距離画像データ生成手段）
１０１ （レンズ５１を取り付けた近赤外線LED５ａの）配光範囲
１０２ （レンズ５２を取り付けた近赤外線LED５ａの）配光範囲
１０３ （レンズ５３を取り付けた近赤外線LED５ａの）配光範囲
１０４ （自車の中央の延長を示す）線
２０１，２０２ （車道の端を示す）線
２０３ （車道の）中央線
Ｃ 自車
【特許請求の範囲】
【請求項１】
自車両前方に所定周期でパルス光を投光する投光手段と、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、
前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、
を備え、
前記投光手段は、異なる配光角度に切り換えて投光を行う切換手段を備え、
前記タイミング制御手段は、前記ターゲット距離に基づいて、前記投光手段の前記切換手段に配光角度を変更させる、
ことを特徴とする車両用距離画像データ生成装置。
【請求項２】
請求項１に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、ターゲット距離に対する前記投光手段の配光幅の変化を抑制するよう前記投光手段の前記切換手段に配光角度を変更させる、
ことを特徴とする車両用距離画像データ生成装置。
【請求項３】
請求項１又は請求項２に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、
ターゲット距離に近距離、中距離、遠距離の範囲を設定し、範囲の切り換わりでターゲット距離が遠くなるのに応じて前記投光手段の前記切換手段に配光角度を狭くするよう変更させる、
ことを特徴とする車両用距離画像データ生成装置。
【請求項４】
請求項１〜請求項３のいずれか１項に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、
前記ターゲット距離が自車に近い位置において、自車前方の車道の側方に存在する歩行者を配光角度範囲に含め、ターゲット距離が遠くなっても、その配光角度範囲を維持するように前記投光手段の前記切換手段に配光角度を狭くするよう変更させる、
ことを特徴とする車両用距離画像データ生成装置。
【請求項５】
請求項１〜請求項４のいずれか１項に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、
一つのターゲット距離の撮像画像が、前記投光手段による複数回の投光と、前記撮像手段による前記撮像タイミングでの複数回の撮像で生成され、且つターゲット距離が遠くなるに従って、投光及び撮像の回数を増やす多重露光制御を行う、
ことを特徴とする車両用距離画像データ生成装置。
【請求項１】
自車両前方に所定周期でパルス光を投光する投光手段と、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、
前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、
を備え、
前記投光手段は、異なる配光角度に切り換えて投光を行う切換手段を備え、
前記タイミング制御手段は、前記ターゲット距離に基づいて、前記投光手段の前記切換手段に配光角度を変更させる、
ことを特徴とする車両用距離画像データ生成装置。
【請求項２】
請求項１に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、ターゲット距離に対する前記投光手段の配光幅の変化を抑制するよう前記投光手段の前記切換手段に配光角度を変更させる、
ことを特徴とする車両用距離画像データ生成装置。
【請求項３】
請求項１又は請求項２に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、
ターゲット距離に近距離、中距離、遠距離の範囲を設定し、範囲の切り換わりでターゲット距離が遠くなるのに応じて前記投光手段の前記切換手段に配光角度を狭くするよう変更させる、
ことを特徴とする車両用距離画像データ生成装置。
【請求項４】
請求項１〜請求項３のいずれか１項に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、
前記ターゲット距離が自車に近い位置において、自車前方の車道の側方に存在する歩行者を配光角度範囲に含め、ターゲット距離が遠くなっても、その配光角度範囲を維持するように前記投光手段の前記切換手段に配光角度を狭くするよう変更させる、
ことを特徴とする車両用距離画像データ生成装置。
【請求項５】
請求項１〜請求項４のいずれか１項に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、
一つのターゲット距離の撮像画像が、前記投光手段による複数回の投光と、前記撮像手段による前記撮像タイミングでの複数回の撮像で生成され、且つターゲット距離が遠くなるに従って、投光及び撮像の回数を増やす多重露光制御を行う、
ことを特徴とする車両用距離画像データ生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−６１３０４（Ｐ２０１０−６１３０４Ａ）
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願番号】特願２００８−２２５１５９（Ｐ２００８−２２５１５９）
【出願日】平成２０年９月２日（２００８．９．２）
【出願人】（０００００４７６５）カルソニックカンセイ株式会社 (3,404)
【Ｆターム（参考）】
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願日】平成２０年９月２日（２００８．９．２）
【出願人】（０００００４７６５）カルソニックカンセイ株式会社 (3,404)
【Ｆターム（参考）】
[ Back to top ]