画像認識装置および画像認識方法
【課題】夜間などの走行時であっても、車両と歩行者との相対距離を正確に計測することができる画像認識装置および画像認識方法を提供することを目的とする。
【解決手段】車両の走行時に前方に存在する歩行者に向けて光を照射するヘッドライト１２と、歩行者により反射された反射光に基づいて、歩行者の画像の輝度（画像濃度）を取得する画像濃度取得部７０と、画像濃度取得部７０により取得された画像濃度に基づいて、車両から歩行者までの相対距離を算出する歩行者距離算出部８０とを備える。
【解決手段】車両の走行時に前方に存在する歩行者に向けて光を照射するヘッドライト１２と、歩行者により反射された反射光に基づいて、歩行者の画像の輝度（画像濃度）を取得する画像濃度取得部７０と、画像濃度取得部７０により取得された画像濃度に基づいて、車両から歩行者までの相対距離を算出する歩行者距離算出部８０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車載カメラが撮影した入力画像から特定の物体の存在を画像認識する画像認識装置に関し、特に、夜間などの走行時であっても、画像認識した物体と自車両との相対距離を正確に計測することができる画像認識装置および画像認識方法に関する。
【背景技術】
【０００２】
車両の走行中においては、特に歩行者との衝突回避が重要である。このため、従来から、車両に撮影用のカメラなどを搭載し、この車載カメラから取得した画像によって歩行者の動向を認識することで運転を支援し、衝突事故（人身事故）などを防止する技術の実現が重要な課題となっている。そこで、近年では、画像認識装置やレーダ検知装置を用いて自車両周辺の歩行者を画像認識する技術が考案されている。
【０００３】
この種の画像認識に関する従来例として、例えば、特許文献１は、特定の場所に固定した定点カメラが撮影した画像から、歩行者や車両を認識する技術について開示されてる。また、例えば、特許文献２には、赤外画像とレーダとを用いて歩行者の検知と歩行者までの距離の測定を行なう技術について開示されている。
【０００４】
また、例えば、特許文献３には、単眼カメラにより撮影された画像内の物体までの距離を推定する際に、この物体の近傍にある道路近傍の構造体に着目し、この構造体が自車両に接近する時の画像サイズの変化に基づいて、構造体までの距離を推定するとともに、その構造体の位置をもとにして、物体までの距離を推定する技術について開示されている。
【０００５】
【特許文献１】特開２００２−１９００１２号公報
【特許文献２】特開平１１−１６０９９号公報
【特許文献３】特開２００３−２４７８２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところが、上述した画像認識に関する従来例の場合には、以下に示すような問題がある。すなわち、車両に搭載する撮影カメラには主に単眼カメラが使用されるが、この単眼カメラによる距離測定は、複数カメラを用いた測定に比べて検出精度が低下するという問題がある。
【０００７】
また、車両の走行時の振動や車両の周囲の街灯などによる環境光（外乱光）による影響を受け易いため、画像自体の検出精度が悪いという問題点があった。さらに、夜間などでは、昼間のように明瞭な画像を取得することができないため、歩行者に対する画像認識も低下するため、車両と歩行者との距離の計測も困難になるという問題がある。
【０００８】
本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、歩行者の撮影画像の明暗を画像輝度の変化値として取得することで、夜間などの走行時であっても、車両と歩行者までの距離を正確に推測することができる画像認識装置および認識対象者認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するため、請求項１の発明に係る画像認識装置は、車両に搭載された車載カメラが撮影した入力画像から特定の物体との相対距離を画像認識する画像認識装置であって、特定の物体に向けて光を照射する投光手段により、前記特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得手段と、前記画像輝度取得手段により最初に取得された前記特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出手段と、を備えたことを特徴とする。
【００１０】
この請求項１に記載の発明によれば、画像認識装置は、特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得手段と、画像輝度取得手段により最初に取得された特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出手段とを備える。
【００１１】
また、請求項２の発明に係る画像認識装置は、請求項１に記載の発明において、前記投光手段は、前記特定の物体に対して単体の光を照射する第一の投光手段と、複合する光を照射する第二の投光手段とを有するとともに、前記画像輝度取得手段は、前記単体光の照射に応じた反射光に基づいて、第一の画像輝度を取得し、前記複合光の照射に応じた反射光に基づいて、第二の画像輝度を取得し、当該第一の画像輝度と第二の画像輝度とによる画像輝度値の差分により、前記特定の物体の反射光に基づいた正規の画像輝度を取得する画像差分化取得手段とを備えることを特徴とする。
【００１２】
この請求項２の発明によれば、画像認識装置の画像輝度取得手段は、第一の投光手段による単体光の照射に応じた反射光に基づいて、第一の画像輝度を取得し、第一の投光手段による複合光の照射に応じた反射光に基づいて、第二の画像輝度を取得し、画像差分化取得手段により、第一の画像輝度と第二の画像輝度とによる画像輝度値の差分処理を行ない、特定の物体の反射光に基づいた正規の画像輝度を取得する。
【００１３】
また、請求項３の発明に係る画像認識装置は、請求項１または２に記載の発明において、移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに調整する画像正規化手段をさらに備えることを特徴とする。
【００１４】
この請求項３の発明によれば、画像認識装置は、画像正規化手段により、移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに調整する。
【００１５】
また、請求項４の発明に係る画像認識装置は、請求項１または２に記載の発明において、移動前の歩行者の画像サイズに対応する画像輝度と移動後の歩行者の画像サイズに対応する画像輝度とにより平均画像輝度を算出する平均画像輝度算出手段をさらに備えることを特徴とする。
【００１６】
この請求項４の発明によれば、画像認識装置は、移動前の歩行者の画像サイズに対応する画像輝度と移動後の歩行者の画像サイズに対応する画像輝度とにより平均画像輝度を算出する平均画像輝度算出手段をさらに備える。
【００１７】
また、請求項５の発明に係る画像認識装置は、請求項１〜４の何れか一つに記載の発明において、前記車両の走行速度を検出する車両速度検出手段をさらに備えるとともに、当該車両速度検出手段により検出された車両の走行速度と、前記特定の物体に対する画像の取得周期とに基づいて、所定の時刻毎での特定の物体に対する車両の接近距離を推定により算出する推定距離算出手段を備えることを特徴とする。
【００１８】
この請求項５の発明によれば、画像認識装置は、推定距離算出手段により、車両速度検出手段により検出された車両の走行速度と、前記特定の物体に対する画像の取得周期とに基づいて、所定の時刻毎での特定の物体に対する車両の接近距離を推定により算出する。
【００１９】
また、請求項６の発明に係る画像認識装置は、請求項１〜５の何れか一つに記載の発明において、前記投光手段は、前記車両に設けられる一対のヘッドライトであることを特徴とする。
【００２０】
この請求項６の発明によれば、画像認識装置は、車両に設けられる一対のヘッドライトを投光手段として使用し、一対のヘッドライトの片側或いは両方の点灯により、特定の物体に対して照射する光量を２段階に調整する。
【００２１】
また、請求項７の発明に係る画像認識方法は、車両に搭載された車載カメラが撮影した入力画像から特定の物体との相対距離を画像認識する画像認識方法であって、前記車両が走行時に前方に存在する特定の物体に向けて光を照射する投光工程と、前記投光工程により、前記特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得工程と、画像輝度取得工程により最初に取得された前記特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出工程と、を含むことを特徴とする。
【００２２】
この請求項７の発明によれば、画像認識方法は、投光工程により車両の走行時に前方に存在する特定の物体に向けて光を照射し、画像輝度取得工程により最初に取得された特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度とを取得し、距離算出工程により第一の画像輝度と第二の画像輝度との比率に基づいて、車両から特定の物体までの相対距離を算出する。
【発明の効果】
【００２３】
請求項１に記載の発明によれば画像認識装置は、投光手段により、特定の物体により反射された反射光に基づいて、当該特定の物体の画像輝度を取得する画像輝度取得手段と、画像輝度取得手段により取得された画像輝度の明暗に基づいて、車両から特定の物体までの相対距離を算出する距離算出手段とを備える構成としているので、自車両の周囲の歩行者を高精度かつ確実に認識できるとともに、衝突など危険度の高い歩行者との距離を早期に算出することで、警告や車両制御の実行タイミングを早期化し、安全性を向上できるという効果を奏する。
【００２４】
また、車両との接触や衝突事故による危険度の高い歩行者との距離を効率よく正確に算出することで警告や車両制御の実行タイミングを早期化する画像認識装置を提供することができる。また、夜間などでは、不明瞭な画像に対してもある程度の精度を保持した距離測定を行なうことができるという効果を奏する。
【００２５】
また、請求項２の発明によれば、画像認識装置の画像輝度取得手段は、第一の投光手段による単体光の照射に応じた反射光に基づいて、第一の画像輝度を取得し、第一の投光手段による複合光の照射に応じた反射光に基づいて、第二の画像輝度を取得し、画像差分化取得手段により、第一の画像輝度と第二の画像輝度とによる画像輝度値の差分処理を行ない、特定の物体の反射光に基づいた正規の画像輝度を取得する構成としているので、車両の投光器以外に周囲に複数の光源や環境光が存在する場合であっても、車両の投光手段による明るさ（光量）を変化させた画像の差分を取得することで、街灯などの環境光（外乱光）の影響を低減させた正規の画像輝度を取得できるという効果を奏する。
【００２６】
また、請求項３の発明によれば画像認識装置は、画像正規化手段により、移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに調整する構成としているので、時々刻々と変化する対象物の位置をトラッキングにより補正することができ、誤差の少ない計測を行なえるとともに、画像のサイズ（大きさ）を正規化とすることで、距離による大きさの相違を抑制し、同じ部位による濃度比較を行なうことができるという効果を奏する。
【００２７】
また、請求項４の発明によれば画像認識装置は、移動前の歩行者の画像サイズに対応する画像輝度と移動後の歩行者の画像サイズに対応する画像輝度とにより平均画像輝度を算出する平均画像輝度算出手段をさらに備える構成としているので、画像輝度の平均値に応じて距離による大きさの相違を抑制するとともに、同じ部位による濃度比較を行なうことができるという効果を奏する。
【００２８】
また、請求項５の発明によれば画像認識装置は、推定距離算出手段により、車両速度検出手段により検出された車両の走行速度と、前記特定の物体に対する画像の取得周期とに基づいて、所定の時刻毎での特定の物体に対する車両の接近距離を推定により算出する構成としているので、距離の計測処理が終了するまでの数フレーム間での車両と特定の物体までの距離を推定により算出することができるという効果を奏する。
【００２９】
また、請求項６の発明によれば画像認識装置は、車両に設けられる一対のヘッドライトを投光手段として使用し、一対のヘッドライトの片側或いは両方の点灯により、特定の物体に対して照射する光量を２段階に調整する構成としているので、一対のヘッドライトの片側或いは両方の点灯により、光量を２段階に調整することができることから、別途、他の投光手段を備える必要がないという効果を奏する。
【００３０】
また、請求項７の発明によれば画像認識方法は、投光工程により車両の走行時に前方に存在する特定の物体に向けて光を照射し、画像輝度取得工程により最初に取得された特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度とを取得し、距離算出工程により第一の画像輝度と第二の画像輝度との比率に基づいて、車両から特定の物体までの相対距離を算出するので、自車両の周囲の歩行者を高精度かつ確実に認識できるとともに、衝突など危険度の高い歩行者との距離を早期に算出することで、警告や車両制御の実行タイミングを早期化し、安全性を向上できるという効果を奏する。
【発明を実施するための最良の形態】
【００３１】
以下に添付図面を参照して、この発明に係る画像認識装置および画像認識方法の好適な実施例について詳細に説明する。本実施例では、車両に設けられる画像認識装置による画像の認識対象を歩行者として説明する。なお、以下に示す実施例によりこの発明が限定されるものではない。
【実施例】
【００３２】
（画像認識装置１０の概要および特徴）
先ず、図１および図２−１、２を参照して、本実施例による画像認識装置１０の概要および特徴について説明する。図１は、車両に搭載した投光器１１（ヘッドライト１２）による投光（光照射）および歩行者からの反射光に基づく画像濃度について、車両と歩行者との離間距離が遠い状態と、車両が歩行者に近づいた状態とをそれぞれ示す説明図である。また、図２−１は、車両と歩行者との位置関係および画像濃度の変化を時間の推移で示す説明図である。また、図２−２は、車両と歩行者との位置関係を時間の推移で示す説明図である。また、図３は、画像認識装置１０の概要を示す概要構成図である。
【００３３】
図１、図２−１、２および図３に示すように、画像認識装置１０は、車両の走行中に前方に向けて光を照射する投光器１１（ヘッドライト１２）と投光器１１により光が照射された歩行者を対象とする反射光による画像の明暗を取得する撮影カメラ１３とを備えて構成されている。
【００３４】
図１に示すように、車両に搭載した投光器１１（ヘッドライト１２）から照射された光が歩行者から反射された場合を考えると、車両から遠い位置に存在する歩行者による反射光の照度（光量）は少なくなるため、撮影カメラ１３により取得される画像は暗いものとなる。一方、車両から近い位置に存在する歩行者による反射光の照度（光量）は多くなるため、撮影カメラ１３により取得される画像は明るいものとなる。
【００３５】
すなわち、画像認識装置１０の特徴は、車両に設けた投光器１１（ヘッドライト１２）の投光に対する反射光に基づいて、歩行者を対象とする画像認識を行ない、この画像認識により取得された画像の明暗（画像濃度変化）を用いて、車両から歩行者までの距離を、時間の推移（時刻ｔ0〜時刻ｔ1時）により取得した画像濃度Ｉ0と画像濃度Ｉ1に基づいて推定（算出）することにある。
【００３６】
ここで、画像（画像濃度）の明るさと歩行者との距離Ｄ0（遠い距離）と距離Ｄ1（近い距離）とは、相関関係があることがわかる。車両の走行時において、時刻ｔ0時に取得される歩行者の画像濃度をＩ0とし、時刻ｔ1時の歩行者の画像濃度をＩ1とすると、画像の明るさは距離の２乗に反比例する。すなわち、投光器１１（ヘッドライト１２）から照射された光を反射した歩行者の明るさ（画像濃度）が取得できれば、車両と歩行者との相対的な距離を算出することができる。
【００３７】
具体的に説明すると、図２−１に示すように、車両の走行において、時刻ｔ0時にヘッドライト１２を点灯させて、歩行者から反射された反射光に基づいて、歩行者の初期の画像濃度Ｉ0を取得し、次いで、時刻ｔ1時（車両が歩行者に接近した際）に、同様に、ヘッドライト１２の点灯による反射光に基づいて、歩行者の画像濃度Ｉ1とを、撮影カメラ１３により取得し、これら取得した画像濃度Ｉ0と画像像濃度Ｉ1とにより、車両と歩行者との距離を算出する構成としている。
【００３８】
以下、図２−２を参照して、本実施例に係る画像認識装置および画像認識方法についての原理的な説明を述べる。図２−２は、車両と歩行者との相対的な位置関係を示す説明図である。すなわち、単純に光の反射強度（画像濃度）のレベルのみで歩行者までの距離を求めようとすると、歩行者などの対象物は、歩行者が身に付けている衣服の色などにより反射強度にばらつきがあるため、反射強度のレベルだけでは正確な距離を算出することはできない。
【００３９】
したがって、図２−２に示すように、本実施例では時刻ｔ0から時刻ｔ1までの間に車速度Ｖ（ｍ/ｓ）の車両が進んだ距離（ＶΔｔ）と、距離Ｄ0及び距離Ｄ1の比率（すなわち、光の反射強度である画像濃度Ｉ0と画像濃度Ｉ1との比率）から距離Ｄ1を求めるようにしている。
【００４０】
ここで、車両が進んだ距離（ＶΔｔ）は車両の車速度から求めることができるので、距離Ｄ0及び距離Ｄ1の比率がわかれば、距離Ｄ1を求めることができる（距離Ｄ1＝距離Ｄ0−車両が進んだ距離ＶΔｔ）。また、距離Ｄ0及び距離Ｄ1の比率は、光の反射強度である画像の輝度（画像濃度）の変化率（画像濃度Ｉ0／画像濃度Ｉ1）で判るので、この画像濃度の変化率を予め求めておけばよい。
【００４１】
これによれば、車両が実際に進んだ距離と、その距離が実際にどの程度歩行者に接近したかを反射強度の変化率（画像濃度の変化率）を見ることによって、現在の歩行者までの距離を算出するので、反射強度のばらつきに影響されることなく正確に、車両と歩行者との距離Ｄ1を算出ことができる。
【００４２】
ここで、時刻ｔ0〜時刻ｔ1までの時間は、画像の１フレーム間処理であれば、数ミリ秒単位となるため、極めて短い時間であるため、この時間であれば歩行者自体の状態（衣服の状態など）は、ほとんど変化しないとみなすことができるためである。尚、車両の車速度が０で、且つ、投光していない場合は、画像濃度の変化率が判らないため、距離の算出にあたっては、上述したアルゴリズムは採用しないように除外しておく。尚、本実施例における距離の算出方法についての詳細については、後述する。
【００４３】
（画像認識装置１０の概要構成）
次に、図３を参照して、画像認識装置１０の概要構成を説明する。同図に示すように、車両Ｐは、以下のような構成を有する。車両Ｐは、画像認識装置１０を有し、この画像認識装置１０は、投光器１１と、撮影カメラ１３と、ナビゲーション装置１４と、プリクラッシュＥＣＵ２０とを接続している。プリクラッシュＥＣＵ２０は、ブレーキ２１と、エンジン制御装置（ＥＦＩ）２２と、ディスプレイ２３と、スピーカ２４とを接続している。
【００４４】
投光器１１は、車両に搭載されている一対のヘッドライト１２であり、夜間などに車両の周囲（特に、車両の走行方向前方）に向けて光を照射する。この場合、図４−１に示すように、ヘッドライト１２を１個点灯させた場合に、照度の弱い光（光量小）を前方に向けて照射させることができる。
【００４５】
また、図４−２に示すように、ヘッドライト１２を２個点灯させた場合に、照度の強い光（光量大）を前方に向けて照射させることができる。以上のように、一対のヘッドライト１２により、２段階で光量の小さい光と光量が多い光とを車両の走行方向の前方に向けて照射できるものとしている。
【００４６】
ここで、本実施例の構成では、光量の小さい光と光量の多い光とを交互に投光するために、車両のヘッドライト１２を利用しているが、投光器１１としてはヘッドライト１２ではなく、このヘッドライト１２とは別に、２段階の光量に設定できる投光器を設け、この投光器により通常の光量（図５−１）と、通常よりも光量が大である光（図５−２）とを適時、照射する構成としてもよい。
【００４７】
また、この投光器１１としては、これ以外に歩行者を夜間でも認識できるように近赤外線を照射するものを採用してもよい（例えば、近赤外ランプ）。これによれば、もともと歩行者を認識するために用いられる近赤外ランプを距離検出に兼用することができ、特別にランプを設ける必要性をなくすことができる。
【００４８】
撮影カメラ１３は、車両の走行中に車両周辺（特に、車両の走行方向前方）に存在する歩行者の撮影を行ない、撮影結果を画像認識装置１０に入力する。具体的には、ヘッドライト１２からの投光（光照射）により歩行者から反射された明るさを表す画像（画像濃度）を撮影によって取得する。
【００４９】
ナビゲーション装置１４は、ＧＰＳ（Global Positioning System）人工衛星と通信して特定した自車両の位置と、記憶する地図データ１５とを利用して走行経路の設定および誘導を行なう車載装置である。また、このナビゲーション装置１４は、画像認識装置１０に対して自車両の位置情報や周辺の地図情報、道路に関する情報などを提供する。
【００５０】
プリクラッシュＥＣＵ２０は、衝突判定部９０が自車両の衝突を予測した場合に、ディスプレイ２３やスピーカ２４による乗員への通知や、ブレーキ２１、エンジン制御装置（ＥＦＩ）２２による車両の動作制御を実行する電子制御装置である。
【００５１】
（画像認識装置１０の内部構成）
また、画像認識装置１０は、内部に前処理部３０と、車両認識部４０と、白線認識部５０と、歩行者認識部６０と、画像濃度取得部７０と、歩行者距離算出部８０と、衝突判定部９０とを有する。歩行者距離算出部８０には車両の走行速度Ｖを検出する車速センサ８５が接続されている。車両認識部４０と、白線認識部５０と、歩行者認識部６０と、画像濃度取得部７０と、歩行者距離算出部８０と、衝突判定部９０とはＣＰＵ１０ａ（マイコン）により構成されている。
【００５２】
前処理部３０は、撮影カメラ１３が撮影した画像に対してフィルタリングやエッジ検出、輪郭抽出などの処理を施した後、画像の処理結果を車両認識部４０、白線認識部５０、歩行者認識部６０に出力する。
【００５３】
車両認識部４０は、前処理部３０が出力した画像に対してパターンマッチングなどを施して車両を認識し、認識結果を衝突判定部９０に出力する。また、白線認識部５０も同様に、前処理部３０が出力した画像に対してパターンマッチングなどを施して白線を認識し、認識結果を歩行者距離算出部８０および衝突判定部９０に出力する。
【００５４】
歩行者認識部６０は、前処理部３０が出力した画像から歩行者が存在する可能性のある領域を歩行者候補領域として検出し、さらに歩行者候補領域に対してパターンマッチングなどを施して歩行者を認識し、白線認識部５０と同様に認識結果を、衝突判定部９０および歩行者距離算出部８０に出力する。
【００５５】
画像濃度取得部７０は、歩行者からの反射光による明るさの明暗度（光の反射強度）を画像濃度として画像処理する機能を備えており、その内部に画像差分化処理部７１と、正規化処理部７２とを有する。このうち、画像差分化処理部７１は、環境光（外乱光）の影響のない歩行者の正規の画像濃度を取得する処理を行なう。
【００５６】
以下、図６を参照して、この画像差分化処理部７１による画像濃度の差分化処理について説明する。図６は、画像差分化処理部７１による画像差分化の処理形態を示す説明図である。具体的には、環境光の影響により取得された画像濃度および画像差分化処理により算出された画像濃度を説明する説明図である。
【００５７】
すなわち、本実施例による画像認識装置１０では、ヘッドライト１２による歩行者からの反射光に基づいて、歩行者を撮影した際の画像の明暗を画像濃度の変化値として取得し、画像濃度と距離との相関関係に基づいて、車両と歩行者との距離を算出するため、車両から照射した光の反射光だけを対象として画像濃度を取得する必要がある。ところが、この場合、必ずしも車両のヘッドライト１２から照射された光だけが歩行者に対して照射しているとは限らない。
【００５８】
すなわち、夜間の道路を走行する車両の周辺には、街灯の照明や店舗などの照明（環境光や外乱光）が存在するため、歩行者の周囲には、ヘッドライト１２による光だけではなく、複数の環境光が存在すると考えられる。
【００５９】
このことから、ヘッドライト１２の反射光により取得される歩行者の画像濃度には、環境光などの影響により不必要な光による画像濃度（図６に示す環境光の影響による明るさ）も含まれるため、正確に車両からの光のみを対象とする画像濃度を取得することができないと考えられる。このため、画像差分化処理部７１により画像濃度の差分化を行なうことにより環境光の影響を低減させる構成としている。
【００６０】
具体的に説明すると、図６に示すように、ヘッドライト１２による光の照射は２段階に分けて行ない、先ず、片側のヘッドライト１２の投光（図４−１）により、画像濃度を取得し、次いで、一対のヘッドライト１２の両側をともに点灯させる投光（図４−２）により、画像濃度を取得し、この２段階の投光により取得された画像濃度に基づいて、差分化された画像濃度を実際の車両からの投光を対象とする画像濃度としている（図６に示す実際の投光による画像の明るさを評価値として算出）。
【００６１】
このため、実際には、時刻ｔ0（図２参照）時に、ヘッドライト１２を片側（１個）および両方（２個）点灯させた際の画像濃度を取得（２回）し、時刻ｔ1時に、ヘッドライト１２を片側（１個）および両方（２個）点灯させた際の画像濃度の取得（２回）とを含めた合計４回、歩行者の正規の画像濃度を取得する画像濃度取得処理を行なうこととなる。
【００６２】
なお、車両の周囲の明るさは、例えば昼と夜とで区別でき、さらに昼であれば日射量、夜であれば街灯などの照明の量であり、照度センサの出力や、タイマが出力する時刻情報に基づいて判定することができるため、このような照明の量を判定し、照明の量が極端に少ない場合などには、画像差分化処理を行なわないようにしてもよい。
【００６３】
図３に戻り、正規化処理部７２は、トラッキング（追跡）処理により歩行者の移動時のサイズ（大きさ）を正規化する処理を行なう。以下、図７を参照して、この正規化処理部７２による正規化処理について説明する。図７は、正規化処理部７２により行なわれる正規化処理の概要を説明する説明図である。
【００６４】
すなわち、前述したように車両の移動速度と比較すると歩行者の移動速度は極めて小さいものとなるが、この歩行者も任意の位置（例えば、横方向）に移動することがあり、車両自体も横方向に動くことがある。このため移動前の最初に画像濃度を取得した歩行者と、移動後の歩行者とが同一の歩行者であるかをトラッキングする必要がある。
【００６５】
つまり、移動前（ｔ0時）の歩行者と移動後（ｔ1時）の歩行者とが同一の歩行者であっても画像サイズが大きいと明るさが異なるため、画像濃度も異なるため画像濃度の比較ができなくなる。具体的に説明すると、図７に示すように、移動前の歩行者の画像サイズ（画像サイズ＝ｗ1×ｈ1）と移動後の歩行者の画像サイズ（画像サイズ＝ｗ2×ｈ2）とは異なるため、同じ部位での比較ができなくなる。
【００６６】
すなわち、正規化処理部７２では、移動前のサイズと移動後のサイズとの大きさを任意のサイズに調整することで、移動後であっても画像濃度が変化することを防止することとしている。
【００６７】
具体的には、正規化処理部７２により、移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに調整するようにしている。なお、上述では、正規化処理部７２により画像サイズを調整することとしているが、この正規化処理部７２により、移動前の歩行者の画像サイズに対応する画像濃度と移動後の歩行者の画像サイズに対応する画像濃度とにより平均画像濃度を算出し、この平均画像濃度により正規な画像濃度としてもよい。
【００６８】
図３に戻り、歩行者距離算出部８０は、歩行者認識部６０が認識した歩行者と車両との相対距離を算出し、衝突判定部９０に出力する。
【００６９】
歩行者距離算出部８０は、その内部に推定距離算出部８１と、距離算出処理部８２とを有する。このうち、推定距離算出部８１は、歩行者に対する自車両の接近距離を適宜、算出する機能を備えている。以下、図８−１および図８−２を参照して、この推定距離算出部８１による歩行者に対する接近距離の算出について説明する。
【００７０】
図８−１は、時間の推移に応じて変化する車両と歩行者との接近距離（推定距離Ｄ11〜Ｄ13）との相関図を示している。また、図８−２は、車両の走行速度Ｖｎに応じて計測される車両と歩行者との接近距離（推定距離Ｄ11〜Ｄ13）を説明する説明図を示している。
【００７１】
すなわち、本実施例によると、時刻ｔ0時（図２参照）にヘッドライト１２を１個および２個、同時に点灯させた際の歩行者の画像濃度Ｉ0と、時刻ｔ1時に、同様に、ヘッドライト１２を２個同時に点灯させた際点灯させた際の歩行者の画像濃度Ｉ1とを、撮影カメラ１３により取得する必要がある。
【００７２】
すなわち、図８−１に示すように、撮影カメラ１３による合計４回の画像濃度の取得（計測結果）により車両と歩行者との距離Ｄ1を算出することとなる。ここで、歩行者に対する画像認識装置１０による画像の取得間隔（周期Ｔ）は、一定であるため、車両が時間経過にともない走行速度Ｖnで移動した分だけ歩行者に接近していることとなる。
【００７３】
具体的には、時刻ｔ0＋Ｔに車両の移動距離は、Ｖ1Ｔとなり、時刻ｔ0＋２Ｔに車両の移動距離は、Ｖ2Ｔとなり、時刻ｔ0＋３Ｔに車両の移動距離は、Ｖ3Ｔとなる。なお、次回以降の推定距離（距離Ｄ2による推定距離Ｄ21〜）は同様の方法により推測する。
【００７４】
以上のことから算出された距離Ｄ1をもとに、車両の走行速度Ｖと画像の取得周期Ｔにより、所定の時刻毎での歩行者に対する車両との接近距離（Ｄ11、Ｄ12、Ｄ13）をそれぞれ推定接近距離として算出することができる。すなわち、画像の取得周期Ｔは、予め所定の周期として既知であるため、計測結果が算出されるまでの所定の時間毎の接近距離を車両の走行速度Ｖnにより算出することができる。
【００７５】
具体的には、図８−２に示すように、推定接近距離Ｄ11は、Ｄ1−Ｖ1Ｔ（Ｄ11＝Ｄ1−Ｖ1Ｔ）となり、Ｄ12は、Ｄ1−Ｖ2Ｔ（Ｄ12＝Ｄ1−Ｖ2Ｔ） となりＤ13は、Ｄ1−Ｖ3Ｔ（Ｄ13＝Ｄ1−Ｖ3Ｔ） となる。以上のように、推定距離算出部８１により３回分の接近距離は周期Ｔと車両の走行速度Ｖnにより推定することができる。
【００７６】
図３に戻り、距離算出処理部８２は、画像濃度取得部７０により取得された歩行者の画像濃度に基づいて、車両と歩行者との相対距離を所定の算出手順により算出する。以下、この距離算出処理部８２による車両と歩行者との相対距離の算出手順を、前述した図２を参照して、説明する。
【００７７】
具体的に説明すると、投光器１１（ヘッドライト１２）による明るさは距離の２乗に反比例するので、時刻ｔ0と時刻ｔ1とにおける画像の明るさと距離との関係は、以下の（数１）の関係式により表すことができる。
【００７８】
（数１）
Ｉ0：Ｉ1＝（１／Ｄ02）：（１／Ｄ12）
【００７９】
ここで、Δｔ経過後の時刻ｔ1を基準とすると、時刻ｔ0における歩行者の画像濃度αと距離比βとの関係は、α＝Ｉ0／Ｉ1となりβ＝１／√αとなる。さらに、時刻Δｔ＝時刻ｔ1−時刻ｔ0における車両の移動距離ΔＤは、Ｖを車両の走行速度とすると、この移動距離ΔＤは、ΔＤ＝Ｖ・Δｔから算出することができる。
【００８０】
ここで、認識対象者の移動速度ｖは、車両の走行速度Ｖに比べて極めて小さいため（ｖ≒０）、距離比βは、β＞１となる。以上、説明した関係式により、時刻ｔ1における車両と認識対象者（歩行者）との距離Ｄ1（相対距離）は、以下の数２の式により求めることができる。
【００８１】
（数２）
Ｄ1＝（ＶΔｔ）／（β−１）
【００８２】
図３に戻り、衝突判定部９０は、車両認識部４０、白線認識部５０、歩行者認識部６０による認識結果および歩行者距離算出部８０が算出した歩行者との距離、ナビゲーション装置１４が出力する位置情報を用いて、自車両と歩行者との衝突危険度を判定する。
【００８３】
（画像認識装置１０による歩行者認識処理手順）
次に、本発明の画像認識装置１０による歩行者に対する認識処理手順の詳細を、図９のフローチャートを参照して説明する。図９は、歩行者の認識処理手順を示すフローチャートである。なお、この図９に示す処理フローは、画像認識装置１０が画像認識を実行中である場合に、繰り返し実行される処理である。
【００８４】
［時刻ｔ0時の処理：ヘッドライト１２を１個点灯］
同図のフローチャートに示すように、先ず、車両に設けた２個のヘッドライト１２のうちの一方（１個）のみを使用して（図４−１）、車両の周囲（前方）に向けて、光を照射する第一の投光処理を行なう（ステップＳ１０１）。次いで、ヘッドライト１２が歩行者に照射された際に、この歩行者により反射された反射光に基づいて、撮影カメラ１３より歩行者の画像（画像濃度Ａ0）を取得する（ステップＳ１０２）。この画像濃度Ａ0は、画像濃度取得部７０（図３）により取得される。
【００８５】
具体的に説明すると、車両は片側のヘッドライト１２を点灯させた状態で走行（車両の走行速度Ｖ）しており、歩行者が車両のライト前方に現れた際に、この歩行者から反射される反射光による画像の明るさ（明暗）を、画像情報として撮影カメラ１３で撮影し、歩行者の画像濃度Ａ0を取得することとなる。
【００８６】
次いで、歩行者認識部６０（図３）により歩行者に対する認識処理（ステップＳ１０３）と、ステップＳ１０２で取得した画像濃度Ａ0を対象とする画像の正規化処理を正規化処理部７２（図３）により行なう（ステップＳ１０４）。
【００８７】
以上のステップＳ１０１〜ステップＳ１０４の処理により、道路上を走行中（移動速度Ｖ）の車両が歩行者を最初に認識した際（時刻ｔ0時）に、片側のヘッドライト１２の投光による弱い光量を照射した時の画像濃度Ａ0を取得することができる。
【００８８】
［時刻ｔ0時の処理：ヘッドライト１２を２個点灯］
次に、車両に設けた２個のヘッドライト１２の両方を使用して（図４−２）、車両の周囲（前方）に向けて、２個のライトを照射する第二の投光処理を行なう（ステップＳ１０５）。次いで、両方のヘッドライト１２が歩行者に照射された際に、この歩行者から反射される反射光による画像の明るさ（明暗）を、画像情報として撮影カメラ１３で撮影し、歩行者の画像濃度Ｂ0を取得する（ステップＳ１０６）。
【００８９】
具体的に説明すると、ヘッドライト１２を２個点灯させた時の歩行者から反射される反射光を、撮影カメラ１３で撮影し、画像濃度Ｂ0として取得することとなる。以下、同様に歩行者認識部６０（図３）により歩行者に対する認識処理（ステップＳ１０７）と、ステップＳ１０６により取得した歩行者の画像濃度Ｂ0に対する画像の正規化処理とを順次行なう（ステップＳ１０８）。
【００９０】
以上のステップＳ１０５〜ステップＳ１０８までの処理により、時刻ｔ0時に、車両から、この車両に設けた両方のヘッドライト１２の投光による強い光量を歩行者に対して照射した時の画像濃度Ｂ0を取得することができる。このように、光量の異なる投光により交互に画像濃度Ａ0および画像濃度Ｂ0を取得するのは、画像差分化処理により環境光の影響を排除した正確な歩行者の明るさ（明暗）である画像濃度を取得するためである。
【００９１】
すなわち、ステップＳ１０１〜ステップＳ１０４により取得した画像濃度Ａ0とステップＳ１０５〜ステップＳ１０８により取得した画像濃度Ｂ0とに基づいて、画像差分化処理を行なう（ステップＳ１０９）。前述したように、画像差分化処理により実際の評価の対象となる時刻ｔ0時の歩行者の画像濃度Ｉ0を取得することができる。
【００９２】
次いで、ステップＳ１０９の画像差分化処理により画像濃度Ｉ0が算出されたかの判定を行ない（ステップＳ１１０）、時刻ｔ0時の歩行者の画像濃度Ｉ0が算出されたと判定された場合には（ステップＳ１１０肯定）、次のステップＳ１１１による車両が走行により所定の時間Δｔが経過（図２に示すΔｔ、距離ＶΔｔ）したかの判定を行なう（ステップＳ１１１）。
【００９３】
そして、時間Δｔが経過し、所定の距離分（ＶΔｔ）移動したと判定された場合には（ステップＳ１１１肯定）、次の時刻ｔ1を対象とする第三の投光処理に移行する（ステップＳ１１２）。
【００９４】
［時刻ｔ1時の処理：ヘッドライト１２を１個点灯］
この時刻ｔ1を対象とする第三の投光処理では、第一の投光処理と同様に、車両に設けた２個のヘッドライト１２のうちの一方（１個）のみを使用して、車両の周囲（前方）に向けて、光を照射する投光処理を行なう（ステップＳ１１２）。次いで、ヘッドライト１２が歩行者に照射された際に、この歩行者により反射された反射光に基づいて、撮影カメラ１３より時刻ｔ1時の歩行者の画像（画像濃度Ａ1）を取得する（ステップＳ１１３）。
【００９５】
以下、前述したと同様に歩行者認識部６０（図３）により歩行者に対する認識処理（ステップＳ１１４）と、ステップＳ１１３により取得した歩行者の画像濃度Ａ1に対する画像の正規化処理とを順次行なう（ステップＳ１１５）。
【００９６】
以上のステップＳ１１２〜ステップＳ１１５までの処理により、走行中（移動速度Ｖ）の車両が歩行者を最初に認識した際（時刻ｔ0時）からΔｔ経過後（時刻ｔ1時）の歩行者の反射光に基づいて、光量が小である投光を行なった時の画像濃度Ａ1を取得することができる。
【００９７】
［時刻ｔ1時の処理：ヘッドライト１２を２個点灯］
次に、時刻ｔ1を対象とする第四の投光処理を行なう（ステップＳ１１６）。この時刻ｔ1を対象とする第四の投光処理では、第二の投光処理と同様に、車両に設けた２個のヘッドライト１２の両者（２個）を使用して、車両の周囲（前方）に向けてライトを照射する投光処理が行なわれる。次いで、両方のヘッドライト１２が歩行者に照射された際に、この歩行者により反射された反射光に基づいて、撮影カメラ１３より歩行者の画像濃度Ｂ1を取得する（ステップＳ１１７）。
【００９８】
以下、前述したと同様に、歩行者認識部６０（図３）により歩行者に対する認識処理(ステップＳ１１８)と、ステップＳ１１７により取得した歩行者の画像濃度Ｂ1に対する画像の正規化処理とを順次行なう（ステップＳ１１９）。
【００９９】
以上のステップＳ１１６〜ステップＳ１１９までの処理により、走行中（移動速度Ｖ）の車両が歩行者を最初に認識した際（時刻ｔ0時）からΔｔ経過後（時刻ｔ1時）の歩行者の反射光に基づいて、光量が大である投光を行なった時の画像濃度Ｂ1を取得することができる。
【０１００】
次いで、ステップＳ１１５により算出された画像濃度Ａ1とステップＳ１１９により算出された画像濃度Ｂ1とに基づいて、画像差分化処理を行ない（ステップＳ１２０）、歩行者の正規の画像濃度Ｉ1を算出する（ステップＳ１２１）。
【０１０１】
以下、ステップＳ１１０により算出された画像濃度Ｉ0とステップＳ１２１により算出された画像濃度Ｉ1とに基づいて、歩行者と車両との相対距離を算出する（ステップＳ１２２）。なお、このステップＳ１２１により行なう車両と歩行者との相対距離の算出は、前述した距離算出処理部８２（図３）による所定の算出手順で行なう。ここで、衝突判定部９０（図３）は、歩行者の新式結果と歩行者までの距離をプリクラッシュ２０へ出力する。プリクラッシュ２０は、その情報を基にして、車両Ｐの制御を行なう。
【０１０２】
上述してきたように、本実施例にかかる画像認識装置１０は、車両に設けたヘッドライト１２による歩行者からの反射光に基づいて、歩行者を撮影した際の画像の明暗を画像濃度の変化値として取得し、環境光の影響を排除する画像差分化処理を行ない、歩行者による正規の画像濃度と距離との相関関係に基づいて、車両と歩行者との距離を算出する構成としているので、環境光などによる計測誤差の影響を防止するとともに、正確に車両から歩行者までの距離を計測することができる。
【０１０３】
なお、本発明の画像認識装置は、上述した実施例に示した構成に限定されること無く、任意の構成によって実施することができるものである。また、本実施例では車両と歩行者との距離を算出する場合を例に説明したが、本発明は、画像認識装置による認識対象を歩行者に限定することなく、例えば、道路上を走行する他の車両や道路上に存在する物体など他の物体との離間距離を算出する場合についても、好ましく適用することができる。
【産業上の利用可能性】
【０１０４】
以上のように、本発明にかかる画像認識装置および画像認識方法は、歩行者を対象とする画像認識に有用であり、特に、車両と歩行者との相対距離を正確に計測する場合に適している。
【図面の簡単な説明】
【０１０５】
【図１】本発明の実施例にかかる車両と歩行者との離間距離が遠い状態と、車両が歩行者に近づいた状態とによる画像濃度の相違をそれぞれ示す説明図である。
【図２−１】車両と歩行者との位置関係および画像濃度の変化を時間の推移で示す説明図である。
【図２−２】車両と歩行者との位置関係を時間の推移で示す説明図である。
【図３】本発明の実施例にかかる車両および画像認識装置の概要構成を示す概要構成図である。
【図４−１】片側のヘッドライトによる投光状態を示す説明図である。
【図４−２】両方のヘッドライトによる投光状態を示す説明図である。
【図５−１】光量の弱い投光器による投光状態を示す説明図である。
【図５−２】光量の強い投光器による投光状態を示す説明図である。
【図６】環境光の影響により取得された画像濃度および画像差分化処理により取得された画像濃度を説明する説明図である。
【図７】正規化処理の処理形態を示す説明図である。
【図８−１】車両と歩行者との接近距離に対応する時間推移との相関関係を説明する説明図である。
【図８−２】車両と歩行者との接近距離に対応する時間推移を示す相関図である。
【図９】画像認識装置による歩行者の認識処理手順を示すフローチャートである。
【符号の説明】
【０１０６】
Ｐ 車両
１０ 画像認識装置
１０ａ ＣＰＵ（マイコン）
１１ 投光器
１２ ヘッドライト
１３ 撮影カメラ
１４ ナビゲーション装置
１５ 地図データ
２０ プリクラッシュＥＣＵ
２１ ブレーキ
２２ ＥＦＩ
２３ ディスプレイ
２４ スピーカ
３０ 前処理部
４０ 車両認識部
５０ 白線認識部
６０ 歩行者認識部
７０ 画像濃度取得部
７１ 画像差分化処理部
７２ 正規化処理部
８０ 歩行者距離算出部
８１ 推定距離算出部
８２ 距離算出処理部
８５ 車速センサ
９０ 衝突判定部
【技術分野】
【０００１】
この発明は、車載カメラが撮影した入力画像から特定の物体の存在を画像認識する画像認識装置に関し、特に、夜間などの走行時であっても、画像認識した物体と自車両との相対距離を正確に計測することができる画像認識装置および画像認識方法に関する。
【背景技術】
【０００２】
車両の走行中においては、特に歩行者との衝突回避が重要である。このため、従来から、車両に撮影用のカメラなどを搭載し、この車載カメラから取得した画像によって歩行者の動向を認識することで運転を支援し、衝突事故（人身事故）などを防止する技術の実現が重要な課題となっている。そこで、近年では、画像認識装置やレーダ検知装置を用いて自車両周辺の歩行者を画像認識する技術が考案されている。
【０００３】
この種の画像認識に関する従来例として、例えば、特許文献１は、特定の場所に固定した定点カメラが撮影した画像から、歩行者や車両を認識する技術について開示されてる。また、例えば、特許文献２には、赤外画像とレーダとを用いて歩行者の検知と歩行者までの距離の測定を行なう技術について開示されている。
【０００４】
また、例えば、特許文献３には、単眼カメラにより撮影された画像内の物体までの距離を推定する際に、この物体の近傍にある道路近傍の構造体に着目し、この構造体が自車両に接近する時の画像サイズの変化に基づいて、構造体までの距離を推定するとともに、その構造体の位置をもとにして、物体までの距離を推定する技術について開示されている。
【０００５】
【特許文献１】特開２００２−１９００１２号公報
【特許文献２】特開平１１−１６０９９号公報
【特許文献３】特開２００３−２４７８２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところが、上述した画像認識に関する従来例の場合には、以下に示すような問題がある。すなわち、車両に搭載する撮影カメラには主に単眼カメラが使用されるが、この単眼カメラによる距離測定は、複数カメラを用いた測定に比べて検出精度が低下するという問題がある。
【０００７】
また、車両の走行時の振動や車両の周囲の街灯などによる環境光（外乱光）による影響を受け易いため、画像自体の検出精度が悪いという問題点があった。さらに、夜間などでは、昼間のように明瞭な画像を取得することができないため、歩行者に対する画像認識も低下するため、車両と歩行者との距離の計測も困難になるという問題がある。
【０００８】
本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、歩行者の撮影画像の明暗を画像輝度の変化値として取得することで、夜間などの走行時であっても、車両と歩行者までの距離を正確に推測することができる画像認識装置および認識対象者認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するため、請求項１の発明に係る画像認識装置は、車両に搭載された車載カメラが撮影した入力画像から特定の物体との相対距離を画像認識する画像認識装置であって、特定の物体に向けて光を照射する投光手段により、前記特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得手段と、前記画像輝度取得手段により最初に取得された前記特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出手段と、を備えたことを特徴とする。
【００１０】
この請求項１に記載の発明によれば、画像認識装置は、特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得手段と、画像輝度取得手段により最初に取得された特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出手段とを備える。
【００１１】
また、請求項２の発明に係る画像認識装置は、請求項１に記載の発明において、前記投光手段は、前記特定の物体に対して単体の光を照射する第一の投光手段と、複合する光を照射する第二の投光手段とを有するとともに、前記画像輝度取得手段は、前記単体光の照射に応じた反射光に基づいて、第一の画像輝度を取得し、前記複合光の照射に応じた反射光に基づいて、第二の画像輝度を取得し、当該第一の画像輝度と第二の画像輝度とによる画像輝度値の差分により、前記特定の物体の反射光に基づいた正規の画像輝度を取得する画像差分化取得手段とを備えることを特徴とする。
【００１２】
この請求項２の発明によれば、画像認識装置の画像輝度取得手段は、第一の投光手段による単体光の照射に応じた反射光に基づいて、第一の画像輝度を取得し、第一の投光手段による複合光の照射に応じた反射光に基づいて、第二の画像輝度を取得し、画像差分化取得手段により、第一の画像輝度と第二の画像輝度とによる画像輝度値の差分処理を行ない、特定の物体の反射光に基づいた正規の画像輝度を取得する。
【００１３】
また、請求項３の発明に係る画像認識装置は、請求項１または２に記載の発明において、移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに調整する画像正規化手段をさらに備えることを特徴とする。
【００１４】
この請求項３の発明によれば、画像認識装置は、画像正規化手段により、移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに調整する。
【００１５】
また、請求項４の発明に係る画像認識装置は、請求項１または２に記載の発明において、移動前の歩行者の画像サイズに対応する画像輝度と移動後の歩行者の画像サイズに対応する画像輝度とにより平均画像輝度を算出する平均画像輝度算出手段をさらに備えることを特徴とする。
【００１６】
この請求項４の発明によれば、画像認識装置は、移動前の歩行者の画像サイズに対応する画像輝度と移動後の歩行者の画像サイズに対応する画像輝度とにより平均画像輝度を算出する平均画像輝度算出手段をさらに備える。
【００１７】
また、請求項５の発明に係る画像認識装置は、請求項１〜４の何れか一つに記載の発明において、前記車両の走行速度を検出する車両速度検出手段をさらに備えるとともに、当該車両速度検出手段により検出された車両の走行速度と、前記特定の物体に対する画像の取得周期とに基づいて、所定の時刻毎での特定の物体に対する車両の接近距離を推定により算出する推定距離算出手段を備えることを特徴とする。
【００１８】
この請求項５の発明によれば、画像認識装置は、推定距離算出手段により、車両速度検出手段により検出された車両の走行速度と、前記特定の物体に対する画像の取得周期とに基づいて、所定の時刻毎での特定の物体に対する車両の接近距離を推定により算出する。
【００１９】
また、請求項６の発明に係る画像認識装置は、請求項１〜５の何れか一つに記載の発明において、前記投光手段は、前記車両に設けられる一対のヘッドライトであることを特徴とする。
【００２０】
この請求項６の発明によれば、画像認識装置は、車両に設けられる一対のヘッドライトを投光手段として使用し、一対のヘッドライトの片側或いは両方の点灯により、特定の物体に対して照射する光量を２段階に調整する。
【００２１】
また、請求項７の発明に係る画像認識方法は、車両に搭載された車載カメラが撮影した入力画像から特定の物体との相対距離を画像認識する画像認識方法であって、前記車両が走行時に前方に存在する特定の物体に向けて光を照射する投光工程と、前記投光工程により、前記特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得工程と、画像輝度取得工程により最初に取得された前記特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出工程と、を含むことを特徴とする。
【００２２】
この請求項７の発明によれば、画像認識方法は、投光工程により車両の走行時に前方に存在する特定の物体に向けて光を照射し、画像輝度取得工程により最初に取得された特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度とを取得し、距離算出工程により第一の画像輝度と第二の画像輝度との比率に基づいて、車両から特定の物体までの相対距離を算出する。
【発明の効果】
【００２３】
請求項１に記載の発明によれば画像認識装置は、投光手段により、特定の物体により反射された反射光に基づいて、当該特定の物体の画像輝度を取得する画像輝度取得手段と、画像輝度取得手段により取得された画像輝度の明暗に基づいて、車両から特定の物体までの相対距離を算出する距離算出手段とを備える構成としているので、自車両の周囲の歩行者を高精度かつ確実に認識できるとともに、衝突など危険度の高い歩行者との距離を早期に算出することで、警告や車両制御の実行タイミングを早期化し、安全性を向上できるという効果を奏する。
【００２４】
また、車両との接触や衝突事故による危険度の高い歩行者との距離を効率よく正確に算出することで警告や車両制御の実行タイミングを早期化する画像認識装置を提供することができる。また、夜間などでは、不明瞭な画像に対してもある程度の精度を保持した距離測定を行なうことができるという効果を奏する。
【００２５】
また、請求項２の発明によれば、画像認識装置の画像輝度取得手段は、第一の投光手段による単体光の照射に応じた反射光に基づいて、第一の画像輝度を取得し、第一の投光手段による複合光の照射に応じた反射光に基づいて、第二の画像輝度を取得し、画像差分化取得手段により、第一の画像輝度と第二の画像輝度とによる画像輝度値の差分処理を行ない、特定の物体の反射光に基づいた正規の画像輝度を取得する構成としているので、車両の投光器以外に周囲に複数の光源や環境光が存在する場合であっても、車両の投光手段による明るさ（光量）を変化させた画像の差分を取得することで、街灯などの環境光（外乱光）の影響を低減させた正規の画像輝度を取得できるという効果を奏する。
【００２６】
また、請求項３の発明によれば画像認識装置は、画像正規化手段により、移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに調整する構成としているので、時々刻々と変化する対象物の位置をトラッキングにより補正することができ、誤差の少ない計測を行なえるとともに、画像のサイズ（大きさ）を正規化とすることで、距離による大きさの相違を抑制し、同じ部位による濃度比較を行なうことができるという効果を奏する。
【００２７】
また、請求項４の発明によれば画像認識装置は、移動前の歩行者の画像サイズに対応する画像輝度と移動後の歩行者の画像サイズに対応する画像輝度とにより平均画像輝度を算出する平均画像輝度算出手段をさらに備える構成としているので、画像輝度の平均値に応じて距離による大きさの相違を抑制するとともに、同じ部位による濃度比較を行なうことができるという効果を奏する。
【００２８】
また、請求項５の発明によれば画像認識装置は、推定距離算出手段により、車両速度検出手段により検出された車両の走行速度と、前記特定の物体に対する画像の取得周期とに基づいて、所定の時刻毎での特定の物体に対する車両の接近距離を推定により算出する構成としているので、距離の計測処理が終了するまでの数フレーム間での車両と特定の物体までの距離を推定により算出することができるという効果を奏する。
【００２９】
また、請求項６の発明によれば画像認識装置は、車両に設けられる一対のヘッドライトを投光手段として使用し、一対のヘッドライトの片側或いは両方の点灯により、特定の物体に対して照射する光量を２段階に調整する構成としているので、一対のヘッドライトの片側或いは両方の点灯により、光量を２段階に調整することができることから、別途、他の投光手段を備える必要がないという効果を奏する。
【００３０】
また、請求項７の発明によれば画像認識方法は、投光工程により車両の走行時に前方に存在する特定の物体に向けて光を照射し、画像輝度取得工程により最初に取得された特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度とを取得し、距離算出工程により第一の画像輝度と第二の画像輝度との比率に基づいて、車両から特定の物体までの相対距離を算出するので、自車両の周囲の歩行者を高精度かつ確実に認識できるとともに、衝突など危険度の高い歩行者との距離を早期に算出することで、警告や車両制御の実行タイミングを早期化し、安全性を向上できるという効果を奏する。
【発明を実施するための最良の形態】
【００３１】
以下に添付図面を参照して、この発明に係る画像認識装置および画像認識方法の好適な実施例について詳細に説明する。本実施例では、車両に設けられる画像認識装置による画像の認識対象を歩行者として説明する。なお、以下に示す実施例によりこの発明が限定されるものではない。
【実施例】
【００３２】
（画像認識装置１０の概要および特徴）
先ず、図１および図２−１、２を参照して、本実施例による画像認識装置１０の概要および特徴について説明する。図１は、車両に搭載した投光器１１（ヘッドライト１２）による投光（光照射）および歩行者からの反射光に基づく画像濃度について、車両と歩行者との離間距離が遠い状態と、車両が歩行者に近づいた状態とをそれぞれ示す説明図である。また、図２−１は、車両と歩行者との位置関係および画像濃度の変化を時間の推移で示す説明図である。また、図２−２は、車両と歩行者との位置関係を時間の推移で示す説明図である。また、図３は、画像認識装置１０の概要を示す概要構成図である。
【００３３】
図１、図２−１、２および図３に示すように、画像認識装置１０は、車両の走行中に前方に向けて光を照射する投光器１１（ヘッドライト１２）と投光器１１により光が照射された歩行者を対象とする反射光による画像の明暗を取得する撮影カメラ１３とを備えて構成されている。
【００３４】
図１に示すように、車両に搭載した投光器１１（ヘッドライト１２）から照射された光が歩行者から反射された場合を考えると、車両から遠い位置に存在する歩行者による反射光の照度（光量）は少なくなるため、撮影カメラ１３により取得される画像は暗いものとなる。一方、車両から近い位置に存在する歩行者による反射光の照度（光量）は多くなるため、撮影カメラ１３により取得される画像は明るいものとなる。
【００３５】
すなわち、画像認識装置１０の特徴は、車両に設けた投光器１１（ヘッドライト１２）の投光に対する反射光に基づいて、歩行者を対象とする画像認識を行ない、この画像認識により取得された画像の明暗（画像濃度変化）を用いて、車両から歩行者までの距離を、時間の推移（時刻ｔ0〜時刻ｔ1時）により取得した画像濃度Ｉ0と画像濃度Ｉ1に基づいて推定（算出）することにある。
【００３６】
ここで、画像（画像濃度）の明るさと歩行者との距離Ｄ0（遠い距離）と距離Ｄ1（近い距離）とは、相関関係があることがわかる。車両の走行時において、時刻ｔ0時に取得される歩行者の画像濃度をＩ0とし、時刻ｔ1時の歩行者の画像濃度をＩ1とすると、画像の明るさは距離の２乗に反比例する。すなわち、投光器１１（ヘッドライト１２）から照射された光を反射した歩行者の明るさ（画像濃度）が取得できれば、車両と歩行者との相対的な距離を算出することができる。
【００３７】
具体的に説明すると、図２−１に示すように、車両の走行において、時刻ｔ0時にヘッドライト１２を点灯させて、歩行者から反射された反射光に基づいて、歩行者の初期の画像濃度Ｉ0を取得し、次いで、時刻ｔ1時（車両が歩行者に接近した際）に、同様に、ヘッドライト１２の点灯による反射光に基づいて、歩行者の画像濃度Ｉ1とを、撮影カメラ１３により取得し、これら取得した画像濃度Ｉ0と画像像濃度Ｉ1とにより、車両と歩行者との距離を算出する構成としている。
【００３８】
以下、図２−２を参照して、本実施例に係る画像認識装置および画像認識方法についての原理的な説明を述べる。図２−２は、車両と歩行者との相対的な位置関係を示す説明図である。すなわち、単純に光の反射強度（画像濃度）のレベルのみで歩行者までの距離を求めようとすると、歩行者などの対象物は、歩行者が身に付けている衣服の色などにより反射強度にばらつきがあるため、反射強度のレベルだけでは正確な距離を算出することはできない。
【００３９】
したがって、図２−２に示すように、本実施例では時刻ｔ0から時刻ｔ1までの間に車速度Ｖ（ｍ/ｓ）の車両が進んだ距離（ＶΔｔ）と、距離Ｄ0及び距離Ｄ1の比率（すなわち、光の反射強度である画像濃度Ｉ0と画像濃度Ｉ1との比率）から距離Ｄ1を求めるようにしている。
【００４０】
ここで、車両が進んだ距離（ＶΔｔ）は車両の車速度から求めることができるので、距離Ｄ0及び距離Ｄ1の比率がわかれば、距離Ｄ1を求めることができる（距離Ｄ1＝距離Ｄ0−車両が進んだ距離ＶΔｔ）。また、距離Ｄ0及び距離Ｄ1の比率は、光の反射強度である画像の輝度（画像濃度）の変化率（画像濃度Ｉ0／画像濃度Ｉ1）で判るので、この画像濃度の変化率を予め求めておけばよい。
【００４１】
これによれば、車両が実際に進んだ距離と、その距離が実際にどの程度歩行者に接近したかを反射強度の変化率（画像濃度の変化率）を見ることによって、現在の歩行者までの距離を算出するので、反射強度のばらつきに影響されることなく正確に、車両と歩行者との距離Ｄ1を算出ことができる。
【００４２】
ここで、時刻ｔ0〜時刻ｔ1までの時間は、画像の１フレーム間処理であれば、数ミリ秒単位となるため、極めて短い時間であるため、この時間であれば歩行者自体の状態（衣服の状態など）は、ほとんど変化しないとみなすことができるためである。尚、車両の車速度が０で、且つ、投光していない場合は、画像濃度の変化率が判らないため、距離の算出にあたっては、上述したアルゴリズムは採用しないように除外しておく。尚、本実施例における距離の算出方法についての詳細については、後述する。
【００４３】
（画像認識装置１０の概要構成）
次に、図３を参照して、画像認識装置１０の概要構成を説明する。同図に示すように、車両Ｐは、以下のような構成を有する。車両Ｐは、画像認識装置１０を有し、この画像認識装置１０は、投光器１１と、撮影カメラ１３と、ナビゲーション装置１４と、プリクラッシュＥＣＵ２０とを接続している。プリクラッシュＥＣＵ２０は、ブレーキ２１と、エンジン制御装置（ＥＦＩ）２２と、ディスプレイ２３と、スピーカ２４とを接続している。
【００４４】
投光器１１は、車両に搭載されている一対のヘッドライト１２であり、夜間などに車両の周囲（特に、車両の走行方向前方）に向けて光を照射する。この場合、図４−１に示すように、ヘッドライト１２を１個点灯させた場合に、照度の弱い光（光量小）を前方に向けて照射させることができる。
【００４５】
また、図４−２に示すように、ヘッドライト１２を２個点灯させた場合に、照度の強い光（光量大）を前方に向けて照射させることができる。以上のように、一対のヘッドライト１２により、２段階で光量の小さい光と光量が多い光とを車両の走行方向の前方に向けて照射できるものとしている。
【００４６】
ここで、本実施例の構成では、光量の小さい光と光量の多い光とを交互に投光するために、車両のヘッドライト１２を利用しているが、投光器１１としてはヘッドライト１２ではなく、このヘッドライト１２とは別に、２段階の光量に設定できる投光器を設け、この投光器により通常の光量（図５−１）と、通常よりも光量が大である光（図５−２）とを適時、照射する構成としてもよい。
【００４７】
また、この投光器１１としては、これ以外に歩行者を夜間でも認識できるように近赤外線を照射するものを採用してもよい（例えば、近赤外ランプ）。これによれば、もともと歩行者を認識するために用いられる近赤外ランプを距離検出に兼用することができ、特別にランプを設ける必要性をなくすことができる。
【００４８】
撮影カメラ１３は、車両の走行中に車両周辺（特に、車両の走行方向前方）に存在する歩行者の撮影を行ない、撮影結果を画像認識装置１０に入力する。具体的には、ヘッドライト１２からの投光（光照射）により歩行者から反射された明るさを表す画像（画像濃度）を撮影によって取得する。
【００４９】
ナビゲーション装置１４は、ＧＰＳ（Global Positioning System）人工衛星と通信して特定した自車両の位置と、記憶する地図データ１５とを利用して走行経路の設定および誘導を行なう車載装置である。また、このナビゲーション装置１４は、画像認識装置１０に対して自車両の位置情報や周辺の地図情報、道路に関する情報などを提供する。
【００５０】
プリクラッシュＥＣＵ２０は、衝突判定部９０が自車両の衝突を予測した場合に、ディスプレイ２３やスピーカ２４による乗員への通知や、ブレーキ２１、エンジン制御装置（ＥＦＩ）２２による車両の動作制御を実行する電子制御装置である。
【００５１】
（画像認識装置１０の内部構成）
また、画像認識装置１０は、内部に前処理部３０と、車両認識部４０と、白線認識部５０と、歩行者認識部６０と、画像濃度取得部７０と、歩行者距離算出部８０と、衝突判定部９０とを有する。歩行者距離算出部８０には車両の走行速度Ｖを検出する車速センサ８５が接続されている。車両認識部４０と、白線認識部５０と、歩行者認識部６０と、画像濃度取得部７０と、歩行者距離算出部８０と、衝突判定部９０とはＣＰＵ１０ａ（マイコン）により構成されている。
【００５２】
前処理部３０は、撮影カメラ１３が撮影した画像に対してフィルタリングやエッジ検出、輪郭抽出などの処理を施した後、画像の処理結果を車両認識部４０、白線認識部５０、歩行者認識部６０に出力する。
【００５３】
車両認識部４０は、前処理部３０が出力した画像に対してパターンマッチングなどを施して車両を認識し、認識結果を衝突判定部９０に出力する。また、白線認識部５０も同様に、前処理部３０が出力した画像に対してパターンマッチングなどを施して白線を認識し、認識結果を歩行者距離算出部８０および衝突判定部９０に出力する。
【００５４】
歩行者認識部６０は、前処理部３０が出力した画像から歩行者が存在する可能性のある領域を歩行者候補領域として検出し、さらに歩行者候補領域に対してパターンマッチングなどを施して歩行者を認識し、白線認識部５０と同様に認識結果を、衝突判定部９０および歩行者距離算出部８０に出力する。
【００５５】
画像濃度取得部７０は、歩行者からの反射光による明るさの明暗度（光の反射強度）を画像濃度として画像処理する機能を備えており、その内部に画像差分化処理部７１と、正規化処理部７２とを有する。このうち、画像差分化処理部７１は、環境光（外乱光）の影響のない歩行者の正規の画像濃度を取得する処理を行なう。
【００５６】
以下、図６を参照して、この画像差分化処理部７１による画像濃度の差分化処理について説明する。図６は、画像差分化処理部７１による画像差分化の処理形態を示す説明図である。具体的には、環境光の影響により取得された画像濃度および画像差分化処理により算出された画像濃度を説明する説明図である。
【００５７】
すなわち、本実施例による画像認識装置１０では、ヘッドライト１２による歩行者からの反射光に基づいて、歩行者を撮影した際の画像の明暗を画像濃度の変化値として取得し、画像濃度と距離との相関関係に基づいて、車両と歩行者との距離を算出するため、車両から照射した光の反射光だけを対象として画像濃度を取得する必要がある。ところが、この場合、必ずしも車両のヘッドライト１２から照射された光だけが歩行者に対して照射しているとは限らない。
【００５８】
すなわち、夜間の道路を走行する車両の周辺には、街灯の照明や店舗などの照明（環境光や外乱光）が存在するため、歩行者の周囲には、ヘッドライト１２による光だけではなく、複数の環境光が存在すると考えられる。
【００５９】
このことから、ヘッドライト１２の反射光により取得される歩行者の画像濃度には、環境光などの影響により不必要な光による画像濃度（図６に示す環境光の影響による明るさ）も含まれるため、正確に車両からの光のみを対象とする画像濃度を取得することができないと考えられる。このため、画像差分化処理部７１により画像濃度の差分化を行なうことにより環境光の影響を低減させる構成としている。
【００６０】
具体的に説明すると、図６に示すように、ヘッドライト１２による光の照射は２段階に分けて行ない、先ず、片側のヘッドライト１２の投光（図４−１）により、画像濃度を取得し、次いで、一対のヘッドライト１２の両側をともに点灯させる投光（図４−２）により、画像濃度を取得し、この２段階の投光により取得された画像濃度に基づいて、差分化された画像濃度を実際の車両からの投光を対象とする画像濃度としている（図６に示す実際の投光による画像の明るさを評価値として算出）。
【００６１】
このため、実際には、時刻ｔ0（図２参照）時に、ヘッドライト１２を片側（１個）および両方（２個）点灯させた際の画像濃度を取得（２回）し、時刻ｔ1時に、ヘッドライト１２を片側（１個）および両方（２個）点灯させた際の画像濃度の取得（２回）とを含めた合計４回、歩行者の正規の画像濃度を取得する画像濃度取得処理を行なうこととなる。
【００６２】
なお、車両の周囲の明るさは、例えば昼と夜とで区別でき、さらに昼であれば日射量、夜であれば街灯などの照明の量であり、照度センサの出力や、タイマが出力する時刻情報に基づいて判定することができるため、このような照明の量を判定し、照明の量が極端に少ない場合などには、画像差分化処理を行なわないようにしてもよい。
【００６３】
図３に戻り、正規化処理部７２は、トラッキング（追跡）処理により歩行者の移動時のサイズ（大きさ）を正規化する処理を行なう。以下、図７を参照して、この正規化処理部７２による正規化処理について説明する。図７は、正規化処理部７２により行なわれる正規化処理の概要を説明する説明図である。
【００６４】
すなわち、前述したように車両の移動速度と比較すると歩行者の移動速度は極めて小さいものとなるが、この歩行者も任意の位置（例えば、横方向）に移動することがあり、車両自体も横方向に動くことがある。このため移動前の最初に画像濃度を取得した歩行者と、移動後の歩行者とが同一の歩行者であるかをトラッキングする必要がある。
【００６５】
つまり、移動前（ｔ0時）の歩行者と移動後（ｔ1時）の歩行者とが同一の歩行者であっても画像サイズが大きいと明るさが異なるため、画像濃度も異なるため画像濃度の比較ができなくなる。具体的に説明すると、図７に示すように、移動前の歩行者の画像サイズ（画像サイズ＝ｗ1×ｈ1）と移動後の歩行者の画像サイズ（画像サイズ＝ｗ2×ｈ2）とは異なるため、同じ部位での比較ができなくなる。
【００６６】
すなわち、正規化処理部７２では、移動前のサイズと移動後のサイズとの大きさを任意のサイズに調整することで、移動後であっても画像濃度が変化することを防止することとしている。
【００６７】
具体的には、正規化処理部７２により、移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに調整するようにしている。なお、上述では、正規化処理部７２により画像サイズを調整することとしているが、この正規化処理部７２により、移動前の歩行者の画像サイズに対応する画像濃度と移動後の歩行者の画像サイズに対応する画像濃度とにより平均画像濃度を算出し、この平均画像濃度により正規な画像濃度としてもよい。
【００６８】
図３に戻り、歩行者距離算出部８０は、歩行者認識部６０が認識した歩行者と車両との相対距離を算出し、衝突判定部９０に出力する。
【００６９】
歩行者距離算出部８０は、その内部に推定距離算出部８１と、距離算出処理部８２とを有する。このうち、推定距離算出部８１は、歩行者に対する自車両の接近距離を適宜、算出する機能を備えている。以下、図８−１および図８−２を参照して、この推定距離算出部８１による歩行者に対する接近距離の算出について説明する。
【００７０】
図８−１は、時間の推移に応じて変化する車両と歩行者との接近距離（推定距離Ｄ11〜Ｄ13）との相関図を示している。また、図８−２は、車両の走行速度Ｖｎに応じて計測される車両と歩行者との接近距離（推定距離Ｄ11〜Ｄ13）を説明する説明図を示している。
【００７１】
すなわち、本実施例によると、時刻ｔ0時（図２参照）にヘッドライト１２を１個および２個、同時に点灯させた際の歩行者の画像濃度Ｉ0と、時刻ｔ1時に、同様に、ヘッドライト１２を２個同時に点灯させた際点灯させた際の歩行者の画像濃度Ｉ1とを、撮影カメラ１３により取得する必要がある。
【００７２】
すなわち、図８−１に示すように、撮影カメラ１３による合計４回の画像濃度の取得（計測結果）により車両と歩行者との距離Ｄ1を算出することとなる。ここで、歩行者に対する画像認識装置１０による画像の取得間隔（周期Ｔ）は、一定であるため、車両が時間経過にともない走行速度Ｖnで移動した分だけ歩行者に接近していることとなる。
【００７３】
具体的には、時刻ｔ0＋Ｔに車両の移動距離は、Ｖ1Ｔとなり、時刻ｔ0＋２Ｔに車両の移動距離は、Ｖ2Ｔとなり、時刻ｔ0＋３Ｔに車両の移動距離は、Ｖ3Ｔとなる。なお、次回以降の推定距離（距離Ｄ2による推定距離Ｄ21〜）は同様の方法により推測する。
【００７４】
以上のことから算出された距離Ｄ1をもとに、車両の走行速度Ｖと画像の取得周期Ｔにより、所定の時刻毎での歩行者に対する車両との接近距離（Ｄ11、Ｄ12、Ｄ13）をそれぞれ推定接近距離として算出することができる。すなわち、画像の取得周期Ｔは、予め所定の周期として既知であるため、計測結果が算出されるまでの所定の時間毎の接近距離を車両の走行速度Ｖnにより算出することができる。
【００７５】
具体的には、図８−２に示すように、推定接近距離Ｄ11は、Ｄ1−Ｖ1Ｔ（Ｄ11＝Ｄ1−Ｖ1Ｔ）となり、Ｄ12は、Ｄ1−Ｖ2Ｔ（Ｄ12＝Ｄ1−Ｖ2Ｔ） となりＤ13は、Ｄ1−Ｖ3Ｔ（Ｄ13＝Ｄ1−Ｖ3Ｔ） となる。以上のように、推定距離算出部８１により３回分の接近距離は周期Ｔと車両の走行速度Ｖnにより推定することができる。
【００７６】
図３に戻り、距離算出処理部８２は、画像濃度取得部７０により取得された歩行者の画像濃度に基づいて、車両と歩行者との相対距離を所定の算出手順により算出する。以下、この距離算出処理部８２による車両と歩行者との相対距離の算出手順を、前述した図２を参照して、説明する。
【００７７】
具体的に説明すると、投光器１１（ヘッドライト１２）による明るさは距離の２乗に反比例するので、時刻ｔ0と時刻ｔ1とにおける画像の明るさと距離との関係は、以下の（数１）の関係式により表すことができる。
【００７８】
（数１）
Ｉ0：Ｉ1＝（１／Ｄ02）：（１／Ｄ12）
【００７９】
ここで、Δｔ経過後の時刻ｔ1を基準とすると、時刻ｔ0における歩行者の画像濃度αと距離比βとの関係は、α＝Ｉ0／Ｉ1となりβ＝１／√αとなる。さらに、時刻Δｔ＝時刻ｔ1−時刻ｔ0における車両の移動距離ΔＤは、Ｖを車両の走行速度とすると、この移動距離ΔＤは、ΔＤ＝Ｖ・Δｔから算出することができる。
【００８０】
ここで、認識対象者の移動速度ｖは、車両の走行速度Ｖに比べて極めて小さいため（ｖ≒０）、距離比βは、β＞１となる。以上、説明した関係式により、時刻ｔ1における車両と認識対象者（歩行者）との距離Ｄ1（相対距離）は、以下の数２の式により求めることができる。
【００８１】
（数２）
Ｄ1＝（ＶΔｔ）／（β−１）
【００８２】
図３に戻り、衝突判定部９０は、車両認識部４０、白線認識部５０、歩行者認識部６０による認識結果および歩行者距離算出部８０が算出した歩行者との距離、ナビゲーション装置１４が出力する位置情報を用いて、自車両と歩行者との衝突危険度を判定する。
【００８３】
（画像認識装置１０による歩行者認識処理手順）
次に、本発明の画像認識装置１０による歩行者に対する認識処理手順の詳細を、図９のフローチャートを参照して説明する。図９は、歩行者の認識処理手順を示すフローチャートである。なお、この図９に示す処理フローは、画像認識装置１０が画像認識を実行中である場合に、繰り返し実行される処理である。
【００８４】
［時刻ｔ0時の処理：ヘッドライト１２を１個点灯］
同図のフローチャートに示すように、先ず、車両に設けた２個のヘッドライト１２のうちの一方（１個）のみを使用して（図４−１）、車両の周囲（前方）に向けて、光を照射する第一の投光処理を行なう（ステップＳ１０１）。次いで、ヘッドライト１２が歩行者に照射された際に、この歩行者により反射された反射光に基づいて、撮影カメラ１３より歩行者の画像（画像濃度Ａ0）を取得する（ステップＳ１０２）。この画像濃度Ａ0は、画像濃度取得部７０（図３）により取得される。
【００８５】
具体的に説明すると、車両は片側のヘッドライト１２を点灯させた状態で走行（車両の走行速度Ｖ）しており、歩行者が車両のライト前方に現れた際に、この歩行者から反射される反射光による画像の明るさ（明暗）を、画像情報として撮影カメラ１３で撮影し、歩行者の画像濃度Ａ0を取得することとなる。
【００８６】
次いで、歩行者認識部６０（図３）により歩行者に対する認識処理（ステップＳ１０３）と、ステップＳ１０２で取得した画像濃度Ａ0を対象とする画像の正規化処理を正規化処理部７２（図３）により行なう（ステップＳ１０４）。
【００８７】
以上のステップＳ１０１〜ステップＳ１０４の処理により、道路上を走行中（移動速度Ｖ）の車両が歩行者を最初に認識した際（時刻ｔ0時）に、片側のヘッドライト１２の投光による弱い光量を照射した時の画像濃度Ａ0を取得することができる。
【００８８】
［時刻ｔ0時の処理：ヘッドライト１２を２個点灯］
次に、車両に設けた２個のヘッドライト１２の両方を使用して（図４−２）、車両の周囲（前方）に向けて、２個のライトを照射する第二の投光処理を行なう（ステップＳ１０５）。次いで、両方のヘッドライト１２が歩行者に照射された際に、この歩行者から反射される反射光による画像の明るさ（明暗）を、画像情報として撮影カメラ１３で撮影し、歩行者の画像濃度Ｂ0を取得する（ステップＳ１０６）。
【００８９】
具体的に説明すると、ヘッドライト１２を２個点灯させた時の歩行者から反射される反射光を、撮影カメラ１３で撮影し、画像濃度Ｂ0として取得することとなる。以下、同様に歩行者認識部６０（図３）により歩行者に対する認識処理（ステップＳ１０７）と、ステップＳ１０６により取得した歩行者の画像濃度Ｂ0に対する画像の正規化処理とを順次行なう（ステップＳ１０８）。
【００９０】
以上のステップＳ１０５〜ステップＳ１０８までの処理により、時刻ｔ0時に、車両から、この車両に設けた両方のヘッドライト１２の投光による強い光量を歩行者に対して照射した時の画像濃度Ｂ0を取得することができる。このように、光量の異なる投光により交互に画像濃度Ａ0および画像濃度Ｂ0を取得するのは、画像差分化処理により環境光の影響を排除した正確な歩行者の明るさ（明暗）である画像濃度を取得するためである。
【００９１】
すなわち、ステップＳ１０１〜ステップＳ１０４により取得した画像濃度Ａ0とステップＳ１０５〜ステップＳ１０８により取得した画像濃度Ｂ0とに基づいて、画像差分化処理を行なう（ステップＳ１０９）。前述したように、画像差分化処理により実際の評価の対象となる時刻ｔ0時の歩行者の画像濃度Ｉ0を取得することができる。
【００９２】
次いで、ステップＳ１０９の画像差分化処理により画像濃度Ｉ0が算出されたかの判定を行ない（ステップＳ１１０）、時刻ｔ0時の歩行者の画像濃度Ｉ0が算出されたと判定された場合には（ステップＳ１１０肯定）、次のステップＳ１１１による車両が走行により所定の時間Δｔが経過（図２に示すΔｔ、距離ＶΔｔ）したかの判定を行なう（ステップＳ１１１）。
【００９３】
そして、時間Δｔが経過し、所定の距離分（ＶΔｔ）移動したと判定された場合には（ステップＳ１１１肯定）、次の時刻ｔ1を対象とする第三の投光処理に移行する（ステップＳ１１２）。
【００９４】
［時刻ｔ1時の処理：ヘッドライト１２を１個点灯］
この時刻ｔ1を対象とする第三の投光処理では、第一の投光処理と同様に、車両に設けた２個のヘッドライト１２のうちの一方（１個）のみを使用して、車両の周囲（前方）に向けて、光を照射する投光処理を行なう（ステップＳ１１２）。次いで、ヘッドライト１２が歩行者に照射された際に、この歩行者により反射された反射光に基づいて、撮影カメラ１３より時刻ｔ1時の歩行者の画像（画像濃度Ａ1）を取得する（ステップＳ１１３）。
【００９５】
以下、前述したと同様に歩行者認識部６０（図３）により歩行者に対する認識処理（ステップＳ１１４）と、ステップＳ１１３により取得した歩行者の画像濃度Ａ1に対する画像の正規化処理とを順次行なう（ステップＳ１１５）。
【００９６】
以上のステップＳ１１２〜ステップＳ１１５までの処理により、走行中（移動速度Ｖ）の車両が歩行者を最初に認識した際（時刻ｔ0時）からΔｔ経過後（時刻ｔ1時）の歩行者の反射光に基づいて、光量が小である投光を行なった時の画像濃度Ａ1を取得することができる。
【００９７】
［時刻ｔ1時の処理：ヘッドライト１２を２個点灯］
次に、時刻ｔ1を対象とする第四の投光処理を行なう（ステップＳ１１６）。この時刻ｔ1を対象とする第四の投光処理では、第二の投光処理と同様に、車両に設けた２個のヘッドライト１２の両者（２個）を使用して、車両の周囲（前方）に向けてライトを照射する投光処理が行なわれる。次いで、両方のヘッドライト１２が歩行者に照射された際に、この歩行者により反射された反射光に基づいて、撮影カメラ１３より歩行者の画像濃度Ｂ1を取得する（ステップＳ１１７）。
【００９８】
以下、前述したと同様に、歩行者認識部６０（図３）により歩行者に対する認識処理(ステップＳ１１８)と、ステップＳ１１７により取得した歩行者の画像濃度Ｂ1に対する画像の正規化処理とを順次行なう（ステップＳ１１９）。
【００９９】
以上のステップＳ１１６〜ステップＳ１１９までの処理により、走行中（移動速度Ｖ）の車両が歩行者を最初に認識した際（時刻ｔ0時）からΔｔ経過後（時刻ｔ1時）の歩行者の反射光に基づいて、光量が大である投光を行なった時の画像濃度Ｂ1を取得することができる。
【０１００】
次いで、ステップＳ１１５により算出された画像濃度Ａ1とステップＳ１１９により算出された画像濃度Ｂ1とに基づいて、画像差分化処理を行ない（ステップＳ１２０）、歩行者の正規の画像濃度Ｉ1を算出する（ステップＳ１２１）。
【０１０１】
以下、ステップＳ１１０により算出された画像濃度Ｉ0とステップＳ１２１により算出された画像濃度Ｉ1とに基づいて、歩行者と車両との相対距離を算出する（ステップＳ１２２）。なお、このステップＳ１２１により行なう車両と歩行者との相対距離の算出は、前述した距離算出処理部８２（図３）による所定の算出手順で行なう。ここで、衝突判定部９０（図３）は、歩行者の新式結果と歩行者までの距離をプリクラッシュ２０へ出力する。プリクラッシュ２０は、その情報を基にして、車両Ｐの制御を行なう。
【０１０２】
上述してきたように、本実施例にかかる画像認識装置１０は、車両に設けたヘッドライト１２による歩行者からの反射光に基づいて、歩行者を撮影した際の画像の明暗を画像濃度の変化値として取得し、環境光の影響を排除する画像差分化処理を行ない、歩行者による正規の画像濃度と距離との相関関係に基づいて、車両と歩行者との距離を算出する構成としているので、環境光などによる計測誤差の影響を防止するとともに、正確に車両から歩行者までの距離を計測することができる。
【０１０３】
なお、本発明の画像認識装置は、上述した実施例に示した構成に限定されること無く、任意の構成によって実施することができるものである。また、本実施例では車両と歩行者との距離を算出する場合を例に説明したが、本発明は、画像認識装置による認識対象を歩行者に限定することなく、例えば、道路上を走行する他の車両や道路上に存在する物体など他の物体との離間距離を算出する場合についても、好ましく適用することができる。
【産業上の利用可能性】
【０１０４】
以上のように、本発明にかかる画像認識装置および画像認識方法は、歩行者を対象とする画像認識に有用であり、特に、車両と歩行者との相対距離を正確に計測する場合に適している。
【図面の簡単な説明】
【０１０５】
【図１】本発明の実施例にかかる車両と歩行者との離間距離が遠い状態と、車両が歩行者に近づいた状態とによる画像濃度の相違をそれぞれ示す説明図である。
【図２−１】車両と歩行者との位置関係および画像濃度の変化を時間の推移で示す説明図である。
【図２−２】車両と歩行者との位置関係を時間の推移で示す説明図である。
【図３】本発明の実施例にかかる車両および画像認識装置の概要構成を示す概要構成図である。
【図４−１】片側のヘッドライトによる投光状態を示す説明図である。
【図４−２】両方のヘッドライトによる投光状態を示す説明図である。
【図５−１】光量の弱い投光器による投光状態を示す説明図である。
【図５−２】光量の強い投光器による投光状態を示す説明図である。
【図６】環境光の影響により取得された画像濃度および画像差分化処理により取得された画像濃度を説明する説明図である。
【図７】正規化処理の処理形態を示す説明図である。
【図８−１】車両と歩行者との接近距離に対応する時間推移との相関関係を説明する説明図である。
【図８−２】車両と歩行者との接近距離に対応する時間推移を示す相関図である。
【図９】画像認識装置による歩行者の認識処理手順を示すフローチャートである。
【符号の説明】
【０１０６】
Ｐ 車両
１０ 画像認識装置
１０ａ ＣＰＵ（マイコン）
１１ 投光器
１２ ヘッドライト
１３ 撮影カメラ
１４ ナビゲーション装置
１５ 地図データ
２０ プリクラッシュＥＣＵ
２１ ブレーキ
２２ ＥＦＩ
２３ ディスプレイ
２４ スピーカ
３０ 前処理部
４０ 車両認識部
５０ 白線認識部
６０ 歩行者認識部
７０ 画像濃度取得部
７１ 画像差分化処理部
７２ 正規化処理部
８０ 歩行者距離算出部
８１ 推定距離算出部
８２ 距離算出処理部
８５ 車速センサ
９０ 衝突判定部
【特許請求の範囲】
【請求項１】
車両に搭載された車載カメラが撮影した入力画像から特定の物体との相対距離を画像認識する画像認識装置であって、
特定の物体に向けて光を照射する投光手段により、前記特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得手段と、
前記画像輝度取得手段により最初に取得された前記特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出手段と、
を備えたことを特徴とする画像認識装置。
【請求項２】
前記投光手段は、前記特定の物体に対して単体の光を照射する第一の投光手段と、複合する光を照射する第二の投光手段とを有するとともに、前記画像輝度取得手段は、前記単体光の照射に応じた反射光に基づいて、第一の画像輝度を取得し、前記複合光の照射に応じた反射光に基づいて、第二の画像輝度を取得し、当該第一の画像輝度と第二の画像輝度とによる画像輝度値の差分により、前記特定の物体の反射光に基づいた特定の物体の画像輝度を取得する画像差分化取得手段とを備えることを特徴とする請求項１に記載の画像認識装置。
【請求項３】
移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに補正する画像正規化手段をさらに備えることを特徴とする請求項１または２に記載の画像認識装置。
【請求項４】
移動前の歩行者の画像サイズに対応する画像輝度と移動後の歩行者の画像サイズに対応する画像輝度とにより平均画像輝度を算出する平均画像輝度算出手段をさらに備えることを特徴とする請求項１または２に記載の画像認識装置。
【請求項５】
前記車両の走行速度を検出する車両速度検出手段をさらに備えるとともに、当該車両速度検出手段により検出された車両の走行速度と、前記特定の物体に対する画像の取得周期とに基づいて、所定の時刻毎での特定の物体に対する車両の接近距離を推定により算出する推定距離算出手段を備えることを特徴とする請求項１〜４の何れか一つに記載の画像認識装置。
【請求項６】
前記投光手段は、前記車両に設けられる一対のヘッドライトであることを特徴とする請求項１〜５の何れか一つに記載の画像認識装置。
【請求項７】
車両に搭載された車載カメラが撮影した入力画像から特定の物体との相対距離を画像認識する画像認識方法であって、
前記車両が走行時に前方に存在する特定の物体に向けて光を照射する投光工程と、
前記投光工程により、前記特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得工程と、
前記画像輝度取得工程により最初に取得された前記特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出工程と、
を含むことを特徴とする画像認識方法。
【請求項１】
車両に搭載された車載カメラが撮影した入力画像から特定の物体との相対距離を画像認識する画像認識装置であって、
特定の物体に向けて光を照射する投光手段により、前記特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得手段と、
前記画像輝度取得手段により最初に取得された前記特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出手段と、
を備えたことを特徴とする画像認識装置。
【請求項２】
前記投光手段は、前記特定の物体に対して単体の光を照射する第一の投光手段と、複合する光を照射する第二の投光手段とを有するとともに、前記画像輝度取得手段は、前記単体光の照射に応じた反射光に基づいて、第一の画像輝度を取得し、前記複合光の照射に応じた反射光に基づいて、第二の画像輝度を取得し、当該第一の画像輝度と第二の画像輝度とによる画像輝度値の差分により、前記特定の物体の反射光に基づいた特定の物体の画像輝度を取得する画像差分化取得手段とを備えることを特徴とする請求項１に記載の画像認識装置。
【請求項３】
移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに補正する画像正規化手段をさらに備えることを特徴とする請求項１または２に記載の画像認識装置。
【請求項４】
移動前の歩行者の画像サイズに対応する画像輝度と移動後の歩行者の画像サイズに対応する画像輝度とにより平均画像輝度を算出する平均画像輝度算出手段をさらに備えることを特徴とする請求項１または２に記載の画像認識装置。
【請求項５】
前記車両の走行速度を検出する車両速度検出手段をさらに備えるとともに、当該車両速度検出手段により検出された車両の走行速度と、前記特定の物体に対する画像の取得周期とに基づいて、所定の時刻毎での特定の物体に対する車両の接近距離を推定により算出する推定距離算出手段を備えることを特徴とする請求項１〜４の何れか一つに記載の画像認識装置。
【請求項６】
前記投光手段は、前記車両に設けられる一対のヘッドライトであることを特徴とする請求項１〜５の何れか一つに記載の画像認識装置。
【請求項７】
車両に搭載された車載カメラが撮影した入力画像から特定の物体との相対距離を画像認識する画像認識方法であって、
前記車両が走行時に前方に存在する特定の物体に向けて光を照射する投光工程と、
前記投光工程により、前記特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得工程と、
前記画像輝度取得工程により最初に取得された前記特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出工程と、
を含むことを特徴とする画像認識方法。
【図１】
【図２−１】
【図２−２】
【図３】
【図４−１】
【図４−２】
【図５−１】
【図５−２】
【図６】
【図７】
【図８−１】
【図８−２】
【図９】
【図２−１】
【図２−２】
【図３】
【図４−１】
【図４−２】
【図５−１】
【図５−２】
【図６】
【図７】
【図８−１】
【図８−２】
【図９】
【公開番号】特開２００７−２４０３８７（Ｐ２００７−２４０３８７Ａ）
【公開日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願番号】特願２００６−６４７４８（Ｐ２００６−６４７４８）
【出願日】平成１８年３月９日（２００６．３．９）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願日】平成１８年３月９日（２００６．３．９）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]