車両用画像認識装置、車両用画像認識方法、プログラム及び媒体
【課題】処理負荷を高めることなくより効果的に認識性能を高めることができる車両用画像認識装置、車両用画像認識方法、プログラム及び媒体を提供する。
【解決手段】車両用画像認識装置は、撮像手段と、撮像手段による撮像画像から横断可領域２５を抽出する抽出手段と、横断可領域２５の輪郭に基づいた境界線で撮像画像内の道路と歩道を含む路面の領域を領域部分α〜ζに分割する分割手段と、領域部分α〜ζのそれぞれに対応させた歩行者パターンを選択する選択手段と、領域部分α〜ζのそれぞれにおいて歩行者パターンを用いた照合により歩行者を認識する認識手段と、を含む。
【解決手段】車両用画像認識装置は、撮像手段と、撮像手段による撮像画像から横断可領域２５を抽出する抽出手段と、横断可領域２５の輪郭に基づいた境界線で撮像画像内の道路と歩道を含む路面の領域を領域部分α〜ζに分割する分割手段と、領域部分α〜ζのそれぞれに対応させた歩行者パターンを選択する選択手段と、領域部分α〜ζのそれぞれにおいて歩行者パターンを用いた照合により歩行者を認識する認識手段と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単眼カメラを用いる車両用画像認識装置、車両用画像認識方法、プログラム及び媒体に関する。
【背景技術】
【０００２】
単眼カメラを用いた安価な構成で歩行者を認識、検出するにあたって、歩行者の向きや静止状態、歩行状態を含む姿勢はバラツキが大きいため、歩行者の向き別の歩行者パターンを準備し、それぞれ順番に照合することが有効である。ところが、向き数に比例して処理負荷が大きくなり、応答性が低下し迅速な認識ができなくなるという問題がある。
【０００３】
このような問題に対応する従来技術として、例えば特許文献１に記載されるように、歩行者の移動ベクトルを検出して移動ベクトルに応じて歩行者パターンを準備することが考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３７８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、この手法においては、移動する歩行者に対しては有効であるが、静止している歩行者を認識できないという課題がある。特に静止状態の歩行者のうち、左向きの歩行者と右向きの歩行者では歩行者パターンが大きく異なるため、これらの異なる歩行者パターンを有するデータベースによる認識では認識性能が低くなるという課題がある。
【０００６】
そこで、本発明は、処理負荷を高めることなくより効果的に認識性能を高めることができる車両用画像認識装置、車両用画像認識方法、プログラム及び媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る車両用画像認識装置は、
撮像手段と、
前記撮像手段による撮像画像から横断可領域を抽出する抽出手段と、
前記横断可領域の輪郭に基づいた境界線で前記撮像画像内の道路と歩道を含む路面の領域を領域部分に分割する分割手段と、
前記領域部分のそれぞれに対応させた歩行者パターンを選択する選択手段と、
前記領域部分のそれぞれにおいて前記歩行者パターンを用いた照合により歩行者を認識する認識手段と、を含むことを特徴とする。
【０００８】
また、上記目的を達成するため、本発明に係る車両用画像認識方法は、
撮像ステップと、
前記撮像手段による撮像画像から横断可領域を抽出する抽出ステップと、
前記横断可領域の輪郭に基づいた境界線で前記撮像画像内の道路と歩道を含む路面の領域を領域部分に分割する分割ステップと、
前記領域部分のそれぞれに対応させた歩行者パターンを選択する選択ステップと、
前記領域部分のそれぞれにおいて前記歩行者パターンを用いた照合により歩行者を認識する認識ステップと、を含むことを特徴とする。
【０００９】
本発明に係るプログラムは前記車両用画像認識方法を実行するプログラムであり、本発明に係る媒体は前記プログラムを記憶した媒体である。
【発明の効果】
【００１０】
本発明によれば、処理負荷を高めることなくより効果的に認識性能を高めることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態である実施例１の車両用画像認識装置１の構成を示したブロック図である。
【図２】単眼カメラ１１によって得られた自車両の進行方向の撮像画像２１を示した図である。
【図３】実施例１における撮像画像２１内の領域の領域部分への分割態様を示す模式図である。
【図４】実施例１において用いる歩行者パターンの静止状態と歩行状態、向きを示す態様の具体例を示す模式図である。
【図５】横断歩道２５（横断可領域）を抽出する処理例を示したフローチャートである。
【図６】図２の撮像画像２１上の横断歩道２５を説明するための図である。
【図７】本実施例１の車両用画像認識装置１の処理全体を示すフローチャートである。
【図８】本発明の一実施形態である実施例２の車両用画像認識装置３１の構成を示したブロック図である。
【図９】横断歩道２５（横断可領域）を抽出して基準距離Ｌを算出する処理例を示したフローチャートである。
【図１０】撮像画像２１上でピクセル幅ａを有する横断歩道２５までの基準距離Ｌを示した図である。
【図１１】実施例２における撮像画像２１内の領域の領域部分への分割態様を示す模式図である。
【図１２】実施例２において用いる歩行者パターンのピクセル数と距離との関係を示す模式図である。
【図１３】実施例２の車両用画像認識装置３１の処理全体を示すフローチャートである。
【図１４】実施例２の車両用画像認識装置３１の歩行者の認識形態を従来技術との比較に基づいて示す模式図である。
【発明を実施するための形態】
【実施例１】
【００１２】
以下、図面を参照しながら、本発明を実施するための形態の説明を行う。図１は、本発明の一実施形態である車両用画像認識装置１の構成を示したブロック図である。車両用画像認識装置１は、車両に搭載され、単眼カメラ１１と、横断可領域抽出部１２と、分割部１３と、選択部１４と、認識部１５とを備えている。各部の機能の一部又は全部は、画像認識処理を実行するＥＣＵ（Electronic Control Unit）を含むプロセッサやマイクロコンピュータ等によって実現可能である。
【００１３】
単眼カメラ１１は、自車両周辺（例えば、自車両の進行方向）を所定の画角で撮像して、その撮像画像を出力する撮像手段である。自車両の進行方向は、前進方向でも、後進方向でもよい。単眼カメラ１１は、ＣＣＤ又はＣＭＯＳ等の撮像素子を備えている。
【００１４】
横断可領域抽出部１２は、単眼カメラ１１による撮像画像から横断可領域である横断歩道を抽出する抽出手段である。
【００１５】
横断歩道は、一般的には、道路の前後方向に延びる太い白線と左右方向に延びる細い白線の組合せ又は太い白線のみにより構成される。なお、横断可領域は、文字、記号又はそれらの組み合わせが路面上にペイント等によって標示されたものであってもよく、歩行者用信号が青である条件又は道路を走行する車両が存在しない条件で歩行者が安全に横断することが可能である領域を指す。横断歩道の大きさは、法令等で予め定められた寸法を基準としている。
【００１６】
図２は、単眼カメラ１１によって得られた自車両の進行方向の撮像画像２１を示した図である。２２は歩行者を指し、２３は側方の白線を、２４は分離帯の白鎖線を示す。撮像画像２１には、横断可領域として、自車両の前方の進路上に標示された横断歩道２５が含まれている。符号２６は、消失点（無限遠点）を表す。図２の場合、横断可領域抽出部１２は、例えば、撮像画像２１から、横断歩道２５を構成する候補ラインｐ１〜ｐ４を抽出する。撮像画像２１は、左右方向のピクセル数がＷ、上下方向のピクセル数がＨの画像である。
【００１７】
分割部１３は、図３に示すように、横断可領域抽出部１２によって抽出された横断歩道２５の輪郭に基づいた境界線で撮像画像２１内の道路と歩道を含む路面の領域を九つであって六種類の領域部分α〜ζに分割する分割手段である。
【００１８】
選択部１４は、前述した領域部分のそれぞれに対応させた歩行者パターンを含むデータベースを選択する選択手段であり、認識部１５は、領域部分のそれぞれにおいて対応させた歩行者パターンを含むデータベースを用いた照合により歩行者を認識する認識手段である。
【００１９】
本実施例１において、前述した境界線は、図２の情報からの俯瞰図である図３に示すように、横断歩道２５の輪郭の前端縁と後端縁のそれぞれに沿う左右方向に延びる左右方向線Ｌ１、Ｌ２を含むとともに、輪郭の左端縁と右端縁のそれぞれに沿う前後方向に延びる前後方向線Ｌ３、Ｌ４を含むものとする。なお、後者の境界線である前後方向線Ｌ３、Ｌ４については、より検出の容易な道路の側方の白線と一致するため、白線の検出により代用する。
【００２０】
さらに、本実施例１においては、歩行者パターンは歩行者の静止状態又は歩行状態と正面背面左右のいずれかの向きを含む。また、図３に示す、横断可領域つまり領域部分εの左右に隣接して位置する領域部分γ、δにおいて、それぞれの歩行者パターンは図４中最左と左から二番目に示すような、静止状態に対応したものである。
【００２１】
すなわち図３に示すように、横断可領域つまり領域部分εの左に隣接して位置する領域部分γにおいて、歩行者パターンは右向きであり、横断可領域つまり領域部分εの右に隣接して位置する領域部分δにおいて、歩行者パターンは左向きである。
【００２２】
さらに、横断可領域である領域部分εの左前又は右前に位置する領域部分βにおいて、歩行者パターンは図４の右から二番目に示す歩行状態に対応したものであって正面向きであり、横断可領域である領域部分εの左後又は右後に隣接して位置する領域部分αにおいて、歩行者パターンは図４の最右に示す歩行状態に対応したものであって背面向きである。
【００２３】
なお、領域部分εそのものにおいては、歩行者パターンは歩行状態であって、左向き又は右向きに対応したものである。領域部分εの前又は後の領域部分ζにおいては、歩行者パターンは全方位向きに、対応したものである。また、図３の図示から明らかなように、領域部分ζは道路であり、領域部分α、βは歩道であり、領域部分γ、δは、横断歩道２５の両側に位置する歩道である。
【００２４】
図５は、横断歩道２５を抽出する処理例を示したフローチャートである。図２、図６を参照しながら、本フローチャートについて説明する。
【００２５】
ステップＳ１０において、横断可領域抽出部１２は、撮像画像２１の画素輝度分布に基づいて、画素の輝度が急変する上下方向（垂直方向）のエッジを撮像画像２１の中から抽出する。
【００２６】
ステップＳ２０において、横断可領域抽出部１２は、ステップＳ１０で抽出したエッジを、水平方向（自車両から図２の横断歩道２５を見たときの左右方向）の輝度変化パターンによって分類する。横断可領域抽出部１２は、各エッジの左領域及び右領域の画素輝度分布に基づいて、左領域が右領域よりも暗い場合には「立ち上がりエッジ」と判定し、左領域が右領域よりも明るい場合には「立ち下がりエッジ」と判定する。
【００２７】
ステップＳ３０において、横断可領域抽出部１２は、撮像画像２１を水平方向にサーチして、ステップＳ２０で分類したエッジが所定回数以上交互に繰り返し出現するラインを、横断歩道２５を構成する候補ラインとしてグルーピングする。そして、ステップＳ４０において、横断可領域抽出部１２は、撮像画像２１を垂直方向にサーチして、グルーピングされた各候補ラインの隣接関係、及び候補ラインを構成するエッジの接続関係によって、各候補ラインをグルーピングして横断歩道２５及び横断歩道２５の輪郭を抽出する。
【００２８】
例えば、横断可領域抽出部１２は、互いに隣り合う立ち上がりエッジと立ち下がりエッジを１ペアとして、所定数以上のペア（例えば、３ペア以上）が存在し、且つ、それらの所定数以上のペアについて各ペアを構成する２つのエッジ間の水平方向（左右方向）の距離（例えば図６の場合、距離ｂ１、ｂ２、ｂ３）がそれぞれ所定の範囲内にあるとき、それらの各ペアを、横断歩道２５を構成する候補ラインとして抽出し、それらの抽出された複数の候補ラインを横断歩道２５としてグルーピングする。
【００２９】
認識部１５は、自車両の進行方面に存在する横断歩道２５近辺（例えば、横断歩道２５が標示された道路上又はその道路脇）に存在する歩行者を、単眼カメラ１１によって得られた撮像画像２１から、上述した図４に示したような歩行者パターンを用いて、テンプレートマッチング等のパターン認識により認識する認識手段である。
【００３０】
図７は、本実施例１の車両用画像認識装置１の処理全体を示すフローチャートである。以下に、既に示した図２を併せて用いて本実施例１の処理全体を説明する。
【００３１】
ステップＳ５０において、図５のフローチャートのステップＳ４０に関する説明で示したように、横断歩道２５である領域部分εを抽出し、ステップＳ６０において、横断可領域抽出部１２は、撮像画像２１の画素輝度分布に基づいて、画素の輝度が急変する上下方向（垂直方向）のエッジであって前後方向に延びて消失点２６に達する白線２３を撮像画像２１の中から抽出する。
【００３２】
ステップＳ７０において、分割部１３は、撮像画像２１内の領域を六種類の領域部分α〜ζに分割して、これらの領域部分α〜ζを歩行者の探索領域として、選択部１４は、それぞれに対応する歩行者パターンを含むデータベースを選択する。
【００３３】
ステップＳ８０において、認識部１５は、それぞれの領域部分α〜ζ毎に、対応する歩行者パターンを含むデータベースを用いて、認識する。
【００３４】
なお、本発明の車両用画像認識方法は、図７に示したフローチャートに基づいて実行される。また、本発明のプログラムは、本実施例１の車両用画像認識装置１内に予めインストール又は格納され、このプログラムは所定の媒体に記憶されていていてもよい。
【００３５】
本実施例１の車両用画像認識装置１によれば、分割された領域部分α〜ζ毎に、対応する歩行者パターンを用いて探索を行い、歩行者を認識するので、領域部分毎のデータベースが含む歩行者パターンを減らして、処理負荷を軽減して処理速度を高め、認識の応答性と精度を高めることができる。
【００３６】
特に本実施例１においては、横断可領域が横断歩道２５であり、図３に示す領域部分γ、δにおいては、横断待ちの歩行者が多く存在することが予め想定され、歩行者は静止状態であり向きも左右いずれかに固定されているケースが多いこと、領域部分εにおいて歩行者は歩行状態であり向きも左右いずれかであることであることを鑑みて、対応するデータベースの含む歩行者パターンの数を極力減らすことができるため、処理負荷の軽減と認識精度の向上をより効果的に実現できる。
【００３７】
また、横断歩道２５よりも自車両の進行方向の前に位置する領域部分αにおいても、歩行者が正面向きであり歩行状態であるケースが多いことに鑑み、対応するデータベースの含む歩行者パターンの数を減らすことができ、処理負荷を軽減し認識精度を高めることができる。同様に横断歩道２５よりも後に位置する領域部分βにおいても歩行者が背面向きであり歩行状態であるケースが多いことに鑑み、処理負荷を軽減し認識精度を高めることができる。
【００３８】
本実施例１の探索対象となる領域の分割を伴わせての歩行者のパターンマッチングによる認識によれば、撮像画像２１全体を本実施例１の領域部分ζと同様の全方位向きの歩行者パターンを含むデータベースにて探索及び歩行者の認識を行う場合に比べて、処理時間を４０％程度とすることができる。
【００３９】
以上述べた実施例１においては、横断歩道２５の大きさと自車両からの距離は求めていないが、もちろん、大きさと距離を求めた後、境界線を設定して領域を領域部分α〜ζに分割することもできる。
【００４０】
なお、図３に示した模式図においては、領域部分α〜ζは相互に重複する部分を有しているが、オーバーラップ代は歩行者の各領域部分からのはみ出しを吸収することを考慮して適宜設定している。また、歩行者パターンは所持物を表示した形態のものであってもよく、静止状態と歩行状態、向きの表現手法は他の手法を用いてもよい。
【００４１】
次に、自車両から横断歩道２５までの基準距離Ｌを求めた後、撮像画像２１内の領域を前後方向のみに分割することもできる。以下それについての実施例２について述べる。
【実施例２】
【００４２】
以下、図面を参照しながら、本実施例２についての本発明を実施するための形態の説明を行う。図８は、本発明の一実施形態である車両用画像認識装置３１の構成を示したブロック図である。車両用画像認識装置３１は、車両に搭載され、単眼カメラ１１と、横断可領域抽出部１２と、分割部１３と、選択部１４と、大きさ検出部１６と、距離算出部１７と、認識部１５とを備えている。各部の機能の一部又は全部は、実施例１と同様、画像認識処理を実行するプロセッサやマイクロコンピュータ等によって実現可能である。
【００４３】
単眼カメラ１１は、自車両周辺（例えば、自車両の進行方向）を所定の画角で撮像して、その撮像画像を出力する撮像手段である。自車両の進行方向は、前進方向でも、後進方向でもよい。単眼カメラ１１は、ＣＣＤ又はＣＭＯＳ等の撮像素子を備えている。
【００４４】
横断可領域抽出部１２は、単眼カメラ１１による撮像画像から横断可領域である横断歩道の所定部位を抽出する手段である。横断可領域抽出部１２によって抽出される所定部位は、予め設計的に決められていて、横断歩道の全体でも一部でもよい。
【００４５】
既に示した図２に示すように、撮像画像２１には、横断可領域として、自車両の前方の進路上に標示された横断歩道２５が含まれている。符号２６は、消失点（無限遠点）を表す。図２の場合、横断可領域抽出部１２は、例えば、撮像画像２１から、横断歩道２５を構成する候補ラインｐ１〜ｐ４を抽出する。撮像画像２１は、左右方向のピクセル数がＷ、上下方向のピクセル数がＨの画像である。
【００４６】
大きさ検出部１６は、横断可領域抽出部１２によって抽出された横断歩道２５の所定部位についての単眼カメラ１１による撮像画像上の大きさ（好ましくは、横幅）を検出する手段である。大きさ検出部１６は、例えば、横断歩道２５の所定部位を構成するピクセル数を撮像画像から取得することで、その所定部位の撮像画像上の大きさを検出できる。
【００４７】
距離算出部１７は、横断可領域抽出部１２によって抽出された横断歩道２５の所定部位についての規格上の予め定められた大きさと、大きさ検出部１６により実際に検出された大きさと、単眼カメラ１１の角度分解能とに基づいて、自車両からその横断歩道２５までの基準距離Ｌを算出する手段である。
【００４８】
図９は、横断歩道２５までの基準距離Ｌを算出するまでの処理例を示したフローチャートである。図２、図６、図１０を併せて参照しながら、本フローチャートについて説明する。
【００４９】
ステップＳ１０において、横断可領域抽出部１２は、撮像画像２１の画素輝度分布に基づいて、画素の輝度が急変する上下方向（垂直方向）のエッジを撮像画像２１の中から抽出する。
【００５０】
ステップＳ２０において、横断可領域抽出部１２は、ステップＳ１０で抽出したエッジを、水平方向（自車両から横断可領域を見たときの左右方向）の輝度変化パターンによって分類する。横断可領域抽出部１２は、各エッジの左領域及び右領域の画素輝度分布に基づいて、左領域が右領域よりも暗い場合には「立ち上がりエッジ」と判定し、左領域が右領域よりも明るい場合には「立ち下がりエッジ」と判定する。
【００５１】
ステップＳ３０において、横断可領域抽出部１２は、撮像画像２１を水平方向にサーチして、ステップＳ２０で分類したエッジが所定回数以上交互に繰り返し出現するラインを、横断歩道２５を構成する候補ラインとしてグルーピングする。そして、横断可領域抽出部１２は、撮像画像２１を垂直方向にサーチして、グルーピングされた各候補ラインの隣接関係、及び候補ラインを構成するエッジの接続関係によって、各候補ラインをグルーピングして横断歩道２５を抽出する。
【００５２】
例えば、横断可領域抽出部１２は、互いに隣り合う立ち上がりエッジと立ち下がりエッジを１ペアとして、所定数以上のペア（例えば、３ペア以上）が存在し、且つ、それらの所定数以上のペアについて各ペアを構成する２つのエッジ間の水平方向（左右方向）の距離（例えば図６の場合、距離ｂ１、ｂ２、ｂ３）がそれぞれ所定の範囲内にあるとき、それらの各ペアを、横断歩道２５を構成する候補ラインとして抽出し、それらの抽出された複数の候補ラインを横断可領域としてグルーピングする。
【００５３】
ステップＳ４０−１において、大きさ検出部１６は、横断歩道２５の左右方向のピクセル数（幅）を検出し、距離算出部１７は、その検出された左右方向のピクセル数を用いて、自車両の単眼カメラ１１から横断歩道２５までの基準距離Ｌを算出する。
【００５４】
図６に示すように、横断可領域抽出部１２によって横断可領域として抽出されたペアの中で、大きさ検出部１６は、例えば、最も左側のペアの立ち上がりエッジｐ１ａから、左から３番目のペアの立ち下がりエッジｐ３ｂまでの距離に相当する３ペア分のピクセル幅ａを検出する。横断歩道２５の規格上のその３ペア分の両端間の幅長（すなわち、ピクセル幅ａの部分に対応する部位の規格上求められる値）をＡとし、単眼カメラ１１の左右方向の角度分解能をＰとすると、基準距離Ｌは、図１０から明らかなように、
Ｌ＝Ａ／tan（ａ×Ｐ） ・・・（１）
という関係式で表現される。ここで、角度分解能Ｐは、単眼カメラ１１の左右方向の画角をα［度］、単眼カメラ１１によって得られる撮像画像２１の左右方向のピクセル数をＷ［pix.］とすると、「Ｐ＝α／Ｗ［度／pix.］」によって表すことが可能な固定値である。つまり、距離算出部１７は、式（１）に基づいて、横断歩道２５までの基準距離Ｌを算出することができる。なお、距離算出部１７は、横断歩道２５の前後方向の長さについて、基準距離Ｌを算出するのと同様の手法で横断歩道２５の前端までの基準距離Ｌ‘を算出してこの基準距離Ｌ’から基準距離Ｌを減じることで算出する。
【００５５】
もちろん、横断可領域として抽出されたペアのエッジであれば、どのエッジ間のピクセル幅を検出してもよく、その検出されたピクセル幅をａとした場合、ピクセル幅ａの部分に対応する部位の規格値が固定値Ａに相当する。
【００５６】
したがって、車両用画像認識装置１は、上記構成の、単眼カメラ１１、横断可領域抽出部１２、大きさ検出部１６及び距離算出部１７を備えていることにより、横断歩道２５の所定部位の規格上の大きさを加味して、横断可領域までの基準距離Ｌを算出しているので、横断可領域が自車両から遠方に存在する状況であっても、横断歩道２５までの基準距離Ｌを単眼カメラによる撮像画像から精度良く算出できる。
【００５７】
ところで、横断歩道２５の所定部位の大きさの規格値には、ある程度の許容公差が認められている。例えば、横断歩道２５の一つの白線領域（すなわち、ある一つのペアの立ち上がりエッジと立ち下がりエッジとに挟まれた高輝度領域）の規格値は４５ｃｍ〜５０ｃｍであり、地域等によってその規格の範囲内で採用している値に差があるのが現状である。
【００５８】
このような差を吸収するため、横断歩道２５の所定部位が撮像画像上の上下方向で所定の位置にあるときの当該所定部位の撮像画像上の大きさ（例えば、左右方向の長さ）を用いて、その所定部位の大きさの規格値をキャリブレーションした値（キャリブレーション値）を算出する。このようなキャリブレーション値を次回以降の距離算出に用いることによって、その算出精度を向上させることができる。例えば、画像上で所定の位置にあるときの横断歩道２５の白線領域を構成するピクセル幅ｆを用いて、その白線領域の大きさの規格値Ｆについてのキャリブレーション値Ｆ１を算出し、次回以降の距離算出に用いる。
【００５９】
分割部１３は、図１１に示すように、横断可領域抽出部１２によって抽出された横断歩道２５の輪郭に基づいた境界線で撮像画像２１内の道路と歩道を含む路面の領域を五つ領域部分η〜λに分割する分割手段である。
【００６０】
選択部１４は、前述した領域部分のそれぞれに対応させた歩行者パターンを含むデータベースを選択する選択手段であり、認識部１５は、領域部分のそれぞれにおいて対応させた歩行者パターンを含むデータベースを用いた照合により歩行者を認識する認識手段である。
【００６１】
本実施例２において、境界線は、図１１に示すように、輪郭の前端縁と後端縁のそれぞれに沿う又は平行な左右方向に延びる複数の左右方向線Ｌ５〜Ｌ８を含むものである。領域部分η〜λのそれぞれの前後方向の長さは、図１２に示すように、この長さに対応する撮像画像２１内のピクセル数が相互に等しく（ここでは２０ピクセル）なるように設定され、歩行者パターンに対応する撮像画像２１内のピクセル数は、図１２に示すように、車両から領域部分η〜λのそれぞれまでの距離に応じて設定され、距離が大きいほどピクセル数は少なく設定される。
【００６２】
また、本実施例２では距離算出部１７を含んでおり、距離算出部１７は、抽出手段である横断可領域抽出部１２の抽出した横断可領域までの基準距離Ｌを算出し、基準距離Ｌに基づいて領域部分η〜λまでの前述した距離を算出する算出手段としても機能する。
【００６３】
図１２に示した具体例においては、横断歩道２５の基準距離Ｌが２５ｍで横断歩道２５自体の前後方向の長さが１０ｍであり、前後方向の中央の距離が例えば３０ｍである場合であり、領域部分ηの前端縁であって、領域部分θの後端縁は、自車両から２０ｍの距離に設定され、領域部分ιの後端縁は自車両から２５ｍの距離に設定され、領域部分κの後端縁は自車両から３５ｍの距離に設定され、領域部分λの後端縁は自車両から６０ｍの距離に設定される。
【００６４】
図１３は、本実施例２の車両用画像認識装置３１の処理全体を示すフローチャートである。以下に、図１４を併せて用いて本実施例２の処理全体を説明する。
【００６５】
ステップＳ９０において、図９のフローチャートのステップＳ４０−１に関する説明で示したように、横断歩道２５を含む領域部分ιを抽出し自車両からの基準距離Ｌを算出する。
【００６６】
ステップＳ１００において、分割部１３は、撮像画像２１内の領域を前後方向に並列する五つの領域部分η〜λに分割して、これらの領域部分η〜λを歩行者の探索領域として、選択部１４は、それぞれに対応する距離の増大に応じてピクセル数が少なく設定された歩行者パターンを含むデータベースを選択する。
【００６７】
ステップＳ１１０において、認識部１５は、それぞれの領域部分η〜λ毎に、前ステップで選択された、対応する歩行者パターンを含むデータベースを用いて、歩行者を認識する。
【００６８】
なお、本発明の車両用画像認識方法は、図１３に示したフローチャートに基づいて実行される。また、本発明のプログラムは、本実施例２の車両用画像認識装置３１内に予めインストール又は格納され、このプログラムは所定の媒体に記憶されていていてもよい。
【００６９】
本実施例２の車両用画像認識装置３１によれば、図１４の上下方向の二重線の双方向の矢印の上側に示すように、分割された領域部分η〜λ毎に、対応する歩行者パターンを用いて探索を行い、歩行者を認識するので、図１４の矢印の下側で示すように領域全体を探索領域とする従来技術に比べて、探索領域を減らして、処理負荷を軽減して処理速度を高め、認識の応答性と精度を高めることができる。
【００７０】
特に本実施例２においては、距離に対応させて歩行者パターンを構成するピクセル数を手前から奧に向けて漸減させているため、より効果的に探索領域を低減することができる。また、距離に応じて歩行者パターンのピクセル数を予め設定しておくことにより、従来技術では歩行者と認識される可能性のある物体と実際の歩行者とをより厳密に区別して認識することができ、誤認識を防止することができる。
【００７１】
図１１に示した模式図においては、領域部分η〜λは相互に重複する部分を有しているが、実施例１と同様に、オーバーラップ代は歩行者の各領域部分からのはみ出しを吸収することを考慮して適宜設定している。また実施例２においても、歩行者パターンは所持物を表示した形態のものであってもよい。
【００７２】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００７３】
例えば、実施例２における前後方向に垂直な方向への分割は、実施例１においても適用することができ、例えば、図２に示した領域部分α、β、ζについて適宜前後方向に分割することができる。
【符号の説明】
【００７４】
１、３１ 車両用画像認識装置
１１ 単眼カメラ（撮像手段）
１２ 横断可領域抽出部（抽出手段）
１３ 分割部（分割手段）
１４ 選択部（選択手段）
１５ 認識部（認識手段）
１６ 大きさ検出部
１７ 距離算出部（算出手段）
２１ 撮像画像
２２ 歩行者
２３ 白線
２４ 白鎖線
２５ 横断歩道（横断可領域）
２６ 消失点（無限遠点）
ｐ１〜ｐ４ 候補ライン
Ｌ 基準距離
Ｌ‘ 基準距離
Ｌ１〜Ｌ４ 境界線
α〜ζ 領域部分
Ｌ５〜Ｌ８ 境界線
η〜λ 領域部分
【技術分野】
【０００１】
本発明は、単眼カメラを用いる車両用画像認識装置、車両用画像認識方法、プログラム及び媒体に関する。
【背景技術】
【０００２】
単眼カメラを用いた安価な構成で歩行者を認識、検出するにあたって、歩行者の向きや静止状態、歩行状態を含む姿勢はバラツキが大きいため、歩行者の向き別の歩行者パターンを準備し、それぞれ順番に照合することが有効である。ところが、向き数に比例して処理負荷が大きくなり、応答性が低下し迅速な認識ができなくなるという問題がある。
【０００３】
このような問題に対応する従来技術として、例えば特許文献１に記載されるように、歩行者の移動ベクトルを検出して移動ベクトルに応じて歩行者パターンを準備することが考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３７８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、この手法においては、移動する歩行者に対しては有効であるが、静止している歩行者を認識できないという課題がある。特に静止状態の歩行者のうち、左向きの歩行者と右向きの歩行者では歩行者パターンが大きく異なるため、これらの異なる歩行者パターンを有するデータベースによる認識では認識性能が低くなるという課題がある。
【０００６】
そこで、本発明は、処理負荷を高めることなくより効果的に認識性能を高めることができる車両用画像認識装置、車両用画像認識方法、プログラム及び媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る車両用画像認識装置は、
撮像手段と、
前記撮像手段による撮像画像から横断可領域を抽出する抽出手段と、
前記横断可領域の輪郭に基づいた境界線で前記撮像画像内の道路と歩道を含む路面の領域を領域部分に分割する分割手段と、
前記領域部分のそれぞれに対応させた歩行者パターンを選択する選択手段と、
前記領域部分のそれぞれにおいて前記歩行者パターンを用いた照合により歩行者を認識する認識手段と、を含むことを特徴とする。
【０００８】
また、上記目的を達成するため、本発明に係る車両用画像認識方法は、
撮像ステップと、
前記撮像手段による撮像画像から横断可領域を抽出する抽出ステップと、
前記横断可領域の輪郭に基づいた境界線で前記撮像画像内の道路と歩道を含む路面の領域を領域部分に分割する分割ステップと、
前記領域部分のそれぞれに対応させた歩行者パターンを選択する選択ステップと、
前記領域部分のそれぞれにおいて前記歩行者パターンを用いた照合により歩行者を認識する認識ステップと、を含むことを特徴とする。
【０００９】
本発明に係るプログラムは前記車両用画像認識方法を実行するプログラムであり、本発明に係る媒体は前記プログラムを記憶した媒体である。
【発明の効果】
【００１０】
本発明によれば、処理負荷を高めることなくより効果的に認識性能を高めることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態である実施例１の車両用画像認識装置１の構成を示したブロック図である。
【図２】単眼カメラ１１によって得られた自車両の進行方向の撮像画像２１を示した図である。
【図３】実施例１における撮像画像２１内の領域の領域部分への分割態様を示す模式図である。
【図４】実施例１において用いる歩行者パターンの静止状態と歩行状態、向きを示す態様の具体例を示す模式図である。
【図５】横断歩道２５（横断可領域）を抽出する処理例を示したフローチャートである。
【図６】図２の撮像画像２１上の横断歩道２５を説明するための図である。
【図７】本実施例１の車両用画像認識装置１の処理全体を示すフローチャートである。
【図８】本発明の一実施形態である実施例２の車両用画像認識装置３１の構成を示したブロック図である。
【図９】横断歩道２５（横断可領域）を抽出して基準距離Ｌを算出する処理例を示したフローチャートである。
【図１０】撮像画像２１上でピクセル幅ａを有する横断歩道２５までの基準距離Ｌを示した図である。
【図１１】実施例２における撮像画像２１内の領域の領域部分への分割態様を示す模式図である。
【図１２】実施例２において用いる歩行者パターンのピクセル数と距離との関係を示す模式図である。
【図１３】実施例２の車両用画像認識装置３１の処理全体を示すフローチャートである。
【図１４】実施例２の車両用画像認識装置３１の歩行者の認識形態を従来技術との比較に基づいて示す模式図である。
【発明を実施するための形態】
【実施例１】
【００１２】
以下、図面を参照しながら、本発明を実施するための形態の説明を行う。図１は、本発明の一実施形態である車両用画像認識装置１の構成を示したブロック図である。車両用画像認識装置１は、車両に搭載され、単眼カメラ１１と、横断可領域抽出部１２と、分割部１３と、選択部１４と、認識部１５とを備えている。各部の機能の一部又は全部は、画像認識処理を実行するＥＣＵ（Electronic Control Unit）を含むプロセッサやマイクロコンピュータ等によって実現可能である。
【００１３】
単眼カメラ１１は、自車両周辺（例えば、自車両の進行方向）を所定の画角で撮像して、その撮像画像を出力する撮像手段である。自車両の進行方向は、前進方向でも、後進方向でもよい。単眼カメラ１１は、ＣＣＤ又はＣＭＯＳ等の撮像素子を備えている。
【００１４】
横断可領域抽出部１２は、単眼カメラ１１による撮像画像から横断可領域である横断歩道を抽出する抽出手段である。
【００１５】
横断歩道は、一般的には、道路の前後方向に延びる太い白線と左右方向に延びる細い白線の組合せ又は太い白線のみにより構成される。なお、横断可領域は、文字、記号又はそれらの組み合わせが路面上にペイント等によって標示されたものであってもよく、歩行者用信号が青である条件又は道路を走行する車両が存在しない条件で歩行者が安全に横断することが可能である領域を指す。横断歩道の大きさは、法令等で予め定められた寸法を基準としている。
【００１６】
図２は、単眼カメラ１１によって得られた自車両の進行方向の撮像画像２１を示した図である。２２は歩行者を指し、２３は側方の白線を、２４は分離帯の白鎖線を示す。撮像画像２１には、横断可領域として、自車両の前方の進路上に標示された横断歩道２５が含まれている。符号２６は、消失点（無限遠点）を表す。図２の場合、横断可領域抽出部１２は、例えば、撮像画像２１から、横断歩道２５を構成する候補ラインｐ１〜ｐ４を抽出する。撮像画像２１は、左右方向のピクセル数がＷ、上下方向のピクセル数がＨの画像である。
【００１７】
分割部１３は、図３に示すように、横断可領域抽出部１２によって抽出された横断歩道２５の輪郭に基づいた境界線で撮像画像２１内の道路と歩道を含む路面の領域を九つであって六種類の領域部分α〜ζに分割する分割手段である。
【００１８】
選択部１４は、前述した領域部分のそれぞれに対応させた歩行者パターンを含むデータベースを選択する選択手段であり、認識部１５は、領域部分のそれぞれにおいて対応させた歩行者パターンを含むデータベースを用いた照合により歩行者を認識する認識手段である。
【００１９】
本実施例１において、前述した境界線は、図２の情報からの俯瞰図である図３に示すように、横断歩道２５の輪郭の前端縁と後端縁のそれぞれに沿う左右方向に延びる左右方向線Ｌ１、Ｌ２を含むとともに、輪郭の左端縁と右端縁のそれぞれに沿う前後方向に延びる前後方向線Ｌ３、Ｌ４を含むものとする。なお、後者の境界線である前後方向線Ｌ３、Ｌ４については、より検出の容易な道路の側方の白線と一致するため、白線の検出により代用する。
【００２０】
さらに、本実施例１においては、歩行者パターンは歩行者の静止状態又は歩行状態と正面背面左右のいずれかの向きを含む。また、図３に示す、横断可領域つまり領域部分εの左右に隣接して位置する領域部分γ、δにおいて、それぞれの歩行者パターンは図４中最左と左から二番目に示すような、静止状態に対応したものである。
【００２１】
すなわち図３に示すように、横断可領域つまり領域部分εの左に隣接して位置する領域部分γにおいて、歩行者パターンは右向きであり、横断可領域つまり領域部分εの右に隣接して位置する領域部分δにおいて、歩行者パターンは左向きである。
【００２２】
さらに、横断可領域である領域部分εの左前又は右前に位置する領域部分βにおいて、歩行者パターンは図４の右から二番目に示す歩行状態に対応したものであって正面向きであり、横断可領域である領域部分εの左後又は右後に隣接して位置する領域部分αにおいて、歩行者パターンは図４の最右に示す歩行状態に対応したものであって背面向きである。
【００２３】
なお、領域部分εそのものにおいては、歩行者パターンは歩行状態であって、左向き又は右向きに対応したものである。領域部分εの前又は後の領域部分ζにおいては、歩行者パターンは全方位向きに、対応したものである。また、図３の図示から明らかなように、領域部分ζは道路であり、領域部分α、βは歩道であり、領域部分γ、δは、横断歩道２５の両側に位置する歩道である。
【００２４】
図５は、横断歩道２５を抽出する処理例を示したフローチャートである。図２、図６を参照しながら、本フローチャートについて説明する。
【００２５】
ステップＳ１０において、横断可領域抽出部１２は、撮像画像２１の画素輝度分布に基づいて、画素の輝度が急変する上下方向（垂直方向）のエッジを撮像画像２１の中から抽出する。
【００２６】
ステップＳ２０において、横断可領域抽出部１２は、ステップＳ１０で抽出したエッジを、水平方向（自車両から図２の横断歩道２５を見たときの左右方向）の輝度変化パターンによって分類する。横断可領域抽出部１２は、各エッジの左領域及び右領域の画素輝度分布に基づいて、左領域が右領域よりも暗い場合には「立ち上がりエッジ」と判定し、左領域が右領域よりも明るい場合には「立ち下がりエッジ」と判定する。
【００２７】
ステップＳ３０において、横断可領域抽出部１２は、撮像画像２１を水平方向にサーチして、ステップＳ２０で分類したエッジが所定回数以上交互に繰り返し出現するラインを、横断歩道２５を構成する候補ラインとしてグルーピングする。そして、ステップＳ４０において、横断可領域抽出部１２は、撮像画像２１を垂直方向にサーチして、グルーピングされた各候補ラインの隣接関係、及び候補ラインを構成するエッジの接続関係によって、各候補ラインをグルーピングして横断歩道２５及び横断歩道２５の輪郭を抽出する。
【００２８】
例えば、横断可領域抽出部１２は、互いに隣り合う立ち上がりエッジと立ち下がりエッジを１ペアとして、所定数以上のペア（例えば、３ペア以上）が存在し、且つ、それらの所定数以上のペアについて各ペアを構成する２つのエッジ間の水平方向（左右方向）の距離（例えば図６の場合、距離ｂ１、ｂ２、ｂ３）がそれぞれ所定の範囲内にあるとき、それらの各ペアを、横断歩道２５を構成する候補ラインとして抽出し、それらの抽出された複数の候補ラインを横断歩道２５としてグルーピングする。
【００２９】
認識部１５は、自車両の進行方面に存在する横断歩道２５近辺（例えば、横断歩道２５が標示された道路上又はその道路脇）に存在する歩行者を、単眼カメラ１１によって得られた撮像画像２１から、上述した図４に示したような歩行者パターンを用いて、テンプレートマッチング等のパターン認識により認識する認識手段である。
【００３０】
図７は、本実施例１の車両用画像認識装置１の処理全体を示すフローチャートである。以下に、既に示した図２を併せて用いて本実施例１の処理全体を説明する。
【００３１】
ステップＳ５０において、図５のフローチャートのステップＳ４０に関する説明で示したように、横断歩道２５である領域部分εを抽出し、ステップＳ６０において、横断可領域抽出部１２は、撮像画像２１の画素輝度分布に基づいて、画素の輝度が急変する上下方向（垂直方向）のエッジであって前後方向に延びて消失点２６に達する白線２３を撮像画像２１の中から抽出する。
【００３２】
ステップＳ７０において、分割部１３は、撮像画像２１内の領域を六種類の領域部分α〜ζに分割して、これらの領域部分α〜ζを歩行者の探索領域として、選択部１４は、それぞれに対応する歩行者パターンを含むデータベースを選択する。
【００３３】
ステップＳ８０において、認識部１５は、それぞれの領域部分α〜ζ毎に、対応する歩行者パターンを含むデータベースを用いて、認識する。
【００３４】
なお、本発明の車両用画像認識方法は、図７に示したフローチャートに基づいて実行される。また、本発明のプログラムは、本実施例１の車両用画像認識装置１内に予めインストール又は格納され、このプログラムは所定の媒体に記憶されていていてもよい。
【００３５】
本実施例１の車両用画像認識装置１によれば、分割された領域部分α〜ζ毎に、対応する歩行者パターンを用いて探索を行い、歩行者を認識するので、領域部分毎のデータベースが含む歩行者パターンを減らして、処理負荷を軽減して処理速度を高め、認識の応答性と精度を高めることができる。
【００３６】
特に本実施例１においては、横断可領域が横断歩道２５であり、図３に示す領域部分γ、δにおいては、横断待ちの歩行者が多く存在することが予め想定され、歩行者は静止状態であり向きも左右いずれかに固定されているケースが多いこと、領域部分εにおいて歩行者は歩行状態であり向きも左右いずれかであることであることを鑑みて、対応するデータベースの含む歩行者パターンの数を極力減らすことができるため、処理負荷の軽減と認識精度の向上をより効果的に実現できる。
【００３７】
また、横断歩道２５よりも自車両の進行方向の前に位置する領域部分αにおいても、歩行者が正面向きであり歩行状態であるケースが多いことに鑑み、対応するデータベースの含む歩行者パターンの数を減らすことができ、処理負荷を軽減し認識精度を高めることができる。同様に横断歩道２５よりも後に位置する領域部分βにおいても歩行者が背面向きであり歩行状態であるケースが多いことに鑑み、処理負荷を軽減し認識精度を高めることができる。
【００３８】
本実施例１の探索対象となる領域の分割を伴わせての歩行者のパターンマッチングによる認識によれば、撮像画像２１全体を本実施例１の領域部分ζと同様の全方位向きの歩行者パターンを含むデータベースにて探索及び歩行者の認識を行う場合に比べて、処理時間を４０％程度とすることができる。
【００３９】
以上述べた実施例１においては、横断歩道２５の大きさと自車両からの距離は求めていないが、もちろん、大きさと距離を求めた後、境界線を設定して領域を領域部分α〜ζに分割することもできる。
【００４０】
なお、図３に示した模式図においては、領域部分α〜ζは相互に重複する部分を有しているが、オーバーラップ代は歩行者の各領域部分からのはみ出しを吸収することを考慮して適宜設定している。また、歩行者パターンは所持物を表示した形態のものであってもよく、静止状態と歩行状態、向きの表現手法は他の手法を用いてもよい。
【００４１】
次に、自車両から横断歩道２５までの基準距離Ｌを求めた後、撮像画像２１内の領域を前後方向のみに分割することもできる。以下それについての実施例２について述べる。
【実施例２】
【００４２】
以下、図面を参照しながら、本実施例２についての本発明を実施するための形態の説明を行う。図８は、本発明の一実施形態である車両用画像認識装置３１の構成を示したブロック図である。車両用画像認識装置３１は、車両に搭載され、単眼カメラ１１と、横断可領域抽出部１２と、分割部１３と、選択部１４と、大きさ検出部１６と、距離算出部１７と、認識部１５とを備えている。各部の機能の一部又は全部は、実施例１と同様、画像認識処理を実行するプロセッサやマイクロコンピュータ等によって実現可能である。
【００４３】
単眼カメラ１１は、自車両周辺（例えば、自車両の進行方向）を所定の画角で撮像して、その撮像画像を出力する撮像手段である。自車両の進行方向は、前進方向でも、後進方向でもよい。単眼カメラ１１は、ＣＣＤ又はＣＭＯＳ等の撮像素子を備えている。
【００４４】
横断可領域抽出部１２は、単眼カメラ１１による撮像画像から横断可領域である横断歩道の所定部位を抽出する手段である。横断可領域抽出部１２によって抽出される所定部位は、予め設計的に決められていて、横断歩道の全体でも一部でもよい。
【００４５】
既に示した図２に示すように、撮像画像２１には、横断可領域として、自車両の前方の進路上に標示された横断歩道２５が含まれている。符号２６は、消失点（無限遠点）を表す。図２の場合、横断可領域抽出部１２は、例えば、撮像画像２１から、横断歩道２５を構成する候補ラインｐ１〜ｐ４を抽出する。撮像画像２１は、左右方向のピクセル数がＷ、上下方向のピクセル数がＨの画像である。
【００４６】
大きさ検出部１６は、横断可領域抽出部１２によって抽出された横断歩道２５の所定部位についての単眼カメラ１１による撮像画像上の大きさ（好ましくは、横幅）を検出する手段である。大きさ検出部１６は、例えば、横断歩道２５の所定部位を構成するピクセル数を撮像画像から取得することで、その所定部位の撮像画像上の大きさを検出できる。
【００４７】
距離算出部１７は、横断可領域抽出部１２によって抽出された横断歩道２５の所定部位についての規格上の予め定められた大きさと、大きさ検出部１６により実際に検出された大きさと、単眼カメラ１１の角度分解能とに基づいて、自車両からその横断歩道２５までの基準距離Ｌを算出する手段である。
【００４８】
図９は、横断歩道２５までの基準距離Ｌを算出するまでの処理例を示したフローチャートである。図２、図６、図１０を併せて参照しながら、本フローチャートについて説明する。
【００４９】
ステップＳ１０において、横断可領域抽出部１２は、撮像画像２１の画素輝度分布に基づいて、画素の輝度が急変する上下方向（垂直方向）のエッジを撮像画像２１の中から抽出する。
【００５０】
ステップＳ２０において、横断可領域抽出部１２は、ステップＳ１０で抽出したエッジを、水平方向（自車両から横断可領域を見たときの左右方向）の輝度変化パターンによって分類する。横断可領域抽出部１２は、各エッジの左領域及び右領域の画素輝度分布に基づいて、左領域が右領域よりも暗い場合には「立ち上がりエッジ」と判定し、左領域が右領域よりも明るい場合には「立ち下がりエッジ」と判定する。
【００５１】
ステップＳ３０において、横断可領域抽出部１２は、撮像画像２１を水平方向にサーチして、ステップＳ２０で分類したエッジが所定回数以上交互に繰り返し出現するラインを、横断歩道２５を構成する候補ラインとしてグルーピングする。そして、横断可領域抽出部１２は、撮像画像２１を垂直方向にサーチして、グルーピングされた各候補ラインの隣接関係、及び候補ラインを構成するエッジの接続関係によって、各候補ラインをグルーピングして横断歩道２５を抽出する。
【００５２】
例えば、横断可領域抽出部１２は、互いに隣り合う立ち上がりエッジと立ち下がりエッジを１ペアとして、所定数以上のペア（例えば、３ペア以上）が存在し、且つ、それらの所定数以上のペアについて各ペアを構成する２つのエッジ間の水平方向（左右方向）の距離（例えば図６の場合、距離ｂ１、ｂ２、ｂ３）がそれぞれ所定の範囲内にあるとき、それらの各ペアを、横断歩道２５を構成する候補ラインとして抽出し、それらの抽出された複数の候補ラインを横断可領域としてグルーピングする。
【００５３】
ステップＳ４０−１において、大きさ検出部１６は、横断歩道２５の左右方向のピクセル数（幅）を検出し、距離算出部１７は、その検出された左右方向のピクセル数を用いて、自車両の単眼カメラ１１から横断歩道２５までの基準距離Ｌを算出する。
【００５４】
図６に示すように、横断可領域抽出部１２によって横断可領域として抽出されたペアの中で、大きさ検出部１６は、例えば、最も左側のペアの立ち上がりエッジｐ１ａから、左から３番目のペアの立ち下がりエッジｐ３ｂまでの距離に相当する３ペア分のピクセル幅ａを検出する。横断歩道２５の規格上のその３ペア分の両端間の幅長（すなわち、ピクセル幅ａの部分に対応する部位の規格上求められる値）をＡとし、単眼カメラ１１の左右方向の角度分解能をＰとすると、基準距離Ｌは、図１０から明らかなように、
Ｌ＝Ａ／tan（ａ×Ｐ） ・・・（１）
という関係式で表現される。ここで、角度分解能Ｐは、単眼カメラ１１の左右方向の画角をα［度］、単眼カメラ１１によって得られる撮像画像２１の左右方向のピクセル数をＷ［pix.］とすると、「Ｐ＝α／Ｗ［度／pix.］」によって表すことが可能な固定値である。つまり、距離算出部１７は、式（１）に基づいて、横断歩道２５までの基準距離Ｌを算出することができる。なお、距離算出部１７は、横断歩道２５の前後方向の長さについて、基準距離Ｌを算出するのと同様の手法で横断歩道２５の前端までの基準距離Ｌ‘を算出してこの基準距離Ｌ’から基準距離Ｌを減じることで算出する。
【００５５】
もちろん、横断可領域として抽出されたペアのエッジであれば、どのエッジ間のピクセル幅を検出してもよく、その検出されたピクセル幅をａとした場合、ピクセル幅ａの部分に対応する部位の規格値が固定値Ａに相当する。
【００５６】
したがって、車両用画像認識装置１は、上記構成の、単眼カメラ１１、横断可領域抽出部１２、大きさ検出部１６及び距離算出部１７を備えていることにより、横断歩道２５の所定部位の規格上の大きさを加味して、横断可領域までの基準距離Ｌを算出しているので、横断可領域が自車両から遠方に存在する状況であっても、横断歩道２５までの基準距離Ｌを単眼カメラによる撮像画像から精度良く算出できる。
【００５７】
ところで、横断歩道２５の所定部位の大きさの規格値には、ある程度の許容公差が認められている。例えば、横断歩道２５の一つの白線領域（すなわち、ある一つのペアの立ち上がりエッジと立ち下がりエッジとに挟まれた高輝度領域）の規格値は４５ｃｍ〜５０ｃｍであり、地域等によってその規格の範囲内で採用している値に差があるのが現状である。
【００５８】
このような差を吸収するため、横断歩道２５の所定部位が撮像画像上の上下方向で所定の位置にあるときの当該所定部位の撮像画像上の大きさ（例えば、左右方向の長さ）を用いて、その所定部位の大きさの規格値をキャリブレーションした値（キャリブレーション値）を算出する。このようなキャリブレーション値を次回以降の距離算出に用いることによって、その算出精度を向上させることができる。例えば、画像上で所定の位置にあるときの横断歩道２５の白線領域を構成するピクセル幅ｆを用いて、その白線領域の大きさの規格値Ｆについてのキャリブレーション値Ｆ１を算出し、次回以降の距離算出に用いる。
【００５９】
分割部１３は、図１１に示すように、横断可領域抽出部１２によって抽出された横断歩道２５の輪郭に基づいた境界線で撮像画像２１内の道路と歩道を含む路面の領域を五つ領域部分η〜λに分割する分割手段である。
【００６０】
選択部１４は、前述した領域部分のそれぞれに対応させた歩行者パターンを含むデータベースを選択する選択手段であり、認識部１５は、領域部分のそれぞれにおいて対応させた歩行者パターンを含むデータベースを用いた照合により歩行者を認識する認識手段である。
【００６１】
本実施例２において、境界線は、図１１に示すように、輪郭の前端縁と後端縁のそれぞれに沿う又は平行な左右方向に延びる複数の左右方向線Ｌ５〜Ｌ８を含むものである。領域部分η〜λのそれぞれの前後方向の長さは、図１２に示すように、この長さに対応する撮像画像２１内のピクセル数が相互に等しく（ここでは２０ピクセル）なるように設定され、歩行者パターンに対応する撮像画像２１内のピクセル数は、図１２に示すように、車両から領域部分η〜λのそれぞれまでの距離に応じて設定され、距離が大きいほどピクセル数は少なく設定される。
【００６２】
また、本実施例２では距離算出部１７を含んでおり、距離算出部１７は、抽出手段である横断可領域抽出部１２の抽出した横断可領域までの基準距離Ｌを算出し、基準距離Ｌに基づいて領域部分η〜λまでの前述した距離を算出する算出手段としても機能する。
【００６３】
図１２に示した具体例においては、横断歩道２５の基準距離Ｌが２５ｍで横断歩道２５自体の前後方向の長さが１０ｍであり、前後方向の中央の距離が例えば３０ｍである場合であり、領域部分ηの前端縁であって、領域部分θの後端縁は、自車両から２０ｍの距離に設定され、領域部分ιの後端縁は自車両から２５ｍの距離に設定され、領域部分κの後端縁は自車両から３５ｍの距離に設定され、領域部分λの後端縁は自車両から６０ｍの距離に設定される。
【００６４】
図１３は、本実施例２の車両用画像認識装置３１の処理全体を示すフローチャートである。以下に、図１４を併せて用いて本実施例２の処理全体を説明する。
【００６５】
ステップＳ９０において、図９のフローチャートのステップＳ４０−１に関する説明で示したように、横断歩道２５を含む領域部分ιを抽出し自車両からの基準距離Ｌを算出する。
【００６６】
ステップＳ１００において、分割部１３は、撮像画像２１内の領域を前後方向に並列する五つの領域部分η〜λに分割して、これらの領域部分η〜λを歩行者の探索領域として、選択部１４は、それぞれに対応する距離の増大に応じてピクセル数が少なく設定された歩行者パターンを含むデータベースを選択する。
【００６７】
ステップＳ１１０において、認識部１５は、それぞれの領域部分η〜λ毎に、前ステップで選択された、対応する歩行者パターンを含むデータベースを用いて、歩行者を認識する。
【００６８】
なお、本発明の車両用画像認識方法は、図１３に示したフローチャートに基づいて実行される。また、本発明のプログラムは、本実施例２の車両用画像認識装置３１内に予めインストール又は格納され、このプログラムは所定の媒体に記憶されていていてもよい。
【００６９】
本実施例２の車両用画像認識装置３１によれば、図１４の上下方向の二重線の双方向の矢印の上側に示すように、分割された領域部分η〜λ毎に、対応する歩行者パターンを用いて探索を行い、歩行者を認識するので、図１４の矢印の下側で示すように領域全体を探索領域とする従来技術に比べて、探索領域を減らして、処理負荷を軽減して処理速度を高め、認識の応答性と精度を高めることができる。
【００７０】
特に本実施例２においては、距離に対応させて歩行者パターンを構成するピクセル数を手前から奧に向けて漸減させているため、より効果的に探索領域を低減することができる。また、距離に応じて歩行者パターンのピクセル数を予め設定しておくことにより、従来技術では歩行者と認識される可能性のある物体と実際の歩行者とをより厳密に区別して認識することができ、誤認識を防止することができる。
【００７１】
図１１に示した模式図においては、領域部分η〜λは相互に重複する部分を有しているが、実施例１と同様に、オーバーラップ代は歩行者の各領域部分からのはみ出しを吸収することを考慮して適宜設定している。また実施例２においても、歩行者パターンは所持物を表示した形態のものであってもよい。
【００７２】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００７３】
例えば、実施例２における前後方向に垂直な方向への分割は、実施例１においても適用することができ、例えば、図２に示した領域部分α、β、ζについて適宜前後方向に分割することができる。
【符号の説明】
【００７４】
１、３１ 車両用画像認識装置
１１ 単眼カメラ（撮像手段）
１２ 横断可領域抽出部（抽出手段）
１３ 分割部（分割手段）
１４ 選択部（選択手段）
１５ 認識部（認識手段）
１６ 大きさ検出部
１７ 距離算出部（算出手段）
２１ 撮像画像
２２ 歩行者
２３ 白線
２４ 白鎖線
２５ 横断歩道（横断可領域）
２６ 消失点（無限遠点）
ｐ１〜ｐ４ 候補ライン
Ｌ 基準距離
Ｌ‘ 基準距離
Ｌ１〜Ｌ４ 境界線
α〜ζ 領域部分
Ｌ５〜Ｌ８ 境界線
η〜λ 領域部分
【特許請求の範囲】
【請求項１】
撮像手段と、前記撮像手段による撮像画像から横断可領域を抽出する抽出手段と、前記横断可領域の輪郭に基づいた境界線で前記撮像画像内の道路と歩道を含む路面の領域を領域部分に分割する分割手段と、前記領域部分のそれぞれに対応させた歩行者パターンを選択する選択手段と、前記領域部分のそれぞれにおいて前記歩行者パターンを用いた照合により歩行者を認識する認識手段と、を含むことを特徴とする車両用画像認識装置。
【請求項２】
前記境界線は、前記輪郭の前端縁と後端縁のそれぞれに沿う左右方向に延びる左右方向線を含むことを特徴とする請求項１に記載の車両用画像認識装置。
【請求項３】
前記境界線は、前記輪郭の左端縁と右端縁のそれぞれに沿う前後方向に延びる前後方向線を含むことを特徴とする請求項２に記載の車両用画像認識装置。
【請求項４】
前記歩行者パターンは前記歩行者の静止状態又は歩行状態と正面背面左右のいずれかの向きを含むことを特徴とする請求項３に記載の車両用画像認識装置。
【請求項５】
前記横断可領域の左右に隣接して位置する前記領域部分において、前記歩行者パターンは前記静止状態に対応したものであることを特徴とする請求項４に記載の車両用画像認識装置。
【請求項６】
前記横断可領域の左に隣接して位置する前記領域部分において、前記歩行者パターンは右向きであり、前記横断可領域の右に隣接して位置する前記領域部分において、前記歩行者パターンは左向きであることを特徴とする請求項５に記載の車両用画像認識装置。
【請求項７】
前記横断可領域の左前又は右前に位置する前記領域部分において、前記歩行者パターンは前記歩行状態に対応したものであって正面向きであり、前記横断可領域の左後又は右後に隣接して位置する前記領域部分において、前記歩行者パターンは前記歩行状態に対応したものであって背面向きであることを特徴とする請求項６に記載の車両用画像認識装置。
【請求項８】
前記境界線は、前記輪郭の前端縁と後端縁のそれぞれに沿う又は平行な左右方向に延びる複数の左右方向線を含むものであることを特徴とする請求項１に記載の車両用画像認識装置。
【請求項９】
前記領域部分のそれぞれの前後方向の長さは、当該長さに対応する前記撮像画像内のピクセル数が相互に等しくなるように設定されることを特徴とする請求項８に記載の車両用画像認識装置。
【請求項１０】
前記歩行者パターンに対応する前記撮像画像内のピクセル数は、車両から前記領域部分のそれぞれまでの距離に応じて設定されることを特徴とする請求項８に記載の車両用画像認識装置。
【請求項１１】
前記抽出手段の抽出した前記横断可領域までの基準距離を算出し、当該基準距離に基づいて前記距離を算出する算出手段を含むことを特徴とする請求項１０に記載の車両用画像認識装置。
【請求項１２】
前記横断可領域は横断歩道であることを特徴とする請求項１〜１１のいずれか一項に記載の車両用画像認識装置。
【請求項１３】
前記歩行者パターンは所持物を含むことを特徴とする請求項１２に記載の車両用画像認識装置。
【請求項１４】
撮像ステップと、前記撮像手段による撮像画像から横断可領域を抽出する抽出ステップと、前記横断可領域の輪郭に基づいた境界線で前記撮像画像内の道路と歩道を含む路面の領域を領域部分に分割する分割ステップと、前記領域部分のそれぞれに対応させた歩行者パターンを選択する選択ステップと、前記領域部分のそれぞれにおいて前記歩行者パターンを用いた照合により歩行者を認識する認識ステップと、を含むことを特徴とする車両用画像認識方法。
【請求項１５】
請求項１４に記載の車両用画像認識方法を実行するプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶した媒体。
【請求項１】
撮像手段と、前記撮像手段による撮像画像から横断可領域を抽出する抽出手段と、前記横断可領域の輪郭に基づいた境界線で前記撮像画像内の道路と歩道を含む路面の領域を領域部分に分割する分割手段と、前記領域部分のそれぞれに対応させた歩行者パターンを選択する選択手段と、前記領域部分のそれぞれにおいて前記歩行者パターンを用いた照合により歩行者を認識する認識手段と、を含むことを特徴とする車両用画像認識装置。
【請求項２】
前記境界線は、前記輪郭の前端縁と後端縁のそれぞれに沿う左右方向に延びる左右方向線を含むことを特徴とする請求項１に記載の車両用画像認識装置。
【請求項３】
前記境界線は、前記輪郭の左端縁と右端縁のそれぞれに沿う前後方向に延びる前後方向線を含むことを特徴とする請求項２に記載の車両用画像認識装置。
【請求項４】
前記歩行者パターンは前記歩行者の静止状態又は歩行状態と正面背面左右のいずれかの向きを含むことを特徴とする請求項３に記載の車両用画像認識装置。
【請求項５】
前記横断可領域の左右に隣接して位置する前記領域部分において、前記歩行者パターンは前記静止状態に対応したものであることを特徴とする請求項４に記載の車両用画像認識装置。
【請求項６】
前記横断可領域の左に隣接して位置する前記領域部分において、前記歩行者パターンは右向きであり、前記横断可領域の右に隣接して位置する前記領域部分において、前記歩行者パターンは左向きであることを特徴とする請求項５に記載の車両用画像認識装置。
【請求項７】
前記横断可領域の左前又は右前に位置する前記領域部分において、前記歩行者パターンは前記歩行状態に対応したものであって正面向きであり、前記横断可領域の左後又は右後に隣接して位置する前記領域部分において、前記歩行者パターンは前記歩行状態に対応したものであって背面向きであることを特徴とする請求項６に記載の車両用画像認識装置。
【請求項８】
前記境界線は、前記輪郭の前端縁と後端縁のそれぞれに沿う又は平行な左右方向に延びる複数の左右方向線を含むものであることを特徴とする請求項１に記載の車両用画像認識装置。
【請求項９】
前記領域部分のそれぞれの前後方向の長さは、当該長さに対応する前記撮像画像内のピクセル数が相互に等しくなるように設定されることを特徴とする請求項８に記載の車両用画像認識装置。
【請求項１０】
前記歩行者パターンに対応する前記撮像画像内のピクセル数は、車両から前記領域部分のそれぞれまでの距離に応じて設定されることを特徴とする請求項８に記載の車両用画像認識装置。
【請求項１１】
前記抽出手段の抽出した前記横断可領域までの基準距離を算出し、当該基準距離に基づいて前記距離を算出する算出手段を含むことを特徴とする請求項１０に記載の車両用画像認識装置。
【請求項１２】
前記横断可領域は横断歩道であることを特徴とする請求項１〜１１のいずれか一項に記載の車両用画像認識装置。
【請求項１３】
前記歩行者パターンは所持物を含むことを特徴とする請求項１２に記載の車両用画像認識装置。
【請求項１４】
撮像ステップと、前記撮像手段による撮像画像から横断可領域を抽出する抽出ステップと、前記横断可領域の輪郭に基づいた境界線で前記撮像画像内の道路と歩道を含む路面の領域を領域部分に分割する分割ステップと、前記領域部分のそれぞれに対応させた歩行者パターンを選択する選択ステップと、前記領域部分のそれぞれにおいて前記歩行者パターンを用いた照合により歩行者を認識する認識ステップと、を含むことを特徴とする車両用画像認識方法。
【請求項１５】
請求項１４に記載の車両用画像認識方法を実行するプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶した媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１９０２１４（Ｐ２０１２−１９０２１４Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５２４８３（Ｐ２０１１−５２４８３）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]