近赤外線カメラを使用して歩行者を検出、分類、および追跡するための費用対効果の高いシステムおよび方法
本発明は、車両に配設された近赤外線（ＩＲ）カメラによって捕捉された画像を使用することによって、車両の前方にいる歩行者を検出、分類、および追跡するための費用対効果の高い方法であって、画像の最下行から延びる平滑領域を識別することによって特徴付けられる地面領域を推定することによって前記画像内の対象領域（ＲＯＩ）物体のフィルタリングに焦点を当てるために、道路を検出するステップと、地面に対する距離に基づいて、地面以外の物体を消去するステップと、ＲＯＩ外の物体それぞれに関して、信号対雑音比（ＳＮＲ）を計算することによって、ＲＯＩ外の物体をそのような物体の形状に基づいてフィルタするステップであって、信号対雑音比が、前記ＲＯＩ外の物体の輪郭の周期性に基づいた成分の規則性の尺度であるステップと、縦長でない物体の質量中心に対するｘ軸およびｙ軸に関する慣性モーメントを計算することによって、そのような縦長でない物体を消去するステップと、分析された画像フレーム内の歩行者を、歩行者の形状に基づいて分類するステップと、平均値シフトアルゴリズムを使用して、分類された歩行者の動きを追跡するステップとを含む処理装置によって実施されるステップを含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、歩行者を検出、分類、および追跡するためのシステムおよび方法に関する。より詳細には、本発明は、車両に配設された近赤外線（ＩＲ）カメラによって捕捉されたリアルタイム画像を使用することによって、車両の前方にいる歩行者を検出、分類、および追跡するための費用対効果の高いシステムおよび方法に関する。
【背景技術】
【０００２】
歩行者を巻き込む道路事故は、日中よりも夜間にはるかに多く発生する。世界中で、道路交通事故での死者の数は毎年約１２０万人と推計されており、負傷者の数は５０００万人に及ぶ可能性がある。これは、世界の５大都市の人口の合計になる。そのような事故での死者の多くは歩行者である。最も重要な原因は、運転者の視界が著しく悪くなることである。運転者への警告のストラテジと組み合わせた改良された歩行者検出システムが車両に装備されていれば、死亡するまたは重傷を負う歩行者の数は減少する。
【０００３】
本発明者が知る限りでの歩行者検出および追跡に関わる発明をいくつか挙げると、以下のようなものがある。
【０００４】
Ｆｕｊｉｍｕｒａ他に付与された米国特許第７１３９４１１号（特許文献１）が、視界不良な状況などで歩行者を検出および追跡するためのシステムおよび方法を教示している。暗視カメラが、単一の視点から道路の赤外線画像を定期的に捕捉する。歩行者検出モジュールが、捕捉された画像を処理することによって、フレーム内の歩行者の位置を決定する。この歩行者検出モジュールは、暗視カメラから導出された情報を訓練データベースと比較するために、サポートベクターマシンを含む。歩行者追跡モジュールが、後続のフレームで、フィルタを適用することによって、検出された歩行者の動きを推定する。この追跡モジュールは、カルマン（Ｋａｌｍａｎ）フィルタリングを使用して歩行者の動きを定期的に推定し、平均値シフトを使用してその推定を調節する。
【０００５】
Ｉｂｒａｈｉｍ Ｂｕｒａｋ Ｏｚｅｒに付与された米国特許第７５２６１０２号（特許文献２）は、混雑した環境のリアルタイムビデオ監視を提供するための方法およびシステムを教示している。この方法は、いくつかの物体検出および追跡プロセスからなり、これらのプロセスは、入力ビデオの解像度およびオクルージョンレベルに基づいて個々の物体または１群の物体を追跡するために自動的に選択することができる。対象物（ＯＯＩ）となり得るのは、人、動物、車などである。この発明は、混雑した環境内で人を追跡する、または交通量の多い状況で車を追跡するために使用することができる。
【０００６】
Ｈｉｒｏｓｈｉ Ｓａｔｏｈに付与された米国特許第７４２１０９１号（特許文献３）は、２次元に配列された複数の画素を有する画像捕捉ユニットにおいて、ある画素の周囲の画素の出力が、その画素の出力に追加されることを教示している。
【０００７】
Ｍｉｎ−Ｓｕｂ Ｌｅｅに付与された米国特許第５６９４４８７号（特許文献４）は、各画素に対応する勾配の大きさおよび分散に基づいて各ブロックに関する特徴点を求めるための方法を教示している。
【０００８】
これらの既知のデバイス、システム、および方法のほとんどは、歩行者を検出および追跡するために複雑な方法を使用し、比較的コストが高い。これらの方法の精度は、歩行者を検出および追跡するのに十分ではない。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第７１３９４１１号
【特許文献２】米国特許第７５２６１０２号
【特許文献３】米国特許第７４２１０９１号
【特許文献４】米国特許第５６９４４８７号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
したがって、上述した従来技術の背景に鑑みて、衝突を回避するために車両の前方にいる歩行者を検出、分類、および追跡するためのシステムおよび方法であって、簡単に設置でき、より低コストでより高い精度を提供するシステムおよび方法が必要であることは明らかである。
【課題を解決するための手段】
【００１１】
本発明の主な目的は、衝突を回避するために車両の前方にいる歩行者を検出、分類、および追跡するためのシステムおよび方法であって、単純であり、簡単に設置でき、より低コストでより高い精度を提供するシステムおよび方法を提供することである。
【００１２】
本発明の別の目的は、近ＩＲカメラを使用して、地面領域を推定することによって道路領域を検出する系統的な方法を提供することである。
【００１３】
本発明のさらなる目的は、近ＩＲカメラを使用して、地面に対する距離に基づいて、地面以外の物体を消去する系統的な方法を提供することである。
【００１４】
本発明のさらなる目的は、近ＩＲカメラを使用して、ＲＯＩ外の物体それぞれに関して、ＲＯＩ外の物体の輪郭の周期性に基づいた成分の規則性の尺度である信号対雑音比（ＳＮＲ）を計算することによって、ＲＯＩ外の物体をそのような物体の形状に基づいてフィルタする系統的な方法を提供することである。
【００１５】
本発明のさらなる別の目的は、縦長でない物体の質量中心に対するｘ軸およびｙ軸に関する慣性モーメントを計算することによって、そのような縦長でない物体をＩＲ画像から消去する系統的な方法を提供することである。
【００１６】
本発明のさらなる目的は、近ＩＲカメラを使用して、分析された画像フレーム内の歩行者を形状に基づいて分類する系統的な方法を提供することである。
【００１７】
本発明のさらなる目的は、平均値シフトアルゴリズムを使用して、分類された歩行者の動きを追跡する系統的な方法を提供することである。
【００１８】
本発明のさらに別の目的は、単純であり費用対効果の高い、歩行者を検出および追跡するためのシステムおよび方法を提供することである。
【００１９】
本発明の方法、システム、およびハードウェア有効化を説明する前に、本開示に明示しない本発明の多くの可能な実施形態があるので、説明する特定のシステムおよび方法に本発明が限定されないことを理解されたい。また、本説明で使用する用語は、特定の変形形態または実施形態を説明する目的のものにすぎず、本発明の範囲を限定する意図のものではなく、本発明は添付の特許請求の範囲のみによって限定されることを理解されたい。
【００２０】
本発明は、衝突を回避するために走行中に車両の前方にいる歩行者を検出、分類、および追跡するためのシステムおよび方法であって、単純であり、簡単に設置でき、より低コストでより高い精度を提供するシステムおよび方法を提供する。
【００２１】
本発明は、車両に配設された近赤外線（ＩＲ）カメラによって捕捉された画像を使用することによって、車両の前方にいる歩行者を検出、分類、および追跡するための費用対効果の高い方法であって、画像の最下行から延びる平滑領域を識別することによって特徴付けられる地面領域を消去することによって前記画像内の対象領域（ＲＯＩ）物体のフィルタリングに焦点を当てるために、道路を検出するステップと、地面に対する距離に基づいて、地面以外の物体を消去するステップと、ＲＯＩ外の物体それぞれに関して、信号対雑音比（ＳＮＲ）を計算することによって、ＲＯＩ外の物体をそのような物体の形状に基づいてフィルタするステップであって、信号対雑音比が、前記ＲＯＩ外の物体の輪郭の周期性に基づいた成分の規則性の尺度であるステップと、縦長でない物体の質量中心に対するｘ軸およびｙ軸に関する慣性モーメントを計算することによって、そのような縦長でない物体を消去するステップと、分析された画像フレーム内の歩行者を、歩行者の形状に基づいて分類するステップと、平均値シフトアルゴリズムを使用して、分類された歩行者の動きを追跡するステップとを含む処理装置によって実施されるステップを含む方法を具現化する。
【００２２】
本発明の一態様では、歩行者に関する追跡データが、処理装置によって出力手段にさらに通信される。
【００２３】
本発明のさらに別の態様では、警報手段が、１人または複数人の歩行者の存在を運転者に警告し、警報手段は、アラーム、音声ベースの注意、インジケータ、およびディスプレイを含めたオーディオおよびオーディオビジュアルデバイスでよい。
【００２４】
本発明の別の態様によれば、近ＩＲカメラを、車両のダッシュボードに、または前部もしくは内部もしくは上部に配設することができる。本発明の１つの例示的な実施形態によれば、近ＩＲカメラは、車両の前部に配設することができる。
【００２５】
上記の要約、および以下の好ましい実施形態の詳細な説明は、添付図面に関連付けて読めばより良く理解されよう。本発明を例示するために、本発明の例示的な構成を図面に示す。しかし、本発明は、図面に開示する具体的な方法および装置に限定されない。
【図面の簡単な説明】
【００２６】
【図１】本発明の様々な実施形態による、衝突を回避するために走行中に車両の前方にいる歩行者を検出、分類、および追跡するための方法を示す流れ図である。
【発明を実施するための形態】
【００２７】
以下、本発明の特徴を例示する本発明のいくつかの実施形態を詳細に論じる。語「備える」、「有する」、「含有する」、および「含む」、およびそれらの他の活用変化形は、意味的に等価であり、制約のない（ｏｐｅｎ−ｅｎｄｅｄ）ものと意図されており、これらの語のいずれかの目的語となる要素は、そのような要素の排他的な列挙とは意図されておらず、すなわち列挙された要素のみに限定されるものとは意図されていない。また、本明細書および添付の特許請求の範囲において使用するとき、文脈上そうでないことが明らかな場合を除き、単数形は複数形も含むことにも留意しなければならない。本発明の実施形態の実施または試験においては本明細書で述べるものと同様または等価な任意のシステムおよび方法を使用することができるが、好ましいシステムおよび方法を以下に述べる。開示する実施形態は本発明の単なる例示にすぎず、当業者は本発明を様々な形態で具現化することができる。
【００２８】
車両に配設された近赤外線（ＩＲ）カメラによって捕捉された画像を使用することによって車両の前方にいる歩行者を検出、分類、および追跡するための費用対効果の高い方法であって、
ａ）画像の最下行から延びる平滑領域を識別することによって特徴付けられる地面領域を消去することによって記画像内の対象領域（ＲＯＩ）物体のフィルタリングに焦点を当てるために、道路を検出するステップと、
ｂ）地面に対する距離に基づいて、地面以外の物体を消去するステップと、
ｃ）ＲＯＩ外の物体それぞれに関して、信号対雑音比（ＳＮＲ）を計算することによって、ＲＯＩ外の物体をそのような物体の形状に基づいてフィルタするステップであって、信号対雑音比が、ＲＯＩ外の物体の輪郭の周期性に基づいた成分の規則性の尺度であるステップと、
ｄ）縦長でない物体の質量中心に対するｘ軸およびｙ軸に関する慣性モーメントを計算することによって、そのような縦長でない物体を消去するステップと、
ｅ）分析された画像フレーム内の歩行者を、歩行者の形状に基づいて分類するステップと、
ｆ）平均値シフトアルゴリズムを使用して、分類された歩行者の動きを追跡するステップと
を含む処理装置によって実施されるステップを含む方法。
【００２９】
本発明は、衝突を回避するために走行中に車両の前方にいる歩行者を検出、分類、および追跡するためのシステムおよび方法であって、単純であり、簡単に設置でき、より低コストでより高い精度のシステムおよび方法を提供する。
【００３０】
本発明の１つの例示的実施形態によれば、費用対効果の高いシステムは、画像を捕捉するために車両に配設された近ＩＲカメラと、車両の前方にいる歩行者を検出、分類、および追跡するために、捕捉された画像をリアルタイムで分析するための処理装置とを備える。
【００３１】
図１は、本発明の様々な実施形態による、衝突を回避するために走行中に車両の前方にいる歩行者を検出、分類、および追跡するための方法１００を示す流れ図である。
【００３２】
本発明の一実施形態では、車両に配設された近赤外線（ＩＲ）カメラによって捕捉された画像を使用することによって、車両の前方にいる歩行者を検出、分類、および追跡するための費用対効果の高い方法１００である。本発明の別の態様によれば、近ＩＲカメラを車両のダッシュボードに、または前部もしくは内部もしくは上部に配設することができる。本発明の１つの例示的実施形態では、近ＩＲカメラは車両の前部に配設される。
【００３３】
本発明の一態様によれば、近ＩＲカメラの解像度は、６４０×４８０や７２０×４８０などから選択することができる。本発明の１つの例示的実施形態では、近ＩＲカメラの解像度は７２０×４８０である。本発明の一態様によれば、歩行者を検出および追跡するために、近ＩＲカメラのＩＲ範囲は、（０．７〜１）から５ミクロンまでの範囲から選択することができる。本発明の１つの例示的実施形態では、近ＩＲカメラのＩＲ範囲は、０．７ミクロンから５ミクロンまでの範囲から選択することができる。本発明の一態様によれば、歩行者を検出および追跡するために、近ＩＲカメラの温度範囲は、７４０ケルビンから３０００〜５２００ケルビンまでの範囲から選択することができる。
【００３４】
本発明の一態様によれば、処理装置は、近ＩＲカメラの本体内または車両のダッシュボードに配設することができる。本発明の１つの例示的実施形態では、処理装置は、近ＩＲカメラの本体内に配設される。本発明の別の態様によれば、処理装置は、Ｄａｖｉｎｃｉ ＤＭ６４４６ Ｐｒｏｃｅｓｓｏｒ、ＡＤＳＰ−ＢＦ５３３、７５０ ＭＨｚ Ｂｌａｃｋｆｉｎ Ｐｒｏｃｅｓｓｏｒからなる群から選択することができる。
【００３５】
上述した費用対効果の高い方法は、処理装置によって実施される様々なステップを含む。搭載型の近ＩＲカメラを用いた物体検出の場合、まず、地面領域を推定する必要がある。提案する方法の第１のステップでは、処理装置が、地面領域を推定することによって前記画像内の対象領域（ＲＯＩ）物体のフィルタリングに焦点を当てるために、道路を検出する。地面領域を検出するために、処理装置は以下のステップを実行する。
【００３６】
始めに、画像差分処理がソーベルの演算子を使用して行われ（１０２）、次いで、差分処理された画像のしきい値が大津のアルゴリズムを使用して決定される（１０４）。本発明の一態様によれば、差分処理された画像に関するしきい値パラメータは、適用性に基づいて変えることができる。差分処理された２値画像のしきい値処理では、画像の幅に沿った各最下行画素から、０−１遷移が現れるまで上方向に進む。最下行画素から０−１遷移までの領域が平滑領域を示し、これが道路を示す（１０６）。そのような領域が値「Ｘ」としてマークされる。この手順が、各最下行画素画像について処理装置によって繰り返される。
【００３７】
完全な地面領域を検出する（１０８）ために、画像強度が処理装置によって１６ｂｉｎに分割される。最下行画素から画像の高さの半分まで進む。「Ｘ」とマークされている画素がシード画素とみなされる。処理装置によって、シード画素を選択し、隣接する画素をチェックし、ユークリッド距離（Ｄ）を計算することによって、隣接する画素がシードと同様である場合にはそれらを地面領域に追加する。新たに追加される各画素についてこのプロセスを繰り返す。追加することができる画素がそれ以上ない場合には停止する。新たに追加された画素は、ここでもまた処理装置によって「Ｘ」とマークされる。この方法は、道路が比較的一定の温度であり、したがってエッジ検出される画像内でエッジを生成しないという仮定に基づく。
【００３８】
提案する方法の第２のステップでは、処理装置は、地面に対する距離に基づいて、地面以外の物体を消去する。地面以外の物体を消去するために、処理装置は以下のステップを実行する。
【００３９】
始めに、大津のアルゴリズムを使用して、元のグレーレベル画像１１０をしきい値処理する。しきい値処理された２値画像において、「Ｘ」とマークされた画素を消去する。次いで、２値画像に対して連結成分分析を実行する。「Ｌｒ」、「Ｈｒ」、「Ｌｃ」、「Ｈｃ」を、成分の境界矩形を成す最下行、最上行、最左列、最右列とする。次いで、すべての成分の「Ｈｒ」に対して平均（μ）と標準偏差（σ）を計算する。「Ｈｒ」が（μ＋σ）未満である成分は、処理装置によって削除される（１１２）。
【００４０】
上述したステップの実施後、金属製の標識、電光標識、交通標識、ヘッドライト、電柱、およびガードレールのポールなど、明るい縞状の物体１１４である多くのＲＯＩ外の物体が存在する。これらの物体の形状は不変である。
【００４１】
提案する方法の第３のステップでは、処理装置が、ＲＯＩ外の物体それぞれについて、信号対雑音比（ＳＮＲ）を計算することによって、物体の形状に基づいてそのようなＲＯＩ外の物体をフィルタする。これらの不変形状を検出するために、処理装置は以下のステップを実行する。
【００４２】
各成分について、外部境界を見出す。境界画素は、その値が「１」であって、８つの隣接する画素の任意のものの画素値が「０」であるような画素であり、次いで処理装置は、ブロブに関する重心（ｘｃ，ｙｃ）を計算する。次いで、ブロブの重心から形状輪郭までの距離（ｒ（ｔ））を計算する。
【数１】
【００４３】
次いで、ｒ（ｎ）に関するＮ点ＤＦＴ Ｒ（ｆ）を計算する。次いで、周波数成分の振幅の極大を探索する。極大が周期的に生じる場合、そのような周期の計算が行われる。不変形状の物体は周期的な極大を有し、形状の変化する物体は周期的な極大を有さないことが観察される。次いで、処理装置が、反復バージョンのＲ（ｆ）を計算する。
【数２】
＃１ 他の場合
ここで、Ｍは周期であり、Ｌは、ある時点でのサンプルの長さ／総数である。
【００４４】
次のステップで、
【数３】
に対するＮ点ＩＤＦＴ
【数４】
を計算し、次いで誤差信号
【数５】
を計算する。次いで、処理装置は、信号対雑音比（ＳＮＲ）を計算する。
ＳＮＲ＝１０ｌｏｇ（Ｓｙ／Ｓｅ）
ここで、
【数６】
であり、Ｓｅ（ｎ）＝Σ（ｅ［ｎ］）２である。
【００４５】
ＳＮＲは、不変形状の物体では非常に高く、形状の変化する物体ではより低い。このようにして、道路照明灯、車のヘッドライト、柱、街灯柱が容易に消去される。
【００４６】
提案する方法の第４のステップでは、処理装置は、縦長でない物体の質量中心に対するｘ軸およびｙ軸に関する慣性モーメントを計算することによって、そのような縦長でない物体を消去する（１１６）。グレーレベルしきい値処理された２値画像内には、縦長ではなく横長の成分がまだある。物体としての歩行者は通常、本来的に縦長である。縦長の物体１１８を検出するために、正規化された中心モーメントが処理装置によって使用される。
【数７】
＃１ 面積
ここで、Ｍｘは、質量中心に対するＸ軸に関する慣性モーメントである。
ここで、Ｍｙは、質量中心に対するＹ軸に関する慣性モーメントである。
ここで、Ｍｘｙは、質量中心に対するＸ軸とＹ軸の両方に関する慣性モーメントである。
【００４７】
歩行者は、本来的に形状が縦長であるので、Ｍｙ＞Ｍｘとなる。
【００４８】
【数８】
である場合には、物体は縦長である。そうでない場合には、横長であり、処理装置によって削除される。本発明の１つの例示的実施形態では、推定しきい値は約３．２とした。
【００４９】
提案する方法の第５のステップでは、処理装置は、分析された画像フレーム内の歩行者を形状に基づいて分類する。物体の基本的な構造および歩行者に関する定量的なヒントが得られると、より正確な制御が必要である。分類のために、歩行者の形状が手がかりとして使用される。
【００５０】
分析された画像フレーム内の歩行者を分類するために、処理装置は以下のステップを実行する。すなわち、各ＲＯＩについて、処理装置が外部境界を見出す。境界画素は、その値が「１」であって、８つの隣接する画素の任意のものの画素値が「０」であるような画素である。始めに、ブロブに関する重心（ｘｃ，ｙｃ）を計算する。境界を複素座標関数Ｚ（ｎ）＝［ｘ（ｎ）−ｘｃ］＋ｉ［ｙ（ｎ）−ｙｃ］として表現する。この表現の変換は、形状表現を並進に対して不変にする。物体形状とモデル形状が異なるサイズを有することがある。その結果、物体表現とモデル表現のデータ点の数も異なる。この問題を回避するために、物体とモデルの形状境界は、同数のデータ点を有するようにサンプルしなければならない。
ａ）Ｋを、形状境界に沿ってサンプルすることができる候補点の総数と仮定する。等角度サンプリングが、等角度θ＝２Π／Ｋで離隔された候補点を選択する。
ｂ）フーリエ記述子（ＦＤ）が、複素座標関数
【数９】
に対する３２点ＦＦＴを計算することによって得られる。
ｃ）位相情報を無視することによって、かつＦＤの大きさ値のみを取ることによって、ＦＤの回転不変性が実現される。
ｄ）次いで、ＦＤの最初の半分の大きさ値をＤＣ成分で割ることによって、拡大縮小不変性が得られる。
【数１０】
ｅ）ここで、ＦＤ特徴量ｆ＝［ｆｍ１，ｆｍ２，・・・，ｆｍＮ］によって索引付けされたモデル形状と、ＦＤ特徴量ｆ＝［ｆｄ１，ｆｄ２，・・・，ｆｄＮ］によって索引付けされたデータ形状に関して、どちらの特徴量も並進、回転、および拡大縮小に関して正規化されているので、２つの特徴量ベクトル間のユークリッド距離を類似性尺度として使用することができる。
【数１１】
ここで、Ｎｃは、形状に索引付けするのに必要とされる高調波の打ち切り次数である。
【数１２】
＃１ 歩行者
＃２ しきい値
【００５１】
最後に、画像内で、上記の比較に基づいて歩行者が分類される。
【００５２】
提案する方法の最終ステップにおいて、処理装置は、平均値シフトアルゴリズムを使用して、分類された歩行者の動きを追跡する（１２０）。分類された歩行者の動きを追跡するために、処理装置は以下のステップを実行する。
【００５３】
現在のフレーム内で歩行者を位置特定した後、次のフレームから、歩行者を追跡するために平均値シフト追跡が採用される。平均値シフト追跡アルゴリズムは外観ベースの追跡方法であり、平均値シフト反復を採用して、強度分布に関して所与のモデルに最も類似するターゲット候補を見出す。２つの分布の類似性は、バタチャリヤ係数に基づく距離によって表される。サンプルデータからのバタチャリヤ係数の偏差は、ターゲット密度ｑおよび候補密度ｐの推定量に関連し、それに関してヒストグラム表現を採用する。
【００５４】
まず、歩行者ブロブの重心を中心ｘ０とみなし、特徴空間を考慮することによってターゲットモデルヒストグラムが計算される。
【００５５】
エッジベースのしきい値処理画像に対して３２ｂｉｎヒストグラム
【数１３】
を計算する。
【数１４】
＃１ ターゲットモデル
【００５６】
次のフレームから、ターゲットの中心が、前の位置（ｙ０）に初期化され、ターゲット候補ヒストグラムが、同じ特徴空間を考慮することによって計算される。
【００５７】
エッジベースのしきい値処理画像に対して３２ｂｉｎヒストグラム
【数１５】
を計算する。
【００５８】
次に、ターゲットモデルとターゲット候補ヒストグラムとの距離が計算される。
【数１６】
ここで、ρ［．］は、ｐとｑの間のバタチャリヤ係数である。次に、ターゲット中心の変位が、加重平均によって計算される。
【数１７】
ここで、
【数１８】
【００５９】
ターゲットの新たな位置が見出されると、処理装置は以下のステップを実行する。
ａ．新たな位置でターゲット候補ヒストグラムを計算し、変換された画像が、ヒストグラム均等化された画像範囲および底部を含む同じ特徴空間を有する。
ｂ．
【数１９】
を計算する。
ｃ．
【数２０】
とする一方で、
ｙ１＜−（ｙ０＋ｙ１）／２として、
【数２１】
を評価する。
ｄ．
【数２２】
の場合、停止する。
ｅ．そうでない場合、ｙ０＜−ｙ１と設定し、重みを導出し、次いで新たな位置で、処理装置がステップ１に進む。
【００６０】
上述した方法はさらに、歩行者の追跡データの使用によって特徴付けられる衝突を回避するために運転者に警告するステップを含み、運転者に警告するために警報手段が使用され、前記警報手段は、アラーム、音声ベースの注意、またはインジケータを含めた、しかしそれらに限定されないオーディオおよびオーディオビジュアル手段でよい。
【００６１】
前述の説明は、本発明の様々な実施形態を参照して提示した。本発明の原理、精神、および範囲から明確に逸脱することなく、説明した操作プロセスおよび操作方法の変形および変更を行うことができることを当業者は理解されよう。
【００６２】
（本発明の利点）
本発明で提案するシステムおよび方法は、以下の利点を有する。
【００６３】
１．本発明は、衝突を回避するために走行中に車両の前方にいる歩行者を検出、分類、および追跡するためのシステムおよび方法であって、簡単に設置および実行できるシステムおよび方法を提供する。
【００６４】
２．また、本発明のシステムは、衝突を回避するために走行中に車両の前方にいる歩行者を検出、分類、および追跡するための方法であって、既存の従来のシステムに比べてかなり高い精度を有する方法を提供する。
【００６５】
３．また、本発明は、衝突を回避するために走行中に車両の前方にいる歩行者を検出、分類、および追跡するためのシステムおよび方法であって、従来のシステムに比べて費用対効果の高いシステムおよび方法を提供する。
【技術分野】
【０００１】
本発明は、一般に、歩行者を検出、分類、および追跡するためのシステムおよび方法に関する。より詳細には、本発明は、車両に配設された近赤外線（ＩＲ）カメラによって捕捉されたリアルタイム画像を使用することによって、車両の前方にいる歩行者を検出、分類、および追跡するための費用対効果の高いシステムおよび方法に関する。
【背景技術】
【０００２】
歩行者を巻き込む道路事故は、日中よりも夜間にはるかに多く発生する。世界中で、道路交通事故での死者の数は毎年約１２０万人と推計されており、負傷者の数は５０００万人に及ぶ可能性がある。これは、世界の５大都市の人口の合計になる。そのような事故での死者の多くは歩行者である。最も重要な原因は、運転者の視界が著しく悪くなることである。運転者への警告のストラテジと組み合わせた改良された歩行者検出システムが車両に装備されていれば、死亡するまたは重傷を負う歩行者の数は減少する。
【０００３】
本発明者が知る限りでの歩行者検出および追跡に関わる発明をいくつか挙げると、以下のようなものがある。
【０００４】
Ｆｕｊｉｍｕｒａ他に付与された米国特許第７１３９４１１号（特許文献１）が、視界不良な状況などで歩行者を検出および追跡するためのシステムおよび方法を教示している。暗視カメラが、単一の視点から道路の赤外線画像を定期的に捕捉する。歩行者検出モジュールが、捕捉された画像を処理することによって、フレーム内の歩行者の位置を決定する。この歩行者検出モジュールは、暗視カメラから導出された情報を訓練データベースと比較するために、サポートベクターマシンを含む。歩行者追跡モジュールが、後続のフレームで、フィルタを適用することによって、検出された歩行者の動きを推定する。この追跡モジュールは、カルマン（Ｋａｌｍａｎ）フィルタリングを使用して歩行者の動きを定期的に推定し、平均値シフトを使用してその推定を調節する。
【０００５】
Ｉｂｒａｈｉｍ Ｂｕｒａｋ Ｏｚｅｒに付与された米国特許第７５２６１０２号（特許文献２）は、混雑した環境のリアルタイムビデオ監視を提供するための方法およびシステムを教示している。この方法は、いくつかの物体検出および追跡プロセスからなり、これらのプロセスは、入力ビデオの解像度およびオクルージョンレベルに基づいて個々の物体または１群の物体を追跡するために自動的に選択することができる。対象物（ＯＯＩ）となり得るのは、人、動物、車などである。この発明は、混雑した環境内で人を追跡する、または交通量の多い状況で車を追跡するために使用することができる。
【０００６】
Ｈｉｒｏｓｈｉ Ｓａｔｏｈに付与された米国特許第７４２１０９１号（特許文献３）は、２次元に配列された複数の画素を有する画像捕捉ユニットにおいて、ある画素の周囲の画素の出力が、その画素の出力に追加されることを教示している。
【０００７】
Ｍｉｎ−Ｓｕｂ Ｌｅｅに付与された米国特許第５６９４４８７号（特許文献４）は、各画素に対応する勾配の大きさおよび分散に基づいて各ブロックに関する特徴点を求めるための方法を教示している。
【０００８】
これらの既知のデバイス、システム、および方法のほとんどは、歩行者を検出および追跡するために複雑な方法を使用し、比較的コストが高い。これらの方法の精度は、歩行者を検出および追跡するのに十分ではない。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第７１３９４１１号
【特許文献２】米国特許第７５２６１０２号
【特許文献３】米国特許第７４２１０９１号
【特許文献４】米国特許第５６９４４８７号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
したがって、上述した従来技術の背景に鑑みて、衝突を回避するために車両の前方にいる歩行者を検出、分類、および追跡するためのシステムおよび方法であって、簡単に設置でき、より低コストでより高い精度を提供するシステムおよび方法が必要であることは明らかである。
【課題を解決するための手段】
【００１１】
本発明の主な目的は、衝突を回避するために車両の前方にいる歩行者を検出、分類、および追跡するためのシステムおよび方法であって、単純であり、簡単に設置でき、より低コストでより高い精度を提供するシステムおよび方法を提供することである。
【００１２】
本発明の別の目的は、近ＩＲカメラを使用して、地面領域を推定することによって道路領域を検出する系統的な方法を提供することである。
【００１３】
本発明のさらなる目的は、近ＩＲカメラを使用して、地面に対する距離に基づいて、地面以外の物体を消去する系統的な方法を提供することである。
【００１４】
本発明のさらなる目的は、近ＩＲカメラを使用して、ＲＯＩ外の物体それぞれに関して、ＲＯＩ外の物体の輪郭の周期性に基づいた成分の規則性の尺度である信号対雑音比（ＳＮＲ）を計算することによって、ＲＯＩ外の物体をそのような物体の形状に基づいてフィルタする系統的な方法を提供することである。
【００１５】
本発明のさらなる別の目的は、縦長でない物体の質量中心に対するｘ軸およびｙ軸に関する慣性モーメントを計算することによって、そのような縦長でない物体をＩＲ画像から消去する系統的な方法を提供することである。
【００１６】
本発明のさらなる目的は、近ＩＲカメラを使用して、分析された画像フレーム内の歩行者を形状に基づいて分類する系統的な方法を提供することである。
【００１７】
本発明のさらなる目的は、平均値シフトアルゴリズムを使用して、分類された歩行者の動きを追跡する系統的な方法を提供することである。
【００１８】
本発明のさらに別の目的は、単純であり費用対効果の高い、歩行者を検出および追跡するためのシステムおよび方法を提供することである。
【００１９】
本発明の方法、システム、およびハードウェア有効化を説明する前に、本開示に明示しない本発明の多くの可能な実施形態があるので、説明する特定のシステムおよび方法に本発明が限定されないことを理解されたい。また、本説明で使用する用語は、特定の変形形態または実施形態を説明する目的のものにすぎず、本発明の範囲を限定する意図のものではなく、本発明は添付の特許請求の範囲のみによって限定されることを理解されたい。
【００２０】
本発明は、衝突を回避するために走行中に車両の前方にいる歩行者を検出、分類、および追跡するためのシステムおよび方法であって、単純であり、簡単に設置でき、より低コストでより高い精度を提供するシステムおよび方法を提供する。
【００２１】
本発明は、車両に配設された近赤外線（ＩＲ）カメラによって捕捉された画像を使用することによって、車両の前方にいる歩行者を検出、分類、および追跡するための費用対効果の高い方法であって、画像の最下行から延びる平滑領域を識別することによって特徴付けられる地面領域を消去することによって前記画像内の対象領域（ＲＯＩ）物体のフィルタリングに焦点を当てるために、道路を検出するステップと、地面に対する距離に基づいて、地面以外の物体を消去するステップと、ＲＯＩ外の物体それぞれに関して、信号対雑音比（ＳＮＲ）を計算することによって、ＲＯＩ外の物体をそのような物体の形状に基づいてフィルタするステップであって、信号対雑音比が、前記ＲＯＩ外の物体の輪郭の周期性に基づいた成分の規則性の尺度であるステップと、縦長でない物体の質量中心に対するｘ軸およびｙ軸に関する慣性モーメントを計算することによって、そのような縦長でない物体を消去するステップと、分析された画像フレーム内の歩行者を、歩行者の形状に基づいて分類するステップと、平均値シフトアルゴリズムを使用して、分類された歩行者の動きを追跡するステップとを含む処理装置によって実施されるステップを含む方法を具現化する。
【００２２】
本発明の一態様では、歩行者に関する追跡データが、処理装置によって出力手段にさらに通信される。
【００２３】
本発明のさらに別の態様では、警報手段が、１人または複数人の歩行者の存在を運転者に警告し、警報手段は、アラーム、音声ベースの注意、インジケータ、およびディスプレイを含めたオーディオおよびオーディオビジュアルデバイスでよい。
【００２４】
本発明の別の態様によれば、近ＩＲカメラを、車両のダッシュボードに、または前部もしくは内部もしくは上部に配設することができる。本発明の１つの例示的な実施形態によれば、近ＩＲカメラは、車両の前部に配設することができる。
【００２５】
上記の要約、および以下の好ましい実施形態の詳細な説明は、添付図面に関連付けて読めばより良く理解されよう。本発明を例示するために、本発明の例示的な構成を図面に示す。しかし、本発明は、図面に開示する具体的な方法および装置に限定されない。
【図面の簡単な説明】
【００２６】
【図１】本発明の様々な実施形態による、衝突を回避するために走行中に車両の前方にいる歩行者を検出、分類、および追跡するための方法を示す流れ図である。
【発明を実施するための形態】
【００２７】
以下、本発明の特徴を例示する本発明のいくつかの実施形態を詳細に論じる。語「備える」、「有する」、「含有する」、および「含む」、およびそれらの他の活用変化形は、意味的に等価であり、制約のない（ｏｐｅｎ−ｅｎｄｅｄ）ものと意図されており、これらの語のいずれかの目的語となる要素は、そのような要素の排他的な列挙とは意図されておらず、すなわち列挙された要素のみに限定されるものとは意図されていない。また、本明細書および添付の特許請求の範囲において使用するとき、文脈上そうでないことが明らかな場合を除き、単数形は複数形も含むことにも留意しなければならない。本発明の実施形態の実施または試験においては本明細書で述べるものと同様または等価な任意のシステムおよび方法を使用することができるが、好ましいシステムおよび方法を以下に述べる。開示する実施形態は本発明の単なる例示にすぎず、当業者は本発明を様々な形態で具現化することができる。
【００２８】
車両に配設された近赤外線（ＩＲ）カメラによって捕捉された画像を使用することによって車両の前方にいる歩行者を検出、分類、および追跡するための費用対効果の高い方法であって、
ａ）画像の最下行から延びる平滑領域を識別することによって特徴付けられる地面領域を消去することによって記画像内の対象領域（ＲＯＩ）物体のフィルタリングに焦点を当てるために、道路を検出するステップと、
ｂ）地面に対する距離に基づいて、地面以外の物体を消去するステップと、
ｃ）ＲＯＩ外の物体それぞれに関して、信号対雑音比（ＳＮＲ）を計算することによって、ＲＯＩ外の物体をそのような物体の形状に基づいてフィルタするステップであって、信号対雑音比が、ＲＯＩ外の物体の輪郭の周期性に基づいた成分の規則性の尺度であるステップと、
ｄ）縦長でない物体の質量中心に対するｘ軸およびｙ軸に関する慣性モーメントを計算することによって、そのような縦長でない物体を消去するステップと、
ｅ）分析された画像フレーム内の歩行者を、歩行者の形状に基づいて分類するステップと、
ｆ）平均値シフトアルゴリズムを使用して、分類された歩行者の動きを追跡するステップと
を含む処理装置によって実施されるステップを含む方法。
【００２９】
本発明は、衝突を回避するために走行中に車両の前方にいる歩行者を検出、分類、および追跡するためのシステムおよび方法であって、単純であり、簡単に設置でき、より低コストでより高い精度のシステムおよび方法を提供する。
【００３０】
本発明の１つの例示的実施形態によれば、費用対効果の高いシステムは、画像を捕捉するために車両に配設された近ＩＲカメラと、車両の前方にいる歩行者を検出、分類、および追跡するために、捕捉された画像をリアルタイムで分析するための処理装置とを備える。
【００３１】
図１は、本発明の様々な実施形態による、衝突を回避するために走行中に車両の前方にいる歩行者を検出、分類、および追跡するための方法１００を示す流れ図である。
【００３２】
本発明の一実施形態では、車両に配設された近赤外線（ＩＲ）カメラによって捕捉された画像を使用することによって、車両の前方にいる歩行者を検出、分類、および追跡するための費用対効果の高い方法１００である。本発明の別の態様によれば、近ＩＲカメラを車両のダッシュボードに、または前部もしくは内部もしくは上部に配設することができる。本発明の１つの例示的実施形態では、近ＩＲカメラは車両の前部に配設される。
【００３３】
本発明の一態様によれば、近ＩＲカメラの解像度は、６４０×４８０や７２０×４８０などから選択することができる。本発明の１つの例示的実施形態では、近ＩＲカメラの解像度は７２０×４８０である。本発明の一態様によれば、歩行者を検出および追跡するために、近ＩＲカメラのＩＲ範囲は、（０．７〜１）から５ミクロンまでの範囲から選択することができる。本発明の１つの例示的実施形態では、近ＩＲカメラのＩＲ範囲は、０．７ミクロンから５ミクロンまでの範囲から選択することができる。本発明の一態様によれば、歩行者を検出および追跡するために、近ＩＲカメラの温度範囲は、７４０ケルビンから３０００〜５２００ケルビンまでの範囲から選択することができる。
【００３４】
本発明の一態様によれば、処理装置は、近ＩＲカメラの本体内または車両のダッシュボードに配設することができる。本発明の１つの例示的実施形態では、処理装置は、近ＩＲカメラの本体内に配設される。本発明の別の態様によれば、処理装置は、Ｄａｖｉｎｃｉ ＤＭ６４４６ Ｐｒｏｃｅｓｓｏｒ、ＡＤＳＰ−ＢＦ５３３、７５０ ＭＨｚ Ｂｌａｃｋｆｉｎ Ｐｒｏｃｅｓｓｏｒからなる群から選択することができる。
【００３５】
上述した費用対効果の高い方法は、処理装置によって実施される様々なステップを含む。搭載型の近ＩＲカメラを用いた物体検出の場合、まず、地面領域を推定する必要がある。提案する方法の第１のステップでは、処理装置が、地面領域を推定することによって前記画像内の対象領域（ＲＯＩ）物体のフィルタリングに焦点を当てるために、道路を検出する。地面領域を検出するために、処理装置は以下のステップを実行する。
【００３６】
始めに、画像差分処理がソーベルの演算子を使用して行われ（１０２）、次いで、差分処理された画像のしきい値が大津のアルゴリズムを使用して決定される（１０４）。本発明の一態様によれば、差分処理された画像に関するしきい値パラメータは、適用性に基づいて変えることができる。差分処理された２値画像のしきい値処理では、画像の幅に沿った各最下行画素から、０−１遷移が現れるまで上方向に進む。最下行画素から０−１遷移までの領域が平滑領域を示し、これが道路を示す（１０６）。そのような領域が値「Ｘ」としてマークされる。この手順が、各最下行画素画像について処理装置によって繰り返される。
【００３７】
完全な地面領域を検出する（１０８）ために、画像強度が処理装置によって１６ｂｉｎに分割される。最下行画素から画像の高さの半分まで進む。「Ｘ」とマークされている画素がシード画素とみなされる。処理装置によって、シード画素を選択し、隣接する画素をチェックし、ユークリッド距離（Ｄ）を計算することによって、隣接する画素がシードと同様である場合にはそれらを地面領域に追加する。新たに追加される各画素についてこのプロセスを繰り返す。追加することができる画素がそれ以上ない場合には停止する。新たに追加された画素は、ここでもまた処理装置によって「Ｘ」とマークされる。この方法は、道路が比較的一定の温度であり、したがってエッジ検出される画像内でエッジを生成しないという仮定に基づく。
【００３８】
提案する方法の第２のステップでは、処理装置は、地面に対する距離に基づいて、地面以外の物体を消去する。地面以外の物体を消去するために、処理装置は以下のステップを実行する。
【００３９】
始めに、大津のアルゴリズムを使用して、元のグレーレベル画像１１０をしきい値処理する。しきい値処理された２値画像において、「Ｘ」とマークされた画素を消去する。次いで、２値画像に対して連結成分分析を実行する。「Ｌｒ」、「Ｈｒ」、「Ｌｃ」、「Ｈｃ」を、成分の境界矩形を成す最下行、最上行、最左列、最右列とする。次いで、すべての成分の「Ｈｒ」に対して平均（μ）と標準偏差（σ）を計算する。「Ｈｒ」が（μ＋σ）未満である成分は、処理装置によって削除される（１１２）。
【００４０】
上述したステップの実施後、金属製の標識、電光標識、交通標識、ヘッドライト、電柱、およびガードレールのポールなど、明るい縞状の物体１１４である多くのＲＯＩ外の物体が存在する。これらの物体の形状は不変である。
【００４１】
提案する方法の第３のステップでは、処理装置が、ＲＯＩ外の物体それぞれについて、信号対雑音比（ＳＮＲ）を計算することによって、物体の形状に基づいてそのようなＲＯＩ外の物体をフィルタする。これらの不変形状を検出するために、処理装置は以下のステップを実行する。
【００４２】
各成分について、外部境界を見出す。境界画素は、その値が「１」であって、８つの隣接する画素の任意のものの画素値が「０」であるような画素であり、次いで処理装置は、ブロブに関する重心（ｘｃ，ｙｃ）を計算する。次いで、ブロブの重心から形状輪郭までの距離（ｒ（ｔ））を計算する。
【数１】
【００４３】
次いで、ｒ（ｎ）に関するＮ点ＤＦＴ Ｒ（ｆ）を計算する。次いで、周波数成分の振幅の極大を探索する。極大が周期的に生じる場合、そのような周期の計算が行われる。不変形状の物体は周期的な極大を有し、形状の変化する物体は周期的な極大を有さないことが観察される。次いで、処理装置が、反復バージョンのＲ（ｆ）を計算する。
【数２】
＃１ 他の場合
ここで、Ｍは周期であり、Ｌは、ある時点でのサンプルの長さ／総数である。
【００４４】
次のステップで、
【数３】
に対するＮ点ＩＤＦＴ
【数４】
を計算し、次いで誤差信号
【数５】
を計算する。次いで、処理装置は、信号対雑音比（ＳＮＲ）を計算する。
ＳＮＲ＝１０ｌｏｇ（Ｓｙ／Ｓｅ）
ここで、
【数６】
であり、Ｓｅ（ｎ）＝Σ（ｅ［ｎ］）２である。
【００４５】
ＳＮＲは、不変形状の物体では非常に高く、形状の変化する物体ではより低い。このようにして、道路照明灯、車のヘッドライト、柱、街灯柱が容易に消去される。
【００４６】
提案する方法の第４のステップでは、処理装置は、縦長でない物体の質量中心に対するｘ軸およびｙ軸に関する慣性モーメントを計算することによって、そのような縦長でない物体を消去する（１１６）。グレーレベルしきい値処理された２値画像内には、縦長ではなく横長の成分がまだある。物体としての歩行者は通常、本来的に縦長である。縦長の物体１１８を検出するために、正規化された中心モーメントが処理装置によって使用される。
【数７】
＃１ 面積
ここで、Ｍｘは、質量中心に対するＸ軸に関する慣性モーメントである。
ここで、Ｍｙは、質量中心に対するＹ軸に関する慣性モーメントである。
ここで、Ｍｘｙは、質量中心に対するＸ軸とＹ軸の両方に関する慣性モーメントである。
【００４７】
歩行者は、本来的に形状が縦長であるので、Ｍｙ＞Ｍｘとなる。
【００４８】
【数８】
である場合には、物体は縦長である。そうでない場合には、横長であり、処理装置によって削除される。本発明の１つの例示的実施形態では、推定しきい値は約３．２とした。
【００４９】
提案する方法の第５のステップでは、処理装置は、分析された画像フレーム内の歩行者を形状に基づいて分類する。物体の基本的な構造および歩行者に関する定量的なヒントが得られると、より正確な制御が必要である。分類のために、歩行者の形状が手がかりとして使用される。
【００５０】
分析された画像フレーム内の歩行者を分類するために、処理装置は以下のステップを実行する。すなわち、各ＲＯＩについて、処理装置が外部境界を見出す。境界画素は、その値が「１」であって、８つの隣接する画素の任意のものの画素値が「０」であるような画素である。始めに、ブロブに関する重心（ｘｃ，ｙｃ）を計算する。境界を複素座標関数Ｚ（ｎ）＝［ｘ（ｎ）−ｘｃ］＋ｉ［ｙ（ｎ）−ｙｃ］として表現する。この表現の変換は、形状表現を並進に対して不変にする。物体形状とモデル形状が異なるサイズを有することがある。その結果、物体表現とモデル表現のデータ点の数も異なる。この問題を回避するために、物体とモデルの形状境界は、同数のデータ点を有するようにサンプルしなければならない。
ａ）Ｋを、形状境界に沿ってサンプルすることができる候補点の総数と仮定する。等角度サンプリングが、等角度θ＝２Π／Ｋで離隔された候補点を選択する。
ｂ）フーリエ記述子（ＦＤ）が、複素座標関数
【数９】
に対する３２点ＦＦＴを計算することによって得られる。
ｃ）位相情報を無視することによって、かつＦＤの大きさ値のみを取ることによって、ＦＤの回転不変性が実現される。
ｄ）次いで、ＦＤの最初の半分の大きさ値をＤＣ成分で割ることによって、拡大縮小不変性が得られる。
【数１０】
ｅ）ここで、ＦＤ特徴量ｆ＝［ｆｍ１，ｆｍ２，・・・，ｆｍＮ］によって索引付けされたモデル形状と、ＦＤ特徴量ｆ＝［ｆｄ１，ｆｄ２，・・・，ｆｄＮ］によって索引付けされたデータ形状に関して、どちらの特徴量も並進、回転、および拡大縮小に関して正規化されているので、２つの特徴量ベクトル間のユークリッド距離を類似性尺度として使用することができる。
【数１１】
ここで、Ｎｃは、形状に索引付けするのに必要とされる高調波の打ち切り次数である。
【数１２】
＃１ 歩行者
＃２ しきい値
【００５１】
最後に、画像内で、上記の比較に基づいて歩行者が分類される。
【００５２】
提案する方法の最終ステップにおいて、処理装置は、平均値シフトアルゴリズムを使用して、分類された歩行者の動きを追跡する（１２０）。分類された歩行者の動きを追跡するために、処理装置は以下のステップを実行する。
【００５３】
現在のフレーム内で歩行者を位置特定した後、次のフレームから、歩行者を追跡するために平均値シフト追跡が採用される。平均値シフト追跡アルゴリズムは外観ベースの追跡方法であり、平均値シフト反復を採用して、強度分布に関して所与のモデルに最も類似するターゲット候補を見出す。２つの分布の類似性は、バタチャリヤ係数に基づく距離によって表される。サンプルデータからのバタチャリヤ係数の偏差は、ターゲット密度ｑおよび候補密度ｐの推定量に関連し、それに関してヒストグラム表現を採用する。
【００５４】
まず、歩行者ブロブの重心を中心ｘ０とみなし、特徴空間を考慮することによってターゲットモデルヒストグラムが計算される。
【００５５】
エッジベースのしきい値処理画像に対して３２ｂｉｎヒストグラム
【数１３】
を計算する。
【数１４】
＃１ ターゲットモデル
【００５６】
次のフレームから、ターゲットの中心が、前の位置（ｙ０）に初期化され、ターゲット候補ヒストグラムが、同じ特徴空間を考慮することによって計算される。
【００５７】
エッジベースのしきい値処理画像に対して３２ｂｉｎヒストグラム
【数１５】
を計算する。
【００５８】
次に、ターゲットモデルとターゲット候補ヒストグラムとの距離が計算される。
【数１６】
ここで、ρ［．］は、ｐとｑの間のバタチャリヤ係数である。次に、ターゲット中心の変位が、加重平均によって計算される。
【数１７】
ここで、
【数１８】
【００５９】
ターゲットの新たな位置が見出されると、処理装置は以下のステップを実行する。
ａ．新たな位置でターゲット候補ヒストグラムを計算し、変換された画像が、ヒストグラム均等化された画像範囲および底部を含む同じ特徴空間を有する。
ｂ．
【数１９】
を計算する。
ｃ．
【数２０】
とする一方で、
ｙ１＜−（ｙ０＋ｙ１）／２として、
【数２１】
を評価する。
ｄ．
【数２２】
の場合、停止する。
ｅ．そうでない場合、ｙ０＜−ｙ１と設定し、重みを導出し、次いで新たな位置で、処理装置がステップ１に進む。
【００６０】
上述した方法はさらに、歩行者の追跡データの使用によって特徴付けられる衝突を回避するために運転者に警告するステップを含み、運転者に警告するために警報手段が使用され、前記警報手段は、アラーム、音声ベースの注意、またはインジケータを含めた、しかしそれらに限定されないオーディオおよびオーディオビジュアル手段でよい。
【００６１】
前述の説明は、本発明の様々な実施形態を参照して提示した。本発明の原理、精神、および範囲から明確に逸脱することなく、説明した操作プロセスおよび操作方法の変形および変更を行うことができることを当業者は理解されよう。
【００６２】
（本発明の利点）
本発明で提案するシステムおよび方法は、以下の利点を有する。
【００６３】
１．本発明は、衝突を回避するために走行中に車両の前方にいる歩行者を検出、分類、および追跡するためのシステムおよび方法であって、簡単に設置および実行できるシステムおよび方法を提供する。
【００６４】
２．また、本発明のシステムは、衝突を回避するために走行中に車両の前方にいる歩行者を検出、分類、および追跡するための方法であって、既存の従来のシステムに比べてかなり高い精度を有する方法を提供する。
【００６５】
３．また、本発明は、衝突を回避するために走行中に車両の前方にいる歩行者を検出、分類、および追跡するためのシステムおよび方法であって、従来のシステムに比べて費用対効果の高いシステムおよび方法を提供する。
【特許請求の範囲】
【請求項１】
車両に配設された近赤外線（ＩＲ）カメラによって捕捉された画像を使用することによって、前記車両の前方にいる歩行者を検出、分類、および追跡するための費用対効果の高い方法であって、
ａ）前記画像の最下行から延びる平滑領域を識別することによって特徴付けられる地面領域を消去することによって前記画像内の対象領域（ＲＯＩ）物体のフィルタリングに焦点を当てるために、道路を検出するステップと、
ｂ）地面に対する距離に基づいて、地面以外の物体を消去するステップと、
ｃ）ＲＯＩ外の物体それぞれに関して、信号対雑音比（ＳＮＲ）を計算することによって、前記ＲＯＩ外の物体を前記物体の形状に基づいてフィルタするステップであって、前記信号対雑音比が、前記ＲＯＩ外の物体の輪郭の周期性に基づいた成分の規則性の尺度であるステップと、
ｄ）縦長でない物体の質量中心に対するｘ軸およびｙ軸に関する慣性モーメントを計算することによって、前記縦長でない物体を消去するステップと、
ｅ）前記分析された画像フレーム内の歩行者を、前記歩行者の形状に基づいて分類するステップと、
ｆ）平均値シフトアルゴリズムを使用して、前記分類された歩行者の動きを追跡するステップと
を含む処理装置によって実施されるステップを含む方法。
【請求項２】
さらに、前記歩行者の追跡データの使用によって特徴付けられる衝突を回避するために運転者に警告するためのステップを含む請求項１に記載の方法。
【請求項３】
前記近ＩＲカメラを前記車両のダッシュボードに、または前部もしくは内部もしくは上部に配設することができる請求項１に記載の方法。
【請求項４】
ａ）ソーベルの演算子を使用して、前記捕捉されたＩＲ画像を差分処理するステップと、
ｂ）前記差分処理された画像をしきい値処理するために、前記差分処理された画像に大津のアルゴリズムを適用するステップと、
ｃ）平滑領域を識別することによって道路を検出し、その際、最下行画素から０−１遷移までの領域が前記平滑領域を示し、前記検出後、前記平滑領域を値「Ｘ」としてマークし、各最下行画素画像について前記マーク付けを繰り返すステップと、
ｄ）元の画像強度を１６ｂｉｎに分割し、次いで、最下行画素から前記画像の高さの半分まで進み、その後、前記マークされている画素をシード画素とみなし、次いで前記シード画素を選択し、その後、隣接する画素をチェックし、前記隣接する画素と前記シード画素の強度の間のユークリッド距離（Ｄ）を計算することによって、前記隣接する画素が前記シード画素と同様である場合には前記隣接する画素を前記地面領域に追加し、次いで、前記プロセスを、新たに追加される各画素について繰り返し、追加することができる画素がそれ以上ない場合には前記プロセスを停止し、最後に、前記新たに追加された画素を「Ｘ」としてマークするステップと
を含む処理装置によって実施されるステップによって前記地面領域が推定される請求項１に記載の方法。
【請求項５】
ａ）元のグレーレベル画像をしきい値処理するために、前記元のグレーレベル画像に大津のアルゴリズムを適用するステップと、
ｂ）前記しきい値処理された２値画像内の前記マークされている画素を無視するステップと、
ｃ）前記しきい値処理された２値画像内のマークされていない画素に対して連結成分分析を実行するステップであって、最下行、最上行、最左列、最右列が、前記画像の成分の境界矩形を成すステップと、
ｄ）すべての成分の最上行に対して平均と標準偏差を計算し、その後、前記成分の最上行の値が平均と標準偏差の和の値未満である場合には前記成分を削除するステップと
を含む処理装置によって実施されるステップによって地面以外の物体が消去される請求項４に記載の方法。
【請求項６】
前記信号対雑音比（ＳＮＲ）が、
ａ）各成分について外部境界を決定するステップと、
ｂ）ブロブに関する重心を計算するステップと、
ｃ）前記ブロブの重心から形状輪郭までの距離を計算するステップと、
ｄ）前記形状輪郭に対する前記計算された距離のＮ点ＤＦＴを計算するステップと、
ｅ）周波数成分の振幅の極大を探索し、その後、１つまたは複数の極大が周期的に生じる場合には周期を計算するステップと、
ｆ）前記計算された距離の反復バージョンのＮ点ＤＦＴを計算するステップと、
ｇ）前記形状輪郭に対する計算された距離に関するＮ点ＩＤＦＴを計算するステップと、
ｈ）誤差信号を計算するステップと、
ｉ）最後に、前記誤差信号から、各成分の信号対雑音比（ＳＮＲ）を計算するステップと
を含む処理装置によって実施されるステップによって計算される請求項１に記載の方法。
【請求項７】
前記歩行者を分類するステップが、
ａ）各ＲＯＩについて外部境界を見出すステップと、
ｂ）ブロブに関する重心を計算するステップと、
ｃ）前記境界を複素座標関数として表現するステップであって、前記表現の変換が、前記形状表現を並進に対して不変にするステップと、
ｄ）物体とモデルの形状境界を、同数のデータ点を有するようにサンプルするステップと、
ｅ）物体とモデルの形状境界のデータ値を比較するステップと、
ｆ）前記比較に基づいて歩行者を分類するステップと
を含む処理装置によって実施されるステップによって行われる請求項１に記載の方法。
【請求項８】
近赤外線（ＩＲ）カメラを使用することによって車両の前方にいる歩行者を検出、分類、および追跡するための費用対効果の高いシステムであって、
ａ）画像を捕捉するために前記車両に配設された近ＩＲカメラと、
ｂ）前記車両の前方にいる歩行者を検出、分類、および追跡するために、前記捕捉された画像をリアルタイムで分析するための処理装置と
を備えるシステム。
【請求項９】
さらに、前記歩行者の追跡データを使用することによって特徴付けられる衝突を回避するために運転者に警告するための警報手段を備える請求項８に記載のシステム。
【請求項１】
車両に配設された近赤外線（ＩＲ）カメラによって捕捉された画像を使用することによって、前記車両の前方にいる歩行者を検出、分類、および追跡するための費用対効果の高い方法であって、
ａ）前記画像の最下行から延びる平滑領域を識別することによって特徴付けられる地面領域を消去することによって前記画像内の対象領域（ＲＯＩ）物体のフィルタリングに焦点を当てるために、道路を検出するステップと、
ｂ）地面に対する距離に基づいて、地面以外の物体を消去するステップと、
ｃ）ＲＯＩ外の物体それぞれに関して、信号対雑音比（ＳＮＲ）を計算することによって、前記ＲＯＩ外の物体を前記物体の形状に基づいてフィルタするステップであって、前記信号対雑音比が、前記ＲＯＩ外の物体の輪郭の周期性に基づいた成分の規則性の尺度であるステップと、
ｄ）縦長でない物体の質量中心に対するｘ軸およびｙ軸に関する慣性モーメントを計算することによって、前記縦長でない物体を消去するステップと、
ｅ）前記分析された画像フレーム内の歩行者を、前記歩行者の形状に基づいて分類するステップと、
ｆ）平均値シフトアルゴリズムを使用して、前記分類された歩行者の動きを追跡するステップと
を含む処理装置によって実施されるステップを含む方法。
【請求項２】
さらに、前記歩行者の追跡データの使用によって特徴付けられる衝突を回避するために運転者に警告するためのステップを含む請求項１に記載の方法。
【請求項３】
前記近ＩＲカメラを前記車両のダッシュボードに、または前部もしくは内部もしくは上部に配設することができる請求項１に記載の方法。
【請求項４】
ａ）ソーベルの演算子を使用して、前記捕捉されたＩＲ画像を差分処理するステップと、
ｂ）前記差分処理された画像をしきい値処理するために、前記差分処理された画像に大津のアルゴリズムを適用するステップと、
ｃ）平滑領域を識別することによって道路を検出し、その際、最下行画素から０−１遷移までの領域が前記平滑領域を示し、前記検出後、前記平滑領域を値「Ｘ」としてマークし、各最下行画素画像について前記マーク付けを繰り返すステップと、
ｄ）元の画像強度を１６ｂｉｎに分割し、次いで、最下行画素から前記画像の高さの半分まで進み、その後、前記マークされている画素をシード画素とみなし、次いで前記シード画素を選択し、その後、隣接する画素をチェックし、前記隣接する画素と前記シード画素の強度の間のユークリッド距離（Ｄ）を計算することによって、前記隣接する画素が前記シード画素と同様である場合には前記隣接する画素を前記地面領域に追加し、次いで、前記プロセスを、新たに追加される各画素について繰り返し、追加することができる画素がそれ以上ない場合には前記プロセスを停止し、最後に、前記新たに追加された画素を「Ｘ」としてマークするステップと
を含む処理装置によって実施されるステップによって前記地面領域が推定される請求項１に記載の方法。
【請求項５】
ａ）元のグレーレベル画像をしきい値処理するために、前記元のグレーレベル画像に大津のアルゴリズムを適用するステップと、
ｂ）前記しきい値処理された２値画像内の前記マークされている画素を無視するステップと、
ｃ）前記しきい値処理された２値画像内のマークされていない画素に対して連結成分分析を実行するステップであって、最下行、最上行、最左列、最右列が、前記画像の成分の境界矩形を成すステップと、
ｄ）すべての成分の最上行に対して平均と標準偏差を計算し、その後、前記成分の最上行の値が平均と標準偏差の和の値未満である場合には前記成分を削除するステップと
を含む処理装置によって実施されるステップによって地面以外の物体が消去される請求項４に記載の方法。
【請求項６】
前記信号対雑音比（ＳＮＲ）が、
ａ）各成分について外部境界を決定するステップと、
ｂ）ブロブに関する重心を計算するステップと、
ｃ）前記ブロブの重心から形状輪郭までの距離を計算するステップと、
ｄ）前記形状輪郭に対する前記計算された距離のＮ点ＤＦＴを計算するステップと、
ｅ）周波数成分の振幅の極大を探索し、その後、１つまたは複数の極大が周期的に生じる場合には周期を計算するステップと、
ｆ）前記計算された距離の反復バージョンのＮ点ＤＦＴを計算するステップと、
ｇ）前記形状輪郭に対する計算された距離に関するＮ点ＩＤＦＴを計算するステップと、
ｈ）誤差信号を計算するステップと、
ｉ）最後に、前記誤差信号から、各成分の信号対雑音比（ＳＮＲ）を計算するステップと
を含む処理装置によって実施されるステップによって計算される請求項１に記載の方法。
【請求項７】
前記歩行者を分類するステップが、
ａ）各ＲＯＩについて外部境界を見出すステップと、
ｂ）ブロブに関する重心を計算するステップと、
ｃ）前記境界を複素座標関数として表現するステップであって、前記表現の変換が、前記形状表現を並進に対して不変にするステップと、
ｄ）物体とモデルの形状境界を、同数のデータ点を有するようにサンプルするステップと、
ｅ）物体とモデルの形状境界のデータ値を比較するステップと、
ｆ）前記比較に基づいて歩行者を分類するステップと
を含む処理装置によって実施されるステップによって行われる請求項１に記載の方法。
【請求項８】
近赤外線（ＩＲ）カメラを使用することによって車両の前方にいる歩行者を検出、分類、および追跡するための費用対効果の高いシステムであって、
ａ）画像を捕捉するために前記車両に配設された近ＩＲカメラと、
ｂ）前記車両の前方にいる歩行者を検出、分類、および追跡するために、前記捕捉された画像をリアルタイムで分析するための処理装置と
を備えるシステム。
【請求項９】
さらに、前記歩行者の追跡データを使用することによって特徴付けられる衝突を回避するために運転者に警告するための警報手段を備える請求項８に記載のシステム。
【図１】
【公表番号】特表２０１３−５０５５０９（Ｐ２０１３−５０５５０９Ａ）
【公表日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１２−５３０４１１（Ｐ２０１２−５３０４１１）
【出願日】平成２２年１２月２日（２０１０．１２．２）
【国際出願番号】ＰＣＴ／ＩＮ２０１０／０００７８３
【国際公開番号】ＷＯ２０１１／０６７７９０
【国際公開日】平成２３年６月９日（２０１１．６．９）
【出願人】（５１０３３７６２１）タタ コンサルタンシー サービシズ リミテッド (9)
【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ
【住所又は居所原語表記】Ｎｉｒｍａｌ Ｂｕｉｌｄｉｎｇ，９ｔｈ Ｆｌｏｏｒ，Ｎａｒｉｍａｎ Ｐｏｉｎｔ，Ｍｕｍｂａｉ ４０００２１，Ｍａｈａｒａｓｈｔｒａ，Ｉｎｄｉａ．
【Ｆターム（参考）】
【公表日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２２年１２月２日（２０１０．１２．２）
【国際出願番号】ＰＣＴ／ＩＮ２０１０／０００７８３
【国際公開番号】ＷＯ２０１１／０６７７９０
【国際公開日】平成２３年６月９日（２０１１．６．９）
【出願人】（５１０３３７６２１）タタ コンサルタンシー サービシズ リミテッド (9)
【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ
【住所又は居所原語表記】Ｎｉｒｍａｌ Ｂｕｉｌｄｉｎｇ，９ｔｈ Ｆｌｏｏｒ，Ｎａｒｉｍａｎ Ｐｏｉｎｔ，Ｍｕｍｂａｉ ４０００２１，Ｍａｈａｒａｓｈｔｒａ，Ｉｎｄｉａ．
【Ｆターム（参考）】
[ Back to top ]