歩行者移動推定装置及び方法
【課題】歩行者の移動行動を高精度に推定することができる歩行者移動推定装置及び方法を提供する。
【解決手段】 歩行者の移動行動を推定する場合は、まずカメラによる撮像画像を画像処理して得られた画像データを入力し、その画像データから全ての歩行者を検出する。そして、各歩行者の現在の位置及び速度ベクトルから、各歩行者のｔ秒後の位置及び速度ベクトルを求める。次いで、ある歩行者（特定歩行者）と特定歩行者の周囲に存在する他の歩行者との距離に関するエネルギー項Ｉｉと、特定歩行者の歩行速度に関するエネルギー項Ｓｉと、特定歩行者の目的地に関するエネルギー項Ｄｉとを求め、各エネルギー項Ｉｉ，Ｓｉ，Ｄｉと重み係数λ０〜λ２とを用いて、特定歩行者についてのエネルギー関数Ｅｉを求める。次いで、そのエネルギー関数Ｅｉに基づいて特定歩行者の進路を予測する。
【解決手段】 歩行者の移動行動を推定する場合は、まずカメラによる撮像画像を画像処理して得られた画像データを入力し、その画像データから全ての歩行者を検出する。そして、各歩行者の現在の位置及び速度ベクトルから、各歩行者のｔ秒後の位置及び速度ベクトルを求める。次いで、ある歩行者（特定歩行者）と特定歩行者の周囲に存在する他の歩行者との距離に関するエネルギー項Ｉｉと、特定歩行者の歩行速度に関するエネルギー項Ｓｉと、特定歩行者の目的地に関するエネルギー項Ｄｉとを求め、各エネルギー項Ｉｉ，Ｓｉ，Ｄｉと重み係数λ０〜λ２とを用いて、特定歩行者についてのエネルギー関数Ｅｉを求める。次いで、そのエネルギー関数Ｅｉに基づいて特定歩行者の進路を予測する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歩行者の移動行動を推定する歩行者移動推定装置及び方法に関するものである。
【背景技術】
【０００２】
従来の歩行者移動推定装置及び方法としては、例えば特許文献１に記載されているものが知られている。特許文献１に記載のものでは、移動物体の画素パターンの情報等から歩行者を検出し、当該歩行者の両脚支持時間及び最大歩幅を求め、これらの情報に基づいて歩行者が停止するかどうかを判断し、その判断結果も用いて歩行者の将来位置を予測して当該歩行者が存在し得る範囲を特定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術においては、以下の問題点が存在する。即ち、歩行者の多い市街地等では、歩行者は車両等と比較して急激に動くことが多い。このため、歩行者の直前の動きから線形的に歩行者の移動行動を推定する手法では、推定精度を上げることができない。
【０００５】
本発明の目的は、歩行者の移動行動を高精度に推定することができる歩行者移動推定装置及び方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明の歩行者移動推定装置は、歩行者の移動情報及び歩行者の周辺に存在する少なくとも１つの移動体の移動情報を取得する移動情報取得手段と、歩行者の移動情報及び移動体の移動情報に基づいて、歩行者と移動体との距離に関する情報を取得する距離関連情報取得手段と、歩行者と移動体との距離に関する情報を用いて、歩行者の移動行動を推定する推定手段とを備えることを特徴とするものである。
【０００７】
一般に歩行者は、他の歩行者等の移動体との距離を一定以上に保つという習性をもっている。そこで、歩行者の移動情報及び当該歩行者の周辺に存在する少なくとも１つの移動体の移動情報を取得し、これらの移動情報に基づいて歩行者と移動体との距離に関する情報を取得し、歩行者と移動体との距離に関する情報を用いて歩行者の移動行動を推定することにより、例えば歩行者の動きが他の歩行者等の移動体に反応して急激に変化する場合でも、歩行者の移動行動を適切に推定することができる。これにより、歩行者の移動行動の推定精度を向上させることができる。
【０００８】
好ましくは、歩行者の歩行速度に関する情報を取得する速度関連情報取得手段を更に備え、推定手段は、歩行者と移動体との距離に関する情報と歩行者の歩行速度に関する情報とを用いて、歩行者の移動行動を推定する。歩行者は、通常は現在の歩行速度をそのまま維持しようとする。従って、歩行者の移動行動を推定する際に、歩行者の歩行速度に関する情報を考慮することで、歩行者の移動行動をより精度良く推定することができる。
【０００９】
また、好ましくは、歩行者の目的地に関する情報を取得する目的地関連情報取得手段を更に備え、推定手段は、歩行者と移動体との距離に関する情報と歩行者の目的地に関する情報とを用いて、歩行者の移動行動を推定する。歩行者は、通常は目的地への進行方向をそのまま維持しようとする。従って、歩行者の移動行動を推定する際に、歩行者の目的地に関する情報を考慮することで、歩行者の移動行動をより精度良く推定することができる。
【００１０】
本発明の歩行者移動推定方法は、歩行者の移動情報及び歩行者の周辺に存在する少なくとも１つの移動体の移動情報を取得するステップと、歩行者の移動情報及び移動体の移動情報に基づいて、歩行者と移動体との距離に関する情報を取得するステップと、歩行者と移動体との距離に関する情報を用いて、歩行者の移動行動を推定するステップとを含むことを特徴とするものである。
【００１１】
このような歩行者移動推定方法を実施することにより、上述したように歩行者の動きが他の歩行者等の移動体に反応して急激に変化する場合でも、歩行者の移動行動を適切に推定することができる。これにより、歩行者の移動行動の推定精度を向上させることができる。
【発明の効果】
【００１２】
本発明によれば、歩行者の移動行動を高精度に推定することができる。これにより、例えば歩行者の移動行動の推定技術を用いて歩行者の追跡を行う場合に、追跡性能を向上させることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係わる歩行者移動推定装置の一実施形態の概略構成を示すブロック図である。
【図２】歩行者同士の距離と不快感との関係の一例を示すグラフである。
【図３】歩行者同士の距離と不快感との関係の他の例を示すグラフである。
【図４】ビルの上階の窓から下方のビル入り口付近を撮影して得られた画像の一例を示す概略図である。
【図５】歩行者の次の一歩の速度ベクトルを変化させた時の不快度数の一例を示すグラフである。
【図６】画像認識により検出された歩行者の移動経路の一例を示す図である。
【図７】図１に示した歩行者移動推定部による歩行者移動推定処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明に係わる歩行者移動推定装置及び方法の好適な実施形態について、図面を参照して詳細に説明する。
【００１５】
図１は、本発明に係わる歩行者移動推定装置の一実施形態の概略構成を示すブロック図である。同図において、本実施形態の歩行者移動推定装置１は、画像認識により歩行者を検出し、歩行者の移動進路を予測して歩行者を追跡する装置である。
【００１６】
歩行者移動推定装置１は、歩行者を撮像するカメラ２と、このカメラ２と接続されたＥＣＵ（Electronic Control Unit）３とを備えている。カメラ２は、ビル等の高所に固定設置されていても良いし、車両等の移動体に搭載されていても良い。
【００１７】
ＥＣＵ３は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、入出力回路等により構成されている。ＥＣＵ３は、画像処理部４と、記憶部５と、歩行者移動推定部６とを有している。
【００１８】
画像処理部４は、カメラ２により取得された歩行者の撮像画像に対してフィルタ処理、２値化処理、特徴抽出処理等の画像処理を施し、画像フレーム（画像データ）を生成する。記憶部５には、歩行者移動推定部６による演算処理に使用されるパラメータ等が記憶されている。
【００１９】
歩行者移動推定部６は、画像処理部４で生成された画像フレームに基づいて所定の演算処理を行って歩行者の進路を予測し、更に歩行者の追跡を実行する。このとき、歩行者移動推定部６は、歩行者の行動を規定するモデルを用いて、歩行者の進路予測及び追跡を行う。
【００２０】
まず、歩行者の行動を規定するモデルについて説明する。歩行者の進路を予測するポイントは、歩行者の行動を、歩行者の次の一歩を求めるためのエネルギー関数として定式化したことにある。
【００２１】
歩行者の次の一歩は、現在の歩行者の位置を起点とした速度ベクトルｖで表現される。速度ベクトルｖは、速度及び方向の情報を含む。その速度ベクトルｖで単位時間ｔｓ秒だけ進んだ歩行者の位置が、単位時間ｔｓ後の歩行者の予測位置となる。単位時間ｔｓは、歩行者の動きを直進運動であると仮定できる十分短い時間であり、例えば０．４秒である。単位時間ｔｓ後の歩行者の位置を予測し、その予測した歩行者の位置を基点として更に単位時間ｔｓ秒の位置を予測するといったことを繰り返すことで、任意の時間先までの歩行者の移動進路を予測することができる。
【００２２】
歩行者の動きは、二次元平面上での動きとして表現することができる。このため、歩行者の速度ベクトルｖは、ｘ−ｙ平面上の速度ｖｘ，ｖｙの２つの要素で表現される。ここで、ｉ番目の歩行者をＰｉとすると、歩行者Ｐｉの速度ベクトルｖｉは、次のように表現される。ただし、ｖｉｘ，ｖｉｙは、歩行者Ｐｉのｘ軸上及びｙ軸上の速度である。
ｖｉ＝［ｖｉｘ，ｖｉｙ］Ｔ
【００２３】
さて、歩行者Ｐｉの次の一歩の速度ベクトルをｖｉ’とし、歩行者Ｐｉの次の一歩を求めるためのエネルギー関数を以下のように定義する。
Ｅｉ(ｖｉ’)＝λ０Ｉｉ(ｖｉ’)＋λ１Ｓｉ(ｖｉ’)＋λ２Ｄｉ(ｖｉ’) …（Ａ）
【００２４】
エネルギー関数Ｅｉは、３つのエネルギー項Ｉｉ，Ｓｉ，Ｄｉの重み付け線形和である。各エネルギー項の重み係数は、λ０，λ１，λ２である。かかるエネルギー関数Ｅｉを最小にするような速度ベクトルｖｉ’を求めることが、歩行者Ｐｉの次の一歩を求めることになる。
【００２５】
次いで、関数Ｉｉ，Ｓｉ，Ｄｉについて詳細に説明する。ここでは、歩行者の行動を決める条件として、以下の３つを仮定している。
【００２６】
（１）歩行者同士の距離は一定以上に保たれる
一般に歩行者は、他の歩行者との距離が近すぎると不快に感じるため、他の歩行者との間にある程度以上の距離を保とうとする。歩行者同士が密着しているとき（各歩行者間の距離がゼロのとき）が最も不快感が高く、各歩行者間の距離が離れるにつれて不快感は急速に減少していき、ある程度以上の距離になると殆ど不快感は感じなくなる。
【００２７】
歩行者Ｐｉと他の歩行者Ｐｊとの距離をｄｉｊとし、不快感（不快度数）をＦｉｊとすると、歩行者Ｐｉ，Ｐｊ間の距離ｄｉｊと不快感Ｆｉｊとの関係は、図２に示すように、正規分布関数として表現される。この時の正規分布関数は、例えば次式のように表現することができる。
Ｆｉｊ＝ｅ＾（−（ｄｉｊ２／２σｄ２））
【００２８】
ここで、σｄは、分布の広がりを示すパラメータであり、歩行者の性質や場所等に応じて適切に設定可能である。例えば、朝夕の駅のように混雑した場所であれば、歩行者同士の距離を長くとることができず、歩行者同士の距離が近くても許容せざるを得ないため、σｄを小さく設定すべきである。広い場所で歩行者の数が少ない場合には、σｄを大きく設定すべきである。また、σｄは、人種や民族の特性を反映することも可能である。
【００２９】
なお、歩行者Ｐｉ，Ｐｊ間の距離ｄｉｊと不快感Ｆｉｊとの関係に適用される関数としては、特に上記のような正規分布関数に限定することは無く、図３（ａ）に示すような非線形の関数としても良いし、図３（ｂ）に示すような線形の関数としても良い。
【００３０】
以上は１組の歩行者（歩行者Ｐｉと歩行者Ｐｊ）の関係のみについてであるが、実際には歩行者Ｐｉに対して周囲の全ての歩行者との関係を考慮する必要がある。そこで、歩行者Ｐｉ以外の他の歩行者をＰｒ（ｒ≠ｉ）とし、歩行者Ｐｉと他の全ての歩行者Ｐｒとの間に生じる不快感Ｆｉｒの和を、以下のように定義する。
【数１】
【００３１】
ただし、ｗｒ（ｉ）は、歩行者Ｐｉに対する歩行者Ｐｒの不快感を調節するためのパラメータである。ｗｒ（ｉ）は、全ての歩行者に対して一定の値（例えば１）を設定しても良いし、二者の距離や進行方向の角度差等を考慮して設定しても良い。距離及び進行方向の角度差を考慮する場合は、例えば以下のように定義する。
ｗｒ（ｉ）＝ｗｒｄ（ｉ）＊ｗｒφ（ｉ）
ｗｒｄ（ｉ）＝ｅ＾（−（ｄｉｒ２／２σｗ２））
ｗｒφ（ｉ）＝（（１＋ｃｏｓφ）／２）β
【００３２】
ここで、ｄｉｒは、歩行者Ｐｉ，Ｐｒ間の距離であり、φは、歩行者Ｐｉ，Ｐｒの進行方向の角度差を表している。上記式は、１組の歩行者について、お互いの距離が近いほど、またお互い近い方向を向いているほど、重み係数であるｗｒ（ｉ）が大きくなることを示している。現在の二人の距離が既に短い場合は、不快感の増大が予想されるため、次の一歩では更に近づく方向には行かないと考えられ、また二人がほぼ同じ方向を向いている場合は、同様に不快感の増大が予想されるため、次の一歩ではその方向には行かないと考えられるからである。
【００３３】
以上により、エネルギー項Ｉｉは、歩行者Ｐｉとその周囲の歩行者Ｐｒとの間に生じる不快感の総和を意味することになる。そして、このエネルギー項Ｉｉが最も小さくなるように歩行者Ｐｉの次の一歩の速度ベクトルｖｉ’を決めるというモデルが構築されることになる。なお、エネルギー項Ｉｉは、速度ベクトルｖｉ’によって変化する関数であるため、正しくは上記（Ａ）式のようにＩｉ(ｖｉ’)と記述される。また、ｄｉｊは、次の一歩となる単位時間ｔｓ秒後の歩行者Ｐｉ，Ｐｊ間の距離である。
【００３４】
以上のようなエネルギー項Ｉｉ(ｖｉ’)を定義することにより、歩行者と周囲の他の歩行者との距離が近いことで生じる不快感を最小限にするという、人間の社会行動特性に当てはまる数学モデルを構築することができる。また、歩行者は、車両と異なり、接触しながら（肩が触れ合う等）の歩行もあり得る。エネルギー項Ｉｉ(ｖｉ’)は、歩行者同士の接触も許容可能なモデルであるため、混雑度等に応じてσｄ等のパラメータを調整することで、実際の歩行者の挙動に近いモデルを提供することができる。さらに、場所の特性に応じてσｄ等のパラメータを調整することで、例えば細い道と広場といった歩行者の行動の傾向が異なるような場合でも、適用可能である。
【００３５】
（２）歩行者は一定の速度を保とうとする
一般に歩行者は、一定の歩行速度を維持しようとする性質を有し、その歩行速度からのズレが大きいほど不快を感じるものである。歩行者Ｐｉの好みの歩行速度をｕｉとすると、不快度数Ｓｉ(ｖｉ’)は、以下のように定義される。
【数２】
【００３６】
ここで、歩行者Ｐｉの好みの歩行速度ｕｉは、環境に応じて予め計測した複数の歩行者の平均速度にしても良いし、歩行者Ｐｉの直前の速度にしても良いし、過去の数秒間の平均速度にしても良いし、周囲の歩行者の平均速度にしても良い。
【００３７】
以上のようなエネルギー項Ｓｉ(ｖｉ’)を定義することにより、歩行者が自分の歩行ペースを保とうとする、人間の行動特性を反映したモデルを構築することができる。また、歩行者の歩行速度は、車両のように周囲のオブジェクトの速度に影響されることは少ない。このため、上記のエネルギー項Ｉｉ(ｖｉ’)と独立したエネルギー項Ｓｉ(ｖｉ’)を設定することで、現実の動きに近いモデルを構築することができる。
【００３８】
（３）歩行者は目的地に向かって進もうとする
一般に歩行者は、特定の目的地に向かって進もうとし、目的地からずれるほど不快感が増すものである。歩行者Ｐｉの目的地をｚｉ、歩行者Ｐｉの現在の位置をｋｉとすると、不快度数Ｄｉ(ｖｉ’)は、以下のように定義される。
【数３】
【００３９】
ここで、目的地ｚｉは、環境に応じて設定しても良いし、これまで歩行者Ｐｉが歩いてきた方向の延長線上に設定しても良い。目的地ｚｉを環境に応じて設定する場合は、例えば近くに建物の入口があれば、その入口を目的地ｚｉと設定する。また、横断歩道では、横断歩道の端を目的地ｚｉと設定する。この場合、地図情報を用いることで、目的地ｚｉをより正しく設定することができる。
【００４０】
以上のようなエネルギー項Ｄｉ(ｖｉ’)を定義することにより、歩行者が目的地に向かって進む、という歩行者の基本的な行動特性を反映したモデルを構築することができる。また、目的地ｚｉは自由に定義可能であるから、道路上を走行する必要があったり交通ルールを守る必要があるといった制約がある車両の予測モデルに比べ、実際の歩行者の動きに近いモデルを構築することができる。
【００４１】
以上の（１）〜（３）項において定義されたエネルギー項Ｉｉ(ｖｉ’)，Ｓｉ(ｖｉ’)，Ｄｉ(ｖｉ’)の重み付けの線形和であるエネルギー関数Ｅｉ(ｖｉ’)が、歩行者の進路予測のためのモデルになる。エネルギー関数Ｅｉ(ｖｉ’)は、上記（Ａ）式で表される。
【００４２】
上記（Ａ）式において、重み係数λ０〜λ２のパラメータは、経験的にアルゴリズムの設計者が決めても良いが、実際の歩行者の動きから学習によって求めることも可能である。特に据付カメラを用いる場合は環境が一定であり、歩行者の行動は過去の観測結果と同等であると推測されるため、学習による効果は大きい。
【００４３】
学習によりパラメータを決定する場合は、据付カメラにより複数の歩行者の撮像画像を取得する。図４は、一例としてビルの上階の窓から下方のビル入り口付近を撮影して得られたものであり、複数の歩行者が映っている。据付カメラにより得られた撮像画像において、手作業あるいは背景差分等の方法を用いて、各歩行者の位置を特定し、各歩行者の移動情報を取得する。図４中の丸印は、各歩行者Ｐの現在位置を示し、図４中の線は、各歩行者Ｐの移動軌跡を示している。このようにして取得した各歩行者Ｐの移動情報を基にしてパラメータを学習する。
【００４４】
具体的には、まず１人の歩行者（歩行者ＰＡとする）について、上述した進路予測モデルを用いてｔ秒後の位置を予測する。このとき、パラメータとしては任意の値を設定する。歩行者ＰＡの実際の動きは上記の通り分かっているため、任意のパラメータで予測された歩行者ＰＡの位置と歩行者ＰＡの実際の位置との距離差を計算する。この距離差としては、距離の二乗等の値を用いる。
【００４５】
別の歩行者についても、同様に予測された位置と実際の位置との距離差を計算する。このとき、パラメータ値としては、歩行者ＰＡについての距離差計算時に使用したものと同じものを使用する。このようにして、全ての歩行者について同じパラメータ値を用い、それぞれの距離差を求める。そして、全ての歩行者についての距離差の合計を求める。
【００４６】
ここで、使用するパラメータの値を変えると、歩行者の予測位置が変化し、これに伴って予測位置と実際の位置との距離差も変化する。このため、全ての歩行者についての距離差の合計も変化する。従って、この距離差の合計が小さくなるように、例えば最急降下法等の手法を用いてパラメータ値を繰り返し修正していく。そして、距離差の合計が変化しなくなったら、その時のパラメータ値を採用することに決定する。
【００４７】
複数のパラメータの最適な組み合わせを求めるのは、パラメータ数が多くなると難しくなってくる。そこで、例えば遺伝的アルゴリズムを用い、任意に設定された複数のパラメータの組を同時に評価して演算し、時々パラメータを任意に設定し直す（遺伝的アルゴリズムにおける突然変異）ようにして、最適なパラメータを求めても良い。
【００４８】
このようにして求めたパラメータは、実際の歩行者の行動を基に設定されたものであるため、予測の精度が高く、歩行者の追跡の精度向上に寄与することができる。
【００４９】
また、カメラが車両に搭載されている場合には、カメラが移動するため、予め学習することはできない。この場合には、場所の性質に応じてパラメータの値を適宜切り換えることで対応可能となる。場所の性質は、例えばＧＰＳのような位置情報取得装置と地図情報から得ることができる。例えば、場所が横断歩道上である場合には、歩行者は横断歩道の端を目的地として移動することが殆どであるため、λ２を大きくして、目的地へ向かって移動するという制約を強くしたモデルで進路を予測する。非常に混雑した状況では、歩行者同士の距離が短くても許容せざるを得ないため、λ０を小さくして、歩行者同士の距離の制約を弱めるモデルで進路を予測する。
【００５０】
以上のようにして得られる上記（Ａ）式の総不快度数Ｅｉ(ｖｉ’)は、歩行者Ｐｉが次の一歩をどのように踏み出すかで変化するものである。ここでは、上述したように総不快度数Ｅｉ(ｖｉ’)を最小とするような速度ベクトルｖｉ’を求めることで、歩行者Ｐｉの次の一歩を予測する。
【００５１】
図５は、歩行者Ｐｉの次の一歩の速度ベクトルｖｉ’を変化させた時の不快度数の一例を示したものである。図５において、Ｐ１，Ｐ２は、それぞれ歩行者を示している。白点Ａ１は、歩行者Ｐ１が現在の速度及び方向を維持して進んだ場合の次の一歩の速度ベクトルｖｉ’を示し、白点Ａ２は、歩行者Ｐ２が現在の速度及び方向を維持して進んだ場合の次の一歩の速度ベクトルｖｉ’を示している。
【００５２】
ここでは、点Ａ１，Ａ２で示す方向に対して左右６０度を１０度刻みで変化させ、更に点Ａ１，Ａ２で示す速度に対して前後０．３ｍ／ｓ変化させた場合の不快度数を表している。このとき、黒塗り部分、ハッチング部分、ドット部分、白抜き部分の順に、不快度が低くなっている。
【００５３】
歩行者Ｐ１については、上記（１）〜（３）項の条件を満足する黒点Ｂ１で示す速度ベクトルｖｉ’において不快度が最も低くなるため、その速度ベクトルｖｉ’が次の一歩として選択される。歩行者Ｐ２については、同様に上記（１）〜（３）項の条件を満足する黒点Ｂ２で示す速度ベクトルｖｉ’において不快度が最も低くなるため、その速度ベクトルｖｉ’が次の一歩として選択される。
【００５４】
上述した歩行者の予測進路モデルは、歩行者の様々な行動特性に適用可能なモデルとなっており、制約の多い車両の予測進路モデルに比べて、実際の歩行者の動きを高精度に予測可能とするものである。例えば、多数の歩行者が密集しているような場合には、お互いの歩行者が近づきながらも一定の距離を保つように予測され、歩行者が少ない場合には、歩行者が目的地に向かって最短の距離で進むように予測される。
【００５５】
また、パラメータλ０〜λ２の値を調整することで、歩行者同士の一定距離を保つエネルギー、歩行者の歩行速度を維持するエネルギー、歩行者が目的地に最短距離で進もうとするエネルギーのうち、いずれを重視するかを調整することができ、場所や集団の特性を反映した予測進路モデルを柔軟に構築することが可能となる。
【００５６】
さらに、上述した予測進路モデルを用いることにより、歩行者の次の一歩の予測を指定ステップ分だけ繰り返すことで、任意の未来時間における歩行者の進路予測を行い、歩行者の追跡を実施することができる。
【００５７】
図６は、画像認識により検出された歩行者の移動経路の一例を示した図である。なお、歩行者の検出方法としては、例えばＨＯＧ（Histograms of Oriented Gradients）やＳＶＭ（Support Vector Machine）が用いられる。
【００５８】
図６において、ある画像フレームで点Ｑ１の位置に歩行者が検出された場合には、その前の画像フレームの検出位置Ｑ０及び現在の検出位置Ｑ１から、現在の検出位置Ｑ１での速度ベクトルが求められる。そして、上述した方法により当該速度ベクトルを基にして歩行者の進路を予測したときに、次の時間ステップにおいて位置Ｑ２に歩行者が来るものと予測されたとする。
【００５９】
このとき、予測誤差を考慮しても、位置Ｑ２から一定の範囲Ｒ内に歩行者が存在すると仮定し、その範囲Ｒ内のみ画像認識処理を行うようにする。これにより、関係ない背景を歩行者と間違えて検出してしまうこと（誤検出）を低減することができる。なお、範囲Ｒは、図示のような矩形に限らず、円や楕円等でも良い。
【００６０】
また、位置Ｑ１での認識に用いたＨＯＧ特徴量と位置Ｑ２での認識に用いたＨＯＧ特徴量とが近い値である場合は、位置Ｑ１の歩行者と位置Ｑ２の歩行者とが同一であるとみなすことができる。従って、実際にはＱ０→Ｑ１→Ｑ２→Ｑ３→Ｑ４の経路で移動する歩行者とＱ１０→Ｑ１１→Ｑ１２→Ｑ１３→Ｑ１４の経路で移動する歩行者とが接近して通過する場合に、一方の歩行者がＱ０→Ｑ１→Ｑ２→Ｑ１３→Ｑ１４の経路で移動し、他方の歩行者がＱ１０→Ｑ１１→Ｑ１２→Ｑ３→Ｑ４の経路で移動するものと間違えてしまうことが防止される。
【００６１】
このように上述した予測進路モデルを用いることで、複数の歩行者の追跡を正確に行うことができる。このとき、歩行者の進路予測の確からしさが上がるほど、歩行者の追跡をより正確に行うことが可能となる。
【００６２】
図１に戻り、歩行者移動推定部６は、上述した予測進路モデルを用いて歩行者の進路を予測し、歩行者の追跡を行う。この歩行者移動推定部６による歩行者移動推定処理の手順を図７に示す。
【００６３】
図７において、まず画像処理部４により得られた画像データを入力する（ステップＳ１１）。続いて、その画像データから全ての歩行者を検出する（ステップＳ１２）。そして、各歩行者の現在の位置及び速度ベクトルから、各歩行者のｔ秒後の位置及び速度ベクトルを求める（ステップＳ１３）。
【００６４】
次いで、ある歩行者（特定歩行者とする）と特定歩行者の周囲に存在する他の歩行者との距離に関するエネルギー項Ｉｉを求める（ステップＳ１４）。また、特定歩行者の歩行速度に関するエネルギー項Ｓｉを求める（ステップＳ１５）。さらに、特定歩行者の目的地に関するエネルギー項Ｄｉを求める（ステップＳ１６）。そして、各エネルギー項Ｉｉ，Ｓｉ，Ｄｉと記憶部５に記憶された重み係数λ０〜λ２とを用いて、特定歩行者についてのエネルギー関数Ｅｉを求める（ステップＳ１７）。
【００６５】
次いで、そのエネルギー関数Ｅｉに基づいて特定歩行者の進路を予測する（ステップＳ１８）。具体的には、特定歩行者のｔ秒後の速度ベクトルのうちエネルギー関数Ｅｉが最小値となる速度ベクトルを特定歩行者の次の一歩とする。そして、歩行者の進路予測結果に基づいて歩行者の追跡を行う（ステップＳ１９）。
【００６６】
以上において、カメラ２とＥＣＵ３の画像処理部４と同歩行者移動推定部６のステップＳ１１〜Ｓ１３は、歩行者の移動情報及び歩行者の周辺に存在する移動体の移動情報を取得する移動情報取得手段を構成する。歩行者移動推定部６のステップＳ１４は、歩行者の移動情報及び移動体の移動情報に基づいて、歩行者と移動体との距離に関する情報を取得する距離関連情報取得手段を構成する。ＥＣＵ３の記憶部５と同歩行者移動推定部６のステップＳ１７〜Ｓ１９とは、歩行者と移動体との距離に関する情報を用いて、歩行者の移動行動を推定する推定手段を構成する。
【００６７】
また、歩行者移動推定部６のステップＳ１５は、歩行者の歩行速度に関する情報を取得する速度関連情報取得手段を構成する。歩行者移動推定部６のステップＳ１６は、歩行者の目的地に関する情報を取得する目的地関連情報取得手段を構成する。
【００６８】
以上のように本実施形態にあっては、歩行者は他の歩行者との距離を一定以上に保とうとする性質を考慮したエネルギー項Ｉｉを用いて、歩行者の総不快度数を表すエネルギー関数Ｅｉを求め、そのエネルギー関数Ｅｉに基づいて歩行者の進路を予測するようにしたので、例えば歩行者が他の歩行者から離れようとして急に動く場合でも、歩行者の進路を適切に予測することができる。
【００６９】
また、歩行者の進路を予測する際には、そのようなエネルギー項Ｉｉに加えて、歩行者が一定の速度を保とうとする性質を考慮したエネルギー項Ｓｉ及び歩行者が特定の目的地に向かって進もうとする性質を考慮したエネルギー項Ｄｉをも用いるので、歩行者の進路をより適切に予測することができる。
【００７０】
これにより、歩行者の移動行動を高精度に推定し、歩行者の追跡性能を向上させることが可能となる。
【００７１】
なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態では、歩行者と他の歩行者との距離の情報を取得しているが、歩行者同士の距離の情報だけでなく、歩行者と自転車等の移動体との距離の情報も取得して、歩行者の移動行動を推定しても良い。
【００７２】
また、上記実施形態では、カメラ２により取得した撮像画像から歩行者を検出しているが、これ以外にも、レーザレーダやミリ波レーダ等のセンサにより歩行者を検出しても良い。
【符号の説明】
【００７３】
１…歩行者移動推定装置、２…カメラ（移動情報取得手段）、３…ＥＣＵ、４…画像処理部（移動情報取得手段）、５…記憶部（推定手段）、６…歩行者移動推定部（移動情報取得手段、距離関連情報取得手段、速度関連情報取得手段、目的地関連情報取得手段、推定手段）。
【技術分野】
【０００１】
本発明は、歩行者の移動行動を推定する歩行者移動推定装置及び方法に関するものである。
【背景技術】
【０００２】
従来の歩行者移動推定装置及び方法としては、例えば特許文献１に記載されているものが知られている。特許文献１に記載のものでは、移動物体の画素パターンの情報等から歩行者を検出し、当該歩行者の両脚支持時間及び最大歩幅を求め、これらの情報に基づいて歩行者が停止するかどうかを判断し、その判断結果も用いて歩行者の将来位置を予測して当該歩行者が存在し得る範囲を特定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術においては、以下の問題点が存在する。即ち、歩行者の多い市街地等では、歩行者は車両等と比較して急激に動くことが多い。このため、歩行者の直前の動きから線形的に歩行者の移動行動を推定する手法では、推定精度を上げることができない。
【０００５】
本発明の目的は、歩行者の移動行動を高精度に推定することができる歩行者移動推定装置及び方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明の歩行者移動推定装置は、歩行者の移動情報及び歩行者の周辺に存在する少なくとも１つの移動体の移動情報を取得する移動情報取得手段と、歩行者の移動情報及び移動体の移動情報に基づいて、歩行者と移動体との距離に関する情報を取得する距離関連情報取得手段と、歩行者と移動体との距離に関する情報を用いて、歩行者の移動行動を推定する推定手段とを備えることを特徴とするものである。
【０００７】
一般に歩行者は、他の歩行者等の移動体との距離を一定以上に保つという習性をもっている。そこで、歩行者の移動情報及び当該歩行者の周辺に存在する少なくとも１つの移動体の移動情報を取得し、これらの移動情報に基づいて歩行者と移動体との距離に関する情報を取得し、歩行者と移動体との距離に関する情報を用いて歩行者の移動行動を推定することにより、例えば歩行者の動きが他の歩行者等の移動体に反応して急激に変化する場合でも、歩行者の移動行動を適切に推定することができる。これにより、歩行者の移動行動の推定精度を向上させることができる。
【０００８】
好ましくは、歩行者の歩行速度に関する情報を取得する速度関連情報取得手段を更に備え、推定手段は、歩行者と移動体との距離に関する情報と歩行者の歩行速度に関する情報とを用いて、歩行者の移動行動を推定する。歩行者は、通常は現在の歩行速度をそのまま維持しようとする。従って、歩行者の移動行動を推定する際に、歩行者の歩行速度に関する情報を考慮することで、歩行者の移動行動をより精度良く推定することができる。
【０００９】
また、好ましくは、歩行者の目的地に関する情報を取得する目的地関連情報取得手段を更に備え、推定手段は、歩行者と移動体との距離に関する情報と歩行者の目的地に関する情報とを用いて、歩行者の移動行動を推定する。歩行者は、通常は目的地への進行方向をそのまま維持しようとする。従って、歩行者の移動行動を推定する際に、歩行者の目的地に関する情報を考慮することで、歩行者の移動行動をより精度良く推定することができる。
【００１０】
本発明の歩行者移動推定方法は、歩行者の移動情報及び歩行者の周辺に存在する少なくとも１つの移動体の移動情報を取得するステップと、歩行者の移動情報及び移動体の移動情報に基づいて、歩行者と移動体との距離に関する情報を取得するステップと、歩行者と移動体との距離に関する情報を用いて、歩行者の移動行動を推定するステップとを含むことを特徴とするものである。
【００１１】
このような歩行者移動推定方法を実施することにより、上述したように歩行者の動きが他の歩行者等の移動体に反応して急激に変化する場合でも、歩行者の移動行動を適切に推定することができる。これにより、歩行者の移動行動の推定精度を向上させることができる。
【発明の効果】
【００１２】
本発明によれば、歩行者の移動行動を高精度に推定することができる。これにより、例えば歩行者の移動行動の推定技術を用いて歩行者の追跡を行う場合に、追跡性能を向上させることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係わる歩行者移動推定装置の一実施形態の概略構成を示すブロック図である。
【図２】歩行者同士の距離と不快感との関係の一例を示すグラフである。
【図３】歩行者同士の距離と不快感との関係の他の例を示すグラフである。
【図４】ビルの上階の窓から下方のビル入り口付近を撮影して得られた画像の一例を示す概略図である。
【図５】歩行者の次の一歩の速度ベクトルを変化させた時の不快度数の一例を示すグラフである。
【図６】画像認識により検出された歩行者の移動経路の一例を示す図である。
【図７】図１に示した歩行者移動推定部による歩行者移動推定処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明に係わる歩行者移動推定装置及び方法の好適な実施形態について、図面を参照して詳細に説明する。
【００１５】
図１は、本発明に係わる歩行者移動推定装置の一実施形態の概略構成を示すブロック図である。同図において、本実施形態の歩行者移動推定装置１は、画像認識により歩行者を検出し、歩行者の移動進路を予測して歩行者を追跡する装置である。
【００１６】
歩行者移動推定装置１は、歩行者を撮像するカメラ２と、このカメラ２と接続されたＥＣＵ（Electronic Control Unit）３とを備えている。カメラ２は、ビル等の高所に固定設置されていても良いし、車両等の移動体に搭載されていても良い。
【００１７】
ＥＣＵ３は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、入出力回路等により構成されている。ＥＣＵ３は、画像処理部４と、記憶部５と、歩行者移動推定部６とを有している。
【００１８】
画像処理部４は、カメラ２により取得された歩行者の撮像画像に対してフィルタ処理、２値化処理、特徴抽出処理等の画像処理を施し、画像フレーム（画像データ）を生成する。記憶部５には、歩行者移動推定部６による演算処理に使用されるパラメータ等が記憶されている。
【００１９】
歩行者移動推定部６は、画像処理部４で生成された画像フレームに基づいて所定の演算処理を行って歩行者の進路を予測し、更に歩行者の追跡を実行する。このとき、歩行者移動推定部６は、歩行者の行動を規定するモデルを用いて、歩行者の進路予測及び追跡を行う。
【００２０】
まず、歩行者の行動を規定するモデルについて説明する。歩行者の進路を予測するポイントは、歩行者の行動を、歩行者の次の一歩を求めるためのエネルギー関数として定式化したことにある。
【００２１】
歩行者の次の一歩は、現在の歩行者の位置を起点とした速度ベクトルｖで表現される。速度ベクトルｖは、速度及び方向の情報を含む。その速度ベクトルｖで単位時間ｔｓ秒だけ進んだ歩行者の位置が、単位時間ｔｓ後の歩行者の予測位置となる。単位時間ｔｓは、歩行者の動きを直進運動であると仮定できる十分短い時間であり、例えば０．４秒である。単位時間ｔｓ後の歩行者の位置を予測し、その予測した歩行者の位置を基点として更に単位時間ｔｓ秒の位置を予測するといったことを繰り返すことで、任意の時間先までの歩行者の移動進路を予測することができる。
【００２２】
歩行者の動きは、二次元平面上での動きとして表現することができる。このため、歩行者の速度ベクトルｖは、ｘ−ｙ平面上の速度ｖｘ，ｖｙの２つの要素で表現される。ここで、ｉ番目の歩行者をＰｉとすると、歩行者Ｐｉの速度ベクトルｖｉは、次のように表現される。ただし、ｖｉｘ，ｖｉｙは、歩行者Ｐｉのｘ軸上及びｙ軸上の速度である。
ｖｉ＝［ｖｉｘ，ｖｉｙ］Ｔ
【００２３】
さて、歩行者Ｐｉの次の一歩の速度ベクトルをｖｉ’とし、歩行者Ｐｉの次の一歩を求めるためのエネルギー関数を以下のように定義する。
Ｅｉ(ｖｉ’)＝λ０Ｉｉ(ｖｉ’)＋λ１Ｓｉ(ｖｉ’)＋λ２Ｄｉ(ｖｉ’) …（Ａ）
【００２４】
エネルギー関数Ｅｉは、３つのエネルギー項Ｉｉ，Ｓｉ，Ｄｉの重み付け線形和である。各エネルギー項の重み係数は、λ０，λ１，λ２である。かかるエネルギー関数Ｅｉを最小にするような速度ベクトルｖｉ’を求めることが、歩行者Ｐｉの次の一歩を求めることになる。
【００２５】
次いで、関数Ｉｉ，Ｓｉ，Ｄｉについて詳細に説明する。ここでは、歩行者の行動を決める条件として、以下の３つを仮定している。
【００２６】
（１）歩行者同士の距離は一定以上に保たれる
一般に歩行者は、他の歩行者との距離が近すぎると不快に感じるため、他の歩行者との間にある程度以上の距離を保とうとする。歩行者同士が密着しているとき（各歩行者間の距離がゼロのとき）が最も不快感が高く、各歩行者間の距離が離れるにつれて不快感は急速に減少していき、ある程度以上の距離になると殆ど不快感は感じなくなる。
【００２７】
歩行者Ｐｉと他の歩行者Ｐｊとの距離をｄｉｊとし、不快感（不快度数）をＦｉｊとすると、歩行者Ｐｉ，Ｐｊ間の距離ｄｉｊと不快感Ｆｉｊとの関係は、図２に示すように、正規分布関数として表現される。この時の正規分布関数は、例えば次式のように表現することができる。
Ｆｉｊ＝ｅ＾（−（ｄｉｊ２／２σｄ２））
【００２８】
ここで、σｄは、分布の広がりを示すパラメータであり、歩行者の性質や場所等に応じて適切に設定可能である。例えば、朝夕の駅のように混雑した場所であれば、歩行者同士の距離を長くとることができず、歩行者同士の距離が近くても許容せざるを得ないため、σｄを小さく設定すべきである。広い場所で歩行者の数が少ない場合には、σｄを大きく設定すべきである。また、σｄは、人種や民族の特性を反映することも可能である。
【００２９】
なお、歩行者Ｐｉ，Ｐｊ間の距離ｄｉｊと不快感Ｆｉｊとの関係に適用される関数としては、特に上記のような正規分布関数に限定することは無く、図３（ａ）に示すような非線形の関数としても良いし、図３（ｂ）に示すような線形の関数としても良い。
【００３０】
以上は１組の歩行者（歩行者Ｐｉと歩行者Ｐｊ）の関係のみについてであるが、実際には歩行者Ｐｉに対して周囲の全ての歩行者との関係を考慮する必要がある。そこで、歩行者Ｐｉ以外の他の歩行者をＰｒ（ｒ≠ｉ）とし、歩行者Ｐｉと他の全ての歩行者Ｐｒとの間に生じる不快感Ｆｉｒの和を、以下のように定義する。
【数１】
【００３１】
ただし、ｗｒ（ｉ）は、歩行者Ｐｉに対する歩行者Ｐｒの不快感を調節するためのパラメータである。ｗｒ（ｉ）は、全ての歩行者に対して一定の値（例えば１）を設定しても良いし、二者の距離や進行方向の角度差等を考慮して設定しても良い。距離及び進行方向の角度差を考慮する場合は、例えば以下のように定義する。
ｗｒ（ｉ）＝ｗｒｄ（ｉ）＊ｗｒφ（ｉ）
ｗｒｄ（ｉ）＝ｅ＾（−（ｄｉｒ２／２σｗ２））
ｗｒφ（ｉ）＝（（１＋ｃｏｓφ）／２）β
【００３２】
ここで、ｄｉｒは、歩行者Ｐｉ，Ｐｒ間の距離であり、φは、歩行者Ｐｉ，Ｐｒの進行方向の角度差を表している。上記式は、１組の歩行者について、お互いの距離が近いほど、またお互い近い方向を向いているほど、重み係数であるｗｒ（ｉ）が大きくなることを示している。現在の二人の距離が既に短い場合は、不快感の増大が予想されるため、次の一歩では更に近づく方向には行かないと考えられ、また二人がほぼ同じ方向を向いている場合は、同様に不快感の増大が予想されるため、次の一歩ではその方向には行かないと考えられるからである。
【００３３】
以上により、エネルギー項Ｉｉは、歩行者Ｐｉとその周囲の歩行者Ｐｒとの間に生じる不快感の総和を意味することになる。そして、このエネルギー項Ｉｉが最も小さくなるように歩行者Ｐｉの次の一歩の速度ベクトルｖｉ’を決めるというモデルが構築されることになる。なお、エネルギー項Ｉｉは、速度ベクトルｖｉ’によって変化する関数であるため、正しくは上記（Ａ）式のようにＩｉ(ｖｉ’)と記述される。また、ｄｉｊは、次の一歩となる単位時間ｔｓ秒後の歩行者Ｐｉ，Ｐｊ間の距離である。
【００３４】
以上のようなエネルギー項Ｉｉ(ｖｉ’)を定義することにより、歩行者と周囲の他の歩行者との距離が近いことで生じる不快感を最小限にするという、人間の社会行動特性に当てはまる数学モデルを構築することができる。また、歩行者は、車両と異なり、接触しながら（肩が触れ合う等）の歩行もあり得る。エネルギー項Ｉｉ(ｖｉ’)は、歩行者同士の接触も許容可能なモデルであるため、混雑度等に応じてσｄ等のパラメータを調整することで、実際の歩行者の挙動に近いモデルを提供することができる。さらに、場所の特性に応じてσｄ等のパラメータを調整することで、例えば細い道と広場といった歩行者の行動の傾向が異なるような場合でも、適用可能である。
【００３５】
（２）歩行者は一定の速度を保とうとする
一般に歩行者は、一定の歩行速度を維持しようとする性質を有し、その歩行速度からのズレが大きいほど不快を感じるものである。歩行者Ｐｉの好みの歩行速度をｕｉとすると、不快度数Ｓｉ(ｖｉ’)は、以下のように定義される。
【数２】
【００３６】
ここで、歩行者Ｐｉの好みの歩行速度ｕｉは、環境に応じて予め計測した複数の歩行者の平均速度にしても良いし、歩行者Ｐｉの直前の速度にしても良いし、過去の数秒間の平均速度にしても良いし、周囲の歩行者の平均速度にしても良い。
【００３７】
以上のようなエネルギー項Ｓｉ(ｖｉ’)を定義することにより、歩行者が自分の歩行ペースを保とうとする、人間の行動特性を反映したモデルを構築することができる。また、歩行者の歩行速度は、車両のように周囲のオブジェクトの速度に影響されることは少ない。このため、上記のエネルギー項Ｉｉ(ｖｉ’)と独立したエネルギー項Ｓｉ(ｖｉ’)を設定することで、現実の動きに近いモデルを構築することができる。
【００３８】
（３）歩行者は目的地に向かって進もうとする
一般に歩行者は、特定の目的地に向かって進もうとし、目的地からずれるほど不快感が増すものである。歩行者Ｐｉの目的地をｚｉ、歩行者Ｐｉの現在の位置をｋｉとすると、不快度数Ｄｉ(ｖｉ’)は、以下のように定義される。
【数３】
【００３９】
ここで、目的地ｚｉは、環境に応じて設定しても良いし、これまで歩行者Ｐｉが歩いてきた方向の延長線上に設定しても良い。目的地ｚｉを環境に応じて設定する場合は、例えば近くに建物の入口があれば、その入口を目的地ｚｉと設定する。また、横断歩道では、横断歩道の端を目的地ｚｉと設定する。この場合、地図情報を用いることで、目的地ｚｉをより正しく設定することができる。
【００４０】
以上のようなエネルギー項Ｄｉ(ｖｉ’)を定義することにより、歩行者が目的地に向かって進む、という歩行者の基本的な行動特性を反映したモデルを構築することができる。また、目的地ｚｉは自由に定義可能であるから、道路上を走行する必要があったり交通ルールを守る必要があるといった制約がある車両の予測モデルに比べ、実際の歩行者の動きに近いモデルを構築することができる。
【００４１】
以上の（１）〜（３）項において定義されたエネルギー項Ｉｉ(ｖｉ’)，Ｓｉ(ｖｉ’)，Ｄｉ(ｖｉ’)の重み付けの線形和であるエネルギー関数Ｅｉ(ｖｉ’)が、歩行者の進路予測のためのモデルになる。エネルギー関数Ｅｉ(ｖｉ’)は、上記（Ａ）式で表される。
【００４２】
上記（Ａ）式において、重み係数λ０〜λ２のパラメータは、経験的にアルゴリズムの設計者が決めても良いが、実際の歩行者の動きから学習によって求めることも可能である。特に据付カメラを用いる場合は環境が一定であり、歩行者の行動は過去の観測結果と同等であると推測されるため、学習による効果は大きい。
【００４３】
学習によりパラメータを決定する場合は、据付カメラにより複数の歩行者の撮像画像を取得する。図４は、一例としてビルの上階の窓から下方のビル入り口付近を撮影して得られたものであり、複数の歩行者が映っている。据付カメラにより得られた撮像画像において、手作業あるいは背景差分等の方法を用いて、各歩行者の位置を特定し、各歩行者の移動情報を取得する。図４中の丸印は、各歩行者Ｐの現在位置を示し、図４中の線は、各歩行者Ｐの移動軌跡を示している。このようにして取得した各歩行者Ｐの移動情報を基にしてパラメータを学習する。
【００４４】
具体的には、まず１人の歩行者（歩行者ＰＡとする）について、上述した進路予測モデルを用いてｔ秒後の位置を予測する。このとき、パラメータとしては任意の値を設定する。歩行者ＰＡの実際の動きは上記の通り分かっているため、任意のパラメータで予測された歩行者ＰＡの位置と歩行者ＰＡの実際の位置との距離差を計算する。この距離差としては、距離の二乗等の値を用いる。
【００４５】
別の歩行者についても、同様に予測された位置と実際の位置との距離差を計算する。このとき、パラメータ値としては、歩行者ＰＡについての距離差計算時に使用したものと同じものを使用する。このようにして、全ての歩行者について同じパラメータ値を用い、それぞれの距離差を求める。そして、全ての歩行者についての距離差の合計を求める。
【００４６】
ここで、使用するパラメータの値を変えると、歩行者の予測位置が変化し、これに伴って予測位置と実際の位置との距離差も変化する。このため、全ての歩行者についての距離差の合計も変化する。従って、この距離差の合計が小さくなるように、例えば最急降下法等の手法を用いてパラメータ値を繰り返し修正していく。そして、距離差の合計が変化しなくなったら、その時のパラメータ値を採用することに決定する。
【００４７】
複数のパラメータの最適な組み合わせを求めるのは、パラメータ数が多くなると難しくなってくる。そこで、例えば遺伝的アルゴリズムを用い、任意に設定された複数のパラメータの組を同時に評価して演算し、時々パラメータを任意に設定し直す（遺伝的アルゴリズムにおける突然変異）ようにして、最適なパラメータを求めても良い。
【００４８】
このようにして求めたパラメータは、実際の歩行者の行動を基に設定されたものであるため、予測の精度が高く、歩行者の追跡の精度向上に寄与することができる。
【００４９】
また、カメラが車両に搭載されている場合には、カメラが移動するため、予め学習することはできない。この場合には、場所の性質に応じてパラメータの値を適宜切り換えることで対応可能となる。場所の性質は、例えばＧＰＳのような位置情報取得装置と地図情報から得ることができる。例えば、場所が横断歩道上である場合には、歩行者は横断歩道の端を目的地として移動することが殆どであるため、λ２を大きくして、目的地へ向かって移動するという制約を強くしたモデルで進路を予測する。非常に混雑した状況では、歩行者同士の距離が短くても許容せざるを得ないため、λ０を小さくして、歩行者同士の距離の制約を弱めるモデルで進路を予測する。
【００５０】
以上のようにして得られる上記（Ａ）式の総不快度数Ｅｉ(ｖｉ’)は、歩行者Ｐｉが次の一歩をどのように踏み出すかで変化するものである。ここでは、上述したように総不快度数Ｅｉ(ｖｉ’)を最小とするような速度ベクトルｖｉ’を求めることで、歩行者Ｐｉの次の一歩を予測する。
【００５１】
図５は、歩行者Ｐｉの次の一歩の速度ベクトルｖｉ’を変化させた時の不快度数の一例を示したものである。図５において、Ｐ１，Ｐ２は、それぞれ歩行者を示している。白点Ａ１は、歩行者Ｐ１が現在の速度及び方向を維持して進んだ場合の次の一歩の速度ベクトルｖｉ’を示し、白点Ａ２は、歩行者Ｐ２が現在の速度及び方向を維持して進んだ場合の次の一歩の速度ベクトルｖｉ’を示している。
【００５２】
ここでは、点Ａ１，Ａ２で示す方向に対して左右６０度を１０度刻みで変化させ、更に点Ａ１，Ａ２で示す速度に対して前後０．３ｍ／ｓ変化させた場合の不快度数を表している。このとき、黒塗り部分、ハッチング部分、ドット部分、白抜き部分の順に、不快度が低くなっている。
【００５３】
歩行者Ｐ１については、上記（１）〜（３）項の条件を満足する黒点Ｂ１で示す速度ベクトルｖｉ’において不快度が最も低くなるため、その速度ベクトルｖｉ’が次の一歩として選択される。歩行者Ｐ２については、同様に上記（１）〜（３）項の条件を満足する黒点Ｂ２で示す速度ベクトルｖｉ’において不快度が最も低くなるため、その速度ベクトルｖｉ’が次の一歩として選択される。
【００５４】
上述した歩行者の予測進路モデルは、歩行者の様々な行動特性に適用可能なモデルとなっており、制約の多い車両の予測進路モデルに比べて、実際の歩行者の動きを高精度に予測可能とするものである。例えば、多数の歩行者が密集しているような場合には、お互いの歩行者が近づきながらも一定の距離を保つように予測され、歩行者が少ない場合には、歩行者が目的地に向かって最短の距離で進むように予測される。
【００５５】
また、パラメータλ０〜λ２の値を調整することで、歩行者同士の一定距離を保つエネルギー、歩行者の歩行速度を維持するエネルギー、歩行者が目的地に最短距離で進もうとするエネルギーのうち、いずれを重視するかを調整することができ、場所や集団の特性を反映した予測進路モデルを柔軟に構築することが可能となる。
【００５６】
さらに、上述した予測進路モデルを用いることにより、歩行者の次の一歩の予測を指定ステップ分だけ繰り返すことで、任意の未来時間における歩行者の進路予測を行い、歩行者の追跡を実施することができる。
【００５７】
図６は、画像認識により検出された歩行者の移動経路の一例を示した図である。なお、歩行者の検出方法としては、例えばＨＯＧ（Histograms of Oriented Gradients）やＳＶＭ（Support Vector Machine）が用いられる。
【００５８】
図６において、ある画像フレームで点Ｑ１の位置に歩行者が検出された場合には、その前の画像フレームの検出位置Ｑ０及び現在の検出位置Ｑ１から、現在の検出位置Ｑ１での速度ベクトルが求められる。そして、上述した方法により当該速度ベクトルを基にして歩行者の進路を予測したときに、次の時間ステップにおいて位置Ｑ２に歩行者が来るものと予測されたとする。
【００５９】
このとき、予測誤差を考慮しても、位置Ｑ２から一定の範囲Ｒ内に歩行者が存在すると仮定し、その範囲Ｒ内のみ画像認識処理を行うようにする。これにより、関係ない背景を歩行者と間違えて検出してしまうこと（誤検出）を低減することができる。なお、範囲Ｒは、図示のような矩形に限らず、円や楕円等でも良い。
【００６０】
また、位置Ｑ１での認識に用いたＨＯＧ特徴量と位置Ｑ２での認識に用いたＨＯＧ特徴量とが近い値である場合は、位置Ｑ１の歩行者と位置Ｑ２の歩行者とが同一であるとみなすことができる。従って、実際にはＱ０→Ｑ１→Ｑ２→Ｑ３→Ｑ４の経路で移動する歩行者とＱ１０→Ｑ１１→Ｑ１２→Ｑ１３→Ｑ１４の経路で移動する歩行者とが接近して通過する場合に、一方の歩行者がＱ０→Ｑ１→Ｑ２→Ｑ１３→Ｑ１４の経路で移動し、他方の歩行者がＱ１０→Ｑ１１→Ｑ１２→Ｑ３→Ｑ４の経路で移動するものと間違えてしまうことが防止される。
【００６１】
このように上述した予測進路モデルを用いることで、複数の歩行者の追跡を正確に行うことができる。このとき、歩行者の進路予測の確からしさが上がるほど、歩行者の追跡をより正確に行うことが可能となる。
【００６２】
図１に戻り、歩行者移動推定部６は、上述した予測進路モデルを用いて歩行者の進路を予測し、歩行者の追跡を行う。この歩行者移動推定部６による歩行者移動推定処理の手順を図７に示す。
【００６３】
図７において、まず画像処理部４により得られた画像データを入力する（ステップＳ１１）。続いて、その画像データから全ての歩行者を検出する（ステップＳ１２）。そして、各歩行者の現在の位置及び速度ベクトルから、各歩行者のｔ秒後の位置及び速度ベクトルを求める（ステップＳ１３）。
【００６４】
次いで、ある歩行者（特定歩行者とする）と特定歩行者の周囲に存在する他の歩行者との距離に関するエネルギー項Ｉｉを求める（ステップＳ１４）。また、特定歩行者の歩行速度に関するエネルギー項Ｓｉを求める（ステップＳ１５）。さらに、特定歩行者の目的地に関するエネルギー項Ｄｉを求める（ステップＳ１６）。そして、各エネルギー項Ｉｉ，Ｓｉ，Ｄｉと記憶部５に記憶された重み係数λ０〜λ２とを用いて、特定歩行者についてのエネルギー関数Ｅｉを求める（ステップＳ１７）。
【００６５】
次いで、そのエネルギー関数Ｅｉに基づいて特定歩行者の進路を予測する（ステップＳ１８）。具体的には、特定歩行者のｔ秒後の速度ベクトルのうちエネルギー関数Ｅｉが最小値となる速度ベクトルを特定歩行者の次の一歩とする。そして、歩行者の進路予測結果に基づいて歩行者の追跡を行う（ステップＳ１９）。
【００６６】
以上において、カメラ２とＥＣＵ３の画像処理部４と同歩行者移動推定部６のステップＳ１１〜Ｓ１３は、歩行者の移動情報及び歩行者の周辺に存在する移動体の移動情報を取得する移動情報取得手段を構成する。歩行者移動推定部６のステップＳ１４は、歩行者の移動情報及び移動体の移動情報に基づいて、歩行者と移動体との距離に関する情報を取得する距離関連情報取得手段を構成する。ＥＣＵ３の記憶部５と同歩行者移動推定部６のステップＳ１７〜Ｓ１９とは、歩行者と移動体との距離に関する情報を用いて、歩行者の移動行動を推定する推定手段を構成する。
【００６７】
また、歩行者移動推定部６のステップＳ１５は、歩行者の歩行速度に関する情報を取得する速度関連情報取得手段を構成する。歩行者移動推定部６のステップＳ１６は、歩行者の目的地に関する情報を取得する目的地関連情報取得手段を構成する。
【００６８】
以上のように本実施形態にあっては、歩行者は他の歩行者との距離を一定以上に保とうとする性質を考慮したエネルギー項Ｉｉを用いて、歩行者の総不快度数を表すエネルギー関数Ｅｉを求め、そのエネルギー関数Ｅｉに基づいて歩行者の進路を予測するようにしたので、例えば歩行者が他の歩行者から離れようとして急に動く場合でも、歩行者の進路を適切に予測することができる。
【００６９】
また、歩行者の進路を予測する際には、そのようなエネルギー項Ｉｉに加えて、歩行者が一定の速度を保とうとする性質を考慮したエネルギー項Ｓｉ及び歩行者が特定の目的地に向かって進もうとする性質を考慮したエネルギー項Ｄｉをも用いるので、歩行者の進路をより適切に予測することができる。
【００７０】
これにより、歩行者の移動行動を高精度に推定し、歩行者の追跡性能を向上させることが可能となる。
【００７１】
なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態では、歩行者と他の歩行者との距離の情報を取得しているが、歩行者同士の距離の情報だけでなく、歩行者と自転車等の移動体との距離の情報も取得して、歩行者の移動行動を推定しても良い。
【００７２】
また、上記実施形態では、カメラ２により取得した撮像画像から歩行者を検出しているが、これ以外にも、レーザレーダやミリ波レーダ等のセンサにより歩行者を検出しても良い。
【符号の説明】
【００７３】
１…歩行者移動推定装置、２…カメラ（移動情報取得手段）、３…ＥＣＵ、４…画像処理部（移動情報取得手段）、５…記憶部（推定手段）、６…歩行者移動推定部（移動情報取得手段、距離関連情報取得手段、速度関連情報取得手段、目的地関連情報取得手段、推定手段）。
【特許請求の範囲】
【請求項１】
歩行者の移動情報及び前記歩行者の周辺に存在する少なくとも１つの移動体の移動情報を取得する移動情報取得手段と、
前記歩行者の移動情報及び前記移動体の移動情報に基づいて、前記歩行者と前記移動体との距離に関する情報を取得する距離関連情報取得手段と、
前記歩行者と前記移動体との距離に関する情報を用いて、前記歩行者の移動行動を推定する推定手段とを備えることを特徴とする歩行者移動推定装置。
【請求項２】
前記歩行者の歩行速度に関する情報を取得する速度関連情報取得手段を更に備え、
前記推定手段は、前記歩行者と前記移動体との距離に関する情報と前記歩行者の歩行速度に関する情報とを用いて、前記歩行者の移動行動を推定することを特徴とする請求項１記載の歩行者移動推定装置。
【請求項３】
前記歩行者の目的地に関する情報を取得する目的地関連情報取得手段を更に備え、
前記推定手段は、前記歩行者と前記移動体との距離に関する情報と前記歩行者の目的地に関する情報とを用いて、前記歩行者の移動行動を推定することを特徴とする請求項１記載の歩行者移動推定装置。
【請求項４】
歩行者の移動情報及び前記歩行者の周辺に存在する少なくとも１つの移動体の移動情報を取得するステップと、
前記歩行者の移動情報及び前記移動体の移動情報に基づいて、前記歩行者と前記移動体との距離に関する情報を取得するステップと、
前記歩行者と前記移動体との距離に関する情報を用いて、前記歩行者の移動行動を推定するステップとを含むことを特徴とする歩行者移動推定方法。
【請求項１】
歩行者の移動情報及び前記歩行者の周辺に存在する少なくとも１つの移動体の移動情報を取得する移動情報取得手段と、
前記歩行者の移動情報及び前記移動体の移動情報に基づいて、前記歩行者と前記移動体との距離に関する情報を取得する距離関連情報取得手段と、
前記歩行者と前記移動体との距離に関する情報を用いて、前記歩行者の移動行動を推定する推定手段とを備えることを特徴とする歩行者移動推定装置。
【請求項２】
前記歩行者の歩行速度に関する情報を取得する速度関連情報取得手段を更に備え、
前記推定手段は、前記歩行者と前記移動体との距離に関する情報と前記歩行者の歩行速度に関する情報とを用いて、前記歩行者の移動行動を推定することを特徴とする請求項１記載の歩行者移動推定装置。
【請求項３】
前記歩行者の目的地に関する情報を取得する目的地関連情報取得手段を更に備え、
前記推定手段は、前記歩行者と前記移動体との距離に関する情報と前記歩行者の目的地に関する情報とを用いて、前記歩行者の移動行動を推定することを特徴とする請求項１記載の歩行者移動推定装置。
【請求項４】
歩行者の移動情報及び前記歩行者の周辺に存在する少なくとも１つの移動体の移動情報を取得するステップと、
前記歩行者の移動情報及び前記移動体の移動情報に基づいて、前記歩行者と前記移動体との距離に関する情報を取得するステップと、
前記歩行者と前記移動体との距離に関する情報を用いて、前記歩行者の移動行動を推定するステップとを含むことを特徴とする歩行者移動推定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−７０３８４（Ｐ２０１１−７０３８４Ａ）
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願番号】特願２００９−２２０６４４（Ｐ２００９−２２０６４４）
【出願日】平成２１年９月２５日（２００９．９．２５）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０８１８８９７２）
【Ｆターム（参考）】
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願日】平成２１年９月２５日（２００９．９．２５）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０８１８８９７２）
【Ｆターム（参考）】
[ Back to top ]