環境マップ作成装置及び方法、行動予測装置及び方法
【課題】移動体の移動行動を高精度に推定することができる行動予測装置及び方法を提供する。
【解決手段】 行動予測装置は、まず歩行者の撮像画像に基づいて、歩行者の次の速度ベクトルの妥当性を表す尤度マップを作成し、その尤度マップを、歩行者の単位時間後の位置についての確率密度を表す確率密度マップに変換する。そして、行動予測装置は、確率密度マップ上における確率密度の高い領域に複数の仮説を配置し、これらの仮説に対応する複数の予測移動進路を計算する。この場合の仮説とは、確率密度マップ上の一点に相当し、その点に対応する速度ベクトルで歩行者が次の単位時間進むということである。そして、その速度ベクトルから予測移動進路が得られる。
【解決手段】 行動予測装置は、まず歩行者の撮像画像に基づいて、歩行者の次の速度ベクトルの妥当性を表す尤度マップを作成し、その尤度マップを、歩行者の単位時間後の位置についての確率密度を表す確率密度マップに変換する。そして、行動予測装置は、確率密度マップ上における確率密度の高い領域に複数の仮説を配置し、これらの仮説に対応する複数の予測移動進路を計算する。この場合の仮説とは、確率密度マップ上の一点に相当し、その点に対応する速度ベクトルで歩行者が次の単位時間進むということである。そして、その速度ベクトルから予測移動進路が得られる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歩行者等の移動体に関する環境マップを作成する環境マップ作成装置及び方法、並びに移動体の行動を予測する行動予測装置及び方法に関するものである。
【背景技術】
【０００２】
従来の行動予測装置及び方法としては、例えば特許文献１に記載されているものが知られている。特許文献１に記載のものでは、移動物体の画素パターンの情報等から歩行者を検出し、当該歩行者の両脚支持時間及び最大歩幅を求め、これらの情報に基づいて歩行者が停止するかどうかを判断し、その判断結果も用いて歩行者の将来位置を予測して当該歩行者が存在し得る範囲を特定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術においては、以下の問題点が存在する。即ち、歩行者の多い市街地等では、歩行者は急激に動くことが多い。このため、歩行者の直前の動きから線形的に歩行者の移動行動を推定する手法では、推定精度を上げることができない。
【０００５】
本発明の目的は、移動体の移動行動を高精度に推定することができる環境マップ作成装置及び方法、行動予測装置及び方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、移動体に関する環境マップを作成する環境マップ作成装置であって、移動体を検出する移動体検出手段と、移動体検出手段により検出された移動体の所定時間後の位置についての確率密度を表す確率密度マップを環境マップとして作成する確率密度マップ作成手段とを備えることを特徴とするものである。
【０００７】
このように本発明の環境マップ作成装置においては、移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成する。従って、そのような確率密度マップを用いて移動体の進路を予測する場合に、例えば確率密度マップ上において確率が高くなる点を複数選択することにより、１つの移動体について複数の予測進路を得ることができる。これにより、移動体の移動行動の推定精度を向上させることができる。
【０００８】
好ましくは、確率密度マップを混合正規分布で表現する混合正規分布生成手段を更に備える。この場合には、混合正規分布を構成する複数の正規分布のパラメータ（中心値や高さ等）を求めることにより、１つの移動体について複数の予測進路を確実に得ることができる。
【０００９】
また、好ましくは、移動体検出手段により移動体が複数検出されたときに、複数の移動体が一つの集団に属するかどうかを判定する集団判定手段を更に備え、確率密度マップ作成手段は、集団判定手段により複数の移動体が一つの集団に属すると判定されたときは、当該集団を一つの移動体として、確率密度マップを作成する。複数の移動体が集団（グループ）で行動する場合には、各移動体の移動速度及び移動方向は同等となるはずである。そこで、複数の移動体が一つの集団に属すると判定されたときは、当該集団を一つの移動体として確率密度マップを作成することにより、そのような確率密度マップを用いて移動体の進路を予測する場合に、複数の移動体が集団で行動するときの進路を精度良く予測することができる。
【００１０】
また、本発明は、移動体の行動を予測する行動予測装置であって、移動体を検出する移動体検出手段と、移動体検出手段により検出された移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成する確率密度マップ作成手段と、確率密度マップ作成手段により作成された確率密度マップを用いて、移動体の進路を予測する進路予測手段とを備えることを特徴とするものである。
【００１１】
このように本発明の行動予測装置においては、移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成し、その確率密度マップを用いて移動体の進路を予測する。このとき、例えば確率密度マップ上において確率が高くなる点を複数選択することにより、１つの移動体について複数の予測進路を得ることができる。これにより、移動体の移動行動の推定精度を向上させることができる。
【００１２】
好ましくは、進路予測手段は、確率密度マップ上に複数の仮説を配置して、移動体の進路を予測する。この場合には、１つの移動体について複数の予測進路を確実に得ることができる。
【００１３】
また、確率密度マップを混合正規分布で表現する混合正規分布生成手段と、混合正規分布のパラメータを求めるパラメータ取得手段とを更に備え、進路予測手段は、移動体及び当該移動体に隣接する他の移動体に関する混合正規分布のパラメータに基づいて、移動体の進路を予測しても良い。この場合には、移動体及び当該移動体に隣接する他の移動体について、複数の予測進路を確実に得ることができる。
【００１４】
このとき、好ましくは、パラメータ取得手段は、確率密度マップを離散化して得られる離散化マップに基づいて、混合正規分布のパラメータを求める。この場合には、混合正規分布のパラメータを少ない計算量で簡易に求めることができる。
【００１５】
また、好ましくは、移動体検出手段により移動体が複数検出されたときに、複数の移動体が一つの集団に属するかどうかを判定する集団判定手段を更に備え、確率密度マップ作成手段は、集団判定手段により複数の移動体が一つの集団に属すると判定されたときは、当該集団を一つの移動体として、確率密度マップを作成する。この場合には、上述したように複数の移動体が集団で行動するときの進路を精度良く予測することができる。
【００１６】
さらに、進路予測手段は、確率密度マップを用いて予測された移動体の進路を初期値とし、複数の移動体の状態を条件付き確率場でモデル化することにより、複数の移動体が一つの集団に属するかどうかの判定と同時に、複数の移動体の進路を予測しても良い。この場合には、複数の移動体が一つの集団に属するかどうかの判定のみに要する時間が無くなるため、複数の移動体が集団で行動するときの進路の予測を短時間で行うことができる。
【００１７】
また、本発明は、移動体に関する環境マップを作成する環境マップ作成方法であって、移動体を検出するステップと、移動体の所定時間後の位置についての確率密度を表す確率密度マップを環境マップとして作成するステップとを含むことを特徴とするものである。
【００１８】
このように本発明の環境マップ作成方法においては、移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成することにより、上述したように１つの移動体について複数の予測進路を得ることができる。これにより、移動体の移動行動の推定精度を向上させることができる。
【００１９】
さらに、本発明は、移動体の行動を予測する行動予測方法であって、移動体を検出するステップと、移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成するステップと、確率密度マップを用いて、移動体の進路を予測するステップとを含むことを特徴とするものである。
【００２０】
このように本発明の行動予測方法においては、移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成し、その確率密度マップを用いて移動体の進路を予測することにより、上述したように１つの移動体について複数の予測進路を得ることができる。これにより、移動体の移動行動の推定精度を向上させることができる。
【発明の効果】
【００２１】
本発明によれば、移動体の移動行動を高精度に推定することができる。これにより、例えば移動体の移動行動の推定技術を用いて移動体の追跡を行う場合に、追跡性能を向上させることが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係わる行動予測装置の第１実施形態の概略構成を示すブロック図である。
【図２】図１に示した歩行者進路予測部により実行される処理手順の詳細を示すフローチャートである。
【図３】歩行者の次の速度ベクトルの妥当性を極座標で表現した尤度マップの一例を示す図である。
【図４】歩行者の次の速度ベクトルの妥当性を正方座標で表現した尤度マップの一例を示す図である。
【図５】図４に示した尤度マップに対応する確率密度マップを示す図である。
【図６】図５に示した確率密度マップ上に５個の仮説を配置した状態を示す図である。
【図７】歩行者の移動進路を順次予測していく様子を示す概略図である。
【図８】本発明に係わる行動予測装置の第２実施形態において歩行者進路予測部により実行される処理手順の詳細を示すフローチャートである。
【図９】図５に示した確率密度マップを混合正規分布で表現した状態を示す図である。
【図１０】図９に示した混合正規分布を構成する各正規確率分布を示す図である。
【図１１】２人の歩行者についての次の速度ベクトルの一例を示す概略図である。
【図１２】各歩行者の次の単位時間の位置を繰り返し求める様子を示す概略図である。
【図１３】簡易な方法で混合正規分布のパラメータを求める処理手順の詳細を示すフローチャートである。
【図１４】確率密度マップの一例と当該確率密度マップを離散化して得られる離散化マップとを二次元的に簡略化して示す図である。
【図１５】本発明に係わる行動予測装置の第３実施形態の概略構成を示すブロック図である。
【図１６】図１５に示した集団判定部により実行される処理手順の詳細を示すフローチャートである。
【図１７】歩行者同士が手をつないだ状態の照合パターンの一例を示す図である。
【図１８】図１５に示した集団判定部により実行される他の処理手順の詳細を示すフローチャートである。
【図１９】グループを形成している各歩行者とグループを形成していない各歩行者とが時間の経過とともに移動する様子を示す概略図である。
【図２０】本発明に係わる行動予測装置の第４実施形態の概略構成を示すブロック図である。
【図２１】図２０に示した集団判定・歩行者進路予測部により実行される処理手順の詳細を示すフローチャートである。
【図２２】条件付き確率場のグラフモデルの一例を示す概略図である。
【発明を実施するための形態】
【００２３】
以下、本発明に係わる環境マップ作成装置及び方法、行動予測装置及び方法の好適な実施形態について、図面を参照して詳細に説明する。なお、図面において、同一または同等の要素には同じ符号を付し、重複する説明を省略する。
【００２４】
まず、本発明に係わる行動予測装置の第１実施形態を図１〜図７により説明する。図１は、本発明に係わる行動予測装置の第１実施形態の概略構成を示すブロック図である。同図において、本実施形態の行動予測装置１は、画像認識により歩行者を検出し、歩行者に関する環境マップを作成し、この環境マップを用いて歩行者の移動行動を予測する装置である。
【００２５】
行動予測装置１は、歩行者を撮像するカメラ２と、ＥＣＵ（Electronic Control Unit）３と、出力表示器４とを備えている。カメラ２は、ビル等の高所に固定設置されていても良いし、車両等に搭載されていても良い。
【００２６】
ＥＣＵ３は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、入出力回路等により構成されている。ＥＣＵ３は、画像処理部５と、記憶部６と、歩行者進路予測部７とを有している。
【００２７】
画像処理部５は、カメラ２により取得された歩行者の撮像画像に対してフィルタ処理、２値化処理、特徴抽出処理等の画像処理を施し、歩行者を含む画像フレーム（画像データ）を生成する。記憶部６には、歩行者進路予測部７による演算処理に使用されるパラメータ等が記憶されている。
【００２８】
歩行者進路予測部７は、画像処理部５で生成された画像フレームに基づいて所定の処理を行って歩行者の進路を予測し、その予測結果を出力表示器４に出力表示させる。
【００２９】
図２は、歩行者進路予測部７により実行される処理手順の詳細を示すフローチャートである。同図において、まず画像処理部５で生成された画像フレームに基づいて、歩行者の次の速度ベクトル（方向及び速度）の妥当性を表す尤度マップ（ポテンシャルマップ）を作成する（手順Ｓ１０１）。
【００３０】
ここで、歩行者の次の速度ベクトルの妥当性を極座標で表現した尤度マップの一例を図３に示す。図３に示す尤度マップは、歩行者同士の距離は一定以上に保たれるという条件に関するエネルギー項と、歩行者は一定の速度を保とうとするという条件に関するエネルギー項と、歩行者は目的地に向かって進もうとするという条件に関するエネルギー項との重み付け線形和によって定義されるエネルギー関数を表したものである。
【００３１】
図３において、白点Ａ１，Ａ２は、歩行者Ｐ１，Ｐ２が現在の速度及び方向を維持した場合に次の単位時間（例えば０．２秒）に進みうる速度ベクトルを示している。ここでは、点Ａ１，Ａ２で示す方向に対して左右６０度を１０度刻みで変化させ、更に点Ａ１，Ａ２で示す速度に対して前後０．３ｍ／ｓ変化させた場合における速度ベクトルの妥当性を表している。このとき、黒塗り部分、ハッチング部分、ドット部分、白抜き部分の順に、速度ベクトルとしての妥当性（可能性）が高くなる。
【００３２】
図４は、歩行者の次の速度ベクトルの妥当性を正方座標で表現した尤度マップの一例を示したものである。なお、図４に示す尤度マップは、図３に示す尤度マップとは対応していない。図４において、尤度マップのｘ軸は、歩行者Ｐが次の単位時間に進んだときの横（左右）方向位置を示し、尤度マップのｙ軸は、歩行者Ｐが次の単位時間に進んだときの前方向位置を示している。歩行者の次の速度ベクトルは、歩行者Ｐが次の単位時間に進んだときのｘｙ座標位置として表される。尤度マップの高さが低くなる（深くなる）ほど、妥当な速度ベクトルとなる。
【００３３】
続いて、手順Ｓ１０１で得られた尤度マップを確率密度マップに変換する（手順Ｓ１０２）。確率密度マップは、歩行者の単位時間後の位置についての確率密度を表す環境マップである。
【００３４】
図５は、図４に示す尤度マップを確率密度マップに変換したものである。この確率密度マップは、マルコフ確率場またはギブス確率場の形式で表される。尤度マップから確率密度マップへの変換には、下記の変換式が用いられる。
【数１】
なお、ωＥ（ｖｉｔ｜Ｓｔ−１）が尤度マップを表すパラメータである。
【００３５】
このような確率密度マップでは、歩行者の次の速度ベクトルとして妥当なものほど、高い確率をもったマップになっている。つまり、図４に示す尤度マップにおいて高さの低い領域Ｓ１，Ｓ２が、図５に示す確率密度マップでは高い確率密度をもった領域Ｓ１，Ｓ２に相当する。
【００３６】
続いて、手順Ｓ１０２で得られた確率密度マップ上における確率密度の高い領域に、複数（ｎ個）の仮説を配置する（手順Ｓ１０３）。このとき、複数の仮説を、確率密度マップの確率に応じてランダムにまたは均等に、或いは確率密度マップの極大点上に配置する。図６は、図５に示す確率密度マップ上に５個の仮説Ｋを配置したものである。
【００３７】
続いて、ｎ個の仮説に対応するｎ個の予測移動進路を計算する（手順Ｓ１０４）。この場合の仮説とは、確率密度マップ上の一点に相当し、その点に対応する速度ベクトルで歩行者が次の単位時間進むということである。そして、その速度ベクトルから予測移動進路が得られる。
【００３８】
続いて、ｎが１よりも大きいかどうかを判断し（手順Ｓ１０５）、ｎが１よりも大きいときは、ｎを１だけ減算する（手順Ｓ１０６）。ｎが１よりも大きくないときは、手順Ｓ１０６を省略する。
【００３９】
続いて、上記手順Ｓ１０１〜Ｓ１０４の処理が規定回数繰り返されたかどうかを判断し（手順Ｓ１０７）、手順Ｓ１０１〜Ｓ１０４の処理が規定回数繰り返されていないときは、手順Ｓ１０１に戻る。
【００４０】
すると、図７に示すように、歩行者Ｐの予測移動進路を求める処理が複数回繰り返されることとなる。このとき、単位時間が０．２秒であれば、上記手順Ｓ１０１〜Ｓ１０４の処理を１０回繰り返すと、２秒後までの歩行者Ｐの進路が予測される。また、ステップが進むにつれて、確率密度マップ上に配置される仮説の数がｎ個から１つずつ減っていく。これにより、歩行者Ｐに対して複数の予測移動進路が求められることになる。
【００４１】
一方、上記手順Ｓ１０１〜Ｓ１０４の処理が規定回数繰り返されたときは、所定時間後までの歩行者の複数の予測移動進路を出力表示器４に出力する（手順Ｓ１０８）。
【００４２】
以上において、カメラ２及びＥＣＵ３の画像処理部５は、移動体を検出する移動体検出手段を構成する。ＥＣＵ３の歩行者進路予測部７の上記手順Ｓ１０１，Ｓ１０２は、移動体検出手段により検出された移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成する確率密度マップ作成手段を構成する。同手順Ｓ１０３〜Ｓ１０７は、確率密度マップ作成手段により作成された確率密度マップを用いて、移動体の進路を予測する進路予測手段を構成する。
【００４３】
以上のように本実施形態にあっては、カメラ２による撮像画像から得られた歩行者の速度ベクトルの尤度マップを確率密度マップに変換し、その確率密度マップ上に異なる複数の仮説を配置するようにしたので、一人の歩行者に対して複数の予測移動進路を得ることができる。これにより、例えば歩行者の進行方向に障害物があり、障害物の左右どちらにも避けて進めるような場合に、障害物の左側及び右側のいずれの進路も歩行者の移動進路として予測されるため、歩行者の移動進路の予測が大きくずれることを防止できる。従って、歩行者の移動行動を高精度に推定することができる。
【００４４】
本発明に係わる行動予測装置の第２実施形態を図８〜図１２により説明する。図８は、本発明に係わる行動予測装置の第２実施形態において歩行者進路予測部７により実行される処理手順の詳細を示すフローチャートである。
【００４５】
同図において、まず図２に示す処理と同様に、手順Ｓ１０１，Ｓ１０２を実行する。続いて、手順Ｓ１０２で得られた確率密度マップを混合正規分布で表現する（手順Ｓ１１１）。図９は、図５に示す確率密度マップを混合正規分布で表現したものである。混合正規分布は、図１０に示すように、複数の正規確率分布の組み合わせで表現される。
【００４６】
続いて、混合正規分布のパラメータを求める（手順Ｓ１１２）。混合正規分布のパラメータとしては、正規確率分布の中心値μ、広がりσ、高さｗがある。これらのパラメータは、既知のＥＭアルゴリズムを用いて求められる。ｗは、図１０に示すように、各正規分布の高さに依存して決まる重み値である。この重み値が大きくなるほど、歩行者が当該分布に従った動きをする可能性が高くなる。
【００４７】
続いて、混合正規分布のパラメータから、歩行者の次の速度ベクトル（予測移動進路）を求める（手順Ｓ１１３）。そして、全ての歩行者について次の速度ベクトルを求めたかどうかを判断し（手順Ｓ１１４）、全ての歩行者について次の速度ベクトルを求めていないときは、上記手順Ｓ１０１に戻る。
【００４８】
例えば図１１に示すように、歩行者Ａ，Ｂが居るとする。この時点での歩行者Ａの次の速度ベクトルは、２つの正規分布を有する混合正規分布で表されるとする。このため、２つの正規分布の中央値μに対応する速度ベクトルが、歩行者Ａが次に進む可能性がある２つの進路候補を示すものとなる。これらの速度ベクトルをｓ１、ｓ２とする。また、この時点での歩行者Ｂの次の速度ベクトルも、２つの正規分布を有する混合正規分布で表されるとする。このため、上記と同様に、歩行者Ｂが次に進む可能性がある進路候補を示す２つの速度ベクトルが得られる。これらの速度ベクトルをｔ１、ｔ２とする。
【００４９】
手順Ｓ１１４において全ての歩行者について次の速度ベクトルを求めたと判断されたときは、任意の歩行者及びその周囲の歩行者の動きに関する複数の組み合わせを考え、これらの重み値の積を算出する（手順Ｓ１１５）。そして、複数の組み合わせから、重み値の積が大きい上位ｍ個のものを選択する（手順Ｓ１１６）。
【００５０】
図１１に示す例では、歩行者Ａ，Ｂがいずれも２通りの速度ベクトルで進むため、次の単位時間に歩行者Ａ，Ｂが到達する位置はいずれも２通りとなる。このため、歩行者Ａ，Ｂの単位時間後のとりうる位置の組み合わせは、２×２＝４通りになる。このとき、速度ベクトルｓ１，ｓ２，ｔ１，ｔ２の重み値をｗ(s1)，ｗ(s2)，ｗ(t1)，ｗ(t2)とすると、４通りの組み合わせにおける重み値の積は、ｗ(s1)×ｗ(t1)、ｗ(s1)×ｗ(t2)、ｗ(s2)×ｗ(t1)、ｗ(s2)×ｗ(t2)で算出される。
【００５１】
そして、４通りの組み合わせパターンから、重み値の積が大きいｍ個（例えば２つ）のパターンを選択する（図１２参照）。これにより、歩行者Ａ，Ｂが単位時間後にとりうる位置の組み合わせとして、２通りのパターンを残すことができる。
【００５２】
続いて、上記手順Ｓ１０１，Ｓ１０２，Ｓ１１１〜Ｓ１１６の処理が規定回数繰り返されたかどうかを判断し（手順Ｓ１１７）、これらの処理が規定回数繰り返されていないときは、手順Ｓ１０１に戻る。
【００５３】
これにより、図１２に示すように、選択された２つのパターンに対して、新しい確率密度マップが求められ、この確率密度マップが混合正規分布で表現され、各歩行者の次の単位時間の位置が計算されるようになる。
【００５４】
一方、上記手順Ｓ１０１，Ｓ１０２，Ｓ１１１〜Ｓ１１６の処理が規定回数繰り返されたときは、所定時間後までの歩行者の複数の予測移動進路を出力表示器４に出力する（手順Ｓ１０８）。
【００５５】
なお、上記の処理手順では、隣接する歩行者同士の動きに関する複数の組み合わせパターンから、重み値の積が大きい上位ｍ個のパターンを選択するようにしたが、重み値の積が所定値以上であるパターンを選択しても良い。
【００５６】
以上において、上記手順Ｓ１１１は、確率密度マップを混合正規分布で表現する混合正規分布生成手段を構成する。上記手順Ｓ１１２は、混合正規分布のパラメータを求めるパラメータ取得手段を構成する。上記手順Ｓ１１３〜Ｓ１１７は、確率密度マップ作成手段により作成された確率密度マップを用いて、移動体の進路を予測する進路予測手段を構成する。
【００５７】
以上のような本実施形態においては、確率密度マップに合った混合正規分布のパラメータを求め、そのパラメータに基づいて複数の歩行者の次の速度ベクトルを求めるようにしたので、各歩行者に対して複数の予測移動進路を得ることができる。
【００５８】
このとき、任意の歩行者とその周囲の歩行者の動きに関する複数の組み合わせパターンから、常に重み値の積が大きい上位ｍ個のパターンだけを選択し、各歩行者の次の速度ベクトルを再度求めるので、計算量を減らし、計算時間の増大を抑えることができる。
【００５９】
なお、本実施形態において、最終的に求めた複数の予測移動進路における各時刻での重み値を予測移動進路毎に合計し、その合計値が大きい上位数個のみを出力させるようにしても良い。また、求められた予測移動進路には重み値が対応しているため、後段でその重み値を利用した処理を行うことも可能である。
【００６０】
ところで、本実施形態では、ＥＭアルゴリズムを用いて混合正規分布のパラメータを求めたが、ＥＭアルゴリズムは繰り返し演算により収束させていくタイプのアルゴリズムであるため、計算量が多くならざるを得ない。従って、ＥＭアルゴリズム以外の方法で簡易に混合正規分布のパラメータを求めるのが望ましい。
【００６１】
図１３は、簡易な方法で混合正規分布のパラメータを求める処理手順の詳細を示すフローチャートである。
【００６２】
同図において、まず確率密度マップを例えば１０×１０に離散化し、その離散化マップにおける極大点を抽出する（手順Ｓ１２１）。このとき、離散化マップにおいて、注目する点の値が前後左右の各点の値よりも大きい場合は、その注目点が極大点となる。なお、極大点の数としては、上位ｋ個に限定しても良い。
【００６３】
例えば、図１４（ａ）に示す確率密度マップを離散化すると、図１４（ｂ）に示すような離散化マップが得られる。なお、図１４では、マップが二次元的に簡略化して表されている。そして、離散化マップにおいて極大点Ｅ１，Ｅ２が抽出される。
【００６４】
続いて、離散化マップにおける極大点の中心を初期値とし、離散化される前の確率密度マップ上において、準ニュートン法等を用いて極大点を求める（手順Ｓ１２２）。なお、非線形の最適化手法であれば、準ニュートン法に限らずどのような解法を用いても良い。この時に得られた極大点が、混合正規分布の一つの正規分布の中央値μとなる（図１４参照）。
【００６５】
続いて、離散化マップにおける極大点の周囲の点を見る。極大点の周囲の点は、極大点の値よりも小さいので、それを極大点と同じグループとしてラベル付けする。そして、新しくラベル付けされた点の周囲を同様に見て、値が小さいものを順次ラベル化していく。これにより、１つの極大点を含み、その周囲の点が連結された領域が出来上がる。全ての極大点について、同様のことを行う。そして、これら極大点を含む領域から、離散化される前の確率密度マップの分散協分散行列σを求める（手順Ｓ１２３）。
【００６６】
続いて、手順Ｓ１２２で得られた正規分布の中央値μと手順Ｓ１２３で得られた確率密度マップの分散協分散行列σとから、正規分布の高さｗを求める（手順Ｓ１２４）。このとき、正規分布と確率密度マップとの差が最も小さくなるような高さｗを求める。正規分布と確率密度マップとの差としては、正規分布上の点と確率密度マップ上の点との差の二乗和等が用いられる。
【００６７】
以上の手順により、混合正規分布のパラメータを少ない計算量で簡単に求めることができる。この方法で得られる混合正規分布のパラメータは厳密ではないが、歩行者の行動を予測するタスクにおいては十分実用的であることが、実験により確認されている。
【００６８】
本発明に係わる行動予測装置の第３実施形態を図１５〜図１９により説明する。図１５は、本発明に係わる行動予測装置の第３実施形態の概略構成を示すブロック図である。
【００６９】
同図において、本実施形態の歩行者移動推定装置１のＥＣＵ３は、上記の画像処理部５、記憶部６及び歩行者進路予測部７に加え、複数の歩行者が１つの集団（グループ）に属するかどうかを判定する集団判定部８を有している。
【００７０】
図１６は、集団判定部８により実行される処理手順の詳細を示すフローチャートである。グループを形成している歩行者同士は、お互いに会話している場合が多く、その場合には、歩行者同士はお互いに顔を向かい合わせている。また、グループを形成している歩行者同士は、お互いに手をつないでいる場合もある。
【００７１】
そこで、同図において、まず画像処理部５で生成された画像フレームに基づいて、複数の歩行者の顔向き及び位置を検出する（手順Ｓ１３１）。続いて、各歩行者間の距離が所定値以下であり、且つ各歩行者の顔が互いに向かい合っているかどうかを判断する（手順Ｓ１３２）。
【００７２】
各歩行者間の距離が所定値以下であり、且つ各歩行者の顔が互いに向かい合っているときは、各歩行者はグループを形成していると判定する（手順Ｓ１３３）。従って、２人の歩行者が所定値以下の距離を保って顔を向かい合わせているときは、両歩行者はグループを形成していると判定される。また、これら２人の歩行者の一方または両方と別の歩行者とが、同様に所定値以下の距離を保って顔を向かい合わせているときは、３人の歩行者はグループを形成していると判定される。
【００７３】
手順Ｓ１３２を満足しないときは、歩行者同士が手をつないでいるかどうかを判断する（手順Ｓ１３４）。この判断は、例えば図１７に示すように、歩行者Ｐ１，Ｐ２の間の領域Ｖについて、予め学習によって得られた手をつないだパターンと照合することにより行う。パターン照合の手法としては、Ｖ＆Ｊ法やＨＯＧ等を用いることができる。
【００７４】
歩行者同士が手をつないでいるときは、各歩行者はグループを形成していると判定する（手順Ｓ１３３）。一方、歩行者同士が手をつないでいないときは、各歩行者はグループを形成していないと判定する（手順Ｓ１３５）。
【００７５】
図１８は、集団判定部８により実行される他の処理手順の詳細を示すフローチャートである。グループを形成している歩行者同士は、一定時間以上、一定の距離以下にいると推定される。
【００７６】
そこで、同図において、まず画像処理部５で生成された画像フレームに基づいて、複数の歩行者の位置を検出する（手順Ｓ１４１）。続いて、各歩行者間の距離が所定値以下になる状況が所定時間（例えば３秒間）連続したかどうかを判断する（手順Ｓ１４２）。
【００７７】
各歩行者間の距離が所定値以下になる状況が所定時間連続したときは、各歩行者はグループを形成していると判定し（手順Ｓ１４３）、各歩行者間の距離が所定値以下になる状況が所定時間連続しないときは、各歩行者はグループを形成していないと判定する（手順Ｓ１４４）。
【００７８】
従って、図１９（ａ）に示すように、歩行者Ｐ１，Ｐ２間の距離が所定値以下である状況が長い時間続く場合には、歩行者Ｐ１，Ｐ２はグループを形成していると判定される。一方、図１９（ｂ）に示すように、歩行者Ｐ１，Ｐ２間の距離が所定値以下である状況が長い時間続かない場合には、歩行者Ｐ１，Ｐ２はグループを形成していないと判定される。
【００７９】
図１５に戻り、歩行者進路予測部７は、集団判定部８によって複数の歩行者が１つのグループを形成していると判定されたときは、そのグループを仮想的な一人の歩行者と捉えて進路を予測する。この時の進路予測は、上述した第１実施形態または第２実施形態と同様に行う。
【００８０】
以上において、集団判定部８は、移動体検出手段により移動体が複数検出されたときに、複数の移動体が一つの集団に属するかどうかを判定する集団判定手段を構成する。
【００８１】
以上のように本実施形態においては、複数の歩行者が一つの集団に属するときは、当該集団を一人の歩行者と仮定して進路を予測するので、家族や友人等のように複数の歩行者がまとまって一つのグループとして行動するような場合に、各歩行者の移動進路の予測を誤ってしまうことを防止できる。
【００８２】
本発明に係わる行動予測装置の第４実施形態を図２０〜図２２により説明する。図２０は、本発明に係わる行動予測装置の第４実施形態の概略構成を示すブロック図である。
【００８３】
同図において、本実施形態の行動予測装置１のＥＣＵ３は、図１５に示す集団判定部８及び歩行者進路予測部７に代えて、集団判定・歩行者進路予測部９を有している。
【００８４】
図２１は、集団判定・歩行者進路予測部９により実行される処理手順の詳細を示すフローチャートである。同図において、まず複数の歩行者の移動進路の初期値を求める（手順Ｓ１５１）。この移動進路の初期値の算出は、上記の第１実施形態または第２実施形態と同様に、歩行者に関する環境マップを用いて行う。
【００８５】
続いて、条件付き確率場のグラフモデルを用いて、各歩行者が一つの集団に属するかどうかの判定と各歩行者の移動進路の予測とを同時に行う（手順Ｓ１５２）。
【００８６】
図２２は、条件付き確率場のグラフモデルの一例を示したものである。図２２において、Φは、歩行者Ｐの動き及び外見上の特徴を表す項である。Ψは、２人の歩行者Ｐの位置及び向きの関係を表す項である。Υは、その２人の歩行者Ｐがグループを形成しているかどうかを表す項である。χは、２者−２者のグループに共通する１人の歩行者Ｐが含まれている場合に３人の歩行者Ｐを含むグループであることを確認する項である。
【００８７】
これらの項を定式化すると、以下のようになる。
【数２】
なお、Φ、Υ、Ψ、χは、確率を出力する関数である。
【００８８】
上記式において、Ｈは歩行者の予測進路を表し、Ｌは歩行者同士のグループ状態を表し、Ｉは入力される画像列を表し、Θは観測されるパラメータを表している。ここで、Ｉ及びΘが与えられたときに、ｌｏｇＰが最も大きくなるようなＨ及びＬを求めるのが、上記式の意味するところである。
【００８９】
上記式の各項は、以下のように表される。
【数３】
Φmotionは歩行者の動きを表し、Φappは歩行者の外見上の特徴を表している。Θspeedは歩行者の速度を表し、Θappは歩行者の確からしさを表している。Ψposは２人の歩行者の位置関係を表し、Ψangは２人の歩行者の向きの関係を表している。
【００９０】
なお、２人の歩行者がグループを形成しているかどうかを表すΥの項、３人の歩行者を含むグループであることを確認するχの項は、「０」または「１」となる。また、上記式の最後の項（ｌｏｇＺ（Ｉ，Θ））は調整項である。
【００９１】
ここで、代表して上記（Ａ）式の右辺第１項のΦmotion（ｈｉ｜Θspeed）について詳細に説明する。
【００９２】
ｉは、対象となる各歩行者を表す番号である。場面に歩行者が全部でｎ人居るとすると、上記（Ａ）式の右辺第１項のΣは、
【数４】
を意味する。つまり、各歩行者についての確率を計算し、その確率を全部足し合わせて場面全体の確率を計算する。
【００９３】
ｈｉは、歩行者ｉの未来の進路であり、単位時間経過毎の位置の変化を意味し、ｈｉ＝{ｐ１，ｐ２，…，ｐｔ}と表される。なお、添え字は時間ステップである。単位時間を０．２secとし、１０ステップ繰り返すとすると、ｈｉ＝{ｐ0.2，ｐ0.4，…，ｐ1.8，ｐ2.0}のように表現することもできる。なお、添え字は経過時間を表す。ここで、ｐは場所を表すので、歩行者が平面上を移動するのであれば、ｐ＝{ｘ，ｙ}のように座標で表現される。
【００９４】
パラメータとして与えられるΘspeedは、ｈｉから求められる各単位時間経過時点での歩行者ｉの速度である。つまり、Θspeedは、歩行者ｉの０．２秒後の速度、０．４秒後の速度、…、２．０秒後の速度を意味する。ｈｉは、各単位時間経過毎の歩行者ｉの位置を表しているので、その時点での速度も計算できる。
【００９５】
さて、Φmotion（ｈｉ｜Θspeed）は、Θspeedが与えられたときに、その時の進路がｈｉである確率を意味する。その確率は、各歩行者の歩行速度と向きの関係を過去の観測結果から求めておくことで得られる。これは、特に詳述はしないが、上記（Ｂ）式として定義される。つまり、仮定されたｈｉがどれだけ起こり得るかの確率を歩行者毎に求め、全ての歩行者についての確率を足し合わせる。この足し合わせた確率が最大になるということは、その場面で最も起こり得る確率が高いということであるため、その時に得られるｈｉが真に求めたい進路ということになる。
【００９６】
Φmotion、Φapp、Ψpos、Ψangは、全てｈｉに依存して値が変わる関数であるため、それぞれの確率を足し合わせたときに最大になる場合に、その場面で最も起こり得る確率が高いｈｉ、つまりΦmotion、Φapp、Ψpos、Ψang全ての要素が考慮された最も適切なｈｉということになる。
【００９７】
グループの状態についても同様に確率関数が定義され、Υ、Ψpos、Ψang、χで表される確率がグループの状態によって変わることとなる。
【００９８】
上記のように、各歩行者の未来の進路と歩行者同士のグループの状態とによって確率が変わる関数を用意し、その全ての確率を足し合わせたものを、更に全ての歩行者について足し合わせたものが最大となるような、進路とグループの状態とを求めるのが、上記（Ａ）式の意味するところである。
【００９９】
そして、このような式を解く演算手法としては、例えばDual Decomposition法等といった既存の手法が利用される。
【０１００】
以上において、集団判定・歩行者進路予測部９は、確率密度マップ作成手段により作成された確率密度マップを用いて、移動体の進路を予測する進路予測手段を構成する。
【０１０１】
以上のように本実施形態においては、条件付き確率場のグラフモデルを用いることで、各歩行者の移動進路の予測と、各歩行者が一つのグループに属しているか否かの判定とを、同時に行うことができる。これにより、各歩行者が一つのグループに属しているか否かの判定のみに要する時間が省略されるため、複数の歩行者がグループで行動するときの移動進路を短い時間で効率良く予測することができる。
【０１０２】
なお、本実施形態では、演算を速く行うために、上述した環境マップを用いて複数の歩行者の移動進路の初期値を求めたが、特にその手法には限られず、複数の歩行者の移動進路の初期値についても、条件付き確率場のグラフモデルを用いて求めるようにしても良い。
【０１０３】
以上、本発明に係わる環境マップ作成装置及び方法、行動予測装置及び方法の好適な実施形態について幾つか説明してきたが、本発明は上記実施形態に限定されるものではない。
【０１０４】
例えば上記実施形態は、歩行者に関する環境マップを作成し、その歩行者の行動を予測するものであるが、歩行者以外の移動体に関する環境マップを作成し、その移動体の行動を予測するようにしても良い。
【０１０５】
また、上記実施形態では、カメラ２により取得した撮像画像から歩行者を検出したが、これ以外にも、レーザレーダやミリ波レーダ等のセンサやＧＰＳ等により歩行者等の移動体を検出しても良い。
【符号の説明】
【０１０６】
１…行動予測装置、２…カメラ（移動体検出手段）、３…ＥＣＵ、４…画像処理部（移動体検出手段）、７…歩行者進路予測部（確率密度マップ作成手段、混合正規分布生成手段、パラメータ取得手段、進路予測手段）、８…集団判定部（集団判定手段）、９…集団判定・歩行者進路予測部（進路予測手段）。
【技術分野】
【０００１】
本発明は、歩行者等の移動体に関する環境マップを作成する環境マップ作成装置及び方法、並びに移動体の行動を予測する行動予測装置及び方法に関するものである。
【背景技術】
【０００２】
従来の行動予測装置及び方法としては、例えば特許文献１に記載されているものが知られている。特許文献１に記載のものでは、移動物体の画素パターンの情報等から歩行者を検出し、当該歩行者の両脚支持時間及び最大歩幅を求め、これらの情報に基づいて歩行者が停止するかどうかを判断し、その判断結果も用いて歩行者の将来位置を予測して当該歩行者が存在し得る範囲を特定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術においては、以下の問題点が存在する。即ち、歩行者の多い市街地等では、歩行者は急激に動くことが多い。このため、歩行者の直前の動きから線形的に歩行者の移動行動を推定する手法では、推定精度を上げることができない。
【０００５】
本発明の目的は、移動体の移動行動を高精度に推定することができる環境マップ作成装置及び方法、行動予測装置及び方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、移動体に関する環境マップを作成する環境マップ作成装置であって、移動体を検出する移動体検出手段と、移動体検出手段により検出された移動体の所定時間後の位置についての確率密度を表す確率密度マップを環境マップとして作成する確率密度マップ作成手段とを備えることを特徴とするものである。
【０００７】
このように本発明の環境マップ作成装置においては、移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成する。従って、そのような確率密度マップを用いて移動体の進路を予測する場合に、例えば確率密度マップ上において確率が高くなる点を複数選択することにより、１つの移動体について複数の予測進路を得ることができる。これにより、移動体の移動行動の推定精度を向上させることができる。
【０００８】
好ましくは、確率密度マップを混合正規分布で表現する混合正規分布生成手段を更に備える。この場合には、混合正規分布を構成する複数の正規分布のパラメータ（中心値や高さ等）を求めることにより、１つの移動体について複数の予測進路を確実に得ることができる。
【０００９】
また、好ましくは、移動体検出手段により移動体が複数検出されたときに、複数の移動体が一つの集団に属するかどうかを判定する集団判定手段を更に備え、確率密度マップ作成手段は、集団判定手段により複数の移動体が一つの集団に属すると判定されたときは、当該集団を一つの移動体として、確率密度マップを作成する。複数の移動体が集団（グループ）で行動する場合には、各移動体の移動速度及び移動方向は同等となるはずである。そこで、複数の移動体が一つの集団に属すると判定されたときは、当該集団を一つの移動体として確率密度マップを作成することにより、そのような確率密度マップを用いて移動体の進路を予測する場合に、複数の移動体が集団で行動するときの進路を精度良く予測することができる。
【００１０】
また、本発明は、移動体の行動を予測する行動予測装置であって、移動体を検出する移動体検出手段と、移動体検出手段により検出された移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成する確率密度マップ作成手段と、確率密度マップ作成手段により作成された確率密度マップを用いて、移動体の進路を予測する進路予測手段とを備えることを特徴とするものである。
【００１１】
このように本発明の行動予測装置においては、移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成し、その確率密度マップを用いて移動体の進路を予測する。このとき、例えば確率密度マップ上において確率が高くなる点を複数選択することにより、１つの移動体について複数の予測進路を得ることができる。これにより、移動体の移動行動の推定精度を向上させることができる。
【００１２】
好ましくは、進路予測手段は、確率密度マップ上に複数の仮説を配置して、移動体の進路を予測する。この場合には、１つの移動体について複数の予測進路を確実に得ることができる。
【００１３】
また、確率密度マップを混合正規分布で表現する混合正規分布生成手段と、混合正規分布のパラメータを求めるパラメータ取得手段とを更に備え、進路予測手段は、移動体及び当該移動体に隣接する他の移動体に関する混合正規分布のパラメータに基づいて、移動体の進路を予測しても良い。この場合には、移動体及び当該移動体に隣接する他の移動体について、複数の予測進路を確実に得ることができる。
【００１４】
このとき、好ましくは、パラメータ取得手段は、確率密度マップを離散化して得られる離散化マップに基づいて、混合正規分布のパラメータを求める。この場合には、混合正規分布のパラメータを少ない計算量で簡易に求めることができる。
【００１５】
また、好ましくは、移動体検出手段により移動体が複数検出されたときに、複数の移動体が一つの集団に属するかどうかを判定する集団判定手段を更に備え、確率密度マップ作成手段は、集団判定手段により複数の移動体が一つの集団に属すると判定されたときは、当該集団を一つの移動体として、確率密度マップを作成する。この場合には、上述したように複数の移動体が集団で行動するときの進路を精度良く予測することができる。
【００１６】
さらに、進路予測手段は、確率密度マップを用いて予測された移動体の進路を初期値とし、複数の移動体の状態を条件付き確率場でモデル化することにより、複数の移動体が一つの集団に属するかどうかの判定と同時に、複数の移動体の進路を予測しても良い。この場合には、複数の移動体が一つの集団に属するかどうかの判定のみに要する時間が無くなるため、複数の移動体が集団で行動するときの進路の予測を短時間で行うことができる。
【００１７】
また、本発明は、移動体に関する環境マップを作成する環境マップ作成方法であって、移動体を検出するステップと、移動体の所定時間後の位置についての確率密度を表す確率密度マップを環境マップとして作成するステップとを含むことを特徴とするものである。
【００１８】
このように本発明の環境マップ作成方法においては、移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成することにより、上述したように１つの移動体について複数の予測進路を得ることができる。これにより、移動体の移動行動の推定精度を向上させることができる。
【００１９】
さらに、本発明は、移動体の行動を予測する行動予測方法であって、移動体を検出するステップと、移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成するステップと、確率密度マップを用いて、移動体の進路を予測するステップとを含むことを特徴とするものである。
【００２０】
このように本発明の行動予測方法においては、移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成し、その確率密度マップを用いて移動体の進路を予測することにより、上述したように１つの移動体について複数の予測進路を得ることができる。これにより、移動体の移動行動の推定精度を向上させることができる。
【発明の効果】
【００２１】
本発明によれば、移動体の移動行動を高精度に推定することができる。これにより、例えば移動体の移動行動の推定技術を用いて移動体の追跡を行う場合に、追跡性能を向上させることが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係わる行動予測装置の第１実施形態の概略構成を示すブロック図である。
【図２】図１に示した歩行者進路予測部により実行される処理手順の詳細を示すフローチャートである。
【図３】歩行者の次の速度ベクトルの妥当性を極座標で表現した尤度マップの一例を示す図である。
【図４】歩行者の次の速度ベクトルの妥当性を正方座標で表現した尤度マップの一例を示す図である。
【図５】図４に示した尤度マップに対応する確率密度マップを示す図である。
【図６】図５に示した確率密度マップ上に５個の仮説を配置した状態を示す図である。
【図７】歩行者の移動進路を順次予測していく様子を示す概略図である。
【図８】本発明に係わる行動予測装置の第２実施形態において歩行者進路予測部により実行される処理手順の詳細を示すフローチャートである。
【図９】図５に示した確率密度マップを混合正規分布で表現した状態を示す図である。
【図１０】図９に示した混合正規分布を構成する各正規確率分布を示す図である。
【図１１】２人の歩行者についての次の速度ベクトルの一例を示す概略図である。
【図１２】各歩行者の次の単位時間の位置を繰り返し求める様子を示す概略図である。
【図１３】簡易な方法で混合正規分布のパラメータを求める処理手順の詳細を示すフローチャートである。
【図１４】確率密度マップの一例と当該確率密度マップを離散化して得られる離散化マップとを二次元的に簡略化して示す図である。
【図１５】本発明に係わる行動予測装置の第３実施形態の概略構成を示すブロック図である。
【図１６】図１５に示した集団判定部により実行される処理手順の詳細を示すフローチャートである。
【図１７】歩行者同士が手をつないだ状態の照合パターンの一例を示す図である。
【図１８】図１５に示した集団判定部により実行される他の処理手順の詳細を示すフローチャートである。
【図１９】グループを形成している各歩行者とグループを形成していない各歩行者とが時間の経過とともに移動する様子を示す概略図である。
【図２０】本発明に係わる行動予測装置の第４実施形態の概略構成を示すブロック図である。
【図２１】図２０に示した集団判定・歩行者進路予測部により実行される処理手順の詳細を示すフローチャートである。
【図２２】条件付き確率場のグラフモデルの一例を示す概略図である。
【発明を実施するための形態】
【００２３】
以下、本発明に係わる環境マップ作成装置及び方法、行動予測装置及び方法の好適な実施形態について、図面を参照して詳細に説明する。なお、図面において、同一または同等の要素には同じ符号を付し、重複する説明を省略する。
【００２４】
まず、本発明に係わる行動予測装置の第１実施形態を図１〜図７により説明する。図１は、本発明に係わる行動予測装置の第１実施形態の概略構成を示すブロック図である。同図において、本実施形態の行動予測装置１は、画像認識により歩行者を検出し、歩行者に関する環境マップを作成し、この環境マップを用いて歩行者の移動行動を予測する装置である。
【００２５】
行動予測装置１は、歩行者を撮像するカメラ２と、ＥＣＵ（Electronic Control Unit）３と、出力表示器４とを備えている。カメラ２は、ビル等の高所に固定設置されていても良いし、車両等に搭載されていても良い。
【００２６】
ＥＣＵ３は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、入出力回路等により構成されている。ＥＣＵ３は、画像処理部５と、記憶部６と、歩行者進路予測部７とを有している。
【００２７】
画像処理部５は、カメラ２により取得された歩行者の撮像画像に対してフィルタ処理、２値化処理、特徴抽出処理等の画像処理を施し、歩行者を含む画像フレーム（画像データ）を生成する。記憶部６には、歩行者進路予測部７による演算処理に使用されるパラメータ等が記憶されている。
【００２８】
歩行者進路予測部７は、画像処理部５で生成された画像フレームに基づいて所定の処理を行って歩行者の進路を予測し、その予測結果を出力表示器４に出力表示させる。
【００２９】
図２は、歩行者進路予測部７により実行される処理手順の詳細を示すフローチャートである。同図において、まず画像処理部５で生成された画像フレームに基づいて、歩行者の次の速度ベクトル（方向及び速度）の妥当性を表す尤度マップ（ポテンシャルマップ）を作成する（手順Ｓ１０１）。
【００３０】
ここで、歩行者の次の速度ベクトルの妥当性を極座標で表現した尤度マップの一例を図３に示す。図３に示す尤度マップは、歩行者同士の距離は一定以上に保たれるという条件に関するエネルギー項と、歩行者は一定の速度を保とうとするという条件に関するエネルギー項と、歩行者は目的地に向かって進もうとするという条件に関するエネルギー項との重み付け線形和によって定義されるエネルギー関数を表したものである。
【００３１】
図３において、白点Ａ１，Ａ２は、歩行者Ｐ１，Ｐ２が現在の速度及び方向を維持した場合に次の単位時間（例えば０．２秒）に進みうる速度ベクトルを示している。ここでは、点Ａ１，Ａ２で示す方向に対して左右６０度を１０度刻みで変化させ、更に点Ａ１，Ａ２で示す速度に対して前後０．３ｍ／ｓ変化させた場合における速度ベクトルの妥当性を表している。このとき、黒塗り部分、ハッチング部分、ドット部分、白抜き部分の順に、速度ベクトルとしての妥当性（可能性）が高くなる。
【００３２】
図４は、歩行者の次の速度ベクトルの妥当性を正方座標で表現した尤度マップの一例を示したものである。なお、図４に示す尤度マップは、図３に示す尤度マップとは対応していない。図４において、尤度マップのｘ軸は、歩行者Ｐが次の単位時間に進んだときの横（左右）方向位置を示し、尤度マップのｙ軸は、歩行者Ｐが次の単位時間に進んだときの前方向位置を示している。歩行者の次の速度ベクトルは、歩行者Ｐが次の単位時間に進んだときのｘｙ座標位置として表される。尤度マップの高さが低くなる（深くなる）ほど、妥当な速度ベクトルとなる。
【００３３】
続いて、手順Ｓ１０１で得られた尤度マップを確率密度マップに変換する（手順Ｓ１０２）。確率密度マップは、歩行者の単位時間後の位置についての確率密度を表す環境マップである。
【００３４】
図５は、図４に示す尤度マップを確率密度マップに変換したものである。この確率密度マップは、マルコフ確率場またはギブス確率場の形式で表される。尤度マップから確率密度マップへの変換には、下記の変換式が用いられる。
【数１】
なお、ωＥ（ｖｉｔ｜Ｓｔ−１）が尤度マップを表すパラメータである。
【００３５】
このような確率密度マップでは、歩行者の次の速度ベクトルとして妥当なものほど、高い確率をもったマップになっている。つまり、図４に示す尤度マップにおいて高さの低い領域Ｓ１，Ｓ２が、図５に示す確率密度マップでは高い確率密度をもった領域Ｓ１，Ｓ２に相当する。
【００３６】
続いて、手順Ｓ１０２で得られた確率密度マップ上における確率密度の高い領域に、複数（ｎ個）の仮説を配置する（手順Ｓ１０３）。このとき、複数の仮説を、確率密度マップの確率に応じてランダムにまたは均等に、或いは確率密度マップの極大点上に配置する。図６は、図５に示す確率密度マップ上に５個の仮説Ｋを配置したものである。
【００３７】
続いて、ｎ個の仮説に対応するｎ個の予測移動進路を計算する（手順Ｓ１０４）。この場合の仮説とは、確率密度マップ上の一点に相当し、その点に対応する速度ベクトルで歩行者が次の単位時間進むということである。そして、その速度ベクトルから予測移動進路が得られる。
【００３８】
続いて、ｎが１よりも大きいかどうかを判断し（手順Ｓ１０５）、ｎが１よりも大きいときは、ｎを１だけ減算する（手順Ｓ１０６）。ｎが１よりも大きくないときは、手順Ｓ１０６を省略する。
【００３９】
続いて、上記手順Ｓ１０１〜Ｓ１０４の処理が規定回数繰り返されたかどうかを判断し（手順Ｓ１０７）、手順Ｓ１０１〜Ｓ１０４の処理が規定回数繰り返されていないときは、手順Ｓ１０１に戻る。
【００４０】
すると、図７に示すように、歩行者Ｐの予測移動進路を求める処理が複数回繰り返されることとなる。このとき、単位時間が０．２秒であれば、上記手順Ｓ１０１〜Ｓ１０４の処理を１０回繰り返すと、２秒後までの歩行者Ｐの進路が予測される。また、ステップが進むにつれて、確率密度マップ上に配置される仮説の数がｎ個から１つずつ減っていく。これにより、歩行者Ｐに対して複数の予測移動進路が求められることになる。
【００４１】
一方、上記手順Ｓ１０１〜Ｓ１０４の処理が規定回数繰り返されたときは、所定時間後までの歩行者の複数の予測移動進路を出力表示器４に出力する（手順Ｓ１０８）。
【００４２】
以上において、カメラ２及びＥＣＵ３の画像処理部５は、移動体を検出する移動体検出手段を構成する。ＥＣＵ３の歩行者進路予測部７の上記手順Ｓ１０１，Ｓ１０２は、移動体検出手段により検出された移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成する確率密度マップ作成手段を構成する。同手順Ｓ１０３〜Ｓ１０７は、確率密度マップ作成手段により作成された確率密度マップを用いて、移動体の進路を予測する進路予測手段を構成する。
【００４３】
以上のように本実施形態にあっては、カメラ２による撮像画像から得られた歩行者の速度ベクトルの尤度マップを確率密度マップに変換し、その確率密度マップ上に異なる複数の仮説を配置するようにしたので、一人の歩行者に対して複数の予測移動進路を得ることができる。これにより、例えば歩行者の進行方向に障害物があり、障害物の左右どちらにも避けて進めるような場合に、障害物の左側及び右側のいずれの進路も歩行者の移動進路として予測されるため、歩行者の移動進路の予測が大きくずれることを防止できる。従って、歩行者の移動行動を高精度に推定することができる。
【００４４】
本発明に係わる行動予測装置の第２実施形態を図８〜図１２により説明する。図８は、本発明に係わる行動予測装置の第２実施形態において歩行者進路予測部７により実行される処理手順の詳細を示すフローチャートである。
【００４５】
同図において、まず図２に示す処理と同様に、手順Ｓ１０１，Ｓ１０２を実行する。続いて、手順Ｓ１０２で得られた確率密度マップを混合正規分布で表現する（手順Ｓ１１１）。図９は、図５に示す確率密度マップを混合正規分布で表現したものである。混合正規分布は、図１０に示すように、複数の正規確率分布の組み合わせで表現される。
【００４６】
続いて、混合正規分布のパラメータを求める（手順Ｓ１１２）。混合正規分布のパラメータとしては、正規確率分布の中心値μ、広がりσ、高さｗがある。これらのパラメータは、既知のＥＭアルゴリズムを用いて求められる。ｗは、図１０に示すように、各正規分布の高さに依存して決まる重み値である。この重み値が大きくなるほど、歩行者が当該分布に従った動きをする可能性が高くなる。
【００４７】
続いて、混合正規分布のパラメータから、歩行者の次の速度ベクトル（予測移動進路）を求める（手順Ｓ１１３）。そして、全ての歩行者について次の速度ベクトルを求めたかどうかを判断し（手順Ｓ１１４）、全ての歩行者について次の速度ベクトルを求めていないときは、上記手順Ｓ１０１に戻る。
【００４８】
例えば図１１に示すように、歩行者Ａ，Ｂが居るとする。この時点での歩行者Ａの次の速度ベクトルは、２つの正規分布を有する混合正規分布で表されるとする。このため、２つの正規分布の中央値μに対応する速度ベクトルが、歩行者Ａが次に進む可能性がある２つの進路候補を示すものとなる。これらの速度ベクトルをｓ１、ｓ２とする。また、この時点での歩行者Ｂの次の速度ベクトルも、２つの正規分布を有する混合正規分布で表されるとする。このため、上記と同様に、歩行者Ｂが次に進む可能性がある進路候補を示す２つの速度ベクトルが得られる。これらの速度ベクトルをｔ１、ｔ２とする。
【００４９】
手順Ｓ１１４において全ての歩行者について次の速度ベクトルを求めたと判断されたときは、任意の歩行者及びその周囲の歩行者の動きに関する複数の組み合わせを考え、これらの重み値の積を算出する（手順Ｓ１１５）。そして、複数の組み合わせから、重み値の積が大きい上位ｍ個のものを選択する（手順Ｓ１１６）。
【００５０】
図１１に示す例では、歩行者Ａ，Ｂがいずれも２通りの速度ベクトルで進むため、次の単位時間に歩行者Ａ，Ｂが到達する位置はいずれも２通りとなる。このため、歩行者Ａ，Ｂの単位時間後のとりうる位置の組み合わせは、２×２＝４通りになる。このとき、速度ベクトルｓ１，ｓ２，ｔ１，ｔ２の重み値をｗ(s1)，ｗ(s2)，ｗ(t1)，ｗ(t2)とすると、４通りの組み合わせにおける重み値の積は、ｗ(s1)×ｗ(t1)、ｗ(s1)×ｗ(t2)、ｗ(s2)×ｗ(t1)、ｗ(s2)×ｗ(t2)で算出される。
【００５１】
そして、４通りの組み合わせパターンから、重み値の積が大きいｍ個（例えば２つ）のパターンを選択する（図１２参照）。これにより、歩行者Ａ，Ｂが単位時間後にとりうる位置の組み合わせとして、２通りのパターンを残すことができる。
【００５２】
続いて、上記手順Ｓ１０１，Ｓ１０２，Ｓ１１１〜Ｓ１１６の処理が規定回数繰り返されたかどうかを判断し（手順Ｓ１１７）、これらの処理が規定回数繰り返されていないときは、手順Ｓ１０１に戻る。
【００５３】
これにより、図１２に示すように、選択された２つのパターンに対して、新しい確率密度マップが求められ、この確率密度マップが混合正規分布で表現され、各歩行者の次の単位時間の位置が計算されるようになる。
【００５４】
一方、上記手順Ｓ１０１，Ｓ１０２，Ｓ１１１〜Ｓ１１６の処理が規定回数繰り返されたときは、所定時間後までの歩行者の複数の予測移動進路を出力表示器４に出力する（手順Ｓ１０８）。
【００５５】
なお、上記の処理手順では、隣接する歩行者同士の動きに関する複数の組み合わせパターンから、重み値の積が大きい上位ｍ個のパターンを選択するようにしたが、重み値の積が所定値以上であるパターンを選択しても良い。
【００５６】
以上において、上記手順Ｓ１１１は、確率密度マップを混合正規分布で表現する混合正規分布生成手段を構成する。上記手順Ｓ１１２は、混合正規分布のパラメータを求めるパラメータ取得手段を構成する。上記手順Ｓ１１３〜Ｓ１１７は、確率密度マップ作成手段により作成された確率密度マップを用いて、移動体の進路を予測する進路予測手段を構成する。
【００５７】
以上のような本実施形態においては、確率密度マップに合った混合正規分布のパラメータを求め、そのパラメータに基づいて複数の歩行者の次の速度ベクトルを求めるようにしたので、各歩行者に対して複数の予測移動進路を得ることができる。
【００５８】
このとき、任意の歩行者とその周囲の歩行者の動きに関する複数の組み合わせパターンから、常に重み値の積が大きい上位ｍ個のパターンだけを選択し、各歩行者の次の速度ベクトルを再度求めるので、計算量を減らし、計算時間の増大を抑えることができる。
【００５９】
なお、本実施形態において、最終的に求めた複数の予測移動進路における各時刻での重み値を予測移動進路毎に合計し、その合計値が大きい上位数個のみを出力させるようにしても良い。また、求められた予測移動進路には重み値が対応しているため、後段でその重み値を利用した処理を行うことも可能である。
【００６０】
ところで、本実施形態では、ＥＭアルゴリズムを用いて混合正規分布のパラメータを求めたが、ＥＭアルゴリズムは繰り返し演算により収束させていくタイプのアルゴリズムであるため、計算量が多くならざるを得ない。従って、ＥＭアルゴリズム以外の方法で簡易に混合正規分布のパラメータを求めるのが望ましい。
【００６１】
図１３は、簡易な方法で混合正規分布のパラメータを求める処理手順の詳細を示すフローチャートである。
【００６２】
同図において、まず確率密度マップを例えば１０×１０に離散化し、その離散化マップにおける極大点を抽出する（手順Ｓ１２１）。このとき、離散化マップにおいて、注目する点の値が前後左右の各点の値よりも大きい場合は、その注目点が極大点となる。なお、極大点の数としては、上位ｋ個に限定しても良い。
【００６３】
例えば、図１４（ａ）に示す確率密度マップを離散化すると、図１４（ｂ）に示すような離散化マップが得られる。なお、図１４では、マップが二次元的に簡略化して表されている。そして、離散化マップにおいて極大点Ｅ１，Ｅ２が抽出される。
【００６４】
続いて、離散化マップにおける極大点の中心を初期値とし、離散化される前の確率密度マップ上において、準ニュートン法等を用いて極大点を求める（手順Ｓ１２２）。なお、非線形の最適化手法であれば、準ニュートン法に限らずどのような解法を用いても良い。この時に得られた極大点が、混合正規分布の一つの正規分布の中央値μとなる（図１４参照）。
【００６５】
続いて、離散化マップにおける極大点の周囲の点を見る。極大点の周囲の点は、極大点の値よりも小さいので、それを極大点と同じグループとしてラベル付けする。そして、新しくラベル付けされた点の周囲を同様に見て、値が小さいものを順次ラベル化していく。これにより、１つの極大点を含み、その周囲の点が連結された領域が出来上がる。全ての極大点について、同様のことを行う。そして、これら極大点を含む領域から、離散化される前の確率密度マップの分散協分散行列σを求める（手順Ｓ１２３）。
【００６６】
続いて、手順Ｓ１２２で得られた正規分布の中央値μと手順Ｓ１２３で得られた確率密度マップの分散協分散行列σとから、正規分布の高さｗを求める（手順Ｓ１２４）。このとき、正規分布と確率密度マップとの差が最も小さくなるような高さｗを求める。正規分布と確率密度マップとの差としては、正規分布上の点と確率密度マップ上の点との差の二乗和等が用いられる。
【００６７】
以上の手順により、混合正規分布のパラメータを少ない計算量で簡単に求めることができる。この方法で得られる混合正規分布のパラメータは厳密ではないが、歩行者の行動を予測するタスクにおいては十分実用的であることが、実験により確認されている。
【００６８】
本発明に係わる行動予測装置の第３実施形態を図１５〜図１９により説明する。図１５は、本発明に係わる行動予測装置の第３実施形態の概略構成を示すブロック図である。
【００６９】
同図において、本実施形態の歩行者移動推定装置１のＥＣＵ３は、上記の画像処理部５、記憶部６及び歩行者進路予測部７に加え、複数の歩行者が１つの集団（グループ）に属するかどうかを判定する集団判定部８を有している。
【００７０】
図１６は、集団判定部８により実行される処理手順の詳細を示すフローチャートである。グループを形成している歩行者同士は、お互いに会話している場合が多く、その場合には、歩行者同士はお互いに顔を向かい合わせている。また、グループを形成している歩行者同士は、お互いに手をつないでいる場合もある。
【００７１】
そこで、同図において、まず画像処理部５で生成された画像フレームに基づいて、複数の歩行者の顔向き及び位置を検出する（手順Ｓ１３１）。続いて、各歩行者間の距離が所定値以下であり、且つ各歩行者の顔が互いに向かい合っているかどうかを判断する（手順Ｓ１３２）。
【００７２】
各歩行者間の距離が所定値以下であり、且つ各歩行者の顔が互いに向かい合っているときは、各歩行者はグループを形成していると判定する（手順Ｓ１３３）。従って、２人の歩行者が所定値以下の距離を保って顔を向かい合わせているときは、両歩行者はグループを形成していると判定される。また、これら２人の歩行者の一方または両方と別の歩行者とが、同様に所定値以下の距離を保って顔を向かい合わせているときは、３人の歩行者はグループを形成していると判定される。
【００７３】
手順Ｓ１３２を満足しないときは、歩行者同士が手をつないでいるかどうかを判断する（手順Ｓ１３４）。この判断は、例えば図１７に示すように、歩行者Ｐ１，Ｐ２の間の領域Ｖについて、予め学習によって得られた手をつないだパターンと照合することにより行う。パターン照合の手法としては、Ｖ＆Ｊ法やＨＯＧ等を用いることができる。
【００７４】
歩行者同士が手をつないでいるときは、各歩行者はグループを形成していると判定する（手順Ｓ１３３）。一方、歩行者同士が手をつないでいないときは、各歩行者はグループを形成していないと判定する（手順Ｓ１３５）。
【００７５】
図１８は、集団判定部８により実行される他の処理手順の詳細を示すフローチャートである。グループを形成している歩行者同士は、一定時間以上、一定の距離以下にいると推定される。
【００７６】
そこで、同図において、まず画像処理部５で生成された画像フレームに基づいて、複数の歩行者の位置を検出する（手順Ｓ１４１）。続いて、各歩行者間の距離が所定値以下になる状況が所定時間（例えば３秒間）連続したかどうかを判断する（手順Ｓ１４２）。
【００７７】
各歩行者間の距離が所定値以下になる状況が所定時間連続したときは、各歩行者はグループを形成していると判定し（手順Ｓ１４３）、各歩行者間の距離が所定値以下になる状況が所定時間連続しないときは、各歩行者はグループを形成していないと判定する（手順Ｓ１４４）。
【００７８】
従って、図１９（ａ）に示すように、歩行者Ｐ１，Ｐ２間の距離が所定値以下である状況が長い時間続く場合には、歩行者Ｐ１，Ｐ２はグループを形成していると判定される。一方、図１９（ｂ）に示すように、歩行者Ｐ１，Ｐ２間の距離が所定値以下である状況が長い時間続かない場合には、歩行者Ｐ１，Ｐ２はグループを形成していないと判定される。
【００７９】
図１５に戻り、歩行者進路予測部７は、集団判定部８によって複数の歩行者が１つのグループを形成していると判定されたときは、そのグループを仮想的な一人の歩行者と捉えて進路を予測する。この時の進路予測は、上述した第１実施形態または第２実施形態と同様に行う。
【００８０】
以上において、集団判定部８は、移動体検出手段により移動体が複数検出されたときに、複数の移動体が一つの集団に属するかどうかを判定する集団判定手段を構成する。
【００８１】
以上のように本実施形態においては、複数の歩行者が一つの集団に属するときは、当該集団を一人の歩行者と仮定して進路を予測するので、家族や友人等のように複数の歩行者がまとまって一つのグループとして行動するような場合に、各歩行者の移動進路の予測を誤ってしまうことを防止できる。
【００８２】
本発明に係わる行動予測装置の第４実施形態を図２０〜図２２により説明する。図２０は、本発明に係わる行動予測装置の第４実施形態の概略構成を示すブロック図である。
【００８３】
同図において、本実施形態の行動予測装置１のＥＣＵ３は、図１５に示す集団判定部８及び歩行者進路予測部７に代えて、集団判定・歩行者進路予測部９を有している。
【００８４】
図２１は、集団判定・歩行者進路予測部９により実行される処理手順の詳細を示すフローチャートである。同図において、まず複数の歩行者の移動進路の初期値を求める（手順Ｓ１５１）。この移動進路の初期値の算出は、上記の第１実施形態または第２実施形態と同様に、歩行者に関する環境マップを用いて行う。
【００８５】
続いて、条件付き確率場のグラフモデルを用いて、各歩行者が一つの集団に属するかどうかの判定と各歩行者の移動進路の予測とを同時に行う（手順Ｓ１５２）。
【００８６】
図２２は、条件付き確率場のグラフモデルの一例を示したものである。図２２において、Φは、歩行者Ｐの動き及び外見上の特徴を表す項である。Ψは、２人の歩行者Ｐの位置及び向きの関係を表す項である。Υは、その２人の歩行者Ｐがグループを形成しているかどうかを表す項である。χは、２者−２者のグループに共通する１人の歩行者Ｐが含まれている場合に３人の歩行者Ｐを含むグループであることを確認する項である。
【００８７】
これらの項を定式化すると、以下のようになる。
【数２】
なお、Φ、Υ、Ψ、χは、確率を出力する関数である。
【００８８】
上記式において、Ｈは歩行者の予測進路を表し、Ｌは歩行者同士のグループ状態を表し、Ｉは入力される画像列を表し、Θは観測されるパラメータを表している。ここで、Ｉ及びΘが与えられたときに、ｌｏｇＰが最も大きくなるようなＨ及びＬを求めるのが、上記式の意味するところである。
【００８９】
上記式の各項は、以下のように表される。
【数３】
Φmotionは歩行者の動きを表し、Φappは歩行者の外見上の特徴を表している。Θspeedは歩行者の速度を表し、Θappは歩行者の確からしさを表している。Ψposは２人の歩行者の位置関係を表し、Ψangは２人の歩行者の向きの関係を表している。
【００９０】
なお、２人の歩行者がグループを形成しているかどうかを表すΥの項、３人の歩行者を含むグループであることを確認するχの項は、「０」または「１」となる。また、上記式の最後の項（ｌｏｇＺ（Ｉ，Θ））は調整項である。
【００９１】
ここで、代表して上記（Ａ）式の右辺第１項のΦmotion（ｈｉ｜Θspeed）について詳細に説明する。
【００９２】
ｉは、対象となる各歩行者を表す番号である。場面に歩行者が全部でｎ人居るとすると、上記（Ａ）式の右辺第１項のΣは、
【数４】
を意味する。つまり、各歩行者についての確率を計算し、その確率を全部足し合わせて場面全体の確率を計算する。
【００９３】
ｈｉは、歩行者ｉの未来の進路であり、単位時間経過毎の位置の変化を意味し、ｈｉ＝{ｐ１，ｐ２，…，ｐｔ}と表される。なお、添え字は時間ステップである。単位時間を０．２secとし、１０ステップ繰り返すとすると、ｈｉ＝{ｐ0.2，ｐ0.4，…，ｐ1.8，ｐ2.0}のように表現することもできる。なお、添え字は経過時間を表す。ここで、ｐは場所を表すので、歩行者が平面上を移動するのであれば、ｐ＝{ｘ，ｙ}のように座標で表現される。
【００９４】
パラメータとして与えられるΘspeedは、ｈｉから求められる各単位時間経過時点での歩行者ｉの速度である。つまり、Θspeedは、歩行者ｉの０．２秒後の速度、０．４秒後の速度、…、２．０秒後の速度を意味する。ｈｉは、各単位時間経過毎の歩行者ｉの位置を表しているので、その時点での速度も計算できる。
【００９５】
さて、Φmotion（ｈｉ｜Θspeed）は、Θspeedが与えられたときに、その時の進路がｈｉである確率を意味する。その確率は、各歩行者の歩行速度と向きの関係を過去の観測結果から求めておくことで得られる。これは、特に詳述はしないが、上記（Ｂ）式として定義される。つまり、仮定されたｈｉがどれだけ起こり得るかの確率を歩行者毎に求め、全ての歩行者についての確率を足し合わせる。この足し合わせた確率が最大になるということは、その場面で最も起こり得る確率が高いということであるため、その時に得られるｈｉが真に求めたい進路ということになる。
【００９６】
Φmotion、Φapp、Ψpos、Ψangは、全てｈｉに依存して値が変わる関数であるため、それぞれの確率を足し合わせたときに最大になる場合に、その場面で最も起こり得る確率が高いｈｉ、つまりΦmotion、Φapp、Ψpos、Ψang全ての要素が考慮された最も適切なｈｉということになる。
【００９７】
グループの状態についても同様に確率関数が定義され、Υ、Ψpos、Ψang、χで表される確率がグループの状態によって変わることとなる。
【００９８】
上記のように、各歩行者の未来の進路と歩行者同士のグループの状態とによって確率が変わる関数を用意し、その全ての確率を足し合わせたものを、更に全ての歩行者について足し合わせたものが最大となるような、進路とグループの状態とを求めるのが、上記（Ａ）式の意味するところである。
【００９９】
そして、このような式を解く演算手法としては、例えばDual Decomposition法等といった既存の手法が利用される。
【０１００】
以上において、集団判定・歩行者進路予測部９は、確率密度マップ作成手段により作成された確率密度マップを用いて、移動体の進路を予測する進路予測手段を構成する。
【０１０１】
以上のように本実施形態においては、条件付き確率場のグラフモデルを用いることで、各歩行者の移動進路の予測と、各歩行者が一つのグループに属しているか否かの判定とを、同時に行うことができる。これにより、各歩行者が一つのグループに属しているか否かの判定のみに要する時間が省略されるため、複数の歩行者がグループで行動するときの移動進路を短い時間で効率良く予測することができる。
【０１０２】
なお、本実施形態では、演算を速く行うために、上述した環境マップを用いて複数の歩行者の移動進路の初期値を求めたが、特にその手法には限られず、複数の歩行者の移動進路の初期値についても、条件付き確率場のグラフモデルを用いて求めるようにしても良い。
【０１０３】
以上、本発明に係わる環境マップ作成装置及び方法、行動予測装置及び方法の好適な実施形態について幾つか説明してきたが、本発明は上記実施形態に限定されるものではない。
【０１０４】
例えば上記実施形態は、歩行者に関する環境マップを作成し、その歩行者の行動を予測するものであるが、歩行者以外の移動体に関する環境マップを作成し、その移動体の行動を予測するようにしても良い。
【０１０５】
また、上記実施形態では、カメラ２により取得した撮像画像から歩行者を検出したが、これ以外にも、レーザレーダやミリ波レーダ等のセンサやＧＰＳ等により歩行者等の移動体を検出しても良い。
【符号の説明】
【０１０６】
１…行動予測装置、２…カメラ（移動体検出手段）、３…ＥＣＵ、４…画像処理部（移動体検出手段）、７…歩行者進路予測部（確率密度マップ作成手段、混合正規分布生成手段、パラメータ取得手段、進路予測手段）、８…集団判定部（集団判定手段）、９…集団判定・歩行者進路予測部（進路予測手段）。
【特許請求の範囲】
【請求項１】
移動体に関する環境マップを作成する環境マップ作成装置であって、
前記移動体を検出する移動体検出手段と、
前記移動体検出手段により検出された前記移動体の所定時間後の位置についての確率密度を表す確率密度マップを前記環境マップとして作成する確率密度マップ作成手段とを備えることを特徴とする環境マップ作成装置。
【請求項２】
前記確率密度マップを混合正規分布で表現する混合正規分布生成手段を更に備えることを特徴とする請求項１記載の環境マップ作成装置。
【請求項３】
前記移動体検出手段により前記移動体が複数検出されたときに、前記複数の移動体が一つの集団に属するかどうかを判定する集団判定手段を更に備え、
前記確率密度マップ作成手段は、前記集団判定手段により前記複数の移動体が一つの集団に属すると判定されたときは、当該集団を一つの移動体として、前記確率密度マップを作成することを特徴とする請求項１または２記載の環境マップ作成装置。
【請求項４】
移動体の行動を予測する行動予測装置であって、
前記移動体を検出する移動体検出手段と、
前記移動体検出手段により検出された前記移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成する確率密度マップ作成手段と、
前記確率密度マップ作成手段により作成された前記確率密度マップを用いて、前記移動体の進路を予測する進路予測手段とを備えることを特徴とする行動予測装置。
【請求項５】
前記進路予測手段は、前記確率密度マップ上に複数の仮説を配置して、前記移動体の進路を予測することを特徴とする請求項４記載の行動予測装置。
【請求項６】
前記確率密度マップを混合正規分布で表現する混合正規分布生成手段と、
前記混合正規分布のパラメータを求めるパラメータ取得手段とを更に備え、
前記進路予測手段は、前記移動体及び当該移動体に隣接する他の移動体に関する前記混合正規分布のパラメータに基づいて、前記移動体の進路を予測することを特徴とする請求項４記載の行動予測装置。
【請求項７】
前記パラメータ取得手段は、前記確率密度マップを離散化して得られる離散化マップに基づいて、前記混合正規分布のパラメータを求めることを特徴とする請求項６記載の行動予測装置。
【請求項８】
前記移動体検出手段により前記移動体が複数検出されたときに、前記複数の移動体が一つの集団に属するかどうかを判定する集団判定手段を更に備え、
前記確率密度マップ作成手段は、前記集団判定手段により前記複数の移動体が一つの集団に属すると判定されたときは、当該集団を一つの移動体として、前記確率密度マップを作成することを特徴とする請求項４〜７のいずれか一項記載の行動予測装置。
【請求項９】
前記進路予測手段は、前記確率密度マップを用いて予測された移動体の進路を初期値とし、複数の移動体の状態を条件付き確率場でモデル化することにより、前記複数の移動体が一つの集団に属するかどうかの判定と同時に、前記複数の移動体の進路を予測することを特徴とする請求項４記載の行動予測装置。
【請求項１０】
移動体に関する環境マップを作成する環境マップ作成方法であって、
前記移動体を検出するステップと、
前記移動体の所定時間後の位置についての確率密度を表す確率密度マップを前記環境マップとして作成するステップとを含むことを特徴とする環境マップ作成方法。
【請求項１１】
移動体の行動を予測する行動予測方法であって、
前記移動体を検出するステップと、
前記移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成するステップと、
前記確率密度マップを用いて、前記移動体の進路を予測するステップとを含むことを特徴とする行動予測方法。
【請求項１】
移動体に関する環境マップを作成する環境マップ作成装置であって、
前記移動体を検出する移動体検出手段と、
前記移動体検出手段により検出された前記移動体の所定時間後の位置についての確率密度を表す確率密度マップを前記環境マップとして作成する確率密度マップ作成手段とを備えることを特徴とする環境マップ作成装置。
【請求項２】
前記確率密度マップを混合正規分布で表現する混合正規分布生成手段を更に備えることを特徴とする請求項１記載の環境マップ作成装置。
【請求項３】
前記移動体検出手段により前記移動体が複数検出されたときに、前記複数の移動体が一つの集団に属するかどうかを判定する集団判定手段を更に備え、
前記確率密度マップ作成手段は、前記集団判定手段により前記複数の移動体が一つの集団に属すると判定されたときは、当該集団を一つの移動体として、前記確率密度マップを作成することを特徴とする請求項１または２記載の環境マップ作成装置。
【請求項４】
移動体の行動を予測する行動予測装置であって、
前記移動体を検出する移動体検出手段と、
前記移動体検出手段により検出された前記移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成する確率密度マップ作成手段と、
前記確率密度マップ作成手段により作成された前記確率密度マップを用いて、前記移動体の進路を予測する進路予測手段とを備えることを特徴とする行動予測装置。
【請求項５】
前記進路予測手段は、前記確率密度マップ上に複数の仮説を配置して、前記移動体の進路を予測することを特徴とする請求項４記載の行動予測装置。
【請求項６】
前記確率密度マップを混合正規分布で表現する混合正規分布生成手段と、
前記混合正規分布のパラメータを求めるパラメータ取得手段とを更に備え、
前記進路予測手段は、前記移動体及び当該移動体に隣接する他の移動体に関する前記混合正規分布のパラメータに基づいて、前記移動体の進路を予測することを特徴とする請求項４記載の行動予測装置。
【請求項７】
前記パラメータ取得手段は、前記確率密度マップを離散化して得られる離散化マップに基づいて、前記混合正規分布のパラメータを求めることを特徴とする請求項６記載の行動予測装置。
【請求項８】
前記移動体検出手段により前記移動体が複数検出されたときに、前記複数の移動体が一つの集団に属するかどうかを判定する集団判定手段を更に備え、
前記確率密度マップ作成手段は、前記集団判定手段により前記複数の移動体が一つの集団に属すると判定されたときは、当該集団を一つの移動体として、前記確率密度マップを作成することを特徴とする請求項４〜７のいずれか一項記載の行動予測装置。
【請求項９】
前記進路予測手段は、前記確率密度マップを用いて予測された移動体の進路を初期値とし、複数の移動体の状態を条件付き確率場でモデル化することにより、前記複数の移動体が一つの集団に属するかどうかの判定と同時に、前記複数の移動体の進路を予測することを特徴とする請求項４記載の行動予測装置。
【請求項１０】
移動体に関する環境マップを作成する環境マップ作成方法であって、
前記移動体を検出するステップと、
前記移動体の所定時間後の位置についての確率密度を表す確率密度マップを前記環境マップとして作成するステップとを含むことを特徴とする環境マップ作成方法。
【請求項１１】
移動体の行動を予測する行動予測方法であって、
前記移動体を検出するステップと、
前記移動体の所定時間後の位置についての確率密度を表す確率密度マップを作成するステップと、
前記確率密度マップを用いて、前記移動体の進路を予測するステップとを含むことを特徴とする行動予測方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１２−５８７８０（Ｐ２０１２−５８７８０Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−１９８２１２（Ｐ２０１０−１９８２１２）
【出願日】平成２２年９月３日（２０１０．９．３）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０８１８８９７２）
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月３日（２０１０．９．３）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０８１８８９７２）
【Ｆターム（参考）】
[ Back to top ]