説明

経路設定装置、経路設定方法、及びプログラム

【課題】人の現在位置を中心として移動体の経路から外すべき範囲を設定するとき、その範囲を適切に設定することができるようにする。
【解決手段】目的地情報取得部100は、目的地の位置を示す目的地情報を取得する。人情報取得部120は、移動体の周囲に位置する人の位置情報を取得するとともに、人の属性を取得する。予想範囲算出部140は、人情報取得部120が取得した位置情報及び属性に基づいて、人の予想移動範囲を算出する。移動経路算出部180は、予想移動範囲及び目的地情報を用いて移動体の移動経路を算出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体の経路を設定する経路設定装置、経路設定方法、及びプログラムに関する。
【背景技術】
【0002】
移動体の移動を自立制御する場合、目的地までの経路を設定すると共に、その経路に位置する障害物を移動中に検出し、その障害物を避けるように経路を変更できるようにする必要がある。例えば特許文献1には、電動移動体に障害物センサを設け、この障害物センサの検出結果に基づいてモータを制御することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平9−37403号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
障害物の一例として人がある。人は移動するため、人の現在位置及びその周囲を通らないように移動体の経路を設定する必要がある。ここで、経路から外すべき範囲を広く取りすぎると、移動体の経路が自動設定できなくなってしまう。一方、経路から外すべき範囲が狭すぎると、人と移動体が衝突する可能性が出てくる。このため、人の現在位置を中心として移動体の経路から外すべき範囲を設定するとき、その範囲を適切に設定する必要がある。
【0005】
本発明の目的は、人の現在位置を中心として移動体の経路から外すべき範囲を設定するとき、その範囲を適切に設定することができる経路設定装置、経路設定方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明によれば、移動体の移動経路を設定する経路設定装置であって、
目的地の位置を示す目的地情報を取得する目的地情報取得手段と、
前記移動体の周囲に位置する人の位置情報を取得するとともに、前記人の属性を取得する人情報取得手段と、
前記位置情報及び前記属性に基づいて、前記人の予想移動範囲を算出する予想範囲算出手段と、
前記予想移動範囲及び前記目的地情報を用いて前記移動体の移動経路を算出する移動経路算出手段と、
を備える経路設定装置が提供される。
【0007】
本発明によれば、移動体の移動経路を設定する経路設定方法であって、
コンピュータが、目的地の位置を示す目的地情報を取得し、
前記コンピュータが、前記移動体の周囲に位置する人の位置情報を取得するとともに、前記人の属性を取得し、
前記コンピュータが、前記位置情報及び前記属性に基づいて、前記人の予想移動範囲を算出し、
前記コンピュータが、前記予想移動範囲及び前記目的地情報を用いて前記移動体の移動経路を算出する経路設定方法が提供される。
【0008】
本発明によれば、コンピュータを、移動体の移動経路を設定する経路設定装置として機能させるためのプログラムであって、
前記コンピュータに、
目的地の位置を示す目的地情報を取得する機能と、
前記移動体の周囲に位置する人の位置情報を取得するとともに、前記人の属性を取得する機能と、
前記位置情報及び前記属性に基づいて、前記人の予想移動範囲を算出する機能と、
前記予想移動範囲及び前記目的地情報を用いて前記移動体の移動経路を算出する機能と、
を実現させるプログラムが提供される。
【発明の効果】
【0009】
本発明によれば、人の現在位置を中心として移動体の経路から外すべき範囲を設定するとき、その範囲を適切に設定することができる。
【図面の簡単な説明】
【0010】
【図1】第1の実施形態に係る経路設定装置の機能構成を示すブロック図である。
【図2】移動体の現在位置と目的地の間に人が存在しない場合のグリッドマップである。
【図3】移動体の現在位置と目的地の間に人が存在する場合を示す図である。
【図4】予想範囲算出部が保持している予想移動範囲定義情報を示す図である。
【図5】移動経路算出部が算出する経路の第1例を説明するための図である。
【図6】移動経路算出部が算出する経路の第2例を説明するための図である。
【図7】経路設定装置が行う処理を示すフローチャートである。
【図8】第2の実施形態に係る経路設定装置の機能構成を示すブロック図である。
【図9】図8の予想範囲算出部が記憶している予想移動範囲定義情報を説明するための図である。
【図10】図8に示した経路設定装置の動作を示すフローチャートである。
【図11】第3の実施形態において予想範囲算出部が記憶している予想移動範囲定義情報を説明するための図である。
【図12】第3の実施形態にかかる経路設定装置の動作を示すフローチャートである。
【図13】第4の実施形態に係る経路設定装置の機能構成を示すブロック図である。
【図14】図13に示した経路設定装置が行う処理を示すフローチャートである。
【図15】図13に示した移動経路算出部が経路を定める方法を具体的に説明するための図である。
【図16】フレーム間での人物の移動距離の一例を示す図である。
【図17】予測した人物の位置と実際の位置との差の一例を示す図である。
【図18】フレーム間での人物の頭部の大きさの差の一例を示す図である。
【図19】胸部領域における色成分のヒストグラム分布の一例を示す図である。
【図20】フレーム間での頭部の向きの差の一例を示す図である。
【図21】予測した人物の移動方向と実際の移動方向との差の一例を示す図である。
【図22】トラッキング処理の一例を示す図である。
【図23】トラッキング処理の一例を示す図である。
【図24】トラッキング処理の一例を示す図である。
【図25】トラッキング処理の一例を示す図である。
【図26】トラッキング処理の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0012】
図1は、第1の実施形態に係る経路設定装置10の機能構成を示すブロック図である。経路設定装置10は、移動体の移動経路を設定する装置であり、例えば車椅子の自動走行に用いられる。経路設定装置10は、目的地情報取得部100、人情報取得部120、予想範囲算出部140、及び移動経路算出部180を備えている。目的地情報取得部100は、目的地の位置を示す目的地情報を取得する。人情報取得部120は、移動体の周囲に位置する人の位置情報を取得するとともに、人の属性を取得する。予想範囲算出部140は、人情報取得部120が取得した位置情報及び属性に基づいて、人の予想移動範囲を算出する。移動経路算出部180は、予想移動範囲及び目的地情報を用いて移動体の移動経路を算出する。以下、経路設定装置10について詳細に説明する。
【0013】
目的地情報取得部100は、目的地情報を、経路設定装置10のユーザからの入力に基づいて取得する。例えば目的地情報取得部100は、目的地情報をユーザから直接入力されてもよいし、目的地の名称等を示す情報をユーザから入力されてもよい。後者の場合、目的地情報取得部100は、例えば地図データベース(図示せず)にアクセスし、ユーザから入力された情報を地図データベースにマッチングさせることにより、目的地情報を取得する。
【0014】
人情報取得部120は、撮像部122及び画像処理部124を備えている。撮像部122は、移動体の移動方向における前方及びその周囲を撮像する。画像処理部124は、撮像部が生成した画像データを処理することにより、人の位置情報(第1の位置情報)を算出するとともに、人の属性を定める。本実施形態において、属性は少なくとも年齢層を含んでいる。ここで撮像部122は、2つ以上のカメラを備えるのが好ましい。このようにすると、画像処理部124は、2つ以上のカメラそれぞれで生成された画像データを互いに関連付けながら処理することにより、第1の位置情報を高い精度で算出することができる。
【0015】
予想範囲算出部140は、予め年齢層別に、予想移動範囲を定義する予想移動範囲定義情報を記憶している。そして予想範囲算出部140は、画像処理部124が定めた年齢層に対応する予想移動範囲定義情報を用いて、予想移動範囲を定める。
【0016】
移動経路算出部180はグリッドマップを生成し、このグリッドマップを用いることにより経路を定める。移動経路算出部180は、予想範囲算出部140が定めた予想移動範囲を用いてグリッドマップを作成する。
【0017】
なお、図1に示した経路設定装置10の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。経路設定装置10の各構成要素は、任意のコンピュータのCPU、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。
【0018】
図2〜図5は、図1に示した経路設定装置10が行う経路設定方法を説明するための図である。上述したように移動経路算出部180はグリッドマップを生成し、このグリッドマップ上で重み付けが小さい領域を通るように、経路を定める。
【0019】
図2は、移動体の現在位置と目的地の間に人が存在しない場合を示している。この場合、移動体の現在位置と目的地を結ぶ直線に沿って移動することが、重み付けが小さい領域を通ることになる。
【0020】
ここで図3のように、移動体の現在位置と目的地の間に人が存在した場合を考える。この場合、人が存在することにより、図2に示したグリッドマップを変化させる必要が出てくる。そこで予想範囲算出部140は、予想移動範囲をグリッドマップ形式で生成する。
【0021】
図4の各図は、予想範囲算出部140が保持している予想移動範囲定義情報を示す図である。本図に示す例において、予想移動範囲定義情報は年齢層別のグリッドマップである。このグリッドマップは、人の周りの領域にどのような重み付けをつけるかを示している。各グリッドマップは、人の現在位置が最も重み付けが高く、現在位置から離れるに従って重み付けが低くなっている。この重み付けの低下の割合は、年齢層によって異なっている。すなわち予想範囲算出部140は、年齢層に応じて予想行動範囲を変える。
【0022】
例えば図4(a)に示すように0歳児の場合は、自力で動く場合は少ないことから、現在地のみを予想移動範囲として定めればよい。しかし図4(b)に示すように、10歳以下の幼児、例えば3歳〜7歳の子供は、どの方向に移動するかは不明であり、また突然移動方向を変えることもある。このため、現在位置を中心に、広めに予想移動範囲を取る必要がある。すなわち10歳以下の幼児の場合は、現在位置から離れても重み付けがあまり低下しないようになっている。
【0023】
年齢が上がって20歳以上の大人になると、突然移動方向を変えることはなくなり、また周囲に注意を払う場合が多い。このため、図4(c)に示すように、幼児の場合と比較して予想移動範囲を狭くしても問題はない。すなわち20歳以上の大人の場合は、現在位置から離れると重み付けがある程度急速に低下するようになっている。ただしさらに年齢が上がって初老、例えば50歳代になると、注意力が低下し、また俊敏性も低下する。このため、図4(d)に示すように20歳代と比較して、予想移動範囲を広く設定する必要がある。
【0024】
図5は、移動経路算出部180が算出する経路の第1例を説明するための図である。本図に示す例は、図3に示した人が20歳代である場合である。移動経路算出部180は、図2に示したグリッドマップに対して、図3に示した人の現在位置を基準に図4(c)に示したグリッドマップを配置する。このようにして移動経路算出部180は、人の現在位置を考慮したグリッドマップを算出する。このグリッドマップにおいて、人の予想移動範囲は重み付けが重くなっている。そして移動経路算出部180は、人の予想移動範囲を避けるように経路を定める。
【0025】
図6は、移動経路算出部180が算出する経路の第2例を説明するための図である。本図に示す例は、図3に示した人が幼児である場合である。移動経路算出部180は、図2に示したグリッドマップに対して、図3に示した人の現在位置を基準に図4(b)に示したグリッドマップを配置する。図4(b)に示したグリッドマップは、図4(c)に示したグリッドマップと比較して、予想移動範囲が広くなっている。このため移動経路算出部180は、図5の場合よりも、人から離れた場所を通るように経路を定めることになる。
【0026】
図7は、経路設定装置10が行う処理を示すフローチャートである。この図に示すフローチャートの概要は、図3〜図6に示したとおりである。
【0027】
まず目的地情報取得部100は目的地情報を取得する(ステップS10)。次いで移動経路算出部180は、移動体の現在位置を認識する(ステップS20)。ただし目的地情報が移動体の現在位置を基準にして定められている場合は、ステップS20に示す処理は不要である。
【0028】
次いで経路設定装置10は、移動体が目的地に到着するまで(ステップS30:Yes)、以下の処理を予め決められた間隔で繰り返す。
【0029】
まず撮像部122は、移動体の移動方向及びその周囲を撮像し、画像データを生成する(ステップS40)。次いで画像処理部124は、撮像部122が生成した画像データを処理することにより、移動体の移動方向及びその周囲に位置する人の顔データを検出する。そして画像処理部124は、画像データ中の顔データの位置を解析することにより、人の現在位置を示す第1の位置情報を生成する(ステップS50)。また画像処理部124は、検出した顔データを解析することにより、人の属性すなわち年齢層を認識する(ステップS60)。
【0030】
次いで予想範囲算出部140は、画像処理部124が認識した年齢層を用いて、予想移動範囲を示すグリッドマップを生成する。次いで移動経路算出部180は、予想移動範囲を示すグリッドマップを用いて、現在位置から目的地までの間の領域、及びその周囲の領域におけるグリッドマップを生成する(ステップS70)。そして移動経路算出部180は、ステップS70で生成したグリッドマップを用いて経路を定める(ステップS80)。その後、ステップS20に戻る。
【0031】
次に、本実施形態の作用及び効果について説明する。本実施形態において予想範囲算出部140は、人の属性すなわち年齢層によって、その人の予想移動範囲を変えている。そして移動経路算出部180は、予想移動範囲を避けるように経路を定める。このため経路設定装置10は、人の現在位置を中心として移動体の経路から外すべき範囲を、その人の年齢に応じた適切な範囲に設定することができる。
【0032】
また経路設定装置10は、人の年齢を画像処理によって認識している。このため、経路設定装置10のユーザが人の属性を入力しなくてすむ。
【0033】
図8は、第2の実施形態に係る経路設定装置10の機能構成を示すブロック図である。本実施形態に係る経路設定装置10は、位置履歴記憶部126及び移動方向算出部128を有している点を除いて、第1の実施形態に係る経路設定装置10と同様の構成である。
【0034】
位置履歴記憶部126は、人の位置情報の履歴を、その人を特定する情報、例えばその人の顔の特徴データに対応付けて記憶する。例えば画像処理部124は、人の位置情報を検出するときに、その人の顔の特徴データも検出する。そして画像処理部124は、今回検出した顔の特徴データと同一の特徴データを、位置履歴記憶部126が記憶しているデータから探す。そして画像処理部124は、位置履歴記憶部126から探した特徴データに対応付けて、新たに検出した位置情報を位置履歴記憶部126に記憶させる。この処理が繰り返されることにより、位置履歴記憶部126には、人の位置情報の履歴が記憶される。
【0035】
また人の位置情報の履歴を示す情報は、以下のように、移動距離、予測位置との比較、頭部の大きさ、服装の共通性、頭部の向き、顔の類似度、性別度、及び年齢といったパラメータに基づいて算出されてもよい。以下のトラッキング処理は、画像処理部124によって行われる。
【0036】
<移動距離>
通常、同一人物の位置は、連続するフレーム間で急激に変化しない。例えば、図16に示すように、n−1番目のフレームにおける任意の候補者の位置を(xn−1,yn−1)、n番目のフレームにおける人物の位置を(x,y)とした場合に、これらの2点間の距離
diffdist1={(xn−1−x+(yn−1−y1/2
が小さいほど、人物の同一性が高いと考えられる。
【0037】
<予測位置との比較>
あるフレームの画像に写っている人物が次のフレームの画像においてどの位置に移動するかは、予測可能である。例えば、n−1番目のフレームの画像に写っている人物が次のn番目のフレームでどの位置へ移動するかは、n−1番目のフレームの画像及びn−2番目以前のフレームの画像から予測可能である。ここで、図17に示すように、n−1番目のフレームにおいて予測したn番目のフレーム画像での人物の位置を(predict_x,predict_y)、n番目のフレームにおける実際の位置を(x,y)とすると、これらの2点間の距離
diffdist2={(predict_x−x+(predict_y−y1/2
が小さいほど、人物の同一性が高いと考えられる。
【0038】
<頭部の大きさ>
通常、同一人物の頭部の大きさは、連続するフレーム間で急激に変化しない。従って、図18に示すようにn−1番目のフレームにおける任意の人物の頭部の大きさをhn−1、n番目のフレームにおける頭部の大きさをhとすると、頭部の大きさの差
diffhead-size={max(hn−1,h)−min(hn−1,h)}/max(hn−1,h
が小さいほど人物の同一性が高いと考えられる。
【0039】
<服装の共通性>
同一人物の衣服は、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の服装を基に、人物の同一性を判定可能である。図19に示すように、フレーム画像において人物の頭部を検出した場合、その直下の部分はその人物の胸部であると推定できる。したがって、あるフレーム画像における人物の頭部の直下の部分(胸部領域)における色成分のヒストグラム分布と、その後のフレームに画像における胸部領域における色成分のヒストグラム分布とは、同一人物であればほぼ同じとなる。
ここで、n番目のフレームでの胸部領域における色成分のヒストグラム分布と、n−1番目のフレームでの胸部領域における色成分のヒストグラム分布の仕方の違いは、例えばKL情報量(Kullback-Leibler divergence)として数値化することが可能である。すなわち、n−1番目のフレームにおける色成分のヒストグラム分布をHistn−1、n番目のフレームにおける色成分のヒストグラム分布をHistとすると、色成分のヒストグラム分布の差、
diffcolor1=KL(Histn−1,Hist
が小さいほど人物の同一性が高いと考えられる。
【0040】
しかし、ある人物の前を別の人物が通過するなどして、特定のフレームの胸部領域における色成分のヒストグラム分布が他のフレームと異なる場合もある。したがって、n番目のフレームでの胸部領域における色成分のヒストグラム分布と、n−1番目のフレームまでの胸部領域における色成分のヒストグラム分布平均とを比較することによっても人物の同一性を判定する。この場合も、上記同様にKL情報量として数値化する。
n−1番目のフレームまでの色成分のヒストグラム分布の平均をHistavg、nフレームにおける色成分のヒストグラム分布をHistとすると、
diffcolor2=KL(Histavg,Hist
が小さいほど人物の同一性が高いと考えられる。
このような処理の一例は、Changjiang Yang, Ramani Duraiswami and Larry Davis, Fast Multiple Object Tracking via a Hierarchical Particle Filter, "Proceedings of the Tenth IEEE International Conference on Computer Vision", 2005 の3.1 Color Rectangle Featuresに記載されている。
【0041】
<頭部の向き>
一般的に、人間は一定の方向を向いて移動するため、あるフレームにおける頭部の向きとその次のフレームにおける頭部の向きとが極端に異なることはまれである。よって、n−1番目のフレームにおける頭部の向きとn番目のフレームにおける頭部の向きとを比較することで、人物の同一性を判定可能である。図20に示すように、n−1番目のフレームにおける頭部の向きをOn−1、n番目のフレームにおける頭部の向きをOとすると
difforientation1=|On−1−O
が小さいほど人物の同一性が高いと考えられる。
【0042】
また、移動時に頭部が向いている方向は、その人物の進行方向と一致すると考えられる。したがって、n−1番目のフレームの頭部の向きから予測した移動方向と、n−1番目のフレームからn番目のフレームの間に移動した方向とを比較することによって人物の同一性を判定できる。
図21に示すように、n−1番目のフレームにおける頭部の向きをOn−1、n−1番目のフレームからn番目のフレームの間に移動した方向をmとすると、
difforientation2=|On−1−m
が小さいほど人物の同一性が高いと考えられる。
【0043】
<顔の類似度>
同一人物の顔は、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の顔を基に、人物の同一性を判定可能である。
フレーム間での人物の顔の相違は、テンプレートマッチング(Sum of Squared Difference:SSD、Sum of Absolute Difference:SAD)やPCA(Principal Component Analysis)空間上でのユークリッド距離によって数値化できる。
これらの方法で数値化した値をdifffaceとすると、その値が小さいほど人物の同一性が高いと考えられる。
【0044】
<性別度>
同一人物の顔の女性らしさ(男性らしさ)は、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の女性らしさ(男性らしさ)を基に、人物の同一性を判定可能である。
ここで、女性らしさ(男性らしさ)を性別度として定義すると、性別度は認識器(識別器)によって顔画像を基に出力可能である。例えば、フレーム画像に写っている人物の顔が女性らしいほど0に近い値を出力し、男性らしいほど1に近い値を出力するようにすればよい。
上記のように性別度を出力する場合、n−1番目のフレームにおける性別度をgn−1、n番目のフレームにおける性別度をgとすると、
diffgender=|gn−1−g
が小さいほど人物の同一性が高いと考えられる。
【0045】
<年齢>
同一人物の年齢は、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の年齢を基に、人物の同一性を判定可能である。
人物の年齢は連続量を扱う(換言すると回帰問題を扱う)識別器によって、顔画像を基に推定することが可能である。
n−1番目のフレームにおいて推定された年齢をagen−1、n番目のフレームにおいて推定された年齢をageとすると、
diffage=|agen−1−age
が小さいほど人物の同一性が高いと考えられる。
【0046】
上記のような各パラメータに関しては、人物の追跡に用いるか否かを個別に設定可能である。
【0047】
人物の同一性の判定に用いる各同一性指数はそれぞれ意味合いが異なるため、異なる同一性指数を比較しても人物の同一性を評価できない。よって、画像処理部124は、各同一性指数に個別の所定の閾値で同一性指数の値を除することによって、各同一性指数を正規化する。なお、所定の閾値は、同一人物と判定する最大の値とする。移動距離を例とすると、フレーム間の移動距離がLを超える場合には同一人物と判定しないのであれば、実際の移動距離XをLで除することによって正規化する。以下、正規化した値をスコアという。スコアは、同一人物である可能性の高さを0から1の範囲で示す値であり、0に近いほど同一人物の可能性が高い。これは基となった同一性指数によらず共通である。
【0048】
画像処理部124は、ある人物とある候補者との組み合わせに関して、各スコアの相加平均することにより、その人物と候補者との組み合わせに関して各同一性指数による同一性の判定結果を統合した値を算出する。なお、同一性指数ごとに重みを変えて重み付け平均した値を算出することも可能である。例えば、A〜Dの四つのスコアを統合する場合、0.25A+0.25B+0.25C+0.25Dとしてスコアを統合すれば、各同一性指数の重みは同一である。一方、0.4A+0.2B+0.2C+0.2Dとしてスコアを統合すれば、スコアAの基となった同一性指数に他の同一性指数の2倍の重みを与えることができる。
【0049】
以上のようにして算出されるスコアは、n番目のフレームにおいて検出された全ての人物と、同一人物と判定しうる全ての候補に関して算出する。例えば、図22に示すように、n番目のフレームには4人の人物(W、X、Y、Z)が検出されており、その時点において同一人物の候補として3人(A、B、C)が登録されている場合は、4×3=12通りのスコアを算出する。なお、W、X、Y、Zは、人物W、X、Y、Zがn番目のフレームにおいて検出されたことを示しており、An−1、Bn−1、Cn−1は、候補者A、B、Cがn−1番目のフレームにおいて検出されていることを示している。
【0050】
画像処理部124は、統合されたスコアを基に、以下の手順で人物と候補者とを対応させる。まず、画像処理部124は、画像処理部124が統合したスコアのうち最小の値を検出し、同一人物と判定する。ここでは、Bn−1とXとの組み合わせにおけるスコアが最小値をとるため、図23示すように画像処理部124はn番目のフレームにおいて検出されたXは、候補者Bであると判定する。
【0051】
次に、画像処理部124は、人物B及び人物Xとは関連のないスコアの中から最小の値を検出し、同一人物と判定する。ここでは、Cn−1とZとの組み合わせにおけるスコアが最小値をとるため、図24示すように画像処理部124は、n番目のフレームにおいて検出されたZは、候補者Cであると判定する。
【0052】
その後、画像処理部124は、人物B、C、X及びZとは関連のないスコアの中から最小の値を検出し、同一人物と判定する。ここでは、An−1とWとの組み合わせにおけるスコアが最小値をとるため、図25に示すように画像処理部124はn番目のフレームにおいて検出されたWは、候補者Aであると判定する。
【0053】
この段階で、登録済みの候補者と同一の人物は全て検出されたため、図26に示すように画像処理部124は残った人物Yは新規の人物であると判断する。画像処理部124は、人物Yを以降のトラッキング処理における候補者として候補者登録部(図示せず)に登録する。なお、画像処理部124が人物以外のものを誤って人物と検出する可能性もあるため、画像処理部124は、所定回数続けて残った人物のみを新規の人物として候補者登録部へ登録することが好ましい。
【0054】
候補者登録部に登録されているにもかかわらず、追跡できなかった候補者が存在する場合(例えば、画像処理部124が入力フレーム画像から検出した人物の数が、候補者登録部に登録されている候補者の数よりも少なかった場合)は、画像処理部124は追跡できなかった候補者はフレームアウトしたものと判断する。なお、ある人物の前を別の人物を通過するなどして、人物がフレーム内に存在するにもかかわらず画像処理部124が人物の検出に失敗することも考えられるため、画像処理部124が所定回数続けて追跡できなかった候補者をフレームアウトしたと判断することが好ましい。
【0055】
画像処理部124は、上記の処理を所定のフレーム数ごとに繰り返すことにより、動画像に映された人物を追跡する。
【0056】
なお、ここでは同一人物の候補が全てn−1番目のフレームにおいて検出されている場合を例としたが、n−1番目のフレームにおいて検出されない候補がいる場合は、その候補者については、画像処理部124が直前に検出されたフレームの画像(n−2番目のフレームなど)を取得して、入力フレーム画像との差分から同一性指数を算出する。
【0057】
上記の方法を行うことにより画像処理部124は、複数のパラメータに関して同一性指数を算出し、それらを正規化した上で統合するため、動画像に写された人物の動きを高精度に追跡できる。
【0058】
移動方向算出部128は、位置履歴記憶部126が記憶している位置情報の履歴に基づいて人の移動方向、好ましくは移動速度を算出する。そして予想範囲算出部140は、さらに移動方向を用いて予想移動範囲を算出する。
【0059】
図9は、図8に示した経路設定装置10において予想範囲算出部140が記憶している予想移動範囲定義情報を説明するための図である。この予想移動範囲定義情報が示すグリッドマップでは、重み付けが重い領域は、移動方向算出部128が算出した移動方向に広がっている。ただし、本実施形態でも、大人よりも幼児のほうが、重み付けが重い領域が大きくなっている。
【0060】
予想範囲算出部140は、人の移動方向別に、年齢層別の予想移動範囲情報を記憶していてもよい。また予想範囲算出部140は、年齢層別の予想移動範囲情報と、人の移動方向に応じてどのように予想移動範囲を変形させるかを示す情報とを記憶していてもよい。
【0061】
図10は、図8に示した経路設定装置10の動作を示すフローチャートである。本図に示す処理は、以下を除いて第1の実施形態において図7を用いて説明した処理と同様である。
【0062】
まず画像処理部124は、第1の位置情報を算出する(ステップS50)と、算出した第1の位置情報を位置履歴記憶部126に記憶させる(ステップS52)。
【0063】
また移動方向算出部128は、予想範囲算出部140が予想移動範囲を示すグリッドマップを作成する(ステップS70)前に、人の移動方向を算出する(ステップS62)。
【0064】
そして予想範囲算出部140は、人の移動方向及び年齢層を用いて、予想移動範囲を算出する。なお移動方向算出部128がステップS62において人の移動速度を算出している場合、予想範囲算出部140は、人の移動方向及び速さ、並びに年齢層を用いて予想移動範囲を算出する。そして移動経路算出部180は、予想移動範囲を示すグリッドマップを用いて、現在位置から目的地までの間の領域、及びその周囲の領域におけるグリッドマップを生成する(ステップS70)
【0065】
本実施形態によっても、第1の実施形態と同様の効果を得ることができる。また人の移動方向を用いて予想移動範囲を算出しているため、移動体の経路から外すべき範囲をさらに精度よく設定することができる。
【0066】
なお本実施形態において予想範囲算出部140は、人の属性を用いずに移動方向(好ましくは移動速度)のみを用いて予想移動範囲を定めてもよい。
【0067】
次に、第3の実施形態に係る経路設定装置10について説明する。本実施形態に係る経路設定装置10は、画像処理部124が人の顔の向きを検出する点、及び予想範囲算出部140が人の顔の向きを用いて予想移動範囲を算出する点を除いて、第1又は第2の実施形態に係る経路設定装置10と同様の構成である。なお後述する図12は、第1の実施形態に係る経路設定装置10と同様の構成である場合を示している。
【0068】
図11は、本実施形態において予想範囲算出部140が記憶している予想移動範囲定義情報を説明するための図である。人の顔が移動体の正面を向いている場合、その人が移動体を認識していると判断できる。このような場合、図11(c)に示すように、予想範囲算出部140は、人の顔が移動体の正面を向いていない場合(図11(d))と比較して、予想移動範囲を狭くすることができる。ただし、幼児である場合、顔が移動体の正面を向いていても移動体を認識した行動をとらない場合がある。このため予想範囲算出部140は、幼児の場合、図11(a)及び(b)に示すように、人の顔が正面を向いていても、正面を向いていない場合と同一の予想移動範囲を定める。
【0069】
図12は、本実施形態にかかる経路設定装置10の動作を示すフローチャートである。本図に示す処理は、以下を除いて第1の実施形態において図7を用いて説明した処理と同様である。
【0070】
まず画像処理部124は、予想範囲算出部140が予想移動範囲を示すグリッドマップを作成する(ステップS70)前に、人の顔の向きを認識する(ステップS64)。
【0071】
そして予想範囲算出部140は、人の移動方向及び顔の向きを用いて、予想移動範囲を算出する。そして移動経路算出部180は、予想移動範囲を示すグリッドマップを用いて、現在位置から目的地までの間の領域、及びその周囲の領域におけるグリッドマップを生成する(ステップS70)
【0072】
本実施形態によっても、第1又は第2の実施形態と同様の効果を得ることができる。また人の顔の向きを用いて予想移動範囲を算出しているため、移動体の経路から外すべき範囲をさらに精度よく設定することができる。
【0073】
なお本実施形態において予想範囲算出部140は、人の属性を用いずに顔の向きのみを用いて予想移動範囲を定めてもよい。また本実施形態にかかる経路設定装置10が、図8に示した位置履歴記憶部126及び移動方向算出部128を備えている場合、予想範囲算出部140は、顔の向き及び人の移動方向のみを用いて予想移動範囲を定めてもよい。
【0074】
図13は、第4の実施形態に係る経路設定装置10の機能構成を示すブロック図である。本実施形態に係る経路設定装置10は、以下の点を除いて第1〜第3の実施形態に係る経路設定装置10のいずれかと同様である。なお図13は、第1の実施形態と同様の場合を示している。
【0075】
まず、人情報取得部120は光学的に障害物を検出する手法として、光学的センサ130を備えている。光学的センサ130は、移動体の移動方向に向けて光、例えばレーザを照射し、その光の反射光を検出することにより、人の位置情報すなわち第2の位置情報を検出する。第2の位置情報は、画像処理部124が算出する第1の位置情報と比較して精度が高い。
【0076】
なお光学的センサ130は、人のみではなく静止物も障害物として検出する。ただし光学的センサ130は、人と静止物を区別できない。そこで本実施形態では、画像処理部124が、第2の位置情報と第1の位置情報を用いることにより、光学的センサ130が検出した障害物のいずれが人であるかを判断する。そして予想範囲算出部140は、第2の位置情報を用いて予想移動範囲を算出する。
【0077】
図14は、図13に示した経路設定装置10が行う処理を示すフローチャートである。本図に示す処理は、画像処理部124が人の属性すなわち年齢層を認識するまでの処理(ステップS10〜ステップS60)は、第1の実施形態において図7に示した処理と同様である。
【0078】
画像処理部124が人の年齢層を認識する(ステップS60)と、光学的センサ130は、移動体の移動方向に位置する障害物の位置を検出する。この位置情報には、人の位置を示す第2の位置情報と、静止物の位置を示す第3の位置情報とが含まれる(ステップS66)。光学的センサ130は、検出した位置情報を画像処理部124に出力する。
【0079】
画像処理部124は、光学的センサ130が検出した位置情報のうち第1の位置情報と同一の位置情報であると判断できるものを、人の位置を示す第2の位置情報であると判断し、それ以外の位置情報を、静止物の位置を示す第3の位置情報であると判断する。そして画像処理部124は、第1の位置情報を用いて、第2の位置情報をその人の年齢層に対応付ける(ステップS68)。そして画像処理部124は、第2の位置情報を年齢層に対応付けて予想範囲算出部140に出力する。また画像処理部124は、第3の位置情報を移動経路算出部180に出力する。
【0080】
予想範囲算出部140は、第2の位置情報と年齢層とを用いて、予想移動範囲を示すグリッドマップを生成する。また移動経路算出部180は、第3の位置情報を用いて静止物を示すグリッドマップを生成する。そして移動経路算出部180は、予想移動範囲を示すグリッドマップと、静止物を示すグリッドマップとを用いて、現在位置から目的地までの間の領域、及びその周囲の領域におけるグリッドマップを生成する(ステップS70)。そして移動経路算出部180は、ステップS70で生成したグリッドマップを用いて経路を定める(ステップS80)。その後、ステップS20に戻る。
【0081】
図15は、図13に示した移動経路算出部180が経路を定める方法を具体的に説明するための図である。本図に示すグリッドマップには、人の予想移動範囲を示すグリッドマップと共に、静止物を示すグリッドマップが組み込まれている。そして移動経路算出部180は、人の予想移動範囲と静止物の周囲を避けるように、経路を設定する。
【0082】
本実施形態によっても、第1の実施形態と同様の効果を得ることができる。また光学的センサ130により検出された第2の位置情報を用いて、人の予想移動範囲を示すグリッドマップを作成している。第2の位置情報は第1の位置情報と比較して精度が高い。このため、移動体の経路から外すべき範囲をさらに精度よく設定することができる。
【0083】
また光学的センサ130を用いることにより、静止物の位置を示す第3の位置情報を検出することができる。従って、静止物を避けるように経路を設定することもできる。
【0084】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。例えば経路設定装置10の人情報取得部120は、ユーザからの入力に基づいて人の位置及び属性の少なくとも一方を取得してもよい。また上記した各実施形態において、人の属性として性別を用いてもよい。
【符号の説明】
【0085】
10 経路設定装置
100 目的地情報取得部
120 人情報取得部
122 撮像部
124 画像処理部
126 位置履歴記憶部
128 移動方向算出部
130 光学的センサ
140 予想範囲算出部
180 移動経路算出部

【特許請求の範囲】
【請求項1】
移動体の移動経路を設定する経路設定装置であって、
目的地の位置を示す目的地情報を取得する目的地情報取得手段と、
前記移動体の周囲に位置する人の位置情報を取得するとともに、前記人の属性を取得する人情報取得手段と、
前記位置情報及び前記属性に基づいて、前記人の予想移動範囲を算出する予想範囲算出手段と、
前記予想移動範囲及び前記目的地情報を用いて前記移動体の移動経路を算出する移動経路算出手段と、
を備える経路設定装置。
【請求項2】
請求項1に記載の経路設定装置において、
前記属性は、前記人の年齢層を含んでおり、
前記予想範囲算出手段は、前記年齢層に応じて前記予想移動範囲を変える経路設定装置。
【請求項3】
請求項1又は2に記載の経路設定装置において、
前記位置情報の履歴を記憶する位置履歴記憶手段と、
前記履歴に基づいて前記人の移動方向を算出する移動方向算出手段と、
をさらに備え、
前記予想範囲算出手段は、さらに前記移動方向を用いて前記予想移動範囲を算出する経路設定装置。
【請求項4】
請求項1〜3のいずれか一項に記載の経路設定装置において、
前記人情報取得手段は、
前記移動体の移動方向を撮像する撮像手段と、
前記撮像手段が生成した画像データを処理することにより、前記人の第1の前記位置情報を算出するとともに、前記人の属性を定める画像処理手段と、
を備える経路設定装置。
【請求項5】
請求項4に記載の経路設定装置において、
前記画像処理手段は、さらに前記人の顔の向きを検出し、
前記予想範囲算出手段は、さらに前記人の顔の向きを用いて前記予想移動範囲を算出する経路設定装置。
【請求項6】
請求項5に記載の経路設定装置において、
前記予想範囲算出手段は、前記人の顔が前記移動体を向いている場合、前記人の顔が前記移動体を向いていない場合と比較して前記予想移動範囲を狭くする経路設定装置。
【請求項7】
請求項4〜6のいずれか一項に記載の経路設定装置において、
前記画像処理手段は、前記属性を前記第1の位置情報に対応付けており、
前記人情報取得手段は、さらに、
前記移動体の移動方向に光を照射し、当該光の反射光を検出することにより、前記人の第2の前記位置情報を検出する光学的障害物検出手段を備え、
前記画像処理手段は、前記第1の位置情報を用いて、前記第2の位置情報を前記属性に対応付け、
前記移動経路算出手段は、前記位置情報として前記第2の位置情報を用いる経路設定装置。
【請求項8】
請求項7に記載の経路設定装置において、
前記光学的障害物検出手段は、前記光の反射光を検出することにより、前記人以外の障害物の位置情報である第3の位置情報を検出し、
前記移動経路算出手段は、さらに前記第3の位置情報を用いることにより前記移動経路を算出する経路設定装置。
【請求項9】
移動体の移動経路を設定する経路設定方法であって、
コンピュータが、目的地の位置を示す目的地情報を取得し、
前記コンピュータが、前記移動体の周囲に位置する人の位置情報を取得するとともに、前記人の属性を取得し、
前記コンピュータが、前記位置情報及び前記属性に基づいて、前記人の予想移動範囲を算出し、
前記コンピュータが、前記予想移動範囲及び前記目的地情報を用いて前記移動体の移動経路を算出する経路設定方法。
【請求項10】
コンピュータを、移動体の移動経路を設定する経路設定装置として機能させるためのプログラムであって、
前記コンピュータに、
目的地の位置を示す目的地情報を取得する機能と、
前記移動体の周囲に位置する人の位置情報を取得するとともに、前記人の属性を取得する機能と、
前記位置情報及び前記属性に基づいて、前記人の予想移動範囲を算出する機能と、
前記予想移動範囲及び前記目的地情報を用いて前記移動体の移動経路を算出する機能と、
を実現させるプログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate


【公開番号】特開2011−204181(P2011−204181A)
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願番号】特願2010−73386(P2010−73386)
【出願日】平成22年3月26日(2010.3.26)
【出願人】(000232092)NECソフト株式会社 (173)
【Fターム(参考)】