人物移動経路認識装置
【課題】ある領域の人間群における個々の人物の属性や移動経路を認識可能な画像情報を得るための人物移動経路認識装置を提供する。
【解決手段】本人物移動経路認識装置は、カメラ２、処理装置３、記録装置４、表示装置５を備える。処理装置３は、監視する指定領域Ａを設定する領域設定手段６１と、ベクトル焦点法により撮像画像から人物ｈを認識し追跡する画像処理手段７と、画像上で人物ｈが指定領域Ａ内部に最初に入った時点での静止画の情報を画像記憶部４１に保持させ、この静止画と関連付けて画像処理手段７で追跡している当該人物ｈの追跡点Ｇの情報を進路記憶部４２に保持させる記録処理手段８と、画像記憶部４１に保持された静止画に当該静止画と関連付けられている進路記憶部４２に保持された追跡点Ｇを結んだ追跡線Ｒを合成し、この追跡線付き静止画像１２を表示装置５に表示させる表示編集手段９とを備える。
【解決手段】本人物移動経路認識装置は、カメラ２、処理装置３、記録装置４、表示装置５を備える。処理装置３は、監視する指定領域Ａを設定する領域設定手段６１と、ベクトル焦点法により撮像画像から人物ｈを認識し追跡する画像処理手段７と、画像上で人物ｈが指定領域Ａ内部に最初に入った時点での静止画の情報を画像記憶部４１に保持させ、この静止画と関連付けて画像処理手段７で追跡している当該人物ｈの追跡点Ｇの情報を進路記憶部４２に保持させる記録処理手段８と、画像記憶部４１に保持された静止画に当該静止画と関連付けられている進路記憶部４２に保持された追跡点Ｇを結んだ追跡線Ｒを合成し、この追跡線付き静止画像１２を表示装置５に表示させる表示編集手段９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ある領域の人間群における個々の人物の属性や移動経路を認識可能な画像情報を得るための人物移動経路認識装置に関するものであって、例えば、デパート、スーパーマーケット、コンビニエンスストアーなどにおける人間群における個々人の属性、進路を一目瞭然に表示して、属性分布や進路分布を的確に分析し把握することができ、時間帯毎の営業管理等に極めて有効に役立てることができるものである。
【背景技術】
【０００２】
デパートやスーパーマーケットなどの種々の接客業においては、例えば、季節により、天候により、また、時間帯によって各売り場の混雑具合が変動し、客層が変動する。
他方、営業成績を向上させるとの観点からすれば、個々の売り場の混雑を無くしてゆったりした雰囲気を確保し、客層に応じた適切な対応をすることが是非とも必要であり、このような環境を最小のコストで常時実現し維持することが望まれる。このような販売環境を実現し、維持するために、その時々の来客状況、客の属性（男女、年齢層など）の分布、各売り場における人の流れを客観的に示す情報が求められている。
【０００３】
このような人の属性分布や進路分布を調査するには、例えば、人が通過する指定領域をビデオカメラ等で常時撮影し、録画装置に録画して情報収集することが行われている。そして、この場合、人物の属性や進路を調査するには、録画装置で録画した動画を再生装置によって再生して表示装置に表示し、撮影画像内に人が現れる場面を探す必要があり、その際、人が現れるまで再生装置を早送りする等の作業が必要となる。また、人が現れる場面を見つけると、その人の属性を判断する際、再生装置を巻き戻し、早送り等して人の属性が判断しやすい場面を探し、一時停止して確認することとなる。更に、人の移動進路を判断するためには、その人が表示装置の画面内に現れてから消えるまで再生し追跡する必要があり、その際、例えば、複数の人物が同時に画面に現れる場合は、巻き戻して個々の人物に対して追跡調査する必要がある。このように人の属性分布や進路分布を調査するために収集する情報は、動画であり、静止画と違い一目で確認することができず、調査に長時間かかる。
【０００４】
また、他の手法としては、指定領域を通過する人を監視するために調査員を配置し多人数の人手によって、属性分布、進路分布に関する情報収集することも行われている。そして、人手によるこれらの情報収集は、多数の作業者が所定ルールに基づいて判別した情報を他の所定のルールに基づいて数値化し、これを分析、加工したものである。したがって、このような情報収集には時間がかかりまた、高いコストもかかる。このようなことから、十分な情報収集が行われていないのが現状である。
【０００５】
一方、人間の出入数の把握を定量的に行うことは、カウンターを用いることで十分に可能であるが、属性分布や進路分布等の変化を定量的に分析し、把握することはほとんど不可能である。また、数値化した情報よりも実態を一目瞭然に認識できる画像情報の方が確実に有効である。なぜなら、数値化された情報は、特定のルールで処理された二次的な情報であるから現状の一面を表しているにすぎない。これに対して、上記画像情報から人間が視覚的に取得する情報はありのままの情報であり視覚情報であるから、数字によるものよりも遙かに多様、多量の情報であり、これによれば、属性分布や進路分布などの状況の変動がありのままに、瞬時に伝わって来るからである。
【０００６】
なお、人間群の中の個々人についてその属性、進路等を人手で調査し、これをその後の営業体制の維持・改善に資することは、公知の事項であるが、これが記載されている文献は見出せない。
【０００７】
〔公知の画像処理技術〕
ところで、ＣＣＤカメラの画像情報を分析して、画像内の個々の映像（個々の被写体の映像）の概略的な輪郭を画成し、同画像の仮想の重心位置を特定し、この重心位置の移動軌跡を追跡することのできる画像処理技術が公知である（特許文献１、特許文献２）。この公知の画像処理技術はＣＣＤカメラによるデジタルデータによる映像を、いわゆるベクトル焦点法（特許文献１、特許文献２）で処理をして個々人の映像の輪郭を割り出し、当該画像の仮想の重心位置を算定し、これを短時間で繰り返すことによって個々の被写体の映像の重心位置を追跡することで、その個々の被写体の移動軌跡を特定することができるものである（以下、上記公知の画像処理技術を「ベクトル焦点法による画像処理技術」という。）。すなわち、例えば、図１に示すようなレイアウトについて監視領域ＡをＣＣＤカメラで上方から撮影してその画像情報を取り込んでこれを「ベクトル焦点法による画像処理技術」で処理して、個々人の映像の仮想重心位置を規定し、短時間で上記の撮像と画像処理を繰り返すことによって、監視領域Ａ内での個々人の移動経路を追跡してその移動軌跡を確定し、これを動画表示することができるという機能を有している。
【特許文献１】特許第３４０６５８７号公報
【特許文献２】特許第３３９０４２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
この発明は、特定の場所における人間群の属性分布、進路分布に関する情報を容易、迅速に、かつ、低コストで入手できるようにすることをその目的とし、そのためのこの発明の技術的課題は、上記属性分布、進路分布を視覚的に一括して認識することができ、当該視覚情報に基づいて上記属性分布、進路分布の変動を的確に把握することができる画像情報表示技術を工夫することである。
【課題を解決するための手段】
【０００９】
この発明は、上記「ベクトル焦点法による画像処理技術」の特性を効果的に活用することで、人間群の中の個々人の移動軌跡を特定し、この移動軌跡を移動進路とし、当該移動進路を複数のカテゴリーに区分し、個々人の静止画とその移動進路とを関連付けた画像情報を収集し、時刻、進路カテゴリー等の他のパラメーターを付して記録し、この記録した上記画像情報をカテゴリー分けし、これを編集して、同じカテゴリー内の多数の画像情報を一括して表示等するものであり、一括して表示された多数の画像情報を同時に一覧する等によって、個々人の外観、進路から、特定の時間帯等における人間群の属性分布、進路分布を人間が判断し、これに基づいてその人間群の属性分布、進路分布の変動を的確に把握することができるようにしたものである。
【００１０】
この発明の手段を整理すれば次のとおりである。
（イ）ある領域の人間群における個々の人物の属性や移動経路を認識可能な画像情報を得るための人物移動経路認識装置であって、
（ロ）床面が映る角度で設置されて監視領域を常時撮像する撮像手段と、
（ハ）撮像手段からの撮像画像を画面表示する表示手段と、
（ニ）撮像画像内の床面を含む領域に枠状の指定領域を任意に設定する領域設定手段と、
（ホ）撮像手段からの撮像画像において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各画素のピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点ごとに人物の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物の仮想の重心点を捉えて追跡する画像処理手段と、
（ヘ）画像記憶部および進路記憶部を有する記憶手段と、
（ト）画像処理手段で追跡している人物の仮想重心点が指定領域内部に最初に入った時点での撮像画像を静止画の情報として画像記憶部に保存させ、この静止画と関連付けて画像処理手段で追跡している当該人物の仮想重心点を一定時間間隔毎に捉えた追跡点の情報として進路記憶部に保存させる記録処理手段と、
（チ）画像記憶部に保持された静止画に当該静止画と関連付けられている進路記憶部に保持された追跡点を結んだ追跡線を合成し、この追跡線付き静止画像を表示手段に表示させる表示編集手段とを備える。
【００１１】
これにより、指定領域を通過する個々の人物の属性が判断しやすい静止画にその人物の移動経路情報となる追跡線を合成した追跡線付き静止画像を得て、表示手段によって一括して閲覧することができる。
【発明の効果】
【００１２】
本発明によれば、追跡線付き静止画像から指定領域を通過する個々の人物の属性や移動経路を一目で判断することが可能となる。したがって、例えば、特定場所における人間群の属性分布、進路分布に関する情報を容易、迅速に、かつ、低コストに得られる。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明の実施の形態について添付図面を参照しながら説明する。
本実施の形態による人物移動経路認識装置では、単純な適用例を説明するために、例えば、図１の見取図に示すスーパーマーケットのような人物ｈの流れが比較的単純な場所での人物ｈの属性や移動経路Ｒを調査する場合を一例として説明する。
【００１４】
なお、図１中、Ａで示す二点鎖線で囲った範囲はカメラ２で撮影して人物ｈの流れを監視する指定領域Ａ、Ｒ１〜Ｒ４は人物ｈの各進路であって、Ｒ1は人物ｈが指定領域Ａのａ辺から指定領域Ａ内に進入しｂ辺から出て行く進路、Ｒ２は人物ｈが指定領域Ａのａ辺から指定領域Ａ内に進入しｃ辺から出て行く進路、Ｒ３は人物ｈが指定領域Ａのａ辺から指定領域Ａ内に進入しｄ辺から出て行く進路、Ｒ４は人物ｈが指定領域Ａのａ辺から指定領域Ａ内に進入し引き返してａ辺から出て行く進路をそれぞれ示す。
【００１５】
図２に示すように、本実施の形態による人物移動経路認識装置は、カメラ（撮像手段）２、処理装置３、記録装置（記憶手段）４、表示装置（表示手段）５によって構成される。なお、図２中、Ｔは天井、Ｘはカメラ２の撮像範囲、ｈは人物、Ｆは床面をそれぞれ示す。
【００１６】
カメラ２は、ＣＣＤカメラ等が使用され、床面Ｆが映る角度で天井Ｔや壁面等に設置されて所定の監視領域を常時撮像し、その撮像画像のビデオ信号を連続的に処理装置３に送っている。カメラ２を床面Ｆが映る角度に設置することで、人物ｈの移動経路Ｒを表示したときにその進路を把握しやすい情報が得られるからである。天井Ｔが低い場合などは、人物ｈの移動経路Ｒの対象範囲が狭まるため、広角レンズを装着したカメラ２を使用し、その撮影範囲を広げるようにしてもよい。
【００１７】
なお、処理装置３は、独立の専用ユニットであってもよいが、パーソナルコンピュータ等の汎用コンピュータによって構成することができ、この場合、記録装置４は、パーソナルコンピュータの内部メモリ等で構成してもよいし、外付けメモリ等で構成してもよく、また、表示装置５は、パーソナルコンピュータに接続するディスプレイで構成することができる。
【００１８】
記録装置４は、処理装置３での処理情報を記憶するものであり、静止画の画像情報を記憶する画像記憶部４１と、この静止画の人物ｈの追跡点Ｇ（図１参照）を示す追跡情報を記憶する進路記憶部４２とを有する。また、表示装置５は、カメラ２からの撮像画像を画面表示するほか、指定領域Ａを設定するための設定画面を表示したり、処理装置３によって編集された所望の画像を画面表示する。
【００１９】
処理装置３は、その内部構成としては、操作手段６、画像処理手段７、記録処理手段８、表示編集手段９等を備える。
操作手段６は、領域指定手段６１を有し、キーボードやマウス等の入力部（図示せず）を操作して領域指定手段６１によりカメラ２で映した撮像画像内の床面Ｆを含む領域に枠状の指定領域Ａを任意に設定する。この指定領域Ａは、図１に示す指定領域Ａの如く、辺ａ、辺ｂ、辺ｃ、辺ｄの４つの辺を持つ四角形枠で構成してもよく、その他の多角形枠でもよいし、要は、監視する領域の通路や陳列台等のレイアウト等によって任意に設定可能である。なお、図１中の辺ａ、辺ｂ、辺ｃ、辺ｄは、それぞれの辺を跨ぐ方向の通路の進路へ進む通過ラインとなるが、その一辺を更に左右に二分してその通路の右寄りまたは左寄りのいずれかの進路へ進む通過ラインとなるように設定する等、種々の進路設定をしてもよい。
【００２０】
また、この操作手段６は、入力部での操作を通じて表示装置５に所望の画像情報を表示させる指令を表示編集手段９に出力させる。
画像処理手段７は、カメラ２からの撮像画像中の人物ｈを抽出し、その抽出した人物ｈの仮想の重心点Ｇを捉えて経時的にその重心点Ｇを追跡する。この人物ｈの抽出および仮想重心点Ｇの特定は、以下説明する所謂ベクトル焦点法（特許文献１、特許文献２）によって行われる。
【００２１】
ベクトル焦点法は、まず、図４に示すように、撮像画像１内の物体像Ｂと背景像Ｗとの濃度差を利用して、撮像画像１上で等間隔に配置した各処理点Ｐについてその処理点Ｐを中心点とする円１１の円周上での各画素ｄ１〜ｄ１２のピクセル値に対し、下記式（１）に示す基本波フーリエ変換を実行していく（円形フーリエ法）。なお、基本波とは、上記処理点Ｐを中心点とする円周の１周期分の長さとなる正弦波および余弦波を意味する。
【００２２】
【数１】
（式（１）中、ＳＶは画素のピクセル値にフーリエ変換の正弦波を積和した積和値、ＣＶは画素のピクセル値にフーリエ変換の余弦波を積和した積和値、ＡＴＡＮはアークタンジェント、ｓｉｔａはフーリエ変換で得られる位相値、を示す。）
【００２３】
このフーリエ変換で得られる位相が、円周内に存在する画像の濃淡方向を示し、その中心点の処理点Ｐの画素における画像の濃淡方向となる。すなわち、この濃淡方向は、２次元の撮像画像１での物体Ｂとその周囲の背景Ｗとの境界、すなわち物体Ｂの輪郭部に対する法線ベクトルとして認識される。
【００２４】
例えば、図５（ａ）に示すように円１１が物体Ｂにかかった状態のとき、図５（ａ）中に示す基準位置から反時計方向に回転させてフーリエ変換を実行し、正弦波および余弦波に円周上の各画素のピクセル値を積算すると、図５（ｂ）に示すように、９０度付近で波形のピークが現れる。その結果、上記の円形フーリエ法で得られた位相がちょうど物体Ｂの輪郭部に対する法線方向を示すものとなる。なお、図５（ｂ）において、ｓｉｎは正弦波、ｃｏｓは余弦波、ｓ・ｐは正弦波とピクセル値とを積算した波形、ｃ・ｐは余弦波とピクセル値とを積算した波形を示している。
【００２５】
但し、上記の円周内には物体像Ｂの輪郭部が入っておらず、円周内の画像がほとんど均一な濃度分布のところを除くため、下記式（２）に示す、前記ＳＶおよび前記ＣＶの二乗和の平方根の値（ｐｏｗ）が一定値以下のときはこの処理点Ｐには濃淡が無いとして扱う。
【００２６】
【数２】
【００２７】
そして、人物ｈの抽出を行うには、図６（ａ）に示すように、まず、撮像画像１上の任意の配置点Ｑを基準に標準人型像Ｓを配置し、上記円形フーリエ法により標準人型像Ｓの輪郭部における法線ベクトル群ｂを求め、配置点Ｑから法線ベクトル群ｂまでの位置情報と法線ベクトル群ｂの角度情報を、当該配置点Ｑの標準データとして記憶する。
【００２８】
次に、図６（ｂ）に示すように、監視時に移動する物体像Ｏが映された撮像画像１に対して上記円形フーリエ法により物体像Ｏの輪郭部における法線ベクトル群ｂ’を求め、上記標準データに基づいてこれら法線ベクトル群ｂ’から上記配置点Ｑに相当する複数の正解点を求め、これら正解点が集まった所謂ベクトル焦点Ｇが一定値以上であれば、その物体像Ｏは人物ｈであると認識する。このベクトル焦点Ｇが、上記人物ｈの仮想の重心点Ｇとなり、この重心点Ｇをカメラ２から送られてくる撮像画像毎に追跡して行く。
【００２９】
記録処理手段８は、画像処理手段７で追跡している人物ｈの仮想重心点Ｇが指定領域Ａ内部に最初に入った時点での撮像画像を静止画の情報として画像記憶部４１に保持させ、この静止画と関連付けて画像処理手段７で追跡している当該人物ｈの仮想重心点Ｇを一定時間間隔毎に捉えた追跡点Ｇの情報として進路記憶部４２に保持させる。
【００３０】
なお、記録処理手段８は、静止画と追跡点Ｇとを関連付けするため、例えば、画像記憶部４１に保持する静止画情報および進路記憶部４２に保持する追跡点情報に対して、それぞれ固有の識別子を付す。また、記録処理手段８は、画像記憶部４１に保持する静止画情報および進路記憶部４２に保持する追跡点情報に対して、日付および時刻を計時しているカレンダー機能部８１を参照して、日付や時刻も合わせて記録する。さらに、記録処理手段８は、追跡点Ｇの進路毎（例えば、図１に示す進路Ｒ１〜Ｒ４毎）に区分けした進路カテゴリーを付し、追跡点情報を進路記憶部４２に保持する。
【００３１】
表示編集手段９は、操作手段６からの指令に応じて、画像記憶部４１に保持された静止画に当該静止画と関連付けられている進路記憶部４２に保持された追跡点Ｇを結んだ追跡線Ｒ（進路）を合成し、この追跡線付き静止画像１２を表示装置５に表示させる。
【００３２】
次に、上記人物移動経路認識装置の動作を説明する。
図１に示すようなスーパーマーケットの出入口付近の人物ｈの流れを監視する場合、まず、カメラ２を所定の天井Ｔ等に設置した後、このカメラ２から映される撮像画像を表示装置５に画面表示させる。そして、表示装置５の表示画面を参照しながら、撮像画像上に操作手段６より四角形枠の指定領域Ａを設定する。このとき、指定領域Ａの各辺が四方の通路を横切るような大きさで設定する。以上で、指定領域Ａの設定が完了する。
【００３３】
次に、情報収集の動作を説明する。
この情報収集の処理は、図３のフローチャートに示すように、上記の画像処理手段７と記録処理手段８によって行われ、処理した情報は上記の記録装置４に保持される。
すなわち、図３を参照して、画像処理手段７は、カメラ２で映された撮像画像のビデオ信号が入力されると（Ｓ１）、その撮像画像内に人物ｈが現れたか否か人物認識の処理を行い（Ｓ２）、撮像画像内に人物ｈが認識されると、その人物像ｈの仮想重心点Ｇを捉え、この仮想重心点Ｇの移動を経時的に追跡して行く（Ｓ３）。なお、この人物認識の処理は、上述したとおり所謂ベクトル焦点法によって行われる。
【００３４】
そして、この追跡している人物ｈが最初に指定領域Ａに進入したとき（Ｓ４で「Ｙｅｓ」）、すなわち、画像処理手段７で追跡している人物像ｈの仮想重心点Ｇが最初に指定領域Ａのいずれかの辺ａ〜ｄを跨いで当該指定領域Ａ内に進入したとき（辺ａ〜ｄを外部から内部へ通過したとき）、記録処理手段８によって、そのときの撮像画像を静止画の情報として記録装置４の画像記憶部４１に保存させる（Ｓ５）。また、このとき、記録処理手段８は、所定の識別子と共にカレンダー機能部８１から参照した日付および時刻をその画像情報に付す。
【００３５】
次いで、この追跡している人物ｈが指定領域Ａ内部から指定領域Ａ外部へ出て撮像画像外へ移動したとき（Ｓ６で「Ｙｅｓ」）、すなわち、画像処理手段７で追跡している人物像ｈの仮想重心点Ｇが指定領域Ａのいずれかの辺ａ〜ｄを跨いで当該指定領域Ａ外へ出てカメラ２の撮像範囲Ｘ外へ移動し撮像画像中から消えたとき、記録処理手段８によって、それまで追跡していた当該人物像ｈの仮想重心点Ｇを一定時間間隔毎に捉えた追跡点Ｇの情報として記録装置４の進路記憶部４２に保存させる（Ｓ７）。このときも、記録処理手段８は、上記同様に、所定の識別子と共にカレンダー機能部８１から参照した日付および時刻をその追跡点情報に付す。さらに、記録処理手段８は、追跡点Ｇの進路毎（例えば、図１に示す進路Ｒ１〜Ｒ４毎）に区分けした進路カテゴリーを付し、この追跡点情報を進路記憶部４２に保持する。
【００３６】
以後同様に、カメラ２から入力されてくる撮像画像から全ての人物像ｈを抽出してその人物像ｈの仮想重心点Ｇを追跡し、この仮想重心点Ｇが指定領域Ａ外部から指定領域Ａ内部に進入すると、そのときの撮像画像を静止画として保存し、次いで、この仮想重心点Ｇが指定領域Ａ内部から指定領域Ａ外部へ出て撮像画像外へ移動すると、それまでの一定時間間隔毎の追跡点Ｇを保存する（Ｓ１〜Ｓ７）。
【００３７】
このようにして、カメラ２によって指定領域Ａを映し撮っている動画の撮像画像のうち、人物ｈが指定領域Ａ内に入ったときの静止画と、この静止画に映された人物ｈの移動軌跡Ｒを示す追跡点Ｇとを識別子や日付、時刻等で関連付けると共に進路カテゴリーを付して記録装置４に記録して行く。
【００３８】
次に、記録装置４に収集した情報の編集および画面表示の動作を説明する。
この編集および画面表示の処理は、上記の表示編集手段９によって行われ、編集した情報は上記の表示装置５によって表示される。
すなわち、表示編集手段９は、操作手段６からの操作者の指令に応答して記録装置４にアクセスし、画像記憶部４１に保持された静止画情報と共に、当該静止画と関連付けられている進路記憶部４２に保持された追跡点情報を読み出し、そして、その静止画に各追跡点Ｇを結んだ追跡線Ｒを合成して追跡線付き静止画像１２を作成し、この追跡線付き静止画像１２を表示装置５に表示させるようにする。追跡線Ｒは、線種、線幅、色等を任意に設定することも可能である。このとき、操作手段６からの所定の指令によって、例えば、図７、図８（ａ）（ｂ）に示す各種パターンで表示装置５に画面表示させることができる。図７、図８（ａ）（ｂ）に示すパターンは、個々の人物ｈを模式的に表しているが、実際は、カメラ２の映像の中の個々の人物ｈがその生の画像で表示される。したがって、閲覧者は、この画像を見ることで、そこに映されている人物ｈの属性（男女、大人、子ども等）を一目で把握することができる。
【００３９】
なお、表示装置５における追跡線付き静止画像１２の送り、戻しの表示切替えは、操作手段６からの指定によってその都度行うことでもよいし、スライドショーとして一定時間毎に連続的に送り表示させることでもよい。また、追跡線付き静止画像１２の表示は、上記情報収集動作（図３参照）の最中でも、記録装置４から読み出し可能に構成してもよい。
【００４０】
〔パターン１〕
このパターン１は、図７に示すように、追跡線付き静止画像１２を時系列的に先頭から１枚（１コマ）ずつ表示させたものである。
これにより、このパターン１の表示画面を観察することで、指定領域Ａを通過するその人物ｈの属性と共に移動経路Ｒを一見して把握することができる。
【００４１】
〔パターン２〕
このパターン２は、図８（ａ）に示すように、特定の時間帯における追跡線付き静止画像１２を時系列的に先頭から、例えば１０枚（１０コマ）ずつ順次に一覧表示させたものである。
これにより、このパターン２の表示画面を一括して観察することで、特定の時間帯における人物ｈの属性分布と個々の人物ｈの移動経路Ｒ分布とを一見して把握することができる。また、一定の時間間隔でこれを表示させることで、時間経過に伴う入店者数の変動、その人物ｈの属性分布の変動、人物ｈの進路分布の変動等を、一見して把握することができる。
【００４２】
〔パターン３〕
このパターン３は、図８（ｂ）に示すように、特定進路（例えば、図１中の指定領域Ａを辺ａから進入し辺ｂ側へ出て行く進路Ｒ１）に進んだ人物ｈにおける追跡線付き静止画像１２を時系列的に先頭から、例えば１０枚（１０コマ）ずつ順次に一覧表示させたものである。
これにより、このパターン３の表示画面を一括して観察することで、この進路Ｒ１に進んだ人数、個々の人物ｈの属性分布を一見して把握することができる。また、一定の時間間隔でこれを表示させることで、時間経過に伴う人数の変動、その人物ｈの属性分布の変動を一見して把握することができる。
【００４３】
そして、上記のとおりの入店者数の変動と、時間帯と進路との組み合わせにおけるその人数や属性分布とを把握し、また、これらの変動を迅速的確に認識することができ、これによって、例えば、商品陳列のレイアウトや、店員の配置、通路の経路や幅などを適切に調整することができ、販売活動の合理化、能率化を効果的に推進することができる。
【００４４】
なお、図１の観察範囲Ａにおける進路Ｒ４は店内に進まないで、出口の方へ引き返す進路である。このような進路Ｒ４を一つの進路カテゴリーとして表示することで、店内を覗いただけで引き返した客数とその属性分布等を一見して把握することができる。
【００４５】
以上のように、本実施の形態による人物移動経路認識装置によれば、指定領域Ａを通過する個々の人物ｈの属性が判断しやすい静止画にその人物ｈの移動経路情報となる追跡線Ｒを合成した追跡線付き静止画像１２を得ることができる。そして、表示装置５による画面表示によって、追跡線付き静止画像１２から指定領域Ａを通過する個々の人物ｈの属性や移動経路Ｒを一目で判断することが可能となる。したがって、例えば、スーパーマーケットの出入口付近のような特定場所を移動する人間群の属性分布、進路分布に関する情報を容易、迅速に、かつ、低コストに提供できる。
【００４６】
なお、図８に示す上記パターン２、パターン３等の一括表示の画像数は、１０枚（１０コマ）以上が一つの目安であるが、その使用目的に応じて５枚（５コマ）でも２０枚（２０コマ）でも適宜の枚数（コマ数）を採用することができる。
また、表示の順番は、単なる分布を見たいときはひとかたまりの映像を一括して表示すればよいが、時間の流れを勘案したいものについては、時系列に並べて表示するのがよい。
また、一括表示すべき画像数がディスプレイの表示能力を超えるときは、早い順番で表示可能な数だけ表示するようにすることもでき、また、所定枚数毎（例えば、１００コマ目毎）あるいはランダムにサンプリングして表示可能な枚数（コマ数）だけ表示することでもよい。
【００４７】
なお、上記記録装置４には、動画記憶部を設けてカメラ２で撮影している動画を記録するようにしてもよい。この場合、画像記憶部４１に記憶させる静止画には、当該静止画を抜き出した上記動画の対応位置から動画再生を行うジャンプ情報、あるいは当該静止画を抜き出した上記動画の位置を示す動画位置情報（例えば、時刻、長さ、コマ番号または場所等）などを付すようにする。これにより、表示装置５において、静止画を時系列や進路別等に多数並べたサムネイル画像として表示し、これら静止画を動画のインデックスとすることができる。そして、静止画にジャンプ情報を付すことで、特定の静止画を選択操作すると、その静止画を写し撮った位置から動画が再生され、また、静止画に動画位置情報を付すことで、この動画位置情報もサムネイル画像に表示させれば、この動画位置情報を参照して動画再生を行うことができる。したがって、動画において、目的画像を探すための早送り、巻き戻し操作を省くことができ、属性等を直ちに把握することができる。なお、動画再生のための再生装置は、記録装置４に外付けするものでもよいし、処理装置３に内蔵させてもよい。
【００４８】
また、上記実施の形態では、記録装置４には静止画と追跡点の各情報をそれぞれ保存するが、記録処理手段８等によって静止画に追跡線Ｒを合成した追跡線付き静止画像１２を作成し、この追跡線付き静止画像１２の情報を記録装置４に保存するようにしてもよい。この場合、保存する追跡線付き静止画像１２には、時刻や進路等のカテゴリー等に関する識別子をも付すようにしてもよい。これにより、表示装置５には、所望の追跡線付き静止画１２を簡易に且つ素早く表示させることができる。
【図面の簡単な説明】
【００４９】
【図１】監視場所の一例としてのスーパーマーケットのレイアウトを示す見取図である。
【図２】本実施の形態による人物移動経路認識装置の概略構成を示すブロック図である。
【図３】処理装置による情報収集動作を示すフローチャートである。
【図４】物体認識の画像処理に際して用いられる円形フーリエ法を説明するための模式図である。
【図５】円形フーリエ法を実行することで画像の濃淡方向が示されることを説明するための図であり、同図（ａ）は物体像の輪郭部に円形状に基本波フーリエ変換を実行する様子を示し、同図（ｂ）はその基本波フーリエ変換を実行したときの波形グラフを示す。
【図６】物体識別の画像処理に際して用いられるベクトル焦点法を説明するための模式図であり、同図（ａ）は画像上に標準人型像を配置したときの様子を示し、同図（ｂ）は画像上に識別対象の人が映されているときの様子を示す。
【図７】追跡線付き静止画像を表示させたパターン１の表示画面を示す画面模式図である。
【図８】追跡線付き静止画像を一覧表示させた表示画面を示す画面模式図であり、図８（ａ）は特定の時間帯における追跡線付き静止画像１２を時系列的に表示させたパターン２の表示画面であり、図８（ｂ）は進路Ｒ１に進んだ人物ｈにおける追跡線付き静止画像１２を時系列的に表示させたパターン３の表示画面である。
【符号の説明】
【００５０】
２ カメラ（撮像手段）
３ 処理装置
４ 記録装置
５ 表示装置
６ 操作手段
７ 画像処理手段
８ 記録処理手段
９ 画像編集手段
１２ 追跡線付き静止画像
４１ 画像記憶部
４２ 進路記憶部
６１ 領域設定手段
Ａ 指定領域
Ｇ 追跡点
ｈ 人物像
Ｒ 追跡線、移動経路、進路
Ｒ１〜Ｒ４ 進路
【技術分野】
【０００１】
この発明は、ある領域の人間群における個々の人物の属性や移動経路を認識可能な画像情報を得るための人物移動経路認識装置に関するものであって、例えば、デパート、スーパーマーケット、コンビニエンスストアーなどにおける人間群における個々人の属性、進路を一目瞭然に表示して、属性分布や進路分布を的確に分析し把握することができ、時間帯毎の営業管理等に極めて有効に役立てることができるものである。
【背景技術】
【０００２】
デパートやスーパーマーケットなどの種々の接客業においては、例えば、季節により、天候により、また、時間帯によって各売り場の混雑具合が変動し、客層が変動する。
他方、営業成績を向上させるとの観点からすれば、個々の売り場の混雑を無くしてゆったりした雰囲気を確保し、客層に応じた適切な対応をすることが是非とも必要であり、このような環境を最小のコストで常時実現し維持することが望まれる。このような販売環境を実現し、維持するために、その時々の来客状況、客の属性（男女、年齢層など）の分布、各売り場における人の流れを客観的に示す情報が求められている。
【０００３】
このような人の属性分布や進路分布を調査するには、例えば、人が通過する指定領域をビデオカメラ等で常時撮影し、録画装置に録画して情報収集することが行われている。そして、この場合、人物の属性や進路を調査するには、録画装置で録画した動画を再生装置によって再生して表示装置に表示し、撮影画像内に人が現れる場面を探す必要があり、その際、人が現れるまで再生装置を早送りする等の作業が必要となる。また、人が現れる場面を見つけると、その人の属性を判断する際、再生装置を巻き戻し、早送り等して人の属性が判断しやすい場面を探し、一時停止して確認することとなる。更に、人の移動進路を判断するためには、その人が表示装置の画面内に現れてから消えるまで再生し追跡する必要があり、その際、例えば、複数の人物が同時に画面に現れる場合は、巻き戻して個々の人物に対して追跡調査する必要がある。このように人の属性分布や進路分布を調査するために収集する情報は、動画であり、静止画と違い一目で確認することができず、調査に長時間かかる。
【０００４】
また、他の手法としては、指定領域を通過する人を監視するために調査員を配置し多人数の人手によって、属性分布、進路分布に関する情報収集することも行われている。そして、人手によるこれらの情報収集は、多数の作業者が所定ルールに基づいて判別した情報を他の所定のルールに基づいて数値化し、これを分析、加工したものである。したがって、このような情報収集には時間がかかりまた、高いコストもかかる。このようなことから、十分な情報収集が行われていないのが現状である。
【０００５】
一方、人間の出入数の把握を定量的に行うことは、カウンターを用いることで十分に可能であるが、属性分布や進路分布等の変化を定量的に分析し、把握することはほとんど不可能である。また、数値化した情報よりも実態を一目瞭然に認識できる画像情報の方が確実に有効である。なぜなら、数値化された情報は、特定のルールで処理された二次的な情報であるから現状の一面を表しているにすぎない。これに対して、上記画像情報から人間が視覚的に取得する情報はありのままの情報であり視覚情報であるから、数字によるものよりも遙かに多様、多量の情報であり、これによれば、属性分布や進路分布などの状況の変動がありのままに、瞬時に伝わって来るからである。
【０００６】
なお、人間群の中の個々人についてその属性、進路等を人手で調査し、これをその後の営業体制の維持・改善に資することは、公知の事項であるが、これが記載されている文献は見出せない。
【０００７】
〔公知の画像処理技術〕
ところで、ＣＣＤカメラの画像情報を分析して、画像内の個々の映像（個々の被写体の映像）の概略的な輪郭を画成し、同画像の仮想の重心位置を特定し、この重心位置の移動軌跡を追跡することのできる画像処理技術が公知である（特許文献１、特許文献２）。この公知の画像処理技術はＣＣＤカメラによるデジタルデータによる映像を、いわゆるベクトル焦点法（特許文献１、特許文献２）で処理をして個々人の映像の輪郭を割り出し、当該画像の仮想の重心位置を算定し、これを短時間で繰り返すことによって個々の被写体の映像の重心位置を追跡することで、その個々の被写体の移動軌跡を特定することができるものである（以下、上記公知の画像処理技術を「ベクトル焦点法による画像処理技術」という。）。すなわち、例えば、図１に示すようなレイアウトについて監視領域ＡをＣＣＤカメラで上方から撮影してその画像情報を取り込んでこれを「ベクトル焦点法による画像処理技術」で処理して、個々人の映像の仮想重心位置を規定し、短時間で上記の撮像と画像処理を繰り返すことによって、監視領域Ａ内での個々人の移動経路を追跡してその移動軌跡を確定し、これを動画表示することができるという機能を有している。
【特許文献１】特許第３４０６５８７号公報
【特許文献２】特許第３３９０４２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
この発明は、特定の場所における人間群の属性分布、進路分布に関する情報を容易、迅速に、かつ、低コストで入手できるようにすることをその目的とし、そのためのこの発明の技術的課題は、上記属性分布、進路分布を視覚的に一括して認識することができ、当該視覚情報に基づいて上記属性分布、進路分布の変動を的確に把握することができる画像情報表示技術を工夫することである。
【課題を解決するための手段】
【０００９】
この発明は、上記「ベクトル焦点法による画像処理技術」の特性を効果的に活用することで、人間群の中の個々人の移動軌跡を特定し、この移動軌跡を移動進路とし、当該移動進路を複数のカテゴリーに区分し、個々人の静止画とその移動進路とを関連付けた画像情報を収集し、時刻、進路カテゴリー等の他のパラメーターを付して記録し、この記録した上記画像情報をカテゴリー分けし、これを編集して、同じカテゴリー内の多数の画像情報を一括して表示等するものであり、一括して表示された多数の画像情報を同時に一覧する等によって、個々人の外観、進路から、特定の時間帯等における人間群の属性分布、進路分布を人間が判断し、これに基づいてその人間群の属性分布、進路分布の変動を的確に把握することができるようにしたものである。
【００１０】
この発明の手段を整理すれば次のとおりである。
（イ）ある領域の人間群における個々の人物の属性や移動経路を認識可能な画像情報を得るための人物移動経路認識装置であって、
（ロ）床面が映る角度で設置されて監視領域を常時撮像する撮像手段と、
（ハ）撮像手段からの撮像画像を画面表示する表示手段と、
（ニ）撮像画像内の床面を含む領域に枠状の指定領域を任意に設定する領域設定手段と、
（ホ）撮像手段からの撮像画像において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各画素のピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点ごとに人物の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物の仮想の重心点を捉えて追跡する画像処理手段と、
（ヘ）画像記憶部および進路記憶部を有する記憶手段と、
（ト）画像処理手段で追跡している人物の仮想重心点が指定領域内部に最初に入った時点での撮像画像を静止画の情報として画像記憶部に保存させ、この静止画と関連付けて画像処理手段で追跡している当該人物の仮想重心点を一定時間間隔毎に捉えた追跡点の情報として進路記憶部に保存させる記録処理手段と、
（チ）画像記憶部に保持された静止画に当該静止画と関連付けられている進路記憶部に保持された追跡点を結んだ追跡線を合成し、この追跡線付き静止画像を表示手段に表示させる表示編集手段とを備える。
【００１１】
これにより、指定領域を通過する個々の人物の属性が判断しやすい静止画にその人物の移動経路情報となる追跡線を合成した追跡線付き静止画像を得て、表示手段によって一括して閲覧することができる。
【発明の効果】
【００１２】
本発明によれば、追跡線付き静止画像から指定領域を通過する個々の人物の属性や移動経路を一目で判断することが可能となる。したがって、例えば、特定場所における人間群の属性分布、進路分布に関する情報を容易、迅速に、かつ、低コストに得られる。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明の実施の形態について添付図面を参照しながら説明する。
本実施の形態による人物移動経路認識装置では、単純な適用例を説明するために、例えば、図１の見取図に示すスーパーマーケットのような人物ｈの流れが比較的単純な場所での人物ｈの属性や移動経路Ｒを調査する場合を一例として説明する。
【００１４】
なお、図１中、Ａで示す二点鎖線で囲った範囲はカメラ２で撮影して人物ｈの流れを監視する指定領域Ａ、Ｒ１〜Ｒ４は人物ｈの各進路であって、Ｒ1は人物ｈが指定領域Ａのａ辺から指定領域Ａ内に進入しｂ辺から出て行く進路、Ｒ２は人物ｈが指定領域Ａのａ辺から指定領域Ａ内に進入しｃ辺から出て行く進路、Ｒ３は人物ｈが指定領域Ａのａ辺から指定領域Ａ内に進入しｄ辺から出て行く進路、Ｒ４は人物ｈが指定領域Ａのａ辺から指定領域Ａ内に進入し引き返してａ辺から出て行く進路をそれぞれ示す。
【００１５】
図２に示すように、本実施の形態による人物移動経路認識装置は、カメラ（撮像手段）２、処理装置３、記録装置（記憶手段）４、表示装置（表示手段）５によって構成される。なお、図２中、Ｔは天井、Ｘはカメラ２の撮像範囲、ｈは人物、Ｆは床面をそれぞれ示す。
【００１６】
カメラ２は、ＣＣＤカメラ等が使用され、床面Ｆが映る角度で天井Ｔや壁面等に設置されて所定の監視領域を常時撮像し、その撮像画像のビデオ信号を連続的に処理装置３に送っている。カメラ２を床面Ｆが映る角度に設置することで、人物ｈの移動経路Ｒを表示したときにその進路を把握しやすい情報が得られるからである。天井Ｔが低い場合などは、人物ｈの移動経路Ｒの対象範囲が狭まるため、広角レンズを装着したカメラ２を使用し、その撮影範囲を広げるようにしてもよい。
【００１７】
なお、処理装置３は、独立の専用ユニットであってもよいが、パーソナルコンピュータ等の汎用コンピュータによって構成することができ、この場合、記録装置４は、パーソナルコンピュータの内部メモリ等で構成してもよいし、外付けメモリ等で構成してもよく、また、表示装置５は、パーソナルコンピュータに接続するディスプレイで構成することができる。
【００１８】
記録装置４は、処理装置３での処理情報を記憶するものであり、静止画の画像情報を記憶する画像記憶部４１と、この静止画の人物ｈの追跡点Ｇ（図１参照）を示す追跡情報を記憶する進路記憶部４２とを有する。また、表示装置５は、カメラ２からの撮像画像を画面表示するほか、指定領域Ａを設定するための設定画面を表示したり、処理装置３によって編集された所望の画像を画面表示する。
【００１９】
処理装置３は、その内部構成としては、操作手段６、画像処理手段７、記録処理手段８、表示編集手段９等を備える。
操作手段６は、領域指定手段６１を有し、キーボードやマウス等の入力部（図示せず）を操作して領域指定手段６１によりカメラ２で映した撮像画像内の床面Ｆを含む領域に枠状の指定領域Ａを任意に設定する。この指定領域Ａは、図１に示す指定領域Ａの如く、辺ａ、辺ｂ、辺ｃ、辺ｄの４つの辺を持つ四角形枠で構成してもよく、その他の多角形枠でもよいし、要は、監視する領域の通路や陳列台等のレイアウト等によって任意に設定可能である。なお、図１中の辺ａ、辺ｂ、辺ｃ、辺ｄは、それぞれの辺を跨ぐ方向の通路の進路へ進む通過ラインとなるが、その一辺を更に左右に二分してその通路の右寄りまたは左寄りのいずれかの進路へ進む通過ラインとなるように設定する等、種々の進路設定をしてもよい。
【００２０】
また、この操作手段６は、入力部での操作を通じて表示装置５に所望の画像情報を表示させる指令を表示編集手段９に出力させる。
画像処理手段７は、カメラ２からの撮像画像中の人物ｈを抽出し、その抽出した人物ｈの仮想の重心点Ｇを捉えて経時的にその重心点Ｇを追跡する。この人物ｈの抽出および仮想重心点Ｇの特定は、以下説明する所謂ベクトル焦点法（特許文献１、特許文献２）によって行われる。
【００２１】
ベクトル焦点法は、まず、図４に示すように、撮像画像１内の物体像Ｂと背景像Ｗとの濃度差を利用して、撮像画像１上で等間隔に配置した各処理点Ｐについてその処理点Ｐを中心点とする円１１の円周上での各画素ｄ１〜ｄ１２のピクセル値に対し、下記式（１）に示す基本波フーリエ変換を実行していく（円形フーリエ法）。なお、基本波とは、上記処理点Ｐを中心点とする円周の１周期分の長さとなる正弦波および余弦波を意味する。
【００２２】
【数１】
（式（１）中、ＳＶは画素のピクセル値にフーリエ変換の正弦波を積和した積和値、ＣＶは画素のピクセル値にフーリエ変換の余弦波を積和した積和値、ＡＴＡＮはアークタンジェント、ｓｉｔａはフーリエ変換で得られる位相値、を示す。）
【００２３】
このフーリエ変換で得られる位相が、円周内に存在する画像の濃淡方向を示し、その中心点の処理点Ｐの画素における画像の濃淡方向となる。すなわち、この濃淡方向は、２次元の撮像画像１での物体Ｂとその周囲の背景Ｗとの境界、すなわち物体Ｂの輪郭部に対する法線ベクトルとして認識される。
【００２４】
例えば、図５（ａ）に示すように円１１が物体Ｂにかかった状態のとき、図５（ａ）中に示す基準位置から反時計方向に回転させてフーリエ変換を実行し、正弦波および余弦波に円周上の各画素のピクセル値を積算すると、図５（ｂ）に示すように、９０度付近で波形のピークが現れる。その結果、上記の円形フーリエ法で得られた位相がちょうど物体Ｂの輪郭部に対する法線方向を示すものとなる。なお、図５（ｂ）において、ｓｉｎは正弦波、ｃｏｓは余弦波、ｓ・ｐは正弦波とピクセル値とを積算した波形、ｃ・ｐは余弦波とピクセル値とを積算した波形を示している。
【００２５】
但し、上記の円周内には物体像Ｂの輪郭部が入っておらず、円周内の画像がほとんど均一な濃度分布のところを除くため、下記式（２）に示す、前記ＳＶおよび前記ＣＶの二乗和の平方根の値（ｐｏｗ）が一定値以下のときはこの処理点Ｐには濃淡が無いとして扱う。
【００２６】
【数２】
【００２７】
そして、人物ｈの抽出を行うには、図６（ａ）に示すように、まず、撮像画像１上の任意の配置点Ｑを基準に標準人型像Ｓを配置し、上記円形フーリエ法により標準人型像Ｓの輪郭部における法線ベクトル群ｂを求め、配置点Ｑから法線ベクトル群ｂまでの位置情報と法線ベクトル群ｂの角度情報を、当該配置点Ｑの標準データとして記憶する。
【００２８】
次に、図６（ｂ）に示すように、監視時に移動する物体像Ｏが映された撮像画像１に対して上記円形フーリエ法により物体像Ｏの輪郭部における法線ベクトル群ｂ’を求め、上記標準データに基づいてこれら法線ベクトル群ｂ’から上記配置点Ｑに相当する複数の正解点を求め、これら正解点が集まった所謂ベクトル焦点Ｇが一定値以上であれば、その物体像Ｏは人物ｈであると認識する。このベクトル焦点Ｇが、上記人物ｈの仮想の重心点Ｇとなり、この重心点Ｇをカメラ２から送られてくる撮像画像毎に追跡して行く。
【００２９】
記録処理手段８は、画像処理手段７で追跡している人物ｈの仮想重心点Ｇが指定領域Ａ内部に最初に入った時点での撮像画像を静止画の情報として画像記憶部４１に保持させ、この静止画と関連付けて画像処理手段７で追跡している当該人物ｈの仮想重心点Ｇを一定時間間隔毎に捉えた追跡点Ｇの情報として進路記憶部４２に保持させる。
【００３０】
なお、記録処理手段８は、静止画と追跡点Ｇとを関連付けするため、例えば、画像記憶部４１に保持する静止画情報および進路記憶部４２に保持する追跡点情報に対して、それぞれ固有の識別子を付す。また、記録処理手段８は、画像記憶部４１に保持する静止画情報および進路記憶部４２に保持する追跡点情報に対して、日付および時刻を計時しているカレンダー機能部８１を参照して、日付や時刻も合わせて記録する。さらに、記録処理手段８は、追跡点Ｇの進路毎（例えば、図１に示す進路Ｒ１〜Ｒ４毎）に区分けした進路カテゴリーを付し、追跡点情報を進路記憶部４２に保持する。
【００３１】
表示編集手段９は、操作手段６からの指令に応じて、画像記憶部４１に保持された静止画に当該静止画と関連付けられている進路記憶部４２に保持された追跡点Ｇを結んだ追跡線Ｒ（進路）を合成し、この追跡線付き静止画像１２を表示装置５に表示させる。
【００３２】
次に、上記人物移動経路認識装置の動作を説明する。
図１に示すようなスーパーマーケットの出入口付近の人物ｈの流れを監視する場合、まず、カメラ２を所定の天井Ｔ等に設置した後、このカメラ２から映される撮像画像を表示装置５に画面表示させる。そして、表示装置５の表示画面を参照しながら、撮像画像上に操作手段６より四角形枠の指定領域Ａを設定する。このとき、指定領域Ａの各辺が四方の通路を横切るような大きさで設定する。以上で、指定領域Ａの設定が完了する。
【００３３】
次に、情報収集の動作を説明する。
この情報収集の処理は、図３のフローチャートに示すように、上記の画像処理手段７と記録処理手段８によって行われ、処理した情報は上記の記録装置４に保持される。
すなわち、図３を参照して、画像処理手段７は、カメラ２で映された撮像画像のビデオ信号が入力されると（Ｓ１）、その撮像画像内に人物ｈが現れたか否か人物認識の処理を行い（Ｓ２）、撮像画像内に人物ｈが認識されると、その人物像ｈの仮想重心点Ｇを捉え、この仮想重心点Ｇの移動を経時的に追跡して行く（Ｓ３）。なお、この人物認識の処理は、上述したとおり所謂ベクトル焦点法によって行われる。
【００３４】
そして、この追跡している人物ｈが最初に指定領域Ａに進入したとき（Ｓ４で「Ｙｅｓ」）、すなわち、画像処理手段７で追跡している人物像ｈの仮想重心点Ｇが最初に指定領域Ａのいずれかの辺ａ〜ｄを跨いで当該指定領域Ａ内に進入したとき（辺ａ〜ｄを外部から内部へ通過したとき）、記録処理手段８によって、そのときの撮像画像を静止画の情報として記録装置４の画像記憶部４１に保存させる（Ｓ５）。また、このとき、記録処理手段８は、所定の識別子と共にカレンダー機能部８１から参照した日付および時刻をその画像情報に付す。
【００３５】
次いで、この追跡している人物ｈが指定領域Ａ内部から指定領域Ａ外部へ出て撮像画像外へ移動したとき（Ｓ６で「Ｙｅｓ」）、すなわち、画像処理手段７で追跡している人物像ｈの仮想重心点Ｇが指定領域Ａのいずれかの辺ａ〜ｄを跨いで当該指定領域Ａ外へ出てカメラ２の撮像範囲Ｘ外へ移動し撮像画像中から消えたとき、記録処理手段８によって、それまで追跡していた当該人物像ｈの仮想重心点Ｇを一定時間間隔毎に捉えた追跡点Ｇの情報として記録装置４の進路記憶部４２に保存させる（Ｓ７）。このときも、記録処理手段８は、上記同様に、所定の識別子と共にカレンダー機能部８１から参照した日付および時刻をその追跡点情報に付す。さらに、記録処理手段８は、追跡点Ｇの進路毎（例えば、図１に示す進路Ｒ１〜Ｒ４毎）に区分けした進路カテゴリーを付し、この追跡点情報を進路記憶部４２に保持する。
【００３６】
以後同様に、カメラ２から入力されてくる撮像画像から全ての人物像ｈを抽出してその人物像ｈの仮想重心点Ｇを追跡し、この仮想重心点Ｇが指定領域Ａ外部から指定領域Ａ内部に進入すると、そのときの撮像画像を静止画として保存し、次いで、この仮想重心点Ｇが指定領域Ａ内部から指定領域Ａ外部へ出て撮像画像外へ移動すると、それまでの一定時間間隔毎の追跡点Ｇを保存する（Ｓ１〜Ｓ７）。
【００３７】
このようにして、カメラ２によって指定領域Ａを映し撮っている動画の撮像画像のうち、人物ｈが指定領域Ａ内に入ったときの静止画と、この静止画に映された人物ｈの移動軌跡Ｒを示す追跡点Ｇとを識別子や日付、時刻等で関連付けると共に進路カテゴリーを付して記録装置４に記録して行く。
【００３８】
次に、記録装置４に収集した情報の編集および画面表示の動作を説明する。
この編集および画面表示の処理は、上記の表示編集手段９によって行われ、編集した情報は上記の表示装置５によって表示される。
すなわち、表示編集手段９は、操作手段６からの操作者の指令に応答して記録装置４にアクセスし、画像記憶部４１に保持された静止画情報と共に、当該静止画と関連付けられている進路記憶部４２に保持された追跡点情報を読み出し、そして、その静止画に各追跡点Ｇを結んだ追跡線Ｒを合成して追跡線付き静止画像１２を作成し、この追跡線付き静止画像１２を表示装置５に表示させるようにする。追跡線Ｒは、線種、線幅、色等を任意に設定することも可能である。このとき、操作手段６からの所定の指令によって、例えば、図７、図８（ａ）（ｂ）に示す各種パターンで表示装置５に画面表示させることができる。図７、図８（ａ）（ｂ）に示すパターンは、個々の人物ｈを模式的に表しているが、実際は、カメラ２の映像の中の個々の人物ｈがその生の画像で表示される。したがって、閲覧者は、この画像を見ることで、そこに映されている人物ｈの属性（男女、大人、子ども等）を一目で把握することができる。
【００３９】
なお、表示装置５における追跡線付き静止画像１２の送り、戻しの表示切替えは、操作手段６からの指定によってその都度行うことでもよいし、スライドショーとして一定時間毎に連続的に送り表示させることでもよい。また、追跡線付き静止画像１２の表示は、上記情報収集動作（図３参照）の最中でも、記録装置４から読み出し可能に構成してもよい。
【００４０】
〔パターン１〕
このパターン１は、図７に示すように、追跡線付き静止画像１２を時系列的に先頭から１枚（１コマ）ずつ表示させたものである。
これにより、このパターン１の表示画面を観察することで、指定領域Ａを通過するその人物ｈの属性と共に移動経路Ｒを一見して把握することができる。
【００４１】
〔パターン２〕
このパターン２は、図８（ａ）に示すように、特定の時間帯における追跡線付き静止画像１２を時系列的に先頭から、例えば１０枚（１０コマ）ずつ順次に一覧表示させたものである。
これにより、このパターン２の表示画面を一括して観察することで、特定の時間帯における人物ｈの属性分布と個々の人物ｈの移動経路Ｒ分布とを一見して把握することができる。また、一定の時間間隔でこれを表示させることで、時間経過に伴う入店者数の変動、その人物ｈの属性分布の変動、人物ｈの進路分布の変動等を、一見して把握することができる。
【００４２】
〔パターン３〕
このパターン３は、図８（ｂ）に示すように、特定進路（例えば、図１中の指定領域Ａを辺ａから進入し辺ｂ側へ出て行く進路Ｒ１）に進んだ人物ｈにおける追跡線付き静止画像１２を時系列的に先頭から、例えば１０枚（１０コマ）ずつ順次に一覧表示させたものである。
これにより、このパターン３の表示画面を一括して観察することで、この進路Ｒ１に進んだ人数、個々の人物ｈの属性分布を一見して把握することができる。また、一定の時間間隔でこれを表示させることで、時間経過に伴う人数の変動、その人物ｈの属性分布の変動を一見して把握することができる。
【００４３】
そして、上記のとおりの入店者数の変動と、時間帯と進路との組み合わせにおけるその人数や属性分布とを把握し、また、これらの変動を迅速的確に認識することができ、これによって、例えば、商品陳列のレイアウトや、店員の配置、通路の経路や幅などを適切に調整することができ、販売活動の合理化、能率化を効果的に推進することができる。
【００４４】
なお、図１の観察範囲Ａにおける進路Ｒ４は店内に進まないで、出口の方へ引き返す進路である。このような進路Ｒ４を一つの進路カテゴリーとして表示することで、店内を覗いただけで引き返した客数とその属性分布等を一見して把握することができる。
【００４５】
以上のように、本実施の形態による人物移動経路認識装置によれば、指定領域Ａを通過する個々の人物ｈの属性が判断しやすい静止画にその人物ｈの移動経路情報となる追跡線Ｒを合成した追跡線付き静止画像１２を得ることができる。そして、表示装置５による画面表示によって、追跡線付き静止画像１２から指定領域Ａを通過する個々の人物ｈの属性や移動経路Ｒを一目で判断することが可能となる。したがって、例えば、スーパーマーケットの出入口付近のような特定場所を移動する人間群の属性分布、進路分布に関する情報を容易、迅速に、かつ、低コストに提供できる。
【００４６】
なお、図８に示す上記パターン２、パターン３等の一括表示の画像数は、１０枚（１０コマ）以上が一つの目安であるが、その使用目的に応じて５枚（５コマ）でも２０枚（２０コマ）でも適宜の枚数（コマ数）を採用することができる。
また、表示の順番は、単なる分布を見たいときはひとかたまりの映像を一括して表示すればよいが、時間の流れを勘案したいものについては、時系列に並べて表示するのがよい。
また、一括表示すべき画像数がディスプレイの表示能力を超えるときは、早い順番で表示可能な数だけ表示するようにすることもでき、また、所定枚数毎（例えば、１００コマ目毎）あるいはランダムにサンプリングして表示可能な枚数（コマ数）だけ表示することでもよい。
【００４７】
なお、上記記録装置４には、動画記憶部を設けてカメラ２で撮影している動画を記録するようにしてもよい。この場合、画像記憶部４１に記憶させる静止画には、当該静止画を抜き出した上記動画の対応位置から動画再生を行うジャンプ情報、あるいは当該静止画を抜き出した上記動画の位置を示す動画位置情報（例えば、時刻、長さ、コマ番号または場所等）などを付すようにする。これにより、表示装置５において、静止画を時系列や進路別等に多数並べたサムネイル画像として表示し、これら静止画を動画のインデックスとすることができる。そして、静止画にジャンプ情報を付すことで、特定の静止画を選択操作すると、その静止画を写し撮った位置から動画が再生され、また、静止画に動画位置情報を付すことで、この動画位置情報もサムネイル画像に表示させれば、この動画位置情報を参照して動画再生を行うことができる。したがって、動画において、目的画像を探すための早送り、巻き戻し操作を省くことができ、属性等を直ちに把握することができる。なお、動画再生のための再生装置は、記録装置４に外付けするものでもよいし、処理装置３に内蔵させてもよい。
【００４８】
また、上記実施の形態では、記録装置４には静止画と追跡点の各情報をそれぞれ保存するが、記録処理手段８等によって静止画に追跡線Ｒを合成した追跡線付き静止画像１２を作成し、この追跡線付き静止画像１２の情報を記録装置４に保存するようにしてもよい。この場合、保存する追跡線付き静止画像１２には、時刻や進路等のカテゴリー等に関する識別子をも付すようにしてもよい。これにより、表示装置５には、所望の追跡線付き静止画１２を簡易に且つ素早く表示させることができる。
【図面の簡単な説明】
【００４９】
【図１】監視場所の一例としてのスーパーマーケットのレイアウトを示す見取図である。
【図２】本実施の形態による人物移動経路認識装置の概略構成を示すブロック図である。
【図３】処理装置による情報収集動作を示すフローチャートである。
【図４】物体認識の画像処理に際して用いられる円形フーリエ法を説明するための模式図である。
【図５】円形フーリエ法を実行することで画像の濃淡方向が示されることを説明するための図であり、同図（ａ）は物体像の輪郭部に円形状に基本波フーリエ変換を実行する様子を示し、同図（ｂ）はその基本波フーリエ変換を実行したときの波形グラフを示す。
【図６】物体識別の画像処理に際して用いられるベクトル焦点法を説明するための模式図であり、同図（ａ）は画像上に標準人型像を配置したときの様子を示し、同図（ｂ）は画像上に識別対象の人が映されているときの様子を示す。
【図７】追跡線付き静止画像を表示させたパターン１の表示画面を示す画面模式図である。
【図８】追跡線付き静止画像を一覧表示させた表示画面を示す画面模式図であり、図８（ａ）は特定の時間帯における追跡線付き静止画像１２を時系列的に表示させたパターン２の表示画面であり、図８（ｂ）は進路Ｒ１に進んだ人物ｈにおける追跡線付き静止画像１２を時系列的に表示させたパターン３の表示画面である。
【符号の説明】
【００５０】
２ カメラ（撮像手段）
３ 処理装置
４ 記録装置
５ 表示装置
６ 操作手段
７ 画像処理手段
８ 記録処理手段
９ 画像編集手段
１２ 追跡線付き静止画像
４１ 画像記憶部
４２ 進路記憶部
６１ 領域設定手段
Ａ 指定領域
Ｇ 追跡点
ｈ 人物像
Ｒ 追跡線、移動経路、進路
Ｒ１〜Ｒ４ 進路
【特許請求の範囲】
【請求項１】
ある領域の人間群における個々の人物の属性や移動経路を認識可能な画像情報を得るための人物移動経路認識装置であって、
床面が映る角度で設置されて監視領域を常時撮像する撮像手段と、
撮像手段からの撮像画像を画面表示する表示手段と、
撮像画像内の床面を含む領域に枠状の指定領域を任意に設定する領域設定手段と、
撮像手段からの撮像画像において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各画素のピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点ごとに人物の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物の仮想の重心点を捉えて追跡する画像処理手段と、
画像記憶部および進路記憶部を有する記憶手段と、
画像処理手段で追跡している人物の仮想重心点が指定領域内部に最初に入った時点での撮像画像を静止画の情報として画像記憶部に保存させ、この静止画と関連付けて画像処理手段で追跡している当該人物の仮想重心点を一定時間間隔毎に捉えた追跡点の情報として進路記憶部に保存させる記録処理手段と、
画像記憶部に保存された静止画に当該静止画と関連付けられている進路記憶部に保存された追跡点を結んだ追跡線を合成し、この追跡線付き静止画像を表示手段に表示させる表示編集手段とを備える人物移動経路認識装置。
【請求項１】
ある領域の人間群における個々の人物の属性や移動経路を認識可能な画像情報を得るための人物移動経路認識装置であって、
床面が映る角度で設置されて監視領域を常時撮像する撮像手段と、
撮像手段からの撮像画像を画面表示する表示手段と、
撮像画像内の床面を含む領域に枠状の指定領域を任意に設定する領域設定手段と、
撮像手段からの撮像画像において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各画素のピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点ごとに人物の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物の仮想の重心点を捉えて追跡する画像処理手段と、
画像記憶部および進路記憶部を有する記憶手段と、
画像処理手段で追跡している人物の仮想重心点が指定領域内部に最初に入った時点での撮像画像を静止画の情報として画像記憶部に保存させ、この静止画と関連付けて画像処理手段で追跡している当該人物の仮想重心点を一定時間間隔毎に捉えた追跡点の情報として進路記憶部に保存させる記録処理手段と、
画像記憶部に保存された静止画に当該静止画と関連付けられている進路記憶部に保存された追跡点を結んだ追跡線を合成し、この追跡線付き静止画像を表示手段に表示させる表示編集手段とを備える人物移動経路認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−１６５３４１（Ｐ２００８−１６５３４１Ａ）
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願番号】特願２００６−３５１８５０（Ｐ２００６−３５１８５０）
【出願日】平成１８年１２月２７日（２００６．１２．２７）
【出願人】（３９００２８２８８）技研トラステム株式会社 (8)
【Ｆターム（参考）】
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願日】平成１８年１２月２７日（２００６．１２．２７）
【出願人】（３９００２８２８８）技研トラステム株式会社 (8)
【Ｆターム（参考）】
[ Back to top ]