移動情報生成装置、移動情報生成方法、プログラムおよび記憶媒体
【課題】移動対象の行動に関する情報を容易に取得することができる移動情報生成装置、移動情報生成方法、プログラムおよび記憶媒体を提供する。
【解決手段】識別情報生成部51は、受信機2が受信した移動対象が有するRFIDタグの識別子に基づいて識別情報を生成する。位置情報生成部52は、センサ3から受信したレーザの到達方向と強度に関する情報に基づき、位置情報を生成する。向情報生成部53は、撮像装置4から受信した画像データと、記憶部55のパターン情報DB55aに含まれるパターン情報とに基づいて、画像データに含まれる移動対象の顔の向きに関する向情報を生成する。移動情報生成部54は、識別情報生成部51、位置情報生成部52および向情報生成部53から取得した識別情報、位置情報および向情報をそれぞれ対応付けた移動情報を生成する。
【解決手段】識別情報生成部51は、受信機2が受信した移動対象が有するRFIDタグの識別子に基づいて識別情報を生成する。位置情報生成部52は、センサ3から受信したレーザの到達方向と強度に関する情報に基づき、位置情報を生成する。向情報生成部53は、撮像装置4から受信した画像データと、記憶部55のパターン情報DB55aに含まれるパターン情報とに基づいて、画像データに含まれる移動対象の顔の向きに関する向情報を生成する。移動情報生成部54は、識別情報生成部51、位置情報生成部52および向情報生成部53から取得した識別情報、位置情報および向情報をそれぞれ対応付けた移動情報を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人や動物などの移動行動に関する情報を取得する移動情報生成装置、移動情報生成方法、プログラムおよび記憶媒体に関するものである。
【背景技術】
【0002】
従来より、マーケティングや動物行動学などの分野では、人や動物などの移動対象の移動軌跡を解析する技術について様々な提案がなされている。例えば、非特許文献1には、所定時間間隔で測定した移動対象の位置をつなぎ合わせた移動軌跡に、各位置における移動対象の頭部の向きを対応付けることにより、人の行動を解析することが開示されている。
【0003】
【非特許文献1】山田 辰美、外3名、「イベント会場における移動軌跡と頭部の向きに基づく来場者の行動意味づけ方法」、マルチメディア,分散,協調とモバイル(DICOMO2004)シンポジウム、平成16年7月、P.29−32
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、頭部の向きに関する情報を、画像データから人手で入力していた。したがって、頭部の向きに関する情報の入力や、この情報と他の情報との関連付けに手間がかかっていた。このため、移動対象の行動に関する情報を容易に取得できるようにすることが望まれていた。
【0005】
そこで、本願発明は、上述したような課題を解決するためになされたものであり、移動対象の行動に関する情報を容易に取得することができる移動情報生成装置、移動情報生成方法、プログラムおよび記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述したような課題を解決するために、本発明にかかる移動情報生成装置は、移動対象に一意に割り当てられた識別情報を取得する識別情報取得手段と、移動対象の位置を検出する位置検出手段と、移動対象の顔の向きを検出する向検出手段と、移動対象の識別情報、位置および向きを対応付けて出力する出力手段とを備えた移動情報生成装置であって、向検出手段は、移動対象の少なくとも顔を含む画像を取得し、この画像を認識することにより移動対象の向きを検出することを特徴とする。本発明によれば、人や動物などの移動対象に関する識別情報、位置および向きが対応付けて生成される。ここで、複数の方向から見た顔の画像からなるパターン情報を記憶するパターン情報記憶手段をさらに備え、向情報検出手段は、画像に含まれる顔と、パターン情報とを比較することにより向きを検出するようにしてもよい。
【0007】
また、上記移動情報生成装置において、識別情報取得手段は、移動対象が有する記録媒体から読み出された情報に基づいて識別情報を生成するようにしてもよい。記録媒体としては、RFID(Radio Frequency-IDentification)タグなどを用いることができる。
【0008】
また、上記移動情報生成装置において、位置検出手段は、移動対象の画像を少なくとも2つ取得し、これらの画像に基づいて移動対象の位置を検出するようにしてもよい。また、位置検出手段は、移動対象に発射して移動対象から反射したレーザに基づいて移動対象の位置を検出するようにしてもよい。
【0009】
また、上記移動情報生成装置において、移動対象が移動する領域を記憶する領域記憶手段と、少なくとも移動対象の位置および向きを領域に関連付ける関連付け手段とをさらに備えるようにしてもよい。これにより、移動対象の位置および向きと、この移動対象が移動する領域とが関連づけられる。
【発明の効果】
【0010】
本発明によれば、移動対象の識別情報、位置情報および向情報が対応付けて出力されるので、移動対象の行動に関する情報を容易に取得することができる。
【発明を実施するための最良の形態】
【0011】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。図1に示すように、本実施の形態にかかる移動情報生成システム1は、受信機2と、センサ3と、撮像装置4と、受信機2、センサ3および撮像装置4に接続された移動情報生成装置5とから構成される。このような位置情報生成システム1は、RFID(Radio Frequency-IDentification)タグを所持する人間や動物などの移動対象の行動を分析する際に用いられるものであり、例えば、展示場、イベント会場、商店街など移動対象が行動する所定の観測領域に配設される。ここで、RFIDタグには、移動対象を識別するために一意に割り当てられた識別情報が記録されている。
【0012】
受信機2は、観測領域内に配設され、移動対象が有するRFIDタグに記録されている識別情報を読み出す公知のRFIDアンテナまたはRFIDリーダから構成される。このような受信機2は、後述する移動情報生成装置5の識別情報生成部51の指示に基づいて所定時間間隔でRFIDタグから識別情報を読み出し、移動情報生成装置5に送信する。
【0013】
センサ3は、観測領域に対してレーザを発信し、移動対象で反射したレーザからこの到達方向と強度を検出する公知のレーザセンサから構成される。このようなセンサ3は、後述する移動情報生成装置5の位置情報生成部52の指示に基づいて所定時間間隔でレーザの到達方向と強度を検出し、移動情報生成装置5に送信する。
【0014】
撮像装置4は、観測領域を撮像する公知のカメラから構成される。このような撮像装置4は、撮像した画像データを移動情報生成装置5に送信する。
【0015】
移動情報生成装置5は、識別情報生成部51と、位置情報生成部52と、向情報生成部53と、移動情報生成部54と、記憶部55と、出力部56とから構成される。
【0016】
識別情報生成部51は、所定時間間隔で受信機2に指示を出し、受信機2からRFIDタグに記録された識別情報を取得し、移動情報生成部54に送出する。
【0017】
位置情報生成部52は、所定時間間隔でセンサ3に指示を出し、センサ3から受信したレーザの到達方向と強度に基づき、そのレーザを反射した移動対象の観測領域内における位置を算出する(以下、この算出された位置に関する情報を「位置情報」という。)。位置情報は、センサ3により測定が行われた時刻とともに後述する移動情報生成部54に送出される。
【0018】
向情報生成部53は、撮像装置4から受信した画像データと、後述する記憶部55のパターン情報DB55aに含まれるパターン情報とに基づいて、画像データに含まれる移動対象の顔の向きを検出する(以下、この検出された顔の向きを表す情報を「向情報」という。)。向情報は、移動情報生成部54に送出される。なお、向情報の生成動作の詳細については後述する。
【0019】
移動情報生成部54は、識別情報生成部51、位置情報生成部52および向情報生成部53から取得した識別情報、位置情報および向情報を対応付けた移動情報を生成し、記憶部55の後述する移動情報DB55bに記憶させる。ここで、移動情報とは、識別情報単位で生成されるものであり、その識別情報に対応する移動対象の位置情報および向情報を、これらを測定した時刻毎に対応付けたものである。
【0020】
記憶部55は、パターン情報DB(Data Base)55aと、移動情報DB55bと、領域情報55DBcとを少なくとも有する。ここで、パターン情報DB55aは、複数の方向から見た移動対象である人や動物の顔の標準画像を記憶するデータベースである(以下、この標準画像を「パターン情報」という。)。このようなパターン情報は、向情報生成部53における向情報の生成に用いられる。
【0021】
また、移動情報DB55bは、上述したように移動情報生成部54で生成された移動情報を記憶するデータベースである。図2に、移動情報DB55bに記憶された移動情報のデータ構造を示す。この移動情報DB55bには、図2に示すように、識別情報単位でテーブルが設けられており、このテーブルには測定時刻毎に形成されたレコードの対応するフィールドに位置情報および向情報が格納される。例えば、図2の「0001」の識別情報に対応する移動対象の移動情報のテーブルによると、12時30分1秒のときには、X座標が「1250」、Y座標が「2200」の位置、顔の向きが「130°」であるが、12時30分2秒のときには、X座標が「1200」、Y座標が「2200」の位置、顔の向きが「125°」となっている。これは、移動対象の位置および顔の向きが、時間の経過と共に変化したことを示している。このように位置情報および向情報を時系列に移動情報DB55bに記録することより、移動対象の位置と顔の向きの変化を対応付けて表すことが可能となる。
【0022】
また、領域情報DB55cとは、移動対象が行動する観測領域に関する情報である領域情報を記憶するデータベースである。この領域情報とは、例えば、観測領域の形状、大きさ、観測領域に配設されている物品などに関する情報が含まれる。
【0023】
出力部56は、ユーザ等の操作入力に基づいて、記憶部55の移動情報DB55bに記憶された移動情報をファイルやディスプレイ上に出力する。また、出力部56は、記憶部55の移動情報DB55bに記憶された移動情報を、領域情報DB55cに記憶された領域情報に重ね合わせたものを、ファイルやディスプレイ上に出力する。
【0024】
このような移動情報生成装置5は、CPU等の演算装置と、メモリ、HDD(Hard Disc Drive)等の記憶装置と、キーボード、マウス、ポインティングデバイス、ボタン、タッチパネル等の外部から情報の入力を検出する入力装置と、受信機2、センサ3および撮像装置4との情報の送受を行うI/F装置と、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)またはFED(Field Emission Display)等の表示装置を備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。すなわちハードウェア装置とソフトウェアとが協働することによって、上記ハードウェア資源がプログラムによって制御され、上述した識別情報生成部51、位置情報生成部52、向情報生成部53、移動情報生成部54、記憶部55および出力部56が実現される。なお、上記プログラムは、フレキシブルディスク、CD−ROM、DVD−ROM、メモリカードなどの記録媒体に記録された状態で提供されるようにしてもよい。
【0025】
[向情報生成動作]
次に、図3,4を参照して、向情報生成部53による向情報の生成動作について説明する。向情報生成部53は、撮像装置4の画像データから移動対象の顔領域の抽出を行い、この抽出した顔領域の画像と、パターン情報DB55aに記憶されたパターン情報とを比較する。このパターン情報は、図3(a)〜(e)に示すように、複数の方向から見た移動対象の顔の標準画像からなる。このような標準画像と抽出した顔領域の画像とを比較してパターンマッチングを行い、最も差が小さい顔領域の画像を第1の顔の向きとする。また、標準画像と抽出した画像に含まれる目や鼻などの特徴物をベクトル表現し、内積をとることにより、第1の顔の向きを決定するようにしてもよい。
【0026】
次いで、上記第1の顔の向きに、この画像を撮像した撮像装置4のパン角度により補正を行った方向を、移動対象の顔の向きを示す向情報として決定する。例えば、図4の場合、第1の顔の向きが正面であると検出され、実際の顔の向きは、パン角度分だけ矢印の方向にずれた方向であると決定される。これにより、移動対象の顔の向きを示す向情報が生成される。
【0027】
[移動情報生成動作]
次に、移動情報生成システム1の動作について、図5,6を参照して説明する。なお、以下にする説明では、図5に示すような平面視略矩形の壁に囲まれた領域からなり、一つの対角近傍には一組の出入り口が設けられた観測領域Aに移動情報生成システム1が設けられた場合を例に説明する。このような領域Aの内部には、受信機2が所定の間隔毎に配設されており、それぞれの受信機2は、点線で示す範囲Sの大きさのRFIDタグの受信領域を有する。また、観測領域Aの出入り口とは異なる他の対角にはそれぞれセンサ3が設けられており、これらのセンサ3は、領域A全体を床と水平にレーザ走査を行う。さらに、観測領域Aの壁にはパンチルトカメラからなる14個の撮像装置4が所定間隔毎に配設されている。
【0028】
このような観測領域Aに配設された移動情報生成システム1は、受信機2によって移動対象が所持するRFIDタグから識別情報が読み出されると、センサ3によりそのRFIDタグを所持する移動対象の位置を検出し、撮像装置4が撮像した画像からその移動対象の顔の向きを検出し、このようにして取得した識別情報、位置情報および向情報をその移動対象の移動情報として関連づけて出力するものである。これらの各動作について、図6を参照して以下に詳述する。
【0029】
まず、識別情報生成部51は、所定時間間隔で各受信機2にRFIDタグの読み出しを行わせ、受信機2から識別情報を受信すると、この識別情報を移動情報生成部54に送出する(ステップS601)。
【0030】
移動情報生成部54は、識別情報生成部51から受け取った識別情報が記憶部55の移動情報DB55bに登録されているか否か登録情報DB55bを検索する(ステップS602)。
【0031】
例えば、新たに移動対象が観測領域Aに入ってきたときなど、受け取った識別情報が移動情報DB55bに登録されていない場合(ステップS602:未登録)、移動情報生成部54は、受け取った識別情報に対応する移動情報のテーブルを新たに移動情報DB55bに登録する(ステップS607)。
【0032】
新たな識別情報のテーブルを移動情報DB55bに登録すると、移動情報生成部54は、その識別情報に対応する移動対象の位置情報を位置情報生成部52に生成させる(ステップS603)。この場合、新たな移動対象は、観測領域Aの入口近傍にいるものと考えられる。したがって、位置情報生成部52は、センサ3により入口近傍に検出された移動対象のうち、まだ登録されていない移動対象の位置情報を、その識別情報に対応する位置情報として移動情報生成部54に送出する。移動情報生成部54は、位置情報を受け取ると、移動情報DB55bの対応する移動対象の移動情報のテーブルにその位置情報を登録する。
【0033】
位置情報が生成されると、移動情報生成部54は、その位置情報に対応する移動対象の向情報を向情報生成部53に生成させる(ステップS604)。向情報生成部53は、移動情報DB55bから向情報を生成する移動対象の位置情報を取得し、この位置情報に対応する地点をその位置情報を生成したのと同時刻に撮像した撮像装置4の画像データに基づいて、向情報を生成し、移動情報生成部54に送出する。移動情報生成部54は、向情報を受け取ると、移動情報DB55bの対応する移動対象の位置情報のテーブルにその向情報を登録する。
【0034】
移動情報生成部54は、上述したように識別情報、この識別情報に対応する位置情報および向情報を、記憶部55の移動情報DB55bに登録することにより、図2に示すような識別情報毎に生成された移動情報のテーブルに、位置情報および向情報が時系列に登録される。
【0035】
移動情報が登録されると、出力部56は、その移動情報をファイルまたはディスプレイ上に出力する(ステップS605)。例えば、図7に示すように、ディスプレイ上に観測領域Aの平面図を表示し、この平面図上に移動情報に含まれる位置情報をプロットするようにしてもよい。これにより、移動対象aの移動軌跡をディスプレイ上に表示することができる。また、位置情報を示す各点に、例えば矢印や線分により各位置情報に対応する向情報を表示するようにしてもよい。これにより、移動対象の移動軌跡のみならず、移動対象の向きもあわせて表示することができる。
【0036】
このとき、出力部56は、図8に示すように、領域情報DB55cに記憶されている領域情報を、ディスプレイ上に反映するなどにより、移動情報と関連づけるようにしてもよい。これにより、移動対象の移動軌跡と顔の向きを、観測領域Aの形状や観測領域Aに配設された物品などの特徴物と対応付けることが可能となる。例えば、図8の符号aで示す位置にいるときの移動対象は、矢印で示す方向を向いている。この矢印の延長線上には、符号Bで示す物品が存在する。したがって、符号aの位置にある移動対象は、符号Bの物品を見ている可能性があることがわかる。このように、移動情報と領域情報とを関連づけることにより、移動対象の行動を詳細に解析することが可能となる。なお、出力部56は、上述した符号Bで示す物品のように、移動対象の顔の向きの方向に存在する観測領域Aの特徴物を、移動情報DB55bに記憶された移動情報に記憶するようにしてもよい。これにより、移動対象の行動の分析をより容易に行うことが可能となる。
【0037】
新たな識別情報を取得してから所定の時間が経過すると(ステップS606:YES)、移動情報生成装置5は、ステップS601の処理に戻り、再度、RFIDタグから識別情報を読み出す。なお、識別情報を読み出す間隔を表す上記所定の時間は、適宜自由に設定することができる。
【0038】
2回目以降の識別情報の読み出しが行われると(ステップS601)、移動情報生成部54は、その識別情報に対応する移動情報のテーブルを記憶部55の移動情報DB55bから検索する(ステップS602)。対応するテーブルが検索されると(ステップS602:登録済み)、移動情報生成部54は、上述したような方法で位置情報および向情報を生成させ、これらを上記テーブルに登録する。
【0039】
なお、直前のRFIDタグの読み出しでは識別情報が受信されたものの、今回の読み出しでは識別情報が受信されなかったRFIDタグが存在する場合(ステップS602:不明)、移動情報生成部54は、その不明の識別情報に対応する移動情報を移動情報DB55bから抽出し、直前の位置情報から移動対象が観測領域Aから出たか否かを確認する(ステップS608)。
【0040】
例えば、直前の識別情報の読み出しの際、不明の識別情報に対応する移動対象の位置情報が観測領域Aの出口近傍に検出されていた場合、移動情報生成部54は、その移動対象が観測領域Aから出たものと判定し(ステップS608:YES)、移動情報の生成を終了する。
【0041】
一方、直前の識別情報の読み出しの際、不明の識別情報に対応する移動対象が観測領域Aから出たと想定できない位置に検出されていた場合、移動情報生成部54は、その移動対象が観測領域A内に存在すると判定する(ステップS608:YES)。この場合、移動情報生成部54は、位置情報生成部52により観測領域A内に存在する全ての移動対象の位置情報の生成を行わせる。これにより生成された全ての位置情報と、不明の識別情報に対応する移動対象の直前の位置情報とを比較し、この直前の位置情報に最も近接する位置情報を不明の識別情報に対応する位置情報とし、移動情報DB55bに登録する。位置情報が登録されると、移動情報生成部54は、上述したような方法で向情報を生成させ、移動情報DB55bの対応するテーブルに登録する。このように、本実施の形態によれば、識別情報が読み出されなかった場合であっても、移動対象の位置情報および向情報が生成されるので、移動対象の行動の分析をより確実に行うことが可能となる。
【0042】
上述したように本実施の形態によれば、移動対象の識別情報、位置情報および向情報が対応付けて出力されるので、移動対象の行動に関する情報を容易に取得することができる。
【0043】
なお、本実施の形態において、位置情報生成部52は、センサ3から受信した情報に基づいて移動対象の位置情報を生成するようにしたが、受信機2または撮像装置4から受信した情報に基づいて位置情報を生成するようにしてもよい。ここで、受信機2を用いる場合、例えば図9に示すように、観測領域A内に複数の受信機2を配設する。位置情報生成部52は、各受信機2が任意のRFIDタグの識別情報を受信したときの受信強度を識別情報とともに受け取り、その識別情報を受信した受信機2の位置とこの受信機2が受信した受信強度とから、RFIDタグの位置を算出する。例えば、図9に符号aで示す移動対象が有するRFIDタグを3つの受信機2が受信した場合、位置情報生成部52は、それぞれの受信機2における受信強度に基づいて、受信機2からRFIDタグまでの距離をそれぞれの受信機2に関して算出する。これらの算出した距離を重ね合わせてRFIDタグの存在可能性範囲を検出し、この結果得られた位置を位置情報とする。これにより、センサ3が不要となるのでコストダウンを実現できる。
【0044】
一方、撮像装置4を用いる場合は、例えば図10に示すように、観測領域Aの入口近傍のみに受信機2を配設する。この受信機2を介して識別情報生成部51により符号aで示す移動対象のRFIDタグの識別情報が読み出されると、位置情報生成部52は、その受信機2の近傍を撮像している少なくとも2つの撮像装置4により撮像された画像に映った移動対象のトラッキングを開始する。位置情報生成部52は、移動対象を撮像する複数の撮像装置4の位置と、これらの撮像装置4による画像とに基づいて、観測領域Aにおける移動対象aの位置を測定する。このようなトラッキングは、その移動対象が観測領域Aを出るまで行われる。このようなトラッキング結果を位置情報として出力する。これにより、受信機2を観測領域Aの入り口のみに設置するだけでよいので、コストダウンを図れると共に、不安定であるといわれる無線信号の利用を最小限にとどめることが可能となる。
【図面の簡単な説明】
【0045】
【図1】本発明にかかる移動情報生成装置の構成を示すブロック図である。
【図2】移動情報の構成を示す模式図である。
【図3】(a)〜(e)パターン情報を示す図である。
【図4】向情報の生成動作を説明するための図である。
【図5】移動情報生成システムを配設した観測領域の平面模式図である。
【図6】移動情報生成装置の動作を示すフローチャートである。
【図7】移動情報を表示したディスプレイの模式図である。
【図8】移動情報と領域情報とを表示したディスプレイの模式図である。
【図9】受信機により位置情報を生成する場合の観測領域の平面模式図である。
【図10】撮像装置により位置情報を生成する場合の観測領域の平面模式図である。
【符号の説明】
【0046】
1…移動情報生成システム、2…受信機、3…センサ、4…撮像装置、5…移動情報生成装置、51…識別情報生成部、52…位置情報生成部、53…向情報生成部、54…移動情報生成部、55…記憶部、55a…パターン情報DB、55b…移動情報DB、55c…領域情報DB、A…観測領域、a…移動対象、S…受信領域。
【技術分野】
【0001】
本発明は、人や動物などの移動行動に関する情報を取得する移動情報生成装置、移動情報生成方法、プログラムおよび記憶媒体に関するものである。
【背景技術】
【0002】
従来より、マーケティングや動物行動学などの分野では、人や動物などの移動対象の移動軌跡を解析する技術について様々な提案がなされている。例えば、非特許文献1には、所定時間間隔で測定した移動対象の位置をつなぎ合わせた移動軌跡に、各位置における移動対象の頭部の向きを対応付けることにより、人の行動を解析することが開示されている。
【0003】
【非特許文献1】山田 辰美、外3名、「イベント会場における移動軌跡と頭部の向きに基づく来場者の行動意味づけ方法」、マルチメディア,分散,協調とモバイル(DICOMO2004)シンポジウム、平成16年7月、P.29−32
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、頭部の向きに関する情報を、画像データから人手で入力していた。したがって、頭部の向きに関する情報の入力や、この情報と他の情報との関連付けに手間がかかっていた。このため、移動対象の行動に関する情報を容易に取得できるようにすることが望まれていた。
【0005】
そこで、本願発明は、上述したような課題を解決するためになされたものであり、移動対象の行動に関する情報を容易に取得することができる移動情報生成装置、移動情報生成方法、プログラムおよび記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述したような課題を解決するために、本発明にかかる移動情報生成装置は、移動対象に一意に割り当てられた識別情報を取得する識別情報取得手段と、移動対象の位置を検出する位置検出手段と、移動対象の顔の向きを検出する向検出手段と、移動対象の識別情報、位置および向きを対応付けて出力する出力手段とを備えた移動情報生成装置であって、向検出手段は、移動対象の少なくとも顔を含む画像を取得し、この画像を認識することにより移動対象の向きを検出することを特徴とする。本発明によれば、人や動物などの移動対象に関する識別情報、位置および向きが対応付けて生成される。ここで、複数の方向から見た顔の画像からなるパターン情報を記憶するパターン情報記憶手段をさらに備え、向情報検出手段は、画像に含まれる顔と、パターン情報とを比較することにより向きを検出するようにしてもよい。
【0007】
また、上記移動情報生成装置において、識別情報取得手段は、移動対象が有する記録媒体から読み出された情報に基づいて識別情報を生成するようにしてもよい。記録媒体としては、RFID(Radio Frequency-IDentification)タグなどを用いることができる。
【0008】
また、上記移動情報生成装置において、位置検出手段は、移動対象の画像を少なくとも2つ取得し、これらの画像に基づいて移動対象の位置を検出するようにしてもよい。また、位置検出手段は、移動対象に発射して移動対象から反射したレーザに基づいて移動対象の位置を検出するようにしてもよい。
【0009】
また、上記移動情報生成装置において、移動対象が移動する領域を記憶する領域記憶手段と、少なくとも移動対象の位置および向きを領域に関連付ける関連付け手段とをさらに備えるようにしてもよい。これにより、移動対象の位置および向きと、この移動対象が移動する領域とが関連づけられる。
【発明の効果】
【0010】
本発明によれば、移動対象の識別情報、位置情報および向情報が対応付けて出力されるので、移動対象の行動に関する情報を容易に取得することができる。
【発明を実施するための最良の形態】
【0011】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。図1に示すように、本実施の形態にかかる移動情報生成システム1は、受信機2と、センサ3と、撮像装置4と、受信機2、センサ3および撮像装置4に接続された移動情報生成装置5とから構成される。このような位置情報生成システム1は、RFID(Radio Frequency-IDentification)タグを所持する人間や動物などの移動対象の行動を分析する際に用いられるものであり、例えば、展示場、イベント会場、商店街など移動対象が行動する所定の観測領域に配設される。ここで、RFIDタグには、移動対象を識別するために一意に割り当てられた識別情報が記録されている。
【0012】
受信機2は、観測領域内に配設され、移動対象が有するRFIDタグに記録されている識別情報を読み出す公知のRFIDアンテナまたはRFIDリーダから構成される。このような受信機2は、後述する移動情報生成装置5の識別情報生成部51の指示に基づいて所定時間間隔でRFIDタグから識別情報を読み出し、移動情報生成装置5に送信する。
【0013】
センサ3は、観測領域に対してレーザを発信し、移動対象で反射したレーザからこの到達方向と強度を検出する公知のレーザセンサから構成される。このようなセンサ3は、後述する移動情報生成装置5の位置情報生成部52の指示に基づいて所定時間間隔でレーザの到達方向と強度を検出し、移動情報生成装置5に送信する。
【0014】
撮像装置4は、観測領域を撮像する公知のカメラから構成される。このような撮像装置4は、撮像した画像データを移動情報生成装置5に送信する。
【0015】
移動情報生成装置5は、識別情報生成部51と、位置情報生成部52と、向情報生成部53と、移動情報生成部54と、記憶部55と、出力部56とから構成される。
【0016】
識別情報生成部51は、所定時間間隔で受信機2に指示を出し、受信機2からRFIDタグに記録された識別情報を取得し、移動情報生成部54に送出する。
【0017】
位置情報生成部52は、所定時間間隔でセンサ3に指示を出し、センサ3から受信したレーザの到達方向と強度に基づき、そのレーザを反射した移動対象の観測領域内における位置を算出する(以下、この算出された位置に関する情報を「位置情報」という。)。位置情報は、センサ3により測定が行われた時刻とともに後述する移動情報生成部54に送出される。
【0018】
向情報生成部53は、撮像装置4から受信した画像データと、後述する記憶部55のパターン情報DB55aに含まれるパターン情報とに基づいて、画像データに含まれる移動対象の顔の向きを検出する(以下、この検出された顔の向きを表す情報を「向情報」という。)。向情報は、移動情報生成部54に送出される。なお、向情報の生成動作の詳細については後述する。
【0019】
移動情報生成部54は、識別情報生成部51、位置情報生成部52および向情報生成部53から取得した識別情報、位置情報および向情報を対応付けた移動情報を生成し、記憶部55の後述する移動情報DB55bに記憶させる。ここで、移動情報とは、識別情報単位で生成されるものであり、その識別情報に対応する移動対象の位置情報および向情報を、これらを測定した時刻毎に対応付けたものである。
【0020】
記憶部55は、パターン情報DB(Data Base)55aと、移動情報DB55bと、領域情報55DBcとを少なくとも有する。ここで、パターン情報DB55aは、複数の方向から見た移動対象である人や動物の顔の標準画像を記憶するデータベースである(以下、この標準画像を「パターン情報」という。)。このようなパターン情報は、向情報生成部53における向情報の生成に用いられる。
【0021】
また、移動情報DB55bは、上述したように移動情報生成部54で生成された移動情報を記憶するデータベースである。図2に、移動情報DB55bに記憶された移動情報のデータ構造を示す。この移動情報DB55bには、図2に示すように、識別情報単位でテーブルが設けられており、このテーブルには測定時刻毎に形成されたレコードの対応するフィールドに位置情報および向情報が格納される。例えば、図2の「0001」の識別情報に対応する移動対象の移動情報のテーブルによると、12時30分1秒のときには、X座標が「1250」、Y座標が「2200」の位置、顔の向きが「130°」であるが、12時30分2秒のときには、X座標が「1200」、Y座標が「2200」の位置、顔の向きが「125°」となっている。これは、移動対象の位置および顔の向きが、時間の経過と共に変化したことを示している。このように位置情報および向情報を時系列に移動情報DB55bに記録することより、移動対象の位置と顔の向きの変化を対応付けて表すことが可能となる。
【0022】
また、領域情報DB55cとは、移動対象が行動する観測領域に関する情報である領域情報を記憶するデータベースである。この領域情報とは、例えば、観測領域の形状、大きさ、観測領域に配設されている物品などに関する情報が含まれる。
【0023】
出力部56は、ユーザ等の操作入力に基づいて、記憶部55の移動情報DB55bに記憶された移動情報をファイルやディスプレイ上に出力する。また、出力部56は、記憶部55の移動情報DB55bに記憶された移動情報を、領域情報DB55cに記憶された領域情報に重ね合わせたものを、ファイルやディスプレイ上に出力する。
【0024】
このような移動情報生成装置5は、CPU等の演算装置と、メモリ、HDD(Hard Disc Drive)等の記憶装置と、キーボード、マウス、ポインティングデバイス、ボタン、タッチパネル等の外部から情報の入力を検出する入力装置と、受信機2、センサ3および撮像装置4との情報の送受を行うI/F装置と、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)またはFED(Field Emission Display)等の表示装置を備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。すなわちハードウェア装置とソフトウェアとが協働することによって、上記ハードウェア資源がプログラムによって制御され、上述した識別情報生成部51、位置情報生成部52、向情報生成部53、移動情報生成部54、記憶部55および出力部56が実現される。なお、上記プログラムは、フレキシブルディスク、CD−ROM、DVD−ROM、メモリカードなどの記録媒体に記録された状態で提供されるようにしてもよい。
【0025】
[向情報生成動作]
次に、図3,4を参照して、向情報生成部53による向情報の生成動作について説明する。向情報生成部53は、撮像装置4の画像データから移動対象の顔領域の抽出を行い、この抽出した顔領域の画像と、パターン情報DB55aに記憶されたパターン情報とを比較する。このパターン情報は、図3(a)〜(e)に示すように、複数の方向から見た移動対象の顔の標準画像からなる。このような標準画像と抽出した顔領域の画像とを比較してパターンマッチングを行い、最も差が小さい顔領域の画像を第1の顔の向きとする。また、標準画像と抽出した画像に含まれる目や鼻などの特徴物をベクトル表現し、内積をとることにより、第1の顔の向きを決定するようにしてもよい。
【0026】
次いで、上記第1の顔の向きに、この画像を撮像した撮像装置4のパン角度により補正を行った方向を、移動対象の顔の向きを示す向情報として決定する。例えば、図4の場合、第1の顔の向きが正面であると検出され、実際の顔の向きは、パン角度分だけ矢印の方向にずれた方向であると決定される。これにより、移動対象の顔の向きを示す向情報が生成される。
【0027】
[移動情報生成動作]
次に、移動情報生成システム1の動作について、図5,6を参照して説明する。なお、以下にする説明では、図5に示すような平面視略矩形の壁に囲まれた領域からなり、一つの対角近傍には一組の出入り口が設けられた観測領域Aに移動情報生成システム1が設けられた場合を例に説明する。このような領域Aの内部には、受信機2が所定の間隔毎に配設されており、それぞれの受信機2は、点線で示す範囲Sの大きさのRFIDタグの受信領域を有する。また、観測領域Aの出入り口とは異なる他の対角にはそれぞれセンサ3が設けられており、これらのセンサ3は、領域A全体を床と水平にレーザ走査を行う。さらに、観測領域Aの壁にはパンチルトカメラからなる14個の撮像装置4が所定間隔毎に配設されている。
【0028】
このような観測領域Aに配設された移動情報生成システム1は、受信機2によって移動対象が所持するRFIDタグから識別情報が読み出されると、センサ3によりそのRFIDタグを所持する移動対象の位置を検出し、撮像装置4が撮像した画像からその移動対象の顔の向きを検出し、このようにして取得した識別情報、位置情報および向情報をその移動対象の移動情報として関連づけて出力するものである。これらの各動作について、図6を参照して以下に詳述する。
【0029】
まず、識別情報生成部51は、所定時間間隔で各受信機2にRFIDタグの読み出しを行わせ、受信機2から識別情報を受信すると、この識別情報を移動情報生成部54に送出する(ステップS601)。
【0030】
移動情報生成部54は、識別情報生成部51から受け取った識別情報が記憶部55の移動情報DB55bに登録されているか否か登録情報DB55bを検索する(ステップS602)。
【0031】
例えば、新たに移動対象が観測領域Aに入ってきたときなど、受け取った識別情報が移動情報DB55bに登録されていない場合(ステップS602:未登録)、移動情報生成部54は、受け取った識別情報に対応する移動情報のテーブルを新たに移動情報DB55bに登録する(ステップS607)。
【0032】
新たな識別情報のテーブルを移動情報DB55bに登録すると、移動情報生成部54は、その識別情報に対応する移動対象の位置情報を位置情報生成部52に生成させる(ステップS603)。この場合、新たな移動対象は、観測領域Aの入口近傍にいるものと考えられる。したがって、位置情報生成部52は、センサ3により入口近傍に検出された移動対象のうち、まだ登録されていない移動対象の位置情報を、その識別情報に対応する位置情報として移動情報生成部54に送出する。移動情報生成部54は、位置情報を受け取ると、移動情報DB55bの対応する移動対象の移動情報のテーブルにその位置情報を登録する。
【0033】
位置情報が生成されると、移動情報生成部54は、その位置情報に対応する移動対象の向情報を向情報生成部53に生成させる(ステップS604)。向情報生成部53は、移動情報DB55bから向情報を生成する移動対象の位置情報を取得し、この位置情報に対応する地点をその位置情報を生成したのと同時刻に撮像した撮像装置4の画像データに基づいて、向情報を生成し、移動情報生成部54に送出する。移動情報生成部54は、向情報を受け取ると、移動情報DB55bの対応する移動対象の位置情報のテーブルにその向情報を登録する。
【0034】
移動情報生成部54は、上述したように識別情報、この識別情報に対応する位置情報および向情報を、記憶部55の移動情報DB55bに登録することにより、図2に示すような識別情報毎に生成された移動情報のテーブルに、位置情報および向情報が時系列に登録される。
【0035】
移動情報が登録されると、出力部56は、その移動情報をファイルまたはディスプレイ上に出力する(ステップS605)。例えば、図7に示すように、ディスプレイ上に観測領域Aの平面図を表示し、この平面図上に移動情報に含まれる位置情報をプロットするようにしてもよい。これにより、移動対象aの移動軌跡をディスプレイ上に表示することができる。また、位置情報を示す各点に、例えば矢印や線分により各位置情報に対応する向情報を表示するようにしてもよい。これにより、移動対象の移動軌跡のみならず、移動対象の向きもあわせて表示することができる。
【0036】
このとき、出力部56は、図8に示すように、領域情報DB55cに記憶されている領域情報を、ディスプレイ上に反映するなどにより、移動情報と関連づけるようにしてもよい。これにより、移動対象の移動軌跡と顔の向きを、観測領域Aの形状や観測領域Aに配設された物品などの特徴物と対応付けることが可能となる。例えば、図8の符号aで示す位置にいるときの移動対象は、矢印で示す方向を向いている。この矢印の延長線上には、符号Bで示す物品が存在する。したがって、符号aの位置にある移動対象は、符号Bの物品を見ている可能性があることがわかる。このように、移動情報と領域情報とを関連づけることにより、移動対象の行動を詳細に解析することが可能となる。なお、出力部56は、上述した符号Bで示す物品のように、移動対象の顔の向きの方向に存在する観測領域Aの特徴物を、移動情報DB55bに記憶された移動情報に記憶するようにしてもよい。これにより、移動対象の行動の分析をより容易に行うことが可能となる。
【0037】
新たな識別情報を取得してから所定の時間が経過すると(ステップS606:YES)、移動情報生成装置5は、ステップS601の処理に戻り、再度、RFIDタグから識別情報を読み出す。なお、識別情報を読み出す間隔を表す上記所定の時間は、適宜自由に設定することができる。
【0038】
2回目以降の識別情報の読み出しが行われると(ステップS601)、移動情報生成部54は、その識別情報に対応する移動情報のテーブルを記憶部55の移動情報DB55bから検索する(ステップS602)。対応するテーブルが検索されると(ステップS602:登録済み)、移動情報生成部54は、上述したような方法で位置情報および向情報を生成させ、これらを上記テーブルに登録する。
【0039】
なお、直前のRFIDタグの読み出しでは識別情報が受信されたものの、今回の読み出しでは識別情報が受信されなかったRFIDタグが存在する場合(ステップS602:不明)、移動情報生成部54は、その不明の識別情報に対応する移動情報を移動情報DB55bから抽出し、直前の位置情報から移動対象が観測領域Aから出たか否かを確認する(ステップS608)。
【0040】
例えば、直前の識別情報の読み出しの際、不明の識別情報に対応する移動対象の位置情報が観測領域Aの出口近傍に検出されていた場合、移動情報生成部54は、その移動対象が観測領域Aから出たものと判定し(ステップS608:YES)、移動情報の生成を終了する。
【0041】
一方、直前の識別情報の読み出しの際、不明の識別情報に対応する移動対象が観測領域Aから出たと想定できない位置に検出されていた場合、移動情報生成部54は、その移動対象が観測領域A内に存在すると判定する(ステップS608:YES)。この場合、移動情報生成部54は、位置情報生成部52により観測領域A内に存在する全ての移動対象の位置情報の生成を行わせる。これにより生成された全ての位置情報と、不明の識別情報に対応する移動対象の直前の位置情報とを比較し、この直前の位置情報に最も近接する位置情報を不明の識別情報に対応する位置情報とし、移動情報DB55bに登録する。位置情報が登録されると、移動情報生成部54は、上述したような方法で向情報を生成させ、移動情報DB55bの対応するテーブルに登録する。このように、本実施の形態によれば、識別情報が読み出されなかった場合であっても、移動対象の位置情報および向情報が生成されるので、移動対象の行動の分析をより確実に行うことが可能となる。
【0042】
上述したように本実施の形態によれば、移動対象の識別情報、位置情報および向情報が対応付けて出力されるので、移動対象の行動に関する情報を容易に取得することができる。
【0043】
なお、本実施の形態において、位置情報生成部52は、センサ3から受信した情報に基づいて移動対象の位置情報を生成するようにしたが、受信機2または撮像装置4から受信した情報に基づいて位置情報を生成するようにしてもよい。ここで、受信機2を用いる場合、例えば図9に示すように、観測領域A内に複数の受信機2を配設する。位置情報生成部52は、各受信機2が任意のRFIDタグの識別情報を受信したときの受信強度を識別情報とともに受け取り、その識別情報を受信した受信機2の位置とこの受信機2が受信した受信強度とから、RFIDタグの位置を算出する。例えば、図9に符号aで示す移動対象が有するRFIDタグを3つの受信機2が受信した場合、位置情報生成部52は、それぞれの受信機2における受信強度に基づいて、受信機2からRFIDタグまでの距離をそれぞれの受信機2に関して算出する。これらの算出した距離を重ね合わせてRFIDタグの存在可能性範囲を検出し、この結果得られた位置を位置情報とする。これにより、センサ3が不要となるのでコストダウンを実現できる。
【0044】
一方、撮像装置4を用いる場合は、例えば図10に示すように、観測領域Aの入口近傍のみに受信機2を配設する。この受信機2を介して識別情報生成部51により符号aで示す移動対象のRFIDタグの識別情報が読み出されると、位置情報生成部52は、その受信機2の近傍を撮像している少なくとも2つの撮像装置4により撮像された画像に映った移動対象のトラッキングを開始する。位置情報生成部52は、移動対象を撮像する複数の撮像装置4の位置と、これらの撮像装置4による画像とに基づいて、観測領域Aにおける移動対象aの位置を測定する。このようなトラッキングは、その移動対象が観測領域Aを出るまで行われる。このようなトラッキング結果を位置情報として出力する。これにより、受信機2を観測領域Aの入り口のみに設置するだけでよいので、コストダウンを図れると共に、不安定であるといわれる無線信号の利用を最小限にとどめることが可能となる。
【図面の簡単な説明】
【0045】
【図1】本発明にかかる移動情報生成装置の構成を示すブロック図である。
【図2】移動情報の構成を示す模式図である。
【図3】(a)〜(e)パターン情報を示す図である。
【図4】向情報の生成動作を説明するための図である。
【図5】移動情報生成システムを配設した観測領域の平面模式図である。
【図6】移動情報生成装置の動作を示すフローチャートである。
【図7】移動情報を表示したディスプレイの模式図である。
【図8】移動情報と領域情報とを表示したディスプレイの模式図である。
【図9】受信機により位置情報を生成する場合の観測領域の平面模式図である。
【図10】撮像装置により位置情報を生成する場合の観測領域の平面模式図である。
【符号の説明】
【0046】
1…移動情報生成システム、2…受信機、3…センサ、4…撮像装置、5…移動情報生成装置、51…識別情報生成部、52…位置情報生成部、53…向情報生成部、54…移動情報生成部、55…記憶部、55a…パターン情報DB、55b…移動情報DB、55c…領域情報DB、A…観測領域、a…移動対象、S…受信領域。
【特許請求の範囲】
【請求項1】
移動対象に一意に割り当てられた識別情報を取得する識別情報取得手段と、
前記移動対象の位置を検出する位置検出手段と、
前記移動対象の顔の向きを検出する向検出手段と、
前記移動対象の識別情報、位置および向きを対応付けて出力する出力手段とを備えた移動情報生成装置であって、
前記向検出手段は、前記移動対象の少なくとも顔を含む画像を取得し、この画像を認識することにより前記移動対象の向きを検出する
ことを特徴とする移動情報生成装置。
【請求項2】
複数の方向から見た顔の画像からなるパターン情報を記憶するパターン情報記憶手段をさらに備え、
前記向検出手段は、前記画像に含まれる顔と、前記パターン情報とを比較することにより向きを検出する
ことを特徴とする請求項1記載の移動情報生成装置。
【請求項3】
前記識別情報取得手段は、前記移動対象が有する記録媒体から読み出された情報に基づいて前記識別情報を生成する
ことを特徴とする請求項1または2記載の移動情報生成装置。
【請求項4】
前記位置検出手段は、前記移動対象の画像を少なくとも2つ取得し、これらの画像に基づいて前記移動対象の位置を検出する
ことを特徴とする請求項1乃至3の何れか1項に記載の移動情報生成装置。
【請求項5】
前記位置検出手段は、前記移動対象に発射して前記移動対象から反射したレーザに基づいて前記移動対象の位置を検出する
ことを特徴とする請求項1乃至3の何れか1項に記載の移動情報生成装置。
【請求項6】
前記移動対象が移動する領域を記憶する領域記憶手段と、
少なくとも前記移動対象の位置および向きを前記領域に関連付ける関連付け手段と
をさらに備えることを特徴とする請求項1乃至5の何れか1項に記載の移動情報生成装置。
【請求項7】
移動対象を識別する識別情報を取得する識別情報取得ステップと、
前記移動対象の位置を検出する位置検出ステップと、
前記移動対象の顔の向きを検出する向検出ステップと、
前記移動対象の識別情報、位置および向きを対応付けて出力する出力ステップとを有する移動情報取得方法であって、
前記向検出ステップは、前記移動対象の少なくとも顔を含む画像を取得し、この画像を認識することにより前記移動対象の向きを検出する
ことを特徴とする移動情報取得方法。
【請求項8】
コンピュータに、
移動対象を識別する識別情報を取得する識別情報取得ステップと、
前記移動対象の位置を検出する位置検出ステップと、
前記移動対象の顔の向きを検出する向検出ステップと、
前記移動対象の識別情報、位置および向きを対応付けて出力する出力ステップとを実行させるプログラムであって、
前記向検出ステップは、前記移動対象の少なくとも顔を含む画像を取得し、この画像を認識することにより前記移動対象の向きを検出する
ことを特徴とするプログラム。
【請求項9】
請求項8記載のプログラムを記憶した記憶媒体。
【請求項1】
移動対象に一意に割り当てられた識別情報を取得する識別情報取得手段と、
前記移動対象の位置を検出する位置検出手段と、
前記移動対象の顔の向きを検出する向検出手段と、
前記移動対象の識別情報、位置および向きを対応付けて出力する出力手段とを備えた移動情報生成装置であって、
前記向検出手段は、前記移動対象の少なくとも顔を含む画像を取得し、この画像を認識することにより前記移動対象の向きを検出する
ことを特徴とする移動情報生成装置。
【請求項2】
複数の方向から見た顔の画像からなるパターン情報を記憶するパターン情報記憶手段をさらに備え、
前記向検出手段は、前記画像に含まれる顔と、前記パターン情報とを比較することにより向きを検出する
ことを特徴とする請求項1記載の移動情報生成装置。
【請求項3】
前記識別情報取得手段は、前記移動対象が有する記録媒体から読み出された情報に基づいて前記識別情報を生成する
ことを特徴とする請求項1または2記載の移動情報生成装置。
【請求項4】
前記位置検出手段は、前記移動対象の画像を少なくとも2つ取得し、これらの画像に基づいて前記移動対象の位置を検出する
ことを特徴とする請求項1乃至3の何れか1項に記載の移動情報生成装置。
【請求項5】
前記位置検出手段は、前記移動対象に発射して前記移動対象から反射したレーザに基づいて前記移動対象の位置を検出する
ことを特徴とする請求項1乃至3の何れか1項に記載の移動情報生成装置。
【請求項6】
前記移動対象が移動する領域を記憶する領域記憶手段と、
少なくとも前記移動対象の位置および向きを前記領域に関連付ける関連付け手段と
をさらに備えることを特徴とする請求項1乃至5の何れか1項に記載の移動情報生成装置。
【請求項7】
移動対象を識別する識別情報を取得する識別情報取得ステップと、
前記移動対象の位置を検出する位置検出ステップと、
前記移動対象の顔の向きを検出する向検出ステップと、
前記移動対象の識別情報、位置および向きを対応付けて出力する出力ステップとを有する移動情報取得方法であって、
前記向検出ステップは、前記移動対象の少なくとも顔を含む画像を取得し、この画像を認識することにより前記移動対象の向きを検出する
ことを特徴とする移動情報取得方法。
【請求項8】
コンピュータに、
移動対象を識別する識別情報を取得する識別情報取得ステップと、
前記移動対象の位置を検出する位置検出ステップと、
前記移動対象の顔の向きを検出する向検出ステップと、
前記移動対象の識別情報、位置および向きを対応付けて出力する出力ステップとを実行させるプログラムであって、
前記向検出ステップは、前記移動対象の少なくとも顔を含む画像を取得し、この画像を認識することにより前記移動対象の向きを検出する
ことを特徴とするプログラム。
【請求項9】
請求項8記載のプログラムを記憶した記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2007−3448(P2007−3448A)
【公開日】平成19年1月11日(2007.1.11)
【国際特許分類】
【出願番号】特願2005−186254(P2005−186254)
【出願日】平成17年6月27日(2005.6.27)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
【公開日】平成19年1月11日(2007.1.11)
【国際特許分類】
【出願日】平成17年6月27日(2005.6.27)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
[ Back to top ]