説明

動線編集方法及び装置並びに動線編集プログラム

【課題】複数の動線認識装置でそれぞれ認識される動線のなかから同一移動体に対する動線を精度よく連結できる動線編集装置を提供する。
【解決手段】動線編集装置10は、第1の動線データベース15から第1の監視領域と第2の監視領域とが重なり合った重複領域を終点とする動線データを連結元動線データとして抽出し、第2の動線データベース25から重複領域を始点とする動線データを連結先動線データとして抽出する。連結元動線データの重複領域内の軌跡と連結先動線データの重複領域内の軌跡とを比較し、重複領域内の軌跡が近似する連結元動線データと連結先動線データとを連結して、連結元動線データの始点から連結先動線データの終点までの連結動線データを生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば店舗内を移動する買物客の軌跡を示す動線データの編集技術に関する。
【背景技術】
【0002】
スーパーマーケット,コンビニエンスストア等の店舗内を移動する買物客の軌跡を動線として認識する動線認識装置には、カメラを用いた画像処理方式や無線タグリーダを用いた無線タグ追跡方式等がある。画像処理方式の場合、現状の画像処理技術では、各カメラで監視領域の全エリアを死角なく撮影したとしても、一人の買物客の監視領域全域の動きを1つの動線として追跡することはきわめて困難である。例えば、他の買物客とすれ違った際に動線が途切れたり、動線が入れ替わったりする場合が考えられる。
【0003】
例えば特許文献1には、画像処理方式の動線認識装置により生成された複数の動線データの中から同一客に対する動線データを選択し、それぞれを連結して1本の動線データを生成する動線編集装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、動線認識に必要な情報処理はコンピュータを用いて行うが、その情報処理には大きな負荷を要するため、1台のコンピュータに接続可能なカメラや無線タグリーダの台数には限りがある。このため、単一の動線認識装置で動線を認識可能な監視領域の広さには自ずと限界がある。そこで、複数の動線認識装置で認識された動線の中から同一移動体に対する動線を連結する技術が求められている。
【0005】
本発明はこのような事情に基づいてなされたもので、その目的とするところは、複数の動線認識装置でそれぞれ認識される動線のなかから同一移動体に対する動線を精度よく連結することができ、広域な領域全体を補っての動線認識を可能ならしめる動線編集方法及び装置並びにプログラムを提供しようとするものである。
【課題を解決するための手段】
【0006】
本発明は、第1の監視領域内を移動する移動体毎にその移動体が第1の監視領域に進入した地点である始点から第1の監視領域から退出した地点である終点までの第1の監視領域内での軌跡を示す動線データを記憶するための第1の動線データベースに記憶された各移動体の動線データと、第1の監視領域に隣接しかつ第1の監視領域との境界が第1の監視領域と重なり合った第2の監視領域内を移動する移動体毎にその移動体が第2の監視領域に進入した地点である始点から第2の監視領域から退出した地点である終点までの第2の監視領域内での軌跡を示す動線データを記憶するための第2の動線データベースに記憶された各移動体の動線データとのなかから、同一移動体の動線データを連結するものであって、第1の動線データベースから第1の監視領域と第2の監視領域とが重なり合った重複領域を終点とする動線データを連結元動線データとして抽出するとともに、第2の動線データベースから重複領域を始点とする動線データを連結先動線データとして抽出し、連結元動線データの重複領域内の軌跡と連結先動線データの重複領域内の軌跡とを比較し、重複領域内の軌跡が近似する連結元動線データと連結先動線データとを連結して、連結元動線データの始点から連結先動線データの終点までの連結動線データを生成するようにしたものである。
【発明の効果】
【0007】
かかる手段を講じた本発明によれば、複数の動線認識装置でそれぞれ認識される動線のなかから同一移動体に対する動線を精度よく連結することができ、広域な領域全体を補っての動線認識を可能ならしめる効果を奏する。
【図面の簡単な説明】
【0008】
【図1】本発明に係る一実施形態のシステム構成を示すブロック図。
【図2】同実施形態において適用される監視領域の概念図。
【図3】同実施形態において処理されるフレーム画像データの構造図。
【図4】同実施形態において処理される動線データの構造図。
【図5】同実施形態の動線編集装置において動線編集プログラムが起動したときに制御部が実行するメイン処理の手順を示す流れ図。
【図6】メイン処理の中の動線データ収集処理の手順を示す流れ図。
【図7】メイン処理の中の動線連結処理の手順を示す流れ図。
【図8】動線連結処理の中の同定処理の手順を示す流れ図。
【図9】図2に示す監視領域内で認識される動線の例を示す図。
【図10】監視領域の他の実施形態を示す概念図。
【図11】監視領域のさらに別の実施形態を示す概念図。
【発明を実施するための形態】
【0009】
以下、本発明に係る一実施形態を、図面を用いて説明する。
なお、この実施形態は、スーパーマーケット等の店舗内を移動する移動体である買物客を追跡し、その軌跡を動線として認識するシステムに本発明を提供しようとするものである。
【0010】
図1は、本実施形態のシステム構成を示すブロック図である。本システムは、第1の動線認識装置10と、第2の動線認識装置20と、動線編集装置30とを備えている。
【0011】
第1の動線認識装置10と第2の動線認識装置20は、いずれもカメラを用いた画像処理方式のもので、監視領域を異にする以外は同一構成である。すなわち、第1の動線認識装置10は、図2に示す店内領域の模式図において、図中一点鎖線で囲う矩形の領域を監視領域(以下、第1の監視領域40と称する)としており、第2の動線認識装置20は、図中二点鎖線で囲う矩形の領域を監視領域(以下、第2の監視領域50と称する)としている。第1の監視領域40及び第2の監視領域50には、それぞれ店内への出入口41,51が含まれている。
【0012】
第2の監視領域50は第1の監視領域40と隣接している。そして、第2の監視領域50の第1の監視領域40との境界線50Lが第1の監視領域40内に位置するように、つまりは第1の監視領域40の第2の監視領域50との境界線40Lが第2の監視領域50内に位置するように、第1の監視領域40と第2の監視領域50とは、隣り合う境界領域において互いに重なり合っている。この境界線50Lと境界線40Lとで挟まれた長方形の領域(図2においてハッチングで示す)を重複領域60と称する。
【0013】
ここで、説明の便宜上、店内領域の図中左下角のポイントOを店舗内二次元座標(X,Y)の原点(0,0)とする。そして、重複領域60の図中左下角のポイントP1を二次元座標(X1,Y1)で表わし、図中左上角のポイントP2を二次元座標(X1,Y2)で表わし、図中右下角のポイントP3を二次元座標(X2,Y1)で表わし、図中右上角のポイントP4を二次元座標(X2,Y2)で表わす。
【0014】
第1の監視領域40及び第2の監視領域50には、それぞれ複数台のカメラ11、21が分散して配置されている。各カメラ11,21は、魚眼レンズを用いたカメラや全方位ミラー付のカメラ等の広角レンズカメラである。これらのカメラ11,21は、視体積交差法により、それぞれ対応する監視領域40,50内を移動する買物客の軌跡、すなわち人物動線を追跡するために用いられる。視体積交差法は、例えば客の頭部を複数の方向から撮影し、各画像の頭部の位置から頭部の店内空間に適宜設置された3次元座標系内の座標値を算出する方法である。1つの監視領域に配置されるカメラの台数は特に制限されないが、視体積交差法による位置検出精度を高めるためには少なくとも3台は必要である。
【0015】
第1の監視領域40に配置された各カメラ11は、第1の動線認識装置10が備えるカメラコントロール部12の一元制御により一定の周期(例えば1/15秒)で撮影動作を繰り返し、その撮影画像(フレーム画像)を第1の動線認識装置10に送信する。第1の動線認識装置10は、カメラコントロール部12の他、カメラ画像データベース13、動線生成部14及び動線データベース15を備えており、各カメラ11で撮影されたフレーム画像データをカメラ画像データベース13に順次蓄積する。
【0016】
同様に、第2の監視領域50に配置された各カメラ21は、第2の動線認識装置20が備えるカメラコントロール部22の一元制御により前記カメラ11と同一の周期(例えば1/15秒)で撮影動作を繰り返し、その撮影画像(フレーム画像)を第2の動線認識装置20に送信する。第2の動線認識装置20は、カメラコントロール部22の他、カメラ画像データベース23、動線生成部24及び動線データベース25を備えており、各カメラ21で撮影されたフレーム画像データをカメラ画像データベース23に順次蓄積する。
【0017】
カメラ画像データベース13及びカメラ画像データベース23に蓄積されるフレーム画像データの構造を、図3の模式図で示す。図示するように、フレーム画像データは、カメラID、フレーム番号及び撮影時刻が紐付けされて、カメラ画像データベース13及びカメラ画像データベース23に記憶される。カメラIDは、当該画像データを撮影したカメラ11またはカメラ21の識別コードである。各カメラ11及びカメラ21には、それぞれ固有のカメラIDが予め設定されている。フレーム番号は、各カメラ11及びカメラ21でフレーム画像が撮影される毎にカウントアップされる“1”からの連続番号である。カメラコントロール部12の制御により、各カメラ11のフレーム番号は同期している。同じく、カメラコントロール部22の制御により、各カメラ21のフレーム番号は同期している。撮影日時は、当該画像データが撮影された時点の日時(年月日時分秒)である。
【0018】
動線生成部14は、カメラ画像データベース13に蓄積されたフレーム画像データの画像処理により第1の監視領域40内を移動する買物客を認識し、この買物客が第1の監視領域40に進入した地点である始点から第1の監視領域40から退出した地点である終点までの第1の監視領域40内での軌跡を示す動線データを作成する。動線生成部24は、カメラ画像データベース23に蓄積されたフレーム画像データの画像処理により第2の監視領域50内を移動する買物客を認識し、この買物客が第2の監視領域50に進入した地点である始点から第2の監視領域50から退出した地点である終点までの第2の監視領域50内での軌跡を示す動線データを作成する。動線生成部14及び動線生成部24は、例えば前記特許文献1に記載された技術により、複数に途切れた同一買物客の動線を1本の動線に連結する機能を有している。
【0019】
動線生成部14により買物客毎に生成される前記始点から終点までの動線データは、動線データベース15に順次蓄積される。同じく、動線生成部24により買物客毎に生成される前記始点から終点までの動線データは、動線データベース25に順次蓄積される。
【0020】
動線データベース15及び動線データベース25に蓄積される動線データの構造を、図4の模式図で示す。図示するように、動線データは、動線IDが紐付けられて、動線データベース15に記憶される。動線IDは、当該動線データを個々に特定するための動線特定情報である。動線生成部14及び動線生成部24は、買物客1名の動線データを生成する毎に、その動線データに固有の動線IDを付して、動線データベース15または動線データベース25に格納する。
【0021】
動線データは、始点フレーム“1”のフレーム番号、及び終点フレーム“n”(n>1の整数)のフレーム番号と、始点フレーム“1”から終点フレーム“n”までのフレーム毎のインデックスデータとから構成されている。インデックスデータは、少なくとも店内の三次元座標(X,Y,H)とフレーム撮影時刻Tとを含む。始点フレーム“1”番号は、当該動線データの買物客が最初に認識されたフレーム画像のフレーム番号であり、このフレーム画像の撮影時刻が始点フレーム“1”に対するインデックスデータのフレーム撮影時刻Tとなる。終点フレーム”n”番号は、当該買物客が最後に認識されたフレーム画像のフレーム番号であり、このフレーム画像の撮影時刻が終点フレーム“n”に対するインデックスデータのフレーム撮影時刻Tとなる。フレーム番号毎の店内座標は、対応するフレーム番号のフレーム画像から認識された当該顧客の位置を、三次元の世界座標系(X,Y,H)で特定したものである。本実施の形態では、図2において、左下の角をX軸及びY軸の原点O(0,0)とし、その床面をH(Height)軸の原点としている。
【0022】
さらに、各動線データには、それぞれその動線の属性を示す情報が付加されている。この属性情報については後述する。
【0023】
動線編集装置30は、第1の動線認識装置10で認識された動線と第2の動線認識装置20で認識された動線との中から同一買物客に対する動線を連結する機能を有するもので、入力部31、表示部32、通信部33、プログラム記憶部34、データ記憶部35、ファイル記憶部36及び制御部37を備えている。入力部31は、キーボード,マウス等の入力デバイスからなる。表示部32は、液晶ディスプレイ,CRTディスプレイ等の表示デバイスからなる。タッチパネル付のディスプレイを用いることで、入力部と表示部を兼用してもよい。
【0024】
通信部33は、第1の動線認識装置10及び第2の動線認識装置20とのインターフェイス機能を有する。プログラム記憶部34は、ROM(Read Only Memory)で構成されている。データ記憶部35は、RAM(Random Access Memory)で構成されている。ファイル記憶部36は、ハードディスクや光磁気ディスク等の記録媒体で構成されている。制御部37は、CPU(Central Processing Unit)を主体に構成されている。かかる構成の動線編集装置30は、パーソナルコンピュータ等のコンピュータ機器によって実現される。
【0025】
動線編集装置30は、通信部33を介して動線認識装置10及び動線認識装置20にそれぞれアクセスし、第1の動線認識装置10及び第2の動線認識装置20がそれぞれ備える動線データベース15及び動線データベース25を検索して動線データを取り込むことができる。
【0026】
動線編集装置30のプログラム記憶部34には、第1の動線認識装置10によって認識された第1監視領域40内の買物客に対する動線データと、第2の動線認識装置20によって認識された第2の監視領域50内の買物客に対する動線データとの中から、第1の監視領域40と第2の監視領域50との間を行き来した同一買物客の動線データを連結して完全動線データを生成するプログラム、いわゆる動線編集プログラムが実装されている。このプログラムが起動されると、制御部37は、図5の流れ図に示す手順のメイン処理を実行する。
【0027】
先ず、制御部37は、第1の動線認識装置10に対する動線データ収集処理を実行する(ST11:第1の検索手段)。そして、この動線データの収集処理が終了すると(ST12のYES)、第2の動線認識装置20に対する動線データ収集処理を実行する(ST13:第2の検索手段)。なお、先に第2の動線認識装置20に対する動線データ収集処理を実行し、後から第1の動線認識装置10に対する動線データ収集処理を実行してもよい。
【0028】
第1の動線認識装置10に対する動線データ収集処理と、第2の動線認識装置20に対する動線データ収集処理の各手順は、アクセスの対象となる動線データベースが、第1の動線認識装置10に対する動線データ収集処理については動線データベース15であり、第2の動線認識装置20に対する動線データ収集処理については動線データベース25である点を除けば同一である。そこで、ここでは第1の動線認識装置10に対する動線データ収集処理を代表し、その処理手順を、図6の流れ図を用いて説明する。
【0029】
第1の動線認識装置10に対する動線データ収集処理に入ると、制御部37は、動線データベース15を検索する(ST21)。そして、動線データベース15に未処理の動線データが記憶されているか否かを判断する(ST22)。
【0030】
例えば制御部37は、前回の動線データ収集処理において、動線データベース15から最後に収集した動線データの終点フレーム“n”に対するインデックスデータのフレーム撮影時刻を、データ記憶部35で記憶する。そして、このデータ記憶部35で記憶した時刻と、動線データベース15に記憶されている動線データの始点フレーム“1”に対するインデックスデータのフレーム撮影時刻とを比較し、始点フレーム“1”に対するインデックスデータのフレーム撮影時刻がデータ記憶部35で記憶した時刻よりも後であれば、未処理の動線データ有りと判断する。未処理の動線データが存在しない場合は(ST22のNO)、メイン処理に戻る。
【0031】
未処理の動線データがあると(ST22のYES)、制御部37は、動線データベース15からその未処理の動線データを一括して収集し、データ記憶部35に一時記憶する(ST23)。
【0032】
次に、動線データベース15から収集した全ての動線データの属性情報を、収集先が第1の動線認識装置10の動線データベース15であることを識別するための情報、例えば“A”に変更する(ST24)。なお、第2の動線認識装置20に対する動線データ収集処理では、このステップST24において、収集先が第2の動線認識装置20の動線データベース15であることを識別するための情報、例えば“B”に変更する。
【0033】
次に、制御部37は、動線データベース15から収集した全ての動線データについて、それぞれ始点フレーム“1”に対するインデックスデータの店内三次元座標(X,Y,H)を検出する(ST25)。そして、この店内三次元座標(X,Y,H)によって示される始点の位置が、重複領域60内であるか否かを判断する(ST26)。
【0034】
前述したように、重複領域60は、ポイントP1(X1,Y1),P2(X1,Y2),P3(X2,Y1),P4(X2,Y2)を角とする矩形の領域である。したがって、始点フレーム“1”に対するインデックスデータの店内三次元座標(X,Y,H)のうち、X座標がX1〜X2でかつY座標がY1〜Y2の範囲内の動線データであれば、重複領域60を始点とする動線データである。
【0035】
重複領域60内を始点とする動線データが検出されると(ST26のYES)、制御部37は、その動線データの属性情報に、始点が重複領域60にあることを識別するための情報、例えば“St”を追加する(ST27)。
【0036】
次に、制御部37は、動線データベース15から収集した全ての動線データについて、それぞれ終点フレーム“n”に対するインデックスデータの店内三次元座標(X,Y,H)を検出する(ST28)。そして、この店内三次元座標(X,Y,H)によって示される終点の位置が、重複領域60内であるか否かを判断する(ST29)。この場合も、ST26と同様に、終点フレーム“n”に対するインデックスデータの店内三次元座標(X,Y,H)のうち、X座標がX1〜X2でかつY座標がY1〜Y2の範囲内の動線データであれば、重複領域60内の動線データとして検出する。
【0037】
重複領域60内の動線データが検出されると(ST29のYES)、制御部37は、その動線データの属性情報に、終点が重複領域60にあることを識別するための情報、例えば“Te”を追加する(ST30)。
【0038】
動線データベース15から収集した全ての動線データについて、上記ST24〜ST30の処理を実行したならば、制御部37は、これらの動線データをファイル記憶部36の編集ファイルに保存する(ST31)。以上で、メイン処理に戻る。
【0039】
したがって、ST11の動線データ編集処理が実行されることにより、編集ファイルには、属性情報が“A”の動線データD1と、属性情報が“ASt”の動線データD2と、属性情報が“ATe”の動線データD3と、属性情報が“AStTe”の動線データD4とが保存される。同様に、ST13の動線データ編集処理が実行されることにより、編集ファイルには、属性情報が“B”の動線データD5と、属性情報が“BSt”の動線データD6と、属性情報が“BTe”の動線データD7と、属性情報が“BStTe”の動線データD8とが保存される。
【0040】
動線データD1は、図9の動線d1に示すように、第1の監視領域40側の出入口41から入店し、第1の監視領域40の境界線40Lより第2の監視領域50側に入ることなく同出入口41から退店した買物客のデータである。動線データD2は、図9の動線d2に示すように、第2の監視領域50から境界線40Lを経て第1の監視領域40に入り、その後は境界線40Lより第2の監視領域50側に戻ることなく出入口41から出店した買物客のデータである。動線データD3は、図9の動線d3に示すように、第1の監視領域40側の出入口41から入店し、重複領域60を経て境界線40Lより第2の監視領域50に入った買物客のデータである。動線データD4は、図9の動線d4に示すように、第2の監視領域50から境界線40Lを経て第1の監視領域40に入り、その後、再び境界線40Lより第2の監視領域50側に戻った買物客のデータである。
【0041】
動線データD5は、図9の動線d5に示すように、第2の監視領域50側の出入口51から入店し、第2の監視領域50の境界線50Lより第1の監視領域40側に入ることなく同出入口51から退店した買物客のデータである。動線データD6は、図9の動線d6に示すように、第1の監視領域40から境界線50Lを経て第2の監視領域50に入り、その後は境界線50Lより第1の監視領域40側に戻ることなく出入口51から出店した買物客のデータである。動線データD7は、図9の動線d7に示すように、第2の監視領域50側の出入口51から入店し、重複領域60を経て境界線50Lより第1の監視領域40に入った買物客のデータである。動線データD8は、図9の動線d8に示すように、第1の監視領域40から境界線50Lを経て第2の監視領域50に入り、その後、再び境界線50Lより第1の監視領域40側に戻った買物客のデータである。
【0042】
第2の動線認識装置20に対する動線データ収集処理が終了すると(ST14のYES)、制御部37は、第1の動線編集装置10から収集した動線データと第2の動線認識装置20から収集した動線データとの中に連結が必要な動線データが含まれているか否かを判断する(ST15)。この判断処理は、編集ファイルに保存した動線データの属性情報に基づいて行う。すなわち、属性情報に“St”を含む動線データD2,D4,D6及びD8または“Te”を含む動線データD3,D4,D7及びD8は、重複領域60を経て一方の監視領域から他方の監視領域に移動した買物客のデータであり、連結が必要である。連結が必要な動線データが含まれていない場合、すなわち、編集ファイルに保存された動線データの属性情報が全て“A”のみまたは“B”のみの場合には(ST15のNO)、制御部37は、編集ファイル内の全ての動線データを完全動線データとして、ファイル記憶部36の完全動線ファイルに保存する(ST18)。
【0043】
これに対し、連結が必要な動線データが含まれている場合には(ST15のYES)、制御部37は、図7に具体的に示す処理手順の動線連結処理を実行する(ST16)。すなわち制御部37は、編集ファイルから動線データを順次読み出す(ST41)。そして、動線データを読み出す毎に、ST42以降の処理を実行する。
【0044】
ST42では、動線データの属性情報を判別する。属性情報に“Te”が含まれていない場合、終点が重複領域60以外の領域、通常はいずれかの出入口41または51にある動線d1,動線d2,動線d5または動線d6のデータである。このような動線には、その先に連結すべき他の動線が存在しない。これに対し、属性情報に“Te”が含まれている場合、終点が重複領域60内にある動線、例えば動線d3,動線d4,動線d7または動線d8のデータである。このような動線には、その先に連結すべき他の動線が存在する。
【0045】
属性情報に“Te”が含まれていない動線データを読み出した場合には(ST42のNO)、ST43以降の処理は実行しない。これに対し、属性情報に“Te”が含まれた動線データを読み出した場合には(ST42のYES)、制御部37は、ST43としてこの動線データを連結元動線データとして抽出する(連結元動線抽出手段)。
【0046】
連結元動線データが抽出されると、制御部37は、この連結元動線データが、重複領域60を経て第2の監視領域50に進入した動線d3または動線d4のデータD3またはD4であるか、第1の監視領域40に進入した動線d7または動線d8のデータD7またはD8であるかを判断する(ST44)。属性情報に“A”が含まれる連結元動線データは、重複領域60を経て第2の監視領域50に進入した動線d3または動線d4のデータD3またはD4である。属性情報に“B”が含まれる連結元動線データは、重複領域60を経て第1の監視領域40に進入した動線d7または動線d8のデータD7またはD8である。
【0047】
連結元動線データが、重複領域60を経て第2の監視領域50に進入した動線d3または動線d4のデータD3またはD4の場合(ST44の「第1→第2」)、制御部37は、編集ファイルから属性情報が“BSt”または“BStTe”の動線データを検索する。前述したように、属性情報が“BSt”の動線データは、第1の監視領域40から境界線50Lを経て第2の監視領域50に入り、その後は境界線50Lより第1の監視領域40側に戻ることなく出入口51から出店した買物客の動線d6に対応したデータD6である。属性情報が“BStTe”の動線データは、第1の監視領域40から境界線50Lを経て第2の監視領域50に入り、その後、再び境界線50Lより第1の監視領域40側に戻った買物客の動線d8に対応したデータD8である。
【0048】
編集ファイルから属性情報が“BSt”または“BStTe”の動線データD6またはD8を検出できない場合(ST46のNO)、制御部46は、ST41に戻り、編集ファイルから次の動線データを読み出す。
【0049】
編集ファイルから属性情報が“BSt”または“BStTe”の動線データD6またはD8を検出したならば(ST46のYES)、制御部37はこの検出した動線データD6またはD8を連結先動線データとして抽出する(連結先動線抽出手段)。
【0050】
こうして、連結元動線データと連結先動線データとが抽出されると、制御部37は、連結元動線データによって移動経路が追跡されている買物客と連結先動線データによって移動経路が追跡されている買物客とが同一人物であるか否かを判定するための同定処理を実行する(ST48)。この同定処理の手順は、図8の流れ図によって示される。
【0051】
先ず、制御部37は、連結元動線データを解析して、終点フレーム“n”より所定数k(kは2以上の整数)前のフレーム“n−k”から終点フレーム“n”までの各インデックスデータ(X,Y,H,T)を選択する(ST61)。そして、この選択したk個のインデックスデータを、フレーム撮影時刻Tの早い順に、データ記憶部35の第1インデックスメモリに格納する(ST62)。
【0052】
次に、制御部37は、連結先動線データを解析して、始点フレーム“1”から該始点フレーム“1”より所定数k後のフレーム“1+k”までの各インデックスデータ(X,Y,H,T)を選択する(ST63)。そして、この選択したk個のインデックスデータを、フレーム撮影時刻Tの早い順に、データ記憶部35の第2インデックスメモリに格納する(ST64)。
【0053】
しかる後、制御部37は、第1インデックスメモリ内のk個のインデックスデータと第2インデックスメモリ内のk個のインデックスデータとを比較して(ST65)、両インデックスデータによってそれぞれ特定される2本の動線の軌跡が近似しているか否かを判断する(ST66:軌跡比較手段)。
【0054】
この判断は、例えばフレーム撮影時刻Tの秒単位までが一致するインデックスデータ同士を照合し、三次元座標(X,Y,H)によって特定される各ポイントのずれ量を算出して、このずれ量が所定の近似度判定しきい値より小さいか否かを判断する。そして、小さい場合、近似しているとみなす。それ以外は、近似していないとみなす。
【0055】
近似していない場合(ST66のNO)、制御部37は、データ記憶部35にて記憶する連結実行フラグを、未実行の状態を示す“0”に設定する(ST67)。
【0056】
一方、近似している場合(ST66のYES)、制御部37は、連結元動線データの属性情報から“Te”を削除する(ST68)。また、連結先動線データの属性情報から“St”を削除する(ST69)。しかる後、連結元動線データに連結先動線データを連結する(ST70:動線連結手段)。
【0057】
具体的には、連結元動線データの終点フレームn番号を連結先動線データの終点フレームn番号に書き換える。また、連結元動線データの終点フレームnのインデックスデータの後に、連結先動線データのフレーム“1+k”より後のフレームインデックスデータを順次追加する。さらに、連結元動線データの属性情報に連結先動線データの属性情報を追加する。
【0058】
この同定処理により、連結元動線データD3と連結先動線データD6とが近似していた場合、属性情報が“AB”の連結動線データD3+D6が、連結元動線データD3に代わって編集ファイルに記憶される。また、連結元動線データD3と連結先動線データD8とが近似していた場合は、属性情報が“ABTe”の連結動線データD3+D8が、連結元動線データD3に代わって編集ファイルに記憶される。同様に、連結元動線データD4と連結先動線データD6とが近似していた場合は、属性情報が“AStB”の連結動線データD4+D6が、連結元動線データD4に代わって編集ファイルに記憶され、連結元動線データD4と連結先動線データD8とが近似していた場合は、属性情報が“AStBTe”の連結動線データD4+D8が、連結元動線データD4に代わって編集ファイルに記憶される。
【0059】
こうして、連結元動線データに連結先動線データを連結したならば、制御部37は、編集ファイルから連結先動線データを削除する(ST71)。また、前記連結実行フラグを、実行済の状態を示す“1”に設定する(ST72)。
連結実行フラグが“0”または“1”に設定されると、同定処理が終了する。
【0060】
同定処理が終了すると、制御部37は、連結実行フラグの状態から連結が実行されたか否かを判断する(ST49)。連結実行フラグが“0”のとき、すなわち連結処理が実行されていない場合には(ST49のNO)、制御部37は、ST45に戻り、編集ファイルから属性情報が“BSt”または“BStTe”の動線データを再度検索する。これに対し、連結実行フラグが“1”のとき、すなわち連結処理が実行された場合には(ST49のYES)、制御部37は、ST41に戻り、編集ファイルから次の動線データを読み出す。
【0061】
ST44にて、連結元動線データが、重複領域60を経て第1の監視領域40に進入した動線d7またはd8のデータD7またはD8の場合、制御部37は、編集ファイルから属性情報が“ASt”または“AStTe”の動線データを検索する。前述したように、属性情報が“ASt”の動線データは、第2の監視領域50から境界線40Lを経て第1の監視領域40に入り、その後は境界線40Lより第2の監視領域50側に戻ることなく出入口41から出店した買物客の動線d2に対応したデータD2である。属性情報が“AStTe”の動線データは、第2の監視領域50から境界線40Lを経て第1の監視領域40に入り、その後、再び境界線40Lより第2の監視領域50側に戻った買物客の動線d4に対応したデータD4である。
【0062】
編集ファイルから属性情報が“ASt”または“AStTe”の動線データD2またはD4を検出できない場合(ST51のNO)、制御部46は、ST41に戻り、編集ファイルから次の動線データを読み出す。
【0063】
編集ファイルから属性情報が“ASt”または“AStTe”の動線データD2またはD4を検出したならば(ST51のYES)、制御部37はこの検出した動線データD2またはD4を連結先動線データとして抽出する(連結先動線抽出手段)。そして、前述した同定処理を実行する(ST53)。
【0064】
この同定処理により、連結元動線データD7と連結先動線データD2とが近似していた場合、属性情報が“BA”の連結動線データD7+D2が、連結元動線データD7に代わって編集ファイルに記憶される。また、連結元動線データD7と連結先動線データD4とが近似していた場合は、属性情報が“BATe”の連結動線データD7+D4が、連結元動線データD7に代わって編集ファイルに記憶される。同様に、連結元動線データD8と連結先動線データD2とが近似していた場合は、属性情報が“BStA”の連結動線データD8+D2が、連結元動線データD8に代わって編集ファイルに記憶され、連結元動線データD8と連結先動線データD4とが近似していた場合は、属性情報が“BStATe”の連結動線データD8+D4が、連結元動線データD8に代わって編集ファイルに記憶される。
【0065】
同定処理が終了すると、制御部37は、連結実行フラグの状態から連結が実行されたか否かを判断する(ST54)。連結処理が実行されていない場合には(ST54のNO)、ST50に戻り、連結処理が実行された場合には(ST54のYES)、ST41に戻る。
【0066】
こうして、編集ファイルの動線データを順次読み出して、ST42以降の処理を実行し、次のデータがないことを確認したならば(ST55のNO)、制御部37は、メイン処理に戻る。
【0067】
メイン処理において、ST16の動線連結処理が終了すると、制御部37は、連結が完了したか否かを判断する(ST17)。編集ファイルの中に属性情報“Te”を含む動線データが残っている場合は、連結が完了していない。
【0068】
例えば、前回の動線連結処理において、連結元動線データD3と連結先動線データD8とが連結されて、属性情報“ABTe”の連結動線データD3+D8が編集ファイルに残った場合、終点が重複領域60内にある動線のデータであるので、連結元動線データとなり得る。連結元動線データD4と連結先動線データD8とが連結されて、属性情報“AStBTe”の連結動線データD4+D8が残った場合や、連結元動線データD7と連結先動線データD4とを連結されて属性情報“BATe”の連結動線データD7+D4が残った場合、あるいは連結元動線データD8と連結先動線データD4とが連結されて、属性情報“BStATe”の連結動線データD8+D4が残った場合も同様である。
【0069】
この場合、制御部37は、この連結動線データを連結元動線データとして、図7及び図8に示した動線連結処理を再度実行する。すなわち、図7のST47またはST52の処理は第2の連結先動線抽出手段を構成し、図8のST65の処理は第2の軌跡比較手段を構成し、図8のST70の処理は第2の動線連結手段を構成する。
【0070】
こうして、動線連結処理を繰返し、編集ファイルから属性情報“Te”を含む動線データがなくなったならば(ST17のYES)、制御部37は、編集ファイルの動線データを完全動線データとして、ファイル記憶部36の完全動線ファイルに保存する(ST18)。
【0071】
このように、本実施形態の動線編集装置30は、第1の動線データベース15に記憶された各買物客の動線データ、すなわち、第1の監視領域40内を移動する買物客毎にその客が第1の監視領域40に進入した地点である始点から第1の監視領域40から退出した地点である終点までの第1の監視領域40内での軌跡を示す動線データと、第2の動線データベース25に記憶された各買物客の動線データ、すなわち第1の監視領域40に隣接しかつ第1の監視領域40との境界が第1の監視領域40と重なり合った第2の監視領域50内を移動する買物客毎にその客が第2の監視領域50に進入した地点である始点から第2の監視領域50から退出した地点である終点までの第2の監視領域50内での軌跡を示す動線データとのなかから、同一買物客の動線データを連結することができる。
【0072】
その手順は、第1の動線データベース15から第1の監視領域40と第2の監視領域50とが重なり合った重複領域60を終点とする動線データを連結元動線データとして抽出するとともに、第2の動線データベース25から上記重複領域60を始点とする動線データを連結先動線データとして抽出し、連結元動線データの重複領域60内の軌跡と連結先動線データの重複領域60内の軌跡とを比較し、重複領域60内の軌跡が近似する連結元動線データと連結先動線データとを連結して、連結元動線データの始点から連結先動線データの終点までの連結動線データを生成するようにしたものである。この手順は、コンピュータを搭載してなる動線編集装置30が、プログラム記憶部34に記憶された動線編集プログラムに従い実行する。
【0073】
このように、第1の監視領域40を対象とする第1の動線認識装置10によって生成された動線データと、第2の監視領域50を対象とする第2の動線認識装置20によって生成された動線データとの中から、重複領域60内の軌跡が近似する動線データ同士を同一買物客の動線データとして連結するようにしたので、本実施形態によれば、広域な領域全体を補っての高精度な動線認識を容易に達成することができる。
【0074】
なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【0075】
例えば、前記一実施形態では、第1の動線認識装置10と第2の動線認識装置20は、いずれもカメラを用いた画像処理方式であるとして説明したが、動線認識装置10,20の方式は、画像処理方式に限定されるものではない。例えば、双方とも無線タグ追跡方式であってもよいし、いずれか一方が画像処理方式で他方が無線タグ追跡方式であってもよい。
【0076】
また、前記一実施形態では、第1の監視領域40内を移動する移動体(買物客)の動線を認識する第1の動線認識装置10と、第2の監視領域50内を移動する移動体(買物客)の動線を認識する第2の動線認識装置20とによりそれぞれ生成された動線データを連結する場合を示したが、例えば図10に示すように、第1の監視領域100に隣接しかつこの第1の監視領域100との境界が第1の監視領域100と重なり合った第2の監視領域200と、この第2の監視領域200に隣接しかつこの第2の監視領域200との境界が第2の監視領域200と重なり合った第3の監視領域300とを設定し、各監視領域100,200,300毎に動線認識装置を構築した場合も、第1の監視領域100を対象とする動線認識装置によって生成された動線データと、第2の監視領域200を対象とする動線認識装置によって生成された動線データとについて、前記実施形態と同様にして連結するとともに、第2の監視領域200を対象とする動線認識装置によって生成された動線データと、第3の監視領域300を対象とする動線認識装置によって生成された動線データとについても前記実施形態と同様にして連結することで、第1の監視領域100から第3の監視領域300までの広域な領域全体を補っての高精度な動線認識を容易に達成できる。
【0077】
また、図11に示すように、第1の監視領域100の一辺に隣接しかつこの第1の監視領域100との境界が第1の監視領域100と重なり合った第2の監視領域200と、前記第1の監視領域100の前記一辺とは異なる他辺に隣接しかつこの第1の監視領域100との境界が第1の監視領域100と重なり合った第3の監視領域300と、一辺が前記第2の監視領域に隣接するとともに他辺が前記第2の監視領域200に隣接しかつこの第3の監視領域300との境界及び第2の監視領域200との境界がそれぞれ第3の監視領域300及び第2の監視領域200と重なり合った第4の監視領域400とを設定し、各監視領域100,200,300,400毎に動線認識装置を構築した場合も、第1と第2、第1と第3、第2と第4及び第3と第4との関係において、前記実施形態の動線連結方法を適用することにより、より広域な領域全体を補っての高精度な動線認識を容易に達成できるようになる。
【0078】
また、本実施の形態では動線編集装置30の内部にあるプログラム記憶部34に、発明を実施する機能である動線編集プログラムが予め記録されている場合で説明をしたが、これに限らず同様の機能をネットワークから動線編集装置30にダウンロードしても良いし、同様の機能を記録媒体に記憶させたものを動線編集装置30にインストールしてもよい。記録媒体としては、CD−ROM等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。
【0079】
この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。
【符号の説明】
【0080】
10…第1の動線認識装置、15…第1の動線データベース、20…第2の動線認識装置、25…第2の動線データベース、30…動線編集装置、40…第1の監視領域、50…第2の監視領域、60…重複領域。
【先行技術文献】
【特許文献】
【0081】
【特許文献1】特開2009−009394号公報

【特許請求の範囲】
【請求項1】
第1の監視領域内を移動する移動体毎にその移動体が前記第1の監視領域に進入した地点である始点から前記第1の監視領域から退出した地点である終点までの前記第1の監視領域内での軌跡を示す動線データを記憶するための第1の動線データベースに記憶された各移動体の動線データと、前記第1の監視領域に隣接しかつ前記第1の監視領域との境界が前記第1の監視領域と重なり合った第2の監視領域内を移動する移動体毎にその移動体が前記第2の監視領域に進入した地点である始点から前記第2の監視領域から退出した地点である終点までの前記第2の監視領域内での軌跡を示す動線データを記憶するための第2の動線データベースに記憶された各移動体の動線データとのなかから、同一移動体の動線データを連結する動線編集方法であって、
前記第1の動線データベースから前記第1の監視領域と前記第2の監視領域とが重なり合った重複領域を終点とする動線データを連結元動線データとして抽出するとともに、
前記第2の動線データベースから前記重複領域を始点とする動線データを連結先動線データとして抽出し、
前記連結元動線データの前記重複領域内の軌跡と前記連結先動線データの前記重複領域内の軌跡とを比較し、
前記重複領域内の軌跡が近似する前記連結元動線データと前記連結先動線データとを連結して、前記連結元動線データの始点から前記連結先動線データの終点までの連結動線データを生成することを特徴とする動線編集方法。
【請求項2】
請求項1記載の動線編集方法において、さらに、
前記連結動線データの終点が前記重複領域内に存在するとき、前記第1の動線データベースから前記重複領域を始点とする動線データを第2の連結先動線データとして抽出し、
前記連結動線データの前記重複領域内の軌跡と、前記第2の連結先動線データの前記重複領域内の軌跡とを比較し、
前記重複領域内の軌跡が近似する前記連結動線データと前記第2の連結先動線データとを連結して、前記連結動線データの始点から前記第2の連結先動線データの終点までの連結動線データを生成することを特徴とする動線編集方法。
【請求項3】
第1の監視領域内を移動する移動体毎にその移動体が前記第1の監視領域に進入した地点である始点から前記第1の監視領域から退出した地点である終点までの前記第1の監視領域内での軌跡を示す動線データを記憶するための第1の動線データベースを検索する第1の検索手段と、
前記第1の監視領域に隣接しかつ前記第1の監視領域との境界が前記第1の監視領域と重なり合った第2の監視領域内を移動する移動体毎にその移動体が前記第2の監視領域に進入した地点である始点から前記第2の監視領域から退出した地点である終点までの前記第2の監視領域内での軌跡を示す動線データを記憶するための第2の動線データベースを検索する第2の検索手段と、
前記第1の検索手段により前記第1の動線データベースから前記第1の監視領域と前記第2の監視領域とが重なり合った重複領域を終点とする動線データを連結元動線データとして抽出する連結元動線抽出手段と、
前記第2の検索手段により前記第2の動線データベースから前記重複領域を始点とする動線データを連結先動線データとして抽出する連結先動線抽出手段と、
前記連結元動線抽出手段により抽出した前記連結元動線データの前記重複領域内の軌跡と、前記連結先動線抽出手段により抽出した前記連結先動線データの前記重複領域内の軌跡とを比較する軌跡比較手段と、
前記軌跡比較手段により前記重複領域内の軌跡が近似する前記連結元動線データと前記連結先動線データとを連結して、前記連結元動線データの始点から前記連結先動線データの終点までの連結動線データを生成する動線連結手段と、
を具備したことを特徴とする動線編集装置。
【請求項4】
前記動線連結手段により生成された連結動線データの終点が前記重複領域内に存在するとき、前記第1の検索手段により前記第1の動線データベースから前記重複領域を始点とする動線データを第2の連結先動線データとして抽出する第2の連結先動線抽出手段と、
前記連結動線データの前記重複領域内の軌跡と、前記第2の連結先動線抽出手段により抽出した前記第2の連結先動線データの前記重複領域内の軌跡とを比較する第2の軌跡比較手段と、
前記第2の軌跡比較手段により前記重複領域内の軌跡が近似する前記連結動線データと前記第2の連結先動線データとを連結して、前記連結動線データの始点から前記第2の連結先動線データの終点までの連結動線データを生成する第2の動線連結手段と、
をさらに具備したことを特徴とする請求項3記載の動線編集装置。
【請求項5】
前記第1の動線データベース及び前記第2の動線データベースのうち少なくとも一方は、監視領域内に配置された複数のカメラで撮影された画像データから生成される動線データを記憶するものであることを特徴とする請求項3または4記載の動線編集装置。
【請求項6】
第1の監視領域内を移動する移動体毎にその移動体が前記第1の監視領域に進入した地点である始点から前記第1の監視領域から退出した地点である終点までの前記第1の監視領域内での軌跡を示す動線データを記憶するための第1の動線データベースと、前記第1の監視領域に隣接しかつ前記第1の監視領域との境界が前記第1の監視領域と重なり合った第2の監視領域内を移動する移動体毎にその移動体が前記第2の監視領域に進入した地点である始点から前記第2の監視領域から退出した地点である終点までの前記第2の監視領域内での軌跡を示す動線データを記憶するための第2の動線データベースとにアクセス可能なコンピュータに、
前記第1の動線データベースを検索する第1の検索機能、
前記第2の動線データベースを検索する第2の検索機能、
前記第1の検索機能により前記第1の動線データベースから前記第1の監視領域と前記第2の監視領域とが重なり合った重複領域を終点とする動線データを連結元動線データとして抽出する連結元動線抽出機能、
前記第2の検索機能により前記第2の動線データベースから前記重複領域を始点とする動線データを連結先動線データとして抽出する連結先動線抽出機能、
前記連結元動線抽出機能により抽出した前記連結元動線データの前記重複領域内の軌跡と、前記連結先動線抽出機能により抽出した前記連結先動線データの前記重複領域内の軌跡とを比較する軌跡比較機能、及び
前記軌跡比較機能により前記重複領域内の軌跡が近似する前記連結元動線データと前記連結先動線データとを連結して、前記連結元動線データの始点から前記連結先動線データの終点までの連結動線データを生成する動線連結機能、
を実現させるための動線編集プログラム。
【請求項7】
前記コンピュータに、
前記動線連結機能により生成された連結動線データの終点が前記重複領域内に存在するとき、前記第1の検索機能により前記第1の動線データベースから前記重複領域を始点とする動線データを第2の連結先動線データとして抽出する第2の連結先動線抽出機能、
前記連結動線データの前記重複領域内の軌跡と、前記第2の連結先動線抽出機能により抽出した前記第2の連結先動線データの前記重複領域内の軌跡とを比較する第2の軌跡比較機能、及び、
前記第2の軌跡比較機能により前記重複領域内の軌跡が近似する前記連結動線データと前記第2の連結先動線データとを連結して、前記連結動線データの始点から前記第2の連結先動線データの終点までの連結動線データを生成する第2の動線連結機能、
をさらに実現させるための請求項6記載の動線編集プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2011−59951(P2011−59951A)
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願番号】特願2009−208408(P2009−208408)
【出願日】平成21年9月9日(2009.9.9)
【出願人】(000003562)東芝テック株式会社 (5,631)
【Fターム(参考)】