動線連結方法,装置及び動線連結プログラム
【課題】複数の動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線を精度よく連結できるようにする。
【解決手段】第1の動線データベースに記憶された各動線データの中から第1の画像監視エリア内に位置する移動体の動線データを選択する。そしてこの動線データに対応する移動体が第1の画像監視エリア内に位置している期間のカメラ画像を表示させる。第2の動線データベースに記憶された各動線データの中から第2の画像監視エリア内に位置する移動体の動線データを選択する。そして、この動線データに対応する移動体が第2の画像監視エリア内に位置している期間のカメラ画像を表示させる。連結宣言を受け付けると、第1の動線データベースから選択された動線データの始点から第2の動線データベースから選択された動線データの終点までの動線データを生成する。
【解決手段】第1の動線データベースに記憶された各動線データの中から第1の画像監視エリア内に位置する移動体の動線データを選択する。そしてこの動線データに対応する移動体が第1の画像監視エリア内に位置している期間のカメラ画像を表示させる。第2の動線データベースに記憶された各動線データの中から第2の画像監視エリア内に位置する移動体の動線データを選択する。そして、この動線データに対応する移動体が第2の画像監視エリア内に位置している期間のカメラ画像を表示させる。連結宣言を受け付けると、第1の動線データベースから選択された動線データの始点から第2の動線データベースから選択された動線データの終点までの動線データを生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば店舗内を移動する買物客の軌跡を示す動線データの連結技術に関する。
【背景技術】
【0002】
スーパーマーケット,コンビニエンスストア等の店舗内を移動する買物客の軌跡を動線として認識する動線認識システムには、カメラを用いた画像処理方式や無線タグリーダを用いた無線タグ追跡方式等がある。画像処理方式の場合、現状の画像処理技術では、各カメラで監視領域の全エリアを死角なく撮影したとしても、一人の買物客の監視領域全域の動きを1つの動線として追跡することはきわめて困難である。例えば、他の買物客とすれ違った際に動線が途切れたり、動線が入れ替わったりする場合が考えられる。
【0003】
特許文献1には、画像処理方式の動線認識システムにより生成された複数の動線データの中から同一客に対する動線データを選択し、それぞれを連結して1本の動線データを生成する動線編集システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、動線認識に必要な情報処理はコンピュータを用いて行うが、その情報処理には大きな負荷を要するため、1台のコンピュータに接続可能なカメラや無線タグリーダの台数には限りがある。このため、単一の動線認識システムで動線を認識可能な監視領域の広さには自ずと限界がある。そこで、複数の動線認識システムで認識された動線の中から同一移動体に対する動線を連結する技術が求められている。
【0005】
本発明はこのような事情に基づいてなされたもので、その目的とするところは、複数の動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線どうしを連結することができ、広域な領域全体を補っての動線認識を可能ならしめる動線連結方法及び装置並びにプログラムを提供しようとするものである。
【課題を解決するための手段】
【0006】
本発明の動線連結方法は、第1の動線認識エリア内を移動する移動体毎にその移動体が第1の動線認識エリアに進入した地点である始点から退出した地点である終点までの第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、第1の動線認識エリアに隣接する第2の動線認識エリア内を移動する移動体毎にその移動体が第2の動線認識エリアに進入した地点である始点から退出した地点である終点までの第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第1の画像データベース、及び、第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能なコンピュータが、第1の動線データベースに記憶された各動線データの中から第1の画像監視エリア内に位置する移動体の動線データを選択し(連結元動線選択段階)、この選択された動線データに対応する移動体が第1の画像監視エリア内に位置している期間のカメラ画像データを前記第1の画像データベースから取得し、その画像を表示部に表示させる(第1のカメラ画像表示段階)。また、コンピュータが、第2の動線データベースに記憶された各動線データの中から第2の画像監視エリア内に位置する移動体の動線データを選択し(連結先動線選択段階)、この選択された動線データに対応する移動体が第2の画像監視エリア内に位置している期間のカメラ画像データを第2の画像データベースから取得し、その画像を表示部に表示させる(第2のカメラ画像表示段階)。そして、コンピュータが、連結元動線選択段階により選択された動線データと連結先動線選択段階により選択された動線データの連結宣言を受け付けると、連結元動線選択段階により選択された動線データの始点から連結先動線選択段階により選択された動線データの終点までの動線データを生成することで、第1の動線データベースに記憶された各移動体の動線データと第2の動線データベースに記憶された各移動体の動線データとのなかから、同一移動体の動線データどうしを連結するようにしたものである。
【0007】
本発明の動線認識装置は、前記第1,第2の動線データベース及び第1,第2の画像データベースにアクセス可能で、第1の動線データベースに記憶された各動線データの中から第1の画像監視エリア内に位置する移動体の動線データを選択する連結元動線選択手段と、この連結元動線選択手段により選択された動線データに対応する移動体が第1の画像監視エリア内に位置している期間のカメラ画像データを第1の画像データベースから取得し、その画像を表示部に表示させる第1のカメラ画像表示手段と、第2の動線データベースに記憶された各動線データの中から第2の画像監視エリア内に位置する移動体の動線データを選択する連結先動線選択手段と、この連結先動線選択手段により選択された動線データに対応する移動体が第2の画像監視エリア内に位置している期間のカメラ画像データを第2の画像データベースから取得し、その画像を表示部に表示させる第2のカメラ画像表示手段と、連結元動線選択手段により選択された動線データと連結先動線選択手段により選択された動線データの連結宣言を受け付ける連結宣言受付手段と、連結宣言を受付けると、連結元動線選択手段により選択された動線データの始点から連結先動線選択手段により選択された動線データの終点までの動線データを生成する動線連結手段とを備えたものである。
【0008】
本発明の動線認識プロクラムは、前記第1,第2の動線データベース及び第1,第2の画像データベースにアクセス可能なコンピュータに、第1の動線データベースに記憶された各動線データの中から第1の画像監視エリア内に位置する移動体の動線データを選択させる連結元動線選択機能と、この連結元動線選択機能により選択された動線データに対応する移動体が第1の画像監視エリア内に位置している期間のカメラ画像データを第1の画像データベースから取得し、その画像を表示部に表示させる第1のカメラ画像表示機能と、第2の動線データベースに記憶された各動線データの中から第2の画像監視エリア内に位置する移動体の動線データを選択させる連結先動線選択機能と、この連結先動線選択機能により選択された動線データに対応する移動体が第2の画像監視エリア内に位置している期間のカメラ画像データを第2の画像データベースから取得し、その画像を表示部に表示させる第2のカメラ画像表示機能と、連結元動線選択機能により選択された動線データと連結先動線選択機能により選択された動線データの連結宣言を受け付けさせる連結宣言受付機能と、連結宣言を受付けると、連結元動線選択機能により選択された動線データの始点から連結先動線選択機能により選択された動線データの終点までの動線データを生成させる動線連結機能とを実現させるためのものである。
【発明の効果】
【0009】
かかる手段を講じた本発明によれば、複数の動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線どうしを連結することができ、広域な領域全体を補っての動線認識を可能ならしめる効果を奏する。
【図面の簡単な説明】
【0010】
【図1】本発明の一実施形態である動線連結システムの全体構成図。
【図2】同実施形態が適用される店舗の説明図。
【図3】同実施形態において、画像データベースに記憶される画像データの構造を示す模式図。
【図4】同実施形態において、動線データベースに記憶される動線データの構造を示す模式図。
【図5】同実施形態における動線認識装置の要部構成を示すブロック図。
【図6】同実施形態において、動線認識装置の記憶部に形成される連結設定テーブルのデータ例を示す模式図。
【図7】同実施形態において、動線認識装置の記憶部に形成される監視エリア設定テーブルのデータ例を示す模式図。
【図8】同実施形態において、表示される動線連結画面の一レイアウト例を示す平面図。
【図9】同実施形態において、動線認識装置の制御部が動線連結プログラムにしたがって実行する動線連結処理の要部手順を示す流れ図。
【図10】図9における連結元動線選択処理の具体的手順を示す流れ図。
【図11】図9における連結先動線選択処理の具体的手順を示す流れ図。
【図12】図9における連結実行処理の具体的手順を示す流れ図。
【発明を実施するための形態】
【0011】
以下、本発明を実施するための最良の形態について、図面を用いて説明する。
なお、この実施形態は、図2に示すように、互いに隣接して客が行き来できる4つの売場A,売場B,売場C及び売場Dを備えた店舗1に適用した場合である。
【0012】
図2に示すように、売場Aは、売場B及び売場Dと隣接し、売場Bは、売場A及び売場Cと隣接し、売場Cは、売場B及び売場Dと隣接し、売場Dは、売場C及び売場Aと隣接している。そして、隣接する各売場間には、それぞれ客が行き来できるように通路/AB,/BC,/CD,/DAが形成されている。また、売場Aと売場Dとには、客が入退場可能な入退場口G1,G2が設けられている。
【0013】
各売場A〜Dには、それぞれその売場内を移動する移動体である人物(買物客)の軌跡を動線として認識するための動線認識システムSA,SB,SC,SDが構築されている。すなわち、売場Aは動線認識システムSAの動線認識エリアとなっており、売場Bは動線認識システムSBの動線認識エリアとなっており、売場Cは動線認識システムSCの動線認識エリアとなっており、売場Dは動線認識システムSDの動線認識エリアとなっている。動線認識システムSA,SB,SC,SDの方式は、特に限定されるものではない。カメラを用いた画像処理方式や無線タグリーダを用いた無線タグ追跡方式等、既存の方式でよい。
【0014】
本実施形態では、各売場間を連結する各通路/AB,/BC,/CD,/DAをそれぞれ含む領域と、各入退場口G1,G2近傍の領域とを、カメラによる画像監視エリアとしている。すなわち、売場Aと売場Bとの通路/ABを含む領域を画像監視エリアABとし、売場Bと売場Cとの通路/BCを含む領域を画像監視エリアBCとし、売場Cと売場Dとの通路を含む領域/CDを画像監視エリアCDとし、売場Dと売場Aとの通路/DAを含む領域を画像監視エリアDAとしている。また、入退場口G1近傍の領域を画像監視エリアAGとし、入退場口G2近傍の領域を画像監視エリアDGとしている。そして、各画像監視エリアAB,BC,CD,DA,AG及びDG内を移動する買物客を撮影するために、各画像監視エリアAB,BC,CD,DA,AG及びDGに向けてそれぞれカメラcam1,cam2m,cam3,cam4,cam5,cam6(図1を参照)を設置している。
【0015】
因みに、カメラには、防犯カメラなどに用いられる通常レンズを備えたカメラの他に、魚眼レンズを用いたカメラや、全方位ミラー付のカメラ等の広角レンズカメラがある。広角レンズカメラは、通常レンズカメラと比べて歪が大きいため鮮明な画像は期待できないが、画角が広がるため、撮影区域が広い。本実施形態では、画像監視エリア内の全域を撮影可能であれば、鮮明な画像が得られる通常レンズを備えたカメラを適用する。画像監視エリア内の全域を撮影できない場合には、広角レンズカメラを適用する。
【0016】
図1は、本実施形態の店舗1に構築される動線連結システムの全体図である。かかるシステムは、その中枢部として動線連結装置2を備えている。また、各動線認識システムSA,SB,SC,SDにそれぞれ対応した4つの動線データベースa1,a2,a3,a4と、各画像監視エリアAB,BC,CD,DA,AG,DGにそれぞれ対応した6つの画像データベースb1,b2,b3,b4,b5,b6を備えている。
【0017】
動線データベースa1は、動線認識システムSAによって認識される各移動体の動線データ、すなわち、買物客が売場Aに進入した地点である始点から退出した地点である終点までの売場A内での軌跡を示す動線データを蓄積記憶する。買物客は、入退場口G1または通路/AB若しくは通路/DAから売場Aに進入及び退出できる。したがって、動線データベースa1に蓄積される動線データは、次の9種類である。
【0018】
1.入退場口G1から入店し、売場Aだけを回って入退場口G1から退店した買物客のデータ。
【0019】
2.入退場口G1から入店し、通路/ABを通って売場Bに移動した買物客のデータ。
【0020】
3.入退場口G1から入店し、通路/DAを通って売場Dに移動した買物客のデータ。
【0021】
4.売場Bより通路/ABを通って売場Aに入り、再び通路/ABを通って売場Bに戻った買物客のデータ。
【0022】
5.売場Bより通路/ABを通って売場Aに入り、さらに通路/DAを通って売場Dに移動した買物客のデータ。
【0023】
6.売場Bより通路/ABを通って売場Aに入り、入退場口G1から退店した買物客のデータ。
【0024】
7.売場Dより通路/DAを通って売場Aに入り、再び通路/DAを通って売場Dに戻った買物客のデータ。
【0025】
8.売場Dより通路/DAを通って売場Aに入り、さらに通路/ABを通って売場Bに移動した買物客のデータ。
【0026】
9.売場Dより通路/DAを通って売場Aに入り、入退場口G1から退店した買物客のデータ。
【0027】
動線データベースa2は、動線認識システムSBによって認識される各移動体の動線データ、すなわち、買物客が売場Bに進入した地点である始点から退出した地点である終点までの売場B内での軌跡を示す動線データを蓄積記憶する。買物客は、通路/ABまたは通路/BCから売場Bに進入及び退出できる。したがって、動線データベースa2に蓄積される動線データは、次の4種類である。
【0028】
1.売場Aより通路/ABを通って売場Bに入り、再び通路/ABを通って売場Aに戻った買物客のデータ。
【0029】
2.売場Aより通路/ABを通って売場Bに入り、さらに通路/BCを通って売場Cに移動した買物客のデータ。
【0030】
3.売場Cより通路/BCを通って売場Bに入り、再び通路/BCを通って売場Cに戻った買物客のデータ。
【0031】
4.売場Cより通路/BCを通って売場Bに入り、さらに通路/ABを通って売場Aに移動した買物客のデータ。
【0032】
動線データベースa3は、動線認識システムSCによって認識される各移動体の動線データ、すなわち、買物客が売場Cに進入した地点である始点から退出した地点である終点までの売場C内での軌跡を示す動線データを蓄積記憶する。買物客は、通路/BCまたは通路/CDから売場Cに進入及び退出できる。したがって、動線データベースa3に蓄積される動線データは、次の4種類である。
【0033】
1.売場Bより通路/BCを通って売場Cに入り、再び通路/BCを通って売場Bに戻った買物客のデータ。
【0034】
2.売場Bより通路/BCを通って売場Cに入り、さらに通路/CDを通って売場Dに移動した買物客のデータ。
【0035】
3.売場Dより通路/CDを通って売場Cに入り、再び通路/CDを通って売場Dに戻った買物客のデータ。
【0036】
4.売場Dより通路/CDを通って売場Cに入り、さらに通路/BCを通って売場Bに移動した買物客のデータ。
【0037】
動線データベースa4は、動線認識システムSDによって認識される各移動体の動線データ、すなわち、買物客が売場Dに進入した地点である始点から退出した地点である終点までの売場D内での軌跡を示す動線データを蓄積記憶する。買物客は、入退場口G2または通路/CD若しくは通路/DAから売場Dに進入及び退出できる。したがって、動線データベースa4に蓄積される動線データは、次の9種類である。
【0038】
1.入退場口G2から入店し、売場Dだけを回って入退場口G2から退店した買物客のデータ。
【0039】
2.入退場口G2から入店し、通路/DAを通って売場Aに移動した買物客のデータ。
【0040】
3.入退場口G2から入店し、通路/CDを通って売場Cに移動した買物客のデータ。
【0041】
4.売場Aより通路/DAを通って売場Dに入り、再び通路/DAを通って売場Aに戻った買物客のデータ。
【0042】
5.売場Aより通路/DAを通って売場Dに入り、さらに通路/CDを通って売場Cに移動した買物客のデータ。
【0043】
6.売場Aより通路/DAを通って売場Dに入り、入退場口G2から退店した買物客のデータ。
【0044】
7.売場Cより通路/CDを通って売場Dに入り、再び通路/CDを通って売場Cに戻った買物客のデータ。
【0045】
8.売場Cより通路/CDを通って売場Dに入り、さらに通路/DAを通って売場Aに移動した買物客のデータ。
【0046】
9.売場Cより通路/CDを通って売場Dに入り、入退場口G2から退店した買物客のデータ。
【0047】
画像データベースb1は、画像監視エリアABに向けて設けられたカメラcam1で撮影された画像データを、カメラ制御装置CC1の制御によりフレーム単位に撮影時刻とともに蓄積記憶する。カメラ制御装置CC1は、一定の周期(例えば1/15秒)でカメラcam1の撮影動作を制御し、その撮影画像(フレーム画像)を撮影時刻とともに画像データベースb1に書き込む。
【0048】
他の画像データベースb2〜b6も画像データベースb1と同様であり、画像データベースb2は、画像監視エリアBCに向けて設けられたカメラcam2で撮影された画像データを、カメラ制御装置CC2の制御によりフレーム単位に撮影時刻とともに蓄積記憶し、画像データベースb3は、画像監視エリアCDに向けて設けられたカメラcam3で撮影された画像データを、カメラ制御装置CC3の制御によりフレーム単位に撮影時刻とともに蓄積記憶し、画像データベースb4は、画像監視エリアDAに向けて設けられたカメラcam4で撮影された画像データを、カメラ制御装置CC4の制御によりフレーム単位に撮影時刻とともに蓄積記憶し、画像データベースb5は、画像監視エリアAGに向けて設けられたカメラcam5で撮影された画像データを、カメラ制御装置CC5の制御によりフレーム単位に撮影時刻とともに蓄積記憶し、画像データベースb6は、画像監視エリアDAに向けて設けられたカメラcam6で撮影された画像データを、カメラ制御装置CC6の制御によりフレーム単位に撮影時刻とともに蓄積記憶する。
【0049】
動線連結装置2は、各動線データベースa1〜a4及び各画像データベースb1〜b6に対してアクセスが可能なコンピュータ機器である。例えば、パーソナルコンピュータが動線連結装置2として用いられる。
【0050】
動線連結装置2は、液晶ディスプレイ等のように画面を備えた表示部3と、キーボード、ポインティングデバイス,タッチパネル等の入力部4と、ハードディスク,光ディスク等の記録媒体にデータの書込みが可能な記録装置5とを備えている。記録装置5は、店舗1に入店してから退店するまでの買物客の軌跡を示す完全動線データを保存するための完全動線データベースとして機能する。
【0051】
画像データベースb1〜b6に記憶されるフレーム画像データの構造を、図3の模式図で示す。図示するように、フレーム画像データは、カメラID、フレーム番号及び撮影時刻が関連付けられて画像データベースb1〜b6に記憶される。カメラIDは、当該画像データを撮影したカメラcam1〜cam6の識別コードである。各カメラcam1〜cam6には、それぞれ固有のカメラIDが予め設定されている。フレーム番号は、各カメラcam1〜cam6でフレーム画像が撮影される毎にカウントアップされる“1”からの連続番号である。撮影日時は、当該画像データが撮影された時点の日時(年月日時分秒)である。
【0052】
動線データベースa1〜a6に記憶される動線データの構造を、図4の模式図で示す。図示するように、動線データは、固有の動線IDと、この動線IDで特定される動線の始点を示す二次元座標(X1.Y1)と、同動線の終点を示す二次元座標(Xn.Yn)と、同動線の始点から終点までの軌跡を一定の周期でサンプリングした複数のインデックス情報とで構成される。インデックス情報には、サンプリング時点i[1≦i≦n]の動線位置を示す二次元座標(Xi,Yi)とその時点の時刻Tiとが含まれる。
なお、本実施形態では、説明の便宜上、図1に示すように、店舗1の左下角を二次元座標(X,Y)の原点P(0,0)としている。また、各フレーム画像データに付加される日時を導出するための各カメラ制御装置CC1〜CC6の時計と、各動線データのインデックス情報に付加される時刻を導出するための各動線認識システムSA,SB,SC,SDの時計は、きわめて精度が高いものである。
【0053】
図5は、動線連結装置2の要部構成を示すブロック図である。動線連結装置2は、各データベースa1〜a4及び画像データベースb1〜b6に対するデータの読取り及び書込みが自在なデータベースアクセス部21、前記表示部3に対する画像データ信号の送出と前記入力部4からの操作入力信号の取り込みとを行う入出力インターフェース部22、前記記録装置5に対するデータの書込み及び読出しを行う記録装置インターフェース部23、種々のデータを記憶するための記憶部24、及び、各部を制御する制御部25を備えている。
【0054】
記憶部24には、当該コンピュータ機器が動線連結装置2として機能するために必要なメモリ領域として、連結設定テーブル31、監視エリア設定テーブル32、連結元動線メモリ33、連結先動線メモリ34、第1の抽出データ数メモリ35、第2の抽出データ数メモリ36、第1のデータ数カウンタ37、第2のデータ数カウンタ38、及び、フラグメモリ39が形成されている。
【0055】
連結設定テーブル31は、第1の動線認識システムで生成された動線データに対して連結が可能な動線データを生成する第2の動線認識システムはどれかという組み合わせを示すデータを予め記憶する。すなわち本実施形態では、図6に示すように、第1の動線認識システムとして売場Aの動線認識システムSAを設定した場合には、第2の動線認識システムとして売場Bの動線認識システムSBを設定し、第1の動線認識システムとして売場Bの動線認識システムSBを設定した場合には、第2の動線認識システムとして売場Cの動線認識システムSCを設定し、第1の動線認識システムとして売場Cの動線認識システムSCを設定した場合には、第2の動線認識システムとして売場Dの動線認識システムSDを設定し、第1の動線認識システムとして売場Dの動線認識システムSDを設定した場合には、第2の動線認識システムとして売場Aの動線認識システムSAを設定している。
【0056】
なお、売場D→売場C→売場B→売場A→売場Dの逆ルートについても、第1の動線認識システムと第2の動線認識システムとの組み合わせが逆になるだけなので、当該連結設定テーブル31で対応できる。
【0057】
監視エリア設定テーブル32は、矩形状をなす各画像監視エリアAB,BC,CD,DA,GA,GBの範囲を指定するためのデータとして、そのエリアの左上角の二次元座標(Xr,Yr)と右下角の二次元座標(Xl,Yl)とを予め記憶する。すなわち、本実施形態では、図7に示すように、画像監視エリアABに対しては(Xr1,Yr1)と(Xl1,Yl1)を記憶し、画像監視エリアBCに対しては(Xr2,Yr2)と(Xl2,Yl2)を記憶し、画像監視エリアCDに対しては(Xr3,Yr3)と(Xl3,Yl3)を記憶し、画像監視エリアDAに対しては(Xr4,Yr4)と(Xl4,Yl4)を記憶し、画像監視エリアGAに対しては(Xr5,Yr5)と(Xl5,Yl5)を記憶し、画像監視エリアGBに対しては(Xr6,Yr6)と(Xl6,Yl6)を記憶する。
【0058】
したがって、座標(Xj,Yj)に対して、[Xr1≧Xj≧Xl1]かつ[Yr1≦Yj≦Yl1]であるとき、この座標(Xj,Yj)は画像監視エリアAB内であると判定できる。同様に、[Xr2≧Xj≧Xl2]かつ[Yr2≦Yj≦Yl2]であるとき、座標(Xj,Yj)は画像監視エリアBC内であると判定でき、[Xr3≧Xj≧Xl3]かつ[Yr3≦Yj≦Yl3]であるとき、座標(Xj,Yj)は画像監視エリアCD内であると判定でき、[Xr4≧Xj≧Xl4]かつ[Yr4≦Yj≦Yl4]であるとき、座標(Xj,Yj)は画像監視エリアDA内であると判定でき、[Xr5≧Xj≧Xl5]かつ[Yr5≦Yj≦Yl5]であるとき、座標(Xj,Yj)は画像監視エリアGA内であると判定でき、[Xr6≧Xj≧Xl6]かつ[Yr6≦Yj≦Yl6]であるとき、座標(Xj,Yj)は画像監視エリアGD内であると判定できる。
【0059】
連結元動線メモリ33は、連結元動線の候補となる動線データを記憶する。連結先動線メモリ34は、連結元動線に対して連結される連結先動線の候補となる動線データを記憶する。第1の抽出データ数メモリ35は、連結元動線メモリ33に記憶された動線データのデータ数Mを記憶する。第2の抽出データ数メモリ36は、連結先動線メモリ34に記憶された動線データのデータ数Nを記憶する。第1のデータ数カウンタ37は、連結元動線メモリ33から動線データを呼出す際のポインタmを計数する。第2のデータ数カウンタ38は、連結先動線メモリ34から動線データを呼出す際のポインタnを計数する。フラグメモリ39は、切換制御フラグFを記憶する。
【0060】
制御部25は、CPU(Central Processing Unit)及びROM(Read Only Memory)を主体に構成されており、ROMに記憶された動線連結プログラム40に従い、動線連結処理を実行する。
【0061】
動線連結処理は、第1の動線認識エリアに設けられた第1の動線認識システムにより認識され、第1の動線データベースに記憶された各買物客の動線データと、当該第1の動線認識エリアに対して隣接する第2の動線認識エリアに設けられた第2の動線認識システムにより認識され、第2の動線データベースに記憶された各買物客の動線データとのなかから、同一客の動線データどうしを連結する処理である。
【0062】
動線連結装置2を用いて動線連結作業を行うオペレータは、先ず、入力部4を操作して、動線連結プログラム40を起動させる。動線連結プログラム40が起動すると、制御部25は、この動線連結プログラム40に従い、先ず、表示部3に動線連結画面50を表示させる。
【0063】
動線連結画面50の一例を、図8に示す。図示するように、動線連結画面50には、動線領域51、連結元動線ID領域52、連結元画像領域53、連結先動線ID領域54、及び連結先画像領域55の各領域画像と、「連結する」ボタン56、「連結しない」ボタン57、連結元画像対応の「+」ボタン58、連結元画像対応の「−」ボタン59、連結先画像対応の「+」ボタン60、及び連結先画像対応の「−」ボタン61の各ボタン画像とが表示されている。各ボタン画像は、入力部4によって入力操作が可能である。
【0064】
次に、制御部25は、連結設定テーブル31から連結対象組合せデータを順に取得する。そして、連結対象組合せデータを取得する毎に、その第1の動線認識システムと第2の動線認識システムとの組み合わせに応じた動線連結処理を実行する。すなわち、第1の動線認識システムが構築されている売場から第2の動線認識システムが構築されている売場に移動した買物客の動線データを連結する処理と、その逆ルートの第2の動線認識システムが構築されている売場から第1の動線認識システムが構築されている売場に移動した買物客の動線データを連結する処理とを実行する。
【0065】
本実施形態の場合、はじめに、第1の動線認識システムとして売場Aの動線認識システムSAが設定され、第2の動線認識システムとして売場Bの動線認識システムSBが設定された連結対象組合せデータ(SA,SB)が連結設定テーブル31から得られる。この場合、制御部25は、図9の流れ図に示す動線連結処理を開始する。
【0066】
先ず、制御部25は、ST(ステップ)1としてデータベースアクセス部21を制御して、第1の動線データベースa1と第2の動線データベースa2とを読み込む。第1の動線データベースa1には、動線認識システムSAによって認識された各買物客の動線データが記憶されている。第2の動線データベースa2には、動線認識システムSBによって認識された各買物客の動線データが記憶されている。各動線データベースa1,a2のデータは、記憶部24で一時記憶する。各動線データベースa1,a2のデータを読み込んだならば、制御部25は、ST2としてフラグメモリ39の切換制御フラグを“0”にリセットする。
【0067】
次に、制御部25は、ST3として監視エリア設定テーブル32を検索して、売場Aと売場Bとの通路/ABを含む画像監視エリアABの範囲指定データ(Xr1,Yr1),(Xl1,Yl1)を取得する。そして、第1の動線データベースa1に記憶されている各動線データの終点座標(Xn,Yn)と画像監視エリアABの範囲指定データ(Xr1,Yr1),(Xl1,Yl1)とを照合して、終点座標(Xn,Yn)が画像監視エリアAB内にある動線データを全て抽出する。制御部25は、ST4として第1の動線データベースa1から抽出した全ての動線データを連結元動線メモリ33に記憶する。また、ST5として抽出した動線データの数を計数し、この数Mを第1の抽出データ数メモリ35に記憶する。
【0068】
次に、制御部25は、ST6として第2の動線データベースa2に記憶されている各動線データの始点座標(X1,Y1)と画像監視エリアABの範囲指定データ(Xr1,Yr1),(Xl1,Yl1)とを照合して、始点座標(X1,Y1)が画像監視エリアAB内にある動線データを全て抽出する。制御部25は、ST7として第2の動線データベースa2から抽出した全ての動線データを連結先動線メモリ34に記憶する。また、ST8として抽出した動線データの数を計数し、この数Nを第2の抽出データ数メモリ36に記憶する。
【0069】
次に、制御部25は、ST9として第1の抽出データ数メモリ35に記憶したデータ数Mと第2の抽出データ数メモリ36に記憶したデータ数Nとは、いずれも“0”より大きいか否かを判断する。
【0070】
両データ数M,Nがいずれも“0”より大きい場合(ST9のYES)、制御部25は、ST10Aの連結元動線選択処理、ST10Bの連結先動線選択処理、及びST10Cの連結実行処理を実行する。各処理の詳細については後述する。なお、これらの処理を実行することにより、連結元動線メモリ33に記憶された動線データ、すなわち画像監視エリアABを終点とする売場A内の買物客の動線データが、連結先動線メモリ34に記憶された動線データ、すなわち画像監視エリアABを始点とする売場B内の同一買物客の動線データと連結される。
【0071】
両データ数M,Nのうち少なくとも一方が“0”であった場合には(ST9のNO)、上記ST10A〜ST10Cの各処理を実行しない。
【0072】
上記ST10A〜ST10Cの各処理が終了するか、両データ数M,Nのうち少なくとも一方が“0”であった場合、制御部25は、ST11としてフラグメモリ39を調べる。当初は、切換制御フラグFが“0”にリセットされているので(ST11のNO)、制御部25は、ST12として連結元動線メモリ33及び連結先動線メモリ34を一旦クリアする。また、ST13としてフラグメモリ39の切換制御フラグFを“1”にセットする。
【0073】
しかる後、制御部25は、ST14として第2の動線データベースa2に記憶されている各動線データの終点座標(Xn,Yn)と画像監視エリアABの範囲指定データ(Xr1,Yr1),(Xl1,Yl1)とを照合して、終点座標(Xn,Yn)が画像監視エリアAB内にある動線データをすべて抽出する。制御部25は、ST15として第2の動線データベースa2から抽出した全ての動線データを連結元動線メモリ33に記憶する。また、ST16として抽出した動線データの数を計数し、この数Mを第1の抽出データ数メモリ35に記憶する。
【0074】
次に、制御部25は、ST17として第1の動線データベースa1に記憶されている各動線データの始点座標(X1,Y1)と画像監視エリアABの範囲指定データ(Xr1,Yr1),(Xl1,Yl1)とを照合して、始点座標(X1,Y1)が画像監視エリアAB内にある動線データをすべて抽出する。制御部25は、ST18として第1の動線データベースa1から抽出した全ての動線データを連結先動線メモリ34に記憶する。また、ST19として抽出した動線データの数を計数し、この数Nを第2の抽出データ数メモリ36に記憶する。
【0075】
しかる後、制御部25は、前記ST9の処理に進む。すなわち、第1の抽出データ数メモリ35に記憶したデータ数Mと第2の抽出データ数メモリ36に記憶したデータ数Nとは、いずれも“0”より大きいか否かを判断する。そして、両データ数M,Nがいずれも“0”より大きい場合(ST9のYES)、制御部25は、前記ST10A〜AT10Cの各処理を実行する。これらの処理を実行することにより、連結元動線メモリ33に記憶された動線データ、すなわち画像監視エリアABを終点とする売場B内の買物客の動線データが、連結先動線メモリ34に記憶された動線データ、すなわち画像監視エリアABを始点とする売場A内の同一買物客の動線データと連結される。
【0076】
両データ数M,Nのうち少なくとも一方が“0”であった場合には(ST9のNO)、上記ST10A〜ST10Cの各処理を実行しない。
【0077】
上記ST10A〜ST10Cの各処理が終了するか、両データ数M,Nのうち少なくとも一方が“0”であった場合、制御部25は、再度、フラグメモリ39を調べる(ST11)。今回は、切換制御フラグFが”1”にセットされているので、1組目の連結対象組合せデータに対する処理を終了する。
【0078】
以後、制御部25は、連結設定テーブル31から2組目、3組目の順に連結対象組合せデータを順次取得し、その都度、前記動線連結処理を実行する。すなわち、2組目の連結対象組合せデータ(SB,SC)について処理を実行することにより、画像監視エリアBCを終点とする売場B内の買物客の動線データが、画像監視エリアBCを始点とする売場C内の同一買物客の動線データと連結されるとともに、画像監視エリアBCを終点とする売場C内の買物客の動線データが、画像監視エリアBCを始点とする売場B内の同一買物客の動線データと連結される。
【0079】
また、3組目の連結対象組合せデータ(SC,SD)について処理を実行することにより、画像監視エリアCDを終点とする売場C内の買物客の動線データが、画像監視エリアCDを始点とする売場D内の同一買物客の動線データと連結されるとともに、画像監視エリアCDを終点とする売場D内の買物客の動線データが、画像監視エリアCDを始点とする売場C内の同一買物客の動線データと連結される。
【0080】
また、4組目の連結対象組合せデータ(SD,SA)について処理を実行することにより、画像監視エリアDAを終点とする売場D内の買物客の動線データが、画像監視エリアDAを始点とする売場A内の同一買物客の動線データと連結されるとともに、画像監視エリアDAを終点とする売場A内の買物客の動線データが、画像監視エリアDAを始点とする売場D内の同一買物客の動線データと連結される。
【0081】
図10は、1組目の連結対象組合せデータ(SA,SB)に対する1回目(切換制御フラグが“0”のとき)の連結元動線選択処理(ST10A)の手順を具体的に示す流れ図である。連結元動線選択処理に入ると、制御部25は、ST21として第1のデータ数カウンタ37のカウント値mを“0”に初期化する。しかる後、ST22として第1のデータ数カウンタ37を“1”だけカウントアップする。そして、ST23としてそのカウント値mが第1の抽出データ数メモリ35に記憶されているデータ数Mを越えたか否かを判断する。
【0082】
カウント値mがデータ数Mを越えていない場合(ST23のNO)、制御部25は、ST24として連結元動線メモリ33からカウント値m番目に記憶された動線データ(以下、m番目動線データと称する)を読み出す(連結元動線選択手段)。そして、ST25としてこのm番目動線データに従った動線を、動線連結画面50の動線領域51に表示させる。
【0083】
具体的には、m番目動線データの先頭より順にインデックス情報を読取る。そして、インデックス情報を読取る毎にそのインデックス情報に含まれる二次元座標(Xi,Yi)が示す動線領域51内の位置にドットを描画して直前のドットと線で結ぶ。こうすることにより、当該m番目動線データに対応する買物客が売場A内を移動した経路の軌跡である動線が動線領域51に表示される。このとき、制御部25は、このm番目動線データの動線IDを、動線連結画面50の連結元動線ID領域52に表示させる。
【0084】
また、制御部25は、m番目動線データからインデックス情報を読取る都度、当該m番目動線データによって表示される動線の先端が画像監視エリアAB内に進入するのを検知するために、ST26としてその読取ったインデックス情報の二次元座標(Xi,Yi)と画像監視エリアABの範囲指定データ(Xr1,Yr1),(Xl1,Yl1)とを照合する。因みに、連結元動線メモリ33に記憶されている動線データは、全て、前記ST3,ST4の処理により、画像監視エリアABを終点とする。このため、動線の先端は必ず画像監視エリアAB内に進入する。
【0085】
m番目動線データによって表示される動線の先端が画像監視エリアAB内に進入したことを検知すると(ST26のYES)、制御部25は、ST27としてそのインデックス情報の時刻Tiを画像監視エリアAB内への進入時刻として決定する。そして、ST28として画像監視エリアABに対応した画像データベースb1から上記進入時刻Ti以後のフレーム画像データを順次読み込み、連結元画像領域53に表示させる(第1のカメラ画像表示手段)。
【0086】
その後、制御部25は、ST29としてm番目動線データから終点座標のインデックス情報(Xn,Yn,Tn)を読取るのを待機する。その間、制御部25は、ST30としてm番目動線データによって表示される動線の先端が画像監視エリアABから退出したか否かを判断するために、読取ったインデックス情報の二次元座標(Xi,Yi)と画像監視エリアABの範囲指定データ(Xr1,Yr1),(Xl1,Yl1)とを照合する。。そして、退出したことを検知した場合、制御部25は、ST31として画像データの表示を一旦終了させる。そして、ST25に戻り、再び、m番目動線データによって表示される動線の先端が監視エリアABに進入するのを待機する。
【0087】
m番目動線データから終点座標のインデックス情報(Xn,Yn,Tn)を読取った場合(ST29のYES)、制御部25は、ST32として現時点のフレーム画像を連結元画像領域53に静止画として表示させる。しかる後、ST10Bの連結先動線選択処理を開始する。
【0088】
なお、この静止画は、入力部4を介して連結元画像領域53に対応した[+]ボタン58を入力することにより、現時点より1フレーム後のフレーム画像に進めることができる。同様に、[−]ボタン59を入力することにより、現時点より1フレーム前のフレーム画像に戻すことができる。
【0089】
したがって、オペレータは、適宜、[+]ボタン58または[−]ボタン59を入力することで、連結元画像領域53に表示される静止画像として、通路/ABを通って売場Aから売場Bに移動する買物客が鮮明に映っている画像を選択することができる。
【0090】
図11は、1組目の連結対象組合せデータ(SA,SB)に対する1回目(切換制御フラグが“0”のとき)の連結先動線選択処理(ST10B)の手順を具体的に示す流れ図である。連結先動線選択処理に入ると、制御部25は、先ず、ST41としてm番目動線データの終点座標(Xn,Yn)を含むインデックス情報の時刻データTnを検出する。この時刻Tnは、連結元動線であるm番目動線データが終点に到達した時刻である。制御部47は、ST42として連結先動線メモリ34に記憶されている各動線データを、始点が検知された時刻、すなわち、始点座標(X1,Y1)を含むインデックス情報の時刻データT1が上記m番目動線データの終点到達時刻Tnに近い順に並び替える。
【0091】
次に、制御部25は、ST43として第2のデータ数カウンタ38のカウント値nを“0”に初期化する。しかる後、ST44として第2のデータ数カウンタ38を“1”だけカウントアップする。そして、そのカウント値nが第2の抽出データメモリ36に記憶されているデータ数Nを越えたか否かを判断する。
【0092】
カウント値nがデータ数Nを越えていない場合(ST45のNO)、制御部25は、ST46として連結先動線メモリ34からカウント値n番目に保存された動線データ(以下、n番目動線データと称する)を読み出す(連結先動線選択手段)。そして、ST47としてこのn番目動線データに従った動線を、動線連結画面50の動線領域51に表示させる。また、このn番目動線データの動線IDを、動線連結画面50の連結先動線ID領域54に表示させる。
【0093】
その後、制御部25は、ST48としてn番目動線データから終点座標のインデックス情報(Xn,Yn,Tn)を読取るのを待機する。終点座標のインデックス情報(Xn,Yn,Tn)を読取ったならば(ST48のYES)、制御部25は、ST49としてこのインデックス情報の二次元座標(Xn,Yn)と、監視エリア設定テーブル32に設定されている各画像監視エリアの設定座標とを照合して、終点がいずれかの画像監視エリアQ内に位置しているか否かを判断する。
【0094】
連結先動線メモリ34内に記憶されている動線データは、全て、前記ST6,ST7の処理により、動線データベースa2に記憶された画像監視エリアABを始点とするものである。前述したように、動線データベースa2に記憶されるもので画像監視エリアABを始点とする動線データは、その終点が、画像監視エリアABまたは画像監視エリアBCに位置する。ただし、ここでは、動線認識システムのエラー等により終点が画像監視エリアABまたは画像監視エリアBCに位置しない動線データが含まれている場合も想定している。
【0095】
終点がいずれかの画像監視エリアQ内でない場合(ST49のNO)、制御部25は、ST44に戻り、第2のデータ数カウンタnをさらにカウントアップして、ST45以降の処理を繰り返す。
【0096】
終点がいずれかの画像監視エリアQ内である場合(ST49のYES)、制御部25は、ST50としてn番目動線データの各インデックス情報(Xi,Yi,Ti)と、画像監視エリアQの範囲指定データ(Xrq,Yrq),(Xlq,Ylq)[(1≦q≦6)]とから、n番目動線データによって表示される動線の先端が画像監視エリアQに進入した時点の時刻を検出する。そして、ST51として画像監視エリアQに対応した画像データベースbqから、上記進入時刻から終点到達時刻までのフレーム画像データを順次読み込み、連結先画像領域55に表示させる(第2のカメラ画像表示手段)。
【0097】
なお、この表示画像は、終点到達時刻のフレーム画像に到達すると、再び、進入時刻のフレーム画像から表示される。また、入力部4を介して連結先画像領域55に対応した[+]ボタン60または[−]ボタン61を入力することにより静止画となり、以後、[+]ボタン60を入力すると、1フレーム後のフレーム画像に進めることができ、[−]ボタン61を入力すると、1フレーム前のフレーム画像に戻すことができる。
【0098】
したがって、オペレータは、適宜、[+]ボタン60または[−]ボタン61を入力することで、連結先画像領域55に表示される動画像を静止画像として確認することができる。そして、通路/ABあるいは通路/BCを通って売場Bから売場Aまたは売場Cに移動する買物客が鮮明に映っている画像を選択することができる。
【0099】
すなわちオペレータは、連結元画像領域53の画像からm番目動線データに対応する買物客の顔や衣服等の特徴を識別できる。また、連結先画像領域55の画像からn番目動線データに対応する買物客の顔や衣服等の特徴を識別できる。その結果、同一人物でないと判断した場合、オペレータは、入力部4を操作して動線連結画面50の「連結しない」ボタン57を入力する。これに対し、同一人物であると判断した場合には、m番目動線データとn番目動線データとは同一人物の動線データであるので、m番目動線データをn番目動線データに連結させるために、「連結する」ボタン58を入力する。
【0100】
ST51の処理の後、制御部25は、ST52として「連結しない」ボタン57または「連結する」ボタン58が入力されるのを待機する(連結宣言受付手段)。「連結しない」ボタン57が入力された場合には、ST44の処理に戻り、第2のデータ数カウンタ38をさらにカウントアップする。その結果、第2のデータ数カウンタ38のカウント値nが第2の抽出データメモリ36に記憶されているデータ数Nを越えたならば(ST45YES)、制御部25は、連結元動線選択処理(ST10A)のST22の処理に戻る。
【0101】
「連結する」ボタン56が入力された場合には、ST10Cの連結実行処理を開始する。
図12は、1組目の連結対象組合せデータ(SA,SB)に対する1回目(切換制御フラグが“0”のとき)の連結実行処理(ST10C)の手順を具体的に示す流れ図である。連結実行処理に入ると、制御部25は、先ず、ST61として連結元であるm番目動線データの終点座標(Xn,Yn)と、連結先であるn番目動線データの始点座標(X1,Y1)とを比較する。そして、ST62として両座標が一致するか否かを判断する。一致する場合、制御部25は、ST65の処理に進む。
【0102】
これに対し、一致しない場合には、制御部25は、ST63として終点座標(Xn,Yn)に対する始点座標(X1,Y1)のずれを座標誤差として算出する。すなわち、X座標に対する誤差ΔXを“Xn−X1”で算出し、Y座標に対する誤差ΔYを“Yn−Y1”で算出する。そして、ST64としてn番目動線データの始点座標及び終点座標と各インデックス情報の二次元座標に、それぞれ上記座標誤差ΔX,ΔYを加算して、n番目動線データの始点座標がm番目動線データの終点座標と一致するように補正する(動線補正手段)。しかる後、ST65の処理に進む。
【0103】
ST65では、制御部25は、m番目動線データの終点座標(Xn,Yn)を含むインデックス情報の時刻Tnと、n番目動線データの始点座標(X1,Y1)を含むインデックス情報の時刻T1とを比較する。そして、ST66として両時刻が一致するか否かを判断する。一致する場合、制御部25は、ST69の処理に進む。
【0104】
これに対し、一致しない場合には、制御部25は、ST67として時刻Tnに対する時刻T1のずれを時間誤差ΔT(=Tn−T1)として算出する。そして、ST68としてn番目動線データの各インデックス情報に含まれる時刻にそれぞれ上記時間誤差ΔTを加算して、n番目動線データの始点座標が検出された時刻がm番目動線データの終点座標が検出された時刻と一致するように補正する。しかる後、ST69の処理に進む。
【0105】
ST69では、m番目動線データにn番目動線データを連結する。すなわち、m番目動線データの終点座標をn番目動線データの終点座標に置換する。また、m番目動線データの最終インデックス情報(Xn,Yn,Tn)の後に、n番目動線データの2番目のインデックス情報(X2,Y2,T2)から後の全てのインデックス情報を追加する。こうすることにより、m番目動線データは、連結前のm番目動線データにn番目動線データを連結したデータとなる(動線連結手段)。
【0106】
動線連結後、制御部25は、ST70として連結後動線データの始点座標(X1,Y1)と、各入退場口G1,G2にそれぞれ対応する画像監視エリアAG,DGの範囲指定データ(Xr5,Yr5),(Xl5,Yl5)または(Xr6,Yr6),(Xl6,Yl6)と照合して、動線の始点がいずれか一方の入退場口G1,G2の画像監視エリアAG,DG内であるか否かを判断する。
【0107】
また、制御部25は、ST71として連結後動線データの終点座標(Xn,Yn)と、各入退場口G1,G2にそれぞれ対応する画像監視エリアAG,DGの範囲指定データ(Xr5,Yr5),(Xl5,Yl5)または(Xr6,Yr6),(Xl6,Yl6)と照合して、動線の終点がいずれか一方の入退場口G1,G2の画像監視エリアAG,DG内であるか否かを判断する。
【0108】
動線の始点及び終点の少なくとも一方が入退場口G1,G2の画像監視エリアAG,DG内でない場合、制御部25は、ST72として連結後動線データを連結先であるn番目動線データが格納されていた第2の動線データベースa2に新規保存する。これに対し、動線の始点と終点がいずれも入退場口G1,G2の画像監視エリアAG,DG内である場合には、制御部25は、ST73として連結後動線データを記録装置5の完全動線データベースに新規保存する。
【0109】
ST72またはST73の処理を終えると、制御部25は、ST74として第1の動線データベースa1から連結元動線であるm番目動線データを削除する。また、ST75として第2の動線データベースa2から連結先動線であるn番目動線データを削除する。しかる後、制御部25は、連結元動線選択処理(ST10A)のST22の処理に戻る。
なお、ST72にて連結後動線データを第2の動線データベースa2に新規保存するのでなく上書き保存し、ST75の処理を省略してもよい。
【0110】
以後、制御部25は、第1のデータ数カウンタ37のカウント値mが第1の抽出データ数メモリ35に記憶されているデータ数Mを越えるまで、上記ST24以降の処理を繰返し実行する。そして、カウント値mがデータ数Mを超えると(ST23のYES)、連結元動線の候補として抽出した全ての動線データに対して連結処理を終了したので、1組目の連結対象組合せデータ(SA,SB)に対する1回目の連結元動線選択処理、連結先動線選択処理、及び連結実行処理を終了する。
【0111】
なお、1組目の連結対象組合せデータ(SA,SB)に対する2回目(切換制御フラグが“1”のとき)の連結元動線選択処理、連結先動線選択処理、及び連結実行処理についても、連結元が動線認識システムSBの動線データであり、連結先が動線認識システムSAの動線データである点を除いて同様に処理される。他の連結対象組合せデータに対する処理も同様である。
【0112】
このように本実施形態では、複数の動線認識システムSA,SB,SC,SDのうち隣接する動線認識システムでそれぞれ認識される動線のなかから、同一買物客に対する動線を、オペレータがカメラ画像を用いて目視により検出するようにしている。したがって、各動線認識システム間SA,SB,SC,SDで、移動体である買物客のある時点の位置を示す座標(Xi,Yi)やその時点の時刻Tiの精度にずれが生じていたとしても、同一移動体に対する動線を正確に検出して連結することができる。その結果、広域な領域全体を補っての動線認識を可能ならしめる効果を奏する。
【0113】
また、本実施形態では、連結元動線として選択された動線データの終点と連結先動線として選択された動線データの始点とが一致するように、少なくとも一方の動線データを補正するようにしている。したがって、連結元動線と連結先動線とを確実に接続することができる。
【0114】
さらに、本実施形態では、連結先動線メモリ34に記憶されている各動線データを、始点が検知された時刻が、連結元動線であるm番目動線データの終点到達時刻Tnに近い順に並び替えるようにしている。連結先動線の始点検知時刻が連結元動線の終点到達時刻に近ければ近いほど、連結先動線の人物は連結元動線の人物と同一である可能性が高い。したがって、連結元動線に連結すれる連結先動線を探し出すまでに要する作業時間の短縮を図ることができる。
【0115】
なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
例えば、前記実施の形態では、カメラによる画像監視エリアを売場間の通路を含む領域と入退場口近傍の領域とに限定したが、例えば売場全域を画像監視エリアとしてもよい。この場合は、画像監視エリアを通路や入退場口の近傍に限定せず、売場全体を画像監視エリアとして動線に連動してカメラ画像を表示することで、連結元動線及び連結先動線それぞれの買物客を目視により特定することができる。したがって、より確実にカメラ画像から人物を特定することができる。
【0116】
また、前記実施形態では、連結元動線の終点と連結先動線の始点とがずれている場合に、連結先動線の始点を連結元動線の終点に合わせるべく連結先動線のデータを補正したが、連結元動線の終点を連結先動線の始点に合わせるべく連結元動線のデータを補正してもよい。あるいは、動線データを補正するのでなく、連結元動線の終点と連結先動線の始点との間を直線で結ぶ線形補間により補間してもよい。さらには、連結元動線の終点から数ポイント前までの各インデックス情報の二次元座標と連結先動線の始点から数ポイント先までの各インデックス情報の二次元座標とを比較し、最も近接した座標のインデックス情報を起点に、連結元動線データと連結先動線データとを連結するようにしてもよい。
【0117】
また、前記実施形態では、田の字型に区分された売場の中心部で各売場が仕切られており、例えば売場Aに居る買物客は、売場Bまたは売場Dには行かれるが売場Cには行かれない店舗に本発明を適用したが、本発明を適用可能な店舗形態はこれに限定されるものではない。例えば、田の字型に区分された売場の中心部で各売場が仕切られていなくても、その中心部をカメラによる監視領域に設定し、連結設定テーブル31に、第1の動線認識システムが動線認識システムSAで第2の動線認識システムが動線認識システムSCの組み合わせ及びその逆の組み合わせと、第1の動線認識システムが動線認識システムSBで第2の動線認識システムが動線認識システムSDの組み合わせ及びその逆の組み合わせとを追加することにより、前記実施形態と同様に適用できるものである。
【0118】
また、本発明は、隣接する売場間の顧客動線を連結する装置に限定されるものではなく、第1の動線認識エリア内を移動する移動体(人、動物、車両等)の動線データと、この第1の動線認識エリアに隣接する第2の動線認識エリア内を移動する移動体の動線データとを連結する装置にも同様に適用できるものである。
【0119】
また、前記実施形態では、動線連結プログラム40を制御部25のROMに予め記憶しているものとして本発明を説明したが、このプログラム40は、ネットワークから動線連結装置2にダウンロードしても良いし、記録媒体に記憶させたものを動線連結装置2にインストールしてもよい。記録媒体としては、CD−ROM等プログラムを記憶でき、かつコンピュータが読み取り可能な記録媒体であれば、その形態は何れの形態であってもよい。また、このように予めインストールやダウンロードにより得る機能は、コンピュータ内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。
【0120】
この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。
【符号の説明】
【0121】
2…動線連結装置、3…表示部、4…入力部、5…記録装置、25…制御部、31…連結設定テーブル、32…監視エリア設定テーブル、33…連結元動線メモリ、34…連結先動線メモリ、40…動線連結プログラム、50…動線連結画面。
【先行技術文献】
【特許文献】
【0122】
【特許文献1】特開2009−009394号公報
【技術分野】
【0001】
本発明は、例えば店舗内を移動する買物客の軌跡を示す動線データの連結技術に関する。
【背景技術】
【0002】
スーパーマーケット,コンビニエンスストア等の店舗内を移動する買物客の軌跡を動線として認識する動線認識システムには、カメラを用いた画像処理方式や無線タグリーダを用いた無線タグ追跡方式等がある。画像処理方式の場合、現状の画像処理技術では、各カメラで監視領域の全エリアを死角なく撮影したとしても、一人の買物客の監視領域全域の動きを1つの動線として追跡することはきわめて困難である。例えば、他の買物客とすれ違った際に動線が途切れたり、動線が入れ替わったりする場合が考えられる。
【0003】
特許文献1には、画像処理方式の動線認識システムにより生成された複数の動線データの中から同一客に対する動線データを選択し、それぞれを連結して1本の動線データを生成する動線編集システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、動線認識に必要な情報処理はコンピュータを用いて行うが、その情報処理には大きな負荷を要するため、1台のコンピュータに接続可能なカメラや無線タグリーダの台数には限りがある。このため、単一の動線認識システムで動線を認識可能な監視領域の広さには自ずと限界がある。そこで、複数の動線認識システムで認識された動線の中から同一移動体に対する動線を連結する技術が求められている。
【0005】
本発明はこのような事情に基づいてなされたもので、その目的とするところは、複数の動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線どうしを連結することができ、広域な領域全体を補っての動線認識を可能ならしめる動線連結方法及び装置並びにプログラムを提供しようとするものである。
【課題を解決するための手段】
【0006】
本発明の動線連結方法は、第1の動線認識エリア内を移動する移動体毎にその移動体が第1の動線認識エリアに進入した地点である始点から退出した地点である終点までの第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、第1の動線認識エリアに隣接する第2の動線認識エリア内を移動する移動体毎にその移動体が第2の動線認識エリアに進入した地点である始点から退出した地点である終点までの第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第1の画像データベース、及び、第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能なコンピュータが、第1の動線データベースに記憶された各動線データの中から第1の画像監視エリア内に位置する移動体の動線データを選択し(連結元動線選択段階)、この選択された動線データに対応する移動体が第1の画像監視エリア内に位置している期間のカメラ画像データを前記第1の画像データベースから取得し、その画像を表示部に表示させる(第1のカメラ画像表示段階)。また、コンピュータが、第2の動線データベースに記憶された各動線データの中から第2の画像監視エリア内に位置する移動体の動線データを選択し(連結先動線選択段階)、この選択された動線データに対応する移動体が第2の画像監視エリア内に位置している期間のカメラ画像データを第2の画像データベースから取得し、その画像を表示部に表示させる(第2のカメラ画像表示段階)。そして、コンピュータが、連結元動線選択段階により選択された動線データと連結先動線選択段階により選択された動線データの連結宣言を受け付けると、連結元動線選択段階により選択された動線データの始点から連結先動線選択段階により選択された動線データの終点までの動線データを生成することで、第1の動線データベースに記憶された各移動体の動線データと第2の動線データベースに記憶された各移動体の動線データとのなかから、同一移動体の動線データどうしを連結するようにしたものである。
【0007】
本発明の動線認識装置は、前記第1,第2の動線データベース及び第1,第2の画像データベースにアクセス可能で、第1の動線データベースに記憶された各動線データの中から第1の画像監視エリア内に位置する移動体の動線データを選択する連結元動線選択手段と、この連結元動線選択手段により選択された動線データに対応する移動体が第1の画像監視エリア内に位置している期間のカメラ画像データを第1の画像データベースから取得し、その画像を表示部に表示させる第1のカメラ画像表示手段と、第2の動線データベースに記憶された各動線データの中から第2の画像監視エリア内に位置する移動体の動線データを選択する連結先動線選択手段と、この連結先動線選択手段により選択された動線データに対応する移動体が第2の画像監視エリア内に位置している期間のカメラ画像データを第2の画像データベースから取得し、その画像を表示部に表示させる第2のカメラ画像表示手段と、連結元動線選択手段により選択された動線データと連結先動線選択手段により選択された動線データの連結宣言を受け付ける連結宣言受付手段と、連結宣言を受付けると、連結元動線選択手段により選択された動線データの始点から連結先動線選択手段により選択された動線データの終点までの動線データを生成する動線連結手段とを備えたものである。
【0008】
本発明の動線認識プロクラムは、前記第1,第2の動線データベース及び第1,第2の画像データベースにアクセス可能なコンピュータに、第1の動線データベースに記憶された各動線データの中から第1の画像監視エリア内に位置する移動体の動線データを選択させる連結元動線選択機能と、この連結元動線選択機能により選択された動線データに対応する移動体が第1の画像監視エリア内に位置している期間のカメラ画像データを第1の画像データベースから取得し、その画像を表示部に表示させる第1のカメラ画像表示機能と、第2の動線データベースに記憶された各動線データの中から第2の画像監視エリア内に位置する移動体の動線データを選択させる連結先動線選択機能と、この連結先動線選択機能により選択された動線データに対応する移動体が第2の画像監視エリア内に位置している期間のカメラ画像データを第2の画像データベースから取得し、その画像を表示部に表示させる第2のカメラ画像表示機能と、連結元動線選択機能により選択された動線データと連結先動線選択機能により選択された動線データの連結宣言を受け付けさせる連結宣言受付機能と、連結宣言を受付けると、連結元動線選択機能により選択された動線データの始点から連結先動線選択機能により選択された動線データの終点までの動線データを生成させる動線連結機能とを実現させるためのものである。
【発明の効果】
【0009】
かかる手段を講じた本発明によれば、複数の動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線どうしを連結することができ、広域な領域全体を補っての動線認識を可能ならしめる効果を奏する。
【図面の簡単な説明】
【0010】
【図1】本発明の一実施形態である動線連結システムの全体構成図。
【図2】同実施形態が適用される店舗の説明図。
【図3】同実施形態において、画像データベースに記憶される画像データの構造を示す模式図。
【図4】同実施形態において、動線データベースに記憶される動線データの構造を示す模式図。
【図5】同実施形態における動線認識装置の要部構成を示すブロック図。
【図6】同実施形態において、動線認識装置の記憶部に形成される連結設定テーブルのデータ例を示す模式図。
【図7】同実施形態において、動線認識装置の記憶部に形成される監視エリア設定テーブルのデータ例を示す模式図。
【図8】同実施形態において、表示される動線連結画面の一レイアウト例を示す平面図。
【図9】同実施形態において、動線認識装置の制御部が動線連結プログラムにしたがって実行する動線連結処理の要部手順を示す流れ図。
【図10】図9における連結元動線選択処理の具体的手順を示す流れ図。
【図11】図9における連結先動線選択処理の具体的手順を示す流れ図。
【図12】図9における連結実行処理の具体的手順を示す流れ図。
【発明を実施するための形態】
【0011】
以下、本発明を実施するための最良の形態について、図面を用いて説明する。
なお、この実施形態は、図2に示すように、互いに隣接して客が行き来できる4つの売場A,売場B,売場C及び売場Dを備えた店舗1に適用した場合である。
【0012】
図2に示すように、売場Aは、売場B及び売場Dと隣接し、売場Bは、売場A及び売場Cと隣接し、売場Cは、売場B及び売場Dと隣接し、売場Dは、売場C及び売場Aと隣接している。そして、隣接する各売場間には、それぞれ客が行き来できるように通路/AB,/BC,/CD,/DAが形成されている。また、売場Aと売場Dとには、客が入退場可能な入退場口G1,G2が設けられている。
【0013】
各売場A〜Dには、それぞれその売場内を移動する移動体である人物(買物客)の軌跡を動線として認識するための動線認識システムSA,SB,SC,SDが構築されている。すなわち、売場Aは動線認識システムSAの動線認識エリアとなっており、売場Bは動線認識システムSBの動線認識エリアとなっており、売場Cは動線認識システムSCの動線認識エリアとなっており、売場Dは動線認識システムSDの動線認識エリアとなっている。動線認識システムSA,SB,SC,SDの方式は、特に限定されるものではない。カメラを用いた画像処理方式や無線タグリーダを用いた無線タグ追跡方式等、既存の方式でよい。
【0014】
本実施形態では、各売場間を連結する各通路/AB,/BC,/CD,/DAをそれぞれ含む領域と、各入退場口G1,G2近傍の領域とを、カメラによる画像監視エリアとしている。すなわち、売場Aと売場Bとの通路/ABを含む領域を画像監視エリアABとし、売場Bと売場Cとの通路/BCを含む領域を画像監視エリアBCとし、売場Cと売場Dとの通路を含む領域/CDを画像監視エリアCDとし、売場Dと売場Aとの通路/DAを含む領域を画像監視エリアDAとしている。また、入退場口G1近傍の領域を画像監視エリアAGとし、入退場口G2近傍の領域を画像監視エリアDGとしている。そして、各画像監視エリアAB,BC,CD,DA,AG及びDG内を移動する買物客を撮影するために、各画像監視エリアAB,BC,CD,DA,AG及びDGに向けてそれぞれカメラcam1,cam2m,cam3,cam4,cam5,cam6(図1を参照)を設置している。
【0015】
因みに、カメラには、防犯カメラなどに用いられる通常レンズを備えたカメラの他に、魚眼レンズを用いたカメラや、全方位ミラー付のカメラ等の広角レンズカメラがある。広角レンズカメラは、通常レンズカメラと比べて歪が大きいため鮮明な画像は期待できないが、画角が広がるため、撮影区域が広い。本実施形態では、画像監視エリア内の全域を撮影可能であれば、鮮明な画像が得られる通常レンズを備えたカメラを適用する。画像監視エリア内の全域を撮影できない場合には、広角レンズカメラを適用する。
【0016】
図1は、本実施形態の店舗1に構築される動線連結システムの全体図である。かかるシステムは、その中枢部として動線連結装置2を備えている。また、各動線認識システムSA,SB,SC,SDにそれぞれ対応した4つの動線データベースa1,a2,a3,a4と、各画像監視エリアAB,BC,CD,DA,AG,DGにそれぞれ対応した6つの画像データベースb1,b2,b3,b4,b5,b6を備えている。
【0017】
動線データベースa1は、動線認識システムSAによって認識される各移動体の動線データ、すなわち、買物客が売場Aに進入した地点である始点から退出した地点である終点までの売場A内での軌跡を示す動線データを蓄積記憶する。買物客は、入退場口G1または通路/AB若しくは通路/DAから売場Aに進入及び退出できる。したがって、動線データベースa1に蓄積される動線データは、次の9種類である。
【0018】
1.入退場口G1から入店し、売場Aだけを回って入退場口G1から退店した買物客のデータ。
【0019】
2.入退場口G1から入店し、通路/ABを通って売場Bに移動した買物客のデータ。
【0020】
3.入退場口G1から入店し、通路/DAを通って売場Dに移動した買物客のデータ。
【0021】
4.売場Bより通路/ABを通って売場Aに入り、再び通路/ABを通って売場Bに戻った買物客のデータ。
【0022】
5.売場Bより通路/ABを通って売場Aに入り、さらに通路/DAを通って売場Dに移動した買物客のデータ。
【0023】
6.売場Bより通路/ABを通って売場Aに入り、入退場口G1から退店した買物客のデータ。
【0024】
7.売場Dより通路/DAを通って売場Aに入り、再び通路/DAを通って売場Dに戻った買物客のデータ。
【0025】
8.売場Dより通路/DAを通って売場Aに入り、さらに通路/ABを通って売場Bに移動した買物客のデータ。
【0026】
9.売場Dより通路/DAを通って売場Aに入り、入退場口G1から退店した買物客のデータ。
【0027】
動線データベースa2は、動線認識システムSBによって認識される各移動体の動線データ、すなわち、買物客が売場Bに進入した地点である始点から退出した地点である終点までの売場B内での軌跡を示す動線データを蓄積記憶する。買物客は、通路/ABまたは通路/BCから売場Bに進入及び退出できる。したがって、動線データベースa2に蓄積される動線データは、次の4種類である。
【0028】
1.売場Aより通路/ABを通って売場Bに入り、再び通路/ABを通って売場Aに戻った買物客のデータ。
【0029】
2.売場Aより通路/ABを通って売場Bに入り、さらに通路/BCを通って売場Cに移動した買物客のデータ。
【0030】
3.売場Cより通路/BCを通って売場Bに入り、再び通路/BCを通って売場Cに戻った買物客のデータ。
【0031】
4.売場Cより通路/BCを通って売場Bに入り、さらに通路/ABを通って売場Aに移動した買物客のデータ。
【0032】
動線データベースa3は、動線認識システムSCによって認識される各移動体の動線データ、すなわち、買物客が売場Cに進入した地点である始点から退出した地点である終点までの売場C内での軌跡を示す動線データを蓄積記憶する。買物客は、通路/BCまたは通路/CDから売場Cに進入及び退出できる。したがって、動線データベースa3に蓄積される動線データは、次の4種類である。
【0033】
1.売場Bより通路/BCを通って売場Cに入り、再び通路/BCを通って売場Bに戻った買物客のデータ。
【0034】
2.売場Bより通路/BCを通って売場Cに入り、さらに通路/CDを通って売場Dに移動した買物客のデータ。
【0035】
3.売場Dより通路/CDを通って売場Cに入り、再び通路/CDを通って売場Dに戻った買物客のデータ。
【0036】
4.売場Dより通路/CDを通って売場Cに入り、さらに通路/BCを通って売場Bに移動した買物客のデータ。
【0037】
動線データベースa4は、動線認識システムSDによって認識される各移動体の動線データ、すなわち、買物客が売場Dに進入した地点である始点から退出した地点である終点までの売場D内での軌跡を示す動線データを蓄積記憶する。買物客は、入退場口G2または通路/CD若しくは通路/DAから売場Dに進入及び退出できる。したがって、動線データベースa4に蓄積される動線データは、次の9種類である。
【0038】
1.入退場口G2から入店し、売場Dだけを回って入退場口G2から退店した買物客のデータ。
【0039】
2.入退場口G2から入店し、通路/DAを通って売場Aに移動した買物客のデータ。
【0040】
3.入退場口G2から入店し、通路/CDを通って売場Cに移動した買物客のデータ。
【0041】
4.売場Aより通路/DAを通って売場Dに入り、再び通路/DAを通って売場Aに戻った買物客のデータ。
【0042】
5.売場Aより通路/DAを通って売場Dに入り、さらに通路/CDを通って売場Cに移動した買物客のデータ。
【0043】
6.売場Aより通路/DAを通って売場Dに入り、入退場口G2から退店した買物客のデータ。
【0044】
7.売場Cより通路/CDを通って売場Dに入り、再び通路/CDを通って売場Cに戻った買物客のデータ。
【0045】
8.売場Cより通路/CDを通って売場Dに入り、さらに通路/DAを通って売場Aに移動した買物客のデータ。
【0046】
9.売場Cより通路/CDを通って売場Dに入り、入退場口G2から退店した買物客のデータ。
【0047】
画像データベースb1は、画像監視エリアABに向けて設けられたカメラcam1で撮影された画像データを、カメラ制御装置CC1の制御によりフレーム単位に撮影時刻とともに蓄積記憶する。カメラ制御装置CC1は、一定の周期(例えば1/15秒)でカメラcam1の撮影動作を制御し、その撮影画像(フレーム画像)を撮影時刻とともに画像データベースb1に書き込む。
【0048】
他の画像データベースb2〜b6も画像データベースb1と同様であり、画像データベースb2は、画像監視エリアBCに向けて設けられたカメラcam2で撮影された画像データを、カメラ制御装置CC2の制御によりフレーム単位に撮影時刻とともに蓄積記憶し、画像データベースb3は、画像監視エリアCDに向けて設けられたカメラcam3で撮影された画像データを、カメラ制御装置CC3の制御によりフレーム単位に撮影時刻とともに蓄積記憶し、画像データベースb4は、画像監視エリアDAに向けて設けられたカメラcam4で撮影された画像データを、カメラ制御装置CC4の制御によりフレーム単位に撮影時刻とともに蓄積記憶し、画像データベースb5は、画像監視エリアAGに向けて設けられたカメラcam5で撮影された画像データを、カメラ制御装置CC5の制御によりフレーム単位に撮影時刻とともに蓄積記憶し、画像データベースb6は、画像監視エリアDAに向けて設けられたカメラcam6で撮影された画像データを、カメラ制御装置CC6の制御によりフレーム単位に撮影時刻とともに蓄積記憶する。
【0049】
動線連結装置2は、各動線データベースa1〜a4及び各画像データベースb1〜b6に対してアクセスが可能なコンピュータ機器である。例えば、パーソナルコンピュータが動線連結装置2として用いられる。
【0050】
動線連結装置2は、液晶ディスプレイ等のように画面を備えた表示部3と、キーボード、ポインティングデバイス,タッチパネル等の入力部4と、ハードディスク,光ディスク等の記録媒体にデータの書込みが可能な記録装置5とを備えている。記録装置5は、店舗1に入店してから退店するまでの買物客の軌跡を示す完全動線データを保存するための完全動線データベースとして機能する。
【0051】
画像データベースb1〜b6に記憶されるフレーム画像データの構造を、図3の模式図で示す。図示するように、フレーム画像データは、カメラID、フレーム番号及び撮影時刻が関連付けられて画像データベースb1〜b6に記憶される。カメラIDは、当該画像データを撮影したカメラcam1〜cam6の識別コードである。各カメラcam1〜cam6には、それぞれ固有のカメラIDが予め設定されている。フレーム番号は、各カメラcam1〜cam6でフレーム画像が撮影される毎にカウントアップされる“1”からの連続番号である。撮影日時は、当該画像データが撮影された時点の日時(年月日時分秒)である。
【0052】
動線データベースa1〜a6に記憶される動線データの構造を、図4の模式図で示す。図示するように、動線データは、固有の動線IDと、この動線IDで特定される動線の始点を示す二次元座標(X1.Y1)と、同動線の終点を示す二次元座標(Xn.Yn)と、同動線の始点から終点までの軌跡を一定の周期でサンプリングした複数のインデックス情報とで構成される。インデックス情報には、サンプリング時点i[1≦i≦n]の動線位置を示す二次元座標(Xi,Yi)とその時点の時刻Tiとが含まれる。
なお、本実施形態では、説明の便宜上、図1に示すように、店舗1の左下角を二次元座標(X,Y)の原点P(0,0)としている。また、各フレーム画像データに付加される日時を導出するための各カメラ制御装置CC1〜CC6の時計と、各動線データのインデックス情報に付加される時刻を導出するための各動線認識システムSA,SB,SC,SDの時計は、きわめて精度が高いものである。
【0053】
図5は、動線連結装置2の要部構成を示すブロック図である。動線連結装置2は、各データベースa1〜a4及び画像データベースb1〜b6に対するデータの読取り及び書込みが自在なデータベースアクセス部21、前記表示部3に対する画像データ信号の送出と前記入力部4からの操作入力信号の取り込みとを行う入出力インターフェース部22、前記記録装置5に対するデータの書込み及び読出しを行う記録装置インターフェース部23、種々のデータを記憶するための記憶部24、及び、各部を制御する制御部25を備えている。
【0054】
記憶部24には、当該コンピュータ機器が動線連結装置2として機能するために必要なメモリ領域として、連結設定テーブル31、監視エリア設定テーブル32、連結元動線メモリ33、連結先動線メモリ34、第1の抽出データ数メモリ35、第2の抽出データ数メモリ36、第1のデータ数カウンタ37、第2のデータ数カウンタ38、及び、フラグメモリ39が形成されている。
【0055】
連結設定テーブル31は、第1の動線認識システムで生成された動線データに対して連結が可能な動線データを生成する第2の動線認識システムはどれかという組み合わせを示すデータを予め記憶する。すなわち本実施形態では、図6に示すように、第1の動線認識システムとして売場Aの動線認識システムSAを設定した場合には、第2の動線認識システムとして売場Bの動線認識システムSBを設定し、第1の動線認識システムとして売場Bの動線認識システムSBを設定した場合には、第2の動線認識システムとして売場Cの動線認識システムSCを設定し、第1の動線認識システムとして売場Cの動線認識システムSCを設定した場合には、第2の動線認識システムとして売場Dの動線認識システムSDを設定し、第1の動線認識システムとして売場Dの動線認識システムSDを設定した場合には、第2の動線認識システムとして売場Aの動線認識システムSAを設定している。
【0056】
なお、売場D→売場C→売場B→売場A→売場Dの逆ルートについても、第1の動線認識システムと第2の動線認識システムとの組み合わせが逆になるだけなので、当該連結設定テーブル31で対応できる。
【0057】
監視エリア設定テーブル32は、矩形状をなす各画像監視エリアAB,BC,CD,DA,GA,GBの範囲を指定するためのデータとして、そのエリアの左上角の二次元座標(Xr,Yr)と右下角の二次元座標(Xl,Yl)とを予め記憶する。すなわち、本実施形態では、図7に示すように、画像監視エリアABに対しては(Xr1,Yr1)と(Xl1,Yl1)を記憶し、画像監視エリアBCに対しては(Xr2,Yr2)と(Xl2,Yl2)を記憶し、画像監視エリアCDに対しては(Xr3,Yr3)と(Xl3,Yl3)を記憶し、画像監視エリアDAに対しては(Xr4,Yr4)と(Xl4,Yl4)を記憶し、画像監視エリアGAに対しては(Xr5,Yr5)と(Xl5,Yl5)を記憶し、画像監視エリアGBに対しては(Xr6,Yr6)と(Xl6,Yl6)を記憶する。
【0058】
したがって、座標(Xj,Yj)に対して、[Xr1≧Xj≧Xl1]かつ[Yr1≦Yj≦Yl1]であるとき、この座標(Xj,Yj)は画像監視エリアAB内であると判定できる。同様に、[Xr2≧Xj≧Xl2]かつ[Yr2≦Yj≦Yl2]であるとき、座標(Xj,Yj)は画像監視エリアBC内であると判定でき、[Xr3≧Xj≧Xl3]かつ[Yr3≦Yj≦Yl3]であるとき、座標(Xj,Yj)は画像監視エリアCD内であると判定でき、[Xr4≧Xj≧Xl4]かつ[Yr4≦Yj≦Yl4]であるとき、座標(Xj,Yj)は画像監視エリアDA内であると判定でき、[Xr5≧Xj≧Xl5]かつ[Yr5≦Yj≦Yl5]であるとき、座標(Xj,Yj)は画像監視エリアGA内であると判定でき、[Xr6≧Xj≧Xl6]かつ[Yr6≦Yj≦Yl6]であるとき、座標(Xj,Yj)は画像監視エリアGD内であると判定できる。
【0059】
連結元動線メモリ33は、連結元動線の候補となる動線データを記憶する。連結先動線メモリ34は、連結元動線に対して連結される連結先動線の候補となる動線データを記憶する。第1の抽出データ数メモリ35は、連結元動線メモリ33に記憶された動線データのデータ数Mを記憶する。第2の抽出データ数メモリ36は、連結先動線メモリ34に記憶された動線データのデータ数Nを記憶する。第1のデータ数カウンタ37は、連結元動線メモリ33から動線データを呼出す際のポインタmを計数する。第2のデータ数カウンタ38は、連結先動線メモリ34から動線データを呼出す際のポインタnを計数する。フラグメモリ39は、切換制御フラグFを記憶する。
【0060】
制御部25は、CPU(Central Processing Unit)及びROM(Read Only Memory)を主体に構成されており、ROMに記憶された動線連結プログラム40に従い、動線連結処理を実行する。
【0061】
動線連結処理は、第1の動線認識エリアに設けられた第1の動線認識システムにより認識され、第1の動線データベースに記憶された各買物客の動線データと、当該第1の動線認識エリアに対して隣接する第2の動線認識エリアに設けられた第2の動線認識システムにより認識され、第2の動線データベースに記憶された各買物客の動線データとのなかから、同一客の動線データどうしを連結する処理である。
【0062】
動線連結装置2を用いて動線連結作業を行うオペレータは、先ず、入力部4を操作して、動線連結プログラム40を起動させる。動線連結プログラム40が起動すると、制御部25は、この動線連結プログラム40に従い、先ず、表示部3に動線連結画面50を表示させる。
【0063】
動線連結画面50の一例を、図8に示す。図示するように、動線連結画面50には、動線領域51、連結元動線ID領域52、連結元画像領域53、連結先動線ID領域54、及び連結先画像領域55の各領域画像と、「連結する」ボタン56、「連結しない」ボタン57、連結元画像対応の「+」ボタン58、連結元画像対応の「−」ボタン59、連結先画像対応の「+」ボタン60、及び連結先画像対応の「−」ボタン61の各ボタン画像とが表示されている。各ボタン画像は、入力部4によって入力操作が可能である。
【0064】
次に、制御部25は、連結設定テーブル31から連結対象組合せデータを順に取得する。そして、連結対象組合せデータを取得する毎に、その第1の動線認識システムと第2の動線認識システムとの組み合わせに応じた動線連結処理を実行する。すなわち、第1の動線認識システムが構築されている売場から第2の動線認識システムが構築されている売場に移動した買物客の動線データを連結する処理と、その逆ルートの第2の動線認識システムが構築されている売場から第1の動線認識システムが構築されている売場に移動した買物客の動線データを連結する処理とを実行する。
【0065】
本実施形態の場合、はじめに、第1の動線認識システムとして売場Aの動線認識システムSAが設定され、第2の動線認識システムとして売場Bの動線認識システムSBが設定された連結対象組合せデータ(SA,SB)が連結設定テーブル31から得られる。この場合、制御部25は、図9の流れ図に示す動線連結処理を開始する。
【0066】
先ず、制御部25は、ST(ステップ)1としてデータベースアクセス部21を制御して、第1の動線データベースa1と第2の動線データベースa2とを読み込む。第1の動線データベースa1には、動線認識システムSAによって認識された各買物客の動線データが記憶されている。第2の動線データベースa2には、動線認識システムSBによって認識された各買物客の動線データが記憶されている。各動線データベースa1,a2のデータは、記憶部24で一時記憶する。各動線データベースa1,a2のデータを読み込んだならば、制御部25は、ST2としてフラグメモリ39の切換制御フラグを“0”にリセットする。
【0067】
次に、制御部25は、ST3として監視エリア設定テーブル32を検索して、売場Aと売場Bとの通路/ABを含む画像監視エリアABの範囲指定データ(Xr1,Yr1),(Xl1,Yl1)を取得する。そして、第1の動線データベースa1に記憶されている各動線データの終点座標(Xn,Yn)と画像監視エリアABの範囲指定データ(Xr1,Yr1),(Xl1,Yl1)とを照合して、終点座標(Xn,Yn)が画像監視エリアAB内にある動線データを全て抽出する。制御部25は、ST4として第1の動線データベースa1から抽出した全ての動線データを連結元動線メモリ33に記憶する。また、ST5として抽出した動線データの数を計数し、この数Mを第1の抽出データ数メモリ35に記憶する。
【0068】
次に、制御部25は、ST6として第2の動線データベースa2に記憶されている各動線データの始点座標(X1,Y1)と画像監視エリアABの範囲指定データ(Xr1,Yr1),(Xl1,Yl1)とを照合して、始点座標(X1,Y1)が画像監視エリアAB内にある動線データを全て抽出する。制御部25は、ST7として第2の動線データベースa2から抽出した全ての動線データを連結先動線メモリ34に記憶する。また、ST8として抽出した動線データの数を計数し、この数Nを第2の抽出データ数メモリ36に記憶する。
【0069】
次に、制御部25は、ST9として第1の抽出データ数メモリ35に記憶したデータ数Mと第2の抽出データ数メモリ36に記憶したデータ数Nとは、いずれも“0”より大きいか否かを判断する。
【0070】
両データ数M,Nがいずれも“0”より大きい場合(ST9のYES)、制御部25は、ST10Aの連結元動線選択処理、ST10Bの連結先動線選択処理、及びST10Cの連結実行処理を実行する。各処理の詳細については後述する。なお、これらの処理を実行することにより、連結元動線メモリ33に記憶された動線データ、すなわち画像監視エリアABを終点とする売場A内の買物客の動線データが、連結先動線メモリ34に記憶された動線データ、すなわち画像監視エリアABを始点とする売場B内の同一買物客の動線データと連結される。
【0071】
両データ数M,Nのうち少なくとも一方が“0”であった場合には(ST9のNO)、上記ST10A〜ST10Cの各処理を実行しない。
【0072】
上記ST10A〜ST10Cの各処理が終了するか、両データ数M,Nのうち少なくとも一方が“0”であった場合、制御部25は、ST11としてフラグメモリ39を調べる。当初は、切換制御フラグFが“0”にリセットされているので(ST11のNO)、制御部25は、ST12として連結元動線メモリ33及び連結先動線メモリ34を一旦クリアする。また、ST13としてフラグメモリ39の切換制御フラグFを“1”にセットする。
【0073】
しかる後、制御部25は、ST14として第2の動線データベースa2に記憶されている各動線データの終点座標(Xn,Yn)と画像監視エリアABの範囲指定データ(Xr1,Yr1),(Xl1,Yl1)とを照合して、終点座標(Xn,Yn)が画像監視エリアAB内にある動線データをすべて抽出する。制御部25は、ST15として第2の動線データベースa2から抽出した全ての動線データを連結元動線メモリ33に記憶する。また、ST16として抽出した動線データの数を計数し、この数Mを第1の抽出データ数メモリ35に記憶する。
【0074】
次に、制御部25は、ST17として第1の動線データベースa1に記憶されている各動線データの始点座標(X1,Y1)と画像監視エリアABの範囲指定データ(Xr1,Yr1),(Xl1,Yl1)とを照合して、始点座標(X1,Y1)が画像監視エリアAB内にある動線データをすべて抽出する。制御部25は、ST18として第1の動線データベースa1から抽出した全ての動線データを連結先動線メモリ34に記憶する。また、ST19として抽出した動線データの数を計数し、この数Nを第2の抽出データ数メモリ36に記憶する。
【0075】
しかる後、制御部25は、前記ST9の処理に進む。すなわち、第1の抽出データ数メモリ35に記憶したデータ数Mと第2の抽出データ数メモリ36に記憶したデータ数Nとは、いずれも“0”より大きいか否かを判断する。そして、両データ数M,Nがいずれも“0”より大きい場合(ST9のYES)、制御部25は、前記ST10A〜AT10Cの各処理を実行する。これらの処理を実行することにより、連結元動線メモリ33に記憶された動線データ、すなわち画像監視エリアABを終点とする売場B内の買物客の動線データが、連結先動線メモリ34に記憶された動線データ、すなわち画像監視エリアABを始点とする売場A内の同一買物客の動線データと連結される。
【0076】
両データ数M,Nのうち少なくとも一方が“0”であった場合には(ST9のNO)、上記ST10A〜ST10Cの各処理を実行しない。
【0077】
上記ST10A〜ST10Cの各処理が終了するか、両データ数M,Nのうち少なくとも一方が“0”であった場合、制御部25は、再度、フラグメモリ39を調べる(ST11)。今回は、切換制御フラグFが”1”にセットされているので、1組目の連結対象組合せデータに対する処理を終了する。
【0078】
以後、制御部25は、連結設定テーブル31から2組目、3組目の順に連結対象組合せデータを順次取得し、その都度、前記動線連結処理を実行する。すなわち、2組目の連結対象組合せデータ(SB,SC)について処理を実行することにより、画像監視エリアBCを終点とする売場B内の買物客の動線データが、画像監視エリアBCを始点とする売場C内の同一買物客の動線データと連結されるとともに、画像監視エリアBCを終点とする売場C内の買物客の動線データが、画像監視エリアBCを始点とする売場B内の同一買物客の動線データと連結される。
【0079】
また、3組目の連結対象組合せデータ(SC,SD)について処理を実行することにより、画像監視エリアCDを終点とする売場C内の買物客の動線データが、画像監視エリアCDを始点とする売場D内の同一買物客の動線データと連結されるとともに、画像監視エリアCDを終点とする売場D内の買物客の動線データが、画像監視エリアCDを始点とする売場C内の同一買物客の動線データと連結される。
【0080】
また、4組目の連結対象組合せデータ(SD,SA)について処理を実行することにより、画像監視エリアDAを終点とする売場D内の買物客の動線データが、画像監視エリアDAを始点とする売場A内の同一買物客の動線データと連結されるとともに、画像監視エリアDAを終点とする売場A内の買物客の動線データが、画像監視エリアDAを始点とする売場D内の同一買物客の動線データと連結される。
【0081】
図10は、1組目の連結対象組合せデータ(SA,SB)に対する1回目(切換制御フラグが“0”のとき)の連結元動線選択処理(ST10A)の手順を具体的に示す流れ図である。連結元動線選択処理に入ると、制御部25は、ST21として第1のデータ数カウンタ37のカウント値mを“0”に初期化する。しかる後、ST22として第1のデータ数カウンタ37を“1”だけカウントアップする。そして、ST23としてそのカウント値mが第1の抽出データ数メモリ35に記憶されているデータ数Mを越えたか否かを判断する。
【0082】
カウント値mがデータ数Mを越えていない場合(ST23のNO)、制御部25は、ST24として連結元動線メモリ33からカウント値m番目に記憶された動線データ(以下、m番目動線データと称する)を読み出す(連結元動線選択手段)。そして、ST25としてこのm番目動線データに従った動線を、動線連結画面50の動線領域51に表示させる。
【0083】
具体的には、m番目動線データの先頭より順にインデックス情報を読取る。そして、インデックス情報を読取る毎にそのインデックス情報に含まれる二次元座標(Xi,Yi)が示す動線領域51内の位置にドットを描画して直前のドットと線で結ぶ。こうすることにより、当該m番目動線データに対応する買物客が売場A内を移動した経路の軌跡である動線が動線領域51に表示される。このとき、制御部25は、このm番目動線データの動線IDを、動線連結画面50の連結元動線ID領域52に表示させる。
【0084】
また、制御部25は、m番目動線データからインデックス情報を読取る都度、当該m番目動線データによって表示される動線の先端が画像監視エリアAB内に進入するのを検知するために、ST26としてその読取ったインデックス情報の二次元座標(Xi,Yi)と画像監視エリアABの範囲指定データ(Xr1,Yr1),(Xl1,Yl1)とを照合する。因みに、連結元動線メモリ33に記憶されている動線データは、全て、前記ST3,ST4の処理により、画像監視エリアABを終点とする。このため、動線の先端は必ず画像監視エリアAB内に進入する。
【0085】
m番目動線データによって表示される動線の先端が画像監視エリアAB内に進入したことを検知すると(ST26のYES)、制御部25は、ST27としてそのインデックス情報の時刻Tiを画像監視エリアAB内への進入時刻として決定する。そして、ST28として画像監視エリアABに対応した画像データベースb1から上記進入時刻Ti以後のフレーム画像データを順次読み込み、連結元画像領域53に表示させる(第1のカメラ画像表示手段)。
【0086】
その後、制御部25は、ST29としてm番目動線データから終点座標のインデックス情報(Xn,Yn,Tn)を読取るのを待機する。その間、制御部25は、ST30としてm番目動線データによって表示される動線の先端が画像監視エリアABから退出したか否かを判断するために、読取ったインデックス情報の二次元座標(Xi,Yi)と画像監視エリアABの範囲指定データ(Xr1,Yr1),(Xl1,Yl1)とを照合する。。そして、退出したことを検知した場合、制御部25は、ST31として画像データの表示を一旦終了させる。そして、ST25に戻り、再び、m番目動線データによって表示される動線の先端が監視エリアABに進入するのを待機する。
【0087】
m番目動線データから終点座標のインデックス情報(Xn,Yn,Tn)を読取った場合(ST29のYES)、制御部25は、ST32として現時点のフレーム画像を連結元画像領域53に静止画として表示させる。しかる後、ST10Bの連結先動線選択処理を開始する。
【0088】
なお、この静止画は、入力部4を介して連結元画像領域53に対応した[+]ボタン58を入力することにより、現時点より1フレーム後のフレーム画像に進めることができる。同様に、[−]ボタン59を入力することにより、現時点より1フレーム前のフレーム画像に戻すことができる。
【0089】
したがって、オペレータは、適宜、[+]ボタン58または[−]ボタン59を入力することで、連結元画像領域53に表示される静止画像として、通路/ABを通って売場Aから売場Bに移動する買物客が鮮明に映っている画像を選択することができる。
【0090】
図11は、1組目の連結対象組合せデータ(SA,SB)に対する1回目(切換制御フラグが“0”のとき)の連結先動線選択処理(ST10B)の手順を具体的に示す流れ図である。連結先動線選択処理に入ると、制御部25は、先ず、ST41としてm番目動線データの終点座標(Xn,Yn)を含むインデックス情報の時刻データTnを検出する。この時刻Tnは、連結元動線であるm番目動線データが終点に到達した時刻である。制御部47は、ST42として連結先動線メモリ34に記憶されている各動線データを、始点が検知された時刻、すなわち、始点座標(X1,Y1)を含むインデックス情報の時刻データT1が上記m番目動線データの終点到達時刻Tnに近い順に並び替える。
【0091】
次に、制御部25は、ST43として第2のデータ数カウンタ38のカウント値nを“0”に初期化する。しかる後、ST44として第2のデータ数カウンタ38を“1”だけカウントアップする。そして、そのカウント値nが第2の抽出データメモリ36に記憶されているデータ数Nを越えたか否かを判断する。
【0092】
カウント値nがデータ数Nを越えていない場合(ST45のNO)、制御部25は、ST46として連結先動線メモリ34からカウント値n番目に保存された動線データ(以下、n番目動線データと称する)を読み出す(連結先動線選択手段)。そして、ST47としてこのn番目動線データに従った動線を、動線連結画面50の動線領域51に表示させる。また、このn番目動線データの動線IDを、動線連結画面50の連結先動線ID領域54に表示させる。
【0093】
その後、制御部25は、ST48としてn番目動線データから終点座標のインデックス情報(Xn,Yn,Tn)を読取るのを待機する。終点座標のインデックス情報(Xn,Yn,Tn)を読取ったならば(ST48のYES)、制御部25は、ST49としてこのインデックス情報の二次元座標(Xn,Yn)と、監視エリア設定テーブル32に設定されている各画像監視エリアの設定座標とを照合して、終点がいずれかの画像監視エリアQ内に位置しているか否かを判断する。
【0094】
連結先動線メモリ34内に記憶されている動線データは、全て、前記ST6,ST7の処理により、動線データベースa2に記憶された画像監視エリアABを始点とするものである。前述したように、動線データベースa2に記憶されるもので画像監視エリアABを始点とする動線データは、その終点が、画像監視エリアABまたは画像監視エリアBCに位置する。ただし、ここでは、動線認識システムのエラー等により終点が画像監視エリアABまたは画像監視エリアBCに位置しない動線データが含まれている場合も想定している。
【0095】
終点がいずれかの画像監視エリアQ内でない場合(ST49のNO)、制御部25は、ST44に戻り、第2のデータ数カウンタnをさらにカウントアップして、ST45以降の処理を繰り返す。
【0096】
終点がいずれかの画像監視エリアQ内である場合(ST49のYES)、制御部25は、ST50としてn番目動線データの各インデックス情報(Xi,Yi,Ti)と、画像監視エリアQの範囲指定データ(Xrq,Yrq),(Xlq,Ylq)[(1≦q≦6)]とから、n番目動線データによって表示される動線の先端が画像監視エリアQに進入した時点の時刻を検出する。そして、ST51として画像監視エリアQに対応した画像データベースbqから、上記進入時刻から終点到達時刻までのフレーム画像データを順次読み込み、連結先画像領域55に表示させる(第2のカメラ画像表示手段)。
【0097】
なお、この表示画像は、終点到達時刻のフレーム画像に到達すると、再び、進入時刻のフレーム画像から表示される。また、入力部4を介して連結先画像領域55に対応した[+]ボタン60または[−]ボタン61を入力することにより静止画となり、以後、[+]ボタン60を入力すると、1フレーム後のフレーム画像に進めることができ、[−]ボタン61を入力すると、1フレーム前のフレーム画像に戻すことができる。
【0098】
したがって、オペレータは、適宜、[+]ボタン60または[−]ボタン61を入力することで、連結先画像領域55に表示される動画像を静止画像として確認することができる。そして、通路/ABあるいは通路/BCを通って売場Bから売場Aまたは売場Cに移動する買物客が鮮明に映っている画像を選択することができる。
【0099】
すなわちオペレータは、連結元画像領域53の画像からm番目動線データに対応する買物客の顔や衣服等の特徴を識別できる。また、連結先画像領域55の画像からn番目動線データに対応する買物客の顔や衣服等の特徴を識別できる。その結果、同一人物でないと判断した場合、オペレータは、入力部4を操作して動線連結画面50の「連結しない」ボタン57を入力する。これに対し、同一人物であると判断した場合には、m番目動線データとn番目動線データとは同一人物の動線データであるので、m番目動線データをn番目動線データに連結させるために、「連結する」ボタン58を入力する。
【0100】
ST51の処理の後、制御部25は、ST52として「連結しない」ボタン57または「連結する」ボタン58が入力されるのを待機する(連結宣言受付手段)。「連結しない」ボタン57が入力された場合には、ST44の処理に戻り、第2のデータ数カウンタ38をさらにカウントアップする。その結果、第2のデータ数カウンタ38のカウント値nが第2の抽出データメモリ36に記憶されているデータ数Nを越えたならば(ST45YES)、制御部25は、連結元動線選択処理(ST10A)のST22の処理に戻る。
【0101】
「連結する」ボタン56が入力された場合には、ST10Cの連結実行処理を開始する。
図12は、1組目の連結対象組合せデータ(SA,SB)に対する1回目(切換制御フラグが“0”のとき)の連結実行処理(ST10C)の手順を具体的に示す流れ図である。連結実行処理に入ると、制御部25は、先ず、ST61として連結元であるm番目動線データの終点座標(Xn,Yn)と、連結先であるn番目動線データの始点座標(X1,Y1)とを比較する。そして、ST62として両座標が一致するか否かを判断する。一致する場合、制御部25は、ST65の処理に進む。
【0102】
これに対し、一致しない場合には、制御部25は、ST63として終点座標(Xn,Yn)に対する始点座標(X1,Y1)のずれを座標誤差として算出する。すなわち、X座標に対する誤差ΔXを“Xn−X1”で算出し、Y座標に対する誤差ΔYを“Yn−Y1”で算出する。そして、ST64としてn番目動線データの始点座標及び終点座標と各インデックス情報の二次元座標に、それぞれ上記座標誤差ΔX,ΔYを加算して、n番目動線データの始点座標がm番目動線データの終点座標と一致するように補正する(動線補正手段)。しかる後、ST65の処理に進む。
【0103】
ST65では、制御部25は、m番目動線データの終点座標(Xn,Yn)を含むインデックス情報の時刻Tnと、n番目動線データの始点座標(X1,Y1)を含むインデックス情報の時刻T1とを比較する。そして、ST66として両時刻が一致するか否かを判断する。一致する場合、制御部25は、ST69の処理に進む。
【0104】
これに対し、一致しない場合には、制御部25は、ST67として時刻Tnに対する時刻T1のずれを時間誤差ΔT(=Tn−T1)として算出する。そして、ST68としてn番目動線データの各インデックス情報に含まれる時刻にそれぞれ上記時間誤差ΔTを加算して、n番目動線データの始点座標が検出された時刻がm番目動線データの終点座標が検出された時刻と一致するように補正する。しかる後、ST69の処理に進む。
【0105】
ST69では、m番目動線データにn番目動線データを連結する。すなわち、m番目動線データの終点座標をn番目動線データの終点座標に置換する。また、m番目動線データの最終インデックス情報(Xn,Yn,Tn)の後に、n番目動線データの2番目のインデックス情報(X2,Y2,T2)から後の全てのインデックス情報を追加する。こうすることにより、m番目動線データは、連結前のm番目動線データにn番目動線データを連結したデータとなる(動線連結手段)。
【0106】
動線連結後、制御部25は、ST70として連結後動線データの始点座標(X1,Y1)と、各入退場口G1,G2にそれぞれ対応する画像監視エリアAG,DGの範囲指定データ(Xr5,Yr5),(Xl5,Yl5)または(Xr6,Yr6),(Xl6,Yl6)と照合して、動線の始点がいずれか一方の入退場口G1,G2の画像監視エリアAG,DG内であるか否かを判断する。
【0107】
また、制御部25は、ST71として連結後動線データの終点座標(Xn,Yn)と、各入退場口G1,G2にそれぞれ対応する画像監視エリアAG,DGの範囲指定データ(Xr5,Yr5),(Xl5,Yl5)または(Xr6,Yr6),(Xl6,Yl6)と照合して、動線の終点がいずれか一方の入退場口G1,G2の画像監視エリアAG,DG内であるか否かを判断する。
【0108】
動線の始点及び終点の少なくとも一方が入退場口G1,G2の画像監視エリアAG,DG内でない場合、制御部25は、ST72として連結後動線データを連結先であるn番目動線データが格納されていた第2の動線データベースa2に新規保存する。これに対し、動線の始点と終点がいずれも入退場口G1,G2の画像監視エリアAG,DG内である場合には、制御部25は、ST73として連結後動線データを記録装置5の完全動線データベースに新規保存する。
【0109】
ST72またはST73の処理を終えると、制御部25は、ST74として第1の動線データベースa1から連結元動線であるm番目動線データを削除する。また、ST75として第2の動線データベースa2から連結先動線であるn番目動線データを削除する。しかる後、制御部25は、連結元動線選択処理(ST10A)のST22の処理に戻る。
なお、ST72にて連結後動線データを第2の動線データベースa2に新規保存するのでなく上書き保存し、ST75の処理を省略してもよい。
【0110】
以後、制御部25は、第1のデータ数カウンタ37のカウント値mが第1の抽出データ数メモリ35に記憶されているデータ数Mを越えるまで、上記ST24以降の処理を繰返し実行する。そして、カウント値mがデータ数Mを超えると(ST23のYES)、連結元動線の候補として抽出した全ての動線データに対して連結処理を終了したので、1組目の連結対象組合せデータ(SA,SB)に対する1回目の連結元動線選択処理、連結先動線選択処理、及び連結実行処理を終了する。
【0111】
なお、1組目の連結対象組合せデータ(SA,SB)に対する2回目(切換制御フラグが“1”のとき)の連結元動線選択処理、連結先動線選択処理、及び連結実行処理についても、連結元が動線認識システムSBの動線データであり、連結先が動線認識システムSAの動線データである点を除いて同様に処理される。他の連結対象組合せデータに対する処理も同様である。
【0112】
このように本実施形態では、複数の動線認識システムSA,SB,SC,SDのうち隣接する動線認識システムでそれぞれ認識される動線のなかから、同一買物客に対する動線を、オペレータがカメラ画像を用いて目視により検出するようにしている。したがって、各動線認識システム間SA,SB,SC,SDで、移動体である買物客のある時点の位置を示す座標(Xi,Yi)やその時点の時刻Tiの精度にずれが生じていたとしても、同一移動体に対する動線を正確に検出して連結することができる。その結果、広域な領域全体を補っての動線認識を可能ならしめる効果を奏する。
【0113】
また、本実施形態では、連結元動線として選択された動線データの終点と連結先動線として選択された動線データの始点とが一致するように、少なくとも一方の動線データを補正するようにしている。したがって、連結元動線と連結先動線とを確実に接続することができる。
【0114】
さらに、本実施形態では、連結先動線メモリ34に記憶されている各動線データを、始点が検知された時刻が、連結元動線であるm番目動線データの終点到達時刻Tnに近い順に並び替えるようにしている。連結先動線の始点検知時刻が連結元動線の終点到達時刻に近ければ近いほど、連結先動線の人物は連結元動線の人物と同一である可能性が高い。したがって、連結元動線に連結すれる連結先動線を探し出すまでに要する作業時間の短縮を図ることができる。
【0115】
なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
例えば、前記実施の形態では、カメラによる画像監視エリアを売場間の通路を含む領域と入退場口近傍の領域とに限定したが、例えば売場全域を画像監視エリアとしてもよい。この場合は、画像監視エリアを通路や入退場口の近傍に限定せず、売場全体を画像監視エリアとして動線に連動してカメラ画像を表示することで、連結元動線及び連結先動線それぞれの買物客を目視により特定することができる。したがって、より確実にカメラ画像から人物を特定することができる。
【0116】
また、前記実施形態では、連結元動線の終点と連結先動線の始点とがずれている場合に、連結先動線の始点を連結元動線の終点に合わせるべく連結先動線のデータを補正したが、連結元動線の終点を連結先動線の始点に合わせるべく連結元動線のデータを補正してもよい。あるいは、動線データを補正するのでなく、連結元動線の終点と連結先動線の始点との間を直線で結ぶ線形補間により補間してもよい。さらには、連結元動線の終点から数ポイント前までの各インデックス情報の二次元座標と連結先動線の始点から数ポイント先までの各インデックス情報の二次元座標とを比較し、最も近接した座標のインデックス情報を起点に、連結元動線データと連結先動線データとを連結するようにしてもよい。
【0117】
また、前記実施形態では、田の字型に区分された売場の中心部で各売場が仕切られており、例えば売場Aに居る買物客は、売場Bまたは売場Dには行かれるが売場Cには行かれない店舗に本発明を適用したが、本発明を適用可能な店舗形態はこれに限定されるものではない。例えば、田の字型に区分された売場の中心部で各売場が仕切られていなくても、その中心部をカメラによる監視領域に設定し、連結設定テーブル31に、第1の動線認識システムが動線認識システムSAで第2の動線認識システムが動線認識システムSCの組み合わせ及びその逆の組み合わせと、第1の動線認識システムが動線認識システムSBで第2の動線認識システムが動線認識システムSDの組み合わせ及びその逆の組み合わせとを追加することにより、前記実施形態と同様に適用できるものである。
【0118】
また、本発明は、隣接する売場間の顧客動線を連結する装置に限定されるものではなく、第1の動線認識エリア内を移動する移動体(人、動物、車両等)の動線データと、この第1の動線認識エリアに隣接する第2の動線認識エリア内を移動する移動体の動線データとを連結する装置にも同様に適用できるものである。
【0119】
また、前記実施形態では、動線連結プログラム40を制御部25のROMに予め記憶しているものとして本発明を説明したが、このプログラム40は、ネットワークから動線連結装置2にダウンロードしても良いし、記録媒体に記憶させたものを動線連結装置2にインストールしてもよい。記録媒体としては、CD−ROM等プログラムを記憶でき、かつコンピュータが読み取り可能な記録媒体であれば、その形態は何れの形態であってもよい。また、このように予めインストールやダウンロードにより得る機能は、コンピュータ内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。
【0120】
この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。
【符号の説明】
【0121】
2…動線連結装置、3…表示部、4…入力部、5…記録装置、25…制御部、31…連結設定テーブル、32…監視エリア設定テーブル、33…連結元動線メモリ、34…連結先動線メモリ、40…動線連結プログラム、50…動線連結画面。
【先行技術文献】
【特許文献】
【0122】
【特許文献1】特開2009−009394号公報
【特許請求の範囲】
【請求項1】
第1の動線認識エリア内を移動する移動体毎にその移動体が前記第1の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、前記第1の動線認識エリアに隣接する第2の動線認識エリア内を移動する移動体毎にその移動体が前記第2の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、前記第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第1の画像データベース、及び、前記第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能なコンピュータにより、前記第1の動線データベースに記憶された各移動体の動線データと前記第2の動線データベースに記憶された各移動体の動線データとのなかから、同一移動体の動線データどうしを連結する動線連結方法であって、
前記コンピュータは、
前記第1の動線データベースに記憶された各動線データの中から前記第1の画像監視エリア内に位置する移動体の動線データを選択する連結元動線選択段階と、
前記連結元動線選択段階により選択された動線データに対応する前記移動体が前記第1の画像監視エリア内に位置している期間の前記カメラ画像データを前記第1の画像データベースから取得し、その画像を表示部に表示させる第1のカメラ画像表示段階と、
前記第2の動線データベースに記憶された各動線データの中から前記第2の画像監視エリア内に位置する移動体の動線データを選択する連結先動線選択段階と、
前記連結先動線選択段階により選択された動線データに対応する前記移動体が前記第2の画像監視エリア内に位置している期間の前記カメラ画像データを前記第2の画像データベースから取得し、その画像を前記表示部に表示させる第2のカメラ画像表示段階と、
前記連結元動線選択段階により選択された動線データと前記連結先動線選択段階により選択された動線データの連結宣言を受け付ける連結宣言受付段階と、
前記連結宣言を受付けると、前記連結元動線選択段階により選択された動線データの始点から前記連結先動線選択段階により選択された動線データの終点までの動線データを生成する動線連結段階と、
を備えることを特徴とする動線連結方法。
【請求項2】
前記動線連結段階は、前記連結元動線選択段階により選択された動線データの終点と前記連結先動線選択段階により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正する動線補正段階を含むことを特徴とする請求項1記載の動線連結方法。
【請求項3】
前記連結先動線選択段階は、前記第2の動線データベースに記憶された各動線データの中から、始点が、前記連結元動線選択段階により選択された動線データの終点に近い順に各動線データを検索し、前記第2の画像監視エリア内を移動する移動体の動線データを選択することを特徴とする請求項1または2記載の動線連結方法。
【請求項4】
第1の動線認識エリア内を移動する移動体毎にその移動体が前記第1の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、前記第1の動線認識エリアに隣接する第2の動線認識エリア内を移動する移動体毎にその移動体が前記第2の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、前記第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第1の画像データベース、及び、前記第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能であり、
前記第1の動線データベースに記憶された各動線データの中から前記第1の画像監視エリア内に位置する移動体の動線データを選択する連結元動線選択手段と、
この連結元動線選択手段により選択された動線データに対応する前記移動体が前記第1の画像監視エリア内に位置している期間の前記カメラ画像データを前記第1の画像データベースから取得し、その画像を表示部に表示させる第1のカメラ画像表示手段と、
前記第2の動線データベースに記憶された各動線データの中から前記第2の画像監視エリア内に位置する移動体の動線データを選択する連結先動線選択手段と、
この連結先動線選択手段により選択された動線データに対応する前記移動体が前記第2の画像監視エリア内に位置している期間の前記カメラ画像データを前記第2の画像データベースから取得し、その画像を前記表示部に表示させる第2のカメラ画像表示手段と、
前記連結元動線選択手段により選択された動線データと前記連結先動線選択手段により選択された動線データの連結宣言を受け付ける連結宣言受付手段と、
前記連結宣言を受付けると、前記連結元動線選択手段により選択された動線データの始点から前記連結先動線選択手段により選択された動線データの終点までの動線データを生成する動線連結手段と、
を具備したことを特徴とする動線連結装置。
【請求項5】
前記動線連結手段は、前記連結元動線選択手段により選択された動線データの終点と前記連結先動線選択手段により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正する動線補正手段を含むことを特徴とする請求項4記載の動線連結装置。
【請求項6】
前記連結先動線選択手段は、前記第2の動線データベースに記憶された各動線データの中から、始点が、前記連結元動線選択手段により選択された動線データの終点に近い順に各動線データを検索し、前記第2の画像監視エリア内を移動する移動体の動線データを選択することを特徴とする請求項4または5記載の動線連結装置。
【請求項7】
第1の動線認識エリア内を移動する移動体毎にその移動体が前記第1の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、前記第1の動線認識エリアに隣接する第2の動線認識エリア内を移動する移動体毎にその移動体が前記第2の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、前記第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第1の画像データベース、及び、前記第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能なコンピュータに、
前記第1の動線データベースに記憶された各動線データの中から前記第1の画像監視エリア内に位置する移動体の動線データを選択させる連結元動線選択機能と、
前記連結元動線選択機能により選択された動線データに対応する前記移動体が前記第1の画像監視エリア内に位置している期間の前記カメラ画像データを前記第1の画像データベースから取得し、その画像を表示部に表示させる第1のカメラ画像表示機能と、
前記第2の動線データベースに記憶された各動線データの中から前記第2の画像監視エリア内に位置する移動体の動線データを選択させる連結先動線選択機能と、
前記連結先動線選択機能により選択された動線データに対応する前記移動体が前記第2の画像監視エリア内に位置している期間の前記カメラ画像データを前記第2の画像データベースから取得し、その画像を前記表示部に表示させる第2のカメラ画像表示機能と、
前記連結元動線選択機能により選択された動線データと前記連結先動線選択機能により選択された動線データの連結宣言を受け付けさせる連結宣言受付機能と、
前記連結宣言を受付けると、前記連結元動線選択機能により選択された動線データの始点から前記連結先動線選択機能により選択された動線データの終点までの動線データを生成させる動線連結機能と、
を実現させるための動線連結プログラム。
【請求項8】
前記動線連結機能は、コンピュータに、前記連結元動線選択機能により選択された動線データの終点と前記連結先動線選択機能により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正させる動線補正機能を含むものである請求項7記載の動線連結プログラム。
【請求項9】
前記連結先動線選択機能は、コンピュータに、前記第2の動線データベースに記憶された各動線データの中から、始点が、前記連結元動線選択機能により選択された動線データの終点に近い順に各動線データを検索し、前記第2の画像監視エリア内を移動する移動体の動線データを選択させるものである請求項7または8記載の動線連結プログラム。
【請求項1】
第1の動線認識エリア内を移動する移動体毎にその移動体が前記第1の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、前記第1の動線認識エリアに隣接する第2の動線認識エリア内を移動する移動体毎にその移動体が前記第2の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、前記第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第1の画像データベース、及び、前記第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能なコンピュータにより、前記第1の動線データベースに記憶された各移動体の動線データと前記第2の動線データベースに記憶された各移動体の動線データとのなかから、同一移動体の動線データどうしを連結する動線連結方法であって、
前記コンピュータは、
前記第1の動線データベースに記憶された各動線データの中から前記第1の画像監視エリア内に位置する移動体の動線データを選択する連結元動線選択段階と、
前記連結元動線選択段階により選択された動線データに対応する前記移動体が前記第1の画像監視エリア内に位置している期間の前記カメラ画像データを前記第1の画像データベースから取得し、その画像を表示部に表示させる第1のカメラ画像表示段階と、
前記第2の動線データベースに記憶された各動線データの中から前記第2の画像監視エリア内に位置する移動体の動線データを選択する連結先動線選択段階と、
前記連結先動線選択段階により選択された動線データに対応する前記移動体が前記第2の画像監視エリア内に位置している期間の前記カメラ画像データを前記第2の画像データベースから取得し、その画像を前記表示部に表示させる第2のカメラ画像表示段階と、
前記連結元動線選択段階により選択された動線データと前記連結先動線選択段階により選択された動線データの連結宣言を受け付ける連結宣言受付段階と、
前記連結宣言を受付けると、前記連結元動線選択段階により選択された動線データの始点から前記連結先動線選択段階により選択された動線データの終点までの動線データを生成する動線連結段階と、
を備えることを特徴とする動線連結方法。
【請求項2】
前記動線連結段階は、前記連結元動線選択段階により選択された動線データの終点と前記連結先動線選択段階により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正する動線補正段階を含むことを特徴とする請求項1記載の動線連結方法。
【請求項3】
前記連結先動線選択段階は、前記第2の動線データベースに記憶された各動線データの中から、始点が、前記連結元動線選択段階により選択された動線データの終点に近い順に各動線データを検索し、前記第2の画像監視エリア内を移動する移動体の動線データを選択することを特徴とする請求項1または2記載の動線連結方法。
【請求項4】
第1の動線認識エリア内を移動する移動体毎にその移動体が前記第1の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、前記第1の動線認識エリアに隣接する第2の動線認識エリア内を移動する移動体毎にその移動体が前記第2の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、前記第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第1の画像データベース、及び、前記第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能であり、
前記第1の動線データベースに記憶された各動線データの中から前記第1の画像監視エリア内に位置する移動体の動線データを選択する連結元動線選択手段と、
この連結元動線選択手段により選択された動線データに対応する前記移動体が前記第1の画像監視エリア内に位置している期間の前記カメラ画像データを前記第1の画像データベースから取得し、その画像を表示部に表示させる第1のカメラ画像表示手段と、
前記第2の動線データベースに記憶された各動線データの中から前記第2の画像監視エリア内に位置する移動体の動線データを選択する連結先動線選択手段と、
この連結先動線選択手段により選択された動線データに対応する前記移動体が前記第2の画像監視エリア内に位置している期間の前記カメラ画像データを前記第2の画像データベースから取得し、その画像を前記表示部に表示させる第2のカメラ画像表示手段と、
前記連結元動線選択手段により選択された動線データと前記連結先動線選択手段により選択された動線データの連結宣言を受け付ける連結宣言受付手段と、
前記連結宣言を受付けると、前記連結元動線選択手段により選択された動線データの始点から前記連結先動線選択手段により選択された動線データの終点までの動線データを生成する動線連結手段と、
を具備したことを特徴とする動線連結装置。
【請求項5】
前記動線連結手段は、前記連結元動線選択手段により選択された動線データの終点と前記連結先動線選択手段により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正する動線補正手段を含むことを特徴とする請求項4記載の動線連結装置。
【請求項6】
前記連結先動線選択手段は、前記第2の動線データベースに記憶された各動線データの中から、始点が、前記連結元動線選択手段により選択された動線データの終点に近い順に各動線データを検索し、前記第2の画像監視エリア内を移動する移動体の動線データを選択することを特徴とする請求項4または5記載の動線連結装置。
【請求項7】
第1の動線認識エリア内を移動する移動体毎にその移動体が前記第1の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第1の動線認識エリア内での軌跡を示す動線データを記憶するための第1の動線データベース、前記第1の動線認識エリアに隣接する第2の動線認識エリア内を移動する移動体毎にその移動体が前記第2の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第2の動線認識エリア内での軌跡を示す動線データを記憶するための第2の動線データベース、前記第1の動線認識エリア内の少なくとも一部である第1の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第1の画像データベース、及び、前記第2の動線認識エリア内の少なくとも一部である第2の画像監視エリア内を撮影したカメラ画像データを撮影時刻とともに記憶するための第2の画像データベースの各データベースに対してアクセスが可能なコンピュータに、
前記第1の動線データベースに記憶された各動線データの中から前記第1の画像監視エリア内に位置する移動体の動線データを選択させる連結元動線選択機能と、
前記連結元動線選択機能により選択された動線データに対応する前記移動体が前記第1の画像監視エリア内に位置している期間の前記カメラ画像データを前記第1の画像データベースから取得し、その画像を表示部に表示させる第1のカメラ画像表示機能と、
前記第2の動線データベースに記憶された各動線データの中から前記第2の画像監視エリア内に位置する移動体の動線データを選択させる連結先動線選択機能と、
前記連結先動線選択機能により選択された動線データに対応する前記移動体が前記第2の画像監視エリア内に位置している期間の前記カメラ画像データを前記第2の画像データベースから取得し、その画像を前記表示部に表示させる第2のカメラ画像表示機能と、
前記連結元動線選択機能により選択された動線データと前記連結先動線選択機能により選択された動線データの連結宣言を受け付けさせる連結宣言受付機能と、
前記連結宣言を受付けると、前記連結元動線選択機能により選択された動線データの始点から前記連結先動線選択機能により選択された動線データの終点までの動線データを生成させる動線連結機能と、
を実現させるための動線連結プログラム。
【請求項8】
前記動線連結機能は、コンピュータに、前記連結元動線選択機能により選択された動線データの終点と前記連結先動線選択機能により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正させる動線補正機能を含むものである請求項7記載の動線連結プログラム。
【請求項9】
前記連結先動線選択機能は、コンピュータに、前記第2の動線データベースに記憶された各動線データの中から、始点が、前記連結元動線選択機能により選択された動線データの終点に近い順に各動線データを検索し、前記第2の画像監視エリア内を移動する移動体の動線データを選択させるものである請求項7または8記載の動線連結プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2011−170563(P2011−170563A)
【公開日】平成23年9月1日(2011.9.1)
【国際特許分類】
【出願番号】特願2010−32947(P2010−32947)
【出願日】平成22年2月17日(2010.2.17)
【出願人】(000003562)東芝テック株式会社 (5,631)
【Fターム(参考)】
【公開日】平成23年9月1日(2011.9.1)
【国際特許分類】
【出願日】平成22年2月17日(2010.2.17)
【出願人】(000003562)東芝テック株式会社 (5,631)
【Fターム(参考)】
[ Back to top ]