動線連結方法，装置及び動線連結プログラム
【課題】複数の動線認識システムでそれぞれ認識される動線のなかから同一人物に対する動線どうしを連結できるようにする。
【解決手段】連結元動線の終点が検出された時点のカメラ画像データを選択する。そして、この画像データを処理して人物画像を抽出する。連結先動線の始点が検出された時点のカメラ画像データを選択する。そして、この画像データを処理して人物画像を抽出する。各人物画像との同定処理を行う。そして、同一人物であることが確認されると、連結元動線に連結先動線を連結する。
【解決手段】連結元動線の終点が検出された時点のカメラ画像データを選択する。そして、この画像データを処理して人物画像を抽出する。連結先動線の始点が検出された時点のカメラ画像データを選択する。そして、この画像データを処理して人物画像を抽出する。各人物画像との同定処理を行う。そして、同一人物であることが確認されると、連結元動線に連結先動線を連結する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば店舗内を移動する買物客の軌跡を示す動線データの連結技術に関する。
【背景技術】
【０００２】
スーパーマーケット，コンビニエンスストア等の店舗内を移動する買物客の軌跡を動線として認識する動線認識システムには、カメラを用いた画像処理方式や無線タグリーダを用いた無線タグ追跡方式等がある。画像処理方式の場合、現状の画像処理技術では、各カメラで監視領域の全エリアを死角なく撮影したとしても、一人の買物客の監視領域全域の動きを１つの動線として追跡することはきわめて困難である。例えば、他の買物客とすれ違った際に動線が途切れたり、動線が入れ替わったりする場合が考えられる。
【０００３】
例えば特許文献１には、画像処理方式の動線認識システムにより生成された複数の動線データの中から同一客に対する動線データを選択し、それぞれを連結して１本の動線データを生成する動線編集システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、動線認識に必要な情報処理はコンピュータを用いて行うが、その情報処理には大きな負荷を要するため、１台のコンピュータに接続可能なカメラや無線タグリーダの台数には限りがある。このため、単一の動線認識システムで動線を認識可能な監視領域の広さには自ずと限界がある。そこで、複数の動線認識システムで認識された動線の中から同一人物に対する動線を連結する技術が求められている。
【０００５】
本発明はこのような事情に基づいてなされたもので、その目的とするところは、複数の動線認識システムでそれぞれ認識される動線のなかから同一人物に対する動線どうしを連結することができ、広域な領域全体を補っての動線認識を可能ならしめる動線連結方法及び装置並びにプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００６】
本発明の動線連結方法は、第１の動線認識エリア内を移動する移動体、例えば人物毎にその移動体が第１の動線認識エリアに進入した地点である始点から退出した地点である終点までの第１の動線認識エリア内での軌跡を示す動線データを記憶するための第１の動線データベース、第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体毎にその移動体が第２の動線認識エリアに進入した地点である始点から退出した地点である終点までの第２の動線認識エリア内での軌跡を示す動線データを記憶するための第２の動線データベース、少なくとも第１の動線認識エリアと第２の動線認識エリアとが隣接する境界近傍を第１の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第１の画像データベース、及び、少なくとも前記境界近傍を第２の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第２の画像データベースの各データベースに対してアクセスが可能なコンピュータが、第１の動線データベースに記憶された各動線データの中から、境界近傍を終点とする移動体の動線データを選択し（連結元動線選択段階）と、この選択された動線データの終点が検出された時点の前記境界近傍を撮影したカメラ画像データを第１の画像データベースから選択し（連結元画像選択段階）、この選択されたカメラ画像データから移動体画像を抽出する（連結元移動体画像抽出段階）。また、コンピュータが、第２の動線データベースに記憶された各動線データの中から、連結元動線選択段階により選択された動線データの終点が検出された時点の前後に前記境界近傍を始点として追跡された移動体の動線データを選択し（連結先動線選択段階）、この選択された動線データの始点が検出された時点の前記境界近傍を撮影したカメラ画像データを第２の画像データベースから選択し（連結先画像選択段階）、この選択されたカメラ画像データから移動体画像を抽出する（連結先移動体画像抽出段階）。そして、コンピュータが、連結元移動体画像抽出段階により抽出された移動体画像と連結先移動体画像抽出段階により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定し、移動体が同一であると判定されると、連結元動線選択段階により選択された動線データに連結先動線選択段階により選択された動線データを連結することで、第１の動線データベースに記憶された各移動体の動線データと第２の動線データベースに記憶された各移動体の動線データとのなかから、同一移動体の動線データどうしを連結するようにしたものである。
【０００７】
本発明の動線認識装置は、前記第１，第２の動線データベース及び第１，第２の画像データベースにアクセス可能で、第１の動線データベースに記憶された各動線データの中から、第１の動線認識エリアと第２の動線認識エリアとが隣接する境界近傍を終点とする移動体の動線データを選択する連結元動線選択手段と、この連結元動線選択手段により選択された動線データの終点が検出された時点の前記境界近傍を撮影したカメラ画像データを第１の画像データベースから選択する連結元画像選択手段と、この連結元画像選択手段により選択されたカメラ画像データから移動体画像を抽出する連結元移動体画像抽出手段と、第２の動線データベースに記憶された各動線データの中から、連結元動線選択手段により選択された動線データの終点が検出された時点の前後に前記境界近傍を始点として追跡された移動体の動線データを選択する連結先動線選択手段と、この連結先動線選択手段により選択された動線データの始点が検出された時点の前記境界近傍を撮影したカメラ画像データを第２の画像データベースから選択する連結先画像選択手段と、この連結先画像選択手段により選択されたカメラ画像データから移動体画像を抽出する連結先移動体画像抽出手段と、連結元移動体画像抽出手段により抽出された移動体画像と連結先移動体画像抽出手段により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定する移動体同定手段と、この移動体同定手段により移動体が同一であると判定されると、連結元動線選択手段により選択された動線データに連結先動線選択手段により選択された動線データを連結する動線連結手段とを備えたものである。
【０００８】
本発明の動線認識プロクラムは、前記第１，第２の動線データベース及び第１，第２の画像データベースにアクセス可能なコンピュータに、第１の動線データベースに記憶された各動線データの中から、第１の動線認識エリアと第２の動線認識エリアとが隣接する境界近傍を終点とする移動体の動線データを選択させる連結元動線選択機能と、の連結元動線選択機能により選択された動線データの終点が検出された時点の前記境界近傍を撮影したカメラ画像データを第１の画像データベースから選択させる連結元画像選択機能と、この連結元画像選択機能により選択されたカメラ画像データから移動体画像を抽出させる連結元移動体画像抽出機能と、第２の動線データベースに記憶された各動線データの中から、連結元動線選択機能により選択された動線データの終点が検出された時点の前後に境界近傍を始点として追跡された移動体の動線データを選択させる連結先動線選択機能と、この連結先動線選択機能により選択された動線データの始点が検出された時点の境界近傍を撮影したカメラ画像データを第２の画像データベースから選択させる連結先画像選択機能と、この連結先画像選択機能により選択されたカメラ画像データから移動体画像を抽出させる連結先移動体画像抽出機能と、連結元移動体画像抽出機能により抽出された移動体画像と連結先移動体画像抽出機能により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定させる移動体同定機能と、この移動体同定機能により移動体が同一であると判定されると、連結元動線選択機能により選択された動線データに連結先動線選択機能により選択された動線データを連結させる動線連結機能とを実現させるためのものである。
【発明の効果】
【０００９】
かかる手段を講じた本発明によれば、複数の動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線どうしを連結することができ、広域な領域全体を補っての動線認識を可能ならしめる効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態である動線連結装置の要部構成を示すブロック図。
【図２】同実施形態が適用される店舗の説明図。
【図３】同実施形態における動線認識システムの概略構成図。
【図４】同実施形態において、画像データベースに記憶される画像データの構造を示す模式図。
【図５】同実施形態において、動線データベースに記憶される動線データの構造を示す模式図。
【図６】同実施形態における動線認識システムのカメラレイアウトの一例を示す模式図。
【図７】同実施形態において、動線連結装置が有する設定テーブルの一データ例を示す模式図。
【図８】同実施形態において、動線連結プログラムが起動したときの動線連結装置の制御部が実行する主要な処理手順を示す流れ図。
【図９】図８における連結元動線検出処理の具体的処理手順を示す流れ図。
【図１０】図８における連結先動線選択処理の具体的処理手順を示す流れ図。
【図１１】図８における連結実行処理の具体的処理手順を示す流れ図。
【発明を実施するための形態】
【００１１】
以下、本発明を実施形態について、図面を用いて説明する。
なお、この実施形態は、図２に示すように、互いに隣接して客が行き来できる４つの売場Ａ，売場Ｂ，売場Ｃ及び売場Ｄを備えた店舗１に適用した場合である。
【００１２】
図２に示すように、売場Ａは、売場Ｂ及び売場Ｄと隣接し、売場Ｂは、売場Ａ及び売場Ｃと隣接し、売場Ｃは、売場Ｂ及び売場Ｄと隣接し、売場Ｄは、売場Ｃ及び売場Ａと隣接している。そして、隣接する各売場間には、それぞれ客が行き来できるように通路が形成されている。また、売場Ａと売場Ｄとには、客が入退場可能な入退場口Ｇ１，Ｇ２が設けられている。
【００１３】
各売場Ａ〜Ｄには、それぞれその売場内を移動する移動体である人物（買物客）の軌跡を動線として認識するための動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤが構築されている。すなわち、売場Ａは動線認識システムＳＡの動線認識エリアとなっており、売場Ｂは動線認識システムＳＢの動線認識エリアとなっており、売場Ｃは動線認識システムＳＣの動線認識エリアとなっており、売場Ｄは動線認識システムＳＤの動線認識エリアとなっている。
【００１４】
本実施形態では、各動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤとして、いずれもカメラを用いた画像処理方式を採用する。画像処理方式の動線認識システムは、図３に示すように、複数基のカメラ２と、コンピュータを主体とした動線認識装置３とを備える。
【００１５】
各カメラ２は、魚眼レンズを用いたカメラや全方位ミラー付のカメラ等の広角レンズカメラである。これらのカメラ２は、視体積交差法により、それぞれ対応する売場Ａ，Ｂ，Ｃ，Ｄ内を移動する買物客の軌跡、すなわち人物動線を追跡するために用いられる。視体積交差法は、例えば客の頭部を複数の方向から撮影し、各画像の頭部の位置から頭部の店内空間に適宜設置された３次元座標系内の座標値を算出する方法である。１つの監視領域に配置されるカメラの台数は特に制限されないが、視体積交差法による位置検出精度を高めるためには少なくとも３台は必要である。
【００１６】
各カメラ２は、動線認識装置３が備えるカメラコントロール部３１の一元制御により一定の周期（例えば１／１５秒）で撮影動作を繰り返し、その撮影画像（フレーム画像）を動線認識装置３に送信する。動線認識装置３は、カメラコントロール部３１の他、カメラ画像データベース３２、動線生成部３３及び動線データベース３４を備えている。
【００１７】
カメラ画像データベース３２は、各カメラ２で撮影されたフレーム画像データを順次蓄積する。カメラ画像データベース３２に蓄積されるフレーム画像データの構造を、図４の模式図で示す。図４に示すように、フレーム画像データは、カメラＩＤ、フレーム番号及び撮影時刻が関連付けられて、カメラ画像データベース３２に記憶される。カメラＩＤは、当該画像データを撮影したカメラ２の識別コードである。各カメラ２には、それぞれ固有のカメラＩＤが予め設定されている。フレーム番号は、各カメラ２でフレーム画像が撮影される毎にカウントアップされる“１”からの連続番号である。カメラコントロール部３１の制御により、各カメラ２のフレーム番号は同期している。撮影日時は、当該画像データが撮影された時点の日時（年月日時分秒）である。
【００１８】
動線生成部３３は、カメラ画像データベース３２に蓄積されたフレーム画像データの画像処理により動線認識エリア（売場）内を移動する買物客を認識し、この買物客が動線認識エリアに進入した地点である始点から退出した地点である終点までの動線認識エリア内での軌跡を示す動線データを作成する。動線生成部３３は、例えば前記１に記載された技術により、複数に途切れた同一買物客の動線を１本の動線に連結する機能を有している。
【００１９】
動線データベース３４は、動線生成部３３により買物客毎に生成される動線データを順次蓄積する。動線データベース３４に蓄積される動線データの構造を、図５の模式図で示す。図５に示すように、動線データは、動線ＩＤが関連付けられて、動線データベース３４に記憶される。動線ＩＤは、当該動線データを個々に特定するための動線特定情報である。動線生成部３３は、買物客１名の動線データを生成する毎に、その動線データに固有の動線ＩＤを付して、動線データベース３４に格納する。
【００２０】
動線データは、始点フレーム“１”のフレーム番号、及び終点フレーム“ｎ”（ｎ＞１の整数）のフレーム番号と、始点フレーム“１”から終点フレーム“ｎ”までのフレーム毎のインデックスデータとから構成されている。インデックスデータは、少なくとも店内の三次元座標（Ｘ，Ｙ，Ｈ）とフレーム撮影時刻Ｔとを含む。始点フレーム“１”番号は、当該動線データの買物客が最初に認識されたフレーム画像のフレーム番号であり、このフレーム画像の撮影時刻が始点フレーム“１”に対するインデックスデータのフレーム撮影時刻Ｔとなる。終点フレーム”ｎ”番号は、当該買物客が最後に認識されたフレーム画像のフレーム番号であり、このフレーム画像の撮影時刻が終点フレーム“ｎ”に対するインデックスデータのフレーム撮影時刻Ｔとなる。フレーム番号毎の店内座標は、対応するフレーム番号のフレーム画像から認識された当該顧客の位置を、三次元の世界座標系（Ｘ，Ｙ，Ｈ）で特定したものである。本実施形態では、図２において、左下の角をＸ軸及びＹ軸の原点Ｏ（０，０）とし、その床面をＨ（Height）軸の原点としている。
【００２１】
図３の動線認識システムは、売場Ａ，Ｂ，Ｃ，Ｄ毎に構築される。各動線認識システムのカメラ２は、それぞれ対応する売場Ａ，Ｂ，Ｃ，Ｄの天井部等に分散して取り付けられる。本実施形態では、説明の便宜上、図６の＃１〜＃６に示すレイアウトで、カメラ２が売場Ａ，Ｂ，Ｃ，Ｄ毎に各６基ずつ取り付けられているものとする。
【００２２】
図１は、本発明に係わる動線連結装置４の要部構成を示すブロック図である。動線連結装置４は、入力部４１、表示部４２、データベースアクセス部４３、プログラム記憶部４４、データ記憶部４５、ファイル記憶部４６及び制御部４７を備えている。入力部４１は、キーボード，マウス等の入力デバイスからなる。表示部４２は、液晶ディスプレイ，ＣＲＴディスプレイ等の表示デバイスからなる。タッチパネル付のディスプレイを用いることで、入力部と表示部を兼用してもよい。
【００２３】
データベースアクセス部４３は、各動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤの動線認識装置３（３ＳＡ，３ＳＢ，３ＳＣ，３ＳＤ）がそれぞれ有する動線データベース３４ＳＡ，３４ＳＢ，３４ＳＣ，３４ＳＤとカメラ画像データベース３２ＳＡ，３２ＳＢ，３２ＳＣ，３２ＳＤにアクセスし、動線データやフレーム画像データを読取ったり書き込んだりできる。
【００２４】
プログラム記憶部４４は、ＲＯＭ（Read Only Memory）で構成されている。データ記憶部４５は、ＲＡＭ（Random Access Memory）で構成されている。ファイル記憶部４６は、ハードディスクや光磁気ディスク等の記録媒体で構成されている。制御部４７は、ＣＰＵ（Central Processing Unit）を主体に構成されている。かかる構成の動線連結装置４は、パーソナルコンピュータ等のコンピュータ機器によって実現される。
【００２５】
プログラム記憶部４４には、コンピュータに、ある売場（動線認識エリア）の動線認識システムによって認識された動線データと、当該売場に隣接する他の売場の動線認識システムによって認識された動線データとの中から、売場間を行き来した同一買物客の動線データを選択させて連結させるプログラム、いわゆる動線連結プログラムが実装されている。制御部４７は、上記動線連結プログラムに従い、動線データの連結を行う。
【００２６】
以下、動線データの連結手順について、具体的に説明する。はじめに、各動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤの動線データベース３４ＳＡ，３４ＳＢ，３４ＳＣ，３４ＳＤに記憶される動線データについて説明する。
【００２７】
動線認識システムＳＡに対応した動線認識装置３ＳＡの動線データベース３４ＳＡには、買物客が売場Ａに進入した地点である始点から退出した地点である終点までの売場Ａ内での軌跡を示す動線データが蓄積される。買物客は、入退場口Ｇ１または売場Ａ，Ｂ間の通路ＡＢ若しくは売場Ｄ，Ａ間の通路ＤＡから売場Ａに進入及び退出できる。したがって、動線データベース３４ＳＡに蓄積される動線データは、次の９種類である。
【００２８】
１．入退場口Ｇ１から入店し、売場Ａだけを回って入退場口Ｇ１から退店した買物客のデータ。
２．入退場口Ｇ１から入店し、通路ＡＢを通って売場Ｂに移動した買物客のデータ。
３．入退場口Ｇ１から入店し、通路ＤＡを通って売場Ｄに移動した買物客のデータ。
４．売場Ｂより通路ＡＢを通って売場Ａに入り、再び通路ＡＢを通って売場Ｂに戻った買物客のデータ。
５．売場Ｂより通路ＡＢを通って売場Ａに入り、さらに通路ＤＡを通って売場Ｄに移動した買物客のデータ。
６．売場Ｂより通路ＡＢを通って売場Ａに入り、入退場口Ｇ１から退店した買物客のデータ。
７．売場Ｄより通路ＤＡを通って売場Ａに入り、再び通路ＤＡを通って売場Ｄに戻った買物客のデータ。
８．売場Ｄより通路ＤＡを通って売場Ａに入り、さらに通路ＡＢを通って売場Ｂに移動した買物客のデータ。
９．売場Ｄより通路ＤＡを通って売場Ａに入り、入退場口Ｇ１から退店した買物客のデータ。
【００２９】
動線認識システム２Ｂに対応した動線認識装置３ＳＢの動線データベース３４ＳＢには、買物客が売場Ｂに進入した地点である始点から退出した地点である終点までの売場Ｂ内での軌跡を示す動線データが蓄積される。買物客は、通路ＡＢまたは通路ＢＣから売場Ｂに進入及び退出できる。したがって、動線データベース３４ＳＢに蓄積される動線データは、次の４種類である。
【００３０】
１．売場Ａより通路ＡＢを通って売場Ｂに入り、再び通路ＡＢを通って売場Ａに戻った買物客のデータ。
２．売場Ａより通路ＡＢを通って売場Ｂに入り、さらに通路ＢＣを通って売場Ｃに移動した買物客のデータ。
３．売場Ｃより通路ＢＣを通って売場Ｂに入り、再び通路ＢＣを通って売場Ｃに戻った買物客のデータ。
４．売場Ｃより通路ＢＣを通って売場Ｂに入り、さらに通路ＡＢを通って売場Ａに移動した買物客のデータ。
【００３１】
動線認識システム２Ｃに対応した動線認識装置３ＳＣの動線データベース３４ＳＣには、買物客が売場Ｃに進入した地点である始点から退出した地点である終点までの売場Ｃ内での軌跡を示す動線データが蓄積される。買物客は、通路ＢＣまたは通路ＣＤから売場Ｃに進入及び退出できる。したがって、動線データベース３４ＳＣに蓄積される動線データは、次の４種類である。
【００３２】
１．売場Ｂより通路ＢＣを通って売場Ｃに入り、再び通路ＢＣを通って売場Ｂに戻った買物客のデータ。
２．売場Ｂより通路ＢＣを通って売場Ｃに入り、さらに通路ＣＤを通って売場Ｄに移動した買物客のデータ。
３．売場Ｄより通路ＣＤを通って売場Ｃに入り、再び通路ＣＤを通って売場Ｄに戻った買物客のデータ。
４．売場Ｄより通路ＣＤを通って売場Ｃに入り、さらに通路ＢＣを通って売場Ｂに移動した買物客のデータ。
【００３３】
動線認識システム２Ｄに対応した動線認識装置３ＳＤの動線データベース３４ＳＤには、買物客が売場Ｄに進入した地点である始点から退出した地点である終点までの売場Ｄ内での軌跡を示す動線データが蓄積される。買物客は、入退場口Ｇ２または通路ＣＤ若しくは通路ＤＡから売場Ｄに進入及び退出できる。したがって、動線データベース３４ＳＤに蓄積される動線データは、次の９種類である。
【００３４】
１．入退場口Ｇ２から入店し、売場Ｄだけを回って入退場口Ｇ２から退店した買物客のデータ。
２．入退場口Ｇ２から入店し、通路ＤＡを通って売場Ａに移動した買物客のデータ。
３．入退場口Ｇ２から入店し、通路ＣＤを通って売場Ｃに移動した買物客のデータ。
４．売場Ａより通路ＤＡを通って売場Ｄに入り、再び通路ＤＡを通って売場Ａに戻った買物客のデータ。
５．売場Ａより通路ＤＡを通って売場Ｄに入り、さらに通路ＣＤを通って売場Ｃに移動した買物客のデータ。
６．売場Ａより通路ＤＡを通って売場Ｄに入り、入退場口Ｇ２から退店した買物客のデータ。
７．売場Ｃより通路ＣＤを通って売場Ｄに入り、再び通路ＣＤを通って売場Ｃに戻った買物客のデータ。
８．売場Ｃより通路ＣＤを通って売場Ｄに入り、さらに通路ＤＡを通って売場Ａに移動した買物客のデータ。
９．売場Ｃより通路ＣＤを通って売場Ｄに入り、入退場口Ｇ２から退店した買物客のデータ。
【００３５】
ここで、売場Ａとこの売場Ａに隣接する売場Ｂとを考えると、その間の境界領域である通路ＡＢを終点とする一方の動線認識システムによる動線データと、同通路ＡＢを始点とする他方の動線認識システムによる動線データとを連結すればよい。すなわち、動線データベース３４ＳＡの２番目、４番目及び８番目のデータを連結元動線データとしたとき、動線データベース３４ＳＢの１番目と２番目のデータが連結先動線データの候補となる。逆に、動線データベース３４ＳＢの１番目と４番目のデータを連結元動線データとしたとき、動線データベース３４ＳＡの４番目，５番目及び６番目のデータが連結先動線データの候補となる。
【００３６】
他の境界領域である通路ＢＣ，通路ＣＤ及び通路ＤＡについても同様である。すなわち、動線データベース３４ＳＢの２番目及び３番目のデータを連結元動線としたとき、動線データベース３４ＳＣの１番目と２番目のデータが連結先動線の候補となり、動線データベース３４ＳＣの１番目と４番目のデータを連結元動線としたとき、動線データベース３４ＳＢの３番目と４番目のデータが連結先動線の候補となる。また、動線データベース３４ＳＣの２番目及び３番目のデータを連結元動線としたとき、動線データベース３４ＳＤの７番目、８番目及び９番目のデータが連結先動線の候補となり、動線データベース３４ＳＤの３番目、５番目及び７番目のデータを連結元動線としたとき、動線データベース３４ＳＣの３番目と４番目のデータが連結先動線の候補となる。また、動線データベース３４ＳＤの２番目、４番目及び８番目のデータを連結元動線としたとき、動線データベース３４ＳＡの７番目、８番目及び９番目のデータが連結先動線の候補となり、動線データベース３４ＳＡの３番目、５番目及び７番目のデータを連結元動線としたとき、動線データベース３４ＳＡの７番目、８番目及び９番目のデータが連結先動線の候補となる。
【００３７】
さて、本実施形態では、連結元動線に連結先動線を連結するに際し、その可否判定に、境界領域である通路ＡＢ，通路ＢＣ，通路ＣＤ及び通路ＤＡの近傍を撮影したカメラ画像を使用する。これを実現するために、動線連結装置４は、図７に示すデータ構造の設定テーブル５を備えている。設定テーブル５は、制御部４７が内蔵するメモリに記憶されていてもよいし、データ記憶部４５に記憶されていてもよい。図７の設定テーブル５は、図６に示したカメラレイアウトに対応している。
【００３８】
図６の場合、売場Ａと売場Ｂとを結ぶ通路ＡＢを撮影可能なカメラ２は、売場Ａ側の動線認識システムＳＡでは＃１，＃２，＃３の３台であり、売場Ｂ側の動線認識システムＳＢでは＃４，＃５，＃６の３台である。売場Ｂと売場Ｃとを結ぶ通路ＢＣを撮影可能なカメラ２は、売場Ｂ側の動線認識システムＳＢでは＃１，＃４の２台であり、売場Ｃ側の動線認識システムＳＣでは＃３，＃６の２台である。売場Ｃと売場Ｄとを結ぶ通路ＣＤを撮影可能なカメラ２は、売場Ｃ側の動線認識システムＳＣでは＃４，＃５，＃６の３台であり、売場Ｄ側の動線認識システムＳＤでは＃１，＃２，＃３の３台である。売場Ｄと売場Ａとを結ぶ通路ＤＡを撮影可能なカメラ２は、売場Ｄ側の動線認識システムＳＤでは＃３，＃６の２台であり、売場Ａ側の動線認識システムＳＡでは＃１，＃４の２台である。
【００３９】
設定テーブル５には、境界領域である通路を特定する情報（項目「境界領域」）に対応して、連結対象となる一方の動線認識システムの識別情報（項目「連結対象１」）、及びその動線認識システムにおいて連結可否判定に使用される画像を撮影するカメラの特定情報（項目「判定カメラ１」）と、連結対象となる他方の動線認識システムの識別情報（項目「連結対象２」）、及びその動線認識システムにおいて連結可否判定に使用される画像を撮影するカメラの特定情報（項目「判定カメラ２」）とが設定されている。
【００４０】
例えば入力部４１の操作入力により、動線連結業務の開始が指令されると、動線連結プログラムが起動する。これにより、制御部４７は、図８の流れ図に示す手順で各部を制御する。
【００４１】
先ず、ＳＴ（ステップ）１としてレコードカウンタｒを“０”に初期化する。次いで、ＳＴ２として上記レコードカウンタｒを“１”だけカウントアップする。そして、ＳＴ３としてこのレコードカウンタｒが設定テーブル５のレコード数Ｒ（本実施形態では４）を超えたか否かを判断する。
【００４２】
この時点では、未だ超えていないので、制御部４７は、ＳＴ４として制御フラグＦを“０”にリセットする。なお、レコードカウンタｒ及び制御フラグＦは、データ記憶部４５に記憶されている。
【００４３】
次に、制御部４７は、ＳＴ５として設定テーブル５からレコード番号ｒのレコード（「境界領域」、「連結対象１」、「判定カメラ１」、「連結対象２」、「判定カメラ２」）を取得する。そして、ＳＴ６としてレコード番号ｒの設定テーブルレコードの項目「連結対象１」の識別情報で特定される動線認識システムの動線データベースを連結元動線データベースとして設定する。また、ＳＴ７として、レコード番号ｒの設定テーブルレコードの項目「連結対象２」の識別情報で特定される動線認識システムの動線データベースを連結先動線データベースとして設定する。
【００４４】
次に、制御部４７は、ＳＴ８として連結元動線データベースから連結元動線を検出する処理、いわゆる連結元動線検出処理を実行し、続いて、ＳＴ９として連結先動線データベースから連結先動線を選択する処理、いわゆる連結先動線選択処理を実行する。しかる後、ＳＴ１０として連結元動線に連結先動線を連結する連結実行処理を実行する。なお、これら連結元動線検出処理、連結先動線選択処理及び連結実行処理については後述する。
【００４５】
これらの処理が終了すると、制御部４７は、ＳＴ１１として連結後の動線データが完全動線であるか否かを判断する。本実施形態では、始点と終点とがいずれも入退場口Ｇ１またはＧ２にある動線データを完全動線と称する。連結後の動線データが完全動線でない場合（ＳＴ１１のＮＯ）、制御部４７は、ＳＴ１２として連結後の動線データを連結先動線データベースに上書き保存する。これに対し、連結後の動線データが完全動線である場合は（ＳＴ１１のＹＥＳ）、制御部４７は、ＳＴ１３として連結後の動線データを完全動線データベースに新規保存する。完全動線データベースは、ファイル記憶部４６に形成されている。
【００４６】
連結後の動線データを連結先動線データベースまたは完全動線データベースに保存したならば、制御部４７は、ＳＴ１４として制御フラグＦをチェックする。この時点では、制御フラグＦは“０”にリセットされているので、制御部４７は、ＳＴ１５として制御フラグＦを”１”にセットする。そして、ＳＴ１６として、今度はレコード番号ｒの設定テーブルレコードの項目「連結対象２」の識別情報で特定される動線認識システムの動線データベースを連結元動線データベースとして設定する。また、ＳＴ１７として、同設定テーブルレコードの項目「連結対象１」の識別情報で特定される動線認識システムの動線データベースを連結先動線データベースとして設定する。そして、制御部４７は、再びＳＴ８〜ＳＴ１０の連結元動線検出処理、連結先動線選択処理及び連結実行処理を実行する。その結果、連結後の動線データが完全動線でなければ（ＳＴ１１のＮＯ）、連結先動線データベースに上書き保存し（ＳＴ１２）、完全動線であれば（ＳＴ１１のＹＥＳ）、完全動線データベースに新規保存する（ＳＴ１３）。なお、連結後動線データを連結先動線データベースに上書き保存するのでなく、新規保存し、連結先動線データベースから連結前の連結先動線データを削除してもよい。
【００４７】
こうして、連結後の動線データを連結先動線データベースまたは完全動線データベースに保存したならば、制御部４７は、再び制御フラグＦをチェックする（ＳＴ１４）。この時点では、制御フラグＦは“１”にセットされているので、制御部４７は、ＳＴ２の処理に戻る。以後、制御部４７は、レコードカウンタｒがレコード数Ｒを越えるまで、ＳＴ４〜ＳＴ１７の処理を繰返し実行する。レコードカウンタｒがレコード数Ｒを越えたならば（ＳＴ３のＹＥＳ）、設定テーブル５に設定されている全てのレコードについて処理されたので、動線連結プログラムが終了する。
【００４８】
図９は連結元動線検出処理の具体的な処理手順を示す流れ図である。前記ＳＴ８にて連結元動線検出処理が開始されると、制御部４７は、先ず、ＳＴ２１として第１ポインタｐを一旦“０”にリセットする。次いで、ＳＴ２２として上記第１ポインタｐを“１”だけ増加する。そして、ＳＴ２３としてこの第１ポインタｐが、前記ＳＴ６またはＳＴ１６の処理で設定された連結元動線データベースの動線データ数ＰＳを超えたか否かを判断する。
【００４９】
第１ポインタｐが連結元動線データベースの動線データ数ＰＳを超えていない場合（ＳＴ２３のＮＯ）、制御部４７は、ＳＴ２４として連結元動線データベースからｐ番目の動線データを取り込む。そして、ＳＴ２５としてこのｐ番目動線データの終点を示すフレームｎインデックス情報から二次元座標（Ｘｎ，Ｙｎ）を検出する。そして、ＳＴ２６としてこの二次元座標（Ｘｎ，Ｙｎ）の地点が、所定の境界領域ＢＦ内に位置するか否かを判断する。
【００５０】
ここで、所定の境界領域ＢＦとは、レコード番号ｒの設定テーブルレコードの項目「境界領域」の識別情報で特定される通路の領域（図６中、波線で囲われた通路ＡＢ，ＢＣ，ＣＤ，ＤＡの各矩形領域）である。制御部４７は、通路ＡＢ，ＢＣ，ＣＤ及びＤＡの境界領域毎に、その左上角の二次元座標と右下角の二次元座標とを示すデータを予め記憶している。ＳＴ２６の処理にて二次元座標（Ｘｎ，Ｙｎ）を取得すると、この座標が、該当する境界領域ＢＦの左上角と右下角の各座標を結ぶ矩形の領域内に存在するか否かを判別する。存在する場合には、当該動線データの終点が該当する境界領域ＢＦ内に位置すると決定する。
【００５１】
当該動線データの終点が境界領域ＢＦ内に位置していない場合（ＳＴ２６のＮＯ）、制御部４７は、ＳＴ２２の処理に戻る。これに対し、当該動線データの終点が境界領域ＢＦ内に位置している場合には（ＳＴ２６のＹＥＳ）、制御部４７は、当該動線データを連結元動線として選択する（連結元動線選択手段）。
【００５２】
制御部４７は、ｐ番目動線データを連結元動線データとして選択すると、ＳＴ２７として、このｐ番目動線データの終点フレームｎ番号を検出する。次いで、ＳＴ２８としてレコード番号ｒの設定テーブルレコードの項目「連結対象１」の識別情報で特定される動線認識システムの画像データベースを検索する。そして、同設定テーブルレコードの［判定カメラ１］に設定されている識別情報で特定されるカメラ２の画像データの中から、終点フレームｎ番号が設定されたフレーム画像を取り込む（連結元画像選択手段）。
【００５３】
次に、制御部４７は、ＳＴ２９として終点フレームｎ番号のフレーム画像データを解析して、これらの画像データから人物画像を抽出する（連結元移動体画像抽出手段）。そして、人物画像を抽出できたならば、制御部４７は、ＳＴ３０としてｐ番目動線データの動線ＩＤ、及び、終点を示すフレームｎインデックス情報と、抽出された人物画像のデータとを関連付けた１レコードを生成し、データ記憶部４５上の連結元動線メモリに記憶させる。しかる後、制御部４７は、ＳＴ２２の処理に戻る。
【００５４】
以後、制御部４７は、第１ポインタｐを増加する毎に、ＳＴ２４〜ＳＴ３０の処理を繰返し実行する。そして、第１ポインタｐが連結元動線データベースの動線データ数ＰＳを超えたならば、この連結元動線検出処理を終了する。
【００５５】
図１０は連結先動線検出処理の具体的な処理手順を示す流れ図である。前記ＳＴ９にて連結先動線検出処理が開始されると、制御部４７は、先ず、ＳＴ４１として第１ポインタｐを一旦“０”にリセットする。次いで、ＳＴ４２として上記第１ポインタｐを“１”だけ増加する。そして、ＳＴ４３としてこの第１ポインタｐが、前記ＳＴ７またはＳＴ１７の処理で設定された連結先動線データベースのレコード数ＰＦを超えたか否かを判断する。
【００５６】
第１ポインタｐが連結先動線データベースの動線データ数ＰＦを超えていない場合（ＳＴ４３のＮＯ）、制御部４７は、ＳＴ４４として連結先動線データベースからｐ番目の動線データを取り込む。そして、ＳＴ４５としてこのｐ番目動線データの始点を示すフレーム１インデックス情報から二次元座標（Ｘ１，Ｙ１）を検出する。そして、ＳＴ４６としてこの二次元座標（Ｘ１，Ｙ１）の地点が、所定の境界領域ＢＦ内か否かを判断する。
【００５７】
この判断処理は、前記連結元動線検出処理のＳＴ２６の処理と同様である。ｐ番目当該動線データの始点が境界領域ＢＦ内に位置していない場合（ＳＴ４６のＮＯ）、制御部４７は、ＳＴ４２の処理に戻る。これに対し、当該動線データの始点が境界領域ＢＦ内に位置している場合には（ＳＴ４６のＹＥＳ）、制御部４７は、当該動線データを連結先動線として選択する（連結先動線選択手段）。
【００５８】
制御部４７は、ｐ番目動線データを連結先動線データとして選択すると、ＳＴ４７として、このｐ番目動線データの始点フレーム１番号を検出する。次いで、ＳＴ４８としてレコード番号ｒの設定テーブルレコードの項目「連結対象２」の識別情報で特定される動線認識システムの画像データベースを検索する。そして、同設定テーブルレコードの［判定カメラ２］に設定されている識別情報で特定されるカメラ２の画像データの中から、始点フレーム１番号が設定されたフレーム画像を取り込む（連結先画像選択手段）。
【００５９】
次に、制御部４７は、ＳＴ４９として始点フレーム１番号のフレーム画像データを解析して、これらの画像データから人物画像を抽出する（連結先移動体画像抽出手段）。そして、人物画像を抽出できたならば、制御部４７は、ＳＴ５０としてｐ番目動線データの動線ＩＤ、及び、始点を示すフレーム１インデックス情報と、抽出した人物画像のデータとを関連付けた１レコードを生成し、データ記憶部４５上の連結先動線メモリに記憶させる。しかる後、制御部４７は、ＳＴ４２の処理に戻る。
【００６０】
以後、制御部４７は、第１ポインタｐを増加する毎に、ＳＴ４４〜ＳＴ５０の処理を繰返し実行する。そして、第１ポインタｐが連結先動線データベースの動線データ数ＰＦを超えたならば、この連結先動線検出処理を終了する。
【００６１】
図１１は連結実行処理の具体的な処理手順を示す流れ図である。前記ＳＴ１０にて連結実行処理が開始されると、制御部４７は、先ず、ＳＴ６１として第１ポインタｐを一旦“０”にリセットする。次いで、ＳＴ６２として上記第１ポインタｐを“１”だけ増加する。そして、ＳＴ６３としてこの第１ポインタｐが連結元動線メモリのレコード数ＮＳを超えたか否かを判断する。
【００６２】
第１ポインタｐが連結元動線メモリのレコード数ＮＳを超えていない場合（ＳＴ６３のＮＯ）、制御部４７は、ＳＴ６４として連結元動線メモリからｐ番目のレコードデータを読み込む。
【００６３】
次に、制御部４７は、ＳＴ６５として第２ポインタｑを一旦“０”にリセットする。次いで、ＳＴ６６として上記第２ポインタｑを“１”だけ増加する。そして、ＳＴ６７としてこの第２ポインタｑが連結先動線メモリのレコード数ＮＦを超えたか否かを判断する。
【００６４】
第２ポインタｑが連結先動線メモリのレコード数ＮＦを超えていない場合（ＳＴ６７のＮＯ）、制御部４７は、ＳＴ６８として連結先動線メモリからｑ番目のレコードデータを読み込む。
【００６５】
次に、制御部４７は、ＳＴ６９として連結元動線メモリから読込んだｐ番目レコードデータに含まれる終点フレームｎインデックス情報の時刻Ｔｎと、連結先動線メモリから読込んだｑ番目レコードデータに含まれる始点フレーム１インデックス情報の時刻Ｔ１とを比較し、時間差ΔＴ＝｜Ｔｎ−Ｔ１｜を算出する。そして、この時間差ΔＴが予め設定された許容範囲内か否かを判断する。時間差ΔＴが許容範囲を超える場合（ＳＴ６９のＮＯ）、制御部４７は、ＳＴ６６の処理に戻る。
【００６６】
時間差ΔＴが許容範囲であった場合には（ＳＴ６９のＹＥＳ）、制御部４７は、ＳＴ７０として同終点フレームｎインデックス情報の三次元座標（Ｘｎ，Ｙｎ，Ｈｎ）が示す地点から同始点フレーム１インデックス情報の三次元座標（Ｘ１，Ｙ１，Ｈ１）が示す地点までの距離ΔＬを算出する。そして、この距離ΔＬが予め設定された許容範囲内か否かを判断する。距離ΔＬが許容範囲を超える場合（ＳＴ７０のＮＯ）、制御部４７は、ＳＴ６６の処理に戻る。
【００６７】
時間差ΔＴに続いて距離ΔＬが許容範囲であった場合には（ＳＴ７０のＹＥＳ）、制御部４７は、ＳＴ７１として連結元動線メモリのｐ番目レコードデータに含まれる人物画像データと連結先動線メモリのｑ番目レコードデータに含まれる人物画像データとから、両人物画像データで特定される人物が同一人物であるか否かを判定するための人物同定処理を実行する（移動体同定手段）。
【００６８】
この人物同定処理の結果、同一人物でないと判定された場合には（ＳＴ７２のＮＯ）、制御部４７は、ＳＴ６６の処理に戻る。これに対し、同一人物であると判定された場合には（ＳＴ７２のＹＥＳ）、制御部４７は、ＳＴ７３として連結元動線メモリのｐ番目レコードデータに含まれる動線ＩＤと、連結先動線メモリのｑ番目レコードデータに含まれる動線ＩＤとを関連付けた１レコードを生成し、データ記憶部４５上の連結対象メモリに記憶させる。
【００６９】
しかる後、制御部４７は、ＳＴ７４として連結先動線メモリからｑ番目レコードデータを削除する。また、ＳＴ７５として連結先動線メモリのレコード数ＮＦを“１”だけ減算する。その後、制御部４７は、ＳＴ６２の処理に戻る。
【００７０】
このように、連結元動線メモリのｐ番目レコードデータに対しては、その終点フレームｎインデックス情報の時刻Ｔｎに対する始点フレーム１インデックス情報の時刻Ｔ１の時間差ΔＴが許容範囲内で、かつ、その終点座標（Ｘｎ，Ｙｎ，Ｈｎ）から始点座標（Ｘ１，Ｙ１，Ｈ１）までの距離ΔＬが許容範囲内のｑ番目レコードデータが、連結先動線の候補として選択される。
【００７１】
制御部４７は、連結先動線の候補となるｑ番目動線データを連結先動線メモリから取得できるまで、ＳＴ６６〜ＳＴ７０の処理を繰返し実行する。そして、連結先動線の候補となるｑ番目動線データを取得できたならば、制御部４７は、前記人物同定処理を行う。その結果、同一人物でないと判定されたならば、再び、ＳＴ６６〜ＳＴ７０の処理を繰返し実行する。
【００７２】
これに対し、同一人物であると判定されたならば、ｑ番目動線データを連結先動線として決定する。そして、連結元動線であるｐ番目動線データの動線ＩＤと、連結先動線であるｑ番目動線データの動線ＩＤとを、連結対象メモリに記憶させる。このとき、連結先動線メモリからｑ番目動線データを削除する。そして、これに伴い、連結先動線メモリのデータ数ＮＦを“１”だけ減算する。その後、制御部４７は、ＳＴ６２の処理に戻る。なお、連結先動線メモリに記憶されたレコードデータの全てをチェックしたが、連結先動線となり得るｑ番目レコードデータを検出できかった場合も、制御部４７は、ＳＴ６２の処理に戻る。
【００７３】
以後、制御部４７は、第１ポインタｐをさらに“１”だけ増加して、ＳＴ６４〜ＳＴ７５の処理を再度実行する。そして、第１ポインタｐが連結元動線メモリのレコード数ＮＳを超えたならば、制御部４７は、ＳＴ７６の処理に進む。
【００７４】
ＳＴ７６では、連結対象メモリに記憶されたｐ番目レコードデータの動線ＩＤによって特定される動線データを連結元動線とし、このｐ番目動線ＩＤに対応するｑ番目レコードデータの動線ＩＤによって特定される動線データを連結先動線として、両動線データを連結する。
【００７５】
具体的には、制御部４７は、先ず、連結元動線の終点座標（Ｘｎ，Ｙｎ，Ｈｎ）と、連結先動線の始点座標（Ｘ１，Ｙ１，Ｈ１）とを比較する。そして、両座標が一致しない場合、制御部４７は、終点座標（Ｘｎ，Ｙｎ，Ｈｎ）に対する始点座標（Ｘ１，Ｙ１，Ｈ１）のずれを座標誤差として算出する。すなわち、Ｘ座標に対する誤差ΔＸを“Ｘｎ−Ｘ１”で算出し、Ｙ座標に対する誤差ΔＹを“Ｙｎ−Ｙ１”で算出し、Ｚ座標に対する誤差ΔＺを“Ｈｎ−Ｈ１”で算出する。そして、連結先動線の始点座標及び終点座標と各インデックス情報の座標に、それぞれ上記座標誤差ΔＸ，ΔＹ，ΔＺを加算して、連結先動線の始点座標が連結元動線の終点座標と一致するように補正する（動線補正手段）。
【００７６】
また、制御部４７は、連結元動線の終点フレームｎインデックス情報の時刻Ｔｎと、連結先動線の始点フレーム１インデックス情報の時刻Ｔ１とを比較する。そして、両時刻が一致しない場合、制御部４７は、時刻Ｔｎに対する時刻Ｔ１のずれを時間誤差ΔＴ（＝Ｔｎ−Ｔ１）として算出する。そして、連結先動線の各インデックス情報に含まれる時刻にそれぞれ上記時間誤差ΔＴを加算して、連結先動線の始点座標が検出された時刻が連結元動線の終点座標が検出された時刻と一致するように補正する（動線補正手段）。
【００７７】
しかる後、制御部４７は、連結元動線に連結先動線を連結する。すなわち、連結元動線の終点座標を連結先動線の終点座標に置換する。また、連結元動線の最終インデックス情報（Ｘｎ，Ｙｎ，Ｔｎ）の後に、連結先動線のフレーム２インデックス情報（Ｘ２，Ｙ２，Ｔ２）から後の全てのインデックス情報を追加する。こうすることにより、連結元動線のデータは、ｐ番目動線データにｑ番目動線データを連結したデータとなる（動線連結手段）。
【００７８】
制御部４７は、連結対象メモリに記憶した全てのデータについて、ＳＴ７６の動線連結処理を実行する。そして、実行完了後、この連結実行処理を終了する。
【００７９】
ここで、図９のＳＴ２９及び図１０のＳＴ４９において、カメラ画像データからゆがみのない人物画像を抽出する技術は、例えば２や３などに開示されている周知の技術を利用する。同様に、図１１のＳＴ７１において、抽出した２つの人物画像を対比（パターン認識、色ヒストグラム間の類似度等）して同一人物であるか否かを判定する人物同定処理の技術は、例えば４や前記３などに開示されている周知の技術を利用する。
【００８０】
このように構成された本実施形態において、今、設定テーブル５のデータが図７の通りであったとする。この場合、先ず、売場Ａから売場Ｂに移動した買物客の動線データが以下の手順で連結される。
【００８１】
手順１．動線認識システムＳＡの動線データベース３４ＳＡから終点座標が通路領域ＡＢ内の動線データを連結元動線として選択する。
手順２．動線認識システムＳＡの画像データベース３２ＳＡから、識別情報＃１，＃２及び＃３で特定されるカメラ２の画像データのうち、連結元動線の終点フレームｎ番号と一致するフレーム画像データを取り込む。
手順３．取り込んだフレーム画像データを解析して人物画像を抽出する。
手順４．連結元動線の動線ＩＤ及び終点フレームｎインデックス情報と、人物画像データとを連結元動線メモリに記憶する。
手順５．動線認識システムＳＢの動線データベース３４ＳＢから始点座標が通路領域ＡＢ内の動線データを連結先動線として選択する。
手順６．動線認識システムＳＢの画像データベース３２ＳＢから、識別情報＃４，＃５及び＃６で特定されるカメラ２の画像データのうち、連結先動線の始点フレーム１番号と一致するフレーム画像データを取り込む。
手順７．取り込んだフレーム画像データを解析して人物画像を抽出する。
手順８．連結先動線の動線ＩＤ及び始点フレーム１インデックス情報と、人物画像データとを連結先動線メモリに記憶する。
手順９．連結元動線メモリからｐ番目レコードデータを選択する。
手順１０．ｐ番目レコードデータの終点フレームｎインデックス情報に対し、始点フレーム１インデックス情報の時刻及び座標のずれがいずれも許容範囲内のｑ番目レコードデータを連結先動線メモリから選択する。
手順１１．ｐ番目レコードデータの人物画像とｑ番目レコードデータの人物画像とから人物同定処理を実行する。
手順１２．人物同定処理により同一人物であると確認されると、ｐ番目レコードデータの動線ＩＤで特定される連結元動線データに、ｑ番目レコードデータの動線ＩＤで特定される連結先動線データを連結する。
手順１３．連結元動線メモリ内の全てのレコードデータについて、手順９〜手順１２を繰り返す。
【００８２】
かくして、売場Ａから売場Ｂに移動した買物客の動線データが連結される。次に、売場Ｂから売場Ａに移動した買物客の動線データが以下の手順で連結される。
手順１４．動線認識システムＳＢの動線データベース３４ＳＢから終点座標が通路領域ＡＢ内の動線データを連結元動線として選択する。
手順１５．動線認識システムＳＢの画像データベース３２ＳＢから、識別情報＃４，＃５及び＃６で特定されるカメラ２の画像データのうち、連結元動線の終点フレームｎ番号と一致するフレーム画像データを取り込む。
手順１６．取り込んだフレーム画像データを解析して人物画像を抽出する。
手順１７．連結元動線の動線ＩＤ及び終点フレームｎインデックス情報と、人物画像データとを連結元動線メモリに記憶する。
手順１８．動線認識システムＳＡの動線データベース３４ＳＡから始点座標が通路領域ＡＢ内の動線データを連結先動線として選択する。
手順１９．動線認識システムＳＡの画像データベース３２ＳＡから、識別情報＃１，＃２及び＃３で特定されるカメラ２の画像データのうち、連結先動線の始点フレーム１番号と一致するフレーム画像データを取り込む。
手順２０．取り込んだフレーム画像データを解析して人物画像を抽出する。
手順２１．連結先動線の動線ＩＤ及び始点フレーム１インデックス情報と、人物画像データとを連結先動線メモリに記憶する。
手順２２〜手順２６．手順９〜手順１３と同一。
【００８３】
かくして、売場Ｂから売場Ａに移動した買物客の動線データが連結される。次に、売場Ｂから売場Ｃに移動した買物客、売場Ｃから売場Ｂに移動した買物客、売場Ｃから売場Ｄに移動した買物客、売場Ｄから売場Ｃに移動した買物客、売場Ｄから売場Ａに移動した買物客、売場Ａから売場Ｄに移動した買物客の順に、同様な手順で動線データが連結される。
【００８４】
このように本実施形態によれば、複数の動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線どうしを自動的に連結することができる。したがって、広域な領域全体を補っての動線認識を、オペレータの負担になることなく可能ならしめる効果を奏する。
【００８５】
また、本実施形態では、連結元動線として選択された動線データの終点と連結先動線として選択された動線データの始点とが一致するように、少なくとも一方の動線データを補正するようにしている。したがって、連結元動線と連結先動線とを確実に接続することができる。
【００８６】
なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００８７】
例えば、前記実施形態では、図１１の連結実行処理において、先にＳＴ６９として時間のずれを判定し、次いでＳＴ７０として座標のずれを判定したが、先に座標のずれを判定し後から時間のずれを判定してもよい。また、時間と座標のいずれか一方だけを判定し、許容範囲内であれば、人物同定処理を行うようにしてもよい。
【００８８】
また、前記実施形態では、図１のＳＴ７６において、連結先動線の始点が連結元動線の終点と一致するように連結先動線のデータを補正したが、連結元動線の終点が連結先動線の始点と一致するように連結元動線のデータを補正してもよい。また、動線データを補正するのでなく、連結元動線の終点と連結先動線の始点との間を直線で結ぶ線形補間により補間してもよい。あるいは、連結元動線の終点から数ポイント前までの各インデックス情報の二次元座標と連結先動線の始点から数ポイント先までの各インデックス情報の二次元座標とを比較し、最も近接した座標のインデックス情報を起点に、連結元動線データと連結先動線データとを連結するようにしてもよい。
【００８９】
また、前記実施形態では、各売場の動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤを、カメラを用いた画像処理方式を採用したが、その他の方式、たとえば無線タグ追跡方式を採用してもよい。この場合、第１の動線認識エリアと該エリアに隣接する第２の動線認識エリアとの境界付近を、第１の動線認識エリア側から撮影するための第１のカメラと、第２の動線認識エリア側から撮影するための第２のカメラとを設置する。そして、各カメラのフレーム画像テータを時間情報と関連付けて画像データベースで記憶する。そして、第１の動線認識エリア内を移動して境界領域を終点とする連結元動線に対し、その終点座標と終点到達時刻に近似した始点座標及び始点検出時刻を有して第２の動線認識エリア内を移動する連結先動線が選択されると、第１のカメラの終点到達時刻をフレーム時刻とする画像データと第２のカメラの始点検出時刻をフレーム時刻とする画像データとにそれぞれ撮影されている人物の同定処理を行うことで、前記実施形態と同様な作用効果を奏することができる。
【００９０】
ただし、本実施形態のように、カメラを用いた画像処理方式を採用することにより、動線認識用のカメラをそのまま動線連結を判定するための画像データ取得用のカメラとして兼用できるので、システムコストを低減できる効果を奏する。
【００９１】
また、本発明は、隣接する売場間の顧客動線を連結する装置に限定されるものではなく、第１の動線認識エリア内を移動する移動体（人、動物、車両等）の動線データと、この第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体の動線データとを連結する装置にも同様に適用できるものである。
【００９２】
また、前記実施形態では、田の字型に区分された売場の中心部で各売場が仕切られており、例えば売場Ａに居る買物客は、売場Ｂまたは売場Ｄには行かれるが売場Ｃには行かれない店舗に本発明を適用したが、本発明を適用可能な店舗形態はこれに限定されるものではない。例えば、田の字型に区分された売場の中心部で各売場が仕切られていなくても、設定テーブル５に、項目「連結対象１」に対応して動線認識システムＳＡを、項目「判定カメラ１」に対応して＃１を、項目「連結対象２」に対応して動線認識システムＳＣを、項目「判定カメラ２」に対応して＃６をそれぞれ設定したレコードと、項目「連結対象１」に対応して動線認識システムＳＢを、項目「判定カメラ１」に対応して＃４を、項目「連結対象２」に対応して動線認識システムＳＤを、項目「判定カメラ２」に対応して＃３をそれぞれ設定したレコードとを追加することにより、前記実施形態と同様に適用できるものである。
【００９３】
また、前記実施形態では、動線連結プログラムをプログラム記憶部４４に予め記憶しているものとして本発明を説明したが、このプログラムは、ネットワークから動線連結装置４にダウンロードしても良いし、記録媒体に記憶させたものを動線連結装置４にインストールしてもよい。記録媒体としては、ＣＤ−ＲＯＭ等プログラムを記憶でき、かつコンピュータが読み取り可能な記録媒体であれば、その形態は何れの形態であってもよい。また、このように予めインストールやダウンロードにより得る機能は、コンピュータ内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。
【００９４】
この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。
【符号の説明】
【００９５】
３ＳＡ，３ＳＢ，３ＳＣ，３ＳＤ…動線認識システム、４…動線連結装置、５…設定テーブル、３２ＳＡ，３２ＳＢ，３２ＳＣ，３２ＳＤ…画像データベース、３４ＳＡ，３４ＳＢ，３４ＳＣ，３４ＳＤ…動線データベース、４３…データベースアクセス部、４４…プログラム記憶部、４７…制御部。
【先行技術文献】
【特許文献】
【００９６】
【特許文献１】特開２００９−００９３９４号公報
【特許文献２】特開２００１−２０９７９５号公報
【特許文献３】特開２００９−０５９０４２号公報
【特許文献４】特開２００２−３０５７１７号公報
【技術分野】
【０００１】
本発明は、例えば店舗内を移動する買物客の軌跡を示す動線データの連結技術に関する。
【背景技術】
【０００２】
スーパーマーケット，コンビニエンスストア等の店舗内を移動する買物客の軌跡を動線として認識する動線認識システムには、カメラを用いた画像処理方式や無線タグリーダを用いた無線タグ追跡方式等がある。画像処理方式の場合、現状の画像処理技術では、各カメラで監視領域の全エリアを死角なく撮影したとしても、一人の買物客の監視領域全域の動きを１つの動線として追跡することはきわめて困難である。例えば、他の買物客とすれ違った際に動線が途切れたり、動線が入れ替わったりする場合が考えられる。
【０００３】
例えば特許文献１には、画像処理方式の動線認識システムにより生成された複数の動線データの中から同一客に対する動線データを選択し、それぞれを連結して１本の動線データを生成する動線編集システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、動線認識に必要な情報処理はコンピュータを用いて行うが、その情報処理には大きな負荷を要するため、１台のコンピュータに接続可能なカメラや無線タグリーダの台数には限りがある。このため、単一の動線認識システムで動線を認識可能な監視領域の広さには自ずと限界がある。そこで、複数の動線認識システムで認識された動線の中から同一人物に対する動線を連結する技術が求められている。
【０００５】
本発明はこのような事情に基づいてなされたもので、その目的とするところは、複数の動線認識システムでそれぞれ認識される動線のなかから同一人物に対する動線どうしを連結することができ、広域な領域全体を補っての動線認識を可能ならしめる動線連結方法及び装置並びにプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００６】
本発明の動線連結方法は、第１の動線認識エリア内を移動する移動体、例えば人物毎にその移動体が第１の動線認識エリアに進入した地点である始点から退出した地点である終点までの第１の動線認識エリア内での軌跡を示す動線データを記憶するための第１の動線データベース、第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体毎にその移動体が第２の動線認識エリアに進入した地点である始点から退出した地点である終点までの第２の動線認識エリア内での軌跡を示す動線データを記憶するための第２の動線データベース、少なくとも第１の動線認識エリアと第２の動線認識エリアとが隣接する境界近傍を第１の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第１の画像データベース、及び、少なくとも前記境界近傍を第２の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第２の画像データベースの各データベースに対してアクセスが可能なコンピュータが、第１の動線データベースに記憶された各動線データの中から、境界近傍を終点とする移動体の動線データを選択し（連結元動線選択段階）と、この選択された動線データの終点が検出された時点の前記境界近傍を撮影したカメラ画像データを第１の画像データベースから選択し（連結元画像選択段階）、この選択されたカメラ画像データから移動体画像を抽出する（連結元移動体画像抽出段階）。また、コンピュータが、第２の動線データベースに記憶された各動線データの中から、連結元動線選択段階により選択された動線データの終点が検出された時点の前後に前記境界近傍を始点として追跡された移動体の動線データを選択し（連結先動線選択段階）、この選択された動線データの始点が検出された時点の前記境界近傍を撮影したカメラ画像データを第２の画像データベースから選択し（連結先画像選択段階）、この選択されたカメラ画像データから移動体画像を抽出する（連結先移動体画像抽出段階）。そして、コンピュータが、連結元移動体画像抽出段階により抽出された移動体画像と連結先移動体画像抽出段階により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定し、移動体が同一であると判定されると、連結元動線選択段階により選択された動線データに連結先動線選択段階により選択された動線データを連結することで、第１の動線データベースに記憶された各移動体の動線データと第２の動線データベースに記憶された各移動体の動線データとのなかから、同一移動体の動線データどうしを連結するようにしたものである。
【０００７】
本発明の動線認識装置は、前記第１，第２の動線データベース及び第１，第２の画像データベースにアクセス可能で、第１の動線データベースに記憶された各動線データの中から、第１の動線認識エリアと第２の動線認識エリアとが隣接する境界近傍を終点とする移動体の動線データを選択する連結元動線選択手段と、この連結元動線選択手段により選択された動線データの終点が検出された時点の前記境界近傍を撮影したカメラ画像データを第１の画像データベースから選択する連結元画像選択手段と、この連結元画像選択手段により選択されたカメラ画像データから移動体画像を抽出する連結元移動体画像抽出手段と、第２の動線データベースに記憶された各動線データの中から、連結元動線選択手段により選択された動線データの終点が検出された時点の前後に前記境界近傍を始点として追跡された移動体の動線データを選択する連結先動線選択手段と、この連結先動線選択手段により選択された動線データの始点が検出された時点の前記境界近傍を撮影したカメラ画像データを第２の画像データベースから選択する連結先画像選択手段と、この連結先画像選択手段により選択されたカメラ画像データから移動体画像を抽出する連結先移動体画像抽出手段と、連結元移動体画像抽出手段により抽出された移動体画像と連結先移動体画像抽出手段により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定する移動体同定手段と、この移動体同定手段により移動体が同一であると判定されると、連結元動線選択手段により選択された動線データに連結先動線選択手段により選択された動線データを連結する動線連結手段とを備えたものである。
【０００８】
本発明の動線認識プロクラムは、前記第１，第２の動線データベース及び第１，第２の画像データベースにアクセス可能なコンピュータに、第１の動線データベースに記憶された各動線データの中から、第１の動線認識エリアと第２の動線認識エリアとが隣接する境界近傍を終点とする移動体の動線データを選択させる連結元動線選択機能と、の連結元動線選択機能により選択された動線データの終点が検出された時点の前記境界近傍を撮影したカメラ画像データを第１の画像データベースから選択させる連結元画像選択機能と、この連結元画像選択機能により選択されたカメラ画像データから移動体画像を抽出させる連結元移動体画像抽出機能と、第２の動線データベースに記憶された各動線データの中から、連結元動線選択機能により選択された動線データの終点が検出された時点の前後に境界近傍を始点として追跡された移動体の動線データを選択させる連結先動線選択機能と、この連結先動線選択機能により選択された動線データの始点が検出された時点の境界近傍を撮影したカメラ画像データを第２の画像データベースから選択させる連結先画像選択機能と、この連結先画像選択機能により選択されたカメラ画像データから移動体画像を抽出させる連結先移動体画像抽出機能と、連結元移動体画像抽出機能により抽出された移動体画像と連結先移動体画像抽出機能により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定させる移動体同定機能と、この移動体同定機能により移動体が同一であると判定されると、連結元動線選択機能により選択された動線データに連結先動線選択機能により選択された動線データを連結させる動線連結機能とを実現させるためのものである。
【発明の効果】
【０００９】
かかる手段を講じた本発明によれば、複数の動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線どうしを連結することができ、広域な領域全体を補っての動線認識を可能ならしめる効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態である動線連結装置の要部構成を示すブロック図。
【図２】同実施形態が適用される店舗の説明図。
【図３】同実施形態における動線認識システムの概略構成図。
【図４】同実施形態において、画像データベースに記憶される画像データの構造を示す模式図。
【図５】同実施形態において、動線データベースに記憶される動線データの構造を示す模式図。
【図６】同実施形態における動線認識システムのカメラレイアウトの一例を示す模式図。
【図７】同実施形態において、動線連結装置が有する設定テーブルの一データ例を示す模式図。
【図８】同実施形態において、動線連結プログラムが起動したときの動線連結装置の制御部が実行する主要な処理手順を示す流れ図。
【図９】図８における連結元動線検出処理の具体的処理手順を示す流れ図。
【図１０】図８における連結先動線選択処理の具体的処理手順を示す流れ図。
【図１１】図８における連結実行処理の具体的処理手順を示す流れ図。
【発明を実施するための形態】
【００１１】
以下、本発明を実施形態について、図面を用いて説明する。
なお、この実施形態は、図２に示すように、互いに隣接して客が行き来できる４つの売場Ａ，売場Ｂ，売場Ｃ及び売場Ｄを備えた店舗１に適用した場合である。
【００１２】
図２に示すように、売場Ａは、売場Ｂ及び売場Ｄと隣接し、売場Ｂは、売場Ａ及び売場Ｃと隣接し、売場Ｃは、売場Ｂ及び売場Ｄと隣接し、売場Ｄは、売場Ｃ及び売場Ａと隣接している。そして、隣接する各売場間には、それぞれ客が行き来できるように通路が形成されている。また、売場Ａと売場Ｄとには、客が入退場可能な入退場口Ｇ１，Ｇ２が設けられている。
【００１３】
各売場Ａ〜Ｄには、それぞれその売場内を移動する移動体である人物（買物客）の軌跡を動線として認識するための動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤが構築されている。すなわち、売場Ａは動線認識システムＳＡの動線認識エリアとなっており、売場Ｂは動線認識システムＳＢの動線認識エリアとなっており、売場Ｃは動線認識システムＳＣの動線認識エリアとなっており、売場Ｄは動線認識システムＳＤの動線認識エリアとなっている。
【００１４】
本実施形態では、各動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤとして、いずれもカメラを用いた画像処理方式を採用する。画像処理方式の動線認識システムは、図３に示すように、複数基のカメラ２と、コンピュータを主体とした動線認識装置３とを備える。
【００１５】
各カメラ２は、魚眼レンズを用いたカメラや全方位ミラー付のカメラ等の広角レンズカメラである。これらのカメラ２は、視体積交差法により、それぞれ対応する売場Ａ，Ｂ，Ｃ，Ｄ内を移動する買物客の軌跡、すなわち人物動線を追跡するために用いられる。視体積交差法は、例えば客の頭部を複数の方向から撮影し、各画像の頭部の位置から頭部の店内空間に適宜設置された３次元座標系内の座標値を算出する方法である。１つの監視領域に配置されるカメラの台数は特に制限されないが、視体積交差法による位置検出精度を高めるためには少なくとも３台は必要である。
【００１６】
各カメラ２は、動線認識装置３が備えるカメラコントロール部３１の一元制御により一定の周期（例えば１／１５秒）で撮影動作を繰り返し、その撮影画像（フレーム画像）を動線認識装置３に送信する。動線認識装置３は、カメラコントロール部３１の他、カメラ画像データベース３２、動線生成部３３及び動線データベース３４を備えている。
【００１７】
カメラ画像データベース３２は、各カメラ２で撮影されたフレーム画像データを順次蓄積する。カメラ画像データベース３２に蓄積されるフレーム画像データの構造を、図４の模式図で示す。図４に示すように、フレーム画像データは、カメラＩＤ、フレーム番号及び撮影時刻が関連付けられて、カメラ画像データベース３２に記憶される。カメラＩＤは、当該画像データを撮影したカメラ２の識別コードである。各カメラ２には、それぞれ固有のカメラＩＤが予め設定されている。フレーム番号は、各カメラ２でフレーム画像が撮影される毎にカウントアップされる“１”からの連続番号である。カメラコントロール部３１の制御により、各カメラ２のフレーム番号は同期している。撮影日時は、当該画像データが撮影された時点の日時（年月日時分秒）である。
【００１８】
動線生成部３３は、カメラ画像データベース３２に蓄積されたフレーム画像データの画像処理により動線認識エリア（売場）内を移動する買物客を認識し、この買物客が動線認識エリアに進入した地点である始点から退出した地点である終点までの動線認識エリア内での軌跡を示す動線データを作成する。動線生成部３３は、例えば前記１に記載された技術により、複数に途切れた同一買物客の動線を１本の動線に連結する機能を有している。
【００１９】
動線データベース３４は、動線生成部３３により買物客毎に生成される動線データを順次蓄積する。動線データベース３４に蓄積される動線データの構造を、図５の模式図で示す。図５に示すように、動線データは、動線ＩＤが関連付けられて、動線データベース３４に記憶される。動線ＩＤは、当該動線データを個々に特定するための動線特定情報である。動線生成部３３は、買物客１名の動線データを生成する毎に、その動線データに固有の動線ＩＤを付して、動線データベース３４に格納する。
【００２０】
動線データは、始点フレーム“１”のフレーム番号、及び終点フレーム“ｎ”（ｎ＞１の整数）のフレーム番号と、始点フレーム“１”から終点フレーム“ｎ”までのフレーム毎のインデックスデータとから構成されている。インデックスデータは、少なくとも店内の三次元座標（Ｘ，Ｙ，Ｈ）とフレーム撮影時刻Ｔとを含む。始点フレーム“１”番号は、当該動線データの買物客が最初に認識されたフレーム画像のフレーム番号であり、このフレーム画像の撮影時刻が始点フレーム“１”に対するインデックスデータのフレーム撮影時刻Ｔとなる。終点フレーム”ｎ”番号は、当該買物客が最後に認識されたフレーム画像のフレーム番号であり、このフレーム画像の撮影時刻が終点フレーム“ｎ”に対するインデックスデータのフレーム撮影時刻Ｔとなる。フレーム番号毎の店内座標は、対応するフレーム番号のフレーム画像から認識された当該顧客の位置を、三次元の世界座標系（Ｘ，Ｙ，Ｈ）で特定したものである。本実施形態では、図２において、左下の角をＸ軸及びＹ軸の原点Ｏ（０，０）とし、その床面をＨ（Height）軸の原点としている。
【００２１】
図３の動線認識システムは、売場Ａ，Ｂ，Ｃ，Ｄ毎に構築される。各動線認識システムのカメラ２は、それぞれ対応する売場Ａ，Ｂ，Ｃ，Ｄの天井部等に分散して取り付けられる。本実施形態では、説明の便宜上、図６の＃１〜＃６に示すレイアウトで、カメラ２が売場Ａ，Ｂ，Ｃ，Ｄ毎に各６基ずつ取り付けられているものとする。
【００２２】
図１は、本発明に係わる動線連結装置４の要部構成を示すブロック図である。動線連結装置４は、入力部４１、表示部４２、データベースアクセス部４３、プログラム記憶部４４、データ記憶部４５、ファイル記憶部４６及び制御部４７を備えている。入力部４１は、キーボード，マウス等の入力デバイスからなる。表示部４２は、液晶ディスプレイ，ＣＲＴディスプレイ等の表示デバイスからなる。タッチパネル付のディスプレイを用いることで、入力部と表示部を兼用してもよい。
【００２３】
データベースアクセス部４３は、各動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤの動線認識装置３（３ＳＡ，３ＳＢ，３ＳＣ，３ＳＤ）がそれぞれ有する動線データベース３４ＳＡ，３４ＳＢ，３４ＳＣ，３４ＳＤとカメラ画像データベース３２ＳＡ，３２ＳＢ，３２ＳＣ，３２ＳＤにアクセスし、動線データやフレーム画像データを読取ったり書き込んだりできる。
【００２４】
プログラム記憶部４４は、ＲＯＭ（Read Only Memory）で構成されている。データ記憶部４５は、ＲＡＭ（Random Access Memory）で構成されている。ファイル記憶部４６は、ハードディスクや光磁気ディスク等の記録媒体で構成されている。制御部４７は、ＣＰＵ（Central Processing Unit）を主体に構成されている。かかる構成の動線連結装置４は、パーソナルコンピュータ等のコンピュータ機器によって実現される。
【００２５】
プログラム記憶部４４には、コンピュータに、ある売場（動線認識エリア）の動線認識システムによって認識された動線データと、当該売場に隣接する他の売場の動線認識システムによって認識された動線データとの中から、売場間を行き来した同一買物客の動線データを選択させて連結させるプログラム、いわゆる動線連結プログラムが実装されている。制御部４７は、上記動線連結プログラムに従い、動線データの連結を行う。
【００２６】
以下、動線データの連結手順について、具体的に説明する。はじめに、各動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤの動線データベース３４ＳＡ，３４ＳＢ，３４ＳＣ，３４ＳＤに記憶される動線データについて説明する。
【００２７】
動線認識システムＳＡに対応した動線認識装置３ＳＡの動線データベース３４ＳＡには、買物客が売場Ａに進入した地点である始点から退出した地点である終点までの売場Ａ内での軌跡を示す動線データが蓄積される。買物客は、入退場口Ｇ１または売場Ａ，Ｂ間の通路ＡＢ若しくは売場Ｄ，Ａ間の通路ＤＡから売場Ａに進入及び退出できる。したがって、動線データベース３４ＳＡに蓄積される動線データは、次の９種類である。
【００２８】
１．入退場口Ｇ１から入店し、売場Ａだけを回って入退場口Ｇ１から退店した買物客のデータ。
２．入退場口Ｇ１から入店し、通路ＡＢを通って売場Ｂに移動した買物客のデータ。
３．入退場口Ｇ１から入店し、通路ＤＡを通って売場Ｄに移動した買物客のデータ。
４．売場Ｂより通路ＡＢを通って売場Ａに入り、再び通路ＡＢを通って売場Ｂに戻った買物客のデータ。
５．売場Ｂより通路ＡＢを通って売場Ａに入り、さらに通路ＤＡを通って売場Ｄに移動した買物客のデータ。
６．売場Ｂより通路ＡＢを通って売場Ａに入り、入退場口Ｇ１から退店した買物客のデータ。
７．売場Ｄより通路ＤＡを通って売場Ａに入り、再び通路ＤＡを通って売場Ｄに戻った買物客のデータ。
８．売場Ｄより通路ＤＡを通って売場Ａに入り、さらに通路ＡＢを通って売場Ｂに移動した買物客のデータ。
９．売場Ｄより通路ＤＡを通って売場Ａに入り、入退場口Ｇ１から退店した買物客のデータ。
【００２９】
動線認識システム２Ｂに対応した動線認識装置３ＳＢの動線データベース３４ＳＢには、買物客が売場Ｂに進入した地点である始点から退出した地点である終点までの売場Ｂ内での軌跡を示す動線データが蓄積される。買物客は、通路ＡＢまたは通路ＢＣから売場Ｂに進入及び退出できる。したがって、動線データベース３４ＳＢに蓄積される動線データは、次の４種類である。
【００３０】
１．売場Ａより通路ＡＢを通って売場Ｂに入り、再び通路ＡＢを通って売場Ａに戻った買物客のデータ。
２．売場Ａより通路ＡＢを通って売場Ｂに入り、さらに通路ＢＣを通って売場Ｃに移動した買物客のデータ。
３．売場Ｃより通路ＢＣを通って売場Ｂに入り、再び通路ＢＣを通って売場Ｃに戻った買物客のデータ。
４．売場Ｃより通路ＢＣを通って売場Ｂに入り、さらに通路ＡＢを通って売場Ａに移動した買物客のデータ。
【００３１】
動線認識システム２Ｃに対応した動線認識装置３ＳＣの動線データベース３４ＳＣには、買物客が売場Ｃに進入した地点である始点から退出した地点である終点までの売場Ｃ内での軌跡を示す動線データが蓄積される。買物客は、通路ＢＣまたは通路ＣＤから売場Ｃに進入及び退出できる。したがって、動線データベース３４ＳＣに蓄積される動線データは、次の４種類である。
【００３２】
１．売場Ｂより通路ＢＣを通って売場Ｃに入り、再び通路ＢＣを通って売場Ｂに戻った買物客のデータ。
２．売場Ｂより通路ＢＣを通って売場Ｃに入り、さらに通路ＣＤを通って売場Ｄに移動した買物客のデータ。
３．売場Ｄより通路ＣＤを通って売場Ｃに入り、再び通路ＣＤを通って売場Ｄに戻った買物客のデータ。
４．売場Ｄより通路ＣＤを通って売場Ｃに入り、さらに通路ＢＣを通って売場Ｂに移動した買物客のデータ。
【００３３】
動線認識システム２Ｄに対応した動線認識装置３ＳＤの動線データベース３４ＳＤには、買物客が売場Ｄに進入した地点である始点から退出した地点である終点までの売場Ｄ内での軌跡を示す動線データが蓄積される。買物客は、入退場口Ｇ２または通路ＣＤ若しくは通路ＤＡから売場Ｄに進入及び退出できる。したがって、動線データベース３４ＳＤに蓄積される動線データは、次の９種類である。
【００３４】
１．入退場口Ｇ２から入店し、売場Ｄだけを回って入退場口Ｇ２から退店した買物客のデータ。
２．入退場口Ｇ２から入店し、通路ＤＡを通って売場Ａに移動した買物客のデータ。
３．入退場口Ｇ２から入店し、通路ＣＤを通って売場Ｃに移動した買物客のデータ。
４．売場Ａより通路ＤＡを通って売場Ｄに入り、再び通路ＤＡを通って売場Ａに戻った買物客のデータ。
５．売場Ａより通路ＤＡを通って売場Ｄに入り、さらに通路ＣＤを通って売場Ｃに移動した買物客のデータ。
６．売場Ａより通路ＤＡを通って売場Ｄに入り、入退場口Ｇ２から退店した買物客のデータ。
７．売場Ｃより通路ＣＤを通って売場Ｄに入り、再び通路ＣＤを通って売場Ｃに戻った買物客のデータ。
８．売場Ｃより通路ＣＤを通って売場Ｄに入り、さらに通路ＤＡを通って売場Ａに移動した買物客のデータ。
９．売場Ｃより通路ＣＤを通って売場Ｄに入り、入退場口Ｇ２から退店した買物客のデータ。
【００３５】
ここで、売場Ａとこの売場Ａに隣接する売場Ｂとを考えると、その間の境界領域である通路ＡＢを終点とする一方の動線認識システムによる動線データと、同通路ＡＢを始点とする他方の動線認識システムによる動線データとを連結すればよい。すなわち、動線データベース３４ＳＡの２番目、４番目及び８番目のデータを連結元動線データとしたとき、動線データベース３４ＳＢの１番目と２番目のデータが連結先動線データの候補となる。逆に、動線データベース３４ＳＢの１番目と４番目のデータを連結元動線データとしたとき、動線データベース３４ＳＡの４番目，５番目及び６番目のデータが連結先動線データの候補となる。
【００３６】
他の境界領域である通路ＢＣ，通路ＣＤ及び通路ＤＡについても同様である。すなわち、動線データベース３４ＳＢの２番目及び３番目のデータを連結元動線としたとき、動線データベース３４ＳＣの１番目と２番目のデータが連結先動線の候補となり、動線データベース３４ＳＣの１番目と４番目のデータを連結元動線としたとき、動線データベース３４ＳＢの３番目と４番目のデータが連結先動線の候補となる。また、動線データベース３４ＳＣの２番目及び３番目のデータを連結元動線としたとき、動線データベース３４ＳＤの７番目、８番目及び９番目のデータが連結先動線の候補となり、動線データベース３４ＳＤの３番目、５番目及び７番目のデータを連結元動線としたとき、動線データベース３４ＳＣの３番目と４番目のデータが連結先動線の候補となる。また、動線データベース３４ＳＤの２番目、４番目及び８番目のデータを連結元動線としたとき、動線データベース３４ＳＡの７番目、８番目及び９番目のデータが連結先動線の候補となり、動線データベース３４ＳＡの３番目、５番目及び７番目のデータを連結元動線としたとき、動線データベース３４ＳＡの７番目、８番目及び９番目のデータが連結先動線の候補となる。
【００３７】
さて、本実施形態では、連結元動線に連結先動線を連結するに際し、その可否判定に、境界領域である通路ＡＢ，通路ＢＣ，通路ＣＤ及び通路ＤＡの近傍を撮影したカメラ画像を使用する。これを実現するために、動線連結装置４は、図７に示すデータ構造の設定テーブル５を備えている。設定テーブル５は、制御部４７が内蔵するメモリに記憶されていてもよいし、データ記憶部４５に記憶されていてもよい。図７の設定テーブル５は、図６に示したカメラレイアウトに対応している。
【００３８】
図６の場合、売場Ａと売場Ｂとを結ぶ通路ＡＢを撮影可能なカメラ２は、売場Ａ側の動線認識システムＳＡでは＃１，＃２，＃３の３台であり、売場Ｂ側の動線認識システムＳＢでは＃４，＃５，＃６の３台である。売場Ｂと売場Ｃとを結ぶ通路ＢＣを撮影可能なカメラ２は、売場Ｂ側の動線認識システムＳＢでは＃１，＃４の２台であり、売場Ｃ側の動線認識システムＳＣでは＃３，＃６の２台である。売場Ｃと売場Ｄとを結ぶ通路ＣＤを撮影可能なカメラ２は、売場Ｃ側の動線認識システムＳＣでは＃４，＃５，＃６の３台であり、売場Ｄ側の動線認識システムＳＤでは＃１，＃２，＃３の３台である。売場Ｄと売場Ａとを結ぶ通路ＤＡを撮影可能なカメラ２は、売場Ｄ側の動線認識システムＳＤでは＃３，＃６の２台であり、売場Ａ側の動線認識システムＳＡでは＃１，＃４の２台である。
【００３９】
設定テーブル５には、境界領域である通路を特定する情報（項目「境界領域」）に対応して、連結対象となる一方の動線認識システムの識別情報（項目「連結対象１」）、及びその動線認識システムにおいて連結可否判定に使用される画像を撮影するカメラの特定情報（項目「判定カメラ１」）と、連結対象となる他方の動線認識システムの識別情報（項目「連結対象２」）、及びその動線認識システムにおいて連結可否判定に使用される画像を撮影するカメラの特定情報（項目「判定カメラ２」）とが設定されている。
【００４０】
例えば入力部４１の操作入力により、動線連結業務の開始が指令されると、動線連結プログラムが起動する。これにより、制御部４７は、図８の流れ図に示す手順で各部を制御する。
【００４１】
先ず、ＳＴ（ステップ）１としてレコードカウンタｒを“０”に初期化する。次いで、ＳＴ２として上記レコードカウンタｒを“１”だけカウントアップする。そして、ＳＴ３としてこのレコードカウンタｒが設定テーブル５のレコード数Ｒ（本実施形態では４）を超えたか否かを判断する。
【００４２】
この時点では、未だ超えていないので、制御部４７は、ＳＴ４として制御フラグＦを“０”にリセットする。なお、レコードカウンタｒ及び制御フラグＦは、データ記憶部４５に記憶されている。
【００４３】
次に、制御部４７は、ＳＴ５として設定テーブル５からレコード番号ｒのレコード（「境界領域」、「連結対象１」、「判定カメラ１」、「連結対象２」、「判定カメラ２」）を取得する。そして、ＳＴ６としてレコード番号ｒの設定テーブルレコードの項目「連結対象１」の識別情報で特定される動線認識システムの動線データベースを連結元動線データベースとして設定する。また、ＳＴ７として、レコード番号ｒの設定テーブルレコードの項目「連結対象２」の識別情報で特定される動線認識システムの動線データベースを連結先動線データベースとして設定する。
【００４４】
次に、制御部４７は、ＳＴ８として連結元動線データベースから連結元動線を検出する処理、いわゆる連結元動線検出処理を実行し、続いて、ＳＴ９として連結先動線データベースから連結先動線を選択する処理、いわゆる連結先動線選択処理を実行する。しかる後、ＳＴ１０として連結元動線に連結先動線を連結する連結実行処理を実行する。なお、これら連結元動線検出処理、連結先動線選択処理及び連結実行処理については後述する。
【００４５】
これらの処理が終了すると、制御部４７は、ＳＴ１１として連結後の動線データが完全動線であるか否かを判断する。本実施形態では、始点と終点とがいずれも入退場口Ｇ１またはＧ２にある動線データを完全動線と称する。連結後の動線データが完全動線でない場合（ＳＴ１１のＮＯ）、制御部４７は、ＳＴ１２として連結後の動線データを連結先動線データベースに上書き保存する。これに対し、連結後の動線データが完全動線である場合は（ＳＴ１１のＹＥＳ）、制御部４７は、ＳＴ１３として連結後の動線データを完全動線データベースに新規保存する。完全動線データベースは、ファイル記憶部４６に形成されている。
【００４６】
連結後の動線データを連結先動線データベースまたは完全動線データベースに保存したならば、制御部４７は、ＳＴ１４として制御フラグＦをチェックする。この時点では、制御フラグＦは“０”にリセットされているので、制御部４７は、ＳＴ１５として制御フラグＦを”１”にセットする。そして、ＳＴ１６として、今度はレコード番号ｒの設定テーブルレコードの項目「連結対象２」の識別情報で特定される動線認識システムの動線データベースを連結元動線データベースとして設定する。また、ＳＴ１７として、同設定テーブルレコードの項目「連結対象１」の識別情報で特定される動線認識システムの動線データベースを連結先動線データベースとして設定する。そして、制御部４７は、再びＳＴ８〜ＳＴ１０の連結元動線検出処理、連結先動線選択処理及び連結実行処理を実行する。その結果、連結後の動線データが完全動線でなければ（ＳＴ１１のＮＯ）、連結先動線データベースに上書き保存し（ＳＴ１２）、完全動線であれば（ＳＴ１１のＹＥＳ）、完全動線データベースに新規保存する（ＳＴ１３）。なお、連結後動線データを連結先動線データベースに上書き保存するのでなく、新規保存し、連結先動線データベースから連結前の連結先動線データを削除してもよい。
【００４７】
こうして、連結後の動線データを連結先動線データベースまたは完全動線データベースに保存したならば、制御部４７は、再び制御フラグＦをチェックする（ＳＴ１４）。この時点では、制御フラグＦは“１”にセットされているので、制御部４７は、ＳＴ２の処理に戻る。以後、制御部４７は、レコードカウンタｒがレコード数Ｒを越えるまで、ＳＴ４〜ＳＴ１７の処理を繰返し実行する。レコードカウンタｒがレコード数Ｒを越えたならば（ＳＴ３のＹＥＳ）、設定テーブル５に設定されている全てのレコードについて処理されたので、動線連結プログラムが終了する。
【００４８】
図９は連結元動線検出処理の具体的な処理手順を示す流れ図である。前記ＳＴ８にて連結元動線検出処理が開始されると、制御部４７は、先ず、ＳＴ２１として第１ポインタｐを一旦“０”にリセットする。次いで、ＳＴ２２として上記第１ポインタｐを“１”だけ増加する。そして、ＳＴ２３としてこの第１ポインタｐが、前記ＳＴ６またはＳＴ１６の処理で設定された連結元動線データベースの動線データ数ＰＳを超えたか否かを判断する。
【００４９】
第１ポインタｐが連結元動線データベースの動線データ数ＰＳを超えていない場合（ＳＴ２３のＮＯ）、制御部４７は、ＳＴ２４として連結元動線データベースからｐ番目の動線データを取り込む。そして、ＳＴ２５としてこのｐ番目動線データの終点を示すフレームｎインデックス情報から二次元座標（Ｘｎ，Ｙｎ）を検出する。そして、ＳＴ２６としてこの二次元座標（Ｘｎ，Ｙｎ）の地点が、所定の境界領域ＢＦ内に位置するか否かを判断する。
【００５０】
ここで、所定の境界領域ＢＦとは、レコード番号ｒの設定テーブルレコードの項目「境界領域」の識別情報で特定される通路の領域（図６中、波線で囲われた通路ＡＢ，ＢＣ，ＣＤ，ＤＡの各矩形領域）である。制御部４７は、通路ＡＢ，ＢＣ，ＣＤ及びＤＡの境界領域毎に、その左上角の二次元座標と右下角の二次元座標とを示すデータを予め記憶している。ＳＴ２６の処理にて二次元座標（Ｘｎ，Ｙｎ）を取得すると、この座標が、該当する境界領域ＢＦの左上角と右下角の各座標を結ぶ矩形の領域内に存在するか否かを判別する。存在する場合には、当該動線データの終点が該当する境界領域ＢＦ内に位置すると決定する。
【００５１】
当該動線データの終点が境界領域ＢＦ内に位置していない場合（ＳＴ２６のＮＯ）、制御部４７は、ＳＴ２２の処理に戻る。これに対し、当該動線データの終点が境界領域ＢＦ内に位置している場合には（ＳＴ２６のＹＥＳ）、制御部４７は、当該動線データを連結元動線として選択する（連結元動線選択手段）。
【００５２】
制御部４７は、ｐ番目動線データを連結元動線データとして選択すると、ＳＴ２７として、このｐ番目動線データの終点フレームｎ番号を検出する。次いで、ＳＴ２８としてレコード番号ｒの設定テーブルレコードの項目「連結対象１」の識別情報で特定される動線認識システムの画像データベースを検索する。そして、同設定テーブルレコードの［判定カメラ１］に設定されている識別情報で特定されるカメラ２の画像データの中から、終点フレームｎ番号が設定されたフレーム画像を取り込む（連結元画像選択手段）。
【００５３】
次に、制御部４７は、ＳＴ２９として終点フレームｎ番号のフレーム画像データを解析して、これらの画像データから人物画像を抽出する（連結元移動体画像抽出手段）。そして、人物画像を抽出できたならば、制御部４７は、ＳＴ３０としてｐ番目動線データの動線ＩＤ、及び、終点を示すフレームｎインデックス情報と、抽出された人物画像のデータとを関連付けた１レコードを生成し、データ記憶部４５上の連結元動線メモリに記憶させる。しかる後、制御部４７は、ＳＴ２２の処理に戻る。
【００５４】
以後、制御部４７は、第１ポインタｐを増加する毎に、ＳＴ２４〜ＳＴ３０の処理を繰返し実行する。そして、第１ポインタｐが連結元動線データベースの動線データ数ＰＳを超えたならば、この連結元動線検出処理を終了する。
【００５５】
図１０は連結先動線検出処理の具体的な処理手順を示す流れ図である。前記ＳＴ９にて連結先動線検出処理が開始されると、制御部４７は、先ず、ＳＴ４１として第１ポインタｐを一旦“０”にリセットする。次いで、ＳＴ４２として上記第１ポインタｐを“１”だけ増加する。そして、ＳＴ４３としてこの第１ポインタｐが、前記ＳＴ７またはＳＴ１７の処理で設定された連結先動線データベースのレコード数ＰＦを超えたか否かを判断する。
【００５６】
第１ポインタｐが連結先動線データベースの動線データ数ＰＦを超えていない場合（ＳＴ４３のＮＯ）、制御部４７は、ＳＴ４４として連結先動線データベースからｐ番目の動線データを取り込む。そして、ＳＴ４５としてこのｐ番目動線データの始点を示すフレーム１インデックス情報から二次元座標（Ｘ１，Ｙ１）を検出する。そして、ＳＴ４６としてこの二次元座標（Ｘ１，Ｙ１）の地点が、所定の境界領域ＢＦ内か否かを判断する。
【００５７】
この判断処理は、前記連結元動線検出処理のＳＴ２６の処理と同様である。ｐ番目当該動線データの始点が境界領域ＢＦ内に位置していない場合（ＳＴ４６のＮＯ）、制御部４７は、ＳＴ４２の処理に戻る。これに対し、当該動線データの始点が境界領域ＢＦ内に位置している場合には（ＳＴ４６のＹＥＳ）、制御部４７は、当該動線データを連結先動線として選択する（連結先動線選択手段）。
【００５８】
制御部４７は、ｐ番目動線データを連結先動線データとして選択すると、ＳＴ４７として、このｐ番目動線データの始点フレーム１番号を検出する。次いで、ＳＴ４８としてレコード番号ｒの設定テーブルレコードの項目「連結対象２」の識別情報で特定される動線認識システムの画像データベースを検索する。そして、同設定テーブルレコードの［判定カメラ２］に設定されている識別情報で特定されるカメラ２の画像データの中から、始点フレーム１番号が設定されたフレーム画像を取り込む（連結先画像選択手段）。
【００５９】
次に、制御部４７は、ＳＴ４９として始点フレーム１番号のフレーム画像データを解析して、これらの画像データから人物画像を抽出する（連結先移動体画像抽出手段）。そして、人物画像を抽出できたならば、制御部４７は、ＳＴ５０としてｐ番目動線データの動線ＩＤ、及び、始点を示すフレーム１インデックス情報と、抽出した人物画像のデータとを関連付けた１レコードを生成し、データ記憶部４５上の連結先動線メモリに記憶させる。しかる後、制御部４７は、ＳＴ４２の処理に戻る。
【００６０】
以後、制御部４７は、第１ポインタｐを増加する毎に、ＳＴ４４〜ＳＴ５０の処理を繰返し実行する。そして、第１ポインタｐが連結先動線データベースの動線データ数ＰＦを超えたならば、この連結先動線検出処理を終了する。
【００６１】
図１１は連結実行処理の具体的な処理手順を示す流れ図である。前記ＳＴ１０にて連結実行処理が開始されると、制御部４７は、先ず、ＳＴ６１として第１ポインタｐを一旦“０”にリセットする。次いで、ＳＴ６２として上記第１ポインタｐを“１”だけ増加する。そして、ＳＴ６３としてこの第１ポインタｐが連結元動線メモリのレコード数ＮＳを超えたか否かを判断する。
【００６２】
第１ポインタｐが連結元動線メモリのレコード数ＮＳを超えていない場合（ＳＴ６３のＮＯ）、制御部４７は、ＳＴ６４として連結元動線メモリからｐ番目のレコードデータを読み込む。
【００６３】
次に、制御部４７は、ＳＴ６５として第２ポインタｑを一旦“０”にリセットする。次いで、ＳＴ６６として上記第２ポインタｑを“１”だけ増加する。そして、ＳＴ６７としてこの第２ポインタｑが連結先動線メモリのレコード数ＮＦを超えたか否かを判断する。
【００６４】
第２ポインタｑが連結先動線メモリのレコード数ＮＦを超えていない場合（ＳＴ６７のＮＯ）、制御部４７は、ＳＴ６８として連結先動線メモリからｑ番目のレコードデータを読み込む。
【００６５】
次に、制御部４７は、ＳＴ６９として連結元動線メモリから読込んだｐ番目レコードデータに含まれる終点フレームｎインデックス情報の時刻Ｔｎと、連結先動線メモリから読込んだｑ番目レコードデータに含まれる始点フレーム１インデックス情報の時刻Ｔ１とを比較し、時間差ΔＴ＝｜Ｔｎ−Ｔ１｜を算出する。そして、この時間差ΔＴが予め設定された許容範囲内か否かを判断する。時間差ΔＴが許容範囲を超える場合（ＳＴ６９のＮＯ）、制御部４７は、ＳＴ６６の処理に戻る。
【００６６】
時間差ΔＴが許容範囲であった場合には（ＳＴ６９のＹＥＳ）、制御部４７は、ＳＴ７０として同終点フレームｎインデックス情報の三次元座標（Ｘｎ，Ｙｎ，Ｈｎ）が示す地点から同始点フレーム１インデックス情報の三次元座標（Ｘ１，Ｙ１，Ｈ１）が示す地点までの距離ΔＬを算出する。そして、この距離ΔＬが予め設定された許容範囲内か否かを判断する。距離ΔＬが許容範囲を超える場合（ＳＴ７０のＮＯ）、制御部４７は、ＳＴ６６の処理に戻る。
【００６７】
時間差ΔＴに続いて距離ΔＬが許容範囲であった場合には（ＳＴ７０のＹＥＳ）、制御部４７は、ＳＴ７１として連結元動線メモリのｐ番目レコードデータに含まれる人物画像データと連結先動線メモリのｑ番目レコードデータに含まれる人物画像データとから、両人物画像データで特定される人物が同一人物であるか否かを判定するための人物同定処理を実行する（移動体同定手段）。
【００６８】
この人物同定処理の結果、同一人物でないと判定された場合には（ＳＴ７２のＮＯ）、制御部４７は、ＳＴ６６の処理に戻る。これに対し、同一人物であると判定された場合には（ＳＴ７２のＹＥＳ）、制御部４７は、ＳＴ７３として連結元動線メモリのｐ番目レコードデータに含まれる動線ＩＤと、連結先動線メモリのｑ番目レコードデータに含まれる動線ＩＤとを関連付けた１レコードを生成し、データ記憶部４５上の連結対象メモリに記憶させる。
【００６９】
しかる後、制御部４７は、ＳＴ７４として連結先動線メモリからｑ番目レコードデータを削除する。また、ＳＴ７５として連結先動線メモリのレコード数ＮＦを“１”だけ減算する。その後、制御部４７は、ＳＴ６２の処理に戻る。
【００７０】
このように、連結元動線メモリのｐ番目レコードデータに対しては、その終点フレームｎインデックス情報の時刻Ｔｎに対する始点フレーム１インデックス情報の時刻Ｔ１の時間差ΔＴが許容範囲内で、かつ、その終点座標（Ｘｎ，Ｙｎ，Ｈｎ）から始点座標（Ｘ１，Ｙ１，Ｈ１）までの距離ΔＬが許容範囲内のｑ番目レコードデータが、連結先動線の候補として選択される。
【００７１】
制御部４７は、連結先動線の候補となるｑ番目動線データを連結先動線メモリから取得できるまで、ＳＴ６６〜ＳＴ７０の処理を繰返し実行する。そして、連結先動線の候補となるｑ番目動線データを取得できたならば、制御部４７は、前記人物同定処理を行う。その結果、同一人物でないと判定されたならば、再び、ＳＴ６６〜ＳＴ７０の処理を繰返し実行する。
【００７２】
これに対し、同一人物であると判定されたならば、ｑ番目動線データを連結先動線として決定する。そして、連結元動線であるｐ番目動線データの動線ＩＤと、連結先動線であるｑ番目動線データの動線ＩＤとを、連結対象メモリに記憶させる。このとき、連結先動線メモリからｑ番目動線データを削除する。そして、これに伴い、連結先動線メモリのデータ数ＮＦを“１”だけ減算する。その後、制御部４７は、ＳＴ６２の処理に戻る。なお、連結先動線メモリに記憶されたレコードデータの全てをチェックしたが、連結先動線となり得るｑ番目レコードデータを検出できかった場合も、制御部４７は、ＳＴ６２の処理に戻る。
【００７３】
以後、制御部４７は、第１ポインタｐをさらに“１”だけ増加して、ＳＴ６４〜ＳＴ７５の処理を再度実行する。そして、第１ポインタｐが連結元動線メモリのレコード数ＮＳを超えたならば、制御部４７は、ＳＴ７６の処理に進む。
【００７４】
ＳＴ７６では、連結対象メモリに記憶されたｐ番目レコードデータの動線ＩＤによって特定される動線データを連結元動線とし、このｐ番目動線ＩＤに対応するｑ番目レコードデータの動線ＩＤによって特定される動線データを連結先動線として、両動線データを連結する。
【００７５】
具体的には、制御部４７は、先ず、連結元動線の終点座標（Ｘｎ，Ｙｎ，Ｈｎ）と、連結先動線の始点座標（Ｘ１，Ｙ１，Ｈ１）とを比較する。そして、両座標が一致しない場合、制御部４７は、終点座標（Ｘｎ，Ｙｎ，Ｈｎ）に対する始点座標（Ｘ１，Ｙ１，Ｈ１）のずれを座標誤差として算出する。すなわち、Ｘ座標に対する誤差ΔＸを“Ｘｎ−Ｘ１”で算出し、Ｙ座標に対する誤差ΔＹを“Ｙｎ−Ｙ１”で算出し、Ｚ座標に対する誤差ΔＺを“Ｈｎ−Ｈ１”で算出する。そして、連結先動線の始点座標及び終点座標と各インデックス情報の座標に、それぞれ上記座標誤差ΔＸ，ΔＹ，ΔＺを加算して、連結先動線の始点座標が連結元動線の終点座標と一致するように補正する（動線補正手段）。
【００７６】
また、制御部４７は、連結元動線の終点フレームｎインデックス情報の時刻Ｔｎと、連結先動線の始点フレーム１インデックス情報の時刻Ｔ１とを比較する。そして、両時刻が一致しない場合、制御部４７は、時刻Ｔｎに対する時刻Ｔ１のずれを時間誤差ΔＴ（＝Ｔｎ−Ｔ１）として算出する。そして、連結先動線の各インデックス情報に含まれる時刻にそれぞれ上記時間誤差ΔＴを加算して、連結先動線の始点座標が検出された時刻が連結元動線の終点座標が検出された時刻と一致するように補正する（動線補正手段）。
【００７７】
しかる後、制御部４７は、連結元動線に連結先動線を連結する。すなわち、連結元動線の終点座標を連結先動線の終点座標に置換する。また、連結元動線の最終インデックス情報（Ｘｎ，Ｙｎ，Ｔｎ）の後に、連結先動線のフレーム２インデックス情報（Ｘ２，Ｙ２，Ｔ２）から後の全てのインデックス情報を追加する。こうすることにより、連結元動線のデータは、ｐ番目動線データにｑ番目動線データを連結したデータとなる（動線連結手段）。
【００７８】
制御部４７は、連結対象メモリに記憶した全てのデータについて、ＳＴ７６の動線連結処理を実行する。そして、実行完了後、この連結実行処理を終了する。
【００７９】
ここで、図９のＳＴ２９及び図１０のＳＴ４９において、カメラ画像データからゆがみのない人物画像を抽出する技術は、例えば２や３などに開示されている周知の技術を利用する。同様に、図１１のＳＴ７１において、抽出した２つの人物画像を対比（パターン認識、色ヒストグラム間の類似度等）して同一人物であるか否かを判定する人物同定処理の技術は、例えば４や前記３などに開示されている周知の技術を利用する。
【００８０】
このように構成された本実施形態において、今、設定テーブル５のデータが図７の通りであったとする。この場合、先ず、売場Ａから売場Ｂに移動した買物客の動線データが以下の手順で連結される。
【００８１】
手順１．動線認識システムＳＡの動線データベース３４ＳＡから終点座標が通路領域ＡＢ内の動線データを連結元動線として選択する。
手順２．動線認識システムＳＡの画像データベース３２ＳＡから、識別情報＃１，＃２及び＃３で特定されるカメラ２の画像データのうち、連結元動線の終点フレームｎ番号と一致するフレーム画像データを取り込む。
手順３．取り込んだフレーム画像データを解析して人物画像を抽出する。
手順４．連結元動線の動線ＩＤ及び終点フレームｎインデックス情報と、人物画像データとを連結元動線メモリに記憶する。
手順５．動線認識システムＳＢの動線データベース３４ＳＢから始点座標が通路領域ＡＢ内の動線データを連結先動線として選択する。
手順６．動線認識システムＳＢの画像データベース３２ＳＢから、識別情報＃４，＃５及び＃６で特定されるカメラ２の画像データのうち、連結先動線の始点フレーム１番号と一致するフレーム画像データを取り込む。
手順７．取り込んだフレーム画像データを解析して人物画像を抽出する。
手順８．連結先動線の動線ＩＤ及び始点フレーム１インデックス情報と、人物画像データとを連結先動線メモリに記憶する。
手順９．連結元動線メモリからｐ番目レコードデータを選択する。
手順１０．ｐ番目レコードデータの終点フレームｎインデックス情報に対し、始点フレーム１インデックス情報の時刻及び座標のずれがいずれも許容範囲内のｑ番目レコードデータを連結先動線メモリから選択する。
手順１１．ｐ番目レコードデータの人物画像とｑ番目レコードデータの人物画像とから人物同定処理を実行する。
手順１２．人物同定処理により同一人物であると確認されると、ｐ番目レコードデータの動線ＩＤで特定される連結元動線データに、ｑ番目レコードデータの動線ＩＤで特定される連結先動線データを連結する。
手順１３．連結元動線メモリ内の全てのレコードデータについて、手順９〜手順１２を繰り返す。
【００８２】
かくして、売場Ａから売場Ｂに移動した買物客の動線データが連結される。次に、売場Ｂから売場Ａに移動した買物客の動線データが以下の手順で連結される。
手順１４．動線認識システムＳＢの動線データベース３４ＳＢから終点座標が通路領域ＡＢ内の動線データを連結元動線として選択する。
手順１５．動線認識システムＳＢの画像データベース３２ＳＢから、識別情報＃４，＃５及び＃６で特定されるカメラ２の画像データのうち、連結元動線の終点フレームｎ番号と一致するフレーム画像データを取り込む。
手順１６．取り込んだフレーム画像データを解析して人物画像を抽出する。
手順１７．連結元動線の動線ＩＤ及び終点フレームｎインデックス情報と、人物画像データとを連結元動線メモリに記憶する。
手順１８．動線認識システムＳＡの動線データベース３４ＳＡから始点座標が通路領域ＡＢ内の動線データを連結先動線として選択する。
手順１９．動線認識システムＳＡの画像データベース３２ＳＡから、識別情報＃１，＃２及び＃３で特定されるカメラ２の画像データのうち、連結先動線の始点フレーム１番号と一致するフレーム画像データを取り込む。
手順２０．取り込んだフレーム画像データを解析して人物画像を抽出する。
手順２１．連結先動線の動線ＩＤ及び始点フレーム１インデックス情報と、人物画像データとを連結先動線メモリに記憶する。
手順２２〜手順２６．手順９〜手順１３と同一。
【００８３】
かくして、売場Ｂから売場Ａに移動した買物客の動線データが連結される。次に、売場Ｂから売場Ｃに移動した買物客、売場Ｃから売場Ｂに移動した買物客、売場Ｃから売場Ｄに移動した買物客、売場Ｄから売場Ｃに移動した買物客、売場Ｄから売場Ａに移動した買物客、売場Ａから売場Ｄに移動した買物客の順に、同様な手順で動線データが連結される。
【００８４】
このように本実施形態によれば、複数の動線認識システムでそれぞれ認識される動線のなかから同一移動体に対する動線どうしを自動的に連結することができる。したがって、広域な領域全体を補っての動線認識を、オペレータの負担になることなく可能ならしめる効果を奏する。
【００８５】
また、本実施形態では、連結元動線として選択された動線データの終点と連結先動線として選択された動線データの始点とが一致するように、少なくとも一方の動線データを補正するようにしている。したがって、連結元動線と連結先動線とを確実に接続することができる。
【００８６】
なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００８７】
例えば、前記実施形態では、図１１の連結実行処理において、先にＳＴ６９として時間のずれを判定し、次いでＳＴ７０として座標のずれを判定したが、先に座標のずれを判定し後から時間のずれを判定してもよい。また、時間と座標のいずれか一方だけを判定し、許容範囲内であれば、人物同定処理を行うようにしてもよい。
【００８８】
また、前記実施形態では、図１のＳＴ７６において、連結先動線の始点が連結元動線の終点と一致するように連結先動線のデータを補正したが、連結元動線の終点が連結先動線の始点と一致するように連結元動線のデータを補正してもよい。また、動線データを補正するのでなく、連結元動線の終点と連結先動線の始点との間を直線で結ぶ線形補間により補間してもよい。あるいは、連結元動線の終点から数ポイント前までの各インデックス情報の二次元座標と連結先動線の始点から数ポイント先までの各インデックス情報の二次元座標とを比較し、最も近接した座標のインデックス情報を起点に、連結元動線データと連結先動線データとを連結するようにしてもよい。
【００８９】
また、前記実施形態では、各売場の動線認識システムＳＡ，ＳＢ，ＳＣ，ＳＤを、カメラを用いた画像処理方式を採用したが、その他の方式、たとえば無線タグ追跡方式を採用してもよい。この場合、第１の動線認識エリアと該エリアに隣接する第２の動線認識エリアとの境界付近を、第１の動線認識エリア側から撮影するための第１のカメラと、第２の動線認識エリア側から撮影するための第２のカメラとを設置する。そして、各カメラのフレーム画像テータを時間情報と関連付けて画像データベースで記憶する。そして、第１の動線認識エリア内を移動して境界領域を終点とする連結元動線に対し、その終点座標と終点到達時刻に近似した始点座標及び始点検出時刻を有して第２の動線認識エリア内を移動する連結先動線が選択されると、第１のカメラの終点到達時刻をフレーム時刻とする画像データと第２のカメラの始点検出時刻をフレーム時刻とする画像データとにそれぞれ撮影されている人物の同定処理を行うことで、前記実施形態と同様な作用効果を奏することができる。
【００９０】
ただし、本実施形態のように、カメラを用いた画像処理方式を採用することにより、動線認識用のカメラをそのまま動線連結を判定するための画像データ取得用のカメラとして兼用できるので、システムコストを低減できる効果を奏する。
【００９１】
また、本発明は、隣接する売場間の顧客動線を連結する装置に限定されるものではなく、第１の動線認識エリア内を移動する移動体（人、動物、車両等）の動線データと、この第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体の動線データとを連結する装置にも同様に適用できるものである。
【００９２】
また、前記実施形態では、田の字型に区分された売場の中心部で各売場が仕切られており、例えば売場Ａに居る買物客は、売場Ｂまたは売場Ｄには行かれるが売場Ｃには行かれない店舗に本発明を適用したが、本発明を適用可能な店舗形態はこれに限定されるものではない。例えば、田の字型に区分された売場の中心部で各売場が仕切られていなくても、設定テーブル５に、項目「連結対象１」に対応して動線認識システムＳＡを、項目「判定カメラ１」に対応して＃１を、項目「連結対象２」に対応して動線認識システムＳＣを、項目「判定カメラ２」に対応して＃６をそれぞれ設定したレコードと、項目「連結対象１」に対応して動線認識システムＳＢを、項目「判定カメラ１」に対応して＃４を、項目「連結対象２」に対応して動線認識システムＳＤを、項目「判定カメラ２」に対応して＃３をそれぞれ設定したレコードとを追加することにより、前記実施形態と同様に適用できるものである。
【００９３】
また、前記実施形態では、動線連結プログラムをプログラム記憶部４４に予め記憶しているものとして本発明を説明したが、このプログラムは、ネットワークから動線連結装置４にダウンロードしても良いし、記録媒体に記憶させたものを動線連結装置４にインストールしてもよい。記録媒体としては、ＣＤ−ＲＯＭ等プログラムを記憶でき、かつコンピュータが読み取り可能な記録媒体であれば、その形態は何れの形態であってもよい。また、このように予めインストールやダウンロードにより得る機能は、コンピュータ内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。
【００９４】
この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。
【符号の説明】
【００９５】
３ＳＡ，３ＳＢ，３ＳＣ，３ＳＤ…動線認識システム、４…動線連結装置、５…設定テーブル、３２ＳＡ，３２ＳＢ，３２ＳＣ，３２ＳＤ…画像データベース、３４ＳＡ，３４ＳＢ，３４ＳＣ，３４ＳＤ…動線データベース、４３…データベースアクセス部、４４…プログラム記憶部、４７…制御部。
【先行技術文献】
【特許文献】
【００９６】
【特許文献１】特開２００９−００９３９４号公報
【特許文献２】特開２００１−２０９７９５号公報
【特許文献３】特開２００９−０５９０４２号公報
【特許文献４】特開２００２−３０５７１７号公報
【特許請求の範囲】
【請求項１】
第１の動線認識エリア内を移動する移動体毎にその移動体が前記第１の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第１の動線認識エリア内での軌跡を示す動線データを記憶するための第１の動線データベース、前記第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体毎にその移動体が前記第２の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第２の動線認識エリア内での軌跡を示す動線データを記憶するための第２の動線データベース、少なくとも前記第１の動線認識エリアと前記第２の動線認識エリアとが隣接する境界近傍を前記第１の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第１の画像データベース、及び、少なくとも前記境界近傍を前記第２の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第２の画像データベースの各データベースに対してアクセスが可能なコンピュータにより、前記第１の動線データベースに記憶された各移動体の動線データと前記第２の動線データベースに記憶された各移動体の動線データとのなかから、同一移動体の動線データどうしを連結する動線連結方法であって、
前記コンピュータは、
前記第１の動線データベースに記憶された各動線データの中から、前記境界近傍を終点とする移動体の動線データを選択する連結元動線選択段階と、
この連結元動線選択段階により選択された動線データの終点が検出された時点の前記境界近傍を撮影したカメラ画像データを前記第１の画像データベースから選択する連結元画像選択段階と、
この連結元画像選択段階により選択されたカメラ画像データから移動体画像を抽出する連結元移動体画像抽出段階と、
前記第２の動線データベースに記憶された各動線データの中から、前記連結元動線選択段階により選択された動線データの終点が検出された時点の前後に前記境界近傍を始点として追跡された移動体の動線データを選択する連結先動線選択段階と、
この連結先動線選択段階により選択された動線データの始点が検出された時点の前記境界近傍を撮影したカメラ画像データを前記第２の画像データベースから選択する連結先画像選択段階と、
この連結先画像選択段階により選択されたカメラ画像データから移動体画像を抽出する連結先移動体画像抽出段階と、
前記連結元移動体画像抽出段階により抽出された移動体画像と前記連結先移動体画像抽出段階により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定する移動体同定段階と、
この移動体同定段階により移動体が同一であると判定されると、前記連結元動線選択段階により選択された動線データに前記連結先動線選択段階により選択された動線データを連結する動線連結段階と、
を備えることを特徴とする動線連結方法。
【請求項２】
前記動線連結段階は、前記連結元動線選択段階により選択された動線データの終点と前記連結先動線選択段階により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正する動線補正段階を含むことを特徴とする請求項１記載の動線連結方法。
【請求項３】
前記第１の動線データベースに記憶される移動体の動線データは、前記第１の動線認識エリア内を撮影したカメラ画像データから検出された当該移動体の位置座標と検出時点の時間情報とにその移動体を検出したカメラ画像データを特定するデータを関連付けた情報をインデックス情報として始点から終点まで時系列に蓄積したものであり、
前記第２の動線データベースに記憶される移動体の動線データは、前記第２の動線認識エリア内を撮影したカメラ画像データから検出された当該移動体の位置座標と検出時点の時間情報とにその移動体を検出したカメラ画像データを特定するデータを関連付けた情報をインデックス情報として始点から終点まで時系列に蓄積したものであり、
前記連結元画像選択段階は、前記連結元動線選択段階により選択された動線データの終点に対応したインデックス情報のカメラ画像データを特定するデータで特定されるカメラ画像データを前記第１の画像データベースから選択し、
前記連結元先画像選択段階は、前記連結先動線選択段階により選択された動線データの始点に対応したインデックス情報のカメラ画像データを特定するデータで特定されるカメラ画像データを前記第２の画像データベースから選択することを特徴とする請求項１または２記載の動線連結方法。
【請求項４】
第１の動線認識エリア内を移動する移動体毎にその移動体が前記第１の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第１の動線認識エリア内での軌跡を示す動線データを記憶するための第１の動線データベース、前記第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体毎にその移動体が前記第２の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第２の動線認識エリア内での軌跡を示す動線データを記憶するための第２の動線データベース、少なくとも前記第１の動線認識エリアと前記第２の動線認識エリアとが隣接する境界近傍を前記第１の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第１の画像データベース、及び、少なくとも前記境界近傍を前記第２の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第２の画像データベースの各データベースに対してアクセスが可能であり、
前記第１の動線データベースに記憶された各動線データの中から、前記境界近傍を終点とする移動体の動線データを選択する連結元動線選択手段と、
この連結元動線選択手段により選択された動線データの終点が検出された時点の前記境界近傍を撮影したカメラ画像データを前記第１の画像データベースから選択する連結元画像選択手段と、
この連結元画像選択手段により選択されたカメラ画像データから移動体画像を抽出する連結元移動体画像抽出手段と、
前記第２の動線データベースに記憶された各動線データの中から、前記連結元動線選択手段により選択された動線データの終点が検出された時点の前後に前記境界近傍を始点として追跡された移動体の動線データを選択する連結先動線選択手段と、
この連結先動線選択手段により選択された動線データの始点が検出された時点の前記境界近傍を撮影したカメラ画像データを前記第２の画像データベースから選択する連結先画像選択手段と、
この連結先画像選択手段により選択されたカメラ画像データから移動体画像を抽出する連結先移動体画像抽出手段と、
前記連結元移動体画像抽出手段により抽出された移動体画像と前記連結先移動体画像抽出手段により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定する移動体同定手段と、
この移動体同定手段により移動体が同一であると判定されると、前記連結元動線選択手段により選択された動線データに前記連結先動線選択手段により選択された動線データを連結する動線連結手段と、
を具備したことを特徴とする動線連結装置。
【請求項５】
前記動線連結手段は、前記連結元動線選択手段により選択された動線データの終点と前記連結先動線選択手段により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正する動線補正手段を含むことを特徴とする請求項４記載の動線連結装置。
【請求項６】
前記第１の動線データベースに記憶される移動体の動線データは、前記第１の動線認識エリア内を撮影したカメラ画像データから検出された当該移動体の位置座標と検出時点の時間情報とにその移動体を検出したカメラ画像データを特定するデータを関連付けた情報をインデックス情報として始点から終点まで時系列に蓄積したものであり、
前記第２の動線データベースに記憶される移動体の動線データは、前記第２の動線認識エリア内を撮影したカメラ画像データから検出された当該移動体の位置座標と検出時点の時間情報とにその移動体を検出したカメラ画像データを特定するデータを関連付けた情報をインデックス情報として始点から終点まで時系列に蓄積したものであり、
前記連結元画像選択手段は、前記連結元動線選択手段により選択された動線データの終点に対応したインデックス情報のカメラ画像データを特定するデータで特定されるカメラ画像データを前記第１の画像データベースから選択し、
前記連結元先画像選択手段は、前記連結先動線選択手段により選択された動線データの始点に対応したインデックス情報のカメラ画像データを特定するデータで特定されるカメラ画像データを前記第２の画像データベースから選択することを特徴とする請求項４または５記載の動線連結装置。
【請求項７】
第１の動線認識エリア内を移動する移動体毎にその移動体が前記第１の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第１の動線認識エリア内での軌跡を示す動線データを記憶するための第１の動線データベース、前記第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体毎にその移動体が前記第２の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第２の動線認識エリア内での軌跡を示す動線データを記憶するための第２の動線データベース、少なくとも前記第１の動線認識エリアと前記第２の動線認識エリアとが隣接する境界近傍を前記第１の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第１の画像データベース、及び、少なくとも前記境界近傍を前記第２の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第２の画像データベースの各データベースに対してアクセスが可能なコンピュータに、
前記第１の動線データベースに記憶された各動線データの中から、前記境界近傍を終点とする移動体の動線データを選択させる連結元動線選択機能と、
この連結元動線選択機能により選択された動線データの終点が検出された時点の前記境界近傍を撮影したカメラ画像データを前記第１の画像データベースから選択させる連結元画像選択機能と、
この連結元画像選択機能により選択されたカメラ画像データから移動体画像を抽出させる連結元移動体画像抽出機能と、
前記第２の動線データベースに記憶された各動線データの中から、前記連結元動線選択機能により選択された動線データの終点が検出された時点の前後に前記境界近傍を始点として追跡された移動体の動線データを選択させる連結先動線選択機能と、
この連結先動線選択機能により選択された動線データの始点が検出された時点の前記境界近傍を撮影したカメラ画像データを前記第２の画像データベースから選択させる連結先画像選択機能と、
この連結先画像選択機能により選択されたカメラ画像データから移動体画像を抽出させる連結先移動体画像抽出機能と、
前記連結元移動体画像抽出機能により抽出された移動体画像と前記連結先移動体画像抽出機能により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定させる移動体同定機能と、
この移動体同定機能により移動体が同一であると判定されると、前記連結元動線選択機能により選択された動線データに前記連結先動線選択機能により選択された動線データを連結させる動線連結機能と、
を実現させるための動線連結プログラム。
【請求項８】
前記動線連結機能は、コンピュータに、前記連結元動線選択機能により選択された動線データの終点と前記連結先動線選択機能により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正させる動線補正機能を含むものである請求項７記載の動線連結プログラム。
【請求項９】
前記第１の動線データベースに記憶される移動体の動線データは、前記第１の動線認識エリア内を撮影したカメラ画像データから検出された当該移動体の位置座標と検出時点の時間情報とにその移動体を検出したカメラ画像データを特定するデータを関連付けた情報をインデックス情報として始点から終点まで時系列に蓄積したものであり、
前記第２の動線データベースに記憶される移動体の動線データは、前記第２の動線認識エリア内を撮影したカメラ画像データから検出された当該移動体の位置座標と検出時点の時間情報とにその移動体を検出したカメラ画像データを特定するデータを関連付けた情報をインデックス情報として始点から終点まで時系列に蓄積したものであり、
前記連結元画像選択機能は、コンピュータに、前記連結元動線選択機能により選択された動線データの終点に対応したインデックス情報のカメラ画像データを特定するデータで特定されるカメラ画像データを前記第１の画像データベースから選択させ、
前記連結元先画像選択機能は、コンピュータに、前記連結先動線選択機能により選択された動線データの始点に対応したインデックス情報のカメラ画像データを特定するデータで特定されるカメラ画像データを前記第２の画像データベースから選択させるものである請求項７または８記載の動線連結プログラム。
【請求項１】
第１の動線認識エリア内を移動する移動体毎にその移動体が前記第１の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第１の動線認識エリア内での軌跡を示す動線データを記憶するための第１の動線データベース、前記第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体毎にその移動体が前記第２の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第２の動線認識エリア内での軌跡を示す動線データを記憶するための第２の動線データベース、少なくとも前記第１の動線認識エリアと前記第２の動線認識エリアとが隣接する境界近傍を前記第１の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第１の画像データベース、及び、少なくとも前記境界近傍を前記第２の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第２の画像データベースの各データベースに対してアクセスが可能なコンピュータにより、前記第１の動線データベースに記憶された各移動体の動線データと前記第２の動線データベースに記憶された各移動体の動線データとのなかから、同一移動体の動線データどうしを連結する動線連結方法であって、
前記コンピュータは、
前記第１の動線データベースに記憶された各動線データの中から、前記境界近傍を終点とする移動体の動線データを選択する連結元動線選択段階と、
この連結元動線選択段階により選択された動線データの終点が検出された時点の前記境界近傍を撮影したカメラ画像データを前記第１の画像データベースから選択する連結元画像選択段階と、
この連結元画像選択段階により選択されたカメラ画像データから移動体画像を抽出する連結元移動体画像抽出段階と、
前記第２の動線データベースに記憶された各動線データの中から、前記連結元動線選択段階により選択された動線データの終点が検出された時点の前後に前記境界近傍を始点として追跡された移動体の動線データを選択する連結先動線選択段階と、
この連結先動線選択段階により選択された動線データの始点が検出された時点の前記境界近傍を撮影したカメラ画像データを前記第２の画像データベースから選択する連結先画像選択段階と、
この連結先画像選択段階により選択されたカメラ画像データから移動体画像を抽出する連結先移動体画像抽出段階と、
前記連結元移動体画像抽出段階により抽出された移動体画像と前記連結先移動体画像抽出段階により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定する移動体同定段階と、
この移動体同定段階により移動体が同一であると判定されると、前記連結元動線選択段階により選択された動線データに前記連結先動線選択段階により選択された動線データを連結する動線連結段階と、
を備えることを特徴とする動線連結方法。
【請求項２】
前記動線連結段階は、前記連結元動線選択段階により選択された動線データの終点と前記連結先動線選択段階により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正する動線補正段階を含むことを特徴とする請求項１記載の動線連結方法。
【請求項３】
前記第１の動線データベースに記憶される移動体の動線データは、前記第１の動線認識エリア内を撮影したカメラ画像データから検出された当該移動体の位置座標と検出時点の時間情報とにその移動体を検出したカメラ画像データを特定するデータを関連付けた情報をインデックス情報として始点から終点まで時系列に蓄積したものであり、
前記第２の動線データベースに記憶される移動体の動線データは、前記第２の動線認識エリア内を撮影したカメラ画像データから検出された当該移動体の位置座標と検出時点の時間情報とにその移動体を検出したカメラ画像データを特定するデータを関連付けた情報をインデックス情報として始点から終点まで時系列に蓄積したものであり、
前記連結元画像選択段階は、前記連結元動線選択段階により選択された動線データの終点に対応したインデックス情報のカメラ画像データを特定するデータで特定されるカメラ画像データを前記第１の画像データベースから選択し、
前記連結元先画像選択段階は、前記連結先動線選択段階により選択された動線データの始点に対応したインデックス情報のカメラ画像データを特定するデータで特定されるカメラ画像データを前記第２の画像データベースから選択することを特徴とする請求項１または２記載の動線連結方法。
【請求項４】
第１の動線認識エリア内を移動する移動体毎にその移動体が前記第１の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第１の動線認識エリア内での軌跡を示す動線データを記憶するための第１の動線データベース、前記第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体毎にその移動体が前記第２の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第２の動線認識エリア内での軌跡を示す動線データを記憶するための第２の動線データベース、少なくとも前記第１の動線認識エリアと前記第２の動線認識エリアとが隣接する境界近傍を前記第１の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第１の画像データベース、及び、少なくとも前記境界近傍を前記第２の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第２の画像データベースの各データベースに対してアクセスが可能であり、
前記第１の動線データベースに記憶された各動線データの中から、前記境界近傍を終点とする移動体の動線データを選択する連結元動線選択手段と、
この連結元動線選択手段により選択された動線データの終点が検出された時点の前記境界近傍を撮影したカメラ画像データを前記第１の画像データベースから選択する連結元画像選択手段と、
この連結元画像選択手段により選択されたカメラ画像データから移動体画像を抽出する連結元移動体画像抽出手段と、
前記第２の動線データベースに記憶された各動線データの中から、前記連結元動線選択手段により選択された動線データの終点が検出された時点の前後に前記境界近傍を始点として追跡された移動体の動線データを選択する連結先動線選択手段と、
この連結先動線選択手段により選択された動線データの始点が検出された時点の前記境界近傍を撮影したカメラ画像データを前記第２の画像データベースから選択する連結先画像選択手段と、
この連結先画像選択手段により選択されたカメラ画像データから移動体画像を抽出する連結先移動体画像抽出手段と、
前記連結元移動体画像抽出手段により抽出された移動体画像と前記連結先移動体画像抽出手段により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定する移動体同定手段と、
この移動体同定手段により移動体が同一であると判定されると、前記連結元動線選択手段により選択された動線データに前記連結先動線選択手段により選択された動線データを連結する動線連結手段と、
を具備したことを特徴とする動線連結装置。
【請求項５】
前記動線連結手段は、前記連結元動線選択手段により選択された動線データの終点と前記連結先動線選択手段により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正する動線補正手段を含むことを特徴とする請求項４記載の動線連結装置。
【請求項６】
前記第１の動線データベースに記憶される移動体の動線データは、前記第１の動線認識エリア内を撮影したカメラ画像データから検出された当該移動体の位置座標と検出時点の時間情報とにその移動体を検出したカメラ画像データを特定するデータを関連付けた情報をインデックス情報として始点から終点まで時系列に蓄積したものであり、
前記第２の動線データベースに記憶される移動体の動線データは、前記第２の動線認識エリア内を撮影したカメラ画像データから検出された当該移動体の位置座標と検出時点の時間情報とにその移動体を検出したカメラ画像データを特定するデータを関連付けた情報をインデックス情報として始点から終点まで時系列に蓄積したものであり、
前記連結元画像選択手段は、前記連結元動線選択手段により選択された動線データの終点に対応したインデックス情報のカメラ画像データを特定するデータで特定されるカメラ画像データを前記第１の画像データベースから選択し、
前記連結元先画像選択手段は、前記連結先動線選択手段により選択された動線データの始点に対応したインデックス情報のカメラ画像データを特定するデータで特定されるカメラ画像データを前記第２の画像データベースから選択することを特徴とする請求項４または５記載の動線連結装置。
【請求項７】
第１の動線認識エリア内を移動する移動体毎にその移動体が前記第１の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第１の動線認識エリア内での軌跡を示す動線データを記憶するための第１の動線データベース、前記第１の動線認識エリアに隣接する第２の動線認識エリア内を移動する移動体毎にその移動体が前記第２の動線認識エリアに進入した地点である始点から退出した地点である終点までの前記第２の動線認識エリア内での軌跡を示す動線データを記憶するための第２の動線データベース、少なくとも前記第１の動線認識エリアと前記第２の動線認識エリアとが隣接する境界近傍を前記第１の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第１の画像データベース、及び、少なくとも前記境界近傍を前記第２の動線認識エリア側から撮影したカメラ画像データを撮影時刻とともに記憶する第２の画像データベースの各データベースに対してアクセスが可能なコンピュータに、
前記第１の動線データベースに記憶された各動線データの中から、前記境界近傍を終点とする移動体の動線データを選択させる連結元動線選択機能と、
この連結元動線選択機能により選択された動線データの終点が検出された時点の前記境界近傍を撮影したカメラ画像データを前記第１の画像データベースから選択させる連結元画像選択機能と、
この連結元画像選択機能により選択されたカメラ画像データから移動体画像を抽出させる連結元移動体画像抽出機能と、
前記第２の動線データベースに記憶された各動線データの中から、前記連結元動線選択機能により選択された動線データの終点が検出された時点の前後に前記境界近傍を始点として追跡された移動体の動線データを選択させる連結先動線選択機能と、
この連結先動線選択機能により選択された動線データの始点が検出された時点の前記境界近傍を撮影したカメラ画像データを前記第２の画像データベースから選択させる連結先画像選択機能と、
この連結先画像選択機能により選択されたカメラ画像データから移動体画像を抽出させる連結先移動体画像抽出機能と、
前記連結元移動体画像抽出機能により抽出された移動体画像と前記連結先移動体画像抽出機能により抽出された移動体画像とを照合して各画像の移動体が同一か否かを判定させる移動体同定機能と、
この移動体同定機能により移動体が同一であると判定されると、前記連結元動線選択機能により選択された動線データに前記連結先動線選択機能により選択された動線データを連結させる動線連結機能と、
を実現させるための動線連結プログラム。
【請求項８】
前記動線連結機能は、コンピュータに、前記連結元動線選択機能により選択された動線データの終点と前記連結先動線選択機能により選択された動線データの始点とが一致するように少なくとも一方の前記動線データを補正させる動線補正機能を含むものである請求項７記載の動線連結プログラム。
【請求項９】
前記第１の動線データベースに記憶される移動体の動線データは、前記第１の動線認識エリア内を撮影したカメラ画像データから検出された当該移動体の位置座標と検出時点の時間情報とにその移動体を検出したカメラ画像データを特定するデータを関連付けた情報をインデックス情報として始点から終点まで時系列に蓄積したものであり、
前記第２の動線データベースに記憶される移動体の動線データは、前記第２の動線認識エリア内を撮影したカメラ画像データから検出された当該移動体の位置座標と検出時点の時間情報とにその移動体を検出したカメラ画像データを特定するデータを関連付けた情報をインデックス情報として始点から終点まで時系列に蓄積したものであり、
前記連結元画像選択機能は、コンピュータに、前記連結元動線選択機能により選択された動線データの終点に対応したインデックス情報のカメラ画像データを特定するデータで特定されるカメラ画像データを前記第１の画像データベースから選択させ、
前記連結元先画像選択機能は、コンピュータに、前記連結先動線選択機能により選択された動線データの始点に対応したインデックス情報のカメラ画像データを特定するデータで特定されるカメラ画像データを前記第２の画像データベースから選択させるものである請求項７または８記載の動線連結プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１７０５６４（Ｐ２０１１−１７０５６４Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３２９４８（Ｐ２０１０−３２９４８）
【出願日】平成２２年２月１７日（２０１０．２．１７）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月１７日（２０１０．２．１７）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]