顧客行動追跡型映像配信システム
【課題】 店舗や公共施設などの所定の範囲内において、個々の顧客行動を分析し、その結果をデジタルサイネージの適切な映像表示に利用する技術を提供することを目的とする。
【解決手段】 顔認識情報データベースおよび検出エリア履歴データベースを備えたホストシステムと、このホストシステムに映像を視聴する人物を撮影した画像データを送信しコンテンツを受信して表示する複数のカメラ付きデジタルサイネージ端末を備える。ホストシステムは、端末から送信された画像データを顔認識情報データベースに登録し、その顧客向けのコンテンツを端末に送信して表示させる。その際、データベースに登録された情報から顧客の行動履歴を分析して最適コンテンツを選択して表示させる。カメラ付きデジタルサイネージ端末は、ホストシステムから送信されたコンテンツを表示する。
【解決手段】 顔認識情報データベースおよび検出エリア履歴データベースを備えたホストシステムと、このホストシステムに映像を視聴する人物を撮影した画像データを送信しコンテンツを受信して表示する複数のカメラ付きデジタルサイネージ端末を備える。ホストシステムは、端末から送信された画像データを顔認識情報データベースに登録し、その顧客向けのコンテンツを端末に送信して表示させる。その際、データベースに登録された情報から顧客の行動履歴を分析して最適コンテンツを選択して表示させる。カメラ付きデジタルサイネージ端末は、ホストシステムから送信されたコンテンツを表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗や公共施設などの所定の範囲内における顧客の行動を分析して、適切な広告等の映像を提供する技術に関するものである。
【背景技術】
【０００２】
店舗や公共施設などで、広告映像を表示するために、電子看板（digital singnage：デジタルサイネージ）が広く用いられている。最近では、施設内の各所に設置されたデジタルサイネージにカメラを備えて、そのデジタルサイネージを見る人物の顔を認識し、その人物の年齢や表情を分析して、人物毎に表示する映像を制御するシステムが普及しつつある。
【０００３】
下記特許文献１には、店舗内に複数設置されたカメラで顔認識し、顧客の購買行動を記録したり、広告を見ている人と購買した人の一致をみたりする技術が提案されている。また、特許文献２には、店舗内に複数設置されたカメラで顔認識をし、人物毎の滞在時間と購入行動を記録する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１１３６９２
【特許文献２】特開２００５−２６７６１１
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載の技術は、顧客の行動を分析してマーケティングに役立つデータを収集するのに有効であるが、収集したデータを利用してリアルタイムにデジタルサイネージに表示する映像を制御するものではない。
【０００６】
また、特許文献２に開示されたデジタルサイネージシステムでは、顔認識によって検出された個々に対する統計情報（例えば、１日のうちの検出回数）に基づき、適切な映像を選択し表示することで効果的な映像表示方法を提案しているが、顔認識により特定した個人の行動を追跡し収集した情報を分析して、適切な映像提供に利用する手段については言及していない。
【０００７】
本発明の目的は、店舗や公共施設などの所定の範囲内において、個々の顧客行動を分析し、その結果をデジタルサイネージの適切な映像表示に利用する技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の顧客行動追跡型映像配信システムは、顔認識情報データベースおよび検出エリア履歴データベースを備えたホストシステムと、このホストシステムに映像を視聴する人物を撮影した画像データを送信およびホストシステムからコンテンツを受信して表示する複数のカメラ付きデジタルサイネージ端末を備える。前記ホストシステムは、カメラ付きデジタルサイネージ端末から送信された画像データを顔認識情報データベースに登録するとともに、その顧客向けのコンテンツをその端末に表示する。その履歴情報は検出エリア履歴データベースに登録する。ホストシステムは、データベースに登録された情報から顧客の行動履歴を分析して最適コンテンツを選択して端末に送信して表示させる。前記カメラ付きデジタルサイネージ端末は、ホストシステムから送信されたコンテンツを表示する。
【０００９】
すなわち、請求項１に係る発明は、ホストシステムと、該ホストシステムに接続された複数のカメラ付きデジタルサイネージ端末とを備えた顧客行動追跡型映像配信システムであって、前記ホストシステムは、検出した顔データとその顔データを分析して取得した性別および年齢層を登録する顔認識情報データベースと、顔データが検出されたエリアと、その顔データの人物向けに表示したコンテンツを示す表示コンテンツＩＤと、その顔データが検出された日時を示すイベント発生日時とを含む履歴情報を登録する検出エリア履歴データベースと、前記カメラ付きデジタルサイネージ端末から送信される画像データを受信する手段と、受信した画像データから顔データを検出する手段と、検出した顔データを前記顔認識情報データベースに登録されているデータと照合し、既に登録済みの人物の顔データか否かを判定する手段と、前記検出した顔データが前記顔認識情報データベースに登録済みの顔データで無かったときは、前記検出した顔データに基づいて性別と年齢層を判定し、その顔データとともにそれらの判定結果を前記顔認識情報データベースに登録し、判定結果の性別と年齢層に応じたコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録する手段と、前記検出した顔データが前記顔認識情報データベースに登録済みの顔データであったときは、その顔データに対応する前記顔認識情報データベースの登録情報と前記検出エリア履歴データベース内の履歴情報に基づいてコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録する手段とを備え、前記カメラ付きデジタルサイネージ端末は、カメラで撮影した画像データを前記ホストシステムに送信する手段と、前記ホストシステムから送信されるコンテンツを表示する手段とを備えることを特徴とする。
【００１０】
請求項２に係る発明は、ホストシステムと、該ホストシステムに接続された複数のカメラ付きデジタルサイネージ端末とを備えた顧客行動追跡型映像配信システムにおける顧客行動追跡型映像配信方法であって、前記ホストシステムには、検出した顔データとその顔データを分析して取得した性別および年齢層を登録する顔認識情報データベースと、顔データが検出されたエリアと、その顔データの人物向けに表示したコンテンツを示す表示コンテンツＩＤと、その顔データが検出された日時を示すイベント発生日時とを含む履歴情報を登録する検出エリア履歴データベースとを設け、前記カメラ付きデジタルサイネージ端末が、カメラで撮影した画像データを前記ホストシステムに送信するステップと、前記ホストシステムが、該画像データを受信するステップと、前記ホストシステムが、受信した画像データから顔データを検出するステップと、前記ホストシステムが、検出した顔データを前記顔認識情報データベースに登録されているデータと照合し、既に登録済みの人物の顔データか否かを判定するステップと、前記ホストシステムが、前記検出した顔データが前記顔認識情報データベースに登録済みの顔データで無かったときは、前記検出した顔データに基づいて性別と年齢層を判定し、その顔データとともにそれらの判定結果を前記顔認識情報データベースに登録し、判定結果の性別と年齢層に応じたコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録するステップと、前記ホストシステムが、前記検出した顔データが前記顔認識情報データベースに登録済みの顔データであったときは、その顔データに対応する前記顔認識情報データベースの登録情報と前記検出エリア履歴データベース内の履歴情報に基づいてコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録するステップとを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、店舗や公共施設などの所定の範囲において、顧客の行動を追跡し収集した情報を、デジタルサイネージ端末での適切な映像表示に、リアルタイムに利用することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施の形態例を示す顧客行動追跡型映像配信システムを備えた施設の概念的な配置図である。
【図２】本発明の一実施の形態例を示すシステム構成図である。
【図３】縦型カメラ付きデジタルサイネージ端末の概念的な外形図である。
【図４】横型カメラ付きデジタルサイネージ端末の概念的な外形図である。
【図５】ホストシステムの顔認識情報データベースに格納されているデータの構成図である。
【図６】ホストシステムの検出エリア履歴データベースに格納されているデータの構成図である。
【図７】ホストシステムのコンテンツ管理データベースに格納されているデータの構成図である。
【図８】顔認識処理の概要を示すフローチャートである。
【図９】追跡型コンテンツ表示処理のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明を適用した顧客行動追跡型映像配信システムの一実施の形態について説明する。
【００１４】
図１は、本発明の実施の形態の一例を示す顧客行動追跡型映像配信システムを備えた施設の概念的な配置図である。図１に示すように、施設１０１は、ある程度の順路を備えた施設である。例えば、美術館や博物館、イベント会場を想定している。顧客は、入口１０２から施設内に入場し、順路に従うか、または自由に、各施設内エリア１０５を徘徊したのち、出口１０３から退場する。１０４はカメラ付きデジタルサイネージ端末を示す。
【００１５】
図２は、本実施形態の顧客行動追跡型映像配信システムの一構成例を示すシステム構成図である。この顧客行動追跡型映像配信システムは、顔認識情報データベース２０７と検出エリア履歴データベース２０８とコンテンツ管理データベース２０９を備えたホストシステム２０３と、このホストシステム２０３に顔データを送信し表示用映像コンテンツを受信する複数のカメラ付きデジタルサイネージ端末２０１，２０２とを備える。２０１は縦型の端末、２０２は横型の端末を示す。カメラ付きデジタルサイネージ端末２０１，２０２は、ネットワーク２０６によってホストシステム２０３と接続されている。
【００１６】
図３は、縦型カメラ付きデジタルサイネージ端末２０１の概念的な外形図である。顧客の顔を撮影するカメラ３０１とディスプレイ部３０２を備えている。
【００１７】
図４は、横型カメラ付きデジタルサイネージ端末２０２の概念的な外形図である。顧客の顔を撮影するカメラ４０１とディスプレイ部４０２を備えている。
【００１８】
図２のホストシステム２０３の顔認識情報データベース２０７には、カメラ３０１，４０１によって撮影された顧客の顔データの認識結果が格納される。検出エリア履歴データベース２０８には、顧客の顔データがカメラ３０１，４０１によって撮影されたエリアの履歴と、表示した映像コンテンツの履歴が登録される。コンテンツ管理データベース２０９には、カメラ付きデジタルサイネージ端末２０１，２０２に表示する映像コンテンツが登録されている。
【００１９】
ホストシステム２０３は、顔データ処理部２０４と、追跡型コンテンツ表示処理部２０５を備える。顔データ処理部２０４は、顔認識情報データベース２０７と検出エリア履歴データベース２０８の登録・更新処理を行う。追跡型コンテンツ表示処理部２０５は、コンテンツ管理データベース２０９の登録・更新処理と、顔認識情報データベース２０７のデータと検出エリア履歴データベース２０８のデータを参照して、カメラ付きデジタルサイネージ端末２０１，２０２に映像コンテンツを配信する処理を実行する。
【００２０】
図５は、顔認識情報データベース２０７に格納される顔データおよび認識結果の内容例を示す。顔認識情報データベース２０７は、顔認識個体管理ＩＤ５０１、性別５０２、年齢層５０３、画像データ５０４、登録日時５０５、および、更新日時５０６の各フィールドを備える。顔認識個体管理ＩＤ５０１は、１レコードすなわち１人の人物の顔データとその顔認識結果を特定するためのＩＤである。レコードの登録時に登録日時５０５が設定され、更新時に更新日時５０６が設定される。
【００２１】
例えば、３０代男性１名が、図１の施設内エリアＡ（１０５−ａ）に設置されたデジタルサイネージ端末１０４の付近に立ち寄った場合、該デジタルサイネージ端末１０４は、カメラ３０１（または４０１）で撮影した画像データをホストシステム２０３に送信する。ホストシステム２０３の顔データ処理部２０４は、受信した画像データを分析し、図５に示すように、顔認識個体管理ＩＤ５０１として「af8b2F20020101224133359003」、性別５０２として「Ｍ」（男性を表す）、年齢層５０３として「３０」、画像データ５０４として「af8b2F20020101224133359003.jpg」を登録し、そのときの日時を登録日時５０５として例えば「2010/12/24 13:35:59」と登録する。なお、性別５０２と年齢層５０３を推定し、登録する方法は任意である。例えば、性別・年代別に顔画像から得られる複数種類の特徴パラメータ（目、眉、頬骨、鼻、肌色）についてモデルデータを求めておき、今回受信した画像データ５０４から得られた特徴パラメータの組み合わせが、どのモデルデータに最も適合するかを判別し、最も適合すると判別したモデルデータに対応する性別・年齢層を選択するようにしてもよい。
【００２２】
図６は、検出エリア履歴データベース２０８に格納される検出エリア履歴情報の内容例を示す。検出エリア履歴データベース２０８は、顔認識個体管理ＩＤ６０１、イベント連番６０２、検出エリアＮｏ６０３、表示コンテンツＩＤ６０４、および、イベント発生日時６０５の各フィールドを備える。顔認識個体管理ＩＤ６０１とイベント連番６０２によって、１レコードすなわち一意の検出エリア履歴情報を特定する。イベント連番は、その人物がデジタルサイネージ端末１０４で捕捉される毎に１から順に付けた連番である。
【００２３】
例えば、２０代男性１名が最初にエリアＢのデジタルサイネージ端末１０４で捕捉された場合、上記図５の顔認識情報データベース２０７に顔認識個体管理ＩＤが「af8afM20020101224122134001」のレコードが登録され、さらに図６の検出エリア履歴データベース２０８にこの人物の検出エリア履歴のレコードが生成され、顔認識個体管理ＩＤとして「af8afM20020101224122134001」、イベント連番６０２として「１」、検出エリアＮｏ６０３として「Ｂ」、イベント発生日時６０５としてその時点の日時「2010/12/24 09:11:15」が登録される。また、この人物に対して最適なコンテンツが選択されて当該デジタルサイネージ端末１０４で表示されたとき、そのコンテンツＩＤ「gr3546」が、表示コンテンツＩＤ６０４として登録される。
【００２４】
さらに、この人物が施設内を移動し、次にエリアＤのデジタルサイネージ端末１０４で捕捉されると、同じ顔認識個体管理ＩＤ６０１で、イベント連番６０２が「２」のレコードが生成され、検出エリアＮｏ６０３として「Ｄ」、イベント発生日時６０５として「2010/12/24 12:21:36」が登録される。また、この人物に対して最適なコンテンツが選択されて当該デジタルサイネージ端末１０４で表示されたとき、そのコンテンツＩＤ「ht0025」が、表示コンテンツＩＤ６０４として登録される。このような検出エリア履歴情報により、履歴の管理をおこなう。
【００２５】
図７は、コンテンツ管理データベース２０９に格納されるコンテンツ管理情報の内容例を示す。コンテンツ管理データベース２０９は、コンテンツＩＤ７０１、対象性別７０２、年齢層ＭＩＮ７０３、年齢層ＭＡＸ７０４、表示エリアＮｏ７０５、コンテンツグループ７０６、キーワード７０７、データ形式７０８、有効期限ＦＲＯＭ７０９、有効期限ＴＯ７１０、データパス７１１、および、ファイルサイズ７１２の各フィールドを備える。
【００２６】
コンテンツＩＤ７０１は、１レコードすなわちコンテンツ情報を一意に特定するＩＤである。対象性別７０２、年齢層ＭＩＮ７０３、および年齢層ＭＡＸ７０４は、当該コンテンツが対象とする性別、年齢層の最小値、および年齢層の最大値を示す。表示エリアＮｏ７０５は、当該コンテンツをどの表示エリアのデジタルサイネージ端末に出力するかを示す。コンテンツグループ７０６、キーワード７０７、およびデータ形式７０８は、当該コンテンツが属するグループ、当該コンテンツに関するキーワード、および当該コンテンツのデータ形式を示す。有効期限ＦＲＯＭ７０９および有効期限ＴＯ７１０は、当該コンテンツをいつからいつまで出力するかの期間を示す。データパス７１１およびファイルサイズ７１２は、当該コンテンツのファイルが存在するパスとそのファイルサイズを示す。
【００２７】
例えば、自動車メーカーのＣＭコンテンツを登録する場合、コンテンツＩＤ７０１として「fx0033」、対象性別７０２として「Ｍ」、年齢層ＭＩＮ７０３として「２０」、年齢層ＭＡＸ７０４として「５０」、表示エリアＮｏ７０５として「Ａ，Ｄ，Ｅ」、コンテンツグループ７０６として「販促ＣＭ」、キーワード７０７として「車」、データ形式７０８として「MPEG4」、有効期限ＦＲＯＭ７０９として「2010/02/01」、有効期限ＴＯ７１０として「2010/04/30」、データパス７１１として「CONTENT/sales/fx0033.mp4」、ファイルサイズ７１２として「1,463,213,156」というように登録する。
【００２８】
以下、以上のように構成された顧客行動追跡型映像配信システムの動作を説明する。
【００２９】
図８は、ホストシステム２０３の顔認識処理の概要を示すフローチャートである。ホストシステム２０３は、カメラ付きデジタルサイネージ端末２０１，２０２のカメラで撮影した画像データを受信すると、本処理を起動する。
【００３０】
まず、受信した画像データから「人の顔」を検出する（ステップ８０１）。検出した顔データが複数存在する場合、最も画像データ内の占有率が高い顔データ（すなわちカメラの近くに居る人物）を特定して、過去に分析済みの顔データか否かを顔認識情報データベース２０７（図５）と照合判定する（ステップ８０２）。新規の顔データである場合（ステップ８０２：ＮＯ）、その顔データに顔認識個体管理ＩＤを付与する（ステップ８０３）。また、その顔データに基づいて性別を判定し（ステップ８０４）、年齢層を推定する（ステップ８０５）。次に、顔認識情報データベース２０７（図５）に１レコードを確保し、ステップ８０３〜８０５で取得した顔認識個体管理ＩＤ５０１、性別５０２、年齢層５０３を登録するとともに、その顔の画像データ５０４と登録日時５０５を登録する（ステップ８０６）。さらに、初めて捕捉した人物の顔であるので、検出エリア履歴データベース２０８（図６）に１レコードを確保し、顔認識個体管理ＩＤ６０１、イベント連番６０２、検出エリアＮｏ．６０３、およびイベント発生日時６０５を登録する（ステップ８０７）。初めて捕捉した人物の顔であるので、イベント連番６０２は「１」を設定する。検出エリアは、当該画像データの送信元がどのエリアの端末であったかに応じて取得できる。
【００３１】
一方、過去に分析済みの顔データである場合（ステップ８０２：ＹＥＳ）、顔認識情報データベース２０７（図５）へのレコードの登録は行う必要がないので、ステップ８０７へ進み、検出エリア履歴データベース２０８（図６）に、イベント連番６０２が「２」以降のレコードを追加する。ステップ８０７の後、追跡型コンテンツ表示処理（図９）を実行する（ステップ９００）。つづいて、受信した画像データ内に未分析の顔データが存在するか否かを判定し、未分析の顔データが存在する場合（ステップ８０８：ＹＥＳ）、受信した画像データからその未分析の顔データを抽出し、ステップ８０２に戻って、その未分析の顔データについての処理を行う。受信した画像データ内における顔データの占有率順に、未分析の顔データが無くなるまで、以上の処理を繰り返す。受信した画像データ内に未分析の顔データが無くなったら（ステップ８０８：ＮＯ）、顔認識処理を終了する。ホストシステム２０３は、以上の処理を画像データを受信する度に実行する。
【００３２】
図９は、ステップ９００の追跡型コンテンツ表示処理部２０５の処理の概要を示すフローチャートである。
【００３３】
まず、ホストシステム２０３は、ステップ８０７で登録されたデータに紐付く顔データのパラメータを取得する。すなわち、ステップ８０７で検出エリア履歴データベース２０８に登録されたレコードの顔認識個体管理ＩＤ６０１をキーに、顔認識情報データベース２０７よりパラメータとして性別５０２と年齢層５０３を取得し、また検出エリア履歴データベース２０８よりパラメータとしてイベント連番６０２と検出エリアＮｏ６０３を取得する（ステップ９０１）。
【００３４】
つづいて、その顔認識個体管理ＩＤで特定される顔データが２箇所以上のエリアで検出されたものか判定する。この判定は、取得パラメータのイベント連番６０２から判定できる。取得パラメータのイベント連番６０２が「１」なら、初めて検出された顔データであるので、ステップ９０３に進む。取得パラメータのイベント連番６０２が「２」以上なら、ステップ９０４に進む。なお、ステップ９０２の「２箇所以上のエリア」は、同じエリアで複数回の別イベントでの検出が為された場合（すなわち、その人物が１つのエリアで複数回検出された場合）も含むものとする。
【００３５】
検出エリアが１箇所のみの顔データである場合（ステップ９０２：ＮＯ）、前記取得パラメータのうち、性別５０２と年齢層５０３と検出エリアＮｏ６０３をキーに、コンテンツ管理データベース２０９（図７）を検索し、その性別と年齢層と検出エリアを対象とする最適コンテンツを選択する（ステップ９０３）。例えば、顔認識個体管理ＩＤ５０１・６０１「af8b2F20020101224133359003」に紐付く取得パラメータの値について、性別５０２「Ｍ」、年齢層５０３「３０」、検出エリア５０４「Ａ」であった場合、コンテンツ管理データベース２０９のコンテンツＩＤ７０１が「hk9887」であるコンテンツが選択される。
【００３６】
一方、２箇所以上で検出された顔データである場合（ステップ９０２：ＹＥＳ）、前記取得パラメータの性別５０２と年齢層５０３とイベント連番６０２と検出エリアＮｏ６０３と表示コンテンツＩＤ６０４に基づいて、最適コンテンツを選択する（ステップ９０４）。
【００３７】
ステップ９０４の最適コンテンツの選択の手法として、本実施形態では、いま検出された顔データの人物に対して過去に表示実績のあるコンテンツは除外し、それ以外のコンテンツを選択する手法を採用している。例えば、顔認識個体管理ＩＤ５０１・６０１「af8afM20020101224122134001」に紐付く取得パラメータの値が、性別５０２「Ｍ」、年齢層５０３「２０」、イベント連番６０２「１」および「２」および「３」、検出エリア５０４「Ｂ」および「Ｄ」、表示コンテンツＩＤ６０４「gr3546」および「ht0025」であった場合、取得パラメータのうち、性別５０２「Ｍ」および年齢層５０３「２０」に該当するレコードをコンテンツ管理データベース２０９より検索すると、コンテンツＩＤ７０１「fx0033」、「gr3546」、「ht0025」の３レコードが対象となる。ここで、イベント連番６０２「１」および「２」および「３」、検出エリア５０４「Ａ」および「Ｄ」、表示コンテンツＩＤ６０４「gr3546」および「ht0025」より、対象の３レコードのうち、コンテンツＩＤ７０１「gr3546」と「ht0025」は過去に表示実績があるものとして除外し、コンテンツ管理データベース２０９のコンテンツＩＤ６０１「fx0033」を選択する。
【００３８】
これにより、過去に表示実績があるコンテンツを除外することで、ターゲットに対しては常に新しいコンテンツを提供することが出来る。広告主にとっては、効率的な表示が可能なため、費用対効果を得られやすい。
【００３９】
つづいて、最新のイベントの検出エリアに設置されたカメラ付きデジタルサイネージ端末１０４へ、選択したコンテンツを送信して表示させる（ステップ９０５）。このとき、検出エリア履歴データベース２０８の、いま処理中である顔認識個体管理ＩＤ６０１およびイベント連番６０２（そのＩＤ６０１の最新のイベント連番である）のレコードの表示コンテンツＩＤ６０４に、上記選択して表示させたコンテンツのＩＤを登録するものとする。その後、処理を終了する。
【００４０】
なお、ステップ９０４の最適コンテンツ選択の手法としては、上述したものの他、あるいは上述した手法に加えて、下記のような手法を採ることもできる。
【００４１】
第１に、検出エリア履歴データベース２０８の情報から、その人物が立ち寄っていない「表示エリアＮｏ」を持つコンテンツを選択してもよい。例えば、検出エリア履歴がイベント連番の順に「Ｂ」→「Ｄ」→「Ｅ」だとした場合、図１でのエリアＡが一番遠い（つまり、ターゲットの人物はエリアＡに表示されるコンテンツは未視聴の可能性がある）と判断して、図７のコンテンツ管理データベース２０９より表示エリアＮｏ７０５に「Ａ」が登録されているコンテンツを選択する。この場合、選択されたコンテンツはエリアＥの端末１０４に表示されるので、表示エリアＮｏ７０５には「Ｅ」も登録されている必要がある。ただし、このケースでは、その人物に見せたいコンテンツを選択したいので、通常はエリアＥを対象としないコンテンツであっても例外的にエリアＥの端末１０４に表示させるように選択するようにしてもよい。
【００４２】
第２に、検出エリア履歴の検出回数から、表示コンテンツを選択する手法を採ってもよい。例えば、ターゲットの人物の検出エリア履歴が２回程度の場合、その人物は施設内に入場して間もないと判断し、インフォメーション系のコンテンツ（コンテンツグループ７０６に「info」が登録されているもの）を選択する。また、検出エリア履歴が１０回以上の場合、その人物は施設内に十分滞在していると判断し、「レア」なコンテンツを選択する。「レア」なコンテンツとは、例えば、履歴データベース２０８を参照して表示回数が所定値以下のコンテンツなどである。
【００４３】
第３に、検出エリア履歴と「イベント発生日時」から、表示コンテンツを選択する手法を採ってもよい。例えば、ターゲットの人物の検出エリア履歴から、検出エリアが重複しており、かつ「イベント発生日時」間隔が短い履歴のレコードが複数あった場合、その人物はそのエリア内に非常に興味があると判断し、過去に表示実績のあるコンテンツに類似するコンテンツを表示する。
【００４４】
第４に、順番で見せたい複数のコンテンツの場合は、前回表示したコンテンツの次に見せるべきコンテンツを表示する手法を採ってもよい。
【００４５】
上記実施形態では、図８の処理で、受信した画像データ中に複数の人物の顔が検出された場合は、占有率が高い顔データから順に処理している。従って、占有率が高い順に、第１の人物向けのコンテンツを表示し、次に第２の人物向けのコンテンツを表示し、…というように表示を切り替えていくことになる。この場合、コンテンツの表示の切り替えは、そのコンテンツに対応する所定時間だけ表示して、次のコンテンツに切り替える、というように処理を進めればよい。あるいは、端末１０４の画面（図３の３０２、図４の４０２）が大きければ、画面を分割して、複数のコンテンツを各分割画面で表示するようにしてもよい。
【００４６】
以上のように、本実施の形態の顧客行動追跡型映像配信システムによれば、次のような効果がある。
【００４７】
（１）蓄積された検出エリアの履歴により、同一人物が複数回に亘り同じカメラ付きデジタルサイネージ端末を視聴した場合でも、その人物に対して表示した過去のコンテンツなどに応じて次のコンテンツを選択するので、表示コンテンツを変化させることができる。
【００４８】
（２）カメラ付きデジタルサイネージ端末は同一施設内に設置する例を挙げて説明したが、複数の施設に設置されたものであっても同様に適用できることは言うまでもない。また、ホストシステムとカメラ付きデジタルサイネージ端末との間を有線回線で接続する例を挙げて説明したが、無線回線で接続されるものであっても同様に適用できることは言うまでもない。
【符号の説明】
【００４９】
１０１…施設、１０２…入口、１０３…出口、１０４…カメラ付きデジタルサイネージ端末、１０５−ａ…施設内エリアＡ、１０５−ｂ…施設内エリアＢ、１０５−ｃ…施設内エリアＣ、１０５−ｄ…施設内エリアＤ、１０５−ｅ…施設内エリアＥ、２０１…縦型カメラ付きデジタルサイネージ端末、２０２…横型カメラ付きデジタルサイネージ端末、２０３…ホストシステム、２０４…顔データ処理部、２０５…追跡型コンテンツ表示処理部、２０６…ネットワーク、２０７…顔認識情報データベース、２０８…検出エリア履歴データベース、２０９…コンテンツ管理データベース、３０１，４０１…カメラ、３０２，４０２…ディスプレイ部、５０１…顔認識個体管理ＩＤ、５０２…性別、５０３…年齢層、５０４…画像データ、５０５…登録日時、５０６…更新日時、６０１…顔認識個体管理ＩＤ、６０２…イベント連番、６０３…検出エリア、６０４…表示コンテンツＩＤ、６０５…イベント発生日時、７０１…コンテンツＩＤ、７０２…対象性別、７０３…年齢層ＭＩＮ、７０４…年齢層ＭＡＸ、７０５…表示エリアＮＯ、７０６…コンテンツグループ、７０７…キーワード、７０８…データ形式、７０９…有効期限ＦＲＯＭ、７１０…有効期限ＴＯ、７１１…データパス、７１２…ファイルサイズ。
【技術分野】
【０００１】
本発明は、店舗や公共施設などの所定の範囲内における顧客の行動を分析して、適切な広告等の映像を提供する技術に関するものである。
【背景技術】
【０００２】
店舗や公共施設などで、広告映像を表示するために、電子看板（digital singnage：デジタルサイネージ）が広く用いられている。最近では、施設内の各所に設置されたデジタルサイネージにカメラを備えて、そのデジタルサイネージを見る人物の顔を認識し、その人物の年齢や表情を分析して、人物毎に表示する映像を制御するシステムが普及しつつある。
【０００３】
下記特許文献１には、店舗内に複数設置されたカメラで顔認識し、顧客の購買行動を記録したり、広告を見ている人と購買した人の一致をみたりする技術が提案されている。また、特許文献２には、店舗内に複数設置されたカメラで顔認識をし、人物毎の滞在時間と購入行動を記録する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１１３６９２
【特許文献２】特開２００５−２６７６１１
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載の技術は、顧客の行動を分析してマーケティングに役立つデータを収集するのに有効であるが、収集したデータを利用してリアルタイムにデジタルサイネージに表示する映像を制御するものではない。
【０００６】
また、特許文献２に開示されたデジタルサイネージシステムでは、顔認識によって検出された個々に対する統計情報（例えば、１日のうちの検出回数）に基づき、適切な映像を選択し表示することで効果的な映像表示方法を提案しているが、顔認識により特定した個人の行動を追跡し収集した情報を分析して、適切な映像提供に利用する手段については言及していない。
【０００７】
本発明の目的は、店舗や公共施設などの所定の範囲内において、個々の顧客行動を分析し、その結果をデジタルサイネージの適切な映像表示に利用する技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の顧客行動追跡型映像配信システムは、顔認識情報データベースおよび検出エリア履歴データベースを備えたホストシステムと、このホストシステムに映像を視聴する人物を撮影した画像データを送信およびホストシステムからコンテンツを受信して表示する複数のカメラ付きデジタルサイネージ端末を備える。前記ホストシステムは、カメラ付きデジタルサイネージ端末から送信された画像データを顔認識情報データベースに登録するとともに、その顧客向けのコンテンツをその端末に表示する。その履歴情報は検出エリア履歴データベースに登録する。ホストシステムは、データベースに登録された情報から顧客の行動履歴を分析して最適コンテンツを選択して端末に送信して表示させる。前記カメラ付きデジタルサイネージ端末は、ホストシステムから送信されたコンテンツを表示する。
【０００９】
すなわち、請求項１に係る発明は、ホストシステムと、該ホストシステムに接続された複数のカメラ付きデジタルサイネージ端末とを備えた顧客行動追跡型映像配信システムであって、前記ホストシステムは、検出した顔データとその顔データを分析して取得した性別および年齢層を登録する顔認識情報データベースと、顔データが検出されたエリアと、その顔データの人物向けに表示したコンテンツを示す表示コンテンツＩＤと、その顔データが検出された日時を示すイベント発生日時とを含む履歴情報を登録する検出エリア履歴データベースと、前記カメラ付きデジタルサイネージ端末から送信される画像データを受信する手段と、受信した画像データから顔データを検出する手段と、検出した顔データを前記顔認識情報データベースに登録されているデータと照合し、既に登録済みの人物の顔データか否かを判定する手段と、前記検出した顔データが前記顔認識情報データベースに登録済みの顔データで無かったときは、前記検出した顔データに基づいて性別と年齢層を判定し、その顔データとともにそれらの判定結果を前記顔認識情報データベースに登録し、判定結果の性別と年齢層に応じたコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録する手段と、前記検出した顔データが前記顔認識情報データベースに登録済みの顔データであったときは、その顔データに対応する前記顔認識情報データベースの登録情報と前記検出エリア履歴データベース内の履歴情報に基づいてコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録する手段とを備え、前記カメラ付きデジタルサイネージ端末は、カメラで撮影した画像データを前記ホストシステムに送信する手段と、前記ホストシステムから送信されるコンテンツを表示する手段とを備えることを特徴とする。
【００１０】
請求項２に係る発明は、ホストシステムと、該ホストシステムに接続された複数のカメラ付きデジタルサイネージ端末とを備えた顧客行動追跡型映像配信システムにおける顧客行動追跡型映像配信方法であって、前記ホストシステムには、検出した顔データとその顔データを分析して取得した性別および年齢層を登録する顔認識情報データベースと、顔データが検出されたエリアと、その顔データの人物向けに表示したコンテンツを示す表示コンテンツＩＤと、その顔データが検出された日時を示すイベント発生日時とを含む履歴情報を登録する検出エリア履歴データベースとを設け、前記カメラ付きデジタルサイネージ端末が、カメラで撮影した画像データを前記ホストシステムに送信するステップと、前記ホストシステムが、該画像データを受信するステップと、前記ホストシステムが、受信した画像データから顔データを検出するステップと、前記ホストシステムが、検出した顔データを前記顔認識情報データベースに登録されているデータと照合し、既に登録済みの人物の顔データか否かを判定するステップと、前記ホストシステムが、前記検出した顔データが前記顔認識情報データベースに登録済みの顔データで無かったときは、前記検出した顔データに基づいて性別と年齢層を判定し、その顔データとともにそれらの判定結果を前記顔認識情報データベースに登録し、判定結果の性別と年齢層に応じたコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録するステップと、前記ホストシステムが、前記検出した顔データが前記顔認識情報データベースに登録済みの顔データであったときは、その顔データに対応する前記顔認識情報データベースの登録情報と前記検出エリア履歴データベース内の履歴情報に基づいてコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録するステップとを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、店舗や公共施設などの所定の範囲において、顧客の行動を追跡し収集した情報を、デジタルサイネージ端末での適切な映像表示に、リアルタイムに利用することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施の形態例を示す顧客行動追跡型映像配信システムを備えた施設の概念的な配置図である。
【図２】本発明の一実施の形態例を示すシステム構成図である。
【図３】縦型カメラ付きデジタルサイネージ端末の概念的な外形図である。
【図４】横型カメラ付きデジタルサイネージ端末の概念的な外形図である。
【図５】ホストシステムの顔認識情報データベースに格納されているデータの構成図である。
【図６】ホストシステムの検出エリア履歴データベースに格納されているデータの構成図である。
【図７】ホストシステムのコンテンツ管理データベースに格納されているデータの構成図である。
【図８】顔認識処理の概要を示すフローチャートである。
【図９】追跡型コンテンツ表示処理のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明を適用した顧客行動追跡型映像配信システムの一実施の形態について説明する。
【００１４】
図１は、本発明の実施の形態の一例を示す顧客行動追跡型映像配信システムを備えた施設の概念的な配置図である。図１に示すように、施設１０１は、ある程度の順路を備えた施設である。例えば、美術館や博物館、イベント会場を想定している。顧客は、入口１０２から施設内に入場し、順路に従うか、または自由に、各施設内エリア１０５を徘徊したのち、出口１０３から退場する。１０４はカメラ付きデジタルサイネージ端末を示す。
【００１５】
図２は、本実施形態の顧客行動追跡型映像配信システムの一構成例を示すシステム構成図である。この顧客行動追跡型映像配信システムは、顔認識情報データベース２０７と検出エリア履歴データベース２０８とコンテンツ管理データベース２０９を備えたホストシステム２０３と、このホストシステム２０３に顔データを送信し表示用映像コンテンツを受信する複数のカメラ付きデジタルサイネージ端末２０１，２０２とを備える。２０１は縦型の端末、２０２は横型の端末を示す。カメラ付きデジタルサイネージ端末２０１，２０２は、ネットワーク２０６によってホストシステム２０３と接続されている。
【００１６】
図３は、縦型カメラ付きデジタルサイネージ端末２０１の概念的な外形図である。顧客の顔を撮影するカメラ３０１とディスプレイ部３０２を備えている。
【００１７】
図４は、横型カメラ付きデジタルサイネージ端末２０２の概念的な外形図である。顧客の顔を撮影するカメラ４０１とディスプレイ部４０２を備えている。
【００１８】
図２のホストシステム２０３の顔認識情報データベース２０７には、カメラ３０１，４０１によって撮影された顧客の顔データの認識結果が格納される。検出エリア履歴データベース２０８には、顧客の顔データがカメラ３０１，４０１によって撮影されたエリアの履歴と、表示した映像コンテンツの履歴が登録される。コンテンツ管理データベース２０９には、カメラ付きデジタルサイネージ端末２０１，２０２に表示する映像コンテンツが登録されている。
【００１９】
ホストシステム２０３は、顔データ処理部２０４と、追跡型コンテンツ表示処理部２０５を備える。顔データ処理部２０４は、顔認識情報データベース２０７と検出エリア履歴データベース２０８の登録・更新処理を行う。追跡型コンテンツ表示処理部２０５は、コンテンツ管理データベース２０９の登録・更新処理と、顔認識情報データベース２０７のデータと検出エリア履歴データベース２０８のデータを参照して、カメラ付きデジタルサイネージ端末２０１，２０２に映像コンテンツを配信する処理を実行する。
【００２０】
図５は、顔認識情報データベース２０７に格納される顔データおよび認識結果の内容例を示す。顔認識情報データベース２０７は、顔認識個体管理ＩＤ５０１、性別５０２、年齢層５０３、画像データ５０４、登録日時５０５、および、更新日時５０６の各フィールドを備える。顔認識個体管理ＩＤ５０１は、１レコードすなわち１人の人物の顔データとその顔認識結果を特定するためのＩＤである。レコードの登録時に登録日時５０５が設定され、更新時に更新日時５０６が設定される。
【００２１】
例えば、３０代男性１名が、図１の施設内エリアＡ（１０５−ａ）に設置されたデジタルサイネージ端末１０４の付近に立ち寄った場合、該デジタルサイネージ端末１０４は、カメラ３０１（または４０１）で撮影した画像データをホストシステム２０３に送信する。ホストシステム２０３の顔データ処理部２０４は、受信した画像データを分析し、図５に示すように、顔認識個体管理ＩＤ５０１として「af8b2F20020101224133359003」、性別５０２として「Ｍ」（男性を表す）、年齢層５０３として「３０」、画像データ５０４として「af8b2F20020101224133359003.jpg」を登録し、そのときの日時を登録日時５０５として例えば「2010/12/24 13:35:59」と登録する。なお、性別５０２と年齢層５０３を推定し、登録する方法は任意である。例えば、性別・年代別に顔画像から得られる複数種類の特徴パラメータ（目、眉、頬骨、鼻、肌色）についてモデルデータを求めておき、今回受信した画像データ５０４から得られた特徴パラメータの組み合わせが、どのモデルデータに最も適合するかを判別し、最も適合すると判別したモデルデータに対応する性別・年齢層を選択するようにしてもよい。
【００２２】
図６は、検出エリア履歴データベース２０８に格納される検出エリア履歴情報の内容例を示す。検出エリア履歴データベース２０８は、顔認識個体管理ＩＤ６０１、イベント連番６０２、検出エリアＮｏ６０３、表示コンテンツＩＤ６０４、および、イベント発生日時６０５の各フィールドを備える。顔認識個体管理ＩＤ６０１とイベント連番６０２によって、１レコードすなわち一意の検出エリア履歴情報を特定する。イベント連番は、その人物がデジタルサイネージ端末１０４で捕捉される毎に１から順に付けた連番である。
【００２３】
例えば、２０代男性１名が最初にエリアＢのデジタルサイネージ端末１０４で捕捉された場合、上記図５の顔認識情報データベース２０７に顔認識個体管理ＩＤが「af8afM20020101224122134001」のレコードが登録され、さらに図６の検出エリア履歴データベース２０８にこの人物の検出エリア履歴のレコードが生成され、顔認識個体管理ＩＤとして「af8afM20020101224122134001」、イベント連番６０２として「１」、検出エリアＮｏ６０３として「Ｂ」、イベント発生日時６０５としてその時点の日時「2010/12/24 09:11:15」が登録される。また、この人物に対して最適なコンテンツが選択されて当該デジタルサイネージ端末１０４で表示されたとき、そのコンテンツＩＤ「gr3546」が、表示コンテンツＩＤ６０４として登録される。
【００２４】
さらに、この人物が施設内を移動し、次にエリアＤのデジタルサイネージ端末１０４で捕捉されると、同じ顔認識個体管理ＩＤ６０１で、イベント連番６０２が「２」のレコードが生成され、検出エリアＮｏ６０３として「Ｄ」、イベント発生日時６０５として「2010/12/24 12:21:36」が登録される。また、この人物に対して最適なコンテンツが選択されて当該デジタルサイネージ端末１０４で表示されたとき、そのコンテンツＩＤ「ht0025」が、表示コンテンツＩＤ６０４として登録される。このような検出エリア履歴情報により、履歴の管理をおこなう。
【００２５】
図７は、コンテンツ管理データベース２０９に格納されるコンテンツ管理情報の内容例を示す。コンテンツ管理データベース２０９は、コンテンツＩＤ７０１、対象性別７０２、年齢層ＭＩＮ７０３、年齢層ＭＡＸ７０４、表示エリアＮｏ７０５、コンテンツグループ７０６、キーワード７０７、データ形式７０８、有効期限ＦＲＯＭ７０９、有効期限ＴＯ７１０、データパス７１１、および、ファイルサイズ７１２の各フィールドを備える。
【００２６】
コンテンツＩＤ７０１は、１レコードすなわちコンテンツ情報を一意に特定するＩＤである。対象性別７０２、年齢層ＭＩＮ７０３、および年齢層ＭＡＸ７０４は、当該コンテンツが対象とする性別、年齢層の最小値、および年齢層の最大値を示す。表示エリアＮｏ７０５は、当該コンテンツをどの表示エリアのデジタルサイネージ端末に出力するかを示す。コンテンツグループ７０６、キーワード７０７、およびデータ形式７０８は、当該コンテンツが属するグループ、当該コンテンツに関するキーワード、および当該コンテンツのデータ形式を示す。有効期限ＦＲＯＭ７０９および有効期限ＴＯ７１０は、当該コンテンツをいつからいつまで出力するかの期間を示す。データパス７１１およびファイルサイズ７１２は、当該コンテンツのファイルが存在するパスとそのファイルサイズを示す。
【００２７】
例えば、自動車メーカーのＣＭコンテンツを登録する場合、コンテンツＩＤ７０１として「fx0033」、対象性別７０２として「Ｍ」、年齢層ＭＩＮ７０３として「２０」、年齢層ＭＡＸ７０４として「５０」、表示エリアＮｏ７０５として「Ａ，Ｄ，Ｅ」、コンテンツグループ７０６として「販促ＣＭ」、キーワード７０７として「車」、データ形式７０８として「MPEG4」、有効期限ＦＲＯＭ７０９として「2010/02/01」、有効期限ＴＯ７１０として「2010/04/30」、データパス７１１として「CONTENT/sales/fx0033.mp4」、ファイルサイズ７１２として「1,463,213,156」というように登録する。
【００２８】
以下、以上のように構成された顧客行動追跡型映像配信システムの動作を説明する。
【００２９】
図８は、ホストシステム２０３の顔認識処理の概要を示すフローチャートである。ホストシステム２０３は、カメラ付きデジタルサイネージ端末２０１，２０２のカメラで撮影した画像データを受信すると、本処理を起動する。
【００３０】
まず、受信した画像データから「人の顔」を検出する（ステップ８０１）。検出した顔データが複数存在する場合、最も画像データ内の占有率が高い顔データ（すなわちカメラの近くに居る人物）を特定して、過去に分析済みの顔データか否かを顔認識情報データベース２０７（図５）と照合判定する（ステップ８０２）。新規の顔データである場合（ステップ８０２：ＮＯ）、その顔データに顔認識個体管理ＩＤを付与する（ステップ８０３）。また、その顔データに基づいて性別を判定し（ステップ８０４）、年齢層を推定する（ステップ８０５）。次に、顔認識情報データベース２０７（図５）に１レコードを確保し、ステップ８０３〜８０５で取得した顔認識個体管理ＩＤ５０１、性別５０２、年齢層５０３を登録するとともに、その顔の画像データ５０４と登録日時５０５を登録する（ステップ８０６）。さらに、初めて捕捉した人物の顔であるので、検出エリア履歴データベース２０８（図６）に１レコードを確保し、顔認識個体管理ＩＤ６０１、イベント連番６０２、検出エリアＮｏ．６０３、およびイベント発生日時６０５を登録する（ステップ８０７）。初めて捕捉した人物の顔であるので、イベント連番６０２は「１」を設定する。検出エリアは、当該画像データの送信元がどのエリアの端末であったかに応じて取得できる。
【００３１】
一方、過去に分析済みの顔データである場合（ステップ８０２：ＹＥＳ）、顔認識情報データベース２０７（図５）へのレコードの登録は行う必要がないので、ステップ８０７へ進み、検出エリア履歴データベース２０８（図６）に、イベント連番６０２が「２」以降のレコードを追加する。ステップ８０７の後、追跡型コンテンツ表示処理（図９）を実行する（ステップ９００）。つづいて、受信した画像データ内に未分析の顔データが存在するか否かを判定し、未分析の顔データが存在する場合（ステップ８０８：ＹＥＳ）、受信した画像データからその未分析の顔データを抽出し、ステップ８０２に戻って、その未分析の顔データについての処理を行う。受信した画像データ内における顔データの占有率順に、未分析の顔データが無くなるまで、以上の処理を繰り返す。受信した画像データ内に未分析の顔データが無くなったら（ステップ８０８：ＮＯ）、顔認識処理を終了する。ホストシステム２０３は、以上の処理を画像データを受信する度に実行する。
【００３２】
図９は、ステップ９００の追跡型コンテンツ表示処理部２０５の処理の概要を示すフローチャートである。
【００３３】
まず、ホストシステム２０３は、ステップ８０７で登録されたデータに紐付く顔データのパラメータを取得する。すなわち、ステップ８０７で検出エリア履歴データベース２０８に登録されたレコードの顔認識個体管理ＩＤ６０１をキーに、顔認識情報データベース２０７よりパラメータとして性別５０２と年齢層５０３を取得し、また検出エリア履歴データベース２０８よりパラメータとしてイベント連番６０２と検出エリアＮｏ６０３を取得する（ステップ９０１）。
【００３４】
つづいて、その顔認識個体管理ＩＤで特定される顔データが２箇所以上のエリアで検出されたものか判定する。この判定は、取得パラメータのイベント連番６０２から判定できる。取得パラメータのイベント連番６０２が「１」なら、初めて検出された顔データであるので、ステップ９０３に進む。取得パラメータのイベント連番６０２が「２」以上なら、ステップ９０４に進む。なお、ステップ９０２の「２箇所以上のエリア」は、同じエリアで複数回の別イベントでの検出が為された場合（すなわち、その人物が１つのエリアで複数回検出された場合）も含むものとする。
【００３５】
検出エリアが１箇所のみの顔データである場合（ステップ９０２：ＮＯ）、前記取得パラメータのうち、性別５０２と年齢層５０３と検出エリアＮｏ６０３をキーに、コンテンツ管理データベース２０９（図７）を検索し、その性別と年齢層と検出エリアを対象とする最適コンテンツを選択する（ステップ９０３）。例えば、顔認識個体管理ＩＤ５０１・６０１「af8b2F20020101224133359003」に紐付く取得パラメータの値について、性別５０２「Ｍ」、年齢層５０３「３０」、検出エリア５０４「Ａ」であった場合、コンテンツ管理データベース２０９のコンテンツＩＤ７０１が「hk9887」であるコンテンツが選択される。
【００３６】
一方、２箇所以上で検出された顔データである場合（ステップ９０２：ＹＥＳ）、前記取得パラメータの性別５０２と年齢層５０３とイベント連番６０２と検出エリアＮｏ６０３と表示コンテンツＩＤ６０４に基づいて、最適コンテンツを選択する（ステップ９０４）。
【００３７】
ステップ９０４の最適コンテンツの選択の手法として、本実施形態では、いま検出された顔データの人物に対して過去に表示実績のあるコンテンツは除外し、それ以外のコンテンツを選択する手法を採用している。例えば、顔認識個体管理ＩＤ５０１・６０１「af8afM20020101224122134001」に紐付く取得パラメータの値が、性別５０２「Ｍ」、年齢層５０３「２０」、イベント連番６０２「１」および「２」および「３」、検出エリア５０４「Ｂ」および「Ｄ」、表示コンテンツＩＤ６０４「gr3546」および「ht0025」であった場合、取得パラメータのうち、性別５０２「Ｍ」および年齢層５０３「２０」に該当するレコードをコンテンツ管理データベース２０９より検索すると、コンテンツＩＤ７０１「fx0033」、「gr3546」、「ht0025」の３レコードが対象となる。ここで、イベント連番６０２「１」および「２」および「３」、検出エリア５０４「Ａ」および「Ｄ」、表示コンテンツＩＤ６０４「gr3546」および「ht0025」より、対象の３レコードのうち、コンテンツＩＤ７０１「gr3546」と「ht0025」は過去に表示実績があるものとして除外し、コンテンツ管理データベース２０９のコンテンツＩＤ６０１「fx0033」を選択する。
【００３８】
これにより、過去に表示実績があるコンテンツを除外することで、ターゲットに対しては常に新しいコンテンツを提供することが出来る。広告主にとっては、効率的な表示が可能なため、費用対効果を得られやすい。
【００３９】
つづいて、最新のイベントの検出エリアに設置されたカメラ付きデジタルサイネージ端末１０４へ、選択したコンテンツを送信して表示させる（ステップ９０５）。このとき、検出エリア履歴データベース２０８の、いま処理中である顔認識個体管理ＩＤ６０１およびイベント連番６０２（そのＩＤ６０１の最新のイベント連番である）のレコードの表示コンテンツＩＤ６０４に、上記選択して表示させたコンテンツのＩＤを登録するものとする。その後、処理を終了する。
【００４０】
なお、ステップ９０４の最適コンテンツ選択の手法としては、上述したものの他、あるいは上述した手法に加えて、下記のような手法を採ることもできる。
【００４１】
第１に、検出エリア履歴データベース２０８の情報から、その人物が立ち寄っていない「表示エリアＮｏ」を持つコンテンツを選択してもよい。例えば、検出エリア履歴がイベント連番の順に「Ｂ」→「Ｄ」→「Ｅ」だとした場合、図１でのエリアＡが一番遠い（つまり、ターゲットの人物はエリアＡに表示されるコンテンツは未視聴の可能性がある）と判断して、図７のコンテンツ管理データベース２０９より表示エリアＮｏ７０５に「Ａ」が登録されているコンテンツを選択する。この場合、選択されたコンテンツはエリアＥの端末１０４に表示されるので、表示エリアＮｏ７０５には「Ｅ」も登録されている必要がある。ただし、このケースでは、その人物に見せたいコンテンツを選択したいので、通常はエリアＥを対象としないコンテンツであっても例外的にエリアＥの端末１０４に表示させるように選択するようにしてもよい。
【００４２】
第２に、検出エリア履歴の検出回数から、表示コンテンツを選択する手法を採ってもよい。例えば、ターゲットの人物の検出エリア履歴が２回程度の場合、その人物は施設内に入場して間もないと判断し、インフォメーション系のコンテンツ（コンテンツグループ７０６に「info」が登録されているもの）を選択する。また、検出エリア履歴が１０回以上の場合、その人物は施設内に十分滞在していると判断し、「レア」なコンテンツを選択する。「レア」なコンテンツとは、例えば、履歴データベース２０８を参照して表示回数が所定値以下のコンテンツなどである。
【００４３】
第３に、検出エリア履歴と「イベント発生日時」から、表示コンテンツを選択する手法を採ってもよい。例えば、ターゲットの人物の検出エリア履歴から、検出エリアが重複しており、かつ「イベント発生日時」間隔が短い履歴のレコードが複数あった場合、その人物はそのエリア内に非常に興味があると判断し、過去に表示実績のあるコンテンツに類似するコンテンツを表示する。
【００４４】
第４に、順番で見せたい複数のコンテンツの場合は、前回表示したコンテンツの次に見せるべきコンテンツを表示する手法を採ってもよい。
【００４５】
上記実施形態では、図８の処理で、受信した画像データ中に複数の人物の顔が検出された場合は、占有率が高い顔データから順に処理している。従って、占有率が高い順に、第１の人物向けのコンテンツを表示し、次に第２の人物向けのコンテンツを表示し、…というように表示を切り替えていくことになる。この場合、コンテンツの表示の切り替えは、そのコンテンツに対応する所定時間だけ表示して、次のコンテンツに切り替える、というように処理を進めればよい。あるいは、端末１０４の画面（図３の３０２、図４の４０２）が大きければ、画面を分割して、複数のコンテンツを各分割画面で表示するようにしてもよい。
【００４６】
以上のように、本実施の形態の顧客行動追跡型映像配信システムによれば、次のような効果がある。
【００４７】
（１）蓄積された検出エリアの履歴により、同一人物が複数回に亘り同じカメラ付きデジタルサイネージ端末を視聴した場合でも、その人物に対して表示した過去のコンテンツなどに応じて次のコンテンツを選択するので、表示コンテンツを変化させることができる。
【００４８】
（２）カメラ付きデジタルサイネージ端末は同一施設内に設置する例を挙げて説明したが、複数の施設に設置されたものであっても同様に適用できることは言うまでもない。また、ホストシステムとカメラ付きデジタルサイネージ端末との間を有線回線で接続する例を挙げて説明したが、無線回線で接続されるものであっても同様に適用できることは言うまでもない。
【符号の説明】
【００４９】
１０１…施設、１０２…入口、１０３…出口、１０４…カメラ付きデジタルサイネージ端末、１０５−ａ…施設内エリアＡ、１０５−ｂ…施設内エリアＢ、１０５−ｃ…施設内エリアＣ、１０５−ｄ…施設内エリアＤ、１０５−ｅ…施設内エリアＥ、２０１…縦型カメラ付きデジタルサイネージ端末、２０２…横型カメラ付きデジタルサイネージ端末、２０３…ホストシステム、２０４…顔データ処理部、２０５…追跡型コンテンツ表示処理部、２０６…ネットワーク、２０７…顔認識情報データベース、２０８…検出エリア履歴データベース、２０９…コンテンツ管理データベース、３０１，４０１…カメラ、３０２，４０２…ディスプレイ部、５０１…顔認識個体管理ＩＤ、５０２…性別、５０３…年齢層、５０４…画像データ、５０５…登録日時、５０６…更新日時、６０１…顔認識個体管理ＩＤ、６０２…イベント連番、６０３…検出エリア、６０４…表示コンテンツＩＤ、６０５…イベント発生日時、７０１…コンテンツＩＤ、７０２…対象性別、７０３…年齢層ＭＩＮ、７０４…年齢層ＭＡＸ、７０５…表示エリアＮＯ、７０６…コンテンツグループ、７０７…キーワード、７０８…データ形式、７０９…有効期限ＦＲＯＭ、７１０…有効期限ＴＯ、７１１…データパス、７１２…ファイルサイズ。
【特許請求の範囲】
【請求項１】
ホストシステムと、該ホストシステムに接続された複数のカメラ付きデジタルサイネージ端末とを備えた顧客行動追跡型映像配信システムであって、
前記ホストシステムは、
検出した顔データとその顔データを分析して取得した性別および年齢層を登録する顔認識情報データベースと、
顔データが検出されたエリアと、その顔データの人物向けに表示したコンテンツを示す表示コンテンツＩＤと、その顔データが検出された日時を示すイベント発生日時とを含む履歴情報を登録する検出エリア履歴データベースと、
前記カメラ付きデジタルサイネージ端末から送信される画像データを受信する手段と、
受信した画像データから顔データを検出する手段と、
検出した顔データを前記顔認識情報データベースに登録されているデータと照合し、既に登録済みの人物の顔データか否かを判定する手段と、
前記検出した顔データが前記顔認識情報データベースに登録済みの顔データで無かったときは、前記検出した顔データに基づいて性別と年齢層を判定し、その顔データとともにそれらの判定結果を前記顔認識情報データベースに登録し、判定結果の性別と年齢層に応じたコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録する手段と、
前記検出した顔データが前記顔認識情報データベースに登録済みの顔データであったときは、その顔データに対応する前記顔認識情報データベースの登録情報と前記検出エリア履歴データベース内の履歴情報に基づいてコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録する手段と
を備え、
前記カメラ付きデジタルサイネージ端末は、
カメラで撮影した画像データを前記ホストシステムに送信する手段と、
前記ホストシステムから送信されるコンテンツを表示する手段と
を備えることを特徴とする顧客行動追跡型映像配信システム。
【請求項２】
ホストシステムと、該ホストシステムに接続された複数のカメラ付きデジタルサイネージ端末とを備えた顧客行動追跡型映像配信システムにおける顧客行動追跡型映像配信方法であって、
前記ホストシステムには、
検出した顔データとその顔データを分析して取得した性別および年齢層を登録する顔認識情報データベースと、
顔データが検出されたエリアと、その顔データの人物向けに表示したコンテンツを示す表示コンテンツＩＤと、その顔データが検出された日時を示すイベント発生日時とを含む履歴情報を登録する検出エリア履歴データベースと
を設け、
前記カメラ付きデジタルサイネージ端末が、カメラで撮影した画像データを前記ホストシステムに送信するステップと、
前記ホストシステムが、該画像データを受信するステップと、
前記ホストシステムが、受信した画像データから顔データを検出するステップと、
前記ホストシステムが、検出した顔データを前記顔認識情報データベースに登録されているデータと照合し、既に登録済みの人物の顔データか否かを判定するステップと、
前記ホストシステムが、前記検出した顔データが前記顔認識情報データベースに登録済みの顔データで無かったときは、前記検出した顔データに基づいて性別と年齢層を判定し、その顔データとともにそれらの判定結果を前記顔認識情報データベースに登録し、判定結果の性別と年齢層に応じたコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録するステップと、
前記ホストシステムが、前記検出した顔データが前記顔認識情報データベースに登録済みの顔データであったときは、その顔データに対応する前記顔認識情報データベースの登録情報と前記検出エリア履歴データベース内の履歴情報に基づいてコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録するステップと
を備えることを特徴とする顧客行動追跡型映像配信方法。
【請求項１】
ホストシステムと、該ホストシステムに接続された複数のカメラ付きデジタルサイネージ端末とを備えた顧客行動追跡型映像配信システムであって、
前記ホストシステムは、
検出した顔データとその顔データを分析して取得した性別および年齢層を登録する顔認識情報データベースと、
顔データが検出されたエリアと、その顔データの人物向けに表示したコンテンツを示す表示コンテンツＩＤと、その顔データが検出された日時を示すイベント発生日時とを含む履歴情報を登録する検出エリア履歴データベースと、
前記カメラ付きデジタルサイネージ端末から送信される画像データを受信する手段と、
受信した画像データから顔データを検出する手段と、
検出した顔データを前記顔認識情報データベースに登録されているデータと照合し、既に登録済みの人物の顔データか否かを判定する手段と、
前記検出した顔データが前記顔認識情報データベースに登録済みの顔データで無かったときは、前記検出した顔データに基づいて性別と年齢層を判定し、その顔データとともにそれらの判定結果を前記顔認識情報データベースに登録し、判定結果の性別と年齢層に応じたコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録する手段と、
前記検出した顔データが前記顔認識情報データベースに登録済みの顔データであったときは、その顔データに対応する前記顔認識情報データベースの登録情報と前記検出エリア履歴データベース内の履歴情報に基づいてコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録する手段と
を備え、
前記カメラ付きデジタルサイネージ端末は、
カメラで撮影した画像データを前記ホストシステムに送信する手段と、
前記ホストシステムから送信されるコンテンツを表示する手段と
を備えることを特徴とする顧客行動追跡型映像配信システム。
【請求項２】
ホストシステムと、該ホストシステムに接続された複数のカメラ付きデジタルサイネージ端末とを備えた顧客行動追跡型映像配信システムにおける顧客行動追跡型映像配信方法であって、
前記ホストシステムには、
検出した顔データとその顔データを分析して取得した性別および年齢層を登録する顔認識情報データベースと、
顔データが検出されたエリアと、その顔データの人物向けに表示したコンテンツを示す表示コンテンツＩＤと、その顔データが検出された日時を示すイベント発生日時とを含む履歴情報を登録する検出エリア履歴データベースと
を設け、
前記カメラ付きデジタルサイネージ端末が、カメラで撮影した画像データを前記ホストシステムに送信するステップと、
前記ホストシステムが、該画像データを受信するステップと、
前記ホストシステムが、受信した画像データから顔データを検出するステップと、
前記ホストシステムが、検出した顔データを前記顔認識情報データベースに登録されているデータと照合し、既に登録済みの人物の顔データか否かを判定するステップと、
前記ホストシステムが、前記検出した顔データが前記顔認識情報データベースに登録済みの顔データで無かったときは、前記検出した顔データに基づいて性別と年齢層を判定し、その顔データとともにそれらの判定結果を前記顔認識情報データベースに登録し、判定結果の性別と年齢層に応じたコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録するステップと、
前記ホストシステムが、前記検出した顔データが前記顔認識情報データベースに登録済みの顔データであったときは、その顔データに対応する前記顔認識情報データベースの登録情報と前記検出エリア履歴データベース内の履歴情報に基づいてコンテンツを選択して前記カメラ付きデジタルサイネージ端末に送信して表示させ、その履歴情報を前記検出エリア履歴データベースに登録するステップと
を備えることを特徴とする顧客行動追跡型映像配信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２５２６１３（Ｐ２０１２−２５２６１３Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２５８７７（Ｐ２０１１−１２５８７７）
【出願日】平成２３年６月４日（２０１１．６．４）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月４日（２０１１．６．４）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
[ Back to top ]