情報処理装置及びプログラム
【課題】デジタルサイネージ装置を効果的に利用して商品の売上アップを図る。
【解決手段】本実施形態の情報処理装置は、特定手段と、制御手段とを有する。特定手段は、店舗などの所定の場所で得られた撮影画像及び前記場所で集音された音声の少なくとも一つから広告する商品又はサービスを特定する。制御手段は、予め設定された再生スケジュールに従ってコンテンツを再生するデジタルサイネージ装置に対して、前記特定手段で特定された商品又はサービスを広告するコンテンツの割込み再生を行わせる。
【解決手段】本実施形態の情報処理装置は、特定手段と、制御手段とを有する。特定手段は、店舗などの所定の場所で得られた撮影画像及び前記場所で集音された音声の少なくとも一つから広告する商品又はサービスを特定する。制御手段は、予め設定された再生スケジュールに従ってコンテンツを再生するデジタルサイネージ装置に対して、前記特定手段で特定された商品又はサービスを広告するコンテンツの割込み再生を行わせる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
近年、スーパーマーケットやデパートなどの店舗や、ショッピングモールなどの商業施設や、商店街や、地下街などの商品の販売やサービスの提供を行う場所においては、サーバ装置から配信される動画や静止画などのコンテンツを再生して、商品を広告する広告情報を表示装置に表示するデジタルサイネージ（Digital Signage：電子看板）装置が設置されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来、上記デジタルサイネージ装置を利用することにより、商品の売上アップを図ることが望まれている。
【課題を解決するための手段】
【０００４】
本実施形態の情報処理装置は、特定手段と、制御手段とを有する。特定手段は、店舗などの所定の場所で得られた撮影画像及び前記場所で集音された音声の少なくとも一つから広告する商品又はサービスを特定する。制御手段は、予め設定された再生スケジュールに従ってコンテンツを再生するデジタルサイネージ装置に対して、前記特定手段で特定された商品又はサービスを広告するコンテンツの割込み再生を行わせる。
【図面の簡単な説明】
【０００５】
【図１】図１は、店舗運営システムの概略的な構成を示すシステム概要図である。
【図２】図２は、デジタルサイネージ装置の概略的な外観構成を示す正面図である。
【図３】図３は、ストアサーバ装置の制御系のハードウェア構成を示すブロック図である。
【図４】図４は、デジタルサイネージ装置の制御系のハードウェア構成を示すブロック図である。
【図５】図５は、ストアサーバ装置の機能的構成を示すブロック図である。
【図６】図６は、デジタルサイネージ装置の機能的構成を示すブロック図である。
【図７】図７は、ストアサーバ装置における処理動作の流れを示すフローチャートである。
【図８】図８は、デジタルサイネージ装置における処理動作の流れを示すフローチャートである。
【図９】図９は、デジタルサイネージ装置に画像データから特定した商品を広告するコンテンツの割込み再生を行わせる様子を説明する模式図である。
【図１０】図１０は、デジタルサイネージ装置に音声データから特定した商品を広告するコンテンツの割込み再生を行わせる様子を説明する模式図である。
【図１１】図１１は、予め設定された再生スケジュールで設定されているコンテンツの再生に対して割込み再生用のコンテンツの再生を割込ませた様子を説明するための模式図である。
【図１２】図１２は、クラウドシステムを利用する店舗運営システムの構成を示す図である。
【発明を実施するための形態】
【０００６】
以下、実施形態について添付図面を参照して説明する。
【０００７】
最初に、本実施形態に係る情報処理装置及びプログラムを適用した店舗運営システム１の概略構成について図１を用いて説明する。図１は、店舗運営システム１の概略的な構成を示すシステム概要図である。
【０００８】
図１に示すように、この店舗運営システム１は、本部システム２と、複数の店舗システム３Ａ、３Ｂ（図１の例では、２つ）とを備えている。そして、本部システム２と各店舗システム３Ａ、３Ｂとが、インターネットなどの公衆通信網やＶＰＮ（Virtual Private Network）などのネットワーク４や、不図示のルータなどの接続装置を介して接続されている。
【０００９】
ここで、本部システム２は、スーパーマーケットなどの各店舗を統括的に管理する本部に設置され、本部サーバ２１や、プリンタ及びパーソナルコンピュータ（いずれも不図示）などを備えている。
【００１０】
店舗システム３は、各店舗毎に設置され、ストアサーバ装置３１と、複数のＰＯＳ（Point Of Sales System）端末３２（図１の例では、２台）と、複数のデジタルサイネージ装置３３（図１の例では、３台）と、複数のカメラ（撮影装置）３４（図１の例では、Ｌ台、Ｌ：任意の正の整数）と、複数のマイク（集音装置）３５（図１の例では、Ｍ（Ｍ：任意の正の整数）とを備え、それらがＬＡＮ（Local Area Network）などの通信ネットワークＮを介して接続されている。
【００１１】
ここで、ストアサーバ装置３１は、店舗のオフィスなどに設置され、店舗システム３全体を統括的に管理する上位装置としての情報処理装置である。そして、ストアサーバ装置３１は、ＰＯＳ端末３２から送られてくる売上データに基づいて売上管理を行う。
【００１２】
また、ストアサーバ装置３１は、各デジタルサイネージ装置３３に対して店舗で販売する商品又は店舗で提供するサービスであり、客に広告する商品又はサービスを広告するための広告情報を表示させたり、広告する商品又はサービスの場所まで案内する案内情報を表示させたりするための動画や静止画などのコンテンツを通信ネットワークＮを介して配信するものである。
【００１３】
各ＰＯＳ端末３２は、店舗の会計場所などに設置され、通信ネットワークＮを介してストアサーバ装置３１との間で商品コード、商品名、単価などの商品情報の送受信を行うことにより、客が購入する商品の登録及び決済を行うための情報処理装置である。
【００１４】
各デジタルサイネージ装置３３は、店舗の敷地内（商品を売る売り場や、店舗の入口など）に設置され、通信ネットワークＮを介してストアサーバ装置３１から受信したコンテンツを再生して表示部３３１（図２参照）に各種情報を表示する装置である。
【００１５】
より具体的には、各デジタルサイネージ装置３３は、受信したコンテンツを再生して、客に広告する商品を撮影した動画像、上記商品の値段又は上記商品を客に紹介（又は説明）する文章などから構成される広告情報Ｉ（図２参照）や、広告する商品の場所又は広告するサービスを提供する場所までの経路を客に案内する案内情報などを表示部３３１又は音声出力部３３２（いずれも図２参照）を用いて出力する、即ち、客に報知する。
【００１６】
各カメラ（撮影装置）３４は、店舗の売り場やバックヤードなどに設置され、売り場やバックヤードを撮影する撮影装置であり、例えば、ライブ映像を撮影するデジタルビデオカメラなどで実現される。より具体的には、本実施形態のカメラ３４は、売り場に補充された商品を特定するのに用いられる売り場の映像や、バックヤードにおいて売り場に補充する準備がされている商品を特定するのに用いられるバックヤードの映像などを取得する目的で設置される。
【００１７】
また、売り場に設置される複数のカメラ３４は、例えば、カメラ３４毎に撮影するエリア（例えば、「生鮮魚コーナー」や「惣菜コーナー」など）、即ち、撮影する商品（１又は複数種類の商品）が予め対応付けて設定されており、売り場において上記設定された商品が陳列されている様子を撮影可能な位置に配置される。そして、ストアサーバ装置３１では、売り場に設置される各カメラ３４のＩＤやアドレス情報などのカメラ３４を特定するための識別情報（即ち、どのエリアに対応付けられたカメラ３４であるかを識別するための情報）に対応付けて各カメラ３４に対応付けられた商品（１又は複数種類の商品）を示す情報（例えば、商品「刺身」を示す情報や、商品「コロッケ」を示す情報など）を管理している。
【００１８】
また、バックヤードに設置される複数のカメラ３４としては、例えば、店員がラベルプリンタ（不図示）で発行されたラベルを商品に貼付している様子を撮影可能な位置に配置されるものや、店員が上記ラベルを貼付された商品を運搬車（配膳車）に載置している様子を撮影可能な位置に配置されるものや、店員が上記商品が載置された運搬車を押して売り場に向かう様子を撮影可能な位置に配置されるものがある。
【００１９】
各マイク（集音装置）３５は、店内放送を行うスピーカ（不図示）の付近やデジタルサイネージ装置３３などの店舗の売り場に設置されたものや、店員が携帯する情報処理端末（不図示）に設けられたものなどであり、店員の掛け声や、店内放送などの音声を集音する集音装置である。より具体的には、本実施形態のマイク３５は、店舗側又は店員が客に紹介したい商品や、店員や店内放送によって客に紹介された商品などを特定するのに用いられる音声を取得する目的で設置される。
【００２０】
次に、デジタルサイネージ装置３３の外観構成について図２を用いて説明する。図２は、デジタルサイネージ装置３３の概略的な外観構成を示す正面図である。図２に示すように、各デジタルサイネージ装置３３は、表示部３３１と、音声出力部３３２とを備えている。
【００２１】
表示部３３１は、受信したコンテンツに基づいて上記広告情報や上記案内情報などの各種情報を表示するものであり、液晶ディスプレイやプラズマディスプレイなどで実現される。また、音声出力部３３２は、受信したコンテンツに基づいてＢＧＭや、商品を紹介する音声などの各種音声を出力するものであり、スピーカなどで実現される。
【００２２】
図２の例では、表示部３３１と音声出力部３３２のみ示しているが、これに限定されず、各デジタルサイネージ装置３３は、各種チケット、クーポンなどを印刷して発行するための印刷装置（プリンタ）や、客が所持する会員カードや携帯電話機などの記憶媒体から客のＩＤなどの情報を読み取る読取装置や、客が所持する携帯電話機と近距離通信を行う通信装置や、客を撮影する撮影装置（カメラ）などの他の構成を備える形態とすることも可能である。
【００２３】
次に、ストアサーバ装置３１の制御系のハードウェア構成について図３を用いて説明する。図３は、ストアサーバ装置３１の制御系のハードウェア構成を示すブロック図である。
【００２４】
図３に示すように、ストアサーバ装置３１は、一般的なコンピュータを利用したハードウェア構成となっており、例えば、制御部３１１と、通信Ｉ／Ｆ部３１２と、Ｉ／Ｏ機器制御部３１３とがバスＢ１によって接続されて構成されている。なお、制御部３１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される。
【００２５】
また、制御部３１１には、バスＢ１及びＩ／Ｏ機器制御部３１３を介して、キーボードやマウスなどで実現される操作部３１４や、液晶ディスプレイなどで実現される表示部３１５や、ハードディスク装置（ＨＤＤ：Hard Disk Drive）やＳＳＤ（Solid State Drive）装置などで実現される記憶部３１６などが接続されている。
【００２６】
即ち、制御部３１１は、ＣＰＵがＲＯＭやＨＤＤなどに格納される制御プログラムをＲＡＭに展開して実行することにより、Ｉ／Ｏ機器制御部３１３を介して接続される各種構成要素の動作を制御するとともに、通信Ｉ／Ｆ部３１２及び通信ネットワークＮを介して接続されるＰＯＳ端末３２やデジタルサイネージ装置３３との間で上記商品情報や上記コンテンツなどの各種データの送受信動作を制御するものである。
【００２７】
また、記憶部３１６には、各デジタルサイネージ装置３３に配信するコンテンツや、店舗で販売する各商品の商品情報（各商品の商品コード毎に対応付けられる商品名や商品の単価を示す情報など）を登録する商品マスタテーブルや、ＰＯＳ端末３２から受信する販売データに基づいて売り上げた商品に関する売上データ（一営業日などの一定期間における各商品の売上数や売上金額を示す売上情報など）を登録する売上マスタテーブルなどの各種情報が格納される。
【００２８】
また、本実施形態では、上記記憶部３１６には、後述の画像認識処理に用いられる画像認識用データ（商品や人などの特定の物体を認識するための特定の物体毎の特徴量を示すデータなど）Ｄ１や、後述の音声認識処理に用いられる音声認識用データ（後述の音響モデルデータベース（ＤＢ）や、言語モデルデータベースなど（ＤＢ）や、店舗で扱う各商品又は各サービスを示す単語を記憶する商品言語データデータベース（ＤＢ））Ｄ２などの各種情報も格納される。
【００２９】
次に、デジタルサイネージ装置３３の制御系のハードウェア構成について図４を用いて説明する。図４は、デジタルサイネージ装置３３の制御系のハードウェア構成を示すブロック図である。
【００３０】
図４に示すように、デジタルサイネージ装置３３は、一般的なコンピュータを利用したハードウェア構成となっており、例えば、制御部３３０と、通信Ｉ／Ｆ部３３３と、Ｉ／Ｏ機器制御部３３４とがバスＢ２によって接続されて構成されている。なお、制御部３３０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される。
【００３１】
また、制御部３３０には、バスＢ２及びＩ／Ｏ機器制御部３３４を介して、液晶ディスプレイやプラズマディスプレイなどで実現される表示部３３１や、スピーカなどで実現される音声出力部３３２や、ハードディスク装置（ＨＤＤ：Hard Disk Drive）、ＳＳＤ（Solid State Drive）装置、不揮発性メモリなどで実現される記憶部３３５などが接続されている。
【００３２】
即ち、制御部３３０は、ＣＰＵがＲＯＭやＨＤＤなどに格納される制御プログラムをＲＡＭに展開して実行することにより、Ｉ／Ｏ機器制御部３３４を介して接続される各種構成要素の動作を制御するとともに、通信Ｉ／Ｆ部３３３及び通信ネットワークＮを介して接続されるストアサーバ装置３１との間でコンテンツなどの各種データを送受信する動作を制御するものである。
【００３３】
また、記憶部３３５には、ストアサーバ装置３１から受信したコンテンツ（予め設定された再生スケジュールで設定されたコンテンツＣ１や後述の割込み再生用のコンテンツＣ２）などの各種情報が格納される。
【００３４】
次に、ストアサーバ装置３１の機能的構成について図５を用いて説明する。図５は、ストアサーバ装置３１の機能的構成を示すブロック図である。
【００３５】
図５に示すように、ストアサーバ装置３１の制御部３１１は、ＣＰＵが、ＲＯＭなどに記憶されているプログラムをＲＡＭに展開して実行することにより、データ入力部３１１ａ、広告商品特定部３１１ｂ、コンテンツ再生部３１１ｃ、再生制御部３１１ｄとして機能する。
【００３６】
データ入力部３１１ａは、カメラ３４の撮影により得られた画像データや、マイク３５で集音された音声データなどの各種データを入力するものである。
【００３７】
広告商品特定部３１１ｂは、周知の画像認識技術又は音声認識技術を利用して、データ入力部３１１ａで入力した画像データや音声データ（特に、商品又はサービスに関する画像データや音声データ）から、デジタルサイネージ装置３３において予め設定された再生スケジュールで設定されているコンテンツの再生に対して割込ませて再生させるコンテンツ（割込み再生用のコンテンツ）で広告（割込み広告）する商品又はサービスを特定するものである。
【００３８】
例えば、広告商品特定部３１１ｂは、売り場に設置されたカメラ３４の撮影で得られた画像データである複数のフレーム画像（撮影画像）間の差分が所定の閾値以上である場合（即ち、画像が大幅に変化した場合）に、ある商品が売り場に１又は複数（多数）補充されたものと判定し、当該画像データを送信したカメラ３４の識別情報に対応付けられた商品を示す情報（例えば、商品「刺身」を示す情報など）から当該カメラ３４に対応付けられた商品を特定する。その後、広告商品特定部３１１ｂは、上記特定された商品と、複数の撮影画像間において差分が上記所定の閾値以上であった一の撮影画像における画像領域（即ち、商品が補充されたことで画像が大幅に変化した画像領域）の画像認識により認識された商品候補となる１又は複数の商品（物体）（例えば、商品「刺身」と商品「豚ロース」）とから、売り場（即ち、カメラ３４が撮影するエリア（例えば、「生鮮魚コーナー」）に補充された商品を特定し、その特定した商品を客に広告する商品として特定する。
【００３９】
また、例えば、広告商品特定部３１１ｂは、バックヤードに配置されたカメラ３４の撮影で得られた画像データである複数のフレーム画像（撮像画像）の画像認識により、バックヤードにおいて、ラベルプリンタ（不図示）で発行されたラベル（商品名、値段、バーコードなどが印刷されたもの）が店員によって商品に貼付されている様子（状況）を認識した場合に、売り場に商品を補充する準備がされているものと判定し、画像認識により上記ラベルが貼付されている商品を特定し、その特定した商品を客に広告する商品として特定する。
【００４０】
また、例えば、広告商品特定部３１１ｂは、バックヤードに配置されたカメラ３４の撮影で得られた画像データである複数のフレーム画像（撮像画像）の画像認識により、バックヤードにおいて、店員が商品（上述のようなラベルが貼付された商品など）を配膳車などの商品を運ぶ運搬車に載置している様子（状況）を認識した場合に、売り場に商品を補充する準備がされているものと判定し、画像認識により上記運搬車に載置されている商品を特定し、その特定した商品を客に広告する商品として特定する。
【００４１】
また、例えば、広告商品特定部３１１ｂは、バックヤードに配置されたカメラ３４の撮影で得られた画像データである複数のフレーム画像（撮像画像）の画像認識により、バックヤードにおいて、商品が載置された運搬車が店員によって売り場に向けて移動されている様子（状況）を認識した場合に、売り場に商品を補充する準備がされているものと判定し、画像認識により上記運搬車に載置されている商品を特定し、その特定した商品を客に広告する商品として特定する。
【００４２】
なお、上記した画像認識の具体的な方法としては、広告商品特定部３１１ｂは、撮影画像から、特徴量として商品、人、ラベル、運搬車などの特定の物体の表面の状態（表面の色合い、模様（パターン）、凸凹状況など）を読み取って、予め登録されている物体の特徴量と比較することにより、商品、人、ラベル、運搬車などの特徴を認識して特定の物体を認識するものである。
【００４３】
なお、上記のように画像中に含まれる物体（商品）を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００４４】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００４５】
更に、例えば、広告商品特定部３１１ｂは、店員の携帯する情報処理端末のマイク３５にて集音された音声データを音声認識し、店員の音声（商品を客に紹介する掛け声や、客に紹介した商品を囁く声などの音声）に商品又はサービスを示す音声が含まれていると判定した場合に、音声認識により店員が客に紹介したい商品又はサービスや、店員により客に紹介された商品又はサービスを特定し、その特定した商品又はサービスを客に広告する商品として特定する。
【００４６】
また、例えば、広告商品特定部３１１ｂは、売り場の店内放送を発声するスピーカの付近に設置されたマイク３５にて集音された音声データを音声認識し、店内放送の音声に商品又はサービスを示す音声が含まれていると判定した場合に、音声認識により店内放送で客に紹介された商品又はサービスを特定し、その特定した商品又はサービスを客に広告する商品として特定する。
【００４７】
なお、上記のように集音された音声から特定の言語を認識する音声認識技術としては、例えば、複数（多数）の音声データ（音の波形サンプル）とそれら各音声データを書き起こしたテキストデータなどを記憶する音響モデルＤＢと、複数の単語と単語の並び方（つながり方）を示す情報などを記憶する言語モデルＤＢとを用い、入力した音声と、上記音響モデルＤＢ及び上記言語モデルＤＢに記憶された各種情報とを照合し、入力した音声と最も近い語彙（何と言っているか）を推定し文字に変換することで特定の言語を認識する技術が知られている。
【００４８】
そして、広告商品特定部３１１ｂは、上記推定して変換した文字と、上述した商品言語ＤＢに記憶されている単語を比較することにより、商品又はサービスを示す単語を抽出して客に広告する商品として特定する。
【００４９】
また、上記音声認識技術の精度を上げる、即ち、誤認識や処理時間の低減を図る目的で、上記音響モデルＤＢとして、人の声のサンプルを記憶（学習）した第１の音響モデルＤＢと、人の声以外の雑音のサンプルを記憶（学習）した第２の音響モデルＤＢとを用意し、入力した音声と上記第１及び第２の音響モデルＤＢに記憶されたサンプルとのマッチングを行うことで、入力した音声における人の声（音声区間）と、人の声以外（非音声区間）とを高度に区別するようにしても良い。
【００５０】
コンテンツ生成部３１１ｃは、店舗で扱う各商品又は各サービス毎に、予め記憶部（ＨＤＤ）３１６などに記憶されている各商品又は各サービスを示す動画又は静止画のコンテンツを用いて、上記広告商品特定部３１１ｂで特定された商品又はサービスを広告するための割込み再生用のコンテンツを生成する。
【００５１】
なお、上記割込み再生用のコンテンツには、上記動画や静止画以外に、それら動画や静止画の上にかぶせるなどして表示されるテロップ、即ち、割込み広告する商品を紹介する文章などの情報も含まれている。
【００５２】
また、上記記憶部（ＨＤＤ）３１６に記憶されている各商品又は各サービスの動画又は静止画のコンテンツは、商品又はサービスを識別可能な識別情報に対応付けて記憶されている。また、上記テロップは、予め記憶部（ＨＤＤ）３１６などに記憶されているテロップを使用しても良いし、その都度生成したテロップ（例えば、「○○を補充しました！！」の○○に特定した商品の名称を挿入したテロップなど）であっても良い。
【００５３】
再生制御部３１１ｄは、上記コンテンツ生成部３１１ｃが生成したコンテンツ（以下、割込み再生用のコンテンツという場合がある。）をデジタルサイネージ装置３３に配信して割込み再生させる処理を行うものである。
【００５４】
即ち、再生制御部３１１ｄは、通常時、即ち、デジタルサイネージ装置３３に対して上記割込み再生用のコンテンツの割込み再生を行わせない場合、デジタルサイネージ装置３３に対して予め設定された再生スケジュールに従ったコンテンツを配信し、その配信したコンテンツの再生を行わせる。
【００５５】
また、再生制御部３１１ｄは、デジタルサイネージ装置３３に対して上記割込み再生用のコンテンツの割込み再生を行わせる場合には、上記再生スケジュールに従ったコンテンツに替えて、上記割込み再生用のコンテンツをデジタルサイネージ装置３３に対して配信し、その配信したコンテンツの再生（３０分、１時間などの一定時間繰り返し再生）を行わせる。
【００５６】
また、再生制御部３１１ｄは、上記割込み再生用のコンテンツの再生が終了した場合、デジタルサイネージ装置３３に対して、再生スケジュール上で上記割込み再生用のコンテンツの再生が終了した時刻に再生設定されているコンテンツの再生を行わせる。
【００５７】
即ち、本実施形態の店舗システム３では、再生スケジュールを守るようにしている。より具体的には、店舗システム３では、割込み再生用のコンテンツの再生を再生スケジュールに割込ませる際、割込み再生用のコンテンツの再生を行うことによって再生スケジュールで設定されている各コンテンツの再生時間帯が後ろにずれていくのを防止すべく、割込み再生用のコンテンツの再生に要した時間分だけ再生スケジュールで設定されているコンテンツのデジタルサイネージ装置３３における再生時間を削るようにしている。
【００５８】
これにより、割込み再生用のコンテンツの再生を行うことによって再生スケジュールで設定されているコンテンツが営業日中に再生されなくなるような不都合が発生するのを防ぐことができる。
【００５９】
次に、デジタルサイネージ装置３３の機能的構成について図６を用いて説明する。図６は、デジタルサイネージ装置３３の機能的構成を示すブロック図である。
【００６０】
図６に示すように、デジタルサイネージ装置３３の制御部３３０は、ＣＰＵが、ＲＯＭなどに記憶されているプログラムをＲＡＭに展開して実行することにより、コンテンツ受信部３３０ａ、コンテンツ再生部３３０ｂとして機能する。
【００６１】
コンテンツ受信部３３０ａは、ストアサーバ装置３１から配信されたコンテンツを受信して記憶部（ＨＤＤ）３３５などの記憶部に記憶するものである。
【００６２】
コンテンツ再生部３３０ｂは、上記コンテンツ受信部３３０ａにより受信されて記憶部に記憶されたコンテンツを再生し、広告情報や案内情報などの各種情報を表示部３３１又は音声出力部３３２を用いて出力するものである。
【００６３】
次に、ストアサーバ装置３１における処理動作について図７を用いて説明する。図７は、ストアサーバ装置３１における処理動作の流れを示すフローチャートである。
【００６４】
図７に示すように、ストアサーバ装置３１では、データ入力部３１１ａが、カメラ３４の撮影により得られた画像データ又はマイク３５で集音された音声データを入力する（ステップＳ１）。
【００６５】
続いて、広告商品特定部３１１ｂが、ステップＳ１で入力した画像データ又は音声データから、割込み広告する商品又はサービスを特定する（ステップＳ２）。
【００６６】
続いて、コンテンツ生成部３１１ｃが、ステップＳ２で特定した商品又はサービスをデジタルサイネージ装置３３において割込み広告するための割込み再生用のコンテンツを生成する（ステップＳ３）。
【００６７】
その後、再生制御部３１１ｄが、ステップＳ３で生成された割込み再生用のコンテンツをデジタルサイネージ装置３３に配信して上記割込み再生用のコンテンツの割込み再生を行わせる（ステップＳ４）。
【００６８】
次に、デジタルサイネージ装置３３における処理動作について図８を用いて説明する。図８は、デジタルサイネージ装置３３における処理動作の流れを示すフローチャートである。
【００６９】
図８に示すように、デジタルサイネージ装置３３では、コンテンツ受信部３３０ａが、ストアサーバ装置３１から配信される割込み再生用のコンテンツを受信して、記憶部（ＨＤＤ）３３５に記憶する（ステップＳ１１）。
【００７０】
続いて、コンテンツ再生部３３０ｂが、ステップＳ１１において記憶部に記憶された割込み再生用のコンテンツを再生して割込み広告する商品又はサービスに関する広告情報を表示部３３１や音声出力部３３２を用いて報知する（ステップＳ１２）。
【００７１】
ここで、上記図７及び図８の具体的な処理の一例について図９〜図１１を用いて説明する。
【００７２】
図９は、売り場に設置されたカメラ３４の撮影で得られた画像データから広告する商品を特定し、デジタルサイネージ装置３３に画像データから特定した商品を広告するコンテンツの割込み再生を行わせる様子を説明する模式図である。また、図１０は、売り場に設置されたマイク３５で集音された音声データから広告する商品を特定し、デジタルサイネージ装置３３に音声データから特定した商品を広告するコンテンツの割込み再生を行わせる様子を説明する模式図である。
【００７３】
また、図１１は、予め設定された再生スケジュールで設定されているコンテンツの再生に対して割込み再生用のコンテンツの再生を割込ませた様子を説明するための模式図である。
【００７４】
最初に、図９を参照して、ストアサーバ装置３１がカメラ（１）３４から取得した複数のフレーム画像（撮影画像）から商品「刺身」が売り場（陳列棚）に補充されたと判定した場合の処理動作について説明する。なお、図９の例では、売り場において、商品「刺身」が陳列棚に１つも陳列されていない状態から複数の商品「刺身」が陳列（補充）された場合の処理を示している。
【００７５】
この場合、ストアサーバ装置３１では、まず、図７のステップＳ１において、データ入力部３１１ａが、カメラ（１）３４から売り場（特に、商品「刺身」が陳列される箇所を含む領域）を撮影した画像データを入力する。
【００７６】
そして、ステップＳ２において、広告商品特定部３１１ｂが、ステップＳ１で入力した画像データ、即ち、複数のフレーム画像（撮影画像）の差分が所定の閾値以上であることにより、売り場に商品が補充されたと判定し、上記カメラ（１）３４の識別情報に対応付けられた商品を示す情報と、撮影画像において差分が上記所定の閾値以上であった画像領域（即ち、画像が大幅に変化した画像領域）の画像認識により認識された１又は複数の商品候補とに基づいて売り場に補充された商品（刺身）を特定し、その特定した商品「刺身」を客に広告する商品として特定する。
【００７７】
その後、ステップＳ３において、コンテンツ生成部３１１ｃが、記憶部（ＨＤＤ）３１６に記憶されているコンテンツ（この場合、「刺身」を示す動画など）を用いて、ステップＳ２において特定された商品「刺身」を広告するための割込み再生用のコンテンツを生成する。
【００７８】
続いて、ステップＳ４において、再生制御部３１１ｄが、ステップＳ３において生成されたコンテンツ（この場合、商品「刺身」を広告するコンテンツ）をデジタルサイネージ装置３３に配信して割込み再生させる。
【００７９】
一方、デジタルサイネージ装置３３では、図８のステップＳ１１において、コンテンツ受信部３３０ａが、ストアサーバ装置３１から配信された割込み再生用のコンテンツ（商品「刺身」を広告するコンテンツ）を受信して記憶部（ＨＤＤ）３３５に記憶する。
【００８０】
続いて、ステップＳ１２において、コンテンツ再生部３３０ｂが、ステップＳ１１で記憶部（ＨＤＤ）３３５に記憶した割り込み再生用のコンテンツの割込み再生を行う。これにより、デジタルサイネージ装置３３では、図９に示すように、表示部３３１に、「刺身」を示す動画Ｍ１と、「切り立ての「刺身」を補充しました！！」というテロップＴ１とを含む広告情報Ｉ１を表示する。
【００８１】
次に、図１０を参照して、ストアサーバ装置３１がマイク（１）３５から取得した音声データから店員により商品「コロッケ」が紹介されたと判定した場合の処理動作について説明する。なお、図１０の例では、売り場において、店員が「揚げたてコロッケはいかがですか？」という掛け声を発した場合の処理を示している。
【００８２】
この場合、ストアサーバ装置３１では、まず、図７のステップＳ１において、データ入力部３１１ａが、マイク（１）３５から売り場で集音された音声データを入力する。
【００８３】
そして、ステップＳ２において、広告商品特定部３１１ｂが、ステップＳ１で入力した音声データに基づく音声を音声認識し、店員の音声に商品を示す音声（この場合、「コロッケ」という音声）が含まれていると判定した場合に、音声認識により店員によって客に紹介された商品「コロッケ」を特定し、その特定した商品「コロッケ」を客に広告する商品として特定する。
【００８４】
その後、ステップＳ３において、コンテンツ生成部３１１ｃが、記憶部（ＨＤＤ）３１６に記憶されているコンテンツ（この場合、「コロッケ」を示す動画など）を用いて、ステップＳ２において特定された商品「コロッケ」を広告するための割込み再生用のコンテンツを生成する。
【００８５】
続いて、ステップＳ４において、再生制御部３１１ｄが、ステップＳ３において生成されたコンテンツ（この場合、商品「コロッケ」を広告するコンテンツ）をデジタルサイネージ装置３３に配信して割込み再生させる。
【００８６】
一方、デジタルサイネージ装置３３では、図８のステップＳ１１において、コンテンツ受信部３３０ａが、ストアサーバ装置３１から配信された割込み再生用のコンテンツ（商品「コロッケ」を広告するコンテンツ）を受信して記憶部（ＨＤＤ）３３５に記憶する。
【００８７】
続いて、ステップＳ１２において、コンテンツ再生部３３０ｂが、ステップＳ１１で記憶部（ＨＤＤ）３３５に記憶した割り込み再生用のコンテンツの割込み再生を行う。これにより、デジタルサイネージ装置３３では、図１０に示すように、表示部３３１に、「コロッケ」を示す動画Ｍ２と、「コロッケ １コ５０円 揚げたてですよ！！」というテロップＴ２とを含む広告情報Ｉ２を表示する。
【００８８】
即ち、上記図９及び図１０に示すような処理動作によって、デジタルサイネージ装置３３においては、図１１に示すように、予め設定された再生スケジュールで設定されているコンテンツの再生に対して割込み再生用のコンテンツの再生を割込ますことができる。なお、図１１の例では、「１０：００」〜「１２：００」の間に、商品「刺身」を広告する動画Ｍ１のコンテンツを割込み再生し、「１３：００」〜「１５：００」の間に商品「コロッケ」を広告する動画Ｍ２のコンテンツを割込み再生する様子を示している。
【００８９】
以上説明した実施形態によれば、デジタルサイネージ装置３３を効果的に利用して商品の売上アップを図ることができる。
【００９０】
より具体的には、本実施形態によれば、店舗の売り場を撮影して得られた撮影画像から、売り場に補充された商品を特定し、その特定した商品を広告するコンテンツをデジタルサイネージ装置３３で割込み再生させるようにしたため、売り場に商品が補充された場合にいち早くその商品を客に広告することができる。
【００９１】
また、本実施形態によれば、店舗のバックヤードを撮影して得られた撮影画像から、店舗の売り場に補充する準備がされている商品（例えば、バックヤードでラベルが貼られている商品や、バックヤードで運搬車に載置されている商品など）を特定し、その特定した商品を広告するコンテンツをデジタルサイネージ装置３３で割込み再生させるようにしたため、売り場に補充する準備がされている商品をいち早く客に広告することができる。
【００９２】
また、本実施形態によれば、店舗の売り場で集音された店員の声（掛け声）から、店員が客に紹介したい商品又はサービスや、店員により客に紹介された商品又はサービスを特定し、その特定した商品又はサービスを広告するコンテンツをデジタルサイネージ装置３３で割込み再生させるようにしたため、店員が客に紹介したい商品又はサービスや、店員が紹介した商品又はサービスを効率良く客に広告することができる。
【００９３】
また、本実施形態によれば、店舗の店内で集音された広告放送から、店内放送で客に紹介された商品又はサービスを特定し、その特定した商品又はサービスを広告するコンテンツをデジタルサイネージ装置３３で割込み再生させるようにしたため、店内放送で客に紹介された商品又はサービスを効率良く客に広告することができる。
【００９４】
以上、例示的な実施形態に基づいて説明したが、本発明は、上記した実施形態により限定されるものではない。
【００９５】
例えば、上記した実施形態では、店舗に設置されたカメラ（撮影装置）３４の撮影により得られた撮影画像又は店舗に設置されたマイク（集音装置）３５で集音された音声のいずれかから客に広告する商品を特定する形態について説明したが、これに限定されず、上記撮影画像及び上記音声の少なくとも一つから広告する商品を特定すれば良く、例えば、上記撮影画像と上記音声の両者から広告する商品を特定するような形態とすることも可能である。
【００９６】
また、上記した実施形態では、複数のフレーム画像（撮影画像）の差分から売り場に商品が補充されたことを検知する形態について説明したが、これ以外の方法により商品が補充されたことを検知するようにしても良い。例えば、撮影画像の画像認識によって店員などの作業員が売り場の陳列棚付近で長時間作業している状態を認識したことにより商品が補充されたことを検知するような変形形態とすることも可能である。
【００９７】
更に、上記変形形態において、店員が携帯する情報処理端末（携帯電話機など）に設けられた加速度センサにより店員の動作を検知することで、店員の補充作業と客の商品を選ぶ作業とを高度に区別するように構成しても良い。
【００９８】
また、上記した実施形態では、特に説明していないが、例えば、カメラ３４から取得した画像データの画像認識により、例えば、商品が陳列されていないなどによって陳列棚の色つきの載置面が広い範囲（予め設定された面積以上の範囲など）で認識でき、売り場に補充された商品が空又は空に近い状態（陳列されている商品が１、２個など少ない状態）になったことを検知した場合に、デジタルサイネージ装置３３に対して当該割込み再生用のコンテンツの再生を中止させ、予め設定された再生スケジュールに従ったコンテンツの再生を行わせるように構成することも可能である。
【００９９】
また、上記した実施形態では、特に説明していないが、ストアサーバ装置３１において、略同時刻に複数の割込み再生用のコンテンツの割込み再生を行わせる必要が発生した場合には、予め各商品又は各サービスに付与された割込み再生の優先度の情報に基づいて、最も優先度の高い商品又はサービスを広告する割込み再生用のコンテンツの割込み再生をデジタルサイネージ装置３３に行わせるように構成することも可能である。なお、上記優先度の情報は、例えば、ストアサーバ装置３１において店舗側で任意に設定することが可能である。
【０１００】
また、上記した実施形態では、特に説明していないが、予め設定されている再生スケジュールにおける各コンテンツにおいて割込み再生用のコンテンツに優先して再生を行う必要があるコンテンツ（即ち、広告の重要度が高いコンテンツ）がある場合には、そのコンテンツに対して優先度の高いことを示すフラグを予め付与しておき、そのフラグが付与されたコンテンツの再生時間帯において割込み再生用のコンテンツの割込み再生を行う必要が発生した場合に、ストアサーバ装置３１が、上記割込み再生用のコンテンツの割込み再生を禁止するように構成しても良い。
【０１０１】
そして、上記フラグが付与されたコンテンツの再生を優先してデジタルサイネージ装置３３に行わせ、上記フラグが付与されたコンテンツの再生が終了した後に、ストアサーバ装置３１が、デジタルサイネージ装置３３に対して上記割込み再生用のコンテンツの割込み再生を行わせるように構成しても良い。なお、上記フラグは、例えば、ストアサーバ装置３１において店舗側で任意に設定することが可能である。
【０１０２】
また、上記した実施形態では、特に説明していないが、ストアサーバ装置３１の再生制御部３１１ｄは、広告商品特定部３１１ｂで特定された商品が陳列されている場所の付近に設置されているデジタルサイネージ装置３３にのみコンテンツ生成部３１１ｃが生成した割込み再生用のコンテンツを配信して上記割込み再生用のコンテンツの割込み再生を行わせるように構成することも可能である。
【０１０３】
また、上記した実施形態では、スーパーマーケットなどの店舗に設けられる店舗システムを含む店舗運営システム１に適用した場合について説明したが、これに限定されず、ショッピングモールなどの商業施設や、商店街や、地下街などに設置されるシステムに適用することも可能であり、その場合には、カメラ３４やマイク３５は、上記ショッピングモールなどの商業施設や、商店街や、地下街などに設置される。
【０１０４】
また、上記した実施形態のストアサーバ装置３１又はデジタルサイネージ装置３３で実行されるプログラムは、ＲＯＭなどの記憶部に予め組み込んで提供することが可能である。また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルでコンピュータで読み取り可能な記憶媒体に記憶して提供することが可能である。更に、上記プログラムは、インターネットなどのネットワーク経由で提供又は配布したりすることも可能である。
【０１０５】
また、上記した実施形態では、図７に示す処理をストアサーバ装置３１が実行する形態について説明したが、これに限定されず、本部サーバ２１が図５に示す機能構成部を有し、図７に示す処理を実行するような形態とすることも可能である。
【０１０６】
また、端末装置とサーバ装置とを含んだ店舗運営システムにより上記のような動作を実現することもできる。この場合、１つのサーバ装置が１つ又は複数のデジタルサイネージ装置における割込み広告を実現するための処理を行っても良いし、複数のサーバ装置が１つ又は複数のデジタルサイネージ装置における割込み広告を実現するための処理を分担して行っても良い。
【０１０７】
このような店舗運営システムの実現には、クラウドコンピューティングを利用できる。より具体的には、Software as a Service（ＳａａＳ）と称されるソフトウェア提供形態が適する。
【０１０８】
図１２は、クラウドシステムを利用する店舗運営システム１００の構成を示す図である。図１２に示すように、店舗運営システム１００は、クラウド１１０、店舗Ａの店舗システム３Ａ、店舗Ｂの店舗システム３Ｂなどをクラウド１１０へ接続する複数の通信ネットワークＮを含む。なお、店舗システム３及び通信ネットワークＮは、それぞれ１つのみでも良い。
【０１０９】
クラウド１１０は、さらに複数のサーバ装置（情報処理装置）１１１を含む。これら複数のサーバ装置１１１は互いに通信可能に構成される。ただしサーバ装置１１１は、１つのみであっても良い。
【０１１０】
店舗システム３のデジタルサイネージ装置３３は、通信ネットワークＮを介してクラウド１１０と通信可能である。通信ネットワークＮとしては、インターネット、プライベートネットワーク、次世代ネットワーク（ＮＧＮ）、あるいはモバイルネットワークなどを適宜に利用できる。また、店舗運営システム１００では、図５に示した各機能構成部をクラウド１１０で実現している。
【０１１１】
また、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１１２】
１ 店舗運営システム
２ 本部システム
２１ 本部サーバ（情報処理装置）
３ 店舗システム
３１ ストアサーバ装置（情報処理装置）
３２ ＰＯＳ端末
３３ デジタルサイネージ装置
３４ カメラ（撮影装置）
３５ マイク（集音装置）
３３１ 表示部
３３２ 音声出力部
Ｎ 通信ネットワーク
３１１ 制御部
３１１ａ データ入力部（入力手段）
３１１ｂ 広告商品特定部（特定手段）
３１１ｃ コンテンツ生成部（コンテンツ生成手段）
３１１ｄ 再生制御部（制御手段）
３３０ａ コンテンツ受信部
３３０ｂ コンテンツ再生部
【先行技術文献】
【特許文献】
【０１１３】
【特許文献１】特開２００７−２８６９００号公報
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
近年、スーパーマーケットやデパートなどの店舗や、ショッピングモールなどの商業施設や、商店街や、地下街などの商品の販売やサービスの提供を行う場所においては、サーバ装置から配信される動画や静止画などのコンテンツを再生して、商品を広告する広告情報を表示装置に表示するデジタルサイネージ（Digital Signage：電子看板）装置が設置されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来、上記デジタルサイネージ装置を利用することにより、商品の売上アップを図ることが望まれている。
【課題を解決するための手段】
【０００４】
本実施形態の情報処理装置は、特定手段と、制御手段とを有する。特定手段は、店舗などの所定の場所で得られた撮影画像及び前記場所で集音された音声の少なくとも一つから広告する商品又はサービスを特定する。制御手段は、予め設定された再生スケジュールに従ってコンテンツを再生するデジタルサイネージ装置に対して、前記特定手段で特定された商品又はサービスを広告するコンテンツの割込み再生を行わせる。
【図面の簡単な説明】
【０００５】
【図１】図１は、店舗運営システムの概略的な構成を示すシステム概要図である。
【図２】図２は、デジタルサイネージ装置の概略的な外観構成を示す正面図である。
【図３】図３は、ストアサーバ装置の制御系のハードウェア構成を示すブロック図である。
【図４】図４は、デジタルサイネージ装置の制御系のハードウェア構成を示すブロック図である。
【図５】図５は、ストアサーバ装置の機能的構成を示すブロック図である。
【図６】図６は、デジタルサイネージ装置の機能的構成を示すブロック図である。
【図７】図７は、ストアサーバ装置における処理動作の流れを示すフローチャートである。
【図８】図８は、デジタルサイネージ装置における処理動作の流れを示すフローチャートである。
【図９】図９は、デジタルサイネージ装置に画像データから特定した商品を広告するコンテンツの割込み再生を行わせる様子を説明する模式図である。
【図１０】図１０は、デジタルサイネージ装置に音声データから特定した商品を広告するコンテンツの割込み再生を行わせる様子を説明する模式図である。
【図１１】図１１は、予め設定された再生スケジュールで設定されているコンテンツの再生に対して割込み再生用のコンテンツの再生を割込ませた様子を説明するための模式図である。
【図１２】図１２は、クラウドシステムを利用する店舗運営システムの構成を示す図である。
【発明を実施するための形態】
【０００６】
以下、実施形態について添付図面を参照して説明する。
【０００７】
最初に、本実施形態に係る情報処理装置及びプログラムを適用した店舗運営システム１の概略構成について図１を用いて説明する。図１は、店舗運営システム１の概略的な構成を示すシステム概要図である。
【０００８】
図１に示すように、この店舗運営システム１は、本部システム２と、複数の店舗システム３Ａ、３Ｂ（図１の例では、２つ）とを備えている。そして、本部システム２と各店舗システム３Ａ、３Ｂとが、インターネットなどの公衆通信網やＶＰＮ（Virtual Private Network）などのネットワーク４や、不図示のルータなどの接続装置を介して接続されている。
【０００９】
ここで、本部システム２は、スーパーマーケットなどの各店舗を統括的に管理する本部に設置され、本部サーバ２１や、プリンタ及びパーソナルコンピュータ（いずれも不図示）などを備えている。
【００１０】
店舗システム３は、各店舗毎に設置され、ストアサーバ装置３１と、複数のＰＯＳ（Point Of Sales System）端末３２（図１の例では、２台）と、複数のデジタルサイネージ装置３３（図１の例では、３台）と、複数のカメラ（撮影装置）３４（図１の例では、Ｌ台、Ｌ：任意の正の整数）と、複数のマイク（集音装置）３５（図１の例では、Ｍ（Ｍ：任意の正の整数）とを備え、それらがＬＡＮ（Local Area Network）などの通信ネットワークＮを介して接続されている。
【００１１】
ここで、ストアサーバ装置３１は、店舗のオフィスなどに設置され、店舗システム３全体を統括的に管理する上位装置としての情報処理装置である。そして、ストアサーバ装置３１は、ＰＯＳ端末３２から送られてくる売上データに基づいて売上管理を行う。
【００１２】
また、ストアサーバ装置３１は、各デジタルサイネージ装置３３に対して店舗で販売する商品又は店舗で提供するサービスであり、客に広告する商品又はサービスを広告するための広告情報を表示させたり、広告する商品又はサービスの場所まで案内する案内情報を表示させたりするための動画や静止画などのコンテンツを通信ネットワークＮを介して配信するものである。
【００１３】
各ＰＯＳ端末３２は、店舗の会計場所などに設置され、通信ネットワークＮを介してストアサーバ装置３１との間で商品コード、商品名、単価などの商品情報の送受信を行うことにより、客が購入する商品の登録及び決済を行うための情報処理装置である。
【００１４】
各デジタルサイネージ装置３３は、店舗の敷地内（商品を売る売り場や、店舗の入口など）に設置され、通信ネットワークＮを介してストアサーバ装置３１から受信したコンテンツを再生して表示部３３１（図２参照）に各種情報を表示する装置である。
【００１５】
より具体的には、各デジタルサイネージ装置３３は、受信したコンテンツを再生して、客に広告する商品を撮影した動画像、上記商品の値段又は上記商品を客に紹介（又は説明）する文章などから構成される広告情報Ｉ（図２参照）や、広告する商品の場所又は広告するサービスを提供する場所までの経路を客に案内する案内情報などを表示部３３１又は音声出力部３３２（いずれも図２参照）を用いて出力する、即ち、客に報知する。
【００１６】
各カメラ（撮影装置）３４は、店舗の売り場やバックヤードなどに設置され、売り場やバックヤードを撮影する撮影装置であり、例えば、ライブ映像を撮影するデジタルビデオカメラなどで実現される。より具体的には、本実施形態のカメラ３４は、売り場に補充された商品を特定するのに用いられる売り場の映像や、バックヤードにおいて売り場に補充する準備がされている商品を特定するのに用いられるバックヤードの映像などを取得する目的で設置される。
【００１７】
また、売り場に設置される複数のカメラ３４は、例えば、カメラ３４毎に撮影するエリア（例えば、「生鮮魚コーナー」や「惣菜コーナー」など）、即ち、撮影する商品（１又は複数種類の商品）が予め対応付けて設定されており、売り場において上記設定された商品が陳列されている様子を撮影可能な位置に配置される。そして、ストアサーバ装置３１では、売り場に設置される各カメラ３４のＩＤやアドレス情報などのカメラ３４を特定するための識別情報（即ち、どのエリアに対応付けられたカメラ３４であるかを識別するための情報）に対応付けて各カメラ３４に対応付けられた商品（１又は複数種類の商品）を示す情報（例えば、商品「刺身」を示す情報や、商品「コロッケ」を示す情報など）を管理している。
【００１８】
また、バックヤードに設置される複数のカメラ３４としては、例えば、店員がラベルプリンタ（不図示）で発行されたラベルを商品に貼付している様子を撮影可能な位置に配置されるものや、店員が上記ラベルを貼付された商品を運搬車（配膳車）に載置している様子を撮影可能な位置に配置されるものや、店員が上記商品が載置された運搬車を押して売り場に向かう様子を撮影可能な位置に配置されるものがある。
【００１９】
各マイク（集音装置）３５は、店内放送を行うスピーカ（不図示）の付近やデジタルサイネージ装置３３などの店舗の売り場に設置されたものや、店員が携帯する情報処理端末（不図示）に設けられたものなどであり、店員の掛け声や、店内放送などの音声を集音する集音装置である。より具体的には、本実施形態のマイク３５は、店舗側又は店員が客に紹介したい商品や、店員や店内放送によって客に紹介された商品などを特定するのに用いられる音声を取得する目的で設置される。
【００２０】
次に、デジタルサイネージ装置３３の外観構成について図２を用いて説明する。図２は、デジタルサイネージ装置３３の概略的な外観構成を示す正面図である。図２に示すように、各デジタルサイネージ装置３３は、表示部３３１と、音声出力部３３２とを備えている。
【００２１】
表示部３３１は、受信したコンテンツに基づいて上記広告情報や上記案内情報などの各種情報を表示するものであり、液晶ディスプレイやプラズマディスプレイなどで実現される。また、音声出力部３３２は、受信したコンテンツに基づいてＢＧＭや、商品を紹介する音声などの各種音声を出力するものであり、スピーカなどで実現される。
【００２２】
図２の例では、表示部３３１と音声出力部３３２のみ示しているが、これに限定されず、各デジタルサイネージ装置３３は、各種チケット、クーポンなどを印刷して発行するための印刷装置（プリンタ）や、客が所持する会員カードや携帯電話機などの記憶媒体から客のＩＤなどの情報を読み取る読取装置や、客が所持する携帯電話機と近距離通信を行う通信装置や、客を撮影する撮影装置（カメラ）などの他の構成を備える形態とすることも可能である。
【００２３】
次に、ストアサーバ装置３１の制御系のハードウェア構成について図３を用いて説明する。図３は、ストアサーバ装置３１の制御系のハードウェア構成を示すブロック図である。
【００２４】
図３に示すように、ストアサーバ装置３１は、一般的なコンピュータを利用したハードウェア構成となっており、例えば、制御部３１１と、通信Ｉ／Ｆ部３１２と、Ｉ／Ｏ機器制御部３１３とがバスＢ１によって接続されて構成されている。なお、制御部３１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される。
【００２５】
また、制御部３１１には、バスＢ１及びＩ／Ｏ機器制御部３１３を介して、キーボードやマウスなどで実現される操作部３１４や、液晶ディスプレイなどで実現される表示部３１５や、ハードディスク装置（ＨＤＤ：Hard Disk Drive）やＳＳＤ（Solid State Drive）装置などで実現される記憶部３１６などが接続されている。
【００２６】
即ち、制御部３１１は、ＣＰＵがＲＯＭやＨＤＤなどに格納される制御プログラムをＲＡＭに展開して実行することにより、Ｉ／Ｏ機器制御部３１３を介して接続される各種構成要素の動作を制御するとともに、通信Ｉ／Ｆ部３１２及び通信ネットワークＮを介して接続されるＰＯＳ端末３２やデジタルサイネージ装置３３との間で上記商品情報や上記コンテンツなどの各種データの送受信動作を制御するものである。
【００２７】
また、記憶部３１６には、各デジタルサイネージ装置３３に配信するコンテンツや、店舗で販売する各商品の商品情報（各商品の商品コード毎に対応付けられる商品名や商品の単価を示す情報など）を登録する商品マスタテーブルや、ＰＯＳ端末３２から受信する販売データに基づいて売り上げた商品に関する売上データ（一営業日などの一定期間における各商品の売上数や売上金額を示す売上情報など）を登録する売上マスタテーブルなどの各種情報が格納される。
【００２８】
また、本実施形態では、上記記憶部３１６には、後述の画像認識処理に用いられる画像認識用データ（商品や人などの特定の物体を認識するための特定の物体毎の特徴量を示すデータなど）Ｄ１や、後述の音声認識処理に用いられる音声認識用データ（後述の音響モデルデータベース（ＤＢ）や、言語モデルデータベースなど（ＤＢ）や、店舗で扱う各商品又は各サービスを示す単語を記憶する商品言語データデータベース（ＤＢ））Ｄ２などの各種情報も格納される。
【００２９】
次に、デジタルサイネージ装置３３の制御系のハードウェア構成について図４を用いて説明する。図４は、デジタルサイネージ装置３３の制御系のハードウェア構成を示すブロック図である。
【００３０】
図４に示すように、デジタルサイネージ装置３３は、一般的なコンピュータを利用したハードウェア構成となっており、例えば、制御部３３０と、通信Ｉ／Ｆ部３３３と、Ｉ／Ｏ機器制御部３３４とがバスＢ２によって接続されて構成されている。なお、制御部３３０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される。
【００３１】
また、制御部３３０には、バスＢ２及びＩ／Ｏ機器制御部３３４を介して、液晶ディスプレイやプラズマディスプレイなどで実現される表示部３３１や、スピーカなどで実現される音声出力部３３２や、ハードディスク装置（ＨＤＤ：Hard Disk Drive）、ＳＳＤ（Solid State Drive）装置、不揮発性メモリなどで実現される記憶部３３５などが接続されている。
【００３２】
即ち、制御部３３０は、ＣＰＵがＲＯＭやＨＤＤなどに格納される制御プログラムをＲＡＭに展開して実行することにより、Ｉ／Ｏ機器制御部３３４を介して接続される各種構成要素の動作を制御するとともに、通信Ｉ／Ｆ部３３３及び通信ネットワークＮを介して接続されるストアサーバ装置３１との間でコンテンツなどの各種データを送受信する動作を制御するものである。
【００３３】
また、記憶部３３５には、ストアサーバ装置３１から受信したコンテンツ（予め設定された再生スケジュールで設定されたコンテンツＣ１や後述の割込み再生用のコンテンツＣ２）などの各種情報が格納される。
【００３４】
次に、ストアサーバ装置３１の機能的構成について図５を用いて説明する。図５は、ストアサーバ装置３１の機能的構成を示すブロック図である。
【００３５】
図５に示すように、ストアサーバ装置３１の制御部３１１は、ＣＰＵが、ＲＯＭなどに記憶されているプログラムをＲＡＭに展開して実行することにより、データ入力部３１１ａ、広告商品特定部３１１ｂ、コンテンツ再生部３１１ｃ、再生制御部３１１ｄとして機能する。
【００３６】
データ入力部３１１ａは、カメラ３４の撮影により得られた画像データや、マイク３５で集音された音声データなどの各種データを入力するものである。
【００３７】
広告商品特定部３１１ｂは、周知の画像認識技術又は音声認識技術を利用して、データ入力部３１１ａで入力した画像データや音声データ（特に、商品又はサービスに関する画像データや音声データ）から、デジタルサイネージ装置３３において予め設定された再生スケジュールで設定されているコンテンツの再生に対して割込ませて再生させるコンテンツ（割込み再生用のコンテンツ）で広告（割込み広告）する商品又はサービスを特定するものである。
【００３８】
例えば、広告商品特定部３１１ｂは、売り場に設置されたカメラ３４の撮影で得られた画像データである複数のフレーム画像（撮影画像）間の差分が所定の閾値以上である場合（即ち、画像が大幅に変化した場合）に、ある商品が売り場に１又は複数（多数）補充されたものと判定し、当該画像データを送信したカメラ３４の識別情報に対応付けられた商品を示す情報（例えば、商品「刺身」を示す情報など）から当該カメラ３４に対応付けられた商品を特定する。その後、広告商品特定部３１１ｂは、上記特定された商品と、複数の撮影画像間において差分が上記所定の閾値以上であった一の撮影画像における画像領域（即ち、商品が補充されたことで画像が大幅に変化した画像領域）の画像認識により認識された商品候補となる１又は複数の商品（物体）（例えば、商品「刺身」と商品「豚ロース」）とから、売り場（即ち、カメラ３４が撮影するエリア（例えば、「生鮮魚コーナー」）に補充された商品を特定し、その特定した商品を客に広告する商品として特定する。
【００３９】
また、例えば、広告商品特定部３１１ｂは、バックヤードに配置されたカメラ３４の撮影で得られた画像データである複数のフレーム画像（撮像画像）の画像認識により、バックヤードにおいて、ラベルプリンタ（不図示）で発行されたラベル（商品名、値段、バーコードなどが印刷されたもの）が店員によって商品に貼付されている様子（状況）を認識した場合に、売り場に商品を補充する準備がされているものと判定し、画像認識により上記ラベルが貼付されている商品を特定し、その特定した商品を客に広告する商品として特定する。
【００４０】
また、例えば、広告商品特定部３１１ｂは、バックヤードに配置されたカメラ３４の撮影で得られた画像データである複数のフレーム画像（撮像画像）の画像認識により、バックヤードにおいて、店員が商品（上述のようなラベルが貼付された商品など）を配膳車などの商品を運ぶ運搬車に載置している様子（状況）を認識した場合に、売り場に商品を補充する準備がされているものと判定し、画像認識により上記運搬車に載置されている商品を特定し、その特定した商品を客に広告する商品として特定する。
【００４１】
また、例えば、広告商品特定部３１１ｂは、バックヤードに配置されたカメラ３４の撮影で得られた画像データである複数のフレーム画像（撮像画像）の画像認識により、バックヤードにおいて、商品が載置された運搬車が店員によって売り場に向けて移動されている様子（状況）を認識した場合に、売り場に商品を補充する準備がされているものと判定し、画像認識により上記運搬車に載置されている商品を特定し、その特定した商品を客に広告する商品として特定する。
【００４２】
なお、上記した画像認識の具体的な方法としては、広告商品特定部３１１ｂは、撮影画像から、特徴量として商品、人、ラベル、運搬車などの特定の物体の表面の状態（表面の色合い、模様（パターン）、凸凹状況など）を読み取って、予め登録されている物体の特徴量と比較することにより、商品、人、ラベル、運搬車などの特徴を認識して特定の物体を認識するものである。
【００４３】
なお、上記のように画像中に含まれる物体（商品）を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００４４】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００４５】
更に、例えば、広告商品特定部３１１ｂは、店員の携帯する情報処理端末のマイク３５にて集音された音声データを音声認識し、店員の音声（商品を客に紹介する掛け声や、客に紹介した商品を囁く声などの音声）に商品又はサービスを示す音声が含まれていると判定した場合に、音声認識により店員が客に紹介したい商品又はサービスや、店員により客に紹介された商品又はサービスを特定し、その特定した商品又はサービスを客に広告する商品として特定する。
【００４６】
また、例えば、広告商品特定部３１１ｂは、売り場の店内放送を発声するスピーカの付近に設置されたマイク３５にて集音された音声データを音声認識し、店内放送の音声に商品又はサービスを示す音声が含まれていると判定した場合に、音声認識により店内放送で客に紹介された商品又はサービスを特定し、その特定した商品又はサービスを客に広告する商品として特定する。
【００４７】
なお、上記のように集音された音声から特定の言語を認識する音声認識技術としては、例えば、複数（多数）の音声データ（音の波形サンプル）とそれら各音声データを書き起こしたテキストデータなどを記憶する音響モデルＤＢと、複数の単語と単語の並び方（つながり方）を示す情報などを記憶する言語モデルＤＢとを用い、入力した音声と、上記音響モデルＤＢ及び上記言語モデルＤＢに記憶された各種情報とを照合し、入力した音声と最も近い語彙（何と言っているか）を推定し文字に変換することで特定の言語を認識する技術が知られている。
【００４８】
そして、広告商品特定部３１１ｂは、上記推定して変換した文字と、上述した商品言語ＤＢに記憶されている単語を比較することにより、商品又はサービスを示す単語を抽出して客に広告する商品として特定する。
【００４９】
また、上記音声認識技術の精度を上げる、即ち、誤認識や処理時間の低減を図る目的で、上記音響モデルＤＢとして、人の声のサンプルを記憶（学習）した第１の音響モデルＤＢと、人の声以外の雑音のサンプルを記憶（学習）した第２の音響モデルＤＢとを用意し、入力した音声と上記第１及び第２の音響モデルＤＢに記憶されたサンプルとのマッチングを行うことで、入力した音声における人の声（音声区間）と、人の声以外（非音声区間）とを高度に区別するようにしても良い。
【００５０】
コンテンツ生成部３１１ｃは、店舗で扱う各商品又は各サービス毎に、予め記憶部（ＨＤＤ）３１６などに記憶されている各商品又は各サービスを示す動画又は静止画のコンテンツを用いて、上記広告商品特定部３１１ｂで特定された商品又はサービスを広告するための割込み再生用のコンテンツを生成する。
【００５１】
なお、上記割込み再生用のコンテンツには、上記動画や静止画以外に、それら動画や静止画の上にかぶせるなどして表示されるテロップ、即ち、割込み広告する商品を紹介する文章などの情報も含まれている。
【００５２】
また、上記記憶部（ＨＤＤ）３１６に記憶されている各商品又は各サービスの動画又は静止画のコンテンツは、商品又はサービスを識別可能な識別情報に対応付けて記憶されている。また、上記テロップは、予め記憶部（ＨＤＤ）３１６などに記憶されているテロップを使用しても良いし、その都度生成したテロップ（例えば、「○○を補充しました！！」の○○に特定した商品の名称を挿入したテロップなど）であっても良い。
【００５３】
再生制御部３１１ｄは、上記コンテンツ生成部３１１ｃが生成したコンテンツ（以下、割込み再生用のコンテンツという場合がある。）をデジタルサイネージ装置３３に配信して割込み再生させる処理を行うものである。
【００５４】
即ち、再生制御部３１１ｄは、通常時、即ち、デジタルサイネージ装置３３に対して上記割込み再生用のコンテンツの割込み再生を行わせない場合、デジタルサイネージ装置３３に対して予め設定された再生スケジュールに従ったコンテンツを配信し、その配信したコンテンツの再生を行わせる。
【００５５】
また、再生制御部３１１ｄは、デジタルサイネージ装置３３に対して上記割込み再生用のコンテンツの割込み再生を行わせる場合には、上記再生スケジュールに従ったコンテンツに替えて、上記割込み再生用のコンテンツをデジタルサイネージ装置３３に対して配信し、その配信したコンテンツの再生（３０分、１時間などの一定時間繰り返し再生）を行わせる。
【００５６】
また、再生制御部３１１ｄは、上記割込み再生用のコンテンツの再生が終了した場合、デジタルサイネージ装置３３に対して、再生スケジュール上で上記割込み再生用のコンテンツの再生が終了した時刻に再生設定されているコンテンツの再生を行わせる。
【００５７】
即ち、本実施形態の店舗システム３では、再生スケジュールを守るようにしている。より具体的には、店舗システム３では、割込み再生用のコンテンツの再生を再生スケジュールに割込ませる際、割込み再生用のコンテンツの再生を行うことによって再生スケジュールで設定されている各コンテンツの再生時間帯が後ろにずれていくのを防止すべく、割込み再生用のコンテンツの再生に要した時間分だけ再生スケジュールで設定されているコンテンツのデジタルサイネージ装置３３における再生時間を削るようにしている。
【００５８】
これにより、割込み再生用のコンテンツの再生を行うことによって再生スケジュールで設定されているコンテンツが営業日中に再生されなくなるような不都合が発生するのを防ぐことができる。
【００５９】
次に、デジタルサイネージ装置３３の機能的構成について図６を用いて説明する。図６は、デジタルサイネージ装置３３の機能的構成を示すブロック図である。
【００６０】
図６に示すように、デジタルサイネージ装置３３の制御部３３０は、ＣＰＵが、ＲＯＭなどに記憶されているプログラムをＲＡＭに展開して実行することにより、コンテンツ受信部３３０ａ、コンテンツ再生部３３０ｂとして機能する。
【００６１】
コンテンツ受信部３３０ａは、ストアサーバ装置３１から配信されたコンテンツを受信して記憶部（ＨＤＤ）３３５などの記憶部に記憶するものである。
【００６２】
コンテンツ再生部３３０ｂは、上記コンテンツ受信部３３０ａにより受信されて記憶部に記憶されたコンテンツを再生し、広告情報や案内情報などの各種情報を表示部３３１又は音声出力部３３２を用いて出力するものである。
【００６３】
次に、ストアサーバ装置３１における処理動作について図７を用いて説明する。図７は、ストアサーバ装置３１における処理動作の流れを示すフローチャートである。
【００６４】
図７に示すように、ストアサーバ装置３１では、データ入力部３１１ａが、カメラ３４の撮影により得られた画像データ又はマイク３５で集音された音声データを入力する（ステップＳ１）。
【００６５】
続いて、広告商品特定部３１１ｂが、ステップＳ１で入力した画像データ又は音声データから、割込み広告する商品又はサービスを特定する（ステップＳ２）。
【００６６】
続いて、コンテンツ生成部３１１ｃが、ステップＳ２で特定した商品又はサービスをデジタルサイネージ装置３３において割込み広告するための割込み再生用のコンテンツを生成する（ステップＳ３）。
【００６７】
その後、再生制御部３１１ｄが、ステップＳ３で生成された割込み再生用のコンテンツをデジタルサイネージ装置３３に配信して上記割込み再生用のコンテンツの割込み再生を行わせる（ステップＳ４）。
【００６８】
次に、デジタルサイネージ装置３３における処理動作について図８を用いて説明する。図８は、デジタルサイネージ装置３３における処理動作の流れを示すフローチャートである。
【００６９】
図８に示すように、デジタルサイネージ装置３３では、コンテンツ受信部３３０ａが、ストアサーバ装置３１から配信される割込み再生用のコンテンツを受信して、記憶部（ＨＤＤ）３３５に記憶する（ステップＳ１１）。
【００７０】
続いて、コンテンツ再生部３３０ｂが、ステップＳ１１において記憶部に記憶された割込み再生用のコンテンツを再生して割込み広告する商品又はサービスに関する広告情報を表示部３３１や音声出力部３３２を用いて報知する（ステップＳ１２）。
【００７１】
ここで、上記図７及び図８の具体的な処理の一例について図９〜図１１を用いて説明する。
【００７２】
図９は、売り場に設置されたカメラ３４の撮影で得られた画像データから広告する商品を特定し、デジタルサイネージ装置３３に画像データから特定した商品を広告するコンテンツの割込み再生を行わせる様子を説明する模式図である。また、図１０は、売り場に設置されたマイク３５で集音された音声データから広告する商品を特定し、デジタルサイネージ装置３３に音声データから特定した商品を広告するコンテンツの割込み再生を行わせる様子を説明する模式図である。
【００７３】
また、図１１は、予め設定された再生スケジュールで設定されているコンテンツの再生に対して割込み再生用のコンテンツの再生を割込ませた様子を説明するための模式図である。
【００７４】
最初に、図９を参照して、ストアサーバ装置３１がカメラ（１）３４から取得した複数のフレーム画像（撮影画像）から商品「刺身」が売り場（陳列棚）に補充されたと判定した場合の処理動作について説明する。なお、図９の例では、売り場において、商品「刺身」が陳列棚に１つも陳列されていない状態から複数の商品「刺身」が陳列（補充）された場合の処理を示している。
【００７５】
この場合、ストアサーバ装置３１では、まず、図７のステップＳ１において、データ入力部３１１ａが、カメラ（１）３４から売り場（特に、商品「刺身」が陳列される箇所を含む領域）を撮影した画像データを入力する。
【００７６】
そして、ステップＳ２において、広告商品特定部３１１ｂが、ステップＳ１で入力した画像データ、即ち、複数のフレーム画像（撮影画像）の差分が所定の閾値以上であることにより、売り場に商品が補充されたと判定し、上記カメラ（１）３４の識別情報に対応付けられた商品を示す情報と、撮影画像において差分が上記所定の閾値以上であった画像領域（即ち、画像が大幅に変化した画像領域）の画像認識により認識された１又は複数の商品候補とに基づいて売り場に補充された商品（刺身）を特定し、その特定した商品「刺身」を客に広告する商品として特定する。
【００７７】
その後、ステップＳ３において、コンテンツ生成部３１１ｃが、記憶部（ＨＤＤ）３１６に記憶されているコンテンツ（この場合、「刺身」を示す動画など）を用いて、ステップＳ２において特定された商品「刺身」を広告するための割込み再生用のコンテンツを生成する。
【００７８】
続いて、ステップＳ４において、再生制御部３１１ｄが、ステップＳ３において生成されたコンテンツ（この場合、商品「刺身」を広告するコンテンツ）をデジタルサイネージ装置３３に配信して割込み再生させる。
【００７９】
一方、デジタルサイネージ装置３３では、図８のステップＳ１１において、コンテンツ受信部３３０ａが、ストアサーバ装置３１から配信された割込み再生用のコンテンツ（商品「刺身」を広告するコンテンツ）を受信して記憶部（ＨＤＤ）３３５に記憶する。
【００８０】
続いて、ステップＳ１２において、コンテンツ再生部３３０ｂが、ステップＳ１１で記憶部（ＨＤＤ）３３５に記憶した割り込み再生用のコンテンツの割込み再生を行う。これにより、デジタルサイネージ装置３３では、図９に示すように、表示部３３１に、「刺身」を示す動画Ｍ１と、「切り立ての「刺身」を補充しました！！」というテロップＴ１とを含む広告情報Ｉ１を表示する。
【００８１】
次に、図１０を参照して、ストアサーバ装置３１がマイク（１）３５から取得した音声データから店員により商品「コロッケ」が紹介されたと判定した場合の処理動作について説明する。なお、図１０の例では、売り場において、店員が「揚げたてコロッケはいかがですか？」という掛け声を発した場合の処理を示している。
【００８２】
この場合、ストアサーバ装置３１では、まず、図７のステップＳ１において、データ入力部３１１ａが、マイク（１）３５から売り場で集音された音声データを入力する。
【００８３】
そして、ステップＳ２において、広告商品特定部３１１ｂが、ステップＳ１で入力した音声データに基づく音声を音声認識し、店員の音声に商品を示す音声（この場合、「コロッケ」という音声）が含まれていると判定した場合に、音声認識により店員によって客に紹介された商品「コロッケ」を特定し、その特定した商品「コロッケ」を客に広告する商品として特定する。
【００８４】
その後、ステップＳ３において、コンテンツ生成部３１１ｃが、記憶部（ＨＤＤ）３１６に記憶されているコンテンツ（この場合、「コロッケ」を示す動画など）を用いて、ステップＳ２において特定された商品「コロッケ」を広告するための割込み再生用のコンテンツを生成する。
【００８５】
続いて、ステップＳ４において、再生制御部３１１ｄが、ステップＳ３において生成されたコンテンツ（この場合、商品「コロッケ」を広告するコンテンツ）をデジタルサイネージ装置３３に配信して割込み再生させる。
【００８６】
一方、デジタルサイネージ装置３３では、図８のステップＳ１１において、コンテンツ受信部３３０ａが、ストアサーバ装置３１から配信された割込み再生用のコンテンツ（商品「コロッケ」を広告するコンテンツ）を受信して記憶部（ＨＤＤ）３３５に記憶する。
【００８７】
続いて、ステップＳ１２において、コンテンツ再生部３３０ｂが、ステップＳ１１で記憶部（ＨＤＤ）３３５に記憶した割り込み再生用のコンテンツの割込み再生を行う。これにより、デジタルサイネージ装置３３では、図１０に示すように、表示部３３１に、「コロッケ」を示す動画Ｍ２と、「コロッケ １コ５０円 揚げたてですよ！！」というテロップＴ２とを含む広告情報Ｉ２を表示する。
【００８８】
即ち、上記図９及び図１０に示すような処理動作によって、デジタルサイネージ装置３３においては、図１１に示すように、予め設定された再生スケジュールで設定されているコンテンツの再生に対して割込み再生用のコンテンツの再生を割込ますことができる。なお、図１１の例では、「１０：００」〜「１２：００」の間に、商品「刺身」を広告する動画Ｍ１のコンテンツを割込み再生し、「１３：００」〜「１５：００」の間に商品「コロッケ」を広告する動画Ｍ２のコンテンツを割込み再生する様子を示している。
【００８９】
以上説明した実施形態によれば、デジタルサイネージ装置３３を効果的に利用して商品の売上アップを図ることができる。
【００９０】
より具体的には、本実施形態によれば、店舗の売り場を撮影して得られた撮影画像から、売り場に補充された商品を特定し、その特定した商品を広告するコンテンツをデジタルサイネージ装置３３で割込み再生させるようにしたため、売り場に商品が補充された場合にいち早くその商品を客に広告することができる。
【００９１】
また、本実施形態によれば、店舗のバックヤードを撮影して得られた撮影画像から、店舗の売り場に補充する準備がされている商品（例えば、バックヤードでラベルが貼られている商品や、バックヤードで運搬車に載置されている商品など）を特定し、その特定した商品を広告するコンテンツをデジタルサイネージ装置３３で割込み再生させるようにしたため、売り場に補充する準備がされている商品をいち早く客に広告することができる。
【００９２】
また、本実施形態によれば、店舗の売り場で集音された店員の声（掛け声）から、店員が客に紹介したい商品又はサービスや、店員により客に紹介された商品又はサービスを特定し、その特定した商品又はサービスを広告するコンテンツをデジタルサイネージ装置３３で割込み再生させるようにしたため、店員が客に紹介したい商品又はサービスや、店員が紹介した商品又はサービスを効率良く客に広告することができる。
【００９３】
また、本実施形態によれば、店舗の店内で集音された広告放送から、店内放送で客に紹介された商品又はサービスを特定し、その特定した商品又はサービスを広告するコンテンツをデジタルサイネージ装置３３で割込み再生させるようにしたため、店内放送で客に紹介された商品又はサービスを効率良く客に広告することができる。
【００９４】
以上、例示的な実施形態に基づいて説明したが、本発明は、上記した実施形態により限定されるものではない。
【００９５】
例えば、上記した実施形態では、店舗に設置されたカメラ（撮影装置）３４の撮影により得られた撮影画像又は店舗に設置されたマイク（集音装置）３５で集音された音声のいずれかから客に広告する商品を特定する形態について説明したが、これに限定されず、上記撮影画像及び上記音声の少なくとも一つから広告する商品を特定すれば良く、例えば、上記撮影画像と上記音声の両者から広告する商品を特定するような形態とすることも可能である。
【００９６】
また、上記した実施形態では、複数のフレーム画像（撮影画像）の差分から売り場に商品が補充されたことを検知する形態について説明したが、これ以外の方法により商品が補充されたことを検知するようにしても良い。例えば、撮影画像の画像認識によって店員などの作業員が売り場の陳列棚付近で長時間作業している状態を認識したことにより商品が補充されたことを検知するような変形形態とすることも可能である。
【００９７】
更に、上記変形形態において、店員が携帯する情報処理端末（携帯電話機など）に設けられた加速度センサにより店員の動作を検知することで、店員の補充作業と客の商品を選ぶ作業とを高度に区別するように構成しても良い。
【００９８】
また、上記した実施形態では、特に説明していないが、例えば、カメラ３４から取得した画像データの画像認識により、例えば、商品が陳列されていないなどによって陳列棚の色つきの載置面が広い範囲（予め設定された面積以上の範囲など）で認識でき、売り場に補充された商品が空又は空に近い状態（陳列されている商品が１、２個など少ない状態）になったことを検知した場合に、デジタルサイネージ装置３３に対して当該割込み再生用のコンテンツの再生を中止させ、予め設定された再生スケジュールに従ったコンテンツの再生を行わせるように構成することも可能である。
【００９９】
また、上記した実施形態では、特に説明していないが、ストアサーバ装置３１において、略同時刻に複数の割込み再生用のコンテンツの割込み再生を行わせる必要が発生した場合には、予め各商品又は各サービスに付与された割込み再生の優先度の情報に基づいて、最も優先度の高い商品又はサービスを広告する割込み再生用のコンテンツの割込み再生をデジタルサイネージ装置３３に行わせるように構成することも可能である。なお、上記優先度の情報は、例えば、ストアサーバ装置３１において店舗側で任意に設定することが可能である。
【０１００】
また、上記した実施形態では、特に説明していないが、予め設定されている再生スケジュールにおける各コンテンツにおいて割込み再生用のコンテンツに優先して再生を行う必要があるコンテンツ（即ち、広告の重要度が高いコンテンツ）がある場合には、そのコンテンツに対して優先度の高いことを示すフラグを予め付与しておき、そのフラグが付与されたコンテンツの再生時間帯において割込み再生用のコンテンツの割込み再生を行う必要が発生した場合に、ストアサーバ装置３１が、上記割込み再生用のコンテンツの割込み再生を禁止するように構成しても良い。
【０１０１】
そして、上記フラグが付与されたコンテンツの再生を優先してデジタルサイネージ装置３３に行わせ、上記フラグが付与されたコンテンツの再生が終了した後に、ストアサーバ装置３１が、デジタルサイネージ装置３３に対して上記割込み再生用のコンテンツの割込み再生を行わせるように構成しても良い。なお、上記フラグは、例えば、ストアサーバ装置３１において店舗側で任意に設定することが可能である。
【０１０２】
また、上記した実施形態では、特に説明していないが、ストアサーバ装置３１の再生制御部３１１ｄは、広告商品特定部３１１ｂで特定された商品が陳列されている場所の付近に設置されているデジタルサイネージ装置３３にのみコンテンツ生成部３１１ｃが生成した割込み再生用のコンテンツを配信して上記割込み再生用のコンテンツの割込み再生を行わせるように構成することも可能である。
【０１０３】
また、上記した実施形態では、スーパーマーケットなどの店舗に設けられる店舗システムを含む店舗運営システム１に適用した場合について説明したが、これに限定されず、ショッピングモールなどの商業施設や、商店街や、地下街などに設置されるシステムに適用することも可能であり、その場合には、カメラ３４やマイク３５は、上記ショッピングモールなどの商業施設や、商店街や、地下街などに設置される。
【０１０４】
また、上記した実施形態のストアサーバ装置３１又はデジタルサイネージ装置３３で実行されるプログラムは、ＲＯＭなどの記憶部に予め組み込んで提供することが可能である。また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルでコンピュータで読み取り可能な記憶媒体に記憶して提供することが可能である。更に、上記プログラムは、インターネットなどのネットワーク経由で提供又は配布したりすることも可能である。
【０１０５】
また、上記した実施形態では、図７に示す処理をストアサーバ装置３１が実行する形態について説明したが、これに限定されず、本部サーバ２１が図５に示す機能構成部を有し、図７に示す処理を実行するような形態とすることも可能である。
【０１０６】
また、端末装置とサーバ装置とを含んだ店舗運営システムにより上記のような動作を実現することもできる。この場合、１つのサーバ装置が１つ又は複数のデジタルサイネージ装置における割込み広告を実現するための処理を行っても良いし、複数のサーバ装置が１つ又は複数のデジタルサイネージ装置における割込み広告を実現するための処理を分担して行っても良い。
【０１０７】
このような店舗運営システムの実現には、クラウドコンピューティングを利用できる。より具体的には、Software as a Service（ＳａａＳ）と称されるソフトウェア提供形態が適する。
【０１０８】
図１２は、クラウドシステムを利用する店舗運営システム１００の構成を示す図である。図１２に示すように、店舗運営システム１００は、クラウド１１０、店舗Ａの店舗システム３Ａ、店舗Ｂの店舗システム３Ｂなどをクラウド１１０へ接続する複数の通信ネットワークＮを含む。なお、店舗システム３及び通信ネットワークＮは、それぞれ１つのみでも良い。
【０１０９】
クラウド１１０は、さらに複数のサーバ装置（情報処理装置）１１１を含む。これら複数のサーバ装置１１１は互いに通信可能に構成される。ただしサーバ装置１１１は、１つのみであっても良い。
【０１１０】
店舗システム３のデジタルサイネージ装置３３は、通信ネットワークＮを介してクラウド１１０と通信可能である。通信ネットワークＮとしては、インターネット、プライベートネットワーク、次世代ネットワーク（ＮＧＮ）、あるいはモバイルネットワークなどを適宜に利用できる。また、店舗運営システム１００では、図５に示した各機能構成部をクラウド１１０で実現している。
【０１１１】
また、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１１２】
１ 店舗運営システム
２ 本部システム
２１ 本部サーバ（情報処理装置）
３ 店舗システム
３１ ストアサーバ装置（情報処理装置）
３２ ＰＯＳ端末
３３ デジタルサイネージ装置
３４ カメラ（撮影装置）
３５ マイク（集音装置）
３３１ 表示部
３３２ 音声出力部
Ｎ 通信ネットワーク
３１１ 制御部
３１１ａ データ入力部（入力手段）
３１１ｂ 広告商品特定部（特定手段）
３１１ｃ コンテンツ生成部（コンテンツ生成手段）
３１１ｄ 再生制御部（制御手段）
３３０ａ コンテンツ受信部
３３０ｂ コンテンツ再生部
【先行技術文献】
【特許文献】
【０１１３】
【特許文献１】特開２００７−２８６９００号公報
【特許請求の範囲】
【請求項１】
店舗などの所定の場所で得られた撮影画像及び前記場所で集音された音声の少なくとも一つから広告する商品又はサービスを特定する特定手段と、
予め設定された再生スケジュールに従ってコンテンツを再生するデジタルサイネージ装置に対して、前記特定手段で特定された商品又はサービスを広告するコンテンツの割込み再生を行わせる制御手段と、
を備える情報処理装置。
【請求項２】
前記特定手段は、前記撮影画像から前記広告する商品を特定する場合、店舗の売り場を撮影して得られた撮影画像から、前記広告する商品として前記売り場に補充された商品を特定する、請求項１に記載の情報処理装置。
【請求項３】
前記特定手段は、前記撮影画像から前記広告する商品を特定する場合、店舗のバックヤードを撮影して得られた撮影画像から、前記広告する商品として前記店舗の売り場に補充する準備がされている商品を特定する、請求項１に記載の情報処理装置。
【請求項４】
前記特定手段は、前記集音された音声から前記広告する商品又はサービスを特定する場合、店舗の売り場で集音された店員の声から、前記広告する商品又はサービスとして店員が客に紹介したい商品又はサービスを特定する、請求項１に記載の情報処理装置。
【請求項５】
前記特定手段は、前記集音された音声から前記広告する商品又はサービスを特定する場合、店舗の店内で集音された店内放送から、前記広告する商品又はサービスとして前記店内放送で客に紹介された商品又はサービスを特定する、請求項１に記載の情報処理装置。
【請求項６】
コンピュータを、
店舗などの所定の場所で得られた撮影画像及び前記場所で集音された音声の少なくとも一つから広告する商品又はサービスを特定する特定手段と、
予め設定された再生スケジュールに従ってコンテンツを再生するデジタルサイネージ装置に対して、前記特定手段で特定された商品又はサービスを広告するコンテンツの割込み再生を行わせる制御手段と、
して機能させるプログラム。
【請求項１】
店舗などの所定の場所で得られた撮影画像及び前記場所で集音された音声の少なくとも一つから広告する商品又はサービスを特定する特定手段と、
予め設定された再生スケジュールに従ってコンテンツを再生するデジタルサイネージ装置に対して、前記特定手段で特定された商品又はサービスを広告するコンテンツの割込み再生を行わせる制御手段と、
を備える情報処理装置。
【請求項２】
前記特定手段は、前記撮影画像から前記広告する商品を特定する場合、店舗の売り場を撮影して得られた撮影画像から、前記広告する商品として前記売り場に補充された商品を特定する、請求項１に記載の情報処理装置。
【請求項３】
前記特定手段は、前記撮影画像から前記広告する商品を特定する場合、店舗のバックヤードを撮影して得られた撮影画像から、前記広告する商品として前記店舗の売り場に補充する準備がされている商品を特定する、請求項１に記載の情報処理装置。
【請求項４】
前記特定手段は、前記集音された音声から前記広告する商品又はサービスを特定する場合、店舗の売り場で集音された店員の声から、前記広告する商品又はサービスとして店員が客に紹介したい商品又はサービスを特定する、請求項１に記載の情報処理装置。
【請求項５】
前記特定手段は、前記集音された音声から前記広告する商品又はサービスを特定する場合、店舗の店内で集音された店内放送から、前記広告する商品又はサービスとして前記店内放送で客に紹介された商品又はサービスを特定する、請求項１に記載の情報処理装置。
【請求項６】
コンピュータを、
店舗などの所定の場所で得られた撮影画像及び前記場所で集音された音声の少なくとも一つから広告する商品又はサービスを特定する特定手段と、
予め設定された再生スケジュールに従ってコンテンツを再生するデジタルサイネージ装置に対して、前記特定手段で特定された商品又はサービスを広告するコンテンツの割込み再生を行わせる制御手段と、
して機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−１１４０４３（Ｐ２０１３−１１４０４３Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６０３６７（Ｐ２０１１−２６０３６７）
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
[ Back to top ]