映像情報生成装置
【課題】ユーザ自ら手を煩わせて撮影、更新作業を行う必要なく、適切な商品情報映像を生成する。
【解決手段】検出部１２２は、対象となる商品を含む撮影映像の時間的に変化した領域を抽出し、その抽出領域内の商品の商品識別情報及び商品に関する設定情報の少なくとも一方の情報の更新を検出する。画像抽出部１２３は、検出部１２２により更新が検出された情報に係る商品を含む所定の範囲の静止画データを、撮影映像の一画像単位の画像データから抽出画像データとして抽出する。映像情報生成部１２４は、抽出画像データを画面内の配置領域情報を備えるテンプレートに適用し、テンプレートが示す所定の配置領域に抽出画像データが配置された映像情報を生成する。
【解決手段】検出部１２２は、対象となる商品を含む撮影映像の時間的に変化した領域を抽出し、その抽出領域内の商品の商品識別情報及び商品に関する設定情報の少なくとも一方の情報の更新を検出する。画像抽出部１２３は、検出部１２２により更新が検出された情報に係る商品を含む所定の範囲の静止画データを、撮影映像の一画像単位の画像データから抽出画像データとして抽出する。映像情報生成部１２４は、抽出画像データを画面内の配置領域情報を備えるテンプレートに適用し、テンプレートが示す所定の配置領域に抽出画像データが配置された映像情報を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像情報生成装置に係り、例えば調理済食品のように品揃えや鮮度が短時間で変化する商品を扱う小売店舗の店頭等における販促用商品情報映像コンテンツの映像情報生成装置に関する。
【背景技術】
【０００２】
ユーザが長時間の録画映像から所望の短時間の映像区間を選択し編集するツールは多く公開されている。また、テンプレートに写真を当てはめて表示効果を付けた映像を作成するツールも公開されている。特許文献１には、スライドショーのデータ作成方法として、ユーザ画像データの特徴量から画像データを分類しシーンテンプレートの領域と対応付けてスライドショーデータを構成する方法が開示されている。
【０００３】
また、映像の編集方法として、自動で撮影データや音声データを編集して要約映像を生成する技術が各種提案されている。撮影映像から目的に応じたショートムービーを作成する方法として、例えば特許文献２には、ユーザのカメラ操作を推定して撮影時のユーザ意図に合わせたダイジェストを作成する方法が開示されている。また、特許文献３には、撮影時にガイド表示に沿って撮影することでダイジェストムービーを生成する方法が開示されている。
【０００４】
更に、デジタルサイネージのコンテンツを携帯情報端末等を用いて更新する方法が特許文献４に開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−３９８０７号公報
【特許文献２】特開平６−１６５１０７号公報
【特許文献３】特開２００９−２５３９６３号公報
【特許文献４】特開２００２−１８３１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ユーザ自ら映像編集するのは手間が掛かり頻繁に更新するのが困難である。更新頻度が低い場合、時間経過によりコンテンツが陳腐化し、顧客に飽きられてしまう。また、調理済食品のように経時変化や商品の入替が頻繁に起こる商品の場合、提示映像と実際の商品の現況が著しく異なると、情報としての価値が乏しく、顧客の信頼を損ねる恐れがある。
【０００７】
特許文献１記載の発明のように画像の特徴量を検出してテンプレートに配置する方法では、外観が類似の商品が多く存在する場合に、目的の商品を適切に分類抽出し配置することは困難である。また、一つの商品でも製造からの経過時間など状況により配置や表示情報を変えるべき場合に対応できない。
【０００８】
また、特許文献２や特許文献３に記載の発明では、いずれもユーザが目的に合わせた撮影操作を行うことを前提としており、自動で撮影した映像からリアルタイムに提示映像を更新することは想定されていない。ユーザがビデオ作成を意識してその都度撮影操作を行うという手間が掛かる。
【０００９】
更に、特許文献４記載の発明のような携帯情報端末等から更新する方法でも、撮影、更新をユーザ自ら行わねばならず、小まめに更新しようとすると、手間が掛かる。食品などを扱う店舗の場合は手洗い消毒など衛生管理上の手間も生じる。
【００１０】
本発明は以上の点に鑑みなされたもので、ユーザ自ら手を煩わせて撮影、更新作業を行う必要なく、適切な商品情報映像を生成する映像情報生成装置を提供することを目的とする。
【００１１】
また、本発明の他の目的は、商品の設定情報を明確に顧客に伝え、また、顧客が商品情報を容易に入手することができる映像情報を生成する映像情報生成装置を提供することにある。
【００１２】
更にまた、本発明の他の目的は、低コストで様々な商品に対応でき、状況に応じた商品情報映像の生成ができる映像情報生成装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、本発明の映像情報生成装置は、対象となる商品を含む撮影映像の時間的に変化した領域を抽出し、その抽出領域内の商品の商品識別情報及び商品に関する設定情報の少なくとも一方の情報の更新を検出する検出手段と、検出手段により更新が検出された情報に係る商品を含む所定の範囲の静止画データを、撮影映像の一画像単位の画像データから抽出画像データとして抽出する画像抽出手段と、抽出画像データを画面内の配置領域情報を備えるテンプレートに適用し、テンプレートが示す所定の配置領域に抽出画像データが配置された映像情報を生成する映像情報生成手段と、を有することを特徴とする。
【００１４】
また、上記の目的を達成するため、本発明の映像情報生成装置は、テンプレートの備える配置領域情報を設定情報と対応付けた第１のテーブルを保持する第１の保持手段を更に有し、検出手段は、商品に添付された設定情報を示す第１のタグの更新を撮像映像から検出し、映像情報生成手段は、第１の保持手段から読み出された第１のテーブルと、検出手段により更新が検出された第１のタグが示す設定情報とに基づき、第１のタグが示す設定情報が、第１のテーブルで対応付けられたテンプレートの配置領域に配置され、かつ、テンプレートの所定の配置領域に抽出画像データが配置された映像情報を生成することを特徴とする。
【００１５】
また、上記の目的を達成するため、本発明の映像情報生成装置は、テンプレートの備える配置領域情報を商品識別情報と対応付けた第２のテーブルを保持する第２の保持手段を更に有し、検出手段は、商品に添付された商品識別情報を示す第２のタグの更新を撮像映像から検出し、映像情報生成手段は、第２の保持手段から読み出された第２のテーブルと、検出手段により更新が検出された第２のタグが示す商品識別情報とに基づき、第２のタグが示す商品識別情報に対応した少なくとも商品名を含む商品情報が、第２のテーブルで対応付けられたテンプレートの配置領域に配置され、かつ、テンプレートの所定の配置領域に抽出画像データが配置された映像情報を生成することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、ユーザ自ら手を煩わせて撮影、更新作業を行う必要なく、適切な商品情報映像を生成できる。また、本発明によれば、商品の設定情報を明確に顧客に伝え、また、顧客が商品情報を容易に入手することが可能な映像情報を生成できる。更に、本発明によれば、低コストで様々な商品に対応でき、状況に応じた商品情報映像の生成ができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の映像情報生成装置の第１の実施の形態の概略構成図である。
【図２】本発明の映像情報生成装置の第１の実施の形態のブロック図である。
【図３】図１及び図２に示す本発明の映像情報生成装置の動作説明用フローチャートである。
【図４】変化前の撮影画像の一例を示す図である。
【図５】変化後の撮影画像の一例を示す図である。
【図６】検出タグ情報の登録例の一例を示す図である。
【図７】更新後の検出タグ情報の登録例の一例を示す図である。
【図８】図２中の画像抽出部による画像抽出例を示す図である。
【図９】生成された映像情報の画面の一例を示す図である。
【図１０】図９に相当するテンプレートの商品配置と設定情報分類の対応例を示す図である。
【図１１】図１０のテンプレートに図６の検出タグ登録テーブルに登録された商品を適用した例を示す図である。
【図１２】図１１のテーブルの更新後のテーブル例を示す図である。
【図１３】本発明の映像情報生成装置の第２の実施の形態における生成された映像情報の画面の一例を示す図である。
【発明を実施するための形態】
【００１８】
次に、本発明の実施の形態について図面と共に詳細に説明する。
【００１９】
（第１の実施の形態）
図１は、本発明になる映像情報生成装置の第１の実施の形態の概略構成図を示す。本実施の形態の映像情報生成装置１０は、カメラ１１、映像記録編集装置１２及び映像再生提示装置１３を有する。カメラ１１は店舗（ここでは、一例としてベーカリー）内の上部で、店舗内の商品棚１４を見渡せる位置に設置される。映像再生提示装置１３は、顧客の見易い高さに配置された画面を有する移動可能な筐体に収められ、店舗入口付近の、顧客が見易い位置に設置される。
【００２０】
図２は、本発明になる映像情報生成装置の第１の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付してある。図２において、映像情報生成装置１０内の映像記録編集装置１２は、映像情報入力部１２１、検出部１２２、画像抽出部１２３、映像情報生成部１２４、データ記録部１２５、記録媒体１２６、データ読出部１２７、映像更新情報出力部１２８、及び制御部１２９からなる。映像情報生成装置１０内の映像再生提示装置１３は、映像入力保存部１３１、データ記録部１３２、記録媒体１３３、データ読出部１３４、映像再生提示部１３５、及び制御部１３６からなる。図２中の矢印はデータの流れを表す。制御部１２９及び制御部１３６は映像記録編集装置１２及び映像再生提示装置１３を構成する各部の処理を制御する。
【００２１】
図２において、カメラ１１により撮影して得られた対象となる商品を含む映像情報はフレーム毎の画像データとして映像情報入力部１２１に入力される。映像情報入力部１２１は、カメラ１１から入力される画像データを検出部１２２及び画像抽出部１２３に送る。検出部１２２は、画像データの時間的に変化した領域を抽出し、その抽出領域内の商品識別情報又は商品に関する設定情報の更新を検出し、更新されていれば、更新された商品の商品識別情報及び商品に関する設定情報を出力する。なお、検出部１２２は、画像データを基に商品識別情報及び商品に関する設定情報のいずれか一方の情報の更新を検出してもよい。
【００２２】
画像抽出部１２３は、検出部１２２から商品識別情報及び商品に関する設定情報の更新情報が入力されると、撮影映像のフレーム（又はフィールド）の一画像単位の画像データから検出された商品を含む所定範囲の静止画データを抽出し、その抽出した静止画データを抽出画像データとしてデータ記録部１２５を介して記録媒体１２６に記録する。
【００２３】
記録媒体１２６には予め店舗の雰囲気や販売形態に合わせて用意したテンプレートに関するテンプレート情報を記録しておく。ここで、テンプレートとは、映像や文字列を配置する基となるひな形の情報のことである。なお、テンプレート情報には、映像上への商品写真や商品情報の配置情報と商品に関する設定情報との対応付けテーブルを含むものとする。
【００２４】
映像情報生成部１２４は、検出部１２２から商品識別情報および商品に関する設定情報の更新情報が入力されると、データ読出部１２７を介して記録媒体１２６から、テンプレート情報、商品情報提供映像情報、及び抽出画像データを読み出し、商品に関する設定情報に対応付けられたテンプレート上の配置情報に基づき、抽出画像データをテンプレートの所定位置に配置した商品情報提供映像を生成し、生成した商品情報提供映像をデータ記録部１２５を介して記録媒体１２６に保存する。映像更新情報出力部１２８は、データ読出部１２７を介して記録媒体１２６から商品情報提供映像を読み出し、映像再生提示装置１３へ出力する。
【００２５】
映像再生提示装置１３の映像入力保存部１３１では、映像記録編集装置１２から入力された商品情報提供映像をデータ記録部１３２を介して記録媒体１３３に記録する。映像再生提示部１３５は、データ読出部１３４を介して記録媒体１３３から商品情報提供映像を読み出し、映像情報を再生提示する。
【００２６】
次に、図２の本実施形態の映像情報提示装置１０の処理の流れについて、図３のフローチャートを併せ参照して説明する。
【００２７】
まず、映像情報生成装置１０を起動すると、カメラ１１、映像記録編集装置１２及び映像再生提示装置１３がそれぞれ起動される。カメラ１１が起動されると、カメラ１１は内部パラメータの初期化後撮影を開始し、撮影した映像情報をフレーム毎の画像データとして映像記録編集装置１２に出力する。
【００２８】
映像記録編集装置１２が起動されると、映像記録編集装置１２内の制御部１２９は内部パラメータの初期化を行い(ステップＳ１０１)、映像情報入力部１２１による映像情報入力処理(ステップＳ１０２)を開始させる。ステップＳ１０２の映像情報入力処理では、映像情報入力部１２１がカメラ１１からのフレーム毎の画像データを保存する。
【００２９】
続いて、映像情報入力部１２１からの画像データを基に、商品識別情報又は商品に関する設定情報の更新を検出する商品情報更新検出処理を行う(ステップＳ１０３)。商品情報更新検出処理により、商品情報の更新を検出した場合は (ステップＳ１０４-１)、画像抽出部１２３が商品画像抽出処理(ステップＳ１０５)を行う。一方、制御部１２９は商品情報の更新が無いことを検出したときは(ステップＳ１０４-２)、終了要求が有れば(ステップＳ１０８-１)、終了処理(ステップＳ１０９)に進む。終了要求が無ければ(ステップＳ１０８-２)、映像情報入力(ステップＳ１０２)に戻り処理を継続する。
【００３０】
ステップＳ１０５の商品画像抽出処理では、画像抽出部１２３が検出部１２２から供給される商品識別情報及び商品に関する設定情報の更新情報に基づいて、映像情報入力部１２１から供給される画像データのフレームから更新が検出された該当する商品の周辺領域を抽出し、その抽出した商品の周辺領域の静止画の画像データを抽出画像データとしてデータ記録部１２５を介して記録媒体１２６に保存する。
【００３１】
続いて、映像情報生成部１２４が検出部１２２から供給される商品識別情報及び商品に関する設定情報の更新情報に基づいて映像情報生成処理を行う（ステップＳ１０６）。このステップＳ１０６の映像情報生成処理では、映像情報生成部１２４がデータ読出部１２７を介して記録媒体１２６から、テンプレート情報、商品情報提供映像情報、及び抽出画像データを読み出し、商品に関する設定情報に対応付けられたテンプレート上の配置情報に基づき、抽出画像データをテンプレートの所定位置に配置した商品情報提供映像を生成し、生成した商品情報提供映像をデータ記録部１２５を介して記録媒体１２６に保存する。
【００３２】
続いて、映像更新情報出力部１２８により、データ読出部１２７を介して記録媒体１２６から商品情報提供映像１４９を読み出し、映像再生提示装置１３へ出力する映像情報出力処理が行われる（ステップＳ１０７）。続いて、制御部１２９は、終了要求があれば(ステップＳ１０８-１)、終了処理(ステップＳ１０９)に進み、終了要求が無ければ(ステップＳ１０８-２)、ステップＳ１０２の映像情報入力処理に戻り処理を継続する。制御部１２９は、ステップＳ１０９の終了処理では映像記録編集装置１２をシャットダウンする。
【００３３】
次に、映像再生提示装置１３が起動されると、制御部１３６は内部パラメータの初期化を行って最新映像情報１５０に初期映像をセットした後(ステップＳ１１１)、映像入力保存部１３１を起動して映像入力保存処理（ステップＳ１１０１）を行わせると共に、映像再生提示部１３５を起動して映像再生提示処理(ステップＳ１１０２)を行わせる。
【００３４】
ステップＳ１１０１の映像入力保存処理では、映像入力保存部１３１は映像記録編集装置１２からの映像情報入力が有ればデータを受け取り(ステップＳ１１２)、最新映像情報１５０としてデータ記録部１３２を介して記録媒体１３３に保存する(ステップＳ１１３)。制御部１３６は終了要求があれば(ステップＳ１１３-１)、終了処理(ステップＳ１１９)へ進む。終了要求が無ければ(ステップＳ１１３-２)、ステップＳ１１２の映像情報入力処理に戻って、ステップＳ１１０１の映像入力保存処理を継続させる。
【００３５】
一方、ステップＳ１１０２の映像再生提示処理では、映像再生提示部１３５はまずデータ読出部１３４を通して記録媒体１３３から最新映像情報１５０を読出し、その最新映像情報１５０を参照して更新されていたら、それを再生する映像情報として設定する(ステップＳ１１５)。続いて、映像再生提示部１３５は設定した再生映像情報を読み出し(ステップＳ１１６)、その設定した再生映像情報を再生提示する(ステップＳ１１７)。続いて、制御部１３６は終了要求があれば(ステップＳ１１８-１)、終了処理(ステップＳ１１９)へ進み、終了要求が無ければ(ステップＳ１１８-２)、映像再生提示処理(ステップＳ１１０２)を継続する。
【００３６】
ステップＳ１１０１の映像入力保存処理とステップＳ１１０２の映像入力再生提示処理とは、終了要求を受けるまで繰り返される。ステップＳ１１０１の映像入力保存処理とステップＳ１１０２の映像入力再生提示処理とが終了すれば、制御部１３６は終了処理を行い映像再生提示装置１３をシャットダウンする終了処理を行う(ステップＳ１１９)。
【００３７】
次に、本実施の形態の第１の要部の処理である、ステップＳ１０３の商品情報更新検出処理について、更に具体的かつ詳細に説明する。
【００３８】
ステップＳ１０３の商品情報更新検出処理では、検出部１２２により、映像情報入力部１２１がフレーム保存した時系列の画像データから差分を求め画像の変化を検出する。商品情報の変更に相当する有意な変化領域を検出すれば、商品識別タグおよび商品に関する設定情報タグを検出する。例えば、カメラ１１が商品棚１４を撮影して得られた画像データにおいて、図４に示す画像から図５に示す画像へと変化した場合、図５に示す画像中の変化領域５１を対象としてタグの検出を行い、商品に関する設定情報タグ(以下設定タグと記す)５２、及び商品識別タグ５３を検出する。
【００３９】
ここでは、商品識別タグ５３は商品名と価格を記載したプレートである。設定タグ５２は「焼き立て！」「本日のおススメ」「お買得」の何れかが記載されたプレートである。設定タグ５２は顧客の目に止まり易いよう商品識別タグ５３とは異なる配色としている。画像からの設定タグ５２及び商品識別タグ５３の検出は、予め店舗で使用するタグを画像登録しておきパターンマッチングで検出することができる。また、公知のよりロバスト性の高い画像認識手法を用いてもよい。検出した設定タグ５２及び商品識別タグ５３のタグ情報は設定情報の分類毎に規定した所定数の範囲内でテーブルに登録する。過去に検出し登録されている商品を再度検出した場合はタグ情報を更新し、最新の情報を登録するとともに情報が重複しないようにする。
【００４０】
図６は、検出タグ情報の登録例を示す。図６に示すように、検出タグ情報は、検出タグのＩＤと、設定分類のＩＤと、設定情報分類（「焼き立て」「本日のおススメ」「お買得」の何れか）と、設定タグ５２のタグ情報と、商品識別タグ５３のタグ情報と、検出時刻と、抽出画像のＩＤとが対応づけて登録された情報である。
【００４１】
図６に示すように、検出タグ情報が登録された状態で、新たに設定タグ「焼き立て」と商品識別タグ「十勝あんぱん」とを検出した場合は、設定情報分類「焼き立て」に属する検出タグの中で最も古く登録された検出タグＩＤ３の商品識別タグ「海軍カレーパン」が削除され、図７に示すように、新しい商品識別タグ「十勝あんぱん」が登録される。
【００４２】
次に、本実施の形態の第２の要部の処理である、ステップＳ１０５の商品画像抽出処理について、更に具体的かつ詳細に説明する。
【００４３】
ステップＳ１０５の商品画像抽出処理では、画像抽出部１２３が、検出部１２２において新たに検出された設定タグ５２及び商品識別タグ５３のタグ情報が検出部１２２から入力されると、画像データから入力タグ情報に対応する商品画像領域を抽出し保存する。商品画像領域はタグ情報の検出領域を基に相対的な位置及びサイズを設定して抽出する。
【００４４】
図８は、画像抽出部１２３による画像抽出例を示す。図８は商品トレイの幅と同程度の幅にタグを設置した例である。図８において、タグ検出領域８１は設定タグ５２及び商品識別タグ５３に基づいて検出された領域である。画像抽出部１２３は、タグ検出領域８１を検出すると共に、このタグ検出領域８１に対応する抽出画像領域８２の商品画像を抽出する。
【００４５】
図８の画面の左上座標を(0,0)、右下座標を(W,H)とし、左上座標(x1,y1)と右下座礁(x2,y2)で表わされる領域をタグ検出領域８１とすると、抽出画像領域８２は、左上座標(xo,yo)及び、サイズ(w,h)とすると、次式で表わされる。
【００４６】
ｗ＝（ｘ2−ｘ1）*α
ｈ＝（ｘ2−ｘ1）*α*３/４
ｘ0＝（（１＋α）＊ｘ1＋（１−α）＊ｘ2）/２
ｙ0＝ｙ1−（ｘ2−ｘ1）＊α＊３/４
但し、上式中、αは係数である。
【００４７】
商品紹介には商品に寄った画像が好ましいため、ここではこの係数αを小さく設定し、例えば６０％としている。抽出画像情報は検出したタグと対応付けて保存される(図６、図７)。
【００４８】
次に、本実施の形態の第３の要部の処理である、ステップＳ１０６の映像情報生成処理について、更に具体的かつ詳細に説明する。
【００４９】
ステップＳ１０６の映像情報生成処理では、映像情報生成部１２４が、更新された商品識別タグ及び設定タグの情報を基に、商品情報提供映像を生成し記録媒体１２６に保存する。映像情報の生成においては、前回のステップＳ１０６の映像情報生成処理で生成した映像情報を用い、更新された商品情報に対応する部分を更新することで、最新の商品情報に即した情報提供映像を随時提示できるようにする。なお、新規に商品情報提供映像を生成する場合は、予め設定された初期値の素材を用いて生成する。
【００５０】
映像情報生成部１２４には、商品識別タグ及び設定タグの更新情報が入力される。映像情報生成部１２４は、データ読出部１２７を介して記録媒体１２６から、テンプレート情報、商品情報提供映像情報、更新されたタグに対応する抽出画像データを読み出す。映像情報生成部１２４は、設定タグに対応付けられたテンプレート上の配置情報に基づき、抽出画像データをテンプレートの所定の画像配置位置に配置し、商品情報タグに対応付けられた商品名の文字列をテンプレートの所定の文字列配置位置に配置して商品情報提供映像を生成する。すなわち、設定タグに対応付けられたテンプレート上の配置位置に該当する画像データ及び文字列データを更新された商品の画像データ及び文字列データに差し替える。映像情報生成部１２４は、複数の商品画像をスクロール表示する場合のように、同じ配置位置に該当する商品が複数あるテンプレートの場合は、最も更新が古い商品のデータと差替える。映像情報生成部１２４は、生成した映像情報をデータ記録部１２５を介して記録媒体１２６に保存する。
【００５１】
図９は、生成された映像情報の画面例を示す。図１０は、図９に相当するテンプレートの商品配置と設定情報分類の対応例を示す。図１１は、図１０のテンプレートに図６の検出タグ登録テーブルに登録された商品を適用した例を示す。
【００５２】
図９に示す配置領域９１は、図１０及び図１１の配置領域「１−（１）」、「１−（２）」、「１−（３）」のうちのいずれか一つの配置領域の画像情報が表示される画像領域１と文字列情報が表示される文字列領域１とからなり、３種類の「焼き立て」商品画像と文字列情報とが順次スクロール表示される。
【００５３】
また、図９に示す配置領域９２は、図１０及び図１１の配置領域「２−（１）」、「２−（２）」の２種類の「おススメ」商品の画像情報が左右に表示される画像領域２と文字列情報が表示される文字列領域２とからなる。また、図９に示す配置領域９３は、図１０及び図１１の配置領域「３」の１種類の「お買得」商品の画像情報が表示される画像領域３と文字列情報が表示される文字列領域３とからなる。以上の商品の画像情報は図１１の画像ＩＤで特定される画像情報である。また、文字列情報は、図１１の商品識別タグの文字列である。
【００５４】
なお、新たに設定タグ「焼き立て」、商品識別タグ「十勝あんぱん」が検出された場合は、図１１のテーブル中の設定情報分類「焼き立て」に属する商品の中で最も古く登録された商品ＩＤ３の「海軍カレーパン」が削除され、図１２に示すように代わりにＩＤ３に「十勝あんぱん」が登録されたテーブルに更新される。この結果、商品情報提供映像の配置領域９１の３枚目に「十勝あんぱん」が表示されるようになる。
【００５５】
上記の手順で、商品識別タグ及び設定タグの更新を検出して商品情報提供映像を更新することにより、順次、適切な商品情報を提示することができる。すなわち、焼き上がったパンを商品棚に置くと、自動的に、店舗のサイネージモニタ上の映像で焼立て商品表示領域が更新される。
【００５６】
このように、本実施の形態の映像情報生成装置１０によれば、撮影映像から撮像対象の商品の変更を検出した時点で自動的に商品情報提供映像を更新することにより、ユーザ自ら手を煩わせて撮影、更新作業を行う必要なく、適切な商品情報映像を顧客に常時提示できる。
【００５７】
また、本実施の形態の映像情報生成装置１０によれば、商品の設定情報に応じて商品画像を適切な位置に配置した映像情報や、商品識別情報に応じて商品識別情報が示す少なくとも商品名を含む商品情報を適切な位置に配置した映像情報を提示することにより、商品の設定情報を明確に顧客に伝えることができ、また、顧客が商品情報を容易に入手することができ、顧客が購入検討をし易くできる。
【００５８】
更に、本実施の形態の映像情報生成装置１０によれば、商品陳列に使用するタグを用いることで、低コストで様々な商品に対応でき、状況に応じた商品情報映像の生成及び提示ができる。
【００５９】
（第２の実施の形態）
次に、本発明になる映像情報生成装置の第２の実施の形態について説明する。
【００６０】
本実施の形態の映像情報生成装置の構成は図１乃至図３と略同様である。ただし、本実施の形態では、記録媒体１２６には予め店舗の雰囲気や販売形態に合わせて用意したテンプレートに関するテンプレート情報に加えて、更に、商品識別情報に対応して、商品情報を掲載しているＵＲＬ(uniform resource locator)の２次元バーコード画像情報が登録されている。
【００６１】
これにより、本実施の形態では、映像情報生成部１２４は記録媒体１２６からテンプレート情報、商品情報提供映像情報、抽出画像データ、及び２次元バーコード画像情報を読み出し、商品に関する設定情報に対応付けられたテンプレート上の配置情報に基づき、抽出画像データをテンプレートの所定位置に配置し、かつ、商品識別情報に対応した２次元バーコード情報をテンプレートの所定のバーコード配置位置に配置した商品情報提供映像を生成する。
【００６２】
図１３は、本実施の形態の商品情報提供映像の画面例を示す。図１３に示す配置領域９５は、画像情報が表示される画像領域１と、文字列情報が表示される文字列領域１と、バーコード情報が表示されるバーコード領域１とからなり、「焼き立て」商品画像と文字列情報とバーコード情報とが順次スクロール表示される。
【００６３】
また、図１３に示す配置領域９６は、２種類の「おススメ」商品の画像情報が左右に表示される画像領域２と、文字列情報が表示される文字列領域２と、バーコード情報が表示されるバーコード領域２とからなる。また、図１３に示す配置領域９７は、「お買得」商品の画像情報が表示される画像領域３と、文字列情報が表示される文字列領域３と、バーコード情報が表示されるバーコード領域３とからなる。以上の商品の画像情報は図１１の画像ＩＤで特定される画像情報である。また、文字列情報は、図１１の商品識別タグの文字列である。
【００６４】
本実施の形態によれば、来店顧客は商品情報提供映像の中で興味ある商品の詳細な商品情報をバーコード情報を利用することで手軽に参照することができ、購買意欲が高まることが期待される。
【００６５】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば以下の種々の変形例も包含するものである。例えば、商品の設定情報を文字列情報のテンプレート配置と対応付けて、所定の領域に商品の設定情報に関する文字情報を配置するようにしてもよい。例えば、おすすめ商品領域の設定情報に「本日のおすすめ」、「今週のおすすめ」などの表示文字情報を使い分けることにより、より汎用性高くテンプレートを使用することができる。
【００６６】
また、映像情報生成装置は報知手段を備え、商品情報更新検出時に検出内容を報知するようにしてもよい。例えば、「ただいまチョコクロワッサンが焼き上がりました」のように、報知することで、店員が検出更新されたことを確認できるとともに、顧客にも最新の商品情報を知らせ購買を促進することができる。
【００６７】
更に、映像記録編集装置はカメラのパラメータを制御し、検出情報に基づき変化領域の商品画像をズーム撮影するようにしてもよい。この場合、ズーム制御により、広範囲の商品情報を検出するとともに、高解像度の商品画像を抽出することができる。また、更に、上記の商品は食品を例にとって説明したが、品揃えや鮮度が短時間で変化する商品であれば生花その他の商品にも本発明を適用することができる。
【符号の説明】
【００６８】
１０ 映像情報生成装置
１１ カメラ
１２ 映像記録編集装置
１３ 映像再生提示装置
１４ 商品棚
５１ 変化領域
５２ 商品に関する設定情報タグ（設定タグ）
５３ 商品識別タグ
８１ タグ検出領域
８２ 抽出画像領域
９１〜９３、９５〜９７ 配置領域
１２１ 映像情報入力部
１２２ 検出部
１２３ 画像抽出部
１２４ 映像情報生成部
１２５、１３２ データ記録部
１２６、１３３ 記録媒体
１２７、１３４ データ読出部
１２８ 映像更新情報出力部
１２９、１３６ 制御部
１３１ 映像入力保存部
１３５ 映像再生提示部
【技術分野】
【０００１】
本発明は映像情報生成装置に係り、例えば調理済食品のように品揃えや鮮度が短時間で変化する商品を扱う小売店舗の店頭等における販促用商品情報映像コンテンツの映像情報生成装置に関する。
【背景技術】
【０００２】
ユーザが長時間の録画映像から所望の短時間の映像区間を選択し編集するツールは多く公開されている。また、テンプレートに写真を当てはめて表示効果を付けた映像を作成するツールも公開されている。特許文献１には、スライドショーのデータ作成方法として、ユーザ画像データの特徴量から画像データを分類しシーンテンプレートの領域と対応付けてスライドショーデータを構成する方法が開示されている。
【０００３】
また、映像の編集方法として、自動で撮影データや音声データを編集して要約映像を生成する技術が各種提案されている。撮影映像から目的に応じたショートムービーを作成する方法として、例えば特許文献２には、ユーザのカメラ操作を推定して撮影時のユーザ意図に合わせたダイジェストを作成する方法が開示されている。また、特許文献３には、撮影時にガイド表示に沿って撮影することでダイジェストムービーを生成する方法が開示されている。
【０００４】
更に、デジタルサイネージのコンテンツを携帯情報端末等を用いて更新する方法が特許文献４に開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−３９８０７号公報
【特許文献２】特開平６−１６５１０７号公報
【特許文献３】特開２００９−２５３９６３号公報
【特許文献４】特開２００２−１８３１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ユーザ自ら映像編集するのは手間が掛かり頻繁に更新するのが困難である。更新頻度が低い場合、時間経過によりコンテンツが陳腐化し、顧客に飽きられてしまう。また、調理済食品のように経時変化や商品の入替が頻繁に起こる商品の場合、提示映像と実際の商品の現況が著しく異なると、情報としての価値が乏しく、顧客の信頼を損ねる恐れがある。
【０００７】
特許文献１記載の発明のように画像の特徴量を検出してテンプレートに配置する方法では、外観が類似の商品が多く存在する場合に、目的の商品を適切に分類抽出し配置することは困難である。また、一つの商品でも製造からの経過時間など状況により配置や表示情報を変えるべき場合に対応できない。
【０００８】
また、特許文献２や特許文献３に記載の発明では、いずれもユーザが目的に合わせた撮影操作を行うことを前提としており、自動で撮影した映像からリアルタイムに提示映像を更新することは想定されていない。ユーザがビデオ作成を意識してその都度撮影操作を行うという手間が掛かる。
【０００９】
更に、特許文献４記載の発明のような携帯情報端末等から更新する方法でも、撮影、更新をユーザ自ら行わねばならず、小まめに更新しようとすると、手間が掛かる。食品などを扱う店舗の場合は手洗い消毒など衛生管理上の手間も生じる。
【００１０】
本発明は以上の点に鑑みなされたもので、ユーザ自ら手を煩わせて撮影、更新作業を行う必要なく、適切な商品情報映像を生成する映像情報生成装置を提供することを目的とする。
【００１１】
また、本発明の他の目的は、商品の設定情報を明確に顧客に伝え、また、顧客が商品情報を容易に入手することができる映像情報を生成する映像情報生成装置を提供することにある。
【００１２】
更にまた、本発明の他の目的は、低コストで様々な商品に対応でき、状況に応じた商品情報映像の生成ができる映像情報生成装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、本発明の映像情報生成装置は、対象となる商品を含む撮影映像の時間的に変化した領域を抽出し、その抽出領域内の商品の商品識別情報及び商品に関する設定情報の少なくとも一方の情報の更新を検出する検出手段と、検出手段により更新が検出された情報に係る商品を含む所定の範囲の静止画データを、撮影映像の一画像単位の画像データから抽出画像データとして抽出する画像抽出手段と、抽出画像データを画面内の配置領域情報を備えるテンプレートに適用し、テンプレートが示す所定の配置領域に抽出画像データが配置された映像情報を生成する映像情報生成手段と、を有することを特徴とする。
【００１４】
また、上記の目的を達成するため、本発明の映像情報生成装置は、テンプレートの備える配置領域情報を設定情報と対応付けた第１のテーブルを保持する第１の保持手段を更に有し、検出手段は、商品に添付された設定情報を示す第１のタグの更新を撮像映像から検出し、映像情報生成手段は、第１の保持手段から読み出された第１のテーブルと、検出手段により更新が検出された第１のタグが示す設定情報とに基づき、第１のタグが示す設定情報が、第１のテーブルで対応付けられたテンプレートの配置領域に配置され、かつ、テンプレートの所定の配置領域に抽出画像データが配置された映像情報を生成することを特徴とする。
【００１５】
また、上記の目的を達成するため、本発明の映像情報生成装置は、テンプレートの備える配置領域情報を商品識別情報と対応付けた第２のテーブルを保持する第２の保持手段を更に有し、検出手段は、商品に添付された商品識別情報を示す第２のタグの更新を撮像映像から検出し、映像情報生成手段は、第２の保持手段から読み出された第２のテーブルと、検出手段により更新が検出された第２のタグが示す商品識別情報とに基づき、第２のタグが示す商品識別情報に対応した少なくとも商品名を含む商品情報が、第２のテーブルで対応付けられたテンプレートの配置領域に配置され、かつ、テンプレートの所定の配置領域に抽出画像データが配置された映像情報を生成することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、ユーザ自ら手を煩わせて撮影、更新作業を行う必要なく、適切な商品情報映像を生成できる。また、本発明によれば、商品の設定情報を明確に顧客に伝え、また、顧客が商品情報を容易に入手することが可能な映像情報を生成できる。更に、本発明によれば、低コストで様々な商品に対応でき、状況に応じた商品情報映像の生成ができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の映像情報生成装置の第１の実施の形態の概略構成図である。
【図２】本発明の映像情報生成装置の第１の実施の形態のブロック図である。
【図３】図１及び図２に示す本発明の映像情報生成装置の動作説明用フローチャートである。
【図４】変化前の撮影画像の一例を示す図である。
【図５】変化後の撮影画像の一例を示す図である。
【図６】検出タグ情報の登録例の一例を示す図である。
【図７】更新後の検出タグ情報の登録例の一例を示す図である。
【図８】図２中の画像抽出部による画像抽出例を示す図である。
【図９】生成された映像情報の画面の一例を示す図である。
【図１０】図９に相当するテンプレートの商品配置と設定情報分類の対応例を示す図である。
【図１１】図１０のテンプレートに図６の検出タグ登録テーブルに登録された商品を適用した例を示す図である。
【図１２】図１１のテーブルの更新後のテーブル例を示す図である。
【図１３】本発明の映像情報生成装置の第２の実施の形態における生成された映像情報の画面の一例を示す図である。
【発明を実施するための形態】
【００１８】
次に、本発明の実施の形態について図面と共に詳細に説明する。
【００１９】
（第１の実施の形態）
図１は、本発明になる映像情報生成装置の第１の実施の形態の概略構成図を示す。本実施の形態の映像情報生成装置１０は、カメラ１１、映像記録編集装置１２及び映像再生提示装置１３を有する。カメラ１１は店舗（ここでは、一例としてベーカリー）内の上部で、店舗内の商品棚１４を見渡せる位置に設置される。映像再生提示装置１３は、顧客の見易い高さに配置された画面を有する移動可能な筐体に収められ、店舗入口付近の、顧客が見易い位置に設置される。
【００２０】
図２は、本発明になる映像情報生成装置の第１の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付してある。図２において、映像情報生成装置１０内の映像記録編集装置１２は、映像情報入力部１２１、検出部１２２、画像抽出部１２３、映像情報生成部１２４、データ記録部１２５、記録媒体１２６、データ読出部１２７、映像更新情報出力部１２８、及び制御部１２９からなる。映像情報生成装置１０内の映像再生提示装置１３は、映像入力保存部１３１、データ記録部１３２、記録媒体１３３、データ読出部１３４、映像再生提示部１３５、及び制御部１３６からなる。図２中の矢印はデータの流れを表す。制御部１２９及び制御部１３６は映像記録編集装置１２及び映像再生提示装置１３を構成する各部の処理を制御する。
【００２１】
図２において、カメラ１１により撮影して得られた対象となる商品を含む映像情報はフレーム毎の画像データとして映像情報入力部１２１に入力される。映像情報入力部１２１は、カメラ１１から入力される画像データを検出部１２２及び画像抽出部１２３に送る。検出部１２２は、画像データの時間的に変化した領域を抽出し、その抽出領域内の商品識別情報又は商品に関する設定情報の更新を検出し、更新されていれば、更新された商品の商品識別情報及び商品に関する設定情報を出力する。なお、検出部１２２は、画像データを基に商品識別情報及び商品に関する設定情報のいずれか一方の情報の更新を検出してもよい。
【００２２】
画像抽出部１２３は、検出部１２２から商品識別情報及び商品に関する設定情報の更新情報が入力されると、撮影映像のフレーム（又はフィールド）の一画像単位の画像データから検出された商品を含む所定範囲の静止画データを抽出し、その抽出した静止画データを抽出画像データとしてデータ記録部１２５を介して記録媒体１２６に記録する。
【００２３】
記録媒体１２６には予め店舗の雰囲気や販売形態に合わせて用意したテンプレートに関するテンプレート情報を記録しておく。ここで、テンプレートとは、映像や文字列を配置する基となるひな形の情報のことである。なお、テンプレート情報には、映像上への商品写真や商品情報の配置情報と商品に関する設定情報との対応付けテーブルを含むものとする。
【００２４】
映像情報生成部１２４は、検出部１２２から商品識別情報および商品に関する設定情報の更新情報が入力されると、データ読出部１２７を介して記録媒体１２６から、テンプレート情報、商品情報提供映像情報、及び抽出画像データを読み出し、商品に関する設定情報に対応付けられたテンプレート上の配置情報に基づき、抽出画像データをテンプレートの所定位置に配置した商品情報提供映像を生成し、生成した商品情報提供映像をデータ記録部１２５を介して記録媒体１２６に保存する。映像更新情報出力部１２８は、データ読出部１２７を介して記録媒体１２６から商品情報提供映像を読み出し、映像再生提示装置１３へ出力する。
【００２５】
映像再生提示装置１３の映像入力保存部１３１では、映像記録編集装置１２から入力された商品情報提供映像をデータ記録部１３２を介して記録媒体１３３に記録する。映像再生提示部１３５は、データ読出部１３４を介して記録媒体１３３から商品情報提供映像を読み出し、映像情報を再生提示する。
【００２６】
次に、図２の本実施形態の映像情報提示装置１０の処理の流れについて、図３のフローチャートを併せ参照して説明する。
【００２７】
まず、映像情報生成装置１０を起動すると、カメラ１１、映像記録編集装置１２及び映像再生提示装置１３がそれぞれ起動される。カメラ１１が起動されると、カメラ１１は内部パラメータの初期化後撮影を開始し、撮影した映像情報をフレーム毎の画像データとして映像記録編集装置１２に出力する。
【００２８】
映像記録編集装置１２が起動されると、映像記録編集装置１２内の制御部１２９は内部パラメータの初期化を行い(ステップＳ１０１)、映像情報入力部１２１による映像情報入力処理(ステップＳ１０２)を開始させる。ステップＳ１０２の映像情報入力処理では、映像情報入力部１２１がカメラ１１からのフレーム毎の画像データを保存する。
【００２９】
続いて、映像情報入力部１２１からの画像データを基に、商品識別情報又は商品に関する設定情報の更新を検出する商品情報更新検出処理を行う(ステップＳ１０３)。商品情報更新検出処理により、商品情報の更新を検出した場合は (ステップＳ１０４-１)、画像抽出部１２３が商品画像抽出処理(ステップＳ１０５)を行う。一方、制御部１２９は商品情報の更新が無いことを検出したときは(ステップＳ１０４-２)、終了要求が有れば(ステップＳ１０８-１)、終了処理(ステップＳ１０９)に進む。終了要求が無ければ(ステップＳ１０８-２)、映像情報入力(ステップＳ１０２)に戻り処理を継続する。
【００３０】
ステップＳ１０５の商品画像抽出処理では、画像抽出部１２３が検出部１２２から供給される商品識別情報及び商品に関する設定情報の更新情報に基づいて、映像情報入力部１２１から供給される画像データのフレームから更新が検出された該当する商品の周辺領域を抽出し、その抽出した商品の周辺領域の静止画の画像データを抽出画像データとしてデータ記録部１２５を介して記録媒体１２６に保存する。
【００３１】
続いて、映像情報生成部１２４が検出部１２２から供給される商品識別情報及び商品に関する設定情報の更新情報に基づいて映像情報生成処理を行う（ステップＳ１０６）。このステップＳ１０６の映像情報生成処理では、映像情報生成部１２４がデータ読出部１２７を介して記録媒体１２６から、テンプレート情報、商品情報提供映像情報、及び抽出画像データを読み出し、商品に関する設定情報に対応付けられたテンプレート上の配置情報に基づき、抽出画像データをテンプレートの所定位置に配置した商品情報提供映像を生成し、生成した商品情報提供映像をデータ記録部１２５を介して記録媒体１２６に保存する。
【００３２】
続いて、映像更新情報出力部１２８により、データ読出部１２７を介して記録媒体１２６から商品情報提供映像１４９を読み出し、映像再生提示装置１３へ出力する映像情報出力処理が行われる（ステップＳ１０７）。続いて、制御部１２９は、終了要求があれば(ステップＳ１０８-１)、終了処理(ステップＳ１０９)に進み、終了要求が無ければ(ステップＳ１０８-２)、ステップＳ１０２の映像情報入力処理に戻り処理を継続する。制御部１２９は、ステップＳ１０９の終了処理では映像記録編集装置１２をシャットダウンする。
【００３３】
次に、映像再生提示装置１３が起動されると、制御部１３６は内部パラメータの初期化を行って最新映像情報１５０に初期映像をセットした後(ステップＳ１１１)、映像入力保存部１３１を起動して映像入力保存処理（ステップＳ１１０１）を行わせると共に、映像再生提示部１３５を起動して映像再生提示処理(ステップＳ１１０２)を行わせる。
【００３４】
ステップＳ１１０１の映像入力保存処理では、映像入力保存部１３１は映像記録編集装置１２からの映像情報入力が有ればデータを受け取り(ステップＳ１１２)、最新映像情報１５０としてデータ記録部１３２を介して記録媒体１３３に保存する(ステップＳ１１３)。制御部１３６は終了要求があれば(ステップＳ１１３-１)、終了処理(ステップＳ１１９)へ進む。終了要求が無ければ(ステップＳ１１３-２)、ステップＳ１１２の映像情報入力処理に戻って、ステップＳ１１０１の映像入力保存処理を継続させる。
【００３５】
一方、ステップＳ１１０２の映像再生提示処理では、映像再生提示部１３５はまずデータ読出部１３４を通して記録媒体１３３から最新映像情報１５０を読出し、その最新映像情報１５０を参照して更新されていたら、それを再生する映像情報として設定する(ステップＳ１１５)。続いて、映像再生提示部１３５は設定した再生映像情報を読み出し(ステップＳ１１６)、その設定した再生映像情報を再生提示する(ステップＳ１１７)。続いて、制御部１３６は終了要求があれば(ステップＳ１１８-１)、終了処理(ステップＳ１１９)へ進み、終了要求が無ければ(ステップＳ１１８-２)、映像再生提示処理(ステップＳ１１０２)を継続する。
【００３６】
ステップＳ１１０１の映像入力保存処理とステップＳ１１０２の映像入力再生提示処理とは、終了要求を受けるまで繰り返される。ステップＳ１１０１の映像入力保存処理とステップＳ１１０２の映像入力再生提示処理とが終了すれば、制御部１３６は終了処理を行い映像再生提示装置１３をシャットダウンする終了処理を行う(ステップＳ１１９)。
【００３７】
次に、本実施の形態の第１の要部の処理である、ステップＳ１０３の商品情報更新検出処理について、更に具体的かつ詳細に説明する。
【００３８】
ステップＳ１０３の商品情報更新検出処理では、検出部１２２により、映像情報入力部１２１がフレーム保存した時系列の画像データから差分を求め画像の変化を検出する。商品情報の変更に相当する有意な変化領域を検出すれば、商品識別タグおよび商品に関する設定情報タグを検出する。例えば、カメラ１１が商品棚１４を撮影して得られた画像データにおいて、図４に示す画像から図５に示す画像へと変化した場合、図５に示す画像中の変化領域５１を対象としてタグの検出を行い、商品に関する設定情報タグ(以下設定タグと記す)５２、及び商品識別タグ５３を検出する。
【００３９】
ここでは、商品識別タグ５３は商品名と価格を記載したプレートである。設定タグ５２は「焼き立て！」「本日のおススメ」「お買得」の何れかが記載されたプレートである。設定タグ５２は顧客の目に止まり易いよう商品識別タグ５３とは異なる配色としている。画像からの設定タグ５２及び商品識別タグ５３の検出は、予め店舗で使用するタグを画像登録しておきパターンマッチングで検出することができる。また、公知のよりロバスト性の高い画像認識手法を用いてもよい。検出した設定タグ５２及び商品識別タグ５３のタグ情報は設定情報の分類毎に規定した所定数の範囲内でテーブルに登録する。過去に検出し登録されている商品を再度検出した場合はタグ情報を更新し、最新の情報を登録するとともに情報が重複しないようにする。
【００４０】
図６は、検出タグ情報の登録例を示す。図６に示すように、検出タグ情報は、検出タグのＩＤと、設定分類のＩＤと、設定情報分類（「焼き立て」「本日のおススメ」「お買得」の何れか）と、設定タグ５２のタグ情報と、商品識別タグ５３のタグ情報と、検出時刻と、抽出画像のＩＤとが対応づけて登録された情報である。
【００４１】
図６に示すように、検出タグ情報が登録された状態で、新たに設定タグ「焼き立て」と商品識別タグ「十勝あんぱん」とを検出した場合は、設定情報分類「焼き立て」に属する検出タグの中で最も古く登録された検出タグＩＤ３の商品識別タグ「海軍カレーパン」が削除され、図７に示すように、新しい商品識別タグ「十勝あんぱん」が登録される。
【００４２】
次に、本実施の形態の第２の要部の処理である、ステップＳ１０５の商品画像抽出処理について、更に具体的かつ詳細に説明する。
【００４３】
ステップＳ１０５の商品画像抽出処理では、画像抽出部１２３が、検出部１２２において新たに検出された設定タグ５２及び商品識別タグ５３のタグ情報が検出部１２２から入力されると、画像データから入力タグ情報に対応する商品画像領域を抽出し保存する。商品画像領域はタグ情報の検出領域を基に相対的な位置及びサイズを設定して抽出する。
【００４４】
図８は、画像抽出部１２３による画像抽出例を示す。図８は商品トレイの幅と同程度の幅にタグを設置した例である。図８において、タグ検出領域８１は設定タグ５２及び商品識別タグ５３に基づいて検出された領域である。画像抽出部１２３は、タグ検出領域８１を検出すると共に、このタグ検出領域８１に対応する抽出画像領域８２の商品画像を抽出する。
【００４５】
図８の画面の左上座標を(0,0)、右下座標を(W,H)とし、左上座標(x1,y1)と右下座礁(x2,y2)で表わされる領域をタグ検出領域８１とすると、抽出画像領域８２は、左上座標(xo,yo)及び、サイズ(w,h)とすると、次式で表わされる。
【００４６】
ｗ＝（ｘ2−ｘ1）*α
ｈ＝（ｘ2−ｘ1）*α*３/４
ｘ0＝（（１＋α）＊ｘ1＋（１−α）＊ｘ2）/２
ｙ0＝ｙ1−（ｘ2−ｘ1）＊α＊３/４
但し、上式中、αは係数である。
【００４７】
商品紹介には商品に寄った画像が好ましいため、ここではこの係数αを小さく設定し、例えば６０％としている。抽出画像情報は検出したタグと対応付けて保存される(図６、図７)。
【００４８】
次に、本実施の形態の第３の要部の処理である、ステップＳ１０６の映像情報生成処理について、更に具体的かつ詳細に説明する。
【００４９】
ステップＳ１０６の映像情報生成処理では、映像情報生成部１２４が、更新された商品識別タグ及び設定タグの情報を基に、商品情報提供映像を生成し記録媒体１２６に保存する。映像情報の生成においては、前回のステップＳ１０６の映像情報生成処理で生成した映像情報を用い、更新された商品情報に対応する部分を更新することで、最新の商品情報に即した情報提供映像を随時提示できるようにする。なお、新規に商品情報提供映像を生成する場合は、予め設定された初期値の素材を用いて生成する。
【００５０】
映像情報生成部１２４には、商品識別タグ及び設定タグの更新情報が入力される。映像情報生成部１２４は、データ読出部１２７を介して記録媒体１２６から、テンプレート情報、商品情報提供映像情報、更新されたタグに対応する抽出画像データを読み出す。映像情報生成部１２４は、設定タグに対応付けられたテンプレート上の配置情報に基づき、抽出画像データをテンプレートの所定の画像配置位置に配置し、商品情報タグに対応付けられた商品名の文字列をテンプレートの所定の文字列配置位置に配置して商品情報提供映像を生成する。すなわち、設定タグに対応付けられたテンプレート上の配置位置に該当する画像データ及び文字列データを更新された商品の画像データ及び文字列データに差し替える。映像情報生成部１２４は、複数の商品画像をスクロール表示する場合のように、同じ配置位置に該当する商品が複数あるテンプレートの場合は、最も更新が古い商品のデータと差替える。映像情報生成部１２４は、生成した映像情報をデータ記録部１２５を介して記録媒体１２６に保存する。
【００５１】
図９は、生成された映像情報の画面例を示す。図１０は、図９に相当するテンプレートの商品配置と設定情報分類の対応例を示す。図１１は、図１０のテンプレートに図６の検出タグ登録テーブルに登録された商品を適用した例を示す。
【００５２】
図９に示す配置領域９１は、図１０及び図１１の配置領域「１−（１）」、「１−（２）」、「１−（３）」のうちのいずれか一つの配置領域の画像情報が表示される画像領域１と文字列情報が表示される文字列領域１とからなり、３種類の「焼き立て」商品画像と文字列情報とが順次スクロール表示される。
【００５３】
また、図９に示す配置領域９２は、図１０及び図１１の配置領域「２−（１）」、「２−（２）」の２種類の「おススメ」商品の画像情報が左右に表示される画像領域２と文字列情報が表示される文字列領域２とからなる。また、図９に示す配置領域９３は、図１０及び図１１の配置領域「３」の１種類の「お買得」商品の画像情報が表示される画像領域３と文字列情報が表示される文字列領域３とからなる。以上の商品の画像情報は図１１の画像ＩＤで特定される画像情報である。また、文字列情報は、図１１の商品識別タグの文字列である。
【００５４】
なお、新たに設定タグ「焼き立て」、商品識別タグ「十勝あんぱん」が検出された場合は、図１１のテーブル中の設定情報分類「焼き立て」に属する商品の中で最も古く登録された商品ＩＤ３の「海軍カレーパン」が削除され、図１２に示すように代わりにＩＤ３に「十勝あんぱん」が登録されたテーブルに更新される。この結果、商品情報提供映像の配置領域９１の３枚目に「十勝あんぱん」が表示されるようになる。
【００５５】
上記の手順で、商品識別タグ及び設定タグの更新を検出して商品情報提供映像を更新することにより、順次、適切な商品情報を提示することができる。すなわち、焼き上がったパンを商品棚に置くと、自動的に、店舗のサイネージモニタ上の映像で焼立て商品表示領域が更新される。
【００５６】
このように、本実施の形態の映像情報生成装置１０によれば、撮影映像から撮像対象の商品の変更を検出した時点で自動的に商品情報提供映像を更新することにより、ユーザ自ら手を煩わせて撮影、更新作業を行う必要なく、適切な商品情報映像を顧客に常時提示できる。
【００５７】
また、本実施の形態の映像情報生成装置１０によれば、商品の設定情報に応じて商品画像を適切な位置に配置した映像情報や、商品識別情報に応じて商品識別情報が示す少なくとも商品名を含む商品情報を適切な位置に配置した映像情報を提示することにより、商品の設定情報を明確に顧客に伝えることができ、また、顧客が商品情報を容易に入手することができ、顧客が購入検討をし易くできる。
【００５８】
更に、本実施の形態の映像情報生成装置１０によれば、商品陳列に使用するタグを用いることで、低コストで様々な商品に対応でき、状況に応じた商品情報映像の生成及び提示ができる。
【００５９】
（第２の実施の形態）
次に、本発明になる映像情報生成装置の第２の実施の形態について説明する。
【００６０】
本実施の形態の映像情報生成装置の構成は図１乃至図３と略同様である。ただし、本実施の形態では、記録媒体１２６には予め店舗の雰囲気や販売形態に合わせて用意したテンプレートに関するテンプレート情報に加えて、更に、商品識別情報に対応して、商品情報を掲載しているＵＲＬ(uniform resource locator)の２次元バーコード画像情報が登録されている。
【００６１】
これにより、本実施の形態では、映像情報生成部１２４は記録媒体１２６からテンプレート情報、商品情報提供映像情報、抽出画像データ、及び２次元バーコード画像情報を読み出し、商品に関する設定情報に対応付けられたテンプレート上の配置情報に基づき、抽出画像データをテンプレートの所定位置に配置し、かつ、商品識別情報に対応した２次元バーコード情報をテンプレートの所定のバーコード配置位置に配置した商品情報提供映像を生成する。
【００６２】
図１３は、本実施の形態の商品情報提供映像の画面例を示す。図１３に示す配置領域９５は、画像情報が表示される画像領域１と、文字列情報が表示される文字列領域１と、バーコード情報が表示されるバーコード領域１とからなり、「焼き立て」商品画像と文字列情報とバーコード情報とが順次スクロール表示される。
【００６３】
また、図１３に示す配置領域９６は、２種類の「おススメ」商品の画像情報が左右に表示される画像領域２と、文字列情報が表示される文字列領域２と、バーコード情報が表示されるバーコード領域２とからなる。また、図１３に示す配置領域９７は、「お買得」商品の画像情報が表示される画像領域３と、文字列情報が表示される文字列領域３と、バーコード情報が表示されるバーコード領域３とからなる。以上の商品の画像情報は図１１の画像ＩＤで特定される画像情報である。また、文字列情報は、図１１の商品識別タグの文字列である。
【００６４】
本実施の形態によれば、来店顧客は商品情報提供映像の中で興味ある商品の詳細な商品情報をバーコード情報を利用することで手軽に参照することができ、購買意欲が高まることが期待される。
【００６５】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば以下の種々の変形例も包含するものである。例えば、商品の設定情報を文字列情報のテンプレート配置と対応付けて、所定の領域に商品の設定情報に関する文字情報を配置するようにしてもよい。例えば、おすすめ商品領域の設定情報に「本日のおすすめ」、「今週のおすすめ」などの表示文字情報を使い分けることにより、より汎用性高くテンプレートを使用することができる。
【００６６】
また、映像情報生成装置は報知手段を備え、商品情報更新検出時に検出内容を報知するようにしてもよい。例えば、「ただいまチョコクロワッサンが焼き上がりました」のように、報知することで、店員が検出更新されたことを確認できるとともに、顧客にも最新の商品情報を知らせ購買を促進することができる。
【００６７】
更に、映像記録編集装置はカメラのパラメータを制御し、検出情報に基づき変化領域の商品画像をズーム撮影するようにしてもよい。この場合、ズーム制御により、広範囲の商品情報を検出するとともに、高解像度の商品画像を抽出することができる。また、更に、上記の商品は食品を例にとって説明したが、品揃えや鮮度が短時間で変化する商品であれば生花その他の商品にも本発明を適用することができる。
【符号の説明】
【００６８】
１０ 映像情報生成装置
１１ カメラ
１２ 映像記録編集装置
１３ 映像再生提示装置
１４ 商品棚
５１ 変化領域
５２ 商品に関する設定情報タグ（設定タグ）
５３ 商品識別タグ
８１ タグ検出領域
８２ 抽出画像領域
９１〜９３、９５〜９７ 配置領域
１２１ 映像情報入力部
１２２ 検出部
１２３ 画像抽出部
１２４ 映像情報生成部
１２５、１３２ データ記録部
１２６、１３３ 記録媒体
１２７、１３４ データ読出部
１２８ 映像更新情報出力部
１２９、１３６ 制御部
１３１ 映像入力保存部
１３５ 映像再生提示部
【特許請求の範囲】
【請求項１】
対象となる商品を含む撮影映像の時間的に変化した領域を抽出し、その抽出領域内の前記商品の商品識別情報及び前記商品に関する設定情報の少なくとも一方の情報の更新を検出する検出手段と、
前記検出手段により更新が検出された前記情報に係る商品を含む所定の範囲の静止画データを、前記撮影映像の一画像単位の画像データから抽出画像データとして抽出する画像抽出手段と、
前記抽出画像データを画面内の配置領域情報を備えるテンプレートに適用し、前記テンプレートが示す所定の配置領域に前記抽出画像データが配置された映像情報を生成する映像情報生成手段と、
を有することを特徴とする映像情報生成装置。
【請求項２】
前記テンプレートの備える配置領域情報を前記設定情報と対応付けた第１のテーブルを保持する第１の保持手段を更に有し、
前記検出手段は、前記商品に添付された前記設定情報を示す第１のタグの更新を前記撮像映像から検出し、
前記映像情報生成手段は、前記第１の保持手段から読み出された前記第１のテーブルと、前記検出手段により更新が検出された前記第１のタグが示す設定情報とに基づき、前記第１のタグが示す設定情報が、前記第１のテーブルで対応付けられた前記テンプレートの配置領域に配置され、かつ、前記テンプレートの所定の配置領域に前記抽出画像データが配置された映像情報を生成することを特徴とする請求項１記載の映像情報生成装置。
【請求項３】
前記テンプレートの備える配置領域情報を前記商品識別情報と対応付けた第２のテーブルを保持する第２の保持手段を更に有し、
前記検出手段は、前記商品に添付された前記商品識別情報を示す第２のタグの更新を前記撮像映像から検出し、
前記映像情報生成手段は、前記第２の保持手段から読み出された前記第２のテーブルと、前記検出手段により更新が検出された前記第２のタグが示す商品識別情報とに基づき、前記第２のタグが示す商品識別情報に対応した少なくとも商品名を含む商品情報が、前記第２のテーブルで対応付けられた前記テンプレートの配置領域に配置され、かつ、前記テンプレートの所定の配置領域に前記抽出画像データが配置された映像情報を生成することを特徴とする請求項１又は２記載の映像情報生成装置。
【請求項１】
対象となる商品を含む撮影映像の時間的に変化した領域を抽出し、その抽出領域内の前記商品の商品識別情報及び前記商品に関する設定情報の少なくとも一方の情報の更新を検出する検出手段と、
前記検出手段により更新が検出された前記情報に係る商品を含む所定の範囲の静止画データを、前記撮影映像の一画像単位の画像データから抽出画像データとして抽出する画像抽出手段と、
前記抽出画像データを画面内の配置領域情報を備えるテンプレートに適用し、前記テンプレートが示す所定の配置領域に前記抽出画像データが配置された映像情報を生成する映像情報生成手段と、
を有することを特徴とする映像情報生成装置。
【請求項２】
前記テンプレートの備える配置領域情報を前記設定情報と対応付けた第１のテーブルを保持する第１の保持手段を更に有し、
前記検出手段は、前記商品に添付された前記設定情報を示す第１のタグの更新を前記撮像映像から検出し、
前記映像情報生成手段は、前記第１の保持手段から読み出された前記第１のテーブルと、前記検出手段により更新が検出された前記第１のタグが示す設定情報とに基づき、前記第１のタグが示す設定情報が、前記第１のテーブルで対応付けられた前記テンプレートの配置領域に配置され、かつ、前記テンプレートの所定の配置領域に前記抽出画像データが配置された映像情報を生成することを特徴とする請求項１記載の映像情報生成装置。
【請求項３】
前記テンプレートの備える配置領域情報を前記商品識別情報と対応付けた第２のテーブルを保持する第２の保持手段を更に有し、
前記検出手段は、前記商品に添付された前記商品識別情報を示す第２のタグの更新を前記撮像映像から検出し、
前記映像情報生成手段は、前記第２の保持手段から読み出された前記第２のテーブルと、前記検出手段により更新が検出された前記第２のタグが示す商品識別情報とに基づき、前記第２のタグが示す商品識別情報に対応した少なくとも商品名を含む商品情報が、前記第２のテーブルで対応付けられた前記テンプレートの配置領域に配置され、かつ、前記テンプレートの所定の配置領域に前記抽出画像データが配置された映像情報を生成することを特徴とする請求項１又は２記載の映像情報生成装置。
【図１】
【図２】
【図３】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図４】
【図５】
【図８】
【図９】
【図１３】
【図２】
【図３】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図４】
【図５】
【図８】
【図９】
【図１３】
【公開番号】特開２０１２−１７５３１２（Ｐ２０１２−１７５３１２Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３４１５０（Ｐ２０１１−３４１５０）
【出願日】平成２３年２月２１日（２０１１．２．２１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２１日（２０１１．２．２１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]