音声・映像情報報知システム及びその制御方法
【課題】視聴者に対して効果的に広告等の情報を提供でき、かつ省エネルギーの観点からも有効であること。
【解決手段】大型モニタ表示装置の表示画面の前方の周辺状況を撮像し、大型モニタ表示装置の表示画面の前方に存在する視聴者の人数が予め設定された第１の所定値を超えれば、第１のコンテンツ情報として少なくとも発声部から大型モニタ表示装置の表示画面に対して注視を促す少なくとも音声情報を発生させ、この後、大型モニタ表示装置の表示画面を見ている視聴者の正面顔の人数が予め設定された第２の所定値を超えれば、第２のコンテンツ情報として少なくとも大型モニタ表示装置の表示画面に主情報の映像データを映し出す。
【解決手段】大型モニタ表示装置の表示画面の前方の周辺状況を撮像し、大型モニタ表示装置の表示画面の前方に存在する視聴者の人数が予め設定された第１の所定値を超えれば、第１のコンテンツ情報として少なくとも発声部から大型モニタ表示装置の表示画面に対して注視を促す少なくとも音声情報を発生させ、この後、大型モニタ表示装置の表示画面を見ている視聴者の正面顔の人数が予め設定された第２の所定値を超えれば、第２のコンテンツ情報として少なくとも大型モニタ表示装置の表示画面に主情報の映像データを映し出す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば大型の薄型液晶モニタ装置を用い、広告等のコンテンツを音声情報や映像情報を用いて報知する音声・映像情報報知システム及びその制御方法に関する。
【背景技術】
【０００２】
最近、大型で薄型のモニタ装置（以下、大型モニタ表示装置と称する）は、そのコストが安価になっている。これにより、当該大型モニタ表示装置を公共の場に設置し、この大型モニタ表示装置に例えば広告等のコンテンツを再生表示し、かかる大型モニタ表示装置の周辺域に存在する被報知対象の人物すなわち視聴者に広告等のコンテンツを報知するという新たな使用方法が多く見受けられるようになっている。
【０００３】
このような広告等のコンテンツの報知では、大型モニタ表示装置の周辺域に視聴者が不在の状況で広告等のコンテンツを再生表示しても広告等のコンテンツの報知の点で効果的でない。又、常に広告等のコンテンツを再生表示しては、視聴者に与えるインパクトが小さく、かつ常に電力を消費して省エネルギーの観点からも望ましくない。
【０００４】
かかる広告等のコンテンツの報知の技術としては、例えば特許文献１がある。この特許文献１は、広告メディアの前方をカメラにより撮像し、この撮像により取得された撮影画像データ中に存在する人物の顔の向きを検出し、広告メディアを見ている人物の人数を集計する技術を開示する。かかる技術を応用すれば、視聴者の多いときに例えば大型モニタ表示装置に広告コンテンツを再生することにより多数の視聴者に効果的に広告等の情報を提供することが可能である。
【特許文献１】特開２０００−１８１０７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、大型モニタ表示装置の前方で当該大型モニタ表示装置の表示画面を見ている視聴者の多いときに広告コンテンツを再生するものとなるので、多数の視聴者が大型モニタ表示装置の表示画面を見るようになるまで待たなければ、広告コンテンツを見ることが出来ない。大型モニタ表示装置の表示画面を見ている視聴者の多くなく、省エネルギーのために広告コンテンツの再生を停止している状況では、視聴者は大型モニタ表示装置の表示画面を注視することは殆どない。しかるに、多数の視聴者が大型モニタ表示装置の表示画面を見るようになるまで待つのは、得策でない。
【０００６】
本発明の目的は、視聴者に対して効果的に広告等の情報を提供でき、かつ省エネルギーの観点からも有効な音声・映像情報報知システム及びその制御方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の主要な局面に係る音声・映像情報報知システムは、音声情報を出力する音声出力装置と映像情報を表示する表示装置とを有するもので、表示装置の周辺域を撮像する撮像手段と、撮像手段の撮像により取得された画像データを解析して表示装置の周辺域に存在する情報の告知を受ける被報知対象の数をカウントする第１の計数手段と、撮像手段の撮像により取得された画像データを解析して表示装置の方向に向いている被報知対象の数をカウントする第２の計数手段と、音声出力装置と表示装置とをそれぞれ駆動制御し、第１の計数手段のカウント値が第１の所定値を超えると第１のコンテンツ情報を再生し、この後、第２の計数手段のカウント値が第２の所定値を超えると第２のコンテンツ情報を再生する制御手段とを具備する。
【０００８】
本発明の主要な局面に係る音声・映像情報報知システムの制御方法は、音声情報を出力する音声出力装置と映像情報を表示する表示装置とを駆動制御して音声情報と映像情報とを報知する音声・映像情報報知システムの制御方法において、表示装置の周辺域を撮像し、撮像により取得された画像データを解析して表示装置の周辺域に存在する情報の告知を受ける被報知対象の数をカウントし、音声出力装置と表示装置との少なくも一方を駆動制御し、カウント値が第１の所定値を超えると第１のコンテンツ情報を再生し、撮像により取得された画像データを解析して表示装置の方向に向いている被報知対象の数をカウントし、音声出力装置と表示装置との少なくも一方を駆動制御し、カウント値が第２の所定値を超えると第２のコンテンツ情報を再生する。
【発明の効果】
【０００９】
本発明によれば、視聴者に対して効果的に広告等の情報を提供でき、かつ省エネルギーの観点からも有効な音声・映像情報報知システム及びその制御方法を提供できる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施の形態について図面を参照して説明する。
図１は音声・映像情報報知システムの構成図を示す。撮像手段としてのレンズ系１と、撮像部２とが設けられている。これらレンズ系１と撮像部２とは、撮像装置３を構成する。この撮像装置３は、例えば図２に示すように大型モニタ表示装置４の周辺部、例えば上部に設けられている。この撮像装置３は、大型モニタ表示装置４の表示画面４ａを注視している被報知対象、すなわち視聴者５の顔面に対向するように撮像視野の方向を向けて設置される。すなわち、撮像装置３は、例えば大型モニタ表示装置４の表示画面４ａの前方において当該表示画面４ａを注視しようとしている視聴者５の顔面を撮像することを可能とする方向に撮像視野が向けられている。なお、撮像部２は、レンズ系１によって結像された大型モニタ表示装置４の前方の周辺状況の光像を光電変換して画像信号を出力する。この撮像部２は、例えばＣＣＤ又はＣＭＯＳにより形成される。又、撮像装置３は、大型モニタ表示装置４の前方の周辺状況を動画として撮像してもよいし、又は所定間隔毎に単写により撮像してもよい。
【００１１】
画像処理部６は、撮像装置３から出力される画像信号を入力し、この画像信号をデジタル変換し、かつ各種画像処理を施して画像データを取得する。
頭部・正面顔判定部７は、画像処理部６により取得された画像データを受け取り、この画像データを解析して当該画像データ中に含まれる視聴者５の頭部、正面顔を認識する。すなわち、頭部・正面顔判定部７には、頭部データ記憶部８と正面顔データ記憶部９とが接続されている。このうち頭部データ記憶部８には、視聴者５の頭部を認識するための複数の基準頭部データが予め記憶されている。これら基準頭部データは、例えば視聴者５の頭部の形状、子供や大人等による大きさ、各種髪型等に応じて複数有する。又、正面顔データ記憶部９には、視聴者５の正面顔を認識するための複数の基準正面顔データが予め記憶されている。これら基準正面顔データは、例えば視聴者５の目、鼻、口の形状、大きさ、位置等に応じて複数有する。
【００１２】
しかるに、頭部・正面顔判定部７は、画像処理部６により取得された画像データに対して頭部データ記憶部８に記憶されている複数の基準頭部データを用いてマッチング処理を行い、予め設定されたマッチング率を有する画像データ中の領域を視聴者５の頭部として認識する。
又、頭部・正面顔判定部７は、画像処理部６により取得された画像データに対して正面顔データ記憶部９に記憶されている複数の基準正面顔データを用いてマッチング処理を行い、予め設定されたマッチング率を有する画像データ中の領域を視聴者５の正面顔として認識する。
【００１３】
評価部１０は、撮像装置３の撮像により取得された画像データ中に存在する視聴者５の頭部の数と、視聴者５の正面顔の数とを取得するもので、第１の計数部１１と、第２の計数部１２とを有する。このうち第１の計数部１１は、頭部・正面顔判定部７により画像データ中に認識された視聴者５の頭部の情報を受け取り、画像データ中の視聴者５の頭部の領域の数をカウントする。
第２の計数部１２は、頭部・正面顔判定部７により認識された視聴者５の正面顔の情報を受け取り、画像データ中の視聴者５の正面顔の領域の数をカウントする。この第２の計数部１２は、第１の計数部１１により視聴者５の頭部の領域の数をカウントした後に、視聴者５の正面顔の領域の数をカウントする。
なお、頭部・正面顔判定部７と評価部１０とにより撮像装置３の撮像により取得された画像データを解析して大型モニタ表示装置４の周辺域に存在する視聴者の数をカウントする第１の計数手段と、同画像データを解析して大型モニタ表示装置４の方向に向いている視聴者の数をカウントする第２の計数手段とを構成する。
【００１４】
制御部１３は、図３に示す音声・映像情報報知フローチャートに従った音声・映像情報報知プログラムを予め格納し、この音声・映像情報報知プログラムを実行することにより告知部１４を通して音声出力装置としての発音部１５と映像表示部としての大型モニタ表示装置４とをそれぞれ駆動制御し、第１の計数部１１のカウント値が予め設定された第１の所定値ｎを超えると第１のコンテンツ情報を再生し、この後、第２の計数部１２のカウント値が予め設定された第２の所定値ｍを超えると第２のコンテンツ情報を再生する。そして、制御部１３は、第２の計数部１２のカウント値が予め設定された第３の所定値ｐ以下になると、第２のコンテンツ情報の再生を停止する。
告知部１４は、制御部１３の制御に従って大型モニタ表示装置４と発声部１５とを駆動するもので、音声データ記憶部１６と映像コンテンツ記憶部１７とを有する。このうち音声データ記憶部１６には、第１のコンテンツ情報として大型モニタ表示装置４の周辺域に存在する視聴者５に対して大型モニタ表示装置４の表示画面４ａに対して注視を促す少なくとも音声データが記憶されている。この音声データは、例えば「お客様 いらっしゃいませ。」であり、各種のデータ内容に変更可能である。
又、音声データ記憶部１６には、第２のコンテンツ情報として大型モニタ表示装置４の周辺域に存在する視聴者５に対して報知する主情報に含まれる音声データが記憶されている。この主情報に含まれる音声データは、例えば「弊社の新製品です。どうぞ、ご覧ください。」であり、各種のデータ内容に変更可能である。
【００１５】
映像コンテンツ記憶部１７には、第１のコンテンツ情報として上記音声データ、例えば「お客様 いらっしゃいませ。」の音声出力と共に、大型モニタ表示装置４の表示画面４ａに表示する映像データが記憶されている。この映像データは、例えば「お客様 いらっしゃいませ。」を発生するガイドの女性が映し出される内容を有する。この映像データは、各種の映像内容に変更可能である。
又、映像コンテンツ記憶部１７には、第２のコンテンツ情報として主情報に含まれる音声データ、例えば「弊社の新製品です。どうぞ、ご覧ください。」の音声出力と共に、大型モニタ表示装置４の表示画面４ａに表示する映像データが記憶されている。この映像データは、例えば「弊社の新製品です。どうぞ、ご覧ください。」によりガイドされる製品を有する。この映像データは、各種の映像内容に変更可能である。
【００１６】
発音部１５は、例えばスピーカである。この発音部１５は、例えば大型モニタ表示装置４に向かって当該大型モニタ表示装置４の左側上部に設けられている。この発音部１５は、モノラルによる音声の出力やバイノーラルによる音声の出力、複数チャンネルのステレオによる音声を行うようにしてもよい。
【００１７】
次に、上記の如く構成されたシステムによる音声・映像情報の報知動作について図３に示す音声・映像情報報知フローチャートに従って説明する。
撮像装置３は、ステップＳ１において、大型モニタ表示装置４の表示画面４ａの前方の周辺状況を撮像してその画像信号を出力する。この画像信号は、画像処理部６に送られる。なお、撮像装置３は、大型モニタ表示装置４の前方の周辺状況を動画として撮像してもよいし、又は所定間隔毎に単写により撮像してもよい。
画像処理部６は、撮像装置３から出力される画像信号を入力し、この画像信号をデジタル変換し、かつ各種画像処理を施して画像データを取得する。なお、画像データは、画像メモリ等に記憶される。
【００１８】
次に、頭部・正面顔判定部７は、画像処理部６により取得された画像データを受け取り、この画像データを解析して当該画像データ中に含まれる視聴者５の頭部、正面顔を認識する。すなわち、頭部・正面顔判定部７は、画像処理部６により取得された画像データを受け取ると共に、頭部データ記憶部８から複数の基準頭部データを読み取り、画像データと複数の基準頭部データとの間でそれぞれマッチング処理を行い、予め設定されたマッチング率を有する画像データ中の領域を視聴者５の頭部として認識する。このマッチング処理では、基準頭部データとして例えば視聴者５の頭部の形状、子供や大人等による大きさ、各種髪型等に応じて複数有するので、これらの基準頭部データにマッチングする画像データ中の領域の全てを視聴者５の頭部として認識する。
【００１９】
次に、評価部１０における第１の計数部１１は、頭部・正面顔判定部７により画像データ中に認識された視聴者５の頭部の情報を受け取り、画像データ中の視聴者５の頭部の領域の数をカウントする。
次に、制御部１３は、ステップＳ２において、第１の計数部１１のカウント値が予め設定された第１の所定値ｎを超えているか否かを判定する。すなわち、制御部１３は、第１の計数部１１によりカウントされた視聴者５の頭部の領域の数を、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者の人数として認識し、この視聴者の人数が予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えているか否かを判定する。この判定では、視聴者の人数が予め設定された第１の所定値ｎ（例えばｎ＝４人）なったときも視聴者の人数が予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えた判定する。
【００２０】
例えば図４に示すように大型モニタ表示装置４の表示画面４ａの前方の周辺に２人の視聴者５Ａ、５Ｂが存在し、このうちの１人の視聴者５Ａのみが撮像装置３の撮像視野３ａ内に入っている状況であれば、撮像装置３の撮像により取得される画像データＤａは、例えば図５に示すように１人の視聴者５Ａのみが写ったものとなる。なお、図４中における各視聴者５Ａ、５Ｂに付されている矢印「←」は、各視聴者５Ａ、５Ｂの移動方向を示す。
【００２１】
従って、頭部・正面顔判定部７は、画像データＤａと複数の基準頭部データとの間でそれぞれマッチング処理を行い、予め設定されたマッチング率を有する画像データ中の領域Ｅａを視聴者５Ａの頭部として認識する。そして、第１の計数部１１は、画像データＤａ中に認識された視聴者５Ａの頭部の領域Ｅａの数「１」をカウントする。制御部１３は、第１の計数部１１によりカウントされた視聴者５Ａの頭部の領域の数「１」を、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者５Ａの人数「１」として認識し、この視聴者５Ａの人数「１」が予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えているか否かを判定する。この判定の結果、視聴者５Ａの人数「１」は、予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えていないので、制御部１３は、ステップＳ１、Ｓ２を繰り返し、視聴者５の人数が予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えるのを待つ状態になる。
【００２２】
次に、例えば図６に示すように大型モニタ表示装置４の表示画面４ａの前方の周辺に４人の視聴者５Ａ〜５Ｃが存在し、これら４人の視聴者５Ａ〜５Ｃが撮像装置３の撮像視野３ａ内に入っている状況であれば、撮像装置３の撮像により取得される画像データＤｂは、例えば図７に示すように４人の視聴者５Ａ〜５Ｃが写ったものとなる。
【００２３】
従って、頭部・正面顔判定部７は、上記同様に、画像データＤｂと複数の基準頭部データとの間でそれぞれマッチング処理を行い、予め設定されたマッチング率を有する画像データ中の領域Ｅａ〜Ｅｄをそれぞれ４人の視聴者５Ａ〜５Ｄの各頭部として認識する。そして、第１の計数部１１は、画像データＤｂ中に認識された４人の視聴者５Ａ〜５Ｄの頭部の領域Ｅａ〜Ｅｄの数「４」をカウントする。制御部１３は、第１の計数部１１によりカウントされた４人の視聴者５Ａ〜５Ｄの頭部の領域Ｅａ〜Ｅｄの数「４」を、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者の人数「４」として認識し、この視聴者の人数「４」が予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えているか否かを判定する。
【００２４】
この判定の結果、視聴者の人数「４」が予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えているので、制御部１３は、ステップＳ３に移り、第１のコンテンツ情報を再生する指令を告知部１４に発する。これにより、告知部１４は、音声データ記憶部１６に記憶されている第１のコンテンツ情報として大型モニタ表示装置４の周辺域に存在する４人の視聴者５Ａ〜５Ｄ等に対して大型モニタ表示装置４の表示画面４ａに対して注視を促す少なくとも音声データ、例えば「お客様 いらっしゃいませ。」を読み出す。これと共に、告知部１４は、映像コンテンツ記憶部１７に記憶されている第１のコンテンツ情報として上記音声データ、例えば「お客様 いらっしゃいませ。」の音声出力と共に、大型モニタ表示装置４の表示画面４ａに表示する映像データ、例えば「お客様 いらっしゃいませ。」の挨拶の言葉を発生するガイドの女性を映し出す映像データを読み出す。
【００２５】
そして、告知部１４は、制御部１３の制御に従って大型モニタ表示装置４と発声部１５とを駆動し、例えば図８に示すように発声部１５から例えば「お客様 いらっしゃいませ。」の挨拶の言葉を発生させると共に、大型モニタ表示装置４の表示画面４ａに例えば「お客様 いらっしゃいませ。」の挨拶の言葉を発生するガイドの女性Ｗを映し出す映像データを映し出す。このとき、発声部１５から発せられる例えば「お客様 いらっしゃいませ。」の挨拶の言葉のみとし、ガイドの女性Ｗの映像データの映し出しを取り止めてもよい。これにより、大型モニタ表示装置４の表示画面４ａの前方に存在する４人の視聴者５Ａ〜５Ｄ等の全員が大型モニタ表示装置４の表示画面４ａに向かすことが可能である。
【００２６】
次に、撮像装置３は、ステップＳ４において、大型モニタ表示装置４の表示画面４ａの前方の周辺状況を撮像してその画像信号を出力する。画像処理部６は、撮像装置３から出力される画像信号を入力し、この画像信号をデジタル変換し、かつ各種画像処理を施して画像データを取得する。
次に、頭部・正面顔判定部７は、画像データと複数の基準正面顔データとの間でそれぞれマッチング処理を行い、予め設定されたマッチング率を有する画像データ中の領域を視聴者５の正面顔として認識する。例えば図９に示すように大型モニタ表示装置４の表示画面４ａの前方の周辺に３人の視聴者５Ｂ〜５Ｃが存在し、これら３人の視聴者５Ｂ〜５Ｃが撮像装置３の撮像視野３ａ内に入っている状況であれば、撮像装置３の撮像により取得される画像データＤｃは、例えば図１０に示すように３人の視聴者５Ｂ〜５Ｃが写ったものとなる。
【００２７】
従って、頭部・正面顔判定部７は、画像処理部６により取得された画像データＤｃを受け取ると共に、正面顔データ記憶部９から複数の基準正面顔データを読み取り、これら画像データＤｃと複数の基準正面顔データとの間でそれぞれマッチング処理を行い、予め設定されたマッチング率を有する画像データＤｃ中の各領域Ｆｂ〜Ｆｄを３人の視聴者５Ｂ〜５Ｃの正面顔として認識する。このマッチング処理では、基準正面顔データとして例えば例えば視聴者５の目、鼻、口の形状、大きさ、位置等に応じて複数有するので、これらの基準正面顔データにマッチングする画像データＤｃ中の各領域Ｆｂ〜Ｆｄの全てを３人の視聴者５Ｂ〜５Ｃの正面顔として認識する。
次に、評価部１０における第２の計数部１２は、頭部・正面顔判定部７により認識された視聴者５の正面顔の情報を受け取り、画像データ中の３人の視聴者５Ｂ〜５Ｃの正面顔の各領域Ｆｂ〜Ｆｄの数「３」をカウントする。
【００２８】
次に、制御部１３は、ステップＳ５において、第２の計数部１２のカウント値「３」が予め設定された第２の所定値ｍを超えているか否かを判定する。すなわち、制御部１３は、第２の計数部１２によりカウントされた視聴者５Ｂ〜５Ｃの正面顔の領域の各領域Ｆｂ〜Ｆｄを、大型モニタ表示装置４の表示画面４ａの前方で当該大型モニタ表示装置４の表示画面４ａを見ている３人の視聴者５Ｂ〜５Ｃの正面顔として認識し、これら視聴者５Ｂ〜５Ｃの正面顔の人数「３」が予め設定された第２の所定値ｍ（例えばｍ＝３人）を超えているか否かを判定する。この判定では、視聴者の正面顔の人数が予め設定された第２の所定値ｍ（例えばｍ＝３人）なったときも視聴者の正面顔の人数が予め設定された第２の所定値ｍ（例えばｍ＝３人）を超えた判定する。
【００２９】
なお、予め設定された第２の所定値ｍは、上記第１の所定値ｎよりも小さい値に設定するのがよい。すなわち、第１の所定値ｎを用いて判定するのは、視聴者の頭部すなわち大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者の人数であり、第２の所定値ｍを用いて判定するのは、視聴者の正面顔すなわち大型モニタ表示装置４の表示画面４ａを向いている視聴者の人数である。従って、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者の全員が大型モニタ表示装置４の表示画面４ａを向いている確率は小さいので、第２の所定値ｍは、第１の所定値ｎよりも小さい値に設定するのがよい。
【００３０】
上記判定の結果、視聴者５Ｂ〜５Ｃの正面顔の人数「３」が予め設定された第２の所定値ｍ（例えばｍ＝３人）を超えているので、制御部１３は、ステップＳ６に移り、第２のコンテンツ情報を再生する指令を告知部１４に発する。これにより、告知部１４は、音声データ記憶部１６に記憶されている第２のコンテンツ情報として主情報に含まれる音声データ、例えば「弊社の新製品です。どうぞ、ご覧ください。」を読み出す。これと共に、告知部１４は、映像コンテンツ記憶部１７に記憶されている第２のコンテンツ情報として上記音声データ、例えば「弊社の新製品です。どうぞ、ご覧ください。」の音声出力と共に、大型モニタ表示装置４の表示画面４ａに表示する映像データ、例えば「弊社の新製品です。どうぞ、ご覧ください。」とガイドされる新製品Ｈを映し出す映像データを読み出す。
【００３１】
そして、告知部１４は、制御部１３の制御に従って大型モニタ表示装置４と発声部１５とを駆動し、例えば図１１に示すように発声部１５から例えば「弊社の新製品です。どうぞ、ご覧ください。」の挨拶の言葉を発生させると共に、大型モニタ表示装置４の表示画面４ａに例えば「弊社の新製品です。どうぞ、ご覧ください。」とガイドされる製品Ｈを映し出す映像データを映し出す。
【００３２】
次に、撮像装置３は、ステップＳ７において、大型モニタ表示装置４の表示画面４ａの前方の周辺状況を撮像してその画像信号を出力する。画像処理部６は、撮像装置３から出力される画像信号を入力し、この画像信号をデジタル変換し、かつ各種画像処理を施して画像データを取得する。
次に、頭部・正面顔判定部７は、上記同様に、画像データと複数の基準正面顔データとの間でそれぞれマッチング処理を行い、予め設定されたマッチング率を有する画像データ中の領域を視聴者５の正面顔として認識する。
次に、評価部１０における第２の計数部１２は、頭部・正面顔判定部７により認識された視聴者５の正面顔の情報を受け取り、画像データ中の視聴者の正面顔の領域の人数をカウントする。
【００３３】
次に、制御部１３は、ステップＳ８において、第２の計数部１２によりカウントされた視聴者の正面顔の領域の人数が予め設定された第３の所定値ｐ（ここで、ｐ＝０）であるか否かを判定する。
この判定の結果、視聴者の正面顔の人数が「０人」でなければ、告知部１４は、制御部１３の制御に従って大型モニタ表示装置４と発声部１５とを駆動し、例えば図１１に示すように発声部１５から例えば「弊社の新製品です。どうぞ、ご覧ください。」の挨拶の言葉を発生させると共に、大型モニタ表示装置４の表示画面４ａに例えば「弊社の新製品です。どうぞ、ご覧ください。」とガイドされる製品Ｈを映し出す映像データを映し出すことを続ける。
なお、制御部１３は、第１のコンテンツ情報として例えば「お客様 いらっしゃいませ。」の音声の再生した直後に、第２のコンテンツ情報として例えば新製品Ｈの映像データを映し出してもよい。
【００３４】
一方、視聴者の正面顔の人数が「０人」となり、誰も表示画面を見ていないと判定されると、制御部１３は、ステップＳ９に移り、第２のコンテンツ情報の再生を停止する、すなわち発声部１５から例えば「弊社の新製品です。どうぞ、ご覧ください。」の挨拶の言葉を発生させると共に、大型モニタ表示装置４の表示画面４ａに例えば「弊社の新製品です。どうぞ、ご覧ください。」とガイドされる製品Ｈを映し出す映像データを映し出すことを停止する。
【００３５】
このように上記一実施の形態によれば、大型モニタ表示装置４の表示画面４ａの前方の周辺状況を撮像し、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者の人数として認識し、この視聴者の人数が予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えれば、第１のコンテンツ情報として少なくとも発声部１５から例えば「お客様 いらっしゃいませ。」の挨拶の言葉を発生させ、この後、大型モニタ表示装置４の表示画面４ａを見ている３人の視聴者５Ｂ〜５Ｃの正面顔の人数「３」が予め設定された第２の所定値ｍ（例えばｍ＝３人）を超えれば、第２のコンテンツ情報として少なくとも大型モニタ表示装置４の表示画面４ａに例えば「弊社の新製品です。どうぞ、ご覧ください。」とガイドされる製品Ｈを映し出す映像データを映し出す。
【００３６】
これにより、視聴者、例えば３人の視聴者５Ｂ〜５Ｃ等に対して効果的に新製品等の広告の情報等を提供できる。すなわち、大型モニタ表示装置４の表示画面４ａを見ている視聴者の人数が多くなるまで待つ必要がなく、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者の人数が例えば第１の所定値ｎ（例えばｎ＝４人）以上であれば、これら視聴者が大型モニタ表示装置４の表示画面４ａを見ていなくても、第１のコンテンツ情報として発声部１５から例えば「お客様 いらっしゃいませ。」の挨拶の言葉を発生させることにより大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者を大型モニタ表示装置４の表示画面４ａに注視させることが出来る。例えば、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者等の全員を大型モニタ表示装置４の表示画面４ａに向かすことが可能である。
【００３７】
そして、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者を大型モニタ表示装置４の表示画面４ａに注視させた状態で、第２のコンテンツ情報として少なくとも大型モニタ表示装置４の表示画面４ａに例えば「弊社の新製品です。どうぞ、ご覧ください。」とガイドされる製品Ｈを映し出す映像データを映し出すので、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者に対して製品Ｈ等の第２のコンテンツ情報を視聴させることが出来る。
ここで、例えば「弊社の新製品です。どうぞ、ご覧ください。」等の第２のコンテンツ情報の再生のタイミングは、例えば「お客様 いらっしゃいませ。」等の第１のコンテンツ情報の再生の終了直後で、視聴者を大型モニタ表示装置４の表示画面４ａに注視しているときに再生することが有効である。
【００３８】
第１のコンテンツ情報は、例えば「お客様 いらっしゃいませ。」に限らず、例えば「ちょっと いいですか？」等の大型モニタ表示装置４の表示画面４ａに注視させるような内容であれば、如何なる内容であってもよい。
又、常時、第２のコンテンツ情報として例えば「弊社の新製品です。どうぞ、ご覧ください。」とガイドされる製品Ｈの映像データを大型モニタ表示装置４の表示画面４ａに映し出すのでなく、視聴者の正面顔の人数が「０人」になると、第２のコンテンツ情報の再生を停止するので、大型モニタ表示装置４の前方に視聴者がいなければ、第２のコンテンツ情報の再生を停止することになり、無駄な電力を消費することがなく、省エネルギーの観点からも有効である。
【００３９】
又、大型モニタ表示装置４の表示画面４ａを見ている視聴者の正面顔の人数が予め設定された第２の所定値ｍを超えたか否かを判定するので、大型モニタ表示装置４の表示画面４ａの前方に視聴者が第３の所定値の人数より多くても、これら視聴者が大型モニタ表示装置４の表示画面４ａの方向に向いていなければ、例えば製品Ｈの映像データを映し出すことはなく、この場合も省エネルギー化を実現できる。
【００４０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００４１】
【図１】本発明に係る音声・映像情報報知システムの一実施の形態を示す構成図。
【図２】同装置における大型モニタ表示装置及びスピーカ等の発音部を示す図。
【図３】同装置における音声・映像情報報知フローチャート。
【図４】同装置における大型モニタ表示装置の表示画面の前方の周辺に１人の視聴者が存在する場合を示す図。
【図５】同装置における大型モニタ表示装置の表示画面の前方の周辺に１人の視聴者が存在するときの画像データの摸式図。
【図６】同装置における大型モニタ表示装置の表示画面の前方の周辺に４人の視聴者が存在する場合を示す図。
【図７】同装置における大型モニタ表示装置の表示画面の前方の周辺に４人の視聴者が存在するときの画像データの摸式図。
【図８】同装置における告知部によって発声部から発せられる挨拶の言葉とそのガイドの女性を映し出す映像を示す図。
【図９】同装置における大型モニタ表示装置の表示画面の前方の周辺に３人の視聴者が存在するときの画像データの摸式図。
【図１０】同装置における大型モニタ表示装置の表示画面の前方の周辺に３人の視聴者が存在するときの画像データの摸式図。
【図１１】同装置における告知部によって大型モニタ表示装置に映し出される製品の映像を示す図。
【符号の説明】
【００４２】
１：レンズ系、２：撮像部、３：撮像装置、４：大型モニタ表示装置、４ａ：大型モニタ表示装置の表示画面、５：視聴者、６：画像処理部、７：頭部・正面顔判定部、８：頭部データ記憶部、９：正面顔データ記憶部、１０：評価部、１１：第１の計数部、１２：第２の計数部、１３：制御部、１４：告知部、１５：発音部、１６：音声データ記憶部、１７：映像コンテンツ記憶部。
【技術分野】
【０００１】
本発明は、例えば大型の薄型液晶モニタ装置を用い、広告等のコンテンツを音声情報や映像情報を用いて報知する音声・映像情報報知システム及びその制御方法に関する。
【背景技術】
【０００２】
最近、大型で薄型のモニタ装置（以下、大型モニタ表示装置と称する）は、そのコストが安価になっている。これにより、当該大型モニタ表示装置を公共の場に設置し、この大型モニタ表示装置に例えば広告等のコンテンツを再生表示し、かかる大型モニタ表示装置の周辺域に存在する被報知対象の人物すなわち視聴者に広告等のコンテンツを報知するという新たな使用方法が多く見受けられるようになっている。
【０００３】
このような広告等のコンテンツの報知では、大型モニタ表示装置の周辺域に視聴者が不在の状況で広告等のコンテンツを再生表示しても広告等のコンテンツの報知の点で効果的でない。又、常に広告等のコンテンツを再生表示しては、視聴者に与えるインパクトが小さく、かつ常に電力を消費して省エネルギーの観点からも望ましくない。
【０００４】
かかる広告等のコンテンツの報知の技術としては、例えば特許文献１がある。この特許文献１は、広告メディアの前方をカメラにより撮像し、この撮像により取得された撮影画像データ中に存在する人物の顔の向きを検出し、広告メディアを見ている人物の人数を集計する技術を開示する。かかる技術を応用すれば、視聴者の多いときに例えば大型モニタ表示装置に広告コンテンツを再生することにより多数の視聴者に効果的に広告等の情報を提供することが可能である。
【特許文献１】特開２０００−１８１０７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、大型モニタ表示装置の前方で当該大型モニタ表示装置の表示画面を見ている視聴者の多いときに広告コンテンツを再生するものとなるので、多数の視聴者が大型モニタ表示装置の表示画面を見るようになるまで待たなければ、広告コンテンツを見ることが出来ない。大型モニタ表示装置の表示画面を見ている視聴者の多くなく、省エネルギーのために広告コンテンツの再生を停止している状況では、視聴者は大型モニタ表示装置の表示画面を注視することは殆どない。しかるに、多数の視聴者が大型モニタ表示装置の表示画面を見るようになるまで待つのは、得策でない。
【０００６】
本発明の目的は、視聴者に対して効果的に広告等の情報を提供でき、かつ省エネルギーの観点からも有効な音声・映像情報報知システム及びその制御方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の主要な局面に係る音声・映像情報報知システムは、音声情報を出力する音声出力装置と映像情報を表示する表示装置とを有するもので、表示装置の周辺域を撮像する撮像手段と、撮像手段の撮像により取得された画像データを解析して表示装置の周辺域に存在する情報の告知を受ける被報知対象の数をカウントする第１の計数手段と、撮像手段の撮像により取得された画像データを解析して表示装置の方向に向いている被報知対象の数をカウントする第２の計数手段と、音声出力装置と表示装置とをそれぞれ駆動制御し、第１の計数手段のカウント値が第１の所定値を超えると第１のコンテンツ情報を再生し、この後、第２の計数手段のカウント値が第２の所定値を超えると第２のコンテンツ情報を再生する制御手段とを具備する。
【０００８】
本発明の主要な局面に係る音声・映像情報報知システムの制御方法は、音声情報を出力する音声出力装置と映像情報を表示する表示装置とを駆動制御して音声情報と映像情報とを報知する音声・映像情報報知システムの制御方法において、表示装置の周辺域を撮像し、撮像により取得された画像データを解析して表示装置の周辺域に存在する情報の告知を受ける被報知対象の数をカウントし、音声出力装置と表示装置との少なくも一方を駆動制御し、カウント値が第１の所定値を超えると第１のコンテンツ情報を再生し、撮像により取得された画像データを解析して表示装置の方向に向いている被報知対象の数をカウントし、音声出力装置と表示装置との少なくも一方を駆動制御し、カウント値が第２の所定値を超えると第２のコンテンツ情報を再生する。
【発明の効果】
【０００９】
本発明によれば、視聴者に対して効果的に広告等の情報を提供でき、かつ省エネルギーの観点からも有効な音声・映像情報報知システム及びその制御方法を提供できる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施の形態について図面を参照して説明する。
図１は音声・映像情報報知システムの構成図を示す。撮像手段としてのレンズ系１と、撮像部２とが設けられている。これらレンズ系１と撮像部２とは、撮像装置３を構成する。この撮像装置３は、例えば図２に示すように大型モニタ表示装置４の周辺部、例えば上部に設けられている。この撮像装置３は、大型モニタ表示装置４の表示画面４ａを注視している被報知対象、すなわち視聴者５の顔面に対向するように撮像視野の方向を向けて設置される。すなわち、撮像装置３は、例えば大型モニタ表示装置４の表示画面４ａの前方において当該表示画面４ａを注視しようとしている視聴者５の顔面を撮像することを可能とする方向に撮像視野が向けられている。なお、撮像部２は、レンズ系１によって結像された大型モニタ表示装置４の前方の周辺状況の光像を光電変換して画像信号を出力する。この撮像部２は、例えばＣＣＤ又はＣＭＯＳにより形成される。又、撮像装置３は、大型モニタ表示装置４の前方の周辺状況を動画として撮像してもよいし、又は所定間隔毎に単写により撮像してもよい。
【００１１】
画像処理部６は、撮像装置３から出力される画像信号を入力し、この画像信号をデジタル変換し、かつ各種画像処理を施して画像データを取得する。
頭部・正面顔判定部７は、画像処理部６により取得された画像データを受け取り、この画像データを解析して当該画像データ中に含まれる視聴者５の頭部、正面顔を認識する。すなわち、頭部・正面顔判定部７には、頭部データ記憶部８と正面顔データ記憶部９とが接続されている。このうち頭部データ記憶部８には、視聴者５の頭部を認識するための複数の基準頭部データが予め記憶されている。これら基準頭部データは、例えば視聴者５の頭部の形状、子供や大人等による大きさ、各種髪型等に応じて複数有する。又、正面顔データ記憶部９には、視聴者５の正面顔を認識するための複数の基準正面顔データが予め記憶されている。これら基準正面顔データは、例えば視聴者５の目、鼻、口の形状、大きさ、位置等に応じて複数有する。
【００１２】
しかるに、頭部・正面顔判定部７は、画像処理部６により取得された画像データに対して頭部データ記憶部８に記憶されている複数の基準頭部データを用いてマッチング処理を行い、予め設定されたマッチング率を有する画像データ中の領域を視聴者５の頭部として認識する。
又、頭部・正面顔判定部７は、画像処理部６により取得された画像データに対して正面顔データ記憶部９に記憶されている複数の基準正面顔データを用いてマッチング処理を行い、予め設定されたマッチング率を有する画像データ中の領域を視聴者５の正面顔として認識する。
【００１３】
評価部１０は、撮像装置３の撮像により取得された画像データ中に存在する視聴者５の頭部の数と、視聴者５の正面顔の数とを取得するもので、第１の計数部１１と、第２の計数部１２とを有する。このうち第１の計数部１１は、頭部・正面顔判定部７により画像データ中に認識された視聴者５の頭部の情報を受け取り、画像データ中の視聴者５の頭部の領域の数をカウントする。
第２の計数部１２は、頭部・正面顔判定部７により認識された視聴者５の正面顔の情報を受け取り、画像データ中の視聴者５の正面顔の領域の数をカウントする。この第２の計数部１２は、第１の計数部１１により視聴者５の頭部の領域の数をカウントした後に、視聴者５の正面顔の領域の数をカウントする。
なお、頭部・正面顔判定部７と評価部１０とにより撮像装置３の撮像により取得された画像データを解析して大型モニタ表示装置４の周辺域に存在する視聴者の数をカウントする第１の計数手段と、同画像データを解析して大型モニタ表示装置４の方向に向いている視聴者の数をカウントする第２の計数手段とを構成する。
【００１４】
制御部１３は、図３に示す音声・映像情報報知フローチャートに従った音声・映像情報報知プログラムを予め格納し、この音声・映像情報報知プログラムを実行することにより告知部１４を通して音声出力装置としての発音部１５と映像表示部としての大型モニタ表示装置４とをそれぞれ駆動制御し、第１の計数部１１のカウント値が予め設定された第１の所定値ｎを超えると第１のコンテンツ情報を再生し、この後、第２の計数部１２のカウント値が予め設定された第２の所定値ｍを超えると第２のコンテンツ情報を再生する。そして、制御部１３は、第２の計数部１２のカウント値が予め設定された第３の所定値ｐ以下になると、第２のコンテンツ情報の再生を停止する。
告知部１４は、制御部１３の制御に従って大型モニタ表示装置４と発声部１５とを駆動するもので、音声データ記憶部１６と映像コンテンツ記憶部１７とを有する。このうち音声データ記憶部１６には、第１のコンテンツ情報として大型モニタ表示装置４の周辺域に存在する視聴者５に対して大型モニタ表示装置４の表示画面４ａに対して注視を促す少なくとも音声データが記憶されている。この音声データは、例えば「お客様 いらっしゃいませ。」であり、各種のデータ内容に変更可能である。
又、音声データ記憶部１６には、第２のコンテンツ情報として大型モニタ表示装置４の周辺域に存在する視聴者５に対して報知する主情報に含まれる音声データが記憶されている。この主情報に含まれる音声データは、例えば「弊社の新製品です。どうぞ、ご覧ください。」であり、各種のデータ内容に変更可能である。
【００１５】
映像コンテンツ記憶部１７には、第１のコンテンツ情報として上記音声データ、例えば「お客様 いらっしゃいませ。」の音声出力と共に、大型モニタ表示装置４の表示画面４ａに表示する映像データが記憶されている。この映像データは、例えば「お客様 いらっしゃいませ。」を発生するガイドの女性が映し出される内容を有する。この映像データは、各種の映像内容に変更可能である。
又、映像コンテンツ記憶部１７には、第２のコンテンツ情報として主情報に含まれる音声データ、例えば「弊社の新製品です。どうぞ、ご覧ください。」の音声出力と共に、大型モニタ表示装置４の表示画面４ａに表示する映像データが記憶されている。この映像データは、例えば「弊社の新製品です。どうぞ、ご覧ください。」によりガイドされる製品を有する。この映像データは、各種の映像内容に変更可能である。
【００１６】
発音部１５は、例えばスピーカである。この発音部１５は、例えば大型モニタ表示装置４に向かって当該大型モニタ表示装置４の左側上部に設けられている。この発音部１５は、モノラルによる音声の出力やバイノーラルによる音声の出力、複数チャンネルのステレオによる音声を行うようにしてもよい。
【００１７】
次に、上記の如く構成されたシステムによる音声・映像情報の報知動作について図３に示す音声・映像情報報知フローチャートに従って説明する。
撮像装置３は、ステップＳ１において、大型モニタ表示装置４の表示画面４ａの前方の周辺状況を撮像してその画像信号を出力する。この画像信号は、画像処理部６に送られる。なお、撮像装置３は、大型モニタ表示装置４の前方の周辺状況を動画として撮像してもよいし、又は所定間隔毎に単写により撮像してもよい。
画像処理部６は、撮像装置３から出力される画像信号を入力し、この画像信号をデジタル変換し、かつ各種画像処理を施して画像データを取得する。なお、画像データは、画像メモリ等に記憶される。
【００１８】
次に、頭部・正面顔判定部７は、画像処理部６により取得された画像データを受け取り、この画像データを解析して当該画像データ中に含まれる視聴者５の頭部、正面顔を認識する。すなわち、頭部・正面顔判定部７は、画像処理部６により取得された画像データを受け取ると共に、頭部データ記憶部８から複数の基準頭部データを読み取り、画像データと複数の基準頭部データとの間でそれぞれマッチング処理を行い、予め設定されたマッチング率を有する画像データ中の領域を視聴者５の頭部として認識する。このマッチング処理では、基準頭部データとして例えば視聴者５の頭部の形状、子供や大人等による大きさ、各種髪型等に応じて複数有するので、これらの基準頭部データにマッチングする画像データ中の領域の全てを視聴者５の頭部として認識する。
【００１９】
次に、評価部１０における第１の計数部１１は、頭部・正面顔判定部７により画像データ中に認識された視聴者５の頭部の情報を受け取り、画像データ中の視聴者５の頭部の領域の数をカウントする。
次に、制御部１３は、ステップＳ２において、第１の計数部１１のカウント値が予め設定された第１の所定値ｎを超えているか否かを判定する。すなわち、制御部１３は、第１の計数部１１によりカウントされた視聴者５の頭部の領域の数を、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者の人数として認識し、この視聴者の人数が予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えているか否かを判定する。この判定では、視聴者の人数が予め設定された第１の所定値ｎ（例えばｎ＝４人）なったときも視聴者の人数が予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えた判定する。
【００２０】
例えば図４に示すように大型モニタ表示装置４の表示画面４ａの前方の周辺に２人の視聴者５Ａ、５Ｂが存在し、このうちの１人の視聴者５Ａのみが撮像装置３の撮像視野３ａ内に入っている状況であれば、撮像装置３の撮像により取得される画像データＤａは、例えば図５に示すように１人の視聴者５Ａのみが写ったものとなる。なお、図４中における各視聴者５Ａ、５Ｂに付されている矢印「←」は、各視聴者５Ａ、５Ｂの移動方向を示す。
【００２１】
従って、頭部・正面顔判定部７は、画像データＤａと複数の基準頭部データとの間でそれぞれマッチング処理を行い、予め設定されたマッチング率を有する画像データ中の領域Ｅａを視聴者５Ａの頭部として認識する。そして、第１の計数部１１は、画像データＤａ中に認識された視聴者５Ａの頭部の領域Ｅａの数「１」をカウントする。制御部１３は、第１の計数部１１によりカウントされた視聴者５Ａの頭部の領域の数「１」を、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者５Ａの人数「１」として認識し、この視聴者５Ａの人数「１」が予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えているか否かを判定する。この判定の結果、視聴者５Ａの人数「１」は、予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えていないので、制御部１３は、ステップＳ１、Ｓ２を繰り返し、視聴者５の人数が予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えるのを待つ状態になる。
【００２２】
次に、例えば図６に示すように大型モニタ表示装置４の表示画面４ａの前方の周辺に４人の視聴者５Ａ〜５Ｃが存在し、これら４人の視聴者５Ａ〜５Ｃが撮像装置３の撮像視野３ａ内に入っている状況であれば、撮像装置３の撮像により取得される画像データＤｂは、例えば図７に示すように４人の視聴者５Ａ〜５Ｃが写ったものとなる。
【００２３】
従って、頭部・正面顔判定部７は、上記同様に、画像データＤｂと複数の基準頭部データとの間でそれぞれマッチング処理を行い、予め設定されたマッチング率を有する画像データ中の領域Ｅａ〜Ｅｄをそれぞれ４人の視聴者５Ａ〜５Ｄの各頭部として認識する。そして、第１の計数部１１は、画像データＤｂ中に認識された４人の視聴者５Ａ〜５Ｄの頭部の領域Ｅａ〜Ｅｄの数「４」をカウントする。制御部１３は、第１の計数部１１によりカウントされた４人の視聴者５Ａ〜５Ｄの頭部の領域Ｅａ〜Ｅｄの数「４」を、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者の人数「４」として認識し、この視聴者の人数「４」が予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えているか否かを判定する。
【００２４】
この判定の結果、視聴者の人数「４」が予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えているので、制御部１３は、ステップＳ３に移り、第１のコンテンツ情報を再生する指令を告知部１４に発する。これにより、告知部１４は、音声データ記憶部１６に記憶されている第１のコンテンツ情報として大型モニタ表示装置４の周辺域に存在する４人の視聴者５Ａ〜５Ｄ等に対して大型モニタ表示装置４の表示画面４ａに対して注視を促す少なくとも音声データ、例えば「お客様 いらっしゃいませ。」を読み出す。これと共に、告知部１４は、映像コンテンツ記憶部１７に記憶されている第１のコンテンツ情報として上記音声データ、例えば「お客様 いらっしゃいませ。」の音声出力と共に、大型モニタ表示装置４の表示画面４ａに表示する映像データ、例えば「お客様 いらっしゃいませ。」の挨拶の言葉を発生するガイドの女性を映し出す映像データを読み出す。
【００２５】
そして、告知部１４は、制御部１３の制御に従って大型モニタ表示装置４と発声部１５とを駆動し、例えば図８に示すように発声部１５から例えば「お客様 いらっしゃいませ。」の挨拶の言葉を発生させると共に、大型モニタ表示装置４の表示画面４ａに例えば「お客様 いらっしゃいませ。」の挨拶の言葉を発生するガイドの女性Ｗを映し出す映像データを映し出す。このとき、発声部１５から発せられる例えば「お客様 いらっしゃいませ。」の挨拶の言葉のみとし、ガイドの女性Ｗの映像データの映し出しを取り止めてもよい。これにより、大型モニタ表示装置４の表示画面４ａの前方に存在する４人の視聴者５Ａ〜５Ｄ等の全員が大型モニタ表示装置４の表示画面４ａに向かすことが可能である。
【００２６】
次に、撮像装置３は、ステップＳ４において、大型モニタ表示装置４の表示画面４ａの前方の周辺状況を撮像してその画像信号を出力する。画像処理部６は、撮像装置３から出力される画像信号を入力し、この画像信号をデジタル変換し、かつ各種画像処理を施して画像データを取得する。
次に、頭部・正面顔判定部７は、画像データと複数の基準正面顔データとの間でそれぞれマッチング処理を行い、予め設定されたマッチング率を有する画像データ中の領域を視聴者５の正面顔として認識する。例えば図９に示すように大型モニタ表示装置４の表示画面４ａの前方の周辺に３人の視聴者５Ｂ〜５Ｃが存在し、これら３人の視聴者５Ｂ〜５Ｃが撮像装置３の撮像視野３ａ内に入っている状況であれば、撮像装置３の撮像により取得される画像データＤｃは、例えば図１０に示すように３人の視聴者５Ｂ〜５Ｃが写ったものとなる。
【００２７】
従って、頭部・正面顔判定部７は、画像処理部６により取得された画像データＤｃを受け取ると共に、正面顔データ記憶部９から複数の基準正面顔データを読み取り、これら画像データＤｃと複数の基準正面顔データとの間でそれぞれマッチング処理を行い、予め設定されたマッチング率を有する画像データＤｃ中の各領域Ｆｂ〜Ｆｄを３人の視聴者５Ｂ〜５Ｃの正面顔として認識する。このマッチング処理では、基準正面顔データとして例えば例えば視聴者５の目、鼻、口の形状、大きさ、位置等に応じて複数有するので、これらの基準正面顔データにマッチングする画像データＤｃ中の各領域Ｆｂ〜Ｆｄの全てを３人の視聴者５Ｂ〜５Ｃの正面顔として認識する。
次に、評価部１０における第２の計数部１２は、頭部・正面顔判定部７により認識された視聴者５の正面顔の情報を受け取り、画像データ中の３人の視聴者５Ｂ〜５Ｃの正面顔の各領域Ｆｂ〜Ｆｄの数「３」をカウントする。
【００２８】
次に、制御部１３は、ステップＳ５において、第２の計数部１２のカウント値「３」が予め設定された第２の所定値ｍを超えているか否かを判定する。すなわち、制御部１３は、第２の計数部１２によりカウントされた視聴者５Ｂ〜５Ｃの正面顔の領域の各領域Ｆｂ〜Ｆｄを、大型モニタ表示装置４の表示画面４ａの前方で当該大型モニタ表示装置４の表示画面４ａを見ている３人の視聴者５Ｂ〜５Ｃの正面顔として認識し、これら視聴者５Ｂ〜５Ｃの正面顔の人数「３」が予め設定された第２の所定値ｍ（例えばｍ＝３人）を超えているか否かを判定する。この判定では、視聴者の正面顔の人数が予め設定された第２の所定値ｍ（例えばｍ＝３人）なったときも視聴者の正面顔の人数が予め設定された第２の所定値ｍ（例えばｍ＝３人）を超えた判定する。
【００２９】
なお、予め設定された第２の所定値ｍは、上記第１の所定値ｎよりも小さい値に設定するのがよい。すなわち、第１の所定値ｎを用いて判定するのは、視聴者の頭部すなわち大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者の人数であり、第２の所定値ｍを用いて判定するのは、視聴者の正面顔すなわち大型モニタ表示装置４の表示画面４ａを向いている視聴者の人数である。従って、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者の全員が大型モニタ表示装置４の表示画面４ａを向いている確率は小さいので、第２の所定値ｍは、第１の所定値ｎよりも小さい値に設定するのがよい。
【００３０】
上記判定の結果、視聴者５Ｂ〜５Ｃの正面顔の人数「３」が予め設定された第２の所定値ｍ（例えばｍ＝３人）を超えているので、制御部１３は、ステップＳ６に移り、第２のコンテンツ情報を再生する指令を告知部１４に発する。これにより、告知部１４は、音声データ記憶部１６に記憶されている第２のコンテンツ情報として主情報に含まれる音声データ、例えば「弊社の新製品です。どうぞ、ご覧ください。」を読み出す。これと共に、告知部１４は、映像コンテンツ記憶部１７に記憶されている第２のコンテンツ情報として上記音声データ、例えば「弊社の新製品です。どうぞ、ご覧ください。」の音声出力と共に、大型モニタ表示装置４の表示画面４ａに表示する映像データ、例えば「弊社の新製品です。どうぞ、ご覧ください。」とガイドされる新製品Ｈを映し出す映像データを読み出す。
【００３１】
そして、告知部１４は、制御部１３の制御に従って大型モニタ表示装置４と発声部１５とを駆動し、例えば図１１に示すように発声部１５から例えば「弊社の新製品です。どうぞ、ご覧ください。」の挨拶の言葉を発生させると共に、大型モニタ表示装置４の表示画面４ａに例えば「弊社の新製品です。どうぞ、ご覧ください。」とガイドされる製品Ｈを映し出す映像データを映し出す。
【００３２】
次に、撮像装置３は、ステップＳ７において、大型モニタ表示装置４の表示画面４ａの前方の周辺状況を撮像してその画像信号を出力する。画像処理部６は、撮像装置３から出力される画像信号を入力し、この画像信号をデジタル変換し、かつ各種画像処理を施して画像データを取得する。
次に、頭部・正面顔判定部７は、上記同様に、画像データと複数の基準正面顔データとの間でそれぞれマッチング処理を行い、予め設定されたマッチング率を有する画像データ中の領域を視聴者５の正面顔として認識する。
次に、評価部１０における第２の計数部１２は、頭部・正面顔判定部７により認識された視聴者５の正面顔の情報を受け取り、画像データ中の視聴者の正面顔の領域の人数をカウントする。
【００３３】
次に、制御部１３は、ステップＳ８において、第２の計数部１２によりカウントされた視聴者の正面顔の領域の人数が予め設定された第３の所定値ｐ（ここで、ｐ＝０）であるか否かを判定する。
この判定の結果、視聴者の正面顔の人数が「０人」でなければ、告知部１４は、制御部１３の制御に従って大型モニタ表示装置４と発声部１５とを駆動し、例えば図１１に示すように発声部１５から例えば「弊社の新製品です。どうぞ、ご覧ください。」の挨拶の言葉を発生させると共に、大型モニタ表示装置４の表示画面４ａに例えば「弊社の新製品です。どうぞ、ご覧ください。」とガイドされる製品Ｈを映し出す映像データを映し出すことを続ける。
なお、制御部１３は、第１のコンテンツ情報として例えば「お客様 いらっしゃいませ。」の音声の再生した直後に、第２のコンテンツ情報として例えば新製品Ｈの映像データを映し出してもよい。
【００３４】
一方、視聴者の正面顔の人数が「０人」となり、誰も表示画面を見ていないと判定されると、制御部１３は、ステップＳ９に移り、第２のコンテンツ情報の再生を停止する、すなわち発声部１５から例えば「弊社の新製品です。どうぞ、ご覧ください。」の挨拶の言葉を発生させると共に、大型モニタ表示装置４の表示画面４ａに例えば「弊社の新製品です。どうぞ、ご覧ください。」とガイドされる製品Ｈを映し出す映像データを映し出すことを停止する。
【００３５】
このように上記一実施の形態によれば、大型モニタ表示装置４の表示画面４ａの前方の周辺状況を撮像し、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者の人数として認識し、この視聴者の人数が予め設定された第１の所定値ｎ（例えばｎ＝４人）を超えれば、第１のコンテンツ情報として少なくとも発声部１５から例えば「お客様 いらっしゃいませ。」の挨拶の言葉を発生させ、この後、大型モニタ表示装置４の表示画面４ａを見ている３人の視聴者５Ｂ〜５Ｃの正面顔の人数「３」が予め設定された第２の所定値ｍ（例えばｍ＝３人）を超えれば、第２のコンテンツ情報として少なくとも大型モニタ表示装置４の表示画面４ａに例えば「弊社の新製品です。どうぞ、ご覧ください。」とガイドされる製品Ｈを映し出す映像データを映し出す。
【００３６】
これにより、視聴者、例えば３人の視聴者５Ｂ〜５Ｃ等に対して効果的に新製品等の広告の情報等を提供できる。すなわち、大型モニタ表示装置４の表示画面４ａを見ている視聴者の人数が多くなるまで待つ必要がなく、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者の人数が例えば第１の所定値ｎ（例えばｎ＝４人）以上であれば、これら視聴者が大型モニタ表示装置４の表示画面４ａを見ていなくても、第１のコンテンツ情報として発声部１５から例えば「お客様 いらっしゃいませ。」の挨拶の言葉を発生させることにより大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者を大型モニタ表示装置４の表示画面４ａに注視させることが出来る。例えば、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者等の全員を大型モニタ表示装置４の表示画面４ａに向かすことが可能である。
【００３７】
そして、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者を大型モニタ表示装置４の表示画面４ａに注視させた状態で、第２のコンテンツ情報として少なくとも大型モニタ表示装置４の表示画面４ａに例えば「弊社の新製品です。どうぞ、ご覧ください。」とガイドされる製品Ｈを映し出す映像データを映し出すので、大型モニタ表示装置４の表示画面４ａの前方に存在する視聴者に対して製品Ｈ等の第２のコンテンツ情報を視聴させることが出来る。
ここで、例えば「弊社の新製品です。どうぞ、ご覧ください。」等の第２のコンテンツ情報の再生のタイミングは、例えば「お客様 いらっしゃいませ。」等の第１のコンテンツ情報の再生の終了直後で、視聴者を大型モニタ表示装置４の表示画面４ａに注視しているときに再生することが有効である。
【００３８】
第１のコンテンツ情報は、例えば「お客様 いらっしゃいませ。」に限らず、例えば「ちょっと いいですか？」等の大型モニタ表示装置４の表示画面４ａに注視させるような内容であれば、如何なる内容であってもよい。
又、常時、第２のコンテンツ情報として例えば「弊社の新製品です。どうぞ、ご覧ください。」とガイドされる製品Ｈの映像データを大型モニタ表示装置４の表示画面４ａに映し出すのでなく、視聴者の正面顔の人数が「０人」になると、第２のコンテンツ情報の再生を停止するので、大型モニタ表示装置４の前方に視聴者がいなければ、第２のコンテンツ情報の再生を停止することになり、無駄な電力を消費することがなく、省エネルギーの観点からも有効である。
【００３９】
又、大型モニタ表示装置４の表示画面４ａを見ている視聴者の正面顔の人数が予め設定された第２の所定値ｍを超えたか否かを判定するので、大型モニタ表示装置４の表示画面４ａの前方に視聴者が第３の所定値の人数より多くても、これら視聴者が大型モニタ表示装置４の表示画面４ａの方向に向いていなければ、例えば製品Ｈの映像データを映し出すことはなく、この場合も省エネルギー化を実現できる。
【００４０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００４１】
【図１】本発明に係る音声・映像情報報知システムの一実施の形態を示す構成図。
【図２】同装置における大型モニタ表示装置及びスピーカ等の発音部を示す図。
【図３】同装置における音声・映像情報報知フローチャート。
【図４】同装置における大型モニタ表示装置の表示画面の前方の周辺に１人の視聴者が存在する場合を示す図。
【図５】同装置における大型モニタ表示装置の表示画面の前方の周辺に１人の視聴者が存在するときの画像データの摸式図。
【図６】同装置における大型モニタ表示装置の表示画面の前方の周辺に４人の視聴者が存在する場合を示す図。
【図７】同装置における大型モニタ表示装置の表示画面の前方の周辺に４人の視聴者が存在するときの画像データの摸式図。
【図８】同装置における告知部によって発声部から発せられる挨拶の言葉とそのガイドの女性を映し出す映像を示す図。
【図９】同装置における大型モニタ表示装置の表示画面の前方の周辺に３人の視聴者が存在するときの画像データの摸式図。
【図１０】同装置における大型モニタ表示装置の表示画面の前方の周辺に３人の視聴者が存在するときの画像データの摸式図。
【図１１】同装置における告知部によって大型モニタ表示装置に映し出される製品の映像を示す図。
【符号の説明】
【００４２】
１：レンズ系、２：撮像部、３：撮像装置、４：大型モニタ表示装置、４ａ：大型モニタ表示装置の表示画面、５：視聴者、６：画像処理部、７：頭部・正面顔判定部、８：頭部データ記憶部、９：正面顔データ記憶部、１０：評価部、１１：第１の計数部、１２：第２の計数部、１３：制御部、１４：告知部、１５：発音部、１６：音声データ記憶部、１７：映像コンテンツ記憶部。
【特許請求の範囲】
【請求項１】
音声情報を出力する音声出力装置と映像情報を表示する表示装置とを有する音声・映像情報報知システムにおいて、
前記表示装置の周辺域を撮像する撮像手段と、
前記撮像手段の撮像により取得された画像データを解析して前記表示装置の前記周辺域に存在する情報の告知を受ける被報知対象の数をカウントする第１の計数手段と、
前記撮像手段の撮像により取得された画像データを解析して前記表示装置の方向に向いている前記被報知対象の数をカウントする第２の計数手段と、
前記音声出力装置と前記表示装置とをそれぞれ駆動制御し、前記第１の計数手段の前記カウント値が第１の所定値を超えると第１のコンテンツ情報を再生し、この後、前記第２の計数手段の前記カウント値が第２の所定値を超えると第２のコンテンツ情報を再生する制御手段と、
を具備することを特徴とする音声・映像情報報知システム。
【請求項２】
前記第１のコンテンツ情報は、前記表示装置の周辺域に存在する前記被報知対象に対して前記表示装置の表示画面に対して注視を促す少なくとも音声情報を含むことを特徴とする請求項１記載の音声・映像情報報知システム。
【請求項３】
前記第２のコンテンツ情報は、前記表示装置の周辺域に存在する前記被報知対象に対して報知する主情報を含むことを特徴とする請求項１記載の音声・映像情報報知システム。
【請求項４】
前記第２の計数手段は、前記撮像手段の撮像により取得された画像データを解析して前記被報知対象の顔面を認識し、当該顔面の数をカウントすることを特徴とする請求項１記載の音声・映像情報報知システム。
【請求項５】
前記制御手段は、前記第１のコンテンツ情報を再生した直後に、前記第２のコンテンツ情報を再生することを特徴とする請求項１記載の音声・映像情報報知システム。
【請求項６】
前記制御手段は、前記第１の計数手段の前記カウント値が第３の所定値以下になると、前記第２のコンテンツ情報の再生を停止することを特徴とする請求項１記載の音声・映像情報報知システム。
【請求項７】
前記制御手段には、前記第２の所定値を前記第１の所定値よりも小さい値に設定可能であることを特徴とする請求項１記載の音声・映像情報報知システム。
【請求項８】
前記撮像手段は、前記表示装置の周辺部に設けられ、前記表示装置の表示画面を注視している前記被報知対象の顔面に対向する撮像視野の方向に設置されていることを特徴とする請求項１記載の音声・映像情報報知システム。
【請求項９】
音声情報を出力する音声出力装置と映像情報を表示する表示装置とを駆動制御して前記音声情報と前記映像情報とを報知する音声・映像情報報知システムの制御方法において、
前記表示装置の周辺域を撮像し、
前記撮像により取得された画像データを解析して前記表示装置の前記周辺域に存在する情報の告知を受ける被報知対象の数をカウントし、
前記音声出力装置と前記表示装置との少なくも一方を駆動制御し、前記カウント値が第１の所定値を超えると第１のコンテンツ情報を再生し、
前記撮像により取得された画像データを解析して前記表示装置の方向に向いている前記被報知対象の数をカウントし、
前記音声出力装置と前記表示装置との少なくも一方を駆動制御し、前記カウント値が第２の所定値を超えると第２のコンテンツ情報を再生する、
ことを特徴とする音声・映像情報報知システムの制御方法。
【請求項１】
音声情報を出力する音声出力装置と映像情報を表示する表示装置とを有する音声・映像情報報知システムにおいて、
前記表示装置の周辺域を撮像する撮像手段と、
前記撮像手段の撮像により取得された画像データを解析して前記表示装置の前記周辺域に存在する情報の告知を受ける被報知対象の数をカウントする第１の計数手段と、
前記撮像手段の撮像により取得された画像データを解析して前記表示装置の方向に向いている前記被報知対象の数をカウントする第２の計数手段と、
前記音声出力装置と前記表示装置とをそれぞれ駆動制御し、前記第１の計数手段の前記カウント値が第１の所定値を超えると第１のコンテンツ情報を再生し、この後、前記第２の計数手段の前記カウント値が第２の所定値を超えると第２のコンテンツ情報を再生する制御手段と、
を具備することを特徴とする音声・映像情報報知システム。
【請求項２】
前記第１のコンテンツ情報は、前記表示装置の周辺域に存在する前記被報知対象に対して前記表示装置の表示画面に対して注視を促す少なくとも音声情報を含むことを特徴とする請求項１記載の音声・映像情報報知システム。
【請求項３】
前記第２のコンテンツ情報は、前記表示装置の周辺域に存在する前記被報知対象に対して報知する主情報を含むことを特徴とする請求項１記載の音声・映像情報報知システム。
【請求項４】
前記第２の計数手段は、前記撮像手段の撮像により取得された画像データを解析して前記被報知対象の顔面を認識し、当該顔面の数をカウントすることを特徴とする請求項１記載の音声・映像情報報知システム。
【請求項５】
前記制御手段は、前記第１のコンテンツ情報を再生した直後に、前記第２のコンテンツ情報を再生することを特徴とする請求項１記載の音声・映像情報報知システム。
【請求項６】
前記制御手段は、前記第１の計数手段の前記カウント値が第３の所定値以下になると、前記第２のコンテンツ情報の再生を停止することを特徴とする請求項１記載の音声・映像情報報知システム。
【請求項７】
前記制御手段には、前記第２の所定値を前記第１の所定値よりも小さい値に設定可能であることを特徴とする請求項１記載の音声・映像情報報知システム。
【請求項８】
前記撮像手段は、前記表示装置の周辺部に設けられ、前記表示装置の表示画面を注視している前記被報知対象の顔面に対向する撮像視野の方向に設置されていることを特徴とする請求項１記載の音声・映像情報報知システム。
【請求項９】
音声情報を出力する音声出力装置と映像情報を表示する表示装置とを駆動制御して前記音声情報と前記映像情報とを報知する音声・映像情報報知システムの制御方法において、
前記表示装置の周辺域を撮像し、
前記撮像により取得された画像データを解析して前記表示装置の前記周辺域に存在する情報の告知を受ける被報知対象の数をカウントし、
前記音声出力装置と前記表示装置との少なくも一方を駆動制御し、前記カウント値が第１の所定値を超えると第１のコンテンツ情報を再生し、
前記撮像により取得された画像データを解析して前記表示装置の方向に向いている前記被報知対象の数をカウントし、
前記音声出力装置と前記表示装置との少なくも一方を駆動制御し、前記カウント値が第２の所定値を超えると第２のコンテンツ情報を再生する、
ことを特徴とする音声・映像情報報知システムの制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−４３５５（Ｐ２０１０−４３５５Ａ）
【公開日】平成２２年１月７日（２０１０．１．７）
【国際特許分類】
【出願番号】特願２００８−１６１９２６（Ｐ２００８−１６１９２６）
【出願日】平成２０年６月２０日（２００８．６．２０）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２２年１月７日（２０１０．１．７）
【国際特許分類】
【出願日】平成２０年６月２０日（２００８．６．２０）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]