商品選択支援方法
【課題】商品画面を利用する利用者の商品画面への注視結果をこの商品画面での表示形態にフィードバックし、利用者に好適な画面表示を提供する
【解決手段】表示画面の前に注視する利用者が居ない場合には、表示画面に複数の商品の画像７１がランダムな配列でスクロールする商品一覧画面７０ａが表示され、利用者が表示画面に近づいて商品一覧画面７０ａの特定の商品の画像を注視すると、その注視点を含む注視領域７３内の商品の画像７１が、中央部に注視領域７３ａが設定されて、この注視領域７３ａ内に位置付けられた商品一覧画面７０ａが表示される。さらに、この注視領域７３ａ内の商品の画像７１を注視続けると、この商品の画像７１が強調表示される。
【解決手段】表示画面の前に注視する利用者が居ない場合には、表示画面に複数の商品の画像７１がランダムな配列でスクロールする商品一覧画面７０ａが表示され、利用者が表示画面に近づいて商品一覧画面７０ａの特定の商品の画像を注視すると、その注視点を含む注視領域７３内の商品の画像７１が、中央部に注視領域７３ａが設定されて、この注視領域７３ａ内に位置付けられた商品一覧画面７０ａが表示される。さらに、この注視領域７３ａ内の商品の画像７１を注視続けると、この商品の画像７１が強調表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動販売機や施設内の広告表示板などに設けられてＩＰネットワークからダウンロードされた商品などの商品情報を表示するデジタルサイネージに関し、特に、表示される表示情報に対する顧客の注視度を商品情報の表示形態にフィードバックして利用できるようにした商品選択支援方法に関する。
【背景技術】
【０００２】
店舗などにおいて、設置された表示装置に通信システムから受信した商品に関するコンテンツを表示し、来店した顧客に商品の宣伝や広告を行なうことができるようにしたデジタルサイネージを用いたシステムが知られている（例えば、特許文献１参照）。
【０００３】
かかるシステムとしては、各場所に設置される自動販売機やコンビニエンスストアといった店舗などの施設内に設置される広告表示板にデジタルサイネージを用い、ダウンロードされた商品の広告情報（例えば、商品の画像など）を表示画面に表示し、商品の宣伝・広告を行なうことが考えられる。ところで、商品の広告，宣伝を行なう場合には、店舗側としては、その広告，宣伝の効果がどのようなものであるか知ることが必要であり、このため、広告，宣伝される各商品に対する顧客の注視度（各商品に対する顧客の注目の度合い）を検出するような技術も提案されている。
【０００４】
その一例として、商品の陳列棚に陳列されている商品の人物による注目度を算出し、夫々の商品の注目度を画面で表示するようにした技術が提案されている（例えば、特許文献２参照）。
【０００５】
この特許文献２に記載の技術では、陳列棚にカメラと位置計測装置とを設け、陳列棚の商品に注目する人物（顧客）をカメラで撮像して人物の画像を取得するとともに、位置計測装置でこの人物の位置を検出し、この人物の画像から顔が向いている方向（顔方向）と眼が向いている視線の方向とを検出し、検出したこの人物の位置と顔方向と視線の方向とから陳列棚でのこの人物が注目している商品を検出するものであって、陳列棚での各商品毎に注目された回数を集計し、表示画面上に各商品毎に注目された回数を棒グラフで、あるいは単位時間当りの注目回数の変化をヒストグラフで表示するなど、かかる注目回数を注目度として、注目度を表わすグラフックスを商品の画像と重ね合わせて表示するものである。
【０００６】
また、他の例として、表示画面に大きいサイズの主表示領域と１以上の小さいサイズの副表示領域とを設定し、主表示領域と副表示領域とに別々のカメラで撮影した映像を表示し、これら主表示領域と副表示領域とで映像が表示される表示画面を観る視聴者のこれら画像毎の表示要求度を検出し、表示要求度も最も高い映像を主表示領域で表示するようにし、夫々の表示要求度が変化して副表示領域に表示されている映像の表示要求度が最大となると、この映像を、これまで主表示領域で表示されていた映像に代えて、主表示領域で表示させるようにした技術も提案されている（例えば、特許文献３参照）。
【０００７】
特許文献３に記載の技術において、視聴者による表示要求度を求める場合も、カメラで表示画面の近くにいる人物を撮像してその顔画像を取得し、この顔画像から表示画面に顔を向けている人物を視聴者としてを認識し、これら視聴者の顔画像の位置座標を検出するとともに、これら視聴者の顔の方向と眼球の方向とを認識して視聴者毎に視線方向を検出し、検出した顔画像の位置座標と視線方向とから表示画面中の注視している視線の位置座標を検出し、この視線の位置座標に基づいて、視聴者毎に、注目している映像を判定する。そして、上記の顔画像の位置座標を基に、視聴者の顔がどの程度静止しているか、従って、ある映像をどのくらい続けて観ているかを検出して満足度を算出し、この満足度と上記の注目している映像と判定した映像とを基に、映像毎に視聴者全員についての満足度を加算することにより、映像毎の表示要求度を求めるものである。
【０００８】
なお、人物の視線の方向を計測する方法として、この人物の顔の水平方向（左右方向）の向きと垂直方向（上下方向）の向きとから求めるようにした他の方法が提案されている（例えば、特許文献４参照）。
【０００９】
この特許文献４に記載の技術では、カメラで撮像した人物の映像からその顔画像を取得し、顔画像の領域である顔領域の垂直方向の中心位置に対して、この顔画像でのこの顔領域の中心位置にあるべき箇所（顔器官中心位置）が水平方向にずれている場合、これを顔の水平方向の向きとして検出し、顔画像での肩から予め決められた高さの位置での部位の位置を基準位置とし、この基準位置にあるべき部位が上下方向に位置ずれた測定点にあるときには、推定される頭部の中心位置とこの測定点とを結ぶ直線のこの頭部の中心点を含む水平面からの角度を顔の垂直方向の向きとして検出する。そして、これらの検出した水平方向の向きと垂直方向の向きとから、顔の向きを求める。
【００１０】
このようにして、顔の向きが求まると、顔の向きに対する眼球の中心の向き（頭部の想定される中心位置と眼球の中心の位置とを結ぶ直線の方向）が求められ、この眼球の中心の向きが視線の方向となる。そして、このようにして求めた左右両目の視線の方向となり、これら視線の方向を重み付けして足し合わせることにより、この人物が観ている視線の方向が得られることになる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００９−１９４４８０号公報
【特許文献２】特開２００７−２８６９９５号公報
【特許文献３】特開２００６−１１９４０８号公報
【特許文献４】特開２００９−１０４５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上記の特許文献１に記載のように、デジタルサイネージを用いて商品の宣伝，広告を行なうようにした技術は既に知られており、また、特許文献２に記載のように、配列される商品に対する顧客の注目度を計測する技術も知られている。人物のかかる注目度を計測する方法としては、例えば、上記の特許文献４にも、その一例が紹介されている。
【００１３】
ところで、このように、顧客の商品に対する注目度を計測しても、この計測結果は商品を販売する店舗側にのみ利用されるものであって、顧客としては、陳列される商品や表示画面に表示される商品の画像を、同じ表示状態のままで、見るだけのものである。
【００１４】
顧客側としては、自動販売機や広告サイネージに表示されている商品の配列を見て商品を購入する場合、羅列された多くの商品の画像の中からから希望する商品を選択することになるが、表示される商品の画像が多くなるほど、表示される商品の画像のサイズは小さくなり、利用者がその中から希望する商品を見つけ出すことは手間と時間がかかるものであるし、また、誤った選択をする可能性もある。
【００１５】
また、表示画面のサイズを大きくし、夫々の商品の画像を大きく表示することも考えられが、装置が大型化して高価なものとなるし、表示画面のサイズが大きくなると、利用者は希望する商品を見つけ出すために、表示画面の前で動きまわるような事態も生じかねない。
【００１６】
なお、上記特許文献３には、視聴者の視線方向を計測して最も注目している映像を主表示領域で拡大して表示するようにした技術が提案されているが、商品を販売するための自動販売機や広告サイネージでは、複数の商品の画像がすべて同じサイズで表示されているものであり、常に１つの商品の画像を拡大して表示されるようなことは行なわれないものである。
【００１７】
本発明は、以上のような点に鑑みとなされたものであって、その目的は、表示画面で表示される商品画面を利用する利用者の商品画面への注視結果をこの画面での表示形態にフィードバックし、利用者に好適な画面表示を提供することが可能とした商品選択支援方法を提供することにある。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、本発明は、商品情報を格納した商品情報記録部と、商品の画像を表わす商品画面を表示画面に表示する表示部と、商品画面を利用する利用者を撮影する撮像部と、撮像部で撮影された利用者の画像から利用者の視線方向を検出する視線方向計測部と、表示部に対する利用者の位置を計測する利用者位置計測部と、利用者による商品画面での商品画像に対する注視度を算出する注視度算出部とを備えた装置を用い、利用者位置計測部によって所定の領域内の利用者を検出されると、視線方向計測部により、利用者の表示画面への視線方向を検出し、利用者の位置と視線方向とから利用者の表示画面に表示される商品画面での商品の画像に対する注視度を算出し、表示画面のうちの注視度の高い商品の画像が含まれる注視領域を特定して、注視領域に含まれる商品の画像を強調表示し、利用者の商品の画像に対する注視度と強調表示した注視領域に含まれる商品の画像とにより、商品の画像に該当する商品毎の注視度を算出し、商品情報記録部に記録することを特徴とする。
【００１９】
また、本発明は、強調表示が、注視度が高い商品の画像の拡大表示、または、商品の画像の近傍での当該商品の詳細情報の表示であることを特徴とする。
【００２０】
また、本発明は、強調表示が、注視度が高い商品の画像の拡大表示であって、拡大表示された商品の画像に対する利用者の視線方向と利用者の位置とを検出して、拡大表示された商品の画像に対する利用者の注視度を算出し、商品の画像を拡大表示中の表示画面のうち注視度の高い商品の画像を含む注視領域を特定し、注視領域に含まれる商品の画像をさらに拡大表示することを特徴とする。
【００２１】
また、本発明は、強調表示が、注視度が高い商品の画像での当該商品の詳細情報の表示であって、表示された詳細情報のうち特定の詳細情報が選択されると、選択された詳細情報に該当する商品情報を検索して、表示部に選択可能に表示することを特徴とする。
【００２２】
また、本発明は、表示画面には、タッチパネルが設けられ、商品画面に表示される商品の画像がタッチ操作されることにより、タッチ操作された商品の画像に該当する商品の購入決定処理を行なうことを特徴とする。
【００２３】
また、本発明は、商品画面は、複数の商品の画像をスクロール表示し、利用者がサイネージに対する所定の領域内に検出されると、利用者の位置と利用者の視線方向とから、スクロール表示する商品画面での商品の画像に対する利用者の注視度を算出し、スクロール表示する商品画面での商品の画像のうち、注視度の高い商品の画像を商品画面の中心に停止して表示することを特徴とする。
【００２４】
また、本発明は、商品情報記録部には、各商品毎の注視度及び各商品の販売履歴が記録され、商品の注視度及び販売実績のランキングを表示部で表示可能とすることを特徴とする。
【００２５】
また、本発明は、商品情報記録部には、詳細情報の選択履歴が記録され、選択された詳細情報のランキングを表示部で表示可能とすることを特徴とする。
【発明の効果】
【００２６】
本発明によると、複数の商品の画像が表示された商品画面での所定の商品の画像を注視するという動作だけでもって、商品画面での表示形態を利用者に好適なものとすることができ、利用者に手間をかけずに、この商品画面での希望する商品の選択を容易にかつ確実なものとする。
【図面の簡単な説明】
【００２７】
【図１】本発明による商品選択支援方法を実行するサイネージの一具体例としてのサイネージ自販機を示す外観斜視図である。
【図２】本発明による商品選択支援方法を実行するサネージの一具体例としての広告サイネージとその設置状態とを示す外観斜視図である。
【図３】図１に示すサイネージ自販機の動作の概略説明図である。
【図４】図２に示す広告サイネージの動作の概略説明図である。
【図５】図２に示す広告サイネージのブロック構成の一具体例を示す構成図である。
【図６】図１に示すサイネージ自販機１のブロック構成の一具体例を示す構成図である。
【図７】図５，図６における空間情報記録部３５に格納されている商品の注視データの一具体例を示す図である。
【図８】サイネージに対する人物の位置に応じたサイネージの動作を概念的に示す図である。
【図９Ａ】本発明による商品選択支援方法の第１の実施形態の処理の流れの一部を示す図である。
【図９Ｂ】図９Ａの処理に続いて実行される処理の流れの一具体例を示す図である。
【図１０】本発明による商品選択支援方法の第２の実施形態の処理の流れの一部を示す図である。
【図１１】本発明による商品選択支援方法の第３の実施形態の処理の流れに対する表示画面２１での画面の流れ一部を示す図である。
【図１２】本発明による商品選択支援方法の第４の実施形態の処理の流れに対する図２における表示画面２１での画面の流れ一部を示す図である。
【図１３】本発明による商品選択支援方法の第５の実施形態の処理の流れに対する図２における表示画面２１での画面の流れの一部を示す図である。
【図１４】本発明による商品選択支援方法の第６の実施形態の処理の流れに対する図２における表示画面２１での画面の流れの一部を示す図である。
【図１５】本発明による商品選択支援方法の第７の実施形態での図２における表示画面２１での画面の他の具体例を示す図である。
【図１６】本発明による商品選択支援方法の第８の実施形態での図２における表示画面２１での画面の他の具体例を示す図である。
【図１７】本発明による商品選択支援方法の第９の実施形態の処理の流れに対する図２における表示画面２１での画面の流れの一部を示す図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施形態を図面を用いて説明する。
【００２９】
図１は本発明による商品選択支援方法を実行するサイネージの一具体例としての自動販売機であるサイネージ自販機を示す外観斜視図であって、１はサイネージ自販機、２は表示画面、３はカメラ、４は操作部、５は現金投入口、６はカードタッチ部、７は釣銭取り出し口、８は商品取り出し口、９，１０はスピーカ、１１は利用者である。
【００３０】
同図において、サイネージ自販機１は、その筐体の前面に、複数の商品の画像（図示せず）が配列されて表示される表示画面２が設けられており、その表示画面２の上側中央部にカメラ３が設けられ、また、表示画面２の下側に操作部４が夫々設けられており、さらに、この操作部４の下側の左右両側にスピーカ９，１０が設けられている。
【００３１】
表示画面２は、その前に平均的な身長の利用者１１が正面を向いてこの表示画面２の前に立ったとき、この利用者１１の視線が表示画面２のほぼ中央の高さ位置を指すように、その高さ位置が設定されている。この表示画面２には、タッチパネル（図示せず）が設けられており、そこに表示されている商品の画像のうちのいずれかをタッチ操作でもって選択指定することができ、これにより、利用者１１は、表示画面２で画像が表示される商品のうちから希望する商品を選択して購入することができる。
【００３２】
カメラ３は、この表示画面２の上側中央部の位置から、この表示画面２に表示された商品の画像を見るために、この表示画面２の前に立ち止まった利用者１１やこの表示画面２の前をこの表示画面２を見ながら通り過ぎる利用者１１の少なくとも顔を含む範囲を撮影できるように、その撮影範囲（視野範囲）が設定されている。カメラ３で撮影された利用者１１の顔の画像は、表示画面２で画像が表示される商品の注視度を求めるのに用いられるものである。カメラ３は、この撮影範囲内に居るいずれの人物も撮影するが、このサイネージ自販機１から所定距離以上離れていてカメラ３で撮影して得られた顔の画像で眼や鼻，口などの顔の各部位を判別できないような場合には、かかる人物は表示画面２で表示される商品の画像を注視している利用者１１とはせず、その顔の画像は注視度の算出に用いない。
【００３３】
カメラ３で撮影された画像を画像認識処理することにより、利用者１１とサイネージ自販機１との距離を検知し、その位置を検出するものであって、利用者１１のサイネージ自販機１からの距離に応じて表示画面２での表示形態を変化される。
【００３４】
操作部４は、表示画面２でタッチ操作によって指定した商品を購入するためのものであって、現金投入口５とカードタッチ部６と釣銭取り出し口７と商品取り出し口８とを備えている。現金投入口５は、紙幣や貨幣を投入するためのものであって、ここで、図示しないが、紙幣の投入口と貨幣の投入口とからなる。カードタッチ部６は、クレジットカードなどのＩＣカードを備えて商品の購入などに電子マネーを扱うカード（以下、電子マネーカードという）で購入商品の料金を支払うためのものであって、かかるカードをカードタッチ部６に触れさせることにより、購入商品の料金の支払いが行なわれる。現金投入口５で現金を投入することにより、あるいはカードタッチ部６にカードを触れさせることにより、表示画面２で指定された商品の画像の料金が支払われることになり、商品取り出し口８の内側にこの商品が排出されて、この商品取り出し口８から利用者１１がこの商品を取り出すことができるし、お釣りがある場合には、その釣銭を釣銭取り出し口７で受け取ることができる。
【００３５】
操作部４の下側の左右に設けられているスピーカ９，１０は、表示画面２に画像が表示される商品の説明などをステレオ音声で出力する。
【００３６】
図２は本発明による商品選択支援方法を実行するサイネージの一具体例としての広告表示板である広告サイネージとその設置状態とを示す外観斜視図であって、２０は広告表示板、２１は表示画面、２２はカメラ、２３，２４はスピーカ、２５は制御部、２６は店舗のレジ（料金の支払をする場所）、２６ａはキャッシュレジスタ（料金の支払をする機械）、２７は壁で、２８はレジ係、２９は利用者である。
【００３７】
同図において、ここでは、広告サイネージ２０が、店舗内でのキャッシャレジスタ２６ａが設けられていて利用者２９が料金の支払をするレジ２９の前やその近くに居る利用者２９が見ることができるように、レジ２９の後ろの壁２７の上部に取り付けられている。但し、これに限るものではなく、広告サイネージ２０は店舗内の任意の場所の壁に取り付けられていてもよい。
【００３８】
この広告サイネージ２０は、複数の商品の画像を表示する表示画面２１と、その上側中央に設けられたカメラ２２と、表示画面２１の裏側に取り付けられている制御部２５とからなり、レジ係２８で表示画面２１が見えなくならないように、比較的高い位置に設置されており、このため、やや下向きの傾斜した状態で設置されている。これとともに、カメラ２２も、この表示画面２１の下向きの傾きに応じて、下向きに傾いており、その撮影範囲（視野範囲）も、レジ２６の前やその近くに居るこの広告サイネージ２０の利用者２９の少なくとも顔を含む範囲を撮影できるように設定されている。
【００３９】
カメラ２２の近くには、その左右両側にスピーカ２３，２４も設けられており、表示画面２に商品の画像が表示される商品の説明などをする音声が出力される。また、カメラ２２で撮影された画像を画像認識処理することにより、利用者２９と広告サイネージ２０との距離を検知するものであって、この利用者２９のレジ２６からの距離に応じて広告サイネージ２０の表示画面２１での表示形態を変化させる。
【００４０】
図３は図１に示すサイネージ自販機１の動作の概略説明図であって、１１ａは利用者１１の視線であり、図１に対応する部分には同一符号をつけて重複する説明を省略する。
【００４１】
同図において、カメラ３はその撮影範囲（なお、ここでは、左右方向について破線で示しているが、上下方向にも範囲がある。なお、一点鎖線は、カメラ３の視野の中心の方向を示すものである）内の撮影を常時行なっており、利用者１１がサイネージ自販機１に近づいてカメラ３の撮影範囲内に入ると、上記のように、カメラ３が撮影したこの利用者１１の顔の画像を基に、この利用者１１の表示画面２への注視方向としての表示画面２に向かう視線１１ａの方向を検出し、これを基に、この利用者１１が注視している表示画面２に表示されている商品の画像（図示せず）を判定する。この判定を基に、利用者１１によって注視された商品の画像に該当する商品の注視度が求められる。
【００４２】
このようにして、表示画面２に画像が表示される商品の注視度が求められ、かかる注視度に応じて表示画面２での表示形態が変更され、利用者１１の表示画面２への注視結果が表示画面２１での表示にフィードバックされる。
【００４３】
図４は図２に示す広告サイネージ２０の動作の概略説明図であって、２９ａは利用者２９の視線であり、図１に対応する部分には同一符号をつけて重複する説明を省略する。
【００４４】
この広告サイネージ２０についても、図３に示すサイネージ自販機１と同様であるが、図４において、カメラ２２はその撮影範囲（なお、ここでは、左右方向について破線で示しているが、上下方向にも範囲がある。なお、一点鎖線は、カメラ２２の視野の中心の方向を示すものである）内の撮影を常時行なっており、利用者２９がレジ２６に近づいてカメラ２２の撮影範囲内に入ると、上記のように、カメラ２２が撮影したこの利用者２９の顔の画像を基に、この利用者２９の表示画面２１への注視方向としての表示画面２１に向かう視線２９ａの方向を検出し、これを基に、この利用者２９が注視している表示画面２１に表示されている商品の画像（図示せず）を判定する。この判定を基に、利用者２９によって注視された商品の画像に該当する商品の注視度が求められる。
【００４５】
このようにして、表示画面２１に画像が表示される商品の注視度が求められ、かかる注視度に応じて表示画面２１での表示形態が変更されるものであり、利用者２９の表示画面２１への注視結果が表示画面２１での表示にフィードバックされる。
【００４６】
次に、図１に示すサイネージ自販機１と図２に示す広告サイネージ２０とのブロック構成について説明するが、サイネージ自販機１のブロック構成はその一部を広告サイネージ２０のブロック構成とするものであるから、まず、広告サイネージ２０のブロック構成について説明する。
【００４７】
図５は図２に示す広告サイネージ２０のブロック構成の一具体例を示す構成図であって、３０は注目度計測部、３１は撮像部、３２は人物位置計測部、３３は視線方向計測部、３４は注視位置情報算出部、３５は空間情報記録部、３６は注視度算出部、３７は集計部、３８は入力部、３９は出力制御部、４０は出力部、４１は表示フィードバック部、４２は表示装置、４３は表示集計部、４４はスピーカ部、４５は端末記憶部、４６は端末制御部、４７は履歴ＤＢ（データベース）サーバ、４８は端末通信部、４９は電源部である。
【００４８】
同図において、広告サイネージ２０は、その内部に注視度計測部３０と表示フィードバック部４１とを備えている。注視度計測部３０は、先に挙げた特許文献２（特開２００７ー２８６９９５号公報）に記載の注目度計測装置と同様の構成をなすものであるが、まず、注視度計測部３０について説明する。
【００４９】
注視度計測部３０は、カメラ２２（図２）を備えた撮像部３１と、人物位置計測部３２と、視線方向計測部３３と、注視位置情報算出部３４と、空間情報記録部３５と、注視度算出部３６と、集計部３７と、入力部３８と、出力制御部３９と、出力部４０とから構成されている。
【００５０】
撮像部３１では、図４で示すように、カメラ２２（図２）が利用者２９（図２）を撮像し、その撮像によって得られた動画の画像信号を処理して視線方向計測部３３に供給する。また、人物位置計測部３２は、カメラ２２で得られる画像信号から利用者１９までの距離を計測することにより、利用者２９の位置を表わす位置情報を取得し、視線方向計測部３３に供給する。視線方向計測部３３は、撮像部３１から供給された画像信号から利用者２９の肩の部分も含めた顔の部分の画像（顔画像）を抽出するとともに、この利用者２９の顔での眼の位置を抽出し、この顔の画像から利用者２９の表示画面２１（図２）に対する顔の左右方向，上下方向の向きを計測して、この顔の画像での瞳の位置などを基に、この利用者２９の視線方向を計測する。
【００５１】
空間情報記録部３５には、表示画面２１上の座標系の情報や広告サイネージ２０の表示画面２１で表示される各商品の画像の座標範囲を示す情報が格納されている。この商品の画像の表示画面２１上での表示位置座標は、この表示画面２１上の座標系での座標で表わされている。また、空間情報記録部３５には、表示画面２１で表示された各商品毎の注視度のデータ（以下、商品別注視データという）や、現在広告サイネージ２０の前で表示画面２１を見ている利用者１１の各商品に対する注視度の商品別注視データ（以下、利用者別注視データという）が格納されており、視線方向計測部３３の計測結果や注視位置情報算出部３４，注視度算出部３６での算出結果に応じてこれらは更新される。
【００５２】
注視位置情報算出部３４は、視線方向計測部３３で得られた視線方向と利用者２９の眼の位置と人物位置計測部３２から供給される利用者２９の位置情報とに基づき、また、空間情報記録部３５に格納している表示画面上の座標系を用いて、図４で説明したように、利用者２９の視線と表示画面２１とが交差する点、即ち、注視点（注目点）の位置座標を算出する。
【００５３】
注視度算出部３６は、注視位置情報算出部３４で算出された注視点が含まれる座標範囲の商品の画像を空間情報記録部３５で検索し、検索した商品の画像に対する注視度を算出する。また、注視度算出部３６は、算出した注視度を空間情報記録部３５に供給し、この空間情報記録部３５に記憶されている該当する商品の商品別注視データや利用者別注視データを更新する。
【００５４】
ここで、かかる注視データ（商品別注視データや利用者別注視データの総称）は、後述するように、この商品の画像が表示開始されてからの注視人数や注視回数，注視時間などで表わされるものであり、商品の注視度はかかる注視回数や注視時間などであらわされる。商品別注視データに基づく注視度は、その商品の注視人数の合計や注視回数の累計，注視時間の累計などで表わされ、利用者別注視データに基づく商品の注視度は、この利用者２９が広告サイネージ２０で認識されてから認識されなくなるまでの商品に対する注視回数や注視時間などで表わされる。かかる注目度は、利用者が商品を注視している限り、時間の経過とともに、空間情報記録部３５での注視データの更新に伴って更新される。
【００５５】
このようにして、新たに注視された商品の画像に対しては、注視度が更新されるので、空間情報記録部３５には、夫々の商品の画像に対して、常に最新の注視データが保存されていることになる。
【００５６】
空間情報記録部３５に保存されているこのときの利用者２９の利用者別注視データから、表示画面２１（図２）に表示されている商品の画像毎に所定のデータが出力制御部３９によって読み出され、この利用者２９による商品毎の注目度として、出力部４０から表示フィードバック部４１に出力される。
【００５７】
なお、商品別注視データによる商品の注目度としては、その注視データでの注目人数の合計，注目回数の合成，注目時間の合計のいずれ可であってもよいし、また、これらに基づいて算出された値（例えば、各利用者毎の注目回数と注目時間とを乗算した値を合計した値など）であってもよい。利用者別注視データによる商品の注目度についても、同様である。かかる計算は、出力制御部３９で行なわれる。
【００５８】
入力部３８では、表示フィードバック部４１から表示画面２１に表示されている商品の画像に関する情報（ＩＤや表示画面２１上での位置座標など）が入力され、集計部３７を介して空間記録部３５に供給される。集計部３７では、かかる商品の画像に関する情報が保持されており、出力制御部３９は、集計部３７での商品の画像に関する情報を基に、現在表示画面２１で表示されている商品の画像の注視度を検索する。
【００５９】
かかる注視データは、注視度算出部３６が注視位置情報算出部３４で算出された注視点が含まれる座標範囲の商品の画像を空間情報記録部３５で検索し、検索した商品の画像に該当する商品に対して算出したものであり、かかる注視データは空間情報記録部３５に記録され、利用者２９がその商品の画像を注視する毎に、このときの注視データが作成されて空間情報記録部３５に追加記録される。
【００６０】
次に、表示フィードバック部４１は、表示画面２１（図２）を有する表示装置４２と、表示集計部４３と、スピーカ２４（図２）を備えたスピーカ部４４と、端末記憶部４５と端末制御部４６とから構成される。
【００６１】
端末制御部４６は、端末通信部４８を介して、履歴ＤＢサーバ４７と接続されており、この履歴ＤＢサーバ４７には、表示画面２１で表示された商品の画像の情報や表示されている商品の画像の情報が蓄積されている。また、この端末制御部４６は表示画面２１での各商品の画像の表示位置を指定し、表示画面２１では、各商品の画像がこの指定された表示位置に表示される。この各商品の画像の表示位置は、また、表示集計部４３で集計され、注視度計測部２０の入力部３８に供給される。これにより、注視度計測部２０での出力制御部３９は、その集計部３７を介して、表示画面２１で現在表示されている商品の画像を確認することができる。
【００６２】
また、新たな商品を表示画面２１に表示させる場合には、その画像情報が履歴ＤＢサーバ４７に格納され、これとともに、その画像情報が端末通信部４８を介して端末制御部４６に供給される。端末制御部４６は、その商品の画像を、表示画面２１での表示位置を指定して、表示装置４２の表示画面２１に表示させる。表示集計部４３では、この新たに表示画面２１で表示させる商品の画像に関する情報が追加集計される。
【００６３】
なお、表示画面２１では、そこでスクロール表示されて各商品の画像が表示されたり、表示されなかったりする場合もあるので、図示しない入力部から商品の画像の表示を中止するとの指示がない限り、注視度計測部３０での空間情報記録部では、商品の画像の削除は行なわれない。ある商品の画像の表示を中止するとの指示があった場合には、その表示中止の指示があった商品の画像に関する情報が空間情報記録部３５から削除される。
【００６４】
端末記憶部４５には、注視度計測部３０の出力部４０から出力される表示画面２１に表示されている商品の画像の注視度が格納される。端末制御部４６は、この端末記憶部４５に格納された商品の画像の注視度を取得し、夫々の商品の画像の注視度に応じて、表示画面２１での商品の画像の表示の仕方を制御する。即ち、表示画面２１に対する利用者２６の注視結果が、この表示画面２１の表示にフィードバックされることになる。
【００６５】
また、端末記憶部４５には、宣伝などのための音声の各種メッセージ情報も記憶されており、端末制御部４６の制御のもとに、表示画面２１での表示内容に応じて端末記憶部４５から該当するメッセージ情報が呼び出され、スピーカ部４４に供給される。スピーカ部４４では、このメッセージ情報が音声情報に変換されて、スピーカ２４（図２）からこのメッセージが音声で出力される。
【００６６】
また、電源のオン操作が行なわれると、電源部４９から注視度計測部３０や表示フィードバック部４１，端末通信部４８，履歴ＤＢサーバ４７などの各部に電源が投入され、電源のオフ操作が行なわれると、これら各部への電源投入が中止される。
【００６７】
注視度計測部３０や表示フィードバック部４１，端末通信部４８，履歴ＤＢサーバ４７などの各部は、撮像部３１でのカメラ２２（図２）や表示装置４２，スピーカ部４４を除いて、制御部２５（図２）をなしている。
【００６８】
図６は図１に示すサイネージ自販機１のブロック構成の一具体例を示す構成図であって、５０は操作フィードバック部、５１はタッチパネル部、５２は操作集計部、５３は個人認証部、５４は利用者集計部、５５は決済処理部、５６は購入集計部、５７は商品搬送部、５８は商品保管部であり、図５に対応する部分には同一符号を付けて重複する説明を省略する。
【００６９】
同図において、このサイネージ自販機１は、注目度計測部３０と表示フィードバック部４１と操作フィードバック部５０と商品搬送部５７と商品保管部５８と履歴ＤＢサーバ４７と端末通信部４８と電源部４９とで構成されているが、注目度計測部３０と表示フィードバック部４１と履歴ＤＢサーバ４７と端末通信部４８と電源部４９とは、図５に示す広告サイネージ２０に設けられているものと同様のものであるので、その説明を省略する。但し、サイネージ自販機１では、注目度計測部３０での撮像部３１は図１に示すカメラ３を備え、表示装置４２は同じく表示画面２を備えており、スピーカ部４４は同じくスピーカ９，１０を備えている。
【００７０】
操作フィードバック部５０は、図１に示すサイネージ自販機１での利用者１１の操作を検出し、その操作に応じた処理を実行する部分であり、タッチパネル部５１と個人認証部５３と決済処理部５５とを備えている。
【００７１】
タッチパネル部５１は、表示画面２（図１）に設けられているタッチパネルを備えており、この表示画面２での利用者１１のタッチ操作を検出するとともに、表示画面２でのタッチ位置を検出する。かかるタッチ位置データは、タッチ操作が行なわれたことを通知する情報とともに、操作集計部５２で集計される。この通知情報は端末制御部４６に供給される。端末制御部５２は、その通知情報を受信すると、表示画面２で利用者１１によるタッチ操作が行なわれたことを認知して、操作集計部５２からタッチ位置データを取得し、表示フィードバック部４１の表示集計部４３でそのとき集計されている表示画面２で表示される各商品の画像の位置データとを照合し、このタッチ位置データが示す表示画面２上でのタッチ位置がかかる商品の画像のいずれを示すものであるかを判定する。これにより、表示画面２での利用者１１が指し示す商品が確認される。
【００７２】
端末制御部４６は、利用者１１が指し示す商品を確認すると、端末記憶部４５に記憶されている画像情報を基に、この確認した商品を購入するための購入画面を作成し、表示装置４２に供給して表示画面２に表示させる。このように、購入画面を表示させることにより、利用者１１は支持した購入希望商品とそのために支払う購入金額などを知ることができる。
【００７３】
個人認識部５３は、サイネージ自販機１がカードや携帯電話などの個人認証・決済機能対応自販機であって、現金による購入以外の電子決済を行なう利用者１１が利用できるように、設けられているものである。この場合には、図１に示すサイネージ自販機１において、カードタッチ部６がＩＣカードをタッチさせる操作手段となり、かかるタッチカード部７を個人認識部５３が備えている。かかる認証カードとしては、電子マネー機能を備えたものであってもよい。
【００７４】
利用者１１がそのカードをタッチカード部７にタッチすると、個人認識部５３はこのカードから利用者１１の個人情報を読み取り、個人認識を行なってこの利用者１１が登録者であるか否かを判定する。この認識結果は、読み取られた個人情報とともに、利用者集計部５４で集計されて端末制御部４６に供給される。端末制御部４６は、かかる認識結果を基に、タッチパネル部５１で検出されたタッチ操作をした利用者１１が登録者であるか否かを判定する。
【００７５】
決済処理部５５は、操作部４（図１）の現金投入口５，カードタッチ部６，釣銭取り出し口７を備えており、現金投入口５やカードタッチ部６から指定した商品を購入するための料金が支払われると、支払われた料金を検出して、釣銭が必要である場合には、釣銭を算出し、購入集計部５６がこれら支払料金や釣銭の情報を集計する。この集計された情報は端末制御部４６に供給される。端末制御部４６は、かかる集計情報から、利用者１１が料金を支払ったことや釣銭があることなどを認識する。
【００７６】
端末制御部４６は、表示画面２で表示される商品の画像夫々の商品の値段のデータを保持しており、操作集計部５２から表示画面２で利用者１１が購入希望商品の画像をタッチ操作によって指定したことを検出すると、購入集計部５６からの情報を基に、利用者１１によって指定された商品の画像に該当する商品を購入するための料金が支払われたか否か判定し、支払われたことが認識されたときには、釣銭の有無を判定し、釣銭が必要な場合には、その釣銭を算出する。そして、端末制御部４６は、決済処理部５５に、料金が支払われた旨を通知する情報とともに、釣銭が必要な場合には、その釣銭の金額を、購入集計部５６を介して供給する。
【００７７】
なお、利用者１１が、支払金額が足りないなどして、その指定商品を購入に必要な料金を支払わない場合には、端末制御部４６は、スピーカ部４４を駆動させ、その旨の音声情報を端末記憶部４５から読み出してスピーカ部４４に供給し、スピーカ９，１０（図１）から支払料金の追加を通知する音声メッセージを出力する。同時に、同様にして、表示装置４２を制御し、表示画面２に同様の通知メッセージを表示するようにしてもよい。
【００７８】
利用者１１が表示画面２での購入する旨のタッチ操作をすると、タッチパネル部５１から端末制御装置４６にそのタッチ操作が通知され、端末制御部４６は、料金の支払が済まされて、利用者１１が指定した商品を販売してもよいと判定した場合には、その旨を決済処理部５５と商品保管部５８とに通知する。決済処理部５５は、釣銭がある場合、この釣銭を、釣銭取り出し口７（図１）から利用者１１が取り出せるように、排出する。
【００７９】
商品保管部５８には、表示画面２に画像が表示される全ての商品が保管されており、商品搬送部５７は商品保管部５８に保管されている商品を商品取り出し口８（図１）に搬送する。そこで、端末制御部４６から利用者１１が購入希望の商品の販売の指示があると、商品搬送部５７は商品保管部５８に保管されているこの商品を搬送し、商品取り出し口８からこの商品を利用者１１が取り出せるようにする。
【００８０】
なお、このサイネージ自販機１が個人認証機能がある自販機である場合には、端末制御部４６は、さらに、個人認識部５３の認識結果に応じて、決済処理部５５と商品搬送部５７に指示を与える。利用者１１が認証機能カードを持っていない場合には、端末制御部４６は、タッチパネル部５１の検出結果や決済処理部５５による料金支払の情報をキャンセルし、料金支払が行なわれている場合には、釣銭取り出し口７から支払料金を返却するとともに、その旨を表示画面２でメッセージ表示したり、スピーカ９，１０で知らせる。
【００８１】
図７は図５，図６における空間情報記録部３５に格納されている商品の注視度の基となる注視データの一具体例を示すものである。かかる注視データは、図１に示すサイネージ自販機１や図２に示す広告サイネージ２０において、注視度を求めるために用いられるものであるが、以下では、広告サイネージ２０に関する図２を参照して説明する。
【００８２】
図７（ａ）に示す注視度データは商品毎に作成される商品別注視データであり、ここでは、商品Ａを例に示しているが、注目人数や注目回数，注視時間，立ち止まって注視したか、通り過ぎながら注視したかなどの注目種類、注視した時刻（日時）などのデータからなるものであって、この商品Ａを注視した利用者２９毎のデータからなるものである。即ち、注視人数「１」はこの商品Ａを注視した一人目の利用者２９に関するものであり、注視人数「２」はこの商品Ａを注視した二人目の利用者２９に関するものである。また、注視回数は、１回だけ継続して注視すれば、「１」であり、利用者２９がカメラ２２の撮影範囲内に居続けて２回繰り返しこの商品Ａを注視した場合には、「２」である。注視時間は、利用者２９がカメラ２２の撮影範囲内に居続けてこの商品Ａを注視した時間の累計である。
【００８３】
図示する例での最初にこの商品Ａを注視した利用者１１（注目人数＝「１」）は、注目種類が「Ｈ」（例えば、立ち止まって注視）で、１回だけこの商品Ａの画像を注視し、その注視時間は「１８００ｍｓｅｃ」である。また、次に注視した利用者１１（注目人数＝「２」）は、注目種類が「Ｍ」（例えば、サイネージ自販機１の前を通り過ぎながら注視）で、１回だけこの商品Ａの画像を注視し、その注視時間は「５００ｍｓｅｃ」である。
【００８４】
かかる商品別注視データは、図５，図６において、注視度算出部３６が注視位置情報算出部３４で算出された注視点が含まれる座標範囲の商品の画像を空間情報記録部３５で検索し、検索した商品の画像に該当する商品に対して算出したものであり、空間情報記録部３５に記録される。この場合、このときの商品が初めて利用者２９に注視されたものであるときには、この商品に対する商品別注視データは注目人数が「１」のデータのみとなるが、既に複数ｎ人の利用者２９によって注視されているときには、注目人数が「ｎ」までの商品別注視データが空間情報記録部３５に格納されており、注視度算出部３６は新たにこの商品の画像に注目した（ｎ＋１）人目に対する注目人数が「ｎ＋１」の注視データを作成し、空間情報記録部３５でのこの商品に対して既に作成されて記録されている商品別注視データに追加記録する。
【００８５】
なお、注視時間は、利用者２９の視線が同じ商品の画像に向けられている期間での撮影映像信号のフレーム数をカウントしたり、図示しないタイマで計測したりして求める。また、注目種類は、カメラ２２で撮影して得られる同じ利用者２９の画像の動きを検出することにより、判定されたものである。
【００８６】
また、図７（ａ）に示す商品別注視データによる注視度は、例えば、表示画面２１に表示される商品の画像について、これまでの利用者２９による注視の度合いがどのようであったかを利用者２９に知らせる場合や、注視度が高い商品の画像に、特に、利用者２９の注目を集めるような場合に用いられる。
【００８７】
さらに、図７（ａ）に示す商品別注視データは、利用者２９が広告サイネージ２０から離れていっても、そのまま保持されており、新たな利用者２９が表示画面の商品の画像を注視するようになると、この商品に該当する商品別注視データが更新されることになる。
【００８８】
図７（ｂ）は利用者２９が注視する商品の画像を表示画面２１で目立たせるためなどに用いる利用者２９毎に作成される利用者別注視データの具体例を示す図である。
【００８９】
この利用者別注視データは、サイネージ自販機１や広告サイネージ２０を利用する利用者２９毎に作成されるものであって、表示画面２，２１での注視位置や注視時間，注視距離，注視高さ，注視した時刻（日時）などからなるものである。ここでは、利用者Ａに対する利用者別注視データを示している。
【００９０】
以下、サイネージ自販機１について説明すると、注視位置は、注視した商品の画像で表わされ、ここでは、利用者Ａが商品Ａと商品Ｌとを注視したことを示している。そして、注視する毎に注視時間が登録され、また、更新される。
【００９１】
注視時間としては、その商品エリアを連続して（目をそらさずに）注視していた「時間２」と、この「時間２」を含み、かつ注視位置をその商品エリアから時々外しながらもその商品を見ていた時間を含めた「時間１」の２種類のデータを登録する。利用者１１は、ある商品（例えば、商品Ａ）を注視し始めてから、時々周りの商品に目線を移しつつも、一定時間連続してその商品（商品Ａ）を注視することがある。
【００９２】
そこで、「時間２」のみならず、「時間１」のデータを登録することにより、「時間１」と「時間２」との差分の時間には、商品Ａの周囲に表示されていた商品を注視していたと推定することができ、周囲に表示されている商品の注視度データに加算することができる。
【００９３】
注視距離は、カメラ３で得られた画像信号から計測した利用者Ａのサイネージ自販機１からの距離であり、注視高さは同じく画像信号から計測して利用者Ａが注視している高さである。
【００９４】
この利用者Ａに対しては、かかる利用者別注視データを基に、この利用者Ａが特に注視している商品の画像が目立つように、あるいは特に明確に表示されるように、表示画面２１での商品の画像の表示形態を変化させる。
【００９５】
なお、この利用者Ａに対する注視データは、これに該当するこの利用者Ａがサイネージ自販機１から遠ざかり、その注視の計測がなされなくなると、消去される。
【００９６】
次に、以上説明したサイネージ（サイネージ自販機１，広告サイネージ２０）で実行される注視度フィードバックを用いた商品選択支援方法の実施形態について説明するが、まず、かかる実施形態の概念について説明する。
【００９７】
図８はサイネージに対する人物の位置に応じたサイネージの動作を概念的に示す図であって、６０は什器／自販機、６１は広告／販売機、６２は遠方エリア、６３は接近エリア、６４は近接エリア、６５は購入エリア、６６ａ〜６６ｅは歩行経路である。
【００９８】
同図において、ここでは、サイネージ自販機１と広告サイネージ２０とその他の商品販売のための什器／自販機６０とが並べて配置された場所を例に説明する。なお、これらを総称する場合、広告／販売機６１という。
【００９９】
広告／販売機６１から充分離れ、人物が広告／販売機６１にほとんど興味を示さないエリアを遠方エリア６２といい、この遠方エリア６２よりも広告／販売機６１に近く、一応人物が興味を持って広告／販売機６１に近づくエリアを接近エリア６３といい、この接近エリア６３よりも広告／販売機６１に近く、人物が商品の購入の意志をもって広告／販売機６１に近づくエリアを近接エリア６４という。また、例えば、サイネージ自販機１で商品を購入するときの人物が存在するエリアを購入エリア６５という。
【０１００】
なお、各エリア６２〜６５は、そのエリアの大きさや広告／販売機６１からの距離を適宜設定できるものであるが、サイネージ自販機１と広告サイネージ２０とでは、かかるサイズや距離が異なるし、また、広告サイネージ２０の場合には、購入エリア６５は当然設けられない。
【０１０１】
サイネージ自販機１の場合を例にして説明すると、そのカメラ３の撮像範囲（視野）内において、各エリア６２〜６５で次の動作を行なう。
【０１０２】
まず、人物の行動の一例として、その歩行経路６６ａで示すように、人物がサイネージ自販機１の方向に歩行して、サイネージ自販機１の方にいくかどうかの迷いがありながら一旦遠方エリア６２内に入るが、あまり興味がないとして途中で方向を変えて遠方エリア６２から出ていく場合がある。かかる遠方エリア６２に対しては、カメラ３（図１）の撮像画像を用いて撮像部３１（図６）が人物の動き（行動）を追跡し、行動動線（歩行経路６６ａ），行動時間，行動距離を検知する動線検知を行なってその行動情報を取得する。ここでは、撮像部３１の出力画像が注視度の検出に用いられることはない。
【０１０３】
次に、人物の行動の一例として、その歩行経路６６ｂで示すように、人物がサイネージ自販機１の方向に歩行して、サイネージ自販機１にある程度関心があって遠方エリア６２を通過し、接近エリア６３内には入り込んで立ち止まったりするが、そのうち興味をなくし、方向を変えて接近エリア６３から、さらには、遠方エリア６２から出ていく場合がある。このように、人物が接近エリア６３に入ったときには、サイネージ自販機１に興味を示したものとみなす。このような場合には、この人物が遠方エリア６２内に居るときには、サイネージ自販機１で上記の動線検知が行なわれるが、この人物が接近エリア６３に入ると、この人物を利用者１１とし、視線方向計測部３３（図６）でこの利用者１１の顔の画像から顔の向きや視線方向を検出し、注視位置情報算出部３４（図６）で表示画面２（図１）でのこの利用者１１の視点の位置を検出するとともに、注視度算出部３６が、空間情報記録部３５（図６）に記憶されている各商品の画像の表示画面２での位置座標を基に、利用者１１の視線方向の、即ち、利用者１１が注視している視点を含む領域内での商品の画像を判定して注視度を算出し、この利用者１１が注視する商品の画像に対する図７（ａ）に示す商品別注視データを更新するとともに、この利用者１１に対する図７（ｂ）に示す利用者別注視データを作成して空間情報記録部３５に記録する。これら注視データの作成に際しては、人物位置計測部３２（図６）の計測結果やカメラ３から見た利用者１１の方向などから利用者１１までの距離（注視距離）を求め、さらに、タイマなどにより、利用者１１が接近エリア６３に入ってからの時間（注視時間）を計測し、これらの計測結果も用いられる。このようにして作成されて空間情報記録部３５に記録された注視データは、利用者１１が接近エリア６３に入るとともに、作成が開始されて空間情報記録部３５に記録され、利用者１１の行動とともに、順次更新されていく。
【０１０４】
さらに、歩行経路６６ｃに示すように、利用者１１が近接距離６４に入ってきたときには、サイネージ自販機１で表示される商品に関心があると見なし、顔向きや視線などの認知情報を取得し、これを基に出力制御部３９（図６）が空間情報記録部３５からこの利用者１１に対する図７（ｂ）に示す利用者別注視データから注視度が高い商品を選択し、出力部４０（図６）から表示フィードバック部４１（図６）の端末制御部４６に供給する。これにより、端末制御部４６は表示装置４２（図６）を制御し、その表示画面２（図１）での商品の画像をそれらの注視度に応じた表示形態で表示させる。
【０１０５】
そして、この利用者１１がサイネージ自販機１の直前の購入エリア６５ｄに入り、操作部４（図１）で希望する商品の購入行動を行なうと、購買行動を計測し、端末制御部４６は決済処理部５５や商品搬送部５７（図６）を制御してこの商品の購入を可能にする。
【０１０６】
なお、歩行経路６６ｄ，６６ｅのように、利用者１１が近接エリア６４に入っても、什器／自販機６０や広告サイネージ２０の方に移動した場合には、この利用者１１はサイネージ自販機１のカメラ３の撮像範囲（視野範囲）からはずれるので、その時点でこのサイネージ自販機１のこの利用者１１に対する処理動作は終了する。
【０１０７】
また、上記のように、図７（ｂ）に示す利用者１１の注視データの注視度をもとに、サイネージ自販機１の商品の画面の表示形態が制御され、この利用者１１の注視結果がサイネージ自販機１の商品の画面の表示形態にフィードバックされることになる。これに対し、図７（ａ）に示す商品毎の注視データは、そのときまでの各利用者１１による商品の注視傾向などを知らせるために用いられる。
【０１０８】
ここで、各エリア６２〜６５のサイネージ自販機１に対する位置は適宜設定されるものであるが、一例として示すと、近接エリア６４はサイネージ自販機１の前面から、例えば、１ｍ以内の範囲であり、接近エリア６３は、例えば、１〜２ｍの範囲、遠方エリア６２は、例えば、２〜３ｍの範囲とする。勿論いずれのエリア６２〜６４も、カメラ３の撮影範囲（視野範囲）内である。
【０１０９】
また、以上のことは、図２，図５に示す広告サージ２０に対しても、同様である。
【０１１０】
次に、本発明によるデジタルサイネージにおける商品選択支援方法の実施形態を、前出図面を参照して、具体的に説明する。
【０１１１】
〔第１の実施形態〕
図９Ａは本発明による商品選択支援方法の第１の実施形態の処理の流れの一部を示す図であって、図１，図６に示すサイネージ自販機１に関するものであり、同図（ａ）はこのサイネージ自販機１での処理の流れを示すフローチャート、同図（ｂ）は同図（ａ）での処理の流れに伴うこのサイネージ自販機１の表示画面２で表示される画面の変化を示す図である。また、７０ａ〜７０ｃは商品一覧画面、７１，７１ａ〜７１ｄは商品の画像、７２はお勧めコメント、７３，７３ａ，７３ｂ’は注視領域、７４は購入情報欄、７５はメッセージ欄、７６はカート、７６ａは商品表示欄、７６ｂは購入料金表示欄、７６ｃは「会計へ」ボタンである。
【０１１２】
図９Ａ（ａ）において、サイネージ自販機１が動作している状態にあって（ステップＳ１）、距離計測器４（図１）は人物の距離を計測しているが、人物が遠方エリア６２（図８）よりも内側におらず、あるいは、遠方エリア６２内に居て（ステップＳ１０１）、その人物がサイネージ自販機１の方を向いてその表示画面２の一部を見ている状態にあっても（ステップＳ１０２）、図９Ａ（ｂ）の（イ）に示すように、サイネージ自販機１の表示画面２（図１）には、複数の商品の画像７１がランダムに配列された商品一覧画面７０ａが表示され、表示される商品の画像７１が１画面に表示しきれない場合には、この商品一覧画面７０ａでは、各商品の画像７１が流れるように、上方向あるいは下方向にスクロールしている。また、この商品一覧画面７０ａでの商品の画像７１の中には、例えば、売れ行きを上げる商品や図７（ａ）に示す商品別注視データによる注目度が高い商品の画像７１に、「お勧め」や「セットでお勧め」といったようなお勧めコメント７２が吹き出しで付記されている。
【０１１３】
なお、このお勧めコメント７２は、店舗で指定する商品の画像７１に付記するようにしてもよいが、図７（ａ）に示す商品毎の注視データを基に、注視度が高い商品の画像７１に付記するようにしてもよい。
【０１１４】
人物が、サイネージ自販機１の表示画面２を見ながら、このサイネージ自販機１に近づいてきており、接近エリア６３（図８）に入ると（ステップＳ１００３）、人物位置計測部３２（図６）がこれを検知し、撮像部３１（図６）の出力画像信号から視線方向計測部３３がこの人物の顔の向きを検出する。このとき、この人物はサイネージ自販機１の表示画面２を見ているので、この人物を、このサイネージ自販機１を利用する可能性があることから、利用者１１と判定し、この利用者１１の顔の画像などから注視位置情報算出部３４と注視度算出部３６とでこの利用者１１が注視している範囲、即ち、注視領域７３を検出しており、利用者Ａとしての図７（ｂ）に示す利用者別注視データを作成して、この注視領域内の各商品の画像７１に対する注視度を算出する。
【０１１５】
なお、注視領域７３は、このとき、人物がこの商品一覧画面７０ａでの注視している領域を示すものであり、ここで、この注視領域７３内を他の領域と区別して表わしているが、これは説明上このようにしているものであって、これら領域は区別されずに表示されている。
【０１１６】
そして、表示画面２では、図９Ａ（ｂ）の（ロ）に示す商品一覧画面７０ｂの表示に切り替わる（ステップＳ１０４）。この商品一覧画面７０ｂでは、利用者１１が注視していた領域（即ち、商品一覧画面７０ａでの注視領域７３）内の商品の画像７１を表示画面２の中心位置に置くようにして、各商品の画像７１が配列され、静止した状態で表示される（ステップＳ１０５）。ここで、利用者１１が注視している商品の画像７１が分かるように、注視領域７３ａを示し、かかる商品画面７１をこの注視領域７３ａ内に示している。このようにして、利用者１１が注視している商品の画像７１が強調表示される。
【０１１７】
各商品の画像７１には、「１５０円 選択」といったように、商品の値段が１５０円で購入できることを示す情報を、詳細情報として、表わす購入情報欄７４が設けられており、この商品一覧画面７０ｂの上側には、「購入する商品を選択して下さい」といったような商品の購入ができることを知らせるテキスト文でメッセージが表示されたメッセージ欄７５が設けられている。この商品一覧画面７０ｂで希望する商品の画像７１をタッチ操作することにより、この商品の画像７１を購入のために選択することができる。
【０１１８】
また、商品一覧画面７０ｂの、例えば、右辺側には、商品一覧画面７０ｂで選択した商品の画像７１をまとめて表示するためのカート７６が表示されている。このカート７６は、選択された商品の画像７１を表示するための商品表示欄７６ａと、商品表示欄７６ａで画像が表示される商品の合計購入料金を表わす購入料金表示欄７６ｂと、購入するときにタッチ操作する「会計へ」ボタン７６ｃとからなっている。
【０１１９】
そして、利用者１１がサイネージ自販機１にさらに近づいて接近エリア６４（図８）に入って、サイネージ自販機１の表示画面２での特定の商品の画像７１が表示されている部分を注視すると（ステップＳ１０６）、その間図７（ｂ）に示す利用者Ａとしての利用者１１の注視データは更新されており、表示画面２では、この注視データを基に、図９Ａ（ｂ）の（ハ）に示す商品一覧画面７０ｃでこの利用者１１が注視している領域７３ｂ内の商品の画像７１ａ〜７１ｄが強調して表示される（ステップＳ１０７）。
【０１２０】
以上のように、利用者１１の表示画面２に表示される商品一覧画面７０ａ〜７０ｃを注視することにより、その注視結果が表示画面２にフィードバックし、表示画面２で表示される商品一覧画面７０ａ〜７０ｃで利用者１１が注視する商品の画像が利用者１１にとって見易い状態で表示されるようになる。
【０１２１】
図９Ｂは図９Ａの処理に続いて実行される処理の流れの一具体例を示す図であって、同図（ａ）はこのサイネージ自販機１での処理の流れを示すフローチャート、同図（ｂ）は同図（ａ）での処理の流れに伴うこのサイネージ自販機１の表示画面２で表示される画面の変化を示す図であり、７７は「削除」ボタン、７８は購入確認画面、７９は購入金額表示エリア、８０は支払方法紹介エリア、８１は「現金」ボタン、８１ｂは「ＩＣカード」ボタン、８１ｃは「携帯電話」ボタン、８２は「中止する」ボタン、８３は購入商品ランキング画面、８４は商品ランキング表示欄、８５はポイント、８６は商品の画像、８７は「終了する」ボタンであり、図９Ａに対応する部分には同一符号を付けて重複する説明を省略する。
【０１２２】
図９Ａ（ｂ）の（ハ）に示す商品一覧画面７０ｃが、図９Ｂ（ｂ）の（ニ）で示すように、表示されている状態で（ステップＳ１０８）、利用者１１が希望する商品の画像７１、例えば、商品の画像７１ａ，７１ｂとをタッチ操作して選択すると（ステップＳ１０９）、選択された商品の画像７１ａ，７１ｂが強調表示され（ステップＳ１１０）、これとともに、カート７６において、商品表示欄７６ａに選択された商品の画像７１ａ，７１ｂが表示され、購入料金表示欄７６ｂにこれら商品の合計購入料金（例えば、１５０円）が表示される。
【０１２３】
そして、利用者１１は、このカート７６を見て選択した商品に間違いがないことを確認して、「会計へ」ボタン７６ｃをタッチ操作すると（ステップＳ１１１）、図９Ｂ（ｂ）の（ホ）に示す購入確認画面７８の表示に切り替わる（ステップＳ１１２）。
【０１２４】
この商品一覧画面７０ｃから購入確認画面７８への表示の切り替わると、商品の表示はされなくなるので、この利用者１１に対する図７（ｂ）に示す利用者別注視データの作成／更新処理は終了し、また、この利用者１１の注視による図７（ａ）に示す商品別注視データの更新処理も終了する。
【０１２５】
なお、図９Ｂ（ｂ）の（ニ）で示す商品一覧画面７０ｃでは、カート７６に表示された商品の画像毎に「削除」ボタン７７が設けられており、間違って選択した商品の画像７１や変更したい商品の画像７１がある場合、この「削除」ボタン７７をタッチ操作することにより、この商品の画像７１をカート７６から削除することができる。
【０１２６】
図９Ｂ（ｂ）の（ホ）に示す購入確認画面７８では、購入商品の購入金額表示エリア７９と支払方法紹介エリア８０とが表示され、購入金額表示エリア７９では、購入する商品Ａ，Ｂ，Ｃの画像７１ａ，７１ｂ，７１ｃと夫々の値段、これらの合計金額が表示され、支払方法紹介エリア８０には、その方法として、現金，ＩＣカード，携帯電話などが紹介されて、これらをタッチ操作して選択可能に「現金」ボタン８１ａ，「ＩＣカード」ボタン８１ｂ，「携帯電話」ボタン８１ｃが設けられている。
【０１２７】
かかる購入確認画面７８において、購入商品の購入金額表示エリア７９で購入する商品や支払額を確認し（ステップＳ１１３）、支払方法紹介エリア８０で「現金」ボタン８１ａ，「ＩＣカード」ボタン８１ｂ，「携帯電話」ボタン８１ｃのいずれかをタッチ操作してサイネージ自販機１の操作部４（図１）で金額を支払うと（ステップＳ１１４）、商品取り出し口８で商品を受け取ることができる（ステップＳ１１５）。
【０１２８】
購入確認画面７８では、さらに、「中止する」ボタン８２が設けられており、この「中止する」ボタン８２をタッチ操作することにより、これまでの購買手続をキャンセルすることができ、これにより、表示画面２では、商品を選択する前の画面、例えば、図９Ａ（ｂ）の（ハ）で示す商品一覧画面７０ｃの表示状態に戻る。
【０１２９】
上記のように、購入確認画面７８で支払方法を選択操作するとともに、表示画面２では、図９Ｂ（ｂ）の（ヘ）に示す購入商品ランキング画面８３が表示される状態に切り替わる（ステップＳ１１６）。
【０１３０】
この購入商品ランキング画面８３では、先の商品一覧画面７０ａ〜７０ｃで画像７１が表示された販売ランキングが高い商品を示す商品ランキング表示欄８４が表示され、この商品ランキング表示欄８４で販売ランキングが高い順に所定個数の商品７１が示されるとともに、夫々の商品７１にポイント８５が表示される。このポイント８５は、図７（ａ）に示す商品毎の注視データをもとにした注視度に応じた値であって、注視度が大きい程ポイント８５は大きい値となる（ステップＳ１１７）。
【０１３１】
なお、各商品毎の注視度の履歴や各商品の販売履歴などの履歴情報（販売個数や売上げ金額など）は一時的に端末記憶部４５に記憶され、定期的に履歴ＤＢサーバ４７（図５，図６）に格納されており、かかる履歴情報を基に、端末制御部４６（図５，図６）が購入商品ランキング画面８３を作成する。購入商品ランキング画面８３の作成に用いられる図７（ａ）に示す商品毎の注視度に関する注視データは、現在表示画面２で商品の画像７１が表示されている商品に対しては、空間情報記録部３５に記録されており、また、現在表示画面２で商品の画像７１が表示されていない商品に対しては、端末記憶部４５と履歴ＤＢサーバ４７に記録されており、このため、購入商品ランキング画面８３を作成する場合には、端末制御部４６は、空間情報記録部３５と端末記憶部４５と履歴ＤＢサーバ４７に記録されている全ての商品の注視データを対象として、注視度が高い商品を検索する。
【０１３２】
また、購入情報欄７４は、当該商品の画像７１に該当する商品の詳細情報を取得するための「詳細情報」ボタンとすることもでき、この「詳細情報」ボタンをタッチ操作することにより、当該商品の詳細情報（例えば、商品の種類や商品名，成分，製造元，製造年月日など）を表示画面２に表示させることができる。商品毎のかかる詳細情報は、履歴ＤＢサーバ４７（図６）に格納されており、商品の販売が終了すると、購入商品ランキング画面８３の代わりに、あるいは購入商品ランキング画面８３とともに、購入商品ランキング画面８３のような画面形式で詳細情報の選択ランキングを表示するようにしてもよい。
【０１３３】
ここで、この購入商品ランキング画面８３には、利用者１１が購入した商品の画像８６が表示されるとともに、「終了する」ボタン８７も表示され、この「終了する」ボタン８７がタッチ操作されると、この購入商品ランキング画面８３の表示が終了し、表示画面２では、商品を選択する前の画面、例えば、図９Ａ（ｂ）の（ハ）で示す商品一覧画面７０ｃの表示状態に戻る。
【０１３４】
そして、利用者１１がこのサイネージ自販機１から離れると（ステップＳ１１８）、図９Ａ（ｂ）の（イ）に示す商品一覧画面７０ａの表示に戻る。なお、図９Ｂ（ｂ）の（ホ）に示す購入確認画面７８や図９Ｂ（ｂ）の（ヘ）に示す購入商品ランキング画面８３が表示されている状態で利用者１１がこのサイネージ自販機１から離れても、図９Ａ（ｂ）の（イ）に示す商品一覧画面７０ａの表示に戻る。
【０１３５】
以上のように、この第１の実施形態によると、利用者１１が注視する商品の画像７１を目立ち易くし、利用者１１が興味を示す商品を容易に確認できるようにすることができる。
【０１３６】
〔第２の実施形態〕
図１０は本発明による商品選択支援方法の第２の実施形態の処理の流れの一部を示す図であって、図１，図６に示すサイネージ自販機１に関するものであり、同図（ａ）はこのサイネージ自販機１での処理の流れを示すフローチャート、同図（ｂ）は同図（ａ）での処理の流れに伴うこのサイネージ自販機１の表示画面２で表示される画面の変化を示す図である。また、７１ｘ，７１ｘ1〜７１ｘ5は商品の画像、９０は広告画面、９１ａ〜は商品一覧画面、９２は商品キーワード、９３は関連商品画面、９４は「一覧に戻る」ボタンであり、図９Ｂに対応する部分には同一符号を付けて重複する説明を省略する。
【０１３７】
同図において、図８に示す近接エリア６４にも、接近エリア６３にも、人物がいないときには、サイネージ自販機１の表示画面２には、図１０（ｂ）の（イ）に示す広告画面９０が表示されている（ステップＳ２００）。ここでは、商品のカテゴリ（種別）として、飲み物を販売の対象とし、この広告画面９０でその宣伝が行なわれている。
【０１３８】
利用者１１が近接エリア６３内に進むと、サイネージ自販機１は、撮像部３１や人物位置計測部３２（図６）の計測結果に基づいてこれを検出し、この検出結果に応じて、表示画面２に図１０（ｂ）の（ロ）に示す商品一覧画面９１ａが表示される（ステップＳ２０１）。この商品一覧画面９１ａでは、各種飲み物である商品の画像７１が整列して静止した状態で表示され、夫々の商品の画像７１にその値段とタッチ操作によって購入することを示す「１００円 購入」といったような購入情報欄７４が表示されている。従って、この商品一覧画面９１ａにおいて、購入希望の商品の画像７１をタッチ操作すると、図９Ｂ（ｂ）の（ホ）に示すような購入確認画面７８が表示され、この希望する商品を購入することができる。
【０１３９】
利用者１１が、この商品一覧画面９１ａの関心のある部分を見ながら、このサイネージ自販機１に近づいてきて接近エリア６３（図８）に入ると（ステップＳ２０２）、この利用者１１に対して図７（ｂ）に示す利用者別注視データの作成が開始され、また、図７（ａ）に示す商品別注視データの更新が行なわれる。そして、図１０（ｂ）の（ハ）に示すように、この図７（ｂ）に示すこの利用者１１についての利用者別注視データをもとに、商品一覧画面９１ｂにおいて、利用者１１が注視している部分の商品の画像１１を強調表示するとともに（ステップＳ２０３）、この強調表示された商品の画像にカテゴリ（種別）や成分，価格などの商品キーワード９２が詳細情報として表示され、かかる商品の画像７１が強調表示される（ステップＳ２０４）。
【０１４０】
利用者１１がサイネージ自販機１にさらに近づいてきて近接エリア６４（図８）に入り、かかる商品一覧画面９１ｂで強調表示される商品の画像７１のうちの１つの商品の画像７１を注視すると、表示画面２に図１０（ｂ）の（ニ）に示す関連商品画面９３が表示される（ステップＳ２０５）。この関連商品画面９３では、商品一覧画面９１ｂで注視した商品の画像７１ｘとこれに関連する商品の画像７１ｘ1〜７１ｘ5が強調して表示され、メッセージ欄７５にこの関連する商品を示す、例えば、「硬水」といったような関連商品を示すメッセージが表示される。
【０１４１】
かかる関連商品画面９３で、利用者１１が希望する商品を購入するために、その画像７１ｘ，７１ｘ1〜７１ｘ5のいずれか、あるいはこれら以外の商品の画像７１をタッチ操作すると、図９Ｂ（ｂ）の（ホ）に示すような購入確認画面７８が表示され（ステップＳ２０６）、以下、説明を省略するが、第１の実施形態と同様に、購入の手続をすると、図１０（ｂ）の（ホ）に示すように、図９Ｂ（ｂ）の（ヘ）に示す購入商品ランキング画面８３と同様の購入商品ランキング画面８３が表示される（ステップＳ２０７，Ｓ２０８）。ここでは、気になったキーワードについても、注視・操作による購入情報からランキングを表示することができるようにしている。
【０１４２】
なお、関連商品画面９３では、「一覧に戻る」ボタン９４が設けられており、これがタッチ操作されると、図１０（ｂ）の（ロ）に示す商品一覧画面９１ａの表示に戻る。これにより、改めてこの利用者１１の図７（ｂ）に示す利用者別注視データが作成され、これを基に利用者１１が注視している商品に対して、図１０（ｂ）の（ハ）に示す商品一覧画面９１ｂが表示されることになる。
【０１４３】
このようにして、この第２の実施形態においても、上記第１の実施形態と同様の効果が得られることになる。
【０１４４】
〔第３の実施形態〕
図１１は本発明による商品選択支援方法の第３の実施形態の処理の流れに対する図２における表示画面２１での画面の流れの一部を示す図であって、図２，図５に示す広告サイネージ２０に関するものであり、１００は商品一覧画面、１０１は商品の画像、１０２は注視点、１０３ａ，１０３ｂ，１０４は選択商品画面、１０５は商品名、１０６は関連情報であり、前出図面に相当する部分には同一符号を付けて重複する説明を省略する。
【０１４５】
広告サイネージ２０（図２）についても、サイネージ自販機１の場合と同様、その表示画面２１（図２）での商品画像の表示形態が、この表示画面２１（図２）を見る利用者２９の図７（ｂ）に示す利用者別注視データに応じて変化するものである。
【０１４６】
図１１（ａ）に示す商品一覧画面１００には、商品Ａ，Ｂ，……，Ｒの画像１０１が整列し、静止した状態で表示されている。これは、例えば、図１０（ｂ）の（ロ）に示す商品一覧画面９１ａでの表示状態と同様である。
【０１４７】
利用者２９が、広告サイネージ２０に対して、接近エリア６３あるいは近接エリア６４で関心のある商品の画像１０１に注視すると、広告サイネージ２０は、図７（ｂ）に示すこの利用者２９に対する注視データを基に、この注視している領域を判定する。ここでは、商品Ａ，Ｂ，Ｇ，Ｈの画像１０１を含む領域内に注視点１０２があるものとする。注視点１０２を含むかかる領域を、以下、注視領域という。
【０１４８】
この注視点１０２がある注視領域内の商品Ａ，Ｂ，Ｇ，Ｈに対する注視度は、図７（ｂ）に示す利用者別注視データでの時間（注視時間）が他の商品の画像１０１よりも長くなることから、かかる商品に対する注視度が高くなり、これにより、表示画面２１では、図１１（ｂ）に示すように、商品一覧画面１００での注視領域内の商品Ａ，Ｂ，Ｇ，Ｈの画像１０１が表示された選択商品画面１０３ａが表示される。
【０１４９】
この選択商品画面１０３ａでは、商品Ａ，Ｇの画像１０１の縦列と商品Ｂ，Ｈの画像１０１の縦列とが横に配列されて、しかも、商品一覧画面１００の時よりも拡大されて表示される。そして、さらに、かかる選択商品画面１０３ａを利用者２９が商品Ａ，Ｇの画像１０１の配列側を注視し、その注視点１０１が商品Ａ，Ｇの画像１０１の配列側にあるとすると、かかる商品Ａ，Ｇの図７（ｂ）に示す利用者別注視データでの時間（時間長）が商品Ｂ，Ｈよりも長くなるから、これら商品Ａ，Ｇに対する注視度が高くなり、これにより、図１１（ｃ）に示すように、選択商品画面１０３ａでの注視領域内にある商品Ａ，Ｇの画像１０１が横に配列され、しかも、選択商品画面１０３ａのときよりもさらに拡大されて表示された選択商品画面１０３ｂが表示画面２１に表示される。
【０１５０】
そして、この選択商品画面１０３ｂで利用者２９が商品Ｇ側の画像１０１を注視すると、かかる商品Ｇの図７（ｂ）に示す利用者別注視データでの時間（時間長）が商品Ａよりも長くなるから、これら商品Ｇに対する注視度が高くなり、これにより、図１１（ｄ）に示すように、選択された商品Ｇの画像１０１と、商品名１０５と、この商品Ｇの値段などの関連情報１０６とが表示された選択商品画面１０４が表示画面２に表示される。
【０１５１】
なお、利用者２９がこの選択商品画面１０４で希望する商品Ｇを確認し、広告サイネージ２０から離れると、表示画面２１では、図１１（ａ）に示すトップ画面としての商品一覧画面１００の表示に戻る。
【０１５２】
このように、この第３の実施形態では、利用者２９の商品画面の注視によって表示される表示される商品の画像が制限されていき、遂には、利用者２９が興味のある、あるいは購入を希望する商品の画像とその関連情報とが表示される状態となり、利用者２９が何ら操作をすることなく、商品画面を注視しているだけでかかる商品の画像を容易にかつ確実に確認できる状態とすることができる。このことにより、購入段階まで進まなくても、注視情報を取ることが可能となることにより、マーケティングに活用できる情報収集を自動でサービス提供者が行なうことができる。
【０１５３】
〔第４の実施形態〕
図１２は本発明による商品選択支援方法の第４の実施形態の処理の流れに対する図２における表示画面２１での画面の流れ一部を示す図であって、図２，図５に示す広告サイネージ２０に関するものであり、１０１ａ1〜１０１ａ3，１０１ｂ1〜１０１ｂ3，１０１ｃ1〜１０１ｃ3は商品の画像、１１０ａは商品カテゴリ選択画面、１１０ｂは商品成分選択画面、１１０ｃは商品価格選択画面、１１１ａ1〜１１１ａ3はカテゴリのキーワード、１１１ｂ1〜１１１ｂ3は成分のキーワード、１１１ｃ1〜１１１ｃ3は価格のキーワードであり、前出図面に相当する部分には同一符号を付けて重複する説明を省略する。
【０１５４】
この第４の実施形態は、広告サイネージ２０（図２）の表示画面２１への利用者２９（図２）の注視状態に応じて商品の属性を示すキーワードを選択していくことにより、表示画面２１に表示される商品を利用者２９が希望する商品に絞り込むことができるようにしたものである。
【０１５５】
ここで、商品のキーワードは、階層的な関係にある商品のカテゴリ、成分，価格などであって、カテゴリが最上位の階層にあり、次の階層に商品の成分が、さらに次の階層に商品の価格などがある。商品のカテゴリは、ジュース，菓子，ミネラルウォータといったような商品の種別を表わすものであって、この場合の種別を表わす「ジュース」，「菓子」，「ミネラルウォータ」が商品のカテゴリのキーワードということになる。また、商品の成分とは、この商品に用いられる成分であって、例えば、ミネラルウォータを例に取ると、硬水，中硬水，軟水などといったものであり、これら「硬水」，「中硬水」，「軟水」が商品の成分のキーワードである。さらに、商品の価格については、「１００円」，「１２０円」，「１５０円」といった商品の値段を表わすものが商品の価格のキーワードということになる。
【０１５６】
人物が図８に示す遠方エリア６２よりも広告サイネージ２０（図２）に近づいていないときには、この広告サイネージ２０の表示画面２１には、図１２（ａ）に示す商品カテゴリ選択画面１１０ａが表示されている。この商品カテゴリ選択画面１１０ａには、夫々の商品のカテゴリ毎の商品の画像１０１ａ1，１０１ａ2，１０１ａ3と夫々の商品の画像１０１ａ1，１０１ａ2，１０１ａ3毎にカテゴリを示す詳細情報としてのキーワード１１１が表示されている。例えば、商品の画像１０１ａ1には、「ジュース」のキーワード１１１ａ1が表示され、商品の画像１０１ａ2には、「お菓子」のキーワード１１１ａ2が表示され、商品の画像１０１ａ3には、「ミネラルウォータ」のキーワード１１１ａ3が表示される。
【０１５７】
なお、ここでは、「ジュース」，「お菓子」，「ミネラルウォータ」の３種類のカテゴリの商品の画像１０１ａ1〜１０１ａ3が表示されているものとするが、これに限るものではない。
【０１５８】
人物がかかる表示画面２の所定の商品のカテゴリを注視して広告サイネージ２０に近づいてきているものとすると、この人物が利用者２９となるが、この利用者２９が図８での接近エリア６３に入ると、広告サイネージ２０は、この利用者２９に対して、商品カテゴリ選択画面１１０ａでのカテゴリ毎の図７（ｂ）に示すような利用者別注視データが作成され、これら利用者別注視データから求まる注視度が所定の値以上となる（例えば、図７（ｂ）での利用者別注視データの注視時間が所定の時間以上となる）商品カテゴリがあると、この商品カテゴリが選択されて、この商品のカテゴリの下位層のキーワードとなる商品の成分を選択するための図１２（ｂ）に示す商品成分選択画面１１０ｂが表示画面２に表示される。
【０１５９】
ここで、図１２（ａ）に示す商品カテゴリ選択画面１１０ａにおいて、カテゴリ「ミネラルウォータ」の商品の画像１０１ａ3を利用者２９が注視し続け、この「ミネラルウォータ」に対する図７（ｂ）に示す利用者別注視データからの注視度により、商品カテゴリ選択画面１１０ａで注視点１０２がカテゴリ「ミネラルウォータ」の商品の画像１０１ａ3内にある場合には、この「ミネラルウォータ」の商品の画像１０１ａ3が利用者２９によって注視されているとして、図１２（ｂ）に示す商品成分選択画面１１０ｂでは、詳細情報としてのカテゴリ「ミネラルウォータ」が選択されたものとし、カテゴリ「ミネラルウォータ」での成分が異なる商品の画像１０１ｂが端末記憶部４５で検索され、配列されて表示される。
【０１６０】
ここでは、商品カテゴリ選択画面１１０ａで選択されたカテゴリ「ミネラルウォータ」では、「硬水」と「中硬水」と「軟水」の３種類の成分が異なる商品があるものとすると、商品成分選択画面１１０ｂでは、図１２（ｂ）に示すように、硬水のミネラルウォータの商品の画像１０１ｂ1と中硬水のミネラルウォータの商品の画像１０１ｂ2と軟水のミネラルウォータの商品の画像１０１ｂ3とが配列されて表示される。また、これら商品の画像１０１ｂ1，１０１ｂ2，１０１ｂ3には夫々、その成分を表わす「硬水」といったキーワード１１１ｂ1，「中硬水」といったキーワード１１１ｂ2，「軟水」といったキーワード１１１ｂ3が夫々詳細情報として表示される。
【０１６１】
なお、ここでは、商品成分選択画面１１０ｂに３個の商品の画像１０１ｂ1，１０１ｂ2，１０１ｂ3が表示されているものとしているが、これまで選択されたキーワード（ここでは、「ミネラルウォータ」）に該当する全ての商品の画像１０１ｂが表示される。
【０１６２】
そして、利用者２９が接近エリア６３（図８）に居ながら、あるいはまた、さらに広告サイネージ２０に近づきながら、この商品成分選択画面１１０ｂでいずれかの成分の商品の画像１０１を注視続けると、図７（ｂ）に示す利用者別注視データを基に、注視続ける成分の商品の詳細情報が選択されたものとして（このとき、商品成分選択画面１１０ｂでは、注視点１０２が成分「軟水」の商品の画像１０１ｂ3内にあるものとする）、図１２（ｃ）に示す商品価格選択画面１１０ｃが表示され、これに詳細情報としての成分「軟水」での価格が異なる商品の画像１０１ｃが配列されて表示される。
【０１６３】
ここでは、商品成分選択画面１１０ｂで選択された成分「軟水」では、「１２０円」と「２２０円」と「３２０円」の３種類の値段が異なる商品があるものとすると、図１２（ｃ）に示す商品価格選択画面１１０ｃでは、図１２（ｃ）に示すように、価格が１２０円の商品（軟水のミネラルウォータ）の画像１０１ｃ1と価格が２２０円の商品の画像１０１ｃ2と価格が３２０円の商品の画像１０１ｃ3とが配列されて表示される。また、これら商品の画像１０１ｃ1，１０１ｃ2，１０１ｃ3には夫々、その価格を表わす「１２０円」といったキーワード１１１ｃ1，「２２０円」といったキーワード１１１ｃ2，「３２０円」といったキーワード１１１ｃ3が表示される。
【０１６４】
なお、ここでは、商品価格選択画面１１０ｃに３個の商品の画像１０１ｃ1，１０１ｃ2，１０１ｃ3が表示されているものとしているが、これまで選択されたキーワード（ここでは、「ミネラルウォータ」と「軟水」）に該当する全ての商品の画像１０１ｃが表示される。
【０１６５】
さらに、利用者２９がこの商品価格選択画面１１０ｃでいずれかの価格の商品の画像１０１を注視続けると、図７（ｂ）に示す利用者別注視データを基に、注視続ける価格の商品が選択されたものとして（このとき、商品価格選択画面１１０ｃでは、注視点１０２が価格「３２０円」の商品の画像１０１ｃ3内にあるものとする）、図１２（ｄ）に示す選択商品画面１０４が表示される。この選択商品画面１０４は、図１１（ｄ）に示す選択商品画面１０４と同様のものであり、図１１に示す第３の実施形態と同様、利用者２９がこの選択商品画面１０４で希望する商品Ｇを確認し、広告サイネージ２０から離れると、表示画面２１では、図１２（ａ）に示すトップ画面としての商品カテゴリ選択画面１１０ａの表示に戻る。
【０１６６】
このように、この第４の実施形態では、先の第３の実施形態と同様、利用者２９の商品画面の注視によって表示される商品の画像が制限されていき、遂には、利用者２９が興味のある、あるいは購入を希望する商品の画像とその関連情報とが表示される状態となり、利用者２９が何ら操作をすることなく、商品画面を注視しているだけでかかる商品の画像を容易にかつ確実に確認できる状態とすることができる。
【０１６７】
〔第５の実施形態〕
図１３は本発明による商品選択支援方法の第５の実施形態の処理の流れに対する図２における表示画面２１での画面の流れの一部を示す図であって、図２，図５に示す広告サイネージ２０に関するものであり、１２０ａ，１２０ｂは商品一覧画面、１０１ａ〜１０１ｄは注視領域内の商品の画像であり、前出図面に相当する部分には同一符号を付けて重複する説明を省略する。
【０１６８】
人物が図８に示す遠方エリア６２よりも広告サイネージ２０（図２）に近づいていないときには、この広告サイネージ２０の表示画面２１には、図１３（ａ）に示す商品一覧画面１２０ａが表示されている。この商品一覧画面１２０ａには、対象とする全ての商品の画像１０１が静止した状態で整列されて表示されており、図示しないが、価格などの情報も同時に表示されている。
【０１６９】
この人物がかかる表示画面２の所定の商品のカテゴリを注視して広告サイネージ２０に近づいてきているものとすると、この人物は利用者２９となるが、この利用者２９が図８での接近エリア６３に入ると、広告サイネージ２０は、この利用者２９に対して、商品一覧画面１２０ａでの商品毎の図７（ｂ）に示すような利用者別注視データが作成され、これら利用者別注視データから求まる注視度が所定の値以上となる（例えば、図７（ｂ）での利用者別注視データの注視時間が所定の時間以上となる）カテゴリがあると、この商品カテゴリが選択されて、図１２（ｂ）に示す商品一覧画面１２０ｂが表示画面２に表示される。
【０１７０】
この商品一覧画面１２０ｂでは、図１２（ａ）に示す商品一覧画面１２０ａでその注視点１０２を含む注視領域内の商品の画像１０１ａ〜１０１ｄが、図示しない価格などの情報とともに、拡大して表示される。これにより、利用者２９は興味のある商品を確認することができる。
【０１７１】
この商品一覧画面１２０ｂで利用者２９の購入希望の商品がある場合には、利用者２９が、さらに、この商品の画像、例えば、商品の画像１０１ａを注視することにより、この画像１０１ａの商品の注視度が高まることから、この商品が選択されたものとして、図示しないが、図１１，図１２に示す実施形態と同様に、選択商品画面１０４が表示される。これにより、利用者２９は購入希望の商品を明確に確認することができる。
【０１７２】
なお、その後、利用者２９が広告サイネージ２０から離れると、表示画面２１では、図１３（ａ）に示すトップ画面としての商品一覧画面１２０ａの表示に戻る。
【０１７３】
このように、この第５の実施形態でも、先の第３，第４の実施形態と同様、利用者２９の商品画面の注視によって表示される商品の画像が拡大して表示され、利用者２９が何ら操作をすることなく、商品画面を注視しているだけでかかる商品の画像を容易にかつ確実に確認できる状態とすることができる。
【０１７４】
〔第６の実施形態〕
図１４は本発明による商品選択支援方法の第６の実施形態の処理の流れに対する図２における表示画面２１での画面の流れの一部を示す図であって、図２，図５に示す広告サイネージ２０に関するものであり、１３０ａ，１３０ｂは商品一覧画面、１０１ａ〜１０１ｇは商品の画像であり、前出図面に相当する部分には同一符号を付けて重複する説明を省略する。
【０１７５】
人物が図８に示す遠方エリア６２よりも広告サイネージ２０（図２）に近づいていないときには、この広告サイネージ２０の表示画面２１には、図１３（ａ）に示す商品一覧画面１３０ａが表示されている。この商品一覧画面１３０ａには、対象とする全ての商品の画像１０１が整列されて表示されており、図示しないが、価格などの情報も同時に表示されている。
【０１７６】
また、この商品一覧画面１３０ａでは、新商品や売れ行きを伸ばしたい商品などの店舗が特に販売に力を入れている商品の画像１０１は、揺れながら表示されている。商品の画像１０１ｂ，１０１ｅ，１０１ｇはかかる商品の画像であり、揺れながら表示されている。
【０１７７】
かかる商品一覧画面１３０ａに対し、利用者２９が接近エリア６３（図８）以内に広告サイネージ２０に近づき、例えば、揺れて表示されている２つの商品の画像１０１ｂ，１０１ｅを交互に注視したとすると（これにより、注視点１０２はこれら画像１０１ｂ，１０１ｅ間を往復移動する）、図７（ｂ）に示すこれら商品画像１０１毎の注視データを基に、これら画像１０１ｂ，１０１ｅを角部に含む注視領域が設定され、かかる注視領域内に含まれる商品の画像１０１ａ〜１０１ｆが拡大され、静止して表示される、図１４（ｂ）に示す商品一覧画面１３０ｂが表示画面２１に表示される。
【０１７８】
この商品一覧画面１３０ｂでは、注視領域内の商品の画像１０１ａ〜１０１ｆが同じ大きさに拡大されて表示されてもよいが、図１４（ｂ）に図示するように、中央部の商品の画像１０１ｃ，１０１ｄを、その上下の商品の画像１０１ａ，１０１ｂ，１０１ｅ，１０１ｆよりも大きなサイズで拡大表示するようにしてもよい。
【０１７９】
このように、この第６の実施形態においても、利用者２９が表示画面２１の複数の箇所を交互に注視するだけで、かかる注視点に応じた領域での利用者２９が興味をもつ商品が拡大表示されて見易いものとなる。
【０１８０】
なお、ここでは、揺れて表示されている商品の画像１０１ｂ，１０１ｅを例に説明したが、必ずしも揺れている必要はなく、商品の画像１０１ｂ，１０１ｅを利用者２９が交互に注視しても、同様に、図１４（ｂ）に示す商品一覧画面１３０ｂが表示される。また、商品一覧画面１３０ａにおいて、利用者２９が、図１３（ａ）に示すように、注視点１０２が一箇所を指し示すような場合は、図１３（ｂ）に示す商品一覧画面１２０ｂのような拡大表示がなされる。
【０１８１】
〔第７の実施形態〕
図１５は本発明による商品選択支援方法の第７の実施形態での図２における表示画面２１での画面の具体例を示す図であって、図２，図５に示す広告サイネージ２０に関するものであり、１４０は商品一覧画面であり、前出図面に相当する部分には同一符号を付けて重複する説明を省略する。
【０１８２】
同図において、商品一覧画面１４０は、図１３（ａ）に示す商品一覧画面１２０ａのような商品一覧画面において、利用者２９が図８での接近エリア６３で、あるいはこの接近エリア６３よりも広告サイネージ２０に近づいて、かかる商品一覧画面での興味ある商品の画像１０１を注視している場合を示すものである。ここでは、利用者２９が２つの商品の画像１０１ａ，１０１ｂを交互に注視しているものとしており、この第７の実施形態では、このような場合、これら２つの商品の画像１０１ａ，１０１ｂがともに揺れ始めて、揺れた状態で表示される。
【０１８３】
これにより、利用者２９は興味をもったこれら商品の画像１０１ａ，１０１ｂを注視していることを広告サイネージ２０が間違いなく検知していることを確認できるものである。
【０１８４】
そして、図示しないが、かかる商品の画像１０１ａ，１０１ｂを、さらに、所定時間以上注視すると、図１３（ｂ），図１４（ｂ）に示すように、これら商品の画像１０１ａ，１０１ｂが集合して拡大され、停止した状態で表示され、利用者２９がより明確にこれらの商品を確認できるようにする。
【０１８５】
〔第８の実施形態〕
図１６は本発明による商品選択支援方法の第８の実施形態での図２における表示画面２１での画面の具体例を示す図であって、図２，図５に示す広告サイネージ２０に関するものであり、１５０は商品一覧画面であり、前出図面に相当する部分には同一符号を付けて重複する説明を省略する。
【０１８６】
同図において、商品一覧画面１４０は、図１３（ａ）に示す商品一覧画面１２０ａのような商品一覧画面において、利用者２９が図８での接近エリア６３で、あるいはこの接近エリア６３よりも広告サイネージ２０に近づいて、かかる商品一覧画面での興味ある商品の画像１０１を注視している場合を示すものであって、ここでは、利用者２９が１つの商品の画像１０１ａを注視しているものとしており、この第８の実施形態では、このような場合、この商品の画像１０１ａに、当該商品に関するキーワードがＡ，Ｂ，Ｃ，Ｄというように表示される。このキーワードとしては、前述のように、商品の種類（カテゴリ）や商品名，成分，価格などである。
【０１８７】
このように、この第８の実施形態は、第７の実施形態と同様の効果が得られるとともに、注視している商品のカテゴリや商品名，成分，価格などの関連情報を利用者が知ることができ、そして、図示しないが、かかる商品の画像１０１ａが所定時間以上注視されると、図１３（ｂ），図１４（ｂ）に示すように、この商品の画像１０１ａが拡大状態で表示され、利用者２９がより明確にこれらの商品を確認できるようにする。
【０１８８】
〔第９の実施形態〕
図１７は本発明による商品選択支援方法の第９の実施形態の処理の流れに対する図２における表示画面２１での画面の流れの一部を示す図であって、図２，図５に示す広告サイネージ２０に関するものであり、１６０ａ，１６０ｂは商品一覧画面であり、前出図面に相当する部分には同一符号を付けて重複する説明を省略する。
【０１８９】
人物が図８に示す遠方エリア６２よりも広告サイネージ２０（図２）に近づいていないときには、この広告サイネージ２０の表示画面２１には、図１７（ａ）に示す商品一覧画面１６０ａが表示されている。この商品一覧画面１６０ａには、対象とする全ての商品の画像１０１がスクロールしながら表示されている（ここでは、垂直方向にスクロールする場合を示しているが、横方向でもよい）。
【０１９０】
かかる商品一覧画面１６０ａに対し、利用者２９が接近エリア６３（図８）以内に広告サイネージ２０に近づき、例えば、商品の画像１０１ａ，１０１ｂを交互に注視したとすると、図７（ｂ）に示すこれら商品画像１０１毎の注視データを基に、図１７（ｂ）に示す商品一覧画面１６０ｂが表示画面２１に表示される。
【０１９１】
この商品一覧画面１６０ｂでは、注視された２つの商品の画像１０１ａ，１０１ｂが同じ大きさに拡大され、かつスクロールを停止して揺れた状態で表示される。
【０１９２】
このように、この第９の実施形態においても、利用者２９が表示画面２１の所定の商品の画像１０１を注視するだけで、かかる注視点に応じた領域での利用者２９が興味をもつ商品が拡大されてみやすいものとなるし、揺れた状態で表示されるので、利用者２９は、注視していることを容易に確認できる。
【０１９３】
なお、以上の各実施形態においては、複数人の人物がサイネージ１，２０の表示画面を注視する場合には、注視している最前の人物を上記の利用者１１，２９として、サイネージ１，２０が上記の動作をする。
【符号の説明】
【０１９４】
１ サイネージ自販機
２ 表示画面
３ カメラ
４ 操作部
５ 現金投入口
６ カードタッチ部
７ 釣銭取り出し口
８ 商品取り出し口
９，１０ スピーカ
１１ 利用者
１１ａ 視線
２０ 広告表示板
２１ 表示画面
２２ カメラ
２３，２４ スピーカ
２５ 制御部
２６ 店舗のレジ
２７ 壁
２８ レジ係
２９ 利用者
２９ａ 視線
３０ 注目度計測部
３１ 撮像部
３２ 人物位置計測部
３３ 視線方向計測部
３４ 注視位置情報算出部
３５ 空間情報記録部
３６ 注視度算出部
３７ 集計部
３８ 入力部
３９ 出力制御部
４０ 出力部
４１ 表示フィードバック部
４２ 表示装置
４３ 表示集計部
４４ スピーカ部
４５ 端末記憶部
４６ 端末制御部
４７ 履歴ＤＢサーバ
４８ 端末通信部
４９ 電源部
５０ 操作フィードバック部
５１ タッチパネル部
５２ 操作集計部
５３ 個人認証部
５４ 利用者集計部
５５ 決済処理部
５６ 購入集計部
５７ 商品搬送部
５８ 商品保管部
６０ 什器／自販機
６１ 広告／販売機６１
６２ 遠方エリア
６３ 接近エリア
６４ 近接エリア
６５ 購入エリア
６６ａ〜６６ｅ 歩行経路
７０ａ〜７０ｃ 商品一覧画面
７１，７１ａ〜７１ｄ，７１ｘ，７１ｘ1〜７１ｘ5 商品の画像
７２ 推奨コメント
７３，７３ａ，７３ｂ 注視領域
７４ 購入情報欄
７５ メッセージ欄
７６ カート
７６ａ 商品表示欄
７６ｂ 購入料金表示欄
７６ｃ 「会計へ」ボタン
７７ 「削除」ボタン
７８ 購入確認画面
７９ 購入金額表示エリア
８０ 支払方法紹介エリア
８１ 「現金」ボタン
８１ｂ 「ＩＣカード」ボタン
８１ｃ 「携帯電話」ボタン
８２ 「中止する」ボタン
８３ 購入商品ランキング画面
８４ 商品ランキング表示欄
８５ ポイント
８６ 商品の画像
８７ 「終了する」ボタン
９０ 広告画面
９１ａ，９１ｂ 商品一覧画面
９２ 商品キーワード
９３ 関連商品画面
９４ 「一覧に戻る」ボタン
１００ 商品一覧画面
１０１，１０１ａ1〜１０１ａ3 商品の画像
１０１ｂ1〜１０１ｂ3，１０１ｃ1〜１０１ｃ3 商品の画像
１０１ａ〜１０１ｇ 注視領域内の商品の画像
１０２ 注視点
１０３ａ，１０３ｂ，１０４ 選択商品画面
１０５ 商品名
１０６ 関連情報
１１０ａ 商品カテゴリ選択画面
１１０ｂ 商品成分選択画面
１１０ｃ 商品価格選択画面
１１１ａ1〜１１１ａ3 カテゴリのキーワード
１１１ｂ1〜１１１ｂ3 成分のキーワード
１１１ｃ1〜１１１ｃ3 価格のキーワード
１２０ａ，１２０ｂ，１３０ａ，１３０ｂ 商品一覧画面
１４０，１５０，１６０ 商品一覧画面
【技術分野】
【０００１】
本発明は、自動販売機や施設内の広告表示板などに設けられてＩＰネットワークからダウンロードされた商品などの商品情報を表示するデジタルサイネージに関し、特に、表示される表示情報に対する顧客の注視度を商品情報の表示形態にフィードバックして利用できるようにした商品選択支援方法に関する。
【背景技術】
【０００２】
店舗などにおいて、設置された表示装置に通信システムから受信した商品に関するコンテンツを表示し、来店した顧客に商品の宣伝や広告を行なうことができるようにしたデジタルサイネージを用いたシステムが知られている（例えば、特許文献１参照）。
【０００３】
かかるシステムとしては、各場所に設置される自動販売機やコンビニエンスストアといった店舗などの施設内に設置される広告表示板にデジタルサイネージを用い、ダウンロードされた商品の広告情報（例えば、商品の画像など）を表示画面に表示し、商品の宣伝・広告を行なうことが考えられる。ところで、商品の広告，宣伝を行なう場合には、店舗側としては、その広告，宣伝の効果がどのようなものであるか知ることが必要であり、このため、広告，宣伝される各商品に対する顧客の注視度（各商品に対する顧客の注目の度合い）を検出するような技術も提案されている。
【０００４】
その一例として、商品の陳列棚に陳列されている商品の人物による注目度を算出し、夫々の商品の注目度を画面で表示するようにした技術が提案されている（例えば、特許文献２参照）。
【０００５】
この特許文献２に記載の技術では、陳列棚にカメラと位置計測装置とを設け、陳列棚の商品に注目する人物（顧客）をカメラで撮像して人物の画像を取得するとともに、位置計測装置でこの人物の位置を検出し、この人物の画像から顔が向いている方向（顔方向）と眼が向いている視線の方向とを検出し、検出したこの人物の位置と顔方向と視線の方向とから陳列棚でのこの人物が注目している商品を検出するものであって、陳列棚での各商品毎に注目された回数を集計し、表示画面上に各商品毎に注目された回数を棒グラフで、あるいは単位時間当りの注目回数の変化をヒストグラフで表示するなど、かかる注目回数を注目度として、注目度を表わすグラフックスを商品の画像と重ね合わせて表示するものである。
【０００６】
また、他の例として、表示画面に大きいサイズの主表示領域と１以上の小さいサイズの副表示領域とを設定し、主表示領域と副表示領域とに別々のカメラで撮影した映像を表示し、これら主表示領域と副表示領域とで映像が表示される表示画面を観る視聴者のこれら画像毎の表示要求度を検出し、表示要求度も最も高い映像を主表示領域で表示するようにし、夫々の表示要求度が変化して副表示領域に表示されている映像の表示要求度が最大となると、この映像を、これまで主表示領域で表示されていた映像に代えて、主表示領域で表示させるようにした技術も提案されている（例えば、特許文献３参照）。
【０００７】
特許文献３に記載の技術において、視聴者による表示要求度を求める場合も、カメラで表示画面の近くにいる人物を撮像してその顔画像を取得し、この顔画像から表示画面に顔を向けている人物を視聴者としてを認識し、これら視聴者の顔画像の位置座標を検出するとともに、これら視聴者の顔の方向と眼球の方向とを認識して視聴者毎に視線方向を検出し、検出した顔画像の位置座標と視線方向とから表示画面中の注視している視線の位置座標を検出し、この視線の位置座標に基づいて、視聴者毎に、注目している映像を判定する。そして、上記の顔画像の位置座標を基に、視聴者の顔がどの程度静止しているか、従って、ある映像をどのくらい続けて観ているかを検出して満足度を算出し、この満足度と上記の注目している映像と判定した映像とを基に、映像毎に視聴者全員についての満足度を加算することにより、映像毎の表示要求度を求めるものである。
【０００８】
なお、人物の視線の方向を計測する方法として、この人物の顔の水平方向（左右方向）の向きと垂直方向（上下方向）の向きとから求めるようにした他の方法が提案されている（例えば、特許文献４参照）。
【０００９】
この特許文献４に記載の技術では、カメラで撮像した人物の映像からその顔画像を取得し、顔画像の領域である顔領域の垂直方向の中心位置に対して、この顔画像でのこの顔領域の中心位置にあるべき箇所（顔器官中心位置）が水平方向にずれている場合、これを顔の水平方向の向きとして検出し、顔画像での肩から予め決められた高さの位置での部位の位置を基準位置とし、この基準位置にあるべき部位が上下方向に位置ずれた測定点にあるときには、推定される頭部の中心位置とこの測定点とを結ぶ直線のこの頭部の中心点を含む水平面からの角度を顔の垂直方向の向きとして検出する。そして、これらの検出した水平方向の向きと垂直方向の向きとから、顔の向きを求める。
【００１０】
このようにして、顔の向きが求まると、顔の向きに対する眼球の中心の向き（頭部の想定される中心位置と眼球の中心の位置とを結ぶ直線の方向）が求められ、この眼球の中心の向きが視線の方向となる。そして、このようにして求めた左右両目の視線の方向となり、これら視線の方向を重み付けして足し合わせることにより、この人物が観ている視線の方向が得られることになる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００９−１９４４８０号公報
【特許文献２】特開２００７−２８６９９５号公報
【特許文献３】特開２００６−１１９４０８号公報
【特許文献４】特開２００９−１０４５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上記の特許文献１に記載のように、デジタルサイネージを用いて商品の宣伝，広告を行なうようにした技術は既に知られており、また、特許文献２に記載のように、配列される商品に対する顧客の注目度を計測する技術も知られている。人物のかかる注目度を計測する方法としては、例えば、上記の特許文献４にも、その一例が紹介されている。
【００１３】
ところで、このように、顧客の商品に対する注目度を計測しても、この計測結果は商品を販売する店舗側にのみ利用されるものであって、顧客としては、陳列される商品や表示画面に表示される商品の画像を、同じ表示状態のままで、見るだけのものである。
【００１４】
顧客側としては、自動販売機や広告サイネージに表示されている商品の配列を見て商品を購入する場合、羅列された多くの商品の画像の中からから希望する商品を選択することになるが、表示される商品の画像が多くなるほど、表示される商品の画像のサイズは小さくなり、利用者がその中から希望する商品を見つけ出すことは手間と時間がかかるものであるし、また、誤った選択をする可能性もある。
【００１５】
また、表示画面のサイズを大きくし、夫々の商品の画像を大きく表示することも考えられが、装置が大型化して高価なものとなるし、表示画面のサイズが大きくなると、利用者は希望する商品を見つけ出すために、表示画面の前で動きまわるような事態も生じかねない。
【００１６】
なお、上記特許文献３には、視聴者の視線方向を計測して最も注目している映像を主表示領域で拡大して表示するようにした技術が提案されているが、商品を販売するための自動販売機や広告サイネージでは、複数の商品の画像がすべて同じサイズで表示されているものであり、常に１つの商品の画像を拡大して表示されるようなことは行なわれないものである。
【００１７】
本発明は、以上のような点に鑑みとなされたものであって、その目的は、表示画面で表示される商品画面を利用する利用者の商品画面への注視結果をこの画面での表示形態にフィードバックし、利用者に好適な画面表示を提供することが可能とした商品選択支援方法を提供することにある。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、本発明は、商品情報を格納した商品情報記録部と、商品の画像を表わす商品画面を表示画面に表示する表示部と、商品画面を利用する利用者を撮影する撮像部と、撮像部で撮影された利用者の画像から利用者の視線方向を検出する視線方向計測部と、表示部に対する利用者の位置を計測する利用者位置計測部と、利用者による商品画面での商品画像に対する注視度を算出する注視度算出部とを備えた装置を用い、利用者位置計測部によって所定の領域内の利用者を検出されると、視線方向計測部により、利用者の表示画面への視線方向を検出し、利用者の位置と視線方向とから利用者の表示画面に表示される商品画面での商品の画像に対する注視度を算出し、表示画面のうちの注視度の高い商品の画像が含まれる注視領域を特定して、注視領域に含まれる商品の画像を強調表示し、利用者の商品の画像に対する注視度と強調表示した注視領域に含まれる商品の画像とにより、商品の画像に該当する商品毎の注視度を算出し、商品情報記録部に記録することを特徴とする。
【００１９】
また、本発明は、強調表示が、注視度が高い商品の画像の拡大表示、または、商品の画像の近傍での当該商品の詳細情報の表示であることを特徴とする。
【００２０】
また、本発明は、強調表示が、注視度が高い商品の画像の拡大表示であって、拡大表示された商品の画像に対する利用者の視線方向と利用者の位置とを検出して、拡大表示された商品の画像に対する利用者の注視度を算出し、商品の画像を拡大表示中の表示画面のうち注視度の高い商品の画像を含む注視領域を特定し、注視領域に含まれる商品の画像をさらに拡大表示することを特徴とする。
【００２１】
また、本発明は、強調表示が、注視度が高い商品の画像での当該商品の詳細情報の表示であって、表示された詳細情報のうち特定の詳細情報が選択されると、選択された詳細情報に該当する商品情報を検索して、表示部に選択可能に表示することを特徴とする。
【００２２】
また、本発明は、表示画面には、タッチパネルが設けられ、商品画面に表示される商品の画像がタッチ操作されることにより、タッチ操作された商品の画像に該当する商品の購入決定処理を行なうことを特徴とする。
【００２３】
また、本発明は、商品画面は、複数の商品の画像をスクロール表示し、利用者がサイネージに対する所定の領域内に検出されると、利用者の位置と利用者の視線方向とから、スクロール表示する商品画面での商品の画像に対する利用者の注視度を算出し、スクロール表示する商品画面での商品の画像のうち、注視度の高い商品の画像を商品画面の中心に停止して表示することを特徴とする。
【００２４】
また、本発明は、商品情報記録部には、各商品毎の注視度及び各商品の販売履歴が記録され、商品の注視度及び販売実績のランキングを表示部で表示可能とすることを特徴とする。
【００２５】
また、本発明は、商品情報記録部には、詳細情報の選択履歴が記録され、選択された詳細情報のランキングを表示部で表示可能とすることを特徴とする。
【発明の効果】
【００２６】
本発明によると、複数の商品の画像が表示された商品画面での所定の商品の画像を注視するという動作だけでもって、商品画面での表示形態を利用者に好適なものとすることができ、利用者に手間をかけずに、この商品画面での希望する商品の選択を容易にかつ確実なものとする。
【図面の簡単な説明】
【００２７】
【図１】本発明による商品選択支援方法を実行するサイネージの一具体例としてのサイネージ自販機を示す外観斜視図である。
【図２】本発明による商品選択支援方法を実行するサネージの一具体例としての広告サイネージとその設置状態とを示す外観斜視図である。
【図３】図１に示すサイネージ自販機の動作の概略説明図である。
【図４】図２に示す広告サイネージの動作の概略説明図である。
【図５】図２に示す広告サイネージのブロック構成の一具体例を示す構成図である。
【図６】図１に示すサイネージ自販機１のブロック構成の一具体例を示す構成図である。
【図７】図５，図６における空間情報記録部３５に格納されている商品の注視データの一具体例を示す図である。
【図８】サイネージに対する人物の位置に応じたサイネージの動作を概念的に示す図である。
【図９Ａ】本発明による商品選択支援方法の第１の実施形態の処理の流れの一部を示す図である。
【図９Ｂ】図９Ａの処理に続いて実行される処理の流れの一具体例を示す図である。
【図１０】本発明による商品選択支援方法の第２の実施形態の処理の流れの一部を示す図である。
【図１１】本発明による商品選択支援方法の第３の実施形態の処理の流れに対する表示画面２１での画面の流れ一部を示す図である。
【図１２】本発明による商品選択支援方法の第４の実施形態の処理の流れに対する図２における表示画面２１での画面の流れ一部を示す図である。
【図１３】本発明による商品選択支援方法の第５の実施形態の処理の流れに対する図２における表示画面２１での画面の流れの一部を示す図である。
【図１４】本発明による商品選択支援方法の第６の実施形態の処理の流れに対する図２における表示画面２１での画面の流れの一部を示す図である。
【図１５】本発明による商品選択支援方法の第７の実施形態での図２における表示画面２１での画面の他の具体例を示す図である。
【図１６】本発明による商品選択支援方法の第８の実施形態での図２における表示画面２１での画面の他の具体例を示す図である。
【図１７】本発明による商品選択支援方法の第９の実施形態の処理の流れに対する図２における表示画面２１での画面の流れの一部を示す図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施形態を図面を用いて説明する。
【００２９】
図１は本発明による商品選択支援方法を実行するサイネージの一具体例としての自動販売機であるサイネージ自販機を示す外観斜視図であって、１はサイネージ自販機、２は表示画面、３はカメラ、４は操作部、５は現金投入口、６はカードタッチ部、７は釣銭取り出し口、８は商品取り出し口、９，１０はスピーカ、１１は利用者である。
【００３０】
同図において、サイネージ自販機１は、その筐体の前面に、複数の商品の画像（図示せず）が配列されて表示される表示画面２が設けられており、その表示画面２の上側中央部にカメラ３が設けられ、また、表示画面２の下側に操作部４が夫々設けられており、さらに、この操作部４の下側の左右両側にスピーカ９，１０が設けられている。
【００３１】
表示画面２は、その前に平均的な身長の利用者１１が正面を向いてこの表示画面２の前に立ったとき、この利用者１１の視線が表示画面２のほぼ中央の高さ位置を指すように、その高さ位置が設定されている。この表示画面２には、タッチパネル（図示せず）が設けられており、そこに表示されている商品の画像のうちのいずれかをタッチ操作でもって選択指定することができ、これにより、利用者１１は、表示画面２で画像が表示される商品のうちから希望する商品を選択して購入することができる。
【００３２】
カメラ３は、この表示画面２の上側中央部の位置から、この表示画面２に表示された商品の画像を見るために、この表示画面２の前に立ち止まった利用者１１やこの表示画面２の前をこの表示画面２を見ながら通り過ぎる利用者１１の少なくとも顔を含む範囲を撮影できるように、その撮影範囲（視野範囲）が設定されている。カメラ３で撮影された利用者１１の顔の画像は、表示画面２で画像が表示される商品の注視度を求めるのに用いられるものである。カメラ３は、この撮影範囲内に居るいずれの人物も撮影するが、このサイネージ自販機１から所定距離以上離れていてカメラ３で撮影して得られた顔の画像で眼や鼻，口などの顔の各部位を判別できないような場合には、かかる人物は表示画面２で表示される商品の画像を注視している利用者１１とはせず、その顔の画像は注視度の算出に用いない。
【００３３】
カメラ３で撮影された画像を画像認識処理することにより、利用者１１とサイネージ自販機１との距離を検知し、その位置を検出するものであって、利用者１１のサイネージ自販機１からの距離に応じて表示画面２での表示形態を変化される。
【００３４】
操作部４は、表示画面２でタッチ操作によって指定した商品を購入するためのものであって、現金投入口５とカードタッチ部６と釣銭取り出し口７と商品取り出し口８とを備えている。現金投入口５は、紙幣や貨幣を投入するためのものであって、ここで、図示しないが、紙幣の投入口と貨幣の投入口とからなる。カードタッチ部６は、クレジットカードなどのＩＣカードを備えて商品の購入などに電子マネーを扱うカード（以下、電子マネーカードという）で購入商品の料金を支払うためのものであって、かかるカードをカードタッチ部６に触れさせることにより、購入商品の料金の支払いが行なわれる。現金投入口５で現金を投入することにより、あるいはカードタッチ部６にカードを触れさせることにより、表示画面２で指定された商品の画像の料金が支払われることになり、商品取り出し口８の内側にこの商品が排出されて、この商品取り出し口８から利用者１１がこの商品を取り出すことができるし、お釣りがある場合には、その釣銭を釣銭取り出し口７で受け取ることができる。
【００３５】
操作部４の下側の左右に設けられているスピーカ９，１０は、表示画面２に画像が表示される商品の説明などをステレオ音声で出力する。
【００３６】
図２は本発明による商品選択支援方法を実行するサイネージの一具体例としての広告表示板である広告サイネージとその設置状態とを示す外観斜視図であって、２０は広告表示板、２１は表示画面、２２はカメラ、２３，２４はスピーカ、２５は制御部、２６は店舗のレジ（料金の支払をする場所）、２６ａはキャッシュレジスタ（料金の支払をする機械）、２７は壁で、２８はレジ係、２９は利用者である。
【００３７】
同図において、ここでは、広告サイネージ２０が、店舗内でのキャッシャレジスタ２６ａが設けられていて利用者２９が料金の支払をするレジ２９の前やその近くに居る利用者２９が見ることができるように、レジ２９の後ろの壁２７の上部に取り付けられている。但し、これに限るものではなく、広告サイネージ２０は店舗内の任意の場所の壁に取り付けられていてもよい。
【００３８】
この広告サイネージ２０は、複数の商品の画像を表示する表示画面２１と、その上側中央に設けられたカメラ２２と、表示画面２１の裏側に取り付けられている制御部２５とからなり、レジ係２８で表示画面２１が見えなくならないように、比較的高い位置に設置されており、このため、やや下向きの傾斜した状態で設置されている。これとともに、カメラ２２も、この表示画面２１の下向きの傾きに応じて、下向きに傾いており、その撮影範囲（視野範囲）も、レジ２６の前やその近くに居るこの広告サイネージ２０の利用者２９の少なくとも顔を含む範囲を撮影できるように設定されている。
【００３９】
カメラ２２の近くには、その左右両側にスピーカ２３，２４も設けられており、表示画面２に商品の画像が表示される商品の説明などをする音声が出力される。また、カメラ２２で撮影された画像を画像認識処理することにより、利用者２９と広告サイネージ２０との距離を検知するものであって、この利用者２９のレジ２６からの距離に応じて広告サイネージ２０の表示画面２１での表示形態を変化させる。
【００４０】
図３は図１に示すサイネージ自販機１の動作の概略説明図であって、１１ａは利用者１１の視線であり、図１に対応する部分には同一符号をつけて重複する説明を省略する。
【００４１】
同図において、カメラ３はその撮影範囲（なお、ここでは、左右方向について破線で示しているが、上下方向にも範囲がある。なお、一点鎖線は、カメラ３の視野の中心の方向を示すものである）内の撮影を常時行なっており、利用者１１がサイネージ自販機１に近づいてカメラ３の撮影範囲内に入ると、上記のように、カメラ３が撮影したこの利用者１１の顔の画像を基に、この利用者１１の表示画面２への注視方向としての表示画面２に向かう視線１１ａの方向を検出し、これを基に、この利用者１１が注視している表示画面２に表示されている商品の画像（図示せず）を判定する。この判定を基に、利用者１１によって注視された商品の画像に該当する商品の注視度が求められる。
【００４２】
このようにして、表示画面２に画像が表示される商品の注視度が求められ、かかる注視度に応じて表示画面２での表示形態が変更され、利用者１１の表示画面２への注視結果が表示画面２１での表示にフィードバックされる。
【００４３】
図４は図２に示す広告サイネージ２０の動作の概略説明図であって、２９ａは利用者２９の視線であり、図１に対応する部分には同一符号をつけて重複する説明を省略する。
【００４４】
この広告サイネージ２０についても、図３に示すサイネージ自販機１と同様であるが、図４において、カメラ２２はその撮影範囲（なお、ここでは、左右方向について破線で示しているが、上下方向にも範囲がある。なお、一点鎖線は、カメラ２２の視野の中心の方向を示すものである）内の撮影を常時行なっており、利用者２９がレジ２６に近づいてカメラ２２の撮影範囲内に入ると、上記のように、カメラ２２が撮影したこの利用者２９の顔の画像を基に、この利用者２９の表示画面２１への注視方向としての表示画面２１に向かう視線２９ａの方向を検出し、これを基に、この利用者２９が注視している表示画面２１に表示されている商品の画像（図示せず）を判定する。この判定を基に、利用者２９によって注視された商品の画像に該当する商品の注視度が求められる。
【００４５】
このようにして、表示画面２１に画像が表示される商品の注視度が求められ、かかる注視度に応じて表示画面２１での表示形態が変更されるものであり、利用者２９の表示画面２１への注視結果が表示画面２１での表示にフィードバックされる。
【００４６】
次に、図１に示すサイネージ自販機１と図２に示す広告サイネージ２０とのブロック構成について説明するが、サイネージ自販機１のブロック構成はその一部を広告サイネージ２０のブロック構成とするものであるから、まず、広告サイネージ２０のブロック構成について説明する。
【００４７】
図５は図２に示す広告サイネージ２０のブロック構成の一具体例を示す構成図であって、３０は注目度計測部、３１は撮像部、３２は人物位置計測部、３３は視線方向計測部、３４は注視位置情報算出部、３５は空間情報記録部、３６は注視度算出部、３７は集計部、３８は入力部、３９は出力制御部、４０は出力部、４１は表示フィードバック部、４２は表示装置、４３は表示集計部、４４はスピーカ部、４５は端末記憶部、４６は端末制御部、４７は履歴ＤＢ（データベース）サーバ、４８は端末通信部、４９は電源部である。
【００４８】
同図において、広告サイネージ２０は、その内部に注視度計測部３０と表示フィードバック部４１とを備えている。注視度計測部３０は、先に挙げた特許文献２（特開２００７ー２８６９９５号公報）に記載の注目度計測装置と同様の構成をなすものであるが、まず、注視度計測部３０について説明する。
【００４９】
注視度計測部３０は、カメラ２２（図２）を備えた撮像部３１と、人物位置計測部３２と、視線方向計測部３３と、注視位置情報算出部３４と、空間情報記録部３５と、注視度算出部３６と、集計部３７と、入力部３８と、出力制御部３９と、出力部４０とから構成されている。
【００５０】
撮像部３１では、図４で示すように、カメラ２２（図２）が利用者２９（図２）を撮像し、その撮像によって得られた動画の画像信号を処理して視線方向計測部３３に供給する。また、人物位置計測部３２は、カメラ２２で得られる画像信号から利用者１９までの距離を計測することにより、利用者２９の位置を表わす位置情報を取得し、視線方向計測部３３に供給する。視線方向計測部３３は、撮像部３１から供給された画像信号から利用者２９の肩の部分も含めた顔の部分の画像（顔画像）を抽出するとともに、この利用者２９の顔での眼の位置を抽出し、この顔の画像から利用者２９の表示画面２１（図２）に対する顔の左右方向，上下方向の向きを計測して、この顔の画像での瞳の位置などを基に、この利用者２９の視線方向を計測する。
【００５１】
空間情報記録部３５には、表示画面２１上の座標系の情報や広告サイネージ２０の表示画面２１で表示される各商品の画像の座標範囲を示す情報が格納されている。この商品の画像の表示画面２１上での表示位置座標は、この表示画面２１上の座標系での座標で表わされている。また、空間情報記録部３５には、表示画面２１で表示された各商品毎の注視度のデータ（以下、商品別注視データという）や、現在広告サイネージ２０の前で表示画面２１を見ている利用者１１の各商品に対する注視度の商品別注視データ（以下、利用者別注視データという）が格納されており、視線方向計測部３３の計測結果や注視位置情報算出部３４，注視度算出部３６での算出結果に応じてこれらは更新される。
【００５２】
注視位置情報算出部３４は、視線方向計測部３３で得られた視線方向と利用者２９の眼の位置と人物位置計測部３２から供給される利用者２９の位置情報とに基づき、また、空間情報記録部３５に格納している表示画面上の座標系を用いて、図４で説明したように、利用者２９の視線と表示画面２１とが交差する点、即ち、注視点（注目点）の位置座標を算出する。
【００５３】
注視度算出部３６は、注視位置情報算出部３４で算出された注視点が含まれる座標範囲の商品の画像を空間情報記録部３５で検索し、検索した商品の画像に対する注視度を算出する。また、注視度算出部３６は、算出した注視度を空間情報記録部３５に供給し、この空間情報記録部３５に記憶されている該当する商品の商品別注視データや利用者別注視データを更新する。
【００５４】
ここで、かかる注視データ（商品別注視データや利用者別注視データの総称）は、後述するように、この商品の画像が表示開始されてからの注視人数や注視回数，注視時間などで表わされるものであり、商品の注視度はかかる注視回数や注視時間などであらわされる。商品別注視データに基づく注視度は、その商品の注視人数の合計や注視回数の累計，注視時間の累計などで表わされ、利用者別注視データに基づく商品の注視度は、この利用者２９が広告サイネージ２０で認識されてから認識されなくなるまでの商品に対する注視回数や注視時間などで表わされる。かかる注目度は、利用者が商品を注視している限り、時間の経過とともに、空間情報記録部３５での注視データの更新に伴って更新される。
【００５５】
このようにして、新たに注視された商品の画像に対しては、注視度が更新されるので、空間情報記録部３５には、夫々の商品の画像に対して、常に最新の注視データが保存されていることになる。
【００５６】
空間情報記録部３５に保存されているこのときの利用者２９の利用者別注視データから、表示画面２１（図２）に表示されている商品の画像毎に所定のデータが出力制御部３９によって読み出され、この利用者２９による商品毎の注目度として、出力部４０から表示フィードバック部４１に出力される。
【００５７】
なお、商品別注視データによる商品の注目度としては、その注視データでの注目人数の合計，注目回数の合成，注目時間の合計のいずれ可であってもよいし、また、これらに基づいて算出された値（例えば、各利用者毎の注目回数と注目時間とを乗算した値を合計した値など）であってもよい。利用者別注視データによる商品の注目度についても、同様である。かかる計算は、出力制御部３９で行なわれる。
【００５８】
入力部３８では、表示フィードバック部４１から表示画面２１に表示されている商品の画像に関する情報（ＩＤや表示画面２１上での位置座標など）が入力され、集計部３７を介して空間記録部３５に供給される。集計部３７では、かかる商品の画像に関する情報が保持されており、出力制御部３９は、集計部３７での商品の画像に関する情報を基に、現在表示画面２１で表示されている商品の画像の注視度を検索する。
【００５９】
かかる注視データは、注視度算出部３６が注視位置情報算出部３４で算出された注視点が含まれる座標範囲の商品の画像を空間情報記録部３５で検索し、検索した商品の画像に該当する商品に対して算出したものであり、かかる注視データは空間情報記録部３５に記録され、利用者２９がその商品の画像を注視する毎に、このときの注視データが作成されて空間情報記録部３５に追加記録される。
【００６０】
次に、表示フィードバック部４１は、表示画面２１（図２）を有する表示装置４２と、表示集計部４３と、スピーカ２４（図２）を備えたスピーカ部４４と、端末記憶部４５と端末制御部４６とから構成される。
【００６１】
端末制御部４６は、端末通信部４８を介して、履歴ＤＢサーバ４７と接続されており、この履歴ＤＢサーバ４７には、表示画面２１で表示された商品の画像の情報や表示されている商品の画像の情報が蓄積されている。また、この端末制御部４６は表示画面２１での各商品の画像の表示位置を指定し、表示画面２１では、各商品の画像がこの指定された表示位置に表示される。この各商品の画像の表示位置は、また、表示集計部４３で集計され、注視度計測部２０の入力部３８に供給される。これにより、注視度計測部２０での出力制御部３９は、その集計部３７を介して、表示画面２１で現在表示されている商品の画像を確認することができる。
【００６２】
また、新たな商品を表示画面２１に表示させる場合には、その画像情報が履歴ＤＢサーバ４７に格納され、これとともに、その画像情報が端末通信部４８を介して端末制御部４６に供給される。端末制御部４６は、その商品の画像を、表示画面２１での表示位置を指定して、表示装置４２の表示画面２１に表示させる。表示集計部４３では、この新たに表示画面２１で表示させる商品の画像に関する情報が追加集計される。
【００６３】
なお、表示画面２１では、そこでスクロール表示されて各商品の画像が表示されたり、表示されなかったりする場合もあるので、図示しない入力部から商品の画像の表示を中止するとの指示がない限り、注視度計測部３０での空間情報記録部では、商品の画像の削除は行なわれない。ある商品の画像の表示を中止するとの指示があった場合には、その表示中止の指示があった商品の画像に関する情報が空間情報記録部３５から削除される。
【００６４】
端末記憶部４５には、注視度計測部３０の出力部４０から出力される表示画面２１に表示されている商品の画像の注視度が格納される。端末制御部４６は、この端末記憶部４５に格納された商品の画像の注視度を取得し、夫々の商品の画像の注視度に応じて、表示画面２１での商品の画像の表示の仕方を制御する。即ち、表示画面２１に対する利用者２６の注視結果が、この表示画面２１の表示にフィードバックされることになる。
【００６５】
また、端末記憶部４５には、宣伝などのための音声の各種メッセージ情報も記憶されており、端末制御部４６の制御のもとに、表示画面２１での表示内容に応じて端末記憶部４５から該当するメッセージ情報が呼び出され、スピーカ部４４に供給される。スピーカ部４４では、このメッセージ情報が音声情報に変換されて、スピーカ２４（図２）からこのメッセージが音声で出力される。
【００６６】
また、電源のオン操作が行なわれると、電源部４９から注視度計測部３０や表示フィードバック部４１，端末通信部４８，履歴ＤＢサーバ４７などの各部に電源が投入され、電源のオフ操作が行なわれると、これら各部への電源投入が中止される。
【００６７】
注視度計測部３０や表示フィードバック部４１，端末通信部４８，履歴ＤＢサーバ４７などの各部は、撮像部３１でのカメラ２２（図２）や表示装置４２，スピーカ部４４を除いて、制御部２５（図２）をなしている。
【００６８】
図６は図１に示すサイネージ自販機１のブロック構成の一具体例を示す構成図であって、５０は操作フィードバック部、５１はタッチパネル部、５２は操作集計部、５３は個人認証部、５４は利用者集計部、５５は決済処理部、５６は購入集計部、５７は商品搬送部、５８は商品保管部であり、図５に対応する部分には同一符号を付けて重複する説明を省略する。
【００６９】
同図において、このサイネージ自販機１は、注目度計測部３０と表示フィードバック部４１と操作フィードバック部５０と商品搬送部５７と商品保管部５８と履歴ＤＢサーバ４７と端末通信部４８と電源部４９とで構成されているが、注目度計測部３０と表示フィードバック部４１と履歴ＤＢサーバ４７と端末通信部４８と電源部４９とは、図５に示す広告サイネージ２０に設けられているものと同様のものであるので、その説明を省略する。但し、サイネージ自販機１では、注目度計測部３０での撮像部３１は図１に示すカメラ３を備え、表示装置４２は同じく表示画面２を備えており、スピーカ部４４は同じくスピーカ９，１０を備えている。
【００７０】
操作フィードバック部５０は、図１に示すサイネージ自販機１での利用者１１の操作を検出し、その操作に応じた処理を実行する部分であり、タッチパネル部５１と個人認証部５３と決済処理部５５とを備えている。
【００７１】
タッチパネル部５１は、表示画面２（図１）に設けられているタッチパネルを備えており、この表示画面２での利用者１１のタッチ操作を検出するとともに、表示画面２でのタッチ位置を検出する。かかるタッチ位置データは、タッチ操作が行なわれたことを通知する情報とともに、操作集計部５２で集計される。この通知情報は端末制御部４６に供給される。端末制御部５２は、その通知情報を受信すると、表示画面２で利用者１１によるタッチ操作が行なわれたことを認知して、操作集計部５２からタッチ位置データを取得し、表示フィードバック部４１の表示集計部４３でそのとき集計されている表示画面２で表示される各商品の画像の位置データとを照合し、このタッチ位置データが示す表示画面２上でのタッチ位置がかかる商品の画像のいずれを示すものであるかを判定する。これにより、表示画面２での利用者１１が指し示す商品が確認される。
【００７２】
端末制御部４６は、利用者１１が指し示す商品を確認すると、端末記憶部４５に記憶されている画像情報を基に、この確認した商品を購入するための購入画面を作成し、表示装置４２に供給して表示画面２に表示させる。このように、購入画面を表示させることにより、利用者１１は支持した購入希望商品とそのために支払う購入金額などを知ることができる。
【００７３】
個人認識部５３は、サイネージ自販機１がカードや携帯電話などの個人認証・決済機能対応自販機であって、現金による購入以外の電子決済を行なう利用者１１が利用できるように、設けられているものである。この場合には、図１に示すサイネージ自販機１において、カードタッチ部６がＩＣカードをタッチさせる操作手段となり、かかるタッチカード部７を個人認識部５３が備えている。かかる認証カードとしては、電子マネー機能を備えたものであってもよい。
【００７４】
利用者１１がそのカードをタッチカード部７にタッチすると、個人認識部５３はこのカードから利用者１１の個人情報を読み取り、個人認識を行なってこの利用者１１が登録者であるか否かを判定する。この認識結果は、読み取られた個人情報とともに、利用者集計部５４で集計されて端末制御部４６に供給される。端末制御部４６は、かかる認識結果を基に、タッチパネル部５１で検出されたタッチ操作をした利用者１１が登録者であるか否かを判定する。
【００７５】
決済処理部５５は、操作部４（図１）の現金投入口５，カードタッチ部６，釣銭取り出し口７を備えており、現金投入口５やカードタッチ部６から指定した商品を購入するための料金が支払われると、支払われた料金を検出して、釣銭が必要である場合には、釣銭を算出し、購入集計部５６がこれら支払料金や釣銭の情報を集計する。この集計された情報は端末制御部４６に供給される。端末制御部４６は、かかる集計情報から、利用者１１が料金を支払ったことや釣銭があることなどを認識する。
【００７６】
端末制御部４６は、表示画面２で表示される商品の画像夫々の商品の値段のデータを保持しており、操作集計部５２から表示画面２で利用者１１が購入希望商品の画像をタッチ操作によって指定したことを検出すると、購入集計部５６からの情報を基に、利用者１１によって指定された商品の画像に該当する商品を購入するための料金が支払われたか否か判定し、支払われたことが認識されたときには、釣銭の有無を判定し、釣銭が必要な場合には、その釣銭を算出する。そして、端末制御部４６は、決済処理部５５に、料金が支払われた旨を通知する情報とともに、釣銭が必要な場合には、その釣銭の金額を、購入集計部５６を介して供給する。
【００７７】
なお、利用者１１が、支払金額が足りないなどして、その指定商品を購入に必要な料金を支払わない場合には、端末制御部４６は、スピーカ部４４を駆動させ、その旨の音声情報を端末記憶部４５から読み出してスピーカ部４４に供給し、スピーカ９，１０（図１）から支払料金の追加を通知する音声メッセージを出力する。同時に、同様にして、表示装置４２を制御し、表示画面２に同様の通知メッセージを表示するようにしてもよい。
【００７８】
利用者１１が表示画面２での購入する旨のタッチ操作をすると、タッチパネル部５１から端末制御装置４６にそのタッチ操作が通知され、端末制御部４６は、料金の支払が済まされて、利用者１１が指定した商品を販売してもよいと判定した場合には、その旨を決済処理部５５と商品保管部５８とに通知する。決済処理部５５は、釣銭がある場合、この釣銭を、釣銭取り出し口７（図１）から利用者１１が取り出せるように、排出する。
【００７９】
商品保管部５８には、表示画面２に画像が表示される全ての商品が保管されており、商品搬送部５７は商品保管部５８に保管されている商品を商品取り出し口８（図１）に搬送する。そこで、端末制御部４６から利用者１１が購入希望の商品の販売の指示があると、商品搬送部５７は商品保管部５８に保管されているこの商品を搬送し、商品取り出し口８からこの商品を利用者１１が取り出せるようにする。
【００８０】
なお、このサイネージ自販機１が個人認証機能がある自販機である場合には、端末制御部４６は、さらに、個人認識部５３の認識結果に応じて、決済処理部５５と商品搬送部５７に指示を与える。利用者１１が認証機能カードを持っていない場合には、端末制御部４６は、タッチパネル部５１の検出結果や決済処理部５５による料金支払の情報をキャンセルし、料金支払が行なわれている場合には、釣銭取り出し口７から支払料金を返却するとともに、その旨を表示画面２でメッセージ表示したり、スピーカ９，１０で知らせる。
【００８１】
図７は図５，図６における空間情報記録部３５に格納されている商品の注視度の基となる注視データの一具体例を示すものである。かかる注視データは、図１に示すサイネージ自販機１や図２に示す広告サイネージ２０において、注視度を求めるために用いられるものであるが、以下では、広告サイネージ２０に関する図２を参照して説明する。
【００８２】
図７（ａ）に示す注視度データは商品毎に作成される商品別注視データであり、ここでは、商品Ａを例に示しているが、注目人数や注目回数，注視時間，立ち止まって注視したか、通り過ぎながら注視したかなどの注目種類、注視した時刻（日時）などのデータからなるものであって、この商品Ａを注視した利用者２９毎のデータからなるものである。即ち、注視人数「１」はこの商品Ａを注視した一人目の利用者２９に関するものであり、注視人数「２」はこの商品Ａを注視した二人目の利用者２９に関するものである。また、注視回数は、１回だけ継続して注視すれば、「１」であり、利用者２９がカメラ２２の撮影範囲内に居続けて２回繰り返しこの商品Ａを注視した場合には、「２」である。注視時間は、利用者２９がカメラ２２の撮影範囲内に居続けてこの商品Ａを注視した時間の累計である。
【００８３】
図示する例での最初にこの商品Ａを注視した利用者１１（注目人数＝「１」）は、注目種類が「Ｈ」（例えば、立ち止まって注視）で、１回だけこの商品Ａの画像を注視し、その注視時間は「１８００ｍｓｅｃ」である。また、次に注視した利用者１１（注目人数＝「２」）は、注目種類が「Ｍ」（例えば、サイネージ自販機１の前を通り過ぎながら注視）で、１回だけこの商品Ａの画像を注視し、その注視時間は「５００ｍｓｅｃ」である。
【００８４】
かかる商品別注視データは、図５，図６において、注視度算出部３６が注視位置情報算出部３４で算出された注視点が含まれる座標範囲の商品の画像を空間情報記録部３５で検索し、検索した商品の画像に該当する商品に対して算出したものであり、空間情報記録部３５に記録される。この場合、このときの商品が初めて利用者２９に注視されたものであるときには、この商品に対する商品別注視データは注目人数が「１」のデータのみとなるが、既に複数ｎ人の利用者２９によって注視されているときには、注目人数が「ｎ」までの商品別注視データが空間情報記録部３５に格納されており、注視度算出部３６は新たにこの商品の画像に注目した（ｎ＋１）人目に対する注目人数が「ｎ＋１」の注視データを作成し、空間情報記録部３５でのこの商品に対して既に作成されて記録されている商品別注視データに追加記録する。
【００８５】
なお、注視時間は、利用者２９の視線が同じ商品の画像に向けられている期間での撮影映像信号のフレーム数をカウントしたり、図示しないタイマで計測したりして求める。また、注目種類は、カメラ２２で撮影して得られる同じ利用者２９の画像の動きを検出することにより、判定されたものである。
【００８６】
また、図７（ａ）に示す商品別注視データによる注視度は、例えば、表示画面２１に表示される商品の画像について、これまでの利用者２９による注視の度合いがどのようであったかを利用者２９に知らせる場合や、注視度が高い商品の画像に、特に、利用者２９の注目を集めるような場合に用いられる。
【００８７】
さらに、図７（ａ）に示す商品別注視データは、利用者２９が広告サイネージ２０から離れていっても、そのまま保持されており、新たな利用者２９が表示画面の商品の画像を注視するようになると、この商品に該当する商品別注視データが更新されることになる。
【００８８】
図７（ｂ）は利用者２９が注視する商品の画像を表示画面２１で目立たせるためなどに用いる利用者２９毎に作成される利用者別注視データの具体例を示す図である。
【００８９】
この利用者別注視データは、サイネージ自販機１や広告サイネージ２０を利用する利用者２９毎に作成されるものであって、表示画面２，２１での注視位置や注視時間，注視距離，注視高さ，注視した時刻（日時）などからなるものである。ここでは、利用者Ａに対する利用者別注視データを示している。
【００９０】
以下、サイネージ自販機１について説明すると、注視位置は、注視した商品の画像で表わされ、ここでは、利用者Ａが商品Ａと商品Ｌとを注視したことを示している。そして、注視する毎に注視時間が登録され、また、更新される。
【００９１】
注視時間としては、その商品エリアを連続して（目をそらさずに）注視していた「時間２」と、この「時間２」を含み、かつ注視位置をその商品エリアから時々外しながらもその商品を見ていた時間を含めた「時間１」の２種類のデータを登録する。利用者１１は、ある商品（例えば、商品Ａ）を注視し始めてから、時々周りの商品に目線を移しつつも、一定時間連続してその商品（商品Ａ）を注視することがある。
【００９２】
そこで、「時間２」のみならず、「時間１」のデータを登録することにより、「時間１」と「時間２」との差分の時間には、商品Ａの周囲に表示されていた商品を注視していたと推定することができ、周囲に表示されている商品の注視度データに加算することができる。
【００９３】
注視距離は、カメラ３で得られた画像信号から計測した利用者Ａのサイネージ自販機１からの距離であり、注視高さは同じく画像信号から計測して利用者Ａが注視している高さである。
【００９４】
この利用者Ａに対しては、かかる利用者別注視データを基に、この利用者Ａが特に注視している商品の画像が目立つように、あるいは特に明確に表示されるように、表示画面２１での商品の画像の表示形態を変化させる。
【００９５】
なお、この利用者Ａに対する注視データは、これに該当するこの利用者Ａがサイネージ自販機１から遠ざかり、その注視の計測がなされなくなると、消去される。
【００９６】
次に、以上説明したサイネージ（サイネージ自販機１，広告サイネージ２０）で実行される注視度フィードバックを用いた商品選択支援方法の実施形態について説明するが、まず、かかる実施形態の概念について説明する。
【００９７】
図８はサイネージに対する人物の位置に応じたサイネージの動作を概念的に示す図であって、６０は什器／自販機、６１は広告／販売機、６２は遠方エリア、６３は接近エリア、６４は近接エリア、６５は購入エリア、６６ａ〜６６ｅは歩行経路である。
【００９８】
同図において、ここでは、サイネージ自販機１と広告サイネージ２０とその他の商品販売のための什器／自販機６０とが並べて配置された場所を例に説明する。なお、これらを総称する場合、広告／販売機６１という。
【００９９】
広告／販売機６１から充分離れ、人物が広告／販売機６１にほとんど興味を示さないエリアを遠方エリア６２といい、この遠方エリア６２よりも広告／販売機６１に近く、一応人物が興味を持って広告／販売機６１に近づくエリアを接近エリア６３といい、この接近エリア６３よりも広告／販売機６１に近く、人物が商品の購入の意志をもって広告／販売機６１に近づくエリアを近接エリア６４という。また、例えば、サイネージ自販機１で商品を購入するときの人物が存在するエリアを購入エリア６５という。
【０１００】
なお、各エリア６２〜６５は、そのエリアの大きさや広告／販売機６１からの距離を適宜設定できるものであるが、サイネージ自販機１と広告サイネージ２０とでは、かかるサイズや距離が異なるし、また、広告サイネージ２０の場合には、購入エリア６５は当然設けられない。
【０１０１】
サイネージ自販機１の場合を例にして説明すると、そのカメラ３の撮像範囲（視野）内において、各エリア６２〜６５で次の動作を行なう。
【０１０２】
まず、人物の行動の一例として、その歩行経路６６ａで示すように、人物がサイネージ自販機１の方向に歩行して、サイネージ自販機１の方にいくかどうかの迷いがありながら一旦遠方エリア６２内に入るが、あまり興味がないとして途中で方向を変えて遠方エリア６２から出ていく場合がある。かかる遠方エリア６２に対しては、カメラ３（図１）の撮像画像を用いて撮像部３１（図６）が人物の動き（行動）を追跡し、行動動線（歩行経路６６ａ），行動時間，行動距離を検知する動線検知を行なってその行動情報を取得する。ここでは、撮像部３１の出力画像が注視度の検出に用いられることはない。
【０１０３】
次に、人物の行動の一例として、その歩行経路６６ｂで示すように、人物がサイネージ自販機１の方向に歩行して、サイネージ自販機１にある程度関心があって遠方エリア６２を通過し、接近エリア６３内には入り込んで立ち止まったりするが、そのうち興味をなくし、方向を変えて接近エリア６３から、さらには、遠方エリア６２から出ていく場合がある。このように、人物が接近エリア６３に入ったときには、サイネージ自販機１に興味を示したものとみなす。このような場合には、この人物が遠方エリア６２内に居るときには、サイネージ自販機１で上記の動線検知が行なわれるが、この人物が接近エリア６３に入ると、この人物を利用者１１とし、視線方向計測部３３（図６）でこの利用者１１の顔の画像から顔の向きや視線方向を検出し、注視位置情報算出部３４（図６）で表示画面２（図１）でのこの利用者１１の視点の位置を検出するとともに、注視度算出部３６が、空間情報記録部３５（図６）に記憶されている各商品の画像の表示画面２での位置座標を基に、利用者１１の視線方向の、即ち、利用者１１が注視している視点を含む領域内での商品の画像を判定して注視度を算出し、この利用者１１が注視する商品の画像に対する図７（ａ）に示す商品別注視データを更新するとともに、この利用者１１に対する図７（ｂ）に示す利用者別注視データを作成して空間情報記録部３５に記録する。これら注視データの作成に際しては、人物位置計測部３２（図６）の計測結果やカメラ３から見た利用者１１の方向などから利用者１１までの距離（注視距離）を求め、さらに、タイマなどにより、利用者１１が接近エリア６３に入ってからの時間（注視時間）を計測し、これらの計測結果も用いられる。このようにして作成されて空間情報記録部３５に記録された注視データは、利用者１１が接近エリア６３に入るとともに、作成が開始されて空間情報記録部３５に記録され、利用者１１の行動とともに、順次更新されていく。
【０１０４】
さらに、歩行経路６６ｃに示すように、利用者１１が近接距離６４に入ってきたときには、サイネージ自販機１で表示される商品に関心があると見なし、顔向きや視線などの認知情報を取得し、これを基に出力制御部３９（図６）が空間情報記録部３５からこの利用者１１に対する図７（ｂ）に示す利用者別注視データから注視度が高い商品を選択し、出力部４０（図６）から表示フィードバック部４１（図６）の端末制御部４６に供給する。これにより、端末制御部４６は表示装置４２（図６）を制御し、その表示画面２（図１）での商品の画像をそれらの注視度に応じた表示形態で表示させる。
【０１０５】
そして、この利用者１１がサイネージ自販機１の直前の購入エリア６５ｄに入り、操作部４（図１）で希望する商品の購入行動を行なうと、購買行動を計測し、端末制御部４６は決済処理部５５や商品搬送部５７（図６）を制御してこの商品の購入を可能にする。
【０１０６】
なお、歩行経路６６ｄ，６６ｅのように、利用者１１が近接エリア６４に入っても、什器／自販機６０や広告サイネージ２０の方に移動した場合には、この利用者１１はサイネージ自販機１のカメラ３の撮像範囲（視野範囲）からはずれるので、その時点でこのサイネージ自販機１のこの利用者１１に対する処理動作は終了する。
【０１０７】
また、上記のように、図７（ｂ）に示す利用者１１の注視データの注視度をもとに、サイネージ自販機１の商品の画面の表示形態が制御され、この利用者１１の注視結果がサイネージ自販機１の商品の画面の表示形態にフィードバックされることになる。これに対し、図７（ａ）に示す商品毎の注視データは、そのときまでの各利用者１１による商品の注視傾向などを知らせるために用いられる。
【０１０８】
ここで、各エリア６２〜６５のサイネージ自販機１に対する位置は適宜設定されるものであるが、一例として示すと、近接エリア６４はサイネージ自販機１の前面から、例えば、１ｍ以内の範囲であり、接近エリア６３は、例えば、１〜２ｍの範囲、遠方エリア６２は、例えば、２〜３ｍの範囲とする。勿論いずれのエリア６２〜６４も、カメラ３の撮影範囲（視野範囲）内である。
【０１０９】
また、以上のことは、図２，図５に示す広告サージ２０に対しても、同様である。
【０１１０】
次に、本発明によるデジタルサイネージにおける商品選択支援方法の実施形態を、前出図面を参照して、具体的に説明する。
【０１１１】
〔第１の実施形態〕
図９Ａは本発明による商品選択支援方法の第１の実施形態の処理の流れの一部を示す図であって、図１，図６に示すサイネージ自販機１に関するものであり、同図（ａ）はこのサイネージ自販機１での処理の流れを示すフローチャート、同図（ｂ）は同図（ａ）での処理の流れに伴うこのサイネージ自販機１の表示画面２で表示される画面の変化を示す図である。また、７０ａ〜７０ｃは商品一覧画面、７１，７１ａ〜７１ｄは商品の画像、７２はお勧めコメント、７３，７３ａ，７３ｂ’は注視領域、７４は購入情報欄、７５はメッセージ欄、７６はカート、７６ａは商品表示欄、７６ｂは購入料金表示欄、７６ｃは「会計へ」ボタンである。
【０１１２】
図９Ａ（ａ）において、サイネージ自販機１が動作している状態にあって（ステップＳ１）、距離計測器４（図１）は人物の距離を計測しているが、人物が遠方エリア６２（図８）よりも内側におらず、あるいは、遠方エリア６２内に居て（ステップＳ１０１）、その人物がサイネージ自販機１の方を向いてその表示画面２の一部を見ている状態にあっても（ステップＳ１０２）、図９Ａ（ｂ）の（イ）に示すように、サイネージ自販機１の表示画面２（図１）には、複数の商品の画像７１がランダムに配列された商品一覧画面７０ａが表示され、表示される商品の画像７１が１画面に表示しきれない場合には、この商品一覧画面７０ａでは、各商品の画像７１が流れるように、上方向あるいは下方向にスクロールしている。また、この商品一覧画面７０ａでの商品の画像７１の中には、例えば、売れ行きを上げる商品や図７（ａ）に示す商品別注視データによる注目度が高い商品の画像７１に、「お勧め」や「セットでお勧め」といったようなお勧めコメント７２が吹き出しで付記されている。
【０１１３】
なお、このお勧めコメント７２は、店舗で指定する商品の画像７１に付記するようにしてもよいが、図７（ａ）に示す商品毎の注視データを基に、注視度が高い商品の画像７１に付記するようにしてもよい。
【０１１４】
人物が、サイネージ自販機１の表示画面２を見ながら、このサイネージ自販機１に近づいてきており、接近エリア６３（図８）に入ると（ステップＳ１００３）、人物位置計測部３２（図６）がこれを検知し、撮像部３１（図６）の出力画像信号から視線方向計測部３３がこの人物の顔の向きを検出する。このとき、この人物はサイネージ自販機１の表示画面２を見ているので、この人物を、このサイネージ自販機１を利用する可能性があることから、利用者１１と判定し、この利用者１１の顔の画像などから注視位置情報算出部３４と注視度算出部３６とでこの利用者１１が注視している範囲、即ち、注視領域７３を検出しており、利用者Ａとしての図７（ｂ）に示す利用者別注視データを作成して、この注視領域内の各商品の画像７１に対する注視度を算出する。
【０１１５】
なお、注視領域７３は、このとき、人物がこの商品一覧画面７０ａでの注視している領域を示すものであり、ここで、この注視領域７３内を他の領域と区別して表わしているが、これは説明上このようにしているものであって、これら領域は区別されずに表示されている。
【０１１６】
そして、表示画面２では、図９Ａ（ｂ）の（ロ）に示す商品一覧画面７０ｂの表示に切り替わる（ステップＳ１０４）。この商品一覧画面７０ｂでは、利用者１１が注視していた領域（即ち、商品一覧画面７０ａでの注視領域７３）内の商品の画像７１を表示画面２の中心位置に置くようにして、各商品の画像７１が配列され、静止した状態で表示される（ステップＳ１０５）。ここで、利用者１１が注視している商品の画像７１が分かるように、注視領域７３ａを示し、かかる商品画面７１をこの注視領域７３ａ内に示している。このようにして、利用者１１が注視している商品の画像７１が強調表示される。
【０１１７】
各商品の画像７１には、「１５０円 選択」といったように、商品の値段が１５０円で購入できることを示す情報を、詳細情報として、表わす購入情報欄７４が設けられており、この商品一覧画面７０ｂの上側には、「購入する商品を選択して下さい」といったような商品の購入ができることを知らせるテキスト文でメッセージが表示されたメッセージ欄７５が設けられている。この商品一覧画面７０ｂで希望する商品の画像７１をタッチ操作することにより、この商品の画像７１を購入のために選択することができる。
【０１１８】
また、商品一覧画面７０ｂの、例えば、右辺側には、商品一覧画面７０ｂで選択した商品の画像７１をまとめて表示するためのカート７６が表示されている。このカート７６は、選択された商品の画像７１を表示するための商品表示欄７６ａと、商品表示欄７６ａで画像が表示される商品の合計購入料金を表わす購入料金表示欄７６ｂと、購入するときにタッチ操作する「会計へ」ボタン７６ｃとからなっている。
【０１１９】
そして、利用者１１がサイネージ自販機１にさらに近づいて接近エリア６４（図８）に入って、サイネージ自販機１の表示画面２での特定の商品の画像７１が表示されている部分を注視すると（ステップＳ１０６）、その間図７（ｂ）に示す利用者Ａとしての利用者１１の注視データは更新されており、表示画面２では、この注視データを基に、図９Ａ（ｂ）の（ハ）に示す商品一覧画面７０ｃでこの利用者１１が注視している領域７３ｂ内の商品の画像７１ａ〜７１ｄが強調して表示される（ステップＳ１０７）。
【０１２０】
以上のように、利用者１１の表示画面２に表示される商品一覧画面７０ａ〜７０ｃを注視することにより、その注視結果が表示画面２にフィードバックし、表示画面２で表示される商品一覧画面７０ａ〜７０ｃで利用者１１が注視する商品の画像が利用者１１にとって見易い状態で表示されるようになる。
【０１２１】
図９Ｂは図９Ａの処理に続いて実行される処理の流れの一具体例を示す図であって、同図（ａ）はこのサイネージ自販機１での処理の流れを示すフローチャート、同図（ｂ）は同図（ａ）での処理の流れに伴うこのサイネージ自販機１の表示画面２で表示される画面の変化を示す図であり、７７は「削除」ボタン、７８は購入確認画面、７９は購入金額表示エリア、８０は支払方法紹介エリア、８１は「現金」ボタン、８１ｂは「ＩＣカード」ボタン、８１ｃは「携帯電話」ボタン、８２は「中止する」ボタン、８３は購入商品ランキング画面、８４は商品ランキング表示欄、８５はポイント、８６は商品の画像、８７は「終了する」ボタンであり、図９Ａに対応する部分には同一符号を付けて重複する説明を省略する。
【０１２２】
図９Ａ（ｂ）の（ハ）に示す商品一覧画面７０ｃが、図９Ｂ（ｂ）の（ニ）で示すように、表示されている状態で（ステップＳ１０８）、利用者１１が希望する商品の画像７１、例えば、商品の画像７１ａ，７１ｂとをタッチ操作して選択すると（ステップＳ１０９）、選択された商品の画像７１ａ，７１ｂが強調表示され（ステップＳ１１０）、これとともに、カート７６において、商品表示欄７６ａに選択された商品の画像７１ａ，７１ｂが表示され、購入料金表示欄７６ｂにこれら商品の合計購入料金（例えば、１５０円）が表示される。
【０１２３】
そして、利用者１１は、このカート７６を見て選択した商品に間違いがないことを確認して、「会計へ」ボタン７６ｃをタッチ操作すると（ステップＳ１１１）、図９Ｂ（ｂ）の（ホ）に示す購入確認画面７８の表示に切り替わる（ステップＳ１１２）。
【０１２４】
この商品一覧画面７０ｃから購入確認画面７８への表示の切り替わると、商品の表示はされなくなるので、この利用者１１に対する図７（ｂ）に示す利用者別注視データの作成／更新処理は終了し、また、この利用者１１の注視による図７（ａ）に示す商品別注視データの更新処理も終了する。
【０１２５】
なお、図９Ｂ（ｂ）の（ニ）で示す商品一覧画面７０ｃでは、カート７６に表示された商品の画像毎に「削除」ボタン７７が設けられており、間違って選択した商品の画像７１や変更したい商品の画像７１がある場合、この「削除」ボタン７７をタッチ操作することにより、この商品の画像７１をカート７６から削除することができる。
【０１２６】
図９Ｂ（ｂ）の（ホ）に示す購入確認画面７８では、購入商品の購入金額表示エリア７９と支払方法紹介エリア８０とが表示され、購入金額表示エリア７９では、購入する商品Ａ，Ｂ，Ｃの画像７１ａ，７１ｂ，７１ｃと夫々の値段、これらの合計金額が表示され、支払方法紹介エリア８０には、その方法として、現金，ＩＣカード，携帯電話などが紹介されて、これらをタッチ操作して選択可能に「現金」ボタン８１ａ，「ＩＣカード」ボタン８１ｂ，「携帯電話」ボタン８１ｃが設けられている。
【０１２７】
かかる購入確認画面７８において、購入商品の購入金額表示エリア７９で購入する商品や支払額を確認し（ステップＳ１１３）、支払方法紹介エリア８０で「現金」ボタン８１ａ，「ＩＣカード」ボタン８１ｂ，「携帯電話」ボタン８１ｃのいずれかをタッチ操作してサイネージ自販機１の操作部４（図１）で金額を支払うと（ステップＳ１１４）、商品取り出し口８で商品を受け取ることができる（ステップＳ１１５）。
【０１２８】
購入確認画面７８では、さらに、「中止する」ボタン８２が設けられており、この「中止する」ボタン８２をタッチ操作することにより、これまでの購買手続をキャンセルすることができ、これにより、表示画面２では、商品を選択する前の画面、例えば、図９Ａ（ｂ）の（ハ）で示す商品一覧画面７０ｃの表示状態に戻る。
【０１２９】
上記のように、購入確認画面７８で支払方法を選択操作するとともに、表示画面２では、図９Ｂ（ｂ）の（ヘ）に示す購入商品ランキング画面８３が表示される状態に切り替わる（ステップＳ１１６）。
【０１３０】
この購入商品ランキング画面８３では、先の商品一覧画面７０ａ〜７０ｃで画像７１が表示された販売ランキングが高い商品を示す商品ランキング表示欄８４が表示され、この商品ランキング表示欄８４で販売ランキングが高い順に所定個数の商品７１が示されるとともに、夫々の商品７１にポイント８５が表示される。このポイント８５は、図７（ａ）に示す商品毎の注視データをもとにした注視度に応じた値であって、注視度が大きい程ポイント８５は大きい値となる（ステップＳ１１７）。
【０１３１】
なお、各商品毎の注視度の履歴や各商品の販売履歴などの履歴情報（販売個数や売上げ金額など）は一時的に端末記憶部４５に記憶され、定期的に履歴ＤＢサーバ４７（図５，図６）に格納されており、かかる履歴情報を基に、端末制御部４６（図５，図６）が購入商品ランキング画面８３を作成する。購入商品ランキング画面８３の作成に用いられる図７（ａ）に示す商品毎の注視度に関する注視データは、現在表示画面２で商品の画像７１が表示されている商品に対しては、空間情報記録部３５に記録されており、また、現在表示画面２で商品の画像７１が表示されていない商品に対しては、端末記憶部４５と履歴ＤＢサーバ４７に記録されており、このため、購入商品ランキング画面８３を作成する場合には、端末制御部４６は、空間情報記録部３５と端末記憶部４５と履歴ＤＢサーバ４７に記録されている全ての商品の注視データを対象として、注視度が高い商品を検索する。
【０１３２】
また、購入情報欄７４は、当該商品の画像７１に該当する商品の詳細情報を取得するための「詳細情報」ボタンとすることもでき、この「詳細情報」ボタンをタッチ操作することにより、当該商品の詳細情報（例えば、商品の種類や商品名，成分，製造元，製造年月日など）を表示画面２に表示させることができる。商品毎のかかる詳細情報は、履歴ＤＢサーバ４７（図６）に格納されており、商品の販売が終了すると、購入商品ランキング画面８３の代わりに、あるいは購入商品ランキング画面８３とともに、購入商品ランキング画面８３のような画面形式で詳細情報の選択ランキングを表示するようにしてもよい。
【０１３３】
ここで、この購入商品ランキング画面８３には、利用者１１が購入した商品の画像８６が表示されるとともに、「終了する」ボタン８７も表示され、この「終了する」ボタン８７がタッチ操作されると、この購入商品ランキング画面８３の表示が終了し、表示画面２では、商品を選択する前の画面、例えば、図９Ａ（ｂ）の（ハ）で示す商品一覧画面７０ｃの表示状態に戻る。
【０１３４】
そして、利用者１１がこのサイネージ自販機１から離れると（ステップＳ１１８）、図９Ａ（ｂ）の（イ）に示す商品一覧画面７０ａの表示に戻る。なお、図９Ｂ（ｂ）の（ホ）に示す購入確認画面７８や図９Ｂ（ｂ）の（ヘ）に示す購入商品ランキング画面８３が表示されている状態で利用者１１がこのサイネージ自販機１から離れても、図９Ａ（ｂ）の（イ）に示す商品一覧画面７０ａの表示に戻る。
【０１３５】
以上のように、この第１の実施形態によると、利用者１１が注視する商品の画像７１を目立ち易くし、利用者１１が興味を示す商品を容易に確認できるようにすることができる。
【０１３６】
〔第２の実施形態〕
図１０は本発明による商品選択支援方法の第２の実施形態の処理の流れの一部を示す図であって、図１，図６に示すサイネージ自販機１に関するものであり、同図（ａ）はこのサイネージ自販機１での処理の流れを示すフローチャート、同図（ｂ）は同図（ａ）での処理の流れに伴うこのサイネージ自販機１の表示画面２で表示される画面の変化を示す図である。また、７１ｘ，７１ｘ1〜７１ｘ5は商品の画像、９０は広告画面、９１ａ〜は商品一覧画面、９２は商品キーワード、９３は関連商品画面、９４は「一覧に戻る」ボタンであり、図９Ｂに対応する部分には同一符号を付けて重複する説明を省略する。
【０１３７】
同図において、図８に示す近接エリア６４にも、接近エリア６３にも、人物がいないときには、サイネージ自販機１の表示画面２には、図１０（ｂ）の（イ）に示す広告画面９０が表示されている（ステップＳ２００）。ここでは、商品のカテゴリ（種別）として、飲み物を販売の対象とし、この広告画面９０でその宣伝が行なわれている。
【０１３８】
利用者１１が近接エリア６３内に進むと、サイネージ自販機１は、撮像部３１や人物位置計測部３２（図６）の計測結果に基づいてこれを検出し、この検出結果に応じて、表示画面２に図１０（ｂ）の（ロ）に示す商品一覧画面９１ａが表示される（ステップＳ２０１）。この商品一覧画面９１ａでは、各種飲み物である商品の画像７１が整列して静止した状態で表示され、夫々の商品の画像７１にその値段とタッチ操作によって購入することを示す「１００円 購入」といったような購入情報欄７４が表示されている。従って、この商品一覧画面９１ａにおいて、購入希望の商品の画像７１をタッチ操作すると、図９Ｂ（ｂ）の（ホ）に示すような購入確認画面７８が表示され、この希望する商品を購入することができる。
【０１３９】
利用者１１が、この商品一覧画面９１ａの関心のある部分を見ながら、このサイネージ自販機１に近づいてきて接近エリア６３（図８）に入ると（ステップＳ２０２）、この利用者１１に対して図７（ｂ）に示す利用者別注視データの作成が開始され、また、図７（ａ）に示す商品別注視データの更新が行なわれる。そして、図１０（ｂ）の（ハ）に示すように、この図７（ｂ）に示すこの利用者１１についての利用者別注視データをもとに、商品一覧画面９１ｂにおいて、利用者１１が注視している部分の商品の画像１１を強調表示するとともに（ステップＳ２０３）、この強調表示された商品の画像にカテゴリ（種別）や成分，価格などの商品キーワード９２が詳細情報として表示され、かかる商品の画像７１が強調表示される（ステップＳ２０４）。
【０１４０】
利用者１１がサイネージ自販機１にさらに近づいてきて近接エリア６４（図８）に入り、かかる商品一覧画面９１ｂで強調表示される商品の画像７１のうちの１つの商品の画像７１を注視すると、表示画面２に図１０（ｂ）の（ニ）に示す関連商品画面９３が表示される（ステップＳ２０５）。この関連商品画面９３では、商品一覧画面９１ｂで注視した商品の画像７１ｘとこれに関連する商品の画像７１ｘ1〜７１ｘ5が強調して表示され、メッセージ欄７５にこの関連する商品を示す、例えば、「硬水」といったような関連商品を示すメッセージが表示される。
【０１４１】
かかる関連商品画面９３で、利用者１１が希望する商品を購入するために、その画像７１ｘ，７１ｘ1〜７１ｘ5のいずれか、あるいはこれら以外の商品の画像７１をタッチ操作すると、図９Ｂ（ｂ）の（ホ）に示すような購入確認画面７８が表示され（ステップＳ２０６）、以下、説明を省略するが、第１の実施形態と同様に、購入の手続をすると、図１０（ｂ）の（ホ）に示すように、図９Ｂ（ｂ）の（ヘ）に示す購入商品ランキング画面８３と同様の購入商品ランキング画面８３が表示される（ステップＳ２０７，Ｓ２０８）。ここでは、気になったキーワードについても、注視・操作による購入情報からランキングを表示することができるようにしている。
【０１４２】
なお、関連商品画面９３では、「一覧に戻る」ボタン９４が設けられており、これがタッチ操作されると、図１０（ｂ）の（ロ）に示す商品一覧画面９１ａの表示に戻る。これにより、改めてこの利用者１１の図７（ｂ）に示す利用者別注視データが作成され、これを基に利用者１１が注視している商品に対して、図１０（ｂ）の（ハ）に示す商品一覧画面９１ｂが表示されることになる。
【０１４３】
このようにして、この第２の実施形態においても、上記第１の実施形態と同様の効果が得られることになる。
【０１４４】
〔第３の実施形態〕
図１１は本発明による商品選択支援方法の第３の実施形態の処理の流れに対する図２における表示画面２１での画面の流れの一部を示す図であって、図２，図５に示す広告サイネージ２０に関するものであり、１００は商品一覧画面、１０１は商品の画像、１０２は注視点、１０３ａ，１０３ｂ，１０４は選択商品画面、１０５は商品名、１０６は関連情報であり、前出図面に相当する部分には同一符号を付けて重複する説明を省略する。
【０１４５】
広告サイネージ２０（図２）についても、サイネージ自販機１の場合と同様、その表示画面２１（図２）での商品画像の表示形態が、この表示画面２１（図２）を見る利用者２９の図７（ｂ）に示す利用者別注視データに応じて変化するものである。
【０１４６】
図１１（ａ）に示す商品一覧画面１００には、商品Ａ，Ｂ，……，Ｒの画像１０１が整列し、静止した状態で表示されている。これは、例えば、図１０（ｂ）の（ロ）に示す商品一覧画面９１ａでの表示状態と同様である。
【０１４７】
利用者２９が、広告サイネージ２０に対して、接近エリア６３あるいは近接エリア６４で関心のある商品の画像１０１に注視すると、広告サイネージ２０は、図７（ｂ）に示すこの利用者２９に対する注視データを基に、この注視している領域を判定する。ここでは、商品Ａ，Ｂ，Ｇ，Ｈの画像１０１を含む領域内に注視点１０２があるものとする。注視点１０２を含むかかる領域を、以下、注視領域という。
【０１４８】
この注視点１０２がある注視領域内の商品Ａ，Ｂ，Ｇ，Ｈに対する注視度は、図７（ｂ）に示す利用者別注視データでの時間（注視時間）が他の商品の画像１０１よりも長くなることから、かかる商品に対する注視度が高くなり、これにより、表示画面２１では、図１１（ｂ）に示すように、商品一覧画面１００での注視領域内の商品Ａ，Ｂ，Ｇ，Ｈの画像１０１が表示された選択商品画面１０３ａが表示される。
【０１４９】
この選択商品画面１０３ａでは、商品Ａ，Ｇの画像１０１の縦列と商品Ｂ，Ｈの画像１０１の縦列とが横に配列されて、しかも、商品一覧画面１００の時よりも拡大されて表示される。そして、さらに、かかる選択商品画面１０３ａを利用者２９が商品Ａ，Ｇの画像１０１の配列側を注視し、その注視点１０１が商品Ａ，Ｇの画像１０１の配列側にあるとすると、かかる商品Ａ，Ｇの図７（ｂ）に示す利用者別注視データでの時間（時間長）が商品Ｂ，Ｈよりも長くなるから、これら商品Ａ，Ｇに対する注視度が高くなり、これにより、図１１（ｃ）に示すように、選択商品画面１０３ａでの注視領域内にある商品Ａ，Ｇの画像１０１が横に配列され、しかも、選択商品画面１０３ａのときよりもさらに拡大されて表示された選択商品画面１０３ｂが表示画面２１に表示される。
【０１５０】
そして、この選択商品画面１０３ｂで利用者２９が商品Ｇ側の画像１０１を注視すると、かかる商品Ｇの図７（ｂ）に示す利用者別注視データでの時間（時間長）が商品Ａよりも長くなるから、これら商品Ｇに対する注視度が高くなり、これにより、図１１（ｄ）に示すように、選択された商品Ｇの画像１０１と、商品名１０５と、この商品Ｇの値段などの関連情報１０６とが表示された選択商品画面１０４が表示画面２に表示される。
【０１５１】
なお、利用者２９がこの選択商品画面１０４で希望する商品Ｇを確認し、広告サイネージ２０から離れると、表示画面２１では、図１１（ａ）に示すトップ画面としての商品一覧画面１００の表示に戻る。
【０１５２】
このように、この第３の実施形態では、利用者２９の商品画面の注視によって表示される表示される商品の画像が制限されていき、遂には、利用者２９が興味のある、あるいは購入を希望する商品の画像とその関連情報とが表示される状態となり、利用者２９が何ら操作をすることなく、商品画面を注視しているだけでかかる商品の画像を容易にかつ確実に確認できる状態とすることができる。このことにより、購入段階まで進まなくても、注視情報を取ることが可能となることにより、マーケティングに活用できる情報収集を自動でサービス提供者が行なうことができる。
【０１５３】
〔第４の実施形態〕
図１２は本発明による商品選択支援方法の第４の実施形態の処理の流れに対する図２における表示画面２１での画面の流れ一部を示す図であって、図２，図５に示す広告サイネージ２０に関するものであり、１０１ａ1〜１０１ａ3，１０１ｂ1〜１０１ｂ3，１０１ｃ1〜１０１ｃ3は商品の画像、１１０ａは商品カテゴリ選択画面、１１０ｂは商品成分選択画面、１１０ｃは商品価格選択画面、１１１ａ1〜１１１ａ3はカテゴリのキーワード、１１１ｂ1〜１１１ｂ3は成分のキーワード、１１１ｃ1〜１１１ｃ3は価格のキーワードであり、前出図面に相当する部分には同一符号を付けて重複する説明を省略する。
【０１５４】
この第４の実施形態は、広告サイネージ２０（図２）の表示画面２１への利用者２９（図２）の注視状態に応じて商品の属性を示すキーワードを選択していくことにより、表示画面２１に表示される商品を利用者２９が希望する商品に絞り込むことができるようにしたものである。
【０１５５】
ここで、商品のキーワードは、階層的な関係にある商品のカテゴリ、成分，価格などであって、カテゴリが最上位の階層にあり、次の階層に商品の成分が、さらに次の階層に商品の価格などがある。商品のカテゴリは、ジュース，菓子，ミネラルウォータといったような商品の種別を表わすものであって、この場合の種別を表わす「ジュース」，「菓子」，「ミネラルウォータ」が商品のカテゴリのキーワードということになる。また、商品の成分とは、この商品に用いられる成分であって、例えば、ミネラルウォータを例に取ると、硬水，中硬水，軟水などといったものであり、これら「硬水」，「中硬水」，「軟水」が商品の成分のキーワードである。さらに、商品の価格については、「１００円」，「１２０円」，「１５０円」といった商品の値段を表わすものが商品の価格のキーワードということになる。
【０１５６】
人物が図８に示す遠方エリア６２よりも広告サイネージ２０（図２）に近づいていないときには、この広告サイネージ２０の表示画面２１には、図１２（ａ）に示す商品カテゴリ選択画面１１０ａが表示されている。この商品カテゴリ選択画面１１０ａには、夫々の商品のカテゴリ毎の商品の画像１０１ａ1，１０１ａ2，１０１ａ3と夫々の商品の画像１０１ａ1，１０１ａ2，１０１ａ3毎にカテゴリを示す詳細情報としてのキーワード１１１が表示されている。例えば、商品の画像１０１ａ1には、「ジュース」のキーワード１１１ａ1が表示され、商品の画像１０１ａ2には、「お菓子」のキーワード１１１ａ2が表示され、商品の画像１０１ａ3には、「ミネラルウォータ」のキーワード１１１ａ3が表示される。
【０１５７】
なお、ここでは、「ジュース」，「お菓子」，「ミネラルウォータ」の３種類のカテゴリの商品の画像１０１ａ1〜１０１ａ3が表示されているものとするが、これに限るものではない。
【０１５８】
人物がかかる表示画面２の所定の商品のカテゴリを注視して広告サイネージ２０に近づいてきているものとすると、この人物が利用者２９となるが、この利用者２９が図８での接近エリア６３に入ると、広告サイネージ２０は、この利用者２９に対して、商品カテゴリ選択画面１１０ａでのカテゴリ毎の図７（ｂ）に示すような利用者別注視データが作成され、これら利用者別注視データから求まる注視度が所定の値以上となる（例えば、図７（ｂ）での利用者別注視データの注視時間が所定の時間以上となる）商品カテゴリがあると、この商品カテゴリが選択されて、この商品のカテゴリの下位層のキーワードとなる商品の成分を選択するための図１２（ｂ）に示す商品成分選択画面１１０ｂが表示画面２に表示される。
【０１５９】
ここで、図１２（ａ）に示す商品カテゴリ選択画面１１０ａにおいて、カテゴリ「ミネラルウォータ」の商品の画像１０１ａ3を利用者２９が注視し続け、この「ミネラルウォータ」に対する図７（ｂ）に示す利用者別注視データからの注視度により、商品カテゴリ選択画面１１０ａで注視点１０２がカテゴリ「ミネラルウォータ」の商品の画像１０１ａ3内にある場合には、この「ミネラルウォータ」の商品の画像１０１ａ3が利用者２９によって注視されているとして、図１２（ｂ）に示す商品成分選択画面１１０ｂでは、詳細情報としてのカテゴリ「ミネラルウォータ」が選択されたものとし、カテゴリ「ミネラルウォータ」での成分が異なる商品の画像１０１ｂが端末記憶部４５で検索され、配列されて表示される。
【０１６０】
ここでは、商品カテゴリ選択画面１１０ａで選択されたカテゴリ「ミネラルウォータ」では、「硬水」と「中硬水」と「軟水」の３種類の成分が異なる商品があるものとすると、商品成分選択画面１１０ｂでは、図１２（ｂ）に示すように、硬水のミネラルウォータの商品の画像１０１ｂ1と中硬水のミネラルウォータの商品の画像１０１ｂ2と軟水のミネラルウォータの商品の画像１０１ｂ3とが配列されて表示される。また、これら商品の画像１０１ｂ1，１０１ｂ2，１０１ｂ3には夫々、その成分を表わす「硬水」といったキーワード１１１ｂ1，「中硬水」といったキーワード１１１ｂ2，「軟水」といったキーワード１１１ｂ3が夫々詳細情報として表示される。
【０１６１】
なお、ここでは、商品成分選択画面１１０ｂに３個の商品の画像１０１ｂ1，１０１ｂ2，１０１ｂ3が表示されているものとしているが、これまで選択されたキーワード（ここでは、「ミネラルウォータ」）に該当する全ての商品の画像１０１ｂが表示される。
【０１６２】
そして、利用者２９が接近エリア６３（図８）に居ながら、あるいはまた、さらに広告サイネージ２０に近づきながら、この商品成分選択画面１１０ｂでいずれかの成分の商品の画像１０１を注視続けると、図７（ｂ）に示す利用者別注視データを基に、注視続ける成分の商品の詳細情報が選択されたものとして（このとき、商品成分選択画面１１０ｂでは、注視点１０２が成分「軟水」の商品の画像１０１ｂ3内にあるものとする）、図１２（ｃ）に示す商品価格選択画面１１０ｃが表示され、これに詳細情報としての成分「軟水」での価格が異なる商品の画像１０１ｃが配列されて表示される。
【０１６３】
ここでは、商品成分選択画面１１０ｂで選択された成分「軟水」では、「１２０円」と「２２０円」と「３２０円」の３種類の値段が異なる商品があるものとすると、図１２（ｃ）に示す商品価格選択画面１１０ｃでは、図１２（ｃ）に示すように、価格が１２０円の商品（軟水のミネラルウォータ）の画像１０１ｃ1と価格が２２０円の商品の画像１０１ｃ2と価格が３２０円の商品の画像１０１ｃ3とが配列されて表示される。また、これら商品の画像１０１ｃ1，１０１ｃ2，１０１ｃ3には夫々、その価格を表わす「１２０円」といったキーワード１１１ｃ1，「２２０円」といったキーワード１１１ｃ2，「３２０円」といったキーワード１１１ｃ3が表示される。
【０１６４】
なお、ここでは、商品価格選択画面１１０ｃに３個の商品の画像１０１ｃ1，１０１ｃ2，１０１ｃ3が表示されているものとしているが、これまで選択されたキーワード（ここでは、「ミネラルウォータ」と「軟水」）に該当する全ての商品の画像１０１ｃが表示される。
【０１６５】
さらに、利用者２９がこの商品価格選択画面１１０ｃでいずれかの価格の商品の画像１０１を注視続けると、図７（ｂ）に示す利用者別注視データを基に、注視続ける価格の商品が選択されたものとして（このとき、商品価格選択画面１１０ｃでは、注視点１０２が価格「３２０円」の商品の画像１０１ｃ3内にあるものとする）、図１２（ｄ）に示す選択商品画面１０４が表示される。この選択商品画面１０４は、図１１（ｄ）に示す選択商品画面１０４と同様のものであり、図１１に示す第３の実施形態と同様、利用者２９がこの選択商品画面１０４で希望する商品Ｇを確認し、広告サイネージ２０から離れると、表示画面２１では、図１２（ａ）に示すトップ画面としての商品カテゴリ選択画面１１０ａの表示に戻る。
【０１６６】
このように、この第４の実施形態では、先の第３の実施形態と同様、利用者２９の商品画面の注視によって表示される商品の画像が制限されていき、遂には、利用者２９が興味のある、あるいは購入を希望する商品の画像とその関連情報とが表示される状態となり、利用者２９が何ら操作をすることなく、商品画面を注視しているだけでかかる商品の画像を容易にかつ確実に確認できる状態とすることができる。
【０１６７】
〔第５の実施形態〕
図１３は本発明による商品選択支援方法の第５の実施形態の処理の流れに対する図２における表示画面２１での画面の流れの一部を示す図であって、図２，図５に示す広告サイネージ２０に関するものであり、１２０ａ，１２０ｂは商品一覧画面、１０１ａ〜１０１ｄは注視領域内の商品の画像であり、前出図面に相当する部分には同一符号を付けて重複する説明を省略する。
【０１６８】
人物が図８に示す遠方エリア６２よりも広告サイネージ２０（図２）に近づいていないときには、この広告サイネージ２０の表示画面２１には、図１３（ａ）に示す商品一覧画面１２０ａが表示されている。この商品一覧画面１２０ａには、対象とする全ての商品の画像１０１が静止した状態で整列されて表示されており、図示しないが、価格などの情報も同時に表示されている。
【０１６９】
この人物がかかる表示画面２の所定の商品のカテゴリを注視して広告サイネージ２０に近づいてきているものとすると、この人物は利用者２９となるが、この利用者２９が図８での接近エリア６３に入ると、広告サイネージ２０は、この利用者２９に対して、商品一覧画面１２０ａでの商品毎の図７（ｂ）に示すような利用者別注視データが作成され、これら利用者別注視データから求まる注視度が所定の値以上となる（例えば、図７（ｂ）での利用者別注視データの注視時間が所定の時間以上となる）カテゴリがあると、この商品カテゴリが選択されて、図１２（ｂ）に示す商品一覧画面１２０ｂが表示画面２に表示される。
【０１７０】
この商品一覧画面１２０ｂでは、図１２（ａ）に示す商品一覧画面１２０ａでその注視点１０２を含む注視領域内の商品の画像１０１ａ〜１０１ｄが、図示しない価格などの情報とともに、拡大して表示される。これにより、利用者２９は興味のある商品を確認することができる。
【０１７１】
この商品一覧画面１２０ｂで利用者２９の購入希望の商品がある場合には、利用者２９が、さらに、この商品の画像、例えば、商品の画像１０１ａを注視することにより、この画像１０１ａの商品の注視度が高まることから、この商品が選択されたものとして、図示しないが、図１１，図１２に示す実施形態と同様に、選択商品画面１０４が表示される。これにより、利用者２９は購入希望の商品を明確に確認することができる。
【０１７２】
なお、その後、利用者２９が広告サイネージ２０から離れると、表示画面２１では、図１３（ａ）に示すトップ画面としての商品一覧画面１２０ａの表示に戻る。
【０１７３】
このように、この第５の実施形態でも、先の第３，第４の実施形態と同様、利用者２９の商品画面の注視によって表示される商品の画像が拡大して表示され、利用者２９が何ら操作をすることなく、商品画面を注視しているだけでかかる商品の画像を容易にかつ確実に確認できる状態とすることができる。
【０１７４】
〔第６の実施形態〕
図１４は本発明による商品選択支援方法の第６の実施形態の処理の流れに対する図２における表示画面２１での画面の流れの一部を示す図であって、図２，図５に示す広告サイネージ２０に関するものであり、１３０ａ，１３０ｂは商品一覧画面、１０１ａ〜１０１ｇは商品の画像であり、前出図面に相当する部分には同一符号を付けて重複する説明を省略する。
【０１７５】
人物が図８に示す遠方エリア６２よりも広告サイネージ２０（図２）に近づいていないときには、この広告サイネージ２０の表示画面２１には、図１３（ａ）に示す商品一覧画面１３０ａが表示されている。この商品一覧画面１３０ａには、対象とする全ての商品の画像１０１が整列されて表示されており、図示しないが、価格などの情報も同時に表示されている。
【０１７６】
また、この商品一覧画面１３０ａでは、新商品や売れ行きを伸ばしたい商品などの店舗が特に販売に力を入れている商品の画像１０１は、揺れながら表示されている。商品の画像１０１ｂ，１０１ｅ，１０１ｇはかかる商品の画像であり、揺れながら表示されている。
【０１７７】
かかる商品一覧画面１３０ａに対し、利用者２９が接近エリア６３（図８）以内に広告サイネージ２０に近づき、例えば、揺れて表示されている２つの商品の画像１０１ｂ，１０１ｅを交互に注視したとすると（これにより、注視点１０２はこれら画像１０１ｂ，１０１ｅ間を往復移動する）、図７（ｂ）に示すこれら商品画像１０１毎の注視データを基に、これら画像１０１ｂ，１０１ｅを角部に含む注視領域が設定され、かかる注視領域内に含まれる商品の画像１０１ａ〜１０１ｆが拡大され、静止して表示される、図１４（ｂ）に示す商品一覧画面１３０ｂが表示画面２１に表示される。
【０１７８】
この商品一覧画面１３０ｂでは、注視領域内の商品の画像１０１ａ〜１０１ｆが同じ大きさに拡大されて表示されてもよいが、図１４（ｂ）に図示するように、中央部の商品の画像１０１ｃ，１０１ｄを、その上下の商品の画像１０１ａ，１０１ｂ，１０１ｅ，１０１ｆよりも大きなサイズで拡大表示するようにしてもよい。
【０１７９】
このように、この第６の実施形態においても、利用者２９が表示画面２１の複数の箇所を交互に注視するだけで、かかる注視点に応じた領域での利用者２９が興味をもつ商品が拡大表示されて見易いものとなる。
【０１８０】
なお、ここでは、揺れて表示されている商品の画像１０１ｂ，１０１ｅを例に説明したが、必ずしも揺れている必要はなく、商品の画像１０１ｂ，１０１ｅを利用者２９が交互に注視しても、同様に、図１４（ｂ）に示す商品一覧画面１３０ｂが表示される。また、商品一覧画面１３０ａにおいて、利用者２９が、図１３（ａ）に示すように、注視点１０２が一箇所を指し示すような場合は、図１３（ｂ）に示す商品一覧画面１２０ｂのような拡大表示がなされる。
【０１８１】
〔第７の実施形態〕
図１５は本発明による商品選択支援方法の第７の実施形態での図２における表示画面２１での画面の具体例を示す図であって、図２，図５に示す広告サイネージ２０に関するものであり、１４０は商品一覧画面であり、前出図面に相当する部分には同一符号を付けて重複する説明を省略する。
【０１８２】
同図において、商品一覧画面１４０は、図１３（ａ）に示す商品一覧画面１２０ａのような商品一覧画面において、利用者２９が図８での接近エリア６３で、あるいはこの接近エリア６３よりも広告サイネージ２０に近づいて、かかる商品一覧画面での興味ある商品の画像１０１を注視している場合を示すものである。ここでは、利用者２９が２つの商品の画像１０１ａ，１０１ｂを交互に注視しているものとしており、この第７の実施形態では、このような場合、これら２つの商品の画像１０１ａ，１０１ｂがともに揺れ始めて、揺れた状態で表示される。
【０１８３】
これにより、利用者２９は興味をもったこれら商品の画像１０１ａ，１０１ｂを注視していることを広告サイネージ２０が間違いなく検知していることを確認できるものである。
【０１８４】
そして、図示しないが、かかる商品の画像１０１ａ，１０１ｂを、さらに、所定時間以上注視すると、図１３（ｂ），図１４（ｂ）に示すように、これら商品の画像１０１ａ，１０１ｂが集合して拡大され、停止した状態で表示され、利用者２９がより明確にこれらの商品を確認できるようにする。
【０１８５】
〔第８の実施形態〕
図１６は本発明による商品選択支援方法の第８の実施形態での図２における表示画面２１での画面の具体例を示す図であって、図２，図５に示す広告サイネージ２０に関するものであり、１５０は商品一覧画面であり、前出図面に相当する部分には同一符号を付けて重複する説明を省略する。
【０１８６】
同図において、商品一覧画面１４０は、図１３（ａ）に示す商品一覧画面１２０ａのような商品一覧画面において、利用者２９が図８での接近エリア６３で、あるいはこの接近エリア６３よりも広告サイネージ２０に近づいて、かかる商品一覧画面での興味ある商品の画像１０１を注視している場合を示すものであって、ここでは、利用者２９が１つの商品の画像１０１ａを注視しているものとしており、この第８の実施形態では、このような場合、この商品の画像１０１ａに、当該商品に関するキーワードがＡ，Ｂ，Ｃ，Ｄというように表示される。このキーワードとしては、前述のように、商品の種類（カテゴリ）や商品名，成分，価格などである。
【０１８７】
このように、この第８の実施形態は、第７の実施形態と同様の効果が得られるとともに、注視している商品のカテゴリや商品名，成分，価格などの関連情報を利用者が知ることができ、そして、図示しないが、かかる商品の画像１０１ａが所定時間以上注視されると、図１３（ｂ），図１４（ｂ）に示すように、この商品の画像１０１ａが拡大状態で表示され、利用者２９がより明確にこれらの商品を確認できるようにする。
【０１８８】
〔第９の実施形態〕
図１７は本発明による商品選択支援方法の第９の実施形態の処理の流れに対する図２における表示画面２１での画面の流れの一部を示す図であって、図２，図５に示す広告サイネージ２０に関するものであり、１６０ａ，１６０ｂは商品一覧画面であり、前出図面に相当する部分には同一符号を付けて重複する説明を省略する。
【０１８９】
人物が図８に示す遠方エリア６２よりも広告サイネージ２０（図２）に近づいていないときには、この広告サイネージ２０の表示画面２１には、図１７（ａ）に示す商品一覧画面１６０ａが表示されている。この商品一覧画面１６０ａには、対象とする全ての商品の画像１０１がスクロールしながら表示されている（ここでは、垂直方向にスクロールする場合を示しているが、横方向でもよい）。
【０１９０】
かかる商品一覧画面１６０ａに対し、利用者２９が接近エリア６３（図８）以内に広告サイネージ２０に近づき、例えば、商品の画像１０１ａ，１０１ｂを交互に注視したとすると、図７（ｂ）に示すこれら商品画像１０１毎の注視データを基に、図１７（ｂ）に示す商品一覧画面１６０ｂが表示画面２１に表示される。
【０１９１】
この商品一覧画面１６０ｂでは、注視された２つの商品の画像１０１ａ，１０１ｂが同じ大きさに拡大され、かつスクロールを停止して揺れた状態で表示される。
【０１９２】
このように、この第９の実施形態においても、利用者２９が表示画面２１の所定の商品の画像１０１を注視するだけで、かかる注視点に応じた領域での利用者２９が興味をもつ商品が拡大されてみやすいものとなるし、揺れた状態で表示されるので、利用者２９は、注視していることを容易に確認できる。
【０１９３】
なお、以上の各実施形態においては、複数人の人物がサイネージ１，２０の表示画面を注視する場合には、注視している最前の人物を上記の利用者１１，２９として、サイネージ１，２０が上記の動作をする。
【符号の説明】
【０１９４】
１ サイネージ自販機
２ 表示画面
３ カメラ
４ 操作部
５ 現金投入口
６ カードタッチ部
７ 釣銭取り出し口
８ 商品取り出し口
９，１０ スピーカ
１１ 利用者
１１ａ 視線
２０ 広告表示板
２１ 表示画面
２２ カメラ
２３，２４ スピーカ
２５ 制御部
２６ 店舗のレジ
２７ 壁
２８ レジ係
２９ 利用者
２９ａ 視線
３０ 注目度計測部
３１ 撮像部
３２ 人物位置計測部
３３ 視線方向計測部
３４ 注視位置情報算出部
３５ 空間情報記録部
３６ 注視度算出部
３７ 集計部
３８ 入力部
３９ 出力制御部
４０ 出力部
４１ 表示フィードバック部
４２ 表示装置
４３ 表示集計部
４４ スピーカ部
４５ 端末記憶部
４６ 端末制御部
４７ 履歴ＤＢサーバ
４８ 端末通信部
４９ 電源部
５０ 操作フィードバック部
５１ タッチパネル部
５２ 操作集計部
５３ 個人認証部
５４ 利用者集計部
５５ 決済処理部
５６ 購入集計部
５７ 商品搬送部
５８ 商品保管部
６０ 什器／自販機
６１ 広告／販売機６１
６２ 遠方エリア
６３ 接近エリア
６４ 近接エリア
６５ 購入エリア
６６ａ〜６６ｅ 歩行経路
７０ａ〜７０ｃ 商品一覧画面
７１，７１ａ〜７１ｄ，７１ｘ，７１ｘ1〜７１ｘ5 商品の画像
７２ 推奨コメント
７３，７３ａ，７３ｂ 注視領域
７４ 購入情報欄
７５ メッセージ欄
７６ カート
７６ａ 商品表示欄
７６ｂ 購入料金表示欄
７６ｃ 「会計へ」ボタン
７７ 「削除」ボタン
７８ 購入確認画面
７９ 購入金額表示エリア
８０ 支払方法紹介エリア
８１ 「現金」ボタン
８１ｂ 「ＩＣカード」ボタン
８１ｃ 「携帯電話」ボタン
８２ 「中止する」ボタン
８３ 購入商品ランキング画面
８４ 商品ランキング表示欄
８５ ポイント
８６ 商品の画像
８７ 「終了する」ボタン
９０ 広告画面
９１ａ，９１ｂ 商品一覧画面
９２ 商品キーワード
９３ 関連商品画面
９４ 「一覧に戻る」ボタン
１００ 商品一覧画面
１０１，１０１ａ1〜１０１ａ3 商品の画像
１０１ｂ1〜１０１ｂ3，１０１ｃ1〜１０１ｃ3 商品の画像
１０１ａ〜１０１ｇ 注視領域内の商品の画像
１０２ 注視点
１０３ａ，１０３ｂ，１０４ 選択商品画面
１０５ 商品名
１０６ 関連情報
１１０ａ 商品カテゴリ選択画面
１１０ｂ 商品成分選択画面
１１０ｃ 商品価格選択画面
１１１ａ1〜１１１ａ3 カテゴリのキーワード
１１１ｂ1〜１１１ｂ3 成分のキーワード
１１１ｃ1〜１１１ｃ3 価格のキーワード
１２０ａ，１２０ｂ，１３０ａ，１３０ｂ 商品一覧画面
１４０，１５０，１６０ 商品一覧画面
【特許請求の範囲】
【請求項１】
商品情報を格納した商品情報記録部と、商品の画像を表わす商品画面を表示画面に表示する表示部と、該商品画面を利用する利用者を撮影する撮像部と、該撮像部で撮影された該利用者の画像から該利用者の視線方向を検出する視線方向計測部と、該表示部に対する該利用者の位置を計測する利用者位置計測部と、該利用者による該商品画面での該商品画像に対する注視度を算出する注視度算出部とを備えた装置を用い、
該利用者位置計測部によって所定の領域内の利用者を検出されると、該視線方向計測部により、該利用者の該表示画面への視線方向を検出し、
該利用者の位置と該視線方向とから該利用者の該表示画面に表示される該商品画面での該商品の画像に対する注視度を算出し、
該表示画面のうちの注視度の高い該商品の画像が含まれる注視領域を特定して、該注視領域に含まれる商品の画像を強調表示し、
該利用者の該商品の画像に対する注視度と強調表示した該注視領域に含まれる該商品の画像とにより、該商品の画像に該当する商品毎の注視度を算出し、該商品情報記録部に記録する
ことを特徴とする商品選択支援方法。
【請求項２】
請求項１において、
前記強調表示は、前記注視度が高い前記商品の画像の前記表示画面での中央領域での表示、拡大表示、または、前記商品の画像の近傍での当該商品の詳細情報の表示である
ことを特徴とする商品選択支援方法。
【請求項３】
請求項１において、
前記強調表示は、前記注視度が高い前記商品の画像の拡大表示であって、
拡大表示された前記商品の画像に対する前記利用者の視線方向と前記利用者の位置とを検出して、拡大表示された前記商品の画像に対する利用者の注視度を算出し、
前記商品の画像を拡大表示中の前記表示画面のうち注視度の高い前記商品の画像を含む前記注視領域を特定し、前記注視領域に含まれる前記商品の画像をさらに拡大表示する。
ことを特徴とする商品選択支援方法。
【請求項４】
請求項１において、
前記強調表示は、前記注視度が高い前記商品の画像での当該商品の詳細情報の表示であって、
表示された該詳細情報のうち特定の詳細情報が選択されると、該選択された詳細情報に該当する商品情報を検索して、該表示部に選択可能に表示する
ことを特徴とする商品選択支援方法。
【請求項５】
請求項１において、
前記表示画面には、タッチパネルが設けられ、
前記商品画面に表示される前記商品の画像がタッチ操作されることにより、該タッチ操作された前記商品の画像に該当する商品の購入決定処理を行なう
ことを特徴とする商品選択支援方法。
【請求項６】
請求項１において、
前記商品画面は、複数の前記商品の画像をスクロール表示し、
前記利用者が前記サイネージに対する所定の領域内に検出されると、前記利用者の位置と前記利用者の視線方向とから、スクロール表示する前記商品画面での前記商品の画像に対する前記利用者の注視度を算出し、
スクロール表示する前記商品画面での前記商品の画像のうち、注視度の高い前記商品の画像を前記商品画面の中心に停止して表示する
ことを特徴とする商品選択支援方法。
【請求項７】
請求項１において、
前記商品情報記録部には、前記各商品毎の注視度及び各商品の販売履歴が記録され、
商品の注視度及び販売実績のランキングを前記表示部で表示可能とする
ことを特徴とする商品選択支援方法。
【請求項８】
請求項１において、
前記商品情報記録部には、前記詳細情報の選択履歴が記録され、
選択された詳細情報のランキングを前記表示部で表示可能とする
ことを特徴とする商品選択支援方法。
【請求項１】
商品情報を格納した商品情報記録部と、商品の画像を表わす商品画面を表示画面に表示する表示部と、該商品画面を利用する利用者を撮影する撮像部と、該撮像部で撮影された該利用者の画像から該利用者の視線方向を検出する視線方向計測部と、該表示部に対する該利用者の位置を計測する利用者位置計測部と、該利用者による該商品画面での該商品画像に対する注視度を算出する注視度算出部とを備えた装置を用い、
該利用者位置計測部によって所定の領域内の利用者を検出されると、該視線方向計測部により、該利用者の該表示画面への視線方向を検出し、
該利用者の位置と該視線方向とから該利用者の該表示画面に表示される該商品画面での該商品の画像に対する注視度を算出し、
該表示画面のうちの注視度の高い該商品の画像が含まれる注視領域を特定して、該注視領域に含まれる商品の画像を強調表示し、
該利用者の該商品の画像に対する注視度と強調表示した該注視領域に含まれる該商品の画像とにより、該商品の画像に該当する商品毎の注視度を算出し、該商品情報記録部に記録する
ことを特徴とする商品選択支援方法。
【請求項２】
請求項１において、
前記強調表示は、前記注視度が高い前記商品の画像の前記表示画面での中央領域での表示、拡大表示、または、前記商品の画像の近傍での当該商品の詳細情報の表示である
ことを特徴とする商品選択支援方法。
【請求項３】
請求項１において、
前記強調表示は、前記注視度が高い前記商品の画像の拡大表示であって、
拡大表示された前記商品の画像に対する前記利用者の視線方向と前記利用者の位置とを検出して、拡大表示された前記商品の画像に対する利用者の注視度を算出し、
前記商品の画像を拡大表示中の前記表示画面のうち注視度の高い前記商品の画像を含む前記注視領域を特定し、前記注視領域に含まれる前記商品の画像をさらに拡大表示する。
ことを特徴とする商品選択支援方法。
【請求項４】
請求項１において、
前記強調表示は、前記注視度が高い前記商品の画像での当該商品の詳細情報の表示であって、
表示された該詳細情報のうち特定の詳細情報が選択されると、該選択された詳細情報に該当する商品情報を検索して、該表示部に選択可能に表示する
ことを特徴とする商品選択支援方法。
【請求項５】
請求項１において、
前記表示画面には、タッチパネルが設けられ、
前記商品画面に表示される前記商品の画像がタッチ操作されることにより、該タッチ操作された前記商品の画像に該当する商品の購入決定処理を行なう
ことを特徴とする商品選択支援方法。
【請求項６】
請求項１において、
前記商品画面は、複数の前記商品の画像をスクロール表示し、
前記利用者が前記サイネージに対する所定の領域内に検出されると、前記利用者の位置と前記利用者の視線方向とから、スクロール表示する前記商品画面での前記商品の画像に対する前記利用者の注視度を算出し、
スクロール表示する前記商品画面での前記商品の画像のうち、注視度の高い前記商品の画像を前記商品画面の中心に停止して表示する
ことを特徴とする商品選択支援方法。
【請求項７】
請求項１において、
前記商品情報記録部には、前記各商品毎の注視度及び各商品の販売履歴が記録され、
商品の注視度及び販売実績のランキングを前記表示部で表示可能とする
ことを特徴とする商品選択支援方法。
【請求項８】
請求項１において、
前記商品情報記録部には、前記詳細情報の選択履歴が記録され、
選択された詳細情報のランキングを前記表示部で表示可能とする
ことを特徴とする商品選択支援方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−２２５８９（Ｐ２０１２−２２５８９Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１６１２１４（Ｐ２０１０−１６１２１４）
【出願日】平成２２年７月１６日（２０１０．７．１６）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１６日（２０１０．７．１６）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]