販売支援装置、販売支援装置システム、販売支援装置の制御方法、およびプログラム
【課題】ネットワークを介して顧客が実際に店舗で買い物をしているような感覚を得ることのできる販売支援装置、販売支援システム、販売支援装置の制御方法、およびプログラムを提供する。
【解決手段】顧客端末とネットワークを介して接続され、顧客端末に対し、販売商品に関する商品関連情報を提供する販売支援装置ＳＹであって、各商品について、商品関連情報を記憶する記憶部３３aと、各商品が陳列された店内を撮像する撮像部５１と、撮像部の撮像結果である店内画像に含まれる商品を特定する商品特定部５６と、顧客端末に対して、店内画像と共に、特定した商品の商品関連情報を送信する送信部(画面データ生成部５８)と、を備える。
【解決手段】顧客端末とネットワークを介して接続され、顧客端末に対し、販売商品に関する商品関連情報を提供する販売支援装置ＳＹであって、各商品について、商品関連情報を記憶する記憶部３３aと、各商品が陳列された店内を撮像する撮像部５１と、撮像部の撮像結果である店内画像に含まれる商品を特定する商品特定部５６と、顧客端末に対して、店内画像と共に、特定した商品の商品関連情報を送信する送信部(画面データ生成部５８)と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顧客端末とネットワークを介して接続された販売支援装置、販売支援装置システム、販売支援装置の制御方法、およびプログラムに関するものである。
【背景技術】
【０００２】
この種の技術として、顧客端末と店内に設置されたサーバー装置とを用い、店外にいる顧客に対して対面形式で商品を販売する販売システムが提案されている（特許文献１参照）。この対面販売システムは、顧客と店員が音声や文字情報により対話を行いながら販売活動を行うもので、顧客が顧客端末を介して商品に対する要望を店員に伝え、店員が選択した商品の画像と店員の画像を顧客端末に送信し、これを繰り返しながら顧客は購入商品を決定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１５００５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記の対面販売システムでは、顧客の要望に基づいて店員が商品を選択するため、顧客が実際に所望している商品とは異なる商品を店員が選択してしまう可能性がある。この場合、店員に所望の商品を選択してもらうために、やり取りを繰り返さなければならず、顧客にとって煩わしいという問題がある。また、このようなネットワークを介した対面販売のメリットは、店外にいながら実際に店舗で買い物をしているようなサービスや感覚を顧客に提供できることであるが、上記の対面販売システムでは、買い物中に得られる情報が店員の選択した商品画像やアドバイスに限られるため、実際の店舗で得られるリアルタイムの情報（現在陳列されている商品に関する情報など）を得ることができない。よって、顧客が得られる実際に店舗で買い物をしているような感覚は乏しい。
【０００５】
本発明は、上記の点に鑑み、ネットワークを介して顧客が実際に店舗で買い物をしているような感覚を得ることのできる販売支援装置、販売支援装置システム、販売支援装置の制御方法、およびプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の販売支援装置は、顧客端末とネットワークを介して接続され、顧客端末に対し、販売商品に関する商品関連情報を提供する販売支援装置であって、各商品について、商品関連情報を記憶する記憶部と、各商品が陳列された店内を撮像する撮像部と、撮像部の撮像結果である店内画像に含まれる商品を特定する商品特定部と、顧客端末に対して、店内画像と共に、特定した商品の商品関連情報を送信する送信部と、を備えたことを特徴とする。
【０００７】
本発明の販売支援装置の制御方法は、顧客端末とネットワークを介して接続され、顧客端末に対し、販売商品に関する商品関連情報を提供する販売支援装置の制御方法であって、販売支援装置が、各商品について、商品関連情報を記憶する記憶ステップと、各商品が陳列された店内を撮像する撮像ステップと、撮像ステップの撮像結果である店内画像に含まれる商品を特定するための商品特定ステップと、顧客端末に対して、店内画像と共に、特定した商品の商品関連情報を送信する送信ステップと、を実行することを特徴とする。
【０００８】
これらの構成によれば、顧客に対してネットワークを介して商品が陳列された店内画像を提供することができるため、顧客は実際に店舗で買い物をしているような感覚を得ることができる。また、店内画像に含まれる商品を自動的に特定し、当該商品の商品関連情報を顧客端末に送信することで、顧客は、店員に要望を説明することなく、実際に店内で目に入った商品を手に取るような感覚で商品関連情報を確認することが出来る。なお、商品関連情報とは、商品の商品名、価格、産地情報、値引き情報などが含まれる。
【０００９】
これらの場合、商品関連情報にはキーワードが含まれ、顧客端末を操作する顧客と店員とが通話を行うための通話部と、通話部の通話から、音声情報を取得する音声情報取得部と、音声情報取得部により取得した音声情報を音声認識によりテキスト情報に変換する情報変換部と、テキスト情報にキーワードが含まれる場合、当該キーワードが含まれた商品関連情報を抽出する商品関連情報抽出部と、をさらに備え、送信部は、抽出した商品関連情報をさらに顧客端末に対して送信することが好ましい。
【００１０】
この構成によれば、顧客と店員との会話に基づいて、顧客のニーズに合った商品の商品関連情報を抽出し顧客に提供することができる。すなわち、顧客および店員が所望の商品を探すことなく自動的に商品の商品関連情報を得ることができる。また、顧客と店員とが会話することによって、顧客が意識していない潜在的なニーズを引き出し、商品の販売促進を行うことができる。
【００１１】
上記の販売支援装置において、撮像部は、顧客端末の操作に基づいて、撮像位置を可変することが好ましい。
【００１２】
この構成によれば、顧客が実際に店舗を歩いているように店内の撮像位置を操作することができる。
【００１３】
上記の販売支援装置において、商品関連情報には、商品の価格が含まれ、顧客端末の操作に基づいて、顧客端末に対して送信した商品関連情報が示す商品のうち購入対象となる商品を選択する商品選択部と、商品選択部により選択された１以上の商品の価格の合計である合計金額を含む会計情報を生成する会計情報生成部をさらに備え、送信部は、会計情報をさらに顧客端末に送信することが好ましい。
【００１４】
この構成によれば、現在購入対象商品となっている商品の合計金額を顧客に通知することができる。
【００１５】
本発明の販売支援システムは、上記の販売支援装置と、複数の顧客端末と、を備えたことを特徴する。
【００１６】
この構成によれば、店内画像を顧客に提供し、顧客が実際に店舗で買い物をしているような感覚を得ることができる販売促進システムを実現することができる。
【００１７】
本発明のプログラムは、コンピューターに、上記の販売支援装置の制御方法における各ステップを実行させることを特徴とする。
【００１８】
この構成によれば、この構成によれば、店内画像を顧客に提供し、顧客が実際に店舗で買い物をしているような感覚を得ることができる販売支援装置を実現することのできるプログラムを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態にかかる販売支援システムのシステム構成図である。
【図２】販売支援システムの制御構成を示すブロック図である。
【図３】商品データベースの内容を示した図である。
【図４】販売支援システムの機能構成を示すブロック図である。
【図５】顧客端末のディスプレイの表示例であり、（ａ）は店内用カメラにより撮像された映像の表示例を示す図であり、（ｂ）は商品用カメラにより撮像された映像の表示例を示す図であり、（ｃ）は会計情報の表示例を示す図である。
【図６】（ａ）は顧客とアシスタントの会話例を示す図であり、（ｂ）は顧客端末のディスプレイの表示例を示す図である。
【図７】販売支援における表示処理を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、添付した図面を参照して、本発明の一実施形態にかかる販売支援装置、販売支援システム、販売支援装置の制御方法、およびプログラムについて説明する。図１は、本発明の販売支援システムＳＹのシステム構成図である。販売支援システムＳＹは、小売店等の店内を移動するカート４に可能な取り付けられたアシスタント端末１と、店舗のバックヤードに設けられた店舗サーバー２と、店外にいる顧客が操作する顧客端末３と、から成る。なお、請求項における「販売支援装置」とは、アシスタント端末１および店舗サーバー２により構成される。また、図示では、アシスタント端末１および顧客端末３を１台ずつ記載しているが、実際には、店舗サーバー２には複数のアシスタント端末１および顧客端末３が接続されている。
【００２１】
アシスタント端末１は、アシスタントが手押しすることによって店内の各売り場を移動するカート４に取り付けられ、店内を移動しながら店内映像（店内画像）を撮像し、撮像した店内映像を店舗サーバー２を介して顧客端末３に送信する。また、アシスタント端末１は、顧客端末３との通話機能を有しており、アシスタントと顧客端末３を操作する顧客との通話が可能となっている。この通話機能により、アシスタントは顧客の要望に応じて店内を移動することができる。なお、本実施形態におけるアシスタントとは、店舗において販売に従事している店員を指す。
【００２２】
店舗サーバー２は、無線ＬＡＮ等のネットワークＮＴ１を介してアシスタント端末１と接続されており、一方で、インターネット等のネットワークＮＴ２を介して顧客端末３と接続されている。店舗サーバー２は、ディスプレイ５、キーボード６およびマウス７等を有する、一般的なパーソナルコンピュータにより構成される。また、店舗サーバー２は、店舗で販売する商品に関する商品データベース（以下、商品ＤＢという）を記憶しており、アシスタント端末１が撮像した店内映像に含まれた商品に関する商品データ（図３参照）を顧客端末３に送信する。なお、請求項における「商品関連情報」とは、この商品データを指す。
【００２３】
顧客端末３は、インターネット等のネットワークＮＴ２を介して店舗サーバー２と接続されており、ディスプレイ８、キーボード９、マウス１０、および通話機能（スピーカー４７およびマイク４６、図２参照）を有する、パーソナルコンピュータにより構成されている。なお、顧客端末３は、携帯電話、スマートフォン等で構成しても良い。顧客端末３を操作する顧客は、アシスタントと通話しながら、ディスプレイ５に表示される店内映像および商品データを確認することができる。また、顧客端末３は、キーボード６およびマウス７の操作によってアシスタント端末１の店内用カメラ１４の撮像角度、撮像倍率などを変化させることができる構成となっている。
【００２４】
ここで、アシスタント端末１の装置構成について説明する。図１に示すように、アシスタント端末１は、購入対象となる商品を収容して移動するカート４に取り付けられ、店内映像を撮像するＷｅｂカメラ１１と、Ｗｅｂカメラ１１を支持するカメラ支持部１２と、撮像した店内映像を表示するための表示装置１３と、を備えている。Ｗｅｂカメラ１１は、店内に陳列された商品を撮像するための店内用カメラ１４と、アシスタントが手に取った商品を撮像するための商品用カメラ１５と、を備えている。各カメラは、カート４の持ち手部分に固定され、持ち手部分に対して垂直方に延在する細長のカメラ支持部１２に支持されている。店内用カメラ１４は、カメラ支持部１２の先端付近に配置され、撮像角度、撮像倍率を、可変モータ２４（図２参照）によって変化可能に支持されている。一方、商品用カメラ１５は、店内用カメラ１４の下方に配置され、撮像角度がカート４の前進方向に向くように固定支持されている。すなわち、アシスタントが手に取った商品を商品用カメラ１５で撮像しながら、アシスタント自身が目視でも商品を確認することができるようになっている。一方、表示装置１３は、各カメラにより撮像した映像をモニタリングするためのディスプレイ１６と、アシスタントの音声を取得するマイク１７と、顧客端末３からの顧客の音声を出力するスピーカ１８と、を備えている。なお、商品用カメラ１５の撮像角度、撮像倍率を可変する可変モータを備え、顧客端末３の操作により変化可能に構成しても良い。
【００２５】
アシスタントは、顧客端末３を操作する顧客と通話しながら、アシスタント端末１を手押しして店内を移動し、店内用カメラ１４で店内映像を撮像する。そして、顧客の要望に応じて、店内の所望の売り場に移動し、所望の商品を手にとって商品用カメラ１５で当該商品を撮像する。撮像された映像は、アシスタント端末１から店舗サーバー２を介して顧客端末３に送信される。一方、顧客は、操作している顧客端末３のディスプレイ５に表示された映像を確認しながら、購入対象商品を決定する。
【００２６】
次に、図２を参照し、販売支援システムＳＹの制御構成について説明する。同図は、販売システムＳＹの制御ブロック図である。上記のとおり、販売システムＳＹは、アシスタント端末１、店舗サーバー２、および顧客端末３により構成されている。
【００２７】
アシスタント端末１は、Ｗｅｂカメラ１１、ディスプレイ１６、マイク１７、スピーカ１８、ＣＰＵ（Central Processing Unit）１９、ＲＯＭ（Read Only Memory）２０、ＲＡＭ（Random Access
Memory）２１、および通信部２２、を備え、各構成部が接続バス２３により接続されている。
【００２８】
Ｗｅｂカメラ１１は、上記の通り、店内を撮像するための店内用カメラ１４と、商品を撮像するための商品用カメラ１５と、店内用カメラ１４の撮像角度や撮像倍率などを可変するための可変モータ２４と、を備えている。可変モータ２４および店内用カメラ１４は、直接接続されている。
【００２９】
ＣＰＵ１９は、中央処理装置であり、各種演算処理を行う。ＲＯＭ２０は、ＣＰＵ１９が各種演算処理を行うための制御プログラムを記憶する。具体的には、Ｗｅｂカメラ１１の駆動制御プログラム、可変モータ２４の駆動制御プログラム、ディスプレイ５の表示制御プログラム等を記憶している。ＲＡＭ２１は、ＣＰＵ１９が各種演算処理を行うためのワークエリアとして用いられる。
【００３０】
通信部２２は、店舗サーバー２と無線通信を行うためのものであり、主に、Ｗｅｂカメラ１１が撮像した映像に基づく画像データ、およびマイク１７が取得したアシスタントの音声データの店舗サーバー２への送信や、顧客端末３から取得した顧客の音声データ、および店内用カメラ１４の撮像角度、撮像倍率などを変更する操作信号の受信に用いられる。
【００３１】
店舗サーバー２は、上記のとおり、ディスプレイ５、キーボード６、マウス７、ＣＰＵ３０、ＲＯＭ３１、ＲＡＭ３２、ＨＤＤ（Hard disk drive）３３(記憶部)、アシスタント端末用通信部３４、顧客端末用通信部３５（送信部）および接続バス３６を備えている。
【００３２】
ＣＰＵ３０は、中央処理装置であり、店舗サーバー２全体を制御する。ＲＯＭ３１は、基本プログラムを記憶している。具体的には、店内映像からの商品特定プログラム、音声認識によるキーワード検出プログラム、会計処理プログラム等を記憶している。ＲＡＭ３２は、ＣＰＵ３０が各種演算処理を行うためのワークエリアとして用いられる。一方、ＨＤＤ３３は、販売商品の商品ＤＢ３３ａを記憶するための記憶領域を有している。
【００３３】
アシスタント端末用通信部３４は、ネットワークＮＴ１を介して接続された各アシスタント端末１と通信を行うためのものであり、主に店内映像に基づく画像データの受信、音声データの送受信に用いられる。また、顧客端末用通信部３５は、ネットワークＮＴ２を介して接続された各顧客端末３と通信を行うためのものであり、主に、顧客端末３のディスプレイ８に表示するための画面データの送信、音声データの送受信に用いられる。
【００３４】
顧客端末３は、上記のとおり、マイク４６、スピーカー４７、ディスプレイ８、キーボード９、マウス１０、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、通信部４４、および接続バス４５を備えている。ＣＰＵ４１は、中央処理装置であり、顧客端末３全体を制御する。ＲＯＭ４３は、基本プログラムを記憶している。ＲＡＭ４３は、ＣＰＵ４２が各種演算処理を行うためのワークエリアとして用いられる。通信部４４は、店舗サーバー２と通信を行うためのものであり、主に、画面データの受信、音声データの送受信に用いられる。
【００３５】
ここで、図３を参照し、店舗サーバー２のＨＤＤ３３に記憶されている商品ＤＢ３３ａについて説明する。商品ＤＢ３３ａには、各商品について当該商品に関する商品データが記憶されている。図示のように、商品データ（商品関連情報）とは、商品を特定するための「商品コード」、当該商品の売り場を示す「グループ番号」、「商品名」、「内容量」、「価格」、当該商品の生産地を示す「生産情報」、および当該商品に特化した情報を示す「キーワード」で構成されている。
【００３６】
次に、図４を参照し、販売支援システムＳＹの機能構成について説明する。同図は、販売システムＳＹの機能ブロック図である。図示のように、アシスタント端末１は、撮像部５１（Ｗｅｂカメラ１１）、表示部５２（ディスプレイ１６）、および通話部５３（マイク１７およびスピーカー１８）、を備えている。店舗サーバー２は、商品ＤＢ３３ａ（ＨＤＤ３３内の記憶領域に記憶されている）、撮像制御部５４、画像データ取得部５５（アシスタント端末用通信部３４）、商品特定部５６、商品データ抽出部５７（請求項における「商品関連情報抽出部」）、画面データ生成部５８（ＣＰＵ３０およびアシスタント端末用通信部３４）、情報変換部５９、音声データ取得部６０（アシスタント端末用通信部３４、顧客端末用通信部３５）、商品選択部６１、および会計情報生成部６２を備えている。なお、店舗サーバー２の撮像制御部５４、商品特定部５６、商品データ抽出部５７、画面データ生成部５８、情報変換部５９、商品選択部６１、および会計情報生成部６２は、主にＣＰＵ３０により構成されている。顧客端末３は、撮像角度・撮像倍率指示部６３（キーボード９およびマウス１０）、表示部６４（ディスプレイ８）、通話部６５（マイク４６よびスピーカー４７）、および商品選択操作部６６（キーボード９およびマウス１０）を備えている。
【００３７】
以下、主に店舗サーバー２の備える各構成部について説明する。撮像制御部５４は、顧客端末３の撮像角度・撮像倍率指示部６３により店内用カメラ１４の撮像角度の変更させる旨の操作信号を受信すると、アシスタント端末１に店内用カメラ１４の撮像角度、撮像倍率を可変させる旨の制御信号を送信する。
【００３８】
画像データ取得部５５は、アシスタント端末１の撮像部５１により撮像された映像の画像データを取得し、顧客端末３の表示部６４に送信する。
【００３９】
商品特定部５６は、取得した画像データに含まれる商品を特定する。具体的には、取得した画像データから商品バーコード（図５（ａ）参照）を検出し、当該商品バーコードから商品を特定する商品コードを読み取ることによって、画像データに含まれる商品を特定する。
【００４０】
商品データ抽出部５７は、商品特定部５６により特定された商品の商品データを、商品コードに紐付けて商品ＤＢ３３ａから抽出する。また、商品データ抽出部５７は、後述の情報変換部５９により検出された「キーワード」を含む商品データを抽出する。画面データ生成部５８は、画像データ取得部５５により取得した画像データと、商品データ抽出部５７により抽出された商品データと、に基づいて顧客端末３のディスプレイ８に表示するための画面データを生成する。そして、生成した画面データを顧客端末３に送信する。
【００４１】
音声データ取得部６０は、顧客端末３およびアシスタント端末１から、顧客およびアシスタントの音声データを取得する。情報変換部５９は、不図示の音響分析部、音響モデル、言語モデル、および単語辞書を備え、これらを用いて、取得した音声データをテキスト情報に変換し、不図示の記憶部に記録する。そして、記録したテキスト情報から、商品ＤＢ３３ａに記憶されている「キーワード」を検出する。
【００４２】
商品選択部６１は、顧客端末３の商品選択操作部６６から、商品を選択する旨の操作信号を受信すると、顧客端末３に送信した画面データに含まれる商品データから、選択された商品の商品データを選択する。会計情報生成部６２は、商品選択部６１により選択された商品データから、選択された商品の合計金額を示す会計情報を生成し、顧客端末３に送信する。
【００４３】
次に、図５を参照し、顧客端末３のディスプレイ８に表示される画像について説明する。なお、本実施形態では、アシスタント端末１のディスプレイ１６にも同様の画像が表示されるものとする。同図（ａ）は、アシスタント端末１の店内用カメラ１４により撮像された果実売り場の店内映像と、店内映像から抽出された商品データと、が表示された画像の一例を示している。ディスプレイ５の左部には、果実売り場の陳列棚７０に陳列された「りんご」、「みかん」、および「もも」の映像が表示されている。また、陳列棚７０には、各商品の商品バーコード（図示省略）が記載された商品棚札７１が配置されている。そして、ディスプレイ８の右部には、店内映像に映し出された商品バーコードから読み取られた「りんご」、「みかん」、および「もも」の商品データが、縦に配列されて表示されている。各商品データの表示領域には、図示の「りんご」を例に挙げると、上部から、「キーワード」として「無農薬」、「商品名」として「りんご」、「産地情報」として「青森県産」、「内容量」として「１個」、および「価格」として「￥２００」の文字が表示されている。
【００４４】
図５（ｂ）は、アシスタント端末１の商品用カメラ１５により撮像された「りんご」の映像と、商品データと、が表示された画像の一例を示している。ディスプレイ５の左部には、アシスタントが手に取った「りんご」が拡大して表示されている。これにより、顧客は、各「りんご」の個体差までも確認することが出来、所望の商品を選ぶことができる。なお、商品用カメラ１５および店内用カメラ１４の撮像の切り替えは、アシスタントが行うことが好ましい。また、顧客が同図（ａ）に示すような店内映像を確認して、通話により、所望の「りんご」を手にとって商品用カメラ１５で撮像するようにアシスタントに指示することが好ましい。これによれば、顧客好みの（例えば、甘みのありそうな「りんご」等）商品を顧客が選択することができる。一方、ディスプレイ５の右部には、直前に表示していた店内映像（同図（ａ））において抽出された商品データが表示されている。
【００４５】
図５（ｃ）は、会計情報が表示された画像の一例を示している。ディスプレイ５の左部には、店内用カメラ１４により撮像された店内映像が表示され、ディスプレイ５の右部には、店内映像から抽出された商品情報が表示され、ディスプレイ５の下部には、顧客端末３により選択された商品の合計金額を示す会計情報が表示されている。図示では、「カート内の合計金額」として「￥４００」が表示されている。なお、アシスタントは顧客との通話により、顧客が決定した購入対象となる「りんご」をその都度、カート４に収容していく。このとき、商品バーコード等により商品情報が登録できないときは、アシスタントが、アシスタント端末上で、専用の商品登録画面などで商品名や単価、あるいは数量を入力してもよい。これにより、顧客は、自身で選んだ「りんご」を確実に購入することができる。なお、ディスプレイ５の下部に、会計情報として、カート４内にある商品の「商品名」、「個数」、「価格」をさらに表示する構成としてもよい。
【００４６】
次に、図６を参照し、アシスタントと顧客との会話からの商品データの抽出について説明する。同図（ａ）は、アシスタントと顧客との会話の一例を示している。図示の例では、顧客の発話の中に「旬」と言葉が含まれている。この場合、店舗サーバー２の音声データ取得部６０および情報変換部５９は、音声データ（テキスト情報に変換）から「キーワード」として「旬」という言葉を検出し、商品データ抽出部５７は、「キーワード」として「旬」をいう言葉を含んだ商品の商品データを抽出する。図示のように、ディスプレイ５の下部には、「キーワード」として「旬おすすめ」という言葉を含んだ商品である「たまねぎ」および「キャベツ」の商品データが表示されている。なお、音声データからのキーワード検出により抽出される商品データは、すべての売り場（グループ）から抽出してもよいし、所定の限られた売り場から抽出するようにしてもよい。これにより膨大な商品の商品データが抽出されてしまうことを防止することができる。
【００４７】
次に、図７のフローチャートを参照し、本実施形態の販売支援における顧客端末３への表示処理について説明する。店舗サーバー２は、アシスタント端末１から店内用カメラ１４に撮像された映像に基づく画像データを受信し（Ｓ０１）、画像データから商品バーコードを検出すると（Ｓ０２：Ｙｅｓ）、商品ＤＢ３３ａから当該商品の商品データを抽出する（Ｓ０３）。そして、受信した画像データおよび抽出した商品データから画面データを生成する（Ｓ０４）。そして、生成した画面データを、顧客端末３に送信する（Ｓ０５）。一方、受信した画像データから商品バーコードが検出されなかった場合（Ｓ０２：Ｎｏ）、画像データのみから画面データを生成し（Ｓ０６）、生成した画面データを顧客端末３に送信する（Ｓ０７）。
【００４８】
そして、顧客端末３から店内用カメラ１４の撮像角度・撮像倍率を変更する旨の操作信号を受信すると（Ｓ０８：Ｙｅｓ）、制御信号をアシスタント端末１に送信して、Ｓ０１〜Ｓ０８までのフローを繰り返す。
【００４９】
一方、顧客端末３から店内用カメラ１４の撮像角度・撮像倍率を変更する旨の操作信号を受信しない場合（Ｓ０８：Ｎｏ）、アシスタント端末１から、商品用カメラ１５により撮像された映像に基づく画像データを受信すると（Ｓ０９：Ｙｅｓ）、直前に抽出した商品データおよび受信した画像データから画面データを生成する（Ｓ１０）。そして、生成した画面データを顧客端末３に送信する（Ｓ１１）。そして、再度、店内用カメラ１４により撮像された映像に基づく画像データを受信した場合（Ｓ１２：Ｙｅｓ）、Ｓ０２〜Ｓ１１までのフローを繰り返す。一方、Ｓ０９において、商品用カメラ１５により撮像された映像に基づく画像データを受信しなかった場合（Ｓ０９：Ｎｏ）、および、Ｓ１２において、再度、店内用カメラ１４により撮像された映像に基づく画像データを受信しなかった場合（Ｓ１２：Ｎｏ）、そのまま処理を終了する。
【００５０】
本実施形態の販売支援システムＳＹによれば、ネットワークを介した販売支援において、アシスタントと顧客とが通話すると共に、店内映像を顧客に提供するため、顧客は、実際に店内で買い物をしているような感覚を得ることができる。すなわち、顧客は、店内映像によって店内に実際に陳列された商品をみることができるため、リアルタイムの情報を得ながら買い物を行うことができる。また、店内映像に映っている商品の商品データを同時に表示させるため、顧客は、より詳細な商品に関する情報を得ることができる。また、顧客とアシスタントとの会話に基づいても商品データを抽出および表示させるため、自動的に、顧客のニーズにあった商品の商品データを表示させ、適切に販売支援を行うことができる。
【００５１】
なお、本実施形態では、通話によるアシスタントおよび顧客の会話を想定したが、テレビ電話のようにアシスタントおよび顧客の顔を映すカメラを設け、会話および表情を含めたコミュニケーションを行う構成としてもよい。また、本実施形態では、顧客端末３の操作によって、購入対象商品を選択する構成としたが、アシスタント端末１に、商品バーコードを読み取るスキャナーを設け、アシスタントがスキャナーを用いて、購入対象商品の商品バーコードをスキャンする構成としてもよい。これによれば、アシスタントおよび顧客の対話により決定した購入対象の商品を確実に顧客が購入することができる。例えば、複数の「りんご」の中で、顧客が購入しようとした「りんご」を確実にアシスタントによって購入対象商品として処理することができる。
【００５２】
なお、本実施形態では、アシスタント端末１を操作するアシスタントを店員としたが、ロボットで構成しても良い。また、顧客端末３により、店内用カメラ１４の操作だけではなく、カート４の移動を操作可能としても良い。
【００５３】
また、上記した、販売支援システムＳＹの各構成要素をプログラムとして提供することも可能である。また、そのプログラムを記憶媒体（図示省略）に格納して提供することも可能である。記録媒体としては、ＣＤ−ＲＯＭ、フラッシュＲＯＭ、メモリカード（コンパクトフラッシュ（登録商標）、スマートメディア、メモリースティック等）、コンパクトディスク、光磁気ディスク、デジタルバーサタイルディスクおよびフレキシブルディスク等を利用することができる。
【００５４】
また、上述した実施例によらず、販売支援システムＳＹの装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更も可能である。
【符号の説明】
【００５５】
１：アシスタント端末 ２：店舗サーバー ３：顧客端末 ４：カート １１：Ｗｅｂカメラ １４：店内用カメラ １５：商品用カメラ ３３ａ：商品ＤＢ ５５：画像データ取得部 ５６：商品特定部 ５７：商品データ抽出部 ５９：情報変換部 ６０：音声データ取得部 ６１：商品選択部 ６２：会計情報生成部 ＳＹ：販売支援システム
【技術分野】
【０００１】
本発明は、顧客端末とネットワークを介して接続された販売支援装置、販売支援装置システム、販売支援装置の制御方法、およびプログラムに関するものである。
【背景技術】
【０００２】
この種の技術として、顧客端末と店内に設置されたサーバー装置とを用い、店外にいる顧客に対して対面形式で商品を販売する販売システムが提案されている（特許文献１参照）。この対面販売システムは、顧客と店員が音声や文字情報により対話を行いながら販売活動を行うもので、顧客が顧客端末を介して商品に対する要望を店員に伝え、店員が選択した商品の画像と店員の画像を顧客端末に送信し、これを繰り返しながら顧客は購入商品を決定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１５００５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記の対面販売システムでは、顧客の要望に基づいて店員が商品を選択するため、顧客が実際に所望している商品とは異なる商品を店員が選択してしまう可能性がある。この場合、店員に所望の商品を選択してもらうために、やり取りを繰り返さなければならず、顧客にとって煩わしいという問題がある。また、このようなネットワークを介した対面販売のメリットは、店外にいながら実際に店舗で買い物をしているようなサービスや感覚を顧客に提供できることであるが、上記の対面販売システムでは、買い物中に得られる情報が店員の選択した商品画像やアドバイスに限られるため、実際の店舗で得られるリアルタイムの情報（現在陳列されている商品に関する情報など）を得ることができない。よって、顧客が得られる実際に店舗で買い物をしているような感覚は乏しい。
【０００５】
本発明は、上記の点に鑑み、ネットワークを介して顧客が実際に店舗で買い物をしているような感覚を得ることのできる販売支援装置、販売支援装置システム、販売支援装置の制御方法、およびプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の販売支援装置は、顧客端末とネットワークを介して接続され、顧客端末に対し、販売商品に関する商品関連情報を提供する販売支援装置であって、各商品について、商品関連情報を記憶する記憶部と、各商品が陳列された店内を撮像する撮像部と、撮像部の撮像結果である店内画像に含まれる商品を特定する商品特定部と、顧客端末に対して、店内画像と共に、特定した商品の商品関連情報を送信する送信部と、を備えたことを特徴とする。
【０００７】
本発明の販売支援装置の制御方法は、顧客端末とネットワークを介して接続され、顧客端末に対し、販売商品に関する商品関連情報を提供する販売支援装置の制御方法であって、販売支援装置が、各商品について、商品関連情報を記憶する記憶ステップと、各商品が陳列された店内を撮像する撮像ステップと、撮像ステップの撮像結果である店内画像に含まれる商品を特定するための商品特定ステップと、顧客端末に対して、店内画像と共に、特定した商品の商品関連情報を送信する送信ステップと、を実行することを特徴とする。
【０００８】
これらの構成によれば、顧客に対してネットワークを介して商品が陳列された店内画像を提供することができるため、顧客は実際に店舗で買い物をしているような感覚を得ることができる。また、店内画像に含まれる商品を自動的に特定し、当該商品の商品関連情報を顧客端末に送信することで、顧客は、店員に要望を説明することなく、実際に店内で目に入った商品を手に取るような感覚で商品関連情報を確認することが出来る。なお、商品関連情報とは、商品の商品名、価格、産地情報、値引き情報などが含まれる。
【０００９】
これらの場合、商品関連情報にはキーワードが含まれ、顧客端末を操作する顧客と店員とが通話を行うための通話部と、通話部の通話から、音声情報を取得する音声情報取得部と、音声情報取得部により取得した音声情報を音声認識によりテキスト情報に変換する情報変換部と、テキスト情報にキーワードが含まれる場合、当該キーワードが含まれた商品関連情報を抽出する商品関連情報抽出部と、をさらに備え、送信部は、抽出した商品関連情報をさらに顧客端末に対して送信することが好ましい。
【００１０】
この構成によれば、顧客と店員との会話に基づいて、顧客のニーズに合った商品の商品関連情報を抽出し顧客に提供することができる。すなわち、顧客および店員が所望の商品を探すことなく自動的に商品の商品関連情報を得ることができる。また、顧客と店員とが会話することによって、顧客が意識していない潜在的なニーズを引き出し、商品の販売促進を行うことができる。
【００１１】
上記の販売支援装置において、撮像部は、顧客端末の操作に基づいて、撮像位置を可変することが好ましい。
【００１２】
この構成によれば、顧客が実際に店舗を歩いているように店内の撮像位置を操作することができる。
【００１３】
上記の販売支援装置において、商品関連情報には、商品の価格が含まれ、顧客端末の操作に基づいて、顧客端末に対して送信した商品関連情報が示す商品のうち購入対象となる商品を選択する商品選択部と、商品選択部により選択された１以上の商品の価格の合計である合計金額を含む会計情報を生成する会計情報生成部をさらに備え、送信部は、会計情報をさらに顧客端末に送信することが好ましい。
【００１４】
この構成によれば、現在購入対象商品となっている商品の合計金額を顧客に通知することができる。
【００１５】
本発明の販売支援システムは、上記の販売支援装置と、複数の顧客端末と、を備えたことを特徴する。
【００１６】
この構成によれば、店内画像を顧客に提供し、顧客が実際に店舗で買い物をしているような感覚を得ることができる販売促進システムを実現することができる。
【００１７】
本発明のプログラムは、コンピューターに、上記の販売支援装置の制御方法における各ステップを実行させることを特徴とする。
【００１８】
この構成によれば、この構成によれば、店内画像を顧客に提供し、顧客が実際に店舗で買い物をしているような感覚を得ることができる販売支援装置を実現することのできるプログラムを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態にかかる販売支援システムのシステム構成図である。
【図２】販売支援システムの制御構成を示すブロック図である。
【図３】商品データベースの内容を示した図である。
【図４】販売支援システムの機能構成を示すブロック図である。
【図５】顧客端末のディスプレイの表示例であり、（ａ）は店内用カメラにより撮像された映像の表示例を示す図であり、（ｂ）は商品用カメラにより撮像された映像の表示例を示す図であり、（ｃ）は会計情報の表示例を示す図である。
【図６】（ａ）は顧客とアシスタントの会話例を示す図であり、（ｂ）は顧客端末のディスプレイの表示例を示す図である。
【図７】販売支援における表示処理を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、添付した図面を参照して、本発明の一実施形態にかかる販売支援装置、販売支援システム、販売支援装置の制御方法、およびプログラムについて説明する。図１は、本発明の販売支援システムＳＹのシステム構成図である。販売支援システムＳＹは、小売店等の店内を移動するカート４に可能な取り付けられたアシスタント端末１と、店舗のバックヤードに設けられた店舗サーバー２と、店外にいる顧客が操作する顧客端末３と、から成る。なお、請求項における「販売支援装置」とは、アシスタント端末１および店舗サーバー２により構成される。また、図示では、アシスタント端末１および顧客端末３を１台ずつ記載しているが、実際には、店舗サーバー２には複数のアシスタント端末１および顧客端末３が接続されている。
【００２１】
アシスタント端末１は、アシスタントが手押しすることによって店内の各売り場を移動するカート４に取り付けられ、店内を移動しながら店内映像（店内画像）を撮像し、撮像した店内映像を店舗サーバー２を介して顧客端末３に送信する。また、アシスタント端末１は、顧客端末３との通話機能を有しており、アシスタントと顧客端末３を操作する顧客との通話が可能となっている。この通話機能により、アシスタントは顧客の要望に応じて店内を移動することができる。なお、本実施形態におけるアシスタントとは、店舗において販売に従事している店員を指す。
【００２２】
店舗サーバー２は、無線ＬＡＮ等のネットワークＮＴ１を介してアシスタント端末１と接続されており、一方で、インターネット等のネットワークＮＴ２を介して顧客端末３と接続されている。店舗サーバー２は、ディスプレイ５、キーボード６およびマウス７等を有する、一般的なパーソナルコンピュータにより構成される。また、店舗サーバー２は、店舗で販売する商品に関する商品データベース（以下、商品ＤＢという）を記憶しており、アシスタント端末１が撮像した店内映像に含まれた商品に関する商品データ（図３参照）を顧客端末３に送信する。なお、請求項における「商品関連情報」とは、この商品データを指す。
【００２３】
顧客端末３は、インターネット等のネットワークＮＴ２を介して店舗サーバー２と接続されており、ディスプレイ８、キーボード９、マウス１０、および通話機能（スピーカー４７およびマイク４６、図２参照）を有する、パーソナルコンピュータにより構成されている。なお、顧客端末３は、携帯電話、スマートフォン等で構成しても良い。顧客端末３を操作する顧客は、アシスタントと通話しながら、ディスプレイ５に表示される店内映像および商品データを確認することができる。また、顧客端末３は、キーボード６およびマウス７の操作によってアシスタント端末１の店内用カメラ１４の撮像角度、撮像倍率などを変化させることができる構成となっている。
【００２４】
ここで、アシスタント端末１の装置構成について説明する。図１に示すように、アシスタント端末１は、購入対象となる商品を収容して移動するカート４に取り付けられ、店内映像を撮像するＷｅｂカメラ１１と、Ｗｅｂカメラ１１を支持するカメラ支持部１２と、撮像した店内映像を表示するための表示装置１３と、を備えている。Ｗｅｂカメラ１１は、店内に陳列された商品を撮像するための店内用カメラ１４と、アシスタントが手に取った商品を撮像するための商品用カメラ１５と、を備えている。各カメラは、カート４の持ち手部分に固定され、持ち手部分に対して垂直方に延在する細長のカメラ支持部１２に支持されている。店内用カメラ１４は、カメラ支持部１２の先端付近に配置され、撮像角度、撮像倍率を、可変モータ２４（図２参照）によって変化可能に支持されている。一方、商品用カメラ１５は、店内用カメラ１４の下方に配置され、撮像角度がカート４の前進方向に向くように固定支持されている。すなわち、アシスタントが手に取った商品を商品用カメラ１５で撮像しながら、アシスタント自身が目視でも商品を確認することができるようになっている。一方、表示装置１３は、各カメラにより撮像した映像をモニタリングするためのディスプレイ１６と、アシスタントの音声を取得するマイク１７と、顧客端末３からの顧客の音声を出力するスピーカ１８と、を備えている。なお、商品用カメラ１５の撮像角度、撮像倍率を可変する可変モータを備え、顧客端末３の操作により変化可能に構成しても良い。
【００２５】
アシスタントは、顧客端末３を操作する顧客と通話しながら、アシスタント端末１を手押しして店内を移動し、店内用カメラ１４で店内映像を撮像する。そして、顧客の要望に応じて、店内の所望の売り場に移動し、所望の商品を手にとって商品用カメラ１５で当該商品を撮像する。撮像された映像は、アシスタント端末１から店舗サーバー２を介して顧客端末３に送信される。一方、顧客は、操作している顧客端末３のディスプレイ５に表示された映像を確認しながら、購入対象商品を決定する。
【００２６】
次に、図２を参照し、販売支援システムＳＹの制御構成について説明する。同図は、販売システムＳＹの制御ブロック図である。上記のとおり、販売システムＳＹは、アシスタント端末１、店舗サーバー２、および顧客端末３により構成されている。
【００２７】
アシスタント端末１は、Ｗｅｂカメラ１１、ディスプレイ１６、マイク１７、スピーカ１８、ＣＰＵ（Central Processing Unit）１９、ＲＯＭ（Read Only Memory）２０、ＲＡＭ（Random Access
Memory）２１、および通信部２２、を備え、各構成部が接続バス２３により接続されている。
【００２８】
Ｗｅｂカメラ１１は、上記の通り、店内を撮像するための店内用カメラ１４と、商品を撮像するための商品用カメラ１５と、店内用カメラ１４の撮像角度や撮像倍率などを可変するための可変モータ２４と、を備えている。可変モータ２４および店内用カメラ１４は、直接接続されている。
【００２９】
ＣＰＵ１９は、中央処理装置であり、各種演算処理を行う。ＲＯＭ２０は、ＣＰＵ１９が各種演算処理を行うための制御プログラムを記憶する。具体的には、Ｗｅｂカメラ１１の駆動制御プログラム、可変モータ２４の駆動制御プログラム、ディスプレイ５の表示制御プログラム等を記憶している。ＲＡＭ２１は、ＣＰＵ１９が各種演算処理を行うためのワークエリアとして用いられる。
【００３０】
通信部２２は、店舗サーバー２と無線通信を行うためのものであり、主に、Ｗｅｂカメラ１１が撮像した映像に基づく画像データ、およびマイク１７が取得したアシスタントの音声データの店舗サーバー２への送信や、顧客端末３から取得した顧客の音声データ、および店内用カメラ１４の撮像角度、撮像倍率などを変更する操作信号の受信に用いられる。
【００３１】
店舗サーバー２は、上記のとおり、ディスプレイ５、キーボード６、マウス７、ＣＰＵ３０、ＲＯＭ３１、ＲＡＭ３２、ＨＤＤ（Hard disk drive）３３(記憶部)、アシスタント端末用通信部３４、顧客端末用通信部３５（送信部）および接続バス３６を備えている。
【００３２】
ＣＰＵ３０は、中央処理装置であり、店舗サーバー２全体を制御する。ＲＯＭ３１は、基本プログラムを記憶している。具体的には、店内映像からの商品特定プログラム、音声認識によるキーワード検出プログラム、会計処理プログラム等を記憶している。ＲＡＭ３２は、ＣＰＵ３０が各種演算処理を行うためのワークエリアとして用いられる。一方、ＨＤＤ３３は、販売商品の商品ＤＢ３３ａを記憶するための記憶領域を有している。
【００３３】
アシスタント端末用通信部３４は、ネットワークＮＴ１を介して接続された各アシスタント端末１と通信を行うためのものであり、主に店内映像に基づく画像データの受信、音声データの送受信に用いられる。また、顧客端末用通信部３５は、ネットワークＮＴ２を介して接続された各顧客端末３と通信を行うためのものであり、主に、顧客端末３のディスプレイ８に表示するための画面データの送信、音声データの送受信に用いられる。
【００３４】
顧客端末３は、上記のとおり、マイク４６、スピーカー４７、ディスプレイ８、キーボード９、マウス１０、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、通信部４４、および接続バス４５を備えている。ＣＰＵ４１は、中央処理装置であり、顧客端末３全体を制御する。ＲＯＭ４３は、基本プログラムを記憶している。ＲＡＭ４３は、ＣＰＵ４２が各種演算処理を行うためのワークエリアとして用いられる。通信部４４は、店舗サーバー２と通信を行うためのものであり、主に、画面データの受信、音声データの送受信に用いられる。
【００３５】
ここで、図３を参照し、店舗サーバー２のＨＤＤ３３に記憶されている商品ＤＢ３３ａについて説明する。商品ＤＢ３３ａには、各商品について当該商品に関する商品データが記憶されている。図示のように、商品データ（商品関連情報）とは、商品を特定するための「商品コード」、当該商品の売り場を示す「グループ番号」、「商品名」、「内容量」、「価格」、当該商品の生産地を示す「生産情報」、および当該商品に特化した情報を示す「キーワード」で構成されている。
【００３６】
次に、図４を参照し、販売支援システムＳＹの機能構成について説明する。同図は、販売システムＳＹの機能ブロック図である。図示のように、アシスタント端末１は、撮像部５１（Ｗｅｂカメラ１１）、表示部５２（ディスプレイ１６）、および通話部５３（マイク１７およびスピーカー１８）、を備えている。店舗サーバー２は、商品ＤＢ３３ａ（ＨＤＤ３３内の記憶領域に記憶されている）、撮像制御部５４、画像データ取得部５５（アシスタント端末用通信部３４）、商品特定部５６、商品データ抽出部５７（請求項における「商品関連情報抽出部」）、画面データ生成部５８（ＣＰＵ３０およびアシスタント端末用通信部３４）、情報変換部５９、音声データ取得部６０（アシスタント端末用通信部３４、顧客端末用通信部３５）、商品選択部６１、および会計情報生成部６２を備えている。なお、店舗サーバー２の撮像制御部５４、商品特定部５６、商品データ抽出部５７、画面データ生成部５８、情報変換部５９、商品選択部６１、および会計情報生成部６２は、主にＣＰＵ３０により構成されている。顧客端末３は、撮像角度・撮像倍率指示部６３（キーボード９およびマウス１０）、表示部６４（ディスプレイ８）、通話部６５（マイク４６よびスピーカー４７）、および商品選択操作部６６（キーボード９およびマウス１０）を備えている。
【００３７】
以下、主に店舗サーバー２の備える各構成部について説明する。撮像制御部５４は、顧客端末３の撮像角度・撮像倍率指示部６３により店内用カメラ１４の撮像角度の変更させる旨の操作信号を受信すると、アシスタント端末１に店内用カメラ１４の撮像角度、撮像倍率を可変させる旨の制御信号を送信する。
【００３８】
画像データ取得部５５は、アシスタント端末１の撮像部５１により撮像された映像の画像データを取得し、顧客端末３の表示部６４に送信する。
【００３９】
商品特定部５６は、取得した画像データに含まれる商品を特定する。具体的には、取得した画像データから商品バーコード（図５（ａ）参照）を検出し、当該商品バーコードから商品を特定する商品コードを読み取ることによって、画像データに含まれる商品を特定する。
【００４０】
商品データ抽出部５７は、商品特定部５６により特定された商品の商品データを、商品コードに紐付けて商品ＤＢ３３ａから抽出する。また、商品データ抽出部５７は、後述の情報変換部５９により検出された「キーワード」を含む商品データを抽出する。画面データ生成部５８は、画像データ取得部５５により取得した画像データと、商品データ抽出部５７により抽出された商品データと、に基づいて顧客端末３のディスプレイ８に表示するための画面データを生成する。そして、生成した画面データを顧客端末３に送信する。
【００４１】
音声データ取得部６０は、顧客端末３およびアシスタント端末１から、顧客およびアシスタントの音声データを取得する。情報変換部５９は、不図示の音響分析部、音響モデル、言語モデル、および単語辞書を備え、これらを用いて、取得した音声データをテキスト情報に変換し、不図示の記憶部に記録する。そして、記録したテキスト情報から、商品ＤＢ３３ａに記憶されている「キーワード」を検出する。
【００４２】
商品選択部６１は、顧客端末３の商品選択操作部６６から、商品を選択する旨の操作信号を受信すると、顧客端末３に送信した画面データに含まれる商品データから、選択された商品の商品データを選択する。会計情報生成部６２は、商品選択部６１により選択された商品データから、選択された商品の合計金額を示す会計情報を生成し、顧客端末３に送信する。
【００４３】
次に、図５を参照し、顧客端末３のディスプレイ８に表示される画像について説明する。なお、本実施形態では、アシスタント端末１のディスプレイ１６にも同様の画像が表示されるものとする。同図（ａ）は、アシスタント端末１の店内用カメラ１４により撮像された果実売り場の店内映像と、店内映像から抽出された商品データと、が表示された画像の一例を示している。ディスプレイ５の左部には、果実売り場の陳列棚７０に陳列された「りんご」、「みかん」、および「もも」の映像が表示されている。また、陳列棚７０には、各商品の商品バーコード（図示省略）が記載された商品棚札７１が配置されている。そして、ディスプレイ８の右部には、店内映像に映し出された商品バーコードから読み取られた「りんご」、「みかん」、および「もも」の商品データが、縦に配列されて表示されている。各商品データの表示領域には、図示の「りんご」を例に挙げると、上部から、「キーワード」として「無農薬」、「商品名」として「りんご」、「産地情報」として「青森県産」、「内容量」として「１個」、および「価格」として「￥２００」の文字が表示されている。
【００４４】
図５（ｂ）は、アシスタント端末１の商品用カメラ１５により撮像された「りんご」の映像と、商品データと、が表示された画像の一例を示している。ディスプレイ５の左部には、アシスタントが手に取った「りんご」が拡大して表示されている。これにより、顧客は、各「りんご」の個体差までも確認することが出来、所望の商品を選ぶことができる。なお、商品用カメラ１５および店内用カメラ１４の撮像の切り替えは、アシスタントが行うことが好ましい。また、顧客が同図（ａ）に示すような店内映像を確認して、通話により、所望の「りんご」を手にとって商品用カメラ１５で撮像するようにアシスタントに指示することが好ましい。これによれば、顧客好みの（例えば、甘みのありそうな「りんご」等）商品を顧客が選択することができる。一方、ディスプレイ５の右部には、直前に表示していた店内映像（同図（ａ））において抽出された商品データが表示されている。
【００４５】
図５（ｃ）は、会計情報が表示された画像の一例を示している。ディスプレイ５の左部には、店内用カメラ１４により撮像された店内映像が表示され、ディスプレイ５の右部には、店内映像から抽出された商品情報が表示され、ディスプレイ５の下部には、顧客端末３により選択された商品の合計金額を示す会計情報が表示されている。図示では、「カート内の合計金額」として「￥４００」が表示されている。なお、アシスタントは顧客との通話により、顧客が決定した購入対象となる「りんご」をその都度、カート４に収容していく。このとき、商品バーコード等により商品情報が登録できないときは、アシスタントが、アシスタント端末上で、専用の商品登録画面などで商品名や単価、あるいは数量を入力してもよい。これにより、顧客は、自身で選んだ「りんご」を確実に購入することができる。なお、ディスプレイ５の下部に、会計情報として、カート４内にある商品の「商品名」、「個数」、「価格」をさらに表示する構成としてもよい。
【００４６】
次に、図６を参照し、アシスタントと顧客との会話からの商品データの抽出について説明する。同図（ａ）は、アシスタントと顧客との会話の一例を示している。図示の例では、顧客の発話の中に「旬」と言葉が含まれている。この場合、店舗サーバー２の音声データ取得部６０および情報変換部５９は、音声データ（テキスト情報に変換）から「キーワード」として「旬」という言葉を検出し、商品データ抽出部５７は、「キーワード」として「旬」をいう言葉を含んだ商品の商品データを抽出する。図示のように、ディスプレイ５の下部には、「キーワード」として「旬おすすめ」という言葉を含んだ商品である「たまねぎ」および「キャベツ」の商品データが表示されている。なお、音声データからのキーワード検出により抽出される商品データは、すべての売り場（グループ）から抽出してもよいし、所定の限られた売り場から抽出するようにしてもよい。これにより膨大な商品の商品データが抽出されてしまうことを防止することができる。
【００４７】
次に、図７のフローチャートを参照し、本実施形態の販売支援における顧客端末３への表示処理について説明する。店舗サーバー２は、アシスタント端末１から店内用カメラ１４に撮像された映像に基づく画像データを受信し（Ｓ０１）、画像データから商品バーコードを検出すると（Ｓ０２：Ｙｅｓ）、商品ＤＢ３３ａから当該商品の商品データを抽出する（Ｓ０３）。そして、受信した画像データおよび抽出した商品データから画面データを生成する（Ｓ０４）。そして、生成した画面データを、顧客端末３に送信する（Ｓ０５）。一方、受信した画像データから商品バーコードが検出されなかった場合（Ｓ０２：Ｎｏ）、画像データのみから画面データを生成し（Ｓ０６）、生成した画面データを顧客端末３に送信する（Ｓ０７）。
【００４８】
そして、顧客端末３から店内用カメラ１４の撮像角度・撮像倍率を変更する旨の操作信号を受信すると（Ｓ０８：Ｙｅｓ）、制御信号をアシスタント端末１に送信して、Ｓ０１〜Ｓ０８までのフローを繰り返す。
【００４９】
一方、顧客端末３から店内用カメラ１４の撮像角度・撮像倍率を変更する旨の操作信号を受信しない場合（Ｓ０８：Ｎｏ）、アシスタント端末１から、商品用カメラ１５により撮像された映像に基づく画像データを受信すると（Ｓ０９：Ｙｅｓ）、直前に抽出した商品データおよび受信した画像データから画面データを生成する（Ｓ１０）。そして、生成した画面データを顧客端末３に送信する（Ｓ１１）。そして、再度、店内用カメラ１４により撮像された映像に基づく画像データを受信した場合（Ｓ１２：Ｙｅｓ）、Ｓ０２〜Ｓ１１までのフローを繰り返す。一方、Ｓ０９において、商品用カメラ１５により撮像された映像に基づく画像データを受信しなかった場合（Ｓ０９：Ｎｏ）、および、Ｓ１２において、再度、店内用カメラ１４により撮像された映像に基づく画像データを受信しなかった場合（Ｓ１２：Ｎｏ）、そのまま処理を終了する。
【００５０】
本実施形態の販売支援システムＳＹによれば、ネットワークを介した販売支援において、アシスタントと顧客とが通話すると共に、店内映像を顧客に提供するため、顧客は、実際に店内で買い物をしているような感覚を得ることができる。すなわち、顧客は、店内映像によって店内に実際に陳列された商品をみることができるため、リアルタイムの情報を得ながら買い物を行うことができる。また、店内映像に映っている商品の商品データを同時に表示させるため、顧客は、より詳細な商品に関する情報を得ることができる。また、顧客とアシスタントとの会話に基づいても商品データを抽出および表示させるため、自動的に、顧客のニーズにあった商品の商品データを表示させ、適切に販売支援を行うことができる。
【００５１】
なお、本実施形態では、通話によるアシスタントおよび顧客の会話を想定したが、テレビ電話のようにアシスタントおよび顧客の顔を映すカメラを設け、会話および表情を含めたコミュニケーションを行う構成としてもよい。また、本実施形態では、顧客端末３の操作によって、購入対象商品を選択する構成としたが、アシスタント端末１に、商品バーコードを読み取るスキャナーを設け、アシスタントがスキャナーを用いて、購入対象商品の商品バーコードをスキャンする構成としてもよい。これによれば、アシスタントおよび顧客の対話により決定した購入対象の商品を確実に顧客が購入することができる。例えば、複数の「りんご」の中で、顧客が購入しようとした「りんご」を確実にアシスタントによって購入対象商品として処理することができる。
【００５２】
なお、本実施形態では、アシスタント端末１を操作するアシスタントを店員としたが、ロボットで構成しても良い。また、顧客端末３により、店内用カメラ１４の操作だけではなく、カート４の移動を操作可能としても良い。
【００５３】
また、上記した、販売支援システムＳＹの各構成要素をプログラムとして提供することも可能である。また、そのプログラムを記憶媒体（図示省略）に格納して提供することも可能である。記録媒体としては、ＣＤ−ＲＯＭ、フラッシュＲＯＭ、メモリカード（コンパクトフラッシュ（登録商標）、スマートメディア、メモリースティック等）、コンパクトディスク、光磁気ディスク、デジタルバーサタイルディスクおよびフレキシブルディスク等を利用することができる。
【００５４】
また、上述した実施例によらず、販売支援システムＳＹの装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更も可能である。
【符号の説明】
【００５５】
１：アシスタント端末 ２：店舗サーバー ３：顧客端末 ４：カート １１：Ｗｅｂカメラ １４：店内用カメラ １５：商品用カメラ ３３ａ：商品ＤＢ ５５：画像データ取得部 ５６：商品特定部 ５７：商品データ抽出部 ５９：情報変換部 ６０：音声データ取得部 ６１：商品選択部 ６２：会計情報生成部 ＳＹ：販売支援システム
【特許請求の範囲】
【請求項１】
顧客端末とネットワークを介して接続され、前記顧客端末に対し、販売商品に関する商品関連情報を提供する販売支援装置であって、
各商品について、前記商品関連情報を記憶する記憶部と、
各商品が陳列された店内を撮像する撮像部と、
前記撮像部の撮像結果である店内画像に含まれる商品を特定する商品特定部と、
前記顧客端末に対して、前記店内画像と共に、特定した前記商品の前記商品関連情報を送信する送信部と、を備えたことを特徴とする販売支援装置。
【請求項２】
前記商品関連情報にはキーワードが含まれ、
前記顧客端末を操作する顧客と店員とが通話を行うための通話部と、
前記通話部の通話から、音声情報を取得する音声情報取得部と、
前記音声情報取得部により取得した音声情報を音声認識によりテキスト情報に変換する情報変換部と、
前記テキスト情報に前記キーワードが含まれる場合、当該キーワードが含まれた商品関連情報を抽出する商品関連情報抽出部と、をさらに備え、
前記送信部は、抽出した商品関連情報をさらに顧客端末に対して送信することを特徴とする請求項１に記載の販売支援装置。
【請求項３】
前記撮像部は、前記顧客端末の操作に基づいて、撮像位置を可変することを特徴とする請求項１または２に記載の販売支援装置。
【請求項４】
前記商品関連情報には、商品の価格が含まれ、
前記顧客端末の操作に基づいて、前記顧客端末に対して送信した前記商品関連情報が示す商品のうち購入対象となる商品を選択する商品選択部と、
前記商品選択部により選択された１以上の商品の価格の合計である合計金額を含む会計情報を生成する会計情報生成部をさらに備え、
前記送信部は、前記会計情報をさらに前記顧客端末に送信することを特徴とする請求項１ないし３のいずれかに記載の販売支援装置。
【請求項５】
請求項１ないし４のいずれかに記載の販売支援装置と、
複数の前記顧客端末と、を備えたことを特徴する販売支援システム。
【請求項６】
顧客端末とネットワークを介して接続され、前記顧客端末に対し、販売商品に関する商品関連情報を提供する販売支援装置の制御方法であって、
前記販売支援装置が、
各商品について、前記商品関連情報を記憶する記憶ステップと、
各商品が陳列された店内を撮像する撮像ステップと、
前記撮像ステップの撮像結果である店内画像に含まれる商品を特定するための商品特定ステップと、
前記顧客端末に対して、前記店内画像と共に、特定した前記商品の前記商品関連情報を送信する送信ステップと、を実行することを特徴とする販売支援装置の制御方法。
【請求項７】
コンピューターに、請求項６に記載の販売支援装置の制御方法における各ステップを実行させるためのプログラム。
【請求項１】
顧客端末とネットワークを介して接続され、前記顧客端末に対し、販売商品に関する商品関連情報を提供する販売支援装置であって、
各商品について、前記商品関連情報を記憶する記憶部と、
各商品が陳列された店内を撮像する撮像部と、
前記撮像部の撮像結果である店内画像に含まれる商品を特定する商品特定部と、
前記顧客端末に対して、前記店内画像と共に、特定した前記商品の前記商品関連情報を送信する送信部と、を備えたことを特徴とする販売支援装置。
【請求項２】
前記商品関連情報にはキーワードが含まれ、
前記顧客端末を操作する顧客と店員とが通話を行うための通話部と、
前記通話部の通話から、音声情報を取得する音声情報取得部と、
前記音声情報取得部により取得した音声情報を音声認識によりテキスト情報に変換する情報変換部と、
前記テキスト情報に前記キーワードが含まれる場合、当該キーワードが含まれた商品関連情報を抽出する商品関連情報抽出部と、をさらに備え、
前記送信部は、抽出した商品関連情報をさらに顧客端末に対して送信することを特徴とする請求項１に記載の販売支援装置。
【請求項３】
前記撮像部は、前記顧客端末の操作に基づいて、撮像位置を可変することを特徴とする請求項１または２に記載の販売支援装置。
【請求項４】
前記商品関連情報には、商品の価格が含まれ、
前記顧客端末の操作に基づいて、前記顧客端末に対して送信した前記商品関連情報が示す商品のうち購入対象となる商品を選択する商品選択部と、
前記商品選択部により選択された１以上の商品の価格の合計である合計金額を含む会計情報を生成する会計情報生成部をさらに備え、
前記送信部は、前記会計情報をさらに前記顧客端末に送信することを特徴とする請求項１ないし３のいずれかに記載の販売支援装置。
【請求項５】
請求項１ないし４のいずれかに記載の販売支援装置と、
複数の前記顧客端末と、を備えたことを特徴する販売支援システム。
【請求項６】
顧客端末とネットワークを介して接続され、前記顧客端末に対し、販売商品に関する商品関連情報を提供する販売支援装置の制御方法であって、
前記販売支援装置が、
各商品について、前記商品関連情報を記憶する記憶ステップと、
各商品が陳列された店内を撮像する撮像ステップと、
前記撮像ステップの撮像結果である店内画像に含まれる商品を特定するための商品特定ステップと、
前記顧客端末に対して、前記店内画像と共に、特定した前記商品の前記商品関連情報を送信する送信ステップと、を実行することを特徴とする販売支援装置の制御方法。
【請求項７】
コンピューターに、請求項６に記載の販売支援装置の制御方法における各ステップを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２１６１１６（Ｐ２０１２−２１６１１６Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−８１６４３（Ｐ２０１１−８１６４３）
【出願日】平成２３年４月１日（２０１１．４．１）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年４月１日（２０１１．４．１）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
[ Back to top ]